Качество ИИ-агента проще оценить на повторяемых рабочих сценариях, чем по впечатлению от одного удачного ответа. Подготовьте набор задач из своего бизнеса, заранее опишите ожидаемый результат и проверяйте его по одним и тем же критериям. Так вы увидите, где агент экономит время, где ошибается и какие действия ему нельзя доверять без проверки. В статье — практичный способ собрать такой набор и использовать его после изменений в промпте, модели или инструментах.
Какие задачи включить в проверку ИИ-агента?
Начните с одной повторяющейся задачи, где результат можно проверить по понятным признакам. Например, агент готовит описание товара из черновых заметок, распределяет обращения по темам или составляет краткий ответ на типовой вопрос покупателя. Выбирайте процесс, который сотрудник уже выполняет вручную и для которого можно показать образец хорошего результата.
Соберите сценарии из реальных рабочих ситуаций, но удалите сведения, которые не нужны для проверки. Добавьте обычные случаи, неполные исходные данные и формулировки, которые могут сбить агента с привычного пути. Если агент обрабатывает обращения, включите сообщение с опечаткой и запрос, на который в подготовленных материалах нет ответа. Проверка должна показать, задаст ли он уточняющий вопрос или начнёт додумывать.
Для каждого сценария сохраните входные данные, задачу и ожидаемое поведение. Не обязательно заранее писать единственный идеальный ответ: иногда важнее проверить, что агент сохранил смысл, не добавил неподтверждённых деталей и сообщил о нехватке данных. Такой набор сценариев станет контрольной версией, с которой можно сравнивать новые результаты.
По каким критериям оценивать результат?
Составьте короткую шкалу, привязанную к последствиям ошибки для конкретного процесса. Для подготовки карточки товара проверьте точность характеристик, полноту обязательных пунктов и соответствие заданному формату. Для сортировки обращений оцените, правильно ли агент определил тему и передал человеку случаи, где данных недостаточно.
- Точность: агент использовал исходные сведения и не придумал новые.
- Полнота: в ответе есть все поля или шаги, нужные сотруднику.
- Формат: результат можно передать в рабочий процесс без ручной переделки.
- Границы: агент обозначил нехватку данных и не выполнил действие за пределами задания.
- Повторяемость: при повторном запуске на том же сценарии результат остаётся пригодным.
Оценку можно вести словами «принято», «нужна правка» и «ошибка». Для каждого сценария заранее определите, какие недочёты допустимы, а какие требуют остановить автоматизацию. Например, стилистическую правку сотрудник может внести сам, а неверное утверждение о товаре должно считаться ошибкой. Записывайте причину отказа, а не только итоговую отметку: так станет ясно, что именно надо исправить.
Как провести тест и сравнить версии агента?
Сначала сохраните текущую инструкцию агента и результаты на контрольных сценариях. Затем измените только один элемент: например, уточните формат ответа или добавьте правило для неполных данных. Повторно запустите тот же набор и сравните ответы по тем же критериям. Если одновременно менять модель, инструкцию и инструменты, будет трудно понять, что повлияло на результат.
Фиксируйте не только качество, но и объём ручной проверки. Агент может выдавать аккуратный текст, который сотруднику приходится сверять почти целиком; в таком случае задача ещё не готова к автоматической передаче. Если агент меняет файлы сайта или программы, включите в проверку запуск целевого теста и просмотр списка изменений. Подход с проверками перед обновлением сайта описан в материале о автоматических проверках вайбкодинг-проекта.
Сохранённые результаты помогают заметить ухудшение после правки. Ведите короткий журнал: дата изменения, что поменяли, на каких сценариях проверили и какие ошибки появились. Для изменений в проекте полезно отдельно описывать сделанное в CHANGELOG вайбкодинг-проекта. Если результат агента влияет на сайт, до проверки изменений подготовьте резервную копию сайта.
Не нужно начинать с большого тестового набора. Для первого прохода хватит нескольких сценариев, которые покрывают обычный случай, нехватку информации и потенциально неверный результат. После каждого обнаруженного сбоя добавляйте его в набор: тогда исправление можно будет проверить повторно, а не полагаться на память.
Какие ошибки мешают честной оценке?
- Проверять один удачный ответ. Он не показывает, как агент ведёт себя при других исходных данных. Повторите задачу на нескольких типовых примерах.
- Менять критерии после результата. Тогда оценка подстраивается под ответ. Запишите требования до запуска.
- Считать гладкий текст правильным. Проверьте факты по исходным данным и отметьте каждое добавленное утверждение.
- Проверять только итоговый ответ. Если агент изменяет файлы или запускает действия, проверьте также список изменений и результат целевого теста.
- Не сохранять неудачные случаи. Без них следующая проверка может повторить прежнюю ошибку. Добавляйте сбой в контрольный набор.
Для первой проверки выберите одну задачу, подготовьте несколько примеров и запишите критерии до запуска. Сравните ответы агента с тем, что сотрудник считает пригодным результатом, затем сохраните ошибки и повторите проверку после следующего изменения. Так у вас появится рабочий способ оценивать агента на задачах своего бизнеса, а не по общему впечатлению.
