Проверьте чат-бота на реальных вопросах клиентов до того, как он начнёт отвечать посетителям сайта. Для этого соберите примеры обращений, подготовьте ожидаемые ответы и сравните с ними ответы бота. Отдельно проверьте вопросы, на которые нельзя ответить по имеющимся материалам: в таких случаях бот должен обозначить границу своих знаний или передать разговор сотруднику. В статье — порядок проверки, критерии оценки и список ошибок, которые лучше исправить до запуска.
Как собрать вопросы для проверки?
Начните с истории переписки, обращений в поддержку и вопросов, которые сотрудники регулярно слышат по телефону. Уберите из примеров имена, контакты и другие сведения о клиентах. Для проверки достаточно сохранить сам вопрос и нужный контекст: например, к какому товару или услуге он относится.
Соберите вопросы разных типов. Клиент может попросить объяснить условия, узнать порядок действий, уточнить стоимость или описать свою ситуацию неполно. Добавьте и формулировки с опечатками, разговорными словами, сокращениями. Бот должен справляться с тем, как люди действительно пишут, а не только с аккуратными фразами из инструкции.
- Простые вопросы, где ответ прямо указан на сайте.
- Вопросы с несколькими условиями или уточнениями.
- Запросы, в которых не хватает данных для точного ответа.
- Вопросы вне тематики бизнеса и обращения, на которые ответа нет в материалах.
Для каждого примера запишите, что именно должен сообщить бот и чего ему нельзя утверждать. Если на вопрос нужны уточнения, укажите их отдельно. Такой список станет проверочным набором: после изменения модели или материалов его можно использовать снова.
Как сравнить ответ бота с ожидаемым?
Не требуйте от бота дословного совпадения с образцом. Хороший ответ может быть сформулирован иначе, но должен передавать нужный смысл, не добавлять неподтверждённых условий и помогать клиенту сделать следующий шаг. Проверяйте каждый ответ по нескольким понятным критериям.
- Точность: ответ совпадает с актуальной информацией о товаре или услуге.
- Полнота: бот не пропустил условие, которое меняет смысл ответа.
- Понятность: клиенту ясно, что делать дальше.
- Границы: бот не выдумывает ответ, если данных недостаточно.
- Тон: формулировка вежливая и не обещает того, чего бизнес не подтверждал.
Отмечайте результат по каждому критерию: например, «выполнено», «частично» или «не выполнено». К каждому сбою добавьте короткую причину. «Ответ неверный» мало что объясняет; «бот назвал условие, которого нет в инструкции» уже подсказывает, что исправить.
Для общей оценки качества полезно заранее определить, какие ошибки критичны. Например, неверная информация об условиях важнее неудачной формулировки приветствия. Подходы к оценке ответов и выбору метрик собраны в материале о проверке качества ответов чат-бота.
Что делать с вопросами без готового ответа?
Добавьте в проверочный набор вопросы, на которые бот не должен отвечать уверенно. Например, клиент описывает ситуацию, но не сообщает важную деталь. В этом случае бот должен задать уточняющий вопрос или объяснить, что для ответа нужно обратиться к сотруднику. Проверьте, что он не заполняет пробелы догадками.
Для передачи разговора заранее определите понятный сценарий: какую фразу увидит клиент и куда попадёт его вопрос. Если передача сотруднику пока не настроена, бот должен честно сообщить, что не может подтвердить ответ, и предложить безопасный следующий шаг. Не оставляйте расплывчатые ответы вроде «всё зависит от ситуации», если можно назвать конкретное уточнение.
Составьте короткие инструкции для бота: какие материалы использовать, на какие темы отвечать и что делать при нехватке информации. В инженерных рекомендациях для ИИ-агентов такую обвязку описывают через контекст, инструменты, права, проверку результата и ответственного за процесс (AI Mindset на vc.ru). Для чат-бота это можно применить без сложной системы: указать источники ответа, ограничить темы и назначить сотрудника, который разбирает ошибки.
Как провести пилот и исправлять ошибки?
Сначала проверьте набор вручную и сохраните ответы бота вместе с оценками. Затем исправьте материалы или инструкции и повторите тест на тех же вопросах. Повторная проверка покажет, ушла ли проблема и не появились ли новые ошибки в прежних сценариях.
Перед запуском попросите сотрудника, который знает продукт, просмотреть ответы на сложные и спорные вопросы. После запуска продолжайте собирать обращения, где бот ошибся, не понял клиента или не предложил нужный шаг. Добавляйте такие примеры в проверочный набор. Если меняется модель, содержание сайта или инструкция бота, прогоняйте набор заново; проверка сайта после смены ИИ-модели поможет отдельно оценить влияние обновления.
Какие ошибки чаще всего мешают проверке?
- Проверять только гладкие вопросы, составленные специально для демонстрации.
- Считать ответ правильным, если он звучит уверенно, хотя факты в нём не подтверждены.
- Не задавать критерии оценки и обсуждать результат только общими словами.
- Оставлять без проверки ситуации, где боту не хватает данных.
- Исправлять один ответ, но не добавлять сбой в набор для повторного теста.
Начните с небольшой подборки реальных вопросов и эталонных ответов, а затем проверьте каждый ответ по точности, полноте и поведению при нехватке данных. Сохраните примеры ошибок и используйте их после каждого изменения бота. Так решение о запуске будет опираться на наблюдаемые ответы, а не на впечатление от одной демонстрации.
