Тесты проходят, а сайт не работает: как проверить тесты ИИ?

Тесты проходят, а сайт не работает: как проверить тесты ИИ?

Возьмите главный сценарий сайта и пройдите его вручную: откройте каталог, добавьте товар в корзину и проверьте итог. Затем выясните, повторяют ли тесты ИИ этот путь и замечают ли ошибку в результате. Успешный запуск тестов означает лишь, что код выполнил заложенные в них проверки. Он ещё не подтверждает, что покупатель сможет оформить заказ. В статье разберём, как найти пустые проверки, проверить подмены ответов сервера и поставить Claude Code задачу на доработку тестов после вайбкодинга.

Почему тесты ИИ пропускают поломки сайта?

После вайбкодинга код и тесты нередко появляются в рамках одной задачи. Если попросить ИИ «написать тесты для этой функции», он может закрепить её текущее поведение, включая ошибку. Например, функция неверно считает доставку, а тест повторяет тот же расчёт. Оба результата совпадут, хотя покупатель увидит неправильную сумму.

Другая причина связана с тем, что именно проверяет тест. Он открывает страницу и находит кнопку «Оформить заказ», но не нажимает её. Или нажимает, однако проверяет только появление сообщения об успехе. Если сайт показывает это сообщение до ответа сервера, тест пройдёт даже при сбое отправки.

Начните с ожидаемого результата для бизнеса. Для корзины это правильный состав заказа и итоговая стоимость. Для формы запроса расчёта — подтверждение, которое появляется после успешного ответа сервера. Запишите результат обычными словами, прежде чем читать код проверки.

В учебном примере для магазина с ценами в белорусских рублях недостаточно найти обозначение BYN рядом с итогом. Нужно проверить, что итог меняется после изменения количества товара. Валюта отображается правильно и при ошибке в самой формуле.

Как понять, что именно проверяют тесты?

Выберите один сценарий, без которого сайт теряет смысл. Для магазина подойдёт корзина, для сайта услуг — отправка запроса. Не начинайте со всего проекта: сначала разберите цепочку от действия посетителя до результата.

  1. Запишите исходное состояние: какая страница открыта и что уже выбрал посетитель.
  2. Опишите действие: какую кнопку он нажимает или какое значение меняет.
  3. Укажите ожидаемый результат: что должно появиться на экране и что должен принять сервер.
  4. Найдите тест, который проверяет эту цепочку, и сопоставьте его шаги с вашим описанием.

Название теста ничего не доказывает. За строкой «заказ успешно оформляется» порой скрывается только проверка наличия заголовка. Попросите Claude Code показать точное условие, из-за которого тест завершится ошибкой. Если условие не связано с результатом сценария, проверку нужно дополнить.

Для первого разбора подойдёт такой запрос: «Пока не меняй код. Найди тесты сценария оформления заказа. Для каждого опиши действия, проверяемый результат и зависимости, которые заменены заглушками. Покажи, какие ошибки останутся незамеченными. Ссылайся на файлы и названия тестов».

Заглушка — это заранее заданный ответ вместо обращения к настоящему компоненту. Она помогает проверить отдельную часть программы. Но если тест подменяет всю отправку заказа готовым успехом, он не проверяет, принимает ли сервер запрос сайта. Для этой границы пригодится отдельный разбор проверки API после вайбкодинга.

Как убедиться, что тест замечает ошибку?

Намеренно внесите небольшую поломку в отдельной рабочей копии проекта и запустите подходящий тест. Такую проверку называют мутационной: вы меняете поведение программы и смотрите, обнаружит ли это тест. Рабочий сайт для этого не подходит. Используйте копию с тестовыми данными, без действующих платежей и отправки сообщений.

Сначала запустите тест без изменений и убедитесь, что он проходит. Затем измените только одно условие. Например, пусть итог корзины перестанет учитывать количество товара. Если тест по-прежнему успешен, проверьте, запускается ли он вообще и сравнивает ли итог с ожидаемым значением.

Попросите ИИ выполнить задачу с чёткими границами: «В отдельной ветке временно нарушь пересчёт количества товара. Запусти тест корзины и покажи причину падения. Затем убери временную правку и повтори запуск. Не меняй ожидаемый результат ради успешного теста». Ветка отделяет изменения в коде, но сама по себе не изолирует базу и внешние сервисы, поэтому окружение тоже нужно проверить.

  • Измените расчёт итога и проверьте, замечает ли тест неверную сумму.
  • Верните ошибку сервера и убедитесь, что сайт не показывает успешную отправку.
  • Задержите ответ и проверьте поведение кнопки во время ожидания.
  • Верните пустой список товаров и проверьте, объясняет ли страница отсутствие результатов.

Выбирайте поломку под конкретный тест. Проверка расчёта не обязана замечать съехавшую кнопку, а проверка внешнего вида не подтверждает правильную работу сервера. После эксперимента просмотрите изменения и убедитесь, что временная поломка исчезла из проекта.

Что проверить в браузере после успешного запуска тестов?

Откройте ту сборку сайта, которую собираетесь публиковать, и повторите выбранный сценарий. Локальная версия и версия на сервере могут использовать разные настройки. Из-за этого тесты проходят на компьютере разработчика, а сайт обращается к неверному адресу API или не находит нужный файл.

Проверьте сценарий в узком окне браузера. Кнопка может существовать в коде страницы, но оказаться под другим блоком. Автотест, который ищет только текст кнопки, этого не заметит. Для таких случаев полезен порядок проверки вёрстки после правок Claude Code.

Затем посмотрите, что происходит при отказе сервера. Посетителю нужен понятный статус: запрос ещё отправляется, действие завершилось или произошла ошибка. Если после сбоя форма очищается и появляется сообщение об успехе, тест должен зафиксировать именно этот дефект.

Сопоставьте результат на странице с результатом на стороне сервера. Для тестового заказа проверьте его появление в тестовом списке заказов. Одной зелёной плашки в браузере недостаточно: её может показывать код, который вообще не дождался подтверждения.

Если проверку выполняет другой человек, передайте ему короткую карточку сценария: начальное состояние, действие, ожидаемый результат и способ его подтвердить. При отдельной проверке сайта после вайбкодинга такая карточка помогает согласовать объём работы. Итогом станет список воспроизводимых ошибок и проверок, которые их обнаруживают.

Типичные ошибки при проверке тестов ИИ

  • Просить только «сделать тесты зелёными». Вместо этого задайте ожидаемое поведение и запретите менять его без согласования.
  • Проверять расчёт той же формулой, что использует программа. Подготовьте отдельный понятный пример и заранее определите правильный результат.
  • Заменять все ответы сервера успешными заглушками. Добавьте проверку границы между сайтом и тестовым сервером, а также сценарий отказа.
  • Верить отчёту без вывода запуска. Попросите команду запуска, названия выполненных тестов и сведения о пропусках.
  • Считать количество тестов мерой качества. Свяжите каждый важный сценарий с конкретной ошибкой, которую проверка должна обнаружить.

После исправления дефекта сохраните тест, который падал из-за этой ошибки, а теперь проходит. Так у проекта появится проверка от повторной поломки. Успешный результат можно подтвердить повторным запуском и ручным прохождением того же сценария в тестовой версии.

Сейчас потратьте до двух минут: запишите для главной кнопки сайта одно предложение по шаблону «После нажатия посетитель видит…, а сервер подтверждает…». Это станет точным условием для проверки теста.