Выберите одну правку на сайте и дайте Claude Code и Codex одинаковое задание в отдельных копиях проекта. Сравните расходы на запуск, время человека и результат проверки. Стоимость задачи складывается из оплаты инструмента, подготовки, исправлений и тестирования. Дешёвый запуск теряет смысл, если после него приходится вручную восстанавливать страницу. Ниже разберём, как провести такое сравнение для сайта малого бизнеса, учесть подписку без двойного счёта и выбрать инструмент под вашу работу.
Какую задачу взять для сравнения Claude Code и Codex?
Начните с небольшой правки, результат которой легко проверить. Например, попросите добавить фильтр в каталог услуг или исправить расчёт суммы в форме заказа. Задание «улучши сайт» не подойдёт: каждый агент сам решит, что считать улучшением, и вы получите разные работы.
До запуска запишите условия приёмки. Для фильтра это могут быть корректный список результатов, сброс выбора и работа на телефоне. Отдельно укажите, что нельзя менять: оформление карточек, адреса страниц или соседние разделы. Так вы ограничите объём работы и сможете заметить лишние правки.
Используйте одну карточку задания для обоих инструментов:
- Что изменить: конкретная страница и нужное поведение.
- Что сохранить: элементы сайта, которые задача не затрагивает.
- Как проверить: действия пользователя и ожидаемый результат.
- Когда остановиться: условия, при которых агент должен запросить уточнение.
Добавьте пример пограничного случая. Если фильтр ничего не нашёл, сайт должен показать понятное сообщение, а сброс фильтра — вернуть полный список. Такая деталь помогает отличить законченную функцию от демонстрации, которая работает только при удачном вводе.
Как провести тест в одинаковых условиях?
Подготовьте отдельные рабочие копии одной версии сайта. Не запускайте сравнение на действующем сайте: ошибка агента не должна мешать посетителям оформлять заказы. Перед началом сохраните исходную версию и убедитесь, что тестовая копия запускается без ошибок.
- Передайте обоим агентам одинаковый текст задания и инструкции по запуску проекта.
- Запишите выбранную модель, режим работы и доступные агенту инструменты.
- Сохраните все уточнения и повторные попытки до завершения задачи.
- Проверьте оба результата по одной карточке приёмки.
Если первый агент обнаружил важное ограничение проекта, добавьте его в задание для обоих и начните сравнение заново. Иначе второй участник получит подсказку, которой не было у первого. Уже готовые исправления из одной копии в другую тоже переносить не нужно.
Отдельно фиксируйте среду агента: инструкции, разрешения и подключённые инструменты. Эту оболочку часто называют harness. Если одному агенту дать подробные правила проекта, а другому только короткий запрос, тест покажет разницу в подготовке среды. При смене инструмента пригодится инструкция о том, как перенести проект из Claude Code в Codex или Gemini CLI.
Первый тест даст ориентир для выбранной правки. Чтобы выбирать инструмент для постоянной работы, повторите сравнение на других типах задач: исправлении ошибки, новой функции и доработке внешнего вида. Не переносите результат теста фильтра на полную переделку сайта.
Что включить в стоимость одной задачи?
Считайте стоимость результата, который прошёл проверку. Одинаковый запрос не означает одинаковый расход: модели по-разному тратят токены на одну задачу. Токены — единицы объёма текста и кода, с которыми работает модель. Поэтому цена их пакета сама по себе не показывает, во сколько обойдётся готовая правка (источник: «API-токены против своего железа: как считать реальную стоимость задачи»).
Для каждой попытки заведите строку в таблице. Денежные расходы приводите к одной валюте, например BYN, и записывайте, как пересчитали платёж. Время человека учитывайте в минутах: отдельно подготовку задания, проверку и ручные исправления.
| Что учитывать | Как записать | Что проверить |
| Оплату по использованию | Фактические расходы на задачу по доступному отчёту | Вошли ли уточнения и повторные запуски |
| Подписку | Долю оплаты за период по выбранному правилу | Не учли ли те же расходы повторно |
| Работу человека | Минуты работы и внутреннюю стоимость часа | Вошли ли подготовка, проверка и исправления |
| Итог задачи | Принята, требует доработки или остановлена | Выполнены ли все условия приёмки |
Рабочая формула: стоимость принятой задачи = расходы на инструмент + стоимость времени человека + дополнительные расходы на эту задачу. Последняя часть нужна, например, если для проверки пришлось отдельно оплатить тестовую среду. Время ожидания ответа учитывайте как рабочее время только тогда, когда человек занят контролем и не может переключиться.
С подпиской полезно вести два расчёта. Первый показывает дополнительные денежные расходы: сколько именно эта задача добавила к платежам. Второй распределяет общую оплату инструмента между задачами за период. При свободном лимите подписки отдельная правка может не вызвать нового списания, но часть расходов на подписку всё равно относится к работе с ней.
Выберите правило распределения заранее. Например, делите оплату поровну между задачами сопоставимого объёма. Применяйте один подход к обоим инструментам и отмечайте, где использовали оценку вместо точного отчёта. Не складывайте долю подписки и условную цену токенов, если это две оценки одной оплаты.
Для серии работ сложите расходы на все попытки, включая неудачные, и разделите на число принятых задач. Если ни одна задача не прошла проверку, стоимость успешного результата пока неизвестна. Расходы уже есть, а готовой функции ещё нет.
Как понять, что результат стоит своих денег?
Откройте тестовую страницу и пройдите сценарий посетителя. Для каталога проверьте выбор фильтра, пустую выдачу и сброс. Затем посмотрите соседний сценарий: например, переход из карточки к заказу. Сообщение агента «готово» не заменяет эту проверку.
Попросите агента перечислить изменённые файлы, объяснить правки и указать, что он проверил. Если он сообщает об успешных тестах, запросите команды и их вывод. Для независимого разбора можно использовать схему «Claude Code пишет, Codex проверяет», но время и оплату второго агента тоже включите в расчёт.
Сначала сравнивайте результаты, которые прошли одинаковую приёмку. Если один агент сделал функцию дешевле, но сломал соседний блок, добавьте расходы на исправление и снова проверьте сайт. Если работу остановили, сохраните её затраты в журнале как неудачную попытку.
Для бизнеса полезен и отдельный показатель: сколько внимания владельца требует инструмент. Агент с меньшим счётом за использование может оказаться дороже после нескольких циклов объяснений. Запись фактических минут покажет эту разницу без предположений о том, чей код «лучше».
Если правку передаёте специалисту, оформите её как ограниченную задачу: описание функции, рабочая тестовая копия, проверка и способ вернуть прежнюю версию. Такой состав работ позволяет обсуждать цену до начала доработки. Одна лишь генерация кода не закрывает весь этот объём.
Какие ошибки искажают сравнение?
- Сравнивать только цену токенов. Добавьте повторные попытки и время до результата, который прошёл приёмку.
- Давать агентам разные исходные версии. Подготовьте копии одного состояния проекта и одинаковые инструкции.
- Считать собственное время бесплатным. Запишите минуты и выберите внутреннюю стоимость часа для расчёта.
- Не учитывать неудачные запуски. Сохраняйте их расходы, даже если в итоге задачу закончил другой инструмент.
- Объявлять победителя по одной правке. Ограничьте вывод проверенным сценарием, пока не сравнили другие задачи.
Начните с карточки ближайшей правки: за минуту запишите, что должно измениться и каким действием на сайте вы проверите результат.
