Начните с файла robots.txt, затем проверьте запреты noindex в коде страниц и HTTP-заголовках. После вайбкодинга сайт может открываться у посетителей, но оставаться закрытым для поисковых роботов. Ниже — порядок проверки, который поможет найти такие ограничения, отличить запрет обхода от запрета индексации и подготовить задачу для разработчика или ИИ-помощника. Отдельно разберём доступ ИИ-ботов: разрешение читать сайт само по себе не гарантирует упоминания в ответах нейросетей.
Почему работающий сайт бывает недоступен поисковикам?
При вайбкодинге человек описывает задачу обычным языком, а ИИ пишет код. Такой подход помогает собрать приложение или сайт без самостоятельного написания каждой функции. Именно так принцип вайбкодинга объясняет материал «Что такое вайбкодинг простыми словами» (источник: «Т-Бизнес Секреты»). Но проверять результат всё равно нужно, включая настройки публикации.
Например, в тестовой версии разработчик закрывает страницы от поиска, чтобы черновики не попали в выдачу. Затем ИИ переносит настройки в рабочую версию вместе с шаблоном. Посетитель видит каталог и форму заявки, а поисковый робот получает запрет на индексацию. Это возможный сценарий, а не доказательство ошибки конкретного инструмента.
У сайта есть несколько независимых уровней доступа. Сервер решает, отдавать ли страницу; robots.txt сообщает роботам правила обхода; метатеги и HTTP-заголовки задают условия индексации. Проверка только внешнего вида ничего не говорит об этих настройках.
Для начала выберите главную страницу и одну важную страницу услуги. Откройте их без входа в аккаунт. Если вместо текста появляются авторизация, проверка браузера или сообщение об ошибке, сначала разберите это ограничение. Проверять нужно рабочий домен, а не адрес предпросмотра из среды разработки.
Как проверить robots.txt и не открыть служебные разделы?
Откройте на своём домене путь /robots.txt. Это текстовый файл с инструкциями для роботов, которые соблюдают такие правила. Найдите строки User-agent: они показывают, к какому роботу относится группа директив. Значение * относится ко всем роботам, для которых нет более конкретной подходящей группы.
Директива Disallow: / в общей группе запрещает обход всего сайта. Для публичного сайта это повод проверить, не осталась ли настройка от тестовой версии. Но один поиск строки Disallow ничего не доказывает: значение зависит от пути, группы робота и других правил в файле.
- Откройте /robots.txt на рабочем домене.
- Найдите группу User-agent: * и прочитайте её правила целиком.
- Проверьте, не попадает ли путь нужной страницы под Disallow.
- Сопоставьте отдельные группы роботов с теми системами, которым хотите дать доступ.
- Перед исправлением сохраните текущую версию файла для сравнения.
Не просите ИИ просто «убрать все запреты». В файле могут быть осмысленные ограничения для технических адресов. Сформулируйте задачу точнее: проверить доступ к публичным страницам услуг и сохранить ограничения для служебных разделов. При этом robots.txt не защищает закрытую информацию: для ограничения доступа нужны настройки сервера и авторизация.
Есть важная тонкость: запрет обхода не равен запрету появления адреса в поиске. Поисковая система иногда узнаёт об адресе по ссылкам, даже если не читает страницу. А если robots.txt мешает обходу, робот не сможет увидеть размещённый на самой странице noindex.
Где искать noindex и HTTP-заголовок X-Robots-Tag?
Откройте исходный код страницы через меню браузера и выполните поиск по слову noindex. Проверьте метатеги с именем robots и отдельные теги для конкретных поисковых роботов. Значение noindex сообщает роботу, что страницу не следует включать в индекс. Значение none тоже требует внимания: оно объединяет noindex и nofollow.
Проверяйте именно ответ рабочего сайта. Файлы проекта могут выглядеть правильно, но сервер продолжает отдавать старую сборку. Возможна и обратная ситуация: ИИ исправил один шаблон, а страницы каталога используют другой.
Следующий шаг — HTTP-заголовки. Их браузер получает вместе с ответом сервера, но в исходном HTML они не отображаются. Поэтому отсутствие noindex в коде ещё не завершает проверку.
- Откройте инструменты разработчика в браузере и перейдите на вкладку Network.
- Перезагрузите страницу, чтобы увидеть её сетевые запросы.
- Выберите запрос основного документа, а не картинки или скрипта.
- Откройте Response Headers и найдите X-Robots-Tag.
- Если в его значении есть noindex, выясните, где сервер добавляет этот заголовок.
X-Robots-Tag может задавать приложение, веб-сервер или промежуточный сервис. Попросите разработчика найти источник правила, прежде чем менять HTML. Для публичной страницы, которая должна участвовать в поиске, нужно убрать соответствующий запрет во всех местах, где он действует.
Добавление index в метатег не отменяет конфликтующий noindex в другом применимом правиле. После исправления снова проверьте и исходный код, и заголовки. Для остальных проверок перед выпуском пригодится порядок проверки сайта после правок Claude Code до публикации.
Что проверить, если запретов нет, а страницы не индексируются?
Разрешённый обход — только одно из условий. Роботу ещё нужно получить содержимое, найти страницу и понять, какой адрес считать основным. Начните с ответа сервера: страница услуги должна отдавать свой текст, а не перенаправлять на главную или показывать ошибку внутри обычного шаблона.
Затем сравните исходный HTML с тем, что видите на экране. Если в исходнике есть лишь пустой контейнер, а описание услуги появляется после выполнения JavaScript, проверьте, как страницу обрабатывает нужный робот. Поисковые системы и ИИ-боты работают с JavaScript по-разному. Наличие основного текста в первоначальном HTML уменьшает зависимость от этой обработки.
- Проверьте canonical: он должен указывать на выбранный основной адрес, а не на тестовый домен или другую услугу.
- Откройте карту сайта sitemap.xml, если она есть, и проверьте адрес нужной страницы.
- Найдите обычную ссылку на страницу в меню, каталоге или связанном материале.
- Проверьте, не требует ли защитный сервис входа или выполнения проверки перед показом текста.
- Посмотрите сведения об адресе в панели для владельцев сайта той поисковой системы, где возникла проблема.
Карта сайта помогает сообщить об адресах, но не гарантирует индексацию. Canonical тоже нужно оценивать в контексте: если несколько страниц почти одинаковы, поисковая система может выбрать другой основной адрес.
После технических исправлений проверьте саму страницу услуги. Из неё должно быть понятно, что предлагает бизнес, какие задачи решает и как получить расчёт или оформить заказ. Пустой шаблон с заголовком остаётся слабой страницей, даже когда робот читает его без ограничений.
Как проверить доступ ИИ-ботов и закрепить результат?
Разделяйте поисковую индексацию, получение страницы для ответа пользователю и сбор материалов для обучения моделей. Это разные задачи, и у одного поставщика могут быть отдельные роботы для каждой из них. Названия роботов и назначение правил сверяйте с актуальной документацией нужного сервиса. Открывать сайт всем ботам ради видимости в ИИ-ответах не требуется.
Для выбранного робота проверьте подходящую группу robots.txt и ограничения на стороне сервера. Если доступны журналы запросов, попросите разработчика посмотреть, приходил ли робот и какой ответ получил. Одна строка User-agent не доказывает подлинность запроса: при необходимости её проверяют по способу, который описывает поставщик.
Даже после успешной проверки нельзя обещать попадание в ответы нейросети. Доступность означает, что техническое препятствие снято. Решение использовать материал зависит от конкретной системы, запроса пользователя и содержимого страницы.
Типичные ошибки:
- Удалять robots.txt целиком вместо исправления конкретного правила.
- Искать noindex только в HTML и пропускать X-Robots-Tag в ответе сервера.
- Проверять предпросмотр проекта вместо опубликованной версии.
- Считать красивую страницу доказательством того, что робот получает её текст.
- Обещать индексацию или цитирование сразу после снятия запрета.
Поручение ИИ можно сформулировать так: «Проверь доступ поисковых роботов к главной и странице услуги на рабочем домене. Изучи robots.txt, метатеги robots, X-Robots-Tag и canonical. Пока ничего не меняй. Для каждой проблемы покажи адрес, фактическое правило и место его настройки». Такой отчёт позволяет согласовать исправления до публикации.
Если ошибка затрагивает общий шаблон или настройки сервера, полезен технический разбор с повторной проверкой после выпуска. Его результатом должен быть список адресов, найденных ограничений и конкретных изменений. Если заодно меняется структура проекта, сначала стоит определить границы рефакторинга сайта с Claude Code, чтобы исправление индексации не превратилось в переписывание всего сайта.
Первую часть проверки можно закрыть за две минуты: откройте /robots.txt на рабочем домене и найдите Disallow: / в группе User-agent: *. Сохраните найденную группу целиком, чтобы передать её на проверку без догадок.



