После правок ИИ-агента откройте файл robots.txt и проверьте, не запрещает ли он поисковому роботу обходить страницы услуг. Затем проверьте адреса этих страниц в Яндекс Вебмастере и откройте их в браузере без входа в аккаунт. Так вы отделите ошибку в файле от других причин, по которым страница не появляется в поиске. Ниже — порядок проверки перед публикацией сайта и после неё, понятный без опыта в разработке.
С чего начать проверку robots.txt?
Попросите ИИ-агента показать изменения в robots.txt до публикации. Если сайт уже обновили, откройте файл по адресу своего домена с окончанием /robots.txt. Он должен открываться как обычный текст. Сохраните прежнюю версию: если агент изменил правило не так, как вы ожидали, будет к чему вернуться.
Сначала найдите строку «User-agent: *». Звёздочка обозначает общее правило для роботов. Ниже посмотрите строки «Disallow:» — они задают пути, которые роботам запрещено обходить. Особенно внимательно проверьте «Disallow: /»: такая запись в применимой группе закрывает обход всего сайта. Запись «Disallow: /uslugi/» затрагивает пути, которые начинаются с /uslugi/. Если страницы услуг лежат там, их нужно проверить до публикации.
Не ориентируйтесь только на название папки. Страница услуги может иметь адрес вроде /remont-oborudovaniya/, хотя в меню она находится в разделе «Услуги». Возьмите реальные адреса из меню сайта или списка страниц, которые вы передали агенту. Для первой проверки хватит главной страницы и нескольких важных страниц услуг с разными путями.
Как понять, какие страницы закрыл ИИ-агент?
Сопоставьте каждое правило с адресами страниц. Например, запрет «Disallow: /test/» относится к адресу /test/primer/, но сам по себе не относится к /uslugi/primer/. Если агент добавил запрет для черновиков, проверьте, не попали ли рабочие страницы в ту же папку. Вот почему полезнее смотреть на полные адреса, чем обсуждать с агентом «раздел услуг» в общих словах.
Прочитайте и другие группы «User-agent:». Правило для конкретного робота требует отдельной проверки: нельзя делать вывод о доступности страницы для Яндекса по одной лишь группе со звёздочкой. Если в файле несколько групп и вы не понимаете, какая применяется, передайте разработчику сам файл и адрес спорной страницы. Просите ответить на конкретный вопрос: «Разрешён ли обход этого адреса роботу Яндекса при текущих правилах?»
Проверку файла удобно превратить в постоянное требование к ИИ-агенту: после каждой правки он показывает изменённые строки и перечисляет страницы, на которые они влияют. Но текстовый ответ агента всё равно нужно сверить с опубликованным файлом. Агент мог проверить локальную копию, а сайт показывает другую версию.
Как проверить доступность страниц в Яндекс Вебмастере?
Добавьте сайт в Яндекс Вебмастер и подтвердите права на него, если ещё этого не сделали. Сервис показывает данные об индексации и технических ошибках сайта в поиске Яндекса (источник: «Яндекс Вебмастер для бизнеса», cropas.by). После публикации изменений проверьте в нём robots.txt и несколько адресов услуг. В отчёте по каждому адресу ищите указание, разрешён ли обход и есть ли ошибка доступа.
Откройте те же адреса в браузере без входа в учётную запись. Страница должна показывать описание услуги, а не экран авторизации или сообщение об ошибке. Такая проверка дополняет Вебмастер: robots.txt управляет обходом, но страница может не открываться и по другой причине. Если в Вебмастере обход разрешён, а страница недоступна в браузере, попросите разработчика проверить ответ сервера и работу сайта.
После исправления не ждите немедленного появления страницы в поиске. Разрешение на обход ещё не подтверждает, что робот уже посетил адрес или что страница попала в результаты. Смотрите статус адреса в Вебмастере после публикации и возвращайтесь к нему позже. Проверка robots.txt входит в технический аудит наряду с проверкой карты сайта и ошибок сервера (источник: «Технический аудит для разработчика», cropas.by).
Что делать, если нужная страница закрыта?
Сначала запишите адрес страницы, правило, которое её затрагивает, и ожидаемое поведение: «Страница услуги /uslugi/primer/ должна быть доступна для обхода Яндексом». Затем попросите агента или разработчика изменить только нужное правило и показать разницу между старой и новой версиями файла. Не удаляйте все запреты одним действием: среди них могут быть правила для служебных разделов.
Опубликуйте исправленный файл, снова откройте /robots.txt на самом сайте и повторите проверку адреса в Вебмастере. Если файл изменился, а проверка всё ещё показывает запрет, сверьте адрес сайта и версию файла, которую отдаёт сервер. При сомнениях полезен отдельный разбор проверки robots.txt для поисковых и ИИ-ботов. А чтобы после правок заметить ошибки не только в поисковой доступности, используйте проверку сайта после изменений ИИ-агента.
Какие ошибки чаще мешают проверке?
- Проверяют только главную страницу. Главная открыта, но правило закрывает папку со страницами услуг. Исправление: проверить реальные адреса из каждого важного раздела.
- Смотрят файл в проекте вместо опубликованного /robots.txt. Исправление: открыть файл на домене после публикации и сравнить его с версией агента.
- Считают, что открытая в браузере страница доступна роботу. Исправление: отдельно проверить правила для адреса в Яндекс Вебмастере.
- Удаляют все строки «Disallow:», обнаружив один лишний запрет. Исправление: изменить правило, которое затрагивает нужную страницу, и повторить проверку.
Начните с одного адреса: откройте /robots.txt на своём домене и найдите строку «Disallow: /».
