robots.txt после редизайна: какие ошибки чаще всего остаются

После редизайна robots.txt часто остаётся без внимания. Дизайн обновили, шаблоны поменяли, URL переехали, sitemap пересобрали, а robots.txt лежит старый. В лучшем случае он просто неаккуратный. В худшем — закрывает важные разделы или указывает на тестовую карту сайта.

Файл небольшой, но проверять его после редизайна нужно обязательно. Особенно если сайт переносили с тестового домена или меняли структуру разделов.

Проверить код ответа

robots.txt должен открываться по стандартному адресу и отдавать 200. Если он отдаёт 404, редирект на главную или HTML-страницу, это уже повод разобраться.

curl -I https://example.ru/robots.txt
curl https://example.ru/robots.txt

Иногда после редизайна меняется document root или маршрутизация, и файл физически остаётся не там, где его ждёт веб-сервер.

Убрать тестовый запрет

На тестовых доменах часто ставят полный запрет индексации. Это нормально для разработки, но опасно на production.

User-agent: *
Disallow: /

После запуска такой файл может неделями мешать обходу сайта. На рабочем сайте полный запрет должен быть только если это осознанное решение, а не наследство тестового стенда.

Проверить Sitemap

В robots.txt часто указывают ссылку на sitemap.xml. После редизайна там может остаться старый домен, http вместо https или тестовый адрес.

Sitemap: https://example.ru/sitemap.xml

Проверка простая:

curl https://example.ru/robots.txt | grep -i sitemap
curl -I https://example.ru/sitemap.xml

Если sitemap указан в robots.txt, он должен открываться и содержать актуальные URL.

Не закрыть CSS и JS

Старые robots.txt иногда закрывали директории шаблонов, assets или media слишком широко. Сейчас поисковым системам важно видеть страницу близко к тому, как её видит пользователь. Если закрыть CSS и JS, рендеринг может стать хуже.

Disallow: /assets/
Disallow: /css/
Disallow: /js/

Такие правила лучше пересмотреть. Служебные разделы закрывать можно, но статические ресурсы, нужные для отображения страниц, обычно должны быть доступны.

Проверить новые разделы

После редизайна могут появиться новые URL: блог, услуги, портфолио, фильтры, лендинги. Важно убедиться, что robots.txt не закрывает их старым общим правилом.

Disallow: /blog

Если блог теперь нужен для индексации, такое правило станет проблемой. Проверять нужно не только точные строки, но и широкие маски, если они используются.

Служебные разделы

Обычно в robots.txt закрывают то, что не должно попадать в обход: админку, корзину, поиск, личный кабинет, технические URL. Пример:

User-agent: *
Disallow: /admin/
Disallow: /login
Disallow: /cart
Disallow: /search

Sitemap: https://example.ru/sitemap.xml

Список зависит от проекта. Не нужно копировать robots.txt с другого сайта без понимания структуры.

robots.txt не защищает данные

Важно помнить: robots.txt не является защитой. Если раздел содержит приватные данные, его нужно закрывать авторизацией, а не только Disallow. robots.txt лишь сообщает поисковым роботам правила обхода.

Админка должна быть закрыта на уровне приложения, сервера или доступа, даже если она указана в Disallow.

Связь с noindex

Если страница закрыта в robots.txt, поисковый робот может не увидеть meta noindex внутри страницы. Поэтому robots.txt и noindex нужно использовать осознанно. Для служебных страниц часто проще не давать им попадать в sitemap и закрывать доступ там, где нужно.

Чек-лист после редизайна

1. robots.txt открывается с кодом 200.
2. В файле нет случайного Disallow: /.
3. Sitemap указывает на рабочий HTTPS-домен.
4. sitemap.xml действительно открывается.
5. CSS, JS и важные изображения не закрыты без причины.
6. Новые разделы не попали под старые запреты.
7. Служебные разделы закрыты аккуратно.
8. Тестовый домен не встречается в robots.txt.

robots.txt редко требует много времени, но после редизайна он может сохранить старые решения, которые уже не подходят новому сайту. Поэтому проверять его лучше в день запуска, а не после того, как страницы плохо попали в поиск.