sitemap.xml и robots.txt в 1С-Битрикс: что проверить после правок

sitemap.xml и robots.txt в 1С-Битрикс часто настраиваются один раз и потом забываются. После редизайна, переноса на HTTPS, изменения каталога или структуры инфоблоков карта сайта может устареть, а robots.txt — продолжать закрывать важные разделы или указывать на старый домен.

Проверять эти файлы нужно не только при запуске сайта. Любое крупное изменение структуры URL — повод открыть robots.txt и sitemap.xml заново.

Проверить robots.txt

Файл должен открываться по стандартному адресу и отдавать обычный текст, а не HTML-страницу или редирект на главную.

curl -I https://example.ru/robots.txt
curl https://example.ru/robots.txt

Опасный вариант для рабочего сайта:

User-agent: *
Disallow: /

Такой запрет часто остаётся после тестового домена. Если он уехал на production, поисковые роботы могут не обходить сайт.

Проверить Sitemap в robots.txt

В robots.txt должна быть актуальная ссылка на карту сайта. После смены домена или HTTPS там может остаться старый адрес.

Sitemap: https://example.ru/sitemap.xml

Проверка:

curl https://example.ru/robots.txt | grep -i sitemap
curl -I https://example.ru/sitemap.xml

Если карта сайта находится по другому пути или разбита на несколько файлов, это должно быть понятно из robots.txt или индекса sitemap.

Генерация sitemap в Битрикс

В Битрикс карта сайта может генерироваться штатными средствами или кастомным скриптом. Нужно проверить, какие инфоблоки и разделы входят в генерацию, с каким доменом и протоколом формируются URL.

• основной домен;
• HTTPS вместо HTTP;
• нужные инфоблоки;
• активные разделы и элементы;
• исключение служебных страниц;
• корректные URL карточек и разделов.

Проверить URL внутри sitemap

Карта сайта должна содержать конечные URL с кодом 200. В ней не должны лежать страницы с 404, цепочки редиректов, тестовый домен или http-ссылки после перехода на HTTPS.

curl https://example.ru/sitemap.xml | grep "http://"
curl https://example.ru/sitemap.xml | grep "test"

Для нескольких URL можно проверить заголовки:

curl -I https://example.ru/catalog/
curl -I https://example.ru/blog/

Фильтры каталога

После настройки умного фильтра легко получить много URL с параметрами. Не все они должны попадать в sitemap или быть открыты для индексации. Решение зависит от SEO-стратегии, но технически нужно понимать, что именно генерируется.

Если в sitemap попадают случайные URL фильтра, сортировки или поиска, карту сайта нужно пересобрать аккуратнее.

Закрытые разделы

В robots.txt обычно закрывают служебные части сайта: админку, корзину, личный кабинет, поиск, параметры. Но нельзя закрывать CSS и JS без причины, потому что поисковые системы должны видеть страницу нормально.

User-agent: *
Disallow: /bitrix/
Disallow: /personal/
Disallow: /cart/
Disallow: /search/

Sitemap: https://example.ru/sitemap.xml

Disallow: /bitrix/ обычно нормален, но если проект отдаёт важные ресурсы через нестандартные пути, это нужно проверить отдельно.

Кэш и cron генерации

Если sitemap генерируется по расписанию, нужно проверить cron или агента. Файл может открываться, но быть старым.

ls -lh sitemap.xml
stat sitemap.xml

Если карта создаётся динамически, нужно смотреть настройки генератора и кэш.

Чек-лист

1. robots.txt открывается с кодом 200.
2. В robots.txt нет случайного Disallow: /.
3. Sitemap указывает на рабочий HTTPS-домен.
4. sitemap.xml открывается и содержит XML.
5. В карте нет test-домена и http-ссылок.
6. URL из sitemap отдают 200.
7. Служебные разделы закрыты, важные разделы открыты.
8. Фильтры каталога не попадают в sitemap случайно.
9. Проверена дата обновления карты сайта.

sitemap.xml и robots.txt — небольшие файлы, но они сильно влияют на техническую картину сайта. После изменений в Битрикс их лучше проверять вручную, а не считать, что штатная генерация всегда сделала всё правильно.