Как проверить индексацию после тестового домена и noindex

Тестовый домен почти всегда закрывают от индексации. Это правильно: поисковым системам не нужны черновики, дубли и служебные страницы. Проблема начинается тогда, когда запреты с тестового стенда переезжают на рабочий сайт. Визуально всё работает, но страницы закрыты через robots.txt, meta noindex или заголовок X-Robots-Tag.

После запуска сайта стоит отдельно проверить индексацию. Это занимает немного времени и помогает не потерять недели.

robots.txt

Первый файл для проверки — robots.txt. Он должен открываться на рабочем домене и не содержать полного запрета обхода.

curl https://example.ru/robots.txt

Опасный вариант для production:

User-agent: *
Disallow: /

Для рабочего сайта обычно закрывают только служебные разделы:

User-agent: *
Disallow: /admin/
Disallow: /login
Disallow: /cart

Sitemap: https://example.ru/sitemap.xml

Важно проверить, что Sitemap указывает на основной домен, а не на test.example.ru или старый адрес.

Meta noindex

Даже если robots.txt открыт, страница может быть закрыта через meta robots. Нужно посмотреть HTML-код нескольких основных страниц.

curl -s https://example.ru/ | grep -i "robots"

Запрет выглядит так:

<meta name="robots" content="noindex, nofollow">

Иногда noindex добавляется условием в layout, например если приложение работает не в production-окружении. После переноса важно проверить, что окружение определилось правильно.

X-Robots-Tag

Запрет индексации может быть не в HTML, а в HTTP-заголовке. Его легко не заметить при обычном просмотре страницы.

curl -I https://example.ru/

Если в ответе есть X-Robots-Tag: noindex, поисковые системы могут не индексировать страницу, даже если в HTML всё нормально.

X-Robots-Tag: noindex, nofollow

Такой заголовок иногда ставят в конфиге nginx для тестового домена и забывают убрать при копировании.

Canonical

Canonical должен указывать на актуальный URL страницы. После переезда или запуска с тестового домена он может остаться старым.

curl -s https://example.ru/catalog/ | grep -i "canonical"

Плохой признак:

<link rel="canonical" href="https://test.example.ru/catalog/">

Если canonical указывает на тестовый домен, поисковая система может считать рабочую страницу дублем и выбрать другой адрес как основной.

sitemap.xml

Карта сайта должна содержать рабочие URL, отдающие 200. В ней не должно быть тестовых адресов, http вместо https и закрытых страниц.

curl https://example.ru/sitemap.xml | head
curl https://example.ru/sitemap.xml | grep "test"

Если sitemap генерируется из настроек приложения, нужно проверить hostInfo, базовый URL и домен в конфиге.

Редиректы

После запуска важно проверить, что домены и протоколы ведут к одному основному варианту. Не должно быть ситуации, когда http, https, www и без www открывают разные версии сайта без редиректа.

curl -I http://example.ru/
curl -I https://www.example.ru/
curl -I https://example.ru/

Обычно выбирают основной вариант и настраивают 301 с остальных. Это помогает избежать дублей и путаницы в индексации.

Тестовый домен

Тестовый домен после запуска лучше оставить закрытым или ограничить доступ по паролю. Но он не должен быть указан в canonical, sitemap, Open Graph URL или внутренних ссылках рабочего сайта.

grep -R "test.example.ru" -n views config web

Если проект большой, поиск по базе тоже может быть полезен. Старые абсолютные URL иногда хранятся в контенте страниц.

SELECT id, title
FROM pages
WHERE content LIKE '%test.example.ru%';

Коды ответа

Для основных страниц должны быть корректные коды ответа. Главная и важные разделы — 200. Старые адреса — 301 на актуальные. Несуществующие страницы — 404, а не 200 с текстом “страница не найдена”.

curl -I https://example.ru/
curl -I https://example.ru/not-found-test-page
curl -I https://example.ru/old-url/

Чек-лист после запуска

1. robots.txt не содержит Disallow: / для рабочего сайта.
2. Sitemap в robots.txt указывает на основной домен.
3. На страницах нет meta noindex.
4. В заголовках нет X-Robots-Tag: noindex.
5. Canonical указывает на рабочий URL.
6. sitemap.xml содержит https и правильный домен.
7. www, non-www и http настроены через 301.
8. Тестовый домен не встречается в HTML и базе.

Индексация ломается не только из-за больших SEO-ошибок. Иногда достаточно одного noindex в layout или старого домена в sitemap. Поэтому после запуска сайта техническую проверку лучше делать сразу, пока проблема ещё не успела накопить последствия.