Страница есть на сайте, но не попадает в поиск: технический чек-лист

Страница может нормально открываться в браузере, но не попадать в поиск. Владелец сайта видит её, менеджер отправляет ссылку клиенту, а поисковая система будто игнорирует. Причина не всегда в “плохом контенте”. Часто страница закрыта технически, отдаёт не тот код, имеет неправильный canonical или не связана с сайтом внутренними ссылками.

Проверку лучше вести по слоям: доступность, разрешение на обход, индексируемость, каноническая версия, внутренние ссылки и качество страницы.

Код ответа

Начать нужно с HTTP-кода.

curl -I https://example.ru/page/

Для нормальной индексируемой страницы ожидается 200. Если там 301, 302, 404, 403 или 500, сначала нужно разобраться с кодом ответа.

robots.txt

Страница или её раздел могут быть закрыты в robots.txt.

curl https://example.ru/robots.txt

Например:

User-agent: *
Disallow: /catalog/

Если закрыт весь каталог, отдельная карточка внутри него может не обходиться. Нужно проверять не только конкретный URL, но и родительские разделы.

meta robots

На самой странице может быть noindex.

<meta name="robots" content="noindex, nofollow">

Проверка:

curl -s https://example.ru/page/ | grep -i "robots"

Иногда noindex попадает в шаблон случайно: его добавили для тестовых страниц, а потом условие сработало на production.

X-Robots-Tag

Запрет индексации может быть не в HTML, а в HTTP-заголовке.

curl -I https://example.ru/page/ | grep -i "x-robots"

Так часто закрывают PDF, файлы, служебные страницы или результаты поиска.

Canonical

Если canonical указывает на другую страницу, поисковая система может выбрать её основной версией.

<link rel="canonical" href="https://example.ru/other-page/">

Это нормально для дублей, но плохо, если уникальная страница случайно канонизирована на раздел, главную или соседнюю карточку.

Sitemap

Наличие в sitemap не гарантирует индексацию, но помогает обходу. В sitemap должны быть только страницы, которые реально можно индексировать.

curl https://example.ru/sitemap.xml | grep "/page/"

Если страница важная, но её нет в карте сайта и на неё нет внутренних ссылок, поисковый робот может долго до неё не добраться.

Внутренние ссылки

Страница должна быть связана с сайтом. Если URL существует, но на него нигде нет ссылки, это слабый сигнал. Особенно для старых сайтов с большим количеством технических страниц.

Проверьте:

• есть ли ссылка из меню, раздела или списка;
• не закрыта ли ссылка через JS;
• не стоит ли nofollow;
• не ведёт ли ссылка через редирект;
• попадает ли страница в пагинацию.

Дубли и слабые страницы

Если страница почти полностью повторяет другую, поисковая система может не показывать её отдельно. Это особенно часто встречается у фильтров каталога, тегов, пустых категорий и карточек с одинаковыми описаниями.

Чек-лист

1. Проверить HTTP-код страницы.
2. Проверить robots.txt.
3. Проверить meta robots.
4. Проверить X-Robots-Tag.
5. Проверить canonical.
6. Проверить наличие в sitemap.
7. Проверить внутренние ссылки.
8. Проверить дубли и качество контента.
9. Проверить страницу после очистки кэша.

Если страница есть на сайте, это ещё не значит, что она доступна для индексации. Чаще всего проблема находится в одном из технических слоёв: код ответа, запрет, canonical, sitemap или отсутствие нормальных внутренних ссылок.