robots.txt, sitemap.xml и favicon: простая техническая проверка

robots.txt, sitemap.xml и favicon редко требуют сложной разработки, но именно в этих файлах часто остаются ошибки после переезда сайта, смены домена или выкладки новой версии. Проверка занимает немного времени и помогает быстро найти проблемы, которые мешают нормальной индексации или портят внешний вид сайта в поиске и браузере.

robots.txt: не закрыт ли сайт случайно

Первое, что стоит проверить, — доступность robots.txt. Файл должен открываться по адресу /robots.txt и отдавать код 200. Если вместо него редирект, 404 или HTML-страница, лучше разобраться сразу.

curl -I https://example.ru/robots.txt
curl https://example.ru/robots.txt

Типовая проблема после разработки: на рабочий сайт попадает запрет индексации, который использовался на тестовом домене.

User-agent: *
Disallow: /

Такой файл полностью закрывает сайт от обхода. Иногда это нужно для тестового стенда, но на основном домене почти всегда является ошибкой. Для обычного сайта robots.txt может выглядеть спокойнее:

User-agent: *
Disallow: /admin/
Disallow: /login
Disallow: /cart
Disallow: /search

Sitemap: https://example.ru/sitemap.xml

Правила зависят от проекта. Важно не закрыть CSS, JS и изображения, которые нужны поисковым системам для нормального рендеринга страниц.

Что проверить в robots.txt

• файл открывается без авторизации;
• нет случайного Disallow: / для основного сайта;
• указан актуальный домен в Sitemap;
• нет старого тестового домена;
• нет закрытия важных разделов каталога или блога;
• служебные разделы закрыты аккуратно, без лишнего фанатизма.

sitemap.xml: карта сайта должна быть живой

Карта сайта нужна не для красоты. Она помогает поисковым системам быстрее находить важные страницы. Но если sitemap.xml содержит старые URL, редиректы или страницы с 404, пользы становится меньше.

curl -I https://example.ru/sitemap.xml

Ответ должен быть 200, а содержимое — XML. В простом варианте карта сайта выглядит так:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
    <url>
        <loc>https://example.ru/</loc>
        <lastmod>2026-06-10</lastmod>
    </url>
</urlset>

Если страниц много, sitemap обычно разбивают на несколько файлов и подключают через индекс:

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
    <sitemap>
        <loc>https://example.ru/sitemap-pages.xml</loc>
    </sitemap>
    <sitemap>
        <loc>https://example.ru/sitemap-blog.xml</loc>
    </sitemap>
</sitemapindex>

Частые ошибки sitemap.xml

• в карте остались URL со старого домена;
• в loc указан http вместо https;
• карта содержит страницы с 301, 404 или 500;
• в sitemap попали страницы фильтров, корзина, личный кабинет;
• lastmod обновляется каждый день без реального изменения страниц;
• файл слишком большой и его давно пора разделить.

Для быстрой проверки можно выгрузить несколько URL из sitemap и пройтись по ним curl. На больших проектах это лучше автоматизировать отдельной командой.

curl -I https://example.ru/some-page
curl -I https://example.ru/blog/post-slug

favicon: мелочь, которая часто ломается

Favicon не влияет на ранжирование напрямую так, как это иногда представляют, но он влияет на аккуратность сайта в браузере, закладках и поисковой выдаче. После переезда или смены шаблона favicon часто отдаёт 404.

curl -I https://example.ru/favicon.ico

В HTML обычно добавляют несколько вариантов иконок:

<link rel="icon" href="/favicon.ico" sizes="any">
<link rel="icon" type="image/svg+xml" href="/favicon.svg">
<link rel="apple-touch-icon" href="/apple-touch-icon.png">

Если используется Yii2, подключение можно сделать в layout, чтобы не дублировать код по шаблонам:

$this->registerLinkTag([
    'rel' => 'icon',
    'href' => '/favicon.ico',
]);

Проверка кодов ответа

Для технического SEO важно, чтобы основные служебные URL отдавали понятные коды. Не нужно, чтобы robots.txt редиректил на главную, а sitemap.xml открывался только после авторизации.

1. /robots.txt — 200.
2. /sitemap.xml — 200.
3. /favicon.ico — 200 или корректная альтернатива в HTML.
4. Старый домен — 301 на новый, если был переезд.
5. HTTP — 301 на HTTPS.
6. Несуществующая страница — 404, а не 200 с текстом ошибки.

curl -I http://example.ru/
curl -I https://example.ru/not-found-test-page

После переезда сайта

После смены домена или структуры URL лучше отдельно пройтись по техническим файлам. Часто основной сайт уже работает, а robots.txt всё ещё указывает старый sitemap, favicon берётся из старой темы, а карта сайта содержит несуществующие адреса.

• заменить домен в sitemap.xml;
• обновить Sitemap в robots.txt;
• проверить редиректы со старых URL;
• убрать тестовые запреты индексации;
• проверить canonical на нескольких типах страниц;
• проверить favicon в layout и в корне сайта.

Эти проверки не заменяют полноценный SEO-аудит, но закрывают базовые технические ошибки. Хорошая практика — делать их после каждого серьёзного обновления шаблонов, переезда, смены домена или настройки нового сервера.