Директива Sitemap в robots.txt

Строка Sitemap: в robots.txt указывает роботу полный адрес карты сайта:

Sitemap: https://example.ru/sitemap.xml

Робот читает robots.txt первым делом, ещё до захода на страницы, — и сразу получает список всех адресов сайта, вместо того чтобы искать их по ссылкам.

Правила записи

• Полный адрес, с протоколом и доменом. Sitemap: /sitemap.xml — ошибка, такую строку робот проигнорирует.
• Строка вне блоков User-agent — она общая для всех роботов. Обычно её ставят в конец файла.
• Карт может быть несколько — по одной строке на каждую:

Sitemap: https://example.ru/sitemap-pages.xml
Sitemap: https://example.ru/sitemap-products.xml

• Протокол в адресе должен совпадать с рабочим: если сайт на HTTPS, карта тоже указывается через https://.

Зачем это, если карта добавлена в Вебмастер

Вебмастер и Search Console — это Яндекс и Google. Кроме них сайт обходят и другие роботы: Bing, поисковики-агрегаторы, сервисы аналитики и мониторинга. Они в вашу панель не заглядывают, а robots.txt читают все. Одна строка — и карта доступна каждому.

Плюс страховка: панели вебмастеров периодически теряют настройки при смене владельца сайта или переезде. Строка в файле переживает такие события.

Как проверить

• Пункт аудита «Sitemap указан в robots.txt».
• Откройте https://ваш-сайт.ру/robots.txt и найдите строку Sitemap:. Скопируйте адрес из неё в браузер — карта должна открыться и отдать XML, а не 404.

Как добавить

Допишите строку в конец robots.txt. Если файла нет — создайте его, минимальный вариант:

User-agent: *
Disallow:

Sitemap: https://example.ru/sitemap.xml

Многие CMS добавляют эту строку сами, когда включён SEO-модуль. Проверьте: бывает, что модуль указывает адрес старой карты или карту по устаревшему протоколу http://.