Директива noindex: как закрыть страницу от поиска — и как открыть обратно

noindex — прямой запрет показывать страницу в результатах поиска. Робот страницу загрузит и прочитает, но в выдачу не выпустит. Это самая жёсткая из настроек индексации и самая частая причина внезапного исчезновения сайта из поиска.

Где может стоять запрет

В HTML-коде страницы:

<meta name="robots" content="noindex, follow">

В HTTP-заголовке ответа — его не видно в исходном коде страницы, и потому находят его последним:

X-Robots-Tag: noindex

Заголовок удобен для нетекстовых файлов (PDF, изображения), но именно из-за незаметности он чаще всего и оказывается забытым.

Бывает адресное правило для одной поисковой системы: <meta name="googlebot" content="noindex"> или <meta name="yandex" content="noindex">.

Откуда он берётся, когда его не звали

Почти всегда — из тестовой версии. Сайт разрабатывают на поддомене, закрывают его от индексации, а потом выкладывают на боевой домен вместе с этой строкой. В CMS обычно есть галочка «Попросить поисковые системы не индексировать сайт» (в WordPress — «Настройки → Чтение»), и её тоже забывают снять после запуска.

Симптом узнаваемый: сайт работает, страницы открываются, ссылки на них есть, а в поиске — ничего.

Как проверить

• В отчёте аудита — пункт «Индексация (noindex)».
• Вручную: откройте исходный код страницы (Ctrl+U) и поищите noindex.
• Заголовок ответа:

curl -I https://example.ru/ | grep -i x-robots-tag

• В Яндекс Вебмастере — «Индексирование → Страницы в поиске», в Google Search Console — отчёт «Индексирование страниц»; исключённые страницы там перечислены с причиной.

Как исправить

Уберите мета-тег и заголовок со страниц, которые должны быть в выдаче, и отправьте страницы на переобход через Вебмастер и Search Console — иначе ждать возвращения придётся неделями.

Где noindex уместен

• Страницы «Спасибо за заказ», корзина, личный кабинет — они не нужны в выдаче и портят статистику.
• Результаты внутреннего поиска и бесконечные комбинации фильтров — они плодят тысячи почти одинаковых адресов.
• Служебные страницы: печатные версии, тестовые разделы.

Полезная деталь: noindex, follow запрещает показ страницы, но разрешает роботу переходить по ссылкам с неё и находить остальной сайт. Именно эту комбинацию обычно и стоит ставить.

Частая ошибка

Закрыть страницу и в robots.txt, и через noindex. Это не «двойная защита», а взаимоисключающие указания: robots.txt запрещает загружать страницу, а значит, робот никогда не прочитает noindex внутри неё. Страница может остаться в выдаче — без описания, по одним внешним ссылкам. Если нужно убрать из поиска — оставляйте noindex и открывайте страницу для обхода.