Строка Disallow: / в robots.txt запрещает роботам обходить весь сайт — от главной до последней карточки товара:
User-agent: *
Disallow: /
Это законная настройка для тестового стенда и катастрофа для боевого сайта.
Как она попадает на рабочий сайт
Сценарий почти всегда один: сайт разрабатывают на технической площадке и закрывают её от индексации, чтобы черновик не попал в поиск. Потом сайт переносят на основной домен — вместе с robots.txt. Никто не замечает: сайт открывается, формы работают, всё хорошо. Плохо становится через две-три недели, когда старые страницы выпадают из выдачи, а новые в неё не попадают.
Вторая причина — панель CMS. Галочка «Закрыть сайт от индексации» есть почти везде, а включают её обычно на время разработки и потом забывают.
Чем это грозит
Робот не загружает ни одной страницы. Со временем сайт исчезает из выдачи полностью: поисковик не может подтвердить, что страницы ещё существуют. Восстановление занимает недели — на переобход большого сайта уходит время, а позиции возвращаются не сразу.
Отдельная неприятность: часть закрытых страниц может остаться в выдаче как адреса без описания — робот знает о них по внешним ссылкам, но прочитать не может.
Как проверить
- Пункт аудита «robots.txt не блокирует сайт».
- Откройте
https://ваш-сайт.ру/robots.txtи посмотрите глазами. Ищите строкуDisallow: /— именно со слэшем и без продолжения.Disallow: /admin/— нормально, это запрет одного раздела. - Яндекс Вебмастер → «Анализ robots.txt» → введите адрес главной: инструмент прямо скажет, разрешён обход или нет.
Как исправить
- Уберите строку
Disallow: /или замените на пустое значениеDisallow:. - В CMS снимите галочку «Закрыть сайт от индексации» — иначе файл перезапишется при следующем обновлении. В WordPress это «Настройки → Чтение → Попросить поисковые системы не индексировать сайт».
- Проверьте заодно, нет ли на страницах noindex — тестовые версии часто закрывают и так, и так.
- Отправьте сайт на переобход в Яндекс Вебмастере и Google Search Console, а карту сайта — заново.
Как закрыть тестовую версию правильно
robots.txt для теста — слабая защита: он не мешает людям и сторонним сервисам зайти на черновик. Надёжнее закрыть тестовый стенд HTTP-авторизацией (логин и пароль на уровне веб-сервера): тогда ни человек, ни робот внутрь не попадут, и переносить на боевой домен будет нечего.