На каждый запрос сервер отвечает трёхзначным кодом. Пользователь его не видит — он видит либо страницу, либо сообщение об ошибке, — а вот поисковый робот принимает решение именно по коду: индексировать страницу, зайти позже или выбросить её из базы.
Что означают коды
| Код | Что значит | Что делает робот |
|---|---|---|
| 200 OK | Страница отдана нормально | Индексирует |
| 301 Moved Permanently | Адрес сменился навсегда | Переносит страницу и её «вес» на новый адрес |
| 302 / 307 | Временное перенаправление | Оставляет в индексе старый адрес |
| 304 Not Modified | Ничего не изменилось с прошлого визита | Экономит трафик, берёт из кэша |
| 403 Forbidden | Доступ запрещён | Не индексирует |
| 404 Not Found | Страницы нет | Со временем убирает из индекса |
| 410 Gone | Страница удалена навсегда | Убирает быстрее, чем при 404 |
| 429 Too Many Requests | Слишком частые запросы | Снижает частоту обхода |
| 500 / 502 / 503 | Ошибка на сервере | Пробует позже; при затяжных ошибках выбрасывает страницы из индекса |
Ошибки делятся на две группы: 4xx — виноват запрос (нет такого адреса, нет прав), 5xx — виноват сервер (упало приложение, перегрузка, ошибка в коде).
Почему это важно
Главная страница, отвечающая чем угодно кроме 200, — это потеря всего трафика: робот не может её прочитать, а человек видит ошибку вместо сайта. Разовый 500 не страшен, но если сервер отдаёт ошибки несколько дней подряд, из выдачи начинают пропадать целые разделы, и возвращаются они уже не мгновенно, а по мере переобхода.
Отдельная беда — ошибка 503 без заголовка Retry-After. Робот не понимает, надолго ли сайт лёг, и уменьшает частоту визитов.
Как проверить
- Отчёт нашего аудита — пункт «Доступность страницы» и «Доступность внутренних страниц»: там указан фактический код.
- Вручную из консоли:
curl -I https://example.ru/
Первая строка ответа и будет кодом. Флаг -I запрашивает только заголовки, без тела страницы.
- В браузере:
F12→ вкладка Network → перезагрузить страницу → колонка Status.
Как исправить
500 и другие 5xx. Смотрите логи сервера — там будет причина: ошибка в коде, нехватка памяти, недоступная база данных. Пока чините, отдавайте 503 с заголовком Retry-After: 3600 — так робот поймёт, что это временно.
403. Обычно это права на файлы или ошибка в правилах веб-сервера. Проверьте, не блокирует ли защита от ботов поисковые роботы: Яндекс и Google ходят с известных диапазонов адресов и представляются в User-Agent.
404 на важной странице. Если адрес сменился — поставьте 301-редирект со старого на новый. Если страница удалена навсегда и замены нет — 404 или 410 корректны, ничего чинить не нужно.
404 из-за опечаток в ссылках. Такие ссылки называют битыми — они одновременно раздражают людей и тратят краулинговый бюджет.
Чего делать не стоит
Отдавать 200 на несуществующие страницы — это soft-404, и он засоряет индекс мусорными адресами. Ещё хуже — редиректить все ошибки на главную: и робот, и человек теряют понимание, где они оказались и почему.