Бюджет сканирования описывает объём ресурсов, который поисковая система выделяет на обход сайта. Он не равен числу страниц в индексе. Если робот уже скачал документ, но не включил его в поиск, увеличение числа обходов может не решить проблему.
Сначала установить, что происходит
| Наблюдение | Что исследовать |
|---|---|
| Новый URL неизвестен системе | Ссылки, sitemap, доступность адреса |
| URL обнаружен, но не обойдён | Логи, ресурсы сервера, приоритет и лишние адреса |
| URL обойдён, но не индексируется | Содержание, дубли, canonical и ограничения |
| Страница в индексе, но мало показов | Спрос, соответствие запросу и конкуренцию |
Размер сайта — ориентир для внимания, а не диагноз. Маленький сайт тоже может выдавать ошибки, а большой каталог — нормально обходиться. Начинать с универсального порога «от тысячи страниц» не нужно.
Что смотреть в логах
Выберите сопоставимый период и распределите запросы подтверждённых поисковых роботов по типам URL: карточки, категории, фильтры, поиск, параметры, удалённые страницы. Одной строки User-Agent для подтверждения робота недостаточно.
Для групп сравните число уникальных адресов, частоту запросов, коды ответа и время ответа. Проверьте, не создаёт ли один шаблон бесконечные комбинации фильтров или дат. Отдельно проследите несколько важных новых страниц от публикации до первого обхода.
Google связывает объём обхода с возможностями сервера и потребностью в обновлении. Быстрый сервер полезен, но сам по себе не создаёт потребность обходить незначимые документы.
Разные задачи требуют разных инструментов
- Ненужный адрес удалён: корректный статус отсутствия, если нет подходящей замены.
- Старая страница заменена эквивалентной: прямое перенаправление к замене.
- Несколько доступных версий одного содержания: согласованные сигналы canonical и внутренние ссылки.
- Страница нужна людям, но не поиску: доступный роботу noindex.
- Нужно ограничить обход определённого пространства URL: обоснованные правила robots.txt.
Не закрывайте роботу страницу, с которой он должен прочитать noindex или canonical. Не называйте любую пагинацию дублями и не удаляйте полезный товар только потому, что его временно нет в наличии.
Как проверить эффект
Зафиксируйте правила и контрольные адреса до изменения. После запуска проверьте сервер, доступность ресурсов и ошибки. Затем сравните долю обхода нужных групп и задержку первого посещения важных URL. Индексацию и органический трафик оценивайте отдельно.
Корректные коды, внутренняя навигация и актуальный sitemap полезнее массовой отправки одних и тех же адресов на переобход.
Проверить на своём сайте
Начните с нескольких типичных страниц и зафиксируйте проблему до изменения шаблона. Если нужна проверка структуры и индексации, посмотрите состав технического аудита.
Добавить комментарий