Чтобы продвигать сайт осознанно, нужно понимать, как поисковая система превращает миллиарды страниц в упорядоченную выдачу за доли секунды. Процесс делится на три этапа: краулинг (обход), индексация (обработка и хранение) и ранжирование (сортировка под запрос). Разберём каждый и покажем, на что SEO-специалист может повлиять.
Три этапа простыми словами
Этапы идут строго по порядку, и провал на раннем обнуляет усилия на следующих:
| Этап | Что происходит | Главный риск | Где проверить |
|---|---|---|---|
| Краулинг | Робот находит URL и скачивает HTML | Закрыта в robots.txt или «осиротела» без ссылок | Логи, «Статистика обхода» в Вебмастере |
| Индексация | Контент разбирается и заносится в базу | noindex, дубли без canonical, «тонкий» контент |
«Индексирование» в Вебмастере, «Страницы» в Search Console |
| Ранжирование | Страницы из базы сортируются под запрос | Слабая релевантность, поведенческие и коммерческие факторы | Позиции, CTR, отчёты по запросам |
Этап 1. Краулинг — как робот находит и обходит страницы
Краулинг — обход сайта поисковым роботом (Яндекс-бот, Googlebot): он переходит по ссылкам, скачивает HTML и находит новые URL.
Чем управляется обход:
— robots.txt — разрешает или запрещает обход разделов, указывает путь к sitemap. Случайный Disallow: / закрывает сайт целиком — частая причина «пропажи» из поиска.
— sitemap.xml — карта приоритетных URL; помогает не пропустить важные страницы.
— Внутренняя перелинковка — страница без входящих ссылок («сирота») может не попасть в обход.
— Краулинговый бюджет — для крупных сайтов число страниц за визит ограничено. Мусорные URL «съедают» бюджет, и важные страницы обходятся реже.
На что влияем: открытость robots.txt, актуальность sitemap, отсутствие дублей, скорость ответа сервера; глубокие страницы (правило «макс. 3–4 клика») обходятся реже. Проверить обход можно в «Статистике обхода» Вебмастера: скачок URL с кодом 200, которых вы не создавали, — сигнал мусорных дублей (UTM, сортировки, фильтры).
⚠️ РИСК. Не закрывайте разделы в robots.txt вслепую. Закрытый URL робот не обходит, но может оставить в индексе по внешним ссылкам — страница висит в выдаче без сниппета. Для гарантированного исключения нужен noindex на открытой странице, а не Disallow.
Этап 2. Индексация — как страница попадает в базу
После обхода поисковик разбирает содержимое: извлекает текст, заголовки, мета-теги и формирует индекс. У Яндекса нейросеть YATI уже здесь оценивает смысл и качество контента.
Что мешает индексации:
— noindex в meta robots или заголовке X-Robots-Tag;
— дубли без rel=canonical (поисковик выбирает одну версию, остальные отбрасывает);
— «тонкий» (thin) контент без пользы — попадает в «малополезные»;
— soft 404 — код 200, но страница фактически пустая;
— циклические редиректы и цепочки переадресаций.
Проверка: «Индексирование» в Яндекс.Вебмастере и «Страницы» / проверка URL в Search Console показывают, что в индексе, а что отклонено. У каждой исключённой страницы есть статус с причиной — это подсказка, что чинить.
Мини-пример. Магазин жалуется, что новые карточки «не индексируются», а в Search Console статус «Дубль; canonical не выбран пользователем». Причина: карточка доступна по нескольким URL (категория, фильтр, поиск), а canonical не настроен. Решение не «ждать», а проставить rel=canonical на основной URL и закрыть параметрические дубли — то есть лечить архитектуру, а не контент.
Этап 3. Ранжирование — как выстраивается выдача
Когда пользователь вводит запрос, система за доли секунды отбирает релевантные страницы из индекса и сортирует их по сотням факторов. Ключевые группы:
- Соответствие смыслу запроса. У Яндекса — YATI и «Королёв» (понимают смысл, а не совпадение слов), «Палех» — для длинных запросов; у Google — нейросети и Helpful Content, понижающая «контент ради контента».
- Качество и польза контента — полнота ответа, экспертность (E-E-A-T у Google), структура.
- Технические сигналы — Core Web Vitals (LCP < 2,5 с, INP < 200 мс, CLS < 0,1), мобилопригодность, HTTPS.
- Коммерческие факторы (важны для Яндекса) — цены, контакты, ассортимент, доверие.
- Поведенческие факторы — время на странице, отказы, возвраты в выдачу.
- Ссылочные сигналы, региональность и персонализация — авторитетность домена, подстройка под город и историю пользователя.
Важна разница интентов: под коммерческий запрос («купить памятник из гранита Новосибирск») в топ выходят страницы с ценами и формой заявки, под информационный («как выбрать памятник») — статьи. Статья под коммерческий запрос проигрывает: алгоритм видит несоответствие типа страницы интенту. Единой «формулы топа» нет, веса факторов меняются с обновлениями (у Яндекса — регулярно, у Google — Core Updates).
⚠️ РИСК. Не «добирайте» релевантность переспамом: плотность выше 3–4% и неестественные вхождения в Яндексе ведут к фильтру «Баден-Баден». Накрутка поведенческих факторов карается отдельно — вплоть до бана хоста. Естественный путь — улучшать контент и реальный пользовательский опыт, а не сигналы.
Дополнительно: асессоры и обучение алгоритмов
И Яндекс, и Google используют асессоров — людей, которые оценивают качество выдачи по инструкциям. Их оценки не влияют на сайт напрямую, но обучают алгоритм отличать полезные страницы от бесполезных. Поэтому «обмануть робота» в долгую не выходит.
Что из этого следует для SEO
- Сначала доступность. Если страница не обойдена или не проиндексирована, бороться за позиции бессмысленно — проверьте robots.txt, sitemap, canonical, коды ответа.
- Потом релевантность и польза. Текст должен реально отвечать на запрос и соответствовать его интенту, а не содержать ключи ради ключей.
- Потом удержание. Поведенческие и коммерческие факторы решают, удержитесь ли вы в топе.
Подробнее о сигналах — в Факторах ранжирования Яндекс и Google; общую картину даёт руководство по SEO с нуля.
Частые вопросы
Как ускорить индексацию новой страницы?
Добавьте URL в sitemap, поставьте на неё внутренние ссылки и отправьте на переобход в Яндекс.Вебмастере и через проверку URL в Search Console. Скорость зависит от авторитетности и частоты обновления сайта: на новом сайте первая индексация может занять от нескольких дней до нескольких недель.
Почему страница в индексе, но не в топе?
Индексация ≠ ранжирование. Страница в базе, но проигрывает конкурентам по релевантности, поведенческим или коммерческим факторам. Нужно усиливать контент и качество, а не просто «ждать».
Что такое краулинговый бюджет и кому он важен?
Это объём страниц, которые робот обходит за период. Критичен для крупных сайтов (десятки тысяч URL): мусорные дубли отвлекают робота от важных страниц. Решается чисткой дублей, canonical и robots.txt; для небольших сайтов обычно не проблема.
Чем отличается индексация Яндекса и Google?
Принцип схожий, но базы, алгоритмы и инструменты вебмастера разные, поэтому позиции в Яндексе и Google различаются.
Сколько времени занимает выход в топ после индексации?
Гарантированных сроков нет, а любая «гарантия ТОП-10 за месяц» — красный флаг. По низкочастотным запросам результат виден за 1–3 месяца, по конкурентным — обычно 6–12 месяцев системной работы.
Материал подготовлен экспертами Chrome Media на основе официальной документации Яндекса и Google.
Добавить комментарий