SEO техническое

Mobile-first индексация — это принцип, при котором поисковик оценивает и ранжирует сайт в первую очередь по его мобильной версии, а не по десктопной. Робот заходит на страницы как мобильный пользователь, и весь контент, ссылки и разметка мобильной версии становятся основой для индексации и позиций.

Почему поисковики перешли на mobile-first?

Большая часть визитов приходит со смартфонов, поэтому логично оценивать сайт так, как его видит основной пользователь. Google перевёл индексацию на мобильный приоритет, аналогичной логики придерживается и Яндекс. На практике это значит: если контент есть на десктопе, но скрыт или отсутствует в мобильной версии, для ранжирования его может не существовать.

Что проверять в мобильной версии?

Главное правило — мобильная версия должна быть полноценной, а не урезанной. Стоит убедиться, что совпадают ключевые элементы:

• основной текст и заголовки присутствуют полностью;
• структурированные данные и микроразметка есть на обеих версиях;
• метатеги title и description идентичны;
• внутренние ссылки и меню доступны;
• изображения и alt-атрибуты не потеряны.

Чем mobile-first отличается от адаптивности?

Адаптивная вёрстка — это способ показать один и тот же HTML под разные экраны. Mobile-first индексация — это то, какую версию поисковик берёт за основу. Адаптивный сайт обычно проще проходит mobile-first, потому что контент на мобильном и десктопе один. Проблемы возникают у отдельных мобильных поддоменов или динамической выдачи разного HTML.

Как это связано со скоростью?

Мобильный робот учитывает не только контент, но и удобство. Медленная загрузка на смартфоне ухудшает поведение пользователей и позиции. Поэтому mobile-first тесно связан со скоростью загрузки и метриками Core Web Vitals, которые измеряются в первую очередь на мобильных устройствах.

Как применяем в Chrome Media

При аудите мы сравниваем мобильную и десктопную версии страниц: сверяем текст, метатеги, разметку и внутренние ссылки, чтобы мобильная версия не теряла контент. Проверяем, как страницы открываются мобильным роботом, и устраняем скрытые блоки, тяжёлые скрипты и проблемы вёрстки. На разработке сайтов закладываем адаптивную вёрстку сразу, а в рамках SEO-продвижения следим, чтобы обновления контента появлялись в мобильной версии.

Частые вопросы

Что такое mobile-first индексация простыми словами? Это когда поисковик оценивает сайт по его мобильной версии и именно на её основе формирует позиции в выдаче.

Нужна ли отдельная мобильная версия сайта? Нет, чаще достаточно адаптивной вёрстки с одним HTML под все экраны. Отдельные мобильные поддомены сложнее поддерживать и легче потерять контент.

Что будет, если на мобильной версии меньше контента? Поисковик может не учитывать то, что скрыто или отсутствует на мобильном. Это способно снизить релевантность и позиции страницы.

Влияет ли скорость мобильной версии на ранжирование? Да, удобство и скорость мобильной страницы учитываются при оценке. Медленная загрузка ухудшает поведение пользователей и позиции.

Дубли страниц — это несколько URL с одинаковым или почти одинаковым содержимым, которые размывают релевантность и заставляют поисковик выбирать, какую версию показывать в выдаче. Из-за дублей сигналы ранжирования делятся между копиями, а робот тратит обход на лишние адреса вместо важных страниц.

Откуда берутся дубли?

Чаще всего дубли появляются не по злому умыслу, а из-за настроек CMS и сервера. Типичные источники:

• адреса с www и без www, а также http и https;
• слэш в конце URL и без него;
• параметры сортировки, фильтров и UTM-меток;
• страницы пагинации и версии для печати;
• один товар в нескольких категориях с разными путями.

Такие адреса ведут на одну и ту же страницу, но для поисковика это разные URL.

Чем полные дубли отличаются от частичных?

Полный дубль — это страница, содержимое которой совпадает целиком. Частичный дубль повторяет большой блок текста: например, одинаковые описания в карточках товаров или шаблонные тексты категорий. Полные дубли обычно закрывают через канонический URL или редирект 301. Частичные требуют переработки контента, чтобы каждая страница отвечала своему запросу.

Зачем устранять дубли?

Дубли мешают ранжированию сразу с двух сторон. Во-первых, поисковик может выбрать в выдачу не ту версию, которую вы продвигаете. Во-вторых, обход копий расходует краулинговый бюджет, из-за чего новые и важные страницы дольше попадают в индекс. Чистая структура ускоряет индексацию и концентрирует вес на нужных URL.

Пример

Допустим, карточка товара доступна по адресам с параметром ?sort=price и без него. Содержимое одинаковое, но это два URL. Поисковик видит дубль, распределяет сигналы между ними и может показать в выдаче версию с параметром. Решение: указать канонический адрес на чистый URL и настроить человекопонятные адреса.

Как применяем в Chrome Media

При SEO-аудите мы выгружаем полный список URL и ищем дубли по совпадению контента и метатегов, а затем по параметрам и техническим версиям адресов. Для полных дублей настраиваем canonical или 301-редирект, лишние параметры закрываем в robots.txt. Частичные дубли передаём в работу над контентом. На разработке сайтов закладываем корректные адреса заранее, чтобы дубли не появлялись после запуска.

Частые вопросы

Чем дубли вредят сайту? Они делят сигналы ранжирования между копиями, заставляют поисковик выбирать версию для выдачи и расходуют обход робота на лишние адреса.

Как быстро найти дубли? Собрать список всех URL краулером, сгруппировать страницы по совпадению title, description и текста, отдельно проверить адреса с параметрами и техническими версиями.

Что лучше — canonical или редирект 301? Редирект нужен, когда старый адрес не должен открываться. Canonical подходит, если обе версии должны работать, но в индексе нужна одна из них.

Помогает ли noindex от дублей? Noindex убирает страницу из выдачи, но не передаёт её вес основной версии. Для дублей чаще предпочтительнее canonical или 301-редирект.

Анализ логов сервера — это изучение записей о запросах поисковых роботов в серверных логах. Он показывает, какие URL и как часто обходит бот, какие коды ответа они отдают и куда уходит краулинговый бюджет. В отличие от других отчётов, логи фиксируют реальное поведение робота, а не предполагаемое.

Что видно в логах?

Каждая строка лога содержит запрошенный URL, дату, IP, юзер-агент и код ответа. По ним можно определить:

• какие разделы робот обходит чаще, а какие игнорирует;
• сколько обхода тратится на параметры, редиректы и ошибки;
• как быстро индексируются новые страницы;
• отвечает ли сервер стабильно.

Важно отделять настоящих ботов от подделок по обратному DNS-запросу.

Чем лог-анализ отличается от отчётов вебмастера?

Панели вебмастеров показывают агрегированную и частично отфильтрованную картину. Логи фиксируют каждый запрос без выборки и задержек. Поэтому они точнее отвечают на вопрос, добирается ли робот до конкретных страниц. Лог-анализ хорошо дополняет данные об индексации из стандартных панелей.

Как найти неэффективный обход?

В логах ищут URL, которые робот посещает часто, но которые не должны индексироваться: параметры фильтров, сортировки, сессии, страницы с редиректами и ошибками. Такие адреса съедают краулинговый бюджет. Их закрывают в robots.txt или устраняют, а заодно правят неверные коды ответа сервера.

Как применяем в Chrome Media

В технических аудитах крупных сайтов мы выгружаем серверные логи, отделяем настоящих роботов и смотрим, на что уходит обход. Находим разделы, до которых бот не доходит, и мусорные URL, которые тратят бюджет. По итогам перераспределяем обход в пользу приоритетных страниц. Это часть услуги SEO-продвижение.

Частые вопросы

Каким сайтам полезен анализ логов? Прежде всего крупным сайтам с тысячами страниц, где важно контролировать обход. Для небольших сайтов обычно хватает стандартных панелей вебмастеров.

Как отличить настоящего робота от подделки? По обратному DNS-запросу IP-адреса. Юзер-агент легко подделать, поэтому ориентироваться только на его название нельзя.

Что дают логи, чего нет в панели вебмастера? Полную и своевременную картину каждого запроса без выборки. Это позволяет точно увидеть, до каких страниц робот доходит, а до каких нет.

JS-рендеринг — это процесс исполнения поисковым роботом JavaScript-кода страницы для получения её итогового содержимого. От него зависит, увидит ли поисковик контент одностраничных приложений и блоков, которые скрипты подгружают после исходного HTML. Если контент появляется только после исполнения JS, робот должен отрендерить страницу, чтобы его учесть.

Почему JS-контент может не индексироваться?

Рендеринг требует ресурсов, поэтому робот делает его во вторую очередь и не всегда мгновенно. Проблемы возникают, когда:

• ключевой текст и ссылки появляются только после исполнения скриптов;
• контент грузится по клику или скроллу, недоступному роботу;
• ошибки в JS ломают отрисовку;
• скрипты закрыты от обхода в robots.txt.

В таких случаях поисковик видит пустой каркас без содержимого.

Чем SSR отличается от клиентского рендеринга?

При клиентском рендеринге (CSR) HTML собирается в браузере пользователя, и робот получает почти пустую страницу. При серверном рендеринге (SSR) готовый HTML формируется на сервере, и контент доступен сразу. Промежуточные варианты — пререндер для ботов и гидрация, когда статичный HTML «оживляется» скриптами. SSR обычно надёжнее для индексации.

Как выбрать способ отдачи контента?

Выбор зависит от типа сайта. Для контентных проектов важен доступный сразу HTML, поэтому предпочтителен SSR или предгенерация. Тяжёлый JS замедляет загрузку и ухудшает Core Web Vitals, а лишний рендеринг расходует краулинговый бюджет. Проверить, что видит робот, можно инструментами проверки URL в панелях вебмастеров.

Как применяем в Chrome Media

При разработке сайтов на JS-фреймворках мы закладываем серверный рендеринг или предгенерацию для важного контента, оставляя интерактив на клиенте. Проверяем, что текст, ссылки и метатеги доступны в исходном ответе, не блокируем скрипты в robots.txt и следим за скоростью. Это часть услуги разработка сайтов.

Частые вопросы

Индексирует ли поисковик контент на JavaScript? Да, современные роботы умеют исполнять JS. Но рендеринг откладывается и не гарантирован, поэтому важный контент надёжнее отдавать в готовом HTML.

Что лучше для SEO — SSR или CSR? Для индексируемости обычно предпочтителен SSR или предгенерация: контент доступен сразу. Чистый клиентский рендеринг повышает риск, что робот увидит пустую страницу.

Как проверить, что видит робот? Используйте инструмент проверки URL в панели вебмастера — он показывает отрендеренный HTML и код, который получил поисковик.

Коды ответа сервера — это трёхзначные HTTP-статусы, которыми сервер отвечает на запрос страницы. По ним поисковый робот понимает, как обрабатывать URL: индексировать, идти по редиректу, убрать из индекса или вернуться позже. Первая цифра задаёт класс ответа — от успешного до ошибки сервера.

Какие статусы важны для SEO?

Почему страница выпала из индекса?

Частая причина — сервер отдаёт неверный статус. Например, несуществующая страница возвращает 200 вместо 404 и плодит дубли, либо рабочая страница периодически отвечает ошибкой 5xx. Проверять реальные ответы удобно в панелях вебмастеров и через анализ логов сервера. Некорректные статусы напрямую влияют на индексацию.

Как отдавать статусы при работах на сайте?

Во время обновлений и техработ страницу нельзя отдавать как 200 или 404. Правильный ответ — 503 с заголовком о повторном визите: робот поймёт, что сбой временный, и не удалит страницу. Для переезда URL используют редирект 301, а не цепочки временных перенаправлений, которые тратят краулинговый бюджет.

Как применяем в Chrome Media

В технических аудитах мы проверяем ответы всех значимых URL: ищем ложные 200 у несуществующих страниц, цепочки и петли редиректов, случайные 5xx. Настраиваем корректные 404 и 410 для удалённого, 503 на время работ и 301 при смене адресов. Это часть услуги SEO-продвижение.

Частые вопросы

Чем 404 отличается от 410? Оба означают, что страницы нет. 410 — сигнал, что удаление окончательное, поэтому URL обычно выпадает из индекса быстрее, чем при 404.

Какой статус отдавать во время техработ? Код 503 с заголовком Retry-After. Он говорит роботу, что недоступность временная, и страница не потеряет позиции.

Опасно ли, если удалённая страница отдаёт 200? Да. Пустые или заглушечные страницы с кодом 200 засоряют индекс дублями и тратят обход робота впустую.

hreflang — это HTML-атрибут или элемент карты сайта, который сообщает поисковику языковую и региональную версию страницы. Благодаря ему в выдаче показывается нужная локаль, а разные языковые версии не воспринимаются как дубли. Атрибут указывает пары «язык-регион», например ru, en-US или de-CH.

Как устроен hreflang?

Для каждой страницы перечисляют все её локали, включая саму себя. Значение состоит из кода языка и, при необходимости, кода региона:

• ru — русский язык без привязки к стране;
• en-US — английский для США;
• x-default — версия по умолчанию для остальных.

Ссылки должны быть взаимными: если страница А указывает на Б, то Б обязана указывать на А.

Чем hreflang отличается от canonical?

Это разные инструменты, которые часто путают. Канонический URL говорит, какую из похожих страниц считать главной и склеить. hreflang, наоборот, сообщает, что версии равнозначны, но предназначены разным аудиториям. Указывать canonical с одной локали на другую нельзя — это ломает мультиязычность.

Где размещать атрибут?

Есть три способа: в секции head через тег link, в HTTP-заголовке или в карте сайта. Для больших сайтов удобнее карта сайта — она не раздувает код страниц. Важно, чтобы адреса локалей были стабильными и отдавали корректный ответ, без лишних редиректов.

Как применяем в Chrome Media

При разработке и продвижении мультиязычных и мультирегиональных сайтов мы проектируем структуру локалей и настраиваем взаимные ссылки hreflang. Проверяем, что версии не склеиваются каноническим, добавляем x-default и следим за корректной индексацией каждой локали. Это часть услуги разработка сайтов.

Частые вопросы

Нужен ли hreflang, если у сайта одна языковая версия? Нет. Атрибут нужен только когда есть несколько языковых или региональных версий одной и той же страницы.

Что будет, если ссылки hreflang не взаимны? Поисковик может проигнорировать разметку. Каждая локаль должна ссылаться на все остальные и на саму себя, иначе связка не работает.

Можно ли использовать hreflang вместе с canonical? Да, но canonical должен указывать на саму страницу в пределах её локали, а не на версию другого языка. Иначе версии склеятся.

Краулинговый бюджет — это лимит числа страниц сайта, которые поисковый робот готов обойти и переиндексировать за отведённый интервал времени. Величину определяют авторитет домена, скорость ответа сервера и частота обновления контента. Для крупных сайтов бюджет ограничен, поэтому его важно тратить на значимые страницы, а не на мусорные URL.

От чего зависит размер бюджета?

Поисковик балансирует между двумя вещами: как часто он может опрашивать сервер без вреда и насколько сайт ценен для обхода. На бюджет влияют:

• скорость ответа и стабильность сервера;
• авторитетность и размер сайта;
• частота публикации и обновления страниц;
• доля дублей, редиректов и страниц с ошибками.

Медленный сервер и обилие бесполезных URL заставляют робота тратить обход впустую.

Почему часть страниц не индексируется?

Если робот расходует бюджет на служебные и повторяющиеся адреса, до важных страниц он доходит реже. Типичные пожиратели обхода — параметрические URL фильтров, сортировок, сессий, а также дубли страниц. Закрытие лишнего в robots.txt и корректная индексация высвобождают ресурс для нужных разделов.

Как экономить краулинговый бюджет?

Основная работа — убрать из обхода то, что не должно ранжироваться, и ускорить ответ сервера. Помогают правильные коды ответа сервера, склейка дублей, чистая карта сайта и логичная структура ссылок. Обычно достаточно навести порядок с параметрами и убрать цепочки редиректов.

Как применяем в Chrome Media

В проектах SEO-продвижения мы смотрим, куда уходит обход робота, через серверные логи и панели вебмастеров. Закрываем от индексации параметрический мусор, устраняем дубли и цепочки редиректов, ускоряем ответ сервера и следим за тем, чтобы приоритетные страницы попадали в обход первыми. Это часть услуги SEO-продвижение.

Частые вопросы

Нужно ли думать о краулинговом бюджете небольшому сайту? Для сайтов до нескольких тысяч страниц бюджет обычно не является узким местом. Проблема становится заметной на крупных каталогах и порталах.

Как понять, что бюджет тратится неэффективно? Признаки — важные страницы долго не попадают в индекс, а робот часто обходит служебные и параметрические URL. Это видно в анализе логов сервера.

Помогает ли robots.txt экономить бюджет? Да, закрытие лишних разделов снижает число бесполезных обходов. Но robots.txt управляет обходом, а не удалением из индекса — для этого нужны другие инструменты.

Редирект 301 — постоянное перенаправление с одного URL на другой. Передаёт пользователей и почти весь ссылочный вес на новый адрес.

Когда использовать 301 редирект?

При смене URL, переезде на https или новый домен, склейке дублей и страниц с www/без www, удалении страниц с переносом на близкие по смыслу.

Чем 301 отличается от 302?

301 — постоянное перенаправление (передаёт вес, меняет индекс), 302 — временное (вес не передаёт, исходный URL остаётся в индексе).

Частые ошибки с редиректами

Цепочки и циклы редиректов, массовый редирект на главную вместо релевантных страниц, редирект через несколько хопов — всё это вредит SEO.

Как используем в Chrome Media

При переезде и чистке сайта мы составляем карту 301-редиректов один-к-одному на релевантные страницы, чтобы сохранить трафик и позиции.

Связанные термины: Канонический URL, ЧПУ, Индексация.

Частые вопросы

Что такое редирект 301 простыми словами?

Это постоянная переадресация со старого адреса страницы на новый, и для пользователя, и для поисковика.

Передаёт ли 301 ссылочный вес?

Да, 301 передаёт почти весь вес на новый URL, в отличие от временного 302.

Чем 301 отличается от 302?

301 — постоянный и передаёт вес, 302 — временный и оставляет в индексе исходный URL.

ЧПУ — человекопонятный URL: адрес страницы из понятных слов вместо набора параметров. Например, /uslugi/seo/ вместо /?p=123.

Зачем нужны ЧПУ?

Они понятнее пользователю, лучше кликаются в выдаче, могут содержать ключевые слова и упрощают аналитику и перелинковку.

Как составлять ЧПУ?

Короткие, латиницей (транслит), через дефис, без лишних параметров и стоп-слов, отражающие структуру сайта.

Что учесть при смене URL?

Любая смена ЧПУ требует 301-редиректа со старого адреса, иначе теряются позиции и внешние ссылки.

Как используем в Chrome Media

Мы проектируем структуру ЧПУ под семантику и иерархию сайта, а при изменениях обязательно настраиваем редиректы, чтобы не терять накопленный вес.

Связанные термины: Редирект 301, Канонический URL, Семантическое ядро.

Частые вопросы

Что такое ЧПУ простыми словами?

Это понятный адрес страницы из слов, например /catalog/nasosy/, а не /index.php?id=57.

Влияют ли ЧПУ на SEO?

Да, косвенно: лучше кликабельность, читаемость и возможность включить ключевое слово в URL.

Можно ли менять URL на ЧПУ?

Можно, но обязательно с настройкой 301-редиректов со старых адресов.

noindex — значение метатега robots, запрещающее поисковику включать страницу в индекс. В отличие от robots.txt, работает на уровне индексации, а не сканирования.

Когда применять noindex?

Для служебных, технических и малоценных страниц: результатов внутреннего поиска, корзины, фильтров, страниц благодарности, дублей.

Чем noindex отличается от robots.txt?

robots.txt запрещает сканирование, noindex — индексацию. Чтобы noindex сработал, страница должна быть доступна роботу (не закрыта в robots.txt).

Частые ошибки

Случайный noindex на важных страницах (частая причина выпадения из индекса) и одновременное закрытие в robots.txt, из-за чего робот не видит сам тег.

Как используем в Chrome Media

При аудите мы проверяем noindex в первую очередь — нередко из-за него из индекса выпадают целые разделы. Закрываем только реально лишние страницы.

Связанные термины: robots.txt, Индексация, Канонический URL.

Частые вопросы

Что такое noindex простыми словами?

Это указание поисковику не добавлять страницу в результаты поиска.

Чем noindex отличается от disallow в robots.txt?

noindex запрещает индексацию, disallow — сканирование. Для исключения из индекса нужен именно noindex.

Почему важная страница выпала из индекса?

Частая причина — случайно проставленный метатег noindex.