Дубли страниц — это несколько URL с одинаковым или почти одинаковым содержимым, которые размывают релевантность и заставляют поисковик выбирать, какую версию показывать в выдаче. Из-за дублей сигналы ранжирования делятся между копиями, а робот тратит обход на лишние адреса вместо важных страниц.
Откуда берутся дубли?
Чаще всего дубли появляются не по злому умыслу, а из-за настроек CMS и сервера. Типичные источники:
- адреса с www и без www, а также http и https;
- слэш в конце URL и без него;
- параметры сортировки, фильтров и UTM-меток;
- страницы пагинации и версии для печати;
- один товар в нескольких категориях с разными путями.
Такие адреса ведут на одну и ту же страницу, но для поисковика это разные URL.
Чем полные дубли отличаются от частичных?
Полный дубль — это страница, содержимое которой совпадает целиком. Частичный дубль повторяет большой блок текста: например, одинаковые описания в карточках товаров или шаблонные тексты категорий. Полные дубли обычно закрывают через канонический URL или редирект 301. Частичные требуют переработки контента, чтобы каждая страница отвечала своему запросу.
Зачем устранять дубли?
Дубли мешают ранжированию сразу с двух сторон. Во-первых, поисковик может выбрать в выдачу не ту версию, которую вы продвигаете. Во-вторых, обход копий расходует краулинговый бюджет, из-за чего новые и важные страницы дольше попадают в индекс. Чистая структура ускоряет индексацию и концентрирует вес на нужных URL.
Пример
Допустим, карточка товара доступна по адресам с параметром ?sort=price и без него. Содержимое одинаковое, но это два URL. Поисковик видит дубль, распределяет сигналы между ними и может показать в выдаче версию с параметром. Решение: указать канонический адрес на чистый URL и настроить человекопонятные адреса.
Как применяем в Chrome Media
При SEO-аудите мы выгружаем полный список URL и ищем дубли по совпадению контента и метатегов, а затем по параметрам и техническим версиям адресов. Для полных дублей настраиваем canonical или 301-редирект, лишние параметры закрываем в robots.txt. Частичные дубли передаём в работу над контентом. На разработке сайтов закладываем корректные адреса заранее, чтобы дубли не появлялись после запуска.
Частые вопросы
Чем дубли вредят сайту? Они делят сигналы ранжирования между копиями, заставляют поисковик выбирать версию для выдачи и расходуют обход робота на лишние адреса.
Как быстро найти дубли? Собрать список всех URL краулером, сгруппировать страницы по совпадению title, description и текста, отдельно проверить адреса с параметрами и техническими версиями.
Что лучше — canonical или редирект 301? Редирект нужен, когда старый адрес не должен открываться. Canonical подходит, если обе версии должны работать, но в индексе нужна одна из них.
Помогает ли noindex от дублей? Noindex убирает страницу из выдачи, но не передаёт её вес основной версии. Для дублей чаще предпочтительнее canonical или 301-редирект.