robots.txt — текстовый файл в корне сайта, который указывает поисковым роботам, какие разделы можно или нельзя сканировать.
Зачем нужен robots.txt?
Он управляет сканированием: закрывает служебные и дублирующие разделы, экономит краулинговый бюджет, указывает путь к sitemap.xml.
Что важно учитывать?
robots.txt запрещает сканирование, но не гарантирует исключение из индекса — для надёжного исключения нужен метатег noindex. Ошибка в файле может закрыть весь сайт.
Основные директивы
User-agent — для какого робота правило, Disallow — что закрыть, Allow — что разрешить, Sitemap — адрес карты сайта.
Как используем в Chrome Media
Мы проверяем robots.txt при аудите в первую очередь: частая причина проблем — случайно закрытые важные разделы или, наоборот, открытые служебные страницы.
Связанные термины: Индексация, noindex, sitemap.xml.
Частые вопросы
Что такое robots.txt простыми словами?
Это файл с инструкциями для поисковых роботов: что на сайте можно сканировать, а что нет.
Где находится robots.txt?
В корне сайта по адресу вида site.ru/robots.txt.
robots.txt закрывает страницу от индекса?
Нет, он запрещает сканирование. Для исключения из индекса используйте метатег noindex.