Telegram Обсудить проект

robots.txt

robots.txt — текстовый файл в корне сайта, в котором владелец пишет поисковым и другим роботам, какие разделы можно обходить, а какие нет.

Также называют: роботс, файл robots, robots.txt файл

Что такое robots.txt простыми словами

robots.txt — это табличка на входе в сайт для роботов. В ней написано: «сюда заходить можно, сюда — нет». Файл лежит по адресу site.ru/robots.txt, и поисковый робот читает его до того, как обходить страницы. Правила пишутся отдельно для каждого робота или сразу для всех.

Почему это важно

robots.txt экономит обход: робот не тратит время на корзину, поиск по сайту, фильтры и служебные страницы, а идёт к тем, что должны быть в поиске. Одна лишняя строка Disallow: / закрывает от обхода весь сайт. Через этот же файл сайт разрешает или запрещает обход ботам нейросетей.

Пример

Простой robots.txt интернет-магазина:

User-agent: *
Disallow: /cart/
Disallow: /search/
Allow: /search/brands/

User-agent: Yandex
Disallow: /cart/
Disallow: /search/
Clean-param: utm_source&utm_medium&utm_campaign

Sitemap: https://site.ru/sitemap.xml

Корзина и поиск закрыты, страницы брендов из поиска открыты. Для Яндекса добавлен Clean-param: адреса с метками utm он сведёт к одному адресу без них.

Как проверить на практике

  1. Откройте ваш-сайт.ru/robots.txt в браузере. Файл должен открываться и отдавать код 200 — это видно в проверке ответа сервера.
  2. Яндекс Вебмастер → «Инструменты» → «Анализ robots.txt»: ошибки в файле и проверка, разрешён ли конкретный адрес.
  3. Генератор robots.txt на SEO Drift — соберёт файл по пресету CMS и проверит любой адрес по готовым правилам.

Какие директивы бывают

  • User-agent — для какого робота правила: * — для всех, Yandex, Googlebot — для конкретных. У Яндекса директива обязательная.
  • Disallow — запретить обход раздела или адреса.
  • Allow — разрешить внутри закрытого раздела.
  • Sitemap — адрес карты сайта sitemap.xml. Google и Яндекс её читают, можно указать несколько файлов.
  • Clean-param — только Яндекс: какие GET-параметры не меняют страницу (метки, идентификаторы сессий). Синтаксис — Clean-param: параметр1&параметр2 [путь]. Google эту директиву не поддерживает.
  • Host — больше не нужна. В 2018 году Яндекс отказался от неё: главное зеркало задаётся 301-м редиректом, а директиву робот игнорирует.
  • Crawl-delay — Google не поддерживает; в справке Яндекса о robots.txt её нет.
01

Как Яндекс и Google читают robots.txt

Яндекс понимает директивы User-agent, Disallow, Allow, Sitemap и Clean-param. Файл должен отвечать кодом 200 и весить не больше 500 КБ. Если файл не соответствует требованиям, Яндекс считает сайт открытым для индексирования.

Google поддерживает четыре поля — user-agent, allow, disallow и sitemap; остальные, включая crawl-delay, игнорирует. Если robots.txt отвечает 4xx (кроме 429), Google считает, что ограничений нет. Если 5xx — первые 12 часов не обходит сайт, потом до 30 дней пользуется последней сохранённой версией файла.

02

robots.txt и нейросети

Боты нейросетей тоже читают robots.txt, и правила для них пишутся так же — через User-agent. У Google есть отдельный токен Google-Extended: он управляет тем, можно ли использовать контент сайта для обучения моделей Gemini, и, по справке Google, не влияет на попадание сайта в Google Поиск. Если закрыть сайт от поисковых роботов, он не попадёт ни в выдачу, ни в ответы нейросетей, которые ищут по ней. Готовые правила для ботов нейросетей есть в генераторе robots.txt, разбор ботов — в статье «Роботы нейросетей».

Что закрывать на практике, как проверить файл и чем запрет обхода отличается от noindex — в разделе «Robots.txt для сайта».

Инструменты

Онлайн · без установки Генератор robots.txt Пресеты WordPress, Битрикса, OpenCart и других CMS, Clean-param для Яндекса, правила для ботов нейросетей, проверка и тестер адресов. Открыть →
Онлайн · без установки Проверка ответа сервера Код ответа, цепочка редиректов, HTTP-заголовки и <head> страницы глазами YandexBot, Googlebot или браузера; сравнение двух роботов. Открыть →

Яндекс ВебмастерGoogle Search Console

Мифы и ошибки

МифКак на самом деле
Disallow в robots.txt убирает страницу из поискаrobots.txt запрещает обход, а не индексацию. Google пишет, что может проиндексировать закрытый адрес, если на него ссылаются с других сайтов. Чтобы убрать страницу из поиска, нужен noindex.
Страницу с noindex надо ещё и закрыть в robots.txtНаоборот. Если закрыть страницу в robots.txt, робот её не загрузит и не увидит noindex. Яндекс прямо предупреждает об этом в справке.
robots.txt защищает закрытые разделы от чужих глазФайл открыт всем, и любой может его прочитать. Это просьба к честным роботам, а не защита. Закрытые данные прячут паролем.

Чем проверить

Онлайн · без установки Генератор robots.txt Пресеты WordPress, Битрикса, OpenCart и других CMS, Clean-param для Яндекса, правила для ботов нейросетей, проверка и тестер адресов. Открыть →
Онлайн · без установки Проверка ответа сервера Код ответа, цепочка редиректов, HTTP-заголовки и <head> страницы глазами YandexBot, Googlebot или браузера; сравнение двух роботов. Открыть →

Яндекс ВебмастерGoogle Search Console

Чем robots.txt отличается от похожих понятий

ТерминЧем отличается
Метатег robots и noindexметатег стоит в коде страницы и управляет индексацией; robots.txt управляет обходом и стоит один на сайт
Карта сайта sitemap.xmlsitemap перечисляет страницы, которые стоит обойти; robots.txt говорит, куда ходить не надо
llms.txtllms.txt — предложенный формат с кратким описанием сайта для нейросетей; robots.txt — правила обхода, которые роботы реально читают

Связанные термины

Индексация сайтаКарта сайта sitemap.xmlКоды ответа сервераCanonicalКаннибализация запросов

Где встречается на сайте

Вопросы

Вопросы и ответы

Что такое robots.txt простыми словами?

robots.txt простыми словами — файл с правилами для роботов: какие разделы сайта обходить можно, а какие нет. Он лежит в корне сайта, и поисковики читают его до обхода страниц.

Где находится robots.txt?

robots.txt находится в корне сайта, по адресу site.ru/robots.txt. В другой папке поисковики его не ищут. Яндекс требует, чтобы файл отдавал код 200 и весил не больше 500 КБ; Google читает первые 500 КиБ.

Как запретить индексацию в robots.txt?

Запретить индексацию через robots.txt нельзя — он запрещает только обход. Строка Disallow: / закроет сайт от обхода, но Google может проиндексировать закрытый адрес по внешним ссылкам. Чтобы страница не попала в поиск, используйте метатег robots с noindex и не закрывайте её в robots.txt.

Что такое Clean-param?

Clean-param — директива robots.txt только для Яндекса. Она перечисляет GET-параметры, которые не меняют содержимое страницы: метки, идентификаторы сессий. Яндекс сводит такие адреса к одному, и в поиске становится меньше дублей. Google её не поддерживает.

Нужна ли директива Host в robots.txt?

Директива Host в robots.txt больше не нужна. Яндекс отказался от неё в 2018 году и заменил 301-м редиректом с неглавных зеркал на главное. Удалять строку не обязательно — робот её игнорирует.

Как проверить robots.txt?

robots.txt проверяют в Яндекс Вебмастере: «Инструменты» → «Анализ robots.txt» покажет ошибки и разрешён ли нужный адрес. Проверить адрес по правилам и собрать файл можно в генераторе robots.txt.

Как закрыть сайт от ботов нейросетей?

Закрыть сайт от ботов нейросетей можно в robots.txt — отдельным блоком User-agent для каждого бота. Но закрытый сайт не попадёт и в ответы нейросетей с поиском. Кого стоит пускать, а кого нет, — в статье о роботах нейросетей.

Обсудим ваш проект?

Напишите, что за сайт и какая задача — отвечу сам, обычно в течение дня.

Источники и обновления

Источники

  1. Справка Яндекс Вебмастера — Использование файла robots.txt
  2. Google Search Central — How Google interprets the robots.txt specification

Читать дальше по теме

Другие термины