robots.txt
robots.txt — текстовый файл в корне сайта, в котором владелец пишет поисковым и другим роботам, какие разделы можно обходить, а какие нет.
Также называют: роботс, файл robots, robots.txt файл
Что такое robots.txt простыми словами
robots.txt — это табличка на входе в сайт для роботов. В ней написано: «сюда заходить можно, сюда — нет». Файл лежит по адресу site.ru/robots.txt, и поисковый робот читает его до того, как обходить страницы. Правила пишутся отдельно для каждого робота или сразу для всех.
Почему это важно
robots.txt экономит обход: робот не тратит время на корзину, поиск по сайту, фильтры и служебные страницы, а идёт к тем, что должны быть в поиске. Одна лишняя строка Disallow: / закрывает от обхода весь сайт. Через этот же файл сайт разрешает или запрещает обход ботам нейросетей.
Пример
Простой robots.txt интернет-магазина:
User-agent: *
Disallow: /cart/
Disallow: /search/
Allow: /search/brands/
User-agent: Yandex
Disallow: /cart/
Disallow: /search/
Clean-param: utm_source&utm_medium&utm_campaign
Sitemap: https://site.ru/sitemap.xmlКорзина и поиск закрыты, страницы брендов из поиска открыты. Для Яндекса добавлен Clean-param: адреса с метками utm он сведёт к одному адресу без них.
Как проверить на практике
- Откройте
ваш-сайт.ru/robots.txtв браузере. Файл должен открываться и отдавать код 200 — это видно в проверке ответа сервера. - Яндекс Вебмастер → «Инструменты» → «Анализ robots.txt»: ошибки в файле и проверка, разрешён ли конкретный адрес.
- Генератор robots.txt на SEO Drift — соберёт файл по пресету CMS и проверит любой адрес по готовым правилам.
Какие директивы бывают
- User-agent — для какого робота правила:
*— для всех,Yandex,Googlebot— для конкретных. У Яндекса директива обязательная. - Disallow — запретить обход раздела или адреса.
- Allow — разрешить внутри закрытого раздела.
- Sitemap — адрес карты сайта sitemap.xml. Google и Яндекс её читают, можно указать несколько файлов.
- Clean-param — только Яндекс: какие GET-параметры не меняют страницу (метки, идентификаторы сессий). Синтаксис —
Clean-param: параметр1&параметр2 [путь]. Google эту директиву не поддерживает. - Host — больше не нужна. В 2018 году Яндекс отказался от неё: главное зеркало задаётся 301-м редиректом, а директиву робот игнорирует.
- Crawl-delay — Google не поддерживает; в справке Яндекса о robots.txt её нет.
Как Яндекс и Google читают robots.txt
Яндекс понимает директивы User-agent, Disallow, Allow, Sitemap и Clean-param. Файл должен отвечать кодом 200 и весить не больше 500 КБ. Если файл не соответствует требованиям, Яндекс считает сайт открытым для индексирования.
Google поддерживает четыре поля — user-agent, allow, disallow и sitemap; остальные, включая crawl-delay, игнорирует. Если robots.txt отвечает 4xx (кроме 429), Google считает, что ограничений нет. Если 5xx — первые 12 часов не обходит сайт, потом до 30 дней пользуется последней сохранённой версией файла.
robots.txt и нейросети
Боты нейросетей тоже читают robots.txt, и правила для них пишутся так же — через User-agent. У Google есть отдельный токен Google-Extended: он управляет тем, можно ли использовать контент сайта для обучения моделей Gemini, и, по справке Google, не влияет на попадание сайта в Google Поиск. Если закрыть сайт от поисковых роботов, он не попадёт ни в выдачу, ни в ответы нейросетей, которые ищут по ней. Готовые правила для ботов нейросетей есть в генераторе robots.txt, разбор ботов — в статье «Роботы нейросетей».
Что закрывать на практике, как проверить файл и чем запрет обхода отличается от noindex — в разделе «Robots.txt для сайта».
Инструменты
Мифы и ошибки
| Миф | Как на самом деле |
|---|---|
| Disallow в robots.txt убирает страницу из поиска | robots.txt запрещает обход, а не индексацию. Google пишет, что может проиндексировать закрытый адрес, если на него ссылаются с других сайтов. Чтобы убрать страницу из поиска, нужен noindex. |
| Страницу с noindex надо ещё и закрыть в robots.txt | Наоборот. Если закрыть страницу в robots.txt, робот её не загрузит и не увидит noindex. Яндекс прямо предупреждает об этом в справке. |
| robots.txt защищает закрытые разделы от чужих глаз | Файл открыт всем, и любой может его прочитать. Это просьба к честным роботам, а не защита. Закрытые данные прячут паролем. |
Чем проверить
Чем robots.txt отличается от похожих понятий
| Термин | Чем отличается |
|---|---|
| Метатег robots и noindex | метатег стоит в коде страницы и управляет индексацией; robots.txt управляет обходом и стоит один на сайт |
| Карта сайта sitemap.xml | sitemap перечисляет страницы, которые стоит обойти; robots.txt говорит, куда ходить не надо |
| llms.txt | llms.txt — предложенный формат с кратким описанием сайта для нейросетей; robots.txt — правила обхода, которые роботы реально читают |
Связанные термины
Где встречается на сайте
- статьяClean-param в robots.txt
- статьяГлавное зеркало сайта
- статьяGoogle Discover
- статьяРедирект в .htaccess
- статьяSEO с нуля
- статьяМета-тег robots
- темаRobots.txt для сайта
- статьяОптимизация изображений для сайта
- статьяПродвижение мебельного магазина
- статьяПроверка robots.txt
- статьяScreaming Frog SEO Spider
- статьяКак закрыть сайт от индексации
Вопросы и ответы
Что такое robots.txt простыми словами?
robots.txt простыми словами — файл с правилами для роботов: какие разделы сайта обходить можно, а какие нет. Он лежит в корне сайта, и поисковики читают его до обхода страниц.
Где находится robots.txt?
robots.txt находится в корне сайта, по адресу site.ru/robots.txt. В другой папке поисковики его не ищут. Яндекс требует, чтобы файл отдавал код 200 и весил не больше 500 КБ; Google читает первые 500 КиБ.
Как запретить индексацию в robots.txt?
Запретить индексацию через robots.txt нельзя — он запрещает только обход. Строка Disallow: / закроет сайт от обхода, но Google может проиндексировать закрытый адрес по внешним ссылкам. Чтобы страница не попала в поиск, используйте метатег robots с noindex и не закрывайте её в robots.txt.
Что такое Clean-param?
Clean-param — директива robots.txt только для Яндекса. Она перечисляет GET-параметры, которые не меняют содержимое страницы: метки, идентификаторы сессий. Яндекс сводит такие адреса к одному, и в поиске становится меньше дублей. Google её не поддерживает.
Нужна ли директива Host в robots.txt?
Директива Host в robots.txt больше не нужна. Яндекс отказался от неё в 2018 году и заменил 301-м редиректом с неглавных зеркал на главное. Удалять строку не обязательно — робот её игнорирует.
Как проверить robots.txt?
robots.txt проверяют в Яндекс Вебмастере: «Инструменты» → «Анализ robots.txt» покажет ошибки и разрешён ли нужный адрес. Проверить адрес по правилам и собрать файл можно в генераторе robots.txt.
Как закрыть сайт от ботов нейросетей?
Закрыть сайт от ботов нейросетей можно в robots.txt — отдельным блоком User-agent для каждого бота. Но закрытый сайт не попадёт и в ответы нейросетей с поиском. Кого стоит пускать, а кого нет, — в статье о роботах нейросетей.
Обсудим ваш проект?
Напишите, что за сайт и какая задача — отвечу сам, обычно в течение дня.