Генератор robots.txt
Выберите CMS и что закрыть — файл соберётся сразу. Clean-param для Яндекса, правила для ботов нейросетей, проверка адресов и sitemap.
Файл изменён вручную или загружен с сайта — настройки слева его не трогают.
Сравнить с файлом на сайте
Проверить адрес по этому файлу
Что делает каждая строка файла
Проверить список адресов или sitemap по этому файлу
Самая частая ошибка — закрыть в robots.txt страницы, которые лежат в sitemap. Вставьте адреса или загрузите карту сайта — увидите, что закрыто для Яндекса и Google и каким правилом.
| Адрес | Яндекс |
|---|
Как создать robots.txt
- 1
Укажите сайт и CMS
Для WordPress и WooCommerce, 1С-Битрикс, OpenCart, Joomla, Drupal, MODX, Webasyst, InSales и UMI.CMS подставятся служебные разделы движка — с открытыми стилями и скриптами. Кнопка «Загрузить текущий robots.txt» подтянет файл с сайта, чтобы сравнить его с новым.
- 2
Отметьте, что закрыть
Поиск по сайту, сортировки и фильтры, корзину и кабинет. Свои разделы — по одному пути в строке.
- 3
Настройте Clean-param и ботов нейросетей
Метки utm, yclid, gclid склеятся с основной страницей в Яндексе. Ботов нейросетей можно пустить, закрыть только обучение или закрыть всех.
- 4
Проверьте и скачайте
Под файлом — ошибки и предупреждения. Впишите адрес в тестер — увидите, какое правило сработает для Яндекса, Google или GPTBot. Загрузите sitemap — увидите, не закрыты ли страницы из карты сайта.
- 5
Загрузите в корень сайта
Файл должен открываться по адресу
https://site.ru/robots.txt. Затем проверьте его в Яндекс Вебмастере и Google Search Console.
Что умеет
Подтянет текущий robots.txt сайта и покажет построчно, что добавится и что уберётся в новом файле.
Загрузит карту сайта (и sitemap index, и .gz) и проверит каждый адрес для Яндекса и Google — найдёт страницы, которые лежат в sitemap, но закрыты в robots.txt.
Простыми словами — какие адреса закрывает или открывает правило, что значат * и $, Clean-param и группы роботов.
Служебные разделы WordPress, WooCommerce, Битрикса, OpenCart, Joomla, Drupal, MODX, Webasyst, InSales и UMI.CMS — без закрытых CSS и JS, которые нужны роботу для отрисовки страницы.
Метки рекламы и соцсетей склеиваются с основной страницей — дубли не попадают в индекс и не тратят краулинговый бюджет.
GPTBot, ClaudeBot, PerplexityBot, Google-Extended и другие — отдельно обучение и отдельно поиск с цитатами.
Неизвестные директивы, правила до User-agent, устаревшие Host и Crawl-delay, относительный Sitemap, закрытый целиком сайт, своя группа Яндекса или Google без общих правил, повторы и противоречия, BOM.
Покажет, разрешён ли адрес для робота и какое правило сработало — по правилу самого длинного совпадения, как у Яндекса и Google.
Замените текст справа своим robots.txt — проверка и тестер работают и с ним.
Коротко
Чтобы создать robots.txt, укажите адрес сайта и CMS, отметьте, что закрыть от поисковиков — служебные разделы, поиск, сортировки, корзину, — и выберите параметры для Clean-param. Готовый файл появится справа: скачайте его и положите в корень сайта, чтобы он открывался по адресу site.ru/robots.txt. Перед загрузкой проверьте важные страницы в тестере под файлом.
Что такое robots.txt и что в нём писать
robots.txt — текстовый файл в корне сайта с правилами для поисковых роботов: какие разделы обходить, а какие нет. Робот Яндекса или Google первым делом запрашивает /robots.txt и дальше ходит по сайту с оглядкой на него.
Файл состоит из групп. Каждая начинается со строки User-agent — для какого робота правила, — дальше идут Disallow (не обходить) и Allow (обходить). User-agent: * — правила для всех роботов, у которых нет своей группы. Отдельно, вне групп, пишутся Sitemap — адрес карты сайта — и Clean-param для Яндекса.
Что обычно закрывают:
- служебные разделы CMS — админку, страницы входа, системные папки;
- внутренний поиск — страницы результатов бесконечны и дублируют каталог;
- сортировки и фильтры в параметрах адреса — те же товары в другом порядке;
- корзину, оформление заказа, личный кабинет — в поиске им делать нечего.
Не закрывают: страницы, которые должны быть в поиске, CSS и JS, картинки, а также пагинацию каталога — через неё робот находит товары.
Как роботы выбирают правило
Робот ищет группу со своим именем, например User-agent: Yandex, а если её нет — берёт User-agent: *. Правила из разных групп не складываются: если для Яндекса есть своя группа, общие правила он не читает. Поэтому всё общее генератор пишет в одну группу *, а отдельные группы — только для ботов нейросетей, которых вы закрываете.
Внутри группы побеждает правило с самым длинным совпадением. Disallow: /catalog/ и Allow: /catalog/sale/ — раздел распродаж открыт, остальной каталог закрыт. При одинаковой длине главнее Allow. Именно так считает тестер под файлом.
Чего не умеет
- Карта сайта проверяется до 5 000 адресов и 20 файлов sitemap; загрузка с сайта — до 20 раз в минуту.
- Пресеты CMS — частые настройки, а не готовое решение для любого сайта. Проверьте в тестере страницы, которые должны быть в индексе.
- robots.txt — рекомендация, а не запрет доступа. Чтобы страница не попала в индекс, используйте
noindex; закрытые разделы защищайте паролем.
Какие данные собирает
Файл собирается и проверяется в вашем браузере. На сервер seo-drift.ru уходит только адрес сайта или sitemap, когда вы нажимаете «Загрузить» — сервер скачивает robots.txt или карту сайта и возвращает вам; адреса не сохраняются. Настройки хранятся в памяти браузера (localStorage).
Вопросы и ответы
Куда положить robots.txt?
В корень сайта — файл должен открываться по адресу https://site.ru/robots.txt. В подпапке роботы его не ищут. У каждого поддомена — свой robots.txt.
Нужна ли директива Host?
Нет. Яндекс перестал учитывать Host в 2018 году — главное зеркало задаётся 301-редиректом и в Вебмастере. Google Host никогда не поддерживал. Строку можно удалить.
Что такое Clean-param?
Директива Яндекса: адреса, которые отличаются только указанными параметрами — например, ?utm_source= или ?yclid=, — робот склеит с основной страницей. Дубли не попадут в индекс. Google директиву пропускает, у него для этого canonical.
Закрывать ли сайт от ботов нейросетей?
Если хотите, чтобы ChatGPT, Claude и Perplexity цитировали сайт со ссылкой, — не закрывайте поисковых ботов (OAI-SearchBot, Claude-SearchBot, PerplexityBot). Обучающих ботов (GPTBot, ClaudeBot, Google-Extended) можно закрыть — на цитирование в ответах это не влияет.
Закрытая в robots.txt страница пропадёт из поиска?
Не обязательно. Google может оставить адрес в выдаче без описания, если на него ведут ссылки. Чтобы убрать страницу из индекса, откройте её для робота и поставьте meta name="robots" content="noindex".
Как проверить, не закрыты ли страницы из sitemap?
Под генератором впишите адрес sitemap и нажмите «Загрузить sitemap». Каждый адрес из карты сайта проверится по файлу справа — отдельно для Яндекса и Google. Закрытым страницам не место в sitemap: либо уберите их из карты, либо откройте в robots.txt.
Почему у Яндекса своя группа — это ошибка?
Не всегда. Но робот, для которого есть своя группа User-agent: Yandex, читает только её, а общие правила из User-agent: * пропускает. Если в группе Яндекса не повторены общие запреты, он будет обходить то, что вы закрыли для всех. Генератор предупредит и покажет, какие правила не повторены.
Почему нельзя закрывать CSS и JS?
Робот отрисовывает страницу как браузер. Без стилей и скриптов он видит её сломанной — это вредит оценке мобильной версии и качества страницы. Поэтому в пресетах Битрикса и Drupal служебные папки закрыты, а файлы стилей и скриптов в них — открыты.