Проверка robots.txt
Проверка robots.txt — это проверка двух вещей: читается ли файл без ошибок и разрешён ли поисковикам обход нужных адресов. В Яндексе это делает инструмент «Анализ robots.txt» в Вебмастере, в Google — «Отчёт о файлах robots.txt» в настройках Search Console и инструмент проверки URL.
Главное правило: проверяйте файл до загрузки на сайт и после каждой правки — на списке важных адресов (главная, категории, карточки, статьи) и на адресах, которые должны быть закрыты. Синтаксически верный файл всё равно может закрыть каталог одной лишней строкой.
Для кого: владельцам сайтов и SEO-специалистам, которые правят robots.txt или подозревают, что важные страницы закрыты от поисковиков.
- В Яндекс Вебмастере проверка находится в разделе «Инструменты» → «Анализ robots.txt»; без подтверждения прав можно проверить чужой сайт или свой текст файла.
- В Search Console отчёт о файлах robots.txt открывается из «Настроек» и работает только для ресурса на уровне домена.
- Проверить отдельный адрес в Яндексе можно в блоке «Доступ к страницам», в Google — инструментом проверки URL.
- Яндекс и Google по-разному читают нестандартные директивы — Clean-param понимает только Яндекс, Crawl-delay Google не поддерживает.
- Пути в robots.txt чувствительны к регистру, названия директив — нет.
Ключевые факты
- Где проверить в Яндексе
- Вебмастер → «Инструменты» → «Анализ robots.txt»; без добавления сайта — webmaster.yandex.ru/tools/robotstxt/
- Где проверить в Google
- Search Console → «Настройки» → отчёт о файлах robots.txt (только для ресурса на уровне домена)
- Предельный размер файла
- Яндекс — 500 КБ, Google — 500 КиБ (остальное Google игнорирует)
- Кеширование в Google
- обычно до 24 часов
- История версий в Вебмастере
- за последние 6 месяцев, не больше 100 версий
- Поля, которые понимает Google
- user-agent, allow, disallow, sitemap
Что значит проверить robots.txt
Robots.txt — текстовый файл в корне сайта с правилами обхода для поисковых роботов. Проверка отвечает на два вопроса:
- Файл читается? Он лежит по адресу
site.ru/robots.txt, отдаёт код 200, в нём нет синтаксических ошибок. - Правила делают то, что вы задумали? Нужные страницы открыты, служебные — закрыты.
Второй вопрос важнее. Файл без единой ошибки может закрыть весь каталог одной строкой Disallow: /catalog, и анализатор это не подсветит — с точки зрения синтаксиса всё верно.
Как устроен файл и какие директивы в нём писать, я разбираю в опоре «Настройка robots.txt». Здесь — только проверка.
Проверка в Яндекс Вебмастере
В Вебмастере проверка называется «Анализ robots.txt» и находится в разделе «Инструменты». Если сайт добавлен в сервис и права подтверждены, проверка текущего файла запускается сама. Если сайта нет в Вебмастере, укажите адрес в поле «Адрес сайта» или вставьте текст файла и нажмите «Проверить». Без входа в сервис инструмент открывается по адресу webmaster.yandex.ru/tools/robotstxt/.
Что смотреть на странице анализа:
- Вкладка «Ошибки» — строки, секции или весь файл, которые инструмент не смог обработать.
- Вкладка «Правила обхода» — все директивы, которые учитывают роботы Яндекса. Удобно, чтобы увидеть, какая секция
User-agentприменяется. - Блок «Доступ к страницам» — проверка конкретных адресов (о ней ниже).
- Список «Версия robots.txt» — история файла за последние 6 месяцев, до 100 версий. Помогает найти, когда кто-то закрыл раздел.
Ещё одна полезная возможность — правка без загрузки на сайт. Меняете правила прямо в поле с кодом, нажимаете «Проверить», и если ошибок нет — копируете текст в файл. Так я проверяю любой новый robots.txt перед выкладкой.
Отчёт о файлах robots.txt в Search Console
В Google файл проверяют через отчёт. В справке Search Console он называется «Отчёт о файлах robots.txt» и открывается из раздела «Настройки» ресурса.
Отчёт показывает:
- какие файлы robots.txt Google нашёл для 20 самых популярных доменов сайта;
- статус последнего получения — «Получен» или «Не получен»;
- дату последней проверки и размер файла;
- ошибки и предупреждения при разборе.
Ограничение: отчёт работает только для ресурса на уровне домена — доменного ресурса или ресурса с префиксом без пути вроде https://example.com/. Для ресурса https://example.com/blog/ его не будет.
Google обычно кеширует robots.txt до 24 часов. Если вы исправили критическую ошибку — например, сняли случайный запрет на весь сайт, — в отчёте через меню рядом с файлом можно запросить повторное сканирование. Google советует делать это только в экстренных случаях.
Проверить файл до выкладки в Search Console нельзя: отчёт видит только то, что уже лежит на сайте. Для локальной проверки Google предлагает свою открытую библиотеку robotstxt — это вариант для разработчиков.
Как проверить конкретный URL
Проверка адресов — главная часть работы. Я составляю два списка: адреса, которые должны быть в поиске (главная, категории, карточки, статьи, страницы с фильтрами, которые продвигаются), и адреса, которые должны быть закрыты (корзина, кабинет, поиск по сайту, сортировки).
| Поисковик | Где проверить | Что покажет |
|---|---|---|
| Яндекс | «Анализ robots.txt» → блок «Доступ к страницам» | разрешён или запрещён показ страницы по правилам файла; можно вставить сразу список адресов |
| Яндекс | «Инструменты» → «Анализ индексации страницы» | закрыта ли страница в robots.txt и нет ли запрета noindex в мета-теге robots |
| инструмент проверки URL в Search Console | разрешено ли сканирование или адрес заблокирован в файле robots.txt |
В Яндексе в поле «Список страниц» можно вписать полный адрес или путь вида /page/. Результат — одна из трёх формулировок: страница разрешена, запрещена или полную проверку провести не удалось (например, страница не загружается).
Список адресов лучше хранить и прогонять после каждой правки файла, а не только при первой настройке. По моему опыту, сайт чаще закрывают не при создании robots.txt, а позже — при обновлении CMS, переезде или выкладке новой версии.
Если адрес оказался закрыт, а не должен — найдите правило, которое сработало. Google при конфликте выбирает самое конкретное правило, то есть с самым длинным путём, а при равных — менее строгое, Allow. Быстро прогнать адреса через свои правила для Яндекса и Google можно в тестере генератора robots.txt.
Типичные ошибки в robots.txt
Часть ошибок анализатор Яндекса показывает сам. По справке Вебмастера, среди частых:
- правило начинается не с
/и не с*— например,Disallow: admin/; - несколько секций
User-agent: *— блок для всех роботов должен быть один; - правило без
User-agent— часто из-за лишней пустой строки внутри секции; - неизвестная директива — обычно опечатка;
- синтаксическая ошибка — например, пропущено двоеточие;
- некорректный адрес Sitemap — без протокола;
- неверный формат Clean-param.
Другие ошибки синтаксически верны, и их видно только по проверке адресов:
- Закрыт весь сайт.
Disallow: /переехал с тестовой версии на рабочую при выкладке. - Закрыты стили и скрипты. Поисковик не сможет отрисовать страницу.
- Регистр. Пути чувствительны к регистру:
Disallow: /Catalog/не закрывает/catalog/. - Кириллица. Яндекс запрещает кириллицу в robots.txt — адреса пишут в процентной кодировке, домены — в Punycode.
- Расчёт на нестандартные директивы. Google понимает только
user-agent,allow,disallowиsitemap.Clean-paramработает только в Яндексе,Crawl-delayGoogle не поддерживает. - Слишком большой файл. И Яндекс, и Google обрабатывают до 500 КБ, правила дальше Google игнорирует.
Отдельная ошибка — закрывать в robots.txt страницы, которые хотят убрать из поиска. Disallow запрещает обход, а не индексацию, и робот не увидит noindex на закрытой странице. Как убрать страницы из поиска правильно — в статье «Как закрыть сайт от индексации».
Код ответа и доступность файла
Перед анализом правил убедитесь, что поисковик вообще получает файл. Откройте site.ru/robots.txt и проверьте код ответа — например, в проверке ответа сервера.
- 200 — файл читается.
- Редирект — Яндекс примет файл, если конечный адрес отдаёт 200; Google проходит не меньше пяти перенаправлений.
- 4xx — Google считает, что файла нет, и обходит всё. Яндекс считает сайт открытым, если файл не отвечает требованиям.
- 5xx — Google первые 12 часов не сканирует сайт и повторяет запрос, затем до 30 дней пользуется последней удачной копией.
Последний пункт опасен: долгая серверная ошибка на robots.txt может остановить обход сайта в Google. Поэтому robots.txt я проверяю в начале каждого технического аудита вместе с кодами ответа и картой сайта. Остальной список проверок — в статье «Техническое SEO».
Не закрыты ли в robots.txt страницы из карты сайта, покажет проверка sitemap.xml — отдельно для Яндекса и Google.
Как проверить robots.txt: пошагово
- 1
Откройте файл в браузере
Наберите адрес site.ru/robots.txt. Файл должен открываться в корне сайта с кодом ответа 200; код проверяется инструментом проверки ответа сервера.
- 2
Проверьте файл в Яндекс Вебмастере
Откройте «Инструменты» → «Анализ robots.txt». Посмотрите вкладку «Ошибки» и вкладку «Правила обхода» — там видны директивы, которые учитывает робот Яндекса.
- 3
Проверьте список адресов
В блоке «Доступ к страницам» вставьте в поле «Список страниц» важные адреса и адреса, которые должны быть закрыты, и нажмите «Проверить».
- 4
Посмотрите отчёт в Search Console
В «Настройках» ресурса откройте отчёт о файлах robots.txt: статус получения, дату последней проверки, ошибки и предупреждения разбора.
- 5
Проверьте адрес в Google
Вставьте URL в инструмент проверки URL: он покажет, разрешено ли сканирование или адрес заблокирован в файле robots.txt.
- 6
Повторите проверку после правки
После загрузки нового файла снова прогоните список адресов. Если исправили критическую ошибку, в отчёте Search Console можно запросить повторное сканирование файла.
Частые ошибки
- Проверять только синтаксис и не прогонять список важных адресов.
- Оставить на рабочем сайте строку «Disallow» со слешем, скопированную с тестовой версии.
- Закрыть папки со стилями и скриптами — поисковик не увидит страницу так, как её видит человек.
- Писать в пути кириллицу вместо процентной кодировки.
- Ждать, что Google выполнит Clean-param или Crawl-delay.
- Закрывать в robots.txt страницы с noindex — робот не увидит запрет индексирования.
Вопросы о проверке robots.txt
Как проверить robots.txt онлайн?
Проверить robots.txt онлайн проще всего в Яндекс Вебмастере: инструмент «Анализ robots.txt» работает и без подтверждения прав — достаточно указать адрес сайта или вставить текст файла. Для своего сайта в Google есть отчёт о файлах robots.txt в Search Console.
Где в Яндекс Вебмастере проверить robots.txt?
Проверить robots.txt в Яндекс Вебмастере можно в разделе «Инструменты» → «Анализ robots.txt». Для добавленного сайта проверка запускается автоматически, а история версий файла доступна после подтверждения прав.
Где в Search Console найти проверку robots.txt?
Проверка robots.txt в Search Console — это «Отчёт о файлах robots.txt», он открывается из «Настроек» ресурса. Отчёт доступен только для ресурса на уровне домена: доменного или с префиксом без пути, например https://example.com/.
Как проверить, закрыта ли страница в robots.txt?
Закрыта ли страница в robots.txt, покажет блок «Доступ к страницам» в анализе robots.txt Яндекса и инструмент проверки URL в Search Console. В Яндексе можно вставить сразу список адресов или путей вида /page/.
Можно ли проверить robots.txt до загрузки на сайт?
Проверить robots.txt до загрузки на сайт можно в Яндекс Вебмастере: вставьте правила в поле с кодом и нажмите «Проверить». Отчёт Search Console работает только с файлом, который уже лежит на сайте, — для локальной проверки Google предлагает открытую библиотеку robotstxt.
Почему Google не видит изменения в robots.txt?
Google не видит изменения в robots.txt сразу, потому что обычно кеширует файл до 24 часов. Если исправлена критическая ошибка, в отчёте о файлах robots.txt можно запросить повторное сканирование — Google советует делать это только в экстренных случаях.
Что будет, если robots.txt отдаёт ошибку 404?
Если robots.txt отдаёт ошибку 404, Google считает, что файла нет, и ограничений на обход нет. Яндекс тоже считает сайт открытым для индексирования, если файл не соответствует требованиям, — например, не отдаёт код 200.
Почему страница закрыта в robots.txt, но есть в поиске?
Страница, закрытая в robots.txt, может оставаться в поиске, потому что Disallow запрещает обход, а не индексацию. И Google, и Яндекс пишут, что такие адреса могут попадать в выдачу; чтобы убрать страницу из поиска, нужен noindex и открытый для робота адрес.
Какие ошибки в robots.txt встречаются чаще всего?
Чаще всего ошибки в robots.txt такие: правило начинается не с символа / или *, несколько секций для всех роботов, неизвестная директива из-за опечатки, кириллица в пути и случайно закрытые разделы сайта. Первые четыре покажет анализатор, последнюю — только проверка списка адресов.
Обсудим ваш проект?
Напишите, что за сайт и какая задача — отвечу сам, обычно в течение дня.
Источники и обновления
Источники
История обновлений
- 8 ноября 2026Проверка robots.txt: первая версия по справке Яндекс Вебмастера и документации Google