Telegram Обсудить проект
Статья SEO 10 минут чтения

Проверка robots.txt

Коротко

Проверка robots.txt — это проверка двух вещей: читается ли файл без ошибок и разрешён ли поисковикам обход нужных адресов. В Яндексе это делает инструмент «Анализ robots.txt» в Вебмастере, в Google — «Отчёт о файлах robots.txt» в настройках Search Console и инструмент проверки URL.

Главное правило: проверяйте файл до загрузки на сайт и после каждой правки — на списке важных адресов (главная, категории, карточки, статьи) и на адресах, которые должны быть закрыты. Синтаксически верный файл всё равно может закрыть каталог одной лишней строкой.

Роман Михальчук · · проверено

Для кого: владельцам сайтов и SEO-специалистам, которые правят robots.txt или подозревают, что важные страницы закрыты от поисковиков.

Главное
  • В Яндекс Вебмастере проверка находится в разделе «Инструменты» → «Анализ robots.txt»; без подтверждения прав можно проверить чужой сайт или свой текст файла.
  • В Search Console отчёт о файлах robots.txt открывается из «Настроек» и работает только для ресурса на уровне домена.
  • Проверить отдельный адрес в Яндексе можно в блоке «Доступ к страницам», в Google — инструментом проверки URL.
  • Яндекс и Google по-разному читают нестандартные директивы — Clean-param понимает только Яндекс, Crawl-delay Google не поддерживает.
  • Пути в robots.txt чувствительны к регистру, названия директив — нет.
Ключевые факты
Где проверить в Яндексе
Вебмастер → «Инструменты» → «Анализ robots.txt»; без добавления сайта — webmaster.yandex.ru/tools/robotstxt/
Где проверить в Google
Search Console → «Настройки» → отчёт о файлах robots.txt (только для ресурса на уровне домена)
Предельный размер файла
Яндекс — 500 КБ, Google — 500 КиБ (остальное Google игнорирует)
Кеширование в Google
обычно до 24 часов
История версий в Вебмастере
за последние 6 месяцев, не больше 100 версий
Поля, которые понимает Google
user-agent, allow, disallow, sitemap
01

Что значит проверить robots.txt

Robots.txt — текстовый файл в корне сайта с правилами обхода для поисковых роботов. Проверка отвечает на два вопроса:

  1. Файл читается? Он лежит по адресу site.ru/robots.txt, отдаёт код 200, в нём нет синтаксических ошибок.
  2. Правила делают то, что вы задумали? Нужные страницы открыты, служебные — закрыты.

Второй вопрос важнее. Файл без единой ошибки может закрыть весь каталог одной строкой Disallow: /catalog, и анализатор это не подсветит — с точки зрения синтаксиса всё верно.

Как устроен файл и какие директивы в нём писать, я разбираю в опоре «Настройка robots.txt». Здесь — только проверка.

02

Проверка в Яндекс Вебмастере

В Вебмастере проверка называется «Анализ robots.txt» и находится в разделе «Инструменты». Если сайт добавлен в сервис и права подтверждены, проверка текущего файла запускается сама. Если сайта нет в Вебмастере, укажите адрес в поле «Адрес сайта» или вставьте текст файла и нажмите «Проверить». Без входа в сервис инструмент открывается по адресу webmaster.yandex.ru/tools/robotstxt/.

Что смотреть на странице анализа:

  • Вкладка «Ошибки» — строки, секции или весь файл, которые инструмент не смог обработать.
  • Вкладка «Правила обхода» — все директивы, которые учитывают роботы Яндекса. Удобно, чтобы увидеть, какая секция User-agent применяется.
  • Блок «Доступ к страницам» — проверка конкретных адресов (о ней ниже).
  • Список «Версия robots.txt» — история файла за последние 6 месяцев, до 100 версий. Помогает найти, когда кто-то закрыл раздел.

Ещё одна полезная возможность — правка без загрузки на сайт. Меняете правила прямо в поле с кодом, нажимаете «Проверить», и если ошибок нет — копируете текст в файл. Так я проверяю любой новый robots.txt перед выкладкой.

03

Отчёт о файлах robots.txt в Search Console

В Google файл проверяют через отчёт. В справке Search Console он называется «Отчёт о файлах robots.txt» и открывается из раздела «Настройки» ресурса.

Отчёт показывает:

  • какие файлы robots.txt Google нашёл для 20 самых популярных доменов сайта;
  • статус последнего получения — «Получен» или «Не получен»;
  • дату последней проверки и размер файла;
  • ошибки и предупреждения при разборе.

Ограничение: отчёт работает только для ресурса на уровне домена — доменного ресурса или ресурса с префиксом без пути вроде https://example.com/. Для ресурса https://example.com/blog/ его не будет.

Google обычно кеширует robots.txt до 24 часов. Если вы исправили критическую ошибку — например, сняли случайный запрет на весь сайт, — в отчёте через меню рядом с файлом можно запросить повторное сканирование. Google советует делать это только в экстренных случаях.

Проверить файл до выкладки в Search Console нельзя: отчёт видит только то, что уже лежит на сайте. Для локальной проверки Google предлагает свою открытую библиотеку robotstxt — это вариант для разработчиков.

04

Как проверить конкретный URL

Проверка адресов — главная часть работы. Я составляю два списка: адреса, которые должны быть в поиске (главная, категории, карточки, статьи, страницы с фильтрами, которые продвигаются), и адреса, которые должны быть закрыты (корзина, кабинет, поиск по сайту, сортировки).

ПоисковикГде проверитьЧто покажет
Яндекс«Анализ robots.txt» → блок «Доступ к страницам»разрешён или запрещён показ страницы по правилам файла; можно вставить сразу список адресов
Яндекс«Инструменты» → «Анализ индексации страницы»закрыта ли страница в robots.txt и нет ли запрета noindex в мета-теге robots
Googleинструмент проверки URL в Search Consoleразрешено ли сканирование или адрес заблокирован в файле robots.txt

В Яндексе в поле «Список страниц» можно вписать полный адрес или путь вида /page/. Результат — одна из трёх формулировок: страница разрешена, запрещена или полную проверку провести не удалось (например, страница не загружается).

Список адресов лучше хранить и прогонять после каждой правки файла, а не только при первой настройке. По моему опыту, сайт чаще закрывают не при создании robots.txt, а позже — при обновлении CMS, переезде или выкладке новой версии.

Если адрес оказался закрыт, а не должен — найдите правило, которое сработало. Google при конфликте выбирает самое конкретное правило, то есть с самым длинным путём, а при равных — менее строгое, Allow. Быстро прогнать адреса через свои правила для Яндекса и Google можно в тестере генератора robots.txt.

05

Типичные ошибки в robots.txt

Часть ошибок анализатор Яндекса показывает сам. По справке Вебмастера, среди частых:

  • правило начинается не с / и не с * — например, Disallow: admin/;
  • несколько секций User-agent: * — блок для всех роботов должен быть один;
  • правило без User-agent — часто из-за лишней пустой строки внутри секции;
  • неизвестная директива — обычно опечатка;
  • синтаксическая ошибка — например, пропущено двоеточие;
  • некорректный адрес Sitemap — без протокола;
  • неверный формат Clean-param.

Другие ошибки синтаксически верны, и их видно только по проверке адресов:

  • Закрыт весь сайт. Disallow: / переехал с тестовой версии на рабочую при выкладке.
  • Закрыты стили и скрипты. Поисковик не сможет отрисовать страницу.
  • Регистр. Пути чувствительны к регистру: Disallow: /Catalog/ не закрывает /catalog/.
  • Кириллица. Яндекс запрещает кириллицу в robots.txt — адреса пишут в процентной кодировке, домены — в Punycode.
  • Расчёт на нестандартные директивы. Google понимает только user-agent, allow, disallow и sitemap. Clean-param работает только в Яндексе, Crawl-delay Google не поддерживает.
  • Слишком большой файл. И Яндекс, и Google обрабатывают до 500 КБ, правила дальше Google игнорирует.

Отдельная ошибка — закрывать в robots.txt страницы, которые хотят убрать из поиска. Disallow запрещает обход, а не индексацию, и робот не увидит noindex на закрытой странице. Как убрать страницы из поиска правильно — в статье «Как закрыть сайт от индексации».

06

Код ответа и доступность файла

Перед анализом правил убедитесь, что поисковик вообще получает файл. Откройте site.ru/robots.txt и проверьте код ответа — например, в проверке ответа сервера.

  • 200 — файл читается.
  • Редирект — Яндекс примет файл, если конечный адрес отдаёт 200; Google проходит не меньше пяти перенаправлений.
  • 4xx — Google считает, что файла нет, и обходит всё. Яндекс считает сайт открытым, если файл не отвечает требованиям.
  • 5xx — Google первые 12 часов не сканирует сайт и повторяет запрос, затем до 30 дней пользуется последней удачной копией.

Последний пункт опасен: долгая серверная ошибка на robots.txt может остановить обход сайта в Google. Поэтому robots.txt я проверяю в начале каждого технического аудита вместе с кодами ответа и картой сайта. Остальной список проверок — в статье «Техническое SEO».

Не закрыты ли в robots.txt страницы из карты сайта, покажет проверка sitemap.xml — отдельно для Яндекса и Google.

Как проверить robots.txt: пошагово

  1. 1

    Откройте файл в браузере

    Наберите адрес site.ru/robots.txt. Файл должен открываться в корне сайта с кодом ответа 200; код проверяется инструментом проверки ответа сервера.

  2. 2

    Проверьте файл в Яндекс Вебмастере

    Откройте «Инструменты» → «Анализ robots.txt». Посмотрите вкладку «Ошибки» и вкладку «Правила обхода» — там видны директивы, которые учитывает робот Яндекса.

  3. 3

    Проверьте список адресов

    В блоке «Доступ к страницам» вставьте в поле «Список страниц» важные адреса и адреса, которые должны быть закрыты, и нажмите «Проверить».

  4. 4

    Посмотрите отчёт в Search Console

    В «Настройках» ресурса откройте отчёт о файлах robots.txt: статус получения, дату последней проверки, ошибки и предупреждения разбора.

  5. 5

    Проверьте адрес в Google

    Вставьте URL в инструмент проверки URL: он покажет, разрешено ли сканирование или адрес заблокирован в файле robots.txt.

  6. 6

    Повторите проверку после правки

    После загрузки нового файла снова прогоните список адресов. Если исправили критическую ошибку, в отчёте Search Console можно запросить повторное сканирование файла.

Частые ошибки

  • Проверять только синтаксис и не прогонять список важных адресов.
  • Оставить на рабочем сайте строку «Disallow» со слешем, скопированную с тестовой версии.
  • Закрыть папки со стилями и скриптами — поисковик не увидит страницу так, как её видит человек.
  • Писать в пути кириллицу вместо процентной кодировки.
  • Ждать, что Google выполнит Clean-param или Crawl-delay.
  • Закрывать в robots.txt страницы с noindex — робот не увидит запрет индексирования.
Вопросы

Вопросы о проверке robots.txt

Как проверить robots.txt онлайн?

Проверить robots.txt онлайн проще всего в Яндекс Вебмастере: инструмент «Анализ robots.txt» работает и без подтверждения прав — достаточно указать адрес сайта или вставить текст файла. Для своего сайта в Google есть отчёт о файлах robots.txt в Search Console.

Где в Яндекс Вебмастере проверить robots.txt?

Проверить robots.txt в Яндекс Вебмастере можно в разделе «Инструменты» → «Анализ robots.txt». Для добавленного сайта проверка запускается автоматически, а история версий файла доступна после подтверждения прав.

Где в Search Console найти проверку robots.txt?

Проверка robots.txt в Search Console — это «Отчёт о файлах robots.txt», он открывается из «Настроек» ресурса. Отчёт доступен только для ресурса на уровне домена: доменного или с префиксом без пути, например https://example.com/.

Как проверить, закрыта ли страница в robots.txt?

Закрыта ли страница в robots.txt, покажет блок «Доступ к страницам» в анализе robots.txt Яндекса и инструмент проверки URL в Search Console. В Яндексе можно вставить сразу список адресов или путей вида /page/.

Можно ли проверить robots.txt до загрузки на сайт?

Проверить robots.txt до загрузки на сайт можно в Яндекс Вебмастере: вставьте правила в поле с кодом и нажмите «Проверить». Отчёт Search Console работает только с файлом, который уже лежит на сайте, — для локальной проверки Google предлагает открытую библиотеку robotstxt.

Почему Google не видит изменения в robots.txt?

Google не видит изменения в robots.txt сразу, потому что обычно кеширует файл до 24 часов. Если исправлена критическая ошибка, в отчёте о файлах robots.txt можно запросить повторное сканирование — Google советует делать это только в экстренных случаях.

Что будет, если robots.txt отдаёт ошибку 404?

Если robots.txt отдаёт ошибку 404, Google считает, что файла нет, и ограничений на обход нет. Яндекс тоже считает сайт открытым для индексирования, если файл не соответствует требованиям, — например, не отдаёт код 200.

Почему страница закрыта в robots.txt, но есть в поиске?

Страница, закрытая в robots.txt, может оставаться в поиске, потому что Disallow запрещает обход, а не индексацию. И Google, и Яндекс пишут, что такие адреса могут попадать в выдачу; чтобы убрать страницу из поиска, нужен noindex и открытый для робота адрес.

Какие ошибки в robots.txt встречаются чаще всего?

Чаще всего ошибки в robots.txt такие: правило начинается не с символа / или *, несколько секций для всех роботов, неизвестная директива из-за опечатки, кириллица в пути и случайно закрытые разделы сайта. Первые четыре покажет анализатор, последнюю — только проверка списка адресов.

Обсудим ваш проект?

Напишите, что за сайт и какая задача — отвечу сам, обычно в течение дня.

Источники и обновления

Источники

  1. Яндекс Вебмастер — Анализ robots.txt
  2. Яндекс Вебмастер — Ошибки в robots.txt
  3. Яндекс Вебмастер — Файл robots.txt
  4. Google Search Console — Отчёт о файлах robots.txt
  5. Google Search Central — How Google interprets the robots.txt specification

История обновлений

  • 8 ноября 2026Проверка robots.txt: первая версия по справке Яндекс Вебмастера и документации Google

Читать дальше

Вопросы по теме