Telegram Обсудить проект
Статья SEO 10 минут чтения

Мета-тег robots

Коротко

Мета-тег robots — HTML-тег в разделе head страницы, который говорит поисковым роботам, можно ли индексировать страницу, переходить по её ссылкам и как показывать её в выдаче. Значение noindex запрещает показывать страницу в поиске; его понимают и Яндекс, и Google. Те же директивы можно отдать HTTP-заголовком X-Robots-Tag — это нужно для PDF, картинок и других не-HTML файлов.

Главное правило: робот должен скачать страницу, чтобы увидеть тег. Поэтому страницу с noindex нельзя закрывать в robots.txt — иначе запрет не сработает, а адрес может остаться в индексе.

Роман Михальчук · · проверено

Для кого: sEO-специалистам, разработчикам и владельцам сайтов, которым нужно управлять индексацией и сниппетами отдельных страниц.

Главное
  • Мета-тег ставят в раздел head — например, name=«robots» content=«noindex».
  • Яндекс и Google одинаково понимают noindex, nofollow и none.
  • noarchive Google больше не использует, а Яндекс поддерживает. nosnippet и max-snippet есть в документации Google, но не Яндекса.
  • При конфликте директив Google выбирает более строгую, а Яндекс — разрешающую.
  • X-Robots-Tag — те же директивы в HTTP-заголовке, для любых типов файлов.
  • Страница с noindex должна быть открыта в robots.txt.
Ключевые факты
Где ставится мета-тег
в разделе head HTML-страницы
Общие для Яндекса и Google директивы
noindex, nofollow, none (то же, что noindex, nofollow), all
Только в справке Яндекса
noarchive (Google её больше не использует), index, follow, archive
Только в документации Google
nosnippet, max-snippet, max-image-preview, max-video-preview, notranslate, noimageindex, unavailable_after, indexifembedded
Конфликт директив
Google применяет более строгую, Яндекс — разрешающую
X-Robots-Tag в Яндексе
noindex, nofollow, none, noarchive; index, follow, archive и all в заголовке не поддерживаются

Это справочник по самому тегу: какие директивы бывают и кто их понимает. Как по шагам закрыть сайт, тестовую копию или раздел и убрать уже проиндексированные страницы — в статье «Как закрыть сайт от индексации».

01

Как выглядит мета-тег robots

Мета-тег robots ставят в раздел head HTML-страницы:

<meta name="robots" content="noindex, nofollow">

Атрибут name говорит, для какого робота правило, content — какие директивы действуют. Несколько директив пишут через запятую.

Вместо robots можно указать конкретного робота:

  • name="yandex" — только для роботов Яндекса;
  • name="googlebot" — только для Google.

Если на странице есть и общий тег, и тег для Яндекса, Яндекс учитывает оба: robots с noindex и yandex с nofollow он прочитает как noindex, nofollow. Google считает названия и значения нечувствительными к регистру: NOINDEX и noindex для него одно и то же.

Без тега всё разрешено: страницу можно индексировать, по ссылкам — переходить. Поэтому писать index, follow для «надёжности» не нужно.

02

Директивы и их поддержка

Набор директив у Яндекса и Google разный. Сверено по справке Яндекс Вебмастера и документации Google Search Central.

ДирективаЧто делаетЯндексGoogle
noindexне показывать страницу в поискедада
nofollowне переходить по ссылкам со страницыдада
noneто же, что noindex, nofollowдада
allбез ограничений, значение по умолчаниюдада
index, followснимают запрещающие директивыданет в списке
noarchiveне показывать ссылку на сохранённую копиюдабольше не используется
archiveснимает noarchiveданет в списке
nosnippetне показывать текстовое описание в выдаченет в спискеда
max-snippet:[число]ограничить длину описания в символахнет в спискеда
max-image-preview:[none, standard, large]размер превью картинки в выдаченет в спискеда
max-video-preview:[число]длина превью видео в секундахнет в спискеда
noimageindexне индексировать картинки на страниценет в спискеда
notranslateне предлагать перевод страницы в выдаченет в спискеда
unavailable_after:[дата]не показывать страницу после датынет в спискеда
indexifembeddedиндексировать содержимое, встроенное через iframe, несмотря на noindexнет в спискеда

Пара деталей из документации Google:

  • max-snippet:0 равен nosnippet, а -1 отдаёт выбор длины Google;
  • кроме мета-тега, часть текста можно убрать из сниппета атрибутом data-nosnippet у элементов span, div и section;
  • nosnippet убирает страницу и из ИИ-обзоров Google — подробно в статье «AI Overviews».

Где какие директивы обычно ставят:

  • noindex — страница благодарности после заявки, результаты поиска по сайту, печатные версии, служебные лендинги для рекламы;
  • noindex с открытыми ссылками — страницы пагинации или фильтров, которые не нужны в выдаче, но через них робот находит товары;
  • nosnippet и max-snippet — когда описание страницы в выдаче Google нужно убрать или ограничить по длине;
  • unavailable_after — для страниц акций и мероприятий с известной датой окончания;
  • noimageindex — когда картинки на странице не должны попадать в поиск по изображениям Google.

Мета-тег nofollow не путайте с атрибутом rel=nofollow у ссылки. Мета-тег действует на все ссылки страницы, атрибут — на одну.

03

Заголовок X-Robots-Tag

X-Robots-Tag — те же директивы, но в HTTP-заголовке ответа сервера:

X-Robots-Tag: noindex, nofollow

Он нужен там, где мета-тег поставить некуда: PDF, документы, картинки, видео. Им же удобно задать правило сразу для группы адресов на уровне сервера.

Отличия в поддержке:

  • Яндекс в заголовке понимает noindex, nofollow, none и noarchive. Разрешающие index, follow, archive и all в X-Robots-Tag он не поддерживает.
  • Google понимает в заголовке все свои директивы и позволяет указать робота перед правилом: X-Robots-Tag: googlebot: nofollow. Правило без имени робота действует на всех.

Проверить, какие заголовки отдаёт сервер, можно в проверке ответа сервера.

04

Как поисковики решают конфликты

Конфликт возникает, когда на странице два тега robots или тег противоречит заголовку. Так бывает, если SEO-плагин и шаблон темы выводят свои теги одновременно. Яндекс и Google ведут себя противоположно:

  • Google применяет более строгое правило. Если есть max-snippet:50 и nosnippet, сработает nosnippet.
  • Яндекс отдаёт приоритет разрешающим директивам. Если на странице есть all и noindex, follow, Яндекс проиндексирует и текст, и ссылки.

Отсюда практическое правило: на странице должен быть один тег robots. Если noindex «не работает» только в Яндексе, первым делом ищите второй тег с all или index.

05

Чем мета-тег robots отличается от robots.txt

Robots.txt и мета-тег решают разные задачи. Файл управляет обходом: пускать ли робота по адресу. Мета-тег управляет индексацией и показом: что делать со страницей, которую робот уже скачал.

robots.txtМета-тег robots и X-Robots-Tag
Где задаётсяодин файл в корне доменав коде каждой страницы или в заголовке ответа
Чем управляетобходоминдексацией, переходом по ссылкам, сниппетом
Убирает ли из поисканет, адрес может остаться в индексе по ссылкамда, noindex
Действует нагруппы адресов по шаблонуконкретную страницу или файл
Когда срабатываетдо скачивания страницыпосле скачивания страницы

Отсюда главное ограничение: если адрес закрыт в robots.txt, робот не скачает страницу и не увидит noindex. И Яндекс, и Google пишут об этом прямо. Поэтому страницы с noindex оставляют открытыми для обхода. Как настроить сам файл — в опоре «Настройка robots.txt», как проверить, не закрыт ли адрес, — в статье «Проверка robots.txt».

Ещё одна пара, которую путают, — noindex и canonical. Noindex убирает страницу из поиска. Canonical говорит, какую из похожих страниц считать главной, и подходит для дублей. Ставить на одну страницу noindex и canonical на другой адрес — противоречивый сигнал.

06

Как проверить мета-тег

  1. Откройте код страницы и найдите тег robots в head. Убедитесь, что он один.
  2. Посмотрите заголовки ответа — нет ли там X-Robots-Tag, о котором вы не знали.
  3. Проверьте robots.txt — адрес не должен быть закрыт строкой Disallow.
  4. Проверьте адрес в Яндекс Вебмастере и в инструменте проверки URL Search Console — они показывают, видит ли робот запрет.

На техническом аудите я проверяю мета-теги robots на всех страницах сразу: случайный noindex на категориях после релиза — одна из ошибок, которая молча уносит трафик. Если страницы, наоборот, не попадают в поиск, начните со статьи «Индексация в Google».

Какие страницы закрыты noindex, robots.txt или заголовком X-Robots-Tag, покажет проверка запрета индексации — сразу по списку адресов.

Как поставить мета-тег robots: пошагово

  1. 1

    Выберите директиву

    noindex — убрать из поиска, nofollow — не переходить по ссылкам, none — оба запрета сразу, nosnippet — без описания в Google.

  2. 2

    Решите, для каких роботов

    name=«robots» — для всех, name=«yandex» — только Яндекс, name=«googlebot» — только Google.

  3. 3

    Поставьте тег в head

    Через шаблон или SEO-плагин CMS. Для PDF и картинок настройте на сервере заголовок X-Robots-Tag.

  4. 4

    Откройте страницу в robots.txt

    Если адрес закрыт строкой Disallow, робот не увидит тег. Уберите запрет для страниц с noindex.

  5. 5

    Проверьте результат

    Посмотрите код страницы и заголовки ответа, затем проверьте адрес в Яндекс Вебмастере и в инструменте проверки URL Search Console.

Частые ошибки

  • Ставить noindex на страницу, закрытую в robots.txt, — робот не увидит запрет.
  • Выводить два тега robots с разными директивами — Яндекс выполнит разрешающую.
  • Ставить noarchive для Google — он эту директиву игнорирует.
  • Путать мета-тег nofollow с атрибутом rel у ссылки — первый действует на все ссылки страницы, второй на одну.
  • Перенести noindex из шаблона тестового сайта на рабочий.
  • Закрывать noindex страницы, которые приносят трафик, ради «чистоты индекса».
Вопросы

Вопросы о мета-теге robots

Что такое meta robots noindex?

Meta robots noindex — директива мета-тега robots, которая запрещает поисковику показывать страницу в результатах поиска. Робот скачивает страницу, видит noindex и не добавляет её в индекс, а если она там уже есть — удаляет при следующем обходе.

Чем noindex отличается от nofollow?

Noindex отличается от nofollow объектом запрета: noindex запрещает показывать саму страницу в поиске, nofollow — переходить по ссылкам с неё. Их можно сочетать через запятую или заменить одним значением none.

Что значит meta robots none?

Meta robots none значит то же, что noindex, nofollow: страница не попадает в поиск, а робот не переходит по её ссылкам. Это значение понимают и Яндекс, и Google.

Нужно ли писать meta robots index, follow?

Писать meta robots index, follow не нужно: индексация и переход по ссылкам разрешены по умолчанию. Google считает значение all значением по умолчанию, а Яндекс использует разрешающие директивы только чтобы снять запрещающие.

Работает ли noarchive?

Noarchive работает только в Яндексе: он убирает из выдачи ссылку на сохранённую копию. Google в документации пишет, что больше не использует noarchive, потому что функции сохранённой копии у него нет.

Как закрыть страницу только от Яндекса или только от Google?

Закрыть страницу только от Яндекса или только от Google можно, указав имя робота вместо robots: name=«yandex» или name=«googlebot» с нужной директивой. Яндекс учитывает и общий тег, и тег для себя — директивы складываются.

Что такое X-Robots-Tag?

X-Robots-Tag — HTTP-заголовок ответа сервера с теми же директивами, что у мета-тега robots. Его используют для PDF, картинок и других файлов, в которые мета-тег не вставить, или чтобы задать запрет на уровне сервера.

Можно ли использовать noindex вместе с Disallow в robots.txt?

Использовать noindex вместе с Disallow для одной страницы нельзя: robots.txt не даст роботу скачать страницу, и он не увидит noindex. Это прямо написано и в справке Яндекса, и в документации Google.

Чем мета-тег nofollow отличается от атрибута rel=nofollow?

Мета-тег nofollow отличается от атрибута rel=nofollow охватом: мета-тег действует на все ссылки страницы, атрибут rel — на одну ссылку, у которой он стоит.

Обсудим ваш проект?

Напишите, что за сайт и какая задача — отвечу сам, обычно в течение дня.

Источники и обновления

Источники

  1. Google Search Central — Robots meta tag, data-nosnippet, and X-Robots-Tag specifications
  2. Google Search Central — Block Search indexing with noindex
  3. Яндекс Вебмастер — Метатег robots и HTTP-заголовок X-Robots-Tag
  4. MDN — meta name=robots

История обновлений

  • 8 ноября 2026Мета-тег robots: первая версия по справке Яндекс Вебмастера и документации Google

Читать дальше

Вопросы по теме