Мета-тег robots
Мета-тег robots — HTML-тег в разделе head страницы, который говорит поисковым роботам, можно ли индексировать страницу, переходить по её ссылкам и как показывать её в выдаче. Значение noindex запрещает показывать страницу в поиске; его понимают и Яндекс, и Google. Те же директивы можно отдать HTTP-заголовком X-Robots-Tag — это нужно для PDF, картинок и других не-HTML файлов.
Главное правило: робот должен скачать страницу, чтобы увидеть тег. Поэтому страницу с noindex нельзя закрывать в robots.txt — иначе запрет не сработает, а адрес может остаться в индексе.
Для кого: sEO-специалистам, разработчикам и владельцам сайтов, которым нужно управлять индексацией и сниппетами отдельных страниц.
- Мета-тег ставят в раздел head — например, name=«robots» content=«noindex».
- Яндекс и Google одинаково понимают noindex, nofollow и none.
- noarchive Google больше не использует, а Яндекс поддерживает. nosnippet и max-snippet есть в документации Google, но не Яндекса.
- При конфликте директив Google выбирает более строгую, а Яндекс — разрешающую.
- X-Robots-Tag — те же директивы в HTTP-заголовке, для любых типов файлов.
- Страница с noindex должна быть открыта в robots.txt.
Ключевые факты
- Где ставится мета-тег
- в разделе head HTML-страницы
- Общие для Яндекса и Google директивы
- noindex, nofollow, none (то же, что noindex, nofollow), all
- Только в справке Яндекса
- noarchive (Google её больше не использует), index, follow, archive
- Только в документации Google
- nosnippet, max-snippet, max-image-preview, max-video-preview, notranslate, noimageindex, unavailable_after, indexifembedded
- Конфликт директив
- Google применяет более строгую, Яндекс — разрешающую
- X-Robots-Tag в Яндексе
- noindex, nofollow, none, noarchive; index, follow, archive и all в заголовке не поддерживаются
Это справочник по самому тегу: какие директивы бывают и кто их понимает. Как по шагам закрыть сайт, тестовую копию или раздел и убрать уже проиндексированные страницы — в статье «Как закрыть сайт от индексации».
Как выглядит мета-тег robots
Мета-тег robots ставят в раздел head HTML-страницы:
<meta name="robots" content="noindex, nofollow">Атрибут name говорит, для какого робота правило, content — какие директивы действуют. Несколько директив пишут через запятую.
Вместо robots можно указать конкретного робота:
name="yandex"— только для роботов Яндекса;name="googlebot"— только для Google.
Если на странице есть и общий тег, и тег для Яндекса, Яндекс учитывает оба: robots с noindex и yandex с nofollow он прочитает как noindex, nofollow. Google считает названия и значения нечувствительными к регистру: NOINDEX и noindex для него одно и то же.
Без тега всё разрешено: страницу можно индексировать, по ссылкам — переходить. Поэтому писать index, follow для «надёжности» не нужно.
Директивы и их поддержка
Набор директив у Яндекса и Google разный. Сверено по справке Яндекс Вебмастера и документации Google Search Central.
| Директива | Что делает | Яндекс | |
|---|---|---|---|
noindex | не показывать страницу в поиске | да | да |
nofollow | не переходить по ссылкам со страницы | да | да |
none | то же, что noindex, nofollow | да | да |
all | без ограничений, значение по умолчанию | да | да |
index, follow | снимают запрещающие директивы | да | нет в списке |
noarchive | не показывать ссылку на сохранённую копию | да | больше не используется |
archive | снимает noarchive | да | нет в списке |
nosnippet | не показывать текстовое описание в выдаче | нет в списке | да |
max-snippet:[число] | ограничить длину описания в символах | нет в списке | да |
max-image-preview:[none, standard, large] | размер превью картинки в выдаче | нет в списке | да |
max-video-preview:[число] | длина превью видео в секундах | нет в списке | да |
noimageindex | не индексировать картинки на странице | нет в списке | да |
notranslate | не предлагать перевод страницы в выдаче | нет в списке | да |
unavailable_after:[дата] | не показывать страницу после даты | нет в списке | да |
indexifembedded | индексировать содержимое, встроенное через iframe, несмотря на noindex | нет в списке | да |
Пара деталей из документации Google:
max-snippet:0равенnosnippet, а-1отдаёт выбор длины Google;- кроме мета-тега, часть текста можно убрать из сниппета атрибутом
data-nosnippetу элементовspan,divиsection; nosnippetубирает страницу и из ИИ-обзоров Google — подробно в статье «AI Overviews».
Где какие директивы обычно ставят:
noindex— страница благодарности после заявки, результаты поиска по сайту, печатные версии, служебные лендинги для рекламы;noindexс открытыми ссылками — страницы пагинации или фильтров, которые не нужны в выдаче, но через них робот находит товары;nosnippetиmax-snippet— когда описание страницы в выдаче Google нужно убрать или ограничить по длине;unavailable_after— для страниц акций и мероприятий с известной датой окончания;noimageindex— когда картинки на странице не должны попадать в поиск по изображениям Google.
Мета-тег nofollow не путайте с атрибутом rel=nofollow у ссылки. Мета-тег действует на все ссылки страницы, атрибут — на одну.
Заголовок X-Robots-Tag
X-Robots-Tag — те же директивы, но в HTTP-заголовке ответа сервера:
X-Robots-Tag: noindex, nofollowОн нужен там, где мета-тег поставить некуда: PDF, документы, картинки, видео. Им же удобно задать правило сразу для группы адресов на уровне сервера.
Отличия в поддержке:
- Яндекс в заголовке понимает
noindex,nofollow,noneиnoarchive. Разрешающиеindex,follow,archiveиallв X-Robots-Tag он не поддерживает. - Google понимает в заголовке все свои директивы и позволяет указать робота перед правилом:
X-Robots-Tag: googlebot: nofollow. Правило без имени робота действует на всех.
Проверить, какие заголовки отдаёт сервер, можно в проверке ответа сервера.
Как поисковики решают конфликты
Конфликт возникает, когда на странице два тега robots или тег противоречит заголовку. Так бывает, если SEO-плагин и шаблон темы выводят свои теги одновременно. Яндекс и Google ведут себя противоположно:
- Google применяет более строгое правило. Если есть
max-snippet:50иnosnippet, сработаетnosnippet. - Яндекс отдаёт приоритет разрешающим директивам. Если на странице есть
allиnoindex, follow, Яндекс проиндексирует и текст, и ссылки.
Отсюда практическое правило: на странице должен быть один тег robots. Если noindex «не работает» только в Яндексе, первым делом ищите второй тег с all или index.
Чем мета-тег robots отличается от robots.txt
Robots.txt и мета-тег решают разные задачи. Файл управляет обходом: пускать ли робота по адресу. Мета-тег управляет индексацией и показом: что делать со страницей, которую робот уже скачал.
| robots.txt | Мета-тег robots и X-Robots-Tag | |
|---|---|---|
| Где задаётся | один файл в корне домена | в коде каждой страницы или в заголовке ответа |
| Чем управляет | обходом | индексацией, переходом по ссылкам, сниппетом |
| Убирает ли из поиска | нет, адрес может остаться в индексе по ссылкам | да, noindex |
| Действует на | группы адресов по шаблону | конкретную страницу или файл |
| Когда срабатывает | до скачивания страницы | после скачивания страницы |
Отсюда главное ограничение: если адрес закрыт в robots.txt, робот не скачает страницу и не увидит noindex. И Яндекс, и Google пишут об этом прямо. Поэтому страницы с noindex оставляют открытыми для обхода. Как настроить сам файл — в опоре «Настройка robots.txt», как проверить, не закрыт ли адрес, — в статье «Проверка robots.txt».
Ещё одна пара, которую путают, — noindex и canonical. Noindex убирает страницу из поиска. Canonical говорит, какую из похожих страниц считать главной, и подходит для дублей. Ставить на одну страницу noindex и canonical на другой адрес — противоречивый сигнал.
Как проверить мета-тег
- Откройте код страницы и найдите тег
robotsвhead. Убедитесь, что он один. - Посмотрите заголовки ответа — нет ли там X-Robots-Tag, о котором вы не знали.
- Проверьте robots.txt — адрес не должен быть закрыт строкой Disallow.
- Проверьте адрес в Яндекс Вебмастере и в инструменте проверки URL Search Console — они показывают, видит ли робот запрет.
На техническом аудите я проверяю мета-теги robots на всех страницах сразу: случайный noindex на категориях после релиза — одна из ошибок, которая молча уносит трафик. Если страницы, наоборот, не попадают в поиск, начните со статьи «Индексация в Google».
Какие страницы закрыты noindex, robots.txt или заголовком X-Robots-Tag, покажет проверка запрета индексации — сразу по списку адресов.
Как поставить мета-тег robots: пошагово
- 1
Выберите директиву
noindex — убрать из поиска, nofollow — не переходить по ссылкам, none — оба запрета сразу, nosnippet — без описания в Google.
- 2
Решите, для каких роботов
name=«robots» — для всех, name=«yandex» — только Яндекс, name=«googlebot» — только Google.
- 3
Поставьте тег в head
Через шаблон или SEO-плагин CMS. Для PDF и картинок настройте на сервере заголовок X-Robots-Tag.
- 4
Откройте страницу в robots.txt
Если адрес закрыт строкой Disallow, робот не увидит тег. Уберите запрет для страниц с noindex.
- 5
Проверьте результат
Посмотрите код страницы и заголовки ответа, затем проверьте адрес в Яндекс Вебмастере и в инструменте проверки URL Search Console.
Частые ошибки
- Ставить noindex на страницу, закрытую в robots.txt, — робот не увидит запрет.
- Выводить два тега robots с разными директивами — Яндекс выполнит разрешающую.
- Ставить noarchive для Google — он эту директиву игнорирует.
- Путать мета-тег nofollow с атрибутом rel у ссылки — первый действует на все ссылки страницы, второй на одну.
- Перенести noindex из шаблона тестового сайта на рабочий.
- Закрывать noindex страницы, которые приносят трафик, ради «чистоты индекса».
Вопросы о мета-теге robots
Что такое meta robots noindex?
Meta robots noindex — директива мета-тега robots, которая запрещает поисковику показывать страницу в результатах поиска. Робот скачивает страницу, видит noindex и не добавляет её в индекс, а если она там уже есть — удаляет при следующем обходе.
Чем noindex отличается от nofollow?
Noindex отличается от nofollow объектом запрета: noindex запрещает показывать саму страницу в поиске, nofollow — переходить по ссылкам с неё. Их можно сочетать через запятую или заменить одним значением none.
Что значит meta robots none?
Meta robots none значит то же, что noindex, nofollow: страница не попадает в поиск, а робот не переходит по её ссылкам. Это значение понимают и Яндекс, и Google.
Нужно ли писать meta robots index, follow?
Писать meta robots index, follow не нужно: индексация и переход по ссылкам разрешены по умолчанию. Google считает значение all значением по умолчанию, а Яндекс использует разрешающие директивы только чтобы снять запрещающие.
Работает ли noarchive?
Noarchive работает только в Яндексе: он убирает из выдачи ссылку на сохранённую копию. Google в документации пишет, что больше не использует noarchive, потому что функции сохранённой копии у него нет.
Как закрыть страницу только от Яндекса или только от Google?
Закрыть страницу только от Яндекса или только от Google можно, указав имя робота вместо robots: name=«yandex» или name=«googlebot» с нужной директивой. Яндекс учитывает и общий тег, и тег для себя — директивы складываются.
Что такое X-Robots-Tag?
X-Robots-Tag — HTTP-заголовок ответа сервера с теми же директивами, что у мета-тега robots. Его используют для PDF, картинок и других файлов, в которые мета-тег не вставить, или чтобы задать запрет на уровне сервера.
Можно ли использовать noindex вместе с Disallow в robots.txt?
Использовать noindex вместе с Disallow для одной страницы нельзя: robots.txt не даст роботу скачать страницу, и он не увидит noindex. Это прямо написано и в справке Яндекса, и в документации Google.
Чем мета-тег nofollow отличается от атрибута rel=nofollow?
Мета-тег nofollow отличается от атрибута rel=nofollow охватом: мета-тег действует на все ссылки страницы, атрибут rel — на одну ссылку, у которой он стоит.
Обсудим ваш проект?
Напишите, что за сайт и какая задача — отвечу сам, обычно в течение дня.
Источники и обновления
Источники
История обновлений
- 8 ноября 2026Мета-тег robots: первая версия по справке Яндекс Вебмастера и документации Google