Telegram Обсудить проект
Статья SEO 11 минут чтения

Как закрыть сайт от индексации

Коротко

Закрыть сайт от индексации надёжно можно тремя способами: директивой noindex в мета-теге robots, заголовком X-Robots-Tag со значением noindex или паролем на весь сайт. Строка Disallow в robots.txt запрещает обход, а не индексацию: и Google, и Яндекс пишут, что закрытые в robots.txt адреса могут попасть в поиск.

Главное правило: если ставите noindex, страница должна быть открыта для обхода в robots.txt — иначе робот её не скачает и не увидит запрет. Тестовые и служебные копии сайта закрывайте паролем: так их не увидит ни робот, ни случайный посетитель.

Роман Михальчук · · проверено

Для кого: владельцам сайтов, разработчикам и SEO-специалистам, которым нужно убрать из поиска сайт, тестовую копию или отдельные страницы.

Главное
  • Disallow управляет обходом. Адрес, закрытый в robots.txt, может оказаться в выдаче — в Google без описания.
  • Мета-тег robots с noindex ставят в раздел head; для одного поисковика — name=«yandex» или name=«googlebot».
  • X-Robots-Tag — тот же запрет в HTTP-заголовке, он работает и для PDF, и для картинок.
  • Disallow вместе с noindex не работает — робот не увидит noindex на закрытой странице.
  • Тестовый сайт надёжнее всего закрыть паролем — тогда сервер отдаёт роботу код 401.
  • Убрать страницу быстрее помогают инструменты удаления в Вебмастере и Search Console, но в Google это временная мера — до шести месяцев.
Ключевые факты
Мета-тег запрета индексации
meta name=«robots» content=«noindex» в разделе head
HTTP-заголовок запрета
X-Robots-Tag: noindex — поддерживают Яндекс и Google
Значения в Яндексе
noindex, nofollow, none (то же, что noindex, nofollow), noarchive
Срок удаления в Яндексе после обнаружения указаний
обычно в течение недели (по справке Вебмастера)
Временное удаление в Google
инструмент удаления URL скрывает страницу до шести месяцев
Где проверить запрет
Вебмастер → «Инструменты» → «Анализ индексации страницы»; Search Console → проверка URL
01

Disallow запрещает обход, а не индексацию

Самая частая ошибка — закрыть сайт строкой в robots.txt:

User-agent: *
Disallow: /

и считать, что он исчез из поиска. Эта строка запрещает роботу скачивать страницы. Но индексация — отдельный процесс, и поисковик может узнать об адресе без обхода: по ссылкам с других сайтов, из старой карты сайта, из соцсетей.

Обе поисковые системы пишут об этом прямо:

  • Google: robots.txt — не способ убрать страницу из Google. Если на закрытый адрес ссылаются, Google может проиндексировать его, не посещая страницу. В выдаче такой результат будет без описания — только адрес.
  • Яндекс: ограниченные в robots.txt страницы могут участвовать в поиске. Чтобы удалить их, справка советует noindex в HTML-коде или в HTTP-заголовке.

Robots.txt нужен для управления обходом: закрыть корзину, поиск по сайту, параметры сортировки. Как его настроить, я разбираю в опоре «Настройка robots.txt». Для запрета индексации есть другие инструменты.

02

Мета-тег robots с noindex

Мета-тег ставят в раздел head страницы:

<meta name="robots" content="noindex">

Робот скачивает страницу, видит запрет и не добавляет её в поиск, а если она уже там — удаляет при следующем обходе. Работает и в Яндексе, и в Google.

Если запрет нужен только одному поисковику, вместо robots пишут имя робота: name="yandex" или name="googlebot".

Значения, которые поддерживает Яндекс:

ЗначениеЧто делает
noindexне индексировать текст страницы — она не попадёт в поиск
nofollowне переходить по ссылкам на странице
noneто же, что noindex, nofollow
noarchiveне показывать ссылку на сохранённую копию

Одна тонкость Яндекса: при конфликте разрешающих и запрещающих директив побеждают разрешающие. Если на странице окажутся два мета-тега — с noindex и с all, — Яндекс проиндексирует страницу. Такое бывает, когда SEO-плагин и шаблон темы выводят свои теги одновременно.

Закрыть весь сайт мета-тегом можно, если вывести его в общем шаблоне всех страниц.

03

Заголовок X-Robots-Tag

X-Robots-Tag — тот же запрет, но в HTTP-заголовке ответа сервера:

X-Robots-Tag: noindex, nofollow

Его поддерживают Яндекс и Google. Заголовок нужен там, где мета-тег поставить некуда: PDF, документы, картинки. Им же удобно закрыть сайт целиком на уровне сервера, не трогая шаблоны. В Apache это делает модуль mod_headers:

Header set X-Robots-Tag "noindex, nofollow"

Проверить, что сервер отдаёт заголовок, можно в проверке ответа сервера: он должен быть в списке заголовков ответа на нужные адреса.

04

Почему нельзя сочетать Disallow и noindex

Логика «закрою и в robots.txt, и мета-тегом — так надёжнее» не работает. Чтобы увидеть noindex, робот должен скачать страницу. Если страница закрыта в robots.txt, он её не скачает.

  • Google: если robots.txt блокирует страницу, робот никогда не увидит правило noindex, и страница может появиться в выдаче, если на неё ссылаются.
  • Яндекс: если страница запрещена в robots.txt, директива мета-тега или заголовка не действует. Справка прямо просит не ограничивать такие страницы в robots.txt.

Правильный порядок: сначала noindex, а адрес в robots.txt открыт. Когда страница выпадет из поиска, её можно закрыть и в robots.txt, если нужно сэкономить обход. Но если на неё снова появятся ссылки, адрес может вернуться в выдачу без описания.

05

Как закрыть тестовый сайт

Для тестовой копии, сайта на разработке или старой версии лучший способ — пароль. Google называет защиту паролем одним из способов не пустить страницу в выдачу, наряду с noindex.

Как это работает: на сервере включают базовую HTTP-аутентификацию. Без логина и пароля сервер отвечает кодом 401 Unauthorized с заголовком WWW-Authenticate. Робот не получает ни текста, ни ссылок — индексировать нечего. В Apache это настраивается директивами AuthType Basic и Require valid-user.

Почему не robots.txt и не noindex:

  • robots.txt не мешает индексировать адреса, на которые есть ссылки, — а на тестовый поддомен они часто утекают из таск-трекеров, писем и чатов;
  • Disallow: / и noindex в шаблоне легко перенести на рабочий сайт при выкладке. Такую ошибку я регулярно нахожу на техническом аудите после релизов.

Пароль при выкладке не переносится: на рабочем сервере его просто нет.

06

Какой способ выбрать

ЗадачаСпособПочему
Тестовая копия, сайт на разработкепарольробот получает код 401 и ничего не индексирует
Рабочий сайт, который временно нужно убрать из поискаnoindex в шаблоне или X-Robots-Tag на серверезапрет видят и Яндекс, и Google
Отдельные страницы: благодарность после заявки, печатные версии, служебные лендингимета-тег robots с noindexточечно, без правки сервера
PDF, документы, картинкиX-Robots-Tagмета-тег в такие файлы не вставить
Корзина, личный кабинет, поиск по сайтуDisallow в robots.txtнужно сэкономить обход, а не удалить из выдачи
Страница удалена насовсемответ 404 или 410поисковики уберут адрес при повторном обходе

Последние два пункта важно не путать. Disallow подходит, когда страница никому не нужна в поиске и на неё почти нет внешних ссылок — так робот просто не тратит на неё время. Если же задача именно убрать адрес из выдачи, нужен noindex или код ответа удалённой страницы.

Ещё одно правило: не закрывайте страницы, которые продвигаются, ради «чистоты индекса». Сначала проверьте, нет ли по ним трафика и запросов в Вебмастере и Search Console. Закрытая по ошибке категория или статья выпадет из поиска вместе со всеми позициями.

07

Как убрать из поиска уже проиндексированные страницы

Если страницы уже в выдаче, порядок такой:

  1. Поставьте постоянный запрет: noindex, код 404 или 410 для удалённых страниц, либо пароль.
  2. Откройте адреса в robots.txt, чтобы робот увидел изменения.
  3. Ускорьте удаление. В Яндекс Вебмастере — «Инструменты» → «Удаление страниц из поиска», можно указать и префикс для группы адресов. В Search Console — инструмент удаления URL.
  4. Проверьте результат. В Вебмастере — «Анализ индексации страницы», в Search Console — инструмент проверки URL.

Сроки разные. По справке Яндекса страница обычно удаляется в течение недели после того, как робот обнаружит указания. В Google удаление инструментом временное — до шести месяцев. Если за это время не поставить noindex, 404 или пароль, страница вернётся. Без инструмента Google удалит её при повторном обходе, а он может занять месяцы.

Если проблема обратная — страницы не попадают в поиск, а должны, — начните со статьи «Индексация в Google» и проверьте, не закрыты ли они случайно: как это сделать — в статье «Проверка robots.txt».

Проверить, что нужные страницы закрыты, а остальные открыты, можно в инструменте «Проверка запрета индексации»: он покажет вердикт для Яндекса и Google по списку до 20 адресов.

Как закрыть сайт от индексации: пошагово

  1. 1

    Решите, что закрываете

    Весь сайт, раздел или отдельные страницы. Для тестовой копии — пароль, для рабочих страниц — noindex.

  2. 2

    Поставьте noindex

    Добавьте в head страниц мета-тег robots со значением noindex или настройте на сервере заголовок X-Robots-Tag: noindex для нужных адресов и файлов.

  3. 3

    Откройте эти адреса в robots.txt

    Уберите Disallow, который закрывает страницы с noindex, иначе робот не увидит запрет.

  4. 4

    Проверьте результат

    В Яндекс Вебмастере откройте «Анализ индексации страницы», в Search Console — инструмент проверки URL. Оба покажут, видит ли робот запрет.

  5. 5

    Ускорьте удаление

    В Вебмастере используйте «Удаление страниц из поиска», в Search Console — инструмент удаления URL. noindex при этом оставьте.

  6. 6

    Закройте тестовый сайт паролем

    Включите базовую HTTP-аутентификацию на всю тестовую копию. Robots.txt с Disallow для всего сайта можно оставить как дополнительную меру.

Частые ошибки

  • Закрыть сайт строкой Disallow со слешем и ждать, что он пропадёт из поиска.
  • Поставить noindex и одновременно закрыть те же страницы в robots.txt.
  • Перенести на рабочий сайт robots.txt или мета-тег noindex с тестовой версии.
  • Закрыть тестовую копию только robots.txt, без пароля.
  • Использовать коды 401 и 403 в ответе на сам robots.txt — Google тогда считает, что ограничений нет.
  • Удалить страницу инструментом Search Console и не поставить noindex — через полгода она вернётся.
Вопросы

Вопросы о закрытии сайта от индексации

Как закрыть сайт от индексации?

Закрыть сайт от индексации можно мета-тегом robots со значением noindex на всех страницах, заголовком X-Robots-Tag: noindex на сервере или паролем на весь сайт. Строка Disallow в robots.txt запрещает только обход и не гарантирует, что адреса не попадут в поиск.

Закрывает ли Disallow в robots.txt сайт от индексации?

Disallow в robots.txt сайт от индексации не закрывает — он запрещает обход. Google пишет, что может проиндексировать закрытый адрес без посещения, если на него ведут ссылки, и показать его без описания. Яндекс тоже предупреждает, что закрытые в robots.txt страницы могут участвовать в поиске.

Можно ли использовать одновременно Disallow и noindex?

Использовать одновременно Disallow и noindex на одной странице нельзя: робот не скачает закрытую страницу и не увидит noindex. Яндекс прямо пишет, что для запрещённой в robots.txt страницы директива мета-тега или заголовка не действует.

Как закрыть от индексации одну страницу?

Закрыть от индексации одну страницу проще всего мета-тегом robots со значением noindex в разделе head. Если страница — не HTML, а PDF или картинка, тот же запрет задают заголовком X-Robots-Tag в ответе сервера.

Как закрыть тестовый сайт от индексации?

Тестовый сайт от индексации надёжнее всего закрыть паролем — базовой HTTP-аутентификацией на всю копию. Google называет защиту паролем одним из способов не пустить страницу в выдачу; robots.txt и noindex на тестовой копии легко по ошибке перенести на рабочий сайт.

Как закрыть сайт от индексации только в Яндексе или только в Google?

Закрыть сайт от индексации только в одном поисковике можно мета-тегом с именем робота: name=«yandex» для Яндекса или name=«googlebot» для Google, со значением noindex. В robots.txt для этого есть отдельные секции User-agent, но они управляют только обходом.

Как быстро страница пропадёт из поиска после noindex?

Страница пропадёт из поиска после noindex только когда робот снова её скачает. Яндекс обычно удаляет страницу в течение недели после того, как робот обнаружит указания; в Google повторный обход может занять долго, его можно запросить в инструменте проверки URL.

Что такое X-Robots-Tag?

X-Robots-Tag — это HTTP-заголовок ответа сервера с теми же директивами, что и у мета-тега robots: noindex, nofollow и другими. Его используют, когда в файл нельзя вставить мета-тег, — для PDF, картинок и других не-HTML документов.

Как удалить из поиска уже проиндексированную страницу?

Удалить из поиска уже проиндексированную страницу можно так: поставить noindex, удалить страницу с ответом 404 или 410 либо закрыть паролем, а затем ускорить удаление. В Вебмастере для этого есть «Удаление страниц из поиска», в Search Console — инструмент удаления URL, который скрывает страницу до шести месяцев.

Обсудим ваш проект?

Напишите, что за сайт и какая задача — отвечу сам, обычно в течение дня.

Источники и обновления

Источники

  1. Google Search Central — Introduction to robots.txt
  2. Google Search Central — Block Search indexing with noindex
  3. Google Search Console — Инструмент удаления URL
  4. Яндекс Вебмастер — Файл robots.txt
  5. Яндекс Вебмастер — Метатег robots и HTTP-заголовок X-Robots-Tag
  6. Яндекс Вебмастер — Как удалить из поиска ненужные страницы
  7. MDN — 401 Unauthorized

История обновлений

  • 8 ноября 2026Как закрыть сайт от индексации: первая версия по справке Яндекса, документации Google и MDN

Читать дальше

Вопросы по теме