Как закрыть сайт от индексации
Закрыть сайт от индексации надёжно можно тремя способами: директивой noindex в мета-теге robots, заголовком X-Robots-Tag со значением noindex или паролем на весь сайт. Строка Disallow в robots.txt запрещает обход, а не индексацию: и Google, и Яндекс пишут, что закрытые в robots.txt адреса могут попасть в поиск.
Главное правило: если ставите noindex, страница должна быть открыта для обхода в robots.txt — иначе робот её не скачает и не увидит запрет. Тестовые и служебные копии сайта закрывайте паролем: так их не увидит ни робот, ни случайный посетитель.
Для кого: владельцам сайтов, разработчикам и SEO-специалистам, которым нужно убрать из поиска сайт, тестовую копию или отдельные страницы.
- Disallow управляет обходом. Адрес, закрытый в robots.txt, может оказаться в выдаче — в Google без описания.
- Мета-тег robots с noindex ставят в раздел head; для одного поисковика — name=«yandex» или name=«googlebot».
- X-Robots-Tag — тот же запрет в HTTP-заголовке, он работает и для PDF, и для картинок.
- Disallow вместе с noindex не работает — робот не увидит noindex на закрытой странице.
- Тестовый сайт надёжнее всего закрыть паролем — тогда сервер отдаёт роботу код 401.
- Убрать страницу быстрее помогают инструменты удаления в Вебмастере и Search Console, но в Google это временная мера — до шести месяцев.
Ключевые факты
- Мета-тег запрета индексации
- meta name=«robots» content=«noindex» в разделе head
- HTTP-заголовок запрета
- X-Robots-Tag: noindex — поддерживают Яндекс и Google
- Значения в Яндексе
- noindex, nofollow, none (то же, что noindex, nofollow), noarchive
- Срок удаления в Яндексе после обнаружения указаний
- обычно в течение недели (по справке Вебмастера)
- Временное удаление в Google
- инструмент удаления URL скрывает страницу до шести месяцев
- Где проверить запрет
- Вебмастер → «Инструменты» → «Анализ индексации страницы»; Search Console → проверка URL
Disallow запрещает обход, а не индексацию
Самая частая ошибка — закрыть сайт строкой в robots.txt:
User-agent: *
Disallow: /и считать, что он исчез из поиска. Эта строка запрещает роботу скачивать страницы. Но индексация — отдельный процесс, и поисковик может узнать об адресе без обхода: по ссылкам с других сайтов, из старой карты сайта, из соцсетей.
Обе поисковые системы пишут об этом прямо:
- Google: robots.txt — не способ убрать страницу из Google. Если на закрытый адрес ссылаются, Google может проиндексировать его, не посещая страницу. В выдаче такой результат будет без описания — только адрес.
- Яндекс: ограниченные в robots.txt страницы могут участвовать в поиске. Чтобы удалить их, справка советует noindex в HTML-коде или в HTTP-заголовке.
Robots.txt нужен для управления обходом: закрыть корзину, поиск по сайту, параметры сортировки. Как его настроить, я разбираю в опоре «Настройка robots.txt». Для запрета индексации есть другие инструменты.
Мета-тег robots с noindex
Мета-тег ставят в раздел head страницы:
<meta name="robots" content="noindex">Робот скачивает страницу, видит запрет и не добавляет её в поиск, а если она уже там — удаляет при следующем обходе. Работает и в Яндексе, и в Google.
Если запрет нужен только одному поисковику, вместо robots пишут имя робота: name="yandex" или name="googlebot".
Значения, которые поддерживает Яндекс:
| Значение | Что делает |
|---|---|
noindex | не индексировать текст страницы — она не попадёт в поиск |
nofollow | не переходить по ссылкам на странице |
none | то же, что noindex, nofollow |
noarchive | не показывать ссылку на сохранённую копию |
Одна тонкость Яндекса: при конфликте разрешающих и запрещающих директив побеждают разрешающие. Если на странице окажутся два мета-тега — с noindex и с all, — Яндекс проиндексирует страницу. Такое бывает, когда SEO-плагин и шаблон темы выводят свои теги одновременно.
Закрыть весь сайт мета-тегом можно, если вывести его в общем шаблоне всех страниц.
Заголовок X-Robots-Tag
X-Robots-Tag — тот же запрет, но в HTTP-заголовке ответа сервера:
X-Robots-Tag: noindex, nofollowЕго поддерживают Яндекс и Google. Заголовок нужен там, где мета-тег поставить некуда: PDF, документы, картинки. Им же удобно закрыть сайт целиком на уровне сервера, не трогая шаблоны. В Apache это делает модуль mod_headers:
Header set X-Robots-Tag "noindex, nofollow"Проверить, что сервер отдаёт заголовок, можно в проверке ответа сервера: он должен быть в списке заголовков ответа на нужные адреса.
Почему нельзя сочетать Disallow и noindex
Логика «закрою и в robots.txt, и мета-тегом — так надёжнее» не работает. Чтобы увидеть noindex, робот должен скачать страницу. Если страница закрыта в robots.txt, он её не скачает.
- Google: если robots.txt блокирует страницу, робот никогда не увидит правило noindex, и страница может появиться в выдаче, если на неё ссылаются.
- Яндекс: если страница запрещена в robots.txt, директива мета-тега или заголовка не действует. Справка прямо просит не ограничивать такие страницы в robots.txt.
Правильный порядок: сначала noindex, а адрес в robots.txt открыт. Когда страница выпадет из поиска, её можно закрыть и в robots.txt, если нужно сэкономить обход. Но если на неё снова появятся ссылки, адрес может вернуться в выдачу без описания.
Как закрыть тестовый сайт
Для тестовой копии, сайта на разработке или старой версии лучший способ — пароль. Google называет защиту паролем одним из способов не пустить страницу в выдачу, наряду с noindex.
Как это работает: на сервере включают базовую HTTP-аутентификацию. Без логина и пароля сервер отвечает кодом 401 Unauthorized с заголовком WWW-Authenticate. Робот не получает ни текста, ни ссылок — индексировать нечего. В Apache это настраивается директивами AuthType Basic и Require valid-user.
Почему не robots.txt и не noindex:
- robots.txt не мешает индексировать адреса, на которые есть ссылки, — а на тестовый поддомен они часто утекают из таск-трекеров, писем и чатов;
Disallow: /и noindex в шаблоне легко перенести на рабочий сайт при выкладке. Такую ошибку я регулярно нахожу на техническом аудите после релизов.
Пароль при выкладке не переносится: на рабочем сервере его просто нет.
Какой способ выбрать
| Задача | Способ | Почему |
|---|---|---|
| Тестовая копия, сайт на разработке | пароль | робот получает код 401 и ничего не индексирует |
| Рабочий сайт, который временно нужно убрать из поиска | noindex в шаблоне или X-Robots-Tag на сервере | запрет видят и Яндекс, и Google |
| Отдельные страницы: благодарность после заявки, печатные версии, служебные лендинги | мета-тег robots с noindex | точечно, без правки сервера |
| PDF, документы, картинки | X-Robots-Tag | мета-тег в такие файлы не вставить |
| Корзина, личный кабинет, поиск по сайту | Disallow в robots.txt | нужно сэкономить обход, а не удалить из выдачи |
| Страница удалена насовсем | ответ 404 или 410 | поисковики уберут адрес при повторном обходе |
Последние два пункта важно не путать. Disallow подходит, когда страница никому не нужна в поиске и на неё почти нет внешних ссылок — так робот просто не тратит на неё время. Если же задача именно убрать адрес из выдачи, нужен noindex или код ответа удалённой страницы.
Ещё одно правило: не закрывайте страницы, которые продвигаются, ради «чистоты индекса». Сначала проверьте, нет ли по ним трафика и запросов в Вебмастере и Search Console. Закрытая по ошибке категория или статья выпадет из поиска вместе со всеми позициями.
Как убрать из поиска уже проиндексированные страницы
Если страницы уже в выдаче, порядок такой:
- Поставьте постоянный запрет: noindex, код 404 или 410 для удалённых страниц, либо пароль.
- Откройте адреса в robots.txt, чтобы робот увидел изменения.
- Ускорьте удаление. В Яндекс Вебмастере — «Инструменты» → «Удаление страниц из поиска», можно указать и префикс для группы адресов. В Search Console — инструмент удаления URL.
- Проверьте результат. В Вебмастере — «Анализ индексации страницы», в Search Console — инструмент проверки URL.
Сроки разные. По справке Яндекса страница обычно удаляется в течение недели после того, как робот обнаружит указания. В Google удаление инструментом временное — до шести месяцев. Если за это время не поставить noindex, 404 или пароль, страница вернётся. Без инструмента Google удалит её при повторном обходе, а он может занять месяцы.
Если проблема обратная — страницы не попадают в поиск, а должны, — начните со статьи «Индексация в Google» и проверьте, не закрыты ли они случайно: как это сделать — в статье «Проверка robots.txt».
Проверить, что нужные страницы закрыты, а остальные открыты, можно в инструменте «Проверка запрета индексации»: он покажет вердикт для Яндекса и Google по списку до 20 адресов.
Как закрыть сайт от индексации: пошагово
- 1
Решите, что закрываете
Весь сайт, раздел или отдельные страницы. Для тестовой копии — пароль, для рабочих страниц — noindex.
- 2
Поставьте noindex
Добавьте в head страниц мета-тег robots со значением noindex или настройте на сервере заголовок X-Robots-Tag: noindex для нужных адресов и файлов.
- 3
Откройте эти адреса в robots.txt
Уберите Disallow, который закрывает страницы с noindex, иначе робот не увидит запрет.
- 4
Проверьте результат
В Яндекс Вебмастере откройте «Анализ индексации страницы», в Search Console — инструмент проверки URL. Оба покажут, видит ли робот запрет.
- 5
Ускорьте удаление
В Вебмастере используйте «Удаление страниц из поиска», в Search Console — инструмент удаления URL. noindex при этом оставьте.
- 6
Закройте тестовый сайт паролем
Включите базовую HTTP-аутентификацию на всю тестовую копию. Robots.txt с Disallow для всего сайта можно оставить как дополнительную меру.
Частые ошибки
- Закрыть сайт строкой Disallow со слешем и ждать, что он пропадёт из поиска.
- Поставить noindex и одновременно закрыть те же страницы в robots.txt.
- Перенести на рабочий сайт robots.txt или мета-тег noindex с тестовой версии.
- Закрыть тестовую копию только robots.txt, без пароля.
- Использовать коды 401 и 403 в ответе на сам robots.txt — Google тогда считает, что ограничений нет.
- Удалить страницу инструментом Search Console и не поставить noindex — через полгода она вернётся.
Вопросы о закрытии сайта от индексации
Как закрыть сайт от индексации?
Закрыть сайт от индексации можно мета-тегом robots со значением noindex на всех страницах, заголовком X-Robots-Tag: noindex на сервере или паролем на весь сайт. Строка Disallow в robots.txt запрещает только обход и не гарантирует, что адреса не попадут в поиск.
Закрывает ли Disallow в robots.txt сайт от индексации?
Disallow в robots.txt сайт от индексации не закрывает — он запрещает обход. Google пишет, что может проиндексировать закрытый адрес без посещения, если на него ведут ссылки, и показать его без описания. Яндекс тоже предупреждает, что закрытые в robots.txt страницы могут участвовать в поиске.
Можно ли использовать одновременно Disallow и noindex?
Использовать одновременно Disallow и noindex на одной странице нельзя: робот не скачает закрытую страницу и не увидит noindex. Яндекс прямо пишет, что для запрещённой в robots.txt страницы директива мета-тега или заголовка не действует.
Как закрыть от индексации одну страницу?
Закрыть от индексации одну страницу проще всего мета-тегом robots со значением noindex в разделе head. Если страница — не HTML, а PDF или картинка, тот же запрет задают заголовком X-Robots-Tag в ответе сервера.
Как закрыть тестовый сайт от индексации?
Тестовый сайт от индексации надёжнее всего закрыть паролем — базовой HTTP-аутентификацией на всю копию. Google называет защиту паролем одним из способов не пустить страницу в выдачу; robots.txt и noindex на тестовой копии легко по ошибке перенести на рабочий сайт.
Как закрыть сайт от индексации только в Яндексе или только в Google?
Закрыть сайт от индексации только в одном поисковике можно мета-тегом с именем робота: name=«yandex» для Яндекса или name=«googlebot» для Google, со значением noindex. В robots.txt для этого есть отдельные секции User-agent, но они управляют только обходом.
Как быстро страница пропадёт из поиска после noindex?
Страница пропадёт из поиска после noindex только когда робот снова её скачает. Яндекс обычно удаляет страницу в течение недели после того, как робот обнаружит указания; в Google повторный обход может занять долго, его можно запросить в инструменте проверки URL.
Что такое X-Robots-Tag?
X-Robots-Tag — это HTTP-заголовок ответа сервера с теми же директивами, что и у мета-тега robots: noindex, nofollow и другими. Его используют, когда в файл нельзя вставить мета-тег, — для PDF, картинок и других не-HTML документов.
Как удалить из поиска уже проиндексированную страницу?
Удалить из поиска уже проиндексированную страницу можно так: поставить noindex, удалить страницу с ответом 404 или 410 либо закрыть паролем, а затем ускорить удаление. В Вебмастере для этого есть «Удаление страниц из поиска», в Search Console — инструмент удаления URL, который скрывает страницу до шести месяцев.
Обсудим ваш проект?
Напишите, что за сайт и какая задача — отвечу сам, обычно в течение дня.
Источники и обновления
Источники
- Google Search Central — Introduction to robots.txt
- Google Search Central — Block Search indexing with noindex
- Google Search Console — Инструмент удаления URL
- Яндекс Вебмастер — Файл robots.txt
- Яндекс Вебмастер — Метатег robots и HTTP-заголовок X-Robots-Tag
- Яндекс Вебмастер — Как удалить из поиска ненужные страницы
- MDN — 401 Unauthorized
История обновлений
- 8 ноября 2026Как закрыть сайт от индексации: первая версия по справке Яндекса, документации Google и MDN