Telegram Обсудить проект

Индексация сайта

Индексация сайта — процесс, в котором поисковый робот обходит страницы сайта, разбирает их и добавляет в свою базу — без этого страница не может появиться в выдаче.

Также называют: индексирование, индексирование сайта, индексация страниц

Что такое индексация сайта простыми словами

Поисковик ищет не по интернету, а по своей базе — индексу. Индексация — это когда робот приходит на страницу, читает её и кладёт в эту базу. Пока страницы нет в индексе, её не найти в поиске, сколько бы она ни была полезной.

Путь страницы до выдачи — три шага:

  1. Обход — робот находит адрес по ссылке, в sitemap или по уведомлению и загружает страницу.
  2. Индексация — поисковик разбирает текст и решает, добавить ли страницу в базу.
  3. Ранжирование — по запросу поисковик выбирает из базы страницы и расставляет их по местам.

Почему это важно

Индексация — первое условие трафика. Новые страницы, которые неделями не попадают в индекс, не приносят ни показов, ни заявок. Выпадение из индекса нужных страниц — частая и незаметная причина падения трафика. Код 200 тоже не гарантия: Google пишет, что может проиндексировать страницу с таким ответом, а может и нет.

Пример

Например, на сайте вышло 20 новых статей. Через месяц в Яндекс Вебмастере в «Страницах в поиске» видно 14 из них. Остальные шесть проверяют по одной: в «Анализе индексации страницы» две оказываются закрыты в robots.txt по ошибке, у четырёх нет ни одной внутренней ссылки. Правило в robots.txt исправляют, ссылки ставят, адреса отправляют на переобход.

Как проверить на практике

  1. Яндекс Вебмастер → «Страницы в поиске»: какие страницы участвуют в поиске. Отдельный адрес проверяют в «Инструменты» → «Анализ индексации страницы».
  2. Google Search Console → «Отчет об индексировании страниц»: проиндексированные и непроиндексированные адреса с причинами — например, «Страница просканирована, но пока не проиндексирована». Отдельный адрес — инструментом проверки URL.
  3. Операторы поиска. В Яндексе — url:https://site.ru/stranica/. В Google — site:site.ru, но Google сам пишет, что этот оператор показывает не все проиндексированные адреса.
  4. Index Checker — расширение SEO Drift: проверяет индексацию в Яндексе через XMLStock или XMLRiver по расписанию, до 100 доменов, и присылает оповещения в Telegram.

Почему страница не индексируется и как ускорить

Частые причины:

  • адрес закрыт в robots.txt или стоит noindex;
  • страница отдаёт не 200, а редирект, 404 или 5xx — проверьте в проверке ответа сервера;
  • canonical указывает на другой адрес;
  • на страницу нет внутренних ссылок, её нет в sitemap;
  • страница почти дублирует другую или в ней мало полезного.

Как ускорить:

  • добавить адрес в sitemap.xml и поставить на него ссылки с уже проиндексированных страниц;
  • в Яндекс Вебмастере — «Переобход страниц»;
  • IndexNow — Яндекс поддерживает этот протокол: сайт сам сообщает о новых, изменённых и удалённых адресах; для популярных CMS есть плагины;
  • в Search Console — запрос индексирования через инструмент проверки URL; у него есть квота, а повторный запрос не ускоряет обход.

Ни один способ не гарантирует индексацию — так пишут и Яндекс, и Google.

01

Индексация в Яндексе и Google

Обе системы устроены похоже: робот находит адрес, загружает страницу, поисковик решает, брать ли её в индекс. Различаются инструменты. В Яндексе есть «Страницы в поиске», «Анализ индексации страницы», «Переобход страниц» и поддержка IndexNow; узнавать об изменениях Яндексу помогают также sitemap и счётчик Метрики. В Google — «Отчет об индексировании страниц», проверка URL с запросом индексирования и sitemap. Google сообщает, что сканирование может занять от нескольких дней до нескольких недель.

02

Индексация и нейросети

Нет в индексе — нет и в ответах нейросетей с поиском. Google пишет, что для ссылки в ИИ-обзорах и AI Mode страница должна быть проиндексирована и подходить для показа в поиске со сниппетом. Алиса AI собирает ответы по индексу Яндекса. Поэтому первый пункт GEO-аудита — проверить, что нужные страницы в индексе обоих поисковиков, а роботы не упираются в robots.txt и ошибки сервера. Быстрая самопроверка — видят ли нейросети сайт.

Инструменты

Расширение Chrome Index Checker Мониторинг индексации сайтов в Яндексе через XMLStock или XMLRiver, оповещения в Telegram и браузер. Подробнее → Установить ↗
Онлайн · без установки Проверка ответа сервера Код ответа, цепочка редиректов, HTTP-заголовки и <head> страницы глазами YandexBot, Googlebot или браузера; сравнение двух роботов. Открыть →
Онлайн · без установки Генератор robots.txt Пресеты WordPress, Битрикса, OpenCart и других CMS, Clean-param для Яндекса, правила для ботов нейросетей, проверка и тестер адресов. Открыть →

Яндекс ВебмастерGoogle Search Console

Мифы и ошибки

МифКак на самом деле
Отправил на переобход — страница точно попадёт в поискПереобход и IndexNow ускоряют обход, но не гарантируют индексацию. Google прямо пишет: запрос сканирования не гарантирует попадания в выдачу.
Оператор site: показывает все страницы в индексеGoogle пишет, что site: показывает не обязательно все проиндексированные адреса. Точные данные — в Вебмастере и Search Console.
Чтобы убрать страницу из поиска, достаточно DisallowGoogle может проиндексировать закрытый в robots.txt адрес, если на него ссылаются. Надёжнее noindex — и страницу при этом не закрывать в robots.txt.

Чем проверить

Расширение Chrome Index Checker Мониторинг индексации сайтов в Яндексе через XMLStock или XMLRiver, оповещения в Telegram и браузер. Подробнее → Установить ↗
Онлайн · без установки Проверка ответа сервера Код ответа, цепочка редиректов, HTTP-заголовки и <head> страницы глазами YandexBot, Googlebot или браузера; сравнение двух роботов. Открыть →
Онлайн · без установки Генератор robots.txt Пресеты WordPress, Битрикса, OpenCart и других CMS, Clean-param для Яндекса, правила для ботов нейросетей, проверка и тестер адресов. Открыть →

Яндекс ВебмастерGoogle Search Console

Чем индексация сайта отличается от похожих понятий

ТерминЧем отличается
Индексация ссылокиндексация ссылок — учёт поисковиком купленной или полученной ссылки на ваш сайт; индексация сайта — попадание в базу ваших страниц
Сканирование (обход)при обходе робот загружает страницу; при индексации поисковик решает, добавлять ли её в базу
Ранжированиеранжирование расставляет по местам страницы, которые уже в индексе; индексация — пропуск в эту базу

Связанные термины

robots.txtКарта сайта sitemap.xmlКоды ответа сервераCanonicalИндексация ссылокНейроответ

Где встречается на сайте

Вопросы

Вопросы и ответы

Что такое индексация сайта простыми словами?

Индексация сайта простыми словами — когда поисковик находит страницы сайта и добавляет их в свою базу. Искать он может только по этой базе, поэтому страница вне индекса в выдаче не появится.

Как проверить индексацию сайта в Яндексе?

Индексацию сайта в Яндексе проверяют в Вебмастере: раздел «Страницы в поиске» покажет, какие страницы участвуют в поиске, а «Анализ индексации страницы» — статус отдельного адреса. Быстрая проверка — оператор url: в поиске Яндекса. Регулярно и по многим доменам — расширением Index Checker.

Как проверить индексацию в Google?

Индексацию в Google проверяют в Search Console: «Отчет об индексировании страниц» покажет, какие адреса в индексе и почему остальные в него не попали. Отдельную страницу проверяют инструментом проверки URL. Оператор site: даёт только примерную картину.

Почему сайт не индексируется?

Сайт не индексируется чаще всего из-за запрета в robots.txt или noindex, кода ответа не 200, canonical на другой адрес или отсутствия ссылок на страницы. Ещё причина — поисковик счёл страницу дублем или малополезной.

Как ускорить индексацию сайта?

Ускорить индексацию сайта помогают sitemap.xml, внутренние ссылки с уже проиндексированных страниц, «Переобход страниц» в Яндекс Вебмастере, протокол IndexNow, который поддерживает Яндекс, и запрос индексирования в Search Console. Гарантии ни один способ не даёт.

Как закрыть сайт от индексации?

Закрыть сайт от индексации надёжнее всего метатегом robots с noindex или паролем. Запрет в robots.txt закрывает только обход: Google может проиндексировать такой адрес по внешним ссылкам. Тестовые копии сайта лучше закрывать паролем.

Сколько времени занимает индексация?

Индексация занимает от нескольких дней до нескольких недель — так пишет Google о повторном сканировании. Удалённые страницы Яндекс исключает из базы в течение недели после обхода.

Обсудим ваш проект?

Напишите, что за сайт и какая задача — отвечу сам, обычно в течение дня.

Источники и обновления

Источники

  1. Справка Google Search Console — Отчет об индексировании страниц
  2. Справка Яндекс Вебмастера — IndexNow

Читать дальше по теме

Другие термины