Индексация сайта
Индексация сайта — процесс, в котором поисковый робот обходит страницы сайта, разбирает их и добавляет в свою базу — без этого страница не может появиться в выдаче.
Также называют: индексирование, индексирование сайта, индексация страниц
Что такое индексация сайта простыми словами
Поисковик ищет не по интернету, а по своей базе — индексу. Индексация — это когда робот приходит на страницу, читает её и кладёт в эту базу. Пока страницы нет в индексе, её не найти в поиске, сколько бы она ни была полезной.
Путь страницы до выдачи — три шага:
- Обход — робот находит адрес по ссылке, в sitemap или по уведомлению и загружает страницу.
- Индексация — поисковик разбирает текст и решает, добавить ли страницу в базу.
- Ранжирование — по запросу поисковик выбирает из базы страницы и расставляет их по местам.
Почему это важно
Индексация — первое условие трафика. Новые страницы, которые неделями не попадают в индекс, не приносят ни показов, ни заявок. Выпадение из индекса нужных страниц — частая и незаметная причина падения трафика. Код 200 тоже не гарантия: Google пишет, что может проиндексировать страницу с таким ответом, а может и нет.
Пример
Например, на сайте вышло 20 новых статей. Через месяц в Яндекс Вебмастере в «Страницах в поиске» видно 14 из них. Остальные шесть проверяют по одной: в «Анализе индексации страницы» две оказываются закрыты в robots.txt по ошибке, у четырёх нет ни одной внутренней ссылки. Правило в robots.txt исправляют, ссылки ставят, адреса отправляют на переобход.
Как проверить на практике
- Яндекс Вебмастер → «Страницы в поиске»: какие страницы участвуют в поиске. Отдельный адрес проверяют в «Инструменты» → «Анализ индексации страницы».
- Google Search Console → «Отчет об индексировании страниц»: проиндексированные и непроиндексированные адреса с причинами — например, «Страница просканирована, но пока не проиндексирована». Отдельный адрес — инструментом проверки URL.
- Операторы поиска. В Яндексе —
url:https://site.ru/stranica/. В Google —site:site.ru, но Google сам пишет, что этот оператор показывает не все проиндексированные адреса. - Index Checker — расширение SEO Drift: проверяет индексацию в Яндексе через XMLStock или XMLRiver по расписанию, до 100 доменов, и присылает оповещения в Telegram.
Почему страница не индексируется и как ускорить
Частые причины:
- адрес закрыт в robots.txt или стоит noindex;
- страница отдаёт не 200, а редирект, 404 или 5xx — проверьте в проверке ответа сервера;
- canonical указывает на другой адрес;
- на страницу нет внутренних ссылок, её нет в sitemap;
- страница почти дублирует другую или в ней мало полезного.
Как ускорить:
- добавить адрес в sitemap.xml и поставить на него ссылки с уже проиндексированных страниц;
- в Яндекс Вебмастере — «Переобход страниц»;
- IndexNow — Яндекс поддерживает этот протокол: сайт сам сообщает о новых, изменённых и удалённых адресах; для популярных CMS есть плагины;
- в Search Console — запрос индексирования через инструмент проверки URL; у него есть квота, а повторный запрос не ускоряет обход.
Ни один способ не гарантирует индексацию — так пишут и Яндекс, и Google.
Индексация в Яндексе и Google
Обе системы устроены похоже: робот находит адрес, загружает страницу, поисковик решает, брать ли её в индекс. Различаются инструменты. В Яндексе есть «Страницы в поиске», «Анализ индексации страницы», «Переобход страниц» и поддержка IndexNow; узнавать об изменениях Яндексу помогают также sitemap и счётчик Метрики. В Google — «Отчет об индексировании страниц», проверка URL с запросом индексирования и sitemap. Google сообщает, что сканирование может занять от нескольких дней до нескольких недель.
Индексация и нейросети
Нет в индексе — нет и в ответах нейросетей с поиском. Google пишет, что для ссылки в ИИ-обзорах и AI Mode страница должна быть проиндексирована и подходить для показа в поиске со сниппетом. Алиса AI собирает ответы по индексу Яндекса. Поэтому первый пункт GEO-аудита — проверить, что нужные страницы в индексе обоих поисковиков, а роботы не упираются в robots.txt и ошибки сервера. Быстрая самопроверка — видят ли нейросети сайт.
Инструменты
Мифы и ошибки
| Миф | Как на самом деле |
|---|---|
| Отправил на переобход — страница точно попадёт в поиск | Переобход и IndexNow ускоряют обход, но не гарантируют индексацию. Google прямо пишет: запрос сканирования не гарантирует попадания в выдачу. |
| Оператор site: показывает все страницы в индексе | Google пишет, что site: показывает не обязательно все проиндексированные адреса. Точные данные — в Вебмастере и Search Console. |
| Чтобы убрать страницу из поиска, достаточно Disallow | Google может проиндексировать закрытый в robots.txt адрес, если на него ссылаются. Надёжнее noindex — и страницу при этом не закрывать в robots.txt. |
Чем проверить
Чем индексация сайта отличается от похожих понятий
| Термин | Чем отличается |
|---|---|
| Индексация ссылок | индексация ссылок — учёт поисковиком купленной или полученной ссылки на ваш сайт; индексация сайта — попадание в базу ваших страниц |
| Сканирование (обход) | при обходе робот загружает страницу; при индексации поисковик решает, добавлять ли её в базу |
| Ранжирование | ранжирование расставляет по местам страницы, которые уже в индексе; индексация — пропуск в эту базу |
Связанные термины
Где встречается на сайте
- статьяБелое, серое и чёрное SEO
- статьяЧто такое SERM
- статьяGoogle Analytics 4
- статьяGoogle Analytics или Яндекс Метрика
- статьяGoogle Discover
- статьяSEO с нуля
- статьяLazy loading — ленивая загрузка
- статьяNetpeak Spider
- статьяScreaming Frog SEO Spider
- статьяТопвизор
- статьяВозраст домена
- статьяКак закрыть сайт от индексации
Вопросы и ответы
Что такое индексация сайта простыми словами?
Индексация сайта простыми словами — когда поисковик находит страницы сайта и добавляет их в свою базу. Искать он может только по этой базе, поэтому страница вне индекса в выдаче не появится.
Как проверить индексацию сайта в Яндексе?
Индексацию сайта в Яндексе проверяют в Вебмастере: раздел «Страницы в поиске» покажет, какие страницы участвуют в поиске, а «Анализ индексации страницы» — статус отдельного адреса. Быстрая проверка — оператор url: в поиске Яндекса. Регулярно и по многим доменам — расширением Index Checker.
Как проверить индексацию в Google?
Индексацию в Google проверяют в Search Console: «Отчет об индексировании страниц» покажет, какие адреса в индексе и почему остальные в него не попали. Отдельную страницу проверяют инструментом проверки URL. Оператор site: даёт только примерную картину.
Почему сайт не индексируется?
Сайт не индексируется чаще всего из-за запрета в robots.txt или noindex, кода ответа не 200, canonical на другой адрес или отсутствия ссылок на страницы. Ещё причина — поисковик счёл страницу дублем или малополезной.
Как ускорить индексацию сайта?
Ускорить индексацию сайта помогают sitemap.xml, внутренние ссылки с уже проиндексированных страниц, «Переобход страниц» в Яндекс Вебмастере, протокол IndexNow, который поддерживает Яндекс, и запрос индексирования в Search Console. Гарантии ни один способ не даёт.
Как закрыть сайт от индексации?
Закрыть сайт от индексации надёжнее всего метатегом robots с noindex или паролем. Запрет в robots.txt закрывает только обход: Google может проиндексировать такой адрес по внешним ссылкам. Тестовые копии сайта лучше закрывать паролем.
Сколько времени занимает индексация?
Индексация занимает от нескольких дней до нескольких недель — так пишет Google о повторном сканировании. Удалённые страницы Яндекс исключает из базы в течение недели после обхода.
Обсудим ваш проект?
Напишите, что за сайт и какая задача — отвечу сам, обычно в течение дня.