Screaming Frog SEO Spider
Screaming Frog SEO Spider — это программа-краулер для компьютера: она обходит сайт по ссылкам, как поисковый робот, и собирает по каждому адресу код ответа сервера, Title, Description, H1, canonical, директивы индексации и редиректы. Результат — таблица всех страниц сайта, которую можно отфильтровать по ошибкам и выгрузить.
Главное правило: краулер показывает, что видно на сайте, а не что лежит в индексе. Ошибки из обхода сверяйте с отчётами Яндекс Вебмастера и Google Search Console и начинайте с тех, что затрагивают шаблоны: одна ошибка в шаблоне повторяется на сотнях страниц.
Для кого: sEO-специалистам, вебмастерам и владельцам сайтов, которые хотят сами найти технические ошибки на сайте.
- Screaming Frog обходит сайт по ссылкам и показывает каждый адрес с кодом ответа, мета-тегами, H1 и canonical.
- Бесплатная версия ограничена 500 адресами за один обход; лицензия снимает лимит и открывает расширенные настройки.
- Краулер находит битые ссылки, цепочки редиректов, дубли Title и H1, страницы без canonical.
- Данные обхода не равны индексу — проверяйте выводы в Вебмастере и Search Console.
- Все отчёты выгружаются в таблицу, а это удобно для ТЗ программисту.
Ключевые факты
- Тип программы
- десктопный краулер для Windows, macOS и Linux (сайт разработчика, сверено 08.11.2026)
- Лимит бесплатной версии
- 500 адресов за один обход (сайт разработчика, сверено 08.11.2026)
- Что открывает лицензия
- обход без лимита адресов, сохранение обходов, рендеринг JavaScript, свои правила извлечения, интеграции по API (сайт разработчика)
- Режимы обхода
- Spider — обход по ссылкам с адреса; List — проверка заданного списка адресов
- Интеграции
- Google Analytics, Google Search Console, PageSpeed Insights (сайт разработчика)
Что такое Screaming Frog SEO Spider
Screaming Frog SEO Spider — десктопный краулер: программа ставится на компьютер (Windows, macOS, Linux), получает адрес сайта и идёт по ссылкам, как поисковый робот. По каждому найденному адресу она записывает, что ответил сервер и что лежит в коде страницы. Итог — таблица всех URL сайта, где каждую колонку можно отфильтровать.
Это один из базовых инструментов в подборке SEO-сервисов. Я начинаю технический аудит с обхода краулером: он за один проход показывает, какие страницы вообще есть на сайте и как они связаны ссылками.
Важно понимать границу инструмента. Краулер видит сайт сейчас и только по ссылкам. Он не знает, какие страницы в индексе Яндекса и Google, как часто их обходит робот и какие запросы они собирают. Эти данные есть в Яндекс Вебмастере и Google Search Console, поэтому выводы из обхода всегда сверяют с ними.
Что проверяет краулер
Основные проверки распределены по вкладкам. В каждой есть фильтры, которые сразу отделяют проблемные адреса.
| Что проверить | Где смотреть | Что искать |
|---|---|---|
| Коды ответа сервера | Response Codes | 3xx, 4xx, 5xx и ссылки на них |
| Title и Description | Page Titles, Meta Description | пустые, дубли, слишком длинные |
| Заголовки | H1, H2 | нет H1, несколько H1, дубли |
| Canonical | Canonicals | нет canonical, canonical на другую страницу, на адрес с ошибкой |
| Директивы | Directives | noindex, nofollow, запреты в заголовках ответа |
| Дубли | Content | точные дубли и почти одинаковые страницы |
Коды ответа. Фильтр Client Error (4xx) показывает битые ссылки, а нижняя панель Inlinks — с каких страниц на них ссылаются. Server Error (5xx) — повод смотреть сервер, а не контент.
Мета-теги и H1. Дубли Title и H1 чаще всего рождаются в шаблоне: фильтры, пагинация, карточки товаров с одинаковым названием. Как должны быть устроены сами теги — в статьях «Мета-теги» и «Заголовок H1».
Canonical и дубли. Краулер показывает, куда указывает canonical каждой страницы и не ведёт ли он на адрес с редиректом или ошибкой. Как решать найденные дубли — в статье «Дубли страниц».
Как найти редиректы и битые ссылки
Редирект сам по себе не ошибка. Проблема — ссылка внутри сайта, которая ведёт на редирект, и цепочка из нескольких перенаправлений подряд. Каждый лишний шаг тратит время робота и посетителя.
Порядок работы такой:
- На вкладке Response Codes отфильтруйте Redirection (3xx).
- Выгрузите отчёт по цепочкам редиректов через раздел Reports — там видно все шаги от исходного адреса до конечного.
- Найдите страницы, которые ссылаются на редиректы, и замените ссылки на конечный адрес.
- Петли, где адрес перенаправляет сам на себя через несколько шагов, исправьте в настройках сервера.
Для битых ссылок порядок тот же: фильтр 4xx, затем Inlinks. Если ссылка стоит в меню или подвале, она есть на каждой странице — одной правкой в шаблоне вы убираете тысячи битых ссылок. Ответ сервера по одному адресу удобно перепроверить нашим инструментом «Проверка ответа сервера».
Чем ограничена бесплатная версия
Бесплатная версия Screaming Frog SEO Spider обходит до 500 адресов за один обход — так указано на сайте разработчика (сверено 08.11.2026). В лимит входят не только страницы, но и картинки, CSS и JS-файлы, если их обход включён. Кроме лимита, в бесплатной версии недоступна часть функций: сохранение и повторное открытие обходов, рендеринг JavaScript, свои правила извлечения данных, интеграции с Google Analytics, Search Console и PageSpeed Insights.
Что из этого следует на практике:
- Сайт до нескольких сотен страниц — бесплатной версии хватает. Отключите обход картинок и скриптов, чтобы лимит ушёл на страницы.
- Большой сайт — нужна лицензия. Можно обходить разделы по частям, но тогда вы не увидите связей между ними.
- Сайт на JavaScript-фреймворке — без рендеринга краулер увидит только исходный HTML. Если ссылки и текст подставляет скрипт, отчёт будет неполным.
Взломанные сборки не используйте. Это риск для компьютера и данных клиента, а для проверки небольшого сайта бесплатной версии достаточно.
Базовые настройки перед обходом
Настройки по умолчанию подходят для первого знакомства. Перед рабочим обходом проверьте пять вещей.
- Режим. Spider — обход по ссылкам от стартового адреса. List — проверка готового списка адресов, например из карты сайта или выгрузки страниц из Вебмастера. List помогает найти страницы, на которые нет внутренних ссылок.
- robots.txt. По умолчанию краулер соблюдает robots.txt, как поисковый робот. Оставьте так, если хотите видеть сайт глазами поисковика.
- Скорость. Ограничьте число потоков и запросов в секунду, если сайт на виртуальном хостинге. Иначе сервер начнёт отвечать ошибками 5xx, и отчёт покажет проблемы, которых у посетителей нет.
- Исключения. Через Exclude уберите служебные адреса — корзину, поиск по сайту, адреса с метками сессий. Так лимит и время уходят на нужные страницы.
- Хранение данных. Для больших сайтов переключите режим хранения с памяти на базу данных — обход не остановится из-за нехватки оперативной памяти.
User-agent можно сменить на робота Яндекса или Google, но результат всё равно не равен поведению настоящего робота: краулер не знает квот обхода и не видит, что сервер отдаёт роботам по их IP.
Как выгрузить и использовать результаты
У каждой вкладки есть кнопка Export — она сохраняет текущий фильтр в таблицу CSV или Excel. Меню Bulk Export выгружает связки «страница — ссылка», например все входящие ссылки на адреса с ошибкой 404. Меню Reports даёт готовые отчёты: цепочки редиректов, проблемы canonical.
Отчёт краулера — сырьё, а не результат. Чтобы из него получилась работа:
- Сгруппируйте ошибки по шаблонам. Дубли Title в карточках товаров, битая ссылка в меню, лишний canonical на пагинации — это три задачи, а не три тысячи строк.
- Сверьте с индексом. Страница с noindex, которой нет в индексе, — это порядок, а не ошибка. Состояние индексации смотрите в Вебмастере и Search Console.
- Расставьте приоритеты. Сначала то, что мешает индексации и ломает переходы (5xx, 4xx в меню, неверный canonical), потом мета-теги и заголовки.
- Повторите обход после правок. Тот же набор настроек покажет, что исправлено, а что вернулось.
Как краулер встраивается в общую работу по сайту, разобрано в опоре «Техническое SEO». Если нужен разбор с приоритетами и ТЗ под вашу CMS, закажите технический аудит.
Как провести первый обход в Screaming Frog
- 1
Укажите адрес сайта
Вставьте главную страницу в строку адреса в режиме Spider и проверьте, что версия сайта — с https и нужным зеркалом.
- 2
Проверьте настройки обхода
Оставьте соблюдение robots.txt, ограничьте скорость, если сервер слабый, исключите служебные адреса через Exclude.
- 3
Запустите обход
Нажмите Start и дождитесь 100% — на больших сайтах переключите хранение в режим базы данных, чтобы не упереться в память.
- 4
Разберите коды ответа
На вкладке Response Codes отфильтруйте 3xx, 4xx и 5xx и найдите, с каких страниц на них ссылаются.
- 5
Проверьте мета-теги и заголовки
На вкладках Page Titles, Meta Description и H1 отфильтруйте пустые, дублирующиеся и слишком длинные.
- 6
Выгрузите отчёты
Через Export или Bulk Export сохраните нужные фильтры в таблицу и превратите их в задачи.
Частые ошибки
- Считать каждую строку отчёта ошибкой — часть дублей закрыта canonical или noindex и не мешает.
- Обходить сайт на полной скорости — слабый хостинг начнёт отдавать 5xx и отчёт покажет ошибки, которых у посетителей нет.
- Игнорировать robots.txt в настройках и потом удивляться, что в отчёт попали служебные страницы.
- Чинить ошибки по одной странице, а не в шаблоне, который их порождает.
- Покупать лицензию для небольшого сайта, не попробовав бесплатную версию, — до 500 адресов её обычно хватает.
Вопросы о Screaming Frog
Что такое Screaming Frog SEO Spider простыми словами?
Screaming Frog SEO Spider простыми словами — это программа, которая проходит по всем ссылкам сайта, как робот поисковика, и собирает в таблицу данные каждой страницы: код ответа, Title, Description, H1, canonical и редиректы.
Screaming Frog бесплатный?
Screaming Frog бесплатен с ограничением: бесплатная версия обходит до 500 адресов за раз и не даёт части функций — сохранения обходов, рендеринга JavaScript, интеграций. Для небольшого сайта этого хватает, для больших нужна лицензия.
Как пользоваться Screaming Frog?
Пользоваться Screaming Frog просто: вставьте адрес сайта, нажмите Start, дождитесь окончания обхода и смотрите вкладки — Response Codes, Page Titles, Meta Description, H1, Canonicals. В каждой вкладке есть фильтры ошибок и кнопка экспорта.
Какие ошибки находит Screaming Frog?
Screaming Frog находит битые ссылки и страницы с кодами 4xx и 5xx, цепочки и петли редиректов, пустые и дублирующиеся Title, Description и H1, проблемы canonical, страницы с noindex и точные дубли страниц.
Почему Screaming Frog не видит часть страниц?
Screaming Frog не видит страницы, на которые нет ссылок, закрытые в robots.txt при включённом его соблюдении, и ссылки, которые появляются только после выполнения JavaScript, если рендеринг выключен. Такие адреса можно проверить в режиме List — списком.
Может ли Screaming Frog положить сайт?
Screaming Frog может перегрузить слабый сервер, если обходить сайт на высокой скорости. Ограничьте число потоков и запросов в секунду в настройках скорости — особенно на виртуальном хостинге.
Чем Screaming Frog отличается от Яндекс Вебмастера и Search Console?
Screaming Frog отличается тем, что показывает сайт глазами краулера прямо сейчас, а Вебмастер и Search Console — то, что поисковики уже обошли и проиндексировали. Краулер находит ошибки до робота, панели поисковиков показывают последствия.
Что делать с отчётом Screaming Frog?
Отчёт Screaming Frog нужно превратить в задачи: выгрузить фильтры в таблицу, сгруппировать ошибки по шаблонам страниц и отдать программисту с указанием, где ошибка и как должно быть.
Обсудим ваш проект?
Напишите, что за сайт и какая задача — отвечу сам, обычно в течение дня.