Роботы нейросетей
Роботы нейросетей — ИИ краулеры, или AI crawlers, — это программы компаний OpenAI, Anthropic, Perplexity, Google и других, которые скачивают страницы сайтов. Одни роботы собирают тексты для обучения моделей (GPTBot, ClaudeBot), другие ищут страницы для ответа в момент вопроса (OAI-SearchBot, PerplexityBot), третьи открывают страницу по просьбе пользователя (ChatGPT-User).
Чтобы сайт попадал в ответы нейросетей, роботов поиска закрывать нельзя. Роботов обучения можно закрыть в robots.txt — на ответы с поиском это не влияет.
Для кого: владельцам сайтов, разработчикам и SEO-специалистам, которые настраивают robots.txt под нейросети.
- Роботы нейросетей делятся на три группы — обучение, поиск и действия пользователя; закрывать их надо по отдельности.
- Закрытый OAI-SearchBot = сайта нет среди источников ChatGPT с поиском; закрытый GPTBot на поиск ChatGPT не влияет.
- Google-Extended — не отдельный робот, а метка в robots.txt; на AI Overviews и обычный поиск Google она не влияет.
- ИИ-ответ Google по 3 запросам о роботах нейросетей был в 3 выдачах из 3; из 17 его источников в топ-10 той же выдачи стояли 12 (выборка 26–27.10.2026).
Ключевые факты
- Роботы OpenAI
- GPTBot — обучение моделей; OAI-SearchBot — поиск ChatGPT; ChatGPT-User — открывает страницу по просьбе пользователя
- Роботы Anthropic
- ClaudeBot — обучение; Claude-SearchBot — поиск; Claude-User — действия пользователя
- Роботы Perplexity
- PerplexityBot — индекс для ответов; Perplexity-User — открывает страницу по запросу пользователя
- Google-Extended
- метка в robots.txt, а не робот; запрещает использовать страницы для обучения Gemini, на поиск и AI Overviews не влияет
- Робот Яндекса
- YandexBot — общий индекс поиска, из которого берёт источники Алиса AI
- ИИ-ответы по 3 запросам о роботах нейросетей (данные SEO Drift 26–27.10.2026)
- Google — 3 из 3, 17 источников, 12 в топ-10; Алиса AI — 2 из 3, 11 источников, 7 в топ-10
Что такое роботы нейросетей
Роботы нейросетей (ИИ-краулеры) — это программы, которые скачивают страницы сайтов для компаний-разработчиков ИИ. Внешне это обычные боты: они приходят с User-Agent, читают robots.txt и забирают HTML. Разница — в том, зачем им страница.
Роботы нейросетей делятся на три группы:
- Обучение — собирают тексты для обучения моделей: GPTBot, ClaudeBot, CCBot.
- Поиск — находят страницы для ответа в момент вопроса и ставят ссылку: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
- Действия пользователя — открывают страницу, когда человек попросил нейросеть зайти по ссылке: ChatGPT-User, Claude-User, Perplexity-User.
Для GEO важна вторая группа: именно роботы поиска решают, будет ли сайт среди источников ответа.
Список роботов нейросетей
| Робот | Компания | Зачем | Если закрыть |
|---|---|---|---|
| GPTBot | OpenAI | обучение моделей | на поиск ChatGPT не влияет |
| OAI-SearchBot | OpenAI | поиск ChatGPT | сайта нет среди источников ChatGPT с поиском |
| ChatGPT-User | OpenAI | открывает страницу по просьбе пользователя | ChatGPT не перескажет страницу по ссылке |
| ClaudeBot | Anthropic | обучение | на поиск Claude не влияет |
| Claude-SearchBot | Anthropic | поиск Claude | сайта нет среди источников Claude |
| PerplexityBot | Perplexity | индекс для ответов | сайта нет среди источников Perplexity |
| Google-Extended | метка запрета обучения Gemini | на поиск и AI Overviews не влияет | |
| YandexBot | Яндекс | индекс поиска | сайт пропадёт из поиска и из ответов Алисы AI |
Роботы нейросетей Google и Яндекса устроены иначе, чем у OpenAI: AI Overviews, AI Mode и Алиса AI в поиске берут источники из обычного поискового индекса. Отдельного робота для ИИ-ответов у них нет — есть Googlebot и YandexBot.
Как настроить robots.txt для нейросетей
Robots.txt для нейросетей — настройка для AI ботов — делают отдельным блоком на каждого робота. Пример: пустить роботов поиска и закрыть обучение.
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /Если вы готовы отдавать тексты и для обучения, запреты не нужны: по умолчанию всё, что не закрыто, открыто. Главное — чтобы общий блок User-agent: * не закрывал сайт целиком.
Почему роботы нейросетей не видят сайт
Роботы нейросетей не видят сайт по четырём частым причинам:
- запрет в robots.txt — общий или оставленный плагином безопасности;
- антибот и CDN — роботу отдают капчу или 403; Cloudflare с июля 2025 года по умолчанию блокирует ИИ-краулеры на новых сайтах;
- текст в JavaScript — роботы нейросетей обычно не выполняют скрипты и видят пустую страницу;
- медленный ответ сервера — робот уходит по таймауту.
Проверка — логи сервера: найдите строки с GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot и посмотрите коды ответа. Подлинность проверяют по IP: OpenAI публикует IP-диапазоны (ip ranges) GPTBot, OAI-SearchBot и ChatGPT-User.
Разобрать лог без командной строки поможет инструмент «Роботы нейросетей в логах»: он покажет, какие роботы заходят, какие страницы читают и где получают 403 или 404.
Что нейросети отвечают о своих роботах
Роботы нейросетей — тема, в которой ИИ-ответы опираются на первоисточник. По 3 запросам — «gptbot», «ии краулер», «user agent gptbot» — ИИ-ответ Google был во всех 3 выдачах, из 17 источников в топ-10 той же выдачи стояли 12, а документацию OpenAI (developers.openai.com) он процитировал дважды. Алиса AI ответила в 2 выдачах из 3, на запрос «gptbot» нейроответа не было: в топе Яндекса по нему — сервисы-чат-боты с похожим названием (выборка 26–27.10.2026).
Вывод для сайта: в теме роботов нейросетей выигрывают страницы с точными названиями User-Agent, примерами robots.txt и ссылкой на документацию. Как роботы связаны с llms.txt — в статье «llms.txt», полная проверка сайта — в GEO-аудите.
Методика проверки: фиксированный набор запросов, поиск Яндекса и Google из Москвы, ответ нейросети и все её источники сохраняются с датой сбора; повторный замер — по тем же запросам.
Как настроить доступ роботов нейросетей: пошагово
- 1
Выпишите роботов нейросетей, которые вам нужны
Робот поиска (OAI-SearchBot, PerplexityBot, Claude-SearchBot) нужен, если вы хотите быть в ответах. Робот обучения (GPTBot, ClaudeBot, Google-Extended) — решение о том, отдавать ли тексты для обучения моделей.
- 2
Проверьте robots.txt на общие запреты
Правило «User-agent: * / Disallow: /» закрывает и всех роботов нейросетей. Ищите и строки с отдельными ботами — их часто добавляют плагины безопасности.
- 3
Пропишите правила для каждого бота
Отдельный блок User-agent на каждого робота: Allow для поиска, Disallow для обучения, если не хотите отдавать тексты.
- 4
Проверьте антибот-защиту и CDN
Роботы нейросетей должны получать код 200, а не капчу или 403. Проверьте настройки Cloudflare, хостинга и WAF.
- 5
Отдавайте текст в HTML
Роботы нейросетей обычно не выполняют JavaScript — главный текст страницы должен быть в исходном HTML.
- 6
Посмотрите логи сервера
Найдите в логах GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot: заходят ли роботы нейросетей и какие коды ответа получают.
Частые ошибки
- Закрыть роботов нейросетей OpenAI одним правилом. По документации OpenAI у GPTBot, OAI-SearchBot и ChatGPT-User разные User-Agent и разные задачи: запрет «на всё от OpenAI» убирает сайт и из обучения, и из источников ChatGPT с поиском.
- Закрыть Google-Extended и ждать, что сайт пропадёт из AI Overviews. По документации Google, Google-Extended не влияет на поиск: AI Overviews и AI Mode подчиняются правилам для Googlebot.
- Закрыть YandexBot ради «защиты от ИИ». Алиса AI в поиске берёт источники из индекса Яндекса — без YandexBot сайт пропадёт и из выдачи, и из ответов.
- Проверить только robots.txt. Антибот хостинга или CDN может отдавать роботам нейросетей 403 или капчу при открытом robots.txt — проверяйте коды ответа в логах.
- Доверять строке User-Agent. Её подделывает кто угодно; настоящего GPTBot, OAI-SearchBot и ChatGPT-User отличают по IP-диапазонам из документации OpenAI.
- Ждать, что запрет сработает сразу. Роботы нейросетей перечитывают robots.txt при следующем обходе, а уже скачанные для обучения тексты запрет не удаляет.
Вопросы о роботах нейросетей
Что такое роботы нейросетей?
Роботы нейросетей — это программы, которые скачивают страницы сайтов для компаний-разработчиков ИИ: для обучения моделей, для поиска ответа в момент вопроса или по просьбе пользователя. Их ещё называют ИИ-краулерами или ИИ-ботами.
Что такое GPTBot?
GPTBot — робот OpenAI, который собирает общедоступные страницы для обучения моделей; User-Agent у него содержит слово «GPTBot/» и номер версии. В поиске ChatGPT GPTBot не участвует: за поиск отвечает OAI-SearchBot. Описание и User-Agent GPTBot опубликованы в документации OpenAI.
Как заблокировать GPTBot в robots.txt?
Чтобы заблокировать GPTBot, добавьте в robots.txt блок «User-agent: GPTBot» и строку «Disallow: /». OAI-SearchBot при этом оставьте открытым отдельным блоком, иначе сайт пропадёт из источников ChatGPT с поиском.
Как разрешить GPTBot?
Разрешить GPTBot в robots.txt просто: достаточно, чтобы в файле не было запрета для него и для всех ботов. Явно разрешить GPTBot можно блоком «User-agent: GPTBot» и строкой «Allow: /».
Какие ещё роботы нейросетей бывают?
Кроме роботов OpenAI, сайты обходят роботы нейросетей Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Perplexity (PerplexityBot, Perplexity-User), Apple (Applebot-Extended — метка запрета обучения), Common Crawl (CCBot), ByteDance (Bytespider). Google управляет обучением Gemini меткой Google-Extended.
Какие риски у блокировки роботов нейросетей?
Риски у блокировки роботов нейросетей зависят от типа робота: блокировка роботов для обучения почти ничего не меняет в ответах с поиском. Блокировка роботов поиска убирает сайт из источников ChatGPT, Perplexity и Claude: бренд не упомянут со ссылкой, переходов нет.
Каких роботов пускать ради трафика из ответов?
Если нужен трафик из ответов, пускайте роботов нейросетей для поиска и действий пользователя — OAI-SearchBot, ChatGPT-User, Claude-SearchBot и PerplexityBot — а для Алисы AI и AI Overviews YandexBot и Googlebot. Трафик из ответов приходит по ссылкам на источники, а в источники сайт приводят именно эти роботы. Роботов обучения GPTBot, ClaudeBot и Google-Extended можно закрыть: на ответы с поиском это не влияет.
Как проверить, что запрос пришёл от настоящего GPTBot?
То, что запрос пришёл от настоящего GPTBot, подтверждает IP-адрес: OpenAI публикует списки адресов своих роботов в документации. Строку User-Agent подделать легко, поэтому сверяйте IP запроса из логов со списком OpenAI.
Нужно ли открывать роботов нейросетей для Алисы AI?
Отдельного робота нейросети для Алисы AI в robots.txt настраивать не нужно: Алиса AI в поиске берёт источники из индекса Яндекса, который собирает YandexBot. Сайт должен быть открыт для YandexBot и проиндексирован.
Что такое ИИ краулер?
ИИ краулер простыми словами — это робот нейросети, который обходит сайты и скачивает страницы (по-английски AI crawler). В отличие от Googlebot и YandexBot, краулер нейросети собирает тексты для обучения модели или для ответа в чате, а не для обычной поисковой выдачи.
Какой user agent у GPTBot?
User agent GPTBot — строка со словом «GPTBot/» и номером версии и ссылкой +https://openai.com/gptbot. По ней GPTBot находят в логах сервера, а в robots.txt к нему обращаются строкой «User-agent: GPTBot».
Как открыть ИИ ботов в robots.txt?
Чтобы открыть роботов нейросетей (ИИ ботов) в robots.txt, уберите запреты для них и для «User-agent: *» или добавьте отдельный блок с «Allow: /» для каждого бота: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Изменения в robots.txt роботы нейросетей видят не сразу, а при следующем обходе.
Как защититься от ИИ краулеров?
Способы защиты от ИИ краулеров — robots.txt и блокировка на сервере. Честные роботы нейросетей robots.txt соблюдают; тех, кто не соблюдает, блокируют на сервере или в WAF по User-Agent и IP-диапазонам, которые публикуют OpenAI и другие компании.
Называет ли вас Алиса?
Пришлите сайт и 3 вопроса ваших клиентов — прогоню их через Алису AI и ChatGPT и пришлю, что ответили. Бесплатно.
Источники и обновления
Источники
История обновлений
- 27 октября 2026Роботы нейросетей: первая версия по карте GEO и данным SEO Drift 26–27.10.2026