Telegram Обсудить проект
Статья GEO 10 минут чтения

Роботы нейросетей

Коротко

Роботы нейросетей — ИИ краулеры, или AI crawlers, — это программы компаний OpenAI, Anthropic, Perplexity, Google и других, которые скачивают страницы сайтов. Одни роботы собирают тексты для обучения моделей (GPTBot, ClaudeBot), другие ищут страницы для ответа в момент вопроса (OAI-SearchBot, PerplexityBot), третьи открывают страницу по просьбе пользователя (ChatGPT-User).

Чтобы сайт попадал в ответы нейросетей, роботов поиска закрывать нельзя. Роботов обучения можно закрыть в robots.txt — на ответы с поиском это не влияет.

Роман Михальчук · · проверено

Для кого: владельцам сайтов, разработчикам и SEO-специалистам, которые настраивают robots.txt под нейросети.

Главное
  • Роботы нейросетей делятся на три группы — обучение, поиск и действия пользователя; закрывать их надо по отдельности.
  • Закрытый OAI-SearchBot = сайта нет среди источников ChatGPT с поиском; закрытый GPTBot на поиск ChatGPT не влияет.
  • Google-Extended — не отдельный робот, а метка в robots.txt; на AI Overviews и обычный поиск Google она не влияет.
  • ИИ-ответ Google по 3 запросам о роботах нейросетей был в 3 выдачах из 3; из 17 его источников в топ-10 той же выдачи стояли 12 (выборка 26–27.10.2026).
Ключевые факты
Роботы OpenAI
GPTBot — обучение моделей; OAI-SearchBot — поиск ChatGPT; ChatGPT-User — открывает страницу по просьбе пользователя
Роботы Anthropic
ClaudeBot — обучение; Claude-SearchBot — поиск; Claude-User — действия пользователя
Роботы Perplexity
PerplexityBot — индекс для ответов; Perplexity-User — открывает страницу по запросу пользователя
Google-Extended
метка в robots.txt, а не робот; запрещает использовать страницы для обучения Gemini, на поиск и AI Overviews не влияет
Робот Яндекса
YandexBot — общий индекс поиска, из которого берёт источники Алиса AI
ИИ-ответы по 3 запросам о роботах нейросетей (данные SEO Drift 26–27.10.2026)
Google — 3 из 3, 17 источников, 12 в топ-10; Алиса AI — 2 из 3, 11 источников, 7 в топ-10
01

Что такое роботы нейросетей

Роботы нейросетей (ИИ-краулеры) — это программы, которые скачивают страницы сайтов для компаний-разработчиков ИИ. Внешне это обычные боты: они приходят с User-Agent, читают robots.txt и забирают HTML. Разница — в том, зачем им страница.

Роботы нейросетей делятся на три группы:

  1. Обучение — собирают тексты для обучения моделей: GPTBot, ClaudeBot, CCBot.
  2. Поиск — находят страницы для ответа в момент вопроса и ставят ссылку: OAI-SearchBot, Claude-SearchBot, PerplexityBot.
  3. Действия пользователя — открывают страницу, когда человек попросил нейросеть зайти по ссылке: ChatGPT-User, Claude-User, Perplexity-User.

Для GEO важна вторая группа: именно роботы поиска решают, будет ли сайт среди источников ответа.

02

Список роботов нейросетей

РоботКомпанияЗачемЕсли закрыть
GPTBotOpenAIобучение моделейна поиск ChatGPT не влияет
OAI-SearchBotOpenAIпоиск ChatGPTсайта нет среди источников ChatGPT с поиском
ChatGPT-UserOpenAIоткрывает страницу по просьбе пользователяChatGPT не перескажет страницу по ссылке
ClaudeBotAnthropicобучениена поиск Claude не влияет
Claude-SearchBotAnthropicпоиск Claudeсайта нет среди источников Claude
PerplexityBotPerplexityиндекс для ответовсайта нет среди источников Perplexity
Google-ExtendedGoogleметка запрета обучения Geminiна поиск и AI Overviews не влияет
YandexBotЯндексиндекс поискасайт пропадёт из поиска и из ответов Алисы AI

Роботы нейросетей Google и Яндекса устроены иначе, чем у OpenAI: AI Overviews, AI Mode и Алиса AI в поиске берут источники из обычного поискового индекса. Отдельного робота для ИИ-ответов у них нет — есть Googlebot и YandexBot.

03

Как настроить robots.txt для нейросетей

Robots.txt для нейросетей — настройка для AI ботов — делают отдельным блоком на каждого робота. Пример: пустить роботов поиска и закрыть обучение.

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Если вы готовы отдавать тексты и для обучения, запреты не нужны: по умолчанию всё, что не закрыто, открыто. Главное — чтобы общий блок User-agent: * не закрывал сайт целиком.

04

Почему роботы нейросетей не видят сайт

Роботы нейросетей не видят сайт по четырём частым причинам:

  • запрет в robots.txt — общий или оставленный плагином безопасности;
  • антибот и CDN — роботу отдают капчу или 403; Cloudflare с июля 2025 года по умолчанию блокирует ИИ-краулеры на новых сайтах;
  • текст в JavaScript — роботы нейросетей обычно не выполняют скрипты и видят пустую страницу;
  • медленный ответ сервера — робот уходит по таймауту.

Проверка — логи сервера: найдите строки с GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot и посмотрите коды ответа. Подлинность проверяют по IP: OpenAI публикует IP-диапазоны (ip ranges) GPTBot, OAI-SearchBot и ChatGPT-User.

Разобрать лог без командной строки поможет инструмент «Роботы нейросетей в логах»: он покажет, какие роботы заходят, какие страницы читают и где получают 403 или 404.

05

Что нейросети отвечают о своих роботах

Роботы нейросетей — тема, в которой ИИ-ответы опираются на первоисточник. По 3 запросам — «gptbot», «ии краулер», «user agent gptbot» — ИИ-ответ Google был во всех 3 выдачах, из 17 источников в топ-10 той же выдачи стояли 12, а документацию OpenAI (developers.openai.com) он процитировал дважды. Алиса AI ответила в 2 выдачах из 3, на запрос «gptbot» нейроответа не было: в топе Яндекса по нему — сервисы-чат-боты с похожим названием (выборка 26–27.10.2026).

Вывод для сайта: в теме роботов нейросетей выигрывают страницы с точными названиями User-Agent, примерами robots.txt и ссылкой на документацию. Как роботы связаны с llms.txt — в статье «llms.txt», полная проверка сайта — в GEO-аудите.

Методика проверки: фиксированный набор запросов, поиск Яндекса и Google из Москвы, ответ нейросети и все её источники сохраняются с датой сбора; повторный замер — по тем же запросам.

Как настроить доступ роботов нейросетей: пошагово

  1. 1

    Выпишите роботов нейросетей, которые вам нужны

    Робот поиска (OAI-SearchBot, PerplexityBot, Claude-SearchBot) нужен, если вы хотите быть в ответах. Робот обучения (GPTBot, ClaudeBot, Google-Extended) — решение о том, отдавать ли тексты для обучения моделей.

  2. 2

    Проверьте robots.txt на общие запреты

    Правило «User-agent: * / Disallow: /» закрывает и всех роботов нейросетей. Ищите и строки с отдельными ботами — их часто добавляют плагины безопасности.

  3. 3

    Пропишите правила для каждого бота

    Отдельный блок User-agent на каждого робота: Allow для поиска, Disallow для обучения, если не хотите отдавать тексты.

  4. 4

    Проверьте антибот-защиту и CDN

    Роботы нейросетей должны получать код 200, а не капчу или 403. Проверьте настройки Cloudflare, хостинга и WAF.

  5. 5

    Отдавайте текст в HTML

    Роботы нейросетей обычно не выполняют JavaScript — главный текст страницы должен быть в исходном HTML.

  6. 6

    Посмотрите логи сервера

    Найдите в логах GPTBot, OAI-SearchBot, ClaudeBot, PerplexityBot: заходят ли роботы нейросетей и какие коды ответа получают.

Частые ошибки

  • Закрыть роботов нейросетей OpenAI одним правилом. По документации OpenAI у GPTBot, OAI-SearchBot и ChatGPT-User разные User-Agent и разные задачи: запрет «на всё от OpenAI» убирает сайт и из обучения, и из источников ChatGPT с поиском.
  • Закрыть Google-Extended и ждать, что сайт пропадёт из AI Overviews. По документации Google, Google-Extended не влияет на поиск: AI Overviews и AI Mode подчиняются правилам для Googlebot.
  • Закрыть YandexBot ради «защиты от ИИ». Алиса AI в поиске берёт источники из индекса Яндекса — без YandexBot сайт пропадёт и из выдачи, и из ответов.
  • Проверить только robots.txt. Антибот хостинга или CDN может отдавать роботам нейросетей 403 или капчу при открытом robots.txt — проверяйте коды ответа в логах.
  • Доверять строке User-Agent. Её подделывает кто угодно; настоящего GPTBot, OAI-SearchBot и ChatGPT-User отличают по IP-диапазонам из документации OpenAI.
  • Ждать, что запрет сработает сразу. Роботы нейросетей перечитывают robots.txt при следующем обходе, а уже скачанные для обучения тексты запрет не удаляет.
Вопросы

Вопросы о роботах нейросетей

Что такое роботы нейросетей?

Роботы нейросетей — это программы, которые скачивают страницы сайтов для компаний-разработчиков ИИ: для обучения моделей, для поиска ответа в момент вопроса или по просьбе пользователя. Их ещё называют ИИ-краулерами или ИИ-ботами.

Что такое GPTBot?

GPTBot — робот OpenAI, который собирает общедоступные страницы для обучения моделей; User-Agent у него содержит слово «GPTBot/» и номер версии. В поиске ChatGPT GPTBot не участвует: за поиск отвечает OAI-SearchBot. Описание и User-Agent GPTBot опубликованы в документации OpenAI.

Как заблокировать GPTBot в robots.txt?

Чтобы заблокировать GPTBot, добавьте в robots.txt блок «User-agent: GPTBot» и строку «Disallow: /». OAI-SearchBot при этом оставьте открытым отдельным блоком, иначе сайт пропадёт из источников ChatGPT с поиском.

Как разрешить GPTBot?

Разрешить GPTBot в robots.txt просто: достаточно, чтобы в файле не было запрета для него и для всех ботов. Явно разрешить GPTBot можно блоком «User-agent: GPTBot» и строкой «Allow: /».

Какие ещё роботы нейросетей бывают?

Кроме роботов OpenAI, сайты обходят роботы нейросетей Anthropic (ClaudeBot, Claude-SearchBot, Claude-User), Perplexity (PerplexityBot, Perplexity-User), Apple (Applebot-Extended — метка запрета обучения), Common Crawl (CCBot), ByteDance (Bytespider). Google управляет обучением Gemini меткой Google-Extended.

Какие риски у блокировки роботов нейросетей?

Риски у блокировки роботов нейросетей зависят от типа робота: блокировка роботов для обучения почти ничего не меняет в ответах с поиском. Блокировка роботов поиска убирает сайт из источников ChatGPT, Perplexity и Claude: бренд не упомянут со ссылкой, переходов нет.

Каких роботов пускать ради трафика из ответов?

Если нужен трафик из ответов, пускайте роботов нейросетей для поиска и действий пользователя — OAI-SearchBot, ChatGPT-User, Claude-SearchBot и PerplexityBot — а для Алисы AI и AI Overviews YandexBot и Googlebot. Трафик из ответов приходит по ссылкам на источники, а в источники сайт приводят именно эти роботы. Роботов обучения GPTBot, ClaudeBot и Google-Extended можно закрыть: на ответы с поиском это не влияет.

Как проверить, что запрос пришёл от настоящего GPTBot?

То, что запрос пришёл от настоящего GPTBot, подтверждает IP-адрес: OpenAI публикует списки адресов своих роботов в документации. Строку User-Agent подделать легко, поэтому сверяйте IP запроса из логов со списком OpenAI.

Нужно ли открывать роботов нейросетей для Алисы AI?

Отдельного робота нейросети для Алисы AI в robots.txt настраивать не нужно: Алиса AI в поиске берёт источники из индекса Яндекса, который собирает YandexBot. Сайт должен быть открыт для YandexBot и проиндексирован.

Что такое ИИ краулер?

ИИ краулер простыми словами — это робот нейросети, который обходит сайты и скачивает страницы (по-английски AI crawler). В отличие от Googlebot и YandexBot, краулер нейросети собирает тексты для обучения модели или для ответа в чате, а не для обычной поисковой выдачи.

Какой user agent у GPTBot?

User agent GPTBot — строка со словом «GPTBot/» и номером версии и ссылкой +https://openai.com/gptbot. По ней GPTBot находят в логах сервера, а в robots.txt к нему обращаются строкой «User-agent: GPTBot».

Как открыть ИИ ботов в robots.txt?

Чтобы открыть роботов нейросетей (ИИ ботов) в robots.txt, уберите запреты для них и для «User-agent: *» или добавьте отдельный блок с «Allow: /» для каждого бота: OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot. Изменения в robots.txt роботы нейросетей видят не сразу, а при следующем обходе.

Как защититься от ИИ краулеров?

Способы защиты от ИИ краулеров — robots.txt и блокировка на сервере. Честные роботы нейросетей robots.txt соблюдают; тех, кто не соблюдает, блокируют на сервере или в WAF по User-Agent и IP-диапазонам, которые публикуют OpenAI и другие компании.

Называет ли вас Алиса?

Пришлите сайт и 3 вопроса ваших клиентов — прогоню их через Алису AI и ChatGPT и пришлю, что ответили. Бесплатно.

Источники и обновления

Источники

  1. OpenAI — Overview of OpenAI crawlers
  2. Google Search Central — Google's common crawlers (Google-Extended)
  3. Яндекс Вебмастер — роботы Яндекса

История обновлений

  • 27 октября 2026Роботы нейросетей: первая версия по карте GEO и данным SEO Drift 26–27.10.2026

Читать дальше

Вопросы по теме