OAI-SearchBot, GPTBot и ChatGPT-User: роботы OpenAI и robots.txt

Четыре робота — четыре задачи

Для каждого робота OpenAI публикует список IP-адресов: searchbot.json, gptbot.json, chatgpt-user.json и adsbot.json. По ним можно отличить настоящего робота от подделки.

Остальные условия попадания в ответы — в руководстве по ChatGPT.

OAI-SearchBot: поиск

По документации OpenAI, OAI-SearchBot нужен, чтобы показывать сайты в результатах поиска ChatGPT. Сайты, которые закрыты для него, в ответах с поиском не показываются, хотя адрес может появиться как обычная ссылка для перехода. OpenAI рекомендует разрешить этого робота в robots.txt и пропускать запросы с его адресов. Изменения в robots.txt поиск учитывает примерно за 24 часа.

Когда робот запрашивает сам файл robots.txt, OpenAI может добавлять в строку агента пометку «robots.txt» — так в журналах сервера проще отличить такие запросы от обхода страниц.

GPTBot: обучение

GPTBot собирает общедоступные страницы, которые могут использоваться для обучения базовых моделей OpenAI. Запрет GPTBot означает, что тексты сайта не должны идти на обучение. На поиск ChatGPT это не влияет.

Наблюдение. Документация OpenAI прямо разделяет две цели: OAI-SearchBot — чтобы сайт показывали в ответах сейчас, GPTBot — чтобы модель знала о нём в будущем. Закрыв GPTBot, компания сохраняет ссылки в ответах с поиском, но лишает следующие модели свежих знаний о себе. Для бизнеса, которому важно, чтобы ChatGPT называл его и без поиска, разумнее оставить открытыми оба.

ChatGPT-User: действия пользователя

Этот агент заходит на страницу, когда пользователь просит ChatGPT открыть ссылку, или когда пользовательский GPT обращается к внешнему сервису. Сайты он автоматически не обходит. По документации, раз действие инициирует человек, правила robots.txt могут не применяться. Решение о показе сайта в поиске ChatGPT-User не принимает — для этого есть OAI-SearchBot.

Примеры robots.txt

Открыть сайт для поиска ChatGPT и закрыть от обучения:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

Открыть для обоих:

User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Allow: /

Наблюдение. OpenAI пишет, что при открытом доступе для обоих роботов может использовать результат одного обхода для обеих целей, чтобы не нагружать сайт дважды. Поэтому, если в журналах вы видите только GPTBot, это не значит, что сайт выпал из поиска. Но если OAI-SearchBot закрыт, страницы в ответах с поиском не появятся.

Как проверить настройки

1. Откройте ваш-сайт.ру/robots.txt и найдите группы для OAI-SearchBot и GPTBot. Если отдельных групп для них нет, по стандарту robots.txt действуют правила общей группы User-agent: *: строка Disallow: / в ней закроет сайт и для роботов OpenAI.
2. Проверьте защиту от ботов у хостинга или в CDN: адреса из searchbot.json должны проходить.
3. Посмотрите журналы сервера: есть ли успешные запросы OAI-SearchBot.

Что делать после того, как роботы получили доступ, — в статье «Как попасть в ответы ChatGPT».

Как управлять доступом других нейросетей к сайту — в статьях об Алисе AI, Google AI Mode, Perplexity и Gemini. Общий чек-лист — в статье «Техническая подготовка сайта к нейросетям».