robots.txt

Михаил АдамовОснователь и руководитель Флоустата

Опубликовано 9 октября 2026

Определение

robots.txt — служебный файл в корне сайта, в котором владелец указывает, какие разделы можно обходить поисковым роботам и роботам нейросетей. Через него можно разрешить или запретить доступ отдельным ботам, например GPTBot или PerplexityBot. Ошибка в robots.txt может убрать сайт из ответов нейросетей.

Как это связано с GEO

Если робот нейросети не может прочитать страницу, она не станет источником ответа. Многие сайты закрывают роботов нейросетей по умолчанию или случайно — через общие запреты, шаблонные настройки CMS или защиту от ботов.

Как устроен файл

Файл состоит из блоков: для какого робота правило (User-agent) и что ему запрещено (Disallow) или разрешено (Allow). Например, правило User-agent: GPTBot и Disallow: / закрывает весь сайт для робота OpenAI, который собирает данные для обучения. Там же указывают адрес карты сайта.

Основные роботы нейросетей

Компания	Роботы
OpenAI	GPTBot, OAI-SearchBot, ChatGPT-User
Anthropic	ClaudeBot, Claude-SearchBot, Claude-User
Perplexity	PerplexityBot, Perplexity-User
Google	Googlebot; директива Google-Extended — для обучения Gemini
Яндекс	YandexBot

Что проверить

Нет ли общего запрета Disallow: / для всех роботов.
Не закрыты ли отдельно нужные роботы нейросетей.
Открыт ли доступ к важным страницам: услугам, ценам, статьям.
Не блокирует ли роботов защита сервера: robots.txt — лишь просьба, а защита от ботов может отказать роботу, даже если файл разрешает доступ.

Важная тонкость

robots.txt управляет обходом, а не показом в поиске. Чтобы убрать страницу из выдачи, используют noindex, и страница при этом должна быть открыта для обхода — иначе робот не увидит запрет.

Пример

Интернет-магазин много лет назад закрыл в robots.txt «всех неизвестных ботов», чтобы снизить нагрузку. С появлением нейросетей это правило закрыло и их роботов. Магазин не попадал в ответы ассистентов, пока правило не исправили.

Как это применить на практике — в статьях «Техническая подготовка сайта к нейросетям: что проверить» и «YandexAdditional: как открыть или закрыть сайт для ответов Алисы AI».