Поисковый робот

Михаил АдамовОснователь и руководитель Флоустата

Опубликовано 19 октября 2026

Определение

Поисковый робот (краулер, бот) — программа поисковой системы, которая автоматически переходит по ссылкам, скачивает страницы сайтов и передаёт их на индексацию. У Яндекса это YandexBot, у Google — Googlebot. Роботы нейросетей устроены похоже, но собирают данные для обучения моделей и ответов ассистентов.

Кто ходит по сайтам

Робот	Чей	Для чего
YandexBot	Яндекс	Индексация для поиска
YandexAdditional	Яндекс	Использование страниц в ответах Алисы AI
Googlebot	Google	Индексация для поиска, включая AI Overviews и AI Mode
OAI-SearchBot	OpenAI	Отбор сайтов для поиска ChatGPT
PerplexityBot	Perplexity	Собственный индекс Perplexity

Роботы для обучения моделей — GPTBot, ClaudeBot, правило Google-Extended — это отдельная история: о них в термине «Поисковый робот нейросети».

Как робот находит страницы

Робот переходит по ссылкам с уже известных страниц, читает карту сайта и сигналы вроде IndexNow. Перед обходом он проверяет robots.txt: там владелец сайта разрешает или запрещает доступ отдельным роботам. Многие роботы, в том числе роботы OpenAI по данным исследования Vercel, не выполняют JavaScript, поэтому главный текст страницы должен быть в исходном HTML.

Как отличить настоящего робота

Строку агента легко подделать. Поэтому компании публикуют способы проверки: Яндекс и Google — обратный DNS-запрос, OpenAI, Perplexity и Anthropic — списки IP-адресов своих роботов.

Пример

Владелец интернет-магазина видит в журналах сервера тысячи запросов от «Googlebot» в час и закрывает его в защите от ботов. Проверка по DNS показывает, что настоящий Googlebot был только среди немногих запросов, а остальное — подделка. Правильнее было блокировать по проверке адреса, а не по названию.

Подробнее — в статье «Техническая подготовка сайта к нейросетям».

Частые ошибки

Блокировать роботов по строке агента, не проверяя адрес.
Оставлять на рабочем сайте Disallow: / из тестовой версии.
Прятать цены и описания в скриптах, которые робот не выполняет.