Google-Extended, Google-Agent и robots.txt: роботы Gemini

Как Google собирает страницы для Gemini

У ChatGPT и Perplexity свои поисковые роботы. У ассистента Gemini такого робота нет: страницы собирают обычные роботы Google, а для ответов Gemini берёт их из поискового индекса. Поэтому роботов, которые касаются Gemini, три, и они очень разные:

Что делать с сайтом, кроме настройки роботов, — в руководстве по Gemini.

Google-Extended

По документации Search Central, Google-Extended — отдельный токен продукта в robots.txt. Через него владелец сайта решает, можно ли использовать собранные Google страницы:

1. для обучения будущих поколений моделей Gemini, на которых работают приложение Gemini и Vertex AI;
2. для заземления — передачи страниц из индекса Google модели в момент запроса — в приложении Gemini и в сервисе Grounding with Google Search на Vertex AI.

Своего робота у Google-Extended нет, поэтому в логах сервера его не найти. Запрет выглядит так:

User-agent: Google-Extended
Disallow: /

Google подчёркивает: Google-Extended не влияет на попадание сайта в Google Поиск и не служит сигналом ранжирования. ИИ-ответы Поиска — AI Mode и обзоры от ИИ — тоже им не управляются: для них есть свои настройки, о которых статья «Как управлять показом сайта в AI Mode». Подробно о токене — в глоссарии: Google-Extended.

Наблюдение. В карточке Gemini 4 Argon Google пишет, что при подготовке данных для обучения соблюдает robots.txt. Значит, запрет Google-Extended работает на будущее: модели, которые уже обучены, сайт из памяти не забудут, но новые поколения на нём учиться не будут.

Google-Agent

Google-Agent — подпись агентов, которые работают на инфраструктуре Google, ходят по сайтам и выполняют действия по просьбе пользователя. Такой запрос приходит, когда пользователь поручает агенту задачу на сайте. Адреса таких агентов Google публикует в файле user-triggered-agents.json. Отдельно Google тестирует протокол Web Bot Auth: агент подтверждает, что он от Google, цифровой подписью с идентификатором agent.bot.goog.

Если защита сайта от ботов блокирует Google-Agent, агент Gemini не сможет выполнить задачу пользователя на вашем сайте и пойдёт к конкуренту.

Google-GeminiNotebook

Gemini Notebook — сервис Google для работы с собственными источниками. Его робот Google-GeminiNotebook загружает отдельные страницы, которые пользователь сам добавил в проект. До августа 2026 года он назывался Google-NotebookLM; старая подпись поддерживалась до этого срока.

Почему не всё подчиняется robots.txt

В документации Google прямо сказано: раз запрос сделан по просьбе пользователя, такие роботы обычно не подчиняются правилам robots.txt. Это касается Google-Agent и Google-GeminiNotebook. Закрыть сайт от них можно только на уровне сервера — по IP-адресам из опубликованных списков. Но тогда сайт перестанет работать для тех, кто пришёл к нему через Gemini.

Что проверить

1. robots.txt. Есть ли группа для Google-Extended и что в ней запрещено.
2. Защита от ботов. Не блокирует ли хостинг или CDN адреса агентов Google.
3. Логи сервера. Есть ли запросы с подписями Google-Agent и Google-GeminiNotebook: так видно, что пользователи Gemini уже заходят на сайт через ассистента.

Как измерять результат — в статье «Как измерить видимость бренда в Gemini».

Как устроены роботы других нейросетей — в статьях о YandexAdditional, Perplexity и ChatGPT. Общие правила для роботов нейросетей — в статье «Техническая подготовка сайта к нейросетям».