Google-Extended

Определение

Google-Extended — отдельный токен для robots.txt. Через него владелец сайта решает, можно ли использовать контент для обучения будущих моделей Gemini и для ответов приложения Gemini и сервиса Vertex AI. Google подчёркивает: на попадание сайта в Google Поиск, включая AI Overviews и AI Mode, он не влияет и не служит сигналом ранжирования.

Как устроен

У Google-Extended нет своего робота: сканирование идёт обычными роботами Google, а токен в robots.txt работает как переключатель разрешений. По документации Google, он управляет двумя вещами:

  1. можно ли использовать контент сайта для обучения будущих поколений моделей Gemini;
  2. можно ли опираться на него в ответах приложения Gemini и в сервисе Vertex AI.
User-agent: Google-Extended
Disallow: /

Чего Google-Extended не делает

Самое частое заблуждение — что этим токеном можно убрать сайт из ИИ-ответов Google Поиска. Это не так:

Инструмент На что влияет
Google-Extended Обучение Gemini, приложение Gemini, Vertex AI
Параметр генеративного ИИ в Search Console Показ сайта в AI Overviews и AI Mode
nosnippet, max-snippet Какой текст страницы можно показывать в Поиске и использовать в ИИ-ответах
noindex Страница исчезает из Поиска целиком

И наоборот: исключение сайта из ИИ-функций в Search Console не запрещает обучение моделей — для этого Google отсылает к Google-Extended.

Как применять

  • Если цель — попадать в ИИ-ответы Google, Google-Extended можно не трогать: на Поиск он не влияет.
  • Если компания не хочет, чтобы её тексты шли на обучение Gemini, закрывайте Google-Extended — позиции в Поиске это не изменит.

Пример

Издательство закрывает Google-Extended, чтобы его статьи не использовались для обучения моделей. Через месяц оно видит в Search Console, что показы в обзорах от ИИ не изменились: сайт остался в источниках, потому что AI Overviews — часть Поиска.

Подробнее — в статьях «Как управлять показом сайта в AI Mode: настройки Google» и «Google-Extended, Google-Agent и robots.txt: роботы Gemini».

Частые ошибки

  • Закрывать Google-Extended в надежде убрать сайт из AI Mode.
  • Считать, что закрытие Google-Extended ухудшит позиции в Поиске — Google прямо пишет, что это не сигнал ранжирования.

Упоминается в статьях