YandexAdditional
YandexAdditional и YandexAdditionalBot — роботы Яндекса, которые обрабатывают robots.txt, чтобы содержимое страниц не появлялось в ответах Алисы AI, если владелец сайта это запретил. Сами они страницы не индексируют и работают только с теми, что уже обошёл основной робот. Общие правила для всех роботов они не учитывают.
Как это работает
У Яндекса много роботов. Главный — YandexBot — индексирует страницы для поиска. Для ответов Алисы AI Яндекс выделил отдельных: YandexAdditional и YandexAdditionalBot. По справке Яндекса, они нужны, чтобы обработать robots.txt и не допустить содержимое страниц в ответы Алисы, если на это есть запрет.
На деле это переключатель: нет запрета — страница может стать источником ответа, если пройдёт отбор по качеству и позициям; есть запрет — не станет, но в обычной выдаче останется.
Главная ловушка
Яндекс отдельно оговаривает: эти роботы не учитывают правила для всех роботов (User-agent: *). Отсюда две ошибки:
| Ситуация | Что думает владелец | Что на деле |
|---|---|---|
User-agent: * с запретом раздела |
Раздел закрыт для всех | Для Алисы AI раздел не закрыт |
Забытая группа User-agent: YandexAdditional с Disallow: / |
Сайт открыт | Сайт не попадает в ответы Алисы |
Как закрыть сайт или раздел
User-agent: YandexAdditional
Disallow: /Изменения учитываются, по словам Яндекса, за 2–14 дней.
Пример
Компания не понимает, почему при первом месте в Яндексе её сайт никогда не появляется в ответах Алисы. В robots.txt находится группа User-agent: YandexAdditional с полным запретом — её «на всякий случай» поставил прошлый подрядчик вместе с запретами для роботов других нейросетей. После удаления группы сайт через пару недель начинает появляться в отчёте «Видимость сайта в Алисе AI».
Как это применить на практике — в статье «YandexAdditional: как открыть или закрыть сайт для ответов Алисы AI».
Частые ошибки
- Закрывать YandexAdditional вместе с роботами других нейросетей, не понимая, что это отказ от ответов Алисы.
- Рассчитывать, что правило
User-agent: *закроет страницы и от Алисы. - Проверять только robots.txt и забывать, что YandexAdditional работает лишь со страницами, которые уже проиндексировал основной робот.