Noindex
Noindex — указание поисковым системам не показывать страницу в результатах поиска. Задаётся метатегом robots в коде страницы или HTTP-заголовком X-Robots-Tag. Используется для служебных, дублирующих и юридических страниц, которые не должны быть в выдаче, но могут быть доступны пользователям.
Как задать noindex
| Способ | Пример |
|---|---|
| Метатег в коде страницы | <meta name="robots" content="noindex, follow"> |
| HTTP-заголовок | X-Robots-Tag: noindex — подходит и для PDF |
Значение follow разрешает роботу переходить по ссылкам со страницы, хотя саму её в выдаче не будет.
Noindex и нейросети
Google пишет, что noindex убирает страницу из Поиска целиком, а значит, и из AI Overviews и AI Mode. Ответы Алисы AI в Яндексе опираются на результаты поиска, поэтому страница вне индекса в них тоже не попадёт. Чтобы убрать сайт только из ИИ-ответов и оставить в обычной выдаче, есть отдельные инструменты: «Параметр генеративного ИИ» в Search Console и запрет для робота YandexAdditional.
Главная ловушка: robots.txt
Робот видит noindex, только если может открыть страницу. Если адрес закрыт в robots.txt, робот не прочитает метатег и может оставить адрес в выдаче по внешним ссылкам. Поэтому страницы, которые нужно убрать из поиска, в robots.txt не закрывают.
Пример
На сайте Флоустата юридические документы — пользовательское соглашение, политика конфиденциальности — закрыты метатегом noindex, follow, исключены из карты сайта, но открыты в robots.txt. Так поисковики видят запрет и не показывают документы в выдаче, а пользователи по-прежнему открывают их по ссылкам.
Подробнее — в статьях «Как управлять показом сайта в AI Mode» и «YandexAdditional: как открыть или закрыть сайт для ответов Алисы AI».
Частые ошибки
- Оставить noindex с тестовой версии на рабочем сайте.
- Закрыть страницу в robots.txt вместо noindex.
- Ставить noindex, чтобы убрать сайт только из ИИ-ответов: он уберёт его и из обычного поиска.