PerplexityBot и Perplexity-User: как роботы Perplexity читают сайт
У Perplexity два робота. PerplexityBot индексирует сайты для поиска и соблюдает robots.txt; при запрете он не берёт текст страниц, но может сохранить домен, заголовок и краткое описание. Perplexity-User заходит на страницу по запросу пользователя и, по документации, обычно не учитывает robots.txt. Ни тот, ни другой, по словам компании, не собирает тексты для обучения моделей.
Главное
- PerplexityBot нужен для попадания в поиск Perplexity; компания советует его разрешить.
- При запрете PerplexityBot Perplexity может сохранить домен, заголовок и краткое фактическое описание страницы.
- Perplexity-User открывает страницу по запросу пользователя и обычно не учитывает robots.txt.
- Диапазоны адресов обоих роботов опубликованы — по ним сайт открывают в файрволе.
- Изменения в robots.txt Perplexity учитывает в течение 24 часов.
Содержание
Два робота — две задачи
| PerplexityBot | Perplexity-User | |
|---|---|---|
| Для чего | Находит сайты и ставит на них ссылки в поиске Perplexity | Открывает страницу, когда пользователь задаёт вопрос |
| Соблюдает robots.txt | Да | Обычно нет: запрос сделал человек |
| Для обучения моделей | Нет | Нет |
| Адреса | perplexity.com/perplexitybot.json | perplexity.com/perplexity-user.json |
Документация Perplexity описывает оба робота отдельно: каждой настройкой в robots.txt можно управлять независимо, изменения учитываются в течение 24 часов.
Остальные условия попадания в ответы — в руководстве по Perplexity.
Как разрешить или запретить
Чтобы сайт показывался в поиске Perplexity, компания советует разрешить PerplexityBot. Если в robots.txt нет отдельной группы для него и нет общего запрета, робот может сканировать сайт. Запрет выглядит так:
User-agent: PerplexityBot
Disallow: /Что происходит при запрете
По справке, PerplexityBot не будет индексировать полный или частичный текст сайта, который его запретил. Но домен, заголовок и краткое фактическое описание страницы Perplexity может сохранить. То есть сайт не исчезает из Perplexity совсем — он теряет возможность быть полноценным источником ответа.
Наблюдение. Запрет PerplexityBot не убирает компанию из ответов полностью: Perplexity может хранить заголовок и краткое описание, а сведения о бренде возьмёт с других сайтов. Закрывая робота, бизнес теряет контроль над тем, какие источники будут говорить о нём, но не само упоминание.
Сайт за файрволом
Если сайт защищён файрволом, роботы Perplexity могут получать отказ. Документация советует добавить их в исключения по сочетанию двух условий: название робота содержит PerplexityBot или Perplexity-User, и адрес входит в опубликованные диапазоны. Для Cloudflare и AWS даны пошаговые инструкции.
Наблюдение. Документация Perplexity отдельно разбирает настройку Cloudflare — значит, это частая причина, по которой сайты не попадают в его индекс. Защита от ботов может молча блокировать PerplexityBot, и в robots.txt проблемы при этом не видно. Проверять стоит журналы сервера и настройки файрвола.
История с robots.txt
Perplexity в справке сам объясняет, откуда взялись разговоры о несоблюдении правил: раньше пользователь мог попросить пересказать конкретный адрес, даже закрытый в robots.txt. Эту возможность отключили. Компания также пишет, что обновила договоры со сторонними поставщиками индекса, чтобы они тоже соблюдали robots.txt, особенно на сайтах новостных изданий.
Масштаб
По данным Vercel за декабрь 2024 года, PerplexityBot сделал по сети компании около 24 млн запросов за месяц — заметно меньше, чем роботы OpenAI и Anthropic. Это данные одной платформы, а не всего интернета.
Общие технические проверки для нейросетей — в статье «Техническая подготовка сайта к нейросетям».
Как управлять доступом других нейросетей к сайту — в статьях об Алисе AI, Google AI Mode, ChatGPT и Gemini.
Частые вопросы
Использует ли PerplexityBot мой сайт для обучения нейросетей?
По документации и справке Perplexity, нет. PerplexityBot индексирует страницы как поисковик, а Perplexity-User заходит по запросам пользователей; ни один из них не собирает данные для обучения базовых моделей.
Почему пишут, что Perplexity не соблюдает robots.txt?
По справке, раньше пользователь мог попросить пересказать конкретную страницу, даже закрытую в robots.txt. Эту возможность отключили. Сейчас PerplexityBot сканирует только с соблюдением robots.txt, а сторонние поставщики индекса, по словам компании, тоже обязаны его соблюдать.
Как проверить, что PerplexityBot заходит на сайт?
В журналах сервера ищите строку PerplexityBot в названии робота и сверяйте адрес с опубликованным списком perplexitybot.json. Название робота можно подделать, поэтому важна проверка по адресу.
Источники
Об авторе
Основатель и руководитель Флоустата — сервиса аналитики видимости брендов в ответах нейросетей.