Техническая подготовка сайта к нейросетям: что проверить

Зачем GEO техническая часть

Можно написать идеальный текст и получить десятки упоминаний на сторонних площадках, но потерять половину эффекта из-за одной строчки в настройках сервера. Если робот нейросети не может открыть страницу или видит её пустой, страница не станет источником ответа.

Ниже — шесть проверок, которые стоит пройти до работы с контентом.

Техническая подготовка — первый из этапов, описанных в полном руководстве по GEO.

1. robots.txt: не закрыты ли роботы нейросетей

robots.txt — файл в корне сайта, в котором владелец указывает, каким роботам какие разделы можно обходить. У каждой крупной компании, разрабатывающей нейросети, свои роботы:

Что проверить:

• нет ли общего запрета Disallow: / для всех роботов (User-agent: *);
• не запрещены ли отдельно нужные вам роботы нейросетей;
• открыты ли страницы, которые должны попадать в ответы: услуги, цены, статьи, частые вопросы.

2. Защита от ботов: не блокирует ли она нейросети

Это частая и незаметная проблема. Сервисы защиты от DDoS и «плохих ботов», брандмауэры хостинга и CDN могут отсекать роботов нейросетей как подозрительный трафик. В robots.txt всё разрешено, а на деле робот получает ошибку или страницу с капчей.

Как проверить:

• посмотрите журналы сервера: заходят ли туда GPTBot, ClaudeBot, PerplexityBot и с какими кодами ответа;
• проверьте настройки защиты: нет ли правил, которые блокируют неизвестных ботов или целые страны;
• после атак и включения усиленной защиты проверьте доступ ещё раз: правила могли остаться.

3. JavaScript: видят ли роботы текст

Многие современные сайты собирают страницу в браузере с помощью JavaScript. Человек видит нормальную страницу, а в исходном HTML, который получает робот, почти ничего нет.

Исследование Vercel, где за месяц проанализировали почти миллиард запросов роботов нейросетей, показало: ни один из основных роботов — GPTBot, OAI-SearchBot и ChatGPT-User от OpenAI, ClaudeBot от Anthropic, PerplexityBot и другие — не выполняет JavaScript. Они скачивают скрипты, но не запускают их. Исключения — роботы, использующие инфраструктуру Google и Apple.

Как проверить:

1. Откройте страницу и посмотрите её исходный код — в браузере это обычно «Просмотр кода страницы», а не «Исследовать элемент».
2. Найдите в нём основной текст: заголовок, описание услуги, цены.
3. Если текста нет, а есть только пустые блоки и скрипты — роботы нейросетей видят пустую страницу.

Как исправить: использовать серверный рендеринг или статическую генерацию страниц, чтобы весь основной текст был в HTML сразу. Особенно важно для цен, характеристик и отзывов, которые часто подгружаются скриптами.

4. Индексация в поисковиках

Нейросетевые ответы поисковиков строятся на их индексе. Google в документации для владельцев сайтов прямо пишет: чтобы страница могла стать источником ИИ-ответа, она должна быть проиндексирована и пригодна для показа в поиске. Отдельных технических требований для ИИ-функций нет.

Что проверить в Яндекс Вебмастере и Google Search Console:

• важные страницы есть в индексе;
• нет массовых ошибок обхода;
• карта сайта отправлена и актуальна;
• нет случайных noindex на нужных страницах.

Чтобы новые и обновлённые страницы быстрее попадали в индекс, подключите IndexNow — протокол, по которому сайт сам сообщает поисковикам об изменениях. Его поддерживают Яндекс и Bing.

5. Микроразметка: понятны ли данные о компании

Микроразметка Schema.org описывает содержимое страницы на понятном машинам языке. Она не гарантирует попадания в ответ, но убирает двусмысленность: системе не нужно догадываться, где цена, кто автор и как называется компания.

Минимальный набор:

• Organization на всём сайте — название, логотип, контакты, реквизиты, официальные профили;
• Article или BlogPosting в статьях — автор, даты публикации и обновления;
• FAQPage для блоков частых вопросов;
• Product или Service для товаров и услуг с ценами;
• BreadcrumbList для структуры сайта.

6. llms.txt: краткая справка для нейросетей

llms.txt — текстовый файл в корне сайта, который в сжатом виде описывает сайт для языковых моделей: кто вы, что предлагаете, ключевые страницы. Формат предложен в 2024 году как добровольная инициатива. Это не стандарт, и не все системы его читают, но файл делается за час и помогает тем, кто его использует.

Что включить:

• одну-две фразы о компании;
• основные продукты или услуги с ценами;
• ссылки на ключевые страницы с короткими описаниями;
• ссылку на расширенную версию с полными текстами (llms-full.txt).

Сводный чек-лист

После технической подготовки можно переходить к контенту: как его писать, чтобы нейросети охотно его цитировали, — в статье «Как писать контент, который цитируют нейросети».

Подробно о правилах отдельных нейросетей — в статьях о YandexAdditional, роботах Perplexity, настройках Google для AI Mode и роботах OpenAI.

Полный список проверок, включая контент и упоминания, — в чек-листе GEO-аудита.