Обучающие данные
Обучающие данные — массив текстов, на которых языковая модель училась до выпуска: веб-страницы, книги, статьи, форумы, справочники. Из них модель усваивает факты, связи между понятиями и представления о брендах. То, о чём много и согласованно писали в открытых источниках, модель «знает» даже без поиска в интернете.
Откуда берутся данные
Разработчики описывают источники по-разному, но схема похожа:
| Компания | Что пишет официально |
|---|---|
| OpenAI | Общедоступные страницы интернета, данные партнёров, материалы пользователей, разметчиков и исследователей, а также синтетические данные; спам и сайты за платным доступом отфильтровываются |
| DeepSeek | Общедоступная информация из интернета и лицензированные наборы данных; фильтрация спама и персональных данных |
| Perplexity | Базовых моделей не обучает, поэтому контент сайтов на предобучение не идёт |
Как сайт может участвовать или отказаться
Отказ задаётся в robots.txt: GPTBot у OpenAI, ClaudeBot у Anthropic, правило Google-Extended у Google. Такой запрет касается обучения, а не поиска: сайт может по-прежнему попадать в ответы с поиском, если открыты поисковые роботы — OAI-SearchBot, Googlebot, Claude-SearchBot.
Почему это важно для бренда
Без поиска модель отвечает только по тому, что усвоила при обучении. Если о компании мало независимых публикаций, модель её «не знает» или путает с похожими. Обучающие данные обновляются вместе с выходом новых моделей, поэтому присутствие в открытом интернете работает на следующие поколения.
Пример
Молодой сервис спрашивает DeepSeek без поиска «что такое [бренд]» и получает описание другой компании с похожим названием. В открытом интернете о сервисе почти ничего нет. Публикации в отраслевых СМИ и карточки в справочниках с одинаковым описанием — задел на следующие версии модели.
Подробнее — в статьях «Откуда нейросети берут информацию о компаниях» и «Открытые веса DeepSeek».
Частые ошибки
- Закрывать всех роботов нейросетей, когда нужно отказаться только от обучения.
- Ждать, что исправление на сайте сразу изменит ответ модели без поиска.
- Покупать массовые публикации-однодневки: разработчики фильтруют спам.