Контекстное окно

Определение

Контекстное окно — максимальный объём текста в токенах, который языковая модель может учитывать одновременно: вопрос пользователя, историю диалога, найденные в поиске страницы и сам ответ. Всё, что не помещается в окно, модель просто не видит. Размер окна у современных моделей разный и постоянно растёт.

Как это работает

Когда нейросеть ищет ответ в интернете, она не загружает страницы целиком в «память». Система выбирает фрагменты, которые больше всего похожи на вопрос, и кладёт их в контекстное окно вместе с запросом. Модель пишет ответ только по тому, что попало в окно, остальное для неё не существует.

Размер окна измеряется в токенах. У современных моделей окна большие, но в них помещается всё сразу: инструкции системы, история диалога, найденные фрагменты из разных источников и сам ответ. Поэтому от каждой страницы в окно обычно попадает лишь небольшая часть.

Что это значит для контента

  • Каждый важный факт должен быть понятен сам по себе. Фраза «как мы говорили выше, это решает проблему» без контекста теряет смысл.
  • Ответ — в начале раздела. Фрагмент с ответом в первом предложении выигрывает у фрагмента, где суть спрятана в конце.
  • Короткие абзацы и подзаголовки-вопросы облегчают выбор нужного фрагмента.
  • Таблицы и списки компактно передают много информации, и их удобно взять в ответ.

Пример

Было: «Многие спрашивают, сколько стоит наш сервис. Ответ зависит от многих факторов, о которых мы расскажем ниже». Стало: «Флоустат стоит 2 ₽ за обход — один запрос к одной нейросети. Подписки нет, оплата по факту». Второй фрагмент можно положить в контекстное окно и сразу ответить пользователю.

Типичная ошибка

Считать, что раз окно большое, нейросеть прочитает всю страницу. На практике система экономит место и берёт фрагменты из нескольких источников — побеждают точные и самодостаточные.

Подробнее — в статье «Модели DeepSeek: от V3 и R1 до V4-Pro и V4.1 Flash».

Упоминается в статьях