Mixture of Experts

Как это работает

Обычная языковая модель задействует все параметры на каждое слово. В MoE специальный «маршрутизатор» для каждого токена выбирает несколько экспертов из сотен, и считают только они. Остальные в этот момент не работают.

Поэтому в описаниях моделей пишут два числа. «Всего» — сколько знаний вмещает модель. «Активных» — сколько вычислений она делает на каждый токен, от этого зависят скорость и цена ответа.

Примеры из официальных данных

На этой архитектуре построены флагманские модели Яндекса, Сбера и DeepSeek: так компании держат большую модель и при этом отвечают миллионам пользователей.

Почему это важно бизнесу

Напрямую архитектура на видимость бренда не влияет. Но она объясняет, почему быстрые ответы в поиске стали возможны по огромному числу запросов: Яндекс, например, сделал для них облегчённую модель с очень малым числом активных параметров. Чем дешевле ответ, тем больше вопросов поисковик отдаёт нейросети — и тем важнее присутствие сайта в её источниках.

Пример

В новостях пишут: «модель на 432 млрд параметров». Это не значит, что она в десять раз медленнее модели на 40 млрд. Если у неё 28 млрд активных, по скорости и цене ответа она ближе ко второй, а по объёму знаний — к первой.

Подробнее — в статьях «Модели GigaChat: Ultra, Lightning и что работает в ГигаЧате» и «Модели DeepSeek: от V3 и R1 до V4-Pro и V4.1 Flash».

Частые ошибки

• Сравнивать модели только по общему числу параметров.
• Считать, что более крупная модель обязательно лучше знает ваш бренд: знания о компании зависят от данных и поиска, а не от размера.