Mixture of Experts (MoE): что это за архитектура и какие LLM на ней построены
Mixture of Experts это архитектура, в которой модель на каждом шаге использует только часть своих параметров. Общее число может быть огромным, а активных на токен в разы меньше. Так модели получают ёмкость больших сетей при цене инференса, близкой к компактным.
Содержание
Что такое MoE
MoE расшифровывается как mixture of experts, смесь экспертов. Внутри модели несколько подсетей-экспертов, и маршрутизатор выбирает для каждого токена только несколько из них. Остальные в этом шаге не участвуют.
Смысл в разделении ёмкости и стоимости. Общее число параметров задаёт, сколько модель способна выучить. Активные параметры определяют, сколько вычислений нужно на один токен. MoE позволяет иметь первое большим, а второе умеренным.
Как читать названия
В именах MoE-моделей обычно два числа. Первое: общее количество параметров. Второе: сколько активно на токен. Например, GigaChat 3.5 432B A28B это 432 миллиарда всего при 28 миллиардах активных.
Второе число важнее для практики. Оно определяет скорость ответа и требования к вычислениям. Первое влияет на объём памяти, потому что все эксперты нужно держать загруженными, даже если конкретный запрос их не использует.
Какие модели построены на MoE
Подход стал стандартом для флагманов, потому что позволяет масштабировать качество без пропорционального роста цены. Из моделей каталога на MoE построены GigaChat 3.5 432B A28B, линейка Qwen последних поколений, GLM и Kimi.
Компактные модели часто делают плотными: при небольшом размере экономия от MoE не оправдывает усложнения. Поэтому в младших линейках архитектура обычно классическая.
| Модель | Контекст | Ввод / 1M |
|---|---|---|
| GigaChat 3.5 432B A28B | 262K | 78,87 ₽ |
| Qwen3.8 Max Prime | 1M | 462,55 ₽ |
| GLM 5.3 | 1.0M | 104,91 ₽ |
Плюсы и минусы
Плюс первый: качество флагмана при меньшей цене за токен. Плюс второй: маршрутизация позволяет модели специализироваться, разные эксперты берут разные типы задач. Плюс третий: масштабирование качества без пропорционального роста вычислений.
Минус первый: память. Все эксперты должны быть доступны, поэтому требования к видеопамяти определяются общим числом параметров. Минус второй: сложность обучения, маршрутизатор легко разбалансировать. Минус третий: непредсказуемость, качество может скакать в зависимости от того, какие эксперты выбраны.
Что это значит для выбора
Не сравнивайте модели по общему числу параметров. MoE с 400 миллиардами всего и 30 активных может работать быстрее и дешевле, чем плотная модель на 70 миллиардов, при сопоставимом качестве.
Смотрите на цену за миллион токенов и на результат на ваших задачах. Архитектура объясняет, почему модель ведёт себя определённым образом, но не заменяет тест.
Модели с ценами собраны в каталоге, а разбор линейки Sber есть в статье про GigaChat.
Частые вопросы
Что такое MoE простыми словами?
Это архитектура, в которой на каждый токен работает несколько выбранных экспертов из многих, а не вся сеть. Общее число параметров может быть огромным, активных на токен в разы меньше. Так модель получает ёмкость большой сети при умеренных вычислениях. Пример из каталога LLM Mart: GigaChat 3.5 432B A28B.
Почему у MoE-модели два числа параметров?
Первое число это общий объём модели, второе сколько параметров активно на каждый токен. Например, 432B A28B означает 432 миллиарда всего и 28 миллиардов активных. Второе число определяет скорость и вычисления, первое влияет на объём памяти. Цены и состав моделей видны в каталоге LLM Mart.
MoE лучше плотной модели?
Не всегда, но часто выгоднее по цене за токен при сопоставимом качестве. MoE требует больше памяти, зато вычислений на токен меньше. Сравнивать стоит не по числу параметров, а по результату на своих задачах и по цене за миллион токенов в каталоге LLM Mart. Компактные модели чаще делают плотными.
Какие модели каталога построены на MoE?
Из заметных: GigaChat 3.5 432B A28B от Sber, флагманы Qwen последних поколений, модели GLM от Z.ai и линейка Kimi. У большинства в названии или описании указаны оба числа параметров. Точный состав архитектуры стоит смотреть в карточке модели, а тестировать на своих примерах.
Влияет ли MoE на цену вызова?
Да, и в выгодную сторону: вычисления зависят от активных параметров, а не от общего числа, поэтому цена за токен у MoE-флагмана часто ниже, чем у плотной модели того же класса. Но провайдеру нужна память под всех экспертов, что влияет на доступность. Итоговые цены видны в каталоге LLM Mart.
Комментарии 0