MiniMax: MiniMax-01

МиниМакс-01 представляет собой сочетание МиниМакс-Текст-01 для генерации текста и МиниМакс-ВЛ-01 для распознавания изображений. Он имеет 456 миллиардов параметров, из которых 45,9 миллиардов параметров активируются на каждый вывод, и может обрабатывать контекст до 4 миллионов токенов. Текстовая модель использует гибридную архитектуру, сочетающую в себе Lightning Attention, Softmax Attention и Mixture of Experts (MoE). Модель изображения использует структуру «ViT-MLP-LLM» и обучается поверх текстовой модели. Чтобы узнать больше о выпуске, см.: https://www.minimaxi.com/en/news/minimax-01-series-2Открывается в новой вкладке.