Baidu: ERNIE 4.5 VL 424B A47B

ERNIE-4.5-VL-424B-A47B — это мультимодальная модель Mixture-of-Experts (MoE) из серии ERNIE 4.5 от Baidu, имеющая 424B общих параметров и 47B активных на каждый токен. Он обучается совместно на текстовых и графических данных с использованием гетерогенной архитектуры MoE и модально-изолированной маршрутизации, что обеспечивает высокоточные кросс-модальные рассуждения, понимание изображений и генерацию длинного контекста (до 131 тыс. токенов). Эта модель, усовершенствованная с помощью таких методов, как SFT, DPO, UPO и RLVR, поддерживает как «думающий», так и немыслящий режимы вывода. Разработанный для решения задач визуального языка на английском и китайском языках, он оптимизирован для эффективного масштабирования и может работать с 4-битным/8-битным квантованием.