Baidu: ERNIE 4.5 VL 424B A47B

ERNIE-4.5-VL-424B-A47B — это мультимодальная модель с архитектурой «смесь экспертов» (MoE) из серии ERNIE 4.5 от Baidu, имеющая 424B всего параметров и 47B активных на каждый токен. Модель обучается совместно на текстовых и графических данных с использованием гетерогенной архитектуры MoE и изолированной маршрутизации по модальностям, что обеспечивает высокоточные межмодальные рассуждения, понимание изображений и генерацию длинного контекста (до 131k токенов). Благодаря тонкой настройке с такими методами, как SFT, DPO, UPO и RLVR, модель поддерживает как режимы «размышления», так и режимы без размышлений. Предназначенная для задач зрения и языка на английском и китайском, модель оптимизирована для эффективного масштабирования и может работать с квантованием в 4-бит и 8-бит.