Mixtral содержит несколько экспертных блоков, но маршрутизатор активирует только два на каждом слое и токене. Это увеличивает общую ёмкость модели без пропорциональной цены вывода; открытые веса и Apache 2.0 позволили исследователям и компаниям разворачивать и дообучать систему самостоятельно.
Источник 1: Mistral AI · техническое описаниеИсточник 2: Mistral AI · карточка моделиMixtral 8×7B
О событииРазреженная смесь экспертов с открытыми весами: на каждый токен работает только часть параметров.