Mixtral 8×7B

Разреженная смесь экспертов с открытыми весами: на каждый токен работает только часть параметров.

Источники