Liquid AI выпустила модель на 8 миллиардов параметров, которая использует лишь полтора

Цифры выглядят как опечатка: 8 миллиардов параметров в архитектуре, но на каждый запрос активируется только 1,5 миллиарда. Окно контекста — 128 тысяч токенов. Обучена на 38 триллионах токенов, втрое больше предыдущей версии. Словарь удвоен до 128 тысяч. Модель работает на обычном ноутбуке. LFM2.5-8B-A1B от Liquid AI — это Mixture-of-Experts, где эксперты действительно специализированы, а не просто разбиты на группы.

Скачки бенчмарков впечатляют даже скептиков: показатель Non-Hallucination Rate на AA-Omniscience вырос с 7,46 до 63,47 — почти девятикратный прирост. IFEval подпрыгнул с 79 до 92, MATH500 — с 75 до 89. Это не просто «стало лучше» — это переход в другую весовую категорию.

Один разработчик скормил модели длинную расшифровку интервью и попросил сделать саммари — результат назвал феноменальным для модели такого размера. Но другой инженер провёл более жёсткий тест на реальных багах в коде. Двухлетняя Qwen2.5-Coder-3B, модель вдвое меньше, исправила около 50% багов, а LFM2.5 — значительно меньше. Бенчмарки и реальный код, как обычно, рассказывают разные истории.

Исследователь машинного обучения поднял вопрос, который Liquid, вероятно, не хотела бы обсуждать: 38 триллионов токенов для модели на 8 миллиардов параметров — это, похоже, серьёзный перетрен. Chinchilla scaling laws давно нарушены, но такое соотношение выглядит экстремальным даже по нынешним меркам.

Ещё одна деталь, от которой хочется плакать и смеяться одновременно: модель работает только в режиме reasoning, генерируя цепочку рассуждений перед каждым ответом. Когда ей задали тривиальный вопрос про грязную машину и автомойку, она выдала развёрнутый мыслительный процесс для задачи, с которой справился бы трёхлетний ребёнок. А на вопрос «кто тебя создал?» уверенно ответила: Google. Маленькие модели становятся пугающе умными — но пока ещё не знают, кто они такие.