Генерация картинок на iPhone за 9 секунд: модель весит меньше гигабайта

PrismML сжал FLUX.2 Klein 4B до 1-битных весов — бинарные {-1, +1} с FP16 групповым масштабированием, итого 1.125 эффективных бит на вес. Результат: 0.93 ГБ вместо 7.7 ГБ оригинала (8.3x сжатие), с сохранением 88% качества по их бенчмаркам. На iPhone 17 Pro Max — 512×512 изображение за 9.4 секунды. Модель под Apache 2.0.

Автор Draw Things — приложения для генерации на Apple Silicon — возразил: FLUX.2 Klein 4B уже работает на iPhone с 8-бит и 6-бит квантизацией. «Первый в своём классе на iPhone» — маркетинговая формулировка, если не требовать конкретно 1-бит. Другие подтвердили: Stable Diffusion XL (3.5B параметров) запускается на iPhone 13 Pro.

Практический вопрос из треда: «Решает ли это реальную проблему?» Узкое место генерации — время, а не память. Модели и так помещаются на GPU с 8–12 ГБ. Ответ: 1-бит важен не для десктопов, а для устройств без дискретного GPU, где каждый мегабайт bandwidth — дефицит.

Один разработчик уже вытащил код из веб-демо и интегрировал в свой инструмент для AI-пайплайнов в браузере. Работает.

Генерация картинок перешла из «нужен сервер» в «работает в кармане» за два года. Когда модель помещается в один гигабайт с Apache-лицензией, вопрос перестаёт быть техническим и становится этическим — и это тот разговор, который тред аккуратно обходит.