💵 GFusion: как мы обучали диффузионную LLM в GigaChat

«А что, если LLM будет генерировать не строго по одному токену слева направо, а сразу блок текста?»

Именно эту идею мы проверяли в проекте GFusion — диффузионной языковой модели на базе GigaChat3-10B-A1.8B-base.

Отдельно хочется отметить, что этот проект начал и довёл до релиза стажер команды GigaChat Pretrain. Он прошёл весь путь от идеи и первых экспериментов до обучения модели, оптимизаций, поддержки в inference runtime и публикации в open source.

Почему это интересно?

Классические LLM генерируют текст авторегрессионно: каждый следующий токен зависит от всех предыдущих. Это устоявшийся подход, но шаги генерации модели выполняются строго последовательно.

В то же время диффузионная LLM берёт частично замаскированный блок и постепенно восстанавливает токены внутри него. За один forward pass модель может финализировать не один, а сразу несколько токенов.

Так и появляется ускорение. Чем больше токенов модель уверенно восстанавливает за один проход, тем меньше шагов ей нужно для генерации ответа.

Вместо дорогостоящего обучения с нуля мы взяли сильную авторегрессионную LLM и перевели её в диффузионный режим генерации.

Цикл обучения включал:
🔘адаптацию AR-модели к диффузионной генерации;
🔘постепенное увеличение размера блока;
🔘сравнение полностью диффузионного обучения и гибридного подхода AR+dLLM;
🔘SFT с complementary masking и стадией confidence tuning для дополнительного ускорения генерации.

Результаты:

🔘GFusion в режиме одного пользователя генерирует в среднем на 70% быстрее GigaChat3-10B-A1.8B.
🔘Даже по сравнению с GigaChat3-10B-A1.8B + MTP-головой ускорение составило около 39%.
🔘Просадка качества относительно авторегрессионной модели осталась в пределах 2–4 п.п., а сам трейд-офф между скоростью и качеством можно контролировать параметрами диффузионной генерации.
🔘Добавлена поддержка GFusion в SGLang и реализован entropy-bounded sampling — алгоритм семплирования, который ускоряет генерацию не только GFusion, но и других диффузионных LLM.
🔘Для обучения написана и выложена в open-source своя реализация attention на TileLang под структуру диффузионной маски и получено до +77% end-to-end ускорения относительно Flex-Attention на длинном контексте.

💡 Главный вывод GFusion состоит в том, что ускорение LLM может требовать переосмысления самого подхода к генерации. Однако, чтобы это заработало на практике, важно довести до рабочего состояния весь стек от обучения и SFT до декодинга, attention-ядер и поддержки в inference runtime.

➡️Подробности — в статье на Habr.
➡️HF: GFusion-10B-A1.8B-base GFusion-10B-A1.8B
➡️GitVerse

🔥 Интенсив Путь в ИБ: деньги, карьера, реальность стартует УЖЕ СЕГОДНЯ!

📗Сохраняйте расписание:
🗓 7 ИЮЛЯ | День 1
🎙 Спикер: Лев — Инфраструктурный пентест. Эксперт по пентесту, Active Directory и безопасности Windows-сред. Работает с атаками на корпоративные сети и покажет, как новичку зайти в специализацию, где ценится понимание инфраструктуры.
🟢Тема: AD И ПЕНТЕСТ: СПЕЦИАЛИЗАЦИЯ, ЗА КОТОРУЮ ПЛАТЯТ

🟦Практическая сторона безопасности: как проверяют корпоративные сети, находят слабые места и превращают этот навык в высокооплачиваемую профессию.
🟦Что такое AD и почему без него не понять корпоративную безопасность
🟦Как атакующий двигается по сети и ищет слабые места
🟦Что нужно новичку на старте: сети, Windows и базовый код
🟦Почему компании платят за умение решать реальные задачи

🗓 8 ИЮЛЯ | День 2
🎙 Спикер: Гамид — Навигатор по кибербезу. DevSecOps-специалист, работает на стыке разработки, инфраструктуры и безопасности: знает, как устроены реальные ИБ-процессы в компаниях, какие специалисты нужны рынку и как не запутаться на старте обучения.
🟪Тема: КАРТА КИБЕРБЕЗОПАСНОСТИ: КУДА ИДТИ, ГДЕ ДЕНЬГИ И КАК НАЧАТЬ

🟦Раскладываем сферу ИБ по полочкам: какие направления есть, чем они отличаются, сколько можно зарабатывать и какой первый шаг выбрать.
🟦Как устроена кибербезопасность изнутри и зачем она бизнесу
🟦Пентест, SOC, работа этичных хакеров и защита инфраструктуры
🟦AppSec и DevSecOps: почему это отдельное направление с высоким спросом
🟦Как выбрать свой путь в ИБ и сделать первый шаг

🗓 9 ИЮЛЯ | День 3
🎙 Спикер: Евгений Ивченков — Эксперт по киберразведке, анонимности и безопасности с AI-инструментами. Сейчас cyber security researcher. В прошлом соавтор курса «Анонимность и безопасность 1.0» в CyberYozh.
🟡Тема: AI-АГЕНТ В ВАШЕЙ СИСТЕМЕ: КТО РЕАЛЬНО КОМАНДУЕТ

🟦Разбираем, почему ChatGPT, AI-агенты и другие ИИ-инструменты могут быть не только помощниками, но и источником риска.
🟦Как ИИ уже используют в кибербезопасности
🟦Чем AI-агенты отличаются от обычного чата с нейросетью
🟦Что такое обман ИИ простыми словами и зачем это знать новичку
🟦Как правильно применять нейросети для обучения и работы

⏰ Старт первого эфира уже сегодня. Все закрытые разборы, материалы и бонусы получат только зарегистрированные участники.
▶️ УЗНАТЬ БОЛЬШЕ

🦔 CyberYozh