Machinelearning

📌

Как дотянуть компактную модель до уровня гигантов посттрейном

AI-подразделение китайского производителя электромобилей Lixiang опубликовало интересную работу о том, как они оптимизацией насыщали компактную модель доменными знаниями.

Mach-Mind-4-Flash - итоговая MoE-модель на 35 млрд общих 3 млрд активных параметров на базе Qwen3.5-35B-A3B.

Проблема, от которой Li Auto отталкивались, состоит в том, что если учить одну модель с подкреплением сразу на смеси наград (математика, код, агентные задачи), то появляются качели - подтянули одно, просело другое.

Решение - разделить этапы и области знаний. Сначала независимо обучили более десятка RL-экспертов, каждого в своём домене: математика, код, текст, безопасность, поиск, работа с инструментами. Каждый эксперт получил свои данные, свои проверяемые награды и свою стратегию обучения.

Дальше самое интересное - как собрать экспертов обратно в одну модель. Для этого использовали методику MOPD, которую взяли у Xiaomi.

Это мультиучительская дистилляция на собственных генерациях ученика, где каждый обучающий пример по ключу маршрутизации уходит к "своему" замороженному эксперту, и тот через reverse-KL на уровне токенов подтягивает распределение ученика к своему.

Агентные навыки эксперты осваивали в исполняемых песочницах - там модель читает файлы, правит код, запускает тесты, видит ошибки и продолжает с их учётом.

Масштаб сред - более 190 предметных областей с сохранением состояния, свыше 3,5 тыс. интерфейсов инструментов, траектории программных задач до 300 шагов при контексте 256 тыс. токенов.

🟡

Работает ли слияние?

И да и нет.

Следование инструкциям сохранилось целиком, а на агентных бенчах ClawBench и ClawEval итоговая модель даже обошла отдельных экспертов.

Но на SWE-bench Verified результат просел с 73,80 у эксперта до 71,10 у модели.

Предполагают, что узкоспециализированное поведение в длинных задачах кодинга при дистилляции смазывается.

Финальный штрих - HMPO, собственная механика Li Auto, которая следит, чтобы модель не увлекалась в цепочках рассуждений.

Бюджет длины CoT берётся из медианы правильных ответов в группе, награду получают только верные и при этом более короткие решения, а награда собирается умножением (короткий, но неверный ответ получает строгий 0, что закрывает лазейку для взлома награды).

На выходе HMPO получается сокращение длины генерации на 19–46% при потере точности не более 0,7%, причём обучение шло только на математике, а эффект перенёсся на код и другие задачи. Правда пока это работает только для одношаговых рассуждений, к многоходовым агентным траекториям его ещё предстоит адаптировать.

🟡

Итоги

92,7 на AIME'26 - тут отстает от триллионной Kimi-K2.5 меньше чем на пункт;

82,8 на IFBench - первое место с большим отрывом, ближайший конкурент Qwen3.5-122B;

75,8 на BFCL-v4 - второе место после MiMo-V2-Flash, при этом лучше чем Qwen3.5-122B и Kimi-K2.5.

Можно сказать, что результаты на уровне куда более крупных моделей. К сожалению, планы по публикации модели неизвестны, но возможно мы просто почувствуем её в следующих поколениях электромобилей Lixiang.

🟡

Arxiv

@ai_machinelearning_big_data

#AI #ML #LLM #Optimisation #RL #LiAuto

Please open Telegram to view this post