Компании запускают ИИ на серверах, поскольку не могут передавать данные внешним облакам. Отдельные модели для задач увеличивают расходы. Исследователи Т-Банка представили два способа снизить их на EMNLP 2026.
Первый метод объединяет узкие нейросети в одну. Команда дообучила Qwen3-32B на корпоративных и открытых данных, улучшила следование инструкциям, вызов функций и бизнес-задачи, а затем объединила версии методом SLERP.
По данным команды, модель обслуживает более 200 внутренних сервисов и обрабатывает половину трафика LLM-платформы банка. Запросы обходятся в 2,8-3,9 раза дешевле, чем с Qwen3-235B, а в отдельных сервисах экономия достигает девятикратной. На корпоративных тестах модель набрала 69,6 балла против 65,8 у более крупной. Следование инструкциям оценили в 0,85 против 0,83, вызов функций — в 0,79 против 0,77.
Второй метод ускоряет обработку документов. Модель Qwen3.5-35B-A3B-Base извлекает реквизиты и суммы из PDF по запросу. При 35 млрд параметров она использует для задачи лишь 3 млрд, а для запуска достаточно одного ускорителя Nvidia H100.
По оценке исследователей, обработка документов на 80% дешевле ручной и на 50% дешевле лучших открытых аналогов. Команда опубликовала методику тестирования, описание обучения и модель с открытыми весами на публичных данных.
Если результаты подтвердятся, бизнес сможет автоматизировать больше операций без такого роста затрат. Компактные модели помогут экономить ресурсы и сохранять корпоративные данные внутри своей инфраструктуры.
