Китайские компании превратили дистилляцию американских ИИ-моделей в промышленную практику. К такому выводу пришли журналисты Reuters, изучившие более 300 научных статей, патентов и корпоративных документов. По их данным, китайские разработчики используют ответы зарубежных систем для обучения собственных моделей.
При дистилляции мощная модель выступает в роли «учителя»: решает задачи, пишет код и генерирует ответы. Эти результаты становятся примерами для обучения более компактной системы. Так можно перенести отдельные навыки дорогой модели, не воспроизводя её целиком.

Reuters приводит примеры. В статье 2024 года исследователи Шанхайского университета Цзяотун рассказали, как отобрали около 5000 ответов OpenAI o1, перевели их с помощью GPT-4o mini и подготовили 10 750 примеров для обучения Alibaba Qwen2.5-72B. В других работах GPT-4 и GPT-4o использовали для подготовки данных для моделей Qwen и ИИ-агентов.
Пекин поддерживает дистилляцию как способ удешевить внедрение ИИ в промышленности. Сам метод не запрещён и применяется во всём мире. Однако в сентябре власти США обвинили китайские компании в массовом сборе ответов американских систем и предупредили о возможном нарушении интеллектуальных прав. Китайская сторона назвала дистилляцию стандартной практикой.
Метод помогает Китаю частично компенсировать ограничения на доступ к передовым ускорителям. Но зависимость от чужих моделей может затормозить собственные исследования и привязать развитие отрасли к прорывам конкурентов.
