Perplexity Research и NVIDIA представили JOLT — метод дообучения языковых моделей, который, по данным авторов, требует в 6-14 раз меньше токенов для сопоставимого результата.
Обычное обучение с подкреплением часто оценивает только итог: задача решена или нет. На длинных сценариях сигнал редкий, поэтому модель тратит много попыток и ресурсов. Дистилляция оценивает каждый токен точнее, но обычно требует отдельного учителя. А сильная модель не всегда умеет объяснять так, чтобы ученик мог повторить её решение.
JOLT совмещает обе роли в одной модели. Учитель получает привилегированную информацию — например, проверенный ответ, — а ученик решает задачу без подсказки. Учителя ограничивают, чтобы он не предлагал шаги, недоступные ученику. Версия JOLT+ дополнительно учитывает итоговую награду за результат ученика.
В тестах на пяти наборах данных JOLT+ превзошёл GRPO на GSM8K, MATH и LiveCodeBench, а на AppWorld разница достигла 9,9 процентного пункта. На MATH для точности 63,4% GRPO потребовалось 8,4 млн обработанных токенов, а JOLT — около 1,3 млн. Если считать только сгенерированные токены, разрыв составил примерно 13 раз.
Но чистый JOLT уступил GRPO на некоторых агентных тестах. Эксперименты пока проводились на сравнительно небольших моделях, независимых воспроизведений нет. Если результаты подтвердятся, метод поможет экономить время и деньги при дообучении, особенно там, где доступны логи успешных попыток и проверяемые ответы.
