Почему даже самые сильные модели ИИ иногда допускают нелепые ошибки, которые уже нельзя исправить? Именно этой проблемой занялись исследователи лаборатории научных исследований Т-Технологий и Института ИИ и цифровых наук ФКН НИУ ВШЭ. На конференции ICML 2026 в Сеуле они представили метод G-Star+, который позволяет повысить качество генерации текста и кода без полного переобучения модели.
Проблема связана с моделями маскированной диффузии. Они восстанавливают текст постепенно, токен за токеном. Если ошибка появляется в самом начале, позже модель уже не возвращается к этому месту, поэтому она остаётся в итоговом результате.
G-Star+ работает иначе. Разработчики сравнивают его с внутренним редактором: метод находит сомнительные токены, снова скрывает их и даёт модели возможность переписать эти фрагменты на более позднем этапе. Для этого не требуется переобучать всю модель — достаточно дообучить один дополнительный слой. Причём обучение идёт не на искусственно созданных примерах, а на реальных ошибках самой модели.
По словам авторов, наиболее заметный эффект G-Star+ даёт при быстрой генерации за 64–256 шагов, когда времени на исправления почти нет. Метод уже протестировали на семи бенчмарках. Исследователи считают, что его можно использовать в ИИ-ассистентах, системах генерации текста и сервисах автодополнения кода.
Если результаты подтвердятся на практике, разработчики смогут улучшать качество ответов без дорогостоящего переобучения моделей.
