Исследователи Яндекса опубликовали две работы на EMNLP 2026 об оценке языковых моделей. Организаторы получили 17 669 заявок против примерно 8 тысяч годом ранее. Старые бенчмарки быстро перестают различать сильные модели, поэтому нужны новые способы проверки.
Первая работа представляет MTGBench — двуязычный бенчмарк из семи многоходовых игр на русском и английском языках: Wordle, «Цепочка слов», «Данетки», «20 вопросов», «Поле чудес», «20 признаков» и «Алиас». Игры проверяют стратегию, удержание контекста и способность планировать ходы.
В четырёх играх ответы оценивает алгоритм, в остальных соблюдение правил контролирует LLM-судья. Его работу отдельно проверили. Среди 16 моделей сильные системы рассуждения сравнялись с человеческим ориентиром или превзошли его, находя ответы за меньшее число ходов.
Вторая статья посвящена оценке машинного перевода. Смысловые ошибки и неестественные формулировки сохраняются, а их поиск требует времени экспертов. Авторы собрали 600 англо-русских переводов, каждый независимо оценили три специалиста, и создали семейство оценщиков ORBIT.
Лучшая конфигурация достигла экспертного уровня согласованности при поиске ошибок примерно за 28-ю часть стоимости работы профессионала. Подход также проверили на пяти других языковых направлениях.
Новые методы помогут точнее выявлять слабые места моделей. Это даст разработчикам более надёжную основу для улучшения систем, а пользователям — более качественные ответы и переводы.
