Российским нейросетям, похоже, придётся доказывать не только умение решать задачи, но и соответствие представлениям о ценностях. «Яндекс» предложил правительству создать национальный датасет с тестами и эталонными ответами для такой проверки.
Концепцию представили 13 августа на рабочей группе по регулированию ИИ. Идея должна войти в будущие подзаконные акты к закону об ИИ. Фактически моделям предстоит пройти отдельный экзамен на соответствие заданным нормам.
Но тут возник главный спор: кто должен видеть задания? ФСБ выступает за закрытый бенчмарк, поскольку при открытом доступе разработчики смогут подстроить модели под правильные ответы. Бизнес возражает, что без доступа к тестам подготовка становится сложной, а цикл выпуска ИИ и так занимает недели.
Компромисс предполагает два этапа: открытый набор для и закрытый — для финальной проверки. Темы останутся прежними, но формулировки вопросов изменятся.
Именно здесь начинается самое интересное. В математике или коде правильный ответ обычно можно установить однозначно. Но как определить эталон для «духовно-нравственных ценностей»?
Директор по ИБ GreenData Роман Перепонов считает, что жёсткого эталона здесь быть не может и потребуется экспертная оценка. Кто войдёт в комиссию и по каким правилам она будет принимать решения, пока неясно.
Для рынка это может стать новым этапом проверки ИИ. Нейросетям придётся соответствовать не только техническим требованиям, но и содержательным критериям.
