Решили вы поболтать с нейросетью. Она уже решила вам задачку по математике, написала код для планировщика задач, помогла составить резюме. А ещё — объяснила, почему не стоит ссориться с родителями.
Первым трём ответам можно в целом верить. А если не верить — то хотя бы ПРОверить. А вот с родителями сложнее: как понять, насколько ответ нейросети соответствует ценностям? Для этого «Яндекс» предложил создать отдельный экзамен.
Компания представила правительству концепцию национального датасета для проверки ИИ-систем. Это набор вопросов, заданий и эталонных ответов, по которым можно будет сравнивать разные модели. Предполагается, что тест будет оценивать не только технические навыки нейросетей, но и их соответствие духовно-нравственным ценностям и требованиям российского рынка.
Главный вопрос — делать этот экзамен открытым или закрытым. Если задания опубликовать, разработчики смогут заранее проверить и доработать свои модели. Но тогда нейросеть можно просто специально натренировать на нужные формулировки и получить хороший результат без реального изменения её поведения.
Компромиссный вариант — двухуровневая система
Открытая часть поможет компаниям понять общие требования и протестировать модель до запуска. Закрытая — станет финальной проверкой: темы вопросов могут быть одинаковыми, но сами формулировки заранее никто не увидит.
Пока не решено даже, кто именно будет писать задания и выбирать правильные ответы. Для математики или программирования это относительно понятно: дважды два — четыре, а код либо работает, либо нет. Но у вопроса «соответствует ли этот ответ ценностям?» нет такой универсальной кнопки проверки. Понадобятся критерии, рубрикаторы и, вероятно, комиссия из государства, бизнеса и экспертов.
Это пока не новый обязательный закон и не готовый тест, который завтра начнут сдавать все чат-боты. Идею только обсуждают с отраслью. Но если она станет рабочим инструментом, у российских ИИ-моделей появится ещё один бенчмарк — не только на знания и полезность, но и на то, насколько правильно они рассуждают о сложных человеческих вещах.
Вайбкодинг — новый инфобиз?
ИИ-психолог: когда чат помогает, а когда нужен человек
Как ИИ изменил работу с текстами — и почему редактор всё ещё нужен
