Нейросети отправят на экзамен по ценностям

Нейросети отправят на экзамен по ценностям

Уроки добра, любви и верности

Мария Бергельсон
Мария Бергельсон
Автор
ai

Решили вы поболтать с нейросетью. Она уже решила вам задачку по математике, написала код для планировщика задач, помогла составить резюме. А ещё — объяснила, почему не стоит ссориться с родителями. 

Первым трём ответам можно в целом верить. А если не верить — то хотя бы ПРОверить. А вот с родителями сложнее: как понять, насколько ответ нейросети соответствует ценностям? Для этого «Яндекс» предложил создать отдельный экзамен.

Компания представила правительству концепцию национального датасета для проверки ИИ-систем. Это набор вопросов, заданий и эталонных ответов, по которым можно будет сравнивать разные модели. Предполагается, что тест будет оценивать не только технические навыки нейросетей, но и их соответствие духовно-нравственным ценностям и требованиям российского рынка.

Главный вопрос — делать этот экзамен открытым или закрытым. Если задания опубликовать, разработчики смогут заранее проверить и доработать свои модели. Но тогда нейросеть можно просто специально натренировать на нужные формулировки и получить хороший результат без реального изменения её поведения.

Компромиссный вариант — двухуровневая система

Открытая часть поможет компаниям понять общие требования и протестировать модель до запуска. Закрытая — станет финальной проверкой: темы вопросов могут быть одинаковыми, но сами формулировки заранее никто не увидит.

Пока не решено даже, кто именно будет писать задания и выбирать правильные ответы. Для математики или программирования это относительно понятно: дважды два — четыре, а код либо работает, либо нет. Но у вопроса «соответствует ли этот ответ ценностям?» нет такой универсальной кнопки проверки. Понадобятся критерии, рубрикаторы и, вероятно, комиссия из государства, бизнеса и экспертов.

Это пока не новый обязательный закон и не готовый тест, который завтра начнут сдавать все чат-боты. Идею только обсуждают с отраслью. Но если она станет рабочим инструментом, у российских ИИ-моделей появится ещё один бенчмарк — не только на знания и полезность, но и на то, насколько правильно они рассуждают о сложных человеческих вещах.

arrow-scrollTop arrow-scrollTop

Автор:
Мария Бергельсон

Еще по теме:
ИИ-психолог: когда чат помогает, а когда нужен человек
ИИ-психолог: когда чат помогает, а когда нужен человек

С вас пять тыщ токенов

ai
Чем ИИ бесит сильнее поисковика
Чем ИИ бесит сильнее поисковика

Не ошибками, а уверенностью

ai
Вам пишет Мария, но Мария — бот: новые правила про нейронки в ЕС
Вам пишет Мария, но Мария — бот: новые правила про нейронки в ЕС

Не прячь своё лицо, робот

ai
OpenAI просила откликаться на часть вакансий только по почте — теперь заплатит за это $1,2 млн
OpenAI просила откликаться на часть вакансий только по почте — и теперь заплатит за это $1,2 млн

Конверт с марочкой, пожалуйста

ai
ИИ пишет код_ нужно ли теперь учиться программировать
Заменит ли ИИ программистов: что будет с профессией и зачем сегодня учиться коду

Как Сыроежкину выжить в 2026 году, если Электроник всё делает за него

ai
Как ИИ изменил работу с текстами — и почему редактор всё ещё нужен
Как ИИ изменил работу с текстами — и почему редактор всё ещё нужен

Боретесь с кавычками-«ёлочками» и длинными тире?

ai
Есть ли смысл сейчас идти в IT с учётом нейросетей?
Вайбкодинг простыми словами: можно ли сделать сайт или приложение с ИИ, если вы не программист
Вайбкодинг простыми словами: можно ли сделать сайт или приложение с ИИ, если вы не программист

Заклинания из Гарри Поттера для нейросети

ai
Люди охотнее возражают ИИ-начальнику — но только в задачах на логику
Люди охотнее возражают ИИ-начальнику — но только в задачах на логику

Три эксперимента о том, кому сотрудники охотнее указывают на ошибки

ai
Как понять, что текст написан нейронкой?