Нейросети отправят на экзамен по ценностям

Нейросети отправят на экзамен по ценностям

Уроки добра, любви и верности

Мария Бергельсон
Мария Бергельсон
Автор
news

Решили вы поболтать с нейросетью. Она уже решила вам задачку по математике, написала код для планировщика задач, помогла составить резюме. А ещё — объяснила, почему не стоит ссориться с родителями. 

Первым трём ответам можно в целом верить. А если не верить — то хотя бы ПРОверить. А вот с родителями сложнее: как понять, насколько ответ нейросети соответствует ценностям? Для этого «Яндекс» предложил создать отдельный экзамен.

Компания представила правительству концепцию национального датасета для проверки ИИ-систем. Это набор вопросов, заданий и эталонных ответов, по которым можно будет сравнивать разные модели. Предполагается, что тест будет оценивать не только технические навыки нейросетей, но и их соответствие духовно-нравственным ценностям и требованиям российского рынка.

Главный вопрос — делать этот экзамен открытым или закрытым. Если задания опубликовать, разработчики смогут заранее проверить и доработать свои модели. Но тогда нейросеть можно просто специально натренировать на нужные формулировки и получить хороший результат без реального изменения её поведения.

Компромиссный вариант — двухуровневая система

Открытая часть поможет компаниям понять общие требования и протестировать модель до запуска. Закрытая — станет финальной проверкой: темы вопросов могут быть одинаковыми, но сами формулировки заранее никто не увидит.

Пока не решено даже, кто именно будет писать задания и выбирать правильные ответы. Для математики или программирования это относительно понятно: дважды два — четыре, а код либо работает, либо нет. Но у вопроса «соответствует ли этот ответ ценностям?» нет такой универсальной кнопки проверки. Понадобятся критерии, рубрикаторы и, вероятно, комиссия из государства, бизнеса и экспертов.

Это пока не новый обязательный закон и не готовый тест, который завтра начнут сдавать все чат-боты. Идею только обсуждают с отраслью. Но если она станет рабочим инструментом, у российских ИИ-моделей появится ещё один бенчмарк — не только на знания и полезность, но и на то, насколько правильно они рассуждают о сложных человеческих вещах.

arrow-scrollTop arrow-scrollTop

Автор:
Мария Бергельсон

Еще по теме:
Не просто дожить до пенсии: чего россияне ждут от будущего дохода
Не просто дожить до пенсии: чего россияне ждут от будущего дохода

Вообще-то, просто дожить до пенсии

news
ИИ всё чаще требуют даже от junior-специалистов
ИИ всё чаще требуют даже от junior-специалистов

Будто мало было нам проблем…

news
В 2027 году будет 11 дней новогодних каникул. Самое время не оставлять отдых на случайные планы
В 2027 году будет 11 дней новогодних каникул. Самое время придумать себе приятные планы

Джигл беллз или хоа-хоа?

news
Loud working: сотрудники стали громче рассказывать о своей работе
Loud working: сотрудники стали громче рассказывать о своей работе

ШЕФ, ВЫ МЕНЯ СЛЫШИТЕ?

news
Не после ипотеки: когда просить у начальника прибавку — мнение экономистов
Не после ипотеки: когда просить у начальника прибавку — мнение экономиста

Ну плизки

news
Большинство работодателей не планируют повышать зарплаты новым сотрудникам
Планируют ли работодатели повышать зарплату новичкам: опрос Работы.ру и СберПодбор

Цензурных слов нет

news
Исследователи назвали признаки текстов, которые пишет ИИ
Исследователи назвали признаки текстов, которые пишет ИИ

Это не это. Это вот это

news
28-летние зумеры зарабатывают на 50% больше, чем их родители в том же возрасте
28-летние зумеры зарабатывают на 50% больше, чем их родители в том же возрасте

Мам, а можно я это заберу?

news
Россияне реже ходят в рестораны, но продолжают покупать готовую еду
Россияне реже ходят в рестораны, но продолжают покупать готовую еду

Новость прямиком к обеду

news
Как люди одалживают друг другу деньги
Как люди одалживают друг другу деньги

С неохотой

news