Нейросети отправят на экзамен по ценностям

Нейросети отправят на экзамен по ценностям

Уроки добра, любви и верности

Мария Бергельсон
Мария Бергельсон
Автор
news

Решили вы поболтать с нейросетью. Она уже решила вам задачку по математике, написала код для планировщика задач, помогла составить резюме. А ещё — объяснила, почему не стоит ссориться с родителями. 

Первым трём ответам можно в целом верить. А если не верить — то хотя бы ПРОверить. А вот с родителями сложнее: как понять, насколько ответ нейросети соответствует ценностям? Для этого «Яндекс» предложил создать отдельный экзамен.

Компания представила правительству концепцию национального датасета для проверки ИИ-систем. Это набор вопросов, заданий и эталонных ответов, по которым можно будет сравнивать разные модели. Предполагается, что тест будет оценивать не только технические навыки нейросетей, но и их соответствие духовно-нравственным ценностям и требованиям российского рынка.

Главный вопрос — делать этот экзамен открытым или закрытым. Если задания опубликовать, разработчики смогут заранее проверить и доработать свои модели. Но тогда нейросеть можно просто специально натренировать на нужные формулировки и получить хороший результат без реального изменения её поведения.

Компромиссный вариант — двухуровневая система

Открытая часть поможет компаниям понять общие требования и протестировать модель до запуска. Закрытая — станет финальной проверкой: темы вопросов могут быть одинаковыми, но сами формулировки заранее никто не увидит.

Пока не решено даже, кто именно будет писать задания и выбирать правильные ответы. Для математики или программирования это относительно понятно: дважды два — четыре, а код либо работает, либо нет. Но у вопроса «соответствует ли этот ответ ценностям?» нет такой универсальной кнопки проверки. Понадобятся критерии, рубрикаторы и, вероятно, комиссия из государства, бизнеса и экспертов.

Это пока не новый обязательный закон и не готовый тест, который завтра начнут сдавать все чат-боты. Идею только обсуждают с отраслью. Но если она станет рабочим инструментом, у российских ИИ-моделей появится ещё один бенчмарк — не только на знания и полезность, но и на то, насколько правильно они рассуждают о сложных человеческих вещах.

arrow-scrollTop arrow-scrollTop

Автор:
Мария Бергельсон

Еще по теме:
Промпт дня: как превратить срочную задачу в план работы
Промпт дня: как превратить срочную задачу в план работы

А ещё можно написать коллеге: «Давай-ка ты сам всё сделаешь, а?»

news
ИИ может оставить начинающих специалистов без первой ступеньки в карьере
ИИ может оставить начинающих специалистов без первой ступеньки в карьере

Тук-тук, войти-то можно?

news
В соцсетях больше не общаются
В соцсетях больше не общаются

Рецепт пасты, судьба кота из Огайо и ничего о друзьях

news
Завтрак и короткая разминка связаны с большей психологической гибкостью
Завтрак и короткая разминка связаны с большей психологической гибкостью

Кофе, два яйца и хорошее настроение

news
Каждый четвёртый россиянин копит на крупную покупку в конверте
Каждый четвёртый россиянин копит на крупную покупку в конверте

Новый пуховик — тоже крупная покупка

news
На Чукотке средняя зарплата — 260 000 ₽
На Чукотке средняя зарплата — 260 000 ₽ 

Москва – Анадырь

news
Какие профессии цифровизируются больше всего
Какие профессии цифровизируются больше всего

Не только айтишка, не поверите

news
Родители хотят видеть детей программистами
Родители хотят видеть детей программистами

Губа не дура

news
Сотрудников судов вернули в офис — и проверили, правда ли там работается лучше
Сотрудников судов вернули в офис — и проверили, правда ли там работается лучше

Большой брат очень рад?

news
Россияне стали чаще экономить на товарах для дома и одежде
Россияне стали чаще экономить на товарах для дома и одежде

И так сойдёт

news