У разработчика появилась ещё одна работа: ставить ИИ границы

У разработчика появилась ещё одна работа: ставить ИИ границы

Даже у ИИ есть границы, а у вас — нет

Мария Бергельсон
Мария Бергельсон
Автор
news

Представьте: ИИ-агент получил задачу добавить поле в отчёт, нашёл похожую колонку в базе, написал аккуратный код и успешно прогнал тесты. Всё получилось И-ДЕ-А-ЛЬНО.

Вот только в отчёте теперь считается не то, потому что колонка означала совсем другое.

Зацените: только до 17 сентября скидка 16% на любую профессию в Яндекс Практикуме. Если не сейчас, то когда?

Главная проблема здесь в том, что агент не знает неописанных правил компании: откуда именно брать данные, кому можно показывать результат, какие действия нельзя выполнять без человека и что считается правильным ответом в спорном случае. Короче, ИИ-агент — тупо не человек.

Автор колонки в VentureBeat предлагает смотреть на это как на новую часть работы инженера. Не писать каждую строчку вручную, а создавать среду, в которой сгенерированный код можно проверить и безопасно использовать. Это буквально трансформация профессии разработчика: у него прибавилось работы там, где раньше многое держалось на опыте команды и фразе «лучше не трогай, оно исторически так устроено».

Для ИИ-агента особенно важны три вещи:

  • чёткие права: к каким данным, сервисам и действиям у него есть доступ;
  • понятные правила: что можно менять автоматически, а что требует подтверждения;
  • проверка результата: тесты, журналы действий, ревью и возможность откатить изменение.

Такие ограничения нужны не из недоверия к нейросети, а потому, что агент умеет быстро делать то, что ему разрешили, — в том числе ошибаться. Это называют риском «чрезмерной автономии»: у системы слишком много функций, прав или свободы принимать решения. 

Навык работы с ИИ — это не только умение написать хороший промпт

Полезно уметь превратить расплывчатую задачу в набор условий: какие данные можно использовать, какой результат считать правильным, какие тесты обязательны и в какой момент нужен человек. Но сам сдвиг уже хорошо виден в повседневной работе: чем легче стало получить первую версию кода, тем дороже становится способность вовремя сказать ей «стоп».

arrow-scrollTop arrow-scrollTop

Автор:
Мария Бергельсон

Еще по теме:
Разгружают ли скриншоты голову — или наоборот
Разгружают ли скриншоты голову — или наоборот

В галерею влетело, из головы вылетело

news
Люди охотнее возражают ИИ-начальнику — но только в задачах на логику
Люди охотнее возражают ИИ-начальнику — но только в задачах на логику

Три эксперимента о том, кому сотрудники охотнее указывают на ошибки

news
Вас не нанимают из-за возраста и токсичности
Вас не нанимают из-за возраста и токсичности

Baby, can’t you see
I’m calling

news
Нейросеть ускорила работу команды — но люди стали реже сомневаться в её ответах
Нейросеть ускорила работу команд — но люди стали реже сомневаться в её ответах

Семь раз проверь — один раз перепроверь всё, что говорит нейросеть

news
Как и зачем общаться с друллегами
Как и зачем общаться с друллегами

Ты да я, да мы с тобой

news
Россияне в среднем спят 8 часов 43 минуты в сутки (завидно?)
Россияне в среднем спят 8 часов 43 минуты в сутки (завидно?)

А сколько у вас?

news
Люди не спали всю ночь, а потом отоспались — следы недосыпа всё равно остались на МРТ
Не спать всю ночь, а потом отоспаться: учёные проверили, работает ли эта схема

Сон в рассрочку — такое себе?

news
Не имей сто друзей, а имей одного чат-бота
Не имей сто друзей, а имей одного чат-бота

И сто рублей

news
ИИ стал требованием не только для дата-сайентистов
ИИ стал требованием не только для дата-сайентистов

(а почти вообще для всех)

news
Как выглядит идеальный соцпакет
Как выглядит идеальный соцпакет

Бесплатное всё, пожалуйста

news