У разработчика появилась ещё одна работа: ставить ИИ границы

У разработчика появилась ещё одна работа: ставить ИИ границы

Даже у ИИ есть границы, а у вас — нет

Мария Бергельсон
Мария Бергельсон
Автор
news

Представьте: ИИ-агент получил задачу добавить поле в отчёт, нашёл похожую колонку в базе, написал аккуратный код и успешно прогнал тесты. Всё получилось И-ДЕ-А-ЛЬНО.

Вот только в отчёте теперь считается не то, потому что колонка означала совсем другое.

Зацените: только до 17 сентября скидка 16% на любую профессию в Яндекс Практикуме. Если не сейчас, то когда?

Главная проблема здесь в том, что агент не знает неописанных правил компании: откуда именно брать данные, кому можно показывать результат, какие действия нельзя выполнять без человека и что считается правильным ответом в спорном случае. Короче, ИИ-агент — тупо не человек.

Автор колонки в VentureBeat предлагает смотреть на это как на новую часть работы инженера. Не писать каждую строчку вручную, а создавать среду, в которой сгенерированный код можно проверить и безопасно использовать. Это буквально трансформация профессии разработчика: у него прибавилось работы там, где раньше многое держалось на опыте команды и фразе «лучше не трогай, оно исторически так устроено».

Для ИИ-агента особенно важны три вещи:

  • чёткие права: к каким данным, сервисам и действиям у него есть доступ;
  • понятные правила: что можно менять автоматически, а что требует подтверждения;
  • проверка результата: тесты, журналы действий, ревью и возможность откатить изменение.

Такие ограничения нужны не из недоверия к нейросети, а потому, что агент умеет быстро делать то, что ему разрешили, — в том числе ошибаться. Это называют риском «чрезмерной автономии»: у системы слишком много функций, прав или свободы принимать решения. 

Навык работы с ИИ — это не только умение написать хороший промпт

Полезно уметь превратить расплывчатую задачу в набор условий: какие данные можно использовать, какой результат считать правильным, какие тесты обязательны и в какой момент нужен человек. Но сам сдвиг уже хорошо виден в повседневной работе: чем легче стало получить первую версию кода, тем дороже становится способность вовремя сказать ей «стоп».

arrow-scrollTop arrow-scrollTop

Автор:
Мария Бергельсон

Еще по теме:
Exit mobile version
Top.Mail.Ru