У разработчика появилась ещё одна работа: ставить ИИ границы

У разработчика появилась ещё одна работа: ставить ИИ границы

Даже у ИИ есть границы, а у вас — нет

Мария Бергельсон
Мария Бергельсон
Автор
news

Представьте: ИИ-агент получил задачу добавить поле в отчёт, нашёл похожую колонку в базе, написал аккуратный код и успешно прогнал тесты. Всё получилось И-ДЕ-А-ЛЬНО.

Вот только в отчёте теперь считается не то, потому что колонка означала совсем другое.

Зацените: только до 17 сентября скидка 16% на любую профессию в Яндекс Практикуме. Если не сейчас, то когда?

Главная проблема здесь в том, что агент не знает неописанных правил компании: откуда именно брать данные, кому можно показывать результат, какие действия нельзя выполнять без человека и что считается правильным ответом в спорном случае. Короче, ИИ-агент — тупо не человек.

Автор колонки в VentureBeat предлагает смотреть на это как на новую часть работы инженера. Не писать каждую строчку вручную, а создавать среду, в которой сгенерированный код можно проверить и безопасно использовать. Это буквально трансформация профессии разработчика: у него прибавилось работы там, где раньше многое держалось на опыте команды и фразе «лучше не трогай, оно исторически так устроено».

Для ИИ-агента особенно важны три вещи:

  • чёткие права: к каким данным, сервисам и действиям у него есть доступ;
  • понятные правила: что можно менять автоматически, а что требует подтверждения;
  • проверка результата: тесты, журналы действий, ревью и возможность откатить изменение.

Такие ограничения нужны не из недоверия к нейросети, а потому, что агент умеет быстро делать то, что ему разрешили, — в том числе ошибаться. Это называют риском «чрезмерной автономии»: у системы слишком много функций, прав или свободы принимать решения. 

Навык работы с ИИ — это не только умение написать хороший промпт

Полезно уметь превратить расплывчатую задачу в набор условий: какие данные можно использовать, какой результат считать правильным, какие тесты обязательны и в какой момент нужен человек. Но сам сдвиг уже хорошо виден в повседневной работе: чем легче стало получить первую версию кода, тем дороже становится способность вовремя сказать ей «стоп».

arrow-scrollTop arrow-scrollTop

Автор:
Мария Бергельсон

Еще по теме:
Вам пишет Мария, но Мария — бот: новые правила про нейронки в ЕС
Вам пишет Мария, но Мария — бот: новые правила про нейронки в ЕС

Не прячь своё лицо, робот

news
Сотрудников судов вернули в офис — и проверили, правда ли там работается лучше
Сотрудников судов вернули в офис — и проверили, правда ли там работается лучше

Большой брат очень рад?

news
Разгружают ли скриншоты голову — или наоборот
Разгружают ли скриншоты голову — или наоборот

В галерею влетело, из головы вылетело

news
По школе скучают из-за друзей, а не из-за контрольных
По школе скучают из-за друзей, а не из-за контрольных

Чтобы умножить один многочлен на другой многочлен…

news
Кукушки уже улетают
Кукушки уже улетают

Я поехала

news
Люди охотнее возражают ИИ-начальнику — но только в задачах на логику
Люди охотнее возражают ИИ-начальнику — но только в задачах на логику

Три эксперимента о том, кому сотрудники охотнее указывают на ошибки

news
Нейросеть стала вторым по популярности «коллегой» у удалёнщиков
Нейросеть стала вторым по популярности «коллегой» у удалёнщиков

Как дела, коллега?

news
OpenAI просила откликаться на часть вакансий только по почте — теперь заплатит за это $1,2 млн
OpenAI просила откликаться на часть вакансий только по почте — и теперь заплатит за это $1,2 млн

Конверт с марочкой, пожалуйста

news
ИИ помогает считать деньги, но не добавляет уверенности
ИИ помогает считать деньги, но не добавляет уверенности

А зарабатывать деньги помогает?

news
Сколько зарабатывают фрилансеры в 2026 году
Сколько зарабатывают фрилансеры в 2026 году

Готовимся к интервью на Патриках

news