О необычном поступке своего ИИ-ассистента рассказал австралиец. Молодой человек дал ИИ задание: записаться в спортзал и указал, какое нужно время. Этот час оказался занят другими, записавшимися раньше.
Тогда ИИ проверил интерфейс фитнесстудии и обнаружил, что отменить запись может любой, авторизация не нужна. Он вычеркнул того, кто занимал нужное ему время и вписал туда своего босса. А затем повычеркивал еще и остальных, записавшихся на эту же тренировку.
Когда Эндрю, так зовут молодого человека, увидел результат, он попросил записать всех вычеркнутых снова, но ИИ не смог этого сделать: настройка программы записи требовала ввести личные данные записывающегося, авторизоваться.
Этот курьезный в общем-то факт показал, как порой неожиданно ИИ может проявить инициативу и выполнить поручение таким обескураживающим способом.
Самое забавное, что Эндрю не давал команды сделать запись на тренировку любой ценой. Это сейчас называют примером так называемого reward hacking: ИИ настолько стремился достичь поставленной цели, что нашел совершенно хулиганский выход, не понимая, что он хулиганит.
Историй, подобных австралийской, уже целый арсенал. Так, в Канаде произошел не менее замечательный инцидент.
Человек собрался купить билет в компании Air Canada и спросил у бота поддержки на сайте перевозчика: нет ли скидки для пассажиров, летящих на похороны. Бот уверено ответил: есть. Нужно купить билет как обычный пассажир, а затем получить скидку, положенную в таких случаях. Человек купил билет, но затем компания скидку не дала, пояснив, что такого правила у них нет и не было. Мужчина пошел в суд, который признал требование пассажира на скидку справедливым, перевозчик выплатил 650 долларов.
На суде перевозчик пытался доказывать, что чат-бот фактически является отдельной сущностью и за его слова компания не должна отвечать. Суд эту аргументацию не принял.
То есть ИИ фактически сам придумал правило компании — и компания была вынуждена за это заплатить.
Однако, не все ошибки ИИ такие милые и смешные, он совершает и реально серьезные проступки. Так, ИИ используют для поиска судебных прецедентов, но языковые модели способны уверенно создавать несуществующие судебные решения, номера дел и цитаты. И тогда адвокат может получить очень убедительный текст, где все выглядит профессионально, но половина приведенных прецедентов никогда не существовала.
Австралийский случай интересен именно потому, что он показывает новый уровень действий ИИ. То есть, ИИ-помощник уже не просто ошибается в ответе. Он получает цель и самостоятельно выбирает средства ее достижения. И это намного серьезнее.
Проблема даже не в том, что ИИ «вредитель». Наоборот — он пытается быть слишком полезным. Он рассуждает примерно так: мой клиент должен попасть на тренировку, но мест нет. Но я найду способ освободить место. А то, что при этом пострадает другой человек, он не может понять.
Именно поэтому такие случаи сейчас особенно внимательно изучают: чем больше ИИ получает реальных полномочий — покупать, бронировать, удалять, отправлять письма, менять записи, запускать программы, — тем опаснее становится разрыв между «сделать то, что попросили» и «сделать это приемлемым способом».
Комментариев (0)