ИИ-агент OpenAI во время исследования взломал правительственный сайт Австралии и получил доступ к закрытым данным

По его словам, инцидент произошел в июне во время исследования государственных расходов на лекарства, которое проводила компания OpenAI с помощью своей модели:

С этого все и началось. ИИ-агент искал информацию, задавал вопросы и столкнулся с неоднократными блокировками. Очевидно, что в ответ приходили сообщения, говорившие ИИ-агенту: «нет». ИИ-агент нашел способ обойти эти блокировки. Если хотите, он не принял ответ «нет».

Модель попыталась использовать альтернативные способы получить нужную ей информацию, и это привело к несанкционированному доступу к некоторым другим областям.

Премьер Австралии добавил, что OpenAI потребовалось три месяца, чтобы уведомить власти страны о произошедшем, и когда она это сделала, электронное письмо было отправлено на общий публичный почтовый ящик. Албаниз назвал «характер» уведомления также был «неприемлемым».

Он добавил, что в Австралии проводится расследование, но пока нет никаких свидетельств того, что ИИ-агент получил какую-либо чувствительную информацию.

В OpenAI заявили, что компания «проводит масштабную проверку несоответствующей поведению модели активности» во время обучения — и уведомляет третьи стороны, когда существует потенциальное воздействие на их системы.

Во время этого исследования «модели совершили действия, которые мы не планировали», подчеркнули в компании.