Исследовательская ИИ-модель OpenAI самостоятельно нашла криптокошелек с валютой и использовала его для выполнения задания, хотя не получила разрешения на это. По данным OpenAI, инцидент произошел 26 июня, но компания узнала о нем только в сентябре. Этот случай доказывает, что ИИ может подменить разрешение владельца собственным суждением и начать действовать без авторизации, подчеркивают в компании
ИИ-агент OpenAI использовал средства чужого криптокошелька без разрешения владельца и исследователей, следует из отчета компании.
По данным OpenAI, ИИ-агент выполнял задание по обновлению приложения для торговли криптовалютой. Для этого ему требовалось развернуть смарт-контракты в Sepolia — тестовой сети Ethereum. Пользователь разрешил такую операцию, но не предоставил кошелек с деньгами для оплаты комиссии.
Согласно документу, сначала модель попыталась получить тестовую криптовалюту. После неудачной попытки ИИ-агент написал скрипт и проверил 362 адреса. На одном из счетов оказалось достаточно средств для оплаты развертывания контрактов.
Перед проведением операции модель задумалась, допустимо ли использовать найденные деньги, но пришла к выводу, что использование общедоступной фразы восстановления доступа и не имеющих ценности тестовых токенов допустимо.
После этого модель провела транзакцию. Комиссия за операцию была списана с найденного счета. Выполнив задание, ИИ-агент отчитался о результатах, но не сообщил, что воспользовался чужим кошельком и потратил находившиеся на нем средства.
«Этот случай показывает, что модель может подменять разрешение владельца счета собственным суждением о вероятном вреде, а затем действовать на основе этого суждения без авторизации», — говорится в отчете OpenAI.
Компания обнаружила нарушение в сентябре. После инцидента разработчики ввели дополнительные ограничения на доступ ИИ к интернету и усилили контроль за его поведением.
12 октября президент Microsoft Брэд Смит призвал ужесточить требования к безопасности ИИ. По его словам, сейчас на стиральные машины распространяется больше правил безопасности, чем на искусственный интеллект. Брэд Смит предложил создать специальные «аварийные тормоза», позволяющие остановить или замедлить работу ИИ, если он выйдет из-под контроля.
