OpenAI понадобилось больше недели, чтобы заметить, что ее ИИ-агент «сбежал» из тестовой среды и атаковал инфраструктуру Hugging Face. «Признаки аномального поведения» агента проявлялись еще до атаки. Эксперты обеспокоены процедурами безопасности в компании
Компания OpenAI неделю не замечала, как ее ИИ-агент вышел из-под контроля и взломал инфраструктуру Hugging Face — хранилище ИИ-моделей и инструментов, обнаружив в ней уязвимости, сообщает агентство Reuters.
Отмечается, что ИИ-агент, способный выполнять сложные задачи без человеческого руководства, «сбежал» из тестовой среды 9 июля. 11–13 июля Hugging Face была атакована, но OpenAI понадобилось еще несколько дней, чтобы понять, что за атакой стоит ее ИИ-агент — только 18–19 июля сотрудники нашли во внутренних логах следы его «побега».
Компании впервые обсудили инцидент только 20 июля, пишет Reuters. 21 июля OpenAI публично признала, что ее агент выбрался из тестовой среды и совершил атаку на другую компанию.
Потеря компанией OpenAI контроля над своим ИИ-агентом поднимает новые вопросы о процедурах обеспечения безопасности в компании, считают эксперты. Как отмечает Reuters, «признаки аномального поведения» проявлялись еще до атаки — ранее в инфраструктуре OpenAI были обнаружены заметки, оставленные агентом. Предполагается, что они предназначались «будущим версиям самого себя» и содержали методы обхода внутренних ограничений системы.
Ситуация с «побегом» ИИ-агента OpenAI может быть очередной пиар-кампанией, считает Guardian. Издание призывает «быть скептичными» по поводу заявлений компании о невероятно мощном ИИ-агенте, которого едва можно сдержать. Это может быть уловкой для привлечения инвесторов, пишет Guardian.
