OpenAI приостановила разработку ИИ-модели Astra, поскольку она не соответствует новым стандартам безопасности, пишет Axios. Это решение последовало после взлома платформы Hugging Face ИИ-агентом OpenAI. Сроки выпуска модели не оглашаются. При этом в компании отметили, что Astra не связана со взломом платформы Hugging Face
OpenAI замедлит разработку модели Astra из-за опасений по поводу ее потенциально опасных возможностей в работе с инструментами кибербезопасности. Об этом сообщил портал Axios со ссылкой на представителей компании.
После инцидента с ИИ-агентами, вышедшими из-под контроля и атаковавшими платформу Hugging Face, OpenAI заявила, что планирует провести дополнительные тесты безопасности ИИ-модели Astra. Сроки выпуска модели не оглашаются. При этом в компании отметили, что Astra не связана со взломом платформы Hugging Face.
Axios сообщил, что OpenAI первой из лидеров ИИ решила замедлить разработку моделей для работы над их ограничениями. До этого компания Anthropic также обещала замедлить обучение моделей ИИ в случае, если их возможности превысят способность разработчиков контролировать их. Однако затем в компании изменили свое решение.
«Если один разработчик ИИ приостановит разработку для внедрения мер безопасности, в то время как другие будут продолжать обучение и развертывание систем ИИ без надежных мер по смягчению последствий, это может привести к тому, что мир станет менее безопасным»,— объяснили решение в компании.
25 июля агентство Reuters сообщило, что компания OpenAI неделю не замечала, как ее ИИ-агент вышел из-под контроля и взломал инфраструктуру Hugging Face — хранилище ИИ-моделей и инструментов, обнаружив в ней уязвимости. ИИ-агент «сбежал» из тестовой среды 9 июля. 11–13 июля Hugging Face была атакована, но OpenAI понадобилось еще несколько дней, чтобы понять, что за атакой стоит ее ИИ-агент — только 18–19 июля сотрудники нашли во внутренних логах следы его «побега».
29 июля ИИ-агент OpenAI, который взломал платформу Hugging Face, скомпрометировал также клиента Modal Labs. При этом сама компания не была взломана. Агент смог проникнуть в тестовую среду, превратив ее в плацдарм для более масштабного взлома.
