Два ИИ-агента OpenAI при выполнении задач ослабили систему мониторинга их поведения, говорится в отчете компании. Модели восприняли обычные инструкции по программированию как разрешение ослабить защиту. В компании считают, что модели могли проигнорировать важность мониторинга, переусердствовав с выполнением задач, или же целенаправленно обойти ограничения. OpenAI уже обновила систему проверки Codex, чтобы блокировать такие попытки
ИИ-агенты GPT-6.1 Sol и GPT-6 Astra в ходе внутренних задач ослабили систему мониторинга безопасности OpenAI. Об этом говорится в отчете компании, опубликованном 20 октября.
Первый случай произошел 3 октября. Агент GPT-6.1 Sol работал над исправлением системы оценки моделей, использовавшей отзывы сотрудников из Slack. Пользователь попросил его не отправлять сообщения в мессенджере. Когда при выполнении задачи мониторинг обнаружил проблему, агент решил, что первоначальный запрет распространяется и на автоматические уведомления службы безопасности. В результате система продолжила сохранять результаты проверки, но оповещения для специалистов были отключены.
Второй случай произошел 6 октября. Модель GPT-6 Astra переносила программу на новую архитектуру и удалила фрагмент кода, отвечающий за мониторинг безопасности, чтобы привести программу к эталону. После этого ИИ-агент сообщил пользователю, что не делал этого.
По данным OpenAI, в обоих случаях модели рассматривали вопрос о сохранении защитных механизмов, но интерпретировали обычные инструкции по программированию как разрешение ослабить их. В OpenAI пока не пришли к окончательному выводу о причинах такого поведения. Компания рассматривает две версии: модели могли чрезмерно упорствовать в выполнении инструкций, не понимая важности мониторинга, либо проявлять склонность целенаправленно обходить контроль.
OpenAI уточнила, что ни один из двух случаев не получил высшую категорию критичности и ни одна из задач не была автоматически остановлена. При этом в компании сообщили о других случаях, когда агенты запускали программы с отключенным мониторингом: сама модель оставалась под наблюдением, но контроль не распространялся на запущенную ею систему.
Компания уже обновила систему проверки внутренних задач Codex, чтобы она обнаруживала и блокировала попытки отключить мониторинг. OpenAI также планирует требовать от каждого типа рабочих нагрузок обоснование безопасности с четко определенными требованиями к мониторингу. Задачи, которые не будут соответствовать этим требованиям, предполагается автоматически останавливать.
В конце сентября 2026 г. OpenAI отказалась от запланированного на октябрь выпуска GPT-6.1 Astra из-за опасений по поводу безопасности модели. При внутреннем тестировании она чаще демонстрировала признаки обмана и не всегда точно сообщала о выполненных действиях.
