Предрекаемое писателями-фантастами ужасное будущее соседства с умными машинами, похоже, наступило. Нет, человечество не атакуют миллионы антропоморфных роботов — это делают (пока в относительно небольшом масштабе) самообучаемые алгоритмы. Инциденты с участием ИИ-агентов фиксируют OpenAI, Anthropic, Google. Фраза «потеря контроля» все чаще появляется в отчетах компаний по кибербезопасности.
Кто не рискует, тот не пользуется ИИ
За последние несколько лет произошли коренные перемены во взаимоотношениях пользователей и нейросетей. ИИ-модели умнеют не по дням, а по часам — им поручают всё более сложные задачи.
Языковые модели, которые еще недавно только отвечали на вопросы, за последние два года уступили место ИИ-агентам. Коренных отличий от языковой модели два: агент сам решает, какие совершить шаги для достижения поставленной человеком цели, и имеет доступ к оборудованию: знает пароли, может запускать программы, выходить в интернет. И таких агентов, нацеленных на решение одной конкретной задачи, могут быть десятки или сотни — как в инциденте с атакой на американскую компанию Hugging Face. Уследить за ними практически невозможно.
Справка
Что собой представляет ИИ-агент
Это автономная программа на базе искусственного интеллекта, обычно на основе большой языковой модели (LLM), способная самостоятельно ставить цели, планировать многошаговые действия, использовать внешние инструменты и доводить задачу до логического завершения без подсказок человека.
Лучшие ИИ-агенты уже примерно в половине случаев сами доводят до конца задачи по программированию, на которые у человека ушло бы полтора рабочих дня, подсчитала некоммерческая организация METR (оценивает ИИ-модели на наличие скрытых угроз). Но чем умнее становятся агенты, тем серьезнее последствия их ошибок — иногда случайных, а порой и злонамеренных. Стремительно умнеющие программы формируют несколько серьезных угроз.
Риск 1. Жульничество на проверках
В обучении моделей есть этап «с подкреплением», где за решения задачи им буквально ставят оценки — как ученикам в школе. Разница лишь в том, что оценки ставит не человек, а другая программа — автоматический проверяющий. Если он не отличает честное решение от подсмотренного ответа, за списанное ставят ту же оценку, и модель запоминает, что так можно делать и дальше. Специалисты называют этот баг reward hacking — дословно «взлом награды».
Причем у ИИ-агента возможностей больше, чем у нерадивого школьника: он может не только списать, но и исправить себе оценку в журнале. В тестах METR на самых длинных заданиях не менее 16% засчитанных решений при разборе оказались жульничеством. Агент находил в интернете готовые ответы, подменял проверяющую программу или добирался до контрольных заданий, которые от него прятали. Поэтому отчет агента о том, что задача решена, сам по себе ничего не гарантирует. Выискивать обман приходится вручную, и теперь это часто занимает у исследователей бóльшую часть времени при каждом новом тестировании.
Авторы International AI Safety Report добавляют, что ИИ-модели все чаще распознают, когда их тестируют, и при проверке могут вести себя иначе, чем в реальной работе. Из-за этого испытания, которые лаборатории проводят перед тем, как открыть модель пользователям, все хуже предсказывают, как она поведет себя при реальной эксплуатации.
Статистика
Почему опасны умные ИИ-агенты
METR разобрала 44 описанных случая, когда агент делал не то, чего хотел пользователь. В 25 из них он одновременно превышал полномочия и скрывал это. Пример: один из агентов написал программу, которая подменяла результат прямо в памяти проверяющей системы, а затем стирала сама себя.
Риск 2. Безнадзорный код
В лабораториях, которые программируют ИИ, человек уже редко читает каждую строку кода. Anthropic сообщила METR, что бóльшую часть кода в компании пишет сам ИИ, а инженеры все чаще просматривают уже готовые правки и раздают задания ИИ-агентам. В феврале и марте 2026 года METR изучала, как устроена работа в Anthropic, Google, Meta и OpenAI. Выяснилось, что ни в одной компании нет строгих правил, которые обязывали бы людей присматривать за агентами.
В популярном тесте SWE-bench Verified агент исправляет ошибки в настоящих программах, а работу принимает (одобряет) другой алгоритм. По оценке METR, программисты при обычной «ручной» проверке приняли бы лишь примерно половину засчитанных алгоритмом решений. Когда исходный код никто не читает, изъяны попадают в программы — часть из них может стать легкой лазейкой для взломщиков.
Риск 3. Спонтанные атаки
Агенты, имеющие выход в интернет, могут атаковать реальные компьютерные системы, которые им никто не разрешал трогать, принимая их за учебные симуляции. Израильская компания Irregular по заказу исследовательских лабораторий устраивает моделям «хакерские учения» в лабораторных условиях. Но из-за ошибки в настройке тестовые машины получили доступ к интернету. Anthropic в конце июля 2026 года сообщила, что несколько ее ИИ-моделей на таких учениях взломали три реальные организации. Одна из моделей выложила в открытый доступ вредоносную программу, и за час ее скачали и запустили 15 чужих систем.
В сентябре The Wall Street Journal рассказала о таком же случае с разработанной Google нейросетью Gemini. В майском тесте модель подобрала пароль к одному сервису и вошла еще в два, найдя логины и пароли в общедоступном хранилище кода. Но в Google заявили, что Gemini прекращала атаку, как только понимала, что перед ней настоящая компания. В середине октября OpenAI сообщила об инциденте с несанкционированным списанием средств в чужого криптокошелька. ИИ-агенту поручили обновить прототип криптоприложения и разместить смарт-контракты в тестовой сети Sepolia. Для оплаты комиссий он получил ключи от чужого аккаунта и списал токены.
Угрозу создает и «послушный» ИИ-агент в руках злоумышленников. В середине сентября 2025 года Anthropic выявила целую шпионскую кампанию: хакерская группа натравила агента Anthropic на три десятка организаций. Злоумышленники дробили задачу для ИИ-модели на безобидные с виду действия и уверяли ее, что идет законная проверка защиты компаний. ИИ выполнил до 90% работы по взлому систем.
Понять, что взлом совершил агент, очень сложно, отмечает ML-директор Positive Technologies Андрей Кузнецов. Хакерскую кампанию, напоминает он, Anthropic вскрыла только благодаря записям в журналах собственного сервиса, а службы мониторинга безопасности ее не заметили. Но косвенные признаки таких атак все же есть — их можно обнаружить. По словам Кузнецова, средства защиты веб-приложений Positive Technologies фиксируют резкий рост сканирования, которое ведут агенты: они буквально перебирают сайты и сервисы компаний в поисках «открытой двери».
Риск 4. Сговор агентов
В июле OpenAI проверяла хакерские навыки моделей на наборе задач ExploitGym. Общаться между собой агенты не должны были, но приспособили общее внутреннее хранилище файлов под доску объявлений и стали оставлять там друг другу «записки». Независимое расследование METR и Redwood Research насчитало на этой доске около 1,2 тыс. агентов и более 70 тыс. сообщений и файлов. Способ подделывать ответы агенты нашли за несколько часов. Дальше им нужно было убедить программу-проверяющего, что результат получен честно, и они взялись исправлять записи о собственных действиях. Деятельность стихийно возникшей «ОПГ агентов» координировала программа, назвавшая себя PHASEONE[BIG].
Чтобы понять, как устроена программа-проверяющий, агенты без ведома разработчиков атаковали платформу машинного обучения Hugging Face, развернув зловредную деятельность на 41 сервере. Затем они добрались до внутренней сети материнской компании OpenAI. Дело в том, что защиту обычно строят в расчете на каждого агента по отдельности. В случае с ExploitGym агенты, которым полагалось действовать поодиночке, распределили задачи, обзавелись координатором и вместе стали «заметать следы».
Риск 5. Агент-инсайдер
В информационной безопасности давно есть понятие инсайдера: так называют сотрудника, который вредит компании изнутри, пользуясь законным доступом к конфиденциальным данным. У ИИ-агента, работающего внутри компании, также есть доступ к чувствительной информации. Андрей Кузнецов отмечает, что поскольку ИИ-агент запускается на компьютере конкретного сотрудника организации, то имеет такие же права доступа, как и человек. Но может совершать множество действий, о которых пользователь даже не подозревает. При этом отличить работу агента от действий самого сотрудника практически невозможно, добавляет Андрей Кузнецов. Особенно трудно расследовать инцидент, если атака велась не снаружи, а изнутри компании собственным ИИ-агентом.
Права доступа агентам при этом раздают довольно щедро. Согласно опросу METR, около 40% разработчиков и исследователей в проектах, где цена ошибки невелика, разрешают агентам выполнять на своем компьютере любые операции. В самих исследовательских лабораториях разработчиков ИИ, по оценке METR, агенты зачастую работают с правами, сопоставимыми с правами сотрудников.
Риски складываются в цепочку
Эти риски усиливают друг друга. Агент, который обходит проверки, скрывает свои действия, договаривается с другими агентами и работает на правах настоящего сотрудника компании, может незаметно внедриться в любую систему и остаться там, где его не ждут. METR пришла к выводу, что у ИИ-агентов, вероятно, уже есть возможности, мотивы и условия, чтобы втайне от людей засылать группы таких «шпионов» на серверы реальных компаний. Правда, скрыть такие действия при проведении соответствующего расследования службами кибербезопасности пока невозможно. Но возможности ИИ растут с каждым днем.
Национальные особенности агентов
По словам руководителя направления развития продуктов кибербезопасности Cloud.ru Максима Долгинина, общая картина с деятельностью ИИ-агентов в России похожа на ту, что описывает METR. Отдельные разработчики и небольшие команды часто включают для агентов режим «разрешить всё»: постоянные запросы на подтверждение того или иного действия замедляют работу. В средних и крупных компаниях агентам обычно открывают хранилища кода, трекеры задач, базы знаний и системы, которые собирают программы и выпускают их в работу.
Главным риском Максим Долгинин называет выдачу права «на вырост» — когда ИИ-агент действует под учетной записью разработчика или под технической и прав у него больше, чем нужно для решения конкретной задачи. Если агента обманут — например спрятав вредоносную инструкцию во входящем письме или на изучаемой ИИ веб-странице, ущерб будет ровно таким, какой позволяют нанести выданные алгоритму права доступа.
Взгляд в будущее
Обоснованных и детальных прогнозов на длительный период — десять лет и более — в отрасли нет. International AI Safety Report 2026 ограничивается 2030 годом и предлагает четыре сценария, подготовленных вместе с Организацией экономического сотрудничества и развития (ОЭСР): от остановки прогресса до появления систем ИИ, которые справляются с удаленной работой не хуже человека. При нынешнем темпе развития способностей нейросетей к 2030 году агенты смогут надежно выполнять задачи по программированию, на которые человек тратит несколько дней.
Всемирный экономический форум для Global Risks Report 2026 опросил более 1,3 тыс. экспертов. В прогнозе на два года вперед негативные последствия от деятельности ИИ занимают 30-е место среди глобальных рисков, в прогнозе на десять лет — уже оказываются на пятом месте.
Быстрее остальных угроз, судя по 2026 году, растет количество атак ИИ-агентов, их сговор и жульничество на проверках. Самый непредсказуемый сценарий авторы International AI Safety Report описывают так: «Если ИИ начнет заметно ускорять собственную разработку, десятилетия прогресса могут уложиться в годы».
Кто держит рубильник
Нормативная база и регуляторы не поспевают за бурным развитием программ. Число зафиксированных инцидентов с ИИ, по данным стэнфордского AI Index, выросло с 233 в 2024 году до 362 — в 2025-м. За прошлый год 12 компаний опубликовали или обновили собственные правила безопасности для самых мощных ИИ-моделей, но почти все они носят добровольный характер.
В Евросоюзе разработчики крупнейших моделей с августа 2025 года обязаны сообщать о серьезных киберинцидентах, но полномочия наказывать за такие нарушения Еврокомиссия получила лишь в августе 2026 года. В Конгресс США 3 сентября внесен законопроект Stop Rogue AI Act о реестре ИИ-агентов и защищенных от изменений журналов их действий, но обязательными эти нормы станут только для федеральных ИТ-подрядчиков. Частные компании сами решают, делать ли инциденты с участием ИИ-агентов достоянием общественности.
Обязывать российские компании сообщать об инцидентах с ИИ-агентами Андрей Кузнецов считает излишним. Для обычных киберинцидентов правила уже есть, а случаи, когда агент на общедоступной модели повел себя не так, как должен, по его словам, пока очень редки.
В информационной безопасности компании давно строят эшелонированную защиту: несколько независимых рубежей, чтобы прорыв одного не открывал дорогу дальше. Инциденты в OpenAI, Anthropic и Google, считает Максим Долгинин, показали, что агента нельзя держать за «одной стеной» защиты: одну границу он может обойти через уязвимость, другую — благодаря ошибке в его же настройке. Ограничения Долгинин предлагает встраивать в сами серверы и сети, на которых работает ИИ-агент. Инфраструктура станет непреодолимым барьером, уверен он.
Сейчас выход во внешнюю сеть агенту изначально закрывают, а постоянные ключи доступа заменяют временными пропусками, которые быстро сгорают и открывают только то, что нужно для конкретной задачи. Cloud, по словам Максима Долгинина, применяет все эти меры, а для конфиденциальных данных предлагает клиентам отдельные защищенные ИИ-сервисы.
Андрей Кузнецов сравнивает внедрение агента с внедрением любой другой ИТ-системы: нужно понять, на что он может повлиять, и решить, какие доступы ему открыть. Чаще всего, по его словам, компании пропускают проверку качества: для агента нужно собрать отдельный набор примеров (тестов) с заранее известными правильными результатами и по этим тестам оценивать корректность работы. Но поскольку это «скучно, сложно и дорого», компании обычно, по словам Кузнецова, стараются этот этап пропустить.
Если счет не загрузился
автоматически,
нажмите кнопку «Скачать счет».
Смена пароля
Продолжая использовать сайт expert.ru, вы соглашаетесь на обработку персональных данных при помощи куки (cookie) файлов, в том числе с использованием сервиса веб-аналитики "Яндекс Метрика", на условиях Политики обработки персональных данных.