Если наступит завтра

Новая волна развития ИИ создает реальные угрозы, еще вчера казавшиеся фантастикой

Иллюстрация: Евгений Тонконогий
Предрекаемое писателями-фантастами ужасное будущее соседства с умными машинами, похоже, наступило. Нет, человечество не атакуют миллионы антропоморфных роботов — это делают (пока в относительно небольшом масштабе) самообучаемые алгоритмы. Инциденты с участием ИИ-агентов фиксируют OpenAI, Anthropic, Google. Фраза «потеря контроля» все чаще появляется в отчетах компаний по кибербезопасности.

Кто не рискует, тот не пользуется ИИ

За последние несколько лет произошли коренные перемены во взаимоотношениях пользователей и нейросетей. ИИ-модели умнеют не по дням, а по часам — им поручают всё более сложные задачи.
Языковые модели, которые еще недавно только отвечали на вопросы, за последние два года уступили место ИИ-агентам. Коренных отличий от языковой модели два: агент сам решает, какие совершить шаги для достижения поставленной человеком цели, и имеет доступ к оборудованию: знает пароли, может запускать программы, выходить в интернет. И таких агентов, нацеленных на решение одной конкретной задачи, могут быть десятки или сотни — как в инциденте с атакой на американскую компанию Hugging Face. Уследить за ними практически невозможно.

Справка

Что собой представляет ИИ-агент

Это автономная программа на базе искусственного интеллекта, обычно на основе большой языковой модели (LLM), способная самостоятельно ставить цели, планировать многошаговые действия, использовать внешние инструменты и доводить задачу до логического завершения без подсказок человека.

Лучшие ИИ-агенты уже примерно в половине случаев сами доводят до конца задачи по программированию, на которые у человека ушло бы полтора рабочих дня, подсчитала некоммерческая организация METR (оценивает ИИ-модели на наличие скрытых угроз). Но чем умнее становятся агенты, тем серьезнее последствия их ошибок — иногда случайных, а порой и злонамеренных. Стремительно умнеющие программы формируют несколько серьезных угроз.
  • Риск 1. Жульничество на проверках
В обучении моделей есть этап «с подкреплением», где за решения задачи им буквально ставят оценки — как ученикам в школе. Разница лишь в том, что оценки ставит не человек, а другая программа — автоматический проверяющий. Если он не отличает честное решение от подсмотренного ответа, за списанное ставят ту же оценку, и модель запоминает, что так можно делать и дальше. Специалисты называют этот баг reward hacking — дословно «взлом награды».
Причем у ИИ-агента возможностей больше, чем у нерадивого школьника: он может не только списать, но и исправить себе оценку в журнале. В тестах METR на самых длинных заданиях не менее 16% засчитанных решений при разборе оказались жульничеством. Агент находил в интернете готовые ответы, подменял проверяющую программу или добирался до контрольных заданий, которые от него прятали. Поэтому отчет агента о том, что задача решена, сам по себе ничего не гарантирует. Выискивать обман приходится вручную, и теперь это часто занимает у исследователей бóльшую часть времени при каждом новом тестировании.
Авторы International AI Safety Report добавляют, что ИИ-модели все чаще распознают, когда их тестируют, и при проверке могут вести себя иначе, чем в реальной работе. Из-за этого испытания, которые лаборатории проводят перед тем, как открыть модель пользователям, все хуже предсказывают, как она поведет себя при реальной эксплуатации.

Статистика

Почему опасны умные ИИ-агенты

METR разобрала 44 описанных случая, когда агент делал не то, чего хотел пользователь. В 25 из них он одновременно превышал полномочия и скрывал это. Пример: один из агентов написал программу, которая подменяла результат прямо в памяти проверяющей системы, а затем стирала сама себя.

Если наступит завтра
  • Риск 2. Безнадзорный код
В лабораториях, которые программируют ИИ, человек уже редко читает каждую строку кода. Anthropic сообщила METR, что бóльшую часть кода в компании пишет сам ИИ, а инженеры все чаще просматривают уже готовые правки и раздают задания ИИ-агентам. В феврале и марте 2026 года METR изучала, как устроена работа в Anthropic, Google, Meta и OpenAI. Выяснилось, что ни в одной компании нет строгих правил, которые обязывали бы людей присматривать за агентами.
В популярном тесте SWE-bench Verified агент исправляет ошибки в настоящих программах, а работу принимает (одобряет) другой алгоритм. По оценке METR, программисты при обычной «ручной» проверке приняли бы лишь примерно половину засчитанных алгоритмом решений. Когда исходный код никто не читает, изъяны попадают в программы — часть из них может стать легкой лазейкой для взломщиков.
  • Риск 3. Спонтанные атаки
Агенты, имеющие выход в интернет, могут атаковать реальные компьютерные системы, которые им никто не разрешал трогать, принимая их за учебные симуляции. Израильская компания Irregular по заказу исследовательских лабораторий устраивает моделям «хакерские учения» в лабораторных условиях. Но из-за ошибки в настройке тестовые машины получили доступ к интернету. Anthropic в конце июля 2026 года сообщила, что несколько ее ИИ-моделей на таких учениях взломали три реальные организации. Одна из моделей выложила в открытый доступ вредоносную программу, и за час ее скачали и запустили 15 чужих систем.
В сентябре The Wall Street Journal рассказала о таком же случае с разработанной Google нейросетью Gemini. В майском тесте модель подобрала пароль к одному сервису и вошла еще в два, найдя логины и пароли в общедоступном хранилище кода. Но в Google заявили, что Gemini прекращала атаку, как только понимала, что перед ней настоящая компания. В середине октября OpenAI сообщила об инциденте с несанкционированным списанием средств в чужого криптокошелька. ИИ-агенту поручили обновить прототип криптоприложения и разместить смарт-контракты в тестовой сети Sepolia. Для оплаты комиссий он получил ключи от чужого аккаунта и списал токены.
Угрозу создает и «послушный» ИИ-агент в руках злоумышленников. В середине сентября 2025 года Anthropic выявила целую шпионскую кампанию: хакерская группа натравила агента Anthropic на три десятка организаций. Злоумышленники дробили задачу для ИИ-модели на безобидные с виду действия и уверяли ее, что идет законная проверка защиты компаний. ИИ выполнил до 90% работы по взлому систем.
Понять, что взлом совершил агент, очень сложно, отмечает ML-директор Positive Technologies Андрей Кузнецов. Хакерскую кампанию, напоминает он, Anthropic вскрыла только благодаря записям в журналах собственного сервиса, а службы мониторинга безопасности ее не заметили. Но косвенные признаки таких атак все же есть — их можно обнаружить. По словам Кузнецова, средства защиты веб-приложений Positive Technologies фиксируют резкий рост сканирования, которое ведут агенты: они буквально перебирают сайты и сервисы компаний в поисках «открытой двери».
  • Риск 4. Сговор агентов
В июле OpenAI проверяла хакерские навыки моделей на наборе задач ExploitGym. Общаться между собой агенты не должны были, но приспособили общее внутреннее хранилище файлов под доску объявлений и стали оставлять там друг другу «записки». Независимое расследование METR и Redwood Research насчитало на этой доске около 1,2 тыс. агентов и более 70 тыс. сообщений и файлов. Способ подделывать ответы агенты нашли за несколько часов. Дальше им нужно было убедить программу-проверяющего, что результат получен честно, и они взялись исправлять записи о собственных действиях. Деятельность стихийно возникшей «ОПГ агентов» координировала программа, назвавшая себя PHASEONE[BIG].
Чтобы понять, как устроена программа-проверяющий, агенты без ведома разработчиков атаковали платформу машинного обучения Hugging Face, развернув зловредную деятельность на 41 сервере. Затем они добрались до внутренней сети материнской компании OpenAI. Дело в том, что защиту обычно строят в расчете на каждого агента по отдельности. В случае с ExploitGym агенты, которым полагалось действовать поодиночке, распределили задачи, обзавелись координатором и вместе стали «заметать следы».
Если наступит завтра
  • Риск 5. Агент-инсайдер
В информационной безопасности давно есть понятие инсайдера: так называют сотрудника, который вредит компании изнутри, пользуясь законным доступом к конфиденциальным данным. У ИИ-агента, работающего внутри компании, также есть доступ к чувствительной информации. Андрей Кузнецов отмечает, что поскольку ИИ-агент запускается на компьютере конкретного сотрудника организации, то имеет такие же права доступа, как и человек. Но может совершать множество действий, о которых пользователь даже не подозревает. При этом отличить работу агента от действий самого сотрудника практически невозможно, добавляет Андрей Кузнецов. Особенно трудно расследовать инцидент, если атака велась не снаружи, а изнутри компании собственным ИИ-агентом.
Права доступа агентам при этом раздают довольно щедро. Согласно опросу METR, около 40% разработчиков и исследователей в проектах, где цена ошибки невелика, разрешают агентам выполнять на своем компьютере любые операции. В самих исследовательских лабораториях разработчиков ИИ, по оценке METR, агенты зачастую работают с правами, сопоставимыми с правами сотрудников.

Риски складываются в цепочку

Эти риски усиливают друг друга. Агент, который обходит проверки, скрывает свои действия, договаривается с другими агентами и работает на правах настоящего сотрудника компании, может незаметно внедриться в любую систему и остаться там, где его не ждут. METR пришла к выводу, что у ИИ-агентов, вероятно, уже есть возможности, мотивы и условия, чтобы втайне от людей засылать группы таких «шпионов» на серверы реальных компаний. Правда, скрыть такие действия при проведении соответствующего расследования службами кибербезопасности пока невозможно. Но возможности ИИ растут с каждым днем.

Национальные особенности агентов

По словам руководителя направления развития продуктов кибербезопасности Cloud.ru Максима Долгинина, общая картина с деятельностью ИИ-агентов в России похожа на ту, что описывает METR. Отдельные разработчики и небольшие команды часто включают для агентов режим «разрешить всё»: постоянные запросы на подтверждение того или иного действия замедляют работу. В средних и крупных компаниях агентам обычно открывают хранилища кода, трекеры задач, базы знаний и системы, которые собирают программы и выпускают их в работу.
Главным риском Максим Долгинин называет выдачу права «на вырост» — когда ИИ-агент действует под учетной записью разработчика или под технической и прав у него больше, чем нужно для решения конкретной задачи. Если агента обманут — например спрятав вредоносную инструкцию во входящем письме или на изучаемой ИИ веб-странице, ущерб будет ровно таким, какой позволяют нанести выданные алгоритму права доступа.

Взгляд в будущее

Обоснованных и детальных прогнозов на длительный период — десять лет и более — в отрасли нет. International AI Safety Report 2026 ограничивается 2030 годом и предлагает четыре сценария, подготовленных вместе с Организацией экономического сотрудничества и развития (ОЭСР): от остановки прогресса до появления систем ИИ, которые справляются с удаленной работой не хуже человека. При нынешнем темпе развития способностей нейросетей к 2030 году агенты смогут надежно выполнять задачи по программированию, на которые человек тратит несколько дней.
Всемирный экономический форум для Global Risks Report 2026 опросил более 1,3 тыс. экспертов. В прогнозе на два года вперед негативные последствия от деятельности ИИ занимают 30-е место среди глобальных рисков, в прогнозе на десять лет — уже оказываются на пятом месте.
Быстрее остальных угроз, судя по 2026 году, растет количество атак ИИ-агентов, их сговор и жульничество на проверках. Самый непредсказуемый сценарий авторы International AI Safety Report описывают так: «Если ИИ начнет заметно ускорять собственную разработку, десятилетия прогресса могут уложиться в годы».
Если наступит завтра

Кто держит рубильник

Нормативная база и регуляторы не поспевают за бурным развитием программ. Число зафиксированных инцидентов с ИИ, по данным стэнфордского AI Index, выросло с 233 в 2024 году до 362 — в 2025-м. За прошлый год 12 компаний опубликовали или обновили собственные правила безопасности для самых мощных ИИ-моделей, но почти все они носят добровольный характер.
В Евросоюзе разработчики крупнейших моделей с августа 2025 года обязаны сообщать о серьезных киберинцидентах, но полномочия наказывать за такие нарушения Еврокомиссия получила лишь в августе 2026 года. В Конгресс США 3 сентября внесен законопроект Stop Rogue AI Act о реестре ИИ-агентов и защищенных от изменений журналов их действий, но обязательными эти нормы станут только для федеральных ИТ-подрядчиков. Частные компании сами решают, делать ли инциденты с участием ИИ-агентов достоянием общественности.
Обязывать российские компании сообщать об инцидентах с ИИ-агентами Андрей Кузнецов считает излишним. Для обычных киберинцидентов правила уже есть, а случаи, когда агент на общедоступной модели повел себя не так, как должен, по его словам, пока очень редки.
В информационной безопасности компании давно строят эшелонированную защиту: несколько независимых рубежей, чтобы прорыв одного не открывал дорогу дальше. Инциденты в OpenAI, Anthropic и Google, считает Максим Долгинин, показали, что агента нельзя держать за «одной стеной» защиты: одну границу он может обойти через уязвимость, другую — благодаря ошибке в его же настройке. Ограничения Долгинин предлагает встраивать в сами серверы и сети, на которых работает ИИ-агент. Инфраструктура станет непреодолимым барьером, уверен он.
Сейчас выход во внешнюю сеть агенту изначально закрывают, а постоянные ключи доступа заменяют временными пропусками, которые быстро сгорают и открывают только то, что нужно для конкретной задачи. Cloud, по словам Максима Долгинина, применяет все эти меры, а для конфиденциальных данных предлагает клиентам отдельные защищенные ИИ-сервисы.
Андрей Кузнецов сравнивает внедрение агента с внедрением любой другой ИТ-системы: нужно понять, на что он может повлиять, и решить, какие доступы ему открыть. Чаще всего, по его словам, компании пропускают проверку качества: для агента нужно собрать отдельный набор примеров (тестов) с заранее известными правильными результатами и по этим тестам оценивать корректность работы. Но поскольку это «скучно, сложно и дорого», компании обычно, по словам Кузнецова, стараются этот этап пропустить.
Ключевые угрозы ИИ
Ключевые угрозы ИИ

Продолжая использовать сайт expert.ru, вы соглашаетесь на обработку персональных данных при помощи куки (cookie) файлов, в том числе с использованием сервиса веб-аналитики "Яндекс Метрика", на условиях Политики обработки персональных данных.