Призыв сооснователя компании Anthropic Дарио Амодеи замедлить развитие искусственного интеллекта многие восприняли как пиар. Его доля действительно есть, но об опасности говорят внутренние шкалы самих разработчиков ИИ. В начале сентября OpenAI впервые признала, что одна из ее моделей достигла максимального уровня киберопасности. Риски реальны, и готовиться к ним нужно уже сейчас.
Андрей Кузнецов
Machine Learning директор Positive Technologies
Контекст
Соучредитель и гендиректор Anthropic Дарио Амодеи 12 сентября опубликовал эссе с призывом замедлить развитие самых мощных моделей ИИ, чтобы безопасность успевала за прогрессом. По его оценке, через полгода — год рой ИИ-агентов сможет захватить интернет с помощью постоянно действующего ботнета и причинить ущерб в сотни миллиардов долларов.
Поводом стали инциденты лета 2026 г. Агенты OpenAI вышли за пределы тестовой среды и атаковали платформу Hugging Face, а модели Claude в ходе тестов на кибербезопасность получили несанкционированный доступ к системам трех организаций.
План Дарио Амодеи включает 3 этапа:
- доступ независимых оценщиков внутрь ИИ-компаний;
- координацию разработчиков в демократических странах;
- глобальные договоренности, в том числе с Китаем.
Идею поддержали сооснователь OpenAI Сэм Альтман, основатель xAI Илон Маск, сооснователь Google DeepMind Демис Хассабис и основатель Microsoft Билл Гейтс. Инвестор Майкл Бьюрри заподозрил руководителей ИИ-компаний в попытке набить цену перед IPO. Президент США Дональд Трамп призывы отверг, настаивая на сохранении лидерства США в гонке с Китаем.
В чем опасность
Широко известный за пределами США финансист Майкл Бьюрри назвал заявления ИИ-компаний хайпом и предположил, что разговоры о безопасности прикрывают замедление роста отрасли. Отчасти он прав: в любом громком предупреждении есть элемент пиара. Но судить об угрозе по публичным заявлениям бессмысленно. Гораздо показательнее документы, в которых лаборатории заранее описывают, при каком уровне возможностей модель становится опасной, и результаты проверок по этим документам.
Главный такой документ, Preparedness Framework, OpenAI впервые опубликовала в декабре 2023 года. В нынешней редакции он отслеживает 3 направления, где рост возможностей моделей может привести к тяжелому ущербу:
- биологическое и химическое оружие;
- кибербезопасность;
- самоулучшение ИИ.
Для каждого направления заданы пороги. Уровень High означает, что модель усиливает уже существующие способы нанести ущерб, уровень Critical означает, что она открывает принципиально новые.
В июле OpenAI сообщила, что не может исключить критический уровень у своей новой модели Astra, а 1 сентября подтвердила: Astra стала первой моделью компании, достигшей критического порога по кибербезопасности. При наличии инструментов и доступа она сама находит неизвестные уязвимости и разрабатывает эксплойты для хорошо защищенных систем, без человека, который направлял бы каждый шаг. OpenAI пришлось отложить часть работ над моделью и ограничить доступ к ее кибервозможностям.
У Anthropic есть аналогичная политика со своей шкалой уровней безопасности. Доступ к модели Mythos Preview компания открыла только узкому кругу доверенных организаций из-за ее способностей к поиску уязвимостей, но этот тревожный сигнал во многом затерялся в маркетинге вокруг запуска.
ИИ на свободе
На пересечении кибервозможностей и самоулучшения лежит сценарий, который пока кажется фантастикой: модель выходит за пределы лаборатории, размещает себя на чужой инфраструктуре, взламывая ее, и дальше действует автономно. Инциденты лета 2026 года, когда агенты во время тестов вышли в интернет и атаковали реальные системы, показывают, что в лабораториях искусственный интеллект уже не удержать.
Один из ведущих исследователей в области ИИ Ян Лекун годами доказывает, что языковые модели упрутся в потолок. Пока этого не происходит: из того же объема параметров удается извлекать все больше интеллекта. Показательный пример дает китайская Z.ai. В августе она выпустила GLM-5.3 на той же базовой модели с 753 млрд параметров, что и предыдущая версия.
Только за счет дообучения GLM-5.3 прибавила 7 пунктов в независимом рейтинге Artificial Analysis и сравнялась с Kimi K3, которая по размеру превосходит GLM практически в 4 раза и является лидером среди открытых моделей. Кибервозможности при этом выросли настолько, что Z.ai отложила публикацию весов.
От закрытых лидеров открытые модели теперь отстают на считанные пункты. Возможности, которые американские лаборатории держат под контролем, появляются в моделях, веса которых рано или поздно выкладываются в открытый доступ. После этого контролировать их использование уже невозможно.
Почему Трамп против
Президент Дональд Трамп отверг призывы замедлиться ради контроля, заявив, что единственное ограничение, которое нужно ИИ, — это «сильный и умный президент». Эта аргументация к сути спора о безопасности не относится. На мой взгляд, позиция президента США продиктована экономикой.
ИИ стал одним из главных драйверов инвестиций в США: Nvidia превратилась в одну из самых дорогих компаний мира, а в OpenAI и Anthropic, которые еще не вышли на биржу, вложены огромные средства. К тому же 4 крупнейших американских гиперскейлера заявили на 2026 г. около $700 млрд капитальных затрат, а это больше ВВП Аргентины.
Замедление отрасли ударило бы по всей этой конструкции. Дональд Трамп спорит с Дарио Амодеи не о безопасности, а об экономике и лидерстве. И его аргументы не отменяют рисков, о которых предупреждают сами разработчики.
Что делать России
Предложение Дарио Амодеи сводится к тому, чтобы внимательнее следить за тем, как лаборатории обеспечивают безопасность моделей, и усилить внешний контроль, в том числе государственный. Мысль правильная, но реализовывать ее будут в США, и зависеть она будет от американской политики, а позиция Белого дома пока обратная.
Поэтому исходить стоит из худшего сценария. ИИ с такими возможностями почти наверняка станет оружием, причем, скорее всего, в обозримом будущем. Для России наиболее вероятной формой угрозы, на мой взгляд, станет масштабный кибершпионаж, а не разовые разрушительные атаки.
Защититься от этого можно только одним способом: развивать собственную кибербезопасность и собственные средства защиты. Рассчитывать на западные лаборатории не приходится. Защитный доступ к самым сильным моделям они открывают узкому кругу доверенных партнеров, и российских компаний в этом круге нет. Противостоять атакам, усиленным ИИ, нам предстоит своими силами.
