ЦБ начал учить банки защищаться от галлюцинаций ИИ

Как будет работать «методичка» регулятора по безопасной работе с нейросетями

Коллаж: «Эксперт»
Искусственный интеллект становится угрозой для банковского сектора, решили в ЦБ. Регулятор предупредил об этом участников рынка и составил для них перечень рекомендаций по технике безопасности. Банки оценили «методичку» ЦБ и посчитали, что ее выполнение потребует инвестиций. Специалистов, способных строить серьезные модели противодействия угрозам ИИ, в России крайне мало.

Что рекомендует ЦБ

Системы, работающие с помощью искусственного интеллекта, подвержены галлюцинациям (ошибочные рассуждения под видом правдоподобных), дрейфу данных (снижение точности ответов со временем), внедрению вредоносных запросов извне и другим угрозам, говорится в докладе ЦБ.
Эти основные уязвимости могут провоцировать другие риски по цепочке, предупреждает регулятор. Например, если человек не может объяснить действия ИИ, то незаметная для него ошибка нейросети может повлиять на правильность итогового решения. Банк России упоминает и недобросовестных поставщиков систем ИИ. Он указывает, что из-за их умышленных или неосторожных действий может остановиться работа финансовой организации. Последствия реализации рисков: убытки, причинение вреда деловой репутации и нарушение стабильности финансовой системы.
Документ ЦБ адресован банкам, некредитным финансовым организациям, субъектам национальной платежной системы и «лицам, оказывающим профессиональные услуги на финансовом рынке».
Главная рекомендация регулятора участникам финрынка: разработать модель угроз. Она должна учитывать возможные манипуляции поведением ИИ, риск хищения и искажения данных, обучающих нейросеть, и даже угрозу ее подмены. ЦБ рекомендует и более конкретные варианты защиты. Например, нужно проводить тестирования на проникновение, шифровать, обезличивать защищаемую информацию и маркировать ее «цифровыми метками» (если она передается стороннему поставщику для обучения ИИ под задачи организации), обучать модель ИИ децентрализованно, «дообучать» ее с учетом новых угроз и применять «ансамблевый метод», то есть, вместо использования одной конкретной модели ИИ комбинировать нейросети.
«Эксперт» направил запрос в Банк России, а также в системно значимые банки.
Для европейских банков еще в 2021 г. похожие рекомендации разработало Европейское банковское управление (EBA). Американские регуляторы еще только приступают к выработке общих рекомендаций. 12 июня Reuters сообщил, что Управление контролера денежного обращения (OCC) и ФРС усиливают контроль за тем, как кредитные учреждения используют искусственный интеллект.
В России пока нет известных случаев атак на финансовые организации с помощью ИИ, которые заканчивались бы кражей средств, отметил Дмитрий Леснов из «Финама». Но, например, децентрализованный финансовый сервис Moonwell, работающий на блокчейне, позволил злоумышленникам вывести $1,8 млн, принадлежащих пользователям, из-за ошибки в коде, который создавался при участии популярной нейросети Claude.

Пользуются ли банки ИИ

Часть российских банков и финансовых организаций уже активно применяют нейросети. Глава Сбера Герман Греф сообщал, что искусственный интеллект позволил сократить 20% неэффективных сотрудников. ВТБ заработал «десятки миллиардов рублей» от внедрения ИИ в свои банковские процессы, говорил в 2025 г. тогдашний зампред правления банка Вадим Кулик. «Альфа-Банк» в начале 2025 г. сообщал о внедрении и тестировании китайской ИИ-модели DeepSeek.
ПСБ использует ИИ при выдаче кредитов, антифроде, подготовке инвестиционных рекомендаций, рассказал «Эксперту» директор центра искусственного интеллекта банка Антон Стасенок. У кредитной организации уже есть собственная модель угроз — отдельные подходы к обеспечению безопасности систем применяются и к обучающим моделям, и к генеративному ИИ, уверяет он. «При этом мы осознанно оставляем особенно чувствительные процессы, где применение ИИ если не отсутствует, то сведено к минимуму», — резюмировал он.
У банка ДОМ.РФ на данный момент нет отдельной модели противодействия угрозам, связанным конкретно с ИИ, отметил вице-президент по информационной безопасности кредитной организации Дмитрий Никишов. По его словам, обеспечение безопасности использования нейросетей — новый процесс, который потребует инвестиций. Он считает, что документ ЦБ поможет упростить банку разработку этих мер — за счет того, что можно использовать подходы, которые выработал регулятор.

Цена безопасности

Развитие регулирования будет происходить поэтапно: «Сначала через накопление практики применения рекомендаций, а затем — через закрепление отдельных наиболее значимых требований в нормативных актах», отметил директор департамента стратегического развития Ассоциации банков России Булат Андержанов.
Есть острый вопрос — специалистов, которые умеют строить и защищать модели машинного обучения, в стране буквально единицы, говорит глава сообщества «Биржевой алгоритм» Сергей Василенко: «За них воюют зарплатами, бонусами и премиями».
Со многими из перечисленных рекомендаций, такими, как тестирование на «отравление» данных, внедрение цифровых меток и конфиденциальное обучение, классические ИБ-специалисты просто не умеют работать, говорит он, а алгоритмический трейдер, руководитель RnD финансовой компании Viking Тихон Павлов подтверждает: в вузах к такому не готовят.
Участники рынка понесут значительные затраты на выполнение рекомендаций, и специалисты будут занимать первое место в сумме расходов, убежден Тихон Павлов. На второе место он поставил оснащение специфическим ПО для мониторинга аномалий в неструктурированных данных и тестирования ИИ на уязвимости.
Для крупных участников рынка многое из того, что рекомендует ЦБ, уже существует в смежных процессах: ИБ, аудит, контроль поставщиков, управление данными, риск-менеджмент, эксплуатационная документация, сообщил «Эксперту» собеседник в крупной финансовой организации. А для небольших участников нагрузка может быть заметна, особенно если они активно используют внешние сервисы и open source-компоненты, считает собеседник. Поэтому критически важна пропорциональность. Для низкорисковых внутренних сценариев нужен легкий контур контроля. Для систем, которые влияют на деньги клиентов, права людей или устойчивость инфраструктуры, нужен полноценный режим допуска и эксплуатации, резюмировал источник.

Продолжая работу с expert.ru, вы соглашаетесь с использованием cookie-файлов, в том числе Яндекс Метрики, с целью улучшения предложений и сервиса на основе ваших предпочтений и интересов. Подробнее — в политике обработки персональных данных.