Задача по разработке «отраслевых стандартов безопасности, которые позволят США лидировать в разработке и применении этой быстро развивающейся технологии» возложена на учреждение согласно указу президента Байдена от 30 октября 2023 г. В частности, документ обязывает разработчиков мощных систем ИИ делиться с американским правительством результатами тестирований на надежность и безопасность, а также предписывает разработку и внедрение стандартизированных подходов к проведению таких испытаний на уровне всей индустрии.
Согласно опубликованному NIST официальному запросу информации, исследователям в сфере ИИ и представителям индустрии предлагается предоставить ведомству материалы, предложения и комментарии, которые будут учтены при разработке отраслевых стандартов и правил безопасности, а также подходов к тестированию ИИ-систем. Ответы принимаются до 2 февраля 2024 г. Проекты документов, составленных на их основе, будут также вынесены на публичное обсуждение.
Одна из основных методик тестирования мощных ИИ, которую рассматривают в NIST, — так называемый редтиминг (от англ. Red Team, «красная команда»), проверка надежности системы путем попытки ее взлома командой тестировщиков, имитирующих деятельность злоумышленников. Сам термин пришел из американских военных учений времен холодной войны — «красной командой» называли подразделения, имитирующие действия противника.
Первый публичный редтиминг генеративного ИИ состоялся в августе 2023 года на конференции DEF CON в Лас-Вегасе. Тысячи участников «красной команды» попытались выяснить, можно ли заставить ИИ-системы производить нежелательные результаты. Мероприятие провели организации Humane Intelligence, SeedAI и AI Village, собственные модели ИИ для него предоставили OpenAI, Google, Meta (признана в России экстремистской и запрещена), Nvidia и другие игроки рынка. Это испытание «продемонстрировало, как красные команды могут стать эффективным инструментом для выявления новых рисков ИИ», отметили в Белом доме.
