Человек года по версии журнала Time, создатель ChatGPT и гендиректор OpenAI Сэм Альтман объявил, что в гонке искусственного интеллекта мир достиг «точки сингулярности». Это гипотетический рубеж, за которым люди теряют контроль за развитием ИИ. Всё, что остается человечеству, — наблюдать как умные машины меняют цивилизацию. Футурологи почти сто лет ждали этого момента с надеждой и ужасом.
Александр Гостев
Главный технологический эксперт «Лаборатории Касперского», автор телеграм-канала «Гостев из будущего»
М«Мы действительно переживаем момент, о котором раньше говорили за обеденным столом в шутку. Это тот самый момент, которого я ждал всю жизнь. Мы сейчас, можно сказать, в сингулярности», — сказал Сэм Альтман. И добавил, что происходящее, по его мнению, будет колоссально позитивным для мира.
Проблема начинается со слова «сингулярность». У Ирвинга Гуда это была концепция интеллектуального взрыва: машина создает более умную машину — и человек остается позади. Развитие машинного интеллекта становится настолько быстрым, что привычные прогнозы перестают работать.
У Альтмана сингулярность мягкая: не взрыв, а ускоряющаяся нормальность. Но быстрое развитие — еще не сингулярность. Модели зависят от созданных людьми целей и инфраструктуры и не запустили устойчивый цикл самоулучшения.
Поэтому с Альтманом я согласен наполовину. Мы еще не в сингулярности в классическом смысле. Но уже вошли в период, когда возможности ИИ растут быстрее, чем наша способность их понимать, проверять и ограничивать. Это не конец человеческой истории. Это начало кризиса управления.
И если сингулярность означает резкое падение предсказуемости, откуда уверенность, что за ее горизонтом всё будет прекрасно? Альтман предлагает признать, что мы перестаем понимать будущее, и одновременно поверить в его благополучный исход. Это уже не прогноз, а вера.
Почему люди не могут полностью контролировать систему, которую сами создали? Обычную программу конструируют, а современный ИИ в значительной степени выращивают. Человек задает данные и критерий успеха, а способ решения система находит сама. Ей можно ограничить права, но нельзя заранее перечислить все решения.
Пока ИИ отвечает на вопросы, ошибка заканчивается плохим текстом. Но теперь модели получают браузер, терминал и доступ к корпоративным системам. Та же непредсказуемость превращается из ответа в действие.
Недавний инцидент с OpenAI и Hugging Face (когда новые модели GPT вышли из-под контроля и совершили настоящую кибератаку) это показал. Во время тестирования агенты нашли путь из изолированной среды, повысили привилегии, получили доступ в интернет и проникли в чужую инфраструктуру в поисках ответов к тесту. Никто не приказывал им взламывать Hugging Face. Им дали цель — получить максимальный результат. А они решили «списать на экзамене».
Самая показательная деталь обнаружилась после атаки. Когда Hugging Face начала разбирать более 17 тыс. событий, коммерческие фронтир-модели отказались анализировать настоящие команды и эксплойты: защитные фильтры не отличили специалиста по реагированию от атакующего. Атакующему ограничения сняли для эксперимента, защитнику они помешали расследовать последствия. Контроль сработал — только не на той стороне.
В июне исследователи Университета Торонто показали ИИ-червя, меняющего тактику и использующего мощности зараженных машин для следующих атак. При таком сценарии стоимость каждого нового заражения после запуска стремится к нулю.
Экономический риск не менее реален. Так, 13 июля более 200 экономистов и исследователей, включая 16 нобелевских лауреатов, выступили с предупреждением: преобразование может оказаться больше промышленной революции, но пройти за несопоставимо меньший срок. На адаптацию могут остаться не десятилетия, а несколько лет.
Никто не умеет научно рассчитать вероятность машинного апокалипсиса. Илон Маск говорит о 10–20% риска катастрофы, но это не статистика, а интуиция, выраженная цифрой. Anthropic формулирует осторожнее: миру полезно иметь возможность замедлить или временно приостановить разработку передовых систем, если такая пауза будет общей и проверяемой.
Наиболее реалистичное будущее — не киношный конец света и не мелкие неприятности. Скорее, десятилетие фонового хаоса: атак больше, они быстрее, ответственность размыта, а локальные ошибки соединяются в крупные аварии. Чтобы причинить огромный ущерб, ИИ необязательно ненавидеть человечество. Достаточно старательно выполнять плохо поставленную задачу.
Что делать? Этические кодексы, которые продвигают создатели моделей, сами по себе бесполезны. Кодекс без аудита, ответственности и санкций — это всего лишь корпоративная литература.
23 июля в Конгресс США внесли AI Kill Switch Act, который позволит властям замедлять, приостанавливать или полностью отключать системы искусственного интеллекта при угрозе катастрофического ущерба. Это своего рода рубильник или стоп-кран для ИИ в экстренных случаях. Такой инструмент нужен, но он не станет волшебным решением всех возможных проблем.
Рубильник помогает лишь тогда, когда оператор вовремя понял, что происходит. Только если система всё еще зависит от его инфраструктуры, тогда команда отключения исполняется. Главная проблема — не кнопка, а момент, когда ее нужно нажать.
Защита должна быть многоуровневой: независимые испытания до запуска, минимальные права, закрытая сеть и подтверждение человеком необратимых действий. А также обязательное раскрытие и сохранение журналов после инцидента. Отвечать должен тот, кто развернул агента, а не алгоритм.
Мы еще не дошли до черты, после которой ничего нельзя изменить. Но уже находимся в точке, где технологии развиваются быстрее правил. Альтман называет это началом прекрасного будущего. Его коллеги — началом периода риска. Возможно, правы и те и другие. Но выгоды от ускорения первыми получат разработчики и владельцы ИИ, а последствия возможной ошибки будут устранять уже не они одни — платить за нее придется всему обществу.
