Pro et Contra LLM
«ChatGPT, хотя и не является человеком, однако вошел в наш традиционный список десяти главных ньюсмейкеров года по версии Nature. Мы решили включить его, чтобы отметить то влияние, которое генеративные системы искусственного интеллекта оказывают на научный прогресс», — пишет Ричард Монастерски, редактор спецпроектов в Nature.
Ученые давно знают о потенциале больших языковых моделей (LLM). Но для многих исследователей именно выход ChatGPT в качестве диалогового агента в ноябре 2022 года раскрыл возможности и подводные камни этой технологии.
ChatGPT построен на архитектуре нейронной сети с сотнями миллиардов параметров, которую обучили с помощью гигантского цифрового корпуса книг и документов стоимостью в десятки миллионов долларов. Большие группы специалистов редактировали и оценивали ответы чат-бота, совершенствуя систему. В этом году OpenAI оптимизировала базовый LLM ChatGPT и подключила его к другим системам, чтобы он мог принимать и создавать изображения, а также использовать математические и иные программы
Журнал Nature отмечает, что с одной стороны, приложения ChatGPT уже стали «бесценными помощниками в лаборатории — они помогают обобщать или писать рукописи, оттачивать приложения и писать код».
«ChatGPT и сопутствующее программное обеспечение могут помочь в мозговом штурме идей, улучшить научные поисковые системы и выявить пробелы в литературе», — говорит специалист по искусственному интеллекту для медицинских исследований Гарвардской медицинской школы Марина Зитник.
С другой стороны, Nature отмечает опасность технологии LLM.
«Автоматизированные разговорные агенты способны помогать мошенникам и плагиаторам; если их не контролировать, они могут необратимо испортить колодец научных знаний. Кроме того, существуют проблемы ошибок и предвзятости, которые заложены в принцип работы генеративного искусственного интеллекта. LLM строит модель мира, отображая взаимосвязи языка, а затем выдает правдоподобные выборки из этого распределения, не имея понятия об оценке истинности или ложности. Это приводит к тому, что программы воспроизводят исторические предрассудки или неточности в своих обучающих данных, а также выдумывают информацию, включая несуществующие научные ссылки», — отмечается в журнальной статье.
Мемристоры и не только
Один из ведущих российских специалистов в области многопроцессорных вычислительных и информационно-управляющих систем, лауреат Государственной премии и нескольких премий правительства РФ, академик Российской академии наук Игорь Каляев считает, что пределы развития нейросетевых компьютерных технологий уже видны.
«Попытки реализации нейронных сетей или мощного искусственного интеллекта на базе современных кремниевых компьютерных технологий, — это с моей точки зрения, путь в никуда. Мы хотим создать аналог человеческого мозга, но при этом используем технологии, которые все дальше и дальше уводят нас от этого. В качестве примера — ChatGPT, который физически „живет“ на суперкомпьютере Azure АI, который имеет производительность 30 петафлопс, занимает огромный машинный зал и потребляет около 10 МВт электроэнергии. Только для его обучения было потрачено столько электроэнергии, сколько хватило бы для освещения всего Нью Йорка в течении трех недель. А человеческий мозг занимает объем около 1300 кубических сантиметром и потребляет лишь 20 Ватт энергии для своей работы. Как говорится, почувствуйте разницу», — говорит Игорь Каляев.
По его словам, создание и развитие все более мощных и сложных суперкомпьютеров, на основе которых реализуются нейросети и системы машинного обучения, на самом деле лишь отдаляет ученых от понимания принципов, на которых действует человеческий мозг, самая совершенная вычислительная система во Вселенной.
Академик Каляев считает необходимым искать принципиально новые подходы к компьютерной архитектуре в области математической и аппаратной реализации искусственного интеллекта.
«В Национальном центре физики и математики мы занимаемся, в том числе, созданием нейроморфных вычислительных устройств на мемристорной элементной базе. Это один из возможных путей, как мы можем имитировать процессы обработки информации, которые присущи мозгу человека. Но не единственный», — говорит Игорь Каляев.
Мемристор — пассивный электрический элемент, двухполюсник в микроэлектронике, способный изменять свое сопротивление в зависимости от протекшего через него электрического заряда. Теория мемристора была разработана в 1971 году, долгое время его считали чисто теоретическим объектом, но 2008 году в исследовательской лаборатории фирмы Hewlett-Packard был создан образец мемристора. В 2012 году учеными М. Ди Вентра и Ю. В. Першиным была предложена концепция вычислительных машин, в которых хранение и обработка информации осуществляется одним и тем же физическим устройством, основанным на мемристорах.
«Хотя мемристор — это пассивный элемент, такой же как резистор, но в отличии от резистора, сопротивление которого постоянно, сопротивление мемристора может изменяться в зависимости от прошедшего через него электрического заряда . Т.е. мемристор запоминает количество прошедшего через него заряда, и сохраняет эту информацию в виде своего сопротивления. Такие свойства мемристора открывают возможности создания на его основе, например, ячеек долговременной памяти, т.е. флэш памяти, причем мемристорные элементы памяти могут быть более компактными и быстрыми, чем элементы современной флэш памяти. Но еще большие перспективы данное свойство мемристора открывает для реализации на его основе искусственных нейронных сетей. Действительно, поведение мемристора очень напоминает поведение синапса биологического нейрона — чем интенсивнее входной сигнал, тем выше пропускная способность синапса. Именно поэтому исследуются возможности создания мозгоподобных вычислительных устройств на основе мемристорной элементной базы» — говорит Игорь Каляев
Академик Каляев считает, что еще один потенциально интересный путь создания новых платформ для искусственного интеллекта — это реконфигурируемые вычислительные системы, архитектура которых может адаптироваться под решаемую задачу.
«Это, может быть, конечно, не совсем соответствует принципам обработки информации в человеческом мозге, но, по крайней мере, позволяет получить существенный эффект с точки зрения времени машинного обучения. То есть с помощью такого подхода мы можем серьезно конкурировать с теми же самыми платами Nvidia, которые используются для машинного обучения», — сказал Игорь Каляев.
По его словам, в НЦФМ намерены к 2025 году получить первые прототипы, а к концу десятилетия создать первые нейрогибридные вычислительные системы на основе мемристоров.
«Поскольку мемристоры и живые нейроны работают на схожих принципах, то теоретически они могут „понимать“ друг друга, что открывает возможности создания нейрогибридных устройств, объединяющих в единое целое естественные и искусственные нейронные сети. А это в свою очередь, открывает перспективы нейропротезирования, т.е. замены естественных нейронных сетей, по каким-то причинам переставших работать и выполнять свои функции, на искусственные нейронные сети, созданные на базе мемристоров. Нужно только предварительно обучить такую искусственную нейронную сеть выполнению функций, которые реализовывала отмершая естественная нейронная сеть. Как соединить искусственную и естественную нейронные сети друг с другом, чтобы они „понимали“ друг друга, а также как обучить искусственную нейронную сеть выполнять те или иные функции естественной нейронной сети человеческого организма — это как раз проблемы, которые мы хотим решить в рамках подпрограммы 9 НЦФМ. Задачи, безусловно, очень сложные и амбициозные, но, как говорится, дорогу осилит идущий» — заключил академик Игорь Каляев.
