Руководитель службы аналитики и исследований «Яндекса»
Как работают языковые нейросети
Генеративный искусственный интеллект (GenAI) — это тип алгоритмов машинного обучения, предназначенных для создания текстов, изображений и другого контента на основе пользовательских запросов. Мы сфокусируемся именно на текстовых генеративных нейросетях.
Процесс обучения генеративного языкового ИИ можно разделить на три основных этапа.
Pretrain. Это первый этап обучения модели на ранее собранном наборе данных. Например, pretrain-датасет YandexGPT состоит из данных из открытых источников. Их отбирают с помощью поисковых технологий, а также используют разные фильтры, чтобы исключить бесполезный или «вредный» контент.
На этапе pretrain модель учится предсказывать следующее слово в предложении. Здесь она вбирает базовую эрудицию и знания о естественном языке. На этом этапе нейросеть еще не умеет понимать запросы и не может на них отвечать.
Alignment, или finetune. Этап, на котором нейросеть учат «понимать» человека. Здесь важную роль играют AI-тренеры. Тренеры пишут для обучения модели эталонные ответы на разнообразные запросы (промты). Множество таких запрос — ответных пар загружаются в нейросеть. Так она учится понимать инструкции на естественном языке.
Так, например, нейросеть учится отвечать длиннее или короче, смешно или серьезно, понимать, что значит «объясни ребенку». В этот же период модель обучается корректно выражать свои мысли в рамках сложных тем — так у нее появляется этика.
После этапа finetune моделью уже можно пользоваться и вести с ней диалог.
Reinforcement learning (RL). На этапе RL качество работы нейросети улучшают. Для этого нужно создать и обучить отдельную модель (она называется reward-модель), которая могла бы оценивать качество ответов основной модели.
Здесь тоже помогают AI-тренеры: они размечают ответы нейросети. Например, специалист может получить пять ответов модели на один и тот же вопрос. Он должен проверить каждый по нескольким параметрам и поставить им оценку. Кроме того, они выделяют в ответах проблемные места и объясняют, что в них не так. После этого специалисты располагают ответы от лучшего к худшему. Все эти данные показываются reward-модели, чтобы она научилась предсказывать, какой ответ будет считаться хорошим.
Reward-модель как бы дает фидбек основной модели, которая генерирует ответ, и она таким образом дообучается, выдавая результаты все лучше и лучше.
Кто учит нейросети
Чтобы скормить нейросети огромное количество информации на этапе pretrain, ее сначала надо собрать. Этим занимаются специалисты, которых принято называть Data Scientists. Профессия находится на стыке статистики, машинного обучения (ML) и программирования. В основные обязанности Data Scientists входят сбор, обработка, анализ и визуализация данных. Спрос на таких специалистов всего за несколько лет вырос более чем в семь раз.
Дополнительно к процессу pretrain можно привлечь Data-инженеров. Они создают инфраструктуру для работы с данными, отвечают за их упорядочивание и хранение. Отмечу, что, в отличие от Data Scientists, они не занимаются анализом, но обеспечивают других специалистов нужными для работы инструментами.
На основе данных, собранных Data Scientists, ML-инженеры создают модели. Они также занимаются их обучением, оптимизацией, контролем и улучшением качества. Как и Data Scientist, ML-инженер входит в рейтинги самых востребованных профессий в IT.
Важно понимать, что ML существует давно, поэтому все вышеперечисленные профессии сложно назвать новыми. Но для работы с генеративным ИИ нужны специфичные хард-скиллы, поэтому профессия в этой области немного видоизменилась.
После того как «память» модели заполнили в достаточной степени, наступает второй этап обучения — alignment, про который я уже рассказывала выше. Здесь ключевую роль в процессе играют люди новой профессии — AI-тренеры.
Задачи тренеров ИИ условно можно разделить на две категории: написание качественных, эталонных текстов для дообучения модели и ранжирование нескольких вариантов ответа нейросети на один и тот же вопрос от худшего к лучшему. Проще говоря, сначала необходимо показать модели, что от нее ожидают, а затем оценить качество того, как она поняла задачу.
«Яндекс» стал первой компанией в России, которая повлияла на зарождение и образ профессии AI-тренера. Сейчас в компании уже несколько сотен таких специалистов, включая шефов, которые сами готовят и обучают не только нейросети, но и новые кадры. Мы открыли целую Школу AI-тренеров, в которой уже прошли два набора.
Нейросети не умеют проверять информацию и иногда могут «галлюцинировать»: придумывать несуществующие факты, людей и так далее.
За последний год мы сильно сократили количество подобных ошибочных ответов. И значимая часть этой заслуги, безусловно, принадлежит AI-тренерам. Нужно знать, какие источники можно использовать для проверки, и в принципе ставить под сомнение любой факт «из уст» языковой модели.
Кто строит карьеру на использовании нейросетей
Если изучить рынок вакансий в креативной сфере, то можно заметить, что навык «владения нейросетями» становится трендом и конкурентным преимуществом.
Сейчас, по данным «Нейростата», уже около 30% интернет-пользователей в России использовали генеративные нейросети. И есть люди, которые делают на этом карьеру.
Так появилась новая профессия — промт-инженер. Его основная задача — подобрать такой запрос, чтобы получить релевантный и точный результат. Например, промт-инженер может создать рекламное объявление, используя только нейросетевые инструменты.
На то, чтобы написать с помощью промта хороший текст, иногда может потребоваться больше времени, чем если бы его писал профессиональный копирайтер. Зато такие запросы нейросетям можно масштабировать и поставить на поток. Поэтому цель промт-инженера заключается не просто в том, чтобы написать один хороший запрос, но и понять, за какие ниточки стоит дергать конкретную модель.
Продвинутый промт-инженер может обладать и определенными хард-скиллами: знать языки программирования (Python, Java и другие), иметь навыки работы с API и методами анализа данных, иметь представление об обработке естественного языка.
