Российские ученые разработали подход к обучению голосовых ИИ-моделей новым языкам на меньшем объеме данных — этот способ позволяет снизить зависимость голосовых моделей от больших объемов обучающих данных. В эксперименте модели обучали на 25 часов аудиозаписей вместо 100 при стандартном подходе
Исследователи ИТМО и MWS AI (входит в МТС Web Services) разработали подход SEAM, который позволяет обучать голосовые ИИ-модели новым языкам на меньшем количестве данных: для достижения сопоставимого качества озвучивания в эксперименте хватило 25 часов аудиозаписей вместо 100 часов при стандартном подходе, сообщили «Эксперту» в МТС Web Services.
Подход SEAM предполагает, что нейросети будут использовать накопленные знания, вместо того чтобы с нуля осваивать звуковые элементы нового языка. В компании пояснили, что обычно голосовые модели обучают на парах «текст — аудиозапись», а если примеров мало, нейросети сложнее научиться правильно произносить звуки нового языка и сочетать их между собой. Новый же подход позволяет снизить зависимость голосовых моделей от больших объемов обучающих данных.
Руководитель Института ИИ ИТМО Александр Бухановский отметил, что нейросети могут переносить знания о языковых закономерностях на другие языки, вместо того чтобы каждый раз учиться с нуля. «Современные нейросети уже способны не просто понимать язык, но обобщать и систематизировать знания о его природе, а также транслировать эти знания на другие языки, автоматически отмечая их сходства и различия. Как следствие, когнитивные функции ИИ тут сводятся уже не к запоминанию, а к осмыслению информации, что требует меньше данных», — сказал он. При этом, по его словам, остается риск появления собственного «новояза» у систем, в частности из-за изменения произношения слов из разных языков.
Исследователи проверили разработку на русском, казахском и французском языках, а также на двух архитектурах синтеза речи. Эксперименты показали, что подход SEAM позволил сохранить высокое качество озвучивания при сокращении обучающей выборки почти в четыре раза.
Разработка может пригодиться создателям голосовых помощников, сервисов озвучки и автоматизированной клиентской поддержки, которым необходимо адаптировать продукты к языкам новых рынков, сообщили в МТС Web Services.
