Новый искусственный интеллект позволит управлять музыкой с помощью жестов
. Необычную разработку представили ученые из России и ГерманииСоздан ИИ, который позволит управлять музыкой с помощью жестов и мимики
Ученые из России и Германии разработали мобильное приложение на основе искусственного интеллекта, которое позволяет управлять музыкальным произведением с помощью жестов, мимики и голоса. Исследование опубликовано в издании Frontiers in Artificial Intelligence.
По словам разработчиков, алгоритм будет особенно полезен людям, которые не умеют играть на музыкальных инструментах. С помощью программы пользователи смогут научиться «дирижировать» исполнением музыки, выдвигая свои требования к мелодии любым удобным способом. Для распознавания указаний пользователей ученые использовали нейросеть GPT-3 и другие системы на базе искусственного интеллекта, которые способны анализировать жесты и эмоции.
Когда пользователь запускает приложение на смартфоне и начинает слушать произведение из базы данных, то одновременно получает возможность управлять воспроизведением. С помощью голосовых команд, жестов или мимики он может попросить искусственный интеллект воспроизвести мелодию по-другому.
На данный момент ученые разрабатывают новые версии системы, которые облегчат взаимодействие пользователей и нейросетей, сделают его более интерактивным и быстрым. Кроме того, исследователи планируют расширить музыкальную базу данных, так как сейчас в ней содержатся в основном классические произведения.
Ранее представители YouTube заявили, что внедрят искусственный интеллект в редактор видео. Среди функций, которые появятся позднее в этом или следующем году, — фото- и видеофоны, созданные с помощью ИИ, предложения непосредственно идей, тематики и музыки для видео.
