В России создадут систему для перевода жестового языка в звуки
. Этим занялись ученые из НовосибирскаВ России создадут систему распознавания для русского жестового языка
Cотрудники Новосибирского государственного технического университета (НГТУ НЭТИ) разработали систему, которая сможет распознавать знаки русского жестового языка и переводить их в звуковую форму. Об этом сообщает «Интерфакс» со ссылкой на профессора кафедры автоматизированных систем управления НГТУ НЭТИ Михаила Грифа.
«Для нормального перевода с точностью на уровне 90% необходимо распознавать около 5 тыс. жестов, на данный момент мы подготовили датасет на 5 тыс. жестов, начали внедрение. В ближайшее время мы сделаем программу, которая будет распознавать жесты в непрерывном потоке — пока около 400 жестов, которую будем развивать», — рассказал ученый.
По данным источника, набор данных проводится преимущественно с помощью видеосъемки, оцифрованные изображения объединяют в базу данных, с помощью которой и обучается нейросеть.
Систему двустороннего перевода с языка жестов в звук и обратно планируют создать к концу 2024-го — началу 2025 года. Также исследователи разрабатывают аватар для китайского жестового языка.
Гриф также отметил, что для людей, которые имеют проблемы со слухом, перевод с жестового языка в звучащую речь или текст более важен. Однако в этом случае необходимо решить ряд задач.
В частности, для обучения искусственного интеллекта требуется создать выборку не только из слов жестового языка, но еще и из предложений. Кроме того, необходимо учитывать диалекты жестового языка, вариативность и индивидуальные особенности.
Ранее российский стартап Umwelt разработал устройство для слепых, которое призвано стать «альтернативой» зрению. Работу изобретения можно описать как своеобразный обман мозга, который заставляет орган чувствовать образы через язык. Аппарат внешне напоминает медицинскую маску, которая работает на принципах нейропластичности, перераспределяя функции между разными зонами коры и замещая одно чувство другим.
