В Санкт-Петербурге придумали распознающую слова по губам нейросеть
. Приложение поможет смартфону понимать голосовые команды в шумных местахПриложение и нейросеть для распознавания речи по губам создали в Санкт-Петербурге
Российские ученые создали приложение для смартфона, с помощью которого можно считывать речь пользователя в шумных местах по губам. Это позволит повысить точность распознавания слов голосовыми помощниками в сложных условиях, сообщает ТАСС со ссылкой на пресс-службу Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН).
Сейчас в условиях относительной тишины цифровые алгоритмы легко распознают слова пользователей, но при посторонних шумах их эффективность снижается. Запрос либо непонятен устройству, либо искажается. Санкт-Петербургские разработчики для решения этой проблемы предложили нейросеть, способную воспринимать информацию по аналогии с человеческим восприятием — и на слух, и визуально, по движению губ.
ИИ научили распознавать сотни наиболее распространенных команд по движениям губ. Нейросеть изучила массив видеозаписей, а потом ее протестировали при участии водителей большегрузов одной из логистических компаний в России. В их смартфоны установили разработанную программу, результаты разработки оправдали ожидания. Только по чтению губ точность распознавания команд составила 60–80%, а в комбинации со звуковым сигналом — более 90%.
Как пояснил старший научный сотрудник лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Денис Иванько, новое приложение сможет стать полезным людям в различных отраслях.
«Мы предполагаем, что в будущем наше приложение может найти применение у пилотов самолетов и тяжелой промышленной техники или для использования в интерактивных информационных киосках в торговых центрах и других местах массового скопления людей».
Ранее стало известно, что ученые из Национального исследовательского технологического университета МИСиС (НИТУ МИСиС) представили первый в России портативный пистолет для сшивания мелких и средних ран, а также остановки кровотечений.
Запатентованный прибор помогает более быстрому заживлению ран и предотвращает попадание в них инфекций. Основу заживляющего материала ученые сделали из гидрогеля из природных полимеров, альгинатов и желатинов. Пистолет успешно испытали на лабораторных животных с ожогами, раны которых с гидрогелем затягивались быстрее, чем при помощи традиционных средств.
