Самарские ученые научили нейросеть видеть «невидимое» со скоростью света
. Дебютную модель системы уже собрали и испытали. Как это работаетВ Самаре научили нейросеть мгновенно распознавать в видеопотоке любые объекты
В Самарском университете им. Королева представили скоростную нейросеть, способную в режиме реального времени анализировать поступающий видеопоток и практически мгновенно распознавать и находить в нем заданные объекты и изображения. Подробностями исследователи поделились с РБК Life и показали, как выглядит дебютная модель.
В чем суть разработки
Нейросеть предназначена для анализа поступающего в систему видеопотока и последующего распознавания и классификации определенных объектов и изображений. Наряду с анализом «картинки» с обычной видеокамеры, самарская разработка может оперативно, почти со скоростью света, анализировать данные, получаемые с помощью гиперспектрометров. Это устройства, видящие реальность в многоканальном спектральном отображении и позволяющие обнаруживать объекты, невидимые для обычных средств наблюдения.
Разработку испытали ученые Самарского университета им. Королева
В университете разработали оптическую нейросеть на основе аналоговой фотонной вычислительной системы. Собрали демонстрационный образец системы, подтвердивший в ходе экспериментов работоспособность выбранной схемы.
Практическое применение нейросети
«Ключевой особенностью разработки является возможность анализа гиперспектральных данных — система рассчитана на работу с двухдиапазонным гиперспектрометром, который также разработан у нас в университете. Аналоговая фотонная вычислительная система позволяет проводить анализ и распознавание объектов почти со скоростью света, что значительно (в сотни раз) превосходит скоростные характеристики современных цифровых нейросетей на основе традиционных полупроводниковых компьютеров», — рассказал РБК Life
профессор кафедры технической кибернетики, доктор физико-математических наук Роман Скиданов.
Он пояснил, что самарское ноу-хау особенно важно для оперативного анализа гиперспектральных данных, изначально представляющих собой значительные по объему массивы информации.
«При гиперспектральной съемке или гиперспектральном дистанционном зондировании Земли (с беспилотника или космического спутника) каждый пиксель полученного изображения представлен в виде полного или непрерывного спектра. Это позволяет выявлять спектральные свойства искомых объектов и в ходе анализа полученных данных обнаруживать элементы, которые нельзя увидеть никак иначе».
С помощью гиперспектрометров можно:
- обнаруживать парниковые газы, фиксируя выбросы метана и CO2;
- вести геологоразведку труднодоступных территорий, выявляя из космоса спектральные сигнатуры различных минералов, в том числе тех, что указывают на возможное расположение месторождений нефти и природного газа;
- отслеживать возникновение лесных пожаров;
- следить за состоянием лесов и сельскохозяйственных посевов;
- вычислять вегетационные индексы (числовой показатель качества и количества растительности на участке) и даже выявлять из космоса стресс у растений.
Примечательно: кроме быстродействия и широкого спектрального диапазона аналоговые оптические вычислительные системы обладают такими преимуществами, как полная защищенность от электромагнитных помех, малое потребление энергии и возможность параллельной обработки данных.
Демонстрационный образец на основе нейросети видит «невидимое» со скоростью света
История и перспективы
Схема системы, позволяющей вести полностью оптическую обработку поступающей информации, была впервые предложена еще в 1958 году. Данное направление активно развивалось в 1980-е годы прошлого века, но затем применение подобных устройств практически сошло на нет из-за их громоздкости и в связи с развитием цифровой техники. В последние годы эта сфера прикладных исследований становится все более актуальной в различных странах мира благодаря появлению новых материалов и созданию компактной оптики с особой структурой.
«Наш демонстрационный образец создан с использованием стандартных лабораторных оптико-механических компонентов, а также различных модуляторов и видеокамер. Оптическая схема устройства разработана в таком виде, чтобы благодаря камере, регистрирующей распределение интенсивности в частотной плоскости, можно было решать ряд дополнительных задач. Надежность распознавания в ходе первых экспериментов на демонстрационном образце составила 93,75%».
Теперь ученые намерены собрать и испытать экспериментальный образец системы в компактном корпусе размером с небольшой системный блок компьютера. Точность и надежность распознавания у этой модели должна вырасти за счет подбора компонентов с улучшенными характеристиками, полагают в Самаре.
Ранее специалисты другого вуза — Восточно-Сибирского государственного университета технологий и управления (ВСГУТУ) — разработали и запатентовали нейросеть для распознавания рукописных букв русского алфавита. Это полезно при работе с большими объемами рукописного текста, пояснили разработчики. Эксперты использовали язык программирования Python и готовый набор данных (датасет).
