Метод распознавания движений руки человека на основе времени

Успех проекта «Исследование и разработка методов распознавания движений рук человека в реальном времени» молодой научной группы факультета информационных технологий Военно-технической академии под руководством доктора Чан Нгуен Нгока открыл множество эффективных направлений применения на практике.

Эффективность применения темы, например, разработка системы поддержки поиска информации и удаленного управления устройствами, управление роботами для помощи людям с ограниченными возможностями, интеграция управления телевизором и музыкальным проигрывателем...

Направление исследований с высокой степенью применимости

По словам доктора Чан Нгуен Нгока, научное направление распознавания движений рук человека в реальном времени интересует исследовательскую группу компьютерного зрения Военно-технической академии с 2009 года.

От предыдущих исследований в области обработки изображений и методов искусственного интеллекта, таких как распознавание лиц, прогнозирование возраста, гендерная дискриминация с помощью информации изображений, автоматическое обнаружение пешеходов с помощью камер наблюдения, до исследований в области разработок, требующих высокой синхронизации и систематических возможностей, таких как системы распознавания номерных знаков, системы подсчета голосов на выборах с использованием технологии обработки изображений и т. д., члены исследовательской группы накопили большой опыт для решения задач по разработке приложений в реальном времени.

К началу 2010 года крупнейшие мировые технологические компании, такие как Intel, Omron, Sony, Samsung, Microsoft... начали выводить на рынок экспериментальные продукты, позволяющие взаимодействовать с устройствами, используя естественные движения человека.

Также в это время в лабораториях исследовательских центров по всему миру, таких как Стэнфордский университет (США), Еврейский университет (Израиль), Массачусетский технологический институт (США), Московский государственный университет (Россия), а также в отечественных исследовательских группах, таких как Институт информационных технологий Вьетнамской академии наук и технологий, Ханойский университет науки и технологий... появилось множество научных публикаций, связанных с использованием современных сенсорных устройств для решения проблемы естественного взаимодействия с использованием жестов, голоса и мыслей для управления устройствами.

«Осознавая, что это весьма перспективное и перспективное направление исследований, молодая исследовательская группа факультета информационных технологий Военно-технической академии зарегистрировалась для реализации этой темы. Цель исследования – разработка алгоритмов обнаружения и распознавания объектов на изображениях в реальном времени, применяемых в человеко-машинном взаимодействии посредством движений рук человека. Таким образом, была создана исследовательская группа, специализирующаяся на компьютерном зрении и человеко-машинном взаимодействии», – сказал доктор Чан Нгуен Нгок.

Открывает много перспектив

После года интенсивных исследований группа разработала алгоритм, позволяющий распознавать области руки с надёжностью 94%. Предложен алгоритм для извлечения 39 характеристик областей руки и распознавания 36 комбинаций жестов двух рук со средней точностью 88,54% при различном освещении. Группа разработала алгоритм для распознавания 8 групп движений рук по обычным траекториям в пространстве с точностью 89,85%.

Кроме того, группа создала компьютерное программное обеспечение, которое получает входные сигналы от сенсора Kinect от Microsoft, что позволяет выполнять операции по управлению компьютером с помощью движений двух рук, не прикасаясь к клавиатуре, мыши, экрану или любому другому устройству; скорость распознавания достигает 0,4 секунды на комбинацию движений (из серии изображений примерно из 12 последовательных кадров)...

«В рамках проекта предложен алгоритм распознавания, который отвечает требованиям обработки в реальном времени и имеет точность, эквивалентную опубликованным в мире результатам исследований (примерно 90%)», — воодушевленно поделился доктор Тран Нгуен Нгок.

Доктор Тран Нгуен Нгок также отметил, что результаты данного исследования могут найти широкое практическое применение. В ближайшем будущем группа завершит разработку системы для поиска информации и удалённого управления устройствами, включая поиск информации в медицинских картах пациентов (когда врачам не разрешено прикасаться к управляющим приложениям), управление роботами для помощи людям с ограниченными возможностями, интеграцию управления телевизорами, музыкальными проигрывателями и т. д. Группа намерена продолжить разработку данной темы в направлении создания интерактивной системы виртуальной реальности, позволяющей создавать вспомогательные решения в сфере рекламы и развлечений.

Доктор Нгок также отметил: «В настоящее время группа приглашает больше исследователей в области встроенного программного обеспечения для интеграции алгоритмов в микрочипы или мобильные устройства, такие как смартфоны и планшеты. После этого результаты исследований можно будет интегрировать в другие технологические продукты, такие как телевизоры, проекторы, автономные роботы…».

По данным ВНА