Библиографическое описание:Рекуррентная нейронная сеть для распознавания жестов русского языка с учетом языкового диалекта Сибирского региона : научное издание / В. А. Жуковская, А. В. Пятаева. - Текст : непосредственный // Труды Международной конференции по компьютерной графике и зрению "Графикон". - 2022. - № 32. - С. 538-547. - ISSN 2618-8317, DOI 10.20948/graphicon-2022-538-547.
Аннотация:Распознавание жестов является важной задачей, в частности для общения глухого и слабослышащего населения с людьми, не владеющими жестовым языком. Русский жестовый язык изучен слабо, русский жестовый язык Сибирского региона обладает значительными отличиями от других в рамках русской языковой группы. Для русского жестового языка отсутствует общепризнанный набор данных. В работе представлен алгоритм распознавания жестов по видеоданным. В основе алгоритма распознавания жестов лежит выделение ключевых признаков рук и позы человека. Классификация жестов выполнена с помощью рекуррентной нейронной сети LSTM. Для обучения и тестирования результатов распознавания жестов самостоятельно разработан набор данных, состоящий из 10 жестовых слов. Отбор слов для набора данных выполнен среди наиболее популярных слов русского языка, а также с учетом максимальной разницы в произношении жестов языкового диалекта Сибирского региона. Реализация алгоритма распознавания жестов выполнена с использованием технологий проектирования и глубокого обучения нейронных сетей Keras, библиотеки компьютерного зрения OpenCV, фреймворка машинного обучения MediaPipe, а также посредством других вспомогательных библиотек. Экспериментальные исследования, проведенные на 300 видеопоследовательностях, подтверждают эффективность предложенного алгоритма.
Sign recognition is an important task, in particular for the communication of the deaf and hard of hearing population with people who do not know sign language. Russian sign language is poorly studied, Russian sign language of the Siberian region has significant differences from others within the Russian language group. There is no generally accepted data set for Russian Sign Language. The paper presents a gesture recognition algorithm based on video data. The gesture recognition algorithm is based on the identification of key features of the hands and posture of a person. Gestures were classified using the LSTM recurrent neural network. To train and test the results of gesture recognition, we independently developed a data set consisting of 10 sign words. The selection of words for the data set was made among the most popular words of the Russian language, as well as taking into account the maximum difference in the pronunciation of gestures of the language dialect of the Siberian region. The implementation of the gesture recognition algorithm was carried out using Keras neural network design and deep learning technologies, the OpenCV computer vision library, the MediaPipe machine learning framework, and other auxiliary libraries. Experimental studies conducted on 300 video sequences confirm the effectiveness of the proposed algorithm.
Издательство:Федеральное государственное учреждение "Федеральный исследовательский центр Институт прикладной математики им. М.В. Келдыша Российской академии наук, Москва
Источник:Труды Международной конференции по компьютерной графике и зрению "Графикон"
Выпуск:№ 32
Номера страниц:538-547
Держатель оригинала документа:Сибирский федеральный университет
Количество экземпляров:
Твёрдая копия издания отсутствует в фонде библиотеки
