Защита диссертации Амангелді Нұрзады на соискание степени доктора философии (PhD) по специальности «6D060200 - Информатика»
В Евразийском национальном университете имени Л.Н. Гумилева состоится защита диссертации на соискание степени доктора философии (PhD) Амангелді Нұрзады на тему «Методы и алгоритмы распознавания казахского жестового языка» по специальности «6D060200 – Информатика».
Диссертация выполнена на кафедре «Технологии искусственного интеллекта» Евразийского национального университета имени Л.Н. Гумилева.
Язык защиты - казахский
Рецензенты:
Еримбетова Айгерим Сембековна - магистр
Аканова Акерке Сапаровна - доктор философии(PhD), Казахский агротехнический университет имени Сейфулина, ст. преподаватель
Временные члены Диссертационного совета:
Кожирбаев Жанибек Мамбеткаримович - доктор философии(PhD), National Laboratory Astana
Маткаримов Бахыт Турганбаевич - доктор наук, профессор, Евразийский национальный университет имени Л.Н. Гумилева, Преподаватель-исследователь
Дауренбеков Куаныш Койшыгулович - Евразийский национальный университет имени Л.Н. Гумилева, Заместитель руководителя
Мансурова Мадина Есимхановна - кандидат наук, доцент, Казахский национальный университет им. Аль-Фараби, Заведующий кафедры
Гильмуллин Ринат Абрекович - кандидат наук, Директор института
Исраилова Нелла - кандидат наук, доцент, Кыргызский Государственный Технический Университет им. И. Раззакова
Научные консультанты:
Кудубаева Сауле Альжановна - кандидат технических наук, старший преподаватель кафедры «Технологии искусственного интеллекта», факультет Информационных технологий, Евразийский национальный университет имени Л. Н. Гумилева (г. Астана)
Крак Юрий Васильевич - член-корреспондент Национальной Академии Наук Украины, доктор физико-математических наук, профессор, заведующий кафедрой «Теоретическая кибернетика», факультет Информатики и кибернетики, Киевский Национальный Университет имени Тараса Шевченко (г. Киев, Украина)
Защита состоится: 15 января 2024 года 15:00 часов в Диссертационном совете по направлению подготовки кадров «8D061 – Информационно-коммуникационные технологии» по специальности «6D060200 – Информатика» Евразийского национального университета имени Л.Н. Гумилева. Проведение заседания диссертационного совета в онлайн формате.
Ссылка: https://teams.microsoft.com/l/meetup-join/19%3ab4OWgn9w0BU7i4VgTMspGg4LykYCo4gkpJ0M1aiEJ2M1%40thread.tacv2/1702010534128?context=%7b%22Tid%22%3a%225a2fd781-9261-485a-af2b-6171d0efab73%22%2c%22Oid%22%3a%22309bb2ca-1ef1-4604-912b-0411910d9d0b%22%7d
Адрес: 010000, Астана қаласы, Сәтпаев көшесі, 2, оқу-әкімшілік ғимараты, №302 ауд.
Аннотация (рус.): АННОТАЦИЯ диссертационной работы Нурзады Амангельды «Методы и алгоритмы распознавания казахского жестового языка» представленной на соискание степени доктора философии (PhD) по специальности 6D060200 – Информатика Актуальность темы исследования. В последние десятилетия все больше внимания уделяется созданию технологий, способных устранить барьеры в общении и взаимодействии людей с ограниченными возможностями с обществом. В частности, инклюзивные технологии для людей с нарушениями слуха и речи приобретают большое значение в современном мире, поскольку они позволяют интегрировать эту категорию людей в социокультурный и образовательный процессы общества. Искусственный интеллект, включая возможности компьютерного зрения, становится основным инструментом для людей с нарушениями слуха и речи, обеспечивая их взаимодействие и общение с окружающим миром, что улучшает качество их жизни и обучения. Результаты исследования оказывают существенное влияние на экономическое развитие и общественные отношения как технологический инструмент в инклюзивной среде. Создание новых интеллектуальных систем для распознавания казахского жестового языка, расширение цифровых услуг на казахском языке, включая услуги электронного правительства и государственные услуги, способствует этому процессу. Интеллектуальные системы автоматического сурдоперевода на основе наборов данных казахского жестового языка, алгоритмов машинного обучения и компьютерного зрения могут стать одной из научных основ для создания мультимодальных корпусов казахского жестового языка и помогут людям с нарушениями слуха беспрепятственно взаимодействовать с обществом. Цель диссертационного исследования: Разработка методов и алгоритмов для распознавания казахского жестового языка, используя современные технологии компьютерного зрения, с целью обеспечения точного, эффективного и надежного средства общения для людей с нарушениями слуха и речи в Казахстане. Задачи исследования: − Теоретический анализ методов и алгоритмов распознавания жестового языка на основе компьютерного зрения, определение наиболее эффективных методов; − Разработка метода создания наборов данных для казахского жестового языка, включая создание самих наборов данных; − Разработка адаптивного многоклассового SVM-классификатора для распознавания алфавита казахского жестового языка, построение модели на основе этого классификатора; − Разработка алгоритмов вариативного распознавания жестового языка с использованием глубокого обучения, построение моделей на основе этих алгоритмов; − Создание алгоритмов непрерывного распознавания слов на языке жестов с использованием глубокого обучения, построение модели на основе этих алгоритмов; − Интеграция разработанных моделей в реальные системы и их тестирование. Методы исследования: Теоретический анализ: Проведено изучение и анализ научной литературы, работ и исследований в области компьютерного зрения. Этот анализ включал рассмотрение современного состояния знаний, а также теорий и моделей, связанных с распознаванием жестового языка. Сравнительный анализ: Осуществлено сравнение казахского жестового языка с другими жестовыми языками, такими как русский, английский и турецкий, по форме представления. Это было сделано с целью выявления уникальных структур демонстрации, характерных для казахского жестового языка. Экспериментальное исследование: Разработка и применение экспериментальных методов сбора данных, основанных на методах компьютерного зрения, включая глубокое обучение, для точного распознавания движений. Программирование и моделирование: Разработаны программные обеспечения и модели компьютерного зрения для реализации различных алгоритмов распознавания, включая такие как SVM, LSTM1024 и 2DCNN. Интеграция и применение: Осуществлено внедрение и тестирование разработанных методов и моделей для демонстрации их практического применения в реальных системах. Данные методы исследования обеспечили комплексный подход к изучению и разработке эффективных решений для распознавания казахского жестового языка, подкрепленный теоретическими и практическими аспектами. Основные положения (доказанные научные гипотезы и другие выводы, являющиеся новыми знаниями), выносимые на защиту. В рамках диссертационной работы на тему «Методы и алгоритмы распознавания казахского жестового языка» были сформулированы и доказаны следующие основные положения, вносящие новые знания в область распознавания жестового языка: Уникальность казахского жестового языка: Доказана гипотеза об уникальных характеристиках казахского жестового языка, отличающихся от русского, английского и турецкого жестовых языков по форме демонстрации. Это расширяет понимание разнообразия языков жестов и подчеркивает важность культурно-специфических исследований. Инновационные методы сбора данных: Разработан и протестирован новый метод создания наборов данных, используя передовые технологии компьютерного зрения, что подтверждает способность современных технологий улучшать процесс сбора и обработки данных для изучения языка жестов. Новый метод распознавания дактильного алфавита: Предложен и протестирован новый метод распознавания дактильного алфавита казахского жестового языка, значительно повышающий точность и эффективность процесса распознавания жестов. Вариативное Распознавание Динамических Движений в Реальном Времени: Разработка метода вариативного распознавания динамических движений в реальном времени на основе глубокого обучения представляет значительный прогресс в области искусственного интеллекта и распознавания движений. Непрерывное распознавание слов на языке жестов: Разработка метода непрерывного распознавания слов на языке жестов, основанного на глубоком обучении, открывает новые перспективы для создания более сложных и эффективных систем распознавания языка жестов. Эти правила и выводы являются важным вкладом в научное сообщество, особенно в изучение и применение распознавания языков жестов, и открывают новые области для будущих исследований и разработок. Описание основных результатов исследования Результат 1. Доказательство уникальности демонстрации казахского жестового языка через сравнительный анализ с другими жестовыми языками вносит значительный вклад в лингвистическую науку. Это расширяет общее понимание жестовых языков и укрепляет культурную и языковую идентичность глухих сообществ в Казахстане. Результат 2. Разработка нового метода сбора данных для распознавания движений человеческого тела и слов на языке жестов с использованием компьютерного зрения отмечает прогресс в области искусственного интеллекта. Этот метод применим в различных сферах, включая безопасность, идентификацию и здравоохранение. Результат 3. Создание SVM-классификатора для распознавания алфавита казахского жестового языка способствует улучшению технологий помощи людям с нарушениями слуха и признанию казахского жестового языка. Результат 4. Разработка новой архитектуры 2DCNN для вариативного распознавания динамических слов в жестовом языке в реальном времени представляет собой важное достижение в области машинного обучения, улучшая взаимодействие между слышащими и глухими людьми и способствуя их социальной интеграции. Результат 5. Разработка новой архитектуры LSTM1024 улучшает создание эффективных систем для общения на языке жестов, усиливая непрерывное взаимодействие между слышащими и людьми с ограничениями слуха и речи. Результат 6. Применение разработанных моделей в реальных системах открывает возможности для новых инноваций, оказывая значительное влияние на общество и технологический прогресс. Обоснование новизны и важности полученных результатов Результат 1. Уникальность Казахского Жестового Языка. Новизна: Исследование, сосредоточенное на малоизученном казахском жестовом языке в контексте компьютерного зрения и машинного обучения. Важность: Вклад в сохранение культурных и языковых ценностей и обеспечение доступности для глухих сообществ Казахстана. Результат 2. Инновационные Методы Сбора Данных. Новизна: Автоматизация процесса сбора данных в области компьютерного зрения для задач распознавания жестов. Важность: Применение в различных областях, улучшение интерактивных систем, систем мониторинга и безопасности. Результат 3. Адаптированный SVM-классификатор. Новизна: Адаптация SVM-классификатора для казахского жестового языка.Важность: Фундамент для распознавания калькулирующего жестового языка и научных исследований в этой области. Результат 4. Метод вариативного распознавания жестов. Новизна: Разработка алгоритмов с использованием 2DCNN для распознавания разнообразия жестов.Важность: Улучшение точности распознавания для практического применения. Результат 4. Непрерывное распознавание слов. Новизна: Разработка метода с использованием LSTM1024 для непрерывного распознавания слов. Важность: Улучшение общения между глухими и слышащими, основа для систем автоматического перевода. Результат 6. Интеграция и тестирование моделей . Новизна: Перевод исследований в практическое применение. Важность: Улучшение доступности информации и услуг для глухих и слабослышащих, способствуя их социальной интеграции. Соответствие направлениям развития науки или государственным программам 4. Информационные, коммуникационные и космические технологии. 4.1 Искусственный интеллект и информационные технологии. 4.1.3 Распознавание образов и обработка изображений; 4.1.5 Машинное обучение (machine learning) Описание вклада соискателя в подготовку каждой публикации В рамках диссертационной работы по теме «Методы и алгоритмы распознавания казахского жестового языка» были представлены три статьи: 1. "Sign Language Recognition Method Based on Palm Definition Model and Multiple Classification": Предлагает метод распознавания букв казахского жестового языка, достигая высокой точности в распознавании алфавита и цифр. 2. "A Real-Time Dynamic Gesture Variability Recognition Method Based on Convolutional Neural Networks": Фокусируется на распознавании слов с использованием сверточных нейронных сетей. Исследование демонстрирует улучшение точности динамических жестов, применимое к различным жестовым языкам. 3. "Continuous Sign Language Recognition and Translating It into Intonation-Colored Speech": Посвящена непрерывному распознаванию языка жестов и его преобразованию в речь с интонационной окраской. Модель показала высокую точность при перекрестной валидации, подчеркивая важность связи между жестами и интонацией в речи. Автор диссертации является либо первым, либо корреспондирующим автором во всех этих статьях, что подтверждает ее непосредственное и полное участие в проведенных исследованиях. Эти публикации полностью раскрывают суть исследования, логически связаны друг с другом и охватывают различные аспекты и методы распознавания казахского жестового языка, внося ценный вклад в эту область научных исследований. Публикации. Публикации в изданиях, включенных в перечень КОКСНВО МНВО РК: 1. Амангелді Нұрзада, Кудубаева Сауле. Қазақ ым тіліндегі сөз тіркесін танудың байланысқан облыстарды белгілеу және корреляциялық әдістері. ҚазҰТЗУ хабаршысы №5 2020,172–177 б. ISSN: 1680-9211 2. Амангелді Нұрзада, Кудубаева Сауле. Қазақ ым тілін тану есебінің пән облысына шолу. Есептің қойылуы. ҚазҰТЗУ хабаршысы №5 2020,177–182 б. Публикации в изданиях, входящих в наукометрические базы данных Web of Science и Scopus: 1. Nurzada Amangeldy, Saule Kudubayeva, Akmaral Kassymova, Ardak Karipzhanova, Bibigul Razakhova, Serikbay Kuralov. Sign Language Recognition Method Based on Palm Definition Model and Multiple Classification. Sensors. Издатель: Multidisciplinary Digital Publishing Institute. ISSN 14248220. DOI: 10.3390/s22176621. Sensors 2022, 22(17), 6621. (Article) 2. Amangeldy Nurzada, Ukenova Aru, Bekmanova Gulmira, Razakhova Bibigul, Milosz Marek, Kudubayeva Saule. Continuous Sign Language Recognition and Its Translation into Intonation-Colored Speech. Sensors. Издатель: Multidisciplinary Digital Publishing Institute. ISSN 14248220.DOI: 10.3390/s23146383. Sensors 2022, 23(14), 6383 (Article) 3. Nurzada Amangeldy, Marek Milosz, Saule Kudubayeva, Akmaral Kassymova, Gulsim Kalakova, Lena Zhetkenbay. A Real-Time Dynamic Gesture Variability Recognition Method Based on Convolutional Neural Networks. Applied Sciences. Издатель: Multidisciplinary Digital Publishing Institute. ISSN 2076-3417. DOI:10.3390/app131910799. Appl. Sci. 2023, 13(19), 10799 (Article) 4. Amangeldy Nurzada, Kudubayeva Saule, Razakhova Bibigul, Assel Mukanova, Nazira Tursynova. Comparative Analysis Of Classification Methods Of The Dactyl Alphabet Of The Kazakh Language. Journal of Theoretical and Applied Information Technology. Издатель: Little Lion Scientific. ISSN 1992-8645. Volume 100, Issue 19, Pages 5506 - 5513 (Article) 5. Saule Kudubayeva, Nurzada Amangeldy, Ainur Sundetbayeva, Assiya Sarinova. The use of correlation analysis in the algorithm of dynamic gestures recognition in video sequence ACM International Conference Proceeding Series, 5th International Conference on Engineering and MIS, ICEMIS 2021, 6-8 июня 2019. Номер статьи 149162. ISBN: 978-145037212-1. DOI: 10.1145/3330431.33. 30439, Pages 1–11. (Conference Paper) 6. Bekmanova Gulmira, Nazyrova Aizhan, Amangeldy Nurzada, Sharipbay Altynbek, Kudubayeva Saule. A New Approach to Developing a Terminological Dictionary of School Subjects in the Kazakh Language Proceedings - 7th International Conference on Computer Science and Engineering, UBMK 2022, 14-16 сентября 2022, Номер статьи 183844. ISBN:978-166540618-5. DOI: 10.1109/UBMK 55850.2022.9919581. (Conference Paper) Публикации в зарубежных научных изданиях: 1. S. Kudubayeva, N. Amangeldy, А. Zakirova. Kazakh sign language recognition system based on the Bernsen method and morphological structuring. РЕЧЕВЫЕ ТЕХНОЛОГИИ / SPEECH TECHNOLOG Y 1-2/2020. В сборниках международных научно-практических конференций: 1. S. Kudubayeva, N. Amangeldi, Kh. Kurmetbek, S. Amankeldy. Different Methods of General Recognition of Sign Language in Order to Solve the Problem of Recognizing the Kazakh Sign Language. VI Международная научно-практическая конференция «Европа и тюркский мир: наука, техника и технологии» в г. Бурса (Турция) 5-7 мая 2021 г. 2. Kudubayeva S, Amangeldy N. The use of correlation analysis in the algorithm of dynamic gestures recognition in video sequence. ICEMIS 2019 (The International Conference on Engineering & MIS 2019). L.N.Gumilyov Eurasian National University Astana, Kazakhstan. 3. Н. Амангельды, Ю.В. Крак, С.А. Кудубаева. Классификация форм демонстрации жестов на основе онтологической модели предметной области. 2020 IEEE International Conference on Advanced Trends in Information Theory ATIT / Kyiv / Ukraine 4. Amangeldy, N.; Kudubayeva, S.A.; Tursynova, N.A.; Baymakhanova, A.; Yerbolatova, A.; Abdieva, S. Comparative analysis on the form of demonstration words of kazakh sign language with other sign languages. TURKLANG 2022, 113. Авторские свидетельства, патенты: Система автоматического сурдоперевода Казахского Дактильного Алфавита. № 29937 «3» қараша 2022. АМАНГЕЛДІ НҰРЗАДА, Кудубаева Сауле Альжановна, Қурметбек Бекболат, Қуралов Серикбай Адамбайұлы Система автоматического сурдоперевода Казахского Жестового Языка. № 29874 «1» қараша 2022. АМАНГЕЛДІ НҰРЗАДА, Кудубаева Сауле Альжановна, Қурметбек Бекболат Интеллектуальная система анализа движения человека. № 38947 «7» қыркүйек 2023. АМАНГЕЛДІ НҰРЗАДА, Қурметбек Бекболат Интеллектуальная система преобразования жестов в текст. № 38966 от «8» қыркүйек 2023. АМАНГЕЛДІ НҰРЗАДА, Қурметбек Бекболат
Отзыв зарубежного консультанта
Заключение комиссии по этической оценке исследований
Решение диссертационного совета
Защита диссертации: https://youtu.be/IpYD8Xw5rvU
