В Евразийском национальном университете имени Л.Н. Гумилева состоится защита диссертации на соискание степени доктора философии (PhD) Нұрғазиной Даны Маратқызы на тему «Разработка алгоритмов перевода с текста казахского языка на язык жестов» по образовательной программе «8D06102 – Информатика».
Диссертация выполнена на кафедре «Технологии искусственного интеллекта» Евразийского национального университета имени Л.Н. Гумилева.
Язык защиты - на русском
Официальные рецензенты:
Мансурова Мадина Есимхановна – кандидат физико-математических наук, профессор, заведующая кафедрой «Искусственный интеллект и Big Data» Казахского национального университета имени аль-Фараби (г. Алматы, Республика Казахстан);
Муханов Самат Бакытжанович – доктор философии (PhD), ассистент-профессор кафедры «Компьютерная инженерия» в Международном университете информационных технологии (г. Алматы, Республика Казахстан).
Временные члены Диссертационного совета:
Федоров Евгений Евгениевич – доктор технических наук, профессор кафедры «Статистика и прикладная математика» Черкасского государственного технологического университета (г.Черкассы, Украина);
Аканова Акерке Сапаровна – доктор философии (PhD), старший преподаватель кафедры «Компьютерные науки» КАТИУ имени С.Сейфуллина (г. Астана, Республика Казахстан);
Мамырбаев Оркен Жумажанович – доктор философии (PhD), кандидат технических наук, ассоциированный профессор, ведущий научный сотрудник Института информационных и вычислительных технологий КН МНВО РК (г. Алматы, Республика Казахстан).
Научные консультанты:
Кудубаева Сауле Альжановна – кандидат технических наук, ассоцированный профессор кафедры «Технологии искусственного интеллекта» ЕНУ имени Л.Н. Гумилева (г.Астана, Республика Казахстан);
Крак Юрий Васильевич – доктор физико-математических наук, профессор Киевского национального университета имени Тараса Шевченко (г.Киев, Украина).
Защита состоится: 28 апреля 2025 года 11:00 часов в Диссертационном совете по направлению подготовки кадров «8D061 – Информационно-коммуникационные технологии» по образовательной программе «8D06102 – Информатика» Евразийского национального университета имени Л.Н. Гумилева. Проведение заседания диссертационного совета в смешанном (оффлайн и онлайн) формате.
Ссылка: https://clck.ru/3Hnd2G
Адрес: г. Астана, ул. К. Сатпаева, 2, ауд. 302.
Аннотация (рус.): диссертационная работа Нұрғазина Дана Маратқызы «Разработка алгоритмов перевода с казахского текстового языка на язык жестов», представленном на соискание степени доктора философии (PhD) по образовательной программе: 8D06102 - Информатика Актуальность данного исследования обусловлена необходимостью развития инклюзивных технологий, направленных на поддержку глухих и слабослышащих людей в Казахстане. Казахский жестовый язык (КЖЯ), являющийся основным средством общения для данной группы населения, до сих пор недостаточно изучен и стандартизирован. Несмотря на значительные достижения в области разработки технологий для перевода на жестовый язык в других странах, казахский язык и КЖЯ имеют свои уникальные особенности, которые требуют создания специализированных решений. Современные технологии автоматизированного перевода играют ключевую роль в обеспечении доступа к информации и коммуникации для людей с нарушениями слуха. Однако существующие системы перевода зачастую не учитывают специфику казахского языка, его синтаксические и морфологические особенности, а также культурные нюансы, что снижает их эффективность. В условиях активного развития цифровых технологий и глобализации в Казахстане возрастает потребность в создании локализованных решений, которые могут обеспечить более точный и адекватный перевод с казахского языка на жестовый язык. Это особенно важно в контексте социального включения и обеспечения равных возможностей для всех граждан. Таким образом, исследование, направленное на разработку алгоритмов перевода с казахского текстового языка на КЖЯ, является крайне актуальным и своевременным. Оно не только способствует решению практических задач в области коммуникации для глухих и слабослышащих людей, но и открывает новые перспективы для развития технологий в Казахстане. Цель исследования заключается в разработке и оптимизации алгоритма и методов автоматического перевода с казахского языка на жестовый язык, с учетом лингвистических и культурных особенностей, для повышения качества и точности перевода, а также обеспечения доступности информации для людей с нарушениями слуха. Задачи исследования: 1. Исследовать современные решения автоматического перевода текста на жесты. 2. Изучить семантические особенности казахских слов с целью разработки автоматизированного перевода на жестовый язык. 3. Разработать математическую модель для создания алгоритма в автоматизированном переводчике с текста на жесты. 4. Создать алгоритм для передачи движения анимированного 3d аватара с применением математической модели для перевода казахских текстов на жестовый язык. 5. Интегрировать и тестировать разработанную систему на основе предложенного алгоритма с целью оценки их эффективности и точности. Методы исследования, использованные в данной работе, охватывают несколько ключевых направлений: Теоретический анализ: Был проведен анализ научной литературы, работ и исследований, посвященных жестовым языкам и автоматизированным переводчикам. Целью данного этапа было углубленное понимание текущего состояния знаний, теорий и моделей автоматизации жестового языка. Основное внимание уделялось синтаксическим и семантическим аспектам, особенностям их визуального восприятия, а также использованию 3D-технологий и нейронных сетей для повышения точности перевода. Этот этап послужил основой для формирования гипотез и определения ключевых аспектов разработки. Сравнительный анализ: Изучены различные системы перевода текста на жестовый язык для выявления их сильных и слабых сторон. На основе анализа международных практик были определены наиболее эффективные методы перевода. Особое внимание уделялось интеграции новых технологий, таких как машинное обучение. Моделирование: Были разработаны математические модели для алгоритма автоматизированного сурдопереводчика. Моделирование структурировало процесс перевода текста на жестовый язык, что позволило создать четкий алгоритм для программного обеспечения. Были предусмотрены сценарии тестирования и оптимизации алгоритма с учетом особенностей казахского языка. Создание и внедрение: Разработано программное обеспечение, которое визуализировало жесты через 3D-аватар. При разработке учитывались требования точности и адаптация под казахский жестовый язык. После создания системы проводились испытания и настройка интерфейса для удобного использования. Экспериментальное исследование: Было проведено тестирование системы с участием специалистов по жестовому языку. Основной целью была проверка точности перевода, адекватности жестов и их естественности. Обратная связь от экспертов позволила выявить сильные и слабые стороны системы и наметить пути ее улучшения. Основные положения, выносимые на защиту Разработка математической модели для создания алгоритма автоматизированного перевода текста на жесты: Предложена математическая модель, которая структурирует процесс перевода текста на жесты. Модель позволяет построить эффективный алгоритм, способный учитывать уникальные лингвистические особенности казахского языка при переводе на жестовый язык. Создание алгоритма для передачи движения анимированного 3D-аватара с применением математической модели для перевода казахских текстов на жестовый язык: Разработан алгоритм, позволяющий анимированному 3D-аватару корректно воспроизводить жесты, соответствующие казахскому жестовому языку. Этот алгоритм обеспечивает естественную передачу как лексического значения, так и эмоциональной выразительности жестов. Создание 3D-аватара для визуализации жестов: Разработан и протестирован 3D-аватар, который использует адаптированные жесты для передачи информации. Проведена всесторонняя оценка эффективности 3D-аватара с участием специалистов и носителей КЖЯ, что подтвердило его высокую точность и пригодность для практического использования. Оптимизация процесса перевода с казахского языка на жестовый язык с учетом культурных и лингвистических особенностей: Предложенные алгоритмы и методы перевода учитывают уникальные культурные и лингвистические особенности казахского языка, что позволяет создавать более точные и релевантные переводы. Это стало возможным благодаря адаптации существующих речевых технологий под специфику казахского языка и его жестового эквивалента. Вклад в развитие технологий инклюзивного образования и социальной интеграции: Разработанные в ходе исследования технологии имеют широкий спектр применения, включая образование, здравоохранение, правовую сферу и другие области, где необходим доступ к информации на жестовом языке. Эти разработки значительно повышают уровень инклюзивности и социального участия глухих и слабослышащих людей в Казахстане, открывая новые перспективы для их интеграции в общество. Эти положения, будучи новыми и актуальными для научного сообщества, выносятся на защиту и подтверждают вклад автора в развитие технологий автоматизированного перевода и инклюзивного общества в Казахстане. Описание основных результатов исследования В ходе диссертационного исследования были достигнуты следующие ключевые результаты: Результат 1. Математическая модель простых и сложных предложений для создания алгоритма автоматизированного перевода текста на жесты. Модель структурирует процесс перевода текста на жесты с учетом лингвистических особенностей казахского языка. Она позволяет учесть нюансы грамматики и синтаксиса, что способствует созданию более точных алгоритмов перевода и улучшает понимание информации, подаваемой через жестовый язык. Результат 2. Алгоритм для передачи движения анимированного 3D-аватара с применением математической модели для перевода казахских текстов на жестовый язык. Алгоритм обеспечивает естественную передачу жестов, точно отображая лексическое значение и эмоциональную выразительность казахского жестового языка. В результате, движение аватара синхронизировано с текстом, что позволяет более точно передавать смысл и интонации жестов. Результат 3. 3D-аватар для визуализации жестов. Аватар адаптирован под специфические жесты казахского жестового языка, обеспечивая высокую точность воспроизведения движений. Это помогает пользователям системы лучше воспринимать информацию, а также упрощает использование автоматизированных переводчиков жестов в различных сферах, таких как образование, медицина и государственные услуги. Результат 4. Система автоматизированного перевода, интегрированная и протестированная с участием специалистов по жестовому языку. Были оценены алгоритмы перевода и 3D-аватар, что позволило определить их эффективность и выявить области для дальнейшего улучшения. Тестирование подтвердило, что система работает с достаточной точностью, а также обозначило шаги для повышения качества перевода и взаимодействия системы с пользователями. Результат 5. Математическая модель и алгоритм учитывающий культурные особенности казахского языка для автоматизированного перевода, которая может использоваться в системах инклюзивного образования. Технология обеспечивает качественный автоматизированный перевод с учетом особенностей казахского языка и жестов. Это позволяет улучшить доступ глухих и слабослышащих людей к образовательным ресурсам и социальным услугам, что содействует их социальной интеграции и повышению уровня образования. Эти результаты демонстрируют значительный вклад в развитие технологий автоматизированного перевода на жестовый язык и расширяют возможности для интеграции глухих и слабослышащих людей в различные сферы жизни. Обоснование новизны и важности полученных результатов Результат 1. Математическая модель простых и сложных предложений для создания алгоритма автоматизированного перевода текста на жесты. Новизна: Предложена математическая модель, структурирующая процесс перевода текста на жесты, которая уникально учитывает лингвистические особенности казахского языка. Важность: Эта модель позволяет создать более точные и релевантные алгоритмы перевода, что улучшает доступ к информации для глухих и слабослышащих людей, способствуя их социальной и образовательной интеграции. Результат 2. Алгоритм для передачи движения анимированного 3D-аватара с применением математической модели для перевода казахских текстов на жестовый язык. Новизна: Разработан алгоритм, который обеспечивает естественную передачу жестов 3D-аватаром, точно отображая лексическое значение и эмоциональную выразительность казахского жестового языка. Важность: Этот алгоритм улучшает визуальное восприятие жестов, что важно для пользователей автоматизированных переводческих систем и повышает качество коммуникации между слышащими и неслышащими людьми. Результат 3. 3D-аватар для визуализации жестов. Новизна: Создан и протестирован 3D-аватар, адаптированный под специфические жесты казахского жестового языка, с высокой точностью воспроизведения движений. Важность: Аватар значительно упрощает использование систем автоматического перевода и делает информацию на жестовом языке более доступной для глухих сообществ, особенно в сферах образования и общественных услуг. Результат 4. Система автоматизированного перевода, интегрированная и протестированная с участием специалистов по жестовому языку. Новизна: Протестированы и оценены алгоритмы перевода и 3D-аватар, что позволило определить их эффективность и выявить области для дальнейшего улучшения. Важность: Результаты эксперимента подтвердили полезность системы в реальных условиях и выявили направления для дальнейшего повышения точности перевода. Результат 5. Математическая модель и алгоритм учитывающий культурные особенности казахского языка для автоматизированного перевода, которая может использоваться в системах инклюзивного образования. Новизна: Разработанная технология впервые обеспечивает качественный автоматизированный перевод с учётом специфики казахского языка и жестов, что делает её уникальной. Важность: Эта технология может значительно улучшить доступ к информации и образовательным ресурсам для глухих и слабослышащих людей, содействуя их социальной интеграции. Соответствие направлениям развития науки или государственным программам 4. Информационные, коммуникационные и космические технологии. 4.1 Искусственный интеллект и информационные технологии. 4.1.5 Машинное обучение (machine learning). Описание вклада соискателя в подготовку каждой публикации В рамках диссертационной работы по теме "Разработка алгоритмов перевода с казахского текстового языка на язык жестов" были представлены четыре статьи: 1. “Research of semantic aspects of the Kazakh language when translating into the Kazakh sign language”: Целью исследования является тщательное изучение характеристик частей речи в казахском языке, выраженных жестикуляцией, а также принципов, регулирующих перевод глаголов и деепричастных оборотов. В статье подробно объясняются формулы перевода текста на язык жестов, основанные на субъекте-объекте-сказуемом. Приводятся примеры, иллюстрирующие субъектно-объектные отношения и определяющие, кто выступает в роли говорящего, "объекта" или "субъекта" высказывания. 2. “Creating an animated character for a computerized deaf translation system”: Особое внимание уделяется формализации алгоритмов и разработке кода для 3D-аватаров, которые служат визуальными демонстраторами в переводе жестового языка. Проанализированы различия между постсоветскими языками, использующими русский жестовый язык, и Казахстаном, который использует свой жестовый язык. 3. “Анализ семантики казахского жестового языка и классификация частей речи”: Посвящена анализу предыдущих исследований, которые изучают структуру казахского жестового языка и КЖЯ, выявлены его особенности в семантике, пространственной организации и передаче субъектно-предметных отношений. 4. “Scientific aspects of modern approaches to machine translation for Kazakh sign language”: В работе представлена база данных, алгоритм анализа и прототип 3D-аватара, способного переводить текстовые данные на язык жестов. Особое внимание уделяется обработке идиом и вариативности выражения эмоций на языке жестов. Автор диссертации является либо первым, либо корреспондирующим автором во всех этих статьях, что подтверждает ее непосредственное и полное участие в проведенных исследованиях. Эти публикации полностью раскрывают суть исследования, логически связаны друг с другом и охватывают различные аспекты и методы распознавания казахского жестового языка, внося ценный вклад в эту область научных исследований. Публикации. Публикации в изданиях, включенных в перечень КОКСНВО МНВО РК: 1. D.M. Nurgazina, S.A. Kudubayeva, A.U. Bekbauova. Creating an animated character for a computerized deaf translation system. Абай атындағы ҚазҰПУ-нің ХАБАРШЫСЫ, «Физика-математика ғылымдары» сериясы, №1(85), 2024, pp. 123-134. 2. Нұрғазина Д.М., Кудубаева С.А., Крак Ю.В. Анализ семантики казахского жестового языка и классификация частей речи. Труды университета №2 (95), 2024, стр 450-456, DOI 10.52209/1609-1825_2024_2_450. 3. D.M. Nurgazina, S.A. Kudubayeva, A. Ismailov. Scientific aspects of modern approaches to machine translation for Kazakh sign language. Scientific Journal of Astana IT University, Volume 18, June 2024, pp. 41-54. ISSN (P): 2707-9031 ISSN (E): 2707-904X. DOI: 10.37943/18DQXX2356. Публикации в изданиях, входящих в наукометрические базы данных Web of Science и Scopus: 1. D.M. Nurgazina, S.A. Kudubayeva. Research of semantic aspects of the Kazakh language when translating into the Kazakh sign language. International Journal of Electrical and Computer Engineering (IJECE), Vol. 14, No. 4, August 2024, pp. 4488~4497. ISSN: 2088-8708, DOI: 10.11591/ijece.v14i4.pp4488-4497 Публикации в зарубежных научных изданиях: 1. Кудубаева С.А., Нургазина Д.М. Сравнительный анализ алгоритмов перевода с текста на жестовый язык. Речевые технологии / Speech technology 1/2022, стр 47-57. В сборниках международных научно-практических конференций: 1. D.M. Nurgazina, S.A. Kudubayeva. Comparative analysis of translation algorithms from text to sign language. Cборнике Международной научно-практической конференции «Султангазинские чтения-2023», 2023, стр 230-235. Авторские свидетельства, патенты: Система автоматического сурдоперевода Казахского Жестового Языка. Программа для ЭВМ. № 49209 от «22» августа 2024 года. Нұрғазина Дана Маратқызы.
Отзыв зарубежного консультанта
Заключение комиссии по этической оценке исследований
Решение диссертационного совета
Защита диссертации: https://youtu.be/a6Q-hkqt1vw
