В Евразийском национальном университете имени Л.Н. Гумилева состоится защита диссертации на соискание степени доктора философии (PhD) Амирбай Айзат Айтуганқызы на тему «Разработка информационной системы для прогнозирования ранних признаков расстройств аутистического спектра на основе мультимодального анализа данных движений глаз и мимики» по образовательной программе «8D06103 – Информационные системы».
Диссертация выполнена на кафедре «Кафедра Информационных систем» Евразийского национального университета имени Л.Н. Гумилева.
Язык защиты - казахский
Официальные рецензенты:
Еділхан Дидар – доктор философии (PhD), ассоцированный профессор, директор научно-исследовательского центра «Smart City» Astana IT University (г. Астана, Республика Казахстан);
Кайбасова Динара Женисбековна – доктор философии (PhD), ассоциированный профессор департамента «Компьютерная инженерия» Astana IT University (г. Астана, Республика Казахстан).
Временные члены Диссертационного совета:
Барахнин Владимир Борисович – доктор технических наук; доцент, ведущий научный сотрудник в Федеральном исследовательском центре информационных и вычислительных технологий (ФИЦ ИВТ) (г. Новосибирск, Россия);
Аканова Акерке Сапаровна – доктор философии (PhD), ассоцированный профессор, руководитель группы образовательных программ «Kомпьютерные науки», НАО «Казахский агротехнический исследовательский университет имени С.Сейфуллина» (г. Астана, Республика Казахстан);
Еримбетова Айгерим Сембековна – доктор философии (PhD), кандидат технических наук, ассоциированный профессор, ведущий научный сотрудник Института информационных и вычислительных технологий КН МНВО РК (г. Алматы, Республика Казахстан).
Научные консультанты:
Муханова Аягоз Асанбековна – доктор философии (PhD), ассоциированный профессор кафедры “Информационные системы” Евразийского национального университета имени Л.Н. Гумилева, (г. Астана, Республика Казахстан);
Рахимов Кувватали Ортикович – доктор философии (PhD), доцент, заведующий кафедрой прикладной математики и информатики Ферганского государственного университета (г. Фергана, Республика Узбекистан).
Защита состоится: 26 августа 2026 года 12:00 часов в Диссертационном совете по направлению подготовки кадров «8D061 – Информационно-коммуникационные технологии» по образовательной программе «8D06103 – Информационные системы» Евразийского национального университета имени Л.Н. Гумилева. Проведение заседания диссертационного совета в смешанном (оффлайн и онлайн) формате.
Ссылка: https://teams.microsoft.com/meet/46077209072182?p=MVrvQx7cEtWUNOoEEZ
Адрес: г. Астана, ул. Пушкина, 11, Учебный корпус № 2, аудитория № 222.
Аннотация (рус.): АННОТАЦИЯ диссертационной работы Амирбай Айзат Айтугановны на тему «Разработка информационной системы для прогнозирования ранних признаков расстройств аутистического спектра на основе мультимодального анализа данных движений глаз и мимики», представленной на соискание степени доктора философии (PhD) по образовательной программе «8D06103 - Информационные системы» Актуальность исследования. Расстройства аутистического спектра (РАС) относятся к числу наиболее распространённых нейроразвивающих нарушений у детей и представляют собой значимую медицинскую, социальную и образовательную проблему современного общества. По данным Всемирной организации здравоохранения, в среднем один из 100 детей в мире имеет признаки РАС. При этом результаты эпидемиологических исследований последних лет демонстрируют ещё более высокую распространённость. Так, согласно данным Центров по контролю и профилактике заболеваний США (Centers for disease control and prevention, CDC), в 2023 году признаки РАС выявляются примерно у одного из 36 детей. Наблюдаемая динамика свидетельствует о существенном росте распространённости аутизма в течение последних десятилетий, что обусловлено как расширением диагностических критериев и повышением уровня осведомлённости общества, так и совершенствованием методов диагностики нарушений нейроразвития. В Республике Казахстан проблема РАС также приобретает всё большую актуальность. Согласно данным Министерства здравоохранения Республики Казахстан, в стране наблюдается устойчивая тенденция к росту числа детей с установленным диагнозом РАС. Если в 2020 году было зарегистрировано около 3,5 тыс. детей с данным диагнозом, то к 2024 году их количество превысило 12 тыс., а по состоянию на 2025 год число несовершеннолетних с диагнозом РАС достигло около 14,5 тыс. человек, увеличившись в 5,1 раза. Вместе с тем специалисты отмечают, что официальные статистические данные могут не отражать реального уровня распространенности РАС, поскольку во многих случаях нарушения диагностируются лишь на поздних этапах развития ребенка либо вовсе остаются не выявленными. Раннее прогнозирование нарушений развития является одним из ключевых факторов повышения эффективности коррекционных, образовательных и реабилитационных мероприятий. Результаты многочисленных исследований свидетельствуют о том, что своевременное выявление признаков РАС и раннее вмешательство способствуют существенному улучшению когнитивного, социального и коммуникативного развития ребенка, а также повышению эффективности его обучения и социальной адаптации. Однако в клинической практике диагностика расстройств аутистического спектра, как правило, осуществляется на сравнительно поздних этапах развития – преимущественно в возрасте от трех до семи лет. Это существенно ограничивает возможности оказания ранней коррекционной помощи, поскольку многие характерные проявления РАС становятся выраженными лишь на более поздних этапах развития ребенка. В то же время результаты современных исследований показывают, что первые признаки расстройств аутистического спектра могут проявляться значительно раньше, уже в возрасте 6-12 месяцев. К числу таких ранних проявлений относятся особенности движений глаз, сниженная реакция на социальные стимулы, специфические мимические проявления, нарушения зрительного внимания и другие характеристики невербального поведения. Указанные поведенческие особенности преимущественно отражаются в лицевых сигналах ребенка, включая особенности движений глаз, направление и фиксацию взгляда, мимическую активность и изменения положения головы, которые рассматриваются как важные информативные показатели ранних проявлений РАС. Существующие методы прогнозирования и выявления РАС преимущественно основываются на клинических наблюдениях специалистов, стандартизированных диагностических шкалах, опросниках и психолого-педагогических тестах. Несмотря на широкое применение данных методов, получаемые результаты во многом зависят от субъективной оценки специалистом индивидуальных особенностей поведения ребенка. Это, в свою очередь, обусловливает вариативность результатов диагностики и ограничивает возможности количественного анализа ранних признаков нарушений социального взаимодействия. Кроме того, многие ранние проявления РАС имеют микродинамический характер, вследствие чего их регистрация в процессе традиционного клинического наблюдения представляет значительные трудности. В последние годы стремительное развитие технологий искусственного интеллекта, компьютерного зрения и анализа поведения человека открывает новые возможности для автоматизации диагностики нарушений нейроразвития. Современные научные исследования уделяют особое внимание анализу лицевых поведенческих сигналов, включая движения глаз, особенности фиксации взгляда и распределения зрительного внимания, мимические проявления, положение головы и реакции на различные социальные стимулы. Указанные параметры являются важными индикаторами процессов социального восприятия и взаимодействия и могут рассматриваться в качестве потенциальных маркеров ранних проявлений РАС. Одним из наиболее перспективных направлений раннего выявления РАС является применение технологий отслеживания движений глаз – eye-tracking. Результаты многочисленных зарубежных исследований свидетельствуют о том, что особенности зрительного внимания и глазодвигательной активности у детей с РАС существенно отличаются от аналогичных показателей у детей с типичным развитием (ТД). Вместе с тем выявление подобных закономерностей с использованием традиционных методов субъективного наблюдения затруднено, поскольку многие особенности глазодвигательной активности проявляются на уровне микродвижений глаз и требуют применения специализированных технологий регистрации и анализа. Кроме того, использование только одного типа данных не позволяет всесторонне охарактеризовать особенности социального восприятия ребенка. В связи с этим в современных исследованиях особое внимание уделяется мультимодальному анализу, основанному на одновременном использовании нескольких источников данных. К ним относятся движения глаз, мимические проявления, положение головы и реакции на различные стимулы. Интеграция данных, полученных из различных модальностей, позволяет повысить точность анализа движений глаз, мимических признаков и положения головы, а также выявить более устойчивые количественные маркеры ранних проявлений РАС. Развитие методов машинного обучения и технологий интеллектуального анализа данных открывает новые возможности для обработки и интерпретации больших объемов мультимодальных данных. Современные алгоритмы позволяют выявлять скрытые закономерности в поведении детей, формировать информативные признаки и разрабатывать прогностические модели, обеспечивающие автоматическое выявление признаков нарушений нейроразвития на ранних этапах развития. В связи с этим особую актуальность приобретает разработка информационной системы, обеспечивающей автоматизированный сбор, обработку и мультимодальный анализ данных о движениях глаз, мимике и положении головы детей. Подобные системы могут служить инструментами поддержки принятия решений для специалистов в области медицины, психологии и специального образования, обеспечивая более объективную и количественно обоснованную оценку поведенческих особенностей ребенка и повышая эффективность раннего прогнозирования РАС. В Республике Казахстан исследования в области применения информационных технологий, интеллектуального анализа данных и методов машинного обучения активно развиваются и находят широкое применение при решении различных научных и прикладных задач. Значительный вклад в развитие интеллектуальных информационных систем, совершенствование методов анализа данных и алгоритмов машинного обучения внесли казахстанские исследователи Е.Б. Амиргалиев, А.Б. Жумагулов, А.К. Шокпарова, Д.Т. Баймуканов и А.К. Кабжанова. В их работах рассматриваются вопросы разработки алгоритмов интеллектуального анализа данных, создания информационных систем, а также применения методов машинного обучения для решения прикладных задач обработки сложных данных. В исследованиях казахстанских ученых А.А. Мухановой и А.А. Амирбай изучены вопросы применения методов машинного обучения, интеллектуального анализа данных и современных информационных технологий при обработке сложных лицевых и моторных данных. В данных работах рассматриваются возможности использования методов искусственного интеллекта для анализа наборов данных, построения интеллектуальных моделей и разработки систем поддержки принятия решений. Проблемы особенностей развития детей с РАС также активно исследуются в рамках казахстанских психолого-педагогических и медицинских научных школ. В частности, в трудах Ж.М. Намазбаевой, К.К. Жарыкбаева, Г.М. Кожахметовой и других ученых рассматриваются вопросы диагностики нарушений развития, особенности социального и коммуникативного поведения детей с РАС, а также методы психолого-педагогической коррекции и сопровождения детей с особыми образовательными потребностями. В последние годы в Казахстане также появляются исследования, посвященные применению современных технологий анализа данных, методов компьютерного зрения и глубокого обучения для анализа поведенческих признаков человека. В частности, в работах А. Амирбай и А.А. Мухановой рассматриваются подходы к использованию методов машинного обучения и нейронных сетей для анализа лицевых признаков и особенностей двигательной активности детей с целью выявления признаков РАС. Результаты данных исследований свидетельствуют о перспективности применения методов интеллектуального анализа данных для автоматизированного анализа лицевых поведенческих сигналов и раннего прогнозирования нарушений нейроразвития. В мировой научной литературе проблема ранней диагностики РАС активно исследуется на протяжении последних десятилетий. Существенный вклад в развитие научных представлений о социальном поведении детей с РАС внесли S. Baron-Cohen, A. Klin, F. Volkmar и A. Schultz. В их исследованиях рассматриваются особенности социального восприятия, зрительного внимания и коммуникативного поведения детей с РАС. Исследования, проведенные Warren Jones и Ami Klin, показали, что для детей с РАС характерны специфические особенности распределения зрительного внимания, проявляющиеся, в частности, в снижении фиксации взгляда на глазах собеседника и повышенном внимании к второстепенным объектам. Аналогичные результаты представлены в работах M. Chita-Tegmark, где с использованием технологии eye-tracking проанализированы особенности зрительного поведения детей и выявлены различия в стратегиях обработки социальных стимулов у детей с РАС и типичным развитием (ТР). Методы автоматического анализа мимических выражений лица и поведенческих сигналов на основе алгоритмов компьютерного зрения представлены в исследованиях J. Hashemi, T. Tariq и D.P. Wall. В этих работах показано, что применение методов машинного обучения позволяет выявлять характерные для РАС поведенческие паттерны на основе анализа видеоданных. Современные исследования также направлены на разработку мультимодальных методов анализа поведения детей. В работах H. Voss, J. Ma и S.J. Amaral предложены подходы, объединяющие анализ движений глаз, мимических проявлений и положения тела, что способствует повышению точности автоматизированной диагностики и выявлению более устойчивых поведенческих маркеров РАС. Несмотря на значительное количество выполненных исследований, существующие подходы преимущественно ориентированы на анализ отдельных типов данных и не в полной мере учитывают возможности их комплексной интеграции. Это, в свою очередь, ограничивает возможности всестороннего анализа социального поведения ребенка и выявления устойчивых признаков, характерных для РАС. Целью исследования является разработка информационной системы для прогнозирования ранних признаков расстройств аутистического спектра на основе мультимодального анализа лицевых данных. Исходя из цели диссертационной работы, были поставлены следующие задачи: Провести систематический обзор существующих методов выявления РАС и научных исследований по данной тематике. Сформировать структурированную уникальную базу лицевых данных детей с РАС и типичным развитием (ТД). Разработать вектор информативных признаков РАС на основе мультимодального анализа лицевых данных. Разработать модель прогнозирования РАС на основе мультимодального анализа лицевых данных. Разработать информационную систему для прогнозирования ранних признаков РАС. Объект исследования – лицевые данные детей с расстройств аутистического спектра и типичным развитием. Предмет исследования – методы и модели, основанные на искусственном интеллекте, для прогнозирования ранних признаков расстройств аутистического спектра на основе мультимодального анализа лицевых данных. Методы исследования – методы компьютерного зрения для регистрации лицевых данных, методы мультимодального анализа данных, методы статистической обработки и методы машинного обучения. Программные средства. Методическая основа разработки алгоритмов и программного обеспечения обеспечена использованием программных средств MATLAB, Python, а также программных библиотек MediaPipe и FaceMesh. Основные результаты, выносимые на защиту: Формирование структурированной уникальной базы лицевых данных детей с РАС и типичным развитием. Разработка вектора информативных признаков на основе мультимодального анализа лицевых данных. Разработка модели прогнозирования РАС на основе мультимодального анализа лицевых данных. Разработка информационной системы для прогнозирования ранних признаков РАС Научная новизна: Разработан вектор информативных признаков на основе мультимодального анализа лицевых данных. Разработана модель прогнозирования ранних признаков РАС на основе мультимодального анализа. Теоретическая значимость исследования. Теоретическая значимость исследования заключается в интеграции данных о движениях глаз, мимических проявлениях и положении головы, формировании вектора информативных признаков на основе мультимодального анализа и разработке модели прогнозирования ранних признаков РАС с использованием методов машинного обучения. Практическая значимость исследования. В результате исследования разработана информационная система для объективного прогнозирования ранних признаков РАС на основе регистрации и мультимодального анализа лицевых данных детей. Разработанная информационная система прошла апробацию на базе коммунального государственного учреждения «Кабинет психолого-педагогической коррекции № 2» акимата города Астаны и была протестирована с участием 143 детей. Предлагаемая система может быть использована в качестве инструмента поддержки принятия решений специалистами в области медицины и образования, способствовать повышению точности диагностики, а также применяться в качестве вспомогательного диагностического средства для врачей. Внедрение результатов. Результаты исследования внедрены в деятельность коммунального государственного учреждения «Кабинет психолого-педагогической коррекции № 2» акимата города Астаны, что подтверждается актом внедрения информационной системы от 04 мая 2026 года, удостоверяющим практическое применение результатов исследования. Диссертационная работа выполнена в рамках научного проекта грантового финансирования Министерства науки и высшего образования Республики Казахстан № AP26105045 «Разработка моделей и алгоритмов искусственного интеллекта для анализа социальных сигналов у детей с аутизмом». Апробация результатов диссертации. Основные результаты диссертационного исследования были доложены на следующих международных конференциях: Spatiotemporal Logic-Based Modeling of Behavioral Pattern in Autism Spectrum Disorder Detection // VIII Международный научный коллоквиум по казахско-французской логике (Астана, Казахстан, 24–27 июня 2025 г.). Hybrid CNN–LSTM Framework for Spatiotemporal Detection of Autism Based on Facial and Motor Behavior Analysis // 10th IEEE International Conference on Computer Science and Engineering (UBMK 2025) (Стамбул, Турция, 17–21 сентября 2025 г.). Hybrid Deep Neural Network with SHAP Interpretability for Early Detection of Neurodevelopmental Disorders in Children // 9th International Conference on Computer Science and Artificial Intelligence (Пекин, Китай, 12–15 декабря 2025 г.). В журналах, индексируемых в базах Scopus и Web of Science, опубликована 3 статья: Amirbay A., Mukhanova A., Baigabylov N., Kudabekov M., Mukhambetova K., Baigusheva K., Baibulova M., Ospanova T. Development of an algorithm for identifying the autism spectrum based on features using deep learning methods // International Journal of Electrical & Computer Engineering, 14(5), 2024. - P. 5513–5523 (Квартиль - Q2, процентиль - 65) Amirbay A., Baigabylov N., Mukhanova A., Mukhambetova K., Zaitov E., Burganova R., Khusanova K., Akhmedova F. Autism detection using facial and motor analysis using machine learning // Bulletin of Electrical Engineering and Informatics, 14(5), 2025. - P. 3985–4000 (Квартиль - Q2, процентиль - 59) Mukhanova, A.; Amirbay, A.; Taszhurekova, Z.; Kholbekov, A.; Khaydarova, K.; Kalanova, S.; Abdykerimova, G.; Akhmetova, A.; Latip, R.; Baibulova, M. (2026). A Hybrid multi-branch deep learning model for autism spectrum disorder detection using spatiotemporal gait analysis//IEEE Access, 14, 94707–94724 (Квартиль - Q1, процентиль - 89). В журналах, входящих в перечень научных изданий, рекомендуемых Комитетом по обеспечению качества в сфере науки и высшего образования Министерства науки и высшего образования Республики Казахстан, опубликовано 2 статьи: Mukhanova A., Amirbay A., Abdikerimova G., Shekerbek A., Rakhimov Q. Application of deep learning models for early detection of autism signs based on eye movement analysis // International Journal of Information and Communication Technologies. - 2025. - Vol. 6, №4 (24). - P. 239–250. Amirbay A., Amanbaikyzy Z., Maxutova K., Mukhanova A., Kassim M. Machine learning algorithm for early detection of autism spectrum disorders in children based on multimodal analysis of eye movements and facial expressions // International Journal of Information and Communication Technologies. – 2026. – Vol. 7, №2 (26). – P. 227–241. Этическое разрешение на проведение исследования получено на основании протокола № 1 заседания Комиссии по этике от 14 ноября 2025 года и оформлено официальным заключением от 01 декабря 2025 года, подтвержденным Национальным научно-практическим центром развития специального и инклюзивного образования Министерства просвещения Республики Казахстан. Получено свидетельство о государственной регистрации объекта авторского права компьютерной программы № 71410 от 05 мая 2026 года. Структура и объём диссертации. Диссертация изложена на казахском языке и состоит из введения, трех разделов, заключения, списка использованных источников и приложений. В первом разделе рассмотрены теоретические основы раннего выявления РАС, проведен систематический обзор существующих клинических, психолого-педагогических и информационных подходов, а также диагностических информационных систем. Кроме того, проанализированы современные направления, основанные на анализе лицевых данных, включая возможности методов компьютерного зрения и машинного обучения. Определены научные основы исследования движений глаз и мимических проявлений, а также преимущества мультимодального анализа. Во втором разделе разработана методика сбора и регистрации лицевых данных детей, сформирована мультимодальная база данных детей с РАС и типичным развитием. Рассмотрены подходы к интеграции различных источников данных, включая движения глаз, мимические признаки и положение головы, а также предложены методы формирования информативных признаков. Систематизированы методы предварительной обработки, структурирования и анализа данных. В третьем разделе разработана математическая модель прогнозирования ранних признаков РАС и проведена оценка ее эффективности. Представлены пространство признаков, сформированное на основе мультимодальных данных, методы классификации и алгоритмы функционирования модели. Подробно рассмотрены архитектура разработанной информационной системы, ее программная реализация и пользовательский интерфейс. В заключении обобщены основные результаты исследования. Проведен анализ традиционных подходов к прогнозированию РАС и существующих информационных систем, определены их возможности и ограничения. Обоснована научная и практическая значимость разработанных методов и моделей. Показана эффективность применения мультимодального анализа и методов искусственного интеллекта для выявления ранних признаков РАС, а также определены перспективные направления дальнейших исследований. Автор выражает глубокую признательность научному консультанту, ассоциированному профессору кафедры «Информационные системы» Евразийского национального университета имени Л.Н. Гумилева, PhD Мухановой Аягоз Асанбековне, за всестороннюю научную поддержку, руководство и ценные рекомендации, оказанные на всех этапах выполнения исследования. Ее богатый научный опыт, методические советы, системный подход к решению научных задач и конструктивные замечания внесли существенный вклад в формирование содержания диссертации и повышение качества полученных результатов. Автор также выражает искреннюю благодарность зарубежному научному консультанту, доктору технических наук, доценту Рахимову Кувватали Ортикулы, а также Ферганскому государственному университету за научную поддержку, ценные рекомендации и методическую помощь. Его профессиональный опыт и международный научный взгляд способствовали углублению результатов исследования и их сопоставлению с международными научными достижениями. Кроме того, автор выражает искреннюю благодарность коллективу кафедры «Информационные системы» за создание благоприятных условий для успешного выполнения научных исследований.
Отзыв зарубежного консультанта
Заключение комиссии по этической оценке исследований
Решение диссертационного совета
Защита диссертации: https://www.youtube.com/watch?v=D8DCKrYroYg
