Защита диссертации Мауленов Қалыбек Сапарұлы на соискание степени доктора философии (PhD) по специальности «8D06101 - Информатика»
В Евразийском национальном университете имени Л.Н. Гумилева состоится защита диссертации на соискание степени доктора философии (PhD) Мауленов Қалыбек Сапарұлы на тему «Разработка информационно-алгоритмической модели системы регистрации биометрических данных и поиска лиц с применением технологии штрихового кодирования и глубоких нейронных сетей» по специальности «8D06101 – Информатика».
Диссертация выполнена на кафедре «» Евразийского национального университета имени Л.Н. Гумилева.
Язык защиты - на русском
Рецензенты:
Аканова Акерке Сапаровна - доктор философии(PhD), Казахский агротехнический университет имени Сейфулина, ст. преподаватель
Бапиев Идеят Мэлсович - доктор философии(PhD)
Временные члены Диссертационного совета:
Кожирбаев Жанибек Мамбеткаримович - доктор философии(PhD), National Laboratory Astana
Рахимова Диана Рамазановна
Фархадов Маис Пашаоглы - доктор наук, профессор, Институт проблем управления им. В.А. Трапезникова Российской академии наук, Заведующий лабораторией
Научные консультанты:
Кудубаева Сауле Альжановна - кандидат технических наук, старший преподаватель кафедры «Технологии искусственного интеллекта», факультет Информационных технологий, Евразийский национальный университет имени Л. Н. Гумилева (г. Астана).
Матвеев Юрий Николаевич - ведущий научный сотрудник корпоративной лаборатории технологий человеко-машинного взаимодействия, доктор технических наук, профессор Национального исследовательского университета ИТМО (г. Санкт-Петербург, Российская Федерация).
Защита состоится: 22 мая 2024 года 15:00 часов в Диссертационном совете по направлению подготовки кадров «8D061 – Информационно-коммуникационные технологии» по специальности «8D06101 – Информатика» Евразийского национального университета имени Л.Н. Гумилева. Проведение заседания диссертационного совета в онлайн формате.
Ссылка: https://teams.microsoft.com/l/meetup-join/19%3ab4OWgn9w0BU7i4VgTMspGg4LykYCo4gkpJ0M1aiEJ2M1%40thread.tacv2/1711434058562?context=%7b%22Tid%22%3a%225a2fd781-9261-485a-af2b-6171d0efab73%22%2c%22Oid%22%3a%22309bb2ca-1ef1-4604-912b-0411910d9d0b%22%7d
Адрес: г. Астана, ул. Сатпаева, 2, ауд. №302.
Аннотация (рус.): АННОТАЦИЯ диссертационной работы Мауленова Қалыбека Сапарұлы «Разработка информационно-алгоритмической модели системы регистрации биометрических данных и поиска лиц с применением технологии штрихового кодирования и глубоких нейронных сетей», представленной на соискание степени доктора философии (PhD) по образовательной программе 8D06101 – Информатика Актуальность темы диссертации. Обеспечение безопасности государственных границ, становится в настоящее время приоритетной задачей для правительств всех стран мира. Во многом это связано с ростом потоков беженцев из приграничных стран и массовых попыток нелегальной иммиграции иностранных наёмников и боевых террористических групп, маскирующихся под беженцев. Как показали январские события 2022 года и Казахстан оказался на переднем крае борьбы с международным терроризмом. Технически развитые страны коллективно устанавливают основные принципы к обеспечению безопасности границ, и уже внедряют решения по применению биометрических технологий в автоматических системах пограничного контроля (E-Borders, eGates - «электронные шлюзы»). Они же стоят у истоков успешного внедрения технологий лицевой биометрии в процессы поиска и аутентификации людей по лицу. Однако, для эффективного и безопасного использования лицевой биометрии, необходимо совершенствовать механизмы сбора, хранения и безопасной передачи биометрических данных. Кроме этого, как известно в настоящее время задачи распознавания лиц решаются на базе нейронных сетей и глубокого обучения. Однако, появившаяся в последние годы технология де-идентификации изображений лиц “FAWKES" создала проблему в решении задач распознавания лиц. Процедуры "FAWKES" искажают изображения лиц, делая их непригодными для распознавания методами, основанными на глубоком обучении и, поскольку, сама процедура "FAWKES" реализуется на базе нейронных сетей, то "вернуть искаженное изображение лица в исходное состояние" практически невозможно. И, что делать, если такие изображения попадут в базы биометрии и базы международного розыска. Очевидно, что необходимо всесторонне исследовать проблему распознавания изображений лиц, прошедших процедуру "FAWKES" и искать способы ее возможного решения. Таким образом, исследование и разработка более совершенных методов и алгоритмов сбора, представления, хранения и передачи полной лицевой биометрической информации (включая изображение лица), исследование проблемы распознавания изображений лиц, прошедших процедуру "FAWKES", и интеграция этих решений в рамках информационно-алгоритмической модели системы регистрации, становится актуальной проблемой, требующей решений. Цель диссертационного исследования: разработка методов, алгоритмов и программных средств для сбора, представления, хранения и передачи полной лицевой биометрической информации, и интеграции этих решений в рамках информационно-алгоритмической модели системы регистрации биометрических данных. Задачи исследования: 1. Обзор современных методов биометрической регистрации людей в задачах пограничного контроля и типовых сценариев работы систем регистрации. 2. Систематизация и анализ методов получения и использования лицевых биометрических данных в типовых сценариях работы систем регистрации и выбор перспективных решений для информационно-алгоритмической модели системы регистрации биометрических данных. 3. Разработка алгоритма корректировки положения области лица, с контролем ключевых точек по линии глаз и координат центра глаза при условии нестандартного размера и/или положения области лица в исходных данных. 4. Разработка алгоритма и программного обеспечения “быстрого” формирования мультимедийного файла (МФ) с полной лицевой информацией, путем замещения в исходном цветном изображении лица цветных наименьших значащих битовых (LSB) слоев на цветной QR-код. 5. Разработка алгоритма и программного обеспечения для защиты информации, хранящийся в QR-кодах, в том числе с использованием криптографических алгоритмов. 6. Разработка алгоритмов и программного обеспечения для распознавания лиц в базах изображений лиц. 7. Исследование метода де-идентификации изображений лиц на основе технологии "Fawkes", и поиск возможных подходов для ее решения. Объектами исследования являются мультимедийные файлы, содержащие графическую, биометрическую и документальную информацию о лицах, и предназначенные для защищенного хранения, передачи и дальнейшего использования этой информации в системах регистрации и биометрических базах. Предметом исследования являются методы и алгоритмы получения лицевой биометрической и документальной информации, ее записи, хранения и представления в мультимедийных файлах, предназначенных для создания биометрических баз и цифровой биометрической идентификации. Методы исследования: Теоретический анализ: Проведен обзор и анализ современных методов биометрической регистрации, методов получения и использования биометрических данных. Обзор применения штриховых кодов, включая QR-коды, в биометрии и идентификации лиц. Сравнительный анализ: Выбор перспективных решений для информационно-алгоритмической модели системы регистрации биометрических данных с точки зрения эффективности, применимости и безопасности. Экспериментальное исследование: Разработка методов и алгоритмов для сбора, представления, хранения и передачи полной лицевой биометрической информации в рамках информационно-алгоритмической модели системы регистрации биометрических данных. Разработка алгоритмов для проведения проверки по базам данных и определения лояльности, в том числе разработка алгоритмов для распознавания изображений, прошедших процедуру де-идентификации. Программирование и моделирование: Разработаны и протестированы программные обеспечения для сбора и обработки биометрической и документальной информации, для проведения проверки по базам данных и определения лояльности, для распознавания изображений, прошедших процедуру де-идентификации. Моделирование было выполнено в среде языка программирования "Python", с использованием библиотек OPENCV и DLIB. Интеграция и применение: Осуществлено внедрение и тестирование разработанных методов и моделей для демонстрации их практического применения в реальных системах. Основные положения (доказанные научные гипотезы и другие выводы, являющиеся новыми знаниями), выносимые на защиту. Безопасный обмен информацией: Технологий штрихового кодирования в рамках цветных QR-кодов, благодаря защите от прямого доступа к ней и криптографическим алгоритмам создает условия для безопасного обмена лицевой биометрической и документальной информации при передаче по международным, в том числе открытым каналам связи. Эффективное хранение и передача данных: Разработан быстрый метод формирования мультимедийного файла в виде заполненного контейнера, содержащего полные лицевые биометрические и документальные данные, обеспечивая компактное представление информации для эффективного хранения и передачи. Коррекция положения лица: Разработан метод коррекции положения области лица, основанный на контроле ключевых точек по линии глаз, это позволяет представлять, передавать и сравнивать лицевые биометрические характеристики в стандартной координатной сетке, улучшая точность и согласованность данных в создании биометрических баз. Слоистая структура QR-кодов: Генерируемые цветные QR-коды с биометрическими и документальными данными в рамках работы системы биометрической регистрации имеют слоистую структуру, состоящую из трех QR-кодов, благодаря чему вмещающую в 3 раза больше информации. Это предоставляет широкие возможности и перспективы развития применения технологий штрихового кодирования в области биометрической регистрации. Угроза де-идентификации "Fawkes": Появившийся в последние годы технология де-идентификации изображений лиц "Fawkes" представляет угрозу для существующих систем распознавания лиц. Детерминированные алгоритмы распознавания лиц и их интеграция с методами на основе глубокого обучения являются одним из способов решения данной проблемы, так данные подходы позволяют извлечь наиболее важные характеристики изображения, не прибегая при этом к глубокой обработке. Описание основных результатов исследования: Результат 1. Исследование подтвердило, что технология штрихового кодирования, основанная на цветных QR-кодах и криптографических алгоритмах, создает безопасные условия для обмена лицевой биометрической и документальной информацией по международным каналам связи, обеспечивая защиту от прямого доступа к данным. Результат 2. Разработка нового быстрого способа формирования мультимедийного файла - как заполненного контейнера, с полной лицевой биометрической и документальной информацией с использованием технологии штрихового кодирования на базе QR-кодов. Метод основан на одношаговом встраивании цветных QR-кодов в контейнер, что отличает его от метода, в котором встраивание выполняется по отдельным слоям цветных QR-кодов в три независимых шага. Результат 3. Разработка и реализация алгоритма коррекции положения области лица на поле стандартного размера, с контролем ключевых точек по линии глаз, что позволяет представлять, передавать и сравнивать лицевые биометрические характеристики в рамках общей координатной сетки и использовать их в создании биометрических баз. Результат 4. Исследование подтвердило, что генерируемые цветные QR-коды с биометрическими и документальными данными имеют слоистую структуру из трех QR-кодов, что обеспечивает возможность вмещать в 3 раза больше информации. Это открывает перспективы для широкого применения технологий штрихового кодирования в биометрической регистрации. Результат 5. Доказано, что технология де-идентификации изображений лиц "Fawkes" представляет угрозу для существующих систем распознавания лиц. Детерминированные алгоритмы распознавания лиц, интегрированные с методами глубокого обучения, представляют эффективный способ противостояния данной угрозе, извлекая ключевые характеристики без глубокой обработки изображений. Обоснование новизны и важности полученных результатов Результат 1. Безопасный обмен информацией. Новизна: Интеграция технологии штрихового кодирования на основе цветных QR-кодов и криптографических алгоритмов представляет собой инновацию, обеспечивающую безопасные условия для обмена лицевой биометрической и документальной информацией. Важность: Это критически важный шаг в обеспечении конфиденциальности при передаче данных по международным каналам связи, повышая безопасность системы биометрической регистрации. Результат 2. Эффективное хранение и передача данных. Новизна: Разработка нового метода формирования мультимедийного файла как заполненного контейнера с использованием цветных QR-кодов представляет представляет собой эффективное и безопасное средство хранения и передачи полной лицевой биометрической и документальной информации. Иновационный одношаговый метод встраивании цветных QR-кодов придает ему уникальные характеристики. Важность: Этот метод обеспечивает эффективное хранение и передачу полной лицевой биометрической и документальной информации, обеспечивая удобство и безопасность. Результат 3. Коррекция положения лица. Новизна: Разработанный алгоритм коррекции положения лица с использованием ключевых точек по линии глаз обеспечивает точность представления и сравнения лицевых биометрических характеристик. Это дает возможность использовать эти данные в создании биометрических баз, повышая их качество. Важность: Точность представления данных повышает качество биометрических баз и систем распознавания. Результат 4. Слоистая структура QR-кодов. Новизна: Исследование подтверждает, что слоистая структура цветных QR-кодов позволяет вмещать в 3 раза больше информации, открывая перспективы для более емких систем биометрической регистрации. Важность: Это значительно расширяет функциональность и емкость систем, что особенно важно в контексте растущего объема биометрических данных. Результат 5. Противостояние угрозе де-идентификации. Новизна: Исследование подчеркивает важность противостояния угрозе де-идентификации изображений лиц, представленной технологией "Fawkes". Предложенные методы, включающие детерминированные алгоритмы и глубокое обучение, демонстрируют эффективный подход к извлечению ключевых характеристик без глубокой обработки изображений, обеспечивая надежность систем распознавания лиц. Важность: Предложенные методы представляют эффективный способ поддержания целостности систем распознавания лиц, противостояния угрозе де-идентификации изображений лиц. Общее обоснование новизны и важности этих результатов заключается в их потенциале улучшить безопасность, эффективность и функциональность систем биометрической регистрации, что имеет критическое значение в современном цифровом обществе. Практическая значимость полученных результатов. Результаты исследовательской работы представляют собой информационные модели, методы и алгоритмы распознавания, обработки изображений, а также программные системы и сценарии работы, основанные на технологии штрихового кодирования на базе QR-кодов, которые обладают высокой практической значимостью. Эти результаты могут быть широко применены для решения практических задач лицевой биометрии и ее приложений в различных областях, включая: системы контроля доступа, системы видеонаблюдения и криминалистика, интерактивные системы человек-компьютер, медицина и биология и многое другое. Соответствие направлениям развития науки или государственным программам 4. Информационные, коммуникационные и космические технологии. 4.1 Искусственный интеллект и информационные технологии. 4.1.3 Распознавание образов и обработка изображений; 4.1.5 Машинное обучение (machine learning); 4.5 Методы и системы информационной безопасности и защиты данных. 4.5.1 Методы и алгоритмы обеспечения информационной безопасности сложных систем и данных; 4.5.2 Технологии и программно-технические средства защиты информации. 9. Национальная безопасность и оборона. 9.2 Прикладные научные исследования. 9.2.1 Обеспечение информационной безопасности. Личный вклад соискателя в подготовку каждой публикации. Исследовательская работа, представленная в диссертации, выполнена при непосредственном участии автора. Полученные результаты были опубликованы в виде научных статей и научных докладов. Автор диссертации является либо первым, либо корреспондирующим автором во всех этих статьях, что подтверждает его непосредственное и полное участие в проведенных исследованиях. Эти публикации, охватывая различные аспекты и методы исследования, полностью раскрывают суть проведенных исследований, включая теоретические и практические аспекты. Публикации: Публикации в изданиях, входящих в наукометрические базы данных Web of Science и Scopus: 1. Maulenov, K., Kudubayeva, S., Razakhova, B. (2023). Modern problems of face recognition systems and ways of solving them. Revue d'Intelligence Artificielle, Vol. 37, No. 1, pp. 209-214. https://doi.org/10.18280/ria.370126 Публикации международных конференций, входящих в базу Scopus: 1. Maulenov K. S., Kudubayeva S. A., and Uvaliyeva A. A. "Studying a Face Search Method Based On the Idea of Sparse Data Representation by Generating Random Points," 2021 IEEE International Conference on Smart Information Systems and Technologies (SIST), 2021, pp. 1-6, doi: 10.1109/SIST50301.2021.9465986./2021.2518-1726.87 2. Kukharev G. A., Maulenov K., Shchegoleva N. L. CAN I PROTECT MY FACE IMAGE FROM RECOGNITION? Proceedings of the 9th International Conference "Distributed Computing and Grid Technologies in Science and Education" (GRID'2021), Dubna, Russia, July 5-9, 2021 Публикации в изданиях, включенных в перечень КОКСНВО МНВО РК: 1. Мауленов Қ.С., Кудубаева С.А. Сравнительный анализ характеристик существующих систем поиска и распознавания изображений лиц. [Текст] / Мауленов Қ.С., Кудубаева С.А. // Вестник КазНИТУ. — 2020. — № 4. — С. 155-160. 2. Мауленов Қ.С., Кудубаева С.А. Монте-Карло әдісі арқылы бет бейнелерін тану мәселелері. [Текст] / Мауленов Қ.С., Кудубаева С.А. // ҚазҰТЗУ хабаршысы . — 2020. — № 4. — С. 151-155. 3. Мауленов Қ.С., Кудубаева С.А. Сравнительный анализ детекторов лиц HAAR, HOG, CNN. [Текст] / Мауленов Қ.С., Кудубаева С.А. // Известия НАН РК. — 2021. — № 5. — С. 74-82. 4. Мауленов, Қ., Казиева, Н., Шурен, Ж., & Кудубаева, С. (2023). МЕТОДЫ ДЕ-ИДЕНТИФИКАЦИИ ИЗОБРАЖЕНИЙ ЛИЦ И ПУТИ ИХ РЕШЕНИИ. Вестник КазАТК, 127(4), 196–206. https://doi.org/10.52167/1609-1817-2023-127-4-196-206 Публикации в изданиях из списка ВАК РФ: 1. Кухарев Г.А., Мауленов К., Щеголева Н.Л. Защита изображений лиц от распознавания в социальных сетях: способы решения и их перспективы. Научно-технический вестник информационных технологий, механики и оптики – 2021. – С. 755-766. Авторские свидетельства, патенты: 1. Кухарев Г.А., Мауленов К., Щеголева Н.Л. «Способ встраивания биометрической информации в цветное изображение лица и устройство для его осуществления» - патент на изобретение, № 2771789 от 12 мая 2022 года. 2. Шүрен Ж.Б., Мауленов Қ.С., Казиева Н.М. «Программа онлайн генерации QR-кода с биометрической документальной информации» (09/08/2023г.) – программа для ЭВМ, №38330 от 09 августа 2023 года Республика Казахстан; 3. Казиева Н.М., Мауленов Қ.С., Калиев А.К. «Программа проверки правильного положения лица перед созданием фотоснимка для регистрации/аутентификации» – программа для ЭВМ, № 39851 от «29» ноября 2023 года Республика Казахстан. Внедрение результатов работы: 1. Акт внедрения результатов исследований в учебный процесс в виде комплекса программ, который может быть использован для лабораторных работ, самостоятельной работы студентов и как иллюстрация к лекционному материалу. 2. Результаты диссертационной работы использовались при проведении прикладных научных исследований НИР AP19678000 «Разработка методов и алгоритмов безопасного использования QR-кодов для задач биометрии и ее приложений в том числе технологии блокчейн». 3. Подтверждение успешного внедрения результатов исследования в разработку и исследование автоматизированной системы контроля и управления доступом компании "Костанай Эксперт". Структура и объем диссертации. Диссертационная работа соответствует логике построения научного исследования и состоит из обозначений и сокращений, введения, четырех разделов, заключения, списка использованных источников. Исследовательская работа выполнена печатным методом с использованием компьютерных возможностей придания особого значения в виде иллюстраций, схем и таблиц. Диссертационная работа состоит из 165 страниц, включая приложения, 80 иллюстраций и схем, а также 12 таблиц.
Отзыв зарубежного консультанта
Заключение комиссии по этической оценке исследований
Решение диссертационного совета
Защита диссертации: https://youtu.be/5B3VNmKs0DY
