В Евразийском национальном университете имени Л.Н. Гумилева состоится защита диссертации на соискание степени доктора философии (PhD) Эльдаровой Эльмиры Эльдарқызы на тему «Разработка программного обеспечения для повышения визуальных свойств цифровых изображений на базе объективных оценок их качества» по специальности «6D070400 – Вычислительная техника и программное обеспечение».
Диссертация выполнена на кафедре «Компьютерная и программная инженерия (ВТ)» Евразийского национального университета имени Л.Н. Гумилева.
Язык защиты - казахский
Официальные рецензенты:
Мансурова Мадина Есимхановна – кандидат физико-математических наук, заведующая кафедрой «Искусственный интеллект и Big Data», Казахский национальный университет имени аль-Фараби (Алматы, Республика Казахстан);
Черикбаева Ляйля Шариповна – доктор философии (PhD), ассоциированный профессор кафедры «Компьютерные науки», Казахский национальный университет имени аль-Фараби (Алматы, Республика Казахстан).
Временные члены Диссертационного совета:
Зюбин Владимир Евгеньевич – доктор технических наук, заведующий кафедрой компьютерных технологий, Новосибирский государственный университет (Новосибирск, Российская Федерация);
Калимолдаев Максат Нурадилович – доктор физико-математических наук, профессор, советник генерального директора РГП «Институт информационных и вычислительных технологий» Комитета науки МНВО РК, (Алматы, Республика Казахстан);
Утегенова Анар Урантаевна – доктор философии (PhD), Алматинский университет энергетики и связи имени Г. Даукеева (Алматы, Республика Казахстан).
Научные консультанты:
Искаков Казизат Такуадинович -доктор физико-математических наук, профессор кафедры «Компьютерная и программная инженерия» НАО «Евразийский национальный университет им. Л.Н. Гумилева»;
Старовойтов Валерий Васильевич - доктор технических наук, профессор, главный научный сотрудник Объединенного института проблем информатики Национальной академии наук Беларуси (Минск, Республика Беларусь).
Защита состоится: 21 февраля 2025 года 14:00 часов в Диссертационном совете по направлению подготовки кадров «8D061 – Информационно-коммуникационные технологии» по специальности «6D070400 – Вычислительная техника и программное обеспечение» Евразийского национального университета имени Л.Н. Гумилева. Проведение заседания диссертационного совета в смешанном (оффлайн и онлайн) формате.
Ссылка: https://clck.ru/3Fkd49
Адрес: г. Астана, ул. А. Пушкина, 11, учебный корпус, аудитория №222.
Аннотация (рус.): Диссертационная работа Эльдарововй Эльмиры Эльдаркызы «Разработка программного обеспечения для повышения визуальных свойств цифровых изображений на базе объективных оценок их качества» представленной на соискание степени доктора философии (PhD) по специальности: «6D070400 - Вычислительная техника и программное обеспечение» Диссертационная работа посвящена разработке программного обеспечения для повышения визуальных свойств цифровых изображений на базе объективных оценок их качества. Актуальность темы исследования: Использование обработки и анализа цифровых изображений активно развивается и применяется во многих областях, особенно в роботизированных комплексах, системах управления движением, обработке данных дистанционного зондирования, биомедицинских исследованиях, новых технологиях обработки документов и других областях. Оценка качества цифровых изображений представляет собой современную проблему в обработке цифровых изображений, важными являются задачи оценки качества цифровых изображений и повышение их качества. При применении методов улучшения изображения проблема заключается в отсутствии эталона для оценки качества новых изображений. Современная литература подчеркивает важность методов повышения качества изображений, о чем свидетельствуют многочисленные работы по этому вопросу и многообразие подходов, используемых для его решения. Основные подходы к решению этой проблемы даны в работах В.Старовойтова, Ю. Голуб, К. В. Ежова, К.Т.Искаков, M.Pedersen, В. P. G. Engeldrum, S.N. Yendrikhovskij, R. E. Jacobson, P.Mohammadi, Lin W., Kuo C. Ponomarenko N., Wang Z., Bovik, A.C., Sheikh, Xu S., Jiang S., Min W. Xu S., Jiang S., Min W., A. Mittal, Kim J., Гонсалеса Р., Вудса Р. H.R. Sheikh, M.F. Sabir, C. Larson и др. Методы получения изображений, их хранения, передачи, просмотра и технологии обработки активно развиваются в последние годы. В настоящее время увеличивается количество цифровых устройств, при помощи которых можно получать цифровые изображения. Полученные цифровые изображения часто имеют различные искажения, что может приводить к значительному снижению их качества. Искажения возникают во время захвата изображения, сжатия, передачи, постобработки, и в других случаях. Например, при съемке фотографии с помощью цифровой камеры неправильный фокус, объектив низкого качества или дрожание руки, управляющей камерой могут привести к размытию изображения. Длительная выдержка или высокая чувствительность к свету (ISO) могут увеличить шумовое загрязнение изображения. В целях экономии памяти к изображениям часто применяют алгоритмы сжатия, которые ухудшают качество изображения из-за уменьшения размера данных. Изображения плохого качества могут снижать точность работы различных алгоритмов, например, при распознавании личности, анализе медицинских или спутниковых снимков. Соответственно, возникает необходимость повышать качество цифровых изображений. Поэтому требуется разработка алгоритмов и совершенствование существующих методов цифровой обработки изображений, с целью улучшения их визуального представления на базе объективных, вычисляемых оценок. Цель диссертационного исследования и научные результаты. Целью исследования является улучшение визуального свойства цифровых изображений. Для выполнения поставленной цели были определены следующие задачи: • исследование известных методов вычисления оценок качества цифровых изображений; • анализ методов вычисления оценок качества цифровых изображений в отсутствие эталона; • исследование известных методов улучшения визуального качества цифровых изображений; • формирование набора изображений для выполнения экспериментов; • разработка алгоритмов повышения визуальных свойств цифровых изображений на базе объективных оценок их качества; • разработка и реализация программного обеспечения. Объект исследования: Цифровое изображение. Научная новизна исследования: • Предложен метод повышения качества цифровых изображений на основе комбинации алгоритма уменьшения шума, восстановления размытия и улучшения контраста; • Разработан алгоритм и программное обеспечение для улучшения визуального качества цифровых изображений. Основные научные положения, выносимые на защиту: • Установлено, что индекс SSIM и любые его линейные преобразования не являются метрическими функциями; • Установлено, что любая функция, полученная линейным преобразованием коэффициента корреляции Пирсона, не является метрикой; • Разработан метод для повышения качества цифровых изображений на основе комбинации алгоритма уменьшения шума, восстановления размытия и повышения контраста; • Определены и сопоставлены показатели объективной и визуальной оценки улучшенных цифровых изображений • Разработаны алгоритм и программное обеспечение для улучшения визуального качества цифровых изображений. Практическое значение полученных результатов: разработанное программное обеспечение может быть использовано в организациях, занимающихся обработкой изображений и распознаванием образов, образовательных учреждениях и в научно-исследовательских институтах цифровых технологий. Личный вклад соискателя. Выполнила научно-исследовательские работы по всем разделам диссертационной работы по поставленным задачам Апробация результатов диссертации. Основные результаты диссертационной работы докладывались на семинарах и заседаниях кафедры «Компьютерная и программная инженерия» Евразийского национального университета имени Л.Г. Гумилева, а также на международных конференциях: 1. V Международной научно-практической конференции ««Перспективы развития современной науки»» March 20-22, Корея, 2019. Подтверждено сертификатом участия; 2. Материалы международной научной-практической конференции “Smart city: Технологии и инновации”, 17 октября, Орал, 2023; 3. Материалы Х Международной научно-технической конференции «Творчество молодых – инновационному развитию казахстана», 11-12 апреля, Усть-Каменогорск, 2024 г; 4. По результатам исследования в 2021 году докторант была награждена дипломом «За лучшую научно-исследовательскую работу» в ЕНУ, организованном объединением юридических лиц ассоциации «Общенациональное движение Бобек». Публикации результатов исследования - Статья, опубликованная в научном журнале, индексируемый в Scopus: - Starovoytov V. V., Eldarova E. E., Iskakov K. T. Comparative analysis of the SSIM index and the pearson coefficient as a criterion for image similarity //Eurasian journal of mathematical and computer applications. – 2020. – Т. 8. – №. 1. – С. 76-90 - Eldarova E., Starovoitov V., Iskakov K. Comparative analysis of universal methods no reference quality assessment of digital images// Journal of Theoretical and Applied Information Technology, vol.99, №9, pp. 1977–1987, 2021. Индексация: Scopus Статьи, опубликованные в научных журналах, рекомендуемых КОКСНВО МНВО РК: - Эльдарова Э. Э., Старовойтов В. В., Искаков К. Т. Оценка эффективности методов подавления шума цифровых изображений // ВЕСТНИК ЕНУ им.Гумилева, Нур-Султан, 2020, 1(130), 114-121. - Эльдарова Э. Э., Старовойтов В. В., Искаков К. Т. Корреляционный анализ универсальных методов безэталонной оценки качества цифровых изображений // Труды Университета, Қарағанды, 2022. 2(86). - Эльдарова Э. Э., Старовойтов В. В., Искаков К. Т. Улучшение визуального качество контрастно искаженные цифровых изображений // Известия НАН РК. Алматы, № 2(2022) - Эльдарова Э. Э., Байтемирова Н.Б. Повышение визуального качество размытых цифровых изображений // Вестник НИА РК Алматы, №3 2022 г - Эльдарова Э. Э. Улучшение визуального качества цифровых изображений после сжатия jpeg2000 //Известия НАН РК. Серия физико-математическая. – 2023. – №. 1. – С. 228-238. - Эльдарова Э. Testing software for increasing the visual properties of digital images //Вестник ВКТУ. – 2024. – №. 1. Публикации, опубликованные в трудах международных конференций: - Эльдарова Э.Э. Старовойтов В.В. Основные подходы к оценке качества цифровых изображений // «Prospects for the Development of Modern Scienc" Materials of the IV International Scientific-Practical Conference, March 20-22, 2019 (Gwangju, Korea) - Эльдарова Э. Актуальные проблемы улучшения качества цифровых изображений // Материалы международной научной-практической конференции “Smart city: Технологии и инновации”, 17 октябрь, Орал, 2023 - Эльдарова Э.Э. Комбинированный метод улучшение визуального качества цифровых изображений // Материалы Х Международной научно-технической конференции «Творчество молодых – инновационному развитию казахстана», 11-12 апреля, Усть-Каменогорск, 2024 г. - По результатам исследования в 2021 году докторант была награждена у в ЕНУ, дипломом «За лучшую научно-исследовательскую работу» среди научно-образовательных учреждений Содружества Независимых Государств, организованный объединением юридических лиц ассоциации «Общенациональное движение Бобек». Cвидетельство о государственной регистрации на объект авторского права: Получены 4 свидетельства о государственной регистрации на объект авторского права: - обработка цифровых изображений, свидетельство о государственной регистрации прав на объект авторского права № 2527 от 29.03.2019 года. - Распознавание объектов на видео, свидетельство о государственной регистрации прав на объект авторского права № 3122 от 2.05.2019 года. - Удаление цифрового шума, свидетельство о государственной регистрации прав на объект авторского права № 8049 от 10.02.2020 года - AutoImage, свидетельство о государственной регистрации прав на объект авторского права №30080 от 8.11.2022 года Aкт внедрения. Разработанные в диссертационной работе алгоритмы и программное обеспечение успешно прошли апробацию, о чем свидетельствуют акты внедрения в ТОО «Timal Consulting Group», «ОИПИ НАН Беларуси», НАО «Атырауский университет им.Х.Досмухамедова». По теме диссертации было опубликовано 15 научных трудов, из которых 2 проиндексированы в базе Scopus, 6 – в научных журналах, рекомендованных КОКСНВО МНВО РК, 3 научные статьи в сборниках международных конференций и 4 свидетельства о государственной регистрации на объект авторского права. Объем и структура диссертации. Диссертационная работа соответствует логике построения научного исследования и состоит из обозначений и сокращений, введения, четырех глав, заключения, списка использованных источников и 7 приложений. Работа выполнена печатным способом на 102 страницах с применением компьютерных возможностей акцентирования внимания в виде иллюстраций, схем и таблиц. Во введении приведен краткий обзор литературы, обосновывается актуальность темы, определены цель и задачи исследования, раскрывается научная новизна, теоретическая и практическая значимость работы, определены методы исследования, положения, выносимые на защиту, личный вклад автора, список публикаций и апробаций результатов работы. В первой главе проведен анализ современных методов и критериев оценки качества цифровых изображений. Рассмотрены понятия оценки качества цифровых изображений, субъективная оценка при их визуализации, объективная оценка данных для компьютерного анализа, классификация современных методов и критериев оценки качества изображений. Выводы по первой главе. Оценка качества цифровых изображений является актуальной проблемой в области обработки цифровых изображений. Наиболее точной оценкой качества считаются субъективные критерии. Тем не менее, субъективный анализ не всегда удобен, так как он занимает значительное время и требует присутствия большого количества участников, поэтому в настоящее время актуальной задачей является разработка численных алгоритмов определения качества цифровых изображений. Для проверки различных метрик оценки качества изображений на международном уровне были созданы базы изображений с субъективными оценками такими как TID2013, LIVE, CSIQ. Также разработаны методики сравнения алгоритмов на основе коэффициентов корреляции Пирсона, Спирмана и Кендалла. Результаты исследования, проведенные по теме первого раздела, опубликованы в трудах международных конференции и получены 2 свидетельства о государственной регистрации прав на объект авторского права «Обработка цифровых изображений» (Программа для ЭВМ) и «Распознавания объектов на видео» (Программа для ЭВМ). Во второй главе рассмотрены критерии сходства и качества цифровых изображений. Обсуждаются некоторые свойства индекса SSIM, который сравнивается с коэффициентом корреляции Пирсона, а также исследуется методы оценки качества цифровых изображений в отсутствии эталона. Выводы по второй главе. Были изучены некоторые свойства SSIM- индекса сходства изображений. Доказана теорема, что индекс SSIM и любые его линейные преобразования не являются метрическими функциями. Также протестирован коэффициент корреляции Пирсона как мера оценки сходства изображений. Доказана теорема о том, что любая функция, полученная линейным преобразованием коэффициента корреляции Пирсона, не является метрикой. На основе результатов проведенного эксперимента выбран метод для определения структурного сходства изображений. Установлено, что индекс SSIM не всегда может корректно определить сходство изображений одной и той же сцены, тогда как коэффициент линейной корреляции Пирсона делает это намного быстрее и точнее. Проведены эксперименты на классических и новейших методах безэталонной оценки качества цифровых изображений. Проведен анализ алгоритма безэталонной оценки качества в задаче аддитивного гауссовского шума, размытие по Гауссу, контрастное искажение и сжатие алгоритмом JPEG /JPEG2000. А также протестированы все типы искажений из базы TID2013[21], LIVE и CISQ. Для оценки качества цифровых изображений рекомендуется использовать методы BJLC, CLRIQA, SSEQ, DIQA и BMPRI, так как они продемонстрировали хорошие показатели по критериям оценки качество изображений. Обоснован выбор алгоритма CLRIQA, для проведения эксперимента в задаче безэталонной оценки качества цифровых изображений. По результатам второй главы опубликованы 3 научные публикации, в том числе 1 статья в научном журнале, рекомендованных КОКСНВО МНВО РК, и 2 статьи в журналах входящих в базу данных Scopus. В третьей главе рассмотрены методы повышения визуальных качеств изображений. Проводятся эксперименты на методы подавления шума цифровых изображений, повышение качества размытых цифровых изображений и улучшение качества контрастно искаженных цифровых изображений с целью определения наилучшего метода для улучшения визуального качества цифровых изображений. Выводы по третьей главе Проведены эксперименты по выбору наилучшего алгоритма фильтрации и уменьшению шума цифровых изображений. Предложены рекомендации по применению фильтрации для обработки изображений с разными шумовыми составляющими. Установлено, что использование алгоритма FFDNet для подавления шумов цифровых изображений является наилучшим выбором из всех тестируемых алгоритмов. Его применение позволяет достичь высоких показателей объективной оценки качества изображений. Проведены эксперименты по восстановлению размытых изображений современными алгоритмами, как на реальных, так и на синтезированных наборах данных. Обсуждаемые методы потенциально способны восстановить изображение в отсутствии знаний о функции размытия точки. Представлены результаты экспериментов для объективного подтверждения преимущества и недостатков методов. Установлено, что использование методов DeblurGAN-v2, EDPN и DBGAN (+) позволяет увеличить показатели объективной оценки качества при тестировании на синтезированном и реальном наборах данных. Исследованы традиционные и новейшие методы улучшения изображения при высоком и слабом освещении. Проведены объективные оценки обработанных изображений. В большинстве случаев наблюдаются высокие показатели для методов, основанных на машинном обучении, таких как RetinexNet, GLADNet, ZeroDCE, MBLLEN, KinD. Все исследуемые алгоритмы имеют определенные недостатки и преимущества, так как дают хорошие результаты в одних условиях, но имеют ограничения в других. Следовательно, рекомендуется выбрать наиболее подходящий алгоритм улучшения контраста, исходя из конкретных требований приложения. По результатам третьего раздела опубликованы 2 публикации в научном журнале, рекомендованном КОКСНВО МНВО РК. В четвертой главе рассмотрены алгоритм и реализация программного обеспечения для повышения визуальных свойств цифровых изображений, представлены результаты применения программного обеспечения. Выводы по четвертой главе. Разработан и протестирован алгоритм для улучшения визуального качества цифровых изображений. Для выполнения экспериментов в качестве тестового набора данных использованы базы изображений TID2013 и сформирован набор изображений MyImage. Итоговое тестирование предложенных алгоритмов на наборе MyImage показало положительный результат, достигая следующих значений: коэффициент корреляции Пирсона выше 0,81, коэффициент корреляции Спирмена выше 0,77. Это свидетельствует о хорошей корреляции с визуально воспринимаемым и объективным качеством изображения. Цель и задачи диссертационной работы успешно выполнены. Результаты эксперимента, проведенные опубликованы в журналах, рекомендованных КОКСНВО МНВО РК, и получены свидетельства о государственной регистрации прав на объект авторского права «AutoImage» (Программа для ЭВМ, №30080 от 8.11.2022 года). Разработанные алгоритмы и программное обеспечение успешно прошли апробацию, о чем свидетельствуют акты внедрения ТОО «Timal Consulting Group», НАО «Атырауский университет им. Х. Досмухамедова», «ОИПИИ НАН Беларуси». В заключении обобщены результаты исследования, сформулированы основные выводы, подтверждающие и доказывающие истинность положений, выносимых на защиту. Цель диссертационной работы достигнута. Поставленные задачи в рамках диссертационной работы выполнены: • исследованы существующие объективные методы оценки качества цифровых изображений. Определено, что индекс SSIM и любые его линейные преобразования не являются метрическими функциями. Определено, что любая функция, полученная линейным преобразованием коэффициента корреляции Пирсона, не является метрикой. Выбран метод для определения структурного сходства изображений. Экспериментально показано, что коэффициент корреляции Пирсона более точно определяет сходство и несходство изображений, чем индекс SSIM; • Установлено, что алгоритм CLRIQA является наилучшим выбором для оценки качества цифровых изображений без эталона, так как имеет более высокий корреляционный коэффициент с MOS оценками; • Изучены существующие алгоритмы улучшения визуального представления цифровых изображений; Сформирован набор изображений для выполнения экспериментов. Проведены эксперименты по задаче повышения качества зашумленных изображений. Установлено, что использование сети FFDNet является наилучшим выбором для подавления шумов цифровых изображений. Проведен эксперимент для повышения визуального качества размытых цифровых изображений. Определено, что использование методов EDPN позволяет увеличить показатели оценки качества размытых изображений, при тестировании на синтезированном и реальном наборах данных. Проведены эксперименты для повышения качества цифровых изображений с искаженным контрастом. В результате проведенных экспериментов по улучшению качества контрастно-искаженных цифровых изображений методы GLADNet, KinD и ZeroDCE показывают высокие оценочные показатели. • Предложен метод повышения качества цифровых изображений на базе объективных их оценок. Предложенный метод применялась в задаче улучшения качества цифровых изображений после сжатия JPEG2000 и показала положительные результаты. Проведенные эксперименты также показали, что предложенный метод дает положительный результат при улучшении цифрового изображения без знания типов искажений; • сопоставлены результаты объективной и визуальной оценки цифровых изображений, полученных с помощью предложенного метода; • Разработано и реализовано программное обеспечение для улучшения визуального качества цифровых изображений. В приложении приведены копии свидетельства о внесении сведений в государственный реестр прав на объекты программных средств, и копии актов о внедрении результатов диссертации. Предоставляется программный код разработанного программного обеспечения.
Отзыв зарубежного консультанта
Заключение комиссии по этической оценке исследований
Решение диссертационного совета
Защита диссертации: https://youtu.be/vQqT2nQgEng
