RU2754965C1 - Устройство восстановления изображений в пространстве кватернионов с использованием анизотропного градиента и нейронной сети - Google Patents

Устройство восстановления изображений в пространстве кватернионов с использованием анизотропного градиента и нейронной сети Download PDF

Info

Publication number
RU2754965C1
RU2754965C1 RU2020136626A RU2020136626A RU2754965C1 RU 2754965 C1 RU2754965 C1 RU 2754965C1 RU 2020136626 A RU2020136626 A RU 2020136626A RU 2020136626 A RU2020136626 A RU 2020136626A RU 2754965 C1 RU2754965 C1 RU 2754965C1
Authority
RU
Russia
Prior art keywords
image
unit
input
output
storage unit
Prior art date
Application number
RU2020136626A
Other languages
English (en)
Inventor
Вячеслав Владимирович Воронин
Николай Валерьевич Гапон
Марина Михайловна Жданова
Роман Алексеевич Сизякин
Евгений Александрович Семенищев
Original Assignee
федеральное государственное бюджетное образовательное учреждение высшего образования «Донской государственный технический университет» (ДГТУ)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by федеральное государственное бюджетное образовательное учреждение высшего образования «Донской государственный технический университет» (ДГТУ) filed Critical федеральное государственное бюджетное образовательное учреждение высшего образования «Донской государственный технический университет» (ДГТУ)
Priority to RU2020136626A priority Critical patent/RU2754965C1/ru
Application granted granted Critical
Publication of RU2754965C1 publication Critical patent/RU2754965C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)

Abstract

Изобретение относится к вычислительной технике. Технический результат заключается в уменьшении погрешности восстановления цветных изображений за счет использования представления изображения в пространстве гиперкомплексных чисел, анизотропного градиента и нейронной сети. Устройство восстановления изображений в пространстве кватернионов с использованием анизотропного градиента и нейронной сети включает блок хранения изображения в пространстве RGB, блок преобразования изображения в пространство кватернионов, блок хранения изображения в пространстве кватернионов, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок поиска подобия, блок обработки, блок вычисления анизотропного градиента, блок вычисления приоритета, блок определения адаптивной формы, блок поиска подобия, блок оценки пикселей с помощью нейронной сети, блок заполнения изображения, блок преобразования изображения в пространство RGB. 9 ил.

Description

Изобретение относится к области вычислительной техники и может быть использовано в цифровых телевизионных и фотосистемах, глобальных систем позиционирования и наблюдения.
Упрощенная математическая модель изображения представляет собой двумерный дискретный сигнал
Figure 00000001
, (фиг. 1), где
Figure 00000002
- доступные пиксели неискаженного изображения,
Figure 00000003
 - область изображения с отсутствующими пикселями,
Figure 00000004
 - граница области
Figure 00000005
.
Оценивание истинных значений пикселей изображений в той или иной степени необходимо в большинстве задач цифровой обработки изображений. Особенно данная проблема актуальна при автоматической обработке изображений, полученных в светочувствительных матрицах в цифровых фото- и видеокамерах, и системах машинного зрения. Методы восстановления двумерных сигналов находят свое применение в задачах обработки архивных документов в виде изображений, имеющих различные искажения (например: царапины, пятна, пыль, не нужные надписи, линии сгиба). В видеосигналах встречаются статические изображения, которые мешают просмотру, закрывая часть полезной информации от зрителя. К таким изображениям относятся различные логотипы каналов, дата и время или субтитры, которые были наложены на видеосигнал с дальнейшим кодированием. Также отдельным классом областей, мешающим просмотру видео, являются искаженные блоки при работе видеокодека, появление которых объясняется ненадежностью среды передачи данных от кодера к декодеру. В настоящее время существуют различные методы цифровой обработки, направленные на решение задач восстановления частично утерянных участков изображения, но для их эффективного использования необходимы значительные объемы априорной информации о полезном изображении. Значительные ограничения на объем априорной информации, что имеет место на практике, существенно усложняют как выбор эффективного метода обработки, так и его значений оптимальных параметров.
Упрощенно способы реконструкции значений пикселей изображений можно разделить на следующие группы:
1) Способы на основе решения дифференциальных уравнений.
2) Способы на основе ортогональных преобразований.
3) Способы на основе синтеза текстур.
4) Способы на основе нейронной сети.
Анализ существующих способов обработки показывает, что область их использования, в условиях ограниченного объема информации о составляющих обрабатываемого процесса крайне ограничена. Использование способов реконструкции значений пикселей изображений на основе решения дифференциальных уравнений в частных производных приводит к размытию резких перепадов яркостей и контуров и требует априорную информацию для выбора параметров способов и минимизации функционала. Неспособность восстанавливать текстуру изображений и изогнутые контуры ограничивает область использования данных способов, которые в основном применимы при удалении царапин и небольших дефектов на структуре изображений. Для использования способов на основе ортогональных преобразований требуется априорная информация для выбора порогового значения, ортогонального базиса и размера блоков спектрального представления. Так же следует отметить, что данные способы приводят к размытию текстуры и структуры при восстановлении больших областей с потерянными пикселями, а большое количество итераций приводит к значительным вычислительным затратам. Применение способов на основе синтеза текстур требует априорной информации о размере и формы области восстановления и геометрических свойствах изображения для выбора параметров способов.
Известно цифровое сглаживающее устройство с предварительным обнаружением и устранением аномальных измерений [Патент № 2010325, МПК G 06 F 15/353, опубл. 06.02.1991]. Данное устройство содержит первый сумматор, счетчик отсчетов, первый и второй дешифраторы, первый и второй элемент И, элемент ИЛИ, триггер, блок задания коэффициента деления, первый регистр и второй сумматор, второй регистр, третий дешифратор, счетчик аномальных измерений, блок выделения модуля, схема сравнения, третий элемент и генератор тактовых импульсов.
Недостатками известного устройства являются:
- процедура обнаружения не эффективна в случае обработки групповых аномальных значений;
- необходимо априорное знание допустимого значения строба
Figure 00000006
.
Известен способ восстановления изображений на основе решения дифференциальных уравнений в частных производных [Bertalmio M., Sapiro G., Caselles V., Ballester C. Image inpainting // Computer Graphics Proceedings, K. Akeley, Ed. ACM Press / ACM SIGGRAPH / Addison Wesley Longman, 2000. - P. 417-424.]. Данный способ позволяет соединять контуры постоянной яркости изображений поперек области восстановления с помощью решения дифференциальных уравнений в частных производных, минимизируя выбранный функционал. Направление линий задается с помощью граничных условий на краю области восстановления, которые определяются с помощью выражения:
Figure 00000007
.
Дифференциальное уравнение в частных производных имеет решение при условии:
Figure 00000008
.
Данное выражение определяет направление продолжение линий с помощью сглаживающего оператора
Figure 00000009
 в область восстановления. Анизотропная диффузия вычисляется итерационно для всех пикселей с помощью выражения:
Figure 00000010
,
где
Figure 00000011
- искривление двумерной плоскости
Figure 00000012
 в точке
Figure 00000013
.
Граничные условия для восстановления изображения состоят в том, чтобы соответствовать интенсивности значений яркости изображения на границе области восстановления, а также направлению линий контуров.
Недостатками известного способа и устройства, его реализующего являются:
- сглаживание резких яркостных переходов изображений, что значительно ухудшает визуальное качество восстановленного изображения.
Известен нелинейный способ на основе адаптивного разряженного представления сигналов через нелинейные принципы приближения [Guleryuz O.G. Nonlinear approximation based image recovery using adaptive sparse reconstructions and iterated denoising //Part I: theory IEEE transactions on image processing, 2006. - V.15. - No. 3.]. Адаптивно определяется набор индексов спектральных коэффициентов, который предсказывает отсутствующую область изображения. Ортогональное преобразование для изображения запишется в виде:
Figure 00000014
GS,
где
Figure 00000015
 - спектральные коэффициенты, G - матрица ортогонального преобразования изображения.
При этом можно записать, что G=[
Figure 00000016
Figure 00000017
], где I- обозначает незначимые коэффициенты в преобразовании, а J - значимые. Далее незначимые коэффициенты приравниваются к нулю:
Figure 00000018
При этом
Figure 00000019
 можно представить в виде двух составляющих - доступных и отсутствующих значений пикселей:
Figure 00000020
=[
Figure 00000021
Figure 00000022
].
Тогда условие (2) запишется в виде:
Figure 00000023
.
Решение определяется итерационно и имеет вид:
Figure 00000024
,
где
Figure 00000025
 - константа,
Figure 00000026
- матрица значимых коэффициентов,
Figure 00000027
- номер итерации.
В качестве нулевой итерации используется заполнение области
Figure 00000028
 случайными числами.
Недостатками известного способа и устройства, его реализующего, являются:
- априорная информация для выбора параметров способа, например, количество уровней, на которые разбивается область с потерянными пикселями, фактор перекрытия уровней разложения, размер блоков спектрального представления и пороговый уровень для определения значимых коэффициентов;
- восстановление значений пикселей происходит равнозначно для всех сторон области восстановления, что иногда приводит к тому, что структура изображения с контурами и перепадами яркости восстанавливается некорректно в центре области;
- использование данного способа приводит к размытию текстуры и структуры при восстановлении больших областей с потерянными пикселями, а количество итераций может достигать порядка 500, что приводит к значительным вычислительным затратам.
Известен способ восстановления изображений на основе заполнения похожими областями и устройство его реализующее (Image region filling by exemplar-based inpainting) [Патент USA № 11/095,138, №10/453,404]. Устройство содержит: блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок обработки, блок вычисления приоритета, блок поиска подобия, блок заполнения изображения.
На первом шаге вычисляется приоритет
Figure 00000029
 для каждого пикселя границы, который состоит из двух множителей:
Figure 00000030
Figure 00000031
,
где
Figure 00000032
 - текущий пиксель на границе доступных пикселей;
Figure 00000033
 - данные доверия;
Figure 00000034
- данные градиента;
Figure 00000035
 - количество пикселей квадратного блока с центром в пикселе
Figure 00000036
;
Figure 00000037
- вектор, ортогональный градиенту в точке
Figure 00000038
;
Figure 00000039
- вектор, ортогональный границе
Figure 00000040
 в точке
Figure 00000041
;
Figure 00000042
- нормированный множитель, для черно-белых изображений равен 255.
Вначале предполагается, что значение данных доверия
Figure 00000043
 для пикселей из области
Figure 00000044
 равно 1, а для области
Figure 00000045
 равно 0.
Вычисление приоритета с помощью выражения (3) позволяет придать больший вес пикселям, находящимся на перепадах яркости (границах), таким образом, восстанавливая их в первую очередь. Учет данных доверия
Figure 00000046
 позволяет присваивать меньший вес восстановленным пикселям при увеличении дистанции от доступных пикселей из области
Figure 00000044
.
На втором шаге находится блок
Figure 00000047
 в области доступных пикселей
Figure 00000048
, для которого евклидова норма минимальна:
Figure 00000049
Значения пикселей из найденного блока копируются в области
Figure 00000045
. Данные доверия
Figure 00000050
 для восстановленных пикселей присваиваются равным текущему значению
Figure 00000051
. Процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.
Недостатками известного устройства являются:
- видимость границ на восстановленном изображении между найденными похожими блоками;
- неправильное восстановление при отсутствии похожего блока;
- зависимость эффективности восстановления от выбора размера блока.
Известно устройство обработки двумерных сигналов при реконструкции изображений [Патент № 2440614, МПК G 06 F 17/17, опубл. 20.01.2012]. Устройство содержит блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок поиска подобия, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок усреднения пикселей, блок заполнения изображения.
Рассматриваемое устройство предполагает:
1) записываются значения входного изображения
Figure 00000052
,
Figure 00000053
;
2) определяется значение коэффициента доверия
Figure 00000054
,
Figure 00000055
,
Figure 00000056
;
3) вычисляется значение приоритета
Figure 00000057
 для каждого значения пикселя границы
Figure 00000058
, где
Figure 00000059
;
4) определяется пиксель
Figure 00000060
 с максимальным значением приоритета
Figure 00000061
 на границе
Figure 00000062
;
5) для пикселя
Figure 00000063
 с максимальным значением приоритета
Figure 00000064
 на границе
Figure 00000065
 с помощью способа инверсий адаптивно определяется форма области для поиска подобия;
6) вычисляется евклидова метрика для всех доступных значений пикселей изображения
Figure 00000066
,
Figure 00000067
,
Figure 00000068
;
7) количество блоков подобия
Figure 00000069
 определяется с помощью доверительного интервала:
Figure 00000070
,
где:
Figure 00000071
;
Figure 00000072
 - уровень значимости.
8) значения пикселей в области
Figure 00000073
 смежные к пикселю с максимальным приоритетом
Figure 00000074
 восстанавливаются путем усреднения соответствующих пикселей найденных областей
Figure 00000075
 из области доступных пикселей
Figure 00000076
:
Figure 00000077
.
9) коэффициент доверия
Figure 00000078
 для восстановленных пикселей присваивается равным текущему значению
Figure 00000079
. После чего процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.
Недостатками известного устройства являются:
- неправильное восстановление при отсутствии похожего блока;
- зависимость эффективности восстановления от структуры изображения.
Наиболее близким к изобретению является устройство для восстановления изображений с поиском похожих блоков на основе нейронной сети [Патент № 2730215 МПК G06F 17/17, опубл. 2020.08.20]. Рассматриваемое устройство - прототип предполагает:
1) записываются значения входного изображения
Figure 00000052
,
Figure 00000053
;
2) определяется значение коэффициента доверия
Figure 00000054
,
Figure 00000055
,
Figure 00000056
;
3) вычисляется значение приоритета
Figure 00000057
 для каждого значения пикселя границы
Figure 00000058
, где
Figure 00000059
;
4) определяется пиксель
Figure 00000060
 с максимальным значением приоритета
Figure 00000061
 на границе
Figure 00000062
;
5) для пикселя
Figure 00000063
 с максимальным значением приоритета
Figure 00000064
 на границе
Figure 00000065
 с помощью способа инверсий адаптивно определяется форма области для поиска подобия;
6) вычисляется евклидова метрика для всех доступных значений пикселей изображения
Figure 00000066
,
Figure 00000067
,
Figure 00000068
;
7) количество блоков подобия
Figure 00000069
 определяется с помощью доверительного интервала:
Figure 00000070
,
где:
Figure 00000071
;
Figure 00000072
 - уровень значимости.
8) значения пикселей в области
Figure 00000080
 смежные к пикселю с максимальным приоритетом
Figure 00000081
 восстанавливаются путем усреднения соответствующих пикселей из найденных областей
Figure 00000082
 в области доступных пикселей
Figure 00000083
 с помощью нейронной сети.
9) коэффициент доверия
Figure 00000078
 для восстановленных пикселей присваивается равным текущему значению
Figure 00000079
. После чего процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.
Устройство для восстановления изображений с поиском похожих блоков на основе нейронной сети содержит блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок поиска подобия, блок оценки пикселей с помощью нейронной сети, блок заполнения изображения.
Недостатками известного устройства-прототипа являются:
- неправильное восстановление при отсутствии похожего блока;
- зависимость эффективности восстановления от структуры изображения;
- уменьшение эффективности восстановления для изображений с сложной текстурой, которые не описываются обычным градиентом на основе меж пиксельной разности;
- не возможность одновременной обработки всех цветовых каналов изображений с сохранением межканальной корреляции.
Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:
- отсутствие похожего блока приводит к не правильному восстановлению;
- при вычислении градиента не учитывается направление и форма анизотропной области;
- при восстановлении цветного изображения все цветовые каналы обрабатываются не зависимо.
Техническим результатом является уменьшение погрешности восстановления цветных изображений за счет использования представления изображения в пространстве гиперкомплексных чисел, анизотропного градиента и нейронной сети.
Достигается технический результат за счет того, что устройство восстановления изображений в пространстве кватернионов с использованием анизотропного градиента и нейронной сети содержит блок хранения изображения в пространстве RGB, блок преобразования изображения в пространство кватернионов, блок хранения изображения в пространстве кватернионов, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок поиска подобия, блок обработки, блок вычисления анизотропного градиента, блок вычисления приоритета, блок определения адаптивной формы, блок поиска подобия, блок оценки пикселей с помощью нейронной сети, блок заполнения изображения, блок преобразования изображения в пространство RGB
На Фиг. 1 представлена упрощенная математическая модель изображения.
На Фиг. 2 представлен выбор направления при расчете градиента.
На Фиг. 3 изображено построение ортогональных векторов.
На Фиг. 4 представлен адаптивный выбор формы области для поиска подобия.
На Фиг. 5 представлен поиск похожих блоков.
На Фиг. 6 представлена структура нейронной сети.
На Фиг. 7 представлен оригинальный блок
Figure 00000084
 с удаленным пикселем и пять похожих блоков.
На Фиг. 8 представлена схема обучения нейронной сети.
На Фиг. 9 представлена блок-схема устройства восстановления изображений в пространстве кватернионов с использованием анизотропного градиента и нейронной сети.
Устройство восстановления изображений в пространстве кватернионов с использованием анизотропного градиента и нейронной сети содержит блок хранения изображения в пространстве RGB
Figure 00000085
, вход которого является информационным входом устройства, выход которого подключен к входу блока преобразования изображения в пространство кватернионов 2, выход которого подключен к первому входу блока хранения изображения в пространстве кватернионов 3, второй выход которого подключен к входу блока хранения пикселей 4, выход которого подключен к входу блока создания словаря 5, выход которого подключен к входу блока хранения словаря 6, выход которого подключен ко второму входу блока поиска подобия 11; третий выход блока хранения изображения в пространстве кватернионов 3 подключен к входу блока обработки 7, выход которого подключен к первому входу блоку вычисления приоритета 8, выход которого подключен к входу блока определения адаптивной формы 9, первый выход которого подключен к первому входу блока поиска подобия 11, выход которого подключен к входу блока оценки пикселей с помощью нейронной сети 12, выход которого подключен к входу блока заполнения изображения 13, выход которого подключен ко второму входу блока хранения изображения в пространстве кватернионов 3, первый выход которого подключен к входу блока преобразования изображения в пространство RGB 14, выход которого является информационным выход устройства; второй выход блока определения адаптивной формы 9 подключен к входу блока вычисления анизотропного градиента 10, выход которого подключен ко второму входу блока вычисления приоритета 8.
Устройство реализуют следующий алгоритм.
На первом этапе компоненты цветного изображения преобразются в пространство кватернионов Q. Цветные изображения типа RGB хранят три цвета в каждом пикселе (красный, зеленый и синий). Для задач сегментации изображение обычно преобразуется в оттенки серого, что приводит к потере важной информации о цвете, насыщенности и другой важной информации, связанной с цветом. Компоненты цветного изображения могут быть представлены как кватернион Q. Обычно он описывается с помощью формы, где основная алгебраическая форма для кватерниона q ∈
Figure 00000086
 имеет вид:
Q = q 0 + q 1 i + q 2 j+ q 3 k,
где q 0 , q 1 , q 2 , q 3 ∈
Figure 00000087
 - поле действительных чисел, а i, j, k - три мнимых числа.
Figure 00000088
 можно рассматривать как четырехмерное векторное пространство над
Figure 00000089
 с естественным определением сложения и скалярного умножения. Каждый пиксель цветного изображения можно рассматривать как чистый кватернион с нулевой действительной частью.
На втором этапе для каждого пикселя границы
Figure 00000090
 с использованием метода инверсии адаптивно определяется форма области поиска подобия путем объединения двух смежных однородных подобластей в направлении максимального градиента.
Предлагается новый подход к вычислению анизотропного градиента, который заключается в том, что для каждого из 8 направлений внутри адаптивной области (фиг. 2) вычисляется меж пиксельная разность:
для направления 1 -
Figure 00000091
,
для направления 2 -
Figure 00000092
,
для направления 3 -
Figure 00000093
,
для направления 4 -
Figure 00000094
,
для направления 5 -
Figure 00000095
,
для направления 6 -
Figure 00000096
,
для направления 7 -
Figure 00000097
,
для направления 8 -
Figure 00000098
,
где
Figure 00000099
 - текущее значение пикселя изображения с координатами
Figure 00000100
.
Для получения результирующего анизотропного градиента все частные направленные градиенты усредняются.
На третьем шаге вычисляется значение приоритета
Figure 00000101
 для каждого значения пикселя границы, который состоит из двух множителей (фиг. 3):
Figure 00000102
Figure 00000103
где:
Figure 00000104
- текущий пиксель на границе доступных пикселей;
Figure 00000105
 - коэффициент доверия;
Figure 00000106
- коэффициент градиента;
Figure 00000107
 - квадратный блок пикселей с центром в пикселе
Figure 00000108
;
Figure 00000109
 - количество пикселей квадратного блока,
Figure 00000110
 вектор, ортогональный градиенту в точке
Figure 00000108
;
Figure 00000111
- вектор, ортогональный границе
Figure 00000112
 в точке
Figure 00000113
;
Figure 00000042
- нормированный множитель, который для восьми битных изображений равен 255.
Вначале предполагается, что значение коэффициента доверия
Figure 00000114
 для пикселей из области
Figure 00000115
 равно 1, а для области
Figure 00000116
 равно 0.
Вычисление приоритета позволяет придавать больший вес пикселям, которые находятся на перепадах яркости (границах), таким образом, восстанавливая их в первую очередь. Учет коэффициента доверия
Figure 00000117
 позволяет присваивать меньший вес восстановленным пикселям при увеличении расстояния от доступных пикселей из области
Figure 00000118
.
Далее, для пикселя
Figure 00000119
 с максимальным значением приоритета
Figure 00000120
 на границе
Figure 00000121
 с помощью способа инверсий адаптивно определяется форма области для поиска подобия, что позволяет корректно учитывать форму области восстановления и не захватывать лишние границы, которые могут привести к неправильной реконструкции изображения.
Для формирования адаптивных областей двумерного сигнала для пикселя
Figure 00000122
 задаются восемь направлений
Figure 00000123
, в которых определяются интервалы квазистационарности. Условие квазистационарности проверяется с помощью вычисления случайной величины
Figure 00000124
, равной сумме числа инверсий значений пикселей в каждом из направлений двумерного сигнала
Figure 00000125
,
Figure 00000126
, в котором присутствуют доступные пиксели.
Например, сумма числа инверсий для направления 5 равна:
Figure 00000127
 ,
Figure 00000128
,
Figure 00000129
,
где
Figure 00000130
,
Figure 00000131
- текущее значение пикселя изображения с координатами (
Figure 00000132
);
Figure 00000133
,
Figure 00000134
 - последующие значения пикселей изображения по
Figure 00000135
-ому столбцу (движение в направлении 5),
Figure 00000136
 - максимальная длина интервала квазистационарности.
Количество сочетаний, для которых вычисляется сумма инверсий, составляет:
Figure 00000137
.
Первая альтернатива (убывающий сигнал) принимается, если
Figure 00000138
.
Правило для принятия второй альтернативы (возрастающий сигнал) имеет вид
Figure 00000139
,
где α - значение ошибки первого рода.
Гипотеза о стационарности сигнала принимается, если
Figure 00000140
,
По полученным границам интервалов для каждого из восьми секторов, образованных направлениями 1-2, 2-3, 3-4, 5-6, 7-8, 8-1 происходит формирование областей квазистационарности. Для этого используется линейная интерполяция границ смежных интервалов уравнением прямой проходящей через две точки:
Figure 00000141
,
Figure 00000142
,
где
Figure 00000143
 - координаты границы направления h,
Figure 00000144
 - координаты границы направления h+1.
Значения пикселей, попавшие между всеми направлениями и интерполирующими прямыми, проходящими через границы интервалов квазистационарности, объединяются в одну область
Figure 00000145
.
Для пикселя границы смежного с пикселем
Figure 00000119
, имеющего большее значение
Figure 00000146
, так же определяется адаптивно область с помощью способа инверсий. Каждая из полученных областей является квазистационарной, и они находятся по разные стороны от перепада яркости. Данные области объединяются в одну (фиг. 4), таким образом, определяется область
Figure 00000147
 с адаптивными размерами и перепадом яркости.
Определяется пиксель
Figure 00000148
 с максимальным значением приоритета
Figure 00000149
 на границе
Figure 00000150
 и выбирается адаптивная область
Figure 00000151
, принадлежащая данному пикселю. Использование которой позволяет корректно учитывать форму области восстановления и не захватывать лишние границы, которые могут привести к неправильной реконструкции изображения.
На пятом шаге, находятся блоки
Figure 00000075
,
Figure 00000071
 в области доступных пикселей
Figure 00000152
, для которых евклидова метрика минимальна (фиг. 5):
Figure 00000153
при этом
Figure 00000154
 обозначает порядковые номера подобных блоков, ранжированных по евклидовой метрике.
Количество блоков подобия
Figure 00000069
 определяется с помощью доверительного интервала:
Figure 00000070
,
где:
Figure 00000071
;
Figure 00000072
 - уровень значимости.
Значения пикселей в области
Figure 00000080
 смежные к пикселю с максимальным приоритетом
Figure 00000081
 восстанавливаются путем усреднения соответствующих пикселей из найденных областей
Figure 00000082
 в области доступных пикселей
Figure 00000083
 с помощью нейронной сети, в качестве нейронной сети был выбран многослойный персептрон.
Коэффициент доверия
Figure 00000155
 для восстановленных пикселей присваивается равным текущему значению
Figure 00000156
. После чего процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.
На следующем шаге изображение преобразуется из пространства кватерниона Q в пространство RGB.
В данном устройстве используется нейронная сеть прямого распространения сигнала для формирования наиболее похожего блока, обученная с помощью алгоритма обратного распространения ошибки (фиг. 6). В качестве функции активации, используется сигмоидальная нелинейная функция (sigmoidal nonlinearity), а именно функция гиперболического тангенса:
Figure 00000157
где
Figure 00000158
 - параметр наклона сигмоидальной функции активации.
На этапе обучения нейронной сети на вход подавались заранее подготовленные данные: на изображении выделялся блок со случайными координатами, размером
Figure 00000159
, далее в нем удалялся центральный пиксель и находили пять наиболее похожих блоков на всем изображении сравнивая их по MSE (фиг. 7).
Далее процедура повторялась на тридцати пяти изображениях и было получено сто тысяч блоков, они использовались как обучающая последовательность для данной сети.
Данная сеть содержит три слоя: первый слой содержит двадцать нейронов, второй слой содержит так же двадцать нейронов, третий слой содержит десять нейронов. В сети создано десять входов, на пять из них подавались только центральные пиксели в найденных блоках, а на пять других входов подавались MSE этих блоков (фиг. 8). В качестве выхода использовались центральные пиксели оригинальных блоков.
Устройство восстановления изображений в пространстве кватернионов с использованием анизотропного градиента и нейронной сети работает следующим образом.
На вход блока хранения изображения в пространстве RGB 1 поступает изображение с потерянными пикселями. Далее изображение переводится в пространство кватернионов в блоке преобразования изображения в пространство кватернионов 2 и сохраняется в блоке хранения изображения в пространстве кватернионов 3. Доступные пиксели сохраняются в блоке хранения пикселей 4, далее они поступают на вход блока создания словаря 5. Результат формирования словаря сохраняется в блоке хранения словаря 6, полученные двумерные матрицы используются далее для восстановления изображения. Матрицы создаются путем формирования квадратных блоков размером 9*9 пикселей из исходного изображения путем смещения блока по всем доступным пикселям изображения. В блоке обработки 7 происходит формирование граничных пикселей вокруг области с потерянными пикселями из блока хранения изображения в пространстве кватернионов 3. Информация о граничных пикселях поступает на вход блока вычисления приоритета 8, в котором вычисляется приоритет для всех граничных пикселей, который состоит из двух множителей: коэффициент доверия и коэффициент градиента; градиент вычисляется в блоке вычисления анизотропного градиента 10. В блоке вычисления приоритета 8 осуществляется ранжировка приоритета и определение граничного пикселя с максимальным значением приоритета. В блоке определения адаптивной формы 9 вокруг пикселя с максимальным значением приоритета формируется адаптивная область близких по яркости пикселей с помощью способа инверсий. Адаптивная область поступает на вход блока поиска подобия 11, в котором осуществляется вычисление евклидовой метрики со всеми двумерными матрицам, которые хранятся в блоке хранения словаря 6. В блоке поиска подобия 11 так же определяется количество похожих блоков, для которых евклидова метрика не превосходит порогового значения. Данные блоки поступают на вход блока оценки пикселей с помощью нейронной сети 12, в котором происходит формирование усредненной оценки с помощью предварительно обученной нейронной сети. Полученная оценка поступает в блок заполнения изображения 13, который копирует значения пикселей смежных к пикселю с максимальным приоритетом из усредненной оценки в блок хранения изображения в пространстве кватернионов 3 на соответственные координаты. Далее процесс вычисления приоритета с поиском похожих блоков и последующей заменой повторяется до тех пор, пока не будут восстановлены все значения в блоке хранения изображения в пространстве кватернионов 3. Восстановленное изображение переводится из пространства кватернионов в пространство RGB в блоке преобразования изображения в пространство RGB 14.

Claims (1)

  1. Устройство восстановления изображений в пространстве кватернионов с использованием анизотропного градиента и нейронной сети, включающее блок хранения изображения в пространстве кватернионов, второй выход которого подключен к входу блока хранения пикселей, выход которого подключен к входу блока создания словаря, выход которого подключен к входу блока хранения словаря, выход которого подключен ко второму входу блока поиска подобия; третий выход блока хранения изображения в пространстве кватернионов подключен к входу блока обработки, выход которого подключен к первому входу блока вычисления приоритета, выход которого подключен к входу блока определения адаптивной формы, первый выход которого подключен к первому входу блока поиска подобия, выход которого подключен к входу блока оценки пикселей с помощью нейронной сети, выход которого подключен к входу блока заполнения изображения, выход которого подключен ко второму входу блока хранения изображения в пространстве кватернионов, отличающееся тем, что устройство дополнительно содержит блок хранения изображения в пространстве RGB, вход которого является информационным входом устройства, выход которого подключен к входу блока преобразования изображения в пространство кватернионов, выход которого подключен к первому входу блока хранения изображения в пространстве кватернионов, первый выход которого подключен к входу блока преобразования изображения в пространство RGB, выход которого является информационным выходом устройства; второй выход блока определения адаптивной формы подключен к входу блока вычисления анизотропного градиента, выход которого подключен ко второму входу блока вычисления приоритета; причем блок хранения изображения в пространстве RGB принимает изображение с потерянными пикселями; блок обработки формирует граничные пиксели вокруг области с потерянными пикселями из блока хранения изображения в пространстве кватернионов; блок вычисления приоритета вычисляет приоритет для всех граничных пикселей, который состоит из двух множителей: коэффициент доверия и коэффициент градиента, а также осуществляет ранжировку приоритета и определение граничного пикселя с максимальным значением приоритета; блок определения адаптивной формы формирует вокруг пикселя с максимальным значением приоритета адаптивную область близких по яркости пикселей с помощью способа инверсий; блок поиска подобия осуществляет вычисление евклидовой метрики со всеми двумерными матрицам, которые хранятся в блоке хранения словаря, а также определяет количество похожих блоков, для которых евклидова метрика не превосходит порогового значения; блок оценки пикселей с помощью нейронной сети формирует усредненную оценку с помощью предварительно обученной нейронной сети; блок заполнения изображения копирует значения пикселей, смежных к пикселю с максимальным приоритетом, из усредненной оценки в блок хранения изображения в пространстве кватернионов на соответственные координаты; блок преобразования изображения в пространство RGB переводит восстановленное изображение из пространства кватернионов в пространство RGB.
RU2020136626A 2020-11-09 2020-11-09 Устройство восстановления изображений в пространстве кватернионов с использованием анизотропного градиента и нейронной сети RU2754965C1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2020136626A RU2754965C1 (ru) 2020-11-09 2020-11-09 Устройство восстановления изображений в пространстве кватернионов с использованием анизотропного градиента и нейронной сети

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2020136626A RU2754965C1 (ru) 2020-11-09 2020-11-09 Устройство восстановления изображений в пространстве кватернионов с использованием анизотропного градиента и нейронной сети

Publications (1)

Publication Number Publication Date
RU2754965C1 true RU2754965C1 (ru) 2021-09-08

Family

ID=77670154

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2020136626A RU2754965C1 (ru) 2020-11-09 2020-11-09 Устройство восстановления изображений в пространстве кватернионов с использованием анизотропного градиента и нейронной сети

Country Status (1)

Country Link
RU (1) RU2754965C1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894794A (zh) * 2023-09-11 2023-10-17 长沙超创电子科技有限公司 一种视频的快速去噪方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2440614C1 (ru) * 2010-08-02 2012-01-20 Государственное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ГОУ ВПО "ЮРГУЭС") Устройство обработки двумерных сигналов при реконструкции изображений
US20140297703A1 (en) * 2012-12-21 2014-10-02 Inview Technology Corporation Signal reconstruction using total-variation primal-dual hybrid gradient (tv-pdhg) algorithm
RU2582554C1 (ru) * 2014-12-30 2016-04-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Донской государственный технический университет" (ФГБОУ ВПО "ДГТУ") Устройство восстановления двумерных сигналов на основе реконструкции искаженных пикселей изображений
RU2661534C1 (ru) * 2017-12-25 2018-07-17 федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет", (ДГТУ) Устройство для реконструкции изображений на основе хэш-функций

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2440614C1 (ru) * 2010-08-02 2012-01-20 Государственное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ГОУ ВПО "ЮРГУЭС") Устройство обработки двумерных сигналов при реконструкции изображений
US20140297703A1 (en) * 2012-12-21 2014-10-02 Inview Technology Corporation Signal reconstruction using total-variation primal-dual hybrid gradient (tv-pdhg) algorithm
RU2582554C1 (ru) * 2014-12-30 2016-04-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Донской государственный технический университет" (ФГБОУ ВПО "ДГТУ") Устройство восстановления двумерных сигналов на основе реконструкции искаженных пикселей изображений
RU2661534C1 (ru) * 2017-12-25 2018-07-17 федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет", (ДГТУ) Устройство для реконструкции изображений на основе хэш-функций

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
V. VORONIN et al. "The quaternion-based anisotropic gradient for the color images", опубл. 13.01.2019 на 6 страницах [найдено 26.05.2021], размещено в Интернет по адресу URL: https://www.ingentaconnect.com/contentone/ist/ei/2019/00002019/00000011/art00027. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116894794A (zh) * 2023-09-11 2023-10-17 长沙超创电子科技有限公司 一种视频的快速去噪方法
CN116894794B (zh) * 2023-09-11 2023-11-21 长沙超创电子科技有限公司 一种视频的快速去噪方法

Similar Documents

Publication Publication Date Title
Ancuti et al. Color balance and fusion for underwater image enhancement
Li et al. Heavy rain image restoration: Integrating physics model and conditional adversarial learning
Dong et al. Location-aware single image reflection removal
Buades et al. Patch-based video denoising with optical flow estimation
CN112805744B (zh) 用于对多光谱图像去马赛克的系统和方法
Cao et al. Underwater image restoration using deep networks to estimate background light and scene depth
Ancuti et al. Enhancing underwater images and videos by fusion
CN112233038A (zh) 基于多尺度融合及边缘增强的真实图像去噪方法
Awad et al. Adaptive near-infrared and visible fusion for fast image enhancement
CN111127336A (zh) 一种基于自适应选择模块的图像信号处理方法
RU2450342C1 (ru) Устройство для восстановления изображений
CN113284061B (zh) 一种基于梯度网络的水下图像增强方法
RU2440614C1 (ru) Устройство обработки двумерных сигналов при реконструкции изображений
Guo et al. Joint raindrop and haze removal from a single image
Buades et al. Enhancement of noisy and compressed videos by optical flow and non-local denoising
Buades et al. CFA video denoising and demosaicking chain via spatio-temporal patch-based filtering
RU2754965C1 (ru) Устройство восстановления изображений в пространстве кватернионов с использованием анизотропного градиента и нейронной сети
Mai et al. Deep unrolled low-rank tensor completion for high dynamic range imaging
Dewil et al. Self-supervision versus synthetic datasets: which is the lesser evil in the context of video denoising?
Qi et al. Deep Color-Corrected Multi-scale Retinex Network for Underwater Image Enhancement
RU2730215C1 (ru) Устройство для восстановления изображений с поиском похожих блоков на основе нейронной сети
CN113139990B (zh) 一种基于内容感知的深度网格流鲁棒图像对齐方法
Cao et al. Remote sensing image recovery and enhancement by joint blind denoising and dehazing
CN114926367A (zh) 煤矿降质图像的全息图生成方法
RU2716311C1 (ru) Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети