RU2750416C1 - Устройство сжатия изображений на основе метода реконструкции пикселей - Google Patents

Устройство сжатия изображений на основе метода реконструкции пикселей Download PDF

Info

Publication number
RU2750416C1
RU2750416C1 RU2020134579A RU2020134579A RU2750416C1 RU 2750416 C1 RU2750416 C1 RU 2750416C1 RU 2020134579 A RU2020134579 A RU 2020134579A RU 2020134579 A RU2020134579 A RU 2020134579A RU 2750416 C1 RU2750416 C1 RU 2750416C1
Authority
RU
Russia
Prior art keywords
unit
input
output
image
storage unit
Prior art date
Application number
RU2020134579A
Other languages
English (en)
Inventor
Николай Валерьевич Гапон
Вячеслав Владимирович Воронин
Роман Алексеевич Сизякин
Марина Михайловна Жданова
Евгений Александрович Семенищев
Original Assignee
федеральное государственное бюджетное образовательное учреждение высшего образования «Донской государственный технический университет» (ДГТУ)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by федеральное государственное бюджетное образовательное учреждение высшего образования «Донской государственный технический университет» (ДГТУ) filed Critical федеральное государственное бюджетное образовательное учреждение высшего образования «Донской государственный технический университет» (ДГТУ)
Priority to RU2020134579A priority Critical patent/RU2750416C1/ru
Application granted granted Critical
Publication of RU2750416C1 publication Critical patent/RU2750416C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

Изобретение относится к вычислительной технике. Технический результат заключается в повышении коэффициента сжатия изображений с минимальной потерей качества. Устройство сжатия изображений на основе метода реконструкции пикселей содержит блок хранения изображения, блок удаления однородных областей на изображении, блок дискретного косинусного преобразования, блок обратного дискретного косинусного преобразования, блок хранения маски, блок хранения изображения с удаленными областями, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок поиска подобия, блок оценки пикселей с помощью нейронной сети, блок заполнения изображения. 9 ил.

Description

Изобретение относится к области вычислительной техники и может быть использовано в цифровых телевизионных и фотосистемах, глобальных системах позиционирования и наблюдения.
Упрощенная математическая модель изображения представляет собой двумерный дискретный сигнал
Figure 00000001
(фиг. 1), где
Figure 00000002
- доступные пиксели неискаженного изображения,
Figure 00000003
- область изображения с отсутствующими пикселями,
Figure 00000004
- граница области
Figure 00000005
.
Основная решаемая задача - сжатие изображений на основе метода реконструкции пикселей.
Задача эффективного сжатия данных всегда была одной из самых актуальных, а с развитием компьютерной, цифровой техники и Интернет она приобрела еще большее значение. Так, с начала 1980-х гг. было разработано множество алгоритмов, направленных на эффективное сжатие цифровых изображений для их передачи и хранения. Существует множество методов сжатия данных. Существуют алгоритмы сжатия с потерями и без потерь. Недостатком методов сжатия без потерь является то, что коэффициент сжатия очень мал. Недостатком методов сжатия с потерями является то, что на изображении появляются артефакты в виде блочной текстуры, засвеченные блоки (белые блоки). В современных методах сжатия используются методы восстановления. В настоящее время существуют различные методы, направленные на решение задач восстановления частично утерянных участков изображения, но для их эффективного использования необходимы значительные объемы априорной информации о полезном изображении. Значительные ограничения на объем априорной информации, что имеет место на практике, существенно усложняют как выбор эффективного метода обработки, так и его значений оптимальных параметров.
Упрощенно способы реконструкции значений пикселей изображений можно разделить на следующие группы:
1) Способы на основе решения дифференциальных уравнений.
2) Способы на основе ортогональных преобразований.
3) Способы на основе синтеза текстур.
4) Способы на основе нейронной сети.
Анализ существующих способов обработки показывает, что область их использования, в условиях ограниченного объема информации о составляющих обрабатываемого процесса крайне ограничена. Использование способов реконструкции значений пикселей изображений на основе решения дифференциальных уравнений в частных производных приводит к размытию резких перепадов яркостей и контуров и требует априорную информацию для выбора параметров способов и минимизации функционала. Неспособность восстанавливать текстуру изображений и изогнутые контуры ограничивает область использования данных способов, которые в основном применимы при удалении царапин и небольших дефектов на структуре изображений. Для использования способов на основе ортогональных преобразований требуется априорная информация для выбора порогового значения, ортогонального базиса и размера блоков спектрального представления. Так же следует отметить, что данные способы приводят к размытию текстуры и структуры при восстановлении больших областей с потерянными пикселями, а большое количество итераций приводит к значительным вычислительным затратам. Применение способов на основе синтеза текстур требует априорной информации о размере и формы области восстановления и геометрических свойствах изображения для выбора параметров способов.
Известно цифровое сглаживающее устройство с предварительным обнаружением и устранением аномальных измерений [Патент RU № 2010325, МПК G06F 15/353, опубл. 06.02.1991]. Данное устройство содержит первый сумматор, счетчик отсчетов, первый и второй дешифраторы, первый и второй элемент И, элемент ИЛИ, триггер, блок задания коэффициента деления, первый регистр и второй сумматор, второй регистр, третий дешифратор, счетчик аномальных измерений, блок выделения модуля, схема сравнения, третий элемент и генератор тактовых импульсов.
Недостатками известного способа и устройства его реализующего являются:
- процедура обнаружения не эффективна в случае обработки групповых аномальных значений;
- необходимо априорное знание допустимого значения строба
Figure 00000006
.
Известно устройство по способу выделения объекта на изображении на основе решения уравнений Пуассона (Poisson matting for images) [Patent USA № 7636128], которое содержит блок хранения изображения, блок задания глобальной маски для решения уравнений Пуассона, блок задания локальной маски для решения уравнений Пуассона, блок принятия решений о проверке корректности полученной маски, блок ручного уточнения полученной маски.
Недостатком известного способа является применение локальных фильтров, исправляющее вручную окончательный результат с помощью решения локальных уравнений Пуассона, что не позволяет получить эффективной автоматизированной системы обработки.
Известен способ восстановления изображений на основе заполнения похожими областями и устройство его реализующее (Image region filling by exemplar-based inpainting) [Patent USA №11/095,138, №10/453,404]. Устройство содержит: блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок обработки, блок вычисления приоритета, блок поиска подобия, блок заполнения изображения.
На первом шаге вычисляется приоритет
Figure 00000007
для каждого пикселя границы, который состоит из двух множителей:
Figure 00000008
(3)
Figure 00000009
,
где
Figure 00000010
- текущий пиксель на границе доступных пикселей;
Figure 00000011
- данные доверия;
Figure 00000012
- данные градиента;
Figure 00000013
- количество пикселей квадратного блока с центром в пикселе
Figure 00000014
;
Figure 00000015
- вектор, ортогональный градиенту в точке
Figure 00000016
;
Figure 00000017
- вектор, ортогональный границе
Figure 00000018
в точке
Figure 00000019
;
Figure 00000020
- нормированный множитель, для черно-белых изображений равен 255.
Вначале предполагается, что значение данных доверия
Figure 00000021
для пикселей из области
Figure 00000022
равно 1, а для области
Figure 00000023
равно 0.
Вычисление приоритета с помощью выражения (3) позволяет придать больший вес пикселям, находящимся на перепадах яркости (границах), таким образом, восстанавливая их в первую очередь. Учет данных доверия
Figure 00000024
позволяет присваивать меньший вес восстановленным пикселям при увеличении дистанции от доступных пикселей из области
Figure 00000022
.
На втором шаге находится блок
Figure 00000025
в области доступных пикселей
Figure 00000026
, для которого евклидова норма минимальна:
Figure 00000027
(4)
Значения пикселей из найденного блока копируются в области
Figure 00000023
. Данные доверия
Figure 00000028
для восстановленных пикселей присваиваются равным текущему значению
Figure 00000029
. Процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.
Недостатками известного устройства являются:
- видимость границ на восстановленном изображении между найденными похожими блоками;
- неправильное восстановление при отсутствии похожего блока;
- зависимость эффективности восстановления от выбора размера блока.
Наиболее близким к изобретению является устройство для восстановления изображений с поиском похожих блоков на основе нейронной сети [Патент № 2730215, МПК G06F 17/17, G06T 11/00, G06N 3/02, опубл. 20.08.2020]. Рассматриваемое устройство - прототип предполагает:
1) записываются значения входного изображения
Figure 00000030
,
Figure 00000031
;
2) определяется значение коэффициента доверия
Figure 00000032
,
Figure 00000033
,
Figure 00000034
;
3) вычисляется значение приоритета
Figure 00000035
для каждого значения пикселя границы
Figure 00000036
, где
Figure 00000037
;
4) определяется пиксель
Figure 00000038
с максимальным значением приоритета
Figure 00000039
на границе
Figure 00000040
;
5) для пикселя
Figure 00000041
с максимальным значением приоритета
Figure 00000042
на границе
Figure 00000043
с помощью способа инверсий адаптивно определяется форма области для поиска подобия;
6) вычисляется евклидова метрика для всех доступных значений пикселей изображения
Figure 00000044
,
Figure 00000045
,
Figure 00000046
;
7) количество блоков подобия
Figure 00000047
определяется с помощью доверительного интервала:
Figure 00000048
,
где:
Figure 00000049
;
Figure 00000050
- уровень значимости.
8) значения пикселей в области
Figure 00000051
смежные к пикселю с максимальным приоритетом
Figure 00000052
восстанавливаются путем усреднения соответствующих пикселей из найденных областей
Figure 00000053
в области доступных пикселей
Figure 00000054
с помощью нейронной сети.
9) коэффициент доверия
Figure 00000055
для восстановленных пикселей присваивается равным текущему значению
Figure 00000056
. После чего процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.
Устройство для восстановления изображений с поиском похожих блоков на основе нейронной сети содержит блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок поиска подобия, блок оценки пикселей с помощью нейронной сети, блок заполнения изображения.
Недостатками известного устройства-прототипа являются:
- может быть использовано только для восстановления отсутствующих пикселей, а не сжатия изображений.
Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:
- отсутствие кодера и части блоков в декодере.
Техническим результатом является повышение коэффициента сжатия изображений с минимальной потерей качества.
Достигается технический результат за счет того, что устройство сжатия изображений на основе метода реконструкции пикселей содержит блок хранения изображения, блок удаления однородных областей на изображении, блок дискретного косинусного преобразования, блок обратного дискретного косинусного преобразования, блок хранения изображения с удаленными областями, блок хранения маски, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок поиска подобия, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок поиска подобия, блок оценки пикселей с помощью нейронной сети, блок заполнения изображения.
На Фиг. 1 представлена упрощенная математическая модель изображения.
На Фиг. 2 представлены примеры удаления однородных блоков на изображении.
На Фиг. 3 представлено построение ортогональных векторов.
На Фиг. 4 представлен адаптивный выбор формы области для поиска подобия.
На Фиг. 5 представлен поиск похожих блоков.
На Фиг. 6 представлена структура нейронной сети.
На Фиг. 7 представлен оригинальный блок
Figure 00000057
с удаленным пикселем и пять похожих блоков.
На Фиг. 8 представлена схема обучения нейронной сети.
На Фиг. 9 представлена блок схема устройство сжатия изображений на основе метода реконструкции пикселей.
Устройство сжатия изображений на основе метода реконструкции пикселей содержит блок хранения изображения 1, вход которого является информационным входом устройства, выход которого подключен к входу блока удаления однородных областей на изображении 2, первый выход которого подключен к входу блока дискретного косинусного преобразования 3, выход которого подключен к входу блока обратного дискретного косинусного преобразования 4, выход которого подключен к первому входу блока хранения изображения с удаленными областями 6; второй выход блока удаления однородных областей на изображении 2 подключен к входу блока хранения маски 5, выход которого подключен к третьему входу блока хранения изображения с удаленными областями 6, второй выход которого подключен к входу блока хранения пикселей 7, выход которого подключен к входу блока создания словаря 8, выход которого подключен к входу блока хранения словаря 9, выход которого подключен ко второму входу блока поиска подобия 13; третий выход блока хранения изображения с удаленными областями 6 подключен к входу блока обработки 10, выход которого подключен к входу блоку вычисления приоритета 11, выход которого подключен к входу блока определения адаптивной формы 12, выход которого подключен к первому входу блока поиска подобия 13, выход которого подключен к входу блока оценки пикселей с помощью нейронной сети 14, выход которого подключен к входу блока заполнения изображения 15, выход которого подключен ко второму входу блока хранения изображения с удаленными областями 6, первый выход которого является информационным выход устройства.
Предлагаемое устройство реализует следующий алгоритм.
В кодере изображение разбивается на блоки размером 8×8 пикселей. Далее для каждого блока считается мера контраста. Одним из наиболее простых методов описания текстуры является использование моментов гистограммы интенсивностей элементов изображения. Пусть
Figure 00000058
- случайная величина, которая определяет дискретную интенсивность изображения,
Figure 00000059
- соответствующие значения гистограммы. Известно, что
Figure 00000060
-й момент
Figure 00000061
относительно среднего значения определяется формулой
Figure 00000062
(1)
где
Figure 00000063
- среднее значение яркостей элементов локальной окрестности
Figure 00000064
.
Из выражения (1) следует, что
Figure 00000065
, а
Figure 00000066
. Второй момент, который называется дисперсией и обозначается как
Figure 00000067
, служит для описания текстуры. Он является также мерой контраста интенсивности и применяется для описания однородности поверхностей. В некоторых работах в качестве меры контраста текстуры предложено использовать выражение
Figure 00000068
(2)
где
Figure 00000067
- дисперсия в окрестности
Figure 00000069
, k=0,8 - коэффициент нормирования.
Figure 00000070
согласно выражению (2) равно нулю для окрестностей с постоянной интенсивностью и единице - для больших значений
Figure 00000067
. Это свойство выражения (2) полностью отвечает требованиям определения локального контраста. Поэтому по аналогии с описанным известным подходом будем использовать в нем меру контраста, которая определяется за выражением (2).
Блоки, которые классифицируются, как однородные (Фиг.2) не используются далее в обработке. Для оставшихся блоков применяется сжатие с помощью дискретно косинусного преобразования.
Двумерное дискретное косинусное преобразование матрицы A с размерами
Figure 00000071
реализуется согласно следующему выражению
Figure 00000072
(3)
где 
Figure 00000073
и
Figure 00000074
Figure 00000075
Figure 00000076
(4)
В декодере вычисляется обратное дискретное косинусное преобразование. Блоки на изображении, которые были удалены по критерию однородности, восстанавливаются с помощью метода реконструкции изображений.
Для реконструкции на первом шаге вычисляется значение приоритета
Figure 00000077
для каждого значения пикселя границы, который состоит из двух множителей (фиг. 3):
Figure 00000078
,
Figure 00000079
Figure 00000080
,
Figure 00000081
где:
Figure 00000082
- текущий пиксель на границе доступных пикселей;
Figure 00000083
- коэффициент доверия;
Figure 00000084
- коэффициент градиента;
Figure 00000085
- квадратный блок пикселей с центром в пикселе
Figure 00000086
;
Figure 00000087
- количество пикселей квадратного блока,
Figure 00000088
вектор, ортогональный градиенту в точке
Figure 00000086
;
Figure 00000089
- вектор, ортогональный границе
Figure 00000090
в точке
Figure 00000091
;
Figure 00000020
- нормированный множитель, который для восьми битных изображений равен 255.
Вначале предполагается, что значение коэффициента доверия
Figure 00000092
для пикселей из области
Figure 00000093
равно 1, а для области
Figure 00000094
равно 0.
Вычисление приоритета позволяет придавать больший вес пикселям, которые находятся на перепадах яркости (границах), таким образом, восстанавливая их в первую очередь. Учет коэффициента доверия
Figure 00000095
позволяет присваивать меньший вес восстановленным пикселям при увеличении расстояния от доступных пикселей из области
Figure 00000096
.
На втором шаге, для пикселя
Figure 00000097
с максимальным значением приоритета
Figure 00000098
на границе
Figure 00000099
с помощью способа инверсий адаптивно определяется форма области для поиска подобия, что позволяет корректно учитывать форму области восстановления и не захватывать лишние границы, которые могут привести к неправильной реконструкции изображения.
Для формирования адаптивных областей двумерного сигнала для пикселя
Figure 00000100
задаются восемь направлений
Figure 00000101
, в которых определяются интервалы квазистационарности. Условие квазистационарности проверяется с помощью вычисления случайной величины
Figure 00000102
, равной сумме числа инверсий значений пикселей в каждом из направлений двумерного сигнала
Figure 00000103
,
Figure 00000104
, в котором присутствуют доступные пиксели.
Например, сумма числа инверсий для направления 5 равна:
Figure 00000105
,
Figure 00000106
Figure 00000107
,
где
Figure 00000108
,
Figure 00000109
- текущее значение пикселя изображения с координатами (
Figure 00000110
);
Figure 00000111
,
Figure 00000112
- последующие значения пикселей изображения по
Figure 00000113
-ому столбцу (движение в направлении 5),
Figure 00000114
- максимальная длина интервала квазистационарности.
Количество сочетаний, для которых вычисляется сумма инверсий, составляет:
Figure 00000115
.
Первая альтернатива (убывающий сигнал) принимается, если
Figure 00000116
.
Правило для принятия второй альтернативы (возрастающий сигнал) имеет вид
Figure 00000117
,
где α - значение ошибки первого рода.
Гипотеза о стационарности сигнала принимается, если
Figure 00000118
По полученным границам интервалов для каждого из восьми секторов, образованных направлениями 1-2, 2-3, 3-4, 5-6, 7-8, 8-1 происходит формирование областей квазистационарности. Для этого используется линейная интерполяция границ смежных интервалов уравнением прямой проходящей через две точки:
Figure 00000119
,
Figure 00000120
,
где
Figure 00000121
- координаты границы направления h,
Figure 00000122
- координаты границы направления h+1.
Значения пикселей, попавшие между всеми направлениями и интерполирующими прямыми, проходящими через границы интервалов квазистационарности, объединяются в одну область
Figure 00000123
.
Для пикселя границы смежного с пикселем
Figure 00000097
, имеющего большее значение
Figure 00000124
, так же определяется адаптивно область с помощью способа инверсий. Каждая из полученных областей является квазистационарной, и они находятся по разные стороны от перепада яркости. Данные области объединяются в одну (фиг. 4), таким образом, определяется область
Figure 00000125
с адаптивными размерами и перепадом яркости.
Определяется пиксель
Figure 00000126
с максимальным значением приоритета
Figure 00000127
на границе
Figure 00000128
и выбирается адаптивная область
Figure 00000129
, принадлежащая данному пикселю, использование которой позволяет корректно учитывать форму области восстановления и не захватывать лишние границы, которые могут привести к неправильной реконструкции изображения.
На третьем шаге находятся блоки
Figure 00000130
,
Figure 00000049
в области доступных пикселей
Figure 00000131
, для которых евклидова метрика минимальна (фиг. 5):
Figure 00000132
при этом
Figure 00000133
обозначает порядковые номера подобных блоков, ранжированных по евклидовой метрике.
Количество блоков подобия
Figure 00000047
определяется с помощью доверительного интервала:
Figure 00000048
,
где
Figure 00000049
;
Figure 00000050
- уровень значимости.
Значения пикселей в области
Figure 00000051
смежные к пикселю с максимальным приоритетом
Figure 00000052
восстанавливаются путем усреднения соответствующих пикселей из найденных областей
Figure 00000053
в области доступных пикселей
Figure 00000054
с помощью нейронной сети, в качестве нейронной сети был выбран многослойный персептрон.
Коэффициент доверия
Figure 00000134
для восстановленных пикселей присваивается равным текущему значению
Figure 00000135
. После чего процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.
В данном устройстве используется нейронная сеть прямого распространения сигнала для формирования наиболее похожего блока, обученная с помощью алгоритма обратного распространения ошибки (фиг. 6). В качестве функции активации, используется сигмоидальная нелинейная функция (sigmoidal nonlinearity), а именно функция гиперболического тангенса:
Figure 00000136
где α - параметр наклона сигмоидальной функции активации.
На этапе обучения нейронной сети на вход подавались заранее подготовленные данные: на изображении выделялся блок со случайными координатами, размером 9х9, далее в нем удалялся центральный пиксель и находили пять наиболее похожих блоков на всем изображении сравнивая их по MSE (фиг. 7).
Далее процедура повторялась на тридцати пяти изображениях и было получено 100 000 блоков, они использовались как обучающая последовательность для данной сети.
Данная сеть содержит три слоя: первый слой содержит двадцать нейронов, второй слой содержит также двадцать нейронов, третий слой содержит десять нейронов. В сети создано десять входов, на пяти из них подавались только центральные пиксели в найденных блоках, а на пяти других входов подавались MSE этих блоков (фиг. 8). В качестве выхода использовались центральные пиксели оригинальных блоков.
Устройство сжатия изображений на основе метода реконструкции пикселей работает следующим образом. В кодере, на вход блока хранения изображения 1 поступает изображение. Далее в блоке удаления однородных областей на изображении 2, для каждого блока размером 8×8 считается мера контраста и удаляются однородные блоки. В блоке хранения маски 5 сохраняется маска удаленных блоков, которая далее поступает в декодер на второй вход блока хранения изображения с удаленными областями 6. Для оставшихся блоков в блоке дискретного косинусного преобразования 3 применяется дискретное косинусное преобразование. Далее сжатое изображение поступает в декодер, на вход блока обратного дискретного косинусного преобразования 4. Блоки на изображении, которые были удалены в блоке удаления однородных областей на изображении 2 по критерию однородности, восстанавливаются с помощью метода реконструкции изображений. Доступные пиксели сохраняются в блоке хранения пикселей 7, далее они поступают на вход блока создания словаря 8. Результат формирования словаря сохраняется в блоке хранения словаря 9, полученные двумерные матрицы используются далее для восстановления изображения. Матрицы создаются путем формирования квадратных блоков размером девять на девять пикселей из исходного изображения путем смещения блока по всем доступным пикселям изображения. В блоке обработки 10 происходит формирование граничных пикселей вокруг области с потерянными пикселями из блока хранения изображения с удаленными областями 6. Далее информация о граничных пикселях поступает на вход блока вычисления приоритета 11, в котором вычисляется приоритет для всех граничных пикселей, который состоит из двух множителей: коэффициент доверия и коэффициент градиента. В данном блоке так же осуществляется ранжировка приоритета и определение граничного пикселя с максимальным значением приоритета. В блоке определения адаптивной формы 12 вокруг пикселя с максимальным значением приоритета формируется адаптивная область близких по яркости пикселей с помощью способа инверсий. Адаптивная область поступает на вход блока поиска подобия 13, в котором осуществляется вычисление евклидовой метрики со всеми двумерными матрицам, которые хранятся в блоке хранения словаря 9. В блоке поиска подобия 13 так же определяется количество похожих блоков, для которых евклидова метрика не превосходит порогового значения. Данные блоки поступают на вход блока оценки пикселей с помощью нейронной сети 14, в котором происходит формирование усредненной оценки с помощью предварительно обученной нейронной сети. Полученная оценка поступает в блок заполнения изображения 15, который копирует значения пикселей смежных к пикселю с максимальным приоритетом из усредненной оценки в блок хранения изображения с удаленными областями 6 на соответственные координаты. Далее процесс вычисления приоритета с поиском похожих блоков и последующей заменой повторяется до тех пор, пока не будут восстановлены все значения в блоке хранения изображения с удаленными областями 6.

Claims (1)

  1. Устройство сжатия изображений на основе метода реконструкции пикселей, включающее блок хранения изображения с удаленными областями, второй выход которого подключен к входу блока хранения пикселей, выход которого подключен к входу блока создания словаря, выход которого подключен к входу блока хранения словаря, выход которого подключен ко второму входу блока поиска подобия; третий выход блока хранения изображения с удаленными областями подключен к входу блока обработки, выход которого подключен к входу блоку вычисления приоритета, выход которого подключен к входу блока определения адаптивной формы, выход которого подключен к первому входу блока поиска подобия, выход которого подключен к входу блока оценки пикселей с помощью нейронной сети, выход которого подключен к входу блока заполнения изображения, выход которого подключен ко второму входу блока хранения изображения с удаленными областями, первый выход которого является информационным выходом устройства, отличающееся тем, что устройство дополнительно содержит блок хранения изображения, вход которого является информационным входом устройства, выход которого подключен к входу блока удаления однородных областей на изображении, первый выход которого подключен к входу блока дискретного косинусного преобразования, выход которого подключен к входу блока обратного дискретного косинусного преобразования, выход которого подключен к первому входу блока хранения изображения с удаленными областями; второй выход блока удаления однородных областей на изображении подключен к входу блока хранения маски, выход которого подключен к третьему входу блока хранения изображения с удаленными областями.
RU2020134579A 2020-10-21 2020-10-21 Устройство сжатия изображений на основе метода реконструкции пикселей RU2750416C1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2020134579A RU2750416C1 (ru) 2020-10-21 2020-10-21 Устройство сжатия изображений на основе метода реконструкции пикселей

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2020134579A RU2750416C1 (ru) 2020-10-21 2020-10-21 Устройство сжатия изображений на основе метода реконструкции пикселей

Publications (1)

Publication Number Publication Date
RU2750416C1 true RU2750416C1 (ru) 2021-06-28

Family

ID=76820107

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2020134579A RU2750416C1 (ru) 2020-10-21 2020-10-21 Устройство сжатия изображений на основе метода реконструкции пикселей

Country Status (1)

Country Link
RU (1) RU2750416C1 (ru)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7551181B2 (en) * 2003-02-24 2009-06-23 Microsoft Corporation Image region filling by exemplar-based inpainting
US7636128B2 (en) * 2005-07-15 2009-12-22 Microsoft Corporation Poisson matting for images
RU2440614C1 (ru) * 2010-08-02 2012-01-20 Государственное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ГОУ ВПО "ЮРГУЭС") Устройство обработки двумерных сигналов при реконструкции изображений
US20130009952A1 (en) * 2005-07-26 2013-01-10 The Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
RU2716311C1 (ru) * 2019-11-18 2020-03-12 федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ) Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7551181B2 (en) * 2003-02-24 2009-06-23 Microsoft Corporation Image region filling by exemplar-based inpainting
US7636128B2 (en) * 2005-07-15 2009-12-22 Microsoft Corporation Poisson matting for images
US20130009952A1 (en) * 2005-07-26 2013-01-10 The Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
RU2440614C1 (ru) * 2010-08-02 2012-01-20 Государственное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ГОУ ВПО "ЮРГУЭС") Устройство обработки двумерных сигналов при реконструкции изображений
RU2716311C1 (ru) * 2019-11-18 2020-03-12 федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ) Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети

Similar Documents

Publication Publication Date Title
CN111612741B (zh) 一种基于失真识别的精确无参考图像质量评价方法
Abiko et al. Blind denoising of mixed Gaussian-impulse noise by single CNN
Hsu et al. Single image dehazing using wavelet-based haze-lines and denoising
US20150254814A1 (en) Globally dominant point spread function estimation
CN105590304B (zh) 超分辨率图像重建方法和装置
RU2450342C1 (ru) Устройство для восстановления изображений
RU2440614C1 (ru) Устройство обработки двумерных сигналов при реконструкции изображений
CN107944497A (zh) 基于主成分分析的图像块相似性度量方法
Ko et al. Continuously masked transformer for image inpainting
CN111402173B (zh) 一种混合噪声去除方法、装置、电子设备和存储介质
CN114155161B (zh) 图像去噪方法、装置、电子设备与存储介质
Zhou et al. Sparse representation with enhanced nonlocal self-similarity for image denoising
RU2750416C1 (ru) Устройство сжатия изображений на основе метода реконструкции пикселей
Zin et al. Local image denoising using RAISR
Palacios-Enriquez et al. Sparse technique for images corrupted by mixed Gaussian-impulsive noise
RU2754965C1 (ru) Устройство восстановления изображений в пространстве кватернионов с использованием анизотропного градиента и нейронной сети
Cao et al. Remote sensing image recovery and enhancement by joint blind denoising and dehazing
CN113822823B (zh) 气动光学效应图像空变模糊核的点近邻复原方法及系统
US9686449B1 (en) Methods and systems for detection of blur artifact in digital video due to high quantization
CN113781312A (zh) 视频增强方法、装置、计算机设备和存储介质
RU2730215C1 (ru) Устройство для восстановления изображений с поиском похожих блоков на основе нейронной сети
RU2661534C1 (ru) Устройство для реконструкции изображений на основе хэш-функций
Chen et al. GADO-Net: an improved AOD-Net single image dehazing algorithm
Jini et al. Image Inpainting Using Image Interpolation-An Analysis
RU2582554C1 (ru) Устройство восстановления двумерных сигналов на основе реконструкции искаженных пикселей изображений