RU2716311C1 - Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети - Google Patents

Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети Download PDF

Info

Publication number
RU2716311C1
RU2716311C1 RU2019136818A RU2019136818A RU2716311C1 RU 2716311 C1 RU2716311 C1 RU 2716311C1 RU 2019136818 A RU2019136818 A RU 2019136818A RU 2019136818 A RU2019136818 A RU 2019136818A RU 2716311 C1 RU2716311 C1 RU 2716311C1
Authority
RU
Russia
Prior art keywords
unit
input
output
storage unit
depth map
Prior art date
Application number
RU2019136818A
Other languages
English (en)
Inventor
Николай Валерьевич Гапон
Вячеслав Владимирович Воронин
Роман Алексеевич Сизякин
Марина Михайловна Жданова
Евгений Александрович Семенищев
Оксана Сергеевна Балабаева
Original Assignee
федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ) filed Critical федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" (ДГТУ)
Priority to RU2019136818A priority Critical patent/RU2716311C1/ru
Application granted granted Critical
Publication of RU2716311C1 publication Critical patent/RU2716311C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

Изобретение относится к устройству для восстановления карты глубины с поиском похожих блоков на основе нейронной сети. Технический результат заключается в уменьшении погрешности восстановления карты глубины за счет предварительно обученной нейронной сети. Устройство содержит связанные между собой блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок поиска подобия, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок хранения изображений, полученных со стереопары, блок построения карты глубины, блок обнаружения потерянных областей, блок хранения масок, блок оценки пикселей с помощью нейронной сети, блок заполнения изображения, при этом синхронность работы устройства обеспечивается генератором тактовых импульсов. 9 ил.

Description

Изобретение относится к области вычислительной техники и может быть использовано в цифровых системах, автоматизированных системах, глобальных систем позиционирования и наблюдения.
Упрощенная математическая модель изображения представляет собой двумерный дискретный сигнал
Figure 00000001
, (фиг. 1), где
Figure 00000002
 – доступные пиксели неискаженного изображения,
Figure 00000003
 - область изображения с отсутствующими пикселями,
Figure 00000004
 – граница области
Figure 00000005
.
Реконструкция и ретушь изображений предполагает удаление царапин, пятен, пыли, ненужных надписей, предметов и прочих дефектов с поверхности изображений и восстановление недостающих фрагментов с использованием доступных участков изображения. Одна из таких задач, где применяются методы реконструкции изображений, является восстановление карт глубины. Карта глубины может быть получена с помощью специальной камеры глубины, а также может быть построена по стереопаре изображений. Если высокая точность не требуется или требуется компромисс между ценой и качеством, карта глубины строится при помощи пары стереоизображений. Это повторяет принцип бинокулярного зрения у человека и позволяет отказаться от использования многочисленных и дорогостоящих датчиков, радаров или лидаров. Карта глубины по дальности строиться лишь при помощи двух камер, которые, делая фото, создают стереопару. Система, позволяющая строить карту глубины по дальности на основе стереоизображений, включает в себя пару камер, установленных на одной линии, которая параллельная плоскости изображения, с известными расстояниями между камерами и фокусным расстоянием. Важными факторам при построении карты глубины по дальности являются точность, качество и время создания карты. В большинстве случаев при построении карты глубины на ней появляются потерянные области, которые мешают отличить один объект от другого. Решить эту проблему можно с помощью методов реконструкции изображений.
Упрощенно способы реконструкции значений пикселей изображений можно разделить на следующие группы:
1) Способы на основе решения дифференциальных уравнений в частных производных.
2) Способы на основе ортогональных преобразований.
3) Способы на основе синтеза текстур.
4) Способы на основе работы нейронной сети.
Анализ существующих способов обработки показывает, что область их использования, в условиях ограниченного объема информации о составляющих обрабатываемого процесса крайне ограничена. Использование способов реконструкции значений пикселей изображений на основе решения дифференциальных уравнений в частных производных приводит к размытию резких перепадов яркостей и контуров и требует априорную информацию для выбора параметров способов и минимизации функционала. Неспособность восстанавливать текстуру изображений и изогнутые контуры ограничивает область использования данных способов, которые в основном применимы при удалении царапин и небольших дефектов на структуре изображений. Для использования способов на основе ортогональных преобразований требуется априорная информация для выбора порогового значения, ортогонального базиса и размера блоков спектрального представления. Так же следует отметить, что данные способы приводят к размытию текстуры и структуры при восстановлении больших областей с потерянными пикселями, а большое количество итераций приводит к значительным вычислительным затратам. Применение способов на основе синтеза текстур требует априорной информации о размере и формы области восстановления и геометрических свойствах изображения для выбора параметров способов.
Известен способ и устройство для обработки карты глубины [Заявка US № 20100215251 А1]. Данное изобретение используется для обработки карты глубины, причем способ включает восстановление карты глубины на основе сжатой с потерями карты глубины, при этом карта глубины включает в себя подробную информацию сцены из точки зрения сцены, содержащую объект. Устройство позволяет восстанавливать карту глубину при перекрытии объектами части фона. Устройства для обработки карты глубины, содержит блок устранения артефактов сжатия, блок восстановления карты глубины при перекрытии объектами, блок хранения оценки.
Недостатки известного устройства являются:
- большая погрешность при восстановлении контуров и границ объектов на карте глубины;
- априорная информация при выборе параметров метода при устранении артефактов сжатия.
Известно устройство генерирования карты глубины по двум изображениям из разных точек зрения [Заявка US № 20130009952 А1]. Карта глубины восстанавливается из моноскопических исходных изображений и асимметрично сглаживается. Карта глубины содержит значения глубины сосредоточены на краях локальных областей в исходном изображении. Каждое ребро определяется на заданном изображении, параметр, имеющий расчетное значение, превышает заданный порог. Глубина данной величины основана на соответствующих расчетных значениях параметров изображения. Карта глубины используется для обработки исходного изображения по глубине изображения на основе алгоритма рендеринга для создания одного изображения, которое образует с исходным изображением набора моноскопических изображений. По крайней мере, одна пара стереоскопических изображений выбирается из такого набора для использования в создании различных точек зрения, в том числе для неподвижных и движущихся изображений. Устройства для обработки карты глубины содержит блок хранения изображения, блок анализа границ, блок синтезирования карты глубины, блок сглаживания границ, блок сглаживания карты глубины, блок рендеринга 3D изображения, блок отображения 3D изображения.
Недостатками известного устройства являются:
- априорная информация при выборе параметров при расчете границ объектов на изображения;
- восстановление карты глубины только для границ объектов на1 изображении.
Известно устройство восстановления карты глубины сцены [Патент RU 2580466, МПК 06T 15/00, G06F 17/17, опубл. 10.04.2016]. Устройство содержит блок хранения входной реализации, блок хранения цветного изображения, блок поэлементного умножителя, блок определения участков квазистационарности, блок формирования маски, блок вычисления медианной оценки, блок хранения оценки полезной составляющей, блок счетчика текущей строки, блок задержки, блок задержки, блок счетчика текущего столбца, блок хранения карты глубины, блок формирования маски для карты глубины, блок восстановления карты глубины, генератор тактовых импульсов.
Недостатками известного устройства являются:
– видимость границ на восстановленном изображении между найденными похожими блоками;
– неправильное восстановление при отсутствии похожего блока;
– зависимость эффективности восстановления от выбора размера блока.
Известен способ и устройство для заполнения объектов, на основе растеризации изображений (Filling of graphical regions) [Патент USA № 08/053, 212)]. Способ основан на растеризации изображений и включает анализ на пересечение с различными объектами каждого пикселя вдоль растровой строки края области восстановления. Приоритетные пиксели для восстановления определяются исходя из выбранного уровня заполнения данных и одним из множества различных объектов с высоким уровнем приоритетности.
Недостатками известного способа и устройства его реализующего являются:
- априорная информация о структуре изображения и размере области восстановления для выбора параметров способа.
Известен способ восстановления изображений на основе решения дифференциальных уравнений в частных производных [Bertalmio M., Sapiro G., Caselles V., Ballester C. Image inpainting // Computer Graphics Proceedings, K. Akeley, Ed. ACM Press / ACM SIGGRAPH / Addison Wesley Longman, 2000. – P. 417–424.]. Данный способ позволяет соединять контуры постоянной яркости изображений поперек области восстановления с помощью решения дифференциальных уравнений в частных производных, минимизируя выбранный функционал. Направление линий задается с помощью граничных условий на краю области восстановления, которые определяются с помощью выражения:
Figure 00000006
.
Дифференциальное уравнение в частных производных имеет решение при условии:
Figure 00000007
.
Данное выражение определяет направление продолжение линий с помощью сглаживающего оператора
Figure 00000008
 в область восстановления. Анизотропная диффузия вычисляется итерационно для всех пикселей с помощью выражения:
Figure 00000009
,
где
Figure 00000010
 - искривление двумерной плоскости
Figure 00000011
 в точке
Figure 00000012
.
Граничные условия для восстановления изображения состоят в том, чтобы соответствовать интенсивности значений яркости изображения на границе области восстановления, а также направлению линий контуров.
Недостатками известного способа и устройства его реализующего являются:
- сглаживание резких яркостных переходов изображений, что значительно ухудшает визуальное качество восстановленного изображения.
Наиболее близким к изобретению является устройство обработки двумерных сигналов при реконструкции изображений [Патент RU № 2440614, МПК G06T 1/00, G09G 5/36, G06F 17/17, опубл. 20.01.2012]. Рассматриваемое устройство - прототип предполагает:
1) записываются значения входного изображения
Figure 00000013
,
Figure 00000014
;
2) определяется значение коэффициента доверия
Figure 00000015
,
Figure 00000016
,
Figure 00000017
;
3) вычисляется значение приоритета
Figure 00000018
 для каждого значения пикселя границы
Figure 00000019
, где
Figure 00000020
;
4) определяется пиксель
Figure 00000021
 с максимальным значением приоритета
Figure 00000022
 на границе
Figure 00000023
;
5) для пикселя
Figure 00000024
 с максимальным значением приоритета
Figure 00000025
 на границе
Figure 00000026
 с помощью способа инверсий адаптивно определяется форма области для поиска подобия;
6) вычисляется евклидова метрика для всех доступных значений пикселей изображения
Figure 00000027
,
Figure 00000028
,
Figure 00000029
;
7) количество блоков подобия
Figure 00000030
 определяется с помощью доверительного интервала:
Figure 00000031
,
где
Figure 00000032
;
Figure 00000033
 - уровень значимости.
8) значения пикселей в области
Figure 00000034
 смежные к пикселю с максимальным приоритетом
Figure 00000035
 восстанавливаются путем усреднения соответствующих пикселей найденных областей
Figure 00000036
 из области доступных пикселей
Figure 00000037
:
Figure 00000038
.
9) коэффициент доверия
Figure 00000039
 для восстановленных пикселей присваивается равным текущему значению
Figure 00000040
. После чего процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.
Устройство для восстановления изображений содержит блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок поиска подобия, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок усреднения пикселей, блок заполнения изображения.
Недостатками известного устройства-прототипа являются:
– неправильное восстановление при отсутствии похожего блока;
– зависимость эффективности восстановления от структуры изображения.
Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:
– отсутствие похожего блока приводит к неправильному восстановлению, так как замена пикселей происходи на пиксели блока, для которого евклидова метрика минимальна, даже в том случае если она имеет большое значение по абсолютной величине.
Задачей предлагаемого изобретения является восстановления значений пикселей карты глубины на основе работы нейронной сети.
Техническим результатом предлагаемого изобретения является уменьшение погрешности восстановления карты глубины за счет предварительно обученной нейронной сети.
Технический результат достигается за счет того, что устройство содержит блок хранения изображений, полученных со стереопары, блок построения карты глубины, блок обнаружения потерянных областей, блок хранения масок, блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок поиска подобия, блок оценки пикселей с помощью нейронной сети, блок заполнения изображения, генератор тактовых импульсов.
На Фиг. 1 представлена упрощенная математическая модель изображения.
На Фиг. 2 представлен принцип работы устройства для построения карты глубины. Определение смещения (а) и корреляционный анализ (б)
На Фиг. 3 изображено построение ортогональных векторов.
На Фиг. 4 представлен адаптивный выбор формы области для поиска подобия.
На Фиг. 5 представлен поиск похожих блоков.
На Фиг. 6 представлена структура нейронной сети.
На Фиг. 7 представлен оригинальный блок с удаленным пикселем и пять похожих блоков.
На Фиг. 8 представлена схема обучения нейронной сети.
На Фиг. 9 представлена блок-схема устройства для восстановления карты глубины с поиском похожих блоков на основе нейронной сети.
Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети содержит блок хранения изображений, полученных со стереопары 1, вход которого является информационным входом устройства, выход которого подключен к входу блока построения карты глубины 2, первый выход которого подключен к первому входу блока хранения изображения 5; второй выход блока построения карты глубины 2 подключен к входу блока обнаружения потерянных областей 3, выход которого подключен к входу блока хранения масок 4, выход которого подключен ко второму входу блока хранения изображения 5, второй выход которого подключен к входу блока хранения пикселей 6, выход которого подключен к входу блока создания словаря 7, выход которого подключен к входу блока хранения словаря 8, выход которого подключен ко второму входу блока поиска подобия 12; третий выход блока хранения изображения 5 подключен к входу блока обработки 9, выход которого подключен к входу блоку вычисления приоритета 10, выход которого подключен к входу блока определения адаптивной формы 11, выход которого подключен к первому входу блока поиска подобия 12, выход которого подключен к входу блока оценки пикселей с помощью нейронной сети 13, выход которого подключен к входу блока заполнения изображения 14, выход которого подключен к третьему входу блока хранения изображения 5, первый выход которого является информационным выход устройства; синхронность работы устройства обеспечивается генератором тактовых импульсов 15.
Устройство реализуют следующий алгоритм.
На первом шаге для каждого пикселя левого изображения с координатами
Figure 00000041
 выполняется поиск пикселя на правом изображении. При этом предполагается, что пиксель на правом снимке должен иметь координаты
Figure 00000042
, где
Figure 00000043
 – величина, называемая несоответствие или смещение. Поиск соответствующего пикселя выполняется путем вычисления максимума функции отклика, в качестве которой может выступать, например, корреляция окрестностей пикселей. (Фиг. 2)
Собственно, значения глубины обратно пропорциональны величине смещения пикселей. Если использовать обозначения с Фиг. 2а, то зависимость между смещением и глубиной можно выразить следующим способом:
Figure 00000044
(1)
Далее используя пороговое значение определяем потерянные области на полученной карте глубины которые необходимо восстановить и сохраняем маску дефектов.
На втором шаге вычисляется значение приоритета
Figure 00000045
 для каждого значения пикселя границы, который состоит из двух множителей (фиг. 3):
Figure 00000046
,
Figure 00000047
(2)
Figure 00000048
,
Figure 00000047
где
Figure 00000049
 - текущий пиксель на границе доступных пикселей;
Figure 00000050
 - коэффициент доверия;
Figure 00000051
 - коэффициент градиента;
Figure 00000052
 - квадратный блок пикселей с центром в пикселе
Figure 00000053
;
Figure 00000054
 - количество пикселей квадратного блока,
Figure 00000055
 вектор, ортогональный градиенту в точке
Figure 00000053
;
Figure 00000056
- вектор, ортогональный границе
Figure 00000057
 в точке
Figure 00000058
;
Figure 00000059
 - нормированный множитель, который для восьми битных изображений равен 255.
Вначале предполагается, что значение коэффициента доверия
Figure 00000060
 для пикселей из области
Figure 00000061
 равно 1, а для области
Figure 00000062
 равно 0.
Вычисление приоритета с помощью выражения (2) позволяет придавать больший вес пикселям, которые находятся на перепадах яркости (границах), таким образом, восстанавливая их в первую очередь. Учет коэффициента доверия
Figure 00000063
 позволяет присваивать меньший вес восстановленным пикселям при увеличении расстояния от доступных пикселей из области
Figure 00000064
.
На третьем шаге, для пикселя
Figure 00000065
 с максимальным значением приоритета
Figure 00000066
 на границе
Figure 00000067
 с помощью способа инверсий адаптивно определяется форма области для поиска подобия, что позволяет корректно учитывать форму области восстановления и не захватывать лишние границы, которые могут привести к неправильной реконструкции изображения.
Для формирования адаптивных областей двумерного сигнала для пикселя
Figure 00000068
 задаются восемь направлений
Figure 00000069
, в которых определяются интервалы квазистационарности. Условие квазистационарности проверяется с помощью вычисления случайной величины
Figure 00000070
, равной сумме числа инверсий значений пикселей в каждом из направлений двумерного сигнала
Figure 00000071
,
Figure 00000072
, в котором присутствуют доступные пиксели.
Например, сумма числа инверсий для направления 5 равна:
Figure 00000073
,
Figure 00000074
,
Figure 00000075
,
где
Figure 00000076
,
Figure 00000077
 - текущее значение пикселя изображения с координатами (
Figure 00000078
);
Figure 00000079
,
Figure 00000080
 - последующие значения пикселей изображения по
Figure 00000081
-ому столбцу (движение в направлении 5),
Figure 00000082
 - максимальная длина интервала квазистационарности.
Количество сочетаний, для которых вычисляется сумма инверсий, составляет:
Figure 00000083
.
Первая альтернатива (убывающий сигнал) принимается, если
Figure 00000084
.
Правило для принятия второй альтернативы (возрастающий сигнал) имеет вид
Figure 00000085
,
где α – значение ошибки первого рода.
Гипотеза о стационарности сигнала принимается, если
Figure 00000086
,
По полученным границам интервалов для каждого из восьми секторов, образованных направлениями 1-2, 2-3, 3-4, 5-6, 7-8, 8-1 происходит формирование областей квазистационарности. Для этого используется линейная интерполяция границ смежных интервалов уравнением прямой проходящей через две точки:
Figure 00000087
,
Figure 00000088
,
где
Figure 00000089
 - координаты границы направления h,
Figure 00000090
 - координаты границы направления h+1.
Значения пикселей, попавшие между всеми направлениями и интерполирующими прямыми проходящими через границы интервалов квазистационарности, объединяются в одну область
Figure 00000091
.
Для пикселя границы смежного с пикселем
Figure 00000065
, имеющего большее значение
Figure 00000092
, также определяется адаптивно область с помощью способа инверсий. Каждая из полученных областей является квазистационарной, и они находятся по разные стороны от перепада яркости. Данные области объединяются в одну (фиг. 4), таким образом, определяется область
Figure 00000093
 с адаптивными размерами и перепадом яркости.
Определяется пиксель
Figure 00000094
 с максимальным значением приоритета
Figure 00000095
 на границе
Figure 00000096
 и выбирается адаптивная область
Figure 00000097
, принадлежащая данному пикселю. Использование, которой позволяет корректно учитывать форму области восстановления и не захватывать лишние границы, которые могут привести к неправильной реконструкции изображения.
На четвертом шаге, находятся блоки
Figure 00000098
,
Figure 00000099
 в области доступных пикселей
Figure 00000100
, для которых евклидова метрика минимальна (фиг. 5):
Figure 00000101
при этом
Figure 00000102
 обозначает порядковые номера подобных блоков, ранжированных по евклидовой метрике.
Количество блоков подобия
Figure 00000103
 определяется с помощью доверительного интервала:
Figure 00000104
,
где
Figure 00000105
;
Figure 00000033
 - уровень значимости.
Значения пикселей в области
Figure 00000106
 смежные к пикселю с максимальным приоритетом
Figure 00000107
 восстанавливаются путем усреднения соответствующих пикселей из найденных областей
Figure 00000108
 в области доступных пикселей
Figure 00000109
 с помощью нейронной сети, в качестве нейронной сети был выбран многослойный персептрон.
Коэффициент доверия
Figure 00000110
 для восстановленных пикселей присваивается равным текущему значению
Figure 00000111
. После чего процедура пересчета приоритета и поиска похожих областей с последующей заменой повторяется.
В данном устройстве используется нейронная сеть прямого распространения сигнала для формирования наиболее похожего блока, обученная с помощью алгоритма обратного распространения ошибки (фиг. 6). В качестве функции активации, используется сигмоидальная нелинейная функция (sigmoidal nonlinearity), а именно функция гиперболического тангенса:
Figure 00000112
где
Figure 00000113
 - параметр наклона сигмоидальной функции активации.
На этапе обучения нейронной сети на вход подавались заранее подготовленные данные: на изображении выделялся блок со случайными координатами, размером
Figure 00000114
, далее в нем удалялся центральный пиксель и находили пять наиболее похожих блоков на всем изображении сравнивая их по MSE (фиг. 7).
Далее процедура повторялась на тридцати пяти изображениях и было получено сто тысяч блоков, они использовались как обучающая последовательность для данной сети.
Данная сеть содержит три слоя: первый слой содержит двадцать нейронов, второй слой содержит так же двадцать нейронов, третий слой содержит десять нейронов. В сети создано десять входов, на пять из них подавались только центральные пиксели в найденных блоках, а на пять других входов подавались MSE этих блоков (фиг. 8). В качестве выхода использовались центральные пиксели оригинальных блоков.
Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети работает следующим образом. На вход блок хранения изображений полученных со стереопары 1 поступают изображения полученные со стереопары, далее они поступают на вход блока построения карты глубины 2, где происходит построение карты глубины, полученная карта глубины поступает на первый вход блока хранения изображения 5 и на второй вход блока обнаружения потерянных областей 3, где используя пороговое значение определяются потерянные области на карте глубины, в блоке хранения масок 4, сохраняются маски найденных дефектов, и поступают на второй вход блока хранения изображения 5. Доступные пиксели сохраняются в блоке хранения пикселей 6, далее они поступают на вход блока создания словаря 7. Результат формирования словаря сохраняется в блоке хранения словаря 8, полученные двумерные матрицы используются далее для восстановления карты глубины. Матрицы создаются путем формирования квадратных блоков размером
Figure 00000115
 пикселей из исходного изображения карты глубины путем смещения блока по всем доступным пикселям изображения. В блоке обработки 9 происходит формирование граничных пикселей вокруг области с потерянными пикселями из блока хранения изображения 5. Далее информация о граничных пикселях поступает на вход блока вычисления приоритета 10, в котором вычисляется приоритет для всех граничных пикселей, который состоит из двух множителей: коэффициент доверия и коэффициент градиента. В данном блоке также осуществляется ранжировка приоритета и определение граничного пикселя с максимальным значением приоритета. В блоке определения адаптивной формы 11 вокруг пикселя с максимальным значением приоритета формируется адаптивная область близких по яркости пикселей с помощью способа инверсий. Адаптивная область поступает на вход блока поиска подобия 12, в котором осуществляется вычисление евклидовой метрики со всеми двумерными матрицам, которые хранятся в блоке хранения словаря 7. В блоке поиска подобия 12 также определяется количество похожих блоков, для которых евклидова метрика не превосходит порогового значения. Данные блоки поступают на вход блока оценки пикселей с помощью нейронной сети 13, в котором происходит формирование усредненной оценки с помощью предварительно обученной нейронной сети. Полученная оценка поступает в блок заполнения изображения 14, который копирует значения пикселей смежных к пикселю с максимальным приоритетом из усредненной оценки в блок хранения изображения 5 на соответственные координаты. Далее процесс вычисления приоритета с поиском похожих блоков и последующей заменой повторяется до тех пор, пока не будут восстановлены все значения в блоке хранения изображения 5. Синхронность работы устройства обеспечивается генератором тактовых импульсов 15.

Claims (1)

  1. Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети, содержащее блок хранения изображения, второй выход которого подключен к входу блока хранения пикселей, выход которого подключен к входу блока создания словаря, выход которого подключен к входу блока хранения словаря, выход которого подключен ко второму входу блока поиска подобия, третий выход блока хранения изображения подключен к входу блока обработки, выход которого подключен к входу блока вычисления приоритета, выход которого подключен к входу блока определения адаптивной формы, выход которого подключен к первому входу блока поиска подобия, синхронность работы устройства обеспечивается генератором тактовых импульсов, отличающееся тем, что вход блока хранения изображений, полученных со стереопары, является информационным входом устройства, выход которого подключен к входу блока построения карты глубины, первый выход которого подключен к первому входу блока хранения изображения, второй выход блока построения карты глубины подключен к входу блока обнаружения потерянных областей, выход которого подключен к входу блока хранения масок, выход которого подключен ко второму входу блока хранения изображения, выход блока поиска подобия подключен к входу блока оценки пикселей с помощью нейронной сети, выход которого подключен к входу блока заполнения изображения, выход которого подключен к третьему входу блока хранения изображения, первый выход которого является информационным выходом устройства.
RU2019136818A 2019-11-18 2019-11-18 Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети RU2716311C1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2019136818A RU2716311C1 (ru) 2019-11-18 2019-11-18 Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2019136818A RU2716311C1 (ru) 2019-11-18 2019-11-18 Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети

Publications (1)

Publication Number Publication Date
RU2716311C1 true RU2716311C1 (ru) 2020-03-12

Family

ID=69898203

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2019136818A RU2716311C1 (ru) 2019-11-18 2019-11-18 Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети

Country Status (1)

Country Link
RU (1) RU2716311C1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2750416C1 (ru) * 2020-10-21 2021-06-28 федеральное государственное бюджетное образовательное учреждение высшего образования «Донской государственный технический университет» (ДГТУ) Устройство сжатия изображений на основе метода реконструкции пикселей

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870100A (en) * 1995-11-22 1999-02-09 Compaq Computer Corporation Filling of graphical regions
US20100215251A1 (en) * 2007-10-11 2010-08-26 Koninklijke Philips Electronics N.V. Method and device for processing a depth-map
US20130009952A1 (en) * 2005-07-26 2013-01-10 The Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
RU2580466C1 (ru) * 2014-12-30 2016-04-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Донской государственный технический университет" (ФГБОУ ВПО "ДГТУ") Устройство восстановления карты глубины сцены
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法
US20180059679A1 (en) * 2016-09-01 2018-03-01 Ford Global Technologies, Llc Depth map estimation with stereo images
RU2017144798A (ru) * 2015-05-21 2019-06-24 Конинклейке Филипс Н.В. Способ определения карты глубин для изображения и устройство для его осуществления
RU2698402C1 (ru) * 2018-08-30 2019-08-26 Самсунг Электроникс Ко., Лтд. Способ обучения сверточной нейронной сети для восстановления изображения и система для формирования карты глубины изображения (варианты)
RU2699687C1 (ru) * 2018-06-18 2019-09-09 Общество с ограниченной ответственностью "Аби Продакшн" Обнаружение текстовых полей с использованием нейронных сетей

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5870100A (en) * 1995-11-22 1999-02-09 Compaq Computer Corporation Filling of graphical regions
US20130009952A1 (en) * 2005-07-26 2013-01-10 The Communications Research Centre Canada Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging
US20100215251A1 (en) * 2007-10-11 2010-08-26 Koninklijke Philips Electronics N.V. Method and device for processing a depth-map
RU2580466C1 (ru) * 2014-12-30 2016-04-10 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Донской государственный технический университет" (ФГБОУ ВПО "ДГТУ") Устройство восстановления карты глубины сцены
RU2017144798A (ru) * 2015-05-21 2019-06-24 Конинклейке Филипс Н.В. Способ определения карты глубин для изображения и устройство для его осуществления
US20180059679A1 (en) * 2016-09-01 2018-03-01 Ford Global Technologies, Llc Depth map estimation with stereo images
CN107358576A (zh) * 2017-06-24 2017-11-17 天津大学 基于卷积神经网络的深度图超分辨率重建方法
RU2699687C1 (ru) * 2018-06-18 2019-09-09 Общество с ограниченной ответственностью "Аби Продакшн" Обнаружение текстовых полей с использованием нейронных сетей
RU2698402C1 (ru) * 2018-08-30 2019-08-26 Самсунг Электроникс Ко., Лтд. Способ обучения сверточной нейронной сети для восстановления изображения и система для формирования карты глубины изображения (варианты)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2750416C1 (ru) * 2020-10-21 2021-06-28 федеральное государственное бюджетное образовательное учреждение высшего образования «Донской государственный технический университет» (ДГТУ) Устройство сжатия изображений на основе метода реконструкции пикселей

Similar Documents

Publication Publication Date Title
US11562498B2 (en) Systems and methods for hybrid depth regularization
JP7403528B2 (ja) シーンの色及び深度の情報を再構成するための方法及びシステム
US8385630B2 (en) System and method of processing stereo images
CN111882668B (zh) 一种多视角立体对象重建方法与系统
CN112132958A (zh) 一种基于双目视觉的水下环境三维重建方法
WO2012100225A1 (en) Systems and methods for generating a three-dimensional shape from stereo color images
Oliveira et al. Selective hole-filling for depth-image based rendering
KR101593316B1 (ko) 스테레오 카메라를 이용한 3차원 모델 재구성 방법 및 장치
RU2450342C1 (ru) Устройство для восстановления изображений
Pushpalwar et al. Image inpainting approaches-a review
RU2716311C1 (ru) Устройство для восстановления карты глубины с поиском похожих блоков на основе нейронной сети
RU2580466C1 (ru) Устройство восстановления карты глубины сцены
Blanchet et al. Fattening free block matching
Gapon et al. Depth-map inpainting using learned patch-based propagation
Hamzah et al. Improvement of stereo corresponding algorithm based on sum of absolute differences and edge preserving filter
Bapat et al. An iterative, non-local approach for restoring depth maps in RGB-D images
Hamzah et al. Disparity map algorithm based on edge preserving filter for stereo video processing
RU2661534C1 (ru) Устройство для реконструкции изображений на основе хэш-функций
Mondal et al. Performance review of the stereo matching algorithms
Murayama et al. Depth Image Noise Reduction and Super-Resolution by Pixel-Wise Multi-Frame Fusion
RU2730215C1 (ru) Устройство для восстановления изображений с поиском похожих блоков на основе нейронной сети
RU2580456C1 (ru) Устройство восстановления искаженных значений пикселей изображений
Kumar et al. Human visual system and segment-based disparity estimation
RU2535183C1 (ru) Устройство предобработки карты глубины стереоизображения
Hamzah et al. Matching cost computation based on sum of absolute RGB differences