RU2730215C1 - Device for image reconstruction with search for similar units based on a neural network - Google Patents
Device for image reconstruction with search for similar units based on a neural network Download PDFInfo
- Publication number
- RU2730215C1 RU2730215C1 RU2019136819A RU2019136819A RU2730215C1 RU 2730215 C1 RU2730215 C1 RU 2730215C1 RU 2019136819 A RU2019136819 A RU 2019136819A RU 2019136819 A RU2019136819 A RU 2019136819A RU 2730215 C1 RU2730215 C1 RU 2730215C1
- Authority
- RU
- Russia
- Prior art keywords
- unit
- image
- input
- output
- neural network
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
Abstract
Description
Изобретение относится к области вычислительной техники и может быть использовано в цифровых телевизионных и фотосистемах, глобальных систем позиционирования и наблюдения. The invention relates to the field of computer technology and can be used in digital television and photographic systems, global positioning and surveillance systems.
Упрощенная математическая модель изображения представляет собой двумерный дискретный сигнал
Оценивание истинных значений пикселей изображений в той или иной степени необходимо в большинстве задач цифровой обработки изображений. Особенно данная проблема актуальна при автоматической обработке изображений, полученных в светочувствительных матрицах в цифровых фото- и видеокамерах, и системах машинного зрения. Методы восстановления двумерных сигналов находят свое применение в задачах обработки архивных документов в виде изображений, имеющих различные искажения (например: царапины, пятна, пыль, не нужные надписи, линии сгиба). В видеосигналах встречаются статические изображения, которые мешают просмотру, закрывая часть полезной информации от зрителя. К таким изображениям относятся различные логотипы каналов, дата и время или субтитры, которые были наложены на видеосигнал с дальнейшим кодированием. Также отдельным классом областей, мешающим просмотру видео, являются искаженные блоки при работе видеокодека, появление которых объясняется ненадежностью среды передачи данных от кодера к декодеру. В настоящее время существуют различные методы цифровой обработки, направленные на решение задач восстановления частично утерянных участков изображения, но для их эффективного использования необходимы значительные объемы априорной информации о полезном изображении. Значительные ограничения на объем априорной информации, что имеет место на практике, существенно усложняют как выбор эффективного метода обработки, так и его значений оптимальных параметров. Estimation of the true values of image pixels is necessary to one degree or another in most digital image processing tasks. This problem is especially relevant in the automatic processing of images obtained in light-sensitive matrices in digital cameras and video cameras, and in machine vision systems. Methods for recovering two-dimensional signals find their application in the tasks of processing archival documents in the form of images with various distortions (for example: scratches, spots, dust, unnecessary inscriptions, fold lines). Video signals contain static images that interfere with viewing, blocking some of the useful information from the viewer. Such images include various channel logos, date and time or subtitles that have been superimposed on the video signal with further encoding. Also, a separate class of areas that interfere with video viewing are distorted blocks during the operation of the video codec, the appearance of which is explained by the unreliability of the data transmission medium from the encoder to the decoder. Currently, there are various digital processing methods aimed at solving the problems of restoring partially lost image areas, but their effective use requires significant amounts of a priori information about the useful image. Significant restrictions on the amount of a priori information, which takes place in practice, significantly complicate both the choice of an effective processing method and its values of the optimal parameters.
Упрощенно способы реконструкции значений пикселей изображений можно разделить на следующие группы:Simplistically, the methods for reconstructing the pixel values of images can be divided into the following groups:
1) Способы на основе решения дифференциальных уравнений.1) Methods based on solving differential equations.
2) Способы на основе ортогональных преобразований.2) Methods based on orthogonal transformations.
3) Способы на основе синтеза текстур. 3) Methods based on the synthesis of textures.
4) Способы на основе нейронной сети.4) Methods based on a neural network.
Анализ существующих способов обработки показывает, что область их использования, в условиях ограниченного объема информации о составляющих обрабатываемого процесса крайне ограничена. Использование способов реконструкции значений пикселей изображений на основе решения дифференциальных уравнений в частных производных приводит к размытию резких перепадов яркостей и контуров и требует априорную информацию для выбора параметров способов и минимизации функционала. Неспособность восстанавливать текстуру изображений и изогнутые контуры ограничивает область использования данных способов, которые в основном применимы при удалении царапин и небольших дефектов на структуре изображений. Для использования способов на основе ортогональных преобразований требуется априорная информация для выбора порогового значения, ортогонального базиса и размера блоков спектрального представления. Так же следует отметить, что данные способы приводят к размытию текстуры и структуры при восстановлении больших областей с потерянными пикселями, а большое количество итераций приводит к значительным вычислительным затратам. Применение способов на основе синтеза текстур требует априорной информации о размере и формы области восстановления и геометрических свойствах изображения для выбора параметров способов.Analysis of the existing processing methods shows that the area of their use, in conditions of a limited amount of information about the components of the processed process, is extremely limited. The use of methods for reconstructing image pixel values based on the solution of partial differential equations leads to blurring of sharp drops in brightness and contours and requires a priori information to select the parameters of the methods and minimize the functional. The inability to restore the texture of images and curved contours limits the scope of these methods, which are mainly applicable for removing scratches and small defects in the structure of images. To use methods based on orthogonal transformations, a priori information is required to select a threshold value, an orthogonal basis, and a spectral representation block size. It should also be noted that these methods lead to blurring of texture and structure when recovering large areas with lost pixels, and a large number of iterations leads to significant computational costs. The use of methods based on the synthesis of textures requires a priori information about the size and shape of the restoration area and the geometric properties of the image to select the parameters of the methods.
Известно цифровое сглаживающее устройство с предварительным обнаружением и устранением аномальных измерений [Патент № 2010325, МПК G 06 F 15/353, опубл. 06.02.1991]. Данное устройство содержит первый сумматор, счетчик отсчетов, первый и второй дешифраторы, первый и второй элемент И, элемент ИЛИ, триггер, блок задания коэффициента деления, первый регистр и второй сумматор, второй регистр, третий дешифратор, счетчик аномальных измерений, блок выделения модуля, схема сравнения, третий элемент и генератор тактовых импульсов.Known digital smoothing device with preliminary detection and elimination of abnormal measurements [Patent No. 2010325, IPC G 06 F 15/353, publ. 02/06/1991]. This device contains the first adder, the counting counter, the first and second decoders, the first and second AND elements, the OR element, the trigger, the division factor setting unit, the first register and the second adder, the second register, the third decoder, the counter of abnormal measurements, the module allocation unit, comparison circuit, third element and clock generator.
Недостатками известного устройства являются:The disadvantages of the known device are:
- процедура обнаружения не эффективна в случае обработки групповых аномальных значений;- the detection procedure is not effective in the case of processing group anomalous values;
- необходимо априорное знание допустимого значения строба
Известен способ и устройство для заполнения объектов, на основе растеризации изображений (Filling of graphical regions) [Патент USA № 08/053, 212)]. Способ основан на растеризации изображений и включает анализ на пересечение с различными объектами каждого пикселя вдоль растровой строки края области восстановления. Приоритетные пиксели для восстановления определяются исходя из выбранного уровня заполнения данных и одним из множества различных объектов с высоким уровнем приоритетности.The known method and device for filling objects, based on rasterization of images (Filling of graphical regions) [USA Patent No. 08/053, 212)]. The method is based on image rasterization and includes analysis for intersection with various objects of each pixel along the raster line of the edge of the restoration area. The priority pixels for recovery are determined based on the selected data fill level and one of many different high priority objects.
Недостатками известного способа и устройства его реализующего являются:The disadvantages of the known method and device that implements it are:
- априорная информация о структуре изображения и размере области восстановления для выбора параметров способа.- a priori information about the structure of the image and the size of the recovery area for the choice of method parameters.
Известен способ восстановления изображений на основе решения дифференциальных уравнений в частных производных [Bertalmio M., Sapiro G., Caselles V., Ballester C. Image inpainting // Computer Graphics Proceedings, K. Akeley, Ed. ACM Press / ACM SIGGRAPH / Addison Wesley Longman, 2000. – P. 417–424.]. Данный способ позволяет соединять контуры постоянной яркости изображений поперек области восстановления с помощью решения дифференциальных уравнений в частных производных, минимизируя выбранный функционал. Направление линий задается с помощью граничных условий на краю области восстановления, которые определяются с помощью выражения:A known method of image restoration based on solving partial differential equations [Bertalmio M., Sapiro G., Caselles V., Ballester C. Image inpainting // Computer Graphics Proceedings, K. Akeley, Ed. ACM Press / ACM SIGGRAPH / Addison Wesley Longman, 2000. P. 417-424.]. This method makes it possible to connect contours of constant brightness of images across the reconstruction area by solving partial differential equations, minimizing the selected functional. The direction of the lines is specified using the boundary conditions at the edge of the restoration area, which are determined using the expression:
Дифференциальное уравнение в частных производных имеет решение при условии:The partial differential equation has a solution provided:
Данное выражение определяет направление продолжение линий с помощью сглаживающего оператора
где
Граничные условия для восстановления изображения состоят в том, чтобы соответствовать интенсивности значений яркости изображения на границе области восстановления, а также направлению линий контуров. The boundary conditions for image reconstruction are to match the intensity of the image luminance values at the boundary of the reconstruction region, as well as the direction of the contour lines.
Недостатками известного способа и устройства, его реализующего являются:The disadvantages of the known method and device that implements it are:
- сглаживание резких яркостных переходов изображений, что значительно ухудшает визуальное качество восстановленного изображения.- smoothing of sharp brightness transitions of images, which significantly degrades the visual quality of the reconstructed image.
Известен нелинейный способ на основе адаптивного разряженного представления сигналов через нелинейные принципы приближения [Guleryuz O.G. Nonlinear approximation based image recovery using adaptive sparse reconstructions and iterated denoising //Part I: theory IEEE transactions on image processing, 2006. – V.15. – No. 3.]. Адаптивно определяется набор индексов спектральных коэффициентов, который предсказывает отсутствующую область изображения. Ортогональное преобразование для изображения запишется в виде:A known non-linear method based on adaptive low-density representation of signals through non-linear principles of approximation [Guleryuz O.G. Nonlinear approximation based image recovery using adaptive sparse reconstructions and iterated denoising // Part I: theory IEEE transactions on image processing, 2006. - V.15. - No. 3.]. A set of spectral coefficient indices is adaptively determined, which predicts the missing image region. Orthogonal transformation for an image will be written as:
где
При этом можно записать, что G=[
При этом
Тогда условие (2) запишется в виде:Then condition (2) will be written as:
Решение определяется итерационно и имеет вид:The solution is determined iteratively and has the form:
где
В качестве нулевой итерации используется заполнение области
Недостатками известного способа и устройства, его реализующего являются:The disadvantages of the known method and device that implements it are:
- априорная информация для выбора параметров способа, например, количество уровней, на которые разбивается область с потерянными пикселями, фактор перекрытия уровней разложения, размер блоков спектрального представления и пороговый уровень для определения значимых коэффициентов;- a priori information for choosing the parameters of the method, for example, the number of levels into which the region with the lost pixels is divided, the factor of the overlap of the decomposition levels, the size of the spectral representation blocks and the threshold level for determining significant coefficients;
- восстановление значений пикселей происходит равнозначно для всех сторон области восстановления, что иногда приводит к тому, что структура изображения с контурами и перепадами яркости восстанавливается некорректно в центре области; - the restoration of pixel values occurs equally for all sides of the restoration area, which sometimes leads to the fact that the image structure with contours and brightness drops is restored incorrectly in the center of the area;
- использование данного способа приводит к размытию текстуры и структуры при восстановлении больших областей с потерянными пикселями, а количество итераций может достигать порядка 500, что приводит к значительным вычислительным затратам.- the use of this method leads to blurring of the texture and structure when restoring large areas with lost pixels, and the number of iterations can reach about 500, which leads to significant computational costs.
Известен способ восстановления изображений на основе заполнения похожими областями и устройство его реализующее (Image region filling by exemplar-based inpainting) [Патент USA № 11/095,138, №10/453,404].There is a known method of image restoration based on filling with similar areas and a device that implements it (Image region filling by exemplar-based inpainting) [USA Patent No. 11 / 095,138, No. 10 / 453,404].
На первом шаге вычисляется приоритет
, ,
где
Вначале предполагается, что значение данных доверия
Вычисление приоритета с помощью выражения (3) позволяет придать больший вес пикселям, находящимся на перепадах яркости (границах), таким образом, восстанавливая их в первую очередь. Учет данных доверия
На втором шаге находится блок
Значения пикселей из найденного блока копируются в области
Недостатками известного устройства являются:The disadvantages of the known device are:
– видимость границ на восстановленном изображении между найденными похожими блоками;- the visibility of borders on the restored image between found similar blocks;
– неправильное восстановление при отсутствии похожего блока;- incorrect recovery in the absence of a similar block;
– зависимость эффективности восстановления от выбора размера блока.- dependence of the recovery efficiency on the choice of the block size.
Наиболее близким к изобретению является устройство обработки двумерных сигналов при реконструкции изображений [Патент № 2440614, МПК G 06 F 17/17, опубл. 20.01.2012]. Closest to the invention is a device for processing two-dimensional signals for image reconstruction [Patent No. 2440614, IPC G 06
Рассматриваемое устройство - прототип предполагает:The device under consideration - the prototype assumes:
1) записываются значения входного изображения
2) определяется значение коэффициента доверия
3) вычисляется значение приоритета
4) определяется пиксель
5) для пикселя
6) вычисляется евклидова метрика для всех доступных значений пикселей изображения
7) количество блоков подобия
где
8) значения пикселей в области
9) коэффициент доверия
Устройство обработки двумерных сигналов при реконструкции изображений содержит блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок поиска подобия, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок усреднения пикселей, блок заполнения изображения.The device for processing two-dimensional signals during image reconstruction contains an image storage unit, a pixel storage unit, a dictionary creation unit, a dictionary storage unit, a similarity search unit, a processing unit, a priority computation unit, an adaptive shape determination unit, a pixel averaging unit, an image filling unit.
Недостатками известного устройства-прототипа являются:The disadvantages of the known prototype device are:
– неправильное восстановление при отсутствии похожего блока;- incorrect recovery in the absence of a similar block;
– зависимость эффективности восстановления от структуры изображения.- dependence of the recovery efficiency on the image structure.
Причины, препятствующие достижению требуемого технического результата, заключаются в следующем:The reasons impeding the achievement of the required technical result are as follows:
– отсутствие похожего блока приводит к не правильному восстановлению, так как замена пикселей происходи на пиксели блока, для которого евклидова метрика минимальна, даже в том случае если она имеет большое значение по абсолютной величине.- the absence of a similar block leads to incorrect restoration, since the replacement of pixels occurs with the pixels of a block for which the Euclidean metric is minimal, even if it is of great importance in absolute value.
Задачей изобретения является восстановления значений пикселей изображений на основе работы нейронной сети.The object of the invention is to restore the values of pixels in images based on the operation of a neural network.
Техническим результатом предлагаемого изобретения является уменьшение погрешности восстановления изображений за счет использования предварительно обученной нейронной сети. The technical result of the proposed invention is to reduce the error in image restoration by using a pretrained neural network.
Достигается техническая задача за счет того, что устройство для восстановления изображений с поиском похожих блоков на основе нейронной сети содержит блок хранения изображения, блок хранения пикселей, блок создания словаря, блок хранения словаря, блок поиска подобия, блок хранения изображения, блок обработки, блок вычисления приоритета, блок определения адаптивной формы, блок поиска подобия, блок оценки пикселей с помощью нейронной сети, блок заполнения изображения, блок хранения изображения, генератор тактовых импульсов.The technical problem is achieved due to the fact that the device for image recovery with the search for similar blocks based on a neural network contains an image storage unit, a pixel storage unit, a dictionary creation unit, a dictionary storage unit, a similarity search unit, an image storage unit, a processing unit, a calculation unit priority, block for determining the adaptive shape, block for similarity search, block for evaluating pixels using a neural network, block for filling the image, block for storing the image, clock generator.
На Фиг. 1 представлена упрощенная математическая модель изображения.FIG. 1 shows a simplified mathematical model of the image.
На Фиг. 2 изображено построение ортогональных векторов.FIG. 2 shows the construction of orthogonal vectors.
На Фиг. 3 представлен адаптивный выбор формы области для поиска подобия.FIG. 3 shows the adaptive selection of the shape of the area for similarity search.
На Фиг. 4 представлен поиск похожих блоков.FIG. 4 shows a search for similar blocks.
На Фиг. 5 представлена структура нейронной сети .FIG. 5 shows the structure of the neural network.
На Фиг. 6 представлен оригинальный блок
На Фиг. 7 представлена схема обучения нейронной сети.FIG. 7 shows a diagram of training a neural network.
На Фиг. 8 представлена блок схема устройства для восстановления изображений с поиском похожих блоков на основе нейронной сети.FIG. 8 shows a block diagram of a device for image restoration with a search for similar blocks based on a neural network.
Устройство для восстановления изображений с поиском похожих блоков на основе нейронной сети содержит блок хранения изображения
Устройство реализуют следующий алгоритм. На первом шаге вычисляется значение приоритета
где
Вначале предполагается, что значение коэффициента доверия
Вычисление приоритета позволяет придавать больший вес пикселям, которые находятся на перепадах яркости (границах), таким образом, восстанавливая их в первую очередь. Учет коэффициента доверия
На втором шаге, для пикселя
Для формирования адаптивных областей двумерного сигнала для пикселя
Например, сумма числа инверсий для направления 5 равна:For example, the sum of the number of inversions for
где
Количество сочетаний, для которых вычисляется сумма инверсий, составляет: The number of combinations for which the sum of inversions is calculated is:
Первая альтернатива (убывающий сигнал) принимается, если
Правило для принятия второй альтернативы (возрастающий сигнал) имеет вид
где α – значение ошибки первого рода.where α is the value of the error of the first kind.
Гипотеза о стационарности сигнала принимается, если The hypothesis about the stationarity of the signal is accepted if
По полученным границам интервалов для каждого из восьми секторов, образованных направлениями 1-2, 2-3, 3-4, 5-6, 7-8, 8-1 происходит формирование областей квазистационарности. Для этого используется линейная интерполяция границ смежных интервалов уравнением прямой проходящей через две точки:According to the obtained boundaries of the intervals for each of the eight sectors formed by directions 1-2, 2-3, 3-4, 5-6, 7-8, 8-1, regions of quasi-stationarity are formed. For this, linear interpolation of the boundaries of adjacent intervals is used by the equation of a straight line passing through two points:
где
Значения пикселей, попавшие между всеми направлениями и интерполирующими прямыми проходящими через границы интервалов квазистационарности, объединяются в одну область
Для пикселя границы смежного с пикселем
Определяется пиксель
На третьем шаге, находятся блоки
при этом
Количество блоков подобия
где:
Значения пикселей в области
Коэффициент доверия
В данном устройстве используется нейронная сеть прямого распространения сигнала для формирования наиболее похожего блока, обученная с помощью алгоритма обратного распространения ошибки (фиг. 5). В качестве функции активации, используется сигмоидальная нелинейная функция (sigmoidal nonlinearity), а именно функция гиперболического тангенса:This device uses a feedforward neural network to form the most similar block, trained using an error backpropagation algorithm (Fig. 5). As an activation function, a sigmoidal nonlinearity function is used, namely the hyperbolic tangent function:
где
На этапе обучения нейронной сети на вход подавались заранее подготовленные данные: на изображении выделялся блок со случайными координатами, размером
Далее процедура повторялась на тридцати пяти изображениях и было получено сто тысяч блоков, они использовались как обучающая последовательность для данной сети.Then the procedure was repeated on thirty-five images and one hundred thousand blocks were obtained, they were used as a training sequence for this network.
Данная сеть содержит три слоя: первый слой содержит двадцать нейронов, второй слой содержит так же двадцать нейронов, третий слой содержит десять нейронов. В сети создано десять входов, на пять из них подавались только центральные пиксели в найденных блоках, а на пять других входов подавались MSE этих блоков (фиг. 7). В качестве выхода использовались центральные пиксели оригинальных блоков.This network contains three layers: the first layer contains twenty neurons, the second layer also contains twenty neurons, the third layer contains ten neurons. Ten inputs were created in the network, five of them were fed only with the central pixels in the found blocks, and five other inputs were fed with the MSE of these blocks (Fig. 7). The central pixels of the original blocks were used as an output.
Устройство для восстановления изображений с поиском похожих блоков на основе нейронной сети работает следующим образом. На вход блока хранения изображения 1 поступает изображение с потерянными пикселями. Доступные пиксели сохраняются в блоке хранения пикселей 2, далее они поступают на вход блока создания словаря 3. Результат формирования словаря сохраняется в блоке хранения словаря 4, полученные двумерные матрицы используются далее для восстановления изображения. Матрицы создаются путем формирования квадратных блоков размером 9*9 пикселей из исходного изображения путем смещения блока по всем доступным пикселям изображения. В блоке обработки 5 происходит формирование граничных пикселей вокруг области с потерянными пикселями из блока хранения изображения 1. Далее информация о граничных пикселях поступает на вход блока вычисления приоритета 6, в котором вычисляется приоритет для всех граничных пикселей, который состоит из двух множителей: коэффициент доверия и коэффициент градиента. В данном блоке так же осуществляется ранжировка приоритета и определение граничного пикселя с максимальным значением приоритета. В блоке определения адаптивной формы 7 вокруг пикселя с максимальным значением приоритета формируется адаптивная область близких по яркости пикселей с помощью способа инверсий. Адаптивная область поступает на вход блока поиска подобия 8, в котором осуществляется вычисление евклидовой метрики со всеми двумерными матрицам, которые хранятся в блоке хранения словаря 4. В блоке поиска подобия 8 так же определяется количество похожих блоков, для которых евклидова метрика не превосходит порогового значения. Данные блоки поступают на вход блока оценки пикселей с помощью нейронной сети 9, в котором происходит формирование усредненной оценки с помощью предварительно обученной нейронной сети. Полученная оценка поступает в блок заполнения изображения 10, который копирует значения пикселей смежных к пикселю с максимальным приоритетом из усредненной оценки в блок хранения изображения 1 на соответственные координаты. Далее процесс вычисления приоритета с поиском похожих блоков и последующей заменой повторяется до тех пор, пока не будут восстановлены все значения в блоке хранения изображения 1. Синхронность работы устройства обеспечивается генератором тактовых импульсов 11.A device for image recovery with a search for similar blocks based on a neural network works as follows. The input of the
Claims (1)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2019136819A RU2730215C1 (en) | 2019-11-18 | 2019-11-18 | Device for image reconstruction with search for similar units based on a neural network |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2019136819A RU2730215C1 (en) | 2019-11-18 | 2019-11-18 | Device for image reconstruction with search for similar units based on a neural network |
Publications (1)
Publication Number | Publication Date |
---|---|
RU2730215C1 true RU2730215C1 (en) | 2020-08-20 |
Family
ID=72086398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2019136819A RU2730215C1 (en) | 2019-11-18 | 2019-11-18 | Device for image reconstruction with search for similar units based on a neural network |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2730215C1 (en) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100215251A1 (en) * | 2007-10-11 | 2010-08-26 | Koninklijke Philips Electronics N.V. | Method and device for processing a depth-map |
RU2440614C1 (en) * | 2010-08-02 | 2012-01-20 | Государственное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ГОУ ВПО "ЮРГУЭС") | Apparatus for processing two-dimensional signals when reconstructing images |
US20130009952A1 (en) * | 2005-07-26 | 2013-01-10 | The Communications Research Centre Canada | Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging |
RU2580466C1 (en) * | 2014-12-30 | 2016-04-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Донской государственный технический университет" (ФГБОУ ВПО "ДГТУ") | Device for recovery of depth map of scene |
RU2017144798A (en) * | 2015-05-21 | 2019-06-24 | Конинклейке Филипс Н.В. | METHOD FOR DETERMINING A DEPTH MAP FOR IMAGE AND A DEVICE FOR ITS IMPLEMENTATION |
RU2699687C1 (en) * | 2018-06-18 | 2019-09-09 | Общество с ограниченной ответственностью "Аби Продакшн" | Detecting text fields using neural networks |
-
2019
- 2019-11-18 RU RU2019136819A patent/RU2730215C1/en active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130009952A1 (en) * | 2005-07-26 | 2013-01-10 | The Communications Research Centre Canada | Generating a depth map from a two-dimensional source image for stereoscopic and multiview imaging |
US20100215251A1 (en) * | 2007-10-11 | 2010-08-26 | Koninklijke Philips Electronics N.V. | Method and device for processing a depth-map |
RU2440614C1 (en) * | 2010-08-02 | 2012-01-20 | Государственное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ГОУ ВПО "ЮРГУЭС") | Apparatus for processing two-dimensional signals when reconstructing images |
RU2580466C1 (en) * | 2014-12-30 | 2016-04-10 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Донской государственный технический университет" (ФГБОУ ВПО "ДГТУ") | Device for recovery of depth map of scene |
RU2017144798A (en) * | 2015-05-21 | 2019-06-24 | Конинклейке Филипс Н.В. | METHOD FOR DETERMINING A DEPTH MAP FOR IMAGE AND A DEVICE FOR ITS IMPLEMENTATION |
RU2699687C1 (en) * | 2018-06-18 | 2019-09-09 | Общество с ограниченной ответственностью "Аби Продакшн" | Detecting text fields using neural networks |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Li et al. | Heavy rain image restoration: Integrating physics model and conditional adversarial learning | |
Ancuti et al. | Color balance and fusion for underwater image enhancement | |
Cao et al. | Underwater image restoration using deep networks to estimate background light and scene depth | |
Delbracio et al. | Hand-held video deblurring via efficient fourier aggregation | |
CN112805744B (en) | System and method for demosaicing multispectral images | |
RU2450342C1 (en) | Image reconstruction device | |
Hsu et al. | Single image dehazing using wavelet-based haze-lines and denoising | |
CN114731408A (en) | System, device and method for video frame interpolation using structured neural network | |
RU2440614C1 (en) | Apparatus for processing two-dimensional signals when reconstructing images | |
CN111091503A (en) | Image out-of-focus blur removing method based on deep learning | |
Guo et al. | Joint raindrop and haze removal from a single image | |
CN111127376A (en) | Method and device for repairing digital video file | |
Carbajal et al. | Non-uniform blur kernel estimation via adaptive basis decomposition | |
Teranishi et al. | Improvement of robustness blind image restoration method using failing detection process | |
Mai et al. | Deep unrolled low-rank tensor completion for high dynamic range imaging | |
RU2754965C1 (en) | Device for restoring images in quaternion space using anisotropic gradient and neural network | |
Carbajal et al. | Blind motion deblurring with pixel-wise kernel estimation via kernel prediction networks | |
RU2730215C1 (en) | Device for image reconstruction with search for similar units based on a neural network | |
Lu et al. | CNN-enabled visibility enhancement framework for vessel detection under haze environment | |
Cao et al. | Remote sensing image recovery and enhancement by joint blind denoising and dehazing | |
RU2716311C1 (en) | Device for reconstructing a depth map with searching for similar blocks based on a neural network | |
Dewil et al. | Self-supervision versus synthetic datasets: which is the lesser evil in the context of video denoising? | |
Thepade et al. | Improved haze removal method using proportionate fusion of color attenuation prior and edge preserving | |
RU2661534C1 (en) | Device for reconstruction of images based on hash-functions | |
RU2580456C1 (en) | Device for restoration of distorted pixel values of images |