KR102508384B1 - Tof camera super-resolution image restoration algorithm and apparatus based on spatially-variant regularization - Google Patents
Tof camera super-resolution image restoration algorithm and apparatus based on spatially-variant regularization Download PDFInfo
- Publication number
- KR102508384B1 KR102508384B1 KR1020210111799A KR20210111799A KR102508384B1 KR 102508384 B1 KR102508384 B1 KR 102508384B1 KR 1020210111799 A KR1020210111799 A KR 1020210111799A KR 20210111799 A KR20210111799 A KR 20210111799A KR 102508384 B1 KR102508384 B1 KR 102508384B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- resolution
- super
- image restoration
- cost function
- Prior art date
Links
- 238000004422 calculation algorithm Methods 0.000 title description 3
- 238000000034 method Methods 0.000 claims abstract description 40
- 238000006731 degradation reaction Methods 0.000 claims abstract description 25
- 230000015556 catabolic process Effects 0.000 claims abstract description 22
- 238000001914 filtration Methods 0.000 claims abstract description 9
- 238000010606 normalization Methods 0.000 claims description 27
- 238000003384 imaging method Methods 0.000 claims description 11
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 8
- 238000002939 conjugate gradient method Methods 0.000 claims description 4
- 238000012804 iterative process Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 8
- 238000013461 design Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4053—Super resolution, i.e. output image resolution higher than sensor resolution
- G06T3/4076—Super resolution, i.e. output image resolution higher than sensor resolution by iteratively correcting the provisional high resolution image using the original low-resolution image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/001—Image restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
Abstract
본 실시예들은 저해상도 깊이 영상 사이의 부화소 정보를 추정하는 열화 모델을 모델링하고, 열화 모델에 대한 역필터링을 기반으로 공간 가변적 정규화 항목에 관한 비용 함수를 이용하여 고해상도 깊이 영상을 복원하는 초해상도 영상 복원 방법 및 장치를 제공한다.The present embodiments model a degradation model for estimating sub-pixel information between low-resolution depth images, and a super-resolution image for reconstructing a high-resolution depth image using a cost function for a spatially variable regularization item based on inverse filtering for the degradation model. A restoration method and apparatus are provided.
Description
본 발명이 속하는 기술 분야는 초해상도 영상 복원 방법 및 장치에 관한 것이다.The technical field to which the present invention belongs relates to a super-resolution image restoration method and apparatus.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this part merely provide background information on the present embodiment and do not constitute prior art.
3D ToF(Time-of-Flight)의 등장으로 인해 깊이 정보의 취득이 가능해지면서 3D 복원, 3D TV, 로보틱스 등 3D 영상 산업이 급격히 발전하고 있다. ToF 센서는 물체에 빛을 쏜 후 돌아오는데 걸리는 시간을 측정하는 방식으로 작동되며, 반사되는 빛의 에너지와 위상 변위는 각각 밝기 영상과 깊이 영상으로 획득된다. With the advent of 3D ToF (Time-of-Flight), it is possible to acquire depth information, and 3D image industries such as 3D restoration, 3D TV, and robotics are rapidly developing. The ToF sensor works by measuring the time it takes for light to come back after shining it on an object, and the energy and phase displacement of the reflected light are acquired as a brightness image and a depth image, respectively.
ToF 센서를 통해 취득되는 영상은 컬러 영상에 비해 현저히 낮은 해상도 특성을 갖는다. Mesa SR4000의 경우 176 x 144의, Kinect의 경우 640 x 480의 해상도로 영상을 표현한다. 추가적으로, ToF 센서의 광원과 빛을 받는 수용체가 정확히 일치하지 않는 문제로 인해 정확도가 제한되며, 영상 획득 장치의 물리적 한계가 취득되는 영상 내의 노이즈로 표현된다. 이러한 문제들로 인해 깊이 영상 취득 과정에서 저품질의 저해상도 깊이 영상이 취득되며, 이는 재구성된 3D 영상의 성능을 제한한다.Images acquired through the ToF sensor have significantly lower resolution characteristics than color images. In case of Mesa SR4000, the resolution of 176 x 144 and in case of Kinect is 640 x 480. Additionally, accuracy is limited due to a problem in which the light source of the ToF sensor and the receptor receiving the light do not exactly match, and the physical limit of the image capture device is expressed as noise in the acquired image. Due to these problems, a low-quality, low-resolution depth image is acquired during the depth image acquisition process, which limits the performance of the reconstructed 3D image.
깊이 영상에 대해 상응하는 컬러 영상의 정보를 기반으로 결합 양측 필터(Joint Bilateral Filter) 등을 활용하여 깊이 영상을 고해상도 복원하는 깊이 업샘플링(depth upsampling) 방법이 제시되어 왔으나, 두 영상의 화각이 정확히 일치하지 않아 깊이 불연속(depth discontinuity)의 치명적인 문제가 발생한다.A depth upsampling method of reconstructing a depth image in high resolution using a joint bilateral filter based on information of a color image corresponding to the depth image has been proposed. Since they do not match, a fatal problem of depth discontinuity occurs.
본 발명의 실시예들은 저해상도 깊이 영상 사이의 부화소 정보를 추정하는 열화 모델을 모델링하고, 열화 모델에 대한 역필터링을 기반으로 공간 가변적 정규화 항목에 관한 비용 함수를 이용하여 고해상도 깊이 영상을 복원하는데 주된 목적이 있다.Embodiments of the present invention model a degradation model for estimating sub-pixel information between low-resolution depth images, and restore a high-resolution depth image by using a cost function related to a spatially variable normalization item based on inverse filtering for the degradation model. There is a purpose.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Other non-specified objects of the present invention may be additionally considered within the scope that can be easily inferred from the following detailed description and effects thereof.
본 실시예의 일 측면에 의하면 초해상도 영상 복원 장치에 의한 초해상도 영상 복원 방법에 있어서, 영상 장치를 통해 저해상도 깊이 영상을 획득하는 단계; 상기 저해상도 깊이 영상 사이의 부화소 정보를 추정하는 열화 모델을 모델링하는 단계; 상기 열화 모델에 대한 역필터링을 기반으로 고해상도 깊이 영상을 복원하는 단계를 포함하는 초해상도 영상 복원 방법을 제공한다.According to an aspect of the present embodiment, a super-resolution image restoration method using a super-resolution image restoration apparatus includes: acquiring a low-resolution depth image through an imaging device; modeling a degradation model for estimating sub-pixel information between the low-resolution depth images; Provided is a super-resolution image reconstruction method comprising the step of restoring a high-resolution depth image based on inverse filtering for the degradation model.
상기 영상 장치는 ToF(Time-of-Flight) 센서에 해당할 수 있다.The imaging device may correspond to a time-of-flight (ToF) sensor.
상기 열화 모델을 모델링하는 단계는, 동일한 장면 및 위치에 대한 고주파 정보를 담고 있는 밝기 영상을 적용할 수 있다.In the modeling of the degradation model, a brightness image containing high-frequency information for the same scene and location may be applied.
상기 고해상도 깊이 영상을 복원하는 단계는, 깊이 영상에 대한 특성을 정규화 기술을 위한 사전 정보로 이용할 수 있다.In the reconstructing of the high-resolution depth image, characteristics of the depth image may be used as prior information for a normalization technique.
상기 고해상도 깊이 영상을 복원하는 단계는, 공간 가변적 정규화 항목에 관한 비용 함수를 설계하고 상기 비용 함수를 감소시키는 반복 과정을 거쳐 영상을 복원할 수 있다.In the reconstructing of the high-resolution depth image, the image may be reconstructed through an iterative process of designing a cost function for a spatially variable normalization item and reducing the cost function.
상기 고해상도 깊이 영상을 복원하는 단계는, 공간 가변적 정규화 항목에 관한 비용 함수에 대해서 영상 전반적으로 고주파 에너지를 제한하여 영상의 매끈함을 유지하는 동시에 에지 영역에 한해 기준치보다 적은 가중치를 적용할 수 있다.In the reconstructing of the high-resolution depth image, a weight less than a reference value may be applied only to an edge region while maintaining smoothness of the image by limiting high-frequency energy throughout the image for a cost function related to a spatially variable normalization item.
상기 고해상도 깊이 영상을 복원하는 단계는, 상기 공간 가변적 정규화 항목에 관한 비용 함수에 영상에서 관측되는 노이즈 항목 및 가중 행렬에 대한 고주파 에너지를 검출하는 필터 항목 간의 비율을 조정하는 정규화 파라미터를 적용할 수 있다.In the reconstructing of the high-resolution depth image, a normalization parameter for adjusting a ratio between a noise item observed in the image and a filter item for detecting high-frequency energy for a weighting matrix may be applied to a cost function related to the spatially variable normalization item. .
상기 가중 행렬은 영상의 에지 및 평탄 영역에 따라 구분된 값을 표현하며, 에지 정보는 에지 영역에서 상기 평탄 영역보다 큰 값을 나타내며, 상기 에지의 크기를 판별하는 수단으로 기울기 연산자(gradient operator)를 적용할 수 있다.The weight matrix expresses values classified according to the edge and flat areas of the image, the edge information indicates a value greater than the flat area in the edge area, and a gradient operator is used as a means for determining the size of the edge can be applied
상기 가중 행렬은 상기 에지 정보에 반비례하도록 설계될 수 있다.The weighting matrix may be designed to be inversely proportional to the edge information.
상기 고해상도 깊이 영상을 복원하는 단계는, 컨쥬게이트 기울기 방법(conjugate gradient method)을 통해 상기 공간 가변적 정규화 항목에 관한 비용 함수를 최소화할 수 있다.In the reconstructing of the high-resolution depth image, a cost function related to the spatially variable normalization item may be minimized through a conjugate gradient method.
본 실시예의 다른 측면에 의하면 초해상도 영상 복원 장치에 있어서, 저해상도 깊이 영상을 획득하는 영상 장치; 상기 저해상도 깊이 영상 사이의 부화소 정보를 추정하는 열화 모델을 모델링하고, 상기 열화 모델에 대한 역필터링을 기반으로 고해상도 깊이 영상을 복원하는 프로세서를 포함하는 초해상도 영상 복원 장치를 제공한다.According to another aspect of the present embodiment, an apparatus for reconstructing a super-resolution image includes: an imaging apparatus for obtaining a low-resolution depth image; A super-resolution image restoration device including a processor modeling a degradation model for estimating sub-pixel information between the low-resolution depth images and reconstructing a high-resolution depth image based on inverse filtering on the degradation model.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 저해상도 깊이 영상 사이의 부화소 정보를 추정하는 열화 모델을 모델링하고, 열화 모델에 대한 역필터링을 기반으로 영상의 지역적 정보 분석을 통해 에지 및 평탄 영역을 구분하고, 영역의 특성에 따라 공간 가변적 정규화를 고려하여 관찰되는 사물의 깊이 경계가 명확한 고해상도 깊이 영상을 복원할 수 있는 효과가 있다.As described above, according to the embodiments of the present invention, a degradation model for estimating sub-pixel information between low-resolution depth images is modeled, and edge and flatness are obtained by analyzing local information of the image based on inverse filtering for the degradation model. There is an effect of reconstructing a high-resolution depth image with a clear depth boundary of an observed object by dividing the region and considering spatially variable normalization according to the characteristics of the region.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.Even if the effects are not explicitly mentioned here, the effects described in the following specification expected by the technical features of the present invention and their provisional effects are treated as described in the specification of the present invention.
도 1은 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치를 예시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치에 적용 가능한 영상 장치의 동작을 예시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치에 의한 동일한 배치를 갖는 깊이 영상 및 밝기 영상을 통한 부화소 정보 추정 동작을 예시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치가 처리하는 에지 정보 및 가중 행렬을 예시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치에 의해 복원된 고해상도 깊이 영상을 예시한 도면이다.
도 6은 본 발명의 다른 실시예에 따른 초해상도 영상 복원 방법을 예시한 흐름도이다.1 is a block diagram illustrating a super-resolution image restoration apparatus according to an embodiment of the present invention.
2 is a diagram illustrating an operation of an imaging device applicable to a super-resolution image restoration device according to an embodiment of the present invention.
3 is a diagram illustrating an operation of estimating sub-pixel information through a depth image and a brightness image having the same arrangement by a super-resolution image restoration apparatus according to an embodiment of the present invention.
4 is a diagram illustrating edge information and a weighting matrix processed by a super-resolution image restoration apparatus according to an embodiment of the present invention.
5 is a diagram illustrating a high-resolution depth image reconstructed by a super-resolution image restoration apparatus according to an embodiment of the present invention.
6 is a flowchart illustrating a super-resolution image restoration method according to another embodiment of the present invention.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. Hereinafter, in the description of the present invention, if it is determined that a related known function may unnecessarily obscure the subject matter of the present invention as an obvious matter to those skilled in the art, the detailed description thereof will be omitted, and some embodiments of the present invention will be described. It will be described in detail through exemplary drawings.
본 실시예는 영상 처리 시스템에 관련된 기술로서, ToF 카메라 영상에 대해 공간 가변적 정규화 방법에 기반하여 초해상도 영상을 복원하는 기술이다.This embodiment is a technology related to an image processing system, and is a technology of reconstructing a super-resolution image based on a spatially variable normalization method for a ToF camera image.
다수의 취득된 저해상도 깊이 영상으로부터 고해상도 깊이 영상을 복원하는 다중 영상 기반 초해상도 복원 기술에 해당하며, 컬러 영상, 위성 영상, 의료 영상 등 다양한 분야에서 영상 취득 장치의 물리적 한계를 극복하기 위해 활용 가능하다.It is a multi-image-based super-resolution reconstruction technology that restores high-resolution depth images from multiple acquired low-resolution depth images, and can be used to overcome the physical limitations of image acquisition devices in various fields such as color images, satellite images, and medical images. .
다른 영상과 구분되는 깊이 영상의 특수한 성질을 반영하지 못하며 이는 제한적인 복원 성능으로 표현되는 문제를 해결하기 위해서 ToF 카메라의 깊이 영상에 최적화된 다중 영상 초해상도 복원 알고리즘을 제안한다. 본 실시예에서는 영상의 지역적 정보 분석을 통해 에지 및 평탄 영역을 구분하고, 영역의 특성에 따라 공간 가변적 정규화 방법을 고려하여 관찰되는 사물의 깊이 경계가 명확한 고해상도 깊이 영상을 복원한다.In order to solve the problem of not reflecting the special properties of depth images that are distinguished from other images, which are represented by limited reconstruction performance, we propose a multi-image super-resolution reconstruction algorithm optimized for depth images of ToF cameras. In this embodiment, an edge and a flat region are distinguished through regional information analysis of an image, and a high-resolution depth image having a clear depth boundary of an observed object is reconstructed by considering a spatial variable normalization method according to the characteristics of the region.
도 1은 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치를 예시한 블록도이다.1 is a block diagram illustrating a super-resolution image restoration apparatus according to an embodiment of the present invention.
초해상도 영상 복원 장치(110)는 적어도 하나의 프로세서(120), 컴퓨터 판독 가능한 저장매체(130) 및 통신 버스(170)를 포함한다. The super-resolution image restoration apparatus 110 includes at least one processor 120, a computer readable storage medium 130, and a
프로세서(120)는 초해상도 영상 복원 장치(110)로 동작하도록 제어할 수 있다. 예컨대, 프로세서(120)는 컴퓨터 판독 가능한 저장 매체(130)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 컴퓨터 실행 가능 명령어는 프로세서(120)에 의해 실행되는 경우 초해상도 영상 복원 장치(110)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.The processor 120 may control the super-resolution image restoration device 110 to operate. For example, the processor 120 may execute one or more programs stored in the computer readable storage medium 130 . The one or more programs may include one or more computer-executable instructions, which when executed by the processor 120 cause the super-resolution image reconstruction device 110 to perform operations according to an exemplary embodiment. can be configured.
컴퓨터 판독 가능한 저장 매체(130)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능한 저장 매체(130)에 저장된 프로그램(140)은 프로세서(120)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독한 가능 저장 매체(130)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 초해상도 영상 복원 장치(110)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.Computer-readable storage medium 130 is configured to store computer-executable instructions or program code, program data, and/or other suitable form of information. The program 140 stored in the computer readable storage medium 130 includes a set of instructions executable by the processor 120 . In one embodiment, computer readable storage medium 130 includes memory (volatile memory such as random access memory, non-volatile memory, or a suitable combination thereof), one or more magnetic disk storage devices, optical disk storage devices, It may be flash memory devices, other types of storage media that can be accessed by the super-resolution image restoration apparatus 110 and store desired information, or a suitable combination thereof.
통신 버스(170)는 프로세서(120), 컴퓨터 판독 가능한 저장 매체(130)를 포함하여 초해상도 영상 복원 장치(110)의 다른 다양한 컴포넌트들을 상호 연결한다.The
초해상도 영상 복원 장치(110)는 또한 하나 이상의 입출력 장치를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(150) 및 하나 이상의 통신 인터페이스(160)를 포함할 수 있다. 입출력 인터페이스(150) 및 통신 인터페이스(160)는 통신 버스(170)에 연결된다. 입출력 장치(미도시)는 입출력 인터페이스(150)를 통해 초해상도 영상 복원 장치(110)의 다른 컴포넌트들에 연결될 수 있다.The super-resolution image restoration device 110 may also include one or more input/output interfaces 150 and one or more communication interfaces 160 providing interfaces for one or more input/output devices. The input/output interface 150 and the communication interface 160 are connected to the
입출력 인터페이스(150)를 통해 영상 장치(미도시)가 연결될 수 있다. 영상 장치는 ToF(Time-of-Flight) 센서에 해당할 수 있다.An imaging device (not shown) may be connected through the input/output interface 150 . The imaging device may correspond to a time-of-flight (ToF) sensor.
초해상도 영상 복원 장치(110)는 고해상도 깊이 영상을 복원하기 위해서, 다수의 저해상도 깊이 영상의 정보를 활용하며, 저해상도 깊이 영상 시스템의 열화 과정에 대한 모델링이 선행된다. 구성한 열화 모델에 대한 역과정을 통해 고해상도 영상 복원이 가능하다. The super-resolution image restoration apparatus 110 utilizes information of a plurality of low-resolution depth images to reconstruct a high-resolution depth image, and modeling of a degradation process of a low-resolution depth image system is preceded. High-resolution image restoration is possible through the reverse process of the constructed degradation model.
초해상도 영상 복원 장치(110)는 관찰된 저해상도 영상 사이의 상대적 위치 차이에 해당하는 부화소 단위 정보와 센서에 의한 공간 해상도 한계를 의미하는 다운 샘플링으로 열화 모델을 설계한다. 상대적으로 고주파 정보가 부족한 다중 깊이 영상의 부화소 정보를 추정하기 위해 각 깊이 영상에 상응하는 밝기 영상을 활용하며, 관찰된 저해상도 영상으로부터 복원하고자 하는 고해상도 영상에 대한 배율을 기반으로 다운 샘플링에 의한 열화를 구성한다. 이를 바탕으로 영상을 복원하기에 앞서, 복원 과정에서 노이즈 및 아티팩트에 의해 발생하는 부정치성(ill-posedness) 문제를 정규화 방법을 통해 해결한다. The super-resolution image restoration apparatus 110 designs a deterioration model using sub-pixel unit information corresponding to a relative position difference between observed low-resolution images and downsampling, which means a spatial resolution limit by a sensor. In order to estimate sub-pixel information of multi-depth images that lack high-frequency information, brightness images corresponding to each depth image are used, and degradation by downsampling is based on the magnification of the high-resolution image to be restored from the observed low-resolution image. make up Prior to restoring the image based on this, the problem of ill-posedness caused by noise and artifacts in the restoration process is solved through a normalization method.
깊이 영상 고유의 특성을 내포하는 정규화 기술을 통해 복원되는 영상의 특성을 한정할 수 있으며, 초해상도 영상 복원 장치(110)는 깊이 영상의 에지를 잘 보존하기 위한 공간 가변적 정규화 항목을 기반으로 비용 함수를 설계한다. 이후, 컨쥬게이트 기울기 감소(Conjugate Gradient Descent) 방법을 통해 설계한 비용 함수를 최소화하여 고해상도 영상을 복원한다.The characteristics of the image to be reconstructed can be limited through a normalization technique that includes the unique characteristics of the depth image. to design Then, a high-resolution image is restored by minimizing the cost function designed through the conjugate gradient descent method.
초해상도 영상 복원 장치(110)는 깊이 영상 복원을 위해 다중 깊이 영상 초해상도 복원 기술로 열화 모델을 설계하고, 다중 깊이 영상 사이의 부화소 정보 추정을 위해 각 깊이 영상에 상응하는 밝기 영상을 활용하고, 수평 및 수직 기울기 연산자(Gradient operator)를 통해 깊이 영상의 에지 특성을 파악하고, 깊이 영상의 에지 크기에 따라 다른 정규화 변수를 적용하는 공간 가변적 정규화 항목을 설계한다.The super-resolution image restoration apparatus 110 designs a degradation model using multi-depth image super-resolution restoration technology to reconstruct a depth image, uses a brightness image corresponding to each depth image to estimate sub-pixel information between multiple depth images, and , the edge characteristics of the depth image are identified through the horizontal and vertical gradient operators, and a spatially variable normalization item is designed that applies different regularization variables according to the edge size of the depth image.
초해상도 영상 복원 장치(110)는 취득된 저해상도 깊이 영상 사이의 부화소 정보를 추정하는 열화 과정에 대한 모델링하는 동작 및 이 모델링을 바탕으로 깊이 영상의 특성을 반영하는 고해상도 깊이 영상을 복원하는 동작을 수행한다.The super-resolution image reconstructing apparatus 110 performs modeling of a degradation process of estimating sub-pixel information between acquired low-resolution depth images and restoring a high-resolution depth image reflecting the characteristics of the depth image based on the modeling. carry out
먼저, 관측된 여러 저해상도 깊이 영상 사이의 부화소 정보 추정 과정을 통해 깊이 영상의 취득 과정을 모델링한다. First, the process of acquiring a depth image is modeled through a process of estimating sub-pixel information between several observed low-resolution depth images.
도 2는 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치에 적용 가능한 영상 장치의 동작을 예시한 도면이다.2 is a diagram illustrating an operation of an imaging device applicable to a super-resolution image restoration device according to an embodiment of the present invention.
ToF 카메라는 도 2과 같이 90도 위상 차이를 가지는 서로 다른 4개의 빛 C1~C4을 쏜 후 반사되어 돌아오는 빛의 전기적 신호 E1~E4의 위상 변위와 에너지를 측정하여 깊이 영상 y 및 밝기 영상 z로 변환한다.As shown in FIG. 2, the ToF camera shoots four different lights C 1 to C 4 having a phase difference of 90 degrees, and then measures the phase displacement and energy of the electrical signals E 1 to E 4 of the reflected light to obtain a depth image y and brightness image z.
수학식 1에서 c와 f는 각각 빛의 속도와 주파수를 의미한다. 두 영상 모두 동일한 신호 E1~E4로부터 계산되므로 같은 위치 정보를 공유하지만, 계산 방법에 따라 서로 다른 영상 특성을 보인다. 제안하는 알고리즘을 위해서는 도 2와 같이 취득되는 깊이 영상 yk(k=1,2, ... ,n) 사이의 부화소 정보 (△ik,△jk)를 추정하는 과정이 요구되지만, 급격한 공간정보의 변화에 해당하는 에지 및 텍스쳐 등 고주파 정보가 절대적으로 부족한 깊이 영상에서는 이를 추정하는 것이 어렵다. 따라서, 본 발명에서는 동일한 장면 및 위치에 대해 상대적으로 많은 고주파 정보를 담고 있는 밝기 영상 zk을 활용하여 이를 해결한다.In Equation 1, c and f mean the speed and frequency of light, respectively. Since both images are calculated from the same signals E 1 to E 4 , they share the same location information, but show different image characteristics depending on the calculation method. The proposed algorithm requires a process of estimating sub-pixel information (Δi k , Δj k ) between depth images y k (k=1,2, ... ,n) acquired as shown in FIG. It is difficult to estimate this in a depth image that absolutely lacks high-frequency information such as edges and textures corresponding to rapid changes in spatial information. Therefore, in the present invention, this problem is solved by utilizing a brightness image z k containing a relatively large amount of high-frequency information for the same scene and location.
도 3은 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치에 의한 동일한 배치를 갖는 깊이 영상 및 밝기 영상을 통한 부화소 정보 추정 동작을 예시한 도면이다.3 is a diagram illustrating an operation of estimating sub-pixel information through a depth image and a brightness image having the same arrangement by a super-resolution image restoration apparatus according to an embodiment of the present invention.
수학식 2를 통해 각 깊이 영상 사이의 부화소 단위 픽셀 차이를 추정할 수 있다. 다운 샘플링은 초해상도 기술을 통해 복원하고자 하는 고해상도 영상의 배율로 정의하며, 입력 영상의 수가 많을수록 더 고배율의 영상 복원이 가능하다. k번째 깊이 영상 yk의 열화 과정 Hk를 포함하는 깊이 영상 취득 모델은 수학식 3과 같이 표현된다.Through Equation 2, a sub-pixel unit pixel difference between each depth image may be estimated. Downsampling is defined as the magnification of a high-resolution image to be restored through super-resolution technology, and the higher the number of input images, the higher magnification image restoration is possible. A depth image acquisition model including the degradation process H k of the kth depth image y k is expressed as Equation 3.
위 식에서 x는 고해상도 고품질의 깊이 영상을, nk는 k번째 영상에서 관측되는 노이즈이다.In the above equation, x is a high-resolution, high-quality depth image, and n k is the noise observed in the k-th image.
다중 깊이 영상 초해상도 복원은 추정한 열화 모델에 대한 역 필터링 과정에 기반한다. Multi-depth image super-resolution reconstruction is based on an inverse filtering process for the estimated degradation model.
취득된 저해상도 영상에 존재하는 노이즈나 에일리어싱(aliasing) 등으로 발생한 아티팩트가 최적화 과정에서 높은 불확실성(uncertainty)을 야기하며, 복원 과정에 부정치성(ill-posedness) 문제를 일으킨다. Noise existing in the acquired low-resolution image or artifacts generated by aliasing cause high uncertainty in the optimization process and ill-posedness problem in the reconstruction process.
정규화 기술을 통해 넓은 범위의 가능해(feasible solution)로부터 원하는 해를 한정할 수 있으며, 본 발명에서는 깊이 영상에 대한 특성을 분석하여 이를 정규화 기술을 위한 사전정보로 활용한다. Through the normalization technology, a desired solution can be limited from a wide range of feasible solutions, and in the present invention, the characteristics of the depth image are analyzed and used as prior information for the normalization technology.
깊이 영상은 전체적으로 부드러운 형태를 갖지만, 사물 간의 경계에 해당하는 에지는 선명하게 표현하는 특성을 보인다. 이를 복원되는 고해상도 깊이 영상의 특성에 반영하기 위해, 영상 전반적으로 고주파 에너지를 제한하여 영상의 매끈함을 유지하는 동시에 에지 영역에 한해 약한 가중치를 둠으로써 에지의 형태를 선명하게 보존하는 공간 가변적 정규화 항목을 설계한다.The depth image has a soft shape as a whole, but the edge corresponding to the boundary between objects shows a characteristic that is expressed clearly. In order to reflect this to the characteristics of the reconstructed high-resolution depth image, a spatially variable normalization item that maintains the smoothness of the image by limiting the high-frequency energy throughout the image and preserves the shape of the edge clearly by placing a weak weight only in the edge region design
수학식 5에서 C는 중심의 값이 1이고 상하좌우의 값이 -1/4인 3x3 크기의 라플라시안 필터로, 고주파 에너지를 검출하는 역할을 한다. λ는 정규화 파라미터로, 비용 함수의 두 항목 간의 비율을 조정하여 복원된 영상의 품질을 결정한다. λ가 클수록 보다 부드러운 영상 취득이 가능하며, 노이즈가 심한 경우 고품질의 영상 복원이 가능하다. K(x)는 영상의 에지 및 평탄 영역에 따라 구분된 값을 표현하는 가중 행렬로, 에지에 가까울수록 작은 값을 나타내어 영상 복원 과정에서 선명한 에지 보존을 가능하게 한다. 에지의 크기를 판별하기 위한 수단으로, 다음의 기울기 연산자(Gradient operator)를 사용한다.In Equation 5, C is a 3x3 Laplacian filter with a center value of 1 and top, bottom, left, and right values of -1/4, and serves to detect high-frequency energy. λ is a normalization parameter, and the quality of the reconstructed image is determined by adjusting the ratio between two items of the cost function. As λ is larger, smoother image acquisition is possible, and high-quality image restoration is possible in case of severe noise. K(x) is a weighting matrix representing values divided according to edges and flat regions of an image, and represents a smaller value closer to the edge, enabling clear edge preservation in the image restoration process. As a means for determining the size of the edge, the following gradient operator is used.
구해낸 에지 정보 G(x)는 에지 영역에서 평탄 영역에 비해 큰 값을 나타낸다. 이를 활용한 공간 가변적 정규화 방법을 위한 가중 행렬 K(x)는 이와 반비례하도록 설계한다.The obtained edge information G(x) shows a larger value in the edge region than in the flat region. The weighting matrix K(x) for the spatial variable normalization method using this is designed to be inversely proportional to this.
도 4는 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치가 처리하는 에지 정보 및 가중 행렬을 예시한 도면이다.4 is a diagram illustrating edge information and a weighting matrix processed by a super-resolution image restoration apparatus according to an embodiment of the present invention.
도 4와 같이 K(x)는 에지 영역에서 평탄 영역에 비해 작은 값을 나타내기 때문에 평탄 영역에 선별적으로 고주파 에너지를 제한하는 공간 가변적 정규화 항목의 설계를 가능하게 한다.As shown in FIG. 4, since K(x) represents a smaller value in the edge region than in the flat region, it is possible to design a spatially variable normalization item that selectively limits high-frequency energy in the flat region.
본 발명에서 고해상도 깊이 영상 복원을 위해 설계한 비용 함수는 컨벡시티(convexity)의 특성을 가지므로, 컨쥬게이트 기울기 방법(conjugate gradient method)을 통해 효과적으로 최소화할 수 있다. 이러한 방법을 통해 반복적으로 비용 함수 F(x)를 감소시키고, 영상을 복원하는 과정을 나타낸다.Since the cost function designed for high-resolution depth image reconstruction in the present invention has a convexity characteristic, it can be effectively minimized through a conjugate gradient method. Through this method, the process of repeatedly reducing the cost function F(x) and restoring the image is shown.
αn은 수학식 10과 같이 표현된다.α n is expressed as in Equation 10.
위 과정을 통해 비용 함수를 효과적으로 수렴시키며, 그에 따라 고해상도 깊이 영상을 복원한다.Through the above process, the cost function is effectively converged, and a high-resolution depth image is reconstructed accordingly.
도 5는 본 발명의 일 실시예에 따른 초해상도 영상 복원 장치에 의해 복원된 고해상도 깊이 영상을 예시한 도면이다.5 is a diagram illustrating a high-resolution depth image reconstructed by a super-resolution image restoration apparatus according to an embodiment of the present invention.
복원된 영상에서 볼 수 있듯, 기존 방법과 제안 방법 모두 해상도를 높이는 역할을 하지만, 제안 방법으로 복원된 영상에서 사물 간의 경계가 더 명확하고, 에지가 더 잘 구분되는 것을 확인할 수 있다. As can be seen in the reconstructed image, both the existing method and the proposed method play a role in increasing the resolution, but in the reconstructed image with the proposed method, it can be seen that the boundaries between objects are clearer and the edges are better distinguished.
표 1은 영상 복원 시뮬레이션에 따른 지표로, PSNR(Peak Signal-to-Noise Ratio)와 SSIM(Structural Similarity Index Map) 측면에서도 제안 방법이 원본 영상에 더 가깝게 추정되는 것을 확인할 수 있다.Table 1 is an index according to image restoration simulation, and it can be seen that the proposed method is estimated closer to the original image in terms of PSNR (Peak Signal-to-Noise Ratio) and SSIM (Structural Similarity Index Map).
도 6은 본 발명의 다른 실시예에 따른 초해상도 영상 복원 방법을 예시한 흐름도이다.6 is a flowchart illustrating a super-resolution image restoration method according to another embodiment of the present invention.
초해상도 영상 복원 방법은 초해상도 영상 복원 장치에 의해 수행될 수 있다.The super-resolution image restoration method may be performed by a super-resolution image restoration device.
초해상도 영상 복원 방법은 영상 장치를 통해 저해상도 깊이 영상을 획득하는 단계(S10), 저해상도 깊이 영상 사이의 부화소 정보를 추정하는 열화 모델을 모델링하는 단계(S20), 열화 모델에 대한 역필터링을 기반으로 고해상도 깊이 영상을 복원하는 단계(S30)를 포함한다.The super-resolution image restoration method includes acquiring a low-resolution depth image through an imaging device (S10), modeling a degradation model for estimating sub-pixel information between low-resolution depth images (S20), and performing inverse filtering on the degradation model. and restoring a high-resolution depth image (S30).
초해상도 영상 복원 방법은 다수의 저해상도 저품질의 깊이 영상을 활용하여 고해상도 고품질의 깊이 영상 복원을 가능하게 한다. 에지의 선명도가 증가하고, 노이즈가 감소한 고품질의 깊이 영상은 3D 영상 재구성의 정확도 및 효용성에 큰 성능 향상을 이룬다. 이를 기반으로 3D 영상이 활용되는 다양한 분야 3D 산업의 발전을 가속화한다. The super-resolution image restoration method utilizes a plurality of low-resolution and low-quality depth images to enable high-resolution and high-quality depth image restoration. A high-quality depth image with increased edge sharpness and reduced noise achieves a significant performance improvement in the accuracy and effectiveness of 3D image reconstruction. Based on this, it accelerates the development of the 3D industry in various fields where 3D images are used.
초해상도 영상 복원 장치는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.The super-resolution image restoration apparatus may be implemented in a logic circuit by hardware, firmware, software, or a combination thereof, or may be implemented using a general-purpose or special-purpose computer. The device may be implemented using a hardwired device, a field programmable gate array (FPGA), an application specific integrated circuit (ASIC), or the like. Also, the device may be implemented as a System on Chip (SoC) including one or more processors and controllers.
초해상도 영상 복원 장치는 하드웨어적 요소가 마련된 컴퓨팅 디바이스 또는 서버에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스 또는 서버는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.The apparatus for reconstructing super-resolution images may be installed in a computing device or server equipped with hardware elements in the form of software, hardware, or a combination thereof. A computing device or server includes all or part of a communication device such as a communication modem for communicating with various devices or wired/wireless communication networks, a memory for storing data for executing a program, and a microprocessor for executing calculations and commands by executing a program. It can mean a variety of devices, including
도 6에서는 각각의 과정을 순차적으로 실행하는 것으로 기재하고 있으나 이는 예시적으로 설명한 것에 불과하고, 이 분야의 기술자라면 본 발명의 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 도 6에 기재된 순서를 변경하여 실행하거나 또는 하나 이상의 과정을 병렬적으로 실행하거나 다른 과정을 추가하는 것으로 다양하게 수정 및 변형하여 적용 가능할 것이다.In FIG. 6, it is described that each process is sequentially executed, but this is merely an example, and a person skilled in the art changes and executes the sequence described in FIG. 6 without departing from the essential characteristics of the embodiment of the present invention. Alternatively, it will be possible to apply various modifications and variations by executing one or more processes in parallel or adding another process.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.Operations according to the present embodiments may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer readable medium. Computer readable medium refers to any medium that participates in providing instructions to a processor for execution. A computer readable medium may include program instructions, data files, data structures, or combinations thereof. For example, there may be a magnetic medium, an optical recording medium, a memory, and the like. The computer program may be distributed over networked computer systems so that computer readable codes are stored and executed in a distributed manner. Functional programs, codes, and code segments for implementing this embodiment may be easily inferred by programmers in the art to which this embodiment belongs.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.These embodiments are for explaining the technical idea of this embodiment, and the scope of the technical idea of this embodiment is not limited by these embodiments. The scope of protection of this embodiment should be construed according to the claims below, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of rights of this embodiment.
Claims (11)
영상 장치를 통해 저해상도 깊이 영상을 획득하는 단계;
상기 저해상도 깊이 영상 사이의 부화소 정보를 추정하는 열화 모델을 모델링하는 단계;
상기 열화 모델에 대한 역필터링을 기반으로 고해상도 깊이 영상을 복원하는 단계를 포함하고,
상기 고해상도 깊이 영상을 복원하는 단계는,
공간 가변적 정규화 항목에 관한 비용 함수를 설계하고 상기 비용 함수를 감소시키는 반복 과정을 거쳐 영상을 복원하되,
상기 공간 가변적 정규화 항목에 관한 비용 함수에 대해서 영상 전반적으로 고주파 에너지를 제한하여 영상의 매끈함을 유지하는 동시에 에지 영역에 한해 기준치보다 적은 가중치를 적용하는 것을 특징으로 하는 초해상도 영상 복원 방법.In the super-resolution image restoration method by the super-resolution image restoration apparatus,
obtaining a low-resolution depth image through an imaging device;
modeling a degradation model for estimating sub-pixel information between the low-resolution depth images;
Reconstructing a high-resolution depth image based on inverse filtering for the degradation model;
The step of restoring the high-resolution depth image,
Restoring the image through an iterative process of designing a cost function for a spatially variable normalization item and reducing the cost function,
Super-resolution image restoration method, characterized in that for the cost function related to the spatially variable normalization item, a weight less than a reference value is applied only to the edge region while maintaining the smoothness of the image by limiting the high-frequency energy throughout the image.
상기 영상 장치는 ToF(Time-of-Flight) 센서에 해당하는 것을 특징으로 하는 초해상도 영상 복원 방법.According to claim 1,
Super-resolution image restoration method, characterized in that the imaging device corresponds to a time-of-flight (ToF) sensor.
상기 열화 모델을 모델링하는 단계는,
동일한 장면 및 위치에 대한 고주파 정보를 담고 있는 밝기 영상을 적용하는 것을 특징으로 하는 초해상도 영상 복원 방법.According to claim 1,
In the modeling of the degradation model,
A super-resolution image restoration method characterized by applying a brightness image containing high-frequency information for the same scene and location.
상기 고해상도 깊이 영상을 복원하는 단계는,
깊이 영상에 대한 특성을 정규화 기술을 위한 사전 정보로 이용하는 것을 특징으로 하는 초해상도 영상 복원 방법.According to claim 1,
The step of restoring the high-resolution depth image,
A super-resolution image restoration method characterized in that the characteristics of the depth image are used as prior information for normalization technology.
상기 고해상도 깊이 영상을 복원하는 단계는,
상기 공간 가변적 정규화 항목에 관한 비용 함수에 영상에서 관측되는 노이즈 항목 및 가중 행렬에 대한 고주파 에너지를 검출하는 필터 항목 간의 비율을 조정하는 정규화 파라미터를 적용하는 것을 특징으로 하는 초해상도 영상 복원 방법.According to claim 1,
The step of restoring the high-resolution depth image,
Super-resolution image restoration method, characterized in that by applying a normalization parameter for adjusting the ratio between the noise item observed in the image and the filter item for detecting high-frequency energy for the weighting matrix to the cost function related to the spatially variable normalization item.
상기 가중 행렬은 영상의 에지 및 평탄 영역에 따라 구분된 값을 표현하며,
에지 정보는 에지 영역에서 상기 평탄 영역보다 큰 값을 나타내며,
상기 에지의 크기를 판별하는 수단으로 기울기 연산자(gradient operator)를 적용하는 것을 특징으로 하는 초해상도 영상 복원 방법.According to claim 7,
The weighting matrix represents values classified according to edges and flat regions of the image,
The edge information represents a value greater than the flat region in the edge region,
Super-resolution image restoration method, characterized in that for applying a gradient operator (gradient operator) as a means for determining the size of the edge.
상기 가중 행렬은 상기 에지 정보에 반비례하도록 설계되는 것을 특징으로 하는 초해상도 영상 복원 방법.According to claim 8,
The weighting matrix is designed to be inversely proportional to the edge information.
상기 고해상도 깊이 영상을 복원하는 단계는,
컨쥬게이트 기울기 방법(conjugate gradient method)을 통해 상기 공간 가변적 정규화 항목에 관한 비용 함수를 최소화하는 것을 특징으로 하는 초해상도 영상 복원 방법.According to claim 1,
The step of restoring the high-resolution depth image,
A super-resolution image restoration method, characterized in that for minimizing the cost function for the spatially variable normalization term through a conjugate gradient method.
저해상도 깊이 영상을 획득하는 영상 장치;
상기 저해상도 깊이 영상 사이의 부화소 정보를 추정하는 열화 모델을 모델링하고, 상기 열화 모델에 대한 역필터링을 기반으로 고해상도 깊이 영상을 복원하는 프로세서를 포함하고,
상기 프로세서는, 상기 고해상도 깊이 영상을 복원함에 있어서,
공간 가변적 정규화 항목에 관한 비용 함수를 설계하고 상기 비용 함수를 감소시키는 반복 과정을 거쳐 영상을 복원하되,
상기 공간 가변적 정규화 항목에 관한 비용 함수에 대해서 영상 전반적으로 고주파 에너지를 제한하여 영상의 매끈함을 유지하는 동시에 에지 영역에 한해 기준치보다 적은 가중치를 적용하는 것을 특징으로 하는 초해상도 영상 복원 장치.In the super-resolution image restoration device,
an imaging device that acquires a low-resolution depth image;
A processor modeling a degradation model for estimating sub-pixel information between the low-resolution depth images and restoring a high-resolution depth image based on inverse filtering on the degradation model;
The processor, in reconstructing the high-resolution depth image,
Reconstructing the image through an iterative process of designing a cost function for a spatially variable normalization item and reducing the cost function,
Super-resolution image restoration device, characterized in that for the cost function related to the spatially variable normalization item, a weight less than a reference value is applied only to the edge region while maintaining the smoothness of the image by limiting high-frequency energy throughout the image.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210111799A KR102508384B1 (en) | 2021-08-24 | 2021-08-24 | Tof camera super-resolution image restoration algorithm and apparatus based on spatially-variant regularization |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210111799A KR102508384B1 (en) | 2021-08-24 | 2021-08-24 | Tof camera super-resolution image restoration algorithm and apparatus based on spatially-variant regularization |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20230029382A KR20230029382A (en) | 2023-03-03 |
| KR102508384B1 true KR102508384B1 (en) | 2023-03-08 |
Family
ID=85508429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210111799A KR102508384B1 (en) | 2021-08-24 | 2021-08-24 | Tof camera super-resolution image restoration algorithm and apparatus based on spatially-variant regularization |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102508384B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116862800B (en) * | 2023-07-11 | 2024-01-30 | 哈尔滨工业大学 | Large-view-field single-lens space-variant blurred image restoration method and device |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180005361A1 (en) * | 2016-07-01 | 2018-01-04 | Analytical Mechanics Associates, Inc. | Super-resolution systems and methods |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102114969B1 (en) | 2015-06-08 | 2020-06-08 | 삼성전자주식회사 | Optical device and method for generating depth information |
-
2021
- 2021-08-24 KR KR1020210111799A patent/KR102508384B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180005361A1 (en) * | 2016-07-01 | 2018-01-04 | Analytical Mechanics Associates, Inc. | Super-resolution systems and methods |
Non-Patent Citations (1)
| Title |
|---|
| Fengqiang Li et al., "MULTI-FRAME SUPER-RESOLUTION FOR TIME-OF-FLIGHT IMAGING", 2019 IEEE International Conference on Acoustics, Speech and Signal Processing, (2019.05.12-17.)* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20230029382A (en) | 2023-03-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Li et al. | Fast guided global interpolation for depth and motion | |
| US9230303B2 (en) | Multi-frame super-resolution of image sequence with arbitrary motion patterns | |
| KR101810876B1 (en) | A method and an apparatus for debluring non-uniform motion blur of a large scale input image based on a tile unit | |
| Mandal et al. | Noise adaptive super-resolution from single image via non-local mean and sparse representation | |
| Jeon et al. | Reconstruction-based pairwise depth dataset for depth image enhancement using CNN | |
| Yue et al. | A locally adaptive L1− L2 norm for multi-frame super-resolution of images with mixed noise and outliers | |
| Lu et al. | Deep texture and structure aware filtering network for image smoothing | |
| US11720999B2 (en) | Method, device and non-transitory computer-readable storage medium for increasing the resolution and dynamic range of a sequence of respective top view images of a same terrestrial location | |
| CN109087348B (en) | Single-pixel imaging method based on adaptive area projection | |
| Jeon et al. | Texture map generation for 3D reconstructed scenes | |
| JP2021520008A (en) | Vehicle inspection system and its method | |
| Liu et al. | Automatic blur-kernel-size estimation for motion deblurring | |
| KR102508384B1 (en) | Tof camera super-resolution image restoration algorithm and apparatus based on spatially-variant regularization | |
| Van Der Jeught et al. | Optimized loss function in deep learning profilometry for improved prediction performance | |
| Satapathy et al. | Robust depth map inpainting using superpixels and non-local Gauss–Markov random field prior | |
| Tuptewar et al. | Robust exemplar based image and video inpainting for object removal and region filling | |
| Sadek et al. | A variational model for gradient-based video editing | |
| Bahraini et al. | Edge preserving range image smoothing using hybrid locally kernel-based weighted least square | |
| Al Ismaeil et al. | Real-time non-rigid multi-frame depth video super-resolution | |
| Al Ismaeil et al. | Dynamic super resolution of depth sequences with non-rigid motions | |
| CN110807779A (en) | Compression calculation ghost imaging method and system based on region segmentation | |
| KR102334730B1 (en) | Generative Adversarial Network for Joint Light Field Super-resolution and Deblurring and its Operation Method | |
| RU2742346C1 (en) | Eliminating image blur | |
| Grossauer | Inpainting of movies using optical flow | |
| Sarmadi et al. | A new approach in single Image Super Resolution |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |