KR101896301B1 - Apparatus and method for processing depth image - Google Patents

Apparatus and method for processing depth image Download PDF

Info

Publication number
KR101896301B1
KR101896301B1 KR1020130000516A KR20130000516A KR101896301B1 KR 101896301 B1 KR101896301 B1 KR 101896301B1 KR 1020130000516 A KR1020130000516 A KR 1020130000516A KR 20130000516 A KR20130000516 A KR 20130000516A KR 101896301 B1 KR101896301 B1 KR 101896301B1
Authority
KR
South Korea
Prior art keywords
depth
image
noise
pixel
depth image
Prior art date
Application number
KR1020130000516A
Other languages
Korean (ko)
Other versions
KR20140088697A (en
Inventor
최욱
강병민
이기창
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130000516A priority Critical patent/KR101896301B1/en
Priority to US13/922,627 priority patent/US9349163B2/en
Publication of KR20140088697A publication Critical patent/KR20140088697A/en
Application granted granted Critical
Publication of KR101896301B1 publication Critical patent/KR101896301B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

깊이 영상의 노이즈를 제거할 수 있는 깊이 영상 처리 방법 및 깊이 영상 처리 장치가 개시된다. 일실시예에 따른 깊이 영상 처리 장치는 광도 영상을 이용하여 깊이 영상의 노이즈를 추정하는 노이즈 추정부; 상기 광도 영상을 구성하는 픽셀의 광도 정보, 상기 깊이 영상의 깊이 정보 및 상기 추정된 노이즈에 기초하여 평면 단위의 슈퍼 픽셀을 생성하는 슈퍼 픽셀 생성부; 및 상기 깊이 영상의 깊이 정보 및 상기 슈퍼 픽셀의 깊이 정보를 이용하여 상기 깊이 영상의 노이즈를 제거하는 노이즈 제거부를 포함할 수 있다.A depth image processing method and a depth image processing apparatus capable of removing noise of a depth image are disclosed. According to an embodiment of the present invention, there is provided a depth image processing apparatus including: a noise estimator for estimating a noise of a depth image using a luminance image; A super pixel generating unit for generating a super pixel in a plane unit based on the luminance information of the pixels constituting the luminance image, the depth information of the depth image, and the estimated noise; And a noise removing unit removing the noise of the depth image using depth information of the depth image and depth information of the super pixel.

Description

깊이 영상 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING DEPTH IMAGE}[0001] APPARATUS AND METHOD FOR PROCESSING DEPTH IMAGE [0002]

아래의 설명은 깊이 영상의 노이즈를 감소시키는 깊이 영상 처리 장치 및 깊이 영상 처리 방법에 관한 것이다.The following description relates to a depth image processing apparatus and a depth image processing method for reducing noise of a depth image.

TOF(time-of-flight) 카메라는 물체에 적외선(IR, infrared rays) 대역의 빛을 조사하고, 반사되어 되돌아온 빛을 이용하여 물체까지의 거리를 계산한다. TOF 카메라는 조사된 빛이 되돌아오기까지의 시간 차이를 이용하여 물체까지의 거리가 영상화된 깊이 영상(depth image)을 생성한다. 구체적으로, TOF 카메라는 미리 설정된 주파수로 변조된 빛을 피사체에 조사하고, 조사되는 빛과 피사체에 반사되어 되돌아오는 빛의 위상 차이를 통해 픽셀에서의 거리 값을 계산한다. TOF 카메라는 빛을 직접 조사하기 때문에 모든 픽셀에서 깊이값을 측정할 수 있고, 깊이 영상을 실시간으로 생성할 수 있다.A time-of-flight (TOF) camera illuminates an object with infrared (IR) light and calculates the distance to the object using reflected and reflected light. The TOF camera generates a depth image with the distance to the object imaged using the time difference until the irradiated light returns. Specifically, the TOF camera irradiates light modulated at a predetermined frequency to a subject, and calculates a distance value in the pixel through the phase difference between the irradiated light and the light reflected back from the subject. Since the TOF camera directly illuminates the light, it can measure the depth value in every pixel and can generate the depth image in real time.

일실시예에 따른 깊이 영상 처리 장치는, 광도 영상을 이용하여 깊이 영상의 노이즈를 추정하는 노이즈 추정부; 상기 광도 영상을 구성하는 픽셀의 광도 정보, 상기 깊이 영상의 깊이 정보 및 상기 추정된 노이즈에 기초하여 평면 단위의 슈퍼 픽셀을 생성하는 슈퍼 픽셀 생성부; 및 상기 깊이 영상의 깊이 정보 및 상기 슈퍼 픽셀의 깊이 정보를 이용하여 상기 깊이 영상의 노이즈를 제거하는 노이즈 제거부를 포함할 수 있다.A depth image processing apparatus according to an exemplary embodiment includes a noise estimator for estimating a noise of a depth image using a luminance image; A super pixel generating unit for generating a super pixel in a plane unit based on the luminance information of the pixels constituting the luminance image, the depth information of the depth image, and the estimated noise; And a noise removing unit removing the noise of the depth image using depth information of the depth image and depth information of the super pixel.

일실시예에 따른 깊이 영상 처리 장치에서, 상기 슈퍼 픽셀 생성부는, 상기 광도 영상을 구성하는 픽셀들 중 이웃한 픽셀들 간의 광도 차이에 기초하여 슈퍼 픽셀을 생성할 수 있다.In the depth image processing apparatus according to an exemplary embodiment, the super-pixel generation unit may generate a super-pixel based on a luminance difference between neighboring pixels among pixels constituting the luminance image.

일실시예에 따른 깊이 영상 처리 방법에서, 상기 슈퍼 픽셀 생성부는, 상기 깊이 영상의 깊이 정보를 이용하여 광도 영상을 구성하는 픽셀의 공간 포인트가 가지는 깊이 오차를 계산하고, 상기 깊이 오차와 상기 추정된 노이즈에 기초하여 슈퍼 픽셀을 생성할 수 있다.In the depth image processing method according to an exemplary embodiment, the super-pixel generation unit may calculate a depth error of a spatial point of pixels constituting a luminance image using depth information of the depth image, It is possible to generate super pixels based on the noise.

일실시예에 따른 깊이 영상 처리 방법은, 광도 영상을 이용하여 깊이 영상의 노이즈를 추정하는 단계; 상기 광도 영상을 구성하는 픽셀의 광도 정보, 상기 깊이 영상의 깊이 정보 및 상기 추정된 노이즈에 기초하여 평면 단위의 슈퍼 픽셀을 생성하는 단계; 및 상기 깊이 영상의 깊이 정보 및 상기 슈퍼 픽셀의 깊이 정보를 이용하여 상기 깊이 영상의 노이즈를 제거하는 단계를 포함할 수 있다.According to an embodiment of the present invention, there is provided a depth image processing method comprising: estimating a noise of a depth image using a luminance image; Generating super pixels in a plane unit based on the luminance information of pixels constituting the luminance image, the depth information of the depth image, and the estimated noise; And removing the noise of the depth image using depth information of the depth image and depth information of the super pixel.

일실시예에 따른 깊이 영상 처리 방법은, 광도 영상 및 깊이 영상을 이용하여 픽셀들을 평면 단위의 슈퍼 픽셀로 그룹핑하는 단계; 및 상기 슈퍼 픽셀의 깊이 정보를 이용하여 상기 깊이 영상의 노이즈를 제거하는 단계를 포함할 수 있다.According to an embodiment of the present invention, there is provided a depth image processing method comprising: grouping pixels into super pixels in a plane unit using a luminance image and a depth image; And removing the noise of the depth image using the depth information of the super pixel.

도 1은 일실시예에 따른 깊이 영상 처리 장치의 동작을 설명하기 위한 도면이다.
도 2는 일실시예에 따른 깊이 영상 처리 장치의 입력 영상 및 출력 영상의 일례를 도시한 도면이다.
도 3은 일실시예에 따른 깊이 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 4는 일실시예에 따른 평면 단위의 슈퍼 픽셀들을 생성하는 일례를 도시한 도면이다.
도 5는 일실시예에 따른 공간 포인트의 깊이 오차를 계산하는 과정의 일례를 설명하기 위한 도면이다.
도 6은 일실시예에 따른 깊이 영상 처리 방법의 동작을 도시한 흐름도이다.
도 7은 일실시예에 따른 슈퍼 픽셀을 생성하는 동작을 도시한 흐름도이다.FIG. 1 is a view for explaining an operation of a depth image processing apparatus according to an embodiment.
2 is a diagram illustrating an example of an input image and an output image of a depth image processing apparatus according to an embodiment.
3 is a diagram illustrating a detailed configuration of a depth image processing apparatus according to an exemplary embodiment.
FIG. 4 is a diagram illustrating an example of generating super pixels in a plane unit according to an embodiment.
5 is a view for explaining an example of a process of calculating a depth error of a spatial point according to an embodiment.
6 is a flowchart illustrating an operation of a depth image processing method according to an exemplary embodiment.
7 is a flowchart illustrating an operation of generating a super pixel according to an embodiment.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 발명의 실시예들을 설명하기 위한 목적으로 예시된 것으로, 발명의 범위가 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안된다. 일실시예에 따른 깊이 영상 처리 방법은 깊이 영상 처리 장치에 의해 수행될 수 있으며, 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, embodiments will be described in detail with reference to the accompanying drawings. The specific structural or functional descriptions below are merely illustrative for purposes of illustrating embodiments of the invention and are not to be construed as limiting the scope of the invention to the embodiments described in the text. The depth image processing method according to an exemplary embodiment can be performed by a depth image processing apparatus, and the same reference numerals shown in the drawings denote the same members.

도 1은 일실시예에 따른 깊이 영상 처리 장치의 동작을 설명하기 위한 도면이다.FIG. 1 is a view for explaining an operation of a depth image processing apparatus according to an embodiment.

깊이 영상 처리 장치(110)는 한 쌍의 깊이 영상(depth image)(120) 및 광도 영상(amplitude image)(130)을 입력으로 하여 노이즈가 제거된 깊이 영상(또는, 노이즈가 줄어든 깊이 영상)(140)을 출력할 수 있다. 구체적으로, 깊이 영상 처리 장치(110)는 광도 영상(130)을 구성하는 픽셀의 광도(amplitude) 정보 및 깊이 영상(120)의 깊이 정보를 이용하여 깊이 영상(120)에서의 노이즈를 제거할 수 있다. 픽셀의 광도 정보는 픽셀이 표현하는 빛의 세기를 나타낼 수 있다. 깊이 영상 처리 장치(110)는 깊이 카메라에 내장되거나 또는 외장될 수 있다.The depth image processing apparatus 110 receives a depth image 120 and a brightness image 130 and outputs a noise-removed depth image (or a noise-reduced depth image) 140). Specifically, the depth image processing apparatus 110 can remove noise from the depth image 120 using amplitude information of pixels constituting the luminance image 130 and depth information of the depth image 120 have. The luminosity information of the pixel may indicate the intensity of the light represented by the pixel. The depth image processing device 110 may be embedded in a depth camera or externally.

깊이 영상(120) 및 광도 영상(130)은 깊이 카메라에 의해 생성될 수 있다. 깊이 영상(120)은 피사체가 깊이 카메라로부터 어느 정도 떨어져 있는지를 나타낼 수 있고, 광도 영상(130)은 피사체로부터 반사 또는 굴절되어 되돌아온 빛의 세기를 나타낼 수 있다.The depth image 120 and the brightness image 130 may be generated by a depth camera. The depth image 120 may indicate how far away the subject is from the depth camera, and the brightness image 130 may reflect the intensity of the light reflected or refracted from the subject.

깊이 영상(120)의 노이즈는 피사체까지의 거리, 반사도와 같은 피사체의 재질 특성 등에 영향을 받을 수 있다. 이러한 깊이 영상(120)의 노이즈를 적절히 제거하기 위해, 깊이 영상 처리 장치(110)는 깊이 영상(120) 및 광도 영상(130)이 나타내는 장면(scene)이 다수의 평면으로 구성되어 있음에 기초하여 깊이 영상(120)의 노이즈를 제거할 수 있다. 구체적으로, 깊이 영상 처리 장치(110)는 픽셀들을 그룹핑(grouping)하여 평면 단위의 슈퍼 픽셀(planar super-pixel)(또는, "슈퍼 픽셀")을 생성할 수 있고, 생성된 슈퍼 픽셀에 기초하여 깊이 영상(120)의 노이즈를 제거할 수 있다.The noise of the depth image 120 may be affected by the distance to the subject and the material characteristics of the subject, such as the reflectivity. In order to appropriately remove the noise of the depth image 120, the depth image processing apparatus 110 determines whether or not the scene represented by the depth image 120 and the luminance image 130 is composed of a plurality of planes The noise of the depth image 120 can be removed. Specifically, the depth image processing apparatus 110 can group planar pixels to generate a planar super-pixel (or "super pixel"), and based on the generated super pixel The noise of the depth image 120 can be removed.

도 2는 일실시예에 따른 깊이 영상 처리 장치의 입력 영상 및 출력 영상의 일례를 도시한 도면이다.2 is a diagram illustrating an example of an input image and an output image of a depth image processing apparatus according to an embodiment.

도 2를 참조하면, 깊이 영상 처리 장치(210)의 입력 영상인 깊이 영상(220) 및 광도 영상(230)의 일례가 도시되어 있다. 깊이 영상(220)은 피사체까지의 거리를 나타내어 원근감을 표현할 수 있다. 예를 들어, 깊이 영상(220)에서 어두운 색으로 표현된 영역은 밝은 색으로 표현된 영역보다 피사체까지의 거리가 더 멀다는 것을 나타낼 수 있다. 동일 장면에 대한 광도 영상(230)은 반사되어 되돌아온 빛의 세기를 나타낼 수 있고, 피사체의 식별을 가능하게 한다.Referring to FIG. 2, an example of a depth image 220 and a brightness image 230, which are input images of the depth image processing apparatus 210, are shown. The depth image 220 represents the distance to the subject and can express the perspective. For example, the area represented by the dark color in the depth image 220 may indicate that the distance to the subject is greater than the area represented by the bright color. The luminous intensity image 230 for the same scene can reflect the intensity of the reflected light back, enabling identification of the subject.

깊이 영상 처리 장치(210)는 깊이 영상(220)의 노이즈를 감소시키기 위해 픽셀들이 그룹핑된 슈퍼 픽셀을 이용할 수 있다. 깊이 영상 처리 장치(210)는 슈퍼 픽셀의 깊이 정보에 기초하여 깊이 영상(220)의 픽셀이 나타내는 깊이값을 새롭게 결정할 수 있다. 이를 통해, 깊이 영상 처리 장치(210)는 도 2에 도시된 것과 같은 노이즈가 줄어든 깊이 영상(240)을 출력할 수 있다.The depth image processing apparatus 210 may use the super pixels in which the pixels are grouped to reduce the noise of the depth image 220. [ The depth image processing apparatus 210 can newly determine the depth value indicated by the pixel of the depth image 220 based on the depth information of the super pixel. Accordingly, the depth image processing apparatus 210 can output the noise-reduced depth image 240 as shown in FIG.

도 3은 일실시예에 따른 깊이 영상 처리 장치의 세부 구성을 도시한 도면이다.3 is a diagram illustrating a detailed configuration of a depth image processing apparatus according to an exemplary embodiment.

도 3을 참조하면, 깊이 영상 처리 장치(310)는 노이즈 추정부(320), 슈퍼 픽셀 생성부(330) 및 노이즈 제거부(340)를 포함할 수 있다.Referring to FIG. 3, the depth image processing apparatus 310 may include a noise estimator 320, a super pixel generator 330, and a noise eliminator 340.

노이즈 추정부(320)는 광도 영상을 이용하여 깊이 영상의 노이즈를 추정할 수 있다. 예를 들어, 노이즈 추정부(320)는 가우시안(Gauissian) 분포 모델에 광도 영상을 구성하는 픽셀의 광도 정보를 적용하여 깊이 영상의 노이즈를 추정할 수 있다. 노이즈 추정부(320)는 깊이 영상의 노이즈를 가우시안 분포로 모델링할 수 있고, 모델링된 가우시안 분포의 표준 편차를 계산하여 깊이 영상의 노이즈 크기를 추정할 수 있다. 깊이 영상의 노이즈가 모델링된 가우시안 분포의 표준 편차

Figure 112013000516000-pat00001
는 다음의 수학식 1의 관계를 가질 수 있다.The noise estimator 320 can estimate the noise of the depth image using the luminance image. For example, the noise estimator 320 may estimate the noise of the depth image by applying the luminance information of the pixels constituting the luminance image to the Gaussian distribution model. The noise estimator 320 can model the noise of the depth image with the Gaussian distribution and estimate the noise magnitude of the depth image by calculating the standard deviation of the modeled Gaussian distribution. The noise of the depth image is the standard deviation of the modeled Gaussian distribution
Figure 112013000516000-pat00001
Can have the relationship of the following equation (1).

Figure 112013000516000-pat00002
Figure 112013000516000-pat00002

수학식 1에서, f 는 깊이 카메라가 조사한 빛의 주파수를 나타내고, B 는 피사체에 반사되어 되돌아오는 빛의 세기의 DC 성분을 나타낸다. A 는 피사체에 반사되어 되돌아오는 빛의 세기의 진폭 성분을 나타내고, T 는 깊이 센서에서의 전하의 누적 시간(integration time)을 나타낸다.In Equation (1), f represents the frequency of light irradiated by the depth camera, and B represents the DC component of the intensity of the light reflected back from the subject. A represents the amplitude component of the intensity of the light reflected back to the subject, and T represents the integration time of the charge in the depth sensor.

다른 예로, 노이즈 추정부(320)는 포아송(Poisson) 분포 모델에 광도 영상을 구성하는 픽셀의 광도 정보를 적용하여 깊이 영상의 노이즈를 추정할 수도 있다. 깊이 영상의 노이즈는 반사되어 되돌아오는 빛에 의해 발생된 픽셀 내에서의 전자의 개수에 기초하여 결정될 수 있다. 노이즈 추정부(320)는 픽셀에서 발생된 전자의 개수를 포아송 분포로 모델링할 수 있고, 모델링된 포아송 분포 모델에 기초하여 깊이 영상의 노이즈 크기를 추정할 수 있다. 포아송 분포 모델을 통해 근사화된 깊이 영상의 노이즈 크기 ? 는 다음의 수학식 2의 관계를 가질 수 있다.As another example, the noise estimator 320 may estimate the noise of the depth image by applying the luminance information of the pixels constituting the luminance image to the Poisson distribution model. The noise of the depth image can be determined based on the number of electrons in the pixel generated by the reflected and returned light. The noise estimator 320 can model the number of electrons generated in the pixel with the Poisson distribution and estimate the noise magnitude of the depth image based on the modeled Poisson distribution model. Noise size of approximated depth image through Poisson distribution model? Can have the relationship of the following equation (2).

Figure 112013000516000-pat00003
Figure 112013000516000-pat00003

수학식 2에서, k 는 임의의 상수이고, Nelectron 은 픽셀에서 발생된 전자의 개수이다. 수학식 2를 통해 깊이 영상의 노이즈 크기는 반사되어 되돌아온 빛에 의해 발생된 픽셀 내에서의 전자의 개수에 관계되어 있음을 알 수 있다. 픽셀에서 발생된 전자의 개수는 광도 영상이 나타내는 광도에 대응될 수 있다. 예를 들어, 픽셀에서 발생된 전자의 개수가 많을수록 광도 영상에서 광도가 더 큰 것으로 표현될 수 있다.In Equation (2), k is an arbitrary constant and N electron is the number of electrons generated in the pixel. It can be seen from Equation (2) that the noise size of the depth image is related to the number of electrons in the pixel generated by the reflected light. The number of electrons generated in the pixel may correspond to the luminous intensity represented by the luminous intensity image. For example, the greater the number of electrons generated in a pixel, the greater the luminosity in a luminosity image.

노이즈 추정부(320)는 위에 기재한 가우시안 분포 모델 또는 포아송 분포 모델에 기초하여 깊이 영상의 노이즈 크기를 추정할 수 있고, 전체 픽셀에 대해 노이즈를 추정하여 노이즈 영상을 생성할 수 있다.The noise estimating unit 320 can estimate the noise magnitude of the depth image based on the Gaussian distribution model or the Poisson distribution model described above, and generate a noise image by estimating noise for all the pixels.

슈퍼 픽셀 생성부(330)는 깊이 영상 및 광도 영상을 이용하여 평면 단위의 픽셀 그룹인 슈퍼 픽셀을 생성할 수 있다. 구체적으로, 슈퍼 픽셀 생성부(330)는 광도 영상을 구성하는 픽셀의 광도 정보, 깊이 영상의 깊이 정보 및 노이즈 추정부(320)에 의해 추정된 깊이 영상의 노이즈에 기초하여 평면 단위의 슈퍼 픽셀을 생성할 수 있다. 평면 단위의 슈퍼 픽셀은 공간상에서 동일 평면의 공간 포인트(three-dimensional point)들을 나타내는 픽셀들의 집합일 수 있다.The super-pixel generation unit 330 may generate a super-pixel, which is a pixel group in a plane unit, using the depth image and the luminance image. Specifically, the super-pixel generating unit 330 generates a super-pixel of a plane unit based on the luminance information of the pixels constituting the luminance image, the depth information of the depth image, and the noise of the depth image estimated by the noise estimating unit 320 Can be generated. A superpixel in a plane unit may be a set of pixels representing three-dimensional points in the same plane in space.

일실시예에 따르면, 슈퍼 픽셀 생성부(330)는 다음과 같은 과정에 따라 평면 단위의 슈퍼 픽셀을 생성할 수 있다.According to one embodiment, the super-pixel generating unit 330 may generate a super-pixel of a plane unit according to the following procedure.

(1) 슈퍼 픽셀 생성부(330)는 전체 픽셀에서 각각의 픽셀을 하나의 평면 단위의 슈퍼 픽셀로 초기화할 수 있다. 슈퍼 픽셀 생성부(330)는 각 픽셀에 대응되는 평면의 법선(normal) 방향을 공간 포인트가 나타내는 광선 방향(ray direction)으로 초기화할 수 있다. 각 픽셀에 대응되는 평면은 각 픽셀이 나타내는 공간 포인트를 지나는 평면일 수 있다.(1) The super-pixel generating unit 330 may initialize each pixel in all the pixels as a super-pixel of one plane unit. The super-pixel generation unit 330 may initialize the normal direction of the plane corresponding to each pixel to a ray direction in which the spatial point indicates the direction. The plane corresponding to each pixel may be a plane that passes through the spatial point represented by each pixel.

(2) 슈퍼 픽셀 생성부(330)는 이웃한 픽셀들을 "에지(edge)"로 연결하여 픽셀 쌍(pixel pair)을 설정할 수 있다. 슈퍼 픽셀 생성부(330)는 광도 영상을 구성하는 픽셀들 중 이웃한 픽셀들 간의 광도 차이를 계산할 수 있다.(2) The super-pixel generation unit 330 may set a pixel pair by connecting neighboring pixels with an "edge ". The super-pixel generating unit 330 may calculate a difference in brightness of neighboring pixels among the pixels constituting the luminance image.

슈퍼 픽셀 생성부(330)는 이웃한 픽셀들 간의 광도 차이의 크기에 기초하여 이웃한 픽셀들을 픽셀 쌍으로 설정할지 여부를 결정할 수 있다. 예를 들어, 슈퍼 픽셀 생성부(330)는 이웃한 픽셀들 간의 광도 차이가 평균값의 N배 이상인 경우에는 이웃한 픽셀들을 픽셀 쌍으로 설정하지 않을 수 있다. 여기서, 평균값은 전체 픽셀에 대해 계산한 이웃 픽셀들 간의 광도 차이의 합에 대한 평균이고, N은 미리 설정된 임의의 숫자일 수 있다.The super-pixel generation unit 330 may determine whether neighboring pixels are set as pixel pairs based on the magnitude of the luminance difference between neighboring pixels. For example, the super-pixel generation unit 330 may not set the neighboring pixels to a pixel pair when the difference in luminance between neighboring pixels is N times or more the average value. Here, the average value is an average of the sum of the luminance differences between neighboring pixels calculated for the entire pixel, and N may be any predetermined number.

(3) 슈퍼 픽셀 생성부(330)는 광도 차이가 작은 순서대로 이웃한 픽셀들의 그룹핑 여부를 결정할 수 있다. 예를 들어, 슈퍼 픽셀 생성부(330)는 광도 차이의 크기에 기초하여 픽셀 쌍들을 정렬하고, 픽셀들 간의 광도 차이가 작은 픽셀 쌍부터 순차적으로 픽셀들의 그룹핑 여부를 결정할 수 있다.(3) The super-pixel generation unit 330 can determine whether the neighboring pixels are grouped in order of smaller light intensity difference. For example, the super-pixel generation unit 330 may sort the pixel pairs based on the magnitude of the light intensity difference, and determine whether to group the pixels sequentially from a pixel pair having a small light intensity difference between the pixels.

(4) 슈퍼 픽셀 생성부(330)는 에지로 연결된 이웃한 픽셀들이 동일 평면의 슈퍼 픽셀에 포함되는 경우, 다른 이웃한 픽셀들에 대해 그룹핑 여부를 판단한다.(4) When the neighboring pixels connected by edges are included in the super-pixels of the same plane, the super-pixel generating unit 330 determines whether or not the other neighboring pixels are grouped.

(5) 슈퍼 픽셀 생성부(330)는 에지로 연결된 이웃한 픽셀들이 서로 다른 평면의 슈퍼 픽셀에 포함되고, 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 개수가 2개인 경우, 이웃한 픽셀들을 그룹핑할 수 있다.(5) If the neighboring pixels connected by the edge are included in the super-pixels of different planes and the total number of pixels constituting the super-pixels of the different planes is 2, the super- Grouping.

(6) 슈퍼 픽셀 생성부(330)는 이웃한 픽셀들이 서로 다른 평면의 슈퍼 픽셀에 포함되고, 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 개수가 3개 이상인 경우, 서로 다른 평면의 슈퍼 픽셀에 포함된 모든 픽셀의 공간 포인트들에 대해 새로운 평면을 적용할 수 있다. 공간 포인트들에 적용될 평면은 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 공간 포인트들의 위치에 기초하여 결정될 수 있다.(6) When the neighboring pixels are included in the super-pixels of different planes and the total number of pixels constituting the super-pixels of the different planes is three or more, the super-pixel generating unit 330 generates the super- A new plane can be applied to the spatial points of all the pixels included in the pixel. The planes to be applied to the spatial points can be determined based on the positions of the spatial points of all the pixels constituting the super-pixels of the different planes.

그 후, 슈퍼 픽셀 생성부(330)는 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 공간 포인트들이 가지는 깊이 오차에 기초하여 이웃한 픽셀들의 그룹핑 여부를 결정할 수 있다. 공간 포인트가 가지는 깊이 오차는 공간 포인트에 적용된 평면에서의 깊이값과 깊이 영상이 나타내는 측정된 깊이값 간의 차이를 나타낼 수 있다.Then, the super-pixel generating unit 330 can determine whether the neighboring pixels are grouped based on the depth error of the spatial points of all the pixels constituting the super-pixels of different planes. The depth error of the spatial point may represent the difference between the depth value in the plane applied to the spatial point and the measured depth value represented by the depth image.

슈퍼 픽셀 생성부(330)는 깊이 영상의 깊이 정보를 이용하여 광도 영상을 구성하는 픽셀의 공간 포인트가 가지는 깊이 오차를 계산하고, 계산한 깊이 오차와 노이즈 추정부(320)에 의해 추정된 노이즈에 기초하여 슈퍼 픽셀을 생성할 수 있다.The super-pixel generating unit 330 calculates depth errors of the spatial points of the pixels constituting the luminance image using the depth information of the depth image, and outputs the calculated depth error and the noise estimated by the noise estimating unit 320 It is possible to generate a super pixel based on the super-pixel.

예를 들어, 슈퍼 픽셀 생성부(330)는 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 공간 포인트의 깊이 오차가 미리 설정된 값(예를 들어, 노이즈 추정부(320)가 추정한 노이즈 크기

Figure 112013000516000-pat00004
의 K 배, K 는 미리 설정된 임의의 숫자)보다 작은 경우, 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀을 그룹핑하여 새로운 평면의 슈퍼 픽셀로 생성할 수 있다. 이와 반대로, 슈퍼 픽셀 생성부(330)는 공간 포인트의 깊이 오차가 미리 설정된 값 이상인 경우에는 픽셀의 그룹핑을 수행하지 않을 수 있다.For example, the super-pixel generating unit 330 generates a super-pixel having a depth error of a total spatial point constituting the super-pixels of different planes by a preset value (for example, a noise size estimated by the noise estimating unit 320)
Figure 112013000516000-pat00004
And K is an arbitrary number set in advance), it is possible to group all the pixels constituting the super-pixels of different planes into a super-pixel of a new plane. On the contrary, the super-pixel generation unit 330 may not perform pixel grouping when the depth error of the spatial point is equal to or larger than a predetermined value.

노이즈 제거부(340)는 깊이 영상의 깊이 정보 및 슈퍼 픽셀의 깊이 정보를 이용하여 깊이 영상의 노이즈를 제거할 수 있다. 깊이 영상의 깊이 정보는 피사체까지의 측정된 거리값을 나타낼 수 있다. 슈퍼 픽셀은 슈퍼 픽셀에 포함되는 픽셀들의 인덱스(index), 슈퍼 픽셀에 포함되는 픽셀들의 개수 및 슈퍼 픽셀이 나타내는 평면의 파라미터(예를 들어, 평면 방정식 "a*X+b*Y+c*Z+d=0"의 계수인 a, b, c, d)에 관한 정보를 가질 수 있다. 슈퍼 픽셀의 깊이 정보는 공간 포인트에 적용된 평면에서의 깊이값을 나타낼 수 있고, 평면에서의 깊이값은 슈퍼 픽셀에 포함되는 픽셀들의 인덱스 및 슈퍼 픽셀이 나타내는 평면의 파라미터에 기초하여 계산될 수 있다.The noise removing unit 340 may remove the noise of the depth image using the depth information of the depth image and the depth information of the super pixel. The depth information of the depth image may indicate the measured distance value to the subject. The superpixel includes an index of pixels included in a superpixel, a number of pixels included in the superpixel, and a parameter of a plane represented by the superpixel (for example, a plane equation "a * X + b * Y + c * Z b, c, d, which are coefficients of " + d = 0 ". The depth information of the superpixel can represent the depth value in the plane applied to the spatial point, and the depth value in the plane can be calculated based on the index of the pixels included in the superpixel and the parameter of the plane represented by the superpixel.

노이즈 제거부(340)는 깊이 영상을 구성하는 픽셀의 깊이 정보 및 슈퍼 픽셀의 깊이 정보가 적용된 에너지 함수에 기초하여 깊이 영상을 구성하는 픽셀의 깊이값을 결정할 수 있다. 에너지 함수는 깊이 영상을 구성하는 픽셀의 깊이 정보에 관한 우도 함수(likelihood function) 및 슈퍼 픽셀의 깊이 정보에 관한 우도 함수에 기초하여 결정될 수 있다.The noise removing unit 340 may determine a depth value of a pixel constituting the depth image based on depth information of pixels constituting the depth image and depth information of the super pixel. The energy function can be determined based on a likelihood function relating to depth information of pixels constituting the depth image and a likelihood function regarding depth information of the superpixel.

예를 들어, 평면 i를 나타내는 슈퍼 픽셀 si 의 깊이 정보에 관한 우도 함수는 다음의 수학식 3과 같이 나타낼 수 있다. 수학식 3은 깊이 영상의 어느 한 픽셀 a 의 깊이값 ra 의 우도(likelihood)를 나타낸다.For example, the likelihood function on the depth information of the super pixel s i representing the plane i can be expressed by the following Equation 3. Equation (3) represents the likelihood of the depth value r a of a pixel a of the depth image.

Figure 112013000516000-pat00005
Figure 112013000516000-pat00005

수학식 3에서, N 은 깊이 영상에 속하는 전체 픽셀의 개수이고, ni 는 슈퍼 픽셀 si에 포함된 픽셀들의 개수이다.

Figure 112013000516000-pat00006
는 슈퍼 픽셀 si에 속하는 픽셀들의 공간 포인트들이 가지는 깊이 오차의 평균값이고, ra* 는 슈퍼 픽셀 si가 나타내는 평면 상에 존재하며, 픽셀 a의 광선 방향과 동일한 방향을 갖는 공간 포인트의 깊이값이다.In Equation (3), N is the total number of pixels belonging to the depth image and n i is the number of pixels included in the super pixel s i .
Figure 112013000516000-pat00006
Is an average value of the depth errors of the spatial points of the pixels belonging to the super pixel s i and r a * is the depth value of the spatial point existing on the plane indicated by the super pixel s i and having the same direction as the light ray direction of the pixel a to be.

만약, 픽셀 a가 속하는 평면 i* 를 정확하게 알고 있다고 가정하면, 위 수학식 3은 다음의 수학식 4와 같이 나타낼 수 있다.Assuming that we know the plane i * to which the pixel a belongs correctly, Equation (3) can be expressed as Equation (4).

Figure 112013000516000-pat00007
Figure 112013000516000-pat00007

또한, 깊이 영상을 구성하는 픽셀의 깊이 정보에 관한 우도 함수로서, 깊이 영상의 어느 한 픽셀 a 의 깊이값 ra 의 우도는 다음의 수학식 5와 같이 나타낼 수 있다.Also, as a likelihood function relating to depth information of pixels constituting the depth image, the likelihood of the depth value r a of any one pixel a of the depth image can be expressed by the following equation (5).

Figure 112013000516000-pat00008
Figure 112013000516000-pat00008

수학식 5에서,

Figure 112013000516000-pat00009
는 깊이값 ra 이 가지는 노이즈의 표준 편차로서, 노이즈 추정부(320)에 의해 추정된 노이즈의 크기를 나타낼 수 있다.
Figure 112013000516000-pat00010
는 픽셀 a의 측정된 깊이값을 나타낸다.In Equation (5)
Figure 112013000516000-pat00009
The depth value r a This is the standard deviation of the noise, which can indicate the magnitude of the noise estimated by the noise estimator 320. [
Figure 112013000516000-pat00010
Represents the measured depth value of the pixel a.

수학식 4와 수학식 5에 기초하여 다음의 수학식 6과 같은 에너지 함수(우도 함수의 함)를 정의할 수 있다.An energy function (of a likelihood function) as shown in Equation (6) below can be defined based on Equations (4) and (5).

Figure 112013000516000-pat00011
Figure 112013000516000-pat00011

노이즈 제거부(340)는 위 수학식 6을 최소화하는 깊이값 ra 를 각각의 픽셀에 대해 추정하여 깊이 영상의 노이즈를 제거할 수 있다.The noise removing unit 340 may remove the noise of the depth image by estimating a depth value r a that minimizes Equation (6) above for each pixel.

또는, 노이즈 제거부(340)는 전체 픽셀에 대한 에너지 함수에 기초하여 깊이 영상을 구성하는 픽셀의 깊이값을 결정할 수도 있다. 에너지 함수는 깊이 영상을 구성하는 픽셀의 깊이 정보와 슈퍼 픽셀의 깊이 정보가 적용된 에너지 함수 및 인접한 픽셀들 간에 정의되는 에너지 함수를 포함할 수 있다.Alternatively, the noise removing unit 340 may determine the depth value of the pixels constituting the depth image based on the energy function for the entire pixel. The energy function may include an energy function to which depth information of a pixel constituting a depth image and a depth information of a super pixel are applied, and an energy function defined between adjacent pixels.

예를 들어, 영상 전체 또는 전체 픽셀에 대해 정의되는 전역적인(global) 에너지 함수는 다음의 수학식 7과 같이 나타낼 수 있다.For example, the global energy function defined for the whole image or all the pixels can be expressed by the following Equation (7).

Figure 112013000516000-pat00012
Figure 112013000516000-pat00012

수학식 7에서, rb 는 픽셀 a에 이웃한 픽셀 b의 깊이값을 나타내고, Na 는 픽셀 a에 인접한 픽셀들의 집합을 나타낸다. 노이즈 제거부(340)는 위 수학식 7과 같은 에너지 함수의 결과를 최소화하는 깊이값 ra 를 추정하여 깊이 영상의 노이즈를 제거할 수 있다. 노이즈 제거부(340)는 수학식 7의 에너지 함수를 최소화하는 거리값들을 수치 해석의 한 방법인 가우스 지델 법(Gauss-Siedel method) 또는 자코비 법(Jacobbi method) 등을 이용하여 계산할 수 있다.In Equation (7), r b represents the depth value of the pixel b adjacent to the pixel a, and N a represents the set of pixels adjacent to the pixel a. The noise removing unit 340 can remove the noise of the depth image by estimating the depth value r a that minimizes the result of the energy function as shown in Equation (7). The noise eliminator 340 may calculate the distance values that minimize the energy function of Equation (7) by using a Gauss-Siedel method or a Jacobbi method, which is a method of numerical analysis.

V(ra, rb)는 이웃한 픽셀 a와 픽셀 b 사이에 정의되는 에너지 함수를 나타낸다. V(ra, rb) 는 픽셀 a와 픽셀 b 간의 광도 차이가 작을수록, 픽셀 a와 픽셀 b 간의 측정된 거리값의 차이가 작을수록, 그리고 깊이값 ra와 깊이값 rb 간의 차이가 클수록 큰 값을 가질 수 있다. 예를 들어, V(ra, rb)는 다음의 수학식 8과 같이 나타낼 수 있다.V (r a , r b ) represents an energy function defined between neighboring pixels a and b. The smaller the difference in luminosity between pixel a and pixel b, the smaller the difference in measured distance between pixel a and pixel b, and the difference between the depth value r a and the depth value r b , V (r a , r b ) The larger the value, the larger the value can be. For example, V (r a , r b ) can be expressed by the following equation (8).

Figure 112013000516000-pat00013
Figure 112013000516000-pat00013

도 4는 일실시예에 따른 평면 단위의 슈퍼 픽셀들을 생성하는 일례를 도시한 도면이다.FIG. 4 is a diagram illustrating an example of generating super pixels in a plane unit according to an embodiment.

깊이 영상 처리 장치는 깊이 영상(410) 및 광도 영상(420)을 이용하여 픽셀들을 평면 단위로 그룹핑할 수 있다. 구체적으로, 깊이 영상 처리 장치는 광도 영상(420)을 구성하는 픽셀의 광도 정보, 깊이 영상(410)의 깊이 정보 및 광도 영상(420)에 기초하여 추정된 깊이 영상의 노이즈에 기초하여 픽셀들을 그룹핑할 수 있다. 그룹핑된 픽셀들은 평면 단위의 슈퍼 픽셀 또는 패치(patch) 영역을 구성할 수 있다. 슈퍼 픽셀 또는 패치 영역은 픽셀들의 공간 포인트가 포함되는 공간 상의 평면을 나타낼 수 있다. 영상(430)에는 깊이 영상(410) 및 광도 영상(420)을 이용하여 생성된 서로 다른 평면의 슈퍼 픽셀들이 도시되어 있다.The depth image processing apparatus can group the pixels in a plane unit by using the depth image 410 and the brightness image 420. Specifically, the depth image processing apparatus groups the pixels based on the luminance information of the pixels constituting the luminance image 420, the depth information of the depth image 410, and the noise of the estimated depth image based on the luminance image 420 can do. The grouped pixels may constitute a super pixel or patch area in a plane unit. The superpixel or patch region may represent a plane on the space containing the spatial point of the pixels. In the image 430, super-pixels of different planes generated using the depth image 410 and the brightness image 420 are shown.

도 5는 일실시예에 따른 공간 포인트의 깊이 오차를 계산하는 과정의 일례를 설명하기 위한 도면이다.5 is a view for explaining an example of a process of calculating a depth error of a spatial point according to an embodiment.

도 5를 참조하면, 공간 포인트가 가지는 깊이 오차는 공간 포인트에 적용된 평면에서의 깊이값과 깊이 영상이 나타내는 측정된 깊이값 간의 차이를 나타낼 수 있다. 공간상의 위치(520)는 측정된 깊이값(510)을 가지는 어느 한 픽셀 a의 공간 포인트의 위치를 나타낸다. 평면(530)상에 존재하는 공간상의 위치(540)는 픽셀 a의 공간 포인트에 적용된 평면(530)에서의 위치를 나타낸다.Referring to FIG. 5, a depth error of a spatial point may represent a difference between a depth value in a plane applied to a spatial point and a measured depth value represented by the depth image. A spatial location 520 represents the location of a spatial point of a pixel a with a measured depth value 510. The location 540 on the space present on the plane 530 represents the position in the plane 530 applied to the spatial point of the pixel a.

만약, 공간상의 위치(520)를 (x, y, z)라 하면, 평면(530)상에 존재하는 공간상의 위치(540)는 (t*x, t*y, t*z)의 좌표로 나타낼 수 있다. 여기서, 상수 t 는 평면(530)의 평면 방정식과 공간상의 위치(520)를 이용하여 결정될 수 있다. 공간 포인트가 가지는 깊이 오차 e (550)는 공간 상의 위치(520)와 평면(530)상에 위치하는 공간상의 위치(540) 간의 거리를 나타내고, 다음의 수학식 9와 같이 나타낼 수 있다.Assuming that the spatial position 520 is (x, y, z), the position 540 on the space existing on the plane 530 is a coordinate of (t * x, t * y, t * z) . Here, the constant t may be determined using the plane equation of plane 530 and spatial position 520. The depth error e 550 of the spatial point represents the distance between the spatial position 520 on the space and the spatial position 540 on the plane 530 and can be expressed as Equation (9).

Figure 112013000516000-pat00014
Figure 112013000516000-pat00014

도 6은 일실시예에 따른 깊이 영상 처리 방법의 동작을 도시한 흐름도이다.6 is a flowchart illustrating an operation of a depth image processing method according to an exemplary embodiment.

단계(610)에서, 깊이 영상 처리 장치는 광도 영상을 이용하여 깊이 영상의 노이즈를 추정할 수 있다. 예를 들어, 노이즈 추정부는 가우시안 분포 모델 또는 포아송 분포 모델에 광도 영상을 구성하는 픽셀의 광도 정보를 적용하여 깊이 영상의 노이즈를 추정할 수 있다. 깊이 영상 처리 장치는 각 픽셀의 노이즈를 추정하여 노이즈 영상을 생성할 수 있다.In step 610, the depth image processing apparatus can estimate the noise of the depth image using the luminance image. For example, the noise estimator can estimate the noise of the depth image by applying the luminance information of the pixels constituting the luminance image to the Gaussian distribution model or the Poisson distribution model. The depth image processing apparatus can generate a noise image by estimating the noise of each pixel.

단계(620)에서, 깊이 영상 처리 장치는 깊이 영상 및 광도 영상을 이용하여 평면 단위의 슈퍼 픽셀을 생성할 수 있다. 구체적으로, 깊이 영상 처리 장치는 광도 영상을 구성하는 픽셀의 광도 정보, 깊이 영상의 깊이 정보 및 단계(610)에서 추정된 깊이 영상의 노이즈에 기초하여 평면 단위의 슈퍼 픽셀을 생성할 수 있다.In step 620, the depth image processing apparatus can generate a super-pixel in a plane unit using the depth image and the brightness image. Specifically, the depth image processing apparatus can generate a super-pixel of a plane unit based on the luminance information of the pixels constituting the luminance image, the depth information of the depth image, and the noise of the depth image estimated in step 610.

깊이 영상 처리 장치는 이웃한 픽셀들을 연결하여 픽셀 쌍을 설정할 수 있고, 픽셀 쌍을 구성하는 픽셀들 간의 광도 차이에 기초하여 슈퍼 픽셀을 생성할 수 있다. 또한, 깊이 영상 처리 장치는 광도 차이의 크기에 기초하여 픽셀 쌍들을 정렬하고, 픽셀들 간의 광도 차이가 작은 픽셀 쌍부터 순차적으로 픽셀들의 그룹핑 여부를 결정할 수 있다.The depth image processing apparatus can connect neighboring pixels to set up a pixel pair, and can generate a super pixel based on a difference in luminosity between the pixels constituting the pixel pair. In addition, the depth image processing apparatus can align the pixel pairs based on the magnitude of the luminosity difference, and determine whether the luminosity difference between the pixels is sequentially grouped from a small number of pixels.

깊이 영상 처리 장치는 픽셀 쌍을 구성하는 픽셀들이 서로 다른 평면의 슈퍼 픽셀에 포함되는 경우, 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 개수에 기초하여 이웃한 픽셀들의 그룹핑 여부를 결정할 수 있다. 깊이 영상 처리 장치는 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 개수가 2개인 경우에는 이웃한 픽셀들을 그룹핑하고, 전체 픽셀의 개수가 3개 이상인 경우에는 공간 포인트들이 가지는 깊이 오차에 기초하여 이웃한 픽셀들의 그룹핑 여부를 결정할 수 있다.The depth image processing apparatus can determine whether to group neighboring pixels based on the total number of pixels constituting the super pixels of different planes when the pixels constituting the pixel pair are included in the super pixels of different planes. The depth image processing apparatus groups neighboring pixels when the number of all pixels constituting super-pixels of different planes is two, and when the number of all pixels is three or more, It is possible to determine whether one pixel is grouped.

예를 들어, 깊이 영상 처리 장치는 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 공간 포인트의 깊이 오차가 미리 설정된 값보다 작은 경우, 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀을 그룹핑하여 새로운 평면의 슈퍼 픽셀로 생성할 수 있다. 이와 반대로, 깊이 영상 처리 장치는 공간 포인트의 깊이 오차가 미리 설정된 값 이상인 경우에는 픽셀의 그룹핑을 수행하지 않을 수 있다.For example, when the depth error of the entire spatial points constituting the superpixels on different planes is smaller than a predetermined value, the depth image processing apparatus groups all the pixels constituting the superpixels of the different planes, Pixel. ≪ / RTI > Conversely, if the depth error of the spatial point is equal to or greater than a predetermined value, the depth image processing apparatus may not perform pixel grouping.

단계(630)에서, 깊이 영상 처리 장치는 깊이 영상의 깊이 정보 및 슈퍼 픽셀의 깊이 정보를 이용하여 깊이 영상의 노이즈를 제거할 수 있다. 깊이 영상의 깊이 정보는 피사체까지의 측정된 거리값을 나타낼 수 있다. 슈퍼 픽셀의 깊이 정보는 공간 포인트에 적용된 평면에서의 깊이값을 나타낼 수 있고, 평면에서의 깊이값은 슈퍼 픽셀에 포함되는 픽셀들의 인덱스 및 슈퍼 픽셀이 나타내는 평면의 파라미터에 기초하여 계산될 수 있다.In step 630, the depth image processing apparatus can remove noise of the depth image using the depth information of the depth image and the depth information of the super pixel. The depth information of the depth image may indicate the measured distance value to the subject. The depth information of the superpixel can represent the depth value in the plane applied to the spatial point, and the depth value in the plane can be calculated based on the index of the pixels included in the superpixel and the parameters of the plane represented by the superpixel.

깊이 영상 처리 장치는 깊이 영상을 구성하는 픽셀의 깊이 정보 및 슈퍼 픽셀의 깊이 정보가 적용된 에너지 함수에 기초하여 깊이 영상을 구성하는 픽셀의 깊이값을 결정할 수 있다. 에너지 함수는 깊이 영상을 구성하는 픽셀의 깊이 정보에 관한 우도 함수 및 슈퍼 픽셀의 깊이 정보에 관한 우도 함수에 기초하여 결정될 수 있다. 깊이 영상 처리 장치는 에너지 함수의 결과를 최소화하는 깊이값을 추정하여 깊이 영상의 노이즈를 제거할 수 있다.The depth image processing apparatus can determine the depth value of the pixels constituting the depth image based on the energy function to which the depth information of the pixels constituting the depth image and the depth information of the super pixel are applied. The energy function can be determined based on the likelihood function regarding the depth information of the pixels constituting the depth image and the likelihood function concerning the depth information of the superpixel. The depth image processing apparatus can remove the noise of the depth image by estimating the depth value that minimizes the result of the energy function.

또는, 깊이 영상 처리 장치는 전체 픽셀에 대한 전역적인 에너지 함수에 기초하여 깊이 영상을 구성하는 픽셀의 깊이값을 결정할 수도 있다. 전역적인 에너지 함수는 깊이 영상을 구성하는 픽셀의 깊이 정보와 슈퍼 픽셀의 깊이 정보가 적용된 에너지 함수 및 인접한 픽셀들 간에 정의되는 에너지 함수를 포함할 수 있다. 깊이 영상 처리 장치는 전역적인 에너지 함수를 최소화하는 거리값들을 가우스 지델 법 또는 자코비 법 등을 이용하여 계산할 수 있다.Alternatively, the depth image processing apparatus may determine a depth value of a pixel constituting the depth image based on a global energy function for all the pixels. The global energy function may include an energy function applied to the depth information of the pixels constituting the depth image, a depth information of the superpixel, and an energy function defined between adjacent pixels. The depth image processing apparatus can calculate the distance values minimizing the global energy function using the Gaussian Gdel method or Jacoby method.

도 7은 일실시예에 따른 슈퍼 픽셀을 생성하는 동작을 도시한 흐름도이다.7 is a flowchart illustrating an operation of generating a super pixel according to an embodiment.

단계(710)에서, 깊이 영상 처리 장치는 전체 픽셀에서 각각의 픽셀을 하나의 평면 단위의 슈퍼 픽셀로 초기화할 수 있다. 깊이 영상 처리 장치는 각 픽셀에 대응되는 평면의 법선 방향을 공간 포인트가 나타내는 광선 방향으로 초기화할 수 있다. 각 픽셀에 대응되는 평면은 각 픽셀이 나타내는 공간 포인트를 지나는 평면일 수 있다.In step 710, the depth image processing device may initialize each pixel in the entire pixel to a superpixel in one plane unit. The depth image processing apparatus can initialize the normal direction of the plane corresponding to each pixel to the direction of the light ray indicated by the spatial point. The plane corresponding to each pixel may be a plane that passes through the spatial point represented by each pixel.

단계(720)에서, 깊이 영상 처리 장치는 이웃한 픽셀들을 에지로 연결하여 픽셀 쌍을 설정할 수 있다. 깊이 영상 처리 장치는 광도 영상을 구성하는 픽셀들 중 이웃한 픽셀들 간의 광도 차이를 계산할 수 있다.In step 720, the depth image processing device may connect the neighboring pixels to the edge to set the pixel pair. The depth image processing apparatus can calculate a difference in luminosity between neighboring pixels among the pixels constituting the luminance image.

깊이 영상 처리 장치는 이웃한 픽셀들 간의 광도 차이의 크기에 따라 이웃한 픽셀들을 픽셀 쌍으로 설정하지 않을 수 있다. 예를 들어, 깊이 영상 처리 장치는 이웃한 픽셀들 간의 광도 차이가 평균값의 N배 이상인 경우에는 이웃한 픽셀들을 픽셀 쌍으로 설정하지 않을 수 있다. 여기서, 평균값은 전체 픽셀에 대해 계산한 이웃 픽셀들 간의 광도 차이의 합에 대한 평균이고, N은 미리 설정된 임의의 숫자일 수 있다.The depth image processing apparatus may not set the neighboring pixels to a pixel pair according to the magnitude of the luminance difference between neighboring pixels. For example, the depth image processing apparatus may not set neighboring pixels to a pixel pair when the difference in brightness between neighboring pixels is N times or more the average value. Here, the average value is an average of the sum of the luminance differences between neighboring pixels calculated for the entire pixel, and N may be any predetermined number.

단계(730)에서, 깊이 영상 처리 장치는 광도 차이의 크기에 기초하여 픽셀 쌍들을 정렬하고, 픽셀들 간의 광도 차이가 작은 픽셀 쌍부터 순차적으로 픽셀들의 그룹핑 여부를 결정할 수 있다. In step 730, the depth image processing device may align the pixel pairs based on the magnitude of the luminosity difference and determine whether the luminosity difference between the pixels is grouped sequentially from the smallest pixel pair.

단계(740)에서, 깊이 영상 처리 장치는 에지로 연결된 이웃한 픽셀들이 서로 동일 평면의 슈퍼 픽셀에 포함되는지 여부를 판단할 수 있다. 판단 결과 이웃한 픽셀들이 동일 평면의 슈퍼 픽셀에 포함되는 경우, 깊이 영상 처리 장치는 다른 이웃한 픽셀들에 대해 그룹핑 여부를 판단한다.In step 740, the depth image processing apparatus may determine whether neighboring pixels connected by edges are included in super pixels of the same plane. If it is determined that neighboring pixels are included in the super-pixel of the same plane, the depth image processing apparatus determines whether the neighboring pixels are grouped.

단계(750)에서, 깊이 영상 처리 장치는 이웃한 픽셀들이 서로 다른 평면의 슈퍼 픽셀에 포함되는 경우, 서로 다른 평면을 구성하는 전체 픽셀의 개수가 3개 이상인지 여부를 판단할 수 있다. 만약, 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 개수가 2개라면, 깊이 영상 처리 장치는 이웃한 픽셀들을 그룹핑(770)할 수 있다.In step 750, if the neighboring pixels are included in the super-pixels of different planes, the depth image processing apparatus may determine whether the number of all pixels constituting the different planes is three or more. If the total number of pixels constituting the superpixels on different planes is two, the depth image processing apparatus can group (770) neighboring pixels.

단계(760)에서, 깊이 영상 처리 장치는 이웃한 픽셀들이 서로 다른 평면의 슈퍼 픽셀에 포함되고, 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 개수가 3개 이상인 경우, 서로 다른 평면의 슈퍼 픽셀에 포함된 모든 픽셀의 공간 포인트들에 대해 새로운 평면을 적용할 수 있다. 공간 포인트들에 적용될 평면은 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 공간 포인트들의 위치에 기초하여 결정될 수 있다.In step 760, if the neighboring pixels are included in the super-pixels of different planes and the total number of pixels constituting the super-pixels of the different planes is three or more, A new plane can be applied to the spatial points of all the pixels included in the pixel. The planes to be applied to the spatial points can be determined based on the positions of the spatial points of all the pixels constituting the super-pixels of the different planes.

그 후, 깊이 영상 처리 장치는 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 공간 포인트들이 가지는 깊이 오차에 기초하여 이웃한 픽셀들의 그룹핑 여부를 결정할 수 있다. 공간 포인트가 가지는 깊이 오차는 공간 포인트에 적용된 평면에서의 깊이값과 깊이 영상이 나타내는 측정된 깊이값 간의 차이를 나타낼 수 있다.Then, the depth image processing apparatus can determine whether or not the neighboring pixels are grouped based on the depth error of the spatial points of all the pixels constituting the super pixels of different planes. The depth error of the spatial point may represent the difference between the depth value in the plane applied to the spatial point and the measured depth value represented by the depth image.

깊이 영상 처리 장치는 깊이 영상의 깊이 정보를 이용하여 광도 영상을 구성하는 픽셀의 공간 포인트가 가지는 깊이 오차를 계산하고, 계산한 깊이 오차와 추정된 노이즈에 기초하여 슈퍼 픽셀을 생성할 수 있다.The depth image processing apparatus can calculate the depth error of the spatial point of the pixels constituting the luminance image using the depth information of the depth image, and generate the super pixel based on the calculated depth error and the estimated noise.

예를 들어, 깊이 영상 처리 장치는 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 공간 포인트의 깊이 오차가 미리 설정된 값(예를 들어, 노이즈 추정부가 추정한 노이즈 크기

Figure 112013000516000-pat00015
의 K 배, K 는 미리 설정된 임의의 숫자)보다 작은 경우, 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀을 그룹핑(770)하여 새로운 평면의 슈퍼 픽셀로 생성할 수 있다. 이와 반대로, 깊이 영상 처리 장치는 공간 포인트의 깊이 오차가 미리 설정된 값 이상인 경우에는 픽셀의 그룹핑을 수행하지 않을 수 있다.For example, in the depth image processing apparatus, when the depth error of the entire spatial points constituting the superpixels on different planes is smaller than a predetermined value (for example, the noise size estimated by the noise estimator
Figure 112013000516000-pat00015
And K is an arbitrary number set in advance), all the pixels constituting the super-pixels of different planes can be grouped (770) into super-pixels of a new plane. Conversely, if the depth error of the spatial point is equal to or greater than a predetermined value, the depth image processing apparatus may not perform pixel grouping.

깊이 영상 처리 장치는 픽셀들의 그룹핑 여부를 전체 픽셀 쌍들에 대해 판단할 때까지 단계(740) 내지 단계(770)의 과정을 계속적으로 수행할 수 있다.The depth image processing apparatus can continuously perform the processes of steps 740 to 770 until it is determined whether the pixels are grouped for all the pixel pairs.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (11)

광도 영상(amplitude image)을 이용하여 깊이 영상(depth image)의 노이즈를 추정하는 노이즈 추정부;
상기 광도 영상을 구성하는 픽셀의 광도(amplitude) 정보, 상기 깊이 영상의 깊이 정보 및 상기 추정된 노이즈에 기초하여 평면 단위의 슈퍼 픽셀(planar super-pixel)을 생성하는 슈퍼 픽셀 생성부; 및
상기 깊이 영상의 깊이 정보 및 상기 슈퍼 픽셀의 깊이 정보를 이용하여 상기 깊이 영상의 노이즈를 제거하는 노이즈 제거부
를 포함하고,
상기 슈퍼 픽셀 생성부는,
상기 깊이 영상의 깊이 정보를 이용하여 광도 영상을 구성하는 픽셀의 공간 포인트가 가지는 깊이 오차를 계산하고, 상기 깊이 오차와 상기 추정된 노이즈에 기초하여 슈퍼 픽셀을 생성하는 깊이 영상 처리 장치.A noise estimator for estimating noise of a depth image using an amplitude image;
A super pixel generating unit for generating a planar super-pixel based on the amplitude information of the pixels constituting the luminance image, the depth information of the depth image, and the estimated noise; And
A noise removing unit for removing noise of the depth image using the depth information of the depth image and the depth information of the super pixel,
Lt; / RTI >
Wherein the super-
Calculating a depth error of a spatial point of a pixel constituting the luminance image using the depth information of the depth image, and generating a super pixel based on the depth error and the estimated noise. 제1항에 있어서,
상기 노이즈 추정부는,
가우시안 분포 모델 또는 포아송 분포 모델에 광도 영상을 구성하는 픽셀의 광도 정보를 적용하여 깊이 영상의 노이즈를 추정하는 깊이 영상 처리 장치.The method according to claim 1,
Wherein the noise estimator comprises:
A depth image processing apparatus for estimating a noise of a depth image by applying luminance information of pixels constituting a luminance image to a Gaussian distribution model or a Poisson distribution model. 제1항에 있어서,
상기 슈퍼 픽셀 생성부는,
상기 광도 영상을 구성하는 픽셀들 중 이웃한 픽셀들 간의 광도 차이에 기초하여 슈퍼 픽셀을 생성하는 깊이 영상 처리 장치.The method according to claim 1,
Wherein the super-
And generates a super pixel based on a difference in luminosity between neighboring pixels among the pixels constituting the luminosity image. 광도 영상(amplitude image)을 이용하여 깊이 영상(depth image)의 노이즈를 추정하는 노이즈 추정부;
상기 광도 영상을 구성하는 픽셀의 광도(amplitude) 정보, 상기 깊이 영상의 깊이 정보 및 상기 추정된 노이즈에 기초하여 평면 단위의 슈퍼 픽셀(planar super-pixel)을 생성하는 슈퍼 픽셀 생성부; 및
상기 깊이 영상의 깊이 정보 및 상기 슈퍼 픽셀의 깊이 정보를 이용하여 상기 깊이 영상의 노이즈를 제거하는 노이즈 제거부
를 포함하고,
상기 노이즈 제거부는,
상기 깊이 영상을 구성하는 픽셀의 깊이 정보 및 상기 슈퍼 픽셀의 깊이 정보가 적용된 에너지 함수에 기초하여 상기 깊이 영상을 구성하는 픽셀의 깊이값을 결정하는 깊이 영상 처리 장치.A noise estimator for estimating noise of a depth image using an amplitude image;
A super pixel generating unit for generating a planar super-pixel based on the amplitude information of the pixels constituting the luminance image, the depth information of the depth image, and the estimated noise; And
A noise removing unit for removing noise of the depth image using the depth information of the depth image and the depth information of the super pixel,
Lt; / RTI >
Wherein the noise eliminator comprises:
Wherein a depth value of a pixel constituting the depth image is determined based on depth information of a pixel forming the depth image and an energy function applied to the depth information of the super pixel. 제4항에 있어서,
상기 에너지 함수는,
상기 깊이 영상을 구성하는 픽셀의 깊이 정보에 관한 우도 함수 및 상기 슈퍼 픽셀의 깊이 정보에 관한 우도 함수에 기초하여 결정되는 깊이 영상 처리 장치.5. The method of claim 4,
The energy function may be expressed as:
Wherein the depth image is determined based on a likelihood function related to depth information of pixels constituting the depth image and a likelihood function relating to depth information of the super pixel. 광도 영상(amplitude image)을 이용하여 깊이 영상(depth image)의 노이즈를 추정하는 노이즈 추정부;
상기 광도 영상을 구성하는 픽셀의 광도(amplitude) 정보, 상기 깊이 영상의 깊이 정보 및 상기 추정된 노이즈에 기초하여 평면 단위의 슈퍼 픽셀(planar super-pixel)을 생성하는 슈퍼 픽셀 생성부; 및
상기 깊이 영상의 깊이 정보 및 상기 슈퍼 픽셀의 깊이 정보를 이용하여 상기 깊이 영상의 노이즈를 제거하는 노이즈 제거부
를 포함하고,
상기 노이즈 제거부는,
전체 픽셀에 대한 에너지 함수에 기초하여 상기 깊이 영상을 구성하는 픽셀의 깊이값을 결정하는 깊이 영상 처리 장치.A noise estimator for estimating noise of a depth image using an amplitude image;
A super pixel generating unit for generating a planar super-pixel based on the amplitude information of the pixels constituting the luminance image, the depth information of the depth image, and the estimated noise; And
A noise removing unit for removing noise of the depth image using the depth information of the depth image and the depth information of the super pixel,
Lt; / RTI >
Wherein the noise eliminator comprises:
And determines a depth value of a pixel constituting the depth image based on an energy function for all the pixels. 제6항에 있어서,
상기 에너지 함수는,
상기 깊이 영상을 구성하는 픽셀의 깊이 정보와 상기 슈퍼 픽셀의 깊이 정보가 적용된 에너지 함수 및 인접한 픽셀들 간에 정의되는 에너지 함수를 포함하는 깊이 영상 처리 장치.The method according to claim 6,
The energy function may be expressed as:
An energy function to which the depth information of the pixels constituting the depth image and a depth information of the super pixel are applied, and an energy function defined between adjacent pixels. 광도 영상을 이용하여 깊이 영상의 노이즈를 추정하는 단계;
상기 광도 영상을 구성하는 픽셀의 광도 정보, 상기 깊이 영상의 깊이 정보 및 상기 추정된 노이즈에 기초하여 평면 단위의 슈퍼 픽셀을 생성하는 단계; 및
상기 깊이 영상의 깊이 정보 및 상기 슈퍼 픽셀의 깊이 정보를 이용하여 상기 깊이 영상의 노이즈를 제거하는 단계
를 포함하고,
상기 슈퍼 픽셀을 생성하는 단계는,
상기 깊이 영상의 깊이 정보를 이용하여 상기 광도 영상을 구성하는 픽셀의 공간 포인트가 가지는 깊이 오차를 계산하고, 상기 깊이 오차와 상기 추정된 노이즈에 기초하여 슈퍼 픽셀을 생성하는 깊이 영상 처리 방법.Estimating a noise of the depth image using the luminance image;
Generating super pixels in a plane unit based on the luminance information of pixels constituting the luminance image, the depth information of the depth image, and the estimated noise; And
Removing noise of the depth image using depth information of the depth image and depth information of the super pixel;
Lt; / RTI >
Wherein the step of generating the super-
Calculating a depth error of spatial points of pixels constituting the luminance image using the depth information of the depth image, and generating a super pixel based on the depth error and the estimated noise. 광도 영상 및 깊이 영상을 이용하여 픽셀들을 평면 단위의 슈퍼 픽셀로 그룹핑하는 단계; 및
상기 슈퍼 픽셀의 깊이 정보를 이용하여 상기 깊이 영상의 노이즈를 제거하는 단계
를 포함하고,
상기 슈퍼 픽셀은,
상기 깊이 영상의 깊이 정보를 이용하여 광도 영상을 구성하는 픽셀의 공간 포인트가 가지는 깊이 오차를 계산하고, 상기 깊이 오차와 상기 광도 영상을 통해 추정된 상기 깊이 영상의 노이즈에 기초하여 생성되는 깊이 영상 처리 방법.Grouping the pixels into a super-pixel in a plane unit using a brightness image and a depth image; And
Removing the noise of the depth image using the depth information of the superpixel
Lt; / RTI >
The super-
A depth error of a spatial point of a pixel constituting the luminance image is calculated using the depth information of the depth image, and a depth image processing based on the depth error and the noise of the depth image estimated through the luminance image Way. 제9항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.A computer-readable recording medium on which a program for executing the method of claim 9 is recorded. 삭제delete
KR1020130000516A 2013-01-03 2013-01-03 Apparatus and method for processing depth image KR101896301B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130000516A KR101896301B1 (en) 2013-01-03 2013-01-03 Apparatus and method for processing depth image
US13/922,627 US9349163B2 (en) 2013-01-03 2013-06-20 Apparatus and method for processing depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130000516A KR101896301B1 (en) 2013-01-03 2013-01-03 Apparatus and method for processing depth image

Publications (2)

Publication Number Publication Date
KR20140088697A KR20140088697A (en) 2014-07-11
KR101896301B1 true KR101896301B1 (en) 2018-09-07

Family

ID=51017277

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130000516A KR101896301B1 (en) 2013-01-03 2013-01-03 Apparatus and method for processing depth image

Country Status (2)

Country Link
US (1) US9349163B2 (en)
KR (1) KR101896301B1 (en)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150010230A (en) * 2013-07-18 2015-01-28 삼성전자주식회사 Method and apparatus for generating color image and depth image of an object using singular filter
US9934611B2 (en) * 2013-09-11 2018-04-03 Qualcomm Incorporated Structural modeling using depth sensors
KR20150037366A (en) * 2013-09-30 2015-04-08 삼성전자주식회사 Method for decreasing noise of depth image, image processing apparatus and image generating apparatus using thereof
KR101590114B1 (en) * 2014-09-02 2016-01-29 재단법인 실감교류인체감응솔루션연구단 Method, appratus and computer-readable recording medium for hole filling of depth image
US10062201B2 (en) 2015-04-21 2018-08-28 Microsoft Technology Licensing, Llc Time-of-flight simulation of multipath light phenomena
US9760837B1 (en) 2016-03-13 2017-09-12 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning
KR101892741B1 (en) 2016-11-09 2018-10-05 한국전자통신연구원 Apparatus and method for reducing nosie of the sparse depth map
CN109242782B (en) * 2017-07-11 2022-09-09 深圳市道通智能航空技术股份有限公司 Noise processing method and device
CN108876750B (en) * 2018-07-05 2021-08-10 湖南师范大学 Method for removing Poisson noise from image based on non-local similarity low-rank matrix
CN110956657B (en) * 2018-09-26 2023-06-30 Oppo广东移动通信有限公司 Depth image acquisition method and device, electronic equipment and readable storage medium
CN112446946B (en) * 2019-08-28 2024-07-09 深圳市光鉴科技有限公司 Depth reconstruction method, system, equipment and medium based on sparse depth and boundary
KR102438853B1 (en) * 2019-12-10 2022-09-06 한국전자기술연구원 Method and system for depth image estimation using flat information
WO2022195537A1 (en) * 2021-03-17 2022-09-22 The Trustees Of Princeton University Microlens amplitude masks for flying pixel removal in time-of-flight imaging

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012085233A (en) * 2010-10-14 2012-04-26 Sharp Corp Video processing device, video processing method, and program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8270752B2 (en) 2009-03-17 2012-09-18 Mitsubishi Electric Research Laboratories, Inc. Depth reconstruction filter for depth coding videos
US20100302365A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Depth Image Noise Reduction
CN101996401B (en) 2009-08-24 2016-05-11 三星电子株式会社 Target analysis method and apparatus based on intensity image and depth image
US8744168B2 (en) * 2009-08-24 2014-06-03 Samsung Electronics Co., Ltd. Target analysis apparatus, method and computer-readable medium
KR101281961B1 (en) * 2009-12-21 2013-07-03 한국전자통신연구원 Method and apparatus for editing depth video
US8620065B2 (en) 2010-04-09 2013-12-31 The Regents Of The University Of Colorado Methods and systems for three dimensional optical imaging, sensing, particle localization and manipulation
KR20120079646A (en) * 2011-01-05 2012-07-13 삼성전자주식회사 Depth sensor, defect correction method thereof, and signal processing system having the depth sensor
US9819879B2 (en) * 2011-07-12 2017-11-14 Samsung Electronics Co., Ltd. Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012085233A (en) * 2010-10-14 2012-04-26 Sharp Corp Video processing device, video processing method, and program

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dragos Falie ET AL: "Noise Characteristics of 3D Time-of-Flight Cameras", Signals, Circuits and Systems, 2007. ISSCS 2007. International Symposium on, 13-14 July 2007*

Also Published As

Publication number Publication date
US9349163B2 (en) 2016-05-24
US20140185921A1 (en) 2014-07-03
KR20140088697A (en) 2014-07-11

Similar Documents

Publication Publication Date Title
KR101896301B1 (en) Apparatus and method for processing depth image
JP6244407B2 (en) Improved depth measurement quality
US9979909B2 (en) Automatic lens flare detection and correction for light-field images
US9390505B2 (en) Method and apparatus for generating plenoptic depth maps
JP6351238B2 (en) Image processing apparatus, imaging apparatus, and distance correction method
JP6239594B2 (en) 3D information processing apparatus and method
JP6187640B2 (en) Image composition method and apparatus
KR101787542B1 (en) Estimation system and method of slope stability using 3d model and soil classification
KR101909544B1 (en) Apparatus and method for plane detection
KR101666854B1 (en) Apparatus and method for depth unfolding based on multiple depth images
US10593050B2 (en) Apparatus and method for dividing of static scene based on statistics of images
KR20100085675A (en) Method of filtering depth noise using depth information and apparatus for enabling the method
KR102026903B1 (en) Method and apparatus for representation 3d space based plane
KR20130047822A (en) Image processing apparatus and method
JP2014057303A (en) System and method for utilizing enhanced scene detection in depth estimation procedure
KR20170091496A (en) Method and apparatus for processing binocular image
KR101896339B1 (en) Method and apparatus for calibration of light field display using multi-projectors
KR102223484B1 (en) System and method for 3D model generation of cut slopes without vegetation
KR101896307B1 (en) Method and apparatus for processing depth image
CN118212117A (en) Method and system for mapping three-dimensional point cloud by infrared thermal information
Aydin et al. A New Adaptive Focus Measure for Shape From Focus.
KR20110112143A (en) A method for transforming 2d video to 3d video by using ldi method
KR102240570B1 (en) Method and apparatus for generating spanning tree,method and apparatus for stereo matching,method and apparatus for up-sampling,and method and apparatus for generating reference pixel
CN109658452A (en) A kind of gauge detection method and device
KR101590114B1 (en) Method, appratus and computer-readable recording medium for hole filling of depth image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant