KR20140088697A - 깊이 영상 처리 장치 및 방법 - Google Patents

깊이 영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20140088697A
KR20140088697A KR1020130000516A KR20130000516A KR20140088697A KR 20140088697 A KR20140088697 A KR 20140088697A KR 1020130000516 A KR1020130000516 A KR 1020130000516A KR 20130000516 A KR20130000516 A KR 20130000516A KR 20140088697 A KR20140088697 A KR 20140088697A
Authority
KR
South Korea
Prior art keywords
depth
depth image
pixel
noise
super
Prior art date
Application number
KR1020130000516A
Other languages
English (en)
Other versions
KR101896301B1 (ko
Inventor
최욱
강병민
이기창
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130000516A priority Critical patent/KR101896301B1/ko
Priority to US13/922,627 priority patent/US9349163B2/en
Publication of KR20140088697A publication Critical patent/KR20140088697A/ko
Application granted granted Critical
Publication of KR101896301B1 publication Critical patent/KR101896301B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

깊이 영상의 노이즈를 제거할 수 있는 깊이 영상 처리 방법 및 깊이 영상 처리 장치가 개시된다. 일실시예에 따른 깊이 영상 처리 장치는 광도 영상을 이용하여 깊이 영상의 노이즈를 추정하는 노이즈 추정부; 상기 광도 영상을 구성하는 픽셀의 광도 정보, 상기 깊이 영상의 깊이 정보 및 상기 추정된 노이즈에 기초하여 평면 단위의 슈퍼 픽셀을 생성하는 슈퍼 픽셀 생성부; 및 상기 깊이 영상의 깊이 정보 및 상기 슈퍼 픽셀의 깊이 정보를 이용하여 상기 깊이 영상의 노이즈를 제거하는 노이즈 제거부를 포함할 수 있다.

Description

깊이 영상 처리 장치 및 방법{APPARATUS AND METHOD FOR PROCESSING DEPTH IMAGE}
아래의 설명은 깊이 영상의 노이즈를 감소시키는 깊이 영상 처리 장치 및 깊이 영상 처리 방법에 관한 것이다.
TOF(time-of-flight) 카메라는 물체에 적외선(IR, infrared rays) 대역의 빛을 조사하고, 반사되어 되돌아온 빛을 이용하여 물체까지의 거리를 계산한다. TOF 카메라는 조사된 빛이 되돌아오기까지의 시간 차이를 이용하여 물체까지의 거리가 영상화된 깊이 영상(depth image)을 생성한다. 구체적으로, TOF 카메라는 미리 설정된 주파수로 변조된 빛을 피사체에 조사하고, 조사되는 빛과 피사체에 반사되어 되돌아오는 빛의 위상 차이를 통해 픽셀에서의 거리 값을 계산한다. TOF 카메라는 빛을 직접 조사하기 때문에 모든 픽셀에서 깊이값을 측정할 수 있고, 깊이 영상을 실시간으로 생성할 수 있다.
일실시예에 따른 깊이 영상 처리 장치는, 광도 영상을 이용하여 깊이 영상의 노이즈를 추정하는 노이즈 추정부; 상기 광도 영상을 구성하는 픽셀의 광도 정보, 상기 깊이 영상의 깊이 정보 및 상기 추정된 노이즈에 기초하여 평면 단위의 슈퍼 픽셀을 생성하는 슈퍼 픽셀 생성부; 및 상기 깊이 영상의 깊이 정보 및 상기 슈퍼 픽셀의 깊이 정보를 이용하여 상기 깊이 영상의 노이즈를 제거하는 노이즈 제거부를 포함할 수 있다.
일실시예에 따른 깊이 영상 처리 장치에서, 상기 슈퍼 픽셀 생성부는, 상기 광도 영상을 구성하는 픽셀들 중 이웃한 픽셀들 간의 광도 차이에 기초하여 슈퍼 픽셀을 생성할 수 있다.
일실시예에 따른 깊이 영상 처리 방법에서, 상기 슈퍼 픽셀 생성부는, 상기 깊이 영상의 깊이 정보를 이용하여 광도 영상을 구성하는 픽셀의 공간 포인트가 가지는 깊이 오차를 계산하고, 상기 깊이 오차와 상기 추정된 노이즈에 기초하여 슈퍼 픽셀을 생성할 수 있다.
일실시예에 따른 깊이 영상 처리 방법은, 광도 영상을 이용하여 깊이 영상의 노이즈를 추정하는 단계; 상기 광도 영상을 구성하는 픽셀의 광도 정보, 상기 깊이 영상의 깊이 정보 및 상기 추정된 노이즈에 기초하여 평면 단위의 슈퍼 픽셀을 생성하는 단계; 및 상기 깊이 영상의 깊이 정보 및 상기 슈퍼 픽셀의 깊이 정보를 이용하여 상기 깊이 영상의 노이즈를 제거하는 단계를 포함할 수 있다.
일실시예에 따른 깊이 영상 처리 방법은, 광도 영상 및 깊이 영상을 이용하여 픽셀들을 평면 단위의 슈퍼 픽셀로 그룹핑하는 단계; 및 상기 슈퍼 픽셀의 깊이 정보를 이용하여 상기 깊이 영상의 노이즈를 제거하는 단계를 포함할 수 있다.
도 1은 일실시예에 따른 깊이 영상 처리 장치의 동작을 설명하기 위한 도면이다.
도 2는 일실시예에 따른 깊이 영상 처리 장치의 입력 영상 및 출력 영상의 일례를 도시한 도면이다.
도 3은 일실시예에 따른 깊이 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 4는 일실시예에 따른 평면 단위의 슈퍼 픽셀들을 생성하는 일례를 도시한 도면이다.
도 5는 일실시예에 따른 공간 포인트의 깊이 오차를 계산하는 과정의 일례를 설명하기 위한 도면이다.
도 6은 일실시예에 따른 깊이 영상 처리 방법의 동작을 도시한 흐름도이다.
도 7은 일실시예에 따른 슈퍼 픽셀을 생성하는 동작을 도시한 흐름도이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 발명의 실시예들을 설명하기 위한 목적으로 예시된 것으로, 발명의 범위가 본문에 설명된 실시예들에 한정되는 것으로 해석되어서는 안된다. 일실시예에 따른 깊이 영상 처리 방법은 깊이 영상 처리 장치에 의해 수행될 수 있으며, 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 일실시예에 따른 깊이 영상 처리 장치의 동작을 설명하기 위한 도면이다.
깊이 영상 처리 장치(110)는 한 쌍의 깊이 영상(depth image)(120) 및 광도 영상(amplitude image)(130)을 입력으로 하여 노이즈가 제거된 깊이 영상(또는, 노이즈가 줄어든 깊이 영상)(140)을 출력할 수 있다. 구체적으로, 깊이 영상 처리 장치(110)는 광도 영상(130)을 구성하는 픽셀의 광도(amplitude) 정보 및 깊이 영상(120)의 깊이 정보를 이용하여 깊이 영상(120)에서의 노이즈를 제거할 수 있다. 픽셀의 광도 정보는 픽셀이 표현하는 빛의 세기를 나타낼 수 있다. 깊이 영상 처리 장치(110)는 깊이 카메라에 내장되거나 또는 외장될 수 있다.
깊이 영상(120) 및 광도 영상(130)은 깊이 카메라에 의해 생성될 수 있다. 깊이 영상(120)은 피사체가 깊이 카메라로부터 어느 정도 떨어져 있는지를 나타낼 수 있고, 광도 영상(130)은 피사체로부터 반사 또는 굴절되어 되돌아온 빛의 세기를 나타낼 수 있다.
깊이 영상(120)의 노이즈는 피사체까지의 거리, 반사도와 같은 피사체의 재질 특성 등에 영향을 받을 수 있다. 이러한 깊이 영상(120)의 노이즈를 적절히 제거하기 위해, 깊이 영상 처리 장치(110)는 깊이 영상(120) 및 광도 영상(130)이 나타내는 장면(scene)이 다수의 평면으로 구성되어 있음에 기초하여 깊이 영상(120)의 노이즈를 제거할 수 있다. 구체적으로, 깊이 영상 처리 장치(110)는 픽셀들을 그룹핑(grouping)하여 평면 단위의 슈퍼 픽셀(planar super-pixel)(또는, "슈퍼 픽셀")을 생성할 수 있고, 생성된 슈퍼 픽셀에 기초하여 깊이 영상(120)의 노이즈를 제거할 수 있다.
도 2는 일실시예에 따른 깊이 영상 처리 장치의 입력 영상 및 출력 영상의 일례를 도시한 도면이다.
도 2를 참조하면, 깊이 영상 처리 장치(210)의 입력 영상인 깊이 영상(220) 및 광도 영상(230)의 일례가 도시되어 있다. 깊이 영상(220)은 피사체까지의 거리를 나타내어 원근감을 표현할 수 있다. 예를 들어, 깊이 영상(220)에서 어두운 색으로 표현된 영역은 밝은 색으로 표현된 영역보다 피사체까지의 거리가 더 멀다는 것을 나타낼 수 있다. 동일 장면에 대한 광도 영상(230)은 반사되어 되돌아온 빛의 세기를 나타낼 수 있고, 피사체의 식별을 가능하게 한다.
깊이 영상 처리 장치(210)는 깊이 영상(220)의 노이즈를 감소시키기 위해 픽셀들이 그룹핑된 슈퍼 픽셀을 이용할 수 있다. 깊이 영상 처리 장치(210)는 슈퍼 픽셀의 깊이 정보에 기초하여 깊이 영상(220)의 픽셀이 나타내는 깊이값을 새롭게 결정할 수 있다. 이를 통해, 깊이 영상 처리 장치(210)는 도 2에 도시된 것과 같은 노이즈가 줄어든 깊이 영상(240)을 출력할 수 있다.
도 3은 일실시예에 따른 깊이 영상 처리 장치의 세부 구성을 도시한 도면이다.
도 3을 참조하면, 깊이 영상 처리 장치(310)는 노이즈 추정부(320), 슈퍼 픽셀 생성부(330) 및 노이즈 제거부(340)를 포함할 수 있다.
노이즈 추정부(320)는 광도 영상을 이용하여 깊이 영상의 노이즈를 추정할 수 있다. 예를 들어, 노이즈 추정부(320)는 가우시안(Gauissian) 분포 모델에 광도 영상을 구성하는 픽셀의 광도 정보를 적용하여 깊이 영상의 노이즈를 추정할 수 있다. 노이즈 추정부(320)는 깊이 영상의 노이즈를 가우시안 분포로 모델링할 수 있고, 모델링된 가우시안 분포의 표준 편차를 계산하여 깊이 영상의 노이즈 크기를 추정할 수 있다. 깊이 영상의 노이즈가 모델링된 가우시안 분포의 표준 편차
Figure pat00001
는 다음의 수학식 1의 관계를 가질 수 있다.
Figure pat00002
수학식 1에서, f 는 깊이 카메라가 조사한 빛의 주파수를 나타내고, B 는 피사체에 반사되어 되돌아오는 빛의 세기의 DC 성분을 나타낸다. A 는 피사체에 반사되어 되돌아오는 빛의 세기의 진폭 성분을 나타내고, T 는 깊이 센서에서의 전하의 누적 시간(integration time)을 나타낸다.
다른 예로, 노이즈 추정부(320)는 포아송(Poisson) 분포 모델에 광도 영상을 구성하는 픽셀의 광도 정보를 적용하여 깊이 영상의 노이즈를 추정할 수도 있다. 깊이 영상의 노이즈는 반사되어 되돌아오는 빛에 의해 발생된 픽셀 내에서의 전자의 개수에 기초하여 결정될 수 있다. 노이즈 추정부(320)는 픽셀에서 발생된 전자의 개수를 포아송 분포로 모델링할 수 있고, 모델링된 포아송 분포 모델에 기초하여 깊이 영상의 노이즈 크기를 추정할 수 있다. 포아송 분포 모델을 통해 근사화된 깊이 영상의 노이즈 크기 ? 는 다음의 수학식 2의 관계를 가질 수 있다.
Figure pat00003
수학식 2에서, k 는 임의의 상수이고, Nelectron 은 픽셀에서 발생된 전자의 개수이다. 수학식 2를 통해 깊이 영상의 노이즈 크기는 반사되어 되돌아온 빛에 의해 발생된 픽셀 내에서의 전자의 개수에 관계되어 있음을 알 수 있다. 픽셀에서 발생된 전자의 개수는 광도 영상이 나타내는 광도에 대응될 수 있다. 예를 들어, 픽셀에서 발생된 전자의 개수가 많을수록 광도 영상에서 광도가 더 큰 것으로 표현될 수 있다.
노이즈 추정부(320)는 위에 기재한 가우시안 분포 모델 또는 포아송 분포 모델에 기초하여 깊이 영상의 노이즈 크기를 추정할 수 있고, 전체 픽셀에 대해 노이즈를 추정하여 노이즈 영상을 생성할 수 있다.
슈퍼 픽셀 생성부(330)는 깊이 영상 및 광도 영상을 이용하여 평면 단위의 픽셀 그룹인 슈퍼 픽셀을 생성할 수 있다. 구체적으로, 슈퍼 픽셀 생성부(330)는 광도 영상을 구성하는 픽셀의 광도 정보, 깊이 영상의 깊이 정보 및 노이즈 추정부(320)에 의해 추정된 깊이 영상의 노이즈에 기초하여 평면 단위의 슈퍼 픽셀을 생성할 수 있다. 평면 단위의 슈퍼 픽셀은 공간상에서 동일 평면의 공간 포인트(three-dimensional point)들을 나타내는 픽셀들의 집합일 수 있다.
일실시예에 따르면, 슈퍼 픽셀 생성부(330)는 다음과 같은 과정에 따라 평면 단위의 슈퍼 픽셀을 생성할 수 있다.
(1) 슈퍼 픽셀 생성부(330)는 전체 픽셀에서 각각의 픽셀을 하나의 평면 단위의 슈퍼 픽셀로 초기화할 수 있다. 슈퍼 픽셀 생성부(330)는 각 픽셀에 대응되는 평면의 법선(normal) 방향을 공간 포인트가 나타내는 광선 방향(ray direction)으로 초기화할 수 있다. 각 픽셀에 대응되는 평면은 각 픽셀이 나타내는 공간 포인트를 지나는 평면일 수 있다.
(2) 슈퍼 픽셀 생성부(330)는 이웃한 픽셀들을 "에지(edge)"로 연결하여 픽셀 쌍(pixel pair)을 설정할 수 있다. 슈퍼 픽셀 생성부(330)는 광도 영상을 구성하는 픽셀들 중 이웃한 픽셀들 간의 광도 차이를 계산할 수 있다.
슈퍼 픽셀 생성부(330)는 이웃한 픽셀들 간의 광도 차이의 크기에 기초하여 이웃한 픽셀들을 픽셀 쌍으로 설정할지 여부를 결정할 수 있다. 예를 들어, 슈퍼 픽셀 생성부(330)는 이웃한 픽셀들 간의 광도 차이가 평균값의 N배 이상인 경우에는 이웃한 픽셀들을 픽셀 쌍으로 설정하지 않을 수 있다. 여기서, 평균값은 전체 픽셀에 대해 계산한 이웃 픽셀들 간의 광도 차이의 합에 대한 평균이고, N은 미리 설정된 임의의 숫자일 수 있다.
(3) 슈퍼 픽셀 생성부(330)는 광도 차이가 작은 순서대로 이웃한 픽셀들의 그룹핑 여부를 결정할 수 있다. 예를 들어, 슈퍼 픽셀 생성부(330)는 광도 차이의 크기에 기초하여 픽셀 쌍들을 정렬하고, 픽셀들 간의 광도 차이가 작은 픽셀 쌍부터 순차적으로 픽셀들의 그룹핑 여부를 결정할 수 있다.
(4) 슈퍼 픽셀 생성부(330)는 에지로 연결된 이웃한 픽셀들이 동일 평면의 슈퍼 픽셀에 포함되는 경우, 다른 이웃한 픽셀들에 대해 그룹핑 여부를 판단한다.
(5) 슈퍼 픽셀 생성부(330)는 에지로 연결된 이웃한 픽셀들이 서로 다른 평면의 슈퍼 픽셀에 포함되고, 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 개수가 2개인 경우, 이웃한 픽셀들을 그룹핑할 수 있다.
(6) 슈퍼 픽셀 생성부(330)는 이웃한 픽셀들이 서로 다른 평면의 슈퍼 픽셀에 포함되고, 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 개수가 3개 이상인 경우, 서로 다른 평면의 슈퍼 픽셀에 포함된 모든 픽셀의 공간 포인트들에 대해 새로운 평면을 적용할 수 있다. 공간 포인트들에 적용될 평면은 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 공간 포인트들의 위치에 기초하여 결정될 수 있다.
그 후, 슈퍼 픽셀 생성부(330)는 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 공간 포인트들이 가지는 깊이 오차에 기초하여 이웃한 픽셀들의 그룹핑 여부를 결정할 수 있다. 공간 포인트가 가지는 깊이 오차는 공간 포인트에 적용된 평면에서의 깊이값과 깊이 영상이 나타내는 측정된 깊이값 간의 차이를 나타낼 수 있다.
슈퍼 픽셀 생성부(330)는 깊이 영상의 깊이 정보를 이용하여 광도 영상을 구성하는 픽셀의 공간 포인트가 가지는 깊이 오차를 계산하고, 계산한 깊이 오차와 노이즈 추정부(320)에 의해 추정된 노이즈에 기초하여 슈퍼 픽셀을 생성할 수 있다.
예를 들어, 슈퍼 픽셀 생성부(330)는 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 공간 포인트의 깊이 오차가 미리 설정된 값(예를 들어, 노이즈 추정부(320)가 추정한 노이즈 크기
Figure pat00004
의 K 배, K 는 미리 설정된 임의의 숫자)보다 작은 경우, 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀을 그룹핑하여 새로운 평면의 슈퍼 픽셀로 생성할 수 있다. 이와 반대로, 슈퍼 픽셀 생성부(330)는 공간 포인트의 깊이 오차가 미리 설정된 값 이상인 경우에는 픽셀의 그룹핑을 수행하지 않을 수 있다.
노이즈 제거부(340)는 깊이 영상의 깊이 정보 및 슈퍼 픽셀의 깊이 정보를 이용하여 깊이 영상의 노이즈를 제거할 수 있다. 깊이 영상의 깊이 정보는 피사체까지의 측정된 거리값을 나타낼 수 있다. 슈퍼 픽셀은 슈퍼 픽셀에 포함되는 픽셀들의 인덱스(index), 슈퍼 픽셀에 포함되는 픽셀들의 개수 및 슈퍼 픽셀이 나타내는 평면의 파라미터(예를 들어, 평면 방정식 "a*X+b*Y+c*Z+d=0"의 계수인 a, b, c, d)에 관한 정보를 가질 수 있다. 슈퍼 픽셀의 깊이 정보는 공간 포인트에 적용된 평면에서의 깊이값을 나타낼 수 있고, 평면에서의 깊이값은 슈퍼 픽셀에 포함되는 픽셀들의 인덱스 및 슈퍼 픽셀이 나타내는 평면의 파라미터에 기초하여 계산될 수 있다.
노이즈 제거부(340)는 깊이 영상을 구성하는 픽셀의 깊이 정보 및 슈퍼 픽셀의 깊이 정보가 적용된 에너지 함수에 기초하여 깊이 영상을 구성하는 픽셀의 깊이값을 결정할 수 있다. 에너지 함수는 깊이 영상을 구성하는 픽셀의 깊이 정보에 관한 우도 함수(likelihood function) 및 슈퍼 픽셀의 깊이 정보에 관한 우도 함수에 기초하여 결정될 수 있다.
예를 들어, 평면 i를 나타내는 슈퍼 픽셀 si 의 깊이 정보에 관한 우도 함수는 다음의 수학식 3과 같이 나타낼 수 있다. 수학식 3은 깊이 영상의 어느 한 픽셀 a 의 깊이값 ra 의 우도(likelihood)를 나타낸다.
Figure pat00005
수학식 3에서, N 은 깊이 영상에 속하는 전체 픽셀의 개수이고, ni 는 슈퍼 픽셀 si에 포함된 픽셀들의 개수이다.
Figure pat00006
는 슈퍼 픽셀 si에 속하는 픽셀들의 공간 포인트들이 가지는 깊이 오차의 평균값이고, ra* 는 슈퍼 픽셀 si가 나타내는 평면 상에 존재하며, 픽셀 a의 광선 방향과 동일한 방향을 갖는 공간 포인트의 깊이값이다.
만약, 픽셀 a가 속하는 평면 i* 를 정확하게 알고 있다고 가정하면, 위 수학식 3은 다음의 수학식 4와 같이 나타낼 수 있다.
Figure pat00007
또한, 깊이 영상을 구성하는 픽셀의 깊이 정보에 관한 우도 함수로서, 깊이 영상의 어느 한 픽셀 a 의 깊이값 ra 의 우도는 다음의 수학식 5와 같이 나타낼 수 있다.
Figure pat00008
수학식 5에서,
Figure pat00009
는 깊이값 ra 이 가지는 노이즈의 표준 편차로서, 노이즈 추정부(320)에 의해 추정된 노이즈의 크기를 나타낼 수 있다.
Figure pat00010
는 픽셀 a의 측정된 깊이값을 나타낸다.
수학식 4와 수학식 5에 기초하여 다음의 수학식 6과 같은 에너지 함수(우도 함수의 함)를 정의할 수 있다.
Figure pat00011
노이즈 제거부(340)는 위 수학식 6을 최소화하는 깊이값 ra 를 각각의 픽셀에 대해 추정하여 깊이 영상의 노이즈를 제거할 수 있다.
또는, 노이즈 제거부(340)는 전체 픽셀에 대한 에너지 함수에 기초하여 깊이 영상을 구성하는 픽셀의 깊이값을 결정할 수도 있다. 에너지 함수는 깊이 영상을 구성하는 픽셀의 깊이 정보와 슈퍼 픽셀의 깊이 정보가 적용된 에너지 함수 및 인접한 픽셀들 간에 정의되는 에너지 함수를 포함할 수 있다.
예를 들어, 영상 전체 또는 전체 픽셀에 대해 정의되는 전역적인(global) 에너지 함수는 다음의 수학식 7과 같이 나타낼 수 있다.
Figure pat00012
수학식 7에서, rb 는 픽셀 a에 이웃한 픽셀 b의 깊이값을 나타내고, Na 는 픽셀 a에 인접한 픽셀들의 집합을 나타낸다. 노이즈 제거부(340)는 위 수학식 7과 같은 에너지 함수의 결과를 최소화하는 깊이값 ra 를 추정하여 깊이 영상의 노이즈를 제거할 수 있다. 노이즈 제거부(340)는 수학식 7의 에너지 함수를 최소화하는 거리값들을 수치 해석의 한 방법인 가우스 지델 법(Gauss-Siedel method) 또는 자코비 법(Jacobbi method) 등을 이용하여 계산할 수 있다.
V(ra, rb)는 이웃한 픽셀 a와 픽셀 b 사이에 정의되는 에너지 함수를 나타낸다. V(ra, rb) 는 픽셀 a와 픽셀 b 간의 광도 차이가 작을수록, 픽셀 a와 픽셀 b 간의 측정된 거리값의 차이가 작을수록, 그리고 깊이값 ra와 깊이값 rb 간의 차이가 클수록 큰 값을 가질 수 있다. 예를 들어, V(ra, rb)는 다음의 수학식 8과 같이 나타낼 수 있다.
Figure pat00013
도 4는 일실시예에 따른 평면 단위의 슈퍼 픽셀들을 생성하는 일례를 도시한 도면이다.
깊이 영상 처리 장치는 깊이 영상(410) 및 광도 영상(420)을 이용하여 픽셀들을 평면 단위로 그룹핑할 수 있다. 구체적으로, 깊이 영상 처리 장치는 광도 영상(420)을 구성하는 픽셀의 광도 정보, 깊이 영상(410)의 깊이 정보 및 광도 영상(420)에 기초하여 추정된 깊이 영상의 노이즈에 기초하여 픽셀들을 그룹핑할 수 있다. 그룹핑된 픽셀들은 평면 단위의 슈퍼 픽셀 또는 패치(patch) 영역을 구성할 수 있다. 슈퍼 픽셀 또는 패치 영역은 픽셀들의 공간 포인트가 포함되는 공간 상의 평면을 나타낼 수 있다. 영상(430)에는 깊이 영상(410) 및 광도 영상(420)을 이용하여 생성된 서로 다른 평면의 슈퍼 픽셀들이 도시되어 있다.
도 5는 일실시예에 따른 공간 포인트의 깊이 오차를 계산하는 과정의 일례를 설명하기 위한 도면이다.
도 5를 참조하면, 공간 포인트가 가지는 깊이 오차는 공간 포인트에 적용된 평면에서의 깊이값과 깊이 영상이 나타내는 측정된 깊이값 간의 차이를 나타낼 수 있다. 공간상의 위치(520)는 측정된 깊이값(510)을 가지는 어느 한 픽셀 a의 공간 포인트의 위치를 나타낸다. 평면(530)상에 존재하는 공간상의 위치(540)는 픽셀 a의 공간 포인트에 적용된 평면(530)에서의 위치를 나타낸다.
만약, 공간상의 위치(520)를 (x, y, z)라 하면, 평면(530)상에 존재하는 공간상의 위치(540)는 (t*x, t*y, t*z)의 좌표로 나타낼 수 있다. 여기서, 상수 t 는 평면(530)의 평면 방정식과 공간상의 위치(520)를 이용하여 결정될 수 있다. 공간 포인트가 가지는 깊이 오차 e (550)는 공간 상의 위치(520)와 평면(530)상에 위치하는 공간상의 위치(540) 간의 거리를 나타내고, 다음의 수학식 9와 같이 나타낼 수 있다.
Figure pat00014
도 6은 일실시예에 따른 깊이 영상 처리 방법의 동작을 도시한 흐름도이다.
단계(610)에서, 깊이 영상 처리 장치는 광도 영상을 이용하여 깊이 영상의 노이즈를 추정할 수 있다. 예를 들어, 노이즈 추정부는 가우시안 분포 모델 또는 포아송 분포 모델에 광도 영상을 구성하는 픽셀의 광도 정보를 적용하여 깊이 영상의 노이즈를 추정할 수 있다. 깊이 영상 처리 장치는 각 픽셀의 노이즈를 추정하여 노이즈 영상을 생성할 수 있다.
단계(620)에서, 깊이 영상 처리 장치는 깊이 영상 및 광도 영상을 이용하여 평면 단위의 슈퍼 픽셀을 생성할 수 있다. 구체적으로, 깊이 영상 처리 장치는 광도 영상을 구성하는 픽셀의 광도 정보, 깊이 영상의 깊이 정보 및 단계(610)에서 추정된 깊이 영상의 노이즈에 기초하여 평면 단위의 슈퍼 픽셀을 생성할 수 있다.
깊이 영상 처리 장치는 이웃한 픽셀들을 연결하여 픽셀 쌍을 설정할 수 있고, 픽셀 쌍을 구성하는 픽셀들 간의 광도 차이에 기초하여 슈퍼 픽셀을 생성할 수 있다. 또한, 깊이 영상 처리 장치는 광도 차이의 크기에 기초하여 픽셀 쌍들을 정렬하고, 픽셀들 간의 광도 차이가 작은 픽셀 쌍부터 순차적으로 픽셀들의 그룹핑 여부를 결정할 수 있다.
깊이 영상 처리 장치는 픽셀 쌍을 구성하는 픽셀들이 서로 다른 평면의 슈퍼 픽셀에 포함되는 경우, 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 개수에 기초하여 이웃한 픽셀들의 그룹핑 여부를 결정할 수 있다. 깊이 영상 처리 장치는 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 개수가 2개인 경우에는 이웃한 픽셀들을 그룹핑하고, 전체 픽셀의 개수가 3개 이상인 경우에는 공간 포인트들이 가지는 깊이 오차에 기초하여 이웃한 픽셀들의 그룹핑 여부를 결정할 수 있다.
예를 들어, 깊이 영상 처리 장치는 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 공간 포인트의 깊이 오차가 미리 설정된 값보다 작은 경우, 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀을 그룹핑하여 새로운 평면의 슈퍼 픽셀로 생성할 수 있다. 이와 반대로, 깊이 영상 처리 장치는 공간 포인트의 깊이 오차가 미리 설정된 값 이상인 경우에는 픽셀의 그룹핑을 수행하지 않을 수 있다.
단계(630)에서, 깊이 영상 처리 장치는 깊이 영상의 깊이 정보 및 슈퍼 픽셀의 깊이 정보를 이용하여 깊이 영상의 노이즈를 제거할 수 있다. 깊이 영상의 깊이 정보는 피사체까지의 측정된 거리값을 나타낼 수 있다. 슈퍼 픽셀의 깊이 정보는 공간 포인트에 적용된 평면에서의 깊이값을 나타낼 수 있고, 평면에서의 깊이값은 슈퍼 픽셀에 포함되는 픽셀들의 인덱스 및 슈퍼 픽셀이 나타내는 평면의 파라미터에 기초하여 계산될 수 있다.
깊이 영상 처리 장치는 깊이 영상을 구성하는 픽셀의 깊이 정보 및 슈퍼 픽셀의 깊이 정보가 적용된 에너지 함수에 기초하여 깊이 영상을 구성하는 픽셀의 깊이값을 결정할 수 있다. 에너지 함수는 깊이 영상을 구성하는 픽셀의 깊이 정보에 관한 우도 함수 및 슈퍼 픽셀의 깊이 정보에 관한 우도 함수에 기초하여 결정될 수 있다. 깊이 영상 처리 장치는 에너지 함수의 결과를 최소화하는 깊이값을 추정하여 깊이 영상의 노이즈를 제거할 수 있다.
또는, 깊이 영상 처리 장치는 전체 픽셀에 대한 전역적인 에너지 함수에 기초하여 깊이 영상을 구성하는 픽셀의 깊이값을 결정할 수도 있다. 전역적인 에너지 함수는 깊이 영상을 구성하는 픽셀의 깊이 정보와 슈퍼 픽셀의 깊이 정보가 적용된 에너지 함수 및 인접한 픽셀들 간에 정의되는 에너지 함수를 포함할 수 있다. 깊이 영상 처리 장치는 전역적인 에너지 함수를 최소화하는 거리값들을 가우스 지델 법 또는 자코비 법 등을 이용하여 계산할 수 있다.
도 7은 일실시예에 따른 슈퍼 픽셀을 생성하는 동작을 도시한 흐름도이다.
단계(710)에서, 깊이 영상 처리 장치는 전체 픽셀에서 각각의 픽셀을 하나의 평면 단위의 슈퍼 픽셀로 초기화할 수 있다. 깊이 영상 처리 장치는 각 픽셀에 대응되는 평면의 법선 방향을 공간 포인트가 나타내는 광선 방향으로 초기화할 수 있다. 각 픽셀에 대응되는 평면은 각 픽셀이 나타내는 공간 포인트를 지나는 평면일 수 있다.
단계(720)에서, 깊이 영상 처리 장치는 이웃한 픽셀들을 에지로 연결하여 픽셀 쌍을 설정할 수 있다. 깊이 영상 처리 장치는 광도 영상을 구성하는 픽셀들 중 이웃한 픽셀들 간의 광도 차이를 계산할 수 있다.
깊이 영상 처리 장치는 이웃한 픽셀들 간의 광도 차이의 크기에 따라 이웃한 픽셀들을 픽셀 쌍으로 설정하지 않을 수 있다. 예를 들어, 깊이 영상 처리 장치는 이웃한 픽셀들 간의 광도 차이가 평균값의 N배 이상인 경우에는 이웃한 픽셀들을 픽셀 쌍으로 설정하지 않을 수 있다. 여기서, 평균값은 전체 픽셀에 대해 계산한 이웃 픽셀들 간의 광도 차이의 합에 대한 평균이고, N은 미리 설정된 임의의 숫자일 수 있다.
단계(730)에서, 깊이 영상 처리 장치는 광도 차이의 크기에 기초하여 픽셀 쌍들을 정렬하고, 픽셀들 간의 광도 차이가 작은 픽셀 쌍부터 순차적으로 픽셀들의 그룹핑 여부를 결정할 수 있다.
단계(740)에서, 깊이 영상 처리 장치는 에지로 연결된 이웃한 픽셀들이 서로 동일 평면의 슈퍼 픽셀에 포함되는지 여부를 판단할 수 있다. 판단 결과 이웃한 픽셀들이 동일 평면의 슈퍼 픽셀에 포함되는 경우, 깊이 영상 처리 장치는 다른 이웃한 픽셀들에 대해 그룹핑 여부를 판단한다.
단계(750)에서, 깊이 영상 처리 장치는 이웃한 픽셀들이 서로 다른 평면의 슈퍼 픽셀에 포함되는 경우, 서로 다른 평면을 구성하는 전체 픽셀의 개수가 3개 이상인지 여부를 판단할 수 있다. 만약, 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 개수가 2개라면, 깊이 영상 처리 장치는 이웃한 픽셀들을 그룹핑(770)할 수 있다.
단계(760)에서, 깊이 영상 처리 장치는 이웃한 픽셀들이 서로 다른 평면의 슈퍼 픽셀에 포함되고, 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 개수가 3개 이상인 경우, 서로 다른 평면의 슈퍼 픽셀에 포함된 모든 픽셀의 공간 포인트들에 대해 새로운 평면을 적용할 수 있다. 공간 포인트들에 적용될 평면은 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 공간 포인트들의 위치에 기초하여 결정될 수 있다.
그 후, 깊이 영상 처리 장치는 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀의 공간 포인트들이 가지는 깊이 오차에 기초하여 이웃한 픽셀들의 그룹핑 여부를 결정할 수 있다. 공간 포인트가 가지는 깊이 오차는 공간 포인트에 적용된 평면에서의 깊이값과 깊이 영상이 나타내는 측정된 깊이값 간의 차이를 나타낼 수 있다.
깊이 영상 처리 장치는 깊이 영상의 깊이 정보를 이용하여 광도 영상을 구성하는 픽셀의 공간 포인트가 가지는 깊이 오차를 계산하고, 계산한 깊이 오차와 추정된 노이즈에 기초하여 슈퍼 픽셀을 생성할 수 있다.
예를 들어, 깊이 영상 처리 장치는 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 공간 포인트의 깊이 오차가 미리 설정된 값(예를 들어, 노이즈 추정부가 추정한 노이즈 크기
Figure pat00015
의 K 배, K 는 미리 설정된 임의의 숫자)보다 작은 경우, 서로 다른 평면의 슈퍼 픽셀을 구성하는 전체 픽셀을 그룹핑(770)하여 새로운 평면의 슈퍼 픽셀로 생성할 수 있다. 이와 반대로, 깊이 영상 처리 장치는 공간 포인트의 깊이 오차가 미리 설정된 값 이상인 경우에는 픽셀의 그룹핑을 수행하지 않을 수 있다.
깊이 영상 처리 장치는 픽셀들의 그룹핑 여부를 전체 픽셀 쌍들에 대해 판단할 때까지 단계(740) 내지 단계(770)의 과정을 계속적으로 수행할 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (11)

  1. 광도 영상(amplitude image)을 이용하여 깊이 영상(depth image)의 노이즈를 추정하는 노이즈 추정부;
    상기 광도 영상을 구성하는 픽셀의 광도(amplitude) 정보, 상기 깊이 영상의 깊이 정보 및 상기 추정된 노이즈에 기초하여 평면 단위의 슈퍼 픽셀(planar super-pixel)을 생성하는 슈퍼 픽셀 생성부; 및
    상기 깊이 영상의 깊이 정보 및 상기 슈퍼 픽셀의 깊이 정보를 이용하여 상기 깊이 영상의 노이즈를 제거하는 노이즈 제거부
    를 포함하는 깊이 영상 처리 장치.
  2. 제1항에 있어서,
    상기 노이즈 추정부는,
    가우시안 분포 모델 또는 포아송 분포 모델에 광도 영상을 구성하는 픽셀의 광도 정보를 적용하여 깊이 영상의 노이즈를 추정하는 깊이 영상 처리 장치.
  3. 제1항에 있어서,
    상기 슈퍼 픽셀 생성부는,
    상기 광도 영상을 구성하는 픽셀들 중 이웃한 픽셀들 간의 광도 차이에 기초하여 슈퍼 픽셀을 생성하는 깊이 영상 처리 장치.
  4. 제1항에 있어서,
    상기 슈퍼 픽셀 생성부는,
    상기 깊이 영상의 깊이 정보를 이용하여 광도 영상을 구성하는 픽셀의 공간 포인트가 가지는 깊이 오차를 계산하고, 상기 깊이 오차와 상기 추정된 노이즈에 기초하여 슈퍼 픽셀을 생성하는 깊이 영상 처리 장치.
  5. 제1항에 있어서,
    상기 노이즈 제거부는,
    상기 깊이 영상을 구성하는 픽셀의 깊이 정보 및 상기 슈퍼 픽셀의 깊이 정보가 적용된 에너지 함수에 기초하여 상기 깊이 영상을 구성하는 픽셀의 깊이값을 결정하는 깊이 영상 처리 장치.
  6. 제5항에 있어서,
    상기 에너지 함수는,
    상기 깊이 영상을 구성하는 픽셀의 깊이 정보에 관한 우도 함수 및 상기 슈퍼 픽셀의 깊이 정보에 관한 우도 함수에 기초하여 결정되는 깊이 영상 처리 장치.
  7. 제1항에 있어서,
    상기 노이즈 제거부는,
    전체 픽셀에 대한 에너지 함수에 기초하여 상기 깊이 영상을 구성하는 픽셀의 깊이값을 결정하는 깊이 영상 처리 장치.
  8. 제7항에 있어서,
    상기 에너지 함수는,
    상기 깊이 영상을 구성하는 픽셀의 깊이 정보와 상기 슈퍼 픽셀의 깊이 정보가 적용된 에너지 함수 및 인접한 픽셀들 간에 정의되는 에너지 함수를 포함하는 깊이 영상 처리 장치.
  9. 광도 영상을 이용하여 깊이 영상의 노이즈를 추정하는 단계;
    상기 광도 영상을 구성하는 픽셀의 광도 정보, 상기 깊이 영상의 깊이 정보 및 상기 추정된 노이즈에 기초하여 평면 단위의 슈퍼 픽셀을 생성하는 단계; 및
    상기 깊이 영상의 깊이 정보 및 상기 슈퍼 픽셀의 깊이 정보를 이용하여 상기 깊이 영상의 노이즈를 제거하는 단계
    를 포함하는 깊이 영상 처리 방법.
  10. 광도 영상 및 깊이 영상을 이용하여 픽셀들을 평면 단위의 슈퍼 픽셀로 그룹핑하는 단계; 및
    상기 슈퍼 픽셀의 깊이 정보를 이용하여 상기 깊이 영상의 노이즈를 제거하는 단계
    를 포함하는 깊이 영상 처리 방법.
  11. 제10항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.
KR1020130000516A 2013-01-03 2013-01-03 깊이 영상 처리 장치 및 방법 KR101896301B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130000516A KR101896301B1 (ko) 2013-01-03 2013-01-03 깊이 영상 처리 장치 및 방법
US13/922,627 US9349163B2 (en) 2013-01-03 2013-06-20 Apparatus and method for processing depth image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130000516A KR101896301B1 (ko) 2013-01-03 2013-01-03 깊이 영상 처리 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140088697A true KR20140088697A (ko) 2014-07-11
KR101896301B1 KR101896301B1 (ko) 2018-09-07

Family

ID=51017277

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130000516A KR101896301B1 (ko) 2013-01-03 2013-01-03 깊이 영상 처리 장치 및 방법

Country Status (2)

Country Link
US (1) US9349163B2 (ko)
KR (1) KR101896301B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101590114B1 (ko) * 2014-09-02 2016-01-29 재단법인 실감교류인체감응솔루션연구단 깊이 영상의 홀 채움을 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US10607317B2 (en) 2016-11-09 2020-03-31 Electronics And Telecommunications Research Institute Apparatus and method of removing noise from sparse depth map
KR20210073435A (ko) * 2019-12-10 2021-06-18 한국전자기술연구원 평면 정보를 활용한 깊이 영상 추정 방법 및 시스템

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150010230A (ko) * 2013-07-18 2015-01-28 삼성전자주식회사 단일 필터를 이용하여 대상체의 컬러 영상 및 깊이 영상을 생성하는 방법 및 장치.
US9934611B2 (en) * 2013-09-11 2018-04-03 Qualcomm Incorporated Structural modeling using depth sensors
KR20150037366A (ko) * 2013-09-30 2015-04-08 삼성전자주식회사 깊이 영상의 노이즈를 저감하는 방법, 이를 이용한 영상 처리 장치 및 영상 생성 장치
US10062201B2 (en) 2015-04-21 2018-08-28 Microsoft Technology Licensing, Llc Time-of-flight simulation of multipath light phenomena
US9760837B1 (en) 2016-03-13 2017-09-12 Microsoft Technology Licensing, Llc Depth from time-of-flight using machine learning
CN109242782B (zh) * 2017-07-11 2022-09-09 深圳市道通智能航空技术股份有限公司 噪点处理方法及装置
CN108876750B (zh) * 2018-07-05 2021-08-10 湖南师范大学 一种基于非局部相似性低秩矩阵的图像去除泊松噪声的方法
CN110956657B (zh) * 2018-09-26 2023-06-30 Oppo广东移动通信有限公司 深度图像获取方法及装置、电子设备及可读存储介质
CN112446946A (zh) * 2019-08-28 2021-03-05 深圳市光鉴科技有限公司 基于稀疏深度与边界的深度重建方法、系统、设备及介质
WO2022195537A1 (en) * 2021-03-17 2022-09-22 The Trustees Of Princeton University Microlens amplitude masks for flying pixel removal in time-of-flight imaging

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110071522A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 깊이 영상 편집 방법 및 장치
JP2012085233A (ja) * 2010-10-14 2012-04-26 Sharp Corp 映像処理装置、映像処理方法、及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8270752B2 (en) 2009-03-17 2012-09-18 Mitsubishi Electric Research Laboratories, Inc. Depth reconstruction filter for depth coding videos
US20100302365A1 (en) 2009-05-29 2010-12-02 Microsoft Corporation Depth Image Noise Reduction
US8744168B2 (en) * 2009-08-24 2014-06-03 Samsung Electronics Co., Ltd. Target analysis apparatus, method and computer-readable medium
CN101996401B (zh) 2009-08-24 2016-05-11 三星电子株式会社 基于强度图像和深度图像的目标分析方法及设备
US8620065B2 (en) 2010-04-09 2013-12-31 The Regents Of The University Of Colorado Methods and systems for three dimensional optical imaging, sensing, particle localization and manipulation
KR20120079646A (ko) * 2011-01-05 2012-07-13 삼성전자주식회사 깊이 센서, 상기 깊이 센서의 결점 수정 방법, 및 상기 깊이 센서를 포함하는 신호 처리 시스템
US9819879B2 (en) * 2011-07-12 2017-11-14 Samsung Electronics Co., Ltd. Image filtering apparatus and method based on noise prediction using infrared ray (IR) intensity

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110071522A (ko) * 2009-12-21 2011-06-29 한국전자통신연구원 깊이 영상 편집 방법 및 장치
JP2012085233A (ja) * 2010-10-14 2012-04-26 Sharp Corp 映像処理装置、映像処理方法、及びプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Dragos Falie ET AL: "Noise Characteristics of 3D Time-of-Flight Cameras", Signals, Circuits and Systems, 2007. ISSCS 2007. International Symposium on, 13-14 July 2007* *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101590114B1 (ko) * 2014-09-02 2016-01-29 재단법인 실감교류인체감응솔루션연구단 깊이 영상의 홀 채움을 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
US10607317B2 (en) 2016-11-09 2020-03-31 Electronics And Telecommunications Research Institute Apparatus and method of removing noise from sparse depth map
KR20210073435A (ko) * 2019-12-10 2021-06-18 한국전자기술연구원 평면 정보를 활용한 깊이 영상 추정 방법 및 시스템

Also Published As

Publication number Publication date
KR101896301B1 (ko) 2018-09-07
US20140185921A1 (en) 2014-07-03
US9349163B2 (en) 2016-05-24

Similar Documents

Publication Publication Date Title
KR101896301B1 (ko) 깊이 영상 처리 장치 및 방법
JP6244407B2 (ja) 深度測定の品質の向上
US9390505B2 (en) Method and apparatus for generating plenoptic depth maps
JP6351238B2 (ja) 画像処理装置、撮像装置および距離補正方法
JP6239594B2 (ja) ３ｄ情報処理装置及び方法
US20180276793A1 (en) Autonomous performance of an operation on an object using a generated dense 3d model of the object
EP3594617B1 (en) Three-dimensional-shape measurement device, three-dimensional-shape measurement method, and program
KR101909544B1 (ko) 평면 검출 장치 및 방법
KR20100085675A (ko) 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
KR101666854B1 (ko) 복수 개의 깊이 영상에 기초한 깊이 영상 접힘 제거 장치 및 방법
KR102026903B1 (ko) 평면 기반의 ３차원 공간 표현 방법 및 장치
US10593050B2 (en) Apparatus and method for dividing of static scene based on statistics of images
EP3110149B1 (en) A system and a method for depth-image-based rendering
JP2014057303A (ja) 深度推定手順において改善されたシーン検出を利用するためのシステム及び方法
KR101896339B1 (ko) 다수의 프로젝터들을 사용하는 광필드 디스플레이의 보정 방법 및 장치
KR20170091496A (ko) 양안 시차 영상의 처리 방법 및 장치
KR20090062440A (ko) 객체 또는 배경 분리를 이용한 다시점 정합 방법 및 장치
KR101896307B1 (ko) 깊이 영상을 처리하는 방법 및 장치
KR20110112143A (ko) Ｌｄｉ 기법 깊이맵을 참조한 2ｄ 동영상의 3ｄ 동영상 전환방법
Aydin et al. A New Adaptive Focus Measure for Shape From Focus.
KR101590114B1 (ko) 깊이 영상의 홀 채움을 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
KR102240570B1 (ko) 신장 트리 생성 방법 및 장치，스테레오 매칭 방법 및 장치，업 샘플링 방법 및 장치，및 기준 픽셀 생성 방법 및 장치
JP2015033047A (ja) 複数カメラを用いた奥行き推定装置
KR101907057B1 (ko) 구면 모델링을 통한 깊이 정보 보정 방법과 보정장치
KR101904170B1 (ko) 구면 모델링을 통한 깊이 정보 보정 및 부호화 방법과 부호화장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant