KR101362183B1 - 카메라 자세 기반의 깊이 영상 노이즈 제거 장치 및 방법 - Google Patents

카메라 자세 기반의 깊이 영상 노이즈 제거 장치 및 방법 Download PDF

Info

Publication number
KR101362183B1
KR101362183B1 KR1020120136849A KR20120136849A KR101362183B1 KR 101362183 B1 KR101362183 B1 KR 101362183B1 KR 1020120136849 A KR1020120136849 A KR 1020120136849A KR 20120136849 A KR20120136849 A KR 20120136849A KR 101362183 B1 KR101362183 B1 KR 101362183B1
Authority
KR
South Korea
Prior art keywords
depth image
camera
depth
filtering
camera pose
Prior art date
Application number
KR1020120136849A
Other languages
English (en)
Inventor
김진욱
홍승표
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020120136849A priority Critical patent/KR101362183B1/ko
Priority to US13/746,808 priority patent/US9002132B2/en
Application granted granted Critical
Publication of KR101362183B1 publication Critical patent/KR101362183B1/ko
Priority to US14/641,807 priority patent/US9589326B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

복수의 깊이 영상을 획득하는 깊이 영상 획득부, 복수의 깊이 영상의 카메라 자세를 기준 깊이 영상의 카메라 자세로 변환하는 카메라 자세 변환부 및 기준 깊이 영상의 각 픽셀의 가중평균을 이용하여 기준 깊이 영상을 필터링하는 깊이 영상 필터링부를 포함하는 것을 특징으로 하는 카메라 자세 기반의 깊이 영상 노이즈 제거 장치 및 이 장치를 이용한 방법이 개시된다.

Description

카메라 자세 기반의 깊이 영상 노이즈 제거 장치 및 방법{DEPTH IMAGE NOISE REMOVAL APPARATUS AND METHOD BASED ON CAMERA POSE}
본 발명의 실시예들은 깊이 영상의 노이즈 제거에 관한 것으로 더욱 구체적으로는 카메라 자세를 기반으로한 깊이 영상의 노이즈 제거 장치 및 방법에 대한 것이다.
최근에는 3차원 영상의 재현을 위하여 깊이 영상을 이용한 영상 합성 방법이 널리 이용되고 있다. 이러한 깊이 영상을 촬영하기 위한 상용화된 카메라들이 개발되고 있으나, 많은 양의 노이즈를 수반하는 문제점이 존재한다. 일반적으로, 깊이 영상의 노이즈 제거를 위해 양측성 필터(Bilateral Filter)가 사용될 수 있다. 양측성 필터는 가우시안 블러에 범위 가중(range weight)를 추가하여 엣지 부분은 보존되고 그 외 영역은 블러링 되는 효과를 갖는다. 이에 개선된 방법으로 trialteral 필터링 방법이 소개되었다. Trialteral 필터링 방법은 필터링 윈도우의 각도와 너비를 픽셀의 경사도(gradient)에 따라서 조절하는 것을 특징으로 한다.
그러나 상술한 필터들은 기존 컬러 영상의 처리에서 사용되던 필터링 방법으로 깊이 영상의 노이즈를 제거함에 있어서는 다소 충분하지 못한 문제점이 존재한다.
본 발명의 일 측면에 따르면, 깊이 영상의 카메라 자세를 이용하여 획기적으로 깊이 영상의 노이즈 제거 장치 및 방법을 제공할 수 있다.
본 발명의 일 실시예에 따른 카메라 자세 기반의 깊이 영상 노이즈 제거 장치는, 복수의 깊이 영상을 획득하는 깊이 영상 획득부, 상기 복수의 깊이 영상의 카메라 자세를 기준 깊이 영상의 카메라 자세로 변환하는 카메라 자세 변환부 및 상기 기준 깊이 영상의 각 픽셀의 가중평균을 이용하여 상기 기준 깊이 영상을 필터링하는 깊이 영상 필터링부를 포함할 수 있다.
또한, 상기 깊이 영상 필터링부는, 상기 기준 깊이 영상의 각 픽셀과 다른 깊이 영상의 각 픽셀 사이의 깊이값의 차이값 및 영상 평면 상의 거리값; 및 상기 복수의 깊이 영상들에 대한 카메라 자세의 차이값을 기초로 상기 가중평균을 결정하는 것을 특징으로 할 수 있다.
또한, 상기 카메라 자세 변환부는, 상기 기준 깊이 영상을 기준으로한 상기 복수의 깊이 영상의 상대적인 카메라 자세값을 획득하고, 상기 상대적인 카메라 자세값에 재투영 행렬(re-projection matrix)을 계산함으로써 상기 복수의 깊이 영상을 상기 기준 깊이 영상으로 재투영하는 단계를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 카메라 자세 변환부는, ICP 알고리즘을 이용하여 상기 상대적인 카메라 자세값을 획득하는 것을 특징으로 하는 카메라 자세 기반의 깊이 영상 노이즈 제거 장치.
또한, 상기 깊이 영상 필터링부는, 상기 상대적인 카메라 자세값을 로그매핑하여 상기 카메라 자세의 차이값을 계산하는 것을 특징으로 할 수 있다.
또한, 상기 깊이 영상 필터링부는, 상기 기준 깊이 영상의 일부 영역에 대한 필터링 윈도우를 순차적으로 생성하는 단계 및 상기 필터링 윈도우에서 상기 가중평균을 계산하는 단계를 포함하는 것을 특징으로 할 수 있다.
본 발명의 다른 일 실시예에 따른 카메라 자세 기반의 깊이 영상 노이즈 제거 방법은 복수의 깊이 영상을 획득하는 단계, 상기 복수의 깊이 영상의 카메라 자세를 기준 깊이 영상의 카메라 자세로 변환하는 단계 및 상기 기준 깊이 영상의 각 픽셀의 가중평균을 이용하여 상기 기준 깊이 영상을 필터링하는 단계를 포함할 수 있다.
또한, 상기 가중평균은, 상기 기준 깊이 영상의 각 픽셀과 다른 깊이 영상의 각 픽셀 사이의 깊이값의 차이값 및 거리값 및 상기 복수의 깊이 영상들에 대한 카메라 자세의 차이값을 기초로 결정되는 것을 특징으로 할 수 있다.
또한, 상기 복수의 깊이 영상에 대한 카메라 자세를 기준 깊이 영상에 대한 카메라 자세로 변환하는 단계는, 상기 기준 깊이 영상을 기준으로한 상기 복수의 깊이 영상의 상대적인 카메라 자세값을 획득하는 단계 및 상기 상대적인 카메라 자세값에 재투영 행렬(re-projection matrix)을 계산함으로써 상기 복수의 깊이 영상을 상기 기준 깊이 영상으로 재투영하는 단계를 포함하는 것을 특징으로 할 수 있다.
또한, 상기 상대적인 카메라 자세를 획득하는 단계는, ICP 알고리즘을 이용하여 상기 상대적인 카메라 자세값을 획득하는 것을 특징으로 할 수 있다.
또한, 상기 카메라 자세의 차이값은, 상기 상대적인 카메라 자세값을 로그매핑하여 계산하는 것을 특징으로 할 수 있다.
또한, 상기 기준 깊이 영상을 필터링하는 단계는, 상기 기준 깊이 영상의 일부 영역에 대한 필터링 윈도우를 순차적으로 생성하는 단계 및 상기 필터링 윈도우에서 상기 가중평균을 계산하는 단계를 포함하는 것을 특징으로 할 수 있다.
본 발명의 일 측면에 따르면, 순차적인 깊이 영상들을 촬영하고, 상대적인 카메라 자세를 확인함으로써 여러 장의 깊이 영상들을 동일시점으로 변환하여 블렌딩함으로써 효과적으로 많은 노이즈를 제거할 수 있다.
도 1은 본 발명의 일 실시예에 따른 카메라 자세 기반의 깊이 영상 노이즈 제거 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따라 카메라 자세 변환부가 복수개의 깊이 영상에 대한 카메라 자세를 변환하는 과정을 설명하기 위한 순서도이다.
도 3은 필터링 윈도우가 생성된 복수의 깊이 영상의 개념도이다.
도 4는 본 발명의 일 실시예에 따른 깊이 영상 필터링부가 기준 깊이 영상의 각 픽셀과 다른 깊이 영상의 각 픽셀 사이의 거리 및 깊이값을 계산하는 비교대상 픽셀을 설명하기 위한 도면이다.
도 5는 본 발명의 다른 일 실시예에 따른 카메라 자세 기반의 깊이 영상 노이즈 제거 방법의 순서도를 보여준다.
도 6은 본 발명의 일 실시예에 따른 PAT 필터링 방법을 적용한 결과와 양측성 필터(Bilateral Filter)를 적용한 결과의 비교 결과를 보여준다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은 본 발명의 일 실시예에 따른 카메라 자세 기반의 깊이 영상 노이즈 제거 장치의 구성도이다. 도 1을 참조하면, 일 실시예에 따른 카메라 자세 기반의 깊이 영상 노이즈 제거 장치(100)는 깊이 영상 획득부(101), 카메라 자세 변환부(102), 및 깊이 영상 필터링부(103)를 포함하여 구성될 수 있다.
일 실시예에서, 깊이 영상 획득부(101)는, 복수의 깊이 영상을 촬영하여 데이터화할 수 있는 카메라를 포함할 수 있다. 이러한 깊이 영상 획득부(101)는 한대 또는 한대 이상의 컬러 카메라와 깊이 카메라의 조합일 수 있고, 또는 깊이 카메라 만으로 구성될 수도 있다. 또한 깊이 카메라로는 적외선 센서를 이용한 깊이 카메라(time of flight camera)가 이용될 수 있다. 다만, 본 발명에 있어서 깊이 영상을 위한 카메라가 상술한 바에 한정되는 것은 아니며, 깊이 영상을 획득할 수 있는 임의의 장치를 포함할 수 있다.
일 실시예에서, 깊이 영상 획득부(101)는 복수의 깊이 영상을 촬영하여 전자적 데이터 형태로 변환한 뒤 카메라 자세 변환부(102)로 전달할 수 있다.
카메라 자세 변환부(102)는 깊이 영상 획득부(101)로부터 전달받은 복수의 깊이영상의 카메라 자세를 특정 깊이 영상의 카메라 자세로 변환할 수 있다. 여기서, 상술한 특정 깊이 영상은 깊이 영상 획득부(101)로부터 전달받은 복수의 깊이 영상 중 어느 하나의 깊이 영상일 수 있다. 본 명세서에서는 상술한 특정 깊이 영상을 기준 깊이 영상이라고 언급하도록 한다. 즉, 카메라 자세 변환부(102)는 복수의 깊이 영상의 카메라 자세를 기준 깊이 영상의 카메라 자세로 일치 시킬 수 있다. 또한, 본 발명에 있어서, 이 기준 깊이 영상이 노이즈 제거 대상 프레임이 될 수 있다.
도 2는 본 발명의 일 실시예에 따라 카메라 자세 변환부가 복수개의 깊이 영상에 대한 카메라 자세를 변환하는 과정을 설명하기 위한 순서도이다.
도 2를 참조하면, 카메라 자세 변환부(102)는 깊이 영상 획득부(102)로부터 전달받은 서로 다른 6개의 깊이 영상으로부터 각 깊이 영상의 카메라 자세(camera pose)를 획득할 수 있다(S22). 도 2에서 6개의 순차적인 깊이 영상을 기초로 본 발명의 일측면이 설명되나 이 개수에 본 발명이 한정되는 것은 아니며 임의 개수의 깊이 영상이 획득될 수 있다. 그리고 나서, 카메라 자세 변환부(102)는 다른 깊이 영상들의 카메라 자세를 기준 깊이 영상으로 재투영할 수 있다(S23).
즉, 카메라 자세 변환부(102)는 각 깊이 영상의 카메라 자세를 획득함에 있어서, 기준 깊이 영상을 기준으로하여 복수의 깊이 영상에 대한 상대적인 카메라 자세값을 획득하고, 그리고 나서, 카메라 자세 변환부(102)는 상기 상대적인 카메라 자세값에 재투영 행렬(re-projection matrix)을 계산함으로써 복수의 깊이 영상을 기준 깊이 영상에 맞게 재투영할 수 있다. 또한, 카메라 자세 변환부(102)는 point to plane ICP(Iterative Closest Point) 알고리즘을 이용하여 상대적인 카메라 자세값을 획득할 수 있다.
본 발명의 일 실시예에 있어서, 깊이 영상 필터링부(103)는 기준 깊이 영상의 각 픽셀의 가중평균을 이용하여 기준 깊이 영상을 필터링할 수 있다. 여기서, 깊이 영상 필터링부(103)는 노이즈 제거 대상인 기준 깊이 영상에 대하여 필터링 윈도우를 순차적으로 생성하여, 이 필터링 윈도우 내에서의 가중 평균을 계산할 수 있다. 필터링 윈도우는 기준 깊이 영상의 일 부분에 대하여 생성되어, 기준 깊이 영상 전체를 필터링 할 수 있도록 기준 깊이 영상의 모든 부분에 대하여 순차적으로 생성될 수 있다. 다만, 필터링 윈도우는 기준 깊이 영상 외에도 다른 복수의 깊이 영상에 대하여도 생성될 수 있다.
도 3은 필터링 윈도우가 생성된 복수의 깊이 영상의 개념도이다. 도 3을 참조하면, 카메라 자세가 정렬된 복수개의 깊이 영상이 나타난다. 이 깊이 영상의 일 부분에 대하여 필터링 윈도우가 생성되며, 깊이 영상 필터링부(103)는 이 필터링 윈도우에 대하여 필터링을 수행할 수 있다. 또한, 깊이 영상 필터링부(103)는 제1 필터링 윈도우(311), 제2 필터링 윈도우(312) 및 제3 필터링 윈도우(313)와 같이 순차적으로 필터링 윈도우를 생성하여 기준 깊이 영상(310)에 대하여 국지적인 필터링을 순차적으로 수행할 수 있다. 이러한 필터링을 수행함에 있어서, 다른 깊이 영상들(예컨대, 320, 330,340 등)의 픽셀들에 대한 정보가 이용될 수 있다.
본 발명의 일 실시예에 따른 깊이 영상 필터링부(103)는, 기준 깊이 영상의 각 픽셀과 다른 깊이 영상의 각 픽셀 사이의 깊이값의 차이값(a) 기준 깊이 영상의 각 픽셀과 다른 깊이 영상의 각 픽셀 사이의 거리값(b) 및 복수의 깊이 영상들에 대한 카메라 자세의 차이값(c)을 기초로 가중평균을 결정할 수 있다.
즉, 깊이 영상 필터링부(103)는 기준 깊이 영상(k)의 픽셀(p)에 대하여 필터링된 값 f( I p k )를 구하기 위한 식은 아래의 [수학식 1]과 같다.
Figure 112012098980326-pat00001
여기서, k는 기준 깊이 영상, i는 기준 깊이 영상 외의 다른 깊이 영상들을 나타낸다. 그리고, w p k 는 해당 윈도우에서 모든 가중값들의 합을 나타내고, I q i 는 깊이 영상 i의 픽셀 q의 깊이 값을 나타낸다. 또한
Figure 112012098980326-pat00002
,
Figure 112012098980326-pat00003
,
Figure 112012098980326-pat00004
는 하기의 [수학식 2] 내지 [수학식 4]가 그 구체적인 내용을 각각 나타낸다.
Figure 112012098980326-pat00005
Figure 112012098980326-pat00006
Figure 112012098980326-pat00007
여기서 T ki 는 두개의 깊이 영상 사이의 상대적인 카메라 자세값을 나타낸다. 여기서 T ki 의 크기를 구하기 위해, 로그매핑을 하여 얻어진 백터의 놈(norm)을 계산할 수 있다.
도 4는 본 발명의 일 실시예에 따른 깊이 영상 필터링부가 기준 깊이 영상의 각 픽셀과 다른 깊이 영상의 각 픽셀 사이의 거리 및 깊이값을 계산하는 비교대상 픽셀을 설명하기 위한 도면이다. 도 4를 참조하면, 기준 깊이 영상에 대한 필터링 윈도우(311)와 이에 순차적인 다른 깊이 영상에 대한 필터링 윈도우(321)가 나타난다. 필터링 기준 깊이 영상의 일 픽셀(41)에 대한 필터링 단계를 설명하도록 한다. 구체적으로, 깊이 영상 필터링부(103)는 필터링 윈도우 내의 각각의 픽셀에 대하여 후술할 필터링 단계를 수행하게 된다. 또한 상술한 바와 같이 필터링 윈도우는 기준 깊이 영상의 모든 면적에 대하여 수행되므로, 기준 깊이 영상의 모든 픽셀에 대하여 아래와 같은 필터링이 수행됨을 알 수 있다.
일 실시예에서, 깊이 영상 필터링부(103)는 기준 깊이 영상의 각 픽셀과 다른 깊이 영상의 각 픽셀 사이의 깊이값의 차이값(a)을 계산할 수 있다. 예컨대, 깊이 영상 필터링부는 픽셀(41)에 대한 차이값(a)은, 픽셀(41)의 깊이값과 다른 깊이 영상의 필터링 윈도우(321) 내의 모든 픽셀의 깊이값을 비교하여 판단할 수 있다. 도 4에는 다른 깊이 영상의 필터링 윈도우(321) 내의 픽셀(43) 및 픽셀(44)가 예시적으로 나타나있다.
또한, 깊이 영상 필터링부(103)는, 기준 깊이 영상의 각 픽셀과 다른 깊이 영상의 각 픽셀 사이의 거리값(b)을 계산할 수 있다. 도 픽셀(41)에 대하여 상기 거리값(b)를 계산하는 경우, 다른 깊이 영상에 있어서, 기준 깊이 영상의 해당 픽셀(41)에 매칭되는 위치를 기초로 다른 깊이 영상에서의 거리값을 계산할 수 있다. 예컨대, 픽셀(41)에서 픽셀(43)까지의 거리값은 도 4에 나타난 바와 같이, 픽셀(42)에서 픽셀(43)까지의 거리값으로 계산될 수 있다. 마찬가지로, 픽셀(41)에서 픽셀(44)까지의 거리값은 픽셀(42)에서 픽셀(44)까지의 거리값으로 계산될 수 있다. 카메라 자세 변경부(102)가 복수의 깊이 영상의 카메라 자세를 하나로 정렬하였고, 필터링 윈도우가 도 3에 나타난 바와 같이 정렬된 카메라 자세에서 일정하게 배치되므로, 픽셀(41)과 픽셀(42)는 각 필터링 윈도우에 대하여 상대적으로 동일한 좌표에 위치함을 알 수 있다.
일 실시예에서, 깊이 영상 필터링부(103)는 기준 깊이 영상을 기준으로한 복수의 깊이 영상들에 대한 카메라 자세의 차이값(c)을 결정할 수 있다. 구체적으로, 깊이 영상 필터링부(103)는 수학식 4에 나타난 바와 같이, 상대적인 카메라 자세값을 로그매핑하여 카메라 자세의 차이값을 결정 할 수 있다. 또한, 깊이 영상 필터링부(103)는 ICP 알고리즘을 이용하여 상대적인 카메라 자세값을 획득할 수도 있다. 결과적으로, 기준 깊이 영상과 유사한 자세에서 획득된 깊이 영상일수록 더 큰 가중치를 가질 수 있음을 알 수 있다.
도 5는 본 발명의 다른 일 실시예에 따른 카메라 자세 기반의 깊이 영상 노이즈 제거 방법의 순서도를 보여준다. 위 실시예에 따른 카메라 자세 기반의 깊이 영상 노이즈 제거 방법은 복수의 깊이 영상을 획득하는 단계(S1), 복수의 깊이 영상의 카메라 자세를 기준 깊이 영상의 카메라 자세로 변환하는 단계(S2) 및 기준 깊이 영상의 각 픽셀의 가중평균을 이용하여 기준 깊이 영상을 필터링하는 단계(S3)를 포함하여 수행될 수 있다.
일 실시예에 있어서, 복수의 깊이 영상을 획득하는 단계(S1)는 상술한 깊이 영상 획득부(101)의 기능과 동일하게 수행될 수 있고 깊이 영상 획득부(101)에 의해서 수행될 수도 있다. 또한, 복수의 깊이 영상의 카메라 자세를 기준 깊이 영상의 카메라 자세로 변환하는 단계(S2)는, 상기 기준 깊이 영상을 기준으로한 상기 복수의 깊이 영상의 상대적인 카메라 자세값을 획득하는 단계 및 상대적인 카메라 자세값에 재투영 행렬(re-projection matrix)을 계산함으로써 상기 복수의 깊이 영상을 상기 기준 깊이 영상으로 재투영하는 단계를 포함할 수 있다.
일 실시예에 있어서, 가중 평균을 결정하는 방법은 상술한 바와 동일하며, 기준 깊이 영상을 필터링하는 단계(S3)는 상기 기준 깊이 영상의 일부 영역에 대한 필터링 윈도우를 순차적으로 생성하는 단계 및 상기 필터링 윈도우에서 상기 가중평균을 계산하는 단계를 포함하여 수행될 수 있다.
즉, 본 발명의 일 실시예에 따른 노이즈 제거 방법은, 노이즈를 제거하고자 하는 기준 깊이 영상을 포함한 전후의 n개의 깊이 영상을 취득하고, 기준 깊이 영상을 제외한 n-1 개의 전후 깊이 영상들에 대하여 기준 깊이 영상과의 상대적인 카메라 위치를 계산한다. 그리고, n-1개의 전후 깊이 영상들을 기준 깊이 영상의 카메라 위치로 재투영하고, 한 장소에서 획득된 것처럼 변형된 n개의 깊이 영상들을 상술한 필터링 방법으로 블렌딩하여 수행될 수 있다. 상기 필터링 방법을 PAT(Pose Aware Trilatreral) 필터링 방법이라 언급할수 있다.
도 6은 본 발명의 일 실시예에 따른 PAT 필터링 방법을 적용한 결과와 양측성 필터(Bilateral Filter)를 적용한 결과의 비교를 보여준다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 PAT 필터링의 결과물인 도 6c는 양측성 필터를 적용한 결과물인 도 6b와 비교하였을 때, 보다 많은 양의 노이즈가 제거됨을 알 수 있다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.
본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다.
실시예들이 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다. 나아가, 본 발명의 일 실시예에 따른 방법은 일련의 과정들을 수행하기 위한 컴퓨터 프로그램의 형태로 구현될 수도 있으며, 상기 컴퓨터 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수도 있다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.

Claims (12)

  1. 복수의 깊이 영상을 획득하는 깊이 영상 획득부;
    상기 복수의 깊이 영상의 카메라 자세를 기준 깊이 영상의 카메라 자세로 변환하는 카메라 자세 변환부; 및
    상기 기준 깊이 영상의 각 픽셀의 가중평균을 이용하여 상기 기준 깊이 영상의 카메라 자세로 변환된 상기 복수의 깊이 영상을 필터링하는 깊이 영상 필터링부를 포함하는 것을 특징으로 하는 카메라 자세 기반의 깊이 영상 노이즈 제거 장치.
  2. 제1항에 있어서,
    상기 깊이 영상 필터링부는,
    상기 기준 깊이 영상의 각 픽셀과 다른 깊이 영상의 각 픽셀 사이의 깊이값의 차이값 및 거리값; 및 상기 복수의 깊이 영상들에 대한 카메라 자세의 차이값을 기초로 상기 가중평균을 결정하는 것을 특징으로 하는 카메라 자세 기반의 깊이 영상 노이즈 제거 장치.
  3. 제2항에 있어서,
    상기 카메라 자세 변환부는,
    상기 기준 깊이 영상을 기준으로한 상기 복수의 깊이 영상의 상대적인 카메라 자세값을 획득하고,
    상기 상대적인 카메라 자세값에 재투영 행렬(re-projection matrix)을 계산함으로써 상기 복수의 깊이 영상을 상기 기준 깊이 영상으로 재투영하는 단계를 포함하는 것을 특징으로 하는 카메라 자세 기반의 깊이 영상 노이즈 제거 장치.
  4. 제3항에 있어서,
    상기 카메라 자세 변환부는,
    ICP(Iterative Closest Point) 알고리즘을 이용하여 상기 상대적인 카메라 자세값을 획득하는 것을 특징으로 하는 카메라 자세 기반의 깊이 영상 노이즈 제거 장치.
  5. 제3항에 있어서,
    상기 깊이 영상 필터링부는,
    상기 상대적인 카메라 자세값을 로그매핑하여 상기 카메라 자세의 차이값을 계산하는 것을 특징으로 하는 카메라 자세 기반의 깊이 영상 노이즈 제거 장치.
  6. 제2항에 있어서,
    상기 깊이 영상 필터링부는,
    상기 기준 깊이 영상의 일부 영역에 대한 필터링 윈도우를 순차적으로 생성하고,
    상기 필터링 윈도우에서 상기 가중평균을 계산하는 것을 특징으로 하는 카메라 자세 기반의 깊이 영상 노이즈 제거 장치.
  7. 복수의 깊이 영상을 획득하는 단계;
    상기 복수의 깊이 영상의 카메라 자세를 기준 깊이 영상의 카메라 자세로 변환하는 단계; 및
    상기 기준 깊이 영상의 각 픽셀의 가중평균을 이용하여 상기 기준 깊이 영상의 카메라 자세로 변환된 상기 복수의 깊이 영상을 필터링하는 단계를 포함하는 것을 특징으로 하는 카메라 자세 기반의 깊이 영상 노이즈 제거 방법.
  8. 제7항에 있어서,
    상기 가중평균은,
    상기 기준 깊이 영상의 각 픽셀과 다른 깊이 영상의 각 픽셀 사이의 깊이값의 차이값 및 거리값; 및
    상기 복수의 깊이 영상들에 대한 카메라 자세의 차이값을 기초로 결정되는 것을 특징으로 하는 카메라 자세 기반의 깊이 영상 노이즈 제거 방법.
  9. 제8항에 있어서,
    상기 복수의 깊이 영상에 대한 카메라 자세를 기준 깊이 영상에 대한 카메라 자세로 변환하는 단계는,
    상기 기준 깊이 영상을 기준으로한 상기 복수의 깊이 영상의 상대적인 카메라 자세값을 획득하는 단계; 및
    상기 상대적인 카메라 자세값에 재투영 행렬(re-projection matrix)을 계산함으로써 상기 복수의 깊이 영상을 상기 기준 깊이 영상으로 재투영하는 단계를 포함하는 것을 특징으로 하는 카메라 자세 기반의 깊이 영상 노이즈 제거 방법.
  10. 제9항에 있어서,
    상기 상대적인 카메라 자세를 획득하는 단계는,
    ICP(Iterative Closest Point) 알고리즘을 이용하여 상기 상대적인 카메라 자세값을 획득하는 것을 특징으로 하는 카메라 자세 기반의 깊이 영상 노이즈 제거 방법.
  11. 제9항에 있어서,
    상기 카메라 자세의 차이값은,
    상기 상대적인 카메라 자세값을 로그매핑하여 계산하는 것을 특징으로 하는 카메라 자세 기반의 깊이 영상 노이즈 제거 방법.
  12. 제8항에 있어서,
    상기 기준 깊이 영상을 필터링하는 단계는,
    상기 기준 깊이 영상의 일부 영역에 대한 필터링 윈도우를 순차적으로 생성하는 단계; 및
    상기 필터링 윈도우에서 상기 가중평균을 계산하는 단계를 포함하는 것을 특징으로 하는 카메라 자세 기반의 깊이 영상 노이즈 제거 방법.
KR1020120136849A 2012-11-29 2012-11-29 카메라 자세 기반의 깊이 영상 노이즈 제거 장치 및 방법 KR101362183B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120136849A KR101362183B1 (ko) 2012-11-29 2012-11-29 카메라 자세 기반의 깊이 영상 노이즈 제거 장치 및 방법
US13/746,808 US9002132B2 (en) 2012-11-29 2013-01-22 Depth image noise removal apparatus and method based on camera pose
US14/641,807 US9589326B2 (en) 2012-11-29 2015-03-09 Depth image processing apparatus and method based on camera pose conversion

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120136849A KR101362183B1 (ko) 2012-11-29 2012-11-29 카메라 자세 기반의 깊이 영상 노이즈 제거 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101362183B1 true KR101362183B1 (ko) 2014-02-13

Family

ID=50270760

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120136849A KR101362183B1 (ko) 2012-11-29 2012-11-29 카메라 자세 기반의 깊이 영상 노이즈 제거 장치 및 방법

Country Status (2)

Country Link
US (1) US9002132B2 (ko)
KR (1) KR101362183B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107490365A (zh) * 2016-06-10 2017-12-19 手持产品公司 尺寸度量器中的场景变化检测

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
LU92731B1 (en) * 2015-06-05 2016-12-06 Université Du Luxembourg Real-time temporal filtering and super-resolution of depth image sequences
US10510160B2 (en) * 2016-12-20 2019-12-17 Samsung Electronics Co., Ltd. Multiscale weighted matching and sensor fusion for dynamic vision sensor tracking
CN109242782B (zh) * 2017-07-11 2022-09-09 深圳市道通智能航空技术股份有限公司 噪点处理方法及装置
CN113379812A (zh) * 2021-05-31 2021-09-10 上海集成电路制造创新中心有限公司 异常像素的滤除方法及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008008797A (ja) 2006-06-29 2008-01-17 Toyota Motor Corp カメラ挙動推定装置及びカメラ挙動推定プログラム
KR20100085675A (ko) * 2009-01-21 2010-07-29 삼성전자주식회사 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
KR20100087685A (ko) * 2009-01-28 2010-08-05 한국전자통신연구원 깊이 영상의 품질 개선 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100918706B1 (ko) 2007-03-20 2009-09-22 인천대학교 산학협력단 카메라 자세 추정 장치 및 방법
KR101367281B1 (ko) 2007-11-13 2014-02-25 삼성전자주식회사 깊이 영상 생성 방법 및 장치
KR101420684B1 (ko) * 2008-02-13 2014-07-21 삼성전자주식회사 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008008797A (ja) 2006-06-29 2008-01-17 Toyota Motor Corp カメラ挙動推定装置及びカメラ挙動推定プログラム
KR20100085675A (ko) * 2009-01-21 2010-07-29 삼성전자주식회사 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치
KR20100087685A (ko) * 2009-01-28 2010-08-05 한국전자통신연구원 깊이 영상의 품질 개선 방법 및 장치

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107490365A (zh) * 2016-06-10 2017-12-19 手持产品公司 尺寸度量器中的场景变化检测
CN107490365B (zh) * 2016-06-10 2021-06-15 手持产品公司 尺寸度量器中的场景变化检测

Also Published As

Publication number Publication date
US9002132B2 (en) 2015-04-07
US20140147056A1 (en) 2014-05-29

Similar Documents

Publication Publication Date Title
Delbracio et al. Hand-held video deblurring via efficient fourier aggregation
Zhu et al. Removing atmospheric turbulence via space-invariant deconvolution
WO2016183716A1 (zh) 图像去模糊方法及系统
Tang et al. Non-blind image deblurring method by local and nonlocal total variation models
CN106991650B (zh) 一种图像去模糊的方法和装置
US8712182B2 (en) Image processing device, image processing method, and program
Lee et al. Simultaneous localization, mapping and deblurring
US9589328B2 (en) Globally dominant point spread function estimation
Yu et al. Efficient patch-wise non-uniform deblurring for a single image
KR101362183B1 (ko) 카메라 자세 기반의 깊이 영상 노이즈 제거 장치 및 방법
CN103369209A (zh) 视频降噪装置及方法
Korobeynikov et al. Calculation of regularization parameter in the problem of blur removal in digital image
EP2887310B1 (en) Method and apparatus for processing light-field image
Ito et al. Blurburst: Removing blur due to camera shake using multiple images
JP6369150B2 (ja) アンチエイリアシングエッジを回復するフィルタリング方法及びフィルタリング装置
WO2014070273A1 (en) Recursive conditional means image denoising
US11145032B2 (en) Image processing apparatus, method and storage medium for reducing color noise and false color
JP5911292B2 (ja) 画像処理装置、撮像装置、画像処理方法、および、画像処理プログラム
KR101341871B1 (ko) 비디오 디블러링 방법 및 그 장치
JP2019169000A (ja) 画像処理装置、画像処理方法、およびプログラム
Zhang et al. Bundled kernels for nonuniform blind video deblurring
JP6359985B2 (ja) デプス推定モデル生成装置及びデプス推定装置
Chen et al. A new TV-Stokes model with augmented Lagrangian method for image denoising and deconvolution
Lavatelli et al. A motion blur compensation algorithm for 2D DIC measurements of deformable bodies
JP5807555B2 (ja) 画像処理プログラム、装置及び方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170125

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 7