KR101581586B1 - 깊이 영상의 노이즈를 보정하는 방법 - Google Patents

Abstract

깊이 영상의 노이즈를 보정하는 방법은 컴퓨터 장치가 깊이 영상에 대한 히스토그램을 생성하는 단계, 컴퓨터 장치가 히스토그램을 N개의 영역으로 구분하는 단계 및 컴퓨터 장치가 N개의 영역에 대해 서로 다른 오프셋 값을 적용하여 N개의 영역에 속하는 픽셀에 대한 픽셀 값을 정정하는 단계를 포함한다.

Description

깊이 영상의 노이즈를 보정하는 방법{COMPENSATION METHOD FOR NOISE OF DEPTH IMAGE}

이하 설명하는 기술은 깊이 정보를 갖는 깊이 영상에서 노이즈를 보정하는 기법에 관한 것이다.

최근 3차원 깊이 정보를 갖는 영상 또는 동영상을 이용하여 게임, 의료 등의 콘텐츠에 활용하는 서비스가 증가하고 있다. 3차원 깊이 정보를 갖는 깊이 영상은 일반적으로 적외선 센서 등과 같은 장비로 별도의 깊이 정보를 측정하거나, 스테레오 카메라를 이용하여 생성된다.

깊이 정보를 수학적으로 모델링하기 위한 방법으로 가우시안 혼합 모델 (Gaussian mixture model)을 이용하여 깊이 영상에 대한 히스토그램을 표현하고 깊이 정보와 색상정보를 바탕으로 일반 영상의 영역 분할에 응용한 연구가 있다.

깊이 영상과 일반 영상(원본 영상)은 같은 시간 및 같은 위치에서 동일한 피사체를 촬영한 것이기 때문에 깊이 영상과 이에 대한 일반 영상은 서로 강한 연관(correlation)관계가 있다. 따라서 보다 정확한 깊이 정보를 이용할 경우 피사체의 영역 분할 (segmentation), 3차원 가상 시점의 생성 (view synthesis), 3차원 동영상 압축과 같은 다양한 어플리케이션의 성능을 향상 시킬 수 있다.

한국공개특허 제10-2011-0090640호

"Foreground segmentation using adaptive mixture models in color and depth", M. Harvelle and G. Gordon, Detection and Recognition of Events in Video, 2001

일반적으로 영상에 나타나는 피사체(객체)의 경계면은 깊이 정보에 노이즈가 발생할 가능성이 높다.

이하 설명하는 기술은 깊이 영상에서 발생하는 노이즈를 제거 내지 보정하는 방법을 제공하고자 한다.

이하 설명하는 기술의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

깊이 영상의 노이즈를 보정하는 방법은 컴퓨터 장치가 깊이 영상에 대한 히스토그램을 생성하는 단계, 컴퓨터 장치가 히스토그램을 N개의 영역으로 구분하는 단계 및 컴퓨터 장치가 N개의 영역에 대해 서로 다른 오프셋 값을 적용하여 N개의 영역에 속하는 픽셀에 대한 픽셀 값을 정정하는 단계를 포함한다.

히스토그램은 픽셀값과 빈도수로 정의되는 복수의 빈을 포함하고, 구분하는 단계는 컴퓨터 장치가 복수의 빈 중에서 좌우로 기준 범위에 존재하는 이웃 빈보다 빈도수가 높거나 같은 빈을 피크로 선정하고, 피크 사이에서 존재하는 빈 중에서 가장 빈도수가 낮은 빈을 기준으로 복수의 빈을 N개의 영역으로 구분할 수 있다.

히스토그램은 컴퓨터 장치가 가우시안 혼합 모델을 이용하여 생성하고, 구분하는 단계는 컴퓨터 장치가 가우시안 혼합을 구성하는 가우시안 분포의 개수를 설정하고, 설정된 복수의 가우시안 분포를 N개의 영역으로 구분할 수 있다.

N개의 영역에 대한 오프셋 값은 각 영역에 대한 카메라 파라미터 및 픽셀이 속한 영역에 따라 결정하되, 히스토그램이 픽셀값과 빈도수로 정의되는 복수의 빈으로 표현되는 경우 오프셋 값은 N개의 영역에 따라 서로 다른 상수값이고, 히스토그램이 가우시안 혼합 모델을 통해 생성된 경우 오프셋 값은 가우시안 혼합 모델로 표현될 수 있다.

이하 설명하는 기술은 정확한 깊이 정보를 기반으로 영상에서 정확도가 높은 피사체(객체)의 분할, 품질이 높은 3차원 영상 생성 내지 3차원 동영상 코딩 등을 가능하게 한다.

이하 설명하는 기술의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1(a)는 깊이 영상의 예를 도시하고, 도 1(b)는 도 1(a)에 대한 원본 영상의 예이다.
도 2는 깊이 영상의 노이즈를 보정하는 방법에 대한 개략적인 순서도의 예이다.
도 3은 히스토그램을 이용하여 픽셀값에 대한 보정을 수행하는 아이디어를 설명하는 예이다.
도 4는 히스토그램을 N개의 영역으로 구분하는 기준에 대한 예이다.
도 5는 가우시안 혼합 모델로 표현되는 히스토그램을 N개의 영역으로 구분하는 기준에 대한 예이다.
도 6은 히스토그램에서 이상 잡음이 검출되는 영역에 대한 예이다.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이며, 이러한 이유로 이하 설명하는 기술의 깊이 영상의 노이즈(noise)를 보정하는 방법(100)에 따른 구성부들의 구성은 이하 설명하는 기술의 목적을 달성할 수 있는 한도 내에서 대응하는 도면과는 상이해질 수 있음을 명확히 밝혀둔다.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

도 1(a)는 깊이 영상의 예를 도시하고, 도 1(b)는 도 1(a)에 대한 원본 영상의 예이다. 이하 설명에서 영상이라는 용어는 정지된 이미지 뿐만 아니라 움직이는 동영상을 포함하는 의미이다.

깊이 정보는 적외선 센서를 이용하여 3차원 깊이를 측정하거나 스테레오 카메라를 활용하여 얻은 두개의 영상 사이의 변위 정보 (disparity information)를 3차원 정보로 변환하여 획득할 수 있다.

도 1(a)를 살펴보면 깊이 영상은 [0, 255] 사이의 픽셀 값을 갖는 흑백 이미지로 표현되는 것을 알 수 있다. 깊이 영상에서 밝기는 피사체가 카메라의 기준점으로부터 떨어진 거리를 의미한다. 즉, 밝은 영역일수록 피사체가 카메라의 기준점으로부터 가까운 곳에 위치한 것이고, 어두운 영역일수록 카메라의 기준점으로부터 먼 곳에 위치하게 된다. 깊이 영상은 전경과 배경의 내부에서는 깊이 정보의 값이 비교적 평탄한 변화를 보이는 반면 경계 (object boundary)에서 급격한 값의 변화를 나타낸다.

도 1(b)는 도 1(a)에 대한 원본 영상(texture image)의 예이다. 도 1(b)를 살펴보면 좌우측에 검도를 하는 사람과 배경 등이 표시된 것을 알 수 있다. 도 1(a)에서는 도 1(b)에 나타난 객체 중에 대표적으로 좌측의 사람(객체 1), 우측의 사람(객체 2) 및 배경(객체 3)을 표시하였다.

이러한 깊이 영상의 특성을 반영하여 깊이 정보를 가우시안 혼합 모델 (Gaussian mixture model)을 이용하여 수학적으로 히스토그램을 표현하고, 깊이 정보와 색상정보를 바탕으로 일반 영상의 영역 분할에 응용한 연구가 있다("Foreground segmentation using adaptive mixture models in color and depth", M. Harvelle and G. Gordon, Detection and Recognition of Events in Video, 2001). 이 연구에서는 히스토그램을 전경 및 배경에 위치한 대략적인 피사체의 개수에 해당하는 n 개의 영역을 각각의 가우시안 모델로 표현하여 전체 깊이 정보를 각 모델의 혼합 (mixture) 형태로 표현하였다.

깊이 정보를 이용하여 3차원 영상을 제작할 때 피사체의 작은 깊이 정보의 차이가 인간의 3차원 인지에 많은 혼란을 줄 수 있다. 또한 깊이 영상과 원본 영상은 원론적으로 같은 시간 및 같은 위치에서 동일한 피사체를 촬영한 것이기 때문에 깊이 영상과 원본 영상 사이에는 서로 강한 연관(correlation)관계가 있다.

결국 보다 정확한 깊이 정보를 이용할 경우 피사체의 영역 분할 (segmentation), 3차원 가상 시점의 생성 (view synthesis), 3차원 동영상 압축과 같은 다양한 어플리케이션의 성능을 향상 시킬 수 있다.

이하 설명하는 기술에서는 깊이 정보의 값에 따른 비대칭적 잡음 분포를 반영하여 깊이 정보의 화질을 향상시키고자 한다.

이하에서는 도면을 참조하면서 깊이 영상의 노이즈를 보정하는 방법(100)에 관하여 구체적으로 설명하겠다. 도 2는 깊이 영상의 노이즈를 보정하는 방법(100)에 대한 개략적인 순서도의 예이다. 깊이 영상을 생성하는 장치 및 깊이 영상에 대한 노이즈를 보정하는 장치는 영상에 대한 처리 및 연산이 가능한 컴퓨터 장치에 해당한다.

깊이 영상의 노이즈를 보정하는 방법(100)은 먼저 특정 원본 영상에 대한 깊이 영상을 생성한 것을 전제로 한다. 깊이 영상을 생성하는 기법이나 장치는 종래에 널리 알려진 기법 내지 장치를 사용할 수 있을 것이다.

컴퓨터 장치는 생성된 깊이 영상을 입력받는다(110). 컴퓨터 장치는 깊이 영사에 대한 히스토그램을 생성한다(120). 이후 컴퓨터 장치는 생성한 히스토그램을 N(N은 2이상의 자연수)개의 영역으로 구분한다(130). 히스토그램을 N개의 영역으로 구분하는 과정은 다양한 기준 및 방식이 사용될 수 있다. N개의 영역은 보정을 위한 오프셋(offset)값을 갖는다. 기본적으로 N개의 영역은 서로 다른 오프셋값을 갖는다.

결국 컴퓨터 장치는 서로 다른 오프셋값을 기준으로 구분된 N개의 영역에 속한 픽셀에 대한 픽셀값을 보정하게 된다(140).

도 3은 히스토그램을 이용하여 픽셀값에 대한 보정을 수행하는 아이디어를 설명하는 예이다. 도 3의 가로축은 픽셀값을 의미하고, 세로축은 빈도수를 의미한다. 도 3의 히스토그램은 깊이 영상을 구성하는 각 픽셀에 대해 픽셀값과 해당 픽셀값의 빈도수를 기준으로 구성된 예이다.

도 3에서는 설명의 편의를 위해 히스토그램이 제1 영역, 제2 영역 및 제3 영역으로 구분이 완료된 예를 도시하였다. 예컨대, 제1 영역은 오프셋값을 10을 갖고, 제2 영역은 오프셋값을 25를 갖고, 제3 영역은 오프셋값을 5를 가질 수 있다. 그리고 각 영역에 소속되는 픽셀은 소속된 영역에 적용된 오프셋값을 이용하여 보정될 수 있다. 나아가 하나의 영역에 속한 모든 픽셀의 픽셀값이 보정될 수도 있고, 하나의 영역에 속한 픽셀 중 일부의 픽셀값만이 보정될 수도 있을 것이다.

깊이 영상의 히스토그램을 N개의 영역으로 구분하는 과정은 깊이 영상을 구성하는 픽셀의 입장에서 보면 픽셀에 대한 특정 영역을 지정하는 라벨링(labeling) 과정이라고 볼 수 있다. 한편 히스토그램은 기본적으로 깊이 영상을 기준으로 구분하겠지만, 경우에 따라서는 원본 영상의 정보를 기준으로 영역이 구분될 수도 있다. 구체적인 내용은 후술한다.

깊이 영상에서 깊이 정보 값은 전경 또는 배경 내에서는 평탄한 값의 변화를 갖고, 객체의 경계에서는 급격한 값의 변화를 갖는다. 히스토그램의 영역을 나눔으로써 깊이 영역의 각 픽셀들이 히스토그램의 어느 영역에 포함이 될지를 결정한다.

히스토그램으로 N개의 영역을 구분한다고 할 때 모든 픽셀은 영역 1 ~ 영역 N까지의 적어도 하나의 영역에 소속이 된다. 배타적으로 소속이 되는 경우를 하드 라벨링(hard labeling), 확률적으로 소속이 되는 경우를 소프트 라벨링(soft labeling)이라고 명명한다. 물체의 경계면 에서 깊이 정보에 잡음이 섞이는 경우 정확한 영역을 구분 하기가 쉽지 않다. 다음과 같은 히스토그램 영역 구분 방법을 제안하고자 한다.

하드 라벨링(hard labeling)

1. 히스토그램의 각 영역의 로컬 피크(local peak)를 찾는다. 로컬 피크값은 다음과 같이 설정할 수 있다.

a. 시각적 관찰

b. 히스토그램의 해당 빈(bin)에 이웃한 양 옆의 bin들의 빈도수를 비교한다. 만약 해당 빈에 속한 빈도수가 양 옆의 이웃의 빈도수보다 크거나 같으면 해당 빈을 로컬 피크로 결정한다.

2. 히스토그램의 각 영역의 로컬 피크를 구한 후 각 로컬 피크를 기준으로 히스토그램의 빈을 하나씩 늘려가며 각 픽셀의 영역 범위를 설정한다. 영역의 범위를 설정할 때 범위의 양 끝 값을 설정하는 방법은 다음과 같을 수 있다.

1) 반복(Iteration)을 통하여 에너지 함수(energy function)가 최소로 되는 지점(영상에서 전경이 깨끗하게 분할되는 지점)을 어느 하나의 영역의 끝으로 설정한다. 이 방법은 원본 영상을 이용하여 히스토그램의 영역을 구분하는 방법에 해당한다.

2) 또는 로컬 피크와 이웃한 로컬 피크 사이에서의 최저점(local minima)을 어느 하나의 영역에 대한 끝으로 설정할 수 있다.

도 4는 히스토그램을 N개의 영역으로 구분하는 기준에 대한 예이다. 도 4는 하드 라벨링을 수행하는 기준을 설명한 예에 해당한다. 도 4에서는 설명의 편의를 위해 영역의 끝 지점을 설정하는 기법으로 최저점을 이용하는 예를 사용하였다.

도 4(a)는 로컬 피크를 결정하는 과정에서 x축의 일정한 기준 구간 단위에서 각각 피크값을 결정하는 경우이다. 도 4(a)는 픽셀값이 존재하는 지점부터 일정한 길이를 갖는 단위 구간(A1, A2, A3, A4, A5 및 A6)에서 각각 피크값을 찾는다.

기준 구간 단위 A1과 A2를 예로 설명한다. 기준 구간 단위 A1에서는 가장 빈도수가 높은 '피크 1'이 로컬 피크로 결정되었고, A2에서는 '피크 2'가 로컬 피크로 결정되었다. 이후 로컬 피크인 피크 1과 피크 2 사이에 빈도수가 가장 낮은 최저점을 영역을 구분하는 끝 지점으로 설정할 수 있다. 최저점은 피크 1이 속하는 영역 또는 피크 2가 속하는 영역에 포함될 수 있다.

정리하면 히스토그램은 픽셀값과 빈도수로 정의되는 복수의 빈을 포함하고, 구분하는 단계(130)는 컴퓨터 장치가 복수의 빈에서 기준 구간 단위로 가장 빈도수가 높은 빈을 피크로 선정하고, 피크 사이에서 존재하는 빈 중에서 가장 빈도수가 낮은 빈을 기준으로 복수의 빈을 N개의 영역으로 구분할 수 있다.

도 4(b)는 로컬 피크를 결정하는 방법이 도 4(a)와 다르다. 일정한 기준 구간 단위에서 로컬 피크를 결정하지 않고, 연속된 히스토그램의 빈들을 서로 비교하면서 로컬 피크를 결정하는 예이다.

컴퓨터 장치는 하나의 빈을 기준으로 좌측에 있는 하나의 빈과 우측에 있는 하나의 빈 보다 높거나 같은 빈도수를 갖는다면 해당 빈을 로컬 피크로 설정할 수 있다. 여기서 비교 기준이 되는 하나의 빈을 타겟 빈이라고 명명한다. 컴퓨터 장치는 타겟 빈의 좌측 또는/및 우측에 위치한 하나의 빈과 타겟 빈을 비교할 수도 있고, 타겟 빈의 좌측 또는/ 및 우측에 위치한 두개의 빈과 타겟 빈을 비교할 수도 있다.

도 4(b)는 타겟 빈과 좌측 및 우측에 위치한 두개의 빈을 비교하여 로컬 피크를 결정하는 예를 도시한다. 타겟 빈을 좌측에서 우측으로 이동하면서 로컬 피크를 결정한다. 이에 따라 피크 1은 좌측 2개의 빈과 우측 2개의 빈보다 빈도수가 높아 로컬 피크로 설정되었고, 이후 타겟 빈을 이동하면 좌측 2개의 빈과 우측 2개의 빈보다 빈도수가 높은 빈(피크 2)을 로컬 피크로 설정하였다.

정리하면 히스토그램은 픽셀값과 빈도수로 정의되는 복수의 빈을 포함하고, 구분하는 단계(130)는 컴퓨터 장치가 복수의 빈 중에서 좌우로 기준 범위에 존재하는 이웃 빈보다 빈도수가 높거나 같은 빈을 피크로 선정하고, 피크 사이에서 존재하는 빈 중에서 가장 빈도수가 낮은 빈을 기준으로 복수의 빈을 N개의 영역으로 구분할 수 있다. 이때 사용되는 기준 범위는 1에서 n의 값을 가질 수 있다(n은 자연수임).

나아가 히스토그램은 픽셀값과 빈도수로 정의되는 복수의 빈을 포함하고, 구분하는 단계(130)는 컴퓨터 장치가 복수의 빈 중에서 좌우로 기준 범위에 존재하는 이웃 빈보다 빈도수가 높거나 같은 빈을 피크로 선정하고, 피크 사이에서 존재하는 빈 중에 깊이 영상 또는 깊이 영상에 대한 일반 영상에 포함된 객체의 경계에 대응되는 빈을 기준으로 복수의 빈을 N개의 영역으로 구분할 수 있다. 각 영역의 끝 지점을 원본 영상의 경계면을 이용한 예에 해당한다.

소프트 라벨링(soft labeling)

도 5는 가우시안 혼합 모델로 표현되는 히스토그램을 N개의 영역으로 구분하는 기준에 대한 예이다.

깊이 영상의 히스토그램을 도 5의 (a)에서 보듯이 비대칭 가우시안 혼합 모델(asymmetric Gaussian Mixture Model)을 사용하여 표현하였다. 컴퓨터 장치는 가우시안 혼합(Gaussian Mixture)을 구성하는 가우시안 분포들의 개수를 설정하고 각 평균, 분산을 구한다. 설정되는 각 가우시안 분포를 히스토그램 영역으로 각각 설정한다. 그리고 다른 가우시안들 보다 확률분포의 값이 큰 영역에서 픽셀이 해당 확률분포로 표현할 확률이 높다고 가정한다.

정리하면 히스토그램은 컴퓨터 장치가 가우시안 혼합 모델을 이용하여 생성하고, 구분하는 단계(130)는 컴퓨터 장치가 가우시안 혼합을 구성하는 가우시안 분포의 개수를 설정하고, 설정된 복수의 가우시안 분포를 N개의 영역으로 구분할 수 있다.

가우시안 분포는 깊이 정보에 기반하여 깊이 영상을 일정한 영역으로 구분한다. 깊이 정보 값에 기반하여 깊이 영상을 구분하기 때문에 영상에 존재하는 특정 객체와 반드시 매칭되는 것은 아니다. N개의 가우시한 혼합 모델 중 특정 영역이 j 번째 가우시안 모델에 포함된다는 의미는 j번째 확률 모델이 나머지 N-1개의 확률 모델보다 해당 히스토그램 구간에서 가장 높은 확률을 갖는 모델로 결정된다는 것이다.

가우시안 분포의 개수를 설정하는 방법은 다음과 같다.

(1) 초기 분포의 개수 k을 설정한다. 보통 k는 3 이상인 것이 바람직하다. 영상을 2개의 영역으로 분할 하는 것은 배경과 배경이 아닌 부분으로 분할 하는 것이기 때문에 최적의 분할이라고 보기 어렵기 때문이다. 또는 전술한 하드 라벨링에서 히스토그램의 영역을 구분한 방법을 사용하여 결정된 영역의 개수를 초기 k로 사용할 수도 있을 것이다.

(2) 이 후 다음과 같은 제한 조건을 고려하여 트리 구조를 이용하여 k 값을 하나씩 증가시킨다. 트리의 노드는 노드에 대응되는 특정 객체(또는 복수의 객체)의 깊이 정보 값의 범위가 가우시안 혼합 모델 중 특정 가우시안 모델에 속한다는 의미이다.

i) 가우시안 혼합 모델을 구성하는 한 가우시안 분포가 다른 분포에 포함되는 형태라면, 상기 한 가우시안 분포는 실제 깊이 영상에서 픽셀 값이 존재하지 않는다. 따라서 k가 증가하면서 생성된 가우시안 분포가 다른 분포에 포함되는 형태라면 해당 가우시안 분포를 무시하고, 이전 k값을 최종 가우시안 분포의 개수로 확정한다.

ii) k가 증가하면서 생성된 가우시안 분포 중에서 음수 값을 가지는 가우시안이 있다면 물체의 존재 확률이 0이다. 따라서 이 경우도 더 이상 k값을 증가시키지 않고, 이전 k값을 최종 가우시안 분포의 개수로 확정한다.

iii) k은 곧 히스토그램 영역의 개수와 같다. k이 증가하는 경우 영상이 필요 이상으로 분할할 수 있으므로 트리 구조의 자식 노드가 셋 이상이 되는 경우 분할을 중지한다.

가우시안 분포의 개수를 결정하기 위하여 사용하는 트리 구조 및 상기 제한 조건의 예를 도 5 (b)에 도시하였다. 도 5(b)의 트리에서 A, B 및 C로 표기된 노드는 도 5(a)의 히스토그램에서 각각 제1 영역, 제2 영역 및 제3 영역에 해당한다고 표시하였다.

정리하면, 컴퓨터 장치가 깊이 영상을 가우시안 혼합 모델을 이용하여 분할하되, 초기 기준 개수 이상의 초기 가우시안 분포를 생성하고, 초기 가우시안 분포에 각각에 대해 트리 형태로 가우시안 분포의 개수를 하나씩 늘리면서 i) 새로운 가우시안 분포가 종래 존재하는 가우시안 분포에 포함되는 경우, ii) 새로운 가우시안 분포 중에서 음(-)의 값을 갖는 가우시안이 있는 경우 또는 iii) 트리의 구조에서 자식 노드가 3개 이상이 되는 경우 분할을 중지하고, 최종적으로 생성된 복수의 가우시안 분포를 N개의 영역으로 구분할 수 있다.

이하 히스토그램에서 발생하는 노이즈를 검출하고 이를 제거하거나 보정하는 기법을 설명하고자 한다.

이상 잡음(outlier noise) 처리

컴퓨터 장치는 히스토그램을 통하여 볼 때 최소 영역 피크(제1 영역의 피크 값)와 최대 영역 피크 (제N 영역의 피크 값)에서 통계적으로 유의미하게 떨어진 픽셀 값들 (예컨대 표준편차 1~2 이상 떨어진 픽셀)을 이상 잡음으로 간주할 수 있다.

도 6은 히스토그램에서 이상 잡음이 검출되는 영역에 대한 예이다. 도 6은 3개의 영역을 갖는 예를 도시하였고, 제1 영역의 피크로부터 표준 편차 1만큼 떨어진 픽셀값 및 제3 영역(제N 영역)의 피크로부터 표준 편차 1만큼 떨어진 픽셀값에 이상 잡음이 있다고 전제하였다.

이상 잡음이 있다고 검출한 픽셀에 대해서는 깊이 영상의 주변 블록 값을 미디언 필터링(median filtering)한 값으로 보정하는 것이 바람직하다.

히스토그램 영역에 대한 오프셋값 결정

깊이 정보를 추출하는 센서 잡음(

)의 검출은 아래 수학식 1과 같은 잡음 모델링을 이용하여 추정한다.

수학식 1에서 c0, c1,

,

는 상수 값이고 z는 깊이 정보를 의미한다.

수학식 1에서 보듯이 깊이 정보에 혼합하는 잡음은 z 값에 따라 변하므로 깊이 정보의 확률 분포는 전술한 바와 같이 비대칭 가우시안 혼합 분포로 이해되어야 한다.

예컨대, 깊이 값과 카메라 파라메터의 값에 따라 히스토그램의 경계에 위치한 픽셀 값을 조정할 수 있다. 이는 아래의 수학식 2로 표현된다.

여기서

는 조정 후 픽셀 값,

는 경계에 위치한 원래 픽셀 값,

는 오프셋 값으로 카메라 파라미터 c와 해당 픽셀이 속한 영역에 따라 변화하는 상수를 의미한다.

는 N개의 영역 중 픽셀이 속한 영역 i의 인덱스에 해당한다.

깊이 카메라 및 일반 영상 카메라를 이용하여 3차원 실 정보를 2차원의 영상으로 표현할 때에는 3차원 실세계 좌표 및 3차원 카메라 좌표로부터 2차원 영상 좌표로 변환하는 과정이 필요하다. 이 과정에서 카메라의 외부/내부 파라미터가 필요하다. 카메라 외부 파라미터는 카메라의 회전 및 이동을 정의하며 카메라 내부 파라메터는 초첨거리, 주점, 그리고 비대칭 계수를 포함한다. 상기 수학식에서 사용되는 카메라 파라미터는 설명한 카메라 외부 및 내부 파라미터 중 일부 또는 전체에 대응되는 값이다. 수학식에서 사용되는 카메라 파라미터는 카메라 외부 및/또는 내부 파라미터을 수학적으로 가공한 값일 수도 있다.

전술한 하드 라벨링 경우 오프셋값(

)은 영역을 구분한 결과에 따라 상수값이다. 그러나 소프트 라벨링 경우 해당 픽셀은 특정 영역에 속할 확률로 나타내므로 오프셋값(

) 역시 혼합 모델의 합으로 나타낼 수 있다.

본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

Claims (11)

1. 컴퓨터 장치가 깊이 영상에 대한 히스토그램을 생성하는 단계;
   상기 컴퓨터 장치가 상기 히스토그램을 N개의 영역으로 구분하는 단계; 및
   상기 컴퓨터 장치가 상기 N개의 영역에 대해 서로 다른 오프셋 값을 적용하여 상기 N개의 영역에 속하는 픽셀에 대한 픽셀 값을 정정하는 단계를 포함하되,
   상기 N개의 영역에 대한 오프셋 값은 각 영역에 대한 카메라 파라미터 및 픽셀이 속한 영역에 따라 결정하되, 상기 히스토그램이 픽셀값과 빈도수로 정의되는 복수의 빈으로 표현되는 경우 상기 오프셋 값은 상기 N개의 영역에 따라 서로 다른 상수값이고, 상기 히스토그램이 가우시안 혼합 모델을 통해 생성된 경우 상기 오프셋 값은 가우시안 혼합 모델로 표현되는 깊이 영상의 노이즈를 보정하는 방법.
2. 제1항에 있어서,
   상기 히스토그램은 픽셀값과 빈도수로 정의되는 복수의 빈을 포함하고,
   상기 구분하는 단계는 상기 컴퓨터 장치가 상기 복수의 빈에서 기준 구간 단위로 가장 빈도수가 높은 빈을 피크로 선정하고, 상기 피크 사이에서 존재하는 빈 중에서 가장 빈도수가 낮은 빈을 기준으로 상기 복수의 빈을 상기 N개의 영역으로 구분하는 깊이 영상의 노이즈를 보정하는 방법.
3. 제1항에 있어서,
   상기 히스토그램은 픽셀값과 빈도수로 정의되는 복수의 빈을 포함하고,
   상기 구분하는 단계는 상기 컴퓨터 장치가 상기 복수의 빈 중에서 좌우로 기준 범위에 존재하는 이웃 빈보다 빈도수가 높거나 같은 빈을 피크로 선정하고, 상기 피크 사이에서 존재하는 빈 중에서 가장 빈도수가 낮은 빈을 기준으로 상기 복수의 빈을 상기 N개의 영역으로 구분하는 깊이 영상의 노이즈를 보정하는 방법.
4. 제1항에 있어서,
   상기 히스토그램은 픽셀값과 빈도수로 정의되는 복수의 빈을 포함하고,
   상기 구분하는 단계는 상기 컴퓨터 장치가 상기 복수의 빈 중에서 좌우로 기준 범위에 존재하는 이웃 빈보다 빈도수가 높거나 같은 빈을 피크로 선정하고, 상기 피크 사이에서 존재하는 빈 중에 상기 깊이 영상 또는 상기 깊이 영상에 대한 일반 영상에 포함된 객체의 경계에 대응되는 빈을 기준으로 상기 복수의 빈을 상기 N개의 영역으로 구분하는 깊이 영상의 노이즈를 보정하는 방법.
5. 제1항에 있어서,
   상기 히스토그램은 상기 컴퓨터 장치가 가우시안 혼합 모델을 이용하여 생성하고,
   상기 구분하는 단계는 상기 컴퓨터 장치가 가우시안 혼합을 구성하는 가우시안 분포의 개수를 설정하고, 설정된 복수의 가우시안 분포를 상기 N개의 영역으로 구분하는 깊이 영상의 노이즈를 보정하는 방법.
6. 제5항에 있어서,
   상기 컴퓨터 장치가
   상기 깊이 영상을 상기 가우시안 혼합 모델을 이용하여 분할하되,
   초기 기준 개수 이상의 초기 가우시안 분포를 생성하고, 상기 초기 가우시안 분포에 각각에 대해 트리 형태로 가우시안 분포의 개수를 하나씩 늘리면서 i) 새로운 가우시안 분포가 종래 존재하는 가우시안 분포에 포함되는 경우, ii) 상기 새로운 가우시안 분포 중에서 음(-)의 값을 갖는 가우시안이 있는 경우 또는 iii) 상기 트리의 구조에서 자식 노드가 3개 이상이 되는 경우 분할을 중지하고, 최종적으로 생성된 복수의 가우시안 분포를 상기 N개의 영역으로 구분하는 깊이 영상의 노이즈를 보정하는 방법.
7. 제5항 또는 제6항에 있어서,
   상기 컴퓨터 장치는
   상기 N개의 영역 중 픽셀값이 가장 작은 영역에 위치한 제1 영역 및 픽셀값이 가장 큰 영역에 위치한 제N 영역 각각에서 빈도수가 가장 높은 피크로부터 표준편차가 기준값 이상 떨어진 픽셀에 대해서 상기 깊이 영상의 주변 블록 값을 미디언 필터링(median filtering)한 값으로 보정하는 단계를 더 포함하는 깊이 영상의 노이즈를 보정하는 방법.
8. 제6항에 있어서,
   상기 초기 기준 개수는 3이거나,
   픽셀값과 빈도수로 정의되는 복수의 빈을 포함하는 상기 깊이 영상에 대한 히스토그램에서 상기 복수의 빈 중에서 좌우로 기준 범위에 존재하는 이웃 빈보다 빈도수가 높거나 같은 빈을 로컬 피크로 선정하고, 상기 로컬 피크 사이에서 존재하는 빈 중에서 가장 빈도수가 낮은 빈을 기준으로 상기 복수의 빈을 구분한 영역의 개수이거나,
   상기 로컬 피크 사이에서 존재하는 빈 중에 상기 깊이 영상 또는 상기 깊이 영상에 대한 일반 영상에 포함된 객체의 경계에 대응되는 빈을 기준으로 상기 복수의 빈을 구분한 영역의 개수인 깊이 영상의 노이즈를 보정하는 방법.
9. 삭제
10. 제1항에 있어서,
    상기 정정하는 단계는
    깊이 값과 카메라 파라미터 값을 기준으로 상기 히스토그램의 경계에 위치한 픽셀 값을 정정하는 깊이 영상의 노이즈를 보정하는 방법.
11. 제1항에 있어서,
    상기 정정하는 단계는 아래의 수식으로 상기 히스토그램의 경게에 위치한 픽셀값을 정정하는 깊이 영상의 노이즈를 보정하는 방법.
    

    

    
    (여기서,

    

    는 정정된 픽셀값,

    

    는 히스토그램 경계에 위치한 원래의 픽셀값,

    

    는 오프셋값,

    

    는 카마레 파라미터값,

    

    는 N개의 영역 중 픽셀이 속한 영역 i에 대한 인덱스)

Images