KR101866107B1 - 평면 모델링을 통한 깊이 정보 보정 방법과 보정 장치 및 부호화 장치 - Google Patents

Abstract

본 발명의 실시예에 따른 평면모델링을 통한 깊이 정보 보정 방법은, 3차원 공간을 촬영하여 깊이 영상을 생성하는 단계; 보정 대상 화소의 주변 화소의 좌표 및 깊이 값에 기초하여 상기 보정 대상 화소의 보정된 깊이 값을 생성하는 단계; 상기 보정 대상 화소와 상기 주변 화소의 생성된 보정된 깊이 값에 기초하여 예측 오차를 계산하는 단계; 및 상기 예측 오차에 따라 상기 깊이 영상의 깊이 값을 변경하는 단계;를 포함하는 평면모델링을 통한 깊이 정보 보정 방법을 제공할 수 있다.

Description

평면 모델링을 통한 깊이 정보 보정 방법과 보정 장치 및 부호화 장치{Coding Device, Device and Method and Depth Information Compensation by Plane Modeling}

본 발명은 평면 모델링을 통한 깊이 정보 예측을 통한 깊이 정보 보정 방법에 관한 것이다.

기존에는 색상 영상을 통해 객체를 인식하고, 객체에 대한 정보를 획득하여 정보를 처리하는 경우가 일반적이었다. 하지만 최근 깊이 측정 기술의 발달로 인해 깊이 카메라나 깊이 측정 센서의 보급이 널리 퍼지고 있고, 이에 따라 측정된 깊이 정보를 이용하여 객체를 인식하여 이에 따른 정보를 처리하는 연구가 많아지고 있다. 하지만 깊이를 측정할 때, 측정 오차로 인해 잡음을 포함하는 깊이 영상이 촬영된다. 이 잡음은 깊이를 이용한 정보 처리에 있어서 정확도를 저하시키는 요인이 된다. 깊이를 이용한 정보 처리에서 정확도를 향상시키기 위해서는 깊이 영상의 잡음을 제거하는 과정이 필수적이다.

깊이 영상을 이용한 기존 보정 방법은 비 평면 모델에서 나타나는 잡음 모델을 이용하여 잡음을 제거하는 방법이 연구되었다. 또한 색상 영상과 정합을 통해 깊이 오차를 제거하는 방법도 제안되었다. 하지만 잡음 모델을 이용한 방법은 깊이 카메라의 깊이 측정 방법에 따라 잡음 모델이 달라지기 때문에 범용적으로 이용하기엔 무리가 있다. 또한 색상 영상을 이용하여 깊이를 보정하는 방법은 환경에 영향을 받는 색상 영상의 특성상 정확한 깊이 보정을 기대하긴 어려운 한계가 있다.

(논문 001) Y. S. Kim, B, M. Kang, H. S. Lim, O. Choi, K. C. Lee, J. D. K. Kim, and C, Y, Kim, "Parametric model-based noise reduction for ToF depth sensors," Proceeding of SPIE 8290, Three-Dimensional Image Processing (3DIP) and Applications II, pp. 82900A-82900A-8, 2012. (논문 002) A. Belhedi, A. Bartoli, V, Gay-Bellile, S. Bourgeois, P. Sayd, and K. Hamrouni, "Non-parametric depth calibration of a tof camera," Proceeding of 2012 19th IEEE International Conference on Image Processing, pp. 549-552, 2012. (논문 003) D. Herrera, J. Kannala, and J. Heikkila, "Joint depth and color camera calibration with distortion correction," IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 34, No. 10, pp. 2058-2064, 2012.

본 발명의 목적은 평면을 모델링을 통한 깊이 정보를 보정하여 깊이 값의 정확도를 향상시킬 수 있고, 부호화 효율를 개선할 수 있는 부호화장치 및 부호화 방법을 제공함에 있다.

또한 본 발명의 목적은 평면 모델링을 이용하여 깊이 영상을 보정하는 방법을 제안한다.

본 발명의 실시예에 따른 평면모델링을 통한 깊이 정보 보정 방법은, 3차원 공간을 촬영하여 깊이 영상을 생성하는 단계; 보정 대상 화소의 주변 화소의 좌표 및 깊이 값에 기초하여 상기 보정 대상 화소의 보정된 깊이 값을 생성하는 단계; 상기 보정 대상 화소와 상기 주변 화소의 생성된 보정된 깊이 값에 기초하여 예측 오차를 계산하는 단계; 및 상기 예측 오차에 따라 상기 깊이 영상의 깊이 값을 변경하는 단계;를 포함하는 평면모델링을 통한 깊이 정보 보정 방법을 제공할 수 있다.

또한 본 발명의 다른 실시예에 따른 평면모델링을 통한 깊이 정보 보정 방법의 상기 보정 대상 화소의 보정된 깊이 값을 생성하는 단계는, 상기 보정 대상 화소의 좌우 각각의 n개의 화소의 좌표 및 깊이 값에 기초하여 보정된 깊이 값을 생성하는 단계;를 포함하는 것을 특징으로 하는 평면모델링을 통한 깊이 정보 보정 방법을 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 평면모델링을 통한 깊이 정보 보정 방법의 상기 보정 대상 화소의 보정된 깊이 값을 생성하는 단계는, 상기 보정 대상 화소의 상하 각각의 n개의 화소의 좌표 및 깊이 값에 기초하여 보정된 깊이 값을 생성하는 단계;를 포함하는 것을 특징으로 하는 평면모델링을 통한 깊이 정보 보정 방법을 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 평면모델링을 통한 깊이 정보 보정 방법의 상기 보정 대상 화소의 보정된 깊이 값을 생성하는 단계는, 상기 보정 대상 화소의 좌우 각각의 n개의 화소의 좌표 및 깊이 값에 기초하여 수평 방향으로의 보정된 깊이 값을 생성하는 단계; 상기 보정 대상 화소의 상하 각각의 n개의 화소의 좌표 및 깊이 값에 기초하여 수직 방향으로의 보정된 깊이 값을 생성하는 단계; 및 상기 수평 및 수직 방향으로의 보정된 깊이 값의 평균하여 보정된 깊이 값을 연산하는 단계;를 포함하는 것을 특징으로 하는 평면모델링을 통한 깊이 정보 보정 방법을 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 평면모델링을 통한 깊이 정보 보정 방법의 상기 예측 오차에 따라 상기 깊이 영상의 깊이 값을 변경하는 단계는, 상기 예측 오차가 기 설정치는 만족하는 경우 상기 깊이 영상의 깊이 값을 상기 수평 또는 상기 수직 방향으로의 보정된 깊이 값 또는 상기 평균하여 보정된 깊이 갓으로 변경하는 단계;를 포함하는 것을 특징으로 하는 평면모델링을 통한 깊이 정보 보정 방법을 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 평면모델링을 통한 깊이 정보 보정 방법의 상기 수평 방향으로의 보정된 깊이 값을 생성하는 단계는, 아래의 수학식 1에 수학식 2를 대입한 수학식 3에 상기 보정 대상 화소의 좌우 각각의 n개의 화소들 각각의 좌표 및 깊이 값을 대입 연산하고 최소자승법을 적용하여 상기 수학식 3의

를 결정하는 단계; 및 상기 결정된

와 상기 보정 대상 화소의 x 좌표를 수학식 3에 대입 연산하여 상기 수평 방향으로의 보정된 깊이 값을 생성하는 단계;를 포함하는 것을 특징으로 하는 평면모델링을 통한 깊이 정보 보정 방법을 제공할 수도 있다.

[수학식 1]

[수학식 2]

[수학식 3]

수학식 1에서의 D는 화소의 깊이 값이고, x는 화소의 x 좌표 값이며, f는 초점 거리이다.

또한 본 발명의 또 다른 실시예에 따른 평면모델링을 통한 깊이 정보 보정 방법의 상기 수직 방향으로의 보정된 깊이 값을 생성하는 단계는, 아래의 수학식 4에 수학식 5를 대입한 수학식 6에 상기 보정 대상 화소의 상하 각각의 n개의 화소들 각각의 좌표 및 깊이 값을 대입 연산하고 최소자승법을 적용하여 상기 수학식 6의

를 결정하는 단계; 및 상기 수학식 6에서 결정된

와 상기 보정 대상 화소의 y 좌표를 수학식 6에 대입 연산하여 상기 수직 방향으로의 보정된 깊이 값을 생성하는 단계;를 포함하는 것을 특징으로 하는 평면모델링을 통한 깊이 정보 보정 방법을 제공할 수도 있다.

[수학식 4]

[수학식 5]

[수학식 6]

수학식 4에서의 D는 화소의 깊이 값이고, y는 화소의 y 좌표 값이며, f는 초점 거리이다.

또한 본 발명의 또 다른 실시예에 따른 평면모델링을 통한 깊이 정보 보정 방법은 상기 최소자승법을 적용하여 화소의 측정된 깊이 값과 이상적인 값의 오차의 제곱합이 최소가 되도록 하는

를 결정하는 것을 특징으로 하는 평면모델링을 통한 깊이 정보 보정 방법을 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 평면모델링을 통한 깊이 정보 보정 방법은 상기 깊이 영상의 깊이 값에 기초하여 상기 n 값을 조절하는 것을 특징으로 하는 평면모델링을 통한 깊이 정보 보정 방법을 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 부호화장치는. 3차원 공간을 촬영하여 깊이 영상을 생성하는 깊이검출부; 보정 대상 화소의 주변 화소의 좌표 및 깊이 값에 기초하여 상기 보정 대상 화소의 보정된 깊이 값을 생성하는 깊이정보보정부; 및 상기 보정 대상 화소와 상기 주변 화소의 생성된 보정된 깊이 값에 기초하여 예측 오차를 계산하는 예측오차검출부;를 포함하고, 상기 깊이정보보정부는 상기 예측 오차에 따라 상기 깊이 영상의 깊이 값을 변경하는 부호화장치를 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 부호화장치는 깊이 값이 변경된 깊이 영상을 부호화모드에 따라 부호화하는 부호화부;를 더 포함하는 부호화장치를 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 부호화장치의 상기 깊이정보보정부는, 상기 보정 대상 화소의 좌우 각각의 n개의 화소의 좌표 및 깊이 값에 기초하여 보정된 깊이 값을 생성하는 수평방향예측부;를 포함하는 것을 특징으로 하는 부호화장치를 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 부호화장치의 상기 깊이정보보정부는, 상기 보정 대상 화소의 상하 각각의 n개의 화소의 좌표 및 깊이 값에 기초하여 보정된 깊이 값을 생성하는 수직방향예측부;를 포함하는 것을 특징으로 하는 부호화장치를 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 부호화장치의 상기 깊이정보보정부는, 상기 보정 대상 화소의 좌우 각각의 n개의 화소의 좌표 및 깊이 값에 기초하여 보정된 깊이 값을 생성하는 수평방향예측부; 상기 보정 대상 화소의 상하 각각의 n개의 화소의 좌표 및 깊이 값에 기초하여 보정된 깊이 값을 생성하는 수직방향예측부; 및 상기 수평방향예측부 및 상기 수직방향예측부의 깊이 값을 평균하여 보정된 깊이 값을 생성하는 수평수직평균예측부;를 포함하는 것을 특징으로 하는 부호화장치를 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 부호화장치의 상기 깊이정보보정부는 상기 예측 오차가 기 설정치는 만족하는 경우 상기 보정 대상 화소의 좌우 각각의 n개의 화소의 좌표 및 깊이 값에 기초하여 보정된 깊이 값 또는 상기 보정 대상 화소의 상하 각각의 n개의 화소의 좌표 및 깊이 값에 기초하여 보정된 깊이 값 또는 상기 보정 대상 화소의 좌우 각각의 n개의 화소의 좌표 및 깊이 값에 기초하여 보정된 깊이 값 및 상기 보정 대상 화소의 상하 각각의 n개의 화소의 좌표 및 깊이 값에 기초하여 보정된 깊이 값의 평균 값으로 변경하는 것을 특징으로 하는 부호화장치를 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 부호화장치는 상기 깊이 영상의 깊이 값에 기초하여 상기 n 값을 결정하는 부호화 제어부;를 더 포함하는 것을 특징으로 하는 부호화장치를 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 부호화장치의 상기 부호화 제어부는, 상기 3차원 공간의 객체의 정보에 기초하여 상기 n 값을 결정하는 것을 특징으로 하는 부호화장치를 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 평면모델링을 통한 깊이 정보 보정 방법은 3차원 공간 상의 객체의 좌표 값 중 깊이 좌표 값이 화소의 측정된 깊이 값으로 투영되는 깊이 영상을 생성하는 단계; 상기 객체를 미결정매개변수로 표현된 직선의 방정식으로 모델링하는 단계; 보정 대상 화소들의 미결정깊이변수와 측정된 화소의 깊이 값에 기초하여 상기 미결정매개변수의 값을 결정하여 결정매개변수를 생성하는 단계; 상기 결정매개변수로부터 상기 보정 대상 화소들의 미결정깊이변수의 값을 결정하여 결정깊이값을 생성하는 단계; 및 상기 보정 대상 화소들의 측정된 깊이 값을 상기 결정깊이값으로 보정하는 단계;를 포함하는 평면모델링을 통한 깊이 정보 보정 방법을 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 평면모델링을 통한 깊이 정보 보정 방법의 상기 결정매개변수를 생성하는 단계는, 상기 보정 대상 화소들의 미결정깊이변수와 측정된 화소의 깊이 값의 오차가 최소가 되도록 하는 상기 미결정매개변수의 값을 결정하여 결정매개변수를 생성하는 것을 특징으로 하는 평면 모델링을 통한 깊이 영상의 보정방법을 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 평면모델링을 통한 깊이 정보 보정 방법은 최소자승법을 적용하여 상기 오차가 최소가 되도록 하는 상기 미결정매개변수의 값을 결정하는 것을 특징으로 하는 평면 모델링을 통한 깊이 영상의 보정방법을 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 평면모델링을 통한 깊이 정보 보정 방법의 상기 결정깊이값을 생성하는 단계는, 상기 결정매개변수와 상기 보정 대상 화소의 좌표 값에 기초하여 생성하는 것을 특징으로 하는 구면 모델링을 통한 깊이 영상의 보정방법을 제공할 수도 있다.

또한 본 발명의 또 다른 실시예에 따른 평면모델링을 통한 깊이 정보 보정 방법은 상기 깊이 영상을 복수개의 블록으로 분할하는 단계;를 더 포함하고, 상기 복수개의 블록 별로 블록 내의 화소를 보정하는 것을 특징으로 하는 구면 모델링을 통한 깊이 영상의 보정방법을 제공할 수도 있다.

본 발명에 따른 실시예는 카메라의 종류에 상관없이 깊이 영상을 보정할 수 있다.

또한 본 발명의 실시예는 보정하고자 하는 화소를 중심으로 수평, 수직 방향으로 평면의 단면이 되는 직선을 모델링하고, 최소자승법을 이용하여 평면의 단면인 직선의 방정식 계수를 찾아 예측오차를 이용하여 모델링한 평면이 적합한지를 판단한다. 그리고 수직, 수평 방향의 보정 깊이 값을 이용하여 최종 보정 값을 계산하여 깊이를 보정함으로써 깊이 측정 정확도를 향상시키고 부호화 효율을 향상 시킬 수 있다.

또한 본 발명의 실시예는 보정된 화소의 깊의 예측 오차를 고려하여 곡면이 큰 표면이나 객체 간 경계부분 등이 포함된 깊이 영상의 영역과 그 외의 영역을 구분하여 깊이 값을 예측하여 보다 정확하고 효율적인 깊이 보정 및 부호화가 가능하다.

또한 본 발명의 실시예는 평면을 촬영한 영상뿐만 아니라 복잡한 깊이 값을 가지는 영상에 대해서도 깊이 값의 보정의 정확도를 향상시킬 수 있다.

또한 본 발명의 실시예는 정확한 깊이 값을 찾아내어 좀 더 정밀한 깊이 정보를 통한 제스처 인식이나 촬영 영역에 대한 모델링 정보를 획득할 수 있다.

도 1a는 본 발명의 실시예에 따른 부호화장치와 이를 구성하는 구성들의 블록도이다.
도 1b는 본 발명의 다른 실시예에 따른 부호화장치와 이를 구성하는 구성들의 블록도이다.
도 1c는 깊이정보보정부를 구성하는 구성의 블록도이다.
도 2는 본 발명의 실시예에서 적용되는 깊이의 개념을 설명하기 위한 개념도이다.
도 3은 깊이검출부로 굴곡이 없는 평면 영역을 촬영하는 경우 3차원 영역 상의 좌표가 영상 평면에 투영될 때의 좌표계를 나타낸 개념도이다.
도 4는 Y 축을 기준으로 평면들을 절단한 개념도이다.
도 5는 깊이 영상의 X축의 증가에 따른 이상적인 깊이 값과 잡음이 포함된 깊이 값에 대한 그래프이다.
도 6은 깊이 영상의 임의의 화소에 대한 깊이 보정에 대한 개념도이다.
도 7은 X 축을 기준으로 평면들을 절단한 개념도이다.
도 8은 단순한 영상이다.
도 9는 객체를 포함하는 영상이다.
도 10은 X 축에 따른 도 8의 영상에 대한 보정 전 후의 깊이 값에 대한 그래프이다.
도 11은 X축에 따른 도 9의 영상에 대한 보정 전 후의 깊이 값에 대한 그래프이다.
도 12는 도 11의 원 표시 영역의 확대 그래프이다.
도 13은 보정에 이용된 화소수 n의 값을 변화시킬 때 X 축에 따른 도 9의 영상에 대한 깊이 값에 대한 그래프이다.
도 14 내지 도 16은 본 발명의 실시예에 따른 평면모델링을 통한 깊이 정보 보정 방법의 흐름도이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다. 또한, 도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

<부호화장치>

도 1a는 본 발명의 실시예에 따른 부호화장치와 이를 구성하는 구성들의 블록도이고, 도 1b는 본 발명의 다른 실시예에 따른 부호화장치와 이를 구성하는 구성들의 블록도이다. 또한 도 1c는 깊이정보보정부를 구성하는 구성의 블록도이다. 그리고 도 2는 본 발명의 실시예에서 적용되는 깊이의 개념을 설명하기 위한 개념도이다.

도 1a를 참조하면, 본 발명의 실시예에 따른 부호화장치(10)는 3차원 공간을 촬영하여 깊이 영상을 생성하는 깊이측정부(100), 깊이 영상의 보정 대상 화소의 깊이 값을 주변 화소의 좌표 및 깊이 값에 기초하여 보정하여 보정된 깊이 영상을 생성하는 깊이정보보정부(200), 부호화제어부(300), 깊이 값이 변경된 깊이 영상을 부호화모드에 따라 부호화하는 부호화부(400) 및 보정 대상 화소와 주변 화소의 생성된 보정된 깊이 값에 기초하여 예측 오차를 계산하는 예측오차검출부(500)를 포함할 수 있다.

또한 도 1b를 참조하면, 본 발명의 다른 실시예에 따른 부호화장치(10)는 블록분할부(600)를 더 포함할 수 있다.

또한 도 1c를 참조하면, 깊이정보보정부(200)는 수평방향예측부(210)와 수직방향예측부(220) 그리고 수평수직방향예측부(230)를 포함할 수 있다.

또한 본 발명의 실시예는 후술하는 이상적인 깊이 값(결정깊이값)의 예측을 위한(즉, 미결정깊이변수의 값을 결정하기 위한) 각종 수학식과 치환식을 저장하는 메모리를 추가로 구비할 수 있고, 각 구성 요소는 필요에 따라 메모리에 저장된 수학식을 읽어드려 연산하고, 연산 결과를 메모리에 기록할 수 있다.

본 발명의 실시예을 구성하는 깊이측정부(100)는 3차원 공간을 촬영할 수 있는 카메라를 구비할 수 있다.

또한 깊이측정부(100)가 촬영한 영상의 화소는 RGB의 색상 정보가 아닌 일 예로 mm 단위의 정수로 된 깊이 정보가 될 수 있다.

또한 깊이측정부(100)는 3차원 공간을 촬영하여 깊이 영상을 생성할 수 있다. 그리고 여기서의 깊이 영상은 일 예로 그레이 레벨(grey level)로 표현될 수 있으나 이에 한정하는 것은 아니다. 또한 깊이 영상에 속한 각각의 화소는 깊이 값을 가질 수 있으며, 깊이 값은 카메라가 촬영한 장면의 해당 화소에 대응되는 지점에서 카메라까지의 거리를 의미할 수 있다.

<깊이 측정 방식>

또한 깊이측정부(100)는 3차원 공간 상에 광을 조사하고 3차원 공간 상의 물체로부터 반사되어 되돌아오는 반사광을 수신할 수 있다. 그리고 광의 출사 후 반사광의 수신 시점까지의 시간 정보를 이용하여 물체의 깊이 정보를 검출할 수 있다. 보다 상세하게는 깊이측정부(100)는 TOF(Time Of Flight) 카메라를 구비하고, TOF의 카메라는 in phase receptor와 out phase receptor로 구성된 이미지센서와 광을 출사하는 발광다이오드로 구성될 수 있다. 또한 발광다이오드로부터 모듈레이션(modulation)되며 출사된 광에 동기하여 이미지센서가 활성화되는데, 발광다이오드가 턴온된 상태에서는 in phase receptor가 활성화되고, 발광다이오드가 턴오프된 상태에서는 out phase receptor가 활성화 될 수 있다. 그리고 in phase receptor와 out phase receptor 들은 시간차를 두고 서로 다른 시점에 활성화되므로 물체와의 거리에 따라서 수신되는(누적되는) 광량에 차이가 발생하게 되고 이러한 광량에 차이를 비교하여 물체와의 거리를 측정할 수 있다.

전술한 바에 따른 깊이 측정과는 달리 깊이측정부(100)는 카메라와 구조광을 출력하는 프로젝터로 구성되어 깊이를 얻고자 하는 객체를 향해 좁은 밴드의 빛을 비추고 다른 시점에서 볼 때에는 왜곡으로 나타날 수 있는 빛에 의한 선들, 즉 광 패턴을 촬영하여 이로부터 객체가 존재하는 3차원 공간 상의 깊이 정보를 검출할 수도 있고, 이와 달리 스테레오 카메라를 구비하여 좌, 우 영상 상호간의 정합점을 찾아내고 정합점간의 차이를 이용하여 3차원 깊이 정보를 추출할 수도 있다.

다만, 깊이측정부(100)의 깊이 검출 방식이 전술한 바에 한정하는 것은 아니고 3차원 깊이 정보를 추출할 수 있는 장치라면 어떠한 장치라도 가능하다. 다만 본 발명의 실시예를 설명함에 있어 깊이검출부(100)는 깊이 정보만을 검출하는 장치로 정의하고 설명한다.

<깊이의 개념>

또한 도 2를 참조하여 깊이 영상에서의 깊이(depth)에 대한 개념을 보다 상세하게 설명하면, 깊이측정부(100)의 카메라와 영상이 높여 있는 3차원 공간을 3차원 좌표계인 세계 좌표계(world coordinate system)로 표현할 수 있고, 카메라 역시 3차원 좌표계인 카메라 좌표계(camera coordinate system)를 가진다. 그리고 카메라는 시계 좌표계의 어느 한 점인 카메라 중심(camera center)에 위치할 수 있다. 또한 카메라의 X, Y, Z 축은 각각 수직축(Vertical axis), 수평축(Horizontal axis), 광축(optical axis)이라고 부르고 광축은 카메라의 빛(ray)의 직진 방향으로써 주축(principal axis)라 한다. 광축과 영상 평면이 만나는 점은 2차원 영상 평면(Image plane) 안의 한 점으로써 주점(principal point)이라고 하며, 카메라 중심으로부터 주점까지의 거리가 카메라의 초점거리(focal length)이다. 그리고 카메라의 투영(projection)에 의해서 촬영하고자 하는 3차원 장면의 각 점은 2차원 영상 평면(Image plane)으로 투영된다. 즉, 깊이측정부(100)의 위치는 3차원 카메라 좌표계의 원점을 나타내고 Z축(optical axis, principal axis)은 눈이 바라보는 방향과 일직선이 된다. 그리고 세계 좌표계의 임의의 한 점 P=(X, Y, Z)는 Z축에 수직인 2차원 영상 평면(image plane)의 임의의 한 점 p=(x, y)로 투영될 수 있다.

이 때 3차원 장면의 각점 p=(x, y)은 3차원 좌표계의 P=(X, Y, Z)의 Z값으로 표현될 수 있고 이 때의 2차원 영상 평면은 깊이 영상을 의미할 수 있다.

한편 본 발명을 설명함에 있어 세계 좌표계와 카메라 좌표계는 서로 일치된 것으로 가정할 수 있다.

<깊이 정보의 개념>

전술한 바에 기초하여 깊이 영상을 다시 정의하면, 깊이측정부(100)를 기준으로 깊이측정부(100)의 위치와 실물 간의 거리를 상대적인 값으로 수치화한 정보들의 집합이라고 할 수 있고, 이는 영상 단위, 슬라이스 단위 등으로 표현될 수 있으며, 깊이 영상 내에서의 깊이 정보는 픽셀 단위로 표현될 수 있다.

또한 하나의 프레임 내에 있는 화소 값은 그 주변 화소값과 상관 관계가 존재하기 때문에 이러한 상관 관계를 이용하여 부호화를 수행할 수 있다. 따라서 부호화를 수행하고자 하는 프레임 내의 어떤 범위에 있는 여러 개의 화소를 모아서 화소 블록을 구성할 수도 있다.

보다 상세하게는 도 1b에 따른 블록분할부(600)는 수신한 깊이 영상을 부호화 제어부(300)의 의해 결정된 사이즈에 따라 각 복수의 블록으로 분할하여 분할된 블록을 출력할 수 있다.

또한 복수의 블록 각각은 M*N(M, N은 자연수) 화소로 이루어진 영역으로 정의할 수 있다. 예를 들어 M*N은 16*16화로소 이루어진 영역으로 정의할 수 있고 해상도가 증가하면 기본 단위는 32*32나 64*64 화소로 이루어진 영역으로 정의할 수도 있다.

부호화부(400)는 블록분할부(600)로부터 출력된 분할된 블록들 각각을 부호화 제어부(300)에 의해 결정된 부호화 모드에 따라서 부호화할 수 있다.

또한 부호화부(400)는 부호화 제어부(300)에 의해 결정된 부호화 모드에 따라서 화소의 깊이 정보를 부호화할 수 있다.

또한 여기서의 부호화 모드는 DPCM(Differential Pulse Code Modulation) 모드를 포함할 수 있으나 이에 한정하는 것은 아니다.

DPCM 모드는 검출된 화소의 깊이 정보를 양자화 처리하여 디지털로 표현(PCM)하고, 임의의 화소의 깊이 정보와 바로 앞의 화소의 깊이 정보의 차분치로 임의의 화소의 깊이 정보를 표현함으로써 부호화 하는 것이다. 그리고 바로 앞의 화소가 존재하지 않는 경우 바로 앞의 화소 값은 0으로 처리 할 수 있다.

<깊이 값 보정>

도 3은 깊이검출부로 굴곡이 없는 평면 영역을 촬영하는 경우 3차원 영역 상의 좌표가 영상 평면에 투영될 때의 좌표계를 나타낸 개념도이고, 도 4는 Y 축을 기준으로 평면들을 절단한 개념도이다. 그리고 도 5는 깊이 영상의 X축의 증가에 따른 이상적인 깊이 값과 잡음이 포함된 깊이 값에 대한 그래프이다. 도 6은 깊이 영상의 임의의 화소에 대한 깊이 보정에 대한 개념도이다. 또한 도 7은 X 축을 기준으로 평면들을 절단한 개념도이다.

도 3 및 도 4를 참조하면, 부호화부(400)에서의 깊이 영상의 부호화 또는 깊이 영상 내의 블록의 부호화를 수행하기 전에 깊이정보보정부(200)는 검출된 깊이 영상의 깊이 값을 보정할 수 있다.

깊이정보보정부(200)는 보정 대상 화소의 좌우 각각의 n개의 화소의 좌표 및 깊이 값에 기초하여 보정된 깊이 값을 생성할 수 있다.

또한 깊이정보보정부(200)는 보정 대상 화소의 상하 각각의 n개의 화소의 좌표 및 깊이 값에 기초하여 보정된 깊이 값을 생성할 수 있다.

또한 부호화 제어부(400)는 깊이 영상의 깊이 값에 기초하여 n 값을 결정할 수 있다.

또한 부호화 제어부(400)는 3차원 공간의 객체의 정보에 기초하여 n 값을 조절할 수 있다. 예를 들어 3차원 공간 상에 객체가 존재하지 않는 경우의 n값은 3차원 공간 상에 객체가 존재하는 경우 n값보다 클 수 있다.

- 수평 방향의 화소를 이용한 보정

보다 상세하게는 깊이 영상에서 굴곡이 없는 평면을 촬영한다고 가정하면 평면은 도면 4에 도시된 바와 같이 투영된다. 그리고 이 평면을 Y축과 수직한 평면으로 절단하면 촬영된 평면은 ZX 평면 좌표계에서 직선으로 나타날 수 있다.

또한 영상 평면 상의 한 좌표(x, y) 위의 화소 p가 깊이 D 값을 가질 때, 이 화소로 투영된 원 카메라 좌표계에서의 좌표는, 카메라와 영상 평면이 이루는 삼각형과 카메라와 촬영된 평면을 구성하는 직선이 이루는 삼각형의 닮음 관계를 통해, (Dx/f, Dy/f, D)로 표현될 수 있다.

또한 이 좌표 (Dx/f, Dy/f, D)를 촬영된 평면의 절단면에서의 직선의 방정식 X=aZ+b(도 4에 따른 직선의 방정식)에 대입하여 D(미결정깊이변수)에 대해 정리하면 수학식 1을 충족할 수 있다.

[수학식 1]

즉 깊이 값 D(미결정깊이변수)가 x에 대한 분수 함수의 관계를 가질 수 있다.

평면을 깊이검출부(100)를 통해 깊이 영상을 촬영하면 도 5에서의 점선과 같이 깊이가 촬영되어야 하지만 측정 오차로 인한 잡음이 포함되어 실선과 같이 촬영될 수 있다.

평면을 깊이검출부(100)로 촬영할 때, 보정하고자 하는 화소

에서의 측정된 깊이

는 잡음으로 인해 그 위치에서의 이상적인 깊이 D(결정깊이값)와 다를 수 있다. 측정된

를 보정하기 위해 평면을 모델링하여 이상적인 깊이 D(결정깊이값)를 찾아 보정할 수 있다.

수평방향예측부(210)는 보정하고자 하는 화소

에 대해 좌우 각각 n개의 화소

를 이용할 수 있다.

이 때 최소자승법을 이용하여 수학식 1의 매개변수 a, b를 예측할 수 있다.

최소자승법을 적용하기 위하여

로 치환하고 수학식 1에 n개의 화소들의 영상 좌표계에서의 좌표 (xi, yi)와 각 화소에서의 측정된 깊이 값 Di를 대입하면 수학식 2와 같은 형태를 충족한다.

[수학식 2]

수학식 2에서의

는 미결정매개변수이고,

이다.

또한 수평방향예측부(210)는 이상적인 깊이 값 D(미결정깊이변수)와 측정된 깊이 값

간의 오차의 제곱합

을 최소로 하는

를 찾기 위해 아래의 수학식 3과 같이

각각에 대해 편미분을 수행한 후 pi들의 좌표 (xi, yi)와 pi에서 측정된 깊이 Di(pi들에 대한

)을 이용하여

를 찾을 수 있다.

[수학식 3]

또한 수평방향예측부(210)는 찾은

(결정매개변수)를 수학식2에 대입하고 보정하고자 하는 화소의 x 좌표 값을 수학식 2에 대입하면 수평 방향에서의

의 이상적인 깊이 값 Dx(결정깊이값)를 찾을 수 있다.

- 수직 방향의 화소를 이용한 보정

또한 도 7을 참조하면, 도 3의 평면을 X축과 수직한 평면으로 절단하면 촬영된 평면은 ZY 평면 좌표계에서 직선으로 나타날 수 있다.

또한 좌표 (Dx/f, Dy/f, D)를 촬영된 평면의 절단면에서의 직선의 방정식 Y=aZ+b(도 6에 따른 직선의 방정식)에 대입하여 D(미결정깊이변수)에 대해 정리하면 수학식 4를 충족할 수 있다.

[수학식 4]

즉 깊이 값 D(미결정깊이변수)가 y에 대한 분수 함수의 관계를 가질 수 있다.

보정하고자 하는 화소

에서의 깊이 값

는 잡음으로 인하여 그 위치에서의 이상적인 깊이 D(결정깊이값)와 다를 수 있다. 따라서 측정된

를 보정하기 위하여 평면을 모델링하여 이상적인 깊이 D(결정깊이값)를 찾아 보정할 수 있다.

수직방향예측부(220)는 보정하고자 하는 화소

에 대해 좌우 각각 n개의 화소

를 이용할 수 있다.

이 때 최소자승법을 이용하여 수학식 4의 매개변수 a, b를 예측할 수 있다.

최소자승법을 적용하기 위하여

로 치환하고 수학식 4에 n개의 화소들의 영상 좌표계에서의 n개의 화소 각각에 대한 좌표 (xi, yi)의 yi와 각 화소에서의 측정된 깊이 값 pi에서의 Di를 대입하면 수학식 5와 같은 형태를 충족한다.

[수학식 5]

수학식 5에서

이다.

또한 수직방향예측부(220)는 이상적인 깊이 값 D(미결정깊이변수)와 측정된 깊이 값

간의 오차의 제곱합

을 최소로 하는

를 찾기 위해 전술한 수학식 3과 같이

각각에 대해 편미분을 수행한 후 pi들을 이용하여

를 찾을 수 있다.

또한 수직방향예측부(220)는 찾은

를 수학식 5에 대입하고 보정하고자 하는 화소의 y 좌표 값을 수학식 5에 대입하면 수직 방향에서의

의 이상적인 깊이 값 Dy(결정깊이값)를 찾을 수 있다.

또한 촬영 영역이 되는 객체들은 한 개 이상의 평면과 곡면으로 분할할 수 있다. 또한 곡면에 대해서도 곡률이 작은 곡면은 평면으로 간주할 수 있다. 이를 이용하여 깊이검출부(100)로 촬영한 깊이 정보에 대해 평면 모델링을 통해 정확한 깊이 값을 예측할 수 있다.

깊이정보보정부(200)는 보정하고자 하는 화소에 대해 좌우 각각 n개의 화소 및 상하 각각 n개의 화소를 이용한다. 그 후 이들 화소에서 측정된 깊이들을 수학식 2 또는 5에 대입하여 수학식 2 또는 5에서의

를 찾은 후, x를 수학식 2에 y를 수학식 5에 대입하여 Dx 및 Dy(결정깊이값)를 구할 수 있다.

또한 수평수직평균예측부(230)는 수평방향으로 예측한 깊이 값 Dx와 수직 방향으로 예측한 깊이 값 Dy를 평균하여 평균 예측 값 D=(Dx+Dy)/2를 구하여 화소 깊이 값을 보정할 수도 있다.

<예측오차검출>

- 수평 방향의 예측오차검출

또한 수평방향으로 예측한 깊이 값 Dx를 이용하여 화소의 깊이 값을 보정할 때, 예측 오차 E를 계산하여 예측의 정확도가 기 설정치를 만족하는 경우 깊이정보보정부(200)는 깊이 영상의 깊이 값을 상기 생성한 보정된 깊이 값으로 변경할 수 있고, 예측 오차 E를 계산하여 예측의 정확도가 기 설정치를 만족하지 않는 경우, 보정을 수행하지 않을 수 있다.

예측오차검출부(500)는 예측오차 E와 기 설정치 T와의 비교 결과를 깊이정보보정부(200)로 제공할 수 있다. 그리고 깊이정보보정부(200)는 비교 결과에 따라 깊이 값의 보정 여부를 결정할 수 있다.

보다 상세하게는 예측오차검출부(500)가 수학식 6 내지 9에 따라 예측오차E가 T

이하에 해당한다고 판단한 경우, 깊이정보보정부(200)는 예측을 이용한 깊이 값을 보정하지 않을 수 있다. 또한 그렇지 않다고 판단한 경우 깊이정보보정부(200)는 깊이 영상이 블록화 되지 않은 경우 보정 대상 화소를 포함하는 기 설정 사이즈의 내의 수평 방향으로의 예측 값 또는 평균 예측 값 D=(Dx+Dy)/2을 이용하여 깊이 값을 보정하거나, 깊이 영상이 블록화 된 경우 보정 대상 화소를 포함한 분할된 불록 내의 수평 방향으로의 예측 값 또는 평균 예측 값 D=(Dx+Dy)/2을 이용하여 깊이 값을 보정할 수 있다.

[수학식 6]

수학식 6은 보정 대상 화소와 보정 대상 화소를 기준으로 수평 방향으로의 좌측 k개 및 우측 k개의 화소들의 검출된 깊이 값에 대한 검출된 평균 깊이 값

을 구하기 위한 연산식이다.

[수학식 7]

수학식 7은 보정 대상 화소와 보정 대상 화소를 기준으로 수평 방향으로의 좌측 k개 및 우측 k개의 화소들 각각의 깊에 값에 검출된 평균 깊이 값

의 차의 제곱 항들의 합으로부터 연산된 제1 추정치에 대한 연산 식이다.

[수학식 8]

수학식 8은 보정 대상 화소와 보정 대상 화소를 기준으로 수평 방향으로의 좌측 k개 및 우측 k개의 화소들 각각의 깊에 값에, 보정 대상 화소의 예측된 깊이 값과 보정 대상 화소의 수평 방향으로의 화소들의 예측된 깊이 값의 차의 제곱 항들의 합으로부터 연산된 제2 추정치에 대한 연산식이다.

[수학식 9]

수학식 9는 제1 및 제2 추정치에 기초한 예측 오차 E의 연산식이다.

- 수직 방향의 예측오차검출

또한 수평방향이 아닌 수직방향으로 예측한 깊이 값 Dy를 이용하여 화소의 깊이 값을 보정할 때, 예측 오차 E를 계산하여 예측의 정확도가 기 설정치를 만족하는 경우, 깊이정보보정부(200)는 깊이 영상의 깊이 값을 상기 생성한 보정된 깊이 값으로 변경할 수 있고, 예측 오차 E를 계산하여 예측의 정확도가 기 설정치를 만족하지 않는 경우 보정을 수행하지 않을 수 있다.

예측오차검출부(500)는 예측오차 E와 기 설정치 T와의 비교 결과를 깊이정보보정부(200)로 제공할 수 있다. 그리고 깊이정보보정부(200)는 비교 결과에 따라 깊이 값의 보정 여부를 결정할 수 있다.

보다 상세하게는 예측오차검출부(500)가 수학식 10 내지 13에 따라 예측오차 E가 T

이하에 해당한다고 판단한 경우 예측을 이용한 깊이 값을 보정하지 않을 수 있다. 또한 그렇지 않다고 판단한 경우 깊이정보보정부(200)는 깊이 영상이 블록화 되지 않은 경우 보정 대상 화소를 포함하는 기 설정 사이즈의 블록 내의 수직 방향으로의 예측 값 또는 평균 예측 값 D=(Dx+Dy)/2을 이용하여 깊이 값을 보정하거나, 깊이 영상이 블록화 된 경우 보정 대상 화소를 포함한 분할된 불록 내의 수직 방향으로의 예측 값 또는 평균 예측 값 D=(Dx+Dy)/2을 이용하여 깊이 값을 보정할 수 있다.

[수학식 10]

수학식 10은 보정 대상 화소와 보정 대상 화소를 기준으로 수직 방향으로의 상측 k개 및 하측 k개의 화소들의 검출된 깊이 값에 대한 검출된 평균 깊이 값

을 구하기 위한 연산식이다.

[수학식 11]

수학식 11는 보정 대상 화소와 보정 대상 화소를 기준으로 수직 방향으로의 상측 k개 및 하측 k개의 화소들 각각의 깊에 값에 검출된 평균 깊이 값

의 차의 제곱 항들의 합으로부터 연산된 제1 추정치에 대한 연산 식이다.

[수학식 12]

수학식 12는 보정 대상 화소와 보정 대상 화소를 기준으로 수직 방향으로의 상측 k개 및 하측 k개의 화소들 각각의 깊에 값에, 보정 대상 화소의 예측된 깊이 값과 보정 대상 화소의 수직 방향으로의 화소들의 예측된 깊이 값의 차의 제곱 항들의 합으로부터 연산된 제2 추정치에 대한 연산식이다.

[수학식 13]

수학식 13은 제1 및 제2 추정치에 기초한 예측 오차 E의 연산식이다.

<부호화 효율 계산>

도 8은 단순한 영상이고, 도 9는 객체를 포함하는 영상이며, 도 10은 X 축에 따른 도 8의 영상에 대한 보정 전 후의 깊이 값에 대한 그래프이고, 도 11은 X축에 따른 도 9의 영상에 대한 보정 전 후의 깊이 값에 대한 그래프이며, 도 12는 도 11의 원 표시 영역의 확대 그래프이다.

본 발명의 실시예에 따라 깊이정보보정부(200)는 화소의 깊이 정보를 보정하고 부호화부(400)는 보정된 깊이 영상을 DPCM 모드로 부호화할 수 있고, 부호화 제어부(300)는 부호화된 영상의 부호화 효율을 검출할 수 있다.

또한 부호화 효율을 측정하기 위해 부호화된 영상의 엔트로피 파워를 측정할 수 있고, 엔트로피 파워는 측정 대상과 동일한 엔트로피를 가지는 환경에서 모든 신호의 빈도가 동일한 백색잡음의 출력으로 정의된다. 그리고 부호화가 된 영상 X의 엔트로피를 h(X)라 한다면, 엔트로피 파워 N(X)는 수학식 14와 같이 정의된다.

[수학식 14]

이 때 fi는 신호 i의 확률로써, 영상에서는 그 신호가 나타난 빈도수를 전체 화소수로 나눈 것이다.

엔트로피 파워가 낮다는 것은 깊이 영상의 특성에 맞는 부호화 방법을 적용하였을 때 압축 효과를 기대할 수 있다는 의미이다. 따라서 보정 전 영상과 보정 후 영상에 대해 엔트로피 파워를 비교하여 부호화 효율을 측정할 수 있다.

한편 깊이 영상의 해상도는 512X424이고, 부호화를 수행하는데 이용한 영역 n은 3의 갓을 가지고, 예측 오차 E의 기준 값인 T는 0.80으로 적용하였다.

도 8 및 도 10의 깊이정보보정부(200)에 의한 깊이 값의 보정 전(점선), 후(실선)를 참조하면, 평면으로 이루어진 도 8과 같은 영상의 경우 보정 후에 깊이 값이 평면에 거의 일치하게 보정되었음을 확인할 수 있다.

도 9와 도 10 및 도 11의 깊이정보보정부(200)에 의한 깊이 값의 보정 전(점선), 후(실선)를 참조하면, 객체가 포함된 도 9와 같은 영상에 대해서도 깊이 값에 포함된 잡음이 상당수 제거됨을 확인할 수 있다.

도 13은 보정에 이용된 화소수 n의 값을 변화시킬 때 X 축에 따른 도 9의 영상에 대한 깊이 값에 대한 그래프이다.

또한 표 1에 나타난 바와 같이 보정 전과 보정 후의 영상에 대해 수평 DPCM을 통한 부호화를 수행한 후의 엔트로피 파워를 측정하면, 도 8의 영상에 대해서는 엔트로피 파워가 80.2% 감소하였고, 도 9의 영상에 대해서는 엔트로피 파워가 45.66% 감소하여 본 발명의 실시예에 따른 보정 방법을 통한 부호화가 평면 영역이 많은 영상에서 더욱 효과적임을 알 수 있다.

영상 종류	엔트로피 파워
	보정 전	보정 후
도 8의 영상	4.272	0.845
도 9의 영상	262.924	145.874

또한 보정에 이용하는 화소의 개수 n를 달리하여 엔트로피 파워를 비교하였다. 그 결과 도 8처럼 평면영역이 많은 영상에 대해서는 n이 클수록 보정의 효율이 좋았다. 하지만 도 9처럼 표면이 복잡한 깊이 영상에 대해서는 n이 클수록 오히려 보정의 효율이 떨어지는 것을 확인할 수 있었다. 또한 n이 과도하게 클 경우 보정이 과도하게 일어남으로 인해 깊이 정보가 상당수 손실되었다. 이는 도 13에서 n에 따른 보정 결과에서 확인할 수 있다. 도 13에서 실선은 n이 3일 때이며, 점선은 n이 10일 때, 점과 점선이 섞인 선은 n이 30일 경우이다.

영상 종류	n
	3	10	30
도 8의 영상	0.845	0.627	0.620
도 9의 영상	142.874	173.149	261.202

< 평면모델링을 통한 깊이 정보 보정 방법>

도 14 내지 도 16은 본 발명의 실시예에 따른 평면모델링을 통한 깊이 정보 보정 방법의 흐름도이다.

도 14 및 도 15를 참조하면, 본 발명의 실시예에 따른 평면모델링을 통한 깊이 정보 보정 방법은 3차원 공간을 촬영하여 깊이 영상을 생성하는 단계(S100), 보정 대상 화소의 주변 화소의 좌표 및 깊이 값에 기초하여 상기 보정 대상 화소의 보정된 깊이 값을 생성하는 단계(S200), 상기 보정 대상 화소와 상기 주변 화소의 생성된 보정된 깊이 값에 기초하여 예측 오차를 계산하는 단계(S300) 및 상기 예측 오차에 따라 상기 깊이 영상의 깊이 값을 변경하는 단계(S400)를 포함할 수 있다.

또한 보정 대상 화소의 보정된 깊이 값을 생성하는 단계(S200)는 상기 보정 대상 화소의 좌우 각각의 n개의 화소의 좌표 및 깊이 값에 기초하여 보정된 깊이 값을 생성하는 단계를 포함할 수 있다.

또한 보정 대상 화소의 보정된 깊이 값을 생성하는 단계(S200)는 상기 보정 대상 화소의 상하 각각의 n개의 화소의 좌표 및 깊이 값에 기초하여 보정된 깊이 값을 생성하는 단계를 포함할 수 있다.

또한 보정 대상 화소의 보정된 깊이 값을 생성하는 단계(S200)는 상기 보정 대상 화소의 좌우 각각의 n개의 화소의 좌표 및 깊이 값에 기초하여 수평 방향으로의 보정된 깊이 값을 생성하는 단계(S210), 상기 보정 대상 화소의 상하 각각의 n개의 화소의 좌표 및 깊이 값에 기초하여 수직 방향으로의 보정된 깊이 값을 생성하는 단계(S220) 및 상기 수평 및 수직 방향으로의 보정된 깊이 값의 평균하여 보정된 깊이 값을 연산하는 단계(S230)를 포함할 수 있다.

또한 여기서의 n 값은 깊이 영상의 깊이 값에 기초하여 결정될 수 있다.

또한 도 16을 참조하면, 예측 오차에 따라 상기 깊이 영상의 깊이 값을 변경하는 단계(S400)는, 예측 오차(E)와 기 설정치(T)를 서로 비교하는 단계(S410), 상기 예측 오차가 기 설정치는 만족하는 경우 상기 깊이 영상의 깊이 값을 상기 수평 또는 상기 수직 방향으로의 보정된 깊이 값 또는 상기 수평 또는 상기 수직 방향으로의 보정된 깊이 값의 평균 깊이 값으로 변경하는 단계(S411)를 포함할 수 있다. 또한 상기 예측 오차가 기 설정치는 만족하지 않는 경우 보정을 수행하지 않을 수 있다(S412).

본 발명의 실시예는 평면 모델링을 이용하여 깊이 영상을 보정할 수 있다. 상세하게는 먼저 보정하고자 하는 화소를 중심으로 수평, 수직 방향으로 평면의 단면이 되는 직선을 모델링하고, 이 때 최소자승법을 이용하여 직선 방정식의 계수를 찾아낸다. 그리고 예측오차를 이용하여 모델링한 평면이 적합한지를 판단하고, 그 후 수직, 수평 방향의 보정 깊이 값을 측정하여 두 값을 보간하여 최종 보정 값을 찾을 수 있다. 또한 전술한 실험결과 평면을 촬영한 영상에서는 보정의 효율이 좋음을 확인할 수 있었다. 또한 복잡한 깊이 값을 갖는 깊이 영상에 대해서도 보정이 비교적 잘 되었음을 확인할 수 있다.

또한 본 발명의 실시예에 따르면 정확한 깊이 값을 찾아내어 좀 더 정밀한 깊이정보를 통한 제스처 인식이나 촬영 영역에 대한 모델링 정보를 획득할 수 있다. 뿐만 아니라 본 발명의 실시예에 따르면 깊이 영상 부호화의 효율이 좋아진다는 것이 실험 결과 알 수 있다.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.

또한 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술할 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.

10: 부호화장치
100: 깊이검출부
200: 깊이정보보정부
210: 수평방향예측부
220: 수직방향예측부
230: 수평수직평균예측부
300: 부호화 제어부
400: 부호화부
500: 예측오차검출부
600: 블록분할부

Claims (16)

1. 3차원 공간상의 평면의 객체를 촬영하여 깊이 값을 화소 값으로 하는 깊이 영상을 생성하는 단계;
   상기 깊이 영상 내의 보정 대상 화소 및 상기 보정 대상 화소의 좌우 각각의 n개의 화소들에 대한 측정된 깊이 값과 미결정깊이변수의 차이의 제곱들을 모두 합한 결과인 오차의 제곱합이 최소가 되도록 하는 상기 보정 대상 화소 및 상기 보정 대상 화소의 좌우 각각의 n개의 화소들 각각에 대한 결정깊이값을 생성하는 단계;
   상기 깊이 영상 내의 보정 대상 화소 및 상기 좌우 각각의 n개의 화소들에 대한 측정된 깊이 값의 평균값을 생성하는 단계;
   상기 보정 대상 화소 및 상기 좌우 각각의 n개의 화소들에 대한 측정된 깊이 값과 상기 평균값의 차이의 제곱들을 모두 합한 결과인 오차의 제곱합인 제1 추정치를 생성하는 단계;
   상기 보정 대상 화소 및 상기 좌우 각각의 n개의 화소들에 대한 측정된 깊이 값과 상기 결정깊이값의 차이의 제곱들을 합한 제2 추정치를 생성하는 단계;
   상기 제1 추정치에 상기 제2 추정치를 빼고 이 결과를 상기 제1 추정치로 나눈 예측 오차를 생성하는 단계; 및
   상기 예측 오차와 기 설정치의 비교 결과에 기초하여 상기 보정 대상 화소의 측정된 깊이 값을 상기 결정깊이값으로 변경하는 단계;를 포함하는
   평면모델링을 통한 깊이 정보 보정 방법.
2. 삭제
3. 삭제
4. 삭제
5. 제1 항에 있어서,
   상기 예측 오차가 상기 기 설정치는 만족하는 경우 상기 보정 대상 화소의 측정된 깊이 값을 상기 결정깊이값으로 변경하는 것을 특징으로 하는
   평면모델링을 통한 깊이 정보 보정 방법.
6. 삭제
7. 삭제
8. 삭제
9. 제1 항에 있어서,
   상기 깊이 영상의 깊이 값에 기초하여 상기 n 값을 조절하는 것을 특징으로 하는
   평면모델링을 통한 깊이 정보 보정 방법.
10. 3차원 공간상의 평면의 객체를 촬영하여 깊이 값을 화소 값으로 하는 깊이 영상을 생성하는 깊이검출부;
    상기 깊이 영상 내의 보정 대상 화소 및 상기 보정 대상 화소의 상하 각각의 n개의 화소들에 대한 측정된 깊이 값과 미결정깊이변수의 차이의 제곱들을 모두 합한 결과인 오차의 제곱합이 최소가 되도록 하는 상기 보정 대상 화소 및 상기 보정 대상 화소의 상하 각각의 n개의 화소들 각각에 대한 결정깊이값을 생성하는 깊이정보보정부; 및
    상기 깊이 영상 내의 보정 대상 화소 및 상기 상하 각각의 n개의 화소들에 대한 측정된 깊이 값의 평균값을 생성하고, 상기 보정 대상 화소 및 상기 상하 각각의 n개의 화소들에 대한 측정된 깊이 값과 상기 평균값의 차이의 제곱들을 모두 합한 결과인 오차의 제곱합인 제1 추정치를 생성하고, 상기 보정 대상 화소 및 상기 상하 각각의 n개의 화소들에 대한 측정된 깊이 값과 상기 결정깊이값의 차이의 제곱들을 합한 제2 추정치를 생성하며, 상기 제1 추정치에 상기 제2 추정치를 빼고 이 결과를 상기 제1 추정치로 나눈 예측 오차를 생성하는 예측오차검출부;를 포함하고,
    상기 깊이정보보정부는 상기 예측 오차와 기 설정치의 비교 결과에 기초하여 상기 보정 대상 화소의 측정된 깊이 값을 상기 결정깊이값으로 변경하는 부호화 장치.
11. 제10 항에 있어서,
    깊이 값이 변경된 깊이 영상을 부호화모드에 따라 부호화하는 부호화부;를 더 포함하는
    부호화장치.
12. 삭제
13. 삭제
14. 삭제
15. 제10 항에 있어서,
    상기 3차원 공간의 객체의 정보에 기초하여 상기 n 값을 결정하는 부호화 제어부;를 더 포함하는 것을 특징으로 하는
    부호화장치.
16. 3차원 공간상의 평면의 객체를 촬영하여 깊이 값을 화소 값으로 하는 깊이 영상을 생성하는 단계;
    상기 깊이 영상 내의 보정 대상 화소 및 상기 보정 대상 화소의 좌우 각각의 n개의 화소들에 대한 측정된 깊이 값과 미결정깊이변수의 차이의 제곱들을 모두 합한 결과인 오차의 제곱합이 최소가 되도록 하는 상기 보정 대상 화소 및 상기 보정 대상 화소의 좌우 각각의 n개의 화소들 각각에 대한 제1 결정깊이값을 생성하는 단계;
    상기 깊이 영상 내의 보정 대상 화소 및 상기 보정 대상 화소의 상하 각각의 n개의 화소들에 대한 측정된 깊이 값과 미결정깊이변수의 차이의 제곱들을 모두 합한 결과인 오차의 제곱합이 최소가 되도록 하는 상기 보정 대상 화소 및 상기 보정 대상 화소의 상하 각각의 n개의 화소들 각각에 대한 제2 결정깊이값을 생성하는 단계;
    상기 깊이 영상 내의 보정 대상 화소 및 상기 좌우 각각의 n개의 화소들에 대한 측정된 깊이 값의 제1 평균값을 생성하는 단계;
    상기 깊이 영상 내의 보정 대상 화소 및 상기 상하 각각의 n개의 화소들에 대한 측정된 깊이 값의 제2 평균값을 생성하는 단계;
    상기 보정 대상 화소 및 상기 좌우 각각의 n개의 화소들에 대한 측정된 깊이 값과 상기 제1 평균값의 차이의 제곱들을 모두 합한 결과인 오차의 제곱합인 제1 추정치를 생성하는 단계;
    상기 보정 대상 화소 및 상기 좌우 각각의 n개의 화소들에 대한 측정된 깊이 값과 상기 제1 결정깊이값의 차이의 제곱들을 합한 제2 추정치를 생성하는 단계;
    상기 제1 추정치에 상기 제2 추정치를 빼고 이 결과를 상기 제1 추정치로 나눈 제1 예측 오차를 생성하는 단계;
    상기 보정 대상 화소 및 상기 상하 각각의 n개의 화소들에 대한 측정된 깊이 값과 상기 평균값의 차이의 제곱들을 모두 합한 결과인 오차의 제곱합인 제3 추정치를 생성하는 단계;
    상기 보정 대상 화소 및 상기 상하 각각의 n개의 화소들에 대한 측정된 깊이 값과 상기 제2 결정깊이값의 차이의 제곱들을 합한 제4 추정치를 생성하는 단계;
    상기 제3 추정치에 상기 제4 추정치를 빼고 이 결과를 상기 제3 추정치로 나눈 제2 예측 오차를 생성하는 단계; 및
    상기 제1 및 제2 예측 오차와 기 설정치의 비교 결과에 기초하여 상기 보정 대상 화소의 측정된 깊이 값을 상기 제1 및 제2 결정깊이값의 평균값으로 변경하는 단계;를 포함하는
    평면모델링을 통한 깊이 정보 보정 방법.

Images