KR101526465B1 - 그래픽 프로세서 기반 깊이 영상 화질 개선 방법 - Google Patents

Abstract

시청 불편감을 유발하는, 그래픽 프로세서 기반 깊이 영상 화질 개선 방법에 관한 것으로서, (a) 컬러영상 및 깊이영상을 입력받는 단계; (b) 상기 컬러영상에서 컬러값을 밝기값으로 변환하는 단계; 및, (c) 상기 컬러영상 및 깊이영상의 동일 위치의 각 화소(이하 제1 기준화소)에 대하여, 상기 제1 기준화소 및 상기 제1 기준화소의 주변에 위치한 화소(이하 제1 주변화소)의 거리 차이, 밝기 차이, 깊이 차이를 모두 이용한 전체 가중치(이하 제1 전체 가중치)를 구하고, 상기 제1 전체 가중치를 가장 크게하는 제1 주변화소의 깊이값으로 상기 제1 기준화소의 깊이값을 정하는 단계를 포함하는 구성을 마련한다.
상기와 같은 깊이 영상 화질 개선 방법에 의하여, 깊이 영상의 잡음을 제거하고 종래기술에 의해 발생하는 경계 부분의 흐려짐 현상을 줄이면서 잡음과 홀을 효과적으로 제거할 수 있다.

Description

그래픽 프로세서 기반 깊이 영상 화질 개선 방법 { A Depth Image Enhancement Method based on GPGPU }

본 발명은 3차원(3D) 콘텐츠 생성 시 필요한 깊이 영상의 화질 개선을 위하여, 잡음을 제거하고 홀을 채우는 방법으로서, 그래픽 프로세서를 병렬화하여 속도를 향상하는 그래픽 프로세서 기반 깊이 영상 화질 개선 방법에 관한 것이다.

다양한 실감형 3차원(3D) 디스플레이 장치의 개발과 3D 방송 및 콘텐츠의 대중화로 인해 실감 서비스 개발이 활발하게 이루어지고 있다. 3D 입체 영상은 컬러 영상과 깊이 영상으로 구성 된다. 컬러 영상과 깊이 영상의 깊이 정보를 이용하여 스테레오 영상과 다시점 영상 같은 입체 영상을 생성할 수 있다. 이러한 실감형 서비스의 증가로 고품질의 깊이 정보를 획득하는 방법에 대한 관심 또한 증가하고 있다. 깊이 정보를 획득하는 방법은 여러 가지가 있으나 여러 대의 카메라로부터 획득한 영상들을 이용하여 깊이 정보를 획득하는 수동적 방법과 깊이 카메라를 이용하여 직접 물체의 깊이 정보를 획득하는 능동적 방법이 있다.

수동적 방법은 컬러 영상과 동일한 고해상도의 깊이 영상을 얻을 수 있다는 장점이 있으나 패턴이 없는 영역, 폐색(occlusion) 영역, 패턴이 반복되는 영역에서 정확한 깊이 정보를 측정하기가 어렵다는 단점이 있으며 깊이 영상을 얻기 위한 연산 시간도 오래 걸린다는 단점이 있다. 이 경우 획득된 깊이 영상의 정확도가 낮고 실시간 환경에 적용하기 어려워 관련 서비스의 품질도 저하될 수밖에 없다[비특허문헌 1].

최근에는 기존의 영상 센서와 함께 저가이면서 비교적 성능이 좋은 깊이 센서(depth sensor)를 이용하여 깊이 영상을 비교적 쉽게 획득할 수 있는 능동적 방법이 사용되고 있다. 대표적인 깊이 센서로는 MESA-imaging의 SR4000, PMD의 CamCube와 Microsoft의 Kinect 카메라 등이 있다. MESA-imaging의 SR4000과 PMD의 CamCube는 적외선을 물체에 조사한 후 반사되어 돌아오는 시간차를 계산하여 해당 물체의 깊이 정보를 측정하는 TOF(time-of-flight) 방식을 사용하고 있다. Microsoft의 Kinect 카메라는 물체에 적외선 패턴을 조사하여 물체 표면에 따라 다르게 나타나는 패턴의 변화도를 측정하여 해당 물체의 깊이 정보를 측정한다. 깊이 카메라를 이용하는 경우 깊이 영상을 깊이 센서에서 직접 획득하기 때문에 스테레오 정합 기법보다 깊이 영상의 생성 시간이 줄어들어 실시간 환경에 적합하다는 장점이 있다.

하지만 깊이 센서의 물리적인 한계로 인하여 여전히 획득된 깊이 영상은 품질이 좋지 않다는 문제가 있다. 깊이 센서의 경우 공통적으로 반짝이거나 어두운 색을 갖는 표면에서의 깊이 검출 실패로 인한 잡음이 발생한다. 이는 깊이 센서 송출부에서 적외선을 물체에 조사 시 물체의 재질이나 색깔에 따라 적외선의 반사 정도가 다른 것이 원인이다. 또한 깊이 센서의 송출부와 수신부의 위치가 달라 시점이 동일하지 않은 경우 시점 차이로 인하여 한 장면의 깊이 값을 완벽히 획득하지 못하여 홀(hole)이 발생하는 문제가 발생한다. 이러한 낮은 품질의 깊이 영상을 사용할 경우 생성되는 콘텐츠의 품질에 심각한 영향을 끼치며 시청자에게 시각적인 불편함을 유발할 수 있다.

깊이 정보를 획득하는 수동적 또는 능동적 방식의 문제점들을 해결하여 획득된 깊이 영상의 품질을 향상시키기 위한 여러 가지 방법들이 제안되고 있다[비특허문헌 2-5]. 일반적으로 깊이 영상의 잡음 제거 시 경계 보존 필터의 일종인 양방향 필터(Bilateral filter)[비특허문헌 6,7]와 결합 양방향 필터(joint bilateral filter)[비특허문헌 8]가 많이 사용되고 있다. 양방향 필터(Bilateral filter)는 깊이 영상만을 사용하여 잡음을 제거하고 결합 양방향 필터(joint bilateral filter)는 깊이 영상과 대응하는 컬러 영상을 동시에 사용하여 잡음을 제거한다. 양방향 필터(Bilateral filter)는 한 장의 깊이 영상을 사용하여 계산량이 적다는 장점이 있으나 품질이 우수하지 못하다는 단점이 있다. 결합 양방향 필터(joint bilateral filter)의 경우 깊이 영상과 컬러 영상의 정보를 동시에 사용하여 좀 더 정확한 깊이 영상을 획득할 수 있지만 계산량이 많아 실시간 환경에는 적용이 어려운 단점이 있다. 또한 양방향 필터(Bilateral filter)와 결합 양방향 필터(joint bilateral filter)는 영상 전체에 적용되는 전역적인 필터로써 반복 적용 시 홀 채움에 효과를 보이지만 다른 영역의 깊이 값에 영향을 미치게 되어 결과적으로 깊이 영상의 정확도를 저하시킨다.

[비특허문헌 1] J. Choi, D. Min, B. Ham and K. Sohn, "Spatial and temporal up-conversion technique for depth video," IEEE International Conference on Image Processing(ICIP), Cairo, pp. 3525-3528, Nov. 2009. [비특허문헌 2] O. P. Gangwal and R. P. Benetty, "Depth map post-processing for 3D-TV," Digest of Technical Papers International Conference on Consumer Electronics(ICCE), Las Vegas, NV, pp. 1-2, Jan. 2009. [비특허문헌 3] Y. Li and, L. Sun, "A novel up-sampling scheme for depth map compression in 3DTV system," Picture Coding Symposium(PCS), Nagoya, pp. 186-189, Dec. 2010. [비특허문헌 4] J. Park, H. Kim, Y. Tai, M. Brown, and I. Kweon, "High quality depth map up-sampling for 3D-TOF cameras," IEEE International Conference on Computer Vision(ICCV), Barcelona, pp. 1623-1630, Nov. 2011. [비특허문헌 5] J. Y. Han, Y. H. Seo, J. Yoo, "Depth map enhancement using advanced joint bilateral filter based on GPGPU," KICS Conference, Youngpyong, pp. 157-158, Jan. 2013. [비특허문헌 6] C. Tomasi and R. Manduchi, "Bilateral filtering for gray and color images," IEEE International Conference on Computer Vision, Bombay, pp.839-846, Jan. 1998. [비특허문헌 7] Sylvain Paris and Fredo Durand, "A fast approximation of the bilateral filter using a signal processing approach," Springer International Journal of Computer Vision, vol.81, no.1, pp.24-52, Jan. 2009 [비특허문헌 8] J. Kopf, M. Cohen, D. Kischinski and M. Uyttendaele, "Joint bilateral up-sampling," ACM Trans. on Graphics, vol.26, no.3, article 96, pp.2:1-2:9, July 2007. [비특허문헌 9] S. Mattoccia, M. Viti and F. Ries, "Near real-time Fast Bilateral Stereo on the GPU," Computer Vision and Pattern Recognition Workshops(CVPRW), Colorado Springs, CO pp.136-143, June 2011. [비특허문헌 10] L. Wang, R. Yang, M. Gong and, M. Liao, "Real-time stereo using approximated joint bilateral filtering and dynamic programming," Journal of Real-Time Image Processing, pp.1-15, Sept. 2012. [비특허문헌 11] J. Wasza, S. Bauer and J. Hornegger, "Real-time preprocessing for dense 3-D range imaging on the GPU: Defect interpolation, bilateral temporal averaging and guided filtering," Computer Vision Workshops(ICCV Workshops), Barcelona, pp.1221-1227, Nov. 2011. [비특허문헌 12] J. Wasza, S. Bauer and J. Hornegger, "High Performance GPU-Based Preprocessing for Time-of-Flight Imaging in Medical Applications," Bildverarbeitung Fur Die Medizin 2011, Lubeck, pp.324-328, Mar. 2011.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 3차원(3D) 콘텐츠 생성 시 컬러 영상과 깊이 영상을 모두 사용하여, 고품질의 깊이 영상을 얻기 위하여 잡음을 제거하고 홀을 채우는 그래픽 프로세서 기반 깊이 영상 화질 개선 방법을 제공하는 것이다.

특히, 본 발명의 목적은 깊이 영상의 잡음을 제거하기 위하여 컬러 영상에서 기준 화소와 주변 화소의 밝기 차이 값과 화소간 거리 차이 값의 절대 값에 각각 가우시안 함수를 적용하고, 깊이 영상에서도 마찬가지로 기준 화소와 주변 화소의 깊이 값의 절대 값 차이를 구한 후 가우시안 함수를 적용하고, 앞서 계산한 세 가지의 값을 곱한 후 가장 큰 값을 찾아 해당하는 주변 화소 중 하나의 깊이 값을 기준 화소에 해당하는 화소의 깊이 값으로 정하는 그래픽 프로세서 기반 깊이 영상 화질 개선 방법을 제공하는 것이다.

또한, 본 발명의 목적은 깊이 영상 내의 홀을 제거하기 위해 홀을 탐색하되, 입력받은 컬러 영상에서 홀에 해당하는 기준 화소와 주변 화소의 밝기 차이 값과 화소간 거리 차이 값의 절대 값에 각각 가우시안 함수를 적용하고, 이때 주변 화소 중 깊이 값이 존재하지 않는 화소는 연산 시 제외하고, 앞서 계산한 두 가지의 값을 곱한 후 가장 큰 값을 찾아 해당하는 주변 화소중 하나의 깊이 값을 홀에 해당하는 화소의 깊이 값으로 정하는 그래픽 프로세서 기반 깊이 영상 화질 개선 방법을 제공하는 것이다.

또한, 본 발명의 목적은 실시간 환경에 적용하기 위하여, 그래픽 프로세서(GPU)로 병렬화하는 그래픽 프로세서 기반 깊이 영상 화질 개선 방법을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 그래픽 프로세서 기반 깊이 영상 화질 개선 방법에 관한 것으로서, (a) 컬러영상 및 깊이영상을 입력받는 단계; (b) 상기 컬러영상에서 컬러값을 밝기값으로 변환하는 단계; 및, (c) 상기 컬러영상 및 깊이영상의 동일 위치의 각 화소(이하 제1 기준화소)에 대하여, 상기 제1 기준화소 및 상기 제1 기준화소의 주변에 위치한 화소(이하 제1 주변화소)의 거리 차이, 밝기 차이, 깊이 차이를 모두 이용한 전체 가중치(이하 제1 전체 가중치)를 구하고, 상기 제1 전체 가중치를 가장 크게하는 제1 주변화소의 깊이값으로 상기 제1 기준화소의 깊이값을 정하는 단계를 포함하는 것을 특징으로 한다.

또, 본 발명은 그래픽 프로세서 기반 깊이 영상 화질 개선 방법에 있어서, 상기 방법은, (d) 상기 깊이값이 0인 각 화소(이하 제2 기준화소)에 대하여, 상기 제2 기준화소의 주변에 위치한 화소(이하 제2 주변화소)의 거리 차이, 밝기 차이를 이용한 전체 가중치(이하 제2 전체 가중치)를 구하고, 상기 제2 전체 가중치를 가장 크게 하는 제2 주변화소의 깊이값을 상기 제2 기준화소의 깊이값으로 정하는 단계를 더 포함하는 것을 특징으로 한다.

또, 본 발명은 그래픽 프로세서 기반 깊이 영상 화질 개선 방법에 있어서, 상기 거리 차이에 의한 가중치(이하 제1 가중치)는 상기 컬러영상에서의 2개 화소의 유클리디안 거리 차이 값에 가우시안 함수를 적용하여 구하고, 상기 밝기 차이에 의한 가중치(이하 제2 가중치)는 상기 컬러영상에서의 2개 화소의 밝기 차이의 절대값에 가우시안 함수를 적용하여 구하고, 상기 깊이 차이에 의한 가중치(이하 제3 가중치)는 상기 깊이영상에서의 2개 화소의 깊이 차이의 절대값에 가우시안 함수를 적용하여 구하는 것을 특징으로 한다.

또, 본 발명은 그래픽 프로세서 기반 깊이 영상 화질 개선 방법에 있어서, 상기 제1 전체 가중치는 상기 제1 기준화소 및 상기 제1 주변화소의 상기 제1, 제2, 및 제3 가중치를 곱하여 구해지고, 상기 제2 전체 가중치는 상기 제2 기준화소 및 상기 제2 주변화소의 상기 제1 및 제2 가중치를 곱하여 구해지는 것을 특징으로 한다.

또, 본 발명은 그래픽 프로세서 기반 깊이 영상 화질 개선 방법에 있어서, 상기 주변화소는 상기 기준화소의 상하좌우 및 대각선으로 인접한 화소들인 것을 특징으로 한다.

또, 본 발명은 그래픽 프로세서 기반 깊이 영상 화질 개선 방법에 있어서, 상기 제2 주변화소는 상기 깊이영상에서의 깊이값이 0이 아닌 화소인 것을 특징으로 한다.

또, 본 발명은 그래픽 프로세서 기반 깊이 영상 화질 개선 방법에 있어서, 상기 (a) 내지 (d)단계는 범용 프로세서 또는 범용 그래픽 프로세서에 의해 수행되고, 상기 (c)단계 및 (d)단계는 상기 범용 그래픽 프로세서에 의해 수행되는 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 그래픽 프로세서 기반 깊이 영상 화질 개선 방법에 의하면, 깊이 영상의 잡음을 제거하고 종래기술에 의해 발생하는 경계 부분의 흐려짐 현상을 줄이면서 잡음과 홀을 효과적으로 제거할 수 있는 효과가 얻어진다.

또한, 본 발명에 따른 그래픽 프로세서 기반 깊이 영상 화질 개선 방법에 의하면, 그래픽 프로세서(GPU)로 병렬화함으로써, 속도를 향상시켜 실시간 환경에 적용할 수 있는 효과가 얻어진다.

특히, 실험 결과를 통해, 본 발명에 따른 그래픽 프로세서 기반 깊이 영상 화질 개선 방법이 종래 기술을 적용한 결과보다 우수한 것을 확인할 수 있었고, 특히, 그래픽 프로세서(GPU) 기반으로 병렬화하여 수행하였을 때 종래의 결합 양방향 필터(joint bilateral filter)와 비교하여 수행시간이 90.6553배 단축되는 결과를 얻는 것을 확인할 수 있었고, 동일 방법을 CPU로 수행한 시간과 비교하여 38.2977배 단축되는 것을 확인할 수 있었다.

도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일례로 사용되는 테디(Teddy) 영상(middlebury)로서, (a)원본 (b)잡음 부분 (c)홀 부분에 대한 영상.
도 3은 본 발명의 제1 실시예에 따른 그래픽 프로세서 기반 깊이 영상 화질 개선 방법을 설명하는 흐름도이다.
도 4는 본 발명의 제1 실시예에 따른 기준 화소(p)와 주변 화소(q1~q8)의 예시도.
도 5는 본 발명의 제1 실시예에 따른 홀 채움 단계를 설명하기 위한 예시도.
도 6은 본 발명의 제2 실시예에 따른 그래픽 프로세서 기반 깊이 영상 화질 개선 방법을 설명하는 흐름도이다.
도 7은 본 발명의 실험에 따른 실험 환경의 하드웨어 사양에 대한 표.
도 8은 본 발명의 실험에 따른 실험 결과로서, (a) 원본 (b) bilateral filter (c) joint bilateral filter (d) 본 발명(잡음 제거 단계 적용 결과) (e) 본 발명(잡음 제거+홀 채움 단계 적용 결과)에 대한 영상.
도 9는 본 발명의 실험에 따른 도 8의 확대 영상으로서, (a) 원본 (b) bilateral filter (c) joint bilateral filter (d) 본 발명(잡음 제거 단계 적용 결과) (e) 본 발명(잡음 제거+홀 채움 단계 적용 결과)에 대한 영상.
도 10은 본 발명의 실험에 따른 본 발명 및 종래 방법별 수행시간(ms)을 나타낸 표.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

도 1에서 보는 바와 같이, 본 발명에 따른 그래픽 프로세서 기반 깊이 영상 화질 개선 방법은 깊이 카메라(21)에 의해 촬영된 깊이영상(61), 및, 컬러영상 카메라(또는 RGB카메라, 색상 카메라)(22)에 의해 촬영된 컬러영상(62)을 입력받아 깊이영상의 화질을 개선하는 컴퓨터 단말(30) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 깊이 영상 화질 개선 방법은 프로그램으로 구성되어 컴퓨터 단말(30)에 설치되어 실행될 수 있다. 컴퓨터 단말(30)에 설치된 프로그램은 하나의 프로그램 시스템(40)과 같이 동작할 수 있다.

한편, 다른 실시예로서, 깊이 영상 화질 개선 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 깊이영상의 화질을 개선하는 것만을 전용으로 처리하는 전용 컴퓨터 단말(30)로 개발될 수도 있다. 이를 깊이영상 화질개선 장치(40)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.

깊이 카메라(21)는 물체(10)의 깊이를 측정하는 카메라로서, 깊이정보를 측정하여 깊이영상을 출력한다. 바람직하게는, 깊이 카메라(21)는 적외선 패턴에 의하여 깊이정보를 측정하는 깊이 카메라이다. 깊이 카메라(21)는 적외선 송출부와 수신부로 구성되어, 송출부에서 송출된 적외선이 물체(10)에 맞고 반사되면, 수신부에서 반사되는 적외선을 수신하여, 물체(10)의 깊이를 측정한다. 촬영된 깊이영상(61)은 깊이 카메라(21)로 촬영된 깊이영상이다.

컬러영상 카메라(22)는 통상의 RGB카메라로서, 물체(10)의 색상 또는 컬러영상을 획득한다. 바람직하게는, 촬영된 컬러영상(62)은 컬러영상 카메라(22)로 촬영된 RGB 영상 또는 컬러 영상이다.

깊이영상(61) 및 컬러영상(62)은 컴퓨터 단말(30)에 직접 입력되어 저장되고, 깊이영상 화질개선 장치(40)에 의해 처리된다. 또는, 깊이영상(61) 및 컬러영상(62)은 컴퓨터 단말(30)의 저장매체에 미리 저장되고, 깊이영상 화질개선 장치(40)에 의해 저장된 깊이영상(60)을 읽어 입력될 수도 있다.

영상은 시간상으로 연속된 프레임으로 구성된다. 예를 들어, 현재시간 t의 프레임을 현재 프레임이라고 하면, 직전시간 t-1의 프레임은 이전 프레임이라고 하고, t+1의 프레임은 다음 프레임이라고 부르기로 한다. 한편, 각 프레임은 컬러영상(또는 컬러 이미지) 및 깊이영상(또는 깊이정보)을 갖는다.

즉, 깊이영상(61) 및 컬러영상(62)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(61,62)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(61,62)은 하나의 이미지인 경우에도 해당된다.

깊이영상 및 컬러영상에서 얼굴을 검출하는 것은, 곧 깊이/색상 프레임(또는 이미지) 각각에서 검출하는 것을 의미하나, 이하에서 특별한 구별의 필요성이 없는 한, 영상이란 용어를 사용하기로 한다.

다음으로, 양방향 필터(Bilateral filter) 및 결합 양방향 필터(joint bilateral filter)을 이용하는 깊이 영상의 품질 향상 방법을 도 2를 참조하여 설명한다.

도 2는 미들베리(Middlebury)의 테디(Teddy) 영상에서 잡음과 홀이 발생한 부분을 확대하여 표시한 그림이다.

컬러 영상과는 다르게 깊이 영상은 물체의 형태와 깊이 정보만을 나타내며 평활한 영역이 대부분이라는 특성을 가지고 있다. 따라서 깊이 영상은 물체와 물체간의 경계 영역과 물체의 평활한 영역으로 구분되며 이 영역을 얼마나 잘 보존하느냐에 따라 깊이 영상의 품질이 결정된다. 따라서 깊이 영상의 잡음 제거 시 깊이 영상의 특성을 보존 하는 것이 중요하다.

일반적으로 깊이 영상의 잡음 제거 시 경계 보존 필터의 일종인 양방향 필터(Bilateral filter)[비특허문헌 6,7]와 결합 양방향 필터(joint bilateral filter)[비특허문헌 8]가 많이 사용되며 반복 적용하면 홀 영역도 채울 수 있다.

먼저, 양방향 필터(Bilateral filter)에 대하여 설명한다.

Tomasi 및 Manduchi에 의해 제안된 양방향 필터(BF)는 영상의 경계 구조를 보존하면서 잡음을 평활화하는 비선형 필터이다[비특허문헌 5]. BF는 두 개의 가우시안 필터로 구성된다. 두 개의 가우시안 필터는 각각 도메인 필터(domain filter) 및 레인지 필터(range filter)로 동작하며 [수학식 1]로 정의된다.

[수학식 1]

여기서 p는 깊이 영상에서 기준 화소의 좌표, q_x는 깊이 영상에서 이웃 화소의 좌표 값을 나타낸다. N(p)는 p와 이웃한 화소의 집합을 나타낸다. d_p는 깊이 영상에서 기준 화소 p의 깊이 값, d_qx는 깊이 영상에서 이웃 화소 q_x의 깊이 값을 나타낸다.

∥p-q_x∥는 기준 화소 p의 좌표 값과 이웃한 화소 qx의 좌표 값의 유클리드 거리(Euclidean distance)를 나타낸다. |d_p-d_qx|는 컬러 영상에서 기준 화소 p의 깊이 값인 d_p, 인접 화소들 중 하나인 q_x의 깊이 값인 d_qx의 차이 값에 절대 값을 나타낸다.

G_S(∥p-q_x∥)는 도메인 필터로 기준 화소 p와 이웃한 화소 q_x의 유클리드 거리를 가우시안 필터에 적용한 것이다. 이를 통해 기준 화소와 유클리드 거리가 가까운 화소들에게 높은 가중치가 부여된다. G_D(|d_p-d_qx|)는 레인지 필터로 깊이 영상에서 기준 화소 p의 깊이 값 d_p와 주변 화소 q_x의 깊이 값 d_qx의 차이 값에 절대 값을 가우시안 필터에 적용한다.

이와 같은 연산을 통해 유사한 깊이 값을 가지는 화소들에게 높은 가중치를 부여하게 된다. d_qx는 깊이 영상에서 주변 화소 q_x의 깊이 값을 나타낸다.

마지막으로 BF[p]는 양방향 필터(Bilateral filter) 연산을 통해 생성된 기준 화소 p의 깊이 값을 나타낸다. 앞서 설명하였듯이 수학식 1의 BF는 기준 화소와 이웃한 화소의 깊이 값 차이가 작거나 화소간 거리가 가까울수록 큰 가중치를 부여하여 기준 화소의 깊이 값을 계산한다.

다음으로, 결합 양방향 필터(joint bilateral filter)에 대하여 설명한다.

결합 양방향 필터(JBF)는 양방향 필터(Bilateral filter)와는 다르게 깊이 영상과 컬러 영상의 정보를 모두 이용한다. 깊이 영상과 그에 대응되는 컬러 영상의 밝기 차이 값과 화소간 거리 차이 값에 각각 가우시안 함수를 적용하여 [수학식2]와 같은 연산을 수행하게 된다.

[수학식 2]

여기서 p는 깊이 영상에서의 기준 화소, q_x는 인접 화소의 좌표를 나타낸다. N(p)는 인접 화소의 집합을 나타낸다. I_p는 컬러 영상에서의 기준 화소 p의 밝기 값을 나타낸다. I_qx는 기준 화소 p와 인접한 화소들 중 하나인 q_x의 컬러 영상에서의 밝기 값을 나타낸다.

∥p-q_x∥는 기준 화소 p의 좌표 값과 이웃한 화소 qx의 좌표 값의 유클리드 거리를 나타낸다. |I_p-I_qx|는 색상 영상에서 기준 화소 p의 밝기 값인 I_p와 인접 화소들 중 하나인 q_x의 밝기 값인 I_qx의 차이 값에 절대 값을 나타낸다. G_S(∥p-q_x∥)는 도메인 필터로 기준 화소 p로부터 공간적으로 가까운 화소들에게 가중치를 부여하는 역할을 한다. G_I(|I_p-I_qx|)는 레인지 필터로 컬러 영상에서 기준 화소 p의 밝기 값 I_p와 주변 화소 q_x의 밝기 값 I_qx의 차이 값에 절대 값을 가우시안 필터에 적용한다. 이와 같은 연산을 통해 유사한 밝기 값을 가지는 화소들에게 높은 가중치를 부여한다. d_qx는 q_x위치에서의 깊이 값을 나타낸다.

마지막으로 수학식 2의 JBF[d]_p는 JBF를 적용하여 생성한 기준 화소 p의 깊이 값을 나타낸다. JBF는 밝기 값 차이가 작거나 화소간 거리가 가까운 화소에 큰 가중치를 부여하여 깊이 값을 연산하게 된다.

다음으로, 본 발명의 제1 실시예에 따른 그래픽 프로세서 기반 깊이 영상 화질 개선 방법을 도 3을 참조하여 보다 구체적으로 설명한다.

도 3에서 보는 바와 같이, 본 발명의 제1 실시예에 따른 그래픽 프로세서 기반 깊이 영상 화질 개선 방법은 (a) 컬러영상을 입력받는 단계(S10); (b) 깊이영상을 입력받는 단계(S20); (c) 밝기영상 생성 단계(S30); (d) 잡음제거 단계(S40); (e) 홀채움 단계(S50); 및, (f) 화질이 개선된 깊이 영상 생성 단계(S60)로 구성된다.

즉, 우선 컬러 영상과 깊이 영상을 입력으로 받는다(S10,S20). 입력된 컬러 영상을 RGB 색상계에서 HSI 색상계로 변환하여 밝기 영상을 생성한다(S30). 그리고 깊이 영상에서 기준 화소와 주변 화소간의 거리 값, 깊이 값의 차이를 구하고 컬러 영상의 밝기 값 차이를 계산하여 잡음을 제거한다(S40). 이후 홀을 탐색하여 홀과 주변 화소간의 거리, 컬러 영상의 밝기 값 차이를 계산하여 깊이 영상 내에 존재하는 홀을 채우게 된다(S50). 상기한 잡음을 제거하고 홀을 채워, 화질이 개선된 깊이 영상을 생성한다(S60).

앞서 밝기영상 생성 단계(S30)에서 설명한 바와 같이, 컬러영상은 밝기영상으로 변환하고, 이하 단계, 즉, 잡음제거 단계(S40)와 홀채움 단계(S50)에서 밝기영상의 밝기값을 이용한다. 그러나 설명의 편의를 위해, 이하에서 컬러영상이라는 용어를 밝기영상과 혼용한다.

다음으로, 잡음제거 단계(S40)를 보다 구체적으로 설명한다.

깊이 영상은 동일한 객체 내에서 깊이 값이 유사한 경우가 많으며 서로 인접한 화소의 깊이 값도 유사한 경우가 많다. 또한 깊이 영상에 해당하는 컬러 영상에서도 마찬가지로 동일한 객체 내에서 밝기 값이 유사한 경우가 많다. 본 발명에서는 이러한 특성들을 이용하기 위하여 컬러 영상과 깊이 영상을 모두 이용한다.

먼저 제안하는 기법에서 사용될 기준 화소(p)와 주변 화소(q)의 정의는 도 4와 같다. 즉, 바람직하게는, 주변화소(q)는 상기 기준화소(p)의 상하좌우 및 대각선으로 인접한 화소들이다.

다음 수학식 3과 같이 입력받은 컬러 영상에서 기준 화소와 주변 화소의 유클리디안 거리 차이 값의 절대 값에 가우시안 함수를 적용한다.

[수학식 3]

여기서 p는 컬러 영상의 기준 화소를 나타내고, q_x는 컬러 영상의 주변 화소를 의미한다.

또한 수학식 4와 같이 입력받은 컬러 영상에서 기준 화소와 주변 화소의 밝기 차이 값의 절대 값에 가우시안 함수를 적용한다. 마찬가지로 수학식 4에서 I_p는 컬러 영상의 기준 화소의 밝기 값을 나타내고, I_qx는 컬러 영상의 주변 화소 밝기 값을 나타낸다. 마지막으로 수학식 5와 같이 깊이 영상에서도 마찬가지로 기준 화소와 주변 화소의 깊이 값의 절대 값 차이를 구한 후 가우시안 함수를 적용한다.

[수학식 4]

[수학식 5]

수학식 3, 4, 5를 통해 계산된 세 가지의 가우시안 값을 수학식 6과 같이 곱하게 된다. 수학식 7의 argmax 함수를 통해 가장 큰 가중치 값을 가지는 화소의 좌표 값을 찾는다. 수학식 7은 수학식 6에서 계산한 결과 중 가장 큰 값을 가지는 주변 화소의 좌표 값을 찾는 과정을 수식으로 나타낸 것이다.

[수학식 6]

[수학식 7]

여기서 N(p)는 기준 화소의 주변 화소들(q₁~q₈)의 집합을 나타내며 q_x는 주변 화소의 집합( N(p) )의 원소(q₁ ~ q₈) 중 하나를 나타낸다.

수학식 7에서 좌표 값 q`<sub>max</sub>을 얻은 후 수학식 8을 통해 기준 화소의 깊이 값으로 결정한다. 수학식 8은 최종적으로 기준 화소의 깊이 값을 구하는 수식이다. 수학식 8에서 D(q`_max)는 수학식 7에서 계산한 주변 화소 q_x중 가중치 값이 가장 큰 좌표 q`<sub>max</sub> 의 깊이 값을 나타낸다. 이 깊이 값을 기준 화소 p의 새로운 깊이 값 D`_p로 결정하게 된다.

[수학식 8]

앞서 설명한 연산을 통해 주변 화소 중 기준 화소와 거리 차, 컬러 영상에서의 밝기 차, 깊이 영상에서의 깊이 값 차이가 가장 작은 기준 화소의 깊이 값을 선택하게 된다. 즉, 본원발명의 가중치 함수에서는 기준 화소와 주변 화소의 차이값에 가우시안 함수를 적용하였다. 거리, 밝기, 깊이 차이가 작을수록 가우시안 함수를 적용한 결과 값은 커지게 되기 때문에, 수학식 6의 세 가우시안 함수를 곱한 값도 거리, 밝기, 깊이 차이가 작을수록 커지게 된다.

종래의 양방향 필터(bilateral filter) 및, 결합 양방향 필터(Joint bilateral filter)의 경우 주변값들의 가중치 평균을 이용하여 새로운 값을 생성한다. 하지만 본 발명은 주변 화소 중 가중치 값이 제일 큰 화소를 선택하여 사용한다. 주변 화소 값들을 그대로 사용함으로써 기존 기법에서 발생했던 객체 경계 부분의 흐려짐 현상없이 깊이 지도의 잡음을 제거할 수 있다.

다음으로, 홀채움 단계(S50)를 보다 구체적으로 설명한다.

앞서 잡음 제거 단계(S40)를 적용하여도 깊이 값이 전혀 존재 하지 않는 큰 홀의 경우에는 완벽히 제거되지 않는다. 이 경우에는 잡음 제거 기법을 여러 번 반복하여 어느 정도 해결이 가능하다. 하지만 잡음 제거 기법의 경우 영상 전체에 적용되는 전역적인 기법으로서 반복 적용 시 깊이 영상 전체의 깊이 값에 영향을 미칠 가능성이 크고 수행시간도 길어지는 단점이 있다.

또한 도 2(c)와 같이 기준 화소의 깊이 값이 0이고 주변에 연속적으로 깊이 값이 0인 화소가 여러 개 있는 홀의 경우 기준 화소의 깊이 값이 0 이므로 기준 화소와 유사한 깊이 값을 찾는 잡음 제거 단계(S40)의 특성상 그 결과도 0이 될 가능성이 매우 높아진다. 따라서 이러한 문제점을 해결하기 위하여 추가적인 홀 채움 방법이 필요하다.

홀 채움 단계(S50)는 앞서 잡음 제거 단계(S40)와 마찬가지로 컬러 영상과 깊이 영상을 모두 이용한다. 도 5는 홀 채움 단계(S50)의 과정을 나타내었다.

홀 채움의 경우 기준 화소가 되는 홀의 깊이 값이 '0'이고 주변 화소의 깊이 값도 '0'이 되는 부분에 적용이 된다.

잡음 제거 단계(S40)의 수학식 5와 같이 깊이 값의 차를 가중치 계산에 활용할 경우 주변 화소 중 이 값이 '0'인 화소의 가중치가 높아지는 결과가 나타난다. 따라서 잡음 제거 단계(S40)의 가중치 계산에서 기준 화소와 주변 화소의 깊이 값의 차를 이용한 연산(G_D)을 제외한 좌표 값의 차(G_S), 컬러 영상에서의 밝기 값의 차를 이용한 연산(G_I)을 이용해야 한다.

또한 홀 채움 단계(S50)를 통해 얻게 되는 최종적인 깊이 값이 '0'이 되는 것을 방지하기 위해 깊이 값이 '0'인 좌표의 화소들은 연산 단계에서 제외한다. 수학식 9는 깊이 값이 '0'인 홀에 해당하는 화소를 수식으로 나타낸 것이다. 수학식 10은 앞서 설명한 깊이 값이 '0'이 아닌 주변 화소들의 좌표 값(r_x)의 집합을 수식으로 나타낸 것이다.

[수학식 9]

[수학식 10]

우선 수학식 11과 같이 기준 화소와 주변 화소의 유클리디안 거리 차이 값의 절대 값에 가우시안 함수를 적용한다. 수학식 11에서 기준 화소 h는 수학식 9에서 확인 할 수 있듯이 영상 내의 기준 화소(p) 중에서 깊이 값이 0인 화소를 나타낸다. 또한 주변 화소 r_x는 수학식 10과 같이 주변 화소(q_x)중에서 깊이 값이 0이 아닌 화소를 의미한다.

[수학식 11]

그리고 수학식 12와 같이 홀(h)과 주변 화소(r_x)의 밝기 차이 값의 절대 값에 가우시안 함수를 적용한다. 수학식 12에서 I_h는 컬러 영상에서 홀의 위치에 해당하는 화소의 밝기 값을 나타내고, I_rx는 컬러 영상에서 주변 화소의 밝기 값을 나타낸다.

[수학식 12]

앞서 수학식 11, 12를 통해 계산한 두 가지의 가우시안 값을 수학식 13과 같이 곱한다. 수학식 13에서 G`<sub>S</sub>는 화소 간 유클리디안 거리 차이 값의 절대 값에 가우시안 함수를 적용한 수학식 9를 나타내고 G`_I는 화소 간 밝기 차이 값의 절대 값에 가우시안 함수를 적용한 수학식 12를 나타낸다.

[수학식 13]

수학식 14는 수학식 13에서 계산한 결과 중 가장 큰 값을 가지는 주변 화소의 좌표값을 찾는 과정을 수식으로 나타낸 것이다. 수학식 14에서 argmax 함수를 통해 가장 큰 가중치 값을 가지는 화소의 좌표 값(r_x`)을 찾을 수 있다.

[수학식 14]

수학식 14에서 얻은 좌표값 r_max`을 수학식 15에 대입하여 홀의 깊이 값으로 결정하게 된다. 수학식 15에서 D(r<sub>max</sub>`)는 수학식 14에서 계산한 좌표값 r_max`의 깊이 값을 나타낸다. 이 깊이 값을 홀의 새로운 깊이 값 D<sub>h</sub>`로 결정하게 된다.

[수학식 15]

앞서 설명한 연산을 반복적으로 수행하여 잡음 제거 단계(S40)에서도 제거되지 않는 홀을 효과적으로 채워주게 되며 최종적으로 고품질의 깊이 영상을 획득 할 수 있다.

다음으로, 본 발명의 제2 실시예에 따른 그래픽 프로세서 기반 깊이 영상 화질 개선 방법을 도 6을 참조하여 설명한다. 본 발명의 제2 실시예는 범용 그래픽 프로세서(General-Purpose computing on Graphics Processing Units, GPGPU)를 이용하여 속도를 개선하여 고속화하는 방법이다.

본 발명의 제2 실시예는 앞서 설명한 제1 실시예와 동일하나, 잡음 제거 단계(S40)와 홀 채움 단계(S50)를 범용 프로세서(CPU)에서 처리하지 않고, 범용 그래픽 프로세서(GPGPU)에서 처리하는 점에서 차이가 있다. 이하에서, 차이가 나는 부분만 설명한다.

그래픽 프로세서(GPU)는 CPU에 비해 훨씬 많은 코어로 구성되어 있으며 이것들을 연산을 위해 할당하고 병렬처리에 특화된 구조를 가지고 있다.

범용 그래픽 프로세서의 병렬 프로그래밍을 위해, GPU 내의 연산 단위인 단위 프로세서(SP 또는 SM 등)를 할당하는 단위로 쓰레드(thread)와 블록(block) 등으로 나눈다. 이때, 바람직하게는, GPU의 커널 코드의 변수를 설정할 수 있는 CUDA 등과 같은 프로그래밍 도구를 이용할 수 있다.

CUDA를 이용한 GPU 병렬처리 프로그래밍은 다수의 블록(block)과 쓰레드(thread)로 이루어진다. 하나의 디바이스(device)는 다수의 블록으로 구성되고, 각각의 블록(block)은 다수의 쓰레드(thread)로 구성된다. 스테레오 매칭(Stereo matching) 이외에도 최근 많이 사용되는 키넥트(Kinect) 카메라나 ToF 카메라로 깊이 영상을 획득 시 발생하는 잡음을 GPU를 사용하여 실시간으로 제거하기 위해 여러 연구들이 시도되고 있다[비특허문헌 9,10,11,12].

도 6은 본 발명에 따른 깊이 영상 화질 개선 방법을 GPU로 구현한 순서도이다. 본 발명에 따른 방법 중 잡음제거와 홀 채움 단계(S40,S50) 부분을 병렬화하여 연산 시간을 감소시킨다.

우선 컬러 영상과 깊이 영상을 입력받은 후 컬러 영상을 밝기 영상으로 변환 시킨다. 이후 변환시킨 컬러 영상과 깊이 영상을 GPU로 연산하기 위해 GPU의 디바이스 메모리(device memory)로 복사한다. 복사한 데이터를 바탕으로 잡음 제거와 홀 채움 단계(S40,S50)를 수행한다. 이때 하나의 쓰레드(thread)에서 수학식 3, 4와 5을 수행하도록 구현하여 다수의 쓰레드(thread)에서 한꺼번에 많은 화소를 처리하게 한다. GPU 연산을 완료한 후 다시 CPU의 호스트 메모리(host memory)로 데이터를 복사하여 품질이 향상된 깊이 지도를 생성하게 된다.

다음으로, 본 발명의 효과를 실험을 통해 설명한다.

먼저, 실험 조건에 대하여 설명한다.

본 발명에 따른 깊이 영상의 화질 개선 방법의 성능을 기존 방법들의 성능과 비교하기 위하여 다양한 실험을 수행하였다. 먼저 도 7은 실험에 사용된 PC의 사양을 보여준다. 실험에는 미들베리(middlebury)의 테디(teddy)(1800*1500) 영상을 사용하였다.

도 8은 양방향 필터(Bilateral filter), 결합 양방향 필터(Joint bilateral filter)를 적용한 결과와 본 발명에 따른 방법을 비교한 결과이다. 양방향 필터(Bilateral filter)와 결합 양방향 필터(Joint bilateral filter)의 경우 경계부분의 흐려짐 현상이 생기고 잡음과 홀이 완전히 제거되지 않았다는 결과를 볼 수 있다. 하지만 본 발명에 따른 방법의 경우 경계부분의 흐려짐 현상이 없고 잡음과 홀이 효과적으로 제거된 결과를 얻을 수 있었다. 도 9는 도 8을 확대한 영상이다. 확대한 영상에서도 본 발명에 따른 방법을 적용한 결과가 양방향 필터(Bilateral filter), 결합 양방향 필터(Joint bilateral filter)를 적용한 결과와 비교하여 경계부분의 흐려짐 현상이 없이 잡음과 홀을 효과적으로 제거한 것을 확인할 수 있었다.

도 10은 결합 양방향 필터(Joint bilateral filter)와 본 발명에 따른 방법의 수행시간을 비교한 결과이다. 도 10에서 CPU기반의 결합 양방향 필터(Joint bilateral filter)는 해상도에 따라 다르지만 1800*1500 해상도인 teddy 영상의 경우 1130.2187ms의 수행시간을 보였다. 같은 영상에 CPU 기반의 본 발명에 따른 방법을 적용하였을 때에는 477.4653ms의 수행시간을 보였다. GPU 기반에서 본 발명에 따른 방법을 병렬화 하여 고속화한 결과는 12.4672ms가 걸리는 것을 확인할 수 있다. 이것은 약 80fps의 속도로서 실시간 환경에 충분히 적용 가능함을 확인할 수 있다.

본 발명에서는 깊이 영상의 화질 개선을 위하여 잡음 제거 단계와 홀 채움 단계를 제안하였다. 제안한 잡음 제거, 홀 채움 단계를 통해 종래 방법에서 발생하는 경계 부분의 흐려짐 현상을 줄이고 잡음과 홀을 효과적으로 제거하도록 하였다. 또한 실시간 환경에 적용하기 위해 본 발명을 GPU로 병렬화 하여 속도 향상을 하고자 하였다.

실험 결과를 통해 본 발명에 따른 잡음 제거 방법과 홀 채움 방법이 기존의 방법을 적용한 결과보다 우수한 것을 확인 할 수 있었다. 또한 본 발명에 따른 방법을 GPU 기반으로 병렬화 하여 수행하였을 때 기존의 결합 양방향 필터(Joint bilateral filter)와 비교하여 수행시간이 90.6553배 단축되는 결과를 얻는 것을 확인할 수 있었으며 동일 방법을 CPU로 수행한 시간과 비교하여 38.2977배 단축되는 것을 확인할 수 있었다. 향후 본 발명에 따른 방법을 적용하여 3D 콘텐츠 생성에 필요한 고품질의 깊이지도를 실시간으로 생성할 수 있을 것으로 기대한다.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 물체
21 : 깊이 카메라 22 : 색상 카메라
30 : 컴퓨터 단말 40 : 프로그램 시스템
61 : 깊이영상 62 : 컬러영상

Claims (7)

1. 그래픽 프로세서 기반 깊이 영상 화질 개선 방법에 있어서,
   (a) 컬러영상 및 깊이영상을 입력받는 단계;
   (b) 상기 컬러영상에서 컬러값을 밝기값으로 변환하는 단계;
   (c) 상기 컬러영상 및 깊이영상의 동일 위치의 각 화소(이하 제1 기준화소)에 대하여, 상기 제1 기준화소 및 상기 제1 기준화소의 주변에 위치한 화소(이하 제1 주변화소)의 거리 차이, 밝기 차이, 깊이 차이를 모두 이용한 전체 가중치(이하 제1 전체 가중치)를 구하고, 상기 제1 전체 가중치를 가장 크게하는 제1 주변화소의 깊이값으로 상기 제1 기준화소의 깊이값을 정하는 단계; 및,
   (d) 상기 깊이값이 0인 각 화소(이하 제2 기준화소)에 대하여, 상기 제2 기준화소의 주변에 위치한 화소(이하 제2 주변화소)의 거리 차이, 밝기 차이를 이용한 전체 가중치(이하 제2 전체 가중치)를 구하고, 상기 제2 전체 가중치를 가장 크게 하는 제2 주변화소의 깊이값을 상기 제2 기준화소의 깊이값으로 정하는 단계를 포함하고,
   상기 거리 차이에 의한 가중치(이하 제1 가중치)는 상기 컬러영상에서의 2개 화소의 유클리디안 거리 차이 값에 가우시안 함수를 적용하여 구하고, 상기 밝기 차이에 의한 가중치(이하 제2 가중치)는 상기 컬러영상에서의 2개 화소의 밝기 차이의 절대값에 가우시안 함수를 적용하여 구하고, 상기 깊이 차이에 의한 가중치(이하 제3 가중치)는 상기 깊이영상에서의 2개 화소의 깊이 차이의 절대값에 가우시안 함수를 적용하여 구하고,
   상기 제1 전체 가중치는 상기 제1 기준화소 및 상기 제1 주변화소의 상기 제1, 제2, 및 제3 가중치를 곱하여 구해지고, 상기 제2 전체 가중치는 상기 제2 기준화소 및 상기 제2 주변화소의 상기 제1 및 제2 가중치를 곱하여 구해지고,
   상기 제2 주변화소는 상기 깊이영상에서의 깊이값이 0이 아닌 화소이고,
   상기 제1 기준화소 p와 제1 주변화소 q_x의 제1 전체 가중치 W_p(p,q_x)는 다음 [수식 1]에 의해 구해지는 것을 특징으로 하는 그래픽 프로세서 기반 깊이 영상 화질 개선 방법.
   [수식 1]
   

   

   
   단, ||p-q_x||는 제1 기준화소와 제1 주변화소의 유클리디안 거리 차이값,
   |I_p-I_qx|는 제1 기준화소와 제1 주변화소의 밝기 차이의 절대값,
   |D_p-D_qx|는 제1 기준화소와 제1 주변화소의 깊이 차이의 절대값,
   G()는 가우시안 함수임.
   
2. 삭제
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 주변화소는 상기 기준화소의 상하좌우 및 대각선으로 인접한 화소들인 것을 특징으로 하는 그래픽 프로세서 기반 깊이 영상 화질 개선 방법.
   
6. 삭제
7. 제1항에 있어서,
   상기 (a) 내지 (d)단계는 범용 프로세서 또는 범용 그래픽 프로세서에 의해 수행되고, 상기 (c)단계 및 (d)단계는 상기 범용 그래픽 프로세서에 의해 수행되는 것을 특징으로 하는 그래픽 프로세서 기반 깊이 영상 화질 개선 방법.
   

Images