KR101458986B1

KR101458986B1 - 키넥트 기반 실시간 다시점 영상 생성 방법

Info

Publication number: KR101458986B1
Application number: KR1020130044445A
Authority: KR
Inventors: 이규철; 유지상
Original assignee: 광운대학교 산학협력단
Priority date: 2013-04-22
Filing date: 2013-04-22
Publication date: 2014-11-13
Also published as: KR20140126826A

Abstract

키넥트의 적외선 패턴을 이용하여 깊이 영상을 획득하되, 경계 주변에 발생되는 흔들림 현상을 보정하여 가상시점 영상을 생성하고, 가상시점 영상의 가려짐 영역을 블록기반의 기울기 및 신뢰도 기반으로 홀채움을 하는 키넥트 기반 실시간 다시점 영상 생성 방법에 관한 것으로서, (a) 깊이영상 및 색상영상을 획득하는 단계; (b) 상기 깊이영상에서 결합형 양방향 필터를 이용하여 홀을 채우는 단계; (c) 상기 깊이영상의 흔들림 화소를 탐색하여 보정하는 단계; (d) 3D 워핑을 이용하여 가상시점 영상을 생성하는 단계; 및, (e) 상기 가상시점 영상에서 가려짐 영역의 홀을 채우는 단계를 포함하는 구성을 마련한다.
상기와 같은 다시점 영상 생성 방법에 의하여, 화면의 흔들림 현상을 줄이고, 홀 채움시 잘못된 색상 정보 사용방지, 배경영역과 객체영역의 분리, 영상의 기울기 정보를 통해 영상의 연속성을 유지함으로써, 종래 방법보다 우수한 다시점 영상을 생성할 수 있다.

Description

키넥트 기반 실시간 다시점 영상 생성 방법 { A Real-time Multi-view Image Synthesis Method By Using Kinect }

본 발명은 키넥트의 적외선 패턴을 이용하여 깊이 영상을 획득하되, 경계 주변에 발생되는 흔들림 현상을 보정하여 화질이 좋은 다시점 영상을 실시간으로 생성하는 키넥트 기반 실시간 다시점 영상 생성 방법에 관한 것이다.

2009년 개봉한 3D 영화 아바타의 흥행 성공 이후 지난 3년동안 3D 입체영상은 영화, 애니메이션, 게임, 스포츠 중계 등 다양한 분야의 미디어 서비스로 활용되고 있으며, 3D 기능을 탑재한 TV, 노트북, 휴대전화, 게임기 등의 제품이 연이어 출시되면서 3D 시장은 양적 성장을 거듭하고 있다.

하지만 안경을 써야 하는 불편함, 다양한 콘텐츠의 부족으로 인하여 아직까지 일반화되지 못하고 있다. 실제 시장 조사기관 Retrevo가 발표한 자료에 따르면, 2012년 HDTV 구매 계획을 가진 소비자 가운데 55%가 3D 기능의 필요성에 대해 의문을 제기했으며, 그 이유로는 안경을 써야 하는 번거로움과 콘텐츠의 부족으로 나타났다. 또 다른 이유로는 현재 3D 디스플레이의 방식은 입체감을 느낄 수 있는 시점이 하나인 단시점 방식이기 때문에 시점을 벗어나면 물체의 실감과 생동감이 떨어지기 때문이다.

이에 대한 대안으로 최근 주목 받고 있는 기술이 다시점 무안경 디스플레이 기술이다. 다시점 무안경 디스플레이는 스테레오 디스플레이보다 시점의 개수가 증가하기 때문에 안경을 착용하지 않고 관찰자가 시점을 바꾸는 경우에도 시점에 맞는 영상이 재생되어 보다 자연스럽고 실감나는 3차원 영상의 감상이 가능하다[비특허문헌 1].

다시점 영상을 획득하는 방법 중 하나가 가상 시점 영상을 생성하는 것이다. 가상 시점 영상을 생성하기 위해서는 일반적으로 색상 영상과 색상 영상에 대응하는 깊이 영상을 획득해야 한다. 깊이 영상을 획득하는 방법에는 스테레오 정합을 이용하는 방법과 TOF 카메라 등 깊이 카메라를 이용하는 방법이 있다. 스테레오 정합은 환경의 제약을 적게 받고 효과적이지만 수행시간이 길고 깊이 영상의 정확도가 떨어지며 TOF 카메라는 높은 정확도의 깊이 영상을 획득할 수 있는 대신 해상도가 낮고 장비가 고가라는 단점이 있다.

최근에 키넥트(Kinect)와 같이 가격 대비 높은 성능을 보여주는 카메라가 시중에 출시되면서 일반인들도 손쉽게 깊이 카메라를 접할 수 있게 되었다. 하지만 키넥트로 획득된 깊이 영상은 카메라 내외의 문제점들로 인해 홀이 생기고 각각의 깊이 영상을 동영상으로 연속 재생할 경우 경계 주변의 흔들림(flickering) 현상이 발생하기 때문에 현재 이를 보정하는 연구가 진행되고 있다[비특허문헌 2].

가상 시점 영상 합성을 위한 방법에는 크게 스테레오 영상의 변이 정보를 이용하는 양방향 선형 보간법(bidirectional linear interpolation)과 깊이 정보를 이용하는 3D 워핑(3D warping) 기법 등이 있다. 양방향 선형 보간법은 변이 정보를 이용하여 기준 시점 영상 사이의 제한된 시점의 중간 시점 영상을 생성하는 방법이다. 3D 워핑은 카메라의 기하학적 구조를 기반으로 깊이 정보와 카메라의 내, 외부 파라미터를 이용하여 영상의 화소들에 대한 실제 좌표(세계 좌표계;world coordinate)를 산출하고 다시 가상 시점의 영상으로 재투영하는 기법이다. 중간 시점뿐만 아니라 임의의 가상 시점 영상을 생성함으로써 보다 자유로운 시점을 제공한다[비특허문헌 3].

한편, 키넥트를 이용하여 가상 시점 영상을 생성하는 방법을 구체적으로 살펴보면, 우선 키넥트에서 획득된 깊이 영상은 카메라 내외적인 문제로 인하여 홀이 생기기 때문에 홀을 채워야 한다.

기존의 방법으로는 인페인팅(inpainting) 기법을 이용한 홀 채움 방법과 결합형 양방향 필터(joint bilateral filter)를 이용하여 참조 영상의 윤곽선대로 홀을 채우는 방법이 대표적이다[비특허문헌 4].

인페인팅 방식은 실사 이미지에서 제거된 특정 영역을 주변 배경과 어울리게 채워 넣는 기술로 깊이 영상의 홀 채움에 적용하여 사용될 수 있다[비특허문헌 5, 6]. 하지만 인페인팅 기법은 배경 영역과 객체 영역을 구분하지 못하기 때문에 홀 영역을 흐릿하게 채워 기존 배경과의 연속성을 떨어뜨린다. 또한 이 같은 방법들은 한 장의 영상에 적용하는 기법이기 때문에 홀은 채울 수 있지만 경계 흔들림 현상을 보정할 수 없다는 단점이 있다.

따라서 이러한 문제를 해결하기 위해 깊이 영상의 흔들림 화소를 탐색하여 처리하는 기술이 절실하다. 특히, 흔들림 화소를 잘못 찾는 경우 객체가 움직일 때 잔상이 생기는 문제점이 있으므로, 객체의 움직임을 보존하면서 잔상을 줄일 수 있는 방법이 필요하다.

[비특허문헌 1] G. M. Um, G. H. Cheong, W. S. Cheong and N. H. Hur, "Technical development and standardization trends of multi-view 3D and free-viewpoint video," The Magazine of the IEEK, vol. 38, no. 2, pp. 18-23, Feb. 2011. [비특허문헌 2] Y. S. Park, S. M. Yun and C. S. Won, "Hole filling for kinect depth image according to the causes of the holes," The Conference of Korean Society of Broadcast Engineers, Jeju univ, Korea, pp. 75-80, Jul. 2012. [비특허문헌 3] M. S. Ko and J. S. Yoo, "Boundary noise removal and hole filling algorithm for virtual viewpoint image generation," The Journal of Korea Institute of Communications and Information Sciences, vol. 37, no. 8, pp. 679-688, Aug. 2012. [비특허문헌 4] L. Zhao and H. Wang, "Image denoising using trivariate shrinkage filter in the wavelet domain and joint bilateral filter in the spatial Domain," IEEE Trans. On Image Processing, vol. 18, no. 10, pp. 2364-2369, Oct. 2009. [비특허문헌 5] A. Telea, "An image inpainting technique based on the fast marching method," Journal of Graphics Tools, vol. 9, no. 1, pp. 25-36, Dec. 2004. [비특허문헌 6] A. Criminisi, P. Perez and K. Toyama, "Region filling and object removal by exemplar-based image in-painting," IEEE Trans. Image Processing, vol. 13, no. 9, pp. 1200-1212, Sept. 2004. [비특허문헌 7] G. C. Lee, Y. H. Seo and J. S. Yoo, "GPGPU-based multiview synthesis using kinect depth image," The Conference of Korea Institute of Communications and Information Sciences, Yongpyong, Korea, Jan. 2012. [비특허문헌 8] Y. Mori, N. Fukushima, T. Yendoa, T. Fujii and M. Tanimotoa, "View generation with 3D warping using depth information for FTV," ELSEVIER Signal Processing : Image Communication, vol. 24, no. 1-2, pp. 65-72, Jan. 2009. [비특허문헌 9] G. C. Lee and J. S. Yoo, "Kinect depth map enhancement using boundary flickering compensation," The Conference of Korean Society of Broadcast Engineers, Kyunghee univ. Nov. 2012 [비특허문헌 10] S. B. Lee and Y. S. Ho, "Real time eye contact system using a kinect depth camera for realistic telepresence," The Journal of Korea Institute of Communications and Information Sciences, vol. 37, no. 4, pp. 277-282, Apr. 2012. [비특허문헌 11] T. J. Kim, E. Y. Chang, N. H. Hur, J. W. Kim and J. S. Yoo, "Virtual viewpoint image synthesis algorithm using multi-view geometry," The Journal of Korea Information and Communications Society, vol. 34, no. 12, pp. 1154-1166, Dec. 2009. [비특허문헌 12] W. J. Tam, G. Alain, L. Zhang, T. Martin, and R. Renaud, "Smoothing depth maps for improved stereoscopic image quality," Proc. SPIE Conf. Three-Dimensional TV, Video, and Display III, Philadelphia, U.S.A., vol. 5599, pp. 162-172, Oct. 2004. [비특허문헌 13] T. Y. Kim, Y. G. Jeon and J. C. Jeong, "Adaptive linear interpolation using the new distance weight and local patterns," The Journal of Korea Institute of Communications and Information Sciences, vol. 31, no. 12C, pp. 1184-1193, Dec. 2006. [비특허문헌 14] J. H. Park and C. G. Song, "Effective shadow removal from aerial image of golf course to extract components," The Journal of Korean Institute of Information Scientists and Engineers, vol. 39, no. 7, pp. 577-582, Jul. 2012

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 키넥트의 적외선 패턴을 이용하여 깊이 영상을 획득하되, 경계 주변에 발생되는 흔들림 현상을 보정하여 화질이 좋은 다시점 영상을 실시간으로 생성하는 키넥트 기반 실시간 다시점 영상 생성 방법을 제공하는 것이다.

특히, 본 발명의 목적은 키넥트에서 획득된 색상 영상을 HSI 색상모델의 명도(intensity) 영상으로 변환하고, 이전 프레임의 명도 영상과 깊이 영상의 값을 분석하여 흔들림 화소를 찾아 보정하는 키넥트 기반 실시간 다시점 영상 생성 방법을 제공하는 것이다.

또한, 본 발명의 목적은 향상된 깊이 영상과 키넥트에서 획득된 색상 영상에 3D 워핑 기법을 적용하여 가상 시점을 생성하되, 가려짐(occlusion) 영역의 홀을 블록기반의 기울기 탐색 방법으로 찾아 홀을 채우는 키넥트 기반 실시간 다시점 영상 생성 방법을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 키넥트 기반 실시간 다시점 영상 생성 방법에 관한 것으로서, (a) 깊이영상 및 색상영상을 획득하는 단계; (b) 상기 깊이영상에서 결합형 양방향 필터를 이용하여 홀을 채우는 단계; (c) 상기 깊이영상의 흔들림 화소를 탐색하여 보정하는 단계; (d) 3D 워핑을 이용하여 가상시점 영상을 생성하는 단계; 및, (e) 상기 가상시점 영상에서 가려짐 영역의 홀을 채우는 단계를 포함하는 것을 특징으로 한다.

또, 본 발명은 키넥트 기반 실시간 다시점 영상 생성 방법에 있어서, 상기 깊이영상은 키넥트에서 적외선에 의해 측정된 영상인 것을 특징으로 한다.

또, 본 발명은 키넥트 기반 실시간 다시점 영상 생성 방법에 있어서, 상기 (b)단계에서, 상기 결합형 양방향 필터는 두 장의 영상에 대하여 인접 화소와의 거리 차, 경계를 보존하려는 참조 영상의 색상 차에 두 개의 가우시안 함수를 사용하는 것을 특징으로 한다.

또, 본 발명은 키넥트 기반 실시간 다시점 영상 생성 방법에 있어서, 상기 결합형 양방향 필터는 다음 수식 1에 의해 정의되는 것을 특징으로 한다.

[수식 1]

단, D'_p는 깊이 영상 D와 명도 영상 I에 결합형 양방향 필터를 적용하여 생성한 화소 값이고,

는 화소 p와 화소 q 사이의 유클리디안 거리에 따른 가우시안 가중치이고,

는 명도 영상 I의 p화소 값과 q화소 값 차에 따른 가우시안 가중치이고, s는 영상에서 공간상의 모든 위치를 나타내고, σ_s와 σ_r는 필터를 적용할 범위이고, D_q는 화소 q에서의 깊이값이고, W_p는 가중치의 합을 1.0으로 만드는 정규화 인자임.

또, 본 발명은 키넥트 기반 실시간 다시점 영상 생성 방법에 있어서, 상기 (c)단계에서, 상기 깊이영상에서 홀을 채운 화소들의 깊이값 평균이 미리 정해진 제1 임계값 보다 크고, 상기 홀을 채운 화소들에 대응되는 명도 영상의 화소값들의 평균이 미리 정해진 제2 임계값보다 작으면, 흔들림 화소로 판단하는 것을 특징으로 한다.

또, 본 발명은 키넥트 기반 실시간 다시점 영상 생성 방법에 있어서, 상기 (e)단계는, (e1) 상기 가상시점 영상의 경계 잡음을 홀에 포함시켜 제거하는 단계; (e2) 상기 가상시점 영상의 홀들 각각에 대하여, 해당 홀 주변의 블록을 대상으로 가장 큰 기울기를 탐색하는 단계; (e3) 상기 해당 홀 주변의 블록을 대상으로, 각 블록 내의 홀 개수에 의한 신뢰도(이하 제1 신뢰도)를 구하는 단계; (e4) 각 블록의 기울기와 제1 신뢰도를 곱하여 최종 신뢰도(이하 제2 신뢰도)를 구하는 단계; (e5) 가장 높은 제2 신뢰도를 갖는 블록의 중앙 화소 값으로 상기 해당 홀의 화소값을 정하는 단계를 포함하는 것을 특징으로 한다.

또, 본 발명은 키넥트 기반 실시간 다시점 영상 생성 방법에 있어서, 상기 (c2)단계에서, 상기 해당 홀을 중심으로 8개의 블록에 대하여, 각각의 블록에서 해당 홀의 방향으로 기울기의 변화량을 구하고, 변화량이 가장 큰 블록의 기울기를 상기 해당 홀의 블록기반 기울기로 선정하는 것을 특징으로 한다.

또, 본 발명은 키넥트 기반 실시간 다시점 영상 생성 방법에 있어서, 상기 블록 B의 기울기 △G_B 는 [수식 2]에 의해 구하는 것을 특징으로 한다.

[수식 2]

단, I_C는 블록 B의 중앙값, K는 최대 기울기 변화량.

또, 본 발명은 키넥트 기반 실시간 다시점 영상 생성 방법에 있어서, 상기 블록 B의 신뢰도 C는 [수식 3]에 의해 구하는 것을 특징으로 한다.

[수식 3]

단, n(B)는 블록의 화소 수.

상술한 바와 같이, 본 발명에 따른 키넥트 기반 실시간 다시점 영상 생성 방법에 의하면, 화면의 흔들림 현상을 줄이고, 홀 채움시 잘못된 색상 정보 사용방지, 배경영역과 객체영역의 분리, 영상의 기울기 정보를 통해 영상의 연속성을 유지함으로써, 종래 방법보다 우수한 다시점 영상을 생성할 수 있는 효과가 얻어진다.

즉, 본 발명은 흔들림 화소를 보정하여 화면의 흔들림 현상을 줄이고, 후처리 단계에서 홀 채움하기 전에 경계 잡음을 먼저 제거하여 잘못된 색상 정보를 사용하는 것을 방지하고, 배경영역과 객체 영역을 분리하여 효과적으로 홀을 채울 수 있고, 영상의 기울기 정보를 이용하여 영상의 연속성을 유지할 수 있다.

도 1은 본 발명을 실시하기 위한 전체 시스템의 구성도.
도 2는 본 발명의 일실시예에 따른 키넥트 기반 실시간 다시점 영상 생성 방법을 설명하는 흐름도.
도 3은 본 발명에 따른 (a) 키넥트에서 획득된 깊이 영상, 및, (b) 결합형 양방향 필터를 적용한 결과 영상의 일례.
도 4는 본 발명에 따른 경계 흔들림 화소 탐색 방법을 설명하는 예시도.
도 5는 본 발명에 따른 현재 프레임과 이전 프레임의 차영상의 예로서, (a) 흔들림 화소 보정 전, 및, (b) 흔들림 화소 보정 후의 결과 영상의 일례.
도 6은 본 발명에 따른 3D 워핑을 이용하여 생성된 가상 시점 영상의 예로서, 각각 (a) 기준 시점 영상, (b) 깊이 영상, (c) 생성된 가상 시점 영상의 결과의 일례.
도 7은 본 발명에 따른 가상시점 영상의 홀을 채우는 후처리 단계를 설명하는 흐름도.
도 8은 본 발명에 따른 블록 기반의 기울기 탐색을 설명하기 위한 예시도.
도 9는 본 발명에 따른 경계 잡음 제거를 설명하기 위한 영상의 예로서, (a) 경계 잡음, (b) 경계 잡음 제거 없이 홀 채움 한 결과, 및, (c) 경계 잡음 제거 후 홀 채움 한 결과의 영상임.
도 10은 본 발명의 실험에 따라 각 방법을 적용하여 가상시점 영상을 생성한 결과 영상의 예로서, (a) 후처리 전 영상 (b) 선형 보간법 (c) Telea의 인페인팅 방법, (d) Criminisi의 인페인팅 방법, (e) 본 발명의 방법에 의한 결과 영상들의 예.
도 11은 본 발명의 실험에 따라 연속되는 프레임에 각 방법을 적용한 영상의 예로서, 왼쪽부터 선형 보간법, 인페인팅(Telea), 인페인팅(Criminisi), 본 발명. 위부터 첫 번째 프레임, 두 번째 프레임, 세 번째 프레임, 네 번째 프레임의 예.
도 12는 본 발명의 실험에 따른 각 방법들의 성능 비교를 나타내는 표.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예에 대하여 도 1을 참조하여 설명한다. 도 1은 본 발명이 컴퓨터 단말 상에서 실시되는 예를 도시한 것이다.

도 1에서 보는 바와 같이, 본 발명에 따른 키넥트 기반 실시간 다시점 영상 생성 방법은 키넥트(20)의 깊이 카메라(21)에 의해 촬영된 깊이영상(61), 및, 키넥트(20)의 색상 카메라(또는 RGB카메라)(22)에 의해 촬영된 색상영상(62)을 입력받아 다시점 영상(또는 가상시점의 영상)을 생성하는 컴퓨터 단말(30) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 다시점 영상 생성 방법은 프로그램으로 구성되어 컴퓨터 단말(30)에 설치되어 실행될 수 있다. 컴퓨터 단말(30)에 설치된 프로그램은 하나의 프로그램 시스템(40)과 같이 동작할 수 있다.

한편, 다른 실시예로서, 다시점 영상 생성 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 깊이영상 및 색상영상으로부터 다시점 영상을 생성하는 것만을 전용으로 처리하는 전용 컴퓨터 단말(30)로 개발될 수도 있다. 이를 다시점 영상 생성 장치(40)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.

키넥트(20)는 깊이 카메라(21) 및 색상 카메라(22)를 포함한다.

깊이 카메라(21)는 물체(10)의 깊이를 측정하는 카메라로서, 깊이정보를 측정하여 깊이영상을 출력한다.

바람직하게는, 깊이 카메라(21)는 키넥트에 설치된 깊이 카메라로서, 적외선 패턴에 의하여 깊이정보를 측정하는 깊이 카메라이다. 깊이 카메라(21)는 적외선 송출부와 수신부로 구성되어, 송출부에서 송출된 적외선이 물체(10)에 맞고 반사되면, 수신부에서 반사되는 적외선을 수신하여, 물체(10)의 깊이를 측정한다.

촬영된 깊이영상(61)은 깊이 카메라(21)로 촬영된 깊이영상이다.

색상 카메라(22)는 통상의 RGB카메라로서, 물체(10)의 색상을 획득한다. 바람직하게는, 색상 카메라(22)는 키넥트에 설치된 RGB 카메라이다. 촬영된 색상영상(62)은 색상 카메라(22)로 촬영된 RGB 영상이다.

깊이영상(61) 및 색상영상(62)은 컴퓨터 단말(30)에 직접 입력되어 저장되고, 다시점 영상 생성 장치(40)에 의해 처리된다. 또는, 깊이영상(61) 및 색상영상(62)은 컴퓨터 단말(30)의 저장매체에 미리 저장되고, 다시점 영상 생성 장치(40)에 의해 저장된 깊이영상(60)을 읽어 입력될 수도 있다.

깊이영상(61) 및 색상영상(62)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(61,62)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(61,62)은 하나의 이미지인 경우에도 해당된다.

깊이영상 및 색상영상에서 다시점 영상을 생성하는 것은, 곧 깊이/색상 프레임(또는 이미지)에서 가상시점의 프레임(또는 이미지)을 생성하는 것을 의미하나, 이하에서 특별한 구별의 필요성이 없는 한, 영상이란 용어를 사용하기로 한다.

다음으로, 본 발명의 일실시예에 따른 키넥트 기반 실시간 다시점 영상 생성 방법을 도 2를 참조하여 설명한다. 도 2는 본 발명에 따른 키넥트 기반 실시간 다시점 영상 생성 방법을 설명하는 흐름도이다.

도 2에서 보는 바와 같이, 키넥트 기반 실시간 다시점 영상 생성 방법은 (a) 깊이 영상 및 색상 영상을 획득하는 단계; (b) 상기 깊이 영상에서 적외선 센서의 거리 차에 의한 홀을 채우는 단계; (c) 상기 깊이 영상의 흔들림 화소를 탐색하여 오류를 정정하는 단계; (d) 3D 워핑을 이용하여 가상시점 영상을 생성하는 단계; 및, (e) 상기 가상시점 영상에서 가려짐 영역의 홀을 채우는 단계로 구성된다.

즉, 본 발명은 키넥트에서 획득된 색상 영상을 HSI 색상모델의 명도(intensity) 영상으로 변환하고, 이전 프레임의 명도 영상과 깊이 영상의 값을 분석하여 흔들림 화소를 찾는다. 흔들림 화소는 이전 프레임 중 최대 화소 값으로 변환한다. 하지만 흔들림 화소를 잘못 찾는 경우, 객체가 움직일 때 잔상이 생긴다. 이를 보정해 주기 위해 키넥트에서 획득된 깊이 영상에서 홀 영역과 홀의 주변 영역을 변환한 값으로 대체해 줌으로써 객체의 움직임을 보존하면서 잔상을 줄일 수 있다[비특허문헌 7].

향상된 깊이 영상과 키넥트에서 획득된 색상 영상에 3D 워핑 기법을 적용하여 가상 시점을 생성한다[비특허문헌 8]. 먼저 기준 영상 화소들의 실제 좌표를 산출하고 다시 원하는 가상 시점으로 재투영한다. 이때 기준 시점 영상에서는 존재하지 않는 가려짐(occlusion) 영역이 홀의 형태로 영상에 나타나게 된다. 본 발명에서는 영상의 연속성을 유지하면서 채워주는 블록기반의 기울기 탐색 기법을 적용한다. 먼저 홀 주변의 블록들의 기울기를 탐색하여 가장 높은 기울기 값을 가지고 있는 블록을 선정한다. 홀이 있는 블록을 참조할 가능성이 있기 때문에 블록의 신뢰도를 계산하여 블록의 최종 신뢰도를 산출하고 가장 높은 신뢰도를 가지는 블록의 중앙값을 이용하여 홀을 채운다.

먼저, 깊이영상 및 색상영상을 획득한다(S10).

앞서 설명한 바와 같이, 깊이 영상은 키넥트의 깊이 카메라(21), 구체적으로, 적외선 센서에 의하여 획득된다. 적외선 센서는 송출부와 수신부로 구성되어, 송출부에서 적외선이 송출되어 물체(10)에 부딪혀 반사되면, 수신부에서 반사된 적외선을 수신하여, 깊이정보를 획득한다. 획득된 깊이정보로부터 깊이 영상이 구성된다.

한편, 키넥트(Kinect)는 적외선 송출부와 수신부의 위치가 다르면서 생기는 폐색영역(occlusion region)으로 인하여 깊이 영상에 홀(hole)이 발생할 수 있다. 또한, 객체(또는 물체)의 경계면과 적외선 송출부가 수직일 경우에는 객체 경계 주변에 잡음도 발생한다. 따라서 각각의 깊이 영상을 동영상으로 연속 재생할 경우 경계 주변의 흔들림(flickering) 현상을 확인할 수 있다. 따라서 다시점 영상을 생성하기 위해서는 이러한 흔들림 현상을 반드시 제거하여야 한다. 이하 2개의 단계(S20, S30)에서와 같이, 이런 현상을 보정하여, 깊이 영상을 향상시켜주어야 한다.

색상 영상은 통상의 RGB 카메라 등에 의하여 획득된다.

다음으로, 깊이 영상에서 적외선 센서의 거리 차에 의한 홀을 채운다(S20).

키넥트(Kinect)는 적외선 송출부와 수신부의 위치가 다르기 때문에, 깊이 영상에서 폐색영역(occlusion region)이 생길 수 있다. 이로 인하여 깊이 영상에 홀(hole)이 발생할 수 있다.

도 3(a)는 키넥트에서 획득된 깊이 영상이다. 획득된 깊이 영상은 적외선 발광 장치(송출부)와 수광 센서간(수신부)의 거리 차로 인하여 홀이 발생할 수 있다. 또한 물체의 표면이 매끄러우면 적외선의 난반사가 적게 일어나 수광 센서로 레이저가 돌아오지 못하는 경우가 발생하며 이러한 경우 적외선 패턴을 감지할 수 없기 때문에 홀이 발생한다[비특허문헌 2].

본 발명에서는 도 3(b)와 같이 참조 영상의 경계를 보존하여 채우는 결합형 양방향 필터(joint bilateral filter)를 이용하여 홀을 채운다[비특허문헌 10]. 결합형 양방향 필터는 두 장의 영상에 대하여 인접 화소와의 거리 차, 경계를 보존하려는 참조 영상의 색상 차에 두 개의 가우시안 함수를 사용한다.

결합형 양방향 필터는 수학식 1과 수학식 2와 같이 정의된다.

[수학식 1]

[수학식 2]

여기서 D'_p는 깊이 영상 D와 명도(intensity) 영상 I에 결합형 양방향 필터를 적용하여 생성한 화소 값(화소 p의 화소값)이다.

는 화소 p와 화소 q 사이의 유클리디안 거리(Euclidean distance)에 따른 가우시안 가중치이고,

는 명도 영상 I의 p화소 값과 q화소 값 차에 따른 가우시안 가중치이다. Ip와 Iq는 각각 화소 p와 q의 명도 영상 I에서의 화소값이다. s는 영상에서 공간상의 모든 위치를 나타내며, σ_s와 σ_r는 필터를 적용할 범위이다. D_q는 화소 q에서의 깊이값이고, W_p는 가중치의 합을 1.0으로 만드는 정규화 인자이다.

명도 영상은 HSI 색상 모델에서 I 영상을 의미하며 수식 R + G + B / 3을 이용하여 구할 수 있다. 명도 영상을 색상 영상에 대응되는 것이므로, 색상 영상과 명도 영상을 혼용한다.

위의 수식을 여러 번 적용하면 홀이 채워진 깊이 영상을 획득할 수 있다.

다음으로, 깊이 영상의 흔들림 화소를 탐색하여 오류를 정정한다(S30).

키넥트의 깊이 영상은 객체의 경계 면과 적외선 송출부가 수직일 경우 객체 경계 주변에 잡음이 생긴다. 또한, 적외선 패턴을 이용한 감지방법의 오차로 인하여 깊이 값의 변동폭이 심하다. 따라서 연속해서 획득된 깊이 영상을 동영상으로 연속 재생할 경우 경계 주변의 흔들림 현상을 쉽게 관측할 수 있다. 결합형 양방향 필터는 각 영상에 독립적으로 적용되기 때문에 이러한 흔들림 현상을 해결할 수 없다.

도 4는 경계 흔들림 화소를 탐색하는 방법이다.

도 4에서 보는 바와 같이, 먼저 결합형 양방향 필터로 홀을 채운 N개의 깊이 영상의 평균 영상을 구한다. 수학식 3과 같이 이 영상과 현재 깊이 영상의 차이가 임계값 α₁(제1 임계값)보다 크다면 흔들림이나 움직임이 있는 경우이다.

또한 색상 영상을 I(intensity) 영상으로 변환한 후 평균을 구한다. 수학식 4와 같이 이 영상과 현재 명도(intensity) 영상의 차이가 임계값 α₂(제2 임계값)보다 작다면 경계 흔들림이 있는 화소로 최종 판단하게 된다. 경계 흔들림 화소는 N개의 깊이 영상의 같은 위치에서 가장 큰 값을 갖는 화소로 대체한다.

[수학식 3]

[수학식 4]

여기서 D_n은 결합형 양방향 필터를 적용하여 홀을 채운 n번째 깊이 영상의 깊이 값이고 I_n은 n번째 명도 영상의 명도 값(화소값)이다. D_N은 N번째 깊이 영상의 깊이 값을 나타내며 N번째란 현재 프레임의 영상을 의미한다.

수학식 3과 같이 모든 화소에 대하여 평균 깊이 영상의 화소 값(깊이 값)과 현재 깊이 영상 화소 값의 차이 값이 제1 임계값 α₁보다 크다면 흔들림이나 움직임이 있는 화소이다. 또한 색상 영상을 명도(intensity) 영상으로 변환한 후 평균을 구한다. 수학식 4와 같이 평균 명도 영상의 화소 값(명도값)과 현재 명도 영상의 화소 값(명도값)의 차이 값이 제2 임계값 α₂보다 작다면 움직임이 없는 화소로 판단하여 최종적으로 경계 흔들림이 있는 화소로 판단하게 된다.

평균 깊이 영상(평균 명도 영상)이란 입력받은 N장의 영상을 평균 낸 영상을 나타낸 것으로서,

또는

으로 나타낸다.

도 5는 현재 프레임과 이전 프레임의 차영상이다. 흔들림 화소를 보정한 후 차이가 많이 줄어든 것을 확인할 수 있다.

객체가 움직이는 사물일 경우에는 경계 흔들림이 있는 화소를 탐색하는 과정에서 오류가 발생하여 잔상(afterimage)이 발생할 수 있다. 잔상을 제거하기 위해서 깊이 영상에서 홀 영역과 주변 영역은 처리한 흔들림 화소 값으로 변환하고 나머지 영역은 원본 깊이 영상을 그대로 사용한다.

다음으로, 3D 워핑을 이용하여 가상시점 영상을 생성한다(S40).

3D 워핑은 카메라의 기하학적 구조를 기반으로 깊이 정보와 카메라의 내, 외부 파라미터를 이용하여 영상의 화소들에 대한 실세계 좌표(세계 좌표계; world coordinate)를 산출하고 다시 가상 시점의 영상으로 재투영하는 방법이다. 3D 실세계 좌표계와 카메라 좌표계의 관계식은 수학식 5와 같다.

[수학식 5]

여기서 x, y는 영상에 투영된 물체의 2차원 좌표이고, K는 카메라 내부 파라미터 (intrinsic parameter), R과 T는 각각 회전(rotation)과 이동(translation) 행렬을 나타내며, X, Y, Z는 영상에 투영된 물체의 실제 좌표를 의미한다.

가상 시점 영상을 생성하기 위해서는 영상의 실제 좌표 X, Y, Z를 산출해야 한다. 영상의 실제 좌표 X, Y는 수학식 5에 역 행렬과 전치 행렬을 적용하여 수학식 6과 같이 유도할 수 있다.

[수학식 6]

실제 좌표 Z를 산출하기 위해서는 수학식 7을 이용한다.

[수학식 7]

여기서 Z(i,j)는 좌표 (i,j)에서 카메라와 객체간의 거리이고, D(i,j)는 깊이 영상의 화소 값을 나타낸다. MinZ와 MaxZ는 Z가 가지는 최소, 최대값을 의미한다.

가상 시점의 좌표는 가상 시점 카메라의 내부, 외부 파라미터를 수학식 8에 적용하여 구할 수 있다.

[수학식 8]

여기서 x_v, y_v는 생성된 가상 시점 영상의 2차원 좌표를 의미하며, K_v, R_v, T_v는 각각 가상 시점 카메라의 내부 파라미터, 회전 행렬, 이동 벡터를 나타낸다[비특허문헌 3].

다음으로, 가상시점 영상의 후처리 단계로서, 가상시점 영상에서 가려짐 영역의 홀을 채운다(S50).

기준 시점 영상과 깊이 영상에 3D 워핑(3D warping) 발명을 적용하여 가상 시점 영상을 생성하면 도 6(c)와 같이 기준 시점 영상에서는 존재하지 않는 가려짐 영역(occlusion region)이 홀(hole)의 형태로 나타나게 된다[비특허문헌 3].

가려짐 영역을 채우는 방법은 크게 두 가지로 나눌 수 있다. 첫째는 워핑을 적용하기 전에 깊이 영상에 저역 통과 필터(low pass filter)를 적용하여 평활화(smoothing)함으로써 가려짐 영역을 줄이는 방법이고, 둘째는 워핑 발명을 적용한 후에 나타나는 가려짐 영역을 주변 색상 정보를 이용해 채우는 방법이다[비특허문헌 12].

본 발명에서는 깊이 영상의 화질을 향상시킬 때 적용한 결합형 양방향 필터가 이미 평활화 효과를 가지고 있기 때문에 워핑 발명 후 생성된 가상영상의 주변 정보를 이용하여 홀을 채우는 후처리 방법으로 처리한다.

도 7은 가상시점 영상의 후처리 단계(S50)를 설명하는 흐름도이다.

도 7에서 보는 바와 같이, 본 발명에 따른 가상시점 영상의 홀을 채우는 후처리 단계(S50)는 경계 잡음 제거 단계(S51), 블록 기반의 기울기 탐색 단계(S52), 블록의 신뢰도 검색 단계(S53), 및, 최적의 블록 탐색 및 홀 채움 단계(S54, S55)로 구성된다.

먼저, 3D 워핑에 의해 생성된 가상시점 영상에서 경계 잡음을 제거한다(S51). 경계 잡음 제거 단계(S51)는 다른 단계를 모두 설명한 후, 이하에서 설명한다.

다음으로, 블록 기반의 기울기 탐색 단계(S52)를 설명한다. 즉, 가상시점 영상의 홀들 각각에 대하여, 홀(이하 해당 홀) 주변의 블록을 대상으로 가장 큰 기울기를 탐색한다(S52).

주변 색상 정보를 이용하여 가려짐 영역을 채우는 기존의 방법들은 홀 주변의 영역들을 배경 영역과 객체 영역으로 분류한 후, 배경 영역에서 일부분을 복사하여 홀을 채운다. 가장 간단한 방식으로는 배경 영역이라 판단되는 영역이 시작되는 화소를 수평으로 복사하는 방식이 있다. 하지만 이러한 방식은 배경 영역이 특정한 구조이거나 수직의 윤곽선을 가질 경우 영상이 부자연스러워진다.

본 발명에서는 기존 배경과 홀을 채우는 영역의 연속성을 높이기 위해 블록 기반의 기울기 탐색 방법을 적용한다.

도 8은 홀을 중심으로 8개의 블록을 생성한 모습이다. 생성된 각각의 블록 내부에서 화살표 방향으로 기울기의 변화량을 조사하여 변화량이 큰 블록을 우선적으로 고려한다.

즉, 홀을 중심으로 8개의 블록에 대하여, 각각의 블록에서 홀 방향으로 기울기의 변화량을 구하고, 변화량이 가장 큰 블록의 기울기를 상기 홀의 블록기반 기울기로 선정한다.

수학식 9는 블록 B의 기울기 변화량을 구하는 식이다.

[수학식 9]

여기서 블록의 기울기 변화량인 △G_B는 블록의 중앙값인 I_C에서 블록 내부의 화소 값 I_ε와의 차를 구하고 평균값을 구한 것이다. K는 최대 기울기 변화량을 나타내며, 각 블록마다 정해진 상수이다.

최대 기울기 변화량이란 도 8의 화살표 방향의 기울기 변화량 중 최대값을 의미한다. 각 화살표의 최대 기울기 변화량은 510입니다. 다시 말해 화살표 방향으로 255, 0, 255의 화소 값을 가진다면 이때의 경우가 나올 수 있는 최대 기울기인 255 + 255 = 510가 됩니다. 기울기와 기울기 변화량은 다르지 않다.

가상시점 영상은 색상영상과 깊이영상 2개로 구성되어 있다. 기울기는 색상영상에 대해서만 구한다. 즉, 홀은 두 영상에 모두 존재하나, 여기서의 홀 채움 방법에서는 색상영상의 홀만 취급한다.

다음으로, 블록의 신뢰도 검색 단계(S53)를 설명한다. 즉, 해당 홀 주변의 블록을 대상으로, 각 블록 내의 홀 개수에 의한 신뢰도를 구한다(S53).

블록 기반의 기울기 탐색 방법은 가려짐 영역으로 인해 생기는 홀을 중심으로 주변의 블록들 중 가장 기울기 변화량이 큰 블록을 찾는다. 따라서 홀이 기울기가 큰 방향의 화소 값으로 채워지게 되어 영상의 연속성을 유지할 수 있다. 하지만 다수의 홀이 존재하는 블록을 참조하여 홀이 채워지지 않는 경우가 발생할 수 있다.

이러한 문제를 해결하기 위하여 블록의 신뢰도를 측정한다.

수학식 10은 블록의 신뢰도를 구하는 식이다.

[수학식 10]

여기서 블록의 신뢰도를 나타내는 C는 블록 내부의 홀 유무를 파악하는 D(q)의 합을 블록의 화소 수 n(B)로 나눈 값으로 표현된다.

앞서 기울기 탐색단계의 도 8의 홀 주변의 블록과, 여기서 말하는 블록은 같은 블록이다. 각각의 블록의 신뢰도를 모두 구한다. 도 8의 예에서, 총 8개의 블록의 신뢰도를 모두 구한다.

다음으로, 최적의 블록 탐색 및 홀 채움 단계(S54-S55)를 설명한다. 즉, 상기 해당 홀의 기울기와 제1 신뢰도를 곱하여 최종 신뢰도(이하 제2 신뢰도)를 구하고(S54), 가장 높은 제2 신뢰도를 갖는 블록의 중앙 화소 값으로 해당 홀의 화소값을 정한다(S55).

앞에서 구한 블록 기반의 기울기와 블록의 신뢰도를 곱하여 수학식 11과 같이 블록의 최종 신뢰도를 결정하게 된다.

[수학식 11]

여기서 T_n은 n번째 블록의 최종 신뢰도이고 n번째 블록의 기울기 변화량 △G_Bn과 신뢰도 C_n의 곱으로 표현된다. N(B)는 블록의 개수이다. 홀 화소를 중심으로 N(B)개 블록 각각의 최종 신뢰도를 구한 다음 가장 높은 신뢰도를 갖는 블록을 찾는다. 가장 높은 신뢰도를 갖는 블록의 중앙 화소 값을 홀 화소의 최종 값으로 결정하게 된다.

다음으로, 경계 잡음 제거 단계(S51)를 구체적으로 설명한다. 이 단계에서, 가상시점 영상의 경계 잡음을 홀에 포함시켜 제거한다(S51).

경계 잡음(boundary noise)은 도 9(a)와 같이 기준 시점에서 색상 영상의 경계와 그에 대응하는 깊이 영상의 경계가 일치하지 않기 때문에 발생하는 잡음이다[비특허문헌 3]. 경계 잡음을 제거하지 않으면 잘못된 색상 정보로 홀을 채우기 때문에 도 9(b)와 같이 자연스럽지 못한 결과를 얻게 된다.

본 발명에서는 홀에서 수평방향으로 화소의 값을 분석하여 값의 변동 폭이 큰 방향의 화소를 경계잡음으로 검출한다. 객체 영역을 경계 잡음으로 판단하는 경우를 배제하기 위해 홀이 아닌 화소가 연속적으로 이어지는 영역은 경계 잡음 검출 범위에서 제외시킨다.

검출된 경계 잡음은 홀 영역으로 포함시켜 제거하게 된다. 도 9(c)는 경계 잡음을 제거한 후 홀을 채운 영상이다. 도 9(b) 보다 자연스럽게 채워진 것을 확인 할 수 있다.

다음으로, 본 발명의 효과를 실험을 통해 구체적으로 설명한다.

본 발명에서는 키넥트(Kinect)에서 획득된 깊이 영상과 색상 영상을 실험 영상으로 사용한다. 본 발명의 흔들림(flickering) 화소 탐색의 프레임 수는 실험을 통해 가장 좋은 결과가 나온 다섯 장으로 하였고 블록기반의 기울기 탐색 방법의 블록 크기는 3×3으로 하였다. 본 발명의 성능을 기존의 선형 보간법(linear interpolation)[비특허문헌 13], 인페인팅(in-painting) 방법[비특허문헌 5, 6]과 비교하였다.

도 10은 흔들림 화소 보정 후 3D 워핑(3D warping) 방법을 적용하여 가상 시점 영상을 생성한 후 각각의 홀 채움 방법을 적용한 결과 영상이다. 기존의 방법들은 경계 잡음을 제거하지 않고 홀 채움을 하기 때문에 잘못된 색상 정보를 참조하여 홀 채움 영역이 부자연스러워진다. 또한 배경 영역과 객체영역을 구분하지 않기 때문에 영상에 흐려짐 현상(blurring effect)이 발생한다.

도 11은 연속되는 프레임에 각 방법을 적용한 영상이다. 가로는 순서대로 선형 보간법, 인페인팅(Telea), 인페인팅(Criminisi), 본 발명을 적용한 영상이고, 세로는 순서대로 1, 2, 3, 4번째 프레임을 각각 나타낸다. 본 발명에서는 경계잡음을 제거하였기 때문에 다른 방법들에 비하여 홀이 자연스럽게 채워진다. 또한, 경계 흔들림 화소도 처리하였기 때문에 흔들림 현상이 줄어든 것을 확인할 수 있다.

도 12는 각 방법들의 수행 속도를 나타내는 표이다. 도 12에서 보는 바와 같이 색상의 기울기를 탐색 방법으로 이용한 본 발명의 방법이 기존의 방법들에 비해 빠른 처리속도를 보인다. 기존의 몇몇 방법들에 비해 굴곡진 형태의 홀 채움에는 조금 떨어지는 성능을 보이나, 실시간 처리에 있어서 뛰어난 성능을 보임을 알 수 있다.

본 발명에서는 키넥트(Kinect)에서 획득된 깊이 영상과 색상 영상을 이용하여 실시간으로 가상 시점 영상을 생성하는 방법을 제안하였다. 키넥트의 깊이 영상은 카메라의 내외적인 문제로 인하여 홀(hole)이 생기고 경계 주변에 잡음이 생겨 동영상으로 재생할 경우 경계 흔들림(flickering) 현상이 발생한다. 본 발명에서는 경계 흔들림 화소를 찾아 처리함으로써 경계 흔들림 문제를 해결하였다. 하지만 움직이는 객체의 경우에는 경계 흔들림 화소 검색 과정에서 오류가 발생하여 잔상(afterimage)이 발생한다. 이러한 문제는 획득된 깊이 영상을 이용하여 움직이는 객체의 깊이 값을 보정하였다. 향상된 깊이 영상과 대응되는 색상 영상에 3D 워핑(3D warping) 방법을 적용하여 가상 시점을 생성한다. 가려짐 영역(occlusion region)에 의해 나타나는 홀은 블록 기반 기울기 탐색 과정과 블록의 신뢰도를 조합하여 블록의 최종 신뢰도를 산출한 뒤 블록의 중앙값으로 채운다.

실험을 통해 본 발명의 성능이 다른 방법보다 우수하다는 것을 확인하였다. 이러한 결과를 얻을 수 있었던 이유는 본 발명에서는 흔들림 화소를 보정하여 화면의 흔들림 현상을 줄이고, 후처리 방법에서 홀 채움 하기 전에 경계 잡음을 먼저 제거하여 잘못된 색상 정보를 사용하는 것을 방지하였고, 배경영역과 객체영역을 분리하여 효과적으로 홀을 채울 수 있었으며, 영상의 기울기 정보를 이용하여 영상의 연속성을 유지할 수 있었기 때문인 것으로 판단된다.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

10 : 물체 20 : 키넥트
21 : 깊이카메라 22 : 색상카메라
30 : 컴퓨터 단말 40 : 프로그램 시스템
61 : 깊이영상 62 : 색상영상

Claims

키넥트 기반 실시간 다시점 영상 생성 방법에 있어서,
(a) 깊이영상 및 색상영상을 획득하는 단계;
(b) 상기 깊이영상에서 결합형 양방향 필터를 이용하여 홀을 채우는 단계;
(c) 상기 깊이영상의 흔들림 화소를 탐색하여 보정하는 단계;
(d) 3D 워핑을 이용하여 가상시점 영상을 생성하는 단계; 및,
(e) 상기 가상시점 영상에서 가려짐 영역의 홀을 채우는 단계를 포함하고,
상기 (b)단계에서, 상기 결합형 양방향 필터는 두 장의 영상에 대하여 인접 화소와의 거리 차, 경계를 보존하려는 참조 영상의 색상 차에 두 개의 가우시안 함수를 사용하는 것을 특징으로 하는 키넥트 기반 실시간 다시점 영상 생성 방법.
제1항에 있어서,
상기 깊이영상은 키넥트에서 적외선에 의해 측정된 영상인 것을 특징으로 하는 키넥트 기반 실시간 다시점 영상 생성 방법.
삭제
제1항에 있어서,
상기 결합형 양방향 필터는 다음 수식 1에 의해 정의되는 것을 특징으로 하는 키넥트 기반 실시간 다시점 영상 생성 방법.
[수식 1]

단, D'_p는 깊이 영상 D와 명도 영상 I에 결합형 양방향 필터를 적용하여 생성한 화소 값이고,
는 화소 p와 화소 q 사이의 유클리디안 거리에 따른 가우시안 가중치이고,
는 명도 영상 I의 p화소 값과 q화소 값 차에 따른 가우시안 가중치이고, s는 영상에서 공간상의 모든 위치를 나타내고, σ_s와 σ_r는 필터를 적용할 범위이고, D_q는 화소 q에서의 깊이값이고, W_p는 가중치의 합을 1.0으로 만드는 정규화 인자임.
제1항에 있어서,
상기 (c)단계에서, 상기 깊이영상에서 홀을 채운 화소들의 깊이값 평균이 미리 정해진 제1 임계값 보다 크고, 상기 홀을 채운 화소들에 대응되는 명도 영상의 화소값들의 평균이 미리 정해진 제2 임계값보다 작으면, 흔들림 화소로 판단하는 것을 특징으로 하는 키넥트 기반 실시간 다시점 영상 생성 방법.
제1항에 있어서, 상기 (e)단계는,
(e1) 상기 가상시점 영상의 경계 잡음을 홀에 포함시켜 제거하는 단계;
(e2) 상기 가상시점 영상의 홀들 각각에 대하여, 해당 홀 주변의 블록을 대상으로 가장 큰 기울기를 탐색하는 단계;
(e3) 상기 해당 홀 주변의 블록을 대상으로, 각 블록 내의 홀 개수에 의한 신뢰도(이하 제1 신뢰도)를 구하는 단계;
(e4) 각 블록의 기울기와 제1 신뢰도를 곱하여 최종 신뢰도(이하 제2 신뢰도)를 구하는 단계;
(e5) 가장 높은 제2 신뢰도를 갖는 블록의 중앙 화소 값으로 상기 해당 홀의 화소값을 정하는 단계를 포함하는 것을 특징으로 하는 키넥트 기반 실시간 다시점 영상 생성 방법.
제6항에 있어서,
상기 (e2)단계에서, 상기 해당 홀을 중심으로 8개의 블록에 대하여, 각각의 블록에서 해당 홀의 방향으로 기울기의 변화량을 구하고, 변화량이 가장 큰 블록의 기울기를 상기 해당 홀의 블록기반 기울기로 선정하는 것을 특징으로 하는 키넥트 기반 실시간 다시점 영상 생성 방법.
제7항에 있어서,
상기 블록 B의 기울기 △G_B 는 [수식 2]에 의해 구하는 것을 특징으로 하는 키넥트 기반 실시간 다시점 영상 생성 방법.
[수식 2]

단, I_C는 블록 B의 중앙값, K는 최대 기울기 변화량.
제6항에 있어서,
상기 블록 B의 신뢰도 C는 [수식 3]에 의해 구하는 것을 특징으로 하는 키넥트 기반 실시간 다시점 영상 생성 방법.
[수식 3]

단, n(B)는 블록의 화소 수.