KR101348929B1

KR101348929B1 - 깊이 조절을 이용한 레이어 합성 기반 다시점 영상 생성 방법

Info

Publication number: KR101348929B1
Application number: KR1020120090553A
Authority: KR
Inventors: 서영호; 김동욱
Original assignee: 광운대학교 산학협력단
Priority date: 2012-08-20
Filing date: 2012-08-20
Publication date: 2014-01-09

Abstract

배경 영상에 각 객체 영상을 레이어별로 단계적으로 합성하고, 합성된 영상으로부터 다시점 영상을 생성하여 3차원 입체 콘텐츠를 제작하는 레이어 합성 기반 다시점 영상 생성 방법에 관한 것으로서, (a) 깊이 카메라를 통해 객체의 깊이 영상을 획득하여 저장하는 단계; (b) 배경의 깊이 영상을 입력받는 단계; (c) 저장된 객체의 깊이 영상을 가져와서, 상기 배경에 상기 객체가 놓이도록, 상기 객체의 깊이 영상의 깊이(이하 객체의 깊이)를 조절하는 단계; (d) 상기 배경의 깊이 영상에 상기 객체의 조절된 깊이 영상을 레이어로 합성하는 단계; 및, (f) 합성된 깊이 영상을 이용하여 다시점 영상을 생성하는 단계를 포함하는 구성을 마련한다.
상기와 같은 레이어 합성 기반 다시점 영상 생성 방법에 의하여, 깊이를 조절하여 각 객체 영상을 레이어별로 단계적으로 바로 합성하고 이로부터 다시점 영상을 생성함으로써, 정확하면서도 간단하게 다시점 영상을 생성할 수 있다.

Description

깊이 조절을 이용한 레이어 합성 기반 다시점 영상 생성 방법 { A Multiview Image Generation Method using Control of Layer-based Depth Image }

본 발명은 깊이영상 기반의 영상합성과 다시점 영상 생성 기술을 이용하여 3차원 입체 콘텐츠를 제작하는 레이어 합성 기반 다시점 영상 생성 방법에 관한 것이다.

특히, 본 발명은 깊이 카메라로부터 객체의 깊이 정보를 직접 획득하여 저장한 후, 다수의 객체의 깊이 영상에서 깊이를 조절하여 레이어별로 단계적으로 배경에 합성하고 이로부터 다시점 영상을 생성하는 레이어 합성 기반 다시점 영상 생성 방법에 관한 것이다.

3차원 영상의 구현은 인간의 양안을 모델링한 스테레오 영상을 이용한다[문헌 1,2]. 이 경우 입력 영상을 얻기 위해서는 양안에 해당하는 두 대의 카메라가 필요하다.

그러나 스테레오 영상은 특정한 시점에서의 입체 영상만을 보여준다. 따라서 다시점 3차원 영상을 얻기 위해서는 해당되는 시점의 수만큼 카메라가 필요하게 된다. 여러 대의 카메라를 사용할 경우에는 여러 대의 카메라를 동일한 조건으로 조정해주어야 하는 등의 복잡한 문제가 야기되고, 여러 대의 카메라 비용도 부담이 된다.

이러한 문제점들을 해결하면서 효율적으로 스테레오 영상 및 다시점 영상을 얻기 위한 방법으로 ATTEST에서는 깊이 카메라를 이용하는 방법을 제안하고 있다[문헌 3]. 깊이카메라를 이용하면 RGB 영상과 깊이정보에 해당하는 깊이영상을 획득할 수 있다. 최근 이러한 깊이정보를 이용한 스테레오 영상 합성 기법에 대한 연구가 활발히 진행되었다[문헌 4].

그러나 스테레오 영상의 경우는 단일 시점의 정보만을 제공하므로 보다 현실감 있는 3차원 입체 영상을 구현하기 위해서는 다시점의 영상이 필수적이다. 다시점 카메라 시스템은 여러 시점에서 영상을 동시에 획득하기 때문에 시점이 한 곳에 고정되는 스테레오 영상의 단점을 극복할 수 있다.

다시점 영상을 얻기 위한 방법으로는 다시점 카메라를 통해 직접 영상을 획득하는 방법과 깊이카메라를 이용하는 방법이 있다. 깊이카메라가 너무나 고가였고, 구입하기가 쉽지 않았기 때문에 이전에는 주로 다시점 카메라로 영상을 직접 획득하였다. 그러나 깊이카메라의 가격이 낮아지면서 점차 깊이카메라를 활용하는 사례가 늘어나고 있다. 다시점 카메라 시스템은 시점의 증가에 따라 데이터양이 방대해지는 단점이 있다. 그러나 깊이 카메라 시스템을 이용하면 획득된 깊이 정보를 변위(disparity) 정보로 변환하고 주어진 시점에 따른 적절한 영상을 합성할 수 있다. 최근까지 이와 관련하여 깊이정보의 처리 및 스테레오 영상 합성 기법에 대한 연구가 진행되었다[문헌 3].

앞서 설명한 전자공학적인 영상처리분야 외에 3차원 입체 영상에 대한 기술은 컴퓨터 그래픽스나 비전분야에서 많은 연구 개발이 이루어져 왔다. 컴퓨터 그래픽스 분야는 환경 내 객체의 기하학 및 질감의 속성을 모델링하는 정교한 CAD(Computer Aided Design) 시스템을 개발하거나 물리적으로 빛의 전파과정을 재구성하는 시스템이 개발되어 왔다.

그러나 이러한 접근 방법들은 실제 세계에서 구해진 객체의 기하정보가 복잡하며, 조명효과를 모델링하기가 어려워 사실적인 영상을 생성하기가 매우 어렵다는 단점이 있다. 컴퓨터 비전 분야는 2차원 영상으로부터 3차원 구조를 복원하고, 실제 영상을 이용하여 실제 세계의 조명조건 하에서 객체의 재질 특성을 직접 획득하는 연구가 주로 이루어져 왔다. 특히 영상으로부터 객체 또는 장면의 3차원 구조를 복원하는 연구는 기존의 로봇 비전이나 머신 비전 시스템에서 실제 장면의 구조나 객체의 모양을 복원하거나 인식하는데 주로 사용되었다.

3차원 깊이 정보 획득 기술에 대하여 보다 구체적으로 알아본다.

3차원 깊이 정보를 모델링하는 기술을 분류하는 방법은 크게 취득 방법과 대상에 따라 나누어진다. 모델 취득 방법은 능동 및 수동적인 방법으로 나눌 수 있다[문헌 6]. 능동적인 방법은 주로 능동 조사 기법을 많이 이용한다. 별도의 하드웨어를 사용하는 것이 보통이며, 수동적인 방법보다 신뢰성 높은 깊이 정보를 제공한다. 이들에는 레인지 스캐너[문헌 7], 구조 광패턴[문헌 8], 깊이 카메라[문헌 9]를 이용한 방법들이 있다. 수동적인 방법은 주로 Shape from X 에 기반을 둔 방법이 대부분이며, X의 종류에 따라 양안식 스테레오 영상을 이용하는 스테레오 정합[문헌 10]과 실루엣 형상[문헌 11], 복셀 컬러링[문헌 12], 카메라 이동에 의해 촬영된 여러 시점의 정적 객체에 대한 3차원 정보를 계산하는 움직임 기반 모양 추정 방법[문헌 13], 초점을 달리하여 촬영한 여러 장의 영상을 조합하여 3차원 정보를 계산하는 초점 변화 기반 방법[문헌 14], 음영 정보의 추정 방법[문헌 15] 등이 있다. 최근에는 능동 기법과 수동 기법의 장단점을 보완하기 위하여 2개 이상의 기법을 결합한 복합적 기법에 대한 연구도 많이 이루어지고 있다[문헌 16].

모델링 대상에 따라 모델링 방법을 분류하면 객체 모델링과 배경/장면 모델링으로 나눌 수 있다. 객체 모델링 방법에는 레인지 스캐너를 이용한 방법, 실루엣 기반 방법, 복셀 컬러링, 객체 주위 360도 범위 안에 원형으로 배치하여 모델링하는 다시점 스테레오 정합 방법[문헌 17] 등이 있으며, 배경 또는 장면 모델링 기법에는 스테레오 정합, 180도 범위 내에서 카메라를 배치하는 다시점 스테레오, 초점 변화 기반 방법이 많이 사용되고 있다. 또한 시간에 따라 모델링할 객체나 배경, 장면의 모습 또는 위치 변화 여부에 따라 정적 모델링과 동적 모델링으로 나눌 수 있다. 정적 모델링의 경우에는 위치 변화나 모습 변화가 없는 배경이나 객체의 모델링에 해당하며 대부분의 모델링 방법이 적용 가능하다. 그러나 동적 모델링의 경우에는 시간에 따라 객체나 배경의 모습이나 위치가 변하므로, 복셀 컬러링, 실루엣 기반 방법, 움직임 기반 모양 추정 방법, 레인지 스캐너, 구조화된 광선 패턴 방법 등은 적용이 불가능하다. 동적 객체 모델링의 특별한 경우로서 인체 모델링과 얼굴 모델링이 있는데, 이들은 모두 각 시간마다의 3차원 기하정보를 복원해야 하며, 또한 애니메이션을 위하여 움직임 파라메터의 추출이 필요하다.

앞서 설명한 것과 같이 능동적 3차원 모델링 기법에는 3차원 거리 스캐너를 이용한 방법, 구조화된 광선 패턴을 이용한 방법, 깊이 카메라를 이용한 방법 등이 있는데, 실시간으로 3차원 정보를 획득가능하며 정밀하게 깊이 정보를 있을 수 있다는 장점이 있으나, 장비의 가격이 비교적 고가이고 깊이 카메라를 제외하고는 동적 객체나 장면의 모델링이 불가능하다는 단점이 있다.

먼저, 3차원 거리 스캐너를 이용한 방법를 알아본다.

이 방법은 3차원 거리 스캐너를 대상 객체나 장면 주위에 배치하고, 위치를 바꾸어 가면서 여러 방향에서 거리 영상을 얻고, 이를 3차원 공간상에서 통합함으로써 전역적인 3차원 모델을 얻는 방법이다. 이 때, 객체를 스캐닝 할 경우에는 객체 주위로 360도 회전하면서 거리 영상을 얻게 되며, 장면의 경우에는 스캐너 장비를 자율 이동 로봇에 탑재하고, 로봇을 획득할 실험실 내부 등 공간을 돌아다니면서 거리 영상을 얻고, 이들 데이터를 정합함으로써 3차원 모델을 얻게 된다. 3차원 거리 스캐너의 대표적인 제품들로는 미국의 Cyberware, 영국의 Wicks & Wilson사의 제품들이 있는데, 고가이며 보통의 비디오 프레임 비율로 움직이는 3차원 장면을 획득하는 것은 불가능하다. 취득된 거리 영상을 이용한 객체 모델링 기법으로는 Wheeler 등이 제안한 기법이 있으며[문헌 7], 실험실 내부 장면을 모델링 한 기법으로는 Sequeria기법[문헌 18]과 Dias[문헌 19]의 기법 등이 있다. 그러나 이러한 방법들은 여러 방향에서 거리 영상을 동시에 얻을 수 없기 때문에 정지된 객체나 배경/장면의 모델링에만 사용할 수 있다는 단점이 있다.

다음으로, 광선 패턴 방법을 설명한다.

구조화된 광선 패턴을 이용한 방법은 전통적인 스테레오 비전에서 필요한 스테레오 영상 간의 대응점 계산 정확도를 향상시키기 위해 제안된 방법인데, 빔 프로젝터를 통하여 일정한 규칙을 가지는 패턴을 3차원 복원하고자 하는 객체 또는 장면에 투영하고 이를 카메라로 촬영한 다음, 이 영상을 이용하여 대응 관계를 구하는 방법이다. 이와 관련된 최근 연구로는 Zhang[문헌 9] 및 Chang[문헌 10] 연구가 있다. 이 방법은 대응점의 정확도를 향상시킬 수 있다는 장점이 있으나, 원래의 컬러나 텍스처 정보를 빔 패턴에 의해 잃어버려 컬러 정보를 별도로 취득해야 하는 단점이 있으므로, 이 기법 역시 정적 객체나 장면의 3차원 모델 생성에 한정된다.

마지작으로, 깊이 카메라를 이용한 방법을 설명한다.

최근 주로 방송에서의 응용을 목적으로 깊이 정보를 실시간 동영상으로 얻을 수 있는 깊이 카메라가 발표되었는데, 대표적인 예가 이스라엘 3DV systems사의 Z-cam[문헌 11]과 일본 NHK사의 Axi-vision 카메라[문헌 12]가 있다. 도 1(a)와 (b)는 각각 3DV systems사의 Z-cam과 일본 NHK 사의 Axi-visionM 카메라을 나타내고, 도 1(c)는 MESA Imaging사의 SR4000[문헌 20]으로 본 논문에서는 이 깊이 카메라를 사용하고 있다. 도 1(d)는 최근 많이 사용되고 있는 마이크로소프트사의 Kinect[문헌 21]이다. 이러한 깊이 카메라는 레이저나 적외선을 객체나 대상 영역에 비추어 되돌아오는 광선을 취득하여 거리 정보를 계산하게 된다. 이들 카메라는 고해상도의 영상과 각 화소에 일대일로 대응하는 깊이 정보를 얻을 수 있다는 장점이 있어 동적 객체나 장면의 3차원 모델 생성에 응용할 수 있다는 장점이 있다. 그러나 IR센서의 한계로 인해 주로 실내 스튜디오 환경에 적합하고, 취득하고자 하는 거리의 범위에 제안이 있다. 이밖에 실험실 수준에서 발표된 깊이 카메라로는 Symbol Technologies사의 3D Camera[문헌 22]와 Purdue대학의 Model Camera[문헌 23]가 있다.

따라서 고해상도의 영상과 각 화소에 일대일로 대응하는 깊이 정보를 얻을 수 있는 깊이 카메라와 RGB 카메라를 동시에 이용하여, 객체들에 대한 입체 정보를 획득한 후에 이를 이용하여 영상을 합성하고, 다시점 영상[문헌 4][문헌 5]을 생성하는 3차원 입체 콘텐츠 제작 방법이 필요하다.

[문헌 1] R. Franich, R. Lagendijk and R. Horst, Reference model for hardware demonstrator implementation, RACE DISTIMA deliverable 45/TUD/IT/DS/B/003/bl, October, 1992 [문헌 2] A. Redert, et al., "ATTEST : Advanced Three-Dimensional Television System Technologies", 3D Data Processing Visualization and Transmission, 2002. First International Symposium, pp.313-319, Jun, 2002 [문헌 3] C. Fehn, "Depth-Image-Based Rendering (DIBR), Compression and Transmission for a New Approach on 3D-TV", In Proceedings of SPIE Stereoscopic Displays and Virtual Reality Systems XI, pages 93-104, San Jose, CA, USA, January 2004 [문헌 4] Muller, K.; Merkle, P.; Wiegand, T.; , "3-D Video Representation Using Depth Maps," Proceedings of the IEEE , vol.99, no.4, pp.643-656, April 2011 [문헌 5] Eun-Kyung Lee; Yo-Sung Ho; , "Generation of multi-view video using a fusion camera system for 3D displays," Consumer Electronics, IEEE Transactions on , vol.56, no.4, pp.2797-2805, November 2010 [문헌 6] P. Dias, V. Sequeira, F. Vaz, and J.G.M. Gonㅷalves, "Registration and Fusion of Intensity and Range Data for 3D modeling of Real World Scenes," Proceedings of 3DIM'03, Oct., 2003, pp. 418-426. [문헌 7] M.D. Wheeler, Y. Sato, and K. Ikeuchi, "Consensus surfaces for modeling 3D objects from multiple range images," Proceedings of DARPA Image Understanding Workshop, 1997, pp.1229-1236. [문헌 8] L. Zhang, B. Curless, and S. M. Seitz, "Rapid Shape Acquisition Using Color Structured Light and Multi-pass Dynamic Programming," Proceedings of 3DPVT'02, June, 2002, pp.24 -36. [문헌 9] http://www.3dvsystems.com/products/zcam.html#spec [문헌 10] R. Koch, "Dynamic 3D Scene Analysis through Synthesis Feedback Control," IEEE Trans. Pattern Analysis Machine Intelligence, Special issue on analysis and synthesis, Vol.15, No.6, June, 1993, pp.556-568. [문헌 11] W. Matusik, C. Buehler, R. Raskar, S. Gortler, and L. McMillan, "Image-based visual hulls," Proceedings of SIGRAPH 2000, 2000, pp.369-374. [문헌 12] S. Seitz, C. Dyer, "Photorealistic scene reconstruction by voxel coloring," International Journal of Computer Vision, Vol.35, No.2, 1999, pp.151-173. [문헌 13] M. Pollefeys, and R. Koch, "Visual Modeling with a Hand-Held Camera," International Journal of Computer Vision, Apr, 2004, pp.207-232. [문헌 14] Y. Xiong, and S. A. Shafer, "Depth from Focusing and Defocusing," Tech. Report, CMU-RI-TR-93-07, Robotics Institute, Carnegie Mellon University, Mar, 1993. [문헌 15] R. Zhang, P. Tsai, J.E. Cryer and Mubarak Shah, "Shape from Shading: A Survey," IEEE Trans. on Pattern Anal.ysis and Machine Intelligence, Vol.PAMI-21, No.8, Aug., 1999, pp.690-706. [문헌 16] P. Dias, V. Sequeira, F. Vaz, J.G.M. Goncalves, "Combining intensity and range images for 3D modeling," Proceedings of Image Processing 2003, Vol.1, Sept., 2003, pp.417-20. [문헌 17] H.Y. Lin, M. Subbarao, and S. Y. Park, "Complete 3D Model Reconstruction from Multiple Views," Proceedings of SPIE Machine Vision and Three-Dimensional Imaging Systems for Inspection and Metrology II, Vol.4657, Oct., 2001, pp.29-38. [문헌 18] V. Sequeira, J.G.M. Gonㅷalves, and M. I. Ribeiro, "3D scene modeling from multiple range views," Proc. IEEE Workshop on Physics-Based Modeling in Computer Vision, Vol.2598, Philadelphia, USA, Oct, 1995, pp.114-127. [문헌 19] P. Dias, V. Sequeira, J.G.M. Gonㅷalves, F. Vaz, "Automatic registration of laser and color intensity images for 3D reconstruction," Robotics and Autonomous Systems, Vol.39, 2002, pp.157-168. [문헌 20] http://www.mesa-imaging.ch/ [문헌 21] http://www.xbox.com/ko-KR/Kinect/Home [문헌 22] V. Popescu, E. Sacks, and G. Bahmutov, "The Model Camera: a Hand-Held Device for Interactive Modeling," Proceedings of 3DIM'03, Oct., 2003, pp.285- 292. [문헌 23] A.V. Strat and M. M. Oliveira, "A Point-and-Shoot Color 3D Camera," Proceedings of 3DIM'03, Oct., 2003, pp.483- 490.

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 깊이 카메라로부터 객체의 깊이 정보를 직접 획득하여 저장한 후, 다수의 객체의 깊이 영상에서 깊이를 조절하여 레이어별로 단계적으로 배경에 합성하고 이로부터 다시점 영상을 생성하는 레이어 합성 기반 다시점 영상 생성 방법을 제공하는 것이다.

상기 목적을 달성하기 위해 본 발명은 배경 영상에 객체 영상을 레이어로 합성하는 레이어 합성 기반 다시점 영상 생성 방법에 관한 것으로서, (a) 깊이 카메라를 통해 객체의 깊이 영상을 획득하여 저장하는 단계; (b) 배경의 깊이 영상을 입력받는 단계; (c) 저장된 객체의 깊이 영상을 가져와서, 상기 배경에 상기 객체가 놓이도록, 상기 객체의 깊이 영상의 깊이(이하 객체의 깊이)를 조절하는 단계; (d) 상기 배경의 깊이 영상에 상기 객체의 조절된 깊이 영상을 레이어로 합성하는 단계; 및, (f) 합성된 깊이 영상을 이용하여 다시점 영상을 생성하는 단계를 포함하는 특징으로 한다.

또, 본 발명은 레이어 합성 기반 다시점 영상 생성 방법에 있어서, 상기 방법은, (e) 상기 (d)단계 이후에 합성할 객체 영상이 더 있는 경우, 레이어로 합성한 영상을 배경 영상으로 하여, 상기 (c)단계 및 (d)단계를 반복하는 단계를 더 포함하는 것을 특징으로 한다.

또, 본 발명은 레이어 합성 기반 다시점 영상 생성 방법에 있어서, 상기 (c)단계에서, 상기 객체의 경계 깊이에 이동거리를 더하면 상기 배경에서 상기 객체의 경계에 대응되는 부분의 깊이보다 큰 값을 갖게 하는 이동거리를 구하고, 상기 이동거리로 상기 객체의 깊이를 조절하는 것을 특징으로 한다.

또, 본 발명은 레이어 합성 기반 다시점 영상 생성 방법에 있어서, 상기 (c)단계에서, 상기 객체의 모든 경계 화소에 대하여, 상기 객체의 경계 화소의 깊이값에서 상기 객체의 경계 화소에 대응되는 배경 깊이 영상의 화소(이하 배경의 경계 화소)의 깊이값을 감산한 값(이하 감산값)을 구하고, 상기 감산값 중 최소값을 상기 이동거리로 정하는 것을 특징으로 한다.

또, 본 발명은 레이어 합성 기반 다시점 영상 생성 방법에 있어서, 상기 (c)단계에서, 상기 객체의 깊이 영상 I(x,y)를 다음 [수식 1]에 의해 조절하여, 변경된 깊이 영상 I_mod(x,y)를 구하는 것을 특징으로 한다.

[수식 1]

단, α는 이동시키고자 하는 거리이고,

x, y는 영상의 좌표임.

또, 본 발명은 상기 깊이 영상은 각 영상의 화소의 깊이 외에도 색상을 포함하여, 상기 화소의 색상에 대하여도 레이어로 합성되는 것을 특징으로 한다.

또, 본 발명은 레이어 합성 기반 다시점 영상 생성 방법에 있어서, 상기 (e)단계에서, 합성된 영상에 3차원 워핑(3 dimensional warping)를 적용하여 다시점 영상을 생성하는 것을 특징으로 한다.

상술한 바와 같이, 본 발명에 따른 레이어 합성 기반 다시점 영상 생성 방법에 의하면, 깊이를 조절하여 각 객체 영상을 레이어별로 단계적으로 바로 합성하고 이로부터 다시점 영상을 생성함으로써, 정확하면서도 간단하게 다시점 영상을 생성할 수 있는 효과가 얻어진다.

특히, 본 발명에 따른 레이어 합성 기반 다시점 영상 생성 방법에 의하면, 다시점 카메라로 직접 영상을 획득하는 방법에 비하여, 스테레오 정합을 위한 연산을 생략할 수 있고 시점이 증가하여도 데이터양이 증대하지 않기 때문에, 빠르고 효율적으로 다시점 영상을 생성할 수 있는 효과가 얻어진다.

도 1은 종래의 깊이 카메라를 예시한 도면이다.
도 2는 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 레이어 합성 기반 다시점 영상 생성 방법을 설명하는 흐름도이다.
도 4 및 도 5는 본 발명에 따른 깊이 영상에서의 깊이 제어의 일례를 도시한 것이다.
도 6은 본 발명에 따른 배경 영상 및 객체 영상의 일례를 도시한 것이다.
도 7은 본 발명에 따른 배경 영상에 객체 영상을 합성한 영상의 일례이다.
도 8은 본 발명에 따른 객체 영상의 경계부분에서 객체의 깊이에서 배경의 깊이를 감산하는 일례를 도시한 것이다.
도 9은 본 발명에 따른 영상 합성의 방법을 예시한 도면이다.
도 10은 본 발명에 따른 다시점 영상을 생성하는 방법을 예시한 도면이다.
도 11은 본 발명의 실험에 따른 RGB 영상의 왜곡 보정 전후의 예시를 도시한 것이다.
도 12는 본 발명의 실험에 따른 깊이 영상의 왜곡 보정 전후의 예시를 도시한 것이다.
도 13은 본 발명의 실험에 따른 레이어별 객체의 영상을 도시한 것이다.
도 14은 본 발명의 실험에 따른 왜곡 보정된 레이어 합성 영상의 예시들이다.
도 15는 본 발명의 실험에 따른 2개 객체의 RGB 영상 및 깊이 영상과, 상기 영상들을 합한 합성된 RGB 영상 및 깊이 영상의 예를 도시한 것이다.
도 16과 도 17는 본 발명의 실험에 따른 다시점 영상의 예들이다.
도 18은 본 발명의 일실시예에 따른 레이어 합성 기반 다시점 영상 생성 장치에 대한 블록도이다.

이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.

또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.

먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 2를 참조하여 설명한다.

도 2에서 보는 바와 같이, 본 발명에 따른 레이어 합성 기반 다시점 영상 생성 방법은 객체 영상(11) 및 배경 영상(12)의 깊이 영상을 입력받고, 특히 객체의 깊이 영상을 획득하여 저장해두고, 상기 객체의 깊이 영상들을 레이어별로 단계적으로 배경 영상에 합성하여 다시점 영상을 생성하는 컴퓨터 단말(20) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 상기 다시점 영상 생성 방법은 프로그램으로 구성되어 컴퓨터 단말(20)에 설치되어 실행될 수 있다. 컴퓨터 단말(20)에 설치된 프로그램은 하나의 프로그램 시스템(30)과 같이 동작할 수 있다.

한편, 다른 실시예로서, 상기 다시점 영상 생성 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 깊이 영상의 합성을 통해 다시점 영상의 생성 등만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 다시점 영상 생성 장치라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.

다음으로, 본 발명의 일실시예에 따른 레이어 합성 기반 다시점 영상 생성 방법을 도 3을 참조하여 보다 구체적으로 설명한다.

도 3에서 보는 바와 같이, 본 발명에 따른 레이어 합성 기반 다시점 영상 생성 방법은 (a) 객체의 깊이 영상 획득 단계(S10); (b) 배경의 깊이영상 입력 단계(S20); (c) 객체의 깊이 영상의 깊이 조절 단계(S30); (d) 조절된 깊이 영상을 배경 영상과 합성하는 단계(S40); 및, (f) 다시점 영상 생성 단계(S60)로 구성된다. 추가적으로, (e) 상기 (d)단계 이후에 추가할 객체가 있는 경우 (c)단계부터 다시 반복하는 단계(S50)를 더 추가하여 구성될 수 있다.

일반적으로 깊이 정보는 스테레오 영상을 획득한 후에 스테레오 정합 등의 기법을 이용하여 변위를 구한 후에 이 값을 변환하여 사용한다. 그러나 스테레오 정합을 이용하여 구한 변위는 아무리 좋은 알고리즘을 사용한다고 해도 원래의 객체 및 장면이 가지고 있는 물리적인 깊이감을 정밀하게 찾아낼 수는 없다. 따라서 본 발명에서는 변위를 이용하여 깊이감을 조절하기 보다는 직접 깊이를 획득하는 방법을 이용한다.

도 3과 같이, 깊이 카메라와 RGB 카메라를 이용하여 객체 혹은 장면을 촬영한다. 즉, 깊이 카메라로부터 깊이영상을 획득하고 RGB 카메라로부터 RGB 영상을 획득한다. 획득된 깊이영상은 목적에 따라서 깊이값을 조절하고 조절된 깊이영상과 RGB 영상을 합성하여 새로운 영상을 만들어낸다. 이렇게 합성된 영상은 3차원 워핑(3 dimensional warping)를 이용하여 다시점 영상을 생성한다.

먼저, 객체의 깊이 영상 획득 단계(S10)를 설명한다. 즉, 깊이 카메라를 통해 객체의 깊이 영상을 획득하여 저장한다(S10).

앞에서 설명한 것과 같이 깊이를 직접 찾는 방법은 여러 가지가 있을 수 있는데 본 발명에서는 깊이카메라를 이용하여 깊이정보를 찾는 방법을 선택하였다. 깊이 카메라는 Mesa-imaging사의 TOF(Time of flight) 방식으로 깊이를 획득하는 SR4000을 사용하였다.

먼저 깊이 카메라와 RGB 카메라를 이용하여 객체 혹은 장면을 촬영한다. 두 대의 카메라는 위치적인 왜곡이 발생하지 않도록 최대한 물리적인 파라미터를 일치시키도록 한다.

즉, RGB 카메라를 통해 객체의 RGB 영상도 획득하여 저장한다.

깊이 카메라를 통해 객체의 깊이 영상을 획득할 때, 영상 내에 객체의 영역을 추출한다. 상기 RGB 영상 중에서 상기 추출된 객체의 영역에 대응되는 영역만 추출하여, 상기 객체의 RGB 영상을 획득한다.

앞서 설명에서 촬영된 전체 영상을 저장하는 것이 아니라, 객체에 해당하는 영역에서의 깊이 영상과 RGB 영상을 획득한다. 즉, 객체의 깊이 영상 및 RGB 영상만을 촬영된 영상에서 분리하여, 데이터베이스화하여 저장해둔다.

깊이 영상은 깊이값만을, RGB 영상(또는 색상 영상)은 화소의 색상값만 가지나, 이하에서 설명의 편의를 위해, 깊이 영상에 각 영상의 화소 깊이 외에도 색상값을 포함하는 것으로 설명한다. 즉, 바람직하게는, 깊이 영상은 2차원 평면(또는 좌표) 상에서 깊이값과 색상값(또는 RGB값)을 갖는다.

다음으로, 배경의 깊이 영상을 입력받는 단계(S20)를 설명한다.

배경의 깊이 영상은 영상 화면 전체의 좌표에 대하여 모든 깊이값 또는 색상값(예를 들어 RGB값)을 갖는다. 이에 반해, 앞서 설명한 객체의 깊이 영상은 원래 영상 화면의 일부 영역의 좌표에 대한 깊이값과 색상값을 갖는다.

배경의 깊이 영상도 미리 저장해둔 후, 저장된 배경 영상 중 하나를 선택하여 가져올 수 있다.

다음으로, 객체의 깊이 영상의 깊이 조절 단계(S30)를 설명한다. 즉, 저장된 객체의 깊이 영상을 가져와서, 상기 배경에 상기 객체가 놓이도록, 상기 객체의 깊이 영상의 깊이(이하 객체의 깊이)를 조절한다(S30).

깊이 정보를 제어하는 방법은 도 4와 같다. 도 4(a)와 같이 원래 촬영을 통해 획득한 깊이 정보가 있다면 이 깊이 정보를 조절하여 도 4(b) 혹은 도 4(c)와 같은 위치에 객체가 존재하는 것과 같이 깊이 정보에 일정한 값(이동시킬 거리, 이동거리)을 더해주거나 빼주면 된다. 좌우로의 이동은 일반적인 콘텐츠 합성에서 기본적으로 지원되는 것이다. 본 발명의 초점은 최종적으로 3차원 입체 콘텐츠를 만들었을 때 표현될 수 있는 거리의 정보를 깊이값을 조절함으로써 제어할 수 있다는 것이다.

즉, 깊이영상은 0에서 255의 값을 갖는 그레이 영상 I(x,y)에 해당한다. 촬영지점에서 가까운 위치에 있다면 큰 값을 가지고, 먼 위치에 있다면 작은 값을 갖는다. 따라서 깊이영상을 이용하여 물체의 위치를 이동시키는 것은 [수학식 1]과 같이 정의할 수 있다.

[수학식 1]

[수학식 1]에서 I_mod(x,y)는 변경된 깊이 영상을 의미하고, α는 이동시키고자 하는 거리(또는 이동거리)에 해당한다. x, y는 영상의 좌표를 의미한다.

깊이정보를 변형한 예를 도 5에 나타냈다. 도 5(b)는 원래의 깊이영상에 해당한다. 카메라를 기준으로 객체를 가까이 위치시키고 싶다면 일정한 값을 더해주거나 스케일링해줌으로써 도 5(a)와 같은 깊이정보로 변형할 수 있다. 또한 카메라 위치를 기준으로 객체를 더 멀리 위치시키고 싶다면 도 5(c)와 같이 원래의 깊이정보보다 더 작은 값으로 만들어줌으로써 그러한 결과를 얻을 수 있다. 도 5에서 왼편은 객체의 깊이영상에 해당하고 오른쪽은 깊이영상의 히스토그램을 나타낸다.

이때, 이동거리를 구하는 방법을 도 6 내지 도 8의 예를 참조하여 알아본다.

도 6의 예는 (a)에서 배경의 깊이 영상을 나타내고, (b)에서 객체의 깊이 영상을 나타낸다. (a)와 (b)에서, 점선으로 표시된 부분이 화면 전체를 표시하고, 세로축은 깊이를 표시한다.

도 6(a)의 배경의 깊이 영상에 도 6(b)의 객체의 깊이 영상을 바로 합성하면, 도 7(a)와 같은 합성 영상을 구하게 된다. 그러나 이때, 도 7(a)와 같이, 배경(A)과 객체(B)는 깊이가 서로 겹치게 된다. 따라서 배경(A)과 객체(B)가 서로 겹치지 않게 하기 위하여, 객체(B)를 위로(또는 앞으로) 올려주어야 한다. 이때의 이동거리는 도 7(b)의 화살표 크기 만큼에 해당된다.

즉, 객체의 경계 깊이에 이동거리를 더하면 상기 배경에서 상기 객체의 경계에 대응되는 부분의 깊이보다 큰 값을 갖게 하는 이동거리를 구하고, 상기 이동거리로 상기 객체의 깊이를 조절한다.

특히, 상기 객체의 모든 경계 화소에 대하여, 상기 객체의 경계 화소의 깊이값에서 상기 객체의 경계 화소에 대응되는 배경 깊이 영상의 화소(이하 배경의 경계 화소)의 깊이값을 감산한 값(이하 감산값)을 구하고, 상기 감산값 중 최소값을 상기 이동거리로 정한다.

도 7(a)에서 배경과 객체가 겹치는 부분을 확대하면 도 8(a)와 같다.

도 8(a)의 예에서, 객체의 경계 부분은 D에서 G까지의 부분이다. 상기 경계 부분의 각 화소에 대하여, 객체의 깊이에서 배경 깊이를 감산하면, 감산한 값은 도 8(b)와 같이 계산된다.

도 8(b)에서 보는 바와 같이, 객체의 경계 D 부분에서 최소값을 가지고, 최소값은 -△DE 이다. 경계 F 부분에서는 배경과 객체의 깊이가 같기 때문에, 감산값은 0이고, 경계 G 부분에서는 객체가 더 앞으로 나와 있기 때문에, 감산값은 양의 값을 갖는다.

따라서 이동거리는 최소값 -△DE 보다 큰 경우에 한하여, 객체와 배경이 깊이에 의해 겹쳐지지 않는다. 바람직하게는, 이동거리를 최소값 -△DE로 정한다. 객체가 배경보다 높이 떠서 분리된 경우에는 이동거리가 최소값 -△DE 보다 크게 정할 수 있다.

다음으로, 배경 영상에 객체 영상을 합성하는 단계(S40)를 설명한다. 즉, 배경의 깊이 영상에 상기 객체의 조절된 깊이 영상을 레이어로 합성한다(S40). 레이어로 합성한다는 의미는 배경 영상에서 객체에 대응되는 영역을 제외하고 제외된 영역에 객체 영상을 덮어씌우는 것을 말한다.

도 9에 객체별로 촬영된 영상을 배경 영상에 하나의 영상으로 합성(image synthesis)하는 방법에 대해서 나타냈다. 도 9(a)는 배경 영상이고, 도 9(b)는 객체에 대해서 깊이 정보를 조절하여 공간적으로 위치(좌, 우, 거리)를 이동시킨 영상에 해당한다. 도 9(c)는 배경 영상에 객체를 하나의 영상으로 표현한 것을 나타낸다.

도 9의 영상 합성과정은 [수학식 2]로 표현될 수 있다. [수학식 2]에서 I_total(x,y)은 합성된 깊이영상을 나타내고, I₁ 는 배경 레이어에 해당하고 I₂ 는 객체 레이어(깊이영상)에 해당한다. 그리고 α와 β는 각 레이어에 해당하는 깊이영상의 (깊이에 대한)이동 거리에 해당한다.

[수학식 2]

단, x, y는 영상의 좌표를 의미한다.

a₁, b₁(또는 a₂, b₂)는 배경의 영상 I₁(또는 객체의 영상 I₂)을 x좌표 및 y좌표로 좌우상하로 이동하는 거리를 의미한다.

이때, 바람직하게는, 배경 영상 I₁에서 객체에 대응되는 영역을 제외하고 제외된 영역에 객체 영상 I₂을 덮어쓴다.

다음으로, 영상을 합성한 이후에 합성할 객체 영상이 더 있는 경우 반복하여 합성하는 단계(S50)를 설명한다.

배경 영상에 객체 영상을 합성한 이후에 합성할 객체 영상이 더 있는 경우, 레이어로 합성한 영상을 배경 영상으로 하여, 객체의 깊이를 조절하는 단계(S30) 및 배경 영상에 객체 영상을 합성하는 단계(S40)를 반복한다.

도 9의 예에서, 도 9(c)는 도 9(a)의 배경 영상에 도 9(b)의 객체 영상을 합성한 영상이다. 상기 도 9(c)의 합성 영상을 배경 영상으로 정하여, 추가할 객체 영상인 도 9(d)를 합성한다. 최종적으로, 도 9(e)의 합성 영상을 구한다. 즉, 도 9(e)는 도 9(a)의 배경 영상에 객체 영상인 도 9(b)와 도 9(d)를 합성한 영상이다.

다음으로, 다시점 영상 생성 단계(S60)를 설명한다. 즉, 합성된 깊이 영상 및 RGB영상을 이용하여 다시점 영상을 생성한다(S60).

도 9와 같이 구성된 영상을 다양한 시점에서 관찰한다면 도 10과 같다. 도 10은 2개의 레이어로 구성된 영상인데, Top View는 도 9(e)를 위쪽에서 바라본 것에 해당하고, Center View는 도 9(e)를 그림의 정면에서 바라본 것에 해당한다. Left 와 Right View는 각각 왼쪽과 오른쪽에서 바라본 것에 해당한다. 즉, 다시점 영상은 도 10과 같이 정면을 기준으로 각도를 달리하면서 왼쪽과 오른쪽으로 위치를 이동하면서 바라본 시점에서의 영상에 해당하는 것이다.

본 발명에서는 3차원 워핑(3 dimensional warping)를 이용하여 다시점 영상을 생성한다. 3차원 워핑은 깊이값을 이용하여 원래 영상의 화소들을 실제 공간 좌표계로 반환하고, 이를 다시 가상 시점의 영상으로 재투영하는 과정을 의미한다. 3차원 워핑은 MPEG 3DV 그룹의 DIBR(depth image based rendering) 기술을 기반으로 한 영상합성 참조 소프트웨어(view synthesis reference software, VSRS)에서 깊이 영상과 RGB 영상을 이용한 임의시점 합성 방법으로 사용되고 있다.

다음으로, 본 발명의 효과를 도 11 내지 도 15를 참조하여 보다 구체적으로 설명한다. 즉, 앞서 설명한 레이어 합성 기반 다시점 영상 생성 방법을 이용하여 실험을 수행한 결과에 대해서 설명한다.

먼저, 왜곡 보정 결과에 대하여 설명한다.

정확한 다시점 영상을 생성하기 위해서는 먼저 촬영된 RGB 영상과 깊이 영상에 대해서 렌즈 왜곡을 보정해야만 한다. 도 11에는 RGB 영상의 왜곡을 보정한 결과를 나타냈고, 도 12에는 깊이 영상에 대해서 렌즈 왜곡을 보정한 결과를 나타냈다. 일반적으로 왜곡을 보정할 때에는 격자 무늬형태의 기준 그림을 카메라 앞에 위치시킨 후에 그 그림을 촬영하여 획득된 영상을 바탕으로 렌즈 및 기하학적 왜곡에 대한 보정을 수행하고, 그 결과로 나온 파라미터들을 추후에 촬영된 영상에 적용하여 보정된 영상을 연속적으로 획득한다.

다음으로, 레이어 영상의 보정 및 합성 결과를 설명한다.

도 13에는 실험에 사용된 객체 영상들과 각 객체영상들의 깊이영상들을 나타내었다. 세 가지 객체를 사용하였고, 각각의 객체들은 따로 촬영이 되었다. 도 13의 각 객체들은 현재 비슷한 위치에서 촬영이 되었기 때문에 이들의 깊이영상은 비슷한 값들을 가진다. 도 13(d)에서 (f)의 영상을 살펴보면 객체가 갖는 고유한 깊이정보 말고 전체적인 깊이정보를 보면 비슷한 회색 레벨을 갖는다는 것을 확인할 수 있다.

도 13의 깊이정보는 도 14과 같이 하나의 장면으로 합성될 수 있다. 배경 영상을 따로 촬영하거나 혹은 기존의 배경 영상을 이용하면 된다. 도 14(a)에서 도 14(d)는 RGB영상을 합성하는 과정을 보여주고 있고, 도 14(e)에서 도 14(h)는 깊이영상을 합성하는 과정을 보여주고 있다. 깊이영상을 합성하는 과정을 살펴보면 예상되는 거리에 따라서 깊이 값을 변형해주고 객체의 깊이영상을 해당 거리에 위치시킨다.

도 15는 두 명의 사람을 따로 촬영한 후에 깊이정보를 조절하여 하나의 영상으로 합성한 예를 보여준다.

다음으로, 다시점 영상 생성 결과를 설명한다.

앞에서 나타낸 영상 합성 결과는 다시점 렌더링을 통해서 도 16과 도 17와 같이 다시점 영상으로 생성된다. 도 16은 도 14(h)를 이용하여 생성한 다시점 영상이고, 도 17는 도 15(f)를 이용하여 생성한 다시점 영상이다.

도 16에서 각 영상은 2개의 시점씩 건너뛰면서 나타내었다. 도 14(h)를 이용하여 먼저 37 시점의 영상을 생성하였고, 그 중에서 중간 시점의 영상을 기준으로 좌, 우로 3개의 시점을 선택하여 도 16에 나타냈다. 도 16(e)가 가운데 시점을 나타내고 있고, 도 14(d)를 이용하여 그대로 생성한 것에 해당한다. 도 16(e)를 기준으로 오른쪽 영상들은 오른쪽 시점으로 이동하면서 바라본 영상에 해당하고, 왼쪽 영상들은 왼쪽 시점으로 이동하면서 바라본 영상에 해당한다. +2는 중간시점에서 오른쪽으로 두 번째 시점의 위치에 해당하는 영상을 의미하고 -2는 왼쪽으로 두 번째 시점의 위치에 해당하는 영상을 의미한다. 마찬가지로 +4와 -4는 좌우로 네 번째 시점의 영상에 해당하고, +6과 -6은 좌우로 여섯 번째 시점의 영상에 해당한다.

도 17는 도 16과 동일한 방법을 이용하여 생성한 다시점 영상이고, 실제 사람을 이용하여 생성하였고, 배경을 넣지 않았다.

다음으로, 본 발명의 일실시예에 따른 레이어 합성 기반 다시점 영상 생성 장치를 도 18를 참조하여 설명한다.

앞서 설명한 바와 같이, 본 발명에 따른 레이어 합성 기반 다시점 영상 생성 방법은 프로그램 시스템으로 구현될 수 있으며, 상기 방법의 각 단계를 하나의 기능적 수단으로 구성하여 구현될 수 있다.

다시점 영상 생성 장치(30)는 깊이영상 기반의 영상합성과 다시점 영상 생성 기술을 이용하여 3차원 입체 콘텐츠를 제작하는 시스템이다.

도 18에서 보는 바와 같이, 본 발명의 일실시예에 따른 레이어 합성 기반 다시점 영상 생성 장치(30)는 깊이 카메라를 통해 객체의 깊이 영상을 획득하여 저장하는 객체영상 획득부(31); 배경의 깊이 영상을 입력받는 배경영상 획득부(32); 저장된 객체의 깊이 영상을 가져와서, 상기 배경에 상기 객체가 놓이도록, 상기 객체의 깊이 영상의 깊이(이하 객체의 깊이)를 조절하는 객체깊이 조절부(33); 상기 배경의 깊이 영상에 상기 객체의 조절된 깊이 영상을 레이어로 합성하는 영상합성부(34); 및, 합성된 깊이 영상을 이용하여 다시점 영상을 생성하는 다시점영상 생성부(35)로 구성된다.

본 발명에서는 객체의 깊이영상을 각각 촬영한 후에 객체의 위치를 고려하여 깊이정보를 조절하고, 레이어 기반의 영상으로 합성하는 3차원 콘텐츠 제작 기법을 제안하였다. 합성된 영상은 시점에 따라서 다양한 다시점 영상으로 생성되었다. SR4000 깊이카메라와 RGB 카메라로 구성된 카메라 시스템을 이용하여 객체들을 촬영하였고, 객체에 대한 물리적인 정확한 3차원 정보를 획득하였다. 영상을 어떤 형태로 합성할 것인가에 따라서 영상의 위치와 거리가 결정되었고, 이를 바탕으로 객체의 깊이를 조절한 후에 레이어 기반으로 영상으로 합성하였다. 합성된 영상은 다시점 영상 생성 도구를 이용하여 다수 개의 시점에서 바라본 영상들로 생성되었다. 본 발명에 따른 다시점 생성 방법은 추후에 다양한 응용분야에서 영상을 합성하고 생성하여 원하는 입체 영상을 제작할 수 있는 방법으로 활용될 수 있을 것이다.

이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.

11 : 객체영상 12 : 배경영상
20 : 컴퓨터 단말
30 : 다시점 영상 생성 장치 31 : 객체영상 획득부
32 : 배경영상 입력부 33 : 객체깊이 조절부
34 : 영상합성부 35 : 다시점영상 생성부
36 : 메모리

Claims

배경 영상에 객체 영상을 레이어로 합성하는 레이어 합성 기반 다시점 영상 생성 방법에 있어서,
(a) 깊이 카메라를 통해 객체의 깊이 영상을 획득하여 저장하는 단계;
(b) 배경의 깊이 영상을 입력받는 단계;
(c) 저장된 객체의 깊이 영상을 가져와서, 상기 배경에 상기 객체가 놓이도록, 상기 객체의 깊이 영상의 깊이(이하 객체의 깊이)를 조절하는 단계;
(d) 상기 배경의 깊이 영상에 상기 객체의 조절된 깊이 영상을 레이어로 합성하는 단계; 및,
(f) 합성된 깊이 영상을 이용하여 다시점 영상을 생성하는 단계를 포함하고,
상기 (c)단계에서, 상기 객체의 경계 깊이에 이동거리를 더하면 상기 배경에서 상기 객체의 경계에 대응되는 부분의 깊이보다 큰 값을 갖게 하는 이동거리를 구하고, 상기 이동거리로 상기 객체의 깊이를 조절하는 것을 특징으로 하는 레이어 합성 기반 다시점 영상 생성 방법.
제1항에 있어서, 상기 방법은,
(e) 상기 (d)단계 이후에 합성할 객체 영상이 더 있는 경우, 레이어로 합성한 영상을 배경 영상으로 하여, 상기 (c)단계 및 (d)단계를 반복하는 단계를 더 포함하는 것을 특징으로 하는 레이어 합성 기반 다시점 영상 생성 방법.
삭제
제1항에 있어서,
상기 (c)단계에서, 상기 객체의 모든 경계 화소에 대하여, 상기 객체의 경계 화소의 깊이값에서 상기 객체의 경계 화소에 대응되는 배경 깊이 영상의 화소(이하 배경의 경계 화소)의 깊이값을 감산한 값(이하 감산값)을 구하고, 상기 감산값 중 최소값을 상기 이동거리로 정하는 것을 특징으로 하는 레이어 합성 기반 다시점 영상 생성 방법.
제1항에 있어서,
상기 (c)단계에서, 상기 객체의 깊이 영상 I(x,y)를 다음 [수식 1]에 의해 조절하여, 변경된 깊이 영상 I_mod(x,y)를 구하는 것을 특징으로 하는 레이어 합성 기반 다시점 영상 생성 방법.
[수식 1]

단, α는 이동거리이고, x, y는 영상의 좌표임.
제1항에 있어서,
상기 깊이 영상은 각 영상의 화소의 깊이 외에도 색상을 포함하여, 상기 화소의 색상에 대하여도 레이어로 합성되는 것을 특징으로 하는 레이어 합성 기반 다시점 영상 생성 방법.
제2항에 있어서,
상기 (e)단계에서, 합성된 영상에 3차원 워핑(3 dimensional warping)를 적용하여 다시점 영상을 생성하는 것을 특징으로 하는 레이어 합성 기반 다시점 영상 생성 방법.