KR101411568B1 - 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법 - Google Patents

컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법 Download PDF

Info

Publication number
KR101411568B1
KR101411568B1 KR1020120087674A KR20120087674A KR101411568B1 KR 101411568 B1 KR101411568 B1 KR 101411568B1 KR 1020120087674 A KR1020120087674 A KR 1020120087674A KR 20120087674 A KR20120087674 A KR 20120087674A KR 101411568 B1 KR101411568 B1 KR 101411568B1
Authority
KR
South Korea
Prior art keywords
camera
depth image
image
virtual viewpoint
reference point
Prior art date
Application number
KR1020120087674A
Other languages
English (en)
Other versions
KR20140021765A (ko
Inventor
김택범
고민수
유지상
Original Assignee
광운대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광운대학교 산학협력단 filed Critical 광운대학교 산학협력단
Priority to KR1020120087674A priority Critical patent/KR101411568B1/ko
Publication of KR20140021765A publication Critical patent/KR20140021765A/ko
Application granted granted Critical
Publication of KR101411568B1 publication Critical patent/KR101411568B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

다수의 기준시점 카메라의 깊이영상으로부터 가상시점의 깊이영상을 구하는 컴퓨터 홀로그램(CGH) 생성을 위한 가상시점 깊이영상 합성 방법에 관한 것으로서, (a) 적어도 2개의 깊이 카메라(이하 기준시점 카메라)로부터 깊이영상(이하 기준시점 깊이영상)을 획득하는 단계; (b) 카메라 보정을 통해 상기 기준시점 카메라들의 파라미터를 추출하는 단계; (c) 가상시점 카메라와 최단거리에 있는 카메라(이하 주 기준시점 카메라) 및, 상기 주 기준시점 카메라의 위치와 반대 방향에 있는 기준시점 카메라 중 가장 가까운 카메라(이하 보조 기준시점 카메라)를 결정하는 단계; (d) 상기 주 기준시점 카메라의 파라미터를 이용하여, 상기 주 기준시점 카메라에 의한 기준시점 깊이영상(이하 주 기준시점 깊이영상)으로부터 가상시점 깊이영상을 생성하는 단계; (e) 상기 가상시점 깊이영상의 가려짐 영역을 상기 보조 기준시점 깊이영상으로 보상하는 단계; 및, (f) 보상된 가상시점 깊이영상으로부터 홀로그램을 생성하는 단계를 포함하는 구성을 마련한다.
상기와 같은 가상시점 깊이영상 합성 방법에 의하여, 가상시점에서 가장 가까운 주 기준시점 영상으로부터 가상시점 깊이영상을 생성하고 주 기준시점 영상의 반대 기준시점 영상으로 가려짐 영역을 보상함으로써, 신뢰도가 높은 가상시점 깊이영상을 생성하고 화질을 개선하여, 보다 정확하고 우수한 가상시점 깊이영상을 생성할 수 있다.

Description

컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법 { A Hologram Generating Method using Virtual View-point Depth Image Synthesis }
본 발명은 기준시점(reference view)의 깊이영상을 이용하여 여러 시점의 가상시점 깊이영상을 합성하여 다양한 시점의 CGH를 생성하는 컴퓨터 홀로그램(CGH) 생성을 위한 가상시점 깊이영상 합성 방법에 관한 것이다.
즉, 본 발명은 다수의 기준시점 카메라의 깊이영상으로부터 가상시점의 깊이영상을 구하여 컴퓨터 홀로그램(CGH)을 생성하는 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법에 관한 것이다.
현재 3D 영상 산업의 발전과 함께 스테레오스코픽 디스플레이가 일반화 되고 있다. 하지만 스테레오스코픽 디스플레이는 안경 착용, 시점 제한 등의 단점이 존재한다. 따라서 이를 보완하기 위하여 무안경 다시점 디스플레이, 홀로그래픽(holographic) 디스플레이 등의 기법이 지속적으로 연구되고 있다.
특히 홀로그램(hologram)은 빛의 세기뿐만 아니라 위상정보까지 포함하여 원래의 3차원 입체상을 공간상에 정확히 재현할 수 있는 가장 이상적인 입체 시각 시스템이다. 따라서 3차원 입체 비디오처리 기술의 최종목표는 완전한 입체시가 가능한 홀로그램 서비스라고 해도 과언이 아니며, 이 기술은 궁극적인 영상정보통신 서비스 결정체로 인식되어 왔다.
홀로그래피(holography) 기술은 1948년에 개발되었고, 1966년에 디지털 홀로그래피 기술로 확대되었으며, 현재 디지털 홀로그래피 방식에 의한 3차원 방송기술 개발이 미국의 MIT, 일본의 NHK, ATR, 독일의 HHI 등을 중심으로 진행 중이다. 홀로그래피 방식은 정해진 범위 내에서는 임의의 시점에서도 관찰이 가능하도록 깊이감을 표현함으로써 관찰위치의 제약이 없고 자연스런 화상표현이 가능하다는 특징이 있다[문헌 1].
홀로그램은 일반적으로 광학계(optical system)에 의해서 형성되는데, 외부의 광원에 매우 민감하여 실험환경의 광원들을 정교하게 제어해야 한다. 또한, 광학계의 미세한 떨림이나 움직임들이 홀로그램 생성에 큰 영향을 줄 수 있기 때문에 매우 안정된 실험환경은 필수적이다[문헌 2].
이런 문제들은 홀로그램의 기술적 발전에 걸림돌이 되고 있으며 이를 해결하기 위해 Brown 등은 computer-generated hologram(CGH)기법을 제안하였다[문헌 3]. 이 기법은 기존의 광학계를 수학적으로 모델링하여 일반 범용 컴퓨터에서도 홀로그램을 생성할 수 있게 해주는 기술이다.
CGH로 만들어진 물체는 수학적인 계산 혹은 그림 묘사(graphical descriptions), 공간적인 샘플로 나타낼 수 있다. 두 광파의 물리적인 간섭은 수학적인 계산으로 대신할 수 있으나 3차원 물체의 CGH는 어려운 계산 과정이 필요하다. 모든 정보가 홀로그램 면으로부터 동일한 거리에 놓이기 때문에 물체의 모든 점으로부터 시작하는 모든 파의 수학적인 중첩이 필요하며 이렇게 하기 위해서는 3차원 좌표변환 기술이 요구된다. 또한 단순히 격자벡터의 방향과 주기가 다른 격자의 조각으로 합성시킨 격자 홀로그램도 CGH의 하나이다.
위상 방식의 경우, 파면의 간격이 시간과 공간에 걸쳐 일정하게 유지되는 가간섭성 광이 어떤 형태를 가진 물체에 부딪쳐 반사될 때는 그 반사된 광의 파면은 물체의 형태에 비례하여 달라진다. 즉 파면의 위상 변화가 물체의 형상에 따라 변화하게 된다. 그러므로 물체의 형상에 관한 좌표의 정보가 있으면, 형상에 따라 변화하는 파면의 위상 변화는 기하 광학적인 광선 추적에 의해 쉽게 계산된다.
CGH 홀로그램을 얻기 위해서 보통 RGB 영상 또는 깊이영상(depth image)을 활용한다.
가상시점(virtual viewpoint) 영상합성 방법에는 크게 주어진 스테레오 영상의 변이정보를 이용하는 양방향 선형 보간법(bidirectional linear interpolation)과 깊이 정보를 이용하는 3D 워핑(3D warping) 기법 등이 있다. 양방향 선형 보간법은 변이(disparity) 정보를 이용하여 기준시점 영상 사이의 제한된 시점의 중간 시점 영상을 생성하는 방법이다. 3D 워핑은 기준시점 영상의 깊이 정보와 카메라 파라미터를 이용하여 가상시점에 해당하는 가상 카메라의 파라미터를 정의하고, 영상의 실제 3D 좌표를 산출한 뒤 가상 카메라의 위치에 재투영하는 방법으로, 정의한 카메라 파라미터를 통해 기준시점 영상 사이의 중간시점 영상뿐만 아니라 임의 가상시점 영상을 생성하는 등 보다 자유로운 시점을 제공할 수 있다.
따라서 이미 구해진 기준시점의 깊이영상을 이용하여 원하는 시점의 깊이영상을 합성하면, 다양한 시점의 홀로그램(CGH)를 생성할 수 있을 것이다. 그러나 단순히 기준시점의 깊이영상으로부터 특정의 시점(가상시점)의 깊이영상을 구하면서 가려지는 영역 등이 없이 화질이 좋은 가상시점 깊이영상을 얻는 기술은 아직 제시되고 있지 못하다.
[문헌 1] T. Motoki, H. Isono, and I. Yuyama, "Present status of three-dimensional television research," Proc. IEEE 83(7), pp. 1009-1021, July 1995. [문헌 2] W. H. Ryu and M. H. Jeong, "A study on three-dimensional computer generated holograms by 3-D coordinates transformation", Applied Optical Society of Korea, vol. 17, pp. 525-531, December 2006. [문헌 3] B. R. Brown and A. W. Lohmann, "Complex spatial filtering wit binary masks", Applied Optics, vol. 5, pp. 967-969, June 1966. [문헌 4] 박세환, 송혁, 장은영, 허남호, 김진웅, 김진수, 이상훈, 유지상, "다시점 동영상에서 임의 시점 영상 생성을 위한 가려진 영역 보상기법", 한국통신학회 논문지, 제33권 제12호, pp.1029-1038, 12월, 2008년. [문헌 5] 김태준, 장은영, 허남호, 장진웅, 유지상, "다시점 카메라 모델의 기하학적 특성을 이용한 가상 시점 영상 생성 기법", 한국통신학회 논문지, 제34권, 제12호, pp.1154-1166, 12월, 2009년. [문헌 6] H. Yoshikawa, S. Iwase, and T. Oneda, "Fast computation of fresnel holograms employing differences", Proceeding of SPIE, vol. 3956, 2000. [문헌 7] 서영호, 최현준, 유지상, 김동욱, "디지털 홀로그램의 고속 생성을 위한 병렬화 알고리즘 및 셀 기반의 하드웨어 구조", 방송공학회 논문지, 제16권 제1호, pp-54-63, 1월, 2011년. [문헌 8] Zhengyou Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, 22, pp.1330-1334, 2000. [문헌 9] Karajeh, Huda, Abdel-rahim, Intermediate view reconstruction for multiscopic 3D display, Durham University, April 2012.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 다수의 기준시점 카메라의 깊이영상으로부터 가상시점의 깊이영상을 구하는, 컴퓨터 홀로그램(CGH) 생성을 위한 가상시점 깊이영상 합성 방법을 제공하는 것이다.
특히, 본 발명의 목적은 가상시점에서 가장 가까운 주 기준시점 영상으로부터 3D 워핑 기법으로 가상시점 깊이영상을 생성하고 주 기준시점 영상의 반대 기준시점 영상으로 가려짐 영역을 찾아 보상하는 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 다수의 기준시점 카메라의 깊이영상으로부터 가상시점의 깊이영상을 구하는, 컴퓨터 홀로그램(CGH) 생성을 위한 가상시점 깊이영상 합성 방법에 관한 것으로서, (a) 적어도 2개의 깊이 카메라(이하 기준시점 카메라)로부터 깊이영상(이하 기준시점 깊이영상)을 획득하는 단계; (b) 카메라 보정을 통해 상기 기준시점 카메라들의 파라미터를 추출하는 단계; (c) 가상시점 카메라와 최단거리에 있는 카메라(이하 주 기준시점 카메라) 및, 상기 주 기준시점 카메라의 위치와 반대 방향에 있는 기준시점 카메라 중 가장 가까운 카메라(이하 보조 기준시점 카메라)를 결정하는 단계; (d) 상기 주 기준시점 카메라의 파라미터를 이용하여, 상기 주 기준시점 카메라에 의한 기준시점 깊이영상(이하 주 기준시점 깊이영상)으로부터 가상시점 깊이영상을 생성하는 단계; (e) 상기 가상시점 깊이영상의 가려짐 영역을 상기 보조 기준시점 깊이영상으로 보상하는 단계; 및, (f) 보상된 가상시점 깊이영상으로부터 홀로그램을 생성하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 가상시점 깊이영상 합성 방법에 있어서, 상기 방법은, (g) 상기 최종 가상시점 깊이영상으로부터 홀로그램을 생성하는 단계를 더 포함하는 것을 특징으로 한다.
또, 본 발명은 가상시점 깊이영상 합성 방법에 있어서, 상기 깊이 카메라는 TOF(time of flight) 깊이 카메라인 것을 특징으로 한다.
또, 본 발명은 가상시점 깊이영상 합성 방법에 있어서, 상기 (b)단계에서, 사각 체크보드 형식의 카메라 보정판을 사용하고, 각 카메라가 동시에 상기 보정판을 촬영하고, 상기 보정판의 같은 특징점간의 관계를 이용하여 카메라간의 상대적인 위치를 나타내는 카메라 외부 파라미터를 추출하고, 한 영상 안에서의 특징점간의 위치 관계를 계산하여 해당 카메라의 내부 파라미터도 추출하는 것을 특징으로 한다.
또, 본 발명은 가상시점 깊이영상 합성 방법에 있어서, 상기 (d)단계는, (d1) 상기 주 기준시점 카메라의 파라미터를 이용하여, 상기 주 기준시점 깊이영상의 영상 좌표에서 실세계 좌표로 변환하는 단계; (d2) 상기 주 기준시점 및 보조 기준시점 카메라의 파라미터를 이용하여, 상기 가상시점 카메라의 파라미터를 구하는 단계; 및, (d3) 상기 실세계 좌표에 상기 가상시점 카메라의 파라미터를 곱하여 가상시점 깊이영상을 생성하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 가상시점 깊이영상 합성 방법에 있어서, 상기 (d1)단계에서, 다음 [수식 1]을 통해 실세계 좌표 (X, Y, Z)를 계산하는 것을 특징으로 한다.
[수식 2]
Figure 112012064073625-pat00001
단, K, R, T는 주 기준시점 카메라의 각각 내부 파라미터, 회전 행렬, 이동 벡터이고,
x, y는 주 기준시점 깊이영상의 영상 평면에 투영된 물체의 2D 좌표임.
또, 본 발명은 가상시점 깊이영상 합성 방법에 있어서, 상기 (d2)단계에서, 다음 [수식 2]를 통해 가상시점 카메라의 파라미터 KV, RV, TV 를 계산하는 것을 특징으로 한다.
[수식 2]
Figure 112012064073625-pat00002
단, K, R, T는 각각 카메라의 내부 파라미터, 회전 행렬, 이동 벡터를 나타내고, 아래 첨자 V는 가상 시점, M은 주 기준시점, S은 보조 기준시점 카메라를 각각 의미하고, Ratio는 주 기준시점 및 보조 기준시점 간의 카메라 거리를 1로 하고 가상 시점의 카메라와 두 기준시점 사이의 거리 비율임.
또, 본 발명은 가상시점 깊이영상 합성 방법에 있어서, 상기 (d)단계에서, 상기 가상시점 깊이영상에 미디안 필터(median filter)를 적용하여 실 잡음을 제거하는 것을 특징으로 한다.
또, 본 발명은 가상시점 깊이영상 합성 방법에 있어서, 상기 (f)단계에서, 상기 최종 가상시점 깊이영상에서 홀의 주변 깊이값들 중 최소값을 판단하여 상기 최소값으로 홀을 채우는 것을 특징으로 한다.
상술한 바와 같이, 본 발명에 따른 가상시점 깊이영상 합성 방법에 의하면, 가상시점에서 가장 가까운 주 기준시점 영상으로부터 가상시점 깊이영상을 생성하고 주 기준시점 영상의 반대 기준시점 영상으로 가려짐 영역을 보상함으로써, 신뢰도가 높은 가상시점 깊이영상을 생성하고 화질을 개선하여, 보다 정확하고 우수한 가상시점 깊이영상을 생성할 수 있는 효과가 얻어진다.
도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면이다.
도 2는 본 발명에 이용되는 핀 홀 카메라의 기하학적 구조로서, (a) 3D 구조 및 (b) 2D 구조를 도시한 것이다.
도 3은 본 발명의 일실시예에 따른 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법을 설명하는 흐름도 및 블록도이다.
도 4는 본 발명에 따른 3대의 깊이 카메라의 보정의 일례를 도시한 것이다.
도 5는 본 발명에 따른 기준시점 카메라 선택의 일례를 도시한 것이다.
도 6은 본 발명의 일실시예에 따른 워핑 방법을 이용하여 가상시점 깊이영상을 생성하는 단계를 설명하는 흐름도이다.
도 7은 본 발명에 따라 미디안 필터를 이용한 잡음 제거의 일례로서, (a) 잡음 영상 및, (b) 잡음 제거 영상의 일례이다.
도 8은 본 발명에 따라 가려짐 영역의 보상과정의 예로서, (a) 가려짐 영역 보상 및, (b) 결과 영상의 일례이다.
도 9는 본 발명의 실험에 따른 본 발명의 성능 비교에 대한 표이다.
도 10은 본 발명의 실험에 따른 가상시점 깊이영상 생성 결과(Cafe 시퀀스)의 예로서, (a) 원본 영상 및, (b) 생성된 가상시점 깊이영상의 일례이다.
도 11은 본 발명의 실험에 따른 가상시점 깊이영상 생성 결과(Mobile 시퀀스)의 예로서, (a) 원본 영상 및, (b) 가상시점 깊이영상의 일례이다.
도 12는 본 발명의 실험에 따른 TOF 깊이카메라를 이용한 성능 측정에 대한 결과 표이다.
도 13은 본 발명의 실험에 따른 본 발명 실험의 결과로서, (a) 원본 좌 카메라 영상, (b) (a)를 이용하여 생성한 가운데 카메라 영상, (c) 원본 우 카메라 영상, (d) (c)를 이용하여 생성한 가운데 카메라 영상, (e) 원본 가운데 카메라 영상, 및, (f) (b)와 (d)를 이용하여 생성된 최종 가상시점 깊이영상의 일례이다.
도 14는 본 발명의 실험에 따른 CGH 복원 영상의 일례이다.
도 15는 본 발명의 일실시예에 따른 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 장치의 구성에 대한 블록도이다.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.
도 1에서 보는 바와 같이, 본 발명에 따른 컴퓨터 홀로그램(CGH) 생성을 위한 가상시점 깊이영상 합성 방법은 깊이 카메라(20)에 의해 촬영된 다수의 깊이영상(60)을 입력받아 가상시점의 깊이영상을 생성하는 컴퓨터 단말(30) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 가상시점 깊이영상 합성 방법은 프로그램으로 구성되어 컴퓨터 단말(30)에 설치되어 실행될 수 있다. 컴퓨터 단말(30)에 설치된 프로그램은 하나의 프로그램 시스템(40)과 같이 동작할 수 있다.
한편, 다른 실시예로서, 가상시점 깊이영상 합성 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 다수의 깊이영상으로부터 가상시점 깊이영상을 생성하는 것만을 전용으로 처리하는 전용 컴퓨터 단말(30)로 개발될 수도 있다. 이를 가상시점 깊이영상 합성 장치(40)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.
깊이 카메라(20)는 사물(10)의 깊이를 측정하는 카메라로서, 깊이정보를 측정하여 깊이영상을 출력한다. 깊이 카메라(20)는 적어도 2대 이상 구비하여, 여러 시점에서 사물(10)의 깊이 정보를 측정한다. 바람직하게는, TOF(time of flight) 깊이 카메라이다.
촬영된 영상(60)은 깊이 카메라(20)로 촬영된 다수 시점의 깊이영상이다. 즉, 각 카메라 시점에 따라 해당 시점의 깊이영상으로서, 이를 기준시점 깊이영상이라 부르기로 한다.
다수의 깊이영상(60)은 컴퓨터 단말(30)에 직접 입력되어 저장되고, 가상시점 깊이영상 합성 장치(40)에 의해 처리된다. 또는, 다수의 깊이영상(60)은 컴퓨터 단말(30)의 저장매체에 미리 저장되고, 가상시점 깊이영상 합성 장치(40)에 의해 저장된 깊이영상(60)을 읽어 입력될 수도 있다.
다수의 깊이영상(60)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(60)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(60)은 하나의 이미지인 경우에도 해당된다.
기준시점 깊이영상에서 가상시점의 깊이영상을 합성하는 것은, 곧 다수의 기준시점 프레임(또는 이미지)에서 가상시점의 프레임(또는 이미지)을 생성하는 것을 의미하나, 이하에서 특별한 구별의 필요성이 없는 한, 영상이란 용어를 사용하기로 한다.
한편, 가상시점 깊이영상 합성 장치(40)는 다수의 깊이영상(60)을 입력받아, 상기 영상(60)으로부터 임의의 가상시점의 깊이영상을 생성한다.
가상시점 깊이영상 합성 장치(40)는 고화질의 가상시점 깊이영상을 생성하기 위해 3D 워핑 기법을 사용한다. 먼저 기준시점 깊이영상 화소들의 실세계 좌표(world coordinate)로 산출하고 원하는 가상 시점으로 재투영 하게 된다.
이때 가상시점 깊이영상 생성 시 객체의 이동으로 생기는 가려짐 영역(occlusion)에 의해 홀(hole)이 발생하는데, 본 발명에 따른 가상시점 깊이영상 합성 장치(40)는 이러한 요소를 제거하여 가상시점 깊이영상의 화질을 개선한다.
즉, 가상시점 깊이영상 합성 장치(40)는 먼저 TOF 깊이 카메라를 이용하여 신뢰도 높은 기준시점 깊이영상(60)을 이용한다. 3D 워핑 기법을 사용하기 위해 카메라 보정 과정을 통해 깊이 카메라의 카메라 파라미터 정보를 추출한다. 가상시점 카메라의 위치가 결정되면 기준시점 카메라와의 위치와 거리를 고려하여 최상의 가상시점 깊이영상을 생성할 수 있는 기준시점 카메라를 선택한다.
가상시점 카메라와 가장 가까운 거리에 있는 기준시점 카메라를 주 기준시점으로 정하여 가상시점 깊이영상을 생성하며 이 때 발생하는 가려짐 영역은 주 기준시점과 반대 위치에 있는 기준시점 카메라를 보조 기준시점으로 정하고 가상시점 깊이영상을 생성하여 가려짐 영역 부분을 찾아 보상하게 된다. 이 과정 후에도 남은 홀 영역은 홀 주변 깊이값 중 가장 작은 깊이값으로 채워준다. 최종 가상시점 깊이영상이 생성되면 이를 이용하여 CGH를 생성하게 된다.
다음으로, 본 발명을 설명하기에 앞서, 카메라의 기하학적 구조에 기반을 둔 3D 워핑 방법과 컴퓨터 홀로그램(CGH, computer generated hologram)의 기본 개념을 설명한다.
먼저, 3D 워핑(3D warping)에 대하여 설명한다.
3D 워핑(3D warping)이란 카메라의 기하학적 구조에 기반을 두고 영상의 깊이 정보와 카메라의 내, 외부 파라미터를 이용하여 영상의 실제 좌표(세계 좌표계;world coordinate)를 산출한 후, 가상 시점을 위한 카메라의 위치로 재 투영하여 원하는 가상 시점 영상을 생성하는 과정이다.
도 2(a)는 핀홀 카메라(pin-hole camera) 모델을 3D 구조로, 도 2(b)는 2D 구조로 각각 표현한 것이다. 일반적으로 핀홀 카메라의 상은 Z축의 -f 위치에 역상으로 생기지만 이 경우 3D 좌표 상에서 해석하는 것이 쉽지 않기 때문에 영상이 맺히는 평면을 Z축 상의 카메라 초점 거리(focal length) f로 옮겨 해석한다. 실제로 카메라 좌표계(camera coordinate)에서 물체의 3D 좌표가 영상 평면(image plane)에 투영되는 관계는 도 2(b)와 같이 삼각 비례 법으로 해석이 가능하다.
3D 실세계 좌표계(세계 좌표계; world coordinate)를 카메라 좌표계(camera coordinate)로 변환하기 위해서는 좌표계의 회전(rotation)과 이동(translation) 변환이 필요하다. 이 두 가지 변환은 카메라의 외부 파라미터(extrinsic parameter)로 정의된다. 카메라 좌표계로 변환된 물체의 좌표는 영상 평면(image plane)의 좌표로 다시 변환된다.
이 변환 관계는 도 2(b)와 같이 초점 거리 f를 포함하는 카메라의 내부 파라미터(intrinsic parameter)로 정의될 수 있다. 결국 카메라의 외부 파라미터와 내부 파라미터를 이용한 변환 관계에 의하여 [수학식 1]과 같이 세계 좌표계에 존재하는 객체의 좌표가 영상 평면상의 좌표로 변환되는 것이다.
[수학식 1]
Figure 112012064073625-pat00003
여기서 x, y는 영상 평면에 투영된 물체의 2D 좌표를 나타내며, K는 카메라 내부 파라미터, R은 카메라의 회전 행렬, T는 카메라의 이동 벡터를 나타내며, X, Y, Z는 세계좌표계의 좌표를 의미한다.
K[R|T]를 투영 행렬(projection matrix)이라고 정의한다. [수학식 1]은 간단한 행렬 연산을 통해 [수학식 2]와 같이 이미지 좌표를 실세계 좌표로 역변환 하는데 사용될 수 있다. 이 때 실제 깊이 값 Z을 구하기 위해서는 [수학식 3]과 같이 시차(disparity) 정보 D를 이용하게 된다.
[수학식 2]
Figure 112012064073625-pat00004
[수학식 3]
Figure 112012064073625-pat00005
여기서 Z(i, j)와 D(i, j)는 각각 영상 내 (i, j) 좌표에서의 깊이값과 시차값이고, MinZ와 MaxZ는 Z의 최소, 최대값을 의미한다.
주어진 좌, 우 영상의 좌표 정보와 카메라 파라미터를 가지고 [수학식 2]를 이용하여 구한 세계 좌표계 상의 객체 좌표는 [수학식 4]와 같이 원하는 가상 시점에 위치한 카메라에 대응되는 투영 행렬과의 행렬 곱 연산을 통해 영상 평면상의 좌표로 재 투영되고 결국 우리가 원하는 가상 시점의 영상을 생성할 수 있게 된다.
[수학식 4]
Figure 112012064073625-pat00006
여기서 xv, yv는 생성된 가상 시점 영상 평면상의 좌표를 의미하며, KV, RV, TV는 각각 가상 시점 카메라의 내부 파라미터, 회전 행렬, 이동 벡터를 나타낸다.
따라서 가상 시점 영상을 생성하기 위해서는 해당 위치의 가상 카메라의 내, 외부 파라미터를 먼저 구해야 한다. [수학식 5]는 좌, 우 시점 간의 카메라 거리를 1로 하고 가상 시점의 카메라와 두 기준시점 사이의 거리 비율인 Ratio에 따라 선형적으로 보간하는 방법을 나타내었다.
[수학식 5]
Figure 112012064073625-pat00007
여기서 K, R, T는 각각 카메라의 내부 파라미터, 회전 행렬, 이동 벡터를 나타내고, 아래 첨자 V는 가상 시점, L은 좌 시점, R은 우 시점 카메라를 각각 의미한다[문헌 4][문헌 5].
다음으로, 컴퓨터 생성 홀로그램 (Computer-generated hologram)에 대하여 설명한다.
홀로그램은 광학계를 이용하여도 취득할 수 있지만 광학계 자체를 수학적으로 모델링한 연산에 의해서 구할 수도 있다. 이러한 수학적인 연산을 통해 얻어진 홀로그램을 컴퓨터 생성 홀로그램(computer-generated hologram;CGH)이라고 한다.
여러 종류의 CGH가 있지만 본 발명에서는 "위상(phase)" 방식을 사용하는데, 이것은 객체에서 CCD로 입사되는 파에서 위상 성분만을 이용하여 홀로그램을 생성하는 것이다. 파면의 간격이 시간과 공간에 걸쳐 일정하게 유지되는 가간섭성(coherent) 광이 어떤 형태를 가진 물체에 부딪쳐 반사될 때 반사된 광의 파면은 물체의 형태에 비례하여 달라진다. 즉 파면의 위상 변화가 물체의 형상에 따라 변화하게 된다. 그러므로 물체의 형상에 관한 좌표의 정보가 있으면, 형상에 따라 변화하는 파면의 위상변화는 기하광학적인 광선추적에 의해 쉽게 계산된다.
CGH는 [수학식 6]과 같이 정의되는데 앞서 설명한 것과 같이 홀로그램의 위상으로부터 홀로그램의 강도(Iα)를 얻는 방법이다.
[수학식 6]
Figure 112012064073625-pat00008
여기서 N은 3차원 객체의 광원수를 뜻한다. k는 참조파의 파수로 2π/λ로 정의되고 λ는 사용된 파의 파장을 나타낸다. xα와 yα는 홀로그램내의 위치를 뜻하고 xj, yj및 zj는 3차원 객체의 위치를 나타낸다. p는 화소의 크기를 나타낸다.
[수학식 6]에서 제곱근은 xαj, yαj << zj의 조건인 경우에 [수학식 7]과 같이 프레즈넬(Fresnel) 근사를 통해서 근사될 수 있다[문헌 6]. 이때 xαj와 yαj는 각각 xαj = xα - xj 및 yαj = yα - yj로 정의된다.
[수학식 7]
Figure 112012064073625-pat00009

[수학식 7]을 이용하여 [수학식 6]을 다시 정리하면 [수학식 8]과 같다[문헌 7].
[수학식 8]
Figure 112012064073625-pat00010

다음으로, 본 발명의 일실시예에 따른 컴퓨터 홀로그램(CGH) 생성을 위한 가상시점 깊이영상 합성 방법을 도 3을 참조하여 보다 구체적으로 설명한다.
도 3a에서 보는 바와 같이, 본 발명에 따른 가상시점 깊이영상 합성 방법은 (a) 기준시점 깊이영상을 획득 단계(S10); (b) 기준시점 카메라의 파라미터 추출 단계(S20); (c) 주 기준시점 및 보조 기준시점 카메라를 결정하는 단계(S30); (d) 주 기준시점 깊이영상으로부터 가상시점 깊이영상을 생성하는 단계(S40); (e) 가상시점 깊이영상의 가려짐 영역을 보조 기준시점 깊이영상으로 보상하는 단계(S50); 및, (f) 홀 채움 방법을 통해 최종 가상시점 깊이영상을 생성하는 단계(S60)로 구성된다. 추가하여, (g) 홀로그램을 생성하는 단계(S70)을 더 포함하여 구성될 수 있다.
도 3b는 본 발명에 따른 가상시점 깊이영상 합성 방법의 블록도이다.
도 3b와 같이, TOF(time of flight) 깊이 카메라로부터 깊이영상과 밝기영상을 획득하고 카메라 보정판을 찍은 밝기영상을 이용하여 카메라 보정 방법을 수행하여 각 카메라의 카메라 파라미터를 추출한다.
가상시점 카메라의 위치를 고려하여 주 기준시점으로 사용될 깊이 카메라와 보조 기준시점으로 사용될 깊이 카메라를 결정한다. 주, 보조 기준시점 깊이영상을 [수학식 2]에 적용하여 영상 좌표에서 실세계 좌표로 변환하고 다시 식 (4)에 적용하여 가상시점 깊이영상을 생성한다.
주 기준시점을 통해 생성된 가상시점 깊이영상에 나타나는 가려짐 영역은 보조 기준시점 영상으로 생성된 가상시점 깊이영상으로부터 보상한다. 보상 후에도 남은 가려짐 영역은 홀 채움 방법을 통해 최종 가상시점 깊이영상을 생성한다.
마지막으로 생성된 가상시점 깊이지도를 이용하여 CGH를 생성한다.
이하에서, 본 발명의 각 단계를 보다 구체적으로 설명한다.
먼저, 적어도 2개의 깊이 카메라(이하 기준시점 카메라)로부터 깊이영상(이하 기준시점 깊이영상)을 획득한다(S10).
앞서 설명한 바와 같이, 깊이 카메라(20)는 사물(10)의 깊이를 측정하는 카메라로서, 바람직하게는, TOF(time of flight) 깊이 카메라이다. 깊이 카메라(20)는 적어도 2대 이상 구비하여, 여러 시점에서 사물(10)의 깊이 정보를 측정한다. 깊이 카메라(20)로 획득한 영상은 각 카메라 시점에 따라 해당 시점의 깊이영상으로서, 이를 기준시점 깊이영상이라 부르기로 한다.
다음으로, 카메라 보정을 통해 상기 기준시점 카메라들의 파라미터를 추출한다(S20).
3D 워핑을 이용하여 가상시점 깊이영상을 생성하기 위해서는 각 카메라의 파라미터가 필요하다. 카메라 파라미터는 카메라 보정 작업을 통해 추출할 수 있다.
본 발명에서는 사각 체크보드 형식의 카메라 보정판을 사용하는 카메라 보정 방법을 이용한다[문헌 8]. 각 카메라가 동시에 같은 보정판을 촬영하고 보정판의 같은 특징점간의 관계를 이용하여 카메라간의 상대적인 위치를 나타내는 카메라 외부 파라미터를 추출하고 한 영상 안에서의 특징점간의 위치 관계를 계산하여 해당 카메라의 내부 파라미터도 추출한다. 카메라 위치가 변경 되지 않을 경우 한 번의 카메라 보정을 통해 추출된 카메라 파라미터를 계속 사용한다. 도 4는 세 대의 깊이 카메라간의 카메라 보정 과정을 보여준다.
다음으로, 가상시점 카메라와 최단거리에 있는 카메라(이하 주 기준시점 카메라) 및, 상기 주 기준시점 카메라의 위치와 반대 방향에 있는 기준시점 카메라 중 가장 가까운 카메라(이하 보조 기준시점 카메라)를 결정한다(S30).
여러 대의 기준시점 카메라를 모두 사용하여 가상시점 깊이영상을 생성하는 것은 연산 시간이 많이 걸리고 비효율 적이다. 따라서 불필요한 기준시점 카메라는 제외하고 필요한 기준시점 카메라들을 선택하여 가상시점 깊이영상을 생성한다.
먼저 가상시점 카메라와 최단거리에 있는 기준시점 카메라를 주 기준시점 카메라로 선택한다. 이는 최단거리에 있는 기준시점 깊이영상을 가상시점으로 만들었을 경우 가려짐 영역이 가장 적고 가상시점 깊이영상과 가장 비슷한 깊이영상을 만들 수 있기 때문이다.
다음으로 가상시점 카메라와 주 기준시점 카메라의 위치와 반대 방향에 있는 기준시점 카메라 중 가장 가까운 카메라를 보조 기준시점 카메라로 사용한다. 위치가 반대가 되면 가상시점 깊이영상을 생성할 경우 가려짐 영역이 주 기준시점을 통해 생성된 가상시점 깊이영상과 반대로 발생하므로 주 기준시점 깊이영상을 가상시점 깊이영상으로 생성하였을 때 생기는 가려짐 영역의 대부분을 보상 할 수 있다. 만약 보조 기준시점 조건에 맞는 기준시점 카메라가 존재 하지 않을 경우 주 기준시점만을 사용하여 가상시점 깊이영상을 생성한다.
도 5는 기준시점 카메라를 선택하는 예를 보여준다. A, B, C의 기준시점 카메라 중 가상시점 카메라와 가장 가까운 B 카메라가 주 기준시점 카메라가 된다. 그리고 B 카메라와 반대 방향에 있는 A 카메라를 보조 기준시점 카메라로 사용하고 C 카메라는 기준시점 카메라로 사용하지 않는다[문헌 9].
즉, 도 5와 같이, 가상시점 커메라의 우측에 주 기준시점 카메라가 있다. 그러면 보조 기준 시점은 가상시점 카메라의 좌측에서 찾아야 한다. 따라서 가상시점 카메라를 중심으로 주 기준시점과 대칭방향에 있는 카메라 중 제일 가까운 카메라가 "주 기준시점 카메라와 반대 방향에 있는 카메라"를 말한다.
다음으로, 주 기준시점 카메라의 파라미터를 이용하여, 상기 주 기준시점 카메라에 의한 기준시점 깊이영상(이하 주 기준시점 깊이영상)으로부터 가상시점 깊이영상을 생성한다(S40).
앞 단계(S30)에서 선택한 기준시점 카메라를 이용하여 가상시점 깊이영상을 생성하게 된다. 앞 단계(S20)에서 추출한 카메라 파라미터를 [수학식 2]에 적용하여 영상 좌표에서 실세계 좌표로 변환한다. 가상시점 카메라의 카메라 파라미터를 정의하고 이를 변환된 실세계 좌표에 곱하여 가상시점 깊이영상을 생성한다.
도 6에서 보는 바와 같이, 상기 (d) 가상시점 깊이영상 생성 단계(S40)는, (d1) 영상 좌표에서 실세계 좌표로 변환하는 단계(S41); (d2) 가상시점 카메라의 파라미터를 구하는 단계(S42); 및, (d3) 실세계 좌표에 가상시점 카메라의 파라미터를 곱하여 가상시점 깊이영상을 생성하는 단계(S43)로 구성된다.
먼저, 상기 주 기준시점의 카메라 파라미터를 [수학식 2]에 적용하여, 주 기준시점 깊이영상의 영상 좌표에서 실세계 좌표로 변환한다(S41).
즉, 다음 [수학식 2-2]에 통해, 실세계 좌표 (X, Y, Z)를 계산한다.
[수학식 2-2]
Figure 112012064073625-pat00011
여기서, K, R, T는 각각 주 기준시점 카메라의 내부 파라미터, 회전 행렬, 이동 벡터이다. 그리고 x, y는 주 기준시점 깊이영상의 영상 평면에 투영된 물체의 2D 좌표이다.
카메라의 회전 행렬은 카메라가 기준 x,y,z축 좌표축에서 각각 얼마 만큰 회전 되있는지 나타내는 행렬이고 이동벡터는 기준 x,y,z축의 원점에서 얼마 이동 되있는지를 나타내는 벡터 값이다. 따라서 내부 파라미터는 카메라의 내부적인 특성(초점거리, 렌즈왜곡 등)을 나타내는 것이고, 외부 파라미터는 카메라가 외부 환경에 어떠한 형태로 있는지를 나타내는 파라미터이다.
다음으로, 주 기준시점 카메라의 파라미터 및, 보조 기준시점 카메라의 파라미터를 이용하여, 가상시점 카메라의 카메라 파라미터를 계산한다(S42).
즉, 다음 [수학식 5-2]에 의해, 가상시점 카메라의 파라미터 KV, RV, TV 를 구한다.
[수학식 5-2]
Figure 112012064073625-pat00012
여기서 K, R, T는 각각 카메라의 내부 파라미터, 회전 행렬, 이동 벡터를 나타내고, 아래 첨자 V는 가상 시점, M은 주 기준시점, S은 보조 기준시점 카메라를 각각 의미한다. Ratio는 주 기준시점 및 보조 기준시점 간의 카메라 거리를 1로 하고 가상 시점의 카메라와 두 기준시점 사이의 거리 비율이다.
다음으로, 실세계 좌표에 상기 가상시점 카메라의 파라미터를 곱하여 가상시점 깊이영상을 생성한다(S43).
즉, 다음 [수학식 4-2]에 의해, 가상시점 깊이영상의 영상 좌표 (xV, yV)를 구한다.
[수학식 4-2]
Figure 112012064073625-pat00013
여기서, xv, yv는 생성된 가상 시점 영상 평면상의 좌표를 의미하며, KV, RV, TV는 각각 가상 시점 카메라의 내부 파라미터, 회전 행렬, 이동 벡터를 나타낸다. X, Y, Z는 실세계 좌표이다.
이때, 도 7과 같이, 실세계 좌표는 실수이고 영상 좌표는 정수이기 때문에 생기는 계산 오류로 인해 실 잡음이 발생한다. 이러한 실 잡음 영역은 미디안 필터(median filter)를 이용하여 효과적으로 제거할 수 있다.
즉, 상기 가상시점 깊이영상에 미디안 필터(median filter)를 적용하여 실 잡음을 제거한다. 이때, 미디안 필터를 적용하는 영상은, 3D 워핑을 사용하여 최초 생성된 가상시점 깊이 영상을 말한다. 최초 생성되었을 때 실잡음이 생기기 때문에 미디언 필터를 사용하여 제거한다.
다음으로, 가상시점 깊이영상의 가려짐 영역을 상기 보조 기준시점 깊이영상으로 보상한다(S50).
생성된 가상시점 깊이영상에는 원 깊이영상에서는 나타나지 않았던 가려짐 영역이 발생한다. 이러한 가려짐 영역은 보조 기준영상을 통해 생성된 가상시점 깊이영상에서 대응하는 위치를 찾아 보상한다. 도 8은 주 기준영상을 이용하여 생성한 가상시점 깊이영상에 보조 기준시점의 가상시점 깊이영상의 가려짐 영역을 찾아 보상하는 과정을 보여준다.
다음으로, 보상된 가상시점 깊이영상에 남은 가려짐 영역에 대하여 홀 채움 방법을 적용하여 최종 가상시점 깊이영상을 생성한다(S60).
가려짐 영역을 보상한 후에도 여전히 남은 영역이 있거나 또는 보조 기준시점에서 찾을 수 없는 경우에 이러한 영역을 홀(hole)이라 부르고 홀채움 방법으로 보상하게 된다. 일반적인 밝기영상 또는 색상영상에서는 홀의 주변 화소값들을 고려하여 홀을 채우게 된다. 하지만 본 발명에 의한 방법에서는 깊이영상의 특성을 고려하여 홀의 주변 깊이값들 중 최소값을 판단하여 이 값으로 홀을 채운다. 홀 영역은 배경 영역이거나 또는 가장 멀리 있는 객체의 영역일 가능성이 가장 높기 때문이다. 홀 채움 방법을 수행하여 모든 영역을 보상하게 되면 최종 가상시점 깊이지도가 생성된다.
다음으로, 상기 최종 가상시점 깊이영상으로부터 홀로그램을 생성한다(S70).
생성된 가상시점 깊이지도를 이용하여 컴퓨터 생성 홀로그램인 CGH를 생성한다. [수학식 8]을 통해 홀로그램을 생성하기 위해 깊이영상의 깊이값들을 [수학식 9]와 같이 zj로 변환하게 된다.
[수학식 9]
Figure 112012064073625-pat00014
여기서 Dj는 깊이영상의 깊이값을 나타낸다.
다음으로, 본 발명의 효과를 실험 결과를 통해 설명하고자 한다.
본 발명에 따른 가상시점 깊이영상 합성 방법의 성능을 측정하기 위해 MPEG에서 제공하는 다시점 영상 시퀀스인 Cafe, Balloons, Mobile, Lovebird1, Poznan_street 시퀀스를 실험 영상으로 사용한다. 객관적인 화질평가를 위해서 n번과 (n+2) 카메라의 영상을 사용하여 (n+1)번 카메라 영상을 생성하고 주어진 원본 (n+1)번째 영상과 PSNR을 측정하여 도 9에 나타내었다.
도 9에서 알 수 있듯이 본 발명에 따른 방법은 최소 26.81dB에서 최대 40.10dB의 좋은 성능을 보였다. 깊이영상이 정확한 시퀀스일수록 높은 PSNR을 가진 다는 것을 알 수 있다. 기존의 양방향선형보간법과의 비교를 통해 본 발명에 따른 방법이 더 좋은 성능을 보였다. 도 10과 도 11은 원본 깊이영상과 생성된 가상시점 깊이영상을 나타낸다.
실제 세대의 TOF 깊이 카메라를 사용하여 본 발명에 따른 방법의 성능을 측정하였다. Swissranger사의 SR4000 카메라 세대를 이용하여 실험 환경을 구성하였다. 세대의 카메라간의 카메라 보정을 수행하여 카메라 파라미터를 추출한다. 좌, 우 카메라를 기준시점 카메라로 사용하고 중앙의 카메라 영상을 생성하고 원본 영상과 PSNR을 측정하고 도 12에 그 결과를 보였다. 본 발명에 따른 방법은 평균 29.05dB의 성능을 보였다. 도 13는 본 발명에 따른 방법을 통해 생성된 가상시점 영상들을 나타낸다.
최종 생성된 가상시점 깊이영상을 이용하여 생성한 CGH 복원 영상을 도 14에 나타내었다.
다음으로, 본 발명의 일실시예에 따른 가상시점 깊이영상 합성 장치의 구성을 도 15를 참조하여 보다 구체적으로 설명한다.
도 15에서 보는 바와 같이, 본 발명의 일실시예에 따른 가상시점 깊이영상 합성 장치는 기준시점 영상획득부(41), 파라미터 추출부(42), 기준시점 결정부(43), 가상시점 영상생성부(44), 가려짐 보상부(45), 및, 홀채움부(46)로 구성된다. 추가적으로, 홀로그램 생성부(47) 및, 데이터를 저장하기 위한 메모리(48)를 더 포함하여 구성된다.
기준시점 영상획득부(41)는 적어도 2개의 깊이 카메라(이하 기준시점 카메라)로부터 깊이영상(이하 기준시점 깊이영상)을 획득한다.
파라미터 추출부(42)는 카메라 보정을 통해 상기 기준시점 카메라들의 파라미터를 추출한다.
기준시점 결정부(43)는 가상시점 카메라와 최단거리에 있는 카메라(이하 주 기준시점 카메라) 및, 상기 주 기준시점 카메라의 위치와 반대 방향에 있는 기준시점 카메라 중 가장 가까운 카메라(이하 보조 기준시점 카메라)를 결정한다.
가상시점 영상생성부(44)는 상기 주 기준시점 카메라의 파라미터를 이용하여, 상기 주 기준시점 카메라에 의한 기준시점 깊이영상(이하 주 기준시점 깊이영상)으로부터 가상시점 깊이영상을 생성한다.
가려짐 보상부(45)는 상기 가상시점 깊이영상의 가려짐 영역을 상기 보조 기준시점 깊이영상으로 보상한다.
홀채움부(46)는 보상된 가상시점 깊이영상에 남은 가려짐 영역에 대하여 홀 채움 방법을 적용하여 최종 가상시점 깊이영상을 생성한다.
홀로그램 생성부(47)는 상기 최종 가상시점 깊이영상으로부터 홀로그램을 생성한다.
본 발명에서는 가상시점 깊이영상 합성 방법을 통해 다양한 시점의 CGH를 생성할 수 있는 방법 및 장치를 제안하였다. TOF 깊이 카메라를 이용하여 신뢰도 높은 기준시점 얻고 카메라 보정 과정을 통해 깊이 카메라의 카메라 파라미터 정보를 추출한다. 가상시점 카메라와 기준시점 카메라와의 위치와 거리를 고려하여 최상의 가상시점 깊이영상을 생성할 수 있는 주 기준시점 카메라와 보조 기준시점 카메라를 선택한다. 주 기준시점 카메라를 이용하여 가상시점 깊이영상을 생성하고 이 때 발생하는 가려짐 영역은 보조 기준시점으로 생성된 가상시점 깊이영상에서 찾아 보상한다. 이 과정 후에도 남은 홀 영역은 홀 주변 깊이값 중 가장 작은 깊이값으로 채워 최종 가상시점 깊이영상이 생성하였다.
실험을 통해 본 발명에 따른 방법 및 장치의 우수성을 확인하였다. 기존에 RGB 텍스쳐 영상에 중간시점 영상 생성 방법을 적용한 사례는 많이 있지만, CGH를 생성하기 위해 TOF 카메라에서 획득된 깊이 영상의 가상 시점을 생성하는 과정은 흔하지 않다.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 사물 20 : 깊이 카메라
30 : 컴퓨터 단말
40 : 깊이영상 합성 장치 41 : 기준시점 영상획득부
42 : 파라미터 추출부 43 : 기준시점 결정부
34 : 가상시점 영상생성부 45 : 가려짐 보상부
46 : 홀채움부 47 : 홀로그램 생성부
48 : 메모리 60 : 깊이영상

Claims (9)

  1. 다수의 기준시점 카메라의 깊이영상으로부터 가상시점의 깊이영상을 구하는 컴퓨터 홀로그램(CGH) 생성을 위한 가상시점 깊이영상 합성 방법에 있어서,
    (a) 적어도 2개의 깊이 카메라(이하 기준시점 카메라)로부터 깊이영상(이하 기준시점 깊이영상)을 획득하는 단계;
    (b) 카메라 보정을 통해 상기 기준시점 카메라들의 파라미터를 추출하는 단계;
    (c) 가상시점 카메라와 최단거리에 있는 카메라(이하 주 기준시점 카메라) 및, 상기 주 기준시점 카메라의 위치와 반대 방향에 있는 기준시점 카메라 중 가장 가까운 카메라(이하 보조 기준시점 카메라)를 결정하는 단계;
    (d) 상기 주 기준시점 카메라의 파라미터를 이용하여, 상기 주 기준시점 카메라에 의한 기준시점 깊이영상(이하 주 기준시점 깊이영상)으로부터 가상시점 깊이영상을 생성하는 단계;
    (e) 상기 가상시점 깊이영상의 가려짐 영역을 상기 보조 기준시점 깊이영상으로 보상하는 단계; 및,
    (f) 보상된 가상시점 깊이영상에 남은 가려짐 영역에 대하여 홀 채움 방법을 적용하여 최종 가상시점 깊이영상을 생성하는 단계를 포함하고,
    상기 (f)단계에서, 상기 최종 가상시점 깊이영상에서 홀의 주변 깊이값들 중 최소값을 판단하여 상기 최소값으로 홀을 채우는 것을 특징으로 하는 가상시점 깊이영상 합성 방법.
  2. 제1항에 있어서, 상기 방법은,
    (g) 상기 최종 가상시점 깊이영상으로부터 홀로그램을 생성하는 단계를 더 포함하는 것을 특징으로 하는 가상시점 깊이영상 합성 방법.
  3. 제1항에 있어서,
    상기 깊이 카메라는 TOF(time of flight) 깊이 카메라인 것을 특징으로 하는 가상시점 깊이영상 합성 방법.
  4. 제1항에 있어서,
    상기 (b)단계에서, 사각 체크보드 형식의 카메라 보정판을 사용하고, 각 카메라가 동시에 상기 보정판을 촬영하고, 상기 보정판의 같은 특징점간의 관계를 이용하여 카메라간의 상대적인 위치를 나타내는 카메라 외부 파라미터를 추출하고, 한 영상 안에서의 특징점간의 위치 관계를 계산하여 해당 카메라의 내부 파라미터도 추출하는 것을 특징으로 하는 가상시점 깊이영상 합성 방법.
  5. 제1항에 있어서, 상기 (d)단계는,
    (d1) 상기 주 기준시점 카메라의 파라미터를 이용하여, 상기 주 기준시점 깊이영상의 영상 좌표에서 실세계 좌표로 변환하는 단계;
    (d2) 상기 주 기준시점 및 보조 기준시점 카메라의 파라미터를 이용하여, 상기 가상시점 카메라의 파라미터를 구하는 단계; 및,
    (d3) 상기 실세계 좌표에 상기 가상시점 카메라의 파라미터를 곱하여 가상시점 깊이영상을 생성하는 단계를 포함하는 것을 특징으로 하는 가상시점 깊이영상 합성 방법.
  6. 제5항에 있어서,
    상기 (d1)단계에서, 다음 [수식 1]을 통해 실세계 좌표 (X, Y, Z)를 계산하는 것을 특징으로 하는 가상시점 깊이영상 합성 방법.
    [수식 2]
    Figure 112012064073625-pat00015

    단, K, R, T는 주 기준시점 카메라의 각각 내부 파라미터, 회전 행렬, 이동 벡터이고,
    x, y는 주 기준시점 깊이영상의 영상 평면에 투영된 물체의 2D 좌표임.
  7. 제5항에 있어서,
    상기 (d2)단계에서, 다음 [수식 2]를 통해 가상시점 카메라의 파라미터 KV, RV, TV 를 계산하는 것을 특징으로 하는 가상시점 깊이영상 합성 방법.
    [수식 2]
    Figure 112012064073625-pat00016

    단, K, R, T는 각각 카메라의 내부 파라미터, 회전 행렬, 이동 벡터를 나타내고, 아래 첨자 V는 가상 시점, M은 주 기준시점, S은 보조 기준시점 카메라를 각각 의미하고, Ratio는 주 기준시점 및 보조 기준시점 간의 카메라 거리를 1로 하고 가상 시점의 카메라와 두 기준시점 사이의 거리 비율임.
  8. 제1항에 있어서,
    상기 (d)단계에서, 상기 가상시점 깊이영상에 미디안 필터(median filter)를 적용하여 실 잡음을 제거하는 것을 특징으로 하는 가상시점 깊이영상 합성 방법.
  9. 삭제
KR1020120087674A 2012-08-10 2012-08-10 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법 KR101411568B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120087674A KR101411568B1 (ko) 2012-08-10 2012-08-10 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120087674A KR101411568B1 (ko) 2012-08-10 2012-08-10 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법

Publications (2)

Publication Number Publication Date
KR20140021765A KR20140021765A (ko) 2014-02-20
KR101411568B1 true KR101411568B1 (ko) 2014-06-27

Family

ID=50268006

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120087674A KR101411568B1 (ko) 2012-08-10 2012-08-10 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법

Country Status (1)

Country Link
KR (1) KR101411568B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11037362B2 (en) 2019-06-27 2021-06-15 Electronics And Telecommunications Research Institute Method and apparatus for generating 3D virtual viewpoint image

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101529820B1 (ko) * 2014-04-01 2015-06-29 한국방송공사 월드 좌표계 내의 피사체의 위치를 결정하는 방법 및 장치
KR102209907B1 (ko) * 2019-04-01 2021-01-29 재단법인 다차원 스마트 아이티 융합시스템 연구단 시점 변환을 이용하는 360도 영상 저장 방법 및 렌더링 방법
KR102129071B1 (ko) * 2019-06-05 2020-07-01 세종대학교산학협력단 스캐닝 홀로그램 기반 자동광학검사 장치 및 방법
US11809134B2 (en) 2019-06-05 2023-11-07 Cubixel Co., Ltd. Method and apparatus of automatic optical inspection using scanning holography
KR102554697B1 (ko) * 2019-06-27 2023-07-13 한국전자통신연구원 가상 시점 영상 합성 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120054790A (ko) * 2010-11-22 2012-05-31 광운대학교 산학협력단 중간영상을 생성하여 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120054790A (ko) * 2010-11-22 2012-05-31 광운대학교 산학협력단 중간영상을 생성하여 시청자의 시점에 따라 홀로그래픽 영상을 복원하는 다시점 기반 대화형 홀로그래픽 복원 장치 및 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11037362B2 (en) 2019-06-27 2021-06-15 Electronics And Telecommunications Research Institute Method and apparatus for generating 3D virtual viewpoint image

Also Published As

Publication number Publication date
KR20140021765A (ko) 2014-02-20

Similar Documents

Publication Publication Date Title
US10944960B2 (en) Free-viewpoint video generating method and free-viewpoint video generating system
CN108734776B (zh) 一种基于散斑的三维人脸重建方法及设备
KR101697184B1 (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
KR101411568B1 (ko) 컴퓨터 홀로그램 생성을 위한 가상시점 깊이영상 합성 방법
TWI748949B (zh) 用於使用深度資訊之全視差壓縮光場合成之方法
US8878896B2 (en) Apparatus method and system for imaging
WO2012056686A1 (ja) ３次元画像補間装置、３次元撮像装置および３次元画像補間方法
GB2576548A (en) Method and system for reconstructing colour and depth information of a scene
JP5852093B2 (ja) 映像処理装置、映像処理方法、プログラム
Graziosi et al. Compression for full-parallax light field displays
KR20140121107A (ko) 다시점 기반의 홀로그램 생성 방법 및 장치
KR102277098B1 (ko) 포인트 클라우드 및 메쉬를 이용한 체적형 홀로그램 생성 방법
KR20120045269A (ko) 3ｄ 메쉬 모델링 및 에볼루션에 기반한 홀로그램 생성 방법 및 장치
KR20140126120A (ko) 디지털 홀로그램 합성 방법 및 그 장치
KR20180128303A (ko) 홀로그램 재현 영상의 공간 해상도를 측정 및 평가하는 방법 및 장치
KR101348929B1 (ko) 깊이 조절을 이용한 레이어 합성 기반 다시점 영상 생성 방법
KR101906936B1 (ko) 라이트 필드 홀로그램 생성 장치 및 방법
KR101657367B1 (ko) 룩업 테이블과 영상의 블록 움직임 보상을 이용한 컴퓨터 형성 홀로그램 산출 방법
KR101378910B1 (ko) 임의의 가상시점 홀로그램 서비스를 위한 의사변위 기반 중간시점 영상 생성 방법
EP3747195A1 (en) Method and apparatus for compensating motion for a holographic video stream
CN112562007B (zh) 一种基于三目约束的包裹相位非展开快速立体匹配方法
Chuchvara et al. A speed-optimized RGB-Z capture system with improved denoising capabilities
CN112325799A (zh) 一种基于近红外光投影的高精度三维人脸测量方法
US20130229408A1 (en) Apparatus and method for efficient viewer-centric depth adjustment based on virtual fronto-parallel planar projection in stereoscopic images
Bokov et al. Toward efficient background reconstruction for 3D-view synthesis in dynamic scenes

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180604

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190603

Year of fee payment: 6