KR101289283B1 - 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법 - Google Patents

하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법 Download PDF

Info

Publication number
KR101289283B1
KR101289283B1 KR1020120025483A KR20120025483A KR101289283B1 KR 101289283 B1 KR101289283 B1 KR 101289283B1 KR 1020120025483 A KR1020120025483 A KR 1020120025483A KR 20120025483 A KR20120025483 A KR 20120025483A KR 101289283 B1 KR101289283 B1 KR 101289283B1
Authority
KR
South Korea
Prior art keywords
image
multiview
holographic
complexity
camera
Prior art date
Application number
KR1020120025483A
Other languages
English (en)
Inventor
최현준
장석우
이숙윤
Original Assignee
안양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 안양대학교 산학협력단 filed Critical 안양대학교 산학협력단
Priority to KR1020120025483A priority Critical patent/KR101289283B1/ko
Application granted granted Critical
Publication of KR101289283B1 publication Critical patent/KR101289283B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

다시점 카메라 및 구조광 카메라에 의해 촬상된 영상으로부터 홀로그래픽 영상을 복원하는 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법에 관한 것으로서, (a) 다시점 카메라에 의해 촬영된 영상(이하 다시점 영상) 및 구조광 카메라에 의해 촬영된 영상(이하 구조광 영상)을 입력받는 단계; (b) 다시점 영상의 에지 크기를 평균하여 텍스쳐 복잡도를 추출하고, 복잡도를 사전에 정해진 임계치와 대비하는 단계; (c) 복잡도가 임계치보다 큰 경우, 다시점 영상으로부터 깊이정보 영상을 추출하는 단계; (d) 복잡도가 임계치보다 작은 경우, 구조광 영상으로부터 깊이정보 영상을 추출하는 단계; (e) 깊이정보 영상으로부터 홀로그래픽 영상을 생성하는 단계; 및, (f) 홀로그래픽 영상을 공간광변조기(SLM)에 의해 복원하여 재생하는 단계를 포함하는 구성을 마련한다.
상기와 같은 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법에 의하여, 다양한 해상도를 갖는 디스플레이, 수신단의 연산 능력, 그리고 네트워크의 대역폭에 따라 적응적으로 홀로그래픽 비디오를 서비스할 수 있다.

Description

하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법 { A Holographic Display Method using a Hybrid Image Acquisition System }
본 발명은 다시점 카메라 및 구조광 카메라에 의해 촬상된 영상으로부터 깊이정보를 추출하고, 상기 깊이정보로부터 홀로그래픽 영상을 생성하여 복원하는 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법에 관한 것이다.
3차원 입체 비디오 서비스는 차세대 정보통신서비스의 핵심으로 사회 선진화와 더불어 수요 및 기술개발 경쟁이 치열한 고도의 최첨단 기술이며, 그 최종목표는 완전한 입체 홀로그램 서비스이다. 이 기술은 정보통신, 방송, 의료, 교육훈련, 군사, 게임, 애니메이션, 가상현실, CAD, 산업기술 등 응용분야가 매우 다양하며, 이에 대한 중요성과 필요성 때문에 관련 연구가 이미 활발히 진행되고 있다[문헌 1].
인간의 착시현상을 이용해 허공에 입체영상을 띄우는 홀로그램의 원리는 이미 19세기 후반에 등장했다. 1870년대 영국에서는 거울과 투명한 막을 교묘하게 설치하면 빛이 반사되면서 허공에 무엇인가 떠있는 듯 보인다는 사실을 발견했다. 이 기술은 극장에서 귀신놀이를 하는 데에 활용되어 화제를 모았고 '페퍼스 고스트(Pepper's Ghost)'라고 불렸다. 현대적인 홀로그램은 두 개의 레이저광이 만나 일으키는 빛의 간섭효과를 이용하여 3차원 이미지를 기록하는 것이다[문헌 2].
최근 들어, TV도 영화도 입체영상을 보여주는 3D가 대중화되기 시작했다. 원근감이 느껴지는 이러한 3D TV의 입체영상과 홀로그램의 차이에 대해 설명한다. 홀로그램은 시청하는 위치에 따라 입체적인 모습이 달라진다는 것이다. 즉, 어떤 위치에서는 사물의 왼쪽이 보이고 장소를 옮기면 정면과 오른쪽 모습이 보인다. 한편, 현재 출시되는 3D TV는 편광안경을 써야만 원근감을 느낄 수 있는 영상을 시청할 수 있다. 3D TV에 비친 영상은 위치를 옮겨도 다른 모습이 등장하지는 않는다. 하지만 홀로그램은 원래의 3차원 입체상을 공간상에 정확히 재현할 수 있는 가장 이상적인 입체 시각 시스템이다.
이처럼 압도적인 현실감을 구현하는 홀로그램의 가장 큰 단점은 실제 크기의 입체영상을 구현하려면 대형의 광학설비가 필요하며, 기존의 영상매체보다 매우 많은 데이터를 요구한다는 것이다. 하지만 최근 광통신 데이터 전송량은 기하급수적으로 늘어나고 홀로그램 전용스크린과 같은 광학설비 가격도 크게 저렴해지고 있어 홀로그램의 대중화는 그리 머지않다[문헌 3]. 홀로그램 서비스는 향후에 본격적으로 시행될 것으로 예측되고 있으며, 이를 위해 홀로그램 획득기술을 필두로 표준화 작업에 돌입할 것으로 예상되고 있다.
본 발명에서는 구조광(structured-light) 카메라와 다시점(multi-view) 카메라를 기반으로 하는 초다시점(디지털 홀로그래픽) 영상 디스플레이 방법을 제안한다. 이 시스템은 다시점 카메라 및 구조광 카메라를 이용해 깊이정보를 획득한 후 CGH(computer-generated hologram) 기법으로 디지털 홀로그램을 생성한다[문헌 4,5]. 그리고 생성한 디지털 홀로그램은 SLM(spatial-light modulator)과 광학시스템을 이용해 디지털 홀로그래픽 복원영상으로 디스플레이 된다[문헌 6,7].
[문헌 1] 유지상, "3D 영상시대의 전망", 한국통신사업자연합회 BIZ Story, Vol. 52, pp. 66-71, 2010년 4월. [문헌 2] D. E. Smalley, Q. Y. J. Smithwick, and V. M. Bove, Jr., "Practical Holography XXI," in Proc. of SPIE 6488, 2007. [문헌 3] B. Javidi and F. Okano, "Three-dimensional Television, Video, and Display Technologies," Springer-Verlag, 2002. [문헌 4] T. Shimobaba, T. Ito, N Masuda, Y Ichihashi, and N. Takada, "Fast calculation of computer-generated-hologram on AMD HD5000 series GPU and OpenCL," Opt. Express, Vol. 18, pp. 9955??9960, May 2010. [문헌 5] Y. Z. Liu, J. W. Dong, Y. Y. Pu, B. C. Chen, H. X. He, and H. Z. Wang, "High-speed full analytical holographic computations for true-life scenes," Opt. Express, Vol. 18, pp. 3345??3351, Feb. 2010. [문헌 6] Y. Ichihashi, H. Nakayama, T. Ito, N Masuda, T. Shimobaba, A Shiraki, and T. Sugie, "HORN-6 special-purpose clustered computing system for electroholography," Opt. Express, Vol. 17, pp. 13895??13903, Aug. 2009. [문헌 7] Y. H. Seo, H. J. Choi, J. S. Yoo, and D. W. Kim, "Cell-based hardware architecture for full-parallel generation algorithm of digital holograms," Opt. Express, Vol. 19, pp. 8750-8761, Apr. 2011. [문헌 8] C. Rocchini, P. Cignoni, C. Motani, P. Pingi, and R. Scopigno, "A low cost 3D scanner based on structured light," EUROGRAPHICS 2001, Vol. 20, No. 3, 2001.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위한 것으로, 다시점 카메라 및 구조광 카메라에 의해 촬상된 영상으로부터 깊이정보를 추출하고, 상기 깊이정보로부터 홀로그래픽 영상을 생성하여 복원하는 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법을 제공하는 것이다.
상기 목적을 달성하기 위해 본 발명은 다시점 카메라 및 구조광 카메라에 의해 촬상된 영상으로부터 홀로그래픽 영상을 복원하는 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법에 관한 것으로서, (a) 다시점 카메라에 의해 촬영된 영상(이하 다시점 영상) 및 구조광 카메라에 의해 촬영된 영상(이하 구조광 영상)을 입력받는 단계; (b) 상기 다시점 영상의 에지 크기를 평균하여 텍스쳐 복잡도를 추출하고, 상기 복잡도를 사전에 정해진 임계치와 대비하는 단계; (c) 상기 복잡도가 상기 임계치보다 큰 경우, 상기 다시점 영상으로부터 깊이정보 영상을 추출하는 단계; (d) 상기 복잡도가 상기 임계치보다 작은 경우, 상기 구조광 영상으로부터 깊이정보 영상을 추출하는 단계; (e) 상기 깊이정보 영상으로부터 홀로그래픽 영상을 생성하는 단계; 및, (f) 상기 홀로그래픽 영상을 공간광변조기(SLM)에 의해 복원하여 재생하는 단계를 포함하는 것을 특징으로 한다.
또, 본 발명은 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법에 있어서, 상기 (b)단계에서, 상기 다시점 영상 중 적어도 2개의 다시점 영상에 대하여 라플라시안(Laplacian) 에지를 구하고, 상기 라플라시안 에지의 크기를 평균하여 상기 텍스쳐의 복잡도를 구하는 것을 특징으로 한다.
또, 본 발명은 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법에 있어서, 상기 다시점 영상이 칼라 영상인 경우, 상기 칼라 영상을 그레이로 변환하여 그레이 영상을 대상으로 상기 복잡도를 구하는 것을 특징으로 한다.
또, 본 발명은 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법에 있어서, 상기 다시점 영상 I의 픽셀 (x,y)에 대한 라플라시안 에지 EI(x,y)를 다음 [수식 1]을 이용하여 구하고,
[수식 1]
Figure 112012020172986-pat00001
상기 텍스쳐의 복잡도는 다음 [수식 2]에 의해 계산하는 것을 특징으로 한다.
[수식 2]
Figure 112012020172986-pat00002
단, Ia, Ib는 2개의 다시점 영상이고, m, n은 각각 다시점 영상의 x, y좌표의 크기임.
또, 본 발명은 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법에 있어서, 상기 (b)단계에서, 상기 다시점 영상에서 샘플링하여 샘플링된 영상에 대하여 텍스쳐의 복잡도를 구하는 것을 특징으로 한다.
또, 본 발명은 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법에 있어서, 상기 (a)단계에서, 적어도 2개의 다시점 영상에서 서로 대응되는 특징점을 추출하여 상기 특징점으로부터 변이를 추정하고, 상기 특징점은 영상의 경계(이하 경계 영상)로부터 추출하고, 상기 경계 영상은 연속적인 경로를 탐색하는 동적 계획법을 이용하여 추출하는 것을 특징으로 한다.
또, 본 발명은 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법에 있어서, 상기 다시점 영상을 R(red), G(green), B(blue), W(white)의 4개의 채널로 분할하고, 소벨 마스크를 이용하여 채널별로 경계 영상을 추출하되, 상기 W 채널의 경계 영상은 상기 R, G, B 채널의 경계 영상에 속하지 않는 성분으로 구성되는 것을 특징으로 한다.
또, 본 발명은 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법에 있어서, 상기 동적 계획법에 의해 추출된 연속적인 경로를 비용 행렬을 이용하여 검증하는 것을 특징으로 한다.
또한, 본 발명은 상기 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
상술한 바와 같이, 본 발명에 따른 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법에 의하면, 다양한 해상도를 갖는 디스플레이, 수신단의 연산 능력, 그리고 네트워크의 대역폭에 따라 적응적으로 홀로그래픽 비디오를 서비스할 수 있는 효과가 얻어진다.
도 1은 본 발명을 실시하기 위한 전체 시스템의 구성을 도시한 도면이다.
도 2는 본 발명에 따른 구조광 카메라의 구조를 도시한 것이다.
도 3은 본 발명에 따른 다시점 카메라의 일례로서, 본 발명에 따른 평행식으로 배열된 8시점 카메라의 구성을 도시한 것이다.
도 4는 본 발명의 일실시예에 따른 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법을 설명하는 흐름도이다.
도 5는 본 발명에 따른 라플라시안 에지 연산자의 마스크의 일례를 도시한 것이다.
도 6은 본 발명에 따른 텍스처가 풍부한 영상 및 빈약한 영상의 일례를 도시한 것이다.
도 7는 본 발명에 따른 경계 영상을 생성하기 위해 다시점 영상의 분할 영상의 일례이다.
도 8은 본 발명에 따른 디지털 홀로그램의 획득 및 객체 재생 과정을 설명한 도면이다.
도 9은 본 발명에 따른 디지털 홀로그래픽 재생 시스템의 블록도 및 구현한 일례를 도시한 것이다.
도 10은 본 발명의 실험에 따른 실험 영상의 일례이다.
도 11은 본 발명의 실험에 따른 디지털 홀로그램의 복원을 위한 광학 파리미터들의 일례를 표시한 표이다.
도 12은 본 발명의 실험에 따른 실험결과 영상으로서, 디지털 홀로그램 및 복원영상의 예이다.
이하, 본 발명의 실시를 위한 구체적인 내용을 도면에 따라서 설명한다.
또한, 본 발명을 설명하는데 있어서 동일 부분은 동일 부호를 붙이고, 그 반복 설명은 생략한다.
먼저, 본 발명을 실시하기 위한 전체 시스템의 구성의 예들에 대하여 도 1을 참조하여 설명한다.
도 1에서 보는 바와 같이, 본 발명에 따른 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법은 다시점 카메라(21)에 의해 촬영된 다시점 영상(61)과 구조광 카메라(22)에 의해 촬영된 구조광 영상(62)을 입력받아 깊이정보 영상을 생성하는 컴퓨터 단말(30) 상의 프로그램 시스템으로 실시될 수 있다. 즉, 홀로그래픽 영상 복원 방법은 프로그램으로 구성되어 컴퓨터 단말(30)에 설치되어 실행될 수 있다. 컴퓨터 단말(30)에 설치된 프로그램은 하나의 프로그램 시스템(40)과 같이 동작할 수 있다.
한편, 다른 실시예로서, 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법은 프로그램으로 구성되어 범용 컴퓨터에서 동작하는 것 외에 ASIC(주문형 반도체) 등 하나의 전자회로로 구성되어 실시될 수 있다. 또는 다시점 영상 및 구조광 영상으로부터 홀로그래픽 영상을 생성하는 것만을 전용으로 처리하는 전용 컴퓨터 단말(20)로 개발될 수도 있다. 이를 홀로그래픽 영상 복원 장치(40)라 부르기로 한다. 그 외 가능한 다른 형태도 실시될 수 있다.
다시점 카메라(21)는 하나의 물체(10)를 다수의 시점으로 촬영하는 장치이다. 촬영된 영상(61)은 상기 다시점 카메라(21)로 촬영된 다시점 영상이다. 또, 상기 다시점 영상(61)은 컴퓨터 단말(30)에 직접 입력되어 저장되고, 홀로그래픽 복원 장치(40)에 의해 처리된다.
구조광 카메라(22)는 한쪽에서는 프로젝터와 광원을 사용하여 코드화된 패턴 영상을 연속적으로 투영하고, 다른 한 쪽에서는 카메라를 통해 패턴이 투영된 장면의 영상을 획득하는 장치를 말한다. 프로젝터에서 투영하는 패턴 영상 및 카메라에 의해 획득하는 투영 영상을 구조광 영상(62)이라 부르기로 한다.
구조광 영상(62)은 컴퓨터 단말(30)에 직접 입력되어 저장되고, 홀로그래픽 복원 장치(40)에 의해 처리된다. 이때, 패턴 영상과 투영 영상 간의 대응점을 구하여 삼각법으로 3차원의 거리가 계산된다.
다시점 영상 또는 구조광 영상(61,62)은 시간상으로 연속된 프레임으로 구성된다. 하나의 프레임은 하나의 이미지를 갖는다. 또한, 영상(61,62)은 하나의 프레임(또는 이미지)을 가질 수도 있다. 즉, 영상(61,62)은 하나의 이미지인 경우에도 해당된다.
다른 실시예로서, 영상(61,62)은 컴퓨터 단말(30)의 저장매체에 미리 저장되고, 홀로그래픽 복원 장치(40)에 의해 저장된 영상(61,62)을 읽어 입력될 수도 있다.
홀로그래픽 영상 복원 장치(40)는 다시점 영상 또는 구조광 영상(61,62)으로부터 깊이정보 영상을 추출하고, 상기 깊이정보 영상으로부터 홀로그래픽 영상을 생성한다.
다음으로, 본 발명에 따른 하이브리드 영상획득 장치(또는 초다시점 영상인 홀로그래픽 영상을 재생하기 위한 실사정보 획득 장치들)에 대하여 도 2 및 도 3을 참조하여 보다 구체적으로 설명한다.
먼저, 구조광 카메라(22)에 대하여 설명한다.
도 2에서 보는 바와 같이, 구조광 3차원 방법이란 한쪽에서는 프로젝터와 광원을 사용하여 코드화된 패턴 영상을 연속적으로 투영하고, 다른 한 쪽에서는 카메라를 통해 패턴이 투영된 장면의 영상을 획득한 후, 카메라와 프로젝터 간의 대응점을 구하여 삼각법으로 3차원의 거리를 계산하는 방법이다. 이는 벽과 같이 텍스쳐가 존재하지 않는 물체는 3차원 측정이 불가능한 기존의 수동 스테레오 방법의 단점을 극복한 것으로, 카메라와 프로젝터의 대응점을 추출함으로써 물체의 표면이나 모양에 관계없이 3차원 측정이 가능하다[문헌 8].
구조광 3차원 방법은 패턴을 투사하는 광원부를 필요로 하는데, CCTV와 같은 고속 시스템에 사용하기 위해서는 프로젝터를 고속으로 제어하고 패턴을 생성할 수 있는 모듈을 필요로 한다. 본 발명에서는 프로젝션부를 위해 DLP(digital light processing) 프로젝터를 사용하였으며, 이를 하드웨어(hardware)로 제어하고 패턴을 생성할 수 있는 시스템을 구축하였다. DLP 프로젝터의 핵심 부품은 DMD(digital micromirror device) 모듈이다. DMD 모듈은 거울(mirror)들의 on/off(1 또는 0)에 따라서 빛이 렌즈를 통하여 투사되는 방식이다.
일반적인 DLP 프로젝터는 노트북이나 모니터의 VGA 케이블을 통하여 영상이 투사되는 용도로 사용된다. 그러나 본 발명에서 프로젝터는 노트북이나 모니터와 같은 멀티미디어 장비에 연결할 경우 고속으로 제어할 수가 없고, 카메라 시스템과의 동기를 제어하기가 어렵다. 따라서 본 발명에서는 VGA 인터페이스의 구동이 가능한 회로를 구현하여 DMD를 제어하여 프로젝터부를 구성하였다.
다음으로, 다시점 카메라(21)에 대하여 설명한다.
초다시점을 위한 카메라 시스템은 두 대 이상의 다시점 카메라를 이용하여 사용자에게 원하는 시점의 2D 혹은 3D 입체 영상을 제공할 수 있어야 한다.
다시점 영상을 획득하기 위한 카메라의 배열은 그 목적에 맞게 여러 가지 형태를 가질 수 있다. 카메라 두 대를 이용한 스테레오(stereo) 카메라, m×n 매트릭스 형태의 카메라 배열, 평행식(parallel type) 또는 수렴식(convergence type) 등이 있다.
이와 같은 다양한 카메라 시스템을 이용해 획득된 다시점 영상의 활용(깊이정보 추출, 중간시점 영상 생성 등)에 대한 연구들이 진행되고 있다. 본 발명에서는 8대의 평행식으로 구성된 다시점 카메라와 1대의 깊이(Depth) 카메라를 이용하여 신뢰도 높은 깊이정보(depth map)을 추출하였다.
도 3은 평행식의 8시점 카메라 배열을 보여준다. 각 카메라간의 간격은 약 20cm 정도이며, 지상으로부터 1.5m 정도의 높이에 설치된다. 각 카메라에는 독립된 PC가 연결되어 실시간 획득 및 처리를 가능하게 하였고, 이러한 평행식의 다시점 카메라를 이용하여 홀로그램을 위한 정교한 깊이정보를 생성하였다.
다음으로, 본 발명의 일실시예에 따른 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법을 도 4를 참조하여 보다 구체적으로 설명한다.
도 4에서 보는 바와 같이, 본 발명에 따른 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법은 (a) 다시점 카메라 및 구조광 카메라에 의해 촬영된 영상을 입력받는 단계(S10); (b) 텍스쳐 복잡도를 추출하여 임계치와 대비하는 단계(S20); (c) 복잡도가 임계치보다 크면, 다시점 영상으로부터 깊이정보 영상을 추출하는 단계(S30); (d) 복잡도가 임계치보다 작으면, 구조광 영상으로부터 깊이정보 영상을 추출하는 단계(S40); (e) 상기 깊이정보 영상으로부터 홀로그래픽 영상을 생성하는 단계(S50); 및, (f) 상기 홀로그래픽 영상을 공간광변조기(SLM)에 의해 복원하여 재생하는 단계(S60)로 구성된다.
즉, 본 발명에 따른 홀로그래픽 영상 복원 방법은 구조광 카메라 혹은 다시점 카메라 시스템을 이용하여 깊이정보를 획득한 후 CGH 방법으로 디지털 홀로그램을 생성한다. 이를 SLM에 디스플레이한 후 광학 시스템을 이용해 홀로그래픽 복원영상을 재생하는 시스템이다.
먼저, 다시점 카메라 및 구조광 카메라에 의해 촬영된 영상을 입력받는다(S10). 이때, 다시점 카메라(21)에 의해 촬영된 영상을 다시점 영상이라고 하고, 구조광 카메라(22)에 의해 촬영된 영상을 구조광 영상이라고 하기로 한다. 다시점 영상 및 구조광 영상은 기록매체 등에 미리 저장된 데이터를 읽어올 수도 있다.
다음으로, 다시점 영상의 에지 크기를 평균하여 텍스쳐 복잡도를 추출하고, 상기 복잡도를 사전에 정해진 임계치와 대비한다(S20). 이때, 다시점 영상 중 적어도 2개의 다시점 영상에 대하여 라플라시안(Laplacian) 에지를 구하고, 상기 라플라시안 에지의 크기를 평균하여 상기 텍스쳐의 복잡도를 구한다.
본 발명에서는 카메라가 위치한 주변 환경의 복잡도에 따라 다시점 카메라와 구조광 카메라로부터 각각 획득한 영상을 적응적으로 선택함으로써 깊이정보를 보다 정확하게 추출한다. 본 발명에서 채택한 적응적인 영상획득을 위한 기본 방침은 카메라가 위치한 주변 환경에 텍스쳐가 없거나 부족할 경우에는 구조광 카메라를 통해 획득한 영상을 사용하고, 그렇지 않을 경우에는 다시점 카메라를 통해 획득한 영상을 사용한다는 것이다.
이를 위해, 다시점 영상에서 텍스처가 얼마나 존재하는지를 나타내는 텍스쳐(texture)의 복잡도를 측정한다. 바람직하게는, 적어도 2개의 다시점 영상을 초기에 분석하여 현재 촬영된 환경에 텍스쳐가 얼마나 많이 존재하는지를 측정한다.
예를 들어, 앞서 도 3의 예에서 다시점 카메라 중 3번째와 6번째 카메라로 촬영한 두 개의 영상을 이용한다.
한편, 상기 다시점 영상이 칼라 영상인 경우, 상기 칼라 영상을 그레이로 변환하여 그레이 영상을 대상으로 상기 복잡도를 구한다.
구체적으로, 텍스처의 복잡도는 영상 내에 존재하는 에지의 크기를 측정하여 추출하는데, 본 발명에서는 여러 가지 에지 연산자 중에서 사용이 간편한 라플라시안(Laplcian) 에지 연산자를 활용한다. 일반적으로, 그레이 영상 I(x,y)의 (x,y) 위치에 존재하는 라플라시안 에지 EI(x,y)는 다음 [수학식 1]을 이용하여 구할 수 있다.
[수학식 1]
Figure 112012020172986-pat00003
도 5는 라플라시안 에지 연산자의 마스크(mask)를 보여준다.
[수학식 1]을 기반으로 현재 촬영되는 장면에 대한 텍스처의 복잡도 Texture(Ia,Ib)는 다음 [수학식 2]와 같은 척도(measure)를 이용하여 측정한다.
[수학식 2]
Figure 112012020172986-pat00004
여기서, Ia, Ib는 2개의 다시점 영상이다. 앞서의 예에서 Ia, Ib는 각각 3번째와 6번째 카메라로 촬영한 칼라영상을 그레이로 변환한 영상을 의미한다. 또한, m과 n은 영상의 가로와 세로의 크기를 의미한다.
상기 [수학식 2]에서 보는 바와 같이, 본 발명에서는 2개의 다시점 카메라의 영상에서 각각 계산한 에지의 크기를 평균하여 현재 장면에 대한 텍스처의 복잡도로 활용한다.
바람직하게는, 상기 다시점 영상에서 샘플링하여 샘플링된 영상에 대하여 텍스쳐의 복잡도를 구한다. 즉, 텍스처의 복잡도를 추출하는 과정은 영상 전체의 화소에 대해 수행될 수도 있고, 만일 시간적인 복잡도를 줄이기를 원한다면 영상을 일정한 간격만큼 수평 및 수직 방향으로 샘플링하여 선택한 후 텍스처의 복잡도를 보다 간편하게 계산할 수도 있다.
텍스처의 복잡도에 대한 실질적인 예로, 도 6(a)은 텍스처가 풍부한 장면을 나타내고, 도 6(b)는 텍스처가 매우 빈약한 장면을 나타낸다.
상기와 같이 복잡도를 구한 후, 상기 텍스쳐 복잡도를 사전에 정해진 임계치 TH 와 대비한다. 그리고 임계치 TH는 여러 환경에서 촬영한 영상을 이용한 반복적인 실험을 통해 인위적으로 결정한다. 도 6의 예를 보면, 도 6(a)의 영상에 대한 복잡도는 임계치 TH 보다 클 것이고, 도 6(b)의 영상에 대한 복잡도는 임계치 TH 보다 작을 것이다.
이하에서 보는 바와 같이, 상기와 같이 추출된 현재 장면에 대한 텍스처의 복잡도 Texture(Ia,Ib)가 정해진 임계치 TH 보다 클 경우에는 현재 장면 내에 텍스처가 충분히 존재한다고 판단하고 다시점 카메라로 획득한 영상으로부터 깊이정보 영상을 추출하고. 반면에, Texture(Ia,Ib)가 임계치 TH 보다 작을 경우에는 현재 장면에 텍스처가 없거나 부족하다고 판단하고, 구조광 카메라로 획득한 영상을 이용하여 깊이 정보를 추출한다.
예를 들어, 벽과 같이 텍스쳐가 존재하지 않는 물체(10)의 부분에는 다시점 카메라(21)를 통해 특징점을 찾기가 어렵다. 반면, 구조광 카메라(22)에서는 패턴 영상을 물체(10)의 벽과 같은 평면에 투영하면, 상기 물체(10)로부터 투영된 영상을 촬상한 투영 영상에는 상기 패턴이 잘 나타난다. 따라서 구조광 카메라(22)에 의해 텍스쳐가 없는 부분에서 깊이정보를 더 정확하게 추출할 수 있다.
구체적으로, 복잡도가 상기 임계치보다 큰 경우, 상기 다시점 영상으로부터 깊이정보 영상을 추출한다(S30).
이 단계에서, 적어도 2개의 다시점 영상에서 서로 대응되는 특징점을 추출하여 상기 특징점으로부터 변이를 추정한다. 이때, 상기 특징점은 영상의 경계(이하 경계 영상)로부터 추출한다. 또한, 상기 경계 영상은 연속적인 경로를 탐색하는 동적 계획법을 이용하여 추출한다. 상기 동적 계획법에 의해 추출된 연속적인 경로를 비용 행렬을 이용하여 검증한다.
즉, 본 발명에서는 에지 정보를 사용한 동적 계획법 기반의 변이 추청 방법과 비용행렬 생성 시 스트리킹(streaking)의 원인이 되는 연속적인 경로 탐색에 대한 신뢰성을 검증하기 위한 알고리듬을 제안한다. 본 발명에서는 보다 효율성을 높이기 위하여 영상의 특징 정보를 이용하여 연속적인 경로 탐색에 대한 신뢰성을 확인하여 최적의 변이 값을 할당받을 수 있도록 하였다.
경계영상에 대하여 구체적으로 설명한다. 즉, 영상의 특징 정보로는 영상의 경계를 사용한다.
본 발명에 따른 방법에서는 영상을 도 7와 같이 R(red), G(green), B(blue), W(white)의 네 가지 채널로 분할하고, 소벨 마스크를 이용하여 채널별 경계 정보를 구하였다. 영상을 분할할 때 보다 정확한 영상의 성분을 얻기 위해서 R, G, B 채널 이외에 화이트(White) 채널을 추가하여 분할하였다. 화이트(White) 채널은 R, G, B 채널에 속하지 않은 애매모호한 성분들을 추려내었다. 경계 부분을 정확하게 추출한다는 것은 쉽지 않다.
다음으로, 연속적인 경로를 검증하는 방법을 설명한다.
또한, 본 발명에서는 연속적인 경로에 대한 이웃 화소값과의 차이를 확인하면서 경계 지점을 고려하여 연속적인 경로에 대한 신뢰성을 점검한다. 비용 행렬을 생성한 후, 역 추적과정에서 화소값과의 차이가 정해 놓은 문턱치 이상인 경우, 그 위치의 화소들은 다른 객체간의 화소라고 인정하고 [수학식 3]과 [수학식 4]를 이용하여 올바른 경로에 대한 신뢰성을 확인하며 변이 정보검색을 실시한다.
[수학식 3]
Figure 112012020172986-pat00005
[수학식 4]
Figure 112012020172986-pat00006
경계 지점은 각 채널의 경계 정보를 이용한다. 현재 지점이 연속적인 경로에 해당할 때, 각 채널의 해당하는 화소의 위치를 확인한다. 그리고 화소의 위치가 확인되면 그 지점이 경계에 해당하는지를 점검한다. 만일 그 화소의 위치가 경계 지점이라면 연속적인 경로를 인정하고, 경계 지점이 아니라면 연속적인 경로에 대해 재탐색을 한다. I(i,j) 는 원영상의 화소값을 말하며, k는 정해놓은 문턱치 이상이면 부여되는 패널티 값이다.
다음으로, 복잡도가 상기 임계치보다 작은 경우, 상기 구조광 영상으로부터 깊이정보 영상을 추출한다(S40).
구조광 카메라(22)는 한쪽에서는 프로젝터와 광원을 사용하여 코드화된 패턴 영상을 연속적으로 투영하고, 다른 한 쪽에서는 카메라를 통해 패턴이 투영된 장면의 영상(또는 투영 영상)을 획득한다. 그리고 프로젝터의 패턴 영상과 카메라의 투영 영상 간의 대응점을 구하여 삼각법으로 3차원의 거리를 계산한다.
다음으로, 상기 깊이정보 영상으로부터 홀로그래픽 영상을 생성한다(S50).
디지털 홀로그램은 도 8과 같이 광학 시스템을 이용해 디지털 데이터로 획득할 수 있지만 이러한 광학 시스템을 수학적으로 모델링한 연산에 의해 생성할 수도 있다. 이러한 수학적인 연산에 의해 생성된 홀로그램을 CGH라고 한다. 이 방법은 물체의 광원에 해당하는 물체파(object wave)의 표면을 디지털화된 화소로 이루어진 한 디지털 화면을 사용하여 [수학식 3]을 이용하여 계산된다[문헌 7].
[수학식 3]
Figure 112012020172986-pat00007
여기서 α와 j는 홀로그램과 3차원 객체, k는 참조파의 파수(wave number)로 2π/λ로 정의되고, p는 홀로그램의 화소 크기(pixel pitch), xα와 yα는 홀로그램의 좌표, xj, yj, 및 zj는 3차원 객체의 좌표를 나타낸다.
본 발명에서는 구조광 카메라와 다시점 카메라를 이용하여 깊이정보를 획득한 후 [수학식 3]을 이용하여 디지털 홀로그램을 생성하였다.
다음으로, 상기 홀로그래픽 영상을 공간광변조기(SLM)에 의해 복원하여 재생한다(S60).
도 9a에서는 본 발명에 따른 디지털 홀로그래픽 디스플레이 시스템의 구조도를 보이고 있다. 이 시스템은 하이브리드 영상획득 장치를 이용하여 깊이정보를 생성한 후 PC에서 CGH 방법으로 디지털 홀로그램을 생성한다. 이 홀로그램을 SLM에 디스플레이한 후 532[nm]의 레이저를 조사하여 도 9a의 우측방향에서 홀로그래픽 복원영상(holographic reconstruction image)을 관찰하게 된다. 도 9b에서 실제로 제작한 홀로그래픽 디스플레이 시스템을 보이고 있다. 관측자는 우측 중앙에 놓인 CCD 카메라의 위치에서 홀로그래픽 복원영상을 관찰할 수 있다.
다음으로, 본 발명의 효과를 실험을 통해 보다 구체적으로 설명한다.
도 10에서는 구조광 카메라를 이용해 획득한 실사 깊이정보를 보이고 있다. 이 깊이정보는 8-bit gray-scale로 되어 있고, 도 10(a)는 170x169[pixel2, gray-scale], 도 10(b)는 180x383[pixel2, gray-scale]의 해상도로 된 영상들이다.
도 11에서는 홀로그래픽 복원을 위한 광학 시스템의 파라미터 값들을 보이고 있다. 본 시스템의 구현에 사용된 SLM은 1,280×1,024[pixel2] 해상도를 갖고, 하나의 화소크기는 10.4[um2]인 반사식으로 된 재생장치이다. 레이저 광원은 532nm 파장의 녹색계열을 사용하였고, 홀로그래픽 복원영상이 재생되는 거리는 SLM으로부터 약 1,000[mm]이다.
도 12에서는 도 10에서 보인 깊이정보를 대상으로 CGH 방법으로 생성한 디지털 홀로그램(도 12(a),(b) 참조)과 이를 광학시스템을 이용해 복원한 홀로그래픽 복원영상의 일부(도 12(c),(d) 참조)를 보이고 있다.
이상, 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고, 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.
10 : 물체 21 : 다시점 카메라
22 : 구조광 카메라 30 : 컴퓨터 단말
40 : 프로그램 시스템 61 : 다시점 영상
62 : 구조광 영상

Claims (9)

  1. 다시점 카메라 및 구조광 카메라에 의해 촬상된 영상으로부터 홀로그래픽 영상을 복원하는 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법에 있어서,
    (a) 다시점 카메라에 의해 촬영된 영상(이하 다시점 영상) 및 구조광 카메라에 의해 촬영된 영상(이하 구조광 영상)을 입력받는 단계;
    (b) 상기 다시점 영상의 에지 크기를 평균하여 텍스쳐 복잡도를 추출하고, 상기 복잡도를 사전에 정해진 임계치와 대비하는 단계;
    (c) 상기 복잡도가 상기 임계치보다 큰 경우, 상기 다시점 영상으로부터 깊이정보 영상을 추출하는 단계;
    (d) 상기 복잡도가 상기 임계치보다 작은 경우, 상기 구조광 영상으로부터 깊이정보 영상을 추출하는 단계;
    (e) 상기 깊이정보 영상으로부터 홀로그래픽 영상을 생성하는 단계; 및,
    (f) 상기 홀로그래픽 영상을 공간광변조기(SLM)에 의해 복원하여 재생하는 단계를 포함하는 것을 특징으로 하는 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법.
  2. 제1항에 있어서,
    상기 (b)단계에서, 상기 다시점 영상 중 적어도 2개의 다시점 영상에 대하여 라플라시안(Laplacian) 에지를 구하고, 상기 라플라시안 에지의 크기를 평균하여 상기 텍스쳐의 복잡도를 구하는 것을 특징으로 하는 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법.
  3. 제2항에 있어서,
    상기 다시점 영상이 칼라 영상인 경우, 상기 칼라 영상을 그레이로 변환하여 그레이 영상을 대상으로 상기 복잡도를 구하는 것을 특징으로 하는 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법.
  4. 제2항에 있어서,
    상기 다시점 영상 I의 픽셀 (x,y)에 대한 라플라시안 에지 EI(x,y)를 다음 [수식 1]을 이용하여 구하고,
    [수식 1]
    Figure 112012020172986-pat00008

    상기 텍스쳐의 복잡도는 다음 [수식 2]에 의해 계산하는 것을 특징으로 하는 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법.
    [수식 2]
    Figure 112012020172986-pat00009

    단, Ia, Ib는 2개의 다시점 영상이고, m, n은 각각 다시점 영상의 x, y좌표의 크기임.
  5. 제1항에 있어서,
    상기 (b)단계에서, 상기 다시점 영상에서 샘플링하여 샘플링된 영상에 대하여 텍스쳐의 복잡도를 구하는 것을 특징으로 하는 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법.
  6. 제1항에 있어서,
    상기 (c)단계에서, 적어도 2개의 다시점 영상에서 서로 대응되는 특징점을 추출하여 상기 특징점으로부터 변이를 추정하고, 상기 특징점은 영상의 경계(이하 경계 영상)로부터 추출하고, 상기 경계 영상은 연속적인 경로를 탐색하는 동적 계획법을 이용하여 추출하는 것을 특징으로 하는 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법.
  7. 제6항에 있어서,
    상기 다시점 영상을 R(red), G(green), B(blue), W(white)의 4개의 채널로 분할하고, 소벨 마스크를 이용하여 채널별로 경계 영상을 추출하되, 상기 W 채널의 경계 영상은 상기 R, G, B 채널의 경계 영상에 속하지 않는 성분으로 구성되는 것을 특징으로 하는 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법.
  8. 제6항에 있어서,
    상기 동적 계획법에 의해 추출된 연속적인 경로를 비용 행렬을 이용하여 검증하는 것을 특징으로 하는 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법.
  9. 제1항 내지 제8항 중 어느 한 항의 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법을 수행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020120025483A 2012-03-13 2012-03-13 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법 KR101289283B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120025483A KR101289283B1 (ko) 2012-03-13 2012-03-13 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120025483A KR101289283B1 (ko) 2012-03-13 2012-03-13 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법

Publications (1)

Publication Number Publication Date
KR101289283B1 true KR101289283B1 (ko) 2013-08-09

Family

ID=49219532

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120025483A KR101289283B1 (ko) 2012-03-13 2012-03-13 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법

Country Status (1)

Country Link
KR (1) KR101289283B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101498474B1 (ko) * 2014-03-27 2015-03-04 연세대학교 산학협력단 다단계 보간법을 이용한 디지털 홀로그래피의 분해능 향상 방법
KR20160019308A (ko) * 2014-08-11 2016-02-19 한국전자통신연구원 홀로그래픽 영상에 대한 품질 측정 장치 및 방법
KR20160035503A (ko) * 2014-09-23 2016-03-31 삼성전자주식회사 홀로그래픽 3차원 영상 표시 장치 및 방법
CN108351523A (zh) * 2015-11-06 2018-07-31 欧库勒斯虚拟现实有限责任公司 利用头戴式显示器使用立体照相机以及结构光的深度映射

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070002987A (ko) * 2005-06-30 2007-01-05 주식회사 대우일렉트로닉스 홀로그래픽 데이터 저장 시스템에서의 재생 데이터 이미지검출 방법
KR20110017090A (ko) * 2009-08-13 2011-02-21 김동욱 홀로마킹:Fresnel 홀로그램을 이용한 디지털 워터마킹 기법
KR20110068042A (ko) * 2009-12-15 2011-06-22 광운대학교 산학협력단 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070002987A (ko) * 2005-06-30 2007-01-05 주식회사 대우일렉트로닉스 홀로그래픽 데이터 저장 시스템에서의 재생 데이터 이미지검출 방법
KR20110017090A (ko) * 2009-08-13 2011-02-21 김동욱 홀로마킹:Fresnel 홀로그램을 이용한 디지털 워터마킹 기법
KR20110068042A (ko) * 2009-12-15 2011-06-22 광운대학교 산학협력단 디지털 홀로그램을 이용한 디지털 콘텐츠의 워터마킹 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101498474B1 (ko) * 2014-03-27 2015-03-04 연세대학교 산학협력단 다단계 보간법을 이용한 디지털 홀로그래피의 분해능 향상 방법
KR20160019308A (ko) * 2014-08-11 2016-02-19 한국전자통신연구원 홀로그래픽 영상에 대한 품질 측정 장치 및 방법
KR102083875B1 (ko) 2014-08-11 2020-03-03 한국전자통신연구원 홀로그래픽 영상에 대한 품질 측정 장치 및 방법
KR20160035503A (ko) * 2014-09-23 2016-03-31 삼성전자주식회사 홀로그래픽 3차원 영상 표시 장치 및 방법
KR102262214B1 (ko) 2014-09-23 2021-06-08 삼성전자주식회사 홀로그래픽 3차원 영상 표시 장치 및 방법
CN108351523A (zh) * 2015-11-06 2018-07-31 欧库勒斯虚拟现实有限责任公司 利用头戴式显示器使用立体照相机以及结构光的深度映射
US10893260B2 (en) 2015-11-06 2021-01-12 Facebook Technologies, Llc Depth mapping with a head mounted display using stereo cameras and structured light

Similar Documents

Publication Publication Date Title
Matsuyama et al. 3D video and its applications
Zhang et al. 3D-TV content creation: automatic 2D-to-3D video conversion
US20180192033A1 (en) Multi-view scene flow stitching
US8358332B2 (en) Generation of three-dimensional movies with improved depth control
Dufaux et al. Emerging technologies for 3D video: creation, coding, transmission and rendering
JP4762994B2 (ja) 視差マップ
Schmeing et al. Depth image based rendering: A faithful approach for the disocclusion problem
JP6300346B2 (ja) Ｉｐ立体映像推定装置及びそのプログラム
WO2011014421A2 (en) Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
WO2011099896A1 (ru) Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты)
Zilly et al. Real-time generation of multi-view video plus depth content using mixed narrow and wide baseline
US20100158482A1 (en) Method for processing a video data set
KR101289283B1 (ko) 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법
Wu et al. Depth mapping of integral images through viewpoint image extraction with a hybrid disparity analysis algorithm
JPH08242469A (ja) 撮像カメラ装置
Swash et al. Pre-processing of holoscopic 3D image for autostereoscopic 3D displays
Marton et al. A real-time coarse-to-fine multiview capture system for all-in-focus rendering on a light-field display
JP7257272B2 (ja) 奥行きマップ生成装置及びそのプログラム、並びに、立体画像生成装置
KR101939243B1 (ko) 입체 깊이 조정 및 초점 조정
Yu et al. Racking focus and tracking focus on live video streams: a stereo solution
CN112634139B (zh) 光场超分辨成像方法、装置及设备
Lv et al. An anaglyph 2D-3D stereoscopic video visualization approach
Huang et al. Generation of multiviewpoint video from stereoscopic video
Suehiro et al. Integral 3D imaging system using monocular 2D video and depth data
KR20090091909A (ko) 원형매핑 모델과 보간법을 복합 사용하여 부피형 3차원영상 재생 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160419

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170603

Year of fee payment: 5