KR20140125608A - 홀로그램 디스플레이 장치 및 방법 - Google Patents

홀로그램 디스플레이 장치 및 방법 Download PDF

Info

Publication number
KR20140125608A
KR20140125608A KR1020130043628A KR20130043628A KR20140125608A KR 20140125608 A KR20140125608 A KR 20140125608A KR 1020130043628 A KR1020130043628 A KR 1020130043628A KR 20130043628 A KR20130043628 A KR 20130043628A KR 20140125608 A KR20140125608 A KR 20140125608A
Authority
KR
South Korea
Prior art keywords
image
color
left eye
point
virtual
Prior art date
Application number
KR1020130043628A
Other languages
English (en)
Inventor
성재원
구문모
허진
예세훈
손은용
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020130043628A priority Critical patent/KR20140125608A/ko
Publication of KR20140125608A publication Critical patent/KR20140125608A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249—Holobject properties
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2223/00—Optical components
    • G03H2223/19—Microoptic array, e.g. lens array

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

홀로그램 디스플레이 장치는 스테레오 컬러 이미지에 기초하여 스테레오 이미지 대응관계 맵을 생성한다. 홀로그램 디스플레이 장치는, 현재 안구 위치에 기초하여, 상기 스테레오 컬러 이미지와 상기 스테레오 이미지 대응관계 맵을 이용하여, 상기 현재 안구 위치에 적합한 가상 스테레오 컬러 이미지를 생성한다. 홀로그램 디스플레이 장치는 상기 가상 스테레오 컬러 이미지를 이용하여 복수의 물체점의 3차원 정보를 획득하고, 상기 복수의 물체점의 3차원 정보를 이용하여 홀로그램을 생성한다.

Description

홀로그램 디스플레이 장치 및 방법{APPARATUS AND METHOD FOR DISPLAYING HOLOGRAM}
본 발명은 홀로그램 디스플레이 장치 및 방법에 관한 것이다. 특히, 본 발명은 컴퓨터 생성 홀로그램(Computer-generated hologram, CGH)을 디스플레이하는 장치 및 방법에 관한 것이다.
공간 광 변조기에 기록되는 홀로그램 이미지 데이터를 생성하는 컴퓨터는 스테레오 이미지를 이용하여 3차원 포인트 셋을 만들고, 이 3차원 포인트 셋을 위한 복수의 홀로그램 패턴을 생성한 후, 이 복수의 홀로그램 패턴을 중첩하여 홀로그램 이미지 데이터를 만든다.
그러나, 관찰자의 시점이 스테레오 이미지를 촬영한 카메라의 시점과 달라지는 경우에 홀 이펙트나 샘플링 간격의 변화가 발생할 수 있다.
도 1은 종래의 스테레오 이미지를 이용하여 홀로그램을 생성하는 경우에 발생하는 홀 이펙트를 보여주는 개념도이다.
도 1에 도시된 바와 같이, 스테레오 이미지는 특정 시점에서 카메라에 의해 캡쳐되므로, 관찰자의 시점이 스테레오 이미지를 촬영한 카메라의 시점과 동일한 경우의 홀로그램의 복수의 픽셀 사이의 간격은 관찰자의 시점에서 1 픽셀이지만, 관찰자의 시점이 스테레오 이미지를 촬영한 카메라의 시점과 달라지는 경우의 홀로그램은 관찰자의 시점에서 픽셀로 디스플레이되지 않는 홀을 가질 수 있다. 특히, 도 1은 전경과 배경 사이에 홀이 생김을 보여주고 있다.
도 2는 종래의 스테레오 이미지를 이용하여 홀로그램을 생성하는 경우에 발생하는 샘플링 간격 변화를 보여주는 개념도이다.
도 2에 도시된 바와 같이, 스테레오 이미지는 특정 시점에서 카메라에 의해 캡쳐되므로, 관찰자의 시점이 스테레오 이미지를 촬영한 카메라의 시점과 동일한 경우의 홀로그램의 복수의 픽셀 사이의 간격은 관찰자의 시점에서 1 픽셀이지만, 관찰자의 시점이 스테레오 이미지를 촬영한 카메라의 시점과 달라지는 경우의 홀로그램의 복수의 픽셀 사이의 간격은 관찰자의 시점에서 1픽셀 보다 넓어지거나 좁아질 수 있다. 특히, 홀로그램의 복수의 픽셀 사이의 간격이 1 픽셀 보다 넓어지면, 물체가 비정상적으로 디스플레이되고, 그 사이로 배경 물체가 보이게 될 수 있다.
본 발명이 이루고자 하는 기술적 과제는 스테레오 이미지 기반 홀로그램 생성시 홀 이펙트와 샘플링 간격 변화 효과를 제거하거나 저감시킬 수 있는 홀로그램 디스플레이 장치 및 방법을 제공하는 것이다.
일 실시예에서, 홀로그램 디스플레이 장치는 스테레오 컬러 이미지에 기초하여 스테레오 이미지 대응관계 맵을 생성하는 스테레오 이미지 대응관계 맵 생성부; 현재 안구 위치에 기초하여, 상기 스테레오 컬러 이미지와 상기 스테레오 이미지 대응관계 맵을 이용하여, 상기 현재 안구 위치에 적합한 가상 스테레오 컬러 이미지를 생성하는 가상 스테레오 이미지 생성부; 상기 가상 스테레오 컬러 이미지를 이용하여 복수의 물체점의 3차원 정보를 획득하는 3차원 정보 획득부; 및 상기 복수의 물체점의 3차원 정보를 이용하여 홀로그램을 생성하는 홀로그램 생성부를 포함한다.
상기 스테레오 컬러 이미지는 좌안 컬러 이미지와 우안 컬러 이미지를 포함하고, 상기 좌안 컬러 이미지는 좌안 특징 컬러 포인트를 포함하고, 상기 우안 컬러 이미지는 좌안 특징 컬러 포인트에 대응하는 좌안 대응 특징 컬러 포인트를 포함하고, 상기 스테레오 이미지 대응관계 맵은 상기 좌안 특징 컬러 포인트와 상기 좌안 대응 특징 컬러 포인트 사이의 대응관계에 대한 정보를 포함할 수 있다.
상기 가상 스테레오 이미지 생성부는 상기 스테레오 이미지 대응관계 맵을 이용하여, 상기 좌안 특징 컬러 포인트에 대응하는 상기 좌안 대응 특징 컬러 포인트의 위치를 구하고, 상기 가상 스테레오 이미지 생성부는 상기 좌안 대응 특징 컬러 포인트의 위치에 기초하여, 상기 좌안 특징 컬러 포인트에 대응하는 가상 좌안 컬러 이미지 내의 가상 좌안 특징 컬러 포인트의 위치를 구하고, 상기 가상 스테레오 이미지 생성부는 상기 가상 좌안 특징 컬러 포인트의 위치에 기초하여, 상기 좌안 특징 컬러 포인트 이외의 좌안 컬러 포인트에 대응하는 가상 좌안 컬러 포인트의 위치를 구하고, 상기 가상 스테레오 이미지 생성부는 상기 좌안 컬러 포인트의 위치와 상기 가상 좌안 컬러 포인트의 위치에 기초하여, 상기 가상 좌안 컬러 포인트의 컬러 값을 상기 좌안 컬러 포인트의 컬러 값으로 결정하여 상기 가상 스테레오 컬러 이미지를 생성할 수 있다.
홀로그램 디스플레이 장치는 상기 스테레오 컬러 이미지에 기초하여 스테레오 깊이 이미지를 생성하는 스테레오 깊이 이미지 생성부; 상기 현재 안구 위치에 기초하여, 상기 스테레오 깊이 이미지와 상기 스테레오 이미지 대응관계 맵을 이용하여, 상기 현재 안구 위치에 적합한 가상 스테레오 깊이 이미지를 생성하는 가상 스테레오 깊이 이미지 생성부를 더 포함하고, 상기 3차원 정보 획득부는 상기 가상 스테레오 컬러 이미지와 상기 가상 스테레오 깊이 이미지를 이용하여 복수의 물체점의 3차원 정보를 획득할 수 있다.
상기 스테레오 이미지 대응관계 맵 생성부는 일차 특징 포인트에 대응하는 일차 대응 특징 포인트의 위치를 구하고, 상기 일차 특징 포인트의 중요도를 구하고, 상기 일차 특징 포인트의 중요도에 기초하여 이차 특징 포인트에 대응하는 이차 대응 특징 포인트의 위치를 구하고, 상기 일차 특징 포인트와 상기 일차 대응 특징 포인트 사이의 대응관계와 상기 이차 특징 포인트와 상기 이차 대응 특징 포인트 사이의 대응관계를 이용하여 상기 스테레오 이미지 대응관계 맵을 생성할 수 있다.
또 다른 실시예에서, 홀로그램 디스플레이 방법은 스테레오 컬러 이미지에 기초하여 스테레오 이미지 대응관계 맵을 생성하는 단계; 현재 안구 위치에 기초하여, 상기 스테레오 컬러 이미지와 상기 스테레오 이미지 대응관계 맵을 이용하여, 상기 현재 안구 위치에 적합한 가상 스테레오 컬러 이미지를 생성하는 단계; 상기 가상 스테레오 컬러 이미지를 이용하여 복수의 물체점의 3차원 정보를 획득하는 단계; 및 상기 복수의 물체점의 3차원 정보를 이용하여 홀로그램을 생성하는 단계를 포함한다.
실시예에 따른 홀로그램 디스플레이 장치는 스테레오 이미지를 이용하여 관찰자의 현재 시점에 적합한 가상 스테레오 이미지를 획득하고, 이 가상 스테레오 이미지를 이용하여 홀로그램을 생성함으로써 홀 이펙트와 샘플링 간격 변화 효과를 제거하거나 저감시킬 수 있다.
도 1은 종래의 스테레오 이미지를 이용하여 홀로그램을 생성하는 경우에 발생하는 홀 이펙트를 보여주는 개념도이다.
도 2는 종래의 스테레오 이미지를 이용하여 홀로그램을 생성하는 경우에 발생하는 샘플링 간격 변화를 보여주는 개념도이다.
도 3은 본 발명의 실시예에 따른 홀로그램 디스플레이 장치의 블록도이다.
도 4은 본 발명의 실시예에 따른 홀로그램 디스플레이 장치의 물체점 획득부의 블록도이다.
도 5는 본 발명의 실시예에 따른 홀로그램 디스플레이 장치의 동작 방법을 보여주는 흐름도이다.
도 6는 본 발명의 실시예에 따른 스테레오 이미지 대응관계를 보여준다.
도 7는 본 발명의 실시예에 따른 좌안 컬러 이미지 내의 한 포인트와 그 주변의 복수의 주변 특징 포인트, 가상 좌안 컬러 이미지 내의 한 대응 포인트와 그 주변의 복수의 주변 대응 특징 포인트를 보여준다.
도 8은 본 발명의 실시예에 따른 전체 시차(full parallax) 기반 홀로그램 패턴의 개념도를 보여준다.
도 9는 본 발명의 실시예에 따른 HPO 기반 홀로그램 패턴의 개념도를 보여준다.
도 10는 본 발명의 실시예에 따른 VPO 기반 홀로그램 패턴의 개념도를 보여준다.
도 11은 본 발명의 실시예에 따른 전체 시차(full parallax) 기반 서브 홀로그램 패턴의 개념도를 보여준다.
도 12은 본 발명의 실시예에 따른 HPO 기반 서브 홀로그램 패턴의 개념도를 보여준다.
도 13은 본 발명의 실시예에 따른 VPO 기반 서브 홀로그램 패턴의 개념도를 보여준다.
도 14는 본 발명의 실시예에 따른 복수의 홀로그램 패턴의 중첩의 개념을 보여준다.
도 15는 본 발명의 실시예에 따른 스테레오 이미지 대응관계 맵를 생성하는 방법을 도시한 흐름도이다.
도 16은 본 발명의 실시예에 따른 컬러 이미지와 중요도 이미지를 보여준다.
도 17은 본 발명의 실시예에 따른 특징 포인트 사이의 대응 관계를 보여준다.
이하, 실시예에 대하여 도면을 참조하여 보다 상세하게 설명한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다.
도 3은 본 발명의 실시예에 따른 홀로그램 디스플레이 장치의 블록도이다.
도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 홀로그램 디스플레이 장치(100)는 물체점 획득부(110), 안구 위치 추적부(120), 시야창 결정부(125), 홀로그램 생성부(미도시)를 포함한다. 홀로그램 생성부는 홀로그램 패턴 생성부(130), 홀로그램 패턴 저장부(135), 홀로그램 패턴 중첩부(140), 양자화부(150), 출력부(160), 공간 광 변조기(170), 백라이트 유닛(180), 및 광분리기(190)를 포함한다.
홀로그램 생성부는 복수의 물체점의 3차원 정보를 이용하여 홀로그램을 생성한다.
홀로그램 패턴 룩업 테이블 저장부(135)는 복수의 거리에 각각 대응하는 복수의 홀로그램 패턴을 포함하는 홀로그램 패턴 룩업 테이블을 저장한다. 여기서 거리는 물체점과 공간 광 변조기(170) 사이의 거리를 의미한다. 이때, 홀로그램 패턴은 전체 시차(full parallax) 기반 홀로그램 패턴, HPO 기반 홀로그램 패턴, VPO 기반 홀로그램 패턴, 전체 시차(full parallax) 기반 서브 홀로그램 패턴, HPO 기반 서브 홀로그램 패턴, VPO 기반 서브 홀로그램 패턴 중 어느 하나 일 수 있다. 또한, 홀로그램 패턴 룩업 테이블은 복수의 전체 시차(full parallax) 기반 홀로그램 패턴, 복수의 HPO 기반 홀로그램 패턴, 복수의 VPO 기반 홀로그램 패턴, 복수의 전체 시차(full parallax) 기반 서브 홀로그램 패턴, 복수의 HPO 기반 서브 홀로그램 패턴, 복수의 VPO 기반 서브 홀로그램 패턴 중 하나 이상을 포함할 수 있다.
도 4은 본 발명의 실시예에 따른 홀로그램 디스플레이 장치의 물체점 획득부의 블록도이다.
도 4에 도시된 바와 같이, 본 발명의 실시예에 따른 홀로그램 디스플레이 장치의 물체점 획득부(110)는 스테레오 이미지 획득부(111), 스테레오 깊이 이미지 생성부(112), 스테레오 이미지 대응관계 맵 생성부(113), 가상 스테레오 이미지 생성부(115), 가상 스테레오 깊이 이미지 생성부(116), 및 3차원 정보 획득부(117)를 포함한다.
홀로그램 생성 장치(100)의 구성 요소들에 대해서는 이하의 도면을 참고하여 구체적으로 설명한다.
도 5는 본 발명의 실시예에 따른 홀로그램 디스플레이 장치의 동작 방법을 보여주는 흐름도이다.
물체점 획득부(110)의 스테레오 이미지 획득부(111)는 스테레오 컬러 이미지를 획득한다(S101). 스테레오 컬러 이미지는 좌안 컬러 이미지와 우안 컬러 이미지를 포함할 수 있다.
좌안 컬러 이미지는 LEFT_IMAGE_DATA[][]와 같이 2차원 어레이로 나타낼 수 있다. LEFT_IMAGE_DATA[XL][YL]은 좌안 컬러 이미지 내의 임의의 위치(XL, YL)에 해당하는 픽셀의 컬러 값을 나타낸다.
우안 컬러 이미지는 RIGHT_IMAGE_DATA[][]와 같이 2차원 어레이로 나타낼 수 있다. RIGHT_IMAGE_DATA[XR][YR]은 우안 컬러 이미지 내의 임의의 위치(XR, YR)에 해당하는 픽셀의 컬러 값을 나타낸다.
컬러 값은 명암 값, RGB 컬러 값 또는 YUV 컬러 값에 해당할 수 있다.
물체점 획득부(110)의 스테레오 깊이 이미지 생성부(112)는 획득된 스테레오 컬러 이미지에 기초하여 스테레오 컬러 이미지의 깊이 맵인 스테레오 깊이 이미지를 생성한다(S102).
스테레오 깊이 이미지는 좌안 깊이 이미지와 우안 깊이 이미지를 포함할 수 있다.
좌안 깊이 이미지는 LEFT_IMAGE_DEPTH_MAP[][]와 같이 2차원 어레이로 나타낼 수 있다. LEFT_IMAGE_DEPTH_MAP[XL][YL]은 좌안 깊이 이미지 내의 임의의 위치(XL, YL)에 해당하는 픽셀의 깊이 값을 나타낸다.
우안 깊이 이미지는 RIGHT_IMAGE_DEPTH_MAP[][]와 같이 2차원 어레이로 나타낼 수 있다. RIGHT_IMAGE_DEPTH_MAP[XR][YR]은 우안 깊이 이미지 내의 임의의 위치(XR, YR)에 해당하는 픽셀의 깊이 값을 나타낸다.
특히, 실시예에서, 스테레오 깊이 이미지 생성부(112)는 수학식 Z = Zn+D/255 * (Zf-Zn)를 이용하여 좌안 깊이 이미지와 우안 깊이 이미지를 생성할 수 있다. 여기서, Z는 좌안 컬러 이미지 또는 우안 컬러 이미지의 한 포인트의 깊이 값을 나타내고, Zn은 가장 가까운 깊이 값(the nearest depth value)을 나타내며, Zf는 가장 먼 깊이 값(the farthest depth value)을 나타내며, D는 좌안 컬러 이미지 또는 우안 컬러 이미지의 한 포인트의 디스패리티를 나타낸다.
물체점 획득부(110)의 스테레오 이미지 대응관계 맵 생성부(113)는 워프 맵(warp map)과 같은 스테레오 이미지 대응관계 맵을 생성한다(S103). 스테레오 이미지 대응관계 맵은 좌안-우안 이미지 대응관계 맵과 우안-좌안 이미지 대응관계 맵을 포함할 수 있다.
좌안 컬러 이미지는 복수의 좌안 특징 컬러 포인트를 가지고, 우안 컬러 이미지는 복수의 좌안 특징 컬러 포인트에 각각 대응하는 복수의 좌안 대응 특징 컬러 포인트를 가진다. 이 경우, 좌안-우안 이미지 대응관계 맵은 복수의 좌안 특징 컬러 포인트와 복수의 좌안 대응 특징 컬러 포인트 사이의 대응관계에 대한 정보를 포함한다.
좌안-우안 이미지 대응관계 맵은 좌안-우안 이미지 대응관계 X 좌표 맵과 좌안-우안 이미지 대응관계 Y 좌표 맵을 포함할 수 있다.
좌안-우안 이미지 대응관계 X 좌표 맵은 WARP_MAP_LX[][]과 같이 2차원 어레이로 나타낼 수 있다. WARP_MAP_LX[XL][YL]은 맵은 임의의 좌안 특징 컬러 포인트 (XL, YL)에 대응하는 좌안 대응 특징 컬러 포인트의 X 좌표의 값을 나타낸다.
좌안-우안 이미지 대응관계 Y 좌표 맵은 WARP_MAP_LY[][]과 같이 2차원 어레이로 나타낼 수 있다. WARP_MAP_LY[XL][YL]은 맵은 임의의 좌안 특징 컬러 포인트 (XL, YL)에 대응하는 좌안 대응 특징 컬러 포인트의 Y 좌표의 값을 나타낸다.
우안 컬러 이미지는 복수의 우안 특징 컬러 포인트를 가지고, 우안 컬러 이미지는 복수의 우안 특징 컬러 포인트에 각각 대응하는 복수의 우안 대응 특징 컬러 포인트를 가진다. 이 경우, 우안-좌안 이미지 대응관계 맵은 복수의 우안 특징 컬러 포인트와 복수의 우안 대응 특징 컬러 포인트 사이의 대응관계에 대한 정보를 포함한다.
우안-좌안 이미지 대응관계 맵은 우안-좌안 이미지 대응관계 X 좌표 맵과 우안-좌안 이미지 대응관계 Y 좌표 맵을 포함할 수 있다.
우안-좌안 이미지 대응관계 X 좌표 맵은 WARP_MAP_RX[][]과 같이 2차원 어레이로 나타낼 수 있다. WARP_MAP_RX[XR][YR]은 맵은 임의의 우안 특징 컬러 포인트 (XR, YR)에 대응하는 우안 대응 특징 컬러 포인트의 X 좌표의 값을 나타낸다.
우안-좌안 이미지 대응관계 Y 좌표 맵은 WARP_MAP_RY[][]과 같이 2차원 어레이로 나타낼 수 있다. WARP_MAP_RY[XR][YR]은 맵은 임의의 우안 특징 컬러 포인트 (XR, YR)에 대응하는 우안 대응 특징 컬러 포인트의 Y 좌표의 값을 나타낸다.
다음은 도 6를 참고하여 본 발명의 실시예에 따른 스테레오 이미지 대응관계 맵을 설명한다.
도 6는 본 발명의 실시예에 따른 스테레오 이미지 대응관계를 보여준다.
특히, 도 6의 (A)는 좌안 컬러 이미지 (또는 우안 컬러 이미지) 내의 복수의 특징 컬러 포인트를 보여주고, 도 6의 (B)는 우안 컬러 이미지 (또는 좌안 컬러 이미지) 내의 복수의 대응 특징 컬러 포인트를 보여주며, 도 6의 (C)는 좌안-우안 스테레오 이미지 대응관계 맵(또는 우안-좌안 스테레오 이미지 대응관계 맵)을 보여준다.
도 6의 (A)에 도시된 바와 같이, 좌안 컬러 이미지 (또는 우안 컬러 이미지) 내의 복수의 특징 컬러 포인트 사이의 수평 간격과 수직 간격은 일정할 수 있다. 예컨데, 좌안 컬러 이미지 (또는 우안 컬러 이미지) 내의 복수의 특징 컬러 포인트 사이의 수평 간격은 M 픽셀이고, 좌안 컬러 이미지 (또는 우안 컬러 이미지) 내의 복수의 특징 컬러 포인트 사이의 수직 간격은 N 픽셀일 수 있다.
일 실시예에서, 좌안 컬러 이미지 내의 복수의 좌안 특징 컬러 포인트의 각각에 대하여, 스테레오 이미지 대응관계 맵 생성부(113)는 각 좌안 특징 컬러 포인트의 컬러 값, 각 좌안 특징 컬러 포인트의 에지 값, 각 좌안 특징 컬러 포인트의 주변의 컬러 정보, 각 좌안 특징 컬러 포인트의 주변의 에지 정보 중 적어도 하나에 기초하여, 각 좌안 특징 컬러 포인트에 대응하는 좌안 대응 특징 컬러 포인트를 우안 컬러 이미지 내에서 찾아 좌안-우안 이미지 대응관계 맵을 생성할 수 있다. 우안 컬러 이미지 내의 복수의 우안 특징 컬러 포인트의 각각에 대하여, 스테레오 이미지 대응관계 맵 생성부(113)는 각 우안 특징 컬러 포인트의 컬러 값, 각 우안 특징 컬러 포인트의 에지 값, 각 우안 특징 컬러 포인트의 주변의 컬러 정보, 각 우안 특징 컬러 포인트의 주변의 에지 정보 중 적어도 하나에 기초하여, 각 우안 특징 컬러 포인트에 대응하는 우안 대응 특징 컬러 포인트를 좌안 컬러 이미지 내에서 찾아 우안-좌안 이미지 대응관계 맵을 생성할 수 있다.
다시 도 5를 설명한다.
안구 추적부(eye tracker)(120)는 관찰자의 안구(19)의 현재 위치를 추적한다(S104). 특히, 안구 추척부(120)는 관찰자의 좌안의 현재 위치와 우안의 현재 위치를 추적할 수도 있다.
물체점 획득부(110)의 가상 스테레오 이미지 생성부(115)는 안구(19)의 현재 위치에 기초하여, 스테레오 컬러 이미지와 스테레오 이미지 대응관계 맵을 이용하여, 안구(19)의 현재 위치에 적합한 가상 스테레오 컬러 이미지를 생성한다(S105).
가상 스테레오 컬러 이미지는 가상 좌안 컬러 이미지와 가상 우안 컬러 이미지를 포함할 수 있다.
가상 좌안 컬러 이미지는 VIRTUAL_LEFT_IMAGE_DATA[][]와 같이 2차원 어레이로 나타낼 수 있다. VIRTUAL_LEFT_IMAGE_DATA[XL][YL]은 가상 좌안 컬러 이미지 내의 임의의 위치(XL, YL)에 해당하는 픽셀 값을 나타낸다. 가상 좌안 컬러 이미지는 복수의 좌안 특징 컬러 포인트에 각각 대응하는 복수의 가상 좌안 특징 컬러 포인트를 가진다.
가상 우안 컬러 이미지는 VIRTUAL_RIGHT_IMAGE_DATA[][]와 같이 2차원 어레이로 나타낼 수 있다. VIRTUAL_RIGHT_IMAGE_DATA[XR][YR]은 가상 우안 컬러 이미지 내의 임의의 위치(XR, YR)에 해당하는 픽셀 값을 나타낸다. 가상 우안 컬러 이미지는 복수의 우안 특징 컬러 포인트에 각각 대응하는 복수의 가상 우안 특징 컬러 포인트를 가진다.
물체점 획득부(110)의 가상 스테레오 이미지 생성부(115)는 좌안의 위치에 기초하여, 좌안 컬러 이미지와 좌안-우안 이미지 대응관계 맵을 이용하여, 가상 좌안 컬러 이미지를 생성할 수 있다.
가상 좌안 컬러 이미지의 생성을 구체적으로 살펴보면, 먼저, 가상 스테레오 이미지 생성부(115)는 좌안 컬러 이미지 내의 복수의 좌안 특징 컬러 포인트(XCL, YCL)에 각각 대응하는 가상 좌안 컬러 이미지 내의 복수의 가상 좌안 특징 컬러 포인트의 위치(XCL', YCL')를 하기의 수학식 1에서와 같이 구할 수 있다.
Figure pat00001
수학식 1에서, LEFT_VIEW_MOVEMENT는 기준 시점으로부터 좌안의 위치의 이동량을 나타낸다. 예컨데, 좌안 컬러 이미지에 해당하는 시점의 위치를 0이라 하고, 우안 컬러 이미지에 해당하는 시점의 위치를 1이라고 하고, 좌안의 위치가 좌안 컬러 이미지와 우안 컬러 이미지의 중간에 위치하면 LEFT_VIEW_MOVEMENT는 0.5에 해당할 수 있다.
수학식 1에서 보여지는 바와 같이, 좌안 컬러 이미지 내의 복수의 좌안 특징 컬러 포인트(XCL, YCL)의 각각에 대하여, 가상 스테레오 이미지 생성부(115)는 좌안-우안 이미지 대응관계 맵을 이용하여, 각 좌안 특징 컬러 포인트(XCL, YCL)에 대응하는 우안 컬러 이미지 내의 좌안 대응 특징 컬러 포인트의 위치(WARP_MAP_LX[XCL][YCL], WARP_MAP_LY[XCL][YCL])를 구한다. 그리고, 가상 스테레오 이미지 생성부(115)는 각 좌안 특징 컬러 포인트의 위치(XCL, YCL), 좌안 대응 특징 컬러 포인트 및 각 좌안 특징 컬러 포인트 사이의 차이 벡터(WARP_MAP_LX[XCL][YCL] - XCL, WARP_MAP_LY[XCL][YCL] - YCL), 좌안의 위치의 이동량(LEFT_VIEW_MOVEMENT)에 기초하여, 각 좌안 특징 컬러 포인트(XCL, YCL)에 대응하는 가상 좌안 컬러 이미지 내의 가상 좌안 특징 컬러 포인트의 위치(XCL', YCL')를 구하여, 가상 좌안 컬러 이미지 내의 복수의 가상 좌안 특징 컬러 포인트의 위치(XCL', YCL')를 구할 수 있다.
한편, 가상 스테레오 이미지 생성부(115)는 좌안 컬러 이미지 내의 복수의 좌안 특징 컬러 포인트 이외의 복수의 좌안 컬러 포인트(XL, YL)에 각각 대응하는 가상 좌안 컬러 이미지 내의 복수의 가상 좌안 컬러 포인트의 위치(XL', YL')를 하기의 수학식 2에서와 같이 구할 수 있다.
Figure pat00002
다음은 도 7를 참고하여 수학식 2에 나타나는 파라미터들을 설명한다.
도 7는 본 발명의 실시예에 따른 좌안 컬러 이미지 내의 하나의 좌안 컬러 포인트와 그 주변의 복수의 주변 좌안 특징 컬러 포인트, 가상 좌안 컬러 이미지 내의 한 가상 좌안 컬러 포인트와 그 주변의 복수의 주변 가상 좌안 특징 컬러 포인트를 보여준다.
도 7와 수학식 2를 참고하면, 포인트(XCLLEFT_TOP, YCLLEFT_TOP)는 좌안 컬러 포인트(XL, YL)의 좌상측의 주변 좌안 특징 컬러 포인트이고, 포인트(XCLRIGHT_TOP, YCLRIGHT_TOP)는 좌안 컬러 포인트(XL, YL)의 우상측의 주변 좌안 특징 컬러 포인트이고, 포인트(XCLLEFT_BOTTOM , YCLLEFT_BOTTOM)는 좌안 컬러 포인트(XL, YL)의 좌하측의 주변 좌안 특징 컬러 포인트이고, 포인트(XCLRIGHT_BOTTOM, YCLRIGHT_BOTTOM)는 좌안 컬러 포인트(XL, YL)의 우하측의 주변 좌안 특징 컬러 포인트이다.
포인트(XCL'LEFT_TOP, XCL'LEFT_TOP)는 가상 좌안 컬러 포인트(XL', YL')의 좌상측의 주변 가상 좌안 특징 컬러 포인트이고, 포인트(XCL'RIGHT_TOP, XCL'RIGHT_TOP)는 가상 좌안 컬러 포인트(XL', YL')의 우상측의 주변 가상 좌안 특징 컬러 포인트이고, 포인트(XCL'LEFT_BOTTOM, XCL'LEFT_BOTTOM)는 가상 좌안 컬러 포인트(XL', YL')의 좌하측의 주변 가상 좌안 특징 컬러 포인트이고, 포인트(XCL'RIGHT_TOP, XCL'RIGHT_BOTTOM)는 가상 좌안 컬러 포인트(XL', YL')의 우하측의 주변 가상 좌안 특징 컬러 포인트이다.
수학식 2에서 보여지는 바와 같이, 좌안 컬러 이미지 내의 복수의 좌안 컬러 포인트에 각각에 대하여, 가상 스테레오 이미지 생성부(115)는 각 좌안 컬러 포인트와 그 주변의 복수의 주변 좌안 특징 컬러 포인트 사이의 거리(D1, D2, D3, D4)를 구한다. 가상 스테레오 이미지 생성부(115)는 구한 거리(D1, D2, D3, D4)에 기초하여 가상 좌안 컬러 이미지 내의 복수의 주변 가상 좌안 특징 컬러 포인트를 위한 복수의 가중치(WLEFT_TOP, WRIGHT_TOP, WLEFT_BOTTOM, WRIGHT_BOTTOM)를 구한다. 가상 스테레오 이미지 생성부(115)는 가상 좌안 컬러 이미지 내의 복수의 주변 가상 좌안 특징 컬러 포인트의 위치에 복수의 가중치(WLEFT_TOP, WRIGHT_TOP, WLEFT_BOTTOM, WRIGHT_BOTTOM)를 적용하여 가상 좌안 컬러 이미지 내의 복수의 가상 좌안 컬러 포인트의 위치를 구할 수 있다.
수학식 2 대신에, 가상 스테레오 이미지 생성부(115)는 가상 좌안 컬러 이미지 내의 복수의 가상 좌안 특징 컬러 포인트 이외의 복수의 가상 좌안 컬러 포인트(XL', YL')에 대응하는 좌안 컬러 이미지 내의 복수의 좌안 컬러 포인트의 위치(XL, YL)를 하기의 수학식 3에서와 같이 구할 수도 있다.
Figure pat00003
이후, 수학식 4에서 보여지는 바와 같이, 가상 스테레오 이미지 생성부(115)는 좌안 컬러 이미지 내의 복수의 좌안 컬러 포인트의 위치와 가상 좌안 컬러 이미지 내의 복수의 가상 좌안 컬러 포인트의 위치에 기초하여, 가상 좌안 컬러 이미지 내의 복수의 가상 좌안 컬러 포인트의 컬러 값을 좌안 컬러 이미지 내의 복수의 좌안 컬러 포인트의 컬러 값으로 결정하여, 가상 좌안 컬러 이미지를 생성할 수 있다.
Figure pat00004
물체점 획득부(110)의 가상 스테레오 이미지 생성부(115)는 우안의 위치에 기초하여, 우안 컬러 이미지와 우안-좌안 이미지 대응관계 맵을 이용하여, 가상 우안 컬러 이미지를 생성할 수 있다.
가상 우안 컬러 이미지의 생성을 구체적으로 살펴보면, 먼저, 가상 스테레오 이미지 생성부(115)는 우안 컬러 이미지 내의 복수의 우안 특징 컬러 포인트(XCR, YCR)에 각각 대응하는 가상 우안 컬러 이미지 내의 복수의 가상 우안 특징 컬러 포인트의 위치(XCR', YCR')를 하기의 수학식 5에서와 같이 구할 수 있다.
Figure pat00005
수학식 5에서, RIGHT_VIEW_MOVEMENT는 기준 시점으로부터 우안의 위치의 이동량을 나타낸다. 예컨데, 우안 컬러 이미지에 해당하는 시점의 위치를 0이라 하고, 좌안 컬러 이미지에 해당하는 시점의 위치를 1이라고 하고, 우안의 위치가 우안 컬러 이미지와 좌안 컬러 이미지의 중간에 위치하면 RIGHT_VIEW_MOVEMENT는 0.5에 해당할 수 있다.
수학식 5에서 보여지는 바와 같이, 우안 컬러 이미지 내의 복수의 우안 특징 컬러 포인트(XCR, YCR)의 각각에 대하여, 가상 스테레오 이미지 생성부(115)는 우안-좌안 이미지 대응관계 맵을 이용하여, 각 우안 특징 컬러 포인트(XCR, YCR)에 대응하는 좌안 컬러 이미지 내의 우안 대응 특징 컬러 포인트의 위치(WARP_MAP_RX[XCR][YCR], WARP_MAP_RY[XCR][YCR])를 구한다. 그리고, 가상 스테레오 이미지 생성부(115)는 각 우안 특징 컬러 포인트의 위치(XCR, YCR), 우안 대응 특징 컬러 포인트 및 각 우안 특징 컬러 포인트 사이의 차이 벡터(WARP_MAP_RX[XCR][YCR] - XCR, WARP_MAP_RY[XCR][YCR] - YCR), 우안의 위치의 이동량(RIGHT_VIEW_MOVEMENT)에 기초하여, 각 우안 특징 컬러 포인트(XCR, YCR)에 대응하는 가상 우안 컬러 이미지 내의 가상 우안 특징 컬러 포인트의 위치(XCR', YCR')를 구하여, 가상 우안 컬러 이미지 내의 복수의 가상 우안 특징 컬러 포인트의 위치(XCR', YCR')를 구할 수 있다.
한편, 가상 스테레오 이미지 생성부(115)는 우안 컬러 이미지 내의 복수의 우안 특징 컬러 포인트 이외의 복수의 우안 컬러 포인트(XR, YR)에 각각 대응하는 가상 우안 컬러 이미지 내의 복수의 가상 우안 컬러 포인트의 위치(XR', YR')를 하기의 수학식 6에서와 같이 구할 수 있다.
Figure pat00006
포인트(XCRLEFT_TOP, YCRLEFT_TOP)는 우안 컬러 포인트(XR, YR)의 좌상측의 주변 우안 특징 컬러 포인트이고, 포인트(XCRRIGHT_TOP, YCRRIGHT_TOP)는 우안 컬러 포인트(XR, YR)의 우상측의 주변 우안 특징 컬러 포인트이고, 포인트(XCRLEFT_BOTTOM , YCRLEFT_BOTTOM)는 우안 컬러 포인트(XR, YR)의 좌하측의 주변 우안 특징 컬러 포인트이고, 포인트(XCRRIGHT_BOTTOM, YCRRIGHT_BOTTOM)는 우안 컬러 포인트(XR, YR)의 우하측의 주변 우안 특징 컬러 포인트이다.
포인트(XCR'LEFT_TOP, XCL'LEFT_TOP)는 가상 우안 컬러 포인트(XL', YL')의 좌상측의 주변 가상 우안 특징 컬러 포인트이고, 포인트(XCL'RIGHT_TOP, XCL'RIGHT_TOP)는 가상 우안 컬러 포인트(XL', YL')의 우상측의 주변 가상 우안 특징 컬러 포인트이고, 포인트(XCL'LEFT_BOTTOM, XCL'LEFT_BOTTOM)는 가상 우안 컬러 포인트(XL', YL')의 좌하측의 주변 가상 우안 특징 컬러 포인트이고, 포인트(XCL'RIGHT_TOP, XCL'RIGHT_BOTTOM)는 가상 우안 컬러 포인트(XL', YL')의 우하측의 주변 가상 우안 특징 컬러 포인트이다.
수학식 6에서 보여지는 바와 같이, 우안 컬러 이미지 내의 복수의 우안 컬러 포인트에 각각에 대하여, 가상 스테레오 이미지 생성부(115)는 각 우안 컬러 포인트와 그 주변의 복수의 주변 우안 특징 컬러 포인트 사이의 거리(D1, D2, D3, D4)를 구한다. 가상 스테레오 이미지 생성부(115)는 구한 거리(D1, D2, D3, D4)에 기초하여 가상 우안 컬러 이미지 내의 복수의 주변 가상 우안 특징 컬러 포인트를 위한 복수의 가중치(WLEFT_TOP, WRIGHT_TOP, WLEFT_BOTTOM, WRIGHT_BOTTOM)를 구한다. 가상 스테레오 이미지 생성부(115)는 가상 우안 컬러 이미지 내의 복수의 주변 가상 우안 특징 컬러 포인트의 위치에 복수의 가중치(WLEFT_TOP, WRIGHT_TOP, WLEFT_BOTTOM, WRIGHT_BOTTOM)를 적용하여 가상 우안 컬러 이미지 내의 복수의 가상 우안 컬러 포인트의 위치를 구할 수 있다.
수학식 6 대신에, 가상 스테레오 이미지 생성부(115)는 가상 우안 컬러 이미지 내의 복수의 가상 우안 특징 컬러 포인트 이외의 복수의 가상 우안 컬러 포인트(XL', YL')에 대응하는 우안 컬러 이미지 내의 복수의 우안 컬러 포인트의 위치(XL, YL)를 하기의 수학식 7에서와 같이 구할 수도 있다.
Figure pat00007
이후, 수학식 8에서 보여지는 바와 같이, 가상 스테레오 이미지 생성부(115)는 우안 컬러 이미지 내의 복수의 우안 컬러 포인트의 위치와 가상 우안 컬러 이미지 내의 복수의 가상 우안 컬러 포인트의 위치에 기초하여, 가상 우안 컬러 이미지 내의 복수의 가상 우안 컬러 포인트의 컬러 값을 우안 컬러 이미지 내의 복수의 우안 컬러 포인트의 컬러 값으로 결정하여, 가상 우안 컬러 이미지를 생성할 수 있다.
Figure pat00008
물체점 획득부(110)의 가상 스테레오 깊이 이미지 생성부(116)는, 안구(19)의 위치에 기초하여, 스테레오 깊이 이미지와 스테레오 이미지 대응관계 맵을 이용하여, 현재 안구 위치에 적합한 가상 스테레오 컬러 이미지의 깊이 맵인 가상 스테레오 깊이 이미지를 생성한다(S106). 가상 스테레오 깊이 이미지는 가상 좌안 깊이 이미지와 가상 우안 깊이 이미지를 포함할 수 있다.
가상 좌안 깊이 이미지는 VIRTUAL_LEFT_IMAGE_DEPTH_MAP[][]와 같이 2차원 어레이로 나타낼 수 있다. VIRTUAL_LEFT_IMAGE_DEPTH_MAP[XL][YL]은 가상 좌안 컬러 이미지 내의 임의의 위치(XL, YL)에 해당하는 깊이 값을 나타낸다. 가상 좌안 깊이 이미지는 복수의 좌안 특징 깊이 포인트에 각각 대응하는 복수의 가상 좌안 특징 깊이 포인트를 가진다.
가상 우안 깊이 이미지는 VIRTUAL_RIGHT_IMAGE_DEPTH_MAP[][]와 같이 2차원 어레이로 나타낼 수 있다. VIRTUAL_RIGHT_IMAGE_DEPTH_MAP[XR][YR]은 가상 우안 컬러 이미지 내의 임의의 위치(XR, YR)에 해당하는 깊이 값을 나타낸다. 가상 우안 깊이 이미지는 복수의 우안 특징 깊이 포인트에 각각 대응하는 복수의 가상 우안 특징 깊이 포인트를 가진다.
물체점 획득부(110)의 가상 스테레오 이미지 생성부(115)는 좌안의 위치에 기초하여, 좌안 깊이 이미지와 좌안-우안 이미지 대응관계 맵을 이용하여, 가상 좌안 깊이 이미지를 생성할 수 있다.
가상 좌안 깊이 이미지의 생성을 구체적으로 살펴보면, 먼저, 가상 스테레오 이미지 생성부(115)는 좌안 깊이 이미지 내의 복수의 좌안 특징 깊이 포인트(XCL, YCL)에 각각 대응하는 가상 좌안 깊이 이미지 내의 복수의 가상 좌안 특징 깊이 포인트의 위치(XCL', YCL')를 하기의 수학식 9에서와 같이 구할 수 있다.
좌안 깊이 이미지 내의 복수의 좌안 특징 깊이 포인트의 위치는 좌안 컬러 이미지 내의 복수의 좌안 특징 컬러 포인트의 위치와 각각 동일할 수 있다.
Figure pat00009
수학식 9에서, LEFT_VIEW_MOVEMENT는 기준 시점으로부터 좌안의 위치의 이동량을 나타낸다. 예컨데, 좌안 깊이 이미지에 해당하는 시점의 위치를 0이라 하고, 우안 깊이 이미지에 해당하는 시점의 위치를 1이라고 하고, 좌안의 위치가 좌안 깊이 이미지와 우안 깊이 이미지의 중간에 위치하면 LEFT_VIEW_MOVEMENT는 0.5에 해당할 수 있다.
수학식 9에서 보여지는 바와 같이, 좌안 깊이 이미지 내의 복수의 좌안 특징 깊이 포인트(XCL, YCL)의 각각에 대하여, 가상 스테레오 이미지 생성부(115)는 좌안-우안 이미지 대응관계 맵을 이용하여, 각 좌안 특징 깊이 포인트(XCL, YCL)에 대응하는 우안 깊이 이미지 내의 좌안 대응 특징 깊이 포인트의 위치(WARP_MAP_LX[XCL][YCL], WARP_MAP_LY[XCL][YCL])를 구한다. 그리고, 가상 스테레오 이미지 생성부(115)는 각 좌안 특징 깊이 포인트의 위치(XCL, YCL), 좌안 대응 특징 깊이 포인트 및 각 좌안 특징 깊이 포인트 사이의 차이 벡터(WARP_MAP_LX[XCL][YCL] - XCL, WARP_MAP_LY[XCL][YCL] - YCL), 좌안의 위치의 이동량(LEFT_VIEW_MOVEMENT)에 기초하여, 각 좌안 특징 깊이 포인트(XCL, YCL)에 대응하는 가상 좌안 깊이 이미지 내의 가상 좌안 특징 깊이 포인트의 위치(XCL', YCL')를 구하여, 가상 좌안 깊이 이미지 내의 복수의 가상 좌안 특징 깊이 포인트의 위치(XCL', YCL')를 구할 수 있다.
한편, 가상 스테레오 이미지 생성부(115)는 좌안 깊이 이미지 내의 복수의 좌안 특징 깊이 포인트 이외의 복수의 좌안 깊이 포인트(XL, YL)에 각각 대응하는 가상 좌안 깊이 이미지 내의 복수의 가상 좌안 깊이 포인트의 위치(XL', YL')를 하기의 수학식 10에서와 같이 구할 수 있다.
Figure pat00010
수학식 10에서, 포인트(XCLLEFT_TOP, YCLLEFT_TOP)는 좌안 깊이 포인트(XL, YL)의 좌상측의 주변 좌안 특징 깊이 포인트이고, 포인트(XCLRIGHT_TOP, YCLRIGHT_TOP)는 좌안 깊이 포인트(XL, YL)의 우상측의 주변 좌안 특징 깊이 포인트이고, 포인트(XCLLEFT_BOTTOM , YCLLEFT_BOTTOM)는 좌안 깊이 포인트(XL, YL)의 좌하측의 주변 좌안 특징 깊이 포인트이고, 포인트(XCLRIGHT_BOTTOM, YCLRIGHT_BOTTOM)는 좌안 깊이 포인트(XL, YL)의 우하측의 주변 좌안 특징 깊이 포인트이다.
포인트(XCL'LEFT_TOP, XCL'LEFT_TOP)는 가상 좌안 깊이 포인트(XL', YL')의 좌상측의 주변 가상 좌안 특징 깊이 포인트이고, 포인트(XCL'RIGHT_TOP, XCL'RIGHT_TOP)는 가상 좌안 깊이 포인트(XL', YL')의 우상측의 주변 가상 좌안 특징 깊이 포인트이고, 포인트(XCL'LEFT_BOTTOM, XCL'LEFT_BOTTOM)는 가상 좌안 깊이 포인트(XL', YL')의 좌하측의 주변 가상 좌안 특징 깊이 포인트이고, 포인트(XCL'RIGHT_TOP, XCL'RIGHT_BOTTOM)는 가상 좌안 깊이 포인트(XL', YL')의 우하측의 주변 가상 좌안 특징 깊이 포인트이다.
수학식 10에서 보여지는 바와 같이, 좌안 깊이 이미지 내의 복수의 좌안 깊이 포인트에 각각에 대하여, 가상 스테레오 이미지 생성부(115)는 각 좌안 깊이 포인트와 그 주변의 복수의 주변 좌안 특징 깊이 포인트 사이의 거리(D1, D2, D3, D4)를 구한다. 가상 스테레오 이미지 생성부(115)는 구한 거리(D1, D2, D3, D4)에 기초하여 가상 좌안 깊이 이미지 내의 복수의 주변 가상 좌안 특징 깊이 포인트를 위한 복수의 가중치(WLEFT_TOP, WRIGHT_TOP, WLEFT_BOTTOM, WRIGHT_BOTTOM)를 구한다. 가상 스테레오 이미지 생성부(115)는 가상 좌안 깊이 이미지 내의 복수의 주변 가상 좌안 특징 깊이 포인트의 위치에 복수의 가중치(WLEFT_TOP, WRIGHT_TOP, WLEFT_BOTTOM, WRIGHT_BOTTOM)를 적용하여 가상 좌안 깊이 이미지 내의 복수의 가상 좌안 깊이 포인트의 위치를 구할 수 있다.
수학식 10 대신에, 가상 스테레오 이미지 생성부(115)는 가상 좌안 깊이 이미지 내의 복수의 가상 좌안 특징 깊이 포인트 이외의 복수의 가상 좌안 깊이 포인트(XL', YL')에 대응하는 좌안 깊이 이미지 내의 복수의 좌안 깊이 포인트의 위치(XL, YL)를 하기의 수학식 11에서와 같이 구할 수도 있다.
Figure pat00011
이후, 수학식 12에서 보여지는 바와 같이, 가상 스테레오 이미지 생성부(115)는 좌안 깊이 이미지 내의 복수의 좌안 깊이 포인트의 위치와 가상 좌안 깊이 이미지 내의 복수의 가상 좌안 깊이 포인트의 위치에 기초하여, 가상 좌안 깊이 이미지 내의 복수의 가상 좌안 깊이 포인트의 깊이 값을 좌안 깊이 이미지 내의 복수의 좌안 깊이 포인트의 깊이 값으로 결정하여, 가상 좌안 깊이 이미지를 생성할 수 있다.
Figure pat00012
물체점 획득부(110)의 가상 스테레오 이미지 생성부(115)는 우안의 위치에 기초하여, 우안 깊이 이미지와 우안-좌안 이미지 대응관계 맵을 이용하여, 가상 우안 깊이 이미지를 생성할 수 있다.
가상 우안 깊이 이미지의 생성을 구체적으로 살펴보면, 먼저, 가상 스테레오 이미지 생성부(115)는 우안 깊이 이미지 내의 복수의 우안 특징 깊이 포인트(XCR, YCR)에 각각 대응하는 가상 우안 깊이 이미지 내의 복수의 가상 우안 특징 깊이 포인트의 위치(XCR', YCR')를 하기의 수학식 13에서와 같이 구할 수 있다.
우안 깊이 이미지 내의 복수의 우안 특징 깊이 포인트의 위치는 우안 깊이 이미지 내의 복수의 우안 특징 깊이 포인트의 위치와 각각 동일할 수 있다.
Figure pat00013
수학식 13에서, RIGHT_VIEW_MOVEMENT는 기준 시점으로부터 우안의 위치의 이동량을 나타낸다. 예컨데, 우안 깊이 이미지에 해당하는 시점의 위치를 0이라 하고, 좌안 깊이 이미지에 해당하는 시점의 위치를 1이라고 하고, 우안의 위치가 우안 깊이 이미지와 좌안 깊이 이미지의 중간에 위치하면 RIGHT_VIEW_MOVEMENT는 0.5에 해당할 수 있다.
수학식 13에서 보여지는 바와 같이, 우안 깊이 이미지 내의 복수의 우안 특징 깊이 포인트(XCR, YCR)의 각각에 대하여, 가상 스테레오 이미지 생성부(115)는 우안-좌안 이미지 대응관계 맵을 이용하여, 각 우안 특징 깊이 포인트(XCR, YCR)에 대응하는 좌안 깊이 이미지 내의 우안 대응 특징 깊이 포인트의 위치(WARP_MAP_RX[XCR][YCR], WARP_MAP_RY[XCR][YCR])를 구한다. 그리고, 가상 스테레오 이미지 생성부(115)는 각 우안 특징 깊이 포인트의 위치(XCR, YCR), 우안 대응 특징 깊이 포인트 및 각 우안 특징 깊이 포인트 사이의 차이 벡터(WARP_MAP_RX[XCR][YCR] - XCR, WARP_MAP_RY[XCR][YCR] - YCR), 우안의 위치의 이동량(RIGHT_VIEW_MOVEMENT)에 기초하여, 각 우안 특징 깊이 포인트(XCR, YCR)에 대응하는 가상 우안 깊이 이미지 내의 가상 우안 특징 깊이 포인트의 위치(XCR', YCR')를 구하여, 가상 우안 깊이 이미지 내의 복수의 가상 우안 특징 깊이 포인트의 위치(XCR', YCR')를 구할 수 있다.
한편, 가상 스테레오 이미지 생성부(115)는 우안 깊이 이미지 내의 복수의 우안 특징 깊이 포인트 이외의 복수의 우안 깊이 포인트(XR, YR)에 각각 대응하는 가상 우안 깊이 이미지 내의 복수의 가상 우안 깊이 포인트의 위치(XR', YR')를 하기의 수학식 14에서와 같이 구할 수 있다.
Figure pat00014
수학식 14에서, 포인트(XCRLEFT_TOP, YCRLEFT_TOP)는 우안 깊이 포인트(XR, YR)의 좌상측의 주변 우안 특징 깊이 포인트이고, 포인트(XCRRIGHT_TOP, YCRRIGHT_TOP)는 우안 깊이 포인트(XR, YR)의 우상측의 주변 우안 특징 깊이 포인트이고, 포인트(XCRLEFT_BOTTOM , YCRLEFT_BOTTOM)는 우안 깊이 포인트(XR, YR)의 좌하측의 주변 우안 특징 깊이 포인트이고, 포인트(XCRRIGHT_BOTTOM, YCRRIGHT_BOTTOM)는 우안 깊이 포인트(XR, YR)의 우하측의 주변 우안 특징 깊이 포인트이다.
포인트(XCR'LEFT_TOP, XCL'LEFT_TOP)는 가상 우안 깊이 포인트(XL', YL')의 좌상측의 주변 가상 우안 특징 깊이 포인트이고, 포인트(XCL'RIGHT_TOP, XCL'RIGHT_TOP)는 가상 우안 깊이 포인트(XL', YL')의 우상측의 주변 가상 우안 특징 깊이 포인트이고, 포인트(XCL'LEFT_BOTTOM, XCL'LEFT_BOTTOM)는 가상 우안 깊이 포인트(XL', YL')의 좌하측의 주변 가상 우안 특징 깊이 포인트이고, 포인트(XCL'RIGHT_TOP, XCL'RIGHT_BOTTOM)는 가상 우안 깊이 포인트(XL', YL')의 우하측의 주변 가상 우안 특징 깊이 포인트이다.
수학식 14에서 보여지는 바와 같이, 우안 깊이 이미지 내의 복수의 우안 깊이 포인트에 각각에 대하여, 가상 스테레오 이미지 생성부(115)는 각 우안 깊이 포인트와 그 주변의 복수의 주변 우안 특징 깊이 포인트 사이의 거리(D1, D2, D3, D4)를 구한다. 가상 스테레오 이미지 생성부(115)는 구한 거리(D1, D2, D3, D4)에 기초하여 가상 우안 깊이 이미지 내의 복수의 주변 가상 우안 특징 깊이 포인트를 위한 복수의 가중치(WLEFT_TOP, WRIGHT_TOP, WLEFT_BOTTOM, WRIGHT_BOTTOM)를 구한다. 가상 스테레오 이미지 생성부(115)는 가상 우안 깊이 이미지 내의 복수의 주변 가상 우안 특징 깊이 포인트의 위치에 복수의 가중치(WLEFT_TOP, WRIGHT_TOP, WLEFT_BOTTOM, WRIGHT_BOTTOM)를 적용하여 가상 우안 깊이 이미지 내의 복수의 가상 우안 깊이 포인트의 위치를 구할 수 있다.
수학식 14 대신에, 가상 스테레오 이미지 생성부(115)는 가상 우안 깊이 이미지 내의 복수의 가상 우안 특징 깊이 포인트 이외의 복수의 가상 우안 깊이 포인트(XL', YL')에 대응하는 우안 깊이 이미지 내의 복수의 우안 깊이 포인트의 위치(XL, YL)를 하기의 수학식 15에서와 같이 구할 수도 있다.
Figure pat00015
이후, 수학식 16에서 보여지는 바와 같이, 가상 스테레오 이미지 생성부(115)는 우안 깊이 이미지 내의 복수의 우안 깊이 포인트의 위치와 가상 우안 깊이 이미지 내의 복수의 가상 우안 깊이 포인트의 위치에 기초하여, 가상 우안 깊이 이미지 내의 복수의 가상 우안 깊이 포인트의 깊이 값을 우안 깊이 이미지 내의 복수의 우안 깊이 포인트의 깊이 값으로 결정하여, 가상 우안 깊이 이미지를 생성할 수 있다.
Figure pat00016
물체점 획득부(110)의 3차원 정보 획득부(117)는 가상 스테레오 컬러 이미지와 가상 스테레오 깊이 이미지를 이용하여 복수의 물체점(11)의 3차원 정보를 획득한다(S111). 각 물체점(11)의 3차원 정보는 3차원 좌표값과 픽셀 값을 포함할 수 있다. 예컨데, 3차원 좌표값은 x축 상 위치 값, y축 상 위치 값, z축 상 위치 값을 포함할 수 있다. 픽셀 값은 RGB 컬러 값 또는 YUV 컬러 값에 해당할 수 있다. 복수의 물체점(11)의 3차원 정보는 복수의 좌안 물체점의 3차원 정보와 복수의 우안 물체점의 3차원 정보를 포함할 수 있다.
시야창 결정부(125)는 생성할 홀로그램을 위한 시야창을 결정한다(S114).
일 실시예에서, 시야창 결정부(125)는 안구(19)의 위치와 무관한 시야창을 결정할 수 있다. 이때, 시야창은 미리 정의되어 있을 수 있다. 시야창은 전체 시차 기반 시야창, HPO 기반 시야창, HPO 기반 시야창 중 어느 하나가 될 수 있다.
또 다른 실시예에서, 시야창 결정부(125)는 안구(19)의 위치에 기초하여 시야창을 결정할 수 있다. 이때, 시야창 결정부(125)는 좌안의 위치에 기초하여 좌안을 위한 좌안 시야창을 결정하고, 우안의 위치에 기초하여 우안을 위한 우안 시야창을 결정할 수 있다. 시야창은 전체 시차 기반 시야창, HPO 기반 시야창, HPO 기반 시야창 중 어느 하나가 될 수 있다.
홀로그램 패턴 생성부(130)는 복수의 물체점(11)의 3차원 정보와 시야창(13)에 기반하여, 복수의 물체점(11)에 각각 대응하는 복수의 홀로그램 패턴(15)을 획득한다(S115).
홀로그램 패턴 생성부(130)는 복수의 좌안 물체점의 3차원 정보와 좌안 시야창에 기반하여, 복수의 좌안 물체점에 각각 대응하는 복수의 좌안 홀로그램 패턴을 획득할 수 있다.
홀로그램 패턴 생성부(130)는 복수의 우안 물체점의 3차원 정보와 우안 시야창에 기반하여, 복수의 우안 물체점에 각각 대응하는 복수의 우안 홀로그램 패턴을 획득할 수 있다.
이때, 각 홀로그램 패턴의 중심 점은 대응하는 물체점(11)과 시야창(17)의 중심 점의 연장 선이 공간 광 변조기(170)와 만나는 위치일 수 있다. 이하에서는 중심 점의 위치를 (CX, CY)로 표현한다.
홀로그램 패턴은 공간 광 변조기(170)의 복수의 픽셀에 각각 대응하는 복수의 복소값을 포함할 수 있다. 특히, 공간 광 변조기(170)는 출력 광의 위상(phase)을 조절하지는 못하고 진폭(amplitude)을 조절하는 타입의 공간 광 변조기, 출력 광의 진폭을 조절하지는 못하고 위상을 조절하는 타입의 공간 광 변조기, 및 출력 광의 진폭과 위상을 모두 조절하는 타입의 공간 광 변조기로 분류될 수 있다.
공간 광 변조기(170)가 출력 광의 진폭만을 조절하는 타입인 경우에, 홀로그램 패턴의 복수의 복소값은 모두 실수일 수 있다. 즉, 복수의 실수의 각각은 대응하는 픽셀에서 출력되는 광의 진폭을 나타낼 수 있다.
공간 광 변조기(170)가 출력 광의 위상 만을 조절하는 타입인 경우에, 홀로그램 패턴은 절대값의 크기가 동일한 복수의 복소값을 포함할 수 있다. 즉, 복수의 복소수의 각각이 나타내는 위상은 대응하는 픽셀에서 출력되는 광의 위상을 나타낼 수 있다.
공간 광 변조기(170)가 출력 광의 진폭과 위상을 모두 조절하는 타입인 경우에, 복수의 복소수의 각각이 나타내는 절대값과 위상은 대응하는 픽셀에서 출력되는 광의 진폭과 위상을 나타낼 수 있다.
일 실시예에서, 홀로그램 패턴 생성부(130)는 고속 푸리에 변환(Fast Fourier Transform, FFT)을 통해 복수의 물체점(11)에 각각 대응하는 복수의 홀로그램 패턴을 획득할 수도 있다. 이 경우 메모리의 사이즈의 요구는 작을 수 있으나, 실시간 연산 능력의 요구는 커질 수 있다.
또 다른 실시예에서, 홀로그램 패턴 생성부(130)는 각 물체점(11)과 대응하는 홀로그램 패턴의 중심 점 사이의 거리에 따른 홀로그램 패턴을 홀로그램 패턴 룩업 테이블에서 검색하여 복수의 물체점(11)에 각각 대응하는 복수의 홀로그램 패턴(15)을 획득할 수 있다. 이때, 홀로그램 패턴은 고속 푸리에 변환을 통해 미리 계산된 것일 수 있다. 이 경우 실시간 연산 능력의 요구는 낮아질 수 있으나 메모리의 사이즈의 요구는 커질 수 있다.
고속 푸리에 변환을 통해 홀로그램 패턴의 복수의 복소값을 계산하는 방법을 설명한다.
홀로그램 패턴을 f(x,y)로 정의한다. 즉, 공간 광 변조기(170)의 픽셀의 위치(x,y)를 위한 홀로그램 패턴의 복소값이 f(x,y)로 정의된다. 또, 이 홀로그램 패턴으로부터 거리(z)만큼 떨리진 위치에서의 빛의 분포를 g(x,y,z)로 정의한다.
이 경우, 수학식 17과 같은 관계가 성립한다.
Figure pat00017
수학식 17에서, H(vx,vy,z)는 자유 공간의 전달 함수이다.
수학식 17을 이용하면, 특정 물체점(11)에서 빛의 강도가 최대가 되기 위한 홀로그램 패턴 f(x,y)가 구해질 수 있다.
홀로그램 패턴(15)은 전체 시차(full parallax) 기반 홀로그램 패턴일 수도 있고, 수평 시차 온리(horizontal parallax only, HPO) 기반 홀로그램 패턴일 수도 있고, 수직 시차 온리(vertical parallax only, VPO) 기반 홀로그램 패턴일 수도 있고, 전체 시차(full parallax) 기반 서브 홀로그램 패턴일 수도 있고, HPO 기반 서브 홀로그램 패턴일 수도 있고, VPO 기반 서브 홀로그램 패턴일 수도 있다.
다음은 도 8 내지 도 13를 참고하여 본 발명의 다양한 실시예에 따른 홀로그램 패턴을 설명한다.
도 8은 본 발명의 실시예에 따른 전체 시차(full parallax) 기반 홀로그램 패턴의 개념도를 보여준다.
도 8에 도시된 바와 같이, 전체 시차(full parallax) 기반 홀로그램 패턴이 기록된 공간 광 변조기(170)는 시차가 제한되지도 않으면서 안구(19)의 위치와는 무관한 비교적 넓은 시야창(13)에서 관찰 가능한 물체점(11)을 생성한다. 그러나, 전체 시차(full parallax) 기반 홀로그램 패턴의 크기가 크므로, 전체 시차(full parallax) 기반 홀로그램 패턴의 데이터의 양도 커져, 큰 연산 능력이 요구될 수 있다.
일 실시예에서, 홀로그램 패턴 생성부(130)는 고속 푸리에 변환(Fast Fourier Transform, FFT)을 통해 복수의 물체점(11)에 각각 대응하는 복수의 전체 시차 기반 홀로그램 패턴을 획득할 수도 있다.
또 다른 실시예에서, 홀로그램 패턴 생성부(130)는 각 물체점(11)과 대응하는 홀로그램 패턴의 중심 점 사이의 거리에 따른 전체 시차 기반 홀로그램 패턴을 홀로그램 패턴 룩업 테이블에서 검색하여 복수의 물체점(11)에 각각 대응하는 복수의 전체 시차 기반 홀로그램 패턴(15)을 획득할 수 있다.
전체 시차 기반 홀로그램 패턴(15)은 수학식 17을 이용하여 미리 또는 실시간으로 계산될 수 있다. 이때, 전체 시차 기반 홀로그램 패턴의 범위는 수학식 18를 따를 수 있다.
Figure pat00018
수학식 18에서, PF_X와 PF_Y는 전체 시차 기반 홀로그램 패턴의 크기를 나타낸다. 즉, PF_X는 전체 시차 기반 홀로그램 패턴의 폭(width)를 나타내고, PF_Y는 전체 시차 기반 홀로그램 패턴의 높이(height)를 나타낸다. 구체적으로 PF_X는 전체 시차 기반 홀로그램 패턴의 수평 픽셀의 개수를 나타내고, PF_y는 전체 시차 기반 홀로그램 패턴의 수직 픽셀의 개수를 나타낼 수 있다. 전체 시차 기반 홀로그램 패턴의 수평 픽셀의 개수는 전체 시차 기반 홀로그램 패턴의 수직 픽셀의 개수와 동일할 수 있다. 전체 시차 기반 홀로그램 패턴의 데이터 양은 (전체 시차 기반 홀로그램 패턴의 수평 픽셀의 개수)*(전체 시차 기반 홀로그램 패턴의 수직 픽셀의 개수)에 해당하는 개수의 복소수일 수 있다.
일 실시예에서, "CX - {(PF _X - 1)/ 2}"는 0과 같고, "CX + {(PF _X - 1) / 2}"는 (공간 광 변조기의 수평 픽셀의 개수)와 같고, "CY - {(PF _y - 1) / 2}"는 0과 같고, "CY + {(PF _Y - 1) / 2}" = (공간 광 변조기의 수직 픽셀의 개수)와 같을 수 있다.
홀로그램 패턴 생성부(130)는 물체점(11)의 위치 및 시야창(13)의 중심점 중 적어도 하나에 기초하여 전체 시차 기반 홀로그램 패턴의 중심 점을 결정한다. 이때, 홀로그램 패턴 생성부(130)는 물체점(11)과 시야창(17)의 중심 점의 연장 선이 공간 광 변조기(170)와 만나는 위치를 전체 시차 기반 홀로그램 패턴의 중심 점으로 결정할 수 있다.
홀로그램 패턴 생성부(130)는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리 중 적어도 하나에 기초하여 전체 시차 기반 홀로그램 패턴의 크기를 결정할 수 있다. 구체적으로, 홀로그램 패턴 생성부(130)는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리 중 적어도 하나에 기초하여 전체 시차 기반 홀로그램 패턴의 폭을 결정할 수 있다. 또, 홀로그램 패턴 생성부(130)는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리 중 적어도 하나에 기초하여 전체 시차 기반 홀로그램 패턴의 높이를 결정할 수 있다. 또 다른 실시예에서는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리와는 무관하게, 전체 시차 기반 홀로그램 패턴의 폭 또는 높이 중 적어도 하나가 결정될 수도 있다. 전체 시차 기반 홀로그램 패턴의 폭과 높이 중 적어도 하나는 일정할 수 있다. 예컨데, 전체 시차 기반 홀로그램 패턴의 폭은 공간 광 변조기의 수평 픽셀의 개수로 미리 정의되고, 전체 시차 기반 홀로그램 패턴의 높이는 공간 광 변조기의 수직 픽셀의 개수로 미리 정의될 수 있다.
홀로그램 패턴 생성부(130)는 전체 시차 기반 홀로그램 패턴의 중심 점 및 전체 시차 기반 홀로그램 패턴의 크기 중 적어도 하나에 기초하여 홀로그램 패턴 범위를 결정한다. 홀로그램 패턴 생성부(130)는 수학식 18에서 보여지는 바와 같이 홀로그램 패턴 범위를 결정할 수 있다.
홀로그램 패턴 생성부(130)는 결정된 홀로그램 패턴 범위 내에서 고속 푸리에 변환을 수행하여 전체 시차 기반 홀로그램 패턴(15)을 생성할 수 있다.
도 9는 본 발명의 실시예에 따른 HPO 기반 홀로그램 패턴의 개념도를 보여준다.
도 9에 도시된 바와 같이, HPO 기반 홀로그램 패턴을 위한 시야창(13)은 높이에 비해 폭이 넓다. 또한, 이러한 사이즈를 가진 시야창(13)으로 인하여 생성되는 HPO 기반 홀로그램 패턴 또한 높이에 비해 폭이 길다. HPO 기반 홀로그램 패턴이 기록된 공간 광 변조기(170)는 수직 시차를 제한하고 수평 시차를 제공하면서 안구(19)의 위치와는 무관한 비교적 넓은 시야창(13)에서 관찰 가능한 물체점(11)을 생성한다. 전체 시차(full parallax) 기반 홀로그램 패턴에 비하여 HPO 기반 홀로그램 패턴은 비교적 적은 데이터 양을 가지므로, 비교적 낮은 연산 능력을 요구할 수 있다.
일 실시예에서, 홀로그램 패턴 생성부(130)는 고속 푸리에 변환(Fast Fourier Transform, FFT)을 통해 전체 시차 기반 홀로그램 패턴을 획득할 수도 있다. 그리고, 홀로그램 패턴 생성부(130)는 획득한 전체 시차 기반 홀로그램 패턴의 상측부와 하측부를 잘라내어 복수의 물체점(11)에 각각 대응하는 복수의 HPO 기반 홀로그램 패턴(15)을 획득할 수 있다.
또 다른 실시예에서, 홀로그램 패턴 생성부(130)는 고속 푸리에 변환(Fast Fourier Transform, FFT)을 통해 전체 시차 기반 홀로그램 패턴의 획득 없이 바로 복수의 물체점(11)에 각각 대응하는 복수의 HPO 기반 홀로그램 패턴(15)을 획득할 수 있다.
또 다른 실시예에서, 홀로그램 패턴 룩업 테이블 저장부(135)는 복수의 거리에 각각 대응하는 복수의 전체 시차 기반 홀로그램 패턴을 포함하는 홀로그램 패턴 룩업 테이블을 저장할 수 있다. 이 경우, 홀로그램 패턴 생성부(130)는 각 물체점(11)과 대응하는 홀로그램 패턴의 중심 점 사이의 거리에 따른 전체 시차 기반 홀로그램 패턴을 홀로그램 패턴 룩업 테이블에서 검색한다. 그리고, 홀로그램 패턴 생성부(130)는 검색한 전체 시차 기반 홀로그램 패턴의 상측부와 하측부를 잘라내어 복수의 물체점(11)에 각각 대응하는 복수의 HPO 기반 홀로그램 패턴(15)을 획득할 수 있다.
또 다른 실시예에서, 홀로그램 패턴 룩업 테이블 저장부(135)는 복수의 거리에 각각 대응하는 복수의 HPO 기반 홀로그램 패턴을 포함하는 홀로그램 패턴 룩업 테이블을 저장할 수 있다. 이 경우, 홀로그램 패턴 생성부(130)는 각 물체점(11)과 대응하는 홀로그램 패턴의 중심 점 사이의 거리에 따른 HPO 기반 홀로그램 패턴을 홀로그램 패턴 룩업 테이블에서 검색하여 복수의 물체점(11)에 각각 대응하는 복수의 HPO 기반 홀로그램 패턴(15)을 획득할 수 있다.
HPO 기반 홀로그램 패턴(15)은 수학식 19를 이용하여 미리 또는 실시간으로 계산될 수 있다. 이때, HPO 기반 홀로그램 패턴의 범위는 수학식 19를 따를 수 있다.
Figure pat00019
수학식 19에서, PF_X와 PH는 HPO 기반 홀로그램 패턴의 크기를 나타낸다. 즉, PF_X는 HPO 기반 홀로그램 패턴의 폭을 나타내고, PH는 HPO 기반 홀로그램 패턴의 높이를 나타낸다. 구체적으로 PF_X는 HPO 기반 홀로그램 패턴의 수평 픽셀의 개수를 나타내고, PH는 HPO 기반 홀로그램 패턴의 수직 픽셀의 개수를 나타낼 수 있다. HPO 기반 홀로그램 패턴의 수평 픽셀의 개수는 HPO 기반 홀로그램 패턴의 수직 픽셀의 개수보다 많다. HPO 기반 홀로그램 패턴의 데이터 양은 (HPO 기반 홀로그램 패턴의 수평 픽셀의 개수)*(HPO 기반 홀로그램 패턴의 수직 픽셀의 개수)에 해당하는 개수의 복소수일 수 있다.
일 실시예에서, "CX - {(PF _X - 1) / 2}"는 0과 같고, "CX + {(PF _X - 1) / 2}"는 (공간 광 변조기의 수평 픽셀의 개수)와 같을 수 있다.
홀로그램 패턴 생성부(130)는 물체점(11)의 위치 및 시야창(13)의 중심점 중 적어도 하나에 기초하여 HPO 기반 홀로그램 패턴의 중심 점을 결정한다. 이때, 홀로그램 패턴 생성부(130)는 물체점(11)과 시야창(17)의 중심 점의 연장 선이 공간 광 변조기(170)와 만나는 위치를 HPO 기반 홀로그램 패턴의 중심 점으로 결정할 수 있다.
홀로그램 패턴 생성부(130)는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리 중 적어도 하나에 기초하여 HPO 기반 홀로그램 패턴의 크기를 결정할 수 있다. 구체적으로, 홀로그램 패턴 생성부(130)는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리 중 적어도 하나에 기초하여 HPO 기반 홀로그램 패턴의 폭을 결정할 수 있다. 또, 홀로그램 패턴 생성부(130)는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리 중 적어도 하나에 기초하여 HPO 기반 홀로그램 패턴의 높이를 결정할 수 있다. 또 다른 실시예에서는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리와는 무관하게, HPO 기반 홀로그램 패턴의 폭 또는 높이 중 적어도 하나가 결정될 수도 있다. 예컨데, HPO 기반 홀로그램 패턴의 폭과 높이 중 적어도 하나는 일정할 수 있다. 예컨데, HPO 기반 홀로그램 패턴의 폭은 공간 광 변조기의 수평 픽셀의 개수로 미리 정의될 수 있다. HPO 기반 홀로그램 패턴의 높이는 1픽셀 또는 15 픽셀로 미리 정의 될 수 있다.
홀로그램 패턴 생성부(130)는 HPO 기반 홀로그램 패턴의 중심 점 및 HPO 기반 홀로그램 패턴의 크기 중 적어도 하나에 기초하여 홀로그램 패턴 범위를 결정한다. 홀로그램 패턴 생성부(130)는 수학식 19에서 보여지는 바와 같이 홀로그램 패턴 범위를 결정할 수 있다.
홀로그램 패턴 생성부(130)는 결정된 홀로그램 패턴 범위 내에서 고속 푸리에 변환을 수행하여 HPO 기반 홀로그램 패턴(15)을 생성할 수 있다.
도 9에 도시된 바와 같이, HPO 기반 홀로그램 패턴에 의해 형성되는 물체점(11)의 형상은 Y축 방향으로 긴 타원형이 될 수 있다. 이를 보정하기 위하여 추가적인 광학 장치가 요구되기도 한다.
도 10는 본 발명의 실시예에 따른 VPO 기반 홀로그램 패턴의 개념도를 보여준다.
도 10에 도시된 바와 같이, VPO 기반 홀로그램 패턴을 위한 시야창(13)은 폭에 비해 높이가 길다. 또한, 이러한 사이즈를 가진 시야창(13)으로 인하여 생성되는 VPO 기반 홀로그램 패턴 또한 폭에 비해 높이가 길다. VPO 기반 홀로그램 패턴이 기록된 공간 광 변조기(170)는 수평 시차를 제한하고 수직 시차를 제공하면서 안구(19)의 위치와는 무관한 비교적 넓은 시야창(13)에서 관찰 가능한 물체점(11)을 생성한다. 전체 시차(full parallax) 기반 홀로그램 패턴에 비하여 VPO 기반 홀로그램 패턴은 비교적 적은 데이터 양을 가지므로, 비교적 낮은 연산 능력을 요구할 수 있다.
일 실시예에서, 홀로그램 패턴 생성부(130)는 고속 푸리에 변환(Fast Fourier Transform, FFT)을 통해 전체 시차 기반 홀로그램 패턴을 획득할 수도 있다. 그리고, 홀로그램 패턴 생성부(130)는 획득한 전체 시차 기반 홀로그램 패턴의 좌측부와 우측부를 잘라내어 복수의 물체점(11)에 각각 대응하는 복수의 VPO 기반 홀로그램 패턴(15)을 획득할 수 있다.
또 다른 실시예에서, 홀로그램 패턴 생성부(130)는 고속 푸리에 변환(Fast Fourier Transform, FFT)을 통해 전체 시차 기반 홀로그램 패턴의 획득 없이 바로 복수의 물체점(11)에 각각 대응하는 복수의 VPO 기반 홀로그램 패턴(15)을 획득할 수 있다.
또 다른 실시예에서, 홀로그램 패턴 룩업 테이블 저장부(135)는 복수의 거리에 각각 대응하는 복수의 전체 시차 기반 홀로그램 패턴을 포함하는 홀로그램 패턴 룩업 테이블을 저장할 수 있다. 이 경우, 홀로그램 패턴 생성부(130)는 각 물체점(11)과 대응하는 홀로그램 패턴의 중심 점 사이의 거리에 따른 전체 시차 기반 홀로그램 패턴을 홀로그램 패턴 룩업 테이블에서 검색한다. 그리고, 홀로그램 패턴 생성부(130)는 검색한 전체 시차 기반 홀로그램 패턴의 좌측부와 우측부를 잘라내어 복수의 물체점(11)에 각각 대응하는 복수의 VPO 기반 홀로그램 패턴(15)을 획득할 수 있다.
또 다른 실시예에서, 홀로그램 패턴 룩업 테이블 저장부(135)는 복수의 거리에 각각 대응하는 복수의 VPO 기반 홀로그램 패턴을 포함하는 홀로그램 패턴 룩업 테이블을 저장할 수 있다. 이 경우, 홀로그램 패턴 생성부(130)는 각 물체점(11)과 대응하는 홀로그램 패턴의 중심 점 사이의 거리에 따른 VPO 기반 홀로그램 패턴을 홀로그램 패턴 룩업 테이블에서 검색하여 복수의 물체점(11)에 각각 대응하는 복수의 VPO 기반 홀로그램 패턴(15)을 획득할 수 있다.
VPO 기반 홀로그램 패턴(15)은 수학식 17을 이용하여 미리 또는 실시간으로 계산될 수 있다. 이때, VPO 기반 홀로그램 패턴의 범위는 수학식 20를 따를 수 있다.
Figure pat00020
수학식 20에서, PV와 PF_Y는 VPO 기반 홀로그램 패턴의 크기를 나타낸다. 즉, PV는 VPO 기반 홀로그램 패턴의 폭을 나타내고, PF_Y는 VPO 기반 홀로그램 패턴의 높이를 나타낸다. 구체적으로 PV는 VPO 기반 홀로그램 패턴의 수평 픽셀의 개수를 나타내고, PF_Y는 VPO 기반 홀로그램 패턴의 수직 픽셀의 개수를 나타낼 수 있다. VPO 기반 홀로그램 패턴의 수평 픽셀의 개수는 VPO 기반 홀로그램 패턴의 수직 픽셀의 개수보다 적다. VPO 기반 홀로그램 패턴의 데이터 양은 (VPO 기반 홀로그램 패턴의 수평 픽셀의 개수)*(VPO 기반 홀로그램 패턴의 수직 픽셀의 개수)에 해당하는 개수의 복소수일 수 있다.
일 실시예에서, "CY - {(PF _Y - 1) / 2}"는 0과 같고, "CY + {(PF _Y - 1) / 2}" = (공간 광 변조기의 수직 픽셀의 개수)와 같을 수 있다.
홀로그램 패턴 생성부(130)는 물체점(11)의 위치 및 시야창(13)의 중심점 중 적어도 하나에 기초하여 VPO 기반 홀로그램 패턴의 중심 점을 결정한다. 이때, 홀로그램 패턴 생성부(130)는 물체점(11)과 시야창(17)의 중심 점의 연장 선이 공간 광 변조기(170)와 만나는 위치를 VPO 기반 홀로그램 패턴의 중심 점으로 결정할 수 있다.
홀로그램 패턴 생성부(130)는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리 중 적어도 하나에 기초하여 VPO 기반 홀로그램 패턴의 크기를 결정할 수 있다. 구체적으로, 홀로그램 패턴 생성부(130)는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리 중 적어도 하나에 기초하여 VPO 기반 홀로그램 패턴의 폭을 결정할 수 있다. 또, 홀로그램 패턴 생성부(130)는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리 중 적어도 하나에 기초하여 VPO 기반 홀로그램 패턴의 높이를 결정할 수 있다. 또 다른 실시예에서는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리와는 무관하게, VPO 기반 홀로그램 패턴의 폭 또는 높이 중 적어도 하나가 결정될 수도 있다. 예컨데, VPO 기반 홀로그램 패턴의 폭과 높이 중 적어도 하나는 일정할 수 있다. 예컨데, VPO 기반 홀로그램 패턴의 높이는 공간 광 변조기의 수직 픽셀의 개수로 미리 정의될 수 있다. VPO 기반 홀로그램 패턴의 폭은 1픽셀 또는 15 픽셀로 미리 정의 될 수 있다.
홀로그램 패턴 생성부(130)는 VPO 기반 홀로그램 패턴의 중심 점 및 VPO 기반 홀로그램 패턴의 크기 중 적어도 하나에 기초하여 홀로그램 패턴 범위를 결정한다. 홀로그램 패턴 생성부(130)는 수학식 20에서 보여지는 바와 같이 홀로그램 패턴 범위를 결정할 수 있다.
홀로그램 패턴 생성부(130)는 결정된 홀로그램 패턴 범위 내에서 고속 푸리에 변환을 수행하여 VPO 기반 홀로그램 패턴(15)을 생성할 수 있다.
도 10에 도시된 바와 같이, VPO 기반 홀로그램 패턴에 의해 형성되는 물체점(11)의 형상은 X축 방향으로 긴 타원형이 될 수 있다. 이를 보정하기 위하여 추가적인 광학 장치가 요구되기도 한다.
데이터의 양을 줄여 연산량을 감소시키기 위하여 안구(19)의 위치에 기반한 서브 홀로그램 패턴이 이용될 수 있다. 이 경우, 홀로그램 패턴 생성부(130)는 복수의 물체점의 3차원 정보와 안구(19)의 위치에 기반하여, 복수의 물체점에 각각 대응하는 복수의 서브 홀로그램 패턴을 획득할 수 있다.
도 11은 본 발명의 실시예에 따른 전체 시차(full parallax) 기반 서브 홀로그램 패턴의 개념도를 보여준다.
도 11에 도시된 바와 같이, 전체 시차(full parallax) 기반 서브 홀로그램 패턴이 기록된 공간 광 변조기(170)는 시차가 제한되지도 않으면서 안구(19)의 위치와는 무관한 비교적 넓은 시야창(13)에서 관찰 가능한 물체점(11)을 생성한다. 그러나, 전체 시차(full parallax) 기반 서브 홀로그램 패턴의 크기가 크므로, 전체 시차(full parallax) 기반 서브 홀로그램 패턴의 데이터의 양도 커져, 큰 연산 능력이 요구될 수 있다.
일 실시예에서, 홀로그램 패턴 생성부(130)는 고속 푸리에 변환(Fast Fourier Transform, FFT)을 통해 복수의 물체점(11)에 각각 대응하는 복수의 전체 시차 기반 서브 홀로그램 패턴을 획득할 수도 있다.
또 다른 실시예에서, 홀로그램 패턴 생성부(130)는 각 물체점(11)과 대응하는 서브 홀로그램 패턴의 중심 점 사이의 거리에 따른 전체 시차 기반 서브 홀로그램 패턴을 홀로그램 패턴 룩업 테이블에서 검색하여 복수의 물체점(11)에 각각 대응하는 복수의 전체 시차 기반 서브 홀로그램 패턴(15)을 획득할 수 있다.
전체 시차 기반 서브 홀로그램 패턴(15)은 수학식 17을 이용하여 미리 또는 실시간으로 계산될 수 있다. 이때, 전체 시차 기반 서브 홀로그램 패턴의 범위는 수학식 21를 따를 수 있다.
Figure pat00021
수학식 21에서, PF_X와 PF_Y는 전체 시차 기반 서브 홀로그램 패턴의 크기를 나타낸다. 즉, PF_X는 전체 시차 기반 서브 홀로그램 패턴의 폭을 나타내고, PF_Y는 전체 시차 기반 서브 홀로그램 패턴의 높이를 나타낸다. 구체적으로 PF_X는 전체 시차 기반 서브 홀로그램 패턴의 수평 픽셀의 개수를 나타내고, PF_y는 전체 시차 기반 서브 홀로그램 패턴의 수직 픽셀의 개수를 나타낼 수 있다. 전체 시차 기반 서브 홀로그램 패턴의 수평 픽셀의 개수는 전체 시차 기반 서브 홀로그램 패턴의 수직 픽셀의 개수와 동일할 수 있다. 전체 시차 기반 서브 홀로그램 패턴의 데이터 양은 (전체 시차 기반 서브 홀로그램 패턴의 수평 픽셀의 개수)*(전체 시차 기반 서브 홀로그램 패턴의 수직 픽셀의 개수)에 해당하는 개수의 복소수일 수 있다.
홀로그램 패턴 생성부(130)는 물체점(11)의 위치 및 시야창(13)의 중심점 중 적어도 하나에 기초하여 전체 시차 기반 서브 홀로그램 패턴의 중심 점을 결정한다. 이때, 홀로그램 패턴 생성부(130)는 물체점(11)과 시야창(17)의 중심 점의 연장 선이 공간 광 변조기(170)와 만나는 위치를 전체 시차 기반 서브 홀로그램 패턴의 중심 점으로 결정할 수 있다.
홀로그램 패턴 생성부(130)는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리 중 적어도 하나에 기초하여 전체 시차 기반 서브 홀로그램 패턴의 크기를 결정할 수 있다. 구체적으로, 홀로그램 패턴 생성부(130)는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리 중 적어도 하나에 기초하여 전체 시차 기반 서브 홀로그램 패턴의 폭을 결정할 수 있다. 또, 홀로그램 패턴 생성부(130)는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리 중 적어도 하나에 기초하여 전체 시차 기반 서브 홀로그램 패턴의 높이를 결정할 수 있다. 또 다른 실시예에서는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리와는 무관하게, 전체 시차 기반 서브 홀로그램 패턴의 폭 또는 높이 중 적어도 하나가 결정될 수도 있다. 전체 시차 기반 서브 홀로그램 패턴의 폭과 높이 중 적어도 하나는 일정할 수 있다. 예컨데, 전체 시차 기반 서브 홀로그램 패턴의 폭과 높이는 모두 31 픽셀로 미리 정의될 수 있다.
홀로그램 패턴 생성부(130)는 전체 시차 기반 서브 홀로그램 패턴의 중심 점 및 전체 시차 기반 서브 홀로그램 패턴의 크기 중 적어도 하나에 기초하여 홀로그램 패턴 범위를 결정한다. 홀로그램 패턴 생성부(130)는 수학식 21에서 보여지는 바와 같이 홀로그램 패턴 범위를 결정할 수 있다.
홀로그램 패턴 생성부(130)는 결정된 홀로그램 패턴 범위 내에서 고속 푸리에 변환을 수행하여 전체 시차 기반 서브 홀로그램 패턴(15)을 생성할 수 있다.
도 12은 본 발명의 실시예에 따른 HPO 기반 서브 홀로그램 패턴의 개념도를 보여준다.
도 12에 도시된 바와 같이, HPO 기반 서브 홀로그램 패턴을 위한 시야창(13)은 높이에 비해 폭이 넓다. 또한, 이러한 사이즈를 가진 시야창(13)으로 인하여 생성되는 HPO 기반 서브 홀로그램 패턴 또한 높이에 비해 폭이 길다. HPO 기반 서브 홀로그램 패턴이 기록된 공간 광 변조기(170)는 수직 시차를 제한하고 수평 시차를 제공하면서 안구(19)의 위치와는 무관한 비교적 넓은 시야창(13)에서 관찰 가능한 물체점(11)을 생성한다. 전체 시차(full parallax) 기반 서브 홀로그램 패턴에 비하여 HPO 기반 서브 홀로그램 패턴은 비교적 적은 데이터 양을 가지므로, 비교적 낮은 연산 능력을 요구할 수 있다.
일 실시예에서, 홀로그램 패턴 생성부(130)는 고속 푸리에 변환(Fast Fourier Transform, FFT)을 통해 전체 시차 기반 서브 홀로그램 패턴을 획득할 수도 있다. 그리고, 홀로그램 패턴 생성부(130)는 획득한 전체 시차 기반 서브 홀로그램 패턴의 상측부와 하측부를 잘라내어 복수의 물체점(11)에 각각 대응하는 복수의 HPO 기반 서브 홀로그램 패턴 (15)을 획득할 수 있다.
또 다른 실시예에서, 홀로그램 패턴 생성부(130)는 고속 푸리에 변환(Fast Fourier Transform, FFT)을 통해 전체 시차 기반 서브 홀로그램 패턴의 획득 없이 바로 복수의 물체점(11)에 각각 대응하는 복수의 HPO 기반 서브 홀로그램 패턴 (15)을 획득할 수 있다.
또 다른 실시예에서, 홀로그램 패턴 룩업 테이블 저장부(135)는 복수의 거리에 각각 대응하는 복수의 전체 시차 기반 서브 홀로그램 패턴을 포함하는 홀로그램 패턴 룩업 테이블을 저장할 수 있다. 이 경우, 홀로그램 패턴 생성부(130)는 각 물체점(11)과 대응하는 서브 홀로그램 패턴의 중심 점 사이의 거리에 따른 전체 시차 기반 서브 홀로그램 패턴을 홀로그램 패턴 룩업 테이블에서 검색한다. 그리고, 홀로그램 패턴 생성부(130)는 검색한 전체 시차 기반 서브 홀로그램 패턴의 상측부와 하측부를 잘라내어 복수의 물체점(11)에 각각 대응하는 복수의 HPO 기반 서브 홀로그램 패턴(15)을 획득할 수 있다.
또 다른 실시예에서, 홀로그램 패턴 룩업 테이블 저장부(135)는 복수의 거리에 각각 대응하는 복수의 HPO 기반 서브 홀로그램 패턴을 포함하는 홀로그램 패턴 룩업 테이블을 저장할 수 있다. 이 경우, 홀로그램 패턴 생성부(130)는 각 물체점(11)과 대응하는 서브 홀로그램 패턴의 중심 점 사이의 거리에 따른 HPO 기반 서브 홀로그램 패턴을 홀로그램 패턴 룩업 테이블에서 검색하여 복수의 물체점(11)에 각각 대응하는 복수의 HPO 기반 서브 홀로그램 패턴 (15)을 획득할 수 있다.
HPO 기반 서브 홀로그램 패턴(15)은 수학식 21을 이용하여 미리 또는 실시간으로 계산될 수 있다. 이때, HPO 기반 서브 홀로그램 패턴의 범위는 수학식 22을 따를 수 있다.
Figure pat00022
수학식 22에서, PF_X와 PH는 HPO 기반 서브 홀로그램 패턴의 크기를 나타낸다. 즉, PF_X는 HPO 기반 서브 홀로그램 패턴의 폭을 나타내고, PH는 HPO 기반 서브 홀로그램 패턴의 높이를 나타낸다. 구체적으로 PF_X는 HPO 기반 서브 홀로그램 패턴의 수평 픽셀의 개수를 나타내고, PH는 HPO 기반 서브 홀로그램 패턴의 수직 픽셀의 개수를 나타낼 수 있다. HPO 기반 서브 홀로그램 패턴의 수평 픽셀의 개수는 HPO 기반 서브 홀로그램 패턴의 수직 픽셀의 개수보다 많다.
홀로그램 패턴 생성부(130)는 물체점(11)의 위치 및 시야창(13)의 중심점 중 적어도 하나에 기초하여 HPO 기반 서브 홀로그램 패턴의 중심 점을 결정한다. 이때, 홀로그램 패턴 생성부(130)는 물체점(11)과 시야창(17)의 중심 점의 연장 선이 공간 광 변조기(170)와 만나는 위치를 HPO 기반 서브 홀로그램 패턴의 중심 점으로 결정할 수 있다.
홀로그램 패턴 생성부(130)는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리 중 적어도 하나에 기초하여 HPO 기반 서브 홀로그램 패턴의 크기를 결정할 수 있다. 구체적으로, 홀로그램 패턴 생성부(130)는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리 중 적어도 하나에 기초하여 HPO 기반 서브 홀로그램 패턴의 폭을 결정할 수 있다. 또, 홀로그램 패턴 생성부(130)는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리 중 적어도 하나에 기초하여 HPO 기반 서브 홀로그램 패턴의 높이를 결정할 수 있다. 또 다른 실시예에서는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리와는 무관하게, HPO 기반 서브 홀로그램 패턴의 폭 또는 높이 중 적어도 하나가 결정될 수도 있다. 예컨데, HPO 기반 서브 홀로그램 패턴의 폭과 높이 중 적어도 하나는 일정할 수 있다. 특히, HPO 기반 서브 홀로그램 패턴의 폭과 높이는 31 픽셀, 15 픽셀로 각각 미리 정의 될 수 있다. 또, HPO 기반 서브 홀로그램 패턴의 높이는 1 픽셀로 미리 정의 될 수도 있다.
홀로그램 패턴 생성부(130)는 HPO 기반 서브 홀로그램 패턴의 중심 점 및 HPO 기반 서브 홀로그램 패턴의 크기 중 적어도 하나에 기초하여 홀로그램 패턴 범위를 결정한다. 홀로그램 패턴 생성부(130)는 수학식 22에서 보여지는 바와 같이 홀로그램 패턴 범위를 결정할 수 있다.
홀로그램 패턴 생성부(130)는 결정된 홀로그램 패턴 범위 내에서 고속 푸리에 변환을 수행하여 HPO 기반 서브 홀로그램 패턴(15)을 생성할 수 있다.
도 12에 도시된 바와 같이, HPO 기반 서브 홀로그램 패턴에 의해 형성되는 물체점(11)의 형상은 Y축 방향으로 긴 타원형이 될 수 있다. 이를 보정하기 위하여 추가적인 광학 장치가 요구되기도 한다.
도 13은 본 발명의 실시예에 따른 VPO 기반 서브 홀로그램 패턴의 개념도를 보여준다.
도 13에 도시된 바와 같이, VPO 기반 서브 홀로그램 패턴을 위한 시야창(13)은 폭에 비해 높이가 길다. 또한, 이러한 사이즈를 가진 시야창(13)으로 인하여 생성되는 VPO 기반 서브 홀로그램 패턴 또한 폭에 비해 높이가 길다. VPO 기반 서브 홀로그램 패턴이 기록된 공간 광 변조기(170)는 수평 시차를 제한하고 수직 시차를 제공하면서 안구(19)의 위치와는 무관한 비교적 넓은 시야창(13)에서 관찰 가능한 물체점(11)을 생성한다. 전체 시차(full parallax) 기반 서브 홀로그램 패턴에 비하여 VPO 기반 서브 홀로그램 패턴은 비교적 적은 데이터 양을 가지므로, 비교적 낮은 연산 능력을 요구할 수 있다.
일 실시예에서, 홀로그램 패턴 생성부(130)는 고속 푸리에 변환(Fast Fourier Transform, FFT)을 통해 전체 시차 기반 서브 홀로그램 패턴을 획득할 수도 있다. 그리고, 홀로그램 패턴 생성부(130)는 획득한 전체 시차 기반 서브 홀로그램 패턴의 좌측부와 우측부를 잘라내어 복수의 물체점(11)에 각각 대응하는 복수의 VPO 기반 서브 홀로그램 패턴 (15)을 획득할 수 있다.
또 다른 실시예에서, 홀로그램 패턴 생성부(130)는 고속 푸리에 변환(Fast Fourier Transform, FFT)을 통해 전체 시차 기반 서브 홀로그램 패턴의 획득 없이 바로 복수의 물체점(11)에 각각 대응하는 복수의 VPO 기반 서브 홀로그램 패턴 (15)을 획득할 수 있다.
또 다른 실시예에서, 홀로그램 패턴 룩업 테이블 저장부(135)는 복수의 거리에 각각 대응하는 복수의 전체 시차 기반 서브 홀로그램 패턴을 포함하는 홀로그램 패턴 룩업 테이블을 저장할 수 있다. 이 경우, 홀로그램 패턴 생성부(130)는 각 물체점(11)과 대응하는 서브 홀로그램 패턴의 중심 점 사이의 거리에 따른 전체 시차 기반 서브 홀로그램 패턴을 홀로그램 패턴 룩업 테이블에서 검색한다. 그리고, 홀로그램 패턴 생성부(130)는 검색한 전체 시차 기반 서브 홀로그램 패턴의 좌측부와 우측부를 잘라내어 복수의 물체점(11)에 각각 대응하는 복수의 VPO 기반 서브 홀로그램 패턴 (15)을 획득할 수 있다.
또 다른 실시예에서, 홀로그램 패턴 룩업 테이블 저장부(135)는 복수의 거리에 각각 대응하는 복수의 VPO 기반 서브 홀로그램 패턴을 포함하는 홀로그램 패턴 룩업 테이블을 저장할 수 있다. 이 경우, 홀로그램 패턴 생성부(130)는 각 물체점(11)과 대응하는 서브 홀로그램 패턴의 중심 점 사이의 거리에 따른 VPO 기반 서브 홀로그램 패턴을 홀로그램 패턴 룩업 테이블에서 검색하여 복수의 물체점(11)에 각각 대응하는 복수의 VPO 기반 서브 홀로그램 패턴(15)을 획득할 수 있다.
VPO 기반 서브 홀로그램 패턴(15)은 수학식 17을 이용하여 미리 또는 실시간으로 계산될 수 있다. 이때, VPO 기반 서브 홀로그램 패턴의 범위는 수학식 23을 따를 수 있다.
Figure pat00023
수학식 23에서, PV와 PF_Y는 VPO 기반 서브 홀로그램 패턴의 크기를 나타낸다. 즉, PV는 VPO 기반 서브 홀로그램 패턴의 폭을 나타내고, PF_Y는 VPO 기반 서브 홀로그램 패턴의 높이를 나타낸다. 구체적으로 PV는 VPO 기반 서브 홀로그램 패턴의 수평 픽셀의 개수를 나타내고, PF_Y는 VPO 기반 서브 홀로그램 패턴의 수직 픽셀의 개수를 나타낼 수 있다. VPO 기반 서브 홀로그램 패턴의 수평 픽셀의 개수는 VPO 기반 서브 홀로그램 패턴의 수직 픽셀의 개수보다 적다.
홀로그램 패턴 생성부(130)는 물체점(11)의 위치 및 시야창(13)의 중심점 중 적어도 하나에 기초하여 VPO 기반 서브 홀로그램 패턴의 중심 점을 결정한다. 이때, 홀로그램 패턴 생성부(130)는 물체점(11)과 시야창(17)의 중심 점의 연장 선이 공간 광 변조기(170)와 만나는 위치를 VPO 기반 서브 홀로그램 패턴의 중심 점으로 결정할 수 있다.
홀로그램 패턴 생성부(130)는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리 중 적어도 하나에 기초하여 VPO 기반 서브 홀로그램 패턴의 크기를 결정할 수 있다. 구체적으로, 홀로그램 패턴 생성부(130)는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리 중 적어도 하나에 기초하여 VPO 기반 서브 홀로그램 패턴의 폭을 결정할 수 있다. 또, 홀로그램 패턴 생성부(130)는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리 중 적어도 하나에 기초하여 VPO 기반 서브 홀로그램 패턴의 높이를 결정할 수 있다. 또 다른 실시예에서는 시야창(13)의 크기, 물체점(11)의 공간적 위치, 또는 시야창(13)과 공간 광 변조기(170) 사이의 거리와는 무관하게, VPO 기반 서브 홀로그램 패턴의 폭 또는 높이 중 적어도 하나가 결정될 수도 있다. 예컨데, VPO 기반 서브 홀로그램 패턴의 폭과 높이 중 적어도 하나는 일정할 수 있다. 특히, VPO 기반 서브 홀로그램 패턴의 폭과 높이는 31 픽셀, 15 픽셀로 각각 미리 정의 될 수 있다. 또, VPO 기반 서브 홀로그램 패턴의 폭은 1 픽셀로 미리 정의 될 수도 있다.
홀로그램 패턴 생성부(130)는 VPO 기반 서브 홀로그램 패턴의 중심 점 및 VPO 기반 서브 홀로그램 패턴의 크기 중 적어도 하나에 기초하여 홀로그램 패턴 범위를 결정한다. 홀로그램 패턴 생성부(130)는 수학식 23에서 보여지는 바와 같이 홀로그램 패턴 범위를 결정할 수 있다.
홀로그램 패턴 생성부(130)는 결정된 홀로그램 패턴 범위 내에서 고속 푸리에 변환을 수행하여 VPO 기반 서브 홀로그램 패턴(15)을 생성할 수 있다.
도 13에 도시된 바와 같이, VPO 기반 서브 홀로그램 패턴에 의해 형성되는 물체점(11)의 형상은 수평 방향으로 긴 타원형이 될 수 있다. 이를 보정하기 위하여 추가적인 광학 장치가 요구되기도 한다.
다시 도 5를 설명한다.
홀로그램 패턴 중첩부(140)는 복수의 물체점에 각각 대응하는 복수의 홀로그램 패턴을 중첩하여 홀로그램 이미지 데이터를 생성한다(S117).
홀로그램 이미지 데이터는 좌안 홀로그램 이미지 데이터와 우안 홀로그램 이미지 데이터를 포함할 수 있다. 이 경우, 홀로그램 패턴 중첩부(140)는 복수의 물체점에 각각 대응하는 복수의 좌안 홀로그램 패턴을 중첩하여 좌안 홀로그램 이미지 데이터를 생성하고, 복수의 물체점에 각각 대응하는 복수의 우안 홀로그램 패턴을 중첩하여 우안 홀로그램 이미지 데이터를 생성할 수 있다.
도 14는 본 발명의 실시예에 따른 복수의 홀로그램 패턴의 중첩의 개념을 보여준다.
도 14에 도시된 바와 같이, 복수의 홀로그램 패턴의 각각은 중심점과 크기를 가지므로, 다른 홀로그램 패턴과의 중첩 영역을 가진다.
한편, 이러한 복수의 홀로그램 패턴의 중첩으로 인하여, 홀로그램 이미지 데이터는 공간 광 변조기(170)가 표현할 수 없는 계조 범위의 데이터를 가질 수 있다. 따라서, 홀로그램 이미지 데이터를 공간 광 변조기(170)가 표현할 수 있는 계조 범위의 데이터로 변환하기 위하여 양자화가 수행될 수 있다. 홀로그램 이미지 데이터 내의 최대 값과 최소 값을 이용하여 홀로그램 이미지 데이터는 공간 광 변조기(170)가 표현할 수 있는 계조 범위 내로 양자화될 수 있다. 그러나, 중첩 영역에 속하는 홀로그램의 수가 증가할수록 홀로그램 이미지 데이터 내의 최대 값과 최소 값 사이의 격차는 커지므로, 양자화된 홀로그램 이미지 데이터는 이상적인 프린지 패턴(Fringe pattern)과 멀어질 수 있다.
양자화된 홀로그램 이미지 데이터를 이상적인 프린지 패턴(Fringe pattern)과 가깝게 하기 위하여, 홀로그램 패턴 중첩부(140)는 서로 인접한 홀로그램 패턴들을 서로 다른 픽셀 라인 그룹에서 중첩할 수 있다.
구체적으로 홀로그램 이미지 데이터는 제1 픽셀 라인 그룹과 제2 픽셀 라인 그룹을 포함할 수 있다. 제1 픽셀 라인 그룹 내의 복수의 픽셀 라인은 서로 평행할 수 있다. 또 제2 픽셀 라인 그룹 내의 복수의 픽셀 라인은 서로 평행할 수 있다. 특히, 제1 픽셀 라인 그룹 내의 복수의 픽셀 라인과 제2 픽셀 라인 그룹 내의 복수의 픽셀 라인은 서로 평행할 수 있다. 제1 픽셀 라인 그룹 내의 복수의 픽셀 라인과 제2 픽셀 라인 그룹 내의 복수의 픽셀 라인은 교대로 홀로그램 이미지 데이터에서 배치될 수 있다.
제1 픽셀 라인 그룹 내의 복수의 픽셀 라인은 수직 픽셀 라인일 수 있다. 또, 제2 픽셀 라인 그룹 내의 복수의 픽셀 라인은 수직 픽셀 라인일 수 있다. 이 경우, 복수의 홀로그램 패턴은 VPO 기반 홀로그램 패턴일 수 있다.
복수의 홀로그램 패턴 중 임의의 제1 홀로그램 패턴은 제1 픽셀 라인 그룹에서 중첩될 수 있다. 그리고, 제1 홀로그램 패턴이 중첩되는 픽셀 라인의 방향으로 제1 홀로그램 패턴에 인접한 제2 홀로그램 패턴은 제2 픽셀 라인 그룹에서 중첩될 수 있다. 한편으로, 제1 홀로그램 패턴이 중첩되는 픽셀 라인의 수직 방향으로 제1 홀로그램 패턴에 인접한 제3 홀로그램 패턴은 제1 픽셀 라인 그룹에서 중첩될 수 있다.
앞서 설명한 바와 같이, 복수의 홀로그램 패턴은 복수의 좌안 홀로그램 패턴과 복수의 우안 홀로그램 패턴을 포함할 수 있다. 이 경우, 제1 픽셀 라인 그룹은 제1 좌안 픽셀 라인 그룹과 제1 우안 픽셀 라인 그룹을 포함하고, 제2 픽셀 라인 그룹은 제2 좌안 픽셀 라인 그룹과 제2 우안 픽셀 라인 그룹을 포함할 수 있다. 제1 좌안 픽셀 라인 그룹 내의 복수의 픽셀 라인과 제1 우안 픽셀 라인 그룹 내의 복수의 픽셀 라인은 제1 픽셀 라인 그룹 내에서 교대로 배치될 수 있다. 제2 좌안 픽셀 라인 그룹 내의 복수의 픽셀 라인과 제2 우안 픽셀 라인 그룹 내의 복수의 픽셀 라인은 제2 픽셀 라인 그룹 내에서 교대로 배치될 수 있다.
복수의 좌안 홀로그램 패턴 중 임의의 제1 좌안 홀로그램 패턴은 제1 좌안 픽셀 라인 그룹에서 중첩될 수 있다. 이 경우, 제1 좌안 홀로그램 패턴이 중첩되는 픽셀 라인의 방향으로 제1 좌안 홀로그램 패턴에 인접한 제2 좌안 홀로그램 패턴은 제2 좌안 픽셀 라인 그룹에서 중첩될 수 있다. 또, 제1 좌안 홀로그램 패턴이 중첩되는 픽셀 라인의 수직 방향으로 제1 좌안 홀로그램 패턴에 인접한 제1 우안 홀로그램 패턴은 제1 픽셀 라인 그룹에서 중첩될 수 있다. 제1 좌안 홀로그램 패턴이 중첩되는 픽셀 라인의 수직 방향으로 제1 좌안 홀로그램 패턴에 인접한 제3 좌안 홀로그램 패턴은 제1 픽셀 라인 그룹에서 중첩될 수 있다.
다시 도 5를 설명한다.
양자화부(150)는 홀로그램 이미지 데이터를 양자화하여 양자화된 홀로그램 이미지 데이터를 생성한다(S119). 양자화부(150)는 홀로그램 이미지 데이터를 공간 광 변조기(170)가 표현할 수 있는 계조 범위 내로 양자화하여 양자화된 홀로그램 이미지 데이터를 생성할 수 있다. 특히, 양자화부(150)는 홀로그램 이미지 데이터 내의 최대 값과 최소 값을 이용하여 홀로그램 이미지 데이터를 공간 광 변조기(170)가 표현할 수 있는 계조 범위 내로 양자화할 수 있다.
양자화된 홀로그램 이미지 데이터는 양자화된 좌안 홀로그램 이미지 데이터와 양자화된 우안 홀로그램 이미지 데이터를 포함할 수 있다. 이 경우, 양자화부(150)는 좌안 홀로그램 이미지 데이터를 양자화하여 양자화된 좌안 홀로그램 이미지 데이터를 생성하고, 우안 홀로그램 이미지 데이터를 양자화하여 양자화된 우안 홀로그램 이미지 데이터를 생성할 수 있다.
출력부(160)는 양자화된 홀로그램 이미지 데이터를 공간 광 변조기(170)에 출력한다(S121). 출력부(160)는 인터페이스로서 디지털 비주얼 인터페이스(digital visual interface, DVI)를 이용하여 양자화된 홀로그램 이미지 데이터를 공간 광 변조기(170)에 출력할 수 있다.
백라이트 유닛(180)은 공간 광 변조기(170)에 백라이트(1)를 조사한다(S123).
공간 광 변조기(170)는 양자화된 홀로그램 이미지 데이터를 공간 광 변조기(170)의 픽셀들에 기록한다(S125).
공간 광 변조기(170)는 기록된 양자화된 홀로그램 이미지 데이터에 기초하여 백라이트(1)를 공간적으로 변조하여 공간적으로 변조된 광(3)을 출력한다(S127).
공간 광 변조기(170)는 기록된 양자화된 좌안 홀로그램 이미지 데이터에 기초하여 백라이트를 공간적으로 변조하여 공간적으로 변조된 좌안 광을 출력하고, 기록된 양자화된 우안 홀로그램 이미지 데이터에 기초하여 백라이트를 공간적으로 변조하여 공간적으로 변조된 우안 광을 출력할 수 있다.
광분리기(190)는 공간적으로 변조된 광을 좌안 광(5)과 우안 광(7)으로 분리하여(S129). 관찰자의 좌안이 우안 광(5)을 인식할 수 없고 좌안 광(7)을 인식할 수 있도록 하고, 관찰자의 우안이 좌안 광(7)을 인식할 수 없고 우안 광(5)을 인식할 수 있도록 한다.
다음은 도 15와 도 16을 참고하여 본 발명의 실시예에 따른 스테레오 이미지 대응관계 맵를 생성하는 방법을 설명한다.
도 15는 본 발명의 실시예에 따른 스테레오 이미지 대응관계 맵를 생성하는 방법을 도시한 흐름도이다.
스테레오 이미지 대응관계 맵 생성부(113)는 스테레오 컬러 이미지의 중요도 맵인 스테레오 중요도 이미지를 생성한다(S301). 스테레오 중요도 이미지는 복수의 픽셀의 중요도 값을 포함한다. 일 실시예에서, 중요도 값은 해당 픽셀의 에지 정도를 반영할 수 있다. 또 다른 실시예에서, 중요도 값은 해당 픽셀의 에지 정도와 깊이 정도를 모두 반영할 수 있다.
스테레오 이미지 대응관계 맵 생성부(113)는 스테레오 컬러 이미지와 에지 검출 필터를 이용하여 스테레오 중요도 이미지를 생성할 수 있다. 에지 검출 필터는 소벨 필터(Sobel filter)일 수 있다.
소벨 필터로서, 수직 에지에 강하게 반응하는 소벨 수직 필터와 수평 에지에 강하게 반응하는 소벨 수평 필터가 있다. 스테레오 이미지 대응관계 맵 생성부(113)는 스테레오 컬러 이미지와 소벨 수직 필터를 이용하여 수직 스테레오 중요도 이미지를 생성할 수 있다. 스테레오 이미지 대응관계 맵 생성부(113)는 스테레오 컬러 이미지와 소벨 수평 필터를 이용하여 수평 스테레오 중요도 이미지를 생성할 수 있다. 그리고 나서, 스테레오 이미지 대응관계 맵 생성부(113)는 수직 스테레오 중요도 이미지와 수평 스테레오 중요도 이미지의 가중합 또는 평균으로 스테레오 중요도 이미지를 생성할 수 있다. 도 16은 본 발명의 실시예에 따른 컬러 이미지와 중요도 이미지를 보여준다. 특히, 도 16의 (A)는 본 발명의 실시예에 따른 컬러 이미지를 보여주고, 도 16의 (B)는 본 발명의 실시예에 따른 수직 스테레오 중요도 이미지와 수평 스테레오 중요도 이미지의 평균으로 형성된 중요도 이미지를 보여준다. 도 16의 (A)와 (B)를 참고하면, 에지 성분이 큰 픽셀일수록, 그 픽셀은 큰 중요도 값을 가진다.
스테레오 중요도 이미지는 좌안 중요도 이미지와 우안 중요도 이미지를 포함할 수 있다.
좌안 중요도 이미지는 LEFT_IMPORTANCE_IMAGE[][]와 같이 2차원 어레이로 나타낼 수 있다. LEFT_IMPORTANCE_IMAGE[XL][YL]은 좌안 컬러 이미지 내의 임의의 위치(XL, YL)에 해당하는 픽셀의 중요도를 나타낸다.
우안 중요도 이미지는 RIGHT_IMPORTANCE_IMAGE[][]와 같이 2차원 어레이로 나타낼 수 있다. RIGHT_IMPORTANCE_IMAGE[XR][YR]은 우안 컬러 이미지 내의 임의의 위치(XR, YR)에 해당하는 픽셀의 중요도를 나타낸다.
스테레오 이미지 대응관계 맵 생성부(113)는 좌안 컬러 이미지와 에지 검출 필터를 이용하여 좌안 중요도 이미지를 생성하고, 우안 컬러 이미지와 에지 검출 필터를 이용하여 우안 중요도 이미지를 생성할 수 있다. 이 경우, 각 픽셀의 중요도는 각 픽셀의 에지 정도를 나타낼 수 있다. 즉, 상대적으로 큰 에지 정도를 가지는 픽셀은 상대적으로 큰 중요도를 가질 수 있다.
한편, 실시예에서, 스테레오 이미지 대응관계 맵 생성부(113)는 스테레오 컬러 이미지, 스테레오 깊이 이미지와 에지 검출 필터를 이용하여 스테레오 중요도 이미지를 생성할 수 있다. 스테레오 이미지 대응관계 맵 생성부(113)는 스테레오 컬러 이미지와 에지 검출 필터를 이용하여 임시 스테레오 중요도 이미지를 생성할 수 있다. 스테레오 이미지 대응관계 맵 생성부(113)는 임시 스테레오 중요도 이미지에 스테레오 깊이 이미지를 적용하여 스테레오 중요도 이미지를 생성할 수 있다. 예컨데, 스테레오 이미지 대응관계 맵 생성부(113)는 임시 스테레오 중요도 이미지의 각 픽셀의 중요도와 스테레오 깊이 이미지의 해당 픽셀의 깊이 값을 곱하여, 스테레오 중요도 이미지의 해당 픽셀의 중요도를 구할 수 있다. 이 경우, 상대적으로 큰 에지 정도를 가지는 픽셀은 상대적으로 큰 중요도를 가지면서도, 상대적으로 카메라와 가까운 픽셀은 상대적으로 큰 중요도를 가질 수 있다.
스테레오 이미지 대응관계 맵 생성부(113)는 좌안 컬러 이미지, 좌안 깊이 이미지와 에지 검출 필터를 이용하여 좌안 중요도 이미지를 생성할 수 있다. 스테레오 이미지 대응관계 맵 생성부(113)는 좌안 컬러 이미지와 에지 검출 필터를 이용하여 임시 좌안 중요도 이미지를 생성할 수 있다. 스테레오 이미지 대응관계 맵 생성부(113)는 임시 좌안 중요도 이미지에 좌안 깊이 이미지를 적용하여 좌안 중요도 이미지를 생성할 수 있다. 예컨데, 수학식 24에서 보여지는 바와 같이, 스테레오 이미지 대응관계 맵 생성부(113)는 임시 좌안 중요도 이미지의 각 픽셀의 중요도와 좌안 깊이 이미지의 해당 픽셀의 깊이 값의 역을 곱하여, 좌안 중요도 이미지의 해당 픽셀의 중요도를 구할 수 있다.
Figure pat00024
스테레오 이미지 대응관계 맵 생성부(113)는 우안 컬러 이미지, 우안 깊이 이미지와 에지 검출 필터를 이용하여 우안 중요도 이미지를 생성할 수 있다. 스테레오 이미지 대응관계 맵 생성부(113)는 우안 컬러 이미지와 에지 검출 필터를 이용하여 임시 우안 중요도 이미지를 생성할 수 있다. 스테레오 이미지 대응관계 맵 생성부(113)는 임시 우안 중요도 이미지에 우안 깊이 이미지를 적용하여 우안 중요도 이미지를 생성할 수 있다. 예컨데, 수학식 25에서 보여지는 바와 같이, 스테레오 이미지 대응관계 맵 생성부(113)는 임시 우안 중요도 이미지의 각 픽셀의 중요도와 우안 깊이 이미지의 해당 픽셀의 깊이 값의 역을 곱하여, 우안 중요도 이미지의 해당 픽셀의 중요도를 구할 수 있다.
Figure pat00025
스테레오 컬러 이미지 내의 복수의 특징 컬러 포인트 중 일부에 해당하는 복수의 일차 특징 컬러 포인트(primary characteristic color points)에 대하여, 스테레오 이미지 대응관계 맵 생성부(113)는 각 일차 특징 컬러 포인트의 컬러 값, 각 일차 특징 컬러 포인트의 에지 값, 각 일차 특징 컬러 포인트의 주변의 컬러 정보, 각 일차 특징 컬러 포인트의 주변의 에지 정보 중 적어도 하나에 기초하여, 각 일차 특징 컬러 포인트에 대응하는 일차 대응 특징 컬러 포인트를 찾아(S303), 스테레오 컬러 이미지 내의 복수의 일차 특징 컬러 포인트에 각각 대응하는 복수의 일차 대응 특징 컬러 포인트(primary corresponding characteristic color points)를 찾는다.
좌안 컬러 이미지 내의 복수의 일차 특징 컬러 포인트 중 일부에 대하여, 스테레오 이미지 대응관계 맵 생성부(113)는 각 일차 특징 컬러 포인트의 컬러 값, 각 일차 특징 컬러 포인트의 에지 값, 각 일차 특징 컬러 포인트의 주변의 컬러 정보, 각 일차 특징 컬러 포인트의 주변의 에지 정보 중 적어도 하나에 기초하여, 각 일차 특징 컬러 포인트에 대응하는 우안 컬러 이미지 내의 일차 대응 특징 컬러 포인트를 찾아, 좌안 컬러 이미지 내의 복수의 일차 특징 컬러 포인트에 각각 대응하는 우안 컬러 이미지 내의 복수의 일차 대응 특징 컬러 포인트를 찾을 수 있다.
우안 컬러 이미지 내의 복수의 일차 특징 컬러 포인트 중 일부에 대하여, 스테레오 이미지 대응관계 맵 생성부(113)는 각 일차 특징 컬러 포인트의 컬러 값, 각 일차 특징 컬러 포인트의 에지 값, 각 일차 특징 컬러 포인트의 주변의 컬러 정보, 각 일차 특징 컬러 포인트의 주변의 에지 정보 중 적어도 하나에 기초하여, 각 일차 특징 컬러 포인트에 대응하는 좌안 컬러 이미지 내의 일차 대응 특징 컬러 포인트를 찾아, 우안 컬러 이미지 내의 복수의 일차 특징 컬러 포인트에 각각 대응하는 좌안 컬러 이미지 내의 복수의 일차 대응 특징 컬러 포인트를 찾을 수 있다.
스테레오 컬러 이미지 내의 복수의 특징 컬러 포인트 중 나머지 특징 컬러 포인트 중 하나 이상에 해당하는 하나 이상의 이차 특징 컬러 포인트(secondary characteristic color point)에 대하여, 스테레오 이미지 대응관계 맵 생성부(113)는 스테레오 중요도 이미지로부터 각 이차 특징 컬러 포인트의 주변의 복수의 주변 일차 특징 컬러 포인트의 중요도를 획득한다(S305).
좌안 컬러 이미지 내의 복수의 좌안 특징 컬러 포인트 중 나머지 특징 컬러 포인트 중 하나 이상에 해당하는 하나 이상의 이차 특징 컬러 포인트에 대하여, 스테레오 이미지 대응관계 맵 생성부(113)는 좌안 중요도 이미지로부터 각 이차 특징 컬러 포인트의 주변의 복수의 주변 일차 특징 컬러 포인트의 중요도를 획득할 수 있다.
우안 컬러 이미지 내의 복수의 우안 특징 컬러 포인트 중 나머지 특징 컬러 포인트 중 하나 이상에 해당하는 하나 이상의 이차 특징 컬러 포인트에 대하여, 스테레오 이미지 대응관계 맵 생성부(113)는 우안 중요도 이미지로부터 각 이차 특징 컬러 포인트의 주변의 복수의 주변 일차 특징 컬러 포인트의 중요도를 획득할 수 있다.
스테레오 컬러 이미지 내의 복수의 특징 컬러 포인트 중 나머지 특징 컬러 포인트 중 하나 이상에 해당하는 하나 이상의 이차 특징 컬러 포인트 (secondary characteristic point)에 대하여, 스테레오 이미지 대응관계 맵 생성부(113)는 복수의 주변 일차 대응 특징 컬러 포인트의 위치, 각 이차 특징 컬러 포인트와 복수의 주변 일차 특징 컬러 포인트 사이의 거리 벡터, 및 복수의 주변 일차 특징 컬러 포인트의 중요도에 기초한 가중 평균을 이용하여, 각 이차 특징 컬러 포인트에 대응하는 이차 대응 특징 컬러 포인트를 찾아(S307), 스테레오 컬러 이미지 내의 하나 이상의 이차 특징 컬러 포인트에 각각 대응하는 하나 이상의 이차 대응 특징 컬러 포인트 (secondary corresponding characteristic color points)를 찾는다.
수학식 26에서 보여지는 바와 같이, 좌안 컬러 이미지 내의 복수의 좌안 특징 컬러 포인트 중 나머지 특징 컬러 포인트 중 하나 이상에 해당하는 하나 이상의 이차 특징 컬러 포인트 (XCLi, YCLi)에 대하여, 스테레오 이미지 대응관계 맵 생성부(113)는 복수의 주변 일차 대응 특징 컬러 포인트 (PCLj)의 위치, 각 이차 특징 컬러 포인트 (XCLi, YCLi)와 복수의 주변 일차 특징 컬러 포인트(XCLj, YCLj) 사이의 거리 벡터(DVLj), 및 복수의 주변 일차 특징 컬러 포인트의 중요도(WLj)에 기초한 가중 평균을 이용하여, 각 이차 특징 컬러 포인트 (XCLi, YCLi)에 대응하는 이차 대응 특징 컬러 포인트 (PCLi)를 찾아, 좌안 컬러 이미지 내의 하나 이상의 이차 특징 컬러 포인트 (XCLi, YCLi)에 각각 대응하는 우안 컬러 이미지 내의 하나 이상의 이차 대응 특징 컬러 포인트 (PCLi)를 찾을 수 있다.
Figure pat00026
도 17은 본 발명의 실시예에 따른 특징 컬러 포인트 사이의 대응 관계를 보여준다.
특히, 도 17은 주변 일차 특징 컬러 포인트 (XCLj, YCLj), 이차 특징 컬러 포인트 (XCLi, YCLi), 주변 일차 대응 특징 컬러 포인트 (PCLj), 이차 대응 특징 컬러 포인트 (PCLi) 사이의 관계를 보여준다.
도 17을 참고하면, 이차 특징 컬러 포인트 (XCLi, YCLi)는 8개의 주변 일차 특징 컬러 포인트를 가지고, 이차 대응 특징 컬러 포인트 (PCLi)는 8개의 주변 일차 대응 특징 컬러 포인트 (PCLj)를 가지지만, 이에 한정될 필요는 없다.
한편, 수학식 27에서 보여지는 바와 같이, 우안 컬러 이미지 내의 복수의 우안 특징 컬러 포인트 중 나머지 특징 컬러 포인트 중 하나 이상에 해당하는 하나 이상의 이차 특징 컬러 포인트 (XCRi, YCRi)에 대하여, 스테레오 이미지 대응관계 맵 생성부(113)는 복수의 주변 일차 대응 특징 컬러 포인트 (PCRj)의 위치, 각 이차 특징 컬러 포인트 (XCRi, YCRi)와 복수의 주변 일차 특징 컬러 포인트 (XCRj, YCRj) 사이의 거리 벡터(DVRj), 및 복수의 주변 일차 특징 컬러 포인트의 중요도(WRj)에 기초한 가중 평균을 이용하여, 각 이차 특징 컬러 포인트 (XCRi, YCRi)에 대응하는 이차 대응 특징 컬러 포인트 (PCRi)를 찾아, 우안 컬러 이미지 내의 하나 이상의 이차 특징 컬러 포인트 (XCRi, YCRi)에 각각 대응하는 좌안 컬러 이미지 내의 하나 이상의 이차 대응 특징 컬러 포인트 (PCRi)를 찾을 수 있다.
Figure pat00027
스테레오 이미지 대응관계 맵 생성부(113)는 복수의 일차 특징 컬러 포인트 및 복수의 일차 대응 특징 컬러 포인트 사이의 대응관계와 복수의 이차 특징 컬러 포인트 및 복수의 이차 대응 특징 컬러 포인트 사이의 대응관계를 이용하여 스테레오 이미지 대응관계 맵을 생성한다(S309).
스테레오 이미지 대응관계 맵 생성부(113)는 좌안 컬러 이미지 내의 복수의 일차 특징 컬러 포인트 및 우안 컬러 이미지 내의 복수의 일차 대응 특징 컬러 포인트 사이의 대응관계와 좌안 컬러 이미지 내의 복수의 이차 특징 컬러 포인트 및 우안 컬러 이미지 내의 복수의 이차 대응 특징 컬러 포인트 사이의 대응관계를 병합하여 좌안-우안 이미지 대응관계 맵을 생성할 수 있다.
스테레오 이미지 대응관계 맵 생성부(113)는 우안 컬러 이미지 내의 복수의 일차 특징 컬러 포인트 및 좌안 컬러 이미지 내의 복수의 일차 대응 특징 컬러 포인트 사이의 대응관계와 우안 컬러 이미지 내의 복수의 이차 특징 컬러 포인트 및 좌안 컬러 이미지 내의 복수의 이차 대응 특징 컬러 포인트 사이의 대응관계를 병합하여 우안-좌안 이미지 대응관계 맵을 생성할 수 있다.
본 발명의 일실시예에 의하면, 전술한 방법은, 프로그램이 기록된 매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 매체의 예로는, ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다.
상기 설명된 실시예들의 구성과 방법은 독립적으로만 적용될 수 있는 것이 아니라, 실시예들의 전부 또는 일부가 선택적으로 조합될 수도 있다.

Claims (16)

  1. 스테레오 컬러 이미지에 기초하여 스테레오 이미지 대응관계 맵을 생성하는 스테레오 이미지 대응관계 맵 생성부;
    현재 안구 위치에 기초하여, 상기 스테레오 컬러 이미지와 상기 스테레오 이미지 대응관계 맵을 이용하여, 상기 현재 안구 위치에 적합한 가상 스테레오 컬러 이미지를 생성하는 가상 스테레오 이미지 생성부;
    상기 가상 스테레오 컬러 이미지를 이용하여 복수의 물체점의 3차원 정보를 획득하는 3차원 정보 획득부;
    상기 복수의 물체점의 3차원 정보를 이용하여 홀로그램을 생성하는 홀로그램 생성부를 포함하는
    홀로그램 디스플레이 장치.
  2. 제1항에 있어서,
    상기 스테레오 컬러 이미지는 좌안 컬러 이미지와 우안 컬러 이미지를 포함하고,
    상기 좌안 컬러 이미지는 좌안 특징 컬러 포인트를 포함하고,
    상기 우안 컬러 이미지는 좌안 특징 컬러 포인트에 대응하는 좌안 대응 특징 컬러 포인트를 포함하고,
    상기 스테레오 이미지 대응관계 맵은 상기 좌안 특징 컬러 포인트와 상기 좌안 대응 특징 컬러 포인트 사이의 대응관계에 대한 정보를 포함하는
    홀로그램 디스플레이 장치.
  3. 제2항에 있어서,
    상기 가상 스테레오 이미지 생성부는 상기 스테레오 이미지 대응관계 맵을 이용하여, 상기 좌안 특징 컬러 포인트에 대응하는 상기 좌안 대응 특징 컬러 포인트의 위치를 구하고,
    상기 가상 스테레오 이미지 생성부는 상기 좌안 대응 특징 컬러 포인트의 위치에 기초하여, 상기 좌안 특징 컬러 포인트에 대응하는 가상 좌안 컬러 이미지 내의 가상 좌안 특징 컬러 포인트의 위치를 구하고,
    상기 가상 스테레오 이미지 생성부는 상기 가상 좌안 특징 컬러 포인트의 위치에 기초하여, 상기 좌안 특징 컬러 포인트 이외의 좌안 컬러 포인트에 대응하는 가상 좌안 컬러 포인트의 위치를 구하고,
    상기 가상 스테레오 이미지 생성부는 상기 좌안 컬러 포인트의 위치와 상기 가상 좌안 컬러 포인트의 위치에 기초하여, 상기 가상 좌안 컬러 포인트의 컬러 값을 상기 좌안 컬러 포인트의 컬러 값으로 결정하여 상기 가상 스테레오 컬러 이미지를 생성하는
    홀로그램 디스플레이 장치.
  4. 제3항에 있어서,
    상기 가상 스테레오 이미지 생성부는 상기 좌안 특징 컬러 포인트의 위치, 상기 좌안 대응 특징 컬러 포인트 및 상기 좌안 특징 컬러 포인트 사이의 차이 벡터, 좌안 위치 이동량에 기초하여, 상기 좌안 특징 컬러 포인트에 대응하는 가상 좌안 컬러 이미지 내의 가상 좌안 특징 컬러 포인트의 위치를 구하는
    홀로그램 디스플레이 장치.
  5. 제3항에 있어서,
    상기 가상 스테레오 이미지 생성부는 좌안 컬러 포인트와 복수의 주변 좌안 특징 컬러 포인트 사이의 거리에 기초하여 상기 가상 좌안 컬러 이미지 내의 복수의 주변 가상 좌안 특징 컬러 포인트를 위한 복수의 가중치를 구하고,
    상기 가상 스테레오 이미지 생성부는 상기 복수의 주변 가상 좌안 특징 컬러 포인트의 위치에 복수의 가중치를 적용하여 상기 좌안 컬러 포인트에 대응하는 가상 좌안 컬러 포인트의 위치를 구하는
    홀로그램 디스플레이 장치.
  6. 제1항에 있어서,
    상기 스테레오 컬러 이미지에 기초하여 스테레오 깊이 이미지를 생성하는 스테레오 깊이 이미지 생성부;
    상기 현재 안구 위치에 기초하여, 상기 스테레오 깊이 이미지와 상기 스테레오 이미지 대응관계 맵을 이용하여, 상기 현재 안구 위치에 적합한 가상 스테레오 깊이 이미지를 생성하는 가상 스테레오 깊이 이미지 생성부를 더 포함하고,
    상기 3차원 정보 획득부는 상기 가상 스테레오 컬러 이미지와 상기 가상 스테레오 깊이 이미지를 이용하여 복수의 물체점의 3차원 정보를 획득하는
    홀로그램 디스플레이 장치.
  7. 제1항에 있어서,
    상기 홀로그램 생성부는
    상기 복수의 물체점에 각각 대응하는 복수의 홀로그램 패턴을 획득하는 홀로그램 패턴 생성부;
    상기 복수의 홀로그램 패턴을 중첩하여 홀로그램 이미지 데이터를 생성하는 홀로그램 패턴 중첩부;
    백라이트를 조사하는 백라이트 유닛; 및
    상기 홀로그램 이미지 데이터에 기초하여 상기 백라이트를 공간적으로 변조하여 공간적으로 변조된 광을 출력하는 공간 광 변조기를 포함하는
    홀로그램 디스플레이 장치.
  8. 제1항에 있어서,
    상기 스테레오 이미지 대응관계 맵 생성부는
    일차 특징 포인트에 대응하는 일차 대응 특징 포인트의 위치를 구하고,
    상기 일차 특징 포인트의 중요도를 구하고,
    상기 일차 특징 포인트의 중요도에 기초하여 이차 특징 포인트에 대응하는 이차 대응 특징 포인트의 위치를 구하고,
    상기 일차 특징 포인트와 상기 일차 대응 특징 포인트 사이의 대응관계와 상기 이차 특징 포인트와 상기 이차 대응 특징 포인트 사이의 대응관계를 이용하여 상기 스테레오 이미지 대응관계 맵을 생성하는
    홀로그램 디스플레이 장치.
  9. 제8항에 있어서,
    상기 스테레오 이미지 대응관계 맵 생성부는
    상기 일차 특징 포인트의 중요도, 상기 일차 특징 포인트의 위치, 상기 일차 대응 특징 포인트의 위치, 및 상기 이차 특징 포인트의 위치에 기초하여 상기 이차 특징 포인트에 대응하는 이차 대응 특징 포인트의 위치를 구하는
    홀로그램 디스플레이 장치.
  10. 제8항에 있어서,
    상기 스테레오 이미지 대응관계 맵 생성부는
    상기 일차 특징 포인트의 에지 정도에 기초하여 상기 일차 특징 포인트의 중요도를 구하는
    홀로그램 디스플레이 장치.
  11. 제10항에 있어서,
    상기 스테레오 이미지 대응관계 맵 생성부는
    상기 일차 특징 포인트의 에지 정도와 깊이 정도에 기초하여 상기 일차 특징 포인트의 중요도를 구하는
    홀로그램 디스플레이 장치.
  12. 스테레오 컬러 이미지에 기초하여 스테레오 이미지 대응관계 맵을 생성하는 단계;
    현재 안구 위치에 기초하여, 상기 스테레오 컬러 이미지와 상기 스테레오 이미지 대응관계 맵을 이용하여, 상기 현재 안구 위치에 적합한 가상 스테레오 컬러 이미지를 생성하는 단계;
    상기 가상 스테레오 컬러 이미지를 이용하여 복수의 물체점의 3차원 정보를 획득하는 단계;
    상기 복수의 물체점의 3차원 정보를 이용하여 홀로그램을 생성하는 단계를 포함하는
    홀로그램 디스플레이 방법.
  13. 제12항에 있어서,
    상기 스테레오 컬러 이미지는 좌안 컬러 이미지와 우안 컬러 이미지를 포함하고,
    상기 좌안 컬러 이미지는 좌안 특징 컬러 포인트를 포함하고,
    상기 우안 컬러 이미지는 좌안 특징 컬러 포인트에 대응하는 좌안 대응 특징 컬러 포인트를 포함하고,
    상기 스테레오 이미지 대응관계 맵은 상기 좌안 특징 컬러 포인트와 상기 좌안 대응 특징 컬러 포인트 사이의 대응관계에 대한 정보를 포함하는
    홀로그램 디스플레이 방법.
  14. 제13항에 있어서,
    상기 가상 스테레오 컬러 이미지를 생성하는 단계는
    상기 스테레오 이미지 대응관계 맵을 이용하여, 상기 좌안 특징 컬러 포인트에 대응하는 상기 좌안 대응 특징 컬러 포인트의 위치를 구하는 단계;
    상기 가상 스테레오 이미지 생성부는 상기 좌안 대응 특징 컬러 포인트의 위치에 기초하여, 상기 좌안 특징 컬러 포인트에 대응하는 가상 좌안 컬러 이미지 내의 가상 좌안 특징 컬러 포인트의 위치를 구하는 단계;
    상기 가상 스테레오 이미지 생성부는 상기 가상 좌안 특징 컬러 포인트의 위치에 기초하여, 상기 좌안 특징 컬러 포인트 이외의 좌안 컬러 포인트에 대응하는 가상 좌안 컬러 포인트의 위치를 구하는 단계;
    상기 가상 스테레오 이미지 생성부는 상기 좌안 컬러 포인트의 위치와 상기 가상 좌안 컬러 포인트의 위치에 기초하여, 상기 가상 좌안 컬러 포인트의 컬러 값을 상기 좌안 컬러 포인트의 컬러 값으로 결정하여 상기 가상 스테레오 컬러 이미지를 생성하는 단계를 포함하는
    홀로그램 디스플레이 방법.
  15. 제12항에 있어서,
    상기 스테레오 이미지 대응관계 맵을 생성하는 단계는
    일차 특징 포인트에 대응하는 일차 대응 특징 포인트의 위치를 구하는 단계;
    상기 일차 특징 포인트의 중요도를 구하는 단계;
    상기 일차 특징 포인트의 중요도에 기초하여 이차 특징 포인트에 대응하는 이차 대응 특징 포인트의 위치를 구하는 단계;
    상기 일차 특징 포인트와 상기 일차 대응 특징 포인트 사이의 대응관계와 상기 이차 특징 포인트와 상기 이차 대응 특징 포인트 사이의 대응관계를 이용하여 상기 스테레오 이미지 대응관계 맵을 생성하는 단계를 포함하는
    홀로그램 디스플레이 장치.
  16. 제8항에 있어서,
    상기 일차 특징 포인트의 중요도를 구하는 단계는
    상기 일차 특징 포인트의 에지 정도에 기초하여 상기 일차 특징 포인트의 중요도를 구하는 단계를 포함하는
    홀로그램 디스플레이 장치.
KR1020130043628A 2013-04-19 2013-04-19 홀로그램 디스플레이 장치 및 방법 KR20140125608A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130043628A KR20140125608A (ko) 2013-04-19 2013-04-19 홀로그램 디스플레이 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130043628A KR20140125608A (ko) 2013-04-19 2013-04-19 홀로그램 디스플레이 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20140125608A true KR20140125608A (ko) 2014-10-29

Family

ID=51995324

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130043628A KR20140125608A (ko) 2013-04-19 2013-04-19 홀로그램 디스플레이 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20140125608A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180007547A (ko) * 2016-07-13 2018-01-23 삼성전자주식회사 3차원 이미지를 처리하는 방법 및 장치
US10275849B2 (en) 2016-08-31 2019-04-30 Samsung Electronics Co., Ltd. Image processing method and apparatus for performing two-dimensional fast Fourier transform with respect to image data
US10545328B2 (en) 2016-12-06 2020-01-28 Samsung Electronics Co., Ltd. Method and apparatus for processing image
US10783717B2 (en) 2016-07-13 2020-09-22 Samsung Electronics Co., Ltd. Method and apparatus for processing three-dimensional (3D) image

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180007547A (ko) * 2016-07-13 2018-01-23 삼성전자주식회사 3차원 이미지를 처리하는 방법 및 장치
US10783717B2 (en) 2016-07-13 2020-09-22 Samsung Electronics Co., Ltd. Method and apparatus for processing three-dimensional (3D) image
EP3786719A1 (en) * 2016-07-13 2021-03-03 Samsung Electronics Co., Ltd. Method and apparatus for processing three-dimensional image
US11282289B2 (en) 2016-07-13 2022-03-22 Samsung Electronics Co., Ltd. Method and apparatus for processing three-dimensional (3D) image
US11727659B2 (en) 2016-07-13 2023-08-15 Samsung Electronics Co., Ltd. Method and apparatus for processing three-dimensional (3D) image
US10275849B2 (en) 2016-08-31 2019-04-30 Samsung Electronics Co., Ltd. Image processing method and apparatus for performing two-dimensional fast Fourier transform with respect to image data
US10545328B2 (en) 2016-12-06 2020-01-28 Samsung Electronics Co., Ltd. Method and apparatus for processing image

Similar Documents

Publication Publication Date Title
KR102421737B1 (ko) 향상된 화질을 제공하는 홀로그래픽 디스플레이 장치 및 홀로그래픽 디스플레이 방법
JP6893880B2 (ja) 二次元および／または三次元シーンのホログラフィック再構成のホログラム計算のための方法
KR101496799B1 (ko) 실시간 컬러 비디오 홀로그램 렌더링 및 생성 방법
TWI409716B (zh) A computer device for generating a video image and for expanding Real - time generation of image - like image of 3D rendering drawing pipeline
US10339631B2 (en) Image demosaicing for hybrid optical sensor arrays
US10571794B2 (en) Video presentation device, dynamic illusion presentation device, video generation device, method thereof, data structure, and program
US20180197275A1 (en) Image demosaicing for hybrid optical sensor arrays
JP5366547B2 (ja) 立体視表示装置
TWI437388B (zh) 具有修正相位編碼的方法及全像式成像顯示器
CN109716761B (zh) 图像生成装置、图像生成方法以及记录介质
US20140300941A1 (en) Method and apparatus for generating hologram based on multi-view image
KR20140125608A (ko) 홀로그램 디스플레이 장치 및 방법
US20170091916A1 (en) Method and apparatus for performing fourier transformation
KR20140096532A (ko) 디지털 홀로그램 생성 장치 및 그 방법
KR101511397B1 (ko) 홀로그래픽 재구성 방법 및 홀로그래픽 재구성 장치
CN107390379A (zh) 一种近眼全息三维显示系统和显示方法
EP3712711B1 (en) Method and apparatus for processing holographic image
US8908994B2 (en) 2D to 3d image conversion
KR102304225B1 (ko) 홀로그램 재현 영상의 공간 해상도를 측정 및 평가하는 방법 및 장치
KR20130042859A (ko) 고속으로 홀로그램을 생성하는 방법 및 장치
KR20140111782A (ko) 홀로그램 디스플레이 장치 및 방법
US20190332055A1 (en) Apparatus and method for evaluating hologram encoding/holographic image quality for amplitude-modulation hologram
KR101412050B1 (ko) 홀로그램 생성 장치 및 방법
KR20140028244A (ko) 임의의 가상시점 홀로그램 서비스를 위한 의사변위 기반 중간시점 영상 생성 방법
KR20140111781A (ko) 홀로그램 디스플레이 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right