KR102257249B1

KR102257249B1 - 홀로그래픽 3차원 영상 표시 장치 및 방법

Info

Publication number: KR102257249B1
Application number: KR1020140085362A
Authority: KR
Inventors: 성기영; 안중권; 이홍석; 김선일; 송훈; 최칠성
Original assignee: 삼성전자주식회사
Priority date: 2014-07-08
Filing date: 2014-07-08
Publication date: 2021-05-28
Also published as: US20160011565A1; KR20160006033A; US10139781B2

Abstract

홀로그래픽 3차원 영상 표시 방법은 동일한 3차원 영상을 나타내는 복수의 홀로그램 영상이 소정 간격만큼 시프트되며 중첩된 다중 홀로그램 영상 신호를 생성하는 단계; 상기 다중 홀로그램 영상 신호에 따라 공간 광 변조기에 입사된 광을 변조하는 단계;를 포함한다.

Description

홀로그래픽 3차원 영상 표시 장치 및 방법{Apparatus and method for displaying holographic 3-dimensional image}

본 개시는 홀로그래픽 3차원 영상 표시 장치 및 방법에 관한 것이다.

홀로그래픽 3차원 영상 표시장치(Holographic 3D image display)는 양안 시차(binocular parallax) 방식의 3차원 영상 표시 장치에 비해, 보다 자연스런 입체 영상을 표시할 수 있다는 이점이 있다.

최근 들어 3D 영화의 출시가 빈번해지며, 3차원 영상에 관련된 기술이 많이 연구되고 있다. 특히 빛의 진폭과 위상을 동시에 제어할 수 있는 복합 공간 광변조기(Complex Spatial Light Modulator, SLM)를 이용하여 실시간으로 고화질 홀로그램을 구현하는 장치에 대한 연구가 활발히 진행되고 있다.

그러나, 복합 공간 광 변조기의 화소 한계에 기인하여 넓은 화각에서 홀로그래픽 영상을 구현하는데 어려움이 있으며, 현재는 필드 렌즈(Field Lens) 등을 이용하여 좁은 화각의 홀로그램 영상을 볼 수 있는 방식에 대한 연구가 많이 이루어지고 있다.

이 때, 필드 렌즈와 복합 공간 광 변조기의 화소 크기 등에 의해 관찰창(viewing window)이 특정 시청지점에 형성되는데, 한편, 관찰창 내에 홀로그램 영상을 볼 수 있는 지점은 관찰창의 영역 중 동공 사이즈 정도의 일부 영역에 불과하다. 따라서, 사용자가 시청 지역에서 조금만 벗어나도 홀로그램 영상이 잘 시현되지 않는다. 또한, 이를 아이 트래킹(eye-tracking) 방법을 사용하여 개선하고자 할 때, 매우 높은 정밀도가 요구된다.

본 개시는 동공 시역을 확장할 수 있는 홀로그래픽 3차원 영상 표시 장치 및 방법을 제공한다.

일 유형에 따르는 홀로그래픽 3차원 영상 표시 방법은 동일한 3차원 영상을 나타내는 복수의 홀로그램 영상이 소정 간격만큼 시프트되며 중첩된 다중 홀로그램 영상 신호를 생성하는, CGH(computer generating hologram) 생성 단계; 상기 다중 홀로그램 영상 신호에 따라 공간 광 변조기에 입사된 광을 변조하는 단계;를 포함한다.

상기 CGH 생성 단계는 상기 중첩될 복수의 홀로그램 영상의 개수를 정하는 단계; 상기 소정 간격를 정하는 단계;를 포함한다.

상기 소정 간격은, 재생된 복수의 홀로그램 영상간의 피치가 사용자의 동공 크기 이상이 되는 값일 수 있다.

상기 소정 간격은, 사용자의 동공 크기를 실시간으로 촬영함으로써 정해질 수 있다.

상기 소정 간격은, 주변 조도를 측정하고, 미리 데이터로 준비된 사용자의 동공 크기와 상기 측정된 주변 조도로부터 정해질 수 있다.

상기 중첩될 복수의 홀로그램 영상의 개수에 따라, 상기 공간 광 변조기에 조사되는 광의 세기가 조절될 수 있다.

상기 중첩될 복수의 홀로그램 영상의 개수는 사용자의 입력 신호에 따라 정해질 수 있다.

상기 홀로그래피 영상 표시 방법은 사용자의 동공 위치 변화를 센싱하는 아이 트래킹(eye-tracking) 단계;를 더 포함할 수 있다.

상기 홀로그래피 영상 표시 방법은 상기 동공 위치 변화 값을 수신하는 단계; 상기 동공 위치 변화 값으로부터, 변화된 위치에 대응하는 다중 홀로그램 영상 신호의 재생성(re-generation) 여부를 결정하는 단계;를 포함할 수 있다.

중첩될 복수의 홀로그램 영상의 개수를 N, 상기 소정 간격을 HS라고 할 때, 상기 동공 위치 변화 값이 N×HS 이하일 때는 기존의 다중 홀로그램 영상 신호를 그대로 사용할 수 있다.

중첩될 복수의 홀로그램 영상의 개수를 N, 상기 소정 간격을 HS라고 할 때, 상기 동공 위치 변화 값이 N×HS 보다 클 때는, 변화된 위치에 대응하는 다중 홀로그램 영상 신호를 재생성하거나, 또는, 공간 광변조기에서 변조된 광을 상기 변화된 위치를 향하도록 스티어링(steering)할 수 있다.

또한, 일 유형에 따르는 홀로그래픽 3차원 영상 표시 장치는 광원; 상기 광원으로부터 입사된 광을 변조하는 공간 광 변조기; 동일한 영상을 나타내는 복수의 홀로그램 영상이 소정 간격만큼 시프트되며 중첩된 다중 홀로그램 영상을 위한 홀로그램 신호를 생성하고, 상기 홀로그램 신호에 따라 상기 공간 광 변조부를 제어하는 제어부;를 포함한다.

상기 홀로그래픽 3차원 영상 표시 장치는 사용자의 동공을 촬영하는 촬영 장치를 더 포함할 수 있다.

상기 홀로그래픽 3차원 영상 표시 장치는 주변 조도를 측정하는 조도 센서를 더 포함할 수 있다.

상기 홀로그래픽 3차원 영상 표시 장치는 사용자의 동공 위치를 추적하는 아이 트래킹(eye-tracking)부를 더 포함할 수 있다.

상기 홀로그래픽 3차원 영상 표시 장치는 상기 공간 광 변조기에서 변조된 빔이 사용자의 동공을 향하도록 스티어링 하는 빔 스티어링 소자를 더 포함할 수 있다.

상기 빔 스티어링 소자는 능동 광학 프리즘 또는 액정 그레이팅을 포함할 수 있다.

상기 홀로그래픽 3차원 영상 표시 장치는 상기 중첩될 복수의 홀로그램 영상의 개수를 사용자로부터 입력받고 이를 제어부에 전달하는 입력부를 더 포함할 수 있다.

상기 제어부는 상기 중첩될 복수의 홀로그램 영상의 개수에 따라 상기 광원의 세기를 조절할 수 있다.

상술한 홀로그래픽 3차원 영상 표시 방법 및 장치에 따르면, 관찰창 내에 복수의 영상창이 형성되며, 따라서, 사용자의 동공 위치가 소정 범위내에서 변하는 경우에도 홀로그래픽 3차원 영상 인지가 가능하다.

또한, 아이 트래킹 방법을 함께 사용하는 경우, 동공 위치 변화를 커버할 수 있는 범위가 넓어지며, 이 때에도, 정밀도가 상대적으로 낮은 아이 트래킹 방법을 사용할 수 있다는 이점이 있다.

상술한 홀로그래픽 3차원 영상 표시 방법 및 장치는 다양한 전자 기기, 예를 들어, 모니터, TV, 모바일 디스플레이 장치, 또는 모바일 이동 통신 기기 등에 적용될 수 있다.

도 1은 실시예에 따른 홀로그래픽 3차원 영상 표시 방법의 개략적인 흐름도이다.
도 2는 실시예에 따른 홀로그래픽 3차원 영상 표시 장치를 개략적으로 보인다.
도 3 및 도 4는 실시예에 따른 홀로그래픽 3차원 영상 표시 장치에서 채용하는 다중 홀로그램 영상의 개념을 설명하는 개념도이다.
도 5는 비교예에 따른 홀로그래픽 3차원 영상 표시 장치를 개략적으로 보인다.
도 6은 실시예에 따른 홀로그래픽 3차원 영상 표시 장치 및 방법에 의해 관찰창 내에 복수의 영상창이 형성되는 것을 보인다.
도 7은 관찰창 내에 복수의 영상창이 형성된 다른 예를 보인다.
도 8a 내지 도 8c는 실시예에 따른 홀로그래픽 3차원 영상 표시 장치가 사용자의 양안 간격에 구애됨이 없이 홀로그래픽 영상이 인지될 수 있음을 보이는 개념도이다.
도 9는 다른 실시예에 따른 홀로그래픽 3차원 영상 표시 방법을 개략적으로 보인 흐름도이다.
도 10은 다른 실시예에 따른 홀로그래픽 3차원 영상 표시 장치를 개략적으로 보인다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다.

도 1은 실시예에 따른 홀로그래픽 3차원 영상 표시 방법을 설명하는 개략적인 흐름도이고, 도 2는 실시예에 따른 홀로그래픽 3차원 영상 표시 장치의 개략적인 구조를 보인다. 도 2는 도 1의 흐름도에 나타난 방법을 수행하는 예시적인 홀로그래픽 3차원 영상 표시 장치(100)이다.

실시예에 따른 홀로그래픽 3차원 영상 표시 방법은 동일한 3차원 영상 복수개가 시프트되며 중첩된 다중 홀로그램 영상 신호를 생성하고(S101), 다중 홀로그램 영상 신호에 따라 공간 광변조기(130)에 입사된 광이 변조된다(S102).

홀로그래픽 3차원 영상 표시 장치(100)는 광원(110), 광원(110)으로부터 입사된 광을 변조하는 공간 광 변조기(130), 공간 광 변조기(130)에 홀로그램 영상 형성을 위한 제어 신호를 보내는 제어부(170)를 포함한다.

제어부(170)는 동일한 3차원 영상을 나타내는 복수의 홀로그램 영상이 소정 간격만큼 시프트되며 중첩된 다중 홀로그램 영상을 위한 다중 홀로그램 신호를 생성한다.

공간 광 변조기(130)는 제어부(170)로부터의 다중 홀로그램 신호에 따라 광원(110)으로부터 입사된 광을 변조한다. 공간 광 변조기(130)는 복수의 화소들로 이루어지며, 각각의 화소는 통과하는 광의 진폭 및/또는 위상을 홀로그램 신호에 따라 변화시킴으로써 물체점들을 재구성하여 홀로그램 신호에 담긴 3차원 영상이 재생되게 한다. 여기서, 재구성된 3차원 영상을 이루는 각 포인트를 물체점(Object Point)이라고 지칭하고 있다.

이러한 홀로그래픽 3차원 영상 표시 방법 및 장치는 관찰창(viewing window)(VW)에 동일한 영상을 담은 복수의 영상창(image window)(IW)을 형성하기 위한 것이다. 관찰창(VW)은 사용자의 동공 위치에서 홀로그램 영상이 인지될 수 있도록 홀로그램 영상이 형성되는 시역을 의미한다. 영상창(IW)은 관찰창(VW) 내의 영역 중, 실제로 영상이 차지하는 영역을 의미하며, 관찰창(IW)의 일부 영역을 점하며, 동공과 유사한 크기로 형성된다. 본 실시예에서, 제어부(170)에서 형성된 홀로그램은 동일한 영상을 나타내는 복수의 홀로그램 영상이 소정 간격만큼 시프트되며 중첩된 다중 홀로그램이며, 따라서, 공간 광 변조기(130)에서 재구성된 3차원 영상은 관찰창(viewing window)(VW) 내에 복수의 영상창(image window)(IW)의 형태로 나타난다.

도 3은 비교예에 따른 홀로그래픽 3차원 영상 표시 장치(1)를 개략적으로 보인다.

비교예에 따른 홀로그래픽 3차원 영상 표시 장치(1)는 광원(10), 콜리메이팅 렌즈(50), 공간 광 변조기(50), 필드렌즈(60)를 포함한다. 또한, 공간 광 변조기(50)에 입사된 광을 변조하기 위한 홀로그램 영상 신호를 생성하는 제어부(70)를 포함한다.

이와 같은 홀로그래픽 3차원 영상 표시 장치(100)에 의해 형성되는 관찰창(viewing window)(VW) 내에서, 영상창(image window)(IW)이 차지하는 영역은 일부 영역에 불과하다. 따라서, 사용자(U)의 움직임에 따라 동공 위치가 영상창(image window)(IW)을 벗어나는 경우, 홀로그램 영상이 인지되지 않는다.

비교예에 따른 홀로그래픽 3차원 영상 표시장치(1)는 아이 트래킹부(80)를 더 포함할 수 있다. 아이 트래킹부(80)는 사용자의 동공을 촬영하는 카메라를 포함할 수 있고, 또한, 아이 트래킹을 위한 소프트웨어를 포함할 수 있다. 아이 트래킹부(80)에서 센싱한 정보에 따라, 관찰창(viewing window)(VW)의 위치가 변경되면, 변화된 사용자의 동공 위치에서 홀로그램 영상이 인지될 수 있다. 이와 같은 구동에서, 영상창(image window)(IW)의 크기는 동공 크기, 약 3~8mm 정도에 불과하기 때문에, 이에 대응할 수 있으려면, 아이 트래킹부(80)에 채용되는 카메라의 정밀도와, 아이 트래킹 소프트웨어의 고속 구동 등이 필요하다.

도 3 및 도 4는 실시예에 따른 홀로그래픽 3차원 영상 표시 장치(100)에서 채용하는 다중 홀로그램 영상의 개념을 설명하는 개념도이다.

도 3에서는 공간 광 변조기(130)에는 소정 간격으로 이격된 두 개의 홀로그램 패턴(H1)이 형성되어 있다. 도시된 홀로그램 패턴(H1)은 동일한 패턴으로, 하나의 물체점(object point)(OP)을 형성하는 패턴으로 예시되어 있다. 물체점(object)은 3차원 영상을 이루는 하나의 포인트로서, 3차원 영상은 물체점들의 조합으로 형성된다. 공간 광 변조기(130) 상에 나타난 홀로그램 쉬프트(hologram shift)(HS)는 공간상에 재생된 물체점(OP) 간의 이격 거리(object shift)로 나타난다.

도 4는 소정 영상으로 재생될 복수의 홀로그램 패턴(H2)이 공간 광 변조기(130) 상에 소정 간격으로 이격되며 중첩된 것을 보인다. 상기 소정 간격은 이하에서는 홀로그램 시프트(HS)라고도 표현할 것이다. 홀로그램 패턴(H2)은 동일한 3차원 영상에 대한 것이다. 도 3에서의, 홀로그램 패턴(H1)이 물체점(object point)으로 재구성되는 경우와 달리, 홀로그램 패턴(H2)에서 재구성된 3차원 영상은 소정 공간을 점한다. 따라서, 예를 들어, 홀로그램 시프트(HS)를 적절히 조절하여, 재구성된 3차원 영상 간의 간격이 동공 사이즈(PW) 정도가 되게 하는 경우, 영상창(image window)(IW)의 크기가 동공 사이즈(PW)와 유사하기 때문에, 관찰창에는 동일한 영상을 담은 영상창(IW)이 간격 없이 연속적으로 형성되게 된다. 이렇게, 영상창(image window)(IW)이 간격 없이 연속적으로 형성되게 하는 정도의 홀로그램 시프트(HS)를 기준값으로 할 때, 홀로그램 시프트(HS)를 상기 기준값보다 크게 하는 경우, 영상창(image window)(IW)들 간에 약간의 이격 거리가 형성될 것이다. 그리고, 홀로그램 시프트(HS)를 상기 기준값보다 작게 하는 경우에는, 영상창(image window)(IW)들은 조금씩 겹치게 된다.

도시된 바와 같이, 동일한 영상창(image window)(IW)이 연속적으로 형성된 영역 내에서는 사용자의 동공 위치가 변하여도, 별도의 아이 트래킹에 의한 영상 위치 조절을 수행하지 않더라도, 사용자는 홀로그램 영상을 인지할 수 있다.

다시, 도 1을 참조하여, 홀로그래픽 3차원 영상 표시 장치(100)의 구성과 동작을 보다 상세히 살펴보기로 한다.

광원(110)은 레이저, LED, 또는 LD 등을 포함할 수 있으며, 다만, 여기에 한정되는 것은 아니다.

콜리메이팅부(120)는 하나 이상의 렌즈를 포함할 수 있으며, 광원(110)에서 조사된 광을 평행광으로 시준한다. 콜리메이팅부(120)는 예를 들어, 실린더 렌즈 또는 실린더 렌즈 어레이를 포함할 수 있다.

공간 광 변조기(130)는 공간적으로 광을 변조시키는 소자이다. 공간 광 변조기(130)는 입사광의 강도, 컬러, 및/또는 위상을 제어하는 장치로서, 제어가능한 복수의 화소들의 매트릭스로 이루어질 수 있다. 화소들은 통과하는 광의 진폭 및/또는 위상을 변화시킴으로써 물체점들을 재구성한다. 공간 광 변조기(130)는 투과형 또는 반사형일 수 있다. 도면에서는 투과형으로 도시되었으나, 이에 한정되지 않는다. 투과형 공간 광 변조기의 예로서, 투명 기판 상에 액정 셀들 또는 전기 습윤 셀들이 어레이된 변조기가 있다. 반사형 공간 광 변조기로는 예를 들어, LCOS 소자 (Liquid Crystal on Silicon)가 있다.

공간 광 변조기(130)는 제어부(170)가 생성한 홀로그램의 홀로그램 값에 따라 간섭 무늬를 표시한다. 공간 광 변조기(130)에 표시된 간섭 무늬를 일으키는 빛은 사용자의 눈 앞으로 전파되어 3차원 영상을 재구성할 수 있다.

필드 렌즈(150)는 공간 광 변조기(130)로부터의 광을 관찰창(viewing window)(VW) 쪽으로 모으는 집광 렌즈일 수 있다. 예를 들어, 필드 렌즈(150)는 렌즈의 위상을 평면 상에 기록한 회절광학소자(Diffractive Optical Element) 또는 홀로그래픽 광학 소자(Holographic Optical Element)로 제작될 수 있다.

도면에서, 콜리메이팅부(120)는 공간 광변조기(130)의 앞에 배치되고, 필드 렌즈(150)는 공간 광변조기(130)의 뒤에 배치된 것으로 도시되었으나, 이에 한정되는 것은 아니며, 배치 순서는 바뀔 수도 있다.

촬영부(180)는 사용자(U)의 동공을 촬영할 수 있다. 이에 따라, 사용자(U)의 동공 크기, 동공 위치가 파악되고, 이 정보는 제어부(170)로 전송될 수 있다.

제어부(170)는 동일한 3차원 영상에 대한 복수의 홀로그램이 소정 간격으로 쉬프트되며 중첩된 홀로그램 신호를 생성한다. 이러한 홀로그램 신호는 컴퓨터 생성 홀로그램(computer generating hologram)으로 구성될 수 있다. 컴퓨터 생성 홀로그램 생성을 위한 계산 방법으로, 광선 추적 방법(Ray tracing method)을 이용한 계산 방법, 참조 테이블(Look-up table)을 이용한 계산 방법, 또는, 고속 푸리에 변환을 적용한 방법 등이 사용될 수 있다.

제어부(170)는 촬영부(180)가 전송한 정보, 사용자의 위치, 동공 크기 등을 홀로그램 산출시 사용한다. 예를 들어, 사용자의 동공 크기를 고려하여, 복수의 홀로그램이 쉬프트된 간격, 즉, 홀로그램 시프트를 정할 수 있다. 홀로그램 시프트는 재구성된 3차원 영상 간의 간격이 동공 크기와 같아지도록 정할 수 있다. 또는, 이러한 홀로그램 시프트를 기준값으로 하여, 이보다 다소 큰 값으로 정하는 것도 가능하다. 그러나, 홀로그램 시프트가 이 기준값보다 작은 경우에는 사용자의 동공 위치에서 홀로그램 영상이 겹쳐져 나타날 수 있다.

제어부(170)는 3차원 영상을 구성하는 물체점들의 깊이 정보, 사용자의 위치 정보, 중첩될 홀로그램 개수 및 정해진 홀로그램 시프트를 기초로, 다중 홀로그램의 공간 광 변조기 표면상에서의 위치 및 홀로그램 값을 산출할 수 있다.

제어부(170)는 이와 같이 생성한 다중 홀로그램 신호에 따라 공간 광 변조기(130)를 제어한다.

한편, 중첩되는 복수의 홀로그램 영상의 개수가 커질수록 개개 영상의 휘도는 감소할 수 있다. 따라서, 제어부(170)는 상기 개수에 따라 광원(110)의 세기를 조절하여, 개개 영상의 휘도가 일정하게 유지되도록 할 수 있다.

재구성된 3차원 영상이 인지되는 영역을 관찰창(viewing window)(VW)라고 한다. 한편, 공간 광 변조기(130)에 표시된 홀로그램은 동일한 영상이 소정 간격으로 쉬프트되며 중첩된 다중 홀로그램이므로, 관찰창(viewing window)(VW) 내에는 동일한 3차원 영상이 표시되는 복수의 영상창(image window)(IW)이 형성된다.

도 6은 실시예에 따른 홀로그래픽 3차원 영상 표시 장치(100) 및 방법에 의해 관찰창(viewing window)(VW) 내에 복수의 영상창(image window)(IW)이 형성되는 것을 보인다.

도면에서는 관찰창(viewing window)(VW) 내에 세 개의 영상창을 도시하였으나, 이는 예시적인 것이며, 이에 한정되지 않는다. 또한, 세 개의 영상창(image window)(IW)이 간격없이 형성된 것으로 도시되어 있으나, 이에 한정되지 않으며, 영상창(image window)(IW)들 사이에 약간의 이격거리가 형성될 수도 있다. 영상창(image window)(IW)이 반복 형성된 영역 내에서는 사용자(U)의 동공 위치가 변하여도, 아무런 이상 없이 홀로그램 영상이 인지될 수 있다.

도 7은 관찰창(viewing window)(VW) 내에 복수의 영상창(image window)(IW)이 형성된 다른 예를 보인다.

관찰창(viewing window)(VW) 내에 복수의 영상창(image window)(IW)이 형성되며, 복수의 영상창(image window)(IW)들 간의 피치(P)는 동공 사이즈(PW)보다는 조금 크게 형성되어 있다. 즉, 복수의 영상창(image window)(IW)들 간에는 약간의 이격 거리가 형성되고 있다.

도 8a 내지 도 8c는 실시예에 따른 홀로그래픽 3차원 영상 표시 장치(100)가 사용자의 양안 간격과 무관하게, 자연스러운 홀로그래픽 영상이 인지될 수 있음을 보이는 개념도이다.

일반적으로 사용자의 양안 간격은 대략적인 평균이 62mm 정도이며, 이러한 수치에 근거하여 좌안, 우안에 인지되는 홀로그램 영상을 준비한다. 그러나, 사용자에 따라서, 양안 간격은 조금씩 차이가 있으며, 평균적인 값에서 많이 벗어난 경우에는 평균값을 근거로 하여 작성한 홀로그램 영상이 다소 부자연스럽게 인지될 수도 있다. 또는, 이를 해소하기 위해, 고정밀이 아이 트래킹이 필요할 것이다.

본 실시예와 같이, 동일한 영상이 소정 간격으로 중첩된 다중 홀로그램을 사용하는 경우, 상기한 애로사항이 거의 나타나지 않는다.

도 8a 내지 도 8c를 참조하면, 사용자의 좌안에 대응하는 관찰창에는 복수의 영상창, L1, L2, L3, L4, L5가 연속적으로 형성되어 있다. L1 내지 L5는 모두 동일한 영상을 나타낸다. 또한, 우안에 대응하는 관찰창에는 복수의 영상창, R1, R2, R3, R4, R5가 연속적으로 형성되며, R1 내지 R5는 모두 동일한 영상을 나타낸다.

사용자는 좌안, 우안의 동공 위치에 따라 L1 내지 L5의 영상 중 어느 하나, R1 내지 R5의 영상 중 어느 하나를 인지한다.

도 8a와 같이 양안 간격 ES1인 경우, 사용자는 L2, R3의 영상을 인지한다.

도 8b와 같이, 양안 간격 ES2인 사용자는, L3, R2의 영상을 인지한다.

도 8c와 같이, 양안 간격 ES3인 사용자는 L2, R4의 영상을 인지한다.

이와 같이 본 실시예의 홀로그래픽 3차원 영상 표시 장치 및 방법에 따르며, 사용자의 다양한 양안 위치나 간격에 대응하기 위한 별도의 구성을 추가하지 않고, 자연스러운 3차원 영상이 인지되게 할 수 있다.

도 9는 다른 실시예에 따른 홀로그래픽 3차원 영상 표시 방법의 흐름도를 보이며, 도 10은 다른 실시예에 따른 홀로그래픽 3차원 영상 표시 장치(200)의 구성을 개략적으로 보인다.

홀로그래픽 3차원 영상 표시 방법은 동일한 3차원 영상에 대한 복수의 홀로그램이 소정 간격만큼 시프트되며 중첩된 다중 홀로그램 영상을 생성하고, 이를 공간 광 변조기를 통해 재생한다.

이러한 방법이 수행되는, 구체적인 예시적인 단계를 살펴보기로 한다.

다중 홀로그램 영상 신호를 생성하기 위해, 사용자의 동공 크기 정보, 위치 정보를 획득한다(S201). 이 때, 사용자의 동공을 촬상(S202)하는 방법을 사용할 수 있다. 구체적으로, 홀로그래피 3차원 영상을 감상하고자 하는 사용자에 따라, 실시간으로 해당 사용자의 동공을 촬상하는 방법을 사용한다. 또는, 미리 준비된 동공 크기 정보와 주변 조도를 센싱한 결과를 활용할 수 있다(S203). 예를 들어, 미리 촬상된 사용자의 동공 크기 정보 또는 평균적인 사용자의 동공 크기 정보가 데이터 형태로 기저장될 수 있다. 이와 함께, 주변 조도를 센싱하여, 해당 조도에서의 동공 크기를 추정할 수 있다.

다음, 다중 홀로그램 영상의 중첩수, 즉, 복수 홀로그램 영상의 개수, N과, 이들 간의 간격, 홀로그램 시프트(HS)을 결정한다(S205). 이 단계에서는 상기 중첩수(N)나 홀로그램 시프트(HS)에 대한 사용자의 입력 정보를 수신할 수 있다. 예를 들어, 사용자는 홀로그래피 3차원 영상의 화질과 소모 전력을 함께 고려하여, 기호에 따라 N값을 선택할 수 있을 것이다. 홀로그램 시프트(HS)는 재생된 복수의 홀로그램 영상간의 피치가 사용자의 동공 크기 이상이 되는 값으로 정할 수 있다. 이 경우에도, 재생되는 복수의 홀로그램 영상간의 피치를 사용자의 동공 크기와 동일하게 할 지, 또는 그 이상이 되게 할 지에 대해, 사용자의 입력 정보를 수신할 수 있다.

다음, 정해진 N 값에 따라 광원의 세기를 조절한다(S207). N 값이 커질수록 개개의 홀로그램 영상의 휘도는 낮아질 수 있으므로, 적절한 휘도를 위해, N이 커짐에 따라 광원의 세기를 크게 할 수 있다. 다만, 이 단계는 생략될 수도 있다.

다음, 다중 홀로그램 영상 신호를 생성한다(S208). 3차원 영상을 구성하는 물체점들의 깊이 정보, 사용자의 위치 정보, 중첩될 홀로그램 개수 및 정해진 홀로그램 시프트를 기초로, 다중 홀로그램의 공간 광 변조기 표면상에서의 위치 및 홀로그램 값을 산출할 수 있다.

또한, 사용자의 동공 위치 변화를 센싱하는 과정(S210)이 수행될 수 있다.

동공 위치 변화 값(Δ)을 수신하고, 수신된 동공 위치 변화 값(Δ)으로부터, 변화된 위치에 대응하는 다중 홀로그램 영상 신호의 재생성(re-generation) 여부를 결정할 수 있다.

예를 들어, 이러한 기준값을 cd1이라 하면, Δ≤cd1 여부를 판단한다(S212). Δ≤cd1인 경우에는 S208 단계에서 생성된 다중 홀로그램 영상 신호를 그대로 사용하여, 다중 홀로그램 영상 신호에 따라 공간 광 변조기에 입사된 광을 변조한다(S217). 중첩될 복수의 홀로그램 영상의 개수를 N, 홀로그램 시프트를 HS라고 할 때, cd1은 N×HS 로 정해질 수 있다.

Δ>cd1인 경우에는 변화된 위치에 대응하는 다중 홀로그램 영상 신호를 재생성할 지 또는, 공간 광변조기에서 변조된 광이 상기 변화된 위치를 향하도록 스티어링(steering)할 지를 결정하기 위해, cd1≤Δ≤cd2 여부를 판단한다(S213). cd2는 홀로그램 생성 연산으로 커버할 수 있는 정도의 사용자의 동공 위치 변화의 최대값으로 정할 수 있다.

cd1≤Δ≤cd2 인 경우, 변화된 위치에 대응하는 다중 홀로그램 영상 신호를 재생성하고(S214), 다중 홀로그램 영상 신호에 따라 공간 광 변조기에 입사된 광을 변조한다(S217).

Δ>cd2인 경우에는, 재생된 영상의 방향을 사용자의 동공 방향으로 조절하는, 빔 스티어링(beam steering) 구동을 수행한다(S215). 빔 스티어링 구동을 위해 빔 스티어링 소자를 사용할 수 있다. 다중 홀로그램 영상 신호에 따라 공간 광 변조기에 입사된 광을 변조하는 단계(S217), 빔 스티어링 구동(S215)은 동시에 수행되며, 즉, 공간 광 변조기에서 재생된 영상의 방향이 사용자의 위치를 향하게 된다.

도 10의 홀로그래픽 3차원 영상 표시 장치(200)는 도 9의 흐름도에 나타난 방법을 수행할 수 있는 예시적인 장치이다.

홀로그래픽 3차원 영상 표시 장치(200)는 광원(210), 콜리메이팅부(220), 공간 광 변조기(230), 빔 스티어링 소자(240), 필드 렌즈(150)를 포함한다.

광원(210), 콜리메이팅부(220), 공간 광 변조기(230), 필드 렌즈(250)는 도 1의 실시예에서 설명한 광원(110), 콜리메이팅부(120), 공간 광 변조기(130), 필드 렌즈(150)와 실질적으로 동일하므로, 이에 대한 상세한 설명은 생략한다.

빔 스티어링 소자(240)는 공간 광 변조기(230)에서 변조된 빔이 사용자의 동공을 향하도록 스티어링(steering) 하는 광학 소자이다. 빔 스티어링 소자(240)는 입력 신호, 예를 들어, 전기적 신호에 따라 입사빔의 방향을 바꾸지 않거나, 또는 입사빔의 방향을 소정 방향으로 바꾸도록 구동될 수 있다. 빔 스티어링 소자(240)는 예를 들어, 능동 광학 프리즘 또는 액정 그레이팅으로 구성될 수 있다.

빔 스티어링 소자(240)와 필드 렌즈(250)의 배치 순서는 뒤바뀔수도 있다.

또한, 홀로그래픽 3차원 영상 표시 장치(200)는 제어부(270), 입력부(260), 센서 모듈(280)을 포함할 수 있다.

센서 모듈(280)은 촬영부(282), 아이 트래킹부(284), 조도센서(286)를 포함할 수 있다.

촬영부(282)는 사용자의 동공 크기, 동공 위치를 촬상할 수 있다. 촬영부(282)에서 획득된 정보는 홀로그램 생성을 위해 제어부(270)로 전송될 수 있다. 또한, 촬영부(282)에서 촬영된 정보는 아이 트래킹부(284)로 전송되어, 이를 활용하여 아이트래킹 소프트 웨어가 구동될 수 있다.

조도 센서(286)는 사용자(U) 주변의 조도를 측정할 수 있다. 사용자의 동공 크기 정보를 실시간 촬영으로 획득하는 경우, 조도 센서(286)는 사용되지 않을 수 있다. 사용자의 동공 크기에 대해, 미리 저장된 정보를 활용하는 경우, 밝기에 따라서 동공 크기가 변하는 것을 고려할 수 있다. 즉, 조도 센서(286)에서 측정한 조도 정보는 제어부(270)에 전송되고, 제어부(270)는 미리 저장된 정보와 조도 정보를 활용하여 동공 크기를 추정할 수 있다.

제어부(270)는 다중 홀로그램 영상 신호를 생성하는 연산을 수행하고, 또한, 생성된 다중 홀로그램 영상 신호에 따라 공간 광 변조기(230)를 제어한다. 또한, 다중 홀로그램의 중첩수에 따라 광원(210)의 세기 조절, 센서 모듈(280)로부터 수신된 아이 트래킹 정보에 따라 빔 스티어링 소자(240)를 제어한다.

제어부(270)는 운영 체제와 함께 상술한 과정을 수행하기 위한 프로그램 코드를 실행하고 데이터를 생성 및 사용하는 동작을 한다. 운영 체제는 일반적으로 공지되어 있으며 예를 들어, Window 계열 OS, Unix, Linux, Palm OS, DOS, 안드로이드 및 매킨토시 등일 수 있다.

제어부(270)는 단일 칩, 다수의 칩, 또는 다수의 전기 부품 상에 구현될 수 있다. 예를 들어, 전용 또는 임베디드 프로세서, 단일 목적 프로세서, 컨트롤러, ASIC, 기타 등등을 비롯하여 여러 가지 아키텍처가 제어부(270)에 대해 사용될 수 있다.

입력부(260)는 제어부(270)이 구동에 필요한 정보를 사용자로부터 입력받고 이를 제어부(270)에 전달할 수 있다. 입력부(260)는 사용자가 직접 제어부(270)를 조작하기 위한 버튼, 키 패드, 스위치, 다이얼 또는 터치 인터페이스를 포함할 수 있다. 입력부(260)는 또한 제어부(270)의 조작에 필요한 영상을 디스플레이하는 디스플레이부를 포함할 수 있으며, 터치스크린으로 구현될 수 있다. 또한, 입력부(260)는 HID(Human Interface Device) 들을 연결하기 위한 I/O 포트나, 영상의 입/출력을 위한 I/O 포트를 구비할 수 있다.

상술한 홀로그래피 3차원 영상 표시 장치(200)는 관찰창(viewing window)(VW) 내에 동일한 3차원 영상을 담은 복수의 영상창(image window)(IW)을 형성할 수 있다. 따라서, 아이 트래킹부(284)에서 감지한 사용자(U) 동공 위치 변화가 Δ1으로, 이 값이 전술한 cd1(=N×HS) 이하인 경우, 사용자가 인지하는 영상에 영향을 주지 않는다. 즉, 홀로그래피 3차원 영상 시현을 위해 별도의 조작이 필요하지 않다. 이와 같은 점을 활용한다면, 아이 트래킹부(284)나 촬영부(282)의 정밀도는 cd1 보다 큰 값으로 설정할 수도 있으므로, 정밀도에 대한 부담이 경감된다.

아이 트래킹부(284)에서 감지한 사용자(U) 동공 위치 변화가 Δ2로, 다중 홀로그램 재생성으로 커버할 수 있는 범위인 경우, 제어부(270)에서 상응하는 위치에 홀로그래피 영상이 형성되도록 다중 홀로그램 영상 신호를 재생성할 수 있다.

아이 트래킹부(284)에서 감지한 사용자(U) 동공 위치 변화가 Δ3로, 빔 스티어링 구동이 필요한 경우로 판단되는 경우, 제어부(270)는 빔 스티어링 소자(240)를 구동하여, 공간 광 변조기(130)에서 형성된 빔이 상응하는 사용자 위치를 향하도록 조절할 수 있다.

본 발명에 따른 홀로그래픽 3차원 영상 표시 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

한편, 본 발명의 홀로그래픽 3차원 영상 표시 방법은 홀로그래픽 3차원 영상 표시 장치에 구비된 프로세서가 읽을 수 있는 기록매체에 프로세서가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 인터넷을 통한 전송 등과 같은 캐리어 웨이브의 형태로 구현되는 것도 포함한다. 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이러한 본원 발명인 홀로그래픽 3차원 영상 표시 장치 및 방법은 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.

100, 200...홀로그래피 3차원 영상 표시 장치
110, 210...광원 120, 220...콜리메이팅부
130, 230...공간 광 변조기 240...빔 스티어링 소자
150, 250...필드 렌즈 260...입력부
170, 270...제어부 180, 282...촬영부
280...센서 모듈 284...아이 트래킹부
286...조도 센서

Claims

동일한 3차원 영상을 나타내는 복수의 홀로그램 영상이 소정 간격만큼 시프트되며 중첩된 다중 홀로그램 영상 신호를 생성하는, CGH(computer generating hologram) 생성 단계;
상기 다중 홀로그램 영상 신호에 따라 공간 광 변조기에 입사된 광을 변조하여 상기 복수의 홀로그램 영상이 나타나는 관찰창을 소정 위치에 형성하되, 상기 관찰창은 인접 배치된 복수의 영상창을 포함하고, 상기 복수의 홀로그램 영상 각각이 상기 복수의 영상창 각각에 나타나게 하는 단계;를 포함하며,
상기 CGH 생성 단계는
상기 중첩될 복수의 홀로그램 영상의 개수를 정하는 단계;
상기 소정 간격을 정하는 단계;를 포함하며,
상기 소정 간격은, 재생된 복수의 홀로그램 영상간의 피치가 사용자의 동공 크기 이상이 되게 하는 값인, 홀로그래피 3차원 영상 표시 방법.
삭제
삭제
제1항에 있어서,
상기 소정 간격은,
사용자의 동공 크기를 촬영함으로써 정해지는 홀로그래피 3차원 영상 표시 방법.
제1항에 있어서,
상기 소정 간격은,
주변 조도를 측정하고, 미리 데이터로 준비된 사용자의 동공 크기와 상기 측정된 주변 조도로부터 정해지는 홀로그래피 3차원 영상 표시 방법.
제1항에 있어서,
상기 중첩될 복수의 홀로그램 영상의 개수에 따라, 상기 공간 광 변조기에 조사되는 광의 세기가 조절되는 홀로그래피 3차원 영상 표시 방법.
제1항에 있어서,
상기 중첩될 복수의 홀로그램 영상의 개수는 사용자의 입력 신호에 따라 정해지는 홀로그래피 3차원 영상 표시 방법.
제1항에 있어서,
사용자의 동공 위치 변화를 센싱하는 아이 트래킹(eye-tracking) 단계;를 더 포함하는 홀로그래피 3차원 영상 표시 방법.
제8항에 있어서,
상기 동공 위치 변화 값을 수신하는 단계;
상기 동공 위치 변화 값으로부터, 변화된 위치에 대응하는 다중 홀로그램 영상 신호의 재생성(re-generation) 여부를 결정하는 단계;를 포함하는 홀로그래피 3차원 영상 표시 방법.
제9항에 있어서,
중첩될 복수의 홀로그램 영상의 개수를 N, 상기 소정 간격을 HS라고 할 때, 상기 동공 위치 변화 값이 N×HS 이하일 때는 기존의 다중 홀로그램 영상 신호를 그대로 사용하는 홀로그래피 3차원 영상 표시 방법.
제9항에 있어서,
중첩될 복수의 홀로그램 영상의 개수를 N, 상기 소정 간격을 HS라고 할 때, 상기 동공 위치 변화 값이 N×HS 보다 클 때는, 변화된 위치에 대응하는 다중 홀로그램 영상 신호를 재생성하거나, 또는, 공간 광변조기에서 변조된 광을 상기 변화된 위치를 향하도록 스티어링(steering)하는 홀로그래피 3차원 영상 표시 방법.
광원;
상기 광원으로부터 입사된 광을 변조하는 공간 광 변조기;
동일한 3차원 영상을 나타내는 복수의 홀로그램 영상이 소정 간격만큼 시프트되며 중첩된 다중 홀로그램 영상을 위한 홀로그램 신호를 생성하고, 상기 홀로그램 신호에 따라 상기 공간 광 변조기를 제어하되, 상기 공간 광 변조기에서 상기 홀로그램 신호에 따라 변조된 광이 인접 배치된 복수의 영상창을 포함하는 관찰창을 소정 위치에 형성하고 상기 복수의 홀로그램 영상 각각이 상기 복수의 영상창 각각에 나타나게 하는 제어부;를 포함하며,
상기 제어부는 상기 중첩될 복수의 홀로그램 영상의 개수 및 상기 소정 간격을 정하며,
상기 소정 간격은, 재생된 복수의 홀로그램 영상간의 피치가 사용자의 동공 크기 이상이 되게 하는 값인, 홀로그래픽 3차원 영상 표시 장치.
제12항에 있어서,
사용자의 동공을 촬영하는 촬영 장치를 더 포함하는 홀로그래픽 3차원 영상 표시 장치.
제12항에 있어서,
주변 조도를 측정하는 조도 센서를 더 포함하는 홀로그래픽 3차원 영상 표시 장치.
제12항에 있어서,
사용자의 동공 위치를 추적하는 아이 트래킹(eye-tracking)부를 더 포함하는 홀로그래픽 3차원 영상 표시 장치.
제12항에 있어서,
상기 공간 광 변조기에서 변조된 빔이 사용자의 동공을 향하도록 스티어링 하는 빔 스티어링 소자를 더 포함하는 홀로그래픽 3차원 영상 표시 장치.
제16항에 있어서,
상기 빔 스티어링 소자는 능동 광학 프리즘 또는 액정 그레이팅을 포함하는 홀로그래픽 3차원 영상 표시 장치.
제12항에 있어서,
상기 중첩될 복수의 홀로그램 영상의 개수를 사용자로부터 입력받고 이를 제어부에 전달하는 입력부를 더 포함하는 홀로그래픽 3차원 영상 표시 장치.
제18항에 있어서,
상기 제어부는 상기 중첩될 복수의 홀로그램 영상의 개수에 따라 상기 광원의 세기를 조절하는 홀로그래픽 3차원 영상 표시 장치.
제12항 내지 제19항 중 어느 한 항의 홀로그래픽 3차원 영상 표시 장치;를 포함하는 전자 기기.