KR20230031173A - 홀로그램 계산 - Google Patents

Abstract

홀로그램에서 이미지를 재구성하는 방법이다. 이 방법은 제1 과정 내지 제5 과정을 포함한다. 제1 과정 내지 제5 과정은 순서대로 수행될 수 있다. 제1 과정은 디스플레이 영역 내에 디스플레이할 이미지를 수신하는 과정을 포함한다. 디스플레이 영역은 공간적으로 분리된 뷰잉 영역에서 볼 수 있거나 보일 수 있다. 제2 과정은 이미지의 제1 이미지 성분을 결정하는 과정을 포함한다. 제3 과정은 이미지의 홀로그램을 결정하거나 계산하는 과정을 포함한다. 홀로그램은 각도 분포된 광의 각도 채널이 이미지의 각각의 연속적인 영역에 대응하도록 이미지 내의 위치에 따라 광을 각도 분포시키도록 구성된다. 제4 과정은 디스플레이 장치에 홀로그램을 표시하고 표시된 홀로그램에 따라 광을 공간적으로 변조하는 과정을 포함한다. 제5 과정은 디스플레이 장치로부터 뷰잉 영역으로 공간적으로 변조된 광에 대한 복수의 상이한 광 전파 경로들을 제공하도록 구성된 동공 확장기를 통해 각각의 공간적으로 변조된 광을 전파하는 과정을 포함한다. 각각의 광 전파 경로는 디스플레이 장치로부터 공간적으로 변조된 광을 수신하도록 동공 확장기를 구성함으로써 달성될 수 있다. 특히, 이 방법은 이미지의 제2 이미지 성분보다 제1 이미지 성분에 대한 홀로그램의 계산에 더 많은 데이터 처리 리소스를 할당하는 과정을 포함한다.

Description

홀로그램 계산 {Hologram Calculation}

본 개시는 이미지 투사(image projection) 및 이미지 투사 방법에 관한 것이다. 본 개시는 홀로그램이나 키노폼(kinoform)과 같은 회절 구조로부터 이미지 복원 및 이미지 복원 방법에 관한 것이다. 실시예들은 도파관 동공 확장기(waveguide pupil expander)를 통해 이미지를 투사하는 것에 관한 것이다. 본 개시는 또한 홀로그램 컴퓨팅 리소스들과 같은 데이터 처리 리소스들의 할당을 최적화하는 방법에 관한 것이다. 일부 실시예들은 이미지 프로젝터 또는 홀로그램 프로젝터 또는 사진 생성 유닛(picture generating unit)과 같은 광 엔진에 관한 것이다. 일부 실시예들은 헤드-업 디스플레이(head-up display) 또는 헤드-업 디스플레이를 수용하는 차량에 관한 것이다. 홀로그램 계산에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 개시에 대한 배경정보를 제공할 뿐 종래기술을 구성하는 것이 아니다.

물체에서 산란된 광은 진폭 및 위상 정보를 모두 포함한다. 이 진폭 및 위상 정보는, 예컨대, 잘 알려진 간섭 기술에 의하여 감광판에 캡처(captured)되어 간섭 무늬를 포함하는 홀로그램 기록 또는 "홀로그램"을 형성할 수 있다. 홀로그램은 원래 물체를 나타내는 2차원 또는 3차원 홀로그램 재구성(holographic reconstruction) 또는 재생 이미지를 형성하기 위해 적절한 광으로 조명됨으로써 재구성될 수 있다.

컴퓨터-생성 홀로그래피(computer-generated holography)는 간섭 과정을 수치적으로 시뮬레이션 할 수 있다. 컴퓨터-생성 홀로그래피는 프레넬(Fresnel) 또는 푸리에(Fourier) 변환과 같은 수학적 변환에 기반한 기술에 의하여 계산될 수 있다. 이러한 유형의 홀로그램들을 프레넬/푸리에 변환 홀로그램 또는 간단히 프레넬/푸리에 홀로그램이라고 할 수 있다. 푸리에 홀로그램은 물체의 푸리에 도메인/평면 표현 또는 물체의 주파수 도메인/평면 표현으로 간주될 수 있다. 컴퓨터-생성 홀로그램(computer-generated hologram)은 또한 예컨대, 간섭 광선 추적(coherent ray tracing) 또는 포인트 클라우드 기술에 의하여 계산될 수 있다.

컴퓨터-생성 홀로그램은 입사광의 진폭 및/또는 위상을 변조하도록 구성된 공간 광 변조기(spatial light modulator)에 인코딩될 수 있다. 광 변조는, 예컨대, 전기적으로 주소 지정 가능한 액정 또는 마이크로 미러를 사용하여 달성될 수 있다.

공간 광 변조기는 일반적으로 셀 또는 요소라고도 하는 복수의 개별적으로 주소 지정 가능한 픽셀을 포함한다. 광 변조 방식은 바이너리(binary), 멀티레벨(multilevel) 또는 연속적일 수 있다. 공간 광 변조기는 변조된 광이 반사되어 출력되는 반사형일 수 있다. 공간 광 변조기는 변조된 광이 투과로 출력된다는 의미에서 동등하게 투과적일 수 있다.

홀로그램 프로젝터는 본 명세서에 설명된 시스템을 사용하여 제공될 수 있다. 이러한 프로젝터는, 예컨대, 헤드-업 디스플레이인 "HUD"와 "LiDAR(Light Detection And Ranging)"에 적용되었다.

본 개시 및 도면은 설명 및 예시의 편의를 위해 일반적으로 1차원적인 경우를 개시한다. 그러나, 광학 기술 분야의 당업자는 설명 및 도시된 개념이 2차원 홀로그램으로부터 2차원 이미지를 제공하기 위하여 2차원으로 확장될 수 있음을 이해할 것이다. 예컨대, 1차원 동공 확장만이 설명되고 도시될 수 있지만, 독자는 본 개시가 - 예컨대, 2개의 1차원 동공 확장기를 직렬로 사용함으로써 - 2차원 동공 확장으로 확장된다는 것을 이해해야 한다.

대체로, 본 개시는 이미지 투사(image projection)에 관한 것이다. 이미지 투사 방법 및 디스플레이 장치를 포함하는 이미지 투사기에 관한 것이다. 본 개시는, 또한, 이미지 투사기 및 뷰잉 시스템(viewing system)을 포함하는 투사 시스템에 관한 것이다. 본 개시는 단안 및 양안 뷰잉 시스템에 동일하게 적용가능하다. 뷰잉 시스템은 뷰어의 눈 또는 눈들을 포함할 수 있다. 뷰잉 시스템은 광 파워(예: 인간 눈의 렌즈/렌즈들) 및 뷰잉 평면(예: 인간 눈/눈들의 망막)을 갖는 광학 요소를 포함한다. 프로젝터는 '광 엔진'이라고 할 수 있다. 디스플레이 장치 및 디스플레이 장치를 이용하여 형성되는(또는 인지되는) 이미지는 공간적으로 분리되어 있다. 이미지는 디스플레이 평면에 형성되거나 뷰어에 의해 감지된다. 일부 실시예에서, 이미지는 가상 이미지이고 디스플레이 평면은 가상 이미지/디스플레이 평면으로 지칭될 수 있다. 디스플레이 장치에 표시되는 회절 패턴(예: 홀로그램)을 조명하여 이미지가 형성된다.

디스플레이 장치는 픽셀들을 포함한다. 디스플레이 장치의 픽셀들은 광을 회절시킨다. 잘 알려진 광학 장치에 따르면, 최대 회절 각도의 크기는 픽셀들의 크기(및 광의 파장과 같은 기타 요인들)에 의하여 결정된다.

실시예들에서, 디스플레이 장치는 실리콘 상의 액정("LCOS") 공간 광 변조기(SLM)와 같은 공간 광 변조기이다. 광은 LCOS에서 카메라 또는 눈과 같은 뷰잉 개체/시스템 쪽으로 회절 각도 범위(예: 0에서 최대 회절 각도까지)에 걸쳐 전파된다. 일부 실시예에서, 확대 기술은 LCOS의 통상적인 최대 회절 각도를 넘어 이용가능한 회절 각도의 범위를 증가시키기 위하여 사용될 수 있다.

실시예들에서, 이미지는 실제 이미지이다. 다른 실시예들에서, 이미지는 인간의 눈(또는 눈들)에 의하여 인지되는 가상 이미지이다. 따라서, 투사 시스템 또는 광 엔진은 뷰어가 디스플레이 장치를 직접 바라보도록 구성될 수 있다. 이러한 실시예들에서, 홀로그램으로 인코딩된 광은 눈(들)에 직접 전파되고 디스플레이 장치와 뷰어 사이의 자유 공간이나 스크린 또는 다른 수광 표면(receiving surface)에서 중간 홀로그램 재구성이 형성되지 않는다. 그러한 실시예들에서, 눈의 동공은 뷰잉 시스템의 입구 개구(entrance aperture)인 것으로 간주될 수 있고, 눈의 망막은 뷰잉 시스템의 뷰잉 평면으로서 간주될 수 있다. 때때로, 이 구성에서 눈의 수정체가 홀로그램을 이미지로 전환 또는 변환한다고 한다.

잘 알려진 광학의 원리에 따라, 눈 또는 다른 뷰잉 개체/시스템에 의해 보일 수 있는 디스플레이 장치로부터 전파되는 광의 각도 범위는 디스플레이 장치와 뷰잉 개체 사이의 거리에 따라 달라진다. 예컨대, 1미터의 시야 거리에서 LCOS의 작은 각도 범위만 눈의 동공을 통해 전파되어 주어진 눈 위치에 대해 망막에 이미지를 형성할 수 있다. 디스플레이 장치에서 전파되는 광선들의 각도 범위는 눈의 동공을 통해 성공적으로 전파되어 주어진 눈 위치에 대해 망막에 이미지를 형성할 수 있으며, 뷰어에게 '보이는' 이미지 부분을 결정한다. 다시 말해, 이미지의 모든 부분이 뷰잉 평면의 한 지점(예: 눈 움직임 상자(eye-motion box)와 같은 뷰잉 창 내의 한 눈 위치)에서 볼 수 있는 것은 아니다.

일부 실시예들에서, 뷰어에 의해 인지되는 이미지는 디스플레이 장치의 업스트림에 나타나는 가상 이미지인데, 즉, 뷰어는 이미지가 디스플레이 장치보다 그들로부터 더 멀리 있는 것으로 인지한다. 따라서, 개념적으로는, 뷰어가 '디스플레이 장치 크기의 창'을 통해 가상 이미지를 보고 있는 것으로 간주될 수 있으며, 이 창은 예컨대 직경이 1 cm로 비교적 먼 거리(예: 1 m)에서 매우 작을 수 있다. 그리고, 사용자는 눈(들)의 동공(들)을 통해 디스플레이 장치 크기의 창을 보게 될 것이며, 동공도 매우 작을 수 있다. 따라서, 시야가 좁아지고 볼 수 있는 특정 각도 범위는 주어진 시간에 눈의 위치에 크게 좌우된다.

동공 확장기는 시야를 증가시키는 방법의 문제를 해결하는데, 즉, 이 방법은 디스플레이 장치에서 전파되고 눈의 동공을 통해 성공적으로 전파되어 이미지를 형성할 수 있는 광선의 각도 범위를 증가시키는 방법이다. 디스플레이 장치는 (상대적으로) 작고 투사 거리가 (상대적으로) 크다. 일부 실시예들에서, 투사 거리는 디스플레이 장치의 입구 동공 및/또는 개구의 직경 또는 너비(즉, 픽셀들의 어레이의 크기)보다 1배 이상(예: 최소 2배 이상)의 크기이다. 본 개시는 이미지 자체가 아닌, 이미지의 홀로그램이 사람의 눈에 전달되는 이른바 직시형 홀로그래피에 관한 것이다. 즉, 이미지의 홀로그램에 따라 뷰어가 받는 광이 변조된다.

동공 확장기는 시야를 증가시켜 디스플레이 장치의 전체 회절 각도가 사용될 수 있는 최대 전파 거리를 증가시킨다. 동공 확장기를 사용하면 사용자의 아이박스(eye-box)를 측면으로 확장할 수 있으므로, 사용자가 이미지를 볼 수 있도록 하면서 일부 눈/눈들의 움직임이 발생할 수 있다. 실시예들에서, 동공 확장기는 도파관 동공 확장기이다. 본 개시는 일반적으로 무한하지 않은 허상 거리, 즉 근거리 허상에 관한 것이다.

조명될 때 공간적으로 변조된 광을 형성하는 홀로그램을 형성하기 위하여 뷰잉 시스템의 입사 동공에 따라 자르는 것(cropping)을 포함하는 적어도 하나의 과정을 포함하고, 여기서 공간적으로 변조된 광의 연속적인 광 채널들은 이미지의 연속적인 영역들에 해당한다. 연속적인 광 채널은 공간적으로 변조된 광의 광선 각도의 연속적인 범위에 의하여 정의될 수 있다. 공간적으로 변조된 광의 모든 연속적인 광 채널들은 이미지의 연속적인 영역에 해당한다. 공간적으로 변조된 광은 임의의 수의 연속적인 광 채널로 분할될 수 있다. 다시 말해서, 본 명세서에 개시된 방법은 뷰잉 시스템에 의해 이미지로 변환 가능한 광을 공간적으로 변조하도록 구성된 회절 구조를 결정하되, 여기서 회절 구조는 광을 복수의 홀로그램 채널들로 라우팅하도록 구성되고, 각각의 홀로그램 채널은 이미지의 상이한 부분에 대응한다.

일부 경우들에서, 도파관 동공 확장기를 포함하는 광학 시스템에 대한 홀로그램 계산을 하는 이 방법은 눈(들)의 동공의 위치를 결정하기 위하여 눈 추적(eye-tracking)을 사용할 수 있다. 홀로그램은 눈의 동공 위치에서 볼 때 시야 전반에 걸쳐 좋은 이미지를 제공하도록 계산된다. 눈 추적 도구(eye-tracking tools)는 눈의 동공 위치를 결정하고 눈의 응시 방향(즉, 눈이 가리키는 방향)도 추정할 수 있다. 일부 중심와 이미지(foveal imaging) 개념은 시야의 나머지 부분보다 중심와 영역(foveal imaging)에 더 높은 이미지 품질을 제공한다. 그러나, 본 개시는 그 이상에 관한 것이다. 보다 구체적으로, 시선 추적(gaze tracking) 입력에 따라 시야의 다른 영역 전용 홀로그램 컴퓨팅 리소스가 선택되고, 홀로그램은 동공 확장기를 통해 전파되며, 여기서 시야의 상이한 영역은 실질적으로 상이한 서브-홀로그램인 동공 확장기를 통한 상이한 광학 경로에 대응한다.

본 개시의 양태들은 첨부된 독립항에서 정의된다.

본 발명의 제1 양태는 홀로그램으로부터 이미지를 복원하는 방법이다. 이 방법은 제1 단계 내지 제5 단계를 포함한다. 제1 단계 내지 제5 단계는 순서대로 수행될 수 있다. 디스플레이 영역은 공간적으로 분리된 뷰잉 영역(viewing area)에서 보이거나 볼 수 있다. 즉, 뷰잉 영역은 디스플레이 영역과 공간적으로 분리(예: 1내지2 미터)된다. 일부 예들에서, 디스플레이 영역은 뷰잉 영역에서 볼 수 있는 공간 광 변조기와 같은 디스플레이 장치의 활성 디스플레이 영역일 수 있다. 다른 예들에서, 디스플레이 영역은 뷰잉 영역으로부터 볼 수 있는 하나 이상의 가상 이미지/디스플레이 평면들로부터 형성된 가상 디스플레이 영역을 포함할 수 있다. 뷰잉 영역은 헤드업 디스플레이의 아이-박스(eye-box)와 같은 뷰잉 윈도우(viewing window)일 수 있다. 제2 단계는 이미지의 제1 이미지 성분을 결정하는 과정을 포함한다. 제3 단계는 이미지의 홀로그램을 결정하거나 계산하는 과정을 포함한다. 홀로그램은 각도 분포된 광의 각도 채널들이 이미지의 각각의 연속적인 영역들에 대응하도록 이미지 내의 위치에 따라 광을 각도 분포시키도록 구성된다. 제4 단계는 디스플레이 장치에 홀로그램을 표시하고 표시된 홀로그램에 따라 광을 공간적으로 변조하는 과정을 포함한다. 제5 단계는 디스플레이 장치로부터 뷰잉 영역으로 공간적으로 변조된 광에 대한 복수의 상이한 광 전파 경로들을 제공하도록 구성된 동공 확장기를 통해 각각의 공간적으로 변조된 광을 전파하는 과정을 포함한다. 각각의 광 전파 경로는 홀로그램의 광의 각도 분포로 인해 이미지의 각각의 연속적인 영역에 해당한다. 제5 단계는 디스플레이 장치로부터 공간적으로 변조된 광을 수신하도록 동공 확장기를 배열함으로써 달성될 수 있다. 특히, 이 방법(예: 제3 단계)은 이미지의 제2 이미지 성분보다 제1 이미지 성분에 대한 홀로그램의 계산에 더 많은 데이터 처리 리소스를 할당하는 과정을 포함한다.

독자들은 실제 홀로그램 표시 장치에서 무한 시간과 무한 처리 능력을 홀로그램 계산에 할당할 수 없다는 아이디어에 익숙할 것이다. 예컨대, 홀로그램 표시 장치가 비디오 속도(video-rate)로 작동해야 하는 경우 들어오는 이미지 스트림의 프레임/디스플레이/비디오 속도보다 빠른 속도로 각 해당 이미지 프레임에서 각 홀로그램을 계산해야 할 수 있다. 마찬가지로, 홀로그램 표시 장치가 최대 크기 또는 최대 비용 제약을 충족해야 하는 경우, 프로세서나 메모리와 같은 더 낮은 사양의 전자 부품을 사용해야 할 수 있다. 따라서, 실제 장치에서는 유한한 양(amount) 또는 양자(quantum)의 데이터 처리 리소스를 각각의 홀로그램 계산에 사용할 수 있다. "데이터 처리 리소스"라는 용어에는 처리 시간 및 처리 능력이 포함되지만, 예컨대 독자는 홀로그램 계산을 위해 데이터 처리의 최대량 또는 양자가 제공(즉, 할당)될 수 있다는 아이디어에 익숙할 것이다. 이러한 데이터 처리 리소스는 어떤 형태를 취하든 일반적으로 홀로그램 계산 중에 균등하게 할당된다. 실제로, 홀로그램의 각각의 부분이 재구성의 모든 부분에 기여하기 때문에 일반적으로 홀로그램 컴퓨팅 리소스를 다른 방식으로 할당하는 것은 불가능하다. 즉, 홀로그램과 복원 이미지 사이에 일대일 픽셀 상관관계가 존재하지 않는다. 실시예들에서, 홀로그램이 나타내는 이미지에 대한 품질 또는 충실도는 계산에 할당된 데이터 처리 리소스의 양에 따라 다르다. 즉, 홀로그램 계산에 더 많은 데이터 처리 리소스가 할당되면 홀로그램은 이미지의 고품질 재구성을 생성한다. 즉, 소스/타겟 이미지와 홀로그램으로 재구성된 이미지의 차이가 줄어든다. 일반적으로, 각 홀로그램의 계산에는 가능한 한 많은 데이터 처리 리소스를 할당하는 것이 바람직하지만, 본 개시에 따르면 홀로그램의 특성 및 도파관 동공 확장기의 사용으로 인하여 데이터 처리 리소스가 각각의 이미지에 불균등하게 할당된다. 예컨대, 각각의 이미지의 일부 측면 또는 구성 요소(예: 서브-영역들 또는 색상 구성 요소들)는 동일한 이미지의 다른 측면들 또는 성분들보다 더 많은 홀로그램 컴퓨팅 리소스를 할당 또는 지정한다. 이것은 다음의 상세한 설명으로부터 더 이해될 것이다.

개요에서, 본 개시에 따른 방법은 사용자에 의해 인식되는 높은 이미지 품질을 초래하지만 더 낮은 홀로그램 컴퓨팅 리소스 요구사항을 갖는다. 또한, 설명된 광학 시스템에서 사용된 홀로그램 계산 방법과 매우 잘 맞으며, 홀로그램 계산에 통합된 시선 추적 기능이 이미 있는 시스템을 사용한다.

중요하게도, 홀로그램은 호로그램으로부터 형성된 홀로그램 재구성(즉, 이미지)이 아니라 뷰잉 시스템으로 전판된다. 뷰잉 시스템(들)에 의해 수신된 공간적으로 변조된 광은 공간 또는 이미지 영역보다는 홀로그램 영역에 있다고 말할 수 있다. 뷰잉 시스템(들)은 홀로그램에서 이미지 변환을 수행한다고 말할 수도 있다. 보다 구체적으로, 각각의 뷰잉 시스템의 렌즈와 같은 광학 요소가 이 변환을 수행한다. 실시예들에서, 홀로그래픽 재구성 또는 이미지는 디스플레이 장치와 뷰잉 시스템(들) 사이에 형성되지 않는다. 일부 실시예들에서, 선택적으로 인터레이스 방식(interlacing scheme)을 사용하여 상이한 홀로그램이 계산되고 뷰어의 각 눈에 전파된다.

디스플레이 장치는 5 cms 미만 또는 2 cms 미만과 같이 10 cms 미만일 수 있는 제1 치수를 갖는 활성/픽셀 디스플레이 영역을 갖는다. 디스플레이 장치와 뷰잉 시스템 사이의 전파 거리는 1.5 m 초과 또는 2 m 초과와 같이 1 m 초과일 수 있다. 도파관 내의 광 전파 거리는 최대 1.5 m 또는 최대 1 m 와 같이 최대 2 m 일 수 있다. 이 방법은 이미지를 수신하고 15 ms 미만 또는 10 ms 미만과 같이 20 ms 미만 내에 충분한 품질의 대응하는 홀로그램을 결정할 수 있다.

여기에 개시된 방법은 광을 복수의 채널로 라우팅하도록 구성된 홀로그램을 형성하며, 각각의 채널은 이미지의 다른 부분(즉, 서브-영역)에 대응한다. 홀로그램은 공간 광 변조기와 같은 디스플레이 장치에 표시되는 것과 같이 표시될 수 있다. 적절한 디스플레이 장치에 표시될 때 홀로그램은 뷰잉 시스템에 의해 이미지로 변환 가능한 광을 공간적으로 변조할 수 있다. 회절 구조에 의해 형성된 채널은 단순히 이미지 정보와 함께 홀로그램에 의해 인코딩된 광의 채널이라는 것을 반영하기 위해 "홀로그램 채널"이라고 한다. 각각의 채널의 광은 이미지나 공간 영역이 아닌 홀로그램 영역에 있다고 할 수 있다. 일부 실시예에서, 홀로그램은 푸리에 또는 푸리에 변환 홀로그램이고, 따라서 도메인은 푸리에 또는 주파수 도메인이다. 홀로그램은 프레넬 또는 프레넬 변환 홀로그램일 수 있다. 홀로그램은 홀로그램에서 재구성 가능한 이미지가 유한한 크기를 가지며 복수의 이미지 서브-영역들로 임의로 분할될 수 있음을 반영하기 위해 광을 복수의 홀로그램 채널들로 라우팅하는 것으로 여기에서 설명되는데, 여기서 각각의 홀로그램 채널은 각각의 이미지 서브-영역에 대응할 것이다. 중요하게, 본 개시의 홀로그램은 조명될 때 이미지 콘텐츠를 어떻게 분배하는지에 의해 특정된다. 특히, 홀로그램은 이미지 콘텐츠를 각도로 나눈다. 즉, 이미지의 각각의 포인트는 조명을 받을 때 홀로그램에 의해 형성되는 공간적으로 변조된 광의 고유한 광선 각도와 연결되는데, 이는 최소한 홀로그램이 2차원이기 때문에 고유한 각도 쌍이다. 의심을 피하기 위하여, 이 홀로그램 동작은 일반적이지 않다. 이 특별한 유형의 홀로그램에 의해 형성된 공간적으로 변조된 광은 조명될 때 복수의 홀로그램 채널들로 임의로 분할될 수 있으며, 여기서 각 홀로그램 채널은 광선 각도의 범위(2차원)에 의해 정의된다. 공간적으로 변조된 광에서 고려될 수 있는 임의의 홀로그램 채널(즉, 광선 각도의 하위 범위)은 이미지의 각각의 부분 또는 서브-영역과 연관될 것이라는 것이 전술한 내용으로부터 이해될 것이다. 즉, 이미지의 해당 부분 또는 서브-영역을 재구성하는 데 필요한 모든 정보는 이미지의 홀로그램에서 형성된 공간적으로 변조된 광의 각도 하위 범위 내에 포함된다. 공간적으로 변조된 광이 전체적으로 관찰될 때, 반드시 복수의 개별 광 채널들의 증거가 있는 것은 아니다. 그러나, 일부 실시예들에서, 복수의 공간적으로 분리된 홀로그램 채널은 홀로그램이 계산되는 타겟 이미지의 영역을 공백 또는 빈 공간(즉, 이미지 콘텐츠가 존재하지 않음)으로 의도적으로 남겨둠으로써 형성된다. 일부 실시예들에서, 광 채널은 중첩되지 않는다. 다른 실시예들에서, 예컨대, 도파관과 뷰어 사이에 광 파워(예: 차량 앞유리)를 갖는 광학 결합기를 추가로 포함하는 실시예에서, 일부 광 채널은 적어도 부분적으로 중첩될 수 있다.

그럼에도 불구하고, 홀로그램은 여전히 식별될 수 있다. 예컨대, 홀로그램에 의해 형성된 공간적으로 변조된 광의 서브-영역 중 연속적인 부분만 재구성되면 이미지의 하위 영역만 보여야 한다. 공간적으로 변조된 광의 다른 연속적인 부분 또는 서브-영역들이 재구성되는 경우 이미지의 다른 서브-영역이 표시되어야 한다. 이러한 유형의 홀로그램의 추가 식별 특징은 크기가 다를 수 있지만, 임의의 홀로그램 채널의 단면적 모양이 입사 동공의 모양에 실질적으로 대응(즉, 실질적으로 동일)한다는 것이다. 각각의 광 홀로그램 채널은 다른 각도 또는 각도의 범위에서 홀로그램으로부터 전파된다. 이들은 이러한 유형의 홀로그램을 특성화하거나 식별하는 예시적인 방법이지만, 다른 방법을 사용할 수도 있다. 요약하면, 본 명세서에 개시된 홀로그램은 이미지 콘텐츠가 홀로그램에 의해 인코딩된 광 내에서 어떻게 분포되는지에 의해 특정지어지고 식별가능하며, 첨부된 청구범위는 그에 따라 설명된다.

상이한 전파 경로는 상이한 각도로 뷰잉 시스템의 입구 개구를 통과할 수 있다. 동공 확장기는 모든 홀로그램 채널이 뷰잉 평면 상의 임의의 관찰 위치에서 뷰잉 시스템의 입구 개구를 통해 라우팅되도록 구성될 수 있다. 동공 확장기는 각각의 허용된 뷰잉 위치에 대해 하나의 전파 경로를 통해 각각의 홀로그램 채널을 뷰잉 시스템으로 라우팅한다. 복수의 홀로그램 채널 중 적어도 2개의 홀로그램 채널은 뷰잉 시스템의 입구 개구에서 부분적으로 중첩될 수 있다.

이미지는 복수의 이미지 성분(image component)을 포함한다. 즉, 이미지는 복수의 이미지 성분으로 분해될 수 있다. "이미지 성분"이라는 용어는 본 명세서에 개시된 다수의 상이한 개념을 포괄하는 데 사용된다. 이미지 성분은 다른 형식을 취할 수 있다. 각각의 이미지 성분은 이미지의 서브-영역일 수 있다. 즉, 이미지의 다른 영역 또는 부분이 집합적으로 전체 이미지를 구성하는 이미지의 영역 또는 일부이다. 단지 예로서, 제1 이미지 성분은 이미지의 절반을 포함할 수 있고, 제2 이미지 성분은 나머지 절반을 포함할 수 있다. 복수의 이미지 성분은 중첩되지 않을 수 있다. 일부 실시예들에서, 제1 이미지 성분은 이미지의 제1 서브-영역에 대응할 수 있고, 제2 이미지 성분은 이미지의 제2 서브-영역에 대응할 수 있으며, 여기서 제1 서브-영역은 제2 서브-영역과 상이하고, 선택적으로, 제1 서브-영역 및 제2 서브-영역은 겹치지 않는다. 일부 실시예들에서, 제1 서브-영역은 이미지의 이미지 픽셀의 제1 인접 세트(contiguous set)에 대응하고, 제2 서브-영역은 이미지의 이미지 픽셀의 제2 인접 세트에 대응한다. 일부 실시예들에서, 이미지 픽셀의 제2 인접 세트는 이미지 픽셀의 제1 인접 세트를 부분적으로 또는 완전히 둘러싼다. 일부 실시예들에서, 이미지 픽셀의 제1 인접 세트는 이미지 픽셀의 제2 인접 세트보다 더 적은 수의 이미지 픽셀을 포함한다. 일부 다른 실시예들에서, 제1 세트와 제2 세트 사이의 이미지 픽셀의 분포는 입력에 기초하여 반복적으로 또는 연속적으로 변경된다. 입력은 뷰어의 동공 위치를 나타낼 수 있다. 입력은 대안적으로 이미지의 속성 또는 특징을 나타낼 수 있다.

홀로그램의 계산은 복수의 서브-홀로그램들을 계산하는 것을 포함할 수 있다. 각각의 서브-홀로그램은 이미지의 다른 영역에 해당할 수 있다. 제2 이미지 성분보다 제1 이미지 성분과 관련된 더 많은 데이터 처리 리소스를 할당하는 것은 제1 서브-영역에 대응하는 제1 서브-홀로그램의 계산과 관련하여 제2 서브-영역에 대응하는 제2 서브-홀로그램보다 더 많은 데이터 처리 리소스들을 할당하는 것을 포함할 수 있다.

특히, 본 발명자들은 본 명세서에 설명된 특성 홀로그램과 동공 확장기와, 홀로그램의 계산과 관련된 컴퓨팅 리소스를 최적화할 수 있게 하는 사용자 추적(예: 눈 추적) 간의 시너지 효과를 확인하였다. 각각의 서브-홀로그램은 이미지의 상이한 부분에 해당하고 각각의 서브-홀로그램은 최소한 반독립적(semi-independent)으로 계산되기 때문에 본 발명가들은 이미지의 해당 영역(즉, 서브-영역)의 시각적 중요성을 기반으로 다른 서브-홀로그램에 비해 일부 서브-홀로그램에 비해 일부 서브-홀로그램에 더 많거나 더 적은 시간을 보낼 수 있음을 인식하였다. 즉, 저품질 홀로그램은 이미지의 중요하지 않은 영역에 적합할 수 있지만 다른 영역의 고품질 홀로그램은 재구성된 이미지의 인지된 "품질"이 전반적으로 향상된다. 본 명세서에서 홀로그램 연산을 위해 "데이터 처리 리소스"의 양 또는 양자에 관한 개시는 처리 능력 또는 시간 등을 의미할 수 있다. 예컨대, 저품질 홀로그램은 매우 빠르게 계산할 수 있는 반면에 고품질(또는 더 정확한) 홀로그램은 더 많은 처리 시간이 필요할 수 있다. 실제로, 본 개시에 따르면, 각각의 서브-홀로그램은 상이한 수준의 정확도로 계산될 수 있다. 일부 실시예들에서, 유한한 양의 시간 또는 유한한 양의 데이터 처리 리소스가 홀로그램 계산에 이용 가능하고, 적어도 하나의 다른 서브-홀로그램보다 적어도 하나의 서브-홀로그램을 결정하거나 계산하는 데 더 많은 시간이 소비된다. 따라서, 독자는, 일부 실시예들은 할당 또는 예컨대, 실제 응용 프로그램 또는 시스템에 의해 설정된 일부 경계 내에서 처리 리소스의 지속적인 재할당/분배와 관한 것임을 이해할 것이다. 일부 실시예들에서, 서브-홀로그램들 사이의 처리 리소스들의 분포가 연속적으로 평가되는데, 예컨대, 이미지 프레임의 비디오 속도 시퀀스의 프레임 당 적어도 한 번 평가된다. 다시, 본 발명자들은, 홀로그램 계산과 관련된 귀중한 리소스를 가능하게 하는 홀로그램 시스템의 다른 측면 간의 독특한 시너지 - 예컨대, 실시간 - 사용자에게 향상된 시각적 경험을 제공하도록 최적화되는 것을 확인하였다.

홀로그램은 포인트 클라우드 홀로그램일 수 있으며, 제2 서브-영역보다 제1 서브-영역과 관련하여 더 많은 데이터 처리 리소스를 할당하는 과정은 제2 서브-영역보다 제1 서브-영역과 관련하여 더 높은 밀도의 포인트 클라우드 데이터 포인트를 사용하는 과정을 포함할 수 있다.

홀로그램을 계산하는 것은 반복 알고리즘(iterative algorithm)을 실행하는 것을 포함할 수 있고, 제1 서브-영역과 관련하여 더 많은 데이터 처리 리소스를 할당하는 과정은 이미지의 제2 서브-영역보다 제1 서브-영역과 관련하여 알고리즘의 더 많은 반복을 수행하는 과정을 포함할 수 있다.

본 발명자들은 도 7 및 도 8을 참조하여 본 명세서에 기술된 것과 같은 반복 위상 검색 알고리즘의 사용으로 더욱 유리한 시너지 효과를 확인하였다. 전술한 알고리즘에서 각각의 서브-홀로그램은 최소한 어느 정도는 독립적으로 계산되므로 각각의 서브-홀로그램에 사용되는 반복 회수를 독립적으로 결정할 수 있다. 실제로는 어느 정도의 수렴이 발견되지만, 더 많은 반복을 사용할수록 위상 검색/서브-홀로그램이 더 정확해야 하므로 재구성된 이미지의 품질이 더 높아진다. 따라서, 일 예시에서, 상대적으로 시각적 영향/중요도가 낮은 이미지 영역과 관련된 제1 서브-홀로그램은 알고리즘의 x 반복을 사용하여 결정되고, 상대적으로 높은 시각적 영향/중요도를 갖는 이미지의 영역과 관련된 제2 서브-홀로그램은 y 반복을 사용하여 결정되며, 여기서 y는 x보다 크다. 일부 예들에서, 뷰어의 중심와(foveal) 뷰 영역과 연관된 영역은 뷰어의 주변 뷰잉 영역보다 더 많은 처리 리소스(예컨대, 알고리즘 반복)가 할당된다. 다시 말하지만, 본 발명자들은 본 명세서에 개시된 특정 유형의 홀로그램, 즉 이미지 위치에 대응하여 홀로그램 도메인에서 광을 전달하는 홀로그램과의 고유한 시너지 효과를 식별하고 활용했다.

이 방법은 제1 단계 내지 제5 단계를 포함할 수 있다. 제1 단계는 뷰잉 시스템의 입사 동공에서 제1 복소 광 필드를 결정하는 과정을 포함한다. 제1 복소 광 필드는 동공 확장기의 적어도 하나의 광 전파 경로를 따라 디스플레이 장치의 디스플레이 평면으로부터의 광의 전파로부터 기인한다. 제1 단계는 또한 뷰잉 시스템의 입사 동공에 따라 크로핑하는 것을 포함한다. 제2 단계는 뷰잉 시스템의 센서의 센서 평면에서 제2 복소 광 필드를 결정하는 과정을 포함한다. 제2 복소 광 필드는 뷰잉 시스템의 렌즈를 통해 입사 동공에서 제1 복소 광 필드의 광이 전파된 결과이다. 제2 단계는 또한 이미지에 따라 진폭 성분을 수정하는 과정을 포함한다. 제3 단계는 입사 동공에서 제3 복소 광 필드를 결정하는 과정을 포함한다. 제3 복소 광 필드는 센서 평면에서 렌즈를 통해 다시 제2 복소 광 필드의 광이 역전파되어 발생한다. 제3 단계는 또한 입사 동공에 따라 크로핑(cropping)하는 과정을 포함한다. 제4 단계는 디스플레이 평면에서 제4 복소 광 필드를 결정하는 과정을 포함한다. 제4 복소 광 필드는 제3 복소 광 필드의 광이 동공 확장기의 적어도 하나의 광 전파를 따라 역으로 전파되는 결과이다. 제4 단계는 또한 디스플레이 장치에 따른 자르기(cropping)를 포함한다. 홀로그램은 제4 복소 광 필드에서 추출된다. 제1 단계 내지 제4 단계는 되풀이하여 반복될 수 있다. 홀로그램은 반복할 때마다 수렴되고 개선될 가능성이 있지만 정체된다. 예컨대, 제4 단계에서 추출할 수 있는 홀로그램이 허용 가능한 품질로 간주되거나, 각각의 반복에 대한 변화율이 임값 미만이거나, 할당된 시간이 만료된 경우 이 방법이 중지될 수 있다. 의심의 여지를 없애기 위하여, 추출된 홀로그램은 디스플레이 장치에 표시하기 위한 홀로그램이다.

"역전파(reverse propagation)"라는 용어는 단지 제3 단계 및 제4 단계의 광의 전파 방향이 제1 단계 및 제2 단계의 전파 방향과 상이하거나 실질적으로 반대임을 반영하기 위하여 사용된다. 이와 관련하여, 제1 단계 및 제2 단계에서의 광 전파를 "정방향 전파"라고 할 수 있다. 일부 실시예들에서, "정방향 전파" 및 "역전파"는 서로의 수학적 역수이다.

용어 "자르기(cropping)"는 광 개구(aperture) 외부와 같은 관심 영역 또는 영역 외부에서 광 필드 정보와 같은 정보를 선택적으로 폐기하는 프로세스를 지칭하기 위하여 본 명세서에서 사용된다. 일부 실시예들에서, "크로핑"은 데이터 포인트를 폐기하거나, 데이터 포인트를 제로화하거나, 단순히 데이터 포인트를 무시하는 과정을 포함하는 데이터 처리 과정을 개구 외부에서 포함한다.

여기에서, "복소 광 필드"가 참조된다. "광 필드"라는 용어는 적어도 두 개의 직교 공간 방향인 x 및 y에서 유한한 크기를 갖는 광의 패턴을 나타낸다. 여기에서, "복소(complex)"라는 단어는 단지 광 필드의 각각의 지점에서 광이 진폭 값과 위상 값에 의해 정의될 수 있고, 따라서 복소수 또는 값 쌍으로 표시될 수 있음을 나타내기 위해 사용되었다. 홀로그램 계산의 목적을 위하여, 복소 광 필드는 복소수의 2차원 어레이일 수 있으며, 여기서 복소수는 광 필드 내의 복수의 개별 위치에서 광 강도 및 위상을 정의한다. 본 명세서에 개시된 방법에 따르면, 복소 광 필드는 홀로그램 평면(홀로그램/주파수/푸리에 도메인)과 이미지 평면(이미지/공간 도메인) 사이에서 +z 및 -z방향으로 앞뒤로 전파된다. 광 전파는 파동 광학 분야의 당업자에게 친숙한 수학적 변환 또는 다양한 접근 방식 중 임의의 하나를 사용하여 시뮬레이션되거나 모델링될 수 있다.

적어도 하나의 광 전파 경로는 동공 확장기에 의해 제공되는 복수의 광 전파 경로 중 단지 하나일 수 있다. 제1 단계 내지 제4 단게는 광 전파 경로 별로 서브-홀로그램을 추출하기 위해 복수의 광 전파 경로 중 광 전파 경로 별로 수행될 수 있다. 복수의 광 전파 경로에 대응하는 복수의 서브-홀로그램을 조합하여 디스플레이 장치에 표시하기 위한 홀로그램을 형성한다.

최종 반복에서 서브-홀로그램을 추출하는 과정 이전에, 제1 단계 내지 제4 단계는 광 전파 경로 별로 반복적으로 반복될 수 있다.

제1 서브-영역에 대응하는 제1 서브-홀로그램은 포인트 클라우드 방식/알고리즘에 의해 계산될 수 있다. 추가적으로 또는 대안적으로, 제2 서브-영역에 대응하는 제2 서브-홀로그램은 위상 검색 방법/알고리즘과 같은 반복적인 방법/알고리즘을 사용하여 계산될 수 있다.

이 방법은 제1 서브-영역의 이미지 내 크기 및/또는 위치에 관한 변경이 결정되는 경우 반복될 수 있다.

이 방법은 제1 서브-영역의 이미지 내의 크기 및/또는 위치에 관한 변경이 결정되는 경우 제1 이미지 성분에 대해 홀로그램을 재계산하지만, 제2 이미지 성분에 대해서는 재계산하는 과정을 더 포함할 수 있다. 이들 실시예들에서, 프레임에서 프레임으로 홀로그램 재계산을 절약할 수 있는 이미지 콘텐츠가 크게 변경되지 않는 한 제2 서브-영역을 재계산할 필요가 항상 있는 것은 아니다.

이미지의 제1 서브-영역은 (먼저) 디스플레이 영역의 대응하는 제1 서브-영역을 결정함으로써 결정될 수 있다. 이미지 디스플레이의 제1 서브-영역은 뷰잉 영역에서 뷰잉 시스템의 중심와 시각 영역에 대응할 수 있다. 뷰어는 카메라일 수 있다. 뷰어는 사람 뷰어일 수 있으며, 이 경우 뷰잉 시스템은 눈 또는 한 쌍의 눈일 수 있다. 이미지의 제2 서브-영역은 (먼저) 디스플레이 영역의 대응하는 제2 서브-영역을 결정함으로써 결정될 수 있다. 디스플레이 영역의 제2 서브-영역은 뷰잉 시스템의 비-중심와(non-foveal) 또는 주변 시각 영역에 대응할 수 있다.

이미지의 제1 서브-영역은 해당 중심와 시각 영역보다 더 확장되지 않을 수 있다. 대안적으로, 이미지의 제1 서브-영역은 대응하는 중심와 시각 영역을 넘어 확장될 수 있다. 제1 서브-영역은 중심와 시각 영역에 부분적으로 포함된 이미지의 이미지 특징 전체를 포함되도록 확장될 수 있다. 따라서, 이 방법은 적어도 하나의 이미지 특징을 식별하는 과정을 더 포함할 수 있고, 여기서 이미지 특징은 이미지의 인식 가능한 객체 또는 디스플레이 요소이다.

특히, 이 방법은 디스플레이 영역의 제1 서브-영역을 결정하기 위해 뷰잉 창에서 뷰어/뷰잉 시스템의 위치를 결정하는 과정을 더 포함할 수 있다. 이 방법은, 예컨대, 눈, 머리 또는 시선-추적 뷰잉 시스템을 더 포함할 수 있다.

이 방법은, 눈, 머리 또는 시선-추적에 기초하여 뷰어의 사각지대에 대응하는 이미지의 영역을 결정하는 과정을 포함할 수 있다. 이 방법은, 상기 뷰어의 사각지대에 대응하는 이미지 콘텐츠를 제거하기 위해 홀로그램을 계산하기 전에 이미지를 처리하는 과정을 더 포함할 수 있다. 이것은 처리 리소스를 절약할 수 있다. 예컨대, 시선 추적을 통해 눈의 사각지대를 결정할 수 있다.

이 방법은 눈 또는 머리 위치 또는 시선 방향의 변화율이 저장된 값보다 큰 경우, 눈 또는 머리 위치 또는 시선 방향의 변화율을 결정하고, 홀로그램을 계산하기 위해 할당된 데이터 처리 리소스를 줄이는 과정을 더 포함할 수 있다. 인간의 눈은 초당 약

로 움직일 수 있다. 머리가 빠르게 움직이는 경우 고화질 이미지를 사용할 필요가 없으므로 이 상황에서 홀로그램 계산에 소요되는 시간을 절약할 수 있다.

디스플레이 장치는 가변 디스플레이/프레임 레이트를 가질 수 있다. 이 방법은 눈 또는 머리 위치 또는 시선 방향의 변화율이 저장된 값보다 큰 경우 디스플레이 장치를 더 빠르게 업데이트하는 과정을 더 포함할 수 있다. 이것은 더 빠르고 낮은 품질의 홀로그램 컴퓨팅을 사용할 수 있는 가능성을 활용한다. 예컨대, 머리를 움직이는 동안에, 불안정하고 불필요하게 높은 품질의 업데이트 보다 매끄럽지만 품질이 낮은 업데이트가 사용될 수 있다.

이 방법은 이와 관련된 저장된 데이터에 기초하여 미래의 눈 또는 머리 위치 또는 시선 방향을 예측하는 과정을 더 포함할 수 있다. 따라서, 홀로그램 계산에 더 많은 데이터 처리 리소스가 할당될 수 있다.

이 방법은 이미지의 홀로그램을 계산하기 전에 제2 서브-영역에 비해 이미지의 제1 서브-영역의 강도를 증가시키는 과정을 더 포함할 수 있다. 예컨대, 추가 강도 조정을 적용하여 중심와 영역의 이미지도 더 밝게 만들 수 있다(그러므로, 나머지 이미지 디스플레이에 사용되는 에너지를 절약할 수 있음).

본 개시에 따르면, 이미지 성분은 상이한 형태를 취할 수 있다. 즉, 이미지의 다른 측면이나 일부와 관련될 수 있다. 이미지는 다색(polychromatic) 이미지일 수 있다. 제1 이미지 성분은 이미지의 제1 단색 이미지 성분일 수 있고, 제2 이미지 성분은 이미지의 제2 단색 이미지 성분일 수 있다. 계산, 표시 및 전파하는 과정은 이미지의 각각의 단색 이미지 성분에 대해 적어도 부분적으로 독립적으로 수행될 수 있다.

예컨대, 이미지의 제1 단색 성분과 관련하여 계산, 표시 및 전파하는 과정은 동일한 이미지의 제2 단색 성분에 대한 동일한 과정보다 더 많은 데이터 처리 리소스가 할당될 수 있다. 이미지 성분은, 예컨대, 컬러 이미지의 적색, 녹색 및 청색 성분일 수 있다. 이들 실싱예들에서, 각각의 이미지 성분은 사실상 그 자체로 단색 이미지이지만, (복합 컬러) 이미지와 (단색) 이미지 성분 간의 구별의 일관성 및 명확성을 위해 본 명세서에서는 이미지 성분으로 지칭된다. 이들 실시예들에서 - 이미지의 서브-영역과 관련된 다른 실시예들과 달리 - 각각의 이미지 성분은 서로 동일한 수의 픽셀을 포함할 수 있고 이미지 전체를 포함할 수 있다. 각각의 단색 이미지 성분에 대한 계산, 표시 및 전파하는 과정은 병렬적으로 또는 순서대로 수행될 수 있다. (단색) 홀로그램은 각각의 단색 이미지 성분에 대해 계산된다. 각각의 (단색) 홀로그램은 디스플레이 영역 내에서 해당하는 단일 색상 이미지 성분을 재구성한다. 복수의 단색 재구성은 풀 컬러 이미지를 재생성하기 위해 디스플레이 영역에서 서로 오버레이(overlay)될 수 있다. 따라서, 이러한 실시예들에서, 이 방법은 이미지로부터 복수의 홀로그램을 계산하거나 각각의 이미지 성분의 홀로그램을 계산하는 과정을 포함한다고 말할 수 있다. 그러나, 이미지 성분에 대한 홀로그램에 대한 참조는 이러한 경우에 해당 이미지 성분의 홀로그램을 의미한다는 것을 분명히 이해할 수 있다.

이미지를 서브-영역으로 분할하고 이미지를 단색 성분으로 분할하는 것과 관련하여 전술한 방법을 결합할 수 있다. 예컨대, 일부 실시예들에서, 제1 단색 성분의 제1 서브-영역에는 데이터 처리 리소스의 제1 양/분량이 할당될 수 있고, 제1 단색 성분의 제2 서브-영역에는 데이터 처리 리소스의 제2 양/분량이 할당될 수 있으며, 제2 단색 성분은 데이터 처리 리소스의 제3 양/분량(전체 영역에 걸쳐)이 할당될 수 있으며, 여기서 제1, 제2 및 제3 데이터 처리 리소스의 양/분량은 모두 서로 상이하다. 예컨대, 데이터 처리의 제2 양/분량은 제3 양/분량보다 클 수 있으며, 이는 차례로 제1 양/분량보다 클 수 있다. 독자는 이들 2개의 개념의 임의의 조합 또는 순열 또는 혼합이 본 개시에 따라 구현될 수 있음을 이해할 것이다.

공간적으로 변조된 광을 수신하기 위하여 뷰잉 영역 내에 구성된 뷰잉 시스템의 광 센서는 제2 단색 이미지 성분보다 제1 단색 이미지 성분에 대응하는 광에 더 민감할 수 있다.

이 방법은 제1 단색 이미지 성분이 제2 단색 이미지 성분보다 이미지에서 시각적으로 더 우세하다고 결정하는 과정을 더 포함할 수 있다.

이 방법은 색상과 같은 이미지의 배경의 파라미터를 결정하는 과정 및 이미지의 결정된 파라미터에 기초하여 제1 단색 이미지 성분이 제2 단색 이미지 성분보다 배경 위에 더 보이도록 결정하는 과정을 더 포함할 수 있다.

따라서, 본 개시는 홀로그램 컴퓨팅 리소스를 상이한 원색(적색, 녹색 및 청색)에 우선순위화 하는 것을 포함한다. 예컨대, 눈이 가장 민감한 녹색 색상, 시야 영역을 지배하는 기본 색상 또는 배경 장면에서 더 잘 보일 수 있는 색상에 더 많은 계산을 할애한다.

이 방법은 디스플레이 영역의 중심 시각 영역을 결정하기 위해 뷰잉 시스템의 눈, 머리 또는 시선-추적을 하는 과정 및 디스플레이 영역의 비-시야 영역에 대응하는 이미지의 영역에서 재구성된 다색 이미지의 색상 밸런스(colour balance)를 변경하는 과정을 더 포함할 수 있다.

이 방법은 비-중심와 영역에서 재구성된 다색 이미지의 색상 밸런스를 변경하는 과정이 색상 밸런스를 500 nm 로 이동하는 과정 및/또는 600 nm 보다 큰 파장을 갖는 임의의 이미지 광의 강도를 감소시키는 과정을 더 포함할 수 있다.

일부 실시예들은 전체 디스플레이를 보다 효율적으로 만들기 위하여 비-중심 시각 색상 유형을 다르게 만든다(예컨대, 눈에 가장 민감하게 감지되는 더 많은 색상 및/또는 더 높은 벽면 플러그 효율성을 사용함으로써, 주변 시각(막대(rods))이 색상 감도가 낮다는 점을 악용함). 인간의 눈의 막대는 파장 500 nm (녹색을 사용함이 바람직함)에서 가장 민감하고, 640 nm (주변 영역에서 적색을 사용하는 것은 거의 포인트가 없음)보다 큰 파장에는 둔감하다.

홀로그램으로부터 이미지를 재구성하도록 구성된 광 엔진(예컨대, 홀로그램 투사기와 같은 이미지 프로젝터)이 본 명세서에 개시되어 있다. 광 엔진은 디스플레이 영역 내에 디스플레이 하기 위한 이미지를 수신하고 이미지의 제1 이미지 성분을 결정하도록 구성된 이미지 프로세서를 포함한다. 디스플레이 영역은 그와 공간적으로 분리된 뷰잉 영역에서 볼 수 있다. 광 엔진은 이미지의 홀로그램을 계산하도록 구성된 홀로그램 엔진을 더 포함할 수 있고, 홀로그램은 이미지 내의 위치에 따라 광을 각도 분포하도록 구성된다. 따라서, 각도 분포된 광의 각각의 채널은 이미지의 각각의 연속적인 영역에 해당한다. 광 엔진은 홀로그램을 디스플레이하고, 디스플레이된 홀로그램에 따라 광을 공간적으로 변조하도록 구성된 디스플레이 장치를 더 포함한다. 광 엔진은, 디스플레이 장치로부터 뷰잉 영역으로 공간적으로 변조된 광에 대한 복수의 상이한 광 전파 경로를 제공하기 위해 그를 통해 공간적으로 변조된 광을 전파하도록 구성된 동공 확장기를 더 포함할 수 있다. 각각의 광 전파 경로는 홀로그램에서 나오는 광의 각도 분포로 인해 이미지의 각각의 연속적인 영역에 해당한다. 광 엔진은 이미지의 제2 이미지 성분보다 제1 이미지 성분에 대한 홀로그램의 계산에 더 많은 데이터 처리 리소스를 할당하도록 구성된다.

또한, 헤드업 디스플레이를 사용하여 보기 위한 이미지의 홀로그램을 결정하도록 구성된 홀로그램 엔진이 본 명세서에 개시되어 있다. 헤드업 디스플레이는 디스플레이 장치와 동공 확장기를 포함한다. 헤드업 디스플레이는 적어도 하나의 뷰잉 시스템과 함께 작동하도록 구성된다. 각각의 뷰잉 시스템은 입사 동공 평면의 입사 동공, 렌즈 평면의 렌즈 및 센서 평면의 센서로 구성된다. 헤드업 디스플레이는 한 쌍의 눈과 같은 한 쌍의 뷰잉 시스템과 함께 작동하도록 구성될 수 있다. 디스플레이 장치(예: 공간 광 변조기)는 홀로그램을 표시하도록 구성된다. 동공 확장기는 홀로그램에 따라 공간적으로 변조된 광을 수신하도록 구성된다. 예컨대, 디스플레이된 홀로그램은 소스로부터의 적어도 부분적으로 간섭성 광으로 조명될 수 있다. 디스플레이 장치는 디스플레이된 홀로그램에 따라 수신된 광을 공간적으로 변조한다.

홀로그램 엔진은 필드 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA) 또는 주문형 집적 회로(Application-Specific Integrated Circuit, ASIC)와 같은 디스플레이 드라이버로 구현될 수 있다. 디스플레이 드라이버는 헤드업 디스플레이 "HUD"용 사진 생성 유닛 "PGU(Picture Generating Unit)"의 일부일 수 있다.

용어 "홀로그램(hologram)"은 객체에 대한 진폭 정보 혹은 위상 정보 또는 이들의 일부 조합을 포함하는 레코딩(recoding)을 지칭하는데 사용된다. 용어 "홀로그래픽 재구성(holographic reconstruction)"은 홀로그램을 조명하여 형성된 객체의 광학적 재구성을 지칭하는데 사용된다. 본 명세서에 개시된 시스템은, 홀로그래픽 재구성이 실제 이미지이고 홀로그램으로부터 공간적으로 분리되기 때문에, "홀로그래픽 프로젝터(holographic projector)"로서 설명된다. 용어 "재생 필드 (replay field)"는 홀로그래픽 재구성이 형성되고 완전히 포커스되는 2D 영역(2D area)을 지칭하는데 사용된다. 홀로그램이 픽셀들을 포함하는 공간 광 변조기 상에 표시되면, 재생 필드는 복수의 회절 차수(diffracted order)의 형태로 반복될 것이며, 여기서 각각의 회절된 차수는 0차 재생 필드(zeroth-order replay field)의 복제물이다. 0차 재생 필드는 가장 밝은 재생 필드이기 때문에 선호 혹은 일차적인 재생 필드에 일반적으로 해당한다. 달리 명시되지 않는 한, "재생 필드"라는 용어는 0차 재생 필드를 가리키는 것으로 간주되어야 한다. 용어 "재생 평면(replay plane)"은 모든 재생 필드들을 포함하는 공간의 평면을 지칭하는 데 사용된다. 용어 "이미지(image)", "재생 이미지(replay image)" 및 "이미지 영역(image region)"은 홀로그래픽 재구성의 광(light)에 의해 비춰지는 재생 필드의 영역들을 지칭한다. 일부 실시예에서, "이미지"는 "이미지 스팟들(image spots)" 또는 편의상 "이미지 픽셀들(image pixels)"로 지칭될 수 있는 개별적인 스팟들을 포함할 수 있다.

용어 "인코딩(encoding)", "쓰기(writing)" 또는 "어드레싱(addressing)"은 각각의 픽셀의 변조 레벨을 결정하는 각각의 복수의 제어 값들을 SLM의 복수의 픽셀들에게 제공하는 프로세스를 기술하는 데 사용된다. SLM의 픽셀은 복수의 제어 값을 수신하는 것에 응답하여 광 변조 분포를 "표시(display)"하도록 구성된다고 말할 수 있다. 따라서, SLM은 홀로그램을 "표시"한다고 말할 수 있고 홀로그램은 광 변조 값들 혹은 레벨들의 어레이로 간주될 수 있다.

수용 가능한 품질의 홀로그래픽 재구성은 원래의 객체의 푸리에 변환과 관련된 위상 정보만을 포함하는 "홀로그램"으로부터 형성될 수 있음이 밝혀졌다. 이러한 홀로그래픽 레코딩은 위상-한정 홀로그램(phase-only hologram)으로 지칭될 수 있다. 실시예들은 위상-한정 홀로그램에 관한 것이지만, 본 개시는 진폭-한정 홀로그래피(amplitude-only holography)에도 동일하게 적용될 수 있다.

본 개시는 또한 원래의 객체의 푸리에 변환과 관련된 진폭 및 위상 정보를 사용하여 홀로그래픽 재구성을 형성하는 데에도 동일하게 적용될 수 있다. 일부 실시예들에서, 이것은 원래의 객체와 관련된 진폭 및 위상 정보를 모두 포함하는 소위 완전-복소 홀로그램(fully complex hologram)을 이용하는 복소 변조에 의해 달성된다. 이러한 홀로그램은 홀로그램의 각 픽셀에 할당된 값(그레이 레벨)이 진폭 및 위상 성분을 갖기 때문에 완전-복소 홀로그램이라고 지칭될 수 있다. 각 픽셀에 할당된 값(그레이 레벨)은 진폭 및 위상 성분을 모두 갖는 복소수로 표현될 수 있다. 일부 실시예들에서, 완전-복소 컴퓨터-생성 홀로그램(fully-complex computer-generated hologram)이 계산된다.

컴퓨터-생성 홀로그램 또는 공간 광 변조기의 픽셀들의 위상 값, 위상 성분, 위상 정보 또는, 단순히, 위상이 "위상-지연(phase-delay)"의 약어로 참조될 수 있다. 즉, 설명된 모든 위상 값은, 실제로는, 해당 픽셀이 제공하는 위상 지연(phase retardation)의 양을 나타내는 (예컨대, 0 내지 2

범위의) 숫자이다. 예를 들어, 위상 값이

/2인 것으로 설명된 공간 광 변조기의 픽셀은 수신된 광의 위상을

/2 라디안만큼 지연시킨다. 일부 실시예에서, 공간 광 변조기의 각 픽셀은 복수의 가능한 변조 값들(예를 들어, 위상 지연 값들) 중 하나로 작동 가능하다. 용어 "그레이 레벨(grey level)"은 복수의 이용 가능한 변조 레벨들을 지칭하기 위해 사용될 수 있다. 예를 들어, 용어 "그레이 레벨"은 상이한 위상 레벨들이 상이한 그레이 음영들을 제공하지 않더라도 위상-한정 변조기에서 복수의 이용 가능한 위상 레벨들을 지칭하기 위해 편의상 사용될 수 있다. 용어 "그레이 레벨"은 또한 복소 변조기에서 이용 가능한 복수의 복소 변조 레벨들을 지칭하기 위해 편의상 사용될 수 있다.

따라서 홀로그램은 그레이 레벨들의 어레이를 - 즉, 위상-지연 값들 또는 복소 변조 값들의 어레이와 같은 광 변조 값들의 어레이를 - 포함한다. 또한 홀로그램은, 공간 광 변조기에 디스플레이될 때 그리고 공간 광 변조기의 픽셀 피치(pixel pitch)에 필적하는, - 일반적으로 그보다는 작은 - 파장을 갖는 광으로 조명될 때, 회절을 유발하는 패턴이기 때문에, 회절 패턴으로 간주된다. 홀로그램을 렌즈 또는 그레이팅(grating)으로 기능하는 회절 패턴들과 같은 다른 회절 패턴들과 결합하는 것이 본 명세서에 참조된다. 예를 들어, 그레이팅(grating)으로 기능하는 회절 패턴이 재생 평면 상에 재생 필드를 변환하도록 홀로그램과 결합되거나, 렌즈로 기능하는 회절 패턴이 근거리 필드(near field)의 재생 평면 상에 홀로그래픽 재구성을 포커스하도록 홀로그램과 결합될 수 있다.

다양한 실시예들 및 실시예들의 그룹이 후술되는 상세한 설명에서 개별적으로 개시될 수 있지만, 임의의 실시예 또는 실시예들의 그룹의 임의의 특징은 임의의 실시예 또는 실시예들의 그룹의 임의의 다른 특징 또는 특징들의 조합(combination)과 결합될 수 있다. 즉, 본 개시에 개시된 특징의 모든 가능한 조합 및 순열(permutation)이 고려된다.

특정 실시예들은 다음 도면을 참조하여 단지 예로서 설명된다:
도 1은 스크린 상에 홀로그래픽 재구성을 생성하는 반사 SLM을 도시하는 개략도이다.
도 2a는 예시적인 Gerchberg-Saxton 유형 알고리즘의 제1 반복을 도시한다.
도 2b는 예시적인 Gerchberg-Saxton 유형 알고리즘의 제2 반복 및 후속 반복을 도시한다.
도 2c는 예시적인 Gerchberg-Saxton 유형 알고리즘의 대안적인 제2 반복 및 후속 반복을 도시한다.
도 3은 반사형 LCOS SLM의 개략도이다.
도 4는 디스플레이 장치로부터 조리개를 향해 효과적으로 전파하는 가상 이미지의 각도 내용을 도시한다.
도 5a는 비교적 작은 전파 거리를 갖는 뷰잉 시스템을 도시한다.
도 5b는 비교적 큰 전파 거리를 갖는 뷰잉 시스템을 도시한다.
도 6a는 무한대의 허상을 형성하기 위해 도파관을 포함하는 비교적 큰 전파 거리를 갖는 뷰잉 시스템을 도시한다.
도 6b는 도 6a의 광학 경로의 확대도를 도시한다.
도 7은 실시예들에 따른 광학 시스템을 도시한다.
도 8은 실시예들에 따른 방법의 과정들을 보여주는 흐름도이다.
도 9a는 복수의 이미지 영역(하부) 및 복수의 홀로그램 성분을 포함하는 대응하는 홀로그램(상부)을 포함하는 이미지를 도시한다.
도 9b는 홀로그램으로 인코딩된 광을 복수의 개별 홀로그램 채널로 라우팅 또는 채널링하는 것을 특징으로 하는, 본 개시에 따른 홀로그램을 도시한다.
도 10은 각각의 홀로그램 채널의 광 함량을 눈에 대한 상이한 광학 경로를 통해 라우팅하도록 구성된 최적화된 시스템을 도시한다.
도 11은 제1 시선 방향에 대한 디스플레이 영역 및 예시적인 이미지를 도시한다.
도 12는 제2 시선 방향에 대한 디스플레이 영역 및 예시적인 이미지를 도시한다.
도면 전체에 걸쳐 동일한 참조 번호가 동일하거나 유사한 부품을 지칭하는데 사용된다.

이하, 본 발명은 다음에 설명되는 실시예에 제한되지 않고, 첨부된 청구범위의 전체 범위로 확장된다. 즉, 본 발명은 여러 가지 다른 형태로 구현될 수 있으며, 설명의 목적으로 기재된 실시예에 한정되는 것으로 해석되어서는 안 된다.

단수형의 용어는 달리 명시되지 않는 한 복수형을 포함할 수 있다.

다른 구조물의 상부/하부 또는 다른 구조물의 위/아래에 형성되는 것으로 설명된 구조물은 구조물이 서로 접촉하는 경우와 그 사이에 제3 구조물이 배치되는 경우를 포함하는 것으로 해석되어야 한다.

시간 관계를 기술함에 있어서, 사건의 시간 순서가 예를 들어 "후", "후속", "다음", "전" 등으로 기술될 때, 본 개시는 별도로 규정하지 않는 한은 연속적 및 비연속적 사건을 포함하는 것으로 간주되어야 한다. 예를 들어, 그 기재가 "막(just)", "바로(immediate)" 또는 "직접(direct)"이라는 기재가 사용되지 않는 한, 비연속적 경우를 포함하는 것으로 간주되어야 한다.

본 명세서에서 다양한 요소들을 설명하기 위해 "제1", "제2" 등의 용어가 사용될 수 있지만, 이러한 요소들은 이들 용어에 의해 제한되지 않는다. 이 용어는 하나의 요소를 다른 요소와 구별하기 위해서만 사용된다. 예를 들어, 제1요소는 제2요소로 지칭될 수 있고, 유사하게, 제2요소는 첨부된 청구범위를 벗어남 없이 제1요소로 지칭될 수 있다.

상이한 실시 예들의 특징들은 부분적으로 또는 전체적으로 서로 연결되거나 결합될 수 있으며, 다양한 형태로 서로 상호 작용할 수 있다. 일부 실시 예들은 서로 독립적으로 수행될 수도 있고, 서로 연계되어 함께 수행될 수도 있다.

광학 구성

도 1은 컴퓨터-생성 홀로그램이 단일 공간 광 변조기에서 인코딩되는 실시 예를 도시한다. 컴퓨터-생성 홀로그램은 재구성을 위한 객체의 푸리에 변환이다. 따라서 홀로그램은 객체의 푸리에 도메인 또는 주파수 도메인 또는 스펙트럼 도메인 표현이라고 할 수 있다. 본 실시 예에서, 공간 광 변조기는 반사형의 액정-온-실리콘 (liquid crystal on silicon: "LCOS") 장치이다. 홀로그램은 공간 광 변조기에서 인코딩되고 홀로그램 재구성은 재생 필드, 예컨대 스크린 또는 디퓨저(diffuser)와 같은 수광 표면(light receiving surface)에 형성된다.

예컨대 레이저나 레이저 다이오드 같은 광원(110)은 콜리메이팅 렌즈(collimating lens, 111)를 통해 SLM(140)을 조명하도록 배치된다. 콜리메이팅 렌즈는 광이 SLM 상에 전체적으로 평면 파면으로 입사되도록 만든다. 도 1에서, 파면의 방향은 (예컨대, 투명층의 평면에 대해 완전 수직으로부터 2도 또는 3도 정도 떨어진) 오프-노멀(off-normal)하다. 그러나, 다른 실시 예들에서, 전체적으로 평면인 파면은 법선 방향으로 입사되고, 입력 및 출력 광경로들을 분리하기 위한 빔 스플리터 배치(beam splitter arrangement)가 이용된다. 도 1에 도시된 실시 예에서, 이러한 배치는, 광원으로부터 오는 광이 SLM의 미러형 후방 표면(mirrored rear surface)에 반사되며 출사 파면(exiting wavefront, 112)을 형성하기 위해 광 변조층과 상호작용하게 한다. 출사 파면(112)은 스크린(125)에 초점이 맞춰진 푸리에 변환 렌즈(120)를 포함하는 광학계에 적용된다. 더욱 상세하게, 푸리에 변환 렌즈(120)는 SLM(140)으로부터 출사되는 변조된 광의 빔을 전달받아 스크린(125)에 홀로그래픽 재구성을 생성하기 위해 주파수-공간 변환을 수행한다.

특히, 이러한 유형의 홀로그래피에서 홀로그램의 각 픽셀은 전체 재구성에 관여한다. 재생 필드의 특정 지점들 (또는 이미지 픽셀들)과 특정 광-변조 요소들 (또는 홀로그램 픽셀들) 사이에는 일대일 상관 관계가 없다. 다시 말해, 광-변조 층을 나가는 변조된 광은 재생 필드에 분포된다.

이러한 실시예들에서, 공간에서 홀로그래픽 재구성의 위치는 푸리에 변환 렌즈의 굴절(포커싱) 파워(dioptric(focusing) power)에 의해 결정된다. 도 1에 도시된 실시 예에서, 푸리에 변환 렌즈는 물리적 렌즈이다. 즉, 푸리에 변환 렌즈는 광학적 푸리에 변환 렌즈이며, 푸리에 변환은 광학적으로 수행된다. 어떤 렌즈라도 푸리에 변환 렌즈 역할을 할 수 있지만, 수행되는 푸리에 변환의 정확도는 렌즈의 성능에 좌우된다. 통상의 기술자라면 렌즈를 사용하여 광학적 푸리에 변환을 수행하는 방법을 이해할 수 있다.

종래의 홀로그램 계산

일부 실시 예에서, 컴퓨터-생성 홀로그램은 푸리에 변환 홀로그램, 또는 단순히 푸리에 홀로그램 또는 푸리에-기반 홀로그램이며, 여기서 이미지는 포지티브 렌즈의 푸리에 변환 특성을 이용하여 원거리 장(far field)에서 재구성된다. 푸리에 홀로그램은 재생 평면에서 원하는 광 필드(light field)를 푸리에 변환하여 렌즈 평면에 오도록 계산된다. 컴퓨터-생성 푸리에 홀로그램은 푸리에 변환을 이용하여 계산될 수 있다.

푸리에 변환 홀로그램은 Gerchberg-Saxton 알고리즘과 같은 알고리즘을 사용하여 계산될 수 있다. 더욱이, Gerchberg-Saxton 알고리즘은 공간 도메인(예컨대, 사진)의 진폭-한정 정보로부터 푸리에 도메인의 홀로그램(즉, 푸리에 변환 홀로그램)을 계산하는 데 사용될 수 있다. 객체와 관련된 위상 정보는 공간 도메인에서 진폭-한정 정보로부터 효과적으로 "얻어질(retrieved)" 수 있다. 일부 실시 예들에서, 컴퓨터-생성 홀로그램은 Gerchberg-Saxton 알고리즘 또는 그 변형 알고리즘을 이용해 진폭-한정 정보로부터 계산된다.

Gerchberg Saxton 알고리즘은 평면 A와 B에서 각각의 광선(light beam) 광선의 단면적 강도 I_A(x, y) 및 I_B(x, y) 가 알려져 있고 I_A(x, y) 및 I_B(x, y)가 단일 푸리에 변환과 연관되는 상황을 고려한다. 주어진 단면적 강도에 대해 평면 A 및 B에서의 각각의 위상 분포에 대한 근사치인 Ψ_A(x, y) 및 Ψ_B(x, y)가 구해진다. Gerchberg-Saxton 알고리즘은 반복 프로세스를 따름으로써 이 문제에 대한 솔루션을 찾는다. 더 구체적으로, Gerchberg-Saxton 알고리즘은 공간 도메인과 푸리에(스펙트럼 또는 주파수) 도메인 사이에서 I_A(x, y) 및 I_B(x, y)를 나타내는 데이터 세트(진폭 및 위상)를 반복적으로 전달하면서 공간 제한(constraint) 및 스펙트럼 제한을 반복적으로 적용한다. 스펙트럼 영역에서 상응하는 컴퓨터-생성 홀로그램은 알고리즘의 적어도 1회 이상의 반복을 통해 얻어진다. 알고리즘은 입력 이미지를 나타내는 홀로그램을 생성하도록 설정되고 수렴된다. 홀로그램은 진폭 전용 홀로그램(amplitude-only hologram), 위상 전용 홀로그램(phase-only hologram) 또는 완전 복소 홀로그램(a fully complex hologram)일 수 있다.

일부 실시 예에서, 위상 전용 홀로그램은 영국 특허 제2,498,170호 또는 제2,501,112호에 기술된 것과 같은 Gerchberg-Saxton 알고리즘에 기초한 알고리즘을 이용하여 계산되며, 이 특허들은 그 전체로서 원용되어 본 명세서에 통합된다. 그러나, 본 명세서에 개시된 실시 예는 단지 예시로서 위상 전용 홀로그램을 계산하는 것을 설명한다. 이들 실시 예에서, Gerchberg-Saxton 알고리즘은 알려진 진폭 정보 T[x, y]를 발생시키는 데이터 세트의 푸리에 변환의 위상 정보 Ψ[u, v]를 검색하는데, 여기서 진폭 정보 T[x, y]는 대상 이미지(예컨대, 사진)를 나타낸다. 진폭과 위상은 푸리에 변환에서 본질적으로 결합하므로, 변환된 진폭과 위상에는 계산된 데이터 세트의 정확도에 대한 유용한 정보가 포함된다. 따라서 알고리즘은 진폭 및 위상 정보 모두에 대한 피드백과 함께 반복적으로 사용될 수 있다. 그러나, 이들 실시 예에서, 위상 정보 Ψ[u, v]만이 이미지 평면에서 대상 이미지의 홀로그래픽 표현을 형성하기 위한 홀로그램으로 사용된다. 홀로그램은 위상 값의 데이터 세트(예를 들어, 2D 어레이)이다.

다른 실시 예에서, Gerchberg-Saxton 알고리즘에 기초한 알고리즘은 완전 복소 홀로그램을 계산하기 위해 이용된다. 완전 복소 홀로그램은 크기 성분과 위상 성분을 갖는 홀로그램이다. 홀로그램은 복소 데이터 값들의 어레이를 포함하는 데이터 세트(예를 들어, 2D 어레이)이고, 각각의 복소 데이터 값은 크기 성분 및 위상 성분을 포함한다.

일부 실시 예에서, 알고리즘은 복소 데이터를 처리하고, 푸리에 변환은 복소 푸리에 변환이다. 복소 데이터는 (i) 실수 성분 및 허수 성분 또는 (ii) 크기 성분 및 위상 성분을 포함하는 것으로 간주될 수 있다. 일부 실시 예에서, 복소 데이터의 2개의 성분은 알고리즘의 다양한 과정에서 상이하게 처리된다.

도 2a는 위상 전용 홀로그램을 계산하기 위한 일부 실시 예에 따른 알고리즘의 제1 반복을 도시한다. 알고리즘에 대한 입력은 픽셀 또는 데이터 값의 2D 어레이를 포함하는 입력 이미지(210)이며, 여기서 각 픽셀 또는 데이터 값은 크기 또는 진폭 값이다. 즉, 입력 이미지(210)의 각 픽셀 또는 데이터 값은 위상 성분을 갖지 않는다. 따라서, 입력 이미지(210)는 크기 전용 또는 진폭 전용 또는 강도 전용 분포로 간주될 수 있다. 이러한 입력 이미지(210)의 일례는 프레임의 시간적 시퀀스를 포함하는 사진 또는 비디오의 한 프레임이다. 알고리즘의 제1 반복은 랜덤 위상 분포(또는 랜덤 위상 시드)(230)를 이용하여, 초기 복소 데이터 세트(starting complex data set)의 각각의 데이터 요소가 크기 및 위상을 포함하도록, 입력 이미지의 각 픽셀에 랜덤 위상 값을 할당하는 과정을 포함하는 데이터 형성 과정(202A)에서 시작한다. 초기 복소 데이터 세트는 공간 도메인에서의 입력 이미지를 나타낸다고 말할 수 있다.

제1 프로세싱 블록(250)은 초기 복소 데이터 세트를 수신하고 복소 푸리에 변환을 수행하여 푸리에 변환된 복소 데이터 세트를 형성한다. 제2 프로세싱 블록(253)은 푸리에 변환된 복소 데이터 세트를 수신하고 홀로그램(280A)을 출력한다. 일부 실시 예에서, 홀로그램(280A)은 위상 전용 홀로그램이다. 이들 실시 예에서, 제2 프로세싱 블록(253)은 각각의 위상 값을 양자화하고 홀로그램(280A)을 형성하기 위해 각 진폭 값을 1로 설정한다. 각 위상 값은 위상 전용 홀로그램을 "표시"하는데 이용되는 공간 광 변조기의 픽셀 상에 표현될 수 있는 위상 레벨에 따라 양자화된다. 예를 들어, 공간 광 변조기의 각 픽셀이 256개의 서로 다른 위상 레벨을 제공하면 홀로그램의 각 위상 값은 256개의 가능한 위상 레벨 중 하나의 위상 레벨로 양자화된다. 홀로그램(280A)은 입력 이미지를 나타내는 위상 전용 푸리에 홀로그램이다. 다른 실시 예에서, 홀로그램(280A)은 수신된 푸리에 변환된 복소 데이터 세트로부터 유도된 복소 데이터 값(각각 진폭 성분 및 위상 성분을 포함함)의 어레이를 포함하는 완전 복소 홀로그램이다. 일부 실시 예에서, 제2 프로세싱 블록(253)은 복수의 허용 가능한 복소 변조 레벨 중 하나로 각각의 복소 데이터 값을 제한하여 홀로그램(280A)을 형성한다. 제한하는 과정은 복소 평면에서 각 복소 데이터 값을 가장 가까운 허용 가능한 복소 변조 레벨로 설정하는 과정을 포함할 수 있다. 홀로그램(280A)은 스펙트럼 또는 푸리에 또는 주파수 영역에서 입력 이미지를 나타낸다고 말할 수 있다. 일부 실시 예에서, 알고리즘은 이 시점에서 정지한다.

그러나, 다른 실시 예에서, 알고리즘은 도 2a의 점선 화살표로 나타낸 바와 같이 계속된다. 즉, 도 2a에서 점선 화살표를 따르는 과정은 선택적이다(즉, 모든 실시 예에 필수적인 것은 아니다).

제3 프로세싱 블록(256)은 제2 프로세싱 블록(253)으로부터 수정된 복소 데이터 세트를 수신하고 역 푸리에 변환을 수행하여 역 푸리에 변환된 복소 데이터 세트를 형성한다. 역 푸리에 변환된 복소 데이터 세트는 공간 도메인에서 입력 이미지를 나타낸다고 말할 수 있다.

제4 프로세싱 블록(259)은 역 푸리에 변환된 복소수 데이터 세트를 수신하고 진폭 값(211A)의 분포 및 위상 값(213A)의 분포를 추출한다. 선택적으로, 제4 프로세싱 블록(259)은 진폭 값(211A)의 분포를 평가한다. 구체적으로, 제4 프로세싱 블록(259)은 역 푸리에 변환된 복소 데이터 세트의 진폭 값(211A)의 분포를 당연히 진폭 값의 분포인 입력 이미지(510)와 비교할 수 있다. 진폭 값(211A)의 분포와 입력 이미지(210)의 분포 사이의 차이가 충분히 작으면, 제4 프로세싱 블록(259)은 홀로그램(280A)이 허용 가능한 것으로 결정할 수 있다. 즉, 진폭 값(211A)의 분포와 입력 이미지(210)의 차이가 충분히 작으면, 제4 프로세싱 블록(259)은 홀로그램(280A)이 입력 이미지(210)를 충분히 정확하게 나타내는 것으로 결정할 수 있다. 일부 실시 예들에서, 비교 과정에서 역 푸리에 변환된 복소 데이터 세트의 위상 값(213A)의 분포는 무시된다. 진폭 값(211A)과 입력 이미지(210)의 분포를 비교하기 위한 임의의 수의 상이한 방법들이 이용될 수 있으며, 본 개시는 임의의 특정 방법에 제한되지 않음을 이해할 것이다. 일부 실시 예에서, 평균 제곱 차이가 계산되고, 평균 제곱 차이가 임계값보다 작은 경우, 홀로그램(280A)은 수용 가능한 것으로 간주된다. 제4 프로세싱 블록(259)이 홀로그램(280A)이 수용 가능하지 않다고 결정하면, 알고리즘의 추가 반복이 수행될 수 있다. 그러나, 이러한 비교 과정은 필수적인 것은 아니며, 다른 실시 예에서 수행되는 알고리즘의 반복 횟수는 미리 결정되거나 미리 설정되거나 사용자 정의된다.

도 2b는 알고리즘의 두 번째 반복 및 알고리즘의 임의의 추가 후속 반복을 나타낸다. 선행 반복의 위상 값(213A)의 분포는 알고리즘의 프로세싱 블록을 통해 피드백된다. 진폭 값(211A)의 분포는 입력 이미지(210)의 크기 값의 분포를 위해 소거된다. 첫 번째 반복에서, 데이터 형성 과정(202A)은 입력 이미지(210)의 진폭 값의 분포를 랜덤 위상 분포(230)와 결합하여 제1 복소 데이터 세트를 형성한다. 그러나, 두 번째 및 후속 반복에서, 데이터 형성 과정(202B)은 (i) 알고리즘의 이전 반복으로부터의 위상 값(213A)의 분포와 (ii) 입력 이미지(210)의 진폭 값의 분포를 합하여 복소 데이터 세트를 형성하는 과정을 포함한다.

도 2b의 데이터 형성 과정(202B)에 의해 형성된 복소 데이터 세트는 도 2a를 참조하여 기술된 것과 동일한 방식으로 처리되어 제2 반복 홀로그램(280B)을 형성한다. 따라서 프로세스에 대한 설명은 여기에서 반복되지 않는다. 알고리즘은 제2 반복 홀로그램(280B)이 계산되면 중단될 수 있다. 그러나 알고리즘의 임의의 수의 추가 반복이 수행될 수 있다. 제3 프로세싱 블록(256)은 제4 프로세싱 블록(259)이 요구되거나 더 많은 박복이 요구되는 경우에만 요구된다는 것을 이해할 것이다. 출력 홀로그램(280B)은 일반적으로 반복할 때마다 개선된다. 그러나 실제로는 일반적으로 측정 가능한 개선이 관찰되지 않거나 처리 사간의 증가라는 부정적 효과가 추가 반복을 수행하는 긍정적인 이점보다 커지는 시점이 도달한다. 따라서 알고리즘은 반복적이고 수렴적으로 기술된다.

도 2c는 제2 반복 및 후속 반복의 대안적인 실시 예를 나타낸다. 선행 반복의 위상 값(213A)의 분포는 알고리즘의 프로세싱 블록을 통해 피드백된다. 진폭 값(211A)의 분포는 대안적인 진폭 값의 분포를 위해 소거된다. 이 대안적인 실시 예에서, 대안적인 진폭 값의 분포는 이전 반복의 진폭 값(211)의 분포로부터 도출된다. 특히, 프로세싱 블록(258)은 선행 반복의 진폭 값(211)의 분포로부터 입력 이미지(210)의 진폭 값의 분포를 감산하고, 그 차이를 이득 인자 α만큼 스케일링하고, 입력 이미지(210)로부터 스케일링된 차분을 감한다. 이는 다음의 방정식에 의해 수학적으로 표현되며, 아래 첨자 텍스트와 숫자는 반복 횟수를 나타낸다.

여기서:

F'는 역 푸리에 변환이고;

F는 순방향 푸리에 변환이고;

R[x, y]는 제3 프로세싱 블록(256)에 의해 출력된 복소 데이터 세트이고;

T[x, y]는 입력 또는 타겟 이미지고;

∠는 위상 성분이고;

ψ는 위상 전용 홀로그램(280B)이고;

η은 진폭 값(211B)의 새로운 분포이며;

α는 이득 계수이다.

이득 계수 α는 고정되거나 가변적일 수 있다. 일부 실시예에서, 이득 계수 α는 입력 목표 이미지 데이터의 크기 및 속도(rate)에 기초하여 결정된다. 일부 실시 예에서, 이득 계수 α는 반복 횟수에 의존한다. 일부 실시 예에서, 이득 계수 α는 단지 반복 횟수의 함수이다.

이득 계수 α는 고정되거나 가변적일 수 있다. 일부 실시예에서, 이득 계수 α는 입력 목표 이미지 데이터의 크기 및 속도(rate)에 기초하여 결정된다. 일부 실시 예에서, 이득 계수 α는 반복 횟수에 의존한다. 일부 실시 예에서, 이득 계수 α는 단지 반복 횟수의 함수이다

도 2c의 실시 예는 다른 모든 면에서 도 2a 및 도 2b의 실시 예와 동일하다. 위상 전용 홀로그램 Ψ(u, v)는 주파수 또는 푸리에 도메인에서의 위상 분포를 포함한다고 말할 수 있다.

일부 실시예에서, 푸리에 변환은 공간 광 변조기를 이용하여 수행된다. 구체적으로, 홀로그램 데이터는 광 파워를 제공하는 제2 데이터와 결합된다. 즉, 공간 광 변조기로 기록되는 데이터는 객체를 나타내는 홀로그램 데이터뿐만 아니라 렌즈를 나타내는 렌즈 데이터를 포함한다. 공간 광 변조기에 표시되면서 광이 조명될 때, 렌즈 데이터(lens data)는 물리적인 렌즈를 모방(emulate)하는데, 즉, 렌즈 데이터는 이에 상응하는 물리적인 광학 장치와 동일한 방식으로 광의 초점을 맞춘다. 따라서 렌즈 데이터는 광 파워 또는 포커싱(focusing)된 파워를 제공한다. 이러한 실시 예에서, 도 1의 물리적 푸리에 변환 렌즈(120)는 생략될 수 있다. 렌즈를 나타내는 데이터를 계산하는 방법이 알려져 있다. 렌즈를 나타내는 데이터는 소프트웨어 렌즈로 지칭될 수 있다. 예를 들어, 위상 전용 홀로그래픽 렌즈는 그 굴절률 및 공간적으로 변하는 광 경로 길이로 인해 렌즈의 각각의 포인트에 의해 야기되는 위상 지연을 계산함으로써 형성될 수 있다. 예를 들어, 볼록 렌즈 중심에서의 광경로 길이는 렌즈 가장자리에서의 광경로 길이보다 길다. 진폭 전용 렌즈는 프레넬 존 플레이트(Fresnel zone plate)에 의해 형성될 수 있다. 또한, 컴퓨터-생성 홀로그램의 기술 분야에서, 렌즈를 나타내는 데이터를 홀로그램과 결합함으로써 상기 홀로그램의 푸리에 변환이 물리적 푸리에 렌즈의 필요없이 수행될 수 있는 방법이 알려져 있다. 일부 실시 예에서, 렌즈 데이터는 간단한 벡터 합산과 같은 단순 합산에 의해 홀로그램과 결합된다. 일부 실시예에서, 푸리에 변환을 수행하기 위해 소프트웨어 렌즈와 함께 물리적 렌즈가 이용된다. 대안적으로, 다른 실시 예들에서, 홀로그래픽 재구성이 원거리-필드(far-field)에서 발생하도록 푸리에 변환 렌즈는 모두 생략된다. 또 다른 실시 예에서, 홀로그램은 그레이팅(grating) 데이터, 즉 이미지 스티어링(image steering)과 같은 그레이팅의 기능을 수행하도록 형성된 데이터와 결합될 수 있다. 다시, 해당 기술 분야에서 그러한 데이터를 계산하는 방법은 알려져 있다. 예를 들어, 위상 전용 그레이팅은 블레이즈된(brazed) 그레이팅의 표면 상의 각 포인트에 의해 야기된 위상 지연을 모델링함으로써 형성될 수 있다. 진폭-한정 그레이팅은 진폭 전용 홀로그램에 간단히 중첩(superimposed)되어 홀로그래픽 재구성의 각도 스티어링(angular steering)을 제공할 수 있다. 렌즈 및/또는 조향을 제공하는 제2 데이터는 이미지 형성 기능 또는 이미지 형성 패턴으로 지칭될 수 있는 홀로그램 데이터와 구별하기 위해 광 처리 기능 또는 광 처리 패턴으로 지칭될 수 있다.

일부 실시예에서, 푸리에 변환은 물리적 푸리에 변환 렌즈 및 소프트웨어 렌즈에 의해 공동으로 수행된다. 즉, 푸리에 변환에 기여하는 일부 광 파워는 소프트웨어 렌즈에 의해 제공되고, 푸리에 변환에 기여하는 나머지 광 파워는 물리적 광학 장치 또는 광학 장치들에 의해 제공된다.

일부 실시예에서, 이미지 데이터를 수신하고 알고리즘을 사용하여 실시간으로 홀로그램을 계산하도록 구성된 실시간 엔진이 제공된다. 일부 실시예에서, 이미지 데이터는 일련의 이미지 프레임을 포함하는 비디오이다. 다른 실시예에서, 홀로그램은 사전 계산되고, 컴퓨터 메모리에 저장되며, SLM 상에 디스플레이하기 위해 필요에 따라 호출된다. 즉, 일부 실시예에서, 소정의 홀로그램의 저장소가 제공된다.

실시예는 단지 예시로서 푸리에 홀로그래피 및 Gerchberg-Saxton 유형의 알고리즘들에 관한 것이다. 본 개시는 유사한 방법으로 계산될 수 있는 프레넬 홀로그래피 및 프레넬 홀로그램에 동일하게 적용가능하다. 본 개시는 포인트 클라우드 방법에 기초한 것과 같은 다른 기술에 의해 계산된 홀로그램에도 동등하게 적용 가능하다.

광 변조

공간 광 변조기는 컴퓨터-생성 홀로그램을 포함하는 회절 패턴을 표시하는데 이용될 수 있다. 홀로그램이 위상 전용 홀로그램인 경우, 위상을 변조하는 공간 광 변조기가 필요하다. 홀로그램이 완전 복소 홀로그램인 경우, 위상 및 진폭을 변조하는 공간 광 변조기가 이용될 수 있거나 위상을 변조하는 제1 공간 광 변조기 및 진폭을 변조하는 제2 공간 광 변조기가 이용될 수 있다.

일부 실시예에서, 공간 광 변조기의 광 변조 소자(즉, 픽셀)는 액정을 포함하는 셀이다. 즉, 일부 실시 예에서, 공간 광 변조기는 광학 능동 소자가 액정인 액정 장치이다. 각각의 액정 셀은 복수의 광 변조 레벨을 선택적으로 제공하도록 구성된다. 즉, 각각의 액정 셀은 어느 한 시점에서 복수의 가능한 광 변조 레벨들로부터 선택된 하나의 광 변조 레벨에서 동작하도록 구성된다. 각각의 액정 셀은 복수의 광 변조 레벨 중에서 다른 광 변조 레벨로 동적으로 재구성 가능하다. 일부 실시예들에서, 공간 광 변조기는 실리콘 공간 광 변조기 상의 반사형 액정(LCOS)이지만, 본 개시는 이 유형의 공간 광 변조기에 한정되는 것은 아니다.

LCOS 장치는 작은 개구(예를 들어, 폭이 수 센티미터) 내의 조밀한 광 변조 소자 또는 픽셀 어레이들을 제공한다. 픽셀은 통상 약 10미크론 이하이어서 수 도 수준의 회절각을 가지며, 이는 광학 시스템이 콤팩트할 수 있다는 것을 의미한다. LCOS SLM의 작은 개구를 적절하게 조광하는 것은 다른 액정 장치의 큰 개구를 조광하는 것보다 용이하다. LCOS 장치는 통상 반사형이므로 LCOS SLM의 픽셀을 구동하는 회로를 반사 표면 아래에 묻을 수 있다. 결과적으로 개구율이 높아진다. 즉, 픽셀은 밀집되어 있어 픽셀 간에 낭비되는 공간(dead space)이 거의 없음을 의미한다. 이는 재생 필드에서의 광학 노이즈를 감소시키므로 유리하다. LCOS SLM은 픽셀이 광학적으로 편평하다는 이점을 갖는 실리콘 후면을 사용한다. 이 점은 위상 변조 장치에서 특히 중요하다.

단지 예시로서, 적합한 LCOS SLM이 도 3을 참조하여 아래와 같이 기술된다. LCOS 장치는 단결정 실리콘 기판(302)을 이용하여 형성된다. 이는 간극(301a)에 의해 이격되며 기판의 상부 표면에 배치된 사각 평면형 알루미늄 전극(301)의 2차원 어레이를 가진다. 전극(301) 각각은 기판(302)에 매설된 회로(302a)를 통해 형성될 수 있다. 각각의 전극들은 각각의 평면 미러를 형성한다. 배향층(Alignment Layer, 303)이 전극 어레이 상에 배치되고, 액정층(304)은 배향층(303)에 배치된다. 제2배향층(305)은 액정층(304)에 배치되고, 예컨대, 유리로 된 평면 투명층(306)은 제2배향층(305)에 배치된다. 예컨대 ITO로 된 단일 투명 전극(307)은 투명층(306)과 제2 배향층(305) 사이에 배치된다.

정사각형 전극(301) 각각은, 투명전극(307) 영역 상부와 중간에 개재되는 액정물질과 함께, 종종 픽셀로 지칭되는 제어 가능한 위상 변조 소자(308)를 형성한다. 유효 픽셀 영역, 즉 충진율(fill factor)은 픽셀(301a) 사이의 공간까지 고려하여 광학적으로 활성인 총 픽셀의 비율이다. 각각의 전극(301)에 인가된 투명전극(307)에 대한 전압을 제어함으로써, 위상 변조 소자의 액정 물질의 특성은 변화될 수 있고, 따라서 그에 입사되는 입사광에 가변 지연을 제공한다. 이렇게 함으로써 파면(wavefront)에 위상 전용 변조가 가해지는 한편 어떤 진폭 효과도 발생하지 않는다.

전술한 LCOS SLM은 공간적으로 변조된 광을 반사에 의해 출력한다. 반사형 LCOS SLM은 신호 라인, 게이트 라인 및 트랜지스터가 미러 면 아래에 있으며, 높은 충진율(일반적으로 90% 이상) 및 고해상도를 얻을 수 있는 이점이 있다. 반사형 LCOS 공간 광 변조기를 이용하는 또 다른 이점은 투과형 장치가 사용되는 경우에 필요한 것보다 요구되는 액정 층 두께가 절반일 수 있다는 것이다. 이것은 액정의 스위칭 속도를 크게 향상시킨다(움직이는 비디오 이미지의 투영을 위한 주요 이점). 그러나, 본 발명의 개시 내용은 투과형 LCOS SLM을 사용하여 동일하게 구현될 수 있다.

작은 디스플레이 장치와 긴 시야 거리를 이용한 이미지 프로젝션

본 개시는 이미지 프로젝션과 관련되며, 여기서, 디스플레이 장치와 뷰어 사이의 간격은 디스플레이 장치의 크기보다 훨씬 더 크다. 시야 거리(즉, 뷰어와 디스플레이 장치 사이의 거리)는 디스플레이 장치의 크기보다 적어도 10배 클 수 있다. 시야 거리는 디스플레이 장치의 크기보다 적어도 2배 클 수 있다. 예를 들어, 디스플레이 장치의 화소 면적은 10mm x 10mm이고, 시야 거리는 1m일 수 있다. 시스템에 의해 투사된 이미지는 디스플레이 장치와 공간적으로 분리된 디스플레이 평면에 형성된다.

본 개시에 따르면, 이미지는 홀로그램 프로젝션에 의해 형성된다. 디스플레이 장치에 홀로그램이 표시된다. 홀로그램은 광원(미도시)에 의해 조명되고 홀로그램과 공간적으로 분리된 디스플레이 평면에서 이미지가 인지된다. 이미지는 실제 또는 가상일 수 있다. 다음 설명의 목적을 위해, 디스플레이 장치의 업스트림에 형성된 가상 이미지를 고려하는 것이 도움이 된다. 즉, 디스플레이 장치 뒤에 나타난다. 그러나, 이미지가 반드시 가상 이미지일 필요는 없으며, 본 개시는 디스플레이 장치와 뷰잉 시스템 사이에 형성되는 실제 이미지에도 동일하게 적용될 수 있다.

디스플레이 장치는 홀로그램을 표시하는 픽셀들을 포함한다. 디스플레이 장치의 픽셀 구조는 회절형이다. 따라서 홀로그램 이미지의 크기는 회절 규칙의 영향을 받는다. 디스플레이 장치의 회절 특성의 결과는 도 4를 참조하여 아래에서 설명된다.

도 4는 디스플레이 장치(402)의 업스트림에서 가상 이미지(401)를 형성하는 홀로그램을 표시하도록 구성된 픽셀화된 디스플레이 장치(402)를 도시한다. 디스플레이 장치의 회절 각도

는 가상 이미지(401)의 크기를 결정한다. 가상 이미지(401), 디스플레이 장치(402) 및 뷰잉 시스템(405)은 광축(Ax)에 배열된다.

뷰잉 시스템(405)은 입구 개구(404) 및 뷰잉 평면(406)을 갖는다. 뷰잉 시스템(405)은 사람의 눈일 수 있다. 따라서, 입구 개구(404)는 눈의 동공일 수 있고 뷰잉 평면(406)은 눈의 망막일 수 있다.

디스플레이 장치(402)와 뷰잉 시스템(405) 사이를 이동하는 광은 이미지의 홀로그램(이미지 자체가 아님)으로 변조된다. 그러나 도 4는 홀로그램이 가상 이미지 콘텐츠를 각도로 나누는 방법을 보여준다. 각각의 예시된 광선 다발은 가상 이미지(401)의 서로 다른 부분에 관한 것이다. 보다 구체적으로, 각 광선 다발의 광은 가상 이미지의 한 부분에 대한 정보와 함께 홀로그램에 의해 인코딩된다. 도 4는 각각이 광축 Ax에 대한 각각의 각도를 특징으로 하고, 가상 이미지의 각 부분을 나타내는 5개의 예시적인 광선 다발을 보여준다. 이 예에서, 광선 다발 중 하나는 동공(404)을 통과하고 다른 4개의 광선 다발은 동공(404)에 의해 차단된다. 다시, 5개의 서로 다른 광선 다발은 가상 이미지(401)의 5개의 서로 다른 부분들에 대응된다. 가상 이미지의 전체 이미지 콘텐츠는 각도의 의해 효과적으로 분할된다. 광축 Ax를 따라 이동하는 광선 다발은 이미지 정보의 중심 부분, 즉 이미지 중심과 관련된 정보를 전달한다. 다른 광선 다발은 이미지 정보의 다른 부분을 전달한다. 광선 콘(light cone)의 극단에 표시된 두 개의 광선 다발은 이미지 정보의 가장자리 부분들을 전달한다. 각도에 의한 이미지 정보의 이러한 분할의 결과는 모든 이미지 콘텐츠가 주어진 뷰잉 위치에서 뷰잉 시스템의 입구 개구(404)를 통과할 수 있는 것은 아니라는 것이다. 즉, 모든 이미지 콘텐츠가 눈으로 수신되는 것은 아니다. 도 4의 예에서, 도시된 5개의 광선 다발 중 하나만 임의의 뷰잉 위치에서 동공(404)을 통과한다. 독자는 5개의 광선 다발이 단지 예로서 도시되고 설명된 프로세스가 가상 이미지의 이미지 정보를 단지 5개의 광선 다발로 분할하는 것으로 제한되지 않는다는 것을 이해할 것이다.

이 예에서, 이미지 정보의 중심 부분은 눈으로 수신된다. 이미지 정보의 가장자리 부분은 눈의 동공에 의해 차단된다. 독자는 뷰어가 위 또는 아래로 움직이면 서로 다른 광선 다발이 눈에 수신될 수 있고, 예를 들어 이미지 정보의 중심 부분이 차단될 수 있음을 이해할 것이다. 따라서 뷰어는 전체 이미지의 일부만 볼 수 있다. 나머지 이미지 정보는 입사 동공에 의해 차단된다. 뷰어는 디스플레이 장치 자체의 작은 개구를 통해 이미지를 효과적으로 보고 있기 때문에 뷰어의 시야가 크게 제한된다.

요약하면, 광은 디스플레이 장치에서 회절 각도 범위에 걸쳐 전파된다. 1m 시야 거리에서, 디스플레이 장치의 작은 각도 범위만 눈의 동공을 통해 전파되어 주어진 눈 위치에 대해 망막에 이미지를 형성할 수 있다. 보이는 가상 이미지의 유일한 부분은 입구 개구를 통과하는 도 4에 도시된 작은 각도 범위 내에 있는 부분이다. 따라서 시야가 매우 좁고, 특정 각도 범위는 눈의 위치에 크게 의존한다.

도 4를 참조하여 설명된 좁은 시야 및 눈 위치에 대한 감도의 문제는 디스플레이 장치의 긴 시야 거리 및 작은 개구의 결과이다. 뷰잉 거리의 중요성은 도 5 내지 도 7을 참조하여 추가로 설명된다.

도 5a는 홀로그램을 표시하고, 홀로그램에 따라 변조된 광을 입구 개구(504) 및 뷰잉 평면(506)을 포함하는 뷰잉 시스템으로 전파하도록 구성된 디스플레이 장치(502)를 도시한다. 가상 이미지(501)는 무한대이므로 가상 이미지와 디스플레이 장치 사이에서 추적되는 광선이 콜리메이트된다(colimated). 도 5a의 하부는 뷰잉 시스템의 확대도를 보여준다. 이 도면은 개략도이므로 눈의 생리학적 세부 사항은 표시되지 않는다. 실제로, 물론, 디스플레이 장치(502)를 조명하도록 구성된 광원(도 5a에 도시되지 않음)이 존재한다.

도 5a는 개구(504)를 통해 전파할 수 있는 광선들만을 도시하고; 개구(504)를 통과할 수 없는 다른 광선들은 생략된다. 그러나, 그러한 다른 광선들은 실제로 디스플레이 장치(502)로부터 또한 전파될 것이라는 것이 이해될 것이다. 도 5a에서, 디스플레이 장치와 뷰잉 평면 사이의 거리는 디스플레이 장치로부터의 전체 회절 각도가 망막에 이미지를 형성할 수 있을 만큼 충분히 작다. 가상 이미지에서 보여지는 모든 광의 전파 경로들은 입구 개구를 통과한다. 따라서, 가상 이미지의 모든 포인트들이 망막에 매핑되고 모든 이미지 콘텐츠가 뷰잉 평면에 전달된다. 따라서 인지된 이미지의 시야는 최대이다. 최적의 위치에서, 시야는 디스플레이 장치의 회절 각도와 같다. 흥미롭게도, 망막의 다른 이미지 포인트들은 디스플레이 장치(502)의 다른 영역에서 전파되는 광으로 형성된다 - 예를 들어, 도 5a의 상단에 가장 가까운 이미지 포인트는 디스플레이 장치의 아래쪽 부분에서만 전파되는 광으로 형성된다. 디스플레이 장치의 다른 영역에서 전파되는 광은 이 이미지 포인트에 기여하지 않는다.

도 5b는 뷰잉 거리가 증가함에 따라 발생하는 상황을 보여준다.

더 상세하게는, 도 5b는 홀로그램을 표시하고 홀로그램에 따라 변조된 광을 입구 개구(504') 및 뷰잉 평면(506')을 포함하는 뷰잉 시스템으로 전파하도록 구성된 디스플레이 장치(502')를 도시한다. 가상 이미지(501')는 무한대이므로 가상 이미지와 디스플레이 장치 사이에서 추적되는 광선이 콜리메이트된다(colimated). 도 5b의 하부는 뷰잉 시스템의 확대도를 보여준다. 이 도면은 개략도이므로 눈의 생리학적 세부 사항은 표시되지 않는다. 실제로, 물론, 디스플레이 장치(502')를 조명하도록 구성된 광원(도 5b에 도시되지 않음)이 존재한다.

도 5b는 개구(504')를 통해 전파할 수 있는 광선만을 도시한다. 도 5b의 더 큰 뷰잉 거리에서, 광선 다발의 일부는 입구 개구(504')에 의해 차단된다. 구체적으로, 가상 이미지의 가장자리 부분과 관련된 광선 다발은 입사 동공(504')에 의해 차단된다. 따라서, 가상 이미지 전체가 보이지 않고 보여지는 가상 이미지의 일부는 눈의 위치에 크게 좌우된다. 따라서, 디스플레이 장치와 뷰잉 시스템 사이의 거리가 멀다는 문제는 디스플레이 장치의 크기가 작다는 것에 기인한다.

도 6a는 디스플레이 장치(602)를 포함하는 개선된 시스템을 도시하며, 이 시스템은 디스플레이 장치(602) 상에 디스플레이된 홀로그램으로 인코딩된 광을 입구 개구(604) 및 뷰잉 평면(606)을 포함하는 뷰잉 시스템을 향해 전파한다. 실제로, 물론, 디스플레이 장치(602)를 조명하도록 구성된 광원(미도시)이 존재한다. 개선된 시스템은 디스플레이 장치(602)와 입구 개구(604) 사이에 위치된 도파관(608)을 더 포함한다. 도 6a의 하부는 입사 동공(604) 및 뷰잉 평면(604)을 포함한다. 이 도면은 개략도이므로 눈의 생리학적 세부사항은 도시되지 않는다.

도 6의 뷰잉 거리는 도 5b에서 나타낸 것과 동일하다. 그러나, 도 5b에서 차단된 광선 다발은 도파관(608)에 의해 효과적으로 복구되어 전체 이미지 정보가 - 더 긴 뷰잉 거리에도 불구하고 - 뷰잉 시스템에 의해 수신된다.

도파관(608)의 존재는 디스플레이 장치(602)로부터의 모든 각진 콘텐츠가 이 비교적 큰 프로젝션 거리에서도 눈에 의해 수신될 수 있게 한다. 이것은 도파관(608)이 동공 확장기로서 작용하기 때문인 것으로 잘 알려져 있으므로 여기에서 간략하게만 설명한다.

요컨대, 도파관(608)은 실질적으로 기다란 형성물을 포함한다. 이 예에서, 그것은 굴절 물질의 광학 슬래브를 포함하지만, 다른 유형의 도파관도 잘 알려져 있으며 사용될 수 있다. 도파관(608)은 디스플레이 장치(602)로부터 투사된 원추체와 예를 들어 비스듬한 각도로 교차하도록 위치된다. 도파관(608)의 크기, 위치(location) 및 자리(position)는 광원뿔(light cone) 내에서, 5개의 광선 다발 각각으로부터의 광이 도파관(608)으로 들어가는 것을 보장하도록 구성된다. 광원뿔로부터의 광은 (디스플레이 장치(602)에 가장 가깝게 위치된) 제1 평면 표면(610)을 통해 도파관(608)에 들어가고, (눈에 가장 가깝게 위치되어) 제1 표면(610)과 실질적으로 반대인 제2 평면 표면(612)을 통해 방출되기 전에, 도파관(608)의 길이를 따라 적어도 부분적으로 가이드된다. 잘 이해되는 바와 같이, 제2 평면 표면(612)은 부분적으로 반사적이고, 부분적으로 투과적이다. 다시 말해, 각 광선이 도파관(608) 내에서 도파관(608)의 제1 평면 표면(610)으로부터 제2 평면 표면(612)으로 이동할 때, 광의 일부는 도파관(608) 밖으로 투과되고 일부는 제2 평면 표면(612)에 의해 반사되어 다시 제1 평면 표면(610)을 향하여 반사될 것이다. 제1 평면 표면(610)은 반사성이어서, 도파관(608) 내에서 그에 부딪히는 모든 광은 제2 평면 표면(612)을 향해 다시 반사될 것이다. 따라서, 광의 일부는 전송되기 전에 도파관(608)의 두 개의 평면 표면(610, 612) 사이에서 단순히 굴절될 수 있는 반면, 다른 광은 반사될 수 있으며, 따라서 전송되기 전에 도파관(608)의 평면 표면(610, 612) 사이에서 하나 이상의 반사(또는 바운스)를 겪을 수 있다. 따라서 도파관(608)의 순 효과는 광의 투과가 도파관(608)의 제2 평면 표면(612) 상의 여러 위치에 걸쳐 효과적으로 확장된다는 것이다. 따라서 디스플레이 장치(602)에 의해 출력된 모든 각진 콘텐츠는 도파관(608)이 없는 경우보다 디스플레이 평면 상의 더 많은 수의 위치(및 개구 평면 상의 더 많은 수의 위치)에 존재할 수 있다. 이는 각 광선 다발로부터의 광이 입구 개구(604)에 진입할 수 있고, 상대적으로 큰 투사 거리에도 불구하고, 뷰잉 평면(606)에 의해 형성된 이미지에 기여할 수 있음을 의미한다. 다시 말해서, 디스플레이 장치(602)로부터의 모든 각진 콘텐츠는 눈에 의해 수신될 수 있다. 따라서, 디스플레이 장치(602)의 전체 회절 각도가 활용되고 사용자를 위해 뷰잉 윈도우가 최대화된다. 차례로, 이것은 모든 광선이 지각된 가상 이미지(601)에 기여한다는 것을 의미한다.

도 6b는 도 6a에 형성된 가상 이미지(601) 내의 5개의 개별 이미지 포인트에 기여하는 5개의 광선 번들 각각에 대한 개별 광학 경로를 도시하며 - 이는 각각 R1에서 R5로 위에서 아래로 레이블링된다. 여기에서 볼 수 있는 바와 같이, R1 및 R2 각각의 광은 단순히 굴절된 다음 도파관(608)에 의해 투과된다. 반면에, R4의 광은 투과되기 전에 단일 바운스를 만난다. R3의 광은 투과되기 전에 도파관(608)에 의해 단순히 굴절되는 디스플레이 장치(602)의 대응하는 제1 부분으로부터의 일부 광 및 투과되기 전에 단일 바운스와 마주치는 디스플레이 장치(602)의 다른 대응 부분인 제2 부분으로부터의 일부 광을 포함한다. 유사하게, R5의 광은 투과되기 전에 단일 바운스와 마주치는 디스플레이 장치(602)의 대응하는 제1 부분으로부터의 일부 광 및 투과되기 전에 두 번의 바운스와 마주치는 디스플레이 장치(602)의 다른 대응 부분인 제2 부분으로부터의 일부 광을 포함한다. R3 및 R5 각각에 대해, LCOS의 서로 다른 두 부분은 가상 이미지의 해당 부분에 해당하는 광을 전파한다.

본 발명자들은 적어도 일부 애플리케이션에서는, 가상 이미지가 무한대에서 형성되는 것과는 대조적으로, 가상 이미지 거리 - 즉, 뷰어에서 가상 이미지까지의 거리- 가 유한한 것이 바람직하다는 것을 인지하였다. 특정 응용 프로그램에서는, 가상 이미지 콘텐츠가 나타나는 것이 바람직하거나 필요하게 되는, 선호하는 가상 이미지 거리가 있다. 예를 들면, 헤드-업 디스플레이의 경우, 예컨대 자동차 설정에서, 예를 들어 가상 이미지 콘텐츠가 차량 윈드스크린을 통해 뷰어가 보고 있는 실제 콘텐츠에 중첩되어야 하는 경우일 수 있다. 예컨대, 바람직한 가상 이미지 거리는 뷰어의 차량 또는 윈드스크린 앞에서 몇 미터, 예를 들어 3미터 또는 5미터에서 형성되는 가상 이미지 콘텐츠를 포함할 수 있다.

작은 디스플레이 장치, 긴 시야 거리 및 동공 확장기를 위한 홀로그램 계산

본 발명자들은 도 7에 도시된 광학 시스템에 대한 홀로그램을 계산하는 방법을 고안하였다. 중요한 것은, 디스플레이 장치가 상대적으로 작고 투사 거리가 상대적으로 길다는 것이다. 홀로그램은 뷰잉 시스템에서 직접 투사되며, 이 방법은 실시간으로 구현될 수 있다. 디스플레이 장치의 상대적으로 작은 크기 및 상대적으로 긴 투사 거리로 인해 동공 확장기가 필요하다. 이 방법은 동공 확장기를 통해 다양한 경로를 처리한다. 이 방법을 사용하면 이미지 콘텐츠가 뷰잉 시스템과 상이한 거리 및/또는 선택적으로 동시에 - 예컨대, 하나의 홀로그램을 사용하여 - 여러 거리에서 나타나도록 허용한다. 이 방법을 사용하면 이미지 콘텐츠가 디스플레이 장치의 다운스트림과 디스플레이 장치의 업스트림에, 선택적으로, 동시에 - 예컨대, 하나의 홀로그램을 사용하여 - 나타나도록 허용한다.

도 7은 이미지의 홀로그램을 표시하도록 동작가능한 공간 광 변조기(701)를 도시한다. 이 실시예에서, 공간 광 변조기(701)는 수신된 광의 위상을 변조하도록 구성된 액정-온-실리콘 (liquid crystal on silicon) 디바이스이다. 공간 광 변조기(701)는 도시되지 않은 광원으로부터의 적어도 부분적으로 간섭된(coherent) 광에 의해 조명된다. 광원은 레이저 다이오드일 수 있다. 공간 광 변조기(701)는 디스플레이 홀로그램에 따라 공간적으로 변조된 광을 출력한다. 도 7은 공간 변조된 광의 하나의 광선(702)을 도시한다. 공간적으로 변조된 광은 동공 확장기(703)에 의해 수신된다. 동공 확장기(703)는 디스플레이 장치(701)의 평면에 대해 기울어진다. 따라서 동공 확장기(703)는 비수직 입사(non-normal incidence)에서 광을 수신한다. 입사각(광축이 동공 확장기와 이루는 각도)은 10 내지 20도와 같이 25도 미만일 수 있다. 동공 확장기는 공간적으로 변조된 광을 수신하는 입력 표면(703a) 및 출력 표면(703b)을 포함한다. 입력 표면(703a) 및 출력 표면(703b)은 실질적으로 평행하고 동공 확장 방향으로 긴 형상을 갖는다. 입력 표면(703a)은 실질적으로 완전히 반사되는(예를 들어, R = 1) 적어도 일부를 포함한다. 출력 표면(703b)은 반사율이 높지만 부분적으로 투과성인 부분(예를 들어, R = 0.9 및 T = 0.1)을 적어도 포함한다. 도 6의 도파관(608)을 참조하여 전술한 바와 같이, 반사 표면들은 공간 변조된 광이 그 사이에서 앞뒤로 바운스되도록 구성되고, 광은 출력 표면(703b)을 따라 복수의 포인트들에서 방사된다. 이 실시예에서, 동공 확장기는 실질적으로 긴 형상을 갖는다. 동공 확장기는 한 방향, 즉 길쭉한 방향으로 동공 확장을 제공하지만, 본 개시는 동공을 직교 방향으로 확장하도록 구성된 제2 동공 확장기의 존재를 포함하도록 확장될 수 있다.

도 7은 광선(702)이 서로 다른 거리(Z₀, Z₁ 및 Z₂)와 각각 관련된 3개의 전파 경로(705)를 형성하기 위해 효과적으로 두 번 복제된 방법을 보여준다. 가장 짧은 전파 경로는 Z₀에 해당하며, 이 예에서는 내부 반사 없이 도파관을 통과한 광이다. 표시된 3개의 중간-거리 전파 경로는 Z₁ 및 동공 확장기의 2개의 내부 반사(각 표면당 하나씩)에 해당한다. 표시된 가장 긴 전파 경로는 Z₂ 및 동공 확장기의 4개의 내부 반사(각 표면당 2개)에 해당한다. 평면 x₀, x₁ 및 x₂는 각각 3개의 전파 경로 Z₀, Z₁ 및 Z₂와 관련된 광 필드(light field)의 공간적 범위를 보여준다. 보다 구체적으로, 도 7은 3개의 평면 x₀, x₁ 및 x₂가 x-방향으로 서로 오프셋되는 방법을 보여준다.

도 7은 입사 동공(707), 렌즈(709) 및 광 센서(711)를 포함하는 뷰잉 시스템(713)을 추가로 도시한다. 실시예들에서, 뷰잉 시스템(713)은 인간의 눈이고 광 센서(711)는 눈의 망막이다. 도 7은 각 전파 경로와 관련된 광 필드 중 일부만이 입구(707)를 통과하는 방법을 보여준다. 도 7은 입사 동공(707)의 중심을 통과하는 중간-거리 전파 경로의 중심과 관련된 광선을 보여준다. 그러나, 예를 들어, 가장 짧은 전파 경로의 광 필드의 중심과 관련된 광선은 개구(707)의 상단 부분에 의해 차단된다. 그러나, 가장 짧은 전파 경로의 광 필드와 연관된 다른 광선은 개구(707)를 통과할 수 있다. 가장 긴 전파 경로의 광 필드의 중심과 관련된 광선은 개구(707)의 하부 부분에 의해 차단된다. 그러나, 가장 긴 전파 경로의 광 필드와 관련된 다른 광선도 개구(707)를 통과할 수 있다.

개구(707)를 통과하는 광은 렌즈(709)에 의해 광 센서(711)에 집속된다. 광 센서(711)의 평면은 디스플레이 장치(701)의 평면에 실질적으로 평행하고, 따라서 동공 확장기(703)의 긴방향의 차원(elongate dimension)에 대해서도 기울어진다.

도 7은 단지 예시로서 3개의 가능한 광 전파 경로를 도시한다. 본 개시는 전파 경로들의 수에 의해 제한되지 않는다. 즉, 당업자가 다음 설명으로부터 이해할 수 있는 바와 같이, 본 방법은 임의의 수의 광 전파 경로들을 고려하도록 확장될 수 있다. 마찬가지로, 동공 확장기가 디스플레이 평면 및 센서 평면에 대해 기울어지는 것이 필수적인 것은 아니다.

도 8은 본 방법의 단계를 나타내는 흐름도이다. 본 방법은 이미지 평면과 홀로그램 사이를 앞뒤로 수학적 변환을 사용하여 이미지에 해당하는 위상 홀로그램에 수렴하는 Gerchberg-Saxton 유형 알고리즘과 유사하다. 이미지 평면 또는 홀로그램 평면으로의 각 전파 후 광 필드의 진폭 성분은 수정되거나 제한되지만 위상 성분은 유지된다.

본 방법의 0번째 단계는 과정 802 및 804를 포함한다. 0번째 단계는 0번째 복소 광 필드를 형성하는 과정을 포함한다. 과정 802는 0번째 복소 광 필드의 위상 성분을 형성하는 랜덤 위상 시드를 제공한다. 과정 804는 0번째 복소 광 필드의 진폭 성분을 제공한다. 진폭 성분은 홀로그램에서 이미지를 재구성하는 데 사용되는 광원의 광을 나타내는 단위 또는 진폭 분포일 수 있다.

과정 806에서, 0번째 복소 광 필드는 공간 광 변조기(701)로부터(즉, 홀로그램 평면으로부터) 뷰잉 시스템(713)의 입사 동공(707)으로(더 구체적으로, 뷰잉 시스템(713)의 입사 동공(707)을 포함하는 평면으로) 프레넬 전파된다. 다시, 이 실시예는 프레넬 전파를 본 개시의 본질 또는 범위를 벗어나지 않고 사용될 수 있는 다수의 상이한 수학적 변환의 단지 하나의 예로서 지칭한다. 과정 806은 각각의 광 전파 경로에 대하여 복소 광 필드를 형성하기 위해 동공 확장기(703)에 의하여 제공되는 각각의 바운스 또는 내부 반사에 대해 수행된다. 과정 806은 입사 동공(707)의 평면에서 x-방향의 복소 광 필드의 측면 위치 및 동공 확장기(703) 내의 각 반사에 대한 위상 변이를 고려하는 것을 포함한다. 예를 들어, 상이한 복소 광 필드들이 추가(addition)에 의해 결합될 수 있다. 제1 단계는 입사 동공(707)에서 제1 복소 광 필드를 형성하기 위해 입사 동공(707)의 크기 및 형태에 따라 결합된 복소 광 필드를 자르는 과정 808을 더 포함한다.

본 방법의 제2 단계는 과정 810 및 812를 포함한다. 과정 810에서, 제1 복소 광 필드를 입사 동공으로부터 렌즈(709)를 통해 광 센서(711)의 평면으로 전파함으로써 제2 복소 광 필드가 결정된다. 과정 812는 광 센서(711)에 도달하는 복소 광 필드의 진폭 성분을 수정하는 과정을 포함한다. 보다 구체적으로, 과정 812는 복소 광 필드의 진폭 성분을 타겟 이미지의 진폭 성분으로 대체하거나 또는 타겟 이미지의 진폭 성분의 가중치 버전과 같이 타겟 이미지의 진폭 성분에 기초한 진폭 성분으로 대체하는 과정을 포함한다. 전파에 사용된 렌즈(709)의 위치는 이미지 거리, 즉 이미지 콘텐츠가 나타날 공간을 결정한다. 일부 실시예들에서, 이미지는 가상 이미지이고, 이 거리는 가상 이미지 거리, "VID"로 지칭될 수 있다.

유리하게는, 여기에 개시된 방법은 이미지 콘텐츠가 복수의 상이한 이미지 거리 - 예를 들어, 여러 VID - 에서 동일한 홀로그램을 사용하여 형성되는 것을 가능하게 한다. 본 발명자들은, 이것은 z-방향에서 렌즈(709)의 다른 위치를 고려하여 각 이미지 거리에 대해 제2 단계를 반복함으로써 달성될 수 있다는 것을 확인하였다. 각각의 상이한 이미지 거리에 대한 이러한 접근법에 따라 결정된 복소 광 필드는, 예컨대 추가(addition)에 의해 결합될 수 있다.

본 방법의 제3 단계는 제2 복소 광 필드가 렌즈(709)를 통해 입사 동공(707)으로 다시 전파되는 과정 814를 포함한다. 이것은 단지 광이 반대 z-방향으로 진행하고 있다는 것을 반영하기 위해 역전파(reverse propagation)라고 부를 수 있다. 일부 실시예들에서, 역전파는 대응하는 "순방향" 전파의 수학적 역수이다. 제3 단계는 또한 제3 복소 광 필드를 형성하기 위해 입사 동공(707)의 크기 및 형상에 따라 전파된 광 필드를 자르는 과정을 포함한다.

제4 단계는 과정 816 및 818을 포함한다. 과정 816에서, 광은 제1 단계와 관련하여 위에서 설명된 문제에서, 동공 확장기의 복수의 광 전파 경로를 통해 공간 광 변조기(702)의 평면으로 다시 전파된다 - 다만 물론 반대의 광 방향으로(즉, "역" 전파). 과정 818은 디스플레이 장치의 활성/픽셀 영역의 크기 및 위치에 따라 전파된 광 필드를 자르는 과정을 포함한다. 각 복소 광 필드의 복소수 값들의 수는 디스플레이 장치의 픽셀 수보다 작거나 같을 수 있다.

과정 820은 제4 복소 광 필드로부터 홀로그램을 추출하는 과정을 포함한다. 홀로그램은 제4 복소 광 필드의 위상 값을 포함할 수 있으며, 이 경우 홀로그램은 키노폼(kinoform)으로 지칭될 수 있다. 본 개시에서 앞서 설명된 바와 같이, 본 방법은 이미지 평면에서 동등하게 시작할 수 있다(즉, 제3 단계). 본 개시에 따르면 각 단계의 적어도 한번의 반복이 필수적이다. 도 9 및 도 10은, 이 방법에 의해 형성된 홀로그램을 설명한다.

광 채널링

도 9a는 8개의 이미지 영역/컴포넌트(V1 내지 V8)를 포함하는 프로젝션을 위한 이미지(1552)를 도시한다. 도 9a는 단지 예로서 8개의 이미지 컴포넌트를 도시하고 있고, 이미지(1552)는 임의의 수의 컴포넌트로 분할될 수 있다. 도 9a는 또한 - 예컨대, 적절한 뷰잉 시스템의 렌즈에 의해 변형될 때 - 이미지(1552)를 재구성할 수 있는 인코딩된 광 패턴(1554)(즉, 홀로그램)을 보여준다. 인코딩된 광 패턴(1554)은 제1 내지 제8 이미지 컴포넌트/영역(V1 내지 V8)에 대응하는 제1 내지 제8 서브-홀로그램 또는 컴포넌트(H1 내지 H8)를 포함한다. 도 9a는 본 개시에 따라 계산된 홀로그램이 이미지 콘텐츠를 각도별로 효과적으로 분해하는 방법을 추가로 보여준다. 따라서 홀로그램은 수행하는 광의 채널링에 의해 특징지어질 수 있다. 이것은 도 9b에 나타나 있다. 구체적으로, 본 개시에 따른 이 홀로그램은 광을 복수의 불연속 영역(discrete area)으로 향하게 한다. 불연속 영역은 도시된 예에서 디스크이지만 다른 모양들도 가능하다. 최적의 디스크의 크기와 모양은 도파관을 통해 전파된 후 뷰잉 시스템의 입사 동공의 크기와 모양과 관련될 수 있다. 이러한 광의 채널링은 여기에 개시된 홀로그램을 결정하는 특정 방법으로 인해 발생한다.

도 10은 도 9a 및 9b에 예시된 인식(recognitions)에 따른, 개선된 뷰잉 시스템(1500)을 도시한다.

뷰잉 시스템(1500)은 이 구성에서 LCOS(1502)를 포함하는 디스플레이 장치를 포함한다. LCOS(1502)는 홀로그램을 포함하는 변조 패턴(또는 '회절 패턴')을 디스플레이하고, 개구(aperture, 1504)로서 작용하는 동공, 렌즈(1509), 및 뷰잉 평면으로서 작용하는 망막(미도시)을 포함하는 눈(1505)을 향해 홀로그램으로 인코딩된 광을 투사하도록 구성된다. LCOS(1502)를 조명하도록 배열된 광원(미도시)이 존재한다. 눈(1505)의 렌즈(1509)는 이미지 변환에 대한 홀로그램을 수행한다.

뷰잉 시스템(1500)은 LCOS(1502)와 눈(1505) 사이에 위치된 도파관(1508)을 더 포함한다. 도 10의 투영 거리는 비교적 클 수 있다. 그러나, 이전 도면과 관련하여 설명된 바와 같이, 도파관(1508)의 존재는 LCOS(1502)로부터의 모든 각진 콘텐츠가 이 비교적 큰 투영 거리에서도 눈(1505)에 의해 수신될 수 있게 한다. 이것은 도파관(1508)이 위에서 설명된 방식으로 동공 확장기로서 작용하기 때문이다.

추가적으로, 이 구성에서, LCOS(1502)가 여기에 설명된 방법에 따라 인코딩되었을 때, 도파관(1508)은 LCOS(1502)로부터의 광과 뷰어가 인식할 가상 이미지 사이의 고유한 관계를 설정하기 위해 LCOS(1502)에 대해 비스듬히 배향될 수 있다. 도파관(1508)의 위치(location) 및 자리(position)는 가상 이미지의 각 부분으로부터의 광이 도파관(1508)에 들어가고 도파관(1508)의 실질적으로 평면인 표면 사이에서 바운싱되는 기다란 축을 따라 가이드되는 것이 가능하도록 구성된다. 광이 (눈(1505)에 가장 가까운) 제2 평면 표면에 도달하면 일부 광은 투과되고 일부 광은 반사된다.

도 10은 도파관(1502)의 길이를 따라 B0에서 B8까지의 총 9개의 "바운스" 포인트를 보여준다. 독자는 이미지(1552)의 중심이 비어 있음을 알 수 있을 것이다. 도 15c는 도파관 내에서 0~9번째 광 "바운스" 또는 반사 포인트인 B0~B8을 보여준다. 이미지(V1-V8)의 모든 포인트와 관련된 광은 도파관(1508)의 제2 평면 표면으로부터 "바운스"될 때마다 도파관 밖으로 전송되지만, 이미지의 각진 부분 중 하나로부터 나오는 광(예: V1에서 V8까지 중 하나의 광)은 각각의 "바운스" 포인트인 B0에서 B8으로부터 눈(1505)에 도달할 수 있도록 하는 궤적을 가지고 있다. 더욱이, 이미지의 다른 각진 부분(V1에서 V8)으로부터의 광은 각각의 "바운스" 포인트로부터 눈(1505)에 도달한다. 도 10은 각 "바운스" 포인트에서 방출되는 모든 상이한 각진 콘텐츠로부터의 광(각 전송 지점에서 복수의 짧은 화살표로 표시됨)을 보여주나, 실제로 눈(1505)에 도달할 각각의 각진 콘텐츠의 눈(1505)까지의 광학 경로만 보여준다 - 따라서 뷰어가 도파관의 각 부분에서 인식할 가상 이미지의 각 부분에 기여할 것이다. 예를 들어, 0번째 바운스(B0)의 경우, 도파관(1508)에 의해 전송된 광은 단순히 굴절되고 내부에서 어떠한 반사도 겪지 않는다. 8번째 서브-홀로그램 H8의 광은 0번째 바운스 B0로부터 눈에 도달한다. 다음 바운스 B1의 경우, 도파관(1502)에 의해 전송된 광은 전송 전에 내부에서 한 번의 바운스를 겪는다. 7번째 홀로그램 H7의 광은 다음 바운스 B1으로부터 눈에 도달한다. 이것은 최종 바운스 B8에서 도파관(1508)에 의해 전송된 광이 전송되어 눈(1505)에 도달하기 전에 8번의 바운스를 겪을 때까지 계속되며, 첫 번째 홀로그램 H1에 따라 인코딩된 광을 포함한다.

도 10에 표시된 예에서, 오직 하나의 이미지 영역의 광은 각 바운스 포인트로부터 눈에 도달한다. 따라서, 홀로그램이 본 명세서에 설명된 바와 같이 결정될 때, 가상 이미지의 영역과 도파관 상의 관련 바운스 포인트 사이의 공간적 상관이 설정된다. 일부 다른 예들에서, 이미지의 한 영역이 2개의 인접한 전송 지점으로부터 나오도록 하고, 따라서 도파관으로부터 뷰잉 평면을 향해 전파하는 2개의 인접한 광 디스크 내에 포함되도록 비교적 작은 중첩이 있을 수 있다.

따라서, 본 발명자들에 의해 이루어진 인식 및 본 명세서에 기재된 방법 및 구성은, 홀로그램을 포함하는 회절 패턴(또는 광 변조 패턴)이 생성되어, LCOS 또는 다른 적절한 디스플레이 장치에 표시될 때, 각각이 해당 가상 이미지의 서로 다른 부분에 대응(보다 구체적으로, 인코딩)하는 복수의 '디스크' 또는 광선 다발에서 효과적으로 방출될 수 있다.

개괄적으로, 본 개시는 복수의 광 전파 경로를 제공하는 동공 확장기를 통한 상기 광의 전파 및 이미지 내의 위치에 따라 (호로그램 도메인에서) 광을 각도로 분포시키는 홀로그램의 계산에 관한 것이고, 여기서 각각의 광 전파 경로는 이미지의 각각의 연속적인 영역에 대응한다. 본 발명은 또한 이미지의 제1 이미지 성분을 결정하고, 이미지의 제2 이미지 성분보다 제1 이미지 성분에 대한 홀로그램 계산에 더 많은 데이터 처리 리소스를 할당하는 것을 특징으로 한다.

실시예들의 제1 그룹: 이미지의 서브-영역들

요약하면, 도 11 및 도 12는 뷰어의 중심와 영역이 높은 이미지 품질을 갖도록 계산되는 반면에, 이미지의 나머지 부분은 열등한 품질(그러나 주변 시력에는 충분한)에 대해 계산되는 방법을 도시한다.

보다 구체적으로, 도 11은 이미지가 디스플레이되는 디스플레이 영역(1101)을 도시한다. 예컨대, 디스플레이 영역(1101)은 헤드업 디스플레이와 같은 디스플레이 시스템의 디스플레이 영역일 수 있다. 본 개시에 따르면, 이미지는 (예컨대, 시간에 따라) 변경된다. 이미지는 실시간으로 - 예컨대, 비디오 속도 - 변경될 수 있다. 각각의 이미지는 이미지 프레임 시퀀스의 하나의 이미지 프레임일 수 있다. 각각의 이미지는 이미지 콘텐츠를 포함할 수 있다. 각각의 이미지는 복수의 별개의 이미지 요소를 포함할 수 있다. 단지 예로서, 도 11은 3개의 이미지 요소를 포함하는 이미지를 도시한다. 제1 이미지 요소는 속도계를 나타낸다. 제2 이미지 요소는 차량 헤드램프 표시기를 나타낸다. 제3 이미지 요소는 경고 표시기를 나타낸다. 제1, 제2 및 제3 이미지 요소는 디스플레이 영역 내에서 분리된다. 즉, 제1, 제2 및 제3 이미지 요소는 여백으로 구분된다. 다시 말해서, 제1, 제2 및 제3 이미지 요소가 연결 해제된다. 도 11은 또한, 제1 눈 위치(1105) 및 제2 눈 위치(1107)를 도시한다. 제1 눈 위치(1105)에 배치된 제1 눈은 대응하는 제1 눈 시선 방향(1106)을 갖고, 제2 눈 위치(1107)에 배치된 제2 눈은 대응하는 제2 시선 방향(1108)을 갖는다. 독자는 제1 눈과 제2 눈이 뷰잉 영역 또는 뷰잉 평면에 구성된 뷰잉 시스템의 예시임을 이해할 것이다. 물론, 뷰잉 시스템은 인간 뷰어일 수 있다. 독자는 또한 뷰어가 중심 시야와 주변 시야를 가질 수 있음을 이해할 것이다. 도 11은 뷰어의 중심 시야에 대응하는 디스플레이 영역의 제1 서브-영역(1103)을 강조 표시한다. 제1 서브-영역(1103)은 제1 서브-영역 또는 이미지의 제1 이미지 성분에 대응한다. 이 예에서, 제1 이미지 성분은 제1 이미지 요소인 속도계의 절반에 해당한다. 도 11은 제1 시선 방향(1106) 및 제2 시선 방향이 제1 서브-영역(1103)으로 향하는 방법을 도시한다.

특히, 도 11은 뷰어의 중심 시각 영역(즉, 제1 서브-영역(1103))과 관련된 이미지 품질이 뷰어의 주변 시야 영역(즉, 디스플레이 영역(1101)의 나머지 부분)의 이미지 품질보다 어떻게 더 큰지를 도시한다. 이 예에서, 제1 서브-영역(1103) 내의 제1 이미지 요소의 절반은 제1 서브-영역(1103) 외부에 있는 제1 이미지 요소의 다른 절반보다 더 선명하거나 덜 흐릿하다. 도 11은 제2 이미지 요소와 제3 이미지 요소의 이미지 품질이 상대적으로 낮은 방법을 도시한다.

실시예들에서, 각각의 이미지는 대응하는 홀로그램으로부터 형성되거나 재구성된다. 각각의 홀로그램은 소스 또는 타겟 이미지로부터 결정되거나 계산될 수 있다. 물론, 재구성된 이미지는 원본 또는 타겟 이미지의 충실한 사본(copy) 또는 복제(replica)여야 한다. 그러나, 독자는 홀로그램(복잡한 구조의 회절 요소)이 본질적으로 재구성된 이미지의 품질이나 정확도에 영향을 미치므로, 홀로그램의 "품질"을 고려하거나 비교할 수 있음을 이해할 것이다. 단지 예로서, 홀로그램으로부터 재구성된 이미지의 품질은 재구성된 이미지의 신호 대 잡음비(signal-to-noise)에 의해 평가되거나 심지어 측정될 수 있다. 그러나, 독자는 이미지 품질을 측정하는 다른 많은 방법이 가능하다는 것을 알게 될 것이다. 일부 실시예들에서, 각각의 홀로그램은 시간 또는 처리 능력과 같은 계산 리소스를 필요로 하는 수학적 방법에 의해 계산된다. 재구성된 이미지의 이미지 품질은 홀로그램 계산에 할당된 처리 리소스의 양 또는 양자에 의해 적어도 부분적으로 결정된다.

본 개시에 따르면, 주변 시야 영역보다 중심 시야 영역에 대한 홀로그램 계산에 더 많은 처리 리소스가 할당된다. 따라서, 이 방법은 디스플레이 영역(1101)의 제1 서브-영역(1103)을 결정하고, 이러한 결정에 기초하여 처리 리소스를 선택적으로 할당하는 과정을 포함한다. 일부 실시예에서, 시선 추적은 디스플레이 영역(1101)의 제1 서브-영역(1103)을 결정하는 데 사용되지만, 독자는 뷰어의 중심 시야 영역을 결정하는 다른 방법에 익숙할 것이며, 따라서 그 반대의 경우도 마찬가지이다.

도 11은 제1 중심 시각 영역에 기초한 제1 시간의 이미지 디스플레이를 나타낼 수 있다. 도 12는 제2 중심 시각 영역에 기초한 제2 시간에서의 이미지 디스플레이를 나타낼 수 있으며, 여기서 제1 시간은 제2 시간과 상이하다. 도 11의 디스플레이 영역(1101)에 표시된 이미지는 제1 중심 시야 영역(1103)에 기초하여 계산된 제1 홀로그램으로부터 재구성될 수 있다. 도 12의 디스플레이 영역(1201)에 도시된 이미지는 제2 중심 시야 영역(1203)에 기초하여 계산된 제2 홀로그램으로부터 재구성될 수 있다.

도 12는 도 11에 대체로 대응하지만, 제2 중심 시각 영역(1203)으로 향하는 제1 시선 방향(1206) 및 제2 시선 방향(1208)을 도시한다. 도 12의 디스플레이 영역(1201) 내의 제2 중심 시각 영역(1203)의 위치는 도 11의 디스플레이 영역(1101)이 있는 제1 중심 시각 영역(1103)의 위치와 상이하다. 이 예에서, 제2 중심 시각 영역(1203)은 제3 이미지 요소와 크게 정렬된다. 제3 이미지 요소의 이미지 품질은 제2 이미지 요소 및 제1 이미지 요소의 이미지 품질보다 우수하다. 도 11 및 도 12는 동일한 타겟 이미지이다. 보다 구체적으로, 도 11 및 도 12의 이미지는 동일한 타겟 이미지의 재구성이다. 제1 홀로그램과 제2 홀로그램은 동일한 타겟 이미지에서 독립적으로 계산되었다. 그러나, 본 개시에 따르면, 제1 홀로그램의 계산에 사용되는 처리 리소스의 할당은 제2 홀로그램의 계산에 사용되는 처리 리소스의 할당과 상이하다. 중심 시각 영역과 정렬된 홀로그램 재구성의 이미지 품질을 개선하기 위하여 중심 시각 영역에 대해 더 많은 처리 리소스가 할당된다. 홀로그램의 모든 부분이 이미지의 모든 부분에 기여하기 때문에 이것은 보이는 것만큼 사소하지 않다. 그러나, 본 명세서에 설명된 홀로그램 및 동공 확장기의 구성은 복수의 상이한 광 전파 경로를 제공하며, 여기서 각각의 광 전파 경로는 이미지의 각각의 연속적인 영역에 대응한다. 본 발명자들은 그들의 홀로그램 계산 방법이 재구성 품질이 이미지 내의 위치의 함수일 수 있도록 상이한 처리 리소스가 상이한 광 전파 경로에 할당되도록 효과적으로 허용한다는 것을 인식하였다. 이것은 다른 홀로그램 방법으로는 달성할 수 없으며 특히 광에 대한 뷰잉 시스템의 응답이 균일하지 않을 때 상이한 이점을 가져온다.

도 12는 상승된 처리 리소스가 할당된 이미지의 서브-영역이 중심 시각 영역을 넘어 확장되는 선택적 추가 개선을 도시한다. 도 12는 중심 시각 영역에 부분적으로 포함된 이미지의 전체 이미지 특징, 즉, 제3 이미지 요소를 포함하도록 서브-영역이 확장되는 방법을 도시한다. 효과적으로, 고화질 영역이 확장된다. 도 11과 일치하는 다른 실시예들에서, 서브-영역은 대응하는 중심 시각 영역보다 더 확장되지 않는다.

본 명세서에 개시된 홀로그램 계산 방법은 각각의 이미지의 복수의 서브-홀로그램을 효과적으로 계산하고 이들 서브-홀로그램을 결합하여 디스플레이용 홀로그램을 형성한다. 일부 실시예들에서, 제2 이미지 성분보다 제1 이미지 성분과 관련하여 더 많은 데이터 처리 리소스를 할당하는 과정은 제1 서브-영역에 대응하는 제1 서브-홀로그램의 계산과 관련하여 제2 서브-영역에 대응하는 제2 서브-홀로그램보다 더 많은 데이터 처리 리소스를 할당하는 과정을 포함한다.

홀로그램이 포인트 클라우드 홀로그램인 일부 실시예에서, 제2 서브-영역보다 제1 서브-영역과 관련하여 더 많은 데이터 처리 리소스를 할당하는 과정은 제2 서브-영역보다 제1 서브-영역과 관련하여 더 높은 밀도의 포인트 클라우드 데이터 포인트를 사용하는 과정을 포함한다.

반복 알고리즘을 사용하여 홀로그램이 계산된 다른 실시예에서, 제1 서브-영역과 관련하여 더 많은 데이터 처리 리소스를 할당하는 과정은 이미지의 제2 서브-영역보다 제1 서브-영역과 관련하여 알고리즘의 더 많은 반복을 수행하는 과정을 포함한다.

또 다른 실시예들에서, 제1 서브-영역에 대응하는 제1 서브-홀로그램은 포인트 클라우드 방법에 의해 계산되고, 제2 서브-영역에 대응하는 제2 서브-홀로그램은 반복 알고리즘에 의해 계산된다.

선택 사항이지만, 추가 이점을 얻을 수 있는 추가 기능은 위의 요약에 나와 있다. 이러한 기능은 자체 설명이 필요하지 않기 때문에, 여기에 반복되지 않으며, 따라서 완전히 이해하기 위하여 특정 예나 도면이 필요하지 않다.

도 11 및 도 12를 참조하여 설명된 실시예들에서, 이미지는 제1 이미지 성분 및 제2 이미지 성분을 포함한다고 말할 수 있으며, 여기서 각각의 이미지 성분은 이미지의 상이한 서브-영역(sub-area) 또는 서브-부분(sub-region)이다. 즉, 이미지 성분은 전체 이미지를 집합적으로 구성하는 이미지- 예컨대, 이미지 픽셀의 연속 및/또는 연속 블록 - 의 공간적 성분이다. 그러나, 본 개시에 따르면, 이미지는 상이하게 분해될 수 있다. 즉, "이미지 성분"은 이미지의 다른 측면 또는 구성 요소일 수 있다.

실시예들의 제2 그룹: 단색 성분들(single-colour components)

일부 실시예들에서, 재구성을 위한 이미지는 집합적으로 컬러 이미지를 - 예컨대, 디스플레이 평면에 겹쳐서 표시됨으로써 - 형성하는 복수의 단색 이미지 성분 - 예컨대, 적색, 녹색 및 청색 - 을 포함하는 컬러 이미지이다. 예컨대, 컬러 이미지는 복수의 이미지 픽셀을 포함할 수 있으며, 여기서 각각의 이미지 픽셀은 적색 픽셀 값, 녹색 픽셀 값 및 청색 픽셀 값을 포함한다. 독자는 이 개념에 매우 익숙할 것이다. 이들 실시예에서, 제1 이미지 성분은 이미지의 제1 단색 이미지 성분이다. 이들 실시예에서, 제2 이미지 성분은 이미지의 제2 단색 이미지 성분이다. 이미지의 제3 단색 이미지 성분이 있을 수 있으며, 여기서 제1 이미지 성분은 적색에 대응하고, 제2 이미지 성분은 녹색에 대응하고, 제3 이미지 성분은 청색에 대응한다. 각각의 단색 이미지 성분은 복수의 픽셀들을 포함한다.

이들 실시예에서, 각각의 단색 이미지 성분은 독립적으로 처리된다. 각각의 단색 이미지 성분은 그 자체로 "이미지"로 간주될 수 있다. 각각의 단색 이미지 성분의 홀로그램이 계산된다. 따라서, 각각의 이미지는 적어도 제1 홀로그램 및 제2 홀로그램을 생성할 수 있다. 제1 홀로그램은 (예컨대, 적색 광을 제공하는 레이저 다이오드로) 적절하게 조명되어 제1 (적색) 이미지 성분을 형성할 수 있다. 제2 홀로그램은 제2 (녹색) 이미지 성분에 대해 (예컨대, 녹색 광을 제공하는 레이저 다이오드로) 적절하게 조명될 수 있다. 각각의 색상의 공간적으로 변조된 광은 동공 확장기에 의해 뷰잉 시스템으로 전파된다. 단지 예로서, 단색 이미지 성분은 본 명세서에서 프레임 순차 색상 및 공간적으로 분리된 색상으로 지칭되는 것과 같은 방식을 사용하여 전체 색상 이미지를 형성하도록 재구성될 수 있다.

독자는 이미지의 단색 성분과 관련하여 다른 성분보다 더 많은 홀로그램 계산 리소스를 할당하는 것이 유리한 상황이 있을 수 있음을 이해할 수 있다.

예컨대, 일부 실시예에서, 뷰잉 시스템 또는 뷰어는 제2 단색 이미지 성분보다 제1 단색 이미지 성분에 대응하는 광에 더 민감하다. 즉, 뷰잉 시스템은 제2 단색 이미지 성분에 대응하는 파장을 갖는 광보다 제1 단색 이미지 성분에 대응하는 파장을 갖는 광에 더 반응(예컨대, 더 큰 출력)한다. 뷰잉 시스템으로부터 가장 큰 응답을 이끌어낼 홀로그램 계산의 우선 순위를 지정하는 것이 유리할 수 있다. 예컨대, 뷰잉 시스템이 인간 뷰어인 경우, 적색 또는 청색 이미지보다 녹색 이미지를 생성하는 홀로그램과 관련하여 더 많은 시간을 소비하거나 더 많은 데이터 포인트를 처리하는 것이 유리하다. 이들 실시예는 뷰잉 시스템에 의해 인지되는 이미지 품질을 개선하는 기술적 진보를 달성한다.

다른 실시예에서, 제1 단색 이미지 성분이 제2 단색 이미지 성분보다 이미지에서 시각적으로 더 우세하다고 결정된다. 이러한 결정 때문에, 제2 단색 이미지 성분보다 제1 단색 이미지 성분의 홀로그램 계산에 우선순위를 두는 것이 유리하다. 이들 실시예는 또한, 뷰잉 시스템에 의해 인지되는 이미지 품질을 개선하는 기술적 진보를 달성한다.

또 다른 실시예에서, 이미지의 배경 영역이 식별되고(예컨대, 공지된 이미지 처리/분석 기술에 의해), 이미지의 배경 영역의 파라미터는 색상 또는 가장 빈번한 색상 또는 평균 색상과 같은 일반적으로 지배적인 색상과 같이 식별된다. 이들 실시예에서, 하나의 단색 이미지 성분이 다른 단색 이미지 성분보다 (예컨대, 배경 위에) 더 잘 보일 가능성이 있다고 결정된다. 이 결정은 이미지의 배경의 식별된 파라미터에 기초할 수 있다. 이 결정은 배경의 파라미터(예: 색상)와 단색 이미지 성분의 대응하는 파라미터 사이의 대비 측정을 포함할 수 있다. 본 개시에 따르면, 배경 위에 더 잘 보이는 것으로 간주되거나 결정되는 복수의 단색 이미지 성분 중 단색 이미지 성분에 대응하는 홀로그램의 계산에 더 많은 데이터 처리 리소스가 할당된다.

다른 실시예에서, 재구성된 다색 이미지의 색상 밸런스는 예컨대, 뷰어의 눈, 머리 또는 시선-추적에 의하여 식별된 비-중심 시각 영역에 해당하는 이미지 영역에서 변경된다. 예컨대, 이것은 색상 밸런스를 500 nm 로 이동하고/이동하거나 600 nm 보다 큰 파장을 갖는 임의의 이미지 광의 강도를 감소시키는 것을 포함할 수 있다.

본 명세서에 설명된 개선된 방법 및 구성은 다양하고 상이한 애플리케이션 및 뷰잉 시스템에서 구현될 수 있다. 예컨대, 헤드업 디스플레이(HUD)로 구현될 수 있다. 지각된 이미지를 형성하기 위해 눈이 수신된 변조된 광을 변환해야 하는 가상 이미지가 본 명세서에서 일반적으로 설명되었지만, 본 명세서에서 설명된 개선된 방법 및 구성은 실제 이미지에 적용될 수 있다.

추가 특징들

실시예들은 단지 예로서 전기적으로 활성화된 LCOS 공간 광 변조기를 언급한다. 본 개시의 교시는 예컨대, 임의의 전기적으로 활성화된 SLM, 광학적으로 활성화된 SLM, 디지털 마이크로미러 장치 또는 마이크로 전자기계 장치와 같은 본 개시에 따라 컴퓨터 생성 홀로그램을 표시할 수 있는 임의의 공간 광 변조기에 동일하게 구현될 수 있다.

일부 실시예들에서, 광원은 레이저 다이오드와 같은 레이저이다. 본 개시의 홀로그래픽 프로젝션 시스템은 개선된 헤드업 디스플레이를 제공하기 위하여 사용될 수 있다. 일부 실시예들에서, HUD를 제공하기 위하여 차량에 설치된 홀로그램 프로젝션 시스템을 포함하는 차량이 제공된다. 이 차량은 자동차, 트럭, 밴, 화물차, 오토바이, 기차, 비행기, 보트 또는 선박과 같은 차량일 수 있다.

개시된 실시예들의 제2 그룹에서, 홀로그래픽 재구성은 컬러이다. 일부 실시예에서, 공간적으로 분리된 색상인 "SSC"라고 알려진 접근 방식은 색상 홀로그래픽 재구성을 제공하는 데 사용된다. 다른 실시예에서, 프레임 순차 컬러 "FSC"라고 알려진 접근 방식이 사용된다.

SSC 방법은 3개의 단색 홀로그램에 대해 공간적으로 분리된 3개의 광 변조 픽셀 어레이를 사용한다. SSC 방법의 장점은 세 가지 홀로그래픽 재구성이 동시에 형성될 수 있기 때문에 이미지가 매우 밝을 수 있다는 것이다. 그러나, 공간 제한으로 인해 공간적으로 분리된 3개의 광 변조 어레이가 공통 SLM에 제공되는 경우, 사용 가능한 광 변조 픽셀의 하위 집합만 각각의 색상에 사용되기 때문에 각각의 단색 이미지의 품질은 차선택이다. 이에 따라, 비교적 저해상도의 컬러 이미지가 제공된다.

FSC 방법은 공통 공간 광 변조기의 모든 픽셀을 사용하여 3개의 단색 홀로그램을 순서대로 표시할 수 있다. 단색 재구성은 인간 뷰어가 세 가지 단색 이미지의 통합으로부터 다색 이미지를 인식할 수 있을 만큼 충분히 빠르게 순환된다(예: 적색, 녹색, 청색, 적색, 녹색, 청색 등). FSC의 장점은 전체 SLM이 각각의 색상에 사용된다는 것이다. 이는 SLM의 모든 픽셀이 각각의 컬러 이미지에 사용되기 때문에 생성된 세 가지 컬러 이미지의 품질이 최적임을 의미한다. 그러나, FSC 방법의 단점은 각각의 단일 색상 조명 이벤트가 프레임 시간의 1/3 동안만 발생할 수 있기 때문에, 합성 컬러 이미지의 밝기가 SSC 방법보다 - 약 3배 - 더 낮다는 것이다. 이 단점은 레이저를 과도하게 구동하거나 더 강력한 레이저를 사용하여 잠재적으로 해결될 수 있지만, 더 많은 전력이 필요하므로 비용이 증가하고 시스템 크기가 증가한다.

예들은 가시광으로 SLM을 조명하는 것을 설명하지만, 당업자는 광원 및 SLM이, 예컨대, 본 명세서에서 개시된 바와 같이 적외선 또는 자외선을 지향시키기 위해 동등하게 사용될 수 있음을 이해할 것이다. 예컨대, 당업자는 정보를 사용자에게 제공할 목적으로 적외선 및 자외선을 가시광으로 변환하는 기술을 알고 있을 것이다. 예컨대, 본 개시는 이러한 목적을 위해 형광체(phosphors) 및/또는 양자점(quantum dot) 기술을 사용하는 것으로 확장된다.

일부 실시예들은 단지 예로서 2D 홀로그래픽 재구성을 설명한다. 다른 실시예에서, 홀로그래픽 재구성은 3D 홀로그래픽 재구성이다. 즉, 일부 실시예들에서, 각각의 컴퓨터 생성 홀로그램은 3D 홀로그래픽 재구성을 형성한다.

본 명세서에 설명된 방법 및 프로세스는 컴퓨터 판독 가능 매체에 구현될 수 있다. "컴퓨터 판독 가능 매체"라는 용어는 RAM(Random-Access Memory), ROM(Read-Only Memory), 버퍼 메모리, 플래시 메모리 및 캐시 메모리 등과 같이 데이터를 일시적으로 또는 영구적으로 저장하도록 구성된 매체를 포함한다. "컴퓨터 판독 가능 매체"라는 용어는 또한, 하나 이상의 프로세서에 의해 실행될 때 기계가 전체 또는 부분적으로 본 명세서에 설명된 방법론 중 임의의 하나 이상을 수행하도록 기계에 의한 실행을 위한 명령을 저장할 수 있는 모든 매체 또는 여러 매체의 조합을 포함하는 것으로 간주된다.

"컴퓨터 판독 가능 매체"라는 용어는 클라우드 기반 저장 시스템도 포함한다. "컴퓨터 판독 가능 매체"라는 용어는 솔리드-스테이트 메모리 칩(solid-state memory chip), 광 디스크(optical disc), 자기 디스크(magnetic disc) 또는 이들의 적절한 조합의 예시적인 형태로 된 하나 이상의 유형(tangible)의 비일시적 데이터 저장소(예: 데이터 볼륨들(data volumes))을 포함하지만, 이에 한정되지 않는다. 일부 예시적인 실시예에서, 실행을 위한 명령은 캐리어 매체에 의해 통신될 수 있다. 그러한 캐리어 매체의 예시는 과도(transient) 매체(예컨대 명령을 전달하는 전파 신호)를 포함한다.

첨부된 청구항들의 범위를 벗어남 없이, 다양한 수정 및 변형이 이루어질 수 있음은 당업자에게 자명할 것이다. 본 개시는 첨부된 청구범위 및 그 균등물의 범위 내에서 모든 수정 및 변형을 포함한다.

Claims (16)

1. 홀로그램으로부터 이미지를 재구성하는 방법으로서,
   디스플레이 시스템의 디스플레이 영역 내에서 디스플레이하기 위한 이미지를 수신하는 과정, 상기 디스플레이 영역은 상기 디스플레이 영역으로부터 공간적으로 분리된 뷰잉 영역(viewing area)으로부터 볼 수 있음;
   상기 이미지의 제1 이미지 성분을 결정하는 과정;
   상기 이미지의 홀로그램을 계산하는 과정, 상기 홀로그램은 각도 분포된 광의 각도 채널들이 상기 이미지의 각각의 연속적인 영역들에 대응하도록 상기 이미지 내의 위치에 따라 광을 각도 분포하도록 구성됨;
   디스플레이 장치에 상기 홀로그램을 디스플레이하고, 디스플레이된 홀로그램에 따라 광을 공간적으로 변조하는 과정;
   상기 디스플레이 장치로부터 상기 뷰잉 영역으로 공간적으로 변조된 광에 대한 복수의 상이한 광 전파 경로들을 제공하도록 구성된 동공 확장기(pupil expander)를 통해 상기 공간적으로 변조된 광을 전파하는 과정을 포함하되, 각각의 광 전파 경로는 상기 홀로그램으로부터의 광의 상기 각도 분포로 인하여 상기 이미지의 각각의 연속적인 영역에 대응함,
   상기 방법은 상기 이미지의 제2 이미지 성분보다 상기 제1 이미지 성분에 대한 상기 홀로그램의 계산에 더 많은 데이터 처리 리소스들(data processing resources)을 할당하는 과정을 포함하는, 방법.
2. 제1 항에 있어서,
   상기 제1 이미지 성분은 상기 이미지의 제1 서브-영역에 대응하고, 상기 제2 이미지 성분은 상기 이미지의 제2 서브-영역에 대응하는, 방법.
3. 제2 항에 있어서,
   상기 홀로그램의 계산은 복수의 서브-홀로그램들을 계산하는 과정을 포함하되, 각각의 서브-홀로그램은 상기 이미지의 상기 각각의 연속적인 영역들 중 상이한 영역에 대응하고, 상기 제2 이미지 성분보다 상기 제1 이미지 성분과 관련하여 더 많은 데이터 처리 리소스들을 할당하는 과정은 상기 제2 서브-영역에 대응하는 제2 서브-홀로그램보다 상기 제1 서브-영역에 대응하는 제1 서브-홀로그램의 계산과 관련하여 더 많은 데이터 처리 리소스들을 할당하는 과정을 포함하며, 선택적으로, 상기 제1 서브-영역에 대응하는 상기 제1 서브-홀로그램은 포인트 클라우드 방법/알고리즘을 사용하여 계산되고, 상기 제2 서브-영역에 대응하는 상기 제2 서브-홀로그램은 반복(iterative) 방법/알고리즘을 사용하여 계산되는, 방법.
4. 제2 항 및 제3 항 중 어느 한 항에 있어서,
   상기 홀로그램은 포인트 클라우드 홀로그램이고, 상기 제2 서브-영역보다 상기 제1 서브-영역과 관련하여 더 많은 데이터 처리 리소스들을 할당하는 과정은 상기 제2 서브-영역보다 상기 제1 서브-영역과 관련하여 더 높은 밀도(density)의 포인트 클라우드 데이터 포인트들을 사용하는 과정을 포함하는, 방법.
5. 제2 항 및 제3 항 중 어느 한 항에 있어서,
   상기 홀로그램을 계산하는 과정은 반복 알고리즘(iterative algorithm)을 실행하는 과정을 포함하고, 상기 제1 서브-영역과 관련하여 더 많은 데이터 처리 리소스들을 할당하는 과정은 상기 이미지의 상기 제2 서브-영역보다 상기 제1 서브-영역과 관련하여 상기 알고리즘의 더 많은 반복을 수행하는 과정을 포함하는, 방법.
6. 제5 항에 있어서,
   상기 이미지 영역은 입구 동공(entrance pupil), 렌즈 및 광 센서를 포함하는 뷰잉 시스템(viewing system)에 의해 상기 뷰잉 영역으로부터 보여지고, 상기 반복 알고리즘은:
   상기 뷰잉 시스템의 상기 입구 동공에서 제1 복소 광 필드를 결정하는 과정을 포함하는 제1 단계, 상기 제1 복소 광 필드는 상기 동공 확장기의 적어도 하나의 광 전파 경로를 따라 상기 디스플레이 장치로부터의 광의 전파 및 상기 뷰잉 시스템의 상기 입구 동공에 따른 자르기(cropping)의 결과임;
   상기 뷰잉 시스템의 상기 광 센서에서 제2 복소 광 필드를 결정하는 과정을 포함하는 제2 단계, 상기 제2 복소 광 필드는 상기 입구 동공으로부터 상기 뷰잉 시스템의 상기 렌즈를 통하여 상기 제1 복소 광 필드의 광의 전파 및 상기 이미지에 따른 진폭 성분의 변형(modification)의 결과임;
   상기 입구 동공에서 제3 복소 광 필드를 결정하는 과정을 포함하는 제3 단계, 상기 제3 복소 광 필드는 상기 센서로부터 상기 렌즈를 통하여 역방향으로 상기 제2 복소 광 필드의 광의 역전파(reverse propagation) 및 상기 입구 동공에 따른 자르기(cropping)의 결과임; 및
   상기 디스플레이 평면에서 제4 복소 광 필드를 결정하는 과정을 포함하는 제4 단계, 상기 제4 복소 광 필드는 상기 동공 확장기의 상기 적어도 하나의 광 전파에 따라 상기 제3 복소 광 필드의 광의 역전파 및 상기 디스플레이 장치에 따른 자르기의 결과임; 및
   상기 제4 복소 광 필드로부터 홀로그램을 추출하는 단계를 포함하는, 방법.
7. 제6 항에 있어서,
   상기 적어도 하나의 광 전파 경로는 상기 동공 확장기에 의해 제공되는 상기 복수의 광 전파 경로들 중 단지 하나이고, 상기 제1 단계 내지 상기 제4 단계는 각각의 광 전파 경로에 대한 서브-홀로그램을 추출하기 위하여 상기 복수의 광 전파 경로들의 각각의 광 전파 경로에 대해 수행되고, 상기 복수의 광 전파 경로들에 대응되는 상기 복수의 서브-홀로그램들은 상기 디스플레이 장치에 디스플레이 하기 위한 상기 홀로그램을 형성하기 위하여 결합되고, 및/또는 상기 제1 단계 내지 제4 단계는 최종 반복으로부터 상기 서브-홀로그램을 추출하는 상기 단계 이전에 각각의 광 전파 경로에 대해 되풀이하여 반복(iteratively repeated)되는, 방법.
8. 제2 항 및 제3 항 중 어느 한 항에 있어서,
   상기 제1 서브-영역의 상기 이미지 내의 크기 및/또는 위치에 관한 변경이 결정되면, 상기 방법을 반복하는 과정, 및/또는
   상기 제1 서브-영역의 상기 이미지 내의 상기 크기 및/또는 위치에 관한 변경이 결정되면, 상기 제1 이미지 성분에 대해 상기 홀로그램을 재계산하지만, 상기 제2 이미지 성분에 대해서는 재계산하지 않는 과정, 및/또는
   상기 디스플레이 영역의 대응하는 제1 서브-영역을 결정함으로써 상기 이미지의 상기 제1 서브-영역을 결정하는 과정을 추가로 포함하되, 상기 디스플레이 영역의 상기 제1 서브-영역은 상기 뷰잉 영역에서 뷰잉 시스템의 중심 시각 영역(foveal vision area)에 해당하고, 및 선택적으로, 상기 이미지의 상기 제2 서브-영역은 상기 디스플레이 영역의 대응하는 제2 서브-영역을 결정함으로써 결정되며, 상기 디스플레이 영역의 상기 제2 서브-영역은 상기 뷰잉 시스템의 주변 시각 영역(peripheral vision area)에 대응하는, 방법.
9. 제8 항에 있어서,
   상기 이미지의 상기 제1 서브-영역은 대응하는 중심 시각 영역보다 더 확장되지 않거나, 또는 상기 이미지의 상기 제1 서브-영역은 상기 중심 시각 영역에 부분적으로 포함된 상기 이미지의 이미지 특징(image feature)의 전체를 포함하도록 상기 대응하는 중심 시각 영역을 넘어 확장되는, 방법.
10. 제8 항에 있어서,
    상기 디스플레이 영역의 상기 제1 서브-영역을 결정하기 위하여 상기 뷰잉 시스템의 눈, 머리 또는 시선-추적(gaze-tracking) 과정을 더 포함하되, 및 선택적으로, 상기 눈, 머리 또는 시선-추적에 기초하여 상기 뷰어의 사각 지대(blind spot)에 대응하는 상기 이미지의 영역을 결정하는 과정 및 상기 뷰어의 상기 사각 지대에 해당하는 이미지 콘텐츠(image content)를 제거하기 위하여 상기 홀로그램 계산 이전에 상기 이미지를 처리하는 과정을 더 포함하는, 방법.
11. 제10 항에 있어서,
    상기 눈 또는 머리 위치 또는 시선 방향의 변화율을 결정하는 과정 및 상기 눈 또는 머리 위치 또는 시선 방향의 변화율이 저장된 값보다 큰 경우 상기 홀로그램 계산에 할당되는 상기 데이터 처리 리소스들을 감소시키는 과정, 및 선택적으로, 상기 디스플레이 장치는 가변 디스플레이 레이트(display rate)를 가지고, 상기 방법은 상기 눈 또는 머리 위치 또는 시선 방향의 변화율이 상기 저장된 값보다 큰 경우 상기 디스플레이 장치를 더 빠르게 업데이트하는 과정을 더 포함함, 및/또는
    상기 홀로그램 계산에 더 많은 데이터 처리 리소스들이 할당될 수 있도록 하기 위하여, 상기 눈 또는 머리 위치 또는 시선 방향과 관련되어 저장된 데이터를 기반하여 미래의 눈 또는 머리 위치 또는 시선 방향을 예측하는 과정을 더 포함하는, 방법.
12. 제2 항 및 제3 항 중 어느 한 항에 있어서,
    상기 이미지의 상기 홀로그램을 계산하기 이전에, 상기 제2 서브-영역에 비하여 상기 이미지의 상기 제1 서브-영역의 강도(intensity)를 증가시키는 과정을 더 포함하는, 방법.
13. 제1 항에 있어서,
    상기 이미지는 다색(polychromatic) 이미지이고, 상기 제1 이미지 성분은 상기 이미지의 제1 단색(monochromatic) 이미지 성분이고, 상기 제2 이미지 성분은 상기 이미지의 제2 단색 이미지 성분이며, 계산, 디스플레이 및 전파하는 상기 과정들은 상기 이미지의 각각의 단색 이미지 성분에 대해 독립적으로 수행되는, 방법.
14. 제13 항에 있어서,
    상기 공간적으로 변조된 광을 수신하도록 상기 뷰잉 영역 내에 구성된 뷰잉 시스템의 광 센서는 상기 제2 단색 이미지 성분보다 상기 제1 단색 이미지 성분에 대응하는 광에 더 민감하고, 및/또는
    상기 방법은:
    상기 제1 단색 이미지 성분이 상기 제2 단색 이미지 성분보다 상기 이미지에서 시각적으로 더 우세(dominant)하다고 결정하는 과정, 또는
    색상을 포함하는 상기 이미지의 배경(background)의 파라미터를 결정하고, 상기 이미지의 결정된 파라미터에 기초하여 상기 제1 단색 이미지 성분이 상기 제2 단색 이미지 성분보다 상기 배경 위에 보일 가능성이 더 높다고 결정하는 과정을 더 포함하는, 방법.
15. 제13 항 및 제14 항 중 어느 한 항에 있어서,
    상기 디스플레이 영역의 중심 시각 영역을 결정하기 위해 상기 뷰잉 시스템의 눈, 머리 또는 시선-추적 과정을 더 포함하고, 및 상기 디스플레이 영역의 비-중심 시각 영역(non-foveal vision area)에 대응하는 상기 이미지의 영역에서 재구성된 다색 이미지의 색상 밸런스(colour balance)을 변경하는 과정을 더 포함하되, 및 선택적으로, 상기 비-중심 시각 영역에서 상기 재구성된 다색 이미지의 상기 색상 밸런스를 변경하는 과정은 상기 색상 밸런스를 500 nm 쪽으로 이동하고/이동하거나 600 nm 보다 큰 파장을 갖는 임의의 이미지 광의 상기 강도를 감소시키는 과정을 더 포함하는, 방법.
16. 홀로그램으로부터 이미지를 재구성하도록 구성된 광 엔진으로서,
    상기 광 엔진은:
    디스플레이 영역 내에 디스플레이를 위한 이미지를 수신하고 상기 이미지의 제1 이미지 성분을 결정하도록 구성된 이미지 프로세서를 포함하되, 상기 디스플레이 영역은 상기 디스플레이 영역으로부터 공간적으로 분리된 뷰잉 영역으로부터 볼 수 있음;
    상기 이미지의 홀로그램을 계산하도록 구성된 홀로그램 엔진을 포함하되, 상기 홀로그램은 각도 분포된 광의 각도 채널들이 상기 이미지의 각각의 연속적인 영역들에 대응하도록 상기 이미지 내의 위치에 따라 광을 각도 분포하도록 구성됨;
    상기 홀로그램을 디스플레이하고 디스플레이된 홀로그램에 따라 광을 공간적으로 변조하는 디스플레이 장치;
    상기 디스플레이 장치로부터 상기 공간적으로 변조된 광을 수신하고 상기 디스플레이 장치를 통해 상기 공간적으로 변조된 광을 전파하여 상기 디스플레이 장치로부터 상기 뷰잉 영역으로 상기 공간적으로 변조된 광에 대한 복수의 상이한 광 전파 경로들을 제공하도록 구성된 동공 확장기를 포함하되, 각각의 광 전파 경로는 상기 홀로그램으로부터의 광의 상기 각도 분포로 인하여 상기 이미지의 각각의 연속적인 영역에 대응함,
    상기 광 엔진은 상기 이미지의 제2 이미지 성분보다 상기 제1 이미지 성분에 대한 상기 홀로그램의 계산에 더 많은 데이터 처리 리소스들을 할당하도록 구성되는, 광 엔진.
    

Images