KR102453726B1

KR102453726B1 - 홀로그램 프로젝터

Info

Publication number: KR102453726B1
Application number: KR1020200105454A
Authority: KR
Inventors: 웬지로우 미갈; 콜린 미카엘; 쵸드리 사하
Original assignee: 듀얼리타스 리미티드
Priority date: 2019-08-23
Filing date: 2020-08-21
Publication date: 2022-10-14
Also published as: US20210055691A1; GB201912158D0; US11480919B2; GB2586511B; KR20210023769A; GB2586511A

Abstract

홀로그램 프로젝터는 이미지 처리 엔진, 홀로그램 엔진, 디스플레이 엔진 및 광원을 포함한다. 이미지 처리 엔진은 프로젝션을 위한 소스 이미지를 수신하고 소스 이미지로부터 복수의 부 이미지(secondary image)를 생성하도록 구성된다. 소스 이미지는 픽셀들을 포함한다. 각 부 이미지는 소스 이미지보다 적은 픽셀로 구성된다. 제1 부 이미지는 제2 부 이미지보다 많은 픽셀을 가진다. 홀로그램 엔진은 복수의 홀로그램을 형성하기 위해 각각의 부 이미지에 대응하는 홀로그램을 결정하도록, 예컨대 계산하도록, 배열된다. 따라서, 제1 부 이미지에 대응하는 제1 홀로그램은 제2 부 이미지에 대응하는 제2 홀로그램보다 더 많은 픽셀을 갖는다. 디스플레이 엔진은 디스플레이 장치에 각 홀로그램을 차례로 표시하도록 배열된다. 광원은 디스플레이 하는 중에 각 홀로그램을 조명하도록 배열되어 재생 평면의 각 부 이미지에 해당하는 홀로그램 재구성을 형성한다.

Description

홀로그램 프로젝터{HOLOGRAPHIC PROJECTOR}

본 발명은 프로젝터에 관한 것이다. 보다 구체적으로, 본 발명은 홀로그램 프로젝터 및 홀로그램 프로젝션 시스템에 관한 것이다. 본 발명은 또한 소스 이미지를 홀로그램으로 프로젝션하는 방법 및 비디오 이미지를 홀로그램으로 프로젝션하는 방법에 관한 것이다. 일부 실시예들은 헤드 업 디스플레이 및 헤드 마운트 디스플레이에 관한 것이다.

물체에서 산란된 광은 진폭 및 위상 정보를 포함한다. 이러한 진폭 및 위상 정보는 예컨대 잘 알려진 간섭 기술에 의해 감광성 플레이트 상에 캡쳐 되어 홀로그래픽 기록 또는 간섭 줄무늬를 포함하는 "홀로그램"을 형성할 수 있다. 홀로그램은 원 객체를 나타내는 2 차원 또는 3 차원 홀로그래픽 재구성(reconstruction) 또는 재생(replay) 이미지를 형성하기에 적절한 광을 조사함으로써 구성될 수 있다.

컴퓨터 생성 홀로그래피(computer-generated holography)는 수치적으로 간섭 프로세스(interference process)를 시뮬레이션 할 수 있다. 컴퓨터 생성 홀로그램 "CGH"는 프레넬(Fresnel) 또는 푸리에(Fourier) 변환과 같은 수학적 변환에 기초한 기술에 의해 계산될 수 있다. 이러한 유형의 홀로그램은 프레넬 또는 푸리에 홀로그램으로 지칭될 수 있다. 푸리에 홀로그램은 객체의 푸리에 도메인 표현 또는 객체의 주파수 도메인 표현으로 간주될 수 있다. CGH는 또한 예컨대 가간섭성 광선 추적(coherent ray tracing) 또는 포인트 클라우드 기법(point cloud technique)에 의해 계산될 수 있다.

CGH는 입사광의 진폭 및/또는 위상을 변조하도록 형성된 공간 광 변조기, "SLM", 상에 인코딩 될 수 있다. 광 변조는 예컨대 전기적으로 어드레스 가능한 액정, 광학적으로 어드레스 가능한 액정 또는 마이크로 미러를 사용하여 달성될 수 있다.

SLM은 셀들(cells) 또는 요소들(elements)로 지칭될 수 있는 복수의 개별적으로 어드레싱 가능한 화소들을 포함할 수 있다. 광 변조 방식은 이진(binary), 다중 레벨(multilevel) 또는 연속(continuous)일 수 있다. 대안적으로, 이 장치는 연속적일 수 있으며(즉, 화소로 구성되지 않은), 이에 따라 광 변조는 장치 전체에 걸쳐서 연속적일 수 있다. 공간 광 변조기는 변조 광이 공간 광 변조기로부터 반사되어 출력된다는 점에서 반사형(reflective)일 수 있다. 공간 광 변조기는 변조 광이 공간 광 변조기를 투과하여 출력된다는 점에서 투과형(transmissive)일 수도 있다.

기재된 기술을 이용하여 이미징을 위한 홀로그래픽 프로젝터가 제공될 수 있다. 이러한 프로젝터는 예를 들어, 헤드업 디스플레이 "HUD" 및 근안 장치(near-eye devices)를 포함하는 헤드마운트 디스플레이 "HMD"에 적용된다.

홀로그래픽 프로젝터는 이미지를 재생 평면의 재생 필드에 프로젝트 한다. 기재된 기술을 사용할 때, 프로젝션 된 이미지는 본 명세서에서 "SLM 화소"로 지칭되는 SLM의 화소 상에 디스플레이 된 홀로그램으로부터 형성된다. 따라서, SLM 화소는 본 명세서에서 "홀로그램 화소"로 지칭되는 홀로그램의 화소를 디스플레이 한다. 프로젝트 된 이미지는 본 명세서에서 "이미지 화소"로도 지칭되는 "이미지 스폿(image spot)"으로 형성된다. 이미지 화소는 크기가 한정되어 있으며 재생 필드의 인접한 이미지 화소는 서로 간섭하거나 흐릿(blur)해질 수 있다. 이것을 본 명세서에서는 화소 크로스토크(pixel crosstalk)라고 지칭한다. 화소 누화 문제는 이미지 품질 저하를 초래한다.

또한, 홀로그램 엔진은 소스 이미지로부터 디스플레이하기위한 홀로그램을 결정하는데 시간이 걸린다. 예를 들어, 홀로그램은 적어도 하나의 푸리에 변환(Fourier transform)을 사용하여 계산된 푸리에 홀로그램 일 수 있다. 홀로그램을 계산하는 데 걸리는 시간은 홀로그램이 SLM에 기록될 수 있는 속도 및 따라서 일련의 소스 이미지가 비디오 스트림으로서 프로젝션 될 수 있는 속도(여기서는 "프레임 레이트(frame rate)"라고 함)를 제한할 수 있다. 따라서 수용할 수 있는 수준의 비디오 프레임 속도로 이미지를 프로젝트 하기가 어려울 수 있다.

본 명세서는 개선된 홀로그램 프로젝션 시스템 및 방법을 개시한다.

본 발명의 양태들은 첨부된 독립 청구항들에서 정의된다.

본 명세서에서, 이미지 처리 엔진, 홀로그램 엔진, 디스플레이 엔진 및 광원을 포함하는 홀로그램 프로젝터가 개시된다. 이미지 처리 엔진은 프로젝션을 위한 소스 이미지를 수신하고 소스 이미지로부터 복수의 부 이미지(secondary image)를 생성하도록 구성된다. 소스 이미지는 픽셀들을 포함한다. 각 부 이미지는 소스 이미지보다 적은 픽셀로 구성된다. 제1 부 이미지는 제2 부 이미지보다 많은 픽셀을 가진다. 홀로그램 엔진은 복수의 홀로그램을 형성하기 위해 각각의 부 이미지에 대응하는 홀로그램을 결정하도록, 예컨대 계산하도록, 배열된다. 따라서, 제1 부 이미지에 대응하는 제1 홀로그램은 제2 부 이미지에 대응하는 제2 홀로그램보다 더 많은 픽셀을 갖는다. 디스플레이 엔진은 디스플레이 장치에 각 홀로그램을 차례로 표시하도록 배열된다. 광원은 디스플레이 하는 중에 각 홀로그램을 조명하도록 배열되어 재생 평면의 각 부 이미지에 해당하는 홀로그램 재구성을 형성한다.

본 발명의 발명자들은, 본 명세서에서, 상이한 해상도를 갖는 복수의 부 이미지가 동일한 소스 이미지로부터 도출되는 접근법을 개시하고 있다. 홀로그램은 각 부 이미지에 대하여 결정되어 표시된다. 따라서 대응하는 복수의 홀로그램 재구성이 재생 평면 상에서 차례로 형성된다. 홀로그램 재구성은 인간의 눈에서 합쳐져 보일 수 있는 시간 내에 형성되므로 보는 사람은 자신이 보는 투사된 이미지가 차례로 형성된 여러 홀로그램 재구성에서 형성되었음을 인지 할 수 없다. 따라서 투사된 이미지는 원본 이미지를 충실하고 완전하게 재구성한 것처럼 보인다.

이 접근방식은 당해 기술분야에 세 가지 중요한 기술적 기여를 제공한다. 첫째, 투사된 이미지의 품질이 향상된다. 둘째, 투사된 이미지가 업데이트될 수 있는 속도(즉, 프레임 속도)가 증가한다. 셋째, 보다 유연한 디스플레이 장치가 제공된다. 이 세 가지 기술적 기여는 다음 세 단락에서 각각 설명된다.

첫째, 여기에 개시된 접근법은 서로 다른 시간에 서로 다른 이미지 픽셀을 표시함으로써 픽셀의 크로스토크(crosstalk)를 관리할 수 있게 한다. 보다 구체적으로, 서로 다른 그룹의 이미지 스팟이 서로 다른 시간에 표시된다. 예를 들어, 제1 시간에 형성된(예를 들어, 제1 부 이미지에 대응하는) 제1 홀로그래픽 재구성은 이미지 프레임의 제1 그룹의 이미지 픽셀(예를 들어, 하나 건너 하나씩의 이미지 픽셀)을 포함할 수 있고 두 번째 시간에 형성된 제2 홀로그래픽 재구성(예를 들어, 제2 부 이미지에 대응하는)은 나머지 이미지 픽셀을 포함하는 제2 그룹을 디스플레이 함으로써 이미지 프레임들 사이의 간격들을 채울 수 있다. 제1 및 제2 그룹(예: 인접 픽셀 그룹)의 이미지 픽셀이 동시에 표시되지 않기 때문에 픽셀 간 간섭 및 픽셀 크로스토크가 감소한다. 따라서 본 발명자들은 픽셀 크로스토크를 관리함으로써 이미지 품질을 향상시키기 위해 복수의 홀로그래픽 재구성을 (시간 내에) 인터레이싱(interlacing)하는 기술을 개시했다.

둘째로, 본 발명자들은 실시간(즉, 비디오 레이트) 처리에 적합한 접근법을 본 명세서에서 개시하고 있다. 특히, 홀로그램은 비디오의 프레임 시간 안에 결정되어 표시될 수 있다. 이러한 기술적 기여는 각 부 이미지가 소스 이미지보다 픽셀 수가 적기 때문에 얻어진다. 비록 더 많은 홀로그램이 각 소스 이미지에 대해 요구되지만, 각 개별 홀로그램이 훨씬 더 빨리 결정될 수 있다. 예를 들어, 2x 픽셀을 포함하는 하나의 홀로그램을 계산하는 것보다 푸리에 변환 방법을 사용하여 x 픽셀을 포함하는 두 개의 홀로그램을 계산하는 것이 더 빠르고; x 픽셀이 있는 하나의 홀로그램과 x 픽셀 보다 적은 픽셀을 갖는 다른 홀로그램을 계산하는 것이 훨씬 더 빠르다. 따라서 본 발명자들은 수용 가능한 비디오 프레임 속도에서 홀로그램 프로젝션을 가능하게 하기 위해 소스 이미지에 대응하는 홀로그램 계산 속도를 증가시키는 기술을 개시하고 있다.

셋째, 본 명세서에서, 공개된 접근 방식은 실제 프로젝터에서 매우 중요한 다양한 설계 자유도를 제공한다. 예를 들어, 이미지 처리 엔진은 외부 요인에 기초하여 다른 부 이미지의 크기/해상도를 포함하여 소스 이미지로부터 부 이미지를 도출하는 데 사용되는 방식을 동적으로 변경할 수 있다. 마찬가지로, 디스플레이 엔진은 외부 요인에 따라 홀로그램을 표시하는 데 사용되는 타일링 방식을 동적으로 변경할 수 있다. "타일링"은, SLM의 픽셀 수보다 더 적은 홀로그램 픽셀을 가진 SLM상에 홀로그램을 기록하는 것 및 SLM의 사용되지 않은 픽셀에서 홀로그램의 일부(즉, 홀로그램 픽셀의 연속 서브 세트)를 반복하는 것을 포함한다. 홀로그램을 표시하는 데 사용되는 타일이 많을수록 이미지 픽셀의 균일성이 향상된다. 따라서 본 새로운 접근 방식은 예를 들어 서로 다른 수의 타일을 사용하여 홀로그램을 표시함으로써 각 홀로그램을 다르게 타일링할 수 있게 한다. 일부 실제 응용 분야에서, 선택적으로, 낮은 리프레시 빈도만 필요하여 소스 이미지의 일부 이미지 콘텐츠를 최대 품질로 표시하는 것이 더 좋을 수 있으나, 다른 이미지 콘텐츠를 낮은 품질로 표시면서도, 선택적으로 더 높은 리프레시 빈도로 표시하는 것도 좋을 수 있다. 따라서 본 발명자들은 다양한 실제 상황에 유연하게 적용할 수 있는 기술을 공개했다.

본 명세서에 개시된 새로운 접근법의 이점들은 다음의 상세한 설명으로부터 더욱 명백해질 것이다.

"홀로그램"이라는 용어는 객체에 대한 진폭 정보 또는 위상 정보, 또는 그들의 몇몇 조합들을 포함하는 기록을 지칭하는데 사용된다. "홀로그래픽 재구성(holographic reconstruction)"이란 용어는 홀로그램을 조광하여 형성되는 물체의 광학적 재구성을 지칭하는 용어이다. "재생 평면(replay plane)"이라는 용어는 홀로그래픽 재구성이 완전히 형성되는 공간 내의 평면을 지칭한다. "재생 필드(replay field)"라는 용어는 공간 광 변조기로부터 공간-변조된 광을 수신할 수 있는 재생 평면의 부 영역(sub-area)을 지칭한다. "이미지", "재생 이미지" 및 "이미지 영역(image region)"이라는 용어는 홀로그래픽 재구성을 형성하도록 광에 의해 조광되는 재생 필드의 영역을 가리킨다. 일부 실시예들에서, "이미지"는 "이미지 화소"로 지칭될 수 있는 불연속적인 스폿들(discrete spots)을 포함할 수 있다.

"인코딩", "쓰기(writing)" 또는 "어드레싱(addressing)"은 각각의 화소의 변조 레벨을 개별적으로 결정하는 복수의 제어 값을 SLM의 복수의 화소들에 제공하는 프로세스를 기술하는 데 사용된다. SLM의 화소들은 복수의 제어 값을 수신하는 것에 응답하여 광 변조 분포를 "디스플레이"하도록 구성될 수 있다. 따라서, SLM은 홀로그램을 "디스플레이"한다고 할 수 있으며, 홀로그램은 광 변조 값 또는 레벨의 배열로 간주될 수 있다.

허용 가능한 품질의 홀로그래픽 재구성은 원래의 객체와 관련된 위상 정보만을 포함하는 "홀로그램"으로부터 형성될 수 있음이 밝혀졌다. 이러한 홀로그래픽 기록은 위상-한정 홀로그램으로 지칭될 수 있다. 일부 실시예들은 단지 예로서 위상-한정 홀로그램과 관련된다. 실시예들은 위상-한정 홀로그램에 관련되나 본 발명은 진폭-한정 홀로그래피에도 동등하게 적용 가능하다.

본 발명은 또한 원래 객체와 관련된 진폭 및 위상 정보를 사용하여 홀로그래픽 재구성을 형성하는데 동일하게 적용 가능하다. 일부 실시예에서, 이것은 원래 객체와 관련된 진폭 및 위상 정보를 모두 포함하는 소위 완전-복소 홀로그램을 사용하는 복소 변조에 의해 달성된다. 이러한 홀로그램은 홀로그램의 각 화소에 할당된 값(그레이 레벨)이 진폭 및 위상 성분을 갖기 때문에 완전-복소 홀로그램으로 불릴 수 있다. 각 화소에 할당된 값(그레이 레벨)은 진폭 및 위상 성분을 갖는 복소수로 표현될 수 있다. 일부 실시 예에서, 완전-복소 컴퓨터 생성 홀로그램이 계산된다.

위상 값, 위상 성분, 위상 정보, 또는 간단히, 컴퓨터 생성 홀로그램 또는 공간 광 변조기의 화소들의 위상을 "위상-지연"의 약자로서 참조할 수 있다. 즉, 기술된 임의의 위상 값은 사실 그 화소에 의해 제공된 위상 지연의 양을 나타내는 숫자(예를 들어, 0 내지 2π범위인)이다. 예를 들어, 공간 광 변조기의 화소가 위상 값 π를 갖는 것으로 기술된다면, 이는 전달된 광의 위상을 π라디안만큼 변경할 것이다. 일부 실시예들에서, 공간 광 변조기의 화소 각각은 복수의 가능한 변조 값들(예를 들어, 위상 지연 값들)에서 동작 가능하다. "그레이 레벨"이란 용어는 복수의 이용 가능한 변조 레벨을 지칭하는데 사용될 수 있다. 예를 들어, "그레이 레벨"이란 용어는 상이한 위상 레벨들이 상이한 그레이 정도를 제공하지 않더라도, 편의상 위상-한정 변조기의 복수의 가용 위상 레벨을 지칭하는데 사용될 수 있다. "그레이 레벨"이란 용어는 또한 복소 변조기에서 복수의 가용 복소 변조 레벨을 지칭하는데 사용될 수 있다.

상이한 구성 및 구성의 그룹이 후술하는 상세한 설명에 개별적으로 개시될 수 있지만, 임의의 구성 또는 구성의 그룹의 임의의 특징은 임의의 구성 또는 구성 그룹의 임의의 다른 특징 또는 특징들의 조합과 결합될 수 있다. 즉, 본 개시에 개시된 특징들의 모든 가능한 조합 및 순열이 고려된다.

구체적인 구성은 다음의 도면을 참조하여 단지 예로서 설명된다:
도 1은 스크린 상에 홀로그래픽 재구성을 생성하는 반사형 SLM을 나타내는 개략도이다.
도 2a는 예시적인 Gerchberg-Saxton 유형 알고리즘의 첫 번째 반복을 도시한다.
도 2b는 예시적인 Gerchberg-Saxton 유형 알고리즘의 두 번째 및 후속 반복을 보여준다.
도 2c는 예시적인 Gerchberg-Saxton 유형 알고리즘의 대안적인 두 번째 및 후속 반복을 도시한다.
도 3은 반사형 LCOS SLM의 개략도이다.
도 4는 홀로그래픽 프로젝터에 의한 투영을 위해 소스 이미지로부터 유도된 각각의 부 이미지로부터 홀로그램 쌍을 결정하기 위한 예시적인 기술을 도시한다.
도 5는 일 실시예에 따라 홀로그램 프로젝터의 SLM에 기록될 수 있는 소스 이미지에 대한 한 쌍의 홀로그램과, 차례로 SLM에 의해 디스플레이하기 위한 각 홀로그램의 타일링을 포함하는 데이터 프레임을 도시한다.
도 6은 일 실시예에 따른 홀로그래픽 프로젝터에 의한 투영을 위해 소스 이미지로부터 복수의 부 이미지를 유도하기 위한 예시적인 기술을 도시한다.
도 7은 도 6의 부 이미지 각각으로부터 홀로그램을 결정하기 위한 또 다른 예시적인 기술, 및 실시예들에 따라 결정된 홀로그램을 포함하는 예시적인 데이터 프레임을 도시한다.
도 8a 및 8b는 실시예들 따라 복수의 홀로그램을 포함하는 추가적인 예시 데이터 프레임을 도시한다.
도 9는 실시예에 따른 홀로그래픽 프로젝터를 도시하는 개략도이다.
도면에서, 동일한 참조 번호는 동일하거나 유사한 부분을 지칭한다.

본 발명은 다음에 설명되는 구성에 제한되지 않으며, 첨부된 청구 범위의 전체 범위로 확장한다. 즉, 본 발명은 다른 형태로 실시될 수 있으며 설명의 목적으로 제시된 기재된 구성에 한정되는 것으로 해석되어서는 안된다.

단수형의 용어는 달리 명시되지 않는 한 복수형을 포함할 수 있다.

구조물의 상부/하부 또는 상/하에 형성된 구조물이라고 기술된 경우, 구조물들이 서로 접촉하는 경우 및 제3의 구조물이 그 사이에 배치되는 경우를 포함하는 것으로 해석되어야 한다.

시간 관계를 기술함에 있어서, 사건의 시간 순서가 예를 들어 "후", "후속", "다음", "전" 등으로 기술될 때, 본 개시는 별도로 규정하지 않는 한은 연속적 및 비연속적 사건을 포함하는 것으로 간주되어야 한다. 예를 들어, 그 기재가 "막(just)", "바로(immediate)" 또는 "직접(direct)"라는 기재가 사용되지 않는 한, 비연속적 경우를 포함하는 것으로 간주되어야 한다.

"제1", "제2" 등의 용어는 다양한 요소를 설명하기 위해 본 명세서에서 사용될 수 있지만, 이러한 요소들은 이들 용어에 의해 제한되지 않는다. 이 용어는 하나의 요소를 다른 요소와 구별하기 위해서만 사용된다. 예를 들어, 제1요소는 제2요소로 지칭될 수 있고, 유사하게, 제2요소는 첨부된 청구 범위를 벗어남 없이 제1요소로 지칭될 수 있다.

상이한 구성의 특징들은 부분적으로 또는 전체적으로 서로 연결되거나 결합될 수 있으며, 다양한 형태로 서로 상호 작용할 수 있다. 어떤 구성은 서로 독립적으로 수행될 수도 있고, 서로 연계되어 함께 수행될 수도 있다.

광학 구성

도 1은 컴퓨터 생성 홀로그램이 단일 공간 광 변조기 상에 인코딩 되는 실시예를 도시한다. 컴퓨터 생성 홀로그램은 재구성을 위한 객체의 푸리에 변환이다. 따라서 홀로그램은 객체의 푸리에 도메인 또는 주파수 도메인 또는 스펙트럼 도메인 표현이라고 말할 수 있다. 일 실시예에서, 공간 광 변조기는 실리콘 장치, "LCOS" 상의 반사형 액정이다. 홀로그램은 공간 광 변조기 상에 인코딩 되고, 홀로그래픽 재구성은 재생 필드, 예컨대 스크린 또는 디퓨저와 같은 수광 부재 또는 스크린에 형성된다.

예컨대 레이저나 레이저 다이오드 같은 광원(110)은 콜리메이팅 렌즈(Collimating Lens, 111)를 통해 SLM(140)에 조광하도록 배치된다. 콜리메이팅 렌즈는 광이 SLM 상에 전체적으로 평면 파면으로 입사되도록 만든다. 도 1에서, 파면의 방향은(예컨대, 투명층의 평면 대비 완전 직각으로부터 2˚ 또는 3˚정도 떨어진) 약간 오프노멀(Off-Normal)하다. 그러나, 다른 실시예들에서, 전체적으로 평면인 파면은 법선 방향으로 입사되고, 입력 및 출력 광경로를 분리하기 위한 빔 스플리터 배치(beam splitter arrangement)가 사용된다. 도 1에 도시된 실시예에서, 이러한 배치는, 광원으로부터 오는 광이 SLM의 후방면의 미러에 반사되며 출사 파면(Exiting Wavefront, 112)을 형성하기 위해 광 변조층과 상호작용하게 한다. 출사 파면(112)은 스크린(125)에 초점이 맞춰진 푸리에 변환 렌즈(120)를 포함하는 광학계에 적용된다. 더욱 상세하게, 푸리에 변환 렌즈(120)는 SLM(140)으로부터 출사되는 변조된 광의 빔을 전달받아 스크린(125)에 홀로그래픽 재구성을 생성하기 위해 주파수-공간 변환을 수행한다.

특히, 이러한 유형의 홀로그래피에서 홀로그램의 각 화소는 전체 재구성에 기여한다. 재생 필드의 특정 지점(또는 이미지 화소)과 특정 광 변조 요소(또는 홀로그램 화소) 간에는 일대일 상관 관계가 없다. 다르게 표현하면, 광 변조 층을 나가는 변조된 광은 재생 영역을 가로 질러 분배된다.

이 실시예들에서, 공간 상에서의 홀로그래픽 재구성의 위치는 푸리에 변환 렌즈의 굴절(포커싱) 파워(dioptric(focusing) power)에 의해 결정된다. 도 1에 도시된 실시예에서, 푸리에 변환 렌즈는 물리적 렌즈이다. 즉, 푸리에 변환 렌즈는 광학적 푸리에 변환 렌즈이며 푸리에 변환은 광학적으로 수행된다. 어떤 렌즈라도 푸리에 변환 렌즈 역할을 할 수 있지만, 수행되는 푸리에 변환의 정확도는 렌즈의 성능에 좌우된다. 통상의 기술자는 렌즈를 사용하여 광학적 푸리에 변환을 수행하는 방법을 이해한다.

홀로그램 계산

일부 실시예에서, 컴퓨터 생성 홀로그램은 푸리에 변환 홀로그램, 또는 단순히 푸리에 홀로그램 또는 푸리에 기반 홀로그램이고, 여기서 이미지는 양의 렌즈의 푸리에 변환 특성을 이용하여 파-필드(far-field)에서 재구성된다. 푸리에 홀로그램은 재생면의 원하는 광 필드를 푸리에 변환하여 렌즈 평면에 오도록 계산된다. 컴퓨터 생성 푸리에 홀로그램은 푸리에 변환을 사용하여 계산될 수 있다.

푸리에 변환 홀로그램은 게르흐버그-색스톤(Gerchberg-Saxton)과 같은 알고리즘을 사용하여 계산될 수 있다. 또한, 게르흐버그-색스톤 알고리즘은 공간영역(예컨대, 사진)의 진폭-한정 정보로부터 푸리에 도메인의 홀로그램(즉, 푸리에 변환 홀로그램)을 계산하는 데 사용될 수 있다. 객체에 관한 위상 정보는 공간영역 내의 진폭-한정 정보로부터 "얻어질(retrieved)" 수 있다. 몇몇 실시예들에서, 컴퓨터-생성 홀로그램은 게르흐버그-색스톤 알고리즘 또는 그 변형 알고리즘을 이용해 진폭-한정 정보로부터 계산된다.

게르흐버그-색스톤 알고리즘은, 각각의 평면 A와 B에서 광빔(light beam) IA(x, y) 및 IB(x, y)의 강도 단면(intensity cross-sections)이 각각 단일 푸리에 변환으로 상호 연관되어 있는 상황을 고려한다. 주어진 강도 단면에서, 평면 A 및 B에서의 각각의 위상 분포에 대한 근사치인 ΨA(x, y) 및 ΨB(x, y) 가 구해진다. 게르흐버그-색스톤 알고리즘은 반복 프로세스(iterative process)를 따름으로써 이 문제에 대한 해결책을 찾는다. 더욱 상세하게, 게르흐버그-색스톤 알고리즘은 공간 영역과 푸리에(스펙트럼 또는 주파수) 영역 사이에서 IA(x, y) 및 IB(x, y)를 대표하는 데이터 세트(진폭 및 위상)를 반복적으로 전달하면서(repeatedly transferring) 공간적 및 스펙트럼 제약(constraints)을 반복적으로 적용한다. 스펙트럼 영역 내 상응하는 컴퓨터 생성 홀로그램이 이 알고리즘의 1 회 이상의 반복을 통해 얻어진다. 이 알고리즘은 입력 이미지를 나타내는 홀로그램을 생성하도록 구성되고 수렴된다. 홀로그램은 진폭-한정 홀로그램, 위상-한정 홀로그램 또는 완전-복소 홀로그램(fully-complex hologram)일 수 있다.

일부 실시예에서, 위상-한정 홀로그램은 영국 특허 제2,498,170호 또는 제2,501,112호에 기술된 바와 같은 게르흐버그-색스톤 알고리즘에 기초한 알고리즘을 사용하여 계산되며, 이 특허들은 그 전체로서 원용되어 본 명세서에 통합된다. 그러나, 여기에 개시된 실시예는 단지 예시로서 위상-한정 홀로그램을 계산하는 것을 설명한다. 이들 실시예에서, 게르흐버그-색스톤 알고리즘은 알려진 진폭 정보 T[x, y]를 발생시키는 데이터 세트의 푸리에 변환의 위상 정보 Ψ[u, v]를 검색하는데, 여기서 진폭 정보 T[x, y]는 대상 이미지(예컨대, 사진)를 나타낸다. 진폭과 위상은 푸리에 변환에서 본질적으로 결합되므로, 변환된 크기와 위상에는 계산된 데이터 세트의 정확성에 대한 유용한 정보가 포함된다. 따라서, 알고리즘은 진폭 및 위상 정보 모두에 대한 피드백을 반복적으로 사용할 수 있다. 그러나, 이들 실시예에서, 위상 정보 Ψ[u, v]만이 홀로그램으로서 사용되어 이미지 평면에서 타겟 이미지의 홀로그래픽 표현을 형성한다. 홀로그램은 위상 값들의 데이터 세트(예를 들어, 2D 어레이)이다.

다른 실시예에서, 게르흐버그-색스톤 알고리즘에 기초한 알고리즘은 완전-복소 홀로그램을 계산하는데 사용된다. 완전-복소 홀로그램은 크기 성분 및 위상 성분을 갖는 홀로그램이다. 홀로그램은 복소 데이터 값들의 어레이를 포함하는 데이터 세트(예를 들어, 2D 어레이)이고, 각각의 복소 데이터 값은 크기 성분 및 위상 성분을 포함한다.

일부 실시 예에서, 알고리즘은 복소 데이터를 처리하고, 푸리에 변환은 복소 푸리에 변환이다. 복소 데이터는(i) 실수 성분 및 허수 성분 또는(ii) 크기 성분 및 위상 성분을 포함하는 것으로 간주될 수 있다. 일부 실시예에서, 복소 데이터의 2개의 성분은 알고리즘의 다양한 단계에서 다르게 처리된다.

도 2a는 위상-한정 홀로그램을 계산하기 위한 일부 실시예에 따른 알고리즘의 제1반복을 도시한다. 알고리즘에 대한 입력은 화소 또는 데이터 값의 2D 어레이를 포함하는 입력 이미지(210)이며, 여기서 각 화소 또는 데이터 값은 크기 또는 진폭 값이다. 즉, 입력 이미지(210)의 각 화소 또는 데이터 값은 위상 성분을 갖지 않는다. 따라서, 입력 이미지(210)는 크기-한정 또는 진폭-한정 또는 세기-한정 분포로 간주될 수 있다. 이러한 입력 이미지(210)의 일례는 프레임의 시간적 시퀀스를 포함하는 비디오 또는 사진의 한 프레임이다. 알고리즘의 제1반복은 랜덤 위상 분포(또는 랜덤 위상 시드)(230)를 사용하여, 초기 복소 데이터 세트(starting complex data set)의 각각의 데이터 요소가 크기 및 위상을 포함하도록, 입력 이미지의 각 화소에 랜덤 위상 값을 할당하는 단계를 포함하는 데이터 형성 단계(202A)에서 시작한다. 초기 복소 데이터 세트는 공간 도메인에서의 입력 이미지를 나타낸다고 말할 수 있다.

제1프로세싱 블록(250)은 초기 복소 데이터 세트를 수신하고 복소 푸리에 변환을 수행하여 푸리에 변환된 복소 데이터 세트를 형성한다. 제2프로세싱 블록(253)은 푸리에 변환된 복소 데이터 세트를 수신하여 홀로그램(280A)을 출력한다. 일부 실시예에서, 홀로그램(280A)은 위상-한정 홀로그램이다. 이들 실시예에서, 제2프로세싱 블록(253)은 각각의 위상 값을 양자화하고 홀로그램(280A)을 형성하기 위해 각 진폭 값을 1로 설정한다. 각 위상 값은 위상-한정 홀로그램을 "디스플레이"하는데 사용될 공간 광 변조기의 화소 상에 표현될 수 있는 위상 레벨에 따라 양자화된다. 예를 들어, 공간 광 변조기의 각 화소가 256 개의 상이한 위상 레벨을 제공하면, 홀로그램의 각 위상 값은 256개의 가능한 위상 레벨 중 하나의 위상 레벨로 양자화된다. 홀로그램(280A)은 입력 이미지를 나타내는 위상-한정 푸리에 홀로그램이다. 다른 실시예에서, 홀로그램(280A)은 수신된 푸리에 변환된 복소 데이터 세트로부터 유도된 복소 데이터 값(각각 진폭 성분 및 위상 성분을 포함함)의 어레이를 포함하는 완전-복소 홀로그램이다. 일부 실시예에서, 제2프로세싱 블록(253)은 홀로그램(280A)을 형성하기 위해 복수의 허용 가능한 복소 변조 레벨 중 하나로 각각의 복소 데이터 값을 제한한다. 제한 단계는 복소수 평면에서 각 복소 데이터 값을 가장 가까운 허용 복소수 변조 레벨로 설정하는 단계를 포함할 수 있다. 홀로그램(280A)은 스펙트럼 또는 푸리에 또는 주파수 도메인에서의 입력 이미지를 나타낸다고 말할 수 있다. 일부 실시예에서, 알고리즘은 이 시점에서 정지한다.

그러나, 다른 실시예에서, 알고리즘은 도 2a의 점선 화살표로 나타낸 바와 같이 계속된다. 즉, 도 2a의 점선 화살표를 따르는 단계는 선택적이다(즉, 모든 실시예에 필수적인 것은 아님).

제3프로세싱 블록(256)은 제2프로세싱 블록(253)으로부터 수정된 복소 데이터 세트를 수신하고, 역 푸리에 변환된 복소 데이터 세트를 형성하기 위해 역 푸리에 변환을 수행한다. 역 푸리에 변환된 복소 데이터 세트는 공간 도메인에서의 입력 이미지를 나타낸다고 말할 수 있다.

제4프로세싱 블록(259)은 역 푸리에 변환된 복소 데이터 세트를 수신하고, 진폭 값(211A)의 분포 및 위상 값(213A)의 분포를 추출한다. 선택적으로, 제4프로세싱 블록(259)은 진폭 값들(211A)의 분포를 평가한다. 구체적으로, 제4프로세싱 블록(259)은 역 푸리에 변환된 복소 데이터 세트의 진폭 값(211A)의 분포를, 당연히 진폭 값의 분포인, 입력 이미지(510)와 비교할 수 있다. 진폭 값들(211A)과 입력 이미지(210)의 분포 사이의 차이가 충분히 작으면, 제4프로세싱 블록(259)은 홀로그램(280A)이 허용 가능한 것으로 결정할 수 있다. 즉, 진폭 값들(211A)의 분포와 입력 이미지(210)의 차이가 충분히 작으면, 제4프로세싱 블록(259)은 홀로그램(280A)이 입력 이미지(210)를 충분히 정확하게 나타내는 것으로 결정할 수 있다. 일부 실시예들에서, 비교 과정에서 역 푸리에 변환된 복소 데이터 세트의 위상 값(213A)의 분포는 무시된다. 진폭 값들(211A) 및 입력 이미지(210)의 분포를 비교하기위한 임의의 수의 상이한 방법들이 이용될 수 있으며, 본 개시는 임의의 특정 방법에 제한되지 않음을 이해할 것이다. 일부 실시예들에서, 평균 제곱 차이가 계산되고, 평균 제곱 차이가 임계 값 보다 작은 경우, 홀로그램(280A)은 수용 가능한 것으로 간주된다. 제4프로세싱 블록(259)이 홀로그램(280A)이 수용 가능하지 않다고 결정하면, 알고리즘의 추가 반복이 수행될 수 있다. 그러나, 이러한 비교 단계는 필수적인 것은 아니며, 다른 실시예에서, 수행된 알고리즘의 반복 횟수는 미리 결정되거나 미리 설정되거나 사용자 정의된다.

도 2b는 알고리즘의 두 번째 반복 및 알고리즘의 임의의 반복을 나타낸다. 선행 반복의 위상 값(213A)의 분포는 알고리즘의 처리 블록을 통해 피드백 된다. 제1반복에서, 데이터 형성 단계(202A)는 입력 이미지(210)의 진폭 값들의 분포를 랜덤 위상 분포(230)와 결합하여 제1복소 데이터 세트를 형성한다. 그러나, 두 번째 및 후속 반복에서, 데이터 형성 단계(202B)는(i) 알고리즘의 이전 반복으로부터의 위상 값(213A)의 분포와(ii) 입력 이미지(210)의 진폭 값들의 분포를 합하여 복소 데이터 세트를 형성하는 단계를 포함한다.

도 2b의 데이터 형성 단계(202B)에 의해 형성된 복소 데이터 세트는 도 2A를 참조하여 기술된 것과 동일한 방식으로 처리되어 제2반복 홀로그램(280B)을 형성한다. 따라서 여기에서 프로세스의 설명은 반복되지 않는다. 알고리즘은 제2반복 홀로그램(280B)이 계산되면 중단될 수 있다. 그러나, 알고리즘의 임의의 수의 추가 반복이 수행될 수 있다. 제3프로세싱 블록(256)은 제4프로세싱 블록(259)이 요구되거나 더 많은 반복이 요구되는 경우에만 요구된다는 것을 이해할 것이다. 출력 홀로그램(280B)은 일반적으로 반복마다 개선된다. 그러나 실제로는, 측정 가능한 개선이 관찰되지 않거나, 처리 시간의 증가라는 부정적 효과가 추가 반복을 수행하는 긍정적 이점 보다 커지는 시점이 도달한다. 따라서, 알고리즘은 반복적이고 수렴적으로 기술된다.

도 2c는 두 번째 및 후속 반복의 대안적인 실시예를 나타낸다. 선행 반복의 위상 값(213A)의 분포는 알고리즘의 프로세싱 블록을 통해 피드백 된다. 진폭 값(211A)의 분포는 대안적인 진폭 값의 분포를 위해 소거된다. 이 대안적인 실시예에서, 대안적인 진폭 값의 분포는 이전 반복의 진폭 값(211)의 분포로부터 도출된다. 특히, 프로세싱 블록(258)은 이전 반복의 진폭 값들(211)의 분포로부터 입력 이미지(210)의 진폭 값들의 분포를 감산하고, 그 차이를 이득 계수 α만큼 스케일링하고, 입력 이미지(210)로부터 스케일링 된 차분을 감산한다. 이는 다음의 방정식에 의해 수학적으로 표현되며, 아래 첨자 텍스트 및 숫자는 반복 횟수를 나타낸다.

여기서:

F'는 역 푸리에 변환이고;

F는 순방향 푸리에 변환이고;

R[x, y]는 제3프로세싱 블록(256)에 의해 출력된 복소 데이터 세트이고;

T[x, y]는 입력 또는 대상 이미지이고;

∠는 위상 성분이고;

ψ는 위상-한정 홀로그램(280B)이고;

η은 진폭 값(211B)의 새로운 분포이며;

α는 이득 계수이다.

이득 계수 α는 고정되거나 가변적일 수 있다. 일부 실시예에서, 이득 계수 α는 입력 목표 이미지 데이터의 크기 및 속도(rate)에 기초하여 결정된다. 일부 실시예에서, 이득 계수 α는 반복 횟수에 의존한다. 일부 실시예에서, 이득 계수 α는 단지 반복 횟수의 함수이다.

도 2c의 실시예는 다른 모든 면에서 도 2a 및 도 2b의 실시예와 동일하다. 위상-한정 홀로그램 ψ(u, v)는 주파수 또는 푸리에 도메인에서의 위상 분포를 포함한다고 말할 수 있다.

일부 실시예에서, 푸리에 변환은 홀로그래픽 데이터에 렌즈를 나타내는 데이터를 포함하여 계산에 의해 수행된다. 즉, 홀로그램은 객체를 나타내는 데이터 뿐만 아니라 렌즈를 나타내는 데이터를 포함한다. 이러한 실시예에서, 도 1의 물리적 푸리에 변환 렌즈(120)는 생략될 수 있다. 컴퓨터 생성 홀로그램 분야에서 렌즈를 나타내는 홀로그래픽 데이터를 계산하는 방법은 알려져 있다. 렌즈를 나타내는 홀로그래픽 데이터는 소프트웨어 렌즈로 지칭될 수 있다. 예를 들어, 위상-한정 홀로그래픽 렌즈는 그 굴절률 및 공간적으로 변하는 광 경로 길이로 인해 렌즈의 각각의 포인트에 의해 야기되는 위상 지연을 계산함으로써 형성될 수 있다. 예를 들어, 볼록 렌즈 중심에서의 광경로 길이는 렌즈 가장자리에서의 광경로 길이보다 길다. 진폭-한정 홀로그래픽 렌즈는 프레넬 존 플레이트(Fresnel zone plate)에 의해 형성될 수 있다. 또한, 컴퓨터 생성 홀로그램의 기술 분야에서, 렌즈를 나타내는 홀로그래픽 데이터를, 객체를 나타내는 홀로그래픽 데이터와 결합함으로써 그 홀로그램의 푸리에 변환이 물리적 푸리에 렌즈의 필요없이 수행될 수 있는 방법이 알려져 있다. 일부 실시예에서, 렌즈 효과 데이터는 간단한 벡터 합산과 같은 단순 합산에 의해 홀로그래픽 데이터와 결합된다. 일부 실시예에서, 푸리에 변환을 수행하기 위해 소프트웨어 렌즈와 함께 물리적 렌즈가 사용된다. 대안적으로, 다른 실시예들에서, 홀로그래픽 재구성이 파-필드(far-field)에서 발생하도록 푸리에 변환 렌즈는 모두 생략된다. 다른 실시 예에서, 홀로그램은 그레이팅(grating) 데이터, 즉 빔 스티어링(beam steering)과 같은 그레이팅의 기능을 수행하도록 형성된 데이터를 포함할 수 있다. 다시, 컴퓨터 생성 홀로그래피의 분야에서 그러한 홀로그래픽 데이터를 계산하고 이것을 객체를 나타내는 홀로그래픽 데이터와 결합시키는 방법은 알려져 있다. 예를 들어, 위상-한정 홀로그래픽 그레이팅은 블레이즈 된(brazed) 그레이팅의 표면 상의 각 포인트에 의해 야기된 위상 지연을 모델링함으로써 형성될 수 있다. 진폭-한정 홀로그래픽 그레이팅은 객체를 나타내는 진폭-한정 홀로그램에 간단히 중첩(superimposed)되어 진폭-한정 홀로그램의 각도 스티어링(angular steering)을 제공할 수 있다.

일부 실시예에서, 푸리에 변환은 물리적 푸리에 변환 렌즈 및 소프트웨어 렌즈에 의해 공동으로 수행된다. 즉, 푸리에 변환에 기여하는 일부 광 파워는 소프트웨어 렌즈에 의해 제공되고, 푸리에 변환에 기여하는 나머지 광 파워는 물리적 광학 또는 광학들에 의해 제공된다.

실시예는 푸리에 홀로그래피 및 게르흐버그-색스톤 타입 알고리즘에 관한 것이다. 본 개시는 포인트 클라우드 방법에 기초한 것과 같은 다른 기술에 의해 계산된 프레넬 홀로그래피 및 홀로그램에도 동등하게 적용 가능하다.

광 변조

공간 광 변조기는 컴퓨터 생성 홀로그램을 디스플레이 하는 데 사용될 수 있다. 홀로그램이 위상-한정 홀로그램인 경우, 위상을 변조하는 공간 광 변조기가 필요하다. 홀로그램이 완전-복소 홀로그램인 경우, 위상 및 진폭을 변조하는 공간 광 변조기가 사용될 수 있거나 위상을 변조하는 제1공간 광 변조기 및 진폭을 변조하는 제2공간 광 변조기가 사용될 수 있다.

일부 실시예에서, 공간 광 변조기의 광 변조 소자(즉, 화소)는 액정을 포함하는 셀이다. 즉, 일부 실시예에서, 공간 광 변조기는 광학 능동 소자가 액정인 액정 장치이다. 각각의 액정 셀은 복수의 광 변조 레벨을 선택적으로 제공하도록 구성된다. 즉, 각 액정 셀은 어느 한 시점에서 복수의 가능한 광 변조 레벨들로부터 선택된 하나의 광 변조 레벨에서 동작하도록 구성된다. 각각의 액정 셀은 복수의 광 변조 레벨 중에서 다른 광 변조 레벨로 동적으로 재구성 가능하다. 일부 실시예에서, 공간 광 변조기는 실리콘(LCOS) 공간 광 변조기 상의 반사형 액정이지만, 본 발명은 이러한 유형의 공간 광 변조기에 한정하지 않는다.

LCOS 장치는 작은 개구(예를 들어, 폭이 수 센티미터) 내의 조밀한 어레이의 광 변조 소자 또는 화소를 제공한다. 화소는 통상 약 10미크론 이하이어서 수 도(a few degrees) 수준의 회절각을 가지며, 이는 광학 시스템이 콤팩트 할 수 있다는 것을 의미한다. LCOS SLM의 작은 개구를 적절하게 조광하는 것은 다른 액정 장치의 큰 개구를 조광하는 것보다 용이하다. LCOS 장치는 통상 반사형이므로 LCOS SLM의 화소를 구동하는 회로를 반사 표면 아래에 묻을 수 있다. 결과적으로 개구율이 높아진다. 즉, 화소는 밀집되어 있어 화소 간에 낭비되는 공간(dead space)이 거의 없음을 의미한다. 이는 재생 필드에서의 광학 노이즈를 감소시키므로 유리하다. LCOS SLM은 화소가 광학적으로 편평하다는 이점을 갖는 실리콘 후면을 사용한다. 이 점은 위상 변조 장치에서 특히 중요하다.

단지 예시로서, 적합한 LCOS SLM이 도 3을 참조하여 아래와 같이 기술된다. LCOS 소자는 단결정 실리콘 기판(302)을 사용하여 형성된다. 이는 간극(301a)에 의해 이격되며 기판의 상부 표면에 배치된 사각 평면형 알루미늄 전극(301)의 2차원 어레이를 가진다. 전극(301) 각각은 기판(302)에 매설된 회로(302a)를 통해 형성될 수 있다. 각각의 전극들은 각각의 평면 미러를 형성한다. 배향층(Alignment Layer, 303)이 전극 어레이 상에 배치되고, 액정층(304)은 배향층(303)에 배치된다. 제2배향층(305)은 액정층(304)에 배치되고, 예컨대, 유리로 된 평면 투명층(306)은 제2배향층(305)에 배치된다. 예컨대 ITO로 된 단일 투명 전극(307)은 투명층(306)과 제2배향층(305) 사이에 배치된다.

사각 전극(301) 각각은, 투명전극(307) 영역 상부와 중간에 개재되는 액정물질과 함께, 종종 화소로 지칭되는 제어 가능한 위상 변조 소자(308)를 형성한다. 유효 화소 영역, 즉 충전율은 화소(301a) 사이의 공간까지 고려하여 광학적으로 활성인 총 화소의 비율이다. 각각의 전극(301)에 인가된 투명전극(307)에 대한 전압을 제어함으로써, 위상 변조된 요소의 액정 물질의 특성은 변화될 수 있고, 따라서 그에 입사되는 입사광에 가변 지연을 제공한다. 이렇게 함으로써 파면(wavefront)에 위상-한정 변조가 가해지는 한편 어떤 진폭 효과도 발생하지 않는다.

전술한 LCOS SLM는 공간적으로 변조된 광을 반사 방식으로 출력한다. 반사형 LCOS SLM은 신호 라인, 게이트 라인 및 트랜지스터가 거울 면 아래에 있으며, 높은 충전율(일반적으로 90 % 이상) 및 고해상도를 얻을 수 있는 이점이 있다. 반사형 LCOS 공간 광 변조기를 사용하는 또 다른 이점은 투과형 장치가 사용되는 경우에 필요한 것보다 요구되는 액정 층 두께가 절반일 수 있다는 것이다. 이것은 액정의 스위칭 속도를 크게 향상시킨다(움직이는 비디오 이미지의 프로젝션을 위한 주요 이점임). 그러나, 본 발명의 개시 내용은 투과형 LCOS SLM을 사용하여 동일하게 구현될 수 있다.

소스 이미지에서 파생되는 다수의 홀로그램 생성

종래 기술에 따르면, 프로젝션을 하기 위한 단일 이미지(본 명세서에서 "소스 이미지"라고 지칭됨)에 대응하는 홀로그램이 데이터 프레임의 SLM에 기록된다. 이미지에 대해 결정된 홀로그램의 크기(즉, 홀로그램 픽셀의 수)는 공간 광 변조기의 크기(즉, SLM 픽셀의 수)보다 작을 수 있다. 따라서, 홀로그램은 SLM의 표면적의 일부만을 차지할 수 있다(즉, SLM 픽셀의 일부만). 이 경우, 타일링 방식에 따라 홀로그램을 SLM의 픽셀에 기록하기위한 타일링 엔진이 구현될 수 있다.

대조적으로, 본 발명자들은 프로젝션을 하기 위한 단일 이미지(즉, 소스 / 타겟 이미지)에 대응하는 복수의 홀로그램을 결정하는 새로운 접근 방식을 본 명세서에서 제안한다. 복수의 홀로그램은 데이터 프레임에서 SLM의 디스플레이 엔진으로 전달될 수 있다. SLM은 복수의 홀로그램 각각을 차례로 표시하고, 이로써, 해당하는 소스/타겟 이미지를, 이하에서 설명되는 바와 같이, 재생하는 복수의 홀로그램 재구성을 형성한다.

프로젝션을 하기 위한 타겟 이미지는 증가 된 픽셀 개수를 갖는 소스 이미지를 형성하기 위해 "업 스케일링"될 수 있다. 따라서 해상도(다시 말해, 픽셀의 개수)가 증가한다. 이미지를 업 스케일링하는 것은, 픽셀 수가 x 및 y 방향으로 곱해 지므로 픽셀 수를 2의 제곱으로 증가시킬 수 있다. 예를 들어, 이미지는 x 및 y 방향으로 4 배 확대될 수 있다. 예를 들어, 각각의 개별 픽셀은 업 스케일 된 이미지에서 4 x 4 어레이 또는 픽셀들의 "블록"(즉, 동일한 픽셀 값)으로 복제될 수 있다. 결과적으로, n x m 어레이의 픽셀을 포함하는 이미지는 "업 스케일"(또는 "오버-샘플링")되어 이미지의 오버 샘플링 또는 업 스케일 버전을 형성하는 4n x 4m 픽셀 어레이가 얻어진다. 오버 샘플링 / 업 스케일 된 이미지는 후술되는 바와 같이 소스 이미지 또는 1 차 이미지로 사용될 수 있다. 대상 이미지를 업 스케일링하는 더 복잡한 방법이 사용될 수 있다.

도 4와 5는 단일 소스 이미지에서 한 쌍의 홀로그램 H1과 H2를 생성하는 제안된 접근 방식의 한 예를 보여준다.

도 4를 참조하면, 4x8 어레이인 이미지 픽셀들 포함하는 예시적인 소스 이미지(도면의 상단에 도시됨)가 (예를 들어: 이미지 처리 엔진에 의해) 처리되어 한 쌍의 부 이미지(secondary image) 1 및 부 이미지 2(도면의 중간에 표시됨)를 생성한다. 부 이미지 1은 제1 바둑판 패턴인 소스 이미지의 하나 건너 하나씩 모든 이미지 픽셀을 사용하여 생성되고 나머지 픽셀을 "0"으로 채운다. 따라서, 부 이미지 1에는(1, 1),(1, 3)…(2, 2),(2, 4)…(3, 1),(3, 3) …및 (4, 2)…(4, 8) 위치에 있는 소스 이미지의 이미지 픽셀이 포함된다. 부 이미지 2는, 소스 이미지 중에서, 부 이미지 1에 대해 반대 또는 역 이미지 픽셀들을 사용하여 생성된다. 따라서 부 이미지 2는 제1 바둑판 패턴에 반대되는(즉, 반전되는) 제2 바둑판 패턴인 소스 이미지의 하나 건너 하나씩 남은 모든 이미지 픽셀을 사용하여 생성되고 나머지 픽셀을 "0"으로 채운다. 따라서 부 이미지 2에는 (1, 2),(1, 4)…(2, 1),(2, 3)…(3, 2),(3, 4)? 및 (4, 1)…(4, 7) 위치에 있는 소스 이미지의 이미지 픽셀이 포함된다. 그런 다음 각각의 부 이미지 1및 2가 처리되어(예: 홀로그램 엔진에 의해) 상응하는 홀로그램(H1, H2)(도면 하단에 도시됨)를 결정한다. 전술한 알고리즘과 같은 임의의 적절한 방법을 사용하여 홀로그램을 계산할 수 있다.

도 5를 참조하면 데이터 프레임이 생성된다(도면의 상단에 표시됨). 예를 들어, 생성된 데이터 프레임은 HDMI 비디오 프레임일 수 있다. 데이터 프레임은, 도 4에 도시된 바와 같이 소스 이미지에서 파생된 부 이미지 1 및 2로부터 계산된 홀로그램 쌍(H1, H2)로 구성된다. 각 홀로그램은 개별 데이터 스트림으로 처리될 수 있지만 임의의 특정한 구조를 갖는 데이터 프레임 내에 포함된다. 데이터 프레임은, 데이터 프레임 내 각 홀로그램의 홀로그램 데이터의 시작점을 나타내는 "타일 포인터(tile pointer)"를 포함한다. 데이터 프레임에는 데이터 프레임의 미사용 비트들도 포함된다. 데이터 프레임의 홀로그램들은 차례로 홀로그램 프로젝터의 SLM으로 스트리밍 된다. 각 홀로그램은 타일링 방식(tiling scheme)을 사용하여 SLM에 차례로 표시된다. 예를 들어, 제1 홀로그램(H1)은 첫 번째 타일링 방식(도면의 중간에 표시됨)을 사용하여 SLM에 기록된다. 특히, 홀로그램(H1)은 전체 타일(H1)과 부분 타일(H1 ', H1'' 및 H1''')을 포함하는 제1 타일링 방식으로 제1 시점에 SLM에 표시된다. 제2 홀로그램(H2)는 제2 타일링 방식을 사용하여 SLM에 기록된다(도면의 하단에 표시됨). 특히, 홀로그램(H2)는 제1 시점 이후 제2 시전에, 전체 타일(H2)와 부분 타일(H2', H2'' 및 H2''')을 포함하는 제2 타일링 방식으로 SLM 상에 표시된다. 도시된 예시에서, 제1 및 제2 타일링 방식은 상이하지만, 동일한 타일링 방식이 사용될 수 있다. 따라서, 홀로그램 H1 및 H2는 동시(즉, 같은 시간)가 아니라 순차적으로(즉, 교대로) 표시된다. 각 개별 홀로그램(H1, H2)을 디스플레이 하는 것은 "서브 프레임"을 표시하는 것으로 간주될 수 있고, 이는 소스 이미지의 일부만 복원되는 반면, 두 홀로그램(H1, H2) 모두를 차례로 표시하는 것이 하나의 프레임으로 간주될 수 있기 때문이다. 실시예들에서, 홀로그램들(H1, H2) 각각은, 대응하는 홀로그램 재구성이 인간 눈에서 합쳐져 보일 수 있는 시간 내에 형성될 수 있을 만큼 충분히 빠른 속도로 SLM에 순차적으로 기록되어 디스플레이될 수 있다. 따라서, 홀로그램 재구성이 형성된 재생 필드를 관찰하는 시청자는, 차례로 형성된 다수의 홀로그래픽 재구성에 대응하는 동적으로 변화하는 투사 영상이 아니라, 하나의 투사 영상을 보게 된다. 따라서 투사된 이미지는 소스 이미지를 충실하고 완전하게 재구성 한 것처럼 보인다.

당업자가 이해할 수 있는 바와 같이, 도 4는 소스 이미지로부터 2 개의 부 이미지를 생성하는 것을 도시하고 있으나, 3 개 이상의 부 이미지를 생성하여 대응하는 홀로그램을 계산하는 것도 가능하다. 유사하게, 도 5는 데이터 프레임 내에 포함 된 두 개의 홀로그램만을 도시하나, 해당하는 타일링 방식을 사용하여 SLM에 순차적으로 표시되고, 데이터 프레임에 세 개 이상의 홀로그램을 포함하는 것, 및 각 홀로그램에 대해 동일하거나 상이한 타일링 방식을 사용하여 SLM 상에 각각의 홀로그램을 순차적으로 디스플레이 하는 것도 가능하다. 세 개의 홀로그램을 사용하는 일 예가 아래에 설명되어 있다.

도 6 및 7은 일 실시예에 따라 단일 소스 이미지로부터 3 개의 홀로그램(H1, H2 및 H3)을 생성하는 제안된 접근 방식의 일 예를 도시한다.

도 6을 참조하면, 이미지 픽셀의 어레이를 포함하는 예시적인 소스 이미지(도면의 상단에 표시)가 처리되어(예: 이미지 처리 엔진에 의해) 3 개의 부 이미지들(1, 2 및 3)(도면의 중간에 표시됨)을 생성한다. 특히, 소스 이미지는, 이미지 중앙의 위치에 있는 삼각형, 이미지의 왼쪽 상단 모서리에 있는 원 및 이미지의 왼쪽 하단 모서리에 있는 정사각형의 세 개체로 구성된다. 도시된 소스 이미지에서, 삼각형은 원과 정사각형보다 크다. 따라서 삼각형은 소스 이미지에서 원과 정사각형보다 더 많은 픽셀을 차지한다. 이미지 처리 소프트웨어를 사용하여 소스 이미지가 처리될 수 있다. 특히, 객체 인식 소프트웨어가 소스 이미지에서 3 개의 객체를 식별하기 위해 사용될 수 있으며, 식별된 객체에 대응하는 소스 이미지로부터 3 개의 부 이미지가 생성될 수 있다. 도시된 예시에서, 이미지의 주변 영역에 위치된 객체들을 포함하는 부 이미지는 이미지의 중앙 영역에 위치한 객체를 포함하는 부 이미지보다 더 작은 크기(즉, 더 적은 픽셀)로 생성된다. 따라서 삼각형에 해당하는 부 이미지 1은 각각 원과 사각형에 해당하는 부 이미지 2 및 3보다 크다. 더 작은 부 이미지(2 및 3)는 예를 들어 소스 이미지의 물체에 대한 이미지 데이터를 언더샘플링하여 부 이미지의 픽셀 수를 줄임으로써 얻어질 수 있다. 따라서 각각의 부 이미지는 고유한 샘플링 방식을 사용하여 소스 이미지로부터 생성될 수 있다. 따라서 동일한 소스 이미지에서 파생된 3 개의 부 이미지(1, 2 및 3)은 서로 다른 해상도(즉, 서로 다른 픽셀 수)를 가진다. 특히, 소스 이미지의 중앙 영역에서 파생된 부 이미지 1은 소스 이미지의 주변 영역에서 파생된 부 이미지 2 및 3보다 픽셀 수가 많으므로 해상도가 더 높다.

도 6에 도시된 예시에서, 특정한 부 이미지의 크기 / 해상도(즉, 픽셀 수)는 그 부 이미지 내에 포함될 객체(또는 소스 이미지의 일부)의 위치를 기반으로 결정된다. 이는 필수적인 것은 아니다. 다른 요인에 따라 부 이미지의 크기 / 해상도를 결정하기 위한 다른 기법도 가능하다. 예를 들어, 더 높은 해상도를 얻기 위해, 소스 이미지의 일부 또는 객체들, 특징들의 특정 유형에 대해 더 큰 부 이미지를 생성하는 것이 바람직할 수 있다. 다른 예시에서, 더 높은 해상도를 달성하기 위해 더 빠르게 또는 더 느리게 움직이는 물체에 대해 더 큰 부 이미지를 생성하는 것이 바람직할 수 있다.

도 7을 참조하면, 도 6에서 결정된 상이한 크기/해상도의 부 이미지 1, 2 및 3 각각은 대응하는 홀로그램(H1, H2 및 H3)(도면의 상단에 도시됨)을 결정하기 위해 처리된다(예: 홀로그램 엔진). 각각의 홀로그램(H1, H2, H3)의 홀로그램 픽셀 수는 각각의 부 이미지(1, 2, 3)의 이미지 픽셀 수에 따라 달라진다. 특히, 도 7에 도시된 바와 같이, 홀로그램의 크기/해상도(즉, 홀로그램 픽셀 수)는 대응하는 부 이미지의 크기/해상도(즉, 이미지 픽셀 수)에 따라 증가한다. 전술한 알고리즘과 같은 임의의 적절한 방법을 사용하여 홀로그램을 계산할 수 있다. 일부 예시적인 방법에서, 계산된 홀로그램의 홀로그램 픽셀의 수는 대응하는 부 이미지의 이미지 픽셀의 수와 동일하다. 특히, 해당하는 제2 및 제3의 부 이미지 2 및 3으로부터 홀로그램 H2 및 H3를 계산하는 데 걸리는 시간은 해당하는 제1의 부 이미지 1에서 홀로그램 H1을 계산하는 데 걸리는 시간보다 적다. 이는 부 이미지 2 및 3이 더 큰 부 이미지 1보다 픽셀 수가 적기 때문이다.

도 7에 도시된 바와 같이, 데이터 프레임이 생성된다(도면의 하단에 도시됨). 예를 들어, 데이터 프레임은 HDMI 비디오 프레임일 수 있다. 데이터 프레임은 도 6에 도시된 바와 같이 소스 이미지에서 파생된 부 이미지 1, 2 및 3에서 계산된 3 개의 홀로그램들(H1, H2 및 H3)로 구성된다. 각 홀로그램은 개별 데이터 스트림으로 처리될 수 있으며 특정 구조를 따르는 데이터 프레임 내에 포함될 수 있다. 데이터 프레임은 데이터 프레임 내의 각 홀로그램에 대한 홀로그램 데이터의 시작점을 나타내는 "타일 포인터(tile pointer)"를 포함한다. 데이터 프레임에는 데이터 프레임의 미사용 비트도 포함된다. 데이터 프레임의 홀로그램은 홀로그램 프로젝터의 SLM으로 차례로 스트리밍 된다. 각 홀로그램은 타일링 방식을 사용하여 SLM에 순차적으로 표시된다. 예를 들어, 제1 타일링 방식을 사용하여 제1 홀로그램(H1)을 SLM에 기록하고, 제1 타일링 방식으로 제1 시점에 SLM에 표시할 수 있다.

제2 홀로그램(H2)은 제2 타일링 방식을 사용하여 SLM에 기록될 수 있고, 제2 타일링 방식으로 제1 시점 이후 제2 시점에 SLM에 표시될 수 있다. 제3 홀로그램(H3)은 제3 타일링 방식을 사용하여 SLM에 기록될 수 있고, 제3 타일링 방식으로 제2 시점 이후 제3 시점에 SLM에 표시될 수 있다. 제1, 제2 및 제3 타일링 방식 중 하나 이상은 다른 타일링 방식과 상이할 수 있다. 따라서 홀로그램들(H1, H2 및 H3)은 순차적으로(즉, 다른 시간에) 표시된다. 각각의 개별 홀로그램을 디스플레이 하는 것은 "서브 프레임"으로 간주될 수 있다. 실시예들에서, 홀로그램들(H1, H2, H3) 각각은 대응하는 홀로그램 재구성이 인간 눈에서 합쳐져 보일 수 있는 시간 내에 형성될 수 있을 만큼 충분히 빠른 속도로 SLM에 순차적으로 기록되어 디스플레이될 수 있다. 따라서, 전술 한 바와 같이, 투사된 이미지는 재생 필드의 시청자에게 소스 이미지를 충실하게 완전히 재구성한 것처럼 보이게 된다. 일부 실시예에서, SLM의 연속적인 홀로그램을 디스플레이함으로써 형성된 홀로그램 재구성은 재생 평면에서 소스 이미지를 충실하게 재구성하기 위해 서로에 대해 변환될 수 있다. 예를 들어, 교번하는(alternate) 이미지 픽셀 또는 이미지 픽셀 그룹(예: 하나 건너 하나씩 모든 이미지 픽셀)이 홀로그램(H2)에 의해 형성되고 다른 교번하는 이미지 픽셀 또는 이미지 픽셀 그룹(예: 하나 건너 하나씩 나머지 모든 이미지 픽셀)이 홀로그램(H3)에 의해 형성되는 상황에서, 특히 홀로그램(H2 및 H3)의 크기가 동일한 경우, 재생 평면상에서 각 재생 필드의 상대적 위치가 변환될 필요가 있을 수 있고(예: x 및x 위상 램프(phase-ramps) 사용), 이는 때로는 "빔 스티어링"이라고도 지칭된다. 이렇게 하면, 홀로그램(H3)에 의해 형성된 이미지 스팟들이 홀로그램(H2)에 의해 형성된 이미지 스팟들(이는 홀로그램(H2 및 H3)이 동일한 크기이므로 겹쳐질 수 있음)에 대해 오프셋 되어 홀로그램(H2)에 의해 형성된 이미지 스팟들 사이의 간격이 채워질 수 있다. 이러한 방식으로, 홀로그램들(H2 및 H3)에 의해 형성된 이미지 스폿들은 함께 재생 평면 상에 소스 이미지를 충실하게 재구성한다. 인접한 이미지 픽셀 또는 이미지 픽셀 그룹이 서로 다른 크기를 갖는 홀로그램 H1 및 H2(및 / 또는 H3)에 의해 형성되는 시나리오에서도 마찬가지 일 수 있다.

이에, 본 명세서에서는 홀로그래픽 프로젝션 방법이 개시된다. 본 방법은 프로젝션을 위한 소스 이미지를 수신하며, 소스 이미지는 픽셀을 포함한다. 본 방법은 소스 이미지로부터 복수의 부 이미지(secondary image)를 생성하고, 각각의 부 이미지는 소스 이미지보다 적은 픽셀을 포함하고, 제1 부 이미지는 제2 부 이미지보다 더 많은 픽셀을 가진다. 본 방법은 또한 복수의 홀로그램을 형성하기 위해 각각의 부 이미지에 대응하는 홀로그램을 계산하여, 제1 부 이미지에 대응하는 제1 홀로그램이 제2 부 이미지에 대응하는 제2 홀로그램보다 더 많은 픽셀을 갖도록 한다. 본 방법은 SLM과 같은 디스플레이 장치에 각 홀로그램을 차례로 표시한다. 본 방법은 디스플레이를 하는 중에 각 홀로그램을 조명하여 재생 평면 상의 각 부 이미지에 대응하는 홀로그램 재구성을 형성한다.

더 작은 홀로그램의 홀로그램 재구성은 동일한 재생 필드 크기 안에서 더 적은 이미지 스팟을 갖기 때문에 이미지 스팟의 밀도 및 이미지 해상도는 더 큰 홀로그램보다 낮다. 더욱이, 픽셀 균일성을 개선하기 위해 선택된 타일링 방식에 따라 더 작은 홀로그램의 더 많은 타일들이 디스플레이되는 경우, 신호 대 잡음비(SNR)가 더 높을 수 있다.

더 작은 홀로그램과 더 큰 홀로그램 사이의 이것 등의 차이점으로 인해, 더 큰 홀로그램에 비해 더 작은 홀로그램에 대해 다른 재생률을 사용하는 것이 적절할 수 있다. 예를 들어, 더 작은 홀로그램(선택된 타일링 방식에 따라 잠재적으로 더 높은 SNR 및 더 낮은 해상도를 가짐)이 생성되는 소스 이미지의 일부는, 더 큰 홀로그램(높은 해상도와 낮은 SNR을 가짐)이 생성되는 소스 이미지의 일부보다 더 빠른 속도 또는 서브 프레임 속도로 리프레쉬(refresh) 될 수 있다. 예를 들어, 움직이는 차량에서 사용하기 위한 HUD(헤드 업 디스플레이)와 같은 응용 분야에서, 상대적으로 낮은 해상도이나 상대적으로 높은 재생률(refresh rate)로 "니어 필드(near field)"(시청자에게 더 가깝게 있음) 내에 객체를 표시하는 것이 바람직할 수 있고, 한편, 상대적으로 높은 해상도에서 상대적으로 낮은 재생률로 "파 필드"(시청자에게 더 멀리 있음) 내에 객체를 표시하는 것이 바람직할 수 있고, 그 반대도 마찬가진다. 당업자는 본 개시에 따라 다른 변형이 가능하다는 것으로 이해할 것이다.

일부 실시예에서, 홀로그래픽 프로젝터 및 광학 릴레이 시스템을 포함하는 헤드업 디스플레이와 같은 디스플레이 장치가 제공된다. 광학 릴레이 시스템은 각각의 홀로그래픽 재구성의 가상 이미지를 형성하도록 형성된다. 일부 실시예들에서, 타겟 이미지는 타겟 이미지의 제1 영역에서 니어-필드(near-field) 이미지 컨텐츠를, 타겟 이미지의 제2 영역에서 파-필드(far-field) 이미지 컨텐츠를 포함한다. 홀로그래픽 적으로 재구성된 니어-필드 콘텐츠의 가상 이미지는 시야면(viewing plane)(예를 들어, 시각-박스)으로부터 제1 가상 이미지 거리에 형성되고, 홀로그래픽 적으로 재구성된 파-필드 콘텐츠의 가상 이미지는 시야면으로부터, 제1 가상 이미지 거리보다 큰, 제2 가상 이미지 거리에 형성된다. 일부 실시예들에서, 복수의 홀로그램 중 하나의 홀로그램은 니어-필드에서 사용자에게 디스플레이 될 타겟 이미지의(예를 들어, 속도 정보와 같은) 이미지 컨텐츠에 대응하고, 복수의 홀로그램 중 다른 홀로그램은 파-필드로 프로젝트 될 타겟 이미지의(예를 들어, 랜드마크 표식 또는 내비게이션 표식과 같은) 이미지 컨텐츠에 대응된다. 니어-필드 컨텐츠에 대응하는 홀로그램은 파-필트 컨텐츠에 대응하는 홀로그램에 비하여 더 많은 화소를 가질 수 있다. 파-필드에 표시하는 이미지 컨텐츠는 니어-필드에 표시하는 이미지 컨텐츠보다 더 자주 갱신될 수 있고, 또는, 반대의 경우일 수도 있다.

일 실시예에서, 홀로그램 프로젝터는 소스 이미지의 스트림을 수신하고 제2 홀로그램과 다른 속도로 제1 홀로그램을 리프레시한다. 제1 홀로그램은 제2 홀로그램보다 픽셀 수가 많으므로 해상도가 더 높다. 따라서, 실시예에서, 제1 홀로그램은 제2 홀로그램보다 느린 재생률(즉, 프레임 속도)로 재생된다. 이러한 방식으로, 제1 소스 이미지로부터 결정된 제1 홀로그램은 제2 소스 이미지보다 덜 빈번하게 후속 수신된 소스 이미지에 기초하여 리프레시 된다. 따라서 매번 제1 홀로그램을 계산할 필요없이 화소 수가 적은 제2 홀로그램을 계산하는 데 필요한 시간이 단축되어 재생률을 높일 수 있다.

본 명세서에 개시된 접근 방식은 높은 자유도를 제공하여 보다 유연한 홀로그래픽 프로젝터를 가능케 한다. 예를 들어, 부 이미지들이 소스 이미지로부터 파생되는 방식을 정의하는 기술은 동적으로 변경될 수 있다. 특히, 소스 이미지로부터 생성된 부 이미지의 수, 각 부 이미지/대응하는 홀로그램의 크기/해상도, 각 부 이미지를 생성하는 데 사용되는 샘플링 방식 및 그 결정에 사용되는 요소들 중에서 하나 이상은 동적으로 변경될 수 있다. 예를 들어, 이미지 처리 엔진은, 제어 신호에 의해 지시되는 애플리케이션 요구 사항 및/또는 외부 요인에 기초하여, 소스 이미지로부터 부 이미지를 도출하는 데 사용되는 방식을 동적으로 변경할 수 있다. 도 8a 및 8b는 상이한 개수의 홀로그램 및 해상도를 갖는 소스 이미지에 대한 추가적인 예시 데이터 프레임을 도시한다. 또한, 다양한 타일링 방식을 사용할 수 있다. 디스플레이 엔진(또는 그 타일링 엔진)은 제어 신호에 의해 지시되는 애플리케이션 요구 사항 및/또는 외부 요인에 따라 홀로그램을 디스플레이 하는데 사용되는 타일링 방식을 동적으로 변경할 수 있다. 이러한 유연성은, 동적으로 변화하는 환경에서 다른 소스 이미지를 표시할 수 있어, 실제 프로젝터에서 매우 큰 가치를 갖는다. 예를 들어, 홀로그램 프로젝터는 움직이는 차량에 장착될 수 있다.

도 9는 실시예에 따른 홀로그래픽 프로젝터(900)를 도시하는 개략도이다. 홀로그램 프로젝터(900)는 제어기(930)로부터 수신된 홀로그램을 표시하도록 배열된 공간 광 변조기(SLM)(940)를 포함한다. 작동 중에 광원(910)은 SLM(940)에 표시된 홀로그램을 비추고 홀로그램 재구성이 재생 평면(925)의 재생 필드에 형성된다. 제어기(930)는 이미지 소스(920)로부터 하나 이상의 이미지를 수신한다. 예를 들어, 이미지 소스(920)는 단일 정지 이미지를 캡처하도록 배열된 스틸 카메라 또는 움직이는 비디오 시퀀스를 캡처하도록 배열된 비디오 카메라와 같은 이미지 캡처 장치일 수 있다.

제어기(930)는 이미지 처리 엔진(950), 홀로그램 엔진(960), 데이터 프레임 생성기(980) 및 디스플레이 엔진(990)을 포함한다. 이미지 처리 엔진(950)은 이미지 소스(920)로부터 소스 이미지를 수신한다. 소스 이미지는 타겟 이미지가 업 스케일링 된 버전일 수 있고, 또는 본 명세서에서 기술하는 바와 같이 이미지 처리 엔진은 업스케일링을 수행할 수 있다. 이미지 처리 엔진(950)은, 본 명세서에 설명된 바와 같이, 정의된 방식에 따라 소스 이미지로부터 복수의 부 이미지를 생성하도록 배열된 부 이미지 생성기(955)를 포함한다. 이미지 처리 엔진(950)은 제어 신호를 수신하거나 부 이미지를 생성하기 위한 방식을 결정할 수 있다. 따라서 각 부 이미지는 소스 이미지보다 적은 픽셀로 구성된다. 이미지 처리 엔진(950)은 복수의 부 이미지를 홀로그램 엔진(960)으로 전달한다. 홀로그램 엔진(960)은, 본 명세서에 설명된 바와 같이, 각각의 부 이미지에 대응하는 홀로그램을 결정하도록 배열된다. 홀로그램 엔진(960)은 복수의 홀로그램을 데이터 프레임 생성기(980)로 전달한다. 데이터 프레임 생성기(980)는, 본 명세서에 설명된 바와 같이, 복수의 홀로그램을 포함하는 데이터 프레임(예를 들어, HDMI 프레임)을 생성하도록 배열된다. 특히, 데이터 프레임 생성기(980)는 복수의 홀로그램 각각에 대한 홀로그램 데이터 및 각 홀로그램의 시작을 나타내는 포인터를 포함하는 데이터 프레임을 생성한다. 디스플레이 엔진(990)은 복수의 홀로그램 각각을 SLM(940)에 차례로 디스플레이하도록 배열된다. 디스플레이 엔진(990)은 홀로그램 추출기(992), 타일링 엔진(970) 및 소프트웨어 광학계(994)를 포함한다. 디스플레이 엔진(990)은 홀로그램 추출기(992)를 사용하여 데이터 프레임으로부터 각각의 홀로그램을 추출하고, 본 명세서에서 설명된 바와 같이, 타일링 엔진(970)에 의해 생성된 타일링 방식에 따라 홀로그램을 타일링한다. 특히, 타일링 엔진(970)은 타일링 방식을 결정하기 위해 제어 신호를 수신할 수 있고, 그렇지 않으면 홀로그램에 기초한 타일링을 위한 타일링 방식을 결정할 수 있다. 디스플레이 엔진(990)은, 선택적으로 위상 램프 기능(소프트웨어 격자 기능이라고도 함) 및/또는 소프트웨어 광학계(994)를 사용하는 소프트웨어 렌즈를 추가하여, 재생 평면에서 재생 필드의 위치를 변환하고 및/또는 재생 평면의 위치를 결정할 수 있다. 따라서, 각각의 홀로그램에 대해, 디스플레이 엔진(990)은, 본 명세서에 설명된 바와 같이, 대응하는 타일링 방식에 따라 복수의 홀로그램의 각각의 홀로그램을 차례로 디스플레이하기 위해, SLM(940)에 구동 신호를 출력하도록 배열된다.

제어기(930)는, 본 명세서에 설명된 바와 같이, 부 이미지 생성기(955)가 부 이미지를 생성하는 방법을 동적으로 제어할 수 있다. 제어기(930)는 홀로그램에 대한 재생률을 동적으로 제어할 수 있다. 본 명세서에 설명된 바와 같이, 재생률은, 이미지 소스(920)로부터 이미지 프로세싱 엔진(950)에 의해 수신된 시퀀스의 다음 소스 이미지로부터 홀로그램 엔진에 의해, 홀로그램이 재 계산되는 빈도로 간주될 수 있다. 본 명세서에서 설명된 바와 같이, 동적으로 제어 가능한 특징들 및 파라미터들은 제어 신호가 나타내는 외부 요인에 따라 결정될 수 있다. 제어기(930)는 그러한 외부 요인에 관한 제어 신호를 수신할 수 있거나, 그러한 외부 요인을 결정하고 그에 따라 그러한 제어 신호를 생성하기 위한 모듈을 포함할 수 있다.

통상의 기술자에게, 제어기(930)의 상술한 특징은 소프트웨어, 펌웨어 또는 하드웨어 및 이들의 임의의 조합으로 구현될 수 있다고 이해될 것이다.

추가 특징들

실시예는 단지 예로서 전기적으로 활성화된 LCOS 공간 광 변조기를 지칭한다. 본 개시의 교시는, 예컨대 임의의 전기적으로 활성화된 SLM, 광학적으로 활성화된 SLM, 디지털 마이크로 미러 디바이스 또는 마이크로 전자 기계적 디바이스와 같은 본 발명에 따른 컴퓨터 생성 홀로그램을 표시할 수 있는 임의의 공간 광 변조기 상에서 동일하게 구현될 수 있다.

일부 실시예에서, 광원은 레이저 다이오드와 같은 레이저이다. 일부 실시 형태에서, 수광 표면은 디퓨저(diffuser) 표면 또는 디퓨저와 같은 스크린이다. 본 발명의 홀로그래픽 프로젝션 시스템은 향상된 헤드업 디스플레이(HUD) 또는 헤드마운트 디스플레이를 제공하도록 사용될 수 있다. 일부 실시예에서, HUD를 제공하도록 홀로그래픽 프로젝션 시스템을 포함하는 차량이 제공된다. 차량은 자동차, 트럭, 밴, 트럭, 오토바이, 기차, 비행기, 보트 또는 선박과 같은 운송 수단일 수 있다.

홀로그래픽 재구성의 품질은 화소화 된 공간 광 변조기를 사용함에 따른 회절 특성에 의한 결과로서 소위 0차(zero order) 문제에 의해 영향을 받을 수 있다. 이러한 0차 광은 "잡음"으로 간주될 수 있으며, 예를 들어 SLM으로부터의 경면 반사광 및 다른 원하지 않는 광을 포함한다.

푸리에 홀로그래피의 예에서, 이러한 "잡음"는 푸리에 렌즈의 초점 위치에 초점을 맞추어 홀로그래픽 재구성의 중심에 밝은 지점을 만든다. 0차 광은 단순히 차단될 수 있지만, 밝은 스폿을 어두운 스폿으로 교체하는 것을 의미할 것이다. 일부 실시예는 0차 광의 평행화된(collimated) 광선 만을 제거하는 각도 선택 필터를 포함한다. 또한, 실시예는 유럽특허 제2,030,072 호에 개시된 0차(zero-order)를 관리하는 방법을 포함하며, 상기 특허는 그 전체로서 원용되어 본 명세서에 통합된다.

홀로그래픽 재생 필드의 크기(즉, 홀로그래픽 재구성의 물리적 또는 공간적 크기)는 공간 광 변조기의 화소 간격(즉, 공간 광 변조기의 인접한 광 변조 요소들 또는 화소들 사이의 거리)에 의해 결정된다. 재생 필드에서 형성될 수 있는 가장 작은 피쳐(feature)는 "해상도 요소", "이미지 스폿" 또는 "이미지 화소"이라고 부를 수 있다. 일반적으로, 공간 광 변조기의 화소 각각은 사각 형상을 갖는다. 사각 개구(aperture)의 푸리에 변환은 싱크함수(sinc function)이므로 각각의 이미지 화소는 싱크함수이다. 보다 구체적으로는, 재생 필드 상의 각 이미지 화소의 공간 강도 분포는 싱크함수이다. 각각의 싱크함수는 피크-강도(peak-intensity) 주 회절 차수 및 주 차수로부터 반경 방향으로 확장되는 일련의 감소-강도(decreasing-intensity) 고차 회절 차수를 포함하는 것으로 간주될 수 있다. 각각의 싱크함수의 크기(즉, 각 싱크함수의 물리적 또는 공간적 범위)는 공간 광 변조기의 크기(즉, 광 변조 요소의 배열 또는 공간 광 변조기 화소에 의해 형성되는 개구의 물리적 또는 공간적 범위)에 의해 결정된다. 구체적으로, 광 변조 화소들의 어레이에 의해 형성된 개구가 클수록, 이미지 화소들은 작아진다. 작은 이미지 화소를 갖는 것이 일반적으로 바람직하다.

일부 실시예에서, "타일링"기술은 이미지 품질을 증가시키기 위해 구현된다. 특히, 일부 실시예는 홀로그래픽 재구성으로 보내지는 신호 내용의 양을 최대화하면서 이미지 화소의 크기를 최소화하기 위해 타일링 기술을 구현한다.

일부 실시예에서, 공간 광 변조기에 기록된 홀로그래픽 패턴은 적어도 하나의 전체 타일(즉, 완전한 홀로그램) 및 타일의 적어도 하나의 부분(즉, 홀로그램의 화소의 인접한 서브 세트)을 포함한다.

홀로그래픽 재구성은 공간 광 변조기에 의해 정의된 전체 윈도우의 0차 또는 주 회절 차수 내에서 생성된다. 제1 및 후속 차수는 이미지와 겹치지 않도록 충분히 이격되어 공간 필터를 사용하여 차단될 수 있는 것이 바람직하다.

실시예들에서, 홀로그래픽 재구성은 컬러이다. 본 명세서에 개시된 예에서, 3개의 상이한 컬러 광원 및 3개의 대응하는 SLM이 복합 컬러를 제공하기 위해 사용된다. 이들 예는 공간적으로 분리된 컬러, "SSC(spatially-separated colour)"로 지칭될 수 있다. 본 개시 내용을 포함하는 변형 예에서, 각각의 컬러에 대한 상이한 홀로그램은 동일한 SLM의 상이한 영역에 디스플레이 된 다음 합성 컬러 이미지를 형성하기 위해 결합된다. 그러나, 통상의 기술자라면 본 개시의 장치 및 방법 중 적어도 일부가 복합 컬러 홀로그램 이미지를 제공하는 다른 방법에 동일하게 적용될 수 있음을 이해할 것이다.

이러한 방법 중 하나로 프레임 순차 색상(FSC: Frame Sequential colour) 방법이 알려져 있다. 예시적인 FSC시스템에서, 3개의 레이저(적색, 녹색 및 청색)가 사용되며, 각각의 레이저는 단일 SLM에서 연속적으로 발사되어 비디오의 각 프레임을 생성한다. 관찰자가 3개의 레이저에 의해 형성된 이미지의 조합으로부터 다색 이미지를 볼 정도로 충분히 빠른 속도로 컬러가(적색, 녹색, 청색, 적색, 녹색, 청색 등) 순환된다. 따라서 각 홀로그램은 색상별로 구분된다. 예를 들어 초당 25프레임의 비디오에서 첫 번째 프레임은 초당 75분의 1 초 동안 빨간색 레이저를 발사한 다음, 초당 1/75초 동안 녹색 레이저를 발사하고, 최종적으로 청색 레이저는 1/75초 동안 발사될 것이다. 그런 다음 빨간색 레이저로 시작하여 다음 프레임이 생성되는 방식이다.

FSC 방식의 장점은 각 컬러에 대해 전체 SLM이 사용된다는 것이다. 이는 SLM의 모든 화소가 각각의 컬러 이미지로 사용되기 때문에 생성된 세가지 색 이미지의 화질이 손상되지 않을 것을 의미한다. 반면, FSC방법의 단점은, 각 레이저가 단지 1/3시간을 사용하기 때문에 생성된 전반적인 이미지가 SSC방법에 의해 생성된 이미지보다 1/3배 정도로 어둡다는 것이다. 이러한 단점은 레이저를 오버드라이브(overdriving)하거나 보다 강한 레이저를 사용함으로써 잠재적으로 해결될 수 있으나, 이는 더 많은 전력을 요구하고, 고비용을 수반하며, 시스템이 덜 콤팩트 하게 된다.

SSC 방법의 장점은 3 개의 레이저가 동시에 발사되어 이미지가 밝아진다는 것이다. 그러나 공간 제한으로 인해 하나의 SLM 만 사용해야하는 경우 SLM의 표면적을 세 부분으로 나눌 수 있으며 실질적으로 세 개의 개별 SLM처럼 작동한다. 이것의 단점은 각각의 단색 이미지에 대해 이용 가능한 SLM 표면적의 감소로 인해 각각의 단색 이미지의 품질이 저하된다는 것이다. 따라서 다색 이미지의 품질이 저하된다. 사용 가능한 SLM 표면적의 감소는 SLM의 더 적은 화소가 사용될 수 있음을 의미하므로 결과적으로 이미지의 품질이 저하된다. 해상도가 낮아짐에 따른 이미지 품질 저하를 의미한다. 실시예는 영국특허 제2,496,108호에 개시된 개선된 SSC 방법을 이용하며, 상기 특허는 그 전체로서 원용되어 본 명세서에 통합된다.

일부 실시예는 2D 홀로그래픽 재구성을 단지 예로서 기술한다. 다른 실시예에서, 홀로그래픽 재구성은 3D 홀로그래픽 재구성이다. 즉, 일부 실시예에서, 각각의 컴퓨터 생성 홀로그램은 3D 홀로그래픽 재구성을 형성한다.

여기에 설명된 방법 및 프로세스는 컴퓨터 판독가능 매체 상에 구현될 수 있다. 용어 "컴퓨터 판독가능 매체"는 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 버퍼 메모리, 플래시 메모리 및 캐시 메모리와 같이 데이터를 일시적으로 또는 영구적으로 저장하도록 구성된 매체를 포함한다. 또한, "컴퓨터 판독가능 매체"라는 용어는 하나 이상의 프로세서에 의해 실행될 때, 기계가 여기에 기재된 방법론 중 하나 이상을 전체적으로 또는 부분적으로 수행하게 하는 명령들을 기계의 수행 지령으로서 저장할 수 있는 어떤 매체 혹은 다중의 매체의 조합을 포함하는 것으로 간주되어야 한다.

"컴퓨터 판독가능 매체"라는 용어는 또한 클라우드 기반 스토리지 시스템을 포함한다. "컴퓨터 판독 가능 매체"라는 용어는 솔리드-스테이트 메모리 칩, 광학 디스크, 자기(magnetic) 메모리의 예시적인 형태의 하나 이상의 유형 및 비 일시적 데이터 저장소(예를 들어, 데이터 볼륨)를 포함하지만, 디스크 또는 이들의 임의의 적절한 조합을 포함할 수 있다. 일부 예시적인 실시예에서, 실행을 위한 명령어는 캐리어 매체에 의해 전달될 수 있다. 이러한 캐리어 매체의 예는 일시적인 매체(예를 들어, 명령을 전달하는 전파 신호)를 포함한다.

첨부된 청구 범위의 범주를 벗어나지 않으면서 다양한 수정 및 변형이 이루어질 수 있음은 통상의 기술자에게 명백할 것이다. 본 개시는 첨부된 청구 범위 및 그 등가물의 범위 내의 모든 변경 및 변형을 포함한다.

Claims

홀로그램 프로젝터에 있어서,
이미지 처리 엔진으로서:
프로젝션을 하기 위해 픽셀들을 포함하는 소스 이미지를 수신하도록 배열되고; 및
소스 이미지로부터 제1 부 이미지 및 제2 부 이미지를 생성하도록 배열되고, 각각의 부 이미지는 소스 이미지보다 적은 픽셀을 포함하고, 제1 부 이미지는 제2 부 이미지보다 더 많은 픽셀을 갖는, 이미지 처리 엔진;
상기 제1 부 이미지에 대응하는 제1 홀로그램 및 제2 부 이미지에 대응하는 제2 홀로그램을 결정하도록 구성된 홀로그램 엔진으로서, 상기 제1 홀로그램이 상기 제2 홀로그램보다 더 많은 픽셀을 갖는, 홀로그램 엔진;
디스플레이 장치에 각각의 홀로그램을 차례로 표시하도록 배열된 디스플레이 엔진; 및
재생 평면상의 각각의 부 이미지에 대응하는 홀로그램 재구성을 형성하기 위해 디스플레이 하는 동안 각각의 홀로그램을 조명하도록 배열된 광원
을 포함하는 홀로그램 프로젝터.
제1 항에 있어서, 상기 이미지 처리 엔진은 상기 소스 이미지의 중앙 영역으로부터 상기 제1 부 이미지를 도출하고 상기 소스 이미지의 주변 영역으로부터 상기 제2 부 이미지를 도출하도록 배열되는 홀로그램 프로젝터.
제1 항에 있어서, 상기 이미지 처리 엔진은 제어 신호에 기초하여 부 이미지들이 상기 소스 이미지로부터 유도되는 방식을 동적으로 변경하도록 배열되는 홀로그램 프로젝터.
제1 항에 있어서, 상기 제1 홀로그램의 재생률은 상기 제2 홀로그램의 재생률과 상이하며, 상기 재생률은 이미지 처리 엔진에 의해 수신된 소스 이미지의 시퀀스 내 다음 소소 이미지로부터 홀로그램이 재계산되는 빈도인 홀로그램 프로젝터.
제1 항에 있어서, 상기 디스플레이 엔진은, 상기 재생 평면 상에 상기 소스 이미지를 충실하게 재구성하기 위해 상기 홀로그램 재구성 중 적어도 하나를 변환하도록 추가로 배열되는 홀로그램 프로젝터.
제1 항에 있어서, 상기 디스플레이 엔진은 각각의 홀로그램을 상기 디스플레이 장치 상으로 타일링함으로써 각각의 홀로그램을 디스플레이하도록 배열되고, 타일링은, 타일링 방식에 따라, 적어도 디스플레이 장치상의 상기 홀로그램의 연속적인 픽셀들의 서브 세트를 반복하는 것을 포함하는 홀로그램 프로젝터.
제6 항에 있어서, 상기 디스플레이 엔진은, 제1 타일링 방식을 사용하여 상기 제1 홀로그램을 상기 디스플레이 장치 상에 타일링하고 제2 타일링 방식을 사용하여 상기 제2 홀로그램을 상기 디스플레이 장치 상에 타일링하도록 배열되는 홀로그램 프로젝터.
제6 항에 있어서, 상기 디스플레이 엔진은 제어 신호에 기초하여 타일링 방식을 동적으로 변경하도록 배열되는 홀로그램 프로젝터.
제1 항에 있어서, 각각의 부 이미지는 소스 이미지 영역의 상이한 영역에 대응하고, 선택적으로 상기 제1 부 이미지는 근거리 이미지 콘텐츠에 대응하고 상기 제2 부 이미지는 원거리 이미지 콘텐츠에 대응하는 홀로그램 프로젝터. .
제1 항에 있어서, 각각의 부 이미지는 소스 이미지를 고유하게 샘플링함으로써 생성되는 홀로그램 프로젝터.
제1 항에 있어서, 부 이미지들의 개수는 2보다 큰 홀로그램 프로젝터.
제1 항에 있어서, 상기 이미지 처리 엔진은 데이터의 한 프레임에서 상기 제1 부 이미지 및 제2 부 이미지를 상기 홀로그램 엔진으로 전달하도록 배열되는 홀로그램 프로젝터.
제1 항에 있어서, 상기 이미지 처리 엔진은 비디오 레이트로 소스 이미지의 스트림을 수신하도록 구성되고,
상기 디스플레이 디바이스는, 비디오 레이트로 재생 평면 상에 각각의 소스 이미지의 홀로그램 재구성을 형성하기 위해, 각각의 소스 이미지에 대응하는 제1 홀로그램 및 제2 홀로그램 각각을 디스플레이하도록 배열되는 홀로그램 프로젝터
제13 항에 있어서, 상기 디스플레이 장치는 각각의 소스 이미지에 대응하는 상기 제1 홀로그램 및 제2 홀로그램을 각각의 홀로그램 재구성이 인간 눈에서 합쳐져 보일 수 있는 시간 내에 형성될 수 있을 만큼의 속도로 디스플레이하도록 배열되는 홀로그램 프로젝터.
제1 항에 있어서, 상기 디스플레이 장치는 픽셀 기반 공간 광 변조기(SLM) 인 홀로그램 프로젝터.
제1 항에 따른 홀로그램 프로젝터를 포함하는 헤드 업 디스플레이.
홀로그래픽 프로젝션 방법에 있어서,
프로젝션을 하기 위하여 픽셀들을 포함하는 소스 이미지를 수신하는 단계;
소스 이미지로부터 제1 부 이미지 및 제2 부 이미지를 생성하는 단계로서, 각각의 부 이미지는 소스 이미지보다 적은 픽셀을 포함하고, 제1 부 이미지는 제2 부 이미지보다 더 많은 픽셀을 갖는, 단계;
상기 제1 부 이미지에 대응하는 제1 홀로그램 및 제2 부 이미지에 대응하는 제2 홀로그램을 계산하는 단계로서, 상기 제1 홀로그램이 상기 제2 홀로그램보다 더 많은 화소를 갖는, 단계;
각각의 홀로그램을 디스플레이 장치에 차례로 디스플레이 하는 단계; 및
재생 평면에서 제1 부 이미지 및 제2 부 이미지에 각각 대응하는 홀로그램 재구성을 형성하기 위해 디스플레이 하는 동안 제1 홀로그램 및 제2 홀로그램 각각을 조명하는 단계
를 포함하는 방법.
제17 항에 있어서, 제어 신호에 기초하여 부 이미지들이 상기 소스 이미지로부터 도출되는 방식을 동적으로 변경하는 단계를 더 포함하는 방법.
제17 항에 있어서, 각각의 홀로그램을 디스플레이 장치에 차례로 디스플레이 하는 단계는 각각의 홀로그램을 디스플레이 장치에 차례로 타일링 하는 단계를 포함하는 방법.
제17 항에 있어서, 소스 이미지의 스트림을 수신하고 상기 제2 홀로그램과 다른 속도로 상기 제1 홀로그램을 리프레시하는 단계를 더 포함하는 방법.
제1 항에 따른 홀로그램 프로젝터를 포함하는 헤드 마운트 디스플레이.