KR20230160243A - 필드 맵핑을 갖는 투영 시스템 및 투영 시스템을 구동하는 방법 - Google Patents

Abstract

투영 시스템은 이미지 데이터에 응답하여 광을 방출하도록 구성된 광원, 광원으로부터 광을 수신하고 광에 대해 공간 가변 위상 변조를 적용함으로써, 투영 광을 생성하고 재구성 필드 상에서 광을 조향하도록 구성된 위상 광 변조기 - 재구성 필드는 재구성 이미지가 형성되는 복소 평면임 -, 및 제어기를 포함하고, 제어기는 광원을 제어하고, 위상 광 변조기를 제어하고, 재구성 필드를 초기 값으로 초기화(401)하고, 이미지 데이터의 프레임 내의 복수의 서브프레임들 각각에 대해 반복적으로: 재구성 필드를 제1 반복에 대한 초기 값으로 설정(402)하거나 재구성 필드를 임의의 후속-반복에 대한 후속-반복 재구성 필드 값으로 설정(402)하고, 재구성 필드를 변조 필드에 맵핑(403)하고 - 변조 필드는 광의 위상을 변조하는 위상 광 변조기의 복소 평면임 -, 변조 필드의 진폭을 미리 결정된 값으로 설정(404)하고, 미리 결정된 값으로 설정된 진폭을 갖는 변조 필드를 후속-반복 재구성 필드에 맵핑(405)하도록 구성되고, 제어기는 최종 반복으로 맵핑된 변조 필드에 기초한 위상 제어 신호를 위상 광 변조기에 제공(408)하도록 더 구성된다.

Description

필드 맵핑을 갖는 투영 시스템 및 투영 시스템을 구동하는 방법

관련 출원에 대한 상호 참조

본 출원은 2021년 3월 25일자로 출원된 미국 가출원 제63/165,846호 및 2021년 3월 25일자로 출원된 유럽 특허 출원 제21164809.2호의 우선권을 주장하며, 이들 모두는 그 전체가 본 명세서에 참조로 포함된다.

개시내용의 분야

본 출원은 일반적으로 투영 시스템들(projection systems) 및 투영 시스템을 구동하는 방법들에 관한 것이다.

디지털 투영 시스템들은 전형적으로 광원(light source) 및 광학 시스템(optical system)을 이용하여 표면 또는 스크린 상에 이미지를 투영한다. 광학 시스템은 미러들, 렌즈들, 도파관들, 광섬유들, 빔 스플리터들, 확산기들, 공간 광 변조기(spatial light modulator)(SLM)들 등과 같은 컴포넌트들을 포함한다. 일부 투영 시스템들은 공간 진폭 변조를 구현하는 SLM들에 기초한다. 그러한 시스템에서, 광원은 이미지 상에 재생성될 수 있는 가장 밝은 레벨을 구현하는 라이트 필드(light field)를 제공하고, 광은 원하는 장면 레벨들을 생성하기 위해 감쇠(예를 들어, 폐기)된다. 그러한 구성에서, 이미지의 임의의 부분을 형성하도록 투영되지 않는 광은 감쇠되거나 폐기된다. 대안적으로, 투영 시스템은 광이 감쇠되는 대신에 조향되도록 구성될 수 있다. 그러한 시스템들은 복소 위상 신호(complex phase signal)를 생성하고 그 신호를 위상 광 변조기(phase light modulator)(PLM)와 같은 변조기에 제공함으로써 동작할 수 있다.

본 개시내용의 다양한 양태들은 타겟 이미지의 정밀하고 정확한 재생성을 생성하기 위해 위상 광 변조를 이용하는 투영 디스플레이를 위한 회로들, 시스템들, 및 방법들에 관한 것이다.

본 개시내용의 하나의 예시적인 양태에서, 투영 시스템이 제공되고, 투영 시스템은 이미지 데이터에 응답하여 광을 방출하도록 구성된 광원; 광원으로부터 광을 수신하고 광에 대해 공간 가변 위상 변조(spatially-varying phase modulation)를 적용함으로써 광을 조향하고 투영 광을 생성하도록 구성된 위상 광 변조기; 및 제어기를 포함하고, 제어기는 광원을 제어하고, 위상 광 변조기를 제어하고, 이미지 데이터의 프레임 내의 복수의 서브프레임들 각각에 대해 반복적으로: 재구성 필드를 결정하고, 재구성 필드를 변조 필드에 맵핑하고, 변조 필드의 진폭을 스케일링하고, 변조 필드를 후속-반복 재구성 필드에 맵핑하고, 변조 필드에 기초한 위상 제어 신호를 위상 광 변조기에 제공하도록 구성된다.

본 개시내용의 다른 예시적인 양태에서, 투영 시스템을 구동하는 방법에 제공되고, 방법은 이미지 데이터에 응답하여, 광원에 의해 광을 방출하는 단계; 위상 광 변조기에 의해 광을 수신하는 단계; 위상 광 변조기에 의해 광에 대해 공간 가변 위상 변조를 적용함으로써, 광을 조향하고 투영 광을 생성하는 단계; 및 광원 및 위상 광 변조기를 제어하도록 구성된 제어기에 의해, 이미지 데이터의 프레임 내의 복수의 서브프레임들 각각에 대해 반복적으로: 재구성 필드를 결정하고, 재구성 필드를 변조 필드에 맵핑하고, 변조 필드의 진폭을 스케일링하고, 변조 필드를 후속-반복 재구성 필드에 맵핑하고, 변조 필드에 기초한 위상 제어 신호를 위상 광 변조기에 제공하는 단계를 포함한다.

다양한 실시예들의 이들 및 다른 보다 상세하고 구체적인 특징들이 첨부 도면들을 참조하여 이하의 설명에 보다 완전히 설명된다.
도 1은 본 개시내용의 다양한 양태들에 따른 예시적인 투영 시스템의 블록도를 도시한다.
도 2는 본 개시내용의 다양한 양태들에 따른 예시적인 위상 변조기를 도시한다.
도 3은 본 개시내용의 다양한 양태들에 따른 다른 예시적인 위상 변조기를 도시한다.
도 4는 본 개시내용의 다양한 양태들에 따른 예시적인 파 전파 루프(wave propagation loop)를 도시한다.
도 5는 본 개시내용의 다양한 양태들에 따른 규칙화를 갖는 예시적인 파 전파 루프를 도시한다.
도 6a 내지 도 6e는 각각 본 개시내용의 다양한 양태들에 따른 예시적인 이미지 프레임들을 도시한다.
도 7a 내지 도 7e는 각각 본 개시내용의 다양한 양태들에 따른 예시적인 이미지 프레임들을 도시한다.
도 8은 본 개시내용의 다양한 양태들에 따른 예시적인 세기 수렴 그래프(intensity convergence graph)를 도시한다.
도 9는 본 개시내용의 다양한 양태들에 따른 다른 예시적인 세기 수렴 그래프를 도시한다.
도 10은 본 개시내용의 다양한 양태들에 따른 빔 조향 덤프(beam-steering dump)를 갖는 예시적인 파 전파 루프를 도시한다.
도 11a 내지 도 11c는 각각 본 개시내용의 다양한 양태들에 따른 예시적인 이미지 프레임들을 도시한다.
도 12a 내지 도 12c는 각각 본 개시내용의 다양한 양태들에 따른 예시적인 이미지 프레임들을 도시한다.
도 13a 내지 도 13c는 각각 본 개시내용의 다양한 양태들에 따른 예시적인 이미지 프레임들을 도시한다.
도 14는 본 개시내용의 다양한 양태들에 따른 예시적인 외부-루프 피드백 프로세스(outer-loop feedback process)를 도시한다.
도 15a 내지 도 15d는 각각 본 개시내용의 다양한 양태들에 따른 예시적인 이미지 프레임들을 도시한다.
도 16a 내지 도 16c는 각각 본 개시내용의 다양한 양태들에 따른 예시적인 이미지 프레임들을 도시한다.
도 17a 및 도 17b는 각각 본 개시내용의 다양한 양태들에 따른 예시적 단면 그래프들을 도시한다.
도 18은 본 개시내용의 다양한 양태들에 따른 예시적인 잡음-비율 수렴 그래프(noise-ratio convergence graph)를 도시한다.
도 19a 및 도 19b는 각각 본 개시내용의 다양한 양태들에 따른 예시적인 이미지 프레임들을 도시한다.
도 20a 내지 도 20c는 각각 본 개시내용의 다양한 양태들에 따른 예시적인 이미지 프레임들을 도시한다.
도 21은 본 개시내용의 다양한 양태들에 따른 예시적인 위상 입력 대 출력 그래프를 도시한다.
도 22a 내지 도 22c는 각각 본 개시내용의 다양한 양태들에 따른 예시적인 이미지 프레임들을 도시한다.
도 23a 및 도 23b는 각각 본 개시내용의 다양한 양태들에 따른 예시적인 위상 분포 그래프들을 도시한다.
도 24a 내지 도 24c는 각각 본 개시내용의 다양한 양태들에 따른 예시적인 이미지 프레임들을 도시한다.

본 개시내용 및 그 양태들은 컴퓨터에 의해 구현된 방법들에 의해 제어된 하드웨어 또는 회로들, 컴퓨터 프로그램 제품들, 컴퓨터 시스템들 및 네트워크들, 사용자 인터페이스들, 및 애플리케이션 프로그래밍 인터페이스들 뿐만 아니라, 하드웨어에 의해 구현된 방법들, 신호 처리 회로들, 메모리 어레이들, 주문형 집적 회로(application specific integrated circuit)(ASIC)들, 필드 프로그래머블 게이트 어레이(field programmable gate array)(FPGA)들 등을 포함하는 다양한 형태들로 구현될 수 있다. 전술한 개요는 단지 본 개시내용의 다양한 양태들의 일반적인 아이디어를 제공하도록 의도되고, 본 개시내용의 범위를 어떤 식으로든 제한하지 않는다.

이하의 설명에서, 본 개시내용의 하나 이상의 양태의 이해를 제공하기 위해, 회로 구성들, 타이밍들, 동작들 등과 같은 다수의 상세들이 개시된다. 이러한 특정 상세들은 단지 예시적일 뿐이며, 본 출원의 범위를 제한하는 것을 의도하지 않는다는 것이 본 기술분야의 통상의 기술자에게 명백할 것이다.

또한, 본 개시내용은 다양한 회로들이 디지털 투영 시스템들에서 이용되는 예들에 주로 초점을 맞추고 있지만, 이것은 단지 구현의 일례에 불과하다는 것을 이해할 것이다. 개시된 시스템들 및 방법들은 광을 투영할 필요가 있는 임의의 디바이스, 예를 들어, 시네마, 소비자 및 다른 상업용 투영 시스템들, 헤드-업 디스플레이들, 가상 현실 디스플레이들 등에서 이용될 수 있다는 점이 더 이해될 것이다.

투영기 시스템

PLM에 기초한 비교 투영 시스템들에서, 복소 위상 신호를 생성하는 것은 도전과제들을 제시하였다. 예를 들어, 비교 알고리즘들은 타겟 이미지와 유사하게 보이지만, 예측할 수 없는 위치들에서 광의 과잉 또는 결핍을 갖거나, 재생성의 품질을 손상시키는 다른 아티팩트들을 가질 수 있는 이미지들을 생성할 수 있다. 비교 투영 시스템들이 이중 변조 시스템들인 경우, 알고리즘에 의해 어드레싱되지 않는 한, 광 결핍들은 확산 조명을 증가시키는 것에 의해서만 극복될 수 있다. 이것은 비용 및/또는 효율 고려사항들로 인해 금지될 수 있다. 본 개시내용은 단일(즉, 위상 전용) 또는 다수의 변조 스테이지들을 수반하는 위상 변조 이미지 투영 시스템들을 제공하고, 타겟 이미지의 정확한 재구성들을 생성하고, 다수의 변조 스테이지들의 경우에, 다운스트림 변조기(들)에 의한 보상에 적절한 재생성을 생성할 수 있는 알고리즘들과 같은 특징들을 구현한다.

도 1은 본 개시내용의 다양한 양태들에 따른 예시적인 투영 시스템(100)의 블록도를 도시한다. 구체적으로, 도 1은 제1 광(102)을 방출하도록 구성된 광원(101); 제1 광(102)을 수신하고, 이를 재지향시키거나 다른 방식으로 수정하여 제2 광(104)을 생성하도록 구성된 조명 광학계(103); 공간 가변 위상 변조를 제2 광(104)에 적용하여, 제2 광(104)을 조향하고 제3 광(106)을 생성하도록 구성된 PLM(105); 제3 광(106)을 수신하고, 이를 재지향시키거나 다른 방식으로 수정하여 제4 광(108)을 생성하도록 구성된 제1 투영 광학계(107); 제4 광(108)을 필터링하여 제5 광(110)을 생성하도록 구성된 필터(109); 및 제5 광(110)을 수신하고, 이를 제6 광(112)으로서 스크린(113) 상에 투영하도록 구성된 제2 투영 광학계(111)를 포함하는 투영 시스템(100)을 도시한다.

투영 시스템(100)은 광원(101) 및/또는 PLM(105)과 같은 투영 시스템(100)의 다양한 컴포넌트들을 제어하도록 구성된 제어기(114)를 더 포함한다. 일부 구현들에서, 제어기(114)는 조명 광학계(103), 제1 투영 광학계(107) 및/또는 제2 투영 광학계(111)를 포함하지만 이에 제한되지 않는 투영 시스템(100)의 다른 컴포넌트들을 추가적으로 또는 대안적으로 제어할 수 있다. 제어기(114)는 투영 시스템(100)의 중앙 처리 유닛(CPU)과 같은 하나 이상의 프로세서일 수 있다. 조명 광학계(103), 제1 투영 광학계(107) 및 제2 투영 광학계(111)는 각각 미러들, 렌즈들, 도파관들, 광섬유들, 빔 스플리터들(beam splitters), 확산기들 등과 같은 하나 이상의 광학 컴포넌트를 포함할 수 있다. 더욱이, 도 1은 단일 변조기가 긍정적으로 존재하는 것으로 도시하지만, 투영 시스템(100)은 PLM(105)에 더하여 다른 변조기들일 수 있다. 예를 들어, 제1 투영 광학계(107)는 점선으로 도 1에 도시된 진폭 기반 SLM 또는 다른 보조 변조기(secondary modulator)(105')를 포함할 수 있다. 존재할 때, SLM(105')은 제5 광(110)을 변조하기 위해 제2 투영 광학계(111)로부터 광학적으로 업스트림에 위치될 수 있고, 제어기(114)에 의해 제어될 수 있다. 예를 들어, 제어기(114)는 SLM(105')의 개별 변조 요소들을 제어하기 위해 SLM(105')에 제어 신호를 제공할 수 있고; 이 제어 신호는 위상 구성에 적어도 부분적으로 기초하여 계산될 수 있다. 스크린(113)을 제외하고, 도 1에 도시된 컴포넌트들은 투영 디바이스를 제공하기 위해 하우징 내에 통합될 수 있다. 그러한 투영 디바이스는, 메모리, 입력/출력 포트들, 통신 회로, 전원 등과 같은 추가 컴포넌트들을 포함할 수 있다.

광원(101)은, 예를 들어, 레이저 광원 등일 수 있다. 일반적으로, 광원(101)은, 예를 들어, 가간섭성(coherent) 광을 방출하는 임의의 광 방출기이다. 본 개시내용의 일부 양태들에서, 광원(101)은 상이한 파장 또는 파장 대역에 각각 대응하는 다수의 개별 광 방출기들을 포함할 수 있다. 광원(101)은 제어기(114)에 의해 제공된 이미지 신호에 응답하여 광을 방출한다. 이미지 신호는 연속적으로 디스플레이될 복수의 프레임들에 대응하는 이미지 데이터를 포함한다. 이미지 신호는 스트리밍 또는 클라우드 기반 방식으로 외부 소스로부터 유래할 수 있거나, 하드 디스크와 같은 투영 시스템(100)의 내부 메모리로부터 유래할 수 있거나, 투영 시스템(100)에 동작가능하게 접속된 이동식 매체로부터 유래할 수 있거나, 이들의 조합일 수 있다.

필터(109)는 투영 시스템(100)의 내부 컴포넌트들에 의해 야기되는 효과들을 완화시키기 위해 제공될 수 있다. 일부 시스템들에서, PLM(105)(아래에 더 상세히 설명됨)은 커버 유리를 포함하고 반사들을 야기할 수 있고, 디바이스 스위칭은 일시적으로 원하지 않는 조향 각들을 야기할 수 있고, 다양한 컴포넌트들은 산란을 야기할 수 있다. 이에 대응하고 투영 시스템(100)의 바닥 레벨을 감소시키기 위해, 필터(109)는 제4 광(108)의 일부를 차단하도록 구성된 푸리에("DC") 필터 컴포넌트일 수 있다. 따라서, 필터(109)는 커버 유리 반사들, 스트로크 전이 상태들(stroke transition states) 등과 같은 요소들에 대응할 0의 각도 근처의 광으로부터 바닥 레벨을 감소시킴으로써 콘트라스트를 증가시킬 수 있다. 이 DC 블록 영역은 특정 광이 스크린에 도달하는 것을 방지하기 위해 알고리즘에 의해 능동적으로 이용될 수 있다. 본 개시내용의 일부 양태들에서, 필터(109)는 제어기(114)로부터의 제어에 응답하여, 상기의 광을 활성 이미지 영역 외부에 위치되는 광 덤프(light dump)로 조향함으로써 원하지 않는 광이 스크린에 도달하는 것을 방지한다.

위상 광 변조기

도 1에 도시된 바와 같이, 제어기(114)는 또한 광원(101)으로부터 광을 수신하는 PLM(105)을 제어한다. PLM(105)은 광에 공간 가변 위상 변조(spatially-varying phase modulation)를 부여하고, 변조된 광을 제2 투영 광학계(111)를 향해 재지향시킨다. PLM(105)은 PLM(105)이 공간 가변 위상으로 입사 광을 반사하는 반사 타입(reflective type)일 수 있고; 대안적으로, PLM(105)은 PLM(105)이 PLM(105)을 통과할 때 광에 공간 가변 위상을 부여하는 투과 타입(transmissive type)일 수 있다. 본 개시내용의 일부 양태들에서, PLM(105)은 LCOS(liquid-crystal-on-silicon) 아키텍처를 갖는다. 본 개시내용의 다른 양태들에서, PLM(105)은 디지털 마이크로미러 디바이스(digital micromirror device)(DMD)와 같은 마이크로-전자기계 시스템(micro-electromechanical system)(MEMS) 아키텍처를 갖는다.

도 2는 반사형 LCOS PLM(200)으로서 구현되고 부분 단면도로 도시된 PLM(105)의 일례를 도시한다. 도 2에 도시된 바와 같이, PLM(200)은 실리콘 백플레인(silicon backplane)(210), 제1 전극층(220), 제2 전극층(230), 액정층(240), 커버 유리(250) 및 스페이서들(spacers)(260)을 포함한다. 실리콘 백플레인(210)은 상보형 금속-산화물 반도체(complementary metal-oxide semiconductor)(CMOS) 트랜지스터들 등과 같은, PLM(200)과 연관된 전자 회로를 포함한다. 제1 전극층(220)은 투명 매트릭스(transparent matrix)(222)에 배치된 반사 요소들(221)의 어레이를 포함한다. 반사 요소들(221)은 알루미늄 또는 은과 같은 임의의 고도의 광학적 반사성 재료로 형성될 수 있다. 투명 매트릭스(222)는 투명 산화물과 같은 임의의 고도의 광학적 투과성 재료로 형성될 수 있다. 제2 전극층(230)은 인듐 주석 산화물(indium tin oxide)(ITO)의 박막과 같은 임의의 광학적으로 투명한 전기 도전성 재료로 형성될 수 있다. 제2 전극층(230)은 제1 전극층(220)의 복수의 반사 요소들(221)에 대응하는 공통 전극으로서 제공될 수 있다. 그러한 구성에서, 복수의 반사 요소들(221) 각각은 각각의 전기장을 통해 제2 전극층(230)에 결합될 것이고, 따라서 PLM(200)을 픽셀 요소들의 어레이로 분할할 것이다. 따라서, 복수의 반사 요소들(221) 중의 개개의 반사 요소들(또는 서브세트들)은 실리콘 백플레인(210)에 배치된 전자 회로를 통해 어드레싱될 수 있고, 그에 의해 대응하는 반사 요소(221)의 상태를 수정할 수 있다.

액정층(240)은 제1 전극층(220)과 제2 전극층(230) 사이에 배치되고, 복수의 액정들(241)을 포함한다. 액정들(241)은 고체와 액체 사이의 상(phase) 중간에 존재하는 입자들이며; 다시 말해, 액정들(241)은 위치적 순서가 아니라 방향적 순서의 정도를 나타낸다. 액정들(241)이 포인팅하는 경향이 있는 방향은 "디렉터(director)"라고 지칭된다. 액정층(240)은 액정들(241)의 복굴절(birefringence) Δn에 기초하여 커버 유리(250)로부터 들어오는 입사 광을 수정하는데, 이는 디렉터에 평행한 방향에서의 굴절률과 디렉터에 수직인 방향에서의 굴절률 사이의 차이로서 표현될 수 있다. 이로부터, 최대 광학 경로 차이는 액정층(240)의 두께에 의해 곱해진 복굴절로서 표현될 수 있다. 이 두께는 PLM(200)을 밀봉하고 커버 유리(250)와 실리콘 백플레인(210) 사이의 설정 거리를 보장하는 스페이서(260)에 의해 설정된다. 액정들(241)은 일반적으로 제1 전극층(220)과 제2 전극층(230) 사이의 전기장 라인들을 따라 그들 자신을 배향시킨다. 도 2에 도시된 바와 같이, PLM(200)의 중심 근처의 액정들(241)은 이러한 방식으로 배향되는 반면, PLM(200)의 주변 근처의 액정들(241)은 전기장 라인들의 부재시에 실질적으로 배향되지 않는다. 위상-구동 신호를 통해 복수의 반사 요소들(221) 중의 개개의 반사 요소들을 어드레싱함으로써, 액정들(241)의 배향이 픽셀별로 결정될 수 있다.

도 3은 DMD PLM(300)으로서 구현되고 부분 단면도로 도시된 PLM(105)의 다른 예를 도시한다. 도 3에 도시된 바와 같이, PLM(300)은 백플레인(backplane)(310) 및 픽셀 요소들로서의 복수의 제어가능한 반사 요소들을 포함하고, 그 각각은 요크(yoke)(321), 미러 플레이트(mirror plate)(322), 및 한 쌍의 전극들(330)을 포함한다. 도 3의 단면도에서는 2개의 전극(330)만이 보이지만, 각각의 반사 요소는 실제로는 추가적인 전극들을 포함할 수 있다. 도 3에 특별히 도시되지는 않았지만, PLM(300)은 스페이서 층들, 지지 층들, 미러 플레이트(322)의 높이 또는 배향을 제어하기 위한 힌지 컴포넌트들(hinge components) 등을 더 포함할 수 있다. 백플레인(310)은 CMOS 트랜지스터들, 메모리 어레이 등과 같은, PLM(300)과 연관된 전자 회로를 포함한다.

요크(321)는 바이어싱 전압이 미러 플레이트(322)에 인가되는 것을 허용하기 위해 전기 도전성 재료로 형성되거나 이를 포함할 수 있다. 미러 플레이트(322)는 알루미늄 또는 은과 같은 임의의 고반사성 재료로 형성될 수 있다. 전극들(330)은 제1 전압 및 제2 전압을 각각 수신하도록 구성되고, 개별적으로 어드레싱가능할 수 있다. 전극들(330) 상의 전압 및 미러 플레이트(322) 상의 전압(예를 들어, 바이어싱 전압)의 값들에 따라, 미러 플레이트(322)와 전극들(330) 사이에 전위차가 존재하고, 이는 미러 플레이트(322) 상에서 동작하는 정전기력을 생성한다. 요크(321)는 정전기력에 응답하여 미러 플레이트(322)의 수직 이동을 허용하도록 구성된다. 요크(322)의 정전기력 및 스프링-유사 힘(spring-like force)이 동일할 때 발생하는 미러 플레이트(322)의 평형 위치는 미러 플레이트(322)의 상부 표면으로부터 반사된 광의 광학 경로 길이를 결정한다. 따라서, 복수의 제어가능한 반사 요소들의 개별 요소들은 다수의(예시된 바와 같이, 3개의) 이산 높이들 및 다수의 이산 위상 구성들 또는 위상 상태들을 제공하도록 제어된다. 예시된 바와 같이, 위상 상태들 각각은 평탄한 프로파일을 갖는다. 본 개시내용의 일부 양태들에서, 전극들(330)은 미러 플레이트(322)에 경사를 부여하기 위해 서로 상이한 전압들을 제공받을 수 있다. 그러한 경사는 전술한 타입의 광 덤프와 함께 이용될 수 있다.

PLM(300)은 PLM(300)이, 예를 들어, 수십 μs 정도의 하나의 위상 상태로부터 스위칭하도록, 높은 스위칭 속도들이 가능할 수 있다. 위상 제어의 전체 사이클을 제공하기 위해, 미러 플레이트(322)가 그의 최고 포인트에 있는 상태와 미러 플레이트(322)가 그의 최저 포인트에 있는 상태 사이의 전체 광학 경로 차이는 입사광의 파장 λ와 대략 동일해야 한다. 따라서, 최고 포인트와 최저 포인트 사이의 높이 범위는 λ/2와 대략 동일해야 한다.

PLM(105)에 대해 어느 특정 아키텍처가 이용되는지에 관계없이, 이는 픽셀별로 특정 위상 구성들을 취하도록 제어기(114)에 의해 제어된다. 따라서, PLM(105)은 960x540 어레이와 같은 각각의 픽셀 요소들의 어레이를 이용한다. 어레이 내의 픽셀 요소들의 수는 PLM(105)의 해상도에 대응할 수 있다. PLM(105)의 능력들인 빔 조향으로 인해, 광은 재구성 이미지 평면 상의 임의의 위치로 조향될 수 있다. 재구성 이미지 평면은 PLM(105)과 동일한 픽셀 그리드로 제한되지 않는다. 재구성 이미지 평면은 PLM(105)과 제1 투영 광학계(107) 사이의 어디에나 위치될 수 있다. 예를 들어, 이중 변조 구성에서, 재구성 이미지는 제1 투영 광학계(107)를 통해 보조 변조기(105') 상에 이미징된다. PLM(105)은 빠른 응답 시간이 가능하므로, 재구성 이미지 평면 상에 고해상도 동영상들(moving images)이 생성될 수 있다. PLM(105)의 동작은 투영 시스템(100)의 데이터 대역폭, PLM(105)의 스트로크 양자화, 및/또는 PLM(105)의 응답 시간에 의해 영향을 받을 수 있다. 최대 해상도는 광원(101)의 PSF(point-spread function)에 의해 그리고 투영 시스템(100)에서의 다양한 광학 컴포넌트들의 파라미터들에 대해 결정될 수 있다. 본 개시내용에 따른 PLM(105)은 빠른 응답 시간이 가능하기 때문에, 단일 프레임에 대해 다수의 위상 구성들이 연속하여 제시될 수 있고, 이는 이후 인간의 눈에 의해 고품질 이미지로 통합된다.

위상 구성들 및 파 전파 루프

PLM(105)의 빠른 응답 시간은 타겟 라이트 필드(예를 들어, 타겟 이미지)를 재구성하기 위해 PLM 위상 구성을 추정하기 위해 반복 왕복 파 전파 루프(iterative back-and-forth wave-propagation loop)를 이용하는 방법에 의해 레버리지될 수 있다. 반복 왕복 파 전파 루프는, 예를 들어, 공동 소유의 미국 특허 출원 제16/650,545호에 설명된 바와 같은 루프에 기초할 수 있으며, 이 출원의 전체 내용은 본 명세서에 참조로 포함된다. 참조 예에서, 랜덤 또는 준-랜덤 위상이 반복 파 전파 루프에 대한 초기화 시드로서 이용된다. 그렇게 함으로써, 각각의 서브프레임 내의 동일한 타겟 이미지에 대해, 파 전파 루프는 타겟 이미지의 근사를 재구성하는 상이한 위상 구성을 생성한다. PLM(105)의 빠른 응답 시간에 적어도 부분적으로 기인하여, 이러한 재구성된 이미지(서브프레임들)를 신속하게 연속하여 제시하는 것은 (예를 들어, PLM(105)이 하나의 위상 구성으로부터 다음 위상 구성으로 전이할 때) 아티팩트들을 완화시킬 수 있는 시간적으로 통합된 이미지를 초래할 수 있다. 그러한 방법은 재구성 품질과 조향 효율 사이의 특정 균형을 위해 선택된 저역 통과 또는 대역 통과 각도 필터(예를 들어, 알고리즘 필터)를 이용할 수 있다. 그러한 방법의 일부 구현들에서, 재구성된 이미지 특징들로부터 상당한 광이 누락될 수 있다. 특정 응용들(예를 들어, 이미징)에서 및/또는 특정 디바이스 아키텍처들(예를 들어, 이중 변조)에 대해, 이러한 누락된 광은 효율의 감소를 초래할 수 있다. 예를 들어, 이중 변조의 경우, 주(primary) 변조기는 라이트 필드를 감쇠시킬 수 있을 뿐, 그에 에너지를 추가하지 못한다. 이것이 조명 전력을 증가시킴으로써 대응된다면, 빔 조향 변조 스테이지의 효율이 감소될 수 있고/있거나 조명 컴포넌트들의 비용이 증가될 수 있다. 이러한 효과들은 조명 전력의 증가 대신에 특정 파 전파 루프를 제공함으로써 회피될 수 있다.

파 전파 루프는, ("변조 필드"라고도 알려진) 변조 평면 에서의 페이저 필드(phasor field)와 ("재구성 필드"라고도 알려진) 재구성 평면 에서의 페이저 필드 사이에 양방향 맵핑을 확립하도록 동작하며, 여기서, A는 진폭 성분을 나타내고, 는 위상 성분을 나타낸다. 변수들 x 및 y는 픽셀 좌표들을 나타낸다. 이러한 양방향 맵핑은 프레넬(Fresnel) 또는 레일리-서머필드(Rayleigh-Sommerfeld) 방법들을 포함하지만 이에 제한되지 않는 임의의 수치 파 전파일 수 있다. 맵핑은 및 그 각자의 역 로 표시될 수 있고, 여기서 P는 파 전파 함수이다. 이 예에서, 변조 평면은 위상만을 변조할 수 있는 PLM(105)의 평면을 지칭하고, 재구성 평면은 PLM(105)과 제1 투영 광학계(107) 사이의 어디에나, 즉 광학적으로 다운스트림 PLM(105)에 위치될 수 있는, 재구성 이미지가 형성되는 평면을 지칭한다. 재구성 평면(또는 필드)은 투영기(투영기 시스템) 내부에 위치한다. 재구성 평면(또는 필드) 은 변조 평면(또는 필드) 에 대해 근거리 필드에서 광학 거리에 위치된다. 대조적으로, 종래의 Gerchberg-Saxton 알고리즘들에서는, 2개의 복소 평면들 사이에 맵핑이 발생하지 않고, 오히려, 푸리에 변환의 동일한 정의에 대해, 복소 평면과 무한대(infinity), 즉, 원거리 필드 사이에 맵핑이 발생한다. 변조 평면과 재구성 평면 사이의 맵핑은 복소 평면과 무한대 사이의 맵핑에 비해 재구성 평면의 우측 위치들로 조향되는 에너지의 양의 관점에서 더 효율적이다. 근거리 필드 및 원거리 필드 광학 거리들의 정의들은 특정 구현, 예를 들어, PLM의 타입, 설계 제약들 등에 의존한다. 예를 들어, 시네마 투영기들에서, 근거리 필드 광학 거리는 수 센티미터 또는 수십 센티미터 정도일 수 있는 반면, 원거리 필드 광학 거리는 수 미터 정도일 수 있다. 종래의 Gerchberg-Saxton 알고리즘들에서는, 푸리에 변환을 통해 맵핑이 수행되기 때문에, 근거리 필드에서 맵핑이 부정확하다. 본 개시내용의 예에서, 변조 필드를 재구성 필드에 맵핑하는 파 전파 함수 P는 푸리에 변환이 아니다. 이중 변조 구성에서, 재구성 이미지는 제1 투영 광학계(107)를 통해 보조 변조기(105') 상에 이미징된다. 단일 변조 구성에서, 재구성 이미지는 제1 투영 광학계(107) 및 제2 투영 광학계(111)를 통해 스크린 상에 직접 이미징된다.

그 다음, 변조 필드는 이하의 수학식 (1)에 따라 재구성 필드를 역방향 전파함으로써 계산될 수 있다:

수학식 (1)에서, 이다. 변조 필드는 그 후 위상 스트로크 양자화(phase stroke quantization)와 같은 물리적 프로세스들 또는 PLM 특성들을 고려하기 위해 추가적인 처리를 겪을 수 있다. 변조 필드를 순방향 전파(forward-propagating)시켜 그것의 대응하는 재구성 필드를 획득하기 전에, 그것의 진폭 성분은 드롭(drop)될 수 있는데, 즉, 1로 설정될 수 있어, 이하의 수학식 (2)로 이어진다:

수학식 (2)에서, 이다. 이 반복에서, 재구성 필드의 진폭 성분은 이어서 통상적으로 타겟 필드로 대체되고, 사이클이 또다시 반복된다; 즉, 결과적인 필드가 역방향 전파되어, 그의 대응하는 변조 필드가 이하의 수학식 (3)에 따라 얻어진다:

수학식 (3)으로부터의 대응하는 변조 필드는 이어서 전술한 것과 유사한 추가적인 처리를 겪고, 그의 진폭 성분이 드롭되는 등으로 된다. 이러한 반복 프로세스가 반복되며, 따라서 파 전파 루프를 형성한다. 이 루프는 도 4에 도시된 바와 같이 요약될 수 있다. 프로세스 흐름을 실행하기 위해, 투영 시스템(100)에는, 명령어들이 제어기(114)에 의해 실행될 때, 투영 시스템(100)으로 하여금 도 4의 동작들을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체(예를 들어, 하드 디스크, 이동식 저장 매체, RAM 등)에 저장된 명령어들이 제공될 수 있다.

동작(401)에서, 이미지 데이터의 프레임에 대해 진폭, 위상 및 인덱스 변수 n(예를 들어, 현재 반복을 나타낼 수 있음)이 초기화된다. 예를 들어, 진폭 은 으로 초기화되고, 위상 은 일부 초기 값(예를 들어, 예상된 위상 근처의 값, 랜덤 또는 의사-랜덤 시드 등)으로 초기화되고, 인덱스 n은 0으로 설정된다. 몇몇 동작들을 포함하는, 반복 파 전파 루프가 이후 수행된다. 동작(402)에서, 재구성 필드 은 로 설정된다. 다음으로, 동작(403)에서, 재구성 필드는 수학식 (1)을 이용하여 변조 필드에 맵핑된다. 여기서, 수학식 (1)의 아래 첨자 0은 루프에서의 제1 반복에 대해 0인 인덱스 n에 대응한다는 점에 유의한다. 동작(404)에서, 변조 필드의 진폭 성분은 미리 결정된 값으로 설정된다. 예를 들어, 변조 필드의 진폭 성분은 1로 설정될 수 있다. 동작(405)에서, 결과적인 필드는 수학식 (2)를 이용하여 다음 반복을 위한 재구성 필드에 맵핑된다. 수학식 (2)에서, 좌측의 아래 첨자들 0 및 우측의 1은 인덱스 n을 나타내고, 이는 루프에서의 제1 반복에 대해 0이고 루프에서의 다음 반복에 대해 1이다. 루프는 n = 0 ... N에 대해 반복되며, 여기서 N은 반복들의 수이다. 일부 예들에서 N은 미리 결정될 수 있지만; 다른 예들에서 반복들의 수는 동적으로 결정될 수 있다. 즉, 반복 루프는 (예를 들어, 재구성 필드가 타겟 품질을 달성하거나 초과할 때) 자동으로 종료될 수 있다. 따라서, 동작(406)에서, 인덱스 n은 값 N과 비교된다. n < N인 경우, 동작(407)에서 인덱스 n이 증분되고, 루프는 동작(402)에서 다시 시작한다. n = N인 경우, (전술한 바와 같은) 변조 필드의 위상 성분은 제2 광(104)에 공간 가변 위상 변조를 적용하도록 PLM 상에 디스플레이된다. 방법은 이후 동작(408)을 통해 다음 프레임으로 진행하고, 처리되는 현재 서브프레임이 주어진 프레임 내의 마지막 서브프레임인지의 여부에 따라, 새로운 프레임 또는 서브프레임에 대해 동작(401)에서 다시 시작한다.

반복 규칙화

전술한 파 전파 루프는 수렴을 가속화하고/하거나 재구성 필드의 최종 품질을 증가시키도록 수정될 수 있다. 이러한 효과들은 규칙화 팩터(regularization factor)를 구현함으로써 실현될 수 있으며, 이 규칙화 팩터는 현재 반복으로부터의 재구성 에러 의 피드백을 이용하여 후속 반복의 타겟 진폭들을 조정한다. 규칙화는 (예를 들어, 규칙화 팩터의 오버헤드에 대응하는) 계산 복잡도의 매우 작은 증가만을 희생하여 개선된 재구성 이미지 품질을 제공할 수 있다. 주어진 서브프레임 n에 대한 재구성 에러는 이하의 수학식 (4)에 의해 주어진다:

이득 함수 는 또한, 2개의 예로서, 이하의 수학식들 (5a) 또는 수학식 (5b)를 이용하여 정의될 수 있다:

수학식들 (5a) 및 (5b)에서, β는 이득 계수(gain factor)이다. 수학식 (5b)에서, 블러링 필터(blurring filter) G(예를 들어, 가우시안 필터)가 적용된다. 그 후, 이하의 수학식들 (6a) 또는 (6b)에 따라 후속 서브프레임 n+1에 대해 규칙화 동작이 수행될 수 있다:

여기서, 수학식 (6a)를 이용하는 규칙화는 "제1 규칙화" 방법으로서 지칭되고, 수학식 (6b)를 이용하는 규칙화는 "제2 규칙화" 방법으로서 지칭된다.

규칙화를 구현하기 위해, 도 4에 도시된 방법은 수정될 수 있다. 도 5는 규칙화를 포함하는 하나의 예시적인 방법을 도시한다. 프로세스 흐름을 실행하기 위해, 투영 시스템(100)에는, 명령어들이 제어기(114)에 의해 실행될 때, 투영 시스템(100)으로 하여금 도 5의 동작들을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체(예를 들어, 하드 디스크, 이동식 저장 매체, RAM 등)에 저장된 명령어들이 제공될 수 있다.

동작(501)에서, 이미지 데이터의 프레임에 대해 진폭, 위상 및 인덱스 변수 n(예를 들어, 반복을 나타낼 수 있음)이 초기화된다. 예를 들어, 진폭 은 으로 초기화되고, 위상 은 일부 초기 값(예를 들어, 예상된 위상 근처의 값, 랜덤 또는 의사-랜덤 시드 등)으로 초기화되고, 인덱스 n은 0으로 설정된다. 몇몇 동작들을 포함하는, 반복적 파 전파 루프가 이후 수행된다. 동작(502)에서, 재구성 필드 은 로 설정된다. 다음으로, 동작(503)에서, 재구성 필드는 수학식 (1)을 이용하여 변조 필드에 맵핑된다. 동작(504)에서, 변조 필드의 진폭 성분은 미리 결정된 값으로 설정된다. 예를 들어, 변조 필드의 진폭 성분은 1로 설정된다. 동작(505)에서, 결과적인 필드는 수학식 (2)를 이용하여 다음 반복을 위한 재구성 필드에 맵핑된다. 동작(506)에서, 예를 들어, 제1 규칙화 방법에서의 수학식 (6a) 또는 제2 규칙화 방법에서의 수학식 (6b)를 이용하여 규칙화 팩터가 적용된다. 루프는 n = 0 ... N에 대해 반복되며, 여기서 N은 반복들의 수이다. 따라서, 동작(507)에서, 인덱스 n은 값 N과 비교된다. n < N인 경우, 동작(508)에서 인덱스 n이 증분되고, 루프는 동작(502)에서 다시 시작한다. n = N(N이 전술한 바와 같이 미리 결정되든 동적으로 결정되든)인 경우, (전술한 바와 같은) 변조 필드의 위상 성분은 제2 광(104)에 공간 가변 위상 변조를 적용하도록 PLM 상에 디스플레이된다. 방법은 이후 동작(509)을 통해 다음 프레임으로 진행하고, 처리되는 현재 서브프레임이 주어진 프레임 내의 마지막 서브프레임인지의 여부에 따라, 새로운 프레임 또는 서브프레임에 대해 동작(501)에서 다시 시작한다.

수렴 속도 및 이미지 품질에 대한 파 전파 루프 및 규칙화의 효과들이 도 6a 내지 도 6e, 도 7a 내지 도 7e, 도 8 및 도 9에 도시되어 있다. 도 6a 내지 도 6e는 각각 램프 이미지(ramp image)에 대한 이미지 프레임들을 도시하고, 도 7a 내지 도 7e는 각각 비디오 스틸(video still)에 대한 이미지 프레임들을 도시하고, 도 8은 램프 이미지에 대한 수렴 그래프를 도시하고, 도 9는 비디오 스틸에 대한 수렴 그래프를 도시한다.

도 6a 및 도 7a는 타겟 이미지들을 도시한다. 도 6a의 타겟 이미지에서, 픽셀들의 좌측 열로부터 픽셀들의 우측 열로 밝기(brightness)가 부드럽게 증가하는 램프 이미지가 도시된다. 램프 이미지는 수직 방향으로 균일하므로, 픽셀들의 최상부 행으로부터 픽셀들의 최하부 행으로 변하지 않는다. 도 7a의 타겟 이미지에서, 비디오 스틸은 어두운 영역들 및 더 작은 밝은 영역들(도시된 이미지에서의 불꽃들(flames))을 포함한다.

도 6b 및 도 7b는 규칙화가 없는 재구성된 이미지들을 도시하고, 도 6c 및 도 7c는 도 6a와 도 6b 사이 및 도 7a와 도 7b 사이의 차이들을 각각 도시하는 차이 맵들이다. 도 6d 및 도 7d는 제2 규칙화 방법 및 1.4의 이득 계수 β를 갖는 재구성된 이미지들을 도시하고, 도 6e 및 도 7e는 도 6a와 도 6d 사이 및 도 7a와 도 7d 사이의 차이들을 각각 도시하는 차이 맵들이다. 도 6c, 도 6e, 도 7c 및 도 7e의 차이 맵들에서, (예를 들어, 도 6c의 우측 상의) 더 어두운 영역들은 누락된 에너지를 나타내고, (예를 들어, 도 6c의 중심 부근의) 더 밝은 영역은 과잉 에너지를 나타낸다. 도 6a 내지 도 7e에서, 타겟 이미지들 및 재구성 이미지들은 시각적 비교를 용이하게 하기 위해 블러링되는데, 그 이유는 재구성 이미지가 PLM의 비교적 낮은 해상도 및 회절 인식 위상 검색 알고리즘(diffraction-aware phase retrieval algorithm)의 이용과 결합된 파 전파의 코히어런트 특성으로 인해 스펙클(speckle)을 나타내기 때문이다.

도 6c 및 도 7c는 도 6a 및 도 7a의 밝은 영역들에 각각 대응하는 영역들, 및 도 6a 및 도 7a의 일부 어두운 영역들에 각각 대응하는 영역들을 도시한다. 이것은 규칙화 동작의 부재시에, 파 전파 루프가 밝은 타겟 이미지 영역들에 대한 에너지 부족 및 어두운 타겟 이미지 영역들에 대한 에너지 초과를 유발할 수 있다는 것을 나타낸다. 즉, 규칙화 동작의 부재시에, 재구성된 이미지의 동적 범위는 둔해지거나 밋밋해질 수 있다. 이에 비해, 도 6e 및 도 7e는 더 균일하다. 이것은 규칙화 동작이 재구성된 이미지에서 타겟 이미지의 진정한 재생성을 초래한다는 것을 나타낸다.

변환 품질(conversion quality)(도 8 및 도 9에서 dB로 y축들로 표현됨)을 평가하기 위해, 재구성 이미지는 피크 신호 대 잡음비(PSNR) 메트릭에 의해 파 전파 루프의 각각의 반복(도 8 및 도 9에서 x축들로 표현됨)에서 타겟 이미지와 비교된다. 이러한 예시들에서, 재구성 이미지의 스펙클 성질로 인해, 타겟 및 재구성 이미지들 양자는 유사성 메트릭으로서 PSNR의 이용을 가능하게 하도록 블러링된다.

도 8에서, 램프 이미지는 규칙화가 수행되지 않는 제1 루프 방법(801); 제1 규칙화가 1.0의 이득 계수 β로 수행되는 제2 루프 방법(802); 제2 규칙화가 1.0의 이득 계수 β로 수행되는 제3 루프 방법(803); 및 제2 규칙화가 1.4의 이득 계수 β로 수행되는 제4 루프 방법(804)에 대해 비교된다. 각각의 방법에서, 재구성 품질은 일반적으로 각각의 반복과 함께 증가한다. 제1 규칙화 방법(제2 루프 방법(802))은 규칙화가 없는 것(제1 루프 방법(801))보다 높은 품질을 제공하고, 제2 규칙화 방법(제3 루프 방법(803) 또는 제4 루프 방법(804))은 제1 규칙화 방법보다 높은 품질을 제공한다는 것을 알 수 있다. 더욱이, 제2 규칙화 방법을 이용할 때, 1.4의 이득 계수 β는 1.0의 이득 계수 β보다 높은 품질을 제공한다는 것을 알 수 있다.

도 9에서, 비디오는 규칙화가 수행되지 않는 제1 루프 방법(901): 제1 규칙화가 1.0의 이득 계수 β로 수행되는 제2 루프 방법(902); 제2 규칙화가 1.0의 이득 계수 β로 수행되는 제3 루프 방법(903); 및 제2 규칙화가 1.4의 이득 계수 β로 수행되는 제4 루프 방법(904)에 대해 비교된다. 각각의 방법에서, 재구성 품질은 일반적으로 각각의 반복과 함께 증가하지만, 제4 루프 방법(904)은 더 작은 반복들의 수로 최고 품질을 제공할 수 있다. 제4 루프 방법(904)을 이용하는 일부 구현들에서, 반복들의 수는 5과 10 사이; 예를 들어, 7일 수 있다. 제1 규칙화 방법(제2 루프 방법(902))은 규칙화가 없는 것(제1 루프 방법(901))보다 높은 품질을 제공하고, 제2 규칙화 방법(제3 루프 방법(903) 또는 제4 루프 방법(904))은 제1 규칙화 방법보다 높은 품질을 제공한다는 것을 알 수 있다. 또한, 제2 규칙화 방법을 이용할 때, 1.4의 이득 계수 β는 1.0의 이득 계수 β보다 높은 품질을 제공한다는 것을 알 수 있다. 제4 루프 방법(904)에서 특정 반복들의 수 이후의 명백한 품질 저하를 해결하기 위해, 반복 루프는 일단 최대 품질이 달성되고 나면 종료되도록 구성될 수 있다. 또한, 이득 함수 γ 및/또는 이득 계수 β는 특정 응용에 대해 미세 조정될 수 있다. 이중 변조 구성에서, 규칙화에 의해 야기된 오버슈트(overshoot)의 임의의 경우들(예를 들어, 도 7e의 작은 밝은 부분들)은 주 변조기에 의해 감쇠될 수 있다.

반복적 규칙화를 갖는 파 전파 루프는 재구성된 라이트 필드에서 상대적인 세기들을 재생성하는 위상 구성들을 생성한다. 일부 구현들에서, 이것은 재구성 라이트 필드를 구성하기 위해 조명의 무결성이 주 변조기로 조향되고, 따라서 디밍 초과 광(dimming excess light)의 부담이 주 변조기 상에 배치된다는 가정 하에 생성될 수 있다. 특정 응용들에 대해(예를 들어, 높은 동적 범위 이미지 투영에 대해), 라이트 필드는 주요 비율의 제한된 콘트라스트 비율을 충족시키도록 디밍된다. 이러한 디밍은 필터를 제공함으로써, 조명을 전역적으로 디밍함으로써, 또는 빔 조향 덤프를 이용함으로써 달성될 수 있다.

빔 조향 덤프

빔 조향 덤프는 파 전파 루프의 일부로서 구현될 수 있다. 그러한 구현에서, 빔 조향 덤프는 재구성 이미지 내의 절대 세기 레벨들을 달성하면서, 임의의 과잉 에너지를 덤프 영역으로 조향하는 위상 구성으로 파 전파 루프가 수렴하는 것을 허용한다. 더욱이, 빔 조향 덤프 영역은 값들이 그 내부에서 제약되지 않고 자유롭게 변동하는 플로트(float) 영역으로서 동작하고; 따라서, 플로트 영역은 파 전파 루프 내의 제약들을 완화시키며, 이는 솔루션으로의 수렴을 허용할 수 있다. 도 10은 빔 조향 덤프 영역을 갖는 예시적인 파 전파 루프를 도시한다.

도 10에 도시된 루프에서의 각각의 이미지는 그의 위상 성분 및 그의 진폭 성분으로 분할된다. 예를 들어, 루프는 으로서 표현될 수 있는 초기 재구성 위상 필드(1010) 및 으로서 표현될 수 있는 초기 재구성 진폭 필드(1020)를 포함하는 타겟 이미지 로 개시한다. 위상 (1010)은 일부 초기 값(예를 들어, 예상된 위상에 근처의 값, 랜덤 또는 의사-랜덤 시드 등)으로 초기화되고, 인덱스 n은 0으로 설정된다. 진폭 은 활성 영역(1021) 내에서 로 초기화되고, 덤프 영역(1022)으로 패딩된다. 일부 구현들에서, 덤프 영역(1022)에서의 가상 픽셀들(즉, 이미지 데이터에 반드시 대응하지는 않는 픽셀들)의 특정 값은 루프의 수렴에 크게 영향을 미치지 않을 수 있고, 따라서, 0, 다른 경험적 상수 값, (예를 들어, 조명 APL 및 타겟 이미지 APL로부터) 계산되는 값, 랜덤 값, 또는 이들의 조합들과 같은 미리 결정된 값으로 설정될 수 있다.

역방향 전파 후에, 결과적인 변조 필드 는 로서 표현될 수 있는 위상 성분(1030), 및 로서 표현될 수 있는 진폭 성분(1040)을 포함한다. 변조 필드의 위상 성분(1030) 및 진폭 성분(1040) 둘 다는 어드레싱가능 영역(각각, 1031 및 1041) 및 어드레싱불가능 영역(각각, 1032 및 1042)을 포함한다. 어드레싱불가능 영역들(1032 및 1042)은 PLM(105)의 변조 영역의 외부에 있고, 따라서 0으로 설정될 수 있다. 루프에서의 이 포인트에서, 어드레싱가능 영역(1041)에서의 값들(변조 필드의 진폭 성분(1040))은 조명 (즉, 단일 값 또는 2D 맵일 수 있고 상수로서 취급될 수 있는 조명 세기의 제곱근)의 플랫 레벨 세기(flat level intensity)(니트(nit) 단위)로 설정될 수 있다. 영역들을 이러한 값들로 설정하는 것은 변조 필드에서의 진폭 값들과 재구성 필드에서의 진폭 값들 사이의 관계를 부과한다. 이것은 루프가 재구성 필드 상에 자동으로 수렴하는 것을 가능하게 할 수 있는데, 여기서 활성 영역(1021) 내의 값들은 타겟 절대 레벨들에 근접하고, 덤프 영역(1022) 내의 값들은 (예를 들어) 타겟 이미지가 광원에 의해 제공되는 것보다 더 적은 에너지를 이용하기 때문에 임의의 과잉 에너지를 포함한다.

n = N 반복에서, 변조 필드의 위상 성분(1030)의 어드레싱가능 영역(1031)은 PLM(105)에 대한 중간 위상 성분(1050)(예를 들어, 위상 구성(1050))으로서 출력된다. 그렇지 않으면, 순방향 전파 후에, 루프는 로 표현될 수 있는 중간 위상 성분(1050) 및 로 표현될 수 있는 중간 진폭 성분(1060)을 포함하는 재구성 필드 를 생성한다. 이어서, 중간 진폭 성분(1060)의 활성 영역(1061)은 규칙화(1070)될 수 있는 반면, 중간 진폭 성분(1060)의 덤프 영역(1062)은 터치되지 않은 채로 남을 수 있다. 규칙화(1070)는 제1 규칙화 방법(즉, 수학식 (6a)를 이용함) 또는 제2 규칙화 방법(즉, 수학식 (6b)를 이용함)을 이용할 수 있다. 그 다음, (규칙화 후의) 활성 영역(1061) 및 덤프 영역(1062)을 포함하는 중간 위상 성분(1050) 및 중간 진폭 성분(1060)은 루프를 통한 다음 반복을 위해 초기 재구성 위상 필드(1010), 및 활성 영역(1021) 및 덤프 영역(1022)을 포함하는 초기 재구성 진폭 필드(1020)로서 각각의 순서로 이용된다. 순방향 전파 및 규칙화 동안, 다양한 덤프 영역들 내의 값들은 처리되지 않을 수 있고, 따라서 터치되지 않은 채로 남을 수 있다.

도 10은 대응하는 이미지 영역을 완전히 둘러싸는 것으로서 다양한 덤프 영역들(예를 들어, 이미지 영역(1021)을 완전히 둘러싸는 덤프 영역(1022))을 도시하지만, 본 개시내용은 그렇게 제한되지 않는다. 일부 구현들에서, 덤프 영역은 이미지 영역 위와 아래의 스트라이프들로서만 존재할 수 있어서, 대응하는 이미지(예를 들어, 초기 재구성 진폭 필드(1020))는 정사각형이다. 이 구성은 계산 효율을 향상시킬 수 있다. 예를 들어, 시네마 이미지들은 1:1 종횡비(aspect ratio)를 갖지 않지만, 특정 동작들(예를 들어, 고속 푸리에 변환들 또는 FFT들)은 정사각형 행렬들로 가장 효율적으로 동작한다. 따라서, 직사각형 이미지 영역을 위와 아래의 타겟 영역들로 패딩함으로써, 결과적인 이미지는 1:1 종횡비를 갖도록 만들어진다. 또한, 도 10은 덤프 영역을 대응하는 이미지 영역 외부의 영역(즉, 아웃-오브-이미지 영역)으로서 도시하지만, 도 10의 동작들은 또한 광학 DC 또는 푸리에 필터로 구현될 수 있다. 이러한 동작들은 느리고 빠른 응답 시간들을 갖는 빔 조향 디바이스(예를 들어, PLM(105))를 이용하는 단일- 및 다수-스테이지 변조 이미지 투영 시스템들 둘 다에서 구현될 수 있다. 비교적 느린 PLM(105)(예를 들어, LCOS-타입 디바이스)의 경우, 도 10의 동작들은, PLM(105)의 프레임 레이트에 따라, 비디오 프레임 당 하나 또는 적은 수의 고품질 위상 구성의 계산을 허용한다. 비교적 빠른 PLM(105)(즉, MEMS 타입 디바이스)의 경우, 도 10의 동작들은 비디오 프레임당 단일 고품질 위상 구성의 계산을 허용하며, 여기서 프레임에서의 나머지 서브프레임들의 위상 구성들은 이미 계산된 위상 구성으로부터 생성될 수 있는데, 적어도 그 이유는 각각의 비디오 프레임에 대해 대응하는 서브프레임 위상 구성들이 서로의 스펙클 변화들이기 때문이다. 이것은 비디오 프레임 이미지를 달성하기 위해 상이한 서브프레임 솔루션들의 통합을 이용하는 방법들에 비해 증가된 계산 효율을 제공할 수 있다.

도 11a 내지 도 11c, 도 12a 내지 도 12c, 및 도 13a 내지 도 13c는, 각각, 이중 변조 빔 조향 시스템에서의 온 스크린 재구성들(즉, 비교적 느린 빔 조향 디바이스를 이용하여 생성된 단일 프레임)의 시뮬레이션들 및 도 10의 루프를 도시하고 있다. 시뮬레이션들을 위해, 레이저 조명은 27 니트의 플랫 레벨을 갖는 것으로 취급된다. 도 11a 내지 도 11c 및 도 12a 내지 도 12c는 각각 비디오 스틸에 대한 시뮬레이션을 도시하고, 도 13a 내지 도 13c는 각각 램프 이미지(예를 들어, 도 6a 내지 도 6e와 관련하여 전술한 램프 이미지)에 대한 시뮬레이션들을 도시한다.

도 11a는 어두운 영역들 및 밝은 영역들(도시된 이미지에서의 불꽃들)을 포함하는 비디오 스틸에 대한 타겟 이미지를 도시한다. 도 11b는 규칙화가 없는 시뮬레이션된 스크린 이미지를 도시하고, 도 11c는 규칙화가 있는 시뮬레이션된 이미지를 도시한다. 특히, 도 11c의 시뮬레이션은 제2 규칙화 방법 및 광 덤프를 갖는 1.4의 이득 계수 β를 이용하여 생성되었다. 각각이 상이한 밝기 레벨을 갖는 3개의 이미지 부분들이 분석되었다. 도 11a에서의 타겟 이미지의 평균 픽처 레벨(average picture level)(APL)은 밝은 부분들에 대해 17.5 니트, 중간 레벨 부분들에 대해 12.9 니트, 및 어두운 부분들에 대해 5.9 니트이다. 도 11b에서의 시뮬레이션된 이미지의 APL은 밝은 부분들에 대해 17.2 니트, 중간 레벨 부분들에 대해 12.7 니트, 및 어두운 부분들에 대해 5.8 니트이다. 대조적으로, 도 11c에서의 시뮬레이션된 이미지의 APL은 밝은 부분들에 대해 17.5 니트, 중간 레벨 부분들에 대해 12.9 니트, 및 어두운 부분들에 대해 5.9 니트이다. 따라서, 광 덤프 및 규칙화의 이용을 통해, 도 11c의 시뮬레이션된 이미지는 도 11b의 시뮬레이션된 이미지에 비해 타겟 이미지에 더 가깝게 근사화된다.

도 12a는 어두운 영역들 및 밝은 영역들(도시된 이미지에서의 스파크들(sparks) 또는 밝은 창문들)을 포함하는 비디오 스틸에 대한 타겟 이미지를 도시한다. 도 12b는 규칙화가 없는 시뮬레이션된 스크린 이미지를 도시하고, 도 12c는 규칙화가 있는 시뮬레이션된 이미지를 도시한다. 특히, 도 12c의 시뮬레이션은 제2 규칙화 방법 및 광 덤프를 갖는 1.4의 이득 계수 β를 이용하여 생성되었다. 각각이 상이한 밝기 레벨을 갖는 3개의 이미지 부분들이 분석되었다. 도 12a에서의 타겟 이미지의 APL은 밝은 부분들에 대해 12.8 니트, 중간 레벨 부분들에 대해 11.8 니트, 및 어두운 부분들에 대해 8.7 니트이다. 도 12b에서의 시뮬레이션된 이미지의 APL은 밝은 부분들에 대해 12.2 니트, 중간 레벨 부분들에 대해 10.8 니트, 및 어두운 부분들에 대해 8.6 니트이다. 대조적으로, 도 12c에서의 시뮬레이션된 이미지의 APL은 밝은 부분들에 대해 12.7 니트, 중간 레벨 부분들에 대해 11.1 니트, 및 어두운 부분들에 대해 8.7 니트이다. 따라서, 광 덤프 및 규칙화의 이용을 통해, 도 12c의 시뮬레이션된 이미지는 도 12b의 시뮬레이션된 이미지에 비해 타겟 이미지에 더 가깝게 근사화된다.

도 13a는 좌측으로부터 우측으로 밝기가 증가하는 램프 이미지에 대한 타겟 이미지를 도시한다. 도 13b는 규칙화가 없는 시뮬레이션된 스크린 이미지를 도시하고, 도 13c는 규칙화가 있는 시뮬레이션된 이미지를 도시한다. 특히, 도 13c의 시뮬레이션은 제2 규칙화 방법 및 1.4의 이득 계수 β를 이용하여 생성되었다. 각각이 동일한(높은) 밝기 레벨을 갖는 3개의 이미지 부분이 분석되었다. 도 13a에서의 타겟 이미지의 APL은 3개의 부분들 모두에 대해 18.9 니트이다. 도 13b에서의 시뮬레이션된 이미지의 APL은 부분들 중 2개에 대해 17.8 니트이고, 다른 부분에 대해 17.5 니트이다. 대조적으로, 도 13c에서의 시뮬레이션된 이미지의 APL은 3개의 부분들 모두 부분들 중 2개에 대해 18.8 nits이고, 다른 부분에 대해 18.7 니트이다. 따라서, 광 덤프 및 규칙화의 이용을 통해, 도 13c의 시뮬레이션된 이미지는 도 13b의 시뮬레이션된 이미지에 비해 타겟 이미지에 더 가깝게 근사화된다.

많은 양의 광을 덤프 영역들 내로 덤프하는 것은, 일부 구현들에서, 이미지 영역 내로의 광 블리딩(light bleeding)을 야기하고 이미지를 사실상 열화시킬 수 있다. 주 변조기가 빔 조향된 라이트 필드의 유효 콘트라스트 비율을 증가시키는 기능을 하지만, 주 변조기는 또한 일부 광 덤핑 능력들을 제공한다. 따라서, 파 전파 루프는 덤프 영역들 및 주 변조기 둘 다를 이용함으로써 과잉 광을 덤프하는 솔루션에 자동으로 수렴하도록 조정될 수 있다. 그러한 조정은, 파 전파 루프가 주 변조기의 능력들(즉, 그 콘트라스트 비율)을 인식하게 함으로써, 덤프 영역과 주 변조기를 상호교환가능하게 이용하여 더 양호한 온-스크린 이미지 절대 레벨을 유도하는 더 정확한 위상 구성들을 생성하는 것을 허용하도록 규칙화 표현을 수정하는 것을 포함할 수 있다.

콘트라스트 인식 함수는 이하의 수학식 (7)을 이용하여 정의될 수 있다:

수학식 (7)에서, c는 주 변조기의 콘트라스트 비율을 나타내고, 함수 clip(X, A, B)는 구간 [A, B]에 있도록 X의 값을 클리핑하는 클리핑 함수를 나타낸다. 그 결과, 주어진 서브프레임 n에 대한 재구성 에러는 이하의 수학식 (8)이 된다:

수학식 (8)은 수학식 (4) 대신에 수학식 (5b)의 이득 함수에서의 에러를 위해 이용될 수 있다. 이것은 (6b)의 규칙화 동작이 주 변조기의 콘트라스트 비율을 인식하게 할 것이고, 따라서 위에서 언급된 이점들을 제공할 것이다.

글로벌 피드백

일부 개방 루프 통합 방식들은 모든 서브프레임에 대해 위상 알고리즘에 동일한 입력 이미지를 공급하고, 각각의 개별 솔루션의 랜덤성(randomness)을 이용하여 잡음이 보다 적은(예를 들어, 보다 높은 SNR) 이미지에 통합한다. 일부 예들에서, 프레임 내의 대응하는 서브프레임에 대해 각각, 최대 100개의 개별 솔루션(또는 그보다 많은 것)이 생성될 수 있다. 예를 들어, 회절 인식 알고리즘이 이용되더라도, 각각의 서브프레임은 프레임의 에지들을 향해 롤-오프(roll-off)를 나타내는 경향이 있고, 랜덤성을 나타낼 수 있으며; 따라서, 결과적인 통합된 라이트 필드는 롤-오프를 나타내고, 증가된 블러링 및 감소된 콘트라스트를 갖는 이미지를 제시할 수 있다. 이러한 효과들은 전술한 개별 솔루션들에 대한 레벨 문제들(예를 들어, 오버슈트 및 언더슈트)에 더하여 발생한다.

실제로, 특히 랜덤 위상 분포를 초기 상태로서 이용할 때, 회절 인식 위상 알고리즘의 정확한 결과를 예측하는 것이 어렵거나 불가능할 수 있다. 그러나, 동일한 이미지에 대한 많은 솔루션들을 통합하는 것은 위상 알고리즘 자체에 관한 정보를 제공할 수 있다. 따라서, 이전 통합들의 결과들을 이용하여 후속 통합들의 결함들을 교정하고, 따라서 더 정확한 타겟 이미지를 달성하는 것이 가능할 수 있다. 이것은 각각의 서브프레임에 대한 위상 알고리즘에 공급되는 세기들에 작용하는 피드백 루프를 이용하여 달성될 수 있다. 일 예에서, 피드백 루프는 "외부 루프 피드백(outer-loop feedback)" 또는 OLFB라고 지칭되는 위상 알고리즘 자체의 외부에 그리고 그와 독립적으로 적용된다. OLFB는 파 전파 또는 반복적 규칙화(iterative regularization)와 같은 다른 반복적 방법들에 부가하여 이용될 수 있거나, 그 자체로 이용될 수 있다.

OLFB 방법은 제1 통합을 제외한 서브프레임 내의 각각의 통합에 대해 일련의 동작을 수행함으로써 구현될 수 있다. OLFB 방법의 일 예가 도 14에 도시되어 있다. 동작(1401)에서, 주어진 프레임에 대해 제1 타겟이 생성되고, 인덱스 변수 n(현재 서브프레임의 수에 대응함)은 0으로 설정된다. 동작(1402)에서, 현재 통합된 라이트필드 시뮬레이션 i_LFS는 2차원 에러 신호 E를 생성하기 위해 타겟 이미지 T와 비교된다. 이것은 이하의 수학식 (9)에 의해 표현될 수 있다:

수학식 (9)에서, c₁ 및 c₂는 컨디셔닝 함수들(conditioning functions)이다. 다음으로, 동작(1403)에서, 에러 신호는 위상 알고리즘에 대한 새로운 타겟 T'을 생성하기 위해 입력 세기들과 결합된다. 이것은 이하의 수학식 (10)에 의해 표현될 수 있다:

수학식 (10)에서, g는 컨디셔닝 함수이다. 컨디셔닝 함수들 c₁ 및 c₂는 그들 각각의 인수들 T 및 i_LFS를 스케일링하며, 따라서 그들 양자는 동일한 총 에너지를 갖는다. 컨디셔닝 함수 g는 교정을 증폭하고 수렴을 가속화하기 위해 에러에 이득을 적용한다. 에러 신호 E 및 타겟 세기들 T'은 각각의 서브프레임 n = 1 ... N에 대해 업데이트되며, 여기서 N은 이전 반복으로부터의 또는 다수의 이전 반복들로부터의 결과들을 이용하여 프레임에서의 서브프레임들 또는 통합들의 수이다. 따라서, 동작(1404)에서, 인덱스 n은 값 N과 비교된다. n < N인 경우, 동작(1405)에서 인덱스 n이 증분되고, 루프는 동작(1402)에서 다시 시작한다. n = N인 경우, 방법은 동작(1406)을 통해 다음 프레임으로 진행하고, 새로운 프레임에 대해 동작(1401)에서 다시 시작한다. 반복들의 총 수 N은 이미지 품질과 계산 요건들의 균형을 맞추도록 선택될 수 있다. 일부 구현들에서, N ≥ 6 이다. 일 예에서, N = 6이다.

개방 루프 방법과 비교한 OLFB의 효과들이 도 15a 내지 도 15d, 도 16a 내지 도 16c, 도 17a 내지 도 17b 및 도 18에 도시되어 있다. 도 15a 내지 도 15d는 각각 비디오 스틸에 대한 이미지 프레임들을 도시하고, 도 16a 내지 도 16c, 도 17a 내지 도 17b 및 도 18은 각각 램프 이미지(예를 들어, 도 6a 내지 도 6e 및/또는 도 13a 내지 도 14c와 관련하여 전술한 램프 이미지)에 대한 이미지 프레임들 및 그래픽 분석들을 도시한다. 도시들은 PSF가 적용되지 않고 제시된다.

도 15a는 어두운 영역들 및 더 작은 밝은 영역들(도시된 이미지에서의 불꽃들)을 포함하는 타겟 이미지 프레임을 도시한다. 도 15b는 N = 100개의 솔루션들을 통합하는, 회절 인식 알고리즘을 이용하는 개방 루프 방법에 의해 생성된 통합된 이미지를 도시한다. 도 15b를 도 15a와 비교함으로써, 개방 루프 방법은 프레임의 에지들을 향하는 롤-오프를 나타내고, 블러링되며, 더 낮은 콘트라스트를 갖는 통합된 이미지를 생성한다는 것을 알 수 있다.

도 15c는 N = 100개의 솔루션들을 통합하는, 전술한 OLFB 방법에 의해 생성된 통합된 이미지를 도시한다. 도 15c를 도 15b와 비교함으로써, OLFB 방법은 특히 코너들 및 에지들에서 도 15a의 타겟 이미지를 더 정확하게 근사화하는 더 높은 품질의 통합된 이미지를 생성한다는 것을 알 수 있다. 반드시 단일 인자에 의해서만 야기되는 것은 아니지만, 이에 대한 하나의 이유는 나중의 서브프레임들이 더 이른 서브프레임들의 에러들을 고려하고, 따라서 특히 이러한 에러들에 대응하도록 생성되기 때문이다. 예를 들어, 도 15d는 최종 통합(n=100)을 위한 타겟 이미지를 도시한다. 도 15d를 도 15b와 비교함으로써, 나중의 반복들에서의 OLFB 방법은 개방 루프 방법이 광 결핍인 모든 영역들을 증폭한다는 것을 알 수 있다.

도 16a는 좌측으로부터 우측으로 밝기가 증가하는 램프 이미지에 대한 타겟 이미지를 도시한다. 도 16b는 N = 100개의 솔루션들을 통합하는, 회절 인식 알고리즘을 이용하는 개방 루프 방법에 의해 생성된 통합된 이미지를 도시한다. 도 16b를 도 16a와 비교함으로써, 개방 루프 방법은 프레임의 에지들을 향하는 롤-오프를 나타내고, 잡음이 많고, 더 낮은 콘트라스트를 갖는 통합된 이미지를 생성한다는 것을 알 수 있다. 도 16c는 N = 100개의 솔루션들을 통합하는, 전술한 OLFB 방법에 의해 생성된 통합된 이미지를 도시한다. 도 16c를 도 16b와 비교함으로써, OLFB 방법은 도 16a의 타겟 이미지를 더 정확하게 근사화하고, 특히 코너들 및 에지들에서 더 적은 잡음을 나타내는 더 높은 품질의 통합된 이미지를 생성한다는 것을 알 수 있다.

도 16a, 도 16b 및 도 16c 사이의 차이들이 도 17a 및 도 17b에 더 상세히 도시된다. 도 17a는 이미지의 대략 중간에 있는 픽셀들의 단일 행에 대해, 도 16a 내지 도 16c의 램프 파형에 대한, 로그 스케일(log scale)의, y축 상의 니트 단위의 휘도(luminance) 레벨 대 x축 상의 수평 픽셀 위치를 도시한다. 도 16a의 타겟 이미지는 곡선(1701a)으로서 도시되고, 도 16b의 개방 루프 N = 100 통합 이미지는 곡선(1702a)으로서 도시되고, 도 16c의 OLFB N = 100 통합 이미지는 곡선(1703a)으로서 도시된다. 도 17b는 이미지의 최상부 근처에 있는 픽셀들의 단일 행에 대한 동일한 정보를 나타낸다. 도 16a의 타겟 이미지는 곡선(1701b)으로서 도시되고, 도 16b의 개방 루프 N = 100 통합 이미지는 곡선(1702b)으로서 도시되고, 도 16c의 OLFB N = 100 통합 이미지는 곡선(1703b)으로서 도시된다. 곡선들(1703a 및 1703b)은 곡선들(1702a 및 1702b)보다 타겟 곡선들(1701a 및 1701b)에 각각 훨씬 더 가깝게 근사화된다. 더욱이, (예를 들어, 램프 이미지의 좌측 근처의 어두운 픽셀들에 대한) 임의의 불일치들은 OLFB에 대한 이미지 전반에서 일관되는 반면, 개방 루프 방법은 램프 이미지의 최상부 및 중간 행들 사이에 상이한 정도의 불일치를 갖는다.

더욱이, OLFB는 개방 루프 방법에 비해 더 깨끗하고 더 정확한 이미지를 생성한다. 이것은 곡선들(1702a, 1702b)에 비해 곡선들(1703a, 1703b)에서 더 낮은 양의 잡음에 의해 알 수 있다. 이것은 또한 도 18에 더 상세히 도시되어 있고, 도 18은 또한 OLFB 방법이 개방 루프 방법보다 더 빠르게 실질적으로 잡음이 없는 솔루션으로 수렴하는 것을 보여준다. 특히, 도 18은 y축 상의 dB 단위의 PSNR 및 x축 상의 통합들의 수 N을 도시한다. 개방 루프 방법은 곡선(1801)으로 도시되고, OLFB 방법은 곡선(1802)으로 도시된다.

곡선(1802)은 곡선(1801)보다 더 빠르게 증가하고, 훨씬 더 높은 최대 값을 갖는다. 예를 들어, x = 6에서의 곡선(1802)의 y 값은 x = 100에서의 곡선(1801)의 y 값보다 높고, 이것은 단지 6개의 통합을 갖는 OLFB 방법의 PSNR이 100개의 통합을 갖는 개방 루프 방법의 PSNR보다 높다는 것을 나타낸다. 도 18에는 도시되지 않았지만, 대략 15개의 통합에서의 OLFB 방법의 잡음 레벨은 100개의 통합에서의 개방 루프 방법의 잡음 레벨과 대략 동일하다. 즉, OLFB는 또한 계산 복잡성의 감소를 제공한다. 이것은 고속 위상 변조기들을 이용하는 다중 변조 시스템들 뿐만 아니라 위상-전용 투영 시스템들 양쪽 모두에 적용된다. 위상 변조기와 다운스트림 변조기 사이에서 (예를 들어, 블러링을 위해) PSF를 이용하는 시스템들의 경우, OLFB는 서브프레임의 타겟들을 업데이트할 때 PSF를 고려할 수 있으므로, 한 형태의 반복적 디컨볼루션(iterative deconvolution)을 실현할 수 있다. 순 효과(net effect)는 시스템 밝기 제한들을 받는, 더 밝은 물체들 및 감소된 헤일로(halo)를 갖는 통합된 라이트 필드이다.

OLFB 광 덤핑

위에 언급된 바와 같이, PLM이 (광을 폐기하는 것과 달리) 단지 광을 재지향시킬 수 있기 때문에, 재구성된 이미지에서의 절대 세기들을 달성하는 것은 PLM 이외의 수단에 의해 과잉 에너지를 덤핑하는 것을 포함할 수 있다. 일 예에서, 푸리에(DC) 필터가 (예를 들어, 필터(109)로서 또는 그와 함께) 광학 경로에 존재하면, PLM 후의 모든 변조되지 않은 광(즉, 직진하는 광)은 폐기될 것이다. 이어서, 이미지를 생성하는 데 이용되는 변조기의 영역("활성 영역"으로 지칭됨)을 제한함으로써 재구성 평면에 도달하는 광의 양을 제어하는 것이 가능하다. 변조기의 비활성 영역 내의 광은 그 후 푸리에 필터에서 폐기될 것이다. 추가적으로 또는 대안적으로, 과잉 에너지를 포함할 재구성된 이미지 주위의 빔 조향 덤프 영역을 생성하는 것이 가능하다.

빔 조향 덤프 영역은 OLFB 방법을 이용하여 구현될 수 있다. 이것은 전술한 반복적 규칙화 프로세스에서 덤프 영역의 구현 대신에 수행될 수 있다. OLFB 방법은 덤핑을 용이하게 하는데, 그 이유는 회절 효율이 선험적으로 알려지지 않지만, 제1 서브프레임에 대한 해를 구한 후에 (이미지 및 덤프에 대해 함께 또는 개별적으로) 계산될 수 있고, 각각의 후속 통합에서 업데이트될 수 있기 때문이다. 각각의 서브프레임에 대해 타겟이 업데이트됨에도 불구하고, 회절 효율은 일반적으로 모든 통합들에 걸쳐 일정하게 유지될 것이다. 따라서, 이미지 부분을 스케일링하기 위해 이전 통합의 회절 효율을 이용하는 것은 정확한 결과를 초래한다. 이 구현에서, 위상 알고리즘 자체는 덤핑 방식을 구현하지 않고, 대신에 단지 정규화된 정사각형 타겟에 대한 해를 구한다.

일 예에서, 덤프 영역은 재구성된 이미지 위 및 아래의 동일한 세기들의 2개의 밴드로서 구현되어, 전체 재구성 윈도우를 정사각형으로 만들고 따라서 조향 요건들을 보존한다(즉, 최대 조향 각도가 변경되지 않는다). 또한, 정사각형 재구성 윈도우를 제공하는 것은 회절을 시뮬레이션하기 위해 이용되는 2차원 FFT들에 대한 계산 오버헤드를 감소시킨다. 덤프 영역과 이미지 영역의 에지들 사이에 갭이 예비될 수 있고, 그에 의해 PSF가 (예를 들어, 다중 변조 시스템들을 위해) 이용될 때 덤프 내의 광이 이미지 부분 상으로 다시 블리딩하는 것을 방지한다. 그러한 구현에서, 이미지 에너지는 먼저 일부 추정된 회절 효율에 의해 스케일링 업되고, 이어서 실제 계산된 효율 값에 의해 업데이트될 수 있다.

도 19a 및 도 19b는 덤프 영역이 정사각형 윈도우를 생성하는 효과를 도시한다. 도 19a는 타겟 이미지 프레임을 도시하고, 도 19b는 OLFB를 이용하는 결과적인 통합 라이트 필드를 도시한다. 도 19a에서, 스트라이프 형상의 광 덤프 영역들은 윈도우의 최상부 및 최하부에 위치되고, 스트라이프 형상의 블랙 갭 영역들은 이미지 영역과 덤프 영역들 사이에 있다. 결과적으로, 광 누설 또는 블리딩의 효과들은 주로 또는 완전히 도 19b의 통합 이미지 내의 대응하는 갭 영역들로 한정되며, 이미지 영역 자체는 주로 또는 완전히 영향을 받지 않은 상태로 유지된다. 일부 구현들에서, 도 19a에 도시된 바와 같이 위상 알고리즘에서 큰 블랙 갭 영역들을 구현하기 위해 계산 복잡도를 증가시킬 수 있다. 그러한 상황들에서, 덤프 영역들 및 갭 영역들은 재구성 윈도우의 상부 및 하부 에지들에 대한 근접성의 증가에 따라 밝기가 증가하는, 이미지 영역 위 및 아래의 비선형 램프 영역들로 대체될 수 있다.

플레어링

타겟 이미지가 작고 매우 밝은 특징들을 포함할 때, 회절 인식 위상 알고리즘들은 물체 주위의 플레어(flare)로서 나타나는 스크린 상에 아티팩트를 도입할 수 있고, 에너지의 대부분은 수평 및 수직 둘 다로 확산된다. 그러한 플레어링(flaring) 및 그에 대한 상기의 알고리즘들의 효과들이 도 20a 내지 도 20c에 도시되어 있다.

도 20a는 높은 휘도의 원이 이미지 프레임의 중심에 배치되고 흑색으로 둘러싸인 타겟 이미지를 도시한다. 도 20b는 N=100인 OLFB 방법 및 회절 인식 위상 검색 알고리즘을 거친, 도 20a에 대응하는 재구성된 이미지를 도시한다. 도 20b로부터 알 수 있는 바와 같이, 헤일로는 원 주위에 존재하고 잔여 밝기의 수직 스트라이프는 원을 통과하여 존재한다. 예시의 목적들을 위해, 도 20a 및 도 20b는 높은 감마 값(high gamma value)을 이용하여 헤일로 및 스트라이프("플레어") 아티팩트들의 가시성을 증가시킨다는 점에 유의한다. 더욱이, 이 예의 경우, 타겟 이미지는 모든 광을 이용하지 않으며, 모든 광이 이용된 경우에는, 아티팩트들의 가시성이 더 클 것이다.

임의의 하나의 특정 수학적 이론에 대한 제한 없이, 플레어 효과는 원형 렌즈형 형상을 갖는 전파 오퍼레이터가 변조기의 에지에 도달하고 직사각형 형상으로 클리핑될 때 발생하는 것으로 여겨진다. 물체가 더 밝을수록, 물체에 할당되는 변조기의 영역이 더 커지는데, 즉, "렌즈"가 더 커진다. 이것은 렌즈형 알고리즘들뿐만 아니라 회절 인식 알고리즘들에도 적용된다. 밝은 물체에 대한 "렌즈"가 투영 시스템의 애퍼처에 부딪칠 때, 그것의 전파 함수는 직사각형 애퍼처의 대응하는 부분과 곱해진다. 따라서, 재구성된 물체인 렌즈에 의해 생성된 결과적인 라이트필드는 2차원 sinc 함수인 직사각형 애퍼처에 대한 푸리에 변환과 컨볼빙된다. 따라서, 플레어링은 주로 수평 및 수직 축들 상에서 명백하다.

플레어의 존재를 해결하기 위해, 변조기 상에 활성 영역이 정의될 수 있다. 활성 영역은 푸리에 변환이 강한 수직 또는 수평 플레어링을 생성하지 않는 기하학적 형상을 갖는다. 예를 들어, 활성 영역은 원 또는 타원일 수 있다. 활성 영역은 이미지를 생성하는 데 이용되고, 일부 구현들에서는, 덤프 영역의 일부를 생성하는 데 이용된다. 변조기의 나머지 영역("비활성 영역")은 광을 덤프로 조향하는 데에만 전용된다. 이를 달성하기 위해, 이 방법은 먼저 전체 변조기 또는 비활성 영역만을 이용하여 덤프만을 해결한다. 이것은 (예를 들어, 시스템의 초기화의 일부로서) 미리 행해질 수 있다. 회절 인식 알고리즘은 변조기의 활성 영역만을 이용하도록 수정된다. 비활성 영역은 프로세스 전체에 걸쳐 덤프 솔루션으로 구성된 상태로 유지된다. 이것의 효과는 원하는 기하학적 형상을 갖는 변조기를 시뮬레이션하는 것이다.

형상은 그것의 영역이 충분한 에너지를 이미지를 향해 조향하기에 충분히 크도록 선택된다. 16:9 종횡비(즉, 높이보다 넓음)를 갖는 위상 변조기들의 경우, 가장 큰 내접 원은 영역의 약 40%를 점유한다. 따라서, 원형 활성 영역은 이용가능한 에너지의 40%보다 작은 에너지를 갖는 타겟 이미지들에 적절할 수 있다. 요구된 에너지가 더 크면, 타원 영역이 대신 선택될 수 있다. 최대 내접 타원은 영역의 대략 78%를 점유하고, 따라서 타원 활성 영역은 그 에너지가 이용가능한 에너지의 78%까지인 타겟 이미지들을 수용할 수 있다.

도 20c는 활성 영역이 가장 큰 내접 원으로서 선택되었고, 따라서 확산 에너지의 40%까지 처리할 수 있는 방법의 효과를 도시한다. 도 20c로부터 알 수 있듯이, 결과적인 라이트필드는 도 20c에 비해 크게 감소된 수직 및 수평 플레어링을 나타낸다.

다른 구현들에서, 플레어링은 빔 조향된 라이트필드의 푸리에 평면에 위치한 광학 필터의 이용을 통해 해결될 수 있다. 이 광학 필터는 십자선(crosshair)을 닮고, 엄격하게 수직 또는 수평인 모든 조향 주파수들을 차단할 수 있다. 이것은 타겟 에너지를 구성하는 주파수들을 차단할 수 있지만, 플레어링 효과에 대응하는 주파수들을 차단할 것이다. 위상 구성은 타겟 이미지를 달성하기 위해 엄격하게 수평 및 수직 주파수들이 이용되지 않는 방식으로 생성될 수 있으며, 그에 의해 타겟 에너지 주파수들의 차단을 회피할 수 있다. 일 예에서, 이것은 위상 구성을 생성하는 파 전파 루프 내의 각도 스펙트럼 필터(angular spectrum filter)로 구현된다.

위상 스트로크 양자화

위에 언급된 바와 같이, PLM(105)의 동작은 PLM(105)의 위상 스트로크 양자화를 포함하는 인자들에 의해 영향을 받을 수 있다. 일부 PLM 아키텍처들(예를 들어, MEMS 기술에 기초한 것들)은 비교적 적은 수의 위상 스트로크들을 제공한다. n-비트 PLM 디바이스에 대해, 코드워드들의 수는 2ⁿ이다. 또한, 위상 값들을 PLM 위상 구성을 위한 코드워드들로 변환하는 위상 스트로크 양자화는 불균일할 수 있다. 도 21은 예시적인 3-비트 PLM 디바이스에서의 이러한 불균일한 위상 스트로크 양자화를 도시한다.

도 21은 x축을 따른 위상 입력 및 y축을 따른 위상 출력을 도시한다. 라인(2101)은 선형 인코딩에 대응하고, 라인(2102)은 변조기 룩업 테이블의 값들에 대응한다. 라인들(2101 및 2102)이 교차하는 포인트들은 코드워드들에 대응한다. 도 21로부터 알 수 있는 바와 같이, 3-비트 PLM 디바이스는 8개의 코드워드를 갖는다. 변조기의 최대 스트로크는 가장 큰 코드워드(즉, 가장 큰 위상 입력 값에 대응하는 코드워드)에 대응한다. PLM(105)에 대한 위상 구성들을 생성하는 알고리즘이 위상 스트로크 양자화를 인식하지 못하는 구현들에 대해, PLM(105)에 의해 재구성될 때의 위상 구성들은 이미지 특징들에서 실질적인 에너지 결핍과 같은 아티팩트들을 포함하는 라이트필드 이미지들을 생성할 수 있다.

도 22a 내지 도 22c는 비디오 스틸에 대한 이미지 프레임들을 각각 도시하고 이러한 효과들을 보여준다. 도 22a는 어두운 배경 상의 밝은 영역들(도시된 이미지에서의 얼굴 및 더 밝은 것)을 포함하는 타겟 이미지 프레임을 도시한다. 도 22b는 라이트필드에서 PLM 스트로크 양자화가 시뮬레이션되는 이중 변조 투영 시스템에서의 예시적인 출력 이미지를 도시하지만, PLM을 구동하는 위상 구성들을 생성하는 알고리즘은 스트로크 양자화 프로세스를 인식하지 못한다. 도 22c는 도 22a와 도 22b 사이의 차이들을 나타내는 차이 맵이다. 도 22c의 차이 맵에서, (예를 들어, 좌측 하부의) 더 어두운 영역들은 누락된 에너지를 나타내고, (예를 들어, 일부 물체 에지들에서의) 더 밝은 영역들은 과잉 에너지를 나타낸다. 위에서 언급된 바와 같이, 과잉 에너지는 투영 시스템에서의 주 변조기에 의해 보상될 수 있지만, 누락 에너지는 보상되지 않을 수 있다.

파 전파 루프는 변조 필드의 위상 성분이 그러한 양자화 프로세스를 겪게 함으로써 PLM 위상 스트로크 양자화를 고려할 수 있다. 다양한 구현들에서, 변조 필드의 위상 양자화는 파 전파 루프의 반복들의 일부 또는 전부에서 수행될 수 있다. 도 23a 및 도 23b는 끝에서 두 번째 반복(penultimate iteration)(N-1, 여기서 N은 반복들의 총 수임)에서의 변조 필드 출력(도 23a의 라인(2301) 및 도 23b의 라인(2302))의 위상 분포를 도시한다. 도 23a에서, 변조 필드는 임의의 반복에서 양자화 프로세스를 겪지 않는 반면, 도 23b에서, 양자화 프로세스는 모든 이전 반복들에 대해 수행된다. 라인(2303)은 PLM 양자화 단계들을 나타내고, 참조를 위해 도 23a 및 도 23b 둘다에 오버레이되어 있다.

도 23b로부터 알 수 있듯이, 파 전파 루프 내의 변조 필드에 대해 PLM 위상 양자화를 수행함으로써, 결과적인 위상 구성들은 특정 PLM의 위상 코드워드 사양들을 더 정확하게 수용하는 위상 분포를 유발한다. 특정 응용에 따라, 이것은 (예를 들어, 도 22c에 도시된 에너지 결핍인) 양자화 프로세스를 인식하지 못하는 알고리즘들로부터 생성되는 위상 구성들과 동일한 아티팩트들을 나타내지 않는 더 높은 위상 구성 효율 및/또는 재구성들을 유발할 수 있다. 이것은 개방 루프 또는 외부 피드백(OLFB) 서브프레임 통합 구성에서 전술한 반복적 규칙화 기술들을 이용하여 구현될 수 있다.

도 24a 내지 도 24c는 비디오 스틸에 대한 이미지 프레임들을 각각 도시하고, 양자화 프로세스를 인식하는 알고리즘들의 결과들을 보여준다. 도 24a는 어두운 배경 상의 밝은 영역들(도시된 이미지에서의 얼굴 및 더 밝은 것)을 포함하는 타겟 이미지 프레임을 도시하고; 이 이미지는 도 22a의 타겟 이미지에 대응한다. 도 24b는 PLM 스트로크 양자화가 라이트필드에서 시뮬레이션되고 PLM을 구동하는 위상 구성들을 생성하는 알고리즘이 스트로크 양자화 프로세스를 인식하고 있는 이중 변조 투영 시스템에서의 예시적인 출력 이미지를 도시한다. 도 24c는 도 24a와 도 24b의 차이들을 나타내는 차이 맵이다. 도 24c의 차이 맵에서, (예를 들어, 일부 물체 에지들에서의) 더 밝은 영역들은 과잉 에너지를 나타낸다. 위에서 언급된 바와 같이, 과잉 에너지는 투영 시스템에서의 주 변조기에 의해 보상될 수 있다. 도 24c를 도 22c와 비교함으로써, 이미지 특징들에서 더 이상 실질적인 에너지 결핍이 존재하지 않는다는 것을 알 수 있다. 예를 들어, 시스템 PSF로 인한 과잉 에너지를 나타내는 부분들은 주 변조기에 의해 보상될 수 있고, 따라서 실질적으로 잡음이 없는 스크린 이미지들로 이어진다.

효과들

본 개시내용에 따른 시스템들, 방법들, 및 디바이스들은 다음의 구성들 중 임의의 하나 이상을 취할 수 있다.

(1) 투영 시스템으로서, 이미지 데이터에 응답하여 광을 방출하도록 구성된 광원; 광원으로부터 광을 수신하고 광에 대해 공간 가변 위상 변조를 적용함으로써 광을 조향하고 투영 광을 생성하도록 구성된 위상 변조기; 및 제어기를 포함하고, 제어기는 광원을 제어하고, 위상 광 변조기를 제어하고, 이미지 데이터의 프레임 내의 복수의 서브프레임들 각각에 대해 반복적으로: 재구성 필드를 결정하고, 재구성 필드를 변조 필드에 맵핑하고, 변조 필드의 진폭을 스케일링하고, 변조 필드를 후속-반복 재구성 필드에 맵핑하고, 변조 필드에 기초한 위상 제어 신호를 위상 광 변조기에 제공하도록 구성되는, 투영 시스템.

(2) (1)에 따른 투영 시스템으로서, 변조 필드는 광의 위상을 변조하는 위상 광 변조기의 평면이고, 재구성 필드는 재구성 이미지가 형성되는 평면인, 투영 시스템.

(3) (1) 내지 (2) 중 어느 하나에 따른 투영 시스템으로서, 제어기는, 이미지 데이터의 프레임 내의 복수의 서브프레임들 각각에 대해 반복적으로, 재구성 필드에 규칙화 팩터를 적용하도록 구성되고, 규칙화 팩터는 현재 반복의 재구성 에러에 기초한 이득을 이용하여 후속-반복 재구성 필드의 타겟 진폭을 조정하는, 투영 시스템.

(4) (1) 내지 (3) 중 어느 하나에 따른 투영 시스템으로서, 변조 필드의 진폭을 스케일링하는 것은 변조 필드의 진폭 성분을 1로 설정하는 것을 포함하는, 투영 시스템.

(5) (1) 내지 (4) 중 어느 하나에 따른 투영 시스템으로서, 제어기는 재구성 필드를 변조 필드에 맵핑하기 전에 재구성 필드를 덤프 영역으로 패딩하도록 구성되는, 투영 시스템.

(6) (1) 내지 (5) 중 어느 하나에 따른 투영 시스템으로서, 제어기는, 제1 반복을 제외한 서브프레임 내의 복수의 반복들 각각에 대해 반복적으로, 현재 반복의 통합된 라이트필드 시뮬레이션을 타겟 이미지와 비교함으로써 에러 신호를 생성하도록 구성되는, 투영 시스템.

(7) (1) 내지 (6) 중 어느 하나에 따른 투영 시스템으로서, 투영 광을 수신 및 변조하도록 구성된 보조 변조기를 더 포함하고, 위상 광 변조기는 어레이로 배열된 복수의 픽셀 요소들, 및 위상 제어 신호에 응답하여 복수의 픽셀 요소들의 각각의 상태들을 수정하도록 구성된 회로를 포함하는, 투영 시스템.

(8) 투영 시스템을 구동하는 방법으로서, 이미지 데이터에 응답하여, 광원에 의해 광을 방출하는 단계; 위상 광 변조기에 의해 광을 수신하는 단계; 위상 광 변조기에 의해 광에 대해 공간 가변 위상 변조를 적용함으로써, 광을 조향하고 투영 광을 생성하는 단계; 및 광원 및 위상 광 변조기를 제어하도록 구성된 제어기에 의해, 이미지 데이터의 프레임 내의 복수의 서브프레임들 각각에 대해 반복적으로: 재구성 필드를 결정하는 단계, 재구성 필드를 변조 필드에 맵핑하는 단계, 변조 필드의 진폭을 스케일링하는 단계, 변조 필드를 후속-반복 재구성 필드에 맵핑하는 단계, 및 변조 필드에 기초한 위상 제어 신호를 위상 광 변조기에 제공하는 단계를 포함하는, 방법.

(9) (8)에 따른 방법으로서, 변조 필드는 광의 위상을 변조하는 위상 광 변조기의 평면이고, 재구성 필드는 재구성 이미지가 형성되는 평면인, 방법.

(10) (8) 내지 (9) 중 어느 하나에 따른 방법으로서, 이미지 데이터의 프레임 내의 복수의 서브프레임들 각각에 대해 반복적으로, 재구성 필드에 규칙화 팩터를 적용하는 단계를 더 포함하고, 규칙화 팩터는 현재 반복의 재구성 에러에 기초한 이득을 이용하여 후속-반복 재구성 필드의 타겟 진폭을 조정하는, 방법.

(11) (8) 내지 (10) 중 어느 하나에 따른 방법으로서, 변조 필드의 진폭을 스케일링하는 단계는 변조 필드의 진폭 성분을 1로 설정하는 것을 포함하는, 방법.

(12) (8) 내지 (11) 중 어느 하나에 따른 방법으로서, 재구성 필드를 변조 필드에 맵핑하기 전에 재구성 필드를 덤프 영역으로 패딩하는 단계를 더 포함하는, 방법.

(13) (8) 내지 (12) 중 어느 하나에 따른 방법으로서, 제1 반복을 제외한 서브프레임 내의 복수의 반복들 각각에 대해 반복적으로, 현재 반복의 통합된 라이트 필드 시뮬레이션을 타겟 이미지와 비교함으로써 에러 신호를 생성하는 단계를 더 포함하는, 방법.

(14) (8) 내지 (13) 중 어느 하나에 따른 방법으로서, 보조 변조기에 의해 투영 광을 수신 및 변조하는 단계를 더 포함하고, 위상 광 변조기는 어레이로 배열된 복수의 픽셀 요소들, 및 위상 제어 신호에 응답하여 복수의 픽셀 요소들의 각각의 상태들을 수정하도록 구성된 회로를 포함하는, 방법.

(15) 명령어들을 저장한 비일시적 컴퓨터 판독가능 매체로서, 명령어들은, 투영 디바이스의 프로세서에 의해 실행될 때, 투영 디바이스로 하여금 (8) 내지 (14) 중 어느 하나에 따른 방법을 포함하는 동작들을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.

본 명세서에서 설명되는 프로세스들, 시스템들, 방법들, 휴리스틱들(heuristics) 등과 관련하여, 그러한 프로세스들 등의 단계들이 특정의 순서화된 시퀀스에 따라 발생하는 것으로 설명되었지만, 그러한 프로세스들은 설명된 단계들이 본 명세서에서 설명되는 순서와 다른 순서로 수행되어 실시될 수 있다는 것을 이해해야 한다. 특정 단계들이 동시에 수행될 수 있거나, 다른 단계들이 추가될 수 있거나, 또는 본 명세서에 설명된 특정 단계들이 생략될 수 있다는 것이 추가로 이해되어야 한다. 즉, 본 명세서에서의 프로세스들의 설명들은 특정 실시예들을 예시할 목적으로 제공되며, 어떠한 경우에도 청구항들을 제한하도록 해석되지 않아야 한다.

따라서, 상기의 설명은 한정이 아니라 예시적인 것을 의도한다는 것을 이해해야 한다. 상기의 설명을 읽으면, 제공된 예들 이외의 많은 실시예들 및 응용들이 명백할 것이다. 범위는 상기의 설명을 참조하지 않고 결정되어야 하며, 대신에 첨부된 청구항들을 참조하여, 그러한 청구항들에 부여되는 균등물들의 전체 범위와 함께 결정되어야 한다. 본 명세서에 논의된 기술들에서 미래의 개발들이 발생할 것이고, 개시된 시스템들 및 방법들이 그러한 미래의 실시예들에 통합될 것이라고 예상되며 그것을 의도한다. 요약하면, 애플리케이션은 수정 및 변형이 가능하다는 것을 이해해야 한다.

청구항들에서 이용되는 모든 용어들은, 본 명세서에서 달리 명시적 지시되지 않는 한, 본 명세서에서 설명되는 기술들에서의 통상의 기술자들에 의해 이해되는 바와 같은 그들의 가장 넓은 합리적인 구성들 및 그들의 통상의 의미들을 부여받도록 의도된다. 특히, 단수 관사들(예컨대, "a", "the", "said" 등)의 이용은 청구항이 달리 명시적인 제한을 기재하지 않는 한, 표시된 요소들 중의 하나 이상을 기재하도록 판독되어야 한다.

본 개시내용의 요약서는 독자가 기술적 개시내용의 본질을 신속하게 확인할 수 있게 하기 위해 제공된다. 그것은 청구항들의 범위 또는 의미를 해석하거나 제한하기 위해 이용되지 않을 것이라는 이해 하에 제출된다. 또한, 전술한 상세한 설명에서, 다양한 특징들은 본 개시내용을 간소화할 목적으로 다양한 실시예들에서 함께 그룹화되는 것을 알 수 있다. 이러한 개시 방법은 청구되는 실시예들이 각각의 청구항에 명확히 기재된 것보다 많은 특징들을 포함한다는 의도를 반영하는 것으로서 해석되지 않아야 한다. 오히려, 이하의 청구항들이 반영하는 바와 같이, 본 발명의 청구 대상은 단일의 개시된 실시예의 모든 특징들보다 적은 것에 있다. 따라서, 이하의 청구항들은 이로써 상세한 설명에 포함되며, 각각의 청구항은 개별적으로 청구되는 청구 대상으로서 독립적이다.

본 발명의 다양한 양태들은 다음의 열거된 예시적인 실시예(enumerated example embodiment)(EEE)들로부터 이해될 수 있다:

EEE1. 투영 시스템으로서,

이미지 데이터에 응답하여 광을 방출하도록 구성된 광원;

광원으로부터 광을 수신하고 광에 대해 공간 가변 위상 변조를 적용함으로써 광을 조향하고 투영 광을 생성하도록 구성된 위상 광 변조기; 및

제어기를 포함하고,

제어기는 광원을 제어하고, 위상 광 변조기를 제어하고, 이미지 데이터의 프레임 내의 복수의 서브프레임들 각각에 대해 반복적으로:

재구성 필드를 결정하고,

재구성 필드를 변조 필드에 맵핑하고,

변조 필드의 진폭을 스케일링하고,

변조 필드를 후속-반복 재구성 필드에 맵핑하고,

변조 필드에 기초한 위상 제어 신호를 위상 광 변조기에 제공하도록 구성되는, 투영 시스템.

EEE2. EEE1에 따른 투영 시스템으로서,

제어기는, 이미지 데이터의 프레임 내의 복수의 서브프레임들 각각에 대해 반복적으로, 재구성 필드에 규칙화 팩터를 적용하도록 구성되는, 투영 시스템.

EEE3. EEE2에 따른 투영 시스템으로서, 규칙화 팩터는 현재 반복의 재구성 에러에 기초한 이득을 이용하여 후속-반복 재구성 필드의 타겟 진폭을 조정하는, 투영 시스템.

EEE4. EEE3에 따른 투영 시스템으로서, 이득은 블러링 필터를 포함하는, 투영 시스템.

EEE5. EEE1 내지 EEE4 중 어느 하나에 따른 투영 시스템으로서, 제어기는 재구성 필드를 변조 필드에 맵핑하기 전에 재구성 필드를 덤프 영역으로 패딩하도록 구성되는, 투영 시스템.

EEE6. EEE5에 따른 투영 시스템으로서, 제어기는 덤프 영역에서의 가상 픽셀 값들을 미리 결정된 값으로 설정하도록 구성되는, 투영 시스템.

EEE7. EEE1 내지 EEE6 중 어느 하나에 따른 투영 시스템으로서, 제어기는, 제1 반복을 제외한 서브프레임 내의 복수의 반복들 각각에 대해 반복적으로, 현재 반복의 통합된 라이트필드 시뮬레이션을 타겟 이미지와 비교함으로써 에러 신호를 생성하도록 구성되는, 투영 시스템.

EEE8. EEE7에 따른 투영 시스템으로서, 제어기는, 제1 반복을 제외한 복수의 반복들 각각에 대해 반복적으로, 현재 타겟 세기 및 에러 신호에 기초하여 업데이트된 타겟 세기를 생성하도록 구성되는, 투영 시스템.

EEE9. EEE1 내지 EEE8 중 어느 하나에 따른 투영 시스템으로서, 투영 광을 수신 및 변조하도록 구성된 보조 변조기를 더 포함하는, 투영 시스템.

EEE10. EEE9에 따른 투영 시스템으로서, 위상 광 변조기는 어레이로 배열된 복수의 픽셀 요소들, 및 위상 제어 신호에 응답하여 복수의 픽셀 요소들의 각각의 상태들을 수정하도록 구성된 회로를 포함하는, 투영 시스템.

EEE11. 투영 시스템을 구동하는 방법으로서,

이미지 데이터에 응답하여, 광원에 의해 광을 방출하는 단계;

위상 광 변조기에 의해 광을 수신하는 단계;

위상 광 변조기에 의해 광에 대해 공간 가변 위상 변조를 적용함으로써, 광을 조향하고 투영 광을 생성하는 단계; 및

광원 및 위상 광 변조기를 제어하도록 구성된 제어기에 의해, 이미지 데이터의 프레임 내의 복수의 서브프레임들 각각에 대해 반복적으로:

재구성 필드를 결정하는 단계,

재구성 필드를 변조 필드에 맵핑하는 단계,

변조 필드의 진폭을 스케일링하는 단계,

변조 필드를 후속-반복 재구성 필드에 맵핑하는 단계, 및

변조 필드에 기초한 위상 제어 신호를 위상 광 변조기에 제공하는 단계를 포함하는, 방법.

EEE12. EEE11에 따른 방법으로서, 이미지 데이터의 프레임 내의 복수의 서브프레임들 각각에 대해 반복적으로, 재구성 필드에 규칙화 팩터를 적용하는 단계를 더 포함하는, 방법.

EEE13. EEE12에 따른 방법으로서, 규칙화 팩터는 현재 반복의 재구성 에러에 기초한 이득을 이용하여 후속-반복 재구성 필드의 타겟 진폭을 조정하는, 방법.

EEE14. EEE13에 따른 방법으로서, 이득은 블러링 필터를 포함하는, 방법.

EEE15. EEE11 내지 EEE14 중 어느 하나에 따른 방법으로서, 재구성 필드를 변조 필드에 맵핑하기 전에 재구성 필드를 덤프 영역으로 패딩하는 단계를 더 포함하는, 방법.

EEE16. EEE15에 따른 방법으로서, 덤프 영역에서의 가상 픽셀 값들을 미리 결정된 값으로 설정하는 단계를 더 포함하는, 방법.

EEE17. EEE11 내지 EEE16 중 어느 하나에 따른 방법으로서, 제1 반복을 제외한 서브프레임 내의 복수의 반복들 각각에 대해 반복적으로, 현재 반복의 통합된 라이트필드 시뮬레이션을 타겟 이미지와 비교함으로써 에러 신호를 생성하는 단계를 더 포함하는, 방법.

EEE18. EEE17에 따른 방법으로서, 제1 반복을 제외한 복수의 반복들 각각에 대해 반복적으로, 현재 타겟 세기 및 에러 신호에 기초하여 업데이트된 타겟 세기를 생성하는 단계를 더 포함하는, 방법.

EEE19. EEE11에 따른 방법으로서, 보조 변조기에 의해 투영 광을 수신 및 변조하는 단계를 더 포함하는, 방법.

EEE20. 명령어들을 저장한 비일시적 컴퓨터 판독가능 매체로서, 명령어들은, 투영 디바이스의 프로세서에 의해 실행될 때, 투영 디바이스로 하여금 EEE11 내지 EEE19 중 어느 하나에 따른 방법을 포함하는 동작들을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.

Claims (25)

1. 투영 시스템으로서,
   이미지 데이터에 응답하여 광을 방출하도록 구성된 광원;
   상기 광원으로부터 상기 광을 수신하고 상기 광에 대해 공간 가변 위상 변조를 적용함으로써, 투영 광을 생성하고 재구성 필드 상에서 상기 광을 조향하도록 구성된 위상 광 변조기 - 상기 재구성 필드는 재구성 이미지가 형성되는 복소 평면임 -; 및
   제어기를 포함하고,
   상기 제어기는,
   상기 광원을 제어하고,
   상기 위상 광 변조기를 제어하고,
   상기 재구성 필드를 초기 값으로 초기화하고,
   상기 이미지 데이터의 프레임 내의 복수의 서브프레임들 각각에 대해 반복적으로:
   상기 재구성 필드를 상기 제1 반복에 대한 상기 초기 값으로 설정하거나 상기 재구성 필드를 임의의 후속-반복에 대한 후속-반복 재구성 필드 값으로 설정하고,
   상기 재구성 필드를 변조 필드에 맵핑하고 - 상기 변조 필드는 상기 광의 위상을 변조하는 상기 위상 광 변조기의 복소 평면임 -,
   상기 변조 필드의 진폭을 미리 결정된 값으로 설정하고,
   상기 미리 결정된 값으로 설정된 상기 진폭을 갖는 상기 변조 필드를 후속-반복 재구성 필드에 맵핑하도록 구성되고;
   상기 제어기는 최종 반복으로 맵핑된 상기 변조 필드에 기초한 위상 제어 신호를 상기 위상 광 변조기에 제공하도록 더 구성되는, 투영 시스템.
2. 제1항에 있어서,
   상기 제어기는 반복적으로, 상기 후속-반복 재구성 필드가 타겟 이미지 품질에 도달할 때까지, 상기 재구성 필드를 초기 값으로 설정하고, 상기 재구성 필드를 상기 변조 필드에 맵핑하고, 상기 변조 필드의 상기 진폭을 미리 결정된 값으로 설정하고, 상기 미리 결정된 값으로 설정된 상기 진폭을 갖는 상기 변조 필드를 후속-반복 재구성 필드에 맵핑하도록 구성되는, 투영 시스템.
3. 제1항 또는 제2항에 있어서,
   상기 제어기는, 상기 이미지 데이터의 프레임 내의 복수의 서브프레임들 각각에 대해 반복적으로, 상기 후속-반복 재구성 필드에 규칙화 팩터를 적용하도록 구성되는, 투영 시스템.
4. 제3항에 있어서,
   상기 규칙화 팩터는 현재 반복의 재구성 에러에 기초한 이득 함수를 이용하여 상기 후속-반복 재구성 필드의 타겟 진폭을 조정하는, 투영 시스템.
5. 제4항에 있어서,
   상기 이득은 블러링 필터를 포함하는, 투영 시스템.
6. 제1항 내지 제5항 중 어느 한 항에 있어서,
   상기 제어기는 상기 변조 필드의 진폭 성분을 1로 설정하도록 구성되는, 투영 시스템.
7. 제1항 내지 제6항 중 어느 한 항에 있어서,
   상기 제어기는 상기 재구성 필드를 상기 변조 필드에 맵핑하기 전에 상기 재구성 필드를 덤프 영역으로 패딩하도록 구성되는, 투영 시스템.
8. 제7항에 있어서,
   상기 제어기는 상기 덤프 영역에서의 가상 픽셀 값들을 미리 결정된 값으로 설정하도록 구성되는, 투영 시스템.
9. 제1항 내지 제8항 중 어느 한 항에 있어서,
   상기 제어기는, 제1 반복을 제외한 서브프레임 내의 복수의 반복들 각각에 대해 반복적으로, 현재 반복의 통합된 라이트필드 시뮬레이션을 타겟 이미지와 비교함으로써 에러 신호를 생성하도록 구성되는, 투영 시스템.
10. 제9항에 있어서,
    상기 제어기는, 상기 제1 반복을 제외한 상기 복수의 반복들 각각에 대해 반복적으로, 현재 타겟 세기 및 상기 에러 신호에 기초하여 업데이트된 타겟 세기를 생성하도록 구성되는, 투영 시스템.
11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 투영 광을 수신 및 변조하도록 구성된 보조 변조기를 더 포함하는, 투영 시스템.
12. 제11항에 있어서,
    상기 위상 광 변조기는 어레이로 배열된 복수의 픽셀 요소들, 및 상기 위상 제어 신호에 응답하여 상기 복수의 픽셀 요소들의 각각의 상태들을 수정하도록 구성된 회로를 포함하는, 투영 시스템.
13. 투영 시스템을 구동하는 방법으로서,
    이미지 데이터에 응답하여, 광원에 의해 광을 방출하는 단계;
    위상 광 변조기에 의해 상기 광을 수신하는 단계;
    상기 위상 광 변조기에 의해 상기 광에 대해 공간 가변 위상 변조를 적용함으로써, 투영 광을 생성하고 재구성 필드 상에서 상기 광을 조향하는 단계 - 상기 재구성 필드는 재구성 이미지가 형성되는 복소 평면임 -;
    상기 재구성 필드를 초기 값으로 초기화하는 단계; 및
    상기 광원 및 상기 위상 광 변조기를 제어하도록 구성된 제어기에 의해, 상기 이미지 데이터의 프레임 내의 복수의 서브프레임들 각각에 대해 반복적으로:
    상기 재구성 필드를 상기 제1 반복에 대한 상기 초기 값으로 설정하거나 상기 재구성 필드를 임의의 후속-반복에 대한 후속-반복 재구성 필드 값으로 설정하는 단계,
    상기 재구성 필드를 변조 필드에 맵핑하는 단계 - 상기 변조 필드는 상기 광의 위상을 변조하는 상기 위상 광 변조기의 복소 평면임 -,
    상기 변조 필드의 진폭을 미리 결정된 값으로 설정하는 단계,
    상기 미리 결정된 값으로 설정된 상기 진폭을 갖는 상기 변조 필드를 후속-반복 재구성 필드에 맵핑하는 단계; 및
    최종 반복으로 맵핑된 상기 변조 필드에 기초한 위상 제어 신호를 상기 위상 광 변조기에 제공하는 단계를 포함하는, 방법.
14. 제13항에 있어서,
    상기 재구성 필드를 초기 값으로 설정하는 단계, 상기 재구성 필드를 상기 변조 필드에 맵핑하는 단계, 상기 변조 필드의 상기 진폭을 미리 결정된 값으로 설정하는 단계, 및 상기 미리 결정된 값으로 설정된 상기 진폭을 갖는 상기 변조 필드를 후속-반복 재구성 필드에 맵핑하는 단계는, 상기 후속-반복 재구성 필드가 타겟 이미지 품질에 도달할 때까지 반복적으로 수행되는, 방법.
15. 제13항 또는 제14항에 있어서,
    상기 이미지 데이터의 프레임 내의 복수의 서브프레임들 각각에 대해 반복적으로, 상기 재구성 필드에 규칙화 팩터를 적용하는 단계를 더 포함하는, 방법.
16. 제15항에 있어서,
    상기 규칙화 팩터는 현재 반복의 재구성 에러에 기초한 이득을 이용하여 상기 후속-반복 재구성 필드의 타겟 진폭을 조정하는, 방법.
17. 제16항에 있어서,
    상기 이득은 블러링 필터를 포함하는, 방법.
18. 제13항 내지 제17항 중 어느 한 항에 있어서,
    상기 변조 필드의 상기 진폭을 스케일링하는 단계는 상기 변조 필드의 진폭 성분을 1로 설정하는 단계를 포함하는, 방법.
19. 제13항 내지 제18항 중 어느 한 항에 있어서,
    상기 재구성 필드를 상기 변조 필드에 맵핑하기 전에 상기 재구성 필드를 덤프 영역으로 패딩하는 단계를 더 포함하는, 방법.
20. 제19항에 있어서,
    상기 덤프 영역에서의 가상 픽셀 값들을 미리 결정된 값으로 설정하는 단계를 더 포함하는, 방법.
21. 제13항 내지 제20항 중 어느 한 항에 있어서,
    제1 반복을 제외한 서브프레임 내의 복수의 반복들 각각에 대해 반복적으로, 현재 반복의 통합된 라이트필드 시뮬레이션을 타겟 이미지와 비교함으로써 에러 신호를 생성하는 단계를 더 포함하는, 방법.
22. 제21항에 있어서,
    상기 제1 반복을 제외한 상기 복수의 반복들 각각에 대해 반복적으로, 현재 타겟 세기 및 상기 에러 신호에 기초하여 업데이트된 타겟 세기를 생성하는 단계를 더 포함하는, 방법.
23. 제13항 내지 제22항 중 어느 한 항에 있어서,
    보조 변조기에 의해 상기 투영 광을 수신 및 변조하는 단계를 더 포함하는, 방법.
24. 제23항에 있어서,
    상기 위상 광 변조기는 어레이로 배열된 복수의 픽셀 요소들, 및 상기 위상 제어 신호에 응답하여 상기 복수의 픽셀 요소들의 각각의 상태들을 수정하도록 구성된 회로를 포함하는, 방법.
25. 명령어들을 저장한 비일시적 컴퓨터 판독가능 매체로서,
    상기 명령어들은, 투영 디바이스의 프로세서에 의해 실행될 때, 상기 투영 디바이스로 하여금 제13항 내지 제24항 중 어느 한 항에 따른 방법을 포함하는 동작들을 수행하게 하는, 비일시적 컴퓨터 판독가능 매체.

Images