KR20190066623A - 다수의 동공내 시차 뷰들을 제공함으로써 다수의 깊이 평면들 상에 이미지 콘텐츠를 제공하기 위한 시스템 및 방법 - Google Patents

Abstract

증강 현실 디스플레이 시스템은 복수의 시차적으로 이질적인 동공내 이미지들을 뷰어의 눈으로 지향시키도록 구성된다. 시차적으로 이질적인 동공내 이미지들은 가상 객체의 상이한 시차 뷰들을 제공하고, 상이한 각도들로 동공에 충돌한다. 전체적으로, 이미지들을 형성하는 광의 파면들은 연속 발산 파면을 근사화하고, 동공내 이미지들 간의 시차 디스패리티의 양에 의존하여 사용자에게 선택 가능한 원근조절 큐들을 제공한다. 시차 디스패리티의 양은 상이한 위치들로부터의 상이한 이미지들에 대해 광을 출력하는 광원을 사용하여 선택되며, 광 출력의 위치들의 공간적 차이들은 광이 눈까지 취하는 경로들의 차이들을 제공하고, 이는, 결국, 상이한 양들의 시차 디스패리티를 제공한다. 유리하게는, 파면 발산 및 사용자의 눈에 제공된 원근조절 큐는 시차 디스패리티의 적절한 선택에 의해 변경될 수 있고, 이는 광 출력 위치들 사이의 공간 분리의 양을 선택함으로써 설정될 수 있다.

Description

다수의 동공내 시차 뷰들을 제공함으로써 다수의 깊이 평면들 상에 이미지 콘텐츠를 제공하기 위한 시스템 및 방법

[0001] 본 출원은, 2016년 10월 21일에 출원된 미국 가출원 제62/411,490호를 우선권으로 주장하며, 상기 출원은 인용에 의해 본원에 통합된다.

[0002] 본 출원은, 하기의 특허 출원들, 즉 2014년 11월 27일에 출원된 미국 출원 제14/555,585호; 2015년 4월 18일에 출원된 미국 출원 제14/690,401호; 2014년 3월 14일에 출원된 미국 출원 제14/212,961호; 2014년 7월 14일에 출원된 미국 출원 제14/331,218호; 2016년 3월 16일에 출원된 미국 출원 제15/072,290호; 및 2015년 5월 4일에 출원된 미국 가출원 제62/156,809호 각각의 전체를, 인용에 의해 통합한다.

[0003] 본 개시내용은 증강 현실 및 가상 현실 이미징 및 시각화 시스템들을 포함하는 광학 디바이스들에 관한 것이다.

[0004] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 용이하게 했으며, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 사용자에게 제시된다. 가상 현실, 또는 "VR" 시나리오는 통상적으로 다른 실제 실세계 시각적 입력에 대한 투명성(transparency) 없는 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하고; 증강 현실, 또는 "AR" 시나리오는 통상적으로 사용자 주위 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반한다. 혼합 현실 또는 "MR" 시나리오는 AR 시나리오의 유형이며, 통상적으로 자연 세계에 통합되고 그에 응답하는 가상 객체들을 포함한다. 예컨대, MR 시나리오에서, AR 이미지 콘텐츠는 실제 세계의 객체들에 의해 차단되거나, 그렇지 않으면, 실제 세계의 객체들과 상호작용하는 것으로나 지각될 수 있다.

[0005] 도 1을 참조하면, 증강 현실 장면(scene)(10)이 도시되며, 여기서 AR 기술의 사용자는 배경에 있는 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(30)을 특징으로 하는 실세계 공원-형 세팅(20)을 본다. 이들 아이템들에 더하여, AR 기술의 사용자는 또한, 그가 "가상 콘텐츠", 이를테면, 실세계 플랫폼(30) 상에 서 있는 로봇 동상(40), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화-형 아바타 캐릭터(50)를 "보는 것"을 지각하지만, 이들 엘리먼트들(40, 50)은 실세계에 존재하지 않는다. 인간 시각 지각 시스템은 복잡하기 때문에, 다른 가상 또는 실세계 이미저리 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스러운 느낌의, 풍부한 프리젠테이션을 용이하게 하는 AR 기술을 생성하는 것은 난제이다.

[0006] 본원에 개시된 시스템들 및 방법들은 AR 및 VR 기술에 관련된 다양한 난제들을 해결한다.

[0007] 일부 실시예들에서, 머리-장착 디스플레이 시스템이 제공된다. 디스플레이 시스템은 뷰어 상에 장착하도록 구성된 프레임; 광원; 광원으로부터의 광을 변조하도록 구성된 공간 광 변조기(spatial light modulator); 및 프레임 상에 장착되고, 광을 공간 광 변조기로부터 뷰어의 눈으로 지향시키도록 구성된 투사 광학기(projection optics)를 포함한다. 디스플레이 시스템은, 가상 객체의 시차적으로 이질적인 동공내 이미지들(parallactically-disparate intra-pupil images)의 세트를 눈으로 주입함으로써 객체를 깊이 평면 상에 디스플레이하도록 구성된다.

[0008] 일부 다른 실시예들에서, 이미지 콘텐츠를 디스플레이하기 위한 방법이 제공된다. 방법은 공간 광 변조기를 제공하는 단계; 광을 복수의 상이한 광 출력 위치들로부터 공간 광 변조기로 출력하도록 구성된 광원을 제공하는 단계; 및 가상 객체의 시차적으로 이질적인 동공내 이미지들의 세트를 뷰어의 눈으로 시간적으로 순차적으로 주입함으로써 가상 객체를 깊이 평면 상에 디스플레이하는 단계를 포함한다. 동공내 이미지들 각각은: 광을 광원으로부터 공간 광 변조기로 출력하고 ― 광은 광원의 하나 이상의 연관된 광 출력 위치들로부터 출력됨 ― ; 하나 이상의 연관된 광 출력 위치들에 대응하는 동공내 이미지를 형성하기 위해, 공간 광 변조기로 광을 변조하고; 그리고 변조된 광을 눈으로 전파함으로써 형성된다. 각각의 동공내 이미지에 대한 하나 이상의 연관된 광 출력 위치들은 동공내 이미지들 중 다른 동공내 이미지들에 대한 하나 이상의 연관된 광 출력 위치들과 별개이다.

[0009] 또 다른 실시예들에서, 디스플레이 시스템이 제공된다. 디스플레이 시스템은 복수의 공간적으로 별개의 광 출력 위치들을 포함하는 광원; 광원으로부터의 광을 변조하도록 구성된 공간 광 변조기; 프레임 상에 장착되고, 광을 공간 광 변조기로부터 뷰어의 눈으로 지향시키도록 구성된 투사 광학기를 포함한다. 디스플레이 시스템은, 가상 객체의 시차적으로 이질적인 동공내 이미지들의 세트를 눈으로 시간적으로 순차적으로 주입함으로써 객체를 깊이 평면 상에 디스플레이하도록 구성된다.

[0010] 일부 다른 실시예들에서, 이미지 콘텐츠를 디스플레이하기 위한 방법이 제공된다. 방법은 광원 및 공간 광 변조기를 포함하는 머리-장착 디스플레이를 제공하는 단계를 포함한다. 방법은 가상 객체의 시차적으로 이질적인 동공내 이미지들의 세트를, 플리커 융합 임계치(flicker fusion threshold) 내에서, 디스플레이로부터 뷰어의 눈으로 주입함으로써 가상 객체를 깊이 평면 상에 디스플레이하는 단계를 더 포함한다.

[0011] 또한, 본 개시내용에 설명된 주제의 다양한 혁신적인 양상들은 다음의 실시예들로 구현될 수 있다.

1. 이미지 콘텐츠를 디스플레이하기 위한 방법으로서,

공간 광 변조기를 제공하는 단계;

광을 복수의 상이한 광 출력 위치들로부터 공간 광 변조기로 출력하도록 구성된 광원을 제공하는 단계; 및

가상 객체의 시차적으로 이질적인 동공내 이미지들의 세트를 뷰어의 눈으로 시간적으로 순차적으로 주입함으로써 가상 객체를 깊이 평면 상에 디스플레이하는 단계를 포함하고,

동공내 이미지들 각각은:

광을 광원으로부터 공간 광 변조기로 출력하고 ― 광은 광원의 하나 이상의 연관된 광 출력 위치들로부터 출력됨 ― ;

하나 이상의 연관된 광 출력 위치들에 대응하는 동공내 이미지를 형성하기 위해, 공간 광 변조기로 광을 변조하고; 그리고

변조된 광을 눈으로 전파함으로써

형성되고,

각각의 동공내 이미지에 대한 하나 이상의 연관된 광 출력 위치들은 동공내 이미지들 중 다른 동공내 이미지들에 대한 하나 이상의 연관된 광 출력 위치들과 별개인,

이미지 콘텐츠를 디스플레이하기 위한 방법.

2. 제1 실시예에 있어서, 하나 이상의 연관된 발광 구역들을 활성화하는 단계는 깊이 평면에 기반하여 하나 이상의 연관된 발광 구역들을 선택하는 단계를 포함하고, 동공내 이미지들에 대한 발광 구역들 간의 물리적 분리(separation)는, 뷰어까지의 깊이 평면의 거리가 감소함에 따라 증가하는, 이미지 콘텐츠를 디스플레이하기 위한 방법.

3. 제1 실시예 또는 제2 실시예에 있어서, 시차적으로 이질적인 이미지 각각을 형성하는 광선들이 시준되고(collimated), 깊이 평면은 광학 무한대 미만인, 이미지 콘텐츠를 디스플레이하기 위한 방법.

4. 제1 실시예 내지 제3 실시예 중 어느 한 실시예에 있어서, 시차적으로 이질적인 동공내 이미지들의 세트를 주입하는 단계는 뷰어의 플리커 융합 임계치(flicker fusion threshold) 미만의 타임프레임 내에서 수행되는, 이미지 콘텐츠를 디스플레이하기 위한 방법.

5. 제4 실시예에 있어서, 플리커 융합 임계치는 1/60 초인, 이미지 콘텐츠를 디스플레이하기 위한 방법.

6. 제1 실시예 내지 제5 실시예 중 어느 한 실시예에 있어서, 눈 추적 센서가 눈의 시선을 추적하는 단계를 더 포함하고,

가상 객체를 디스플레이하는 단계는:

눈 추적 센서를 사용하여 눈의 시선을 결정하는 단계; 및

결정된 눈의 시선에 기반하여 동공내 이미지들에 대한 콘텐츠를 선택하는 단계를 포함하는,

이미지 콘텐츠를 디스플레이하기 위한 방법.

7. 제1 실시예 내지 제6 실시예 중 어느 한 실시예에 있어서, 투사 광학기가 공간 광 변조기로부터 변조된 광을 눈으로 지향시키는 단계를 더 포함하는, 이미지 콘텐츠를 디스플레이하기 위한 방법.

8. 제1 실시예 내지 제7 실시예 중 어느 한 실시예에 있어서, 동공내 이미지들에 대한 하나 이상의 연관된 발광 구역들은 부분적으로 중첩하는, 이미지 콘텐츠를 디스플레이하기 위한 방법.

9. 제1 실시예 내지 제8 실시예 중 어느 한 실시예에 있어서, 동공내 이미지들 중 적어도 하나의 눈으로의 주입 동안, 하나 이상의 연관된 발광 구역들의 포지션을 변경하는 단계를 더 포함하는, 이미지 콘텐츠를 디스플레이하기 위한 방법.

10. 제1 실시예 내지 제9 실시예 중 어느 한 실시예의 방법을 수행하도록 구성된 디스플레이 시스템.

11. 이미지 콘텐츠를 디스플레이하기 위한 방법으로서,

광원 및 공간 광 변조기를 포함하는 머리-장착 디스플레이를 제공하는 단계;

가상 객체의 시차적으로 이질적인 동공내 이미지들의 세트를, 플리커 융합 임계치 내에서, 디스플레이로부터 뷰어의 눈으로 주입함으로써 가상 객체를 깊이 평면 상에 디스플레이하는 단계를 포함하는,

이미지 콘텐츠를 디스플레이하기 위한 방법.

12. 제11 실시예에 있어서, 시차적으로 이질적인 동공내 이미지들의 세트를 주입하는 단계는 동공내 이미지들의 개별적인 동공내 이미지들을 뷰어의 눈으로 시간적으로 순차적으로 주입하는 단계를 포함하는, 이미지 콘텐츠를 디스플레이하기 위한 방법.

13. 제11 실시예에 있어서, 시차적으로 이질적인 동공내 이미지들의 세트를 주입하는 단계는 동공내 이미지들 중 다수의 동공내 이미지들을 동시에 주입하는 단계를 포함하는, 이미지 콘텐츠를 디스플레이하기 위한 방법.

14. 제13 실시예에 있어서, 시차적으로 이질적인 동공내 이미지들의 세트를 주입하는 단계는 다수의 동공내 이미지들을 한번에 시간적으로 순차적으로 주입하는 단계를 포함하는, 이미지 콘텐츠를 디스플레이하기 위한 방법.

15. 제11 실시예 내지 제14 실시예 중 어느 한 실시예에 있어서, 동공내 이미지들을 형성하는 광 빔들이 시준되는, 이미지 콘텐츠를 디스플레이하기 위한 방법.

16. 제11 실시예 내지 제14 실시예 중 어느 한 실시예에 있어서, 동공내 이미지들을 형성하는 광 빔들은 발산 파면들(divergent wavefronts)을 갖는, 이미지 콘텐츠를 디스플레이하기 위한 방법.

17. 제11 실시예 내지 제16 실시예 중 어느 한 실시예에 있어서, 광원은 복수의 선택적으로 활성화되는 발광 구역들을 포함하고, 시차적으로 이질적인 동공내 이미지들의 세트를 주입하는 단계는 각각의 동공내 이미지에 대한 상이한 발광 구역을 활성화하는 단계를 포함하는, 이미지 콘텐츠를 디스플레이하기 위한 방법.

18. 제11 실시예 내지 제17 실시예 중 어느 한 실시예에 있어서, 광원은 복수의 별개의 광 출력 위치들로부터 광을 출력하도록 구성되고, 방법은 동공내 이미지들 중 적어도 하나의 눈으로의 주입 동안, 광 출력 위치들을 지터링(jitter)하는 단계를 더 포함하는, 이미지 콘텐츠를 디스플레이하기 위한 방법.

19. 제11 실시예 내지 제18 실시예 중 어느 한 실시예의 방법을 수행하도록 구성된 디스플레이 시스템.

20. 머리-장착 디스플레이 시스템으로서,

뷰어 상에 장착하도록 구성된 프레임;

광원;

광원으로부터의 광을 변조하도록 구성된 공간 광 변조기(spatial light modulator); 및

프레임 상에 장착되고, 광을 공간 광 변조기로부터 뷰어의 눈으로 지향시키도록 구성된 투사 광학기(projection optics)를 포함하고,

디스플레이 시스템은, 가상 객체의 시차적으로 이질적인 동공내 이미지들(parallactically-disparate intra-pupil images)의 세트를 눈으로 주입함으로써 객체를 깊이 평면 상에 디스플레이하도록 구성되는,

머리-장착 디스플레이 시스템.

21. 제20 실시예에 있어서, 디스플레이 시스템은 개별적인 동공내 이미지들의 디스플레이를 시간적으로 멀티플렉싱하도록 구성되는, 머리-장착 디스플레이 시스템.

22. 제20 실시예 또는 제21 실시예에 있어서, 디스플레이 시스템은 동공내 이미지들의 디스플레이를 공간적으로 멀티플렉싱하도록 구성되는, 머리-장착 디스플레이 시스템.

23. 제20 실시예 내지 제22 실시예 중 어느 한 실시예에 있어서, 디스플레이 시스템은 복수의 공간적으로 멀티플렉싱된 동공내 이미지들의 디스플레이를 시간적으로 멀티플렉싱하도록 구성되는, 머리-장착 디스플레이 시스템.

24. 제20 실시예 내지 제23 실시예 중 어느 한 실시예에 있어서, 투사 광학기는 인커플링(incoupling) 광학 엘리먼트들 및 아웃커플링(outcoupling) 광학 엘리먼트들을 포함하는 도파관을 포함하는, 머리-장착 디스플레이 시스템.

25. 제24 실시예에 있어서, 투사 광학기는 복수의 도파관들을 포함하고, 각각의 도파관은 복수의 도파관들 중 다른 도파관들과 상이한 컴포넌트 컬러의 광을 출력하도록 구성되는, 머리-장착 디스플레이 시스템.

26. 제20 실시예 내지 제25 실시예 중 어느 한 실시예에 있어서, 광원은 복수의 선택적으로 활성화되는 발광 구역들을 포함하는, 머리-장착 디스플레이 시스템.

27. 제26 실시예에 있어서, 광원은 발광 다이오드 어레이 및 공간 광 변조기 중 적어도 하나를 포함하는, 머리-장착 디스플레이 시스템.

28. 제27 실시예에 있어서, 발광 다이오드 어레이는 유기 발광 다이오드 어레이 또는 무기 발광 다이오드 어레이를 포함하는, 머리-장착 디스플레이 시스템.

29. 제27 실시예에 있어서, 광원의 공간 광 변조기는 액정 어레이 또는 DLP(digital light processing) 칩을 포함하는, 머리-장착 디스플레이 시스템.

30. 제20 실시예 내지 제29 실시예 중 어느 한 실시예에 있어서, 디스플레이 시스템은, 동공내 이미지들 중 적어도 하나의 눈으로의 주입 동안, 활성화된 발광 구역들의 포지션을 변경하도록 구성되는, 머리-장착 디스플레이 시스템.

31. 제20 실시예 내지 제25 실시예 중 어느 한 실시예에 있어서,

광원은:

발광기(light emitter); 및

광을 상이한 경로들을 따라 공간 광 변조기로 지향시키도록 구성된 작동기(actuator)를 포함하는,

머리-장착 디스플레이 시스템.

32. 제31 실시예에 있어서, 작동기는 이중-축 검류계(dual-axis galvanometer)인, 머리-장착 디스플레이 시스템.

33. 제31 실시예에 있어서, 광원은 파이버 스캐너(fiber scanner)를 포함하는, 머리-장착 디스플레이 시스템.

34. 제20 실시예 내지 제33 실시예 중 어느 한 실시예에 있어서, 광원으로부터의 광을 변조하도록 구성된 공간 광 변조기는 LCOS 패널을 포함하는, 머리-장착 디스플레이 시스템.

35. 제20 실시예 내지 제34 실시예 중 어느 한 실시예에 있어서,

디스플레이 시스템은 눈의 시선(gaze)을 추적하도록 구성된 눈 추적 센서를 더 포함하고, 디스플레이 시스템은,

눈 추적 센서를 사용하여 눈의 시선을 결정하고, 그리고

결정된 눈의 시선에 기반하여 동공내 이미지들에 대한 콘텐츠를 선택하도록 구성되는,

머리-장착 디스플레이 시스템.

36. 제20 실시예 내지 제35 실시예 중 어느 한 실시예에 있어서, 디스플레이 시스템은 광원의 광 출력 위치와 공간 광 변조기에 의해 제공된 이미지 콘텐츠를 동기화하도록 구성되는, 머리-장착 디스플레이 시스템.

37. 제20 실시예 내지 제36 실시예 중 어느 한 실시예에 있어서, 디스플레이 시스템은 공간 광 변조기와 투사 광학기 간에 광학 메커니즘을 더 포함하고, 광학 메커니즘은 광을 상이한 각도들로 공간 광 변조기의 상이한 위치들로부터 투사 광학기로 지향시키도록 구성되는, 머리-장착 디스플레이 시스템.

38. 제37 실시예에 있어서, 광학 메커니즘은 프리즘 또는 렌즈 구조물 중 하나 이상을 포함하는, 머리-장착 디스플레이 시스템.

39. 제38 실시예에 있어서, 렌즈 구조물은 렌즈릿 어레이(lenslet array)인, 머리-장착 디스플레이 시스템.

40. 디스플레이 시스템으로서,

복수의 공간적으로 별개의 광 출력 위치들을 포함하는 광원;

광원으로부터의 광을 변조하도록 구성된 공간 광 변조기;

프레임 상에 장착되고, 광을 공간 광 변조기로부터 뷰어의 눈으로 지향시키도록 구성된 투사 광학기를 포함하고,

디스플레이 시스템은, 가상 객체의 시차적으로 이질적인 동공내 이미지들의 세트를 눈으로 시간적으로 순차적으로 주입함으로써 객체를 깊이 평면 상에 디스플레이하도록 구성되는,

디스플레이 시스템.

41. 제40 실시예에 있어서, 상이한 동공내 이미지들에 대한 광원의 상이한 광 출력 위치들로부터 광을 출력하도록 구성되는, 디스플레이 시스템.

42. 제41 실시예에 있어서, 뷰어의 눈으로부터 깊이 평면의 거리에 기반하여, 광 출력 위치들 간의 측면 분리(lateral separation)를 변경하도록 구성되는, 디스플레이 시스템.

43. 제41 실시예 또는 제42 실시예에 있어서, 뷰어의 눈으로부터 깊이 평면의 거리가 증가함에 따라, 광 출력 위치들 간의 측면 분리를 증가시키도록 구성되는, 디스플레이 시스템.

44. 제41 실시예 또는 제42 실시예에 있어서, 디스플레이 시스템은, 동공내 이미지들 중 적어도 하나의 눈으로의 주입 동안, 광 출력 위치들을 변경하도록 구성되는, 디스플레이 시스템.

[0012] 도 1은 AR(augmented reality) 디바이스를 통한 AR의 사용자의 뷰를 예시한다.
[0013] 도 2는 사용자에 대한 3차원 이미저리(imagery)를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다.
[0014] 도 3은 다중 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다.
[0015] 도 4a 내지 도 4c는 곡률과 초점 거리 간의 관계들을 예시한다.
[0016] 도 5는 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다.
[0017] 도 6a는 연속 인입 파면에 대한 눈의 원근조절-전 및 원근조절-후 상태를 예시한다.
[0018] 도 6b는 연속 인입 파면의 조각별 근사치에 대한 눈의 원근조절-전 및 원근조절-후 상태들을 예시한다.
[0019] 도 7a는 투사 시스템에 의해 제공되는 유한 초점-거리 가상 이미지로부터 발산하는 발산 파면에 눈 원근조절을 예시한다.
[0020] 도 7b는 무한-초점 가상 이미지들에 의해 형성된 파면 세그먼트들을 활용하여 도 7a의 발산 파면의 근사치를 형성하기 위한 시스템을 예시한다.
[0021] 도 8은 도 7b의 발산 파면 근사치를 형성하는 시차 뷰들의 예들을 예시한다.
[0022] 도 9는 도 7b의 발산 파면 근사치를 형성하기 위한 투사 시스템을 포함하는 디스플레이 시스템의 예를 예시한다.
[0023] 도 10은 발광 구역들에 대한 크기들, 형상들 및 분포들의 예들을 예시한다.
[0024] 도 11a는 도 7b의 발산 파면 근사치를 형성하기 위한 투사 시스템의 다른 예를 도시한다.
[0025] 도 11b는 도 11a의 투사 시스템에 의해 제공되는 깊이 평면들의 범위의 예를 예시한다.
[0026] 도 12는 투사 시스템들에 대한 광원 구성의 예를 예시한다.
[0027] 도 13a는 광학 무한대 미만인 디폴트 깊이 평면 상에 가상 객체들을 배치하기 위한 투사 시스템의 예를 예시한다.
[0028] 도 13b는 도 13a의 투사 시스템에 의해 제공되는 깊이 평면들의 범위의 예를 예시한다.
[0029] 도 14는 동공내 이미지들의 공간적으로 멀티플렉싱된 디스플레이를 위해 구성된 투사 시스템의 예를 예시한다.
[0030] 도 15는 동공내 이미지들의 공간적으로 그리고 시간적으로 멀티플렉싱된 디스플레이를 위해 구성된 투사 시스템의 예를 예시한다.
[0031] 도 16은 세계의 사용자 뷰 상에 이미지 콘텐츠를 중첩시키기 위한 동공 중계 결합기 접안렌즈를 포함하는 투사 시스템의 예를 예시한다.
[0032] 도 17은 눈 추적 시스템 및 동공 확장기를 갖는 결합 접안렌즈를 포함하는 디스플레이 시스템의 예를 예시한다.
[0033] 도 18은 비-무한 깊이 평면을 생성하도록 구성된 동공 확장기를 갖는 동공 중계 결합기 접안렌즈 및 눈 추적 시스템을 포함하는 디스플레이 시스템의 예를 예시한다.
[0034] 도 19는 상이한 광 출력 위치들로의 광의 전파를 지향시키기 위한 미러들을 포함하는 광원을 예시한다.
[0035] 도 20은 파이버 스캐너를 포함하는 광원을 예시한다.
[0036] 도 21은 상이한 컴포넌트 컬러들에 대응하는 상이한 파장들의 광을 출력하기 위한 스택된 도파관 조립체를 포함하는 접안렌즈의 예를 예시한다.
[0037] 도 22는 웨어러블 디스플레이 시스템의 예를 예시한다.

[0038] 인간 시각 시스템은, 뷰어의 왼쪽 눈 및 오른쪽 눈 각각에 이미지의 약간 다른 프리젠테이션들을 제공함으로써 디스플레이에 의해 제시되는 이미지들 "3-차원"으로서 지각하게 될 수 있다. 각각의 눈에 제시되는 이미지들에 의존하여, 뷰어는 뷰어로부터 선택된 거리(예컨대, 특정 "깊이 평면")에 있는 것처럼 이미지들의 "가상" 객체를 지각한다. 그러나, 왼쪽 및 오른쪽 눈들에 이미지의 상이한 프리젠테이션들을 간단히 제공하는 것은 뷰어를 불편하게 할 수 있다. 본원에서 추가로 논의되는 바와 같이, 가상 객체가 배치된 그 깊이 평면에서 뷰어가 실제 객체를 보고 있었다면 발생할 원근조절과 유사하게, 눈들이 이미지들에 원근조절하게 함으로써, 뷰잉 편의성이 증가될 수 있다.

[0039] 정해진 깊이 평면 상의 가상 객체에 대한 적절한 원근조절은, 그 깊이 평면 상의 실제 객체로부터 나오는 광의 파면 발산과 매칭하는 파면 발산을 갖는 광으로 눈들에 이미지들을 제시함으로써 유도될 수 있다. 일부 디스플레이 시스템들은 적절한 파면 발산을 제공하기 위해 별개의 광 출력들을 갖는 별개의 구조물들을 사용한다. 예컨대, 하나의 구조물은 (하나의 깊이 평면 상에 가상 객체들을 배치하기 위해) 특정 양의 파면 발산을 제공할 수 있고, 다른 구조물은 (상이한 깊이 평면 상에 가상 객체들을 배치하기 위해) 상이한 양의 파면 발산을 제공할 수 있다. 따라서, 이러한 디스플레이 시스템들에서 물리적 구조물과 깊이 평면들 사이에 일대일 대응이 있을 수 있다. 각각의 깊이 평면에 대해 별개의 구조물이 필요하기 때문에, 이러한 디스플레이 시스템들은 부피가 크고 그리고/또는 무거울 수 있으며, 이는 휴대용 머리-장착 디스플레이와 같은 일부 애플리케이션들에서 바람직하지 않을 수 있다. 또한, 이러한 디스플레이 시스템들은, 활용될 수 있는 상이한 광 출력들의 구조물의 수에 대한 실질적인 제한들로 인해, 그들이 눈들로부터 유도할 수 있는 상이한 원근조절 반응들의 수들에서 제한될 수 있다.

[0040] 연속 파면, 예컨대 연속 발산 파면이 지향된 시차적으로 이질적인 동공내(intra-pupil) 이미지들을 눈에 주입함으로써 근사화될 수 있음이 알려졌다. 일부 실시예들에서, 디스플레이 시스템은, 디스플레이 내의 광학 구조물들과 원근조절 응답 간의 일대일 대응을 요구하지 않고서, 다양한 원근조절 응답들을 제공할 수 있다. 예컨대, 동일한 광학 투사 시스템은, 시차적으로 이질적인 동공내 이미지들의 세트를 눈에 주입함으로써, 원하는 깊이 평면에 대응하는, 선택된 지각된 파면 발산량을 갖는 광을 출력하는 데 활용될 수 있다. 이들 이미지들은, 각각의 이미지가 정해진 깊이 평면 상의 동일한 가상 객체 또는 장면의 상이한 시차 뷰인 것으로 간주될 수 있기 때문에, "시차적으로 이질적인" 동공내 이미지들로 지칭될 수 있다. 시차 디스패리티를 소유한 이미지들의 세트가 단일 눈의 동공, 예컨대, 뷰어의 오른쪽 눈에 투사되기 때문에, 이들은 "동공내" 이미지들이다. 약간의 중첩이 발생할 수 있지만, 이러한 이미지들을 형성하는 광 빔들은 중첩이 없는 적어도 일부 영역들을 가질 것이고, 약간 다른 각도들로부터 동공에 충돌할 것이다. 일부 실시예들에서, 뷰어의 다른 눈, 예컨대, 왼쪽 눈에는 그 자신의 시차적으로 이질적인 동공내 이미지들의 세트가 제공될 수 있다. 각각의 눈에 투사된 시차적으로 이질적인 동공내 이미지들의 세트는 약간 상이할 수 있고, 예컨대, 이미지들은 각각의 눈에 의해 제공되는 약간 상이한 시각들(perspectives)로 인해 동일한 장면의 약간 상이한 뷰들을 보여줄 수 있다.

[0041] 뷰어의 눈의 동공에 투사되는 동공내 이미지들 각각을 형성하는 광의 파면들은, 전체적으로, 연속 발산 파면을 근사화할 수 있다. 이 근사화된 파면의 지각된 발산량은 동공내 이미지들 간에 시차 디스패리티의 양을 변경함으로써 변경될 수 있고, 이는 동공내 이미지들을 형성하는 광의 파면들에 의해 스팬되는 각도 범위를 변경한다. 바람직하게는, 이 각도 범위는 연속 파면이 근사화됨으로써 스팬된 각도 범위들을 모방한다. 일부 실시예들에서, 동공내 이미지들을 형성하는 광의 파면들이 시준 또는 준-시준된다.

[0042] 일부 실시예들에서, 디스플레이 시스템은 복수의 별개의 광 출력 위치들로부터 광을 출력하도록 구성된 광원을 활용한다. 예컨대, 광원은 선택적으로 활성화된 복수의 발광 구역들을 포함할 수 있으며, 각각의 영역은 별개의 광 출력 위치이다. 동공내 이미지 간의 시차 디스패리티의 양은 각각의 이미지에 대한 광 출력 위치를 변경함으로써 변화될 수 있다. 정해진 광 출력 위치로부터의 광이 하나의 경로를 따라 디스플레이 시스템을 통해 눈으로 전파될 수 있고, 광원 상의 상이한 광 출력 위치로부터의 광이 상이한 통로를 따라 디스플레이 시스템을 통해 눈으로 전파될 수 있다는 것이 인지될 것이다. 결과적으로, 광 출력 위치들에서의 공간 차이들은, 눈까지 광이 취하는 경로들의 차이들로 변환될 수 있다. 상이한 경로들은 상이한 양들의 시차 디스패리티에 대응할 수 있다. 유리하게는, 일부 실시예들에서, 시차 디스패리티의 양은, 광원의 광 출력 위치들 사이의 공간 변위 또는 분리의 양을 선택함으로써 선택될 수 있다.

[0043] 일부 실시예들에서, 위에 언급된 바와 같이, 광원은 복수의 선택적으로 활성화된 발광 구역들을 포함할 수 있고, 이들 각각은 별개의 광 출력 위치에 대응한다. 발광 구역들은 평면 상에 배치되고, 2D 발광기 어레이를 형성할 수 있다. 일부 다른 실시예들에서, 광원은 F-세타(F-θ 또는 F-tan θ) 렌즈와 같은 선형 전달 렌즈, 공통 또는 공유된 발광기, 및 발광기에 의해 방출된 광을 F-세타 렌즈를 통해 상이한 경로들을 따라 지향시키기 위한 작동기를 포함할 수 있다. 광은 F-세타 렌즈를 통해 상이한 위치들에서 광원에서 나가며, F-세타 렌즈는 출사 광을 이미지 평면에 초점을 맞춘다. 상이한 위치들에서 F-세타 렌즈에서 나오는 광은 또한 이미지 평면 상의 상이한 위치들에 배치되고, 이미지 평면은 가상 2D 발광기 어레이를 제공하는 것으로 간주될 수 있다. 결과적으로, 발광기 어레이의 개별 구역들, 및 선형 전달 렌즈로부터의 광이 이미지 평면을 통과하는 위치들 둘 모두는 본원에서 광원의 광 출력 위치들로 지칭될 수 있다.

[0044] 일부 실시예들에서, 작동기는, 원하는 전파 경로를 따라 발광기로부터의 광을 지향시키기 위해 상이한 축들 상에서 독립적으로 작동되는 복수(예컨대, 한 쌍)의 미러들을 포함하는 이중-축 검류계(dual axis galvanometer)의 일부일 수 있다. 일부 다른 실시예들에서, 광원은 파이버 스캐너를 포함할 수 있고, 작동기는 파이버 스캐너의 파이버를 이동시키도록 구성된 작동기일 수 있다. 광원은 또한, 광원에 의한 광의 출력과 미러 또는 파이버의 위치, 및 디스플레이될 동공내 이미지를 동기화하는 프로세싱 모듈을 포함하거나 또는 이와 통신할 수 있다. 예컨대, 미러들 또는 파이버는 알려진 경로를 따라 움직일 수 있고, 발광기는, 본원에서 추가로 논의되는 바와 같이, 미러들 또는 파이버가 특정 동공내 이미지에 대한 원하는 광 출력 위치(및 그 이미지와 연관된 시차 디스패리티)에 대응하는 포지션에 있을 때 광을 방출하도록 프로세싱 모듈에 의해 제어될 수 있다.

[0045] 디스플레이 시스템은 또한 눈에 광을 주입하기 위한 투사 광학기와 광원 사이에 공간 광 변조기를 포함할 수 있다. 공간 광 변조기는, 동공내 이미지를 형성하도록 그 광 스트림 내의 이미지 정보를 인코딩하기 위해, 광원으로부터의 광을 변조하도록 구성될 수 있다. 바람직하게는, 이미지들은, 광학 무한대 또는 일부 다른 선택된 "홈 평면"에서 또는 그 근처에 공간 광 변조기 평면의 이미지를 동시에 제공하고, 또한 뷰어의 동공에서 또는 그 근처에 광원의 이미지를 제공하는 투사 광학기를 통해 눈에 주입된다. 따라서, 이미지 콘텐츠 또는 정확한 양들의 시차 디스패리티 둘 모두가 눈에 제공될 수 있다.

[0046] 일부 실시예들에서, 동일한 공간 광 변조기는, 눈에 제공될 다양한 동공내 이미지들을 형성하기 위해 광을 변조하는 데 사용될 수 있다. 이러한 일부 실시예들에서, 활성 광 출력 위치들(광이 정해진 시점에서 활성적으로 전파되는 광 출력 위치들)은 공간 광 변조기에 의한 변조와 동기화될 수 있다. 예컨대, 하나의 동공내 이미지에 대응하는 광 출력 위치의 활성화는, 공간 광 변조기 내의 디스플레이 엘리먼트들의 활성화와 동기화되거나 또는 동시적일 수 있고, 디스플레이 엘리먼트들은 특정 발광 구역에 대응하는 동공내 이미지를 형성하도록 구성된다. 일단 제2 동공내 이미지에 대응하는 또 다른 광 출력 위치가 활성화되면, 공간 광 변조기 내의 적절한, 가능하게는 상이한 디스플레이 엘리먼트들은 그 제2 동공내 이미지를 형성하도록 활성화될 수 있다. 광 출력 위치들의 활성화 및 공간 광 변조기에 의해 제공된 이미지 콘텐츠를 동기화함으로써, 부가적인 동공내 이미지들이 형성될 수 있다. 눈으로의 동공내 이미지들의 시간-기반 순차적인 주입은 동공내 이미지들의 시간적인 멀티플렉싱 또는 시간적으로 멀티플렉싱된 디스플레이로 지칭될 수 있다. 또한, 활성 또는 활성화된 광 출력 위치가, 광이 광원으로부터 동공내 이미지를 형성하는데 사용되는 공간 광 변조기로 활성적으로 전파되는 위치인 것이 인지될 것이다.

[0047] 일부 다른 실시예들에서, 공간 멀티플렉싱이 활용될 수 있다. 이러한 실시예들에서, 공간 광 변조기의 상이한 영역들(예컨대, 상이한 픽셀들)은 상이한 동공내 이미지들을 형성하는 데 전용될 수 있다. 광학 메커니즘은, 광이 투사 광학기를 통해 상이한 방향들로 전파되도록 상이한 영역들로부터의 광을 지향시키기 위해, 공간 광 변조기와 투사 광학기 사이에 제공될 수 있다. 적합한 광학 메커니즘들의 예들은 렌즈릿 어레이들(lenslet arrays)을 포함한다. 결과적으로, 이미지들을 형성하는 픽셀들의 위치들에 의해 결정되는 시차 디스패리티를 갖고서 그리고 이들 픽셀로부터 광의 전파를 지향시키는 광학 메커니즘을 사용하여, 상이한 동공내 이미지들이 형성되어 눈에 동시에 제공될 수 있다. 일부 실시예들에서, 시차 디스패리티가 광학 메커니즘과 관련하여 공간 광 변조기를 사용하여 설정될 수 있기 때문에, 선택적으로 활성화된 발광 구역들이 없는 광원(예컨대, 점 광원)은 디스플레이 시스템을 위한 광을 생성하는데 활용될 수 있다 .

[0048] 일부 다른 실시예들에서, 시간 및 공간 둘 모두의 멀티플렉싱이 활용될 수 있다. 이러한 실시예들에서, 디스플레이 시스템은, 위에 언급된 광학 메커니즘 및 공간 광 변조기의 상이한 영역들에서의 상이한 동공내 이미지들의 형성 이외에, 선택적으로 활성화된 광 출력 위치들을 갖는 광원을 포함할 수 있다. 시차 디스패리티는, 공간 광 변조기의 상이한 위치들에서의 상이한 동공내 이미지들의 동시의 형성과 관련하여 광학 메커니즘 및 광 출력 위치들의 선택적인 활성화 둘 모두를 사용하여 제공될 수 있다.

[0049] 시간 멀티플렉싱의 실시예들에서, 특정 연속 파면을 근사화하기 위한 동공내 이미지들의 세트는, 바람직하게는, 이미지들이 상이한 시간들에서 제공되었다는 것을 인간 시각 시스템이 검출하기에 너무 빠르게 눈에 주입된다. 이론에 의해 제한되지 않고서, 시각 시스템은 플리커 융합 임계치 내에서 망막 상에 형성된 이미지들을 동시에 존재하는 것으로서 지각할 수 있다. 일부 실시예들에서, 연속 파면을 근사화하는 것은 한 세트의 동공내 이미지들 각각에 대한 광 빔들을 눈에 순차적으로 주입하는 것을 포함할 수 있고, 광 빔들 모두를 주입하기 위한 총 지속기간은 플리커 융합 임계치 미만이고, 플리커 융합 임계치를 초과하면, 인간 시각 시스템은 이미지들을 눈에 개별적으로 주입된 것으로 지각할 것이다. 예로서, 플리커 융합 임계치는 약 1/60 초일 수 있다. 이미지들의 각각의 세트가, 특정 수의 시차 뷰들, 예컨대, 2개 이상의 뷰들, 3개 이상의 뷰들, 4개 이상의 뷰들 등으로 구성될 수 있고, 이들 뷰들 모두는 플리커 융합 임계치 내에서 제공된다는 것이 인지될 것이다.

[0050] 바람직하게는, 디스플레이 시스템은, 개별적인 동공내 이미지들 형성하는 광에 의해 제공되는 피사계 심도가 실질적으로 무한대이고, 눈이 개별적인 동공내 이미지에 대해 원근조절할 수 없는 "개방 루프" 모드에서 시각 시스템이 동작하기에 충분히 작은 출사동을 갖는다. 일부 실시예들에서, 개별 이미지들을 형성하는 광 빔들은 눈에 입사될 때 약 0.5mm 미만의 폭 또는 직경을 갖는 영역을 차지한다. 그러나, 동공내 이미지들의 세트를 형성하는 광 빔들이 적어도 부분적으로 중첩하지 않고, 바람직하게는, 동공 내의 이미지들을 형성하는 광의 파면들에 의해 형성된 파면 근사치에 기반하여 원하는 원근조절 응답을 유도하기에 충분한 정보를 눈의 렌즈에 제공하기 위해 0.5mm보다 더 큰 영역을 규정한다는 것이 인지될 것이다.

[0051] 이론에 의해 제한되지 않고서, 광 빔들의 세트에 의해 규정된 영역은 합성 애퍼처를 모방하는 것으로 간주될 수 있고, 눈은 합성 애퍼처를 통해 장면을 본다. 동공 앞에 충분히 작은 핀홀을 통해 장면을 보는 것이 거의 무한대의 피사계 심도를 제공한다는 것이 인지될 것이다. 핀홀의 작은 애퍼처가 주어지면, 눈의 렌즈에는 뚜렷한 초점 깊이를 식별하기에 적절한 장면 샘플링이 제공되지 않는다. 핀홀이 확대됨에 따라, 눈의 렌즈에 부가적인 정보가 제공되고, 자연적 광학 현상들은 제한된 초점 깊이가 지각될 수 있게 한다. 유리하게는, 광 빔들의 세트 및 대응하는 시차적으로 이질적인 동공내 이미지들의 세트들에 의해 규정된 영역은 무한 피사계 심도를 생성하는 핀홀보다 더 크게 될 수 있고, 다수의 동공내 이미지들은 위에서 언급된 확대된 핀홀에 의해 제공된 효과의 근사치를 생성할 수 있다.

[0052] 본원에서 논의된 바와 같이, 일부 실시예들에서, 이미지들을 형성하기 위해 광을 변조하는 공간 광 변조기에 광을 출력하는 복수의 선택적으로 활성화된 광 출력 위치들을 갖는 광원을 사용하여, 광 빔들이 동공을 향해 전파되는 상이한 각도들이 제공될 수 있다. 광원의 상이한 광 출력 위치들로부터의 광이 공간 광 변조기로의 상이한 경로들을 취할 것이며, 이는, 결국, 공간 광 변조기로부터 투사 광학기의 출력 동공으로 그리고 따라서 뷰어의 눈들로의 상이한 경로들을 취할 것이라는 것이 인지될 것이다. 결과적으로, 활성 광 출력 위치들의 측면 변위(lateral displacement)는, 공간 광 변조기를 떠나고 궁극적으로 투사 광학기를 통해 뷰어의 동공을 향해 전파되는 광의 각도 변위로 변환된다. 일부 실시예들에서, 활성화된 발광 구역들 사이의 측면 변위의 증가들은, 공간 광 변조기 평면에 대해 측정된 각도 변위의 증가로 변환되는 것으로 이해될 수 있다. 일부 실시예들에서, 동공내 이미지들 각각은 상이한 광 출력 위치로부터 광을 출력하고, 이로써 이미지들 각각을 형성하는 광 빔들 사이의 각도 변위를 제공함으로써 형성될 수 있다.

[0053] 일부 실시예들에서, 광원 및/또는 광원의 광 출력 위치들은 단일 시차 이미지(동공내 이미지) 디스플레이 에피소드 내에서 위치 또는 지터를 변경할 수 있다. 예컨대, 광원 및/또는 발광 구역들이 물리적으로 움직일 수 있고 그리고/또는 동공내 이미지를 디스플레이하면서 원하는 포지션 변화를 제공하기 위해 상이한 광 출력 위치들(예컨대, 발광기들의 어레이의 상이한 발광기들)이 활성화될 수 있다. 변위 또는 지터의 속도는 공간 광 변조기 상의 시차 이미지의 업데이트 레이트보다 더 높을 수 있다. 지터된 변위는 원하는 지각 효과에 의존하여 비틀림(torsional)을 포함하는 임의의 방향일 수 있다.

[0054] 일부 실시예들에서, 디스플레이 시스템은, 가상 이미지 콘텐츠가 세계의 뷰어의 뷰, 또는 주변 환경과 중첩될 수 있게 하는 결합기 접안렌즈를 포함할 수 있다. 예컨대, 결합기 접안렌즈는, 뷰어가 세계를 볼 수 있게 하는 광학적으로 투과성 도파관일 수 있다. 또한, 도파관은 뷰어의 눈들에 동공 이미지들을 형성하는 광을 수신, 안내 및 궁극적으로 출력하는 데 활용될 수 있다. 도파관이 뷰어와 세계 사이에 포지셔닝될 수 있기 때문에, 도파관에 의해 출력된 광은, 세계의 깊이 평면들 상에 배치된 가상 이미지들을 형성하는 것으로 지각될 수 있다. 본질적으로, 결합기 접안렌즈는, 뷰어가 디스플레이 시스템으로부터의 광 및 세계로부터의 광의 결합을 수신할 수 있게 한다.

[0055] 일부 실시예들에서, 디스플레이 시스템은 또한 뷰어의 시선 방향을 검출하기 위한 눈 추적 시스템을 포함할 수 있다. 이러한 눈 추적 시스템은 뷰어가 보고 있는 곳에 기반하여 적절한 콘텐츠가 선택될 수 있게 한다.

[0056] 유리하게는, 특정 연관된 발산을 갖는 파면들을 생성하는 다수의 별개의 광 출력 구조들로부터 발산 파면들을 제공하기 위한 메커니즘을, 임의의 발산량을 생성할 수 있는 단일 구조물로 시프팅함으로써, 시스템의 물리적 크기 및 복잡성이 감소될 수 있고, 즉, 출력 구조물들 중 일부가 제거될 수 있다. 또한, 각각의 깊이 평면이 정해진 파면 발산을 생성하기 위한 전용 구조물을 요구하였다면, 실현 가능할 더 많은 수의 깊이 평면들 상에 가상 콘텐츠를 배치하는 것이 가능할 수 있다. 깊이 평면의 수의 이러한 증가는 뷰어에게 더 현실적이고 편안한 뷰잉 경험을 제공할 수 있다. 또한, 일부 실시예들에서, 각각의 공간 광 변조기 픽셀로부터의 광은 공칭적으로 시준된 상태로 유지될 수 있고, 이로써 시준된 픽셀 광을 활용하는 결합기 접안렌즈들과 그 공간 광 변조기를 갖는 투사 시스템의 통합을 가능하게 한다.

[0057] 이제 유사한 참조 번호들이 전반에 걸쳐 유사한 부분들을 지칭하는 도면들에 대한 참조가 이루어질 것이다.

[0058] 본원에서 논의되는 바와 같이, "3-차원" 또는 "3-D"로서 이미지의 지각은 뷰어의 각각의 눈에 이미지의 약간 상이한 프리젠테이션들을 제공함으로써 달성될 수 있다. 도 2는 사용자에 대한 3차원 이미저리를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다. 2개의 별개의 이미지들(190 및 200)(각각의 눈(210 및 220)에 대해 하나씩)이 사용자에게 출력된다. 이미지들(190, 200)은 뷰어의 시선과 평행한 광학 또는 z-축을 따라 거리(230) 만큼 눈들(210, 220)로부터 이격된다. 이미지들(190, 200)은 편평하고 눈들(210, 220)은 단일 원근조절된 상태를 가정함으로써 이미지들에 초점이 맞춰질 수 있다. 그러한 3-D 디스플레이 시스템들은 결합된 이미지에 대한 스케일 및/또는 깊이의 지각을 제공하기 위하여 이미지들(190, 200)을 결합하는데 인간 시각 시스템에 의존한다.

[0059] 그러나, 인간 시각 시스템은 더 복잡하고 현실적인 깊이의 지각을 제공하는 것이 더 어렵다는 것이 인지될 것이다. 예컨대, 종래의 "3-D" 디스플레이 시스템들의 많은 뷰어들은 그런 시스템들이 불편하다는 것을 발견하거나, 깊이 감을 전혀 지각하지 못할 수 있다. 이론에 의해 제한되지 않고서, 객체의 뷰어들은 이접운동 및 원근조절의 결합으로 인해 객체를 "3-차원"인 것으로 지각할 수 있다고 여겨진다. 서로에 대한 2개의 눈들의 이접운동(vergence) 움직임들(즉, 객체를 응시하기 위해 눈들의 시선들을 수렴하도록 동공들이 서로를 향해 또는 서로 멀어지게 움직이도록 하는 눈들의 회전)은 눈들의 렌즈들 및 동공들의 초점 맞춤(또는 "원근조절")과 밀접하게 연관된다. 정상 조건들 하에서, 하나의 객체에서 상이한 거리에 있는 다른 객체로 초점을 변경하기 위해, 눈들의 렌즈들의 초점을 변경하거나, 눈들을 원근조절하는 것은, "원근조절-이접운동 반사작용(accommodation-vergence reflex)"으로 알려진 관계 하에서, 동일한 거리에 대한 이접운동의 매칭하는 변화뿐만 아니라 동공 팽창 또는 수축을 자동으로 발생시킬 것이다. 마찬가지로, 이접운동에서의 변화는 정상 조건들하에서, 렌즈 형상 및 동공 크기의, 원근조절에서의 매칭하는 변화를 트리거할 것이다. 본원에서 언급되는 바와 같이, 다수의 스테레오스코픽 또는 "3-D" 디스플레이 시스템들은, 3-차원 관점이 인간 시각 시스템에 의해 지각되도록 각각의 눈에 약간 상이한 프리젠테이션들(그리고 따라서, 약간 상이한 이미지들)을 사용하여 장면을 디스플레이한다. 그러나, 그러한 시스템들은 많은 뷰어들에게 불편한데, 그 이유는, 다른 것들 중에서, 그러한 시스템들이 간단히 장면의 상이한 프리젠테이션을 제공하지만, 눈들이 단일 원근조절된 상태에서 모든 이미지 정보를 보고, 그리고 "원근조절-이접운동 반사작용"에 반하여 작동하기 때문이다. 원근조절과 이접운동 사이의 더 양호한 매칭을 제공하는 디스플레이 시스템들은 3-차원 이미저리의 더 현실적이고 편안한 시뮬레이션들을 형성하여, 착용 지속기간을 증가시키는데 기여할 수 있다.

[0060] 도 4는 다중 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다. 도 3을 참조하면, z-축 상에서 눈들(210, 220)로부터의 다양한 거리들에 있는 객체들은, 이들 객체들의 초점이 맞도록 눈들(210, 220)에 의해 원근조절되고, 즉, 눈들(210, 220)은 z-축을 따라 상이한 거리들에 있는 객체들에 초점을 맞추게 하는 특정 원근조절된 상태들을 취한다. 결과적으로, 특정 원근조절된 상태는 연관된 초점 거리를 갖는 깊이 평면들(240) 중 특정한 하나의 깊이 평면과 연관되는 것으로 말할 수 있어서, 특정 깊이 평면의 객체들 또는 객체들의 부분들은, 눈이 해당 깊이 평면에 대해 원근조절된 상태에 있을 때 초점이 맞춰진다. 일부 실시예들에서, 3-차원 이미저리는 눈들(210, 220) 각각에 대해 이미지의 상이한 프리젠테이션들을 제공함으로써 시뮬레이팅될 수 있고, 이미지의 프리젠테이션들은 또한 상이한 깊이 평면들에 대해 상이하다. 예시의 명확성을 위해 별개인 것으로 도시되지만, 눈들(210, 220)의 시야들은 예컨대, z-축을 따른 거리가 증가함에 따라 중첩될 수 있다는 것이 인지될 것이다. 게다가, 예시의 용이함을 위해 평평한 것으로 도시되지만, 깊이 평면의 윤곽들은 물리적 공간에서 만곡될 수 있어서, 깊이 평면의 모든 피처들은 특정 원근조절된 상태에서 눈과 초점이 맞춰진다는 것이 인지될 것이다.

[0061] 객체와 눈(210 또는 220) 간의 거리는 또한, 그 눈으로 볼 때, 그 객체로부터 광의 발산량을 변경할 수 있다. 도 4a-4c는 광선들의 거리와 발산 간의 관계들을 예시한다. 객체와 눈(210) 간의 거리는, 거리가 감소하는 순서로 R1, R2 및 R3에 의해 표현된다. 도 4a-4c에 도시된 바와 같이, 광선들은, 객체에 대한 거리가 감소함에 따라 더 많이 발산하게 된다. 거리가 증가함에 따라, 광선들은 더 시준된다. 다른 말로 하면, 포인트(객체 또는 객체의 일부)에 의해 생성된 광 필드가 구체 파면 곡률을 가지는 것으로 말해질 수 있고, 구체 파면 곡률은, 포인트가 사용자의 눈으로부터 얼마나 멀리 떨어져 있는지의 함수이다. 곡률은 객체와 눈(210) 간의 거리가 감소함에 따라 증가한다. 결과적으로, 상이한 깊이 평면들에서, 광선들의 발산 정도는 또한 상이하고, 발산 정도는, 깊이 평면들과 뷰어의 눈(210) 간의 거리가 감소함에 따라 증가한다. 단지 하나의 눈(210)이 도 4a-4c 및 본원의 다른 도면들에서 예시의 명확성을 위해 예시되지만, 눈(210)에 대한 논의들이 뷰어의 양쪽 눈들(210 및 220)에 적용될 수 있다는 것이 인지될 것이다.

[0062] 이론에 의해 제한되지 않고서, 인간 눈이 통상적으로 깊이 지각을 제공하기 위하여 유한 수의 깊이 평면들을 해석할 수 있다고 여겨진다. 결과적으로, 지각된 깊이의 매우 믿을 만한 시뮬레이션은, 눈에, 이들 제한된 수의 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 달성될 수 있다. 상이한 프리젠테이션들이 뷰어의 눈들에 의해 별개로 초점이 맞춰질 수 있고, 이로써, 상이한 깊이 평면 상에 위치되는 장면에 대한 상이한 이미지 피처들에 초점을 맞추도록 요구되는 눈의 원근조절에 기반하여 그리고/또는 상이한 깊이 평면들 상의 상이한 이미지 피처들의 초점이 벗어나는 것을 관찰하는 것에 기반하여 깊이 단서들을 사용자에게 제공하는 것을 돕는다.

[0063] 각각의 깊이 평면이 연관된 파면 발산을 갖기 때문에, 특정 깊이 평면에 있는 것으로 보이는 이미지 콘텐츠를 디스플레이하기 위해, 일부 디스플레이들은 그 깊이 평면에 대응하는 발산으로 광을 출력하는 광 출력(optical power)을 갖는 도파관들을 활용할 수 있다. 상이한 광 출력들을 갖지만 유사한 복수의 도파관들은 복수의 깊이 평면들 상에 이미지 콘텐츠를 디스플레이하는 데 활용될 수 있다. 예컨대, 이러한 시스템들은 스택으로 형성된 이러한 복수의 도파관들을 활용할 수 있다. 도 5는 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다. 디스플레이 시스템(250)은, 이미지 정보를 출력하기 위해 복수의 도파관들(270, 280, 290, 300, 310)을 사용하여 3-차원 지각을 눈/뇌에 제공하는 데 활용될 수 있는 도파관들의 스택(260)을 포함한다. 이미지 주입 디바이스들(360, 370, 380, 390, 400)은 이미지 정보를 포함하는 광을 도파관들(270, 280, 290, 300, 310)에 주입하는 데 활용될 수 있다. 각각의 도파관(270, 280, 290, 300, 310)은 광 출력을 제공하는 구조물(예컨대, 각각 광학 격자 및/또는 렌즈(570, 580, 590, 600, 610))를 포함할 수 있어서, 각각의 도파관이 특정 깊이 평면에 대응하는 미리 설정된 양의 파면 발산을 갖는 광을 출력한다. 따라서, 각각의 도파관(270, 280, 290, 300, 310)은 그 도파관에 의해 제공되는 파면 발산량에 의해 결정되는 연관된 깊이 평면에 이미지 콘텐츠를 배치한다.

[0064] 그러나, 도파관과 깊이 평면 사이의 1 대 1 대응이 다수의 깊이 평면들이 요구되는 시스템들에서 부피가 크고 무거운 디바이스로 이어질 수 있음이 인지될 것이다. 이러한 실시예들에서, 다수의 깊이 평면들은 다수의 도파관들을 요구할 것이다. 또한, 컬러 이미지들 요구되는 경우, 각각의 깊이 평면이 다수의 대응하는 도파관들을 가질 수 있기 때문에, 훨씬 더 많은 수의 도파관들이 요구될 수 있으며, 컬러 이미지를 형성하기 위해 각각의 컴포넌트 컬러에 대한 하나의 도파관이 요구될 수 있다.

[0065] 유리하게는, 다양한 실시예들은, 객체 또는 장면의 상이한 시차 뷰들을 제공하는 동공내 이미지들을 형성하는 별개의 광 빔들을 사용함으로써, 원하는 연속 파면을 근사화하는 더 간단한 디스플레이 시스템을 제공할 수 있다.

[0066] 이제 도 6a를 참조하면, 연속 입력 파면(1000)을 수신할 때 눈(210)의 원근조절-전 및 원근조절-후 상태들이 예시된다. 예시 a)는, 시각 시스템이 파면(1000)을 망막(211)에 초점을 맞추기 전에 원근조절-전 상태를 도시한다. 특히, 초점(212)은 망막(211) 상에 있지 않다. 예컨대, 초점(212)은 예시된 바와 같이 망막(211)의 전방에 있을 수 있다. 예시 b)는, 인간 시각 시스템이 파면(1000)을 망막(211)에 초점을 맞추기 위해 뷰어의 눈(210)의 동공 근육(pupillary musculature)을 수축(flex)시킨 후, 원근조절-후 상태를 도시한다. 예시된 바와 같이, 초점(212)은 망막(211) 상에 있을 수 있다.

[0067] 도 6a의 파면(1000)과 같은 연속 파면이 복수의 파면들을 사용하여 근사화될 수 있다는 것이 알려져 있다. 도 6b는 도 6a의 연속 파면(1000)의 조각별(piecewise) 근사치를 수신할 때 눈(210)의 원근조절-전 및 원근조절-후 상태들을 예시한다. 도 6b의 예시 a)는 원근조절-전 상태를 도시하고, 예시 b)는 눈(210)의 원근조절-후 상태를 도시한다. 근사치는 복수의 조성 파면들(constituent wavefronts)(1010a, 1010b 및 1010c)을 사용하여 형성될 수 있으며, 이들 각각은 개별 광 빔들과 연관된다. 본원에서 사용된 바와 같이, 참조 번호들(1010a, 1010b 및 1010c)은 광 빔 및 그 광 빔의 연관된 파면 둘 모두를 나타낼 수 있다. 일부 실시예들에서, 조성 파면들(1010a 및 1010b)은, 이를테면, 시준된 광 빔에 의해 형성된 평면 파면들일 수 있다. 예시 b)에 도시된 바와 같이, 조성 파면들(1010a 및 1010b)에 의해 형성된 파면 근사치(1010)는 망막(211) 상에 초점(212)을 갖는 망막(211)으로 눈(210)에 의해 초점이 맞춰진다. 유리하게도, 원근조절-전 및 후 상태들은 도 6a에 도시된 연속 파면(1000)에 의해 야기되는 상태와 유사하다.

[0068] 연속 발산 파면들이 광학 투사 시스템들을 사용하여 형성될 수 있음이 인지될 것이다. 도 7a는 투사 시스템에 의해 제공되는 유한 초점-거리 가상 이미지로부터 발산하는 발산 파면에 대한 눈 원근조절을 예시한다. 시스템은 초점 길이 "F" 및 외부 정지부를 갖는 투사 광학기(1020) 및 공간 광 변조기(1018)를 포함한다. 이미지는 공간 광 변조기(1018)에 의해 형성될 수 있고, 이미지 정보를 포함하는 공간 광 변조기(1018)로부터의 광은 투사 광학기(1020)를 통해 눈(210)으로 지향될 수 있다. 도 7a에 표시된 바와 같이, 공간 광 변조기(1018)와 투사 광학기(1020) 사이의 간격(F 미만)은, 발산 파면(1000)이 눈(210)을 향해 출력되도록 선택될 수 있다. 도 6a에 관하여 위에서 언급된 바와 같이, 이어서 눈(210)은 파면(1000)을 망막(211) 상에 초점을 맞출 수 있다.

[0069] 도 7b는, 무한-초점 가상 이미지들에 의해 형성된 파면 세그먼트들을 활용하여 도 7a의 발산 파면의 근사치를 형성하기 위한 시스템을 예시한다. 위와 같이, 시스템은 공간 광 변조기(1018) 및 투사 광학기(1020)를 포함한다. 공간 광 변조기(1018)는 서로에 대해 시프트되는 2개의 이미지들을 형성한다. 공간 광 변조기(1018)는 투사 광학기(1020)의 후방 초점 평면으로부터 거리 F에 배치되고, 투사 광학기(1020)는 F의 후방 초점 길이를 갖는다. 제1 이미지에 대한 이미지 정보를 포함하는 광 빔(1010a)은 투사 광학기(1020)를 통해 눈(210)으로 전파된다. 제2 이미지에 대한 이미지 정보를 포함하는 광 빔(1010b)은 투사 광학기(1020)를 통해 눈(210)으로 상이한 경로를 취한다. 본원에 논의되는 바와 같이, 광 빔들(1010a 및 1010b)은 광원(예시되지 않음)의 상이한 구역들로부터 방출될 수 있으며, 이로써 이들 광 빔들이 공간 광 변조기(1018)를 상이한 각도들로부터 조명하게 하고, 이는 결국 광 빔들(1010a 및 1010b)에 의해 형성된 이미지들이 서로에 대해 공간적으로 시프트되게 한다. 광 빔들(1010a 및 1010b)은, 그러한 광 빔들이 발산 파면(1000)(도 7a)의 각도 범위와 매칭하는, 하나의 광 빔으로부터 다른 광 빔으로의 각도 범위를 규정하도록, 투사 광학기(1020)를 통한 경로들을 따라 공간 광 변조기로부터 멀어져 그리고 눈(210)으로 전파된다. 광 빔들(1010a 및 1010b) 사이의 각도 분리가 근사화되는 파면 발산량이 증가함에 따라 증가한다는 것이 인지될 것이다. 일부 실시예들에서, 투사 광학기(1020), 및 공간 광 변조기(1018)와 투사 광학기(1020) 간의 간격은, 광 빔들(1010a 및 1010b) 각각이 시준되도록 구성된다.

[0070] 이제 도 8을 참조하면, 도 7b의 발산 파면 근사치를 형성하는 시차 뷰들의 예들이 예시된다. 광 빔들(1010a, 1010b 및 1010c) 각각이 공간 내의 이미지들의 상이한 배치들에 대응하는 약간 상이한 관점들로부터 동일한 객체들 또는 장면의 하나의 뷰의 별개의 이미지를 형성한다는 것이 인지될 것이다. 예시된 바와 같이, 이미지는 상이한 시간들에서 순차적으로 눈(210)으로 주입될 수 있다. 대안적으로, 이미지들은, 광학 시스템이 허용하는 경우 동시에 주입될 수 있거나, 본원에서 논의된 바와 같이, 이미지들은 그룹들로 주입될 수 있다. 일부 실시예들에서, 이미지들 모두를 형성하는 광이 눈(210)으로 주입되는 총 지속기간은 뷰어의 플리커 융합 임계치 미만이다. 예컨대, 플리커 융합 임계치는 1/60 초일 수 있고, 광 빔들(1010a, 1010b 및 1010c) 모두는 그 플리커 융합 임계치 미만인 지속기간에 걸쳐 눈(210)으로 주입된다. 이와 같이, 인간 시각 시스템은 이러한 모든 이미지들을 통합하고, 이러한 모든 이미지들은 마치 광 빔들(1010a, 1010b 및 1010c)이 그 눈(210)에 동시에 주입된 것처럼 눈(210)에 나타난다. 따라서, 광 빔들(1010a, 1010b 및 1010c)은 파면 근사치(1010)를 형성한다.

[0071] 이제 도 9를 참조하면, 도 7b의 발산 파면 근사치(1010)를 형성하기 위한 투사 시스템(1003)을 포함하는 디스플레이 시스템(1001)의 예가 예시된다. 투사 시스템(1003)은 광(1010a '및 1010b')을 공간 광 변조기(1018)에 출력하도록 구성된 광원(1026)을 포함하며, 공간 광 변조기(1018)는 동일한 객체 또는 장면의 약간 다른 시차 뷰들을 보여주는 이미지들을 형성하기 위해 광을 변조한다. 이어서, 이미지 정보로 변조된 광은 중계/투사 광학기(1020)를 통해 전파되고, 광 빔들(1010a 및 1010b)로서 중계/투사 광학기(1020)에 의해 눈(210)으로 출력된다. 투사 시스템(1003)은 또한, 광(1010a '및 1010b')의 방출에서의 공간 차이들을 공간 광 변조기(1018)로의 그 광의 전파에서의 각도 차이들로 변환하도록 구성될 수 있는 렌즈 구조물(1014)을 포함할 수 있다. 투사 시스템(1003)은 1) 광을 광원(1026)으로부터 공간 광 변조기(1018)로 지향시키고; 그리고 2) 공간 광 변조기(1018)로부터 변조된 광이 빔 스플리터(1016)를 통해 중계/투사 광학기(1020)로 다시 전파하도록 허용하도록 구성된 편광 빔 스플리터(1016)를 더 포함할 수 있다. 일부 실시예들에서, 디스플레이 시스템(1001)은 눈의 시선을 모니터링하도록 구성된 눈 추적 디바이스(1022), 예컨대, 카메라를 포함할 수 있다. 이러한 모니터링은, 뷰어가 보고 있는 방향을 결정하는 데 사용될 수 있으며, 이 방향은 그 방향에 적합한 이미지 콘텐츠를 선택하는 데 사용될 수 있다. 바람직하게는, 눈 추적 디바이스(1022)는 뷰어의 양쪽 눈들을 추적하거나, 각각의 눈은 그 자신의 연관된 눈 추적 디바이스를 포함한다. 결과적으로, 뷰어의 양쪽 눈들의 이접운동이 추적될 수 있고, 눈들의 수렴 지점은 눈들이 어떤 방향으로 지향되는지 그리고 눈들이 어떤 거리로 지향되는지를 결정하도록 결정될 수 있다.

[0072] 광(1010a '및 1010b')이 상이한 시간들에 광원(1026)에 의해 출력될 수 있고, 공간 광 변조기(1018)가 상이한 시간들에 광(1010a '및 1010b')으로 상이한 시차 뷰들을 형성할 수 있으며, 결과적인 광 빔들(1010a 및 1010b)이, 본원에서 논의된 바와 같이, 상이한 시간들에서 눈(210)으로 주입될 수 있다는 것이 인지될 것이다.

[0073] 도 9를 계속 참조하면, 광원(1026)은 평면 상에 실질적으로 배치된 복수의 선택적으로 활성화된 광 출력 위치들을 갖는 2D 광원일 수 있다. 일부 실시예들에서, 선택적으로 활성화된 광 출력 위치들은 선택적으로 활성화된 발광 구역들일 수 있다. 예컨대, 광원(1026)은, 광을 출력하는 별개의 유닛들 또는 발광기들의 어레이를 포함하는 공간 광 변조기(예컨대, DLP(digital light processing) 디바이스, LCOS 디바이스 등과 같은 디지털 마이크로미러 디바이스), 또는 LED(light-emitting diode) 어레이일 수 있다. LED 어레이들의 예들은 OLED(organic light-emitting diode) 어레이들 및 ILED(inorganic light-emitting diode) 어레이들을 포함한다. 일부 실시예들에서, 광원(1026) 내의 개별 발광 다이오드들 및/또는 광 변조기들은 발광 구역을 구성할 수 있다. 일부 다른 실시예들에서, 발광 다이오드들 및/또는 광 변조기들의 그룹들은 발광 구역들을 형성할 수 있다. 이러한 실시예들에서, 중첩이 완전하지 않기 때문에, 구역이 구별되는 것으로 간주될 수 있지만, 상이한 발광 구역들의 광 변조기들 및/또는 발광 다이오드들 사이에 약간의 중첩이 있을 수 있다.

[0074] 일부 다른 실시예들에서, 광원(1026)은, 사실상, 이미지 평면 상에 가상 2D 광원을 제공하기 위해, 광을 그 이미지 평면으로 초점을 맞추도록 구성될 수 있다. 이미지 평면 상의 상이한 위치들은 상이한 광 출력 위치들인 것으로 간주될 수 있으며, 이들 위치들은, 발광기로부터의 광을 스티어링하기 위해 작동된 미러들 또는 파이버 스캐너를 사용하여 이미지 평면 상의 이들 위치들을 통해 광을 지향시킴으로써 활성화될 수 있다. 이러한 가상 2D 광원들에 관한 추가의 세부사항들은 도 19 및 20의 논의에서 이하에 제공된다.

[0075] 일부 실시예들에서, 공간 광 변조기들(1018)의 예들은 LCOS(liquid crystal on silicon) 패널들을 포함한다. 다른 예로서, 일부 다른 실시예들에서, 공간 광 변조기(1018)는 투과형 액정 패널 또는 MEMS 디바이스, 이를테면, DLP를 포함할 수 있다.

[0076] 계속해서 도 9를 참조하면, 디스플레이 시스템(1001)은 또한, 디스플레이 시스템에 의해 제공된 이미지 콘텐츠의 타이밍 및 타입을 결정하기 위한 제어 시스템들(1024)을 포함할 수 있다. 일부 실시예들에서, 제어 시스템(1024)은 디스플레이 시스템(1001)을 제어하기 위한 프로그램들을 저장하는 메모리를 갖는 하나 이상의 하드웨어 프로세서들을 포함한다. 예컨대, 시스템(1024)은 광원(1026)의 발광 구역들의 활성화, 공간 광 변조기(1018)의 개별 픽셀 엘리먼트들의 작동, 및/또는 눈 추적 디바이스(1022)로부터 수신된 데이터에 대한 디스플레이 시스템(1001)의 해석 및 반응을 제어하도록 구성될 수 있다. 바람직하게는, 시스템(1024)은, 원하는 깊이 평면 또는 파면 발산에 대한 적절한 양의 디스패리티를 갖는 시차 뷰들을 형성하기 위해, 원하는 깊이 평면 또는 파면 발산에 관한 입력을 수신하고, 활성화할 적절한 발광 구역들을 계산하도록 구성된 계산 모듈(1024a)을 포함한다. 또한, 계산 모듈(1024a)은, 원하는 시차 뷰들의 이미지들을 형성하기 위해 공간 광 변조기(1018)의 픽셀들의 적절한 작동을 결정하도록 구성될 수 있다. 시스템(1024)은 또한, 특정 활성화된 발광 구역들에 대응하는 시차 뷰를 제공하기 위한 이미지들을 형성하기 위해, 광원(1026)의 특정 발광 구역들의 활성화와 공간 광 변조기(1018)에 의한 광의 변조를 동기화하도록 구성된 동기화 모듈(1024b)을 포함할 수 있다. 또한, 시스템(1024)은 눈 추적 디바이스(1022)로부터 입력들을 수신하는 눈 추적 모듈(1024c)을 포함할 수 있다. 예컨대, 눈 추적 디바이스(1022)는 눈(210)을 이미징하도록 구성된 카메라일 수 있다. 눈 추적 디바이스(1022)에 의해 캡처된 이미지들에 기반하여, 눈 추적 모듈(1024c)은 동공의 배향을 결정하고, 눈(210)의 시선을 외삽(extrapolate)하도록 구성될 수 있다. 이 정보는 계산 모듈(1024a)로 전자적으로 전달될 수 있다. 계산 모듈(1024a)은 눈(210)의 시선(line of sight) 또는 응시에 기반하여(바람직하게는 또한 뷰어의 다른 눈의 시선 또는 응시에 기반하여) 이미지 콘텐츠를 선택하도록 구성될 수 있다.

[0077] 광원(1026)이 별개의 발광기들의 어레이들을 포함할 수 있기 때문에, 발광기들에 의해 형성된 발광 구역들의 크기 및 형상은 발광기들 중 선택된 것들을 활성화함으로써 원하는 대로 변경될 수 있다. 도 10은 발광 구역들에 대한 크기들, 형상들 및 분포들의 예들을 예시한다. 도면에서 밝은 영역 및 어두운 영역이 상이한 시차 뷰들에 대해 활성화되는 상이한 발광 영역들을 나타낸다는 것이 인지될 것이다. 예 a)는, 수평 시차-전용 구동 원근조절에 바람직할 수 있는, 수평으로 이격된 세장형 발광 구역들을 도시한다. 예 b)는 수평 및 수직 변위 둘 모두를 갖는 원형 발광 구역들을 도시한다. 예 c)는 휘도 감소(luminance fall-off)를 갖는 발광 구역들을 도시한다. 예 d)는 중첩하는 발광 구역들을 도시한다. 예 e)는 어레이들을 형성하는 발광 구역들을 도시한다. 예시된 예들에 의해 표시된 바와 같이, 광원(1026)(도 9)은 이진인(간단히 턴 온 및 오프하는) 발광기들 및/또는 그레이스케일을 통합하는(선택적으로 가변 세기의 광을 방출하는) 발광기들을 포함할 수 있다. 일부 실시예들에서, 광원(1026)은 시스템(1001)에 대한 시차-스위칭 레이트를 초과하는 레이트들을 포함하는, 매우 높은 레이트로 스위칭하는 엘리먼트들을 포함할 수 있다. 예컨대, 광원(1026)은, 상이한 동공내 이미지들이 상이한 시간들에서 디스플레이되는 실시예들에서, 시차(동공내) 이미지들이 스위칭되는 레이트보다 더 높은 레이트로 광 출력을 스위칭 온 및 오프하는 광 출력 엘리먼트들을 가질 수 있다.

[0078] 도 9를 다시 참조하면, 일부 실시예들에서, 제어 시스템(1024)은 2개의 부분들: 1) 광 필드 생성 및 2) 인수분해된 광 필드 최적화를 포함할 수 있다. 본원에서 논의된 바와 같이, 파면을 근사화하기 위해, 적절한 이미지가 광원(1026)의 각각의 활성화된 발광 구역에 대해 공간 광 변조기(1018) 상에 디스플레이된다. 이들 이미지들이 광 필드 생성 단계 동안 생성되고, 여기서 3D 장면은 활성화된 발광 구역들의 약간의 시프트들에 대응하는 다수의 약간 오프셋된 시점들로부터 렌더링되는 된다는 것이 인지될 것이다. 예컨대, 5x5 광 필드를 디스플레이하기 위해, 3D 장면은, 격자 패턴으로 배열된 25개의 상이한 시점들로부터 25번 렌더링될 것이다. 격자 패턴에서의 시점들의 위치는 활성화된 광원 영역의 위치에 대응할 것이며, 렌더링된 이미지는 공간 광 변조기에 의해 형성된 이미지에 대응할 것이다.

[0079] 공간 광 변조기(1018)에 의해 형성된 이미지들의 밝기를 증가시키는 것이 바람직할 수 있다. 유리하게는, 발광기들의 어레이를 포함하는 광원(1026)을 활용하는 것은, 밝기를 증가시키는 데 활용될 수 있는, 다양한 형상들 및 크기들을 갖는 발광 구역들의 형성을 허용한다. 일부 실시예들에서, 밝기는, 공간 광 변조기(1018)에 의해 형성된 이미지를 크게 변경하지 않고서, 활성화된 발광 구역들의 크기를 증가시킴으로써 증가될 수 있다. 계산 모듈(1024a)은 인수분해된 광 필드 최적화를 사용하여 활성화된 발광 구역의 크기 및 형상을 결정하도록 구성될 수 있다. 모듈(1024a)은 입력 초점 스택을 취하고, 공간 광 변조기(1018)뿐만 아니라 광원(1026) 상에 디스플레이될 일련의 패턴들을 생성하도록 구성될 수 있으며, 패턴들은 최소 제곱 의미(least squared sense)에서 초점 스택에 대한 원하는 근사치를 생성하도록 구성된다. 최적화는, 시점에서의 작은 시프트가 지각된 이미지를 크게 변경하지 않고, 동일한 이미지를 공간 광 변조기(1018) 상에 디스플레이하면서, 광원(1026) 상의 더 큰 영역으로부터의 조명을 활용하여 발광 구역 패턴들을 생성할 수 있다는 사실을 이용한다.

[0080] 최적화 문제는 아래에 주어진 비-콘벡스(non-convex) 최적화 문제로서 공식화될 수 있다.

여기서 투사 연산자(ρ)는 (시프트 및 가산 알고리즘을 사용하여) 4D 광 필드로부터 3D 초점 스택으로의 선형 변환을 수행한다. 이 문제는 디콘볼루션(deconvolution) 문제에 임베딩된 비네거티브 행렬 인수분해이다. 이 문제를 해결하는 알고리즘은 ADMM(alternating direction method of multipliers)을 사용한다. 이 문제를 해결하는 예시적인 방법에 대한 부가적인 세부사항들이 부록 I에서 논의된다. 모듈(1024a)이 공간 광 변조기(1018)에 의해 형성될 시차 뷰에 기반하여 발광 구역의 적절한 크기 및 형상을, 실시간으로, 활성적으로 계산하도록 구성된다는 것이 인지될 것이다.

[0081] 일부 다른 실시예들에서, 최적화 문제는 아래에 주어진 바와 같이 약간 상이한 비-콘벡스 최적화 문제로서 공식화될 수 있다.

여기서 A 및 B는 공간 광 변조기들(예컨대, 이미지들을 형성하기 위한 광원(1026) 및 공간 광 변조기(1018)) 상에 디스플레이되는 패턴들을 나타내며, y는 알고리즘의 원하는 출력인 타겟 4D 광 필드이고, AB'는, A 및 B가 변조기들 상에 보여질 때, 물리적 디스플레이에 의해 방출되는 4D 광 필드를 시뮬레이팅하기 위해 공간 광 변조기 패턴들을 결합하는 연산자이다. 이 문제는 비네거티브 행렬 인수분해이다. 이 문제를 해결하는 알고리즘은, 임의적인 초기 추측으로부터 A 및 B를 개선(refine)하기 위한 반복 최적화 기술을 사용한다.

[0082] 도 9를 계속 참조하면, 인간 시각 시스템의 플리커 융합 임계치는, 여전히 동시에 주입되는 것으로 지각되면서, 눈(210)에 주입될 수 있는 이미지들의 수에 대한 시간 제약을 부과한다는 것이 인지될 것이다. 예컨대, 제어 시스템(1024)의 프로세싱 대역폭 및 광원(1026)의 발광 구역들 및 공간 광 변조기(1018)의 광 변조기들을 스위칭하기 위한 능력은, 플리커 융합 임계치에 의해 허용된 지속기간 내에서 눈(210)으로 주입될 수 있는 이미지들의 수를 제한할 수 있다. 유한 수의 이미지들이 주어지면, 제어 시스템(1024)은 디스플레이되는 이미지들에 관하여 선택하도록 구성될 수 있다. 예컨대, 플리커 융합 임계치 내에서, 디스플레이 시스템은 시차적으로 이질적인 동공내 이미지들의 세트를 눈에 주입하도록 요구될 수 있고, 결국 각각의 시차 뷰는 전체 컬러 이미지를 형성하기 위해, 다양한 컴포넌트 컬러들의 이미지들을 요구할 수 있다. 일부 실시예들에서, 컴포넌트 컬러 이미지들을 사용하는 풀 컬러 이미지들의 형성은 원하는 원근조절 응답의 설명(elucidation)으로부터 분기(bifurcate)된다. 예컨대, 이론에 의해 제한되지 않고서, 단일 컬러의 광에 대한 원하는 원근조절 응답을 유도하는 것이 가능할 수 있다. 이러한 경우, 원근조절 응답을 유도하는 데 사용된 시차적으로 이질적인 동공내 이미지들은 단지 단일 컬러일 것이다. 결과적으로, 다른 컬러들의 광을 사용하여 시차적으로 이질적인 동공내 이미지들을 형성할 필요가 없을 것이고, 이로써 다른 타입들의 이미지가 디스플레이되기 위한 플리커 융합 임계치 내에서 시간을 자유롭게 한다. 예컨대, 파면을 더 양호하게 근사화하기 위해, 더 큰 시차적으로 이질적인 동공내 이미지들의 세트가 생성될 수 있다.

[0083] 일부 다른 실시예들에서, 제어 시스템(1024)은, 인간 시각 시스템이 덜 민감한 광의 컬러들의 이미지들을 디스플레이하기 위해 플리커 융합 임계치 내에서 더 적은 시간을 할당하도록 구성될 수 있다. 예컨대, 인간 시각 시스템은 녹색 광보다 청색 광에 덜 민감하다. 결과적으로, 디스플레이 시스템은 청색 광으로 형성된 이미지들보다 녹색 광으로 형성된 이미지들을 더 많이 생성하도록 구성될 수 있다.

[0084] 이제 도 11a를 참조하면, 도 7b의 발산 파면 근사치를 형성하기 위한 투사 시스템(1003)의 다른 예가 예시된다. 바람직하게는, 투사 시스템은 비교적 긴 피사계 심도를 생성하며, 이는 시스템의 제한 애퍼처에 의해 제어될 수 있다. 이론에 의해 제한되지 않고서, 약 0.5mm의 유효 동공 직경을 갖는 눈에 이미지들을 제공하는 투사 시스템들은, 눈이 이러한 이미지들에 대해 원근조절할 수 없을 때, 인간 시각 시스템이 "개방-루프" 모드에서 동작하도록 강제한다고 여겨진다. 이러한 유효 동공 직경을 갖는 이미지들을 제공함으로써, 디스플레이 시스템은 무한-초점 이미지에 대해 망막 상의 스폿-크기를 감소시킨다.

[0085] 도 11a를 계속 참조하면, 투사 시스템(1003)은 본원에서 논의되는 시차 디스패리티를 갖는 이미지들을 형성한다. 이미지들은, 인간 시각 시스템의 지각 지속성(perception persistence)보다 더 높은 레이트(예컨대, > 60Hz)로 뷰어의 눈에 빠르게, 교대로 제공될 수 있다. 본원에서 논의된 바와 같이, 예시된 투사 시스템(1003)은 유한 공액 평면(finite conjugate plane)에서 조명 소스의 이미지 및 무한대에서의 픽셀(이미지) 소스의 이미지를 동시에 생성한다. 또한, 선택적으로 활성화된 발광 구역들(1026a 및 1026b)은, 뷰어 동공 내에서 서로에 대해 시차 이미지들을 정렬시키기 위해 광학 시스템 동공의 변위를 생성하도록 이격된다.

[0086] 이제 도 11b를 참조하면, 도 11a의 투사 시스템에 의해 제공되는 깊이 평면들의 범위의 예가 예시된다. 범위는 광학 무한대에서의 먼 평면으로부터 눈(210)에 더 근접한 가까운 평면까지 스팬한다. 광학 무한대에서의 먼 평면은 시준된 광 빔들(1010a 및 1010b)에 의해 제공될 수 있다. 가까운 평면은, 본원에 개시된 바와 같이, 공간적으로 변위된 활성화된 발광 구역들을 사용하여 제공될 수 있으며, 디스플레이 시스템에 의해 제공되는 가장 가까운 깊이 평면인 것으로 이해될 수 있다. 일부 실시예들에서, 눈(210)에 대한 가까운 평면의 지각된 근접도(nearness)는 광 빔들(1010a 및 1010b) 간의 최대 시차 디스패리티에 의해 결정될 수 있고, 최대 시차 디스패리티는, 뷰어의 동공에서 또는 그 근처에서 광원(1026)의 선명한 이미지를 여전히 형성하면서, 디스플레이 시스템이 선택적으로 활성화된 발광 구역들(1026a 및 1026b)이 분리될 수 있게 하는 최대 거리에 의해 결정될 수 있다.

[0087] 유리하게는, 본원에서 논의된 바와 같이, 복수의 별개의 선택적으로 활성화된 발광기들을 포함하는 광원(1026)의 사용은, 광범위한 동공 또는 지각된 이미지 형상들, 휘도 프로파일들 및 (조명 소스 크기, 형상 및 포지션의 조작을 통해) 다양한 피사계 심도 효과들을 달성하기 위한 어레이를 생성하는 능력을 제공한다. 광원(1026)은 유리하게도 또한, 높은 발광 효율을 제공하면서, 원근조절을 드라이빙하기 위해 원하는 대로, 수평 시차 전용, 완전한 시차 또는 시차의 다른 조합들을 수용하기 위해 동공의 형상을 유연하고 상호작용하여 변경하는 능력을 제공한다.

[0088] 이제 도 12를 참조하면, 투사 시스템들(1003)에 대한 광원 구성의 예가 예시된다. 광원(1026)은, 이미지들을 형성하기 위해 조명기(1028)로부터 공간 광 변조기(1018)로의 광 출력을 조절하기 위한 공간 광 변조기(1032) 및 단일 고정 조명기(1028)를 포함한다. 광원(1026)은 광을 조명기(1028)로부터 공간 광 변조기(1032)로 향하게 하는 콘덴서/콜리메이터 렌즈를 또한 포함할 수 있다. 공간 광 변조기(1032)는 광이 원하는 대로 통과하도록 허용하거나 이를 차단하는 셔터들 및/또는 픽셀들을 포함할 수 있다. 픽셀들 및/또는 셔터들이 광이 통과할 수 있게 작동될 수 있고, 광이 통과한 영역들이 발광 구역들(예컨대, 발광 구역들(1026a 및 1026b))로 간주된다는 것이 인지될 것이다.

[0089] 이제 도 13a를 참조하면, 광학 무한대 미만인 디폴트 깊이 평면 상에 가상 객체들을 배치하기 위한 투사 시스템(1003)의 예가 예시된다. 예시된 바와 같이, 투사 광학기(1020)는 초점 길이 "F"를 가질 수 있고, 공간 광 변조기는 F 미만에 포지셔닝될 수 있으며, 이는, 광 빔들(1010a 및 1010b)로 하여금 발산하게 함으로써, 광학 무한대 미만에서 먼 깊이 평면을 갖도록 시스템(1003)을 바이어스한다. 광 빔들(1010a 및 1010b)이 발산하는 양은 투사 광학기(1020)에 대한 공간 광 변조기(1018)의 포지션에 의해 결정될 수 있으며, 간격이 더 가까울수록 발산량들이 더 커진다. 일정량의 발산이 간격으로 인해 디폴트로 예상되기 때문에, 일부 실시예들에서, 각각의 동공내 이미지에 대한 발광 구역들(1026a 및 1026b)의 크기는 (예컨대, LED들의 수를 증가시키는 것, 동공내 이미지를 형성할 때, 공간 광 변조기를 조명하도록 활성화되는 광원 조명 픽셀의 수를 증가시키는 것 등에 의해) 확대될 수 있고, 각각의 동공내 이미지와 연관된 출사동은 0.5mm보다 더 클 수 있다. 결과적으로, 시각 시스템은 개방 루프 모드에서 기능하지 않을 수 있다. 일부 실시예들에서, 발광 구역들(1026a 및 1026b)의 크기는 제어 시스템(1024)(도 9)에 의해 설정될 수 있고, 제어 시스템(1024)은 시스템(1003)에 대한 원하는 디폴트 깊이 평면에 기반하여 발광 구역들(1026a 및 1026b)의 크기를 변경하도록 프로그래밍될 수 있다. 또한, 각각의 동공내 이미지를 형성하기 위한 광 빔들의 단면 폭들은, 투사 광학기(1020)가 원하는 발산을 제공하도록 광에 작용하기 위한 투사 광학기(1020)의 광학 구조물에 비해 충분히 큰 것이 바람직하다.

[0090] 이제 도 13b를 참조하면, 도 13a의 투사 시스템에 의해 제공되는 깊이 평면들의 범위의 예가 예시된다. 예시된 범위는, 광학 무한대 미만인 D의 거리에서의 먼 평면으로부터 눈(210)에 대해 가까운 평면까지 스팬한다. 먼 평면은 투사 광학기(1020)에 대한 공간 광 변조기의 포지션의 적절한 선택에 의해 설정될 수 있다. 가까운 평면은 도 11b와 관하여 위에 개시된 바와 같이 제공될 수 있다.

[0091] 이제 도 14를 참조하면, 동공내 이미지들의 공간적으로 멀티플렉싱된 디스플레이를 위해 구성된 투사 시스템(1003)의 예가 예시된다. 원하는 시차 디스패리티를 제공하기 위해 발광 구역들 사이의 공간 변위에 의존하기보다는, 상이한 동공내 이미지들을 형성하기 위해 공간 광 변조기(1018)의 상이한 영역들을 활용함으로써, 시차 디스패리티가 제공될 수 있다. 광학 메커니즘(1019)은 상이한 각도들로 이들 상이한 영역들 각각으로부터의 광을 투사 광학기(1020)를 향해 지향시키도록 구성되고, 투사 광학기(1020)는 뷰어(도시되지 않음)의 눈을 향해 광 빔들(1010a 및 1010b)을 출력한다. 일부 실시예들에서, 상이한 동공내 이미지들을 형성하기 위한 공간 광 변조기(1018)의 영역들은 인터리빙될 수 있다. 예컨대, 상이한 동공내 이미지들에 대한 이미지 정보를 제공하는 픽셀들은 서로 인터리빙될 수 있다. 광학 메커니즘(1019)은, 광학 메커니즘(1019)이 광을 수신하는 상이한 위치들(예컨대, 상이한 픽셀들)을, 픽셀들로부터의 광이 투사 광학기(1020)에 입사되는 상이한 각도들로 변환하도록 구성될 수 있다. 일부 실시예들에서, 광학 메커니즘(1019)은 프리즘 및/또는 렌즈 구조물, 이를테면, 렌즈릿 어레이를 포함할 수 있다.

[0092] 공간 광 변조기(1018)의 다른 중첩되지 않는 구역들이 상이한 동공내 이미지들에 대한 이미지 정보를 제공하는 데 전용될 수 있다는 것을 인지될 것이다. 이들 구역들이 서로 구별되기 때문에, 일부 실시예들에서, 그들은 동시에 작동될 수 있다. 결과적으로, 다수의 동공내 이미지들이 동시에 눈에 제공될 수 있다. 이는, 공간 광 변조기(1018)가 이미지들을 리프레시하는 데 요구되는 속도에 대한 요건들을 유리하게 감소시킬 수 있다. 위에 논의된 바와 같이, 연속 파면을 근사화하기 위한 동공내 이미지들의 세트의 모든 이미지들이 동시에 제공된다는 지각을 제공하기 위해, 이들 이미지들 모두는 플리커 융합 임계치 내에 제공되어야 한다. 일부 실시예들에서, 동공내 이미지들의 세트의 모든 또는 복수의 이미지들은 공간 광 변조기의 상이한 구역들에서 동시에 제공되어, 인간 시각 시스템이 이미지들을 동시에 제공되는 것으로 지각하기 위해, 이러한 동시에 제공되는 이미지들의 신속한 순차적인 디스플레이가 요구되지 않는다.

[0093] 예시된 바와 같이, 광원(1028)은 공간 광 변조기(1018)를 조명하기 위해 렌즈 구조물(1014)을 통해 광을 제공한다. 일부 실시예들에서, 광원(1028)은, 임의의 선택적으로 활성화된 발광 구역들 없이 단일 고정 조명기일 수 있다.

[0094] 일부 다른 실시예들에서, 광원, 유리하게는 시차 디스패리티에 걸쳐 부가적인 제어를 제공할 수 있는, 선택적으로 활성화된 발광 구역들을 포함할 수 있다. 따라서, 투사 시스템은 공간 및 시간 멀티플렉싱 둘 모두를 활용할 수 있다. 이제 도 15를 참조하면, 동공내 이미지들의 공간 및 시간 멀티플렉싱을 위해 구성된 투사 시스템(1003)의 예가 예시된다. 투사 시스템(1003)은, 선택적으로 활성화된 발광 구역들, 예컨대, 구역들(1026a 및 1026b)을 포함할 수 있는 광원(1026)을 포함할 수 있다. 본원에서 논의된 바와 같이, 발광 구역들 사이의 공간 변위는 교대로 출력된 광 빔들(1010a, 1010b, 1010c 및 1010d)에서 시차 디스패리티를 제공하는 데 활용될 수 있다. 또한, 도 14와 관하여 위에 논의된 바와 같이, 투사 시스템(1000)은 공간 광 변조기(1018)와 투사 광학기(1020) 사이에 광학 메커니즘(1019)을 포함할 수 있다. 공간 광 변조기(1018) 및 광학 메커니즘(1019)은 공간 멀티플렉싱을 제공하기 위해 함께 작동할 수 있다. 따라서, 단일 발광 구역에 의한 공간 광 변조기(1018)의 조명은 다수의 동공내 이미지들을 생성할 수 있다. 예컨대, 발광 구역(1026a)의 활성화는 2개의 동공내 이미지들에 대한 이미지 정보를 동시에 생성하는 공간 광 변조기(1018)를 조명하고, 각각의 이미지에 대한 광 빔들은 광학 메커니즘(1019)에 의해 상이한 방향들로 지향된다. 광은 투사 광학기(1020)에 입사하고, 2개의 별개의 동공내 이미지들을 형성하기 위한 광 빔들(1010b 및 1010d)로서 출사된다. 유사하게, 발광 구역(1026b)의 후속 활성화는 2개의 다른 동공내 이미지들을 형성하기 위한 광 빔들(1010a 및 1010d)을 초래한다.

[0095] 도 14 및 도 15 둘 모두를 참조하면, 일부 실시예들에서, 도 11a-11b 및 13a-13b에 관하여 위에 논의된 바와 같이, 투사 광학기(1020)에 대한 공간 광 변조기(1018) 및 광학 메커니즘(1019)의 위치들은, 광학 무한대 미만일 수 있는 원하는 디폴트 "홈" 깊이 평면을 제공하도록 선택될 수 있다.

[0096] 본원의 다양한 도면들에 도시된 투사 시스템(1003)은, 디폴트로서 비-무한 깊이 평면 상에 객체를 배치하는 단일 유한 초점-길이 접안렌즈를 활용하면서, 다른 깊이 평면들 상에 가상 객체들을 배치하기 위해 시차-구동 원근조절을 사용하는 하이브리드 시스템의 부분일 수 있다. 예컨대, 투사 시스템(1003)은, 원근조절-이접운동 미스매치들에 대한 인간 시각 시스템의 허용오차 내에 들어가도록 광학 무한대에 충분히 근접할 수 있는, 0.3 dpt 또는 0.5 dpt에서 디폴트 깊이 평면을 갖도록 구성될 수 있다. 예컨대, 이론에 의해 제한되지 않고서, 인간 시각 시스템이 0.3 dpt의 깊이 평면 상에 광학 무한대로부터의 콘텐츠를 디스플레이하는 것을 편안하게 용인(tolerate)할 수 있다고 여겨진다. 이러한 시스템들에서, 광 빔들(1010a 및 1010b)은 디폴트 깊이 평면에 대응하는 파면 발산량을 가질 것이다. 유리하게는, 이러한 구성들은 디스플레이 시스템의 프로세서들(예컨대, 그래픽 프로세싱 유닛들) 상의 계산적인 부하를 감소시킬 수 있으며, 이는, 다른 이점들 중에서도, 전력 소비를 낮추고, 레이턴시를 감소시키고, 프로세서 옵션들을 증가시키는 이점들을 제공할 수 있다.

[0097] 이제 도 16을 참조하면, 세계의 사용자의 뷰 상에 이미지 콘텐츠를 중첩시키기 위한 동공 중계 결합기 접안렌즈(1030)를 포함하는 투사 시스템(1003)의 예가 예시된다. 바람직하게는, 접안렌즈(1030)는 광학적으로 투과성이어서, 세계로부터의 광이 접안렌즈를 통해 뷰어의 눈(210)으로 전파할 수 있게 한다. 일부 실시예들에서, 접안렌즈(1030)는 인커플링 광학 엘리먼트들(770) 및 아웃커플링 광학 엘리먼트들(800)을 갖는 하나 이상의 도파관들을 포함한다. 인커플링 광학 엘리먼트(770)는 투사 광학기(1020)로부터 광을 수신하고, 그 광이 접안렌즈(1030)를 통해 내부 전반사에 의해 아웃 커플링 광학 엘리먼트(800)로 전파되도록 그 광을 방향전환(redirect)한다. 아웃커플링 광학 엘리먼트(800)는 뷰어의 눈(210)으로 광을 출력한다. 유리하게는, 접안렌즈(1030)는 투사 시스템(1003)에 의해 제공되는 이미지 특성들 모두를 보존하고, 따라서 신속하게 스위칭하는 시차 뷰들은 접안렌즈(1030)를 통해 정확하게 묘사된다.

[0098] 인커플링 광학 엘리먼트(770) 및 아웃커플링 광학 엘리먼트(800)는 굴절 또는 반사 구조물일 수 있다. 바람직하게는, 인커플링 광학 엘리먼트(770) 및 아웃커플링 광학 엘리먼트(800)는 회절 광학 엘리먼트들이다. 회절 광학 엘리먼트들의 예들은 표면 릴리프 피처들(surface relief features), 볼륨-페이즈 피처들(volume-phase features), 메타-물질들(meta-materials) 또는 액정 편광 격자들(liquid-crystal polarization gratings)을 포함한다.

[0099] 아웃커플링 광학 엘리먼트들(800) 또는 접안렌즈(1030)의 부분을 형성하는 다른 광학 엘리먼트들이 광 출력을 갖도록 구성될 수 있음이 인지될 것이다. 일부 실시예들에서, 광 출력은 근시, 원시, 노안, 난시와 같은 굴절 에러들을 포함하는, 눈(210)의 굴절 에러들을 정정하도록 선택될 수 있다.

[0100] 이제 도 17을 참조하면, 동공 확장기(1034)를 갖는 결합기 접안렌즈(1030) 및 눈 추적 시스템(1022)을 포함하는 투사 시스템(1003)의 예가 예시된다. 동공 확장기는 접안렌즈(1030)에 걸쳐 투사 시스템 동공을 복제한다. 동공 확장기(1034)가 눈 모션을 통해 뷰어의 동공에 의해 횡단될 수 있는 넓은 영역에 걸쳐 투사 시스템 동공을 복제하기 때문에, 공간 광 변조기(1018)에 의해 형성된 이미지들 및 광원(1026)의 발광 구역들의 위치들은 눈 추적 시스템(1022)으로부터의 입력에 기반하여 실시간으로 업데이트될 수 있다. 유리하게는, 이러한 구성은 더 편안한 뷰잉을 위해 더 큰 아이박스, 눈-결합기의 상대적인 포지셔닝에 대한 제약들의 완화 및 동공간 거리(inter-pupillary distance)의 변동들을 가능하게 한다.

[0101] 이제 도 18을 참조하면, 비-무한 깊이 평면을 생성하도록 구성된 동공 확장기(1035)를 갖는 결합기 접안렌즈(1030) 및 눈 추적 시스템(1022)을 포함하는 투사 시스템(1003)의 예가 예시된다. 일부 실시예들에서, 비-무한 깊이 평면은 3 미터에 있을 수 있으며, 이것은 ~ 2.5 미터 내지 무한대까지의 예산 내에서의 원근조절을 제공한다. 예컨대, 원근조절-이접운동 미스매치들에 대한 인간 시각 시스템의 허용오차가 주어지면, 뷰어로부터 ~ 2.5 미터 내지 무한대까지의 거리에서의 가상 콘텐츠는 3 미터 깊이 평면 상에 거의 불편없이 배치될 수 있다. 이러한 시스템에서, 시차적으로 이질적인 동공내 이미지들은 고정된 "디폴트 초점 평면보다 뷰어에 가능한 더 가까운, 더 좁은 범위의 깊이 평면들 모두에 대한 원근조절을 드라이빙하는 데 사용될 수 있다. 일부 실시예들에서, 이 시스템은 또한, 예컨대, 뷰어의 양쪽 눈들의 이접운동 각도에 기반하여, 뷰어의 고정(fixation) 거리를 결정하기 위해 눈 추적 시스템(1022)을 통합할 수 있다.

[0102] 일부 실시예들에서, 광원(1026)은 광 투사 시스템의 이미지 평면 상에 형성된 가상 광원으로 대체될 수 있다. 광 투사 시스템은, 광 빔이 가상 광원에 대응하는 이미지 평면 상의 영역을 가로질러 스캔하게 할 수 있는 작동기를 포함할 수 있다. 광원(1026)의 별개의 발광 영역들을 활성화하는 능력을 모방하기 위해, 투사 시스템에 의한 광의 출력은, 광이 특정 시간들에서 이미지 평면 상의 원하는 위치들로 출력되게 하기 위해, 작동기의 움직임과 동기화된다. 바람직하게는, 작동기가 이미지 평면을 가로질러 광 빔을 스캔할 수 있는 레이트는, 임의의 정해진 동공내 이미지가 디스플레이되는 시간 프레임 동안, 이미지 평면 상의 모든 원하는 광 출력 위치들이 액세스될 수 있도록 충분히 높다. 예컨대, 특정 동공내 이미지가 디스플레이되는 일정량의 시간 동안, 작동기는, 가상 2D 광원에 대응하는 이미지 평면의 영역을 가로질러, 적어도 한번, 그리고 바람직하게는 복수회 광 빔을 스캔할 수 있는 것이 바람직하다.

[0103] 도 19는 상이한 광 출력 위치들로의 광의 전파를 지향시키기 위한 미러들을 포함하는 광원(2026)을 예시한다. 광원(2026)은, 작동기들(2031 및 2033)에 의해 각각 이동되는 발광기(2028) 및 미러들(2030 및 2032)을 포함한다. 발광기들(2028)의 예들은 LED들 및 레이저들을 포함한다. 일부 실시예들에서, 광 파이버 케이블은 원격으로 위치된 발광기로부터 광을 전송할 수 있다. 예시된 바와 같이, 광(1010a', 1010b')은 발광기(2028)에서 미러(2032)로 전파하며, 미러(2032)는 미러(2030)에 광을 반사하고, 이어서 미러(2030)는 중간 이미지 평면(1026')에 초점을 맞추기 위해 렌즈(2034)를 통해 전파되도록 광을 반사한다. 미러들(2030 및 2032)은 이중-축 검류계의 부분일 수 있으며, 작동기들(2031 및 2033)은 상이한 축들, 예컨대, 직교 축들을 따라 미러들을 회전시키고, 이로써 광이 이미지 평면(1026’)의 2개의 축들을 따라 규정된 영역으로 지향될 수 있게 한다. 일부 실시예들에서, 작동기들(2031, 2033)은 모터들일 수 있다. 렌즈(2034)는 F-세타(F-θ 또는 F-tan θ) 렌즈와 같은 선형 전송 렌즈일 수 있고, 평평한 이미지 평면(1026’) 상에 광의 초점을 맞추도록 구성될 수 있다. 일부 실시예들에서, 광선들(1010a ', 1010b')은, 광이 광원(1026)(예컨대, 도 9 참조)으로부터 전파하는 것과 유사한 방식으로 이미지 평면(1026')으로부터 떨어져 전파된다. 일부 실시예들에서, 광원(2026)은 또한, 광이 미러(2032)에 도달하기 전에, 발광기(2028)에 의해 방출된 광을 시준하기 위한 시준 렌즈(2036)를 포함할 수 있다.

[0104] 광원(2026)은 바람직하게는 또한, 발광기(2028)로부터의 광의 출력과 형성될 동공내 이미지 및 작동기들(2031, 2033)의 움직임들을 제어하고 이들을 동기화하는 프로세싱 모듈(2038)을 포함하거나 이와 통신한다. 예컨대, 프로세싱 모듈(2038)은 발광기(2028)로부터의 광의 방출과 미러들(2032, 2030)의 움직임들을 조정할 수 있다. 일부 실시예들에서, 미러들(2032, 2030)은, 미러가 이동하도록 설계된 축 상의 작동기들(2031, 2033)에 의해 앞뒤로 연속적으로 회전되거나 선회된다. 발광기(2028)에 의한 광(예컨대, 광의 펄스)의 방출은, 광이 시간상의 정해진 순간에 중간 이미지 평면(1026') 상의 원하는 위치로 지향되도록 이러한 움직임과 타이밍되며, 이 위치 및 시간은 또한 디스플레이될 동공내 이미지에 기반하여 결정된다(예컨대, 특정 광 출력 위치의 활성화는 그 특정 광 출력 위치와 연관된 시차 디스패리티를 갖는 동공내 이미지의 디스플레이와 시간상에서 일치한다). 일부 실시예들에서, 발광기(2028)로부터의 광의 방출은 발광기(2028)를 온 상태와 오프 상태 사이에서 스위칭함으로써(예컨대, 발광기에 각각 전력을 공급하거나 공급하지 않음으로써) 제어된다. 일부 다른 실시예들에서, 발광기(2028)로부터의 광의 방출은, 광이 이미지 평면(1026')에 도달하는 것을 선택적으로 허용하거나 차단하는 물리적 스위치를 사용하여, 기계적으로 제어될 수 있다.

[0105] 이제 도 20을 참조하면, 광원(2026)은 파이버 스캐너(2027)를 포함할 수 있다. 파이버 스캐너(2027)는 파이버(2042)가 이동하게 하는 작동기(2040) 및 발광기(2028)를 포함할 수 있다. 광(1010a', 1010b')은 렌즈(2034)를 통해 파이버(2042)의 단부로부터 전파되고, 이미지 평면(2026')에 초점을 맞춘다. 작동기(2040)가 파이버(2042)로 하여금 미리 정의된 경로(예컨대, 원형 경로)를 따라 알려진 속도로 이동하게 할 수 있음이 인지될 것이다. 결과적으로, 프로세싱 모듈(2038)은, 광이 원하는 광 출력 위치에서 파이버(2042)로부터 전파되도록, 파이버(2042)의 단부로부터의 광의 전파와 파이버(2042)의 움직임을 동기화하도록 구성될 수 있으며, 이는 디스플레이될 동공내 이미지와 동기화된다.

[0106] 위에 언급된 바와 같이, 광원(2026)은 논의된 디스플레이 시스템들 중 임의의 것에서 광원(1026)을 대체할 수 있다. 예컨대, 광원(2026)은 도 9, 11a, 12, 13a 및 15-18 중 임의의 디스플레이 시스템(1001) 또는 투사 시스템(1003) 내의 광원(1026)을 대신할 수 있다.

[0107] 이제 도 21을 참조하면, 상이한 컴포넌트 컬러들에 대응하는 상이한 파장들의 광을 출력하기 위한 스택된 도파관 조립체를 포함하는 접안렌즈(660)(도 14-16의 접안렌즈(1030)에 대응할 수 있음)의 예가 예시된다. 일부 실시예들에서, 도파관 어셈블리는 도파관들(670, 680, 및 690)을 포함한다. 각각의 도파관은, (도파관 상의 광 입력 영역으로서 또한 지칭될 수 있는) 연관된 인-커플링 광학 엘리먼트를 포함하며, 예컨대, 인-커플링 광학 엘리먼트(700)는 도파관(670)의 주 표면(예컨대, 상위 주 표면) 상에 배치되고, 인-커플링 광학 엘리먼트(710)는 도파관(680)의 주 표면(예컨대, 상위 주 표면) 상에 배치되며, 인-커플링 광학 엘리먼트(720)는 도파관(690)의 주 표면(예컨대, 상위 주 표면) 상에 배치된다. 일부 실시예들에서, 인-커플링 광학 엘리먼트들(700, 710, 720) 중 하나 이상은 각각의 도파관(670, 680, 690)의 최하부 주 표면 상에 배치될 수 있다(특히, 여기서 하나 이상의 인-커플링 광학 엘리먼트들은 반사성 편향 광학 엘리먼트들임). 예시된 바와 같이, 인-커플링 광학 엘리먼트들(700, 710, 720)은 그의 각각의 도파관(670, 680, 690)의 상위 주 표면(또는 다음 하위 도파관의 최상부) 상에 배치될 수 있으며, 특히, 여기서 이러한 인-커플링 광학 엘리먼트들은 투과성 편향 광학 엘리먼트들이다. 일부 실시예들에서, 인-커플링 광학 엘리먼트들(700, 710, 720)은 각각의 도파관(670, 680, 690)의 본체에 배치될 수 있다. 일부 실시예들에서, 본원에서 논의된 바와 같이, 인-커플링 광학 엘리먼트들(700, 710, 720)은 파장 선택적이어서, 이들은 하나 이상의 광 파장들을 선택적으로 재지향시키면서 다른 광 파장들을 투과시킨다. 그의 각각의 도파관(670, 680, 690)의 한 측 또는 코너 상에서 예시되지만, 인-커플링 광학 엘리먼트들(700, 710, 720)은 일부 실시예들에서, 그의 각각의 도파관(670, 680, 690)의 다른 영역들에 배치될 수 있다는 것이 인지될 것이다.

[0108] 예시된 바와 같이, 인-커플링 광학 엘리먼트들(700, 710, 720)은 서로 측방향으로 오프셋될 수 있다. 일부 실시예들에서, 각각의 인-커플링 광학 엘리먼트는, 광이 다른 인-커플링 광학 엘리먼트를 통과하지 않고 자신이 그 광을 수신하도록 오프셋될 수 있다. 예컨대, 각각의 인-커플링 광학 엘리먼트(700, 710, 720)는 도 6에 도시된 바와 같이 상이한 이미지 주입 디바이스(360, 370, 380, 390, 400)로부터 광을 수신하도록 구성될 수 있고, 다른 인-커플링 광학 엘리먼트들(700, 710, 720)로부터 분리(예컨대, 측방향으로 이격)될 수 있어서, 그것은 인-커플링 광학 엘리먼트들(700, 710, 720) 중 다른 것들로부터의 광을 실질적으로 수신하지 않는다. 일부 실시예들에서, 인-커플링 광학 엘리먼트들(700, 710, 720)은 수직으로 정렬되고, 측방향으로 오프셋되지 않는다.

[0109] 각각의 도파관은 또한 연관된 광 분배 엘리먼트들을 포함하며, 예컨대, 광 분배 엘리먼트들(730)은 도파관(670)의 주 표면(예컨대, 최상부 주 표면) 상에 배치되고, 광 분배 엘리먼트들(740)은 도파관(680)의 주 표면(예컨대, 최상부 주 표면) 상에 배치되며, 광 분배 엘리먼트들(750)은 도파관(690)의 주 표면(예컨대, 최상부 주 표면) 상에 배치된다. 일부 다른 실시예들에서, 광 분배 엘리먼트들(730, 740, 750)은 연관된 도파관들(670, 680, 690)의 최하부 주 표면 상에 각각 배치될 수 있다. 일부 다른 실시예들에서, 광 분배 엘리먼트들(730, 740, 750)은 연관된 도파관들(670, 680, 690)의 최상부 및 최하부 주 표면 둘 모두 상에 각각 배치될 수 있거나; 또는 광 분배 엘리먼트들(730, 740, 750)은 상이한 연관된 도파관들(670, 680, 690)의 최상부 및 최하부 주 표면들 중 상이한 것들 상에 각각 배치될 수 있다.

[0110] 도파관들(670, 680, 690)은, 예컨대, 기체, 액체 및/또는 고체 재료 층들에 의해 이격되고 분리될 수 있다. 예컨대, 예시된 바와 같이, 층(760a)은 도파관들(670, 680)을 분리할 수 있고; 층(760b)은 도파관(680 및 690)을 분리할 수 있다. 일부 실시예들에서, 층들(760a 및 760b)은 저 굴절률 재료들(즉, 도파관들(670, 680, 690) 중 바로 인접한 하나를 형성하는 재료보다 낮은 굴절률을 갖는 재료들)로 형성된다. 바람직하게는, 층들(760a, 760b)을 형성하는 재료의 굴절률은 도파관들(670, 680, 690)을 형성하는 재료의 굴절률보다 0.05 이상 또는 0.10 이하이다. 유리하게는, 더 낮은 굴절률 층들(760a, 760b)은 도파관들(670, 680, 690)을 통한 광의 TIR(예컨대, 각각의 도파관의 최상부 및 최하부 주 표면들 사이의 TIR)를 용이하게 하는 클래딩 층으로서 기능할 수 있다. 일부 실시예들에서, 층들(760a, 760b)은 공기로 형성된다. 예시되지는 않았지만, 예시된 도파관들의 세트(660)의 최상부 및 최하부는 바로 이웃한 클래딩 층들을 포함할 수 있다는 것이 인지될 것이다.

[0111] 도 21을 계속 참조하면, 광선들(770, 780, 790)은 투사 시스템(1003)(도 9 및 11-16)에 의해 도파관들(670, 680, 690) 상에 입사되어 주입된다.

[0112] 일부 실시예들에서, 광선들(770, 780, 790)은 상이한 성질들, 예컨대, 상이한 파장들 또는 상이한 파장들의 범위들을 가지며, 이는 상이한 컬러들에 대응할 수 있다. 인-커플링 광학 엘리먼트들(700, 710, 720)은 각각, 입사 광이 TIR에 의해 도파관들(670, 680, 690) 중 각각의 하나를 통해 전파되도록 광을 편향시킨다.

[0113] 예컨대, 인-커플링 광학 엘리먼트(700)는, 제1 파장 또는 다양한 파장들을 갖는 광선(770)을 편향시키도록 구성될 수 있다. 유사하게, 투과된 광선(780)은 제2 파장 또는 파장들의 범위의 광을 편향시키도록 구성된 인-커플링 광학 엘리먼트(710)에 충돌하고 그에 의해 편향된다. 마찬가지로, 광선(790)은 제3 파장 또는 파장들의 범위의 광을 선택적으로 편향시키도록 구성된 인-커플링 광학 엘리먼트(720)에 의해 편향된다.

[0114] 도 21을 계속 참조하면, 인-커플링된 광선들(770, 780, 790)은 인-커플링 광학 엘리먼트들(700, 710, 720)에 의해 각각 편향되고, 그 후 도파관들(670, 680, 690) 내에서 TIR에 의해 각각 전파된다. 그 후, 광선들(770, 780, 790)은 광 분배 엘리먼트들(730, 740, 750)에 각각 충돌한다. 광 분배 엘리먼트들(730, 740, 750)은, 광선들(770, 780, 790)이 아웃-커플링 광학 엘리먼트(800, 810, 820)를 향해 각각 전파되도록 이들을 편향시킨다.

[0115] 일부 실시예들에서, 광 분배 엘리먼트들(730, 740, 750)는 OPE(orthogonal pupil expander)들이다. 일부 실시예들에서, OPE들 둘 모두는 아웃-커플링 광학 엘리먼트들(800, 810, 820)로 광을 편향시키거나 분배하고, 광이 아웃-커플링 광학 엘리먼트들로 전파될 때 이 광 빔 또는 스폿 크기를 또한 증가시킨다. 예컨대, 빔 크기가 이미 원하는 크기인 일부 실시예들에서, 광 분배 엘리먼트들(730, 740, 750)은 생략될 수 있고, 인-커플링 광학 엘리먼트들(700, 710, 720)은 아웃-커플링 광학 엘리먼트들(800, 810, 820)에 광을 직접 편향시키도록 구성될 수 있다. 일부 실시예들에서, 아웃-커플링 광학 엘리먼트들(800, 810, 820)은 뷰어의 눈(210)(도 15-16)에 광을 지향시키는 EP(exit pupil)들 또는 EPE(exit pupil expander)들이다. OPE들은 적어도 하나의 축에서 아이 박스(eye box)의 치수들을 증가시키도록 구성될 수 있고, EPE들은 OPE들의 축과 교차하는, 예컨대, 직교하는 축에서 아이 박스를 증가시키는 것일 수 있다는 것이 인지될 것이다.

[0116] 따라서, 일부 실시예들에서, 접안렌즈(660)는 각각의 컴포넌트 컬러에 대해 도파관들(670, 680, 690); 인-커플링 광학 엘리먼트들(700, 710, 720); 광 분배 엘리먼트(예컨대, OPE들)(730, 740, 750); 및 아웃-커플링 광학 엘리먼트들(예컨대, EP들)(800, 810, 820)을 포함한다. 도파관들(670, 680, 690)은 각각의 도파관 사이에 에어 갭/클래딩 층을 갖도록 스택될 수 있다. 인-커플링 광학 엘리먼트들(700, 710, 720)은 (상이한 인-커플링 광학 엘리먼트들이 상이한 파장들의 광을 수신함에 따라) 입사 광을 자신의 도파관으로 재지향 또는 편향시킨다. 이어서, 광은 각각의 도파관(670, 680, 690) 내에서 TIR을 초래할 각도로 전파된다. 도시된 예에서, 광선(770)(예컨대, 청색 광)은 제1 인-커플링 광학 엘리먼트(700)에 의해 편향되고, 그 후 도파관을 따라 계속 바운싱(bounce)하여, 앞서 설명된 방식으로, 광 분배 엘리먼트(예컨대, OPE들)(730) 및 그 후 아웃-커플링 광학 엘리먼트(예컨대, EP들)(800)와 상호작용한다. 광선들(780 및 790)(예컨대, 각각 녹색 및 적색 광)은 도파관(670)을 통과할 것이고, 광선(780)은 인-커플링 광학 엘리먼트(710)에 충돌하고 그에 의해 편향된다. 이어서, 광선(780)은 TIR을 통해 도파관(680)을 따라 바운싱되어, 자신의 광 분배 엘리먼트(예컨대, OPE들)(740)로 그리고 그 후 아웃-커플링 광학 엘리먼트(예컨대, EP들)(810)로 진행된다. 마지막으로, 광선(790)(예컨대, 적색 광)은 도파관(690)을 통과하여 도파관(690)의 광 인-커플링 광학 엘리먼트들(720)에 충돌한다. 광 인-커플링 광학 엘리먼트들(720)은, 광선(790)이 TIR에 의해 광 분배 엘리먼트(예컨대, OPE들)(750)로, 그리고 그 후 TIR에 의해 아웃-커플링 광학 엘리먼트(예컨대, EP들)(820)로 전파되도록 그 광선을 편향시킨다. 이어서, 아웃-커플링 광학 엘리먼트(820)는 최종적으로 광선(790)을 뷰어에 아웃-커플링하며, 이 뷰어는 또한 다른 도파관들(670, 680)로부터 아웃-커플링된 광을 수신한다.

[0117] 이제 도 22를 참조하면, 웨어러블 디스플레이 시스템(60)의 예가 예시된다. 디스플레이 시스템(60)은, 뷰어 또는 사용자(90)의 각각의 눈에 대한 투사 시스템(1003)을 갖는, 도 9의 디스플레이 시스템(1001)에 대응할 수 있다.

[0118] 디스플레이 시스템(60)은 디스플레이(70), 및 그 디스플레이(70)의 기능을 지원하기 위한 다양한 기계적 및 전자적 모듈들 및 시스템들을 포함한다. 디스플레이(70)는, 디스플레이 시스템 사용자 또는 뷰어(90)에 의해 착용 가능하고 그리고 사용자(90)의 눈들의 전면에 디스플레이(70)를 포지셔닝하도록 구성된 프레임(80)에 커플링될 수 있다. 디스플레이(70)는 일부 실시예들에서, 아이웨어(eyewear)로 간주될 수 있다. 일부 실시예들에서, 스피커(100)는 프레임(80)에 커플링되고 사용자(90)의 외이도에 인접하게 포지셔닝되도록 구성된다(일부 실시예들에서, 도시되지 않은 다른 스피커가 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/성형 가능한(shapeable) 사운드 제어를 제공함). 일부 실시예들에서, 디스플레이 시스템은 또한 하나 이상의 마이크로폰들(110) 또는 사운드를 검출하기 위한 다른 디바이스들을 포함할 수 있다. 일부 실시예들에서, 마이크로폰은 사용자가 시스템(60)에 입력들 또는 커맨드들(예컨대, 음성 메뉴 커맨드들의 선택, 자연어 질문 등)을 제공하도록 허용하게 구성되고, 그리고/또는 다른 사람들(예컨대, 유사한 디스플레이 시스템들의 다른 사용자들)과의 오디오 통신을 허용할 수 있다. 마이크로폰은 또한, 오디오 데이터(예컨대, 사용자 및/또는 환경으로부터의 사운드들)를 수집하기 위한 주변 센서로서 구성될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 또한, 프레임(80)과 별개이고 사용자(90)의 신체(예컨대, 사용자(90)의 머리, 몸통, 사지(extremity) 등)에 부착될 수 있는 주변 센서(120a)를 포함할 수 있다. 주변 센서(120a)는, 일부 실시예들에서, 사용자(90)의 생리학적 상태를 특징화하는 데이터를 취득하도록 구성될 수 있다. 예컨대, 센서(120a)는 전극일 수 있다.

[0119] 도 22를 계속 참조하면, 디스플레이(70)는, 다양한 구성들로 장착될 수 있는, 예컨대, 프레임(80)에 고정되게 부착되거나, 사용자에 의해 착용된 헬멧 또는 모자에 고정되게 부착되거나, 헤드폰들에 내장되거나, 그렇지 않으면 사용자(90)에게 제거 가능하게 부착되는(예컨대, 백팩(backpack)-스타일 구성으로, 벨트-커플링 스타일 구성으로) 로컬 데이터 프로세싱 모듈(140)에 통신 링크(130)에 의해, 예컨대, 유선 리드 또는 무선 연결성에 의해, 동작 가능하게 커플링된다. 유사하게, 센서(120a)는 통신 링크(120b), 예컨대, 유선 리드 또는 무선 연결성에 의해 로컬 프로세서 및 데이터 모듈(140)에 동작 가능하게 커플링될 수 있다. 로컬 프로세싱 및 데이터 모듈(140)은 하드웨어 프로세서뿐 아니라, 디지털 메모리 예컨대, 비-휘발성 메모리(예컨대, 플래시 메모리 또는 하드 디스크 드라이브들)를 포함할 수 있고, 이 둘 모두는 데이터의 프로세싱, 캐싱(caching) 및 저장을 보조하기 위해 활용될 수 있다. 데이터는 a) 센서들(예컨대 프레임(80)에 동작 가능하게 커플링되거나 그렇지 않으면 사용자(90)에게 부착될 수 있음), 예컨대, 이미지 캡처 디바이스들(예컨대, 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스(compass)들, GPS 유닛들, 라디오 디바이스들, 자이로(gyro)들 및/또는 본원에서 개시된 다른 센서들로부터 캡처되고; 및/또는 b) 원격 프로세싱 모듈(150) 및/또는 원격 데이터 저장소(repository)(160)(가상 콘텐츠에 관련된 데이터를 포함함)를 사용하여 취득 및/또는 프로세싱되는(가능하게는, 이러한 프로세싱 또는 리트리벌(retrieval) 후 디스플레이(70)에 전달하기 위한) 데이터를 포함할 수 있다. 로컬 프로세싱 및 데이터 모듈(140)은 통신 링크들(170, 180)에 의해, 예컨대, 유선 또는 무선 통신 링크들을 통하여, 원격 프로세싱 모듈(150) 및 원격 데이터 저장소(160)에 동작 가능하게 커플링될 수 있어서, 이들 원격 모듈들(150, 160)은 서로 동작 가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(140)에 대한 자원들로서 이용 가능하다. 일부 실시예들에서, 로컬 프로세싱 및 데이터 모듈(140)은 이미지 캡처 디바이스들, 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스들, GPS 유닛들, 라디오 디바이스들 및/또는 자이로들 중 하나 이상을 포함할 수 있다. 일부 다른 실시예들에서, 이들 센서들 중 하나 이상은 프레임(80)에 부착될 수 있거나, 또는 유선 또는 무선 통신 통로들에 의해 로컬 프로세싱 및 데이터 모듈(140)과 통신하는 자립형 구조들일 수 있다. 일부 실시예들에서, 로컬 프로세싱 및 데이터 모듈(140)은 하나 이상의 그래픽 프로세서들을 포함할 수 있고, 제어 시스템(1024)(도 9)에 대응할 수 있다.

[0120] 도 22를 계속 참조하면, 일부 실시예들에서, 원격 프로세싱 모듈(150)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 이상의 프로세서들을 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소(160)는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용 가능할 수 있는 디지털 데이터 저장 설비를 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소(160)는 정보, 예컨대, 증강 현실 콘텐츠를 생성하기 위한 정보를 로컬 프로세싱 및 데이터 모듈(140) 및/또는 원격 프로세싱 모듈(150)에 제공하는 하나 이상의 원격 서버들을 포함할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션들은 로컬 프로세싱 및 데이터 모듈에서 수행되어, 원격 모듈로부터 완전히 자율적인 사용을 허용한다.

예들-광 필드 및 초점 스택 인수분해(Focal Stack Factorization)

[0121] 광 필드 및 초점 스택 인수분해는, 광원(1026, 2026) 및 공간 광 변조기(1018)의 출력들을 포함하는, 디스플레이 시스템(1001)의 광 출력을 결정하는 데 활용될 수 있다. 인수분해에 관한 세부사항들이 아래에 설명된다.

1. 초점 스택 인수분해

[0122] 초점 스택(y)은, 동공 및 이미지 평면에 각각 위치된 2개의 공간 광 변조기들(A 및 B) 상에 디스플레이될 일련의 시간-멀티플렉싱된 패턴들로 인수분해된다. 일부 실시예들에서, 공간 광 변조기들(A 및 B)은 광원(1026, 2026) 및 공간 광 변조기(1018)에 각각 대응할 수 있다. 모든 수량들은 벡터화되어, m개의 픽셀들의 수직 해상도, n개의 픽셀들의 수평 해상도, 및 s개의 초점 슬라이스들을 갖는 초점 스택(

)이 단일 벡터(

)로 표현될 것이다. 볼드체의 심볼들은 아래에 이산 벡터들에 대해 사용된다. 달리 지정하지 않는다면, 상이한 컬러 채널들이 무시되고 독립적인 것으로 가정된다. 표 1은 여기에 사용된 텐서 통지(tensor notification) 및 연산자들의 개요를 제공한다.

[0123] 이미지 평면(B)의 공간 광 변조기는 또한 m × n 픽셀들의 해상도를 갖지만, 또한 k개의 시간-멀티플렉싱된 패턴들은, 그들이 뷰어에 의해 지각적으로 평균화되도록 연달아(in quick succession) 보여질 수 있다. 이러한 시공간 패턴은 모든 공간 픽셀이 벡터화되어 이 행렬의 행 인덱스를 형성하고 k개의 시간 스텝들이 행렬의 열 인덱스가 되도록 행렬(

)로 표현된다. 마찬가지로, 동공-평면(SLM A)은 행렬(

)로 표현될 것이고, 여기서 o는 동공 평면에서 어드레싱 가능한 SLM 픽셀들의 총수이고, 열 인덱스들은 다시 시간 스텝들이다.

[0124] 따라서, 초점 스택(y)을 시간-멀티플렉싱된 패턴들의 세트로 인수분해하는 것의 목표는 비-콘벡스 최적화 문제로서 쓰여질 수 있다.

(1)

여기서 투사 연산자(

)는 (시프트+합산 알고리즘 사용하여) 4D 광 필드에서 3D 초점 스택으로의 선형 변환을 수행한다. 이 문제는 디콘볼루션(deconvolution) 문제에 임베딩된 비네거티브 행렬 인수분해이다. (Boyd 등에 의해 2001년 "Distributed optimization and statistical learning via the alternating direction method of multipliers" Foundations and Trends in Machine Learning 3, 1, 1-122에 설명한 바와 같이) ADMM(alternating direction methods of multipliers)은 이를 해결하는 데 사용될 수 있다.

[0125] 수학식 1을 표준 ADMM 형태로 바꾸기 위해, 이는 동등한 문제로 다시 쓰여질 수 있다.

(2)

행렬(

)은 (예컨대, 매사추세츠, 나티크 소재의 MathWorks에서 입수 가능한 소프트웨어 MATLAB에 의해 수행되는 열-방향 순서(column-major order)를 사용하여) 행렬 형태의 연산자(P)이고, 연산자(υec)는 행렬을 단일 1D 벡터로 간단히 벡터화한다.

[0126] 이어서, 이 시스템의 증강 라그랑주(Augmented Lagrangian)는 다음과 같이 공식화된다.

(3)

스케일링된 형태에서, 이 증강 라그랑주는 다음과 같이 쓰여진다.

(4)

여기서

이다.

[0127] 이어서, ADMM 알고리즘은 다음과 같이 반복적으로 실행되는 3개의 별개의 업데이트들(또는 근위 연산자들(proximal operators))로 구성된다.

(5)

(6)

(7)

여기서, 연산자(

)는 벡터를 행렬로 재형성하고, 연산자(υec)가 행렬을 벡터화하기 위해 수행하는 것을 취소한다. 수학식들 5-7은 매번 이전 단계의 최신 출력을 사용하여 반복적으로 해결될 수 있다.

1.1 효율적인 z- 업데이트

[0128] 수학식 5는 단일 선형 수학식 시스템으로 다시 쓰여질 수 있는 제약되지 않는 선형 문제이다.

(8)

이 시스템은 대규모이지만, 모든 연산들은 행렬이 없는 함수 핸들로 표현될 수 있어서, 행렬이 결코 명시적으로 형성되지 않는다. Z에 대해 이 시스템을 풀기 위해 다양한 상이한 문제풀이(solver)가 사용될 수 있다. 예컨대, MATLAB의 매우 간단한 SART(simultaneous algebraic reconstruction technique)이 활용될 수 있다.

[0129] 계산 효율을 증가시키기 위해, z 업데이트를 위한 폐쇄형 해결책을 유도하는 것이 바람직할 것이다. 이것은 전체 알고리즘의 실시간 구현을 가능하게 할 수 있다. 폐쇄형 해결책을 유도하는 하나의 접근법은 수학식 8에 대한 정규 수학식들로 시작된다.

(9)

이를 위한 폐쇄형 해결책을 찾기 위해,

의 역행렬이 유도된다. P가 광 필드를 초점 스택으로 변환하고, 기본 도메인의 재초점이 푸리에 도메인의 슬라이싱임을 푸리에 슬라이스 정리(Fourier Slice Theorem)가 나타내기 때문에, 주파수 도메인의 폐쇄형 해결책이 유도될 수 있다. 이 통찰력을 사용하여, 이는 다음과 같이 쓰여질 수 있다.

(10)

여기서, s는 초점 스택 내의 슬라이스들의 수이고,

는 4D 주파수 도메인에서 초점 슬라이스(i)에 대한 슬라이싱 연산자를 나타내는 대각선 행렬이다.

및

은 이산 4D 푸리에 변환 및 그 역변환을 각각 나타낸다.

[0130] 역행렬에 대한 예상된 대수 표현식은 다음과 같다.

(11)

어떠한 반복들도 요구되지 않기 때문에, 이러한 폐쇄형 해결책이 반복 알고리즘보다 더 신속하게 해결책을 제공할 수 있음이 인지될 것이다. 그럼에도 불구하고, 충분한 계산적 자원들이 이용 가능하면, 반복 알고리즘이 또한 적합하다.

1.2 효율적인 A, B- 업데이트

[0131] A, B-업데이트(수학식 6)는 NMF(nonnegative matrix factorization) 문제이다. 이 경우에, 이는 가능한 가장 용이한 NMF 문제이다. 이것 및 더 진보된 NMF 접근법들에 대한 표준 해결책들은 아래 서브-섹션 2에 상세된다.

1.3 컬러 채널의 처리

[0132] 위의 유도식들에서, 그레이스케일 인수분해가 가정되었거나, 각각의 컬러 채널이 독립적으로 취급될 수 있다고 가정되었다. 일부 경우들에, 이것은 만족스러운 근사치를 제공할 수 없는데, 예컨대, 2개의 컬러 SLM들은 위에 모델링되지 않은 컬러 크로스토크를 도입할 수 있다. 또한, 일부 실시예들에서, 디스플레이 시스템은 이미지 평면에서 그레이스케일 LCoS 및 동공 평면에서 컬러 LED 또는 OLED 어레이의 조합을 사용할 수 있다. 이 경우, 모든 컬러 채널들이 링크된다.

[0133] 링크된 컬러 채널들을 고려하여, 이들에 대한 z-업데이트 또는 u-업데이트 변화도 ADMM 반복마다 컬러 채널마다 독립적으로 계산될 수 없다. 그러나, 행렬 인수분해 루틴 A, B-업데이트는 변한다. 각각의 컬러 채널(

)을 독립적으로 인수분해하는 대신에, A의 모든 컬러 채널들에 대해 단일 인수분해가 다음과 같이 동시에 수행된다(B는 이 경우 컬러 채널들을 포함하지 않다).

(12)

2 매트릭스 인수분해 변형들

[0134] 비네커티브 행렬 인수분해는, 행렬을 비네거티브 순위-1 행렬들의 합으로 분해하는 하나의 접근법이다. 분해(decomposition) 문제는 콘벡스가 아니고, 따라서 해결책들은 간단하지 않다. 문제 및 가능한 해결책들이 이제 논의될 것이다.

[0135] 문제는 행렬(X)을 순위-1 행렬들의 합으로 분해하는 문제로서 서술될 수 있다.

(13)

여기서

이다. 순위-1 행렬들의 합은 오리지널 행렬의 순위-K 근사치를 초래한다.

[0136] 문제에 대한 최소 제곱 에러 해결책은 다음 목적 함수(objective function)를 최적화함으로써 밝혀질 수 있다.

(14)

여기서 행렬의 프로베니우스 노옴(Frobenius norm)은

로 주어진다.

2.1 교대 최소 제곱 접근법

[0137] 비용 함수(

)는, 다수의 로컬 최소치들에서, 비선형적이고 비-콘벡스이다. A 또는 B 중 어느 하나를 고정할 때, 다른 행렬에 대해 문제를 푸는 것은 콘벡스이다. 비네거티브 제약들(nonnegativity constraints)을 고려하지 않고서, 인수분해 문제를 풀기 위해, 수렴할 것으로 예상되는 교대 최소 제곱 접근법이 사용될 수 있다. 이러한 목적으로, 각각의 인수분해 행렬은 다른 것을 교대로 고정하면서 업데이트된다. 개별 업데이트들은 그래디언트 하강 방법(gradient descent method)을 사용하여 계산된다.

(15)

여기서

는 개별 인수분해 행렬들,

그들 개개의 스텝 길이들에 관련하여 비용 함수의 도함수들(derivatives)이다. 다음 서브섹션에 도시된 바와 같이, 스텝 길이를 선택하는 하나의 접근법은, 업데이트 규칙들이 곱셈이 되도록 그들을 선택하는 것이다. 스텝 길이들을 논의하기 전에, 그래디언트들이 고려되고, 다음과 같이 주어질 수 있다.

(16)

행렬 형태에서, 그래디언트들은 다음과 같이 쓰여질 수 있다.

(17)

2.2 곱셈 업데이트 규칙들

[0138] 위에 언급된 바와 같이, 스텝 길이를 선택하기 위한 핵심은, 이들과 가장 가파른 하강 방향을 결합함으로써, 합산 업데이트 규칙들(수학식 15)이 순전히 곱셈 방식으로 쓰여질 수 있다는 것이다.

이고 A, B가 포지티브 값들로 초기화되는 조건들 하에서, 곱셈 업데이트 규칙들은, 반복 업데이트 프로세스 전반에서 인수분해 행렬들이 포지티브를 유지하는 것을 제공한다. 다음 스텝 길이들은 곱셈 업데이트 규칙들을 발생시킨다.

(18)

수학식들 15, 17, 18을 결합하는 것은 다음을 산출한다.

(19)

다음의 곱셈 업데이트 규칙들은 수학식 19의 단순화된 버전들이다.

(20)

포지티브 값들(일반적으로 랜덤 노이즈)만을 포함하는 초기 추측에서 시작하고, 데이터 행렬(X)이 비네거티브라고 가정하면, 이러한 업데이트 규칙들은 반복 프로세스 전반에서 A 및 B를 포지티브로 유지할 것으로 예상된다. 실제로, 0으로 나누는 것을 피하기 위해, 작은 값이 제수(divisor)에 합산된다.

2.3 가중된 비네거티브 행렬 인수분해

(21)

곱셈 업데이트 규칙들은 각각의 행렬 엘리먼트(x_ij)에 대한 가중치들을 포함하도록 수정될 수 있다.

(22)

여기서 W는 X와 동일한 크기의 가중치 행렬이다.

2.4 투사된 NMF

투사된 NMF는, 최적화 절차 전반에서 고정으로 유지되는 목적 함수에 부가적인 투사 행렬(P)을 합산한다.

(23)

여기서, A 및 B는 그들의 차원들에서 이전의 종속들(subjections)에 대해 변하지 않게 되지만,

는

에 걸친 공간에 있다. 이 수학식에 대한 그래디언트들은 다음과 같다.

(24)

이는 다음과 같이 행렬 형태로 쓰여질 수 있다.

(25)

스텝 길이

(26)

를 선택하는 것은 다음의 곱셈 업데이트 규칙들 유도한다.

(27)

2.5 투사된 가중된 NMF

[0139] 투사된 NMF에 대해, 다음의 업데이트 규칙들을 산출하는 광 필드에 가중치들이 합산될 수 있다.

(28)

[0140] 본원에 설명되고 그리고/또는 도면들에 묘사된 프로세스들, 방법들 및 알고리즘들 각각이 하나 이상의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 주문형 회로 및/또는 특정 그리고 특별 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고, 그리고 이 코드 모듈들에 의해 완전히 또는 부분적으로 자동화될 수 있다는 것이 인지될 것이다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들) 또는 특수 목적 컴퓨터들, 특수 목적 회로 등을 포함할 수 있다. 코드 모듈은 실행가능 프로그램으로 컴파일링되고 링크되거나, 동적 링크 라이브러리에 설치될 수 있거나, 또는 인터프리팅(interpret)된 프로그래밍 언어로 작성될 수 있다. 일부 실시예들에서, 특정 동작들 및 방법들은 주어진 기능에 특정한 회로에 의해 수행될 수 있다.

[0141] 추가로, 본 개시내용의 기능성의 소정의 실시예들은 충분히 수학적으로, 계산상으로 또는 기술적으로 복잡하여, (적절한 전문화된 실행 가능한 명령들을 활용하는) 주문형 하드웨어 또는 하나 이상의 물리적 컴퓨팅 디바이스들은 예컨대, 수반되는 계산들의 양(volume) 또는 복잡성으로 인해 또는 실질적으로 실시간으로 결과들을 제공하기 위해 그 기능성들을 수행할 필요가 있을 수 있다. 예컨대, 비디오는 많은 프레임들(각각의 프레임은 수백만개의 픽셀들을 가짐)을 포함할 수 있고, 그리고 상업적으로 합리적인 시간 양에서 원하는 이미지 프로세싱 태스크 또는 애플리케이션을 제공하기 위해 특별하게 프로그래밍된 컴퓨터 하드웨어가 비디오 데이터를 프로세싱할 필요가 있다.

[0142] 코드 모듈들 또는 임의의 타입의 데이터는 임의의 타입의 비일시적 컴퓨터-판독가능 매체, 이를테면 하드 드라이브들, 고체 상태 메모리, RAM(random access memory), ROM(read only memory), 광학 디스크, 휘발성 또는 비휘발성 저장부, 이들의 조합들 등을 포함하는 물리적 컴퓨터 저장부 상에 저장될 수 있다. 일부 실시예들에서, 비-일시적 컴퓨터 판독 가능 매체는 로컬 프로세싱 및 데이터 모듈(140), 원격 프로세싱 모듈(150) 및 원격 데이터 저장소(160) 중 하나 이상의 부분일 수 있다. 방법들 및 모듈들(또는 데이터)은 또한, 생성된 데이터 신호들로서(예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 일부로서) 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독 가능 송신 매체들 상에서 송신될 수 있고, (예컨대, 단일 또는 멀티플렉싱된 아날로그 신호의 일부로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 임의의 유형의 비-일시적인 유형의(tangible) 컴퓨터 저장소에 지속적으로 또는 다른 방식으로 저장될 수 있거나, 또는 컴퓨터-판독 가능 송신 매체를 통해 통신될 수 있다.

[0143] 본원에서 설명되고 그리고/또는 첨부된 도면들에 도시되는 흐름도들에서의 임의의 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 프로세스의 단계들 또는 (예컨대, 논리적 또는 산술적) 특정 기능들을 구현하기 위한 하나 이상의 실행 가능 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드 부분들을 잠재적으로 나타내는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 본원에서 제공된 예시적인 예들에서 조합되거나, 재배열되거나, 이들에 부가되거나, 이들로부터 제거되거나, 수정되거나, 또는 다른 방식으로 변할 수 있다. 일부 실시예들에서, 부가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에서 설명된 기능성들 중 일부 또는 전부를 수행할 수 있다. 본원에 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않고, 그에 관련된 블록들, 단계들 또는 상태들은 적절한 다른 시퀀스들로, 예컨대, 직렬로, 병렬로 또는 일부 다른 방식으로 수행될 수 있다. 태스크들 또는 이벤트들은 개시된 예시적인 실시예들에 부가되거나 그로부터 제거될 수 있다. 또한, 본원에서 설명된 실시예들에서의 다양한 시스템 컴포넌트들의 분리는 예시 목적들을 위한 것이며, 모든 실시예들에서 이러한 분리를 요구하는 것으로 이해되어서는 안 된다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들은 일반적으로 단일 컴퓨터 제품에 함께 통합되거나 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다.

[0144] 위의 명세서에서, 본 발명은 본 발명의 특정 실시예들을 참조하여 설명되었다. 그러나, 본 발명의 더 넓은 사상 및 범위를 벗어나지 않으면서 다양한 수정들 및 변경들이 본 발명에 행해질 수 있다는 것은 명백할 것이다. 따라서, 명세서 및 도면들은 제한적인 의미보다는 예시적인 의미로 간주될 것이다.

[0145] 실제로, 본 개시내용의 시스템들 및 방법들 각각은 여러 개의 혁신적인 양상들을 가지며, 그 양상들 중 어떠한 단일 양상도 본원에서 개시된 바람직한 속성들을 단독으로 담당하지 않거나, 이 속성들을 위해 요구되진 않는다는 것이 인지될 것이다. 위에서 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나, 또는 다양한 방식들로 조합될 수 있다. 모든 가능한 조합들 및 서브조합들은 본 개시내용의 범위 내에 속하는 것으로 의도된다.

[0146] 별개의 실시예들의 맥락에서 본 명세서에 설명된 소정의 특징들은 또한, 단일 실시예의 결합으로 구현될 수 있다. 대조적으로, 단일 실시예의 맥락에서 설명된 다양한 특징들은 또한, 별개로 다수의 실시예들로 또는 임의의 적절한 서브조합으로 구현될 수 있다. 또한, 특징들이 소정의 결합들에서 동작하는 것으로 위에서 설명되고 심지어 초기에는 그와 같이 청구될 수도 있지만, 청구된 결합으로부터의 하나 이상의 특징들은 일부 경우들에서, 그 결합으로부터 삭제될 수 있으며, 청구된 결합은 서브조합 또는 서브조합의 변동으로 안내될 수 있다. 단일 특징 또는 특징들의 그룹이 각각의 그리고 모든 각각의 실시예에 필요하거나 필수적인 것은 아니다.

[0147] 특정하게 다르게 언급되지 않거나, 사용된 맥락 내에서 다르게 이해되지 않으면, 본원에 사용된 조건어, 이를테면 특히, "할 수 있다(can, could, might, may)", "예컨대" 등은, 일반적으로 특정 실시예들이 특정 특징들, 엘리먼트들 또는 단계들을 포함하지만, 다른 실시예들이 이들을 포함하지 않는 것을 전달하기 위해 의도된다는 것이 인지될 것이다. 따라서, 그러한 조건어는 일반적으로, 특징들, 엘리먼트들, 및/또는 단계들이 하나 이상의 실시예들을 위해 어떤 식으로든 요구된다는 것을, 또는 하나 이상의 실시예들이, 저자 입력 또는 프롬프팅(prompting)을 이용하거나 또는 그러한 것을 이용함이 없이, 이들 특징들, 엘리먼트들, 및/또는 단계들이 임의의 특정 실시예에 포함되는지 또는 임의의 특정 실시예들에서 수행되어야 하는지를 판단하기 위한 로직을 반드시 포함한다는 것을 암시하도록 의도되진 않는다. "포함하는(comprising, including), "갖는(having)" 등의 용어들은 동의어이며, 오픈-엔디드(open-ended) 방식으로 포괄적으로 사용되며, 부가적인 엘리먼트들, 특징들, 행동들, 동작들 등을 배제하지 않는다. 또한, "또는"이라는 용어는 (그의 배타적인 의미가 아니라) 그의 포괄적인 의미로 사용되어서, 예컨대, 리스트의 엘리먼트들을 연결하기 위해 사용될 때, "또는"이라는 용어는 리스트 내의 엘리먼트들 중 하나, 일부, 또는 전부를 의미한다. 또한, 본 명세서 및 첨부된 청구항들에서 사용된 바와 같은 단수 표현은 달리 특정되지 않는 한 "하나 이상" 또는 "적어도 하나"를 의미하는 것으로 해석될 것이다. 유사하게, 동작들이 특정한 순서로 도면들에 도시될 수 있지만, 원하는 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정한 순서 또는 순차적인 순서로 수행될 필요가 없거나, 모든 예시된 동작들이 수행될 필요가 없다는 것이 인지될 것이다. 추가로, 도면들은 흐름도의 형태로 하나 이상의 예시적인 프로세스들을 개략적으로 도시할 수 있다. 그러나, 도시되지 않은 다른 동작들이, 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예컨대, 하나 이상의 부가적인 동작들은, 예시된 동작들 중 임의의 동작 이전, 이후, 그와 동시에, 또는 그 사이에서 수행될 수 있다. 부가적으로, 동작들은 다른 실시예들에서 재배열되거나 재순서화될 수 있다. 소정의 환경들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 또한, 위에서 설명된 실시예들에서의 다양한 시스템 컴포넌트들의 분리는 모든 실시예들에서 그러한 분리를 요구하는 것으로서 이해되지는 않아야 하며, 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로, 단일 소프트웨어 제품에 함께 통합되거나 다수의 소프트웨어 제품들에 패키징될 수 있음 이해되어야 한다. 부가적으로, 다른 실시예들은 다음의 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에서 열거된 액션들은, 상이한 순서로 수행될 수 있으며, 그럼에도 불구하고 원하는 결과들을 달성할 수 있다.

[0148] 따라서, 청구항들은 본 명세서에 도시된 실시예들로 제한되도록 의도되는 것이 아니라, 본 명세서에 개시된 본 개시내용, 원리들 및 신규한 특성들과 일치하는 가장 넓은 범위에 부합할 것이다.

Claims (44)

1. 머리-장착 디스플레이 시스템으로서,
   뷰어 상에 장착하도록 구성된 프레임;
   광원;
   상기 광원으로부터의 광을 변조하도록 구성된 공간 광 변조기(spatial light modulator); 및
   상기 프레임 상에 장착되고, 광을 상기 공간 광 변조기로부터 뷰어의 눈으로 지향시키도록 구성된 투사 광학기(projection optics)를 포함하고,
   상기 디스플레이 시스템은, 가상 객체의 시차적으로 이질적인 동공내 이미지들(parallactically-disparate intra-pupil images)의 세트를 상기 눈으로 주입함으로써 상기 객체를 깊이 평면 상에 디스플레이하도록 구성되는,
   머리-장착 디스플레이 시스템.
2. 제1 항에 있어서,
   상기 디스플레이 시스템은 개별적인 동공내 이미지들의 디스플레이를 시간적으로 멀티플렉싱하도록 구성되는,
   머리-장착 디스플레이 시스템.
3. 제1 항에 있어서,
   상기 디스플레이 시스템은 상기 동공내 이미지들의 디스플레이를 공간적으로 멀티플렉싱하도록 구성되는,
   머리-장착 디스플레이 시스템.
4. 제1 항에 있어서,
   상기 디스플레이 시스템은 복수의 공간적으로 멀티플렉싱된 동공내 이미지들의 디스플레이를 시간적으로 멀티플렉싱하도록 구성되는,
   머리-장착 디스플레이 시스템.
5. 제1 항에 있어서,
   상기 투사 광학기는 인커플링(incoupling) 광학 엘리먼트들 및 아웃커플링(outcoupling) 광학 엘리먼트들을 포함하는 도파관을 포함하는,
   머리-장착 디스플레이 시스템.
6. 제5 항에 있어서,
   상기 투사 광학기는 복수의 도파관들을 포함하고, 각각의 도파관은 상기 복수의 도파관들 중 다른 도파관들과 상이한 컴포넌트 컬러의 광을 출력하도록 구성되는,
   머리-장착 디스플레이 시스템.
7. 제1 항에 있어서,
   상기 광원은 복수의 선택적으로 활성화되는 발광 구역들을 포함하는,
   머리-장착 디스플레이 시스템.
8. 제7 항에 있어서,
   상기 광원은 발광 다이오드 어레이 및 공간 광 변조기 중 적어도 하나를 포함하는,
   머리-장착 디스플레이 시스템.
9. 제8 항에 있어서,
   상기 발광 다이오드 어레이는 유기 발광 다이오드 어레이 또는 무기 발광 다이오드 어레이를 포함하는,
   머리-장착 디스플레이 시스템.
10. 제8 항에 있어서,
    상기 광원의 공간 광 변조기는 액정 어레이 또는 DLP(digital light processing) 칩을 포함하는,
    머리-장착 디스플레이 시스템.
11. 제7 항에 있어서,
    상기 디스플레이 시스템은, 상기 동공내 이미지들 중 적어도 하나의 상기 눈으로의 주입 동안, 활성화된 발광 구역들의 포지션을 변경하도록 구성되는,
    머리-장착 디스플레이 시스템.
12. 제1 항에 있어서,
    상기 광원은:
    발광기; 및
    광을 상이한 경로들을 따라 상기 공간 광 변조기로 지향시키도록 구성된 작동기(actuator)를 포함하는,
    머리-장착 디스플레이 시스템.
13. 제12 항에 있어서,
    상기 작동기는 이중-축 검류계(dual-axis galvanometer)인,
    머리-장착 디스플레이 시스템.
14. 제12 항에 있어서,
    상기 광원은 파이버 스캐너(fiber scanner)를 포함하는,
    머리-장착 디스플레이 시스템.
15. 제1 항에 있어서,
    상기 광원으로부터의 광을 변조하도록 구성된 상기 공간 광 변조기는 LCOS 패널을 포함하는,
    머리-장착 디스플레이 시스템.
16. 제1 항에 있어서,
    상기 디스플레이 시스템은 상기 눈의 시선(gaze)을 추적하도록 구성된 눈 추적 센서를 더 포함하고, 상기 디스플레이 시스템은,
    상기 눈 추적 센서를 사용하여 상기 눈의 시선을 결정하고, 그리고
    상기 결정된 눈의 시선에 기반하여 상기 동공내 이미지들에 대한 콘텐츠를 선택하도록 구성되는,
    머리-장착 디스플레이 시스템.
17. 제1 항에 있어서,
    상기 디스플레이 시스템은 상기 광원의 광 출력 위치와 상기 공간 광 변조기에 의해 제공된 이미지 콘텐츠를 동기화하도록 구성되는,
    머리-장착 디스플레이 시스템.
18. 제1 항에 있어서,
    상기 디스플레이 시스템은 상기 공간 광 변조기와 상기 투사 광학기 간에 광학 메커니즘을 더 포함하고,
    상기 광학 메커니즘은 광을 상이한 각도들로 상기 공간 광 변조기의 상이한 위치들로부터 투사 광학기로 지향시키도록 구성되는,
    머리-장착 디스플레이 시스템.
19. 제18 항에 있어서,
    상기 광학 메커니즘은 프리즘 또는 렌즈 구조물 중 하나 이상을 포함하는,
    머리-장착 디스플레이 시스템.
20. 제19 항에 있어서,
    상기 렌즈 구조물은 렌즈릿 어레이(lenslet array)인,
    머리-장착 디스플레이 시스템.
21. 공간 광 변조기를 제공하는 단계;
    광을 복수의 상이한 광 출력 위치들로부터 상기 공간 광 변조기로 출력하도록 구성된 광원을 제공하는 단계; 및
    가상 객체의 시차적으로 이질적인 동공내 이미지들의 세트를 뷰어의 눈으로 시간적으로 순차적으로 주입함으로써 상기 가상 객체를 깊이 평면 상에 디스플레이하는 단계를 포함하고,
    상기 동공내 이미지들 각각은:
    광을 상기 광원으로부터 상기 공간 광 변조기로 출력하고 ― 상기 광은 상기 광원의 하나 이상의 연관된 광 출력 위치들로부터 출력됨 ― ;
    상기 하나 이상의 연관된 광 출력 위치들에 대응하는 동공내 이미지를 형성하기 위해, 상기 공간 광 변조기로 상기 광을 변조하고; 그리고
    상기 변조된 광을 상기 눈으로 전파함으로써
    형성되고,
    각각의 동공내 이미지에 대한 상기 하나 이상의 연관된 광 출력 위치들은 상기 동공내 이미지들 중 다른 동공내 이미지들에 대한 상기 하나 이상의 연관된 광 출력 위치들과 별개인,
    이미지 콘텐츠를 디스플레이하기 위한 방법.
22. 제21 항에 있어서,
    상기 하나 이상의 연관된 발광 구역들을 활성화하는 단계는 상기 깊이 평면에 기반하여 상기 하나 이상의 연관된 발광 구역들을 선택하는 단계를 포함하고,
    상기 동공내 이미지들에 대한 발광 구역들 간의 물리적 분리(separation)는, 상기 뷰어까지의 상기 깊이 평면의 거리가 감소함에 따라 증가하는,
    이미지 콘텐츠를 디스플레이하기 위한 방법.
23. 제21 항에 있어서,
    상기 시차적으로 이질적인 이미지 각각을 형성하는 광선들이 시준되고(collimated), 상기 깊이 평면은 광학 무한대 미만인,
    이미지 콘텐츠를 디스플레이하기 위한 방법.
24. 제21 항에 있어서,
    상기 시차적으로 이질적인 동공내 이미지들의 세트를 주입하는 단계는 상기 뷰어의 플리커 융합 임계치(flicker fusion threshold) 미만의 타임프레임 내에서 수행되는,
    이미지 콘텐츠를 디스플레이하기 위한 방법.
25. 제24 항에 있어서,
    상기 플리커 융합 임계치는 1/60 초인,
    이미지 콘텐츠를 디스플레이하기 위한 방법.
26. 제21 항에 있어서,
    눈 추적 센서가 상기 눈의 시선을 추적하는 단계를 더 포함하고,
    상기 가상 객체를 디스플레이하는 단계는:
    상기 눈 추적 센서를 사용하여 상기 눈의 시선을 결정하는 단계; 및
    상기 결정된 눈의 시선에 기반하여 상기 동공내 이미지들에 대한 콘텐츠를 선택하는 단계를 포함하는,
    이미지 콘텐츠를 디스플레이하기 위한 방법.
27. 제21 항에 있어서,
    투사 광학기가 상기 공간 광 변조기로부터 변조된 광을 상기 눈으로 지향시키는 단계를 더 포함하는,
    이미지 콘텐츠를 디스플레이하기 위한 방법.
28. 제21 항에 있어서,
    상기 동공내 이미지들에 대한 상기 하나 이상의 연관된 발광 구역들은 부분적으로 중첩하는,
    이미지 콘텐츠를 디스플레이하기 위한 방법.
29. 제21 항에 있어서,
    상기 동공내 이미지들 중 적어도 하나의 상기 눈으로의 주입 동안, 상기 하나 이상의 연관된 발광 구역들의 포지션을 변경하는 단계를 더 포함하는,
    이미지 콘텐츠를 디스플레이하기 위한 방법.
30. 디스플레이 시스템으로서,
    복수의 공간적으로 별개의 광 출력 위치들을 포함하는 광원;
    상기 광원으로부터의 광을 변조하도록 구성된 공간 광 변조기;
    프레임 상에 장착되고, 광을 상기 공간 광 변조기로부터 뷰어의 눈으로 지향시키도록 구성된 투사 광학기를 포함하고,
    상기 디스플레이 시스템은, 가상 객체의 시차적으로 이질적인 동공내 이미지들의 세트를 상기 눈으로 시간적으로 순차적으로 주입함으로써 상기 객체를 깊이 평면 상에 디스플레이하도록 구성되는,
    디스플레이 시스템.
31. 제30 항에 있어서,
    상이한 동공내 이미지들에 대한 상기 광원의 상이한 광 출력 위치들로부터 광을 출력하도록 구성되는,
    디스플레이 시스템.
32. 제30 항에 있어서,
    상기 뷰어의 눈으로부터 상기 깊이 평면의 거리에 기반하여, 상기 광 출력 위치들 간의 측면 분리(lateral separation)를 변경하도록 구성되는,
    디스플레이 시스템.
33. 제30 항에 있어서,
    상기 뷰어의 눈으로부터 상기 깊이 평면의 거리가 증가함에 따라, 광 출력 위치들 간의 상기 측면 분리를 증가시키도록 구성되는,
    디스플레이 시스템.
34. 제30 항에 있어서,
    상기 디스플레이 시스템은, 상기 동공내 이미지들 중 적어도 하나의 상기 눈으로의 주입 동안, 상기 광 출력 위치들을 변경하도록 구성되는,
    디스플레이 시스템.
35. 머리-장착 디스플레이를 제공하는 단계;
    가상 객체의 시차적으로 이질적인 동공내 이미지들의 세트를, 플리커 융합 임계치 내에서, 상기 디스플레이로부터 뷰어의 눈으로 주입함으로써 상기 가상 객체를 깊이 평면 상에 디스플레이하는 단계를 포함하는,
    이미지 콘텐츠를 디스플레이하기 위한 방법.
36. 제35 항에 있어서,
    상기 동공내 이미지들의 시차 디스패리티(parallax disparity)를 변경함으로써, 상기 가상 객체가 배치된 깊이 평면을 변경하는 단계를 더 포함하는,
    이미지 콘텐츠를 디스플레이하기 위한 방법.
37. 제35 항에 있어서,
    상기 시차적으로 이질적인 동공내 이미지들의 세트를 주입하는 단계는 상기 동공내 이미지들의 개별적인 동공내 이미지들을 뷰어의 눈으로 시간적으로 순차적으로 주입하는 단계를 포함하는,
    이미지 콘텐츠를 디스플레이하기 위한 방법.
38. 제35 항에 있어서,
    상기 시차적으로 이질적인 동공내 이미지들의 세트를 주입하는 단계는 상기 동공내 이미지들 중 다수의 동공내 이미지들을 동시에 주입하는 단계를 포함하는,
    이미지 콘텐츠를 디스플레이하기 위한 방법.
39. 제38 항에 있어서,
    상기 시차적으로 이질적인 동공내 이미지들의 세트를 주입하는 단계는 다수의 동공내 이미지들을 한번에 시간적으로 순차적으로 주입하는 단계를 포함하는,
    이미지 콘텐츠를 디스플레이하기 위한 방법.
40. 제35 항에 있어서,
    상기 동공내 이미지들을 형성하는 광 빔들이 시준되는,
    이미지 콘텐츠를 디스플레이하기 위한 방법.
41. 제35 항에 있어서,
    상기 동공내 이미지들을 형성하는 광 빔들은 발산 파면들(divergent wavefronts)을 갖는,
    이미지 콘텐츠를 디스플레이하기 위한 방법.
42. 제35 항에 있어서,
    상기 디스플레이는:
    상기 동공내 이미지들을 형성하기 위해 광을 변조하도록 구성된 공간 광 변조기; 및
    광을 상기 공간 광 변조기로 지향시키도록 구성된 광원을 포함하는,
    이미지 콘텐츠를 디스플레이하기 위한 방법.
43. 제42 항에 있어서,
    상기 광원은 복수의 선택적으로 활성화되는 발광 구역들을 포함하고,
    상기 시차적으로 이질적인 동공내 이미지들의 세트를 주입하는 단계는 각각의 동공내 이미지에 대한 상이한 발광 구역을 활성화하는 단계를 포함하는,
    이미지 콘텐츠를 디스플레이하기 위한 방법.
44. 제42 항에 있어서,
    상기 광원은 복수의 별개의 광 출력 위치들로부터 광을 출력하도록 구성되고,
    상기 방법은 상기 동공내 이미지들 중 적어도 하나의 상기 눈으로의 주입 동안, 상기 광 출력 위치들을 지터링(jitter)하는 단계를 더 포함하는,
    이미지 콘텐츠를 디스플레이하기 위한 방법.

Images