KR20180038584A

KR20180038584A - 상호 가림 및 불투명도 제어 능력을 가진 광학적 투시 헤드-장착형 디스플레이를 위한 장치

Info

Publication number: KR20180038584A
Application number: KR1020187009715A
Authority: KR
Inventors: 춘유 가오; 유시앙 린; 홍 후아
Original assignee: 매직 립, 인코포레이티드
Priority date: 2012-04-05
Filing date: 2013-04-05
Publication date: 2018-04-16
Also published as: JP6176747B2; CA2869781C; US11656452B2; KR20190112218A; EP2834699A2; IL300033B2; KR102129330B1; KR20180038583A; JP6434076B2; IL275662B; EP3796071A1; IL284204A; US10048501B2; NZ725339A; NZ700898A; WO2014011266A2; US20230244074A1; EP4339690A2; EP3608717A1; US20190107722A1

Abstract

본 발명은 투시 이미지 경로의 불투명도가 변조될 수 있고 가상 이미지가 투시 이미지의 일부를 가리고 또한 상기 투시 뷰가 상기 가상 뷰의 일부를 가릴 수도 있도록, 투시 이미지 경로를 가상 이미지 경로와 결합할 수 있는 컴팩트한 광학적 투시 헤드-장착형 디스플레이(compact optical see-through head-mounted display)를 포함한다.

Description

상호 가림 및 불투명도 제어 능력을 가진 광학적 투시 헤드-장착형 디스플레이를 위한 장치{APPARATUS FOR OPTICAL SEE-THROUGH HEAD MOUNTED DISPALY WITH MUTUAL OCCLUSION AND OPAQUENESS CONTROL CAPABILITY}

[0001] 본원은 2012년 4월 5일에 출원된 미국 가출원 번호 제61/620,574호 및 2012년 4월 5일에 출원된 미국 가출원 번호 제61/620,581호에 대한 우선권을 주장하며, 이 문헌들의 개시내용은 그 전체가 본 명세서에 참조로서 포함된다.

[0002] 본 발명은 미국 육군에 의해 수여된 SBIR 계약 번호 W91CRB-12-C-0002 하에서 부분적으로 이루어졌다. 미국 정부는 본 발명에 대한 소정의 권리들을 갖는다.

[0003] 본 발명은 일반적으로 헤드-장착형 디스플레이들에 관한 것이며, 보다 구체적으로, 그러나 배타적인 것은 아닌, 실제의 객체들이 전방에 위치한 컴퓨터에 의해 구현되는 가상 객체들에 의해서 가려질 수 있거나 이와 반대로 될 수 있는, 불투명도 제어 및 상호 가림 능력(mutual occlusion capability)을 갖는 광학적 투시 헤드-장착형 디스플레이들에 관한 것이다.

[0004] 수십년 동안에, 증강 현실(AR) 기술은 의료 및 군사 트레이닝, 엔지니어링 설계 및 프로토타이핑, 원격조작(tele-manipulation)과 텔레프레즌스(tele-presence), 및 개인용 엔터테인먼트 시스템들과 같은 수 많은 애플리케이션들에 적용되어왔다. 투시 헤드-장착형 디스플레이(See-through Head-Mounted DISPLAY: ST-HMD)들은 가상 뷰(virtual view)들을 물리적 장면(physical scene)과 합치기 위한 증강된 현실 시스템의 기술들을 가능하게 하는 것이다. 2개의 타입, 즉 광학적 타입과 비디오 타입의 ST-HMD들이 존재한다(J. Rolland and H. Fuchs, "Optical versus video See-through head mounted Displays," In Fundamentals of Wearable Computers and Augmented Reality, pp.113-157, 2001.). 비디오 투시 방식의 주된 단점들로는 투시 뷰의 이미지 품질의 저하, 입력 비디오 스트림의 프로세싱으로 인한 이미지 래그(image lag), 하드웨어/소프트웨어 오동작으로 인한 투시 뷰의 잠재적 손실을 포함할 수 있다. 이와는 대조적으로, 광학적 투시 HMD(OST-HMT)는 빔스플리터를 통하여 현실 세계의 직접적인 뷰를 제공함으로써 현실 세계의 뷰에 최소한의 영향을 준다. 이는 라이브 환경에 대한 사용자 인식이 중요한 애플리케이션들의 요구에 있어서 매우 바람직하다.

[0005] 그러나, 광학적 투시 HMD들 개발하는 것은 복잡한 기술적 과제들에 직면하게 된다. 이러한 중요한 문제들 중 하나는 OST-HMD에서 가상 뷰들이 가림 능력(occlusion capability) 부족으로 인해 현실 세계에서는 떠있는 "고스트처럼(ghost-like)" 보인다는 것이다. 도 1은 통상적인 OST-HMD을 통해 보여지는 증강된 뷰(도 1a)와 가림 가능한 OST-HMD(OCOST-HMD) 시스템을 통해 보여지는 증강된 뷰(도 1b)의 비교 예시를 도시한 것이다. 이 도면에서는, 가상의 자동차 모델이 실제의 객체를 나타내는 솔리드 플랫폼(solid platform) 상에 중첩된다. 도 1a에 도시된 바와 같이 적절한 가림 관리가 없다면, 통상적인 AR 뷰에서, 자동차는 플랫폼과 믹싱되며(mixed) 자동차와 플랫폼의 깊이 관계를 구별하기 어렵다. 이와는 대조적으로, 도 1b에 도시된 바와 같이, 적절한 가림 관리에 의해서, 자동차는 플랫폼의 일부를 블록킹하고 자동차가 플랫폼의 상단에 안착된 것이 명확하게 식별될 수 있다. AR 디스플레이에 가림 능력을 부가하는 것은 가상 객체들을 실제 환경에 현실감 있게 합치는 것을 가능하게 한다. 이러한 가림에 의해서 가능해지는 능력은 AR 디스플레이 기술에 혁신적인 영향을 줄 수 있으며 수많은 증강 현실 기반 애플리케이션들에서 매우 가치가 있다.

[0006] OCOST-HMD 시스템은 통상적으로 2개의 주요한 하위-시스템들을 포함한다. 제 1 하위-시스템은 마이크로디스플레이 상에 디스플레이되는 확대된 이미지를 사용자가 볼 수 있게 하는 접안렌즈 광학체(eyepiece optics)이며, 제 2 하위-시스템은 현실 세계의 외부 장면으로부터의 광을 수집하고 변조하는 릴레이 광학체(relay optics)로서, 이는 뷰어들에 제공될 때 외부 장면에 대한 불투명도 및 가림 제어를 가능하게 한다. 실제로 휴대가능하고 경량인 OCOST-HMD 시스템을 만드는데 있어서의 핵심 과제들은 3개의 주요한 이슈들, 즉 (1) 시스템에 상당한 중량과 체적을 부가하지 않으면서 2개의 하위시스템들들의 통합을 가능하게는 광학적 설계(optical scheme), (2) 외부 장면의 좌표 시스템의 패리티(parity)를 유지하는 적합한 광학적 방법, (3) HMD 개발자들에게 언제나 꿈이 되어 왔던 엘레겐트한(elegant) 폼 팩터(form factor)로 이러한 광학적 하위시스템들의 설계를 가능하게 하는 광학적 설계 방법을 처리하는 것에 있다. 몇몇 가림 가능한 광학적 ST-HMD 개념들이 개발되었다(미국 특허, 7,639,208 B1, Kiyokawa, K., Kurata, Y., and Ohno, H., "An Optical See-through Display for Mutual Occlusion with a Real-time Stereo Vision System," Elsevier Computer & Graphics, Special Issue on "Mixed Realities - Beyond Conventions," Vol.25, No.5, pp.2765-779, 2001. K. Kiyokawa, M. Billinghurst, b. Campbell, e. Woods, "An Occlusion-Capable Optical See-through Head Mount Display for Supporting Co-located Collaboration." ISMAR 2003, pp. 133-141). 예를 들어, Kiyokawa 등은 통상적인 렌즈들, 프리즘들 및 미러들을 사용하는 ELMO 시리즈 가림 디스플레이(occlusion dispaly)들을 개발하였다. 사용되는 요소들의 수로 인해서 뿐만 아니라, 보다 중요하게는 광학적 시스템들의 회전적으로 대칭성인 성질로 인해서, 기존의 가림-가능한 OST-HMD들은 헬멧형의 부피가 나가는 폼 팩터를 갖는다. 이들은 무거운 중량 및 복잡한 설계로 인하여 오직 실험실 환경에서만 사용되어 왔다. 이러한 크고 무거운 헬멧형의 폼 팩터는 수많은 수요가 있는 현재 출현하고 있는 애플리케이션들을 위한 기술을 받아들이지 못하게 하고 있다.

[0007] 본 발명은 불투명 제어 및 상호 가림 능력을 가진 광학적 투시 헤드-장착형 디스플레이(OST-HMD) 디바이스에 관한 것이다. 이 디스플레이 시스템은 통상적으로 디스플레이된 가상 이미지를 보여주기 위한 가상 뷰 경로(virtual view path) 및 현실 세계의 외부 장면을 보여주기 위한 투시 경로(see-through path)를 포함한다. 본 발명에서, 가상 뷰 경로는 가상 이미지 컨텐츠를 제공하기 위한 미니어처(miniature) 이미지 디스플레이 유닛 및 사용자가 확대된 가상 이미지를 볼 수 있게 하는 접안렌즈를 포함한다. 투시 경로는 외부 장면으로부터 광을 직접 캡처하여 적어도 하나의 중간 이미지를 형성하는 대물렌즈 광학체, 투시 경로 내의 중간 이미지 플레인에 또는 그 근처에 배치되어서 그 투시 경로의 불투명도를 제어 및 변조하는 공간적 광 변조기(SLM), 및 변조된 투시 뷰를 뷰어가 볼 수 있게 하는 접안렌즈 광학체를 포함한다. 투시 경로 내에서, 대물렌즈 광학체 및 접안렌즈는 함께 현실 세계로부터의 광을 뷰어의 눈에 전달하기 위한 릴레이 광학체로서 기능한다. 컴팩트한 폼 팩터를 달성하고 뷰포인트 오프셋을 줄이기 위해서, 투시 경로는 몇 개의 반사성 표면들을 통해서 2개의 층들, 즉 외부 장면으로부터 입사 광을 수용하는 전방 층(front layer) 및 전방 층에 의해서 캡처된 광을 뷰어의 눈에 커플링하는 후방 층(back layer)으로 폴딩(folding)된다. 빔스플리터에 의해서 투시 경로가 가상 이미지 경로와 합쳐지며, 이에 따라 디스플레이된 가상 컨텐츠 및 변조된 투시 이미지를 뷰잉하도록 동일한 접안렌즈가 두 경로들에 의해서 공유된다. 마이크로디스플레이 및 SLM은 빔스플리터를 통해 서로 광학적으로 컨쥬게이트되며(optically conjugate), 이것은 픽셀 레벨 가림 조작을 가능하게 한다. 본 발명에서, 접안렌즈, 대물렌즈 광학체, 또는 이 둘은 회전적으로 대칭인 렌즈들 또는 비-회전적으로(non-rotationally) 대칭인 프리폼(freeform) 광학체일 수 있다. 본 발명의 중요한 양상들 중 하나에서, 본 발명은, 컴팩트하고 경량인 OCOST-HMD 설계를 달성하기 위해, 접안렌즈 광학체, 대물렌즈 광학체, 또는 이 둘다에 프리폼 광학적 기술을 활용할 수 있다.

[0008] 광학적 경로들을 폴딩하기 위한 반사성 표면들은 평면형 미러들, 광학적 능력을 가진 구형의, 비구형의 또는 프리폼의 표면들일 수 있다. 본 발명의 다른 중요한 양상에서, 반사성 표면들 중 일부는 프리폼 광학 기술을 이용할 수 있다. 반사성 표면들 중 일부는 또한 접안렌즈 또는 대물렌즈 광학체의 일체형 부분이 되도록 전략적으로 설계될 수 있으며, 여기서 반사성 표면들은 컴팩트한 디스플레이 설계를 달성하기 위한 광학적 경로의 폴딩을 용이하게 할 뿐만 아니라 광학적 능력에 기여하며 광학적 수차를 보정하기도 한다. 예시적인 구성에서, 본 발명은 접안렌즈 또는 대물렌즈 광학체로서 1회-반사 또는 다회 반사 프리폼 프리즘을 사용할 수 있으며, 여기서 이 프리즘은 굴절성 표면들 그리고 광학적 경로를 폴딩하고 수차들을 보정하기 위한 하나 이상의 반사성 표면들을 포함하는 단일의 광학적 요소이다.

[0009] 본 발명의 다른 중요한 양상에서, 투시 경로 내의 대물렌즈 광학체는 적어도 하나의 액세스 가능한 중간 이미지를 형성하며, 이 이미지 근처에서 SLM이 배치되어서 불투명도 제어 및 투시 뷰 변조를 제공한다. 본 발명에서는, 반사-타입(reflection-type) SLM 또는 투과-타입(transmission-type) SLM이 가림 제어를 위해 투시 뷰를 변조하도록 사용될 수 있다. 대물렌즈 광학체에 있어서의 보다 긴 백 초점 거리(back focal distance)는, 투과-타입 SLM보다는 반사-타입 SLM에서 요구된다. 반사-타입 SLM은 투과-타입 SLM보다 높은 광 효율의 이점을 가질 수 있다.

[0010] 본 발명의 다른 중요한 양상에서, 투시 경로는 홀수 또는 짝수 개의 중간 이미지들을 형성할 수 있다. 홀수 개의 중간 이미지들의 경우에, 투시 경로에서 투시 뷰를 반전(invert) 및/또는 복구(revert)시키는 광학적 방법이 제공된다. 예를 들어, 투시 경로에 관여하는 반사 수에 따라, 가능한 방법들의 예들로는, 추가의 반사 또는 반사들을 삽입하는 것, 루프 미러 표면을 사용하는 것, 또는 직립 프리즘(erection prism) 또는 렌즈를 삽입하는 것을 포함하나, 이에 한정되지 않는다. 짝수 개의 중간 이미지들의 경우에는, 투시 뷰 내에 어떠한 패리티 변화도 없으면, 어떠한 이미지 직립 요소도 필요하지 않다. 예를 들어, 다회 반사 프리폼 프리즘 구조체(통상적으로 2 회보다 많이 반사)가 접안렌즈 또는 대물렌즈 광학체 또는 이 둘로서 사용될 수 있으며, 이것은 대물렌즈 및/또는 접안렌즈 프리즘 안쪽에서 투시 광학 경로를 다수 회 폴딩하는 것을 가능하게 하여서 이 프리즘 안쪽에 중간 이미지(들)를 형성하며, 이는 직립 루프 반사성 표면을 사용할 필요성을 제거한다. 직립 프리즘을 제거하는 것의 잠재적 이점은, 이러한 접근방식이 보다 컴팩트한 설계로 이어질 수 있다는 것이다.

[0011] 전술한 발명의 내용 및 본 발명의 예시적인 실시예들에 대한 다음의 상세한 설명은 첨부 도면들과 함께 독해될 때에 더 이해될 수 있다.
[0012] 도 1은 가림 능력이 없는 광학적 투시 HMD(도 1a) 및 가림 능력을 갖는 광학적 투시 HMD(도 1b)를 통해 보여진 AR 뷰들을 개략적으로 도시한 것이다.
[0013] 도 2는 모노큘러 광학적 모듈(monocular optical module)로서 나타낸 본 발명에 따른 예시적인 광학적 레이아웃을 개략적으로 도시한 것이다.
[0014] 도 3은 프리폼 광학적 기술을 기반으로 하는 본 발명에 따른 바람직한 실시예를 개략적으로 도시한 것이다. 이 실시예는 1회-반사 접안렌즈 프리즘, 1회-반사 대물렌즈 프리즘, 반사-타입 SLM 및 루프 반사성 표면을 포함한다.
[0015] 도 4는 프리폼 광학적 기술을 기반으로 하는 본 발명에 따른 다른 바람직한 실시예를 개략적으로 도시한 것이다. 이 실시예는 2회-반사 접안렌즈 프리즘, 2회-반사 대물렌즈 프리즘, 4회-반사 대물렌즈 프리즘 및 반사-타입 SLM을 포함한다.
[0016] 도 5는 프리폼 광학적 기술을 기반으로 하는 본 발명에 따른 다른 바람직한 실시예를 개략적으로 도시한 것이다. 이 실시예는 2회-반사 접안렌즈 프리즘, 1회-반사 대물렌즈 프리즘, 반사-타입 SLM 및 루프 반사성 표면을 포함한다.
[0017] 도 6은 프리폼 광학적 기술을 기반으로 하는 본 발명에 따른 다른 바람직한 실시예를 개략적으로 도시한 것이다. 이 실시예는 2회-반사 접안렌즈 프리즘, 3회-반사 대물렌즈 프리즘, 및 투과-타입 SLM을 포함한다.
[0018] 도 7은 프리폼 광학적 기술을 기반으로 하는 본 발명에 따른 다른 바람직한 실시예를 개략적으로 도시한 것이다. 이 실시예는 2회-반사 접안렌즈 프리즘, 2회-반사 대물렌즈 프리즘, 반사-타입 SLM 및 릴레이 렌즈를 포함한다.
[0019] 도 8은 도 3에서의 예시적인 레이아웃에 기초하는 본 발명에 따른 OCOST-HMD 시스템의 예시적인 설계를 개략적으로 도시한 것이다.
[0020] 도 9는 3mm 동공(pupil) 직경을 사용하여서 평가된 컷오프 주파수 40lps/mm(line pairs per millimeter:밀리미터당 라인 쌍들)에서 도 8에서의 설계의 가상 디스플레이 경로의 다색 변조 전달 함수(polychromatic modulation transfer function)들의 필드 맵 플롯을 도시한 것이다.
[0021] 도 10은 동일한 프리폼 구조를 가진 접안렌즈 광학체 및 대물렌즈 광학체를 갖는 도 3에서의 예시적인 레이아웃에 기초한 본 발명에 따른 OCOST-HMD 시스템의 예시적인 설계를 개략적으로 도시한 것이다.
[0022] 도 11은 3mm 동공 직경을 사용하여서 평가된 컷오프 주파수 40lps/mm(line pairs per millimeter)에서 도 10에서의 설계의 가상 디스플레이 경로의 다색 변조 전달 함수들의 필드 맵 플롯을 도시한 것이다.
[0023] 도 12는 본 발명의 실시예에 따른 이미지 처리 파이프라인의 일 예의 블록도를 도시한 것이다.
[0024] 도 13은 표 1: 접안렌즈 프리즘의 표면 1의 광학적 표면 규정(optical surface prescription)을 도시한 것이다.
[0025] 도 14는 표 2: 접안렌즈 프리즘의 표면 2의 광학적 표면 규정을 도시한 것이다.
[0026] 도 15는 표 3: 접안렌즈 프리즘의 표면 3의 광학적 표면 규정을 도시한 것이다.
[0027] 도 16은 표 4: 접안렌즈 프리즘의 위치 및 배향 파라미터들을 도시한 것이다.
[0028] 도 17은 표 5: 대물렌즈 프리즘의 표면 4의 광학적 표면 규정을 도시한 것이다.
[0029] 도 18은 표 6: 대물렌즈 프리즘의 표면 5의 광학적 표면 규정을 도시한 것이다.
[0030] 도 19는 표 7: 대물렌즈 프리즘의 표면 6의 광학적 표면 규정을 도시한 것이다.
[0031] 도 20은 표 8: 대물렌즈 프리즘의 위치 및 배향 파라미터들을 도시한 것이다.
[0032] 도 21은 표 9: DOE 플레이트들(882 및 884)에 대한 표면 파라미터들을 예시한 것이다.
[0033] 도 22는 표 10: 프리폼 프리즘의 표면 1의 광학적 표면 규정을 도시한 것이다.
[0034] 도 23은 표 11: 프리폼 프리즘의 표면 2의 광학적 표면 규정을 도시한 것이다.
[0035] 도 24는 표 12: 프리폼 프리즘의 표면 3의 광학적 표면 규정을 도시한 것이다.
[0036] 도 25는 표 13: 접안렌즈로서의 프리폼 프리즘의 위치 및 배향 파라미터들을 도시한 것이다.

[0037] 본 발명에 따른 실시예들이 첨부된 도면들을 참조하여 완전하게 기술될 것이다. 다음의 설명은 본 발명의 이해를 제공하기 위해서 제시된다. 그러나, 본 발명은 이러한 세부사항들 없이도 실시될 수 있음이 명백할 것이다. 또한, 본 발명은 다양한 형태들로 구현될 수 있다. 그러나, 이하에서 기술되는 본 발명의 실시예들은 본 명세서에서 제시된 실시예들로만 한정되는 것으로 해석되어서는 안된다. 이보다는, 이러한 실시예들, 도면들 및 실례들은 예시적인 것이며 본 발명을 모호하게 하지 않는 것으로 의도된다.

[0038] 가림가능한(occlusion capable) 광학적 투시 헤드-장착형 디스플레이(optical see-through head-mounted display: OCOST-HMD) 시스템은 통상적으로 디스플레이된 가상 이미지를 보여주기 위한 가상 뷰 경로 및 현실 세계의 외부 장면을 보여주기 위한 투시 경로를 포함한다. 이하에서는, 가상 뷰 경로를 통해서 관찰된 가상 이미지를 가상 뷰로 지칭하고, 투시 경로를 통해서 관찰된 외부 장면을 투시 뷰로 지칭한다. 본 발명의 일부 실시예들에서, 가상 뷰 경로는 가상 이미지 컨텐츠를 공급하기 위한 마이크로디스플레이 유닛(microdisplay unit) 및 그를 통해서 사용자가 확대된 가상 이미지를 보게 하는 접안렌즈(eyepiece)를 포함한다. 투시 경로는, 외부 장면으로부터의 광을 캡처하여 적어도 하나의 중간 이미지를 형성하는 대물렌즈 광학체(objective optics), 투시 뷰의 불투명도를 제어 및 변조하도록 투시 경로 내의 중간 이미지 플레인에 또는 그 근처에 배치된 공간적 광 변조기(spatial light modular: SLM), 및 그를 통해서 상기 변조된 투시 뷰가 관찰자에 의해서 보여지게 되는 접안렌즈를 포함한다. 투시 경로에서, 대물렌즈 광학체 및 접안렌즈는 함께 현실 세계로부터의 광을 관찰자의 눈으로 전달하기 위한 릴레이 광학체 역할을 한다. 투시 경로 내의 중간 이미지는 투시 이미지로 지칭되며, SLM에 의해서 변조된 중간 이미지는 변조된 투시 이미지로 지칭된다. OCOST-HMD는 가상 뷰 및 투시 뷰의 결합된 뷰(combined view)를 생성하며, 여기서 가상 뷰는 투시 뷰의 일 부분들을 가리게 된다.

[0039] 몇몇 실시예들에서, 본 발명은 투시 경로(207)를 가상 뷰 경로(205)와 결합함으로써 투시 경로의 불투명도가 변조될 수 있고 가상 뷰가 투시 뷰의 일부를 가리고 그 반대의 경우도 가능하도록 할 수 있는, 컴팩트한 광학적 투시 헤드-장착형 디스플레이(200)를 포함하며, 이 디스플레이는,

a. 사용자에 의해서 보여질 이미지를 생성하기 위한 마이크로디스플레이(250) ―상기 마이크로디스플레이는 자신과 연관된 가상 뷰 경로(205)를 가짐―;

b. 가려질 투시 뷰의 부분들을 블록킹(blocking)하도록 현실 세계의 외부 장면으로부터의 광을 수정하기 위한 공간적 광 변조기(240) ―상기 광 변조기는 자신과 연관된 투시 경로(207)를 를 가짐―;

c. 외부 장면으로부터 입사되는 광을 수용하고 이 광을 공간적 광 변조기(240)에 포커싱(focusing)하도록 구성된 대물렌즈 광학체(220);

d. 마이크로디스플레이(250)로부터의 가상 이미지와 공간적 광 변조기로부터 전달되는 외부 장면의 변조된 투시 이미지를 서로 합쳐(merge) 결합된 이미지를 생성하도록 구성된 빔스플리터(230);

e. 결합된 이미지를 확대하도록 구성된 접안렌즈(210);

f. 접안렌즈와 대면하도록 구성되며, 가상 뷰가 투시 뷰의 일부를 가리는, 가상 뷰와 투시 뷰의 결합된 뷰를 사용자가 관찰하게 하는 출사 동공(exit pupil)(202);

g. 가상 뷰 경로(205) 및 투시 경로들(207)을 2개의 층들로 폴딩(folding)하도록 구성된 복수의 반사성 표면들을 포함한다.

[0040] 일부 실시예들에서, 적어도 3개의 반사성 표면들이 가상 경로 및 투시 경로를 2개의 층들로 폴딩하는데 사용된다. 제 1 반사성 표면(M1)은 외부 장면으로부터 광을 반사하도록 배향된 디스플레이의 전방 층 상에 배치된다. 대물렌즈 광학체(220)는 디스플레이의 전방 층 상에 배치된다. 제 2 반사성 표면(M2)은 공간적 광 변조기 내로 광을 반사시키도록 배향된 디스플레이의 전방 층 상에 배치된다. 공간적 광 변조기(240)는 투시 경로(207)의 중간 이미지 플레인에 또는 그 근처에 배치되며, 투시 경로(207)를 따라서 빔스플리터(230)를 통해 대물렌즈 광학체(220) 및 접안렌즈(210)와 광학적으로 연통한다. 마이크로디스플레이(250)는 접안렌즈(210)의 초점 플레인(focal plane)에 배치되며, 가상 뷰 경로(205)를 따라서 빔스플리터(230)를 통해 접안렌즈(210)와 광학적으로 연통한다. 빔스플리터(230)는, 투시 경로(207)가 가상 뷰 경로(205)와 합쳐지고 투시 경로 및 가상 뷰 경로 양쪽 모두로부터의 광이 접안렌즈(210)를 향하도록, 배향된다. 접안렌즈(210)는 디스플레이의 후방 층 상에 배치된다. 제 3 반사성 표면(M3)은 디스플레이의 후방 층 상에 배치되며, 접안렌즈로부터의 광을 출사 동공(202)으로 반사하도록 배향된다.

[0041] 일부 실시예들에서, 대물렌즈 광학체(220)는 외부 장면의 광을 수용하고, 그 외부 장면의 광을 포커싱하여서 공간적 광 변조기(240) 상에 투시 이미지를 형성한다. 공간적 광 변조기(240)는 가려질 투시 이미지의 부분을 제거하도록 투시 이미지를 수정한다. 마이크로디스플레이(250)는 빔스플리터(230)로 가상 이미지를 투사한다. 공간적 광 변조기(240)는 변조된 투시 이미지를 빔스플리터(230)로 투과하며, 빔스플리터(230)는 2개의 이미지들을 결합하여, 가상 이미지가 투시 이미지의 일부를 가리는 결합된 이미지를 생성한다. 이어서, 빔스플리터(230)는 결합된 이미지를 접안렌즈(210)에 투사하며, 접안렌즈는 이 이미지를 출사 동공(202)에 투사한다.

[0042] 일부 실시예들에서, 본 발명은 현실 세계의 외부 장면을 가상 뷰와 결합할 수 있고, 여기서 외부 장면의 불투명도가 변조되고, 디지털적으로 생성된 가상 뷰가 외부 장면의 일부를 가리며 그 반대의 경우도 가능한, 광학적 투시 헤드-장착형 디스플레이(200)를 포함한다. 본 발명은 이미지를 투과시키는 마이크로디스플레이(250), 외부 장면으로부터의 광을 수정하기 위한 공간적 광 변조기(240), 외부 장면을 캡처하는 대물렌즈 광학체(220), 마이크로디스플레이(250)로부터 디지털적으로 생성된 가상 이미지를 공간적 광 변조기로부터의 변조된 외부 장면과 결합하도록 구성된 빔스플리터(230), 가상 이미지 및 변조된 외부 장면을 확대하는 접안렌즈(210) 및 사용자가 가상 이미지 및 수정된 외부 장면의 결합된 뷰를 관찰하게 하는 출사 동공(202)을 포함한다.

[0043] 일부 실시예들에서는, 적어도 3개의 반사성 표면들이 사용되어 가상 뷰 경로(205) 및 투시 경로(207)를 2개의 층으로 폴딩한다. 대물렌즈 광학체(220)는 디스플레이의 전방 층 상에 배치되고, 접안렌즈(210)는 디스플레이의 후방 층 상에 배치된다. 일련의 미러들이 사용되어서 광을 공간적 광 변조기, 빔스플리터 및 접안렌즈를 거치는 광학적 경로를 따라서 가이드할 수도 있다. 공간적 광 변조기(240)는 투시 경로 내의 중간 이미지 플레인에 또는 그 근처에서 배치된다. 마이크로디스플레이(250)는 마이크로디스플레이로부터의 광이 빔스플리터(230)로 투과되도록 빔스플리터(230)에 대면한다. 빔스플리터(230)는 마이크로디스플레이 및 공간적 광 변조기로부터의 광들을 결합시키며, 빔스플리터로부터의 광 투과의 방향이 접안렌즈(210)와 대면하도록 배향된다. 접안렌즈(210)는 빔스플리터로부터의 광이 접안렌즈를 거쳐 출사 동공으로 투과되도록 배치된다.

[0044] 일부 실시예들에서, 대물렌즈 광학체(220)는 외부 장면의 이미지를 수용하여서 이 이미지를 공간적 광 변조기(240)에 반사 또는 굴절시킨다. 공간적 광 변조기(240)는 가려질 이미지의 부분을 제거하도록 외부 장면으로부터의 광을 수정하고 광을 빔스플리터로 투과 또는 반사시킨다. 마이크로디스플레이(250)는 빔스플리터(230)로 가상 이미지를 투과하며, 빔스플리터(230)는 2개의 이미지들을 결합하여, 가상 이미지(205)가 외부 장면의 이미지의 일부를 가리는 결합된 이미지를 생성한다. 이어서, 빔스플리터(230)는 결합된 이미지를 접안렌즈(210)에 투사하며, 접안렌즈는 이 이미지를 출사 동공(208)에 전달한다. 이로써, 사용자는 결합된 이미지를 관찰하게 되며, 이 결합된 이미지에서는 가상 이미지가 외부 장면의 일부를 가리게 나타난다.

[0045] 도 2는 컴팩트한 OCOST-HMD 시스템을 달성하기 위한 본 발명에 따른 개략적 레이아웃(200)을 도시한 것이다. 이 예시적인 레이아웃(200)에서, 가상 뷰 경로(205)(파선으로 도시됨)는 가상 뷰의 광 전파 경로를 나타내며, 디스플레이 컨텐츠를 공급하기 위한 마스크로디스플레이(250) 및 디스플레이된 컨텐츠의 확대된 이미지를 사용자가 볼 수 있게 하는 접안렌즈(210)를 포함하며, 투시 경로(207)(실선으로 도시됨)는 투시 뷰의 광 전파 경로를 나타내며, 현실 세계의 외부 장면으로부터의 광을 뷰어의 눈에 전달하기 위한 릴레이 광학체로서 기능하는 대물렌즈 광학체(220) 및 접안렌즈(210) 양쪽 모두를 포함한다. 컴팩트한 폼 팩터를 달성하고 뷰포인트 오프셋을 줄이기 위해서, 투시 경로(207)는 몇 개의 반사성 표면들(M1 내지 M3)을 통해 뷰어의 눈 전방에서 2개의 층들로 폴딩된다. 외부 장면으로부터 입사되는 광을 수용하는 전방 층(215)은 주로 대물렌즈 광학체(220) 및 필수 반사성 표면들(M1 및 M2)을 포함한다. 전방 층에 의해서 캡처된 광을 뷰어의 눈에 커플링하는 후방 층(217)은 주로 접안렌즈(210) 및 다른 필수 광학적 컴포넌트들, 예를 들어 추가의 폴딩 미러(additional folding mirror)(M3)를 포함한다. 전방 층(215)에서, 반사성 표면(M1)은 외부 장면으로부터 입사된 광을 대물렌즈 광학체(220)로 향하게 하며, 대물렌즈 광학체(220)를 통과한 후에, 광은 반사성 표면(M2)을 거쳐 후방 층(217)을 향해서 폴딩된다. 투시 경로(207) 내의 대물렌즈 광학체(220)는 적어도 하나의 액세스 가능한 중간 이미지를 형성한다. 공간적 광 변조기(SLM)(240)는 통상적으로 대물렌즈 광학체의 백 초점 플레인(back focual plane)에 있는 액세스 가능한 중간 이미지의 위치에 또는 그 근처에 배치되어서 투시 뷰의 불투명도 제어 및 투시 뷰 변조를 제공한다. 본 발명에서, SLM은 그를 통과하거나 이에 의해서 반사된 광 빔의 강도를 변조할 수 있는 광 제어 디바이스이다. SLM은 반사-타입 SLM, 예를 들어, LCoS(liquid crystal on silicon) 디스플레이 패널 또는 디지털 미러 디바이스(DMD)이거나 투과-타입 SLM, 예를 들어, 액정 디스플레이(LCD) 패널일 수 있다. 이 두 타입의 SLM 모두는 투시 경로(207) 내의 가림 제어를 위해서 투시 뷰를 변조하도록 사용될 수 있다. 도 2a는 반사-타입 SLM을 사용하는 예시적인 구성을 도시한 것이고, 도 2b는 투과-타입 SLM을 사용하는 예시적인 구성을 도시한 것이다. 대물렌즈 광학체(220)의 초점 플레인 위치에 따라서, SLM(240)은 도 2a의 반사-타입 SLM에서 SLM2의 위치에서 배치되거나, 도 2b의 투과-타입 SLM에서 SLM1의 위치에서 배치될 수 있다. 빔스플리터(230)는 투시 경로(207)를 폴딩하여 이를 가상 뷰 경로(205)와 합치며, 이에 따라 동일한 접안렌즈(210)가 디스플레이된 가상 컨텐츠 및 변조된 투시 뷰를 뷰잉하는데 공유되도록 한다. 반사성 표면(M3)은 가상 뷰 경로(205) 및 투시 경로(207)가 출사 동공(202)을 향하게 하며, 여기서 뷰어의 눈은 믹싱된(mixed) 가상 및 실제 뷰를 관찰하게 된다. 반사성 표면들(M1 내지 M3)은 단독형 요소(예를 들어, 미러)이거나 접안렌즈(210) 또는 대물렌즈 광학체(220)의 일체형 부분이 되도록 전략적으로 설계될 수 있다. 마이크로디스플레이(250) 및 SLM(240) 모두는 대물렌즈 광학체(220)의 초점 플레인에 배치되어, 빔스플리터(230)를 통해 서로 광학적으로 컨쥬게이트되며, 이로 인해 투시 뷰에 대한 픽셀 레벨 불투명도 제어가 가능하게 된다. SLM(240), 마이크로디스플레이(250) 및 빔스플리터(230)를 어셈블리한 유닛이, 예시적인 도면들에서 도시된 바와 같이 후방 층 내에 포함되어 있지만, 접안렌즈의 백 초점 거리가 대물렌즈 광학체의 백 초점 거리보다 커서 이 결합 유닛을 대물렌즈 광학체에 보다 가깝게 배치하는 것이 바람직할 경우에는, 이 유닛을 전방 층 내에 포함시킬 수도 있다. 위에서 기술된 방식은 컴팩트한 OCOST-HDM 솔루션 및 최소의 뷰 축 시프트(view axis shift)를 달성하는 것을 가능하게 한다.

[0046] 그의 이점들 중 하나로서, 광학적 레이아웃(200)은 회전적으로 대칭인 광학체 및 비회전적으로 대칭인 프리폼 광학체를 포함하는 수많은 타입의 HMD 광학체들로의 적용가능성을 가지게 되며, 이에 한정되지 않는다. 광학적 경로들을 폴딩하기 위한 반사성 표면들(M1 내지 M3)은 평면형 미러들, 광학적 능력을 가진 구형의, 비구형의, 또는 프리폼의 표면들일 수 있다. 반사성 표면들 중 일부는 프리폼 광학 기술을 사용할 수도 있다. 반사성 표면들 중 일부는 또한 접안렌즈(210) 또는 대물렌즈 광학체(220)의 일체형 부분이 되도록 전략적으로 설계될 수도 있으며, 여기서 반사성 표면들은 컴팩트한 디스플레이 설계를 달성하기 위한 광학적 경로의 폴딩을 용이하게 할 뿐만 아니라 광학적 능력에 기여하며 광학적 수차를 보정하기도 한다. 도 3에 도시된 예시적인 구성에서, 본 발명은 접안렌즈 또는 대물렌즈 광학체로서 1회-반사 프리폼 프리즘의 사용을 입증하였으며, 이 프리즘은 2개의 굴절성 표면들 및 광학적 경로를 폴딩하고 수차들을 보정하기 위한 하나 이상의 반사성 표면들을 포함하는 단일의 광학적 요소이다. 구성들의 다른 예들에서, 다중-반사 프리폼 프리즘들이 입증되었다.

[0047] 본 발명의 다른 중요한 양상에서, SLM(240)으로 액세스 가능한 중간 이미지 이외에, 투시 경로(207)는 대물렌즈 광학체(220) 또는 접안렌즈(210) 또는 이 둘에 의해서 추가의 중간 이미지들(260)을 형성할 수도 있다. 예를 들어, 다회 반사 프리폼 프리즘 구조(통상적으로 3 회 이상 반사)가 대물렌즈 광학체 또는 접안렌즈 또는 이 둘로서 사용될 수 있으며, 이는 대물렌즈 및/또는 접안렌즈 프리즘 안쪽에서 투시 경로를 다수 회로 폴딩하는 것을 가능하게 하며 이 프리즘 안쪽에서 중간 이미지(들)를 형성할 수 있다. 이로써, 투시 경로(207)는 짝수 개의 또는 홀수 개의 중간 이미지들을 산출할 수 있다. 하나 이상의 중간 이미지 생성의 잠재적 이점은 확장된 광학적 경로 길이, 긴 백 초점 거리 및 실제-뷰 직립 요소(real-view erection element)의 제거의 이점이다.

[0048] 투시 경로(207)에서 생성된 중간 이미지의 총 개수 및 사용된 반사성 표면들의 총 개수에 따라서, 투시 뷰의 좌표 시스템의 패리티를 유지하도록 투시 경로의 투시 뷰를 반전 및/또는 복구시키고, 뷰어가 반전되거나 복구된 뷰를 보는 것을 방지하기 위해서, 투시 뷰 직립 방법이 필요할 수 있다. 구체적으로 투시 뷰 직립 방법에 대해서, 본 발명은 2개의 상이한 이미지 직립 전략들을 고려한다. 총 짝수 회의 반사들이 투시 경로(207)에 관여하고 이것이 투시 뷰의 좌표 시스템의 패리티에 변화를 주지 않는 경우에는, 접안렌즈(210) 및 대물렌즈 광학체(220)의 형태는 짝수 개의 중간 이미지들이 투시 경로(207)에서 생성되도록 설계될 수 있다. 홀수 회의 반사들이 투시 경로(207)에서 관여하고 이것이 투시 뷰의 좌표 시스템의 패리티에 변화를 주는 경우에는, 반사성 표면들(M1 내지 M3) 중 하나가 투시 뷰 직립을 위해서 루프 미러 표면으로 대체될 수 있다. 루프 반사를 사용하여 뷰 직립하는 바람직한 실시예들에 대하여, 도 3 및 도 5를 참조하여 이하에서 설명하도록 한다. 중간 이미지를 사용하여서 뷰 직립하는 바람직한 실시예들에 대하여 도 4, 도 6 및 도 7를 참조하여 이하에서 설명하도록 한다.

[0049] 본 발명의 중요한 양상들 중 하나에서, 본 발명은 컴팩트하고 경량인 OCOST-HMD를 달성하기 위해서 접안렌즈 또는 대물렌즈 광학체 또는 이 둘에서 프리폼 광학 기술을 사용할 수 있다. 도 3은 프리폼 광학적 기술을 기반으로 하는 본 발명에 따른 컴팩트한 OCOST-HMD 설계에 대한 예시적인 방식의 블록도(300)를 도시한 것이다. 후방 층(317) 내의 접안렌즈(310)는 3개의 광학적 프리폼 표면들, 즉 굴절성 표면 S1, 반사성 표면 S2 및 굴절성 표면 S3으로 구성되는 1회-반사 프리폼 프리즘이다. 가상 뷰 경로(305)에서, 마이크로디스플레이(350)로부터 방사된 광선은 굴절성 표면 S3를 통해 접안렌즈(310)로 들어가며, 이어서 반사성 표면 S2에 의해서 반사되고, 굴절성 표면 S1를 통해 접안렌즈(310)를 나가고 출사 동공(302)에 도달하며, 여기서 뷰어의 눈은 마이크로디스플레이(350)의 확대된 가상 이미지를 보도록 정렬된다. 전방 층(315) 내의 대물렌즈 광학체(320)도 또한 3개의 광학적 프리폼 표면들, 즉 굴절성 표면 S4, 반사성 표면 S5 및 굴절성 표면 S6으로 구성되는 1회-반사 프리폼 프리즘이다. 투시 경로(307)에서, 대물렌즈 광학체(320)는 접안렌즈(310)와 함께 동작하여 투시 뷰용의 릴레이 광학체 역할을 한다. 미러(325)에 의해 반사된, 외부 장면으로부터 입사된 광은 굴절성 표면 S4를 통해서 대물렌즈 광학체(320)로 들어가고 이어서 반사성 표면 S5에 의해서 반사되고, 굴절성 표면 S6를 통해 대물렌즈 광학체(320)를 나가며, 광 변조를 위해서 SLM(340) 상에서 그의 초점 플레인에서 중간 이미지를 형성한다. 빔스플리터(330)는 투시 경로(307)에서 변조된 광을 가상 뷰 경로(305)의 광과 합치고, 뷰잉을 위해서 접안렌즈(310)를 향해 폴딩한다. 빔스플리터(330)는 와이어 그리드 타입(wire-grid type) 빔스플리터, 편광 큐브(polarized cube) 빔스플리터 또는 다른 유사한 타입의 빔스플리터들일 수 있다. 이 방식에서는, SLM(340)이 반사-타입 SLM이고, 개략적 레이아웃(200)의 SLM2 위치에 배치하며, 빔스플리터(330)를 통해 마이크로디스플레이(350)와 광학적으로 컨쥬게이트된다.

[0050] 이 예시적인 레이아웃(300)에서는, 개략적 레이아웃(200)의 반사성 표면 M2가 프리폼 반사성 표면 S5로서 대물렌즈 프리즘(320)의 일체형 부분이 되도록 전략적으로 설계되며, 개략적 레이아웃(200)의 반사성 표면 M3는 프리폼 반사성 표면 S2로서 접안렌즈 프리즘(310)의 일체형 부분이 되도록 전략적으로 설계되고, 개략적 레이아웃(200)의 반사성 표면 M1은 투시 경로(307)에서의 총 반사 회수들이 5(홀수)이면 뷰 직립(view erection)을 위한 루프 타입 미러(325)로서 설계된다.

[0051] 이 예시적인 레이아웃(300)에서, 접안렌즈(310) 및 대물렌즈 광학체(320)는 동일한 프리폼 프리즘 구조를 가질 수 있다. 접안렌즈 및 대물렌즈 광학체에 대해서 이러한 동일한 구조를 사용하는 것의 이점은 단일 프리즘의 광학적 설계 전략이 다른 것에도 용이하게 적용될 수 있어서, 광학적 설계를 단순화하는 것을 돕는다는 것이다. 접안렌즈 및 대물렌즈 광학체의 대칭적 구조도 또한 코마(coma), 디스토션(distrotion) 및 래터럴 컬러(lateral color)와 같은 홀수 차수 수차(odd oder abberation)를 보정하는 것을 지원할 수 있다.

[0052] 도 4는 프리폼 광학적 기술을 기반으로 하는 본 발명에 따른 컴팩트한 OCOST-HMD 설계에 대한 다른 예시적인 방식의 블록도(400)를 도시한 것이다. 일 예시적인 구현예에서, 접안렌즈(410)는 2회-반사 프리즘이며 대물렌즈 광학체(420)는 4회-반사 프리즘이다. 대물렌즈 광학체(420) 안쪽에는, 중간 이미지(460)가 투시 뷰를 직립하도록 형성되며 이는 직립 루프 반사성 표면을 사용할 필요를 제거한다. 직립 프리즘(erection prism)을 제거하는 것의 잠재적 이점은 이 시스템 구조가 대물렌즈 프리즘 안쪽에서 수회 광학적 경로를 폴딩함으로써 보다 컴팩트한 설계로 이어질 수 있다는 것이다. 후방 층(417) 내의 접안렌즈(410)는 4개의 광학적 프리폼 표면들, 즉 굴절성 표면 S1, 반사성 표면 S2, 반사성 표면 S1' 및 굴절성 표면 S3로 구성된다. 가상 뷰 경로(405)에서는, 마이크로디스플레이(450)로부터 방사된 광선이 굴절성 표면 S3를 통해 접안렌즈(410)로 들어가며, 이어서 반사성 표면들 S1' 및 S2에 의해 연속적으로 반사되고, 굴절성 표면 S1을 통해 접안렌즈(410)를 나가서 출사 동공(402)에 도달하며, 여기서 뷰어의 눈은 마이크로디스플레이(450)의 확대된 가상 이미지를 보도록 정렬된다. 굴절성 표면 S1 및 반사성 표면 S1'은 동일한 물리적 표면들일 수 있으며 동일한 세트의 표면 규정들을 가질 수 있다. 전방 층(415) 내의 대물렌즈 광학체(420)는 6개의 광학적 프리폼 표면들, 즉 굴절성 표면 S4, 반사성 표면들 S5, S4', S5', 및 S6 및 굴절성 표면 S7로 구성된다. 투시 경로(407)에서는, 대물렌즈 광학체(420)가 접안렌즈(410)와 함께 동작하여 투시 뷰용의 릴레이 광학체 역할을 한다. 현실 세계의 외부 장면으로부터 입사되는 광은 굴절성 표면 S4를 통해 대물렌즈 광학체(420)로 들어가며 이어서 반사성 표면들 S5, S4', S5' 및 S6에 의해서 연속적으로 반사되고, 굴절성 표면 S7을 통해 대물렌즈 광학체(420)를 나가서 광 변조를 위해 SLM(440) 상의 초점 플레인에서 중간 이미지를 형성한다. 굴절성 표면 S4 및 반사성 표면 S4'는 동일한 물리적 표면들일 수 있으며 동일한 세트의 표면 규정들을 가질 수 있다. 반사성 표면 S5 및 반사성 표면 S5'는 동일한 물리적 표면들일 수 있으며 동일한 세트의 표면 규정들을 가질 수 있다. 빔스플리터(430)는 투시 경로(407)에서 변조된 광을 가상 뷰 경로(405)의 광과 합치고 뷰잉을 위해서 이를 접안렌즈(410)를 향해 폴딩한다. 빔스플리터(430)는 와이어 그리드 타입 빔스플리터, 편광 큐브 빔스플리터 또는 다른 유사한 타입 빔스플리터들일 수 있다. 이 방식에서, SLM(440)는 반사-타입 SLM이고, 개략적 레이아웃(200)의 SLM2 위치에 배치되며, 빔스플리터(430)를 통해 마이크로디스플레이(450)와 광학적으로 컨쥬게이트된다.

[0053] 이 예시적인 레이아웃(400)에서는, 개략적 레이아웃(200)의 반사성 표면 M2이 반사성 표면 S6로서 대물렌즈 광학체(420)의 일체형 부분이 되도록 전략적으로 설계되고, 개략적 레이아웃(200)의 반사성 표면 M3는 반사성 표면 S2로서 접안렌즈(410)의 일체형 부분이 되도록 전략적으로 설계되며, 개략적 레이아웃(200)의 반사성 표면 M1은 반사성 표면 S5로서 대물렌즈 광학체(420)의 일체형 부분이 되도록 설계된다. 중간 이미지(460)는 실제-뷰 직립을 위해서 대물렌즈 광학체(410)의 안쪽에 형성된다. 투시 경로(407)에서의 총 반사 회수들이 8(짝수)이면, 루프 타입 미러는 어떠한 반사성 표면상에서도 요구되지 않는다.

[0054] 도 5는 프리폼 광학적 기술을 기반으로 하는 본 발명에 따른 컴팩트한 OCOST-HMD 설계에 대한 다른 예시적인 방식의 블록도(500)를 도시한 것이다. 이 방식은 투과-타입 SLM의 사용을 용이하게 한다. 접안렌즈(510)는 2회-반사 프리즘이며 대물렌즈 광학체(520)는 1회-반사 프리즘이다. 루프 미러(527)가 대물렌즈 광학체(520)의 상단에 배치되어 투시 뷰를 반전하고, 투시 경로(507)를 후방 층(517)을 향해 폴딩한다. 후방 층(517) 내의 접안렌즈(510)는 4개의 광학적 프리폼 표면들, 즉 굴절성 표면(refractive surface) S1, 반사성 표면 S2, 반사성 표면 S1' 및 굴절성 표면 S3으로 구성된다. 가상 뷰 경로(505)에서는, 마이크로디스플레이(550)로부터 방사된 광선이 굴절성 표면 S3를 통해 접안렌즈(510)로 들어가며, 이어서 반사성 표면들 S1' 및 S2에 의해 연속적으로 반사되고, 굴절성 표면 S1을 통해 접안렌즈(510)를 나가서 출사 동공(502)에 도달하며, 여기서 뷰어의 눈은 마이크로디스플레이(550)의 확대된 가상 이미지를 보도록 정렬된다. 굴절성 표면 S1 및 반사성 표면 S1'은 동일한 물리적 표면들일 수 있으며 동일한 세트의 표면 규정들을 가질 수 있다. 전방 층(515) 내의 대물렌즈 광학체(520)는 3개의 광학적 프리폼 표면들, 즉 굴절성 표면 S4, 반사성 표면 S5 및 굴절성 표면 S6로 구성된다. 투시 경로(507)에서는, 대물렌즈 광학체(520)가 접안렌즈(510)와 함께 동작하여 투시 뷰용의 릴레이 광학체 역할을 한다. 현실 세계의 외부 장면으로부터 입사되는 광은 굴절성 표면 S4를 통해 대물렌즈 광학체(520)로 들어가며 이어서 반사성 표면 S5에 의해 반사되고, 굴절성 표면 S6를 통해 대물렌즈 광학체(520)를 나가고, 후방 층(517)을 향해 미러(527)에 의해서 폴딩되어서 광 변조를 위해 SLM(540)의 초점 플레인에서 중간 이미지를 형성한다. 빔스플리터(530)는 투시 경로(507)에서 변조된 광을 가상 뷰 경로(505)의 광과 합치고 뷰잉을 위해서 이를 접안렌즈(510)를 향해 폴딩한다. 빔스플리터(530)는 와이어 그리드 타입 빔스플리터, 편광 큐브 빔스플리터 또는 다른 유사한 타입 빔스플리터들일 수 있다. 이 방식에서, SLM(540)은 투과-타입 SLM이고, 개략적 레이아웃(200)의 SLM1 위치에 배치되며, 빔스플리터(530)를 통해 마이크로디스플레이(550)와 광학적으로 컨쥬게이트된다.

[0055] 이 예시적인 레이아웃(500)에서는, 개략적 레이아웃(200)의 반사성 표면 M1이 반사성 표면 S5로서 대물렌즈 광학체(520)의 일체형 부분이 되도록 전략적으로 설계되고, 개략적 레이아웃(200)의 반사성 표면 M3은 반사성 표면 S2로서 접안렌즈(510)의 일체형 부분이 되도록 전략적으로 설계되고, 개략적 레이아웃(200)의 반사성 표면 M2는, 투시 경로(507)에서의 총 반사 회수들이 5(홀수)인 경우, 뷰 직립을 위해서 루프 타입 미러(527)로서 설계된다.

[0056] 도 6은 프리폼 광학적 기술을 기반으로 하는 본 발명에 따른 컴팩트한 OCOST-HMD 설계에 대한 다른 예시적인 방식의 블록도(600)를 도시한 것이다. 이 방식은 또한 투과-타입 SLM의 사용을 용이하게 한다. 일 예시적인 구현예에서, 접안렌즈(610)는 2회-반사 프리폼 프리즘이며, 대물렌즈 광학체(620)는 3회-반사 프리폼 프리즘이다. 대물렌즈 광학체(620) 안쪽에서는, 중간 이미지(660)가 투시 뷰를 직립하도록 형성된다. 후방 층(617) 내의 접안렌즈(610)는 4개의 광학적 프리폼 표면들, 즉 굴절성 표면 S1, 반사성 표면 S2, 반사성 표면 S1' 및 굴절성 표면 S3로 구성된다. 가상 뷰 경로(605)에서는, 마이크로디스플레이(650)로부터 방사된 광선이 굴절성 표면 S3를 통해 접안렌즈(610)로 들어가며, 이어서 반사성 표면들 S1' 및 S2에 의해 연속적으로 반사되고, 굴절성 표면 S1을 통해 접안렌즈(610)를 나가서 출사 동공(602)에 도달하며, 여기서 뷰어의 눈은 마이크로디스플레이(650)의 확대된 가상 이미지를 보도록 정렬된다. 굴절성 표면 S1 및 반사성 표면 S1'은 동일한 물리적 표면들일 수 있으며 동일한 세트의 표면 규정들을 가질 수 있다. 전방 층(615) 내의 대물렌즈 광학체(620)는 5개의 광학적 프리폼 표면들, 즉 굴절성 표면 S4, 반사성 표면들 S5, S4' 및 S6 및 굴절성 표면 S7을 포함한다. 투시 경로(607)에서는, 대물렌즈 광학체(620)가 접안렌즈(610)와 함께 동작하여 투시 뷰용의 릴레이 광학체 역할을 한다. 현실 세계의 외부 장면으로부터 입사되는 광은 굴절성 표면 S4를 통해 대물렌즈 광학체(620)로 들어가며, 이어서 반사성 표면들 S5, S4' 및 S6에 의해 연속적으로 반사되고 굴절성 표면 S7을 통해 대물렌즈 광학체(620)를 나가서 광 변조를 위해 SLM(640)의 초점 플레인에서 중간 이미지를 형성한다. 굴절성 표면 S4 및 반사성 표면 S4'은 동일한 물리적 표면들일 수 있으며 동일한 세트의 표면 규정들을 가질 수 있다. 빔스플리터(630)는 투시 경로(607)에서 변조된 광을 가상 뷰 경로(605)의 광과 합치고 뷰잉을 위해 이를 접안렌즈(610)를 향해서 폴딩한다. 빔스플리터(630)는 와이어 그리드 타입 빔스플리터, 편광 큐브 빔스플리터 또는 다른 유사한 타입 빔스플리터들일 수 있다. 이 방식에서는, SLM(640)이 투과-타입 SLM이고, 개략적 레이아웃(200)의 SLM1 위치에 배치되며, 빔스플리터(630)를 통해 마이크로디스플레이(650)와 광학적으로 컨쥬게이트된다.

[0057] 이 예시적인 레이아웃(600)에서는, 개략적 레이아웃(200)의 반사성 표면 M1이 반사성 표면 S5로서 대물렌즈 광학체(620)의 일체형 부분이 되도록 전략적으로 설계되고, 개략적 레이아웃(200)의 반사성 표면 M2은 반사성 표면 S6로서 대물렌즈 광학체(620)의 일체형 부분이 되도록 전략적으로 설계되며, 개략적 레이아웃(200)의 반사성 표면 M3는 반사성 표면 S2로서 접안렌즈(610)의 일체형 부분이 되도록 설계된다. 중간 이미지(660)는 실제-뷰 직립을 위해서 대물렌즈 광학체(610)의 안쪽에 형성된다. 투시 경로(607)에서의 총 반사 회수들이 6(짝수)인 경우, 어떠한 루프 미러도 임의의 반사성 표면 상에서 요구되지 않는다.

[0058] 도 7은 프리폼 광학적 기술을 기반으로 하는 본 발명에 따른 컴팩트한 OCOST-HMD 설계에 대한 다른 예시적인 방식의 블록도(700)를 도시한 것이다. 일 예시적인 구현예에서, 접안렌즈와 대물렌즈 광학체 모두 2회-반사 프리폼 프리즘이며 거의 동일한 구조를 갖는다. 접안렌즈 및 대물렌즈 광학체에 대해서 이러한 동일한 구조를 사용하는 것의 이점은 단일 프리즘의 광학적 설계 전략이 다른 것에도 용이하게 적용될 수 있어서, 광학적 설계를 단순화하는 것을 돕는다는 것이다. 접안렌즈 및 대물렌즈 광학체의 대칭적 구조도 또한 코마, 디스토션 및 래터럴 컬러와 같은 홀수 차수 수차를 보정하는 것을 지원할 수 있다. 후방 층(717) 내의 접안렌즈(710)는 4개의 광학적 프리폼 표면들, 즉 굴절성 표면 S1, 반사성 표면 S2, 반사성 표면 S1' 및 굴절성 표면 S3로 구성된다. 가상 뷰 경로(705)에서는, 마이크로디스플레이(750)로부터 방사된 광선이 굴절성 표면 S3를 통해 접안렌즈(710)로 들어가며, 이어서 반사성 표면들 S1' 및 S2에 의해 연속적으로 반사되고, 굴절성 표면 S1을 통해 접안렌즈(710)를 나가서 출사 동공(702)에 도달하며, 여기서 뷰어의 눈은 마이크로디스플레이(750)의 확대된 가상 이미지를 보도록 정렬된다. 굴절성 표면 S1 및 반사성 표면 S1'은 동일한 물리적 표면들일 수 있으며 동일한 세트의 표면 규정을 가질 수 있다. 전방 층(715) 내의 대물렌즈 광학체(720)는 4개의 광학적 프리폼 표면들, 즉 굴절성 표면 S4, 반사성 표면들 S5, S4' 및 굴절성 표면 S6로 구성된다. 투시 경로(707)에서는, 대물렌즈 광학체(720)가 접안렌즈(710)와 함께 동작하여 투시 뷰용의 릴레이 광학체 역할을 한다. 현실 세계의 외부 장면으로부터 입사되는 광은 굴절성 표면 S4를 통해 대물렌즈 광학체(720)로 들어가며, 이어서 반사성 표면들 S5, S4'에 의해 연속적으로 반사되고, 굴절성 표면 S6를 통해 대물렌즈 광학체(720)를 나가서 광 변조를 위해 그것의 초점 플레인에서 중간 이미지(760)를 형성한다. 빔스플리터(780)는 대물렌즈 광학체(720)의 초점 플레인에 위치한 미러(790)를 향해서, 후방 층(715)으로부터 투시 경로(707)가 멀어지게 폴딩한다. 투시 경로(707)는 후방 층(715)을 향해서 미러(790)에 의해서 반사된다. 릴레이 렌즈(770)는, 뷰 변조를 위해서 개략적 레이아웃(200)의 SLM2 위치에 중간 이미지(760)의 이미지를 생성하도록 사용된다. 빔스플리터(730)는 투시 경로(707)에서 변조된 광을 가상 뷰 경로(705)의 광과 합치고 뷰잉을 위해 이를 접안렌즈(710)를 향해서 폴딩한다. 이 방식에서는, SLM(740)이 반사-타입 SLM이고, 빔스플리터(730)를 통해 마이크로디스플레이(750)와 광학적으로 컨쥬게이트된다. 중간 이미지(760)가 SLM(740)과 광학적으로 컨쥬게이트된다는 사실로 인하여, SLM(740)과 미러(790)의 위치는 상호교환가능하다.

[0059] 이 예시적인 레이아웃(700)에서는, 개략적 레이아웃(200)의 반사성 표면 M1이 반사성 표면 S5로서 대물렌즈 광학체(720)의 일체형 부분이 되도록 전략적으로 설계되고, 개략적 레이아웃(200)의 반사성 표면 M3는 반사성 표면 S2로서 접안렌즈(710)의 일체형 부분이 되도록 전략적으로 설계되며, 개략적 레이아웃(200)의 반사성 표면 M2는 미러(790)로서 대물렌즈 광학체(710)의 초점 플레인에 위치되어 투시 경로(707)를 가상 뷰 경로(705)를 향해서 폴딩한다. 중간 이미지(760)는 실제-뷰 직립을 위해서 대물렌즈 광학체(720)의 초점 플레인에 형성된다. 투시 경로(707)에서의 총 반사 회수들이 8(짝수)인 경우에는, 어떠한 루프 미러도 임의의 반사성 표면 상에서 요구되지 않는다.

[0060] 도 8은 도 3에 도시된 예시적인 방식에 기초한 예시적인 설계(800)를 개략적으로 도시한 것이다. 이 설계는 40 도(degree)의 사선 FOV를 달성하며, 이 FOV는 수평 방향(X 축 방향)에서 31.7 도이고, 수직 방향(Y 축 방향)에서 25.6 도이며, 이 설계는 또한 8mm의 출사 동공 직경(exit pupil diameter)(EPD)(비네트되지 않음:non-vignetted), 및 18mm의 아이 클리어런스(eye clearance)를 달성하였다. 이 설계는 5:4 종횡비 및 1280x1024 픽셀 해상도를 갖는 0.8" 마이크로디스플레이에 기초한 것이다. 마이크로디스플레이는 15.36mm 및 12.29mm의 유효 면적 및 화소 크기 12㎛를 갖는다. 이 설계는 마이크로디스플레이와 동일한 크기 및 해상도의 SLM을 사용하였다. 편광 큐브(polarized cube) 빔스플리터를 사용하여 가상 뷰 경로와 투시 경로를 결합하였다. DOE 플레이트들(882 및 884)을 사용하여 색수차(chromatic aberration)를 보정하였다. 이 시스템은 43mm(X)x23mm(Y)x 44.5mm(Z)로 측정되었다. 입사 동공(886)과 출사 동공(802) 간의 뷰포인트 시프트는 각기 Y 방향에서 0.6mm이고 z 방향에서 67mm이었다.

[0061] 접안렌즈(810)의 예시적인 광학적 규정에 대하여 표 1 내지 표 4에서 열거되어 있다. 접안렌즈(810)에서의 3개의 모든 광학적 표면들은 AAS(anamorphic aspheric surface)이다. AAS 표면의 새그(sag)는,

로 정의되며, 여기서, z는 로컬 x, y, z 좌표 시스템의 z 축을 따라서 측정된 프리폼 표면의 새그이고, c_x 및 c_y는 각기 x 축 및 y 축에서 꼭지점 곡률(vertex curvature)이며, K_x 및 K_y는 각기 x 축 및 y 축에서의 코닉 상수(conic constant)이고, AR, BR, CR 및 DR은 각기 코닉으로부터의 4차, 6차, 8차 및 10차 변형의 회전적으로 대칭인 부분이며, AP, BP, CP 및 DP은 각기 코닉으로부터의 4차, 6차, 8차 및 10차 변형의 비회전적으로 대칭인 부분이다.

표 1: 접안렌즈 프리즘의 표면 1의 광학적 표면 규정, 도 13 참조

표 2: 접안렌즈 프리즘의 표면 2의 광학적 표면 규정, 도 14 참조

표 3: 접안렌즈 프리즘의 표면 3의 광학적 표면 규정, 도 15 참조

표 4: 접안렌즈 프리즘의 위치 및 배향 파라미터들, 도 16 참조

[0062] 대물렌즈 광학체(820)의 예시적인 광학적 규정에 대하여 표 5 내지 표 8에서 열거되어 있다. 대물렌즈 광학체(820)에서의 모든 3개의 광학적 표면들은 AAS(anamorphic aspheric surface)이다.

표 5: 대물렌즈 프리즘의 표면 4의 광학적 표면 규정, 도 17 참조

표 6: 대물렌즈 프리즘의 표면 5의 광학적 표면 규정, 도 18 참조

표 7: 대물렌즈 프리즘의 표면 6의 광학적 표면 규정, 도 19 참조

표 8: 대물렌즈 프리즘의 위치 및 배향 파라미터들, 도 20 참조

[0063] DOE 플레이트(882 및 884)의 예시적인 광학적 규정에 대하여 표 9에 열거되어 있다.

표 9: DOE 플레이트들(882 및 884)에 대한 표면 파라미터들, 도 21 참조

[0064] 도 9는 3mm 동공 직경을 사용하여 평가된 컷오프 주파수 40lps/mm(밀리미터당 라인 쌍들)에서의 가상 디스플레이 경로의 다색 변조 전달 함수들의 필드 맵 플롯을 도시한 것이다. 40lps/mm 컷오프 주파수는 마이크로디스플레이의 픽셀 크기로부터 결정된다. 이 플롯은 본 설계가 15 퍼센트보다 약간 작은 컷오프 주파수에의 MTF 값들을 갖는 2개의 상부 디스플레이 코너들을 제외하고, 대부분의 필드들에 있어서 매우 우수한 성능을 가짐을 보인다. 전체 FOV에 걸쳐서, 가상 디스플레이 경로의 디스토션은 2.9%보다 작은 한편, 투시 경로의 디스토션은 0.5%보다 작다. 광학체에 대한 총 추정된 중량은 단독으로 눈당(per eye) 33 그램이다.

[0065] 도 10은 도 3에서 도시된 예시적인 방식에 기초한 예시적인 설계(1000)를 개략적으로 도시한 것이다. 이 설계는 40 도의 사선 FOV를 달성하며, 이 FOV는 수평 방향(X 축 방향)에서 35.2 도이고, 수직 방향(Y 축 방향)에서 20.2 도이며, 이 설계는 또한 8mm의 출사 동공 직경(EPD)(비네트되지 않음: non-vignetted), 및 18mm의 아이 클리어런스를 달성하였다. 이 설계는 16:9 종횡비 및 1280x720 픽셀 해상도를 갖는 0.7" 마이크로디스플레이에 기초한 것이다. 이 설계는 마이크로디스플레이와 동일한 크기 및 해상도의 SLM을 사용하였다. 와이어-그리드 플레이트 빔스플리터를 사용하여 가상 뷰 경로와 투시 경로를 결합하였다. 동일한 프리폼 프리즘이 접안렌즈 및 대물렌즈 광학체로서 사용되었다.

[0066] 프리폼 프리즘의 예시적인 광학적 규정에 대하여 표 10 내지 표 15에 열거되어 있다. 프리즘의 2개의 표면들은 AAS(anamorphic aspheric surface)이며, 한 개의 표면은 ASP(aspheric surface)이다. ASP 표면의 새그는,

로 정의되며, 여기서, z는 로컬 x, y, z 좌표 시스템의 z 축을 따라서 측정된 표면의 새그이고, c는 꼭지점 곡률이고, K는 코닉 상수이고, A 내지 J는 각기 4차, 6차, 8차 및 10차, 12차, 14차, 16차, 18차 및 20차 변형 계수들이다.

표 10: 프리폼 프리즘의 표면 1의 광학적 표면 규정, 도 22 참조

표 11: 프리폼 프리즘의 표면 2의 광학적 표면 규정, 도 23 참조

표 12: 프리폼 프리즘의 표면 3의 광학적 표면 규정, 도 24 참조

*표 13: 접안렌즈로서의 프리폼 프리즘의 위치 및 배향 파라미터들, 도 25 참조

[0068] 도 11은 3mm 동공 직경을 사용하여 평가된 컷오프 주파수 40lps/mm(밀리미터당 라인 쌍들)에서의 가상 디스플레이 경로의 다색 변조 전달 함수들의 필드 맵 플롯을 도시한 것이다. 이 플롯은 본 설계가 대부분의 필드들에 대해서 매우 우수한 성능을 가짐을 보인다.

[0069] 도 12는 본 발명에 필요한 이미지 처리 파이프라인의 일 예의 블록도를 도시한 것이다. 먼저, 적합한 깊이 감지 수단을 사용하여 외부 장면의 깊이 맵(depth map)이 추출된다. 이어서, 가상 객체를 깊이 맵과 비교함으로써, 가림(occlusion)이 발생하는 영역들을 결정한다. 마스크 생성 알고리즘이 사전 결정된 가림 영역들에 따라서 이진 마스크 이미지(binary mask image)를 생성한다. 이어서, 마스크 이미지가 공간적 광 변조기 상에 디스플레이되어서, 외부 장면의 중간 이미지 내의 가려진 영역으로부터 광을 블록킹한다. 가상 객체의 가상 이미지가 렌더링되고 마이크로디스플레이 상에 디스플레이된다. 본 발명의 디스플레이 디바이스를 통해 가상 이미지와 외부 장면의 변조된 투시 이미지가 결합된 이미지를, 뷰어가 관찰한다.

[0070] 종래 기술과 비교할 때, 본 발명은 컴팩트한 형태로 압축되며, 헤드-장착형 디스플레이로서 보다 용이하게 착용될 수 있게 하는, 폴딩된(folded) 이미지 경로를 특징으로 한다. 종래 기술(미국 특허 7,639,208 B1)에서는, 이 광학적 경로가 회전적으로 대칭인 렌즈들을 사용하여 선형으로 배열된다. 그 결과, 종래 기술의 가림 타입 디스플레이는 긴 텔레스코프와 유사한 형상을 가지며, 헤드에 착용하도록 다루는 것이 쉽지 않다. 본 발명은 반사성 표면들을 사용하여 이미지 경로를 2개의 층들로 폴딩함으로써, 공간적 광 변조기, 마이크로디스플레이 및 빔스플리터가 눈의 전방에서 선형적으로 보다는 헤드의 상단에 장착된다.

[0071] 종래 기술은 오직 반사-타입 공간적 광 변조기에 의존하는 반면, 본 발명은 반사-타입 또는 투과-타입 공간적 광 변조기를 사용할 수 있다. 또한, 종래 기술은 외부 장면을 변조하기 위해서 편광 빔스플리터를 요구하지만, 본 발명은 편광을 필요로 하지 않는다.

[0072] 본 발명은 층들로 배열되기 때문에, 접안렌즈 및 대물렌즈 광학체가 반드시 동일선상에 있을 필요는 없지만, 종래 기술에서는 동일선상에 있어야 한다. 또한, 대물렌즈 광학체는 반드시 텔레-센트릭(tele-centric)할 필요가 없다.

[0073] 종래 기술에서는, 시스템의 대물렌즈 광학체로 인하여, 현실 세계의 뷰가 투시 뷰의 미러 반사이다. 본 발명은 사용자의 뷰와 외부 장면 간의 패리티를 유지하도록 루프 미러가 삽입되게 할 수 있는 폴딩된 이미지 경로를 가지고 있다. 이로 인해, 본 발명은 사용자의 관점에서 보다 기능적게 된다.

[0074] 종래 기술과 비교할 때, 본 발명은 시스템이 훨씬 컴팩트하게 될 수 있는 프리폼 광학적 기술을 사용한다. 프리폼 광학적 표면들은 내부에서 광을 다수회 반사하도록 설계될 수 있으며, 이로써 광 경로를 폴딩하는데 미러들이 사용될 필요가 없다.

[0075] 본 발명에서, 광학적 경로들을 폴딩하기 위한 반사성 표면들은 광학적 능력을 갖는 평면형 미러들, 구형의, 비구형의, 또는 프리폼 표면들일 수 있다. 본 발명의 중요한 양상은 반사성 표면들 일부가 프리폼 광학적 기술을 사용하여 광학적 성능 및 컴팩트성을 증진시키는 것을 돕는다는 것에 있다. 본 발명에서는, 반사성 표면들 일부가 접안렌즈 또는 대물렌즈 광학체의 일체형 부분이 되게 전략적으로 설계되며, 반사성 표면들은 컴팩트한 디스플레이 설계을 달성하기 위한 광학적 경로의 폴딩을 용이하게 할 뿐만 아니라 광학적 능력에 기여하며 광학적 수차를 보정할 수 있다. 예를 들어, 도 2에서, 반사성 표면들(M1 내지 M3)은 접안렌즈 및 대물렌즈 광학체와는 별도의 일반적 미러들로서 도시되어 있다. 도 3에서는, 미러들 M1 내지 M3 중 2 개가 프리폼 접안렌즈 프리즘 및 대물렌즈 프리즘 내에 S2 및 S5로서 포함된 프리폼 표면들이다. 도 4에서는, 4개의 반사성 프리폼 표면들이 프리폼 대물렌즈 프리즘 내에 포함되어 있으며 2개의 반사성 프리폼 표면들이 프리폼 접안렌즈 프리즘 내에 포함되어 있다. 도 5에서는, 루프 프리즘 이외에, 1개의 반사성 표면이 대물렌즈 프리즘 내에 있고, 2개의 프리폼 표면들이 접안렌즈 내에 있다. 도 6에서는, 3개의 프리폼 표면들이 대물렌즈 광학체 내에 있고, 2개의 프리폼 표면들이 접안렌즈 내에 있다. 도 7에서는, 미러(790) 및 빔스플리터(780) 이외에, 2개의 반사성 프리폼 미러들이 대물렌즈 광학체 내에 있고, 2개의 프리폼 미러들이 접안렌즈 내에 있다.

[0076] 본 발명은 시스템을 통해 보여지는 투시 뷰가 정확하게 직립되도록(반전 또는 복구되지 않도록) 보장한다. 이를 달성하기 위한 본 실시예들에서는, 투시 경로에 형성된 중간 이미지들의 개수 및 투시 경로에 관여하는 반사 회수에 따라서 2개의 상이한 광학적 방법들이 이용되었다. 홀수 개수의 중간 이미지들의 경우에, 광학적 방법은 투시 경로에서 투시 뷰를 반전 및/또는 복구시키도록 제공된다. 예를 들어, 투시 경로에서 관여한 반사 회수에 따라, 가능한 방법들의 예들은 추가의 반사 또는 반사들을 삽입하는 것, 루프 미러 표면을 사용하는 것, 또는 직립 렌즈를 삽입하는 것을 포함하나, 이에 한정되지 않는다. 짝수 개수의 중간 이미지들의 경우에는, 패리티 변화가 필요하지 않다면, 어떠한 이미지 직립 요소도 필요하지 않다. 예를 들어, 다회 반사 프리폼 프리즘 구조체(통상적으로 2 회보다 많이 반사)는, 접안렌즈 또는 대물렌즈 광학체 또는 이 둘로서 사용될 수 있으며(이는, 대물렌즈 및/또는 접안렌즈 프리즘 안쪽에서 투시 광학적 경로를 다수 회 폴딩하는 것을 가능하게 함), 그리고 투시 뷰를 직립시키기 위해 프리즘 안쪽에 중간 이미지(들)를 형성하며, 이는 직립 루프 반사성 표면을 사용할 필요성을 제거한다.

[0077] 도 3에서는, 오직 1개의 중간 이미지가 투시 경로에 생성된다. 이 구조는 루프 프리즘(325)을 사용하여 직립된 투시 뷰를 적절하게 생성한다.

[0078] 도 4에서는, 4회 반사 프리폼 프리즘이 대물렌즈 광학체로서 사용되며, 이것은 2개의 중간 이미지들(이 프리즘 안쪽에서 하나(460), SLM에 대해서 하나(440))을 생성한다. 또한, 투시 경로 내에서는 총 8 회의 반사가 관여하게 되며, 이것은 패리티 무변화로 이어진다. 따라서, 직립된 뷰가 생성된다. 대물렌즈 광학체 및 접안렌즈의 구조는 동일한 결과들을 위해서 서로 바뀔 수도 있음에 유의한다.

[0079] 도 5에서는, 1개의 중간 이미지가 SLM을 위하여 투시 경로에 생성된다. 이 설계는 루프 프리즘(527)을 사용하여 직립된 투시 뷰를 생성한다.

[0080] 도 6에서는, 3회 반사 프리폼 프리즘이 대물렌즈 광학체로서 사용되며, 이것은 2개의 중간 이미지들(이 프리즘 안쪽에서 하나(660), SLM에 대해서 하나(640))을 생성한다. 또한, 투시 경로 내에서는 총 6 회의 반사가 관여하게 되며, 이것은 패리티 무변화로 이어진다. 따라서, 직립된 뷰가 생성된다. 대물렌즈 광학체 및 접안렌즈의 구조는 동일한 결과들을 위해서 서로 바뀔 수도 있음에 유의한다.

[0081] 도 7에서는, 대물렌즈 광학체(720)가 오직 2회 반사만을 사용하며, 빔스플리터(780)와 미러(790)의 조합이 투시 경로에서 2개의 중간 이미지들(SLM에 대해서 하나(740) 및 추가된 하나(760))을 생성하는 것을 가능하게 한다. 또한, 투시 경로 내에서는 총 8회의 반사가 관여하게 된다. 따라서, 직립된 투시 뷰가 생성된다.

[0082] 투시 헤드-장착형 디스플레이가 외부 장면의 패리티를 유지하여, HMD 없이도 사용자에게 그들의 일반적인 뷰들로서 실감나는 경험을 제공하는 것은 매우 중요하다.

[0083] 본 발명의 바람직한 실시예들이 도시 및 기술되었지만, 수정사항들이 첨부된 청구항들의 범위를 벗어나지 않으면서 이러한 실시예들에 대해 가능하다는 것은 본 기술 분야의 당업자에게 용이하게 명백해질 것이다. 청구항들에서 인용된 참조 번호들은 예시적인 것이고, 특허청이 검토하기 용이하게 제공된 것이며, 어떤 경우에도 한정적이지 않다. 일부 실시예들에서, 본 특허출원에서 제공된 도면들은 각도들, 치수 비들 등을 포함하여 크기대로 도시되지 않았다. 일부 실시예들에서, 도면들은 오직 대표적인 것이며 청구항들은 이 도면들의 치수들로 한정되지 않는다.

[0084] 아래의 청구항들에서 인용된 참조 부호들은 오로지 본 특허출원의 심사의 편의를 위해서만 존재하고, 예시적인 것이며, 어떠한 방식으로도 청구항들의 범위를 도면들에서의 대응하는 참조 번호들을 갖는 특정 특징부들로 한정하는 것으로 의도되지 않는다.

Claims

투시(see-through) 경로의 일부들을 가리기 위해 투시 뷰의 불투명도가 변조될 수 있도록 상기 투시 경로를 가상 뷰 경로와 결합하도록 구성된, 광학적 투시 머리-장착형 디스플레이 시스템(optical see-through head-mounted display system)으로서,
상기 시스템은:
a. 상기 가상 뷰 경로 상에서 사용자에 의해 감상될 가상 이미지를 생성하기 위한 마이크로디스플레이;
b. 상기 투시 경로 상의 외부 장면으로부터의 광을 수신하고 접으며(fold), 대물 광학체(objective optics)의 후초점면(back focal plane) 거리에 있는 공간적 광 변조기(spatial light modulator) 상에, 중간 이미지로서 상기 외부 장면으로부터의 광을 집속하도록 구성된 상기 대물 광학체;
c. 가려질 상기 투시 경로의 일부들을 차단하도록 상기 외부 장면으로부터의 광을 수정하기 위한 상기 공간적 광 변조기;
d. 상기 외부 장면으로부터의 광의 가려진 일부들에서 마이크로디스플레이로부터의 가상 이미지의 결합된 이미지를 생성하여, 상기 가상 뷰 경로와 가려진 투시 경로를 합치(merge)도록 구성된 빔 분할기;
e. 상기 결합된 이미지를 확대하도록 구성된 아이피스(eyepiece);
f. 상기 아이피스를 대면하도록 구성된 사출 동공(exit pupil) ― 상기 사출 동공을 통해, 사용자는, 상기 결합된 이미지를 관찰함―; 및
g. 상기 가상 뷰 경로 및 상기 투시 경로를 상기 사출 동공 쪽으로 구부리도록(fold) 구성된 복수의 표면들
을 포함하며,
상기 빔 분할기로부터 상기 마이크로디스플레이의 거리와 실질적으로 동일한 거리로 상기 공간적 광 변조기가 상기 빔 분할기로부터 떨어져 배치되어, 상기 마이크로 디스플레이 및 상기 공간적 광 변조기는 광학적으로 결합하는,
광학적 투시 머리-장착형 디스플레이 시스템.
제1항에 있어서,
상기 빔 분할기는 상기 대물 광학체로부터 고정된 거리만큼 떨어져 배치되고, 상기 대물 광학체의 도수(prescription)는 상기 후초점면 거리를 결정하는,
광학적 투시 머리-장착형 디스플레이 시스템.
제1항에 있어서,
상기 빔 분할기는 상기 공간적 광 변조기로부터 고정된 거리만큼 떨어져 배치되고, 상기 대물 광학체의 도수는 상기 후초점면 거리를 결정하는,
광학적 투시 머리-장착형 디스플레이 시스템.