KR20170065631A

KR20170065631A - 시스루 디스플레이 광학 구조

Info

Publication number: KR20170065631A
Application number: KR1020177012125A
Authority: KR
Inventors: 도슨 이; 조슈아 후드만
Original assignee: 마이크로소프트 코포레이션
Priority date: 2014-10-01
Filing date: 2015-10-01
Publication date: 2017-06-13
Also published as: CN107003520A; US20160097929A1; WO2016054341A1; EP3201658A1

Abstract

시스루 머리 장착형 디스플레이 장치에 유용한 광학 구조가 제공된다. 제1 및 제2의 부분적 반사 및 투과 요소들은 상기 광학 요소를 통해 임의 수의 광학 소스의 출력을 수신하도록 구성된다. 각각의 반사 및 투과 요소는 요소들 간에 소정의 에어 갭을 두고 장치 착용자에 대하여 광학 시축을 따라 배치된다. 각각의 반사 및 투과 요소는 광학 시축과 관련하여 오프 축 관계로 배치된 기하학적 축을 갖는다. 상기 오프 축 관계는 상기 광학 시축과 관련하여 임의의 각도를 이루고 및/또는 상기 광학 시축과 관련하여 수직으로 변위된 1개 또는 양 요소의 기하학적 축을 포함할 수도 있다.

Description

시스루 디스플레이 광학 구조{SEE-THROUGH DISPLAY OPTIC STRUCTURE}

시스루(see-through) 증강 현실 디스플레이 장치 시스템은 사용자가 실제 장면 위에 오버레이되는 정보를 볼 수 있게 한다. 핸즈프리 사용자 상호작용을 가능하게 하기 위해, 시스루 혼합 현실 디스플레이 장치 시스템은 시스루 옵틱스를 포함할 수 있다. 디스플레이를 통해 보기 위한 종래의 방법은 광학적 설계 및 미학에 관한 복수의 난제를 갖고 있다. 디스플레이를 통해 보기 위해, 옵틱스는 실세계와 디스플레이가 동시에 보여질 수 있도록 디스플레이가 아직 뷰의 동공으로 접어져 있는 동안 디스플레이가 시야 내에 있지 않도록 접어져야 한다.

프리즘과 같은 부피 옵틱스는 사용자에게 왜곡된 시야를 제공할 뿐만 아니라 미학적으로도 좋지 않은 외관을 제공한다.

본 발명의 기술은 광학 소스 디스플레이의 출력이 착용자에 대하여 외부 환경의 뷰에 겹쳐지게 하는 광학 구조를 포함한 시스루 머리 장착형 디스플레이 장치를 포함한다. 복수의 상이한 광학 소스 중 임의의 소스의 이미지 출력이 그 출력을 수신하기 위해 디스플레이 인근에 배치된 광학 요소에 제공될 수 있다. 제1 및 제2의 부분적 반사 및 투과 요소들이 상기 광학 요소로부터의 출력을 수신하도록 구성된다. 각각의 부분적 반사 및 투과 요소는 요소들 간에 에어 갭을 갖고 장치 착용자에 대하여 광학 시축(optical viewing axis)을 따라 배치된다. 각각의 부분적 반사 및 투과 요소는 광학 시축과 관련하여 오프 축(off-axis) 관계로 배치된 기하학적 축을 갖는다. 오프 축 관계는 광학 시축과 관련하여 미리 정해진 각도를 이루고 및/또는 광학 시축과 관련하여 수직으로 변위된 1개 요소 또는 양 요소의 기하학적 축을 포함할 수 있다.

이 요약은 청구된 주제의 핵심적 특징 또는 본질적 특징을 식별하기 위한 것으로 의도되지 않고, 또한 청구된 주제의 범위를 결정하는 보조물로 사용되는 것으로 의도되지 않는다.

도 1은 시스루 혼합 현실 디스플레이 장치 시스템의 일 실시형태의 예시적인 컴포넌트들을 보인 블록도이다.
도 2a는 하드웨어 및 소프트웨어 컴포넌트에 대한 지지를 제공하는 안경으로서 구체화되는 시스루 혼합 현실 디스플레이 장치의 일 실시형태에서 프레임 광학 구조의 안경 다리의 측면도이다.
도 2b는 시스루 근안 혼합 현실 장치의 통합형 눈 추적 및 디스플레이 광학 시스템 및 광학 구조의 일 실시형태의 상면도이다.
도 3a는 하나 이상의 실시형태와 함께 사용될 수 있는 시스루 근안(near-eye) 혼합 현실 디스플레이 장치의 하드웨어 및 소프트웨어 컴포넌트의 일 실시형태의 블록도이다.
도 3b는 처리 장치의 각종 컴포넌트를 설명하는 블록도이다.
도 4a는 본 발명에 따른 광학 구조의 투시도이다.
도 4b는 광학 구조의 제2 투시도이다.
도 4c는 광학 구조의 상부 평면도이다.
도 5a는 본 발명의 광학 구조의 광선 추적을 설명하는 측면도이다.
도 5b는 본 발명의 광학 구조의 오프셋 광축을 설명하는 제2 측면도이다.
도 6은 본 발명에 따른 시스루 광학 디스플레이의 성능을 설명하는 왜곡 그래프이다.
도 7은 본 발명의 변조 전달 함수(MTF) 곡선의 그래프이다.
도 8a 및 도 8b는 본 발명에 따라 형성된 광학 구조의 상면 만곡 및 왜곡을 각각 보인 도이다.
도 9 및 도 10은 본 발명에 따라 형성된 2개의 대안적 광학 구조의 측면도이다.

본 발명의 기술은 착용자에 대하여 광학 소스 디스플레이의 출력이 외부 환경의 뷰에 겹쳐지게 하는 광학 구조를 포함한 시스루 머리 장착형 디스플레이 장치를 제공한다. 복수의 상이한 광학 소스 중 임의의 소스의 이미지 출력이 그 출력을 수신하기 위해 디스플레이 인근에 배치된 광학 요소에 제공될 수 있다. 제1 및 제2의 부분적 반사 및 투과 요소들이 상기 광학 요소로부터의 출력을 수신하도록 구성된다. 각각의 부분적 반사 및 투과 요소는 비구면이고 요소들 간에 에어갭을 갖고 장치 착용자에 대하여 광학 시축과 관련해서 오프 축으로 배치될 수 있다. 각각의 부분적 반사 및 투과 요소는 착용자의 광학 시축과 관련하여 오프셋되도록 적응된 기하학적 축을 갖는다.

도 1은 시스루 혼합 현실 디스플레이 장치 시스템의 일 실시형태의 예시적인 컴포넌트들을 보인 블록도이다. 시스템(8)은 처리 장치(4)와 통신하는 근안 머리 장착형 디스플레이 장치(2)로서 시스루(see-through) 디스플레이 장치를 포함한다. 다른 실시형태에 있어서, 머리 장착형 디스플레이 장치(2)는 처리 장치(4)를 내장 유닛으로 통합한다. 처리 장치(4)는 내장 유닛 외에 다양한 실시형태를 취할 수 있다. 예를 들면, 처리 장치(4)는 스마트폰, 태블릿 또는 랩톱 컴퓨터와 같은 모바일 장치에서 구현될 수 있다. 일부 실시형태에 있어서, 처리 장치(4)는 사용자의 신체(예를 들면 도시된 예에서는 손목)에 착용하거나 또는 주머니에 넣을 수 있는 별도의 장치이고, 근안 디스플레이 장치(2)를 동작시키기 위해 사용되는 많은 컴퓨팅 전력을 포함한다. 처리 장치(4)는 이 예에서처럼 인근에 위치하거나 또는 원격에 위치하는 하나 이상의 허브 컴퓨팅 시스템(12)에 통신 네트워크(50)를 통해 무선으로(예를 들면, 와이파이, 블루투스, 적외선, RFID 전송, 무선 범용 직렬 버스(WUSB), 셀룰러, 3G, 4G 또는 다른 무선 통신 수단을 이용하여) 통신할 수 있다. 다른 실시형태에 있어서, 처리 장치(4)의 기능은 디스플레이 장치(2)의 소프트웨어 및 하드웨어 컴포넌트에 통합될 수 있다.

일 실시형태에서 프레임(115) 내의 안경의 형상을 갖는 머리 장착형 디스플레이 장치(2)는 사용자가 이 예에서 각 눈에 대한 디스플레이 광학 구조(14)로서 구현되는 디스플레이를 통하여 볼 수 있고, 이것에 의해 사용자 앞의 공간에 대한 실제 직접 보기를 할 수 있도록 사용자의 머리에 착용된다.

용어 "실제 직접 보기"(actual direct view)는 물체의 생성된 이미지 표시를 보는 것이 아니라 실세계 물체를 인간의 눈으로 직접 보는 능력을 말한다. 예를 들면, 방에서 안경을 통해 보는 것은 사용자가 방의 실제 직접 보기를 하게 하고, 텔레비전에서 방의 영상을 보는 것은 방의 실제 직접 보기가 아니다. 예컨대 게이밍 애플리케이션과 같은 소프트웨어를 실행하는 상황에 기초해서, 시스템은 시스루 디스플레이 장치를 착용한 사람에 의해 볼 수 있는 디스플레이에 가상 물체(가상 이미지라고도 가끔 부름)의 이미지를 투영할 수 있고, 한편 시스루 디스플레이 장치를 착용한 사람은 상기 디스플레이를 통해 실세계 물체를 또한 볼 수 있다.

프레임(115)은 시스템의 요소들을 제위치에 유지하기 위한 지지체뿐만 아니라 전기 접속을 위한 콘딧을 제공한다. 이 실시형태에서, 프레임(115)은 후술하는 시스템의 요소들에 대한 지지체로서 편리한 안경 프레임을 제공한다. 다른 실시형태에서는 다른 지지 구조를 사용할 수 있다. 이러한 구조물의 예로는 바이저 또는 고글이 있다. 프레임(115)은 사용자의 양쪽 귀에 걸치는 안경 다리 또는 사이드 암을 포함한다. 안경 다리(102)는 우측 안경 다리의 실시형태를 표시하고 디스플레이 장치(2)의 제어 회로(136)를 포함한다. 프레임(115)의 코 브릿지(104)는 음향을 녹음하고 오디오 데이터를 처리 장치(4)에 전송하는 마이크로폰(110)을 포함한다.

도 2 내지 5b 및 도 9-10에 도시된 실시형태에서는 시스템의 광학 컴포넌트들을 더 잘 나타내기 위해 도 1에 도시된 프레임(115)을 도시 생략하거나 부분적으로만 도시한다.

도 2a는 하드웨어 및 소프트웨어 컴포넌트에 대한 지지를 제공하는 안경으로서 구체화되는 시스루 혼합 현실 디스플레이 장치의 일 실시형태에서 프레임(115)의 안경 다리(102)의 측면도이다.

프레임(115)의 앞에는 처리 장치(40)에 전송되는 영상 또는 정지 화상을 포착할 수 있는 물리적 환경 대면, 즉 외향 대면 비디오 카메라(113)가 있다. 카메라로부터의 데이터는 이 데이터를 처리하는 제어 회로(136)의 프로세서(210)(도 3a)에 또는 처리 장치(4)에 또는 둘 다에 보내지고, 처리 장치(4)는 처리를 위해 네트워크(50)를 통해 하나 이상의 컴퓨터 시스템(12)에 데이터를 또한 보낼 수 있다. 처리는 사용자의 실세계 시야를 식별 및 매핑한다.

제어 회로(136)는 머리 장착형 디스플레이 장치(2)의 다른 컴포넌트들을 지원하는 각종 전자 부품들을 제공한다. 제어 회로(136)의 더 구체적인 세부는 도 3a와 관련하여 뒤에서 설명한다. 안경 다리(102)의 내측에는 이어폰(130), 관성 센서(132), GPS 트랜시버(144) 및 온도 센서(138)가 설치된다. 일 실시형태에 있어서, 관성 센서(132)는 3축 자력계(132A), 3축 자이로(132B) 및 3축 가속도계(132C)를 포함한다(도 3a 참조). 관성 센서는 머리 장착형 디스플레이 장치(2)의 위치, 방위 및 갑작스런 가속도를 감지하기 위한 것이다. 이러한 움직임으로부터 머리 위치가 또한 결정될 수 있다.

도 2b는 시스루 근안 증강 현실 또는 혼합 현실 장치의 디스플레이 광학 구조(14)의 일 실시형태의 상면도이다. 광학 구조(14)는 착용자의 임의의 눈(140)에 디스플레이(120)의 출력을 전송한다. 근안 디스플레이 장치(2)의 프레임(115)의 일부는 여기에서 및 뒤의 도면에서 도시된 것처럼 하나 이상의 광학 요소(150, 124, 126)에 대한 지지를 제공하고 전기 접속을 행하기 위해 디스플레이 광학 구조(14)를 둘러쌀 것이다. 머리 장착형 디스플레이 장치(2)에 있어서, 디스플레이 광학 구조(14)(이 경우에는 우측 눈 시스템을 위한 디스플레이 광학 구조(14r))의 각종 컴포넌트를 보이기 위해, 디스플레이 광학 시스템을 둘러싸는 프레임(115)의 일부는 도시 생략하였다.

광학 구조(14)의 위에는 마이크로 디스플레이(120)를 포함한 이미지 소스 또는 이미지 발생 유닛이 설치되고 제어 회로(136)에 결합된다. 일 실시형태에 있어서, 상기 이미지 소스는 하나 이상의 가상 물체의 이미지를 광학 구조(14)에 투영하기 위한 마이크로 디스플레이(120)를 포함하고, 광학 구조(14)의 일측(광학 구조(14r))이 도 2a 및 도 2b에 도시되어 있다.

복수의 상이한 이미지 발생 기술 중의 임의의 기술을 이용하여 마이크로 디스플레이(120)를 구현할 수 있다. 예를 들면, 마이크로 디스플레이(120)는 광원이 백색광으로 역광이 비추어지는 광학적 활성 물질에 의해 변조되는 투영 기술을 이용하여 구현될 수 있다. 이러한 기술은 일반적으로 강력한 백라이트 및 높은 광 에너지 밀도를 가진 LCD형 디스플레이를 이용하여 구현된다. 마이크로 디스플레이(120)는 외부 광이 광학적 활성 물질에 의해 반사되고 변조되는 반사 기술을 이용하여 또한 구현될 수 있다. 디지털 광 처리(digital light processing, DLP), 실리콘 위 액정(liquid crystal on silicon, LCOS) 및 퀄컴사(Qualcomm Inc.)로부터의 미라솔(Mirasol®) 디스플레이 기술은 모두 반사 기술의 예이다. 추가로, 마이크로 디스플레이(120)는 예컨대 마이크로비전사(Microvision, Inc.)로부터의 피콥(PicoP™) 디스플레이 엔진과 같이 광이 디스플레이에 의해 발생되는 발광 디스플레이를 이용하여 구현될 수 있다. 발광 디스플레이 기술의 다른 예로는 마이크로 유기 발광 다이오드(OLED) 디스플레이가 있다. 회사 이마진(eMagin) 및 마이크로오레드(Microoled)는 마이크로 OLED 디스플레이의 예를 제공한다.

일 실시형태에 있어서, 디스플레이 광학 구조(14r)는 여기에서 광학 요소(150)라고도 부르는 광학 요소, 제1의 부분적 반사 및 투과 요소(124), 및 내측에 있는 제2의 부분적 반사 및 투과 요소(126)를 포함한다. 각각의 요소(124, 126)는 머리 장착형 디스플레이 장치(2) 앞으로부터의 가시광이 자신을 통해 눈(140)으로 투과되게 한다. 선(142)은 디스플레이 광학 구조(14r)를 통과하는 사용자 눈(140)의 광축을 표시한다. 그러므로 사용자는 광학 구조(14)를 통해 마이크로 디스플레이(120)로부터 가상 이미지를 수신하는 것 외에 머리 장착형 디스플레이 장치(2)의 앞에 있는 공간의 실제 직접 보기를 할 수 있다.

요소(126)는 부분적 투과성인 제1 반사면(126a)(예를 들면, 미러 또는 다른 표면) 및 제2 투과면(126b)을 갖는다. 요소(124)는 부분적 투과성인 제1 반사면(124b) 및 제2 투과면(124a)을 갖는다. 마이크로 디스플레이(120)로부터의 가시광은 (도 5a의 광선 추적으로 나타낸 바와 같이) 광학 요소(150)를 통과하여 반사면(126a)에 입사하고 표면(124b)으로 및 착용자의 눈(140)을 향해 반사된다. 반사면(126a, 124b)은 디스플레이로부터의 이미징 광이 뒤에서 더 설명하는 바와 같이 내부 반사에 의해 구조(14) 내측에서 포획되도록 마이크로 디스플레이(120)로부터의 입사 가시광을 반사한다.

대안적 실시형태에 있어서, 광학 요소(150)는 사용할 필요가 없다. 광학 요소(150)를 사용하면 광학 요소가 없는 경우보다 더 큰 시야를 생성할 수 있다. 광학 요소(150)를 제거하면 구조(14)가 간단해진다.

적외선 조명 및 반사도 또한 눈 추적 시스템이 사용자 눈의 위치를 추적하도록 구조(14)를 관통한다. 사용자 눈은 사용자의 초점 영역 또는 시선인 환경의 부분집합에서 지향될 것이다. 눈 추적 시스템은 이 예에서 안경 다리(102)의 내측에 설치된 눈 추적 조명원(134A), 및 이 예에서 프레임(115)의 돌출부(brow)(103) 내측에 설치된 눈 추적 IR 센서(134B)를 포함한다. 눈 추적 IR 센서(134B)는 대안적으로 눈(140)의 IR 조명을 수신하도록 구조(14) 내의 임의 위치에 또는 마이크로 디스플레이(120)에 인접하게 배치될 수 있다. 눈 추적 조명원(134A)과 눈 추적 IR 센서(134B) 둘 다가 프레임(115) 내측에 설치되는 것도 또한 가능하다. 일 실시형태에 있어서, 눈 추적 조명원(134A)은 적외선 발광 다이오드(LED)와 같은 하나 이상의 적외선(IR) 에미터, 또는 미리 정해진 IR 파장 또는 어떤 범위의 파장 주위에서 방사하는 레이저(예를 들면, VCSEL)를 포함할 수 있다. 일부 실시형태에 있어서, 눈 추적 IR 센서(134B)는 반짝임 위치를 추적하기 위한 IR 카메라 또는 IR 위치 감지 검출기(PSD)일 수 있다.

IR 반사로부터, 안와(eye socket) 내의 동공의 위치는 눈 추적 IR 센서(134B)가 IR 카메라일 때 공지의 이미징 기술에 의해서, 및 눈 추적 IR 센서(134B)가 위치 감지 검출기(PSD) 유형일 때 반짝임 위치 데이터에 의해서 식별될 수 있다. 다른 유형의 눈 추적 IR 센서 및 눈 추적을 위한 다른 기술을 사용하는 것도 또한 가능하고 본 발명 실시형태의 범위에 속한다.

구조(14)에 결합한 후에, 마이크로 디스플레이(120)로부터의 이미지 데이터를 표시하는 가시 조명 및 IR 조명은 광학 구조(14) 내에서 내부적으로 반사된다.

일 실시형태에 있어서, 각각의 눈은 도 4a에 도시된 바와 같이 그 자신의 구조(14r, 14l)를 가질 것이다. 도 4a는 인간의 양 눈(140)을 향해 광학 구조 내의 디스플레이로부터의 광을 나타내는, 인간 머리와 관련한 마이크로 디스플레이(120) 및 광학 구조(14)를 보인 것이다. 머리 장착형 디스플레이 장치가 2개의 구조를 가질 때, 각 눈은 양 눈에서 동일한 이미지 또는 2개의 눈에서 다른 이미지를 디스플레이할 수 있는 그 자신의 마이크로 디스플레이(120)를 가질 수 있다. 또한, 머리 장착형 디스플레이 장치가 2개의 구조를 가질 때, 각 눈은 그 자신의 눈 추적 조명원(134A) 및 그 자신의 눈 추적 IR 센서(134B)를 가질 수 있다.

전술한 실시형태에 있어서, 도시된 렌즈들의 특정 수는 단지 예이다. 동일한 원리로 동작하는 다른 수 및 다른 구성의 렌즈를 사용할 수 있다. 게다가, 도 2a 및 도 2B는 머리 장착형 디스플레이 장치(2)의 반만을 보인 것이다.

도 3a는 하나 이상의 실시형태와 함께 사용될 수 있는 시스루 근안 혼합 현실 디스플레이 장치(2)의 하드웨어 및 소프트웨어 컴포넌트의 일 실시형태의 블록도이다. 도 3b는 처리 장치(4)의 각종 컴포넌트를 설명하는 블록도이다. 이 실시형태에서, 근안 디스플레이 장치(2)는 처리 장치(4)로부터 가상 이미지에 대한 명령어를 수신하고 센서로부터의 데이터를 처리 장치(4)에 제공한다. 예를 들면 도 3b에 도시된 바와 같이 처리 장치(4)에서 구체화될 수 있는 소프트웨어 및 하드웨어 컴포넌트는 디스플레이 장치(2)로부터 감지 데이터를 수신하고, 또한 컴퓨팅 시스템(12)으로부터 네트워크(50)를 통해 감지 정보를 수신할 수 있다. 그 정보에 기초하여, 처리 장치(4)는 사용자에게 가상 이미지를 제공할 장소 및 때를 결정하고, 그에 따라서 디스플레이 장치(2)의 제어 회로(136)에 명령어를 전송할 것이다.

도 3a의 컴포넌트들 중의 일부(예를 들면, 외향 즉 실제 환경 대면 카메라(113), 눈 카메라(134), 마이크로 디스플레이(120), 불투명도 필터(114), 눈 추적 조명 유닛(134A), 이어폰(130), 하나 이상의 파장 선택 필터(127) 및 온도 센서(138))는 그 각각의 장치가 적어도 2개, 즉 머리 장착형 디스플레이 장치(2)의 좌측용으로 적어도 1개 및 우측용으로 적어도 1개가 있을 수 있음을 표시하기 위해 그림자 모양과 함께 도시되었음에 주목한다. 도 3a는 전력 관리 회로(202)와 통신하는 제어 회로(200)를 도시하고 있다. 제어 회로(200)는 프로세서(210), 메모리(244)(예를 들면, D-RAM)와 통신하는 메모리 제어기(212), 카메라 인터페이스(216), 카메라 버퍼(218), 디스플레이 드라이버(220), 디스플레이 포매터(222), 타이밍 발생기(226), 디스플레이 출력 인터페이스(228) 및 디스플레이 입력 인터페이스(230)를 포함한다. 일 실시형태에 있어서, 제어 회로(200)의 모든 컴포넌트들은 하나 이상 버스의 전용선을 통해 서로 통신한다. 다른 실시형태에 있어서, 제어 회로(200)의 각 컴포넌트는 프로세서(210)와 통신한다.

카메라 인터페이스(216)는 2개의 실제 환경 대면 카메라(113), 및 이 실시형태에서 센서(134B)로서의 IR 카메라에 대한 인터페이스를 제공하고, 카메라(113, 134B)로부터 수신된 각각의 이미지를 카메라 버퍼(218)에 저장한다. 디스플레이 드라이버(220)는 마이크로 디스플레이(120)를 구동한다. 디스플레이 포매터(222)는 마이크로 디스플레이(120)에서 디스플레이되는 가상 이미지에 대한 정보를 혼합 현실 시스템을 위한 처리를 수행하는 하나 이상의 컴퓨터 시스템(예를 들면, 4, 12)의 하나 이상의 프로세서에 제공할 수 있다. 디스플레이 포매터(222)는 디스플레이 광학 구조(14)와 관련한 투과율 설정을 불투명도 제어 유닛(224)에 대하여 식별할 수 있다. 타이밍 발생기(226)는 시스템의 타이밍 데이터를 제공하기 위해 사용된다. 디스플레이 출력 인터페이스(228)는 실제 환경 대면 카메라(113) 및 눈 카메라(134B)로부터의 이미지를 처리 장치(4)에 제공하는 버퍼를 포함한다. 디스플레이 입력 인터페이스(230)는 마이크로 디스플레이(120)에서 디스플레이되는 가상 이미지와 같은 이미지들을 수신하는 버퍼를 포함한다. 디스플레이 출력 인터페이스(228) 및 디스플레이 입력 인터페이스(230)는 처리 장치(4)에 대한 인터페이스인 밴드 인터페이스(232)와 통신한다.

전력 관리 회로(202)는 전압 조절기(234), 눈 추적 조명 드라이버(236), 오디오 DAC 및 증폭기(238), 마이크로폰 전치증폭기 및 오디오 ADC(240), 온도 센서 인터페이스(242), 능동 필터 제어기(237) 및 클럭 발생기(245)를 포함한다. 전압 조절기(234)는 밴드 인터페이스(232)를 통해 처리 장치(4)로부터 전력을 수신하고 그 전력을 머리 장착형 디스플레이 장치(2)의 다른 컴포넌트에 제공한다. 조명 드라이버(236)는 미리 정해진 파장 주위에서 또는 미리 정해진 파장 범위 내에서 동작하도록 눈 추적 조명 유닛(234A)을 예를 들면 구동 전류 또는 구동 전압을 통해 제어한다. 오디오 DAC 및 증폭기(238)는 이어폰(130)에 오디오 데이터를 제공한다. 마이크로폰 전치증폭기 및 오디오 ADC(240)는 마이크로폰(110)에 대한 인터페이스를 제공한다. 온도 센서 인터페이스(242)는 온도 센서(138)에 대한 인터페이스를 제공한다. 능동 필터 제어기(237)는 각각의 파장 선택 필터(127)가 선택적 파장 필터로서 동작하기 위한 하나 이상의 파장을 표시하는 데이터를 수신한다. 전력 관리 유닛(202)은 또한 전력을 제공하고 3축 자력계(132A), 3축 자이로스코프(132B) 및 3축 가속도계(132C)로부터 데이터를 수신한다. 전력 관리 유닛(202)은 또한 전력을 제공하고 GPS 트랜시버(144)로/로부터 데이터를 전송/수신한다.

도 3b는 시스루 근안 혼합 현실 디스플레이 장치와 관련된 처리 장치(4)의 하드웨어 및 소프트웨어 컴포넌트의 일 실시형태의 블록도이다. 도 3b는 전력 관리 회로(306)와 통신하는 제어 회로(304)를 도시한다. 제어 회로(304)는 중앙 처리 장치(CPU)(320), 그래픽 처리 장치(GPU)(322), 캐시(324), RAM(326), 메모리(330)(예를 들면, D-RAM)와 통신하는 메모리 제어기(328), 플래시 메모리(334)(또는 다른 유형의 비휘발성 스토리지)와 통신하는 플래시 메모리 제어기(332), 밴드 인터페이스(302) 및 밴드 인터페이스(232)를 통해 시스루 근안 디스플레이 장치(2)와 통신하는 디스플레이 출력 버퍼(336), 밴드 인터페이스(302) 및 밴드 인터페이스(232)를 통해 근안 디스플레이 장치(2)와 통신하는 디스플레이 입력 버퍼(338), 마이크로폰에 접속하기 위해 외부 마이크로폰 커넥터(342)와 통신하는 마이크로폰 인터페이스(340), 무선 통신 장치(346)에 접속하기 위한 PCI 익스프레스 인터페이스(344), 및 USB 포트(348)를 포함한다.

일 실시형태에 있어서, 무선 통신 컴포넌트(346)는 와이파이 가능 통신 장치, 블루투스 통신 장치, 적외선 통신 장치, 셀룰러, 3G, 4G 통신 장치, 무선 USB(WUSB) 통신 장치, RFID 통신 장치 등을 포함할 수 있다. 따라서 무선 통신 컴포넌트(346)는 예를 들면 다른 디스플레이 장치 시스템(8)과의 피어 투 피어 데이터 전송뿐만 아니라 무선 라우터 또는 셀 타워를 통한 더 큰 네트워크에의 접속을 가능하게 한다. USB 포트는 처리 장치(4)를 다른 디스플레이 장치 시스템(8)에 결합(dock)하기 위해 사용될 수 있다. 추가로, 처리 장치(4)는 처리 장치(4)에 데이터 또는 소프트웨어를 로드할 뿐만 아니라 처리 장치(4)를 충전하기 위해 다른 컨퓨팅 시스템(12)에 결합할 수 있다. 일 실시형태에 있어서, CPU(320)와 GPU(322)는 가상 이미지를 사용자의 뷰에 어디에서 언제 어떻게 삽입할 것인지를 결정하는 주 워크호스(main workhorse)이다.

전력 관리 회로(306)는 클럭 발생기(360), 아날로그-디지털 컨버터(362), 배터리 충전기(364), 전압 조절기(366), 시스루 근안 디스플레이 전원(376), 및 온도 센서(374)(처리 장치(4)의 손목 밴드에 위치됨)와 통신하는 온도 센서 인터페이스(372)를 포함한다. 교류-직류 컨버터(362)는 AC 전원을 수신하여 시스템용의 DC 전원을 생성하기 위해 충전 잭(370)에 접속된다. 전압 조절기(366)는 시스템에 전력을 공급하기 위해 배터리(368)와 연결된다. 배터리 충전기(364)는 충전 잭(370)으로부터 전력을 수신한 때 (전압 조절기(366)를 통해) 배터리(368)를 충전하기 위해 사용된다. 장치 전력 인터페이스(376)는 디스플레이 장치(2)에 전력을 제공한다.

도 4a는 디스플레이로부터의 광이 어떻게 인간의 양 눈(140)을 향하여 광학 구조를 횡단하는지를 보이는, 인간의 머리와 관련한 마이크로 디스플레이(120)와 광학 구조(14)를 보인 것이다. 도 4b는 좌표계와 관련한 광학 구조(14)의 투시도이다. 도 4c는 도 4b의 평면도이다. 도 4b 및 도 4c에 도시된 것처럼, 광학 구조(14)는 사용자에게 더 부드러운 시각 윤곽을 제공하기 위해 광축(142)과 관련하여 C도의 각도로 회전될 수 있다. 일 실시형태에 있어서, C는 0도에서부터 약 10도까지의 범위이고 예를 들면 7도일 수 있다. 각각의 구조는 도 4c에 도시된 것처럼 코 브릿지(104)와 관련하여 각도 C만큼 외향으로 회전된다.

도 5a는 광학 구조(14)의 일측과 관련한 마이크로 디스플레이(120) 출력의 광선 추적을 보인 것이다. 도시된 것처럼, 마이크로 디스플레이(120)의 출력(예를 들면 적색, 녹색 및 청색 광의 3개의 출력으로 도시됨)은 먼저 광학 요소(150)를 통과한다.

마이크로 디스플레이(120)의 출력은 광학 요소(150)를 통하여 광학 구조(14)에 입력되고, 그 출력광은 표면(126a)에 의해 먼저 반사된다. 표면(126a)으로부터 이미지 광의 제1 부분이 부분적 반사면(124b) 쪽으로 반사되고 그 다음에 사용자의 눈(140)에 마이크로 디스플레이(120)로부터의 이미지를 제시하도록 요소(126)를 통해 투과된다. 사용자는 요소(124, 126)들을 통해 봄으로써 사용자 전방에 있는 외부 장면의 시스루 뷰를 획득한다.

사용자 눈(140)에 제시되는 결합 이미지는 외부 장면의 시스루 뷰의 적어도 일부 위에 오버레이드되는 마이크로 디스플레이(120)로부터의 디스플레이된 이미지로 구성된다.

각종 실시형태에 있어서, 마이크로 디스플레이(120)의 출력은 편광되고, 시스루 디스플레이 어셈블리(14)로부터 빠져나간 요소(120)로부터의 임의의 이미지 광이 디스플레이(120)에 의해 제공된 이미지 광과 동일한 선형 편광을 갖도록 출력의 선형 편광이 유지된다. 도 5b에 도시된 것처럼, 요소(124, 126)와 사용자의 광축(142)은 모두 다른 광축에 위치된다.

요소(126, 124)는 예를 들면 내충격성 플라스틱으로 형성되고 전체적으로 일정한 두께를 가질 수 있다. 일 실시형태에 있어서, 요소(126)의 두께는 약 1.0mm이고 요소(124)의 두께는 약 1.5mm일 수 있다. 각 요소는 기본 플라스틱 요소를 유전체 코팅 또는 금속막과 같은 부분 반사 및 부분 투과 코팅 물질로 코팅함으로써 형성된다. 요소(124, 126)들을 사용하면서 요소들 사이에 에어 갭을 두면 플라스틱 요소 위에 표준 부분적 반사 코팅을 사용할 수 있다. 이것은 광학 구조(14)의 제조성을 증가시키고 시스템을 전체적으로 강화시킨다. 좌우 불균형(free form) 프리즘과 같은 종래의 구조와 달리, 도파관 또는 반사 요소로서 사용되는 광학 물질의 두꺼운 층에 의해 부여되는 왜곡 또는 불균일 두께는 없다. 요소(124, 126)들 중의 하나 또는 둘 다는 비구면일 수 있다. 또한, 요소들 중의 하나 또는 둘 다는 장치를 착용했을 때 요소(124, 126)를 통과하는 사용자의 광축(142)이 각 요소의 기하학적 축(도 5b에서 155 및 157로 표시한 축)에 중심이 맞추어지지 않도록 "오프 축"으로 제공될 수 있다.

일 실시형태에 있어서, 광학 요소(150)는 요소(124, 126)와 관련하여 마이크로 디스플레이(120)의 출력의 시야를 증가시키기 위해 제공된다. 일 실시형태에 있어서, 마이크로 디스플레이(120)는 광학 구조(14)와 함께 30도(수평)×19도(수직)의 시야를 갖고 픽셀 크기가 약 12미크론인 1920×1080 픽셀 해상도를 제공한다.

다른 실시형태에 있어서, 광학 요소(150)는 처리 회로(136)의 제어하에 동작하는 가변 초점 렌즈를 포함할 수 있다. 여기에서 사용하기에 적합한 가변 초점 렌즈의 일 예는 광학 렌즈, 및 인가 전압에 의해 제어되는 변형 영역을 포함한 액추에이터 유닛을 포함하고, 이것은 렌즈의 초점을 변화시킨다(예를 들면, 미국 특허 제7,619,837호 참조). 임의 수의 다른 유형의 제어기가 렌즈(152)와 관련하여 제공되어 광학 렌즈(150)의 처방(prescription)을 변화시킬 수 있다. 대안적으로, 프랑스 그르노블에 소재하는 미나텍(Minatech)으로부터 입수 가능한 웨이브렌즈(Wavelens)와 같은 정전 평행판에 의해 작동되는 얇은 가변 초점 액체 렌즈를 사용할 수 있다.

도 5b에 도시된 것처럼, 다른 하나의 독특한 양태에 있어서, 요소(124, 126)는 광축(142)과 관련하여 경사각(A, B) 및 (수직) 변위 오프셋(C, D)을 갖는다. 사용자의 광학 시축(142)은 시스템(14)을 통한 사용자의 주 시축을 표시한다. 요소(124)의 광축(157)은 약 30도의 각도(A) 및 40mm의 변위(C)만큼 축(142)에 대하여 오프셋된다. 요소(126)의 광축(155)은 약 25도의 각도(B) 및 10mm의 변위(D)만큼 축(142)에 대하여 오프셋된다. 대안적인 실시형태에 있어서, 각도(A, B)는 20-45도의 범위 내에 있고 수직 오프셋(C-D)은 0-40mm의 범위 내에 있을 수 있다.

본 발명의 오프 축 구현은 전술한 균일 두께 플라스틱 및 박막 코팅을 이용한 광학 구조(14)의 제조를 가능하게 한다.

또한, 요소(124, 126)들 중의 하나 또는 둘 다는 비구면(124a, 124b, 126a, 126b)으로 형성될 수 있다(도 5b에 단면도로 도시되어 있음).

요소(124)의 부분적 반사 및 투과면(124b)은 오목하고 요소(126)의 볼록한 부분적 반사 및 투과면(126a)에 대향한다는 점에 주목해야 한다. 종래의 실시형태와 달리, 에어 갭이 요소(124, 126, 150)들을 분리한다.

도 6은 본 발명에 따른 시스루 광학 디스플레이의 성능을 설명하는 왜곡 그래프이다. 여기에 도시된 것처럼, 직사각형 그리드는 광학 시스템을 통한 사용자 뷰에서의 이상적인 성능을 나타내고, "x"는 광학 시스템으로부터 야기되는 왜곡량을 나타낸다. 도 7에 도시된 것처럼, 왜곡은 최소일 뿐만 아니라 시야에 걸쳐 대칭이다.

도 7은 본 발명에 따른 변조 전달 함수(MTF) 곡선의 그래프이다. 그래프는 각 점에서 2개의 MTF, 즉 (이미지 중심으로부터 멀어지는) 방사상(또는 시상(sagittal)) 방향을 따르는 하나의 MTF와 방사상 방향에 직각인 (이미지 중심 주위의 원을 따르는) 접선 방향에서의 하나의 MTF에 대하여 보인 것이다. MTF 그래프는 선의 주파수(사이클/mm) 대 전달 콘트라스트의 백분율을 보인 것이다. 각 MTF 곡선은 시상 또는 접선 방향에서 이미지 중심으로수터의 거리와 관련하여 보인 것이다. (예를 들면 시스템 설계자에 의해 결정되는) 본 발명의 이상적인 MTF 곡선은 장치의 바람직한 해상도에 기초를 둔다. 이상적인 MTF 곡선 및 동반하는 곡선은 본 발명에 의해 생성된 장치의 이미징 성능을 나타낸다. 더 높은 공간 주파수에서의 더 높은 변조 값은 더 깨끗한 이미지에 대응한다.

도 8a 및 도 8b는 본 발명에 따라 형성된 광학 구조의 상면 만곡 및 왜곡을 각각 보인 것이다.

도 9 및 도 10은 본 발명의 추가 실시형태를 나타낸다. 여기에 도시된 것처럼, 광학 요소(124, 126)들 중의 하나는 평면 요소로서 형성될 수 있다. 도 9에 도시된 것처럼, 요소(126)가 평면 요소로서 제공될 수 있다. 도 10에 도시된 것처럼, 요소(124)가 평면 요소로서 형성될 수 있다.

예시적인 실시형태

상기 설명에 따라서, 본 발명의 기술은 광학 시축에 이미지를 출력하도록 적응된 광학 디스플레이 시스템을 포함한다. 이 시스템은 이미지 소스와; 광학 시축을 따라 배치되고 광학 시축과 관련하여 오프 축으로 배치되는 제1 기하학적 축을 갖는 제1 광학 요소와; 광학 시축을 따라 배치되고 광학 시축과 관련하여 오프 축으로 배치되는 기하학적 축을 갖는 제2 광학 요소를 포함한다.

본 발명의 하나 이상의 실시형태는 오프 축이 광학 시축과 관련하여 어떤 각도로 배치된 기하학적 축을 포함하는 전술한 실시형태를 포함한다.

실시형태는 오프 축이 광학 시축과 관련하여 수직으로 변위된 기하학적 축을 포함하는 전술한 임의의 실시형태에서와 같은 시스템을 포함한다.

실시형태는 광학 요소들 중 적어도 하나가 비구면 광학 요소를 포함하는 전술한 임의의 실시형태에서와 같은 시스템을 포함한다.

실시형태는 이미지 소스와 제1 및 제2 광학 요소 사이에 배치된 제3 광학 요소를 추가로 포함하는 전술한 임의의 실시형태에서와 같은 시스템을 포함한다.

실시형태는 제3 광학 요소가 가변 초점 요소인 전술한 임의의 실시형태에서와 같은 시스템을 포함한다.

실시형태는 제1 광학 요소와 제2 광학 요소가 적어도 하나의 부분적 반사 및 투과면을 각각 포함한 균일한 플라스틱 기판을 포함하는 전술한 임의의 실시형태에서와 같은 시스템을 포함한다.

실시형태는 제1 광학 요소와 제2 광학 요소가 에어 갭에 의해 분리된 전술한 임의의 실시형태에서와 같은 시스템을 포함한다.

실시형태는 상기 각 요소가 비구면이고 제1 요소의 적어도 하나의 부분적 반사 및 투과면이 오목하고 제2 요소의 적어도 하나의 부분적 반사면에 대향하며 상기 제2 요소의 적어도 하나의 부분적 반사면이 볼록한 것인 전술한 임의의 실시형태에서와 같은 시스템을 포함한다.

실시형태는 적어도 하나의 광학 요소가 평면 요소인 전술한 임의의 실시형태에서와 같은 시스템을 포함한다.

본 발명의 하나 이상의 실시형태는 시스루 머리 장착형 디스플레이를 포함한다. 이 디스플레이는 프레임과; 출력을 가진 디스플레이와; 제1의 부분적 반사 및 투과 요소와; 제2의 부분적 반사 및 투과 요소를 포함하고, 상기 각 요소는 제1의 부분적 반사 및 투과 요소가 광학 시축과 관련하여 오프 축으로 배치되는 제1 기하학적 축을 갖고 제2의 부분적 반사 및 투과 요소가 광학 시축과 관련하여 오프 축으로 배치되는 광학 축을 갖도록 요소들 간에 에어 갭을 두고 프레임의 착용자에 대하여 광학 시축을 따라 배치되며; 상기 요소들은 광학 시축에 출력을 제공하도록 적응된다.

실시형태는 상기 디스플레이와 상기 제1 부분적 반사 및 투과 요소와 제2 부분적 반사 및 투과 요소 사이에 배치된 제3 광학 요소를 추가로 포함하는 전술한 임의의 실시형태에서와 같은 디스플레이를 포함한다.

실시형태는 적어도 하나의 광학 요소가 비구면인 전술한 임의의 실시형태에서와 같은 디스플레이를 포함한다.

실시형태는 오프 축이 상기 광학 시축과 관련하여 어떤 각도로 배치된 적어도 하나의 상기 기하학적 축을 포함하는 전술한 임의의 실시형태에서와 같은 디스플레이를 포함한다.

실시형태는 오프 축이 상기 광학 시축과 관련하여 수직으로 변위된 적어도 하나의 상기 기하학적 축을 더 포함하는 전술한 임의의 실시형태에서와 같은 디스플레이를 포함한다.

본 발명의 하나 이상의 실시형태는 디스플레이 장치를 포함한다. 디스플레이 장치는 출력을 가진 마이크로 디스플레이와; 상기 출력을 수신하도록 상기 디스플레이 인근에 배치된 광학 요소와; 상기 광학 요소로부터 출력을 수신하도록 구성된 제1의 부분적 반사 및 투과 요소와; 상기 제1의 부분적 반사 및 투과 요소로부터 반사된 출력을 수신하도록 구성된 제2의 부분적 반사 및 투과 요소를 포함하고, 상기 각 요소는 장치의 착용자에 대하여 광학 시축을 따라 배치되고 그 사이에 에어 갭을 가지며 상기 광학 시축과 관련하여 임의의 각도로 배치된 기하학적 축을 갖는다.

실시형태는 각 요소의 기하학적 축이 상기 광학 시축과 관련하여 수직으로 변위된 전술한 임의의 실시형태에서와 같은 디스플레이를 포함한다.

실시형태는 적어도 하나의 상기 요소가 비구면인 전술한 임의의 실시형태에서와 같은 디스플레이를 포함한다.

실시형태는 각 요소가 적어도 하나의 부분적 반사 및 투과면을 포함하고, 제1의 부분적 반사 및 투과 요소의 표면은 오목하고 제2의 부분적 반사 및 투과 요소의 표면은 볼록한 전술한 임의의 실시형태에서와 같은 디스플레이를 포함한다.

실시형태는 적어도 하나의 부분적 반사 및 투과 요소가 평면인 전술한 임의의 실시형태에서와 같은 디스플레이를 포함한다.

본 발명의 하나 이상의 실시형태는 광학 시축(142)에 이미지를 출력하도록 적응된 광학 디스플레이 수단(14)을 포함한 기술을 포함할 수 있다. 상기 디스플레이 수단은 광학 시축을 따라 배치되고 광학 시축과 관련하여 오프 축으로 배치되는 제1 기하학적 축(155)을 갖는, 이미지를 반사 및 투과하는 제1 수단(124)과; 상기 광학 시축을 따라 배치되고 상기 광학 시축과 관련하여 오프 축으로 배치되는 기하학적 축(157)을 갖는, 이미지를 반사 및 투과하는 제2 수단(126)을 포함한다. 제3 광학 요소(150)는 이미지를 상기 제1 광학 수단과 제2 광학 수단에 집속하는 수단을 포함할 수 있다.

비록 주제를 구조적 특징 및/또는 방법론적 작용에 특유한 언어로 설명하였지만, 첨부된 특허 청구범위에서 규정되는 주제는 반드시 전술한 구체적인 특징 또는 작용으로 제한되는 것이 아니다. 전술한 구체적인 특징 및 작용은 특허 청구범위를 구현하는 예시적인 형태로서 개시된다.

Claims

광학 시축(viewing axis)에 이미지를 출력하도록 구성된 광학 디스플레이 시스템에 있어서,
이미지 소스와,
광학 시축을 따라 배치되고 상기 광학 시축과 관련하여 오프 축(off-axis)으로 배치되는 제1 기하학적 축을 갖는 제1 광학 요소와,
광학 시축을 따라 배치되고 광학 시축과 관련하여 오프 축으로 배치되는 기하학적 축을 갖는 제2 광학 요소를 포함한 광학 디스플레이 시스템.
제1항에 있어서, 상기 오프 축은 상기 광학 시축과 관련하여 임의의 각도로 배치된 기하학적 축을 포함하는 것인 광학 디스플레이 시스템.
제2항에 있어서, 제3 광학 요소가 가변 초점 요소인 광학 디스플레이 시스템.
제1항에 있어서, 상기 오프 축은 상기 광학 시축과 관련하여 수직으로 변위된 기하학적 축을 포함하는 것인 광학 디스플레이 시스템.
제1항에 있어서, 상기 광학 요소들 중 적어도 하나는 비구면 광학 요소를 포함하는 것인 광학 디스플레이 시스템.
제1항에 있어서, 상기 이미지 소스와 상기 제1 및 제2 광학 요소 사이에 배치된 제3 광학 요소를 더 포함하는 광학 디스플레이 시스템.
제1항에 있어서, 상기 제1 광학 요소와 상기 제2 광학 요소는 적어도 하나의 부분적 반사 및 투과면을 각각 포함한 균일한 플라스틱 기판들을 포함하는 것인 광학 디스플레이 시스템.
제5항에 있어서, 상기 제1 광학 요소와 상기 제2 광학 요소는 에어 갭에 의해 분리되는 것인 광학 디스플레이 시스템.
제8항에 있어서, 상기 각 요소는 비구면이고, 상기 제1 요소의 적어도 하나의 부분적 반사 및 투과면은 오목하고 상기 제2 요소의 적어도 하나의 부분적 반사면에 대향하며, 상기 제2 요소의 적어도 하나의 부분적 반사면은 볼록한 것인 광학 디스플레이 시스템.
제1항에 있어서, 상기 광학 요소들 중 적어도 하나는 평면 요소를 포함하는 것인 광학 디스플레이 시스템.
시스루 머리 장착형 디스플레이에 있어서,
프레임과,
출력을 가진 디스플레이와,
제1의 부분적 반사 및 투과 요소와;
제2의 부분적 반사 및 투과 요소를 포함하고,
상기 각 요소는, 상기 제1의 부분적 반사 및 투과 요소가 광학 시축과 관련하여 오프 축으로 배치되는 제1 기하학적 축을 갖고 상기 제2의 부분적 반사 및 투과 요소가 광학 시축과 관련하여 오프 축으로 배치되는 광학 축을 갖도록, 상기 요소들 간에 에어 갭을 두고 상기 프레임의 착용자에 대하여 광학 시축을 따라 배치되며,
상기 요소들은 상기 광학 시축에 상기 출력을 제공하도록 구성된 것인 시스루 머리 장착형 디스플레이.
제11항에 있어서, 상기 디스플레이와 상기 제1의 부분적 반사 및 투과 요소와 상기 제2의 부분적 반사 및 투과 요소 사이에 배치된 제3 광학 요소를 더 포함하는 시스루 머리 장착형 디스플레이.
제12항에 있어서, 적어도 하나의 광학 요소는 비구면인 시스루 머리 장착형 디스플레이.
제13항에 있어서, 상기 오프 축은 상기 광학 시축과 관련하여 임의의 각도로 배치된 적어도 하나의 상기 기하학적 축을 포함하는 것인 시스루 머리 장착형 디스플레이.
디스플레이 장치에 있어서,
출력을 가진 마이크로 디스플레이와,
상기 출력을 수신하도록 상기 디스플레이 인근에 배치된 광학 요소와,
상기 광학 요소로부터 출력을 수신하도록 구성된 제1의 부분적 반사 및 투과 요소와,
상기 제1의 부분적 반사 및 투과 요소로부터 반사된 출력을 수신하도록 구성된 제2의 부분적 반사 및 투과 요소를 포함하고,
상기 각 요소는 장치의 착용자에 대하여 광학 시축을 따라 배치되고 그 사이에 에어 갭을 가지며 상기 광학 시축과 관련하여 임의의 각도로 배치된 기하학적 축을 갖는 것인 디스플레이 장치.