KR20170042332A

KR20170042332A - 볼륨 브래그 격자를 사용하는 도파관 눈 추적

Info

Publication number: KR20170042332A
Application number: KR1020177006801A
Authority: KR
Inventors: 스티븐 로빈스; 이안 에이 응우옌; 신예 로우
Original assignee: 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date: 2014-08-11
Filing date: 2015-08-10
Publication date: 2017-04-18
Also published as: US20160041384A1; EP3180647B1; CN106662685B; EP3180647A1; CN106662685A; WO2016025350A1; KR102416401B1; US9377623B2

Abstract

적외선 파장을 갖는 적외선에 의해 조명되는 눈을 추적하는데 사용되는 투명한 도파관은 적외선 파장을 갖는 적외선을 수신하고 수신된 적외선을 도파관 내로 결합시키도록 구성된 볼륨 브래그 격자형 입력-커플러를 포함한다. 볼륨 브래그 격자는 하부(lower) 경계 및 하부 경계보다 출력-커플러에 더 가까운 상부(upper) 경계를 포함한다. 하부 경계에서의 볼륨 브래그 격자의 k-벡터 각도는 상부 경계에서의 k-벡터 각도보다 크며, 하부 경계와 상부 경계 사이의 볼륨 브래그 격자의 k-벡터 각도는 볼륨 브래그 격자의 격자 평면 및 상부 경계 사이의 거리가 감소함에 따라 점차 감소한다. 또한, 볼륨 브래그 격자는 바람직하게는 5도 이하의 각도 대역폭을 갖는다.

Description

볼륨 브래그 격자를 사용하는 도파관 눈 추적{WAVEGUIDE EYE TRACKING EMPLOYING VOLUME BRAGG GRATING}

시스루(see-through), 혼합 현실 디스플레이 장치 시스템은 사용자로 하여금 물리적 풍경 상에 중첩된 디지털 정보를 관측할 수 있게 한다. 핸즈프리 사용자 상호 작용을 가능하게 하기 위해, 시스루(see-through) 혼합 현실 디스플레이 장치 시스템에는 눈 추적기가 추가적으로 장착될 수 있다. 전형적으로, 눈 추적기는 시선 방향을 계산하기 위한 반사된 번쩍임(glint) 및 홍채 움직임을 관찰하기 위해, 사용자의 눈을 조명하기 위한 적외선(IR) 광원 및 사용자의 눈을 촬상하기 위한 센서(예: 카메라)를 포함한다. 눈의 조명 및 촬상은 바람직하게는, 혼합 현실 디스플레이 장치 시스템의 시스루 특성들이 눈 추적 하드웨어에 의해 손상되지 않고, 눈의 촬상은 모든 유형의 처방 안경과 함께 작동하며, 눈의 촬상은 전체 눈 움직임 범위에 더하여 동공 사이 거리 범위 및 눈동자 거리(eye relief)의 거리 범위를 커버하도록 구현될 수 있다.

눈 추적을 위해 눈을 촬상하는 한 가지 방법은 헤드 마운트 디스플레이(head mounted display, HMD) 장치의 프레임 상에 장착된 간단한 카메라를 사용하는 것이며, 여기서 카메라는 사용자의 눈에 직접 초점을 맞춘다. 다시 말해서, 카메라에서부터 눈까지의 직접적인 가시선(line of sight)이 있다. 이러한 구성은 비교적 간단하고 저렴하지만 눈에 대한 카메라의 위치와 움직임에 매우 민감하다. 또한, 이러한 구성을 사용할 때 카메라는 눈높이에 가깝게 배치되어야 하는데, 이는 일반적으로 혼합 현실 디스플레이 장치 시스템의 시스루(see-through) 특성의 적어도 부분적인 방해를 초래한다. 대안적으로, 부분 반사경을 사용하여 카메라 보기(view) 경로를 사용자의 관자놀이로 접을 수 있다. 이러한 대안적인 구성은 카메라가 시스루 필드 외부에 배치되도록 허용하지만, 눈 추적이 처방 안경과 함께 작동해야 하는 경우, 이 대안 구성의 구현은 문제가 된다.

다른 가능성은 자유형(free form) 프리즘 또는 다른 접안 렌즈 기반의 혼합 현실 디스플레이 장치 시스템에서 역 광경로 촬상을 사용하는 것이다. 이 기술은 눈 추적을 위한 촬상 기능을 또한 제공하기 위해 실제 디스플레이 광학에 의존한다. 그러나, 자유형(free form) 프리즘 또는 접안 렌즈의 구성 요소는 크기가 상당히 큰 경향이 있기 때문에, 이러한 접근법은 항상 실용적이지는 않다. 눈 추적만을 위한 자유형 광학 요소를 추가하는 것 또한 가능하지만, 비용이 많이 들고 시스템에 상당한 무게와 크기가 추가된다.

본 명세서에 기술된 특정 실시예는 적외선에 의해 조명되는 눈을 추적하는데 사용하기 위한 도파관에 관한 것이다. 그러한 도파관은 헤드 마운트 디스플레이(HMD) 내에 사용될 수 있지만, 이것과 함께 사용하기 위해 제한되지 않으며, 투명하고, 입력-커플러 및 출력-커플러를 포함한다. 특정 실시예에 따라, 입력-커플러는 적외선 파장을 갖는 적외선을 수신하고 수신된 적외선을 도파관 내로 결합하도록 구성된 볼륨 브래그 격자(volume Bragg grating)를 포함한다. 볼륨 브래그 격자는 하부 경계 및 상부 경계를 포함하며, 상부 경계는 하부 경계보다 출력-커플러에 더 가깝다. 일 실시예에 따르면, 볼륨 브래그 격자는 상부 경계에서의 k-벡터 각도보다 더 큰 하부 경계에서의 k-벡터 각도를 갖고, 하부 경계와 상부 경계 사이의 볼륨 브래그 격자의 k-벡터 각도는 볼륨 브래그 격자의 격자 평면과 상부 경계 사이의 거리가 감소함에 따라 점차적으로 감소한다. 이것은 적어도 볼륨 브래그 격자형 입력-커플러에 의해 도파관 내로 결합된 적외선의 대부분이 도파관 내에서 도파관의 출력-커플러로 전파되도록 한다.

일 실시예에 따르면, 볼륨 브래그 격자는 눈 추적에 사용하기 위해 적외선의 적외선 파장에 일치되는 브래그 파장을 갖는다. 또한, 볼륨 브래그 격자는 렌즈 굴절력(lens power)과 프리즘 굴절력(prism power)을 모두 포함한다. 볼륨 브래그 격자의 렌즈 굴절력은 볼륨 브래그 격자의 초점 길이를 지정한다. 볼륨 브래그 격자의 프리즘 굴절력은 볼륨 브래그 격자에 의해 수신된 적외선을 도파관 내로 결합시킨다.

일 실시예에 따르면, 볼륨 브래그 격자의 각도 대역폭은 전파 방향(즉, 격자 선들에 수직)으로 5도 이하이다. 보다 구체적으로, 볼륨 브래그 격자의 각도 대역폭은 전파 방향으로 약 1.5 도일 수 있다. 이 좁은 각도 대역폭은 상이한 적외선 빔이 도파관 내에서 볼륨 브래그 격자형 입력-커플러로부터 출력-커플러로 전파될 때, 눈의 동일한 지점에서 반사된 후에(상이한 눈동자 거리에서) 도파관 내로 결합된 상이한 적외선 빔이 시준(collimate)되지 않는 정도를 제한하는 데 사용된다. 따라서, 좁은 각도 대역폭의 사용은 다중 촬상의 범위를 제한하며, 이는 이하에서 추가로 자세히 논의된다.

입력-커플러가 적외선으로 조명되는 눈의 전방에 위치될 때, 눈으로부터 반사되고 입력-커플러에 의해 수신되는 적외선의 적어도 일부는 입력-커플러에서 도파관 내로 결합되고, 내부 전반사(total internal reflections)를 통해 입력-커플러에서 출력-커플러로 도파관 내에서 전파하며, 출력-커플러에서 도파관을 나간다.

일 실시예에서, 입력-커플러 및 출력-커플러는 실질적으로 텔레센트리시티(telecentricity)를 달성하도록 서로에 대해 위치 설정된다. 또한, 텔레센트리시티를 실질적으로 달성하기 위해, 입력-커플러의 각 지점의 각도 대역폭은 실질적으로 입력-커플러의 주광선(chief ray)에 집중되며, 입력-커플러의 모든 주광선은 서로 실질적으로 평행하다. 출력-커플러는 예를 들어, 선형 격자, 홀로그램 격자 또는 프리즘일 수 있지만, 이에 제한되는 것은 아니다.

이 요약은 이하의 상세한 설명에서 더 설명되는 단순화된 형태의 개념의 선택을 소개하기 위해 제공된다. 이 요약은 청구된 주제의 주요 특징이나 필수 특징을 식별하기 위한 것이 아니며 청구된 주제의 범위를 결정하는 데 도움을 주기 위한 것이 아니다.

도 1은 시스루, 혼합 현실 디스플레이 장치 시스템의 일 실시예의 예시적인 구성 요소들을 나타낸 블록도이다.
도 2a는 하드웨어 및 소프트웨어 구성 요소에 대한 지원을 제공하는 안경으로 구현된 시스루, 혼합 현실 디스플레이 장치의 실시예에서의 프레임의 안경 다리의 측면도이다.
도 2b는 시스루, 니어-아이(near-eye), 혼합 현실 장치의 통합 눈 추적 및 디스플레이 광학 시스템의 실시예의 평면도이다.
도 3a는 하나 이상의 실시예와 함께 사용될 수 있는 시스루, 니어-아이, 혼합 현실 디스플레이 장치의 하드웨어 및 소프트웨어 구성 요소의 일 실시예의 블록도이다.
도 3b는 프로세싱 유닛의 다양한 구성 요소들을 설명하는 블록도이다.
도 4a는 일 실시예에 따른 도파관을 포함하는 눈 추적 시스템의 일부의 측면도를 도시한다.
도 4b는 도 4a에 도입된 도파관의 부분의 확대(blow up)이다.
도 4c는 도파관의 입력-커플러의 예시적인 k-벡터 및 대응하는 예시적인 k-벡터 각도를 도시한다.
도 5는 위상 복사(phase copy) 마스터 홀로그램을 생성하기 위해 렌즈 굴절력(lens power) 및 웨지 굴절력(wedge power)이 2 빔 프로세스에서 수학적으로 결합될 수 있는 방법을 도시하며, 이는 차례로 콘택트 복사(contact copy) 프로세스에서 일 실시예에 따라 볼륨 브래그 격자형 입력 격자를 생성하는데 사용된다.
도 6은 눈을 추적하는데 사용하기 위한 방법을 요약하는데 사용되는 상위 레벨 흐름도이다.

본 기술의 특정 실시예는 혼합 현실 디스플레이 장치 시스템의 시스루 특성을 손상시키지 않으면서 눈 추적을 위해 눈을 촬상할 수 있게 하는 도파관에 관한 것이다. 또한, 이러한 실시예는 처방 안경과 함께 유리하게 사용될 수 있다. 또한, 이러한 실시예는 전체 눈 움직임 범위에 더하여 동공 사이 거리 범위 및 눈동자 거리(eye relief)의 거리 범위를 커버하는 눈의 촬상을 수행하는데 사용될 수 있다. 그러나, 그러한 실시예들을 더 상세히 논의하기 전에, 본 기술의 실시예가 사용될 수 있는 예시적인 시스루 혼합 현실 디스플레이 장치 시스템을 먼저 설명하는 것이 유용하다.

도 1은 시스루, 혼합 현실 디스플레이 장치 시스템의 일 실시예의 예시적인 구성 요소들을 나타내는 블록도이다. 시스템(8)은 와이어(6)를 통해 프로세싱 유닛(4)과 통신하는 니어-아이 헤드 마운트 디스플레이 장치(2)로서 시스루 디스플레이 장치를 포함한다. 다른 실시예에서, 헤드 마운트 디스플레이 장치(2)는 무선 통신을 통해 프로세싱 유닛(4)과 통신한다. 프로세싱 유닛(4)은 다양한 실시예를 취할 수 있다. 예를 들어, 프로세싱 유닛(4)은 스마트폰, 태블릿 또는 랩탑 컴퓨터와 같은 이동 장치에서 구현될 수 있다. 일부 실시예에서, 프로세싱 유닛(4)은 사용자의 신체, 예를 들어 도시된 예에서 손목 상에 착용되거나 주머니 속에 있을 수 있는 별개의 유닛이고, 니어-아이 디스플레이 장치(2)를 동작시키는데 사용되는 많은 컴퓨팅 전력을 포함한다. 프로세싱 유닛(4)은 이 예에서 근처에 위치하든 아니면 원격 위치에 있든 간에 통신 네트워크(50)를 통해 하나 이상의 허브 컴퓨팅 시스템(12)에 무선으로(예를 들어, WiFi, 블루투스, 적외선, RFID 송신, 무선 USB(wireless Universal Serial Bus, WUSB), 셀룰러, 3G, 4G 또는 다른 무선 통신 수단) 통신할 수 있다. 다른 실시예들에서, 프로세싱 유닛(4)의 기능은 디스플레이 장치(2)의 소프트웨어 및 하드웨어 구성 요소에 통합될 수 있다.

일 실시예에서 프레임(115) 내의 안경 형태인 헤드 마운트 디스플레이 장치(2)는 사용자의 머리에 착용되어, 사용자는 각 눈에 대하여 이 예에서 디스플레이 광학 시스템(14)으로서 구현된 디스플레이를 통해 볼 수 있고, 이에 의해 사용자 앞의 공간에 대한 실제 직접 뷰(actual direct view)를 갖는다.

“실제 직접 뷰”라는 용어의 사용은 객체의 생성된 이미지 표현을 보는 것이 아니라, 인간의 눈으로 실세계 객체를 직접 볼 수 있는 능력을 의미한다. 예를 들어, 유리를 통해 방을 들여다 보면서 사용자는 실제로 직접 방을 볼 수 있지만 TV에서 방의 비디오를 보는 것은 방의 실제 직접 뷰가 아니다. 시스템은 소프트웨어를 실행하는 상황, 예를 들어 게임 애플리케이션에 기초하여 시스루 디스플레이 장치를 착용하는 사람이 볼 수 있는 가상의 객체(때로는 가상 이미지라고도 함)의 이미지를 디스플레이 상에 투사할 수 있는 반면, 이 사람은 디스플레이를 통해 실세계 객체를 보고 있다.

프레임(115)은 전기 접속을 위한 도관으로서뿐만 아니라 시스템의 요소를 고정하는 지지대를 제공한다. 이 실시예에서, 프레임(115)은 이하에서 더 논의되는 시스템의 요소에 대한 지지대로서 편리한 안경 프레임을 제공한다. 다른 실시예들에서, 다른 지지 구조가 사용될 수 있다. 이러한 구조의 예는 바이저(visor) 또는 고글이다. 프레임(115)은 사용자의 귀에 각각 받쳐지는 안경 다리 또는 사이드 암을 포함한다. 안경 다리(102)는 우측 안경 다리의 실시예를 나타내고, 디스플레이 장치(2)를 위한 제어 회로(136)를 포함한다. 프레임(115)의 노즈 브릿지(104)는 사운드를 기록하고 프로세싱 유닛(4)에 오디오 데이터를 전송하기 위한 마이크로폰(110)을 포함한다.

도 2a는 하드웨어 및 소프트웨어 구성 요소에 대한 지원을 제공하는 안경으로 구현된 시스루 혼합 현실 디스플레이 장치의 실시예에서의 프레임(115)의 안경 다리(102)의 측면도이다. 프레임(115)의 전방에는 프로세싱 유닛(4)에 전송되는 비디오 및 스틸 이미지를 캡쳐할 수 있는, 물리적 환경을 향하거나 바깥으로 향하는 비디오 카메라(113)가 있다.

카메라로부터의 데이터는 제어 회로(136)의 프로세서(210) 또는 프로세싱 유닛(4) 또는 양자 모두에 보내질 수 있고, 이들은 데이터를 처리할 수 있지만, 프로세싱 유닛(4)은 처리를 위해 네트워크(5)를 통해 하나 이상의 컴퓨터 시스템(12)에 또한 전송할 수 있다. 처리는 사용자의 실제 세계의 시야를 식별하고 매핑한다.

제어 회로(136)는 헤드 마운트 디스플레이 장치(2)의 다른 구성 요소를 지지하는 다양한 전자 장치를 제공한다. 제어 회로(136)에 대한 보다 상세한 설명은 도 3a와 관련하여 아래에 제공된다. 안경 다리(102) 내부에는 이어폰(130), 관성 센서(132), GPS 트랜스시버(144) 및 온도 센서(138)가 있거나 장착되어 있다. 일 실시예에서 관성 센서(132)는 3축 자력계(132A), 3축 자이로(132B) 및 3축 가속도계(132C)를 포함한다(도 3a 참조). 관성 센서는 헤드 마운트 디스플레이 장치(2)의 위치, 방위 및 급가속을 감지하기 위한 것이다. 이러한 움직임으로부터, 헤드 위치가 또한 결정될 수 있다.

안경 다리(102) 내부에는 이미지 소스 또는 이미지 생성 유닛(120)이 있거나 장착되어 있다. 일 실시예에서, 이미지 소스는 하나 이상의 가상 객체의 이미지를 투사하기 위한 마이크로 디스플레이(120) 및 마이크로 디스플레이(120)로부터의 이미지를 시스루 도파관(112)으로 향하게 하는 렌즈 시스템(122)을 포함한다. 렌즈 시스템(122)은 하나 이상의 렌즈를 포함할 수 있다. 일 실시예에서, 렌즈 시스템(122)은 하나 이상의 시준(collimating) 렌즈를 포함한다. 도시된 예에서, 반사 요소(124)는 렌즈 시스템(122)에 의해 보내진 이미지를 수신하고 이미지 데이터를 도파관(112)에 광학적으로 결합시킨다.

마이크로 디스플레이(120)를 구현하는데 사용될 수 있는 상이한 이미지 생성 기술이 있다. 예를 들어, 마이크로 디스플레이(120)는 광원이 광학 활성 물질에 의해 변조되고, 백색광으로 역광되는 투과 프로젝션 기술을 사용하여 구현될 수 있다. 이러한 기술은 일반적으로 강력한 백라이트와 높은 광 에너지 밀도를 갖춘 LCD 유형 디스플레이를 사용하여 구현된다. 마이크로 디스플레이(120)는 또한 외광이 광학 활성 물질에 의해 반사 및 변조되는 반사 기술을 사용하여 구현될 수 있다. DLP(digital light processing), LCOS(liquid crystal on silicon) 및 퀄컴사(Qualcomm, Inc.)의 Mirasol® 디스플레이 기술은 모두 반사 기술의 예이다. 또한, 마이크로 디스플레이(120)는 광이 디스플레이에 의해 생성되는 발광 기술을 이용하여 구현될 수 있는데, 예를 들어, 마이크로비전사(Microvision, Inc.)의 PicoP ™ 디스플레이 엔진을 참조하라. 발광 디스플레이(emissive display) 기술의 또 다른 예는 마이크로 OLED(organic light emitting diode) 디스플레이이다. 기업 eMagin과 Microoled는 마이크로 OLED 디스플레이의 예를 제공한다.

도 2b는 시스루, 니어-아이, 증강 또는 혼합 현실 장치의 디스플레이 광학 시스템(14)의 일 실시예의 평면도이다. 니어-아이 디스플레이 장치(2)의 프레임(115)의 일부분은 디스플레이 광학 시스템(14)을 둘러싸서 이 도면 및 다음 도면들에 도시된 바와 같이 하나 이상의 광학 요소에 대한 지지 및 전기 연결을 한다. 디스플레이 광학 시스템(14)의 구성 요소들, 이 경우에 오른쪽 눈 시스템에 대한 14r을 보여주기 위하여 헤드 마운트 디스플레이 장치(2)에서 디스플레이 광학 시스템을 둘러싸는 프레임(115)의 일부가 도시되어 있지 않다.

일 실시예에서, 디스플레이 광학 시스템(14)은 도파관(112), 선택적 불투명 필터(114), 시스루 렌즈(116) 및 시스루 렌즈(118)를 포함한다. 일 실시예에서, 불투명 필터(114)는 뒤에서 시스루 렌즈(116)와 정렬되어 있고, 도파관(112)은 뒤에서 불투명 필터(114)와 정렬되어 있고, 시스루 렌즈(118)는 뒤에서 도파관(112)과 정렬되어 있다. 시스루 렌즈(116 및 118)는 안경에 사용되는 표준 렌즈일 수 있고, (무처방을 포함하여) 임의의 처방으로 제조될 수 있다. 일부 실시예들에서, 헤드 마운트 디스플레이 장치(2)는 단지 하나의 시스루 렌즈를 포함하거나, 시스루 렌즈를 포함하지 않을 것이다. 도파관(112)과 정렬된 불투명 필터(114)는 균일하게 또는 픽셀 단위로 자연광이 도파관(112)을 통과하는 것을 선택적으로 차단한다. 예를 들어, 불투명 필터는 가상 이미지의 콘트라스트를 향상시킨다.

도파관(112)은 마이크로 디스플레이(120)로부터 헤드 마운트 디스플레이 장치(2)를 착용한 사용자의 눈(140)에 가시광선을 전송한다. 또한, 시스루 도파관(112)은 헤드 마운트 디스플레이 장치(2)의 전방에서부터 디스플레이 광학 시스템(14r)의 광축을 나타내는 화살표(142)로 도시된 바와 같이 도파관(112)을 통해 눈(140)으로 가시광선이 전송되도록 하여, 사용자가 마이크로 디스플레이(12)로부터 가상 이미지를 수신할 뿐 아니라, 헤드 마운트 디스플레이 장치(2)의 전방에 있는 공간의 실제 직접 뷰를 가질 수 있게 한다. 따라서, 도파관(112)의 벽은 시스루 도파관(112)이고, 제1 반사면(예를 들어, 거울 또는 다른 표면) 또는 제1 회절 격자(124)를 포함한다. 마이크로 디스플레이(120)로부터의 가시광선은 렌즈(122)를 통과하여, 반사면 또는 회절 격자(124)에서 입사한다. 반사면 또는 회절 격자(124)는 마이크로 디스플레이(120)로부터 입사 가시광선을 반사 또는 회절시켜서, 가시광선은 이하 상술된 바와 같이 내부 반사에 의해 도파관(112)을 포함하는 기판 내부에 트래핑된다(trapped).

적외선 조명 및 반사는 또한 사용자의 눈의 위치 및 시선 방향을 추적하기 위한 눈 추적 시스템(134)을 위해 도파관(112)을 가로지른다(traverse). 사용자의 눈은 사용자의 초점 영역 또는 시선(gaze)인 환경의 서브 세트로 향하게 될 것이다. 눈 추적 시스템(134)은 본 실시예에서 안경 다리(102)에 또는 그 안쪽에 장착되는 눈 추적 조명원(134A) 및 이 예에서 프레임(115)의 끝(brow, 103)에 또는 그 안쪽에 장착된 눈 추적 IR 센서(134B)를 포함한다. 눈 추적 IR 센서(134B)는 대안적으로 렌즈(118)와 안경 다리(102) 사이에 위치될 수 있다. 또한, 눈 추적 조명원(134A) 및 눈 추적 IR 센서(134B) 모두가 프레임(115)의 끝(brow, 103)에 또는 그 안쪽에 장착될 수 있다.

이 기술은 이미지 생성 유닛(120), 조명원(134A) 및 눈 추적 IR 센서(134B)에 대한 도파관의 광학 경로로 그리고 광학 경로로부터의 입/출력 광학 커플링(입력-커플러 및 출력-커플러라고도 불릴 수 있음)의 배치에 유연성을 허용한다. 이미지를 나타내는 가시광선 조명 및 적외선 조명은 도파관(112)에 대해 임의의 방향으로부터 들어갈 수 있고, 하나 이상의 파장 선택 필터(예를 들어, 127)는 디스플레이 광학 시스템(14)의 광축(142)을 중심으로 하는 도파관으로부터 조명을 유도한다.

일 실시예에서, 눈 추적 조명원(134A)는, 적외선 LED(light emitting diode) 또는 미리 결정된 IR 파장 또는 파장의 범위로 방사하는 레이저(예를 들어, VCSEL)와 같은 하나 이상의 적외선(IR) 이미터를 포함할 수 있다. 일부 실시예들에서, 눈 추적 IR 센서(134B)는 번쩍임(glint) 위치를 추적하기 위한 IR 카메라 또는 IR 위치 감지 검출기(position sensing detector, PSD)일 수 있다.

일 실시예에서, 파장 선택 필터(123)는 반사 표면(124)을 통해 마이크로 디스플레이(120)로부터의 가시 스펙트럼 광을 통과시키고, 적외선 파장 조명을 눈 추적 조명원(134A)으로부터 도파관(112)으로 보내는데, 여기서 IR 조명은 광축(142)과 정렬된 다른 파장 선택 필터(127)에 도달할 때까지 도파관 내에서 내부적으로 반사된다.

적외선 반사로부터, 눈 구멍(eye socket) 내의 눈동자의 위치는 눈 추적 IR 센서(134B)가 IR 카메라일 때 공지된 촬상 기술에 의해, 그리고 눈 추적 IR 센서(134B)가 위치 감지 검출기(PSD) 유형일 때 번쩍임 위치 데이터에 의해 식별될 수 있다. 다른 유형의 눈 추적 IR 센서 및 눈 추적을 위한 다른 기술의 사용이 또한 가능하고, 실시예의 범위 내에 있다.

마이크로 디스플레이(120)로부터의 이미지 데이터를 나타내는 가시광선 조명 및 IR 조명은 도파관(112) 내로 결합된 후에, 도파관(112) 내에서 내부 반사된다. 도 2b의 예에서, 기판의 표면으로부터 여러 번 반사된 후에, 트랩된 가시광선 파동은 선택적 반사 표면(1261 내지 126N)으로서 본 실시예에 구현된 파장 선택 필터의 어레이에 도달한다. 또한, 디스플레이 광학 시스템의 광축과 정렬된 파장 선택 필터(127)가 도파관(112) 내에 위치된다. 반사 표면(126)은 사용자의 눈(140)의 방향으로 지향된 기판으로부터 반사 표면에 입사하는 가시광선 파장을 결합시킨다.

반사면(126)은 또한 도파관 내에 적외 방사(infrared radiation)를 통과시킨다. 그러나, 디스플레이 광학 시스템(14r)의 광축(142)과 정렬되는 것은, 가시광선 조명뿐만 아니라 조명원(134A)로부터의 수신된 적외선 조명을 지향시키는 하나 이상의 파장 선택 필터(127)이다. 예를 들어, 반사 요소(1261 내지 126N)가 각각 가시 스펙트럼의 상이한 부분을 반사하는 경우, 하나 이상의 파장 선택 필터(127)는 적색 가시 스펙트럼 및 적외선 스펙트럼의 파장을 반사시킬 수 있다. 다른 실시예들에서, 필터(127)는 전체 가시 스펙트럼 또는 더 큰 일부분 및 IR 반사의 파장 및 IR 조명원에 의해 생성된 파장에 대한 적외선 스펙트럼을 커버하는 파장을 반사할 수 있다.

또한, 도 4a 및 도 4b를 참조하여 보다 상세하게 설명되는 바와 같이, 입력-커플러(도 2a 및 2b에 구체적으로 도시되지는 않았지만 도 4a 및 4b에 도시됨)는 광축(142)을 중심으로 하는 도파관의 시스루 벽을 통과하는 눈으로부터의 적외선 반사를, 도파관의 광학 경로로 적외선을 눈 추적 IR 센서(134B) 쪽으로 보내는 출력-커플러(도 2a 및 2b에 구체적으로 도시되지는 않았으나 도 4a 내지 도 5C에 도시됨) 방향으로 보낸다. 또한, 가시광선 및 적외선 필터는 렌즈(116)로부터 렌즈( 118)의 방향으로 적층되어, 모두 광축과 동축을 이룰 수 있다. 예를 들어, 눈에 대하여 가시적인 반사 요소 앞에 배치된 양방향 열반사경(hot mirror)은 가시광선을 통과시키지만 IR 파장은 반사시킨다. 또한, 하나 이상의 필터(127)는 가시광선 및 적외선 스펙트럼의 필터링 파장 사이에서 변조되는 능동 격자로서 구현될 수 있다. 이것은 인간의 눈이 감지하지 못하는 정도의 빠른 속도로 이루어질 것이다.

실시예에서, 각 눈은 자신의 도파관(112)을 가질 것이다. 헤드 마운트 디스플레이 장치가 2개의 도파관을 가질 때, 각각의 눈은 두 눈에서 동일한 이미지 또는 두 눈에서 상이한 이미지를 디스플레이할 수 있는 자체 마이크로 디스플레이(120)를 가질 수 있다. 또한, 헤드 마운트 디스플레이 장치가 2개의 도파관을 가질 때, 각각의 눈은 자신의 눈 추적 조명원(134A) 및 자신의 눈 추적 IR 센서(134B)를 가질 수 있다. 다른 실시예에서, 두 개의 광축을 갖는 하나의 도파관이 있을 수 있는데, 이는 각각의 눈에 대해 하나씩이며, 이는 노즈 브릿지에 걸쳐 있고 가시광선 및 적외선을 양 눈으로 반사시킨다.

전술한 실시예에서, 도시된 특정 렌즈 수는 단지 예시일 뿐이다. 동일한 원리로 작동하는 다른 렌즈 수 및 렌즈 구성이 사용될 수 있다. 또한, 도 2a 및 도 2b는 헤드 마운트 디스플레이 장치(2)의 절반만을 도시한다. 풀(full) 헤드 마운트 디스플레이 장치는, 예를 들어, 시스루 렌즈들(116 및 118)의 또 다른 세트, 또 다른 불투명 필터(114), 하나 이상의 파장 선택 필터(127)를 갖는 또 다른 도파관(112), 또 다른 마이크로 디스플레이(120), 또 다른 렌즈 시스템(122), 물리적 환경을 향하는 카메라(113)(외향 또는 전방 카메라(113)라고도 칭함), 눈 추적 어셈블리(134), 이어폰(130), 필터(123) 및 온도 센서(138)를 포함할 것이다. 예시적인 헤드 마운트 디스플레이(2)의 추가적 세부 사항은 플랙스(Flaks) 등에 의해 2010년 10월 15일자로 출원된 "가상 컨텐츠를 실제 컨텐츠와 융합"이라는 명칭의 미국 특허출원 공개 번호 제2012/0092328호에 제공된다.

도 3a는 하나 이상의 실시예와 함께 사용될 수 있는 시스루, 니어-아이, 혼합 현실 디스플레이 장치(2)의 하드웨어 및 소프트웨어 구성 요소의 일 실시예의 블록도이다. 도 3b는 프로세싱 유닛(4)의 다양한 구성 요소를 묘사하는 블록도이다. 이 실시예에서, 니어-아이 디스플레이 장치(2)는 프로세싱 유닛(4)으로부터 가상 이미지에 관한 명령을 수신하고 센서로부터의 데이터를 프로세싱 유닛(4)에 다시 제공한다. 예를 들어 도 3b에 도시된 바와 같이 프로세싱 유닛(4)에 구현될 수 있는 소프트웨어 및 하드웨어 구성 요소들은 디스플레이 장치(2)로부터 센서 데이터를 수신하고 또한 네트워크(50)를 통해 컴퓨팅 시스템(12)으로부터 센서 정보를 수신할 수 있다. 이 정보에 기초하여, 프로세싱 유닛(4)은 사용자에게 가상 이미지를 언제 어디서 제공할 것인지를 결정하고 이에 따라 명령을 디스플레이 장치(2)의 제어 회로(136)에 전송할 것이다.

도 3a의 구성 요소들 중 일부(예를 들어, 외향 또는 물리적 환경을 향하는 카메라(113), 아이 카메라(eye camera, 134), 마이크로 디스플레이(120), 불투명 필터(114), 눈 추적 조명 유닛(134A), 이어폰(130), 하나 이상의 파장 선택 필터(127), 온도 센서(138))가 그림자로 도시되어, 이러한 장치들 각각의 적어도 두개, 즉, 헤드 마운트 디스플레이 장치(2)의 좌측에 적어도 하나, 우측에 적어도 하나가 존재할 수 있다는 것을 나타낸다는 것을 유념하여야 한다. 도 3a는 전력 관리 회로(202)와 통신하는 제어 회로(200)를 도시한다. 제어 회로(200)는 프로세서(210), 메모리(244)(예를 들어, D-RAM)와 통신하는 메모리 제어기(212), 카메라 인터페이스(216), 카메라 버퍼(218), 디스플레이 드라이버(220), 디스플레이 포맷터(display formatter, 222), 타이밍 생성기(226), 디스플레이 아웃(out) 인터페이스(228) 및 디스플레이 인(in) 인터페이스(230)를 포함한다. 일 실시예에서, 제어 회로(200)의 모든 구성 요소는 하나 이상의 버스의 전용 라인을 통해 서로 통신한다. 다른 실시예에서, 제어 회로(200)의 각 구성 요소는 프로세서(210)와 통신한다.

카메라 인터페이스(216)는 물리적 환경을 향하는 두 개의 카메라(113)에 인터페이스를 제공하며, 이 실시예에서는 IR 카메라를 센서(134B)로서 제공하고 카메라(113, 134B)로부터 수신된 각각의 이미지를 카메라 버퍼(218)에 저장한다. 디스플레이 드라이버(220)는 마이크로 디스플레이(120)를 구동할 것이다. 디스플레이 포맷터(222)는 마이크로 디스플레이(120) 상에 디스플레이되는 가상 이미지에 관한 정보를 혼합 현실 시스템을 위한 프로세싱을 수행하는 하나 이상의 컴퓨터 시스템(예: 4, 12)의 하나 이상의 프로세서에 제공할 수 있다. 디스플레이 포맷터(222)는 디스플레이 광학 시스템(14)에 대한 투과율 설정을 불투명 제어 유닛(224)에게 확인시킬 수 있다. 타이밍 생성기(226)는 시스템에 타이밍 데이터를 제공하는데 사용된다. 디스플레이 아웃 인터페이스(228)는 물리적 환경을 향하는 카메라(113) 및 아이 카메라(134B)로부터의 이미지를 프로세싱 유닛(4)으로 제공하기 위한 버퍼를 포함한다. 디스플레이 인 인터페이스(230)는 마이크로 디스플레이(120) 상에 디스플레이될 가상 이미지와 같은 이미지를 수신하기 위한 버퍼를 포함한다. 디스플레이 아웃(228) 및 디스플레이 인(230)은 프로세싱 유닛(4)에 대한 인터페이스인 대역 인터페이스(232)와 통신한다.

전력 관리 회로(202)는 전압 조정기(234), 눈 추적 조명 드라이버(236), 오디오 DAC 및 증폭기(238), 마이크로폰 전치 증폭기 및 오디오 ADC(240), 온도 센서 인터페이스(242), 능동 필터 제어기(active filter controller, 237) 및 클럭 생성기(232)를 포함한다. 전압 조정기(234)는 대역 인터페이스(232)를 통하여 프로세싱 유닛(4)으로부터 전력을 수신하고, 이 전력을 헤드 마운트 디스플레이 장치(2)의 다른 구성 요소에 제공한다. 조명 드라이버(236)는 예를 들어 구동 전류 또는 전압을 통해 눈 추적 조명 유닛(134A)이 미리 결정된 파장 길이 또는 파장 범위 내에서 동작하도록 제어한다. 오디오 DAC 및 증폭기(238)는 이어폰(130)에 오디오 데이터를 제공한다. 마이크로폰 전치 증폭기 및 오디오 ADC(240)는 마이크로폰(110)에 대한 인터페이스를 제공한다. 온도 센서 인터페이스(242)는 온도 센서(138)에 대한 인터페이스이다. 능동 필터 제어기(237)는 각 파장 선택 필터(127)가 선택 파장 필터로서 동작하는 하나 이상의 파장을 표시하는 데이터를 수신한다. 전력 관리 유닛(202)은 또한 전력을 제공하고, 3축 자력계(132A), 3축 자이로 스코프(132B) 및 3 축 가속도계(132C)로부터 다시 데이터를 수신한다. 전력 관리 유닛(202)은 또한 전력을 제공하고 GPS 트랜스시버(144)로부터 데이터를 수신하고 GPS 트랜스시버(144)로 데이터를 송신한다.

도 3b는 시스루, 니어-아이(near-eye), 혼합 현실 디스플레이 유닛과 관련된 프로세싱 유닛(4)의 하드웨어 및 소프트웨어 구성 요소의 일 실시예의 블록도이다. 도 3b는 전력 관리 회로(306)와 통신하는 제어 회로(304)를 도시한다. 제어 회로(304)는 CPU(central processing unit)(320), GPU(graphic processing unit)(322), 캐시(324), RAM(326), 메모리(330)(예를 들어, D-RAM)와 통신하는 메모리 제어(328), 플래시 메모리(334)(또는 다른 유형의 비휘발성 저장 장치)와 통신하는 플래시 메모리 제어기(332), 대역 인터페이스(302) 및 대역 인터페이스(232)를 통해 시스루 니어-아이 디스플레이 장치(2)와 통신하는 디스플레이 아웃 버퍼(336), 대역 인터페이스(302) 및 대역 인터페이스(232)를 통해 니어-아이 디스플레이 장치(2)와 통신하는 디스플레이 인 버퍼(338), 마이크로폰에 접속하기 위한 외부 마이크로폰 커넥터(342)와 통신하는 마이크로폰 인터페이스(340), 무선 통신 장치(346)에 접속하기 위한 PCI 익스프레스 인터페이스, 및 USB 포트(들)(348)을 포함한다.

일 실시예에서, 무선 통신 구성 요소(346)는 Wi-Fi 가능 통신 장치, 블루투스 통신 장치, 적외선 통신 장치, 셀룰러, 3G, 4G 통신 장치, 무선 USB(wireless USB, WUSB) 통신 장치, RFID 통신 장치 등을 포함할 수 있다. 따라서, 무선 통신 구성 요소(346)는 무선 라우터 또는 셀 타워(cell tower)를 통한 더 큰 네트워크로의 접속뿐만 아니라 예를 들어 다른 디스플레이 장치 시스템(8)과의 피어-투-피어 데이터 전송을 허용한다. USB 포트는 프로세싱 유닛(4)을 또 다른 디스플레이 장치 시스템(8)에 도킹하는데 사용될 수 있다. 또한, 프로세싱 유닛(4)은 프로세싱 유닛(4)을 충전하거나 프로세싱 유닛(4)에 데이터 또는 소프트웨어를 로딩하기 위하여 또 다른 컴퓨팅 시스템(12)에 도킹할 수 있다. 일 실시예에서 CPU(320) 및 GPU(322)는 사용자의 뷰에 가상 이미지를 삽입할 위치, 시기 및 방법을 결정하는 주요 작업자이다.

전력 관리 회로(306)는 클록 생성기(360), 아날로그-디지털 변환기(362), 배터리 충전기(364), 전압 조정기(366), 시스루 니어-아이 디스플레이 전원(376), 및 (프로세싱 유닛(4)의 손목 밴드에 위치한) 온도 센서(374)와 통신하는 온도 센서 인터페이스(372)를 포함한다. 교류-직류 변환기(362)는 AC 전원을 수신하고, 시스템에 대한 DC 전원을 생성하기 위한 충전 잭(370)에 접속된다. 전압 조정기(366)는 시스템에 전원을 공급하는 배터리(368)와 통신한다. 배터리 충전기(364)는 충전 잭(370)으로부터 전력을 수신할 때 (전압 조정기(366)를 통해) 배터리(368)를 충전하는데 사용된다. 장치 전력 인터페이스(376)는 디스플레이 장치(2)에 전력을 공급한다.

도파관 눈 추적 시스템

도 4a 및 도 4b는 이제 본 기술의 실시예에 따른 도파관(412)의 특정 기능을 설명하는 데 사용될 것이다. 보다 구체적으로, 도 4a 및 도 4b는 눈(440)으로부터 반사된 적외선을 수집하고, 적외선을 눈 추적에 사용하기 위한 눈 추적 IR 센서(예를 들어, 도 2b 및 3a을 참조하여 위에서 설명한 134B)로 제공하는데 사용되는 도파관(412)의 부분들을 설명하는데 사용될 것이다. 따라서, 도파관(412)은 또한 눈 추적기 도파관(412) 또는 눈 추적 도파관(412)으로 지칭될 수 있다. 보다 일반적으로, 도파관은 눈의 추적에 사용되는 장치로 지칭될 수 있다.

도파관(412)은 도 1 내지 도 3b를 참조하여 전술한 것과 같은 시스루 혼합 현실 디스플레이 장치 시스템에 통합될 수 있는데, 이에 한정되지 않는다. 예를 들어, 도파관(412)은 도 1, 도 2a 및 도 2b를 참조하여 전술한 도파관(112)(또는 그 일부)를 구현하는데 사용될 수 있다. 대안적으로 도파관(412)은 도파관(112)에 인접하여 위치될 수 있거나 또는 구현에 따라, 도파관(112) 대신에 사용된다. 도파관(412)의 개별 인스턴스는 눈이 추적되고 있는 사용자의 좌우의 눈 각각에 제공될 수 있다. 도 1 내지 도 3b를 참조하여 상술된 시스루 혼합 현실 디스플레이 장치 시스템에서 사용되면, 도파관(412)은 시스루 렌즈(예를 들어, 116 및/또는 118) 옆에 또는 그 사이에 위치될 수 있는데, 이 렌즈는 안경에 사용되는 표준 렌즈일 수 있고, 임의의 처방전에 따라 만들어질 수 있다(처방전 없는 경우를 포함). 도파관(412)은 대안적으로 눈에서 반사된 적외선을 기반으로 눈 추적을 수행하기 위한 임의의 시스템에서 사용할 수 있다.

도 4a는 도파관(412)을 포함하는 눈 추적 시스템(400)의 일부의 측면도를 도시하고, 따라서, 도 4a에 도시된 눈 추적 시스템의 일부분은 도파관 눈 추적기(400)로 지칭될 수 있다. 도파관(412)은 입력-커플러(414)와 출력-커플러(424)를 포함한다. 또한, 광선이 출력-커플러(424)에 가까운(proximate) 도파관(412)에서 나온 후에 도파관(412) 내의 광선의 각도 공간을 2차원(2D) 공간으로 변환하도록 구성된, 하나 이상의 렌즈를 포함한 렌즈 모듈(430)이 도 4a에 도시되어 있다. 다른 식으로 설명하면, 촬상 렌즈(430)라고도 지칭될 수 있는 렌즈 모듈(430)이 각도 인코딩된 적외선 빔을 2차원 공간 인코딩된 적외선 빔으로 변환하는데 사용된다. 2차원 공간으로 변환된 이후에, 적외선 빔은 도 4a에 도시된 바와 같이, 눈 추적 IR 센서 (134B)의 2차원 평면 상에 입사된다. 눈 추적 IR 센서(134B)는 센서에 입사되는 2차원 공간 인코딩된 적외선 빔에 의존적인 눈 추적 데이터를 생성한다.

일반적으로, 도파관의 입력-커플러(414)는 바람직하게는 눈(440)과 축 정렬되어, 눈(440)이 적외선으로 조명될 때 눈으로부터 반사된 적외선 빔이 도파관(412)의 입력-커플러(414)에 입사될 것이다. 보다 일반적으로, 적외선은 예를 들어 전술한 바와 같이 눈(440)이 눈 추적 조명 유닛(134A)에 의해 생성된 적외선에 의해 조명될 때, 눈(440)으로부터 반사될 것이다.

바람직하게는 출력-커플러(424)가 눈을 촬상하는데 사용되는 센서나 카메라(예를 들어, 눈 추적 IR 센서(134B)) 가까이에 있다. 위에서 언급한 바와 같이, 이러한 센서나 카메라가 프레임(예: 115)의 끝(brow)(예: 103)에 또는 그 내부에 장착될 수 있다. 대안적으로, 센서나 카메라는 프레임의 안경 다리 또는 사이드 암(예: 102)에 또는 그 내부에 장착될 수 있는데, 이 경우 입력-커플러(414) 및 출력-커플러(424)의 상대 위치가 90도 만큼 회전될 수 있다. 전술한 바와 같이 렌즈 모듈(예: 430)이 출력-커플러(424)와 센서(예: 눈 추적 IR 센서(134B)) 사이에 위치될 수 있다. 일 실시예에 따르면, 상기 출력-커플러는 렌즈 모듈(43)을 일부 또는 전부 대체하는 렌즈 굴절력을 포함한다. 예를 들어, 일 실시예에서 출력-커플러(424)는 단일 회절 광학 요소에서 웨지 굴절력 및 렌즈 굴절력을 제공한다.

실시예에 따라, 입력-커플러의 수평-대-수직 영역은 눈 추적 영역을 정의하는 28mm×16mm이다. 대체 영역도 또한 가능하고, 실시예의 범위 내에 있다. 출력-커플러의 개구는, 예를 들면, 3.7mm 일 수 있지만, 더 작은 또는 더 큰 개구가 가능하고, 실시예의 범위 내에 있다. 렌즈 모듈(430)의 f-수는 예를 들면 1.35일 수 있지만, 더 작거나 더 큰 f-수 또한 가능하고, 실시예의 범위 내에 있다. 도파관(412)의 두께는 바람직하게는 1mm 이하이지만, 더 큰 두께도 가능하고, 실시예의 범위 내에 있다. 도파관(412)은 BK7 광학 유리를 사용하여 제조될 수 있지만, 다른 광학 재료의 사용도 가능하고, 실시예의 범위 내에 있다. 눈 추적에 사용되는 적외선의 파장은 850nm라 가정하면, 도파관(412)은 바람직하게는 850nm에서 42도보다 큰 입사각(angle of incidence, AOI)에 대한 내부 전반사(total internal reflection)를 제공한다. 대안적인 적외선 파장이 사용될 수 있는 것은 실시예의 범위에 있다. 기판의 임계각보다 낮은 내부 전반사를 달성하기 위해 반사 코팅(422)이 공기-유리 경계면에서 도파관(412)의 외부 표면에 적용될 수 있다. 입력커플러에 의해 생성된 내부 각도의 범위가 기판에 의해 지지될 수 있는 것보다 더 큰 실시예에서 이 코팅이 유용하다. 예를 들어, 눈 추적 영역이 28mm×16mm이고 눈동자 거리(눈에서 입력 커플러까지의 거리)가 약 20mm이면, 촬상 렌즈에서 가장 가까운 입력 커플러의 영역은 BK7의 임계각 바로 위의 내부 각도를 생성하며, 그 후 촬상 렌즈로부터 가장 멀리 있는 입력 커플러의 영역에 의해 생성된 내부 각도는 본질적으로 불가능한 90도보다 높을 필요가 있을 것이다. 대안적으로, 만일 입력 커플러가 촬상 렌즈로부터 가장 멀리 떨어진 입력 커플러의 영역에 대한 약 70도의 내부 각도를 생성하도록 설계되었다면, 촬상 렌즈로부터 가장 가까운 입력 커플러의 영역에 의해 생성된 내부 각도는 BK7의 임계각보다 작을 것이고 따라서, 내부 반사를 확장하기 위하여 코팅이 요구될 것이다.

도 4b는 입력-커플러(414)를 포함하는 도파관(412)의 일부의 확대이고, 이제 실시예에 따라 도파관(412)의 추가적 세부 사항을 설명하는 데 사용될 것이다. 도 4b를 참조하면, 도파관(412)은 제1 투명 층(402), 제2 투명 층(404), 및 입력-커플러(414)를 포함하는 것으로 도시되어 있다. 도 4b에 구체적으로 도시되지는 않았지만, 출력-커플러(424)는 제1 투명 층(402), 제2 투명 층(404) 사이에 유사하게 있을 수 있다. 투명 층(402, 404)은 유리 또는 광학 플라스틱으로 제조될 수 있으나, 이에 한정되는 것은 아니다. 투명 층(402, 404)이 광학 플라스틱으로 만들어진다 하더라도, 이 층들과 공기 사이의 인터페이스는 여전히 공기-유리 인터페이스로 지칭될 것이라는 것을 유의해야 한다. 도 4b에 도시된 바와 같이, 입력-커플러(414)는 하부 경계(415) 및 상부 경계(416)를 갖고 있고, 상부 경계(416)는 하부 경계(415)보다 출력-커플러(424)에 더 가깝다.

회절 소자인 입력-커플러(414)는, 입사각과 상이한 굴절각을 갖도록 구성된다. 더욱 구체적으로 회절 소자 입력-커플러(414)는 제1 투명층(402)을 통과하는 빛의 각도를 조정하여, 빛이 제2 투명층(404)을 만날 때 빛의 각도는 임계각보다 높고 따라서 도파관(412)에서 내부적으로 반사된다. 그 후 빛은 전술한 바와 같이 출력-커플러(424)에서 도파관을 빠져나갈 것이다. 특정 실시예에 따르면, 아래 설명되는 바와 같이 회절 소자 입력-커플러(414)는 볼륨 브래그 격자형 입력-커플러이다.

입력-커플러(414)가 적외선으로 조명되는 눈(440) 전방에 위치될 때, 눈(440)으로부터 반사되는 적외선 빔(일예가 도 4b에 파선 화살표로 도시됨)은 제1 투명층(402)을 통과하고 입력-커플러(414)에 입사한다. 이러한 적외선 빔은 입력-커플러(414)에서 도파관(412)으로 들어가고, 내부 전반사에 의해 입력-커플러(414)로부터 출력-커플러(414)로 도파관(412) 내에서 전파되어, 출력-커플러(424)에 가까운 도파관(412)을 빠져나간다. 다른 식으로 설명하면, 눈(440)으로부터 반사된 적외선이 입력-커플러(414)에 의해 촬상되어, 회절 적외선이 내부 전반사의 임계각보다 더 큰 각도로 도파관(412)의 표면에 입사하도록 적외선을 회절시킴으로써 도파관 모드로 동시에 회절된다.

입력-커플러(414)는 입력 격자로서 구현될 수 있고, 이 경우 입력-커플러(414)는 입력-격자(414)로 간단하게 지칭될 수 있다. 아래 더 상세하게 설명되는 특정 실시예들에서, 입력-커플러(414)는 볼륨 브래그 격자형 입력 격자이며 이 경우 입력-커플러(414)는 볼륨 브래그 격자형 입력-커플러(414), 볼륨 브래그 격자형 입력 격자(414) 또는 간단히 볼륨 브래그 격자(414)로 지칭될 수 있다. 반사, 회절, 굴절되거나 이들의 조합일 수 있는 출력-커플러(424)는 예를 들어 선형 격자형 출력-커플러, 홀로그램 격자형 출력-커플러, 적외선이 도파관(412)에서 빠져나오게 할 수 있는 프리즘 또는 또다른 광학 커플러로서 주입될 수 있다. 출력-커플러(414)는 렌즈 모듈(430)의 렌즈 굴절력의 일부 또는 전부를 대체할 수 있는 처방전에 통합된 렌즈 굴절력을 추가로 가질 수 있다. 이러한 일 실시예에서, 출력-커플러(414)는 웨지 및 렌즈 굴절력을 가진 볼륨 브래그 격자일 수 있다. 출력-커플러(414)의 렌즈 굴절력은 렌즈 모듈(430)의 렌즈 굴절력의 일부 또는 전부를 제공할 수 있다. 일 실시예에서 출력-커플러(414)는 예를 들어 비구면 보정을 제공함으로써, 렌즈 모듈(430)에 작은 보정을 제공한다. 잠시 다시 도 4a를 참조하면, 출력-커플러(424)의 목적은 적외선이 렌즈 모듈(430) 및/또는 눈 추적 IR 센서(134B)을 향해 도파관(412)를 빠져나가게 하는 것이다. 그 후 적외선은 최종적으로 렌즈 모듈(430)(또는 출력-커플러 자체)에 의해 눈 추적 IR 센서(134B) 상으로 촬상된다. 눈 추적 IR 센서는 예를 들면, CCD(charge-coupled device) 또는 CMOS 2차원 화소 센서 어레이일 수 있으나, 이에 한정되지 않는다.

일 실시예에서, 볼륨 브래그 격자형 입력-커플러(414) 및 출력-커플러(424)는 텔레센트리시티를 달성하기 위해 서로에 대해 위치된다. 이 상황에서, 입사 동공은 입력-커플러를 객체 공간 텔레센트릭으로 하는 무한대에 있다. 이는 유리하게도 눈(440)의 직교 투영을 제공할 수 있다. 텔레센트리시티는 또한 눈 평면으로부터의 모든 광에 대한 평행 광에 중심을 두도록 입력-커플러의 각도 대역폭을 설계함으로써 달성될 수 있다. 이것은 반드시 각도 대역폭이 도파관에 직교인 광에 중심을 두는 것을 의미하지는 않는다. 예를 들어, 속눈썹에 의한 암흑화(obscuration)을 감소시키기 위하여 눈 평면 아래의 방향으로부터 눈 평면을 보는(눈을 올려다 보는) 것이 유리할 수 있다. 다른 식으로 설명하면 객체 공간에서 텔레센트리시티를 달성하기 위하여 입력-커플러(414)의 각 지점의 각도 대역폭은, 입력-커플러(414)의 모든 주광선이 실질적으로 평행인, 주광선에 중심을 두고 있어야 한다.

실시예에 따르면, 볼륨 브래그 격자형 입력-커플러(414)는 렌즈 굴절력과 웨지 굴절력을 갖고 있다. 볼륨 브래그 격자형 입력-커플러(414)의 렌즈 굴절력은 바람직하게는 눈(440)과 볼륨 브래그 격자형 입력-커플러(414) 사이의 거리와 동일한 초점 길이를 갖는데, 이는 유리하게도 눈(440)으로부터 반사되어 볼륨 브래그 격자형 입력-커플러(414)에 입사하는) 적외선이 도파관(412) 내에서 시준(collimate)되도록 한다. 예를 들어, 만일 눈(440) 및 볼륨 브래그 격자형 입력-커플러(414) 사이의 거리가 20 밀리미터(mm)이면, 입력 격자의 렌즈 굴절력의 초점 길이는 바람직하게는 20mm이다. 웨지 굴절력은 또한 웨지 회절 굴절력 또는 프리즘 굴절력이라고도 불리는데, (바람직하게는 시준된) 적외선을 도파관 모드로 회절시킨다. 도파관의 공기-유리 인터페이스로의 입사각이 도파관(412)의 내부 전반사(total internal reflection, TIR) 각도보다 크도록 하기 위하여(따라서 도파관(412)에 의해 유도됨), 바람직하게는 상부 경계(416) 근처의 볼륨 브래그 격자형 입력-커플러(414)의 일부에 입사하는 적외선이 내부적으로 회절되도록 웨지 굴절력이 선택된다. 또한, 도파관의 공기-유리 인터페이스로의 입사각이 너무 크지 않아서(예를 들어, 70도 이하) 광선이 도파관(412)의 표면에 거의 평행하게 진행하는 것을 피하도록 하기 위하여, 바람직하게는 하부 경계(415) 근처의 볼륨 브래그 격자형 입력-커플러(414)의 일부에 입사하는 적외선이 내부적으로 회절되도록 웨지 굴절력이 선택된다. 실시예에 따르면, 렌즈 굴절력과 웨지 굴절력은 수학적으로 결합되어, 단일 브래그 격자 처방전에 의해 구현된다. 이것은 입력 각도의 조건을 만족하는 위상 다항식을 격자 표면에 걸쳐 출력 각도에 수학적으로 피팅(fitting)함으로써, 달성될 수 있다. 이 유형의 위상 다항식의 생성은 크롬 또는 유리 등의 매질에 표면 격자를 생성하기 위해 전자 빔 식각 장치를 프로그래밍하는데 사용될 수 있다. 이것은 차례로 위상 복사(phase copy) 마스터 홀로그램을 생성하기 위해 사용될 수 있고, 차례로 볼륨 브래그 격자형 입력-커플러(414)를 양산하기 위하여 콘택트 복사(contact copy) 프로세스에 사용될 수 있다.

도파관(412) 내에서 반사되는 빔들은 서로 가까이 있는데, 이러한 빔들 간의 거리는 도파관(412) 내에서의 전파(propagation)의 각도, 도파관(412)의 두께, 및 빔 폭에 의존한다. 도파관(412)의 두께를 실용적으로 얇게(as thin as practical) 만드려는 욕구가 있기 때문에, 도파관(412) 내의 상이한 빔들은 서로 매우 가깝고 잠재적으로 서로 중첩될 수 있다.

전체적으로 눈 추적기 광학 시스템은 (예를 들어, 눈(440)과 관련된) 눈 평면으로부터의 광을 (예를 들어 눈 추적 IR 센서(134B)와 관련된) 카메라 센서 평면에 재촬상하는 릴레이(relay) 렌즈 시스템처럼 행동한다. 일 실시예에서, 눈 추적 IR 센서(134B)(카메라 센서로 지칭될 수 있음)가 객체 평면(눈 평면)보다 훨씬 작기 때문에, 전체 시스템의 확대율은 1보다 훨씬 작을 수 있다(축소). 볼륨 브래그 격자형 입력-커플러(414)는 바람직하게는 볼륨 브래그 격자형 입력-커플러(414)의 상이한 수평 및 수직 위치에 입사하는 적외선의 상이한 빔이 각각 상이한 반사 각도로 도파관(412) 내에서 전파되어, 적외선 빔이 빠져나가는 도파관(412)의 표면에 대하여 각각 상이한 입사 각도로 출력-커플러(424)를 빠져나가도록 한다. 다른 식으로 설명하자면, 볼륨 브래그 격자형 입력-커플러(414)는 바람직하게는 볼륨 브래그 격자형 입력-커플러(414)에 입사하는 적외선 빔의 각도 인코딩을 초래하여, 이에 따라 출력-커플러(424)를 통하여 도파관(412)을 빠져나가는 적외선 빔이 볼륨 브래그 격자형 입력-커플러(414)의 상이한 수평 및 수직 위치에 입사하는 적외선 빔 간에 구별되는 방식으로, (예를 들어, 눈 추적 IR 센서(134B)에 의해) 촬상될 수 있도록 한다.

전술한 바와 같이, 볼륨 브래그 격자형 입력-커플러(414)의 렌즈 굴절력은 바람직하게는 눈(440)과 볼륨 브래그 격자형 입력-커플러(414) 간의 거리와 동일한 초점 거리를 가지고, 이는 유리하게도 (눈(440)으로부터 반사되어, 볼륨 브래그 격자형 입력-커플러(414)에 입사하는) 적외선이 도파관 내에서 시준될 수 있게 한다. 이것이 선호되는 조건인 반면, 이 조건은 지속적으로 달성하기가 쉽지가 않은데, 그 이유는 상이한 사람들이 상이하게 생긴 코 및 다른 얼굴 특징 및 상이한 눈 위치를 갖고 있기 때문이다. 또한, 동일한 사람이 도파관(412)을 포함하는 HMD 장치를 착용하고/하거나 HMD 장치를 조정할 때마다, 사용자의 눈(414)과 볼륨 브래그 격자형 입력-커플러(414) 사이의 거리가 바뀔 수 있다.

볼륨 브래그 격자형 입력-커플러(414)의 렌즈 굴절력의 초점 길이(간단히 볼륨 브래그 격자형 입력-커플러(414)의 초점 길이라고도 함)가 볼륨 브래그 격자형 입력-커플러(414) 및 눈(440) 사이의 거리와 동일하지 않을 때, 내부 전반사에 의해 도파관(412) 내에서 진행하는 적외선 빔은 완벽하게 시준되지는 않을 것이다. 이 조건의 문제점은 눈(440) 위의 동일한 점으로부터 (볼륨 브래그 격자형 입력-커플러(414)를 통해) 도파관 내로 반사되는 두개 이상의 빔은 내부 전반사에 의해 볼륨 브래그 격자형 입력-커플러(414)로부터 출력-커플러(424)로 진행한 후에, 두개 이상의 상이한 위치에서 (출력-커플러(424)를 통하여) 도파관을 빠져나감으로써, 렌즈 모듈(430) 및 눈 추적 IR 센서(134B)에 의해 복수 개(예를 들어 두 개, 세 개 등)의 이미지가 생성된다는 것이다. 다시 말해서, 두 개 이상의 개별 이미지가 눈 추적 IR 센서(134B)에 의해 형성되도록 눈 평면의 동일한 지점으로부터 나오는 두 개 이상의 빔이 도파관(412) 내에서 수렴하거나 발산할 것이다. 이러한 복수의(예를 들어, 2개, 3개 등) 촬상은 바람직하지 않은데, 이는 눈 추적의 정확도를 감소시키고/시키거나 눈 추적을 행하는 것을 훨씬 복잡하게 만들기 때문이다.

본 기술의 특정 실시예들은 바람직하게는 눈(440)과 입력-커플러(414) 사이의 거리가 변경될 때 도파관 눈 추적기(400) 내에 내재된 이러한 복수의 촬상의 효과를 감소시키고 바람직하게는 최소화시킨다. 이러한 일부 실시예는 입력-커플러(414)를 접선 방향에서(즉 진행 방향) 매우 좁은 각도 대역폭을 갖는 볼륨 브래그 격자형 입력-커플러로서 구현함으로써, 복수의 이미지 간의 거리를 감소시키고 바람직하게는 최소화시킴으로써, 이를 행한다. 더욱 구체적으로는, 실시예에 따라, 볼륨 브래그 격자형 입력-커플러(414)의 각도 대역폭(angular bandwidth, ABW)은 5도 이하이고, 바람직하게는 2도 이하이며, 더 바람직하게는 1도와 2도 사이이며, 훨씬 더 바람직하기로는 1.5도이다.

용어가 본 명세서에서 사용되듯이, 볼륨 브래그 격자형 입력-커플러(414)와 같은 상이한 격자의 각도 대역폭(angular bandwidth, ABW)은 용어가 본 명세서에서 사용될 때 회절 효율(diffraction efficiency, DE)이 피크 DE의 50% 이상인 입사각의 피크 DE 주위의 각도 범위이다. 따라서, ABW는 여기서 더 정확하게는 FWHM(full width half max) ABW로 지칭될 수 있다. 유리하게는, 이러한 좁은 ABW를 갖는 볼륨 브래그 격자는 쉽게 설계되고 제조될 수 있다.

ABW를 이러한 좁은 각도로 제한함으로써, 눈(440)의 동일한 지점에서 반사되는 적외선이 도파관 내에서 시준되지 않는 정도가 상당히 제한될 수 있다. 다시 말해서, 볼륨 브래그 격자형 입력-커플러(414)의 매우 좁은 ABW는 눈(440)의 동일한 지점에서 반사되는 (그리고 입력-커플러(414)에서 도파관으로 들어가는) 적외선 빔이 도파관(412) 내에서 완벽히 시준되는 것으로부터 얼마나 많이 벗어나는지 제한한다. 더 일반적으로 좁은 AWB를 갖는 볼륨 브래그 격자형 입력-커플러(414)의 사용은 눈으로부터 반사되는 빛의 원뿔각(cone angle)을 제한함으로써, 촬상 피사계 심도를 증가시키고 이에 따라 도파관 눈 추적기(400)가 눈과 볼륨 브래그 격자형 입력-커플러(414) 사이의 거리의 범위와 호환되도록 한다.

업계에 알려져 있듯이, 볼륨 브래그 격자는 굴절률의 주기적인 변화를 가진 볼륨 격자이므로, 브래그 조건을 만족하는 특정 파장 주변의 파장 범위(대역폭)에서 큰 회절 효율에 도달할 수 있다. 회절 파장 λΒ(브래그 파장으로도 알려져 있음)은 브래그 조건 λΒ = 2neffΛ에 의해 정의되며, 도파관의 유효 굴절율(neff) 및 격자 주기성(Λ)에 비례한다. 볼륨 브래그 격자는 격자 주기성(Λ)을 정의하는 격자 평면(프린지(fringe) 또는 브래그 평면이라고도 함)을 포함한다. 볼륨 브래그 격자의 k-벡터는 이러한 브래그 평면에 법선이다(즉, 수직). 실시예에 따라, 브래그 파장 λΒ는 눈 추적에 사용되는 적외선의 파장과 일치한다(즉 실질적으로 동일).

도 4b를 참조하면, (파선 화살표로 표시되는) 적외선 빔이 볼륨 브래그 격자형 입력-커플러(414)(간단히 볼륨 브래그 격자(414)라고도 함)의 라벨링된 영역(418)에서 회절될 때, 브래그 조건이 충족됨으로 인하여 적외선 빔이 높은 효율로 도파관 모드로 회절된다. 볼륨 브래그 격자(414)의 처방이 418로 라벨링된 영역에 있을 때처럼 420으로 라벨링된 영역에서 정확히 동일한 경우, 이는 420으로 라벨링된 영역에서 높은 퍼센티지의 적외선(점선 화살표로 표시됨)이 도파관으로부터 회절되는 것을 초래한다. 이는 바람직하지 않은데, 그 이유는 (볼륨 브래그 격자(414)에 의해) 도파관(412)으로 회절된 적외선의 일부가 출력-커플러(424)에 도달하지 못하는 결과를 초래함으로써, 장치의 전체적인 광학 효율을 상당히 감소시키고, 이미지 프로세싱 측면에서 SNR(signal-to-noise ratio)을 감소시키기 때문이다.

특정 실시예들에 따르면, 볼륨 브래그 격자(414)에 의해 도파관으로부터 회절되는 적외선의 양을 감소시키고 바람직하게는 최소화시키기 위하여 볼륨 브래그 격자(414)의 처방전은 볼륨 브래그 격자(414)의 하부 경계(415) 및 상부 경계(416) 사이에서 변화된다. 이는 420으로 라벨링된 영역에서의 볼륨 브래그 격자의 k-벡터가 418로 라벨링된 영역에서의 k-벡터로부터 충분히 시프트되어서, 420으로 라벨링된 영역이 더 이상 브래그 조건을 완전히 만족하지 않도록 볼륨 브래그 격자(414)를 설계함으로써 달성된다. 이는 바람직하게는 볼륨 브래그 격자의 420으로 라벨링된 영역 및 다른 영역에서 도파관으로부터 회절되는(즉, 아웃커플링되는) 적외선의 양을 상당히 감소시키기 위하여 효율 곡선의 피크가 각도에서 충분히 시프트되는 것을 초래한다. 또한, 웨지 및 렌즈 굴절력의 원하는 조합을 달성하기 위하여, 격자 주기(즉, 인접한 브래그 평면간의 거리) 및 격자 주파수(격자 주기의 역수임)가 볼륨 브래그 격자(414)의 하부 경계(415) 및 상부 경계(416) 사이에서 변화된다.

더 구체적으로, 특정 실시예들에 따라 볼륨 브래그 격자형 입력-커플러(414)는, 상부 경계(416)에서의 k-벡터 각도보다 더 큰, 하부 경계(415)에서의 k-벡터 각도를 가지는데, 하부 경계(415)및 상부 경계(416) 사이의 볼륨 브래그 격자형 입력-커플러(414)의 k-벡터의 각도는 점차 감소한다. 이러한 볼륨 브래그 격자형 입력-커플러(414)는 변화하는 k-벡터 또는 롤(rolled) k-벡터를 가지고 있다고 할 수 있다. 적외선이 도파관(412)에서 전파하는 방향을 따라 볼륨 브래그 격자형 입력-커플러(414)의 k-벡터의 각도를 변화시킴으로써, 도파관(412)으로 결합되는 적외선의 대부분(바람직하게는 전부 또는 거의 전부)이 출력-커플러(424)에 의해 적외선이 아웃커플링되는 지점에서 내부 전반사에 의해 도파관(412)으로 전송되는 방식으로 적외선을 도파관(412)으로 효율적으로 결합시키는 것이 달성된다.

특정 실시예들에 따르면, 볼륨 브래그 격자형 입력-커플러(414)는 상부 경계(416)에서의 브래그 격자 주기보다 작은 하부 경계(415)에서의 격자 주기(게이트 간격(gating spacing)이라고도 불림)를 갖는데, 볼륨 브래그 격자형 입력-커플러(414)의 하부 경계(415) 및 상부 경계(416) 사이의 브래그 격자 주기는 점차 증가한다. 이러한 볼륨 브래그 격자형 입력-커플러(414)는 가변 브래그 격자 주기를 갖는다고 말할 수 있다. 이는 볼륨 브래그 격자형 입력-커플러(414)가 상부 경계(416)에서의 브래그 격자 주파수보다 더 큰, 하부 경계(415)에서의 브래그 격자 주파수를 갖는다고 말하는 것과 같으며, 볼륨 브래그 격자형 입력-커플러(414)의 하부 경계(415) 및 상부 경계(416) 사이의 브래그 격자 주파수는 점차 감소한다. 이러한 볼륨 브래그 격자형 입력-커플러(414)는 가변 브래그 격자 주파수를 갖고 있다고 말할 수 있다.

일 실시예에서 렌즈 굴절력 및 웨지 굴절력은 브래그 격자 주파수를 변화시킴으로써 달성될 수 있다. 렌즈 굴절력은 눈 평면으로부터의 빛을 집중시킨다. 눈동자간 거리(eye relief)(눈 동공 평면에서 입력 격자까지의 거리)가 회절 렌즈 초점 길이와 동일할 때, 빛은 렌즈 굴절력에 의해 시준된다. 웨지 굴절력 구성 요소는 이러한 시준된 빛을 회절시켜, 기판의 최소 내부 각도가 기판의 임계 각도를 넘어서 도파관 내에서 가이드될 것이다. (하부 경계(415) 근처의) 볼륨 브래그 격자형 입력-커플러(414)의 하부 부분에 입사하는 빛은 (상부 경계(416) 근처의) 상부 부분에 입사하는 빛보다 더 큰 각도로 회절되고, 볼륨 브래그 격자형 입력-커플러(414)의 렌즈 굴절력 및 웨지 굴절력의 조합으로 인하여 진행된다. 피크 효율의 입력 각도는 모두 거의 동일하므로, 결과적으로 볼륨 브래그 격자형 입력-커플러(414)에 대한 구성 광학의 제1 빔은 거의 평행할 것이다. 회절 굴절력(diffractive power)은 회절 렌즈 굴절력 및 웨지 굴절력의 조합에 따라 변화하기 때문에, 결과적으로 브래그 기록(recording)을 위한 제2 구성 빔은 거의 수렴할 것이다. 이러한 두 빔의 조합은 볼륨 브래그 격자를 제공하며, 이에 의하여, k-벡터는 실시예에 따라 자연스럽게 변화한다. 바람직하게는, 회절 효율 및 회절 굴절력이 볼륨 브래그 격자형 입력-커플러(414)의 효율 및 기하학적 특성을 만족시키기 위하여 최적화되도록 2개의 구성 빔은 최적화된다.

아래의 표 1은 예시적인 k-벡터 각도 및 하부 경계(415)와 상부 경계(416) 사이의 총 거리가 16mm인 볼륨 브래그 격자형 입력-커플러(414)의 브래그 격자 주기 및 주파수를 도시한다.

위 표에서, 단순화 및 일관성을 위해, 볼륨 브래그 격자형 입력-커플러(414)에 입사하는 적외선 빔의 입사각은 제로 각도라고 가정한다. 그러나, 이런 케이스일 필요는 없고, 여기서 기술된 실시예들은 그 조건으로 한정되는 것은 아니다.

볼륨 브래그 격자(예: 414)의 k-벡터는 정의에 의해, 볼륨 브래그 격자의 브래그 평면에 법선(즉, 수직)이다. 여기서 사용되는 k-벡터 각도라는 용어는 볼륨 브래그 격자의 표면 법선에 대한 k-벡터의 각도를 지칭하는데 도 4c로부터 알 수 있다. 도 4c를 참조하면 여기에 (다수의 브래그 평면 중에) 두개의 브래그 평면(424)이 있다(나머지는 도시되지 않음). 또한, 도 4c에 볼륨 브래그 격자(404)의 표면에 법선인 파선(430)이 있다. 2개의 k-벡터가 또한 도시되어 있는데, 각각은 각 브래그 평면(424)에 수직이고, 각각은 브래그 격자(414)의 표면 법선에 대한 상이한 k-벡터 각도를 가지고 있다.

도 5는 볼륨 브래그 격자(414)를 생성하기 위해 콘택트 복사 프로세스에서 사용될 수 있는 마스터 홀로그램을 생성하기 위해 렌즈 굴절력 및 웨지 굴절력이 어떻게 두개의 빔 프로세스에서 결합될 수 있는지를 도시한다. 도 5를 참조하면, 제1 표면(502), 커버 렌즈(504), 기록되는 마스터 홀로그램을 생성하는데 사용되는 홀로그램 기록 매체(506), 오프-축 촬상 렌즈 시스템(508) 및 제2 표면(510)이 도시되어 있다. 홀로그램 기록 매체(506)는 2색의 젤라틴 또는 포토 폴리머일 수 있으나, 이에 한정되는 것은 아니다. 제1 빔은 제1 표면(502)으로부터 방사되는 시준된 빔에 의해 생성된다. 제1 빔은 기록 매체(506) 상에 입사하기 전에 커버 렌즈(504)에 의해 수렴된다. 제2 빔은 제2 표면(510)으로부터 방사되는 시준된 빔에 의해 생성된다. 이 빔은 기록 매체 상에 입사하기 전에 오프-축 촬상 렌즈 시스템(508) 및 커버 렌즈(504)에 의해 변경된다. 이러한 두 빔은 홀로그램 기록 매체(506)에 간섭 패턴을 생성하도록 서로 간섭하여, 이에 의해 마스터 홀로그램을 생성한다. 그런 다음, 이러한 마스터 홀로그램은 콘택트 복사를 사용하여 볼륨 브래그 격자(414)를 대량 생산하는데 사용될 수 있다. 마스터 홀로그램이 복사본과 직접 콘택트하는 경우에만 콘택트 복사본의 렌즈 또는 회절 굴절력이 동일하게 될 것이다. 마스터와 사본 사이에 간격 또는 거리가 있는 경우 마스터 홀로그램은 이 간격을 보완하도록 설계되어야 한다.

도 6은 눈 추적에서 사용하기 위한 방법을 요약하기 위해 사용되는 흐름도이다. 도 6을 참조하면, 단계(602)에서, 도파관의 볼륨 브래그 격자형 입력-커플러가 대체로 눈과 축 방향으로 정렬된 동안, 눈은 적외선으로 조명된다. 단계(604)에 나타낸 바와 같이, 볼륨 브래그 격자형 입력-커플러는 볼륨 브래그 격자형 입력-커플러에 입사하는 눈으로부터 반사된 적외선 빔을 도파관 내로 결합시키는데 사용된다. 단계(606)는 볼륨 브래그 격자형 입력-커플러의 하부 경계에서 상부 경계 사이에 점진적으로 감소하는 k-벡터 각도를 사용하여, 볼륨 브래그 격자형 입력-커플러에 의해 도파관 내로 결합되는 적외선의 적어도 대부분(및 바람직하게는 전부 또는 거의 전부)이 도파관의 출력-커플러로 도파관내에서 전파되도록 하는 단계를 포함한다. 단계(608)는 상이한 적외선 빔이 볼륨 브래그 격자형 입력-커플러로부터 출력-커플러로 전파될 때 눈의 같은 지점으로부터 반사된 후에 도파관 내로 결합되는 상이한 적외선 빔이 시준되지 않는 정도를 제한하기 위하여 5도 이하인 볼륨 브래그 격자형 입력-커플러의 각도 대역폭을 사용하는 단계를 포함한다. 단계들(604, 606, 608)은 3개의 개별 단계들로 도시되지만, 그러한 단계들은 동시에 수행될 가능성이 있다.

단계(610)에서 나타낸 바와 같이, 도파관의 출력-커플러는 볼륨 브래그 격자형 입력-커플러로부터 출력-커플러로 전파된 적외선 빔이 도파관을 빠져나가게 하는 데 사용된다.

단계(612)에 나타낸 바와 같이, 평면 도파관을 빠져나가는 적외선 빔은 각도 부호화된 적외선 빔으로부터 2차원 공간적으로 부호화된 적외선 빔으로 변환된다. 이는 렌즈 모듈(예: 430)을 사용하여 달성할 수 있다.

단계(614)에 표시된 바와 같이, 눈을 추적하는 데 사용될 수 있는 눈 추적 데이터는 2차원 공간적으로 부호화된 적외선 빔에 따라 생성된다. 위에서 설명한 바와 같이, 이것은 눈 추적 IR 센서(예 : 134B)를 사용하여 달성할 수 있다. 센서는 예를 들어 CCD 또는 CMOS 픽셀 센서 어레이일 수 있지만, 이에 한정되는 것은 아니다. 눈 추적 데이터의 일부 예는 적외선 카메라로부터의 이미지 데이터 또는 위치 감지 검출기(PSD)에 의해 번쩍임에 대하여 검출된 위치이다. 예를 들어, 눈 추적 데이터는 사용자가 응시하고 있는 실제 또는 가상의 하나 이상의 객체를 나타내는 시선 포인트를 결정하는 데 사용될 수 있다. 다시 말해, 눈 추적 데이터는 사용자가 보고 있는 방향 또는 물체를 결정하는 데 사용될 수 있다. 당업계에 공지된 바와 같이, 눈 추적은 이향 운동(vergence) 측정, IPD(inter-pupillary distance), 시선 결정, 눈 운동 기반 명령, 생체 인식을 측정하는 것을 포함 할 수 있지만, 이에 한정되는 것은 아니다.

눈 구멍 내의 동공의 위치는 IR 센서가 IR 카메라일 때 알려진 촬상 기술에 의해, 그리고 IR 센서가 일종의 위치 감지 검출기(PSD)일 때 번쩍임 위치 데이터에 의해 식별될 수 있다. 보다 구체적인 예를 들면, 동공의 위치는, 예를 들어, 크란쯔(Kranz) 등에게 2008년 7월 22일 발행된 "헤드 마운트 눈 추적 및 디스플레이 시스템(Head Mounted Eye Tracking and Display System"이라는 제목의 미국 특허 제7,401,920호에 개시된 바와 같은, 각막의 반사를 검출하는 공지된 촬상 기술에 의해 식별될 수 있다. 이러한 기술은 추적 카메라(예를 들어, 눈 추적 IR 센서(134B))에 대한 눈 중심의 위치를 찾을 수 있다. 일반적으로, 눈 추적은 눈의 이미지를 얻고 컴퓨터 비전 기술을 사용하여 눈 구멍 내의 동공의 위치를 결정하는 것을 포함한다. 일 실시예에서, 눈은 대개 일제히 움직이기 때문에 한쪽 눈의 위치를 추적하는 것으로 충분하다. 그러나 각 눈을 개별적으로 추적할 수도 있다. 두 개의 눈이 추적되는 경우, 눈의 각각 하나에 대해 본원에서 설명된 도파관(412) 중 별도의 도파관이 있을 수 있다. 반사된 적외선에 기초하여 눈을 추적하고 눈 추적 데이터를 생성하는 기술을 설명하는 특허의 또 다른 예는 2013년 7월 16일 루이스(Lewis) 등에게 발행된 "시스루 니어-아이 혼합 현실 디스플레이에서의 시선 검출(Gaze Detection in a See-Through, Near-Eye, Mixed Reality Display)”라는 제목의 미국 특허 제8,487,838호이다.

단계(616)에 표시된 바와 같이, 애플리케이션의 양상은 눈 추적 데이터에 기초하여 제어되거나 수정된다. 단계(616)는 예를 들어 프로세서(예: 210 또는 320)를 사용하여 수행될 수 있다. 단계(616)는 예를 들어, 사용자가 리스트로부터 선택할 수 있게 하거나, 아바타가 가상 환경을 통해 어떻게 진행하는지 사용자가 제어할 수 있게 하거나, 특정 가상 객체가 강조되도록 하는 것을 포함하지만, 이에 제한되지는 않는다. 단계(616)는 부가적으로 또는 대안적으로, 특정 시각적 자극 등에 대한 사용자의 반응을 관찰하는 것을 포함할 수 있다.

본 명세서에 개시된 도파관은 유리하게도 혼합 현실 디스플레 장치 시스템의 시스루 특성을 손상시키지 않는 방식으로 눈 추적 하드웨어와 사용될 수 있다. 또한, 여기에 개시된 도파관은 모든 유형의 처방 안경과 작동하는 눈을 촬상할 수 있게 하고, 전체 눈 운동 범위와 동공 간 거리 범위를 커버하는 눈의 촬상을 가능하게 한다.

도면에서, 도파관(412)은 전형적으로 한 쌍의 평면을 포함하는 도파관인 것으로 도시되었다. 다른 실시예에서, 도파관의 표면은 비평면, 즉 곡선일 수 있다. 격자가 평면 표면 상 또는 내부에서보다 용이하게 제조될 수 있는 반면, 곡면으로는 시스템 내의 수차(aberration)의 일부를 감소시키는 것이 가능할 수 있다.

본 명세서에 기술된 특정 실시예는 적외선 파장을 갖는 적외선에 의해 조명되는 눈을 추적하는데 사용되는 장치에 관한 것으로, 장치는 투명하고 입력-커플러 및 출력-커플러를 포함하는 도파관을 포함한다. 출력-커플러는 선형 격자(linear grating), 홀로그램 격자(holographic grating) 또는 프리즘(prism) 일 수 있지만, 이에 한정되는 것은 아니다. 입력-커플러는 적외선 파장을 갖는 적외선을 수신하고 수신된 적외선을 도파관 내로 결합하도록 구성된 볼륨 브래그 격자를 포함한다. 볼륨 브래그 격자는 하부 경계 및 상부 경계를 포함하며, 상부 경계는 하부 경계보다 출력-커플러에 더 가깝다. 또한, 볼륨 브래그 격자는 상부 경계에서의 k-벡터 각도보다 큰, 하부 경계에서의 k-벡터 각도를 가지며, 하부 경계와 상부 경계 사이의 볼륨 브래그 격자의 k-벡터 각도는 볼륨 브래그 격자의 격자 면과 상부 경계 사이의 거리가 감소함에 따라 서서히 감소한다. 볼륨 브래그 격자는 추적되는 눈을 비추는 적외선의 적외선 파장과 일치하는 브래그 파장을 가지고 있다. 볼륨 브래그 격자는 상부 경계에서의 격자 주기보다 작은, 하부 경계에서의 격자 주기를 가지며, 하부 경계와 상부 경계 사이의 볼륨 브래그 격자의 격자 주기는 서서히 증가한다. 볼륨 브래그 격자는 렌즈 굴절력 및 프리즘 굴절력 모두를 포함하며, 볼륨 브래그 격자의 렌즈 굴절력은 볼륨 브래그 격자의 초점 길이를 특정하고, 볼륨 브래그 격자의 프리즘 굴절력은 볼륨 브래그 격자에 의해 수신되는 적외선이 도파관 내로 결합되도록 한다. 볼륨 브래그 격자의 각도 대역폭은 5도 이하이고 바람직하게는 1도 내지 2도 사이이다. 입력-커플러가 적외선으로 조명된 눈 앞에 위치할 때, 눈에서 반사되어 입력-커플러에 의해 수신되는 적외선의 적어도 일부는 입력-커플러에서 도파관 내로 결합되고, 내부 전반사에 의해 입력-커플러에서 출력-커플러로 도파관 내에서 전파하여, 출력-커플러 근처의 도파관을 나간다. 텔레센트리시티를 실질적으로 달성하기 위해, 입력-커플러의 각각의 포인트의 각도 대역폭은 실질적으로 입력-커플러의 주광선에 집중되고, 입력-커플러의 모든 주광선은 서로 실질적으로 평행하다.

본 명세서에 기술된 특정 실시예들은 눈 추적에 사용하기 위한 방법에 관한 것으로, 이 방법은 도파관의 볼륨 브래그 격자형 입력-커플러가 일반적으로 눈과 축 방향으로 정렬되는 동안 적외선으로 눈을 조명하는 단계, 볼륨 브래그 격자형 입력-커플러에 입사하는 눈에서 반사된 적외선 빔을 도파관 내로 결합하기 위해 볼륨 브래그 격자형 입력-커플러를 사용하는 단계를 포함한다. 이러한 방법은 또한 볼륨 브래그 격자형 입력-커플러의 하부 경계와 상부 경계 사이에서 점진적으로 감소하는 k-벡터 각도를 사용하여, 볼륨 브래그 격자형 입력-커플러에 의해 도파관 내로 결합되는 적외선의 적어도 대부분이 도파관 내에서 도파관의 출력-커플러로 전파하도록 하는 단계를 포함한다. 또한, 이러한 방법은 또한 도파관의 출력-커플러를 사용하여, 볼륨 브래그 격자형 입력-커플러로부터 출력-커플러로 전파된 적외선 빔이 도파관을 빠져나가게 하는 단계를 포함한다. 또한, 5도 이하의 볼륨 브래그 격자형 입력-커플러의 각도 대역폭은, 상이한 적외선 빔이 볼륨 브래그 격자형 입력-커플러에서 출력-커플러로 전파함에 따라 눈상의 동일한 지점으로부터 반사된 후 도파관 내로 결합된 상이한 적외선 빔이 시준되지 않는 정도를 제한하는데 사용된다. 또한, 도파관을 나가는 적외선 빔은 각도 부호화된 적외선 빔에서 2차원 공간적으로 부호화된 적외선 빔으로 변환된다. 이 방법은 또한, 2차원 공간적으로 부호화된 적외선 빔에 따라, 눈을 추적하는 데 사용되는 눈 추적 데이터를 생성하는 단계와, 눈 추적 데이터에 기초하여 애플리케이션의 양상을 제어 또는 수정하는 단계를 포함할 수 있다.

본 명세서에 기술된 특정 실시예는 눈을 추적하는데 사용하기 위한 시스템에 관한 것이다. 이러한 시스템은 눈을 조명하는데 사용되는 적외선을 생성하는 적외선 조명원을 포함한다. 또한, 이 시스템은 투명하고 입력-커플러와 출력-커플러를 포함하는 도파관을 포함한다. 입력-커플러는 적외선 파장을 갖는 적외선을 수신하고 수신된 적외선을 도파관 내로 결합하도록 적응된 볼륨 브래그 격자를 포함한다. 볼륨 브래그 격자는 하부 경계 및 상부 경계를 포함하며, 상부 경계는 하부 경계보다 출력-커플러에 더 가깝다. 볼륨 브래그 격자는 상부 경계에서의 k-벡터 각도보다 더 큰, 하부 경계에서의 k-벡터 각도를 가지며, 하부 경계 및 상부 경계 사이의 볼륨 브래그 격자의 k-벡터 각도는 볼륨 브래그 격자의 격자 평면과 상부 경계 사이의 거리가 감소함에 따라 점차 감소한다. 볼륨 브래그 격자는 눈 추적에 사용하기 위해 적외선의 적외선 파장과 일치하는 브래그 파장을 가지고 있다. 볼륨 브래그 격자는 렌즈 굴절력 및 프리즘 굴절력 모두를 포함하며, 볼륨 브래그 격자의 렌즈 굴절력은 볼륨 브래그 격자의 초점 길이를 특정하고, 볼륨 브래그 격자의 프리즘 굴절력은 볼륨 브래그 격자에 의해 수신되는 적외선이 도파관 내로 결합되도록 한다. 볼륨 브래그 격자의 각도 대역폭은 5도 이하이다. 이 시스템은 또한 출력-커플러에서 도파관을 빠져나가는 적외선 빔을 각도 부호화된 적외선 빔에서 2차원 공간적으로 부호화된 적외선 빔으로 변환하는 렌즈 모듈을 포함한다. 시스템은 렌즈 모듈을 사용하여 생성된 2차원 공간적으로 부호화된 적외선 빔에 의존하는 눈 추적 데이터를 생성하는 센서를 더 포함한다. 또한, 시스템은 눈 추적 데이터에 기초하여 애플리케이션의 양상을 제어 또는 수정하는 프로세서를 포함한다.

본 기술의 실시예들은 특정 기능의 수행 및 그 관계를 설명하는 기능적 빌딩 블록의 도움으로 위에서 설명되었다. 이러한 기능적 빌딩 블록의 경계는 설명의 편의를 위해 본 명세서에서 종종 정의되었다. 지정된 기능과 그 관계가 적절히 수행되는 한, 대안적인 경계가 정의될 수 있다. 따라서, 이러한 임의의 대안적 경계는 본 기술의 범위 및 사상 내에 있다. 예를 들어, 도 6에 도시된 단계들의 일부를 결합 또는 분리하는 것이 가능할 수 있다. 다른 예로서, 도 3a 및 3b에 도시된 블록들의 일부의 경계를 변경하는 것이 가능하다.

비록 본 발명이 구조적 특징 및/또는 방법론적 동작에 특유한 언어로 기술되었지만, 첨부된 청구 범위에 정의된 주제는 상술한 특정 특징 또는 동작에 반드시 반드시 제한되는 것은 아니라는 것을 이해해야 한다. 오히려, 상술한 특정 특징 및 동작은 청구범위를 구현하는 예시적인 형태로서 개시된다. 기술의 범위는 여기에 첨부된 청구범위에 의해 정의되는 것으로 의도된다.

Claims

적외선 파장을 갖는 적외선에 의해 조명되는 눈을 추적하는데 사용하기 위한 장치에 있어서,
투명하며 입력-커플러(input-coupler) 및 출력-커플러(output-coupler)를 포함하는 도파관을 포함하고,
상기 입력-커플러는, 상기 적외선 파장을 갖는 적외선을 수신하고 상기 수신된 적외선을 상기 도파관 내로 결합하도록 구성된 볼륨 브래그 격자(volume Bragg grating)를 포함하고,
상기 볼륨 브래그 격자는 하부 경계(lower boundary) 및 상부 경계(upper boundary)를 포함하고, 상기 상부 경계는 상기 하부 경계보다 상기 출력-커플러에 더 가까우며,
상기 볼륨 브래그 격자는 상기 상부 경계에서의 k-벡터 각도보다 더 큰, 상기 하부 경계에서의 k-벡터 각도를 갖고, 상기 볼륨 브래그 격자의 격자 평면과 상기 상부 경계 사이의 거리가 감소함에 따라 상기 하부 경계와 상부 경계 사이의 상기 볼륨 브래그 격자의 k-벡터 각도가 점차 감소하는 것인, 눈 추적에 사용되는 장치.
제1항에 있어서,
상기 볼륨 브래그 격자는 추적되는 눈을 조명하는 적외선의 적외선 파장과 일치하는 브래그 파장을 갖는 것인, 눈 추적에 사용되는 장치.
제1항 또는 제2항에 있어서,
상기 볼륨 브래그 격자는 상기 상부 경계에서의 격자 주기보다 작은 상기 하부 경계에서의 격자 주기를 가지며, 상기 하부 경계와 상기 상부 경계 사이의 상기 볼륨 브래그 격자의 격자 주기는 점차 증가하는 것인, 눈 추적에 사용되는 장치.
제3항에 있어서,
상기 볼륨 브래그 격자는 렌즈 굴절력(lens power)과 프리즘 굴절력(prismatic power)을 모두 포함하고,
상기 볼륨 브래그 격자의 렌즈 굴절력은 상기 볼륨 브래그 격자의 초점 길이를 지정하고,
상기 볼륨 브래그 격자의 프리즘 굴절력은, 상기 볼륨 브래그 격자에 의해 수신되는 적외선이 상기 도파관 내로 결합되도록 하는 것인, 눈 추적에 사용되는 장치.
제1항 또는 제2항에 있어서,
상기 볼륨 브래그 격자의 각도 대역폭은 5도 이하인 것인, 눈 추적에 사용되는 장치.
제5항에 있어서,
상기 볼륨 브래그 격자의 상기 각도 대역폭은 1도와 2도 사이인 것인, 눈 추적에 사용되는 장치.
제1항에 있어서,
상기 입력-커플러가 상기 적외선으로 조명되는 눈 전방에 위치될 때, 상기 눈으로부터 반사되고 상기 입력-커플러에 의해 수신되는 상기 적외선의 적어도 일부는 상기 입력-커플러에서 상기 도파관 내로 결합되고, 내부 전반사에 의해 상기 입력-커플러로부터 상기 출력-커플러로 상기 도파관 내에서 전파하며, 상기 출력-커플러 근처에서 상기 도파관을 나가는 것인, 눈 추적에 사용되는 장치.
제1항에 있어서,
텔레센트리시티(telecentricity)를 실질적으로 달성하기 위해, 상기 입력-커플러의 각 지점의 각도 대역폭은 실질적으로 상기 입력-커플러의 주광선에 집중되고(centered), 상기 입력-커플러의 모든 주광선은 실질적으로 서로 평행인 것인, 눈 추적에 사용되는 장치.
눈을 추적하는데 사용하기 위한 방법에 있어서,
도파관의 볼륨 브래그 격자형 입력-커플러(volume Bragg grating type of input-coupler)가 대체로 상기 눈과 축 방향으로 정렬되어 있는 동안, 적외선으로 상기 눈을 조명하는 단계;
상기 볼륨 브래그 격자형 입력-커플러를 이용하여, 상기 볼륨 브래그 격자형 입력-커플러에 입사하는, 상기 눈으로부터 반사되는 적외선 빔을 상기 도파관 내로 결합하는 단계;
상기 볼륨 브래그 격자형 입력-커플러의 하부 경계와 상부 경계 사이의 점차 감소하는 k-벡터 각도를 이용하여, 상기 볼륨 브래그 격자형 입력-커플러에 의해 상기 도파관 내로 결합되는 적외선의 적어도 대부분이 상기 도파관 내에서 상기 도파관의 출력-커플러로 전파되게 하는 단계; 및
상기 도파관의 출력-커플러를 이용하여, 상기 볼륨 브래그 격자형 입력-커플러로부터 상기 출력-커플러로 전파된 상기 적외선 빔이 상기 도파관을 나가게 하는 단계
를 포함하는 것인, 눈 추적에 사용하기 위한 방법.
제9항에 있어서,
상이한 적외선 빔이 상기 볼륨 브래그 격자형 입력-커플러로부터 상기 출력-커플러로 전파될 때, 상기 눈의 동일한 지점으로부터 반사된 후 상기 도파관 내로 결합되는 상기 상이한 적외선 빔이 시준(collimate)되지 않게 하는 정도를 제한하기 위하여, 5도 이하의 상기 볼륨 브래그 격자형 입력-커플러의 각도 대역폭을 이용하는 단계를 더 포함하는, 눈 추적에 사용하기 위한 방법.
제9항 또는 제10항에 있어서,
상기 도파관을 나가는 상기 적외선 빔을 각도 부호화된 적외선빔으로부터 2차원 공간 부호화된 적외선 빔으로 변환하는 단계;
상기 2차원 공간 부호화된 적외선 빔에 의존하여, 상기 눈을 추적하는데 사용되는 눈 추적 데이터를 생성하는 단계; 및
상기 눈 추적 데이터에 기초하여 애플리케이션의 양상(aspect)을 제어하거나 수정하는 단계
를 더 포함하는 것인, 눈 추적에 사용하기 위한 방법.
눈을 추적하는데 사용하기 위한 시스템에 있어서,
눈을 조명하는데 사용되는 적외선을 생성하는 적외선 조명원; 및
투명하며, 입력-커플러 및 출력-커플러를 포함하는 도파관
을 포함하고,
상기 입력-커플러는, 적외선 파장을 갖는 적외선을 수신하고 상기 수신된 적외선을 상기 도파관 내로 결합하도록 구성된 볼륨 브래그 격자를 포함하고,
상기 볼륨 브래그 격자는 하부 경계 및 상부 경계를 포함하고, 상기 상부 경계는 상기 하부 경계보다 상기 출력-커플러에 더 가까우며,
상기 볼륨 브래그 격자는 상기 상부 경계에서의 k-벡터 각도보다 더 큰, 상기 하부 경계에서의 k-벡터 각도를 갖고, 상기 볼륨 브래그 격자의 격자 평면과 상기 상부 경계 사이의 거리가 감소함에 따라, 상기 하부 경계와 상기 상부 경계 사이의 상기 볼륨 브래그 격자의 k-벡터 각도가 점차 감소하는 것인, 눈 추적 시스템.
제12항에 있어서,
상기 볼륨 브래그 격자는 눈 추적에 사용하기 위해 상기 적외선의 적외선 파장에 일치하는 브래그 파장을 가지며,
상기 볼륨 브래그 격자는 렌즈 굴절력과 프리즘 굴절력을 모두 포함하고,
상기 볼륨 브래그 격자의 렌즈 굴절력은 상기 볼륨 브래그 격자의 초점 길이를 지정하고,
상기 볼륨 브래그 격자의 프리즘 굴절력은, 상기 볼륨 브래그 격자에 의해 수신되는 적외선이 상기 도파관 내로 결합되게 하는 것인, 눈 추적 시스템.
제12항 또는 제13항에 있어서, 상기 볼륨 브래그 격자의 각도 대역폭은 5도 이하인 것인, 눈 추적 시스템.
제12항 또는 제13항에 있어서,
상기 출력-커플러에서 상기 도파관을 나가는 상기 적외선 빔을, 각도 부호화된 적외선 빔으로부터 2차원 공간 부호화된 적외선 빔으로 변환하는 렌즈 모듈;
상기 렌즈 모듈을 사용하여 생성된 상기 2차원 공간 부호화된 적외선 빔에 의존하여 눈 추적 데이터를 생성하는 센서; 및
상기 눈 추적 데이터에 기초하여 애플리케이션의 양상를 제어 또는 수정하는 프로세서
를 더 포함하는, 눈 추적 시스템.