KR20220118445A - 도광 광학 엘리먼트와 연관된 광학 배열체를 사용하여 눈으로부터 광을 방향 전환시키는 것에 기초한 시선 추적을 위한 광학계 및 방법 - Google Patents

도광 광학 엘리먼트와 연관된 광학 배열체를 사용하여 눈으로부터 광을 방향 전환시키는 것에 기초한 시선 추적을 위한 광학계 및 방법 Download PDF

Info

Publication number
KR20220118445A
KR20220118445A KR1020227022804A KR20227022804A KR20220118445A KR 20220118445 A KR20220118445 A KR 20220118445A KR 1020227022804 A KR1020227022804 A KR 1020227022804A KR 20227022804 A KR20227022804 A KR 20227022804A KR 20220118445 A KR20220118445 A KR 20220118445A
Authority
KR
South Korea
Prior art keywords
light
eye
transmissive substrate
optical sensor
partially reflective
Prior art date
Application number
KR1020227022804A
Other languages
English (en)
Inventor
에이탄 로넨
로넨 크리키
나아마 레빈
릴리아 로바친스키
Original Assignee
루머스 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 루머스 리미티드 filed Critical 루머스 리미티드
Publication of KR20220118445A publication Critical patent/KR20220118445A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24—Coupling light guides
    • G02B6/42—Coupling light guides with opto-electronic elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24—Coupling light guides
    • G02B6/42—Coupling light guides with opto-electronic elements
    • G02B6/4201—Packages, e.g. shape, construction, internal or external details
    • G02B6/4204—Packages, e.g. shape, construction, internal or external details the coupling comprising intermediate optical elements, e.g. lenses, holograms
    • G02B6/4214—Packages, e.g. shape, construction, internal or external details the coupling comprising intermediate optical elements, e.g. lenses, holograms the intermediate optical element having redirecting reflective means, e.g. mirrors, prisms for deflecting the radiation from horizontal to down- or upward direction toward a device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
    • G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
    • G02B6/0033—Means for improving the coupling-out of light from the light guide
    • G02B6/0035—Means for improving the coupling-out of light from the light guide provided on the surface of the light guide or in the bulk of it

Abstract

광 투과성 기판은 적어도 2개의 주 표면들을 갖고, 주 표면들 중 제1 주 표면은 뷰어의 눈과 대면하는 관계로 배치된다. 광 방향 전환 배열체는 광 투과성 기판과 연관되고, 눈으로부터 광을 감지하는 광학 센서를 향해 광을 편향시키고, 광 편향은 광 투과성 기판에서 발생하고, 광학 센서에 도달하는 편향된 광은 광 투과성 기판에 의해 가이드되지 않는다. 프로세서는 광학 센서로부터의 신호를 처리함으로써 눈의 현재 응시 방향을 도출한다.

Description

도광 광학 엘리먼트와 연관된 광학 배열체를 사용하여 눈으로부터 광을 방향 전환시키는 것에 기초한 시선 추적을 위한 광학계 및 방법
관련 출원에 대한 상호 참조
본 출원은 2019년 12월 25일에 출원된 미국 가특허 출원 제62/953,557호, 2020년 1월 9일에 출원된 미국 가특허 출원 제62/958,755호 및 2020년 5월 13일에 출원된 미국 가특허 출원 제63/023,891호의 우선권을 주장하며, 이들의 개시내용은 본 명세서에서 그 전부가 참조로서 인용된다.
기술 분야
본 발명은 시선 추적(eye tracking)에 관한 것이다.
근안 디스플레이(NED), 헤드 장착 디스플레이(HMD) 및 헤드 업 디스플레이(HUD)를 위한 광학 배열체는 관찰자(observer)의 눈이 위치된 영역을 커버하기 위해 큰 애퍼처(aperture)를 필요로 한다(흔히 아이 모션 박스(eye motion box) - 또는 EMB로 지칭됨). 컴팩트한 디바이스를 구현하기 위하여, 관찰자의 눈에 투사될 이미지는 큰 애퍼처를 생성하기 위하여 증배되는 작은 애퍼처를 갖는 작은 광학 이미지 생성기(프로젝터)에 의해 생성된다.
일 차원에서의 애퍼처 증배에 대한 접근법은 이미지가 내부 반사에 의해 전파되는 투명 재료의 평행-겉면 슬래브(parallel-face slab)에 기초하여 개발되었다. 이미지 파면(wavefront)의 일부는 비스듬하게 각을 이룬 부분 반사기들의 사용에 의해 또는 슬래브의 일 표면 상의 회절 광학 엘리먼트의 사용에 의해 슬래브 밖으로 커플링된다. 이러한 슬래브는 본 명세서에서 도광 광학 엘리먼트(LOE : light-guide optical element), 광 투과성 기판, 또는 광 도파관(optical waveguide)이라고 지칭된다. 이러한 개구 증배의 원리는 도 1에 개략적으로 도시되어 있으며, 이는 내부 반사(바람직하게는 반드시 내부 전반사일 필요는 없다)에 의해 광을 가이드하기 위한 한 쌍의 평행한 주 외부 표면(면)(12,14)을 갖는 도광 광학 엘리먼트(10)를 도시한다. 이미지 프로젝터(16)(직사각형으로서 개략적으로 표현됨)는 빔을 스팬하는 샘플 광선들(18A 및 18B)을 포함하는 조명 빔(18)에 의해 개략적으로 표현된 바와 같이, 투사된 이미지(18)를 생성한다. 투사된 이미지(18)는, 기판 내의 내부 반사에 의해 트랩되는 반사 광선(22)을 발생시키고, 또한 광선(24)을 발생시키기 위해, 프리즘(prism)(20)으로 개략적으로 도시된 바와 같이("웨지(wedge)"로 상호교환가능하게 지칭됨) 광 커플링 인 구성(optical coupling-in configuration)(20)에 의해 도광 광학 엘리먼트(10)에 커플링된다. 여기서 커플링 웨지(20)는 3개의 주 표면을 포함하고, 이들 중 하나는 LOE(10)의 경사 에지(26) 옆에(또는 이들 에지(26)는 겉면들(12, 14)에 대해 비스듬한 각도에 있음) 위치된다.
커플링 인 이미지(18)는 겉면(12, 14)으로부터의 반복된 내부 반사에 의해 기판(10)을 따라 전파되고, 평행한 겉면(12, 14)에 대해 비스듬한 각도(αsur)으로 부분 반사 표면(28)의 시퀀스에 의해 개략적으로 도시된 바와 같이, 광 커플링 아웃 구성(28)에 충돌하며, 여기서 이미지 강도의 일부는 표면(12)으로부터 ER(eye relief) 거리(38)에서 EMB(36)에 위치된 관찰자의 눈(34)의 동공(32)을 향한 광선(30A 및 30B)으로서 기판 밖으로 커플링되도록 반사된다. 고스트 이미지(ghost image)를 발생시킬 수 있는 원치 않는 반사를 최소화하기 위해, 부분 반사 표면(28)은 바람직하게는 제1 범위의 입사각들에 대해 낮은 반사율을 갖도록 코팅되는 한편, 제2 범위의 입사각들에 대해 원하는 부분 반사율을 가지며, 여기서 부분 반사 표면(28)에 대한 법선에 대한 작은 경사도(inclination)(여기서 각도 βref로 나타냄)를 갖는 광선은 커플링 아웃을 위한 반사 광선을 생성하기 위해 분할되고, 반면에 높은 경사도(법선에 대한)는 무시할 정도의 반사로 투과된다.
투사된 이미지(18)는 시준된 이미지로서, 즉 각각의 픽셀이 관찰자로부터 멀리 있는 장면으로부터의 광과 동일한 대응하는 각도에서 평행한 광선의 빔에 의해 표현되는 것이다(시준된 이미지는 "무한대로 시준된(collimated to infinity)"라고 지칭됨). 이미지는 여기서 이미지의 단일 지점, 통상적으로 이미지의 중심에 대응하는 광선에 의해 단순하게 표현되지만, 사실상 이러한 중심 빔의 각 측면에 대한 각도의 범위를 포함하며, 이는 대응하는 각도의 범위로 기판에 커플링되고, 유사하게 대응하는 각도로 커플링되어, 관찰자의 눈(34)에 대해 상이한 방향으로 도달하는 이미지 부분에 대응하는 시야(field of view)를 생성한다.
NED, HMD 또는 HUD 설계에 유용할 수 있는 광학 기능은 시선 추적(eye tracking) 또는 머리의 방향에 대해 관찰자의 눈이 보고 있는 방향(흔히 응시 방향(gaze direction)이라고 지칭됨)을 감지하는 것이다. 시선 추적을 위한 다양한 솔루션들이 제안되고 있다. 일 세트의 솔루션에서, 눈으로부터 반사된 광을 LOE에 커플링시킴으로써 LOE를 통해 EMB 내에 눈이 이미징되며, 반사된 광은 내부 반사에 의해 LOE를 통해 다시 이미지 프로젝터로(즉, 이미지 프로젝터로부터의 이미지 광에 대해 역방향으로) 전파된다. 이러한 솔루션들은 EMB가 이미지 프로젝터로부터의 시준된 이미지처럼 무한대에 위치되지 않고 오히려 LOE에 비교적 가까운 거리에 위치된다는 근본적인 문제를 극복하려고 시도한다. 다른 세트의 솔루션에서, EMB는 예컨대 안경 프레임과 같은, LOE가 장착되는 기계 본체의 주변 부분 상의 축외(off-axis) 위치에서 눈 앞에 배치된 하나 이상의 카메라를 사용하여 이미징된다. 그러나, 기계적 본체의 주변 부분과 눈 사이의 근접성은 상대적으로 큰 키스톤(keystone) 각도로 인해 EMB 내의 눈을 이미징하는 것을 어렵게 한다. 분명히, 눈 바로 앞에 카메라를 배치하면 고품질 EMB 이미징 및 이미지 처리가 가능하지만, 눈 바로 앞에 카메라를 배치하면 뷰어(viewer)의 자연스러운 시야를 가릴 것이다.
본 발명의 양태들은 도광 광학 엘리먼트를 통한 눈의 이미징에 기초하여 인간 눈의 응시 방향을 추적하기 위한 시선 추적기(eye tracker) 및 대응하는 방법을 제공하고, 특히 NED, HMD 또는 HUD의 일부로서 통합하기에 적합하다.
본 발명의 양태들은, 눈의 조명에 응답하여, 눈으로부터 반사된 광을 가이드되지 않은 광으로서 광학 센서를 향해 방향 전환시키는 도광 광학 엘리먼트와 연관된 광 방향 전환 광학 배열체를 통한 눈의 이미징에 기초하여, 인간 눈의 응시 방향을 추적하기 위한 시선 추적기 및 대응하는 방법을 제공하고, NED, HMD 또는 HUD의 일부로서 통합하기에 특히 적합하다.
본 발명의 실시예의 교시들에 따라, 광학계가 제공된다. 광학계는 다음을 포함한다 : 적어도 2개의 주 표면(major surface)을 갖는 광 투과성 기판으로서, 상기 주 표면 중 제1 표면은 뷰어(viewer)의 눈과 대면하는 관계로 배치된, 상기 광 투과성 기판; 광을 감지하도록 배치된 광학 센서; 상기 광학 센서에 도달하는 편향된 광이 상기 광 투과성 기판에 의해 가이드되지 않도록, 상기 눈으로부터 상기 광학 센서를 향해 광을 편향시키도록 구성된 상기 광 투과성 기판과 연관된 광 방향 전환 배열체(light redirecting arrangement)로서, 상기 광 방향 전환 배열체에 의한 광의 편향은 상기 광 투과성 기판에서 발생하는, 상기 광 방향 전환 배열체; 및 상기 광학 센서에 전기적으로 커플링되고 상기 눈의 현재 응시 방향(gaze direction)을 도출하기 위해 상기 광학 센서로부터의 신호를 처리하도록 구성된 적어도 하나의 프로세서.
옵션으로, 광학계는 상기 눈을 광으로 조명하도록 배치된 조명 배열체(illumination arrangement)를 더 포함하여, 상기 눈은 반사된 광으로서 상기 조명 배열체로부터의 광의 일부를 반사하고, 상기 반사된 광은 상기 광 방향 전환 배열체에 의해 편향된 상기 눈으로부터의 광에 대응한다.
옵션으로, 상기 조명 배열체는 적어도 제1 광원 및 제2 광원을 포함하고, 상기 제1 광원은 주어진 제1 파장 범위의 파장들을 갖는 광을 생성하도록 구성되고, 상기 제2 광원은 주어진 제2 파장 범위의 파장들을 갖는 광을 생성하도록 구성되고, 상기 주어진 제1 파장 범위 및 주어진 제2 파장 범위는 비 중첩 범위이다.
옵션으로, 상기 광 방향 전환 배열체에 의해 편향되는 상기 눈으로부터의 광은 상기 전자기 스펙트럼의 상기 가시광 영역 외부의 파장들을 갖는 광을 주로 포함한다.
옵션으로, 상기 광 방향 전환 배열체에 의해 편향되는 상기 눈으로부터의 광은 상기 전자기 스펙트럼의 상기 가시광 영역 내의 파장들을 갖는 광을 주로 포함한다.
옵션으로, 상기 광 방향 전환 배열체는 상기 전자기 스펙트럼의 가시광선 영역의 파장을 갖는 광을 투과시키고, 상기 전자기 스펙트럼의 가시광선 영역의 외측의 파장을 갖는 광을 반사시킨다.
옵션으로, 상기 광 방향 전환 배열체는 상기 광 투과성 기판 내에 위치된 적어도 하나의 부분 반사 표면을 포함한다.
옵션으로, 상기 광 투과성 기판의 상기 2개의 주 표면들은 상호 평행하고, 상기 적어도 하나의 부분 반사 표면은 상기 2개의 주 표면들에 대해 비스듬한 각도를 갖는 플랫한 표면이다.
옵션으로, 상기 광 투과성 기판은 상기 광 투과성 기판의 상기 2개의 주 표면 사이의 내부 반사에 의해 무한대로 시준된 이미지에 대응하는 광을 가이드하도록 구성되고, 상기 광학계는 : 상기 2개의 주 표면들 사이의 내부 반사에 의해 가이드되는 광을 상기 뷰어의 눈에 상기 광 투과성 기판 밖으로 커플링하기 위해 상기 광 투과성 기판 내에 위치된 제2 적어도 하나의 부분 반사 표면을 더 포함한다.
옵션으로, 상기 제2 적어도 하나의 부분 반사 표면은 상기 2개의 주 표면에 대해 비스듬한 각도의 플랫한 표면이다.
옵션으로, 상기 적어도 하나의 부분 반사 표면과 상기 제2 부분 반사 표면은 서로 평행하다.
옵션으로, 상기 적어도 하나의 부분 반사 표면 및 상기 제2 적어도 하나의 부분 반사 표면은 서로 평행하지 않다.
옵션으로, 적어도 하나의 부분 반사 표면은 제2 적어도 하나의 부분 반사 표면에 비 중첩 관계로 배치된다.
옵션으로, 적어도 하나의 부분 반사 표면은 제2 적어도 하나의 부분 반사 표면에 중첩하는 관계로 배치된다.
옵션으로, 광 방향 전환 배열체는 광 투과성 기판의 주 표면 중 하나의 적어도 일부와 연관된 회절 엘리먼트를 포함한다.
옵션으로, 광 방향 전환 배열체는 광 투과성 기판의 주 표면들 중 하나의 적어도 일부와 연관된 선택적 반사 표면을 포함한다.
옵션으로, 선택적 반사 표면은 주 표면의 적어도 일부에 도포된 유전체 코팅 또는 이색성 코팅 중 적어도 하나로 형성된다.
옵션으로, 상기 광 방향 전환 배열체는 상기 눈의 적어도 일부의 제1 이미지를 형성하기 위해 상기 눈으로부터 제1 세트의 광선을 이미징 렌즈를 통해 상기 광학 센서를 향해 편향시키고, 상기 광학계는 : 상기 눈의 적어도 일부의 제2 이미지를 형성하기 위해 상기 눈으로부터 제2 세트의 광선을 상기 이미징 렌즈를 통해 상기 광학 센서를 향해 제2 세트의 광선을 편향시키도록 구성된 제2 광 방향 전환 배열체를 더 포함한다.
옵션으로, 상기 적어도 하나의 프로세서는 상기 눈과 상기 주 표면들 중 상기 제1 주 표면 사이의 거리를 결정하기 위해 상기 제 1 및 제 2 이미지들에 대응하는 상기 광학 센서로부터의 신호를 처리하도록 추가로 구성된다.
옵션으로, 상기 광 방향 전환 배열체는 : 상기 광 투과성 표면의 제1 부분 내에 위치된 적어도 하나의 부분 반사 표면, 상기 광 투과성 기판의 상기 주 표면들 중 하나의 주 표면의 적어도 제1 부분과 연관된 회절 엘리먼트, 또는 상기 광 투과성 기판의 상기 주 표면들 중 하나의 주 표면의 적어도 제1 부분과 연관된 선택적 반사 표면 중 하나를 포함하고, 상기 제2 광 방향 전환 배열체는 : 상기 광 투과성 표면의 제2 부분 내에 위치된 적어도 하나의 부분 반사 표면, 상기 광 투과성 기판의 상기 주 표면들 중 하나의 주 표면의 적어도 제2 부분과 연관된 회절 엘리먼트, 또는 상기 광 투과성 기판의 상기 주 표면들 중 하나의 주 표면의 적어도 제2 부분과 연관된 선택적 반사 표면 중 하나를 포함한다.
옵션으로, 상기 광 투과성 기판의 상기 주 표면 중 적어도 하나는 곡면(curved surface)이다.
옵션으로, 상기 광 투과성 기판은, 무한대로 시준된 이미지에 대응하는 광을 상기 광 투과성 기판의 상기 2 개의 주 표면들 사이의 내부 반사에 의해 가이드하도록 구성되고, 상기 광학계는 : 상기 표면들 사이의 내부 반사에 의해 가이드되는 광을 상기 기판 밖으로 커플링하기 위한 광 커플링 아웃 구성(optical coupling-out configuration)을 더 포함한다.
옵션으로, 광 커플링 아웃 구성은 회절 엘리먼트를 포함한다.
옵션으로, 광 커플링 아웃 구성은 광 투과성 기판 내에 위치된 적어도 하나의 부분 반사 표면을 포함한다.
옵션으로, 광 투과성 기판의 2개의 주 표면들은 서로 평행하고, 적어도 하나의 부분 반사 표면은 2개의 주 표면들에 대해 비스듬한 각도에서 플랫한 표면이다.
옵션으로, 광 커플링 아웃 구성은 광 방향 전환 배열체와 비 중첩 관계로 배치된다.
옵션으로, 광 커플링 아웃 구성은 광 방향 전환 배열체와 중첩하는 관계로 배치된다.
옵션으로, 광 투과성 기판은 광을 1차원으로 가이드하도록 구성된다.
옵션으로, 광 투과성 기판은 광을 2차원으로 가이드하도록 구성된다.
옵션으로, 광 방향 전환 배열체는 제1 평행 평면 세트에 배치되고, 광 커플링 아웃 구성은 제2 평행 평면 세트에 배치된다.
옵션으로, 제1 및 제2 평면 세트는 상호 평행하다.
옵션으로, 제1 및 제2 평면 세트는 상호 직교한다.
옵션으로, 제1 및 제2 평면 세트는 상호 비스듬하다.
옵션으로, 광 투과성 기판은 근안 디스플레이(near eye display)의 일부로서 통합된다.
옵션으로, 광 투과성 기판은 헤드업 디스플레이(head up display)의 일부로서 통합된다.
옵션으로, 광학 센서는 상기 뷰어의 눈과 상기 주 표면들 중 상기 제1 표면 사이에 배치된다.
옵션으로, 상기 광 방향 전환 배열체에 의해 편향되는 상기 눈으로부터의 광은 상기 광학 센서에 도달하기 전에 상기 광 투과성 기판 내에서 최대 단일 반사를 겪는다.
옵션으로, 상기 광학계는 : 상기 광학 센서 상에 상기 눈의 적어도 일부의 적어도 하나의 이미지를 형성하기 위해 상기 광 방향 전환 배열체로부터 상기 광학 센서로의 광학 경로 내에 배치된 적어도 하나의 이미징 광학 엘리먼트를 더 포함한다.
본 발명의 교시들의 실시예에 따라 광학계가 또한 제공된다. 광학계는 다음을 포함한다: 2개의 상호 평행한 주 외부 표면을 갖는 광 투과성 기판으로서, 상기 주 외부 표면들 중 하나는 뷰어의 눈에 대해 대면하는 관계로 배치된, 상기 광 투과성 기판; 상기 주 외부 표면들 사이의 내부 반사에 의해 상기 광 투과성 기판 내에서 전파되도록, 시준된 이미지에 대응하는 광을 상기 광 투과성 기판 내로 커플링하기 위한 광 커플링 인 구성(optical coupling-in configuration); 상기 내부 반사에 의해 상기 광 투과성 기판 내에서 전파되는 광을 상기 광 투과성 기판 밖으로 커플링하기 위한 광 커플링 아웃 구성(optical coupling-out configuration); 상기 광을 감지하기 위해 배치된 광학 센서; 상기 광학 센서에 도달하는 편향된 광이 상기 광 투과성 기판에 의해 가이드되지 않도록, 상기 눈으로부터 상기 광학 센서를 향해 광을 편향시키도록 구성된 상기 광 투과성 기판과 연관된 광 방향 전환 배열체(light redirecting arrangement)로서, 상기 광 방향 전환 배열체에 의한 광의 편향은 상기 광 투과성 기판에서 발생하는, 상기 광 방향 전환 배열체; 및 상기 광학 센서에 전기적으로 커플링되고 상기 눈의 현재 응시 방향(gaze direction)을 도출하기 위해 상기 광학 센서로부터의 신호를 처리하도록 구성된 적어도 하나의 프로세서를 포함하는, 광학계.
옵션으로, 상기 광 방향 전환 배열체는 상기 광 투과성 표면 내에 위치된 적어도 하나의 부분 반사 표면을 포함하고, 상기 적어도 하나의 부분 반사 표면은 상기 2개의 주 외부 표면들에 대해 비스듬한 각도의 플랫한(flat) 표면이다.
옵션으로, 상기 광 커플링 아웃 구성은 제2 적어도 하나의 부분 반사 표면을 포함하고, 상기 제2 적어도 하나의 부분 반사 표면은 상기 2개의 주 외부 표면들에 대해 비스듬한 각도를 갖는 플랫한 표면이다.
옵션으로, 상기 적어도 하나의 부분 반사 표면 및 상기 제2 적어도 하나의 부분 반사 표면은 상호 평행하다.
옵션으로, 상기 적어도 하나의 부분 반사 표면은 상기 제2 적어도 하나의 부분 반사 표면에 평행하지 않다.
옵션으로, 광 커플링 아웃 구성은 광 방향 전환 배열체와 비 중첩 관계로 배치된다.
옵션으로, 광 커플링 아웃 구성은 광 방향 전환 배열체와 중첩하는 관계로 배치된다.
옵션으로, 상기 시준된 이미지에 대응하는 광은 상기 전자기 스펙트럼의 상기 가시광 영역 내의 파장들을 갖는 광을 주로 포함하고, 상기 광 방향 전환 배열체에 의해 편향되는 상기 눈으로부터의 광은 상기 전자기 스펙트럼의 상기 가시광 영역 외부의 파장들을 갖는 광을 주로 포함한다.
옵션으로, 광학계는 다음을 추가로 포함한다: 광학 센서 상에 눈의 적어도 일부의 적어도 하나의 이미지를 형성하기 위해 광 방향 전환 배열체로부터 광학 센서로의 광학 경로 내에 배치된 적어도 하나의 이미징 광학 엘리먼트.
본 발명의 교시들의 실시예에 따라 광학계가 또한 제공된다. 광학계는 다음을 포함한다: 2개의 상호 평행한 주 외부 표면을 갖는 광 투과성 기판으로서, 주 외부 표면 중 하나는 뷰어의 눈에 대해 대면하는 관계로 배치된, 상기 광 투과성 기판; 상기 주 외부 표면들 사이의 내부 반사에 의해 광 투과성 기판 내에서 전파되도록, 시준된 이미지에 대응하는 광을 상기 광 투과성 기판 내로 커플링하기 위한 광 커플링 인 구성; 상기 내부 반사에 의해 상기 광 투과성 기판 내에서 전파되는 광을 상기 광 투과성 기판 밖으로 커플링하기 위한 상기 광 투과성 기판 내에 위치된 적어도 하나의 제1 부분 반사 표면으로서, 상기 적어도 하나의 제1 부분 반사 표면은 상기 2개의 주 외부 표면에 평행하지 않고 상기 2개의 주 외부 표면에 대해 비스듬한 각도인 플랫한 표면인, 상기 적어도 하나의 제1 부분 반사 표면; 상기 광을 감지하기 위해 배치된 광학 센서; 상기 광학 센서에 도달하는 편향된 광이 상기 광 투과성 기판에 의해 가이드되지 않도록, 상기 눈으로부터 상기 광학 센서를 향해 광을 편향시키도록 구성된 상기 광 투과성 기판내에 위치된 적어도 하나의 제2 부분 반사 표면을 포함하는 광 방향 전환 배열체(light redirecting arrangement)로서, 상기 광 방향 전환 배열체에 의한 광선의 편향은 상기 광 투과성 기판에서 발생하는, 상기 광 방향 전환 배열체; 및 상기 광학 센서에 전기적으로 커플링되고 상기 눈의 현재 응시 방향(gaze direction)을 도출하기 위해 상기 광학 센서로부터의 신호를 처리하도록 구성된 적어도 하나의 프로세서.
옵션으로, 상기 적어도 하나의 제2 부분 반사 표면은 상기 전자기 스펙트럼의 상기 가시광 영역 내의 파장들을 갖는 광을 투과시키고, 상기 전자기 스펙트럼의 상기 가시광 영역 외부의 파장들을 갖는 광을 반사시킨다.
옵션으로, 상기 시준된 이미지에 대응하는 광은 상기 전자기 스펙트럼의 상기 가시광 영역 내의 파장들을 갖는 광을 주로 포함하고, 상기 광 방향 전환 배열체에 의해 편향되는 상기 눈으로부터의 광은 상기 전자기 스펙트럼의 상기 가시광 영역 외부의 파장들을 갖는 광을 주로 포함한다.
옵션으로, 적어도 하나의 제1 부분 반사 표면 및 적어도 하나의 제2 부분 반사 표면은 상호 평행하다.
옵션으로, 적어도 하나의 제1 부분 반사 표면은 적어도 하나의 제2 부분 반사 표면에 평행하지 않다.
옵션으로, 적어도 하나의 제1 부분 반사 표면은 적어도 하나의 제2 부분 반사 표면과 비 중첩 관계로 배치된다.
옵션으로, 적어도 하나의 제1 부분 반사 표면은 적어도 하나의 제2 부분 반사 표면과 중첩하는 관계로 배치된다.
옵션으로, 광학계는 다음을 추가로 포함한다: 광학 센서 상에 눈의 적어도 일부의 적어도 하나의 이미지를 형성하기 위해 광 방향 전환 배열체로부터 광학 센서로의 광학 경로 내에 배치된 적어도 하나의 이미징 광학 엘리먼트.
본 발명의 교시들의 실시예에 따라 광학계가 또한 제공된다. 광학계는 다음을 포함한다: 광을 감지하기 위해 배치된 광학 센서; 광 투과성 기판과 연관된 광 방향 전환 배열체로서, 상기 광 투과성 기판은 적어도 2개의 주 표면들을 갖고, 상기 주 표면들 중 제1 표면은 뷰어의 눈에 대해 대면하는 관계로 배치되고, 상기 광 방향 전환 배열체는 상기 광학 센서에 도달하는 편향된 광이 상기 광 투과성 기판에 의해 가이드되지 않도록 상기 눈으로부터 광을 상기 광학 센서를 향해 편향시키도록 구성되고, 상기 광 방향 전환 배열체에 의한 상기 광의 편향은 상기 광 투과성 기판에서 발생하는, 상기 광 방향 전환 배열체; 및 상기 광학 센서에 전기적으로 커플링되고 상기 눈의 현재 응시 방향을 도출하기 위해 상기 광학 센서로부터의 신호들을 처리하도록 구성된 적어도 하나의 프로세서.
본 발명의 교시들의 실시예에 따라 광학계가 또한 제공된다. 광학계는 다음을 포함한다: 적어도 2개의 주 표면을 갖는 광 투과성 기판으로서, 상기 주 표면 중 제1 주 표면은은 뷰어의 눈에 대해 대면하는 관계로 배치되고, 상기 광 투과성 기판에 대한 상기 눈의 위치는 눈 모션 박스(eye motion box)를 정의하는, 상기 광 투과성 기판; 시선 추적 광의 강도의 일부가 반사된 광으로서 상기 눈에 의해 반사되도록 시선 추적 광으로 상기 눈 모션 박스를 조명하도록 배치된 조명 배열체(illumination arrangement); 광을 감지하기 위해 배치된 광학 센서; 반사된 광을 상기 광학 센서를 향해 편향시키도록 구성된 상기 광 투과성 기판과 연관된 광 방향 전환 배열체로서, 상기 광학 센서에 도달하는 상기 편향된 광은 상기 광 투과성 기판에 의해 가이드되지 않고, 상기 광 방향 전환 배열체에 의한 광의 편향은 상기 광 투과성 기판에서 발생하는, 상기 광 방향 전환 배열체; 및 상기 광학 센서에 전기적으로 커플링되고 상기 눈의 현재 응시 방향을 도출하기 위해 상기 광학 센서로부터의 신호들을 처리하도록 구성된 적어도 하나의 프로세서.
본 발명의 교시들의 실시예에 따라 광학계가 또한 제공된다. 광학계는 다음을 포함한다: 시선 추적 광으로 눈 모션 박스를 조명하도록 배치된 조명 배열체(illumination arrangement)로서, 상기 눈 모션 박스는 광 투과성 기판에 대한 관찰차의 눈의 위치를 정의하고, 상기 광 투과성 기판은 적어도 2개의 주 표면들을 갖고, 상기 주 표면들 중 제1 표면은 상기 눈에 대해 대면하는 관계로 배치되고, 상기 시선 추적 광의 강도의 일부는 반사된 광으로서 상기 눈에 의해 반사되는, 상기 조명 배열체; 상기 광을 감지하도록 배치된 광학 센서; 상기 기판과 연관되고 반사된 광을 상기 광학 센서를 향해 편향시키도록 구성된 광 방향 전환 배열체로서, 상기 광학 센서에 도달하는 편향된 광은 상기 광 투과성 기판에 의해 가이드되지 않고, 상기 광 방향 전환 배열체에 의한 광의 편향은 상기 광 투과성 기판에서 발생하는, 상기 광 방향 전환 배열체; 및 상기 광학 센서에 전기적으로 커플링되고 상기 눈의 현재 응시 방향을 도출하기 위해 광학 센서로부터의 신호들을 처리하도록 구성된 적어도 하나의 프로세서.
본 문서의 문맥 내에서, 용어 "가이드된(guided)"은 일반적으로 광 투과성 재료의 주 외부 표면들에서 내부 반사에 의해 광 투과성 재료(예를 들어, 기판) 내에 트랩되어, 광 투과성 재료 내에 트랩된 광이 광 투과성 재료를 통해 전파 방향으로 전파되는 광을 지칭한다. 광 투과성 기판 내에서 전파되는 광은, 전파되는 광이 주어진 각도 범위 내에 있는 입사각으로 광 투과성 재료의 주 외부 표면들에 입사될 때 내부 반사에 의해 트랩된다. 트랩된 광의 내부 반사는 내부 전반사(total internal reflection)의 형태일 수 있고, 이에 의해 (부분적으로 광 투과성 물질의 굴절률 및 광 투과성이 배치되는 매질의 굴절률, 예를 들어 공기에 의해 정의되는) 임계각보다 큰 각도로 광 투과성 물질의 주 외부 표면들에 입사하는 광을 전파하는 것은 주 외부 표면들에서 내부 반사를 겪는다. 대안적으로, 트랩된 광의 내부 반사는 주어진 각도 범위 내의 주 외부 표면들에 입사하는 광의 반사를 달성하기 위해 광 투과성 재료의 주 외부 표면들에 도포되는 각도 선택적 반사 코팅(angularly selective reflective coating)과 같은 코팅에 의해 달성될 수 있다. 광 투과성 재료를 통해 가이드되는 광은 광 투과성 재료의 주 외부 표면들로부터 적어도 2개의 반사들을 겪는다.
본 발명의 문맥 내에서 사용되는 "가이드되지 않은(unguided)"라는 용어는 일반적으로 가이드되지 않는 광을 지칭한다. 가이드되지 않은 광은 광 투과성 재료 내에 트랩되지 않고, 즉 내부 반사에 의해 광 투과성 재료의 외부 주 표면들 사이에 트랩되지 않고 광 투과성 재료(예를 들어, 기판)를 횡단한다. 본 발명의 광 방향 전환 배열체들은 EMB/뷰어의 눈으로부터 이미징/검출 서브시스템, 특히 광학 센서로 광을 편향시켜, 자유 공간 전파(free-space propagation) 하에서 광학 센서로 전파하도록 광이 광 투과성 재료 내에 트랩되지 않고 광 투과성 재료에서 편향된다. 즉, EMB/뷰어의 눈으로부터의 광은 광 방향 전환 배열체들에 의해 편향되어, 광학 센서에 도달하는 광은 광 투과성 물질에 의해 가이드되지 않는다.
본 발명의 다양한 실시예들에 따른 시선 추적기는 광 방향 전환 배열체에 의해, 광학 센서를 향해 반사되는 광의 편향에 의존한다. 눈으로부터 반사된 광은 또한 본 명세서에서 시선 추적 광(eye-tracking light)으로 지칭되고, 본 명세서에서 "시선 추적 스펙트럼" 내에 있는 것으로 지칭된다. 본 발명의 다양한 실시예들에 따른 시선 추적기는 시선 추적 광이 전자기 스펙트럼의 근적외선(NIR) 영역에 있을 때(즉, 시선 추적 스펙트럼이 NIR 영역 내에 있을 때) 특히 효과적이다. 그러나, 시선 추적기는 또한 시선 추적 광이 전자기 스펙트럼의 가시 영역에 있을 때(즉, 시선 추적 스펙트럼이 가시 광 영역 내에 있을 때) 효과적일 수 있다. 또한, 더 상세히 논의될 바와 같이, 시선 추적 스펙트럼이 가시광 및 NIR 영역들 둘 모두의 외부에 있는 본 발명의 실시예들이 또한 고려된다.
본 문헌의 문맥 내에서, 전자기 스펙트럼의 NIR 영역 내의 광은 일반적으로 700 내지 1400 나노미터(nm) 범위, 및 특정 경우에 680 내지 1400 nm 범위의 파장을 갖는 광을 지칭한다. 700 nm 부근, 즉 680 내지 750 nm 범위의 파장은 더 어두운 적색 가시광에 잠식될 수 있지만, 시선 추적 목적을 위해 눈을 조명하는데 사용될 때 특히 유리할 수 있다. 본 문서의 문맥에서, NIR 영역에서 주로 파장을 갖는 것으로 설명되는 광은, 달리 명시적으로 언급되지 않는 한,명시적으로 언급되지 않는 한, 일반적으로 700 내지 1400 nm 또는 680 내지 1400 nm 범위의 파장을 갖는 광을 지칭한다. 본 문헌의 문맥에서, NIR 영역 외부의 파장을 갖는 것으로 설명되는 광은 일반적으로 달리 명시적으로 언급되지 않는 한 700 nm 미만(또는 680 nm 미만) 또는 1400 nm 초과의 파장을 갖는 광을 지칭한다.
본 문헌의 문맥 내에서, 전자기 스펙트럼의 가시 영역의 광은 일반적으로 380 내지 750 nm 범위의 파장을 갖는 광을 지칭한다. 이에 따라, NIR 영역과 가시광 영역 사이에 일부 중첩이 존재할 수도 있다. 본 문헌의 문맥에서, 주로 가시 광선 영역 내의 파장을 갖는 것으로 설명되는 광은, 달리 명시적으로 언급되지 않는 한, 일반적으로 380 내지 700 nm 또는 380 내지 680 nm 범위의 파장을 갖는 광을 지칭한다. 본 문헌의 문맥에서, 주로 가시광 영역 외부의 파장을 갖는 것으로 설명되는 광은, 달리 명시적으로 언급되지 않는 한, 일반적으로 380 nm 미만 또는 700 nm 초과(또는 680 nm 초과)의 파장을 갖는 광을 지칭한다. 가시 영역은 "가시광 영역", "광순응(photopic) 영역" 및 "광순응 스펙트럼"으로 상호 교환적으로 언급된다.
본 명세서에서 다른 정의가 없다면, 본 명세서에서 사용되는 모든 기술 및/또는 과학적 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 본 명세서에서 설명된 것들과 유사하거나 동등한 방법들 및 재료들이 본 발명의 실시예들의 연습 또는 테스트에서 사용될 수 있지만, 예시적인 방법들 및/또는 재료들이 아래에서 설명된다. 상충되는 경우에는 정의를 포함하여 특허 명세서가 제어하게 된다. 게다가, 물질들, 방법들 및 예들은 단지 예시적이며 반드시 제한하는 것으로 의도되지 않는다.
본 발명의 일부 실시예는 첨부된 도면을 참조하여 예를 들어 설명되었다. 상세히 도면을 참조하면, 도시된 세부사항들은 예로서 그리고 본 발명의 실시예들의 예시적인 논의를 위해 제공되는 것이 강조된다. 이와 관련하여, 도면들과 함께 취해진 설명은 본 발명의 실시예들이 어떻게 실시될 수 있는지를 당업자들에게 명백하게 한다.
이제 도면을 참조하며, 동일한 도면 번호 또는 문자는 대응하는 또는 유사한 컴포넌트를 나타낸다. 도면에서 :
도 1은 근안 디스플레이(near-eye display)에 사용하기 위한 부분 반사 표면을 채용하는 종래 기술의 도광(light-guide) 광학 엘리먼트의 상기 설명된 개략적인 측면도이다.
도 2는 광학 센서를 향해 광을 편향시키는 도광 광학 엘리먼트와 연관된 부분 반사 표면들의 세트로서 구현되는 광 방향 전환 배열체(light redirection arrangement)를 사용하여 인간의 눈의 응시 방향(gaze direction)을 추적하기 위한 장치를 포함하는 도광 광학 엘리먼트를 통해 이미지를 디스플레이하기 위해 본 발명의 실시예에 따라 구성되고 동작되는 광학계의 개략적인 측면도이다.
도 3은 도 2의 광 방향 전환 배열체의 대안적인 배치 구성의 개략적인 측면도이다.
도 4는 도 2의 광 방향 전환 배열체의 또 다른 대안적인 배치 구성의 개략적인 측면도이며, 여기서 부분 반사 표면들은 도광 광학 엘리먼트의 밖으로의 이미지를 눈에 커플링하는, 다른 세트의 부분 반사 표면들로서 구현되는 광 커플링 아웃 구성(coupling-out configuration)과 중첩하는 관계에 있다.
도 5는 광학 센서를 향해 광을 편향시키는 도광 광학 엘리먼트의 주 표면들 중 하나의 일부와 연관된 회절 광학 엘리먼트로서 구현되는 광 방향 전환 배열체를 사용하여 인간의 눈의 응시 방향을 추적하기 위한 장치를 포함하는 도광 광학 엘리먼트를 통해 이미지를 디스플레이하기 위해 본 발명의 다른 실시예에 따라 구성되고 동작되는 광학계(optical system)의 개략적인 측면도이다.
도 6은 도 5의 광 방향 전환 배열체의 대안적인 배치 구성의 개략적인 측면도이며, 회절 광학 엘리먼트는 도광체 광학 엘리먼트의 주 표면들 중 다른 하나의 일부와 연관된다.
도 7은 광학 센서를 향해 광을 편향시키는 도광 광학 엘리먼트의 주 표면들 중 하나의 일부와 연관된 선택적 반사 표면으로서 구현되는 광 방향 전환 배열체를 사용하여 인간의 눈의 응시 방향을 추적하기 위한 장치를 포함하는 도광 광학 엘리먼트를 통해 이미지를 디스플레이하기 위해 본 발명의 다른 실시예에 따라 구성되고 동작되는 광학계의 개략적인 측면도이다.
도 8은 안경 폼 팩터(eye-glasses form factor)로 구현된 도 2의 광학계의 부분 개략적인 등각도이다.
도 9는 광학 센서를 향해 광을 독립적으로 편향시키는 2개의 광 방향 전환 배열체를 조합하는 본 발명의 다른 실시예에 따라 구성되고 동작하는 광학계의 개략적인 측면도이다.
도 10은 2개의 광 방향 전환 배열체을 사용하여 단일 광학 센서에 의해 캡처된 2개의 독립적인 이미지의 표현이다.
도 11은 눈의 현재 응시 방향을 도출하기 위해 광학 센서로부터의 신호들을 처리하도록 구성된 처리 서브시스템의 블록도이다.
도 12는 광학 센서를 향해 광을 편향시키는 광 투과성 기판과 연관된 부분 반사 표면들의 세트로서 구현되는 광 방향 전환 배열체를 사용하여 인간의 눈의 응시 방향을 추적하기 위한 장치를 갖는 본 발명의 실시예에 따라 구성되고 동작하는 광학계의 개략적인 측면도이다.
본 발명의 실시예들은 도광 광학 엘리먼트와 연관된 광학 배열체를 통한 눈의 이미징에 기초하여 인간 눈의 응시 방향을 추적하기 위한 다양한 장치 및 대응하는 방법들을 제공한다.
본 발명에 따른 다양한 시선 추적 장치의 원리 및 동작은, 후술하는 도면을 참조하여 보다 상세하게 이해될 수 있다.
본 발명의 적어도 하나의 실시예를 상세히 설명하기에 앞서, 본 발명은 다음의 설명 및/또는 도면들 및/또는 예들에 도시된 컴포넌트들 및/또는 방법들의 구성 및 배열의 세부사항들에 대한 그의 적용에서 반드시 제한되지 않는다는 것이 이해되어야 한다. 본 발명은 다른 실시예가 가능하거나 다양한 방식으로 실시 또는 수행될 수 있다.
이제 도면을 참조하면, 도 2는 인간 눈(152)의 응시 방향을 도출하기 위해 본 발명의 비제한적인 실시예에 따라 구성되고 동작하는, 개괄적으로 100으로 표시된 광학계의 구조 및 동작의 다양한 태양을 도시한다. 일반적으로 말하면, 광학계(100)는 투명 재료(유리와 같은)로 형성되고, 뷰어의 눈(152)에 대면하는 관계에 표면들(104) 중 하나와 배치된 한 쌍의 겉면(face)들(주 표면(major surface)들)(104, 106)을 갖는 기판(102), 및 눈(152)의 응시 방향을 도출하기 위해 기판(102)과 연관된 장치를 포함한다. 장치는 광을 감지하기 위한 광학 센서(140), 눈(152)으로부터 반사된 광을 광학 센서(140)를 향해 편향시키기 위해 기판(102)과 연관된 광 방향 전환 광학 배열체(이하, "광 방향 전환 배열체"라 함)(124), 및 눈(152)의 현재 응시 방향을 도출하기 위해 광학 센서(140)로부터의 신호를 처리하는 처리 서브시스템(146)을 포함한다.
눈(152)으로부터 반사된 광은 전체적인 반사 방향으로 광 방향 전환 배열체(124)를 향해 전파되고(도면에서 "RD"로 라벨링된 두꺼운 화살표로 개략적으로 나타냄), 광 방향 전환 배열체(124)에 의해 편향된 광은 전체적인 편향 방향으로(도면에서 "DD"로 라벨링된 두꺼운 화살표로 개략적으로 나타냄) 광학 센서(140)를 향해 전파된다.
도시된 실시예는 특히 증강 현실(AR) 및 가상 현실(VR) 응용에 적합하며, 투사된 이미지는 기판(102) 내로 결합되고, 내부 반사에 의해 기판(102)을 통해 가이드되며, 눈(152)에 의한 시청을 위해 위해 기판 외부로 커플링된다. 그러나, 본 발명의 실시예들은 또한 기판이 내부 반사에 의해 광을 가이드하도록 구성되지 않는 비-AR/VR 응용에 적합할 수 있다는 것에 유의한다. 이러한 실시예들은 본 개시의 후속 섹션들에서 논의될 것이다.
도 2에 도시된 비제한적인 실시예에서, 기판(102)은 도 1를 참조하여 설명된 바와 유사하게, 평면이고 상호 평행한 겉면(표면)(104, 106)을 갖고 내부 반사에 의해 광을 가이드하도록 구성된 광 투과성 기판(즉, 도광 광학 엘리먼트 또는 "LOE")이다. 특정 실시예에서, 내부 반사에 의한 전파는 내부 전반사(total internal reflection)의 형태이지만(즉, 내부 반사는 위에서 논의된 바와 같이 임계각에 의해 지배됨), 다른 실시예에서, 내부 반사에 의한 전파는 표면(104, 106)에 적용된 코팅(예를 들어, 각도 선택적으로 반사 코팅)에 의해 달성된다.
예시된 실시예에서, LOE(102)는 응시 방향을 도출하기 위한 장치의 일부이고, 장치는 (EMB(154) 내에 위치될 때) 눈(152)에 이미지를 디스플레이하기 위해 추가로 구성된다. 여기서, 광학계(100)는 빔에 스팬(span)하는 샘플 광선들(110A 및 110B)을 포함하는 (전자기 스펙트럼의 가시광 영역 내의) 조명 빔(110)에 의해 개략적으로 도시된 바와 같이, 투사된 이미지(110)를 생성하는 이미지 투사 배열체(image projection arrangement)(이하 "이미지 프로젝터"라 함)(108)를 더 포함한다. 도면에 도시되지 않았지만, 이미지 프로젝터(108)는 이미지 광을 생성하기 위한 액정 온 실리콘(LCoS), 유기 발광 다이오드(OLED) 등과 같은 마이크로디스플레이, 및 이미지를 무한대로 시준하기 위한 대응하는 시준 광학 기기를 포함한다. 마이크로디스플레이가 반사형 또는 투과형 디스플레이로 구현될 때, 조명 컴포넌트(예컨대, 하나 이상의 LED) 및 조명 광학 기기(optics)(예컨대, 빔 스플리터)가 또한 조명 컴포넌트로부터의 광을 마이크로디스플레이로 지향시키고, 이미지 광을 시준 광학계로 지향시키기 위해 이미지 프로젝터(108)에 포함된다.
이미지 광(110)은 기판(102) 내의 내부 반사에 의해 트랩(trap)되는 반사 광선들(114)(하향 광선들)을 발생시키고, 또한 광선들(116)(상향광선들)을 발생시키기 위해 LOE(102)의 경사 에지(slant edge)(118)에 또는 그 근처에 배치되는 웨지로서 개략적으로 도시된 광 커플링 인(coupling-in) 구성(112)에 의해 LOE(102)에 커플링된다. 그러나, 예를 들어, 표면들(104, 106)에 비스듬하게 배치된 반사 표면을 포함하는 다른 광 커플링 인 구성들이 가능하다는 것에 유의한다.
커플링 인 이미지(110)는 표면들(104, 106)로부터의 반복된 내부 반사에 의해 기판(102)을 따라 전파되며(즉, 기판(102)에 의해 가이드됨), 평행 겉면들(104, 106)에 대해 비스듬한 각도로 기판(102) 내에 배치된 상호 평행한 부분 반사 표면들(120)의 시퀀스에 의해 개략적으로 도시된 바와 같이, 광 커플링 아웃 구성(120) 상에 충돌하며, 여기서 이미지 강도의 일부는 기판(102) 밖으로 눈(152)을 향해 커플링되기 위해 광 커플링 아웃 구성(120)에 의해 반사된다. 커플링 아웃 이미지 광은 광선(122A 및 122B)으로 개략적으로 표현된다. 부분 반사 표면 세트(102)는 단지 광 커플링 아웃 구성의 하나의 비제한적인 구현을 예시하고, 다른 광 커플링 구성들은 이미지 광을 LOE(102) 밖으로 커플링하기 위해 사용될 수 있다. 광 커플링 아웃 구성은 이미지 입사 광의 편향된 부분이 LOE(102)를 빠져나가도록 비스듬하게 내부 반사에 의해 LOE(102) 내에서 이미 전파된 이미지 입사 광의 일부를 편향시키는 임의의 광 커플링 배열체일 수 있다. 그러한 적합한 광 커플링 배열체의 다른 예들은 빔스플리터 배열체 및 겉면들(104, 106) 중 어느 하나 상에 배치된 하나 이상의 회절 광학 엘리먼트들을 포함하지만 이에 제한되지 않는다.
조명 배열체(126)는 광(130)("시선 추적 광(eye-tracking light)"으로 지칭됨)으로 EMB(154)를 조명하기 위해 배치되어, 눈(152)이 EMB(154) 내에 위치될 때 눈(152)이 시선 추적 광(130)으로 조명된다. 특정 바람직하지만 비제한적인 구현예들에서, 조명 배열체(126)는 전자기 스펙트럼의 광순응(photopic) 영역 외부의 파장들을 갖는 광으로 EMB(154)를 조명하도록 구성된다. 다시 말해, 조명 배열체(126)는 바람직하게는 사람의 시력과 간섭하지 않도록 사람의 눈에 보이지 않는 광으로 눈(152)을 조명하도록 구성된다. 특히 바람직하지만 비제한적인 구현예에서, 조명 배열체(126)는 전자기 스펙트럼의 근적외선(NIR) 영역 내의 파장, 바람직하게는 700 내지 1000 나노미터(nm) 범위 및 특정 경우에 680 내지 1000 nm 범위의 파장을 갖는 광으로 눈(152)을 조명하도록 구성된다. 그러나, 조명 배열체(126)가 광순응 스펙트럼(즉, 전자기 스펙트럼의 가시광 영역) 또는 가시광선 외부의 전자기 스펙트럼의 영역, IR 및 NIR 영역을 갖는 광으로 눈(152)을 조명하도록 구성되는 다른 비제한적인 구현예가 고려된다.
조명 배열체(126)는 적어도 하나의 광원을 포함하고, 바람직하게는 복수의 광원을 포함하며, 각각은 시선 추적 광으로 EMB(154)를 조명하도록 구성된다. 조명 배열체(126)의 광원(또는 소스들)은 LED(들), 또는 시선 추적 스펙트럼에서 광을 방출(생성)하도록 구성된 임의의 다른 소스로서 구현될 수 있다. 특정 비제한적인 구현예들에서, 조명 배열체 (126)의 광원들은 모든 방향들로 광을 방출하는 등방성 (또는 근등방성) 소스들이다. 시선 추적 광(130)을 갖는 EMB(154)의, 조명 배열체(126)에 의한, 조명은 샘플 광선(130A, 130B, 130C)에 의해 도 2에 개략적으로 도시된다. 이들 광선(130A, 130B, 130C)은 단지 EMB(154)(및 눈(152))에 도달하는 시선 추적 광(130)을 나타내고, 다른 조명 방향으로부터의 다른 광선이 또한 EMB(154)에 도달할 수 있다는 것이 인식되어야 한다.
눈(152)을 조명하는 시선 추적 광(130)의 강도의 비율은 광 방향 전환 배열체(124)를 향해 전체적인 반사 방향으로 반사된 광으로서 눈(152)에 의해 반사된다. 반사 광선들(132A, 132B, 132C)로서 개략적으로 표현된 반사 광의 강도의 비율은 기판(102)과 연관되는 광 방향 전환 배열체(124)에 도달하고, 광학 센서(140)를 향한 전체적인 편향 방향으로 반사된 광을 방향 전환하기 위해 반사 광선들(138A, 138B, 138C)로서 개략적으로 표현되는 편향광으로서 광 방향 전환 배열체(124)에 의해 편향된다. 광 방향 전환 배열체(124)에 의한 시선 추적 광의 편향은 기판(102)에서 발생하고, 이는 시선 추적 광의 편향의 지점이 기판(102) 내에 있다는 것을 의미한다.
간단히, 제시의 단순화를 위해, 본 명세서 및 도면에서, 단족 "반사 방향" 및 단독 "편향 방향"에 대한 참조가 행해지고, 이는 광 방향 전환 배열체에 의한 편향을 통해 광학 센서를 향해 전파될 때 눈으로부터 발산되는 광파에 대응한다. 이들 "방향"은 전술한 광파의 전체적인 전파 방향을 나타내는데 사용되며, 엄밀히 말하면 벡터 방향이 아니라, 광파가 한 지점에서 다른 지점으로 이동하는 자유 공간을 통한 전체적인 경로를 나타낸다. 개별 반사 광선(예를 들어, 광선(132A, 132B, 132C)) 각각은, 함께 상기 논의된 전체적인 반사 방향에 스팬하여, 자신의 벡터 전파 방향을 갖는다. 마찬가지로, 개별 편향된 광선(예를 들어, 광선(138A, 138B, 138C))의 각각은, 함께 상기 논의된 전체적인 편향 방향에 스팬하여, 자신의 벡터 전파 방향을 갖는다.
도 2에 도시된 비제한적인 실시예에서, 광 방향 전환 배열체(124)는 평행면(104, 106)에 대해 비스듬한 각도로 기판(102) 내에 배치된 부분 반사 표면(124)의 시퀀스(세트)로서 구현된다. 부분 반사 표면(124)은 바람직하게는 상호 평행하지만 반드시 평행할 필요는 없다. 또한, 부분 반사 표면(124)은 평면(즉, 플랫) 표면이다. 3개의 부분 반사 표면(124)이 본원에서 예시되지만, 광 방향 전환 배열체(124)는 3개 미만의 그러한 표면 또는 3개 초과의 그러한 표면을 포함할 수 있다. 일반적으로, 광 방향 전환 배열체(124)는 적어도 하나의 부분적으로 반사 표면을 포함한다.
부분 반사 표면(124)의 세트로서 광 방향 전환 배열체의 구현은 광 방향 전환 배열체의 단지 하나의 예시적인 예이다. 회절 및 유전체 및/또는 이색성 코팅 기술들에 기초한 구현예들을 포함하는 광 방향 전환 배열체의 다른 예시적인 구현들이 본 개시내용의 후속 섹션들에서 상세히 설명될 것이다.
부분 반사 표면(124)은 시선 추적 스펙트럼에서 파장을 갖는 광을 반사하도록(즉, 조명 배열체(126)에 의한 조명에 응답하여 눈(152)에 의해 반사된 광을 반사하도록) 구성된다. 특정 비제한적인 구현예들에서, 부분 반사 표면들(124)은 (예를 들어, 가시 광을 투과시키기 위해) 광순응 영역에서 파장들을 갖는 광을 투과시키도록 추가로 구성된다.
특정 비제한적인 구현예에서, 광 방향 전환 배열체(124)에 도달하는 시선 추적 광이 광 방향 전환 배열체(124)에 의해 입사 각도에 대해 경사 각도로 편향되도록 광 방향 전환 배열체(124)가 배치되는데, 이는 표면(104)에 대해 측정된 광 방향 전환 배열체(124)로의 입사 광(광선들(132A, 132B, 132C))의 각도가 편향된 광(광선들(138A, 138B, 138C))의 각도와 상이함을 의미한다. 특정 예에서, 표면(106)에 대해 측정된 입사 광의 각도는, 예를 들어, 부분적으로 부분 반사 표면(124)의 배치 각도(αsur124)로 인해, (예를 들어, 도 2에 도시된 바와 같이) 편향된 광의 각도보다 더 가파르다.
도 2에 도시된 비제한적인 예시적인 구성에서, 광 방향 전환 배열체(124)로의 입사 광 및 광 방향 전환 배열체(124)에 의해 반사되는 광은 표면(106)에 의해 굴절된다. 특히, LOE(102)의 주 표면(104)에 입사하는 눈(152)으로부터 반사된 광(예를 들어, 광선(132A, 132B, 132C))은 표면(104)(굴절된 광선(134A, 134B, 134C)으로서 개략적으로 도시됨)에 의해 굴절된다. 굴절된 광(134A, 134B, 134C)은 광 방향 전환 배열체(124)에 의해 편향되고, 즉, LOE(102)의 주 표면(104)에 다시 충돌하도록 부분 반사 표면(124)(반사 광선(136A, 136B, 136C)으로서 개략적으로 도시됨)에 의해 반사된다. 입사 광(136A, 136B, 136C)은 표면(104)(개략적으로 굴절된 광선(138A, 138B, 138C)으로 개략적으로 도시됨)에 의해 다시 굴절되어 (자유 공간에서) 광학 센서(140)를 향해 전파한다.
명백한 바와 같이, 눈(152)으로부터의 반사된 광은 도 2에 도시된 위치들만이 아니라 부분 반사 표면들(124)의 상이한 부분들을 타격할 수 있다. 도시된 광선들(132A, 132B, 132C)을 초과하여 부가적인 광선들이 각 부분 반사 표면(124)의 실질적으로 전체를 커버하는 부분 반사 표면(124)의 부분들 또는 영역들 상에 충돌하는 굴절 광선들을 생성하도록 표면(104)에 입사될 수 있다.
기판(102)에 의해 가이드되는 이미지 프로젝터(108)로부터의 이미지 광(110)과 대조적으로, 광 방향 전환 배열체(124)에 의해 편향되는 광은 기판(102)에 의해 가이드되지 않는다는 것이 강조된다. 특히, 그리고 상기에서 정의된 바와 같이, 광 방향 전환 배열체(124)에 의해 편향되는 광은 기판(102) 내의 내부 반사(즉, 자유 공간 전파)에 의해 트랩되지 않고 광학 센서(140)에 도달한다. 부분 반사 표면(124)의 세트로서 구현될 때, 부분 반사 표면(124)은 주 표면(104, 106)에 대해 비스듬한 각도(αsur124)로 배치되어, 부분 반사 표면(124)에 입사하는 시선 추적 광(광선(134A, 134B, 134C)은 내부 반사에 의해 트랩되지 않고 오히려 광학 센서(140)를 향해 자유 공간 전파 하에서 전파되도록 부분 반사 표면(124)에 의해 반사된다. 예시된 실시예에서, 눈(152)으로부터의 반사된 광은 광학 센서(140)에 도달하기 전에 기판(102) 내에서 최대 단일 반사에서 겪는다 (단일 반사는 부분 반사 표면(124)에 의한 반사이다).
(렌즈의 세트를 포함할 수 있는) 렌즈로서 개략적으로 나타낸 집속 광학 기기(142)는 광 방향 전환 배열체와 광학 센서(140) 사이의 광학 경로에 배치된다. 집속 광학 기기(142)는 광 방향 전환 배열체(124)에 의해 편향되는 광(138A, 138B, 138C)을 수신하고, 수신된 광(138A, 138B, 138C)을 광학 센서(140)에 충돌하는 (광선들(144A, 144B, 1444C로 개략적으로 도시됨))의 집광 빔(converging light)들로 변환시킨다. 특정 바람직한 구현예에서, 집속 광학 기기(142)는 광학 센서(140) 상에 눈(152)의 이미지를 형성하는 이미징 광학 기기이다. 집속 광학 기기(142)는 바람직하게는 집속 광학 기기(142)에 의한 편향된 시선 추적 광의 포획(capture)을 가능하게 하기 위해 편향된 시선 추적 광이 도달할 기판(102)과 연관된 영역 또는 부분에 대응하는 시야(field of view)를 형성하도록 배치된다. 기판(102)과 연관된 영역 또는 부분은 개괄적으로 광 방향 전환 배열체가 배치되는 영역 또는 부분이다. 집속 광학 기기(142)는 바람직하게는 광 방향 전환 배열체(124)에 의해 편향된 광(138A, 138B, 138C)을 캡처함으로써 눈(152)을 이미징하기 위해 눈(152)과 표면(104) 사이에 배치된 카메라 시스템의 일부로서 광학 센서(140)와 통합된다.
처리 서브시스템(146)은 광학 센서(140)와 전기적으로 연관되고, 눈(152)의 현재 응시 방향을 도출하기 위해 광학 센서(140)로부터의 신호들을 처리하도록 구성된다. 처리 서브시스템(146)은 또한 조명 배열체(126)에 의해 EMB의 조명 타이밍을 제어하기 위해 조명 배열체(126)와 전기적으로 바람직하게 연관된다. 처리 시스템(146)은 임의의 적절한 운영 체제 하에서 동작하고 적절한 소프트웨어 또는 펌웨어 모듈들을 구현하는 다양한 전용 컴퓨터화된 프로세서들의 임의의 조합을 포함하지만 이에 제한되지 않는, 당업계에 공지된 임의의 적절한 유형의 처리 하드웨어 및/또는 소프트웨어를 사용하여 구현될 수 있다. 처리 시스템(146)은 정보 및 그래픽 콘텐츠의 양방향 전송을 위해 LAN 및/또는 WAN 디바이스들과의 유선 또는 무선 통신을 허용하기 위한 다양한 통신 컴포넌트들을 더 포함할 수 있다. 비제한적인 예시적인 구현에 따른 처리 서브시스템(146)의 단순화된 블록도가 도 11에 예시된다. 여기서, 처리 서브시스템(146)은 저장 매체(150)에 커플링된 적어도 하나의 컴퓨터화된 프로세서(148)를 포함한다. 저장 매체(150)는 휘발성 데이터 저장소와 같은 하나 이상의 컴퓨터화된 메모리 디바이스일 수 있다. 프로세서(148)는 마이크로프로세서, 마이크로제어기, 그래픽 프로세서, 디스플레이 드라이버, 주문형 집적 회로(ASIC), 디지털 신호 프로세서(DSP), 이미지 프로세서, 필드 프로그램가능 게이트 어레이(FPGA), 필드 프로그램가능 로직 어레이(FPLA) 등을 포함하지만 이에 제한되지 않는 임의의 수의 컴퓨터화된 프로세서로서 구현될 수 있다. 이러한 컴퓨터화된 프로세서들은 컴퓨터화된 프로세서에 의해 실행될 때 컴퓨터화된 프로세서로 하여금 동작들을 수행하게 하는 프로그램 코드 또는 명령어 세트들을 저장하는 컴퓨터 판독가능 매체를 포함하거나 또는 컴퓨터 판독가능 매체와 전자 통신할 수 있다. 컴퓨터 판독가능 매체의 유형들은 컴퓨터 판독가능 명령어들을 컴퓨터화된 프로세서에 제공할 수 있는 전자, 광학, 자기, 또는 다른 저장 또는 송신 디바이스들을 포함하지만, 이에 제한되지 않는다.
다음의 단락들은 본 발명의 비제한적인 실시예들에 따른 광 방향 전환 배열체(124)의 다양한 배치 옵션들을 설명한다. 광 방향 전환 배열체(124)가 한 세트의 부분 반사 표면(124)으로서 구현되는 비제한적인 구현예에서, 10 내지 35도 범위의 부분 반사 표면(124)의 배치 각도(αsur124)는 EMB(154)(눈(152))로부터 광학 센서(140)로 가이드되지 않은 방식으로 광을 편향시키는데 특히 적합한 것으로 밝혀졌다. 특히, 이러한 배치 각도는 60 내지 90도 범위의 편향 각도들에 대해 18 내지 40도의 범위에서 입사 각도(AOI)로 주 표면(104)에 입사하는 입사 광(광선들(132A, 132B, 132C)을 편향시키는데 적합하다(여기서, 편향 각도들은 광선들(138A, 138B, 138C)과 주 표면(104)에 대한 법선 사이에서 측정된다). 18 내지 40도의 각도 범위는 눈으로부터 광 방향 전환 배열체(124)를 향해 반사되는 시선 추적 광의 각도 분포에 대응한다.
앞서 언급된 바와 같이, 부분 반사 표면들 각각은 바람직하게는(그러나 반드시 그럴 필요는 없다) 동일한 배치 각도(αsur124)를 갖는다. 또한, 부분 반사 표면(124)의 배치각(αsur124)은 부분 반사 표면(120)의 배치각(αsur120)과 동일하거나 상이할 수 있다. 일반적으로 말하면, 부분 반사 표면(124)의 배치각을 결정할 때 광학계(100)(및 특히 내장된 부분 반사 표면(120, 124)의 세트를 갖는 기판(102))의 제조 복잡성과 광학 센서(140)(즉, 카메라)의 위치 사이의 트레이드오프(tradeoff)가 고려될 수 있다. 예를 들어, 주 표면(104, 106)에 공통의 비스듬한 각도에서 부분 반사 표면(120, 124)을 배치하는 것은 (즉, 표면들 (120, 124)이 상호 평행하도록)은 제조 단계들의 수를 감소시킴으로써 기판 (102)의 제조 동안 특정 이점들을 제공할 수 있다. 전형적으로, 내장된 부분 반사 표면들을 갖는 기판(102)은 스택에 부분 반사 코팅들로 코팅된 투명 플레이트들을 배치한 다음, 내장된 비스듬한 부분 반사 표면들을 갖는 슬래브(slab)(기판)를 형성하기 위해 (예를 들어, 미국 특허 제 8,432,614호에 설명된 바와 같이) 비스듬한 각도로 스택을 슬라이싱함으로써 제조된다. 본 발명의 기판(102)의 제조 공정은 코팅된 플레이트들의 적층 및 슬라이싱이 미국 특허 제8,432,614호에 기재된 바와 유사하게 수행될 수 있기 때문에 부분 반사 표면들(120,124)이 공통의 비스듬한 각도로 배치될 때 단순화된다.
그러나, 부분 반사 표면(120,124)이 상이한 경사 각도로 배치되어야 하는 경우(즉, 부분 반사 표면(124 및 120)이 서로 비-평행하도록), 제조 공정의 복잡성은 추가적인 단계를 요구함으로써 증가할 수 있다. 여기서, 제조 공정은 개괄적으로 다음과 같은 단계를 포함할 수 있다: 제1 비스듬한 각도로 상호 평행한 부분 반사 표면(120)을 갖는 기판의 제1 부분을 생성하는 단계, 제2 비스듬한 각도로 상호 평행한 부분 반사 표면(124)을 갖는 기판의 제2 부분을 생성하는 단계, 두 개의 기판 부분을 함께 부착하여(예를 들어, 광학 시멘트를 통해) 두 개의 상이한 배치 각도로 부분 반사 표면의 두 세트의 단일 기판을 형성하는 단계. 제조 단점들을 가지면서도, 2개의 상이한 배치 각도들은 광학계(100)의 컴포넌트들의 배열에 소정의 이점을 제공할 수 있다. 특히, 상이한 배치 각도들은 기판(102)에 대한 광학 센서(140)의 배치(즉, 공간적 위치)에 유연성을 제공한다. 예를 들어, 부분 반사 표면들(120)의 배치 각도보다 더 가파르거나 더 작은 각도들로 부분 반사 표면들(124)을 배치하는 능력은 광학 센서(140)가 부분 반사 표면들(120, 124)에 대한 공통 배치 각도를 사용할 때 성취될 수 있는 것보다 뷰어의 주변 시야 밖으로 더 멀리 위치되게 할 수 있다.
동일하거나 상이한 배치 각도들을 갖는 것에 부가하여, 부분 반사 표면들(124) 및 부분 반사 표면들(120)은 동일하거나 상이한 평면 배향들에서 배치될 수 있다. 바람직하게는, 부분 반사 표면(124)은 상호 평행 평면의 제1 세트에 놓이는 상호 평행 평면 표면이다. 마찬가지로, 부분 반사 표면(124)은 상호 평행 평면의 제2 세트에 놓이는 상호 평행 평면 표면이다. 하나의 비제한적인 배치 구성에서, 제1 및 제2 평면 세트는 예를 들어, 도 2에 도시된 바와 같이 평행하다(즉, 모든 반사 표면들(124 및 120)은 서로 평행하다). 또 다른 비-제한적인 배치 구성에서, 평면들의 제 1 및 제 2 세트들은 서로 직교하게 배향된다(즉, 부분 반사 표면들(124) 각각의 평면은 부분 반사 표면들(120) 각각의 평면에 직교한다). 또 다른 비제한적인 배치 구성에서, 제1 및 제2 평면 세트는 서로 평행하거나 직교하지 않는다(즉, 이들은 비스듬하게 배향되며, 즉, 부분 반사 표면들(124) 각각의 평면은 부분 반사 표면들(120) 각각의 평면에 비스듬하다). 상기 배치 각도 논의에서와 같이, 부분 반사 표면(120, 124)의 평면 배향을 고려할 때 제조 복잡성과 컴포넌트 레이아웃(layout) 유연성 사이에 트레이드오프가 있을 수 있다. 병렬 평면을 사용하면 내장된 부분 반사 표면(120, 124)을 가진 기판(102)을 구성하기 위한 가장 간단한 제조 공정을 제공할 수 있다. 그러나, 평면의 직교 또는 비스듬한 세트는 광학 센서(140)의 배치에 대한 유연성을 제공할 수 있다.
부분 반사 표면(124)은 바람직하게는 치수를 가지며, 바람직하게는 각도 및 배향으로 배치되어, 원하는 수직 및 수평 필드에 걸친 수평 및 수직 눈 움직임 둘 모두가 포획된다. 인간의 응시 방향은 수직 필드보다 수평 필드에 걸쳐 더 넓음에 주목한다. 따라서, 특정 바람직한 실시예에서, 부분 반사 표면(124)은 수직 필드로부터 보다 수평 필드로부터 입사하는 광의 더 넓은 각도 범위를 편향시키도록 배향(orientation)(평면 및 배치 각도)으로 치수 설정되고 배치된다.
도 2에 도시된 비제한적인 실시예에서, 광 방향 전환 배열체(124)는 기판(102)의 원위 단부(여기서, 기판(102)의 근위 단부는 광 커플링 인 구성(112) 및 이미지 프로젝터(108)가 위치되는 단부이다)에 또는 그 부근에 배치되고, 광 커플링 아웃 구성(120)은 기판(102)의 근위 단부와 원위 단부 사이에서 기판(102)의 중심 부분을 따라 배치된다. 그러나, 도 2에 도시된 구성은 단지 하나의 예시적인 배치 구성이다. 광 방향 전환 배열체(124)의 다른 배치 구성들이 본 명세서에서 고려된다. 예를 들어, 도 3은 광 방향 전환 배열체(124)가 기판(102)의 근위 단부에 또는 그 부근에 배치되고, 광 커플링 아웃 구성(120)이 기판(102)의 근위 단부와 원위 단부 사이에서 기판(102)의 중심 부분을 따라 배치되는 다른 비-제한적인 배치 구성을 도시한다.
도 2 및 도 3을 참조하여 전술된 비제한적인 배치 구성에서, 광 방향 전환 배열체(124) 및 광 커플링 아웃 구성(120)은 광 방향 전환 배열체(124)가 광 커플링 아웃 구성(120)과 비중첩 관계에 있도록 기판(102)의 각각의 영역들로 분리된다. 다시 말하면, 부분 반사 표면(124)은 어느 부분 반사 표면(120)과도 중첩되지 않는다. 그러나, 다른 비제한적인 배치 구성에서, 광 방향 전환 배열체(124)는 광 커플링 아웃 구성(120)과 적어도 부분적으로 중첩되도록 배치된다. 이러한 구성의 예가 도 4에 도시되어 있고, 여기서 부분 반사 표면(124)은 부분 반사 표면(120)과 인터리브(interleaved)된다.
이제 도 5 및 도 6을 참조하면, 본 발명의 비제한적인 실시예들에 따라, 시선 추적 광을 광학 센서(140)를 향해 편향시키기 위한 하나 이상의 회절 광학 엘리먼트들(회절 격자들로서 교환가능하게 지칭됨)로서 구현되는, 기판(102)과 연관된 광 방향 전환 배열체들(224)이 도시된다. 도 2 내지 도 4를 참조하여 설명된 실시예에서와 유사하게, 광 방향 전환 배열체(224)에 의해 광학 센서(140)를 향해 편향되는 광은 기판(102)에 의해 가이드되지 않는다.
먼저, 도 5를 참조하면, 광 방향 전환 배열체(224)는 기판(102)의 주 표면들(104) 중 하나 상에 배치된 회절 광학 엘리먼트로서 구현된다. 도 2를 참조하여 상술된 바와 유사하게, 전체적인 반사 방향으로 전파하는 반사된 시선 추적 광(광선들(132A, 132B, 132C))의 강도의 일부는 회절 격자(224)에 도달하고, 광학 센서(140)를 향해 전체적인 편향 방향으로 광(광선들(132A, 132B, 132C))을 방향 전환시키기 위해 편향 광(광선들(138A, 138B, 138C)으로서 광 방향 전환 배열체(124)에 의해 편향된다. 광 방향 전환 배열체(224)에 의한 시선 추적 광의 편향은 기판(102)에서 발생하고, 이는 시선 추적 광의 편향 지점이 기판(102) 내에(도 6에서와 같이) 있고/있거나 기판(102)의 주 표면들 중 하나에 또는 그 근처에(도 5 및 도 6 둘 모두에서와 같이) 있다는 것을 의미한다.
이러한 비제한적인 예시적인 구성에서, 회절 격자(224)는 기판(102)의 원위 단부에서 또는 그 근처에서 주 표면(major surface)(104) 상에 배치되고 (도 2를 참조하여 설명된 바와 유사하게) 광 커플링 아웃 구성(120)과 비 중첩 관계에 있다. 그러나, 기판(102)의 근위 단부(도 3을 참조하여 설명된 것과 유사함)에서 또는 그 근방을 포함하여 주 표면(104) 상의 회절 격자(224)의 다른 비 중첩 배치 위치들이 가능하다는 것에 유의해야 한다. 또한, 회절 격자(224)는 광 커플링 아웃 구성(120)과 중첩하는 관계에 있도록 주 표면(104) 상에 배치될 수 있다. 예를 들어, 회절 격자(224)는 주 표면(104)의 동일한 부분의 일부를 따라 배치될 수 있고, 이 부분을 따라 하나 이상의 부분 반사 표면(120)의 투사가 연장된다.
광 방향 전환 배열체(124)(적어도 하나의 부분적으로 반사 표면으로서 구현됨)와 유사하게, 특정 배치 구성들에서의 광 방향 전환 배열체(224)는 광 방향 전환 배열체(224)에 도달하는 시선 추적 광(광선들(132A, 132B, 132C))이 광 방향 전환 배열체(124)에 의해 경사각으로 편향되도록 하고, 이는 표면(106)에 대해 측정된 광 방향 전환 배열체(224)에 대한 입사광(광선들(132A, 132B, 132C))의 각도가 편향된 광의 각도(광선들 138A, 138B, 138C)와 상이함을 의미한다. 특정 예에서, 표면(106)에 대해 측정된 입사 광의 각도는 광 방향 전환 배열체(224)에 의해 편향되는 광의 각도보다 가파르다.
광 방향 전환 배열체(124)과는 달리, 시선 추적(eye-tracking)은 회절 광학 엘리먼트가 주 표면(104) 상에 배치될 때 주 표면(104)에 의해 굴절되지 않는다. 그러나, 도 6에 도시된 비제한적인 구현에서, 회절 격자는 주 표면(106) 상에 배치되어, 시선 추적 광이 주 표면(104)에 의해 굴절된다. 여기서, LOE(12)의 주 표면(104) 상에 입사하는 전체적인 반사 방향으로 전파하는 눈(152)로부터 반사된 광(예를 들어, 광선(132A, 132B, 132C))은 굴절된 광(광선(134A, 134B, 134C))으로서 표면(104)에 의해 굴절된다. 굴절된 광(134A, 134B, 134C)은 LOE(102)의 주 표면(104)에 다시 충돌하도록 회절 격자(224)에 의해 편향된 광(반사된 광선(136A, 136B, 136C))으로서 편향된다. 입사광(광선들(136A, 136B, 136C))은 광학 센서(140)를 향하는 전체적인 편향 방향으로 자유 공간에서 전파하는 굴절광(광선들(138A, 138B, 138C))로서 표면(14)에 의해 다시 굴절된다. 본 실시예에서, 도 2 내지 도 4를 참조하여 설명된 실시예에서와 유사하게, 눈(152)으로부터의 광은 광학 센서(140)에 도달하기 전에 기판(102) 내에서 최대 단일 반사를 겪고, 단일 반사는 회절 격자(224)에 의한 반사라는 점에 주목한다.
도 6에 도시된 비제한적인 예시적인 구성에서, 회절 격자(124)는 기판(102)의 원위 단부에 또는 그 부근에 배치되고, (도 2 및 도 5를 참조하여 설명된 바와 유사하게) 광 커플링 아웃 구성(120)과 비 중첩 관계에 있다. 그러나, 기판(102)의 근위 단부(도 3를 참조하여 설명된 것과 유사함)에서 또는 그 근처를 포함하여 주 표면(106) 상의 회절 격자(224)의 다른 비 중첩 배치 위치들이 가능함을 주목다하는 것에 유의해야 한다. 또한, 회절 격자(224)는 (도 5를 참조하여 설명된 바와 유사한) 광 커플링 아웃 구성(120)과 중첩 관계에 있도록 주 표면(106) 상에 배치될 수 있다.
주 표면들(104 및 106)의 부분들을 따라 배치되는 단일 연속 회절 격자가 도 5 및 도 6에 각각 도시되어 있지만, 회절 광학 엘리먼트들의 어레이(즉, 하나 초과의 회절 격자)는 기판(102)의 주 표면들(104, 106) 중 적어도 하나의 부분을 따라 불연속 방식으로 배치될 수 있다.
광 방향 전환 배열체(124)와 유사하게, 광 방향 전환 배열체(224)는 바람직하게는 18 내지 40도 범위의 AOI에서 주 표면(104)에 입사하는 입사광(광선들(132A, 132B, 132C)을 60 내지 90도 범위의 편향 각도로 편향시키도록 구성된다(여기서, 편향 각도들은 광선들(138A, 138B, 138C)과 주 표면(104)에 대한 법선 사이에서 측정된다).
이제 도 7을 참조하면, 본 발명의 다른 비제한적인 실시예에 따라 시선 추적 광을 광학 센서(140)를 향해 편향시키기 위해, 기판(102)과 연관된 광 방향 전환 배열체(324)가 도시되어 있다. 도 2 내지 도 6을 참조하여 설명된 실시예에서와 유사하게, 광 방향 전환 배열체(324)에 의해 광학 센서(140)를 향해 편향된 광은 기판(102)에 의해 가이드되지 않는다. 본 실시예에서, 광 방향 전환 배열체(324)는 기판(102)의 주 표면(106) 중 하나의 적어도 일부와 연관된 선택적 반사 표면(즉, 눈(152)으로부터 멀어지는 쪽을 마주하는 기판(102)의 표면)으로서 구현된다. 선택적 반사 표면은 바람직하게는, 기판(102)의 주 표면(106) 중 하나의 적어도 일부에 도포된, 유전체 및/또는 이색성 코팅과 같은 광학 코팅의 하나 이상의 층으로 형성된다. 이 구현예에서, 눈으로부터 반사된 시선 추적 광은 전체적인 반사 방향으로 전파되고, 유전체 및/또는 이색성 코팅에 의해 기판(102)(이 예에서는 주 표면(106)에서)에서 편향된다. 유전체 및/또는 이색성 코팅은 뷰어가 기판(102)을 통해 실세계 장면을 볼 수 있도록 광순응(photopic) 스펙트럼의 광(즉, 전자기 스펙트럼의 가시 영역의 파장을 갖는 광)에 높은 투과성을 갖도록, 그리고 시선 추적 스펙트럼(예를 들어, NIR 영역)의 파장을 갖는 광에 대해 높은 반사성을 갖도록 설계된다. "핫 미러(hot mirror)"는 광 방향 전환 배열체(324)의 필수적인 투과 및 반사 특성을 제공하는 이색성 필터를 갖는 특수 부류의 유전체 미러이다. 간단한 핫 미러는 광 방향 전환 배열체(324)를 형성하기 위해 광학 시멘트 또는 기계적 부착을 통해 주 표면(106)의 필요한 영역 또는 부분에 배치될 수 있다.
본 실시예에서, 도 2 내지 도 6을 참조하여 설명된 실시예에서와 유사하게, 눈(152)으로부터의 광은 광학 센서(140)에 도달하기 전에 기판(102) 내에서 최대 단일 반사를 겪으며, 단일 반사는 광 방향 전환 배열체(324)를 구현하는데 사용되는 광학 코팅(또는 코팅)에 의한 반사라는 점에 유의한다.
광 방향 전환 배열체(324)는 바람직하게는, AOI의 18 내지 40도 범위에서 주 표면(104)에 입사하는 입사광(광선들(132A, 132B, 132C))을 입사광과 동일한 각도 범위의 편향각으로 편향시키도록 구성된다(여기서 편향각은 광선들(138A, 138B, 138C)과 주 표면(104)에 대한 법선 사이에서 측정된다). 18 - 40도의 입사 광 각도 범위는 눈으로부터 광 방향 전환 배열체(124)를 향해 반사되는 시선 추적 광의 각도 분포에 대응한다.
특정 실시예들에서, 색채(chromatic) 선택적 반사 코팅이 또한 입사광의 상기 언급된 각도 분포 및 편향된 광의 각도 범위를 지원하기 위해 광 방향 전환 배열체(324)가 형성되는 기판(102)의 영역에 도포될 수 있다.
도 7에 도시된 비제한적인 구현예에서, 광 방향 전환 배열체(324)(핫 미러)는 주 표면(106) 상에 배치되어, 시선 추적 광이 주 표면(104)에 의해 굴절된다. 여기서, 기판(102)의 주 표면(104)에 입사하고 전체 반사 방향으로 전파되는, 눈(152)으로부터 반사된 광(예를 들어, 광선(132A, 132B, 132C))은 표면(104)에 의해 굴절된 광(광선(134A, 134B, 134C)))으로 굴절된다. 굴절된 광(134A, 134B, 134C)은 기판(102)의 주 표면(104)에 다시 충돌하도록 핫 미러(324)에 의해 편향된 광(반사광(136A, 136B, 136C))으로 편향된다. 입사광(광선(136A, 136B, 136C))은 광학 센서(140)를 향하여 전체적인 편향 방향으로 자유 공간에서 전파되는 굴절광(광선(138A, 138B, 138C))으로 표면(14)에 의해 다시 굴절된다 .
주 표면(106)에서의 시선 추적 광의 편향은 광학 센서(140)(즉, 카메라 시스템)가 주 표면(104)에 더 가깝게 배치될 수 있게 하고, 이에 의해 광학 센서(140)(즉, 카메라 시스템)와 눈(152)(및 EMB) 사이의 거리를 증가시켜, 뷰어에게 보다 편안한 시청 경험을 제공한다.
도 7에 도시된 비제한적인 구성에서, 주 표면(104)은 바람직하게는 외부 장면으로부터의 광이 표면(104)을 통과하여 뷰어의 눈(152)에 도달할 수 있게 하고, 광 방향 전환 배열체(324)에 의해 편향되는 시선 추적 광이 표면(104)을 통과하여(가능한 굴절을 이용하여) 광학 센서(140)에 도달할 수 있게 하기 위해, 광순응 스펙트럼(예를 들어, 가시광 영역) 및 시선 추적 스펙트럼(예를 들어, NIR 영역) 둘 모두에서 광의 반사를 감소시키는 반사 방지 코팅으로 코팅된다.
도 7은 기판(102)의 근위 단부에서 또는 그 근처에서 기판(102)의 표면(106)의 적어도 일부분 상에 배치되는 광 방향 전환 배열체(324)의 구현을 예시하지만, 그러한 구현은 광 방향 전환 배열체(324)의 비제한적인 예시적인 예일 뿐이다. 광 방향 전환 배열체(324)가 기판(102)의 근위 단부에서 또는 그 근처에서 주 표면(104)의 적어도 일부분 상에 배치되는 다른 비제한적인 구현예들이 가능하다. 이러한 구현에서, 광 방향 전환 배열체(324)는 바람직하게는 표면(104)의 적어도 일부분("유전체 미러"로 지칭됨)에 도포되는 유전체 코팅으로서 구현된다. 이 구현예에서, 광학 센서(140)가 넓은 각도 분포를 커버하는 시선 추적 광을 캡처할 수 있도록, 광학 센서(140)는 도 7에 도시된 구현예에서보다 표면(104)으로부터 더 멀리 배치되어야 한다. 따라서, 표면(104)에서 광 방향 전환 배열체(324)의 구현은 도 7에 도시된 구현보다 덜 바람직한데, 이는 광학 센서(140)(즉, 카메라 시스템)와 눈(152)(및 EMB) 사이의 거리가 도 7에 도시된 구현과 비교하여 감소하기 때문이다.
광 방향 전환 배열체(324)가 배치되는 주 표면(104, 106)의 섹션은 주 표면(104, 106)의 단일 연속 부분일 수 있거나, 주 표면(104, 106)의 하나 이상의 불연속 부분(즉, 개별 세그먼트)일 수 있다는 점에 유의한다.
지금까지 설명된 광 방향 전환 배열체(324)의 비제한적인 구현들은 기판(102)의 근위 단부에 또는 그 근방의 표면들(104, 106) 중 하나의 부분 또는 부분들 상에 반사 표면을 배치하는 것을 특징으로 한다. 이러한 구현예들의 광 방향 전환 배열체들(324)은 (도 3을 참조하여 설명된 바와 유사한) 광 커플링 아웃 구성(120)과 비 중첩 관계에 있다. 그러나, 기판(102)의 원위 단부에서 또는 그 근처를 (도 2 및 도 5를 참조하여 설명된 바와 유사한) 포함하여 주 표면들(104, 106) 중 하나 상의 광 방향 전환 배열체(324)의 다른 비 중첩 배치 위치들이 가능하다는 것에 유의해야 한다. 또한, 광 방향 전환 배열체(324)는 광 커플링 아웃 구성(120)과 중첩하도록 주 표면들(104, 106) 중 하나 상에 배치될 수 있다. 예를 들어, 반사 표면은 하나 이상의 부분 반사 표면들(120)의 투사가 연장되는 주 표면들(104, 106) 중 동일한 부분의 일부분을 따라 배치될 수 있다.
본 발명의 다양한 실시예들에 따른 광 방향 전환 배열체들(124, 224, 324)은 주 표면(104)의 부분들에 또는 그 부분에 가깝게 배치될 수 있어서, 눈(152)으로부터 광 방향 전환 배열체들(124, 224, 324)로 투과되는 시선 추적 광은 비스듬한 각도들(즉, 표면(104)에 대한 법선에 대해 측정된 비교적 높은 AOI)에서 그리고 표면(104)의 평면에 대해 등가의 얕은(shallow) 각도들에 의해 주 표면(104)의 부분들 상에 먼저 입사된다. 이것은 도 2, 5 및 6에 가장 명확하게 도시되어 있으며, 여기서 광선(132A, 132B, 132C)(눈(152)으로부터 광 방향 전환 배열체로 투과된 시선 추적 광을 나타냄)이 비교적 높은 AOI로 입사된다. 높은 AOI 및 광 방향 전환 배열체의 반사 특성(예를 들어, 부분 반사 표면(124)의 배치 각도를 포함함)은 편향된 광(광선(138A, 138B, 138C)이 입사광(132A, 132B, 132C)보다 더 높은 AOI에 있도록 하는 것을 제공한다.
광 방향 전환 배열체(124, 224, 324)의 이러한 배치 구성은 광학 센서(140)(및 집속 광학 기기(142))를 이미지 프로젝터(108)에 또는 그에 근접하게 배치시킬 수 있고, 특정 바람직한 실시예에서 이미지 프로젝터(108)의 컴포넌트들을 수용하는 기계 본체 또는 하우징에 부착된다.
다음 단락들은 조명 배열체(illumination arrangement)(126)에 대한 몇몇 배치 옵션들을 설명한다. 일반적으로 말하면, 조명 배열체(126)의 다양한 구성들이 본 명세서에서 고려된다. 조명 배열체 구성들 모두에서, 조명 배열체(126)는 바람직하지만 비제한적인 구현예들이 전자기 스펙트럼의 NIR 영역에 있는 시선 추적 광으로 EMB(154)(및 이에 따라 EMB(154)에 위치될 때 눈(152))를 조명하도록 구성된 적어도 하나의 광원을 포함한다.
하나의 비-제한적인 배치 구성에서, 시선 추적 조명은 이미지 프로젝터(108)에 의해 투사된 이미지의 일부로서 통합될 수 있다. 조명은 이미지 투사 동안 또는 별개의 시간 슬롯에 있을 수 있다. 시선 추적 조명 및 이미지 투사의 타이밍 제어는 바람직하게는 처리 서브시스템(146)에 의해 제어된다. 시선 추적 조명이 IR 영역에 있는 경우, 눈에 IR 조명을 제공하기 위한 다양한 옵션들이 존재한다. 가시 파장에 가까운 NIR의 파장이 사용되는 경우, IR 조명은 예를 들어, LCoS 변조기를 사용하여 종래의 가시 이미지 프로젝터에서 제4 "컬러"로서 조합될 수 있다. IR의 더 긴 파장들에 대해 패터닝된 조명이 요구되는 경우, DPL(digital light processing) 디바이스가 전형적으로 바람직하다. 비-패턴화된 조명에 대해, 전용 조명 소스는 통상적으로 이미지 프로젝터와 독립적으로 제공된다. 이미지 프로젝터에 의해 생성된 시선 추적 조명은 가시 이미지 조명(110)과 동일한 방식으로 기판(102)으로 커플링되고, 내부 반사에 의해 전파된다. 광 커플링 아웃 구성(120)은 바람직하게는 시선 추적 스펙트럼에서 광을 투과시키도록 구성되는 한편, 광 방향 전환 배열체(124, 224, 324)는 바람직하게는 시선 추적 스펙트럼에서 광을 편향시키고 광순응 스펙트럼에서 광을 투과시키도록 구성된다. 광 커플링 아웃 구성(120)의 원하는 반사 및 투과 특성은 적절한 코팅을 부분 반사 표면(120)에 도포함으로써 달성될 수 있다. 유사하게, 광 방향 전환 배열체(124)의 원하는 반사 및 투과 특성은 적절한 코팅을 부분 반사 표면(124)에 도포함으로써 달성될 수 있다.
더 바람직한 배치 구성에서, 조명 배열체(126)는 이미지 프로젝터로부터 분리되며, 기판(102)이 부착되는 광학계(100)의 기계 본체의 주변부 주위에 및/또는 광학 센서(140)에 근접하여 배치된 하나 이상의 광원들을 포함한다. 도 8은 광학계(100)이 관찰자(observer)(뷰어(viewer))의 귀와 결합하기 위한 측면 아암(arm)(158)을 갖는 안경 프레임(156)으로서 구현된 헤드 장착형 기계 본체를 갖는 안경 폼 팩터로 구현되는 그러한 바람직한 비제한적인 예시적인 구현을 도시한다. 광학계(100)는 개략적으로 케이블(162)을 통해 연결된 전원(160)으로서 예시된, 제공된 배터리 및/또는 외부 전원의 임의의 조합일 수 있는 적절한 전원으로부터 전력을 공급받는다. 배터리 전력이 사용되는 경우, 배터리는 안경 또는 헬멧 장착 구조의 일부로서 통합될 수 있다. 헬멧 장착 폼 팩터(helmet-mounted form factor), 차량 윈드쉴드 폼 팩터(vehicle windshield form factor), 및 다른 헤드 업 디스플레이 및 근안 디스플레이 폼 팩터와 같은 다른 폼 팩터들도 또한 본 발명의 범위 내에 분명히 속한다는 것에 유의해야 한다.
본 비제한적인 구현예에서, 조명 배열체(126)는 3개의 개별 광원(128A, 128B, 128C)(예를 들어, 3개의 LED로서 구현됨)을 포함한다. 소스(128A, 128B) 중 2개는 안경 프레임(156)의 주변부 상의 광 커플링 아웃 구성(120)에 또는 그 부근에 배치된다. 제3 광원(128C)은 광학 센서(140)에 근접한 관찰자의 머리의 측면 근처에 배치된다(도 8에서, 이것은 측면 아암(158)에 부착되는 이미지 프로젝터(108)에 부착되는 것으로 예시된다).
일반적으로, 조명 배열체(126)는 시선 추적 광으로 눈(152)의 특정 영역 또는 전체 눈(152)을 조명하도록 구성될 수 있다. 위에서 상세히 논의된 바와 같이, 조명 배열체(광선들(130A, 130B, 130C))에 의해 방출된 시선 추적 광은 반사된 광(132A, 132B, 132C)으로서 눈(152)에 의해 반사되고, 광학 센서(140)를 향해 편향된 광(광선들(138A, 138B, 138C))으로서 광 방향 전환 배열체(124, 224, 324)에 의해 편향되고, 여기서 바람직하게는 (광학 기기(142)에 의해) 광학센서(10)로 집속된다. 특정 비제한적인 구현예들에서, 편향된 광(예를 들어, 광선들(138A, 138B, 138C))은 집속 광학 기기(142)에 의해 광학 센서(140)의 상이한 영역들 또는 부분들 상으로 집속된다. 광학 센서(140)는 집속된 광(예를 들어, 눈의 이미지에 대응함)을 감지하는 것에 응답하여 신호들을 생성하고, 이들 신호들은 눈(152)의 현재 응시 방향을 도출하기 위해 신호들을 처리하도록 구성된 처리 시스템(146)으로 전송된다. 특정한 비제한적인 구현예들에서, 광학계(100)는 눈(152)의 특정 영역들 상에 존재하는 이미징 패턴들에 의해 응시 방향(눈의 각도 배향 또는 눈의 시선)을 획득한다. 이러한 패턴들의 위치 및 그것들의 모션은 현재 응시 방향 및 눈의 모션을 나타낸다. 사람의 눈은, 예를 들어, 각막 반사에 기초하여 각막의 신경에 의해 생성된 패턴(즉, 각막 신경 패턴), 눈 동공의 중심, 및 시신경 유두(optic disc)의 혈관에 의해 생성된 패턴을 포함하는 다양한 추적가능한 피처(feature)를 포함한다. 이러한 추적가능한 피처는 처리 시스템(146)에 의해 수행되는 적절한 이미지 처리 명령어들에 의해 구현되는 적절한 추적 알고리즘들을 사용하여 추적될 수 있다. 특정 비제한적인 구현예들에서, 처리 시스템(146)은 동공 중심과 각막 반사들 사이의 벡터에 기초하여 응시 방향을 계산한다.
일반적으로, 모든 백그라운드 조명은 눈 이미지의 품질을 저하시키는 노이즈를 야기한다. 외부 조명 소스들(예를 들어, 주변 광, 자연 태양광 등)의 영향들을 감소시키기 위해, 조명 배열체(126)는 광의 짧은 펄스(바람직하게는 1 ms 미만)를 생성하도록 구성될 수 있고, 광학 센서(140)는 이러한 짧은 조명 지속기간 동안에만 광을 통합하기 위해 (처리 서브시스템(146)에 의해) 동기화된다. 이러한 방식으로, 연속적인 백그라운드 조명이 크게 억제될 수 있다. 부가적으로 또는 대안적으로, 통과 대역 스펙트럼 필터이 시선 추적 조명이 광학 센서(140)에 도달하는 것이 발생되는 주어진 범위의 파장들 외부의 파장들의 광을 차단하기 위해 광 방향 전환 배열체로부터 광학 센서(140)로의 광학 경로에 배치될 수 있다. 스펙트럼 필터는 이상적으로 집속 광학기기(142)와 광학 센서(140) 사이에 위치될 수 있지만, 대안적으로 집속 광학기기(142) 앞에 배치될 수 있다.
응시 방향을 도출하고 추적하기 위한 비제한적인 프로세스에서, 각막 패턴(선택적으로 시신경 유두(optic disc) 패턴 및/또는 동공과 조합)이 매핑되고 추적 가능한 피처가 초기 셋업 프로세스 동안 결정되고, 이어서 연속 추적 프로세스가 수행된다. 예컨대, 이미지 마커가 관찰자가 초기화 동안 관찰할 수 있도록 관찰자에게 디스플레이될 수 있다. 관찰자가 마커를 향해 바라보는 동안, 조명 배열체(126)는 각막을 완전히 조명하고 각막(및 동공)의 전체 이미지가 (광학 센서(140)를 통해) 획득된다. 이 이미지는 그런 다음 추적가능한 피처들(예를 들어, 시신경 유두 및 중심와(fovea))을 식별하기 위해 처리 시스템(146)에 의해 처리된다. 연속 추적 프로세스 동안, 눈(152)의 선택된 관심 영역(ROI)은 조명 배열체(126)에 의해 선택적으로 조명되고, (광학 센서(140)에 의해 획득된) ROI의 이미지는 현재 응시 방향(시선)을 결정하기 위해 대응하는 조명 펄스 동안 (처리 시스템(146)에 의해) 샘플링되고 처리되고, 이 도출된 응시 방향은 후속하는 조명 사이클에 대한 ROI의 위치를 업데이트하는데 사용되고, 연속 추적 프로세스는 업데이트된 ROI를 조명함으로써 반복된다. 추적 측정들의 주파수가 눈의 모션 속도에 비해 높다고 가정하면, 이러한 업데이트 프로세스는 전형적으로, 선택적으로 다른 눈으로부터의 추적 정보와 조합된, 연속적인 추적을 유지하는데 효과적이다. 응시 방향이 변경되면 조명 영역도 변경된다. ROI의 업데이트는 마지막 샘플링된 이미지로부터 결정된 "현재" 응시 방향에 따라 수행될 수 있거나, 특정 경우들에서, 이전의 2개 이상의 측정들 사이의 눈 모션에 기초하여 예측 외삽을 사용할 수 있다. 추적에 실패한 경우에, 조명된 영역의 크기는 추적가능한 피처가 복원될 때까지 일시적으로 증가할 수 있다.
조명 배열체(126)의 광원들은 시선 추적 스펙트럼 내에서 대략 동일하거나 상이한 중심 파장들에서 시선 추적 광을 방출하도록 구성될 수 있다. 전형적으로, NIR 영역에서, 기판(102)이 구성될 수 있는 유리 재료들의 분산은 단일 시선 추적 광원의 스펙트럼 폭(스펙트럼 폭은 전형적으로 LED들에 대해 20 내지 50 nm의 범위에 있음) 내의 왜곡을 경험하는 것을 피하기 위해 충분히 낮다. 그러나, (여전히 시선 추적 전자기 스펙트럼의 동일한 영역 내에 있는 동안) 2개의 스펙트럼상에서 분리된 중심 파장에서 시선 추적 광을 방출하는 광원들을 채용하는 것은 눈을 이미징할 때 특정 이점들을 제공할 수 있다. 예를 들어, 각각 대략 700 nm 및 950 nm에 중심을 둔 광을 방출하는 제1 및 제2 광원으로 조명 배열체(126)를 배치하는 것은, 광학 센서(140) 상에 형성된, 다른 것에 대비하여 하나가 시프트되는, 눈의 2개의 상이한 이미지들이 생성될 수 있다. 상관 알고리즘들과 같은 적절한 이미지 처리 알고리즘들을 적용함으로써, 처리 서브시스템(146)은 응시 방향 계산들에서 더 높은 해상도를 달성할 수 있다.
처리 서브시스템(146) 및 카메라(집속 광학 기기를 갖는 광학 센서)는 바람직하게는 광학 센서와 처리 서브시스템(146) 사이의 간단한 전기적 연결(예를 들어, 짧은 전기 배선 또는 케이블링)을 가능하게 하기 위해, 예를 들어 도 8에 도시된 바와 같이 서로 근접하게 배치된다는 것에 유의한다. 본 발명의 광 방향 전환 배열체들은 카메라가 배치되는 영역 또는 면적에 대응하는 전체적인 편향 방향으로 광을 편향시키도록 배치된다는 것이 추가로 유의한다. 위에서 언급된 바와 같이, 집속 광학 기기(142)는 편향된 시선 추적 광이 도달할 영역에 대응하는 시야를 정의한다. 따라서, 집속 광학 기기(142)는 편향 방향으로부터의 광을 캡쳐하도록 배치된다. 도 8에 도시된 비제한적인 예시적인 구현예에서, 집속 광학 기기(142)는 집속 광학 기기(142)의 좌측 영역으로부터 방출되는 편향된 시선 추적 광을 캡처하기 위해 안경 프레임(156)의 우측에 배치된다. 따라서, 도 8의 광 방향 전환 배열체는 전체적인 편향 방향으로 광을 우측으로(즉, 집속 광학 기기(142)를 향해) 편향시키도록 배치되어야 한다. 그러나, 집속 광학 기기가 상응하게 배치되는 한, 광 방향 전환 배열체는 전체적인 편향 방향으로 광을 좌측으로 편향시키도록 구성될 수 있다. 도 8에서, 이는 집속 광학 기기를 좌측 사이드암(sidearm)(미도시)에 (직접적으로 또는 간접적으로) 부착된 안경 프레임(156)의 좌측 측면에 위치시키는 것을 수반할 것이다. 처리 서브시스템(146)이 또한 이미지 프로젝터(108)를 제어하기 때문에, 카메라에 대한 근접성을 희생하면서, 대신 광학 센서와 처리 서브시스템(146) 사이에 더 긴 전기 접속을 배치하면서 처리 서브시스템(146)을 이미지 프로젝터(108)에 근접시켜 유지하는 것이 유리할 수 있다.
광 방향 전환 배열체들과 연관된 전체적인 편향 방향은 광 방향 전환 배열체의 배치 배향 및/또는 광학 파라미터들을 변경함으로써 우측 진행(right-going)에서 좌측 진행(left-going)으로(또는 그 반대로) 쉽게 변경될 수 있다. 예를 들어, 도 2의 부분 반사 표면(124)의 전체적인 우측 진행 편향 방향을 살펴보면, 전체적인 좌측 진행 편향 방향은 부분 반사 표면(124)의 배향을 변경하기 위해 수직 또는 수평 축을 중심으로 부분 반사 표면(124)을 180도 회전시킴으로써 달성될 수 있다. 다른 예에서, 회절 격자(224)를 형성하는 데 사용되는 주기적 구조는 편향 방향을 변경하기 위해 반전되거나 회전될 수 있다.
이제 도 2 내지 도 7을 참조하면, 단일 광학 센서(140)를 사용하여 눈(152)의 2개의 독립적인 이미지를 획득할 수 있도록, 광 방향 전환 배열체(124, 224, 324)의 임의의 쌍이 조합되어 사용될 수 있다. 바람직하게, 2개의 광 방향 전환 배열체는 기판(102)의 상이한 각각의 부분에 배치될 수 있다. 예를 들어, 하나의 광 방향 전환 배열체는 기판(102)의 근위 단부에 또는 그 부근에 배치될 수 있고, 다른 광 방향 전환 배열체는 기판(102)의 원위 단부에 또는 그 부근에 배치될 수 있다. 2개의 광 방향 전환 배열체는 동일한 유형일 수 있고(예를 들어, 둘 모두 부분 반사 표면으로 구현됨) 또는 상이한 유형일 수 있다(예를 들어, 하나는 부분 반사 표면들의 세트로서 구현될 수 있고 다른 하나는 하나 이상의 회절 격자로서 구현될 수 있다).
도 9는 2개의 상이한 광 방향 전환 배열체을 갖는 광학계의 비제한적인 예의 개략도를 도시한다. 비제한적인 예시적인 예에서, 제1 광 방향 전환 배열체(124)는 도 2를 참조하여 설명된 바와 유사하게 구현되고, 제2 광 방향 전환 배열체(324)는 도 7을 참조하여 설명된 바와 유사하게 구현된다. 눈으로부터 광학 센서(140)로의 광의 횡단이 도 9에 개략적으로 예시된다. 단순화를 위해, 주 표면(104)에 의한 시선 추적 광의 굴절은 도면에 도시되지 않지만, 시선 추적 광의 굴절은 도 2 및 도 7을 참조하여 설명된 바와 같이 유사하게 발생할 수 있다는 것을 이해해야 한다.
시선 추적 조명은 눈(152)으로부터 반사되고, 광선(132A, 132B, 132C, 132D, 132E, 132F)에 의해 개략적으로 표시된다. 제1 세트의 광선들(132A, 132B, 132C)에 의해 개략적으로 표현되는, 눈에 의해 반사된 시선 추적 광의 일부는 제1 전체 반사 방향("RD1"로 라벨링된 두꺼운 화살표에 의해 개략적으로 표현됨)으로 전파되고, 제1 전체 편향 방향("DD1"로 라벨링된 두꺼운 화살표에 의해 개략적으로 표현됨)으로 편향된 광(광선들(138A, 138B, 138C)에 의해 개략적으로 표현됨)으로서 광 방향 전환 배열체(124)에 의해 편향된다. 제2 세트의 광선들(132D, 132E, 132F)에 의해 개략적으로 표현되는 눈에 의해 반사된 시선 추적 광의 일부는 제2 전체 반사 방향("RD2"로 라벨링된 두꺼운 화살표에 의해 개략적으로 나타냄)으로 전파되고, 제2 전체 편향 방향("DD2"로 라벨링된 두꺼운 화살표에 의해 개략적으로 나타냄)으로 편향된 광(광선들(138D, 138E, 138F)에 의해 개략적으로 나타냄)으로서 광 방향 전환 배열체(324)에 의해 편향된다. 편향된 광선의 2개의 세트의 형태로 편향된 광은 집속 광학 기기(142)에 도달한다. 집속 광학 기기(142)는 EMB 내에 눈(152)의 제1 이미지를 형성학 위해 편향된 입사광의 제1 세트(138A, 138B, 138C)를 광학 센서(140)의 지정된 제1 부분 또는 영역(141a)에 충돌하는 광의 집광 빔(converging beam)(광선들(144A, 144B, 144C)으로 변환한다. 집속 광학 기기(142)는 또한 EMB 내에 눈(152)의 제2 이미지를 형성하기 위해 제2 세트의 편향된 입사 광(138D, 138E, 138F)을 광학 센서(140)의 지정된 제2 부분 또는 영역(141b)에 충돌하는 집광 빔들(광선들(144D, 144E, 144F)로 개략적으로 나타냄)로 변환한다.
도 10은 실험실 시뮬레이션에서 2개의 광 방향 전환 배열체을 사용하여 단일 광학 센서(140)에 의해 캡처된 2개의 독립적인 이미지를 도시한다.
처리 서브시스템(146)은 눈의 2개의 독립적인 이미지를 생성할 때 광학 센서(140)에 의해 생성된 신호를 처리하여, 삼각 측량 기술을 사용하여 안구 완화(eye relief) 거리를 계산 또는 추정할 수 있다는 것에 유의한다. 원칙적으로, 두 개 초과의 광 방향 전환 배열체들이 눈의 두 개 초과의 독립적인 이미지들의 세트를 생성하기 위해 조합하여 사용될 수 있다는 것에 또한 유의한다.
본 개시의 특정 실시예들은 차량 또는 항공기에서 헤드 업 디스플레이(HUD)의 일부로서 배치될 때 특정 값일 수 있고, 이에 의해 자동차 또는 항공 환경에서 이미지 프로젝터(108)에 의해 투사된 이미지들의 디스플레이는 적어도 부분적으로 HUD의 사용자의 응시 방향에 의해 종속되거나 제어될 수 있다. 자동차 환경에서, 개시된 실시예들에 따른 시선 추적 장치의 주요 컴포넌트들을 채용하는 HUD는 자동차의 운전자의 전방에 설치될 수 있으며, 예를 들어 자동차의 대시보드 또는 전방 윈드실드에 통합될 수 있다. 항공 환경에서, HUD는 항공기의 파일럿 전방에 설치될수 있고 예를 들어, 헬멧의 전방 영역에서 파일럿 헬멧의 일부로서 설치될 수 있다.
광학계의 실시예들은 지금까지 내부 반사에 의해 (이미지 프로젝터(108)로부터 주입되는) 이미지 광을 가이드하도록 구성된 도광 광학 엘리먼트(LOE)인 기판(102)의 맥락 내에서 설명되었다. 이러한 실시예들은 AR 및/또는 VR 애플리케이션들에서 사용될 때 특정 값이며, 여기서 AR/VR 이미지는 큰 애퍼처를 생성하기 위해 LOE에 의해 증배되는 작은 애퍼처를 갖는 컴팩트 이미지 프로젝터에 의해 생성된다. 배경 기술 섹션에서 논의된 바와 같이, 일 차원에서의 애퍼처 증배는 이미지가 내부 반사에 의해 전파되는 투명 재료의 평행 겉면 슬래브(parallel-face slab)에 기초하여 배치되었다. 2차원에서의 애퍼처 증배는 또한 다양한 광 도파관 구성들을 사용하여 개발되었다는 것에 주목한다. 일 예시적인 실시예에서, 2차원 애퍼처 확장은 제1 및 제2 광 도파관들을 통해 구현된다. 제1 광 도파관은 직사각형 단면을 형성하는 평행한 주 외부 표면들의 2개의 쌍을 갖는다. 상호 평행한 부분 반사 표면들의 제1 세트는 광 도파관의 세장(elongation) 방향에 대해 비스듬하게 제1 광 도파관을 횡단한다. 제2 광 도파관은, 제1 광 도파관에 광학적으로 커플링되어, 슬래브 유형 도파관을 형성하는 한 쌍의 평행한 주 외부 표면을 갖는다. 상호 평행한 부분 반사 표면들의 제2 세트는 제2 광 도파관의 주 외부 표면들에 대해 비스듬하게 제2 광 도파관을 횡단한다. 또한, 제1 세트의 부분 반사 표면들을 포함하는 평면들은 바람직하게는 제2 세트의 부분 반사 표면들을 포함하는 평면들에 비스듬하다. 2개의 광 도파관들 사이의 광 커플링, 및 2개의 세트의 부분 반사 표면들의 배치 및 구성은, 이미지가 제1 광 도파관의 평행한 주 외부 표면들의 양쪽 쌍들에 비스듬한 커플링 각도로 전파의 초기 방향에서 제1 광 도파관 내로 커플링될 때, 이미지는 제1 광 도파관을 따라 (즉, 2차원으로) 4배(four-fold) 내부 반사에 의해 전진하고, 이미지의 강도의 일부는 제1 광 도파관의 밖으로 그리고 제2 광 도파관 내로 커플링되도록 제1 세트의 부분 반사 표면들에서 반사되고, 이어서 제2 광 도파관 내에서 (즉, 1차원으로) 2배(two-fold) 내부 반사에 의해 전파되어 관찰자의 눈에 의해 관찰되는 가시 이미지로서 제2 광 도파관 밖으로 커플링되도록 이미지의 강도의 일부가 제2 세트의 부분 반사 표면들에서 반사된다. 평행 평면 부분 반사 표면(124)의 세트로서 광 방향 전환 배열체을 구현할 때, 부분 반사 표면(124)의 평면은 상호 평행 부분 반사 표면의 제1 또는 제2 세트의 평면에 평행, 직교 또는 비스듬하게 배향될 수 있다. 2차원 애퍼처 증배기에 대한 추가 세부 사항은, 예를 들어, 미국 특허 제10,564,417호를 포함한 다양한 특허 문헌에서 찾을 수 있고, 이는 본원에 전체가 참고로 통합된다.
다른 예시적인 실시예에서, 2차원 애퍼처 확장은 제1 및 제2 슬랩 유형 광 도파관들에 의해 실현된다. 제1 광 도파관은 슬래브 유형 도파관을 형성하는 두 쌍의 평행한 주요 외부 표면을 갖는다. 상호 평행한 내부 부분 반사 표면들의 제1 세트는 평행한 주 외부 표면들의 2개의 쌍들에 대해 비스듬한 각도로 제1 광 도파관을 횡단한다. 제2 광 도파관은 또한 두 쌍의 평행한 주 외부 표면을 갖는다. 상호 평행한 내부 부분 반사 표면의 제2 세트는 제2 광 도파관의 2쌍의 평행한 주 외부 표면에 대해 비스듬한 각도로 제2 광 도파관을 횡단한다. 또한, 제1 세트의 부분 반사 표면들을 포함하는 평면들은 제2 세트의 부분 반사 표면들을 포함하는 평면들에 대해 비스듬하거나 수직이다. 2개의 광 도파관들 사이의 광 커플링, 및 2개의 세트의 부분 반사 표면들의 배치 및 구성은, 이미지가 제1 광 도파관 내로 결합될 때, 이미지가 제1 가이드 방향으로 한 쌍의 외부 표면들 중 하나의 외부 표면들 사이에서 제1 광 도파관 내의 2배 내부 반사를 통해 전파되고, 이미지의 강도의 일부는 제1 광 도파관 밖으로 그리고 제2 광 도파관 내로 커플링되도록 제1 세트의 부분 반사 표면들에서 반사되고, 그런 다음, 제2 가이드 방향(제1 가이드 방향에 비스듬히)으로 제2 광 도파관의 한 쌍의 외부 표면들 중 하나의 외부 표면들 사이에서 제2 광 도파관 내의 2배 내부 반사를 통해 전파되고, 반사된 이미지의 강도의 일부는 관찰자의 눈에 의해 관찰되는 가시 이미지로서 제2 광 도파관 밖으로 커플링되도록 제2 세트의 부분 반사 표면들에서 반사된다. 평행 평면 부분 반사 표면(124)의 세트로서 광 방향 전환 배열체을 구현할 때, 부분 반사 표면(124)의 평면은 상호 평행 부분 반사 표면의 제1 또는 제2 세트의 평면에 평행, 직교 또는 비스듬하게 배향될 수 있다. 2차원 애퍼처 증배에 대한 추가 세부사항은, 예를 들어, 미국 특허 번호 10,551,544를 포함하는 다양한 특허 문헌에서 찾을 수 있고, 이는 본원에 전체가 참고로 통합된다.
눈 응시 방향을 도출하기 위한 장치가 또한 비-AR 또는 비-VR 애플리케이션들에서 사용될 때 가치가 있을 수 있다는 것이 추가로 주목된다. 추가적인 애플리케이션들의 하나의 세트에서, 응시 방향을 도출하기 위한 장치는 광을 적어도 부분적으로 투과시킬 수 있는 뷰어의 눈 앞에 배치된 재료로 형성된 임의의 유형의 기판을 갖는 조립체들과 조합하여 유리하게 사용될 수 있다. 이러한 조립체에서의 "기판"은 선글라스, 안경, 광학 디옵터(optical diopter)를 갖는 안경, 회절 격자 또는 격자들을 갖는 안경, 및 파편 또는 미립자로부터 눈을 보호하기 위해 배치된 플라스틱 또는 유리로 형성된 쉴드 또는 돔 유형 구조를 갖는 눈 보호 기어를 포함할 수 있지만, 이에 제한되지 않는다. 전술한 기판의 주 외부 표면의 일부 또는 전부는, 플랫한 평면인 LOE의 주 외부 표면과 달리, 곡면(curved surface)이어도 된다.
추가적인 애플리케이션들의 다른 세트에서, 응시 방향을 도출하기 위한 장치는 컴퓨터 또는 모바일 디바이스 관련 애플리케이션들과 조합하여 유익하게 사용될 수 있으며, 여기서 사용자의 눈의 응시 방향은 디스플레이 스크린, 웹페이지, 메뉴 등을 내비게이팅하는데 사용될 수 있거나, 컴퓨터 디바이스(예를 들어, 비디오 게임 시스템, 모바일 디바이스, 랩톱 컴퓨터, 테이블 등) 상에서 플레이되는 컴퓨터화된 게임과 상호작용하는데 사용될 수 있다. 이러한 애플리케이션들에서, "기판"은 컴퓨터 디바이스의 디스플레이 스크린을 포함할 수 있고, 광 방향 전환 배열체는 눈으로부터 디스플레이 스크린을 향해 반사되는 시선 추적 광을 편향시키도록 디스플레이 스크린의 부분들과 적절하게 연관될 수 있다.
도 12는 전술된 비-AR/VR 애플리케이션들에서 사용될 수 있는 본 발명의 일 실시예를 개략적으로 도시한다. 여기서, 기판(102)은 전술한 조립체들 중 하나의 유형의 일부를 형성하는 광 투과성 재료로 형성되며, 내부 반사에 의해 광을 가이드하도록 구성되지 않는다. 또한, 광이 기판(102)에 의해 가이드되지 않기 때문에, 기판(102)과 연관된 광 커플링 아웃 구성이 존재하지 않는다. 대신, 이 예에서, 부분 반사 표면(124)의 세트로서 구현되는 광 방향 전환 배열체만이 기판(102)과 연관된다. 광 방향 전환 배열체(124)는 입사하는 시선 추적 광(광선들(132A, 132B, 132C)을 광학 센서(140)를 향하여 편향 방향으로 편향된 광(광선들 (138A, 138B, 138C)로 개략적으로 도시됨)으로서 편향시킨다. 단순화를 위해, 주 표면(104)에 의한 시선 추적 광(132A, 132B, 132C)의 굴절은 도면에 도시되지 않지만, 시선 추적 광의 굴절은 도 2 및 도 7을 참조하여 설명된 바와 유사하게 발생할 수 있다는 것이 이해되어야 한다는 것에 유의한다.
이해되어야 하는 바와 같이, 도 12에 도시된 실시예는 전술된 바와 같이, 단독으로 또는 쌍으로 조합하여, 광 방향 전환 배열체(124, 224, 324) 중 임의의 것을 사용하여 구현될 수 있다. 이러한 비-AR/VR 애플리케이션들에서, EMB는 일반적으로 기판(102)의 표면(104)에 또는 그로부터 주어진 거리 내에 위치된 2차원 영역으로서 정의되어, 눈이 EMB 내에 위치될 때 광학 센서(140)는 광 방향 전환 배열체(124, 224, 324)에 의해 편향되는 눈으로부터의 광을 감지할 수 있고, 바람직하게는 눈의 부분들을 이미지화할 수 있다.
지금까지 설명된 바와 같은 본 발명의 실시예들은 바람직하게는 전자기 스펙트럼의 비-가시 영역(바람직하게는 NIR 영역)에 있는 시선 추적 광으로 EMB 내의 눈(152)을 조명하는 것으로 간주되었지만, 예를 들어 가시광선 및 자외선(UV) 광을 포함하는, NIR 영역 외부의 파장을 갖는 광으로 눈이 조명되는 다른 실시예들이 가능하다. 조명 배열체(126)가 가시 광선으로 눈을 조명하는 실시예들에서, 비이미지(nonimage) 가시 광선으로 눈을 타격하는 것을 억제하기 위해 공막(sclera)과 같은 가시 광선에 덜 민감한 눈의 영역들에 조명을 집중시키기 위해 조명 소스(들)를 배치하는 것이 유리할 수 있다. 조명 배열체(126)가 UV 광으로 눈을 조명하는 실시예에서, 예를 들어, 주어진 지속기간에 걸쳐(예를 들어, 315 nm 내지 400 nm 범위의 파장을 갖는 UV 광에 대해 1000초보다 큰 기간 동안 제곱 센티미터당 1 밀리와트 미만) 주어진 영역의 눈의 영역 상에 수신된 UV 빔의 강도/파워에 대한 제한을 둠으로써, 유해 UV 방사선에 대한 눈의 노출을 감소시키거나 최소화하기 위해 예방 조치가 취해져야 한다.
조명 배열체(126)의 광원들은 전자기 스펙트럼의 2개 이상의 상이한 영역들에서 광을 방출하도록 구성될 수 있다는 것이 또한 유의한다. 예를 들어, 제1 세트의(즉, 하나 이상의) 광원들은 NIR 영역에서 광을 방출할 수 있는 반면, 제2 세트의 광원들은 (바람직하게는 공막에 집속되는) 가시 영역에서 광을 방출할 수 있다.
특정한 비제한적 구현예에 따르면, 본 발명의 다양한 시선 추적 장치는 피험자의 양쪽 눈을 동시에 추적하기 위해 복제될 수 있다. 또한, 시선 추적 장치가, 눈에도 영상을 투사하는 광학계의 일부로서 통합될 경우, 양쪽 눈에 영상을 투사하기 위해 상기 광학계가 복제될 수 있다. 두 개의 시선 추적기로부터의 데이터를 조합함으로써, 추적의 향상된 안정성 및 연속성을 달성할 수 있다. 예를 들어, 눈들이 움직이는 동안, 눈들의 추적가능한 부분들은 다른 눈이 아닌 하나의 눈에서 추적기에 보여질 수 있다. 추적 가능한 피처의 추적을 사용하는 추적 알고리즘을 사용하는 경우, 양쪽 눈에 대한 동시 추적 기능을 사용하면 하나의 시선 추적기만이 사각지대(blind spot)를 추적할 수 있는 기간을 통해 추적을 지속적으로 유지할 수 있다.
광학계가 양안형인 경우, 각각의 눈은 그 자신의 이미지 투사 및 시선 추적 디바이스를 가지며, 다양한 처리 및 전원 컴포넌트들이 선택적으로 2개의 시선 추적 시스템들 사이에서 공유될 수 있다. 양안 시선 추적 디바이스들에 의해 수집된 시선 추적 정보는 앞서 언급된 바와 같이, 추적의 강화된 안정성 및 연속성을 제공하기 위해 융합될 수 있다.
본 개시의 다양한 실시예들의 설명은 예시의 목적으로 제시되었지만, 포괄적으로 또는 개시된 실시예들에 제한되도록 의도되지 않는다. 많은 수정들 및 변형들은 기술된 실시예들의 범위 및 취지를 벗어나지 않으면서 당업자에게 명백할 것이다. 본 명세서에서 사용되는 용어는 실시예들의 원리, 시장에서 발견되는 기술들에 대한 실제적인 애플리케이션 또는 기술적 개선을 가장 잘 설명하거나, 당업자가 본 명세서에서 개시된 실시예들을 이해할 수 있게 하도록 선택된다.
본원에서 사용된 단수 형태, "a", "an" 및 "the"는 문맥상 명백하게 달리 지시되지 않는 한 복수의 참조를 포함한다.
본 명세서에서 "예시적인"이라는 단어는 "예시적인, 인스턴스(instance) 또는 예시(illustration)의 역할을 하는 것"을 의미하는 것으로 사용된다. "예시적인"으로 설명된 임의의 실시예는 반드시 다른 실시예들에 비해 바람직하거나 유리한 것으로 해석되거나 및/또는 다른 실시예들로부터 피처들의 통합을 배제하는 것은 아니다.
명확성을 위해, 별개의 실시예들의 맥락에서 설명되는 본 발명의 특정 피처들이 또한 단일 실시예에서 조합하여 제공될 수 있다는 것이 인식된다. 반대로, 간결성을 위해, 단일 실시예의 맥락에서 설명되는 본 발명의 다양한 피처들은 또한 개별적으로 또는 임의의 적합한 서브조합으로 또는 본 발명의 임의의 다른 설명된 실시예에서 적합한 것으로 제공될 수 있다. 다양한 실시예의 맥락에서 기술된 특정 피처는, 실시예가 이들 요소 없이 동작하지 않는 한, 이들 실시예의 필수적인 피처으로 간주되지 않는다.
첨부된 청구항들이 다중 종속항들 없이 기안된 범위 내에서, 이것은 그러한 다중 종속항들을 허용하지 않는 관할권들에서 형식적인 요건들을 수용하기 위해서만 행해졌다. 다중 종속 청구항들이 명시적으로 예상되게 함으로써 암시될 피처들의 모든 가능한 조합들이 명시적으로 예상되고, 본 발명의 일부로 간주되어야 한다는 점에 유의해야 한다.
본 발명은 특정 실시예들과 함께 설명되었지만, 많은 대안들, 수정들 및 변형들이 당업자에게 명백할 것이 명백하다. 따라서, 본 발명은 첨부된 특허청구항들의 사상 및 광범위한 범위 내에 속하는 그러한 모든 대안들, 수정들 및 변형들을 포용하고자 한다.

Claims (58)

  1. 광학계(optical system)에 있어서,
    적어도 2개의 주 표면(major surface)을 갖는 광 투과성 기판으로서, 상기 주 표면 중 제1 표면은 뷰어(viewer)의 눈과 대면하는 관계로 배치된, 상기 광 투과성 기판;
    광을 감지하도록 배치된 광학 센서;
    상기 광학 센서에 도달하는 편향된 광이 상기 광 투과성 기판에 의해 가이드되지 않도록, 상기 눈으로부터 상기 광학 센서를 향해 광을 편향시키도록 구성된 상기 광 투과성 기판과 연관된 광 방향 전환 배열체(light redirecting arrangement)로서, 상기 광 방향 전환 배열체에 의한 광의 편향은 상기 광 투과성 기판에서 발생하는, 상기 광 방향 전환 배열체; 및
    상기 광학 센서에 전기적으로 커플링되고 상기 눈의 현재 응시 방향(gaze direction)을 도출하기 위해 상기 광학 센서로부터의 신호를 처리하도록 구성된 적어도 하나의 프로세서를 포함하는, 광학계.
  2. 제1항에 있어서,
    상기 눈을 광으로 조명하도록 배치된 조명 배열체(illumination arrangement)를 더 포함하고, 상기 눈은 반사된 광으로서 상기 조명 배열체로부터의 광의 일부를 반사하고, 상기 반사된 광은 상기 광 방향 전환 배열체에 의해 편향된 상기 눈으로부터의 광에 대응하는, 광학계.
  3. 제2항에 있어서, 상기 조명 배열체는 적어도 제1 광원 및 제2 광원을 포함하고, 상기 제1 광원은 주어진 제1 파장 범위의 파장들을 갖는 광을 생성하도록 구성되고, 상기 제2 광원은 주어진 제2 파장 범위의 파장들을 갖는 광을 생성하도록 구성되고, 상기 주어진 제1 파장 범위 및 주어진 제2 파장 범위는 비 중첩 범위들인, 광학계.
  4. 제1항에 있어서, 상기 광 방향 전환 배열체에 의해 편향되는 상기 눈으로부터의 광은 상기 전자기 스펙트럼의 상기 가시광 영역 외부의 파장들을 갖는 광을 주로 포함하는, 광학계.
  5. 제1항에 있어서, 상기 광 방향 전환 배열체에 의해 편향되는 상기 눈으로부터의 광은 상기 전자기 스펙트럼의 상기 가시광 영역 내의 파장들을 갖는 광을 주로 포함하는, 광학계.
  6. 제1항에 있어서, 상기 광 방향 전환 배열체는 상기 전자기 스펙트럼의 가시광선 영역의 파장을 갖는 광을 투과시키고, 상기 전자기 스펙트럼의 가시광선 영역의 외측의 파장을 갖는 광을 반사시키는, 광학계.
  7. 제1항에 있어서, 상기 광 방향 전환 배열체는 상기 광 투과성 기판 내에 위치된 적어도 하나의 부분 반사 표면을 포함하는, 광학계.
  8. 제7항에 있어서, 상기 광 투과성 기판의 상기 2개의 주 표면들은 상호 평행하고, 상기 적어도 하나의 부분 반사 표면은 상기 2개의 주 표면들에 대해 비스듬한 각도를 갖는 플랫(flat)한 표면인, 광학계.
  9. 제7항에 있어서, 상기 광 투과성 기판은 상기 광 투과성 기판의 상기 2개의 주 표면 사이의 내부 반사에 의해 무한대로 시준된 이미지에 대응하는 광을 가이드하도록 구성되고, 상기 광학계는,
    상기 2개의 주 표면들 사이의 내부 반사에 의해 가이드되는 광을 상기 뷰어의 눈에 상기 광 투과성 기판 밖으로 커플링하기 위해 상기 광 투과성 기판 내에 위치된 제2 적어도 하나의 부분 반사 표면을 더 포함하는, 광학계.
  10. 제9항에 있어서, 상기 제2 적어도 하나의 부분 반사 표면은 상기 2개의 주 표면에 대해 비스듬한 각도의 플랫한 표면인, 광학계.
  11. 제9항에 있어서, 상기 적어도 하나의 부분 반사 표면과 상기 제2 부분 반사 표면은 서로 평행한, 광학계.
  12. 제9항에 있어서, 상기 적어도 하나의 부분 반사 표면과 상기 제2 부분 반사 표면은 서로 평행하지 않은, 광학계.
  13. 제9항에 있어서, 상기 적어도 하나의 부분 반사 표면은 상기 제2 적어도 하나의 부분 반사 표면과 비 중첩 관계로 배치되는, 광학계.
  14. 제9항에 있어서, 상기 적어도 하나의 부분 반사 표면은 상기 제2 적어도 하나의 부분 반사 표면과 중첩하는 관계로 배치되는, 광학계.
  15. 제1항에 있어서, 상기 광 방향 전환 배열체는 상기 광 투과성 기판의 상기 주 표면들 중 하나의 주 표면의 적어도 일부와 연관된 회절 엘리먼트를 포함하는, 광학계.
  16. 제1항에 있어서, 상기 광 방향 전환 배열체는 상기 광 투과성 기판의 상기 주 표면들 중 하나의 주 표면의 적어도 일부와 연관된 선택적 반사 표면을 포함하는, 광학계.
  17. 제16항에 있어서, 상기 선택적 반사 표면은 상기 주 표면의 적어도 일부에 도포된 유전체 코팅 또는 이색성 코팅 중 적어도 하나로 형성된, 광학계.
  18. 제1항에 있어서, 상기 광 방향 전환 배열체는 상기 눈의 적어도 일부의 제1 이미지를 형성하기 위해 상기 눈으로부터 제1 세트의 광선을 이미징 렌즈를 통해 상기 광학 센서를 향해 편향시키고, 상기 광학계는 상기 눈의 적어도 일부의 제2 이미지를 형성하기 위해 상기 눈으로부터 제2 세트의 광선을 상기 이미징 렌즈를 통해 상기 광학 센서를 향해 제2 세트의 광선을 편향시키도록 구성된 제2 광 방향 전환 배열체를 더 포함하는, 광학계.
  19. 제18항에 있어서, 상기 적어도 하나의 프로세서는 상기 눈과 상기 주 표면들 중 상기 제1 주 표면 사이의 거리를 결정하기 위해 상기 제 1 및 제 2 이미지들에 대응하는 상기 광학 센서로부터의 신호를 처리하도록 추가로 구성된, 광학계.
  20. 제18항에 있어서, 상기 광 방향 전환 배열체는 : 상기 광 투과성 표면의 제1 부분 내에 위치된 적어도 하나의 부분 반사 표면, 상기 광 투과성 기판의 상기 주 표면들 중 하나의 주 표면의 적어도 제1 부분과 연관된 회절 엘리먼트, 또는 상기 광 투과성 기판의 상기 주 표면들 중 하나의 주 표면의 적어도 제1 부분과 연관된 선택적 반사 표면 중 하나를 포함하고, 상기 제2 광 방향 전환 배열체는 : 상기 광 투과성 표면의 제2 부분 내에 위치된 적어도 하나의 부분 반사 표면, 상기 광 투과성 기판의 상기 주 표면들 중 하나의 주 표면의 적어도 제2 부분과 연관된 회절 엘리먼트, 또는 상기 광 투과성 기판의 상기 주 표면들 중 하나의 주 표면의 적어도 제2 부분과 연관된 선택적 반사 표면 중 하나를 포함하는, 광학계.
  21. 제1항에 있어서, 상기 광 투과성 기판의 상기 주 표면 중 적어도 하나는 곡면(curved surface)인, 광학계.
  22. 제1항에 있어서, 상기 광 투과성 기판은, 무한대로 시준된 이미지에 대응하는 광을 상기 광 투과성 기판의 상기 2 개의 주 표면들 사이의 내부 반사에 의해 가이드하도록 구성되고, 상기 광학계는,
    상기 표면들 사이의 내부 반사에 의해 가이드되는 광을 상기 기판 밖으로 커플링하기 위한 광 커플링 아웃 구성(optical coupling-out configuration)을 더 포함하는, 광학계.
  23. 제 22 항에 있어서, 상기 광 커플링 아웃 구성은 회절 엘리먼트를 포함하는, 광학계.
  24. 제22항에 있어서, 상기 광 커플링 아웃 구성은 상기 광 투과성 기판 내에 위치된 적어도 하나의 부분적으로 반사 표면을 포함하는, 광학계.
  25. 제24항에 있어서, 상기 광 투과성 기판의 상기 2개의 주 표면들은 서로 평행하고, 상기 적어도 하나의 부분 반사 표면은 상기 2개의 주 표면들에 대해 비스듬한 각도의 플랫한 표면인, 광학계.
  26. 제22항에 있어서, 상기 광 커플링 아웃 구성은 상기 광 방향 전환 배열체에 비 중첩 관계로 배치되는, 광학계.
  27. 제22항에 있어서, 상기 광 커플링 아웃 구성은 상기 광 방향 전환 배열체에 중첩하는 관계로 배치되는, 광학계.
  28. 제22항에 있어서, 상기 광 투과성 기판은 광을 1차원으로 가이드하도록 구성된, 광학계.
  29. 제22항에 있어서, 상기 광 투과성 기판은 광을 2차원으로 가이드하도록 구성된, 광학계.
  30. 제22항에 있어서, 상기 광 방향 전환 배열체는 제1 평행 평면 세트에 배치되고, 상기 광 커플링 아웃 구성은 제2 평행 평면 세트에 배치되는, 광학계.
  31. 제30항에 있어서, 상기 제1 및 제2 평면 세트는 상호 평행한, 광학계.
  32. 제30항에 있어서, 상기 제1 및 제2 평면 세트는 상호 직교하는, 광학계.
  33. 제30항에 있어서, 상기 제1 및 제2 평면 세트는 상호 비스듬한, 광학계.
  34. 제 1 항에 있어서, 상기 광 투과성 기판은 근안 디스플레이(near eye display)의 일부로서 통합되는, 광학계.
  35. 제 1 항에 있어서, 상기 광 투과성 기판은 헤드업 디스플레이(head up display)의 일부로서 통합되는, 광학계.
  36. 제1항에 있어서, 상기 광학 센서는 상기 뷰어의 눈과 상기 주 표면들 중 상기 제1 표면 사이에 배치되는, 광학계.
  37. 제1항에 있어서, 상기 광 방향 전환 배열체에 의해 편향되는 상기 눈으로부터의 광은 상기 광학 센서에 도달하기 전에 상기 광 투과성 기판 내에서 최대 단일 반사를 겪는, 광학계.
  38. 제1항에 있어서,
    상기 광학 센서 상에 상기 눈의 적어도 일부의 적어도 하나의 이미지를 형성하기 위해 상기 광 방향 전환 배열체로부터 상기 광학 센서로의 광학 경로 내에 배치된 적어도 하나의 이미징 광학 엘리먼트를 더 포함하는, 광학계.
  39. 광학계에 있어서,
    2개의 상호 평행한 주 외부 표면을 갖는 광 투과성 기판으로서, 상기 주 외부 표면들 중 하나는 뷰어의 눈에 대해 대면하는 관계로 배치된, 상기 광 투과성 기판;
    상기 주 외부 표면들 사이의 내부 반사에 의해 상기 광 투과성 기판 내에서 전파되도록, 시준된 이미지에 대응하는 광을 상기 광 투과성 기판 내로 커플링하기 위한 광 커플링 인 구성(optical coupling-in configuration);
    상기 내부 반사에 의해 상기 광 투과성 기판 내에서 전파되는 광을 상기 광 투과성 기판 밖으로 커플링하기 위한 광 커플링 아웃 구성(optical coupling-out configuration);
    상기 광을 감지하기 위해 배치된 광학 센서;
    상기 광학 센서에 도달하는 편향된 광이 상기 광 투과성 기판에 의해 가이드되지 않도록, 상기 눈으로부터 상기 광학 센서를 향해 광을 편향시키도록 구성된 상기 광 투과성 기판과 연관된 광 방향 전환 배열체(light redirecting arrangement)로서, 상기 광 방향 전환 배열체에 의한 광의 편향은 상기 광 투과성 기판에서 발생하는, 상기 광 방향 전환 배열체; 및
    상기 광학 센서에 전기적으로 커플링되고 상기 눈의 현재 응시 방향(gaze direction)을 도출하기 위해 상기 광학 센서로부터의 신호를 처리하도록 구성된 적어도 하나의 프로세서를 포함하는, 광학계.
  40. 제39항에 있어서, 상기 광 방향 전환 배열체는 상기 광 투과성 표면 내에 위치된 적어도 하나의 부분 반사 표면을 포함하고, 상기 적어도 하나의 부분 반사 표면은 상기 2개의 주 외부 표면들에 대해 비스듬한 각도의 플랫한(flat) 표면인, 광학계.
  41. 제40항에 있어서, 상기 광 커플링 아웃 구성은 제2 적어도 하나의 부분 반사 표면을 포함하고, 상기 제2 적어도 하나의 부분 반사 표면은 상기 2개의 주 외부 표면들에 대해 비스듬한 각도를 갖는 플랫한 표면인, 광학계.
  42. 제41항에 있어서, 상기 적어도 하나의 부분 반사 표면 및 상기 제2 적어도 하나의 부분 반사 표면은 상호 평행한, 광학계.
  43. 제41항에 있어서, 상기 적어도 하나의 부분 반사 표면은 상기 제2 적어도 하나의 부분 반사 표면과 평행하지 않은, 광학계.
  44. 제39항에 있어서, 상기 광 커플링 아웃 구성은 상기 광 방향 전환 배열체에 비 중첩 관계로 배치되는, 광학계.
  45. 제39항에 있어서, 상기 광 커플링 아웃 구성은 상기 광 방향 전환 배열체와 중첩하는 관계로 배치되는, 광학계.
  46. 제39항에 있어서, 상기 시준된 이미지에 대응하는 광은 상기 전자기 스펙트럼의 상기 가시광 영역 내의 파장들을 갖는 광을 주로 포함하고, 상기 광 방향 전환 배열체에 의해 편향되는 상기 눈으로부터의 광은 상기 전자기 스펙트럼의 상기 가시광 영역 외부의 파장들을 갖는 광을 주로 포함하는, 광학계.
  47. 제39항에 있어서,
    상기 광학 센서 상에 상기 눈의 적어도 일부의 적어도 하나의 이미지를 형성하기 위해 상기 광 방향 전환 배열체로부터 상기 광학 센서로의 광학 경로 내에 배치된 적어도 하나의 이미징 광학 엘리먼트를 더 포함하는, 광학계.
  48. 광학계에 있어서,
    2개의 상호 평행한 주 외부 표면을 갖는 광 투과성 기판으로서, 상기 주 외부 표면 중 하나는 뷰어의 눈에 대해 대면하는 관계로 배치된, 상기 광 투과성 기판;
    상기 주 외부 표면들 사이의 내부 반사에 의해 광 투과성 기판 내에서 전파되도록, 시준된 이미지에 대응하는 광을 상기 광 투과성 기판 내로 커플링하기 위한 광 커플링 인 구성;
    상기 내부 반사에 의해 상기 광 투과성 기판 내에서 전파되는 광을 상기 광 투과성 기판 밖으로 커플링하기 위한 상기 광 투과성 기판 내에 위치된 적어도 하나의 제1 부분 반사 표면으로서, 상기 적어도 하나의 제1 부분 반사 표면은 상기 2개의 주 외부 표면에 평행하지 않고 상기 2개의 주 외부 표면에 대해 비스듬한 각도인 플랫한 표면인, 상기 적어도 하나의 제1 부분 반사 표면;
    상기 광을 감지하기 위해 배치된 광학 센서;
    상기 광학 센서에 도달하는 편향된 광이 상기 광 투과성 기판에 의해 가이드되지 않도록, 상기 눈으로부터 상기 광학 센서를 향해 광을 편향시키도록 구성된 상기 광 투과성 기판내에 위치된 적어도 하나의 제2 부분 반사 표면을 포함하는 광 방향 전환 배열체(light redirecting arrangement)로서, 상기 광 방향 전환 배열체에 의한 광선의 편향은 상기 광 투과성 기판에서 발생하는, 상기 광 방향 전환 배열체; 및
    상기 광학 센서에 전기적으로 커플링되고 상기 눈의 현재 응시 방향(gaze direction)을 도출하기 위해 상기 광학 센서로부터의 신호를 처리하도록 구성된 적어도 하나의 프로세서를 포함하는, 광학계.
  49. 제48항에 있어서, 상기 적어도 하나의 제2 부분 반사 표면은 상기 전자기 스펙트럼의 상기 가시광 영역 내의 파장들을 갖는 광을 투과시키고, 상기 전자기 스펙트럼의 상기 가시광 영역 외부의 파장들을 갖는 광을 반사시키는, 광학계.
  50. 제 48 항에 있어서, 상기 시준된 이미지에 대응하는 광은 상기 전자기 스펙트럼의 상기 가시광 영역 내의 파장들을 갖는 광을 주로 포함하고, 상기 광 방향 전환 배열체에 의해 편향되는 상기 눈으로부터의 광은 상기 전자기 스펙트럼의 상기 가시광 영역 외부의 파장들을 갖는 광을 주로 포함하는, 광학계.
  51. 제48항에 있어서, 상기 적어도 하나의 제1 부분 반사 표면 및 상기 적어도 하나의 제2 부분 반사 표면은 상호 평행한, 광학계.
  52. 제48항에 있어서, 상기 적어도 하나의 제1 부분 반사 표면은 상기 적어도 하나의 제2 부분 반사 표면과 평행하지 않은, 광학계.
  53. 제48항에 있어서, 상기 적어도 하나의 제1 부분 반사 표면은 상기 적어도 하나의 제2 부분 반사 표면과 비 중첩 관계로 배치되는, 광학계.
  54. 제48항에 있어서, 상기 적어도 하나의 제1 부분 반사 표면은 상기 적어도 하나의 제2 부분 반사 표면과 중첩하는 관계로 배치되는, 광학계.
  55. 제48항에 있어서,
    상기 광학 센서 상에 상기 눈의 적어도 일부의 적어도 하나의 이미지를 형성하기 위해 상기 광 방향 전환 배열체로부터 상기 광학 센서로의 광학 경로 내에 배치된 적어도 하나의 이미징 광학 엘리먼트를 더 포함하는, 광학계.
  56. 광학계에 있어서.
    광을 감지하기 위해 배치된 광학 센서;
    광 투과성 기판과 연관된 광 방향 전환 배열체로서, 상기 광 투과성 기판은 적어도 2개의 주 표면들을 갖고, 상기 주 표면들 중 제1 표면은 뷰어의 눈에 대해 대면하는 관계로 배치되고, 상기 광 방향 전환 배열체는 상기 광학 센서에 도달하는 편향된 광이 상기 광 투과성 기판에 의해 가이드되지 않도록 상기 눈으로부터 광을 상기 광학 센서를 향해 편향시키도록 구성되고, 상기 광 방향 전환 배열체에 의한 상기 광의 편향은 상기 광 투과성 기판에서 발생하는, 상기 광 방향 전환 배열체; 및
    상기 광학 센서에 전기적으로 커플링되고 상기 눈의 현재 응시 방향을 도출하기 위해 상기 광학 센서로부터의 신호들을 처리하도록 구성된 적어도 하나의 프로세서를 포함하는, 광학계.
  57. 광학계에 있어서,
    적어도 2개의 주 표면을 갖는 광 투과성 기판으로서, 상기 주 표면 중 제1 주 표면은은 뷰어의 눈에 대해 대면하는 관계로 배치되고, 상기 광 투과성 기판에 대한 상기 눈의 위치는 눈 모션 박스(eye motion box)를 정의하는, 상기 광 투과성 기판;
    시선 추적 광의 강도의 일부가 반사된 광으로서 상기 눈에 의해 반사되도록 시선 추적 광으로 상기 눈 모션 박스를 조명하도록 배치된 조명 배열체(illumination arrangement);
    광을 감지하기 위해 배치된 광학 센서;
    반사된 광을 상기 광학 센서를 향해 편향시키도록 구성된 상기 광 투과성 기판과 연관된 광 방향 전환 배열체로서, 상기 광학 센서에 도달하는 상기 편향된 광은 상기 광 투과성 기판에 의해 가이드되지 않고, 상기 광 방향 전환 배열체에 의한 광의 편향은 상기 광 투과성 기판에서 발생하는, 상기 광 방향 전환 배열체; 및
    상기 광학 센서에 전기적으로 커플링되고 상기 눈의 현재 응시 방향을 도출하기 위해 상기 광학 센서로부터의 신호들을 처리하도록 구성된 적어도 하나의 프로세서를 포함하는, 광하계.
  58. 광학계에 있어서,
    시선 추적 광으로 눈 모션 박스를 조명하도록 배치된 조명 배열체(illumination arrangement)로서, 상기 눈 모션 박스는 광 투과성 기판에 대한 관찰차의 눈의 위치를 정의하고, 상기 광 투과성 기판은 적어도 2개의 주 표면들을 갖고, 상기 주 표면들 중 제1 표면은 상기 눈에 대해 대면하는 관계로 배치되고, 상기 시선 추적 광의 강도의 일부는 반사된 광으로서 상기 눈에 의해 반사되는, 상기 조명 배열체;
    상기 광을 감지하도록 배치된 광학 센서;
    상기 기판과 연관되고 반사된 광을 상기 광학 센서를 향해 편향시키도록 구성된 광 방향 전환 배열체로서, 상기 광학 센서에 도달하는 편향된 광은 상기 광 투과성 기판에 의해 가이드되지 않고, 상기 광 방향 전환 배열체에 의한 광의 편향은 상기 광 투과성 기판에서 발생하는, 상기 광 방향 전환 배열체; 및
    상기 광학 센서에 전기적으로 커플링되고 상기 눈의 현재 응시 방향을 도출하기 위해 광학 센서로부터의 신호들을 처리하도록 구성된 적어도 하나의 프로세서를 포함하는, 광학계.
KR1020227022804A 2019-12-25 2020-11-30 도광 광학 엘리먼트와 연관된 광학 배열체를 사용하여 눈으로부터 광을 방향 전환시키는 것에 기초한 시선 추적을 위한 광학계 및 방법 KR20220118445A (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201962953557P 2019-12-25 2019-12-25
US62/953,557 2019-12-25
US202062958755P 2020-01-09 2020-01-09
US62/958,755 2020-01-09
US202063023891P 2020-05-13 2020-05-13
US63/023,891 2020-05-13
PCT/IL2020/051236 WO2021130739A1 (en) 2019-12-25 2020-11-30 Optical systems and methods for eye tracking based on redirecting light from eye using an optical arrangement associated with a light-guide optical element

Publications (1)

Publication Number Publication Date
KR20220118445A true KR20220118445A (ko) 2022-08-25

Family

ID=76574079

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227022804A KR20220118445A (ko) 2019-12-25 2020-11-30 도광 광학 엘리먼트와 연관된 광학 배열체를 사용하여 눈으로부터 광을 방향 전환시키는 것에 기초한 시선 추적을 위한 광학계 및 방법

Country Status (10)

Country Link
US (1) US20220357583A1 (ko)
EP (1) EP4042227A4 (ko)
JP (1) JP2023509305A (ko)
KR (1) KR20220118445A (ko)
CN (1) CN114787687A (ko)
AU (1) AU2020415495A1 (ko)
CA (1) CA3163674A1 (ko)
IL (1) IL294102A (ko)
TW (1) TW202134736A (ko)
WO (1) WO2021130739A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI806293B (zh) * 2021-12-17 2023-06-21 宏碁股份有限公司 擴增實境眼鏡
WO2023187780A1 (en) * 2022-03-30 2023-10-05 Jerusalem College Of Technology Eye tracking device

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9395543B2 (en) * 2013-01-12 2016-07-19 Microsoft Technology Licensing, Llc Wearable behavior-based vision system
US20160018652A1 (en) * 2014-01-24 2016-01-21 Osterhout Group, Inc. See-through computer display systems
EP3062142B1 (en) * 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
GB201510400D0 (en) * 2015-06-15 2015-07-29 The Technology Partnership Plc Optical system
US10983340B2 (en) * 2016-02-04 2021-04-20 Digilens Inc. Holographic waveguide optical tracker
WO2018175343A1 (en) * 2017-03-21 2018-09-27 Magic Leap, Inc. Eye-imaging apparatus using diffractive optical elements
US10788677B2 (en) * 2017-10-03 2020-09-29 Facebook Technologies, Llc Fresnel assembly for light redirection in eye tracking systems
CN207424391U (zh) * 2017-11-22 2018-05-29 深圳创维新世界科技有限公司 近眼显示装置
WO2019143864A1 (en) 2018-01-17 2019-07-25 Magic Leap, Inc. Display systems and methods for determining registration between a display and a user's eyes

Also Published As

Publication number Publication date
AU2020415495A1 (en) 2022-08-11
US20220357583A1 (en) 2022-11-10
EP4042227A1 (en) 2022-08-17
EP4042227A4 (en) 2022-12-14
TW202134736A (zh) 2021-09-16
JP2023509305A (ja) 2023-03-08
CN114787687A (zh) 2022-07-22
CA3163674A1 (en) 2021-07-01
IL294102A (en) 2022-08-01
WO2021130739A1 (en) 2021-07-01

Similar Documents

Publication Publication Date Title
JP7274724B2 (ja) 導光光学素子を介したレチナールイメージングに基づく目の追跡具
JP7280250B2 (ja) 眼および／または環境の画像を捕捉するように構成される導波管を伴う拡張現実ディスプレイ
KR102594058B1 (ko) 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템
US8582206B2 (en) Laser-scanning virtual image display
US11933975B2 (en) Eye tracking based on waveguide imaging
US11914161B2 (en) Apparatus and methods for eye tracking based on eye imaging via light-guide optical element
JPWO2018122859A5 (ko)
CN110121671A (zh) 数据眼镜、用于数据眼镜的眼镜片和用于在视网膜上生成图像的方法
KR20220118445A (ko) 도광 광학 엘리먼트와 연관된 광학 배열체를 사용하여 눈으로부터 광을 방향 전환시키는 것에 기초한 시선 추적을 위한 광학계 및 방법
JP2023509294A (ja) スイッチ可能なパンチャラトナム－ベリー位相格子積層体
US20240004189A1 (en) Optical systems and methods for eye tracking based on eye imaging via collimating element and light-guide optical element