KR102522813B1 - 스위칭가능 회절 격자를 이용한 도파관 눈 추적 - Google Patents

스위칭가능 회절 격자를 이용한 도파관 눈 추적 Download PDF

Info

Publication number
KR102522813B1
KR102522813B1 KR1020177011063A KR20177011063A KR102522813B1 KR 102522813 B1 KR102522813 B1 KR 102522813B1 KR 1020177011063 A KR1020177011063 A KR 1020177011063A KR 20177011063 A KR20177011063 A KR 20177011063A KR 102522813 B1 KR102522813 B1 KR 102522813B1
Authority
KR
South Korea
Prior art keywords
eye
electronically switchable
diffraction gratings
waveguide
coupler
Prior art date
Application number
KR1020177011063A
Other languages
English (en)
Other versions
KR20170059476A (ko
Inventor
스티븐 로빈스
이안 에이 응우옌
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20170059476A publication Critical patent/KR20170059476A/ko
Application granted granted Critical
Publication of KR102522813B1 publication Critical patent/KR102522813B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/0016—Operational features thereof
    • A61B3/0041—Operational features thereof characterised by display arrangements
    • A61B3/005—Constructional features of the display
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/29—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection
    • G02F1/292—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the position or the direction of light beams, i.e. deflection by controlled diffraction or phased-array beam steering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/14—Optical objectives specially designed for the purposes specified below for use with infrared or ultraviolet radiation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nonlinear Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Biophysics (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Toxicology (AREA)
  • Eye Examination Apparatus (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Optical Modulation, Optical Deflection, Nonlinear Optics, Optical Demodulation, Optical Logic Elements (AREA)

Abstract

적외광에 의해 조명되는 눈을 추적하는 데 사용하기 위한, 투명한 도파관은 입력 커플러와 출력 커플러를 포함한다. 입력 커플러는 서로 평행하게 배열된 전자적 스위칭가능 회절 격자들의 스택을 포함하고, 그 각각은 스택에 있는 격자들 각각이 상이한 초점 거리를 가지게 하는 각자의 렌즈 파워를 갖는다. 각각의 격자는, 턴온될 때, 수광된 적외광을 도파관 내로 커플링시킨다. 센서는 출력 커플러에서 도파관을 빠져나가는 적외광 빔에 의존하여 눈을 영상화한다. 전자적 스위칭가능 회절 격자들 중 어느 회절 격자가, 턴온될 때, 눈 또는 그의 일부분의 가장 잘 초점이 맞은 영상을 제공하는지를 결정하기 위해, 센서를 사용하여 획득된, 눈의 영상들이 분석된다. 눈의 가장 잘 초점이 맞은 영상을 제공하는, 전자적 스위칭가능 회절 격자들 중 하나가 눈 추적 동안 눈을 영상화하는 데 사용된다.

Description

스위칭가능 회절 격자를 이용한 도파관 눈 추적{WAVEGUIDE EYE TRACKING EMPLOYING SWITCHABLE DIFFRACTION GRATINGS}
투시형 혼합 현실 디스플레이 디바이스 시스템은 사용자가 물리적 장면 상에 오버레이된 디지털 정보를 관찰할 수 있게 한다. 핸즈프리 사용자 상호작용을 가능하게 하기 위해, 투시형 혼합 현실 디스플레이 디바이스 시스템에는 눈 추적기가 추가로 장착되어 있을 수 있다. 전형적으로, 눈 추적기는 사용자의 눈을 영상화하기 위해, 예컨대, 시선 방향의 계산을 위한 반사된 글린트(glint) 및 홍채 움직임을 관찰하기 위해, 사용자의 눈과 센서(예컨대, 카메라)를 조명하기 위한 IR(infrared) 광원을 포함한다. 눈의 조명과 영상화는 바람직하게는 혼합 현실 디스플레이 디바이스 시스템의 투시형 속성들이 눈 추적 하드웨어에 의해 손상되지 않도록; 눈의 영상화가 모든 유형들의 처방 안경에 대해 작동되도록; 그리고 눈의 영상화가 눈 움직임 범위(eye movement range) 전체와 동공간 거리 범위(inter-pupillary distance range) 그리고 아이 릴리프 거리 범위(eye relief distance range)를 커버하도록 구현된다.
눈 추적을 위해 눈을 영상화하는 하나의 방식은 헤드 마운티드 디스플레이(HMD) 디바이스의 프레임에 장착된 간단한 카메라를 사용하는 것이고, 여기서 카메라는 사용자의 눈에 직접 초점이 맞춰져 있다. 환언하면, 카메라로부터 눈 쪽으로의 직접 가시선(direct line of sight)이 있다. 이러한 구성이 비교적 간단하고 저렴하지만, 이는 눈에 대한 카메라의 위치 및 움직임에 대해 고도로 민감하다. 또한, 이러한 구성에서는, 카메라가 눈 높이(eye level)에 가까이 배치될 필요가 있고, 이는 전형적으로 혼합 현실 디스플레이 디바이스 시스템의 투시형 속성들의 적어도 부분적인 방해를 야기한다. 대안적으로, 카메라 뷰 경로(camera view path)를 사용자의 안경다리로 굴곡시키기 위해 부분 반사체(partial reflector)가 사용될 수 있다. 이 대안의 구성은 카메라가 투시 시야(see-through field) 밖에 배치될 수 있게 하지만, 눈 추적이 처방 안경에 대해 작동될 필요가 있는 경우 이 대안의 구성의 구현은 문제가 된다.
다른 가능한 것은 프리폼 프리즘(free form prism) 또는 다른 접안경 기반 혼합 현실 디스플레이 디바이스 시스템에서 역 광학 경로 영상화(reverse optical path imaging)를 사용하는 것이다. 이 기법은 눈 추적을 위한 영상화 기능을 또한 제공하기 위해 실제 디스플레이 광학계에 의존한다. 그렇지만, 프리폼 프리즘 또는 접안경의 컴포넌트들이 크기가 꽤 큰 경향이 있기 때문에, 이 접근법이 항상 현실성 있는 것은 아니다. 눈 추적을 위해 프리폼 광학 요소를 추가하는 것이 또한 가능하지만, 이것은 비용이 많이 들 것이고 시스템에 상당한 중량 및 크기를 부가할 것이다.
본원에 기술되는 특정 실시예들은 적외광(infrared light)에 의해 조명되는 눈을 추적하는 데 사용하기 위한 도파관에 관한 것이다. 헤드 마운티드 디스플레이(HMD)에서 사용될 수 있지만 그와 함께 사용하는 것으로 제한되지 않는, 이러한 도파관은 투명하고 입력 커플러(input-coupler) 및 출력 커플러(output-coupler)를 포함한다. 특정 실시예들에 따르면, 입력 커플러는 서로 평행하게 배열된 2개 이상의 전자적 스위칭가능 회절 격자(electronically switchable diffractive grating)들의 스택(stack)을 포함한다. 전자적 스위칭가능 회절 격자들 각각은 각자의 렌즈 파워(lens power) 및 각자의 프리즘 파워(prismatic power)를 가진다. 전자적 스위칭가능 회절 격자들 각각이 상이한 초점 거리를 갖도록, 전자적 스위칭가능 회절 격자들 각각의 렌즈 파워는 서로 상이하다. 전자적 스위칭가능 회절 격자들 각각은, 턴온될 때, 적외선 파장을 가지는 적외광을 수광하고 수광된 적외광을 도파관 내로 커플링시키도록 구성되어 있다. 입력 커플러가 적외광으로 조명되는 눈의 전방에 배치될 때, 눈으로부터 반사되고 입력 커플러에 의해 수광되는 적외광의 적어도 일부분이 입력 커플러에서 도파관 내로 커플링되고, 내부 전반사에 의해 도파관 내에서 입력 커플러로부터 출력 커플러 쪽으로 전파하며, 출력 커플러에 근접하여 도파관을 빠져나간다. 센서는 출력 커플러에서 도파관을 빠져나가는 적외광 빔에 의존하여 눈을 영상화한다. 특정 실시예들에서, 렌즈 모듈이 출력 커플러와 센서 사이에 있고, 출력 커플러에서 도파관을 빠져나가는 적외광 빔은 센서에 입사하기 전에 렌즈 모듈을 통과한다.
입력 커플러 제어기는, 한번에 전자적 스위칭가능 회절 격자들 중 하나의 전자적 스위칭가능 회절 격자만 턴온되도록, 전자적 스위칭가능 회절 격자들 각각이 턴온되는 때를 제어한다. 영상 분석기는 전자적 스위칭가능 회절 격자들 중 어느 회절 격자가, 턴온될 때, 눈 또는 그의 일부분의 가장 잘 초점이 맞은 영상(best focused image)을 제공하는지를 결정하기 위해, 센서를 사용하여 획득된, 눈의 2개 이상의 영상들을 분석한다. 입력 커플러 제어기는 전자적 스위칭가능 회절 격자들 중 - 영상 분석 모듈이 눈의 가장 잘 초점이 영상을 제공하는 것으로 결정하는 - 하나의 전자 스위칭가능 회절 격자가 눈 추적 동안 눈을 영상화하는 데 사용되게 한다.
특정 실시예들에서, 입력 커플러는 또한 서로 평행하게 배열된 2개 이상의 전자적 스위칭가능 회절 격자들의 제2 스택을 포함하고, 여기서 제2 스택은 제1 스택에 인접해 있다. 이러한 실시예에서, 제2 스택에 있는 전자적 스위칭가능 회절 격자들은 제1 스택에 있는 전자적 스위칭가능 회절 격자들에 의해 제공되는 시야(field-of-view)와 상이한 시야를 제공한다.
이 발명의 내용은 이하에서 발명을 실시하기 위한 구체적인 내용에 추가로 기술되는 일련의 개념들을 간략화된 형태로 소개하기 위해 제공된다. 이 발명의 내용은 청구된 발명 요지의 핵심적인 특징들 또는 필수적인 특징들을 확인하려는 것으로 의도되어 있지도 않고, 청구된 발명 요지의 범주를 정하는 데 보조 수단으로 사용되는 것으로 의도되어 있지도 않다.
도 1은 투시형 혼합 현실 디스플레이 디바이스 시스템의 일 실시예의 예시적인 컴포넌트들을 나타낸 블록도.
도 2a는 하드웨어와 소프트웨어 컴포넌트들에 대한 지지를 제공하는 안경으로서 구현되는 투시형 혼합 현실 디스플레이 디바이스의 일 실시예에서의 프레임의 안경다리의 측면도.
도 2b는 투시형 접안 혼합 현실 디바이스(see-through, near-eye, mixed reality device)의 통합된 눈 추적 및 디스플레이 광학 시스템의 일 실시예의 평면도.
도 3a는 하나 이상의 실시예들에서 사용될 수 있는 바와 같은 투시형 접안 혼합 현실 디스플레이 디바이스(see-through, near-eye, mixed reality display device)의 하드웨어 및 소프트웨어 컴포넌트들의 일 실시예의 블록도.
도 3b는 처리 유닛의 다양한 컴포넌트들을 나타낸 블록도.
도 4a는 일 실시예에 따른, 도파관을 포함하는 눈 추적 시스템의 일부분의 측면도.
도 4b는 도 4a에 소개된 도파관의 일부분의 확대도(blow up).
도 4c는 입력 커플러가 서로 평행하게 배열된 2개 이상의 전자적 스위칭가능 회절 격자들의 스택을 포함하는 일 실시예에 따른, 도 4a에서 소개된 도파관의 일부분의 확대도.
도 4d는 도파관의 입력 커플러의 회절 격자의 예시적인 k-벡터(k- vector)들 및 대응하는 예시적인 k-벡터 각도(k-vector angel)들을 나타낸 도면.
도 4e는 입력 커플러와 출력 커플러를 포함하는 도파관의 예시적인 정면도.
도 4f는 눈 움직임 범위(eye motion box)가 입력 커플러의 2개의 전자적 스위칭가능 회절 격자들(또는 전자적 스위칭가능 회절 격자들의 2개의 스택들)을 서로 수평으로 인접하게 배치하는 것에 의해 어떻게 2개의 구역들로 분할될 수 있는지를 나타내는 도면.
도 4g는 눈 움직임 범위가 입력 커플러의 2개의 전자적 스위칭가능 회절 격자들(또는 전자적 스위칭가능 회절 격자들의 2개의 스택들)을 서로 수직으로 인접하게 배치하는 것에 의해 어떻게 2개의 구역들로 분할될 수 있는지를 나타내는 도면.
도 4h는 눈 움직임 범위가 입력 커플러의 4개의 전자적 스위칭가능 회절 격자들(또는 전자적 스위칭가능 회절 격자들의 4개의 스택들)을 2x2 타일형 배열로 배치하는 것에 의해 어떻게 4개의 구역들로 분할될 수 있는지를 나타내는 도면.
도 5는 위상 복사 마스터 홀로그램(phase copy master hologram) - 이는 차례로 일 실시예에 따른 회절 격자 유형의 입력 커플러를 생성하기 위해 밀착 복사 프로세스(contact copy process)에서 사용될 수 있음 - 을 발생시키기 위해 렌즈 파워와 웨지 파워(wedge power)가 2 빔 프로세스(two beam process)에서 어떻게 수학적으로 커플링될 수 있는지를 나타내는 도면.
도 6은 눈을 추적하는 데 사용하기 위한 방법을 요약하는 데 사용되는 상위 레벨 흐름도.
본 기술의 특정 실시예들은, 눈 추적을 위한, 눈의 영상화가 혼합 현실 디스플레이 디바이스 시스템의 투시형 속성들을 손상시키는 일 없이 구현될 수 있게 하는 도파관들에 관한 것이다. 그에 부가하여, 이러한 실시예들은 유리하게도 처방 안경에서 사용될 수 있다. 게다가, 이러한 실시예들은 눈 움직임 범위 전체 및 동공간 거리 범위 그리고 아이 릴리프 거리 범위를 커버하는 눈의 영상화를 수행하는 데 사용될 수 있다. 그렇지만, 이러한 실시예들을 더 상세히 논의하기 전에, 먼저 본 기술의 실시예들이 사용될 수 있는 예시적인 투시형 혼합 현실 디스플레이 디바이스 시스템을 기술하는 것이 유용하다.
도 1은 투시형 혼합 현실 디스플레이 디바이스 시스템의 일 실시예의 예시적인 컴포넌트들을 나타낸 블록도이다. 시스템(8)은 전선(6)을 통해 처리 유닛(4)과 통신하는 접안 헤드 마운티드 디스플레이 디바이스(near-eye, head mounted display device)(2)로서의 투시형 디스플레이 디바이스를 포함한다. 다른 실시예들에서, 헤드 마운티드 디스플레이 디바이스(2)는 무선 통신을 통해 처리 유닛(4)과 통신한다. 처리 유닛(4)은 다양한 실시예들을 취할 수 있다. 예를 들어, 처리 유닛(4)은 스마트폰, 태블릿 또는 랩톱 컴퓨터와 같은 모바일 디바이스에 구현될 수 있다. 일부 실시예들에서, 처리 유닛(4)은 사용자의 신체, 예컨대, 예시된 예에서, 손목 상에 또는 주머니에 착용될 수 있는 별개의 유닛이고, 접안 디스플레이 디바이스(near-eye display device)(2)를 작동시키는 데 사용되는 컴퓨팅 능력의 상당 부분을 포함한다. 처리 유닛(4)은 무선으로(예컨대, WiFi, 블루투스, 적외선, RFID 전송, WUSB(wireless Universal Serial Bus), 셀룰러, 3G, 4G 또는 다른 무선 통신 수단을 사용하여) 통신 네트워크(50)를 통해 하나 이상의 허브 컴퓨팅 시스템들(12) - 이 예에서 근방에 위치해 있든 원격 장소에 위치해 있든 관계 없음 - 과 통신할 수 있다. 다른 실시예들에서, 처리 유닛(4)의 기능이 디스플레이 디바이스(2)의 소프트웨어 및 하드웨어 컴포넌트들에 통합될 수 있다.
일 실시예에서, 프레임(frame)(115) 내의 안경의 형상으로 되어 있는 헤드 마운티드 디스플레이 디바이스(2)는, 사용자가, 이 예에서, 각각의 눈에 대한 디스플레이 광학 시스템(14)으로서 구현되는, 디스플레이를 투시하고 따라서 사용자의 전방에 있는 공간을 실제로 직접 볼 수 있도록, 사용자의 머리에 착용된다.
"실제로 직접 본다"라는 용어의 사용은, 객체들의 생성된 영상 표현들을 보는 것이 아니라, 현실 세계 객체들을 사람의 눈으로 직접 볼 수 있다는 것을 지칭한다. 예를 들어, 안경을 통해 방을 보는 것은 사용자가 방을 실제로 직접 볼 수 있게 하는 것인 반면, 텔레비전에서 방의 비디오를 보는 것은 방을 실제로 직접 보는 것이 아니다. 소프트웨어, 예를 들어, 게임 애플리케이션을 실행하는 상황에 기초하여, 본 시스템은 투시형 디스플레이 디바이스를 착용하고 있는 사람이 디스플레이를 통해 현실 세계 객체들을 보고 있는 동안에도 그 사람에게 보이는 가상 객체들의 영상들 - 때때로 가상 영상들이라고 지칭됨 - 을 디스플레이 상에 투사할 수 있다.
프레임(115)은 시스템의 요소들을 제자리에 유지시키기 위한 지지체는 물론, 전기적 연결들을 위한 통로를 제공한다. 이 실시예에서, 프레임(115)은 이하에서 추가로 논의되는 시스템의 요소들에 대한 지지체로서의 편리한 안경테(eyeglass frame)를 제공한다. 다른 실시예들에서, 다른 지지 구조물들이 사용될 수 있다. 이러한 구조물의 일 예는 바이저 또는 고글이다. 프레임(115)은 사용자의 양귀 각각에 걸기 위한 안경다리 또는 사이드 아암(side arm)을 포함한다. 안경다리(102)는 우측 안경다리의 일 실시예를 나타내고, 디스플레이 디바이스(2)에 대한 제어 회로(136)를 포함한다. 프레임의 코 받침(104)은 소리들을 녹음하고 오디오 데이터를 처리 유닛(4)으로 전송하기 위한 마이크로폰(110)을 포함한다.
도 2a는 하드웨어와 소프트웨어 컴포넌트들에 대한 지지를 제공하는 안경으로서 구현되는 투시형 혼합 현실 디스플레이 디바이스의 일 실시예에서의 프레임(115)의 안경다리(102)의 측면도이다. 처리 유닛(4)으로 전송되는 비디오 및 정지 영상들을 포착할 수 있는 물리적 환경 쪽으로 향해 있는 또는 바깥쪽으로 향해 있는 비디오 카메라(113)가 프레임(115)의 전방에 있다.
카메라로부터의 데이터는, 데이터를 처리할 수 있는, 제어 회로부(136)의 프로세서(210), 또는 처리 유닛(4) 또는 둘 다로 송신될 수 있지만, 유닛(4)은 또한 데이터를 처리를 위해 네트워크(50)를 통해 하나 이상의 컴퓨터 시스템들(12)로 송신할 수 있다. 처리는 사용자의 현실 세계 시야를 식별하고 매핑한다.
제어 회로들(136)은 헤드 마운티드 디스플레이 디바이스(2)의 다른 컴포넌트들을 지원하는 다양한 전자 요소들을 제공한다. 제어 회로들(136)의 추가 상세들은 도 3a와 관련하여 이하에서 제공된다. 이어폰(130), 관성 센서들132), GPS 송수신기(144), 및 온도 센서(138)가 안경다리(102) 내부에 있거나 안경다리(102)에 장착되어 있다. 일 실시예에서, 관성 센서들(132)은 3축 자력계(132A), 3축 자이로(132B), 및 3축 가속도계(132C)를 포함한다(도 3a를 참조). 관성 센서들은 헤드 마운티드 디스플레이 디바이스(2)의 위치, 배향, 및 급가속을 감지하기 위한 것이다. 이 움직임들로부터, 머리 위치가 또한 결정될 수 있다.
영상 소스 또는 영상 발생 유닛(120)이 안경다리(102)에 장착되거나 그 내부에 있다. 일 실시예에서, 영상 소스는 하나 이상의 가상 객체들의 영상들을 투사하기 위한 마이크로 디스플레이(120) 및 마이크로 디스플레이(120)로부터의 영상들을 투시형 도파관(112) 내로 지향시키기 위한 렌즈 시스템(122)을 포함한다. 렌즈 시스템(122)은 하나 이상의 렌즈들을 포함할 수 있다. 일 실시예에서, 렌즈 시스템(122)은 하나 이상의 평행화 렌즈(collimating lens)들을 포함한다. 예시된 예에서, 반사 요소(124)는 렌즈 시스템(122)에 의해 지향된 영상들을 수광하고 영상 데이터를 도파관(112) 내로 광학적으로 커플링시킨다.
마이크로 디스플레이(120)를 구현하기 위해 사용될 수 있는 상이한 영상 발생 기술들이 있다. 예를 들어, 마이크로 디스플레이(120)는 광원이, 백색광으로 백라이팅되는, 광학적 활성 재료(optically active material)에 의해 변조되는 투과형 투사 기술을 사용하여 구현될 수 있다. 이 기술들은 보통 강력한 백라이트들 및 높은 광학 에너지 밀도들을 갖는 LED 유형 디스플레이들을 사용하여 구현된다. 마이크로 디스플레이(120)는 또한 외부 광이 반사되어 광학적 활성 재료에 의해 변조되는 반사형 기술을 사용하여 구현될 수 있다. Qualcomm, Inc.로부터의 DLP(digital light processing), LCOS(liquid crystal on silicon) 및 Mirasol® 디스플레이 기술은 모두가 반사형 기술들의 예들이다. 그에 부가하여, 마이크로 디스플레이(120)가, 광이 디스플레이에 의해 발생되는 발광형 기술(emissive technology)을 사용하여, 구현될 수 있다 - 예를 들어, Microvision, Inc.로부터의 PicoP™ 디스플레이 엔진을 참조 -. 발광 디스플레이 기술의 다른 예는 마이크로 OLED(organic light emitting diode) 디스플레이이다. eMagin과 Microoled와 같은 회사들은 마이크로 OLED 디스플레이들의 예들을 제공한다.
도 2b는 투시형 접안 증강 또는 혼합 현실 디바이스의디스플레이 광학 시스템(14)의 일 실시예의 평면도이다. 접안 디스플레이 디바이스(2)의 프레임(115)의 일부분은 여기에 그리고 이하의 도면들에서 예시된 바와 같이 하나 이상의 광학 요소들에 대한 지지를 제공하기 위해 그리고 전기적 연결들을 이루기 위해 디스플레이 광학 시스템(14)을 둘러쌀 것이다. 디스플레이 광학 시스템(14)(이 경우에, 우측 눈 시스템에 대한 14r)의 컴포넌트들을 도시하기 위해, 헤드 마운티드 디스플레이 디바이스(2)에서, 디스플레이 광학 시스템을 둘러싸고 있는 프레임(115)의 일부분이 도시되어 있지 않다.
일 실시예에서, 디스플레이 광학 시스템(14)은 도파관(112), 임의적인 불투명도 필터(opacity filter)(114), 투시형 렌즈(see-through lens)(116) 및 투시형 렌즈(118)를 포함한다. 일 실시예에서, 불투명도 필터(114)는 투시형 렌즈(116)의 후방에 있고 그와 정렬되어 있으며, 도파관(112)은 불투명도 필터(114)의 후방에 있고 그와 정렬되어 있으며, 투시형 렌즈(118)는 도파관(112)의 후방에 있고 그와 정렬되어 있다. 투시형 렌즈들(116 및 118)은 안경에서 사용되는 표준 렌즈일 수 있고, 임의의 처방(처방 없음을 포함함)에 따라 제조될 수 있다. 일부 실시예들에서, 헤드 마운티드 디스플레이 디바이스(2)는 하나의 투시형 렌즈만을 포함하거나 투시형 렌즈를 포함하지 않을 것이다. 도파관(112)과 정렬되어 있는 불투명도 필터(114)는 자연 광을, 균일하게 또는 픽셀별로, 도파관(112)을 통과하지 못하게 선택적으로 차단시킨다. 예를 들어, 불투명도 필터는 가상 영상의 콘트라스트를 향상시킨다.
도파관(112)은 마이크로 디스플레이(120)로부터의 가시 광을 헤드 마운티드 디스플레이 디바이스(2)를 착용하고 있는 사용자의 눈(140) 쪽으로 투과시킨다. 투시형 도파관(112)은 또한, 디스플레이 광학 시스템(14r)의 광학 축을 나타내는 화살표(142)로 나타낸 바와 같이, 헤드 마운티드 디스플레이 디바이스(2)의 전방으로부터의 가시 광이 투시형 도파관(112)을 통해 눈(140) 쪽으로 투과될 수 있게 하고, 그에 의해, 마이크로 디스플레이(120)로부터 가상 영상을 수신하는 것에 부가하여, 사용자가 헤드 마운티드 디스플레이 디바이스(2)의 전방에 있는 공간을 실제로 직접 볼 수 있게 한다. 이와 같이, 도파관(112)의 벽들은 제1 반사 표면(예컨대, 거울 또는 다른 표면) 또는 제1 회절 격자(124)를 포함하는 투시형 도파관(112)이다. 마이크로 디스플레이(120)로부터의 가시 광은 렌즈(122)를 통과하고 반사 표면 또는 회절 격자(124)에 입사하게 된다. 반사 표면 또는 회절 격자(124)은, 가시 광이 이하에서 추가로 기술되는 바와 같이 내부 반사에 의해 도파관(112)을 포함하는 기판 내부에 포획되도록, 마이크로 디스플레이(120)로부터의 입사 가시 광을 반사시키거나 회절시킨다.
적외선 조명 및 반사들은 또한 사용자의 눈의 위치 및 시선 방향을 추적하기 위한 눈 추적 시스템(134)에 대한 도파관(112)을 횡단한다. 사용자의 눈은 사용자의 초점 또는 시선 구역인 환경의 일부 쪽으로 지향될 것이다. 눈 추적 시스템(134)은, 이 예에서, 안경다리(102)에 또는 그 내부에 장착되는, 눈 추적 조명 광원(134A)과, 이 예에서, 프레임(115)의 브라우(brow)(103)에 또는 그 내부에 장착되는, 눈 추적 IR 센서(134B)를 포함한다. 눈 추적 IR 센서(134B)는 대안적으로 렌즈(118)와 안경다리(102) 사이에 배치될 수 있다. 눈 추적 조명 광원(134A)과 눈 추적 IR 센서(134B) 둘 다가 프레임(115)의 브라우(103)에 또는 그 내부에 장착되는 것이 또한 가능하다.
본 기술은 영상 발생 유닛(120), 조명 광원(134A) 및 눈 추적 IR 센서(134B)에 대한 도파관의 광학 경로로의 그리고 그로부터의 입구 및 출구 광학 커플링들(입력 커플러 및 출력 커플러라고도 지칭될 수 있음)의 배치에서의 유연성을 가능하게 한다. 영상들을 나타내는 가시 조명과 적외선 조명은 도파관(112) 주위의 임의의 방향으로부터 들어갈 수 있고, 하나 이상의 파장 선택적 필터들(예컨대, 127)은 디스플레이 광학 시스템(14)의 광학 축(142)을 중심으로 하여 도파관으로부터 나가게 조명을 지향시킨다.
일 실시예에서, 눈 추적 조명 광원(134A)은 대략 미리 결정된 IR 파장 또는 어떤 범위의 파장들을 방출하는 적외선 LED(light-emitting diode) 또는 레이저(예컨대, VCSEL)와 같은 하나 이상의 적외선(IR) 방출기들을 포함할 수 있다. 일부 실시예들에서, 눈 추적 IR 센서(134B)는 글린트 위치(glint position)를 추적하기 위한 IR 카메라 또는 IR PSD(position sensitive detector)일 수 있다.
일 실시예에서, 파장 선택적 필터(123)는 마이크로 디스플레이(120)로부터 반사 표면(124)을 거쳐 오는 가시 스펙트럼 광을 통과시키고, 눈 추적 조명 광원(134A)으로부터의 적외선 파장 조명을 도파관(112) 내로 지향시키며, 여기서 IR 조명은 광학 축(142)과 정렬되어 있는 다른 파장 선택적 필터(127)에 도달할 때까지 도파관 내에서 내부 반사된다.
IR 반사들로부터, 안와(eye socket) 내의 동공의 위치는 눈 추적 IR 센서(134B)가 IR 카메라일 때는 공지된 영상화 기법들에 의해 그리고 눈 추적 IR 센서(134B)가 한 유형의 PSD(position sensitive detector)일 때는 글린트 위치 데이터에 의해 식별될 수 있다. 다른 유형들의 눈 추적 IR 센서들 및 다른 눈 추적 기법들의 사용이 또한 가능하고 일 실시예의 범주 내에 있다.
도파관(112) 내로 커플링시킨 후에, 마이크로 디스플레이(120)로부터의 영상 데이터를 나타내는 가시 조명과 IR 조명은 도파관(112) 내에서 내부 반사된다. 도 2b의 예에서, 기판의 표면들로부터의 몇 번의 반사들 후에, 포획된 가시 광 파들은, 이 예에서, 선택적 반사 표면들(1261 내지 126N)로서 구현되는 파장 선택적 필터들의 어레이에 도달한다. 그에 부가하여, 디스플레이 광학 시스템의 광학 축과 정렬되어 있는 파장 선택적 필터(127)가 또한 도파관(112)에 배치된다. 반사 표면들(126)은 기판으로부터 그 반사 표면들에 입사하는 가시 광 파장들을 사용자의 눈(140)의 방향으로 지향되게 커플링시킨다.
반사 표면들(126)은 또한 도파관 내에서 적외선 방사를 통과시킨다. 그렇지만, 가시 조명뿐만 아니라 조명 광원(134A)으로부터의 수광된 적외선 조명도 지향시키는 하나 이상의 파장 선택적 필터들(127)이 디스플레이 광학 시스템(14r)의 광학 축(142)과 정렬되어 있다. 예를 들어, 반사 요소들(1261 내지 126N) 각각이 가시 스펙트럼의 상이한 부분들을 반사시키는 경우, 하나 이상의 파장 선택적 필터들(127)은 적색 가시 스펙트럼 및 적외선 스펙트럼 내의 파장들을 반사시킬 수 있다. 다른 실시예들에서, 필터들(127)은 가시 스펙트럼 전체 또는 그의 대부분과 IR 반사들의 파장들 및 IR 조명 광원에 의해 발생된 파장들에 대한 적외선 스펙트럼을 커버하는 파장들을 반사시킬 수 있다.
그에 부가하여, 도 4a 내지 도 4h를 참조하여 이하에서 보다 상세히 논의될 것인 바와 같이, 입력 커플러(도 2a 및 도 2b에 구체적으로 도시되지 않고 도 4a 내지 도 4h에 도시되어 있음)는 광학 축(142)에 중심을 둔 도파관의 투시 벽들을 통과하는 눈으로부터의 적외선 반사들을 도파관의 광학 경로 내로, 적외광을 눈 추적 IR 센서(134B) 쪽으로 지향시키는 출력 커플러(도 2a 및 도 2b에 구체적으로 도시되지 않고 도 4a 및 도 4e 내지 도 4h에 도시되어 있음) 쪽으로의 방향으로 지향시킨다. 그에 부가하여, 가시 및 적외선 필터들은, 그들 모두가 광학 축과 동축이도록, 렌즈(116)로부터 렌즈(118)로의 방향으로 적층될 수 있다. 예를 들어, 눈에 대해 가시 반사 요소의 전방에 위치된 양방향 핫 미러(bidirectional hot mirror)는 가시 광은 통과시키지만 IR 파장들은 반사시킨다. 그에 부가하여, 하나 이상의 필터들(127)은 가시 스펙트럼에서의 파장들을 필터링하는 것과 적외선 스펙트럼에서의 파장들을 필터링하는 것 사이에서 변조되는 능동 격자로서 구현될 수 있다. 이것은 사람의 눈이 검출하지 못할 정도로 빠른 레이트로 행해질 것이다.
일 실시예에서, 각각의 눈은 그 자신의 도파관(112)을 가질 것이다. 헤드 마운티드 디스플레이 디바이스가 2 개의 도파관들을 가질 때, 각각의 눈은 양 눈에 동일한 영상을 디스플레이하거나 2개의 눈에 상이한 영상들을 디스플레이할 수 있는 그 자신의 마이크로 디스플레이(120)를 가질 수 있다. 게다가, 헤드 마운티드 디스플레이 디바이스가 2개의 도파관들을 가질 때, 각각의 눈은 그 자신의 눈 추적 조명 광원(134A)과 그 자신의 눈 추적 IR 센서(134B)를 가질 수 있다. 다른 실시예에서, 코 받침에 걸쳐 있고 가시 및 적외광을 양 눈 내로 반사시키는, 각각의 눈에 대해 하나씩, 2개의 광학 축들을 갖는 하나의 도파관이 있을 수 있다.
앞서 기술된 실시예들에서, 도시된 렌즈들의 특정 개수는 예들에 불과하다. 동일한 원리들로 동작하는 렌즈들의 다른 개수들 및 구성들이 사용될 수 있다. 그에 부가하여, 도 2a 및 도 2b는 헤드 마운티드 디스플레이 디바이스(2)의 절반을 도시한 것에 불과하다. 전체 헤드 마운티드 디스플레이 디바이스는, 예를 들어, 다른 투시형 렌즈 세트(116 및 118), 다른 불투명도 필터(114), 하나 이상의 파장 선택적 필터들(127)을 갖는 다른 도파관(112), 다른 마이크로 디스플레이(120), 다른 렌즈 시스템(122), 물리적 환경 쪽으로 향해 있는 카메라(113)(바깥쪽으로 향해 있는 또는 전방으로 향해 있는 카메라(113)라고도 지칭됨), 눈 추적 어셈블리(134), 이어폰(130), 필터(123) 및 온도 센서(138)를 포함할 것이다. 예시적인 헤드 마운티드 디스플레이(2)의 부가 상세들은 Flaks 등에 의해 2010년 10월 15일에 출원된, 발명의 명칭이 "Fusing Virtual Content Into Real Content"인 미국 특허 출원 공개 제2012/0092328호에 제공되어 있다.
도 3a는 하나 이상의 실시예들에서 사용될 수 있는 바와 같은 투시형 접안 혼합 현실 디스플레이 디바이스(2)의 하드웨어 및 소프트웨어 컴포넌트들의 일 실시예의 블록도이다. 도 3b는 처리 유닛(4)의 다양한 컴포넌트들을 나타낸 블록도이다. 이 실시예에서, 접안 디스플레이 디바이스(2)는 처리 유닛(4)으로부터 가상 영상에 관한 명령어들을 수신하고 센서들로부터의 데이터를 다시 처리 유닛(4)에 제공한다. 예를 들어, 도 3b에 도시된 바와 같은, 처리 유닛(4)에 구현될 수 있는 소프트웨어 및 하드웨어 컴포넌트들은 디스플레이 디바이스(2)로부터 센서 데이터(sensory data)를 수신하고, 또한 네트워크(50)를 통해 컴퓨팅 시스템(12)으로부터 센서 정보(sensory information)를 수신할 수 있다. 그 정보에 기초하여, 처리 유닛(4)은 가상 영상을 언제 어디서 사용자에게 제공할지를 결정하고 그에 따라 명령어들을 디스플레이 디바이스(2)의 제어 회로부(136)로 송신할 것이다.
유의할 점은, 그 디바이스들 각각이 적어도 2개씩 - 헤드 마운티드 디스플레이 디바이스(2)의 좌측에 적어도 하나 그리고 그의우측에 적어도 하나) 있다는 것을 나타내기 위해, 도 3a의 컴포넌트들 중 일부(예컨대, 바깥쪽으로 또는 물리적 환경 쪽으로 향해 있는 카메라(113), 눈 카메라(134), 마이크로 디스플레이(120), 불투명도 필터(114), 눈 추적 조명 유닛(134A), 이어폰(130), 하나 이상의 파장 선택적 필터들(127) 및 온도 센서(138))가 음영으로 도시되어 있다는 것이다. 도 4a는 전력 관리 회로(202)와 통신하는 제어 회로(200)를 나타내고 있다. 제어 회로(200)는 프로세서(210), 메모리(244)(예컨대, D-RAM)와 통신하는 메모리 제어기(212), 카메라 인터페이스(216), 카메라 버퍼(218), 디스플레이 구동기(display driver)(220), 디스플레이 포맷터(display formatter)(222), 입력 커플러 제어기(223), 영상 분석기(225), 타이밍 발생기(226), 디스플레이 출력 인터페이스(display out interface)(228), 및 디스플레이 입력 인터페이스(display in interface)(230)를 포함한다. 일 실시예에서, 제어 회로(200)의 컴포넌트들 모두는 하나 이상의 버스들의 전용 라인(dedicated line)들을 통해 서로 통신한다. 다른 실시예에서, 제어 회로(200)의 컴포넌트들 각각은 프로세서(210)와 통신한다.
카메라 인터페이스(216)는 2개의 물리적 환경 쪽으로 향해 있는 카메라(113)와, 이 실시예에서, 센서(134B)로서의 IR 카메라에의 인터페이스를 제공하고, 카메라들(113, 134)로부터 수신되는 각자의 영상들을 카메라 버퍼(218)에 저장한다. 디스플레이 구동기(220)는 마이크로디스플레이(120)를 구동할 것이다. 디스플레이 포맷터(222)는 마이크로디스플레이(120) 상에 디스플레이되고 있는 가상 영상에 관한 정보를, 혼합 현실 시스템을 위한 처리를 수행하는 하나 이상의 컴퓨터 시스템들(예컨대, 4 및 12)의 하나 이상의 프로세서들에 제공할 수 있다. 디스플레이 포맷터(222)는 디스플레이 광학 시스템(14)에 대한 투과율 설정을 불투명도 제어 유닛(224)에 알려줄 수 있다. 타이밍 발생기(226)는 시스템에 대한 타이밍 데이터를 제공하기 위해 사용된다. 디스플레이 출력 인터페이스(228)는 물리적 환경 쪽으로 향해 있는 카메라들(113) 및 눈 카메라들(134B)로부터의 영상들을 처리 유닛(4)에 제공하기 위한 버퍼를 포함한다. 디스플레이 입력 인터페이스(230)는 마이크로디스플레이(120) 상에 디스플레이될 가상 영상과 같은 영상들을 수신하기 위한 버퍼를 포함한다. 디스플레이 출력(228) 및 디스플레이 입력(230)은 처리 유닛(4)에의 인터페이스인 밴드 인터페이스(band interface)(232)와 통신한다.
입력 커플러 제어기(223)는, 이하에서 부가로 상세히 기술될 것인 바와 같이, 한번에 전자적 스위칭가능 회절 격자들 중 하나의 전자적 스위칭가능 회절 격자만 턴온되도록, 복수의 전자적 스위칭가능 회절 격자들 각각이 턴온되는 때를 제어한다. 영상 분석기(225)는, 이하에서 부가로 상세히 기술될 것인 바와 같이, 전자적 스위칭가능 회절 격자들 중 어느 전자적 스위칭가능 회절 격자가, 스위치 온될 때, 눈(또는 그의 일부분)의 가장 잘 초점이 맞은 영상을 제공하는지를 결정하기 위해, IR 눈 추적 카메라(134B)를 사용하여 획득된, 눈의 2개 이상의 영상들을 분석한다. 그에 부가하여 또는 대안적으로, 영상 분석기는 복수의 전자적 스위칭가능 회절 격자들 중 어느 하나 이상의 전자적 스위칭가능 회절 격자들이 그의 시야 내에 눈을 포함하는지를 결정할 수 있다.
전력 관리 회로(202)는 전압 조정기(234), 눈 추적 조명 구동기(236), 오디오 DAC 및 증폭기(238), 마이크로폰 전치증폭기 및 오디오 ADC(240), 온도 센서 인터페이스(242), 능동 필터 제어기(237), 및 클럭 발생기(245)를 포함한다. 전압 조정기(234)는 처리 유닛(4)으로부터 밴드 인터페이스(232)를 통해 전력을 받고 그 전력을 헤드 마운티드 디스플레이 디바이스(2)의 다른 컴포넌트들에 제공한다. 조명 구동기(236)는, 예를 들어, 구동 전류 또는 전압을 통해, 미리 결정된 파장 근방에서 또는 파장 범위 내에서 동작하도록 눈 추적 조명 유닛(134A)을 제어한다. 오디오 DAC 및 증폭기(238)는 오디오 데이터를 이어폰(130)에 제공한다. 마이크로폰 전치증폭기 및 오디오 ADC(240)는 마이크로폰(110)에 대한 인터페이스를 제공한다. 온도 센서 인터페이스(242)는 온도 센서(138)에 대한 인터페이스이다. 능동 필터 제어기(237)는 각각의 파장 선택적 필터(127)가 선택적 파장 필터로서 기능할 수 있는 하나 이상의 파장들을 나타내는 데이터를 수신한다. 전력 관리 유닛(202)은 또한 3축 자력계(132A), 3축 자이로스코프(132B) 및 3축 가속도계(132C)에 전력을 제공하고 그로부터 다시 데이터를 수신한다. 전력 관리 유닛(202)은 또한 GPS 송수신기(144)에 전력을 제공하고 그로부터 다시 데이터를 수신하며 그에게로 데이터를 송신한다.
도 3b는 투시형 접안 혼합 현실 디스플레이 유닛과 연관된 처리 유닛(4)의 하드웨어 및 소프트웨어 컴포넌트들의 일 실시예의 블록도이다. 도 3b는 전력 관리 회로(306)와 통신하는 제어 회로(304)를 나타내고 있다. 제어 회로(304)는 CPU(central processing unit)(320), GPU(graphics processing unit)(322), 캐시(324), RAM(326), 메모리(330)(예컨대, D-RAM)와 통신하는 메모리 제어기(328), 플래시 메모리(334)(또는 다른 유형의 비휘발성 저장소)와 통신하는 플래시 메모리 제어기(332), 밴드 인터페이스(302) 및 밴드 인터페이스(232)를 통해 투시형 접안 디스플레이 디바이스(2)와 통신하는 디스플레이 출력 버퍼(336), 밴드 인터페이스(302) 및 밴드 인터페이스(232)를 통해 접안 디스플레이 디바이스(2)와 통신하는 디스플레이 입력 버퍼(338), 마이크로폰에 연결하기 위해 외부 마이크로폰 커넥터(342)와 통신하는 마이크로폰 인터페이스(340), 무선 통신 디바이스(346)에 연결하기 위한 PCI express 인터페이스(444), 및 USB 포트(들)(348)를 포함한다.
일 실시예에서, 무선 통신 컴포넌트(346)는 Wi-Fi 지원 통신 디바이스, 블루투스 통신 디바이스, 적외선 통신 디바이스, 셀룰러, 3G, 4G 통신 디바이스들, WUSB(wireless USB) 통신 디바이스, RFID 통신 디바이스 등을 포함할 수 있다. 무선 통신 컴포넌트(346)는 따라서, 예를 들어, 다른 디스플레이 디바이스 시스템(8)과의 피어-투-피어 데이터 전송들은 물론, 무선 라우터 또는 셀 타워를 통한 보다 큰 네트워크에의 연결을 가능하게 한다. USB 포트는 처리 유닛(4)을 다른 디스플레이 디바이스 시스템(8)에 도킹하는 데 사용될 수 있다. 그에 부가하여, 처리 유닛(4)은, 데이터 또는 소프트웨어를 처리 유닛(4)에 로딩하는 것은 물론, 처리 유닛(4)을 충전하기 위해, 다른 컴퓨팅 시스템(12)에 도킹할 수 있다. 일 실시예에서, CPU(320) 및 GPU(322)는 가상 영상들을 언제, 어디서 그리고 어떻게 사용자의 뷰에 삽입해야 하는지를 결정하기 위한 주된 수단이다.
전력 관리 회로(306)는 클럭 발생기(360), 아날로그-디지털 변환기(362), 배터리 충전기(364), 전압 조정기(366), 투시형 접안 디스플레이 전원(376), 및 온도 센서(374)(처리 유닛(4)의 손목 밴드 상에 위치됨)와 통신하는 온도 센서 인터페이스(372)를 포함한다. 교류-직류 변환기(362)는 AC 전원을 받아서 시스템을 위한 DC 전원을 생성하기 위해 충전 잭(370)에 연결되어 있다. 전압 조정기(366)는 시스템에 전력을 공급하기 위해 배터리(368)와 통신한다. 배터리 충전기(364)는 충전 잭(370)으로부터 전력을 받을 때 (전압 조정기(366)를 통해) 배터리(368)를 충전하는 데 사용된다. 디바이스 전원 인터페이스(376)는 전력을 디스플레이 디바이스(2)에 제공한다.
도파관 눈 추적 시스템
도 4a 내지 도 4h는 이제부터, 본 기술의 다양한 실시예에 따른, 도파관(412)의 특정 특징들을 설명하는 데 사용될 것이다. 먼저, 도 4a 및 도 4b는 눈(440)으로부터 반사되는 적외광을 집광하는 데 그리고 눈 추적에서 사용하기 위한 눈 추적 IR 센서(예컨대, 도 2b 및 도 3a를 참조하여 앞서 논의된 134B)에 적외광을 제공하는 데 사용되는 도파관(412)의 부분들을 설명하는 데 사용될 것이다. 그에 따라, 도파관(412)은 또한 눈 추적기 도파관(412) 또는 눈 추적 도파관(412)이라고도 지칭될 수 있다. 보다 일반적으로, 도파관은 눈을 추적하는 데 사용하기 위한 장치라고 지칭될 수 있다.
도파관(412)은, 도 1 내지 도 3b를 참조하여 앞서 기술된 것과 같은 투시형 혼합 현실 디스플레이 디바이스 시스템 내에 포함될 수 있지만, 그에 대한 사용으로 제한되지 않는다. 예를 들어, 도파관(412)은 도 1, 도 2a 및 도 2b를 참조하여 앞서 논의된 도파관(112)(또는 그의 일부분)을 구현하는 데 사용될 수 있다. 대안적으로, 도파관(412)은, 구현에 따라, 도파관(112)에 인접하여 위치되거나 도파관(112) 대신에 사용될 수 있다. 눈이 추적되고 있는 사용자의 좌안 및 우안 각각에 대해 도파관(412)의 개별적인 인스턴스가 제공될 수 있다. 도 1 내지 도 3b를 참조하여 앞서 기술된 투시형 혼합 현실 디스플레이 디바이스 시스템에서 사용되는 경우, 도파관(412)은, 안경에서 사용되는 표준 렌즈일 수 있고 임의의 처방(처방 없음을 포함함)에 따라 제조될 수 있는, 투시형 렌즈들(예컨대, 116 및/또는 118) 옆에 또는 그들 사이에 배치될 수 있다. 도파관(412)은 대안적으로 눈으로부터 반사되는 적외광에 기초하여 눈 추적을 수행하도록 의도되어 있는 임의의 시스템에 대해 사용될 수 있다.
도 4a는 도파관(412)을 포함하는 눈 추적 시스템(400)의 일부분의 측면도이고 따라서 도 4a에 도시된 눈 추적 시스템의 일부분은 도파관 눈 추적기(400)라고 지칭될 수 있다. 도파관(412)은 입력 커플러(414)와 출력 커플러(424)를 포함한다. 광선들이 출력 커플러(424)에 근접하여 도파관(412)을 빠져나간 후에 도파관(412) 내에서의 광선들의 각도 공간을 2차원(2D) 공간으로 변환하도록 구성되어 있는, 하나 이상의 렌즈들을 포함하는, 렌즈 모듈(430)이 또한 도 4a에 도시되어 있다. 다른 방식으로 설명하면, 영상화 렌즈(430)라고도 지칭될 수 있는, 렌즈 모듈(430)은 각도 인코딩된 적외광 빔들을 2차원(2D) 공간 인코딩된 적외광 빔들로 변환하는 데 사용된다. 2차원 공간으로 변환된 후에, 적외광 빔들은, 도 4a에 도시된 바와 같이, 눈 추적 IR 센서(134B)의 2차원 평면에 입사한다. 눈 추적 IR 센서(134B)는 센서(134B)에 입사하는 2차원 공간 인코딩된 적외광 빔들에 의존하여 눈 추적 데이터를 생성한다.
보다 일반적으로, 눈 추적 IR 센서(134B)는 출력 커플러(424)에서 도파관(412)을 빠져나가는 적외광 빔들에 의존하여 눈(440)의 영상을 생성한다. 출력 커플러(424)에서 도파관(412)을 빠져나가는 적외광 빔들은 눈 추적 IR 센서(134B)에 입사하기 전에 렌즈 모듈(430)을 통과한다. 방금 설명된 바와 같이, 렌즈 모듈(430)은 출력 커플러(424)에서 도파관(412)을 빠져나오는 적외광 빔들을 각도 인코딩된 적외광 빔들로부터 2차원 공간 인코딩된 적외광 빔들로 변환시킨다. 대안적으로, 렌즈 모듈(430)의 기능은 전체적으로 또는 부분적으로 출력 커플러(424) 내에 구축될 수 있고, 어쩌면 렌즈 모듈(430)을 없앨 수 있다.
일반적으로, 눈(440)이 적외광으로 조명될 때, 눈으로부터 반사되는 적외광 빔들이 도파관(412)의 입력 커플러(414)에 입사하도록, 도파관의 입력 커플러(414)는 바람직하게는 눈(440)과 축방향으로 정렬되어 있다. 보다 일반적으로, 앞서 설명된 바와 같이, 예컨대, 눈(440)이 눈 추적 조명 유닛(134A)에 의해 생성된 적외광에 의해 조명될 때, 적외광이 눈(440)으로부터 반사될 것이다.
출력 커플러(424)는 바람직하게는 눈을 영상화하는 데 사용되는 센서 또는 카메라(예컨대, 눈 추적 IR 센서(134B))에 아주 근접하여 위치된다. 앞서 언급된 바와 같이, 이러한 센서 또는 카메라는 프레임(예컨대, 115)의 브라우(예컨대, 103)에 또는 그 내부에 장착될 수 있다. 대안적으로, 센서 또는 카메라는 프레임의 안경다리 또는 사이드 아암(예컨대, 102)에 또는 그 내부에 장착될 수 있고, 이 경우에, 입력 커플러(414)와 출력 커플러(424)의 상대 위치들이 90도만큼 회전될 수 있다. 앞서 설명된 바와 같이, 렌즈 모듈(예컨대, 430)은 출력 커플러(424)와 센서(예컨대, 눈 추적 IR 센서(134B)) 사이에 위치될 수 있다. 일 실시예에 따르면, 출력 커플러는 렌즈 모듈(430)을 부분적으로 또는 완전히 대체하는 렌즈 파워를 포함한다. 예를 들어, 일 실시예에서, 출력 커플러(424)는 단일의 회절 광학 요소에서 웨지 파워 및 렌즈 파워를 제공한다.
일 실시예에 따르면, 입력 커플러의 수평 x 수직 면적은 28mm x 16mm이고, 이는 눈 추적 면적을 정의한다. 대안의 면적들이 또한 가능하고, 일 실시예의 범주 내에 있다. 출력 커플러의 개구(aperture)는, 예컨대, 3.7mm일 수 있지만, 보다 작은 또는 보다 큰 개구들이 또한 가능하고 일 실시예의 범주 내에 있다. 렌즈 모듈(430)의 f-수(f-number)는, 예컨대, 1.35일 수 있지만, 보다 작은 또는 보다 큰 f-수들이 또한 가능하고 일 실시예의 범주 내에 있다. 도파관(412)의 두께는 바람직하게는 1mm 이하이지만, 보다 큰 두께들이 가능하고 일 실시예의 범주 내에 속한다. 도파관(412)은 BK7 광학 유리를 사용하여 제조될 수 있지만, 다른 광학 재료들의 사용이 또한 가능하고 일 실시예의 범주 내에 속한다. 눈 추적을 위해 사용되는 적외광의 파장이 850nm인 것으로 가정하면, 도파관(412)은 바람직하게는 850nm에서 42도 초과의 입사각(AOI)에 대해 내부 전반사를 제공한다. 대안의 적외선 파장들이 사용될 수 있는 것이 또한 일 실시예의 범주 내에 속한다. 기판의 임계각 미만에서 내부 전반사를 달성하기 위해, 반사 코팅(422)이 공기-유리 계면에 있는 도파관(412)의 외측 표면들에 도포될 수 있다. 이 코팅은 입력 커플러에 의해 발생되는 내부 각도들의 범위가 기판에 의해 지원될 수 있는 것보다 더 큰 실시예들에서 유용하다. 예를 들어, 눈 추적 면적이 28mm x 16mm이고 아이 릴리프(눈과 입력 커플러 사이의 거리)가 약 20mm이면, 영상화 렌즈에 가장 가까운 입력 커플러의 영역이 BK7의 임계각 바로 위의 내부 각도를 발생시키는 경우, 영상화 렌즈로부터 가장 멀리 떨어진 입력 커플러의 영역에 의해 발생된 내부 각도들이 90도 초과일 필요가 있을 것이며, 이는 본질적으로 불가능하다. 대안적으로, 입력 커플러가 영상화 렌즈로부터 가장 멀리 떨어진 입력 커플러의 영역에 대해 약 70도의 내부 각도들을 발생시키도록 설계된 경우, 영상화 렌즈에 가장 가까운 입력 커플러의 영역에 의해 발생된 내부 각도들은 BK7의 임계각 미만일 것이고, 따라서 내부 반사를 확장시키기 위해 코팅을 필요로 한다.
입력 커플러(414)를 포함하는 도파관(412)의 일부분의 확대도인 도 4b가 이제부터 일 실시예에 따른 도파관(412)의 부가 상세들을 설명하는 데 사용될 것이다. 도 4b를 참조하면, 도파관(412)은 제1 투명 층(402), 제2 투명 층(404), 및 입력 커플러(414)를 포함하는 것으로 도시되어 있다. 비록 도 4b에 구체적으로 도시되어 있지는 않지만, 출력 커플러(424)도 이와 유사하게 제1 투명 층(402)과 제2 투명 층(404) 사이에 있을 수 있다. 투명 층들(402, 404)은 유리 또는 광학 플라스틱으로 제조될 수 있지만, 이들로 제한되지 않는다. 유의할 점은, 투명 층들(402, 404)이 광학 플라스틱으로 제조되더라도, 이러한 층들과 공기 사이의 계면이 여전히 공기-유리 계면이라고 지칭될 것이라는 것이다. 도 4b에 도시된 바와 같이, 입력 커플러(414)는 하부 경계(415)와 상부 경계(416)를 가지며, 상부 경계(416)가 하부 경계(415)보다 출력 커플러(424)에 더 가깝다.
회절 요소인, 입력 커플러(414)는 입사각과 상이한 회절각을 갖도록 구성된다. 보다 구체적으로는, 회절 요소 입력 커플러(414)는, 광이 투명 층(404)의 공기-유리 계면을 만날 때의 광의 각도가 임계각 초과이고 따라서 도파관(412) 내에서 내부 반사하도록, 광이 제1 투명 층(402)을 통과하는 각도를 조절한다. 광은 이어서, 앞서 언급된 바와 같이, 출력 커플러(424)에서 도파관(412) 밖으로 나갈 것이다.
입력 커플러(414)가 적외광으로 조명되는 눈(440)의 전방에 배치될 때, 눈(440)으로부터 반사되는 적외광 빔들(그의 일 예가 도 4b에서 파선 화살표들로 도시되어 있음)은 제1 투명 층(402)을 통과하고, 입력 커플러(414)에 입사한다. 이 적외광 빔들은 입력 커플러(414)에서 도파관(412)에 들어가고, 내부 전반사에 의해 도파관(412) 내에서 입력 커플러(414)로부터 출력 커플러(424) 쪽으로 전파하며, 출력 커플러(424)에 근접하여 도파관(412)을 빠져나간다. 다른 방식으로 설명하면, 눈(440)으로부터 반사된 적외광은 입력 커플러(414)에서 영상화되고 이와 동시에, 회절된 적외광이 내부 전반사에 대한 임계각보다 더 큰 각도로 도파관의 표면들에 입사하도록, 적외광을 회절시키는 것에 의해 도파관 모드 내로 회절된다.
입력 커플러(414)는 회절 격자로서 구현될 수 있고, 그의 예들이 이하에서 논의된다. 반사형, 회절형 또는 굴절형, 또는 이들의 조합일 수 있는, 출력 커플러(424)는, 예컨대, 선형 격자 유형의 출력 커플러, 홀로그래픽 격자 유형의 출력 커플러, 프리즘 또는 적외광이 도파관(412)을 빠져나가게 할 수 있는 다른 광학 커플러로서 구현될 수 있다. 출력 커플러(424)는 그에 부가하여 렌즈 모듈(430)의 렌즈 파워의 일부 또는 전부를 대체할 수 있는 처방에 통합된 렌즈 파워를 가질 수 있다. 하나의 이러한 실시예에서, 출력 커플러(424)는 웨지 및 렌즈 파워를 갖는 볼륨 브래그 격자(volume Bragg Grating)일 수 있다. 출력 커플러(424)의 렌즈 파워는 렌즈 모듈(430)의 렌즈 파워의 일부 또는 전부를 제공할 수 있을 것이다. 일 실시예에서, 출력 커플러(424)는, 예를 들어, 비구면 보정(aspheric correction)을 제공하는 것에 의해, 렌즈 모듈(430)에 작은 보정을 제공한다. 도 4a를 간략히 다시 참조하면, 출력 커플러(424)의 목적은 적외광이 도파관(412)을 렌즈 모듈(430) 쪽으로 그리고/또는 눈 추적 IR 센서(134B) 쪽으로 빠져나가게 하는 것이다. 적외광은 이어서 렌즈 모듈(430)(또는 출력 커플러(424) 자체)에 의해 눈 추적 IR 센서(134B) 상에 최종적으로 영상화된다. 눈 추적 IR 센서는, 예컨대, CCD(charge-coupled device) 또는 CMOS 2차원(2D) 픽셀 센서 어레이일 수 있지만, 이들로 제한되지 않는다.
일 실시예에서, 입력 커플러(414)와 출력 커플러(424)는 텔레센트리시티(telecentricity)를 달성하기 위해 서로에 대해 배치된다. 이 상황 하에서, 입사동(entrance pupil)은 무한대에 위치되고, 이는 입력 커플러 물체 공간(input-coupler object-space)을 텔레센트릭(telecentric)으로 만든다. 이것은 유리하게도 눈(440)의 직교 투영(orthographic projection)을 제공할 수 있다. 텔레센트리시티는 또한 입력 커플러(414)의 각도 대역폭을, 눈 평면으로부터의 모든 광에 대해 평행한 광에 중심이 있도록, 설계하는 것에 의해 달성될 수 있다. 이것은 각도 대역폭이 도파관에 직교인 광에 중심이 있다는 것을 꼭 의미하지는 않는다. 예를 들어, 속눈썹으로 인한 방해를 감소시키기 위해 눈 평면 아래쪽에 있는(눈을 올려다보는) 방향으로부터 눈 평면을 보는 것이 유리할 수 있다. 다른 방식으로 설명하면, 물체 공간에서의 텔레센트리시티를 달성하기 위해, 입력 커플러(414)의 각각의 지점의 각도 대역폭이 주광선(chief ray)에 중심이 있어야만 하며, 여기서 입력 커플러(414)의 모든 주광선들은 실질적으로 평행하다.
일 실시예에 따르면, 입력 커플러(414)는 렌즈 파워 및 웨지 파워를 가진다. 입력 커플러(414)의 렌즈 파워는 바람직하게는 눈(440)과 입력 커플러(414) 사이의 거리와 같은 초점 거리를 가지며, 이는 유리하게도 (눈(440)으로부터 반사되고 입력 커플러(414)에 입사하는) 적외광이 도파관(412) 내에서 평행화되게 한다. 예를 들어, 눈(440)과 입력 커플러(414) 사이의 거리가 20 밀리미터(mm)이면, 입력 격자의 렌즈 파워의 초점 거리는 바람직하게는 20mm이다. 웨지 회절력 또는 프리즘 파워라고도 지칭될 수 있는, 웨지 파워는 (바람직하게는 평행화되어 있는) 적외광을 도파관 모드 내로 회절시킨다. 웨지 파워는 바람직하게는 입력 커플러(414)의 상부 경계(416) 근방에서 입력 커플러(414)의 일부분에 입사하는 적외광이 내부적으로 회절되도록 함으로써 도파관의 공기-유리 계면에 대한 입사각이 도파관(412)의 내부 전반사(TIR) 각도보다 크도록(그리고 따라서 도파관(412)에 의해 안내되도록) 선택된다. 그에 부가하여, 웨지 파워는 바람직하게는, 광선들이 도파관(412)의 표면들에 거의 평행하게 진행하는 것을 회피하기 위해, 입력 커플러(414)의 하부 경계(415) 근방에서 입력 커플러(414)의 일부분에 입사하는 적외광이 내부적으로 회절되도록 함으로써 도파관의 공기-유리 계면에 대한 입사각이 너무 크지 않도록(예컨대, 70도 이하이도록) 선택된다. 일 실시예에 따르면, 렌즈 파워 및 웨지 파워가 수학적으로 커플링되고 단일의 격자 처방에 의해 구현된다. 이것은 격자의 표면에 걸쳐 입력 각도들의 조건들을 충족시키는 위상 다항식(phase polynomial)을 출력 각도들에 대해 수학적으로 근사화하는 것에 의해 달성될 수 있다. 이 유형의 위상 다항식의 발생은, 크롬 또는 유리와 같은, 매체에 표면 격자를 생성하기 위해 전자 빔 에칭 기계를 프로그래밍하는 데 사용될 수 있다. 이것은 차례로 위상 복사 마스터 홀로그램을 발생시키는 데 사용될 수 있고, 위상 복사 마스터 홀로그램은 차례로 회절 격자 유형의 입력 커플러(414)를 대량 생산하기 위해 밀착 복사 프로세스에서 사용될 수 있다.
도파관(412) 내에서 반사되는 빔들은 서로 가깝고, 이러한 빔들 사이의 거리는 도파관(412) 내에서의 전파 각도, 도파관(412)의 두께, 및 빔 폭에 의존한다. 도파관(412)의 두께를 실현가능한 한 얇게 제조하려는 요망이 있기 때문에, 도파관(412) 내의 상이한 빔들이 서로 아주 가까울 수 있고, 어쩌면 서로 중복할 수 있다.
눈 추적기 광학 시스템은 전체로서 (예컨대, 눈(440)과 연관된) 눈 평면으로부터의 광을 (예컨대, 눈 추적 IR 센서(134B)와 연관된) 카메라 센서 평면 쪽으로 재영상화(reimage)하는 릴레이 렌즈 시스템처럼 기능한다. 일 실시예에서, 전체 시스템의 배율은 1보다 훨씬 더 작은 데(축소화(de-magnification)), 그 이유는 눈 추적 IR 센서(134B)(카메라 센서 또는 영상 센서라고도 지칭될 수 있음)가 물체 평면(눈 평면)보다 훨씬 더 작기 때문이다. 입력 커플러(414)는 바람직하게는 입력 커플러(414)의 상이한 수평 및 수직 위치들에 입사하는 적외광의 상이한 빔들이 도파관(412) 내에서 각자의 상이한 반사각들로 전파하고 도파관(412)의 표면 - 이를 통해 적외광 빔들이 빠져나감 - 에 대해 각자의 상이한 입사각들로 출력 커플러(424)를 빠져나가게 한다. 다른 방식으로 설명하면, 입력 커플러(414)는 바람직하게는 입력 커플러(414)에 입사하는 적외광 빔들을 각도 인코딩시키고, 그로써 출력 커플러(424)를 통해 도파관(412)을 빠져나가는 적외광 빔들이, 입력 커플러(414)의 상이한 수평 및 수직 위치들에 입사했던 적외광 빔들을 구별하는 방식으로, (예컨대, 눈 추적 IR 센서(134B)에 의해) 영상화될 수 있게 한다.
앞서 언급된 바와 같이, 입력 커플러(414)의 렌즈 파워는 바람직하게는 눈(440)과 입력 커플러(414) 사이의 거리와 같은 초점 거리를 가지며, 이는 유리하게도 (눈(440)으로부터 반사되고 입력 커플러(414)에 입사하는) 적외광이 도파관 내에서 평행화되게 한다. 이것이 바람직한 조건이지만, 이러한 조건을 일관성있게 달성하는 것은 쉽지 않은데, 그 이유는 상이한 사람들이 상이하게 형성된 코 및 다른 얼굴 특징들 그리고 상이한 눈 위치들을 갖기 때문이다. 그에 부가하여, 동일한 사람이 도파관(412)을 포함하는 HMD 디바이스를 착용하고 그리고/또는 HMD 디바이스를 조절할 때마다, 그 사람의 눈과 입력 커플러(414) 사이의 거리가 변할 수 있다. 유의할 점은, 눈(440)과 입력 커플러(414) 사이의 거리가 아이 릴리프 거리(eye relief distance)라고도 지칭될 수 있다는 것이다.
입력 커플러(414)의 렌즈 파워의 초점 거리가 입력 커플러(414)와 눈(440) 사이의 거리와 같지 않을 때(즉, 아이 릴리프 거리와 같지 않을 때), 내부 전반사들을 통해 도파관(412) 내에서 진행하는 적외광 빔들은 완벽하게 평행화되지는 않을 것이다. 이 조건에서의 문제점은 눈(440) 위의 동일한 지점으로부터 (입력 커플러(414)를 통해) 도파관 내로 반사되는 2개 이상의 광 빔들이, 내부 전반사를 통해 입력 커플러(414)로부터 출력 커플러(424)까지 진행한 후에, 2개 이상의 상이한 위치들에서 (출력 커플러(424)를 통해) 도파관을 빠져나갈 것이며, 그 결과 다수의(예컨대, 이중, 삼중, 기타) 영상들이 렌즈 모듈(430) 및 눈 추적 IR 센서(134B)에 의해 발생된다는 것이다. 환언하면, 눈 평면에 있는 동일한 지점으로부터 오는 2개 이상의 빔들이, 2개 이상의 개별 영상들이 눈 추적 IR 센서(134B)에 의해 형성되도록, 도파관(412) 내에서 수렴하거나 발산할 것이다. 이러한 다중(예컨대, 이중, 삼중, 기타) 영상화는 바람직하지 않은데, 그 이유는 그것이 눈 추적의 정확도를 감소시키고 그리고/또는 눈 추적을 수행하는 것을 훨씬 더 복잡하게 만들기 때문이다.
특정 실시예들에 따르면, 단일의 렌즈 파워 그리고 따라서 단일의 초점 거리를 가지는 단일의 회절 격자를 포함하는 것보다는, 입력 커플러(414)는, 도 4c에 도시된 바와 같이, 서로 평행하게 배열된 2개 이상의 전자적 스위칭가능 회절 격자들의 스택을 포함한다. 보다 구체적으로는, 도 4c를 참조하면, 입력 커플러(414)는 서로 평행하게 배열된, 419a, 419b, 419c, 419d라고 부기(label)된, 4개의 전자적 스위칭가능 회절 격자들의 스택을 포함하는 것으로 도시되어 있다. 전자적 스위칭가능 회절 격자들(419a, 419b, 419c, 419d)은 개별적으로 전자적 스위칭가능 회절 격자(419)라고 또는 모두 합하여 전자적 스위칭가능 회절 격자들(419)이라고 지칭될 수 있다. 전자적 스위칭가능 회절 격자들(419) 각각은 각자의 렌즈 파워 및 각자의 프리즘 파워를 가진다. 전자적 스위칭가능 회절 격자들 각각이 상이한 초점 거리를 갖도록, 전자적 스위칭가능 회절 격자들(419) 각각의 렌즈 파워는 서로 상이하다. 이러한 실시예는 사용자의 눈이 2개 이상의 상이한 초점 거리들을 사용하여 영상화될 수 있게 하고, 따라서 가장 잘 초점이 맞은 영상이 눈 추적에서 사용하기 위해 선택될 수 있다. 보다 구체적으로는, 이러한 실시예는 전자적 스위칭가능 회절 격자들(419) 중 어느 전자적 스위칭가능 회절 격자가, 스위치 온될 때, 눈 또는 그의 일부분의 가장 잘 초점이 맞은 영상(예컨대, 눈의 동공의 가장 잘 초점이 맞은 영상)을 제공하는지를 결정하기 위해, 눈 추적 IR 센서(134B)를 사용하여 획득된, 눈의 2개 이상의 영상들이 분석될 수 있게 한다.
일 예에 대해, 잠재적인 아이 릴리프 거리 범위가 7mm부터 27mm까지로서, 20mm에 걸쳐 있는 것으로 가정한다. 도 4c에서와 같이, 4개의 전자적 스위칭가능 회절 격자들(419)이 있다면, 전자적 스위칭가능 회절 격자들(419) 각각은 20mm 아이 릴리프 거리 범위의 상이한 5mm 구간(span)에 중심이 있는 초점 거리를 가질 수 있다. 이 예를 계속하면, 4개의 전자적 스위칭가능 회절 격자들(419)에 대한 4개의 상이한 초점 거리들은 9.5mm, 14.5mm, 19.5mm 및 24.5mm일 수 있다. 보다 구체적인 예에 대해, 전자적 스위칭가능 회절 격자(419a)에 대한 초점 거리는 9.5mm일 수 있고, 전자적 스위칭가능 회절 격자(419b)에 대한 초점 거리는 14.5mm일 수 있으며, 전자적 스위칭가능 회절 격자(419c)에 대한 초점 거리는 19.5mm일 수 있고, 전자적 스위칭가능 회절 격자(419d)에 대한 초점 거리는 24.5mm일 수 있다. 대안적으로, 이 순서가 재배열될 수 있는데, 그 이유는 전자적 스위칭가능 회절 격자들(419)이 가장 짧은 초점 거리로부터 가장 긴 초점 거리로의 순서로 있어야 한다는 요구사항이 없기 때문이다. 입력 커플러(414)는 대안적으로 4개 초과 또는 그 미만의 적층된 전자적 스위칭가능 회절 격자들(419)을 포함할 수 있다. 보다 일반적으로, 도 4c를 참조하여 기술되는 실시예에서, 입력 커플러(414)는 서로 평행하게 배열된 2개 이상의 전자적 스위칭가능 회절 격자들(419)의 스택을 포함하고, 여기서 전자적 스위칭가능 회절 격자들(419) 각각은 각자의 렌즈 파워 및 각자의 프리즘 파워를 가지며, 여기서 전자적 스위칭가능 회절 격자들 각각이 상이한 초점 거리를 갖도록, 전자적 스위칭가능 회절 격자들(419) 각각의 렌즈 파워는 서로 상이하다. 프리즘 파워가 복수의 전자적 스위칭가능 회절 격자들(419) 모두에 대해 동일할 수 있지만, 그러할 필요는 없다.
일 실시예에 따르면, 전자적 스위칭가능 회절 격자들 각각은 전자적 스위칭가능 브래그 격자(electronically switchable Bragg grating)(ESBG)이다. 이러한 실시예에서, 전자적 스위칭가능 브래그 격자들은 추적되고 있는 눈을 조명하는 적외광의 적외선 파장과 일치하는 브래그 파장(Bragg wavelength)을 가질 것이다. 다른 실시예에 따르면, 전자적 스위칭가능 회절 격자들 각각은 전자적 스위칭가능 니오브산리튬 회절 격자(electronically switchable lithium niobate diffraction grating)이다. 또 다른 실시예에서, 전자적 스위칭가능 회절 격자들 각각은 전자적 스위칭가능 POLYCRIPS 회절 격자이다. 다른 유형들의 전자적 스위칭가능 회절 격자들의 사용이 또한 가능하고, 본 기술의 범주 내에 속한다.
전자적 스위칭가능 회절 격자들(419)의 스택은, 앞서 언급된 바와 같이, 유리 또는 광학 플라스틱(이들로 제한되지 않음)으로 제조될 수 있는, 제1 및 제2 투명 층들(402, 404) 사이에 끼워져 있다. 일 실시예에 따르면, 전자적 스위칭가능 회절 격자들(419) 각각은 (예컨대, 유리 또는 광학 플라스틱으로 제조되는) 그 자신의 투명 층 쌍 - 이들 사이에는 2개의 상이한 값들 사이에서 전환될 수 있는 굴절률을 갖는 재료(예컨대, 홀로그래픽 중합체 분산 액정(Holographic Polymer-Dispersed Liquid Crystal))가 위치됨 - 을 포함한다. 이러한 투명 층들은, 예컨대, ITO(tin-doped indium oxide), AZO(aluminum doped zinc-oxide) 또는 인듐 도핑된 카드뮴 산화물(indium-doped cadmium-oxide)(이들로 제한되지 않음)과 같은, 투명 전도성 산화물(transparent conductive oxide)(TCO)로 제조되는, 투명 전도성 막(transparent conductive film)(TCF)으로 코팅될 수 있다. 다른 예에 대해, 각각의 전자적 스위칭가능 회절 격자들(419)의 투명 층 쌍을 코팅하는 투명 전도성 막은, 폴리(3,4-에틸렌디옥시티오펜)(PEDOT) 또는 폴리(4,4-디옥틸사이클로펜타디-티오펜)(이들로 제한되지 않음)과 같은, 투명 전도성 중합체로 제조될 수 있다. 이러한 투명 전도성 막들은 전자적 스위칭가능 회절 격자들(419)을 선택적으로 턴온 및 턴오프시키기 위해 전자적 스위칭가능 회절 격자들(419)의 측면들 사이에 전압 전위 차(voltage potential difference)를 선택적으로 인가하는 데 사용된다.
전자적 스위칭가능 회절 격자들(419) 각각은 보통 스위치 온되어 있거나 보통 스위치 오프되어 있을 수 있다. 전자적 스위칭가능 회절 격자(419)가 보통 스위치 온되어 있으면, 그것은 격자의 2개의 측면들 사이에 어떤 전압 전위 차가 인가되지 않을 때, 격자가 턴온되고; 격자의 측면들 사이에 전압 전위 차의 인가가 격자를 턴오프시킨다는 것을 의미한다. 전자적 스위칭가능 회절 격자(419)가 보통 스위치 오프되어 있으면, 그것은 격자의 측면들 사이에 어떤 전압 전위 차가 인가되지 않을 때, 격자가 턴오프되고; 격자의 측면들 사이에 전압 전위 차의 인가가 격자를 턴온시킨다는 것을 의미한다. 전자적 스위칭가능 회절 격자(419)가 턴오프될 때, 사용자의 눈으로부터 반사되고 격자에 입사하는 적외광은, 격자가 그곳에 없었던 것처럼, 본질적으로 격자를 통과한다. 보다 구체적으로는, 전자적 스위칭가능 회절 격자(419)가 턴오프될 때, 그의 굴절률은 도파관의 주변의 중합체의 굴절률과 거의 일치하며, 따라서 격자가 그에 입사하는 적외광에 대해 본질적으로 투명하다. 전자적 스위칭가능 회절 격자(419)가 턴온될 때, 사용자의 눈으로부터 반사되고 격자에 입사하는 적외광은 도파관(412) 내로 커플링되고 도파관(412) 내에서 내부 전반사를 통해 턴온된 격자로부터 출력 커플러(424) 쪽으로 전파하며 출력 커플러(424)에 근접하여 도파관을 빠져나간다.
일 실시예에 따르면, 입력 커플러 제어기(223)(도 3a의 논의에서 소개됨)는, 한 번에 전자적 스위칭가능 회절 격자들 중 하나만이 턴온되도록, 전자적 스위칭가능 회절 격자들(419)의 턴온 및 턴오프를 제어한다. 전자적 스위칭가능 회절 격자들(419)의 각각의 개별적인 전자적 스위칭가능 회절 격자가 턴온될 때, IR 눈 추적 센서(134B)는, 입력 커플러(414)의 턴온된 격자(419)에서 도파관(412)에 들어가는, 사용자의 눈으로부터 반사되는 적외광 빔들에 의존하여 눈을 영상화하고(즉, 눈의 영상을 생성하고), 도파관(412) 내에서 내부 전반사를 통해 전파하며, 출력 커플러(424)에서 도파관(412)을 빠져나간다. 예를 들어, 도 4c를 참조하면, 전자적 스위칭가능 회절 격자(419a)가 턴온되어 있는(그리고 격자들(419b, 419c 및 419d)이 턴오프되어 있는) 동안, IR 눈 추적 센서(134B)는, 사용자의 눈으로부터 반사되고 턴온된 격자(419a)에서 도파관(412)에 들어가는 적외광 빔들에 의존하여, 눈을 영상화한다(즉, 눈의 영상을 생성한다). 도 4c를 여전히 참조하면, 전자적 스위칭가능 회절 격자(419b)가 턴온되어 있는(그리고 격자들(419a, 419c 및 419d)이 턴오프되어 있는) 동안, IR 눈 추적 센서(134B)는, 사용자의 눈으로부터 반사되고 턴온된 격자(419b)에서 도파관(412)에 들어가는 적외광 빔들에 의존하여, 눈을 영상화한다. 전자적 스위칭가능 회절 격자(419c)가 턴온되어 있는(그리고 격자들(419a, 419b 및 419d)이 턴오프되어 있는) 동안, 눈 추적 IR 센서(134B)는, 눈으로부터 반사되고 턴온된 격자(419c)에서 도파관(412)에 들어가는 적외광 빔들에 의존하여, 눈을 영상화한다. 마지막으로, 전자적 스위칭가능 회절 격자(419d)가 턴온되어 있는(그리고 격자들(419a, 419b 및 419c)이 턴오프되어 있는) 동안, 눈 추적 IR 센서(134B)는, 눈으로부터 반사되고 턴온된 격자(419d)에서 도파관(412)에 들어가는 적외광 빔들에 의존하여, 눈을 영상화한다.
실제 아이 릴리프 거리에 가장 가까운 초점 거리를 가지는 전자적 스위칭가능 회절 격자들(419) 중 전자적 스위칭가능 회절 격자를 사용하여 획득되는 눈의 영상이 다수의 영상들 중 가장 초점이 맞는 것(in-focus)일 것이다. 일 실시예에 따르면, 영상 분석기(225)(도 3a의 논의에서 소개됨)는, 전자적 스위칭가능 회절 격자들(419) 중 어느 전자적 스위칭가능 회절 격자가, 스위치 온될 때, 눈 또는 그의 일부분의(예컨대, 눈의 동공의) 가장 잘 초점이 맞은 영상을 제공하는지를 결정하기 위해, 눈 추적 IR 센서를 사용하여 획득된, 눈의 다수의 영상들을 분석한다. 특정 실시예들에 따르면, 영상 분석기(225)는 복수의 전자적 스위칭가능 회절 격자들(419)(각각이 상이한 초점 거리를 가짐) 중 어느 전자적 스위칭가능 회절 격자가 가장 잘 초점이 맞은 영상을 제공하는지를 결정하기 위해, 본 기술 분야에 널리 공지되어 있는, 하나 이상의 자동 초점 기법들을 사용할 수 있다. 이러한 자동 초점 기법들은, 예를 들어, 영상 선명도 메트릭, 또는 보다 일반적으로, 초점 메트릭을 결정하기 위해 해상도, 콘트라스트, 및/또는 엔트로피의 척도들을 결정할 수 있다. 예를 들어, 해상도 메트릭이 결정되고 초점 메트릭으로서 사용될 수 있다. 영상이 디포커싱(defocus)되고 해상도가 상실될 때 영상 세부들이 블러링(blur)되기 때문에, 해상도가 높을수록, 초점이 좋아진다. 특정 실시예들에서, 해상도의 메트릭은 푸리에 주파수 성분의 고주파수 성분이다. 다른 예에 대해, 콘트라스트 메트릭이 결정되고 초점 메트릭으로서 사용될 수 있다. 영상은 초점이 맞지 않을 때보다 초점이 맞을 때 더 선명하고, 그 결과 영상의 이웃하는 픽셀들 사이에 더 큰 콘트라스트가 얻어진다. 특정 실시예들에서, 콘트라스트 메트릭을 결정하기 위해 플롯의 기울기가 분석될 수 있고, 여기서 기울기가 급할수록 콘트라스트가 크고, 따라서 초점이 좋다. 이들은, 모두 포괄하는 것으로 의도되지 않는, 사용될 수 있는 자동 초점 기법들의 몇 가지 예들에 불과하다. 이러한 기법들은 회로부 및/또는 프로세서(예컨대, 210)를 사용하여 수행되는 알고리즘을 사용하여 구현될 수 있다. 환언하면, 영상 분석 모듈은 하드웨어, 펌웨어, 소프트웨어, 또는 이들의 조합을 사용하여 구현될 수 있다.
일 실시예에 따르면, 가장 초점이 맞은 영상을 제공하는 전자적 스위칭가능 회절 격자(419)가 식별되면, 입력 커플러 제어기(223)(도 3a의 논의에서 소개됨)는 눈의 가장 초점이 맞은 영상을 제공하는, 전자적 스위칭가능 회절 격자들(419) 중 전자적 스위칭가능 회절 격자가 눈 추적 동안 눈을 영상화하는 데 사용되게 한다. 전자적 스위칭가능 회절 격자들(419) 각각이 보통 턴오프되어 있으면, 입력 커플러 제어기(223)는, 눈 추적이 수행되고 있는 동안 눈의 가장 초점이 맞은 영상을 제공한 격자(419)를 턴온시키기 위해, 그 격자(419)의 반대쪽 측면들 사이에 적절한 전압 전위 차가 인가되게 할 것이다. 전자적 스위칭가능 회절 격자들(419) 각각이 보통 턴온되어 있으면, 입력 커플러 제어기(223)는, 눈 추적이 수행되고 있는 동안 눈의 가장 초점이 맞은 영상을 제공하지 않은 격자들(419)을 턴오프시키기 위해, 그 격자들(419) 중 하나 이상의 격자들의 반대쪽 측면들 사이에 적절한 전압 전위 차가 인가되게 할 것이다.
본 기술의 특정 실시예들은, 눈(440)과 입력 커플러(414) 사이의 거리(즉, 아이 릴리프 거리)가 입력 커플러(414)의 초점 거리와 정확히 동일하지 않을 때, 도파관 눈 추적기(400)에 내재되어 있는 다수의 영상들의 효과들을 감소시키고 바람직하게는 최소화시킨다. 일부 이러한 실시예들은 접선 방향에서(즉, 전파 방향에서) 아주 좁은 각도 대역폭을 갖도록 입력 커플러(414)를 설계함으로써 다수의 영상들 사이의 거리(들)를 감소시키고 바람직하게는 최소화시키는 것에 의해 이것을 행한다. 보다 구체적으로는, 일 실시예에 따르면, 입력 커플러(414)의 각도 대역폭(ABW)은 5도 이하, 바람직하게는 2도 이하, 보다 바람직하게는 1도와 2도 사이, 그리고 훨씬 더 바람직하게는 ~ 1.5도이다.
그 용어가 본원에서 사용되는 바와 같이, 입력 커플러(414)와 같은, 회절 격자의 각도 대역폭(ABW)은 입사각의 피크 회절 효율(diffraction efficiency)(DE)을 중심으로 한 각도 범위이고, 그 내에서 DE는 피크 DE의 50% 이상이다. 그에 따라, ABW는 보다 정확하게는 본원에서 FWHM(full width half max) ABW라고 지칭될 수 있다. 유익하게도, 이러한 좁은 ABW를 가지는 회절 격자는 용이하게 설계 및 제조될 수 있다.
ABW를 이러한 좁은 각도로 제한하는 것에 의해, 눈(440) 위의 동일한 지점으로부터 반사되는 적외광이 도파관 내에서 평행화되지 않을 수 있는 정도가 상당히 제한된다. 환언하면, 입력 커플러(414)의 아주 좁은 ABW는 눈(440) 위의 동일한 지점으로부터 반사되는(그리고 입력 커플러(414)에서 도파관에 들어가는) 얼마의 적외광 빔들이 도파관(412) 내에서 완벽하게 평행화되는 것으로부터 벗어날 수 있는지를 제한한다. 보다 일반적으로, 좁은 ABW를 가지는 입력 커플러(414)의 사용은 눈으로부터의 반사된 광의 원추각(cone angle)을 제한하고, 그로써 영상화의 피사계 심도(depth of field)를 증가시킴으로써, 도파관 눈 추적기(400)를 눈과 입력 커플러(414) 사이의 일정 범위의 거리들과 부합하게 만든다.
기술 분야에 공지된 바와 같이, 특정 파장을 중심으로 한 파장 범위(대역폭)에서 큰 회절 효율에 도달될 수 있도록, 회절 격자가 굴절률의 주기적 변동을 갖도록 설계될 수 있다. 예를 들어, 회절 격자가 볼륨 브래그 격자인 경우, 회절된 파장 λB(브래그 파장이라고도 알려져 있음)는 브래그 조건 sin B = B / (2neff)에 의해 정의되고, 고정된 브래그 입사 방향(Bragg incident direction) B에 대해 도파관의 유효 굴절률(neff) 및 격자 주기성(Λ)에 비례한다. 볼륨 브래그 격자는 격자 주기성(Λ)을 정의하는 격자 평면들(프린지(fringe), 프린지 평면(fringe plane) 또는 브래그 평면(Bragg plane)이라고도 지칭됨)을 포함한다. 볼륨 브래그 격자의 k-벡터들은 이 브래그 평면들에 직교(즉, 그에 수직)이다. 일 실시예에 따르면, 브래그 파장 λB는 눈 추적을 위해 사용되는 적외광의 파장과 일치한다(즉, 그와 실질적으로 같다). 보다 일반적으로, 회절 격자의 k-벡터들은 회절 격자의 격자 평면들에 직교(즉, 그에 수직)이다.
도 4b를 간략히 다시 참조하면, 적외광 빔(파선 화살표들로 표현됨)이 입력 커플러(414)의 418로 부기된 영역에서 회절될 때, 적외광 빔은 고효율로 도파관 모드 내로 회절된다. 입력 커플러(414)의 처방이 420으로 부기된 영역에서, 418로 부기된 영역에서와, 정확히 동일하면, 적외광(점선 화살표들로 표현됨)의 대부분이 420으로 부기된 영역에서 도파관 밖으로 회절될 것이다. 이것은 바람직하지 않은데, 그 이유는 그 결과 (입력 커플러(414)에 의해) 도파관(412) 내로 회절되는 적외광의 부분들이 출력 커플러(424)에 도달하지 않게 되고, 그로써 디바이스의 전체적인 광학 효율을 상당히 감소시키며, 영상 처리 측면에서, 신호대 잡음비(signal-to-noise ratio)(SNR)를 감소시키기 때문이다.
특정 실시예들에 따르면, 입력 커플러(414)에 의해 도파관 밖으로 회절되는 적외광의 양을 감소시키고 바람직하게는 최소화하기 위해, 입력 커플러(414)의 하부 경계(415)와 상부 경계(416) 사이에서 입력 커플러(414)의 처방이 변화된다. 이것은, 420으로 부기된 격자(419)의 k-벡터가 418로 부기된 k-벡터로부터 충분히 천이되도록, 입력 커플러(414)의 전자적 스위칭가능 회절 격자들(419) 각각을 설계하는 것에 의해 달성된다. 이 결과, 바람직하게는 420으로 부기된 영역에서 그리고 입력 커플러(414)의 다른 영역들에서 도파관 밖으로 회절되는(즉, 아웃커플링(outcouple)되는) 적외광의 양을 상당히 감소시키기 위해 효율 곡선의 피크가 충분히 각도 천이된다. 그에 부가하여, 웨지 및 렌즈 파워의 원하는 조합을 달성하기 위해, 격자 주기(즉, 인접한 격자 평면들 사이의 거리) 그리고 따라서 격자 주파수(격자 주기의 역수임)가 입력 커플러(414)의 전자적 스위칭가능 회절 격자들(419) 각각의 상부 경계(416)와 하부 경계(415) 사이에서 변화된다.
보다 구체적으로는, 특정 실시예들에 따르면, 입력 커플러(414)의 전자적 스위칭가능 회절 격자들(419) 각각은 그의 상부 경계(416)에서의 k-벡터 각도보다 더 큰 그의 하부 경계(415)에서의 k-벡터 각도를 가지며, 하부 경계(415)와 상부 경계(416) 사이의 k-벡터 각도들은 점진적으로 감소한다. 이러한 회절 격자(419)는 변하는 k-벡터 또는 롤링되는 k-벡터(rolled k-vector)를 갖는다고 말해질 수 있다. 적외광이 도파관(412)에서 전파되는 방향을 따라 회절 격자(419)의 k-벡터 각도를 변화시키는 것에 의해, 도파관(412) 내로 커플링되는 적외광의 대부분(그리고 바람직하게는 전부 또는 실질적으로 전부)이 내부 전반사에 의해 도파관(412)을 따라 전송되게 하고, 그 지점에서 적외광이 출력 커플러(424)에 의해 아웃커플링되는 방식으로 적외광의 도파관(412) 내로의 효율적인 커플링이 달성된다.
특정 실시예들에 따르면, 입력 커플러(414)의 전자적 스위칭가능 회절 격자들(419) 각각은 그의 상부 경계(416)에서의 격자 주기보다 더 작은 그의 하부 경계(415)에서의 격자 주기(격자 간격이라고도 지칭될 수 있음)를 가지며, 하부 경계(415)와 상부 경계(416) 사이의 격자 주기는 점진적으로 증가한다. 이러한 회절 격자(419)는 변하는 격자 주기를 갖는다고 말해질 수 있다. 이것은 입력 커플러(414)의 전자적 스위칭가능 회절 격자들(419) 각각이 그의 상부 경계(416)에서의 격자 주파수보다 더 큰 그의 하부 경계(415)에서의 격자 주파수를 가지며, 하부 경계(415)와 상부 경계(416) 사이의 격자 주파수가 점진적으로 감소한다고 말하는 것과 동일하다. 입력 커플러(414)의 이러한 전자적 스위칭가능 회절 격자들(419)은 변하는 격자 주파수를 갖는다고 말해질 수 있다.
일 실시예에서, 입력 커플러(414)의 각각의 전자적 스위칭가능 회절 격자들(419)의 렌즈 파워 및 웨지 파워는 격자 주파수를 변화시키는 것에 의해 달성된다. 렌즈 파워는 눈 평면으로부터의 광을 집속시킨다. 아이 릴리프(눈 동공 평면으로부터 입력 회절 격자까지의 거리)가 회절 렌즈 초점 거리와 같을 때, 광이 렌즈 파워에 의해 평행화된다. 기판에서의 최소 회절 각도가 기판 내에서의 내부 전반사(TIF)에 대한 임계각을 넘고 따라서 도파관 내에서 안내되도록, 웨지 파워 성분이 이 평행화된 광을 회절시킨다. 입력 커플러(414)의 전자적 스위칭가능 회절 격자들(419)의 렌즈 파워와 웨지 파워의 조합으로 인해, 입력 커플러(414)의 (하부 경계(415) 근방에 있는) 하부 부분에 입사하는 광이 (상부 경계(416) 근방에 있는) 상부 부분에 입사하는 광보다 더 큰 각도로 회절되어 진행한다. 피크 효율에 대한 입력 각도들이 모드 실질적으로 동일하기 때문에, 입력 커플러(414)의 회절 격자(419)에 대한 구성 광학계(construction optics)의 제1 빔이 거의 평행하게 되는 것은 당연하다. 회절력이 회절 렌즈 파워와 웨지 파워의 조합에 따라 변하고 있기 때문에, 회절 기록(diffraction recording)을 위한 제2 구성 빔(construction beam)이 실질적으로 수렴하게 될 것임은 당연하다. 이 2개의 빔들의 조합은, 일 실시예에 따른, k-벡터가 자연스럽게 변하는 회절 격자를 제공한다. 바람직하게는, 회절 효율과 회절력이 입력 커플러(414)의 효율 및 기하학적 속성들을 충족시키게 최적화되도록 2개의 구성 빔들이 최적화된다.
이하의 표는 입력 커플러(414)의 이러한 전자적 스위칭가능 회절 격자(419)의 예시적인 k-벡터 각도들과, 격자 주기들 및 주파수들을 나타내고 있으며, 여기서 하부 경계(415)와 상부 경계(416) 사이의 총 거리는 16mm이다.
Figure 112017039927237-pct00001
이상의 표에서, 간단함과 일관성을 위해, 입력 커플러(414)의 전자적 스위칭가능 회절 격자에 입사하는 적외광 빔의 0도 입사각이 있는 것으로 가정된다. 그렇지만, 그럴 필요는 없으며, 본원에 기술되는 실시예들은 그 조건으로 제한되지 않는다.
회절 격자의 k-벡터들은, 정의에 의해, 회절 격자의 프린지 평면들에 직교(즉, 그에 수직)이다. 도 4d로부터 알 수 있는 바와 같이, 용어 k-벡터 각도는, 본원에서 사용되는 바와 같이, 회절 격자의 표면 법선에 대한 k-벡터의 각도를 지칭한다. 도 4d를 참조하면, (다수의 프린지 평면들 중) 2개의 프린지 평면들(424)이 거기에 도시되어 있다(그의 다른 것들은 도시되지 않음). 회절 격자의 표면에 직교인 파선들(430)이 또한 도 4d에 도시되어 있다. 2개의 k-벡터들이 또한 도시되어 있고, 그 각각은 각자의 프린지 평면(424)에 수직이고, 그 각각은 회절 격자의 표면 법선에 대해 상이한 k-벡터 각도를 갖는다.
앞서 살펴본 바와 같이, 특정 실시예들에 따르면, 입력 커플러(414)의 전자적 스위칭가능 회절 격자들(419) 각각은 롤링되는 k-벡터를 가지며, 여기서 그의 하부 경계(415)에서의 k-벡터 각도는 그의 상부 경계(416)에서의 k-벡터 각도보다 더 크고, 하부 경계(415)와 상부 경계(416) 사이의 k-벡터 각도들은 점진적으로 감소한다. 이러한 롤링되는 k-벡터를 좁은 ABW와 커플링하여 사용하는 것은 유익하게도 눈 추적 IR 센서(134B)에 도달하는 반사된 적외광의 양을 실질적으로 최대화하는 데 도움을 준다. 롤링되는 k-벡터는 또한, 바람직하지 않게도 도파관(412)을 포함하는 헤드 마운티드 디스플레이 디바이스(예컨대, 디바이스(2))의 착용자에게 보일 수 있는 무지개 효과(rainbow effect)를 생성할 수 있는, 크로마틱 플레어(chromatic flare)의 양을 감소시키는 데 도움을 준다. 실험들은 입력 커플러가 높은 ABW를 가지면, (예컨대, 태양 또는 텅스텐 전구에 의해 생성되는) 광폭 스펙트럼 조명이 입력 커플러에 들어가고 도파관 모드 내로 회절될 때, 무지개 효과가 보일 수 있다는 것을 보여주었다. 이러한 광폭 스펙트럼 조명의 회절 각도는, 회절 방정식(diffraction equation)에 의해 명시되는 바와 같이, 광의 각각의 상이한 파장에 대해 상이하다. 입력 커플러에서 도파관에 들어가는 광 빔들 중 일부는 빔들이 도파관 내에서 출력 커플러 쪽으로 진행할 때 한 번 이상 추가로 입력 커플러에 입사한다. 이 광의 일부는 도파관 밖으로 사용자의 눈의 방향으로 회절될 수 있다. 회절 격자의 프린지 평면들 사이의 간격이 도파관의 길이를 따라서 변하기 때문에, 도파관을 빠져나가는 회절 각도들이 도파관에 들어가는 각도들과 상이하다. 이것은 광(예컨대, 백색광)을 다수의 스펙트럼선들로 분할시킬 수 있고, 이는 무지개 효과를 야기한다. 그렇지만, 넓은 ABW 대신에, 좁은 ABW를 사용하는 것에 의해, 이러한 무지개 효과가 유익하게도 실질적으로 제거될 수 있다. 이 메커니즘은 굴절률의 변조가 낮은 홀로그램들에 의해 지원된다. 이것은, 비교적 큰 시야를 지원하기 위해 고 변조 홀로그램(high modulation hologram)들일 필요가 있는, 영상들을 디스플레이하는 데 사용되는 홀로그램들에 대해 일반적으로 요망되는 것과 반대이다.
눈 움직임 범위는 사용자의 눈(440)이 여전히 입력 커플러(414)의 FOV(field-of-view) 내에, 그리고 따라서 IR 눈 추적 센서(134B)의 FOV 내에 있으면서 움직일 수 있는 면적을 나타낸다. 눈 움직임 범위의 예시적인 크기는 16mm x 28mm(수직 x 수평)이다. 전술한 전자적 스위칭가능 회절 격자들(419) 각각은 눈 움직임 범위 전체를 영상화하는 데 사용될 수 있다. 대안적으로, 제1 전자적 스위칭가능 회절 격자(419)(또는 서로 평행하게 배열된 전자적 스위칭가능 회절 격자들(419)의 제1 스택)가 제2 전자적 스위칭가능 회절 격자(419)에(또는 서로 평행하게 배열된 전자적 스위칭가능 회절 격자들(419)의 제2 스택에) 인접하도록, 눈 움직임 범위가 다수의 구역들로 분할될 수 있고, 제2 전자적 스위칭가능 회절 격자(419)(또는 전자적 스위칭가능 회절 격자(419)의 제2 스택)는 제1 전자적 스위칭가능 회절 격자(419)(또는 전자적 스위칭가능 회절 격자들(419)의 제1 스택)에 의해 제공되는 시야와 상이한 시야를 제공한다.
전자적 스위칭가능 회절 격자들(419)의 각각의 스택이 예시적인 16mm x 28mm 눈 움직임 범위의 수평 절반 - 즉, 각각의 영상들은 8mm x 28mm임 - 을 영상화하도록, 제1 및 제2 전자적 스위칭가능 회절 격자들(419)이 수평으로 서로 인접하게 배열될 수 있다. 이와 유사하게, 전자적 스위칭가능 회절 격자들(419)의 각각의 스택이 예시적인 16mm x 28mm 눈 움직임 범위의 수평 절반 - 즉, 각각의 영상들은 8mm x 28mm임 - 을 영상화하도록, 전자적 스위칭가능 회절 격자들(419)의 제1 및 제2 스택들이 수평으로 서로 인접하게 배열될 수 있다.
각각의 전자적 스위칭가능 회절 격자(419)가 예시적인 16mm x 28mm 눈 움직임 범위의 수직 절반 - 즉, 각각의 영상들은 16mm x 14mm임 - 을 영상화하도록, 제1 및 제2 전자적 스위칭가능 회절 격자들(419)이 대안적으로 수직으로 서로 인접하게 배열될 수 있다. 이와 유사하게, 전자적 스위칭가능 회절 격자들(419)의 각각의 스택이 예시적인 16mm x 28mm 눈 움직임 범위의 수직 절반 - 즉, 각각의 영상들은 16mm x 14mm임 - 을 영상화하는 데 사용될 수 있도록, 전자적 스위칭가능 회절 격자들(419)의 제1 및 제2 스택들이 수직으로 서로 인접하게 배열될 수 있다.
눈 움직임 범위를 다수의 수평 구역들과 다수의 수직 구역들로 분할하는 것이 또한 가능할 것이다. 예를 들어, 2 x 2 패턴으로 배열된 4개의 전자적 스위칭가능 회절 격자들(419)(또는 그의 스택들)을 포함하는 입력 커플러(414)를 사용하여 눈 움직임 범위가 4개의 구역들로 분할되고 영상화될 수 있다. 눈 움직임 범위의 영상화를 다수의 구역들로 분할하기 위해 다수의 전자적 스위칭가능 회절 격자들(419)(또는 그의 스택들)을 사용하는 것에 부가하여, IPD(inter-pupillary distance)에서의 보다 큰 변동들 그리고 다른 눈 위치 및 얼굴 특징들에서의 변동들을 수용하기 위해 눈 움직임 범위의 전체적인 크기를 증가시키는 데 다수의 전자적 스위칭가능 회절 격자들(419)(또는 그의 스택들)이 사용될 수 있다.
보다 일반적으로, 입력 커플러(414)의 2개 이상의 전자적 스위칭가능 회절 격자들(419)(또는 그의 스택들)이 수직으로 겹치게 배열될 수 있다. 다른 대안으로서 또는 그에 부가하여, 2개 이상의 전자적 스위칭가능 회절 격자들(419)(또는 그의 스택들)이 수평으로 나란히 배열될 수 있다. 이러한 실시예들에서, 입력 커플러 제어기(223)는, 한 번에 하나의 격자(419)만이 턴온되도록, 다수의 전자적 스위칭가능 회절 격자들(419)을 제어할 수 있다. 이러한 실시예들에서, 눈이 다수의 프레임들에서 영상화될 수 있다. 눈이 격자들(419) 또는 그의 스택의 하나만의 FOV 내에 있을 수 있고 따라서 단일의 프레임에서 여전히 영상화될 수 있는 것이 또한 가능하다.
도 4e는, 입력 커플러(414)과 출력 커플러(424)를 포함하는, 도파관(412)의 예시적인 정면도를 나타내고 있으며, 여기서 입력 커플러(414)는 전자적 스위칭가능 회절 격자(419)(또는 그의 스택)를 포함한다. 도 4f는 눈 움직임 범위가, 419a 및 419b로 부기된, 2개의 전자적 스위칭가능 회절 격자들(또는 그의 스택들)을 서로 수평으로 인접하게 배치하는 것에 의해 어떻게 2개의 구역들로 분할될 수 있는지를 나타내고 있다. 도 4g는 눈 움직임 범위가, 419a 및 419b로 부기된, 2개의 전자적 스위칭가능 회절 격자들(또는 그의 스택들)을 서로 수직으로 인접하게 배치하는 것에 의해 어떻게 2개의 구역들로 분할될 수 있는지를 나타내고 있다. 도 4h는 눈 움직임 범위가, 419a, 419b, 419c 및 419d로 부기된, 전자적 스위칭가능 회절 격자들(또는 그의 스택들)의 2 x 2 타일링을 사용하여 어떻게 4개의 구역들로 분할될 수 있는지를 나타내고 있다. 이들은 입력 커플러(414)의 다수의 전자적 스위칭가능 회절 격자들(419) 또는 전자적 스위칭가능 회절 격자들(419)의 다수의 스택들이 어떻게 배열될 수 있는지의 몇 개의 예들에 불과하고, 이들은 모두 포괄하는 것으로 의도되어 있지 않다.
도 4f 내지 도 4h를 참조하여 기술된 실시예들에서, 입력 커플러(414)는 전자적 스위칭가능 회절 격자들 중 적어도 일부가 서로 상이한 시야들을 갖도록 서로에 대해 배열된 복수의 전자적 스위칭가능 회절 격자들(419)을 포함한다. 입력 커플러(414)의 전자적 스위칭가능 회절 격자들(419) 각각은, 턴온될 때, 적외광을 수광하고 수광된 적외광을 도파관(412) 내로 커플링시킨다. 특정 실시예에서, 입력 커플러 제어기(223)는, 한번에 전자적 스위칭가능 회절 격자들(419) 중 하나의 전자적 스위칭가능 회절 격자만 턴온되도록, 전자적 스위칭가능 회절 격자들(419) 각각이 턴온되는 때를 제어한다. 눈 추적 IR 센서(134B)는 출력 커플러(424)에서 도파관(412)을 빠져나가는 적외광 빔들에 의존하여 눈을 영상화한다. 일 실시예에 따르면, 영상 분석 모듈(225)은 전자적 스위칭가능 회절 격자들(419)의 어느 하나 이상의 전자적 스위칭가능 회절 격자들이, 턴온될 때, 그의 시야 내에 눈 또는 그의 일부분을 포함하는지를 결정하기 위해, 센서를 사용하여 획득된, 영상들을 분석한다. 격자들(419) 중 하나가 그의 시야 내에 눈 전체(또는 관심의 눈의 일부분 전체)를 포함하면, 그 격자(419)는 그 후에 눈 추적을 사용될 수 있다. 눈(또는 관심의 눈의 일부분)이 부분적으로 하나 초과의 격자(419)의 시야 내에 있는 것이 또한 가능하고, 이 경우에, 전자적 스위칭가능 회절 격자들(419) 중 하나 초과의 전자적 스위칭가능 회절 격자를 사용하여 획득된 영상들이 눈 추적을 위해 사용될 수 있다.
전자적 스위칭가능 회절 격자들(또는 그의 스택들)을 수평 및/또는 수직 방향으로 서로에 인접하게 배열하는 것은 타일링이라고 지칭될 수 있다. 전자적 스위칭가능 회절 격자들(또는 그의 스택들)을 서로 나란히 타일링하는 하나의 이유는, 눈의 영상들의 공간 해상도를 감소시키는 일 없이, 눈 움직임 범위를 증가시키기 위한 것이다. 예를 들어, 눈 추적 IR 센서(134B)의 분해능을 증가시키는 일 없이 눈 움직임 범위의 크기를 2배로 하는 것이 요망되면, 인접한 전자적 스위칭가능 회절 격자들(또는 그의 스택들)의 수가 간단히 2배로 될 수 있다. 이와 달리, 이러한 타일링은 그 대신에 타일링의 정도(extent)를 증가시키는 것에 의해 눈 추적 IR 센서(134B)의 분해능을 감소시키는 데 사용될 수 있다. 전자적 스위칭가능 회절 격자들(또는 그의 스택들)을 타일링하는 것의 다른 이점은 이러한 타일링이 도파관 내에서의 높은 입사각들을 실질적으로 피하기 위해 사용될 수 있다는 것이다.
도 5는 마스터 홀로그램 - 이는 차례로 입력 커플러(414)의 회절 격자(419)를 생성하기 위해 밀착 복사 프로세스에서 사용될 수 있음 - 을 발생시키기 위해 렌즈 파워와 웨지 파워가 2 빔 프로세스에서 어떻게 커플링될 수 있는지를 나타내고 있다. 도 5를 참조하면, 제1 표면(502), 커버 렌즈(504), 기록되는 마스터 홀로그램을 발생시키는 데 사용되는 홀로그래픽 기록 매체(506), 비축 렌즈 시스템(508), 및 제2 표면(510)이 거기에 도시되어 있다. 홀로그래픽 기록 매체(506)는 중크롬산 젤라틴(dichromated gelatin) 또는 광중합체일 수 있지만, 이들로 제한되지 않는다. 제1 빔은 제1 표면(502)으로부터 방출하는 평행화된 빔에 의해 발생된다. 제1 빔은, 기록 매체(506)에 입사하기 전에, 커버 렌즈(504)에 의해 수렴된다. 제2 빔은 제2 표면(510)으로부터 방출하는 평행화된 빔에 의해 발생된다. 이 빔은, 기록 매체에 입사하기 전에, 비축 렌즈 시스템(508) 및 커버 렌즈(504)에 의해 수정된다. 이 2개의 빔들은 홀로그래픽 기록 매체(506)에 간섭 패턴을 생성함으로써 마스터 홀로그램을 발생시키기 위해 서로를 간섭한다. 이러한 마스터 홀로그램은 이어서 밀착 복사를 사용하여 입력 커플러(414)의 회절 격자들(419)을 대량 생산하기 위해 사용될 수 있다. 밀착 복사물의 렌즈 파워 또는 회절력은 마스터 홀로그램이 복사물과 직접 접촉하는 경우에만 동일할 것이다. 마스터와 복사물 사이에 갭 또는 거리가 있는 경우, 마스터 홀로그램이 이 갭을 보상하도록 설계되어야만 한다.
도 6은 눈 추적에서 사용하기 위한 방법을 요약하는 데 사용되는 플로우차트이다. 도 6을 참조하면, 단계(602)에서, 도파관의 입력 커플러가 일반적으로 눈과 축방향으로 정렬되어 있는 동안 눈이 적외광으로 조명된다. 도 4c를 참조하여 앞서 기술된, 특정 실시예들에 따르면, 입력 커플러는 서로 평행하게 배열된 2개 이상의 전자적 스위칭가능 회절 격자들의 스택을 포함한다. 전자적 스위칭가능 회절 격자들 각각은 각자의 렌즈 파워 및 각자의 프리즘 파워를 가지며, 전자적 스위칭가능 회절 격자들 각각이 상이한 초점 거리를 갖도록, 전자적 스위칭가능 회절 격자들 각각의 렌즈 파워는 서로 상이하다.
도 6을 여전히 참조하면, 단계(604)는, 전자적 스위칭가능 회절 격자들 각각이 개별적인 시구간 동안 개별적으로 턴온되도록, 선택적으로 한 번에 입력 커플러의 전자적 스위칭가능 회절 격자들 중 하나만이 턴온되게 하는 것을 포함한다. 단계(606)는, 입력 커플러에 의해 도파관 내로 커플링되는 적외광의 적어도 대부분(그리고 바람직하게는 전부 또는 실질적으로 전부)이 도파관 내에서 도파관의 출력 커플러 쪽으로 전파하게 하기 위해, 입력 커플러의 하부 경계와 상부 경계 사이에서 점진적으로 감소하는 k-벡터 각도들을 사용하는 것을 포함한다. 단계(606), 또는 별개의 단계가 또한 상이한 적외광 빔들이 입력 커플러로부터 출력 커플러로 전파할 때, 눈 위의 동일한 지점으로부터 반사된 후에 도파관 내로 커플링되는, 상이한 적외광 빔들이 비평행화될 수 있는 정도를 제한하기 위해 5도 이하인 입력 커플러의 각도 대역폭을 사용하는 것을 포함할 수 있다. 단계(608)에 나타낸 바와 같이, 도파관의 출력 커플러가 입력 커플러로부터 출력 커플러 쪽으로 전파한 적외광 빔들이 도파관을 빠져나가게 하는 데 사용된다.
단계(610)는, 입력 커플러의 전자적 스위칭가능 회절 격자들 각각이 개별적으로 턴온되는 동안, 도파관의 출력 커플러에서 도파관을 빠져나가는 적외광 빔들에 의존하여, 눈을 개별적으로 영상화함으로써 눈의 2개 이상의 영상들을 획득하는 것을 포함한다. 예를 들어, 입력 커플러가 서로 평행하게 배열된 4개의 전자적 스위칭가능 회절 격자들 - 도 4b에서와 같이, 그 각각은 그 자신의 초점 거리를 가짐 - 의 스택을 포함하는 경우, 눈의 4개의 영상들이 단계(610)에서 획득될 수 있다.
단계(612)는 입력 커플러의 전자적 스위칭가능 회절 격자들 중 어느 전자적 스위칭가능 회절 격자가, 턴온될 때, 눈 또는 그의 일부분의 가장 잘 초점이 맞은 영상을 제공하는지를 결정하기 위해 눈의 2개 이상의 영상들을 분석하는 것을 포함한다. 용어 '가장 잘(best)'은, 본원에서 사용되는 바와 같이, 최적을 지칭하려는 것으로 의도되어 있지 않은 상대적 용어이다. 환언하면, 복수의 영상들 중 가장 잘 초점이 맞은 영상이 꼭 완벽하게 초점이 맞은 영상인 것은 아니다. 오히려, 가장 잘 초점이 맞은 영상은 다른 영상들보다 더 초점이 맞은 복수의 영상들 중 영상이다. 앞서 부가로 상세히 기술된, 특정 실시예들에 따르면, 단계(612)는 2개 이상의 영상들 각각의 해상도, 콘트라스트, 또는 엔트로피 중 적어도 하나의 척도를 결정함으로써 2개 이상의 영상들 각각에 대한 초점 메트릭(metric of focus)을 결정하는 것을 포함할 수 있다. 단계(612)는 또한 2개 이상의 영상들 중 어느 영상이 가장 큰 초점 메트릭을 가지는지를 결정하는 것, 및 가장 큰 초점 메트릭을 가지는 영상을 획득하는 데 사용되었던 입력 커플러의 전자적 스위칭가능 회절 격자들 중 전자적 스위칭가능 회절 격자를 눈 또는 그의 일부분의 가장 잘 초점이 맞은 영상을 제공하는 전자적 스위칭가능 회절 격자로서 선택하는 것을 포함할 수 있다.
단계(614)는 눈 또는 그의 일부분의 가장 잘 초점이 맞은 영상을 제공하는 입력 커플러의 전자적 스위칭가능 회절 격자가 턴온되는 동안 도파관에 들어간 적외광 빔들에 의존하여 눈 추적 데이터를 발생시키는 것을 포함한다. 단계(616)는 눈 추적 데이터에 기초하여 응용분야의 양태를 제어하거나 수정하는 것을 포함한다. 보다 일반적으로, 눈 또는 그의 일부분의 가장 잘 초점이 맞은 영상을 제공하는 입력 커플러의 전자적 스위칭가능 회절 격자가 턴온되는 동안 획득되는 눈의 하나 이상의 영상들을 사용하여 눈 추적이 수행된다. 앞서 설명된 바와 같이, 이것은 눈 추적 IR 센서(예컨대, 134B)를 사용하여 달성될 수 있다. 센서는, 예컨대, CCD(charge-coupled device) 또는 CMOS 픽셀 센서 어레이일 수 있지만, 이들로 제한되지 않는다. 눈 추적 데이터의 어떤 예들은 적외선 카메라로부터의 영상 데이터 또는 PSD(position sensitive detector)에 의해 글린트들에 대해 검출된 위치들이다. 눈 추적 데이터는, 예를 들어, 사용자가 주시하고 있는 하나 이상의 객체들(실제 또는 가상)을 나타내는, 주시점을 결정하기 위해 사용될 수 있다. 환언하면, 눈 추적 데이터가 사용자가 보고 있는 방향 또는 객체를 결정하는 데 사용될 수 있다. 눈 추적은, 본 기술 분야에 공지되어 있는 바와 같이, 버전스(vergence), IPD(inter-pupillary distance), 시선 결정, 눈 움직임 기반 명령들, 생체 식별을 측정하는 것을 포함할 수 있지만, 이들로 제한되지 않는다.
안와 내의 동공의 위치가, IR 센서가 IR 카메라일 때 공지된 영상화 기법들에 의해, 또는 한 유형의 PSD(position sensitive detector)를 사용하여, 식별될 수 있다. 보다 구체적인 예에 대해, IR 조명이 실질적으로 축방향(on-axis)일 때 망막으로부터의 반사를 검출하는 공지의 영상화 기법들에 의해 동공의 위치가 식별될 수 있다. 이 실시예에서, 망막으로부터 반사하는 광이 주변의 홍채로부터 반사하는 광보다 더 밝다. 이 실시예는 일반적으로 눈 추적의 밝은 동공 방법(bright pupil method)이라고 불리운다. 다른 실시예에서, IR 조명은 실질적으로 비축이다. 이 실시예에서, 눈 동공에 들어가는 광은 망막에 의해 다시 IR 카메라 내로 반사되지 않는다. 이 경우에, IR 카메라에 도달하는 동공 내부의 광은 홍채로부터 다시 IR 카메라 내로 반사되는 광보다 훨씬 더 적다. 이 실시예는 일반적으로 어두운 동공 방법(dark pupil method)이라고 알려져 있다. 각막으로부터의 소위 Purkinje 반사들과 같은, 눈으로부터의 다른 반사들이 눈 벡터(eye vector)의 계산을 가능하게 하기 위해 카메라에 의해 영상화될 수 있다. 각막으로부터의 반사들은 일반적으로 IR 카메라 상에 작은 반점들을 형성한다. 이 반사들은 때때로 눈 글린트(eye glint)라고 불리운다. 동공과 글린트들의 상대 위치들을 추적하는 것에 의해 눈 벡터가 계산될 수 있다는 것이 보여질 수 있다. 이들은, 예컨대, 2008년 7월 22일에 Kranz 등에 등록된, 발명의 명칭이 "Head Mounted Eye Tracking and Display System"인 미국 특허 제7,401,920호에 개시된 바와 같은, 공지된 영상 처리 기법들이다. 이러한 기법들은 추적 카메라(예컨대, 눈 추적 IR 센서(134B))에 대한 눈의 중심의 위치를 찾아낼 수 있다. 일반적으로, 눈 추적은 눈의 영상을 획득하는 것 및 컴퓨터 비전(computer vision) 기법들을 사용하여 안와 내의 동공의 위치를 결정하는 것을 포함한다. 일 실시예에서, 양 눈이 보통 일제히 움직이기 때문에, 하나의 눈의 위치를 추적하는 것으로 충분하다. 그렇지만, 각각의 눈을 개별적으로 추적하는 것이 또한 가능하다. 2개의 눈이 추적되고 있는 경우, 눈들의 각각의 눈에 대해 본원에 기술되는 도파관들(412)의 개별적인 도파관이 있을 수 있다. 반사된 적외광에 기초하여 눈을 추적하고 눈 추적 데이터를 발생시키는 기법들을 기술하는 특허의 다른 예는 2013년 7월 16일에 Lewis 등에 등록된, 발명의 명칭이 "Gaze Detection in a See-Through, Near-Eye, Mixed Reality Display"인 미국 특허 제8,487,838호이다.
단계(616)는, 예컨대, 프로세서(예컨대, 210 또는 320)를 사용하여 수행될 수 있다. 단계(616)는, 예를 들어, 사용자가 리스트로부터 선택할 수 있게 하는 것, 사용자가 아바타가 어떻게 가상 환경을 통해 진행하는지를 제어할 수 있게 하는 것, 또는 특정 가상 객체들이 강조되게 하는 것(이들로 제한되지 않음)을 포함할 수 있다. 단계(616)는, 그에 부가하여 또는 대안적으로, 특정 시각적 자극들 등에 대한 사용자의 반응들을 관찰하는 것을 포함할 수 있다.
본원에 개시되는 도파관들은 유리하게도 혼합 현실 디스플레이 디바이스 시스템의 투시형 속성들을 손상시키지 않는 방식으로 눈 추적 하드웨어에 대해 이용될 수 있다. 게다가, 본원에 개시되는 도파관들은 모든 유형들의 처방 안경에 작동되는 눈의 영상화를 가능하게 하고, 눈 움직임 범위 전체 및 동공간 거리 범위를 커버하는 눈의 영상화를 가능하게 한다.
도면들에서, 도파관(412)은 전형적으로 한 쌍의 평면 표면들을 포함하는 도파관인 것으로 도시되어 있다. 대안의 실시예에서, 도파관의 표면들이 비평면(즉, 곡면)일 수 있다. 격자들이 평면 표면들 상에 또는 그 내에 보다 쉽게 제조될 수 있지만, 곡면 표면(들)에서 시스템에서의 수차들 중 일부를 감소시키는 것이 가능할 수 있을 것이다.
본원에 기술되는 특정 실시예들은 적외선 파장을 가지는 적외광에 의해 조명되는 눈을 추적하는 데 사용하기 위한 장치에 관한 것이다. 출력 커플러는 선형 격자, 홀로그래픽 격자 또는 프리즘일 수 있지만, 이들로 제한되지 않는다. 특정 실시예들에서, 입력 커플러는 서로 평행하게 배열된 2개 이상의 전자적 스위칭가능 회절 격자들의 스택을 포함한다. 전자적 스위칭가능 회절 격자들 각각은 각자의 렌즈 파워 및 각자의 프리즘 파워를 가진다. 전자적 스위칭가능 회절 격자들 각각이 상이한 초점 거리를 갖도록, 전자적 스위칭가능 회절 격자들 각각의 렌즈 파워는 서로 상이하다. 전자적 스위칭가능 회절 격자들 각각은, 턴온될 때, 적외선 파장을 가지는 적외광을 수광하고 수광된 적외광을 도파관 내로 커플링시키도록 구성되어 있다. 전자적 스위칭가능 회절 격자들 각각은 하부 경계와 상부 경계를 포함하고, 상부 경계는 하부 경계보다 출력 커플러에 더 가깝다. 일 실시예에서, 전자적 스위칭가능 회절 격자들 각각은 상부 경계에서의 전자적 스위칭가능 회절 격자들의 k-벡터 각도보다 더 큰 하부 경계에서의 k-벡터 각도를 가지며, 하부 경계와 상부 경계 사이의 k-벡터 각도들은 전자적 스위칭가능 회절 격자들의 격자 평면들과 상부 경계 사이의 거리들이 감소함에 따라 점진적으로 감소한다.
입력 커플러가 적외광으로 조명되는 눈의 전방에 배치될 때, 눈으로부터 반사되고 입력 커플러에 의해 수광되는 적외광의 적어도 일부분이 입력 커플러에서 도파관 내로 커플링되고, 내부 전반사에 의해 도파관 내에서 입력 커플러로부터 출력 커플러 쪽으로 전파하며, 출력 커플러에 근접하여 도파관을 빠져나간다. 센서는 출력 커플러에서 도파관을 빠져나가는 적외광 빔들에 의존하여 눈을 영상화한다. 특정 실시예들에서, 렌즈 모듈이 출력 커플러와 센서 사이에 있고, 출력 커플러에서 도파관을 빠져나가는 적외광 빔들은 센서에 입사하기 전에 렌즈 모듈을 통과한다.
입력 커플러 제어기는, 한번에 전자적 스위칭가능 회절 격자들 중 하나의 전자적 스위칭가능 회절 격자만 턴온되도록, 전자적 스위칭가능 회절 격자들 각각이 턴온되는 때를 제어한다. 영상 분석기는 전자적 스위칭가능 회절 격자들 중 어느 전자적 스위칭가능 회절 격자가, 턴온될 때, 눈 또는 그의 일부분의 가장 잘 초점이 맞은 영상을 제공하는지를 결정하기 위해, 센서를 사용하여 획득된, 눈의 2개 이상의 영상들을 분석한다. 입력 커플러 제어기는 전자적 스위칭가능 회절 격자들 중 - 영상 분석 모듈이 눈의 가장 잘 초점이 맞은 영상을 제공하는 것으로 결정하는 - 전자적 스위칭가능 회절 격자가 눈 추적 동안 눈을 영상화하는 데 사용되게 한다.
특정 실시예들에서, 입력 커플러는 또한 서로 평행하게 배열된 2개 이상의 전자적 스위칭가능 회절 격자들의 제2 스택을 포함하고, 여기서 제2 스택은 제1 스택에 인접해 있다. 이러한 실시예에서, 제2 스택에 있는 전자적 스위칭가능 회절 격자들은 제1 스택에 있는 전자적 스위칭가능 회절 격자들에 의해 제공되는 시야와 상이한 시야를 제공한다. 게다가, 이러한 실시예에서, 영상 분석 모듈은 전자적 스위칭가능 회절 격자들 중 어느 전자적 스위칭가능 회절 격자가, 턴온될 때, 그의 시야 내에 눈을 포함하고 눈 또는 그의 일부분의 가장 선명한 영상을 제공하는지를 결정할 수 있다.
본원에 기술되는 특정 실시예들은 눈을 추적하는 데 사용하기 위한 방법에 관한 것이다. 이러한 방법은 도파관의 입력 커플러가 일반적으로 눈과 축방향으로 정렬되어 있는 동안 적외광으로 눈을 조명하는 단계를 포함한다. 입력 커플러는 서로 평행하게 배열된 2개 이상의 전자적 스위칭가능 회절 격자들의 스택을 포함하고, 각각은 각자의 렌즈 파워와 각자의 프리즘 파워를 가지며, 전자적 스위칭가능 회절 격자들 각각이 상이한 초점 거리를 갖도록, 전자적 스위칭가능 회절 격자들 각각의 렌즈 파워는 서로 상이하다. 본 방법은 또한, 전자적 스위칭가능 회절 격자들 각각이 개별적인 시구간 동안 개별적으로 턴온되도록, 선택적으로 한 번에 입력 커플러의 전자적 스위칭가능 회절 격자들 중 하나만이 턴온되게 하는 단계를 포함할 수 있다. 그에 부가하여, 본 방법은 입력 커플러의 전자적 스위칭가능 회절 격자들 각각이 개별적으로 턴온되는 동안, 도파관의 출력 커플러에서 도파관을 빠져나가는 적외광 빔들에 의존하여, 눈을 개별적으로 영상화함으로써 눈의 2개 이상의 영상들을 획득하는 단계를 포함할 수 있다. 게다가, 본 방법은 입력 커플러의 전자적 스위칭가능 회절 격자들 중 어느 전자적 스위칭가능 회절 격자가, 턴온될 때, 눈 또는 그의 일부분의 가장 잘 초점이 맞은 영상을 제공하는지를 결정하기 위해 눈의 2개 이상의 영상들을 분석하는 단계를 포함할 수 있다. 그 후에, 눈 또는 그의 일부분의 가장 잘 초점이 맞은 영상을 제공하는 입력 커플러의 전자적 스위칭가능 회절 격자가 턴온되는 동안 획득되는 눈의 하나 이상의 영상들을 사용하여 눈 추적이 수행될 수 있다.
일 실시예에 따르면, 도파관의 입력 커플러는 2개 이상의 전자적 스위칭가능 회절 격자들이 서로 상이한 시야들을 갖도록 서로에 대해 배열된 2개 이상의 전자적 스위칭가능 회절 격자들을 포함한다. 이 실시예에서, 입력 커플러의 전자적 스위칭가능 회절 격자들 각각은, 턴온될 때, 적외선 파장을 가지는 적외광을 수광하고 수광된 적외광을 도파관 내로 커플링시키도록 구성되어 있다. 입력 커플러 제어기는, 한번에 전자적 스위칭가능 회절 격자들 중 하나의 전자적 스위칭가능 회절 격자만 턴온되도록, 전자적 스위칭가능 회절 격자들 각각이 턴온되는 때를 제어한다. 센서는 출력 커플러에서 도파관을 빠져나가는 적외광 빔들에 의존하여 눈을 영상화한다. 입력 커플러가 적외광으로 조명되는 눈의 전방에 배치될 때, 눈으로부터 반사되고 입력 커플러에 의해 수광되는 적외광의 적어도 일부분이 입력 커플러에서 도파관 내로 커플링되고, 내부 전반사에 의해 도파관 내에서 입력 커플러로부터 출력 커플러 쪽으로 전파하며, 출력 커플러에 근접하여 도파관을 빠져나간다. 영상 분석 모듈은 전자적 스위칭가능 회절 격자들의 어느 하나 이상의 전자적 스위칭가능 회절 격자들이, 턴온될 때, 그의 시야 내에 눈(또는 관심의 그의 일부분)을 포함하는지를 결정하기 위해, 센서를 사용하여 획득된, 영상들을 분석한다. 프로세서는 눈의 하나 이상의 영상들에 의존하여 눈 추적 데이터를 발생시키고, 눈 추적 데이터에 기초하여 응용분야의 양태를 제어하거나 수정한다.
본 기술의 실시예들이 명시된 기능들 및 그들의 관계들의 수행을 나타내는 기능 구성 요소들의 도움을 받아 앞서 기술되었다. 이 기능 구성 요소들의 경계들이 설명의 편의를 위해 본원에서 종종 정의되었다. 명시된 기능들 및 그들의 관계들이 적절히 수행되는 한, 대안의 경계들이 정의될 수 있다. 임의의 이러한 대안의 경계들이 따라서 본 기술의 범주 및 사상 내에 있다. 예를 들어, 도 6에 도시된 단계들 중 일부를 결합시키거나 분리시키는 것이 가능할 것이다. 다른 예에 대해, 도 3a 및 도 3b에 도시된 블록들 중 일부의 경계들을 변경하는 것이 가능하다.
발명 요지가 구조적 특징들 및/또는 방법 동작들과 관련하여 기술되어 있지만, 첨부된 청구항들에 한정된 발명 요지가 앞서 기술된 구체적인 특징들 또는 동작들로 꼭 제한되는 것은 아님을 잘 알 것이다. 오히려, 앞서 기술된 구체적인 특징들 및 동작들은 청구항들을 구현하는 예시적인 형태들로서 개시되어 있다. 본 기술의 범주는 본원에 첨부된 청구항들에 의해 한정되는 것으로 의도되어 있다.

Claims (20)

  1. 적외선 파장을 가지는 적외광에 의해 조명되는 눈을 추적하는 데 사용하기 위한 장치로서,
    투명하고, 입력 커플러(input-coupler)와 출력 커플러(output-coupler)를 포함하는 도파관을 포함하고,
    상기 입력 커플러는 서로 평행하게 배열된 2개 이상의 전자적 스위칭가능 회절 격자(electronically switchable diffractive grating)들의 스택(stack)을 포함하며,
    상기 전자적 스위칭가능 회절 격자들 각각은 각자의 렌즈 파워(lens power) 및 각자의 프리즘 파워(prismatic power)를 갖고,
    상기 전자적 스위칭가능 회절 격자들 각각이 상이한 초점 거리를 갖도록, 상기 전자적 스위칭가능 회절 격자들 각각의 상기 렌즈 파워는 서로 상이하며,
    상기 전자적 스위칭가능 회절 격자들 각각은, 턴온될 때, 상기 적외선 파장을 가지는 적외광을 수광하고 상기 수광된 적외광을 상기 도파관 내로 커플링시키도록 구성되어 있고,
    상기 장치는,
    상기 출력 커플러에서 상기 도파관을 빠져나가는 적외광 빔들에 의존하여 눈을 영상화하는 센서;
    한 번에 상기 전자적 스위칭가능 회절 격자들 중 하나만이 턴온되도록, 상기 전자적 스위칭가능 회절 격자들 각각이 턴온되는 때를 제어하는 입력 커플러 제어기; 및
    상기 전자적 스위칭가능 회절 격자들 중 어느 전자적 스위칭가능 회절 격자가, 턴온될 때, 눈 또는 그의 일부분의 가장 잘 초점이 맞은 영상(best focused image)을 제공하는지를 결정하기 위해, 상기 센서를 사용하여 획득된, 눈의 2개 이상의 영상들을 분석하는 영상 분석기를 더 포함하는, 눈을 추적하는 데 사용하기 위한 장치.
  2. 적외선 파장을 가지는 적외광에 의해 조명되는 눈을 추적하는 데 사용하기 위한 장치로서,
    투명하고, 입력 커플러(input-coupler)와 출력 커플러(output-coupler)를 포함하는 도파관을 포함하고,
    상기 입력 커플러는 서로 평행하게 배열된 2개 이상의 전자적 스위칭가능 회절 격자(electronically switchable diffractive grating)들의 스택(stack)을 포함하며,
    상기 전자적 스위칭가능 회절 격자들 각각은 각자의 렌즈 파워(lens power) 및 각자의 프리즘 파워(prismatic power)를 갖고,
    상기 전자적 스위칭가능 회절 격자들 각각이 상이한 초점 거리를 갖도록, 상기 전자적 스위칭가능 회절 격자들 각각의 상기 렌즈 파워는 서로 상이하며,
    상기 전자적 스위칭가능 회절 격자들 각각은, 턴온될 때, 상기 적외선 파장을 가지는 적외광을 수광하고 상기 수광된 적외광을 상기 도파관 내로 커플링시키도록 구성되어 있고,
    상기 전자적 스위칭가능 회절 격자들 각각은 하부 경계와 상부 경계를 포함하고, 상기 상부 경계는 상기 하부 경계보다 상기 출력 커플러에 더 가까우며;
    상기 전자적 스위칭가능 회절 격자들 각각은 상기 상부 경계에서의 상기 전자적 스위칭가능 회절 격자들의 k-벡터 각도보다 더 큰 상기 하부 경계에서의 k-벡터 각도를 가지며, 상기 하부 경계와 상기 상부 경계 사이의 k-벡터 각도들은 상기 전자적 스위칭가능 회절 격자들의 격자 평면들과 상기 상부 경계 사이의 거리들이 감소함에 따라 점진적으로 감소하는 것인, 눈을 추적하는 데 사용하기 위한 장치.
  3. 적외선 파장을 가지는 적외광에 의해 조명되는 눈을 추적하는 데 사용하기 위한 장치로서,
    투명하고, 입력 커플러(input-coupler)와 출력 커플러(output-coupler)를 포함하는 도파관을 포함하고,
    상기 입력 커플러는 서로 평행하게 배열된 2개 이상의 전자적 스위칭가능 회절 격자(electronically switchable diffractive grating)들의 스택(stack)을 포함하며,
    상기 전자적 스위칭가능 회절 격자들 각각은 각자의 렌즈 파워(lens power) 및 각자의 프리즘 파워(prismatic power)를 갖고,
    상기 전자적 스위칭가능 회절 격자들 각각이 상이한 초점 거리를 갖도록, 상기 전자적 스위칭가능 회절 격자들 각각의 상기 렌즈 파워는 서로 상이하며,
    상기 전자적 스위칭가능 회절 격자들 각각은, 턴온될 때, 상기 적외선 파장을 가지는 적외광을 수광하고 상기 수광된 적외광을 상기 도파관 내로 커플링시키도록 구성되어 있고,
    상기 입력 커플러가 상기 적외광으로 조명되는 눈의 전방에 배치될 때, 상기 눈으로부터 반사되고 상기 입력 커플러에 의해 수광되는 상기 적외광의 적어도 일부분은, 상기 입력 커플러에서 상기 도파관 내로 커플링되고, 내부 전반사에 의해 상기 도파관 내에서 상기 입력 커플러로부터 상기 출력 커플러로 전파하며, 상기 출력 커플러에 근접하여 상기 도파관을 빠져나가는 것인, 눈을 추적하는 데 사용하기 위한 장치.
  4. 삭제
  5. 제1항에 있어서,
    상기 입력 커플러 제어기는, 상기 전자적 스위칭가능 회절 격자들 중 - 상기 영상 분석기가 상기 눈의 상기 가장 잘 초점이 맞은 영상을 제공하는 것으로 결정한 - 전자적 스위칭가능 회절 격자가 눈 추적 동안 상기 눈을 영상화하는 데 사용되도록 하는 것인, 눈을 추적하는 데 사용하기 위한 장치.
  6. 제5항에 있어서,
    상기 출력 커플러와 상기 센서 사이에 있는 렌즈 모듈을 더 포함하고, 상기 출력 커플러에서 상기 도파관을 빠져나가는 적외광 빔은 상기 센서 상에 입사하기 전에 상기 렌즈 모듈을 통과하는 것인, 눈을 추적하는 데 사용하기 위한 장치.
  7. 적외선 파장을 가지는 적외광에 의해 조명되는 눈을 추적하는 데 사용하기 위한 장치로서,
    투명하고, 입력 커플러(input-coupler)와 출력 커플러(output-coupler)를 포함하는 도파관을 포함하고,
    상기 입력 커플러는 서로 평행하게 배열된 2개 이상의 전자적 스위칭가능 회절 격자(electronically switchable diffractive grating)들의 스택(stack)을 포함하며,
    상기 전자적 스위칭가능 회절 격자들 각각은 각자의 렌즈 파워(lens power) 및 각자의 프리즘 파워(prismatic power)를 갖고,
    상기 전자적 스위칭가능 회절 격자들 각각이 상이한 초점 거리를 갖도록, 상기 전자적 스위칭가능 회절 격자들 각각의 상기 렌즈 파워는 서로 상이하며,
    상기 전자적 스위칭가능 회절 격자들 각각은, 턴온될 때, 상기 적외선 파장을 가지는 적외광을 수광하고 상기 수광된 적외광을 상기 도파관 내로 커플링시키도록 구성되어 있고,
    상기 스택은 제1 스택이고, 상기 입력 커플러는 서로 평행하게 배열된 2개 이상의 전자적 스위칭가능 회절 격자들의 제2 스택을 포함하고, 상기 제2 스택은 상기 제1 스택에 인접해 있으며, 상기 제2 스택에 있는 상기 전자적 스위칭가능 회절 격자들은 상기 제1 스택에 있는 상기 전자적 스위칭가능 회절 격자들에 의해 제공되는 시야(field-of-view)와는 상이한 시야를 제공하는 것인, 눈을 추적하는 데 사용하기 위한 장치.
  8. 제7항에 있어서,
    상기 출력 커플러에서 상기 도파관을 빠져나가는 적외광 빔들에 의존하여 눈을 영상화하는 센서;
    한 번에 상기 전자적 스위칭가능 회절 격자들 중 하나만이 턴온되도록, 상기 제1 및 제2 스택들에 있는 상기 전자적 스위칭가능 회절 격자들 각각이 턴온되는 때를 제어하는 입력 커플러 제어 모듈; 및
    상기 전자적 스위칭가능 회절 격자들 중 어느 전자적 스위칭가능 회절 격자가, 턴온될 때, 그의 시야 내에 눈을 포함하고 눈 또는 그의 일부분의 가장 선명한(sharpest) 영상을 제공하는지를 결정하기 위해, 상기 센서를 사용하여 획득된, 영상들을 분석하는 영상 분석 모듈을 더 포함하는, 눈을 추적하는 데 사용하기 위한 장치.
  9. 적외선 파장을 가지는 적외광에 의해 조명되는 눈을 추적하는 데 사용하기 위한 장치로서,
    투명하고, 입력 커플러(input-coupler)와 출력 커플러(output-coupler)를 포함하는 도파관을 포함하고,
    상기 입력 커플러는 서로 평행하게 배열된 2개 이상의 전자적 스위칭가능 회절 격자(electronically switchable diffractive grating)들의 스택(stack)을 포함하며,
    상기 전자적 스위칭가능 회절 격자들 각각은 각자의 렌즈 파워(lens power) 및 각자의 프리즘 파워(prismatic power)를 갖고,
    상기 전자적 스위칭가능 회절 격자들 각각이 상이한 초점 거리를 갖도록, 상기 전자적 스위칭가능 회절 격자들 각각의 상기 렌즈 파워는 서로 상이하며,
    상기 전자적 스위칭가능 회절 격자들 각각은, 턴온될 때, 상기 적외선 파장을 가지는 적외광을 수광하고 상기 수광된 적외광을 상기 도파관 내로 커플링시키도록 구성되어 있고,
    상기 전자적 스위칭가능 회절 격자들 각각은 그 상부 경계에서의 격자 주기보다 더 작은 그 하부 경계에서의 격자 주기를 가지며, 상기 하부 경계와 상기 상부 경계 사이의 격자 주기는 점진적으로 증가하는 것인, 눈을 추적하는 데 사용하기 위한 장치.
  10. 적외선 파장을 가지는 적외광에 의해 조명되는 눈을 추적하는 데 사용하기 위한 장치로서,
    투명하고, 입력 커플러(input-coupler)와 출력 커플러(output-coupler)를 포함하는 도파관을 포함하고,
    상기 입력 커플러는 서로 평행하게 배열된 2개 이상의 전자적 스위칭가능 회절 격자(electronically switchable diffractive grating)들의 스택(stack)을 포함하며,
    상기 전자적 스위칭가능 회절 격자들 각각은 각자의 렌즈 파워(lens power) 및 각자의 프리즘 파워(prismatic power)를 갖고,
    상기 전자적 스위칭가능 회절 격자들 각각이 상이한 초점 거리를 갖도록, 상기 전자적 스위칭가능 회절 격자들 각각의 상기 렌즈 파워는 서로 상이하며,
    상기 전자적 스위칭가능 회절 격자들 각각은, 턴온될 때, 상기 적외선 파장을 가지는 적외광을 수광하고 상기 수광된 적외광을 상기 도파관 내로 커플링시키도록 구성되어 있고,
    상기 전자적 스위칭가능 회절 격자들 각각은 전자적 스위칭가능 브래그 격자(electronically switchable Bragg grating)(ESBG), 전자적 스위칭가능 니오브산리튬 회절 격자, 또는 전자적 스위칭가능 중합체 액정 중합체 슬라이스(polymer liquid crystal polymer slices)(POLYCRYPS) 회절 격자를 포함하는 것인, 눈을 추적하는 데 사용하기 위한 장치.
  11. 눈을 추적하는 데 사용하기 위한 방법으로서,
    도파관의 입력 커플러가 눈과 축방향으로 정렬되어 있는 동안 상기 눈을 적외광으로 조명하는 단계 - 상기 입력 커플러는 서로 평행하게 배열된 2개 이상의 전자적 스위칭가능 회절 격자들의 스택을 포함하고, 상기 전자적 스위칭가능 회절 격자들 각각은 각자의 렌즈 파워 및 각자의 프리즘 파워를 가지며, 상기 전자적 스위칭가능 회절 격자들 각각이 상이한 초점 거리를 갖도록, 상기 전자적 스위칭가능 회절 격자들 각각의 상기 렌즈 파워는 서로 상이함 -;
    상기 전자적 스위칭가능 회절 격자들 각각이 개별적인 시구간 동안 개별적으로 턴온되도록, 선택적으로 한 번에 상기 입력 커플러의 상기 전자적 스위칭가능 회절 격자들 중 하나만이 턴온되게 하는 단계;
    상기 입력 커플러의 상기 전자적 스위칭가능 회절 격자들 각각이 개별적으로 턴온되는 동안, 상기 도파관의 출력 커플러에서 상기 도파관을 빠져나가는 적외광 빔들에 의존하여, 상기 눈을 개별적으로 영상화함으로써 상기 눈의 2개 이상의 영상들을 획득하는 단계; 및
    상기 입력 커플러의 상기 전자적 스위칭가능 회절 격자들 중 어느 전자적 스위칭가능 회절 격자가, 턴온될 때, 상기 눈 또는 그의 일부분의 가장 잘 초점이 맞은 영상을 제공하는지를 결정하기 위해 상기 눈의 상기 2개 이상의 영상들을 분석하는 단계를 포함하는, 눈을 추적하는 데 사용하기 위한 방법.
  12. 제11항에 있어서,
    상기 눈 또는 그의 일부분의 상기 가장 잘 초점이 맞은 영상을 제공하는 상기 입력 커플러의 상기 전자적 스위칭가능 회절 격자가 턴온되는 동안 획득되는 상기 눈의 하나 이상의 영상을 사용하여 눈 추적을 수행하는 단계를 더 포함하는, 눈을 추적하는 데 사용하기 위한 방법.
  13. 제11항에 있어서,
    상기 눈 또는 그의 일부분의 상기 가장 잘 초점이 맞은 영상을 제공하는 상기 입력 커플러의 상기 전자적 스위칭가능 회절 격자가 턴온되는 동안 상기 도파관에 들어간 적외광 빔들에 의존하여 눈 추적 데이터를 발생시키는 단계; 및
    상기 눈 추적 데이터에 기초하여 응용분야(application)의 양태를 제어하거나 수정하는 단계를 더 포함하는, 눈을 추적하는 데 사용하기 위한 방법.
  14. 제11항에 있어서, 상기 분석하는 단계는,
    상기 2개 이상의 영상들 각각의 해상도, 콘트라스트, 또는 엔트로피 중 적어도 하나의 척도(measure)를 결정함으로써 상기 2개 이상의 영상들 각각에 대한 초점 메트릭(metric of focus)을 결정하는 단계;
    상기 2개 이상의 영상들 중 어느 영상이 가장 큰 초점 메트릭을 가지는지를 결정하는 단계; 및
    상기 가장 큰 초점 메트릭을 가지는 상기 영상을 획득하는 데 사용되었던 상기 입력 커플러의 상기 전자적 스위칭가능 회절 격자들 중 하나의 전자적 스위칭가능 회절 격자를, 상기 눈 또는 그의 일부분의 상기 가장 잘 초점이 맞은 영상을 제공하는 전자적 스위칭가능 회절 격자로서 선택하는 단계를 포함하는 것인, 눈을 추적하는 데 사용하기 위한 방법.
  15. 제11항에 있어서,
    상기 입력 커플러의 상기 전자적 스위칭가능 회절 격자들 각각의 하부 경계와 상부 경계 사이에서 점진적으로 감소하는 k-벡터 각도들을 사용하여, 상기 입력 커플러에 의해 상기 도파관 내로 커플링되는 상기 적외광이 상기 도파관을 통해 내부 전반사에 의해 상기 도파관의 상기 출력 커플러로 전파되게 하는 단계; 및
    상기 도파관의 상기 출력 커플러를 사용하여, 상기 입력 커플러로부터 상기 출력 커플러로 전파된 상기 적외광 빔들이 상기 도파관을 빠져나가게 하는 단계를 더 포함하는, 눈을 추적하는 데 사용하기 위한 방법.
  16. 적외선 파장을 가지는 적외광에 의해 조명되는 눈을 추적하는 데 사용하기 위한 장치로서,
    투명하고, 입력 커플러와 출력 커플러를 포함하는 도파관 -
    상기 입력 커플러는 2개 이상의 전자적 스위칭가능 회절 격자들이 서로 상이한 시야를 갖도록 서로에 대해 배열된 상기 2개 이상의 전자적 스위칭가능 회절 격자들을 포함하고,
    상기 입력 커플러의 상기 전자적 스위칭가능 회절 격자들 각각은, 턴온될 때, 상기 적외선 파장을 가지는 적외광을 수광하고 상기 수광된 적외광을 상기 도파관 내로 커플링시키도록 구성되어 있음 - ;
    한 번에 상기 전자적 스위칭가능 회절 격자들 중 하나만이 턴온되도록, 상기 전자적 스위칭가능 회절 격자들 각각이 턴온되는 때를 제어하는 입력 커플러 제어기;
    상기 출력 커플러에서 상기 도파관을 빠져나가는 적외광 빔들에 의존하여 눈을 영상화하는 센서;
    상기 전자적 스위칭가능 회절 격자들 중 어느 하나 이상의 전자적 스위칭가능 회절 격자가, 턴온될 때, 그 시야 내에 눈 또는 그의 일부분을 포함하는지를 결정하기 위해, 상기 센서를 사용하여 획득된, 영상들을 분석하는 영상 분석 모듈을 포함하는, 눈을 추적하는 데 사용하기 위한 장치.
  17. 제16항에 있어서,
    상기 입력 커플러가 상기 적외광으로 조명되는 눈의 전방에 배치될 때, 상기 눈으로부터 반사되고 상기 입력 커플러에 의해 수광되는 상기 적외광의 적어도 일부분은, 상기 입력 커플러에서 상기 도파관 내로 커플링되고, 내부 전반사에 의해 상기 도파관 내에서 상기 입력 커플러로부터 상기 출력 커플러로 전파하며, 상기 출력 커플러에 근접하여 상기 도파관을 빠져나가는 것인, 눈을 추적하는 데 사용하기 위한 장치.
  18. 제16항에 있어서,
    상기 센서를 사용하여 얻어진 상기 눈의 하나 이상의 영상에 의존하여 눈 추적 데이터를 발생시키고, 상기 눈 추적 데이터에 기초하여 응용분야의 양태를 제어하거나 수정하는 프로세서를 더 포함하는, 눈을 추적하는 데 사용하기 위한 장치.
  19. 제16항에 있어서,
    상기 전자적 스위칭가능 회절 격자들 각각은 하부 경계와 상부 경계를 포함하고, 상기 상부 경계는 상기 하부 경계보다 상기 출력 커플러에 더 가까우며;
    상기 전자적 스위칭가능 회절 격자들 각각은 상기 상부 경계에서의 상기 전자적 스위칭가능 회절 격자들의 k-벡터 각도보다 더 큰 상기 하부 경계에서의 k-벡터 각도를 가지며, 상기 하부 경계와 상기 상부 경계 사이의 k-벡터 각도들은 상기 전자적 스위칭가능 회절 격자들의 격자 평면들과 상기 상부 경계 사이의 거리들이 감소함에 따라 점진적으로 감소하는 것인, 눈을 추적하는 데 사용하기 위한 장치.
  20. 제16항에 있어서,
    상기 영상 분석 모듈이, 눈 추적에 관심이 있는 눈의 일부분이 전체적으로 상기 전자적 스위칭가능 회절 격자 중 단 하나의 전자적 스위칭가능 회절 격자의 시야 내에 있다고 결정하면, 상기 입력 커플러 제어기는 상기 전자적 스위칭가능 회절 격자 중 상기 단 하나의 전자적 스위칭가능 회절 격자가 눈 추적 동안 상기 눈을 영상화하는 데 사용되도록 하고;
    상기 영상 분석 모듈이, 상기 눈 추적에 관심이 있는 눈의 일부분이 부분적으로 상기 전자적 스위칭가능 회절 격자 중 적어도 2개의 상이한 전자적 스위칭가능 회절 격자들의 시야 내에 있다고 결정하면, 상기 입력 커플러 제어기는 상기 전자적 스위칭가능 회절 격자 중 상기 적어도 2개의 상이한 전자적 스위칭가능 회절 격자들이 눈 추적 동안 상기 눈을 영상화하는 데 사용되도록 하고;
    상기 눈 추적에 관심이 있는 눈의 일부분은, 미리 결정되고 전체 눈 또는 그 일부분일 수 있는 것인, 눈을 추적하는 데 사용하기 위한 장치.
KR1020177011063A 2014-09-24 2015-09-16 스위칭가능 회절 격자를 이용한 도파관 눈 추적 KR102522813B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/495,273 2014-09-24
US14/495,273 US9494799B2 (en) 2014-09-24 2014-09-24 Waveguide eye tracking employing switchable diffraction gratings
PCT/US2015/050316 WO2016048729A1 (en) 2014-09-24 2015-09-16 Waveguide eye tracking employing switchable diffraction gratings

Publications (2)

Publication Number Publication Date
KR20170059476A KR20170059476A (ko) 2017-05-30
KR102522813B1 true KR102522813B1 (ko) 2023-04-17

Family

ID=54291598

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177011063A KR102522813B1 (ko) 2014-09-24 2015-09-16 스위칭가능 회절 격자를 이용한 도파관 눈 추적

Country Status (6)

Country Link
US (1) US9494799B2 (ko)
EP (1) EP3197339B1 (ko)
JP (1) JP6641361B2 (ko)
KR (1) KR102522813B1 (ko)
CN (1) CN106716223B (ko)
WO (1) WO2016048729A1 (ko)

Families Citing this family (184)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US11204540B2 (en) * 2009-10-09 2021-12-21 Digilens Inc. Diffractive waveguide providing a retinal image
WO2011042711A2 (en) 2009-10-09 2011-04-14 Milan Momcilo Popovich Compact edge illuminated diffractive display
WO2012136970A1 (en) 2011-04-07 2012-10-11 Milan Momcilo Popovich Laser despeckler based on angular diversity
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
WO2013027004A1 (en) 2011-08-24 2013-02-28 Milan Momcilo Popovich Wearable data display
WO2013102759A2 (en) 2012-01-06 2013-07-11 Milan Momcilo Popovich Contact image sensor using switchable bragg gratings
CN106125308B (zh) 2012-04-25 2019-10-25 罗克韦尔柯林斯公司 用于显示图像的装置和方法
US9456744B2 (en) 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
US9933684B2 (en) * 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
WO2014188149A1 (en) 2013-05-20 2014-11-27 Milan Momcilo Popovich Holographic waveguide eye tracker
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
US11138793B2 (en) 2014-03-14 2021-10-05 Magic Leap, Inc. Multi-depth plane display system with reduced switching between depth planes
WO2016020632A1 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Method for holographic mastering and replication
US10241330B2 (en) 2014-09-19 2019-03-26 Digilens, Inc. Method and apparatus for generating input images for holographic waveguide displays
US10423222B2 (en) 2014-09-26 2019-09-24 Digilens Inc. Holographic waveguide optical tracker
NZ730509A (en) 2014-09-29 2018-08-31 Magic Leap Inc Architectures and methods for outputting different wavelength light out of waveguides
US10684477B2 (en) * 2014-09-30 2020-06-16 Omnivision Technologies, Inc. Near-eye display device and methods with coaxial eye imaging
US9958680B2 (en) 2014-09-30 2018-05-01 Omnivision Technologies, Inc. Near-eye display device and methods with coaxial eye imaging
US20180275402A1 (en) 2015-01-12 2018-09-27 Digilens, Inc. Holographic waveguide light field displays
CN107873086B (zh) 2015-01-12 2020-03-20 迪吉伦斯公司 环境隔离的波导显示器
JP6867947B2 (ja) 2015-01-20 2021-05-12 ディジレンズ インコーポレイテッド ホログラフィック導波路ライダー
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
US10459145B2 (en) 2015-03-16 2019-10-29 Digilens Inc. Waveguide device incorporating a light pipe
NZ773831A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
WO2016156776A1 (en) 2015-03-31 2016-10-06 Milan Momcilo Popovich Method and apparatus for contact image sensing
KR102539075B1 (ko) * 2015-05-19 2023-05-31 매직 립, 인코포레이티드 조명기
JP6851992B2 (ja) 2015-06-15 2021-03-31 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 多重化された光流を内部結合するための光学要素を有するディスプレイシステム
CN108474945B (zh) 2015-10-05 2021-10-01 迪吉伦斯公司 波导显示器
JP6894904B2 (ja) * 2016-01-07 2021-06-30 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 深度平面にわたって分配される等しくない数の成分色画像を有する仮想および拡張現実システムおよび方法
US10983340B2 (en) 2016-02-04 2021-04-20 Digilens Inc. Holographic waveguide optical tracker
CA3016032C (en) 2016-03-04 2024-05-21 Magic Leap, Inc. Current drain reduction in ar/vr display systems
US10859768B2 (en) 2016-03-24 2020-12-08 Digilens Inc. Method and apparatus for providing a polarization selective holographic waveguide device
JP7152312B2 (ja) * 2016-03-25 2022-10-12 マジック リープ， インコーポレイテッド 仮想および拡張現実システムおよび方法
NZ747005A (en) 2016-04-08 2020-04-24 Magic Leap Inc Augmented reality systems and methods with variable focus lens elements
US10890707B2 (en) 2016-04-11 2021-01-12 Digilens Inc. Holographic waveguide apparatus for structured light projection
US10067347B2 (en) 2016-04-13 2018-09-04 Microsoft Technology Licensing, Llc Waveguides with improved intensity distributions
US9791703B1 (en) * 2016-04-13 2017-10-17 Microsoft Technology Licensing, Llc Waveguides with extended field of view
EP4235237A1 (en) 2016-05-12 2023-08-30 Magic Leap, Inc. Distributed light manipulation over imaging waveguide
US10353202B2 (en) * 2016-06-09 2019-07-16 Microsoft Technology Licensing, Llc Wrapped waveguide with large field of view
US10649143B2 (en) * 2016-06-20 2020-05-12 Akonia Holographics Llc Polarization management
EP3500889B1 (en) 2016-08-22 2020-12-16 Magic Leap, Inc. Multi-layer diffractive eyepiece
CN107784255B (zh) * 2016-08-30 2024-05-14 北京亮亮视野科技有限公司 头戴式用户虹膜信息采集设备
US10268268B1 (en) 2016-09-02 2019-04-23 Facebook Technologies, Llc Waveguide integrated eye tracking
US10095045B2 (en) 2016-09-12 2018-10-09 Microsoft Technology Licensing, Llc Waveguide comprising a bragg polarization grating
US10345595B2 (en) * 2016-09-30 2019-07-09 Htc Corporation Head mounted device with eye tracking and control method thereof
US11067860B2 (en) 2016-11-18 2021-07-20 Magic Leap, Inc. Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same
IL310194A (en) 2016-11-18 2024-03-01 Magic Leap Inc Liquid crystal refraction lattices vary spatially
AU2017363078B2 (en) 2016-11-18 2022-09-29 Magic Leap, Inc. Waveguide light multiplexer using crossed gratings
US11513350B2 (en) 2016-12-02 2022-11-29 Digilens Inc. Waveguide device with uniform output illumination
US20190129182A1 (en) * 2016-12-08 2019-05-02 Snail Innovation Institute Integrated lenses in wearable display devices
WO2018106963A1 (en) 2016-12-08 2018-06-14 Magic Leap, Inc. Diffractive devices based on cholesteric liquid crystal
CN115657363A (zh) 2016-12-14 2023-01-31 奇跃公司 使用具有表面对准图案的软压印复制对液晶图案化
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10168531B1 (en) 2017-01-04 2019-01-01 Facebook Technologies, Llc Lightfield waveguide integrated eye tracking
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
IL307783A (en) 2017-01-23 2023-12-01 Magic Leap Inc Eyepiece for virtual, augmented or mixed reality systems
JP2020514783A (ja) * 2017-01-26 2020-05-21 ディジレンズ インコーポレイテッド 均一出力照明を有する導波管
KR20240023189A (ko) * 2017-02-13 2024-02-20 시리얼 테크놀로지즈 에스.에이. 광 가이드 디바이스 및 장면을 표현하기 위한 디스플레이 디바이스
US10955668B2 (en) * 2017-02-14 2021-03-23 Optecks, Llc Optical display system for augmented reality and virtual reality
US10222620B2 (en) 2017-02-15 2019-03-05 Microsoft Technology Licensing, Llc Pupil-expansion optic with offset entry apertures
WO2018156784A1 (en) 2017-02-23 2018-08-30 Magic Leap, Inc. Variable-focus virtual image devices based on polarization conversion
JP7300996B2 (ja) 2017-03-21 2023-06-30 マジック リープ， インコーポレイテッド 回折光学要素を使用した眼結像装置
US10674143B2 (en) 2017-05-12 2020-06-02 Qualcomm Incorporated System for eye tracking
CN107272202A (zh) * 2017-06-16 2017-10-20 北京灵犀微光科技有限公司 光学装置和波导显示装置
US11340457B2 (en) * 2017-07-13 2022-05-24 Seereal Technologies S.A. Display device for enlarging the field of view
JPWO2019016926A1 (ja) * 2017-07-20 2020-05-21 サン電子株式会社 頭部装着型表示装置
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US10394034B2 (en) 2017-08-15 2019-08-27 Microsoft Technology Licensing, Llc Eye-tracking with MEMS scanning and optical relay
EP3685215B1 (en) 2017-09-21 2024-01-03 Magic Leap, Inc. Augmented reality display with waveguide configured to capture images of eye and/or environment
US11073903B1 (en) 2017-10-16 2021-07-27 Facebook Technologies, Llc Immersed hot mirrors for imaging in eye tracking
US11237628B1 (en) 2017-10-16 2022-02-01 Facebook Technologies, Llc Efficient eye illumination using reflection of structured light pattern for eye tracking
CN116149058A (zh) 2017-10-16 2023-05-23 迪吉伦斯公司 用于倍增像素化显示器的图像分辨率的系统和方法
WO2019084892A1 (zh) * 2017-11-03 2019-05-09 深圳市柔宇科技有限公司 显示控制方法和头戴显示设备
US10732427B2 (en) * 2017-11-20 2020-08-04 Microsoft Technology Licensing, Llc Eye-tracking system positioning diffractive couplers on waveguide
CN107783297A (zh) * 2017-11-22 2018-03-09 深圳创维新世界科技有限公司 近眼显示装置
WO2019108109A1 (en) 2017-11-28 2019-06-06 Fingerprint Cards Ab Biometric imaging system and method for controlling the system
US10761314B1 (en) * 2017-12-05 2020-09-01 Facebook, Inc. Apparatuses, systems, and methods for reflecting infrared light
KR102596429B1 (ko) 2017-12-10 2023-10-30 매직 립, 인코포레이티드 광학 도파관들 상의 반사―방지 코팅들
JP7407111B2 (ja) 2017-12-15 2023-12-28 マジック リープ， インコーポレイテッド 拡張現実ディスプレイシステムのための接眼レンズ
EP3729172A4 (en) 2017-12-20 2021-02-24 Magic Leap, Inc. INSERT FOR AUGMENTED REALITY VIEWING DEVICE
US10732569B2 (en) 2018-01-08 2020-08-04 Digilens Inc. Systems and methods for high-throughput recording of holographic gratings in waveguide cells
US10914950B2 (en) 2018-01-08 2021-02-09 Digilens Inc. Waveguide architectures and related methods of manufacturing
US10942355B2 (en) 2018-01-22 2021-03-09 Facebook Technologies, Llc Systems, devices, and methods for tiled multi-monochromatic displays
US11086129B2 (en) * 2018-02-21 2021-08-10 Valve Corporation Head-mounted display with narrow angle backlight
US11175507B2 (en) * 2018-03-15 2021-11-16 Facebook Technologies, Llc Polarization-sensitive components in optical systems for large pupil acceptance angles
CN112136152A (zh) 2018-03-15 2020-12-25 奇跃公司 由观看设备的部件变形导致的图像校正
US11327306B2 (en) * 2018-03-15 2022-05-10 Facebook Technologies, Llc Angular performance of apochromatic pancharatnam berry phase components using a C-plate
US11846779B2 (en) 2018-03-15 2023-12-19 Meta Platforms Technologies, Llc Display device with varifocal optical assembly
JP7487109B2 (ja) 2018-03-16 2024-05-20 ディジレンズ インコーポレイテッド 複屈折制御を組み込むホログラフィック導波管およびその加工のための方法
CN110297331A (zh) 2018-03-23 2019-10-01 京东方科技集团股份有限公司 显示装置及显示方法
US10761256B2 (en) 2018-04-16 2020-09-01 Samsung Electronics Co., Ltd. Backlight unit providing uniform light and display apparatus including the same
TWI705354B (zh) * 2018-05-22 2020-09-21 宏達國際電子股份有限公司 眼球追蹤裝置及其光源控制方法
US11204491B2 (en) 2018-05-30 2021-12-21 Magic Leap, Inc. Compact variable focus configurations
JP7319303B2 (ja) 2018-05-31 2023-08-01 マジック リープ， インコーポレイテッド レーダ頭部姿勢位置特定
US10825424B2 (en) 2018-06-05 2020-11-03 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
EP3803545A4 (en) 2018-06-08 2022-01-26 Magic Leap, Inc. AUGMENTED REALITY VIEWER WITH AUTOMATED SURFACE SELECTION PLACEMENT AND CONTENT ALIGNMENT PLACEMENT
EP3807708A1 (de) * 2018-06-15 2021-04-21 Continental Automotive GmbH Gerät zum erzeugen eines virtuellen bildes mit variabler projektionsdistanz
US10345077B1 (en) * 2018-06-19 2019-07-09 Hel Technologies, Llc Holographic optical element with edge lighting
TWI675224B (zh) * 2018-06-29 2019-10-21 揚明光學股份有限公司 成像位移模組及其製造方法
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020018938A1 (en) 2018-07-19 2020-01-23 Magic Leap, Inc. Content interaction driven by eye metrics
US11598651B2 (en) 2018-07-24 2023-03-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
WO2020023779A1 (en) 2018-07-25 2020-01-30 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
EP3831058A4 (en) 2018-08-02 2022-04-20 Magic Leap, Inc. VIEWING SYSTEM WITH PUPILE DISTANCE COMPENSATION BASED ON HEAD MOVEMENT
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US10838132B1 (en) 2018-08-21 2020-11-17 Facebook Technologies, Llc Diffractive gratings for eye-tracking illumination through a light-guide
US20200096771A1 (en) * 2018-09-24 2020-03-26 Apple Inc. Optical Systems with Interleaved Light Redirectors
CN113168009A (zh) * 2018-09-26 2021-07-23 奇跃公司 具有屈光力的衍射光学元件
US10935799B2 (en) * 2018-10-23 2021-03-02 Applied Materials, Inc. Optical component having depth modulated angled gratings and method of formation
CN117111304A (zh) 2018-11-16 2023-11-24 奇跃公司 用于保持图像清晰度的图像尺寸触发的澄清
WO2020106824A1 (en) 2018-11-20 2020-05-28 Magic Leap, Inc. Eyepieces for augmented reality display system
JP7461357B2 (ja) * 2018-12-11 2024-04-03 ディジレンズ インコーポレイテッド 単一格子層のカラーホログラフィック導波管ディスプレイを提供するための方法および装置
US11281160B2 (en) 2018-12-17 2022-03-22 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a fiber exposure
US10942489B2 (en) 2018-12-17 2021-03-09 Facebook Technologies, Llc Wide-field holographic pattern generation for head-mounted display (HMD) eye tracking
US10838362B2 (en) 2018-12-17 2020-11-17 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a prism array
US11256213B2 (en) 2018-12-17 2022-02-22 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using an array of parabolic mirrors
US10948873B2 (en) 2018-12-17 2021-03-16 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a lens array
US10816809B2 (en) 2018-12-17 2020-10-27 Facebook Technologies, Llc Holographic in-field illuminator
US11409240B2 (en) 2018-12-17 2022-08-09 Meta Platforms Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a diffractive optical element
KR20200075532A (ko) * 2018-12-18 2020-06-26 삼성전자주식회사 영상을 표시하는 장치, 방법 및 컴퓨터 프로그램
US11181979B2 (en) * 2019-01-08 2021-11-23 Avegant Corp. Sensor-based eye-tracking using a holographic optical element
US10983352B2 (en) * 2019-01-15 2021-04-20 Apple Inc. Display system with virtual image distance adjustment and corrective lenses
CN109857253A (zh) * 2019-02-03 2019-06-07 北京七鑫易维信息技术有限公司 一种眼球追踪装置及方法
US11861063B2 (en) 2019-02-05 2024-01-02 Samsung Electronics Co., Ltd. Eye-tracking device and display apparatus including the same
JP2022519292A (ja) 2019-02-06 2022-03-22 マジック リープ， インコーポレイテッド 複数のプロセッサによって発生される総熱を限定するための標的意図ベースのクロック速度の決定および調節
US11237389B1 (en) * 2019-02-11 2022-02-01 Facebook Technologies, Llc Wedge combiner for eye-tracking
WO2020168348A1 (en) 2019-02-15 2020-08-20 Digilens Inc. Methods and apparatuses for providing a holographic waveguide display using integrated gratings
US11372246B2 (en) * 2019-02-22 2022-06-28 Facebook Technologies, Llc Near-eye display system having optical combiner
US10928631B1 (en) * 2019-03-05 2021-02-23 Facebook Technologies, Llc Waveguide display with structured light for eye and face tracking
CN113728258A (zh) 2019-03-12 2021-11-30 迪吉伦斯公司 全息波导背光及相关制造方法
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ， インコーポレイテッド 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ
CN111751987B (zh) * 2019-03-29 2023-04-14 托比股份公司 全息眼睛成像设备
WO2020219092A1 (en) * 2019-04-26 2020-10-29 Digilens Inc. Holographic waveguide illumination homogenizers
CN114127837A (zh) 2019-05-01 2022-03-01 奇跃公司 内容提供系统和方法
CN114207492A (zh) 2019-06-07 2022-03-18 迪吉伦斯公司 带透射光栅和反射光栅的波导及其生产方法
JP7373594B2 (ja) 2019-06-20 2023-11-02 マジック リープ， インコーポレイテッド 拡張現実ディスプレイシステムのための接眼レンズ
CN114008512B (zh) 2019-06-23 2024-05-24 鲁姆斯有限公司 具有中央凹光学校正的显示器
US20200400946A1 (en) * 2019-06-24 2020-12-24 Digilens Inc. Methods and Apparatuses for Providing a Waveguide Display with Angularly Varying Optical Power
US11067821B2 (en) * 2019-07-08 2021-07-20 Facebook Technologies, Llc Apodized optical elements for optical artifact reduction
US11609424B2 (en) 2019-07-08 2023-03-21 Meta Platforms Technologies, Llc Apodized reflective optical elements for eye-tracking and optical artifact reduction
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
EP4004646A4 (en) 2019-07-29 2023-09-06 Digilens Inc. METHODS AND APPARATUS FOR MULTIPLYING THE IMAGE RESOLUTION AND FIELD OF VIEW OF A PIXELATED DISPLAY SCREEN
CN112346558A (zh) * 2019-08-06 2021-02-09 苹果公司 眼睛跟踪系统
US11150468B1 (en) 2019-08-07 2021-10-19 Facebook Technologies, Llc Optical device having reduced diffraction artifacts for eye-tracking
CN110471532B (zh) * 2019-08-19 2023-04-18 业成科技（成都）有限公司 整合眼球追踪与手势操控之车载装置
KR20220054386A (ko) 2019-08-29 2022-05-02 디지렌즈 인코포레이티드. 진공 브래그 격자 및 이의 제조 방법
CN112789543B (zh) * 2019-09-10 2024-01-16 Lg电子株式会社 电子设备
WO2021055230A1 (en) * 2019-09-19 2021-03-25 Akalana Management Llc Optical systems with low resolution peripheral displays
CN114026485A (zh) * 2019-09-19 2022-02-08 苹果公司 具有反射棱镜输入耦合器的光学系统
US11175509B2 (en) * 2019-09-30 2021-11-16 Microsoft Technology Licensing, Llc Tuned waveguides
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
CN113079228B (zh) * 2020-01-03 2022-09-23 华为技术有限公司 终端设备及显示模组
WO2021148125A1 (en) * 2020-01-23 2021-07-29 Volvo Truck Corporation A method for adapting to a driver position an image displayed on a monitor in a vehicle cab
US11119325B1 (en) * 2020-03-06 2021-09-14 Coretronic Corporation Near eye display device
US11740465B2 (en) * 2020-03-27 2023-08-29 Apple Inc. Optical systems with authentication and privacy capabilities
TWI718054B (zh) 2020-04-23 2021-02-01 宏碁股份有限公司 結合眼鏡功能與擴增實境功能的光學裝置及擴增實境裝置
US11950022B1 (en) 2020-04-24 2024-04-02 Apple Inc. Head-mounted devices with forward facing cameras
CN113703173B (zh) * 2020-05-20 2023-08-15 宏碁股份有限公司 结合眼镜功能与扩增实境功能的光学装置及扩增实境装置
KR20210156613A (ko) 2020-06-18 2021-12-27 삼성전자주식회사 증강 현실 글라스 및 그 동작 방법
CN114578554B (zh) * 2020-11-30 2023-08-22 华为技术有限公司 实现虚实融合的显示设备
WO2022120262A1 (en) * 2020-12-06 2022-06-09 Lumus Ltd. Optical system including selective illumination
US11536555B2 (en) * 2021-02-03 2022-12-27 Meta Platforms Technologies, Llc Scanning self-mixing interferometry system and sensor
CN114938418A (zh) * 2021-02-04 2022-08-23 佳能株式会社 具有视线检测功能的取景器单元、摄像设备和附接配件
US11853473B2 (en) * 2021-08-18 2023-12-26 Meta Platforms Technologies, Llc Differential illumination for corneal glint detection
US20230176377A1 (en) * 2021-12-06 2023-06-08 Facebook Technologies, Llc Directional illuminator and display apparatus with switchable diffuser
WO2023107367A1 (en) * 2021-12-06 2023-06-15 Meta Platforms Technologies, Llc Eye tracking with switchable gratings
WO2023107373A1 (en) * 2021-12-06 2023-06-15 Meta Platforms Technologies, Llc Grating-assisted field of view expansion
TW202332941A (zh) * 2021-12-28 2023-08-16 美商元平台技術有限公司 用於眼睛追蹤的波長多工式波導系統
WO2023129525A1 (en) * 2021-12-28 2023-07-06 Meta Platforms Technologies, Llc Multi-directional gratings in a waveguide system
US11741861B1 (en) 2022-02-08 2023-08-29 Lumus Ltd. Optical system including selectively activatable facets
US20230281835A1 (en) * 2022-03-03 2023-09-07 Qualcomm Incorporated Wide angle eye tracking
US11912429B2 (en) * 2022-04-05 2024-02-27 Gulfstream Aerospace Corporation System and methodology to provide an augmented view of an environment below an obstructing structure of an aircraft
US11892638B2 (en) 2022-06-03 2024-02-06 Meta Platforms Technologies, Llc Scanning near-eye imaging and sensing system
US20240004190A1 (en) * 2022-06-30 2024-01-04 Apple Inc. Eye Imaging System

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013167864A1 (en) * 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US20130314793A1 (en) 2012-05-22 2013-11-28 Steven John Robbins Waveguide optics focus elements
JP2014511512A (ja) 2010-12-17 2014-05-15 マイクロソフト コーポレーション 拡張現実ディスプレイ用最適焦点エリア

Family Cites Families (78)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3861784A (en) 1973-06-29 1975-01-21 Sperry Rand Corp Programmable diffraction grating
US4235504A (en) 1975-06-10 1980-11-25 Fujitsu Limited Holographic disk scanner
CA1174882A (en) 1981-02-23 1984-09-25 Charles J. Kramer Plane grating polarizing beamsplitter
JPS61213802A (ja) 1985-03-20 1986-09-22 Toshiba Corp 光カプラ
US4711512A (en) 1985-07-12 1987-12-08 Environmental Research Institute Of Michigan Compact head-up display
US5440669A (en) 1991-07-26 1995-08-08 Accuwave Corporation Photorefractive systems and methods
US5491570A (en) 1991-07-26 1996-02-13 Accuwave Corporation Methods and devices for using photorefractive materials at infrared wavelengths
GB2267165A (en) 1992-05-11 1993-11-24 Sharp Kk Optical information processor
DE69434719T2 (de) 1993-02-26 2007-02-08 Yeda Research And Development Co., Ltd. Optische holographische Vorrichtungen
US5614988A (en) 1993-12-06 1997-03-25 Nikon Corporation Projection exposure apparatus and method with a plurality of projection optical units
US5986746A (en) 1994-02-18 1999-11-16 Imedge Technology Inc. Topographical object detection system
US5596451A (en) 1995-01-30 1997-01-21 Displaytech, Inc. Miniature image generator including optics arrangement
US5701132A (en) 1996-03-29 1997-12-23 University Of Washington Virtual retinal display with expanded exit pupil
US5856842A (en) 1996-08-26 1999-01-05 Kaiser Optical Systems Corporation Apparatus facilitating eye-contact video communications
US5886822A (en) 1996-10-08 1999-03-23 The Microoptical Corporation Image combining system for eyeglasses and face masks
US6285813B1 (en) 1997-10-03 2001-09-04 Georgia Tech Research Corporation Diffractive grating coupler and method
US6580529B1 (en) 1998-04-02 2003-06-17 Elop Electro -Optics Industries Ltd. Holographic optical devices
US6323970B1 (en) 1999-09-29 2001-11-27 Digilents, Inc. Method of producing switchable holograms
US7123794B2 (en) 2000-03-16 2006-10-17 Lightsmyth Technologies Inc Distributed optical structures designed by computed interference between simulated optical signals
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US6771423B2 (en) 2001-05-07 2004-08-03 Richard Geist Head-mounted virtual display apparatus with a near-eye light deflecting element in the peripheral field of view
US6731434B1 (en) 2001-05-23 2004-05-04 University Of Central Florida Compact lens assembly for the teleportal augmented reality system
US6791760B2 (en) 2001-07-24 2004-09-14 Itt Manufacturing Enterprises, Inc. Planar diffractive relay
IL148804A (en) 2002-03-21 2007-02-11 Yaacov Amitai Optical device
US7619739B1 (en) 2002-08-29 2009-11-17 Science Applications International Corporation Detection and identification of biological agents using Bragg filters
FI114945B (fi) 2002-09-19 2005-01-31 Nokia Corp Sähköisesti säädettävä diffraktiivinen hilaelementti
US7205960B2 (en) 2003-02-19 2007-04-17 Mirage Innovations Ltd. Chromatic planar optic display system
WO2004102226A2 (en) 2003-05-09 2004-11-25 Sbg Labs, Inc. Switchable viewfinder display
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
EP1639394A2 (en) 2003-06-10 2006-03-29 Elop Electro-Optics Industries Ltd. Method and system for displaying an informative image against a background image
WO2005050796A2 (en) 2003-11-13 2005-06-02 Bwt Property, Inc. Spectroscopic apparatus using spectrum narrowed and stabilized laser with bragg grating
KR100584703B1 (ko) 2003-12-26 2006-05-30 한국전자통신연구원 평면 격자렌즈
US7907342B2 (en) 2005-09-07 2011-03-15 Bae Systems Plc Projection display
US8068709B2 (en) 2005-09-12 2011-11-29 Lightsmyth Technologies Inc. Transmission gratings designed by computed interference between simulated optical signals and fabricated by reduction lithography
IL171820A (en) 2005-11-08 2014-04-30 Lumus Ltd A polarizing optical component for light coupling within a conductive substrate
US7931540B2 (en) 2006-08-04 2011-04-26 Moose Mountain Toymakers Ltd. Children's playland
US8160411B2 (en) 2006-12-28 2012-04-17 Nokia Corporation Device for expanding an exit pupil in two dimensions
DE102007023560B4 (de) 2007-05-21 2009-02-05 Ovd Kinegram Ag Mehrschichtkörper
US8491121B2 (en) 2007-10-09 2013-07-23 Elbit Systems Of America, Llc Pupil scan apparatus
US8511827B2 (en) 2008-01-22 2013-08-20 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
US20100149073A1 (en) 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8311067B2 (en) 2008-06-12 2012-11-13 Akonia Holographics, Llc System and devices for improving external cavity diode lasers using wavelength and mode sensors and compact optical paths
US7660047B1 (en) 2008-09-03 2010-02-09 Microsoft Corporation Flat panel lens
US20100079865A1 (en) 2008-09-26 2010-04-01 Nokia Corporation Near-to-eye scanning display with exit-pupil expansion
US10274660B2 (en) 2008-11-17 2019-04-30 Luminit, Llc Holographic substrate-guided wave-based see-through display
WO2010119240A1 (en) 2009-04-14 2010-10-21 Bae Systems Plc Optical waveguide and display device
AU2010240707B2 (en) 2009-04-20 2014-01-30 Snap Inc. Surface relief grating in an optical waveguide having a reflecting surface and dielectric layer conforming to the surface
US8639072B2 (en) 2011-10-19 2014-01-28 Milan Momcilo Popovich Compact wearable display
JP5316391B2 (ja) 2009-08-31 2013-10-16 ソニー株式会社 画像表示装置及び頭部装着型ディスプレイ
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
US8233204B1 (en) 2009-09-30 2012-07-31 Rockwell Collins, Inc. Optical displays
KR20110050929A (ko) 2009-11-09 2011-05-17 삼성전자주식회사 착용형 디스플레이장치
JP5546217B2 (ja) 2009-11-20 2014-07-09 キヤノン株式会社 回折光学素子およびそれを有する光学系、撮像装置
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US20120017153A1 (en) 2010-07-15 2012-01-19 Ken Matsuda Dynamic video editing
US8861086B2 (en) 2010-08-13 2014-10-14 The Penn State Research Foundation Compact spectrometer including a diffractive optical element with dual dispersion and focusing functionality
US8908738B2 (en) 2010-10-01 2014-12-09 Physical Sciences, Inc. Ring resonator with a holographic reflector
US9946076B2 (en) 2010-10-04 2018-04-17 Gerard Dirk Smits System and method for 3-D projection and enhancements for interactivity
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9406166B2 (en) 2010-11-08 2016-08-02 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
WO2012085045A1 (de) * 2010-12-22 2012-06-28 Seereal Technologies S.A. Kombinierte lichtmodulationsvorrichtung zur benutzernachführung
GB2490354A (en) 2011-04-28 2012-10-31 Univ Southampton Laser with axially-symmetric beam profile
WO2013027004A1 (en) 2011-08-24 2013-02-28 Milan Momcilo Popovich Wearable data display
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US8998414B2 (en) * 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
CN104204904B (zh) 2012-01-24 2018-05-18 亚利桑那大学评议会 紧凑式眼睛跟踪头戴式显示器
US8736963B2 (en) 2012-03-21 2014-05-27 Microsoft Corporation Two-dimensional exit-pupil expansion
CN106125308B (zh) 2012-04-25 2019-10-25 罗克韦尔柯林斯公司 用于显示图像的装置和方法
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US9310277B2 (en) 2012-07-06 2016-04-12 Ta-Min Peng Tire temperature and tire pressure wireless sensing device
US10025089B2 (en) 2012-10-05 2018-07-17 Microsoft Technology Licensing, Llc Backlight for viewing three-dimensional images from a display from variable viewing angles
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US10192358B2 (en) * 2012-12-20 2019-01-29 Microsoft Technology Licensing, Llc Auto-stereoscopic augmented reality display
JP6163753B2 (ja) 2012-12-27 2017-07-19 セイコーエプソン株式会社 液室形成体及び液体噴射装置
US8873149B2 (en) 2013-01-28 2014-10-28 David D. Bohn Projection optical system for coupling image light to a near-eye display
US9459451B2 (en) 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014511512A (ja) 2010-12-17 2014-05-15 マイクロソフト コーポレーション 拡張現実ディスプレイ用最適焦点エリア
WO2013167864A1 (en) * 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US20130314793A1 (en) 2012-05-22 2013-11-28 Steven John Robbins Waveguide optics focus elements

Also Published As

Publication number Publication date
JP6641361B2 (ja) 2020-02-05
KR20170059476A (ko) 2017-05-30
EP3197339B1 (en) 2019-02-20
CN106716223B (zh) 2019-08-02
EP3197339A1 (en) 2017-08-02
WO2016048729A1 (en) 2016-03-31
JP2017531817A (ja) 2017-10-26
US9494799B2 (en) 2016-11-15
CN106716223A (zh) 2017-05-24
US20160085300A1 (en) 2016-03-24

Similar Documents

Publication Publication Date Title
KR102522813B1 (ko) 스위칭가능 회절 격자를 이용한 도파관 눈 추적
KR102416401B1 (ko) 볼륨 브래그 격자를 사용하는 도파관 눈 추적
US9759913B2 (en) Eye tracking apparatus, method and system
JP7300996B2 (ja) 回折光学要素を使用した眼結像装置
US8998414B2 (en) Integrated eye tracking and display system
KR20150114977A (ko) 영상 광을 접안 디스플레이에 결합시키는 투사 광학계
CN113302431A (zh) 用于近眼波导显示器的体布拉格光栅
US11669159B2 (en) Eye tracker illumination through a waveguide
US20220291437A1 (en) Light redirection feature in waveguide display
WO2022192303A1 (en) Light redirection feature in waveguide display

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant