KR20160102481A - 아이 트래킹 장치, 방법 및 시스템 - Google Patents

아이 트래킹 장치, 방법 및 시스템 Download PDF

Info

Publication number
KR20160102481A
KR20160102481A KR1020167019608A KR20167019608A KR20160102481A KR 20160102481 A KR20160102481 A KR 20160102481A KR 1020167019608 A KR1020167019608 A KR 1020167019608A KR 20167019608 A KR20167019608 A KR 20167019608A KR 20160102481 A KR20160102481 A KR 20160102481A
Authority
KR
South Korea
Prior art keywords
waveguide
eye
input coupler
coupler
infrared
Prior art date
Application number
KR1020167019608A
Other languages
English (en)
Other versions
KR102273001B1 (ko
Inventor
파시 사릭코
신예 로우
스콧 멕엘도우니
스티븐 로빈스
타파니 레볼라
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority to KR1020217020272A priority Critical patent/KR102341225B1/ko
Publication of KR20160102481A publication Critical patent/KR20160102481A/ko
Application granted granted Critical
Publication of KR102273001B1 publication Critical patent/KR102273001B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/02—Optical fibres with cladding with or without a coating
    • G02B6/02057—Optical fibres with cladding with or without a coating comprising gratings
    • G02B6/02076—Refractive index modulation gratings, e.g. Bragg gratings
    • G02B6/0208—Refractive index modulation gratings, e.g. Bragg gratings characterised by their structure, wavelength response
    • G02B6/02085—Refractive index modulation gratings, e.g. Bragg gratings characterised by their structure, wavelength response characterised by the grating profile, e.g. chirped, apodised, tilted, helical
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
    • G02B6/24—Coupling light guides
    • G02B6/26—Optical coupling means
    • G02B6/34—Optical coupling means utilising prism or grating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H04N13/0484—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G02B2027/0105—Holograms with particular structures
    • G02B2027/0107—Holograms with particular structures with optical power
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

아이 트래킹에 사용하기 위한 투명 도파관은 입력 커플러 및 출력 커플러를 포함한다. 입력 커플러는 방사상 가변 피치를 갖는 복수의 곡선 격자 라인을 포함한다. 입력 커플러가 적외선으로 조명되는 눈 앞에 배치되는 경우, 눈으로부터 반사되어 입력 커플러에 입사되는 적외선 빔은 입력 커플러에서 도파관에 입력되고, 내부 전반사에 의해 도파관을 통해 전파되며, 출력 커플러에 인접한 곳에서 도파관을 빠져나간다. 입력 커플러의 곡선 격자 라인의 방사상 가변 피치는, 입력 커플러에 입사된 적외선의 각도 인코딩을 제공하고, 보다 구체적으로, 입력 커플러의 개개의 상이한 수평 및 수직 위치에 입사되는 상이한 적외선 빔이 개개의 상이한 반사각으로 도파관을 통해 전파되고, 적외선 빔이 빠져나가는 도파관의 표면에 대하여 개개의 상이한 입사각으로 도파관을 빠져나가도록 한다.

Description

아이 트래킹 장치, 방법 및 시스템{EYE TRACKING APPARATUS, METHOD AND SYSTEM}
투시형 혼합 현실 디스플레이 디바이스 시스템은 사용자가 물리적 장면 상에 중첩된 디지털 정보를 관찰하는 것을 가능하게 한다. 핸즈프리 사용자 상호 작용을 가능하게 하기 위해, 투시형 혼합 현실 디스플레이 디바이스 시스템은 또한 아이 트랙커(eye tracker)를 갖출 수 있다. 통상적으로, 아이 트랙커는, 예컨대, 시선 방향의 계산을 위해 반사된 반짝임 및 홍채 움직임을 관찰하기 위해, 사용자의 눈을 조명하기 위한 적외선(infrared; IR) 광원 및 사용자의 눈을 이미지화하기 위한 카메라를 포함한다. 조명 및 눈의 이미지화는, 혼합 현실 디스플레이 디바이스 시스템의 투시 특성이 아이 트래킹 하드웨어에 의해 손상되지 않고; 눈의 이미지화가 모든 타입의 처방 안경에서 작동하고; 눈의 이미지화가 전체 눈 움직임 범위와 동공 간 거리 범위를 커버하도록 구현되는 것이 바람직하다.
눈 추적을 위해 눈을 이미지화하는 한 가지 방법은, 헤드 마운티드 디스플레이(head-mounted display) 디바이스의 프레임에 장착된 간단한 카메라를 사용하는 것으로, 카메라는 사용자의 눈에 직접적으로 초점을 맞춘다. 다시 말해서, 카메라에서부터 눈까지 직접적인 시선이 존재한다. 이러한 구성은 비교적 간단하고 저렴하지만, 눈에 관한 카메라의 위치 및 움직임에 매우 민감하다. 또한, 이러한 구성을 사용하면, 카메라는 눈 높이에 가깝게 배치되어야 할 필요가 있고, 이는 통상적으로 혼합 현실 디스플레이 디바이스 시스템의 투시 특성의 적어도 부분적 폐색을 일으킨다. 대안적으로, 부분 리플렉터(reflector)가 사용자의 템플(temple)에서 카메라 뷰 경로를 접기 위해 사용될 수 있다. 이러한 대안적인 구성은 카메라가 투시형 필드의 외부에 배치되도록 하지만, 아이 트래킹이 처방 안경에서 작동될 필요가 있는 경우, 이러한 대안적인 구성의 구현은 문제가 있다.
다른 가능성은 프리폼 프리즘 기반 혼합 현실 디스플레이 디바이스 시스템에서 역방향 광학 거리의 이미지화를 사용하는 것이다. 이 기술은 또한 아이 트래킹에 이미징 기능을 제공하기 위해 실제 디스플레이 광학에 의존한다. 그러나, 프리폼 프리즘의 컴포넌트들이 크기가 약간 큰 경향이 있기 때문에, 이러한 접근법은 반드시 현실적인 것은 아니다. 아이 트래킹을 위해 프리폼 광학을 추가하는 것이 또한 가능하지만, 이것은 비용이 많이 들고, 시스템에 상당한 무게 및 크기를 부가한다.
본원에 기재된 특정 실시예들은 적외선에 의해 조명되는 눈을 추적하는데 사용하기 위한 도파관(waveguide)에 관한 것이다. 이와 같은 도파관은 헤드 마운티드 디스플레이(HMD)에 사용될 수 있지만, 그것과 함께 사용하는 것으로 한정되지 않고, 투명하고, 입력 커플러 및 출력 커플러를 포함한다. 입력 커플러는 복수의 곡선 격자 라인으로 형성된 격자 영역을 포함하고, 이는 입력 커플러에 입사된 적외선 빔을 도파관으로 회절시키고 출력 커플러가 위치하는 공동 영역을 향해 회절시킨다. 입력 커플러의 곡선 격자 라인은 방사상 가변 피치를 갖는다. 실시예에 따라, 입력 커플러의 곡선 격자 라인의 방사상 가변 피치는 출력 커플러로부터의 거리가 증가함에 따라 감소한다. 바람직하게, 입력 커플러 및 출력 커플러는 실질적으로 텔레센트릭(telecentricity)을 달성하기 위해 서로에 대해 상대적으로 배치된다. 출력 커플러는 선형 격자, 홀로그램 격자 또는 프리즘을 포함할 수 있지만, 이것들로 한정되는 것은 아니다.
입력 커플러가 적외선으로 조명되는 눈 앞에 배치되는 경우, 눈으로부터 반사되어 입력 커플러에 입사되는 적외선 빔은 입력 커플러에서 도파관에 입력되고, 내부 전반사에 의해 도파관을 통해 입력 커플러에서부터 출력 커플러로 전파되며, 출력 커플러에 인접한 곳에서 도파관을 빠져나간다. 입력 커플러의 곡선 격자 라인의 방사상 가변 피치는, 입력 커플러의 개개의 상이한 수평 및 수직 위치에 입사되는 상이한 적외선 빔이 개개의 상이한 반사각으로 도파관을 통해 전파되고, 적외선 빔이 빠져나가는 도파관의 표면에 대하여 개개의 상이한 입사각으로 도파관을 빠져나가도록 야기한다.
입력 커플러의 복수의 곡선 격자 라인 각각은 출력 커플러가 위치하는 도파관의 영역 내에 위치하는 수렴점을 갖는다. 특정 실시예에서, 입력 커플러의 복수의 곡선 격자 라인은 실질적으로 중심이 같고, 각각은 실질적으로 동일한 곡률 중심을 갖고, 각각은 실질적으로 동일한 수렴점을 갖는다. 대안적인 실시예에서, 입력 커플러의 광학적 전달 함수는 선형 회절 격자의 광학적 전달 함수와 결합된 온축 홀로그램 렌즈의 광학적 전달 함수와 실질적으로 동일하다. 이러한 대안적인 실시예에서, 입력 커플러의 복수의 곡선 격자 라인은 실질적으로 중심이 같지 않고, 실질적으로 동일한 곡률 중심을 공유하지 않으며, 실질적으로 동일한 수렴점을 공유하지 않지만, 입력 커플러의 복수의 곡선 격자 라인 각각은 여전히 출력 커플러가 위치하는 도파관의 영역 내에 위치하는 수렴점을 가질 것이다.
실시예에 따르면, 상기 요약된 도파관의 실시예를 포함하는 시스템이 또한 눈을 조명하기 위해 사용되는 적외선을 생성하는 적외선 조명원을 포함할 수 있다. 이러한 시스템은 또한 도파관을 빠져나가는 적외선 빔을 각도 인코딩된 적외선 빔으로부터 2 차원 공간적으로 인코딩된 적외선 빔으로 변환하는 렌즈 모듈을 포함할 수 있다. 부가적으로, 이러한 시스템은 렌즈 모듈을 사용하여 생성된 2 차원 공간적으로 인코딩된 적외선 빔에 의존하는 아이 트래킹 데이터를 생성하는 센서를 포함할 수 있다. 또한, 시스템은 아이 트래킹 데이터에 기초하여 애플리케이션의 양태를 제어 또는 수정하는 프로세서를 포함할 수 있다.
이 요약은 아래의 상세한 설명에서 더욱 기술되는 개념들의 선택을 간략화된 형태로 소개하기 위해서 제공된다. 이 요약은 주장되는 대상의 중요 특징 또는 필수 특징을 식별하기 위한 것도 아니고, 주장되는 대상의 범위를 결정하기 위해 이용되는 것도 아니다.
도 1은 투시형 혼합 현실 디스플레이 디바이스 시스템의 일 실시예의 예시적인 컴포넌트들을 도시하는 블록도이다.
도 2a는 하드웨어 및 소프트웨어 컴포넌트에 대한 지원을 제공하는 안경으로서 구현된 투시형 혼합 현실 디스플레이 디바이스의 일 실시예에서, 프레임 중 안경 템플의 측면도이다.
도 2b는 투시형 근안용 혼합 현실 디바이스의 디스플레이 광학 시스템 및 통합된 아이 트래킹의 실시예의 평면도이다.
도 3a는 하나 이상의 실시예들에서 사용될 수 있는 바와 같이 투시형 근안용 혼합 현실 디스플레이 디바이스의 하드웨어 및 소프트웨어 컴포넌트의 일 실시예의 블록도이다.
도 3b는 프로세싱 유닛의 다양한 컴포넌트들을 설명하는 블록도이다.
도 4a는 일 실시예에 따른 평면 도파관의 배경도이다.
도 4b는 도 4a에 도입된 평면 도파관의 정면도이다.
도 4c, 도 4d 및 도 4e는 각각 도 4a에 도입된 평면 도파관의 측면도, 정면도 및 평면도이고, 또한 평면 도파관과 함께 사용하기 위한 렌즈 모듈 및 아이 트래킹 IR 센서를 도시한다.
도 5a 내지 도 5c는 일 실시예에 따라, 평면 도파관의 입력 커플러를 설계하기 위한 기술을 나타내기 위해 사용된다.
도 6은 아이 트래킹에 사용하기 위한 방법을 요약하기 위해 사용되는 상위 레벨 흐름도이다.
본 기술의 특정 실시예들은 아이 트래킹을 위해 눈의 이미지화가 혼합 현실 디스플레이 디바이스 시스템의 투시 특성을 손상시키지 않고 구현되도록 할 수 있는 도파관에 관한 것이다. 부가적으로, 이러한 실시예들은 유리하게 처방 안경과 함께 사용될 수 있다. 또한, 이러한 실시예들은 전체 눈 움직임 범위와 동공 간 거리 범위를 커버하는 눈의 이미지화를 수행하기 위해 사용될 수 있다. 그러나, 이러한 실시예를 더욱 상세하게 논의하기 전에, 우선 본 기술의 실시예들이 사용될 수 있는 예시적인 투시형 혼합 현실 디스플레이 디바이스 시스템을 설명하는 것이 유용하다.
도 1은 투시형 혼합 현실 디스플레이 디바이스 시스템의 일 실시예의 예시적인 컴포넌트들을 도시하는 블록도이다. 시스템(8)은 와이어(6)를 통해 프로세싱 유닛(4)과 통신하는 근안용 헤드 마운티드 디스플레이 디바이스(2)로서 투시형 디스플레이 디바이스를 포함한다. 다른 실시예들에서, 헤드 마운티드 디스플레이 디바이스(2)는 무선 통신을 통해 프로세싱 유닛(4)과 통신한다. 프로세싱 유닛(4)은 다양한 실시예들을 취할 수 있다. 예를 들어, 프로세싱 유닛(4)은 스마트 폰, 태블릿 또는 랩톱 컴퓨터와 같은 모바일 디바이스에 구현될 수 있다. 일부 실시예들에서, 프로세싱 유닛(4)은 사용자의 신체, 예컨대, 예시된 예의 손목에 착용되거나 주머니에 있을 수 있는 별도의 유닛이고, 근안용 디스플레이 디바이스(2)를 동작시키기 위해 사용되는 컴퓨팅 파워의 대부분을 포함한다. 프로세싱 유닛(4)은 통신 네트워크(50)를 통해, 이 예의 경우처럼 가까운 곳에 위치하던지 원격 위치에 위치하던지, 하나 이상의 허브 컴퓨팅 시스템(12)에 무선으로(예컨대, 와이파이, 블루투스, 적외선, RFID 전송, 무선 범용 직렬 버스(wireless Universal Serial Bus; WUSB), 셀룰러, 3G, 4G 또는 다른 무선 통신 수단) 통신할 수 있다. 다른 실시예들에서, 프로세싱 유닛(4)의 기능은 디스플레이 디바이스(2)의 소프트웨어 및 하드웨어 컴포넌트에 통합될 수 있다.
일 실시예에서, 프레임(115)에서 안경의 형태인 헤드 마운티드 디스플레이 디바이스(2)는, 사용자가 각각의 눈에 대해 디스플레이 광학 시스템(14)으로서 이 예에서 구현된 디스플레이를 통해 볼 수 있도록 사용자의 머리에 착용되어, 사용자의 앞에 있는 공간의 실제 직시를 가질 수 있다.
용어 "실제 직시"의 사용은 객체의 생성된 이미지 표현을 보는 대신에, 인간의 눈으로 직접적으로 실제 세계 객체를 볼 수 있는 능력을 말한다. 예를 들어, 유리를 통해 방을 보는 것은 사용자가 방의 실제 직시를 갖도록 허용하지만, 텔레비전을 통해 방의 비디오를 보는 것은 방의 실제 직시가 아니다. 실행 소프트웨어, 예를 들어, 게임 애플리케이션의 컨텍스트에 기초하여, 시스템은 투시형 디스플레이 디바이스를 착용하고 있는 사람이 볼 수 있는 디스플레이 상에, 때때로 가상 이미지로 언급되는 가상 객체의 이미지를 투사할 수 있고, 그 사람은 또한 그 디스플레이를 통해 실제 세계 객체를 볼 수 있다.
프레임(115)은 시스템의 요소들을 제자리에 유지시키기 위한 지원을 제공할 뿐만 아니라, 전기적 접속을 위한 도관을 제공한다. 이 실시예에서, 프레임(115)은 아래에 더 논의되는 시스템의 요소들에 대한 지지체로서 종래의 안경 프레임을 제공한다. 다른 실시예들에서, 다른 지지체 구조물들이 사용될 수 있다. 이러한 구조물의 예는 바이저 또는 고글이다. 프레임(115)은 사용자의 귀 각각에 얹혀 있는 템플 또는 사이드 암을 포함한다. 템플(102)은 오른쪽 템플의 실시예를 나타내고, 디스플레이 디바이스(2)의 제어 회로(136)를 포함한다. 프레임(115)의 노우즈 브릿지(nose bridge)(104)는 소리를 기록하고, 오디오 데이터를 프로세싱 유닛(4)에 전송하기 위한 마이크로폰(110)을 포함한다.
도 2a는 하드웨어 및 소프트웨어 컴포넌트들에 대한 지원을 제공하는 안경으로서 구현된 투시형 혼합 현실 디스플레이 디바이스의 일 실시예에서, 프레임(115) 중 안경 템플(102)의 측면도이다. 프레임(115)의 앞면에는 물리적 환경 직면 또는 외부 직면 비디오 카메라(113)가 있고, 이는 프로세싱 유닛(4)에 전송되는 비디오 및 스틸 이미지를 캡처할 수 있다.
카메라로부터의 데이터는 제어 회로(136)의 프로세서(210) 또는 프로세싱 유닛(4), 또는 양자 모두에 보내질 수 있고, 이들은 그 데이터를 처리할 수 있지만, 프로세싱 유닛(4)은 또한 그 데이터를 처리를 위해 네트워크(50)를 통해 하나 이상의 컴퓨팅 시스템(12)에 보낼 수 있다. 프로세싱은 뷰 중에서 사용자의 실제 세계 필드를 식별하여 매핑한다.
제어 회로(136)는 헤드 마운티드 디스플레이 디바이스(2)의 다른 컴포넌트들을 지원하는 다양한 전자 장치를 제공한다. 제어 회로(136)의 더 많은 세부사항이 도 3a에 대하여 아래에 제공된다. 이어폰(130), 관성 센서(132), GPS 송수신기(144), 및 온도 센서(138)가 템플(102) 내에 있거나 이에 장착된다. 일 실시예에서, 관성 센서(132)는 3 축 자력계(132A), 3 축 자이로(132B), 및 3 축 가속도계(132C)(도 3a 참조)를 포함한다. 관성 센서는 헤드 마운티드 디스플레이 디바이스(2)의 위치, 방향 및 급격한 가속도를 감지하기 위한 것이다. 이러한 움직임으로부터, 헤드 위치가 또한 결정될 수 있다.
이미지 소스 또는 이미지 생성 유닛(120)이 템플(102) 내에 있거나 이에 장착된다. 일 실시예에서, 이미지 소스는 하나 이상의 가상 객체의 이미지를 투사하기 위한 마이크로 디스플레이(120), 및 마이크로 디스플레이(120)로부터의 이미지를 투시형 평면 도파관(112)으로 보내기 위한 렌즈 시스템(122)을 포함한다. 렌즈 시스템(122)은 하나 이상의 렌즈들을 포함할 수 있다. 일 실시예에서, 렌즈 시스템(122)은 하나 이상의 조준 렌즈를 포함한다. 예시된 예에서, 반사 요소(124)는 렌즈 시스템(122)에 의해 보내진 이미지를 수신하고, 그 이미지 데이터를 평면 도파관(112)으로 광학적으로 커플링시킨다.
마이크로 디스플레이(120)를 구현하기 위해 사용될 수 있는 상이한 이미지 생성 기술들이 있다. 예를 들어, 마이크로 디스플레이(120)는 광원이 백색광으로 후면 발광되는 광학적 활성체에 의해 변조되는 경우, 투과형 프로젝션 기술을 사용하여 구현될 수 있다. 이러한 기술은 일반적으로 강력한 백라이트 및 높은 광 에너지 밀도를 갖는 LCD 타입 디스플레이를 사용하여 구현된다. 마이크로 디스플레이(120)는 또한 외부 광이 광학적 활성체에 의해 반사 및 변조되는 반사 기술을 사용하여 구현될 수 있다. Qualcomm 사의 Mirasol® 디스플레이 기술, 실리콘 액정 표시 장치(liquid crystal on silicon; LCOS) 및 디지털 라이트 프로세싱(digital light processing; DLP)이 반사 기술의 예이다. 부가적으로, 마이크로 디스플레이(120)는 광이 디스플레이에 의해 생성되는 발광 기술을 사용하여 구현될 수 있고, 예를 들어, Microvision 사의 PicoPTM 디스플레이 엔진을 참조한다. 발광 디스플레이 기술의 다른 예는, 마이크로 유기 발광 다이오드(organic light emitting diode; OLED) 디스플레이이다. 회사 eMagin 및 Microoled가 마이크로 OLED 디스플레이의 예를 제공한다.
도 2b는 투시형 근안용 증강 또는 혼합 현실 디바이스의 디스플레이 광학 시스템(14)의 실시예의 평면도이다. 근안용 디스플레이 디바이스(2)의 프레임(115)의 일부가 여기에 예시되고 다음 도면들에 예시된 바와 같이 하나 이상의 광학 요소들에 대한 지원을 제공하기 위해 그리고 전기적 연결을 만들기 위해 디스플레이 광학 시스템(14)을 둘러쌀 것이다. 디스플레이 광학 시스템(14)의 컴포넌트들을 도시하기 위해서, 우안용 시스템(14r)을 위한 이 경우에, 헤드 마운티드 디스플레이 디바이스(2)에서, 디스플레이 광학 시스템을 둘러싸는 프레임(115)의 일부분은 도시되지 않는다.
일 실시예에서, 디스플레이 광학 시스템(14)은 평면 도파관(112), 선택적 불투명 필터(114), 투시 렌즈(116), 및 투시 렌즈(118)를 포함한다. 일 실시예에서, 불투명 필터(114)는 투시 렌즈(116) 뒤에 있고 투시 렌즈(116)와 정렬되며, 평면 도파관(112)은 불투명 필터(114) 뒤에 있고 불투명 필터(114)와 정렬되며, 투시 렌즈(118)는 평면 도파관(112) 뒤에 있고 평면 도파관(112)과 정렬된다. 투시 렌즈(116 및 118)는 안경에 사용되는 표준 렌즈일 수 있고, 임의의 처방(처방이 없는 경우를 포함)으로 만들어질 수 있다. 일부 실시예들에서, 헤드 마운티드 디스플레이 디바이스(2)는 오직 하나의 투시 렌즈만 포함하거나, 어떠한 투시 렌즈도 포함하지 않을 것이다. 평면 도파관(112)과 정렬된 불투명 필터(114)는 평면 도파관(112)을 통과하는 자연광을, 균일하게 또는 픽셀 기준으로, 선택적으로 차단한다. 예를 들어, 불투명 필터는 가상 이미지의 콘트라스트를 향상시킨다. 불투명 필터의 더 많은 세부사항이 Bar-Zeev 등에 의해 2010년 9월 21일자에 출원된 발명의 명칭이 "Opacity Filter For See-Through Mounted Display"인, 미국 특허 출원 공개 번호 제2012/0068913호에 제공된다.
평면 도파관(112)은 마이크로 디스플레이(120)로부터 헤드 마운티드 디스플레이 디바이스(2)를 착용한 사용자의 눈(140)에 가시 광선을 투과시킨다. 투시형 평면 도파관(112)은 또한 디스플레이 광학 시스템(14r)의 광축을 나타내는 화살표(142)로 도시된 바와 같이, 가시 광선이 헤드 마운티드 디스플레이 디바이스(2)의 앞에서부터 자신(112)을 관통해 눈(140)으로 투과되도록 할 수 있어, 이에 의해 사용자가 헤드 마운티드 디스플레이 디바이스(2) 앞에 있는 공간의 실제 직시를 갖도록 할 수 있고, 또한 마이크로 디스플레이(120)로부터 가상 이미지를 수신할 수 있다. 따라서, 평면 도파관(112)의 벽은 투시형이다. 평면 도파관(112)은 제 1 반사 표면(124)(예컨대, 거울 또는 다른 표면)을 포함한다. 마이크로 디스플레이(120)로부터의 가시 광선은 렌즈(122)를 통과하여, 반사 표면(124)에 입사하게 된다. 가시 광선이 아래에 기술되는 바와 같이 내부 반사에 의해 평면 도파관(112)을 포함하는 평면 기판 내에 트래핑되도록, 반사 표면(124)은 마이크로 디스플레이(120)로부터의 입사 가시 광선을 반사한다.
적외선 조명 및 반사는 또한 사용자 눈의 위치를 추적하기 위한 아이 트래킹 시스템(134)을 위해 평면 도파관(112)을 횡단한다. 사용자의 초점 또는 시선 영역인 환경의 서브세트에 사용자 눈이 향할 것이다. 아이 트래킹 시스템(134)은 이 예에서 템플(102)에 장착되거나 이 내부에 있는 아이 트래킹 조명원(134A), 및 이 예에서 프레임(150)의 브로우(103)에 장착되거나 이 내부에 있는 아이 트래킹 IR 센서(134B)를 포함한다. 아이 트래킹 IR 센서(134B)는 대안적으로 렌즈(118)와 템플(102) 사이에 배치될 수 있다. 아이 트래킹 조명원(134A) 및 아이 트래킹 IR 센서(134B) 모두는 또한 프레임(115)의 브로우(103)에 장착되거나 그 내부에 있는 것도 가능하다.
이 기술은 이미지 생성 유닛(120), 조명원(134A), 및 아이 트래킹 IR 센서(134B)를 위해 도파관의 광학 거리에 대한 입력 및 출력 광학 커플링(이는 또한 입력 및 출력 커플러로 지칭될 수 있다)의 배치의 유연성을 허용한다. 이미지를 나타내는 가시 조명 및 적외선 조명은 도파관(112)에 대해 임의의 방향으로 입력될 수 있고, 하나 이상의 파장 선택 필터(예컨대, 127)가 그 조명을 디스플레이 광학 시스템(14)의 광축(412)에 중심을 둔 도파관의 밖으로 보낸다.
일 실시예에서, 아이 트래킹 조명원(134A)은 대략 미리 결정된 IR 파장 또는 파장의 범위를 방출하는 적외선 발광 다이오드(LED) 또는 레이저(예컨대, VCSEL)와 같은 하나 이상의 적외선(IR) 이미터(emitter)를 포함할 수 있다. 일부 실시예들에서, 아이 트래킹 IR 센서(134B)는 반짝임 위치를 추적하기 위한 IR 위치 감응 검출기(IR position sensitive detector; PSD) 또는 IR 카메라일 수 있다.
일 실시예에서, 파장 선택 필터(123)는 반사 표면(124)을 거친 마이크로 디스플레이(120)로부터의 가시 광선 스펙트럼을 통과시키고, 아이 트래킹 조명원(134A)으로부터의 적외선 파장 조명을 평면 도파관(112)으로 보내고, 이 경우 IR 조명은 광축(142)과 정렬되는 다른 파장 선택 필터(127)에 도달할 때까지 도파관 내에서 내부적으로 반사된다.
IR 반사로부터, 눈구멍 내의 동공의 위치는 아이 트래킹 IR 센서(134B)가 IR 카메라인 경우 공지된 이미징 기술에 의해 식별되고, 아이 트래킹 IR 센서(134B)가 위치 감응 검출기(PSD)의 타입인 경우 반짝임 위치 데이터에 의해 식별될 수 있다. 다른 타입의 아이 트래킹 IR 센서 및 아이 트래킹을 위한 다른 기술의 사용이 또한 가능하고 실시예의 범위 내에 있다.
도파관(112)으로의 커플링 이후에, IR 조명 및 마이크로 디스플레이(120)로부터 이미지 데이터를 나타내는 가시 조명은 도파관(112) 내에서 내부적으로 반사된다. 도 2b의 예에서, 기판의 표면으로부터의 여러 반사 이후에, 트래핑된 가시 광선 파동은 이 예에서 선택적 반사 표면(1261 내지 126N)으로 구현된 파장 선택 필터의 어레이에 도달한다. 부가적으로, 디스플레이 광학 시스템의 광축과 정렬된 파장 선택 필터(127)가 또한 도파관(112) 내에 배치된다. 반사 표면(126)은 이러한 반사 표면에 입사된 가시 광선 파장을 사용자의 눈(140)의 방향으로 배향된 기판 밖으로 커플링시킨다.
반사 표면(126)은 또한 도파관 내에서 적외선을 통과시킨다. 그러나, 가시 조명만을 보내는 것이 아니라 조명원(134A)으로부터 적외선 조명을 수신하는 하나 이상의 파장 선택 필터(127)는 디스플레이 광학 시스템(14r)의 광축(142)과 정렬된다. 예를 들어, 반사 요소(1261 내지 126N)가 각각 가시 광선 스펙트럼의 상이한 부분을 반사하면, 하나 이상의 파장 선택 필터(127)는 적색 가시 광선 스펙트럼 및 적외선 스펙트럼의 파장을 반사할 수 있다. 다른 실시예들에서, 필터(127)는 전체 가시 광선 스펙트럼 또는 그의 큰 부분 및 IR 반사 파장의 적외선 스펙트럼 및 IR 조명원에 의해 생성된 적외선 스펙트럼을 커버하는 파장을 반사할 수 있다.
부가적으로, 도 4a 내지 도 5c를 참조하여 아래에 더욱 상세하게 논의되는 바와 같이, 입력 커플러(구체적으로 도 2a 및 도 2b에는 도시되지 않았지만, 도 4a 내지 도 5c에는 도시됨)는, 광축(142)에 중심이 있는 평면 도파관의 투시형 벽을 통과하는 눈으로부터의 적외선 반사를, 아이 트래킹 IR 센서(134B)를 향해 적외선을 보내는 출력 커플러(구체적으로 도 2a 및 도 2b에는 도시되지 않았지만, 도 4a 내지 도 5c에는 도시됨)를 향한 방향으로 평면 도파관의 광학 거리에 보낸다. 부가적으로, 가시 광선 및 적외선 필터는 이들이 광축과 모두 동축이 되도록 렌즈(116)에서 렌즈(118)로의 방향으로 적층될 수 있다. 예를 들어, 눈에 대하여 가시성 반사 요소의 앞에 배치된 양방향 핫 미러는 가시 광선을 통과시킬 수 있지만, IR 파장은 반사시킨다. 부가적으로, 하나 이상의 필터(127)는 가시 광선 및 적외선 스펙트럼에서 필터링 파장 사이에 변조되는 액티브 격자로 구현될 수 있다. 이것은 인간의 눈이 감지할 수 없을 정도로 충분히 빠른 속도로 수행될 수 있다.
일 실시예에서, 각각의 눈은 그 자신의 평면 도파관(112)을 가질 것이다. 헤드 마운티드 디스플레이 디바이스가 두 개의 평면 도파관를 갖는 경우, 각각의 눈은 양쪽 눈에 동일한 이미지를 디스플레이하거나 두 눈에 상이한 이미지를 디스플레이할 수 있는 그 자신의 마이크로 디스플레이(120)를 가질 수 있다. 게다가, 헤드 마운티드 디스플레이 디바이스가 두 개의 평면 도파관을 갖는 경우, 각각의 눈은 그 자신의 아이 트래킹 조명원(134A) 및 그 자신의 아이 트래킹 IR 센서(134B)를 가질 수 있다. 다른 실시예에서, 각각의 눈에 대해 하나씩, 두 개의 광축을 갖는 한 개의 평면 도파관이 있을 수 있고, 이는 노우즈 브릿지에 걸쳐 있고 가시 광선 및 적외선을 양쪽 눈으로 반사시킨다.
상술한 실시예에서, 도시된 렌즈의 특정 수는 단지 예이다. 동일한 원리로 작동하는 다른 수의 렌즈 및 렌즈 구성이 사용될 수 있다. 부가적으로, 도 2a 및 도 2b는 헤드 마운티드 디스플레이 디바이스(2)의 절반만을 도시한다. 전체 헤드 마운티드 디스플레이 디바이스는, 예를 들어, 다른 세트의 투시 렌즈(116 및 118), 다른 불투명 필터(114), 하나 이상의 파장 선택 필터(127)를 갖는 다른 평면 도파관(112), 다른 마이크로 디스플레이(120), 다른 렌즈 시스템(122), 물리적 환경 직면 카메라(113)(또는, 외부 직면 또는 전면 카메라(113)로서 지칭됨), 아이 트래킹 어셈블리(134), 이어폰(130), 필터(123), 및 온도 센서(138)를 포함할 것이다. 예시적인 헤드 마운티드 디스플레이(2) 추가적인 세부 사항은 Flaks 등에 의해 2010년 10월 15일자에 출원된 발명의 명칭이 "Fusing Virtual Content Into Real Content"인 미국 특허 출원 공개 번호 제2012/0092328호에 제공된다.
도 3a는 하나 이상의 실시예들에서 사용될 수 있는 바와 같이 투시형 근안용 혼합 현실 디스플레이 디바이스(2)의 하드웨어 및 소프트웨어 컴포넌트의 일 실시예의 블록도이다. 도 3b는 프로세싱 유닛(4)의 다양한 컴포넌트들을 설명하는 블록도이다. 이 실시예에서, 근안용 디스플레이 디바이스(2)는 프로세싱 유닛(4)으로부터 가상 이미지에 대한 지시를 수신하여, 센서로부터의 데이터를 다시 프로세싱 유닛(4)에 제공한다. 도 3b에 도시된 바와 같이, 예를 들면, 프로세싱 유닛(4)에 구현될 수 있는 소프트웨어 및 하드웨어 컴포넌트는 디스플레이 디바이스(2)로부터 센서 데이터를 수신하고, 또한 네트워크(50)를 통해 컴퓨팅 시스템(12)으로부터 센서 정보를 수신할 수 있다. 그 정보에 기초하여, 프로세싱 유닛(4)은 사용자에게 가상 이미지를 제공할 위치 및 시간을 결정할 것이고, 이에 따라 디스플레이 디바이스(2)의 제어 회로(136)에 지시를 보낼 것이다.
도 3a의 컴포넌트들 중 일부(예컨대, 외부 또는 물리적 환경 직면 카메라(113), 아이 카메라(134), 마이크로 디스플레이(120), 불투명 필터(114), 아이 트래킹 조명원(134A), 이어폰(130), 하나 이상의 파장 선택 필터(127), 및 온도 센서(138))는, 이러한 디바이스들 각각이 적어도 두 개, 즉, 헤드 마운티드 디스플레이 디바이스(2)의 좌측에 적어도 하나 그리고 우측에 적어도 하나가 있을 수 있다는 것을 나타내기 위해 그림자가 도시되었다는 것을 유념한다. 도 3a는 전원 관리 회로(202)와 통신하는 제어 회로(200)를 도시한다. 제어 회로(200)는 프로세서(210), 메모리(244)(예컨대, D-RAM)와 통신하는 메모리 제어기(212), 카메라 인터페이스(216), 카메라 버퍼(218), 디스플레이 드라이버(220), 디스플레이 포맷터(222), 타이밍 발생기(226), 디스플레이 아웃 인터페이스(228), 및 디스플레이 인 인터페이스(230)를 포함한다. 일 실시예에서, 제어 회로(200)의 모든 컴포넌트들은 하나 이상의 버스의 전용 라인을 통해 서로 통신한다. 다른 실시예에서, 제어 회로(200)의 컴포넌트들 각각은 프로세서(210)와 통신한다.
카메라 인터페이스(216)는 두 개의 물리적 환경 직면 카메라(113) 및 이 실시예의 센서(134B)로서의 IR 카메라에 대한 인터페이스를 제공하고, 카메라 버퍼(218)에 카메라들(113, 134B)로부터 수신된 개개의 이미지를 저장한다. 디스플레이 드라이버(220)는 마이크로 디스플레이(120)를 구동할 것이다. 디스플레이 포맷터(222)는 혼합 현실 시스템을 위한 처리를 수행하는 하나 이상의 컴퓨터 시스템들(예컨대, 4 및 12)의 하나 이상의 프로세서에 마이크로 디스플레이(120) 상에 디스플레이되는 가상 이미지에 대한 정보를 제공할 수 있다. 디스플레이 포맷터(222)는 디스플레이 광학 시스템(14)에 대한 투과율 설정을 불투명 제어 유닛(224)에서 식별할 수 있다. 타이밍 발생기(226)는 시스템에 타이밍 데이터를 제공하기 위해 사용된다. 디스플레이 아웃 인터페이스(228)는 물리적 환경 직면 카메라(113) 및 아이 카메라(134B)로부터의 이미지를 프로세싱 유닛(4)에 제공하기 위한 버퍼를 포함한다. 디스플레이 인 인터페이스(230)는 미이크로 디스플레이(120) 상에 디스플레이될 가상 이미지와 같은 이미지를 수신하기 위한 버퍼를 포함한다. 디스플레이 아웃 인터페이스(228) 및 디스플레이 인 인터페이스(230)는 프로세싱 유닛(4)에 대한 인터페이스인 밴드 인터페이스(232)와 통신한다.
전원 관리 회로(202)는 전압 조정기(234), 아이 트래킹 조명 드라이버(236), 오디오 DAC 및 증폭기(238), 마이크로폰 전치 증폭기 및 오디오 ADC(240), 온도 센서 인터페이스(242), 액티브 필터 제어기(237), 및 클록 발생기(245)를 포함한다. 전압 조정기(234)는 밴드 인터페이스(232)를 통해 프로세싱 유닛(4)으로부터 전원을 수신하고, 헤드 마운티드 디스플레이 디바이스(2)의 다른 컴포넌트들에 그 전원을 제공한다. 조명 드라이버(236)는, 예를 들어, 구동 전류 또는 전압을 통해, 대략 미리 정의된 파장 또는 파장 범위 내에서 동작하도록 아이 트래킹 조명원(134A)을 제어한다. 오디오 DAC 및 증폭기(238)는 오디오 데이터를 이어폰(130)에 제공한다. 마이크로폰 전치 증폭기 및 오디오 ADC(240)는 마이크로폰(110)에 대한 인터페이스를 제공한다. 온도 센서 인터페이스(242)는 온도 센서(138)에 대한 인터페이스이다. 액티브 필터 제어기(237)는 하나 이상의 파장을 나타내는 데이터를 수신하고, 이를 위해 각각의 파장 선택 필터(127)는 선택적 파장 필터로서 역할을 한다. 전원 관리 유닛(202)은 또한 3 축 자력계(132A), 3 축 자이로스코프(132B), 및 3 축 가속도계(132C)에 전원을 제공하고 이들로부터 다시 데이터를 수신한다. 전원 관리 유닛(202)은 또한 GPS 송수신기(144)에 전원을 제공하고 이로부터 다시 데이터를 수신하며, 이에 데이터를 전송한다.
도 3b는 투시형 근안용 혼합 현실 디스플레이 유닛과 연관된 프로세싱 유닛(4)의 하드웨어 및 소프트웨어 컴포넌트들의 일 실시예의 블록도이다. 도 3b는 전원 관리 회로(306)와 통신하는 제어 회로(304)를 도시한다. 제어 회로(304)는 중앙 처리 장치(central processing unit; CPU)(320), 그래픽 처리 유닛(graphics processing unit; GPU)(322), 캐시(324), RAM(326), 메모리(330)(예컨대, D-RAM)와 통신하는 메모리 제어기(328), 플래시 메모리(334)(또는 다른 타입의 비휘발성 저장 장치)와 통신하는 플래시 메모리 제어기(332), 밴드 인터페이스(302) 및 밴드 인터페이스(232)를 통해 투시형 근안용 디스플레이 디바이스(2)와 통신하는 디스플레이 아웃 버퍼(336), 밴드 인터페이스(302) 및 밴드 인터페이스(232)를 통해 근안용 디스플레이 디바이스(2)와 통신하는 디스플레이 인 버퍼(338), 마이크로폰에 접속하기 위한 외부 마이크로폰 커넥터(342)와 통신하는 마이크로폰 인터페이스(340), 무선 통신 디바이스(346)에 접속하기 위한 PCI 익스프레스 인터페이스, 및 USB 포트(들)(348)을 포함한다.
일 실시예에서, 무선 통신 컴포넌트(346)는 와이파이 가능 통신 디바이스, 블루투스 통신 디바이스, 적외선 통신 디바이스, 셀룰러, 3G, 4G 통신 디바이스, 무선 USB(WUSB) 통신 디바이스, RFID 통신 디바이스들을 포함할 수 있다. 따라서, 무선 통신 컴포넌트(346)는 예를 들어 다른 디스플레이 디바이스 시스템(8)과의 피어-투-피어 데이터 전송뿐만 아니라, 무선 라우터 또는 셀 타워를 통해 대규모 네트워크에 대한 접속을 허용한다. USB 포트는 다른 디스플레이 디바이스 시스템(8)에 프로세싱 유닛(4)을 고정(dock)하기 위해 사용될 수 있다. 부가적으로, 프로세싱 유닛(4)은 프로세싱 유닛(4)에 데이터 또는 소프트웨어를 로딩하기 위한 것뿐만 아니라 프로세싱 유닛(4)을 충전하기 위해서, 다른 컴퓨팅 시스템(12)에 고정될 수 있다. 일 실시예에서, CPU(320) 및 GPU(322)는 사용자의 뷰에 가상 이미지를 삽입할 위치, 시간, 및 방법을 결정하기 위한 메인 워크홀스(main workhorses)이다.
전원 관리 회로(306)는 클록 발생기(360), 아날로그 디지털 변환기(362), 배터리 충전기(364), 전압 조정기(366), 투시형 근안용 디스플레이 전원(376), 및 온도 센서(374)(프로세싱 유닛(4)의 손목 밴드에 위치함)와 통신하는 온도 센서 인터페이스(372)를 포함한다. 교류 대 직류 변환기(362)가 AC 전원을 수신하여 시스템에 대한 DC 전원을 생성하기 위한 충전 잭(370)에 접속된다. 전압 조정기(366)는 시스템에 전원을 공급하기 위한 배터리(368)와 통신한다. 배터리 충전기(364)는 충전 잭(370)으로부터 전원을 수신하면 (전압 조정기(366)를 통해) 배터리(368)를 충전하기 위해 사용된다. 디바이스 전원 인터페이스(376)는 디스플레이 디바이스(2)에 전원을 제공한다.
평면 도파관
도 4a 내지 도 4e는 이제 본 기술의 실시예에 따라 평면 도파관(412)의 특정한 특징을 설명하기 위해 사용될 것이며, 도파관(112)은 도 1, 도 2a 및 도 2b를 참조하여 앞서 논의된 도파관(112)를 구현하기 위해 사용될 수 있다. 보다 구체적으로, 도 4a 내지 도 4e는 도 2b 및 도 3a를 참조하여 앞서 논의된 눈(440)으로부터 반사된 적외선을 수집하고, 그 적외선을 아이 트래킹 IR 센서(134B)에 제공하기 위해 사용되는 평면 도파관(412)의 일부를 설명하기 위해 사용될 것이다. 적외선은, 예를 들어, 전술한 바와 같이 눈이 아이 트래킹 조명원(134A)에 의해 생성된 적외선에 의해 조명되는 경우, 눈(440)으로부터 반사될 것이다.
도 4a는 평면 도파관(412)의 배경도를 나타낸다. 도 4a를 참조하면, 평면 도파관(412)은 입력 커플러(414) 및 출력 커플러(416)를 포함하는 것으로 도시된다. 입력 커플러(414)가 적외선으로 조명되는 눈(440) 앞에 배치되는 경우, 눈(440)으로부터 반사되어 입력 커플러(414)에 입사되는 적외선 빔(점선(418)로 나타남)은 입력 커플러(414)에서 도파관(412)에 입력되고, 내부 전반사에 의해 도파관(412)을 통해 입력 커플러(414)에서부터 출력 커플러(416)로 전파되며, 출력 커플러(416)에 인접한 곳에서 평면 도파관(412)을 빠져나간다. 출력 커플러(416)는, 예를 들어, 선형 격자 타입 출력 커플러, 홀로그램 격자 타입 출력 커플러, 적외선(및/또는 다른 파장의 빛)이 도파관(412)을 빠져나가도록 야기할 수 있는 프리즘 또는 다른 광학 커플러일 수 있다. 입력 커플러(414)는 투과형 입력 커플러 또는 반사형 입력 커플러 중 어느 하나일 수 있다. 유사하게, 출력 커플러(416)는 투과형 출력 커플러 또는 반사형 출력 커플러 중 어느 하나일 수 있다. 구현에 따라, 출력 커플러의 특징은 평면 도파관(412)의 어느 하나의 평면 표면에, 또는 평면 도파관의 모든 평면 표면들에 포함될 수 있다. 특정 실시예에 따라, 입력 커플러(414)의 세부 사항은 도 4b를 참조하여 이하에 논의된다.
도 4a의 평면 도파관(412)의 정면도인 도 4b는, 상기 입력 커플러(414)가 복수의 곡선 격자 라인(424)을 포함하는 것을 나타낸다. 다른 방법으로 설명하면, 입력 커플러(414)는 복수의 곡선 격자 라인에 의해 형성된 격자 영역을 포함한다. 실시예에 따라, 복수의 곡선 격자 라인(424)은 중심이 같고, 각각은 동일한 곡률 중심(426)을 갖고, 각각은 동일한 수렴점(428)을 갖는다. 보다 구체적으로는, 이러한 특정 실시예에서, 곡선 격자 라인(424) 각각에 대해 곡률 중심(426) 및 수렴점(428)은 동일한 지점이고, 이는 출력 커플러(416)의 중심에 위치하거나 그 근처에 위치한다. 이 구성에 있어서, 입력 커플러(414)의 곡선 격자 라인(424)은 입력 커플러(414)에 입사된 적외선 빔을 도파관(412)으로 회절시키고, 출력 커플러(416)가 위치하는 도파관(414)의 영역을 향해 회절시킨다. 곡선 격자 라인(424) 중 일부만이 도 4b에 도시되어 있지만, 입력 커플러(414)는 아마 수천 또는 수만 개의 곡선 격자 라인(424)을 포함할 것이다.
입력 커플러(414)의 복수의 곡선 격자 라인(424)은 방사상 가변 피치를 갖고, 이는 인접한 쌍들의 곡선 격자 라인(424) 사이의 거리가 한 쌍의 인접한 곡선 격라 라인(424)에서 그 다음 쌍의 인접한 곡선 라인으로 변한다는 것을 의미한다. 보다 구체적으로, 입력 커플러(414)의 곡선 격자 라인(424)의 방사상 가변 피치는 곡선 격자 라인(424)과 출력 커플러(416) 사이의 거리가 증가하면 감소한다. 다시 말해서, 제1 쌍의 인접한 곡선 격자 라인(424)이 제2 쌍의 인접한 곡선 격자 라인(424)보다 출력 커플러(416)에 가까우면, 제1 쌍의 인접한 곡선 격자 라인(424) 사이의 거리는 제2 쌍의 인접한 곡선 격자 라인(424) 사이의 거리보다 클 것이다. 실시예에 따라, 곡선 격자 라인(424)의 방사상 가변 피치는 대략 500 nm부터 대략 1 ㎛까지 다양하지만, 이에 한정되는 것은 아니다. 예를 들어, 출력 커플러(416)에 가장 가까운 두 개의 곡선 격자 라인(424)(입력 커플러(414)의 것) 사이의 거리는 대략 1 ㎛이고, 출력 커플러(416)로부터 가장 멀리 있는 두 개의 곡선 격자 라인(424)(입력 커플러(414)의 것) 사이의 거리는 대략 500 nm(즉, 대략 0.5 ㎛)일 수 있다. 평면 도파관(412), 입력 커플러(414), 곡선 격자 라인(424)(입력 커플러(414)의 것), 출력 커플러는 일정한 비율로 그려진 것이 아니라, 오히려 다른 요소들에 대해 이러한 요소들 각각의 예시적인 상대적 위치를 간단하게 나타내기 위한 것임을 본 설명으로부터 이해할 수 있다.
곡선 격자 라인(424)(입력 커플러(414)의 것)의 방사상 가변 피치는, 입력 커플러(414)의 상이한 수평 및 수직 위치에 입사되는 상이한 적외선 빔이 개개의 상이한 반사각으로 평면 도파관(412)을 통해 전파되고, 적외선이 빠져나가는 평면 도파관(412)의 표면에 대하여 개개의 상이한 입사각으로 출력 커플러(416)를 빠져나가도록 야기한다. 다른 방식으로 설명하면, 곡선 격자 라인(424)(입력 커플러(414)의 것)의 방사상 가변 피치는, 입력 커플러(414)에 입사되는 적외선 빔의 각도 인코딩을 야기하여, 이에 의해 입력 커플러(414)의 상이한 수평 및 수직 위치에 입사된 적외선 빔을 구분하는 방식으로 출력 커플러(416)를 통해 평면 도파관(412)을 빠져나가는 적외선 빔이 (예컨대, 아이 트래킹 IR 센서(134B)를 통해) 이미지화되는 것을 가능하게 한다.
입력 커플러(414)의 곡선 격자 라인(424)은 다양하고 상이한 방식들로 형성될 수 있다. 하나의 방법은 곡선 격자 라인(424)을 기록하기 위해 홀로그램 방식을 사용하는 것이다. 대안적으로, 곡선 격자 라인(424)은 전자 빔 리소그래피 또는 포토 리소그래피를 사용하여 형성될 수 있다. 이들은 입력 커플러(414)의 곡선 격자 라인(424)을 형성하는 다양한 방법들 중 단지 몇 가지 예로서, 한정하기 위한 것이 아니다. 구현에 따라, 입력 커플러(414)의 격자 라인은 평면 도파관(412)의 어느 하나의 평면 표면에, 또는 평면 도파관의 모든 평면 표면들에 포함될 수 있다.
일 실시예에서, 입력 커플러(414) 및 출력 커플러(416)는 텔레센트릭(telecentricity)을 달성하기 위해 서로에 대해 상대적으로 배치된다. 이러한 상황에서, 입력 동공은 무한대에 위치하고, 이것은 입력 커플러를 객체 공간 텔레센 트릭하게 만든다. 이것은 눈(440)의 직각 투영을 유리하게 제공한다.
바람직하게, 평면 도파관(412)을 통해 이동하는 적외선 빔은 시준(collimate)되지만, 어느 정도의 비시준이 허용될 수 있다. 눈(440)이 입력 커플러 (414)의 초점 거리인 공칭 눈동자 거리에 있는 경우, 안내 광이 자연적으로 시준되도록 입력 커플러(414)는 초점 요소로서 작동한다. 보다 구체적으로는, 안구 면 상의 동일한 필드 포인트로부터 발생된 적외선의 광선속(ray bundle)은 도파관(412)의 내부에서 시준된다. 그러나, 곡선 격자 라인(424)의 방사상 가변 피치로 인해, 안구 면 상의 상이한 필드 포인트로부터의 광선속은 상이한 입사각을 가질 것이고, 이는 앞서 언급된 각도 인코딩을 제공한다.
평면 도파관(412)의 측면도를 나타내는 도 4c는 또한 출력 커플러(416) 근처에 위치하는 렌즈 모듈(430)을 도시한다. 하나 이상의 렌즈를 포함할 수 있는 렌즈 모듈(430)은, 광선이 출력 커플러(416)에 인접한 곳에서 평면 도파관(412)을 빠져나간 이후에, 평면 도파관(412) 내의 광선의 각도 공간을 2 차원(2D) 공간으로 변환하도록 구성된다. 다른 방식으로 설명하면, 렌즈 모듈(430)은 각도 인코딩된 적외선 빔을 2 차원(2D) 공간적으로 인코딩된 적외선 빔으로 변환하기 위해 사용된다. 2 차원 공간으로 변환된 이후에, 적외선 빔은 도 4c에 도시된 바와 같이 아이 트래킹 IR 센서(134B)의 2 차원 평면 상에 입사된다. 아이 트래킹 IR 센서(134B)는 센서에 입사되는 2 차원 공간적으로 인코딩된 적외선 빔에 의존하여 아이 트래킹 데이터를 생성한다.
평면 도파관(412)의 다른 정면도인 도 4d는 도 4b와 유사하지만, 출력 커플러(416)에 대하여 렌즈 모듈(430) 및 아이 트래킹 IR 센서(134B)의 위치를 또한 도시한다. 그러나, 도 4d는 도 4b에 도시된 곡선 격자 라인(424)을 나타내지 않는다. 그럼에도 불구하고, 입력 커플러(414)는 앞서 설명된 곡선 격자 라인을 확실히 포함한다. 도 4e는 평면 도파관(412)의 평면도이고, 이것은 또한 입력 커플러(414) 및 출력 커플러(416)에 대하여 렌즈 모듈(430) 및 아이 트래킹 IR 센서(134B)의 상대적 위치를 나타낸다.
평면 도파관(412)은 도 1 내지 도 3b를 참조하여 앞서 설명한 것과 같이, 투시형 혼합 현실 디스플레이 디바이스 시스템에 통합될 수 있지만, 그것에 대한 사용으로 한정되는 것은 아니다. 앞서 언급한 바와 같이, 평면 도파관(412)은 도 2b를 참조하여 앞서 논의된 도파관(112)으로서 사용될 수 있다. 따라서, 평면 도파관(412)은 안경에 사용되는 표준 렌즈일 수 있고, 임의의 처방(처방이 없는 경우도 포함함)으로 만들어질 수 있는 투시 렌즈(예컨대, 116 및/또는 118) 사이에 또는 그 옆에 배치될 수 있다. 평면 도파관(412)은 대안적으로 눈으로부터 반사된 적외선에 기초하여 아이 트래킹을 수행하도록 의도되는 임의의 시스템에서 사용될 수 있다. 일반적으로, 평면 도파관의 입력 커플러(414)는 눈과 축방향으로 정렬되는 것이 바람직하여, 눈이 적외선으로 조명되는 경우, 눈으로부터 반사된 적외선 빔이 평면 도파관(412)의 입력 커플러(414)에 입사될 것이다. 출력 커플러(416)는 눈을 이미지화하기 위해 사용되는 센서 또는 카메라(예컨대, 아이 트래킹 IR 센서(134B))에 가깝게 위치하는 것이 바람직하다. 앞서 언급한 바와 같이, 이러한 센서 또는 카메라는 프레임(예컨대, 115)의 브로우(예컨대, 103)에 장착되거나 그 내부에 있을 수 있다. 대안적으로, 센서 또는 카메라는, 입력 커플러(414) 및 출력 커플러(416)의 상대적 위치가 90도만큼 회전될 수 있는 경우에, 프레임의 템플 또는 사이드 암(예컨대, 102)에 장착되거나 그 내부에 있을 수 있다. 앞서 설명된 바와 같이, 렌즈 모듈(예컨대, 430)은 출력 커플러(416)와 센서(예컨대, 아이 트래킹 IR 센서(134B)) 사이에 위치할 수 있다.
일 실시예에 따르면, 평면 도파관(예컨대, 412)의 입력 커플러(예컨대, 414)를 설계하기 위한 방법은, 입력 커플러에 대해 요구되는 기능을 집합적으로 제공하는 두 개의 별도의 광학 디바이스를 설계하는 것이다. 보다 구체적으로, 이제 도 5a 내지 도 5c를 참조하여 설명되는 바와 같이, 입력 커플러(414)의 기능은 온축 홀로그램 렌즈 및 선형 회절 격자에 의해 집합적으로 제공될 수 있다.
도 5a 내지 도 5c를 참조하면, 라인(540)은 안구 면을 나타내고, 요소(514)는 온축 홀로그램 렌즈를 나타낸다. 도 5a에서, 요소(512)는 온축 홀로그램 렌즈(514) 옆에 있는 도파관(512)의 일부분에서 선형 회절 격자를 포함하는 평면 도파관을 나타낸다.
도 5b는 그것만으로 온축 홀로그램 렌즈(514)의 기능을 설명하기 위해 사용된다. 보다 구체적으로, 도 5b는 안구 면(540)으로부터 반사되어 온축 홀로그램 렌즈(514)에 입사되는 적외선 빔이 공통 지점에 포커싱되는 것을 나타낸다. 선형 회절 격자를 포함하는 평면 도파관(512)의 과장되거나 확대된 부분을 포함하는 도 5c는, 적외선 빔이 도파관(512)으로 회절되고 출력 커플러(516)가 위치하는 도파관(512)의 영역을 향해 회절되도록 선형 회절 격자가 적외선 빔(온축 홀로그램 렌즈(514)를 통해 이동했음)의 방향을 변경시키는 것을 나타낸다.
선형 회절 격자 옆에 온축 홀로그램 렌즈(514)를 포함하는 것으로 입력 커플러를 설계함으로써, 입력 커플러는 입력 커플러를 사용하여 이미지화될 수 있는 수직 객체 높이를 증가시키고 바람직하게는 최대화하도록 설계될 수 있다. 일단 온축 홀로그램 렌즈 및 선형 회절 격자의 설계가 완료되면, 이러한 두 개의 컴포넌트는 수학적으로 단일 회절 광학 요소로 감소된다. 이것은 입력 커플러의 광학적 전달 함수를 선형 회절 격자의 광학적 전달 함수와 결합된 온축 홀로그램 렌즈의 광학적 전달 함수와 실질적으로 동일하게 함으로써 이루어질 수 있다.
이러한 단일 회절 광학 요소는 도 4a 내지 도 4e를 참조하여 설명된 입력 커플러(414)에 유사하지만 이것과 동일하지 않을 것이다. 예를 들어, 입력 커플러(414)를 사용하는 경우 같이, 결과적인 단일 회절 광학 요소 입력 커플러는 또한 방사상 가변 피치를 갖는 곡선 격자 라인을 포함할 것이다. 그러나, 본 실시예의 복수의 곡선 격자 라인은 모두 동일한 곡률 중심 및 수렴점을 갖지 않을 것이다. 오히려, 곡률 중심과 수렴점은 다소 흐릿하게 될 것이고, 이들은 서로 인접하지만, 정확히 같은 지점에 있는 것은 아니다. 입력 커플러의 곡선 격자 라인 각각이 출력 커플러(516)가 위치하는 도파관의 영역 내에 위치하는 수렴점을 갖기만 하면 괜찮다. 이것은, 입력 커플러가 적외선으로 조명되는 눈 앞에 배치되는 경우, 눈으로부터 반사되어 입력 커플러에 입사되는 적외선 빔은 입력 커플러에서 도파관에 입력되고, 내부 전반사에 의해 도파관을 통해 입력 커플러에서부터 출력 커플러로 전파되며, 출력 커플러(516)에 인접한 곳에서 평면 도파관을 빠져나간다는 것을 보장할 것이다.
또한, 도 4a 내지 도 4e를 참조하여 설명된 입력 커플러(414)를 사용하는 경우 처럼, 이 실시예에서, 입력 커플러의 곡선 격자 라인의 방사상 가변 피치는, 입력 커플러의 상이한 수평 및 수직 위치에 입사되는 상이한 적외선 빔이 개개의 상이한 반사각으로 도파관을 통해 전파되고, 적외선 빔이 빠져나가는 도파관의 표면에 대하여 개개의 상이한 입사각으로 도파관을 빠져나가도록 야기할 것이다. 다시 말해서, 이 실시예는 또는 입력 커플러에 입사되는 적외선 빔의 각도 인코딩을 달성한다. 도 5a에 구체적으로 도시되지 않았지만, 렌즈 모듈(예컨대, 430)은 평면 도파관(512)을 빠져나가는 적외선 빔을 각도 인코딩된 적외선 빔으로부터 2 차원 공간적으로 인코딩된 적외선 빔으로 변환하기 위해 사용될 수 있다. 부가적으로, 아이 트래킹 IR 센서(예컨대, 134B)는 렌즈 모듈을 사용하여 생성된 2 차원 공간적으로 인코딩된 적외선 빔에 의존하는 아이 트래킹 데이터를 생성할 수 있다.
도 6은 아이 트래킹에 사용하기 위한 방법을 요약하기 위해 사용되는 흐름도이다. 도 6을 참조하면, 단계(602)에서, 눈은 적외선으로 조명되고, 평면 도파관의 입력 커플러는 일반적으로 눈과 축 방향 정렬되며, 이는 눈으로부터 반사된 적외선 빔이 평면 도파관의 입력 커플러에 입사되도록 야기할 것이다.
단계(604)에 나타난 바와 같이, 입력 커플러의 곡선 격자 라인은 평면 도파관의 입력 커플러에 입사된 적외선 빔이 출력 커플러가 위치하는 평면 도파관의 공통 영역을 향해 회절되도록 할 수 있다. 단계(606)에 나타난 바와 같이, 입력 커플러의 상이한 부분에 입사된 적외선 빔은 각각 상이한 반사각으로 도파관을 통해 전파되고, 적외선 빔이 빠져나가는 도파관의 표면에 대해 각각 상이한 입사각으로 도파관을 빠져나가도록 한다. 다시 말해서, 단계(606)에서, 입력 커플러에 입사되어 도파관에 입력되는 적외선 빔의 각도 인코딩이 존재한다. 앞서 설명한 바와 같이, 이러한 각도 인코딩은 입력 커플러의 곡선 격자 라인의 방사성 가변 피치로 인해 달성된다. 단계(604 및 606)가 두 개의 별도의 단계로 도시되어 있지만, 이러한 단계들은 동시에 수행될 수 있다.
단계(608)에 나타낸 바와 같이, 평면 도파관을 빠져나가는 적외선 빔은 각도 인코딩된 적외선 빔으로부터 2 차원 공간적으로 인코딩된 적외선 빔으로 변환된다. 앞서 설명한 바와 같이, 이것은 렌즈 모듈(예컨대, 430)를 사용하여 달성될 수 있다.
단계(610)에 나타난 바와 같이, 눈을 추적하기 위해 사용될 수 있는 아이 트래킹 데이터는 2 차원 공간적으로 인코딩된 적외선 빔에 의존하여 생성된다. 앞서 설명한 바와 같이, 이것은 아이 트래킹 IR 센서(예컨대, 134B)를 사용하여 달성될 수 있다. 센서는, 예를 들어, 전하 결합 소자(charge-coupled device; CCD) 또는 CMOS 픽셀 센서 어레이일 수 있으나, 이것들로 한정되는 것은 아니다. 아이 트래킹 데이터의 일부 예는 위치 감응 검출기(PSD)에 의해 반짝임에 대해 검출된 위치 또는 적외선 카메라로부터의 이미지 데이터이다. 아이 트래킹 데이터는, 예를 들어, 사용자가 응시하는 실제 또는 가상의 하나 이상의 객체를 나타내는 시선 지점을 결정하기 위해 사용될 수 있다. 다시 말해서, 아이 트래킹 데이터는 사용자가 보고 있는 방향 또는 객체를 결정하기 위해 사용될 수 있다. 당해 분야에 공지된 바와 같이 아이 트래킹은, 이향운동(vergence), 동공 간 거리(inter-pupillary distance; IPD), 시선 결정, 안구 운동 기반 명령, 생체 인식을 측정하는 것을 포함할 수 있으나, 이것들로 한정되는 것은 아니다.
눈구멍 내의 동공의 위치는 IR 센서가 IR 카메라인 경우 공지된 이미징 기술에 의해, IR 센서가 위치 감응 검출기(PSD) 타입인 경우 반짝임 위치 데이터에 의해 식별될 수 있다. 보다 구체적인 예를 들면, 동공의 위치는 Kranz 등에 의해 2008년 7월 22일자에 발행된 발명의 명칭이 "Head Mounted Eye Tracking and Display System"인 미국 특허 제7,401,920호에 개시된 바와 같이, 각막의 반사를 검출하는 공지된 이미징 기술에 의해 식별될 수 있다. 이러한 기술은 트래킹 카메라(예컨대, 아이 트래킹 IR 센서(134B))에 대해 눈의 중심의 정확한 위치를 찾아낼 수 있다. 일반적으로, 아이 트래킹은 눈의 이미지를 획득하는 것과, 눈구멍 내의 동공의 위치를 결정하기 위해 컴퓨터 비전 기술을 사용하는 것을 포함한다. 일 실시예에서, 눈은 보통 일제히 움직이기 때문에 한쪽 눈의 위치를 추적하는 것으로 충분하다. 그러나, 각각의 눈을 개별적으로 추적하는 것도 가능하다. 두 눈이 추적되는 경우에, 두 눈 각각에 대해 본원에 기재된 평면 도파관의 별도의 하나가 있을 수 있다. 반사된 적외선에 기초하여 눈을 추적하고 아이 트래킹 데이터를 생성하기 위한 기술을 설명하는 특허의 다른 예는, Lewis 등이 2013년 7월 16일자에 발행한 발명의 명칭이 "Gaze Detection in a See-Through, Near-Eye, Mixed Reality Display"인 미국 특허 제8,487,838호이다.
단계(612)에 나타난 바와 같이, 애플리케이션의 일 양태는 아이 트래킹 데이터에 기초하여 제어 또는 수정된다. 단계(612)는, 예컨대, 프로세서(예컨대, 210 또는 320)를 사용하여 수행될 수 있다. 단계(612)는, 예를 들어, 사용자가 목록에서 선택하는 것을 가능하게 하는 것, 사용자가 가상 환경을 통해 아바타를 진행시키는 방법을 제어하는 것을 가능하게 하는 것, 또는 특정 가상 객체가 강조되도록 하는 것을 포함할 수 있지만, 이것들로 한정되는 것은 아니다. 단계(612)는, 부가적으로 또는 대안적으로, 특정 시각 자극 등에 대한 사용자의 반응을 관찰하는 것을 포함할 수 있다.
본원에 개시된 평면 도파관은 유리하게 혼합 현실 디스플레이 디바이스 시스템의 투시 특성을 손상시키지 않는 방식으로 아이 트래킹 하드웨어와 함께 사용될 수 있다. 또한, 본원에 개시된 평면 도파관은 모든 타입의 처방 안경에서 작동하는 눈의 이미지화를 가능하게 하고, 전체 눈 움직임 범위와 동공 간 거리 범위를 커버하는 눈의 이미지화를 가능하게 한다.
상기 설명에서, 도파관(412)은 통상적으로 한 쌍의 평면 표면을 포함하는 평면 도파관(412)인 것으로서 설명되었다. 대안적인 실시예에서, 도파관의 주 표면 중 하나 또는 모두는 비평면, 즉, 곡선일 수 있다. 격자는 평면 표면 상에 또는 그 표면 내에 더욱 용이하게 제조될 수 있고, 곡선 표면(들)을 이용하면, 시스템의 수차의 일부를 감소시키는 것이 가능하다.
본 기술의 실시예들은 특정 기능 및 이들의 관계의 성능을 나타내는 기능적 빌딩 블록들의 도움으로 상술되었다. 이러한 기능적 빌딩 블록들의 경계들은 대개 설명의 편의를 위해 본원에서 정의되었다. 특정 기능 및 이들의 관계가 적절히 수행되는 한, 다른 경계가 정의될 수 있다. 따라서, 임의의 이러한 다른 경계는 본 기술의 사상 및 범위 내에 있다. 예를 들면, 도 6에 도시된 단계들의 일부를 결합 또는 분리하는 것이 가능하다. 다른 예를 들면, 도 3a 및 도 3b에 도시된 블록들의 일부의 경계를 변경하는 것이 가능하다.
대상이 구조적 특징 및/또는 방법론적 행위에 특정 언어로 설명되어 있지만, 첨부된 특허 청구 범위에 정의된 대상은 반드시 위에서 설명한 특정한 특징 또는 행위로 제한되는 것이 아님이 이해될 것이다. 오히려, 위에서 설명한 특정한 특징과 행위는 특허 청구 범위를 구현하는 예시적인 형태로 개시된다. 기술의 범위는 여기에 첨부된 특허 청구 범위에 의해 정의되는 것으로 의도된다.

Claims (10)

  1. 적외선에 의해 조명되는 눈을 추적하는데 사용하기 위한 장치에 있어서,
    투명하고, 입력 커플러 및 출력 커플러를 포함하는 도파관을 포함하고,
    상기 입력 커플러는 복수의 곡선 격자 라인을 포함하고, 상기 복수의 격자 라인은 상기 입력 커플러에 입사된 적외선 빔을 상기 도파관으로 회절시키고 상기 출력 커플러가 위치하는 공동 영역을 향해 회절시키며;
    상기 입력 커플러의 상기 복수의 곡선 격자 라인은 방사상 가변 피치를 갖는 것인, 적외선에 의해 조명되는 눈을 추적하는데 사용하기 위한 장치.
  2. 제1항에 있어서, 상기 입력 커플러가 적외선으로 조명되는 눈 앞에 배치되는 경우, 상기 눈으로부터 반사되어 상기 입력 커플러에 입사되는 적외선 빔은 상기 입력 커플러에서 상기 도파관에 입력되고, 내부 전반사에 의해 상기 도파관을 통해 상기 입력 커플러에서부터 상기 출력 커플러로 전파되며, 상기 출력 커플러에 인접한 곳에서 상기 도파관을 빠져나가는 것인, 적외선에 의해 조명되는 눈을 추적하는데 사용하기 위한 장치.
  3. 제2항에 있어서, 상기 입력 커플러의 상기 곡선 격자 라인의 상기 방사상 가변 피치는,
    상기 곡선 격자 라인과 상기 출력 커플러 사이의 거리가 증가하면 감소하고;
    상기 입력 커플러의 상이한 수평 및 수직 위치에 입사되는 상이한 적외선 빔이 개개의 상이한 반사각으로 상기 도파관을 통해 전파되고, 상기 적외선 빔이 빠져나가는 상기 도파관의 표면에 대하여 개개의 상이한 입사각으로 상기 도파관을 빠져나가도록 하는 것인, 적외선에 의해 조명되는 눈을 추적하는데 사용하기 위한 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 입력 커플러 및 상기 출력 커플러는 실질적으로 텔레센트릭(telecentricity)을 달성하기 위해 서로에 대해 상대적으로 배치되는 것인, 적외선에 의해 조명되는 눈을 추적하는데 사용하기 위한 장치.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 입력 커플러의 상기 복수의 곡선 격자 라인 각각은 상기 출력 커플러가 위치하는 상기 도파관의 영역 내에 위치하는 수렴점을 갖는 것인, 적외선에 의해 조명되는 눈을 추적하는데 사용하기 위한 장치.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 입력 커플러의 광학적 전달 함수는 선형 회절 격자의 광학적 전달 함수와 결합된 온축 홀로그램 렌즈의 광학적 전달 함수와 실질적으로 동일한 것인, 적외선에 의해 조명되는 눈을 추적하는데 사용하기 위한 장치.
  7. 눈을 추적하는데 사용하기 위한 방법에 있어서,
    도파관의 입력 커플러가 일반적으로 눈과 축방향으로 정렬되는 동안, 눈을 적외선으로 조명하는 단계로서, 상기 눈으로부터 반사된 적외선 빔이 상기 도파관의 상기 입력 커플러에 입사되도록 야기할 것인, 눈을 적외선으로 조명하는 단계;
    상기 입력 커플러의 곡선 격자 라인을 이용하여, 상기 도파관의 상기 입력 커플러에 입사된 상기 적외선 빔을 출력 커플러가 위치하는 상기 도파관의 공동 영역을 향해 회절시키는 단계;
    상기 도파관의 상기 출력 커플러를 이용하여, 상기 적외선 빔이 상기 도파관을 빠져나가도록 하는 단계; 및
    상기 입력 커플러의 상이한 부분에 입사된 적외선 빔이 개개의 상이한 반사각으로 상기 도파관을 통해 전파되도록 하고, 상기 적외선 빔이 빠져나가는 상기 도파관의 표면에 대해 개개의 상이한 입사각으로 상기 도파관을 빠져나가도록 하여, 상기 도파관을 통해 이동하여 상기 도파관을 빠져나가는 상기 적외선 빔이 각도 인코딩되도록 하는 단계
    를 포함하는 눈을 추적하는데 사용하기 위한 방법.
  8. 제7항에 있어서,
    상기 도파관을 빠져나가는 상기 적외선 빔을 각도 인코딩된 적외선 빔으로부터 2 차원 공간적으로 인코딩된 적외선 빔으로 변환하는 단계;
    상기 2 차원 공간적으로 인코딩된 적외선 빔에 의존하여, 상기 눈을 추적하기 위해 사용될 수 있는 아이 트래킹 데이터를 생성하는 단계; 및
    상기 아이 트래킹 데이터에 기초하여 애플리케이션의 양태를 제어 또는 수정하는 단계
    를 더 포함하는 눈을 추적하는데 사용하기 위한 방법.
  9. 눈을 추적하는데 사용하기 위한 시스템에 있어서,
    눈을 조명하기 위해 사용될 수 있는 적외선을 생성하는 적외선 조명원; 및
    투명하고, 입력 커플러 및 출력 커플러를 포함하는 도파관을 포함하고,
    상기 도파관의 상기 입력 커플러는 복수의 곡선 격자 라인을 포함하고, 상기 복수의 격자 라인은 상기 입력 커플러에 입사된 적외선 빔을 상기 도파관으로 회절시키고 상기 도파관의 상기 출력 커플러가 위치하는 공동 영역을 향해 회절시키며;
    상기 입력 커플러의 상기 복수의 곡선 격자 라인은, 상기 입력 커플러의 상이한 부분에 입사되는 적외선 빔이 개개의 상이한 반사각으로 상기 도파관을 통해 전파되고, 상기 적외선 빔이 빠져나가는 상기 도파관의 표면에 대하여 개개의 상이한 입사각으로 상기 도파관을 빠져나가도록 하는 방사상 가변 피치를 갖고;
    상기 도파관의 상기 입력 커플러가 상기 적외선 조명원에 의해 생성된 적외선으로 조명되는 눈 앞에 배치되는 경우, 상기 눈으로부터 반사되어 상기 입력 커플러에 입사되는 적외선 빔은 상기 입력 커플러에서 상기 도파관에 입력되고, 내부 전반사에 의해 상기 도파관을 통해 상기 입력 커플러에서부터 상기 출력 커플러로 전파되며, 상기 출력 커플러에 인접한 곳에서 상기 도파관을 빠져나가며;
    상기 입력 커플러의 상기 곡선 격자 라인의 상기 방사상 가변 피치는 상기 곡선 격자 라인과 상기 출력 커플러 사이의 거리가 증가하면 감소하는 것인, 눈을 추적하는데 사용하기 위한 시스템.
  10. 제9항에 있어서,
    상기 도파관을 빠져나가는 상기 적외선 빔을 각도 인코딩된 적외선 빔으로부터 2 차원 공간적으로 인코딩된 적외선 빔으로 변환하는 렌즈 모듈;
    상기 렌즈 모듈을 사용하여 생성된 상기 2 차원 공간적으로 인코딩된 적외선 빔에 의존하는 아이 트래킹 데이터를 생성하는 센서; 및
    상기 아이 트래킹 데이터에 기초하여 애플리케이션의 양태를 제어 또는 수정하는 프로세서
    를 더 포함하는 눈을 추적하는데 사용하기 위한 시스템.
KR1020167019608A 2013-12-26 2014-11-24 아이 트래킹 장치, 방법 및 시스템 KR102273001B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217020272A KR102341225B1 (ko) 2013-12-26 2014-11-24 아이 트래킹 장치, 방법 및 시스템

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/140,987 2013-12-26
US14/140,987 US9459451B2 (en) 2013-12-26 2013-12-26 Eye tracking apparatus, method and system
PCT/US2014/066999 WO2015099924A1 (en) 2013-12-26 2014-11-24 Eye tracking apparatus, method and system

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217020272A Division KR102341225B1 (ko) 2013-12-26 2014-11-24 아이 트래킹 장치, 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20160102481A true KR20160102481A (ko) 2016-08-30
KR102273001B1 KR102273001B1 (ko) 2021-07-06

Family

ID=52146695

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217020272A KR102341225B1 (ko) 2013-12-26 2014-11-24 아이 트래킹 장치, 방법 및 시스템
KR1020167019608A KR102273001B1 (ko) 2013-12-26 2014-11-24 아이 트래킹 장치, 방법 및 시스템

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217020272A KR102341225B1 (ko) 2013-12-26 2014-11-24 아이 트래킹 장치, 방법 및 시스템

Country Status (5)

Country Link
US (2) US9459451B2 (ko)
EP (1) EP3087425B1 (ko)
KR (2) KR102341225B1 (ko)
CN (1) CN105849621B (ko)
WO (1) WO2015099924A1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190126900A (ko) * 2017-03-21 2019-11-12 매직 립, 인코포레이티드 회절 광학 엘리먼트들을 이용한 눈-이미징 장치
KR20190132491A (ko) * 2017-05-17 2019-11-27 애플 인크. 시력 교정을 갖는 헤드-마운트 디스플레이 디바이스
KR20190133229A (ko) * 2017-04-17 2019-12-02 아코니아 홀로그래픽스 엘엘씨 스큐 미러 보조 이미징
US10670866B2 (en) 2017-06-13 2020-06-02 Electronics And Telecommunications Research Insitute Method for providing composite image based on optical transparency and apparatus using the same
KR20200063178A (ko) * 2017-09-27 2020-06-04 아우디 아게 특히 차량용 디스플레이 장치, 및 이 유형의 디스플레이 장치를 포함하는 차량

Families Citing this family (138)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10073264B2 (en) 2007-08-03 2018-09-11 Lumus Ltd. Substrate-guide optical device
IL166799A (en) 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
WO2011042711A2 (en) 2009-10-09 2011-04-14 Milan Momcilo Popovich Compact edge illuminated diffractive display
US11204540B2 (en) 2009-10-09 2021-12-21 Digilens Inc. Diffractive waveguide providing a retinal image
WO2012136970A1 (en) 2011-04-07 2012-10-11 Milan Momcilo Popovich Laser despeckler based on angular diversity
WO2013027004A1 (en) 2011-08-24 2013-02-28 Milan Momcilo Popovich Wearable data display
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
WO2013102759A2 (en) 2012-01-06 2013-07-11 Milan Momcilo Popovich Contact image sensor using switchable bragg gratings
US9642522B2 (en) 2012-03-26 2017-05-09 New York University Methods and kits for assessing central nervous system integrity
CN106125308B (zh) 2012-04-25 2019-10-25 罗克韦尔柯林斯公司 用于显示图像的装置和方法
US9456744B2 (en) 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
IL219907A (en) 2012-05-21 2017-08-31 Lumus Ltd Integrated head display system with eye tracking
US9933684B2 (en) * 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
WO2014188149A1 (en) 2013-05-20 2014-11-27 Milan Momcilo Popovich Holographic waveguide eye tracker
AU2014281725B2 (en) 2013-06-17 2019-10-10 New York University Methods and kits for assessing neurological and ophthalmic function and localizing neurological lesions
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
US9459451B2 (en) 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system
CN117084624A (zh) 2014-08-04 2023-11-21 纽约大学 用于诊断、评价或量化药物使用、药物滥用和麻醉的方法和试剂盒
WO2016020632A1 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Method for holographic mastering and replication
US9377623B2 (en) * 2014-08-11 2016-06-28 Microsoft Technology Licensing, Llc Waveguide eye tracking employing volume Bragg grating
US10241330B2 (en) 2014-09-19 2019-03-26 Digilens, Inc. Method and apparatus for generating input images for holographic waveguide displays
US9494799B2 (en) 2014-09-24 2016-11-15 Microsoft Technology Licensing, Llc Waveguide eye tracking employing switchable diffraction gratings
US10423222B2 (en) 2014-09-26 2019-09-24 Digilens Inc. Holographic waveguide optical tracker
US20180275402A1 (en) 2015-01-12 2018-09-27 Digilens, Inc. Holographic waveguide light field displays
CN107873086B (zh) 2015-01-12 2020-03-20 迪吉伦斯公司 环境隔离的波导显示器
JP6867947B2 (ja) 2015-01-20 2021-05-12 ディジレンズ インコーポレイテッド ホログラフィック導波路ライダー
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
NZ773831A (en) 2015-03-16 2022-07-01 Magic Leap Inc Methods and systems for diagnosing and treating health ailments
US10459145B2 (en) 2015-03-16 2019-10-29 Digilens Inc. Waveguide device incorporating a light pipe
WO2016156776A1 (en) 2015-03-31 2016-10-06 Milan Momcilo Popovich Method and apparatus for contact image sensing
KR102539075B1 (ko) * 2015-05-19 2023-05-31 매직 립, 인코포레이티드 조명기
US9910276B2 (en) 2015-06-30 2018-03-06 Microsoft Technology Licensing, Llc Diffractive optical elements with graded edges
US10670862B2 (en) 2015-07-02 2020-06-02 Microsoft Technology Licensing, Llc Diffractive optical elements with asymmetric profiles
US10038840B2 (en) 2015-07-30 2018-07-31 Microsoft Technology Licensing, Llc Diffractive optical element using crossed grating for pupil expansion
US9864208B2 (en) 2015-07-30 2018-01-09 Microsoft Technology Licensing, Llc Diffractive optical elements with varying direction for depth modulation
US10073278B2 (en) * 2015-08-27 2018-09-11 Microsoft Technology Licensing, Llc Diffractive optical element using polarization rotation grating for in-coupling
US10618521B2 (en) * 2015-09-21 2020-04-14 Ford Global Technologies, Llc Wearable in-vehicle eye gaze detection
CN108474945B (zh) 2015-10-05 2021-10-01 迪吉伦斯公司 波导显示器
US10429645B2 (en) 2015-10-07 2019-10-01 Microsoft Technology Licensing, Llc Diffractive optical element with integrated in-coupling, exit pupil expansion, and out-coupling
US10241332B2 (en) 2015-10-08 2019-03-26 Microsoft Technology Licensing, Llc Reducing stray light transmission in near eye display using resonant grating filter
EP3369091A4 (en) * 2015-10-26 2019-04-24 Pillantas Inc. SYSTEMS AND METHODS FOR CONTROLLING CONVERGENT OCULAR MOVEMENTS
US9946072B2 (en) 2015-10-29 2018-04-17 Microsoft Technology Licensing, Llc Diffractive optical element with uncoupled grating structures
EP3371973B1 (en) * 2015-11-06 2023-08-09 Facebook Technologies, LLC Eye tracking using a diffraction pattern of coherent light on the surface of the eye
AT517348B1 (de) * 2015-11-06 2017-01-15 Isiqiri Interface Tech Gmbh Vorrichtung und Verfahren zur Augenüberwachung
US10234686B2 (en) 2015-11-16 2019-03-19 Microsoft Technology Licensing, Llc Rainbow removal in near-eye display using polarization-sensitive grating
US10444972B2 (en) 2015-11-28 2019-10-15 International Business Machines Corporation Assisting a user with efficient navigation between a selection of entries with elements of interest to the user within a stream of entries
US10983340B2 (en) 2016-02-04 2021-04-20 Digilens Inc. Holographic waveguide optical tracker
US10859768B2 (en) 2016-03-24 2020-12-08 Digilens Inc. Method and apparatus for providing a polarization selective holographic waveguide device
NZ747005A (en) * 2016-04-08 2020-04-24 Magic Leap Inc Augmented reality systems and methods with variable focus lens elements
US10890707B2 (en) 2016-04-11 2021-01-12 Digilens Inc. Holographic waveguide apparatus for structured light projection
TWI597049B (zh) * 2016-06-01 2017-09-01 清弘生醫股份有限公司 可穿戴式眼溫監測裝置及其系統
US20180003961A1 (en) * 2016-07-01 2018-01-04 Intel Corporation Gaze detection in head worn display
EP3493728A4 (en) 2016-08-02 2020-05-20 New York University METHOD AND KITS FOR ASSESSING THE NEUROLOGICAL FUNCTION AND LOCALIZING NEUROLOGICAL LESIONS
US10268268B1 (en) 2016-09-02 2019-04-23 Facebook Technologies, Llc Waveguide integrated eye tracking
US20180068449A1 (en) * 2016-09-07 2018-03-08 Valve Corporation Sensor fusion systems and methods for eye-tracking applications
US10863902B2 (en) 2016-10-03 2020-12-15 Oculogica Inc. Method for detecting glaucoma
US10201274B2 (en) * 2016-10-20 2019-02-12 Oculogica Inc Eye tracking system with biometric identification
US11513350B2 (en) 2016-12-02 2022-11-29 Digilens Inc. Waveguide device with uniform output illumination
WO2018106963A1 (en) 2016-12-08 2018-06-14 Magic Leap, Inc. Diffractive devices based on cholesteric liquid crystal
US10120442B2 (en) * 2016-12-21 2018-11-06 Oculus Vr, Llc Eye tracking using a light field camera on a head-mounted display
WO2018122859A1 (en) * 2016-12-31 2018-07-05 Lumus Ltd. Eye tracker based on retinal imaging via light-guide optical element
US10168531B1 (en) 2017-01-04 2019-01-01 Facebook Technologies, Llc Lightfield waveguide integrated eye tracking
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
US10108014B2 (en) * 2017-01-10 2018-10-23 Microsoft Technology Licensing, Llc Waveguide display with multiple focal depths
EP3574360A4 (en) 2017-01-28 2020-11-11 Lumus Ltd. IMAGING SYSTEM WITH EXTENDED REALITY
US11141095B2 (en) 2017-02-17 2021-10-12 Oculogica Inc. Method and system for detecting concussion
WO2018156784A1 (en) * 2017-02-23 2018-08-30 Magic Leap, Inc. Variable-focus virtual image devices based on polarization conversion
CN106873159A (zh) * 2017-02-27 2017-06-20 阿里巴巴集团控股有限公司 虚拟现实头戴设备
CN106873163B (zh) * 2017-04-01 2023-01-10 歌尔股份有限公司 一种vr头戴显示器
US10674143B2 (en) 2017-05-12 2020-06-02 Qualcomm Incorporated System for eye tracking
US10546518B2 (en) 2017-05-15 2020-01-28 Google Llc Near-eye display with extended effective eyebox via eye tracking
US20200183079A1 (en) * 2017-05-19 2020-06-11 Seereal Technologies S.A. Display device comprising a light guide
US10629105B2 (en) 2017-06-15 2020-04-21 Google Llc Near-eye display with frame rendering based on reflected wavefront analysis for eye characterization
US10521658B2 (en) * 2017-07-07 2019-12-31 Facebook Technologies, Llc Embedded eye tracker with dichroic mirror
DE102017211910A1 (de) * 2017-07-12 2019-01-17 Dr. Johannes Heidenhain Gmbh Diffraktiver Biosensor
US11243434B2 (en) 2017-07-19 2022-02-08 Lumus Ltd. LCOS illumination via LOE
EP3443883B1 (de) * 2017-08-14 2020-07-29 Carl Zeiss Vision International GmbH Vorrichtungen und verfahren zur durchführung augenbezogener messungen
US10394034B2 (en) * 2017-08-15 2019-08-27 Microsoft Technology Licensing, Llc Eye-tracking with MEMS scanning and optical relay
US11351453B2 (en) * 2017-09-12 2022-06-07 Sony Interactive Entertainment LLC Attention-based AI determination of player choices
WO2019055504A1 (en) 2017-09-13 2019-03-21 Oculogica Inc. EYE TRACKING SYSTEM
EP3685215B1 (en) * 2017-09-21 2024-01-03 Magic Leap, Inc. Augmented reality display with waveguide configured to capture images of eye and/or environment
US11567318B1 (en) * 2017-09-25 2023-01-31 Meta Platforms Technologies, Llc Determining features of a user's eye from depth mapping of the user's eye via indirect time of flight
US11175506B2 (en) 2017-09-28 2021-11-16 Google Llc Systems, devices, and methods for waveguide-based eyebox expansion in wearable heads-up displays
US10627627B2 (en) * 2017-10-02 2020-04-21 Google Llc Eye tracking using light guide with faceted combiner
CA3077455A1 (en) 2017-10-11 2019-04-18 Magic Leap, Inc. Augmented reality display comprising eyepiece having a transparent emissive display
US11237628B1 (en) 2017-10-16 2022-02-01 Facebook Technologies, Llc Efficient eye illumination using reflection of structured light pattern for eye tracking
US11073903B1 (en) 2017-10-16 2021-07-27 Facebook Technologies, Llc Immersed hot mirrors for imaging in eye tracking
CN116149058A (zh) 2017-10-16 2023-05-23 迪吉伦斯公司 用于倍增像素化显示器的图像分辨率的系统和方法
US10732427B2 (en) * 2017-11-20 2020-08-04 Microsoft Technology Licensing, Llc Eye-tracking system positioning diffractive couplers on waveguide
CN107783297A (zh) * 2017-11-22 2018-03-09 深圳创维新世界科技有限公司 近眼显示装置
US10761314B1 (en) * 2017-12-05 2020-09-01 Facebook, Inc. Apparatuses, systems, and methods for reflecting infrared light
US10506220B2 (en) 2018-01-02 2019-12-10 Lumus Ltd. Augmented reality displays with active alignment and corresponding methods
US10914950B2 (en) 2018-01-08 2021-02-09 Digilens Inc. Waveguide architectures and related methods of manufacturing
US10732569B2 (en) 2018-01-08 2020-08-04 Digilens Inc. Systems and methods for high-throughput recording of holographic gratings in waveguide cells
CN108279496B (zh) * 2018-02-09 2021-02-19 京东方科技集团股份有限公司 一种视频眼镜的眼球追踪模组及其方法、视频眼镜
JP7487109B2 (ja) 2018-03-16 2024-05-20 ディジレンズ インコーポレイテッド 複屈折制御を組み込むホログラフィック導波管およびその加工のための方法
US20190312186A1 (en) * 2018-04-09 2019-10-10 Microsoft Technology Licensing, Llc Side-Emitting LED with Increased Illumination
US10761256B2 (en) 2018-04-16 2020-09-01 Samsung Electronics Co., Ltd. Backlight unit providing uniform light and display apparatus including the same
IL259518B2 (en) 2018-05-22 2023-04-01 Lumus Ltd Optical system and method for improving light field uniformity
US10788892B2 (en) 2018-05-23 2020-09-29 Facebook Technologies, Llc In-field illumination and imaging for eye tracking
US11455031B1 (en) 2018-06-04 2022-09-27 Meta Platforms Technologies, Llc In-field illumination for eye tracking
CN110596889A (zh) * 2018-06-13 2019-12-20 托比股份公司 眼睛跟踪装置和制造眼睛跟踪装置的方法
WO2020023779A1 (en) 2018-07-25 2020-01-30 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
US10838132B1 (en) * 2018-08-21 2020-11-17 Facebook Technologies, Llc Diffractive gratings for eye-tracking illumination through a light-guide
EP3853654A1 (en) * 2018-09-21 2021-07-28 Dolby Laboratories Licensing Corporation Incorporating components inside optical stacks of head-mounted devices
US10852817B1 (en) 2018-11-02 2020-12-01 Facebook Technologies, Llc Eye tracking combiner having multiple perspectives
US10725302B1 (en) 2018-11-02 2020-07-28 Facebook Technologies, Llc Stereo imaging with Fresnel facets and Fresnel reflections
US11181979B2 (en) * 2019-01-08 2021-11-23 Avegant Corp. Sensor-based eye-tracking using a holographic optical element
CN109857253A (zh) * 2019-02-03 2019-06-07 北京七鑫易维信息技术有限公司 一种眼球追踪装置及方法
WO2020168348A1 (en) 2019-02-15 2020-08-20 Digilens Inc. Methods and apparatuses for providing a holographic waveguide display using integrated gratings
EP3939246A4 (en) 2019-03-12 2022-10-26 Lumus Ltd. IMAGE PROJECTOR
CN113728258A (zh) 2019-03-12 2021-11-30 迪吉伦斯公司 全息波导背光及相关制造方法
US11650426B2 (en) 2019-05-09 2023-05-16 Meta Platforms Technologies, Llc Holographic optical elements for eye-tracking illumination
CN114207492A (zh) 2019-06-07 2022-03-18 迪吉伦斯公司 带透射光栅和反射光栅的波导及其生产方法
CN114008512B (zh) 2019-06-23 2024-05-24 鲁姆斯有限公司 具有中央凹光学校正的显示器
CN110161703A (zh) * 2019-06-26 2019-08-23 北京枭龙科技有限公司 一种具有眼球追踪功能的近眼显示装置
US11609424B2 (en) 2019-07-08 2023-03-21 Meta Platforms Technologies, Llc Apodized reflective optical elements for eye-tracking and optical artifact reduction
US11067821B2 (en) * 2019-07-08 2021-07-20 Facebook Technologies, Llc Apodized optical elements for optical artifact reduction
EP4004646A4 (en) 2019-07-29 2023-09-06 Digilens Inc. METHODS AND APPARATUS FOR MULTIPLYING THE IMAGE RESOLUTION AND FIELD OF VIEW OF A PIXELATED DISPLAY SCREEN
KR20220054386A (ko) 2019-08-29 2022-05-02 디지렌즈 인코포레이티드. 진공 브래그 격자 및 이의 제조 방법
US11169374B1 (en) 2019-12-31 2021-11-09 Snap Inc. Eyewear eye-tracking using optical waveguide
US11950022B1 (en) 2020-04-24 2024-04-02 Apple Inc. Head-mounted devices with forward facing cameras
US20230210363A1 (en) * 2020-06-18 2023-07-06 Northwestern University Infrared tele-video-oculography for remote evaluation of eye movements
KR102223621B1 (ko) * 2020-07-01 2021-03-05 부경대학교 산학협력단 비가시광선 가시화 자동정합형 증강현실 글래스
EP4187309A4 (en) * 2020-12-03 2024-04-10 Samsung Electronics Co Ltd WEARABLE ELECTRONIC DEVICE COMPRISING LIGHT-EMITTING UNIT
EP4237903A4 (en) 2021-03-01 2024-04-24 Lumus Ltd COMPACT COUPLING OPTICAL SYSTEM FROM A PROJECTOR IN A WAVEGUIDE
US11397465B1 (en) * 2021-05-17 2022-07-26 Microsoft Technology Licensing, Llc Glint-based eye tracker illumination using dual-sided and dual-layered architectures
JP2024517804A (ja) 2021-05-19 2024-04-23 ルムス エルティーディー． 活性光学エンジン
EP4374204A1 (en) 2021-08-23 2024-05-29 Lumus Ltd. Methods of fabrication of compound light-guide optical elements having embedded coupling-in reflectors
EP4167199A1 (en) 2021-10-14 2023-04-19 Telefonica Digital España, S.L.U. Method and system for tracking and quantifying visual attention on a computing device
TW202332941A (zh) * 2021-12-28 2023-08-16 美商元平台技術有限公司 用於眼睛追蹤的波長多工式波導系統
WO2023129525A1 (en) * 2021-12-28 2023-07-06 Meta Platforms Technologies, Llc Multi-directional gratings in a waveguide system
US11741861B1 (en) 2022-02-08 2023-08-29 Lumus Ltd. Optical system including selectively activatable facets

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157400A1 (en) * 2008-11-17 2010-06-24 Fedor Dimov Holographic Substrate-Guided Wave-Based See-Through Display
WO2013049012A1 (en) * 2011-09-26 2013-04-04 Bohn David D Integrated eye tracking and display system
KR20150013815A (ko) * 2012-05-21 2015-02-05 루머스 리미티드 안구-추적기와 헤드-탑재 디스플레이 통합 시스템

Family Cites Families (74)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3861784A (en) * 1973-06-29 1975-01-21 Sperry Rand Corp Programmable diffraction grating
US4235504A (en) * 1975-06-10 1980-11-25 Fujitsu Limited Holographic disk scanner
CA1174882A (en) 1981-02-23 1984-09-25 Charles J. Kramer Plane grating polarizing beamsplitter
JPS61213802A (ja) * 1985-03-20 1986-09-22 Toshiba Corp 光カプラ
US4711512A (en) 1985-07-12 1987-12-08 Environmental Research Institute Of Michigan Compact head-up display
US5440669A (en) 1991-07-26 1995-08-08 Accuwave Corporation Photorefractive systems and methods
US5491570A (en) 1991-07-26 1996-02-13 Accuwave Corporation Methods and devices for using photorefractive materials at infrared wavelengths
GB2267165A (en) 1992-05-11 1993-11-24 Sharp Kk Optical information processor
DE69434719T2 (de) 1993-02-26 2007-02-08 Yeda Research And Development Co., Ltd. Optische holographische Vorrichtungen
US5614988A (en) * 1993-12-06 1997-03-25 Nikon Corporation Projection exposure apparatus and method with a plurality of projection optical units
US5986746A (en) 1994-02-18 1999-11-16 Imedge Technology Inc. Topographical object detection system
US5701132A (en) 1996-03-29 1997-12-23 University Of Washington Virtual retinal display with expanded exit pupil
US5856842A (en) 1996-08-26 1999-01-05 Kaiser Optical Systems Corporation Apparatus facilitating eye-contact video communications
US5886822A (en) * 1996-10-08 1999-03-23 The Microoptical Corporation Image combining system for eyeglasses and face masks
US6285813B1 (en) * 1997-10-03 2001-09-04 Georgia Tech Research Corporation Diffractive grating coupler and method
US6580529B1 (en) 1998-04-02 2003-06-17 Elop Electro -Optics Industries Ltd. Holographic optical devices
US6323970B1 (en) 1999-09-29 2001-11-27 Digilents, Inc. Method of producing switchable holograms
US7123794B2 (en) * 2000-03-16 2006-10-17 Lightsmyth Technologies Inc Distributed optical structures designed by computed interference between simulated optical signals
US6529331B2 (en) 2001-04-20 2003-03-04 Johns Hopkins University Head mounted display with full field of view and high resolution
US6771423B2 (en) 2001-05-07 2004-08-03 Richard Geist Head-mounted virtual display apparatus with a near-eye light deflecting element in the peripheral field of view
US6731434B1 (en) 2001-05-23 2004-05-04 University Of Central Florida Compact lens assembly for the teleportal augmented reality system
US6791760B2 (en) * 2001-07-24 2004-09-14 Itt Manufacturing Enterprises, Inc. Planar diffractive relay
IL148804A (en) 2002-03-21 2007-02-11 Yaacov Amitai Optical device
US7619739B1 (en) 2002-08-29 2009-11-17 Science Applications International Corporation Detection and identification of biological agents using Bragg filters
FI114945B (fi) 2002-09-19 2005-01-31 Nokia Corp Sähköisesti säädettävä diffraktiivinen hilaelementti
US7205960B2 (en) * 2003-02-19 2007-04-17 Mirage Innovations Ltd. Chromatic planar optic display system
WO2004102226A2 (en) 2003-05-09 2004-11-25 Sbg Labs, Inc. Switchable viewfinder display
US7401920B1 (en) * 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
EP1639394A2 (en) 2003-06-10 2006-03-29 Elop Electro-Optics Industries Ltd. Method and system for displaying an informative image against a background image
WO2005050796A2 (en) 2003-11-13 2005-06-02 Bwt Property, Inc. Spectroscopic apparatus using spectrum narrowed and stabilized laser with bragg grating
KR100584703B1 (ko) * 2003-12-26 2006-05-30 한국전자통신연구원 평면 격자렌즈
US7907342B2 (en) 2005-09-07 2011-03-15 Bae Systems Plc Projection display
US8068709B2 (en) * 2005-09-12 2011-11-29 Lightsmyth Technologies Inc. Transmission gratings designed by computed interference between simulated optical signals and fabricated by reduction lithography
US7931540B2 (en) 2006-08-04 2011-04-26 Moose Mountain Toymakers Ltd. Children's playland
US8160411B2 (en) 2006-12-28 2012-04-17 Nokia Corporation Device for expanding an exit pupil in two dimensions
DE102007023560B4 (de) 2007-05-21 2009-02-05 Ovd Kinegram Ag Mehrschichtkörper
US8491121B2 (en) 2007-10-09 2013-07-23 Elbit Systems Of America, Llc Pupil scan apparatus
US8511827B2 (en) * 2008-01-22 2013-08-20 The Arizona Board Of Regents On Behalf Of The University Of Arizona Head-mounted projection display using reflective microdisplays
US20100149073A1 (en) * 2008-11-02 2010-06-17 David Chaum Near to Eye Display System and Appliance
US8311067B2 (en) 2008-06-12 2012-11-13 Akonia Holographics, Llc System and devices for improving external cavity diode lasers using wavelength and mode sensors and compact optical paths
US7660047B1 (en) 2008-09-03 2010-02-09 Microsoft Corporation Flat panel lens
US20100079865A1 (en) 2008-09-26 2010-04-01 Nokia Corporation Near-to-eye scanning display with exit-pupil expansion
WO2010119240A1 (en) 2009-04-14 2010-10-21 Bae Systems Plc Optical waveguide and display device
AU2010240707B2 (en) 2009-04-20 2014-01-30 Snap Inc. Surface relief grating in an optical waveguide having a reflecting surface and dielectric layer conforming to the surface
US8639072B2 (en) 2011-10-19 2014-01-28 Milan Momcilo Popovich Compact wearable display
JP5316391B2 (ja) 2009-08-31 2013-10-16 ソニー株式会社 画像表示装置及び頭部装着型ディスプレイ
US8233204B1 (en) 2009-09-30 2012-07-31 Rockwell Collins, Inc. Optical displays
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
KR20110050929A (ko) * 2009-11-09 2011-05-17 삼성전자주식회사 착용형 디스플레이장치
JP5546217B2 (ja) * 2009-11-20 2014-07-09 キヤノン株式会社 回折光学素子およびそれを有する光学系、撮像装置
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US20120017153A1 (en) 2010-07-15 2012-01-19 Ken Matsuda Dynamic video editing
US8861086B2 (en) * 2010-08-13 2014-10-14 The Penn State Research Foundation Compact spectrometer including a diffractive optical element with dual dispersion and focusing functionality
US8941559B2 (en) 2010-09-21 2015-01-27 Microsoft Corporation Opacity filter for display device
US8908738B2 (en) 2010-10-01 2014-12-09 Physical Sciences, Inc. Ring resonator with a holographic reflector
US9946076B2 (en) 2010-10-04 2018-04-17 Gerard Dirk Smits System and method for 3-D projection and enhancements for interactivity
US8884984B2 (en) 2010-10-15 2014-11-11 Microsoft Corporation Fusing virtual content into real content
US9406166B2 (en) 2010-11-08 2016-08-02 Seereal Technologies S.A. Display device, in particular a head-mounted display, based on temporal and spatial multiplexing of hologram tiles
WO2012085045A1 (de) 2010-12-22 2012-06-28 Seereal Technologies S.A. Kombinierte lichtmodulationsvorrichtung zur benutzernachführung
GB2490354A (en) 2011-04-28 2012-10-31 Univ Southampton Laser with axially-symmetric beam profile
WO2013027004A1 (en) 2011-08-24 2013-02-28 Milan Momcilo Popovich Wearable data display
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
CN104204904B (zh) * 2012-01-24 2018-05-18 亚利桑那大学评议会 紧凑式眼睛跟踪头戴式显示器
US8736963B2 (en) * 2012-03-21 2014-05-27 Microsoft Corporation Two-dimensional exit-pupil expansion
CN106125308B (zh) 2012-04-25 2019-10-25 罗克韦尔柯林斯公司 用于显示图像的装置和方法
US9456744B2 (en) * 2012-05-11 2016-10-04 Digilens, Inc. Apparatus for eye tracking
US10502876B2 (en) 2012-05-22 2019-12-10 Microsoft Technology Licensing, Llc Waveguide optics focus elements
US9310277B2 (en) 2012-07-06 2016-04-12 Ta-Min Peng Tire temperature and tire pressure wireless sensing device
US10025089B2 (en) 2012-10-05 2018-07-17 Microsoft Technology Licensing, Llc Backlight for viewing three-dimensional images from a display from variable viewing angles
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
JP6163753B2 (ja) 2012-12-27 2017-07-19 セイコーエプソン株式会社 液室形成体及び液体噴射装置
US9459451B2 (en) 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100157400A1 (en) * 2008-11-17 2010-06-24 Fedor Dimov Holographic Substrate-Guided Wave-Based See-Through Display
WO2013049012A1 (en) * 2011-09-26 2013-04-04 Bohn David D Integrated eye tracking and display system
KR20150013815A (ko) * 2012-05-21 2015-02-05 루머스 리미티드 안구-추적기와 헤드-탑재 디스플레이 통합 시스템

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190126900A (ko) * 2017-03-21 2019-11-12 매직 립, 인코포레이티드 회절 광학 엘리먼트들을 이용한 눈-이미징 장치
KR20230130770A (ko) * 2017-03-21 2023-09-12 매직 립, 인코포레이티드 회절 광학 엘리먼트들을 이용한 눈-이미징 장치
KR20190133229A (ko) * 2017-04-17 2019-12-02 아코니아 홀로그래픽스 엘엘씨 스큐 미러 보조 이미징
US11927765B2 (en) 2017-04-17 2024-03-12 Akonia Holographics Llc Skew mirror auxiliary imaging
KR20190132491A (ko) * 2017-05-17 2019-11-27 애플 인크. 시력 교정을 갖는 헤드-마운트 디스플레이 디바이스
US11874530B2 (en) 2017-05-17 2024-01-16 Apple Inc. Head-mounted display device with vision correction
US10670866B2 (en) 2017-06-13 2020-06-02 Electronics And Telecommunications Research Insitute Method for providing composite image based on optical transparency and apparatus using the same
KR20200063178A (ko) * 2017-09-27 2020-06-04 아우디 아게 특히 차량용 디스플레이 장치, 및 이 유형의 디스플레이 장치를 포함하는 차량
US11493758B2 (en) 2017-09-27 2022-11-08 Audi Ag Display device, in particular for vehicle, and vehicle having display device with volume hologram

Also Published As

Publication number Publication date
US9459451B2 (en) 2016-10-04
KR102273001B1 (ko) 2021-07-06
WO2015099924A1 (en) 2015-07-02
EP3087425A1 (en) 2016-11-02
US9759913B2 (en) 2017-09-12
CN105849621A (zh) 2016-08-10
EP3087425B1 (en) 2018-08-08
KR20210084669A (ko) 2021-07-07
US20160370583A1 (en) 2016-12-22
US20150185475A1 (en) 2015-07-02
KR102341225B1 (ko) 2021-12-17
CN105849621B (zh) 2018-11-06

Similar Documents

Publication Publication Date Title
KR102341225B1 (ko) 아이 트래킹 장치, 방법 및 시스템
KR102416401B1 (ko) 볼륨 브래그 격자를 사용하는 도파관 눈 추적
KR102522813B1 (ko) 스위칭가능 회절 격자를 이용한 도파관 눈 추적
AU2018239264B2 (en) Eye-imaging apparatus using diffractive optical elements
US8998414B2 (en) Integrated eye tracking and display system
US20150003819A1 (en) Camera auto-focus based on eye gaze
KR20150114977A (ko) 영상 광을 접안 디스플레이에 결합시키는 투사 광학계
CN107005653A (zh) 虚拟聚焦反馈
US20160097929A1 (en) See-through display optic structure
US20220291437A1 (en) Light redirection feature in waveguide display
WO2022192303A1 (en) Light redirection feature in waveguide display

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant