KR20190031599A - 구조화 광을 사용한 안구 추적 - Google Patents

구조화 광을 사용한 안구 추적 Download PDF

Info

Publication number
KR20190031599A
KR20190031599A KR1020197007863A KR20197007863A KR20190031599A KR 20190031599 A KR20190031599 A KR 20190031599A KR 1020197007863 A KR1020197007863 A KR 1020197007863A KR 20197007863 A KR20197007863 A KR 20197007863A KR 20190031599 A KR20190031599 A KR 20190031599A
Authority
KR
South Korea
Prior art keywords
eye
axis
structured light
pattern
image
Prior art date
Application number
KR1020197007863A
Other languages
English (en)
Inventor
니콜라스 다니엘 트레일
로버트 데일 캐빈
Original Assignee
페이스북 테크놀로지스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북 테크놀로지스, 엘엘씨 filed Critical 페이스북 테크놀로지스, 엘엘씨
Publication of KR20190031599A publication Critical patent/KR20190031599A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)

Abstract

구조화 광을 사용하여 사용자의 눈을 추적하는 시스템 및 방법이 개시된다. 구조화 광 시스템은 사용자의 눈의 표면의 모델을 훈련시킴으로써 캘리브레이션된다. 구조화 광 발광기는 눈의 표면의 일부 상에 구조화 광 패턴(예컨대, 적외선 구조화 광)을 투영한다. 카메라의 시점으로부터, 조명 패턴은 왜곡되어 나타난다. 캡처된 이미지의 조명 패턴의 왜곡에 기반하여, 안구 추적 시스템은 구조화 광이 입사하는 사용자의 눈의 일부의 형상을 결정할 수 있다. 사용자의 눈의 일부의 결정된 형상을 모델과 비교함으로써, 눈의 방향이 결정될 수 있다. 안구 추적 시스템 또는 그 요소는 예컨대 가상 현실 시스템의 일부로서, 헤드 마운트 디스플레이의 일부일 수 있다.

Description

구조화 광을 사용한 안구 추적{Eye Tracking Using Structured Light}
본 명세서는 일반적으로 안구 추적에 관한 것이고, 구체적으로 가상 현실 및/또는 증강 현실 애플리케이션에서 안구 추적을 위해 구조화 광을 사용하는 것에 관한 것이다.
안구 추적은 사용자의 시선의 방향을 감지하는 프로세스를 말하는데, 3차원(3D) 공간에서 눈의 각도 방향을 감지하는 것을 포함할 수 있다. 안구 추적은 눈의 위치(예컨대, 눈의 중심), 눈의 비틀림(즉, 동공 축에 대한 눈의 롤), 눈의 형상, 눈의 현재 초점 거리, 동공의 확장, 눈의 상태의 다른 특징 또는 그 일부 조합을 더 포함할 수 있다. 안구 추적의 한 알려진 기술은 사용자의 비디오 이미지를 캡처하고 머신 비전 알고리즘을 사용하여 사용자의 동공의 방향을 식별하는 것이다. 하지만, 이 기술은 상당한 연산 자원을 필요로 하고, 속눈썹과 눈꺼풀에 의해 눈이 가려지는 것에 민감하다. 나아가, 이 방법은 홍채와 동공 사이의 대조에 의존하는데, 사용자 간에 불변이 아니다. 따라서, 비디오 기반 동공 추적은 특정 사용자의 눈을 정확히 추적하지 못할 수 있다. 가상 현실 헤드셋과 같은 HMD(head-mounted display)와 관련하여, 이 기술은 추가적인 단점이 있다. 이 추적 방법에 필요한 이미지 캡처에 사용되는 카메라의 타입은 상대적으로 비싸거나 클 수 있다. 유사하게, 이 기술은 사용자의 눈에 대한 카메라의 근접성에 제약이 있을 수 있다. 나아가, 이 기술은 카메라가 사용자의 시선 축에 벗어나 위치할 때 제대로 작동하지 않을 수 있다. 하지만, 안구 추적이 HMD에서 사용될 때, 안구 추적 시스템의 감지 요소는 작고, 눈에 가깝고, 사용자의 시선 축에 벗어나는 것이 바람직할 수 있다.
본 발명의 내용 중에 포함되어 있다.
사용자의 눈의 방향 및/또는 위치를 추적하기 위한 안구 추적 유닛이 설명된다. 안구 추적 유닛은 하나 이상의 구조화 광 발광기 및 하나 이상의 카메라를 포함한다. 일부 실시예에서, 안구 추적 시스템이나 그 요소는 헤드 마운트 디스플레이의 일부, 예컨대 가상 현실 시스템의 일부일 수 있다. 하나 이상의 구조화 광 발광기는 눈을 구조화 광 패턴(예컨대, 적외선 방사 패턴)으로 조명한다. 하나 이상의 카메라는 구조화 광 패턴으로 조명되는 눈의 이미지를 캡처(예컨대, 비디오 스트림으로써 이미지를 캡처)한다. 발광기와 카메라 간의 시차는 조명 패턴의 이미지(예컨대, 비디오 스트림의 프레임)에 왜곡을 초래할 수 있다. 일부 실시예에서, 안구 추적 유닛은 캡처된 이미지의 명백한 왜곡에 기반하여 구조화 광이 입사하는 눈의 표면의 일부의 형상을 감지한다. 눈의 감지된 형상과 모델의 비교에 기반하여, 안구 추적 유닛은 눈의 방향을 추정한다. 눈의 방향의 추정은 예컨대, 눈의 요우, 피치 및 롤 회전 및 눈의 병진 벡터의 결정을 포함할 수 있다. 일부 실시예에서, 눈의 방향의 추정은 눈의 중심와 축(foveal axis)의 방향의 추정을 포함한다. 눈의 동공 축의 방향을 추정하고 동공 및 중심와 축 간의 오프셋을 사용함으로써, 중심와 축의 방향이 간접적으로 추정될 수 있다. 추정된 방향은, 예컨대 시선 방향, 동공간 거리 등을 결정하는데 사용될 수 있다.
일부 실시예에서, 안구 추적 시작 전, 시스템은 사용자의 안구의 모델을 훈련함으로써 캘리브레이션될 수 있다. 모델 훈련은 전자 디스플레이가 전자 디스플레이 상의 위치에 시각적 표시자를 디스플레이하도록 제어하는 것; 눈 상에 발광기에 의해 투사되는 제2 왜곡된 조명 패턴의 제2 이미지를 카메라로 캡처하는 것; 및 캡처된 제2 이미지에 기반하여 및 시각적 표시자의 위치에 기반하여 모델을 훈련시키는 것을 포함할 수 있다.
본 발명의 내용 중에 포함되어 있다.
도 1은 일실시예에 따른 가상 현실 시스템을 포함하는 시스템 환경의 도면이다.
도 2는 일실시예에 따른 HMD의 도면이다.
도 3은 일실시예에 따른 구조화 광 발광기 및 카메라를 포함하는 구조화 광 시스템의 도면이다.
도 4는 일실시예에 따른 안구 추적 유닛의 블록도이다.
도 5a는 일부 실시예에 따른 안구 운동을 추적하는 프로세스를 도시하는 블록도이다.
도 5b는 일부 실시예에 따른 안구의 반향을 추정하는 프로세스를 도시하는 블록도이다.
도 6은 일부 실시예에 따른 왜곡되지 않은 구조화 광 투사의 예시 및 구조화 광 패턴의 다섯 예시이다.
도면은 오로지 예시의 목적으로 본 명세서의 실시예들을 도시한다. 통상의 기술자는 이하의 설명으로부터 본 명세서에 도시되는 구조 및 방법의 대안적 실시예가 본 명세서에 기술되는 개시내용의 원리로부터 벗어나지 않고 이용되거나 그 이점이 권유될 수 있음을 쉽게 인식할 것이다.
시스템 개요
도 1은 VR 콘솔(110)이 동작하는 가상 현실(VR) 시스템 환경(100)의 블록도이다. 도 1에 도시된 시스템 환경(100)은 각각 VR 콘솔(110)에 결합되는 HMD(105), 이미징 장치(135) 및 VR 입력 인터페이스(140)를 포함한다. 도 1은 하나의 HMD(105), 하나의 이미징 장치(135) 및 하나의 VR 입력 인터페이스(140)를 포함하는 예시적인 시스템 환경(100)을 도시하는 한편, 다른 실시예에서 임의의 수의 이러한 컴포넌트들이 시스템 환경(100)에 포함될 수 있다. 예를 들어, 각각 연관된 VR 입력 인터페이스(140)를 가지고 하나 이상의 이미징 장치(135)에 의해 모니터링되는 다수의 HMD(105)가 있고, 각 HMD(105)에 대하여, VR 입력 인터페이스(140) 및 이미징 장치(135)는 VR 콘솔(110)과 통신할 수 있다. 대안적 구성으로, 상이한 컴포넌트 및/또는 추가 컴포넌트가 시스템 환경(100)에 포함될 수 있다. 유사하게, 하나 이상의 컴포넌트의 기능은 본 명세서에 서술되는 것과 상이한 방식으로 컴포넌트들에 분산될 수 있다. 예를 들어, VR 콘솔(110)의 일부 또는 모든 기능은 HMD(105)에 포함될 수 있다.
HMD(105)는 미디어를 사용자에게 제시하는 헤드-장착형 디스플레이이다. HMD(105)가 제시하는 미디어의 예시는 하나 이상의 이미지, 비디오, 오디오, 또는 이들의 임의의 조합을 포함한다. 일부 실시예로, 오디오는 HMD(105), VR 콘솔(110) 또는 둘 모두로부터 오디오 정보를 수신하고 오디오 정보에 기반하여 오디오 데이터를 제시하는 외부 장치(예컨대, 스피커 및/또는 헤드폰)를 통해 제시된다. HMD(105)의 일부 실시예가 도 2 및 3과 함께 아래에서 더 기술된다. HMD(105)는 하나 이상의 강체를 포함할 수 있는데, 서로 함께 단단히 또는 단단하지 않게 연결될 수 있다. 강체 사이의 강성 결합은 결합된 강체가 단일 강성 엔티티로 역할을 하도록 한다. 대조적으로, 강체 사이의 비-강성 결합은 강체가 서로에 상대적으로 이동할 수 있게 한다. 일부 실시예에서, HMD(105)는 또한 증강 현실(AR) HMD로 동작할 수 있다. 이들 실시예에서, HMD(105)은 물리적, 실제 세계 환경의 뷰를 컴퓨터 생성된 요소(예컨대, 이미지, 비디오, 사운드 등)로 증강한다.
HMD(105)은 전자 디스플레이(115), 광학 블록(118), 하나 이상의 로케이터(120), 하나 이상의 위치 센서(125), 관성 측정 유닛(IMU)(130) 및 안구 추적 유닛(160)을 포함한다. HMD(105)의 일부 실시예는 본 명세서에 기술된 것들과는 상이한 컴포넌트를 가진다. 유사하게, 기능은 본 명세서에 기술되는 것과는 상이한 방식으로 VR 시스템 환경(100)의 다른 컴포넌트들 사이에 분산될 수 있다. 예를 들어, 안구 추적 유닛(160)의 일부 기능은 VR 콘솔(110)에 의해 수행될 수 있다. 전자 디스플레이(115)는 VR 콘솔(110)로부터 수신된 데이터에 따라 이미지를 사용자에게 디스플레이한다.
광학 블록(118)은 전자 디스플레이(115)로부터 수신된 광을 확대하고, 광과 연관된 광학 오차를 보정하고, 보정된 이미지 광이 HMD(105)의 사용자에게 제시된다. 광학 요소는 조리개, 프레넬(Fresnel) 렌즈, 볼록 렌즈, 오목 렌즈, 필터, 또는 전자 디스플레이(115)로부터 방출된 이미지 광에 영향을 주는 임의의 다른 적절한 광학 요소와 같은 광학 요소이다. 또한, 광학 블록(118)은 상이한 광학 요소들의 조합을 포함 할 수 있다. 일부 실시예로, 광학 블록(118) 내의 하나 이상의 광학 요소는 하나 이상의 코팅, 가령 부분 반사기 또는 반사방지 코팅을 가질 수 있다.
광학 블록(118)에 의한 이미지 광의 확대는 전자 디스플레이(115)가 더 큰 디스플레이보다 물리적으로 더 작고, 무게가 덜 나가고, 더 적은 전력을 소비하도록 허용한다. 추가로, 확대는 디스플레이되는 미디어의 시야각을 증가시킬 수 있다. 예컨대, 디스플레이되는 미디어의 시야는 사용자의 시야의 거의 전부, 그리고 일부의 경우 전부를 사용하여(예컨대, 110도의 대각선으로) 디스플레이되는 미디어가 제시되도록 한다. 일부 실시예에서, 광학 블록(118)은 그 효과적인 초점 거리가 전자 디스플레이(115)에 의해 투영되는 이미지 광을 확대하는 전자 디스플레이(115)와의 간격보다 크도록 설계된다. 추가로, 일부 실시예에서 확대의 양은 광학 요소의 추가 또는 제거에 의해 조정될 수 있다.
광학 블록(118)은 하나 이상의 타입의 광학 오차를 보정하도록 설계될 수 있다. 광학 오차의 예시는: 2차원 광학 오차, 3차원 광학 오차, 또는 이들의 임의의 조합을 포함한다. 2차원 오차는 2차원에서 발생하는 광학 수차(aberration)이다. 2차원 오차의 예시적인 타입은: 배럴 왜곡, 핀쿠션 왜곡, 축방향 코마 수차(comatic aberration), 횡방향 색수차, 또는 2차원 광학 오차의 임의의 다른 타입을 포함한다. 3차원 오차는 3차원에서 발생하는 광학 오차이다. 3차원 오차의 예시적인 타입은 구면 수차, 색수차, 필드 만곡, 비점 수차, 또는 임의의 다른 타입의 3차원 광학 오차를 포함한다. 일부 실시예로, 디스플레이를 위해 전자 디스플레이(115)로 제공되는 컨텐츠는 사전 왜곡되고, 광학 블록(118)은, 컨텐츠에 기반하여 생성된 전자 디스플레이(115)로부터의 이미지 광을 수신할 때 왜곡을 보정한다.
로케이터(locator, 120)는 서로에 대하여 그리고 HMD(105) 상의 특정 기준점에 대하여 HMD(105) 상의 특정 위치들에 위치하는 물체이다. 로케이터(120)는 발광 다이오드(LED), 코너 튜브 반사기, 반사 마커, HMD(105)이 동작하는 환경과 대조되는 광원 타입, 또는 이들의 임의의 조합일 수 있다. 로케이터(120)가 활성(즉, LED 또는 다른 타입의 발광 장치)인 실시예에서, 로케이터(120)는 가시광 대역(~380 nm 내지 750 nm), 적외선(IR) 대역(~750 nm 내지 1700nm), 적외선 대역(10nm 내지 380nm), 전자기 스펙트럼의 일부 다른 부분, 또는 이들의 임의의 조합 내에서 광을 방출할 수 있다.
일부 실시예로, 로케이터(120)는, 로케이터(120)에 의해 방출되거나 반사된 광의 파장에 대해 투명하거나 로케이터(120)에 의해 방출되거나 반사된 광의 파장을 실질적으로 감쇠하지 않도록 충분히 얇게 되도록 HMD(105)의 외부 표면 아래에 위치한다. 추가로, 일부 실시예에서, HMD(105)의 외부 표면 또는 다른 부분은 광의 파장의 가시선 대역에서 불투명하다. 따라서, 로케이터(120)는 IR 대역에서 투명하지만 가시광 대역에서 불투명한, 외부 표면 아래에서의 IR 대역의 광을 방출할 수 있다.
IMU(130)는 하나 이상의 위치 센서들(125)로부터 수신된 측정 신호에 기반하여 캘리브레이션 데이터를 생성하는 전자 장치이다. 위치 센서(125)는 HMD(105)의 움직임에 응답하여 하나 이상의 측정 신호를 생성한다. 위치 센서(125)의 예시는: 하나 이상의 가속도계, 하나 이상의 자이로스코프, 하나 이상의 자력계, 움직임을 감지하는 다른 적절한 타입의 센서, IMU(130)의 오차 보정에 사용되는 센서 타입, 또는 이들의 임의의 조합을 포함한다. 위치 센서(125)는 IMU(130)의 외부, IMU(130)의 내부, 또는 이들의 임의의 조합에 위치할 수 있다.
하나 이상의 위치 센서(125)로부터의 하나 이상의 측정 신호에 기반하여, IMU(130)는 HMD(105)의 초기 위치에 상대적인 HMD(105)의 추정된 위치를 표시하는 고속 캘리브레이션 데이터를 생성한다. 예컨대, 위치 센서(125)는 병진 운동(전/후, 상/하, 좌/우)을 측정하는 다수의 가속도계 및 회전 운동(예컨대, 피치, 요우(yaw), 롤(roll))을 측정하는 다수의 자이로스코프를 포함한다. 일부 실시예로, IMU(130)는 빠르게 측정 신호를 샘플링하고 샘플링된 데이터로부터 HMD(105)의 추정된 위치를 계산한다. 예컨대, IMU(130)는 속도 벡터를 추정하기 위해 가속도계로부터 수신된 측정 신호를 시간에 대해 적분하고, HMD(105) 상의 기준점의 추정 위치를 결정하기 위해 속도 벡터를 시간에 대해 적분한다. 대안으로, IMU(130)는 고속 캘리브레이션 데이터를 결정하는 VR 콘솔(110)로 샘플링된 측정 신호를 제공한다. 기준점은 HMD(105)의 위치를 기술하는데 사용될 수 있는 포인트이다. 기준점은 일반적으로 공간에서의 한 지점으로 정의될 수 있지만, 실제로는, 기준점은 HMD(105) 내의 지점(예를 들어, IMU(130)의 중심)으로 정의된다.
IMU(130)는 VR 콘솔(110)로부터 하나 이상의 캘리브레이션 파라미터를 수신한다. 더 후술되는 바와 같이, 하나 이상의 캘리브레이션 파라미터는 HMD(105)의 추적을 유지하는데 사용된다. 수신된 캘리브레이션 파라미터에 기반하여, IMU(130)는 하나 이상의 IMU 파라미터(예컨대, 샘플링 속도)를 조정할 수 있다. 일부 실시예로, 특정 캘리브레이션 파라미터는 IMU(130)로 하여금 기준점의 초기 위치를 업데이트하도록 하여서 기준점의 다음 캘리브레이션된 위치에 대응하도록 한다. 기준점의 다음 캘리브레이션된 위치로 기준점의 초기 위치를 업데이트하는 것은 결정된 추정 위치와 연관되는 누적 오차를 감소시키는데 도움을 준다. 드리프트 오차로도 지칭되는 누적 오차는 기준점의 추정 위치가 시간에 걸쳐 기준점의 실제 위치로부터 멀리 "표류(drift)"하도록 야기한다.
안구 추적 유닛(160)은 사용자의 눈의 각도 방향을 추정한다. 눈의 방향은 HMD(105) 내의 사용자의 시선의 방향에 대응한다. 사용자의 눈의 방향은 본 명세서에서 중심와(가장 높은 광수용체 농도를 가지는 눈의 망막 상의 영역) 및 사용자의 동공의 중심 사이의 축인 중심와 축의 방향으로 정의된다. 일반적으로, 사용자의 눈이 한 점에 고정될 때, 사용자의 눈의 중심와 축은 그 점과 교차한다. 동공 축은 각막 표면에 수직인 동공의 중심을 통과하는 축으로 정의되는 눈의 다른 축이다. 동공 축은 일반적으로 중심와 축과 직접 정렬되지 않는다. 두 축은 동공의 중심에서 교차하지만, 중심와 축의 방향은 동공 축으로부터 좌우로 약 -1° 내지 8° 및 수직으로 ±4° 오프셋된다. 중심와 축이 눈 뒤에 위치한 중심와에 따라 정의되기 때문에, 일부 안구 추적 실시예에서 중심와 축은 직접 감지하는 것이 어렵거나 불가능할 수 있다. 따라서, 일부 실시예에서, 동공 축의 방향이 감지되고 중심와 축은 감지된 동공 축에 기반하여 추정된다.
일반적으로, 눈의 운동은 눈의 각회전 뿐만 아니라, 눈의 병진(translation), 눈의 뒤틀림의 변화 및/또는 눈의 형상의 변화에도 대응한다. 안구 추적 유닛(160)은 눈의 병진, 즉 안와에 대한 안구의 위치의 변화도 감지할 수 있다. 일부 실시예에서, 안구의 병진은 직접 감지되지 않지만, 감지된 각도 방향으로부터의 매핑에 기반하여 근사된다. 안구 추적 유닛의 감지 컴포넌트에 대한 안구의 위치의 변화에 대응하는 안구의 병진도 감지될 수 있다. 이 타입의 병진은 예컨대 사용자의 머리의 HMD(105)의 위치 이동으로 인해 일어날 수 있다. 안구 추적 유닛(160)은 안구의 뒤틀림, 즉 동공 축에 대한 눈의 회전도 감지할 수 있다. 안구 추적 유닛(160)은 감지된 안구 뒤틀림을 사용하여 동공 축으로부터의 중심와 축의 방향을 추정할 수 있다. 안구 추적 유닛(160)은 눈의 형상의 변화도 추적할 수 있는데, 비뚤어짐(skew) 또는 스케일링 선형 변환 또는 비틀림 왜곡(twisting distortion)(예컨대, 뒤틀림 변형으로 인한)으로 근사될 수 있다. 안구 추적 유닛(160)은 동공 축의 각도 방향, 안구 병진, 안구 뒤틀림 및 안구의 현재 형상의 일부 조합에 기반하여 중심와 축을 추정할 수 있다.
안구 추적 유닛(160)은 눈의 전부 또는 일부에 구조화 광 패턴을 투영하는 적어도 하나의 발광기를 포함한다. 그 후 이 패턴은 안구의 형상으로 투영되는데, 오프셋 각도로부터 볼 때 구조화 광 패턴에 인지 왜곡을 생성할 수 있다. 안구 추적 유닛(160)은 눈에 투영되는 광 패턴의 왜곡(만약 존재한다면)을 감지하는 적어도 하나의 카메라도 포함한다. 발광기와 다른 축으로 향하는 카메라가 눈의 조명 패턴을 캡처한다. 이 프로세스는 본 명세서에서 눈을 “스캔”하는 것으로 나타낸다. 눈의 표면 상의 조명 패턴의 변형을 감지함으로써, 안구 추적 유닛(160)은 스캔된 눈의 일부의 형상을 결정할 수 있다. 그러므로 캡처된 왜곡된 광 패턴은 눈의 조명되는 부분의 3D 형상을 나타낸다. 발광기에 의해 조명되는 눈의 부분의 3D 형상을 도출함으로써, 눈의 방향이 도출될 수 있다. 안구 추적 유닛은 카메라가 캡처한 조명 패턴의 이미지에 기반하여 동공 축, 안구 병진, 안구의 뒤틀림 및 안구의 현재 형상도 추정할 수 있다.
방향이 사용자의 양 눈에 대해 결정됨에 따라, 안구 추적 유닛(160)은 사용자가 어딜 보고 있는지 결정할 수 있다. HMD(105)는 예컨대 사용자의 IPD(inter-pupillary distance)를 결정하거나, 깊이 큐(예컨대, 사용자의 주 시선 밖의 이미지를 흐리게)를 도입하거나, VR 미디어에서 사용자 상호작용에 대한 휴리스틱(예컨대, 노출된 자극의 함수로서 임의의 특정한 주제, 객체 또는 프레임에 소비된 시간)을 수집하거나, 사용자의 눈 중 적어도 하나의 방향에 부분적으로 기반하는 어떤 다른 기능 또는 그 일부 조합을 위해 눈의 방향을 사용할 수 있다. 사용자의 시선의 방향을 결정하는 것은 사용자의 좌우 눈의 결정된 방향에 기반하여 수렴 지점을 결정하는 것을 포함할 수 있다. 수렴 지점은 사용자의 눈의 두 중심와 축이 교차하는 점(또는 두 축 사이에 가장 가까운 점)일 수 있다. 사용자의 시선의 방향은 수렴 지점을 지나고 사용자의 눈의 동공의 중간 지점을 지나는 선의 방향일 수 있다. 안구 추적 유닛(160)은 도 3 및 도 4와 관련하여 더 자세히 후술된다.
이미징 장치(135)는 VR 콘솔(110)로부터 수신된 캘리브레이션 파라미터에 따라 저속 캘리브레이션 데이터를 생성한다. 저속 캘리브레이션 데이터는 이미징 장치(135)가 감지할 수 있는 로케이터(120)의 관측된 위치를 보여주는 하나 이상의 이미지를 포함한다. 이미징 장치(135)는 하나 이상의 카메라, 하나 이상의 비디오 카메라, 하나 이상의 로케이터(120)를 포함하는 이미지를 캡쳐할 수 있는 임의의 다른 장치, 또는 이들의 임의의 조합을 포함할 수 있다. 추가로, 이미징 장치(135)는 (예컨대, 신호-대-노이즈 비율을 증가시키는데 사용되는) 하나 이상의 하드웨어 및 소프트웨어 필터를 포함할 수 있다. 이미징 장치(135)는 이미징 장치(135)의 시야 내에서 로케이터(120)로부터 방출되거나 반사된 광을 감지하도록 구성된다. 로케이터(120)가 수동 소자(예컨대, 역반사기(retroreflector))를 포함하는 실시예에서, 이미징 장치(135)는 이미징 장치(135)에서 광원을 향해 광을 역반사하는, 로케이터(120)의 일부 또는 전부를 조명하는 광원을 포함할 수 있다. 저속 캘리브레이션 데이터는 이미징 장치(135)로부터 VR 콘솔(110)로 통신되고, 이미징 장치(135)는 하나 이상의 이미징 파라미터(예컨대, 초점 길이, 초점, 프레임 속도, ISO, 센서 온도, 셔터 속도, 개구 등)를 조정하기 위해 VR 콘솔(110)로부터 하나 이상의 캘리브레이션 파라미터를 수신한다.
VR 입력 인터페이스(140)는 VR 콘솔(110)로 행위 요청을 사용자가 전송하도록 허용하는 장치이다. 행위 요청은 특정 행위를 수행하기 위한 요청이다. 예컨대, 행위 요청은 애플리케이션을 시작 또는 종료하거나 애플리케이션 내의 특정 행위를 수행하는 것일 수 있다. VR 입력 인터페이스(140)는 하나 이상의 입력 장치를 포함 할 수 있다. 예시적인 입력 장치는: 키보드, 마우스, 게임 컨트롤러, 행위 요청을 수신하고 수신된 행위 요청을 VR 콘솔(110)로 통신하기 위한 임의의 다른 적절한 장치를 포함한다. VR 입력 인터페이스(140)에 의해 수신된 행위 요청은 행위 요청에 대응하는 행위를 수행하는 VR 콘솔(110)로 통신된다. 일부 실시예에서, VR 입력 인터페이스(140)는 VR 콘솔(110)로부터 수신된 명령에 따라 햅틱 피드백을 사용자에게 제공할 수 있다. 예컨대, 햅틱 피드백은 행위 요청이 수신될 때 제공되거나, VR 콘솔(110)은 VR 콘솔(110)이 행위를 수행할 때 햅틱 피드백을 생성하도록 야기하는 명령어를 VR 입력 인터페이스(140)로 통신한다.
VR 콘솔(110)은: 이미징 장치(135), HMD(105) 및 VR 입력 인터페이스(140) 중 하나 이상으로부터 수신된 정보에 따라 사용자에게 제시하기 위해 미디어를 HMD(105)으로 제공한다. 도 1에 도시된 예시에서, VR 콘솔(110)은 애플리케이션 스토어(145), 추적 모듈(150), 및 가상 현실(VR) 엔진(155)을 포함한다. VR 콘솔(110)의 일부 실시예는 도 1과 함께 기술된 것들과는 상이한 모듈을 가진다. 유사하게, 이하에서 추가로 기술되는 기능은 본 명세서에 기술되는 것과는 상이한 방식으로 VR 콘솔(110)의 컴포넌트들 사이에 분산될 수 있다.
애플리케이션 스토어(145)는 VR 콘솔(110)에 의한 실행을 위한 하나 이상의 애플리케이션을 저장한다. 애플리케이션은, 프로세서에 의해 실행시 사용자에게 제시하기 위한 컨텐츠를 생성하는 명령어들의 그룹이다. 애플리케이션에 의해 생성된 컨텐츠는 HMD(105) 또는 VR 입력 인터페이스 (140)의 움직임을 통해 사용자로부터 수신된 입력에 응답할 수 있다. 애플리케이션의 예시는: 게임 애플리케이션, 컨퍼런스 애플리케이션, 비디오 재생 애플리케이션, 또는 다른 적절한 애플리케이션을 포함한다.
추적 모듈(150)은 하나 이상의 캘리브레이션 파라미터를 사용하여 VR 시스템 환경(100)의 센서를 캘리브레이션하고, HMD(105)의 위치 결정에 있어서의 오차를 감소시키기 위해 하나 이상의 캘리브레이션 파라미터를 조정할 수 있다. 예컨대, 추적 모듈(150)은 HMD(105) 상의 관측된 위치에 대한 더 정확한 위치를 획득하기 위해 이미징 장치(135)의 초점을 조정한다. 또한, 추적 모듈(150)에 의해 수행되는 캘리브레이션은 IMU(130)로부터 수신된 정보를 감안한다. 추가로, HMD(105)의 추적이 손실된다면(예컨대, 이미징 장치(135)가 적어도 임계 수의 로케이터(120)에 대한 시야를 손실한다면), 추적 모듈(150)은 시스템 환경(100)의 일부 또는 전부를 다시 캘리브레이션한다.
추적 모듈(150)은 이미징 장치(135)로부터 저속 캘리브레이션 정보를 사용하여 HMD(105)의 움직임을 추적한다. 추적 모듈(150)은 HMD(105)의 모델 및 저속 캘리브레이션 정보로부터 관측된 로케이터를 사용하여 HMD(105)의 기준점의 위치를 결정한다. 추적 모듈(150)은 또한, 고속 캘리브레이션 정보로부터의 위치 정보를 사용하여 HMD(105)의 기준점의 위치를 결정한다. 추가로, 일부 실시예에서, 추적 모듈(150)은 고속 캘리브레이션 정보, 저속 캘리브레이션 정보, 또는 이들의 일부 조합의 부분들을 사용하여 HMD(105)의 미래의 위치를 예측할 수 있다. 추적 모듈(150)은 HMD(105)의 추정 또는 예측된 미래 위치를 VR 엔진(155)으로 제공한다.
VR 엔진(155)은 시스템 환경(100) 내에서 애플리케이션을 실행하고, 추적 모듈(150)로부터 HMD(105)의 위치 정보, 가속도 정보, 속도 정보, 예측된 미래 위치, 또는 이들의 임의의 조합을 수신한다. 수신된 정보에 기반하여, VR 엔진(155)은 사용자에게 제시하기 위해 HMD(105)으로 제공하기 위한 컨텐츠를 결정한다. 예컨대, 수신된 정보가 사용자가 좌측을 보았다고 표시한다면, VR 엔진(155)은 가상 현실에서 사용자의 움직임을 미러링하는 HMD(105)을 위한 컨텐츠를 생성한다. 추가로, VR 엔진(155)은 VR 입력 인터페이스(140)로부터 수신된 행위 요청에 응답하여 VR 콘솔(110) 상에서 실행되는 애플리케이션 내에서 행위를 수행하고 행위가 수행되었다는 피드백을 사용자에게 제공한다. 제공된 피드백은 HMD(105)을 통한 시각적 또는 청각적 피드백이거나 VR 입력 인터페이스(140)를 통한 햅틱 피드백일 수 있다.
도 2는 일실시예에 따른 HMD의 도면이다. HMD(200)은 HMD(105)의 일실시예이며, 전방 강체(205) 및 밴드(210)를 포함한다. 전방 강체(205)는 전자 디스플레이(115)의 전자 디스플레이 요소(도 2에 도시되지 않음), 광학 블록(118)(도 2에 도시되지 않음), IMU(130), 하나 이상의 위치 센서(125), 안구 추적 유닛(160) 및 로케이터(120)를 포함한다. 도 2가 도시하는 실시예에서, 위치 센서(125)는 IMU(130) 내에 위치하고, IMU(130) 또는 위치 센서(125) 모두는 사용자에게 가시적이지 않다.
로케이터(120)는 서로에 대해 그리고 기준점(215)에 대하여 전방 강체(205) 상의 고정된 위치에 위치한다. 도 2의 예시에서, 기준점(215)은 IMU(130)의 중심에 위치한다. 각 로케이터(120)는 이미징 장치(135)가 감지할 수 있는 광을 방출한다. 로케이터(120), 또는 로케이터(120)의 부분은 도 2의 예시에서 전방 강체(205)의 전방 측면(220A), 상부 측면(220B), 하부 측면(220C), 우측 측면(220D), 좌측 측면(220E)에 위치한다.
HMD(200)는 안구 추적 유닛(160)을 포함한다. 안구 추적 유닛(160)은 사용자의 눈에 구조화 광 패턴을 투영하기 위한 구조화 광 발광기 및 눈의 조명되는 부분을 감지하기 위한 카메라를 포함할 수 있다. 발광기 및 카메라는 사용자의 시선의 축에 벗어나 위치할 수 있다. 도 2에서, 안구 추적 유닛(160)이 어디에든 대안적으로 위치할 수 있지만, 안구 추적 유닛(160)은 사용자의 시선의 축 밑에 위치한다. 또한, 일부 실시예에서, 사용자의 왼쪽 눈을 위한 적어도 하나의 안구 추적 유닛 및 사용자의 오른쪽 눈을 위한 적어도 하나의 안구 추적 유닛이 있다.
도 3은 반복하여 안구(330)를 스캔함으로써 사용자의 안구(330)의 위치를 추적하는 구조화 광 안구 추적 시스템(300)을 도시한다. 도 3은 안구(330)의 단면을 포함한다. 일부 실시예에서, 구조화 광 안구 추적 시스템(300)은 HMD(예컨대, HMD(105) 또는 HMD(200))의 안구 추적 유닛(160)의 컴포넌트이다. 대안적 실시예에서, 구조화 광 안구 추적 시스템(300)은 AR HMD, HMD가 아닌 VR/AR 시스템 또는 안구 추적을 채용하는 어떤 다른 시스템의 일부이다. 구조화 광 안구 추적 시스템(300)은 구조화 광 발광기(310) 및 카메라(320)를 포함한다. 도 3은 단일 구조화 광 발광기(310) 및 단일 안구(330)의 방향을 감지하는 단일 카메라(320)를 포함한다. 하지만, 대안적 실시예에서, 다수의 구조화 광 발광기 또는 다수의 카메라가 단일 안구를 위해 채용될 수 있다. 유사하게, 사용자의 각 눈에 대하여, 대응하는 구조화 광 발광기 및 카메라가 채용될 수 있다.
구조화 광 발광기(310)는 구조화 광 패턴 P를 사용자의 눈의 일부에 발광한다. 구조화 광 발광기(310)는 적외선(IR) 광원 및 구조화 광 요소를 포함한다. IR 광원(예컨대, 레이저 다이오드, 발광 다이오드 등)은 구조화 광 요소를 향해 IR 광(예컨대, 850nm)을 발광하는데, IR 광을 구조화 IR 광으로(각도 좌표로) 변환한다. 일부 실시예에서, 구조화 광 발광기(310)의 IR 광원은 IR 광의 연속적 스펙트럼을 발광하여, 소스의 코히런스(coherence)를 감소시킨다. 일부 실시예에서, 구조화 광 발광기(310)는 단일 주파수 또는 협대역 스펙트럼 광을 출력한다. 대안적 실시예에서, 구조화 광 발광기(310)는 N개의 단일 주파수 또는 별개의 중심 주파수를 가지는 N개의 협대역을 출력한다.
구조화 광 요소는 IR 광원에 의해 조명될 때 구조화 광을 출력하는 광학 요소이다. 구조화 광 요소는 예컨대 아포다이제이션 및/또는 위상 마스크, 회절 요소, 복굴절 플레이트, IR 광원에 의해 조명될 때 구조화 광을 출력하는 일부 다른 광학 요소 또는 그 일부 조합일 수 있다. 나아가, 일부 실시예에서, IR 광원은 시간, 주파수 또는 둘 모두에서 변조될 수 있다. 구조화 광 발광기(310)가 본 명세서에서 IR 스펙트럼에서 구조화 광을 발광하는 것으로 서술되지만, 대안적 실시예는 가시 스펙트럼(~390nm 내지 700nm)과 같은 비-IR 파장에서 발광하는 구조화 광 발광기(310)를 포함한다.
사용자의 단일 안구와 관련하여, 구조화 광 패턴 P는 안구(330)의 일부의 표면 상에 입사한다. 구조화 광 패턴은 예컨대 조명되는 표면의 기하학적 형태 및 발광기 대 카메라 기하학적 형태에 부분적으로 기반하여 왜곡되어, 왜곡된 조명 패턴을 형성한다. 왜곡된 조명 패턴의 변화는 안구(330)의 표면의 일부의 3D 구조를 나타낸다. 일부 실시예에서, 안구의 일부는 공막(345), 각막(340) 또는 둘 모두를 커버한다. 일부 실시예에서, 다수의 구조화 광 발광기가 구조화 광 패턴을 단일 안구(330)에 투영한다. 일부 실시예에서, 제1 구조화 광 발광기는 사용자의 눈 중 하나에 제1 구조화 광 패턴을 투영하고 제2 구조화 광 발광기는 다른 눈에 제2 구조화 광 패턴을 투영한다.
카메라(320)는 구조화 광 발광기(310)가 조명하는 안구(330)의 일부 상의 왜곡된 광 패턴을 감지한다. 카메라(320)는 적외선 카메라(즉, 적외선 주파수로 이미지를 캡처하도록 설계된 카메라)일 수 있다. 카메라는 구조화 광 발광기(310)가 발광하는 광의 밴드폭에 민감한 디지털 이미지 센서를 가지는 근적외선 카메라일 수 있다. 카메라(320)는 CCD 또는 CMOS 디지털 이미지 센서 및 광학 요소를 포함한다. 광학 요소는 하나 이상의 렌즈, 하이 패스, 로우 패스 또는 밴드 패스 필터, 편광자, 개구 조리개, 조리개, IR 광을 처리하기 적합한 어떤 다른 광학 요소 또는 그 일부 조합일 수 있다. 광학 요소는 CCD나 CMOS 디지털 센서가 캡처하고 디지털 신호로 변환한 광을 출력한다.
카메라(320)는 왜곡된 조명 패턴을 감지하고 캡처된 광을 디지털 이미지 I로 변환한다. 디지털 이미지 I는 이진 이미지(즉, 각 픽셀이 이진값을 가지는 이미지) 또는 단일 채널 이미지(각 픽셀이 단일 부동 소수점 또는 정수값에 매핑되는 이미지)일 수 있다. 구조화 광 발광기(310)가 N개의 별개의 주파수나 N개의 별개의 중심 주파수의 광의 패턴을 발광하는 실시예에서, I는 N 채널 이미지일 수 있다.
카메라(320)는 구조화 광 발광기(310)가 투영하는 대역 내의 전자기 방사선을 감지하도록 특별히 설계될 수 있다. 카메라(320)는 구조화 광 발광기(310)가 발광하는 스펙트럼 외부의 광을 필터링하는 협대역 밴드 패스 필터를 채용할 수 있다. 이 대역이 상대적으로 작을 때, 신호-대-노이즈 비(SNR)가 크고, 이미지가 카메라(320)에 의해 신속하게 캡처되게 한다. 일부 실시예에서, 카메라(320)는 고주파수 카메라이지만, 고주파수가 필요하지 않을 때에는, 카메라(320)는 최대 주파수보다 작은 주파수로 이미지를 캡처할 수 있다. 일부 실시예가 더 느린 속도로 이미지를 캡처할 수 있지만, 이미지가 카메라(320)에 의해 캡처되는 프레임 속도는 일반적으로 60Hz보다 크다. 구조화 광 발광기(310)는 카메라(320)가 이미지를 캡처할 때만 발광하도록 구성될 수 있다.
카메라(320)는 일반 동작 조건 동안 제1 주파수로 이미지를 캡처할 수 있지만, 특정 조건이 카메라(320)가 더 높은 주파수로 이미지를 캡처하도록 트리거링할 수 있다. 예를 들어, 안구 추적 유닛(160)이 안구(330)의 방향을 감지하지 못할 때, 스캔이 “나쁜 스캔”으로 간주될 수 있다. “나쁜 스캔”은 사용자의 눈 깜박임으로 인해 트리거링될 수 있다. “나쁜 스캔”의 경우, 스캔은 무시될 수 있고 카메라(320)는 즉시 성공적인 스캔이 기록될 때까지 안구(330)의 다른 스캔을 캡처하도록 트리거링될 수 있다. 이 방식으로, 안구 추적 유닛(160)은 불필요한 연산 및 전력 소비를 필요로 하지 않고 눈의 방향의 추적이 최대한 정확하고 현재의 것임을 보장할 수 있다.
안구(330)는 각막(340), 동공(342), 수정체(343), 홍채(344), 공막(345) 및 중심와(346)를 포함한다. 공막(345)은 안구(330)의 상대적으로 불투명한(보통 가시적인 백색) 외부 부분인데, 종종 “흰자위(white of the eye)”라고 불린다. 각막(340)은 눈의 홍채와 동공을 덮는 곡면이다. 각막(340)은 필수적으로 전자기적 스펙트럼의 가시 대역(~380nm 내지 750nm) 및 근적외선 영역(최대 약 1,400 나노미터)에서 투명하다. 수정체(343)는 망막(안구(330)의 후방)에 광의 초점을 맞추는 역할을 하는 투명한 구조이다. 홍채(344)는 동공(342)과 동심을 이루는 얇고, 유색의, 원형 조리개이다. 홍채(344)는 수축하여 광이 안구(330)에 들어가는 원형의 구멍인 동공(342)의 크기를 변화시키는 안구의 유색 부분이다. 중심와(346)는 망막의 오목부이다. 중심와(346)는 가장 높은 시력의 영역에 대응한다.
안구(330)의 회전 및 운동 때문에, 구조화 광 발광기(310)가 조명하는 눈의 표면의 부분은 가변적일 수 있다. 일부 실시예에서, 구조화 광 발광기(310)는 각막(340)이 거의 투명한 스펙트럼(예컨대, 근 IR 또는 가시 스펙트럼)의 광을 투영한다. 구조화 광 패턴의 일부가 각막(340)을 통과하고 홍채(344)를 조명하는 경우, 홍채의 대략 평평한 경계면 상에 그 결과로 생긴 조명 패턴은 각막(340)의 표면의 일부 광학적 힘에 따라 왜곡된다. 홍채(344)의 동공(342) 내부의 영역의 경우, 조명 패턴의 강도는 현저히 감소된다. 일부 실시예에서, 동공(342) 상의 조명 패턴은 무시할 수 있는 것으로 간주된다. 안구 추적 유닛(160)은 카메라(320)가 캡처한 이미지의 왜곡된 원형의 조명되지 않은 부분을 동공(342)으로 식별하고 동공(342)의 위치에 기반하여 안구(330)의 각도 방향을 결정할 수 있다.
일부 실시예에서, 구조화 광 발광기(310)는 각막(340)이 거의 불투명한 스펙트럼의 광(예컨대, 1.5μm보다 큰 파장을 가지는 IR 광)을 투영하고 카메라(320)(예컨대, 장 IR 카메라)는 그 결과로 생긴 조명 패턴을 감지한다. 각막(340)이 구조화 광 패턴에 의해 조명될 때, 안구 추적 유닛(160)은 각막(340)의 곡률에 기반하여 눈의 각도 방향 및/또는 병진을 추정할 수 있다. 각막(340)이 대략 타원체의 공막(345)으로부터 바깥쪽으로 돌출되므로, 안구 추적 유닛(160)은 각막(340)의 곡률을 감지함으로써 안구(330)의 방향을 추정할 수 있다. 또한 안구 추적 유닛(160)은 각막-공막 경계면, 즉 각막(340)의 표면과 공막(345)의 표면이 교차하는 대략 원형 윤곽을 감지함으로써 눈의 방향을 추정할 수 있다. 또한, 안구 추적 유닛(160)은 각막(340)의 정점, 즉 안구(330)의 중심으로부터 가장 멀리 연장하는 각막(340)의 부분을 감지함으로써 눈의 방향을 추정할 수 있다.
눈의 동공 축(335)과 중심와 축(338)이 도 3에 도시된다. 동공 축(335) 및 중심와 축(338)은 안구(330)가 움직임에 따라 변화한다. 도 3에서, 안구(330)는 수평 동공 축(335)과 함께 도시된다. 따라서, 도 3의 중심와 축(338)은 수평면에서 약 6° 밑을 가리킨다. 도 3은 발광기의 축(315) 및 카메라의 축(325)도 도시한다. 도 3은 구조화 광 발광기(310) 및 카메라(320)가 동공 축(335) 또는 중심와 축(338) 상에 있지 않은 실시예를 도시한다. 구조화 광 발광기(310) 및 카메라(320)는 안구(330)의 시야 밖에 있을 수 있다.
도 4는 일실시예에 따른 안구 추적 시스템(400)의 상세도를 도시하는 고수준 블록도이다. 안구 추적 시스템(400)의 일부 실시예는 본 명세서에 기술된 것들과는 상이한 컴포넌트를 가진다. 유사하게, 기능은 본 명세서에 기술되는 것과는 상이한 방식으로 컴포넌트들 사이에 분산될 수 있다. 안구 추적 시스템(400)은 모델 스토어(410), 캘리브레이션 모듈(420), 구조화 광 발광기(430), 카메라(440), 구조화 광 패턴 제어기(450) 및 안구 방향 추정 모듈(460)을 포함한다. 일부 실시예에서, 안구 추적 시스템(400)은 HMD(105)의 안구 추적 유닛(160)이다. 다른 실시예에서, 안구 추적 시스템(400)은 사용자의 안구 운동을 추적하는 다른 어떤 시스템, 예컨대 AR 시스템의 일부이다. 안구 추적 시스템(400)은 사용자의 양 눈을 추적할 수 있고 다수의 구조화 광 발광기 및 다수의 카메라를 포함할 수 있다. 하지만, 도 3에서와 같이, 본 명세서에 안구 추적 시스템(400)은 단일 안구, 단일 구조화 광 발광기(430) 및 단일 카메라(440)에 대하여 서술된다.
모델 스토어(410)는 눈의 연재 방향을 추정하기 위하여 이미지 I를 비교하는데 사용되는 사용자의 눈의 모델 M을 저장하는 메모리이다. 모델 스토어(410)는 ROM, DRAM, SRAM 또는 그 일부의 조합과 같은 메모리이다. 모델 스토어(410)는 가상 현실(VR) 시스템 환경(100)의 더 큰 디지털 메모리의 일부일 수 있다. 모델 스토어(410)에 저장된 모델 M은 눈의 표면의 3D 모델일 수 있다. 사용자의 양 눈이 스캔되는 실시예에서, 모델 스토어(410)는 각 눈 당 하나씩 두 모델 M1과 M2를 포함할 수 있다.
일부 실시예에서, M은 눈의 표면 형상을 근사하는 3D 모델이다. 3D 모델은 눈의 모델이 회전하도록 정의된 두 직교하는 축을 가질 수 있다. 따라서, 3D 모델은 눈의 중심 방향에 대한 눈의 방향을 명시하는 두 각도 α(요우)와 β(피치)를 포함할 수 있다(즉, α=β=0°는 정면 직선을 보는 눈에 대응한다). α와 β는 중심와 축의 각도 방향에 대응할 수 있다. M은 눈의 롤(즉, 뒤틀림)에 대응하는 롤 각도 γ도 포함할 수 있다. M은 데카르트 좌표계에서 3D 모델의 병진을 명시하는 병진 벡터 [x0, y0, z0]T도 더 포함할 수 있다. 일부 실시예에서, 동공 축의 각도 또는 (α,β)가 병진 벡터 [x0, y0, z0]T에 매핑될 수 있다. 눈의 방향을 감지하는 것이 동공을 감지하는 것을 포함하는 실시예에서, M은 동공 지름 d를 포함할 수 있다. 일부 실시예에서, 중심와 축은 동공 축의 각도, [x0, y0, z0]T, γ 및 M에 저장된 중심와의 위치에 대응하는 파라미터에 기반하여 계산된다. 일부 실시예에서, 안구 추적은 눈의 3D 모델을 눈의 스캔된 부분에 가장 가깝게 들어맞게 하는 α 및 β 값을 찾는 것이 될 수 있다. 일부 실시예에서, 안구 추적은 α와 β, 동공 축의 각도, [x0, y0, z0]T, γ 및 d의 일부 조합을 사용하여 눈의 스캔된 부분을 M에 매칭시키는 것을 포함할 수 있다.
모델 M은 3D 공간에 포함된 눈의 2D 표면의 수학적 모델일 수 있다. M은 연속적일 수 있거나, 이산 점들로 구성될 수 있다. 예를 들어, 데카르트 공간에서, x, y 및 z 축은 눈의 중심 축, 눈의 중심 축에 직교하는 수평 축 및 수직 축에 각각 대응할 수 있다. 모델은 함수 X(y, z, α, β)를 포함할 수 있는데, 모든 세트의 (α,β)는 y-z 평면에서 x 축으로 돌출하는 표면을 생성한다. 일부 실시예에서, α 및 β는
Figure pat00001
의 표면에 적용되는 회전 변환의 각도에 대응한다. 예를 들어, 만약 (x,y,z,)=(0,0,0)이 눈의 모델의 회전 지점에 대응한다면, 이 회전은 회전 행렬 Rz(α)Ry(β)로 표현되고, 이 때 Rz(α)와 Ry(β)는 종래에 정의된 바와 같이 요우 및 피치 행렬이다. 모델 M은 눈의 병진 및 눈의 뒤틀림에 대응하는 파라미터도 포함할 수 있다.
유사하게, M은 R(θ,φ) 형태의 함수로 극좌표의 함수를 포함할 수 있다. 만약 극좌표계의 원점이 눈이 회전하는 점으로 정의되면, 눈의 표면의 모델은 R(θ-α,φ-β)로 주어질 수 있다.
일부 실시예에서, M은 3D 표면의 수학적 모델이 아니라 이미지 생성 함수이다. 눈의 모델 M은 α 및 β의 각 값에 대한 2D 이미지를 반환하는 이미지 생성 함수 IM(α,β)일 수 있다. IM(α,β)는 병진 벡터와 롤 각도(γ)와 같은 추가 입력도 포함할 수 있어서, α, β, γ 및 [x0, y0, z0]T의 일부 조합이 이미지에 매핑된다. 이미지 생성 함수 IM(α,β)는 모델 스토어(410)에 저장된 이미지의 유한 집합으로부터 이미지를 선택할 수 있다. 대안적으로, IM(α,β)는 연속 함수일 수 있다(즉, 정수, 부동 소수점 또는 대안적인 컴퓨터 구현 수 체계를 통해 구현되므로 대략적으로 연속).
일부 실시예에서, M은 이미지의 세트로 이루어지는데, 각 이미지는 α 및 β 값에 매핑된다. 대안적인 실시예에서, 만약 이미지 생성 함수 IM(α,β)가 α 및 β의 정확한 값에 대한 이미지를 가지지 않는다면, α 및 β에 가까운 방향에 대응하는 이미지가 함께 보간되어 IM(α,β)에 의해 반환되는 합성 이미지를 생성할 수 있다. 만약 다수의 구조화 광 패턴이 안구 추적 시스템(400)에 의해 사용된다면, 모델 M은 각 구조화 광 패턴에 대한 이미지 생성 함수를 가져야 한다.
M은 입력 구조화 광 패턴 P와 함께 이미지 생성에 사용되는 눈의 3D 모델을 포함할 수 있다. 이 이미지 생성 함수 IM(α,β,P)는 눈의 3D 모델 상의 구조화 광 패턴의 수학적 모델(예컨대, 광선 모델)을 렌더링함으로써 구현될 수 있다. IM(α,β,P)가 출력하는 이미지는 α, β 및 P의 주어진 값에 대하여 카메라(320)가 캡처할 것으로 예상되는 이미지의 근사일 수 있다.
일부 실시예에서, 포괄적인 표면이 아니고, 모델 M은 눈의 형상을 대략적으로 명시하는 다수의 파라미터로 이루어진다. 예를 들어, 이들 파라미터는 안구의 평균 반경, 눈의 공막의 평균 반경, 공막의 형상을 타원체로 근사하는 세 파라미터의 세트, 눈의 각막의 반경, 공막으로부터 각막의 돌출의 측정, 각막의 형상을 명시하는 파라미터의 세트 및 눈에 대한 회전 지점에 대응할 수 있다. 추가 파라미터가 파라미터에 의해 명시되는 이상적인 모델로부터의 편차를 고려하기 위하여 사용될 수 있다. 예를 들어, 혈관에 의해 발생하는 눈의 표면 상의 벌지(bulge)가 이들 추가적인 파라미터를 통해 M에서 고려될 수 있다.
캘리브레이션 모듈(420)은 캘리브레이션 시퀀스 동안 안구 추적에 앞서 모델 M을 생성 또는 훈련시킨다. 캘리브레이션 모듈(420)은 하나 이상의 프로세서 상에 구현된 소프트웨어 모듈, 전용 하드웨어 유닛 또는 그들의 일부의 조합이다. 캘리브레이션 모듈(420)이 구현한 캘리브레이션 시퀀스는 카메라(440) 및 구조화 광 발광기(430)를 사용하여 반복적으로 눈을 스캔하는 것을 수반할 수 있다. 일실시예에서, 사용자는 HMD(105)의 전자 디스플레이(115) 상에 디스플레이되는 특정 가상 객체 또는 시각적 표시자를 보도록 지시 받는다. 눈의 일부가 사용자가 시각적 표시자를 보고 있는 동안 스캔될 수 있다. 이 방법으로, 안구 추적 시스템(400)은 눈의 알려진 방향으로 눈의 샘플 스캔을 캡처할 수 있다. 이들 샘플 스캔은 모델 스토어(410)에 저장되는 모델 M으로 보간될 수 있다. 캘리브레이션 모듈(420)이 M을 생성하면, 안구 추적이 시작될 수 있다. 일반적으로, 특정 사용자의 눈에 대하여 훈련된 모델 M에 의한 안구 추적은 이러한 모델 없는 안구 추적보다 더 정확하다. 일부 실시예에서, 캘리브레이션 모듈(420)은 추적 동안 M의 업데이트를 계속한다. 일부 실시예에서, 시스템은 인간 안구의 통계적 표준에 기반한 공칭 모델 M으로 추적을 시작하고 420은 추적 동안 M을 업데이트한다.
캘리브레이션 시퀀스 동안 수집된 안구(330)의 다수의 스캔은 3D 모델, 3D 모델 생성 함수 또는 이미지 생성 함수 IM(α,β)로 합성될 수 있다. 3D 모델 또는 3D 모델 생성 함수는 캘리브레이션 동안 카메라(320)에 의해 캡처된 이미지의 세트를 요우 값 {α1, ..., αN} 및 피치 값 {β1, ..., βN}의 세트에 대응하는 3D 표면의 세트 {S1, ..., SN}로 변환함으로써 계산될 수 있는데, {α1, ..., αN} 및 {β1, ..., βN}는 디스플레이 상에 디스플레이되는 시각적 객체의 위치에 대응한다. {S1, ..., SN}, {α1, ..., αN} 및 {β1, ..., βN}은 단일 3D 표면 모델 생성 함수로 보간될 수 있다. 일부 실시예에서, 에러 파라미터 {E1, ..., EN}도 M을 생성하는데 사용된다. 각 Ei는 Si에서 표면 상의 각 점의 신뢰도를 나타내는 함수일 수 있다. 대안적으로, Ei는 전체로서 Si의 신뢰도를 나타내는 단일 값일 수 있다. Ei는 Si를 계량하는데 사용될 수 있어 Si가 모델에 미치는 영향은 Ei에 기반한다.
캘리브레이션 동안, 눈의 모델 M 생성에 추가로, 캘리브레이션 모듈(420)은 여러 후보 패턴 중 눈의 방향을 감지하기 가장 적합한 광 패턴도 결정할 수 있다. 일부 실시예에서, 최고의 구조화 광 패턴은 주어진 범위의 눈의 방향에 대해 결정될 수 있다. 안구 추적 동안, 최적의 구조화 광 패턴은 이전에 감지된 눈의 방향에 응답하여 안구 상에 투영될 수 있다.
구조화 광 발광기(430)는 구조화 광의 패턴 P를 발광하는데, 눈의 일부에 입사한다. 눈의 표면의 기하학적 형태는 구조화 광 패턴을 왜곡하여 왜곡된 조명 패턴을 형성한다. 구조화 광 발광기(430)는 도 3에 도시된 구조화 광 발광기(310)와 동일한 구조화 광 발광기(430)일 수 있다.
카메라(440)는 왜곡된 조명 패턴을 감지한다. 카메라(440)는 캡처된 광을 디지털 이미지 I로 변환한다. 일부 실시예에서, 카메라(440)는 카메라(320)이다. 눈의 모델 M이 이미지 생성 함수 IM(α,β)인 실시예에서, IM(α,β)에 의해 생성된 이미지는 I와 동일한 타입의 이미지(예컨대, 이진 이미지, 단일 채널 이미지 또는 다중 채널 이미지)일 수 있다. 또한 IM(α,β)에 의해 출력된 이미지는 카메라(440)에 의해 출력된 이미지 I와 동일한 크기(예컨대, 픽셀로)일 수 있다.
일부 실시예에서, 구조화 광 패턴 제어기(450)는 구조화 광 발광기(430)를 제어한다. 구조화 광 패턴 제어기(450)는 하나 이상의 프로세서 상에 구현된 소프트웨어 모듈, 전용 하드웨어 유닛 또는 그들의 일부의 조합이다. 구조화 광 패턴 제어기(450)는 발광되는 구조화 광 패턴 P를 결정한다. 일부 실시예에서, 구조화 광 발광기(430)는 언제나 동일 패턴을 투영하고, 구조화 광 패턴 제어기(450)는 단순히 구조화 광 발광기(430)가 발광할지 여부를 제어한다. 일부 실시예에서, 구조화 광 패턴 제어기(450)는 “나쁜 스캔” 보고서에 응답하여 구조화 광 패턴을 다른 패턴으로 변화시킨다. 일부 실시예에서, 구조화 광 패턴 제어기(450)는 안구 추적 유닛(400)이 보고한 바에 따른 이전에 보고된 눈의 방향에 기반하여 구조화 광 패턴을 선택한다.
안구 방향 추정 모듈(460)은 이미지 I를 입력으로 받고 모델 스토어(410)로부터의 모델 M에 기반하여 눈의 방향의 추정을 생성한다. 안구 방향 추정 모듈(460)는 하나 이상의 프로세서 상에 구현된 소프트웨어 모듈, 전용 하드웨어 유닛 또는 그들의 일부의 조합이다.
일부 실시예에서, 안구 방향 추정 모듈(460)은 구조화 광 발광기(430)에 의해 조명되는 눈의 영역에 대응하는 눈의 표면 S의 3D 근사를 생성한다. 안구 방향 추정 모듈(460)은 구조화 광 패턴 제어기(450)로부터 수신될 수 있는 투영되는 구조화 광 패턴의 알려진 구조를 사용하여 눈의 표면의 형상 및 카메라의 기하학적 형태로 인한 광의 왜곡을 결정한다. 왜곡으로부터, 안구 방향 추정 모듈(460)은 이미지의 상이한 부분에 깊이 정보를 부여한다. 깊이 정보를 사용하여 안구 방향 추정 모듈(460)은 눈의 3D 표면 S의 근사를 생성한다. S는, 예컨대, 데카르트 공간의 3차원 점의 유한 집합, 극좌표의 점의 유한 집합 또는
Figure pat00002
의 표면을 정의하는 수학적 함수를 포함할 수 있다. 안구 방향 추정 모듈(460)은 에러 함수 E도 출력할 수 있는데, 표면 S 상의 주어진 점의 정확도를 나타내는 추정을 제공한다. E는, 예컨대 2차원 좌표를 취하고 그 점의 평면으로부터의 연장(데카르트 좌표계에서) 또는 반경(극좌표계에서)의 표준편차의 추정을 반환하는 함수일 수 있다.
S 계산의 예시적인 예로서, 의사 랜덤 위치의 점의 배열을 포함하는 구조화 광 패턴을 고려한다. 각 점이 무시할 수 있는 작은 영역을 가지는 N개의 점으로 이루어진 구조화 광 패턴을 가정하면, 각 점을 생성하는 광은 광선으로 표현될 수 있다. 만약 ri가 i번째 광선을 나타내면(i∈{1, ..., N}에 대해), ri는 다음과 같이 표현될 수 있다:
Figure pat00003
이 때 ai, bi∈
Figure pat00004
이고 γi는 파라메트릭 식의 종속 변수이다. 각 광선은 눈의 표면에 입사하고 점 pi∈
Figure pat00005
의 표면에서 교차한다. 이 점은 빛의 광선에 의해 조명되고 이 조명은 K개의 카메라 중 하나에 의해 감지된다. K개의 카메라 중 k번째는 점 pi로부터 발생되는 빛의 광선을 캡처함으로써 이를 감지한다. 이 빛의 광선은 다음과 같은 yik로 표현될 수 있다:
Figure pat00006
이 때, ci, di∈
Figure pat00007
이고 δik는 파라메트릭 식의 종속 변수이다. Ri는 선험적으로 알려지고 yik는 k번째 카메라의 수신된 픽셀 위치를 벡터 ci, di에 매핑하는 매핑 알고리즘에 의해 찾아질 수 있다. 따라서, pi가 모든 k∈{1, ..., K}에 대해 ri=yik인 점이다. 다음 시스템은 pi를 찾기 위해 해결될 수 있다:
Figure pat00008
하지만 위의 시스템은 중복 결정된 시스템이다. 결과적으로, 측정에서의 비이상과 선험적 가정은 정확한 해결책이 존재하지 않게 할 수 있다. 그럼에도 불구하고, 근사가 찾아질 수 있다. pi의 이러한 한 근사는 최소 제곱 에러 근사의 평균
Figure pat00009
이다.
Figure pat00010
는 다음과 같이 계산될 수 있다.
Figure pat00011
이 때,
Figure pat00012
및
Figure pat00013
Figure pat00014
이다.
Figure pat00015
모든 i∈{1, ..., N}에 대해
Figure pat00016
를 도출함으로써, 시스템은 일부 입상도로, 구조화 광의 패턴이 입사하는 객체의 형상을 계산할 수 있다. 따라서 S는 점
Figure pat00017
의 집합으로 표현되거나 점의 집합으로부터 도출될 수 있다. 이 예시는 오직 S 생성의 예시적인 예일 뿐이다. 다른 근사 기술 및 다른 알고리즘 접근법이 사용될 수 있다. 또한 다른 구조화 광의 패턴 및 이들 구조화 광의 패턴에 적합한 알고리즘이 사용될 수 있다. 구조화 광의 각 패턴과의 3D 매핑에 적합한 알고리즘이 알려져 있다.
눈의 표면 근사 S가 안구 방향 추정 모듈(460)에 의해 모델 스토어(410)로부터 검색된 눈의 모델 M과 비교하는데 사용될 수 있다. 상술한 바와 같이, 모델 M은 눈의 표면의 3D 모델일 수 있다. 안구 방향 추정 모듈(460)은 종속 변수로서 요우 α 및 피치 β를 변화시킴으로써 S(눈을 스캔함으로써 생성된 3D 표면)를 M과 상관시키는 2차원 상관을 수행할 수 있다. 이 설명의 목적으로, α는 눈의 수평 각도로 정의되고, β는 눈의 수직 각도로 정의되는데, α=β=0°는 사용자가 정면을 보는 것에 대응한다. 눈의 올바른 방향은 눈의 모델 M이 표면 근사 S와 가장 가깝게 일치하는 α 및 β 값이 되도록 결정될 수 있다.
일례로, pi=[θi φi ri]T일 때 S는 극좌표계의 점의 집합 S={p1,..., pN}일 수 있다. 모델 M은 극좌표의 함수의 형태 RM(θ,φ)를 취할 수 있는데, 좌표계의 원점이 눈의 회전의 원점에 대응하도록 두 각도 θ 및 φ의 함수로 반경을 반환한다. 눈의 방향은 다음을 최대화하는 (α,β) 값을 찾기 위하여 α 및 β 값의 유한 집합에 걸쳐 반복함으로써 결정될 수 있다:
Figure pat00018
이 때 μr은 S(즉,
Figure pat00019
)의 평균 반경이고 μm은 함수 RM(θ,φ)에 의해 정의된 표면의 평균 반경이다. 안구 방향 추정 모듈(460)이 M과 S가 가장 가깝게 일치하는 α 및 β 값을 결정하는데 사용할 수 있는 많은 대안적 방법이 있다. 이러한 방법은 이 분야의 통상의 기술자에게 알려져 있다.
일부 실시예에서, 집합 {(α1,β1), ..., (αN,βN)}으로부터의 값이 S와 M 간의 상관 관계를 결정하는데 입력으로 사용된다. 이 집합의 값은 특정 경계의 영역으로 제한될 수 있다. 영역은 눈의 움직임의 범위로 정의될 수 있다. 일부 실시예에서, 영역은 이전에 계산된 요우 및 피치 값으로부터의 특정 각도 거리 내의 값으로 제한된다. 영역은 눈의 최대 속도에 대한 상한값에 기반하여 결정될 수 있다. 예를 들어, 인간의 눈의 최대 각도 단속적 운동 속도는 초당 약 900°이므로, 영역은 이전에 감지된 눈의 방향의 1000°/F 내로 제한될 수 있고, 이 때 F는 헤르츠로 카메라(440)의 프레임 속도이다.
일부 실시예에서, 눈의 표면 S의 추정이 생성되지 않고 안구 방향 추정 모듈(460)에 의해 카메라(440)가 캡처한 이미지 I가 직접 모델 M과 비교된다. M은 요우 및 피치(α 및 β) 값으로의 이미지의 매핑일 수 있다. 일부 실시예에서, (α,β) 값은 α와 β를 입력으로 취하는 이미지 생성 함수에 의해 모델 이미지에 매핑된다. 각각 상이한 (α,β) 쌍에 대응하는 다수의 모델 이미지가 카메라(440)에 캡처된 이미지 I에 비교될 수 있다. I에 가장 가깝게 일치하는 모델 이미지에 대응하는 (α,β) 쌍은 눈의 방향으로 결정될 수 있다. 일부 실시예에서, 가장 가깝게 일치하는 모델 이미지에 매칭하는 (α,β) 쌍을 결정하는 것은 2차원 상관자에 의해 행해질 수 있는데, 상관은 종속 변수로서 (α,β)로 수행될 수 있다.
안구 추적 유닛(400)은 도 1에 도시된 VR 시스템 환경(100)의 것과 같은 VR 시스템의 일부일 수 있다. 안구 추적 유닛(400)은 HMD(105)의 일부일 수 있지만, 구조화 광 발광기(430)의 제어와 카메라(440)로부터 수신한 이미지의 처리를 책임지는 안구 추적 유닛(400)의 모듈은 HMD(105)의 일부일 필요가 없다. 이들 컴포넌트는 가상 현실 콘솔(110)에 위치할 수 있다. 일부 실시예에서, 안구 추적 유닛(400)에 의해 출력된 데이터 처리는 가상 현실 콘솔(110) 상의 하나 이상의 일반 프로세서에 의해 수행된다. 일부 실시예에서, 안구 추적 알고리즘은 특화된 하드웨어 상에 구현된다. 일부 실시예에서, 안구 추적 유닛(400)의 제어 및 처리 모듈 중 일부는 HMD(105)의 일부이고, 나머지는 가상 현실 콘솔(110)의 일부이다.
도 5a는 일부 실시예에 따른 안구 운동을 추적하는 프로세스를 도시하는 블록도이다. 도 5a의 프로세스는 안구 추적 유닛(400)에 의해 수행될 수 있다. 다른 실시예에서 다른 엔티티들이 프로세스의 단계들의 일부 또는 전부를 수행할 수 있다. 마찬가지로, 실시예는 상이한 및/또는 추가적 단계들을 포함하거나 상이한 순서로 단계들을 수행할 수 있다.
안구 추적 유닛(400)은 캘리브레이션 시퀀스를 수행한다(510). 캘리브레이션 시퀀스는 캘리브레이션 모듈(420)에 의해 제어되는데, 반복적으로 눈을 스캔하기 위하여 구조화 광 발광기(430) 및 카메라(440)를 사용한다. 눈을 스캔하는 것은 눈의 모델 M을 생성 또는 훈련시키는데, 모델 스토어(410)에 저장된다.
다음으로, 안구 추적 유닛(400)은 구조화 광 패턴 P로 눈을 스캔한다(530). 눈을 스캔하는 것(530)은 구조화 광 발광기(310)로부터의 구조화 광 패턴 P를 눈에 투영하는 것 및 카메라(320)로 눈의 일부에 투영된 왜곡된 조명 패턴을 감지하는 것을 포함한다. 카메라(320)는 조명 패턴의 이미지 I를 캡처한다.
그 후 눈의 방향은 안구 방향 추정 모듈(460)에 의해 추정된다(540). 안구 방향 추정 모듈(460)은 눈의 스캔으로부터 수신한 이미지 I를 모델 스토어(410)에 저장된 모델 M과 비교한다. 그 후 안구 방향 추정 모듈(460)은 눈의 방향의 추정을 출력한다. 눈의 방향의 추정은 α와 β 값의 쌍일 수 있는데, 각각 눈의 요우와 피치에 대응한다. 눈의 방향이 추정된(540) 후, 눈은 다시 구조화 광 패턴으로 스캔된다(530). 따라서, 눈을 스캔하는 것(530)과 눈의 방향을 추정하는 것(540)은 안구 추적 루프(520)를 이룬다. 안구 추적 루프(520)를 통해, 눈의 방향이 계속적으로 추적된다.
일부 실시예에서, 안구(330)의 방향이 정확히 추정되지 못할 때, 안구 추적 유닛(400)은 방향의 추정이 아닌 “나쁜 스캔” 에러 코드를 출력한다. “나쁜 스캔”은 사용자가 깜빡일 때 또는 안구 추적 시스템의 비이상성으로 인해 일어날 수 있다. “나쁜 스캔”은 눈의 모델 M이 눈의 스캔(예컨대, S 또는 I)에 일치하는 정도를 결정하는데 사용되는 측정이 특정 임계치 내가 아니라는 결정에 의하여 확률론적으로 감지된다. 일부 실시예에서, 특정 타임 프레임 내의 특정 수의 “나쁜 스캔”이 안구 추적 루프(520)가 정지하도록 트리거링할 수 있고, 캘리브레이션 시퀀스가 다시 수행될 수 있다(510).
도 5b는 일부 실시예에 따른 안구의 방향을 추정하는 프로세스를 도시하는 블록도이다. 일부 실시예에서, 도 5에 도시된 프로세스는 더 큰 안구 추적 프로세스의 일부이다. 예를 들어, 도 5a에 도시된 눈의 방향을 추정하는 것(550)은 도 5b의 프로세스를 이룰 수 있다. 도 5b의 프로세스는 안구 추적 유닛(400)에 의해 수행될 수 있다. 다른 실시예에서 다른 엔티티들이 프로세스의 단계들의 일부 또는 전부를 수행할 수 있다. 마찬가지로, 실시예는 상이한 및/또는 추가적 단계들을 포함하거나 상이한 순서로 단계들을 수행할 수 있다.
안구 추적 유닛(400)은 이미지 I의 패턴 P’를 식별한다. I는 눈에 투영되는 구조화 광 패턴 P로 인한 조명 패턴의 카메라(440)에 의해 캡처된 이미지이다. I의 P’를 식별하는 것(560)은 P의 특징에 대응하는 이미지 I에 존재하는 특징을 식별하는 것을 이룰 수 있다. 예를 들어, 안구 방향 추정 모듈(460)은 에지 검출 알고리즘과 같은 머신 비전 알고리즘을 통해, 조명 패턴의 경계를 식별할 수 있다. 안구 방향 추정 모듈(460)은 P의 특정 로컬 최대값 및 로컬 최소값에 대응하는 I의 강도의 로컬 최대값 또는 로컬 최소값도 식별할 수 있다. 안구 방향 추정 모듈(460)은 P의 특정한 특징에 대응하는 I의 점, 선, 그리드 또는 다른 특징도 식별할 수 있다.
다음으로, P’와 P의 특징 간의 공간적 분산을 추정한다(570). 각 특징의 공간적 분산을 추정하는 것(570)은 표면 S, 즉
Figure pat00020
에 포함되는 2D 표면을 생성하는데 사용될 수 있다. S의 생성은 발광기-카메라 기하학적 형태 및 P’와 P의 특징 간 공간적 분산에 기반할 수 있다. 구조화 광 발광기(430)에 의해 발광된 패턴 P 및 카메라(440)가 캡처한 이미지 I에 기반하여 식별된 패턴 P’ 간의 공간적 분산에 기반하여 표면의 형상을 근사하기 위한 기술이 통상의 기술자에게 알려져 있다.
눈의 방향을 추정하기 위하여 S가 눈의 모델 M과 비교된다(580). S가 가장 가깝게 M과 일치하는 눈의 피치 및 요우 각도(α 및 β)를 찾음으로써 S는 M과 비교될 수 있다(580). 일부 실시예에서, M을 S에 비교하는 것은 M이 S에 가장 가깝게 일치하는 롤 각도(γ), 병진의 값 또는 그 일부의 조합을 찾는 것을 더 포함한다. 일부 실시예에서, P’와 P 간의 공간적 분산은 모델 M에 직접 맞춰질 수 있다. 눈의 방향을 추정하는 것은 α, β, γ 및 병진 벡터의 일부 조합의 추정치를 생성할 수 있다.
도 6은 일실시예에 따른 구조화 광 투영(610)을 형성하기 위해 구조화 광을 투영하는 구조화 광 발광기(600)를 도시한다. 구조화 광 투영(610)은 설명을 위해 구조화 광 발광기(600)의 축에 직교하는 평평한 표면에 투영되는 것으로 도시된다. 구조화 광 발광기(600)는 도 3에 도시된 구조화 광 발광기(310) 또는 도 4에 도시된 구조화 광 발광기(430)일 수 있다. 도 6은 5개의 구조화 광 패턴: 도트 매트릭스(620), 단일 선(630), 정현파(640), 다중 톤 패턴(650) 및 그리드(660)도 도시한다. 설명을 위해, 이들 구조화 광 패턴도 평평한 직교 평면에 투영되는 것으로 도시된다. 구조화 광 발광기(600)는 하나 이상의 바, 하나 이상의 사각형 또는 의사 랜덤 점과 같은 다른 구조화 광 패턴도 출력할 수 있다.
다중 톤 패턴(650)은 다수의 정현파 패턴의 조합이다. 도 6의 다중 톤 패턴(650)은 A[cos(ωx)+cos(2ωx)] 형태의 강도를 가지는 구조화 광 패턴을 도시하는데, 이 때 x는 공간 차원(예컨대, 데카르트 좌표계나 극좌표계) 상의 위치를 나타내는 변수이다. 실제 함수는 상이한 수의 주기를 포함할 수 있지만, 도 6은 이 함수의 4주기(즉, 0<x<8π/ω)를 도시한다. 일부 실시예에서, 다중 톤 패턴(650)은 1 밀리라디안의 주기를 가진다.
일반적으로, 다중 톤 패턴(650)은 상이한 파장, 위상 및 진폭을 가지는 다수의 정현파 구조화 광 패턴의 중첩일 수 있다(예컨대, Ai, ωi, θi∈
Figure pat00021
및 N∈
Figure pat00022
에 대해
Figure pat00023
). 정현파 패턴은 단일 파장 또는 파장의 단일 대역의 광으로 구성될 수 있다. 대안적으로, 정현파 패턴은 상이한 파장의 광으로 구성될 수 있다. 다중 톤 패턴(650)은 단일 구조화 광 발광기(600) 또는 다수의 구조화 광 발광기에 의해 발광될 수 있다. 다중 톤 패턴(650)은 도 6에 도시된 바와 갈이 수평일 필요가 없음을 유의하여야 한다. 일부 실시예에서, 다중 톤 패턴(650)은 타원체 패턴(예컨대, Ai, ai, bi, θi∈
Figure pat00024
및 N∈
Figure pat00025
에 대해
Figure pat00026
이고, 이 때 y는 x에 대응하는 방향과 직교하는 공간 차원 상의 위치를 나타내는 변수)이다.
구조화 광 패턴이 눈과 같은 곡면에 입사할 때, 조명 패턴이 구조화 광 발광기(600)의 축이 아닌 관점에서 왜곡되어 나타날 수 있다. 안구 추적 유닛(400)은 왜곡된 광을 사용하여 이미지에 깊이 정보를 부여한다. 일부 실시예에서, 구조화 광 패턴은 눈의 이전 방향에 기반하여 이동된다. 예를 들어, 구조화 광 패턴은 구조화 광 패턴이 이전 스캔에서 감지된 눈의 방향에서 공막 및 각막의 경계에 대응하는 위치 상에 중심이 맞추어지도록 이동될 수 있다. 일부 실시예에서, 추적이 실패할 때(예컨대, “나쁜 스캔”) 광의 구조화 패턴이 더 큰 영역의 패턴으로 설정된다. 이것은 각막의 일부가 구조화 광 패턴에 의해 조명될 확률을 높일 수 있다. 눈의 방향이 다시 감지될 때, 구조화 광 패턴은 더 작은 영역의 패턴으로 재설정될 수 있다.
추가적인 구성 정보
본 명세서의 실시예들의 상술한 설명은 예시의 목적으로 제시된 것으로서, 배타적이거나 개시된 정확한 형태들로 실시예를 제한하고자 하는 것이 아니다. 당업자는 상술한 명세서의 관점에서 많은 변경 및 변형이 가능함을 이해할 수 있다.
본 명세서의 몇몇 부분들은 알고리즘 또는 정보에 대한 동작의 기호적 표현으로 본 명세서의 실시예들을 설명한다. 이러한 알고리즘적 설명이나 표현은 본 기술분야에서 통상의 지식을 가진 자들에게 효과적으로 그들의 작업의 실체를 전달하기 위하여 데이터 프로세싱 기술분야에서 통상의 지식을 가진 자에 의하여 공통적으로 사용되는 것이다. 기능적으로, 계산적으로 또는 논리적으로 설명되고 있는 이들 동작은 컴퓨터 프로그램 또는 등가의 전기 회로, 마이크로 코드 등에 의해 구현되는 것으로 이해된다. 또한, 종종 이러한 동작의 배열은 일반성의 손실 없이 모듈로 언급될 수 있는 것으로 확인된다. 기술된 동작 및 그와 관련된 모듈들은 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 결합으로 구현될 수 있을 것이다.
본 명세서에 기술된 임의의 단계들, 동작들 또는 프로세스들은 하나 이상의 하드웨어 또는 소프트웨어 모듈들에 의해 또는 이들과 다른 장치들의 결합에 의해 수행되거나 구현될 수 있다. 일실시예에서, 소프트웨어 모듈은 기술된 단계들, 동작들 또는 프로세스들 일부 또는 전부를 수행하기 위하여 컴퓨터 프로세서에 의해 실행될 수 있는 컴퓨터 프로그램 코드를 포함하는 컴퓨터 판독가능한 매체를 포함하는 컴퓨터 프로그램 제품으로 구현된다.
본 명세서의 실시예는 본 명세서의 동작을 수행하기 위한 장치에도 관련된다. 이 장치는 요청된 목적을 위하여 구체적으로 구성될 수 있고/있거나 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화되거나 재구성되는 범용 컴퓨팅 장치를 포함할 수 있다. 이런 컴퓨터 프로그램은 비-일시적 유형의 컴퓨터 판독가능한 저장 매체 또는 컴퓨터 시스템 버스에 결합될 수 있는 전자 명령어를 저장하기에 적절한 임의의 타입의 매체에 저장될 수 있다. 게다가, 본 명세서에서 언급된 임의의 컴퓨팅 시스템들은 단일 프로세서를 포함할 수 있거나, 증가한 컴퓨팅 능력을 위해 다중 프로세서 설계를 채용한 구조일 수 있다.
본 명세서의 실시예는 본 명세서에 서술된 컴퓨팅 프로세스에 의해 생산된 제품에도 관련된다. 이런 제품은 컴퓨팅 프로세스의 처리 결과인 정보를 포함할 수 있으며, 여기서 정보는 비-일시적, 유형의 컴퓨터 판독가능한 저장 매체에 저장되고 본 명세서에 개시된 컴퓨터 프로그램 제품 또는 다른 데이터 조합의 임의의 실시예를 포함할 수 있다.
마지막으로, 본 명세서에서 사용된 언어는 원칙적으로 읽기 쉬운 지침상의 목적으로 선택되었으며, 발명의 요지를 상세히 설명하거나 제한하려고 선택된 것은 아닐 수 있다. 따라서, 실시예들의 범위는 본 명세서에 의해서가 아니라 본 명세서를 기초로 출원된 임의의 청구범위들에 의해 한정되는 것으로 의도된다. 따라서, 실시예들에 관한 설명은 하기의 청구범위에 제시된 상세한 설명의 범위의 예시가 되지만, 이에 제한되지는 않아야 한다.

Claims (20)

  1. 사용자의 눈을 구조화 광 패턴으로 조명하도록 구성된 구조화 광 발광기;
    눈의 표면의 일부 상의 조명 패턴의 이미지를 캡처하도록 구성된 카메라; 및
    카메라에 의해 캡처된 이미지 및 눈의 모델에 기반하여 눈의 중심와 축을 추정하도록 구성된 안구 방향 추정 모듈을 포함하고,
    구조화 광 패턴은 눈의 표면의 일부 상에 조명 패턴을 생성하고,
    중심와 축은 안구의 방향을 정의하는 안구 추적 유닛.
  2. 청구항 1에 있어서,
    안구 추적 유닛은 헤드 마운트 디스플레이(HMD)의 컴포넌트이고, HMD는:
    HMD를 착용하고 있는 사용자에게 컨텐츠를 디스플레이하도록 구성된 디스플레이 요소; 및
    디스플레이 요소로부터의 광이 HMD의 사출 동공을 향하도록 유도하도록 구성된 광학 블록을 포함하는 안구 추적 유닛.
  3. 청구항 1에 있어서,
    캘리브레이션 모듈을 더 포함하고, 캘리브레이션 모듈은:
    디스플레이 요소 상의 위치에 시각적 표시자를 디스플레이하도록 디스플레이 요소를 제어하고;
    카메라로부터, 눈의 표면의 일부 상의 제2 조명 패턴의 제2 이미지를 수신하고; 및
    캡처된 제2 이미지에 기반하여 및 시각적 표시자의 위치에 기반하여 사용자의 눈의 모델을 훈련시키도록 구성되는 안구 추적 유닛.
  4. 청구항 1에 있어서,
    안구 방향 추정 모듈은:
    캡처된 이미지를 사용하여 눈의 동공 축의 방향을 추정하고; 및
    동공 축의 추정된 방향에 기반하여 및 동공 축과 중심와 축 사이의 오프셋에 기반하여 눈의 중심와 축을 추정하도록 구성되는 안구 추적 유닛.
  5. 청구항 1에 있어서,
    안구 방향 추정 모듈은:
    이미지의 캡처된 조명 패턴의 왜곡에 기반하여 눈의 표면의 일부의 형상을 결정하고; 및
    눈의 모델을 눈의 표면의 일부의 결정된 형상과 비교하도록 구성되는 안구 추적 유닛.
  6. 청구항 1에 있어서,
    안구 방향 추정 모듈은:
    조명 패턴의 캡처된 이미지의 복수의 조명점 각각에 대한 위치를 감지하고;
    조명 패턴의 캡처된 이미지에서의 조명점의 위치와 구조화 광 패턴의 조명점의 구조화 광 발광기로부터의 대응하는 각도의 비교에 기반하여 각 조명점의 3차원 위치를 결정하고; 및
    눈의 모델을 조명점의 결정된 3차원 위치와 비교하도록 구성되는 안구 추적 유닛.
  7. 청구항 1에 있어서,
    안구 방향 추정 모듈은 캡처된 이미지 및 눈의 모델에 기반한 눈의 특징의 위치에 부분적으로 기반하여 눈의 중심와 축을 추정하도록 구성되고, 특징은 각막의 곡률, 각막-공막 경계, 각막 밑의 홍채 특징 및 각막의 정점으로 이루어진 그룹에서 선택되는 안구 추적 유닛.
  8. 청구항 1에 있어서,
    안구 방향 추정 모듈은 눈에 대한 요우, 피치 및 롤 회전 및 눈에 대한 3차원 병진 벡터를 결정하는 것에 부분적으로 기반하여 눈의 중심와 축을 추정하도록 구성되는 안구 추적 유닛.
  9. 청구항 1에 있어서,
    구조화 광 패턴은 도트 매트릭스, 정현파, 단일 또는 다중 선 세그먼트 및 다중 톤 패턴으로 이루어진 그룹에서 선택되는 안구 추적 유닛.
  10. 사용자의 제1 눈을 제1 구조화 광 패턴으로 조명하도록 구성된 제1 구조화 광 발광기;
    사용자의 제2 눈을 제2 구조화 광 패턴으로 조명하도록 구성된 제2 구조화 광 발광기;
    제1 눈의 표면의 일부 상의 제1 조명 패턴의 제1 이미지를 캡처하도록 구성된 제1 카메라;
    제2 눈의 표면의 일부 상의 제2 조명 패턴의 제2 이미지를 캡처하도록 구성된 제2 카메라;
    안구 방향 추정 모듈로서:
    제1 카메라에 의해 캡처된 제1 이미지 및 모델에 기반하여 제1 눈의 제1 중심와 축을 추정하고, 및
    제2 카메라에 의해 캡처된 제2 이미지 및 모델에 기반하여 제2 눈의 제2 중심와 축을 추정하도록 구성된 안구 방향 추정 모듈을 포함하고,
    제1 구조화 광 패턴은 제1 눈의 표면의 일부 상에 제1 조명 패턴을 생성하고,
    제2 구조화 광 패턴은 제2 눈의 표면의 일부 상에 제2 조명 패턴을 생성하고,
    제1 중심와 축은 제1 눈의 방향을 정의하고,
    제2 중심와 축은 제2 눈의 방향을 정의하는 안구 추적 유닛.
  11. 청구항 10에 있어서,
    안구 추적 유닛은 헤드 마운트 디스플레이(HMD)의 컴포넌트이고, HMD는 제1 중심와 축 및 제2 중심와 축을 사용하여 사용자의 동공간 거리를 결정하도록 구성되는 안구 추적 유닛.
  12. 청구항 10에 있어서,
    안구 방향 추정 모듈은:
    제1 캡처된 이미지를 사용하여 제1 눈의 제1 동공 축의 방향을 추정하고; 및
    제1 동공 축의 추정된 방향에 기반하여 및 제1 동공 축과 제1 중심와 축 사이의 오프셋에 기반하여 제1 눈의 제1 중심와 축을 추정하도록 구성되는 안구 추적 유닛.
  13. 청구항 10에 있어서,
    안구 방향 추정 모듈은:
    제1 조명 패턴의 제1 캡처된 이미지의 복수의 조명점 각각에 대한 위치를 감지하고;
    조명 패턴의 제1 캡처된 이미지에서의 조명점의 위치와 제1 구조화 광 패턴의 조명점의 제1 구조화 광 발광기로부터의 대응하는 각도의 비교에 부분적으로 기반하여 각 조명점의 3차원 위치를 결정하고; 및
    모델을 조명점의 결정된 3차원 위치와 비교하도록 구성되는 안구 추적 유닛.
  14. 청구항 10에 있어서,
    안구 방향 추정 모듈은 제1 눈 및 제2 눈 각각에 대하여, 각각의 요우, 피치 및 롤 회전 및 눈에 대한 각각의 3차원 병진 벡터를 결정하는 것에 부분적으로 기반하여 제1 중심와 축 및 제2 중심와 축을 추정하도록 구성되는 안구 추적 유닛.
  15. 사용자의 눈으로 구조화 광 패턴을 투영하는 단계;
    눈의 표면의 일부 상의 조명 패턴의 이미지를 캡처하는 단계; 및
    캡처된 이미지 및 눈의 모델에 기반하여 눈의 중심와 축을 추정하는 단계를 포함하고,
    구조화 광 패턴은 눈의 표면의 일부 상에 조명 패턴을 생성하고,
    중심와 축은 안구의 방향을 정의하는 방법.
  16. 청구항 15에 있어서,
    디스플레이 요소 상의 위치에 시각적 표시자를 디스플레이하도록 디스플레이 요소를 제어하는 단계;
    눈의 표면의 일부 상의 제2 조명 패턴의 제2 이미지를 수신하는 단계; 및
    캡처된 제2 이미지에 기반하여 및 시각적 표시자의 위치에 기반하여 사용자의 눈의 모델을 훈련시키는 단계를 더 포함하는 방법.
  17. 청구항 15에 있어서,
    눈의 중심와 축을 추정하는 단계는:
    캡처된 이미지를 사용하여 눈의 동공 축의 방향을 추정하는 단계; 및
    동공 축의 추정된 방향에 기반하여 및 동공 축과 중심와 축 사이의 오프셋에 기반하여 눈의 중심와 축을 추정하는 단계를 포함하는 방법.
  18. 청구항 15에 있어서,
    눈의 중심와 축을 추정하는 단계는:
    캡처된 이미지의 조명 패턴의 왜곡에 기반하여 눈의 표면의 일부의 형상을 결정하는 단계; 및
    눈의 모델을 눈의 표면의 일부의 결정된 형상과 비교하는 단계를 포함하는 방법.
  19. 청구항 15에 있어서,
    눈의 중심와 축을 추정하는 단계는:
    조명 패턴의 캡처된 이미지의 복수의 조명점 각각에 대한 위치를 감지하는 단계;
    조명 패턴의 캡처된 이미지에서의 조명점의 위치와 구조화 광 패턴의 조명점의 발광기로부터의 대응하는 각도의 비교에 기반하여 각 조명점의 3차원 위치를 결정하는 단계; 및
    눈의 모델을 조명점의 결정된 3차원 위치와 비교하는 단계를 포함하는 방법.
  20. 청구항 15에 있어서,
    눈의 중심와 축은 눈에 대한 요우, 피치 및 롤 회전 및 눈에 대한 3차원 병진 벡터를 결정하는 것에 부분적으로 기반하여 추정되는 방법.
KR1020197007863A 2015-11-02 2016-11-01 구조화 광을 사용한 안구 추적 KR20190031599A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562249852P 2015-11-02 2015-11-02
US62/249,852 2015-11-02
US15/335,634 2016-10-27
US15/335,634 US9983709B2 (en) 2015-11-02 2016-10-27 Eye tracking using structured light
PCT/US2016/059938 WO2017079172A1 (en) 2015-11-02 2016-11-01 Eye tracking using structured light

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020187010350A Division KR101962302B1 (ko) 2015-11-02 2016-11-01 구조화 광을 사용한 안구 추적

Publications (1)

Publication Number Publication Date
KR20190031599A true KR20190031599A (ko) 2019-03-26

Family

ID=58635627

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020197007863A KR20190031599A (ko) 2015-11-02 2016-11-01 구조화 광을 사용한 안구 추적
KR1020187010350A KR101962302B1 (ko) 2015-11-02 2016-11-01 구조화 광을 사용한 안구 추적

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020187010350A KR101962302B1 (ko) 2015-11-02 2016-11-01 구조화 광을 사용한 안구 추적

Country Status (6)

Country Link
US (2) US9983709B2 (ko)
EP (1) EP3341783A4 (ko)
JP (2) JP6586523B2 (ko)
KR (2) KR20190031599A (ko)
CN (1) CN108351514B (ko)
WO (1) WO2017079172A1 (ko)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
DE102015204281A1 (de) * 2015-03-10 2016-09-15 Robert Bosch Gmbh Verfahren zur Kalibrierung einer Kamera für eine Blickrichtungserkennung in einem Fahrzeug, Vorrichtung für ein Kraftfahrzeug mit einer Kamera und mindestens einem weiteren Element und Computerprogrammprodukt
US10146997B2 (en) * 2015-08-21 2018-12-04 Magic Leap, Inc. Eyelid shape estimation using eye pose measurement
JP6885935B2 (ja) 2015-10-16 2021-06-16 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 眼の特徴を用いる眼ポーズ識別
CN105913487B (zh) * 2016-04-09 2018-07-06 北京航空航天大学 一种基于人眼图像中虹膜轮廓分析匹配的视线方向计算方法
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A3 (en) 2016-12-30 2024-05-29 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10154254B2 (en) * 2017-01-17 2018-12-11 Facebook Technologies, Llc Time-of-flight depth sensing for eye tracking
US10485420B2 (en) * 2017-02-17 2019-11-26 Analog Devices Global Unlimited Company Eye gaze tracking
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US10061352B1 (en) * 2017-08-14 2018-08-28 Oculus Vr, Llc Distributed augmented reality system
KR102495234B1 (ko) 2017-09-06 2023-03-07 삼성전자주식회사 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체
US10712579B1 (en) * 2017-09-20 2020-07-14 Facebook Technologies, Llc Vortex linearization of micro-LED polarization
EP3462382A1 (en) * 2017-10-02 2019-04-03 Facebook Technologies, LLC Eye tracking system using dense structured light patterns
US10725537B2 (en) * 2017-10-02 2020-07-28 Facebook Technologies, Llc Eye tracking system using dense structured light patterns
US11237628B1 (en) * 2017-10-16 2022-02-01 Facebook Technologies, Llc Efficient eye illumination using reflection of structured light pattern for eye tracking
KR102596429B1 (ko) 2017-12-10 2023-10-30 매직 립, 인코포레이티드 광학 도파관들 상의 반사―방지 코팅들
EP3729172A4 (en) 2017-12-20 2021-02-24 Magic Leap, Inc. INSERT FOR AUGMENTED REALITY VIEWING DEVICE
EP3501375A1 (en) * 2017-12-22 2019-06-26 Nokia Technologies Oy An eye monitoring apparatus
US10523930B2 (en) 2017-12-29 2019-12-31 Microsoft Technology Licensing, Llc Mitigating binocular rivalry in near-eye displays
US10477186B2 (en) * 2018-01-17 2019-11-12 Nextvr Inc. Methods and apparatus for calibrating and/or adjusting the arrangement of cameras in a camera pair
KR20200110367A (ko) * 2018-01-17 2020-09-23 매직 립, 인코포레이티드 디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택, 및 렌더 카메라 포지셔닝
GB2571300B (en) * 2018-02-23 2020-05-27 Sony Interactive Entertainment Inc Eye tracking method and apparatus
CN112136152A (zh) * 2018-03-15 2020-12-25 奇跃公司 由观看设备的部件变形导致的图像校正
JP7319303B2 (ja) 2018-05-31 2023-08-01 マジック リープ， インコーポレイテッド レーダ頭部姿勢位置特定
US10825424B2 (en) 2018-06-05 2020-11-03 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
CN108985172A (zh) * 2018-06-15 2018-12-11 北京七鑫易维信息技术有限公司 一种基于结构光的视线追踪方法、装置、设备及存储介质
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US10747009B1 (en) * 2018-07-20 2020-08-18 Facebook Technologies, Llc Symmetrical facet Fresnel combiner
WO2020023542A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Display systems and methods for determining registration between a display and eyes of a user
US11598651B2 (en) 2018-07-24 2023-03-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
EP3831058A4 (en) 2018-08-02 2022-04-20 Magic Leap, Inc. VIEWING SYSTEM WITH PUPILE DISTANCE COMPENSATION BASED ON HEAD MOVEMENT
US10795458B2 (en) 2018-08-03 2020-10-06 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
CN110603513B (zh) * 2018-08-27 2023-08-29 深圳市汇顶科技股份有限公司 一种眼睛跟踪设备及利用光学成像跟踪眼睛的方法
WO2020042843A1 (en) * 2018-08-27 2020-03-05 Shenzhen GOODIX Technology Co., Ltd. Eye tracking based on imaging eye features and assistance of structured illumination probe light
EP3656285B1 (en) * 2018-11-15 2023-04-19 Tobii AB Method and device for calibrating an eye tracker
CN117111304A (zh) 2018-11-16 2023-11-24 奇跃公司 用于保持图像清晰度的图像尺寸触发的澄清
US10942489B2 (en) 2018-12-17 2021-03-09 Facebook Technologies, Llc Wide-field holographic pattern generation for head-mounted display (HMD) eye tracking
US10838362B2 (en) 2018-12-17 2020-11-17 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a prism array
US11281160B2 (en) 2018-12-17 2022-03-22 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a fiber exposure
US11256213B2 (en) 2018-12-17 2022-02-22 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using an array of parabolic mirrors
US11409240B2 (en) * 2018-12-17 2022-08-09 Meta Platforms Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a diffractive optical element
US10816809B2 (en) 2018-12-17 2020-10-27 Facebook Technologies, Llc Holographic in-field illuminator
US10948873B2 (en) 2018-12-17 2021-03-16 Facebook Technologies, Llc Holographic pattern generation for head-mounted display (HMD) eye tracking using a lens array
CN109711302B (zh) * 2018-12-18 2019-10-18 北京诺亦腾科技有限公司 模型参数校准方法、装置、计算机设备和存储介质
US10996751B2 (en) * 2018-12-21 2021-05-04 Tobii Ab Training of a gaze tracking model
US10963103B1 (en) 2018-12-24 2021-03-30 Facebook Technologies, Llc Display system with integrated depth detection
CN111435069B (zh) * 2019-01-14 2022-07-08 顺丰科技有限公司 测量体积的方法和装置
US11458040B2 (en) * 2019-01-23 2022-10-04 Meta Platforms Technologies, Llc Corneal topography mapping with dense illumination
US11686935B2 (en) * 2019-01-29 2023-06-27 Meta Platforms Technologies, Llc Interferometric structured illumination for depth determination
US11861941B1 (en) * 2019-02-06 2024-01-02 Apple Inc. Eye camera systems with polarized light
US11326763B1 (en) 2019-02-06 2022-05-10 Apple Inc. Light-emitting diodes with optical filters
JP2022523852A (ja) 2019-03-12 2022-04-26 マジック リープ， インコーポレイテッド 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ
US20220155848A1 (en) * 2019-03-18 2022-05-19 Sony Interactive Entertainment Inc. Input Device
US10816810B1 (en) * 2019-04-08 2020-10-27 Htc Corporation Head mounted display apparatus
US11176367B1 (en) * 2019-05-01 2021-11-16 Facebook Technologies, Llc Apparatuses, systems, and methods for mapping a surface of an eye via an event camera
EP3973372A4 (en) * 2019-07-11 2023-01-11 Hewlett-Packard Development Company, L.P. EYE TRACKING FOR SCREENS
CN114424147A (zh) 2019-07-16 2022-04-29 奇跃公司 利用一个或多个眼睛跟踪相机确定眼睛旋转中心
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
EP3973697A4 (en) * 2019-07-26 2023-03-15 Hewlett-Packard Development Company, L.P. CHANGING STRUCTURED LIGHT PROJECTED BASED ON IDENTIFIED POINTS IN A CAPTURED IMAGE
US11327318B2 (en) * 2019-08-13 2022-05-10 Htc Corporation Head-mounted display
TWI797488B (zh) 2019-10-18 2023-04-01 宏達國際電子股份有限公司 頭戴式顯示裝置及調整方法
WO2021097323A1 (en) 2019-11-15 2021-05-20 Magic Leap, Inc. A viewing system for use in a surgical environment
KR20210117062A (ko) 2020-03-18 2021-09-28 한국전자통신연구원 시선 추적 방법 및 장치
KR102460821B1 (ko) * 2020-10-28 2022-10-28 재단법인대구경북과학기술원 증강 현실 장치 및 증강 현실 장치의 동작 방법
WO2022158795A1 (ko) * 2021-01-21 2022-07-28 삼성전자 주식회사 사용자의 시선을 검출하는 증강 현실 장치 및 방법
KR20220111144A (ko) * 2021-02-01 2022-08-09 삼성전자주식회사 HMD(head mounted display)의 영상 처리 방법 및 이 방법을 실행하는 HMD
CN112926523B (zh) 2021-03-30 2022-07-26 青岛小鸟看看科技有限公司 基于虚拟现实的眼球追踪方法、系统
CN113251951B (zh) * 2021-04-26 2024-03-01 湖北汽车工业学院 基于单标定面映射的线结构光视觉测量系统的标定方法
SE2151198A1 (en) * 2021-09-30 2023-03-31 Tobii Ab Gaze defect compensation
US11900845B2 (en) 2021-10-28 2024-02-13 Samsung Electronics Co., Ltd. System and method for optical calibration of a head-mounted display
DE102021128135A1 (de) 2021-10-28 2023-05-04 Robert Bosch Gesellschaft mit beschränkter Haftung Laservorrichtung, Scanvorrichtung und ein Verfahren zum Herstellen einer Laservorrichtung
CN114360043B (zh) * 2022-03-18 2022-06-17 南昌虚拟现实研究院股份有限公司 模型参数标定方法、视线追踪方法、装置、介质及设备
WO2023211792A1 (en) * 2022-04-25 2023-11-02 Twenty Twenty Therapeutics Llc Mapping of corneal topography using a vr headset
CN114972613A (zh) * 2022-04-28 2022-08-30 广州时秤信息技术有限公司 虚拟角色的瞳孔处理方法、装置、设备及存储介质
US20230388620A1 (en) * 2022-05-26 2023-11-30 Motorola Mobility Llc Visual Feature Based Video Effects
KR20240020960A (ko) * 2022-08-09 2024-02-16 삼성전자주식회사 시선 방향을 식별하는 전자 장치 및 그 작동 방법
US11950000B2 (en) 2022-09-07 2024-04-02 Microsoft Technology Licensing, Llc Resolution enhancement in spatial-frequency space

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3298081B2 (ja) 1994-12-06 2002-07-02 日本電信電話株式会社 ヘッドマウントディスプレイ装置
US6659611B2 (en) * 2001-12-28 2003-12-09 International Business Machines Corporation System and method for eye gaze tracking using corneal image mapping
EP1785991A4 (en) 2004-08-04 2009-01-07 Asahi Glass Co Ltd LIQUID CRYSTAL LENS ELEMENT AND OPTICAL HEAD
US20060210111A1 (en) 2005-03-16 2006-09-21 Dixon Cleveland Systems and methods for eye-operated three-dimensional object location
KR20130011692A (ko) 2011-07-22 2013-01-30 삼성전자주식회사 깊이 영상과 컬러 영상을 획득하는 픽셀 구조를 가진 이미지 센서
CA2750287C (en) 2011-08-29 2012-07-03 Microsoft Corporation Gaze detection in a see-through, near-eye, mixed reality display
US8955973B2 (en) 2012-01-06 2015-02-17 Google Inc. Method and system for input detection using structured light projection
US20130241805A1 (en) 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
WO2014033306A1 (en) * 2012-09-03 2014-03-06 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Head mounted system and method to compute and render a stream of digital images using a head mounted system
US20140085426A1 (en) 2012-09-24 2014-03-27 Alces Technology, Inc. Structured light systems with static spatial light modulators
US9123142B2 (en) * 2012-10-02 2015-09-01 At&T Intellectual Property I, L.P. Adjusting content display orientation on a screen based on user orientation
TWI481901B (zh) 2012-12-03 2015-04-21 Wistron Corp 頭戴式顯示裝置
RU2012154657A (ru) 2012-12-17 2014-06-27 ЭлЭсАй Корпорейшн Способы и устройство для объединения изображений с глубиной, генерированных с использованием разных способов формирования изображений с глубиной
JP2014219621A (ja) 2013-05-10 2014-11-20 株式会社タイトー 表示装置、表示制御プログラム
KR102098277B1 (ko) 2013-06-11 2020-04-07 삼성전자주식회사 시선 추적을 이용한 시인성 개선 방법, 저장 매체 및 전자 장치
US9498114B2 (en) * 2013-06-18 2016-11-22 Avedro, Inc. Systems and methods for determining biomechanical properties of the eye for applying treatment
US10061028B2 (en) 2013-09-05 2018-08-28 Texas Instruments Incorporated Time-of-flight (TOF) assisted structured light imaging
US20150102981A1 (en) 2013-10-11 2015-04-16 Microsoft Corporation Eye tracking
JP6146293B2 (ja) 2013-12-25 2017-06-14 ソニー株式会社 制御装置、制御方法および制御システム
US9671612B2 (en) 2014-01-29 2017-06-06 Google Inc. Dynamic lens for head mounted display
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
US10241569B2 (en) 2015-12-08 2019-03-26 Facebook Technologies, Llc Focus adjustment method for a virtual reality headset

Also Published As

Publication number Publication date
JP2020034919A (ja) 2020-03-05
JP6902075B2 (ja) 2021-07-14
KR20180064413A (ko) 2018-06-14
WO2017079172A1 (en) 2017-05-11
EP3341783A4 (en) 2019-11-20
US20170123526A1 (en) 2017-05-04
CN108351514B (zh) 2019-11-22
JP6586523B2 (ja) 2019-10-02
US20180246590A1 (en) 2018-08-30
KR101962302B1 (ko) 2019-03-26
US9983709B2 (en) 2018-05-29
EP3341783A1 (en) 2018-07-04
CN108351514A (zh) 2018-07-31
US10268290B2 (en) 2019-04-23
JP2019500660A (ja) 2019-01-10

Similar Documents

Publication Publication Date Title
KR101962302B1 (ko) 구조화 광을 사용한 안구 추적
US10257507B1 (en) Time-of-flight depth sensing for eye tracking
US11016301B1 (en) Accommodation based optical correction
US10025384B1 (en) Eye tracking architecture for common structured light and time-of-flight framework
JP6576574B2 (ja) 眼球モデルを生成するための角膜球追跡
KR102543341B1 (ko) 눈 추적 정보에 기반하는 이미지 영역에서의 적응형 파라미터
US10614577B1 (en) Eye tracking system with single point calibration
US10878236B2 (en) Eye tracking using time multiplexing
US9959678B2 (en) Face and eye tracking using facial sensors within a head-mounted display
KR102144040B1 (ko) 헤드 마운트 디스플레이의 얼굴 센서를 사용한 얼굴과 안구 추적 및 얼굴 애니메이션
US10430988B2 (en) Facial animation using facial sensors within a head-mounted display
US10109067B2 (en) Corneal sphere tracking for generating an eye model

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E601 Decision to refuse application