KR102670987B1 - 눈 추적 교정 기술들 - Google Patents
눈 추적 교정 기술들 Download PDFInfo
- Publication number
- KR102670987B1 KR102670987B1 KR1020197038485A KR20197038485A KR102670987B1 KR 102670987 B1 KR102670987 B1 KR 102670987B1 KR 1020197038485 A KR1020197038485 A KR 1020197038485A KR 20197038485 A KR20197038485 A KR 20197038485A KR 102670987 B1 KR102670987 B1 KR 102670987B1
- Authority
- KR
- South Korea
- Prior art keywords
- eye
- user
- target
- virtual
- reticle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 166
- 238000012937 correction Methods 0.000 title claims abstract description 143
- 210000001508 eye Anatomy 0.000 claims description 602
- 210000003128 head Anatomy 0.000 claims description 203
- 238000003384 imaging method Methods 0.000 claims description 48
- 230000004044 response Effects 0.000 claims description 28
- 230000000007 visual effect Effects 0.000 claims description 21
- 238000005266 casting Methods 0.000 claims description 20
- 238000005259 measurement Methods 0.000 claims description 12
- 238000004891 communication Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 9
- 230000000694 effects Effects 0.000 claims description 7
- 241000542420 Sphyrna tudes Species 0.000 claims description 2
- 238000012795 verification Methods 0.000 abstract description 23
- 230000004462 vestibulo-ocular reflex Effects 0.000 abstract description 6
- 230000008569 process Effects 0.000 description 70
- 230000003287 optical effect Effects 0.000 description 41
- 235000019013 Viburnum opulus Nutrition 0.000 description 34
- 210000001747 pupil Anatomy 0.000 description 30
- 238000012545 processing Methods 0.000 description 29
- 238000004422 calculation algorithm Methods 0.000 description 27
- 230000033001 locomotion Effects 0.000 description 24
- 238000013507 mapping Methods 0.000 description 22
- 238000010586 diagram Methods 0.000 description 17
- 238000009826 distribution Methods 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 15
- 230000004308 accommodation Effects 0.000 description 14
- 238000000605 extraction Methods 0.000 description 14
- 230000003993 interaction Effects 0.000 description 13
- 230000008859 change Effects 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 8
- 230000000284 resting effect Effects 0.000 description 8
- 230000004424 eye movement Effects 0.000 description 7
- 239000000835 fiber Substances 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 238000013459 approach Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000004886 head movement Effects 0.000 description 6
- 238000002347 injection Methods 0.000 description 6
- 239000007924 injection Substances 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 4
- 238000013500 data storage Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 230000004438 eyesight Effects 0.000 description 4
- 230000002452 interceptive effect Effects 0.000 description 4
- 239000013307 optical fiber Substances 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000013442 quality metrics Methods 0.000 description 4
- 238000009877 rendering Methods 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000013519 translation Methods 0.000 description 4
- 230000014616 translation Effects 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 244000071378 Viburnum opulus Species 0.000 description 3
- 230000009471 action Effects 0.000 description 3
- 208000003464 asthenopia Diseases 0.000 description 3
- 230000004397 blinking Effects 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 239000010432 diamond Substances 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 210000001525 retina Anatomy 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 208000019901 Anxiety disease Diseases 0.000 description 2
- 241000255777 Lepidoptera Species 0.000 description 2
- 230000036506 anxiety Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 229910003460 diamond Inorganic materials 0.000 description 2
- 210000000720 eyelash Anatomy 0.000 description 2
- 210000000744 eyelid Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- 241000284156 Clerodendrum quadriloculare Species 0.000 description 1
- 235000002767 Daucus carota Nutrition 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 208000036366 Sensation of pressure Diseases 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 238000004873 anchoring Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 239000003245 coal Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 210000000613 ear canal Anatomy 0.000 description 1
- 210000000883 ear external Anatomy 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 244000144992 flock Species 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000002197 limbic effect Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000004470 vergence movement Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/211—Input arrangements for video game devices characterised by their sensors, purposes or types using inertial sensors, e.g. accelerometers or gyroscopes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
- A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/20—Input arrangements for video game devices
- A63F13/22—Setup operations, e.g. calibration, key configuration or button assignment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/06—Ray-tracing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
- A63F2300/8082—Virtual reality
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Cardiology (AREA)
- Heart & Thoracic Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
- Radar Systems Or Details Thereof (AREA)
- Fertilizing (AREA)
- Eye Examination Apparatus (AREA)
Abstract
웨어러블 시스템에서 눈 추적 교정을 위한 시스템들 및 방법들이 설명된다. 웨어러블 시스템은 3D(three-dimensional) 가상 콘텐츠를 제공하고, 사용자가 눈 시선을 사용하여 3D 가상 콘텐츠와 상호작용하게 허용할 수 있다. 눈 추적 교정 동안, 웨어러블 시스템은, 눈 추적 데이터가 획득되는 동안에, 사용자가 실제로 교정 타겟을 보고 있다는 것을 검증할 수 있다. 검증은 사용자의 머리 포즈 및 전정-안구 반사와 연관된 데이터에 기반하여 수행될 수 있다.
Description
[0001] 본 출원은, 2017년 5월 31일에 출원되고 명칭이 "EYE TRACKING CALIBRATION TECHNIQUES"인 미국 가출원 제62/512,954호를 35 U.S.C.§119(e) 하에서 우선권으로 주장하며, 이로써, 이 출원의 전체 개시내용은 인용에 의해 본원에 포함된다.
[0002] 본 개시내용은 가상 현실 및 증강 현실 이미징 및 시각화 시스템들에 관한 것이며, 더 상세하게는 눈 추적을 위한 교정 기술들에 관한 것이다.
[0003] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실", "증강 현실", 또는 "혼합 현실" 경험들을 위한 시스템들의 개발을 용이하게 했으며, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 사용자에게 제시된다. 가상 현실, 또는 "VR" 시나리오는 통상적으로 다른 실제 실세계 시각적 입력에 대한 투명성(transparency) 없이 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하고; 증강 현실, 또는 "AR" 시나리오는 통상적으로 사용자 주위 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반하고; 혼합 현실, 또는 "MR"은, 실제 및 가상 세계들을 병합하여 물리적 및 가상 객체들이 공존하고 실시간으로 상호작용하는 새로운 환경을 생성하는 것과 관련된다. 밝혀진 바와 같이, 인간 시각적 지각 시스템은 매우 복잡하고, 다른 가상 또는 실세계 이미저리 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스러운 느낌의, 풍부한 프리젠테이션을 용이하게 하는 VR, AR 또는 MR 기술을 생성하는 것은 난제이다. 본원에 개시된 시스템들 및 방법들은 VR, AR 및 MR 기술에 관련된 다양한 난제들을 해결한다.
[0004] 눈 추적 교정들의 정확도들을 개선하기 위한 기술들의 다양한 실시예들이 개시된다.
[0005] 웨어러블 시스템에서 눈 추적 교정을 위한 시스템들 및 방법들이 설명된다. 웨어러블 시스템은 3D(three-dimensional) 가상 콘텐츠를 제공하고, 사용자가 눈 시선을 사용하여 3D 가상 콘텐츠와 상호작용하게 허용할 수 있다. 눈 추적 교정 동안, 웨어러블 시스템은, 눈 추적 데이터가 획득되는 동안에, 사용자가 실제로 교정 타겟을 보고 있다는 것을 검증할 수 있다. 검증은 사용자의 머리 포즈 및 전정-안구 반사와 연관된 데이터에 기반하여 수행될 수 있다.
[0006] 본 명세서에서 설명되는 청구 대상의 하나 이상의 구현들의 세부사항들은, 아래의 첨부 도면들 및 설명에서 기술된다. 다른 특징들, 양상들, 및 이점들은 설명, 도면들, 및 청구항들로부터 명백해질 것이다. 이 개요 또는 다음의 상세한 설명 어느 것도, 본 발명의 청구 대상의 범위를 한정하거나 제한하는 것으로 의도되지 않는다.
[0007] 도 1은 사람에 의해 관찰되는 소정의 물리적 객체들 및 소정의 가상 현실 객체들을 갖는 혼합 현실 시나리오의 예시를 도시한다.
[0008] 도 2는 웨어러블 시스템의 예를 개략적으로 예시한다.
[0009] 도 3은 다중 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 개략적으로 예시한다.
[0010] 도 4는 사용자에게 이미지 정보를 출력하기 위한 도파관 스택의 예를 개략적으로 예시한다.
[0011] 도 5는 도파관에 의해 출력될 수 있는 예시적인 출사 빔들을 도시한다.
[0012] 도 6은, 다중-초점 볼류메트릭 디스플레이, 이미지 또는 광 필드의 생성에 사용되는 도파관 장치, 도파관 장치로의/로부터의 광을 광학적으로 커플링하는 광 커플러 서브 시스템, 및 제어 서브 시스템을 포함하는 광학 시스템을 도시하는 개략도이다.
[0013] 도 7은 웨어러블 시스템의 일 예의 블록도이다.
[0014] 도 8은 인지된 객체들과 관련하여 가상 콘텐츠를 렌더링하는 방법의 예의 프로세스 흐름도이다.
[0015] 도 9는 웨어러블 시스템의 다른 예의 블록도이다.
[0016] 도 10은 웨어러블 시스템에 대한 사용자 입력을 결정하는 방법의 예의 프로세스 흐름도이다.
[0017] 도 11은 가상 사용자 인터페이스와 상호작용하기 위한 방법의 예의 프로세스 흐름도이다.
[0018] 도 12a는 눈 추적 교정 프로세스에서 예시적인 타겟들을 예시한다.
[0019] 도 12b는 눈 추적 교정 프로세스에 대한 예시적인 장면을 개략적으로 예시한다.
[0020] 도 12c는, 사용자의 머리 포즈를 사용하여 사용자가 타겟을 보고 있는지를 검증하는 예를 예시한다.
[0021] 도 13a는, 레티클이 사용자의 FOV의 중심에 있는 눈 시선을 검증하는 예를 예시한다.
[0022] 도 13b는, 레티클이 사용자의 FOV의 중심에서 벗어난 위치에서 렌더링되는 눈 시선을 검증하는 예를 예시한다.
[0023] 도 14a는 눈 시선 검증을 사용한 예시적인 눈 추적 교정 프로세스에 대한 흐름도를 예시한다.
[0024] 도 14b는 예시적인 눈 시선 검증 프로세스에 대한 흐름도를 예시한다.
[0025] 도 15a 및 15b는 타겟과 레티클 사이의 거리에 기반하여 레티클의 크기를 동적으로 조정하는 예들을 예시한다.
[0026] 도 16a 및 16b는 형상의 유사한 레티클 및 타겟의 예들을 예시한다.
[0027] 도 17은 리그(rig) 공간에 고정된 레티클을 나타내는 가상 객체가 사용자의 3차원 환경 내의 타겟 포지션으로 드래그 앤 드롭되는 눈 시선 검증의 예를 예시한다.
[0028] 도 18은 로봇 공격 게임의 부분으로서 눈 시선 검증의 예를 예시한다.
[0029] 도면들 전체에 걸쳐, 참조 번호들은 참조된 엘리먼트들 사이의 대응성(correspondence)을 표시하는 데 재사용될 수 있다. 도면들은 본원에서 설명된 예시적인 실시예들을 예시하기 위해 제공되며 본 개시내용의 범위를 제한하려는 의도는 아니다. 추가적으로, 본 개시내용의 도면들은 예시 목적이며, 실척이 아니다.
[0008] 도 2는 웨어러블 시스템의 예를 개략적으로 예시한다.
[0009] 도 3은 다중 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 개략적으로 예시한다.
[0010] 도 4는 사용자에게 이미지 정보를 출력하기 위한 도파관 스택의 예를 개략적으로 예시한다.
[0011] 도 5는 도파관에 의해 출력될 수 있는 예시적인 출사 빔들을 도시한다.
[0012] 도 6은, 다중-초점 볼류메트릭 디스플레이, 이미지 또는 광 필드의 생성에 사용되는 도파관 장치, 도파관 장치로의/로부터의 광을 광학적으로 커플링하는 광 커플러 서브 시스템, 및 제어 서브 시스템을 포함하는 광학 시스템을 도시하는 개략도이다.
[0013] 도 7은 웨어러블 시스템의 일 예의 블록도이다.
[0014] 도 8은 인지된 객체들과 관련하여 가상 콘텐츠를 렌더링하는 방법의 예의 프로세스 흐름도이다.
[0015] 도 9는 웨어러블 시스템의 다른 예의 블록도이다.
[0016] 도 10은 웨어러블 시스템에 대한 사용자 입력을 결정하는 방법의 예의 프로세스 흐름도이다.
[0017] 도 11은 가상 사용자 인터페이스와 상호작용하기 위한 방법의 예의 프로세스 흐름도이다.
[0018] 도 12a는 눈 추적 교정 프로세스에서 예시적인 타겟들을 예시한다.
[0019] 도 12b는 눈 추적 교정 프로세스에 대한 예시적인 장면을 개략적으로 예시한다.
[0020] 도 12c는, 사용자의 머리 포즈를 사용하여 사용자가 타겟을 보고 있는지를 검증하는 예를 예시한다.
[0021] 도 13a는, 레티클이 사용자의 FOV의 중심에 있는 눈 시선을 검증하는 예를 예시한다.
[0022] 도 13b는, 레티클이 사용자의 FOV의 중심에서 벗어난 위치에서 렌더링되는 눈 시선을 검증하는 예를 예시한다.
[0023] 도 14a는 눈 시선 검증을 사용한 예시적인 눈 추적 교정 프로세스에 대한 흐름도를 예시한다.
[0024] 도 14b는 예시적인 눈 시선 검증 프로세스에 대한 흐름도를 예시한다.
[0025] 도 15a 및 15b는 타겟과 레티클 사이의 거리에 기반하여 레티클의 크기를 동적으로 조정하는 예들을 예시한다.
[0026] 도 16a 및 16b는 형상의 유사한 레티클 및 타겟의 예들을 예시한다.
[0027] 도 17은 리그(rig) 공간에 고정된 레티클을 나타내는 가상 객체가 사용자의 3차원 환경 내의 타겟 포지션으로 드래그 앤 드롭되는 눈 시선 검증의 예를 예시한다.
[0028] 도 18은 로봇 공격 게임의 부분으로서 눈 시선 검증의 예를 예시한다.
[0029] 도면들 전체에 걸쳐, 참조 번호들은 참조된 엘리먼트들 사이의 대응성(correspondence)을 표시하는 데 재사용될 수 있다. 도면들은 본원에서 설명된 예시적인 실시예들을 예시하기 위해 제공되며 본 개시내용의 범위를 제한하려는 의도는 아니다. 추가적으로, 본 개시내용의 도면들은 예시 목적이며, 실척이 아니다.
개요
[0030] 웨어러블 디바이스는 가상 콘텐츠를 대화식 VR/AR/MR 환경에 제공할 수 있다. 가상 콘텐츠는, 예컨대, 머리 포즈, 눈 시선 또는 신체 포즈와 같은 다양한 포즈들을 통해 사용자에 의해 상호작용될 수 있는 데이터 엘리먼트들을 포함할 수 있다. 눈 시선을 사용하는 사용자 상호작용들의 맥락에서, 웨어러블 디바이스는 (예컨대, 웨어러블 디바이스의 내향 이미징 시스템의 눈 카메라를 통해) 눈 이미지들과 같은 눈 데이터를 수집할 수 있다. 웨어러블 시스템은, 사용자의 눈 시선과 눈 시선 벡터(사용자의 시선 방향을 나타낼 수 있음) 사이의 연관성을 제공하는 맵핑 매트릭스에 기반하여, 사용자의 눈 시선 방향을 계산할 수 있다. 사용자 경험을 개선하기 위해, 웨어러블 디바이스는, 각각의 사람의 눈들의 고유성(uniqueness), 착용시 사용자에 대한 웨어러블 디바이스의 특정 배향, 현재 환경 조건들(예컨대, 조명 조건들, 온도 등), 이들의 조합 등을 고려하여 맵핑 매트릭스를 교정할 수 있는 눈 추적 교정 프로세스를 수행할 수 있다.
[0031] 눈 추적 교정 프로세스 동안, 웨어러블 디바이스는 다양한 가상 타겟들을 제공하고, 이들 가상 타겟들을 보면서 사용자의 눈들의 시선에 관한 정보를 수집하도록 사용자에게 지시할 수 있다. 그러나, 웨어러블 디바이스는, 명령할 때, 사용자가 실제로 타겟을 보고 있다는 것을 검증하기 위한 메커니즘이 없다. 사용자가 지시된 바와 같이 타겟을 보지 않으면, 웨어러블 디바이스는 사용자의 시선 방향을 정확하게 반영하지 않는 데이터를 수집할 수 있으며, 이는 교정에서 부정확도들을 도입하고 잘못된 맵핑 매트릭스가 생성되게 할 수 있다. 교정 프로세스의 부정확도들의 결과로서, 웨어러블 디바이스가 눈 시선을 상호작용 입력으로서 사용하는 경우, 사용자는 객체를 정확하게 타겟팅하여 이들과 상호작용할 수 없을 수 있고, 이는 만족스럽지 못한 사용자 경험으로 이어질 수 있다.
[0032] 눈 시선 교정 프로세스의 정확도를 증가시키기 위해, 웨어러블 디바이스는, 눈 데이터가 수집될 때, 사용자가 실제로 타겟을 보고 있을 가능성을 보장하거나 증가시키기 위해 눈 시선 검증을 수행할 수 있다. 눈 시선 검증은, 사용자가 지시된 바와 같이 타겟을 보는 것을 보장하기 위해 머리 포즈 및 전정-안구 반사(시야의 중심에서 이미지를 보존하기 위해 머리 움직임들과 대향하는 방향으로 눈 움직임들을 생성하는 반사)를 사용할 수 있다. 예로서, 웨어러블 디바이스는 사용자의 환경에서 물리적 타겟을 식별하거나 가상 타겟을 렌더링할 수 있다. 타겟의 위치는, 환경 내의 객체들을 3-차원 세계 좌표계의 포지션들에 맵핑하는 세계 공간의 포지션들에 의해 표현될 수 있다. 웨어러블 디바이스는 또한 웨어러블 디바이스를 참조하여 좌표계와 연관된 리그 공간에 가상 레티클을 제공할 수 있다. 사용자가 자신의 머리를 움직일 때, 그에 따라서 레티클은 사용자의 환경에서 움직일 수 있다. 웨어러블 디바이스는, 사용자의 머리 포즈가 리그 공간의 레티클로 하여금 세계 공간의 타겟과 정렬하게 할 때, 사용자가 실제로 타겟을 보고 있다고 검증할 수 있다. 바람직하게는, 일부 실시예들에서, 교정 프로세스에 사용되는 눈 데이터의 품질을 보장하기 위해, 사용자가 타겟을 보고 있지 않다고 웨어러블 디바이스가 결정하면, 웨어러블 디바이스는 눈 데이터를 수집하는 것을 정지시킬 것이다.
[0033] 사용자가 머리 포즈와 눈 시선의 조합을 사용하여 레티클과 타겟을 정렬시킬 수 있는 프로세스를 제공함으로써, 웨어러블 시스템은 직관적인 눈 교정 프로세스를 제공할 수 있는데, 왜냐하면 많은 사용자들이 레티클을 사용하여 객체를 겨냥하는 것에 익숙하기 때문이다. 게다가, 이 접근법은, 자연적인 인간의 시각 추적(예컨대, 전정-안구 반사의 추적) 기능을 활용함으로써 사용자 불편함을 감소시키고 안정피로(eyestrain)를 감소시킨다. 또한, 머리 및 눈의 움직임들이 추적되기 때문에, 사용자들은 눈 추적 교정을 수행할 수 있는 양호한 손-눈 조정 기술들을 가질 필요가 없다.
웨어러블 시스템의 3D 디스플레이의 예들
[0034] 웨어러블 시스템(본원에서 AR(augmented reality) 시스템으로 또한 지칭됨)은 2D(two-dimensional) 또는 3D(three-dimensional) 가상 이미지들을 사용자에게 제시하도록 구성될 수 있다. 이미지들은 정지 이미지들, 비디오의 프레임들 또는 비디오, 이들의 조합 등일 수 있다. 웨어러블 시스템은 사용자 상호작용을 위해 VR, AR 또는 MR 환경을 단독으로 또는 조합하여 제시할 수 있는 웨어러블 디바이스를 포함할 수 있다. 웨어러블 디바이스는 ARD(AR device)로서 상호 교환 가능하게 사용되고, 웨어러블 디바이스는 HMD(head-mounted device)일 수 있다.
[0035] 도 1은 사람에 의해 관찰되는 소정의 물리적 객체들 및 소정의 가상 현실 객체들을 갖는 혼합 현실 시나리오의 예시를 도시한다. 도 1에서, MR 장면(100)이 도시되며, 여기서 MR 기술의 사용자는 배경에 있는 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(120)을 특징으로 하는 실세계 공원-형 세팅(110)을 본다. 이들 아이템들에 더하여, MR 기술의 사용자는 또한, 그가 실세계 플랫폼(120) 상에 서 있는 로봇 동상(130), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화-형 아바타 캐릭터(140)를 보는 것을 지각하더라도, 이들 엘리먼트들은 실세계에 존재하지 않는다.
[0036] 3D 디스플레이가 진정한 깊이감(sensation of depth) 및 보다 구체적으로, 시뮬레이팅된 표면 깊이감을 생성하기 위해, 디스플레이의 시계(visual field)의 각각의 지점이 그의 가상 깊이에 대응하는 원근조절 응답을 생성하는 것이 바람직할 수 있다. 디스플레이 지점에 대한 원근조절 응답이 수렴 및 입체시(stereopsis)의 양안 깊이 단서들에 의해 결정된 바와 같은 그 지점의 가상 깊이에 대응하지 않는 경우, 인간의 눈은 원근조절 충돌을 경험할 수 있어, 불안정한 이미징, 유해한 눈의 피로, 두통들, 그리고 원근조절 정보의 부재 시에, 표면 깊이의 거의 완전한 결여를 초래할 수 있다.
[0037] VR, AR 및 MR 경험들은 복수의 깊이 평면들에 대응하는 이미지들이 뷰어에게 제공되는 디스플레이들을 갖는 디스플레이 시스템들에 의해 제공될 수 있다. 이미지들은 각각의 깊이 평면마다 상이할 수 있고(예컨대, 장면 또는 객체의 약간 다른 프리젠테이션들을 제공함) 뷰어의 눈들에 의해 별개로 초점이 맞춰질 수 있어서, 상이한 깊이 평면 상에 로케이팅되는 장면에 대한 상이한 이미지 피처들에 초점을 맞추도록 요구되는 눈의 원근조절에 기반하여 또는 상이한 깊이 평면들 상의 상이한 이미지 피처들이 초점에서 벗어나는 것을 관찰하는 것에 기반하여 깊이 단서들을 사용자에게 제공하는 것을 돕는다. 본원의 다른 곳에서 논의된 바와 같이, 이러한 깊이 단서들은 깊이의 신뢰할 수 있는 지각들을 제공한다.
[0038] 도 2는 웨어러블 시스템(200)의 예를 예시한다. 웨어러블 시스템(200)은 디스플레이(220), 및 디스플레이(220)의 기능을 지원하기 위한 다양한 기계적 및 전자적 모듈들 및 시스템들을 포함한다. 디스플레이(220)는 사용자, 착용자 또는 뷰어(210)에 의해 착용 가능한 프레임(230)에 커플링될 수 있다. 디스플레이(220)는 사용자(210)의 눈들 앞에 포지셔닝될 수 있다. 디스플레이(220)는 AR/VR/MR 콘텐츠를 사용자에게 제시할 수 있다. 디스플레이(220)는 사용자의 머리에 착용되는 머리 장착 디스플레이(HMD)를 포함할 수 있다. 일부 실시예들에서, 스피커(240)는 프레임(230)에 커플링되고 사용자의 외이도에 인접하게 포지셔닝된다(일부 실시예들에서, 도시되지 않은 다른 스피커가 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/성형 가능(shapeable) 사운드 제어를 제공함).
[0039] 웨어러블 시스템(200)은 사용자 주위의 환경의 세계를 관찰하는 외향 이미징 시스템(464)(도 4에 도시됨)을 포함할 수 있다. 웨어러블 시스템(200)은 또한, 사용자의 눈 움직임들을 추적할 수 있는 내향 이미징 시스템(462)(도 4에 도시됨)을 포함할 수 있다. 내향 이미징 시스템은 어느 한쪽 눈의 움직임들 또는 양쪽 눈의 움직임들을 추적할 수 있다. 내향 이미징 시스템(462)은 프레임(230)에 부착될 수 있고, 프로세싱 모듈(260 또는 270)과 전기 통신할 수 있으며, 이 프로세싱 모듈(260 또는 270)은 예컨대, 사용자(210)의 동공 직경들 또는 눈들의 배향들, 눈 움직임들 또는 눈 포즈(pose)를 결정하도록 내향 이미징 시스템에 의해 획득된 이미지 정보를 프로세싱할 수 있다.
[0040] 예로서, 웨어러블 시스템(200)은 외향 이미징 시스템(464) 또는 내향 이미징 시스템(462)을 사용하여 사용자의 포즈의 이미지들을 획득할 수 있다. 이미지들은 정지 이미지들, 비디오의 프레임들 또는 비디오, 이들의 조합 등일 수 있다.
[0041] 디스플레이(220)는 이를테면, 유선 리드 또는 무선 연결성에 의해, 다양한 구성들로 장착될 수 있는, 이를테면, 프레임(230)에 고정되게 부착되거나, 사용자에 의해 착용된 헬멧 또는 모자에 고정되게 부착되거나, 헤드폰들에 내장되거나, 그렇지 않으면 사용자(210)에게 제거 가능하게 부착되는 (예컨대, 백팩(backpack)-스타일 구성으로, 벨트-커플링 스타일 구성으로) 로컬 데이터 프로세싱 모듈(260)에 동작 가능하게 커플링(250)될 수 있다.
[0042] 로컬 프로세싱 및 데이터 모듈(260)은 하드웨어 프로세서는 물론, 디지털 메모리 이를테면, 비-휘발성 메모리(예컨대, 플래시 메모리)를 포함할 수 있고, 이 둘 모두는 데이터의 프로세싱, 캐싱(caching) 및 저장을 보조하기 위해 활용될 수 있다. 데이터는 a) 센서들(예컨대, 프레임(230)에 동작 가능하게 커플링되거나 그렇지 않으면 사용자(210)에게 부착될 수 있음), 이를테면, 이미지 캡처 디바이스들(예컨대, 내향 이미징 시스템 또는 외향 이미징 시스템의 카메라들), 마이크로폰들, IMU(inertial measurement unit)들, 가속도계들, 컴파스(compass)들, GPS(global positioning system) 유닛들, 라디오 디바이스들, 또는 자이로스코프들로부터 캡처되고; 또는 b) 원격 프로세싱 모듈(270) 또는 원격 데이터 저장소(repository)(280)를 사용하여 획득 또는 프로세싱되는(가능하게는, 이러한 프로세싱 또는 리트리벌(retrieval) 이후 디스플레이(220)에 전달하기 위한) 데이터를 포함할 수 있다. 로컬 프로세싱 및 데이터 모듈(260)은 통신 링크들(262 또는 264)에 의해, 이를테면, 유선 또는 무선 통신 링크들을 통하여, 원격 프로세싱 모듈(270) 또는 원격 데이터 저장소(280)에 동작 가능하게 커플링될 수 있어서, 이들 원격 모듈들은 로컬 프로세싱 및 데이터 모듈(260)에 대한 자원들로서 이용 가능하다. 또한, 원격 프로세싱 모듈(280) 및 원격 데이터 저장소(280)는 서로 동작 가능하게 커플링될 수 있다.
[0043] 일부 실시예들에서, 원격 프로세싱 모듈(270)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 이상의 프로세서들을 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소(280)는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용 가능할 수 있는 디지털 데이터 저장 설비를 포함할 수 있다. 일부 실시예들에서, 모든 데이터가 로컬 프로세싱 및 데이터 모듈에 저장되고 로컬 프로세싱 및 데이터 모듈에서 모든 컴퓨테이션(computation)들이 수행되어, 원격 모듈로부터의 완전히 자율적인 사용이 허용된다.
[0044] 인간 시각 시스템은 복잡하고 현실적인 깊이의 지각을 제공하는 것은 난제이다. 이론에 의해 제한됨이 없이, 객체의 뷰어들은 이접운동 및 원근조절의 조합으로 인해 객체를 "3-차원"인 것으로 지각할 수 있다고 여겨진다. 서로에 대한 두 눈들의 이접운동(vergence) 움직임들(즉, 객체를 응시하기 위해 눈들의 시선들을 수렴하도록 서로를 향하는 또는 서로 멀어지는 동공들의 롤링(rolling) 움직임들)은 눈들의 렌즈들의 초점(또는 "원근조절")과 밀접하게 연관된다. 정상 조건들 하에서, 상이한 거리에 있는 하나의 객체로부터 다른 객체로 초점을 변화시키기 위하여, 눈들의 렌즈들의 초점을 변화시키거나, 또는 눈들을 원근조절하는 것은 "원근조절-이접운동 반사(accommodation-vergence reflex)"로서 알려진 관계하에서, 동일한 거리에 대한 이접운동에서의 매칭하는 변화를 자동으로 유발할 것이다. 마찬가지로, 이접운동의 변화는 정상 조건들하에서, 원근조절의 매칭 변화를 트리거할 것이다. 원근조절과 이접운동 사이의 더 양호한 매칭을 제공하는 디스플레이 시스템들은 3-차원 이미저리의 더 현실적이고 편안한 시뮬레이션들을 형성할 수 있다.
[0045] 도 3은 다중 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다. 도 3을 참조하면, z-축 상에서 눈들(302 및 304)로부터 다양한 거리들에 있는 객체들은, 이들 객체들이 초점이 맞도록 눈들(302 및 304)에 의해 원근조절된다. 눈들(302 및 304)은 z-축을 따라 상이한 거리들에 있는 객체들에 초점을 맞추게 하는 특정 원근조절된 상태들을 취한다. 결과적으로, 특정 원근조절된 상태는 연관된 초점 거리를 갖는, 깊이 평면들(306) 중 특정한 하나의 깊이 평면과 연관되는 것으로 말해질 수 있어서, 특정 깊이 평면의 객체들 또는 객체들의 부분들은, 눈이 해당 깊이 평면에 대해 원근조절된 상태에 있을 때 초점이 맞춰진다. 일부 실시예들에서, 3-차원 이미저리는 눈들(302 및 304) 각각에 대해 이미지의 상이한 프리젠테이션들을 제공함으로써, 그리고 또한, 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 시뮬레이팅될 수 있다. 예시의 명확성을 위해 별개인 것으로 도시되지만, 눈들(302 및 304)의 시야들은 예컨대, z-축을 따른 거리가 증가함에 따라 겹쳐질 수 있다는 것이 인지될 것이다. 게다가, 예시의 용이함을 위해 평평한 것으로 도시되지만, 깊이 평면의 윤곽들은 물리적 공간에서 만곡될 수 있어서, 깊이 평면의 모든 피처들은 특정 원근조절된 상태에서 눈과 초점이 맞춰진다는 것이 인지될 것이다. 이론에 의해 제한됨이 없이, 인간 눈이 통상적으로 깊이 지각을 제공하기 위하여 유한 수의 깊이 평면들을 해석할 수 있다고 여겨진다. 결과적으로, 지각된 깊이의 매우 그럴듯한 시뮬레이션은, 눈에, 이들 제한된 수의 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 달성될 수 있다.
도파관 스택 어셈블리
[0046] 도 4는 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다. 웨어러블 시스템(400)은 복수의 도파관들(432b, 434b, 436b, 438b, 4400b)을 사용하여 3-차원 지각을 눈/뇌에 제공하기 위하여 활용될 수 있는 도파관들의 스택, 또는 스택된 도파관 어셈블리(480)를 포함한다. 일부 실시예들에서, 웨어러블 시스템(400)은 도 2의 웨어러블 시스템(200)에 대응할 수 있고, 도 4는 그 웨어러블 시스템(200)의 일부 부분들을 더 상세히 개략적으로 보여준다. 예컨대, 일부 실시예들에서, 도파관 어셈블리(480)는 도 2의 디스플레이(220)에 통합될 수 있다.
[0047] 도 4를 계속 참조하면, 도파관 어셈블리(480)는 또한, 도파관들 사이에 복수의 피처들(458, 456, 454, 452)을 포함할 수 있다. 일부 실시예들에서, 피처들(458, 456, 454, 452)은 렌즈들일 수 있다. 다른 실시예들에서, 피처들(458, 456, 454, 452)은 렌즈들이 아닐 수 있다. 오히려, 이들은 단순히 스페이서들(예컨대, 에어 갭들을 형성하기 위한 클래딩 층들 또는 구조들)일 수 있다.
[0048] 도파관들(432b, 434b, 436b, 438b, 440b) 또는 복수의 렌즈들(458, 456, 454, 452)은 다양한 레벨들의 파면 곡률 또는 광선 발산으로 이미지 정보를 눈에 전송하도록 구성될 수 있다. 각각의 도파관 레벨은 특정 깊이 평면과 연관될 수 있고 그 깊이 평면에 대응하는 이미지 정보를 출력하도록 구성될 수 있다. 이미지 주입 디바이스들(420, 422, 424, 426, 428)은 이미지 정보를 도파관들(440b, 438b, 436b, 434b, 432b)에 주입하기 위하여 활용될 수 있고, 이 도파관들 각각은 눈(410)을 향하여 출력하도록, 각각의 개별 도파관을 가로질러 인입 광을 분산시키도록 구성될 수 있다. 광은 이미지 주입 디바이스들(420, 422, 424, 426, 428)의 출력 표면을 나가고 도파관들(440b, 438b, 436b, 434b, 432b)의 대응하는 입력 에지에 주입된다. 일부 실시예들에서, 단일 광 빔(예컨대, 시준된 빔)은 특정 도파관과 연관된 깊이 평면에 대응하는 특정 각도들(및 발산의 양들)로 눈(410)을 향하여 지향되는 시준된 클론 빔(cloned collimated beam)들의 전체 필드를 출력하기 위하여 각각의 도파관으로 주입될 수 있다.
[0049] 일부 실시예들에서, 이미지 주입 디바이스들(420, 422, 424, 426, 428)은 각각, 대응하는 도파관(440b, 438b, 436b, 434b, 432b)으로의 주입을 위한 이미지 정보를 각각 생성하는 이산 디스플레이들이다. 일부 다른 실시예들에서, 이미지 주입 디바이스들(420, 422, 424, 426, 428)은 예컨대, 이미지 정보를 하나 이상의 광학 도관들(예컨대, 광섬유 케이블들)을 통하여 이미지 주입 디바이스들(420, 422, 424, 426, 428) 각각에 파이핑(pipe)할 수 있는 단일 멀티플렉싱된 디스플레이의 출력 단부들이다.
[0050] 제어기(460)는 스택된 도파관 어셈블리(480) 및 이미지 주입 디바이스들(420, 422, 424, 426, 428)의 동작을 제어한다. 제어기(460)는 도파관들(440b, 438b, 436b, 434b, 432b)에 대한 이미지 정보의 타이밍 및 프로비전(provision)을 레귤레이팅하는 프로그래밍(예컨대, 비-일시적 컴퓨터-판독 가능 매체의 명령들)을 포함한다. 일부 실시예들에서, 제어기(460)는 단일 통합 디바이스, 또는 유선 또는 무선 통신 채널들에 의해 연결되는 분산 시스템일 수 있다. 제어기(460)는 일부 실시예들에서, 프로세싱 모듈들(260 또는 270)(도 2에 예시됨)의 부분일 수 있다.
[0051] 도파관들(440b, 438b, 436b, 434b, 432b)은 TIR(total internal reflection)에 의해 각각의 개별 도파관 내에서 광을 전파시키도록 구성될 수 있다. 도파관들(440b, 438b, 436b, 434b, 432b)은 각각 평면형이거나 다른 형상(예컨대, 곡선)을 가질 수 있으며, 주 최상부 및 최하부 표면들 및 이들 주 최상부와 최하부 표면들 사이에서 연장되는 에지들을 갖는다. 예시된 구성에서, 도파관들(440b, 438b, 436b, 434b, 432b)은 이미지 정보를 눈(410)에 출력하기 위해 각각의 개별 도파관 내에서 전파되는 광을 도파관 밖으로 방향전환함으로써 도파관으로부터 광을 추출하도록 구성된 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)을 각각 포함할 수 있다. 추출된 광은 아웃커플링된 광으로서 또한, 지칭될 수 있고, 광 추출 광학 엘리먼트들은 또한, 아웃커플링 광학 엘리먼트들로서 지칭될 수 있다. 추출된 광 빔은, 도파관 내에서 전파되는 광이 광 방향전환 엘리먼트에 부딪치는 위치들에서 도파관에 의해 출력된다. 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 예컨대, 반사성 및/또는 회절성 광학 피처들일 수 있다. 설명의 용이함 및 도면 명확성을 위하여 도파관들(440b, 438b, 436b, 434b, 432b)의 최하부 주 표면들에 배치된 것으로 예시되지만, 일부 실시예들에서, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 최상부 및/또는 최하부 주 표면들에 배치될 수 있거나 도파관들(440b, 438b, 436b, 434b, 432b)의 볼륨에 직접 배치될 수 있다. 일부 실시예들에서, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 도파관들(440b, 438b, 436b, 434b, 432b)을 형성하기 위해 투명 기판에 부착된 재료 층에 형성될 수 있다. 일부 다른 실시예들에서, 도파관들(440b, 438b, 436b, 434b, 432b)은 재료의 모놀리식 피스(piece)일 수 있고 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 재료의 해당 피스의 표면 상에 그리고/또는 그 내부에 형성될 수 있다.
[0052] 도 4를 계속 참조하면, 본원에 논의된 바와 같이, 각각의 도파관(440b, 438b, 436b, 434b, 432b)은 특정 깊이 평면에 대응하는 이미지를 형성하기 위해 광을 출력하도록 구성된다. 예컨대, 눈에 가장 가까운 도파관(432b)은, 그러한 도파관(432b)에 주입된 시준된 광을 눈(410)에 전달하도록 구성될 수 있다. 시준된 광은 광학 무한대 초점 평면을 나타낼 수 있다. 다음 위의 도파관(434b)은 시준된 광이 눈(410)에 도달할 수 있기 전에 제1 렌즈(452)(예컨대, 네거티브 렌즈)를 통과하는 시준된 광을 보내도록 구성될 수 있다. 제1 렌즈(452)는 약간의 볼록한 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌가 상기 다음 위의 도파관(434b)으로부터 오는 광을, 광학 무한대로부터 눈(410)을 향해 안쪽으로 더 가까운 제1 초점 평면으로부터 오는 것으로 해석한다. 유사하게, 세번째 위의 도파관(436b)은 그 출력 광을, 눈(410)에 도달하기 전에 제1 렌즈(452) 및 제2 렌즈(454) 둘 모두를 통과시킨다. 제1 및 제2 렌즈들(452 및 454)의 결합된 광학 전력은 다른 증분 양의 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌는 제3 도파관(436b)으로부터 오는 광을, 상기 다음 위의 도파관(434b)으로부터의 광보다는 광학 무한대로부터 사람을 향하여 안쪽으로 훨씬 더 가까운 제2 초점 평면으로부터 오는 것으로 해석한다.
[0053] 다른 도파관 층들(예컨대, 도파관들(438b, 440b)) 및 렌즈들(예컨대, 렌즈들(456, 458))은 유사하게 구성되는데, 스택에서 가장 높은 도파관(440b)은 자신의 출력을, 사람과 가장 가까운 초점 평면을 나타내는 어그리게이트 초점 전력에 대해 자신과 눈 사이의 렌즈들 모두를 통하여 전송한다. 스택된 도파관 어셈블리(480)의 다른 측 상에서 세계(470)로부터 오는 광을 보거나/해석할 때 렌즈들(458, 456, 454, 452)의 스택을 보상하기 위하여, 보상 렌즈 층(430)은 아래의 렌즈 스택(458, 456, 454, 452)의 어그리게이트 파워를 보상하기 위하여 스택의 최상부에 배치될 수 있다. 이러한 구성은 이용 가능한 도파관/렌즈 쌍들이 존재하는 만큼 많은 지각된 초점 평면들을 제공한다. 도파관들의 광 추출 광학 엘리먼트들 및 렌즈들의 초점 양상들 둘 모두는 정적(예컨대, 동적이 아니거나 전자-활성이 아님)일 수 있다. 일부 대안적인 실시예들에서, 어느 하나 또는 둘 모두는 전자-활성 피처들을 사용하여 동적일 수 있다.
[0054] 도 4를 계속 참조하면, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 자신의 개별 도파관들로부터 광을 방향전환하는 것은 물론 도파관과 연관된 특정 깊이 평면에 대해 적절한 양의 발산 또는 시준으로 이 광을 출력하도록 구성될 수 있다. 결과로서, 상이한 연관된 깊이 평면들을 가진 도파관들은 상이한 구성들의 광 추출 광학 엘리먼트들을 가질 수 있고, 이러한 광 추출 광학 엘리먼트들은 연관된 깊이 평면에 따라 상이한 양의 발산으로 광을 출력한다. 일부 실시예들에서, 본원에 논의된 바와 같이, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 특정 각도들로 광을 출력하도록 구성될 수 있는 볼류메트릭(volumetric) 또는 표면 피처들일 수 있다. 예컨대, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 볼륨 홀로그램들, 표면 홀로그램들, 및/또는 회절 격자들일 수 있다. 광 추출 광학 엘리먼트들, 이를테면, 회절 격자들은 2015년 6월 25일에 공개된 미국 특허 공개 번호 제2015/0178939호에 설명되며, 이는 그 전체가 본원에 인용에 의해 포함된다.
[0055] 일부 실시예들에서, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 회절 패턴을 형성하는 회절 피처들 또는 "회절 광학 엘리먼트"(또한, 본원에서 "DOE"로서 지칭됨)이다. 바람직하게는, DOE는 비교적 낮은 회절 효율성을 가져서, 빔의 광의 일부만이 DOE의 각각의 교차의 경우 눈(410)을 향하여 편향되지만, 나머지는 내부 전반사를 통하여 도파관을 통해 계속 이동한다. 따라서, 이미지 정보를 전달하는 광은 다수의 위치들에서 도파관을 나가는 다수의 관련된 출사 빔들로 분할될 수 있고 그 결과는 이런 특정 시준된 빔이 도파관 내에서 이리저리 바운싱되기 때문에 눈(304)을 향하는 상당히 균일한 출사 방출 패턴이다.
[0056] 일부 실시예들에서, 하나 이상의 DOE들은, 그것들이 활발하게 회절시키는 "온" 상태와 그것들이 크게 회절시키지 않는 "오프" 상태 사이에서 스위칭 가능할 수 있다. 예컨대, 스위칭 가능 DOE는, 마이크로액적들이 호스트 매질에서 회절 패턴을 포함하는 폴리머 분산형 액정 층을 포함할 수 있고, 마이크로액적들의 굴절률은 호스트 재료의 굴절률에 실질적으로 매칭하도록 스위칭될 수 있거나(이 경우에 패턴은 입사 광을 현저하게 회절시키지 않음) 또는 마이크로액적은 호스트 매질의 인덱스에 매칭하지 않는 인덱스로 스위칭될 수 있다(이 경우 패턴은 입사 광을 활발하게 회절시킴).
[0057] 일부 실시예들에서, 깊이 평면들 또는 피사계 심도(depth of field)의 수 및 분포는 뷰어의 눈들의 동공 크기들 또는 배향들에 기반하여 동적으로 변동될 수 있다. 피사계 심도는 뷰어의 동공 크기와 반대로 변경될 수 있다. 결과적으로, 뷰어의 눈들의 동공들의 크기들이 감소함에 따라, 피사계 심도가 증가하여서, 하나의 평면의 위치가 눈의 초점의 깊이를 넘어서기 때문에 식별 불가능한 그 평면이 식별 가능하게 되고 동공 크기의 감소에 따라 보다 초점이 맞춰지는 것으로 나타나고 피사계 심도의 증가와 상응할 수 있다. 마찬가지로, 뷰어에게 상이한 이미지들을 제시하는 데 사용되는 이격된 깊이 평면들의 수는 감소된 동공 크기에 따라 감소될 수 있다. 예컨대, 뷰어는 하나의 깊이 평면으로부터 벗어나게 그리고 다른 깊이 평면으로 눈의 원근조절을 조정하지 않고서는, 하나의 동공 크기에서 제1 깊이 평면 및 제2 깊이 평면 둘 모두의 세부사항들을 명확하게 지각할 수 없을 수 있다. 그러나, 이러한 2개의 깊이 평면들은 원근조절을 변경하지 않고도 다른 동공 크기에서 사용자에게 동시에 충분히 초점이 맞춰질 수 있다.
[0058] 일부 실시예들에서, 디스플레이 시스템은 동공 크기 또는 배향의 결정들에 또는 특정 동공 크기 또는 배향을 나타내는 전기 신호들의 수신에 기반하여 이미지 정보를 수신하는 도파관들의 수를 변동시킬 수 있다. 예컨대, 사용자의 눈들이 2개의 도파관들과 연관된 2개의 깊이 평면들을 구별할 수 없는 경우, 제어기(460)는 이들 도파관들 중 하나에 이미지 정보를 제공하는 것을 중단하도록 구성되거나 프로그래밍될 수 있다. 유리하게는, 이는 시스템 상의 프로세싱 부담을 감소시킬 수 있고, 그리하여 시스템의 응답성을 증가시킨다. 도파관에 대한 DOE들이 온 및 오프 상태들 사이에서 스위칭 가능한 실시예들에서, 도파관이 이미지 정보를 수신할 때 DOE들은 오프 상태로 스위칭될 수 있다.
[0059] 일부 실시예들에서, 출사 빔이 뷰어의 눈의 직경 미만인 직경을 갖는 조건을 충족시키는 것이 바람직할 수 있다. 그러나 이 조건을 충족시키는 것은 뷰어의 동공들의 크기의 변동성을 고려하면 난제가 될 수 있다. 일부 실시예들에서, 이 조건은 뷰어의 동공의 크기의 결정에 대한 응답으로 출사 빔의 크기를 변동시킴으로써 광범위한 동공 크기들에 걸쳐 충족된다. 예컨대, 동공 크기가 감소함에 따라, 출사 빔의 크기가 또한, 감소할 수 있다. 일부 실시예들에서, 출사 빔 크기는 가변 어퍼처를 사용하여 변동될 수 있다.
[0060] 웨어러블 시스템(400)은 세계(470)의 일부를 이미지화하는 외향 이미징 시스템(464)(예컨대, 디지털 카메라)을 포함할 수 있다. 이러한 세계(470)의 일부는 세계 카메라의 FOV(field of view)로 지칭될 수 있고, 이미징 시스템(464)은 때때로 FOV 카메라로 지칭된다. 뷰어에 의한 이미징 또는 뷰잉을 위해 이용 가능한 전체 구역은 FOR(field of regard)로 지칭될 수 있다. 착용자가 자신의 신체, 머리 또는 눈들을 움직여 실질적으로 공간의 임의의 방향을 지각할 수 있기 때문에 FOR은 웨어러블 시스템(400)을 둘러싸는 4π 스테라디안(steradian)들의 입체각을 포함할 수 있다. 다른 맥락들에서, 착용자의 움직임들은 보다 억제될 수 있고, 따라서 착용자의 FOR은 보다 더 작은 입체각을 마주할 수 있다(subtend). 외향 이미징 시스템(464)으로부터 획득된 이미지들은 사용자에 의해 행해진 제스처들(예컨대, 손 또는 손가락 제스처들)을 추적하고, 사용자 앞의 세계(470)의 객체들을 검출하는 등을 행하는 데 사용될 수 있다.
[0061] 웨어러블 시스템(400)은 또한, 눈 움직임들 및 얼굴 움직임들과 같은 사용자의 움직임들을 관찰하는 내향 이미징 시스템(466)(예컨대, 디지털 카메라)을 포함할 수 있다. 내향 이미징 시스템(466)은 눈(304)의 동공의 크기 및/또는 배향을 결정하기 위해 눈(410)의 이미지들을 캡처하는 데 사용될 수 있다. 내향 이미징 시스템(466)은, (예컨대, 홍채 식별을 통해) 사용자의 바이오메트릭 식별(biometric identification)을 위한 이미지들 또는 사용자가 바라보는 방향(예컨대, 눈 포즈)을 결정하는 데 사용하기 위한 이미지들을 획득하는 데 사용될 수 있다. 일부 실시예들에서, 독립적으로, 각각의 눈의 동공 크기 또는 눈 포즈를 별개로 결정하고, 그리하여 각각의 눈에 대한 이미지 정보의 프리젠테이션이 그 눈에 동적으로 맞춰지도록 허용하기 위해, 각각의 눈마다 적어도 하나의 카메라가 활용될 수 있다. 일부 다른 실시예들에서, (예컨대, 한 쌍의 눈들 당 단지 단일 카메라만을 사용하여) 단지 한쪽 눈(410)의 동공 직경 또는 배향이 결정되고 사용자의 양 눈들에 대해 유사한 것으로 가정된다. 내향 이미징 시스템(466)에 의해 획득진 이미지들은 사용자의 눈 포즈 또는 분위기(mood)를 결정하도록 분석될 수 있으며, 이는 어떤 오디오 또는 시각적 콘텐츠가 사용자에게 제시되어야 하는지를 결정하기 위해 웨어러블 시스템(400)에 의해 사용될 수 있다. 웨어러블 시스템(400)은 또한, IMU들, 가속도계들, 자이로스코프들 등과 같은 센서들을 사용하여 머리 포즈(예컨대, 머리 포지션 또는 머리 배향)를 결정할 수 있다.
[0062] 웨어러블 시스템(400)은, 사용자가 웨어러블 시스템(400)과 상호작용하도록 제어기(460)에 커맨드들을 입력할 수 있게 하는 사용자 입력 디바이스(466)를 포함할 수 있다. 예컨대, 사용자 입력 디바이스(466)는 트랙패드, 터치스크린, 조이스틱, 다중 DOF(degree-of-freedom) 제어기, 용량성 감지 디바이스, 게임 제어기, 키보드, 마우스, 방향 패드(D-패드), 완드(wand), 햅틱 디바이스, 토템(예컨대, 가상 사용자 입력 디바이스로서 기능함) 등을 포함할 수 있다. 다중-DOF 제어기는 그 제어기의 일부 또는 모든 가능한 병진운동(translation)들(예컨대, 좌/우, 전/후 또는 위/아래) 또는 회전들(예컨대, 요(yaw), 피치 또는 롤)로 사용자 입력을 감지할 수 있다. 병진운동 움직임들을 지원하는 다중-DOF 제어기는 3DOF로서 지칭될 수 있는 반면, 병진운동들 및 회전들을 지원하는 다중-DOF 제어기는 6DOF로서 지칭될 수 있다. 일부 경우들에서, 사용자는 손가락(예컨대, 엄지 손가락)을 사용하여, 웨어러블 시스템(400)에 입력을 제공하도록(예컨대, 웨어러블 시스템(400)에 의해 제공되는 사용자 인터페이스에 사용자 입력을 제공하도록) 터치-감지 입력 디바이스를 누르거나 스와이프(swipe)할 수 있다. 사용자 입력 디바이스(466)는 웨어러블 시스템(400)의 사용 동안 사용자의 손에 의해 보유될 수 있다. 사용자 입력 디바이스(466)는 웨어러블 시스템(400)과 유선 또는 무선 통신할 수 있다.
[0063] 도 5는 도파관에 의해 출력된 출사 빔들의 예를 도시한다. 하나의 도파관이 예시되지만, 도파관 어셈블리(480) 내의 다른 도파관들이 유사하게 기능할 수 있다는 것이 인지될 것이며, 여기서 도파관 어셈블리(480)는 다수의 도파관들을 포함한다. 광(520)은 도파관(432b)의 입력 에지(432c)에서 도파관(432b)으로 주입되고 TIR에 의해 도파관(432b) 내에서 전파된다. 광(520)이 DOE(432a)에 충돌하는 지점들에서, 광의 일부는 출사 빔들(510)로서 도파관을 나간다. 출사 빔들(510)은 실질적으로 평행한 것으로 예시되지만, 이들 출사 빔들(510)은 또한, 도파관(432b)과 연관된 깊이 평면에 따라, 임의의 각도로 눈(410)으로 전파되도록 방향전환될 수 있다(예컨대, 발산하는 출사 빔들을 형성함). 실질적으로 평행한 출사 빔들은, 눈(410)으로부터 먼 거리(예컨대, 광학적 무한대)에 있는 깊이 평면 상에 세팅된 것으로 보이는 이미지들을 형성하도록 광을 아웃커플링하는 광 추출 광학 엘리먼트들을 갖는 도파관을 나타낼 수 있다는 것이 인지될 것이다. 다른 도파관들 또는 광 추출 광학 엘리먼트들의 다른 세트들은 더 발산하는 출사 빔 패턴을 출력할 수 있고, 이는 눈(410)이 망막 상에 초점을 맞추게 하기 위해 더 가까운 거리로 원근조절하는 것을 요구할 것이고 광학적 무한대보다 눈(410)에 더 가까운 거리로부터의 광으로서 뇌에 의해 해석될 것이다.
[0064] 도 6은, 다중-초점 볼류메트릭 디스플레이, 이미지 또는 광 필드의 생성에 사용되는, 도파관 장치, 도파관 장치로 또는 도파관 장치로부터의 광을 광학적으로 커플링하는 광학 커플러 서브시스템, 및 제어 서브시스템을 포함하는 광학 시스템을 도시하는 개략도이다. 광학 시스템은 도파관 장치, 도파관 장치로 또는 도파관 장치로부터의 광을 광학적으로 커플링하는 광학 커플러 서브시스템, 및 제어 서브시스템을 포함할 수 있다. 광학 시스템은 다중-초점 볼류메트릭, 이미지 또는 광 필드를 생성하는 데 사용할 수 있다. 광학 시스템은 하나 이상의 주 평면 도파관들(632a)(도 6에서 단지 하나만 도시됨) 및 주 도파관들(632a) 중 적어도 일부의 주 도파관들 각각과 연관된 하나 이상의 DOE들(632b)을 포함할 수 있다. 평면 도파관들(632b)은 도 4를 참조하여 논의된 도파관들(432b, 434b, 436b, 438b, 440b)과 유사할 수 있다. 광학 시스템은 제1 축(도 6의 뷰에서 수직 또는 Y-축)을 따라 광을 중계하고 제1 축(예컨대, Y-축)을 따라 광의 유효 출사동(exit pupil)을 확장시키기 위해 분배 도파관 장치를 사용할 수 있다. 분배 도파관 장치는, 예컨대, 분배 평면 도파관(622b) 및 분배 평면 도파관(622b)과 연관된 적어도 하나의 DOE(622a)(이중 일점 쇄선으로 예시됨)를 포함할 수 있다. 분배 평면 도파관(622b)은 그와 상이한 배향을 갖는 주 평면 도파관(632b)과 적어도 일부 면들에서 유사하거나 동일할 수 있다. 마찬가지로, 적어도 하나의 DOE(622a)는 DOE(632a)와 적어도 일부 면들에서 유사하거나 동일할 수 있다. 예컨대, 분배 평면 도파관(622b) 또는 DOE(622a)는 각각, 주 평면 도파관(632b) 또는 DOE(632a)와 동일한 재료들로 구성될 수 있다. 도 6에 도시된 광학 디스플레이 시스템(600)의 실시예들은 도 2에 도시된 웨어러블 시스템(200)에 통합될 수 있다.
[0065] 중계된 그리고 출사동 확장된 광은 분배 도파관 장치로부터 하나 이상의 주 평면 도파관들(632b)로 광학적으로 커플링될 수 있다. 주 평면 도파관(632b)은, 바람직하게는 제1 축과 직교하는 제2 축(예컨대, 도 6의 뷰에서 수평 또는 X-축)을 따라 광을 중계할 수 있다. 특히, 제2 축은 제1 축에 대해 비-직교 축일 수 있다. 주 평면 도파관(632b)은 제2 축(예컨대, X-축)을 따라 광의 유효 출사동을 확장시킨다. 예컨대, 분배 평면 도파관(622b)은 수직 또는 Y- 축을 따라 광을 중계 및 확장시키고, 수평 또는 X-축을 따라 광을 중계 및 확장시킬 수 있는 주 평면 도파관(632b)으로 그 광을 전달할 수 있다.
[0066] 광학 시스템은 단일 모드 광섬유(640)의 근위 단부에 광학적으로 커플링될 수 있는 컬러 광(예컨대, 적색, 녹색 및 청색 레이저 광)의 하나 이상의 소스들(610)을 포함할 수 있다. 광 섬유(640)의 원위 단부는 압전 재료의 중공 튜브(642)를 통해 수용되거나 스레딩(thread)될 수 있다. 원위 단부는 고정되지 않은 가요성 캔틸레버(644)로서 튜브(642)로부터 돌출한다. 압전 튜브(642)는 4개의 쿼드런트(quadrant) 전극들(예시되지 않음)과 연관될 수 있다. 전극들은 예컨대, 튜브(642)의 외부, 외부 표면 또는 외부 주변부 또는 직경 상에 도금될 수 있다. 코어 전극(예시되지 않음)은 또한, 튜브(642)의 코어, 중앙, 내부 주변부 또는 내부 직경에 로케이팅될 수 있다.
[0067] 예컨대, 와이어들(660)을 통해 전기적으로 커플링된 구동 전자 장치(650)는 2개의 축들에서 압전 튜브(642)를 독립적으로 구부리기 위해 대향하는 전극 쌍들을 구동한다. 광섬유(644)의 돌출 원위 팁은 기계적 공진 모드들을 갖는다. 공진 주파수들은 광섬유(644)의 직경, 길이 및 재료 성질들에 의존할 수 있다. 섬유 캔틸레버(644)의 제1 기계적 공진 모드 근처에서 압전 튜브(642)를 진동시킴으로써, 섬유 캔틸레버(644)는 진동하게 될 수 있고, 큰 편향들을 통해 스윕(sweep)할 수 있다.
[0068] 2개의 축들에서 공진 진동을 자극함으로써, 섬유 캔틸레버(644)의 팁은 영역 필링 2-차원(2D) 스캔으로 2축 방향으로(biaxially) 스캔된다. 섬유 캔틸레버(644)의 스캔과 동기하여 광 소스(들)(610)의 세기를 변조함으로써, 섬유 캔틸레버(644)로부터 나오는 광은 이미지를 형성할 수 있다. 그러한 셋업에 대한 설명들은 그 전체가 인용에 의해 본원에 포함되는 미국 특허 공보 제2014/0003762호에서 제공된다.
[0069] 광학 커플러 서브시스템의 컴포넌트는 스캐닝 섬유 캔틸레버(644)로부터 나오는 광을 시준할 수 있다. 시준된 광은 미러 표면(mirrored surface)(648)에 의해 적어도 하나의 DOE(diffractive optical element)(622a)를 포함하는 좁은 분배 평면 도파관(622b)으로 반사될 수 있다. 시준된 광은 TIR에 의해 분배 평면 도파관(622b)을 따라 (도 6의 뷰에 대해) 수직으로 전파될 수 있고, 이렇게 하여, DOE(622a)와 반복적으로 교차한다. DOE(622a)는 바람직하게는, 낮은 회절 효율을 갖는다. 이는, 광의 프랙션(fraction)(예컨대, 10%)이 DOE(622a)와의 각각의 교차 지점에서 더 큰 주 평면 도파관(632b)의 에지를 향해 회절되게 하고, 광의 프랙션이 TIR을 통해 분배 평면 도파관(622b)의 길이 아래에서 그의 원래의 궤적을 지속하게 할 수 있다.
[0070] DOE(622a)와의 각각의 교차 지점에서, 부가적인 광이 주 도파관(632b)의 입구를 향해 회절될 수 있다. 인입 광을 다수의 아웃커플링된 세트들로 분할함으로써, 광의 출사동은 분배 평면 도파관(622b)에서 DOE(622a)에 의해 수직으로 확장될 수 있다. 분배 평면 도파관(622b) 밖으로 커플링되는 이러한 수직으로 확장된 광은 주 평면 도파관(632b)의 에지에 진입할 수 있다.
[0071] 주 도파관(632b)에 진입하는 광은 TIR을 통해 주 도파관(632b)을 따라 (도 6의 뷰에 대해) 수평으로 전파될 수 있다. 광이 TIR을 통해 주 도파관(632b)의 길이의 적어도 일부를 따라 수평으로 전파됨에 따라 광은 다수의 지점들에서 DOE(632a)와 교차한다. DOE(632a)는 유리하게는, 광의 편향 및 초점 둘 모두를 생성하도록, 선형 회절 패턴 및 방사상 대칭 회절 패턴의 합인 위상 프로파일(phase profile)을 갖도록 설계 또는 구성될 수 있다. DOE(632a)는 유리하게는, 낮은 회절 효율(예컨대, 10%)을 가질 수 있어서, 빔의 광 중 일부만이 DOE(632a)의 각각의 교차에 의해 뷰어의 눈을 향해 편향되는 반면에, 광의 나머지는 TIR을 통해 주 도파관(632b)을 통해 계속 전파된다.
[0072] 전파되는 광과 DOE(632a) 사이의 각각의 교차 지점에서, 광의 프랙션이 주 도파관(632b)의 인접한 면을 향해 회절되어, 광이 TIR을 벗어나 주 도파관(632b)의 면으로부터 나오게 한다. 일부 실시예들에서, DOE(632a)의 방사상 대칭 회절 패턴은 부가적으로 회절된 광에 초점 레벨을 부여하여, 개별 빔의 광 파면을 성형(예컨대, 곡률을 부여함)하는 것은 물론, 설계된 초점 레벨과 매칭하는 각도로 빔을 조종한다.
[0073] 따라서, 이들 상이한 경로들은 상이한 각도들, 초점 레벨에서 다수의 DOE들(632a)에 의해 그리고/또는 출사동에서 상이한 필 패턴(fill pattern)들의 산출에 의해 광이 주 평면 도파관(632b) 밖으로 커플링되게 할 수 있다. 출사동에서의 상이한 필 패턴들은 다수의 깊이 평면들을 갖는 광 필드 디스플레이를 생성하는데 유리하게 사용될 수 있다. 도파관 어셈블리의 각각의 층 또는 스택의 층들의 세트(예컨대, 3개의 층들)는 각자의 컬러(예컨대, 적색, 청색, 녹색)를 생성하는 데 사용될 수 있다. 따라서, 예컨대, 3개의 인접한 층들의 제1 세트는 제1 초점 깊이의 적색, 청색 및 녹색 광을 각각 생성하도록 사용될 수 있다. 3개의 인접한 층들의 제2 세트는 제2 초점 깊이의 적색, 청색 및 녹색 광을 각각 생성하도록 사용될 수 있다. 다수의 세트들이 다양한 초점 깊이들을 갖는 풀(full) 3D 또는 4D 컬러 이미지 광 필드를 생성하도록 사용될 수 있다.
웨어러블 시스템의 다른 컴포넌트들
[0074] 다수의 구현들에서, 웨어러블 시스템은 위에서 설명된 웨어러블 시스템의 컴포넌트들에 부가적으로 또는 대안적으로 다른 컴포넌트들을 포함할 수 있다. 웨어러블 시스템은 예컨대, 하나 이상의 햅틱 디바이스들 또는 컴포넌트들을 포함할 수 있다. 햅틱 디바이스들 또는 컴포넌트들은 사용자에게 촉감을 제공하도록 동작 가능할 수 있다. 예컨대, 햅틱 디바이스들 또는 컴포넌트들은 가상 콘텐츠(예컨대, 가상 객체들, 가상 툴들, 다른 가상 구조들)를 터치할 때 압력 또는 텍스처의 촉감을 제공할 수 있다. 촉감은 가상 객체가 표현하는 물리적 객체의 느낌(feel)을 복제할 수 있거나, 또는 가상 객체가 표현하는 이미지화된 객체 또는 캐릭터(예컨대, 용)의 느낌을 복제할 수 있다. 일부 구현들에서, 햅틱 디바이스들 또는 컴포넌트들은 사용자에 의해 착용될 수 있다(예컨대, 사용자 착용 가능 글러브). 일부 구현들에서, 햅틱 디바이스들 또는 컴포넌트들은 사용자에 의해 보유될 수 있다.
[0075] 웨어러블 시스템은 예컨대, 웨어러블 시스템과의 상호작용 또는 입력을 허용하기 위해 사용자에 의해 조작 가능한 하나 이상의 물리적 객체들을 포함할 수 있다. 이러한 물리적 객체들은 본원에서 토템(totem)들로서 지칭될 수 있다. 일부 토템들은 예컨대, 금속 또는 플라스틱 조각, 벽, 테이블의 표면과 같은 무생물들(inanimate objects)의 형태를 취할 수 있다. 특정 구현들에서, 토템들은 실제로, 어떠한 물리적 입력 구조들(예컨대, 키들, 트리거들, 조이스틱, 트랙볼, 로커 스위치(rocker switch))도 갖지 않을 수 있다. 대신, 토템은 단순히 물리적 표면을 제공할 수 있고 웨어러블 시스템은 사용자 인터페이스가 토템의 하나 이상의 표면들 상에 있는 것으로 사용자에게 나타나게 할 수 있다. 예컨대, 웨어러블 시스템은 컴퓨터 키보드 및 트랙패드의 이미지가 토템의 하나 이상의 표면들에 상주하는 것으로 나타나게 할 수 있다. 예컨대, 웨어러블 시스템은 가상 컴퓨터 키보드 및 가상 트랙패드가 토템으로서 역할을 하는 얇은 직사각형 알루미늄 플레이트의 표면 상에 나타나게 할 수 있다. 직사각형 플레이트 그 자체는 어떠한 물리적인 키들 또는 트랙패드 또는 센서들도 갖지 않는다. 그러나, 웨어러블 시스템은 가상 키보드 또는 가상 트랙패드를 통해 이루어진 선택들 또는 입력들로서 직사각형 플레이트와의 사용자 조작 또는 상호작용 또는 터치들을 검출할 수 있다. 사용자 입력 디바이스(466)(도 4에 도시됨)는, 트랙패드, 터치 패드, 트리거, 조이스틱, 트랙볼, 로커 또는 가상 스위치, 마우스, 키보드, 다중-자유도 제어기 또는 다른 물리적 입력 디바이스를 포함할 수 있는 토템의 실시예일 수 있다. 사용자는 토템을 단독으로 또는 포즈들과 함께 사용하여 웨어러블 시스템 또는 다른 사용자들과 상호작용할 수 있다.
[0076] 본 개시내용의 웨어러블 디바이스들, HMD 및 디스플레이 시스템들과 함께 사용 가능한 햅틱 디바이스들 및 토템들의 예들은, 그 전체가 본원에 인용에 의해 포함되는 미국 특허 공보 제2015/0016777호에서 설명된다.
예시적인 웨어러블 시스템들, 환경들 및 인터페이스들
[0077] 웨어러블 시스템은 렌더링된 광 필드들에서 높은 피사계 심도를 달성하기 위해 다양한 맵핑(mapping) 관련 기술들을 사용할 수 있다. 가상 세계의 맵핑 시에, 실세계와 관련하여 가상 객체들을 정확하게 묘사하기 위해 현실 세계의 모든 피처들 및 지점들을 아는 것이 유리하다. 이를 위해, 웨어러블 시스템의 사용자들로부터 캡처된 FOV 이미지들이 실세계의 다양한 지점들 및 피처들에 관한 정보를 전달하는 새로운 사진들을 포함함으로써 세계 모델에 부가될 수 있다. 예컨대, 웨어러블 시스템은 맵 지점들의 세트(이를테면, 2D 지점들 또는 3D 지점들)를 수집하고 새로운 맵 지점들을 발견하여 세계 모델의 보다 정확한 버전을 렌더링할 수 있다. 제1 사용자의 세계 모델이 (예컨대, 클라우드 네트워크와 같은 네트워크를 통해) 제2 사용자에게 통신될 수 있어서, 제2 사용자는 제1 사용자 주위의 세계를 경험할 수 있다.
[0078] 도 7은 MR 환경(700)의 예의 블록도이다. MR 환경(700)은 하나 이상의 사용자 웨어러블 시스템들(예컨대, 웨어러블 시스템(200) 또는 디스플레이 시스템(220)) 또는 정적 룸 시스템들(예컨대, 룸 카메라들 등)로부터 입력(예컨대, 사용자의 웨어러블 시스템으로부터의 시각적 입력(702), 이를테면, 룸 카메라들로부터의 정적 입력(704), 다양한 센서들로부터의 감각 입력(706), 제스처들, 토템들, 눈 추적, 사용자 입력 디바이스(466)로부터의 사용자 입력 등)을 수신하도록 구성될 수 있다. 웨어러블 시스템들은 사용자의 환경의 위치 및 다양한 다른 속성들을 결정하기 위해 다양한 센서들(예컨대, 가속도계들, 자이로스코프들, 온도 센서들, 움직임 센서들, 깊이 센서들, GPS 센서들, 내향 이미징 시스템, 외향 이미징 시스템 등)을 사용할 수 있다. 이 정보는 추가로, 이미지들을 제공할 수 있는 룸의 정적 카메라들로부터의 정보 또는 상이한 관점으로부터의 다양한 단서들로 보완될 수 있다. 카메라들(이를테면, 룸 카메라들 및/또는 외향 이미징 시스템의 카메라들)에 의해 획득된 이미지 데이터는 맵핑 지점들의 세트로 감소될 수 있다.
[0079] 하나 이상의 객체 인식기들(708)은 맵 데이터베이스(710)의 도움으로 수신된 데이터(예컨대, 지점들의 모음)를 크롤링(crawl)하고, 지점들을 인식 또는 맵핑하고, 이미지들을 태깅하고, 의미 정보를 객체들에 첨부할 수 있다. 맵 데이터베이스(710)는 시간에 걸쳐 수집된 다양한 지점들 및 그들의 대응하는 객체들을 포함할 수 있다. 다양한 디바이스들 및 맵 데이터베이스는 클라우드에 액세스하기 위해 네트워크(예컨대, LAN, WAN 등)를 통해 서로 연결될 수 있다.
[0080] 맵 데이터베이스의 이러한 정보 및 지점들의 모음에 기반하여, 객체 인식기들(708a 내지 708n)은 환경의 객체들을 인식할 수 있다. 예컨대, 객체 인식기들은 얼굴들, 사람들, 창문들, 벽들, 사용자 입력 디바이스들, 텔레비전들, 사용자의 환경의 다른 객체들 등을 인식할 수 있다. 하나 이상의 객체 인식기들이 소정의 특성들을 갖는 객체에 대해 특수화될 수 있다. 예컨대, 객체 인식기(708a)는 얼굴들을 인식하는 데 사용될 수 있는 반면에, 다른 객체 인식기는 토템들을 인식하는 데 사용될 수 있다.
[0081] 객체 인식들은 다양한 컴퓨터 비전 기술들을 사용하여 수행될 수 있다. 예컨대, 웨어러블 시스템은 장면 재구성, 이벤트 검출, 비디오 추적, 객체 인식, 객체 포즈 추정, 학습(learning), 인덱싱, 모션 추정 또는 이미지 복원 등을 수행하도록 외향 이미징 시스템(464)(도 4에 도시됨)에 의해 획득된 이미지들을 분석할 수 있다. 이러한 작업들을 수행하기 위해 하나 이상의 컴퓨터 비전 알고리즘들이 사용될 수 있다. 컴퓨터 비전 알고리즘들의 비-제한적인 예들은, SIFT(Scale-invariant feature transform), SURF(speeded up robust features), ORB(oriented FAST and rotated BRIEF), BRISK(binary robust invariant scalable keypoints), FREAK(fast retina keypoint), Viola-Jones 알고리즘, Eigenfaces 접근법, Lucas-Kanade 알고리즘, Horn-Schunk 알고리즘, Mean-shift 알고리즘, vSLAM(visual simultaneous location and mapping) 기술들, 순차적 베이지안 추정기(예컨대, 칼만 필터, 확장된 칼만 필터 등), 번들 조정, 적응형 임계화(Adaptive thresholding)(및 다른 임계화 기술들), ICP(Iterative Closest Point), SGM(Semi Global Matching), SGBM(Semi Global Block Matching), 피처 포인트 히스토그램(Feature Point Histogram)들, (예컨대, 지원 벡터 머신, k-최근접 이웃 알고리즘, 나이브 베이즈(Naive Bayes), 신경 네트워크(콘볼루셔널 또는 딥 신경 네트워크들을 포함함) 또는 다른 감독/비-감독 모델들 등과 같은) 다양한 머신 학습 알고리즘들 등을 포함한다.
[0082] 객체 인식들은 부가적으로 또는 대안적으로, 다양한 머신 학습 알고리즘들에 의해 수행될 수 있다. 일단 트레이닝되면, 머신 학습 알고리즘은 HMD에 의해 저장될 수 있다. 머신 학습 알고리즘들의 일부 예들은, (예컨대, 정규 최소 제곱화 회귀 분석(Ordinary Least Squares Regression)과 같은) 회귀 알고리즘들, (예컨대, 학습 벡터 양자화(Learning Vector Quantization)와 같은) 인스턴스-기반 알고리즘들, (예컨대, 분류 및 회귀 트리들과 같은) 결정 트리 알고리즘들, (예컨대, 나이브 베이즈(Naive Bayes)와 같은) 베이지안 알고리즘들, (예컨대, k-평균 클러스터링과 같은) 클러스터링 알고리즘들, (예컨대, 선험적 알고리즘들과 같은) 연관 규칙 학습 알고리즘들, (예컨대, 퍼셉트론(Perceptron)과 같은) 인공 신경 네트워크 알고리즘들, (예컨대, 딥 볼츠만 머신, 또는 딥 신경 네트워크와 같은) 딥 학습 알고리즘들, (예컨대, 주 성분 분석(Principal Component Analysis)과 같은) 차원성 감소 알고리즘, (예컨대, 누적된 일반화(Stacked Generalization)와 같은) 앙상블 알고리즘들 및/또는 다른 머신 학습 알고리즘들을 포함하는 감독 또는 비-감독 머신 학습 알고리즘들을 포함할 수 있다. 일부 실시예들에서, 개별 모델들은 개별 데이터 세트들에 대해 맞춤화될 수 있다. 예컨대, 웨어러블 디바이스는 기본 모델을 생성하거나 저장할 수 있다. 기본 모델은 데이터 유형(예컨대, 텔레프레전스(telepresence) 세션의 특정 사용자), 데이터 세트(예컨대, 텔레프레전스 세션의 사용자의 획득된 부가적인 이미지들의 세트), 조건부 상황들 또는 다른 변형예들에 특정한 부가적인 모델들을 생성하기 위한 시작 지점으로서 사용될 수 있다. 일부 실시예들에서, 웨어러블 HMD는 어그리게이팅된 데이터의 분석을 위한 모델들을 생성하기 위해 복수의 기술들을 활용하도록 구성될 수 있다. 다른 기술들은 미리 정의된 임계치들 또는 데이터 값들을 사용하는 것을 포함할 수 있다.
[0083] 맵 데이터베이스의 이러한 정보 및 지점들의 모음에 기반하여, 객체 인식기들(708a 내지 708n)은 객체들을 인식하고 객체들에 생명을 부여하기 위해 의미 정보를 객체들에 보충할 수 있다. 예컨대, 객체 인식기가 지점들의 세트를 문이라고 인식하는 경우, 시스템은 일부 의미 정보를 첨부할 수 있다(예컨대, 문은 힌지(hinge)를 가지며 힌지를 중심으로 90도 움직임을 가짐). 객체 인식기가 지점들의 세트를 거울이라고 인식하는 경우, 시스템은, 거울은 룸 내의 객체들의 이미지들을 반사할 수 있는 반사 표면을 갖는다는 의미 정보를 첨부할 수 있다. 시간이 지남에 따라, 시스템(국부적으로 상주할 수 있거나, 또는 무선 네트워크를 통해 액세스 가능할 수 있음)이 세계로부터 더 많은 데이터를 누적함에 따라 맵 데이터베이스가 성장한다. 일단 객체들이 인식되면, 정보는 하나 이상의 웨어러블 시스템들에 전송될 수 있다. 예컨대, MR 환경(700)은 캘리포니아에서 일어나는 장면에 관한 정보를 포함할 수 있다. 환경(700)은 뉴욕의 한 명 이상의 사용자들에 전송될 수 있다. FOV 카메라로부터 수신된 데이터 및 다른 입력들에 기반하여, 객체 인식기들 및 다른 소프트웨어 컴포넌트들은 다양한 이미지들로부터 수집된 지점들을 맵핑하고, 객체들을 인식하는 등을 수행할 수 있어서, 장면이 세계의 상이한 부분에 있을 수 있는 제2 사용자에게 정확히 "전달될" 수 있다. 환경(700)은 또한, 로컬화(localization) 목적들을 위해 토폴로지 맵(topological map)을 사용할 수 있다.
[0084] 도 8은 인지된 객체들과 관련하여 가상 콘텐츠를 렌더링하는 방법(800)의 예의 프로세스 흐름도이다. 방법(800)은 가상 장면이 웨어러블 시스템의 사용자에게 어떻게 표현될 수 있는지를 설명한다. 사용자는 장면으로부터 지리적으로 멀리 있을 수 있다. 예컨대, 사용자는 뉴욕에 있을 수 있지만, 현재 캘리포니아에서 진행되고 있는 장면을 보기를 원할 수 있거나, 또는 캘리포니아에 거주하는 친구와 함께 산책을 하러 가기를 원할 수 있다.
[0085] 블록(810)에서, 웨어러블 시스템은 사용자 및 다른 사용자들로부터, 사용자의 환경에 관한 입력을 수신할 수 있다. 이는 다양한 입력 디바이스들 및 맵 데이터베이스에 이미 보유된 지식을 통해 달성될 수 있다. 사용자의 FOV 카메라, 센서들, GPS, 눈 추적 등은 블록(810)에서 시스템에 정보를 전달한다. 시스템은 블록(820)에서 이 정보에 기반하여 희소 지점(sparse point)들을 결정할 수 있다. 희소 지점들은 사용자의 주변들의 다양한 객체들의 배향 및 포지션을 디스플레이 및 이해하는 데 사용될 수 있는 포즈 데이터(예컨대, 머리 포즈, 눈 포즈, 신체 포즈 또는 손 제스처들)를 결정하는 데 사용될 수 있다. 객체 인식기들(708a-708n)은 블록(830)에서 이러한 수집된 지점들을 크롤링하고 맵 데이터베이스를 사용하여 하나 이상의 객체들을 인식할 수 있다. 이어서, 이 정보는 블록(840)에서, 사용자의 개별 웨어러블 시스템에 전달될 수 있고, 따라서, 원하는 가상 장면이 블록(850)에서, 사용자에게 디스플레이될 수 있다. 예컨대, 원하는 가상 장면(예컨대, CA의 사용자)은 뉴욕의 사용자의 다양한 객체들 및 다른 주변들과 관련하여 적절한 배향, 포지션 등에서 디스플레이될 수 있다.
[0086] 도 9는 웨어러블 시스템의 다른 예의 블록도이다. 이 예에서, 웨어러블 시스템(900)은 세계에 대한 맵 데이터를 포함할 수 있는 맵을 포함한다. 맵은 부분적으로 웨어러블 시스템 상에 국부적으로 상주할 수 있고, (예컨대, 클라우드 시스템에서) 유선 또는 무선 네트워크에 의해 액세스 가능한 네트워킹된 저장 위치들에 부분적으로 상주할 수 있다. 포즈 프로세스(910)는 웨어러블 컴퓨팅 아키텍처(예컨대, 프로세싱 모듈(260) 또는 제어기(460)) 상에서 실행되고 웨어러블 컴퓨팅 하드웨어 또는 사용자의 포지션 및 배향을 결정하기 위해 맵으로부터의 데이터를 활용할 수 있다. 포즈 데이터는 사용자가 시스템을 경험하고 세계에서 동작할 때 즉석에서 수집된 데이터로부터 컴퓨팅될 수 있다. 데이터는 이미지들, 센서들(이를테면, 일반적으로 가속도계 및 자이로스코프 컴포넌트들을 포함하는 관성 측정 유닛들)로부터의 데이터 및 실제 또는 가상 환경의 객체들과 관련된 표면 정보를 포함할 수 있다.
[0087] 희소 지점 표현은 동시성 로컬화 및 맵핑(입력이 이미지들/시각 전용인 구성을 지칭하는 SLAM 또는 V-SLAM) 프로세스의 출력일 수 있다. 시스템은 다양한 컴포넌트들이 세계 어디에 있는지 뿐만 아니라, 세상이 무엇으로 이루어져 있는지를 파악하도록 구성될 수 있다. 포즈는 맵을 채우고 맵으로부터의 데이터를 사용하는 것을 포함해서, 다수의 목표들을 달성하는 빌딩 블록일 수 있다.
[0088] 일 실시예에서, 희소 지점 포지션은 그 자체로 완전히 충분하지 않을 수 있고, 다중 초점 AR, VR 또는 MR 경험을 생성하기 위해 추가의 정보가 필요할 수 있다. 일반적으로 깊이 맵 정보를 지칭하는 밀집된 표현들이 이 갭을 적어도 부분적으로 채우기 위해 활용될 수 있다. 이러한 정보는 스테레오(940)로서 지칭되는 프로세스로부터 컴퓨팅될 수 있으며, 여기서 깊이 정보가 삼각측량 또는 비행-시간 감지와 같은 기술을 사용하여 결정된다. 이미지 정보 및 활성 패턴들(이를테면, 활성 프로젝터들을 사용하여 생성된 적외선 패턴들)은 스테레오 프로세스(940)에 대한 입력으로서 역할을 할 수 있다. 상당한 양의 깊이 맵 정보가 함께 융합될 수 있으며, 그 중 일부는 표면 표현(surface representation)으로 요약될 수 있다. 예컨대, 수학적으로 정의 가능한 표면들은 (예컨대, 대형 지점 클라우드에 비해) 효율적일 수 있고, 게임 엔진들과 같은 다른 프로세싱 디바이스들에 이해 가능한 입력들일 수 있다. 따라서, 스테레오 프로세스(940)의 출력(예컨대, 깊이 맵)은 융합 프로세스(930)에서 결합될 수 있다. 포즈는 이 융합 프로세스(930)에 대한 입력일 수 있고, 융합(930)의 출력은 맵 프로세스(920)를 채우기 위한 입력이 된다. 서브-표면들이 이를테면, 토포그래픽 맵핑에서 서로 연결되어 더 큰 표면들을 형성할 수 있고 맵은 지점들 및 표면들의 대형 혼합물이 된다.
[0089] 혼합 현실 프로세스(960)에서의 다양한 양상들을 해결하기 위해, 다양한 입력들이 활용될 수 있다. 예컨대, 도 9에 도시된 실시예에서, 게임 파라미터들은, 시스템의 사용자가 다양한 위치들의 하나 이상의 몬스터들, 다양한 조건들(이를테면, 사용자가 몬스터를 쏘는 경우) 하에서 죽거나 도망가는 몬스터들, 다양한 위치들의 벽들 또는 다른 객체들 등을 갖는 몬스터 전투 게임을 플레이하고 있다고 결정하기 위한 입력일 수 있다. 세계 맵은, 혼합 현실에 대한 다른 귀중한 입력이 되는, 이러한 객체들이 서로 상대적으로 있는 장소에 관한 정보를 포함할 수 있다. 세계에 대한 포즈가 또한 입력이 되며 거의 모든 상호작용 시스템에 대해 중요한 역할을 한다.
[0090] 사용자로부터의 제어들 또는 입력들은 웨어러블 시스템(900)에 대한 다른 입력이다. 본원에서 설명된 바와 같이, 사용자 입력들은 시각적 입력, 제스처들, 토템들, 오디오 입력, 감각 입력 등을 포함할 수 있다. 예컨대, 주위를 돌아다니거나 게임을 플레이하기 위해, 사용자는 웨어러블 시스템(900)에, 자신이 하기를 원하는 것에 관해 명령할 필요가 있을 수 있다. 단지 공간에서 자신을 움직이는 것 외에도, 활용될 수 있는 다양한 형태들의 사용자 제어들이 존재한다. 일 실시예에서, 토템(예컨대, 사용자 입력 디바이스) 또는 객체, 이를테면, 장난감 총은 사용자에 의해 보유되고 시스템에 의해 추적될 수 있다. 시스템은 바람직하게는, 사용자가 아이템을 보유하고 있다는 것을 인지하고 사용자가 아이템과 어떤 종류의 상호작용을 하고 있는지를 이해하도록 구성될 것이다(예컨대, 토템 또는 객체가 총인 경우, 시스템은 위치 및 배향은 물론, IMU와 같은 센서가 장착될 수 있는 트리거 또는 다른 감지 버튼 또는 엘리먼트를 사용자가 클릭하고 있는지 여부를 이해하도록 구성될 수 있으며, 이러한 센서는 그러한 활동이, 카메라들 중 임의의 것의 시야 내에 있지 않을 때조차도 무슨 일이 일어나고 있는지를 결정하는데 도움을 줄 수 있음).
[0091] 손 제스처 추적 또는 인식은 또한 입력 정보를 제공할 수 있다. 웨어러블 시스템(900)은 버튼 누름들에 대한 손 제스처들, 왼쪽 또는 오른쪽, 정지, 잡기, 홀드 등을 제스처링하는 손 제스처들을 추적 및 해석하도록 구성될 수 있다. 예컨대, 일 구성에서, 사용자는 비-게임 환경에서 이메일들 또는 캘린더를 넘기거나(flip through) 다른 사람이나 플레이어와 "주먹 인사(fist bump)"를 하기를 원할 수 있다. 웨어러블 시스템(900)은 동적일 수 있거나 동적이지 않을 수 있는 최소량의 손 제스처를 레버리지(leverage)하도록 구성될 수 있다. 예컨대, 제스처들은 중지를 나타내는 펼쳐진 손, ok를 나타내는 엄지 올리기, ok가 아니라는 것을 나타내는 엄지 내리기; 또는 방향성 커맨드들을 나타내는 우측 또는 좌측 또는 위/아래로의 손 뒤집기와 같은 단순한 정적 제스처일 수도 있다.
[0092] 눈 추적(예컨대, 특정 깊이 또는 범위에서 렌더링하도록 디스플레이 기술을 제어하기 위해 사용자가 바라보는 곳을 추적함)은 다른 입력이다. 일 실시예에서, 눈들의 이접운동은 삼각측량을 사용하여 결정될 수 있고, 이어서, 그 특정 사람에 대해 발현되는 이접운동/원근조절 모델을 사용하여, 원근조절이 결정될 수 있다.
[0093] 카메라 시스템들과 관련하여, 도 9에 도시된 예시적인 웨어러블 시스템(900)은 3쌍의 카메라들, 즉 사용자의 얼굴의 측면들에 대해 배열되는 비교적 넓은 FOV 또는 수동 SLAM 쌍의 카메라들, 스테레오 이미징 프로세스(940)를 처리하기 위해 그리고 또한, 손 제스처들을 캡처하고 사용자의 얼굴 앞의 토템/객체 추적을 위해 사용자 앞에 배향된 상이한 쌍의 카메라들을 포함할 수 있다. 스테레오 프로세스(940)를 위한 FOV 카메라들 및 카메라들의 쌍은 외향 이미징 시스템(464)(도 4에 도시됨)의 부분일 수 있다. 웨어러블 시스템(900)은 눈 벡터들 및 다른 정보를 삼각 측량하기 위해 사용자의 눈들을 향해 배향되는 눈 추적 카메라들(도 4에 도시된 내향 이미징 시스템(462)의 부분일 수 있음)을 포함할 수 있다. 웨어러블 시스템(900)은 또한, 장면에 텍스처를 주입하기 위해 하나 이상의 텍스처링된 광 프로젝터들(이를테면, 적외선(IR) 프로젝터들)을 포함할 수 있다.
[0094] 도 10은 웨어러블 시스템에 대한 사용자 입력을 결정하는 방법(1000)의 예의 프로세스 흐름도이다. 이 예에서, 사용자는 토템과 상호작용할 수 있다. 사용자는 다수의 토템들을 가질 수 있다. 예컨대, 사용자는 소셜 미디어 애플리케이션에 대해 하나의 토템, 게임들을 플레이하기 위해 다른 토템 등을 지정할 수 있다. 블록(1010)에서, 웨어러블 시스템은 토템의 모션을 검출할 수 있다. 토템의 움직임은 외향 시스템을 통해 인식되거나 센서들(예컨대, 햅틱 글러브, 이미지 센서들, 손 추적 디바이스들, 눈-추적 카메라들, 머리 포즈 센서들 등)을 통해 검출될 수 있다.
[0095] 검출된 제스처, 눈 포즈, 머리 포즈 또는 토템을 통한 입력에 적어도 부분적으로 기반하여, 웨어러블 시스템은 블록(1020)에서, 기준 프레임에 대한 토템(또는 사용자의 눈들 또는 머리 또는 제스처들)의 포지션, 배향 및/또는 움직임을 검출한다. 기준 프레임은 맵 지점들의 세트일 수 있으며, 이에 기반하여, 웨어러블 시스템은 토템(또는 사용자)의 움직임을 액션 또는 커맨드로 변환한다. 블록(1030)에서, 토템과의 사용자의 상호작용이 맵핑된다. 기준 프레임(1020)에 대한 사용자 상호작용의 맵핑에 기반하여, 시스템은 블록(1040)에서 사용자 입력을 결정한다.
[0096] 예컨대, 사용자는 가상 페이지를 넘기고(turning) 다음 페이지로 이동하거나 하나의 UI(User Interface) 디스플레이 스크린으로부터 다른 UI 스크린으로 이동하는 것을 나타내도록 토템 또는 물리적 객체를 앞뒤로(back and forth) 이동시킬 수 있다. 다른 예로서, 사용자는 사용자의 FOR에서 상이한 실제 또는 가상 객체들을 보기 위해 자신의 머리 또는 눈을 이동시킬 수 있다. 특정 실제 또는 가상 객체에 대한 사용자의 시선이 임계 시간보다 긴 경우, 실제 또는 가상 객체가 사용자 입력으로서 선택될 수 있다. 일부 구현들에서, 사용자의 눈들의 이접운동이 추적될 수 있고, 사용자가 초점을 맞추는 깊이 평면에 관한 정보를 제공하는, 사용자의 눈들의 원근조절 상태를 결정하기 위해 원근조절/이접운동 모델이 사용될 수 있다. 일부 구현들에서, 웨어러블 시스템은 광선 캐스팅(ray casting) 기술들을 사용하여 어떤 실제 또는 가상 객체들이 사용자의 머리 포즈 또는 눈의 포즈의 방향을 따르는지를 결정할 수 있다. 다양한 구현들에서, 광선 캐스팅 기술들은 실질적으로 작은 횡단 폭을 갖는 얇은 펜슬 광선들(pencil rays)을 캐스팅하거나 상당한 횡단 폭을 갖는 광선들(예컨대, 원뿔들 또는 절두체들)을 캐스팅하는 것을 포함할 수 있다.
[0097] 사용자 인터페이스는 본원에서 설명된 바와 같이 디스플레이 시스템(이를테면, 도 2의 디스플레이(220))에 의해 투사될 수 있다. 사용자 인터페이스는 또한, 하나 이상의 프로젝터들과 같은 다양한 다른 기술들을 사용하여 디스플레이될 수 있다. 프로젝터들은 이미지들을 캔버스 또는 구체와 같은 물리적 객체 상에 투사할 수 있다. 사용자 인터페이스와의 상호작용들은 시스템의 부분 또는 시스템 외부의 하나 이상의 카메라들을 사용하여(이를테면, 예컨대, 내향 이미징 시스템(462) 또는 외향 이미징 시스템(464)을 사용하여) 추적될 수 있다.
[0098] 도 11은 가상 사용자 인터페이스와 상호작용하기 위한 방법(1100)의 예의 프로세스 흐름도이다. 방법(1100)은 본원에서 설명된 웨어러블 시스템에 의해 수행될 수 있다.
[0099] 블록(1110)에서, 웨어러블 시스템은 특정 UI를 식별할 수 있다. UI의 유형은 사용자에 의해 미리 결정될 수 있다. 웨어러블 시스템은 사용자 입력(예컨대, 제스처, 시각 데이터, 오디오 데이터, 감각 데이터, 직접 커맨드 등)에 기반하여 특정 UI가 파퓰레이트(populate)될 필요가 있다고 식별할 수 있다. 블록(1120)에서, 웨어러블 시스템은 가상 UI에 대한 데이터를 생성할 수 있다. 예컨대, 경계(confine)들, 일반적인 구조, UI의 형상 등과 연관된 데이터가 생성될 수 있다. 또한, 웨어러블 시스템은 사용자의 물리적 위치의 맵 좌표들을 결정할 수 있어서 웨어러블 시스템이 사용자의 물리적 위치와 관련하여 UI를 디스플레이할 수 있다. 예컨대, UI가 신체 중심인 경우, 웨어러블 시스템은, 링 UI가 사용자 주위에 디스플레이될 수 있거나 평면 UI가 벽 상에 또는 사용자 앞에 디스플레이될 수 있도록 사용자의 신체 스탠스, 머리 포즈 또는 눈 포즈의 좌표들을 결정할 수 있다. UI가 손 중심인 경우, 사용자의 손들의 맵 좌표들이 결정될 수 있다. 이러한 맵 지점들은 FOV 카메라들, 감각 입력 또는 임의의 다른 유형의 수집된 데이터를 통해 수신된 데이터를 통해 유도될 수 있다.
[0100] 블록(1130)에서, 웨어러블 시스템은 클라우드로부터 디스플레이에 데이터를 전송할 수 있거나 데이터가 로컬 데이터베이스로부터 디스플레이 컴포넌트들로 전송될 수 있다. 블록(1140)에서, UI는 전송된 데이터에 기반하여 사용자에게 디스플레이된다. 예컨대, 광 필드 디스플레이는 가상 UI를 사용자의 눈들 중 하나 또는 둘 모두에 투사할 수 있다. 일단 가상 UI가 생성되면, 웨어러블 시스템은 블록(1150)에서, 가상 UI 상에 보다 많은 가상 콘텐츠를 생성하라는 사용자로부터의 커맨드를 단순히 기다릴 수 있다. 예컨대, UI는 사용자의 신체 주위의 신체 중심 링일 수 있다. 이어서, 웨어러블 시스템은 커맨드(제스처, 머리 또는 눈 움직임, 사용자 입력 디바이스로부터의 입력 등)를 대기할 수 있고, 커맨드가 인식되는 경우(블록 1160), 커맨드와 연관된 가상 콘텐츠가 사용자에게 디스플레이될 수 있다(블록 1170). 예로서, 웨어러블 시스템은 다수의 스팀 추적들을 혼합하기 전에 사용자의 손 제스처들을 대기할 수 있다.
[0101] 웨어러블 시스템들, UI들 및 사용자 경험(UX)의 부가적인 예들은 그 전체가 인용에 의해 본원에 포함되는 미국 특허 공보 제2015/0016777호에서 설명된다.
눈 추적 교정의 예들
[0102] 본원에 설명된 바와 같이, 사용자는 눈 시선을 사용하여 웨어러블 디바이스와 상호작용할 수 있으며, 눈 시선은 사용자의 눈이 향하는 방향을 포함할 수 있다. 눈 시선(때때로 본원에서 눈 포즈로 또한 지칭됨)은 기준 방향(전형적으로 사용자의 눈들이 자연스럽게 가리키는 전방 방향)으로부터 측정될 수 있고 종종 2개의 각도들(예컨대, 기준 방향에 대한 고도 및 방위각) 또는 3개의 각도들(예컨대, 고도, 방위각 및 추가적으로 롤 각도)로 측정된다. 눈 시선을 사용하여 사용자 환경에서 객체들과의 현실적이고 직관적인 상호작용을 제공하기 위해, 웨어러블 시스템은, 사용자의 눈 특징들의 고유성 및 눈 측정에 대한 일정 영향들을 가질 수 있는 다른 조건들을 통합하도록 웨어러블 디바이스를 교정하기 위해 눈 추적 교정을 사용할 수 있다.
[0103] 눈 추적 교정은, 컴퓨팅 디바이스가 사용자의 눈 시선(예컨대, 눈 이미지들에서 식별됨)과 3D 공간의 시선 포인트들을 연관시키는 방법을 학습하는 것을 가능하게 하기 위한 프로세스를 수반한다. 눈 시선은 3D 공간에서 단일 포인트와 연관될 수 있다. 눈 시선은 또한 3D 공간에서 다수의 포인트들과 연관될 수 있으며, 이는 가상 객체의 움직임(예컨대, 도 1을 참조하여 위에서 설명된 가상 아바타(140) 또는 도 12b를 참조하여 아래에 설명되는 가상 나비의 움직임을 설명하는 일련의 포인트들)을 설명할 수 있다.
[0104] 웨어러블 시스템은 눈 이미지들에 기반하여 사용자의 눈 시선을 결정할 수 있다. 웨어러블 시스템은 내향 이미징 시스템(462)의 센서들(예컨대, 눈 카메라들)을 사용하여 눈 이미지들을 획득할 수 있다. 웨어러블 시스템은, 사용자가 자신의 눈 시선들을 변경하는 동안(이를테면, 예컨대, 사용자가 움직이는 교정 타겟을 따르기 위해 주변을 둘러볼 때) 사용자의 하나 또는 두 눈들을 이미징할 수 있다. 시선 포인트로 사용자의 눈 이미지를 맵핑하기 위해, 웨어러블 시스템은 사용자가 볼 수 있는 가상 타겟을 제공할 수 있다. 가상 타겟은 3D 공간에서 하나 이상의 알려진 시선 포인트들과 연관될 수 있다. 사용자가 타겟을 보고 있는 동안, 웨어러블 시스템은 눈 이미지(들)를 획득하고, 이미지(들)와 시선 포인트(들)를 연관시킬 수 있다. 웨어러블 시스템은, 눈 이미지와 타겟과 연관된 시선 포인트의 연관성들에 기반하여, 맵핑 매트릭스를 계산할 수 있다. 맵핑 매트릭스는 사용자의 눈 시선 측정들과 시선 벡터(사용자의 시선 방향을 나타낼 수 있음) 사이의 연관성을 제공할 수 있다.
[0105] 맵핑 매트릭스는 도 7을 참조하여 설명된 다양한 머신 학습 기술들을 사용하여 생성될 수 있다. 예컨대, 원격 프로세싱 모듈(270)과 같은 웨어러블 시스템의 컴포넌트는 눈 이미지들 및 타겟의 포지션들을 입력으로서 수신하고, 머신 학습 기술들을 사용하여 눈 이미지들 및 시선 포인트들의 연관성들을 분석함으로써, 출력으로서 맵핑 매트릭스를 생성할 수 있다. 사용될 수 있는 눈 시선 계산 기술들은 이미지 특징들(예컨대, 홍채 특징들 또는 동공 또는 둘레 경계들(limbic boundaries)의 형상)을 검출하고 로컬화하는 특징-기반 기술들 또는 특징들을 명시적으로 식별하지 않고 오히려 획득된 눈 이미지(들)와 일치하는 가장 적합한 눈 모델을 계산하는 모델-기반 접근법들을 포함한다. 일부 기술들(예컨대, 스타버스트)은 특징-기반 및 모델-기반 눈 시선 기술들 둘 모두의 양상들을 포함하는 하이브리드 접근법들이다.
[0106] 일단 트레이닝되면, 웨어러블 시스템은 사용자의 시선 방향을 결정하기 위해 맵핑 매트릭스를 적용할 수 있다. 예컨대, 웨어러블 시스템은 사용자가 가상 객체와 상호작용하는 동안 눈 시선을 관찰하고, 사용자의 시선 포인트들을 결정하기 위해 눈 시선을 맵핑 매트릭스에 입력할 수 있다. 시선 포인트들은, 사용자의 시선 방향과 교차하는 관심 객체를 식별하기 위해 광선 캐스팅에서 사용될 수 있다. 예컨대, 웨어러블 시스템은, 광선에 의해 "타격"되는 가상 객체들을 식별하고 선택하기 위해, 사용자의 시선 방향으로 광선을 캐스팅할 수 있다. 일부 경우들에서, 광선은 무시할 수 있는 측면 폭을 갖는 라인일 수 있는 반면에, 다른 경우들에서, 광선은 입체각에 마주 대하고 측면 폭을 갖는 원뿔일 수 있다. 따라서, 웨어러블 시스템은 사용자가 결정된 관심 객체에 기반하여 다른 사용자 인터페이스 동작들을 선택하거나 수행하게 할 수 있다.
[0107] 교정 결과는 각각의 사람의 눈들의 고유성을 반영할 수 있다. 예컨대, 웨어러블 시스템은 특정 개인의 하나 또는 두 눈들에 맞춤화된 맵핑 매트릭스를 생성할 수 있다. 예컨대, 사용자들은 특정 타겟에 대한 응답으로 상이한 양의 눈 움직임들 또는 눈 시선들을 가질 수 있다. 결과적으로, 개별 사용자에 특정한 교정 결과를 생성함으로써, 웨어러블 시스템은 눈 시선들을 사용하는 더 정확한 사용자 상호작용들을 허용할 수 있다.
[0108] 도 12a는 눈 추적 교정 프로세스에서 예시적인 타겟들을 예시한다. 도 12a는 사용자의 FOV(1200)에서 9개의 가상 타겟들을 예시한다. 사용자의 FOV(1200)는, 사용자가 정해진 시간에 지각할 수 있는 사용자 FOR의 일부를 포함할 수 있다. 9개의 타겟들(1202a-1202i)은 상이한 깊이들에서 렌더링될 수 있다. 예컨대, 타겟(1202e)은 타겟(1202a)보다 사용자에게 더 가까이 나타나는 깊이 평면에 있다. 결과적으로, 타겟(1202e)은 사용자에게 타겟(1202a)보다 더 크게 보인다. 눈 추적 교정 프로세스 동안 9개의 타겟들이 사용자에게 순차적으로 렌더링될 수 있다. 예컨대, 웨어러블 시스템은 먼저 타겟(1202e)을 렌더링하고, 다음에 다음 타겟(1202c)을 렌더링하고, 이어서 다음에 타겟(1202b) 등을 렌더링할 수 있다. 도 12b를 참조하여 아래에 더 설명되는 바와 같이, 일부 실시예들에서, 단일 타겟이 사용자에게 디스플레이되고, 타겟은 사용자의 시야 주위에서 움직인다(예컨대, 타겟의 움직임 동안 포지션들(1202a-1202i)에서 통과 또는 일시적으로 정지함). 웨어러블 시스템은 사용자가 이러한 타겟들을 보고 있는 동안 사용자의 눈들의 이미지를 획득할 수 있다. 예컨대, 웨어러블 시스템은 사용자가 타겟(1202e)을 보고 있을 때 제1 이미지를 획득하는 한편, 사용자가 타겟(1202c)을 보고 있을 때, 제2 이미지를 획득하고, 사용자가 타겟(1202b)을 보고 있을 때 제3 이미지를 획득하고, 이러한 식일 수 있다. 따라서, 웨어러블 시스템은 제1 이미지와 타겟(1202e)의 포지션을 매칭시키고, 제2 이미지와 타겟(1202c)의 포지션을 매칭시킬 수 있고, 제3 이미지와 타겟(1202b)의 포지션을 매칭시키고, 이러한 식일 수 있다. 9개의 타겟들이 도 12a에 도시되지만, 이는 예시를 위한 것이며 다른 구현들에서, 더 적거나 더 많은 타겟들(또는 타겟 위치들)이 사용될 수 있고, 그들의 포지션들은 도시된 포지션과 상이할 수 있다.
[0109] 타겟의 위치들은 리그 공간에서의 포지션들로 표현될 수 있다. 리그 공간은 웨어러블 디바이스(예컨대, 본원에 설명된 HMD)를 참조하여 고정된 좌표계를 포함할 수 있다. 좌표계는 직교 x-y-z 좌표계로서 표현될 수 있다. 이 예에서, 수평 축(x)은 축(1204)(방위각으로 또한 지칭됨)으로 표현되고, 수직 축(y)은 축(1208)(고도로 또한 지칭됨)으로 표현된다. 사용자로부터의 깊이와 연관된 축(z)은 도 12a에 도시되지 않는다.
[0110] 예시된 바와 같이, 타겟(1202e)은 9개의 가상 타겟들의 중심에 있다. 따라서, 타겟(1202e)의 x-축 포지션은 가장 좌측 가상 객체들(예컨대, 객체들(1202a, 1202d, 1202g)의 x-축(1204) 값과 가장 우측 가상 객체들(예컨대, 객체들(1202c, 1202f, 1202i))의 x-축(1204g) 값의 합의 0.5 배로 계산될 수 있다. 유사하게, 타겟(1202e)의 y-축 포지션은 FOV의 최상부에 있는 가상 객체들(예컨대, 객체들(1202a, 1202b, 1202c))의 y-축(1208) 값과 FOV의 최하부에 있는 가상 객체들(예컨대, 객체들(1202g, 1202h, 1202i))의 y-축(1208) 값의 합의 0.5 배로 계산될 수 있다.
[0111] 웨어러블 시스템은 디스플레이(220)의 다양한 눈 포즈 구역들에 타겟을 제공할 수 있다. 타겟은 그래픽(이를테면, 현실적이거나 애니메이팅된 나비 또는 꿀벌 또는 아바타)으로 도시될 수 있다. 그래픽은, FOV의 한 포지션에서 보이거나 FOV 내에서 포지션에서 포지션으로 이동하는 것처럼 보이는 정지 이미지일 수 있다.
[0112] 타겟은, 디스플레이(220)의 하나 이상의 눈 포즈 구역들에 대해 충분한 눈 이미지 품질의 눈 이미지가 획득될 때까지, 디스플레이(220)의 다양한 눈 포즈 구역들에 디스플레이될 수 있다. 예컨대, 눈 이미지의 품질이 결정되고, 눈 이미지가 생체인식 애플리케이션(예컨대, 홍채 코드의 생성)에 사용될 수 있는 이미지 품질을 갖는다고 결정하기 위해, 이미지 품질 임계치와 비교될 수 있다. 특정 눈 포즈 구역의 눈 이미지가 이미지 품질 임계치를 통과하거나 만족하지 않으면, 디스플레이(220)는, 충분한 눈 이미지 품질의 눈 이미지가 획득될 때까지, 해당 특정 구역에서 하나 이상의 그래픽들을 계속 디스플레이하도록 구성될 수 있다. 하나의 특정 구역에 디스플레이된 하나 이상의 그래픽들은 상이한 구현들에서 동일하거나 상이할 수 있다. 예컨대, 그래픽은 해당 특정 구역에서 동일하거나 상이한 위치들에서 또는 동일하거나 상이한 배향들로 디스플레이될 수 있다.
[0113] 스토리 모드 또는 착용자의 하나 또는 두 눈들을 디스플레이(220)의 상이한 구역으로 지향시키거나 끌어들 수 있는 모드를 사용하여, 그래픽들이 디스플레이(220)의 다양한 눈 포즈 구역들에 디스플레이될 수 있다. 예컨대, 도 12b를 참조하여 아래에 설명되는 일 실시예에서, 가상 아바타(예컨대, 나비)가 디스플레이(220)의 다양한 구역들에 걸쳐 이동하는 것으로 도시될 수 있다. 디스플레이(220)의 다양한 구역들에 디스플레이되는 그래픽의 인스턴스들은, 착용자의 하나 또는 두 눈들을 하나 이상의 눈 포즈 구역들 ― 여기서 그래픽의 예시들이 디스플레이됨 ― 을 향해 끌어들이거나 지향시키는 특성들(예컨대, 상이한 깊이들, 컬러들 또는 크기들)을 가질 수 있다. 일부 실시예들에서, 디스플레이(220)의 다양한 구역들에 디스플레이된 그래픽들은, 그래픽의 인스턴스가 디스플레이되는 눈 포즈 구역을 향해 착용자의 하나 또는 두 눈들을 끌어들일 수 있도록, 다양한 깊이들을 갖는 것으로 보일 수 있다.
[0114] 도 12b는 머리 장착 디스플레이 시스템의 디스플레이(220) 상의 예시적인 장면(1250)을 개략적으로 예시한다. 도 12b에 도시된 바와 같이, 디스플레이(220)는 움직이는 그래픽(1205)을 갖는 장면(1250)을 디스플레이할 수 있다. 예컨대, 도시된 바와 같이, 그래픽(1205)은 장면(1250) 전반에 걸쳐 날고 있는 것으로 사용자에게 디스플레이되는 나비일 수 있다. 그래픽(1205)은 배경 이미지 또는 장면(도 12b에 도시되지 않음)에 걸쳐 또는 그 일부로서 디스플레이될 수 있다. 다양한 실시예들에서, 그래픽은 아바타(예컨대, 사람, 동물, 또는 예컨대, 도 1에 도시된 나비 또는 꿀벌(140)과 같은 것들의 의인화), 또는 디스플레이(220)의 특정 눈 포즈 구역에 디스플레이되도록 구성될 수 있는 임의의 다른 이미지 또는 애니메이션일 수 있다. 그래픽(1205)은 (예컨대, 연령, 불안 수준, 성숙도, 관심대상들 등에 기반하여) 사용자에게 맞춰질 수 있다. 예컨대, 어린이에게 불안감을 발생시키는 것을 피하기 위해, 그래픽(1205)은 어린이-친화적인 캐릭터(이를테면, 나비 또는 친숙한 꿀벌(140))일 수 있다. 다른 예로서, 자동차 애호가인 사용자에 대해, 그래픽(1205)은 경주용 자동차와 같은 자동차일 수 있다. 따라서, 디스플레이(220)의 다양한 구역들에서 이동함에 있어서, 그래픽(1205)은 웨어러블 디스플레이 시스템(200)을 사용하는 착용자(210)에게 비디오 애니메이션으로 디스플레이되고 비디오 애니메이션으로 보일 수 있다. 그래픽(1205)은 초기 포지션(1210a)에서 시작하고, 경로(1215)를 따라 최종 포지션(1210b)으로 진행할 수 있다. 예컨대, 도시된 바와 같이, 그래픽(1205)은 디스플레이에 걸쳐(예컨대, 점선을 따라) 시계 방향으로 디스플레이(220)의 상이한 구역들로 이동할 수 있다. 다른 예로서, 그래픽(1205)은 디스플레이(220)의 상이한 구역들에 걸쳐 지그재그로 또는 랜덤하게 이동하는 것으로 보일 수 있다. 하나의 가능한 지그재그 패턴은 구역들(1220r1, 1220r2, 1220r4, 1220r0, 1220r3, 1220r5, 1220r7 및 1220r8)일 수 있다.
[0115] 디스플레이(220)는 단지 예시를 위해 동일한 크기의 9개의 구역들(1220r0-1220r8)을 갖는 것으로 도 12b에 도시된다. 디스플레이(220)의 구역들(1220r0-1220r8)의 수는 상이한 구현들에서 상이할 수 있다. 그래픽이 구역에서 구역으로 진행하여 눈을 해당 개개의 구역을 향해 지향시키면서, 눈 이미지들을 캡처하기 위해, 디스플레이의 임의의 수의 구역들이 사용될 수 있다. 예컨대, 눈 포즈 구역들의 수는 2, 3, 4, 5, 6, 9, 12, 18, 24, 36, 49, 64, 128, 256, 1000개 이상일 수 있다. 눈 이미지들은 눈 포즈 구역 중 일부 또는 전부에 대해 캡처될 수 있다. 디스플레이(220)의 구역들(1220r0-1220r8)의 형상들은 직사각형, 정사각형, 원형, 삼각형, 타원형, 다이아몬드와 같이 상이한 구현들에서 상이할 수 있다. 일부 실시예들에서, 디스플레이(220)의 상이한 구역들의 크기들은 상이할 수 있다. 예컨대, 디스플레이(220)의 중심에 더 가까운 구역들은 디스플레이(220)의 중심에서 더 멀리 떨어진 구역들보다 더 작거나 더 클 수 있다. 다른 예로서, 눈 포즈 구역들은 디스플레이(220)의 절반들, 사분면들, 또는 임의의 분할(segmentation)을 포함할 수 있다.
[0116] 경로(1215)는 양호한 품질의 눈 이미지들을 획득하는 것이 요구되는 눈 포즈 구역들 내에서, 그들에 걸쳐, 그들 주위에서 이동할 수 있고, 경로(1215)는, (예컨대, 특정 생체인식 애플리케이션에 대해) 눈 이미지들(예컨대, 일반적으로 열악한 품질)이 바람직하지 않거나 불필요한 눈 포즈 구역들을 피할 수 있다. 예컨대, 생체인식 애플리케이션(예컨대, 홍채 코드 생성)은, 사용자의 눈이 (예컨대, 눈 포즈 구역(1220r0)을 통해) 똑바로 전방을 향하는 눈 이미지들을 사용하는 경향이 있을 수 있다. 그러한 경우에, 그래픽(1205)은 주로 눈 포즈 구역(1220r0) 내에서 움직이고 눈 포즈 구역들(1220r1-1220r8)에서 움직이지 않는(또는 덜 빈번하게 움직이는) 경향이 있을 수 있다. 경로(1215)는, 장면(1250)의 주변 구역들과 비교하여, 장면(1250)의 중심에 더 집중될 수 있다. 다른 생체인식 애플리케이션들(예컨대, 눈의 망막 진단)에서, (중심와로부터 멀어져) 망막의 내측(medial) 또는 측면 구역들의 이미지들이 획득되도록, 사용자가 구역(1220r0)으로부터 멀어지는(예컨대, 자연적인 휴식 눈 포즈로부터 멀어지는) 방향들을 바라보고 있는 눈 이미지들을 획득하는 것이 바람직할 수 있다. 이러한 애플리케이션에서, 그래픽(1205)은, 장면의 중심(예컨대, 구역(1220r0))과 비교하여, 장면(1250)의 주변(예컨대, 구역들(1220r1-1220r8)) 주위에서 움직이는 경향이 있을 수 있다. 경로(1215)는 장면의 주변 주위에 더 집중될 수 있고, (예컨대, 도 12에 도시된 경로(1215)와 유사한) 장면의 중심을 피하는 경향이 있다.
[0117] 디스플레이(220)의 눈 포즈 구역들(1220r0-1220r8)은 단지 예시를 위해 디스플레이(220)에서 수평 및 수직 점선들에 의해 분리된 것으로 도시된다. 이러한 눈 포즈 구역들(1220r0-1220r8)은 설명의 편의를 위해 묘사되며, 눈 이미지가 획득될 수 있도록 착용자의 눈들이 가리켜야 하는 디스플레이(220)의 구역들을 나타낼 수 있다. 일부 구현들에서, 도 12b에 도시된 수평 및 수직 점선들은 사용자에게 보이지 않는다. 일부 구현들에서, 도 12b에 도시된 수평선 또는 점선은 착용자의 하나 이상의 눈들을 디스플레이(220)의 특정 구역을 향해 지향시키기 위해 사용자에게 보일 수 있다.
[0118] 도 12b에 도시된 경로(1215)는 예시적이며, 제한하는 것으로 의도되지 않는다. 경로(1215)는 도 12b에 도시된 형상과 상이한 형상을 가질 수 있다. 예컨대, 경로(1215)는 눈 포즈 구역들(1220r0-1220r1) 중 하나 이상을 교차, 재-교차 또는 회피할 수 있고, 직선, 다각형 또는 곡선 등일 수 있다. 이동 그래픽(1215)의 속도는 실질적으로 일정할 수 있거나 가변적일 수 있다. 예컨대, 그래픽(1205)은 특정 눈 포즈 구역들(예컨대, 여기서 하나 이상의 눈 이미지들이 촬영됨)에서 느려지거나 정지할 수 있거나, 그래픽(1205)은 다른 눈 포즈 구역들(예컨대, 여기서 눈 이미지들이 필요하지 않거나 원하지 않음)을 거쳐 속도를 높이거나 스킵할 수 있다. 경로(1215)는 연속적이거나 불연속적일 수 있다(예컨대, 그래픽(1205)은 특정 눈 포즈 구역들 위 또는 주위를 스킵할 수 있음). 예컨대, 도 12b를 참조하여, 그래픽(1205)이 눈 포즈 구역(1220r4)의 포지션(1210b)에 있고 생체인식 애플리케이션이 사용자 눈이 눈 포즈 구역(1220r8)을 향한 지향되는 눈 이미지를 필요로 하는 경우, 디스플레이 시스템은 그래픽(1205)이 구역(1220r8)으로 계속해서 이동하도록(예컨대, 나비는 구역(1220r4)으로부터 구역(1220r0)을 통해 구역(1220r8)으로 장면에 걸쳐 날아감) 그래픽(1205)을 디스플레이할 수 있거나, 디스플레이 시스템은 간단히 구역(1220r4)에서 그래픽(1205)을 디스플레이하는 것을 정지시키고, 이어서 구역(1220r8)에서 그래픽(1205)을 디스플레이하기 시작할 수 있다(예컨대, 나비는 구역(1220r4)에서 구역(1220r8)으로 점프한 것으로 보일 것임).
[0119] 눈 포즈 구역은 실제 2-차원 좌표 공간() 또는 또는 양의 정수 2-차원 좌표 공간 ― 이는 착용자의 눈 포즈의 각도 공간에 관하여 해당 눈 포즈 구역을 지정함 ― 의 연결된 서브세트로서 간주될 수 있다. 예컨대, 일 실시예에서, 눈 포즈 구역은 방위각 편향(예컨대, 도 12a의 수평 축(1204))에서 특정 θmin과 특정 θmax 사이 그리고 고도 편향(예컨대, 도 12a의 수직 축(1208))에서 특정 과 특정 사이에 있을 수 있다. 추가적으로, 눈 포즈 구역은 특정 구역 할당과 연관될 수 있다. 이러한 구역 할당들은 디스플레이(220) 상에서 착용자(210)에게 나타나지 않을 수 있지만, 예시 목적으로 도 12b에 도시된다. 구역들은 임의의 적절한 방식으로 할당될 수 있다. 예컨대, 도 12b에 도시된 바와 같이, 중심 구역에는 구역(1220r0)이 할당될 수 있다. 도시된 실시예에서, 구역들의 넘버링은, 중앙 구역에 구역(1220r0)이 할당되고 하부 우측 구역에 구역(1220r8)이 할당되는 것으로 끝나는, 일반적으로 수평으로 순차적 방식으로 진행될 수 있다. 이러한 구역들(1220r0-1220r8)은 눈 포즈 구역들로 지칭될 수 있다. 다른 구현들에서, 구역들은 도 12b에 도시된 것과 상이하게 넘버링되거나 참조될 수 있다. 예컨대, 상부 좌측 구역에는 구역(1220r0)이 할당될 수 있고, 하부 우측 구역에는 구역(1220r8)이 할당될 수 있다.
[0120] 장면(1250)은 VR 디스플레이 모드에서 웨어러블 디스플레이 시스템에 의해 제공될 수 있으며, 여기서 착용자(210)는 외부 세계가 아닌 그래픽(1205)을 본다. 대안적으로, 장면(1250)은 AR/VR/MR 디스플레이 모드에서 제공될 수 있으며, 여기서 착용자(210)는 외부 세계에 중첩된 시각 그래픽(1205)을 본다. 그래픽(1205)이 눈 포즈 구역에 디스플레이되는 동안, 눈 이미지들은 웨어러블 디스플레이 시스템(200)에 커플링된 이미지 캡처 디바이스(예컨대, 도 4의 내향 이미징 시스템(462))에 의해 캡처될 수 있다. 그러나, 하나의 예로서, 하나 이상의 눈 이미지들은 디스플레이(220)의 눈 포즈 구역들(1220r0-1220r8) 중 하나 이상의 구역에서 캡처될 수 있다. 예컨대, 도시된 바와 같이, 그래픽(1205)은 초기 포지션(1210a)에서 시작하여, 디스플레이(220)의 상부 좌측 눈 포즈 구역(예컨대, 구역(1220r1)) 내에서 움직일 수 있다. 그래픽(1205)이 해당 상부 좌측 눈 포즈 구역에서 이동함에 따라, 착용자(210)는 자신의 눈들을 디스플레이(220)의 해당 구역을 향해 지향시킬 수 있다. 그래픽(1205)이 디스플레이(220)의 상부 좌측 눈 포즈 구역에 있는 동안, 카메라에 의해 캡처된 하나 이상의 눈 이미지들은 해당 방향을 볼 때 특정 눈 포즈의 눈을 포함할 수 있다.
[0121] 이 예에서 계속하여, 그래픽(1205)은 경로(1215)를 따라 상부 중간 눈 포즈 구역(예컨대, 구역(1220r2))으로 이동할 수 있고, 여기서 상부 중간 구역으로 지향된 눈 포즈를 갖는 눈 이미지가 캡처될 수 있다. 그래픽(1205)은 구역(1220r4)의 최종 포지션(1210b)에 도달할 때까지, 그래픽(1205)은 디스플레이(220)의 다양한 눈 포즈 구역들(1220r0-1220r8)을 따라 이동할 수 있고, 그러면서 이러한 프로세스 동안 눈 이미지들이 간헐적으로 또는 연속적으로 캡처된다. 하나 이상의 눈 이미지들은 구역들 각각에 대해 캡처될 수 있거나, 눈 이미지들은 그래픽(1205)이 이동하는 모든 구역들보다 더 적은 구역에서 캡처될 수 있다. 따라서, 캡처된 눈 이미지들은 하나 이상의 상이한 눈 포즈들의 눈의 적어도 하나의 이미지를 포함할 수 있다. 눈 포즈는, 아래에 추가로 설명될 바와 같이, 2개의 각도들의 표현으로서 표현될 수 있다.
[0122] 그래픽(1205)은 또한, 특정 이미지 품질의 이미지가 획득되거나 캡처될 때까지, 디스플레이(220)의 눈 포즈 구역에 남아있을 수 있다. 본원에 설명된 바와 같이, 특정 눈 이미지가 이미지 품질 임계치(Q)를 통과하는지 여부를 결정하기 위해 다양한 이미지 품질 메트릭들이 이용 가능하다. 예컨대, 이미지 품질 임계치는 홍채 코드를 생성하기 위한 이미지 메트릭 레벨에 대응하는 임계치일 수 있다. 따라서, 그래픽(1205)이 디스플레이(220)의 특정 눈 포즈 구역에 있는 동안, 캡처된 눈 이미지가 이미지 품질 임계치를 통과하면, 그래픽(1205)은, 이미지 품질 임계치를 충족시키거나 통과한 이미지가 획득될 때까지, 해당 눈 포즈 구역에 남아있을 수 있다(또는 해당 눈 포즈 구역으로 복귀할 수 있다). 디스플레이의 특정 눈 포즈 구역에 대해 이미지 품질 임계치들이 또한 정의될 수 있다. 예컨대, 특정 생체인식 애플리케이션은 디스플레이(220)의 특정 구역들을 어둡게 하는 것을 요구할 수 있다. 따라서, 이들 구역들에 대한 이미지 품질 임계치는, 어둡게 되지 않은 구역의 이미지 품질 임계치보다 더 높을 수 있다. 이 이미지 수집 프로세스 동안, 그래픽(1205)은 스토리 모드에서 계속하거나, 착용자의 눈을 해당 구역을 향해 계속 지향시키는 애니메이션들을 계속할 수 있다.
[0123] 눈 이미지 수집 루틴은 또한 홍채 코드에서 취약한 비트들(fragile bits)을 교정하는 데 사용될 수 있다. 취약한 비트들은 눈 이미지들 간에 일치하지 않는 홍채 코드의 비트들을 지칭한다(예컨대, 일부 눈 이미지들에 대해 비트가 0이고 동일한 홍채의 다른 이미지들에 대해 비트가 1일 확률이 상당히 높다). 더 구체적으로, 취약한 비트들은 눈 이미지의 홍채 코드에서 약하게 정의된 비트들일 수 있으며, 이는 측정에서 경험적으로 신뢰할 수 없는 것을 나타낼 수 있다. 취약한 비트들은, 예컨대, 베르누이 분포(Bernoulli distribution)의 파라미터들의 불확실성에 대해 베이지안 모델(Bayesian model)을 활용하여 정량화될 수 있다. 취약한 비트들은, 예컨대, 전형적으로 눈꺼풀에 의해 커버되거나 속눈썹에 의해 가려진 영역들을 나타내는 그러한 비트들로서 식별될 수 있다. 눈 이미지 수집 루틴은, 눈을 상이한 눈 포즈들로 능동적으로 안내하기 위해 그래픽(1205)을 활용할 수 있으며, 이로써 결과적인 홍채 코드에 대한 취약한 비트들의 영향을 감소시킨다. 그러나, 하나의 예로서, 그래픽(1205)은 눈꺼풀들 또는 속눈썹에 의해 가려지지 않는 눈 포즈 구역들로 눈을 안내할 수 있다. 추가적으로 또는 대안적으로, 취약한 비트들의 영향을 감소시키기 위해 마스크가 눈 이미지에 적용될 수 있다. 예컨대, 취약한 비트들을 생성하는 것으로 식별된 눈 구역들(예컨대, 폐색이 발생할 가능성이 더 높은 홍채의 상부 또는 하부 부분들)이 홍채 생성에 대해 무시될 수 있도록, 마스크가 적용될 수 있다. 또 다른 예로서, 그래픽(1205)은, 눈 포즈 구역(들)으로부터 더 많은 눈 이미지들을 획득하기 위해 취약한 비트들을 생성할 가능성이 더 높은 눈 포즈 구역들로 복귀할 수 있고, 이로써 결과적인 홍채 코드에 대한 취약한 비트들의 영향을 감소시킬 수 있다.
[0124] 그래픽(1205)은 또한, 특정 눈 포즈 구역에 대해 다수의 이미지들이 캡처되거나 획득될 때까지, 디스플레이(220)의 눈 포즈 구역에 남아있을 수 있다(또는 눈 포즈 구역으로 복귀할 수 있음). 즉, 각각의 눈 이미지의 이미지 품질 메트릭과 이미지 품질 임계치를 "즉시(on-the-fly)" 또는 실시간으로 비교하는 대신에, 각각의 눈 포즈 구역으로부터 특정 수의 눈 이미지들이 획득될 수 있다. 이어서, 해당 눈 포즈 구역에 대해 획득된 눈 이미지들 각각은 이미지 품질 메트릭을 획득하도록 프로세싱될 수 있고, 이미지 품질 메트릭은 차례로 각각의 이미지 임계치와 비교된다. 알 수 있는 바와 같이, 눈 포즈 구역들의 눈 이미지 수집 프로세스는 애플리케이션 필요성 또는 요건들에 의존하여 병렬로 또는 순차적으로 수행될 수 있다.
[0125] 이 눈 이미지 수집 루틴 동안, 그래픽은 다양한 모드들에서 디스플레이(220)의 하나 이상의 눈 포즈 구역들에 디스플레이될 수 있다. 예컨대, 랜덤 모드, 비행 모드, 깜박임 모드, 변동(fluctuating) 모드 또는 스토리 모드에서 디스플레이의 특정 눈 포즈 구역에서(또는 2개 이상의 눈 포즈 구역들에 걸쳐) 그래픽이 디스플레이될 수 있다. 스토리 모드는 그래픽이 관여할 수 있는 다양한 애니메이션들을 포함할 수 있다. 그러나, 스토리 모드의 일 예로서, 나비는 누에고치에서 나오고, 디스플레이(220)의 특정 구역 주위에서 날 수 있다. 나비가 주위에서 날아다닐 때, 나비가 꿀을 회수할 수 있는 꽃이 보일 수 있다. 알 수 있는 바와 같이, 나비의 스토리는 디스플레이(220)의 특정 구역에서 또는 디스플레이(220)의 2개 이상의 구역들에 걸쳐 디스플레이될 수 있다.
[0126] 변동 모드에서, 나비의 날개들은, 나비가 디스플레이(220)의 특정 구역 주위에서 날아다닐 때, 크기가 변동하는 것처럼 보일 수 있다. 랜덤 모드에서, 특정 구역 내에서 그래픽(1205)의 정확한 위치는 랜덤화될 수 있다. 예컨대, 그래픽(1205)은 간단히 상부 좌측 구역의 상이한 위치들에서 나타날 수 있다. 다른 예로서, 그래픽(1205)은, 초기 포지션(1210a)으로부터 시작하여, 상부 좌측 눈 포즈 구역 내에서 부분적으로 랜덤 방식으로 움직일 수 있다. 깜박임 모드에서, 나비 또는 나비의 무리는 디스플레이(220)의 특정 구역 내에서 또는 2개 이상의 구역들에 걸쳐 깜박이는 것으로 보일 수 있다. 디스플레이(220)의 다양한 눈 포즈 구역들에서 다양한 모드들이 가능하다. 예컨대, 그래픽(1205)은 스토리 모드에서 초기 포지션(1210a)에서 상부 좌측 구역에 나타날 수 있는 반면에; 그래픽(1205)은 깜박임 모드를 사용하여 최종 포지션(1210b)에서 중간 좌측 구역에 나타날 수 있다.
[0127] 그래픽들은 또한 다양한 모드들에서 디스플레이(220)의 눈 포즈 구역들(1220r0-1220r8) 전체에 걸쳐 디스플레이될 수 있다. 예컨대, 그래픽들은 랜덤 또는 순차적 방식(랜덤 모드 또는 순차적 모드로 각각 지칭됨)으로 나타날 수 있다. 본원에 설명된 바와 같이, 그래픽(1205)은 디스플레이(220)의 다양한 구역들을 통해 순차적 방식으로 이동할 수 있다. 해당 예에서 계속해서, 그래픽(220)은 디스플레이(220)의 눈 포즈 구역들 사이에 개재 애니메이션들을 사용하여 경로(1215)를 따라 이동할 수 있다. 다른 예로서, 그래픽(1205)은 애니메이션들을 개입시키지 않고 디스플레이(220)의 상이한 구역들에 나타날 수 있다. 또 다른 예로서, 제1 그래픽(예컨대, 나비)은 제1 눈 포즈 구역에 나타날 수 있는 반면, 다른 그래픽(예컨대, 꿀벌)은 제2 눈 포즈 구역에 나타날 수 있다.
[0128] 하나의 구역에서 다음 구역으로 상이한 그래픽들이 연속적으로 나타날 수 있다. 또는, 다른 실시예에서, 상이한 그래픽이 스토리를 말하기 위해 상이한 눈 포즈 구역에 나타날 때, 다양한 그래픽들이 스토리 모드에서 사용될 수 있다. 예컨대, 누에고치가 하나의 눈 포즈 구역에 나타나고, 이어서 나비가 상이한 눈 포즈 구역에 나타날 수 있다. 다양한 구현들에서, 상이한 그래픽이 각각의 눈 포즈 구역에 나타남에 따라, 눈 이미지 수집 프로세스가 눈을 하나의 눈 포즈 구역으로부터 다른 눈 포즈 구역으로 지향시킬 수 있기 때문에, 상이한 그래픽들이 또한 눈 포즈 구역들을 통해 랜덤하게 분포된 것처럼 보일 수 있다.
[0129] 눈 이미지들이 또한 랜덤 방식으로 획득될 수 있다. 따라서, 그래픽(1205)은 또한 랜덤 방식으로 디스플레이(220)의 다양한 눈 포즈 구역들에 디스플레이될 수 있다. 예컨대, 그래픽(1205)은 상부 중간 구역에 나타날 수 있고, 일단 해당 구역에 대해 눈 이미지가 획득되면, 이후에 그래픽(1205)은 도 12b의 디스플레이(220)의 하부 우측 눈 포즈 구역(예컨대, 구역(1220r8)이 할당됨)에 나타날 수 있다. 다른 예로서, 그래픽(1205)은 외관상으로 랜덤 방식으로 디스플레이될 수 있어서, 그래픽(1205)이 다른 구역들에 디스플레이될 때까지, 개별 구역 상에서 어떠한 복제도 없이, 그래픽(1205)을 각각의 눈 포즈 구역 상에서 적어도 한번 디스플레이한다. 이러한 의사-랜덤 방식의 디스플레이는, 이미지 품질 임계치 또는 일부 다른 애플리케이션에 대해 충분한 수의 눈 이미지들이 획득될 때까지 발생할 수 있다. 따라서, 착용자의 하나 또는 두 눈들에 대한 다양한 눈 포즈들은 순차적인 방식보다는 랜덤 방식으로 획득될 수 있다.
[0130] 일부 경우들에서, 임계 수의 시도들(예컨대, 눈 포즈 구역에 대해 캡처된 3개의 눈 이미지들이 이미지 품질 임계치를 통과하지 않음) 후에 특정 눈 포즈 구역에 대한 눈 이미지를 획득될 수 없다면, 눈 이미지 수집 루틴은, 하나 이상의 다른 눈 포즈 구역들로부터 눈 이미지들을 먼저 획득하면서, 일정 시간 기간 동안 해당 눈 포즈 구역에서의 수집을 스킵하거나 정지시킬 수 있다. 일 실시예에서, 눈 이미지 수집 루틴은, 임계 수의 시도들 후에 눈 이미지가 획득될 수 없다면, 특정 눈 포즈 구역에 대한 눈 이미지를 획득할 수 없다.
[0131] 눈 포즈는 자연스러운 휴식 포즈(예컨대, 여기서 사용자의 얼굴 및 시선 둘 모두는 그들이 사용자의 바로 앞에 있는 먼 객체를 향하는 것처럼 배향됨)에 관련하여 설명될 수 있다. 눈의 자연스러운 휴식 포즈는 자연스러운 휴식 포지션에 의해 표시될 수 있으며, 이는 자연스러운 휴식 포즈에 있을 때 눈의 표면에 직교하는(예컨대, 눈의 평면으로부터 밖으로 똑바른) 방향이다. 눈이 상이한 객체들을 보기 위해 움직일 때, 눈 포즈는 자연스러운 휴식 포지션에 대해 변한다. 따라서, 현재 눈 포즈는 눈 포즈 방향을 참조하여 측정될 수 있는데, 이는 눈의 표면에 직교하지만(그리고 동공에 중심을 둠) 눈이 현재 지향되는 객체를 향해 배향되는 방향이다.
[0132] 예시적인 좌표계를 참조하면, 눈의 포즈는, 눈의 자연스러운 휴식 포지션에 대해, 눈의 눈 포즈 방향의 방위각 편향 및 천정 편향(zenithal deflection) 둘 모두를 나타내는 2개의 각도 파라미터들로서 표현될 수 있다. 이러한 각도 파라미터들은 θ(기준 방위각으로부터 측정된 방위각 편향) 및 (고도 편향, 때때로 극 편향으로 또한 지칭됨)로서 표현될 수 있다. 일부 구현들에서, 눈 포즈 방향 주위의 눈의 각도 롤(angular roll)이 눈 포즈의 측정에 포함될 수 있고, 각도 롤이 다음 분석에 포함될 수 있다. 다른 구현들에서, 눈 포즈를 측정하기 위한 다른 기술들, 예컨대, 피치, 요 및 선택적으로 롤 시스템이 사용될 수 있다. 눈 포즈에 대한 이러한 표현들을 사용하여, 방위각 편향 및 천정 편향으로서 표현된 눈 포즈는 특정 눈 포즈 구역과 연관될 수 있다. 따라서, 눈 이미지 수집 프로세스 동안 획득된 각각의 눈 이미지로부터 눈 포즈가 결정될 수 있다. 눈 이미지의 눈 포즈와 눈 구역 간의 이러한 연관성들은 데이터 모듈(260, 280)에 저장되거나 프로세싱 모듈들(260, 270)에 액세스 가능(예컨대, 클라우드 저장소를 통해 액세스 가능)하게 될 수 있다.
[0133] 눈 이미지들이 또한 선택적으로 획득될 수 있다. 예컨대, 특정 착용자의 특정 눈 이미지들은 프로세싱 모듈들(260, 270)에 의해 이미 저장되거나 액세스될 수 있다. 다른 예로서, 특정 착용자에 대한 특정 눈 이미지들은 특정 눈 포즈 구역들과 이미 연관될 수 있다. 그러한 경우들에서, 그래픽(1205)은, 해당 눈 포즈 구역 또는 특정 눈 포즈 구역들과 연관된 눈 이미지들을 갖지 않는 하나의 눈 포즈 구역 또는 특정 눈 포즈 구역들에만 나타날 수 있다. 예시적으로, 눈 이미지들은 다른 눈 포즈 구역들(2, 4, 5 및 7)이 아니라 눈 구역들(번호들 1, 3, 6 및 8)에 대해 획득되었을 수 있다. 따라서, 이미지 품질 메트릭 임계치를 통과하는 각각의 개개의 눈 포즈 구역에 대해 눈 이미지들이 획득될 때까지, 그래픽(1205)은 나중 포즈 구역들(2, 4, 5 및 7)에 나타날 수 있다.
[0134] 눈 시선에 대한 눈 이미지 수집 및 분석의 상세한 예들은 2017년 1월 17일에 출원되고 명칭이 "Eye Image Collection"인 미국 출원 제15/408277호에 추가로 설명되고, 이로써 상기 출원의 전체 개시내용은 인용에 의해 본원에 포함된다.
눈 시선을 검증하는 예들
[0135] 웨어러블 시스템이 도 12a 및 12b를 참조하여 설명된 눈 추적 교정 프로세스 동안 눈 이미지들을 획득할 수 있지만, 눈 추적 교정 프로세스의 하나의 난제는, 사용자들이 예상대로 타겟들을 볼 수 없다는 것이다. 예컨대, 웨어러블 시스템이 리그 공간에서 타겟(예컨대, 가상 나비(1205) 또는 타겟들(1202a-i) 중 하나)을 렌더링할 때, 사용자는 그래픽 대신에 다른 방향을 볼 수 있다. 예컨대, 하나의 실험실-기반 실험에서, 사용자들 중 10 퍼센트는, 실험실 테스팅 조건들 하에서도, 교정 동안에 타겟들 중 일부를 보지 않았다. 사용자가 집 또는 사무실 환경에 홀로 있는 경우, 교정 프로토콜을 준수하는 사용자가 상당히 더 적을 수 있다. 결과적으로, 웨어러블 시스템은 교정으로부터 정확한 눈 추적 결과들을 획득할 수 없으며, 결과적으로, 웨어러블 시스템에 대한 사용자의 시각적 경험들이 영향을 받을 수 있다.
[0136] 이러한 난제를 개선하고 눈 시선들에 대해 획득된 데이터의 품질을 개선하기 위해, 웨어러블 시스템은, 교정을 위해 맵핑 매트릭스를 조정하기 전에, 사용자의 눈 시선을 검증할 수 있다. 눈 시선 검증 동안, 웨어러블 시스템은, 사용자가 실제로 타겟을 보고 있다는 것을 검증하기 위해, 머리 포즈(예컨대, 머리 포지션 또는 회전 정보)를 사용할 수 있다. 도 12c는, 사용자의 머리 포즈를 사용하여 사용자가 타겟을 보고 있는지를 검증하는 예를 예시한다. 도 12c는 3개의 장면들(1260a, 1260b 및 1260c)을 예시한다. 이들 3개의 장면들에서, 사용자는 디스플레이(220)를 통해 레티클(1284) 및 타겟(1282)을 지각할 수 있다. 레티클(1284)은 리그 공간 내의 가상 객체를 나타내는 반면, 타겟(1282)은 사용자 환경에서 정해진 위치에 있는 가상 또는 물리적 객체를 나타낸다. 타겟(1282)의 위치는, 세계 좌표계와 연관된 세계 공간에서의 포지션으로 표현될 수 있다. 세계 좌표계는 사용자의 HMD보다는 사용자의 3D 공간에 관련된 것일 수 있다. 결과적으로, 세계 좌표계의 객체는 리그 공간의 객체와 반드시 정렬될 필요는 없을 수 있다.
[0137] 눈 시선 검증 프로세스 동안, 사용자는 레티클(1284)과 타겟(1282)을 정렬시킬 필요가 있고, 웨어러블 시스템은 타겟(1282)에서 레티클(1284)을 "조준"하도록 사용자에게 명령할 수 있다. 레티클(1284)이 리그 공간 내에서 움직일 때, 사용자는 레티클(1284)과 타겟을 다시 정렬시킬 수 있도록 머리 및 안구들을 움직일 필요가 있다. 웨어러블 시스템은, (예컨대, 측정된 사용자 머리 포즈 또는 눈 시선과 타겟의 알려진 포지션을 비교함으로써) 레티클(1284)이 타겟(1282)과 정렬되는지 여부를 체크하고, 사용자에게 피드백(예컨대, 레티클(1284)이 타겟(1282)과 정렬되거나 오정렬되는지를 나타냄)을 제공할 수 있다. 유리하게는, 일부 실시예들에서, 웨어러블 시스템은, 레티클(1284)과 타겟(1282) 사이에 충분히 정렬될 때, 눈 추적 교정을 위해 눈 이미지들만을 수집하도록 구성될 수 있다. 예컨대, 웨어러블 시스템은, 타겟과 레티클의 포지션들 사이의 오프셋이 임계량 미만(예컨대, 10° 미만, 5° 미만, 1° 미만 등과 같은 각도 임계치보다 작음)만큼 상이할 때, 충분히 정렬된다고 결정할 수 있다.
[0138] 도 12c를 참조하면, 머리(1272)는 초기에 포지션(1276a)에 있고, 눈(1274)은 장면(1260a)에서 방향(1278a)을 응시하고 있다. 사용자는, 레티클(1284)이 디스플레이 시스템(220)을 통해 포지션(1286a)에 위치된 것을 지각할 수 있다. 장면(1260a)에 예시된 바와 같이, 레티클(1284)은 타겟(1282)과 정렬된다.
[0139] 교정 프로세스 동안, 웨어러블 시스템은 레티클(1284)을 사용자의 FOV의 상이한 위치들에서 렌더링할 수 있다. 장면(1260b)에서, 레티클(1284)은 포지션(1286b)으로 이동된다. 이러한 이동의 결과로서, 레티클(1284)은 더 이상 타겟(1282)과 정렬되지 않는다.
[0140] 사용자는, 레티클(1284)과 타겟(1282)을 재정렬시키기 위해 자신의 안구들을 회전시키고 그리고/또는 자신의 머리(1272)를 움직일 필요가 있을 수 있다. 장면(1260c)에 도시된 바와 같이, 사용자의 머리는 포지션(1276c)으로 기울어진다. 장면(1260c)에서, 웨어러블 시스템은 사용자의 머리 포즈 및 눈 시선을 분석하고, 사용자의 시선 방향이 방향(1278a)과 비교하여 이제 방향(1278c)에 있다고 결정할 수 있다. 사용자의 머리 움직임으로 인해, 레티클(1284)은 포지션(1286c)으로 이동되고, 장면(1260c)에 도시된 바와 같이 타겟(1282)과 정렬된다.
[0141] 도 12c에서, 레티클(1284)의 위치는 리그 공간에서의 포지션과 연관될 수 있다. 타겟(1282)의 위치는 세계 공간에서의 포지션과 연관될 수 있다. 결과적으로, 레티클(1284)과 디스플레이(220) 사이의 상대적인 포지션들은 장면들(1260b 및 1260c)에서 사용자의 머리 포즈가 변하였을지라도 변하지 않는다. 웨어러블 시스템들은 레티클을 정렬시킬 수 있고, 타겟은 리그 공간에서의 레티클의 포지션과 세계 공간에서의 레티클의 포지션을 정렬시킬 수 있다.
[0142] 유리하게는, 일부 실시예들에서, 웨어러블 시스템은 교정 프로세스에 의해 야기되는 불편함 및 눈의 피로를 감소시키기 위해 사용자의 전정-안구 반사를 이용할 수 있다. 웨어러블 시스템은 머리 포즈에 기반하여 눈 시선을 자동으로 추적 및 추론할 수 있다. 예컨대, 사용자의 머리가 우측으로 움직일 때, 웨어러블 시스템은 전정-안구 반사 하에서 자연스럽게 눈들이 좌측으로 움직인다는 것을 추적하고 추론할 수 있다.
[0143] 도 13a는 레티클이 사용자의 FOV(1350)의 중심에 있는 눈 시선을 검증하는 예를 예시한다. 도 13a에서, 3개의 시간-순차적인 장면들(1310, 1312 및 1314)이 도시된다. 이 예에서, 사용자는 눈 교정 타겟(1354) 및 레티클(1352)을 지각할 수 있다. 타겟(1354)(예컨대, 다이아몬드-형상 그래픽)은 사용자의 환경의 3-차원 공간에 고정된 것으로 디스플레이되고, 가상 레티클로부터 떨어져(예컨대, 사용자의 FOV의 중심에서 벗어나) 위치된다. 레티클(1352)(예컨대, 후프 또는 링-형상 그래픽)은 사용자의 FOV(1350)의 중심 또는 그 근처에 고정된 것으로 디스플레이된다. 예컨대, 중심 또는 그 근처에서의 FOV는 10° 미만, 5° 미만, 1° 미만 등의 각도 오프셋을 포함할 수 있다.
[0144] 장면(1310)에서, 레티클(1352)은 타겟(1354)과 정렬되지 않으며, 여기서 레티클(1352)은 타겟(1354)의 약간 아래에 있다. 도 12c를 참조하여 설명된 바와 같이, 사용자는 레티클(1352)과 타겟(1354)을 정렬시키기 위해 자신의 머리를 이리저리 움직일 수 있다. 웨어러블 시스템은 도 2를 참조하여 설명된 IMU들을 사용하여 사용자의 머리 움직임을 검출할 수 있다. 특정 실시예들에서, 머리 포즈들은 다른 소스들, 이를테면, HMD 외부의 센서(예컨대, 사용자의 방에 있는 카메라) 또는 외향 이미징 시스템(464)에 의해 관찰된 사용자의 머리의 반사된 이미지로부터 획득된 데이터에 기반하여 결정될 수 있다. 장면(1312)에 예시된 바와 같이, 사용자는 레티클(1352)과 타겟(1354)을 정렬시키려고 자신의 머리를 위로 움직일 수 있다. 일단 레티클이 장면(1314)에 예시된 바와 같은 포지션에 도달하면, 웨어러블 시스템은, 레티클(1352)이 눈 교정 타겟(1354)과 적절하게 정렬되었고, 따라서 사용자의 머리가 눈 교정 타겟을 보기에 적절히 포지셔닝된다고 결정할 수 있다.
[0145] 웨어러블 시스템은, 레티클과 눈 교정 타겟 간의 정렬을 계산하기 위해 다양한 기술들을 사용할 수 있다. 일 예로서, 웨어러블 시스템은 레티클과 눈 교정 타겟 사이의 상대적인 포지션들을 결정할 수 있다. 눈 교정 타겟이 레티클 내에 있거나 눈 교정 타겟 중 일부가 레티클과 겹치는 경우, 웨어러블 시스템은 레티클이 눈 교정 타겟과 정렬되었다고 결정할 수 있다. 웨어러블 시스템은 또한, 레티클의 중심 및 타겟이 충분히 일치하면, 레티클 및 타겟이 정렬된 것으로 결정할 수 있다. 특정 실시예들에서, 타겟이 세계 공간에 있는 동안 레티클이 리그 공간에 있기 때문에, 웨어러블 시스템은, 레티클이 타겟과 정렬되는지 여부를 결정하기 위해, 리그 공간과 연관된 좌표계와, 세계 공간과 연관된 좌표계를 정렬시키도록 구성될 수 있다. 웨어러블 시스템은, 레티클과 타겟 사이의 상대적인 오프셋이 임계치(예컨대, 위에 설명된 바와 같은 각도 임계치)보다 작다고 결정함으로써, 그들이 겹치는지 또는 일치하는지를 결정할 수 있다. 일부 예들에서, 이 임계치는, 도 14a 및 14b를 참조하여 아래에 더 상세히 설명되는 바와 같이, 사용자 머리 포즈와 연관된 하나 이상의 임계치들에 대응할 수 있다.
[0146] 웨어러블 시스템은 또한, 레티클과 눈 교정 타겟 사이의 정렬이 발생하는 머리 포즈를 나타내는 타겟 머리 포즈를 식별할 수 있다. 웨어러블 시스템은, 사용자가 실제로 타겟을 보고 있음을 검증하기 위해, 사용자의 현재 머리 포즈와 타겟 머리 포즈를 비교할 수 있다. 타겟 머리 포즈는 3D 공간에서의 레티클의 포지션 또는 타겟의 포지션에 특정적일 수 있다. 일부 실시예들에서, 타겟 머리 포즈는 사용자 또는 다른 사람들(이를테면, 예컨대, 웨어러블 시스템의 이전 사용자들, 하나 이상의 서버들과 네트워크 통신하는 다른 유사한 웨어러블 시스템들 또는 웨어러블 시스템과 통신하는 다른 컴퓨팅 디바이스들의 사용자들 등)과 연관된 데이터에 기반하여 추정될 수 있다.
[0147] 특정 실시예들에서, 웨어러블 시스템은, 타겟과 레티클 사이의 정렬을 결정하기 위해 광선 캐스팅 또는 원뿔 캐스팅 기술들을 사용할 수 있다. 예컨대, 웨어러블 시스템은 광선 또는 원뿔(광선을 가로지르는 볼륨을 포함함)을 캐스팅하고, 광선/원뿔과 타겟 사이의 충돌을 검출함으로써 정렬을 결정할 수 있다. 웨어러블 시스템은, 광선/원뿔 중 일부가 타겟과 교차하면 또는 타겟이 원뿔의 볼륨 내에 있을 때, 충돌을 검출할 수 있다. 광선/원뿔의 방향은 사용자의 머리 또는 눈 시선에 기반할 수 있다. 예컨대, 웨어러블 시스템은 사용자의 눈들 사이에 있는 위치로부터 광선을 캐스팅할 수 있다. 레티클은 광선/원뿔 중 일부를 반사시킬 수 있다. 예컨대, 레티클의 형상은 원뿔의 원위 단부(예컨대, 사용자로부터 떨어진 원뿔의 단부)의 형상과 매칭할 수 있다. 원뿔이 기하학적 원뿔인 경우, 레티클은 원형 또는 타원형 형상(원뿔의 단면과 같은 원뿔의 일부를 나타낼 수 있음)을 가질 수 있다. 특정 구현들에서, 레티클이 리그 공간에서 렌더링되기 때문에, 사용자가 이리저리 움직일 때, 웨어러블 시스템은, 광선과 사용자의 HMD 사이의 상대적인 포지션들이 변하지 않더라도, 광선/원뿔의 방향을 업데이트할 수 있다.
[0148] (예컨대, 레티클이 타겟과 정렬되기 때문에) 일단 사용자가 타겟을 보고 있다고 웨어러블 시스템이 결정하면, 웨어러블 시스템은, 예컨대, 내향 이미징 시스템(462)을 사용하여 교정 목적으로 눈 시선 데이터를 수집하기 시작할 수 있다. 일부 예들에서, 웨어러블 시스템은 하나 이상의 눈 추적 센서들 또는 프로세싱 모듈(예컨대, 로컬 프로세싱 데이터 모듈)의 출력을 일상적으로 플러싱되는 일시적인 데이터 저장소(이를테면, 예컨대, 캐시 메모리)에 초기에 저장할 수 있다. 사용자가 실제로 타겟을 보고 있다는 결정에 대한 응답으로, 웨어러블 시스템은, 추가의 분석 또는 장기간 저장을 위해, 출력 데이터를 일시적인 데이터 저장소로부터 다른 데이터 저장소, 이를테면, 예컨대, 디스크 또는 다른 메모리 위치에 전달할 수 있다.
[0149] 눈 시선 데이터가 수집된 후, 시스템은 눈 추적 교정 프로세스를 종료할 수 있거나, 추가적인 눈 시선 데이터가 수집될 수 있도록 다른 눈 교정 타겟 또는 레티클을 렌더링하도록 진행할 수 있다. 예컨대, 웨어러블 시스템은, 웨어러블 시스템이 도 13a에 도시된 장면(1314)에서 눈 데이터를 수집한 후, 도 13b의 장면(1320)에 도시된 바와 같이 사용자의 FOV(1350) 내의 상이한 위치에 레티클(1352)을 제공할 수 있다. 일부 실시예들에서, 웨어러블 시스템은, 각각의 프레임이 눈 추적 교정 프로세스들에 사용하기에 적합한 데이터를 나타내는지 여부를 결정하기 위해, 한 세트의 기준들에 대해 수집된 각각의 프레임을 평가할 수 있다. 정해진 프레임에 대해, 이러한 평가는, 예컨대, 프레임의 수집 시에 사용자가 깜박였는지 여부를 결정하는 것, 프레임의 수집 시에 타겟 및 레티클이 서로 적절히 정렬되었는지 여부를 결정하는 것, 프레임의 수집 시에 사용자의 눈이 성공적으로 검출되었는지 여부를 결정하는 것 등을 포함할 수 있다. 이들 실시예들에서, 웨어러블 시스템은 한 세트의 기준들을 충족시키는 프레임들의 임계 수량(예컨대, 120개의 프레임들)이 수집되었는지 여부를 결정하고, 프레임들의 임계 수량이 만족되었다는 결정에 대한 응답으로, 웨어러블 시스템은 눈 추적 교정 프로세스를 종료할 수 있다. 웨어러블 시스템은, 프레임들의 임계 수량이 아직 만족되지 않았다는 결정에 대한 응답으로, 다른 눈 교정 타겟 또는 레티클을 렌더링하도록 진행할 수 있다.
[0150] 도 13b는 레티클이 사용자의 FOV(1350)의 중심에서 벗어난 위치에서 렌더링되는 눈 시선을 검증하는 예를 예시한다. 도 13b의 가상 레티클의 위치는 도 13a의 가상 레티클의 위치와 상이하다. 예컨대, 도 13a에서, 가상 레티클의 위치는 사용자의 FOV의 중심 또는 그 근처에 있는 반면에, 도 13b에서, 가상 레티클의 위치는 사용자의 FOV의 중심에서 벗어난 것이다. 마찬가지로, 도 13a의 타겟의 위치(예컨대, FOV의 최상부를 향함)는 도 13b의 타겟의 위치(예컨대, FOV의 중심 또는 그 근처에 있음)와 상이하다. 도 13b에서, 3개의 시간-순차적인 장면들(1320, 1322 및 1324)이 도시된다. 이 예에서, 레티클(1352)은 사용자의 FOV(1350)의 우측에서 렌더링되고, 타겟(1354)은 사용자의 FOV(1350)의 중심 근처에서 렌더링된다. 장면(1314)으로부터 장면(1320)까지, 레티클(1352)이 렌더링되는 사용자의 FOV(1350)에서의 위치가 업데이트되었지만, 타겟(1354)이 렌더링되는 환경에서의 위치가 실질적으로 동일하게 유지되는 것을 알 수 있다. 레티클(1352)과 타겟(1354)을 정렬시키기 위해, 사용자는 레티클과 눈 교정 타겟과 정렬시키기 위해 자신의 머리를 좌측으로 회전시킬 수 있다(예컨대, 예시적인 장면들(1322 및 1324) 참조). 일단 타겟(1354)이 레티클(1352) 내에 있다고 웨어러블 시스템이 결정하면, 웨어러블 시스템은 도 13a를 참조하여 위에 설명된 예와 유사한 방식으로 눈 시선 데이터를 수집하기 시작할 수 있다. (예컨대, 타겟과 레티클이 더 이상 충분히 정렬되지 않도록) 사용자의 눈 시선이 움직인 경우, 웨어러블 시스템은 눈 시선 데이터를 수집하는 것을 정지시킬 수 있는데, 왜냐하면 사용자가 더 이상 타겟을 보고 있지 않고, 임의의 획득된 데이터가 더 낮은 품질을 가질 것이기 때문이다.
[0151] 특정 실시예들에서, 웨어러블 시스템은, 레티클(1352)이 타겟(1354)과 정렬되는 타겟 머리 포즈를 계산할 수 있다. 웨어러블 시스템은 사용자가 움직임에 따라 사용자의 머리 포즈를 추적할 수 있다. 일단 사용자가 타겟 머리 포즈(예컨대, 장면들(1314 또는 1324)에 도시된 머리 포즈)를 취했다고 웨어러블 시스템이 결정하면, 웨어러블 시스템은 타겟(1354) 및 레티클(1352)이 정렬된다고 결정할 수 있고, 웨어러블 시스템은 머리가 타겟 머리 포즈에 있을 때 눈 이미지들을 수집할 수 있다.
눈 시선 검증을 이용한 눈 추적 교정의 예시적인 프로세스들
[0152] 도 14a는 눈 시선 검증을 이용한 눈 추적 교정 프로세스에 대한 예시적인 흐름도를 예시한다. 예시적인 프로세스(1400)는, 예컨대, 원격 프로세싱 모듈(270) 또는 로컬 프로세싱 및 데이터 모듈(260)과 같은, 웨어러블 시스템(200)의 하나 이상의 컴포넌트들에 의해 단독으로 또는 조합하여 수행될 수 있다. 웨어러블 시스템(200)의 디스플레이(220)는 타겟들 또는 레티클들을 사용자에게 제공할 수 있고, 내향 이미징 시스템(462)은 눈 시선 결정을 위해 눈 이미지들을 획득할 수 있고, IMU들, 가속도계들 또는 자이로스코프들은 머리 포즈를 결정할 수 있다.
[0153] 블록(1410)에서, 웨어러블 시스템은 사용자의 환경에서 눈 교정 타겟을 렌더링할 수 있다. 눈 교정 타겟은 (환경에 관련하여 좌표계로 표현될 수 있는) 세계 공간에서 렌더링될 수 있다. 눈 교정 타겟은, 1D, 2D 및 3D 이미지들을 포함할 수 있는 다양한 그래픽 형태들로 표현될 수 있다. 눈 교정 타겟은 또한 정지 또는 움직이는 이미지들(이를테면, 예컨대, 애니메이션들)을 포함할 수 있다. 도 13a를 참조하면, 눈 교정 타겟은 개략적으로 다이아몬드로 표현된다.
[0154] 블록(1420)에서, 웨어러블 시스템은 렌더링되는 눈 교정 타겟과 연관된 머리 포즈 범위를 식별할 수 있다. 머리 포즈 범위는 복수의 머리 포즈들(예컨대, 2, 3, 4, 5, 10개 이상)을 포함할 수 있다. 머리 포즈는 사용자의 머리의 포지션 및 배향을 설명할 수 있다. 포지션은 병진운동 좌표 값들(이를테면, 예컨대, 도 6에 도시된 x-y-z 좌표계에서의 좌표 값들)로 표현될 수 있다. 배향은 머리의 자연스러운 휴식 상태에 대한 각도 값들로 표현될 수 있다. 예컨대, 각도 값들은 머리를 앞뒤로 기울임(예컨대, 피칭(pitching)), 좌우로 돌림(예컨대, 요잉(yawing)) 및 측면으로 기울임(예컨대, 롤링)을 나타낼 수 있다. 웨어러블 시스템은 머리 포지션들의 범위 및 머리 배향들의 범위를 식별할 수 있으며, 이들은 함께, 레티클 및 타겟이 서로 충분히 정렬되는 것으로 간주되는 머리 포즈의 범위를 지정할 수 있다. 이러한 범위의 한계들은 임계치들에 대응하는 것으로 볼 수 있다. 이 범위 내에 속하는 머리 포즈들은, 레티클이 사용자의 FOV의 상이한 구역들에 나타나는 동안 사용자가 타겟 및 레티클을 정렬시키기 위해, 타겟 머리 포즈들에 대응할 수 있다. 도 13a 및 13b를 참조하면, 머리 포즈들의 범위는 머리 포즈들(1314 및 1324)을 포함할 수 있고, 웨어러블 시스템은, 머리 포즈들(1314 및 1324)에 대응하는 머리 포지션들 및 배향들이 각각 식별된 머리 포지션들의 범위 및 머리 배향들의 범위 내에 속하고, 따라서 충분한 레티클-타겟 정렬의 하나 이상의 임계치들 또는 다른 요건들을 충족시킨다고 결정할 수 있다.
[0155] 웨어러블 시스템은 (예컨대, 사용자의 머리의 반사된 이미지를 추적하기 위해) HMD 내부의 센서들, 이를테면, 예컨대, IMU 또는 외향 이미징 시스템 또는 HMD 외부의 센서들(이를테면, 예컨대, 사용자의 방의 벽에 장착된 카메라)를 사용하여 머리 포즈들을 추적할 수 있다. 블록(1430)에서, 웨어러블 시스템은 사용자의 현재 머리 포즈를 나타내는 데이터를 수신할 수 있다. 데이터는 사용자의 머리의 현재 포지션 및 배향 또는 3D 공간에서의 사용자의 머리의 움직임들을 포함할 수 있다. 예컨대, 도 13a에서, 사용자가 장면(1310)에 도시된 포지션으로부터 장면(1314)에 도시된 포지션으로 머리를 움직임에 따라, 웨어러블 시스템은 사용자의 머리 움직임들을 추적 및 기록할 수 있다.
[0156] 블록(1440)에서, 웨어러블 시스템은, 블록(1430)으로부터 획득된 데이터에 기반하여, 사용자가 식별된 머리 포즈들의 범위 내에 속하는 머리 포즈를 취했는지 여부를 결정할 수 있다. 웨어러블 시스템은, 사용자의 머리 포즈가 레티클로 하여금 타겟과 정렬시키게 할 수 있는 포지션 또는 배향에 있는지 여부를 결정할 수 있다. 예로서, 웨어러블 시스템은, 사용자의 머리 포즈와 연관된 머리 포지션 및 머리 배향 둘 모두가 식별된 머리 포지션들의 범위 및 식별된 머리 배향들의 범위 내에 속하는지 여부를 결정할 수 있다. 웨어러블 시스템은, 사용자의 머리 포즈와 연관된 머리 포지션과, 식별된 머리 포지션들의 범위의 한계들을 정의하는 임계값들(예컨대, 병진운동 좌표 값들)을 비교함으로써, 그리고 사용자의 머리 포즈와 연관된 머리 배향과, 식별된 머리 배향들 범위의 한계들을 정의하는 임계값들(예컨대, 각도 값들)을 비교함으로써 이러한 결정을 할 수 있다. 도 13a를 참조하면, 웨어러블 시스템은 사용자가 1314에 도시된 머리 포즈를 취했는지 여부를 결정할 수 있다. 사용자가 식별된 머리 포즈들의 범위 내에 속하는 머리 포즈를 취하지 않았고, 따라서 레티클 및 타겟이 서로 충분히 정렬된 것으로 간주되는 머리 포즈를 취하지 않았다면, 웨어러블 시스템은, 블록(1430)에 도시된 바와 같이, 사용자의 머리 포즈와 연관된 데이터를 계속해서 획득 및 분석할 수 있다.
[0157] 선택적으로, 1450에서, 웨어러블 시스템은, 사용자의 머리가 적절하게 포지셔닝되었음을 나타내는 피드백(예컨대, 시각, 청각, 햅틱 등)을 사용자에게 제공할 수 있다. 예컨대, 시각 피드백은 타겟 또는 레티클의 컬러 변화 또는 깜박임 효과를 포함할 수 있으며, 이는, 레티클 및/또는 눈 교정 타겟으로 하여금 깜박이거나 컬러를 변경하게 함으로써, 레티클이 타겟과 정렬되도록 사용자의 머리가 적절히 포지셔닝된다는 것을 나타낼 수 있다. 일부 실시예들에서, 블록들(1410-1450)은 눈 시선 검증 프로세스의 일부이다.
[0158] 사용자의 머리가 식별된 머리 포즈들 중 하나에 있다고 결정되면, 블록(1460)에서, 웨어러블 시스템은 눈 교정 타겟과 연관하여 사용자의 눈 시선을 나타내는 데이터를 수신하고 저장할 수 있다. 도 13a의 맥락 내에서, 사용자의 머리 포즈가 장면(1314)에 도시된 포지션 및 배향에 있음을 웨어러블 시스템이 검출할 때, 웨어러블 시스템은 하나 이상의 눈 추적 센서들(예컨대, 내향 이미징 시스템(462)의 눈 카메라들)로부터 데이터를 수신하고 저장할 수 있다.
[0159] 블록(1470)에서, 웨어러블 시스템은, 눈 추적 교정 동안 추가적인 데이터가 수집되어야 하는지 여부를 결정할 수 있다. 예컨대, 웨어러블 시스템은, 교정 프로세스를 업데이트하거나 완료하기 위해 다른 눈 시선 방향에서의 눈 이미지들이 수집되어야 하는지 여부를 결정할 수 있다. 추가적인 눈 교정 데이터가 수집되어야 한다고 결정되면, 웨어러블 시스템은 프로세스(1400)를 반복하기 위해 블록(1410)으로 복귀할 수 있다. 예컨대, 도 13a 및 13b를 참조하면, 사용자(210)가 장면(1314)에 예시된 포지션에 있을 때, 웨어러블 시스템이 눈 이미지들을 수집한 후에, 웨어러블 시스템은 장면(1322)에 도시된 바와 같이 타겟(1354)을 렌더링할 수 있다.
[0160] 특정 실시예들에서, 사용자가 실제로 타겟을 응시하고 있을지라도, (예컨대, 사용자가 깜박이기 때문에) 웨어러블 시스템에 의해 획득된 이미지들은 만족스럽지 않은 것으로 간주될 수 있다. 결과적으로, 프로세스는 블록(1460)으로 복귀하여 추가적인 이미지들을 촬영할 수 있다.
[0161] 추가적인 눈 교정 데이터가 수집될 필요가 없다고 결정되면, 블록(1480)에서, 웨어러블 시스템은 프로세스(1400)를 종료하고, 눈 추적 교정을 위해 저장된 눈 시선 데이터를 사용할 수 있다. 예컨대, 저장된 데이터는 위에 설명된 맵핑 매트릭스를 생성하는 데 사용될 수 있다.
[0162] 도 14b는 예시적인 눈 시선 검증 프로세스를 예시한다. 예시적인 프로세스(1490)는, 예컨대, 원격 프로세싱 모듈(270) 및 로컬 프로세싱 및 데이터 모듈(260)과 같은, 웨어러블 시스템의 하나 이상의 컴포넌트들에 의해 단독으로 또는 조합하여 수행될 수 있다. 웨어러블 시스템은 HMD를 포함할 수 있다. 웨어러블 시스템(200)의 디스플레이(220)는 타겟들 또는 레티클들을 사용자에게 제공할 수 있고, 내향 이미징 시스템(462)은 눈 시선 결정을 위해 눈 이미지들을 획득할 수 있고, IMU들, 가속도계들 또는 자이로스코프들은 머리 포즈를 결정할 수 있다.
[0163] 블록(1492a)에서, 웨어러블 시스템은 사용자의 환경과 연관된 세계 공간에서 타겟을 결정할 수 있다. 타겟은 세계 공간에서 정해진 포지션에 고정될 수 있다. 타겟은 디스플레이(220)에 의해 렌더링된 가상 객체 또는 사용자의 환경의 물리적 객체(예컨대, 꽃병, 선반, 냄비, 책, 그림 등)일 수 있다. 가상 타겟은 도 12a, 12b 및 18을 참조하여 설명된 바와 같이 다양한 외관들을 가질 수 있다. 세계 공간은 도 9에 도시된 세계 맵(920)을 포함할 수 있다. 세계 공간에서의 타겟의 위치는 3D 세계 좌표계에서의 포지션으로 표현될 수 있다.
[0164] 블록(1492b)에서, 웨어러블 시스템은 사용자의 HMD와 연관된 리그 공간에서 레티클을 결정한다. 레티클은 사용자의 FOV에서 미리 결정된 위치에서 HMD에 의해 렌더링될 수 있다. 리그 공간은 세계 좌표계와 별개인 좌표계와 연관될 수 있다.
[0165] 블록(1494)에서, 웨어러블 시스템은 사용자의 머리 포즈를 추적할 수 있다. 웨어러블 시스템은 사용자의 HMD의 IMU 또는 외향 이미징 시스템에 기반하여 머리 포즈를 추적할 수 있다. 웨어러블 시스템은 또한, 사용자 방의 웹 카메라 또는 토템(사용자 환경을 이미징하도록 구성될 수 있음)과 같은 다른 디바이스들을 사용하여 머리 포즈를 추적할 수 있다. 사용자의 머리 포즈가 변할 때, 레티클과 타겟 사이의 상대적인 포지션이 또한 변할 수 있다.
[0166] 블록(1496)에서, 웨어러블 시스템은, 머리 포즈에 기반하여, 레티클과 타겟 사이의 상대적인 포지션을 업데이트할 수 있다. 예컨대, 타겟이 레티클의 우측에 있고 사용자가 자신의 머리를 우측으로 돌리는 경우, 레티클은 타겟에 더 가깝게 있는 것처럼 보일 수 있다. 그러나, 사용자가 자신의 머리를 좌측으로 돌리면, 레티클은 타겟에서 더 멀리 이동하는 것처럼 보일 수 있다.
[0167] 블록(1498a)에서, 웨어러블 시스템은 타겟 및 레티클이 정렬되는지 여부를 결정할 수 있다. 정렬은 광선/원뿔 캐스팅을 사용하여 수행될 수 있다. 예컨대, 웨어러블 시스템은 레티클로부터 광선을 캐스팅하고, 타겟이 광선과 교차하는지 여부를 결정할 수 있다. 타겟이 광선과 교차하면, 웨어러블 시스템은 타겟 및 레티클이 정렬된 것으로 결정할 수 있다. 웨어러블 시스템은 또한, 사용자의 머리 포즈에 기반하여, 리그 공간에서의 포지션과 세계 공간에서의 포지션 사이의 오프셋을 결정할 수 있다. 웨어러블 시스템은, 레티클(또는 타겟)에 오프셋을 적용함으로써 세계 공간에서의 타겟 위치와 리그 공간에서의 레티클 위치를 정렬시키고, 레티클의 포지션이 타겟의 포지션과 일치한다고 결정할 수 있다. 일부 상황들에서, 오프셋은 리그 공간으로부터 레티클의 포지션을 세계 공간에서의 대응하는 포지션으로 변환하는 데 사용될 수 있다. 레티클과 타겟 사이의 정렬은 세계 공간을 참조하여 레티클 및 타겟의 좌표 값들에 기반하여 결정될 수 있다.
[0168] 타겟 및 레티클이 정렬되지 않으면, 웨어러블 시스템은 블록(1494)에서 머리 포즈를 계속 추적할 수 있다. 타겟 및 레티클이 정렬되면, 웨어러블 시스템은 사용자가 실제로 타겟을 보고 있다고 결정할 수 있고, 블록(1498b)에서, 사용자의 눈 시선 방향이 검증되었다는 표시를 제공할 수 있다. 표시는 오디오, 시각 또는 촉각 효과를 포함할 수 있다.
[0169] 일부 실시예들에서, 웨어러블 시스템은 눈 추적 교정을 위해 일련의 레티클들(예컨대, 각각의 레티클이 도 12b에 도시된 상이한 눈 시선 구역에 있음)을 제공할 수 있다. 결과적으로, 블록(1498b) 후에, 웨어러블 시스템은 블록(1492a)에서 선택적으로 재시작하고, 리그 공간의 새로운 위치에 레티클을 제공할 수 있다. 사용자는, 사용자의 머리 포즈를 변경함으로써 새로운 위치에서의 레티클과 타겟을 다시 정렬시키려고 시도할 수 있다.
동적으로 조정 가능한
레티클의
예들
[0170] 레티클은, 예컨대 컬러, 형상, 크기, 그래픽 등과 같은 다양한 외관들을 가질 수 있다. 레티클의 외관은 눈 추적 교정 프로세스에 수반된 파라미터들에 의존한다. 레티클의 외관들은 맥락 정보에 기반하여 동적으로 조정될 수 있다. 맥락 정보는 타겟의 특징들(예컨대, 타겟의 크기 또는 위치), 사용자와 연관된 정보(예컨대, 사용자의 포지션), 또는 눈 추적 교정 프로세스에 요구되는 정렬 정밀도를 포함할 수 있다. 예컨대, 웨어러블 시스템은 타겟이 크면 더 큰 레티클을 사용하는 반면에, 타겟이 작으면 더 작은 레티클을 사용할 수 있다. 일부 실시예들에서, 웨어러블 시스템은 타겟이 상대적으로 사용자 근처에 포지셔닝되면 상대적으로 더 큰 레티클을 사용할 수 있고, 타겟이 사용자로부터 상대적으로 멀리 떨어져 포지셔닝되면 상대적으로 더 작은 레티클을 사용할 수 있다.
[0171] 일부 예들에서, 레티클의 크기는, 도 14a를 참조하여 위에 설명된 바와 같이, 블록(1420)의 동작의 실행을 통해 웨어러블 시스템에 의해 식별된 머리 포즈들의 범위의 크기에 관한 유익한 정보를 제공할 수 있다. 예컨대, 레티클의 크기가 작은 경우, 머리 포즈들의 범위는 상대적으로 클 수 있는데, 왜냐하면 사용자가 레티클과 타겟을 정렬시키기 위해 자신의 머리를 정확하게 포지셔닝시키는 것이 더 어려울 수 있기 때문이다. 반면에, 레티클의 크기가 큰 경우, 정렬에서의 에러 레이트들을 감소시키기 위해 머리 포즈들의 범위가 상대적으로 작을 수 있다.
[0172] 일반적으로 더 큰 레티클과 타겟을 정렬시키는 것이 더 용이하지만, 더 큰 레티클은 더 작은 레티클보다 덜 신뢰할 수 있거나 덜 정확한 교정 데이터를 생성할 수 있다. 결과적으로, 눈 추적 교정에 사용된 데이터가 높은 정밀도를 요구하면, 웨어러블 시스템은 더 작은 레티클을 렌더링할 수 있는 반면에, 눈 추적 교정에 사용되는 데이터가 낮은 정밀도를 요구하면, 더 큰 레티클을 렌더링할 수 있다. 일부 구현들에서, 시스템은, 사용자 또는 특정 사용자 애플리케이션에 충분한 신뢰성과 정확도의 눈 추적 교정을 생성하기 위해 충분한 데이터가 수집될 때까지, 제1 교정 데이터 세트를 획득하기 위해 더 큰 레티클로 시작하고, 이어서 제2 교정 데이터 세트를 획득하기 위해 더 작은 레티클을 사용하고, 이러한 식이다. 따라서, 웨어러블 시스템은 눈 교정 프로세스 동안 레티클 크기(또는 교정 절차의 다른 양상들)를 동적으로 조정할 수 있다.
[0173] 도 15a 및 15b는 타겟과 레티클 사이의 거리에 기반하여 레티클의 크기를 동적으로 조정하는 예들을 예시한다. 도 15a 및 15b에서, 사용자는 디스플레이(220)를 통해 도어(1510)와 같은 실제 객체들 및 장면(1500a)에서 타겟(1530) 및 레티클(1520)과 같은 가상 객체들을 지각할 수 있다. 타겟(1530)은 사용자의 3D 공간 내의 위치에 고정될 수 있다. 사용자는 도어(1510)를 향해 이동하고, 도 15b에 도시된 장면(1500b)을 지각할 수 있다. 장면(1500b)에서, 타겟(1530)은 3D 공간에서 동일한 포지션에 위치되지만, 타겟(1530)이 장면(1500a)에서보다 장면(1500b)에서 사용자에 더 가깝기 때문에, 타겟(1530)은 장면(1500b)에서 더 큰 것처럼 보인다.
[0174] 웨어러블 시스템은 사용자와 타겟(1530) 사이의 상대적인 위치에 기반하여 레티클(1520)의 크기를 동적으로 조정할 수 있다. 예컨대, 레티클(1520)은 장면(1500b)의 레티클(1520)보다 장면(1500a)에서 크기가 더 작게 보이는데, 왜냐하면 타겟이 사용자에 대해 더 멀리 떨어져 있기(그리고 결과적으로 더 작게 보이기) 때문이다. 유사하게, 레티클(1520)은 장면(1500a)의 레티클(1520)보다 장면(1500b)에서 크기가 더 크게 보이는데, 왜냐하면 타겟이 사용자에 대해 더 가깝기(그리고 결과적으로 더 크게 보이기) 때문이다. 유리하게는, 일부 실시예들에서, 사용자와 타겟(1530) 사이의 거리에 기반하여 레티클(1520)의 크기를 동적으로 조정함으로써, 웨어러블 시스템은 정렬의 정확도를 조정할 수 있다. 예컨대, 장면(1500a)에서 레티클(1520)을 상대적으로 작은 크기로 제공함으로써, 타겟(1530)이 레티클(1520) 내에 속할 가능성은 또한 (타겟(15030)이 장면 1500b)에서 레티클(1520) 내에 속할 가능성과 비교하여) 상대적으로 낮을 것이며, 이로써 이는 머리/눈 시선을 더 정확하게 포지셔닝하도록 사용자에게 요구한다.
[0175] 레티클의 크기 외에도 또는 대안적으로, 레티클의 다른 특징들은 또한 맥락 정보에 기반하여 조정될 수 있다. 예컨대, 도 16a 및 16b를 참조하여 아래에 더 상세히 설명되는 바와 같이, 레티클의 형상은 타겟의 형상과 유사할 수 있다. 다른 예로서, 레티클의 외관은, 웨어러블 시스템이 정렬을 결정하기 위해 원뿔 캐스팅 기술을 사용한다는 것을 나타내는 기하학적 원뿔일 수 있다. 또 다른 예로서, 레티클의 컬러는 타겟의 컬러와 상이할 수 있어서, 사용자가 타겟으로부터 레티클을 구별할 수 있고, 이는 사용자가 레티클과 타겟을 정렬시키는데 도움을 줄 수 있다. 도 15a 및 15b에서 가상 타겟으로 제공되었지만, 타겟은 도어(1510) 상의 도어 손잡이(1512)와 같은, 사용자 환경의 물리적 객체일 수 있다. 웨어러블 시스템은 도 7을 참조하여 설명된 객체 인식기들(708)을 사용하여 물리적 객체들을 잠재적 타겟들로서 식별할 수 있다.
레티클
외관의 예들
[0176] 위에서 언급된 바와 같이, 레티클의 외관은 다양한 상이한 컬러들, 형상들, 크기들, 그래픽들 등 중 임의의 것을 취할 수 있다. 예컨대, 레티클의 형상은 타겟의 형상과 유사할 수 있다. 이것은, 타겟이 레티클 내에 속할 가능성을 낮추는 역할을 할 수 있는데(이는 정렬 정확도를 증가시킬 수 있음), 왜나하면 레티클 및 타겟이 서로 적절히 정렬되는 것으로 결정되는 머리 포즈들이 상대적으로 적을 것이기 때문이다. 도 16a 및 16b는 형상의 유사한 레티클 및 타겟의 예들을 예시한다. 도 16a 및 16b에서, 사용자는 디스플레이(220)를 통해 도어(1610)와 같은 실세계 객체들 및 장면(1600a)에서 타겟(1630) 및 레티클(1620)과 같은 가상 객체들을 지각할 수 있다. 타겟(1630)은 사용자의 3D 공간에서의 위치에 고정될 수 있는 반면, 레티클(1620)은 리그 공간의 위치에서 렌더링될 수 있다.
[0177] 이 예에서, 타겟(1630) 및 레티클(1620) 둘 모다가 다이아몬드 또는 다이아몬드형 형상을 갖는 것을 알 수 있다. 그러나, 사용자는, 장면(1600a)에서의 타겟(1630) 및 레티클(1620)이 상이한 배향들을 갖는 것으로 지각할 수 있다. 결과적으로, 타겟(1630) 및 레티클(1620)을 정렬시키기 위해, 사용자는 타겟(1630), 도어(1610) 및 사용자의 3D 공간에 고정된 임의의 다른 물리적 또는 가상 객체들에 대해 레티클(1620)을 효과적으로 회전시키기 위해 자신의 머리를 재배향시킬 필요가 있을 수 있다. 재배향 후의 사용자의 머리 포즈는, 타겟(1630) 및 레티클(1620)이 정렬되었는지를 결정하기 위해 하나 이상의 임계치들과 비교될 수 있다. 예컨대, 웨어러블 시스템은, 사용자의 머리 포즈가 수용 가능한 머리 포즈들의 범위 내에 있는지 또는 타겟(1630)이 (전체적으로 또는 50 % 초과, 60 % 초과, 75 % 초과, 90 % 초과 또는 그 초과와 같이 주요 부분으로서) 레티클(1620) 내에 있는지를 결정할 수 있다.
[0178] 사용자는 재배향시키기 위해 자신의 머리를 기울이거나 돌릴 수 있다. 사용자는 재배향 후 도 16b에 도시된 장면(1600b)을 지각할 수 있다. 장면(1600b)에서, 타겟(1630)은 도 16a의 타겟(1630)과 3D 공간에서 동일한 포지션에 위치되지만, 사용자가 자신의 머리를 재배향시켰기 때문에, 타겟(1630) 및 레티클(1620)은, 서로 실질적으로 유사한 배향들을 갖거나, 장면(1600a)에서 타겟(1630) 및 레티클(1620)의 배향들과 적어도 유사한 배향들을 갖는 것처럼 보인다. 웨어러블 시스템은, 도 16b에 도시된 방식으로 레티클(1620)과 타겟(1630)을 정렬시키기 위해 사용자에 의해 취해진 머리 포즈가 본원에 설명된 임계치들 중 하나 이상을 충분히 충족시킬 수 있는지 여부를 결정할 수 있다. 임계치들 중 하나 이상이 만족되었다는 결정에 대한 응답으로, 웨어러블 시스템은 교정 목적으로 눈 시선 데이터의 수집을 자동으로 개시할 수 있다.
[0179] 가상 레티클은 형상들 또는 심볼들의 하나 이상의 아웃라인들, 하나 이상의 솔리드 형상들 또는 심볼, 하나 이상의 이미지들 또는 다른 그래픽들, 이들의 조합 등의 형태를 취할 수 있다. 일부 실시예들에서, 레티클은 리그 공간 내에 고정될 뿐만 아니라 사용자의 3D 공간 내에 고정될 수 있는 가상 객체일 수 있다. 레티클은 사용자가 (리그 공간의 포지션으로부터) 사용자의 3D 공간 내의 특정 포지션으로 드래그 앤 드롭할 수 있는 가상 객체로 표현될 수 있다. 사용자가 대표적인 가상 객체를 드래그할 수 있는 사용자의 3D 공간 내의 특정 포지션은 타겟의 포지션에 대응할 수 있다. 예컨대, 일단 리그 공간 내의 가상 객체가 3D 공간 내의 타겟과 충분히 정렬되고 웨어러블 시스템이 바로 이때 필요한 눈 시선 데이터를 수집하였다면, 대표적인 가상 객체는 리그 공간 내에 고정되는 것으로부터 사용자의 3D 공간 내에 고정되는 것으로 스위칭될 수 있다. 이러한 방식으로, 사용자는 대표적인 가상 객체를 타겟 포지션에서의 사용자의 3D 공간으로 효과적으로 드래그 앤 드롭할 수 있다. 이것은, 사용자가 다양한 대화식 경험들 중 임의의 것에 관여하는 동안 눈 시선 검증 프로세스들이 수행되게 할 수 있다.
[0180] 일부 실시예들에서, 레티클의 외관은 타겟에 기반하여 결정될 수 있다. 예컨대, 사용자 또는 웨어러블 시스템은 사용자의 3D 환경에서 꽃병을 타겟으로서 식별할 수 있다. 웨어러블 시스템은 꽃병의 윤곽들과 닮은 레티클을 자동으로 생성하고, 레티클을 사용자의 리그 공간의 포지션에서 렌더링할 수 있다. 사용자는 자신의 머리를 움직여서, 리그 공간의 가상 꽃병과 사용자의 3D 환경의 타겟 꽃병을 정렬시킬 수 있다.
눈 시선 검증의
게임화
[0181] 레티클 및 타겟을 사용한 눈 시선 검증 프로세스는 대화식이고 향상된 사용자 경험을 제공하기 위해 게임의 일부로서 통합될 수 있다. 눈 시선 교정 교정을 재미있게 함으로써, 사용자는 교정 프로세스 요건들을 준수하고 교정 절차를 완료할 가능성이 더 높아진다. 교정 절차가 시작될 때, 웨어러블 디스플레이 시스템은 사용자가 선택할 수 있는 교정 게임 옵션들의 선택을 제공할 수 있다.
[0182] 도 17은 리그 공간에 고정된 레티클을 나타내는 가상 객체가 사용자의 3차원 환경 내의 타겟 포지션으로 드래그 앤 드롭되는 눈 시선 검증의 예를 예시한다. 도 17에서, 4개의 시간-순차적인 장면들(1700a, 1700b, 1700c 및 1700d)이 도시된다. 사용자는 디스플레이(220)를 통해 도어(1710)와 같은 물리적 객체들을 지각할 수 있다. 사용자는 또한 디스플레이(220)를 통해 가상 레티클들(1720a 및 1720c), 가상 타겟들(1730a 및 1730c), 및 다른 가상 객체들(1712 및 1740-1750)을 지각할 수 있다. 도 17의 예에서, 웨어러블 시스템은 대화식 경험 ― 이를 통해 눈 시선 검증 프로세스들이 수행됨 ― 으로서 눈사람 만들기 활동을 제공할 수 있다.
[0183] 장면(1700a)을 참조하면, 큰 가상 눈덩이(1712)는 사용자 환경에서 고정된 위치에 앵커링될 수 있으며, 이 예에서 눈사람의 베이스 부분을 나타내도록 의도될 수 있다. 가상 타겟(1730a)(점선들로 도시됨)은 또한 사용자의 환경의 고정된 위치에 앵커링될 수 있고, 사용자가 레티클과 정렬시킬 사용자 환경 내의 타겟 포지션에 대응할 수 있다. 이 예에서, 가상 타겟(1730a)의 포지션은 눈사람의 몸통 부분의 포지션에 대응한다.
[0184] 장면(1700a)에서, 사용자는 또한, 리그 공간 내에 고정된 레티클로서 기능할 수 있는 중간-크기 가상 눈덩이(1720a)를 지각할 수 있다. 중간-크기 가상 눈덩이(1720a)는, 사용자의 환경 내에서 가상 타겟(1730a)의 포지션에 의해 제안된 바와 같이, 눈사람의 몸통 부분을 나타낼 수 있다. 사용자는 자신의 머리, 눈들 또는 둘 모두를 움직여, 중간-크기 가상 눈덩이(1720a)와 가상 타겟(1730a)을 정렬시킬 수 있다. 장면(1700b)에 예시된 바와 같이, 중간-크기 가상 눈덩이(1720a)는, 중간-크기 가상 눈덩이(1720a)가 타겟(1730a)과 정렬될 때 큰 가상 눈덩이(1712)의 최상부에 배치될 수 있다.
[0185] 일부 실시예들에서, 가상 레티클은 리그 공간으로부터 사용자의 3D 공간으로 이동될 수 있다. 예컨대, 중간-크기 가상 눈덩이(1720a)는 사용자 환경의 타겟(1730a)에 대응하는 타겟 포지션에 앵커링되게 할 수 있다. 중간-크기 가상 눈덩이(1720a) 및 가상 타겟(1730a)이 정렬될 때, 일단 웨어러블 시스템이 눈 시선 교정을 위해 눈 시선 데이터를 수집하는 것을 성공적으로 마치면, 앵커링이 발생할 수 있다. 일단 중간-크기 가상 눈덩이(1720a)가 리그 공간 내에 고정되는 것으로부터 사용자의 3D 공간 내에 고정되는 것으로 스위칭되면, 중간-크기 가상 눈덩이(1720a)는 더 이상 사용자에 대한 레티클으로서 기능하지 않을 수 있다.
[0186] 장면(1700b)에 예시된 바와 같이, 일단 웨어러블 시스템이 필요한 눈 시선 데이터를 수집하는 것을 성공적으로 마치고 중간-크기 가상 눈덩이(1720a)를 리그 공간으로부터 사용자의 3D 공간으로 이동시키면, 웨어러블 시스템은, 중간-크기 가상 눈덩이(1720a)가 사용자의 환경 내에서 가상 타겟(1730a)에 대응하는 타겟 포지션으로 성공적으로 드래그 앤 드롭되었다는 것을 사용자에게 전달하기 위한 시각 초점 표시자(1740)(예컨대, 눈덩이(1720a)로부터 나오는 가상 광선들 또는 다른 그래픽 강조 표시)를 제공할 수 있다. 부가적으로 또는 대안적으로, 시스템은, 가상 눈덩이(1720a)가 타겟 포지션으로 성공적으로 드래그 앤 드롭되었다는 가청 또는 촉각 표시를 제공할 수 있다.
[0187] 장면(1700c)을 참조하면, 큰 가상 눈덩이(1712) 및 중간-크기 가상 눈덩이(1720a) 둘 모두는 사용자 환경의 고정된 위치에 앵커링될 수 있다. 가상 타겟(1730c)은 또한 사용자 환경에서 중간-크기 가상 눈덩이(1720a) 바로 위의 고정된 위치에 앵커링될 수 있다. 가상 타겟(1730c)은, 사용자가 작은 가상 눈덩이(1720c)를 정렬시키는 사용자 환경에서의 타겟 포지션에 대응할 수 있다. 가상 타겟(1730c)의 포지션은 눈사람의 머리에 대응할 수 있다.
[0188] 작은 가상 눈덩이(1720)는 장면(1700c)의 예에서 레티클으로서 기능할 수 있다. 작은 가상 눈덩이(1720c)는 눈사람의 머리 부분을 나타내도록 의도될 수 있다. 도 17에 도시된 바와 같이, 작은 가상 눈덩이(1720c) 및 중간-크기 가상 눈덩이(1720a)는 리그 공간에서 상이한 포지션들에서 사용자 앞에 나타날 수 있다. 사용자는, 장면(1700d)에 예시된 바와 같이, 자신의 머리, 눈들 또는 둘 모드를 움직여, 작은 가상 눈덩이(1720c)와 가상 타겟(1730c)을 정렬시켜, (예컨대, 작은 가상 눈덩이(1720c)를 중간-크기 가상 눈덩이(1720a)의 최상부에 있도록 배치함으로써) 눈사람에 머리를 추가할 수 있다.
[0189] 장면(1700c)에서, 일단 웨어러블 시스템이 필요한 눈 시선 데이터를 수집하는 것을 성공적으로 마치면, 웨어러블 시스템은, 작은 가상 눈덩이(1720c)가 가상 타겟(1730c)과 연관된 사용자의 환경 내의 타겟 포지션으로 성공적으로 드래그 앤 드롭되었다는 것을 사용자에게 전달하기 위한 시각 초점 표시자(1750)(및/또는 가청 또는 촉각 표시자들)를 제공할 수 있다. 도 17에 도시되지 않지만, 웨어러블 시스템은, 레티클로서 사용되고 눈사람에 대한 다른 부분들 또는 액세서리들을 나타내도록 의도된 추가적인 가상 객체들을 사용자에게 추가로 제공할 수 있다. 예컨대, 눈사람은 도 17에 도시된 3개 초과의 눈덩이들을 포함할 수 있거나, 웨어러블 시스템은, 눈사람의 팔들로서 중간-크기 가상 눈덩이(1720a)의 양측에 포지셔닝될 가상 잔가지들, 눈사람의 코로서 작은 가상 눈덩이(1720c)의 얼굴에 포지셔닝될 가상 당근, 눈사람의 눈 및 입 특징들로서 작은 가상 눈덩이(1720c)의 얼굴에 포지셔닝될 가상 석탄 조각들, 작은 가상 눈덩이(1720c) 바로 위에 포지셔닝될 가상 모자, 및 중간-크기 가상 눈덩이(1720a) 및 작은 가상 눈덩이(1720c) 사이에 포지셔닝될 가상 스카프를 사용자에게 제공할 수 있다.
[0190] 도 18은 로봇 공격 게임의 부분으로서 눈 시선 검증의 예를 예시한다. 도 18에서, 4개의 시간-순차적인 장면들(1800a, 1800b, 1800c 및 1800d)이 도시된다. 이들 4개의 장면들에서 사용자는 부엌에 있을 수 있다. 사용자는 디스플레이(220)를 통해 창문(1844) 및 의자(1842)와 같은 물리적 객체들을 지각할 수 있다. 사용자는 또한 디스플레이(220)를 통해 가상 레티클(1820) 및 가상 로봇(1810)을 지각할 수 있다. 가상 로봇(1810)은 부엌 환경의 고정된 위치에 앵커링될 수 있다. 장면(1800c)을 참조하면, 로봇은 부엌 카운터의 최상부에 서있는 것으로 보인다.
[0191] 가상 로봇은 눈 교정 타겟으로 기능할 수 있다. 사용자는 자신의 머리 및 눈들을 움직여, 레티클과 가상 로봇을 정렬시킬 수 있다. 장면(1800a)을 참조하면, 사용자는 초기에 창문(1844) 및 의자(1842) 중 일부를 지각할 수 있다. 그러나, 사용자는, 장면(1800b)에 예시된 바와 같이, 가상 로봇(1810)의 일부가 자신의 FOV(1850a)에 진입했음을 알아챌 수 있다. 일단 사용자가 로봇(1810)을 알게 되면, 사용자는, 장면(1800c)에 예시된 바와 같이, 가상 로봇을 타겟팅하기 위해 (예컨대, 자신의 머리를 위로 기울임으로써) 자신의 머리 포즈를 변경할 수 있다. 사용자가 머리 포즈를 변경했기 때문에, 그에 따라서 자신의 FOV는 FOV(1850a)로부터 FOV(1850b)로 변할 수 있다. 장면(1800c)에서, 사용자가 자신의 머리 포즈를 변경한 후에, 레티클(1820)은 이제 로봇(1820)을 둘러싸고 있으며, 사용자는 더 이상 의자(1842)를 지각할 수 없다.
[0192] 사용자가 장면(1800c)에 도시된 바와 같이 정렬을 유지하는 동안, 웨어러블 시스템은 교정을 위해 (예컨대, 내향 이미징 시스템(462)을 통해) 눈 추적 데이터를 수집할 수 있다. 웨어러블 시스템은, 레티클이 임계량의 시간 동안 로봇과 정렬되었는지 여부를 결정할 수 있다. 레티클과 로봇 사이의 정렬이 임계 시간 기간 동안 정렬되었다면, 디스플레이(220)는, 로봇이 파괴되었음(예컨대, 장면(1800d))을 나타내는 시각 초점 표시자(이를테면, 예컨대, 그래픽(1830))를 제공할 수 있다. 일단 웨어러블 시스템이 눈 추적 데이터를 수집하는 것을 마치면, 웨어러블 시스템은 또한 장면(1800d)에 도시된 그래픽(1830)을 제공할 수 있다. 일부 예들에서, 웨어러블 시스템은, 임계 시간 기간 외의 조건이 충족되었다는 것을 검출한 것에 대한 응답으로, 디스플레이(220)를 통해 그래픽(1830)을 제공할 수 있다. 이들 예에서, 레티클이 임계량 동안 로봇과 정렬되었는지 여부를 결정하는 것 대신에 또는 이외에, 웨어러블 시스템은, 하나 이상의 특정 타입들의 사용자 입력이 수신되었는지를 결정하고, 이에 대한 응답으로 그래픽(1830)을 제공할 수 있다. 예컨대, 웨어러블 시스템은, 웨어러블 시스템과 통신하는 토템의 트리거 또는 다른 컴포넌트가 작동되었는지 여부, 특정 커맨드에 대응하는 발성 또는 제스처 입력이 수신되었는지 여부 등을 결정할 수 있다. 일부 구현들에서, 레티클(1820)은 가상 십자선들을 추가로 포함할 수 있다.
[0193] 특정 실시예들에서, 디스플레이(220)는, 레티클(1820)이 로봇(1810)과 정렬되었음을 나타내는 시각 표시를 제공할 수 있다. 예컨대, 디스플레이(220)는 적색 레티클을 제공할 수 있다. 일단 레티클이 로봇(1810)과 정렬되면, 디스플레이(220)는 로봇의 컬러를 적색으로 업데이트할 수 있다. 임계량의 시간에 도달하면, 로봇(1810)의 컬러는 녹색으로 변하고, 레티클(1820)의 컬러는 또한 녹색으로 변경될 수 있다. 이어서, 사용자는 다른 타겟과 정렬시키기 위해 레티클(1820)을 이동시킬 수 있다. 일부 예들에서, 로봇(1810)을 제공한 후, 웨어러블 시스템은 다른 로봇이 렌더링되어야 한다고 결정할 수 있다. 이 결정은, 예컨대, 도 14a를 참조하여 위에 설명된 바와 같이, 블록(1470)의 동작에 대응할 수 있다. 다른 눈 교정 타겟에 대한 눈 데이터가 수집되어야 한다는 결정에 대한 응답으로, 웨어러블 시스템은, 사용자가 정신을 바짝 차리게 하고 따라서 교정 정확도를 향상시키기 위해, 다음의 로봇을 상이한 위치에서 렌더링하도록 진행할 수 있다. 유사하게, 이 렌더링 작업은, 일부 예들에서, 블록(1470)에 후속하여 수행되는 것으로 도 14a를 참조하여 위에서 설명된 바와 같이, 블록(1410)의 동작에 대응할 수 있다.
[0194] 레티클의 외관은 눈 추적 알고리즘들에 기반하여 미리 결정될 수 있다. 예컨대, 웨어러블 시스템은, 사용자의 눈 시선 방향을 추정하고 레티클(1820)을 사용자의 눈 시선 방향으로 디스플레이하기 위해 디폴트 맵핑 매트릭스를 적용할 수 있다. 디폴트 맵핑 매트릭스는, 다른 사용자들로부터 획득된 데이터에 기반하여 생성된 머신 학습 모델을 적용함으로써 생성될 수 있다. 웨어러블 시스템은 눈 추적 교정 프로세스 동안 사용자의 눈들에 특정한 특징들에 기반하여 디폴트 맵핑 매트릭스를 추가로 맞춤화할 수 있으며, 여기서 웨어러블 시스템은, 사용자가 레티클과 눈 교정 타겟을 정렬시킨 후에 사용자의 눈 이미지들을 획득할 수 있다.
[0195] 도 18의 예들이 사용자가 디스플레이(220)를 통해 물리적 객체들 및 가상 객체들을 볼 수 있는 AR 맥락에서 설명되지만, 유사한 기술들이 또한 VR/MR 맥락에 적용될 수 있다.
[0196] 눈 시선 검증의 게임 화의 다른 예로서, 웨어러블 시스템이 눈 시선 검증을 수행하는 동안, 웨어러블 시스템은 미사일 커맨드 게임을 플레이할 수 있다. 이 예에서, 가상 미사일들은 사용자의 포지션을 향해 이동할 수 있다. 이들 미사일들은 타겟으로서 역할을 할 수 있고, 갇힌 픽셀들로서 도시될 수 있다. 레티클은 미사일들을 격추시키기 위해 미사일들을 조준하는 데 사용될 수 있다. 레티클의 포지션들은 도 18을 참조하여 설명된 바와 같이 눈 추적 알고리즘에 의해 결정될 수 있다. 일부 실시예들에서, 미사일 커맨드 게임은, 사용자가 미사일을 충분히 빨리 파괴하는 데 실패한 "실패" 상태를 포함할 수 있다. 사용자는 사용자가 미사일에 타격을 받는 것을 방지하기 위해 안면 보호구(face shield)를 가질 수 있다. 사용자가 미사일을 충분히 빨리 파괴할 수 없다면, 웨어러블 시스템은, 미사일이 안면 보호구에 타격하였다는 것을 보여주기 위해 디스플레이(220)를 통해 가상 균열들을 디스플레이할 수 있다.
[0197] 예컨대, 눈 시선 검증 동안, 웨어러블 시스템은 사용자 환경의 지면에서 발사되는 미사일을 보여줄 수 있다. 웨어러블 시스템은, 세계 맵(920)의 메시 영역들(meshed areas)에 기반하여, 깊이 지각들(예컨대, 열린 도어들의 깊이를 나타냄)을 시뮬레이션할 수 있다. 웨어러블 시스템은 안면 보호구(예컨대, 사용자 앞에 시스루 쉘(see-through shell)을 보여줌) 및 안면 보호구 상의 위치에 나타나는 레티클을 제공할 수 있다. 본원에 설명된 바와 같이, 안면 보호구 및 레티클은 리그 공간을 참조하여 렌더링될 수 있다. 사용자는 레티클 및 인입하는 미사일을 정렬시키기 위해 자신의 머리를 움직일 수 있다. 정렬이 성공하면, 미사일이 격추되고, 다음의 미사일이 (예컨대, 상이한 방향으로부터) 사용자를 향하여 발사되고, 이러한 식이다.
[0198] 예들이 사용자의 FOV에서 하나의 타겟을 갖는 것을 참조하여 설명되지만, 일부 구현들에서, 사용자의 FOV에서 동시에 나타나는 다수의 타겟들(또는 다수의 레티클들)이 존재할 수 있다. 또한, 웨어러블 시스템은 사용자 환경의 상이한 위치들에서 일련의 타겟들(또는 레티클들)을 보여주고, 레티클들과 타겟들을 정렬시키도록 사용자에게 프롬프트할 수 있다.
[0199] 카메라-기반 눈 추적 시스템들의 맥락 내에서 설명되지만, 본원에 설명된 기술들이 다른 타입들의 눈 추적 시스템들, 방식들 또는 둘 모두를 레버리지하는 웨어러블 시스템들에 적용될 수 있음이 이해되어야 한다. 예컨대, 본원에 설명된 기술들은, 용량성-기반 또는 전극-기반 눈 추적 시스템으로부터 데이터를 포함하거나 적어도 수집하는 웨어러블 시스템에 적용될 수 있다. 또한, 예들이 눈 교정 타겟을 참조하여 설명되지만, 유사한 기술들이 또한 타겟 구역에도 적용될 수 있다. 타겟 구역은 하나 이상의 객체들(예컨대, 물리적 또는 가상 객체들)을 포함할 수 있으며, 여기서 하나 이상의 객체들 중 적어도 일부는 눈 교정 타겟일 수 있다. 예컨대, 사용자는, 세계 공간에서 레티클과 2개의 객체들을 정렬시키기 위해 자신의 머리를 움직일 수 있다. 2개의 객체들은 가상 객체 및 물리적 객체를 포함할 수 있다. 다른 예로서, 사용자는, 눈 시선 데이터가 수집되기 전에, 2개의 레티클들과 (타겟 구역 내의) 2개의 객체들을 동시에 정렬시킬 필요가 있을 수 있다. 또 다른 예로서, 웨어러블 시스템은, 레티클이 (특정 타겟 객체보다는) 타겟 구역의 둘레와 정렬될 때, 눈 시선 데이터 수집을 개시할 수 있다.
예시적인 사용자 연구
[0200] 본원에 설명된 기술들의 실시예들로부터 획득된 눈 교정 데이터 품질과 통상의 방법들을 사용하여 획득된 데이터를 비교하기 위한 사용자 연구가 수행되었다. 이 연구는 18명의 사용자들을 포함하였으며, 어떠한 외부 방해요소들도 없는 실험실-기반 세팅에서 수행되었다. 연구는, 본원에 설명된 교정 기술들이 통상의 눈 교정 기술과 동일하거나 이보다 더 양호하게 수행되었다는 것을 발견했다. 18명의 사용자들 중 11명은 통상의 기술들보다 새로운 교정 기술들을 사용하여 더 잘 하였다. 시스템은 x, y 및 z 방향들을 따라 사용자의 각각의 눈의 동공 포지션을 측정했다. 연구는, 정규화된 동공 포지션의 표준 편차가 18명의 사용자들 중 7명에 대해 상당히 개선되었다는 것을 발견했다. 새로운 상호작용 시퀀스를 사용하여 어떠한 사용자도 상당히 더 열악하게 수행하지 않았다. 연구 결과들의 요약은 2017년 5월 31일에 출원된 미국 가특허 출원 제62/512,594호에 부록 A로서 포함되며, 이로써 상기 출원은 그 전체가 인용에 의해 본원에 포함된다. 요약에 도시된 결과들은 18명의 사용자들의 좌우 동공들의 x, y, z 축들을 따른 동공 포지션들의 정규화된 측정들의 표준 편차의 변화 및 통계적 확률 값(p-값)을 포함한다. p-값이 0.05의 유의 값(significance value) 미만인 측정들이 강조 표시된다.
부가적인 양상들
[0201] 제1 양상에서, 눈 추적 교정(eye tracking calibration)을 위한 웨어러블 시스템은: 웨어러블 시스템의 사용자로부터 (하나 또는 두 눈들의) 눈 이미지들을 캡처하도록 구성된 이미지 캡처 디바이스; 눈 이미지들을 저장하도록 구성된 비-일시적인 메모리; 디스플레이 시스템 ― 디스플레이 시스템을 통해 사용자가 사용자의 환경의 눈 교정 타겟 및 가상 레티클(virtual reticle)을 지각할 수 있음 ― ; 사용자의 머리 포즈를 추적하도록 구성된 포즈 센서; 비-일시적인 메모리 및 디스플레이 시스템과 통신하는 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는: 눈 교정 타겟으로 하여금 디스플레이 시스템을 통해 지각 가능하게 하고; 가상 레티클로 하여금 디스플레이 시스템을 통해 렌더링되게 하고; 포즈 센서로부터 획득된 데이터에 기반하여 사용자의 머리 포즈를 식별하고; 사용자의 머리 포즈에 기반하여 가상 레티클의 포지션을 계산하고; 가상 레티클 및 눈 교정 타겟의 포지션에 적어도 부분적으로 기반하여, 가상 레티클이 눈 교정 타겟과 정렬되는지 여부를 결정하고; 그리고 가상 레티클이 눈 교정 타겟과 정렬된다는 결정에 대한 응답으로, 이미지 캡처 디바이스에 눈 이미지들을 캡처하도록 명령하고, 비-일시적인 메모리로의 눈 이미지들의 저장을 개시하도록 프로그래밍된다.
[0202] 제2 양상에서, 제1 양상의 웨어러블 시스템에 있어서, 이미지 캡처 디바이스는 사용자의 눈 구역을 이미징하도록 구성된 눈 카메라를 포함한다.
[0203] 제3 양상에서, 제1 양상 또는 제2 양상의 웨어러블 시스템에 있어서, 포즈 센서는 관성 측정 유닛을 포함한다.
[0204] 제4 양상에서, 제1 양상 내지 제3 양상 중 어느 한 양상의 웨어러블 시스템에 있어서, 눈 교정 타겟은 세계 공간의 객체이고, 가상 레티클은 리그(rig) 공간에 있다.
[0205] 제5 양상에서, 제4 양상의 웨어러블 시스템에 있어서, 세계 공간은 사용자의 환경을 참조하는 3D(three-dimensional) 좌표계를 포함하고, 리그 공간은 디스플레이 시스템을 참조하는 좌표계를 포함한다.
[0206] 제6 양상에서, 제5 양상의 웨어러블 시스템에 있어서, 가상 레티클이 눈 교정 타겟과 정렬되는지 여부를 결정하기 위해, 하드웨어 프로세서는: 리그 공간과 세계 공간 사이의 오프셋을 결정하고; 리그 공간의 가상 레티클의 제1 좌표 값 및 세계 공간의 눈 교정 타겟의 제2 좌표 값을 계산하고; 그리고 제1 좌표 값, 제2 좌표 값 및 오프셋에 기반하여 정렬을 계산하도록 프로그래밍된다.
[0207] 제7 양상에서, 제5 양상 또는 제6 양상의 웨어러블 시스템에 있어서, 정렬을 계산하기 위해, 하드웨어 프로세서는 오프셋에 기반하여 리그 공간의 제1 좌표 값을 세계 공간의 제3 좌표 값으로 변환하고, 제3 좌표 값 및 제2 좌표 값이 임계 범위 내에 있는지 여부를 결정하도록 프로그래밍된다.
[0208] 제8 양상에서, 제1 양상 내지 제7 양상 중 어느 한 양상의 웨어러블 시스템에 있어서, 사용자의 머리 포즈는 사용자의 머리의 포지션, 배향, 또는 포지션 및 배향의 조합을 포함한다.
[0209] 제9 양상에서, 제1 양상 내지 제8 양상 중 어느 한 양상의 웨어러블 시스템에 있어서, 가상 레티클이 눈 교정 타겟과 정렬되는지 여부를 결정하기 위해, 하드웨어 프로세서는: 가상 레티클의 포지션에 기반하여 광선 캐스트(ray cast)를 수행하고; 그리고 광선 캐스트의 광선의 일부가 눈 교정 타겟과 교차하는지 여부를 결정하도록 프로그래밍된다. 선택적으로, 하드웨어 프로세서는 광선 캐스트의 광선과 눈 교정 타겟 사이의 충돌을 검출할 수 있다.
[0210] 제10 양상에서, 제1 양상 내지 제9 양상 중 어느 한 양상의 웨어러블 시스템에 있어서, 가상 레티클이 눈 교정 타겟과 정렬되는지 여부를 결정하기 위해, 하드웨어 프로세서는: 타겟 머리 포즈에 액세스하고 ― 타겟 머리 포즈는, 가상 레티클이 눈 교정 타겟과 정렬될 때, 사용자가 취하는 포즈임 ― ; 그리고 사용자의 머리 포즈가 타겟 머리 포즈에 있는지 여부를 결정하도록 프로그래밍된다.
[0211] 제11 양상에서, 제1 양상 내지 제10 양상 중 어느 한 양상의 웨어러블 시스템에 있어서, 가상 레티클이 눈 교정 타겟과 정렬된다는 결정에 대한 응답으로, 하드웨어 프로세서는 추가로, 가상 레티클이 눈 교정 타겟과 정렬된다는 것을 나타내는 시각, 가청, 또는 촉각 효과를 제공하도록 프로그래밍된다.
[0212] 제12 양상에서, 제1 양상 내지 제11 양상 중 어느 한 양상의 웨어러블 시스템에 있어서, 가상 레티클이 눈 교정 타겟과 정렬된다는 결정에 대한 응답으로, 하드웨어 프로세서는 추가로, 다른 가상 레티클을 제공하도록 디스플레이 시스템에 명령하도록 프로그래밍된다.
[0213] 제13 양상에서, 제1 양상 내지 제12 양상 중 어느 한 양상의 웨어러블 시스템에 있어서, 하드웨어 프로세서는 추가로, 눈 교정 타겟의 크기, 눈 교정 타겟의 컬러, 또는 (웨어러블 시스템에 의해 수행되는) 눈 추적 교정과 연관된 요구된 정밀도 중 적어도 하나를 포함하는 맥락 정보에 적어도 부분적으로 기반하여 가상 레티클의 외관(appearance)을 동적으로 업데이트하도록 프로그래밍된다.
[0214] 제14 양상에서, 제13 양상의 웨어러블 시스템에 있어서, 레티클의 외관은 눈 교정 타겟의 외관을 닮는다.
[0215] 제15 양상에서, 제13 양상 또는 제14 양상의 웨어러블 시스템에 있어서, 하드웨어 프로세서는, 요구되는 높은 정밀도 또는 작은 눈 교정 타겟에 대한 응답으로, 레티클의 크기를 감소시키도록 프로그래밍된다.
[0216] 제16 양상에서, 눈 추적 교정을 위한 방법은, 하드웨어 프로세서의 제어 하에서: 사용자의 환경과 연관된 세계 공간에서 눈 교정 타겟을 식별하는 단계; 사용자의 웨어러블 디바이스와 연관된 리그 공간에서 가상 레티클을 렌더링하도록 사용자의 웨어러블 디바이스에 명령하는 단계; 사용자의 머리 포즈 데이터를 획득하는 단계; 획득된 머리 포즈 데이터에 기반하여 사용자의 현재 머리 포즈를 결정하는 단계; 사용자의 현재 머리 포즈에 적어도 부분적으로 기반하여 눈 교정 타겟에 관련하여 가상 레티클의 상대적인 포지션을 결정하는 단계; 눈 교정 타겟에 관련하여 가상 레티클의 상대적인 포지션에 적어도 부분적으로 기반하여, 가상 레티클이 눈 교정 타겟과 정렬되는지 여부를 결정하는 단계; 및 가상 레티클이 눈 교정 타겟과 정렬된다는 결정에 대한 응답으로, 눈 교정 데이터를 획득하도록 웨어러블 디바이스의 내향 이미징 시스템에 명령하는 단계를 포함한다.
[0217] 제17 양상에서, 제16 양상의 방법에 있어서, 머리 포즈 데이터는 웨어러블 디바이스의 외향 이미징 시스템, 웨어러블 디바이스의 관성 측정 유닛, 또는 사용자의 환경의 카메라 중 적어도 하나로부터 획득된다.
[0218] 제18 양상에서, 제16 양상 또는 제17 양상의 방법에 있어서, 눈 교정 데이터는 사용자의 하나 또는 두 눈들의 이미지들을 포함한다.
[0219] 제19 양상에서, 제16 양상 내지 제18 양상 중 어느 한 양상의 방법에 있어서, 눈 교정 타겟은 세계 공간의 고정된 위치에 있거나, 가상 레티클은 리그 공간의 고정된 위치에서 렌더링된다.
[0220] 제20 양상에서, 제16 양상 내지 제19 양상 중 어느 한 양상의 방법에 있어서, 가상 레티클이 눈 교정 타겟과 정렬된다는 결정에 대한 응답으로, 리그 공간의 상이한 포지션에서 가상 레티클을 렌더링하도록 웨어러블 디바이스에 명령하는 단계를 더 포함한다.
[0221] 제21 양상에서, 제16 양상 내지 제20 양상 중 어느 한 양상의 방법에 있어서, 가상 레티클이 사용자의 시야의 중심에서 또는 중심 근처에서 또는 사용자의 시야의 중심에서 벗어나 렌더링되고, 시야는 사용자가 정해진 시간에 지각할 수 있는 사용자의 환경의 일부를 포함한다. 예컨대, 중심 또는 그 근처에서의 사용자의 FOV는 10° 미만, 5° 미만, 1° 미만 등의 각도 오프셋을 포함할 수 있다.
[0222] 제22 양상에서, 제16 양상 내지 제21 양상 중 어느 한 양상의 방법에 있어서, 획득된 머리 포즈 데이터에 기반하여 사용자의 현재 머리 포즈를 결정하는 단계는, 머리 포즈 데이터에 기반하여 사용자의 머리의 포지션 또는 배향을 계산하는 단계를 포함한다.
[0223] 제23 양상에서, 제16 양상 내지 제22 양상 중 어느 한 양상의 방법에 있어서, 머리 포즈들의 범위에 액세스하는 단계를 더 포함하고, 가상 레티클이 눈 교정 타겟과 정렬되는지 여부를 결정하는 단계는, 현재 머리 포즈가 머리 포즈들의 범위 내에 있는지 여부를 결정하는 단계를 포함한다.
[0224] 제24 양상에서, 제16 양상 내지 제23 양상 중 어느 한 양상의 방법에 있어서, 타겟은 사용자의 환경의 물리적 객체이다.
[0225] 제25 양상에서, 제16 양상 내지 제24 양상 중 어느 한 양상의 방법에 있어서, 타겟은 게임 애플리케이션의 가상 객체이고, 눈 추적 교정은 게임 애플리케이션의 부분으로서 수행된다.
[0226] 제26 양상에서, 눈 추적 교정을 위한 방법은, 하드웨어 프로세서의 제어 하에서: 사용자의 환경에서 타겟 구역을 식별하는 단계; 사용자의 웨어러블 디바이스와 연관된 리그 공간의 한 포지션에서 가상 레티클을 식별하는 단계; 사용자의 머리 포즈 데이터를 획득하는 단계; 획득된 머리 포즈 데이터에 기반하여 사용자의 현재 머리 포즈를 결정하는 단계; 사용자의 현재 머리 포즈에 적어도 부분적으로 기반하여 타겟 구역에 대해 가상 레티클의 포지션을 업데이트하는 단계; 가상 레티클이 타겟 구역과 정렬되는지 여부를 결정하는 단계; 및 가상 레티클이 타겟 구역과 정렬된다는 결정에 대한 응답으로, 정렬이 달성되었다는 표시를 제공하는 단계를 포함한다.
[0227] 제27 양상에서, 제26 양상의 방법에 있어서, 타겟 구역은 적어도 가상 객체를 포함하고, 가상 레티클이 타겟 구역과 정렬되는지 여부를 결정하는 단계는, 가상 레티클이 가상 객체와 정렬되는지 여부를 결정하는 단계를 포함한다.
[0228] 제28 양상에서, 제26 양상 또는 제27 양상의 방법에 있어서, 타겟 구역은 물리적 객체 중 적어도 일부를 포함하고, 가상 레티클이 타겟 구역과 정렬되는지 여부를 결정하는 단계는, 가상 레티클이 물리적 객체 중 일부와 정렬되는지 여부를 결정하는 단계를 포함한다.
[0229] 제29 양상에서, 제26 양상 내지 제28 양상 중 어느 한 양상의 방법에 있어서, 눈 교정 데이터는 용량성-기반 또는 전극-기반 눈 추적 시스템에 의해 수집된다.
[0230] 제30 양상에서, 제26 양상 내지 제29 양상 중 어느 한 양상의 방법에 있어서, 가상 레티클이 눈 교정 타겟과 정렬된다는 결정에 대한 응답으로, 방법은 웨어러블 디바이스의 눈 카메라로 하여금 눈 이미지들의 수집을 개시하게 하는 단계를 더 포함한다.
[0231] 제31 양상에서, 제26 양상 내지 제30 양상 중 어느 한 양상의 방법에 있어서, 가상 레티클이 타겟 구역과 정렬되는지 여부를 결정하는 단계는: 사용자의 현재 머리 포즈에 적어도 부분적으로 기반하여 적어도 하나의 가상 광선을 캐스팅하는 단계; 및 적어도 하나의 가상 광선이 타겟 영역과 교차하는지 여부를 결정하는 단계를 포함한다.
[0232] 제32 양상에서, 제31 양상의 방법에 있어서, 사용자의 현재 머리 포즈에 적어도 부분적으로 기반하여 적어도 하나의 가상 광선을 캐스팅하는 단계는: 사용자 또는 웨어러블 디바이스 상의 위치로부터, 그리고 가상 레티클의 포지션을 통해 적어도 하나의 가상 광선을 캐스팅하는 단계를 포함한다.
[0233] 제33 양상에서, 제31 양상 또는 제32 양상의 방법에 있어서, 사용자의 현재 머리 포즈에 적어도 부분적으로 기반하여 적어도 하나의 가상 광선을 캐스팅하는 단계는 가상 레티클의 위치를 통해 가상 기하학적 원뿔(virtual geometric cone)을 캐스팅하는 단계를 포함한다.
[0234] 제34 양상에서, 제33 양상의 방법에 있어서, 가상 레티클의 형상은 가상 레티클의 위치에서 가상 기하학적 원뿔의 단면 형상에 대응한다.
결론
[0235] 본원에서 설명되고 그리고/또는 첨부 도면들에 도시되는 프로세스들, 방법들 및 알고리즘들 각각은 하나 이상의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 애플리케이션-특정 회로 및/또는 특수 및 특정 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고, 이 코드 모듈들에 의해 완전히 또는 부분적으로 자동화될 수 있다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들) 또는 특수 목적 컴퓨터들, 특수 목적 회로 등을 포함할 수 있다. 코드 모듈은 실행 가능 프로그램으로 컴파일되어 링크되거나, 동적 링크 라이브러리에 설치될 수 있거나, 또는 인터프리팅된 프로그래밍 언어로 기록될 수 있다. 일부 구현들에서, 특정한 동작들 및 방법들은, 주어진 기능에 특정한 회로에 의해 수행될 수 있다.
[0236] 추가로, 본 개시내용의 기능성의 소정의 구현들은 충분히 수학적으로, 계산상으로 또는 기술적으로 복잡하여, (적절한 특수화된 실행 가능 명령들을 활용하는) 주문형 하드웨어 또는 하나 이상의 물리적 컴퓨팅 디바이스들은 예컨대, 수반되는 계산들의 양(volume) 또는 복잡성으로 인해 또는 실질적으로 실시간으로 결과들을 제공하기 위해 그 기능성들을 수행할 필요가 있을 수 있다. 예컨대, 비디오는 다수의 프레임들(각각의 프레임은 수백만 개의 픽셀들을 가짐)을 포함할 수 있고, 상업적으로 적절한 시간량 내에 원하는 이미지 프로세싱 태스크 또는 애플리케이션을 제공하기 위해, 특별히 프로그래밍된 컴퓨터 하드웨어가 비디오 데이터를 프로세싱할 필요가 있다. 다른 예로서, 본원에 설명된 눈 추적 교정 기술들의 실시예들은, 사용자가 머리-장착 디스플레이 시스템을 착용하는 동안, 실시간으로 수행될 필요가 있을 수 잇다.
[0237] 코드 모듈들 또는 임의의 유형의 데이터는, 임의의 유형의 비-일시적인 컴퓨터-판독 가능 매체, 이를테면, 하드 드라이브, 솔리드 스테이트 메모리, RAM(random access memory), ROM(read only memory), 광학 디스크, 휘발성 또는 비-휘발성 저장소, 이들의 조합들 등을 포함하는 물리적 컴퓨터 저장소 상에 저장될 수 있다. 방법들 및 모듈들(또는 데이터)은 또한, 생성된 데이터 신호들로서(예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 일부로서) 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독 가능 송신 매체들 상에서 송신될 수 있고, (예컨대, 단일 또는 멀티플렉싱된 아날로그 신호의 일부로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 임의의 유형의 비-일시적인 유형의(tangible) 컴퓨터 저장소에 지속적으로 또는 다른 방식으로 저장될 수 있거나, 또는 컴퓨터-판독 가능 송신 매체를 통해 통신될 수 있다.
[0238] 본원에서 설명되고 그리고/또는 첨부된 도면들에 도시되는 흐름도들에서의 임의의 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 프로세스의 단계들 또는 (예컨대, 논리적 또는 산술적) 특정 기능들을 구현하기 위한 하나 이상의 실행 가능 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드 부분들을 잠재적으로 나타내는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 본원에서 제공된 예시적인 예들에서 조합되거나, 재배열되거나, 이들에 부가되거나, 이들로부터 제거되거나, 수정되거나, 또는 다른 방식으로 변할 수 있다. 일부 실시예들에서, 부가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에서 설명된 기능성들 중 일부 또는 전부를 수행할 수 있다. 본원에 설명된 방법들 및 프로세스들은 또한, 임의의 특정 시퀀스로 제한되지 않고, 그에 관련된 블록들, 단계들 또는 상태들은 적절한 다른 시퀀스들로, 예컨대, 직렬로, 병렬로 또는 일부 다른 방식으로 수행될 수 있다. 태스크들 또는 이벤트들은 개시된 예시적인 실시예들에 부가되거나 그로부터 제거될 수 있다. 또한, 본원에서 설명된 구현들에서의 다양한 시스템 컴포넌트들의 분리는 예시 목적들을 위한 것이며, 모든 구현들에서 이러한 분리를 요구하는 것으로 이해되어서는 안 된다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들은 일반적으로 단일 컴퓨터 제품에 함께 통합되거나 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 다수의 구현 변동들이 가능하다.
[0239] 프로세스들, 방법들 및 시스템들은 네트워크(또는 분산형) 컴퓨팅 환경에서 구현될 수 있다. 네트워크 환경들은, 전사적(enterprise-wide) 컴퓨터 네트워크들, 인트라넷들, LAN(Local Area Network)들, WAN(Wide Area Network)들, PAN(Personal Area Network)들, 클라우드 컴퓨팅 네트워크들, 크라우드-소스드(crowd-sourced) 컴퓨팅 네트워크들, 인터넷 및 월드 와이드 웹(World Wide Web)을 포함한다. 네트워크는 유선 또는 무선 네트워크 또는 임의의 다른 유형의 통신 네트워크일 수 있다.
[0240] 본 개시내용의 시스템들 및 방법들 각각은 몇몇 혁신적인 양상들을 가지며, 그 양상들 중 어떠한 단일 양상도 본원에서 개시된 바람직한 속성들을 단독으로 담당하거나 이를 위해 요구되지 않는다. 위에서 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나, 또는 다양한 방식들로 조합될 수 있다. 모든 가능한 조합들 및 서브조합들은 본 개시내용의 범위 내에 속하는 것으로 의도된다. 본 개시내용에서 설명된 구현들에 대한 다양한 수정들은 당업자들에게 용이하게 자명할 수 있으며, 본원에서 정의된 일반적인 원리들은 본 개시내용의 사상 또는 범위를 벗어나지 않으면서 다른 구현들에 적용될 수 있다. 따라서, 청구항들은 본 명세서에 도시된 구현들로 제한되도록 의도되는 것이 아니라, 본 명세서에 개시된 본 개시내용, 원리들 및 신규한 특성들과 일치하는 가장 넓은 범위에 부합할 것이다.
[0241] 별개의 구현들의 맥락에서 본 명세서에 설명된 소정의 특징들은 또한, 단일 구현의 조합으로 구현될 수 있다. 대조적으로, 단일 구현의 맥락에서 설명된 다양한 특징들은 또한, 별개로 다수의 구현들에서 또는 임의의 적절한 서브조합으로 구현될 수 있다. 더욱이, 특징들이 소정의 조합들로 작용하는 것으로 위에서 설명되고 심지어 초기에 이와 같이 청구될 수 있지만, 일부 경우들에서, 청구된 조합으로부터의 하나 이상의 특징들은 그 조합으로부터 제거될 수 있고, 청구된 조합은 서브조합 또는 서브조합의 변동에 관련될 수 있다. 단일 특징 또는 특징들의 그룹이 각각의 그리고 모든 각각의 실시예에 필요하거나 필수적인 것은 아니다.
[0242] 구체적으로 달리 언급되지 않거나 또는 사용된 맥락 내에서 달리 이해되지 않으면, 본원에서 사용된 조건어, 이를테면, 다른 것들 중에서도, "할 수 있다(can, could, might, may)", "예컨대" 등은 일반적으로, 소정의 실시예들이 소정의 특징들, 엘리먼트들, 및/또는 단계들을 포함하지만 다른 실시예들은 이들을 포함하지 않는다는 것을 전달하도록 의도된다. 따라서, 그러한 조건어는 일반적으로, 특징들, 엘리먼트들, 및/또는 단계들이 하나 이상의 실시예들을 위해 어떤 식으로든 요구된다는 것을, 또는 하나 이상의 실시예들이, 저자 입력 또는 프롬프팅(prompting)을 이용하거나 또는 그러한 것을 이용함이 없이, 이들 특징들, 엘리먼트들, 및/또는 단계들이 임의의 특정 실시예에 포함되는지 또는 임의의 특정 실시예들에서 수행되어야 하는지를 판단하기 위한 로직을 반드시 포함한다는 것을 암시하도록 의도되진 않는다. "포함하는(comprising, including), "갖는(having)" 등의 용어들은 동의어이며, 오픈-엔디드(open-ended) 방식으로 포괄적으로 사용되며, 부가적인 엘리먼트들, 특징들, 행동들, 동작들 등을 배제하지 않는다. 또한, "또는"이라는 용어는 (그의 배타적인 의미가 아니라) 그의 포괄적인 의미로 사용되어서, 예컨대, 리스트의 엘리먼트들을 연결하기 위해 사용될 때, "또는"이라는 용어는 리스트 내의 엘리먼트들 중 하나, 일부, 또는 전부를 의미한다. 또한, 본 명세서 및 첨부된 청구항들에서 사용된 바와 같은 단수 표현은 달리 특정되지 않는 한 "하나 이상" 또는 "적어도 하나"를 의미하는 것으로 해석될 것이다.
[0243] 본원에서 사용된 바와 같이, 리스트의 아이템들 “중 적어도 하나”를 지칭하는 어구는 단일 멤버들을 포함하여 그 아이템들의 임의의 조합을 지칭한다. 예로서, "A, B 또는 C 중 적어도 하나"는 A; B; C; A와 B; A와 C; B와 C; 그리고 A와 B와 C를 커버하는 것으로 의도된다. 특정하게 다르게 언급되지 않으면, 구문 "X, Y 또는 Z 중 적어도 하나"와 같은 접속어는, 아이템, 용어 등이 X, Y 또는 Z 중 적어도 하나일 수 있다는 것을 전달하기 위해 일반적으로 사용되는 맥락으로 달리 이해된다. 따라서, 이러한 접속어는 일반적으로, 소정의 실시예들이 X 중 적어도 하나, Y 중 적어도 하나 및 Z 중 적어도 하나가 각각 존재할 것을 요구하는 것을 암시하는 것으로 의도되지 않는다.
[0244] 유사하게, 동작들이 특정한 순서로 도면들에 도시될 수 있지만, 원하는 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정한 순서 또는 순차적인 순서로 수행될 필요가 없거나, 모든 예시된 동작들이 수행될 필요가 없다는 것이 인지될 것이다. 추가로, 도면들은 흐름도의 형태로 하나 이상의 예시적인 프로세스들을 개략적으로 도시할 수 있다. 그러나, 도시되지 않은 다른 동작들이, 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예컨대, 하나 이상의 부가적인 동작들은, 예시된 동작들 중 임의의 동작 이전, 이후, 그들과 동시에, 또는 그들 사이에서 수행될 수 있다. 부가적으로, 동작들은 다른 구현들에서 재배열되거나 재순서화될 수 있다. 소정의 환경들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 또한, 위에서 설명된 구현에서의 다양한 시스템 컴포넌트들의 분리는 모든 구현들에서 그러한 분리를 요구하는 것으로서 이해되지는 않아야 하고, 그리고 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로, 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 부가적으로, 다른 구현들은 다음의 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에서 열거된 액션들은, 상이한 순서로 수행될 수 있으며, 그럼에도 불구하고 원하는 결과들을 달성할 수 있다.
Claims (34)
- 눈 추적 교정(eye tracking calibration)을 위한 웨어러블 시스템으로서,
상기 웨어러블 시스템의 사용자의 하나 또는 두 눈들의 눈 이미지들을 캡처하도록 구성된 이미지 캡처 디바이스;
상기 눈 이미지들을 저장하도록 구성된 비-일시적인 메모리;
디스플레이 시스템 ― 상기 디스플레이 시스템을 통해 상기 사용자가 상기 사용자의 환경의 눈 교정 타겟 및 가상 레티클(virtual reticle)을 지각할 수 있음 ― ;
상기 사용자의 머리 포즈를 추적하도록 구성된 포즈 센서;
상기 비-일시적인 메모리 및 상기 디스플레이 시스템과 통신하는 하드웨어 프로세서를 포함하고,
상기 하드웨어 프로세서는:
상기 눈 교정 타겟으로 하여금 상기 디스플레이 시스템을 통해 지각 가능하게 하고;
상기 가상 레티클로 하여금 상기 디스플레이 시스템을 통해 렌더링되게 하고;
상기 포즈 센서로부터 획득된 데이터에 기반하여 상기 사용자의 머리 포즈를 식별하고;
상기 사용자의 머리 포즈에 기반하여 상기 가상 레티클의 포지션을 계산하고;
상기 가상 레티클 및 상기 눈 교정 타겟의 포지션에 적어도 부분적으로 기반하여, 상기 가상 레티클이 상기 눈 교정 타겟과 정렬되는지 여부를 결정하고; 그리고
상기 가상 레티클이 상기 눈 교정 타겟과 정렬된다는 결정에 대한 응답으로, 상기 이미지 캡처 디바이스에 상기 눈 이미지들을 캡처하도록 명령하고, 상기 비-일시적인 메모리로의 상기 눈 이미지들의 저장을 개시하도록 프로그래밍되는,
눈 추적 교정을 위한 웨어러블 시스템. - 제1 항에 있어서,
상기 이미지 캡처 디바이스는 상기 사용자의 눈 구역을 이미징하도록 구성된 눈 카메라를 포함하는,
눈 추적 교정을 위한 웨어러블 시스템. - 제1 항에 있어서,
상기 포즈 센서는 관성 측정 유닛을 포함하는,
눈 추적 교정을 위한 웨어러블 시스템. - 제1 항에 있어서,
상기 눈 교정 타겟은 세계 공간의 객체이고, 상기 가상 레티클은 리그(rig) 공간에 있는,
눈 추적 교정을 위한 웨어러블 시스템. - 제4 항에 있어서,
상기 세계 공간은 상기 사용자의 환경을 참조하는 3D(three-dimensional) 좌표계를 포함하고, 상기 리그 공간은 상기 디스플레이 시스템을 참조하는 좌표계를 포함하는,
눈 추적 교정을 위한 웨어러블 시스템. - 제5 항에 있어서,
상기 가상 레티클이 상기 눈 교정 타겟과 정렬되는지 여부를 결정하기 위해, 상기 하드웨어 프로세서는:
상기 리그 공간과 상기 세계 공간 사이의 오프셋을 결정하고;
상기 리그 공간의 상기 가상 레티클의 제1 좌표 값 및 상기 세계 공간의 상기 눈 교정 타겟의 제2 좌표 값을 계산하고; 그리고
상기 제1 좌표 값, 상기 제2 좌표 값 및 상기 오프셋에 기반하여 정렬을 계산하도록 프로그래밍되는,
눈 추적 교정을 위한 웨어러블 시스템. - 제6 항에 있어서,
상기 정렬을 계산하기 위해, 상기 하드웨어 프로세서는 상기 오프셋에 기반하여 상기 리그 공간의 상기 제1 좌표 값을 상기 세계 공간의 제3 좌표 값으로 변환하고, 상기 제3 좌표 값 및 상기 제2 좌표 값이 임계 범위 내에 있는지 여부를 결정하도록 프로그래밍되는,
눈 추적 교정을 위한 웨어러블 시스템. - 제1 항에 있어서,
상기 사용자의 머리 포즈는 상기 사용자의 머리의 포지션, 배향, 또는 상기 포지션 및 배향의 조합을 포함하는,
눈 추적 교정을 위한 웨어러블 시스템. - 제1 항에 있어서,
상기 가상 레티클이 상기 눈 교정 타겟과 정렬되는지 여부를 결정하기 위해, 상기 하드웨어 프로세서는:
상기 가상 레티클의 포지션에 기반하여 광선 캐스트(ray cast)를 수행하고; 그리고
상기 광선 캐스트의 광선의 일부가 상기 눈 교정 타겟과 교차하는지 여부를 결정하도록 프로그래밍되는,
눈 추적 교정을 위한 웨어러블 시스템. - 제1 항에 있어서,
상기 가상 레티클이 상기 눈 교정 타겟과 정렬되는지 여부를 결정하기 위해, 상기 하드웨어 프로세서는:
타겟 머리 포즈에 액세스하고 ― 상기 타겟 머리 포즈는, 상기 가상 레티클이 상기 눈 교정 타겟과 정렬될 때, 상기 사용자가 취하는 포즈임 ― ; 그리고
상기 사용자의 머리 포즈가 상기 타겟 머리 포즈에 있는지 여부를 결정하도록 프로그래밍되는,
눈 추적 교정을 위한 웨어러블 시스템. - 제1 항에 있어서,
상기 가상 레티클이 상기 눈 교정 타겟과 정렬된다는 결정에 대한 응답으로, 상기 하드웨어 프로세서는 추가로, 상기 가상 레티클이 상기 눈 교정 타겟과 정렬된다는 것을 나타내는 시각, 가청, 또는 촉각 효과를 제공하도록 프로그래밍되는,
눈 추적 교정을 위한 웨어러블 시스템. - 제1 항에 있어서,
상기 가상 레티클이 상기 눈 교정 타겟과 정렬된다는 결정에 대한 응답으로, 상기 하드웨어 프로세서는 추가로, 다른 가상 레티클을 제공하도록 상기 디스플레이 시스템에 명령하도록 프로그래밍되는,
눈 추적 교정을 위한 웨어러블 시스템. - 제1 항에 있어서,
상기 하드웨어 프로세서는 추가로, 상기 눈 교정 타겟의 크기, 상기 눈 교정 타겟의 컬러, 또는 상기 눈 추적 교정과 연관된 요구된 정밀도 중 적어도 하나를 포함하는 맥락 정보에 적어도 부분적으로 기반하여 상기 가상 레티클의 외관(appearance)을 동적으로 업데이트하도록 프로그래밍되는,
눈 추적 교정을 위한 웨어러블 시스템. - 제13 항에 있어서,
상기 가상 레티클의 외관은 상기 눈 교정 타겟의 외관을 닮은,
눈 추적 교정을 위한 웨어러블 시스템. - 제13 항에 있어서,
상기 하드웨어 프로세서는, 요구되는 높은 정밀도 또는 작은 눈 교정 타겟에 대한 응답으로, 상기 레티클의 크기를 감소시키도록 프로그래밍되는,
눈 추적 교정을 위한 웨어러블 시스템. - 하드웨어 프로세서의 제어 하에서:
사용자의 환경과 연관된 세계 공간에서 눈 교정 타겟을 식별하는 단계;
상기 사용자의 웨어러블 디바이스와 연관된 리그 공간에서 가상 레티클을 렌더링하도록 상기 사용자의 상기 웨어러블 디바이스에 명령하는 단계;
상기 사용자의 머리 포즈 데이터를 획득하는 단계;
상기 획득된 머리 포즈 데이터에 기반하여 상기 사용자의 현재 머리 포즈를 결정하는 단계;
상기 사용자의 현재 머리 포즈에 적어도 부분적으로 기반하여 상기 눈 교정 타겟에 관련하여 상기 가상 레티클의 상대적인 포지션을 결정하는 단계;
상기 눈 교정 타겟에 관련하여 상기 가상 레티클의 상대적인 포지션에 적어도 부분적으로 기반하여, 상기 가상 레티클이 상기 눈 교정 타겟과 정렬되는지 여부를 결정하는 단계; 및
상기 가상 레티클이 상기 눈 교정 타겟과 정렬된다는 결정에 대한 응답으로, 눈 교정 데이터를 획득하도록 상기 웨어러블 디바이스의 내향 이미징 시스템에 명령하는 단계를 포함하는,
눈 추적 교정을 위한 방법. - 제16 항에 있어서,
상기 머리 포즈 데이터는 상기 웨어러블 디바이스의 외향 이미징 시스템, 상기 웨어러블 디바이스의 관성 측정 유닛, 또는 상기 사용자의 환경의 카메라 중 적어도 하나로부터 획득되는,
눈 추적 교정을 위한 방법. - 제16 항에 있어서,
상기 눈 교정 데이터는 상기 사용자의 하나 또는 두 눈들의 이미지들을 포함하는,
눈 추적 교정을 위한 방법. - 제18 항에 있어서,
상기 눈 교정 타겟은 상기 세계 공간의 고정된 위치에 있거나, 상기 가상 레티클은 상기 리그 공간의 고정된 위치에서 렌더링되는,
눈 추적 교정을 위한 방법. - 제19 항에 있어서,
상기 가상 레티클이 상기 눈 교정 타겟과 정렬된다는 결정에 대한 응답으로, 상기 리그 공간의 상이한 위치에서 상기 가상 레티클을 렌더링하도록 상기 웨어러블 디바이스에 명령하는 단계를 더 포함하는,
눈 추적 교정을 위한 방법. - 제16 항에 있어서,
상기 가상 레티클이 상기 사용자의 시야의 중심에서 또는 중심 근처에서 렌더링되고, 상기 시야는 상기 사용자가 정해진 시간에 지각할 수 있는 상기 사용자의 환경의 일부를 포함하는,
눈 추적 교정을 위한 방법. - 제16 항에 있어서,
상기 획득된 머리 포즈 데이터에 기반하여 상기 사용자의 현재 머리 포즈를 결정하는 단계는, 상기 머리 포즈 데이터에 기반하여 상기 사용자의 머리의 포지션 또는 배향을 계산하는 단계를 포함하는,
눈 추적 교정을 위한 방법. - 제16 항에 있어서,
머리 포즈들의 범위에 액세스하는 단계를 더 포함하고,
상기 가상 레티클이 상기 눈 교정 타겟과 정렬되는지 여부를 결정하는 단계는, 상기 현재 머리 포즈가 상기 머리 포즈들의 범위 내에 있는지 여부를 결정하는 단계를 포함하는,
눈 추적 교정을 위한 방법. - 제16 항에 있어서,
상기 눈 교정 타겟은 상기 사용자의 환경의 물리적 객체인,
눈 추적 교정을 위한 방법. - 제16 항에 있어서,
상기 눈 교정 타겟은 게임 애플리케이션의 가상 객체이고, 상기 눈 추적 교정을 위한 방법은 상기 게임 애플리케이션의 부분으로서 수행되는,
눈 추적 교정을 위한 방법. - 하드웨어 프로세서의 제어 하에서:
사용자의 환경에서 타겟 구역을 식별하는 단계;
상기 사용자의 하나 이상의 특성들, 또는 가상 레티클을 디스플레이하도록 구성되는 웨어러블 장치의 하나 이상의 특성들 중 적어도 하나를 포함하는 하나 이상의 파라미터들을 결정하는 단계;
상기 하나 이상의 파라미터들에 기반하여 상기 가상 레티클의 표현을 결정하는 단계;
상기 사용자의 웨어러블 디바이스와 연관된 리그 공간의 한 포지션에서 상기 웨어러블 디바이스가 상기 가상 레티클을 디스플레이하도록 명령하는 단계;
상기 사용자의 머리 포즈 데이터를 획득하는 단계;
상기 획득된 머리 포즈 데이터에 기반하여 상기 사용자의 현재 머리 포즈를 결정하는 단계;
상기 사용자의 현재 머리 포즈에 적어도 부분적으로 기반하여 상기 타겟 구역에 대해 상기 가상 레티클의 포지션을 업데이트하는 단계;
상기 가상 레티클이 상기 타겟 구역과 정렬되는지 여부를 결정하는 단계; 및
상기 가상 레티클이 상기 타겟 구역과 정렬된다는 결정에 대한 응답으로, 정렬이 달성되었다는 표시를 제공하는 단계를 포함하는,
눈 추적 교정을 위한 방법. - 제26 항에 있어서,
상기 타겟 구역은 적어도 가상 객체를 포함하고, 상기 가상 레티클이 상기 타겟 구역과 정렬되는지 여부를 결정하는 단계는, 상기 가상 레티클이 상기 가상 객체와 정렬되는지 여부를 결정하는 단계를 포함하는,
눈 추적 교정을 위한 방법. - 제26 항에 있어서,
상기 타겟 구역은 물리적 객체 중 적어도 일부를 포함하고, 상기 가상 레티클이 상기 타겟 구역과 정렬되는지 여부를 결정하는 단계는, 상기 가상 레티클이 상기 물리적 객체 중 일부와 정렬되는지 여부를 결정하는 단계를 포함하는,
눈 추적 교정을 위한 방법. - 제26 항에 있어서,
눈 교정 데이터는 용량성-기반 또는 전극-기반 눈 추적 시스템에 의해 수집되는,
눈 추적 교정을 위한 방법. - 제26 항에 있어서,
상기 가상 레티클이 눈 교정 타겟과 정렬된다는 결정에 대한 응답으로, 상기 방법은 상기 웨어러블 디바이스의 눈 카메라로 하여금 눈 이미지들의 수집을 개시하게 하는 단계를 더 포함하는,
눈 추적 교정을 위한 방법. - 하드웨어 프로세서의 제어 하에서:
사용자의 환경에서 타겟 구역을 식별하는 단계;
상기 사용자의 웨어러블 디바이스와 연관된 리그 공간의 한 포지션에서 가상 레티클을 식별하는 단계;
상기 사용자의 머리 포즈 데이터를 획득하는 단계;
상기 획득된 머리 포즈 데이터에 기반하여 상기 사용자의 현재 머리 포즈를 결정하는 단계;
상기 사용자의 현재 머리 포즈에 적어도 부분적으로 기반하여 상기 타겟 구역에 대해 상기 가상 레티클의 포지션을 업데이트하는 단계;
상기 가상 레티클이 상기 타겟 구역과 정렬되는지 여부를 결정하는 단계; 및
상기 가상 레티클이 상기 타겟 구역과 정렬된다는 결정에 대한 응답으로, 정렬이 달성되었다는 표시를 제공하는 단계를 포함하고,
상기 가상 레티클이 상기 타겟 구역과 정렬되는지 여부를 결정하는 단계는:
상기 사용자의 현재 머리 포즈에 적어도 부분적으로 기반하여 적어도 하나의 가상 광선을 캐스팅하는 단계; 및
상기 적어도 하나의 가상 광선이 상기 타겟 구역과 교차하는지 여부를 결정하는 단계를 포함하는,
눈 추적 교정을 위한 방법. - 제31 항에 있어서,
상기 사용자의 현재 머리 포즈에 적어도 부분적으로 기반하여 적어도 하나의 가상 광선을 캐스팅하는 단계는:
상기 사용자 또는 상기 웨어러블 디바이스 상의 위치로부터, 그리고 상기 가상 레티클의 포지션을 통해 적어도 하나의 가상 광선을 캐스팅하는 단계를 포함하는,
눈 추적 교정을 위한 방법. - 제31 항에 있어서,
상기 사용자의 현재 머리 포즈에 적어도 부분적으로 기반하여 적어도 하나의 가상 광선을 캐스팅하는 단계는:
상기 가상 레티클의 위치를 통해 가상 기하학적 원뿔(virtual geometric cone)을 캐스팅하는 단계를 포함하는,
눈 추적 교정을 위한 방법. - 제33 항에 있어서,
상기 가상 레티클의 형상은 상기 가상 레티클의 위치에서 상기 가상 기하학적 원뿔의 단면 형상에 대응하는,
눈 추적 교정을 위한 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020247017413A KR20240093921A (ko) | 2017-05-31 | 2018-05-30 | 눈 추적 교정 기술들 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201762512954P | 2017-05-31 | 2017-05-31 | |
| US62/512,954 | 2017-05-31 | ||
| PCT/US2018/035190 WO2018222753A1 (en) | 2017-05-31 | 2018-05-30 | Eye tracking calibration techniques |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247017413A Division KR20240093921A (ko) | 2017-05-31 | 2018-05-30 | 눈 추적 교정 기술들 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200014824A KR20200014824A (ko) | 2020-02-11 |
| KR102670987B1 true KR102670987B1 (ko) | 2024-05-30 |
Family
ID=64456215
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247017413A KR20240093921A (ko) | 2017-05-31 | 2018-05-30 | 눈 추적 교정 기술들 |
| KR1020197038485A KR102670987B1 (ko) | 2017-05-31 | 2018-05-30 | 눈 추적 교정 기술들 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020247017413A KR20240093921A (ko) | 2017-05-31 | 2018-05-30 | 눈 추적 교정 기술들 |
Country Status (9)
| Country | Link |
|---|---|
| US (3) | US10671160B2 (ko) |
| EP (2) | EP4123425A1 (ko) |
| JP (2) | JP7239493B2 (ko) |
| KR (2) | KR20240093921A (ko) |
| CN (2) | CN110945405B (ko) |
| AU (1) | AU2018277842A1 (ko) |
| CA (1) | CA3065131A1 (ko) |
| IL (2) | IL270893B (ko) |
| WO (1) | WO2018222753A1 (ko) |
Families Citing this family (49)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11106273B2 (en) | 2015-10-30 | 2021-08-31 | Ostendo Technologies, Inc. | System and methods for on-body gestural interfaces and projection displays |
| US10496808B2 (en) | 2016-10-25 | 2019-12-03 | Apple Inc. | User interface for managing access to credentials for use in an operation |
| JP2018142857A (ja) * | 2017-02-28 | 2018-09-13 | セイコーエプソン株式会社 | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 |
| KR20240093921A (ko) | 2017-05-31 | 2024-06-24 | 매직 립, 인코포레이티드 | 눈 추적 교정 기술들 |
| DE102017221488A1 (de) * | 2017-11-30 | 2019-06-06 | Volkswagen Aktiengesellschaft | Verfahren zur Anzeige des Verlaufs einer Trajektorie vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm |
| KR102460665B1 (ko) * | 2017-12-14 | 2022-10-31 | 삼성전자주식회사 | 응시 거리를 결정하는 방법 및 디바이스 |
| EP3735684A2 (en) | 2018-01-06 | 2020-11-11 | CareOS | Smart mirror system and methods of use thereof |
| CN110554511B (zh) * | 2018-05-30 | 2022-05-03 | 托比股份公司 | 用于校准头戴式显示器的方法和装置 |
| US11269402B1 (en) * | 2018-08-03 | 2022-03-08 | Snap Inc. | User interface interaction paradigms for eyewear device with limited field of view |
| WO2020037312A1 (en) * | 2018-08-17 | 2020-02-20 | Matrix Analytics Corporation | System and method for fabricating decorative surfaces |
| CN112654980A (zh) * | 2018-09-21 | 2021-04-13 | 富士胶片株式会社 | 图像建议装置、图像建议方法及图像建议程序 |
| SG11202103106YA (en) | 2018-09-26 | 2021-04-29 | Nec Corp | Information providing device, information providing method, and storage medium |
| US11275778B2 (en) * | 2018-12-04 | 2022-03-15 | International Business Machines Corporation | Content marshaling using biometric data |
| CN111957032B (zh) * | 2019-02-22 | 2024-03-08 | 网易（杭州）网络有限公司 | 游戏角色控制方法、装置、设备和存储介质 |
| WO2020185219A1 (en) | 2019-03-13 | 2020-09-17 | Hewlett-Packard Development Company, L.P. | Detecting eye tracking calibration errors |
| CN113544626A (zh) | 2019-03-15 | 2021-10-22 | 索尼集团公司 | 信息处理装置、信息处理方法和计算机可读记录介质 |
| CN109976528B (zh) * | 2019-03-22 | 2023-01-24 | 北京七鑫易维信息技术有限公司 | 一种基于头动调整注视区域的方法以及终端设备 |
| CN117590582A (zh) * | 2019-04-11 | 2024-02-23 | 三星电子株式会社 | 头戴式显示设备及其操作方法 |
| CN110058693B (zh) * | 2019-04-23 | 2022-07-15 | 北京七鑫易维科技有限公司 | 数据采集方法、装置、电子设备及存储介质 |
| JP7538148B2 (ja) | 2019-05-06 | 2024-08-21 | カレオス | スマートミラーシステムおよびその使用の方法 |
| US10698701B1 (en) | 2019-06-01 | 2020-06-30 | Apple Inc. | User interface for accessing an account |
| US10819898B1 (en) * | 2019-06-21 | 2020-10-27 | Facebook Technologies, Llc | Imaging device with field-of-view shift control |
| CN114128256A (zh) * | 2019-07-12 | 2022-03-01 | 奇跃公司 | 眼球相机系统和用于显示系统校准的方法 |
| US11650660B2 (en) | 2019-08-02 | 2023-05-16 | Canon Kabushiki Kaisha | Electronic device, control method, and non-transitory computer readable medium |
| CN110837294B (zh) * | 2019-10-14 | 2023-12-12 | 成都西山居世游科技有限公司 | 一种基于眼球追踪的面部表情控制方法及系统 |
| CN115053270A (zh) | 2019-12-09 | 2022-09-13 | 奇跃公司 | 用于基于用户身份来操作头戴式显示系统的系统和方法 |
| US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
| CN111610861A (zh) * | 2020-05-25 | 2020-09-01 | 歌尔科技有限公司 | 跨平台交互方法、ar装置及服务器和vr装置及服务器 |
| WO2021242008A1 (en) * | 2020-05-28 | 2021-12-02 | Samsung Electronics Co., Ltd. | Electronic device and operating method thereof |
| US11382713B2 (en) * | 2020-06-16 | 2022-07-12 | Globus Medical, Inc. | Navigated surgical system with eye to XR headset display calibration |
| CN111862338B (zh) * | 2020-06-23 | 2024-06-18 | 深圳市新镜介网络有限公司 | 模拟眼镜佩戴图像的显示方法及装置 |
| EP3984016A4 (en) | 2020-08-14 | 2023-09-06 | HES IP Holdings, LLC | SYSTEMS AND METHODS FOR SUPERIMPOSING A VIRTUAL IMAGE ON A REAL-TIME IMAGE |
| EP4073572A4 (en) | 2020-09-03 | 2024-09-04 | Hes Ip Holdings Llc | SYSTEMS AND METHODS FOR ENHANCING BINOCULAR VISION |
| US11351457B2 (en) * | 2020-09-11 | 2022-06-07 | Riot Games, Inc. | Selecting an anchored offset targeting position |
| WO2022067343A2 (en) | 2020-09-25 | 2022-03-31 | Apple Inc. | Methods for adjusting and/or controlling immersion associated with user interfaces |
| CN112507799B (zh) * | 2020-11-13 | 2023-11-24 | 幻蝎科技(武汉)有限公司 | 基于眼动注视点引导的图像识别方法、mr眼镜及介质 |
| US11995230B2 (en) | 2021-02-11 | 2024-05-28 | Apple Inc. | Methods for presenting and sharing content in an environment |
| US20220269333A1 (en) * | 2021-02-19 | 2022-08-25 | Apple Inc. | User interfaces and device settings based on user identification |
| CN112966983B (zh) * | 2021-04-12 | 2021-09-21 | 广东视明科技发展有限公司 | 基于vr空间的视觉功能加工时效能力评估系统及方法 |
| JP2024514614A (ja) * | 2021-04-13 | 2024-04-02 | アップル インコーポレイテッド | 環境内で没入型体験を提供するための方法 |
| US11716456B2 (en) * | 2021-05-21 | 2023-08-01 | Microsoft Technology Licensing, Llc | Autocalibrated near-eye display |
| CN113507599B (zh) * | 2021-07-08 | 2022-07-08 | 四川纵横六合科技股份有限公司 | 基于大数据分析的教育云服务平台 |
| US20230056472A1 (en) * | 2021-08-19 | 2023-02-23 | Raytheon Company | Firing cutout rapid generation aided by machine learning |
| US11691072B2 (en) * | 2021-08-24 | 2023-07-04 | Sony Interactive Entertainment LLC | Aiming display automation for head mounted display applications |
| US20230171395A1 (en) * | 2021-11-23 | 2023-06-01 | Isabella H. Schwartz | System and method for smart tv anywhere |
| CN114373064B (zh) * | 2021-12-14 | 2024-07-16 | 聚好看科技股份有限公司 | 一种vrar内容编辑方法、装置、设备及介质 |
| US12039676B1 (en) * | 2022-04-27 | 2024-07-16 | National Technology & Engineering Solutions Of Sandia, Llc | Augmented reality for reflective particle tag alignment |
| US20240012472A1 (en) * | 2022-07-08 | 2024-01-11 | Tencent America LLC | Vergence based gaze matching for mixed-mode immersive telepresence application |
| IL295191A (en) * | 2022-07-28 | 2024-02-01 | Immersix Ltd | Method and system for determining gaze direction |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2017031089A1 (en) * | 2015-08-15 | 2017-02-23 | Eyefluence, Inc. | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| US20170123492A1 (en) * | 2014-05-09 | 2017-05-04 | Eyefluence, Inc. | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
Family Cites Families (59)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
| US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
| US6943754B2 (en) * | 2002-09-27 | 2005-09-13 | The Boeing Company | Gaze tracking system, eye-tracking assembly and an associated method of calibration |
| US7646394B1 (en) * | 2004-03-05 | 2010-01-12 | Hrl Laboratories, Llc | System and method for operating in a virtual environment |
| USD514570S1 (en) | 2004-06-24 | 2006-02-07 | Microsoft Corporation | Region of a fingerprint scanning device with an illuminated ring |
| US8248458B2 (en) | 2004-08-06 | 2012-08-21 | University Of Washington Through Its Center For Commercialization | Variable fixation viewing distance scanned light displays |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| GB0625912D0 (en) | 2006-12-22 | 2007-02-07 | Bid Instr Ltd | Method for visual field testing |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| WO2012088478A1 (en) | 2010-12-24 | 2012-06-28 | Chunyu Gao | An ergonomic head mounted display device and optical system |
| RU2017118159A (ru) | 2011-05-06 | 2018-10-30 | Мэджик Лип, Инк. | Мир массового одновременного удаленного цифрового присутствия |
| WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
| RU2621633C2 (ru) | 2011-10-28 | 2017-06-06 | Мэджик Лип, Инк. | Система и способ для дополненной и виртуальной реальности |
| RU2628164C2 (ru) | 2011-11-23 | 2017-08-15 | Мэджик Лип, Инк. | Система отображения трехмерной виртуальной и дополненной реальности |
| AU2013243380B2 (en) | 2012-04-05 | 2017-04-20 | Magic Leap, Inc. | Wide-field of view (FOV) imaging devices with active foveation capability |
| WO2013167864A1 (en) | 2012-05-11 | 2013-11-14 | Milan Momcilo Popovich | Apparatus for eye tracking |
| WO2013179427A1 (ja) | 2012-05-30 | 2013-12-05 | パイオニア株式会社 | 表示装置、ヘッドマウントディスプレイ、校正方法及び校正プログラム、並びに記録媒体 |
| CN104737061B (zh) | 2012-06-11 | 2018-01-16 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| KR20150054967A (ko) | 2012-09-11 | 2015-05-20 | 매직 립, 인코포레이티드 | 인체공학적 헤드 마운티드 디스플레이 디바이스 및 광학 시스템 |
| JP6498606B2 (ja) * | 2012-12-06 | 2019-04-10 | グーグル エルエルシー | ウエアラブル視線計測デバイス及び使用方法 |
| AU2014207545B2 (en) | 2013-01-15 | 2018-03-15 | Magic Leap, Inc. | Ultra-high resolution scanning fiber display |
| IL308285B1 (en) | 2013-03-11 | 2024-07-01 | Magic Leap Inc | System and method for augmentation and virtual reality |
| EP4027222A1 (en) | 2013-03-15 | 2022-07-13 | Magic Leap, Inc. | Display system and method |
| US9239460B2 (en) * | 2013-05-10 | 2016-01-19 | Microsoft Technology Licensing, Llc | Calibration of eye location |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US10914951B2 (en) * | 2013-08-19 | 2021-02-09 | Qualcomm Incorporated | Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking |
| US10089786B2 (en) * | 2013-08-19 | 2018-10-02 | Qualcomm Incorporated | Automatic customization of graphical user interface for optical see-through head mounted display with user interaction tracking |
| US10073518B2 (en) * | 2013-08-19 | 2018-09-11 | Qualcomm Incorporated | Automatic calibration of eye tracking for optical see-through head mounted display |
| AU2014337171B2 (en) | 2013-10-16 | 2018-11-15 | Magic Leap, Inc. | Virtual or augmented reality headsets having adjustable interpupillary distance |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| WO2015081313A2 (en) | 2013-11-27 | 2015-06-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US20150153826A1 (en) * | 2013-12-01 | 2015-06-04 | Apx Labs, Llc | Systems and methods for providing a virtual menu |
| EP2886041A1 (en) * | 2013-12-17 | 2015-06-24 | ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) | Method for calibrating a head-mounted eye tracking device |
| JP6929644B2 (ja) * | 2013-12-31 | 2021-09-01 | グーグル エルエルシーＧｏｏｇｌｅ ＬＬＣ | 注視によるメディア選択及び編集のためのシステム並びに方法 |
| WO2015117039A1 (en) | 2014-01-31 | 2015-08-06 | Magic Leap, Inc. | Multi-focal display system and method |
| EP3100099B1 (en) | 2014-01-31 | 2020-07-01 | Magic Leap, Inc. | Multi-focal display system and method |
| US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| WO2016018488A2 (en) | 2014-05-09 | 2016-02-04 | Eyefluence, Inc. | Systems and methods for discerning eye signals and continuous biometric identification |
| USD759657S1 (en) | 2014-05-19 | 2016-06-21 | Microsoft Corporation | Connector with illumination region |
| US9727136B2 (en) * | 2014-05-19 | 2017-08-08 | Microsoft Technology Licensing, Llc | Gaze detection calibration |
| EP3149539A4 (en) | 2014-05-30 | 2018-02-07 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
| USD752529S1 (en) | 2014-06-09 | 2016-03-29 | Comcast Cable Communications, Llc | Electronic housing with illuminated region |
| WO2015192117A1 (en) | 2014-06-14 | 2015-12-17 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US10070120B2 (en) | 2014-09-17 | 2018-09-04 | Qualcomm Incorporated | Optical see-through display calibration |
| CN107003752B (zh) | 2014-12-17 | 2020-04-10 | 索尼公司 | 信息处理装置、信息处理方法以及程序 |
| USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
| US9888843B2 (en) * | 2015-06-03 | 2018-02-13 | Microsoft Technology Licensing, Llc | Capacitive sensors for determining eye gaze direction |
| US10810362B2 (en) * | 2015-07-17 | 2020-10-20 | Sap Se | Page-based incident correlation for network applications |
| US10630965B2 (en) | 2015-10-02 | 2020-04-21 | Microsoft Technology Licensing, Llc | Calibrating a near-eye display |
| KR101712350B1 (ko) | 2015-10-15 | 2017-03-07 | 한국과학기술연구원 | 시선 및 손 정보를 이용하여 가상 객체를 선택하기 위한 니어 아이 디스플레이 장치, 상기 장치를 이용하여 가상 객체를 선택하는 방법 및 그 방법을 수행하기 위한 기록 매체 |
| CN108780229B (zh) | 2016-01-19 | 2021-12-21 | 奇跃公司 | 眼睛图像采集、选择和组合 |
| USD805734S1 (en) | 2016-03-04 | 2017-12-26 | Nike, Inc. | Shirt |
| USD794288S1 (en) | 2016-03-11 | 2017-08-15 | Nike, Inc. | Shoe with illuminable sole light sequence |
| KR20240093921A (ko) | 2017-05-31 | 2024-06-24 | 매직 립, 인코포레이티드 | 눈 추적 교정 기술들 |
-
2018
- 2018-05-30 KR KR1020247017413A patent/KR20240093921A/ko not_active Application Discontinuation
- 2018-05-30 JP JP2019565507A patent/JP7239493B2/ja active Active
- 2018-05-30 CN CN201880048398.2A patent/CN110945405B/zh active Active
- 2018-05-30 CA CA3065131A patent/CA3065131A1/en active Pending
- 2018-05-30 EP EP22195895.2A patent/EP4123425A1/en active Pending
- 2018-05-30 EP EP18810231.3A patent/EP3631567B1/en active Active
- 2018-05-30 AU AU2018277842A patent/AU2018277842A1/en not_active Abandoned
- 2018-05-30 CN CN202311834134.9A patent/CN117762256A/zh active Pending
- 2018-05-30 US US15/993,371 patent/US10671160B2/en active Active
- 2018-05-30 KR KR1020197038485A patent/KR102670987B1/ko active IP Right Grant
- 2018-05-30 WO PCT/US2018/035190 patent/WO2018222753A1/en active Application Filing
-
2019
- 2019-11-25 IL IL270893A patent/IL270893B/en unknown
-
2020
- 2020-04-22 US US16/855,270 patent/US11068055B2/en active Active
-
2021
- 2021-06-18 US US17/351,660 patent/US11379036B2/en active Active
-
2022
- 2022-03-27 IL IL291716A patent/IL291716A/en unknown
- 2022-09-20 JP JP2022148944A patent/JP7486276B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170123492A1 (en) * | 2014-05-09 | 2017-05-04 | Eyefluence, Inc. | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| WO2017031089A1 (en) * | 2015-08-15 | 2017-02-23 | Eyefluence, Inc. | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
Also Published As
| Publication number | Publication date |
|---|---|
| AU2018277842A1 (en) | 2019-12-19 |
| CA3065131A1 (en) | 2018-12-06 |
| IL270893B (en) | 2022-05-01 |
| US20220011859A1 (en) | 2022-01-13 |
| JP2022173312A (ja) | 2022-11-18 |
| EP3631567B1 (en) | 2022-09-21 |
| IL270893A (en) | 2020-01-30 |
| US11068055B2 (en) | 2021-07-20 |
| US10671160B2 (en) | 2020-06-02 |
| IL291716A (en) | 2022-05-01 |
| JP2020522795A (ja) | 2020-07-30 |
| EP4123425A1 (en) | 2023-01-25 |
| WO2018222753A1 (en) | 2018-12-06 |
| EP3631567A1 (en) | 2020-04-08 |
| JP7239493B2 (ja) | 2023-03-14 |
| US11379036B2 (en) | 2022-07-05 |
| US20200249755A1 (en) | 2020-08-06 |
| KR20200014824A (ko) | 2020-02-11 |
| JP2023060088A (ja) | 2023-04-27 |
| CN117762256A (zh) | 2024-03-26 |
| EP3631567A4 (en) | 2020-12-16 |
| JP7486276B2 (ja) | 2024-05-17 |
| KR20240093921A (ko) | 2024-06-24 |
| US20180348861A1 (en) | 2018-12-06 |
| CN110945405B (zh) | 2024-01-02 |
| CN110945405A (zh) | 2020-03-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102670987B1 (ko) | 눈 추적 교정 기술들 | |
| JP7480218B2 (ja) | 拡張現実システムのための仮想レチクル | |
| CN109196447B (zh) | 使用姿势和多dof控制器与3d虚拟对象的交互 | |
| JP2023100853A (ja) | アバタ移動のためのマルチモードの手の場所および配向 | |
| JP7543466B2 (ja) | 眼追跡較正技術 | |
| NZ786547A (en) | Interactions with 3d virtual objects using poses and multiple-dof controllers |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |