KR20230040346A - 비구면 각막 모델을 사용한 눈 추적 - Google Patents
비구면 각막 모델을 사용한 눈 추적 Download PDFInfo
- Publication number
- KR20230040346A KR20230040346A KR1020237004641A KR20237004641A KR20230040346A KR 20230040346 A KR20230040346 A KR 20230040346A KR 1020237004641 A KR1020237004641 A KR 1020237004641A KR 20237004641 A KR20237004641 A KR 20237004641A KR 20230040346 A KR20230040346 A KR 20230040346A
- Authority
- KR
- South Korea
- Prior art keywords
- eye
- user
- corneal
- center
- module
- Prior art date
Links
- 210000001508 eye Anatomy 0.000 claims abstract description 1601
- 238000012545 processing Methods 0.000 claims abstract description 367
- 210000004087 cornea Anatomy 0.000 claims description 305
- 239000013598 vector Substances 0.000 claims description 203
- 210000001747 pupil Anatomy 0.000 claims description 149
- 238000004364 calculation method Methods 0.000 claims description 84
- 210000003128 head Anatomy 0.000 claims description 39
- 238000004891 communication Methods 0.000 claims description 34
- 238000012804 iterative process Methods 0.000 claims description 24
- 230000004438 eyesight Effects 0.000 claims description 13
- 238000003384 imaging method Methods 0.000 abstract description 48
- 238000000034 method Methods 0.000 description 371
- 230000003287 optical effect Effects 0.000 description 119
- 230000000875 corresponding effect Effects 0.000 description 89
- 238000005286 illumination Methods 0.000 description 76
- 230000008569 process Effects 0.000 description 72
- 238000004422 calculation algorithm Methods 0.000 description 45
- 230000000007 visual effect Effects 0.000 description 37
- 238000001514 detection method Methods 0.000 description 35
- 238000000605 extraction Methods 0.000 description 26
- 230000015654 memory Effects 0.000 description 21
- 230000008859 change Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 19
- 238000009877 rendering Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 16
- 230000033001 locomotion Effects 0.000 description 16
- 238000004458 analytical method Methods 0.000 description 15
- 238000013459 approach Methods 0.000 description 13
- 238000009826 distribution Methods 0.000 description 13
- 238000002372 labelling Methods 0.000 description 12
- 230000007704 transition Effects 0.000 description 12
- 238000010606 normalization Methods 0.000 description 11
- 238000010801 machine learning Methods 0.000 description 10
- 238000005259 measurement Methods 0.000 description 9
- 210000001525 retina Anatomy 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000007781 pre-processing Methods 0.000 description 8
- 230000029777 axis specification Effects 0.000 description 7
- 238000002347 injection Methods 0.000 description 7
- 239000007924 injection Substances 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 230000004308 accommodation Effects 0.000 description 6
- 230000002350 accommodative effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 6
- 230000000284 resting effect Effects 0.000 description 6
- 238000000926 separation method Methods 0.000 description 6
- 201000009310 astigmatism Diseases 0.000 description 5
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 210000003786 sclera Anatomy 0.000 description 5
- VCGRFBXVSFAGGA-UHFFFAOYSA-N (1,1-dioxo-1,4-thiazinan-4-yl)-[6-[[3-(4-fluorophenyl)-5-methyl-1,2-oxazol-4-yl]methoxy]pyridin-3-yl]methanone Chemical compound CC=1ON=C(C=2C=CC(F)=CC=2)C=1COC(N=C1)=CC=C1C(=O)N1CCS(=O)(=O)CC1 VCGRFBXVSFAGGA-UHFFFAOYSA-N 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 4
- 210000002159 anterior chamber Anatomy 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 230000004424 eye movement Effects 0.000 description 4
- 210000000744 eyelid Anatomy 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- KVCQTKNUUQOELD-UHFFFAOYSA-N 4-amino-n-[1-(3-chloro-2-fluoroanilino)-6-methylisoquinolin-5-yl]thieno[3,2-d]pyrimidine-7-carboxamide Chemical compound N=1C=CC2=C(NC(=O)C=3C4=NC=NC(N)=C4SC=3)C(C)=CC=C2C=1NC1=CC=CC(Cl)=C1F KVCQTKNUUQOELD-UHFFFAOYSA-N 0.000 description 3
- CYJRNFFLTBEQSQ-UHFFFAOYSA-N 8-(3-methyl-1-benzothiophen-5-yl)-N-(4-methylsulfonylpyridin-3-yl)quinoxalin-6-amine Chemical compound CS(=O)(=O)C1=C(C=NC=C1)NC=1C=C2N=CC=NC2=C(C=1)C=1C=CC2=C(C(=CS2)C)C=1 CYJRNFFLTBEQSQ-UHFFFAOYSA-N 0.000 description 3
- AYCPARAPKDAOEN-LJQANCHMSA-N N-[(1S)-2-(dimethylamino)-1-phenylethyl]-6,6-dimethyl-3-[(2-methyl-4-thieno[3,2-d]pyrimidinyl)amino]-1,4-dihydropyrrolo[3,4-c]pyrazole-5-carboxamide Chemical compound C1([C@H](NC(=O)N2C(C=3NN=C(NC=4C=5SC=CC=5N=C(C)N=4)C=3C2)(C)C)CN(C)C)=CC=CC=C1 AYCPARAPKDAOEN-LJQANCHMSA-N 0.000 description 3
- 210000004556 brain Anatomy 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 230000004418 eye rotation Effects 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- XGVXKJKTISMIOW-ZDUSSCGKSA-N simurosertib Chemical compound N1N=CC(C=2SC=3C(=O)NC(=NC=3C=2)[C@H]2N3CCC(CC3)C2)=C1C XGVXKJKTISMIOW-ZDUSSCGKSA-N 0.000 description 3
- 206010019233 Headaches Diseases 0.000 description 2
- 208000003464 asthenopia Diseases 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000033228 biological regulation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 231100000869 headache Toxicity 0.000 description 2
- 230000002093 peripheral effect Effects 0.000 description 2
- 230000001179 pupillary effect Effects 0.000 description 2
- 238000011946 reduction process Methods 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 239000000243 solution Substances 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- MAYZWDRUFKUGGP-VIFPVBQESA-N (3s)-1-[5-tert-butyl-3-[(1-methyltetrazol-5-yl)methyl]triazolo[4,5-d]pyrimidin-7-yl]pyrrolidin-3-ol Chemical compound CN1N=NN=C1CN1C2=NC(C(C)(C)C)=NC(N3C[C@@H](O)CC3)=C2N=N1 MAYZWDRUFKUGGP-VIFPVBQESA-N 0.000 description 1
- MOWXJLUYGFNTAL-DEOSSOPVSA-N (s)-[2-chloro-4-fluoro-5-(7-morpholin-4-ylquinazolin-4-yl)phenyl]-(6-methoxypyridazin-3-yl)methanol Chemical compound N1=NC(OC)=CC=C1[C@@H](O)C1=CC(C=2C3=CC=C(C=C3N=CN=2)N2CCOCC2)=C(F)C=C1Cl MOWXJLUYGFNTAL-DEOSSOPVSA-N 0.000 description 1
- ABDDQTDRAHXHOC-QMMMGPOBSA-N 1-[(7s)-5,7-dihydro-4h-thieno[2,3-c]pyran-7-yl]-n-methylmethanamine Chemical compound CNC[C@@H]1OCCC2=C1SC=C2 ABDDQTDRAHXHOC-QMMMGPOBSA-N 0.000 description 1
- HCDMJFOHIXMBOV-UHFFFAOYSA-N 3-(2,6-difluoro-3,5-dimethoxyphenyl)-1-ethyl-8-(morpholin-4-ylmethyl)-4,7-dihydropyrrolo[4,5]pyrido[1,2-d]pyrimidin-2-one Chemical compound C=1C2=C3N(CC)C(=O)N(C=4C(=C(OC)C=C(OC)C=4F)F)CC3=CN=C2NC=1CN1CCOCC1 HCDMJFOHIXMBOV-UHFFFAOYSA-N 0.000 description 1
- BYHQTRFJOGIQAO-GOSISDBHSA-N 3-(4-bromophenyl)-8-[(2R)-2-hydroxypropyl]-1-[(3-methoxyphenyl)methyl]-1,3,8-triazaspiro[4.5]decan-2-one Chemical compound C[C@H](CN1CCC2(CC1)CN(C(=O)N2CC3=CC(=CC=C3)OC)C4=CC=C(C=C4)Br)O BYHQTRFJOGIQAO-GOSISDBHSA-N 0.000 description 1
- WNEODWDFDXWOLU-QHCPKHFHSA-N 3-[3-(hydroxymethyl)-4-[1-methyl-5-[[5-[(2s)-2-methyl-4-(oxetan-3-yl)piperazin-1-yl]pyridin-2-yl]amino]-6-oxopyridin-3-yl]pyridin-2-yl]-7,7-dimethyl-1,2,6,8-tetrahydrocyclopenta[3,4]pyrrolo[3,5-b]pyrazin-4-one Chemical compound C([C@@H](N(CC1)C=2C=NC(NC=3C(N(C)C=C(C=3)C=3C(=C(N4C(C5=CC=6CC(C)(C)CC=6N5CC4)=O)N=CC=3)CO)=O)=CC=2)C)N1C1COC1 WNEODWDFDXWOLU-QHCPKHFHSA-N 0.000 description 1
- IRPVABHDSJVBNZ-RTHVDDQRSA-N 5-[1-(cyclopropylmethyl)-5-[(1R,5S)-3-(oxetan-3-yl)-3-azabicyclo[3.1.0]hexan-6-yl]pyrazol-3-yl]-3-(trifluoromethyl)pyridin-2-amine Chemical compound C1=C(C(F)(F)F)C(N)=NC=C1C1=NN(CC2CC2)C(C2[C@@H]3CN(C[C@@H]32)C2COC2)=C1 IRPVABHDSJVBNZ-RTHVDDQRSA-N 0.000 description 1
- KCBWAFJCKVKYHO-UHFFFAOYSA-N 6-(4-cyclopropyl-6-methoxypyrimidin-5-yl)-1-[[4-[1-propan-2-yl-4-(trifluoromethyl)imidazol-2-yl]phenyl]methyl]pyrazolo[3,4-d]pyrimidine Chemical compound C1(CC1)C1=NC=NC(=C1C1=NC=C2C(=N1)N(N=C2)CC1=CC=C(C=C1)C=1N(C=C(N=1)C(F)(F)F)C(C)C)OC KCBWAFJCKVKYHO-UHFFFAOYSA-N 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 208000036366 Sensation of pressure Diseases 0.000 description 1
- LXRZVMYMQHNYJB-UNXOBOICSA-N [(1R,2S,4R)-4-[[5-[4-[(1R)-7-chloro-1,2,3,4-tetrahydroisoquinolin-1-yl]-5-methylthiophene-2-carbonyl]pyrimidin-4-yl]amino]-2-hydroxycyclopentyl]methyl sulfamate Chemical compound CC1=C(C=C(S1)C(=O)C1=C(N[C@H]2C[C@H](O)[C@@H](COS(N)(=O)=O)C2)N=CN=C1)[C@@H]1NCCC2=C1C=C(Cl)C=C2 LXRZVMYMQHNYJB-UNXOBOICSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 210000000695 crystalline len Anatomy 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000000193 eyeblink Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000013386 optimize process Methods 0.000 description 1
- 238000013488 ordinary least square regression Methods 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 238000013442 quality metrics Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000004470 vergence movement Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/107—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining the shape or measuring the curvature of the cornea
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Veterinary Medicine (AREA)
- Ophthalmology & Optometry (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Heart & Thoracic Surgery (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optics & Photonics (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
디스플레이 시스템은 상이한 양의 발산 및 시준에서 가상 이미지 컨텐츠를 표시하기 위해 사용자의 눈에 광을 투사하도록 구성된 머리 장착형 디스플레이를 포함할 수 있다. 디스플레이 시스템은, 가능하게는, 사용자의 눈을 이미징하고 그에 대해 반짝거리는 복수의 카메라들을 포함하는 내향 이미징 시스템, 및 내향 이미징 시스템과 통신하고 글린트 이미지들로부터 도출된 데이터를 사용하여 사용자의 눈의 각막 중심의 추정을 획득하도록 구성된 프로세싱 전자기기를 포함할 수 있다. 디스플레이 시스템은 사용자의 눈의 각막 중심의 위치를 추정하기 위해 구면 및 비구면 각막 모델들을 사용할 수 있다.
Description
[0001] 본 정규 특허 출원은 2020년 7월 15일자로 출원되고 발명의 명칭이 "비구면 각막 모델을 사용한 눈 추적"인 미국 가출원 제63/052,392호, 2021년 1월 20일자로 출원되고 발명의 명칭이 "비구면 각막 모델을 사용한 눈 추적"인 미국 가출원 제63/139,750호 및 2021년 1월 21일자로 출원되고 발명의 명칭이 "비구면 각막 모델을 사용한 눈 추적"인 미국 가출원 제63/140,202호로부터 35 U.S.C. 119(e) 하의 우선권을 주장하며, 이로써 이들은 그 전체가 인용에 의해 본원에 포함된다.
[0002] 본 출원은 발명의 명칭이 "회전 결정의 눈 중심, 깊이 평면 선택 및 디스플레이 시스템에서의 렌더 카메라 포지셔닝"이고 2019년 1월 17일자로 출원된 미국 출원 제16/250,931호, 및 2019년 8월 9일자로 공개된 대응 미국 공개 제2019/0243,448 A1호, 및 발명의 명칭이 "각막 곡률을 사용한 홍채 경계 추정"이고 2018년 1월 18일자로 공개된 미국 특허 공개 제2018/0018515호와 관련되며, 이로써 이들은 인용에 의해 본원에 포함된다. 위에 언급한 특허 출원뿐만 아니라 발명의 명칭이 "하나 이상의 눈 추적 카메라를 사용한 눈 중심 회전 결정"이고 2020년 7월 15일자로 출원된 국제 출원 PCT/US2020/042178호, 및 2021년 1월 21일자로 공개된 대응 국제 공개 제 WO2021/011686호도 각각, 이로써 모든 목적을 위해 그 전체가 인용에 의해 본원에 명시적으로 포함된다.
[0003] 본 개시는 디스플레이 시스템들, 가상 현실, 및 증강 현실 이미징 및 시각화 시스템들에 관한 것으로, 보다 구체적으로 각막 데이터를 이용하여 계산된 눈의 회전 중심을 사용한 눈 추적에 관한 것이다.
[0004] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실", "증강 현실" 또는 "혼합 현실" 경험을 위한 시스템의 개발을 용이하게 했으며, 여기서 디지털로 재생된 이미지들 또는 그 일부들은 실제처럼 보이거나 실제처럼 인식될 수 있는 방식으로 사용자에게 제시된다. 가상 현실 즉, "VR(virtual reality)" 시나리오는 통상적으로 다른 실제 현실 세계의 시각적 입력에 대한 투명성 없이 디지털 또는 가상 이미지 정보의 프레젠테이션과 관련되며; 증강 현실 즉, "AR(augmented reality)" 시나리오는 통상적으로 사용자 주변의 현실 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프레젠테이션과 관련되며; 혼합 현실 즉, "MR(mixed reality)"은 현실 세계와 가상 세계를 병합하여 물리적 객체와 가상 객체가 실시간으로 공존하고 상호 작용하는 새로운 환경들을 생성하는 것과 관련된다. 드러난 바와 같이, 인간의 시각적 인식 시스템은 매우 복잡하며 다른 가상 또는 현실 세계 이미저리(imagery) 요소들 중에서 가상 이미지 요소들의 편안하고, 자연스러운 느낌의, 풍부한 프레젠테이션을 용이하게 하는 VR, AR 또는 MR 기술을 생산하는 것은 어려운 일이다. 본원에 개시된 시스템들 및 방법들은 VR, AR 및 MR 기술과 관련된 다양한 문제들을 해결한다.
[0005] 혼합 현실 시스템에서 깊이 평면 선택의 다양한 예들이 개시된다.
[0006] 디스플레이 시스템은 사용자의 시계(vision field)에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성될 수 있다. 사용자의 눈은 각막, 홍채, 동공, 수정체, 망막 및 상기 수정체, 동공 및 각막을 통해 연장되는 광학 축을 가질 수 있다. 디스플레이 시스템은 사용자의 머리 상에 지지되도록 구성된 프레임, 프레임에 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 적어도 하나의 발산 및 시준의 상이한 양으로 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성되어 표시된 가상 이미지 컨텐츠는 상이한 기간들에서 상이한 깊이들로부터 발생하는 것처럼 보임 ―, 사용자의 눈을 이미징하도록 구성된 하나 이상의 눈 추적 카메라들, 및 디스플레이 및 하나 이상의 눈 추적 카메라들과 통신하는 프로세싱 전자기기(processing electronics)를 포함할 수 있으며, 프로세싱 전자기기는 상기 하나 이상의 눈 추적 카메라들로 획득된 상기 눈의 이미지들에 기초하여 상기 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0007] 프로세싱 전자기기는 상기 각막의 구면(spherical) 및/또는 비구면(aspherical) 모델을 사용하여 상기 눈의 각막 곡률 중심(center of curvature)의 위치를 추가로 추정할 수 있다. 일부 경우들에, 프로세싱 전자기기는 상기 하나 이상의 카메라들에 의해 생성된 이미지들에서 글린트(glint) 반사들의 위치, 하나 이상의 추적 카메라들의 위치들 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 각막의 곡률 중심의 값(예를 들어, 기준 프레임 또는 좌표계에 대해 x, y, z 또는 r, θ, φ 등과 같은 하나 이상의 좌표에 의해 설명되는 x, y, z 위치와 같은 3차원 위치) 또는 추정 또는 위치를 결정하기 위해 수치 계산들에서 상기 구면 및/또는 비구면 모델을 사용한다. 일부 구현들에서, 각막의 곡률 중심의 위치는 눈 카메라의 기준 프레임 또는 좌표계 또는 머리 장착형 디스플레이에 대한 고정된 기준 프레임에 대해 결정될 수 있다.
[0008] 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 하나 이상의 눈에 광을 투사하는 디스플레이 시스템의 다양한 예들이 아래에 열거된 예들에서와 같이 같이 본원에 설명되어 있다.
[0009] 예 1: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 디스플레이 시스템은: 사용자의 머리 상에 지지되도록 구성된 프레임; 프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―; 사용자의 눈을 이미징하도록 구성된 제1 눈 추적 카메라 및 제2 눈 추적 카메라; 복수의 광 방출기들; 및 디스플레이 및 제1 눈 추적 카메라와 제2 눈 추적 카메라와 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는: 제1 눈 추적 카메라 및 제2 눈 추적 카메라에 의해 캡처된 사용자의 눈의 이미지들, 제1 눈 추적 카메라 및 제2 눈 추적 카메라에 의해 캡처된 눈의 상기 이미지들에서 관찰 가능한 상이한 광 방출기들의 글린트 반사들을 수신하고; 그리고 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라 모두에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 그리고 제1 눈 추적 카메라 및 제2 눈 추적 카메라 모두의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 각막 곡률 중심의 위치를 추정하도록 구성된다.
[0010] 예 2: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 디스플레이 시스템은: 사용자의 머리 상에 지지되도록 구성된 프레임; 프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―; 사용자의 눈을 이미징하도록 구성된 제1 눈 추적 카메라 및 제2 눈 추적 카메라; 복수의 광 방출기들; 및 디스플레이 및 제1 눈 추적 카메라와 제2 눈 추적 카메라와 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는: 제1 눈 추적 카메라 및 제2 눈 추적 카메라에 의해 캡처된 사용자의 눈의 이미지들, 제1 눈 추적 카메라 및 제2 눈 추적 카메라에 의해 캡처된 눈의 상기 이미지들에서 관찰 가능한 상이한 광 방출기들의 글린트 반사들을 수신하고; 그리고 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라 모두에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 그리고 제1 눈 추적 카메라 및 제2 눈 추적 카메라 모두의 상기 위치 및 복수의 눈 포즈들에 대한 상기 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 회전 중심의 위치를 추정하도록 구성된다.
[0011] 예 3: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템에서 가상 이미지 컨텐츠를 렌더링하기 위해 눈과 연관된 하나 이상의 파라미터들을 결정하는 방법으로서, 상기 눈은 각막을 가지며, 상기 방법은: 사용자의 눈을 이미징하도록 구성된 복수의 눈 추적 카메라들 및 그 위에 글린트들을 형성하기 위해 상기 눈에 대해 배치된 복수의 광 방출기들로, 사용자의 눈의 복수의 이미지들 ― 상기 이미지들은 복수의 글린트들을 포함함 ― 을 캡처하는 단계; 및 복수의 글린트들에 기초하여 상기 눈의 회전 중심의 추정을 획득하는 단계를 포함하고, 상기 눈의 회전 중심의 추정을 획득하는 단계는: 복수의 글린트들에 기초하여 사용자의 눈의 각막 곡률 중심의 복수의 추정들을 결정하는 단계; 각막 곡률 중심의 복수의 추정들로부터 3차원 표면을 생성하는 단계; 및 3차원 표면을 사용하여 사용자의 눈의 회전 중심의 추정을 결정하는 단계를 포함한다.
[0012] 예 4: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 디스플레이 시스템은: 사용자의 머리 상에 지지되도록 구성된 프레임; 프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―; 사용자의 눈을 이미징하도록 구성된 제1 눈 추적 카메라 및 제2 눈 추적 카메라; 및 디스플레이 및 제1 눈 추적 카메라와 제2 눈 추적 카메라와 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는: 제1 눈 추적 카메라 및 제2 눈 추적 카메라로부터 사용자의 눈의 캡처된 이미지들의 복수의 쌍들을 수신하고; 제1 눈 추적 카메라 및 제2 눈 추적 카메라로부터 각각 수신된 이미지들의 쌍들에 대해, 캡처된 이미지들의 각각의 쌍에 적어도 부분적으로 기초하여 사용자의 눈의 각막 곡률 중심의 추정을 획득하고; 각각의 제1 눈 추적 카메라 및 제2 눈 추적 카메라로부터 수신된 사용자의 눈의 캡처된 이미지들의 복수의 쌍들에 기초하여 획득된 사용자의 눈의 각막 곡률의 추정된 중심들에 기초하여 3차원 표면을 결정하고; 사용자의 눈의 회전 중심의 추정을 획득하기 위해 3D 표면의 곡률 중심을 식별하도록 구성된다.
[0013] 예 5: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 디스플레이 시스템은: 사용자의 머리 상에 지지되도록 구성된 프레임; 프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―; 사용자의 눈을 이미징하도록 구성된 눈 추적 카메라; 복수의 광 방출기들; 및 디스플레이 및 눈 추적 카메라와 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는: 제1 위치 및 제2 위치에서 눈 추적 카메라에 의해 캡처된 사용자의 눈의 이미지들, 눈 추적 카메라에 의해 캡처된 눈의 상기 이미지들에서 관찰 가능한 상이한 광 방출기들의 글린트 반사들을 수신하고; 그리고 상기 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 눈 추적 카메라의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 각막 곡률 중심의 위치를 추정하도록 구성된다.
[0014] 예 6: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 디스플레이 시스템은: 사용자의 머리 상에 지지되도록 구성된 프레임; 프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―; 사용자의 눈을 이미징하도록 구성된 눈 추적 카메라; 복수의 광 방출기들; 및 디스플레이 및 눈 추적 카메라와 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는: 제1 카메라 및 제2 위치에서 눈 추적 카메라에 의해 캡처된 사용자의 눈의 이미지들, 눈 추적 카메라에 의해 캡처된 눈의 상기 이미지들에서 관찰 가능한 상이한 광 방출기들의 글린트 반사들을 수신하고; 그리고 상기 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 눈 추적 카메라의 상기 제1 위치 및 상기 제2 위치 및 복수의 눈 포즈들에 대해 상기 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 회전 중심의 위치를 추정하도록 구성된다.
[0015] 예 7: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템에서 가상 이미지 컨텐츠를 렌더링하기 위해 눈과 연관된 하나 이상의 파라미터들을 결정하는 방법으로서, 상기 눈은 각막을 가지며, 상기 방법은: 사용자의 눈을 이미징하도록 구성된 눈 추적 카메라 및 그 위에 글린트들을 형성하기 위해 상기 눈에 대해 배치된 복수의 광 방출기들로, 사용자의 눈의 복수의 이미지들 ― 상기 이미지들은 복수의 글린트들을 포함함 ― 을 캡처하는 단계; 및 복수의 글린트들에 기초하여 상기 눈의 회전 중심의 추정을 획득하는 단계를 포함하고, 상기 눈의 회전 중심의 추정을 획득하는 단계는: 복수의 글린트들에 기초하여 사용자의 눈의 각막 곡률 중심의 복수의 추정들을 결정하는 단계; 각막 곡률 중심의 복수의 추정들로부터 3차원 표면을 생성하는 단계; 및 3차원 표면을 사용하여 사용자의 눈의 회전 중심의 추정을 결정하는 단계를 포함한다.
[0016] 예 8: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 디스플레이 시스템은: 사용자의 머리 상에 지지되도록 구성된 프레임; 프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―; 사용자의 눈을 이미징하도록 구성된 눈 추적 카메라; 및 디스플레이 및 눈 추적 카메라와 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는: 눈 추적 카메라로부터 사용자의 눈의 캡처된 이미지들의 복수의 쌍들을 수신하고; 눈 추적 카메라로부터 각각 수신된 이미지들의 쌍들에 대해, 캡처된 이미지들의 각각의 쌍에 적어도 부분적으로 기초하여 사용자의 눈의 각막 곡률 중심의 추정을 획득하고; 눈 추적 카메라로부터 수신된 사용자의 눈의 캡처된 이미지들의 복수의 쌍들에 기초하여 획득된 사용자의 눈의 각막 곡률의 추정된 중심들에 기초하여 3차원 표면을 결정하고; 사용자의 눈의 회전 중심의 추정을 획득하기 위해 3D 표면의 곡률 중심을 식별하도록 구성된다.
[0017] 예 9: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 디스플레이 시스템은: 사용자의 머리 상에 지지되도록 구성된 프레임; 프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―; 사용자의 눈을 이미징하도록 구성된 적어도 하나의 눈 추적 카메라; 복수의 광 방출기들; 및 디스플레이 및 눈 추적 카메라와 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는: 제1 위치 및 제2 위치에서 적어도 하나의 눈 추적 카메라에 의해 캡처된 사용자의 눈의 이미지들, 눈 추적 카메라에 의해 캡처된 눈의 상기 이미지들에서 관찰 가능한 상이한 광 방출기들의 글린트 반사들을 수신하고; 그리고 상기 적어도 하나의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 적어도 하나의 눈 추적 카메라의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 각막 곡률 중심의 위치를 추정하도록 구성된다.
[0018] 예 10: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 눈은 각막 및 동공을 갖고, 상기 디스플레이 시스템은: 사용자의 머리 상에 지지되도록 구성된 프레임; 프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―; 사용자의 눈을 이미징하도록 구성된 하나 이상의 눈 추적 카메라들; 복수의 광 방출기들; 및 디스플레이 및 하나 이상의 눈 추적 카메라들과 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는: 하나 이상의 눈 추적 카메라에 의해 캡처된 사용자의 눈의 이미지들, 하나 이상의 추적 카메라들에 의해 캡처된 눈의 상기 이미지들에서 관찰 가능한 상이한 광 방출기들의 글린트 반사들을 수신하고; 그리고 상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 적어도 부분적으로 기초하여 사용자의 눈의 상기 각막의 곡률 중심의 위치를 추정하도록 구성되고, 상기 프로세싱 전자기기는 사용자의 눈의 상기 각막 곡률 중심의 상기 위치를 추정하기 위해 수치 계산들에서 상기 각막의 비구면 모델을 사용한다.
[0019] 예 11: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 눈은 각막 및 동공을 갖고, 상기 디스플레이 시스템은: 사용자의 머리 상에 지지되도록 구성된 프레임; 프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―; 사용자의 눈을 이미징하도록 구성된 하나 이상의 눈 추적 카메라들; 복수의 광 방출기들; 및 디스플레이 및 하나 이상의 눈 추적 카메라들과 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는: 하나 이상의 눈 추적 카메라들에 의해 캡처된 사용자의 눈의 이미지들, 하나 이상의 추적 카메라들에 의해 캡처된 눈의 상기 이미지들에서 관찰 가능한 상이한 광 방출기들의 글린트 반사들을 수신하고; 그리고 상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 사용자의 눈의 제1 파라미터를 추정하도록 구성되고, 상기 프로세싱 전자기기는 사용자의 눈의 상기 제1 파라미터를 추정하기 위해 수치 계산들에서 상기 각막의 비구면 모델을 사용한다.
[0020] 임의의 위의 실시예들 또는 추가 실시예들이 조합될 수 있다. 추가로, 위의 예들 또는 추가 예들 중 임의의 것이 머리 장착형 디스플레이와 통합될 수 있다. 또한, 임의의 위의 예들 또는 추가 예들은 단일 깊이 평면 및/또는 하나 이상의 가변 깊이 평면(예를 들어, 시간에 따라 변하는 조절 단서(accommodation cue)를 제공하는 가변 초점력(focusing power)을 갖는 하나 이상의 요소들)으로 구현될 수 있다.
[0021] 추가로, 해부학적, 광학적 및 기하학적 피처들, 위치들 및 배향들 등에 한정되지 않지만 이와 같은 다양한 값들, 파라미터들 등을 결정하기 위한 장치 및 방법들이 본원에 개시된다. 이러한 파라미터들의 예들은 예를 들어, 눈의 회전 중심, 각막의 곡률 중심, 동공 중심, 동공 경계, 홍채 중심, 홍채 경계, 연곽(limbus)의 경계, 눈의 광학 축, 눈의 시각 축, 관점의 중심을 포함하지만 이에 한정되지 않는다. 본원에 인용된 이러한 값들, 파라미터들 등의 결정들은 그 추정을 포함하며 반드시 실제 값들과 정확하게 일치할 필요는 없다. 예를 들어, 눈의 회전 중심, 각막의 곡률 중심, 동공 또는 홍채의 중심 또는 경계, 연곽의 경계, 눈의 광학 축, 눈의 시각 축, 관점의 중심 등의 결정들은 실제(예를 들어, 해부학적, 광학적 또는 기하학적) 값들 또는 파라미터들에 가깝지만 동일하지는 않은 추정들, 근사들 또는 값들일 수 있다. 예를 들어, 일부 경우들에서, 평균 제곱근 추정 기법들을 사용하여 이러한 값들의 추정들을 획득할 수 있다. 예를 들어, 본원에 설명된 특정 기법들은 광선 또는 벡터가 교차하는 위치 또는 포인트를 식별하는 것과 관련된다. 그러나, 이러한 광선들 또는 벡터들은 교차하지 않을 수 있다. 이 예에서, 위치 또는 포인트가 추정될 수 있다. 예를 들어, 위치 또는 포인트는 평균 제곱근 또는 다른 추정 기법들에 기초하여 결정될 수 있다(예를 들어, 위치 또는 포인트는 광선들 또는 벡터들에 가깝거나 가장 가까운 것으로 추정될 수 있다). 또한 다른 프로세스들을 사용하여 실제 값과 일치하지 않을 수 있는 값을 추정, 근사화하거나 아니면 제공할 수 있다. 따라서, 결정 및 추정 또는 결정된 및 추정된이라는 용어는 본원에서 상호 교환적으로 사용된다. 따라서, 이러한 결정된 값들에 대한 참조는 추정, 근사 또는 실제 값에 가까운 값들을 포함할 수 있다. 따라서, 위 또는 본원의 다른 곳에서 파라미터 또는 값을 결정하는 것에 대한 언급은 실제 값으로 정확하게 제한되어서는 안 되며 추정들, 근사들 또는 그에 가까운 값들을 포함할 수 있다.
[0022] 본 명세서에 설명된 주제의 하나 이상의 구현들에 대한 상세 사항은 첨부된 도면 및 아래의 설명에서 제시된다. 다른 피처들, 양태들 및 이점들 설명, 도면 및 청구항으로부터 명백해질 것이다. 이러한 개요나 후술하는 상세한 설명은 본 발명의 주제의 범위를 정의하거나 제한하지 않는다.
[0023] 도 1은 사람이 보는 특정 가상 현실 객체들 및 특정 물리적 객체들이 있는 혼합 현실 시나리오의 예시를 묘사한다.
[0024] 도 2는 웨어러블 시스템의 예를 개략적으로 예시한다.
[0025] 도 3은 웨어러블 시스템의 예시적인 구성 요소들을 개략적으로 예시한다.
[0026] 도 4는 사용자에게 이미지 정보를 출력하기 위한 웨어러블 디바이스의 도파관 스택의 예를 개략적으로 예시한다.
[0027] 도 5는 눈의 예를 개략적으로 예시한다.
[0028] 도 5a는 눈의 눈 포즈(pose)를 결정하기 위한 예시적인 좌표계를 개략적으로 예시한다.
[0029] 도 6은 눈 추적 시스템을 포함하는 웨어러블 시스템의 개략도이다.
[0030] 도 7a는 눈 추적 시스템을 포함하는 웨어러블 시스템에서 사용될 수 있는 예시적인 눈 추적 모듈의 블록도이다.
[0031] 도 7b는 웨어러블 시스템의 렌더(render) 제어기의 블록도이다.
[0032] 도 7c는 눈의 광학 축 및 시각 축과 눈의 회선 중심을 포함하는 눈의 예를 예시한다.
[0033] 도 8a는 눈의 각막 구를 나타내는 눈의 개략도이다.
[0034] 도 8b는 눈 추적 카메라에 의해 검출된 예시적인 각막 글린트를 예시한다.
[0035] 도 8c 내지 도 8e는 웨어러블 시스템에서 눈 추적 모듈로 사용자의 각막 중심을 찾는 예시적인 단계들을 예시한다.
[0036] 도 9a 내지 도 9e는 눈 추적 모듈에 의해 사용하기 위해 눈 이미지 데이터를 캡처하기 위한 웨어러블 시스템의 예시적인 구성의 뷰를 예시한다.
[0037] 도 10은 눈 추적 모듈에 의해 수행될 수 있는 예시적인 회전 중심(CoR: Center of Rotation) 결정 프로세스의 그래픽 예시를 도시한다.
[0038] 도 11은 추정된 회전 중심을 결정하기 위해 눈 추적 모듈에 의해 사용되는 임의의 눈 상의 글린트들의 예시적인 이미지들을 도시한다.
[0039] 도 12a 내지 도 12d는 제1 글린트, 글린트의 이미지를 캡처하는 카메라, 및 제1 글린트를 생성하는 조명원의 위치들을 포함하는 제1 평면의 예시적인 결정에서의 단계들을 예시한다.
[0040] 도 13a 내지 도 13d는 제2 글린트, 카메라, 및 제2 글린트를 생성하는 조명원의 위치들을 포함하는 제2 평면의 예시적인 결정에서의 단계들을 예시한다.
[0041] 도 14a 내지 도 14c는 도 12a 내지 도 12d의 제1 평면과 도 13a 내지 도 13d의 제2 평면 사이의 교차를 예시한다. 이러한 교차는 각막 중심이 따라서 놓일 수 있는 벡터에 대응한다.
[0042] 도 15a 및 도 15b는 복수의 카메라들을 사용하여 획득된 각막 중심이 따라서 놓일 수 있는 복수의 벡터를 예시한다. 이러한 벡터들은 각막 중심에 대응하거나 이에 가까운 위치에서 수렴하거나 교차할 수 있다.
[0043] 도 16a 내지 도 16c는 복수의 카메라들 사이에 공유된 조명원들을 사용하여 각막 중심이 따라서 놓일 수 있는 벡터들의 예시적인 결정에서의 예시적인 단계들을 예시한다.
[0044] 도 17a 및 도 17b는 계산된 각막 중심들에 기초한 3D 표면의 추정을 도시한다.
[0045] 도 18a 및 도 18b는 각막 중심들에 기초하여 계산된 3D 표면에 수직인 복수의 표면 법선 벡터들의 수렴에서 회전 중심의 예시적인 추정을 도시한다.
[0046] 도 19aa 및 도 19ab는 선택된 추정 각막 중심에 맞추어진 예시적인 표면을 예시한다.
[0047] 도 19ba 및 도 19bb는 추정된 각막 중심들에 맞추어진 표면에 수직일 수 있는 예시적인 표면 법선 벡터들을 도시한다.
[0048] 도 19ca 및 도 19cb는 표면 법선 벡터들의 교차점들에 기초하여 추정된 CoR 영역을 예시한다.
[0049] 도 19da 및 도 19db는 각막 중심의 다른 선택에 맞추어진 예시적인 표면을 예시한다.
[0050] 도 20은 눈 추적 모듈에 의해 구현될 수 있는 예시적인 회전 중심 추출 프로세스를 예시한다.
[0051] 도 21은 각막 곡률 중심을 사용하여 추정된 회전 중심들을 결정하기 위해 도 20의 프로세스를 사용할 수 있는 예시적인 눈 추적 프로세스를 예시한다.
[0052] 도 22a는 안구의 사시도를 개략적으로 예시한다.
[0053] 도 22b는 눈의 각막의 2D 단면도를 개략적으로 예시한다.
[0054] 도 22c는 구면 및 회전 타원체(spheroidal) 반사 표면들의 2 개의 광원들로부터의 광의 정반사의 2D 단면도를 개략적으로 예시한다.
[0055] 도 23a는 원추 파라미터들의 상이한 값에 대해 X-Z 평면에 플롯팅된 축 대칭 회전 타원체 표면들의 2D 단면 프로파일들을 도시한다.
[0056] 도 23b는 X-Z 평면에 플롯팅된 2 개의 축 대칭 회전 타원체의 2D 단면도를 도시하며, 하나는 0의 원추 파라미터를 갖고(구), 다른 하나는 -0.25의 원추 파라미터를 갖는다(Arizona 눈 모델 회전 타원체). 이러한 표면들의 각각의 하나에서 나오는 광선의 정반사가 또한 도시된다.
[0057] 도 24는 하나의 눈 카메라를 사용하고 회전 타원체 각막 모델에 기초하여 각막 중심의 위치를 추정하기 위해 사용될 수 있는 예시적인 절차를 예시하는 블록도이다.
[0058] 도 25a 내지 도 25d는 도 24에 예시된 절차에 기초하여 각막 중심의 예시적인 결정에서의 예시적 단계들을 예시한다.
[0059] 도 26은 도 24에 예시된 절차에 기초하여 회전 타원체 각막 모델을 사용하여 각막 중심을 추정하기 위해 3D 회전 타원체 각막 중심 추정 모듈과 결합될 수 있는 예시적인 눈 추적 모듈의 상호 연결된 서브모듈들의 서브세트를 예시하는 블록도이다.
[0060] 도 27은 프레임 상에 또한 배치된 3 개의 광원들에 의해 생성된 글린트들의 이미지들을 캡처하기 위해 2 개의 카메라가 머리 장착형 디스플레이 프레임의 아이 피스(eye piece) 상에 배치된 예시적인 구성이다.
[0061] 도 28은 2 개의 눈 카메라들에 의해 캡처된 이미지들을 사용하는 회전 타원체 각막 모델에 기초하여 각막 중심의 위치를 추정하기 위한 예시적인 절차를 예시하는 블록도이다.
[0062] 도 29a 내지 도 29d는 도 28에 예시된 절차에 기초한 각막 중심의 예시적 결정에서의 예시적인 단계들을 예시한다.
[0063] 도 30은 회전 타원체 각막 모델 및 도 28에 예시된 절차에 기초하여 각막 중심을 추정하기 위해 3D 회전 타원체 각막 중심 추정 모듈과 결합될 수 있는 예시적인 눈 추적 모듈의 상호 연결된 서브모듈들의 서브세트를 예시하는 블록도이다.
[0064] 도면들 전체에서, 참조 번호들은 참조 요소들 간의 대응 관계를 나타내기 위해 재사용될 수 있다. 도면들은 본원에 설명된 예시적인 실시예들을 예시하기 위해 제공되며 본 개시의 범위를 제한하려는 의도가 아니다.
[0024] 도 2는 웨어러블 시스템의 예를 개략적으로 예시한다.
[0025] 도 3은 웨어러블 시스템의 예시적인 구성 요소들을 개략적으로 예시한다.
[0026] 도 4는 사용자에게 이미지 정보를 출력하기 위한 웨어러블 디바이스의 도파관 스택의 예를 개략적으로 예시한다.
[0027] 도 5는 눈의 예를 개략적으로 예시한다.
[0028] 도 5a는 눈의 눈 포즈(pose)를 결정하기 위한 예시적인 좌표계를 개략적으로 예시한다.
[0029] 도 6은 눈 추적 시스템을 포함하는 웨어러블 시스템의 개략도이다.
[0030] 도 7a는 눈 추적 시스템을 포함하는 웨어러블 시스템에서 사용될 수 있는 예시적인 눈 추적 모듈의 블록도이다.
[0031] 도 7b는 웨어러블 시스템의 렌더(render) 제어기의 블록도이다.
[0032] 도 7c는 눈의 광학 축 및 시각 축과 눈의 회선 중심을 포함하는 눈의 예를 예시한다.
[0033] 도 8a는 눈의 각막 구를 나타내는 눈의 개략도이다.
[0034] 도 8b는 눈 추적 카메라에 의해 검출된 예시적인 각막 글린트를 예시한다.
[0035] 도 8c 내지 도 8e는 웨어러블 시스템에서 눈 추적 모듈로 사용자의 각막 중심을 찾는 예시적인 단계들을 예시한다.
[0036] 도 9a 내지 도 9e는 눈 추적 모듈에 의해 사용하기 위해 눈 이미지 데이터를 캡처하기 위한 웨어러블 시스템의 예시적인 구성의 뷰를 예시한다.
[0037] 도 10은 눈 추적 모듈에 의해 수행될 수 있는 예시적인 회전 중심(CoR: Center of Rotation) 결정 프로세스의 그래픽 예시를 도시한다.
[0038] 도 11은 추정된 회전 중심을 결정하기 위해 눈 추적 모듈에 의해 사용되는 임의의 눈 상의 글린트들의 예시적인 이미지들을 도시한다.
[0039] 도 12a 내지 도 12d는 제1 글린트, 글린트의 이미지를 캡처하는 카메라, 및 제1 글린트를 생성하는 조명원의 위치들을 포함하는 제1 평면의 예시적인 결정에서의 단계들을 예시한다.
[0040] 도 13a 내지 도 13d는 제2 글린트, 카메라, 및 제2 글린트를 생성하는 조명원의 위치들을 포함하는 제2 평면의 예시적인 결정에서의 단계들을 예시한다.
[0041] 도 14a 내지 도 14c는 도 12a 내지 도 12d의 제1 평면과 도 13a 내지 도 13d의 제2 평면 사이의 교차를 예시한다. 이러한 교차는 각막 중심이 따라서 놓일 수 있는 벡터에 대응한다.
[0042] 도 15a 및 도 15b는 복수의 카메라들을 사용하여 획득된 각막 중심이 따라서 놓일 수 있는 복수의 벡터를 예시한다. 이러한 벡터들은 각막 중심에 대응하거나 이에 가까운 위치에서 수렴하거나 교차할 수 있다.
[0043] 도 16a 내지 도 16c는 복수의 카메라들 사이에 공유된 조명원들을 사용하여 각막 중심이 따라서 놓일 수 있는 벡터들의 예시적인 결정에서의 예시적인 단계들을 예시한다.
[0044] 도 17a 및 도 17b는 계산된 각막 중심들에 기초한 3D 표면의 추정을 도시한다.
[0045] 도 18a 및 도 18b는 각막 중심들에 기초하여 계산된 3D 표면에 수직인 복수의 표면 법선 벡터들의 수렴에서 회전 중심의 예시적인 추정을 도시한다.
[0046] 도 19aa 및 도 19ab는 선택된 추정 각막 중심에 맞추어진 예시적인 표면을 예시한다.
[0047] 도 19ba 및 도 19bb는 추정된 각막 중심들에 맞추어진 표면에 수직일 수 있는 예시적인 표면 법선 벡터들을 도시한다.
[0048] 도 19ca 및 도 19cb는 표면 법선 벡터들의 교차점들에 기초하여 추정된 CoR 영역을 예시한다.
[0049] 도 19da 및 도 19db는 각막 중심의 다른 선택에 맞추어진 예시적인 표면을 예시한다.
[0050] 도 20은 눈 추적 모듈에 의해 구현될 수 있는 예시적인 회전 중심 추출 프로세스를 예시한다.
[0051] 도 21은 각막 곡률 중심을 사용하여 추정된 회전 중심들을 결정하기 위해 도 20의 프로세스를 사용할 수 있는 예시적인 눈 추적 프로세스를 예시한다.
[0052] 도 22a는 안구의 사시도를 개략적으로 예시한다.
[0053] 도 22b는 눈의 각막의 2D 단면도를 개략적으로 예시한다.
[0054] 도 22c는 구면 및 회전 타원체(spheroidal) 반사 표면들의 2 개의 광원들로부터의 광의 정반사의 2D 단면도를 개략적으로 예시한다.
[0055] 도 23a는 원추 파라미터들의 상이한 값에 대해 X-Z 평면에 플롯팅된 축 대칭 회전 타원체 표면들의 2D 단면 프로파일들을 도시한다.
[0056] 도 23b는 X-Z 평면에 플롯팅된 2 개의 축 대칭 회전 타원체의 2D 단면도를 도시하며, 하나는 0의 원추 파라미터를 갖고(구), 다른 하나는 -0.25의 원추 파라미터를 갖는다(Arizona 눈 모델 회전 타원체). 이러한 표면들의 각각의 하나에서 나오는 광선의 정반사가 또한 도시된다.
[0057] 도 24는 하나의 눈 카메라를 사용하고 회전 타원체 각막 모델에 기초하여 각막 중심의 위치를 추정하기 위해 사용될 수 있는 예시적인 절차를 예시하는 블록도이다.
[0058] 도 25a 내지 도 25d는 도 24에 예시된 절차에 기초하여 각막 중심의 예시적인 결정에서의 예시적 단계들을 예시한다.
[0059] 도 26은 도 24에 예시된 절차에 기초하여 회전 타원체 각막 모델을 사용하여 각막 중심을 추정하기 위해 3D 회전 타원체 각막 중심 추정 모듈과 결합될 수 있는 예시적인 눈 추적 모듈의 상호 연결된 서브모듈들의 서브세트를 예시하는 블록도이다.
[0060] 도 27은 프레임 상에 또한 배치된 3 개의 광원들에 의해 생성된 글린트들의 이미지들을 캡처하기 위해 2 개의 카메라가 머리 장착형 디스플레이 프레임의 아이 피스(eye piece) 상에 배치된 예시적인 구성이다.
[0061] 도 28은 2 개의 눈 카메라들에 의해 캡처된 이미지들을 사용하는 회전 타원체 각막 모델에 기초하여 각막 중심의 위치를 추정하기 위한 예시적인 절차를 예시하는 블록도이다.
[0062] 도 29a 내지 도 29d는 도 28에 예시된 절차에 기초한 각막 중심의 예시적 결정에서의 예시적인 단계들을 예시한다.
[0063] 도 30은 회전 타원체 각막 모델 및 도 28에 예시된 절차에 기초하여 각막 중심을 추정하기 위해 3D 회전 타원체 각막 중심 추정 모듈과 결합될 수 있는 예시적인 눈 추적 모듈의 상호 연결된 서브모듈들의 서브세트를 예시하는 블록도이다.
[0064] 도면들 전체에서, 참조 번호들은 참조 요소들 간의 대응 관계를 나타내기 위해 재사용될 수 있다. 도면들은 본원에 설명된 예시적인 실시예들을 예시하기 위해 제공되며 본 개시의 범위를 제한하려는 의도가 아니다.
[0065] 이제 도면을 참조할 것이며, 동일한 참조 번호들은 전체에 걸쳐 동일한 부분을 지칭한다. 달리 나타내지 않는 한, 도면들은 반드시 축척대로 도시되지 않은 개략적인 것이다.
A. 웨어러블 시스템의 3D 디스플레이 예
[0066] 웨어러블 시스템(본원에서 증강 현실(AR) 시스템이라고도 칭함)은 2D 또는 3D 가상 이미지들을 사용자에게 제공하도록 구성될 수 있다. 이미지들은 조합하여 스틸 이미지들, 비디오의 프레임들 또는 비디오 등일 수 있다. 웨어러블 시스템의 적어도 일부는 사용자 상호 작용을 위해 VR, AR 또는 MR 환경을 단독으로 또는 조합하여 제공할 수 있는 웨어러블 디바이스에서 구현될 수 있다. 웨어러블 디바이스는 AR 디바이스(ARD: AR device)와 상호 교환하여 사용될 수 있다. 또한, 본 개시의 목적을 위해, "AR"이라는 용어는 "MR"이라는 용어와 상호 교환하여 사용된다.
[0067] 도 1은 사람이 보는 특정 가상 현실 객체들 및 특정 물리적 객체들이 있는 혼합 현실 시나리오의 예시를 묘사한다. 도 1에서, MR 기술의 사용자가 배경에 사람들, 나무들, 건물들 및 콘크리트 플랫폼(120)을 특징으로 하는 현실 세계의 공원과 같은 설정(110)을 보는 MR 장면(100)이 묘사되어 있다. 이러한 항목들에 추가하여, MR 기술의 사용자는 또한 이러한 요소들이 현실 세계에 존재하지 않더라도, 그가 현실 세계 플랫폼(120) 위에 서 있는 로봇 조각상(130)과 꿀벌을 의인화한 것처럼 보이는 카툰 같은 아바타 캐릭터(140)가 날아가는 것을 "본다"는 것을 인식한다.
[0068] 3D 디스플레이가 진정한 깊이 감각, 더 구체적으로는 표면 깊이의 시뮬레이팅된 감각을 생성하기 위해서는, 디스플레이 시계의 각각의 포인트들이 그 가상 깊이에 대응하는 조절 응답을 생성하는 것이 바람직할 수 있다. 디스플레이 포인트에 대한 조절 응답이 해당 포인트의 가상 깊이에 대응하지 않는 경우, 수렴 및 입체시(stereopsis)의 양안(binocular) 깊이 단서들에 의해 결정되는 바와 같이, 인간의 눈은 조절 충돌을 경험할 수 있으며, 그 결과 불안정한 이미징, 유해한 눈의 피로, 두통이 발생할 수 있으며, 조절 정보가 없는 경우, 표면 깊이가 거의 완전히 결여된다.
[0069] VR, AR 및 MR 경험들은 복수의 깊이 평면들에 대응하는 이미지들이 뷰어에게 제공되는 디스플레이를 갖는 디스플레이 시스템들에 의해 제공될 수 있다. 이미지는 각각의 깊이 평면마다 상이할 수 있으며(예를 들어, 장면 또는 객체의 약간 다른 프레젠테이션을 제공) 뷰어의 눈에 의해 개별적으로 포커싱될 수 있으며, 이에 의해 상이한 깊이 평면 상에 위치된 장면에 대해 상이한 이미지 피처에 포커싱하는 데 필요한 눈의 조절에 기초하거나 초점이 맞지 않는 상이한 깊이 평면들 상의 상이한 이미지 피처들을 관찰하는 것에 기초하여 사용자에게 깊이 단서들을 제공하는 데 도움이 된다. 본원의 다른 곳에서 논의되는 바와 같이, 이러한 깊이 단서들은 신뢰할 수 있는 깊이 인식들을 제공한다.
[0070] 도 2는 AR/VR/MR 장면을 제공하도록 구성될 수 있는 웨어러블 시스템(200)의 예를 예시한다. 웨어러블 시스템(200)은 AR 시스템(200)으로도 지칭될 수 있다. 웨어러블 시스템(200)은 디스플레이(220), 및 디스플레이(220)의 기능을 지원하는 다양한 기계 및 전자 모듈들 및 시스템들을 포함한다. 디스플레이(220)는 프레임(230)에 커플링될 수 있으며, 이는 사용자, 착용자 또는 뷰어(210)에 의해 착용될 수 있다. 디스플레이(220)는 사용자(210)의 눈 앞에 포지셔닝될 수 있다. 디스플레이(220)는 사용자에게 AR/VR/MR 컨텐츠를 제공할 수 있다. 디스플레이(220)는 사용자의 머리에 착용되는 머리 착용형 디스플레이(HMD: head mounted display)를 포함할 수 있다.
[0071] 일부 실시예들에서, 스피커(240)는 프레임(230)에 커플링되고 사용자의 이도(ear canal)에 인접하게 포지셔닝된다(일부 실시예들에서, 도시되지 않은 다른 스피커는 스테레오/셰이핑 가능한 사운드 제어를 제공하기 위해 사용자의 다른 이도에 인접하게 포지셔닝된다). 디스플레이(220)는 환경으로부터 오디오 스트림을 검출하기 위한 오디오 센서(예를 들어, 마이크로폰)(232)를 포함하고 주변 사운드를 캡처할 수 있다. 일부 실시예들에서, 도시되지 않은 하나 이상의 다른 오디오 센서들이 스테레오 사운드 수신을 제공하기 위해 포지셔닝된다. 스테레오 사운드 수신은 음원의 위치를 결정하는 데 사용될 수 있다. 웨어러블 시스템(200)은 오디오 스트림에 대해 음성 또는 스피치(speech) 인식을 수행할 수 있다.
[0072] 웨어러블 시스템(200)은 사용자 주위의 환경에서 세계를 관찰하는 외향 이미징 시스템(464)(도 4에 도시)을 포함할 수 있다. 웨어러블 시스템(200)은 또한 사용자의 눈 움직임들을 추적할 수 있는 내향 이미징 시스템(462)(도 4에 도시)을 포함할 수 있다. 내향 이미징 시스템은 한쪽 눈의 움직임들 또는 양쪽 눈의 움직임들을 추적할 수 있다. 내향 이미징 시스템(462)은 프레임(230)에 부착될 수 있고 프로세싱 모듈들(260 또는 270)과 전기 통신할 수 있으며, 이는 예를 들어, 사용자(210)의 동공 직경들 또는 눈의 배향들, 눈 움직임들 또는 눈 포즈를 결정하기 위해 내향 이미징 시스템에 의해 취득된 이미지 정보를 프로세싱할 수 있다. 내향 이미징 시스템(462)은 하나 이상의 카메라들을 포함할 수 있다. 예를 들어, 적어도 하나의 카메라가 각각의 눈을 이미징하는 데 사용될 수 있다. 카메라에 의해 취득된 이미지들은 각각의 눈에 대한 동공 크기 또는 눈 포즈를 개별적으로 결정하는 데 사용될 수 있으며, 이에 의해 각각의 눈에 대한 이미지 정보의 프레젠테이션이 해당 눈에 동적으로 맞춰질 수 있게 한다.
[0073] 예로서, 웨어러블 시스템(200)은 사용자 포즈의 이미지들을 취득하기 위해 외향 이미징 시스템(464) 또는 내향 이미징 시스템(462)을 사용할 수 있다. 이미지들은 스틸 이미지들, 비디오의 프레임들 또는 비디오일 수 있다.
[0074] 디스플레이(220)는 헤드폰들에 매립된, 사용자에 의해 착용된 헬멧 또는 모자에 고정되어 부착되거나 아니면 사용자(210)에게 제거 가능하게 부착된(예를 들어, 백팩(backpack)-스타일 구성, 벨트-커플링 스타일 구성), 프레임(230)에 고정되어 부착되는 것과 같은 다양한 구성으로 장착될 수 있는 로컬 데이터 프로세싱 모듈(260)에 유선 리드 또는 무선 연결에 의해서와 같이 동작 가능하게 커플링될 수 있다(250).
[0075] 로컬 프로세싱 및 데이터 모듈(260)은 비휘발성 메모리(예를 들어, 플래시 메모리)와 같은 디지털 메모리뿐만 아니라 하드웨어 프로세서를 포함할 수 있으며, 둘 모두 데이터의 프로세싱, 캐싱(caching) 및 저장에 이용될 수 있다. 데이터는 a) 이미지 캡처 디바이스(예를 들어, 내향 이미징 시스템 또는 외향 이미징 시스템의 카메라들), 오디오 센서들(예를 들어, 마이크로폰들), 관성 측정 유닛(IMU: inertial measurement unit)들, 가속도계들, 나침반들, 글로벌 포지셔닝 시스템(GPS: global positioning system) 유닛들, 무선 디바이스들 또는 자이로스코프들과 같은 센서들(프레임(230)에 동작 가능하게 커플링될 수 있거나 아니면 사용자(210)에게 부착될 수 있음)로부터 캡처되거나; b) 가능하게는 이러한 프로세싱 또는 검색 후에 디스플레이(220)로의 통과를 위해 원격 프로세싱 모듈(270) 또는 원격 데이터 저장소(280)를 사용하여 취득 또는 프로세싱되는 데이터를 포함할 수 있다. 로컬 프로세싱 및 데이터 모듈(260)은 원격 프로세싱 모듈(270) 또는 원격 데이터 저장소(280)에 유선 또는 무선 통신 링크들을 통해서와 같이 통신 링크들(262 또는 264)에 의해 동작 가능하게 커플링될 수 있어, 이러한 원격 모듈들은 로컬 프로세싱 및 데이터 모듈(260)에 대한 리소스들로서 이용 가능하다. 또한, 원격 프로세싱 모듈(280)과 원격 데이터 저장소(280)는 서로 동작 가능하게 커플링될 수 있다.
[0076] 일부 실시예들에서, 원격 프로세싱 모듈(270)은 데이터 또는 이미지 정보를 분석하고 프로세싱하도록 구성된 하나 이상의 프로세서들을 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소(280)는 "클라우드" 리소스 구성에서 인터넷 또는 다른 네트워킹 구성을 통해 이용 가능할 수 있는 디지털 데이터 저장 설비를 포함할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션(computation)들은 로컬 프로세싱 및 데이터 모듈에서 수행되어, 원격 모듈로부터 완전히 자율적으로 사용할 수 있다.
B. 웨어러블 시스템의 구성 요소들의 예
[0077] 도 3은 웨어러블 시스템의 예시적인 구성 요소들을 개략적으로 예시한다. 도 3은 디스플레이(220) 및 프레임(230)을 포함할 수 있는 웨어러블 시스템(200)을 도시한다. 확대도(202)는 웨어러블 시스템(200)의 다양한 구성 요소들을 개략적으로 예시한다. 특정 구현들에서, 도 3에 예시된 구성 요소들 중 하나 이상은 디스플레이(220)의 일부일 수 있다. 다양한 구성 요소들은 단독으로 또는 조합하여 웨어러블 시스템(200)의 사용자 또는 사용자 환경과 연관된 (예를 들어, 오디오 또는 시각적 데이터와 같은) 다양한 데이터를 수집할 수 있다. 다른 실시예들은 웨어러블 시스템이 사용되는 애플리케이션에 따라 추가적인 또는 더 적은 구성 요소들을 가질 수 있음을 이해해야 한다. 그럼에도 불구하고, 도 3은 웨어러블 시스템을 통해 수집, 분석 및 저장될 수 있는 데이터의 다양한 구성 요소들 및 유형 중 일부의 기본 아이디어를 제공한다.
[0078] 도 3은 디스플레이(220)를 포함할 수 있는 예시적인 웨어러블 시스템(200)을 도시한다. 디스플레이(220)는 사용자의 머리 또는 하우징 또는 프레임(230)에 대응하는 프레임(230)에 장착될 수 있는 디스플레이 렌즈(226)를 포함할 수 있다. 디스플레이 렌즈(226)는 사용자의 눈(302, 304) 앞의 하우징(230)에 의해 포지셔닝된 하나 이상의 투명 거울들 포함하고 투사된 광(338)을 눈(302, 304)으로 반사시키고 빔 형성을 용이하게 하는 동시에 또한 로컬 환경으로부터의 적어도 일부 광의 투과를 허용하도록 구성될 수 있다. 투사된 광 빔(338)의 파면은 투사된 광의 원하는 초점 거리와 일치하도록 구부러지거나 포커싱될 수 있다. 예시된 바와 같이, 2 개의 광시야(wide-field-of-view) 머신 비전 카메라들(316)(월드 카메라들이라고도 지칭)은 하우징(230)에 커플링되어 사용자 주위의 환경을 이미징할 수 있다. 이러한 카메라들(316)은 듀얼 캡처 가시광/비가시광(예를 들어, 적외선) 카메라들일 수 있다. 카메라(316)는 도 4에 도시된 외향 이미징 시스템(464)의 일부일 수 있다. 월드 카메라(316)에 의해 취득된 이미지는 포즈 프로세서(336)에 의해 프로세싱될 수 있다. 예를 들어, 포즈 프로세서(336)는 사용자 또는 사용자 환경에서 다른 사람의 포즈를 식별하거나 사용자 환경의 물리적 객체를 식별하기 위해 하나 이상의 객체 인식기들(708)을 구현할 수 있다.
[0079] 도 3을 계속 참조하면, 눈(302, 304)으로 광(338)을 투사하도록 구성된 디스플레이 미러들 및 광학 기기를 갖는 한 쌍의 스캐닝된-레이저 형상-파면(예를 들어, 깊이용) 광 프로젝터 모듈들이 도시되어 있다. 묘사된 뷰는 또한 렌더링 및 사용자 입력을 지원하기 위해 사용자의 눈(302, 304)을 추적할 수 있도록 구성된 (발광 다이오드 "LED"들과 같은) 적외선 광원들(326)과 쌍을 이루는 2 개의 소형 적외선 카메라들(324)을 도시한다. 카메라들(324)은 도 4에 도시된 내향 이미징 시스템(462)의 일부일 수 있다. 웨어러블 시스템(200)은 X, Y 및 Z 축 가속도계 기능뿐만 아니라 자기 나침반 및 X, Y 및 Z 축 자이로 기능을 포함할 수 있는 센서 조립체(339)를 추가적인 특징으로 할 수 있으며, 바람직하게는 200 Hz와 같은 상대적으로 높은 주파수에서 데이터를 제공한다. 센서 조립체(339)는 도 2를 참조하여 설명된 IMU의 일부일 수 있다. 묘사된 시스템(200)은 또한 ASIC(application specific integrated circuit), FPGA(field programmable gate array) 또는 ARM 프로세서(advanced reduced-instruction-set machine)와 같은 헤드 포즈 프로세서(336)를 포함할 수 있으며, 이는 캡처 디바이스들(316)로부터 출력되는 광시야 이미지 정보로부터 실시간 또는 거의 실시간으로 사용자 머리 포즈를 계산하도록 구성될 수 있다. 머리 포즈 프로세서(336)는 하드웨어 프로세서일 수 있고 도 2에 도시된 로컬 프로세싱 및 데이터 모듈(260)의 일부로서 구현될 수 있다.
[0080] 웨어러블 시스템은 또한 하나 이상의 깊이 센서들(234)을 포함할 수 있다. 깊이 센서(234)는 환경의 객체와 웨어러블 디바이스 사이의 거리를 측정하도록 구성될 수 있다. 깊이 센서(234)는 레이저 스캐너(예를 들어, 라이더(lidar)), 초음파 깊이 센서 또는 깊이 감지 카메라를 포함할 수 있다. 특정 구현들에서, 카메라들(316)이 깊이 감지 능력을 갖는 경우, 카메라들(316)은 또한 깊이 센서들(234)로서 간주될 수 있다.
[0081] 또한, 센서 조립체(339)로부터의 자이로, 나침반 또는 가속도계 데이터로부터 포즈를 도출하기 위해 디지털 또는 아날로그 프로세싱을 실행하도록 구성된 프로세서(332)가 도시되어 있다. 프로세서(332)는 도 2에 도시된 로컬 프로세싱 및 데이터 모듈(260)의 일부일 수 있다. 도 3에 도시된 바와 같은 웨어러블 시스템(200)은 또한 포즈 및 포지셔닝 분석을 지원하기 위해 예를 들어, GPS(337)(global positioning system)와 같은 포지션 시스템을 포함할 수 있다. 또한, GPS는 사용자 환경에 대한 원격 기반(예를 들어, 클라우드 기반) 정보를 추가로 제공할 수 있다. 이 정보는 사용자 환경에서 객체나 정보를 인식하는 데 사용될 수 있다.
[0082] 웨어러블 시스템은 사용자 환경에 대한 더 많은 정보를 제공할 수 있는 GPS(337) 및 (예를 들어, 원격 프로세싱 모듈(270), 다른 사용자의 ARD 등과 같은) 원격 컴퓨팅 시스템에 의해 취득된 데이터를 조합할 수 있다. 하나의 예로서, 웨어러블 시스템은 GPS 데이터에 기초하여 사용자의 위치를 결정할 수 있고 사용자의 위치와 연관된 가상 객체들을 포함하는 (예를 들어, 원격 프로세싱 모듈(270)과 통신함으로써) 월드 맵을 검색할 수 있다. 다른 예로서, 웨어러블 시스템(200)은 월드 카메라들(316)(도 4에 도시된 외향 이미징 시스템(464)의 일부일 수 있음)을 사용하여 환경을 모니터링할 수 있다. 월드 카메라들(316)에 의해 취득된 이미지들에 기초하여, 웨어러블 시스템(200)은 (예를 들어, 하나 이상의 객체 인식기들을 사용하여) 환경에서 객체들을 검출할 수 있다. 웨어러블 시스템은 문자를 해석하기 위해 GPS(337)에 의해 취득된 데이터를 추가로 사용할 수 있다.
[0083] 웨어러블 시스템(200)은 또한 사용자의 월드 뷰를 위해 스캐너들의 동작 및 사용자의 눈으로의 이미징을 용이하게 하기 위해 사용자에게 로컬인 렌더링 정보를 제공하도록 구성될 수 있는 렌더링 엔진(334)을 포함할 수 있다. 렌더링 엔진(334)은 (예를 들어, 중앙 처리 장치 또는 그래픽 처리 장치와 같은) 하드웨어 프로세서에 의해 구현될 수 있다. 일부 실시예들에서, 렌더링 엔진은 로컬 프로세싱 및 데이터 모듈(260)의 일부이다. 렌더링 엔진(334)은 웨어러블 시스템(200)의 다른 구성 요소들에 (예를 들어, 유선 또는 무선 링크들을 통해) 통신 가능하게 커플링될 수 있다. 예를 들어, 렌더링 엔진(334)은 통신 링크(274)를 통해 눈 카메라들(324)에 커플링될 수 있고, 통신 링크(272)를 통해 투사 서브시스템(318)(망막 스캐닝 디스플레이와 유사한 방식으로 스캐닝된 레이저 배열을 통해 사용자의 눈(302, 304)으로 광을 투사할 수 있음)에 커플링될 수 있다. 렌더링 엔진(334)은 또한 각각 링크(276 및 294)를 통해 예를 들어, 센서 포즈 프로세서(332) 및 이미지 포즈 프로세서(336)와 같은 다른 프로세싱 유닛들과 통신할 수 있다.
[0084] 카메라들(324)(예를 들어, 소형 적외선 카메라들)은 렌더링 및 사용자 입력을 지원하기 위해 눈 포즈를 추적하는 데 이용될 수 있다. 일부 예시적인 눈 포즈들은 사용자가 보고 있는 곳 또는 사용자가 포커싱하고 있는 깊이(눈 버전스(vergence)로 추정될 수 있음)를 포함할 수 있다. GPS(337), 자이로들, 나침반 및 가속도계들(339)은 거칠거나 빠른 포즈 추정들을 제공하는 데 이용될 수 있다. 카메라들(316) 중 하나 이상은 관련 클라우드 컴퓨팅 리소스로부터의 데이터와 함께 로컬 환경을 매핑하고 사용자 뷰를 다른 사람과 공유하는 데 이용될 수 있는 이미지들 및 포즈를 취득할 수 있다.
[0085] 도 3에 묘사된 예시적인 구성 요소들은 단지 예시를 위한 것이다. 예시 및 설명의 용이함을 위해 복수의 센서들과 다른 기능 모듈들이 함께 도시된다. 일부 실시예들은 이러한 센서들 또는 모듈들 중 하나만 또는 서브세트를 포함할 수 있다. 또한, 이러한 구성 요소들의 위치들은 도 3에 묘사된 포지션들로 제한되지 않는다. 일부 구성 요소들은 벨트 장착 구성 요소, 휴대용 구성 요소 또는 헬멧 구성 요소와 같은 다른 구성 요소에 장착되거나 하우징될 수 있다. 하나의 예로서, 이미지 포즈 프로세서(336), 센서 포즈 프로세서(332) 및 렌더링 엔진(334)은 벨트팩(beltpack)에 포지셔닝될 수 있고 초광대역, Wi-Fi, Bluetooth 등과 같은 무선 통신을 통해 또는 유선 통신을 통해 웨어러블 시스템의 다른 구성 요소들과 통신하도록 구성될 수 있다. 묘사된 하우징(230)은 바람직하게는 머리에 장착 가능하고 사용자에 의해 착용될 수 있다. 그러나, 웨어러블 시스템(200)의 일부 구성 요소들은 사용자 신체의 다른 부분들에 착용될 수 있다. 예를 들어, 스피커(240)는 사용자의 귀에 삽입되어 사용자에게 사운드를 제공할 수 있다.
[0086] 사용자의 눈(302, 304)으로 광(338)을 투사하는 것과 관련하여, 일부 실시예에서, 카메라들(324)은 일반적으로 눈의 초점 포지션 또는 "초점 깊이"와 일치하는 사용자의 눈의 중심들이 기하학적으로 향하는 곳을 측정하는 데 이용될 수 있다. 눈이 향하는 모든 포인트들의 3차원 표면을 "호롭터(horopter)"라고 칭할 수 있다. 초점 거리는 유한한 수의 깊이들을 취할 수도 있거나 무한히 변할 수도 있다. 버전스 거리로부터 투사된 광은 대상 눈(302, 304)에 포커싱되는 것처럼 보이는 반면, 버전스 거리 앞 또는 뒤의 광은 흐려진다. 본 개시의 웨어러블 디바이스들 및 다른 디스플레이 시스템들의 예들이 또한 미국 특허 공개 제2016/0270656호에 설명되어 있으며, 이는 그 전체가 인용에 의해 본원에 포함된다.
[0087] 인간의 시각 시스템은 복잡하고 깊이에 대한 사실적인 인식을 제공하는 것이 어렵다. 버전스와 조절의 조합으로 인해 객체의 뷰어들은 객체를 3차원으로 인식할 수 있다. 서로에 대한 두 눈의 버전스 움직임들(예를 들어, 객체에 고정하기 위해 눈들의 시선들을 수렴하도록 서로를 향하거나 서로로부터 멀어지는 동공의 롤링 움직임들)은 눈의 수정체들의 포커싱(또는 "조절")과 밀접하게 연관된다. 정상적인 조건들 하에서, 하나의 객체로부터 상이한 거리에 있는 다른 객체로 초점을 변경하기 위해 눈 수정체의 초점을 변경하거나 눈을 조절하는 것은 "조절-버전스 반사(accommodation-vergence reflex)"로 알려진 관계 하에서 자동으로 같은 거리에 대한 버전스의 매칭 변화를 야기할 것이다. 마찬가지로, 버전스의 변화는 정상적인 조건들 하에서 조절의 매칭 변화를 트리거링할 것이다. 조절과 버전스 사이에 더 나은 매칭을 제공하는 디스플레이 시스템은 3차원 이미저리의 보다 사실적이고 편안한 시뮬레이션들을 형성할 수 있다.
[0088] 약 0.7 밀리미터 미만의 빔 직경을 갖는 추가의 공간적으로 간섭성 광은 눈이 포커싱하는 곳에 관계 없이 인간의 눈에 의해 정확하게 해상될 수 있다. 따라서, 적절한 초점 깊이의 일루전(illusion)을 생성하기 위해, 눈 버전스는 카메라들(324)로 추적될 수 있고, 렌더링 엔진(334) 및 투사 서브시스템(318)은 초점이 맞춰진 호롭터 상의 또는 이에 가까운 모든 객체들을 렌더링하는 데 이용될 수 있고, 다른 모든 객체들은 다양한 정도의 디포커스에 있다(예를 들어, 의도적으로 생성된 블러링(blurring) 사용). 바람직하게는, 시스템(220)은 초 당 약 60 프레임 이상의 프레임 레이트로 사용자에게 렌더링한다. 상술한 바와 같이, 바람직하게는, 카메라들(324)은 눈 추적에 이용될 수 있고, 소프트웨어는 버전스 지오메트리뿐만 아니라 사용자 입력으로서의 역할을 하는 초점 위치 단서들도 픽업하도록 구성될 수 있다. 바람직하게는, 이러한 디스플레이 시스템은 주간 또는 야간 사용에 적절한 밝기 및 콘트라스트로 구성된다.
[0089] 일부 실시예들에서, 디스플레이 시스템은 바람직하게는 시각적 객체 정렬을 위한 약 20 밀리초 미만의 대기 시간, 약 0.1 도 미만의 각도 정렬 및 약 1 아크(arc) 분의 분해능을 가지며, 이는 이론에 의해 제한되지 않고, 근사적으로 인간의 눈의 한계라고 여겨진다. 디스플레이 시스템(220)은 포지션 및 포즈 결정을 지원하기 위해 GPS 요소들, 광학 추적, 나침반, 가속도계들 또는 다른 데이터 소스들을 포함할 수 있는 로컬화 시스템과 통합될 수 있으며; 로컬화 정보가 관련 세계에 대한 사용자의 관점에서 정확한 렌더링을 용이하게 하기 위해 이용될 수 있다(예를 들어, 이러한 정보는 안경이 현실 세계와 관련하여 어디에 있는지 알게 하는 것을 용이하게 할 것이다).
[0090] 일부 실시예들에서, 웨어러블 시스템(200)은 사용자의 눈의 조절에 기초하여 하나 이상의 가상 이미지를 표시하도록 구성된다. 이미지가 투사되는 곳에 사용자가 포커싱하게 하는 이전의 3D 디스플레이 접근법들과 달리, 일부 실시예들에서, 웨어러블 시스템은 투사된 가상 컨텐츠의 초점을 자동으로 변경하여 사용자에게 제공되는 하나 이상의 이미지들을 보다 편안하게 볼 수 있게 구성된다. 예를 들어, 사용자의 눈이 1 m의 현재 초점을 갖는 경우, 사용자의 초점과 일치하도록 이미지가 투사될 수 있다. 사용자가 초점을 3 m로 시프트시키면, 이미지가 새로운 초점과 일치하도록 투사된다. 따라서, 사용자에게 사전 결정된 초점을 강제하기보다는, 일부 실시예들의 웨어러블 시스템(200)은 사용자의 눈이 보다 자연스러운 방식으로 기능할 수 있게 한다.
[0091] 이러한 웨어러블 시스템(200)은 눈의 피로, 두통, 및 가상 현실 디바이스들에 대해 통상적으로 관찰되는 다른 생리학적 증상의 발생을 제거하거나 감소시킬 수 있다. 이를 달성하기 위해, 웨어러블 시스템(200)의 다양한 실시예들은 하나 이상의 가변 초점 요소(VFE: variable focus element)들을 통해 다양한 초점 거리들에서 가상 이미지를 투사하도록 구성된다. 하나 이상의 실시예들에서, 3D 인식은 사용자로부터 떨어진 고정된 초점 평면에서 이미지들을 투사하는 다중-평면 초점 시스템을 통해 달성될 수 있다. 다른 실시예들은 가변 평면 초점을 채용하며, 여기서 초점 평면은 사용자의 현재 초점 상태와 일치하도록 z 방향으로 앞뒤로 이동한다.
[0092] 다중-평면 초점 시스템들 및 가변 평면 초점 시스템들 모두에서, 웨어러블 시스템(200)은 사용자의 눈의 버전스를 결정하고, 사용자의 현재 초점을 결정하고, 결정된 초점에서 가상 이미지를 투사하기 위해 눈 추적을 채용할 수 있다. 다른 실시예들에서, 웨어러블 시스템(200)은 섬유 스캐너 또는 다른 광 생성 소스를 통해 망막을 가로질러 래스터(raster) 패턴으로 다양한 초점의 광 빔들을 가변적으로 투사하는 광 변조기를 포함한다. 따라서, 다양한 초점 거리들에서 이미지들을 투사하는 웨어러블 시스템(200)의 디스플레이 능력은 그 전체가 인용에 의해 본원에 포함되는 미국 특허 공개 제2016/0270656호에 추가로 설명된 바와 같이, 사용자가 객체를 3D로 보는 조절을 쉽게 할 수 있을 뿐만 아니라, 사용자 안구 이상을 보상하는 데 사용될 수도 있다. 일부 다른 실시예들에서, 공간 광 변조기가 다양한 광학 구성 요소들을 통해 이미지들을 사용자에게 투사할 수 있다. 예를 들어, 아래에 추가로 설명되는 바와 같이, 공간 광 변조기는 이미지를 하나 이상의 도파관들에 투사할 수 있으며, 그 후 이미지를 사용자에게 전달할 수 있다.
C.
도파관 스택 조립체
[0093] 도 4는 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다. 웨어러블 시스템(400)은 복수의 도파관들(432b, 434b, 436b, 438b, 4400b)을 사용하여 눈/뇌에 3차원 인식을 제공하는 데 이용될 수 있는 도파관의 스택 또는 적층된 도파관 조립체(480)를 포함한다. 일부 실시예들에서, 웨어러블 시스템(400)은 도 2의 웨어러블 시스템(200)에 대응할 수 있으며, 도 4는 웨어러블 시스템(200)의 일부 부분들을 보다 상세하게 개략적으로 도시한다. 예를 들어, 일부 실시예들에서, 도파관 조립체(480)는 도 2의 디스플레이(220)에 통합될 수 있다.
[0094] 계속해서 도 4를 참조하면, 도파관 조립체(480)는 또한 도파관들 사이의 복수의 특징부들(458, 456, 454, 452)을 포함할 수 있다. 일부 실시예들에서, 특징부들(458, 456, 454, 452)은 렌즈들일 수 있다. 다른 실시예들에서, 특징부들(458, 456, 454, 452)은 렌즈들이 아닐 수 있다. 오히려, 이는 단순히 스페이서들(예를 들어, 클래딩(cladding) 층들 또는 에어 갭들을 형성하기 위한 구조체들)일 수 있다.
[0095] 도파관(432b, 434b, 436b, 438b, 440b) 또는 복수의 렌즈들(458, 456, 454, 452)은 다양한 레벨의 파면 곡률 또는 광선 발산으로 이미지 정보를 눈에 송신하도록 구성될 수 있다. 각각의 도파관 레벨은 특정 깊이 평면과 연관될 수 있고 해당 깊이 평면에 대응하는 이미지 정보를 출력하도록 구성될 수 있다. 이미지 주입 디바이스들(420, 422, 424, 426, 428)은 도파관(440b, 438b, 436b, 434b, 432b)에 이미지 정보를 주입하는 데 이용될 수 있으며, 각각의 도파관은 들어오는 광을 눈(410)을 향한 출력을 위해 각각의 개별 도파관에 걸쳐 분산하도록 구성될 수 있다. 광은 이미지 주입 디바이스들(420, 422, 424, 426, 428)의 출력 표면을 빠져나가 도파관들(440b, 438b, 436b, 434b, 432b)의 대응하는 입력 에지로 주입된다. 일부 실시예들에서, 광의 단일 빔(예를 들어, 시준된 빔)은 특정 도파관과 연관된 깊이 평면에 대응하는 특정 각도(및 발산량)에서 눈(410)을 향하는 복제된 시준된 빔들의 전체 필드를 출력하기 위해 각각의 도파관으로 주입될 수 있다.
[0096] 일부 실시예들에서, 이미지 주입 디바이스들(420, 422, 424, 426, 428)은 각각 대응하는 도파관(440b, 438b, 436b, 434b, 432b)에 주입하기 위한 이미지 정보를 각각 생성하는 개별 디스플레이들이다. 일부 다른 실시예들에서, 이미지 주입 디바이스들(420, 422, 424, 426, 428)은 예를 들어, (광섬유 케이블들과 같은) 하나 이상의 광학 도관을 통해 이미지 정보를 각각의 이미지 주입 디바이스(420, 422, 424, 426, 428)로 파이핑할 수 있는 단일 다중화 디스플레이의 출력 단부들이다.
[0097] 제어기(460)는 적층 도파관 조립체(480) 및 이미지 주입 디바이스들(420, 422, 424, 426, 428)의 동작을 제어한다. 제어기(460)는 도파관(440b, 438b, 436b, 434b, 432b)에 대한 이미지 정보의 타이밍 및 제공을 조절하는 프로그래밍(예를 들어, 비일시적 컴퓨터 판독 가능 매체의 명령들)을 포함한다. 일부 실시예들에서, 제어기(460)는 단일 통합 디바이스이거나 유선 또는 무선 통신 채널들에 의해 연결된 분산 시스템일 수 있다. 제어기(460)는 일부 실시예들에서 프로세싱 모듈(260 또는 270)(도 2에 예시)의 일부일 수 있다.
[0098] 도파관(440b, 438b, 436b, 434b, 432b)은 내부 전반사(TIR: total internal reflection)에 의해 각각의 개별 도파관 내에서 광을 전파하도록 구성될 수 있다. 도파관(440b, 438b, 436b, 434b, 432b)은 각각 평면이거나 다른 형상(예를 들어, 곡선형)을 가질 수 있으며, 주요 상단 및 바닥 표면들과 에지들은 이러한 주요 상단 및 바닥 표면들 사이에서 연장된다. 예시된 구성에서, 도파관(440b, 438b, 436b, 434b, 432b)은 눈(410)에 이미지 정보를 출력하기 위해 도파관으로부터 광을 재지향시키고 각각의 개별 도파관 내에서 전파시킴으로써 도파관으로부터 광을 추출하도록 구성되는 광 추출 광학 요소들(440a, 438a, 436a, 434a, 432a)을 각각 포함할 수 있다. 추출된 광은 또한 아웃커플링된 광으로 지칭될 수 있고, 광 추출 광학 요소들은 또한 아웃커플링 광학 요소들로 지칭될 수 있다. 추출된 광 빔은 도파관에서 전파되는 광이 광 재지향 요소에 충돌하는 위치에서 도파관에 의해 출력된다. 광 추출 광학 요소들(440a, 438a, 436a, 434a, 432a)은 예를 들어, 반사 또는 회절 광학 특징부들일 수 있다. 설명의 용이성과 도면의 명확성을 위해 도파관(440b, 438b, 436b, 434b, 432b)의 하단 주 표면에 배치되는 것으로 예시되어 있지만, 일부 실시예들에서, 광 추출 광학 요소들(440a, 438a, 436a, 434a, 432a)은 상단 또는 바닥 주 표면들에 배치될 수 있거나, 도파관(440b, 438b, 436b, 434b, 432b)의 체적에 직접 배치될 수 있다. 일부 실시예들에서, 광 추출 광학 요소들(440a, 438a, 436a, 434a, 432a)은 도파관들(440b, 438b, 436b, 434b, 432b)을 형성하기 위해 투명 기판에 부착되는 재료의 층에 형성될 수 있다. 일부 다른 실시예들에서, 도파관들(440b, 438b, 436b, 434b, 432b)은 재료의 모놀리식 단편일 수 있고 광 추출 광학 요소들(440a, 438a, 436a, 434a, 432a)은 재료의 해당 단편의 표면 상에 또는 그 내부에 형성될 수 있다.
[0099] 도 4를 계속 참조하면, 본원에 논의된 바와 같이, 각각의 도파관(440b, 438b, 436b, 434b, 432b)은 특정 깊이 평면에 대응하는 이미지를 형성하기 위해 광을 출력하도록 구성된다. 예를 들어, 눈에 가장 가까운 도파관(432b)은 이러한 도파관(432b)에 주입된 시준된 광을 눈(410)에 전달하도록 구성될 수 있다. 시준된 광은 광학 무한 초점 평면을 나타낼 수 있다. 다음 도파관 업(up)(434b)은 시준된 광이 눈(410)에 도달하기 전에 제1 렌즈(452)(예를 들어, 네거티브 렌즈)를 통과하는 시준된 광을 송신하도록 구성될 수 있다. 제1 렌즈(452)는 약간 볼록한 파면 곡률을 생성하도록 구성될 수 있어, 눈/뇌는 다음 도파관 업(434b)으로부터 오는 광을 광학 무한대로부터 눈(410)을 향해 내측으로 더 가까운 제1 초점 평면으로부터 오는 것으로 해석한다. 유사하게, 제3 업 도파관(436b)은 눈(410)에 도달하기 전에 제1 렌즈(452) 및 제2 렌즈(454) 모두를 통해 그 출력 광을 통과시킨다. 눈/뇌가 제3 도파관(436b)으로부터 오는 광을 다음 도파관 업(434b)으로부터의 광보다 광학 무한대로부터 사람을 향해 내측으로 더욱 더 가까운 제2 초점 평면으로부터 오는 것으로 해석하도록 제1 및 제2 렌즈(452, 454)의 결합된 광학 파워(optical power)는 파면 곡률의 다른 증분량을 생성하도록 구성될 수 있다.
[0100] 다른 도파관 층들(예를 들어, 도파관들(438b, 440b)) 및 렌즈들(예를 들어, 렌즈들(456, 458))이 유사하게 구성되며, 스택에서 가장 높은 도파관(440b)은 사람에게 가장 가까운 초점 평면을 나타내는 총 초점력(focal power)에 대해 이와 눈 사이의 모든 렌즈들을 통해 그 출력을 송신한다. 적층된 도파관 조립체(480)의 다른 측면 상의 세계(470)로부터 오는 광을 보고/해석할 때 렌즈들(458, 456, 454, 452)의 스택을 보상하기 위해, 보상 렌즈 층(430)이 스택의 상단에 배치되어 아래의 렌즈 스택(458, 456, 454, 452)의 총 초점력를 보상한다. (보상 렌즈 층(430) 및 적층된 도파관 조립체(480) 전체는 세계(470)로부터 오는 광이 적층된 도파관 조립체(480)에 의해 초기에 수신되었을 때 광이 가졌던 것과 실질적으로 동일한 레벨의 발산(또는 시준)에서 눈(410)으로 전달되도록 구성될 수 있다.) 이러한 구성은 이용 가능한 도파관/렌즈 쌍들이 이용 가능한 만큼 많은 인지된 초점 평면들을 제공한다. 도파관의 광 추출 광학 요소들과 렌즈들의 포커싱 양태들 모두 정적일 수 있다(예를 들어, 동적 또는 전자-활성이 아님). 일부 대안적인 실시예들에서, 전자-활성 특징부들을 사용하여 어느 하나 또는 둘 모두 동적일 수 있다.
[0101] 계속해서 도 4를 참조하면, 광 추출 광학 요소들(440a, 438a, 436a, 434a, 432a)은 각각의 도파관으로부터 광을 재지향하고 도파관과 연관된 특정 깊이 평면에 대해 적절한 양의 발산 또는 시준으로 이 광을 출력하도록 구성될 수 있다. 그 결과, 상이한 연관된 깊이 평면들을 갖는 도파관들은 연관된 깊이 평면에 따라 상이한 양의 발산으로 광을 출력하는 광 추출 광학 요소들의 상이한 구성들을 가질 수 있다. 일부 실시예들에서, 본원에서 논의되는 바와 같이, 광 추출 광학 요소들(440a, 438a, 436a, 434a, 432a)은 특정 각도들에서 광을 출력하도록 구성될 수 있는 체적 또는 표면 특징부들일 수 있다. 예를 들어, 광 추출 광학 요소들(440a, 438a, 436a, 434a, 432a)은 체적 홀로그램들, 표면 홀로그램들 및/또는 회절 격자들일 수 있다. 회절 격자들과 같은 광 추출 광학 요소들은 2015년 6월 25일자로 공개된 미국 특허 공개 제2015/0178939호에 설명되어 있으며, 이는 그 전체가 인용에 의해 본원에 포함된다.
[0102] 일부 실시예들에서, 광 추출 광학 요소들(440a, 438a, 436a, 434a, 432a)은 회절 패턴, 또는 "회절 광학 요소"(본원에서 "DOE(diffractive optical element)"라고도 칭함)를 형성하는 회절 특징부들이다. 바람직하게는, DOE는 상대적으로 낮은 회절 효율을 가져 빔의 광의 일부만이 DOE의 각 교차점에서 눈(410)을 향해 멀리 편향되고, 나머지는 내부 전반사를 통해 도파관을 통해 계속 이동한다. 따라서 이미지 정보를 전달하는 광은 복수의 위치들에서 도파관을 빠져나가는 다수의 관련 출구 빔들로 분할될 수 있으며, 그 결과는 도파관 내에서 주위에 바운싱되는 이러한 특정의 시준된 빔에 대해 눈(304)을 향한 출구 방출의 상당히 균일한 패턴이다.
[0103] 일부 실시예들에서, 하나 이상의 DOE들은 능동적으로 회절하는 "온(on)" 상태와 상당히 회절하지 않는 "오프(off)" 상태 사이에서 전환 가능할 수 있다. 예를 들어, 전환 가능한 DOE는 폴리머 분산 액정 층을 포함할 수 있으며, 여기서 미세 액적은 호스트 매질에서 회절 패턴을 포함하고 미세 액적의 굴절률은 (패턴이 인지할 수 있게 입사광을 회절시키지 않는 경우) 호스트 재료의 굴절률과 실질적으로 매칭되도록 전환될 수 있거나, 미세 액적은 (패턴이 입사광을 능동적으로 회절시키는 경우) 호스트 매질의 굴절률과 매칭되지 않는 굴절률로 전환될 수 있다.
[0104] 일부 실시예들에서, 깊이 평면 또는 필드 깊이의 수 및 분포는 뷰어의 눈의 배향 또는 동공 크기에 기초하여 동적으로 변할 수 있다. 필드 깊이는 뷰어의 사람의 동공 크기에 반비례하여 변할 수 있다. 그 결과, 뷰어의 눈의 동공 크기가 작아질수록, 필드 깊이가 증가하여 해당 평면의 위치가 눈의 초점 깊이를 벗어나서 구별될 수 없는 하나의 평면이 구별할 수 있게 되고 동공 크기의 감소로 더 초점이 맞고 필드 깊이의 증가와 상응하게 보일 수 있다. 마찬가지로, 뷰어에게 상이한 이미지들을 제공하기 위해 사용되는 이격된 깊이 평면들의 수는 감소된 동공 크기로 감소될 수 있다. 예를 들어, 뷰어는 하나의 깊이 평면으로부터 다른 깊이 평면으로의 눈의 조절을 조정하지 않고 하나의 동공 크기에서 제1 깊이 평면 및 제2 깊이 평면 모두의 상세 사항을 명확하게 인식할 수 없을 수 있다. 그러나, 이러한 2 개의 깊이 평면들은 조절을 변경하지 않고도 다른 동공 크기에서 사용자에게 동시에 충분히 초점을 맞출 수 있다.
[0105] 일부 실시예들에서, 디스플레이 시스템은 동공 크기 또는 배향의 결정에 기초하여, 또는 특정 동공 크기 또는 배향을 나타내는 전기 신호들을 수신하는 것에 기초하여 이미지 정보를 수신하는 도파관들의 수를 변경할 수 있다. 예를 들어, 사용자의 눈이 2 개의 도파관들과 연관된 2 개의 깊이 평면 간에 구별할 수 없는 경우, 제어기(460)(로컬 프로세싱 및 데이터 모듈(260)의 실시예일 수 있음)는 이러한 도파관들 중 하나에 이미지 정보를 제공하는 것을 중단하도록 구성되거나 프로그래밍될 수 있다. 유리하게는, 이것은 시스템에 대한 프로세싱 부담을 감소시킬 수 있고, 이에 의해 시스템의 응답성을 증가시킬 수 있다. 도파관에 대한 DOE들이 온 상태와 오프 상태 사이에서 전환 가능한 실시예들에서, DOE들은 도파관이 이미지 정보를 수신할 때 오프 상태로 전환될 수 있다.
[0106] 일부 실시예들에서, 뷰어의 눈의 직경보다 작은 직경을 갖는 조건을 충족하는 출구 빔을 갖는 것이 바람직할 수 있다. 그러나, 이러한 조건을 충족하는 것은 관찰자의 동공 크기의 가변성의 관점에서 어려울 수 있다. 일부 실시예들에서, 이러한 조건은 뷰어의 동공 크기 결정에 응답하여 출구 빔의 크기를 변화시킴으로써 광범위한 동공 크기에 걸쳐 충족된다. 예를 들어, 동공 크기가 감소함에 따라 출구 빔의 크기도 감소할 수 있다. 일부 실시예들에서, 출구 빔 크기는 가변 개구를 사용하여 변할 수 있다.
[0107] 웨어러블 시스템(400)은 세계(470)의 일부를 이미징하는 외향 이미징 시스템(464)(예를 들어, 디지털 카메라)을 포함할 수 있다. 세계(470)의 이러한 부분은 월드 카메라의 시야(FOV: field of view)로 지칭될 수 있고 이미징 시스템(464)은 때때로 FOV 카메라로 지칭된다. 월드 카메라의 FOV는 뷰어(210)가 주어진 시간에 인식하는 세계(470)의 일부를 둘러싸는 뷰어(210)의 FOV와 동일하거나 동일하지 않을 수 있다. 예를 들어, 일부 상황들에서, 월드 카메라의 FOV는 웨어러블 시스템(400)의 뷰어(210)의 뷰어(210)보다 클 수 있다. 뷰어에 의해 보기 또는 이미징을 위해 이용 가능한 전체 영역은 관련 필드(FOR: field of regard)로 지칭될 수 있다. FOR는 웨어러블 시스템(400)을 둘러싸는 입체각의 4π 스테라디안(setradian)을 포함할 수 있는데, 착용자가 그의 신체, 머리 또는 눈을 움직여 실질적으로 공간의 임의의 방향을 인식할 수 있기 때문이다. 다른 맥락에서, 착용자의 움직임이 더 제한될 수 있으므로 착용자의 FOR이 더 작은 입체각에 대응할 수 있다. 외향 이미징 시스템(464)으로부터 획득된 이미지들은 사용자가 행한 제스처들(예를 들어, 손 또는 손가락 제스처들)을 추적하고, 사용자 앞의 세계(470)에서 객체들을 검출하는 등에 사용될 수 있다.
[0108] 웨어러블 시스템(400)은 주변 사운드를 캡처하기 위해 예를 들어, 마이크로폰과 같은 오디오 센서(232)를 포함할 수 있다. 상술한 바와 같이, 일부 실시예들에서, 스피치 소스의 위치 결정에 유용한 스테레오 사운드 수신을 제공하기 위해 하나 이상의 다른 오디오 센서가 포지셔닝될 수 있다. 오디오 센서(232)는 다른 예로서 오디오 소스가 어디에 위치하는지에 대한 이러한 유용한 방향 정보를 또한 제공할 수 있는 지향성 마이크로폰을 포함할 수 있다. 웨어러블 시스템(400)은 외향 이미징 시스템(464) 및 오디오 센서들(230) 모두로부터의 정보를 사용하여 스피치의 소스를 찾거나 특정 시점에 활성 화자를 결정하는 것 등을 할 수 있다. 예를 들어, 웨어러블 시스템(400)은 화자의 아이덴티티를 결정하기 위해 화자의 반사된 이미지(예를 들어, 거울에 보임)와 조합하여 또는 단독으로 음성 인식을 사용할 수 있다. 다른 예로서, 웨어러블 시스템(400)은 지향성 마이크로폰들로부터 취득된 사운드에 기초하여 환경에서 화자의 포지션을 결정할 수 있다. 웨어러블 시스템(400)은 스피치 인식 알고리즘들로 화자의 포지션으로부터 오는 사운드를 파싱(parsing)하여 스피치의 컨텐츠를 결정하고 음성 인식 기법들을 사용하여 화자의 아이덴티티(예를 들어, 이름 또는 다른 인구 통계 정보)를 결정할 수 있다.
[0109] 웨어러블 시스템(400)은 또한 눈 움직임 및 얼굴 움직임과 같은 사용자의 움직임을 관찰하는 내향 이미징 시스템(466)(예를 들어, 디지털 카메라)을 포함할 수 있다. 내향 이미징 시스템(466)은 눈(304)의 동공의 크기 및/또는 배향을 결정하기 위해 눈(410)의 이미지들을 캡처하는 데 사용될 수 있다. 내향 이미징 시스템(466)은 사용자가 보고 있는 방향(예를 들어, 눈 포즈)을 결정하는 데 사용하기 위해 또는 (예를 들어, 홍채 식별을 통해) 사용자의 생체 측정 식별을 위해 이미지들을 획득하는 데 사용될 수 있다. 일부 실시예들에서, 각각의 눈의 동공 크기 또는 눈 포즈를 개별적으로 독립적으로 결정하기 위해 각각의 눈에 대해 적어도 하나의 카메라가 이용될 수 있으며, 이에 의해 각각의 눈에 대한 이미지 정보의 제공이 해당 눈에 동적으로 맞추어질 수 있다. 일부 다른 실시예들에서, 단 하나의 눈(410)의 동공 직경 또는 배향(예를 들어, 한 쌍의 눈에 대해 하나의 카메라만 사용)이 결정되고 사용자의 양쪽 눈에 대해 유사한 것으로 가정된다. 내향 이미징 시스템(466)에 의해 획득된 이미지들은 사용자의 눈 포즈 또는 기분을 결정하기 위해 분석될 수 있으며, 이는 웨어러블 시스템(400)에 의해 어떤 오디오 또는 시각적 컨텐츠가 사용자에게 제공되어야 하는지를 결정하는 데 사용될 수 있다. 웨어러블 시스템(400)은 또한 IMU들, 가속도계들, 자이로스코프들 등과 같은 센서들을 사용하여 머리 포즈(예를 들어, 머리 포지션 또는 머리 배향)를 결정할 수 있다.
[0110] 웨어러블 시스템(400)은 사용자가 웨어러블 시스템(400)과 상호 작용하기 위해 커맨드들을 제어기(460)에 입력할 수 있는 사용자 입력 디바이스(466)를 포함할 수 있다. 예를 들어, 사용자 입력 디바이스(466)는 트랙패드, 터치스크린, 조이스틱, 다중 자유도(DOF: degree-of-freedom) 제어기, 용량성 감지 디바이스, 게임 제어기, 키보드, 마우스, 방향 패드(D-패드), 지팡이, 햅틱 디바이스, 토템(예를 들어, 가상 사용자 입력 디바이스로서 기능) 등을 포함할 수 있다. 다중-DOF 제어기는 제어기의 일부 또는 모든 가능한 병진들(예를 들어, 좌측/우측, 앞으로/뒤로 또는 위/아래) 또는 회전(예를 들어, 요(yaw), 피치(pitch) 또는 롤(roll))에서 사용자 입력을 감지할 수 있다. 병진 움직임을 지원하는 다중-DOF 제어기를 3DOF라고 칭하고 병진 및 회전을 지원하는 다중-DOF 제어기를 6DOF라고 칭할 수 있다. 일부 경우에, 사용자는 웨어러블 시스템(400)에 입력을 제공하기 위해(예를 들어, 웨어러블 시스템(400)에 의해 제공되는 사용자 인터페이스에 사용자 입력을 제공하기 위해) 터치 감지 입력 디바이스를 누르거나 스와이핑(swiping)하기 위해 손가락(예를 들어, 엄지)을 사용할 수 있다. 사용자 입력 디바이스(466)는 웨어러블 시스템(400)을 사용하는 동안 사용자의 손에 보유될 수 있다. 사용자 입력 디바이스(466)는 웨어러블 시스템(400)과 유선 또는 무선 통신할 수 있다.
D.
웨어러블 시스템의 다른 구성 요소들
[0111] 많은 구현들에서, 웨어러블 시스템은 상술한 웨어러블 시스템의 구성 요소들에 추가로 또는 대안으로 다른 구성 요소들을 포함할 수 있다. 웨어러블 시스템은 예를 들어, 하나 이상의 햅틱 디바이스들 또는 구성 요소들을 포함할 수 있다. 햅틱 디바이스들 또는 구성 요소들은 사용자에게 촉각 감각을 제공하도록 동작할 수 있다. 예를 들어, 햅틱 디바이스들 또는 구성 요소들은 가상 컨텐츠(예를 들어, 가상 객체들, 가상 도구들, 다른 가상 구조들)를 터치할 때 압력 또는 질감의 촉각 감각을 제공할 수 있다. 촉각 감각은 가상 객체가 나타내는 물리적 객체의 느낌을 모사하거나, 가상 컨텐츠가 나타내는 가상의 객체 또는 캐릭터(예를 들어, 용)의 느낌을 모사할 수 있다. 일부 구현들에서, 햅틱 디바이스들 또는 구성 요소들은 사용자에 의해 착용될 수 있다(예를 들어, 사용자 웨어러블 장갑). 일부 구현들에서, 햅틱 디바이스들 또는 구성 요소들은 사용자에 의해 보유될 수 있다.
[0112] 웨어러블 시스템은 예를 들어, 웨어러블 시스템과의 상호 작용 또는 입력을 허용하기 위해 사용자가 조작할 수 있는 하나 이상의 물리적 객체들을 포함할 수 있다. 이러한 물리적 객체들은 본원에서 토템들로 지칭될 수 있다. 일부 토템들은 예를 들어, 금속 또는 플라스틱 단편, 벽, 테이블 표면과 같은 무생물 객체들의 형태를 취할 수 있다. 특정 구현들에서, 토템들은 실제로 어떠한 물리적 입력 구조체들(예를 들어, 키들, 트리거들, 조이스틱, 트랙볼, 로커 스위치)도 갖지 않을 수 있다. 대신에, 토템은 단순히 물리적 표면을 제공할 수 있고, 웨어러블 시스템은 사용자에게 토템의 하나 이상의 표면들에 있는 것처럼 보이도록 사용자 인터페이스를 렌더링할 수 있다. 예를 들어, 웨어러블 시스템은 토템의 하나 이상의 표면들에 상주하는 것처럼 보이도록 컴퓨터 키보드 및 트랙패드의 이미지를 렌더링할 수 있다. 예를 들어, 웨어러블 시스템은 토템 역할을 하는 알루미늄의 얇은 직사각형 플레이트의 표면 상에 보이도록 가상 컴퓨터 키보드와 가상 트랙패드를 렌더링할 수 있다. 직사각형 플레이트 자체는 어떠한 물리적 키들이나 트랙패드 또는 센서들도 갖지 않는다. 그러나, 웨어러블 시스템은 가상 키보드 또는 가상 트랙패드를 통해 이루어진 선택들 또는 입력들로서 직사각형 플레이트와의 사용자 조작 또는 상호 작용 또는 터치들을 검출할 수 있다. 사용자 입력 디바이스(466)(도 4에 도시)는 트랙패드, 터치패드, 트리거, 조이스틱, 트랙볼, 로커 또는 가상 스위치, 마우스, 키보드, 다중-자유도 제어기 또는 다른 물리적 입력 디바이스를 포함할 수 있는 토템의 실시예일 수 있다. 사용자는 웨어러블 시스템 또는 다른 사용자들과 상호 작용하기 위해 단독으로 또는 포즈들과 조합하여 토템을 사용할 수 있다.
[0113] 본 개시의 웨어러블 디바이스들, HMD 및 디스플레이 시스템들과 함께 사용할 수 있는 햅틱 디바이스들 및 토템들의 예들이 미국 특허 공개 제2015/0016777호에 설명되어 있으며, 이는 그 전체가 인용에 의해 본원에 포함된다.
E.
눈 이미지의 예
[0114] 도 5는 눈꺼풀(504), 공막(508)(눈의 "흰자위"), 홍채(512) 및 동공(516)을 갖는 눈(500)의 이미지를 예시한다. 곡선(516a)은 동공(516)과 홍채(512) 사이의 동공 경계를 나타내고, 곡선(512a)은 홍채(512)와 공막(508) 사이의 연곽 경계를 나타낸다. 눈꺼풀(504)은 상부 눈꺼풀(504a) 및 하부 눈꺼풀(504b)을 포함한다. 눈(500)은 자연스러운 휴식 포즈(예를 들어, 사용자의 얼굴과 시선이 모두 사용자 바로 앞에 있는 떨어진 객체를 향하고 있는 것처럼 배향됨)로 예시되어 있다. 눈(500)의 자연스러운 휴식 포즈는 자연스러운 휴식 방향(520)에 의해 표시될 수 있으며, 이는 자연스러운 휴식 포즈로 있을 때(예를 들어, 도 5에 도시된 눈(500)에 대한 평면 바로 바깥쪽) 눈(500)의 표면에 직교하는 방향이며, 이 예에서는 동공(516) 내에 중심이 있다.
[0115] 눈(500)이 상이한 객체들을 보기 위해 움직임에 따라, 눈 포즈는 자연스러운 휴식 방향(520)에 대해 변할 것이다. 눈의 표면에 직교하지만(그리고 동공(516) 내에 중심에 있음) 눈이 현재 지향하는 객체를 향해 배향된 방향인 눈 포즈 방향(524)을 참조하여 현재 눈 포즈가 결정될 수 있다. 도 5a에 도시된 예시적인 좌표계를 참조하면, 눈(500)의 포즈는 눈의 자연스러운 휴식 방향(520)에 대해 모두 눈의 눈 포즈 방향(524)의 방위각 편향 및 천정 편향을 나타내는 2 개의 각도 파라미터들로 표현될 수 있다. 예시를 위해, 이러한 각도 파라미터들은 θ(기준 방위각으로부터 결정되는 방위각 편향) 및 φ(천정 편향, 때로는 극 편향이라고도 칭함)으로 나타낼 수 있다. 일부 구현들에서, 눈 포즈 방향(524) 주위의 눈의 각도 롤(roll)이 눈 포즈의 결정에 포함될 수 있고, 각도 롤은 다음 분석에 포함될 수 있다. 다른 구현들에서, 눈 포즈를 결정하기 위한 다른 기법들, 예를 들어 피치, 요 및 선택적으로 롤 시스템이 사용될 수 있다.
[0116] 예를 들어, 하나 이상의 순차적인 프레임들로부터 이미지를 추출할 수 있는 비디오 프로세싱 알고리즘을 사용하여 임의의 적절한 프로세스를 사용하여 비디오로부터 눈 이미지가 획득될 수 있다. 다양한 눈 추적 기법들을 사용하여 눈 이미지로부터 눈의 포즈가 결정될 수 있다. 예를 들어, 제공되는 광원들에 대한 각막의 렌즈 효과들을 고려하여 눈의 포즈가 결정될 수 있다. 눈 포즈를 결정하기 위해 임의의 적절한 눈 추적 기법이 사용될 수 있다.
F.
눈 추적 시스템의 예들
[0117] 도 6은 눈 추적 시스템을 포함하는 웨어러블 시스템(600)의 개략도를 예시한다. 웨어러블 시스템(600)은 적어도 일부 실시예들에서 머리 장착형 유닛(602)에 위치된 구성 요소들 및 머리에 장착되지 않은 유닛(604)에 위치된 구성 요소들을 포함할 수 있다. 머리에 장착되지 않은 유닛(604)은 예를 들어, 벨트 장착형 구성 요소, 휴대형 구성 요소, 백팩의 구성 요소, 원격 구성 요소 등일 수 있다. 머리에 장착되지 않은 유닛(604)에 웨어러블 시스템(600)의 일부 구성 요소를 통합하는 것은 머리 장착형 유닛(602)의 크기, 중량, 복잡성 및 비용을 줄이는 데 도움이 될 수 있다. 일부 구현들에서, 머리 장착형 유닛(602) 및/또는 머리에 장착되지 않은 유닛(604)의 하나 이상의 구성 요소들에 의해 수행되는 것으로 설명된 기능의 일부 또는 전부는 웨어러블 시스템(600)의 어느 곳에 포함된 하나 이상의 구성 요소들에 의해 제공될 수 있다. 예를 들어, 머리 장착형 유닛(602)의 CPU(612)와 관련하여 아래에서 설명되는 기능 중 일부 또는 전부는 머리에 장착되지 않은 유닛(604)의 CPU(616)에 의해 제공될 수 있으며, 그 역도 가능하다. 일부 예들에서, 이러한 기능의 일부 또는 전부는 웨어러블 시스템(600)의 주변 디바이스들에 의해 제공될 수 있다. 또한, 일부 구현들에서, 이러한 기능의 일부 또는 전부는 도 2를 참조하여 상술한 것과 유사한 방식으로 하나 이상의 클라우드 컴퓨팅 디바이스들 또는 다른 원격으로 위치된 컴퓨팅 디바이스들에 의해 제공될 수 있다.
[0118] 도 6에 도시된 바와 같이, 웨어러블 시스템(600)은 사용자의 눈(610)의 이미지들을 캡처하는 카메라(324)를 포함하는 눈 추적 시스템을 포함할 수 있다. 원하는 경우, 눈 추적 시스템은 또한 (발광 다이오드 "LED"들과 같은) 광원들(326a 및 326b)을 포함할 수 있다. 광원들(326a 및 326b)은 글린트들(예를 들어, 카메라(324)에 의해 캡처된 눈의 이미지들에 나타나는 사용자의 눈의 반사들)을 생성할 수 있다. 카메라(324)에 대한 광원들(326a 및 326b)의 포지션들은 알려질 수 있고, 따라서 카메라(324)에 의해 캡처된 이미지들 내의 글린트들의 포지션들은 사용자의 눈을 추적하는 데 사용될 수 있다(이하 도 7과 관련하여 더욱 상세히 논의됨). 적어도 하나의 실시예에서, 사용자의 눈(610) 중 하나와 연관된 하나의 광원(326) 및 하나의 카메라(324)가 있을 수 있다. 다른 실시예에서, 사용자의 눈(610)의 각각과 연관된 하나의 광원(326) 및 하나의 카메라(324)가 있을 수 있다. 또 다른 실시예들에서, 사용자의 눈(610) 중 하나 또는 각각과 연관된 하나 이상의 카메라들(324) 및 하나 이상의 광원들(326)이 있을 수 있다. 특정 예로서, 사용자의 눈(610)의 각각과 연관된 2 개의 광원(326a 및 326b) 및 하나 이상의 카메라들(324)이 있을 수 있다. 다른 예로서, 사용자의 눈(610)의 각각과 연관된 광원들(326a 및 326b)과 같은 3 개 이상의 광원들 및 하나 이상의 카메라들(324)이 있을 수 있다. 본원에서 설명되는 일부 구현들에서, 주어진 눈을 이미징하기 위해 2 개 이상의 카메라들이 채용될 수 있다.
[0119] 눈 추적 모듈(614)은 눈 추적 카메라(들)(324)로부터 이미지들을 수신할 수 있고 다양한 정보의 단편들을 추출하기 위해 이미지들을 분석할 수 있다. 예를 들어, 눈 추적 모듈(614)은 사용자의 눈 포즈들, 눈 추적 카메라(324)(및 머리 장착형 유닛(602))에 대한 사용자의 눈의 3차원 포지션, 사용자의 눈(610) 중 하나 또는 양쪽 모두가 포커싱되는 방향, 사용자의 버전스 깊이(예를 들어, 사용자가 포커싱하고 있는 사용자로부터의 깊이), 사용자 동공들의 포지션들, 사용자의 각막 및/또는 각막 구의 포지션들, 사용자의 눈의 하나 또는 각각의 회전 중심, 및 사용자의 눈의 하나 또는 각각의 관점 중심 또는 이들의 임의의 조합을 검출할 수 있다. 눈 추적 모듈(614)은 도 7 내지 도 11과 관련하여 아래에 설명되는 기법들을 사용하여 이러한 정보를 추출할 수 있다. 도 6에 도시된 바와 같이, 눈 추적 모듈(614)은 머리 장착형 유닛(602)의 CPU(612)를 사용하여 구현되는 소프트웨어 모듈일 수 있다.
[0120] 하나의 카메라(324)가 눈을 이미징하는 도 6에 도시되어 있지만, 본원에서 논의되는 것과 같은 일부 구현에서 복수의 카메라들이 눈을 이미징할 수 있고 각막 중심 및/또는 회전 중심 측정과 같은 측정을 위해 사용될 수 있거나 눈 추적 또는 다른 목적을 위해 달리 사용될 수 있다.
[0121] 눈 추적 모듈(614)로부터의 데이터는 웨어러블 시스템의 다른 구성 요소에 제공될 수 있다. 예로서, 이러한 데이터는 라이트-필드 렌더(light-field render) 제어기(618) 및 등록 관찰자(620)를 위한 소프트웨어 모듈들을 포함하는 CPU(616)와 같은 머리에 장착되지 않은 유닛(604)의 구성 요소로 전송될 수 있다.
[0122] 렌더 제어기(618)는 눈 추적 모듈(614)로부터의 정보를 사용하여 렌더 엔진(622)(예를 들어, GPU(620)의 소프트웨어 모듈일 수 있고 디스플레이(220)에 이미지들을 제공할 수 있는 렌더 엔진)에 의해 사용자에게 표시되는 이미지들을 조정할 수 있다. 예를 들어, 렌더 제어기(618)는 사용자의 회전 중심 또는 관점 중심에 기초하여 사용자에게 표시되는 이미지들을 조정할 수 있다. 특히, 렌더 제어기(618)는 렌더 카메라를 시뮬레이팅하기 위해(예를 들어, 사용자의 관점으로부터 이미지들 수집을 시뮬레이팅하기 위해) 사용자의 관점 중심에 대한 정보를 사용할 수 있고 시뮬레이팅된 렌더 카메라에 기초하여 사용자에게 표시되는 이미지들을 조정할 수 있다.
[0123] 때때로 "핀홀 관점 카메라"(또는 간단히 "관점 카메라") 또는 "가상 핀홀 카메라"(또는 간단히 "가상 카메라")라고도 칭하는 "렌더 카메라"는 가능하게는 가상 세계의 객체들의 데이터베이스로부터 가상 이미지 컨텐츠를 렌더링하는 데 사용하기 위한 시뮬레이팅된 카메라이다. 객체들은 사용자 또는 착용자에 대해 그리고 가능하게는 사용자 또는 착용자들 둘러싼 환경의 실제 객체들에 대해 위치들과 배향들을 가질 수 있다. 즉, 렌더 카메라는 사용자 또는 착용자가 렌더 공간의 3D 가상 컨텐츠(예를 들어, 가상 객체들)를 보는 렌더 공간 내의 관점을 나타낼 수 있다. 렌더 카메라는 상기 눈에 제공될 가상 객체들의 데이터베이스에 기초하여 가상 이미지들을 렌더링하기 위해 렌더링 엔진에 의해 관리될 수 있다. 가상 이미지들은 사용자 또는 착용자의 관점으로부터 취해진 것처럼 렌더링될 수 있다. 예를 들어, 가상 이미지들은 내재성 파라미터(intrinsic parameter)들의 특정 세트(예를 들어, 초점 거리, 카메라 픽셀 크기, 주 포인트 좌표, 스큐/왜곡 파라미터들 등) 및 외재성 파라미터(extrinsics parameter)들의 특정 세트(예를 들어, 가상 세계에 대한 병진 구성 요소들 및 회전 구성 요소들)를 갖는 핀홀 카메라("렌더 카메라"에 대응)에 의해 캡처된 것처럼 렌더링될 수 있다. 가상 이미지들은 렌더 카메라의 포지션 및 배향(예를 들어, 렌더 카메라의 외부 파라미터들)을 갖는 이러한 카메라의 관점으로부터 취해진다. 따라서 시스템은 내재성 및 외재성 렌더 카메라 파라미터들을 정의 및/또는 조정할 수 있다. 예를 들어, 시스템은 사용자 또는 착용자의 관점으로부터 있는 것처럼 보이는 이미지들을 제공하기 위해 사용자 또는 착용자의 눈에 대해 특정 위치를 갖는 카메라의 관점으로부터 캡처된 것처럼 가상 이미지들이 렌더링될 수 있도록 외부 렌더 카메라 파라미터들의 특정 세트를 정의할 수 있다. 시스템은 추후 상기 특정 위치와의 등록을 유지하기 위해 외부 렌더 카메라 파라미터들을 즉석에서(on-the-fly) 동적으로 조정할 수 있다. 유사하게, 내재성 렌더 카메라 파라미터들이 정의되고 시간이 지남에 따라 동적으로 조정될 수 있다. 일부 구현들에서, 이미지들은 (관점 중심 또는 회전 중심, 또는 다른 곳과 같은) 사용자 또는 착용자의 눈에 대한 특정 위치에서 개구(예를 들어, 핀홀)를 갖는 카메라의 관점으로부터 캡처된 것처럼 렌더링될 수 있다.
[0124] 일부 실시예들에서, 시스템은 사용자의 좌측 눈에 대한 하나의 렌더 카메라와 사용자의 우측 눈에 대한 다른 렌더 카메라를 생성하거나 동적으로 재배치 및/또는 재배향할 수 있는데, 이는 사용자의 눈이 서로 물리적으로 분리되어 상이한 위치들에 일관되게 포지셔닝되기 때문이다. 따라서, 적어도 일부 구현들에서, 뷰어의 좌측 눈과 연관된 렌더 카메라의 관점으로부터 렌더링된 가상 컨텐츠는 머리 장착형 디스플레이(예를 들어, 머리 장착형 유닛(602))의 좌측 상의 아이피스(eyepiece)를 통해 사용자에게 제공될 수 있고, 사용자의 우측 눈과 연관된 렌더 카메라의 관점으로부터 렌더링된 가상 컨텐츠는 이러한 머리 장착형 디스플레이의 우측 상의 아이피스를 통해 사용자에게 제공될 수 있다. 렌더링 프로세스들에서 렌더 카메라의 생성, 조정 및 사용에 대해 논의하는 추가 상세 사항은 발명의 명칭이 "3D 재구성에서 구조적 특징부들을 검출 및 조합하기 위한 방법들 및 시스템들(METHODS AND SYSTEMS FOR DETECTING AND COMBINING STRUCTURAL FEATURES IN 3D RECONSTRUCTION)"인 미국 특허 출원 제15/274,823호에 제공되며, 이는 모든 목적을 위해 그 전체가 인용에 의해 본원에 명시적으로 포함된다.
[0125] 일부 예들에서, 시스템(600)의 하나 이상의 모듈들(또는 구성 요소들)(예를 들어, 라이트-필드 렌더 제어기(618), 렌더 엔진(620) 등)은 (예를 들어, 각각 머리 포즈와 눈 추적 데이터에 기초하여 결정된) 사용자의 머리 및 눈의 포지션 및 배향에 기초하여 렌더 공간 내 렌더 카메라의 포지션 및 배향을 결정할 수 있다. 즉, 시스템(600)은 사용자의 머리와 눈의 포지션 및 배향을 3D 가상 환경 내의 특정 위치들 및 각도 포지션들에 효과적으로 매핑하고, 3D 가상 환경 내의 특정 위치들 및 각도 포지션들에 렌더 카메라들을 배치 및 배향하고, 렌더 카메라에 의해 캡처되는 것처럼 사용자를 위한 가상 컨텐츠를 렌더링할 수 있다. 현실 세계 대 가상 세계 매핑 프로세스들을 논의하는 추가 상세 사항은 발명의 명칭이 "3차원 공간에서 가상 객체 선택(SELECTING VIRTUAL OBJECTS IN A THREE-DIMENSIONAL SPACE)"인 미국 특허 출원 제15/296,869호에서 제공되며, 이는 모든 목적을 위해 그 전체가 인용에 의해 본원에 명시적으로 포함된다. 예를 들어, 렌더 제어기(618)는 이미지들을 디스플레이하기 위해 임의의 주어진 시간에 어떤 깊이 평면(또는 깊이 평면들)이 이용되는지 선택함으로써 이미지들이 표시되는 깊이들을 조정할 수 있다. 일부 구현들에서, 이러한 깊이 평면 스위치는 하나 이상의 내재성 렌더 카메라 파라미터들의 조정을 통해 수행될 수 있다. 예를 들어, 라이트-필드 렌더 제어기(618)는 깊이 평면 전환 또는 조정을 실행할 때 렌더 카메라의 초점 길이들을 조정할 수 있다. 아래에서 더 상세히 설명하는 것처럼, 깊이 평면들은 사용자의 결정된 버전스 또는 고정 깊이에 기초하여 전환될 수 있다.
[0126] 등록 관찰자(620)는 머리 장착형 유닛(602)이 사용자의 머리에 적절하게 포지셔닝되는지를 식별하기 위해 눈 추적 모듈(614)로부터의 정보를 사용할 수 있다. 예로서, 눈 추적 모듈(614)은 카메라(324) 및 머리 장착형 유닛(602)에 대한 사용자의 눈의 3차원 포지션을 나타내는 사용자의 눈의 회전 중심의 포지션들과 같은 눈 위치 정보를 제공할 수 있고 눈 추적 모듈(614)은 위치 정보를 사용하여 디스플레이(220)가 사용자의 시야에 적절하게 정렬되어 있는지 또는 머리 장착형 유닛(602)(또는 헤드셋)이 미끄러지거나 그렇지 않으면 사용자의 눈과 오정렬되었는지를 결정할 수 있다. 예를 들어, 등록 관찰자(620)는 머리 장착형 유닛(602)이 사용자의 콧대 아래로 미끄러져서 디스플레이(220)를 사용자의 눈으로부터 멀어지고 아래로 움직이는지(이는 바람직하지 않을 수 있음), 머리 장착형 유닛(602)이 사용자의 콧대 위로 움직여서 디스플레이(220)를 사용자의 눈으로부터 가까이 그리고 위로 움직이는지, 머리 장착형 유닛(602)이 사용자의 콧대에 대해 좌측 또는 우측으로 시프트되었는지, 머리 장착형 유닛(602)이 사용자의 콧대 위로 올려졌는지, 또는 머리 장착형 유닛(602)이 원하는 포지션 또는 포지션들의 범위로부터 이렇게 또는 다른 방식으로 멀어지게 움직였는지 결정할 수 있다. 일반적으로, 등록 관찰자(620)는 일반적으로, 머리 장착형 유닛(602) 및 특히 디스플레이들(220)이 사용자의 눈 앞에 적절하게 포지셔닝되는지 결정할 수 있다. 즉, 등록 관찰자(620)는 디스플레이 시스템(220)의 좌측 디스플레이가 사용자의 좌측 눈과 적절하게 정렬되고 디스플레이 시스템(220)의 우측 디스플레이가 사용자의 우측 눈과 적절하게 정렬되는지를 결정할 수 있다. 등록 관찰자(620)는 머리 장착형 유닛(602)이 사용자의 눈에 대한 포지션들 및/또는 배향들의 원하는 범위 내에 포지셔닝 및 배향되는지를 결정함으로써 머리 장착형 유닛(602)이 적절하게 포지셔닝되는지를 결정할 수 있다.
[0127] 적어도 일부 실시예들에서, 등록 관찰자(620)는 경고, 메시지 또는 다른 컨텐츠의 형태로 사용자 피드백을 생성할 수 있다. 이러한 피드백은 (특정한 방식으로 머리 장착형 유닛(602)을 조정하기 위한 제안과 같은) 오정렬을 수정하는 방식에 대한 선택적인 피드백과 함께, 머리-장착 유닛(602)의 임의의 오정렬을 사용자에게 알리기 위해 사용자에게 제공될 수 있다.
[0128] 등록 관찰자(620)에 의해 이용될 수 있는 예시적인 등록 관찰 및 피드백 기법들은 2017년 9월 27일자로 출원된 미국 특허 출원 제15/717,747호(대리인 문서 번호 MLEAP.052A2) 및 2018년 3월 16일자로 출원된 미국 가특허 출원 제62/644,321호(대리인 문서 번호 MLEAP.195PR)에 설명되어 있으며, 둘 모두는 그 전체가 인용에 의해 본원에 포함된다.
G.
눈 추적 모듈의 예
[0129] 예시적인 눈 추적 모듈(614)의 상세한 블록도가 도 7a에 도시되어 있다. 도 7a에 도시된 바와 같이, 눈 추적 모듈(614)은 다양한 상이한 서브모듈들을 포함할 수 있고, 다양한 상이한 출력들을 제공할 수 있으며, 사용자의 눈을 추적할 때 다양한 이용 가능한 데이터를 이용할 수 있다. 예를 들어, 눈 추적 모듈(614)은 광원들(326) 및 머리 장착형 유닛(602)에 대한 눈 추적 카메라(324)의 기하학적 배열과 같은 눈 추적 외재성 및 내재성을 포함하는 이용 가능한 데이터; 근사적으로 사용자의 각막 곡률 중심과 사용자의 눈의 평균 회전 중심 사이의 통상적 거리(예를 들어, 5.7 또는 5.7 mm ± 1 mm 또는 이에 근사할 수 있음) 또는 사용자의 각막 곡률 중심과 동공 중심 사이의 거리(예를 들어, 4.7 또는 4.7 mm ± 1 mm 또는 이에 근사할 수 있음), 또는 사용자의 회전 중심과 관점 중심 사이의 통상적 거리와 같은 가정된 눈 치수들(704); 및 특정 사용자의 동공 간 거리와 같은 사용자별 교정 데이터(706)를 이용할 수 있다. 눈 추적 모듈(614)에 의해 채용될 수 있는 외재성, 내재성 및 다른 정보의 추가적인 예들이 2017년 4월 26일자로 출원된 미국 특허 출원 제15/497,726호(대리인 문서 번호 MLEAP.023A7)에 설명되어 있으며, 이는 그 전체가 인용에 의해 본원에 포함된다.
[0130] 이미지 사전 프로세싱 모듈(710)은 눈 카메라(324)와 같은 눈 카메라로부터 이미지들을 수신할 수 있고 수신된 이미지들에 대해 하나 이상의 사전 프로세싱(예를 들어, 컨디셔닝) 동작들을 수행할 수 있다. 예를 들어, 이미지 사전 프로세싱 모듈(710)은 이미지에 가우시안 블러(Gaussian blur)를 적용할 수 있거나, 이미지들을 더 낮은 해상도로 다운 샘플링할 수 있거나, 언샤프 마스크(unsharp mask)를 적용할 수 있거나, 에지 선명화 알고리즘을 적용할 수 있거나, 눈 카메라(324)로부터의 이미지들에서 글린트들, 동공 또는 기타 특징부들의 장래의 검출, 로컬화 및 라벨링을 지원하는 다른 적절한 필터들을 적용할 수 있다. 이미지 사전 프로세싱 모듈(710)은 저역 통과 필터 또는 개방 필터와 같은 형체 기반 필터를 적용할 수 있으며, 이는 동공 경계(516a)(도 5 참조)로부터의 것과 같은 고주파수 노이즈를 제거할 수 있으며, 이에 의해 동공 및 글린트 결정을 방해할 수 있는 노이즈를 제거한다. 이미지 사전 프로세싱 모듈(710)은 사전 프로세싱된 이미지들을 동공 식별 모듈(712) 및 글린트 검출 및 라벨링 모듈(714)로 출력할 수 있다.
[0131] 동공 식별 모듈(712)은 이미지 사전 프로세싱 모듈(710)로부터 사전 프로세싱된 이미지들을 수신할 수 있고 사용자의 동공을 포함하는 해당 이미지들의 영역을 식별할 수 있다. 동공 식별 모듈(712)은 일부 실시예들에서 카메라(324)로부터의 눈 추적 이미지들에서 사용자 동공의 중심 또는 중앙의 포지션의 좌표 또는 좌표를 결정할 수 있다. 적어도 일부 실시예들에서, 동공 식별 모듈(712)은 눈 추적 이미지들에서 윤곽들(예를 들어, 동공 홍채 경계의 윤곽들)을 식별하고, 윤곽 모멘트들(예를 들어, 질량 중심들)을 식별하고, 스타버스트(starbust) 동공 검출 및/또는 캐니(canny) 에지 검출 알고리즘을 적용하고, 강도 값들에 기초하여 이상값을 거부하고, 서브-픽셀 경계 포인트들을 식별하고, 눈-카메라 왜곡(예를 들어, 눈 카메라(324)에 의해 캡처된 이미지들의 왜곡)에 대해 수정하고, 랜덤 샘플 콘센서스(RANSAC: random sample consensus) 반복 알고리즘을 적용하여 타원을 눈 추적 이미지의 경계에 맞추고, 이미지에 추적 필터를 적용하고, 사용자 동공 중앙의 서브-픽셀 이미지 좌표를 식별할 수 있다. 동공 식별 모듈(712)은 동공 식별 데이터(사전 프로세싱 이미지 모듈(712)의 어느 영역들이 사용자의 동공을 나타내는 것으로 식별되는지 나타낼 수 있음)를 글린트 검출 및 라벨링 모듈(714)에 출력할 수 있다. 동공 식별 모듈(712)은 각각의 눈 추적 이미지 내의 사용자 동공의 2D 좌표(예를 들어, 사용자 동공 중앙의 2D 좌표)를 글린트 검출 모듈(714)에 제공할 수 있다. 적어도 일부 실시예들에서, 동공 식별 모듈(712)은 또한 동일한 종류의 동공 식별 데이터를 좌표계 정규화 모듈(718)에 제공할 수 있다.
[0132] 동공 식별 모듈(712)에 의해 이용될 수 있는 동공 검출 기법들이 2017년 2월 23일자로 공개된 미국 특허 공개 제2017/0053165호 및 2017년 2월 23일자로 공개된 미국 특허 공개 제2017/0053166호에 설명되어 있으며, 이들 각각은 그 전체가 인용에 의해 본원에 포함된다.
[0133] 글린트 검출 및 라벨링 모듈(714)은 모듈(710)로부터 사전 프로세싱된 이미지들 및 모듈(712)로부터 동공 식별 데이터를 수신할 수 있다. 글린트 검출 모듈(714)은 이 데이터를 사용하여 사용자의 동공을 나타내는 사전 프로세싱된 이미지들 영역들 내에서 글린트들(예를 들어, 광원들(326)로부터의 광의 사용자 눈의 반사)을 검출 및/또는 식별할 수 있다. 예를 들어, 글린트 검출 모듈(714)은 사용자의 동공 부근에 있는, 본원에서 때때로 "블로브(blob)들" 또는 로컬 강도 최대치라고 칭하는 눈 추적 이미지 내의 밝은 영역들을 검색할 수 있다. 적어도 일부 실시예들에서, 글린트 검출 모듈(714)은 추가적인 글린트들을 포함하도록 동공 타원을 리스케일링(예를 들어, 확대)할 수 있다. 글린트 검출 모듈(714)은 글린트를 크기 및/또는 강도 별로 필터링할 수 있다. 글린트 검출 모듈(714)은 또한 눈 추적 이미지 내의 글린트들 각각의 2D 포지션들을 결정할 수 있다. 적어도 일부 예들에서, 글린트 검출 모듈(714)은 사용자의 동공에 대한 글린트들의 2D 포지션들을 결정할 수 있으며, 이는 동공-글린트 벡터들이라고도 칭할 수 있다. 글린트 검출 및 라벨링 모듈(714)은 글린트들을 라벨링하고 라벨링된 글린트들을 갖는 사전 프로세싱 이미지들을 3D 각막 중심 추정 모듈(716)로 출력할 수 있다. 글린트 검출 및 라벨링 모듈(714)은 또한 모듈(710)로부터의 사전 프로세싱된 이미지들 및 모듈(712)로부터의 동공 식별 데이터와 같은 데이터를 전달할 수 있다. 일부 구현들에서, 글린트 검출 및 라벨링 모듈(714)은 (예를 들어, 적외선 광원(326a 및 326b)을 포함하는 시스템의 복수의 광원들 중에서) 어떤 광원이 각각의 식별된 글린트를 생성했는지 결정할 수 있다. 이러한 예들에서, 글린트 검출 및 라벨링 모듈(714)은 연관된 광원을 식별하는 정보로 글린트들을 라벨링하고 라벨링된 글린트들을 갖는 사전 프로세싱된 이미지들을 3D 각막 중심 추정 모듈(716)로 출력할 수 있다.
[0134] 모듈들(712 및 714)과 같은 모듈들에 의해 수행되는 동공 및 글린트 검출은 임의의 적절한 기법들을 사용할 수 있다. 예를 들어, 글린트들과 동공들을 식별하기 위해 눈 이미지에 에지 검출이 적용될 수 있다. 에지 검출은 다양한 에지 검출기들, 에지 검출 알고리즘들 또는 필터들에 의해 적용될 수 있다. 예를 들어, 캐니 에지 검출기가 이미지에 적용되어 이미지의 라인들과 같은 에지들을 검출할 수 있다. 에지들은 로컬 최대 도함수에 대응하는 라인을 따라 위치된 포인트들을 포함할 수 있다. 예를 들어, 동공 경계(516a)(도 5 참조)는 캐니 에지 검출기를 사용하여 위치될 수 있다. 동공의 위치가 결정되면, 동공(116)의 "포즈"를 검출하기 위해 다양한 이미지 프로세싱 기법들이 사용될 수 있다. 눈 이미지의 눈 포즈를 결정하는 것은 또한 눈 이미지의 눈 포즈를 검출하는 것으로 지칭될 수 있다. 포즈는 또한 시선, 가리키는 방향 또는 눈의 배향으로 칭할 수 있다. 예를 들어, 동공은 객체를 향해 좌측을 바라보고 있을 수 있으며, 동공의 포즈는 좌측을 향한 포즈로 분류될 수 있다. 동공이나 글린트들의 위치를 검출하기 위해 다른 방법들을 사용할 수 있다. 예를 들어, 캐니 에지 검출기를 사용하여 눈 이미지에서 동심원 고리를 찾을 수 있다. 다른 예로서, 적분-미분 연산자를 사용하여 홍채의 동공 또는 연곽 경계들을 찾을 수 있다. 예를 들어 도그먼(Daugman) 적분-미분 연산자, 허프(Hough) 변환 또는 다른 홍채 세그먼트화 기법들을 사용하여 동공 또는 홍채의 경계를 추정하는 곡선을 반환할 수 있다.
[0135] 3D 각막 중심 추정 모듈(716)은 모듈들(710, 712, 714)로부터 검출된 글린트 데이터 및 동공 식별 데이터를 포함하는 사전 프로세싱된 이미지들을 수신할 수 있다. 3D 각막 중심 추정 모듈(716)은 이러한 데이터를 사용하여 사용자 각막의 3D 포지션을 추정할 수 있다. 일부 실시예들에서, 3D 각막 중심 추정 모듈(716)은 각막 곡률 또는 사용자의 각막 구의 눈 중심, 예를 들어, 일반적으로 사용자의 각막과 동일하게 걸친 표면 부분을 갖는 가상 구의 중심의 3D 포지션을 추정할 수 있다. 3D 각막 중심 추정 모듈(716)은 추정된 각막 구 및/또는 사용자 각막의 3D 좌표를 나타내는 데이터를 좌표계 정규화 모듈(718), 광학 축 결정 모듈(722) 및/또는 라이트-필드 렌더 제어기(618)에 제공할 수 있다. 3D 각막 중심 추정 모듈(716)의 동작에 대한 추가 상세 사항은 도 11 내지 도 16c와 관련하여 본원에서 제공된다. 3D 각막 중심 추정 모듈(716) 및 본 개시의 웨어러블 시스템들의 다른 모듈들에 의해 이용될 수 있는 각막 또는 각막 구와 같은 눈 특징부들의 포지션들을 추정하기 위한 예시적인 기법들은 2017년 4월 26일자로 출원된 미국 특허 출원 제15/497,726호에서 논의되며(대리인 관리 번호 MLEAP.023A7), 이는 그 전체가 인용에 의해 본원에 포함된다.
[0136] 좌표계 정규화 모듈(718)은 선택적으로(점선의 외곽선으로 표시된 바와 같이) 눈 추적 모듈(614)에 포함될 수 있다. 좌표계 정규화 모듈(718)은 사용자의 각막 중심(및/또는 사용자 각막 구의 중심)의 추정된 3D 좌표를 나타내는 데이터를 3D 각막 중심 추정 모듈(716)로부터 수신할 수 있으며 또한 다른 모듈들로부터 데이터를 수신할 수 있다. 좌표계 정규화 모듈(718)은 눈 카메라 좌표계를 정규화할 수 있으며, 이는 웨어러블 디바이스의 미끄러짐(예를 들어, 등록 관찰자(620)에 의해 식별될 수 있는 사용자 머리의 정상 휴식 위치로부터의 머리 장착형 구성 요소의 미끄러짐)을 보상하는 데 도움이 될 수 있다. 좌표계 정규화 모듈(718)은 (예를 들어, 3D 각막 중심 추정 모듈(716)에 의해 표시된 바와 같이) 좌표계의 z-축(예를 들어, 버전스 깊이 축)을 각막 중심과 정렬하기 위해 좌표계를 회전시킬 수 있고, 카메라 중심(예를 들어, 좌표계의 원점)을 30 mm와 같이 각막 중심으로부터 사전 결정된 거리로 병진시킬 수 있다(예를 들어, 모듈(718)은 눈 카메라(324)가 사전 결정된 거리보다 더 가까운 또는 더 먼 것으로 결정되었는지 여부에 따라 눈 추적 이미지를 확대하거나 축소할 수 있음). 이러한 정규화 프로세스로, 눈 추적 모듈(614)은 사용자의 머리 상의 헤드셋 포지셔닝의 변화와 상대적으로 독립적으로 눈 추적 데이터에서 일관된 배향 및 거리를 확립할 수 있다. 좌표계 정규화 모듈(718)은 각막(및/또는 각막 구) 중심의 3D 좌표, 동공 식별 데이터 및 사전 프로세싱된 눈 추적 이미지들을 3D 동공 중심 로케이터 모듈(720)에 제공할 수 있다.
[0137] 3D 동공 중심 로케이터 모듈(720)은 사용자의 각막(및/또는 각막 구) 중심의 3D 좌표, 동공 위치 데이터 및 사전 프로세싱된 눈 추적 이미지들을 포함하는 정규화 또는 비정규화된 좌표계의 데이터를 수신할 수 있다. 3D 동공 중심 로케이터 모듈(720)은 이러한 데이터를 분석하여 정규화 또는 비정규화된 눈 카메라 좌표계에서 사용자 동공 중심의 3D 좌표를 결정할 수 있다. 3D 동공 중심 로케이터 모듈(720)은 (모듈(712)에 의해 결정된) 동공 중앙의 2D 포지션, (모듈(716)에 의해 결정된) 각막 중심의 3D 위치, 통상적인 사용자의 각막 구의 크기 및 각막 중심으로부터 동공 중심까지의 통상적인 거리와 같은 가정된 눈 치수(704), 및 (공기의 굴절률에 대한) 각막의 굴절률과 같은 눈의 광학 특성 또는 이들의 임의의 조합에 기초하여 3차원의 사용자의 동공의 위치를 결정할 수 있다. 본 개시의 웨어러블 시스템들의 3D 동공 중심 로케이터 모듈(720) 및 다른 모듈에 의해 이용될 수 있는 동공과 같은 눈 특징부들의 포지션들을 추정하기 위한 기법들이 2017년 4월 26일자로 출원된 미국 특허 출원 제15/497,726호(대리인 관리 번호 MLEAP.023A7)에서 논의되며, 이는 그 전체가 인용에 의해 본원에 포함된다.
[0138] 광학 축 결정 모듈(722)은 모듈들(716, 720)로부터 사용자의 각막과 사용자의 동공의 중심의 3D 좌표를 나타내는 데이터를 수신할 수 있다. 이러한 데이터에 기초하여, 광학 축 결정 모듈(722)은 각막 중심의 포지션으로부터 (예를 들어, 각막 구의 중심으로부터) 사용자 동공의 중심까지의 벡터를 식별할 수 있고, 이는 사용자 눈의 광학 축을 정의할 수 있다. 광학 축 결정 모듈(722)은 예를 들어, 사용자의 광학 축을 특정하는 출력들을 모듈들(724, 728, 730 및 732)에 제공할 수 있다.
[0139] 회전 중심(CoR) 추정 모듈(724)은 모듈(722)로부터 사용자의 눈의 광학 축의 파라미터들을 포함하는 데이터(예를 들어, 머리 장착형 유닛(602)에 대해 알려진 관계를 갖는 좌표계에서 광학 축의 방향을 나타내는 데이터)를 수신할 수 있다. 예를 들어, CoR 추정 모듈(724)은 사용자의 눈의 회전 중심을 추정할 수 있다. 회전 중심은 사용자의 눈이 좌, 우, 위 및/또는 아래로 회전할 때 사용자의 눈이 회전하는 포인트를 나타낼 수 있다. 눈이 특이점을 중심으로 완벽하게 회전하지 않을 수 있지만 특이점이 충분할 수 있다고 가정한다. 적어도 일부 실시예들에서, CoR 추정 모듈(724)은 동공의 중심(모듈(720)에 의해 식별됨) 또는 각막의 곡률 중심(모듈(716)에 의해 식별됨)으로부터 망막을 향해 광학 축(모듈(722)에 의해 식별됨) 특정 거리를 따라 이동함으로써 눈의 회전 중심을 추정할 수 있다. 이러한 특정 거리는 가정된 눈 치수(704)일 수 있다. 하나의 예로서, 각막의 곡률 중심과 CoR 사이의 특정 거리는 예를 들어, 5.7 mm 또는 4.7 mm, 5.7 mm ± 1 mm 또는 이에 근접할 수 있다. 이 거리는 사용자의 연령, 성별, 시력 처방, 다른 관련 특징 등을 포함한 임의의 관련 데이터에 기초하여 특정 사용자에 따라 달라질 수 있다.
[0140] 적어도 일부 실시예들에서, CoR 추정 모듈(724)은 시간이 지남에 따라 사용자의 눈 각각의 회전 중심의 추정을 개선할 수 있다. 예를 들어, 시간이 지남에 따라, 사용자는 결국 눈을 회전(어떠한 다른 곳을 보거나, 더 가깝거나 더 먼 어떤 것을 보거나, 때로는 좌측, 우측, 위 또는 아래를 바라봄)하여 각각의 눈의 광학 축에서 시프트를 야기할 것이다. CoR 추정 모듈(724)은 그 후 모듈(722)에 의해 식별된 2 개(또는 그 이상) 광학 축을 분석하고 이러한 광학 축들의 3D 교차점을 찾을 수 있다. CoR 추정 모듈(724)은 그 후 회전 중심이 해당 3D 교차점에 있다고 결정할 수 있다. 이러한 기법은 시간이 지남에 따라 개선되는 정확도로 회전 중심의 추정을 제공할 수 있다.
[0141] CoR 추정 모듈(724) 및 좌안 및 우안의 결정된 CoR 포지션들의 정확도를 증가시키기 위해 다양한 기법들이 채용될 수 있다. 예를 들어, CoR 추정 모듈(724)은 시간에 지남에 따라 다양한 상이한 눈 포즈들에 대해 결정된 광학 축들의 평균 교차점을 찾아서 CoR을 추정할 수 있다. 추가 예로서, 모듈(724)은 시간이 지남에 따라 추정된 CoR 포지션들을 필터링하거나 평균화할 수 있고, 시간이 지남에 따라 추정된 CoR 포지션들의 이동 평균을 계산할 수 있고/있거나 시간이 지남에 따라 CoR 포지션을 추정하기 위해 눈 및 눈 추적 시스템의 알려진 역학 및 칼만(Kalman) 필터를 적용할 수 있다. 일부 구현들에서, 광학 축들의 하나 이상의 교차점들을 결정하기 위해 최소 제곱 접근법이 취해질 수 있다. 이러한 구현들에서, 시스템은, 주어진 시점에서, 주어진 광학 축 세트에 대한 제곱 거리의 합이 광학 축 교차점으로서 감소되거나 최소화되는 위치를 식별할 수 있다. 특정 예로서, 모듈(724)은 (눈의 각막 곡률 중심으로부터 5.7 mm 또는 4.7 mm, 또는 5.7 mm ± 1 mm 또는 이에 근사한 것과 같은) 결정된 광학 축 교차점 및 가정된 CoR 포지션들의 가중 평균을 계산할 수 있어, 사용자에 대한 눈 추적 데이터가 획득되고 이에 의해 사용자별로 CoR 포지션의 개선을 가능하게 함에 따라 결정된 CoR이 가정된 CoR 포지션(예를 들어, 눈의 각막 곡률 중심 뒤에서 4.7 mm 또는 5.7 mm, 또는 5.7 mm ± 1 mm 또는 이에 근사)으로부터 시간이 지남에 따라 사용자의 눈 내에서 약간 상이한 위치로 천천히 드리프트할 수 있다.
[0142] 이상적인 조건들 하에서, HMD에 대한 사용자의 눈의 진정한 CoR의 3D 포지션은 사용자가 눈을 움직일 때(예를 들어, 사용자의 눈이 그 회전 중심을 중심으로 회전할 때) 시간이 지남에 따라 무시할 수 있거나 최소한의 양으로 변해야 한다. 즉, 주어진 눈 움직임 세트에 대해, (HMD에 대한) 사용자의 눈의 진정한 CoR의 3D 포지션은 가정적으로 사용자의 눈의 광학 축을 따른 임의의 다른 포인트보다 시간이 지남에 따라 덜 변해야 한다. 이와 같이, 따라서 광학 축을 따른 포인트가 사용자의 눈의 진정한 CoR에서 멀어질수록, 사용자가 눈을 움직일 때 시간이 지남에 따라 3D 포지션이 나타내는 변동 및 분산이 더 클 것이다. 일부 실시예들에서, CoR 추정 모듈(724) 및/또는 눈 추적 모듈(614)의 다른 서브모듈들은 CoR 추정 정확도를 개선하기 위해 이 통계적 관계를 사용할 수 있다. 이러한 실시예들에서, CoR 추정 모듈(724) 및/또는 눈 추적 모듈(614)의 다른 서브모듈들은 낮은 변동(예를 들어, 낮은 분산 또는 표준 편차)을 갖는 CoR 추정의 변동을 식별함으로써 시간에 따른 CoR 3D 포지션의 추정을 개선할 수 있다.
[0143] CoR 추정 모듈(724)이 복수의 상이한 광학 축(각각은 상이한 방향을 바라보는 사용자와 연관됨)의 교차에 기초하여 CoR을 추정하는 실시예 및 제1 예로서 CoR 추정 모듈(724)은 각각의 광학 축들의 방향에 공통 오프셋을 도입하고(예를 들어, 일부 균일한 양만큼 각각의 축 시프트) 오프셋 광학 축들이 낮은 변동, 예를 들어, 낮은 분산 또는 표준 편차를 갖는 교차점에서 서로 교차하는지 결정함으로써 이러한 통계 관계(진정한 CoR이 낮은 분산을 가져야 함)를 사용할 수 있다. 이것은 광학 축들의 방향들을 계산할 때 사소한 시스템 에러를 수정하고 진정한 CoR에 더 가깝게 CoR의 추정된 포지션을 개선하는 데 도움이 될 수 있다.
[0144] CoR 추정 모듈(724)이 광학 축(또는 다른 축)을 따라 특정 거리(예를 들어, 각막의 곡률 중심과 CoR 사이의 거리와 같음)만큼 움직임으로써 CoR을 추정하는 실시예들 및 제2 예로서, 시스템은 추정된 CoR 포지션의 변동, 예를 들어, 분산 및/또는 표준 편차를 감소시키거나 최소화하기 위한 방식으로 시간에 따라 (예를 들어, 상이한 시간에 캡처된 눈의 이미지들의 큰 그룹에 대해) 각막 곡률 중심과 CoR 사이의 특정 거리를 변화, 최적화, 튜닝하거나 아니면 조정할 수 있다. 예를 들어, CoR 추정 모듈(724)이 CoR 포지션 추정을 획득하기 위해 (각막 곡률 중심으로부터 그리고 광학 축을 따라) 4.7 mm 또는 5.7 mm 또는 5.7 mm ± 1 mm 또는 이에 근사한 특정 거리를 초기에 사용하지만, 주어진 사용자의 눈의 진정한 CoR은 (광 축을 따라) 눈의 각막 곡률 중심 뒤 4.9 mm에 포지셔닝될 수 있으면, CoR 추정 모듈(724)에 의해 획득된 CoR 포지션 추정들의 초기 세트는 상대적으로 높은 변동량, 예를 들어, 분산 또는 표준 편차를 나타낼 수 있다. 이러한 비교적 높은 변동량(예를 들어, 분산 또는 표준 편차)을 검출하는 것에 응답하여, CoR 추정 모듈(724)은 더 낮은 변동량(예를 들어, 분산 또는 표준 편차)을 갖는 광학 축을 따라 하나 이상의 포인트들을 찾아서 식별할 수 있고, 4.9 mm 거리를 가장 낮은 변동(예를 들어, 분산 또는 표준 편차)을 갖는 것으로 식별할 수 있고, 따라서 이용되는 특정 거리 값을 4.9 mm로 조정할 수 있다.
[0145] CoR 추정 모듈(724)은 현재 CoR 추정이 비교적 높은 변동량(예를 들어, 분산 또는 표준 편차)을 갖는다는 것을 검출하는 것에 응답하여 더 낮은 변동(예를 들어, 분산 및/또는 표준 편차)을 갖는 대안적인 CoR 추정들을 찾을 수 있거나, 초기 CoR 추정들을 획득한 후 당연히 더 낮은 변동(예를 들어, 분산 또는 표준 편차)을 갖는 대안적인 CoR 추정들을 찾을 수 있다. 일부 예들에서, 이러한 최적화/조정은 시간에 따라 점진적으로 발생할 수 있는 반면, 다른 예들에서, 이러한 최적화/조정은 초기 사용자 교정 세션 중에 이루어질 수 있다. 이러한 절차가 교정 절차 동안 수행되는 예들에서, CoR 추정 모듈(724)은 초기에 임의의 가정된 특정 거리에 동의/고수하지 않을 수 있지만, 오히려 시간이 지남에 따라 눈 추적 데이터 세트를 수집하고, 눈 추적 데이터의 세트에 대한 통계 분석을 수행하고, 통계 분석에 기초하여 변동(예를 들어, 분산 또는 표준 편차)의 가능한 최소량(예를 들어, 전역 최소값)으로 CoR 포지션 추정들을 산출하는 특정 거리 값을 결정할 수 있다.
[0146] 동공간 거리(IPD: interpupillary distance) 추정 모듈(726)은 사용자의 좌측 및 우측 눈의 회전 중심의 추정된 3D 포지션들을 나타내는 데이터를 CoR 추정 모듈(724)로부터 수신할 수 있다. 이후, IPD 추정 모듈(726)은 사용자의 좌측 및 우측 눈의 회전 중심 사이의 3D 거리를 측정함으로써 사용자의 IPD를 추정할 수 있다. 일반적으로, 사용자의 좌측 눈의 추정된 CoR과 사용자의 우측 눈의 추정된 CoR 사이의 거리는 사용자가 광학적 무한대(예를 들어, 사용자의 눈의 광학 축들이 서로 실질적으로 평행)를 볼 때 사용자의 동공들의 중심들 사이의 거리와 대략 동일할 수 있으며, 이는 동공간 거리(IPD)의 통상적인 정의이다. 사용자의 IPD는 웨어러블 시스템의 다양한 구성 요소들 및 모듈들에 의해 사용될 수 있다. 예를 들어, 사용자의 IPD는 등록 관찰자(620)에게 제공될 수 있고 웨어러블 디바이스가 사용자의 눈에 얼마나 잘 정렬되어 있는지(예를 들어, 좌측 및 우측 디스플레이 렌즈가 사용자의 IPD에 따라 적절하게 이격되어 있는지)를 평가하는 데 사용될 수 있다. 다른 예로서, 사용자의 IPD는 버전스 깊이 추정 모듈(728)에 제공되어 사용자의 버전스 깊이를 결정하는데 사용될 수 있다. 모듈(726)은 추정된 IPD의 정확도를 증가시키기 위해 CoR 추정 모듈(724)과 관련하여 논의된 것과 같은 다양한 기법들을 채용할 수 있다. 예를 들어, IPD 추정 모듈(724)은 사용자의 IPD를 정확한 방식으로 추정하는 것의 일부로서 필터링, 시간에 따른 평균화, 가정된 IPD 거리들을 포함하는 가중 평균화, 칼만 필터 등을 적용할 수 있다.
[0147] 버전스 깊이 추정 모듈(728)은 (도 7a와 관련하여 도시된 바와 같이) 눈 추적 모듈(614)의 다양한 모듈들 및 서브모듈들로부터 데이터를 수신할 수 있다. 특히, 버전스 깊이 추정 모듈(728)은 동공 중심들의 추정된 3D 포지션(예를 들어, 상술한 모듈(720)에 의해 제공됨), 광학 축의 하나 이상의 결정된 파라미터들(예를 들어, 상술한 모듈(722)에 의해 제공됨), 회전 중심의 추정된 3D 포지션들(예를 들어, 상술한 모듈(724)에 의해 제공됨), 추정된 IPD(예를 들어, 회전 중심들의 추정된 3D 포지션들 사이의 유클리드 거리(들))(예를 들어, 상술한 모듈(726)에 의해 제공됨), 및/또는 광학 및/또는 시각 축의 하나 이상의 결정된 파라미터들(예를 들어, 아래에 설명되는 모듈(722) 및/또는 모듈(730)에 의해 제공됨)을 나타내는 데이터를 채용할 수 있다. 버전스 깊이 추정 모듈(728)은 사용자의 눈들이 포커싱되는 사용자로부터의 거리일 수 있는 사용자의 버전스 깊이의 척도를 검출하거나 아니면 획득할 수 있다. 예를 들어, 사용자가 그 3 피트 앞에 있는 객체를 보고 있을 때, 사용자의 좌측 및 우측 눈은 3 피트의 버전스 깊이를 가지며; 사용자가 먼 풍경을 보고 있을 때(예를 들어, 사용자의 눈의 광학 축들은 서로 실질적으로 평행하여 사용자의 동공 중심들 사이의 거리가 사용자의 좌측 및 우측 눈의 회전 중심 사이의 거리와 대략 동일할 수 있음), 사용자의 좌측 및 우측 눈은 무한대의 버전스 깊이를 갖는다. 일부 구현들에서, 버전스 깊이 추정 모듈(728)은 사용자 동공들의 추정된 중심들 사이의 3D 거리를 결정하기 위해 사용자 동공의 추정된 중심들을 나타내는 데이터(예를 들어, 모듈(720)에 의해 제공됨)를 이용할 수 있다. 버전스 깊이 추정 모듈(728)은 (예를 들어, 상술한 모듈(726)에 의해 나타낸 바와 같이) 동공 중심들 사이의 이러한 결정된 3D 거리를 추정된 IPD(예를 들어, 회전 중심들의 추정된 3D 포지션들 사이의 유클리드 거리(들))와 비교함으로써 버전스 깊이의 척도를 획득할 수 있다. 동공 중심들 사이의 3D 거리와 추정된 IPD에 추가하여, 버전스 깊이 추정 모듈(728)은 버전스 깊이를 계산하기 위해 알려진, 가정된, 추정된 및/또는 결정된 지오메트리들을 이용할 수 있다. 예를 들어, 모듈(728)은 사용자의 버전스 깊이를 추정(예를 들어, 결정)하기 위해 삼각 측량 계산에서 동공 중심들 사이의 3D 거리, 추정된 IPD 및 3D CoR 포지션들을 조합할 수 있다. 실제로, 추정된 IPD에 대한 동공 중심들 사이의 이러한 결정된 3D 거리의 평가는 광학적 무한대에 대한 사용자의 현재 버전스 깊이의 척도를 나타내는 역할을 할 수 있다. 일부 예들에서, 버전스 깊이 추정 모듈(728)은 이러한 버전스 깊이의 척도를 획득할 목적으로 사용자 동공들의 추정된 중심들 사이의 추정된 3D 거리를 나타내는 데이터를 단순히 수신하거나 액세스할 수 있다. 일부 실시예들에서, 버전스 깊이 추정 모듈(728)은 사용자의 좌측 및 우측 광학 축을 비교하여 버전스 깊이를 추정할 수 있다. 특히, 버전스 깊이 추정 모듈(728)은 사용자의 좌측 및 우측 광학 축이 교차하는(또는 수평면과 같은 평면 상의 사용자의 좌측 및 우측 광학 축의 투사가 교차하는) 사용자로부터의 거리를 찾아 버전스 깊이를 추정할 수 있다. 모듈(728)은 사용자의 좌측 및 우측 광학 축이 사용자의 IPD에 의해 분리되는 깊이가 되도록 제로 깊이를 설정함으로써 이 계산에서 사용자의 IPD를 이용할 수 있다. 적어도 일부 실시예들에서, 버전스 깊이 추정 모듈(728)은 알려진 또는 도출된 공간 관계들과 함께 눈 추적 데이터를 삼각 측량함으로써 버전스 깊이를 결정할 수 있다.
[0148] 일부 실시예들에서, 버전스 깊이 추정 모듈(728)은 (광 축들 대신) 사용자의 시각 축들의 교차에 기초하여 사용자의 버전스 깊이를 추정할 수 있으며, 이는 사용자가 포커싱한 거리의 더 정확한 표시를 제공할 수 있다. 적어도 일부 실시예들에서, 눈 추적 모듈(614)은 광학 대 시각 축 매핑 모듈(730)을 포함할 수 있다. 도 10과 관련하여 추가로 상세하게 논의되는 바와 같이, 사용자의 광학 축과 시각 축은 일반적으로 정렬되지 않는다. 시각 축은 사람이 따라서 바라보는 축이며, 광학 축은 사람의 수정체와 동공의 중심에 의해 정의되며 사람의 망막 중심을 통과할 수 있다. 특히, 사용자의 시각 축은 일반적으로 사용자의 중심와(fovea)의 위치에 의해 정의되는데, 이는 사용자의 망막 중심으로부터 오프셋될 수 있으며, 이에 의해 상이한 광학 축 및 시각 축을 초래할 수 있다. 이러한 실시예들 중 적어도 일부에서, 눈 추적 모듈(614)은 광학 대 시각 축 매핑 모듈(730)을 포함할 수 있다. 광학 대 시각 축 매핑 모듈(730)은 사용자의 광학 축과 시각 축 간의 차이를 수정하고 사용자의 시각 축에 대한 정보를 버전스 깊이 추정 모듈(728) 및 라이트-필드 렌더 제어기(618)와 같은 웨어러블 시스템의 다른 구성 요소들에 제공할 수 있다. 일부 예들에서, 모듈(730)은 광학 축과 시각 축 사이에서 대략 5.2° 내측으로(코로, 사용자의 코를 향해) 통상적인 오프셋을 포함하는 가정된 눈 치수(704)를 사용할 수 있다. 즉, 모듈(730)은 사용자의 좌측 및 우측 시각 축들의 방향을 추정하기 위해 코를 향해 사용자의 좌측 광학 축을 (코로) 코를 향해 우측으로 5.2°만큼 시프트시키고 사용자의 우측 광학 축을 (코로) 코를 향해 좌측으로 5.2°만큼 시프트시킬 수 있다. 다른 예들에서, 모듈(730)은 광학 축(예를 들어, 상술한 모듈(722)에 의해 표시)을 시각 축에 매핑하는 데 사용자별 교정 데이터(706)를 이용할 수 있다. 추가적인 예로서, 모듈(730)은 4.0° 내지 6.5°, 4.5° 내지 6.0°, 5.0° 내지 5.4° 등 또는 이러한 임의의 값에 의해 형성된 임의의 범위로 사용자의 광학 축들을 코로 시프트시킬 수 있다. 일부 배열들에서, 모듈(730)은 연령, 성별, 시력 처방 또는 다른 관련 특징들과 같은 특정 사용자의 특징에 적어도 부분적으로 기초하여 시프트를 적용할 수 있고/있거나 (예를 들어, 특정 사용자의 광학-시각 축 오프셋을 결정하기 위해) 특정 사용자에 대한 교정 프로세스에 적어도 부분적으로 기초하여 시프트를 적용할 수 있다. 적어도 일부 실시예들에서, 모듈(730)은 또한 사용자의 CoR 대신에 (모듈(732)에 의해 결정된) 사용자의 CoP에 대응하도록 좌측 및 우측 광학 축의 원점들을 시프트시킬 수 있다.
[0149] 선택적인 관점 중심(CoP: center of perspective) 추정 모듈(732)은 제공될 때 사용자의 좌측 및 우측 관점 중심(CoP)의 위치를 추정할 수 있다. CoP는 웨어러블 시스템에 유용한 위치일 수 있으며, 적어도 일부 실시예들에서는 동공 바로 앞의 포지션이다. 적어도 일부 실시예들에서, CoP 추정 모듈(732)은 사용자의 동공 중심의 3D 위치, 사용자의 각막 곡률 중심의 3D 위치, 또는 이러한 적절한 데이터 또는 이들의 임의의 조합에 기초하여 사용자의 좌측 및 우측 관점 중심의 위치들을 추정할 수 있다. 예를 들어, 사용자의 CoP는 각막 곡률 중심 앞 대략 5.01 mm(예를 들어, 눈의 각막을 향하고 광학 축을 따르는 방향으로 각막 구 중심으로부터 5.01 mm)일 수 있고, 광학 또는 시각 축을 따라 사용자 각막의 외부 표면 뒤 대략 2.97 mm일 수 있다. 사용자의 관점 중심은 해당 동공 중심 바로 앞에 있을 수 있다. 예를 들어, 사용자의 CoP는 사용자의 동공으로부터 대략 2.0 mm 미만, 사용자의 동공으로부터 대략 1.0 mm 미만 또는 사용자의 동공으로부터 대략 0.5 mm 미만이거나 이러한 임의의 값들 사이의 임의의 범위들일 수 있다. 다른 예로서 관점 중심은 눈의 전방 챔버 내의 위치에 대응할 수 있다. 다른 예로서, CoP는 사용자의 동공으로부터 1.0 mm 내지 2.0 mm, 약 1.0 mm, 0.25 mm 내지 1.0 mm, 0.5 mm 내지 1.0 mm, 또는 0.25 mm 내지 0.5 mm일 수 있다.
[0150] (렌더 카메라의 핀홀에 대한 잠재적으로 바람직한 포지션 및 사용자의 눈의 해부학적 포지션으로서) 본원에 설명된 관점 중심은 원하지 않는 시차 시프트들을 감소 및/또는 제거하는 역할을 하는 포지션일 수 있다. 특히, 사용자의 눈의 광학 시스템은 스크린 상에 투사되는 렌즈 앞의 핀홀에 의해 형성되는 이론적인 시스템과 대략 매우 등가적이며, 핀홀, 렌즈, 스크린은 사용자의 동공/홍채, 수정체 및 망막에 각각 대략 대응한다. 또한, 사용자의 눈으로부터 상이한 거리에 있는 2 개의 포인트 광원들(또는 객체들)이 핀홀의 개구 주위에서 견고하게 회전할 때(예를 들어, 핀홀의 개구로부터 그 각각의 거리와 동일한 곡률 반경을 따라 회전할 때) 시차 시프트가 작거나 없는 것이 바람직할 수 있다. 따라서, CoP는 눈의 동공 중앙에 위치되어야 하는 것처럼 보일 것이다(그리고 이러한 CoP는 일부 실시예들에서 사용될 수 있음). 그러나, 인간의 눈은 수정체와 동공의 핀홀 외에도 망막을 향해 전파되는 광에 추가 광학 파워를 부여하는 각막을 포함한다. 따라서, 이 단락에서 설명된 이론적 시스템에서 핀홀의 해부학적 등가물은 사용자의 눈의 각막의 외부 표면과 사용자의 눈의 동공 또는 홍채 중심 사이에 포지셔닝된 사용자의 눈의 영역일 수 있다. 예를 들어, 핀홀의 해부학적 등가물은 사용자의 눈의 전방 챔버 내의 영역에 대응할 수 있다. 본원에서 논의된 다양한 이유로, CoP를 사용자의 눈의 전방 챔버 내의 이러한 위치로 설정하는 것이 바람직할 수 있다.
[0151] 위에서 논의된 바와 같이, 눈 추적 모듈(614)은 좌측 및 우측 눈 회전 중심(CoR)의 추정된 3D 포지션들, 버전스 깊이, 좌측 및 우측 눈 광학 축, 사용자의 눈의 3D 포지션들, 사용자의 좌측 및 우측 각막 곡률 중심의 3D 포지션들, 사용자 좌측 우측 동공 중심들의 3D 포지션들, 사용자의 좌측 우측 관점 중심의 3D 포지션들, 사용자의 IPD 등과 같은 데이터를 웨어러블 시스템의 라이트-필드 렌더 제어기(618) 및 등록 관찰자(620)와 같은 다른 구성 요소들에 제공할 수 있다. 눈 추적 모듈(614)은 또한 사용자의 눈의 다른 양태들과 연관된 데이터를 검출하고 생성하는 다른 서브모듈들을 포함할 수 있다. 예를 들어, 눈 추적 모듈(614)은 사용자가 눈을 깜박일 때마다 플래그 또는 다른 경고를 제공하는 깜박임 검출 모듈 및 사용자의 눈이 도약(saccade)할 때마다(예를 들어, 초점을 다른 포인트로 신속하게 시프트) 플래그 또는 다른 경고를 제공하는 도약 검출 모듈을 포함할 수 있다.
[0152] 눈 추적 및 회전 중심 결정의 다른 방법들이 가능하다. 따라서, 눈 추적 모듈(614)은 상이할 수 있다. 예를 들어, 아래에 설명된 눈 추적 모듈들의 다양한 구현들에서, 회전 중심의 추정들은 복수의 각막 곡률 중심 값들에 기초하여 결정된다. 일부 구현들에서, 예를 들어, 도 17a 내지 도 19d를 참조하여 논의되는 바와 같이, 눈 추적 모듈(614)은 가능하게는 상이한 눈 포즈들에 대해 복수의 각막 곡률 중심에 맞추어진 표면의 표면 법선 벡터들 간의 수렴 또는 교차를 결정함으로써 눈의 회전 중심을 추정할 수 있다. 그럼에도 불구하고, 상술한 또는 본원의 다른 곳에서 설명된 눈 추적 모듈(614)로부터의 하나 이상의 특징부들이 눈 추적 모듈들의 다른 구현들에 포함될 수 있다.
H.
렌더 제어기의 예
[0153] 예시적인 라이트-필드 렌더 제어기(618)의 상세한 블록도가 도 7b에 도시되어 있다. 도 6 및 도 7b에 도시된 바와 같이, 렌더 제어기(618)는 눈 추적 모듈(614)로부터 눈 추적 정보를 수신할 수 있고, 웨어러블 시스템의 사용자가 보기 위해 표시될 이미지들을 생성할 수 있는 렌더 엔진(622)에 출력들을 제공할 수 있다. 예로서, 렌더 제어기(618)는 버전스 깊이, 좌측 및 우측 눈 회전 중심들(및/또는 관점 중심들), 및 깜박임 데이터, 도약 데이터 등과 같은 다른 눈 데이터를 수신할 수 있다.
[0154] 깊이 평면 선택 모듈(750)은 버전스 깊이 정보 및 다른 눈 데이터를 수신할 수 있고, 이러한 데이터에 기초하여 렌더링 엔진(622)으로 하여금 (예를 들어, 특정 조절 또는 초점 거리에서) 특정 깊이 평면을 가진 사용자에게 컨텐츠를 전달하게 할 수 있다. 도 4와 관련하여 논의된 바와 같이, 웨어러블 시스템은 각각 다양한 레벨의 파면 곡률로 이미지 정보를 전달하는 복수의 도파관에 의해 형성된 복수의 개별 깊이 평면들을 포함할 수 있다. 일부 실시예들에서, 웨어러블 시스템은 시간에 따라 변하는 파면 곡률 레벨로 이미지 정보를 전달하는 광학 요소와 같은 하나 이상의 가변 깊이 평면들을 포함할 수 있다. 이러한 실시예 및 다른 실시예에서, 깊이 평면 선택 모듈(750)은 렌더 엔진(622)으로 하여금 사용자의 버전스 깊이에 부분적으로 기초하여 렌더 엔진(622)으로 하여금 선택된 깊이에서 사용자에게 컨텐츠를 전달하게 할 수 있다(예를 들어, 렌더 엔진(622)으로 하여금 디스플레이(220)가 깊이 평면을 전환하도록 지시하게 함). 적어도 일부 실시예들에서, 깊이 평면 선택 모듈(750) 및 렌더 엔진(622)은 상이한 깊이에서 컨텐츠를 렌더링할 수 있고 또한 디스플레이(220)와 같은 디스플레이 하드웨어에 깊이 평면 선택 데이터를 생성 및/또는 제공할 수 있다. 디스플레이(220)와 같은 디스플레이 하드웨어는 깊이 평면 선택 모듈(750) 및 렌더 엔진(622)과 같은 모듈들에 의해 생성 및/또는 제공되는 깊이 평면 선택 데이터(제어 신호들일 수 있음)에 응답하여 전기 깊이 평면 전환을 수행할 수 있다.
[0155] 일반적으로, 깊이 평면 선택 모듈(750)은 사용자가 정확한 조절 단서들을 제공받도록 사용자의 현재 버전스 깊이와 매칭되는 깊이 평면을 선택하는 것이 바람직할 수 있다. 그러나, 신중하고 거슬리지 않는 방식으로 깊이 평면을 전환하는 것이 또한 바람직할 수도 있다. 예로서, 깊이 평면들 사이의 과도한 전환을 피하는 것이 바람직할 수 있고/있거나 깜박임 또는 눈 도약 동안과 같이 사용자가 전환을 알아차릴 가능성이 적은 시간에 깊이 평면을 전환하는 것이 바람직할 수 있다.
[0156] 히스테리시스 대역 교차 검출 모듈(752)은 특히 사용자의 버전스 깊이가 2 개의 깊이 평면들 사이의 중간 포인트 또는 전이 포인트에서 변동할 때 깊이 평면들 사이의 과도한 전환을 피하는 데 도움이 될 수 있다. 특히, 모듈(752)은 깊이 평면들의 선택에서 깊이 평면 선택 모듈(750)로 하여금 히스테리시스를 나타내도록 할 수 있다. 예를 들어, 모듈(752)은 깊이 평면 선택 모듈(750)로 하여금 사용자의 버전스 깊이가 제1 임계값을 통과한 후에만 더 먼 제1 깊이 평면으로부터 더 가까운 제2 깊이 평면으로 전환하게 할 수 있다. 유사하게, 모듈(752)은 깊이 평면 선택 모듈(750)(이는 결국 디스플레이(220)와 같은 디스플레이들에 지시할 수 있음)로 하여금 사용자의 버전스 깊이가 제1 임계값보다 사용자로부터 더 먼 제2 임계값을 통과한 후에만 더 먼 제1 깊이 평면으로 전환하도록 할 수 있다. 제1 임계값과 제2 임계값 사이의 중첩 영역에서, 모듈(750)은 깊이 평면 선택 모듈(750)로 하여금 어느 깊이 평면이 현재 선택된 깊이 평면으로 선택되었는지를 유지하게 하여, 깊이 평면들 사이의 과도한 전환을 피할 수 있다.
[0157] 안구 이벤트 검출 모듈(750)은 도 7a의 눈 추적 모듈(614)로부터 다른 눈 데이터를 수신할 수 있고 안구 이벤트가 발생할 때까지 깊이 평면 선택 모듈(750)로 하여금 일부 깊이 평면 전환을 지연시키게 할 수 있다. 예를 들어, 안구 이벤트 검출 모듈(750)은 사용자 깜박임이 검출될 때까지 깊이 평면 선택 모듈(750)로 하여금 계획된 깊이 평면 전환을 지연시키게 할 수 있고; 사용자가 현재 깜박이는 때를 나타내는 눈 추적 모듈(614)의 깜박임 검출 구성 요소로부터 데이터를 수신할 수 있고; 이에 응답하여 깊이 평면 선택 모듈(750)로 하여금 (모듈(750)로 하여금 깜박임 이벤트 동안 깊이 평면 전환을 실행하도록 디스플레이(220)에 지시하게 하는 것과 같이) 깜박임 이벤트 동안 계획된 깊이 평면 전환을 실행하게 할 수 있다. 적어도 일부 실시예들에서, 웨어러블 시스템은 깜박임 이벤트 동안 컨텐츠를 새로운 깊이 평면으로 시프트시켜 사용자가 시프트를 인식하지 못하게 할 수 있다. 다른 예로서, 안구 이벤트 검출 모듈(750)은 안구 도약이 검출될 때까지 계획된 깊이 평면 전환을 지연시킬 수 있다. 눈 깜박임들과 관련하여 논의된 바와 같이, 이러한 배열은 깊이 평면들의 이산적 시프팅을 용이하게 할 수 있다.
[0158] 원하는 경우, 깊이 평면 선택 모듈(750)은 안구 이벤트가 없는 경우에도 깊이 평면 전환을 실행하기 전에 제한된 기간 동안만 계획된 깊이 평면 전환들을 지연시킬 수 있다. 유사하게, 깊이 평면 선택 모듈(750)은 안구 이벤트가 없는 경우에도, 사용자의 버전스 깊이가 현재 선택된 깊이 평면의 실질적으로 외부에 있을 때(예를 들어, 사용자의 버전스 깊이가 깊이 평면 전환에 대한 정규 임계값을 넘어 사전 결정된 임계값을 초과했을 때) 깊이 평면 전환을 실행할 수 있다. 이러한 배열들은 안구 이벤트 검출 모듈(754)이 깊이 평면 전환을 무한하게 지연시키지 않고 큰 조절 오차가 존재할 때 깊이 평면 전환을 지연시키지 않는 것을 보장하는 데 도움이 될 수 있다.
[0159] 렌더 카메라 제어기(758)는 사용자의 좌측 및 우측 눈이 어디에 있는지를 나타내는 정보를 렌더 엔진(622)에 제공할 수 있다. 이후, 렌더 엔진(622)은 사용자의 좌측 및 우측 눈의 포지션들에서 카메라들을 시뮬레이팅하고 시뮬레이팅된 카메라들의 관점에 기초하여 컨텐츠를 생성함으로써 컨텐츠를 생성할 수 있다. 위에서 논의된 바와 같이, 렌더 카메라는 가능하게는 가상 세계의 객체들의 데이터베이스로부터 가상 이미지 컨텐츠를 렌더링하는 데 사용하기 위한 시뮬레이팅된 카메라이다. 객체들은 사용자 또는 착용자에 대해 그리고 가능하게는 사용자 또는 착용자를 둘러싼 환경의 실제 객체들에 대한 위치들 및 배향들을 가질 수 있다. 렌더 카메라는 상기 눈에 제공될 가상 객체들의 데이터베이스에 기초하여 가상 이미지들을 렌더링하기 위해 렌더 엔진에 포함될 수 있다. 가상 이미지들은 사용자 또는 착용자의 관점으로부터 취해진 것처럼 렌더링될 수 있다. 예를 들어, 가상 이미지들은 개구, 렌즈 및 가상 세계에서 객체들을 보는 검출기를 갖는 카메라("렌더 카메라"에 대응)에 의해 캡처된 것처럼 렌더링될 수 있다. 가상 이미지들은 "렌더 카메라"의 포지션을 갖는 이러한 카메라의 관점으로부터 취해진다. 예를 들어, 가상 이미지들은 사용자 또는 착용자의 관점으로부터 온 것처럼 보이는 이미지들을 제공하기 위해 사용자 또는 착용자의 눈에 대해 특정 위치를 갖는 카메라의 관점으로부터 캡처된 것처럼 렌더링될 수 있다. 일부 구현들에서, 이미지들은 (본원 또는 다른 곳에서 논의되는 관점의 중심 또는 회전 중심과 같은) 사용자 또는 착용자의 눈에 대한 특정 위치에 개구를 갖는 카메라의 관점으로부터 캡처된 것처럼 렌더링된다.
[0160] 렌더 카메라 제어기(758)는 CoR 추정 모듈(724)에 의해 결정된 좌측 및 우측 눈 회전 중심(CoR) 및/또는 CoP 추정 모듈(732)에 의해 결정된 좌측 및 우측 눈 관점 중심(Cop)에 기초하여 좌측 및 우측 카메라의 포지션들을 결정할 수 있다. 일부 실시예들에서, 렌더 카메라 제어기(758)는 다양한 요인들에 기초하여 CoR 및 CoP 위치들 사이에서 전환할 수 있다. 예를 들어, 렌더 카메라 제어기(758)는 다양한 모드들에서 렌더 카메라를 CoR 위치들에 항상 등록하고, 렌더 카메라를 CoP 위치들에 항상 등록하고, 다양한 요인들에 기초하여 시간이 지남에 따라 렌더 카메라를 CoR 위치들에 등록하는 것과 렌더 카메라를 CoP 위치들에 등록하는 것 사이에 토글링(toggling) 또는 이산적으로 전환하거나, 다양한 요인들에 기초하여 시간이 지남에 따라 CoR과 Cop 위치들 사이에서 광학(또는 시각) 축을 딸 렌더 카메라를 상이한 포지션들의 임의의 범위로 동적으로 등록할 수 있다. CoR 및 CoP 포지션들은 이러한 포지션들에서 노이즈를 감소시키기 위해 시간이 지남에 따라 CoR 및 CoP 위치들을 평균화하고 렌더 시뮬레이팅된 렌더 카메라들의 지터(jitter)를 방지할 수 있는 (렌더 카메라 포지셔닝을 위한 위에 언급한 모드들 중 임의의 모드에서) 평활화 필터(756)를 선택적으로 통과할 수 있다.
[0161] 적어도 일부 실시예들에서, 렌더 카메라는 눈 추적 모듈(614)에 의해 식별된 추정된 CoR 또는 CoP의 포지션에 배치된 핀홀을 갖는 핀홀 카메라로서 시뮬레이팅될 수 있다. CoP가 CoR로부터 오프셋됨에 따라, 렌더 카메라의 포지션이 사용자의 CoP에 기초할 때마다 렌더 카메라 및 그 핀홀 모두의 위치가 사용자의 눈이 회전함에 따라 시프트한다. 대조적으로, 렌더 카메라의 포지션이 사용자의 CoR에 기초할 때마다, 렌더 카메라의 핀홀의 위치는 눈의 회전과 함께 움직이지 않지만 일부 실시예에서는 렌더 카메라(핀홀 뒤에 있음)가 눈의 회전과 함께 움직일 수 있다. 렌더 카메라의 포지션이 사용자의 CoR에 기초하는 다른 실시예들에서, 렌더 카메라는 사용자의 눈과함께 움직이지(예를 들어, 회전) 않을 수 있다.
I. 시각 축
과 시각 축의 차이 예
[0162] 도 7a의 광학 대 시각 매핑 모듈(730)과 관련하여 논의된 바와 같이, 부분적으로 그 중심와에 의해 정의되는 사용자의 시각 축으로 인해 그리고 중심와는 일반적으로 사람의 망막의 중심에 있지 않으므로 사용자의 광학 및 시각 축들이 일반적으로 정렬되지 않는다. 따라서, 사람이 특정 객체에 집중하기를 원할 때, 사람은 객체로부터의 광이 그 중심와에 떨어지는 것을 보장하기 위해 그 시각 축을 해당 객체와 정렬하며, (그 동공 중심 및 그 각막 곡률 중심에 의해 정의되는) 그 광학 축은 해당 객체로부터 실제로 약간 오프셋된다. 도 7c는 눈의 광학 축(902), 눈의 시각 축(904) 및 이러한 축들 사이의 오프셋을 예시하는 눈(900)의 예이다. 추가로, 도 7c는 눈의 동공 중심(906), 눈의 각막 곡률 중심(908) 및 눈의 평균 회전 중심(CoR)(910)을 예시한다. 적어도 일부 모집단에서, 눈의 각막 곡률 중심(908)은 눈의 평균 회전 중심(CoR)(910)의 치수(912)로 나타낸 바와 같이 대략 4.7 mm 또는 5.7 mm 또는 5.7 mm ± 1 mm 앞 또는 이에 근사하게 있을 수 있다. 추가로, 눈의 관점 중심(914)은 눈의 각막 곡률 중심(908)의 전방 대략 5.01 mm, 사용자 각막의 외부 표면(916) 후방 약 2.97 mm, 및/또는 사용자의 동공 중심(906) 바로 앞에 있을 수 있다(예를 들어, 눈(900)의 전방 챔버 내의 위치에 대응). 추가적인 예로서, 치수(912)는 2.0 mm 내지 8.0 mm, 3.0 내지 7.0 mm, 4.0 내지 6.0 mm, 4.5 내지 5.0 mm, 4.6 내지 4.8 mm, 5.0 내지 6.0 mm, 또는 5.6 mm 내지 5.8 mm, 5.5 내지 6.0 mm 또는 임의의 값들 사이의 임의의 범위들 그리고 이러한 임의의 범위들의 임의의 값들일 수 있다. 눈의 관점 중심(CoP)(914)은 적어도 일부 실시예들에서 CoP에 렌더 카메라를 등록하는 것이 시차 아티팩트들을 줄이거나 제거하는 데 도움이 될 수 있으므로 웨어러블 시스템에 유용한 위치일 수 있다.
[0163] 도 7c는 또한 렌더 카메라의 핀홀이 정렬될 수 있는 인간의 눈(900) 내의 위치를 예시한다. 도 7c에 도시된 바와 같이, 렌더 카메라의 핀홀은 인간의 눈(900)의 (a) 동공 또는 홍채의 중심(906) 및 (b) 각막 곡률 중심(908) 모두에 비해 각막의 외부 표면에 더 가까운 인간 눈(900)의 광학 축(902) 또는 시각 축(904)을 따른 위치(914)로 등록될 수 있다. 예를 들어, 도 7c에 도시된 바와 같이, 렌더 카메라의 핀홀은 각막(916)의 외부 표면으로부터 후방으로 약 2.97 밀리미터이고 각막 곡률 중심(908)으로부터 전방으로 약 5.01 밀리미터인 인간 눈(900)의 광학 축(902)을 따른 위치(914)로 등록될 수 있다. 렌더 카메라의 핀홀의 위치(914) 및/또는 위치(914)가 대응하는 인간 눈(900)의 해부학적 영역은 인간 눈(900)의 관점 중심을 나타내는 것으로 볼 수 있다. 도 7c에 도시된 인간의 눈(900)의 광학 축(902)은 각막 곡률 중심(908) 및 동공 또는 홍채 중심(906)을 통한 최직선을 나타낸다. 인간 눈(900)의 중심와로부터 동공 또는 홍채의 중심(906)으로 연장되는 라인을 나타내는 바와 같이, 인간 눈(900)의 시각 축(904)은 광학 축(902)과 다르다.
J.
단일 카메라를 사용하여 각막 중심을 찾는 예
[0164] 일부 구현들에서, 3D 각막 중심 추정 모듈(716)은 단일 카메라에 의해 캡처된 하나 이상의 이미지들에 대한 하나 이상의 광원들에 의해 생성된 하나 이상의 글린트들의 측정된 포지션에 기초하여 각막 중심을 추정할 수 있다. 위의 도 7a에서 예시된 3D 각막 중심 추정 모듈(716)은 예를 들어, 단일 눈 추적 카메라로부터 획득된 하나 이상의 이미지들에 기초하여 각막의 곡률 중심의 추정을 제공할 수 있다. 일부 구현들에서, 구면 눈 모델이 사용될 수 있다. 이러한 구면 모델은 구면 형상 또는 곡률을 갖는 표면에 기초하여 각막의 형상 또는 곡률을 모델링할 수 있다.
[0165] 도 8a는 눈의 각막 구를 나타내는 눈의 개략도이다. 도 8a에 도시된 바와 같이, 사용자의 눈(810)은 각막(812), 동공(822) 및 수정체(820)를 가질 수 있다. 각막(812)은 각막 구(814)에 의해 나타낸 대략 구면 형상을 가질 수 있다. 각막 구(814)는 또한 각막 중심이라고도 칭하는 중심점(816) 및 반경(818)을 가질 수 있다. 사용자의 눈의 반구형 각막은 각막 중심(816) 주위에서 휘어질 수 있다.
[0166] 도 8b 내지 도 8e는 3D 각막 중심 추정 모듈(716) 및 눈 추적 모듈(614)을 사용하여 사용자의 각막 중심(816)을 찾는 예를 예시한다.
[0167] 도 8b에 도시된 바와 같이, 3D 각막 중심 추정 모듈(716)은 각막 글린트(854)를 포함하는 눈 추적 이미지(852)를 수신할 수 있다. 3D 각막 중심 추정 모듈(716)은 그 후 눈 카메라 좌표계(850)에서 눈 카메라 좌표계에서 광선(856)을 투사하기 위해 (눈 추적 외재성 및 내재성 데이터베이스(702), 가정된 눈 치수 데이터베이스(704) 및/또는 사용자별 교정 데이터(706)의 데이터에 기초할 수 있는) 눈 카메라(324) 및 광원(326)의 알려진 3D 포지션들을 시뮬레이팅할 수 있다. 적어도 일부 구현들에서, 눈 카메라 좌표계(850)는 눈 추적 카메라(324)의 3D 포지션에서 그 원점을 가질 수 있다.
[0168] 도 8c에서, 3D 각막 중심 추정 모듈(716)은 제1 위치에서 (데이터베이스(704)로부터의 가정된 눈 치수들에 기초할 수 있는) 각막 구(814a) 및 각막 곡률 중심(816a)을 시뮬레이팅한다. 그 후 3D 각막 중심 추정 모듈(716)은 각막 구(814a)가 광원(326)으로부터의 광을 글린트 포지션(854)으로 적절하게 반사하는지 여부를 알기 위해 확인할 수 있다. 도 8c에 도시된 바와 같이, 광선(860a)이 광원(326)과 교차하지 않기 때문에 제1 포지션은 매칭되지 않는다.
[0169] 유사하게 도 8d에서, 3D 각막 중심 추정 모듈(716)은 제2 포지션에서 각막 구(814b) 및 각막 곡률 중심(816b)을 시뮬레이팅한다. 3D 각막 중심 추정 모듈(716)은 그 후 각막 구(814b)가 광원(326)으로부터의 광을 글린트 포지션(854)으로 적절하게 반사하는지 여부를 알기 위해 확인한다. 도 8d에 도시된 바와 같이, 제2 포지션도 매칭되지 않는다.
[0170] 도 8e에 도시된 바와 같이, 3D 각막 중심 추정 모듈(716)은 결국 각막 구의 정확한 위치가 각막 구(814c) 및 각막 곡률 중심(816c)인 것으로 결정할 수 있다. 3D 각막 중심 추정 모듈(716)은 소스(326)로부터의 광이 각막 구에서 적절하게 반사되고 이미지(852) 상의 글린트(854)의 정확한 위치에서 카메라(324)에 의해 이미지징되는 것을 확인함으로써 예시된 포지션이 정확한지 확인한다. 이러한 배열로 그리고 광원(326), 카메라(324)의 알려진 3D 포지션들 및 카메라의 광학 특성들(초점 거리 등)로, 3D 각막 중심 추정 모듈(716)은 (예를 들어, 웨어러블 시스템에 대한) 각막 곡률 중심(816)의 3D 위치를 결정할 수 있다.
[0171] 적어도 도 8c 내지 도 8e와 관련하여 본원에 설명된 프로세스들은 사용자의 각막 중심의 3D 포지션을 식별하기 위해 실질적으로 반복(iterative), 반복적(repetitious) 및/또는 최적화 프로세스일 수 있다. 이와 같이, 복수의 기법들(예를 들어, 반복, 최적화 기법들 등) 중 임의의 기법을 사용하여 가능한 포지션들의 검색 공간을 효율적이고 빠르게 축소하거나 감소시킬 수 있다. 또한, 일부 구현들에서, 시스템은 광원(326)과 같은 2 개, 3 개, 4 개 또는 그 이상의 광원들을 포함할 수 있고 이러한 광원들 중 일부 또는 전부는 상이한 포지션들에 배치될 수 있어, 이미지(852) 상의 상이한 포지션들에 위치된 글린트(854)와 같은 복수의 글린트들 및 상이한 원점들 및 방향들을 갖는 광선(856)과 같은 복수의 광선들을 초래한다. 모듈(716)이 그 각각의 광원들과 이미지(852) 상의 그 각각의 포지션들 사이에서 적절하게 반사되는 글린트들 및 광선들의 일부 또는 전부를 초래하는 각막 포지션을 식별하려고 할 수 있기 때문에, 이러한 설계들은 3D 각막 중심 추정 모듈(716)의 정확도를 향상시킬 수 있다. 즉, 이러한 구현들에서, 광원들의 일부 또는 전부의 포지션들은 도 8b 내지 도 8e의 3D 각막 포지션 결정(예를 들어, 반복, 최적화 기법들 등) 프로세스들에 의존할 수 있다. 일부 구현들에서, 시스템은 최적화 프로세스들을 수행하기 전에 각막의 중심이 따라서 있는 벡터 또는 광선을 결정할 수 있다(즉, 2D 각막 중심 포지션). 이러한 구현들에서, 3D 각막 중심 추정 모듈(716)은 각막 곡률 중심의 추정들을 결정하기 위한 최적화 또는 다른 프로세스들을 수행할 때 계산 및/또는 시간 절약을 제공하는 역할을 할 수 있는 이러한 벡터를 따라 각막 포지션들을 단지 검색할 수 있다. 이러한 구현들 중 적어도 일부에서, 이러한 벡터를 결정하기 전에, 시스템은 초기에 (i) 눈 카메라 좌표계(850)의 원점, 제1 광원(예를 들어, 광원(326a)) 및 제1 광원에 의해 생성된 제1 글린트(예를 들어, 글린트(854a)) 사이의 제1 평면을 정의하고, (ii) 눈 카메라 좌표계(850)의 원점, 제2 광원(예를 들어, 광원(326b)) 및 제2 광원에 의해 생성된 제2 글린트(예를 들어, 글린트(854b)) 사이의 제2 평면을 정의할 수 있다. 그 후 시스템은 각막의 중심(즉, 2D 각막 중심 포지션)이 있는 벡터 또는 광선을 결정하기 위해 제1 평면과 제2 평면의 외적(cross product)을 간단히 계산할 수 있다. 접근법들의 변형들뿐만 아니라 다른 방법들 및 구성들도 잠재적으로 채용될 수 있다.
K.
웨어러블 디바이스 구성의 예
[0172] 도 9a 내지 도 9e는 눈 추적 모듈(614)에 의해 사용하기 위한 눈 이미지 데이터를 캡처하기 위한 예시적인 웨어러블 디바이스(2000)의 구성 요소들의 예시적인 구성을 예시한다. 예를 들어, 도 9a에 예시된 바와 같이, 웨어러블 디바이스(2000)는 도 2 내지 도 4를 참조하여 상술한 바와 같은 웨어러블 시스템의 일부일 수 있다. 웨어러블 디바이스(2000)는 좌측 아이피스(eye piece)(2010A) 및 우측 아이피스(2010B)를 포함할 수 있다. 좌측 아이피스(2010A)는 사용자의 좌측 눈을 이미징할 수 있고 우측 아이피스(2010B)는 사용자의 우측 눈을 이미징할 수 있다.
[0173] 도 9b에 예시된 바와 같이, 좌측 아이피스(2010A)는 하나 이상의 조명원들(2022)을 포함할 수 있다. 유사하게, 우측 아이피스(2010B)는 하나 이상의 조명원들(2024)을 포함할 수 있다. 예를 들어, 4 개의 조명원들(2022)과 4 개의 조명원들(2024)이 있을 수 있다. 조명원들(2022)은 사용자의 좌측 눈(2012A)을 향해 광을 방출하기 위해 좌측 아이피스(2010A) 내에 포지셔닝될 수 있다. 조명원들(2022)은 좌측 아이피스(2010A)를 통한 사용자의 뷰를 방해하지 않도록 포지셔닝될 수 있다. 예를 들어, 조명원들(2022)은 디스플레이를 통한 사용자의 뷰를 방해하지 않도록 좌측 아이피스(2010A) 내의 디스플레이 테두리 주위에 포지셔닝될 수 있다. 유사하게, 조명원들(2024)은 사용자의 우측 눈(2012B)을 향해 광을 방출하기 위해 우측 아이피스(2010B) 내에 포지셔닝될 수 있다. 조명원들(2024)은 우측 아이피스(2010B)를 통한 사용자의 뷰를 방해하지 않도록 포지셔닝될 수 있다. 예를 들어, 조명원들(20204)은 디스플레이를 통한 사용자의 뷰를 방해하지 않도록 우측 아이피스(2010B) 내의 디스플레이 테두리 주위에 포지셔닝될 수 있다. 조명원들(2022, 2024)은 가시광 또는 비가시광의 광을 방출할 수 있다. 예를 들어, 조명원들(2022, 2024)은 적외선(IR: infrared) LED들일 수 있다. 대안적으로, 조명원들은 다르게 위치되거나 구성될 수 있다.
[0174] 도 9b에 예시된 바와 같이, 좌측 아이피스(2010A)는 좌측 눈 이미징 시스템을 포함할 수 있다. 좌측 눈 이미징 시스템은 하나 이상의 내향 카메라들(2014, 2016)을 포함할 수 있다. 예를 들어, 좌측 눈 이미징 시스템은 각각 서로의 좌측과 우측, 가능하게는 각각 좌측 아이피스의 중심의 좌측 및 우측에 위치된 좌측 아이피스(2010A)에 대한 좌측 눈 추적 카메라(2014) 및 좌측 아이피스(2010A)에 대한 우측 눈 추적 카메라(2016)를 포함할 수 있다. 유사하게, 우측 아이피스(2010B)는 우측 눈 이미징 시스템을 포함할 수 있다. 우측 눈 이미징 시스템은 하나 이상의 내향 카메라들(2018, 2020)을 포함할 수 있다. 예를 들어, 우측 눈 이미징 시스템은 각각 서로의 좌측과 우측, 가능하게는 각각 우측 아이피스의 중심의 좌측과 우측에 위치된 우측 아이피스(2010B)에 대한 좌측 눈 추적 카메라(2018) 및 우측 아이피스(2010B)에 대한 우측 눈 추적 카메라(2020)를 포함할 수 있다. 좌측 눈 추적 시스템(2010A)의 하나 이상의 카메라들과 우측 눈 추적 시스템(2010B)의 하나 이상의 카메라들은 사용자의 눈(들)의 이미지들을 드러나지 않게 캡처하기 위해 웨어러블 디바이스(2000) 내에 위치될 수 있다. 다른 구성들이 가능하다.
[0175] 좌측 아이피스(2010A)에 대한 이미징 시스템의 시야는 많은 상이한 눈 포즈 포지션들에서 사용자의 좌측 눈(2012A)의 전체 또는 유용한 부분을 이미징할 수 있다(그리고 반드시 눈 추적을 위해 유용한 우측 눈 또는 그 일부를 이미징하지 않을 수 있음). 유사하게, 우측 아이피스(2010B)에 대한 이미징 시스템의 시야는 많은 상이한 눈 포즈 포지션들에서 사용자의 우측 눈(2012B)의 전체 또는 유용한 부분을 이미징할 수 있다(그리고 반드시 눈 추적을 위해 유용한 좌측 눈 또는 그 일부를 이미징하지 않을 수 있음). 예를 들어, 사용자는 정상적인 움직임 중에 임의의 방향으로 중심 시선으로부터 50 도까지 눈을 움직일 수 있다. 이미징 시스템은 그 정상적인 움직임 동안 사용자의 눈의 모션의 전체 범위(예를 들어, 50 도)의 실질적으로 모두를 집합적으로 이미징하도록 위치될 수 있다. 도 9c는 좌측 아이피스(2010A)의 우측 눈 추적 카메라(2016)의 예시적인 시야(2030) 및 우측 아이피스(2010B)의 우측 눈 추적 카메라(2020)의 예시적인 시야(2032)를 예시한다. 도 9d는 좌측 아이피스(2010A)의 우측 눈 추적 카메라(2014)의 예시적인 시야(2040) 및 우측 아이피스(2010B)의 우측 눈 추적 카메라(2018)의 예시적인 시야(2042)를 예시한다. 도 9e는 좌측 아이피스(2010A)의 좌측 눈 추적 카메라(2014) 및 우측 눈 추적 카메라(2016)로부터의 시야(2030 및 2040)가 사용자의 좌측 눈(2012A)의 실질적으로 모두를 이미징하기 위해 어떻게 중첩될 수 있는지를 예시한다. 추가적으로, 도 9e는 우측 아이피스(2010B)의 좌측 눈 추적 카메라(2018) 및 우측 눈 추적 카메라(2020)로부터의 시야(2040 및 2042)가 사용자의 우측 눈(2012B)의 실질적으로 모두를 이미징하기 위해 어떻게 중첩될 수 있는지를 예시한다. 변형들이 가능하다. 예를 들어, 카메라의 수 및 위치들이 상이할 수 있다. 다른 유형의 이미징 시스템들도 사용될 수 있다.
L.
눈 추적 시스템으로 회전 중심 찾기의 예들
[0176] 눈 추적 시스템(또는 눈 추적 모듈(614) 내의 프로세스들)을 단순화하기 위해, 인간의 눈의 회전 중심(CoR)을 결정하는 데 필요한 변수들의 개수를 줄이는 것이 바람직할 수 있다. 유리하게는, CoR을 결정하는 데 사용되는 변수들의 개수를 줄이는 것은 또한 눈 추적 정확도를 개선할 수 있다. 예를 들어, 눈 추적에 사용되는 시선 벡터를 결정하는 데 CoR이 사용될 수 있으므로, CoR의 증가된 에러는 덜 정확한 눈 추적을 초래할 수 있다. CoR의 에러는 CoR 계산에 사용되는 변수들을 결정하는 동안 도입된 에러들로 인해 발생할 수 있다. 예를 들어, CoR 계산은 동공 디스크 중심 추출 및 각막 구 모델링을 포함할 수 있다. 이러한 프로세스들 모두는 에러를 도입하고 부정확성에 기여할 수 있다. 따라서, 제한된 개수의 변수들을 사용하여 CoR을 추출하는 것이 유리할 수 있다.
[0177] 각막 데이터로부터 주로 또는 전체적으로 CoR을 추출하기 위한 시스템들 및 방법들이 본원에서 설명된다. 유리하게는, 위에서 논의된 것과 유사한 이유로 인해, 본 시스템은 눈 추적 시스템의 정확도를 개선할 수 있다. 예를 들어, 본 시스템은 몇몇 가정들을 필요로 할 수 있으므로, 에러 도입 가능성을 줄일 수 있다. 추가적으로 또는 개선된 정확도에 대한 대안으로, 본 시스템은 눈 추적 시스템의 다른 양태들을 개선할 수 있다. 예를 들어, 본 시스템은 조명원들에 대한 더 짧은 눈 노출에 의존할 수 있다. 더 짧은 눈 노출은 조명원에 대한 눈의 장기간 노출과 연관된 위험들을 줄이고, 조명 전력 소비를 줄이며, 높은 주변광 차단을 제공할 수 있다. 다른 예에서, 본 시스템은 넓은 시야를 필요로 하지 않을 수 있다. 감소된 시야 요건은 웨어러블 시스템의 하드웨어 설계에서 더 큰 유연성을 허용할 수 있다.
[0178] 일부 예들에서, 인간의 눈의 회전 중심(CoR)은 각막 데이터로부터 추출될 수 있다. 도 10은 눈 추적 모듈(614)에 의해 수행될 수 있는 예시적인 CoR 추출 시스템(1000)의 그래픽 예시를 도시한다. 예를 들어, 웨어러블 시스템은 하나 이상의 조명원들을 포함하는 조명 시스템을 사용하여 사용자의 눈(1010)의 각막(1020) 상의 2 개 이상의 글린트들을 생성할 수 있다. 다양한 구현들에서, 조명 시스템은 광이 출력되는 복수의 개별 영역들을 포함한다. 이러한 영역들은 분리된 광 방출기들 또는 광원들에 대응할 수 있다. 글린트 검출 및 라벨링 모듈(714)은 눈(1010)의 각막(1020) 상의 글린트 위치(들)를 추출할 수 있다. 아래에서 설명되는 바와 같이, 3D 각막 중심 추정 모듈(716)은 글린트 위치들에 기초하여 근사적인 각막 곡률(1018)을 결정할 수 있고 근사화된 각막 곡률(1018)의 추정된 중심(1012)을 계산할 수 있다. 상이한 눈 포즈들은 상이한 근사화된 각막 곡률들(1018) 및 연관된 추정 각막 곡률 중심(1012)을 제공할 수 있다. CoR 추정 모듈(724)은 추정된 중심들(1012)에 표면을 맞추고 표면에 수직인 표면 법선 벡터들의 세트(1014)의 수렴 또는 교차 영역(1016)을 결정함으로써 복수의 추정된 각막 곡률 중심(1012)에 기초하여 추정된 CoR을 결정할 수 있다. 추정된 CoR은 이러한 영역(1016)으로부터 획득될 수 있고, 예를 들어, 추정된 CoR은 이러한 영역(1016)에 또는 그 내에 있을 수 있다.
[0179] 선택적으로, CoR 추정(들)은 눈 추적 모듈(614)을 사용하여 추가로 확인될 수 있다. 예를 들어, 아래에 더욱 상세하게 설명되는 바와 같이, CoR이 웨어러블 디바이스의 사용 중에 디바이스에 대해 움직이고 있었다면, 각막 중심(1012)의 측정은 새롭게 계산된 각막 중심(1012)과 계산된 각막 중심의 세트(1012) 세트에 맞추어진 표면 사이의 거리를 측정함으로써 테스트될 수 있다. 거리가 너무 큰 경우, 눈 추적 모듈(614)은 눈 추적을 중지하거나 CoR을 결정하는 다른 방법 또는 다른 눈 추적 방법으로 전환될 수 있다. 일부 예들에서, 전환은 전체 에러를 줄이기 위해 충분한 데이터가 수집될 때까지 일시적일 수 있다.
[0180] 유리하게는, CoR 추출(1000)은 몇몇 가정들을 채용할 수 있다. 예를 들어, CoR 추출(1000)은 글린트 추출이 정확하거나, 눈(1010)의 지오메트리가 알려져 있거나, 각막의 반경(또는 각막 난시의 경우 2 개의 반경)이 알려져 있거나, 데이터가 사용자 시선의 정상적 또는 랜덤한 모션 중에 수집되는 것으로 가정할 수 있다.
M.
눈 추적 환경의 예들
[0181] 위에서 논의된 바와 같이, CoR은 복수의 추정된 각막 곡률 중심(1012)으로부터 결정될 수 있다. 예를 들어, 표면은 추정된 각막 곡률 중심(1012) 및 복수의 표면 법선 벡터들(1014)에 맞추어질 수 있다. 이러한 표면 법선 벡터들의 세트(1014)의 수렴 영역(1016)이 식별될 수 있다. 추정된 CoR은 이러한 수렴 영역(1016)으로부터 획득될 수 있고, 예를 들어, 추정된 CoR은 이러한 영역(1016)에 또는 그 내에 있을 수 있다.
[0182] 복수의 추정된 각막 곡률 중심(1012)을 획득하기 위해, 조명원들을 사용하여 눈 상에 글린트들이 생성될 수 있고 상술한 바와 같이 카메라에 의해 이미징될 수 있다. 도 11은 추정된 회전 중심을 결정하기 위해 눈 추적 모듈에 의해 사용되는 임의의 눈 상의 예시적인 글린트들의 이미지들을 도시한다. 예를 들어, 위에서 논의된 바와 같이, 웨어러블 시스템은 이미징 시스템을 포함할 수 있다. 이미징 시스템은 사용자의 눈(1110)을 이미징하여 눈 이미지(1101)를 생성할 수 있다. 웨어러블 시스템은 광을 출력하는 공간적으로 분리된 영역들을 포함하는 하나 이상의 조명원(들)(1102)을 포함할 수 있다. 따라서, 조명원(들)(1102)으로부터의 광은 광을 방사하는 이들 공간적으로 분리된 영역들의 반사인 사용자의 눈(1110) 상의 하나 이상의 글린트(들)(1104)를 생성할 수 있다.
[0183] 웨어러블 시스템의 이미징 시스템은 (예를 들어, 도 9a 내지 도 9e에 도시된 바와 같이) 눈 추적 조립체의 일부일 수 있다. 이미징 시스템은 하나 이상의 카메라들을 포함할 수 있다. 예를 들어, 이미징 시스템은 사용자의 눈(1110)과 관련하여 위치(1106)에 단일 카메라를 포함할 수 있다. 다른 예에서, 이미징 시스템은 사용자의 눈(1110)과 관련하여 상이한 위치들에 위치될 수 있는 복수의 카메라들을 포함할 수 있다.
[0184] 조명원(들)(1102)은 발광 다이오드(LED)들과 같은 하나 이상의 광원들을 포함할 수 있다. 조명원(들)은 가시광 또는 비가시광(예를 들어, 적외선(IR) 광)의 광을 방출할 수 있다. 예를 들어, 조명원(들)(1102)은 적외선(IR) LED들일 수 있다. 조명원(들)(1102)은 (예를 들어, 도 9a 내지 도 9e에 예시된 바와 같이) 눈 추적 조립체의 일부일 수 있다.
[0185] 조명원(들)(1102)은 사용자의 눈(1110)의 각막 상에 하나 이상의 정반사들(1104)을 생성할 수 있다. 정반사들(1104)은 또한 글린트들로 지칭될 수 있다. 예를 들어, 2 개의 조명원들(1102A, 1102B)이 있을 수 있다. 조명원(들)은 사용자의 눈(1110)에 2 개 이상의 이산 글린트들(1104A, 1104B)을 생성하도록 구성될 수 있다. 도 11은 그 위에 글린트들을 갖는 사용자의 눈의 이미지를 도시한다. 도 11은 또한 눈(1110) 및 그 위의 글린트들(1104A, 1104B)의 위치에 대한 비교뿐만 아니라 그 상대 위치들에서의 조명원들(1102A, 1102B)에 대한 (좌표계의 원점으로 나타낸) 카메라(1106)의 뷰를 도시한다.
N.
단일 카메라를 사용하여 각막 중심이 따라서 위치된 벡터의 예시적인 추출
[0186] 위에서 논의된 바와 같이, 위치(1106)에서의 카메라는 조명원들(1102A, 1102B)에 의해 생성되는 사용자의 눈(1110) 상의 글린트들(1104A, 1104B)을 이미징할 수 있다. 도 12a 내지 도 12d에서, 글린트(1104A)의 위치, 위치(1106)에서의 글린트의 이미지를 캡처하는 카메라, 및 글린트를 생성하는 조명원(1102A)을 포함하는 제1 평면(1220)이 결정될 수 있다. 특히, 모듈은 제1 조명원(1102A) 및 제1 글린트(1104A)를 포함하는 제1 평면(1220)을 결정할 수 있다. 유사하게, 도 13a 내지 도 13d에 예시된 바와 같이, 글린트(1104B)의 위치, 위치(1106)에서 글린트의 이미지를 캡처하는 카메라, 및 글린트를 생성하는 조명원(1102B)을 포함하는 제2 평면(1320)이 결정될 수 있다. 특히, 모듈(716)은 제2 조명원(1102B) 및 제2 글린트(1104B)에 기초하여 제2 평면(1320)을 결정할 수 있다. 도 14a 내지 도 14c에 예시된 바와 같이, 모듈(716)은 제1 평면(1220)과 제2 평면(1320) 사이의 교차를 결정할 수 있다. 제1 평면(1220)과 제2 평면(1320) 사이의 교차는 각막 중심이 따라서 위치되는 곳을 따라 향하는 벡터(1410)를 정의할 수 있다. 도 14a 내지 도 14c에 도시된 바와 같이, 이 벡터(1410)는 또한 카메라의 위치(1106)를 포함하는 방향을 따라 연장될 수 있다.
[0187] 일부 구현들에서, 모듈(716)은 제1 조명원(1102A), 제1 글린트(1104A) 및 카메라 위치(1106) 사이의 라인들의 세트(1210, 1212, 1214)를 결정함으로써 제1 평면(1220)을 결정할 수 있다. 도 12a에 예시된 바와 같이, 모듈(716)은 제1 조명원(1102A)에 의해 생성될 수 있는 제1 글린트(1104A)의 이미지 평면의 위치(1101A)와 카메라 위치(1106) 사이에서 연장되는 제1 라인(1210)을 결정할 수 있다. 도 12b에 예시된 바와 같이, 모듈(716)은 제1 글린트(1104A)를 생성한 조명원(1102A)의 위치와 카메라 위치(1106) 사이에서 연장되는 제2 라인(1212)을 결정할 수 있다. 도 12c에 예시된 바와 같이, 모듈(716)은 조명원들(1102A)의 이미지 평면(1101A)의 위치와 제1 글린트(1104A) 사이에 캐스팅된 제3 라인(1214)을 결정할 수 있다. 도 12d에 예시된 바와 같이, 이러한 라인들(1210, 1210 및 1214) 중 임의의 2 개는 각막 중심이 놓일 수 있는 평면(1220)을 정의할 수 있다.
[0188] 유사하게, 일부 구현들에서, 모듈(716)은 제2 조명원(1102B), 제2 글린트(1104B) 및 카메라 위치(1106) 사이의 라인들의 세트(1310, 1312, 1314)를 결정함으로써 제2 평면(1320)을 결정할 수 있다. 도 13a에 예시된 바와 같이, 모듈(716)은 제2 조명원(1102B)에 의해 생성될 수 있는 제2 글린트(1104B)의 이미지 평면(1101A)의 위치와 카메라 위치(1106)와 사이에서 연장되는 제1 라인(1310)을 결정할 수 있다. 도 13b에 예시된 바와 같이, 모듈(716)은 제2 글린트(1104A)를 생성한 제2 조명원(1102B)의 위치와 카메라 위치(1106) 사이에서 연장되는 제2 라인(1313)을 결정할 수 있다. 도 13c에 예시된 바와 같이, 모듈(716)은 제2 글린트(1104B)의 이미지 평면(1101A)의 위치와 제2 조명원(1102B) 사이에서 연장되는 제3 라인(1314)을 결정할 수 있다. 도 13d에 예시된 바와 같이, 라인들(1310, 1310 및 1314)은 각막 중심이 놓일 수 있는 평면(1320)을 정의할 수 있다.
[0189] 그러나, 일부 구현들에서, 제1 평면(1220)은 라인들(1210, 1210 및 1214)을 반드시 별도로 정의하지 않고 카메라 위치(1106)뿐만 아니라 제1 조명원(1102A) 및 제1 글린트(1104A)의 위치들로부터 직접 결정될 수 있다. 유사하게, 제2 평면(1320)은 반드시 라인들(1310, 1310 및 1314)을 별도로 정의하지 않고 카메라 위치(1106)뿐만 아니라 제2 조명원(1102B) 및 제2 글린트(1104B)의 위치들로부터 직접 결정될 수 있다.
[0190] 모듈(716)은 제1 및 제2 평면(1220 및 1320) 사이의 교차를 식별할 수 있다. 도 14a 및 도 14b에 예시된 바와 같이, 제1 평면(1220)과 제2 평면(1320)의 교차는 카메라 위치(1106)에 원점을 갖거나 그렇지 않으면 카메라 위치를 포함할 수 있는 방향을 따라 연장되는 벡터(1410)를 정의할 수 있다. 도 14c에 도시된 바와 같이, 벡터(1410)는 각막 중심 위치를 향해 가리킬 수 있다.
[0191] 모듈(716)은 추정 프로세스를 복수회 반복하여 하나 이상의 각막 벡터들(1410)을 생성할 수 있다. 예를 들어, 모듈(716)은 제1 조명원(1102A) 및 복수의 상이한 카메라 위치들(1106)을 갖는 제1 글린트(1104A)에 기초하여 벡터를 정의할 제1 평면(1220)을 결정할 수 있다. 카메라 위치들(1106)은 사용자의 눈(1110)과 관련하여(예를 들어, 사용자의 눈(1110) 또는 눈에 대한 수평 또는 수직 포지션 또는 이들의 임의의 조합에 대한 거리와 관련하여) 또는 조명원(1102A, 1102B)의 위치에 대해 변할 수 있다. 모듈(716)은 카메라 위치들(1106) 중 하나 이상에 대한 벡터들(1410)을 결정할 수 있다. 그 후 모듈(716)은 상술한 바와 같이 2 개 이상의 벡터들의 교차로부터 각막 중심을 결정할 수 있다. 2 개 이상의 벡터들이 교차하지 않으면, 각막 중심이 벡터 데이터로부터 내삽되거나 아니면 외삽될 수 있다. 추가적으로 또는 대안적으로, 눈 추적 모듈(614)은 각막 중심을 결정하기 위해 더 많은 데이터를 수집 및 분석할 수 있다.
[0192] 모듈(716)은 눈 추적 환경(1100)과 연관된 하나 이상의 파라미터들을 변경하면서 추정 프로세스를 반복할 수 있다. 예를 들어, 모듈(716)은 상이한 카메라 위치들로 또는 사용자의 눈의 상이한 시선 방향에 대해 프로세스를 반복할 수 있다. 눈 추적 모듈(614)은 파라미터가 변경되는 동안 사용자가 그 눈 포즈를 유지하도록 보장하기 위해 시선 타깃들을 이용할 수 있다. 예를 들어, 눈 추적 모듈(614)은 사용자가 카메라의 위치(1106) 또는 조명원(1102)의 위치와 같은 파라미터를 변경하면서 시선을 시선 타깃들로 지향하는 동안 하나 이상의 벡터들(1410)을 추정할 수 있다. 추가적으로 또는 대안적으로, 눈 추적 모듈(614)은 사용자가 웨어러블 디바이스를 사용하는 동안 자연스럽게 그 시선을 움직이는 동안 하나 이상의 벡터들(1410)을 추정할 수 있다. 예를 들어, 눈 추적 모듈(614)은 사용자의 눈의 자연스러운 움직임 동안 상이한 파라미터들과 연관된 데이터를 캡처할 수 있다.
[0193] 반복된 추정 프로세스는 특정 눈 포즈와 연관된 각막 중심을 가리키는 복수의 벡터들(1410)을 초래할 수 있다. 모듈(716)은 추정된 각막 곡률 중심을 생성하기 위해 복수의 벡터들(1410)의 교차 또는 수렴 영역을 결정할 수 있다.
O.
복수의 카메라들 사용하여 각막 중심이 따라서 위치된 벡터의 예시적인 추출
[0194] 다양한 구현들에서, 복수의 카메라가 눈을 이미징하기 위해 채용될 수 있고 복수의 카메라들로부터의 이미지들이 해당 눈의 각막의 곡률 중심을 결정하는 데 사용될 수 있다. 특히, 모듈(716)은 각막 중심이 따라서 위치될 수 있는 벡터들(1510, 1530)을 결정할 수 있다. 도 15a 내지 도 16c는 복수의 카메라들로 이러한 벡터를 결정하기 위한 예시적인 프로세스의 단계들을 예시한다. 예를 들어, 도 15a에 예시된 바와 같이, 제1 위치(1506)에 있는 제1 카메라는 조명원들(1502A, 1502B)에 의해 생성되는 사용자의 눈(1501) 상의 글린트들(1504A, 1504B)을 이미징할 수 있고, 위치(1526)에 있는 제2 카메라는 조명원들(1522A, 1522B)에 의해 생성된 사용자의 눈(1501) 상의 글린트들(1524A, 1524B)을 이미징할 수 있다. 모듈(716)은 위치(1506)에 있는 제1 카메라 및 조명원들(1502A, 1502B)과 연관된 데이터에 기초하여 제1 벡터(1510)를 결정할 수 있고, 위치(1526)에 있는 제2 카메라 및 조명원들(1522A, 1522B)과 연관된 제2 벡터(1530)를 결정할 수 있다. 도 15b에 예시된 바와 같이, 모듈(716)은 제1 벡터(1510)와 제2 벡터(1530) 사이의 수렴 또는 교차를 결정함으로써 각막 중심(1520)을 추정할 수 있다.
[0195] 제1 벡터(1510)를 획득하기 위해, 모듈(716)은 제1 조명원(1502A), 이미지 평면(1503A)의 제1 글린트 위치(1504A) 및 제1 위치(1506)의 제1 카메라 사이의 라인들의 세트(미도시)를 결정함으로써 제1 평면(1512)을 식별할 수 있다. 모듈(716)은 제2 조명원(1502B), 이미지 평면(1503A)의 제2 글린트 위치(1504B) 및 제2 카메라 위치(1506) 사이의 라인들의 세트(미도시)를 결정함으로써 제2 평면(1514)을 결정할 수 있다. 모듈(716)은 이러한 제1 및 제2 평면(1512 및 1514) 사이의 교차를 결정함으로써 벡터(1510)를 결정할 수 있다. 이러한 평면들(1512 및 1514)의 교차는 곡률의 각막 중심 위치를 향하는 카메라 위치(1506)에서의 원점을 갖는 벡터(1510)를 정의할 수 있다.
[0196] 그러나 일부 구현들에서, 제1 평면(1512)은 반드시 하나 이상의 라인들을 별도로 정의하지 않고도 제1 조명원(1502A), 제1 글린트(1504A) 및 제1 카메라(1106)의 위치들로부터 직접 결정될 수 있다. 유사하게, 제2 평면(1514)은 반드시 하나 이상의 라인들을 별도로 정의하지 않고도 제2 조명원(1502B), 제2 글린트(1504B) 및 제1 카메라(1506)의 위치들로부터 직접 결정될 수 있다.
[0197] 모듈(716)은 제1 조명원(1522A), 이미지 평면(1503B)의 제1 글린트 위치(1524A) 및 위치(1526)에 있는 제1 카메라 사이의 라인들의 세트(미도시)를 결정함으로써 제1 평면(1532)을 유사하게 결정할 수 있다. 모듈(716)은 제2 조명원(1522B), 이미지 평면(1503B)의 제2 글린트 위치(1524B) 및 카메라 위치(1526) 사이의 라인들의 세트(미도시)를 결정함으로써 제2 평면(1534)을 결정할 수 있다. 모듈(716)은 이러한 제1 및 제2 평면(1532 및 1534) 사이의 교차를 결정함으로써 제2 벡터(1530)를 결정할 수 있다. 평면들(1532 및 1534)의 교차는 곡률의 각막 중심 위치를 향할 수 있는 카메라 위치(1526)에서의 원점을 갖는 벡터(1530)를 정의할 수 있다. 그러나, 일부 구현들에서, 제1 평면(1532)은 반드시 하나 이상의 라인들을 별도로 정의하지 않고도 제1 조명원(1522A), 제1 글린트(1524A) 및 제2 카메라(1526)의 위치들로부터 직접 결정될 수 있다. 유사하게, 제2 평면(1534)은 반드시 하나 이상의 라인들을 별도로 정의하지 않고도 제2 조명원(1522B), 제2 글린트(1524B) 및 제2 카메라(1526)의 위치들로부터 직접 결정될 수 있다.
[0198] 도 15b에 예시된 바와 같이, 모듈(716)은 이러한 제1 및 제2 벡터들(1510 및 1530)에 기초하여 곡률의 각막 중심 위치를 결정할 수 있다. 예를 들어, 모듈(716)은 이러한 벡터들(1510 및 1530)의 수렴 또는 교차(1520)를 결정할 수 있다. 수렴 또는 교차(1520)는 근사적인 각막 중심 위치에 대응할 수 있다. 벡터들(1510 및 1530)이 교차하지 않으면, 곡률 각막 중심이 벡터 데이터로부터 내삽되거나 아니면 외삽될 수 있다. 추가적으로 또는 대안적으로, 눈 추적 모듈(614)은 각막 곡률 중심(1520)을 결정하기 위해 더 많은 데이터를 수집하고 분석할 수 있다.
[0199] 도 16a 내지 도 16c는 복수의 카메라들을 사용하여 각막 곡률 중심을 결정하기 위한 다른 예시적인 프로세스를 예시한다. 도 16a에 예시된 바와 같이, 웨어러블 시스템은 복수의 눈 카메라들과 함께 사용될 수 있는 공유된 조명원들의 세트(1602A, 1602B)를 가질 수 있다. 공유된 조명원들(1602A, 1602B)은 하나 이상의 카메라들과 연관된 별도의 조명원들의 세트에 추가되거나 이에 대한 대안일 수 있다. 공유된 조명원들의 세트(1602A, 1602B)는 사용자의 눈 상에 글린트들(1604A, 1604B, 1604C, 1604D)을 생성할 수 있다.
[0200] 도 16b에 예시된 바와 같이, 모듈(716)은 공유된 조명원들(1602A, 1602B)을 사용하여 평면들의 세트를 결정할 수 있다. 예를 들어, 모듈(716)은 제1 조명원(1602A), 이미지 평면(1503A)의 제1 글린트 위치(1604A) 및 위치(1506)에 있는 제1 카메라 사이의 라인들의 세트(미도시)를 결정함으로써 제1 평면(1630)을 결정할 수 있다. 모듈(716)은 제2 조명원(1602B), 제1 이미지 평면(1503A)의 제2 글린트 위치(1604B) 및 제1 카메라 위치(1506) 사이의 라인들의 세트(미도시)를 결정함으로써 제2 평면(1632)을 결정할 수 있다.
[0201] 그러나, 일부 구현들에서, 제1 평면(1630)은 반드시 하나 이상의 라인들을 별도로 정의하지 않고도 제1 조명원(1602A), 제1 이미지 평면(1503A)의 제1 글린트(1604A) 및 제1 카메라(1506)의 위치들로부터 직접 결정될 수 있다. 유사하게, 제2 평면(1632)은 반드시 하나 이상의 라인들을 별도로 정의하지 않고도 제2 조명원(1602B), 제2 글린트(1604B) 및 제1 카메라(1506)의 위치들로부터 직접 결정될 수 있다.
[0202] 모듈(716)은 제1 조명원(1602A), 이미지 평면(1503B)의 제1 글린트 위치(1604C) 및 위치(1526)에 있는 제2 카메라 사이의 라인들의 세트(미도시)를 결정함으로써 상이한 제1 평면(1634)을 결정할 수 있다. 모듈(716)은 제2 조명원(1602B), 제2 이미지 평면(1503B)의 제2 글린트 위치(1604D) 및 제2 카메라 위치(1526) 사이의 라인들의 세트(미도시)를 결정함으로써 별도의 상이한 평면(1636)을 결정할 수 있다.
[0203] 그러나, 일부 구현들에서, 상이한 제1 평면(1634)은 반드시 하나 이상의 라인들을 별도로 정의하지 않고도 제1 조명원(1602A), 이미지 평면(1503B)의 제1 글린트(1604C) 및 제2 카메라(1526)의 위치들로부터 직접 결정될 수 있다. 유사하게, 상이한 제2 평면(1636)은 반드시 하나 이상의 라인들을 별도로 정의하지 않고도 제2 조명원(1602B), 제2 글린트(1604D) 및 제2 카메라(1526)의 위치들로부터 직접 결정될 수 있다.
[0204] 도 16c에 예시된 바와 같이, 모듈(614)은 벡터(1610)를 결정하기 위해 평면들(1630 및 1632) 사이의 교차를 결정할 수 있다. 평면들(1630 및 1632)의 교차는 각막 중심 위치를 향할 수 있는 카메라 위치(1506)에 원점을 갖는 벡터(1610)를 정의할 수 있다. 유사하게, 모듈(614)은 벡터(1630)를 결정하기 위해 평면들(1634 및 1636) 사이의 교차를 결정할 수 있다. 평면들(1634 및 1636)의 교차는 각막 중심 위치를 향할 수 있는 카메라 위치(1526)에 원점을 갖는 벡터(1630)를 정의할 수 있다.
[0205] 계속해서 도 16c를 참조하면, 모듈(716)은 벡터들(1610 및 1630)에 기초하여 각막 곡률 중심 위치를 결정할 수 있다. 예를 들어, 모듈(716)은 제1 및 제2 벡터(1610, 1630)의 수렴 또는 교차(1620)를 결정할 수 있다. 수렴 또는 교차(1620)는 근사적인 각막 곡률 중심 위치에 대응할 수 있다. 제1 및 제2 벡터(1610 및 1630)가 교차하지 않으면, 각막 곡률 중심이 벡터 데이터로부터 내삽되거나 아니면 외삽될 수 있다. 추가적으로 또는 대안적으로, 눈 추적 모듈(614)은 각막 곡률 중심을 결정하기 위해 더 많은 데이터를 수집하고 분석할 수 있다.
[0206] 모듈(716)은 사용자의 눈의 복수의 시선 방향들에 대한 추정 프로세스를 반복할 수 있다. 예를 들어, 웨어러블 시스템은 사용자가 그 시선을 향할 수 있는 하나 이상의 시선 타깃들을 표시할 수 있다. 눈 추적 모듈(614)은 사용자가 시선을 시선 타깃들로 향하는 동안 하나 이상의 벡터들(1410)을 추정할 수 있다. 추가적으로 또는 대안적으로, 눈 추적 모듈(614)은 사용자가 웨어러블 디바이스의 사용 중에 자연스럽게 그 시선을 움직이는 동안 하나 이상의 벡터들(1410)을 추정할 수 있다. 예를 들어, 눈 추적 모듈(614)은 사용자의 눈의 자연스러운 움직임 동안 상이한 파라미터들과 연관된 데이터를 캡처할 수 있다. 아래에 설명되는 바와 같이, 사용자의 눈의 상이한 눈 포즈들 또는 시선 벡터들에서 캡처된 데이터는 CoR을 추정하기 위해 CoR 추정 모듈(724)에 의해 사용될 수 있는 복수의 각막 중심들을 계산하는 데 사용될 수 있다.
P.
회전 중심 추정
[0207] 회전 중심(CoR: Center of Rotation) 추정 모듈(724)은 추정된 각막 곡률 중심(1012)에 기초하여 추정된 회전 중심을 결정할 수 있다. 예를 들어, CoR 추정 모듈(724)은 표면을 하나 이상의 추정된 각막 곡률 중심들에 맞추고 맞춰진 표면에 수직인 표면 법선 벡터들의 세트를 결정할 수 있다. 표면 법선 벡터들은 추정된 CoR에 대응할 수 있는 포인트 또는 영역에서 수렴하거나 교차할 수 있다.
[0208] 표면을 결정하기 위해, 모듈(614)은 복수의 눈 이미지들을 분석할 수 있다. 예를 들어, 웨어러블 시스템은 사용자의 눈(1501)이 하나 이상의 눈 포즈들에 있는 동안 (예를 들어, 내향 이미징 시스템(462)으로) 사용자의 눈(1501)을 이미징할 수 있다. 일부 구현들에서, 모듈(614)은 웨어러블 디바이스의 디스플레이 상의 시선 타깃들의 디스플레이를 통해 하나 이상의 눈 포즈들 또는 시선 방향들을 프롬프팅할 수 있다. 추가적으로 또는 대안적으로, 모듈(614)은 웨어러블 디바이스를 사용하는 동안 자연스럽게 발생하는 하나 이상의 눈 포즈들과 연관된 데이터를 수집할 수 있다.
[0209] 도 17a 및 도 17b에 예시된 바와 같이, 모듈(614)은 사용자의 눈이 하나 이상의 눈 포즈들에 있는 동안 웨어러블 시스템에 의해 수집된 데이터에 기초하여 복수의 각막 곡률 중심(1712)을 결정할 수 있다. 예를 들어, 모듈(614)은 (예를 들어, 사용자의 눈(1501)의 상이한 시선 방향들 또는 눈 포즈들에 대해) 모듈(716)의 일부로서 하나 이상의 카메라로 상술한 바와 같이 각막 곡률 중심 추정 프로세스를 복수회 수행할 수 있다. 모듈(716)의 각막 중심 추정 프로세스의 출력은 복수의 추정된 각막 곡률 중심들(1712)을 포함할 수 있다.
[0210] 복수의 각막 곡률 중심(1712)은 3차원(3D) 공간의 영역(1710) 내에 위치될 수 있다. 영역(1710)은 각막 구(1022) 내에 속할 수 있다. 임의의 특정한 과학적 이론에 구애받지 않고, 복수의 각막 곡률 중심(1712)은 각막 곡률(1018)의 형상에 따라 영역(1710) 내에 근사적으로 정렬될 수 있다. 예를 들어, 복수의 각막 곡률 중심(1712)은 각막(1020)의 형상과 실질적으로 평행하거나 실질적으로 동일한 형상의 윤곽을 형성하기 위해 영역(1710) 내에서 정렬될 수 있다. 각막이 실질적으로 구면인 경우, 복수의 각막 중심들(1712)은 각막의 반경과 근사적으로 등가인 거리에서 각막 곡률(1018)을 근사적으로 따른다. 난시의 경우(또는 각막이 실질적으로 구면이 아닌 경우), 복수의 각막 중심들(1712)은 각막 지오메트리의 하나 이상의 반경과 근사적으로 등가의 거리에서 각막 곡률(1018)을 근사적으로 따를 수 있다.
[0211] 다양한 구현들에서, 모듈(614)은 복수의 각막 중심들(1712)이 각막(1022)의 표면으로부터 각막 구(1022)의 중심까지의 예측 거리의 결정된 마진 내에 속하는지를 결정할 수 있다. 예를 들어, 각막 구(1022)는 구면 또는 난시(예를 들어, 구면 형상 이외의 지오메트리를 가짐)일 수 있다. 예측 거리는 각막 구(1022) 지오메트리의 중심까지의 거리에 대응할 수 있다. 예를 들어, 각막 지오메트리가 구면인 경우, 예측 거리는 각막 구(1022)의 반경일 수 있다. 각막 중심(1712)이 결정된 마진을 벗어나는 경우, 모듈(614)은 추가 분석에서 이상값의 기여도를 줄일 수 있다. 예를 들어, 모듈(614)은 추가 분석으로부터 이상 데이터를 배제할 수 있다. 추가적으로 또는 대안적으로, 각막 중심들(1712)의 임계 수가 결정된 마진을 벗어나는 경우, 모듈(614)은 추가 데이터가 획득될 때까지 분석을 중단하거나 회전 중심을 결정하는 상이한 방법으로 전환할 수 있다.
[0212] 도 17b에 도시된 바와 같이, 모듈(724)은 3D 표면(1714)을 복수의 각막 중심들(1712)에 맞출 수 있다. 모듈(724)은 예를 들어, 회귀 분석을 사용하여 3D 표면을 맞출 수 있다. 모듈(724)은 맞춤을 결정하기 위해 적합한 표면 또는 곡선 피팅 기법을 이용할 수 있다. 모듈(724)은 예를 들어, 다항 회귀를 사용하여 각막 중심들(1712)을 저차 다항 3D 표면(1714)에 맞출 수 있다. 다른 예에서, 모듈(724)은 지오메트리 맞춤을 각막 중심들(1712)에 적용할 수 있다(예를 들어, 전체 최소 제곱 맞춤). 일부 예들에서, 표면(1714)은 각막 곡률(1018)과 유사한 곡률을 가질 수 있다. 다른 예들에서, 표면(1714)은 각막 곡률(1018)과 상이한 형상을 가질 수 있다.
[0213] 모듈(724)은 표면(1714)에 수직인 표면 법선 벡터들의 세트를 결정할 수 있다. 도 18a는 표면 법선 벡터들(1814)을 사용하는 CoR(또는 안구 중심 "EBC(eye ball center)")의 예시적인 계산(1800)을 예시한다. 예를 들어, 모듈(716)은 추정된 각막 중심들(1812)의 세트를 결정할 수 있다. 모듈(724)은 (도 17b에 도시된 바와 같이) 표면(1714)을 추정된 각막 중심들(1812)에 맞출 수 있다. 그 후 모듈(724)은 표면(1714)에 수직인 하나 이상의 표면 법선 벡터들(1814)을 결정할 수 있다. 표면 법선 벡터들(1814)은 추정된 각막 곡률 중심들(1812)로부터 기원할 수 있다. 예를 들어, 모듈(724)은 표면(1714)을 결정하는 데 사용되는 각각의 추정된 각막 곡률 중심(1812)에 대한 표면 법선 벡터(1814)를 결정할 수 있다. 특정 구현들에서 더 적은 표면 법선이 사용될 수 있다. 추가적으로 또는 대안적으로, 표면 법선 벡터들(1814)은 표면(1714) 상의 다른 포인트들로부터 기원할 수 있다.
[0214] 모듈(724)은 표면 법선 벡터들(1814)의 수렴 영역(1802)을 결정할 수 있다. 예를 들어, 도 18a의 삽도(1801)에 예시된 바와 같이, 표면 법선 벡터들(1814)의 일부 또는 전부는 3D 공간의 영역(1802)에서 수렴하거나 교차할 수 있다. 3D 공간의 영역(1802)은 법선 벡터들이 교차 및/또는 수렴하는 교차점 또는 3D 공간의 체적(예를 들어, 도 19c 및 도 19d의 체적(1920))일 수 있다. 3D 공간의 체적은 표면 법선 벡터들(1814)의 중간 교차점 또는 수렴점 주위에 중심이 있을 수 있다. 3D 공간의 체적은 대부분의 교차점들을 포함하기에 충분히 클 수 있다.
[0215] 수렴 영역(1802)은 상이한 시선 방향들 또는 눈 포즈들에 대응하는 수렴 또는 교차의 상이한 영역들을 포함할 수 있다. 예를 들어, 수렴 영역(1802)은 제1 시선 방향(예를 들어, 바닥 시선)에 대응하는 서브-영역(1820) 및 제2 시선 방향(예를 들어, 상단 시선)에 대응하는 서브-영역(1822)을 포함할 수 있다. 일부 예들에서, 서브-영역들(1820, 1822)은 웨어러블 디바이스의 디스플레이 영역과 연관된 근사화된 CoR에 대응할 수 있다. 예를 들어, 제1 서브-영역(1820)은 디스플레이의 상부 영역에 대응할 수 있고, 제2 서브-영역(1822)은 디스플레이의 하부 영역에 대응할 수 있다.
[0216] 모듈(724)은 수렴 영역(1802)을 분석함으로써 CoR을 결정할 수 있다. 예를 들어, 모듈(724)은 벡터들(1814)의 수렴점 또는 교차점의 최빈값(mode) 또는 중앙값(median)을 결정함으로써 CoR을 결정할 수 있다. 추가적으로 또는 대안적으로, 모듈(724)은 서브-영역들(1820, 1822)에서 벡터들(1814)의 교차점 또는 수렴점의 최빈값 또는 중앙값과 같은 시선 기반 수렴 또는 교차점을 먼저 결정한 다음 이러한 시선 기반 수렴 또는 교차점에 기초하여 최빈값 또는 중앙값을 결정함으로써 CoR을 결정할 수 있다. 추가적으로 또는 대안적으로, 모듈(724)은 CoR을 결정하기 위해 수렴 또는 교차점의 상이한 분석을 수행할 수 있다. 예를 들어, 모듈(724)은 기계 학습 알고리즘을 이용하여 CoR을 결정할 수 있다.
[0217] 일부 예들에서, 계산된 각막 곡률 중심의 변동은 단일 교차점과 반대로 더 넓은 수렴 영역(1824)을 초래할 수 있다. 도 18b는 영역(1824)에 관한 예시적인 CoR 계산(1803)을 예시한다. 예를 들어, 계산된 각막 곡률 중심(1832)은 맞추어진 3D 표면(1830)에 대해 노이즈가 있을 수 있다. 노이즈가 있는 각막 중심들(1832)은 CoR 또는 안구 중심(EBC)이 각막 중심(1832)에서의 원점과 벡터들(미도시)의 교차에 기초할 가능성이 높은 영역(1824)을 초래할 수 있다. 일부 구현들에서, 모듈(614)은 시선 방향을 계산할 때 영역(1824)을 사용할 수 있다. 예를 들어, 모듈(614)은 CoR을 영역(1824)의 중심 또는 영역(1824) 내에서 또는 영역(1824)에 기초한 일부 다른 위치로서 결정할 수 있다.
[0218] 다양한 구현들에서, 모듈(724)은 CoR을 결정하기 위해 추정된 각막 중심들(1910)의 일부를 선택할 수 있다. 도 19aa 및 도 19ab는 데이터 감소 프로세스를 사용하여 선택될 수 있는 추정된 각막 중심들(1910)의 일부에 맞추어진 예시적인 표면(1912)을 예시한다. 도 19ba 및 도 19bb는 표면(1912)에 수직일 수 있는 예시적인 벡터들(1916)을 도시한다. 벡터들(1916)은 선택된 추정 각막 중심들(1910)에서 기원할 수 있다. 도 19ca 및 도 19cb는 벡터들(1916)의 포인트들 또는 영역 수렴 또는 교차점들에 기초하여 추정된 CoR 영역(1920)을 예시한다. 모듈(724)이 표면(1912)을 맞추도록 각막 중심들(1910)을 선택하지 않는 도 19da 및 도 19db에 도시된 바와 같이, 많은 벡터들(1922)이 영역(1920) 내에서 수렴하거나 교차하지 않을 수 있다.
[0219] 다양한 구현들에서, 모듈(724)은 결정된 법선 벡터들(1916)의 수렴 영역에 기초하여 추정된 각막 중심들(1910)을 선택할 수 있다. 예를 들어, 모듈(724)은 법선 벡터들(1922)이 교차하는 큰 영역을 결정할 수 있다. 일부 구현들에서, 큰 영역이 임계 체적보다 큰 체적을 갖는 경우, 모듈(724)은 CoR을 결정하기 위해 각막 중심들(1910)의 더 작은 세트를 결정할 수 있다. 특정 구현들에서, 임계 체적은 해당 CoR에 기초한 시선 추적의 임계 정확도와 연관된 CoR을 결정하기 위한 적절한 체적을 포함할 수 있다. 예를 들어, 사용자의 눈의 체적의 30%의 체적이 시선 추적의 정확도의 80% 감소와 연관될 수 있다. 결정된 체적이 임계 체적보다 큰 경우, 모듈(724)은 아래에 설명되는 바와 같이, 임의의 개수의 적절한 데이터 선택 기준에 기초하여 각막 중심들(1910)의 더 작은 세트를 선택할 수 있다.
[0220] 추가적으로 또는 대안적으로, 모듈(724)은 기계 학습 알고리즘 또는 여과 프로세스와 같은 임의의 개수의 데이터 감소 프로세스들을 사용하여 분석하기 위해 추정된 각막 중심들(1910)을 선택할 수 있다. 예를 들어, 모듈(724)은 이상값들을 제거하기 위해 데이터를 필터링할 수 있다. 필터는 주어진 각막 중심(1910)과 연관된 신뢰도 점수를 결정하고 그 신뢰도 점수들에 기초하여 각막 중심들(1910)을 선택하는 것을 포함할 수 있다. 일부 예들에서, 신뢰도 점수는 2차 계산으로부터의 각막 곡률 중심(들)(1910) 편차 또는 각막 곡률 중심(들)(1910) 또는 표면(1912)의 결정에 기초하여 결정될 수 있다. 일부 예들에서, 신뢰도 점수들은 맞춤 표면(1912)에 대한 각막 곡률 중심들(1910)의 위치(예를 들어, 맞춤 표면(1912)으로부터 각막 중심들(1910)의 편차)에 기초할 수 있다. 일부 예들에서, 신뢰도 점수들은 각막 곡률 중심들(1910)을 결정하는 데 이용되는 글린트 추출에서의 계산된 에러에 기초하여 결정될 수 있다. 예를 들어, 글린트를 추출하기 위해 눈 이미지(들)에 에러가 있는 경우 글린트 추출은 (예를 들어, 흐림, 이미지의 장애, 왜곡 또는 다른 노이즈의 소스로 인해) 높은 에러를 가질 수 있다.
Q.
회전 추출의 각막 곡률 중심 예시적인 적용
[0221] 도 20은 눈 추적 모듈(614)에 의해 구현될 수 있는 예시적인 회전 중심 추출 프로세스(2100)를 예시한다. 예를 들어, 회전 중심 추출 프로세스(2100)는 하나 이상의 각막 중심 추정 프로세스들(2108), 맞춤 블록(2116), 벡터 결정 블록(2118), 수렴 또는 교차 결정 블록(2120) 및 회전 중심 결정 블록(2122)을 포함할 수 있다.
[0222] 모듈(614)은 하나 이상의 각막 중심 추정 프로세스들(2108)의 일부로서 다수의 블록들을 수행할 수 있다. 예를 들어, 각막 중심 추정 프로세스(2108)는 이미지 수신 블록(2110), 글린트 결정 블록(2112) 및 각막 중심 결정 블록(2114)을 포함할 수 있다.
[0223] 이미지 수신 블록(2110)에서, 모듈(614)은 사용자의 눈의 하나 이상의 이미지들을 수신할 수 있다. 이미지들은 사용자가 착용한 웨어러블 디바이스와 연관된 이미징 시스템으로부터 획득될 수 있다. 예를 들어, 웨어러블 디바이스는 도 9a 내지 도 9d에 예시된 바와 같이 내향 카메라들(2014, 2016, 2018 및 2020)을 포함하는 이미징 시스템들을 갖는 좌측 아이피스(2010A) 및 우측 아이피스(2010B)를 포함하는 머리 장착형 디스플레이일 수 있다. 모듈(614)은 품질에 대해 이미지들을 선택적으로 분석할 수 있다. 예를 들어, 모듈(614)은 이미지가 품질 임계값을 통과하는지 결정할 수 있다. 임계값은 흐림, 장애, 원하지 않는 글린트들 또는 회전 중심 분석의 정확도에 영향을 줄 수 있는 다른 품질 메트릭들과 관련된 이미지 품질에 대한 메트릭들을 포함할 수 있다. 모듈(614)이 이미지가 이미지 품질 임계값을 통과하는 것으로 결정하면, 모듈(614)은 추가 분석에서 이미지를 사용할 수 있다.
[0224] 글린트 결정 블록(2112)에서, 모듈(614)은 이미지(들) 내의 하나 이상의 글린트들의 위치를 결정하기 위해 블록(2110)으로부터 수신된 이미지(들)를 분석할 수 있다. 도 12a 내지 도 16c를 참조하여 상술한 바와 같이, 글린트 위치들은 이미지 평면에서 하나 이상의 조명원들에 의해 생성된 하나 이상의 글린트들의 위치에 대응할 수 있다. 추가적으로 또는 대안적으로, 글린트 위치들은 사용자의 눈의 좌표 프레임에서 하나 이상의 조명원들에 의해 생성된 하나 이상의 글린트들의 위치에 대응할 수 있다. 상이한 카메라 및/또는 상이한 카메라 위치들에 대해 글린트들이 또한 획득될 수 있다.
[0225] 각막 중심 결정 블록(2114)에서, 모듈(614)은 추정된 각막 곡률 중심을 결정하기 위해 글린트 위치들을 분석할 수 있다. 도 12a 내지 도 16c를 참조하여 상술한 바와 같이, 결정은 글린트, 조명원 및 카메라 위치들에 기초하여 각막 곡률 중심이 따라서 위치되는 벡터를 결정하는 것을 포함할 수 있다. 결정은 또한 이러한 벡터들 중 하나 이상의 교차 위치에 기초하여 추정된 각막 곡률 중심을 결정하는 것을 포함할 수 있다.
[0226] 추가적으로 또는 대안적으로, 모듈(614)은 블록들(2110, 2112 및 2114)을 복수회 수행할 수 있다. 예를 들어, 모듈(614)은 하나 이상의 각막 곡률 중심을 계산하기 위해 블록(2110)으로부터 각각의 눈 이미지 또는 눈 이미지들의 세트에 대해 2112 및 2114를 복수회 수행할 수 있다. 다른 예에서, 모듈(614)은 복수의 눈 포즈들 또는 조건들에 대해 블록들(2110, 2112 및 2114)을 수행할 수 있다. 예를 들어, 모듈(614)은 상이한 눈 포즈들 또는 상이한 시선 방향들에서 사용자의 눈(들)의 이미지들을 수신할 수 있다. 추가적으로 또는 대안적으로, 모듈(614)은 사용자의 눈으로부터의 카메라 거리, 사용자의 눈에 대한 수직 또는 수평 위치, 또는 이들의 임의의 조합과 같은 상이한 카메라 조건들을 갖는 사용자의 눈(들)의 이미지들을 수신할 수 있으며, 이는 상이한 카메라 관점들 및/또는 상이한 위치들 및/또는 관점들을 갖는 상이한 카메라들을 제공할 수 있다. 상술한 바와 같이, 웨어러블 디바이스는 디스플레이의 상이한 영역들에 시선 타깃들의 표시를 야기함으로써 사용자가 상이한 눈 포즈들을 취하도록 프롬프팅할 수 있다. 예를 들어, 웨어러블 디바이스는 디스플레이의 상부 중심 영역, 디스플레이 하부 중심 영역, 디스플레이 중심 영역, 디스플레이 중심 영역의 좌측, 디스플레이의 중심 영역의 우측에 대응하는 5 개의 시선 타깃들을 표시할 수 있다. 5 개의 시선 타깃들은 사용자의 5 개의 상이한 눈 포즈들에 대응할 수 있다. 추가적으로 또는 대안적으로, 웨어러블 시스템은 웨어러블 시스템을 사용하는 동안 사용자의 눈의 자연스러운 움직임 중에 발생하는 상이한 눈 포즈들을 캡처할 수 있다.
[0227] 모듈(614)은 임계 기준이 충족될 때까지 계속해서 데이터를 수집할 수 있다. 예를 들어, 임계 기준은 에러의 마진, 데이터 포인트들의 수, 또는 눈 포즈들의 최소, 임계 또는 타깃 다이버시티(diversity)를 포함할 수 있다. 일부 예들에서, 에러의 마진은 계산된 각막 곡률 중심의 최소, 임계 또는 타깃 수에 대응할 수 있고, 최소, 임계 또는 타깃 에러 레벨은 맞추어진 표면, 그 일부 조합 등으로부터의 각막 곡률 중심들의 계산된 회전 중심 또는 편차에서 달성된다. 다른 접근법들도 가능하다.
[0228] 블록(2116)에서, 모듈(614)은 프로세스(2108)로부터 출력된 하나 이상의 각막 중심들에 표면을 맞출 수 있다. 도 17a 및 도 17b를 참조하여 상술한 바와 같이, 모듈(614)은 맞추어진 표면을 생성하기 위해 회귀 분석을 수행할 수 있다. 예를 들어, 모듈(614)은 다항 회귀를 수행하여 각막 중심들에 대한 저차 다항 3D 표면을 생성할 수 있다. 그러나, 다른 기법들도 사용될 수 있다.
[0229] 블록(2118)에서, 모듈(614)은 블록(2116)에서의 표면 맞춤으로부터 표면 법선 벡터를 결정할 수 있다. 도 18a를 참조하여 상술한 바와 같이, 모듈(614)은 각막 곡률 중심에서 시작하거나 이를 통과하는 맞추어진 표면에 수직인 표면 법선 벡터들을 결정할 수 있다. 추가적으로 또는 대안적으로, 모듈(614)은 맞추어진 표면 상의 임의의 포인트로부터 시작하는 표면 법선 벡터들을 결정할 수 있다. 다른 접근법들도 가능하다.
[0230] 블록(2120)에서, 모듈(614)은 블록(2118)에서 결정된 표면 법선 벡터들의 수렴 영역을 결정할 수 있다. 도 19a 내지 도 19e를 참조하여 상술한 바와 같이, 모듈(614)은 표면 법선 벡터들의 수렴 포인트 또는 영역을 결정할 수 있다. 수렴 영역은 표면 법선 벡터의 상당 부분이 수렴 및/또는 교차하는 공간의 체적일 수 있다. 수렴 포인트 또는 영역은 근사적으로 사용자의 눈의 회전 중심에 대응하거나 이를 추정하는 것을 지원할 수 있다.
[0231] 블록(2122)에서, 모듈(614)은 블록(2120)으로부터의 결정된 수렴 영역에 기초하여 회전 중심을 결정할 수 있다. 회전 중심은 예를 들어, 수렴 영역에, 그 안에, 또는 그 상에 있을 수 있다. 다른 위치들도 수렴 영역에 기초하여 회전 중심에 대해 결정될 수 있다. 일부 구현들에서, 상술한 바와 같이, 모듈(614)은 임계 기준(예를 들어, 에러)에 대해 수렴 영역을 분석할 수 있다. 모듈(614)이 수렴 영역이 임계 기준(예를 들어, 에러 및/또는 체적)을 충족하지 않는다고 결정하면, 모듈(614)은 회전 중심을 출력하지 않을 수 있다. 모듈(614)이 수렴 영역이 임계 기준을 충족한다고 결정하면, 모듈(614)은 회전 중심이 수렴 영역의 중심인 것으로 결정할 수 있다.
R.
회전 중심 추출을 위한 각막 곡률 중심을 사용한 예시적인 눈 추적 프로세스
[0232] 도 21은 (예를 들어, 도 20을 참조하여 상술한 바와 같이) 회전 중심 추출을 위해 각막 곡률 중심을 결정하는 프로세스(2100)를 사용할 수 있는 예시적인 눈 추적 프로세스(2200)를 예시한다. 이 예에서 프로세스(2200)는 회전 중심 결정 블록(2210), 에러 결정 블록(2212), 임계값 결정 블록(2214), 대안적인 눈 추적 블록(2216) 및 각막 눈 추적 블록(2218)을 포함할 수 있다.
[0233] 회전 중심 결정 블록(2210)에서, 모듈(614)은 각막 데이터를 사용하여 회전 중심을 결정할 수 있다. 예를 들어, 모듈(614)은 도 21을 참조하여 상술한 프로세스(2100)를 사용하여 회전 중심을 결정할 수 있다. 에러 결정 블록(2212)에서, 모듈(614)은 블록(2210)으로부터 회전 중심과 연관된 에러를 결정할 수 있다. 블록(2214)에서, 모듈(614)은 블록(2212)으로부터의 에러를 분석하여 임계 에러 값을 초과하는지 결정할 수 있다. 일부 구현들에서, 임계 에러 값은 예측된 값으로부터의 회전 중심의 편차(예를 들어, 높아진 편차 또는 임계 편차)와 연관된 값에 대응할 수 있다. 일부 구현들에서, 예측된 값은 상이한 회전 중심 결정 프로세스에 기초한 회전 중심의 위치, 눈 지오메트리에 기초한 예측된 회전 중심, 사용자 모집단에 걸친 평균 회전 중심, 또는 다른 적절한 회전 중심 값을 포함할 수 있다. 다른 임계값들이 사용될 수 있다. 에러가 임계값을 초과하는 경우, 모듈(614)은 블록(2216)에서 대안적인 눈 추적 또는 회전 중심 추정 방법을 이용할 수 있다. 에러가 임계값을 초과하지 않는 경우, 모듈(614)은 블록(2218)에서 블록(2210)으로부터의 계산된 회전 중심을 이용할 수 있다.
S.
비구면 각막 모델들을 사용한 각막 중심의 3D 포지션 결정
[0234] 대부분의 눈에서, 각막의 형상은 완전한 구면이 아니라 오히려 회전 타원체이다. 도 22a는 안구(2230)의 개략적인 사시도를 예시한다. 예시된 바와 같이, 각막(2232)은 각막 정점(2233)으로부터 각막(2232)과 공막(2234) 사이의 마진(2236)을 향하여 점진적으로 감소하는(예를 들어, 곡률 반경이 증가) 곡률을 갖는 비구면 표면을 갖는다. 도 22b는 각막(2232), 공막(2234), 홍채(2238), 동공(2245) 및 자연 수정체(2240)를 도시하는 눈의 2D 단면도를 예시한다. 구면 표면(spherical surface)(2242)은 공막(2234)과 각막(2232) 사이의 경계(2236)를 향해 각막 정점(2233) 부근의 각막 표면(2232)의 곡률에 대해 상당히 정확한 근사일 수 있지만, 각막의 실제 곡률은 일부 구면 각막 모델들에서 사용되는 구면 표면의 곡률보다 현저히 작아진다. 위에서 논의된 바와 같이, 다양한 구현들에서, 각막 곡률 중심(각막 중심)은 라이트-필드 렌더 제어기(618)(도 7a 및 도 7b 참조)에 대한 입력 파라미터들 중 하나일 수 있고 따라서 그 정확도는 머리 장착형 디스플레이(HMD)에 의해 렌더링되는 이미지들의 배향 및/또는 위치에 직접 영향을 줄 수 있다. 또한, 각막 중심은 눈의 광학 축 및/또는 동공 중심을 추정하는 데 사용될 수 있는 파라미터이다. 다양한 방법들 및 시스템들에서, 광학 축 및/또는 동공 중심은 안구의 회전 중심(CoR)을 추정하기 위해 잠재적으로 사용될 수 있으며, 이는 일부 경우에 라이트-필드 렌더 제어기(618)에 대한 입력 파라미터들 중 하나일 수 있다. 이와 같이, 각막 중심의 추정 위치와 실제 위치 사이의 차이는 의도한 방식으로 HMD 착용자에 의해 인식되지 않는 이미지 렌더링을 잠재적으로 초래할 수 있다.
[0235] 일부 구현들에서, 각막의 곡률 중심(각막 곡률 중심) 또는 각막의 중심은 각막 표면의 일부와 일치하는 구면 표면의 각막의 일부의 곡률 중심 또는 곡률 중심을 지칭한다. 예를 들어, 가능하게는 아래에서 논의되는 눈의 회전 타원체 모델들과 같은 비구면 모델들에 대한 것과 같은 일부 구현들에서, 각막의 곡률 중심 또는 각막의 중심은 각막 정점(2233)에서의 표면의 일부와 일치하는 구면 표면의 곡률 중심 또는 각막 정점에서의 곡률 중심을 지칭한다. 각막 중심은 또한 각막의 형상, 각막 표면의 형상, 각막 일부의 형상 또는 각막 표면 일부의 형상과 예를 들어, 근사적으로 일치하는 구와 같은 표면의 중심을 지칭할 수 있다. 유사하게, 각막 중심은 각막의 형상, 각막 표면의 형상, 각막 일부의 형상 또는 각막 표면의 일부의 형상과 예를 들어 근사적으로 일치하는 비구면 회전 타원체와 같은 비구면 표면의 중심을 지칭할 수 있다.
[0236] 위에서 논의된 바와 같이, 각막 중심은 하나 이상의 눈 카메라들(눈 추적 카메라들)에 의해 캡처된 하나 이상의 이미지들에서 2 개 이상의 글린트들의 위치를 사용하여 추정될 수 있다. 글린트들은 HMD 프레임 상에 부착된 2 개 이상의 광원들(예를 들어, IR LED들)에 의해 생성된 광의 정반사들에 의해 생성될 수 있다. 광원들의 알려진 포지션 및 좌표계(예를 들어, 눈 카메라의 좌표계)에 대한 하나 이상의 글린트들의 측정된 포지션을 입력들로서 사용하여, 프로세싱 모듈은 HMD의 비일시적 메모리에 저장된 명령들의 세트를 통해 각막 모델에 기초하여 각막 중심을 추정할 수 있다. 상술한 일부 방법들에서, 구면 각막 모델이 각막 중심을 추정하는 데 사용된다.
[0237] 일부 방법들은 각막 중심을 가리키는 2 개 이상의 각막 벡터들을 생성하기 위해 글린트들, 눈 카메라 및 광원들의 위치를 사용한 다음 각막 곡률 중심을 추정하기 위해 생성된 각막 벡터들의 교차 또는 수렴 영역을 결정할 수 있다. 예를 들어, 각막 벡터들은 도 11 내지 도 14를 참조하여 상술한 절차에 기초하여 하나의 카메라와 2 개의 광원들로 캡처된 이미지들을 사용하여 생성될 수 있다. 다른 예들에서, 각막 벡터들은 도 15를 참조하여 설명된 절차에 기초하여 2 개의 눈 카메라들 및 4 개의 소스들에 의해 캡처된 이미지들을 사용하여 생성될 수 있다. 또 다른 예들에서, 각막 벡터들은 도 16을 참조하여 설명된 절차에 기초하여 2 개의 카메라들 및 2 개의 공유된 광원들에 의해 캡처된 이미지들을 사용하여 추정될 수 있다. 다양한 구현에서, 각막 벡터들을 계산하는 데 사용되는 방법들은 글린트들이 구면 각막 표면의 정반사에 의해 생성된다는 가정에 기초하여 각막 중심의 위치에 대한 추정 값을 제공한다.
[0238] 일부 추가 방법들은 또한, 구면 각막 모델에 기초하여 각막 중심을 추정하기 위해 눈의 캡처된 이미지들 상의 글린트들의 위치를 사용할 수도 있다. 예를 들어, 알려진 위치를 가진 광원들에 의한 조명 시 캡처된 이미지 상에 나타나는 것과 중첩되는 글린트 이미지들을 생성하는 반사 구면 표면의 중심을 찾기 위한 알고리즘이 사용될 수 있다. 2 개 이상의 광원들과 하나의 카메라를 사용할 수 있는 이러한 방법에 기초한 각막 중심 추정 절차의 예가 그 전체가 참조로 본원에 통합되는 US 2019/0243448A1호뿐만 아니라 도 8a 내지 도 8e에 대해 상술되었다.
[0239] 그러나, 각막이 구면 형상을 갖는다고 가정하는 이러한 방법들 중 임의의 것을 사용하는 것은 잠재적으로 잘못된 추정 또는 각막 중심(각막 곡률 중심)의 적어도 부분적으로 잘못된 또는 덜 정확한 추정을 초래할 수 있다. 예를 들어, 도 22c는 2 개의 광원들(2220/2221)의 위치들 및 눈 카메라의 이미지 평면(2222) 상의 결과적인 글린트들(2224, 2225)의 위치들에 기초하여 축 대칭 반사 표면(예를 들어, 각막의 표면)에 대한 곡률 중심을 계산하기 위해 반사 법칙이 어떻게 사용될 수 있는지를 예시한다. 이 예에서, 2 개의 광원들은 각막 표면의 대칭 축으로부터 등거리에 있다. 도면에 의해 예시된 바와 같이, 각막의 표면이 구면 형상(2242)을 갖는다고 가정하면, 각막 중심(2246)의 추정된 위치는 각막 표면이 비구면 회전 타원체 형상(2244)을 갖는다고 가정하여 추정된 각막 중심(2248)과 상이하다. 즉, 축 대칭 반사 표면을 조명하는 2 개의 광원들(2220/2221)의 결과로서 2 개의 이미지들(2224/225)이 생성되는 경우, 표면의 적어도 특정 부분에 대한 추정된 곡률 중심(예를 들어, 입사점에서 표면에 대한 법선과 표면의 대칭 축 사이의 교차)은 가능하게는 가정된 표면 형상(예를 들어, 구면 또는 비구면 회전 타원체 또는 다른 비구면 형상)에 의존한다. 도 22c에 도시된 예에서, 각막 곡률 중심(2246/2248)의 2 개의 추정된 값들 사이의 차이의 크기는 글린트들이 각막 정점(2233)으로부터 더 멀리 있는 각막 영역의 정반사로부터 생성될 때 더 크다. HMD 프레임 상의 광원들 및 눈 카메라들의 고정된 위치, 그리고 착용자의 시선 방향이 끊임없이 변한다는 사실이 주어진 경우, (추정 에러를 감소시키거나 최소화하기 위해) 그 정점에 가까운 각막의 영역들의 정반사로부터 생성된 글린트 이미지들을 항상 제공하는 구성을 유지하는 것이 실용적이지 않을 수 있다. 결과적으로, 많은 구성들 및 시나리오들(예를 들어, 상이한 시선 방향들에서의 측정 및 이용 가능한 광원들과 카메라들의 상이한 조합들 사용)에서, 구면 눈 모델에만 의존하는 방법에 기초하는 각막 중심의 추정된 위치는 각막의 비구면 모델을 채용하는 방법만큼 각막 중심에 대한 정확한 추정을 제공하지 못할 수 있다.
[0240] 각막의 비구면 형상을 고려하는 모델을 사용하는 것은 추정된 눈 파라미터들의 정확도를 개선할 수 있으며, 따라서 눈 추적기의 전체 정확도를 개선할 수 있다. 구체적으로, 비구면 모델(예를 들어, 비구면 회전 타원체 모델)에 기초한 추정들은 시선 추적, 각막 중심 및 CoR 계산들의 정확도를 개선할 수 있다. 유리하게는, 일부 구현들에서, 이러한 모델들은 가능하게는 사용자 특정 교정을 필요로 하지 않고 눈 추적기의 정확도를 개선할 수 있다. 그러나, 일부 다양한 구현들은 사용자 특정 교정을 포함하여, 가능하게는 정확도를 더욱 개선한다.
[0241] 구면 각막 모델들과 달리, 각막의 비구면 회전 타원체 모델과 같은 각막의 다양한 비구면 모델들은 각막 중심 결정 문제에 대해 폐쇄형 솔루션들을 산출하는 이점을 제공하지 않는다. 본원에서 논의된 다양한 방법론들은 향상된 정확도를 초래하는 비구면 모델에 기초하여 각막 중심의 3D 포지션을 추정하기 위한 접근법들과 절차들을 채용한다. 아래에 설명되는 개시된 방법론들은 단일 눈 카메라뿐만 아니라 상술한 것과 같은 2 개의 눈 카메라를 사용하는 HMD 시스템들에서 각막 중심의 3D 포지션을 추정하기 위한 계산상 효율적인 절차들을 포함할 수 있다. 그 전체가 인용에 의해 본원에 포함되는 US 2019/0243448A1호를 또한 참조한다.
회전 타원체 눈 모델
[0242] 본원에서 논의된 일부 예시적인 방법들 및 시스템들에서, 회전 타원체 눈 모델은 예를 들어, 사용자 각막의 형상에 대한 추정으로서 이하의 식들 중 하나 또는 둘 모두에 의해 설명된 회전 표면을 사용할 수 있다:
[0243] 여기서 R은 각막 정점(2303/2233)의 반경이고, Z-축은 회전 타원체의 회전 축이고 또한 각막의 광학 축이며, Q는 X-Z 또는 Y-Z 평면의 타원체의 형상을 변경시키는 비구면성 또는 원추 파라미터이다. R의 크기는 이 값과 다를 수 있지만 (예를 들어, 평균 성인 사용자의 경우) 평균 7.8 mm를 가질 수 있다. R의 크기 분포는 예를 들어, 정시(emmetropic vision)를 가진 성인들의 경우 7.8 mm의 평균 값 및 0.26 mm의 표준 편차를 갖는 정규 분포에 근접할 수 있다.
[0244] 도 23a는 Q의 몇몇 값에 대해 X-Z 평면(여기서 Y = 0)에 플롯팅된 식 (1A)을 나타낸다. 식 (1A)에 의해 정의된 표면은 Z-축(2306) 주위에서 회전 대칭(회전 타원체)이므로, R의 주어진 값 및 Q의 상이한 값들에 대해, Y-Z 평면에서 이러한 표면의 프로파일은 도 23a에 도시된 것과 유사할 것이다. 또한, X-Y 평면에서 식 (1A)에 의해 형성된 표면의 단면은 원형일 것이다. 0과 -1 사이의 Q 값들(예를 들어, 0 > Q > -1)은 장형 회전 타원체들로부터와 같이 타원형 단면(2314a 및 2314b)을 초래하는 반면, 0과 +1 사이의 Q의 값들(예를 들어, 0 < Q < +1)은 장형 회전 타원체들로부터와 같은 타원형 단면(2314c 및 2314d)을 초래한다. 도 23a에서, +1.0의 Q에 대한 값은 포물선(2310) 단면을 생성하는 것으로 도시되는 반면, +2.0의 Q에 대한 값은 쌍곡선(2308) 단면을 생성한다. Q가 0과 같을 때, 식 (1A)는 Z = R에 중심을 둔 반경 R을 갖는 구(2312)를 설명하고, 회전 타원체 모델은 구면 모델로 감소된다. 따라서, 원형 단면이 Q = 0에 대해 도 23a에서 도시된다. 파라미터 R 및 Q는 각막 중심(2218)에서 각막 정점(2233)까지의 거리에 대한 상이한 값 및 상이한 프로파일들(예를 들어, 구면, 장형 또는 편형 타원 프로파일들)을 초래하는 상이한 회전 타원체 모델들에 대해 변할 수 있다. 예를 들어, 공지된 Arizona 눈 모델에서, 각막 형상은 R = 0.78 mm 및 Q = -0.25인 장형 회전 타원체에 기초한다. 도 23b는 구면 모델 및 보다 현실적인 비구면 회전 타원체 모델(이 경우 Arizona 회전 타원체 모델)에 기초하여 각막의 단면 프로파일 사이의 비교를 제공하기 위해 Q = 0 및 Q = -0.25에 대해 X-Z 평면(여기서 Y = 0)에 플롯팅된 식 (1A)를 나타낸다. 도 23a 및 도 23b에서, 좌표 축(2303)의 원점은 (Q의 두 값 모두에 대해) 각막(2232)의 꼭지점(2233)에 있다. 도 23b에 도시된 바와 같이, 구면 각막(2319)과 비구면 회전 타원체 각막(2315)은 단일 입사 빔(2317)을 상이한 두 방향으로 반사시킨다(상이한 형상의 각막의 정점이 중첩된다고 가정). 구면 각막으로부터 반사된 광선(2320)과 비구면 회전 타원체 각막으로부터 반사된 광선(2322)의 궤적들 사이의 비교는 주어진 안구와 눈 카메라 사이의 거리에서, 이러한 광선들에 의해 생성된 글린트 이미지들의 포지션들 사이의 차이가 측정 가능하게 다를 수 있음을 나타낸다. 결과적으로, 구면 각막의 반사에 의해 생성된 글린트들에 기초하여 추정된 각막 중심(2316)은 비구면 회전 타원체 각막의 반사에 의해 생성된 글린트들에 기초하여 추정된 각막 중심(2318)과 다를 가능성이 높을 것이다. 주어진 각막 반경 R에 대해 본원에서 논의된 바와 같이, 비구면 회전 타원체 모델은 하나의 카메라 및 적어도 2 개의 광원들을 사용하여 각막 중심을 추정하는 데 사용될 수 있다. 또한, 하지만 2 개의 카메라로 각막 반경 R 값을 알지 못해도 2 개의 광원들을 사용하여 각막 중심이 추정될 수 있다.
[0245] 정상적인 각막들이 종종 난시를 보이기 때문에(예를 들어, 각막의 곡률 반경은 수직 경선(meridian)에서보다 수평에서 더 큼), 일부 예들에서, 비구면 모델은 또한 각막을 나타내는 표면이 Z-축에 대해 회전 대칭이 아닐 수 있음을 고려할 수 있다. 예를 들어, 난시 각막 표면은 X-Y 평면에서의 원추형 프로파일 및 또한 X-Z에서의 원추형 프로파일과 상이하고 독립적인 Y-Z 평면에서의 원추형 프로파일을 갖는 바이코닉(biconic) 표면일 수 있다. 이러한 바이코닉 표면에 대한 식은 이하와 같이 쓸 수 있다:
[0246] 식 1C는 정시, 근시, 원시 또는 난시인 대부분의 눈에 대한 각막 형상을 모델링하는 데 사용될 수 있는 일반적인 바이코닉 표면을 나타낸다. (Rx, Qx) 및 (Ry, Qy)는 각각 수평 및 수직 차원에서 각막 표면의 반경 및 원추 파라미터를 특정한다. 상이한 눈에 대해 측정된 Rx 및 Ry의 분포는 상이한 눈에 대해 측정된 R(식 1A 또는 1B에서 사용됨)와 동일한 분포일 수 있으며, 이는 예를 들어 7.8 mm의 평균 값 및 0.26 mm의 표준 편차를 가질 수 있다. 상이한 눈에 대해 측정된 Qx 및 Qy의 분포는 예를 들어, -0.26의 평균(mean) 및 0.18의 표준 편차를 가질 수 있는 Q(식 1A 또는 1B에서 사용됨)와 동일한 분포일 수 있다. 모델이 난시 각막 표면을 나타내는 데 사용될 때, 식 1C에 의해 정의된 표면은 각막 표면의 난시 축과 정렬되도록 광학 축(Z-축) 주위로 회전될 수 있다(예를 들어, 0 내지 180 도). 이와 같이, 일반적인 바이코닉 표면의 형상을 정의하기 위해 4 개의 독립적인 t 파라미터들이 필요할 수 있으며, 5번째 독립 파라미터는 바이코닉 표면을 각막의 난시 축들과 정렬하는 데 필요할 수 있다.
[0247] 또 다른 예들에서, 난시 각막 표면은 X-Y 평면에서 원추형 프로필 및 또한 Y-Z 평면에서 상이한 원추형 프로파일(잠재적으로 X-Z에서 원추형 프로파일과 독립적이지 않을 수 있음)을 갖는 비회전 타원체로 모델링될 수 있다. 이러한 타원체 표면에 대한 식은 다음과 같이 쓸 수 있다:
[0248] 이는 Z=0(각막의 정점)에 위치된 그 꼭지점들 중 하나를 갖는 타원체를 정의한다. 여기서, Q1, Q2 및 Q3은 타원체의 형상을 결정하는 타원체의 반-축들이며, 그 값들은 눈 모델에 의해 제공될 수 있다.
[0249] 식 1B(또는 1A) 및 1D는 식 1C에 의해 정의된 일반적인 바이코닉 표면에 대한 특수 표면일 수 있음에 유의한다. 일반적인 바이코닉 표면은 Rx = Ry = R, Qx = Qy = Q일 때 회전 타원체 표면이 되고, Rx = Q1 2/Q3, Ry = Q2 2/Q3, Qx = (Q1 2/Q3 2) - 1, Qy = (Q2 2/Q3 2) - 1일 때 타원체 표면이 된다. 일부 예들에서, 비회전 타원체가 3 개의 독립 파라미터들만 갖는다는 사실은 난시 각막의 중심을 추정할 때 계산의 복잡성을 줄일 수 있다.
단일 눈 카메라와 비구면 모델을 사용한 각막 중심의 3D 포지션 결정
[0250] 일부 예들에서, 비구면 눈 모델은 하나의 눈 카메라에 의해 캡처된 하나 이상의 이미지들 상의 몇몇 글린트들의 측정된 포지션에 기초하여 각막 중심을 추정하는 데 사용될 수 있다. 글린트들은 HMD 프레임 상에 부착된 몇몇 광원들에 의해 방출된 광의 정반사에 의해 생성될 수 있다. 광원들은 알려진 위치, 예를 들어, 좌표계(예를 들어, 눈 카메라 좌표계)에서 광 방출기들의 포지션과 연관된 알려진 좌표들을 가질 수 있다. 예를 들어, 도 11은 2 개의 광원들에 의해 생성된 이미지(1110) 상의 2 개의 글린트들(1104A/1104B)을 예시한다.
[0251] 이러한 일부 예들에서, 글린트들의 수(예를 들어, 최소 수) 및 따라서 각막 중심의 추정을 제공하기 위한 광원들은 모델에서 알려지지 않은 파라미터들의 수와 비구면(예를 들어, 비구면 회전 타원체) 모델에 의해 부과된 제약의 수, 카메라의 위치 및 광원들의 위치들을 사용하여 계산될 수 있다. 꼭지점(R)에서의 각막 반경과 (예를 들어, Arizona 눈 모델로부터의) 특정 눈 모델의 원추형 파라미터(Q)가 알려져 있다고 가정하면, 주어진 좌표계(예를 들어, 눈 카메라 좌표계)에서의 각막 중심의 3차원 포지션(예를 들어, 각막 중심의 포지션 좌표들)은 3 개의 파라미터: CX, CY 및 CZ(각막 중심의 좌표들)의 계산을 포함할 수 있지만; 대응하는 계산들의 중간 단계들은 또한 동일한 좌표계에 대해 측정된 대칭 축(예를 들어, 도 23의 Z-축)에 대한 피치 및 요 파라미터들에 의해 정의된 회전 타원체의 배향을 포함할 수 있다. 이러한 2 개의 중간 파라미터들은 (광원들의 좌표의 R, Q의 주어진 값들에 대해) 이미지 상의 글린트들의 위치들과 각막 중심 사이의 관계가 각막 표면의 광원들에 의해 생성된 광선들의 정반사들에 기초하여 정의될 수 있기 때문에(따라서, 배향에 의해 영향을 받을 수 있음), 이러한 2 개의 중간 파라미터들이 사용된다. 일부 예들에서, (예를 들어, Arizona 눈 모델로부터) R의 값은 7.8 mm일 수 있고 Q의 값은 -0.25일 수 있다. 또한, 각막 표면 상의 글린트들의 3차원 위치(각막 표면 상에서 광이 반사되는 포인트들에 대응하는 GX, GY 및 GZ)도 추정될 수 있다.
[0252] 따라서, 추정에서 각각의 글린트를 사용하는 것은 3 개의 알려지지 않은 파라미터들을 더 추가할 수 있다. 결과적으로, 알려지지 않은 파라미터의 총 개수는 (5 + 3) × NG가 될 수 있으며, 여기서 NG는 추정에 사용된 글린트들의 총 개수이다. 일부 예들에서 제약들은 3 개의 관계들에 의해 결정된다: 1) 글린트들의 위치(GX, GY 및 GZ), 카메라의 위치 및 광원들의 위치 사이의 관계. 이러한 관계는 2 개의 제약들을 초래할 수 있다: 2) 글린트들의 위치(GX, GY 및 GZ)와 각막 중심의 위치(CX, CY 및 CZ) 사이의 관계. 이러한 관계는 하나의 제약을 초래할 수 있다. 3) 글린트들(GX, GY 및 GZ)의 위치와 카메라 위치 사이의 관계. 이러한 관계는 2 개의 제약들을 초래한다. 결론적으로, 5 × NG 제약들은 (5 + 3) × NG 개의 알려지지 않은 것들을 추정하는 데 사용될 수 있어 일부 구현들에서 3 개 이상의 글린트들의 개수를 초래한다. 그러나, 다른 변형들이 가능하다. 예를 들어, 글린트들의 개수와 광원들의 개수는 더 많거나 더 적을 수 있다.
[0253] 도 24는 가능하게는 단지 하나의 눈 카메라에 의해 캡처된 하나 이상의 이미지들을 사용하는 비구면 회전 타원체 각막 모델에 기초하여 각막 중심의 위치(예를 들어, 기준 프레임에 대해, x, y, z 또는 r, θ, φ 등과 같은 하나 이상의 좌표들에 의해 설명되는 x, y, z와 같은 3차원 위치)를 추정하는 데 사용될 수 있는 반복 절차를 예시하는 블록도이며, 머리 장착형 디스플레이 프레임에 부착된 하나 이상의, 잠재적으로 복수의 광원들은 눈 카메라의 이미지 평면 상에 3 개 이상의 글린트들을 생성한다. 눈 카메라에 대한 눈 카메라의 포지션 및 광원들의 포지션은 시스템 메모리에 저장된 알려진 값들일 수 있다. 일부 구현들에서, 각막의 곡률 중심의 위치는 눈 카메라의 기준 프레임 또는 좌표계 또는 머리 장착형 디스플레이에 대한 고정된 기준 프레임에 대해 결정될 수 있다.
[0254] 일부 예들에서, 이 절차는 예를 들어, 도 8a 내지 도 8e에 대해 상술한 바와 같은, 또는 그 전체가 인용에 의해 본원에 포함되는 US 2019/0243448A1호에 설명된 구면 각막 모델을 사용하여 각막 중심의 위치 추정을 따를 수 있다. 일부 다른 예들에서, CoR은 절차의 일부로서 결정될 수 있다. 일부 구현들에서, (구면 및 비구면 회전 타원체 모델들에 기초한 계산들에 사용되는) 각막 곡률 반경 및/또는 (비구면 회전 타원체 모델에 기초한 계산들에 사용되는) Q 파라미터(들)는 모델의 알려진 값들일 수 있거나 알려진 눈 모델들을 사용하여 추정될 수 있다. 일부 예들에서, 회전 타원체의 Q 파라미터(들) 및 각막의 곡률 반경(R)에 대한 값들은 알려진 눈 모델들(예를 들어, Arizona 눈 모델)에서 이러한 파라미터들의 값들일 수 있다.
[0255] 일부 예들에서, 절차의 각각의 반복은 아래에 설명된 5 단계들로 분할될 수 있다:
[0256] 단계 1: 이미지는 블록(2402)에서 눈 카메라(눈 추적 카메라)에 의해 캡처되며, 프레임에 부착된 복수의, 예를 들어, 3 개 이상의 광원들이 광을 출력하여 캡처된 이미지 상의 3 개 이상의 글린트들의 외관을 초래한다. 눈 카메라의 이미지 평면 상의 글린트들의 포지션들은 블록(2404)에서 결정될 수 있다. 예를 들어, 도 7a에 도시된 글린트 검출 및 라벨링 모듈(714)이 가능하게 사용될 수 있다. 눈의 구면 모델에 기초한 눈의 각막 중심(CSo)이 결정된다. 예를 들어, 블록(2412)에서 참조된 구면 각막 모델, 블록(2406)에 의해 나타낸 광원들의 알려진 위치들 및 블록(2402)에서 캡처된 이미지에서 블록(2404)에서 결정된 글린트 위치들의 측정된 값을 사용하여, 눈의 각막 중심(CSo)이 블록(2410)에서 계산될 수 있다. 일부 예시적인 방법들에서, CSo는 각각 미국 특허 출원 제2019/0243448A1호의 도 8e 및/또는 도 10의 각막 곡률 중심(816c 및/또는 1008)에 대응할 수 있다. 이 계산을 위해 수행될 수 있는 일부 연산들은 예를 들어, 그 전체가 인용에 의해 본원에 포함되는 미국 특허 출원 제2019/0243448A1호 및 위의 도 8b 내지 도 8e 중 하나 이상과 관련하여 논의된다. 일부 프로세스들에서, CSo는 예를 들어, 위의 도 11 내지 도 14를 참조하여 설명된 절차를 사용하는 것과 같이 단지 2 개의 광원들을 사용하여 블록(2410)에서 추정될 수 있다. 다른 접근법들 및 다른 개수의 광원들 영역도 가능하다.
[0257] 블록(2419)을 참조하여 예시된 바와 같이, CoR은 구면 모델에 기초하여 블록(2410)에서 도달한 추정된 각막 중심 CSo 값(들)으로부터 결정될 수 있다. 블록(2415)을 참조하여 예시된 바와 같이, 가능하게는 구면 모델에 기초하여 블록(2410)에서 도달한 추정된 각막 중심 CSo로부터 동공의 중심이 결정될 수 있다.
[0258] 단계 2: 각막이 비구면 회전 타원체 모델 및 비구면 회전 타원체 표면에 의해 표현된다고 가정하면, 회전 타원체의 중심에 대한 초기 값(CQe_1)이 블록(2403)에서 선택된다. 절차의 첫 번째 반복에서, 이러한 초기 값은 예를 들어, 회전 타원체의 중심이 단계 1에서 구면 모델에 기초하여 추정되는 각막 중심(CSo) 뒤의 일부 고정된 거리 내에 있다는 사실을 고려할 수 있는 교육된 추측에 기초하여 선택될 수 있다. 일부 예들에서, 예를 들어, 블록(2413)에서 사용된 회전 타원체의 중심에 대한 초기 값(CQe_1)은 구면 모델을 사용하여 블록(2410)에서 결정된 것과 같은 CSo와 동일한 것으로 가정될 수 있다. 후속 반복들에서, 블록(2408)에서 사용된 값은 이전 반복에서 생성된 출력 값일 수 있다(예를 들어, 블록(2428)에 의해 제공되는 것으로 도시됨). 블록(2408)으로부터의 비구면 회전 타원체의 중심에 대한 값(CQe_1)과 블록(2419)에서 이전에 결정된 눈의 회전 중심(CoR)을 사용하여, 회전 타원체의 배향이 블록(2413)에서 참조된 비구면 회전 타원체 모델을 사용하여 블록(2420)에서 결정될 수 있다. 블록들(2019 및 2015)과 블록(2013) 사이의 연결에 의해 예시된 바와 같이, 회전 중심(CoR) 및/또는 동공의 중심은 블록(2013)의 구형 모델에서 사용될 수 있다.
[0259] 일부 예들에서, (예를 들어, 블록(2419)으로부터의) CoR은 가능하게는 단계-1의 블록(2402)에서 캡처된 이미지(들)를 사용하여 CoR 추정(도 7a 참조)에 사용되는 모듈들 및/또는 그 전체가 인용에 의해 본원에 포함되는 US 2019/0243448A1호에 설명된 하나 이상의 절차들에 의해 추정될 수 있다. 일부 예들에서, (예를 들어, 블록(2419)에서 참조된) CoR은 단계-1에서 캡처된 이미지(들) 및 상술한 절차를 사용하여 추정될 수 있다.
[0260] 일부 구현들에서, 블록(2419)으로부터의 CoR을 사용하는 대신, 블록(2415)으로부터의 동공 중심을 사용하여 블록(2420)에서 회전 타원체의 배향을 결정할 수 있다. 이러한 구현들에서, 블록(2415)의 동공 중심은 가능하게는 단계-1의 블록(2402)에서 캡처된 이미지(들)와 상술한 절차를 사용하여 3D 동공 중심 로케이터 모듈에 의해 추정될 수 있다.
[0261] 도 25a는 구면 모델 CSo(2510)에 기초하여 계산된 중심을 중심으로 하는 구면 각막 표면(2508)으로부터 떨어져 있는 4 개의 광원들(2506)(예를 들어, 4 개의 IR LED들)에 의해 생성된 4 개의 광선들의 정반사를 예시한다. 이러한 광선들은 (예를 들어, 카메라의 검출기 어레이 상의) 눈 카메라의 이미지 평면(2503) 상의 4 개의 글린트 이미지들(2504)을 생성한다. 도 25b는 CQe(2508)에 중심이 있고 가능하게는 초기에 회전 타원체 모델로부터 결정된 CoR(2518)을 사용하여 결정된 방향으로 배향된 비구면 회전 타원체(2514)의 예를 예시한다. 위에 논의된 바와 같이, 회전 타원체 중심 CQe(2508)의 초기 값은 구면 모델 CSo(2510)에 기초하여 계산된 각막 중심에 기초하여 추정될 수 있고, 따라서 구면 모델에 기초하여 계산 또는 결정될 수 있다.
[0262] 단계 3: 다양한 구현들에서, 광원들(2406)의 알려진 위치를 사용하고 블록(2414)에서 참조된 회전 타원체 모델을 적용하여, (예를 들어, 눈 카메라 기준 프레임에 대하여) 이미지 평면의 글린트 이미지들의 예측된 위치들이 블록(2422)에서 추정된다. 눈의 각막을 나타내는 비구면 회전 타원체 표면은 단계-2(예를 들어, 블록(2420))에서 계산된 회전 타원체 배향의 추정된 값에 따라, CQe에 중심이 있고 좌표계(예를 들어, 눈 카메라 좌표계)에 대해 배향되는 것으로 가정된다. 도 25c는 그 중심 CQe(2508) 및 배향이 단계 2에서 계산되는 회전 타원체 반사 표면(2514)의 정반사 및 4 개의 광원들(2506)(예를 들어, 4 개의 IR LED들)의 위치에 기초하여 이미지 평면(2503) 상의 4 개의 글린트 이미지들(2504)의 위치의 추정의 예를 예시한다.
[0263] 단계 4: 단계-3(블록(2422))에서 결정된 글린트들의 예측된 위치, 광원들(2406)의 알려진 위치를 사용하고, 블록(2417)에서 참조된 구면 각막 모델을 적용하여, 단계-3에서 추정된 예측된 위치들(2422)에서 글린트 이미지들을 생성하는 구면 각막의 중심(CSe)이 블록(2424)에서 결정된다. 부분적으로 비구면 회전 타원체 모델을 사용하여 결정된 이러한 구면 각막의 중심(CSe) 및 회전 타원체 모델이 아닌 구면 모델을 사용하여 결정된 각막 중심(CSo)은 Δ만큼 서로 다를 수 있다. 예를 들어, CSo 및 CSe를 감산함으로써 결정될 수 있고 일부 구현들에서 CSo - Cse의 절대값에 대응할 수 있다. 도 25d는 CoR(2518), CQe(2508), CSo(2510) 및 CSe(2524)의 상대적인 위치를 예시한다. 다양한 구현들에서, CQe, CSo 및 CSe는 3 개의 성분들을 포함하는 3-요소 벡터들 또는 벡터들 또는 해당 벡터를 정의하는 용어들일 수 있다.
[0264] 단계 5: 블록(2421)의 비구면 회전 타원체 모델에서 차이 Δ 및 이전에 추정된 CQe 값을 사용하여, 블록(2428)에서 비구면 회전 타원체의 중심에 대한 새로운 값(CQo_1)이 결정되어 다양한 구현들에서의 절차의 첫 번째 반복을 완료한다. 일부 예들에서, CQo_1은 Newton의 방법의 단순화된 버전을 사용하여 추정될 수 있다. 예를 들어, 일부 구현들에서, 프로세스는 이하의 관계를 채용할 수 있다:
[0265] 여기서 F(X) = CSe - CSo, J(X) = F(X)의 야코비안(Jacobian), 그리고 X = CQe이다. CSe와 CSo의 값들의 수렴으로, CSe와 CSo 간의 차이(예를 들어, CSe - CSo)는 0에 근접한다. 식 (2)에 나타낸 바와 같이, CSe와 CSo 간의 차이가 0에 근접함에 따라, X(j)와 X(j+1) 간의 차이도 더 작아질 것이다. 따라서, 다양한 구현들에서, 식 F(X) = 0은 예를 들어, 수치적으로 풀린다. 예를 들어 Newton의 방법은 식 F(X) = 0을 풀기 위해 사용될 수 있으며, 여기서 F(X) = CSe - CSo이다.
[0266] 야코비안 
는 예를 들어 CSo 및 CSe의 값이 서로 가까운 단일 반복에 대한 단일 행렬인 것으로 가정될 수 있다. 따라서, 일부 경우들에서 식 (2)는 다음과 같이 간주될 수 있다.
CQe_업데이트됨 = CQe + K*(CSo-CSe) (3)
[0267] 여기서 K = (J(X))-1은 단위 행렬과 같고 J(X)는 3 × 3 야코비안 행렬이다. 이러한 행렬의 요소들은 단위 행렬로부터 약 30%까지의 표준 편차 내에서 변할 수 있다. 일부 예들에서, 상술한 방법의 단일 반복은 각막 중심 추정과 연관된 에러를 60%만큼 줄이는 합리적인 해결책을 제공할 수 있다. 추가 반복들은 일부 경우들에 한 번의 반복이 사용될 수 있지만 에러를 추가로 줄일 수 있다.
[0268] 일부 예들에서, 각막 중심 추정의 정확도를 가능하게는 원하는 퍼센티지(예를 들어, 60% 초과)만큼 개선하기 위해 2 회 이상의 반복들이 사용될 수 있다. 이러한 예들에서, 첫 번째 반복의 마지막(다섯 번째) 단계에서 생성된 회전 타원체 중심의 최종 값(CQo_1)은 두 번째 반복의 단계-2에서 회전 타원체 중심의 초기 값(CQe_2)으로서 사용될 것이다. 유사하게, 후속 반복들에서, 각각의 반복의 단계-2에서 필요한 회전 타원체 중심에 대한 초기 값(CQe_n)은 최종(다섯 번째) 단계에서 생성된 회전 타원체 중심의 최종 값(CQo_n-1)일 것이다. 일부 예들에서, 주어진 반복에서 CQo_n은 단순화된 Newton의 방법을 사용하여 추정될 수 있다.
[0269] 일부 다른 예들에서, 주어진 반복에서의 CQo_n은 예를 들어, 경사 하강법을 사용하여 
의 함수를 감소시키거나 최소화함으로써 예를 들어, 블록(2428)에서 결정될 수 있다.
[0270] 예를 들어, 다양한 구현들에서, F(X) = 0을 풀기기 위해, H(x)와 같은 비용 함수가 감소되거나 최소화될 수 있다.
[0271] 경사 하강법이 일부 구현들에서 사용될 수 있다. 예를 들어, 관계
[0272] 여기서 K는 일정하거나 변할 수 있고, 예를 들어 스텝에 따라 적응적으로 채용될 수 있는 스텝 크기이다. 일부 구현들에서, 스텝 크기 K는 상이한 스텝들에 따라(예를 들어, 복수의 스텝들 대해 또는 각각의 스텝에 대해) 변할 수 있다. 다양한 형태의 경사 하강법들이 사용될 수 있고/있거나 다양한 스텝 크기들이 선택될 수 있다.
[0273] 일부 구현들에서, 스텝 크기는 아래와 같으므로 식 (3)으로 되돌아갈 수 있는 Newton 스텝일 수 있다.
[0274] 예를 들어, 식 (6)을 식 (5)로 치환하면 식 (3)이 된다.
[0275] Newton의 방법 기반 접근법 또는 경사 하강법 및 그 변형들 이외의 다른 방법들이 채용될 수 있다.
[0276] 일부 예들에서, 예를 들어, 글린트들을 획득하기 위한 새로운 이미지 또는 이미지들이 캡처되고 상이한 반복들, 예를 들어, 가능하게는 각각의 반복 또는 복수의 반복들에 사용될 수 있다. 이러한 일부 예들에서, CoR 또는 동공 중심의 값들은 새로운 이미지 또는 이미지들에 기초하여 재계산될 수 있다. 일부 다른 예들에서, CoR 및/또는 동공 중심의 값들은 복수의 반복들(예를 들어, 모든 반복들, 일련의 모든 반복들 또는 다른 것)에서 고정되고 사전 결정된 값들일 수 있다.
[0277] 위의 절차에 기초하고 비구면 회전 타원체 각막 모델을 사용하여 추정된 각막 중심은 다양한 눈 파라미터들(예를 들어, 버전스 깊이, CoR, 관점 중심 또는 다른 파라미터들)에 대한 더 정확한 값들을 제공하기 위해 웨어러블 디스플레이 시스템의 광학 축 결정 모듈(예를 들어, 도 7a 및 관련 논의 참조)에 의해 사용될 수 있다. 이러한 파라미터들은 예를 들어, 라이트-필드 렌더 제어기 모듈(618)에 제공될 수 있다. 각막 중심은 상이한 구현들에서 다른 방식들로 사용될 수 있다.
[0278] 일부 예들에서, 비구면 각막 모델에 기초하여 각막의 중심을 추정하기 위해 상술한 방법의 상이한 변형들이 사용될 수 있다. 일부 변형들에서, 하나 이상의 단계들이 추가, 생략, 변경 또는 다른 단계들로 치환될 수 있다. 일부 다른 변형들에서, 단계들의 순서 및/또는 배열이 다를 수 있다. 마찬가지로, 도 24의 블록도에 의해 표현된 절차의 상이한 변형들이 절차의 주요 양태에서 벗어나지 않고 구현될 수 있다. 예를 들어, 블록들이 추가, 생략, 변경 또는 다른 블록들로 치환될 수 있으며, 블록들은 재정렬 또는 재배열되거나 이들 중 임의의 조합일 수 있다.
[0279] 위의 절차는 HMD 시스템의 모듈과 함께 관련 명령들을 저장할 수 있는 하나 이상의 비일시적 메모리들 및 하나 이상의 프로세서들에 의해 수행될 수 있다(예를 들어, 도 7a 참조). 도 26은 비구면 회전 타원체 각막 모델에 기초하고 예를 들어, 일부 구현들에서 상술한 절차와 유사할 수 있는 반복 절차와 같은 수치 절차를 사용하여 3D 각막 중심 추정을 위해 구성된 제2 3D 각막 중심 추정 서브모듈(2660)과 결합될 수 있는 예시적인 눈 추적 모듈(예를 들어, 도 7a에 도시된 눈 추적 모듈(614))에 사용되는 서브모듈들의 서브세트를 예시하는 블록도이다. 눈 카메라(2634), 이미지 프로세싱 모듈(2610), 동공 식별 모듈(2612) 및 글린트 검출 모듈(2614)은 함께 제1(2616) 및 제2(2660) 3D 각막 중심 추정 모듈들에 의해 사용될 수 있는 글린트들의 위치를 제공할 수 있다. 좌표계 정규화 모듈(2618), 3D 동공 중심 로케이터 모듈(2620) 및 제1 3D 각막 중심 추정 모듈(2616)은 눈의 광학 축 배향을 추정하기 위한 파라미터들을 광학 축 결정 모듈(2622)에 제공할 수 있다. CoR 추정 모듈(2624)은 CoR을 추정하기 위해 광학 축 결정 모듈(2622)에 의해 추정된 광학 축의 배향을 사용할 수 있다. 일부 예들에서, CoR 추정 모듈(2624)에 의해 제공된 CoR 및 글린트 검출 및 라벨링 모듈(2614)에 의해 제공된 글린트 위치들은 비구면 회전 타원체 각막의 중심을 추정하기 위해 제1(2616) 및 제2(2660) 3D 각막 중심 추정 모듈에 의해 사용될 수 있다. 일부 예들에서, 위에 언급한 모듈들 중 하나 이상은 공유된 비일시적 메모리들 및 프로세서들의 세트를 사용하여 구현될 수 있다. 일부 예들에서, 하나 이상의 모듈들을 포함하는 모듈들의 상이한 서브세트가 비일시적 메모리들 및 프로세서들의 세트를 공유할 수 있다. 일부 예들에서, 하나 이상의 모듈들은 특정 프로그래밍 언어로 작성되고 비일시적 메모리에 저장되고 하나 이상의 프로세서들에 의해 실행되는 알고리즘들일 수 있다. 특정 구현들에서, 하나 이상의 모듈들을 포함하는 이러한 모듈들의 하나 이상의 서브세트들이 별도의 하드웨어(예를 들어, FPGA) 상에서 구현될 수 있다.
[0280] R = 7.8 mm 및 Q = -0.25인 회전 타원체 모델에 대한 단위 행렬과 동일한 J(X)로 상술한 절차의 단일 반복을 사용하여 각막 중심을 추정하기 위한 시뮬레이션들이 수행되었다. 결과들은 4 개의 글린트들을 사용하여 수평 및 수직 방향으로 +/- 20 도 이내의 1000회의 랜덤 시선의 시뮬레이션들로부터 획득되었다. 표 1은 추정된 각막 중심들의 위치를 정의하는 3 개의 좌표들에 대한 RMS 에러(mm)를 나타낸다. 3 개의 좌표들에 대한 총 RMS 에러도 나타내어진다. 구형 모델(sphere model)뿐만 아니라 비구면 회전 타원체 모델을 모두 사용하여 계산된 곡률 중심에 대한 RMS 에러들이 나타내어진다.
[표 1]
[0281] 비구면 회전 타원체 모델을 사용하여 계산된 데이터 포인트들과 구면 모델을 사용하여 계산된 데이터 포인트들 사이의 비교는 회전 타원체 모델이 사용될 때 약 60%의 에러 감소를 보여준다.
2 개의 눈 카메라들과 회전 타원체 모델을 사용하여 각막 중심의 3D 포지션 결정
[0282] 위에서 논의된 바와 같이, 상이한 절차들은 비구면 회전 타원체 모델과 같은 비구면 모델을 이용할 수 있으며 이러한 절차에는 광범위한 변형들이 포함될 수 있다. 예를 들어, 일부 프로세스에서, 2 개의 카메라들이 채용될 수 있다. 2 개의 카메라들은 눈의 포지션 및/또는 배향에 관한 정보를 제공하기 위해 눈 상의 글린트들을 이미징할 수 있다.
[0283] 도 27은 2 개의 카메라들(2739/2737)이 프레임(2741) 상에도 배치된 3 개의 광원들(2735)에 의해 생성된 글린트들의 이미지들을 캡처하기 위해 머리 장착형 디스플레이 프레임(2741)의 아이피스(2731) 상에 배치되는 예시적인 구성이다. 이러한 이미지들은 아래에 설명되는 방법을 사용하여 안구(2733)의 각막 중심 위치(2718)를 추정하는 데 사용될 수 있다.
[0284] 도 28은 2 개의 눈 카메라들에 의해 캡처된 이미지들을 사용하는 비구면 회전 타원체 각막 모델에 기초하여 각막 중심 위치(예를 들어, 기준 프레임에 대해, x, y, z 또는 r, θ, φ 등과 같은 하나 이상의 좌표들에 의해 설명되는 x, y, z 위치와 같은 3차원 위치)를 추정하기 위한 절차를 예시하는 블록도이며, 머리 장착형 디스플레이 프레임 상에 부착된 복수의 광원들은 각각의 눈 카메라의 이미지 평면 상에 2 개 이상, 예를 들어, 4 개 이상의 글린트들을 생성한다. 상이한 개수의 광원들이 다른 구현들에서 사용될 수 있다. 좌표계(예를 들어, 눈 카메라들의 좌표계)에 대한 광원들의 포지션들 및 눈 카메라들의 포지션들은 HMD 시스템의 비일시적 메모리에 저장된 알려진 값들일 수 있다. 그러나, 일부 구현들에서, 2 개의 눈 카메라의 사용은 각막 반경(R)을 알지 않고도 눈의 각막 중심을 결정할 수 있다. 일부 구현들에서, 각막 곡률 중심의 위치는 눈 카메라의 기준 프레임 또는 좌표계 또는 머리 장착형 디스플레이에 대한 고정된 기준 프레임에 대해 결정될 수 있다.
[0285] 유리하게는, 2 개의 카메라들에 의해 캡처된 이미지들과 아래에 설명되는 절차를 사용하면 하나의 눈 카메라를 사용하는 방법들(예를 들어, 상술한 방법)에 비해 비구면 모델(예를 들어, 비구면 회전 타원체 모델)에 기초하여 각막 중심을 추정하는 시간을 줄일 수 있다. 일부 경우들에서, 절차는 반복적이지 않다.
[0286] 일부 예들에서, 이러한 절차는 (예를 들어, 도 9, 도 11, 도 13, 도 14, 도 15 및 도 16을 참조하여) 상술한 (구면 모델에 기초한) 각막 및/또는 동공 벡터들의 추정의 일부 또는 부분을 포함할 수 있다. 일부 예들에서, 각막 및/또는 동공 벡터들은 절차의 일부로서 결정될 수 있다.
[0287] 일부 구현들의 경우, 절차는 아래에 설명된 7 개 단계 또는 그 하나 이상의 부분을 포함할 수 있다:
[0288] 단계 1: 도 28에 도시된 제1 및 제2 블록(2802 및 2804)에 의해 각각 참조되는 바와 같이, 제1 이미지는 제1 눈 카메라(눈 추적 카메라)에 의해 캡처되고 제2 이미지는 제2 눈 카메라(눈 추적 카메라)에 의해 캡처된다. 프레임 상에 부착된 2 개 이상의 광원들이 광을 출력하도록 구성되어 각각의 캡처된 이미지 상에 2 개 이상의 글린트들의 외관을 초래한다. 일부 구현들에서, 제1 및 제2 카메라는 도 9b 내지 도 9e의 카메라들(2014 및 2016) 또는 카메라들(2018 및 2020)에 대응할 수 있다. 제1 및 제2 눈 카메라들의 이미지 평면에 대한 글린트들의 포지션들이 결정될 수 있다(각각 블록들(2808 및 2806) 참조). 이러한 글린트 포지션들의 결정은 이미지 사전 프로세싱 모듈(710) 및 글린트 검출 및 라벨링 모듈(714)에 의해 수행될 수 있다. 일부 예들에서, 광원들의 쌍이 제1 및 제2 눈 카메라에 의해 캡처된 제1 및 제2 이미지들 상에 2 개의 글린트들을 각각 생성할 수 있다. 예를 들어, 도 29a를 참조한다. 일부 예들에서, 광원들의 제1 쌍은 제1 카메라에 의해 캡처된 제1 이미지 상에 2 개의 글린트들을 생성할 수 있고 광원들의 제2 쌍은 제2 카메라에 의해 캡처된 제2 이미지 상에 2 개의 글린트들을 생성할 수 있다. 다른 구현들에서는 다른 수의 광원들이 채용될 수 있다.
[0289] 단계 2: 도 29b는 눈을 향하는, 예를 들어, 각막 곡률 중심을 향하는 벡터들을 결정하기 위해 글린트들이 어떻게 채용될 수 있는지를 예시한다. 제1 카메라에 의해 캡처된 제1 이미지 상의 2 개의 글린트들의 포지션들을 사용하여, 블록(2812)에서 제1 각막 벡터 CV1이 결정된다. 제2 카메라에 의해 캡처된 제2 이미지 상의 2 개의 글린트들의 포지션들을 사용하여, 제2 각막 벡터 CV2가 블록(2810)에서 결정된다.
[0290] 일부 예들에서, CV1 및 CV2는 도 15a 및 도 15b를 참조하여 상술한 절차에 기초하여 각각 광원들의 제1 및 제2 쌍에 의해 생성된 제1 캡처된 이미지의 2 개의 글린트들 및 제2 캡처된 이미지의 2 개의 글린트들을 사용하여 결정될 수 있다. 제1 및 제2 각막 벡터 CV1 및 CV2는 예를 들어, 도 15a 및 도 15b의 벡터들(1510 및 1530)에 대응할 수 있다. 이러한 예들에서, CV1은 제1 카메라의 위치, 광원들의 제1 쌍의 위치들 및 제1 캡처된 이미지의 2 개의 글린트들의 위치들을 사용하여 블록(2812)에서 결정된다. 유사하게, CV2는 제2 카메라의 위치, 광원들의 제2 쌍의 위치들 및 제2 캡처된 이미지 상의 2 개의 글린트들의 위치들을 사용하여 블록(2810)에서 결정된다.
[0291] 일부 다른 예들에서, CV1 및 CV2는 가능하게는 구면 각막 형상의 가정에 기초하여 도 16a 내지 도 16c를 참조하여 상술한 절차에 기초하여 캡처된 이미지들 각각에 대해 2 개의 글린트들을 생성하는 2 개의 광원만을 사용하여 결정될 수 있다. 제1 및 제2 각막 벡터들(CV1 및 CV2)은 도 16a 내지 도 16c의 벡터들(1610 및 1630)에 대응될 수 있다. 이러한 예들에서, CV1은 제1 카메라의 위치, 광원들 중 2 개의 위치들 및 제1 캡처된 이미지 상의 2 개의 글린트들의 위치들을 사용하여 결정될 수 있다(2812). 유사하게, CV2는 제2 카메라의 위치, 2 개의 광원들의 위치들 및 제2 캡처된 이미지 상의 2 개의 글린트들의 위치를 사용하여 결정된다(2810). 일부 구현들에서, CV1 및 CV2는 좌표계 정규화 모듈(718)(도 7 참조)에 의해 웨어러블 디바이스의 좌표계로 추가적으로 변환된다.
[0292] 단계 3: 블록(2814)에 의해 나타낸 바와 같이, (단계-2에서 CV1 및 CV2는 다양한 구현들에서 웨어러블 디바이스의 좌표계로 변환되므로) 단계-2에서 결정된 각막 벡터들 CV1 및 CV2를 사용하여, 웨어러블 디바이스의 좌표계에 대한 각막 중심(CC)의 3차원 좌표들이 식별될 수 있다. 도 29b에서와 같은 일부 예들에서, 벡터 CV1 및 CV2가 교차하는 포인트 또는 영역을 찾아 각막 중심 또는 그 주변 영역의 3차원 좌표들이 결정될 수 있다. 이러한 교차는 도 15a 내지 도 16c의 포인트(1520 또는 1620)에 대응할 수 있으며, 단락 172(또는 179)에 설명된 절차를 사용하여 결정될 수 있다. 일부 경우에, 벡터들이 포인트에서 교차하지 않지만, 벡터들은 수렴할 수 있다. 따라서, 다양한 구현에서 벡터들이 수렴하는 위치 또는 벡터들 사이의 거리가 감소되거나 최소가 되는 위치가 존재한다. 일부 다른 예들에서, 각막 중심은 평균 제곱근 추정 기법들과 같은 하나 이상의 추정 기법들을 사용하여 추정될 수 있다.
[0293] 단계 4: 추가로, 제1 눈 카메라에 의해 캡처된 제1 이미지를 사용하여, 제1 동공 벡터 PV1이 결정될 수 있다(2816). 유사하게, 제2 눈 카메라에 의해 캡처된 제2 이미지를 사용하여, 제2 동공 벡터 PV2가 결정될 수 있다(2818). 일부 예들에서, 제1 및 제2 동공 벡터들 PV1 및 PV2는 도 29c에 각각 예시된 바와 같이, 제1 및 제2 눈 카메라 좌표계의 원점들로부터 제1 및 제2 이미지 평면에서 동공의 중심 위치를 통해 각각 연장될 수 있다. 일부 예들에서, 제1(2816) 및 제2(2818) 동공 벡터 PV1 및 PV2는 제1 및 제2 각막 벡터 CV1 및 CV2와 유사할 수 있다.
[0294] 단계 5: PV1(2816) 및 PV2(2818)가 교차하는 포인트(PC)의 3차원 좌표는 단계-3에서 사용된 동일한 좌표계(예를 들어, 웨어러블 디바이스의 좌표계)에 대해 결정된다(2820). 일부 경우에, 벡터들은 한 포인트에서 교차하지 않지만, 벡터들은 수렴할 수 있다. 따라서, 다양한 구현에서 벡터들이 수렴하는 위치 또는 벡터들 사이의 거리가 감소되거나 최소가 되는 위치가 존재한다. 이러한 경우에, 예를 들어, 이 영역 내의 연관된 위치는 PC에 대응할 수 있다. 일부 예들에서, 포인트 PC는 평균 제곱근 추정 기법들과 같은 하나 이상의 추정 기법들을 사용하여 근사화될 수 있다.
[0295] 단계 6: 단계-3에서 결정된 교차 또는 수렴 위치 CC(도 28의 블록(2814)) 및 단계 5에서 결정된 교차점 또는 수렴 영역 PC(블록(2820))를 사용하여 포인트 PC 및 CC를 통해 연장되는 벡터 PC-CC가 블록(2822)에서 결정된다. 포인트 CC 및 PC, 그리고 벡터 PC-CC는 다양한 구현에서 웨어러블 디바이스의 좌표계에 대해 결정될 수 있다. 일부 예에서, 벡터 PC-CC는 사용자의 눈의 광학 축에 대략적으로 대응할 수 있다. 일부 예에서, 각막 중심은 추정된 벡터 PC-CC를 따라 위치될 수 있다.
[0296] 단계 7: (예를 들어, 주어진 Q 값을 갖는) 비구면 회전 타원체 각막 모델(2824)을 사용하여, 제1 및 제2 이미지 상의 글린트들의 위치들(블록 2806 및 2808)), 단계-3에서 결정된 포인트 CC(블록 2814) 및 단계 6에서 결정된 벡터 PC-CC(블록 2822), 3차원 공간에서 비구면 회전 타원체의 포지션 및 배향은 블록(2826)에서 참조된 바와 같이 추정될 수 있다. 회전 타원체의 배향은 PC-CC로부터 결정될 수 있으며, 예를 들어, 회전 타원체의 축은 PC-CC에 평행할 수 있고/있거나 PC-CC를 따라 있을 수 있다. 회전 타원체의 중심 포지션은 또한 PC-CC 벡터를 알고 추정될 수 있다. 회전 타원체 중심의 위치는 다양한 구현에서 PC-CC 벡터를 따르는 것으로 가정될 수 있다. 일부 실시예들에서, 구면 모델이 예를 들어, PC-CC 벡터를 따라 비구면 회전 타원체의 포지션을 추정하는 데 사용된다. 이러한 실시예에서, 예를 들어, 블록(2814)에서 결정된 교차점 CC, 카메라 및 광원의 위치 정보, 및 제1 및 제2 이미지 상의 글린트의 위치를 사용하여, 구면 모델과 연관된 구면 반사 표면의 중심 위치가 계산된다. 예를 들어, 비구면 회전 타원체 각막 모델과 연관된 Q의 주어진 원추 파라미터에 적어도 부분적으로 기초하여, 시프트 값이 계산되고 이동 값을 사용하여 예를 들어, CC 포인트로부터의 시프트를 결정하기 위해 비구면 회전 타원체 중심 위치가 결정된다. 특히, 일부 예에서, 비구면 회전 타원체의 중심은 PC-CC 벡터를 따라 예를 들어, Q 값에 기초하여 회전 타원체의 형상에 기초하여 계산될 수 있는 시프트 값만큼 구면 반사 표면의 중심을 시프트시킴으로써 결정된다. 일부 경우에, 시프트 값은 카메라 및 광원의 위치 정보, 및 제1 및 제2 이미지 상의 글린트의 위치에 적어도 부분적으로 기초하여 계산된다. 일부 예에서, Q의 주어진 값은 특정 눈 모델에 기초한 Q의 평균 값(예를 들어, Arizona 눈 모델의 경우 -0.25 또는 Navarro 눈 모델의 경우 -0.26), Q의 공개된 값(예를 들어, 연구 논문 또는 교과서에 공개) 또는 Q 파라미터의 사용자 특정 값일 수 있다.
[0297] 추가적으로 또는 대안적으로, 회전 타원체의 중심 위치는 반복적으로 결정될 수 있다. 예를 들어, 비구면 회전 타원체의 중심은 PC-CC 벡터를 따라 어딘가, 예를 들어, 시프트가 회전 타원체의 형상에 기초하는 위에 참조된 시프트된 위치에서와 같이 CC로부터의 고정된 거리 또는 CC 포인트에 위치되는 것으로 가정될 수 있다(예를 들어, Q 값). 광 방출기의 위치를 알면 예를 들어, 비구면 회전 타원체 표면에서 반사된 광 방출기로부터의 나오는 광선을 추적하는 광선에 의해 글린트의 위치가 계산될 수 있다. 이렇게 계산된 글린트들은 측정된 글린트 위치들과 비교할 수 있다. 예를 들어, PC-CC 벡터를 따라 회전 타원체의 중심을 시프트시킴으로써 비구면 회전 타원체는 PC-CC 벡터를 따라 시프트될 수 있다. 다시, 광 방출기의 위치를 알면 비구면 회전 타원체 표면에서 반사된 광 방출기들로부터의 광선을 추적하는 광선에 의해 글린트들의 위치들이 계산될 수 있다. 이렇게 계산된 글린트들은 측정된 글린트 위치들과 비교할 수 있다. 이 프로세스는 예를 들어, PC-CC 벡터를 따라 회전 타원체(및 회전 타원체의 중심)의 위치가 식별될 때까지 반복될 수 있으며 여기서 계산된 글린트 위치들은 글린트들의 측정된 위치들에 대해, 임계값과 관련하여 가까우며 예를 들어, 충분히 가깝다. 일부 구현들에서, 예를 들어 감소된 또는 최소 거리를 생성하는 회전 타원체의 위치가 선택될 수 있다. 따라서, 일부 설계들에서, 3차원 공간에서 비구면 회전 타원체의 포지션은 블록(2826)에서 참조되는 것과 같이 추정된다.
[0298] 위에서 참조한 바와 같이, 일부 예들에서, 3차원 공간에서 회전 타원체의 배향은 PC-CC 벡터(2822)의 배향에 대응할 수 있으며, 예를 들어, 3차원 공간에서 회전 타원체의 배향은 벡터 PC-CC(2822)가 비구면 회전 타원체의 중심과 회전 타원체의 두 꼭지점들/극들을 통과하는 배향에 대응할 수 있다. 이러한 일부 예들에서, 비구면 회전 타원체의 배향은 사용자의 시선 벡터의 방향을 추정하기에 충분할 수 있다. 이러한 예들에서, 사용자의 상이한 시선 방향들에서 캡처된 이미지들에 기초하여 시선 벡터들의 대규모 컬렉션을 추정하는 것은 감소된 계산 비용으로 CoR을 추정하는 데 사용될 수 있다. 예를 들어, 위에서 논의된 바와 같이, 그리고 그 전체가 인용에 의해 본원에 포함되는, 발명의 명칭이 "디스플레이 시스템들에서 눈 회전 중심 결정, 깊이 평면 선택 및 렌더 카메라 포지셔닝(Eye Center of Rotation Determination, Depth Plane Selection, and Render Camera Positioning in Display Systems)"인 미국 특허 공개 US 2019/0243448A1호에서, 복수의 시선 벡터들 또는 광학 축들은 눈의 회전 중심의 추정으로서 사용될 수 있는 시선 벡터들 또는 광학 축들의 교차 또는 수렴을 식별하기 위해 상이한 시선 방향들에 대해 평가될 수 있다. 따라서, 일부 실시예들에서, 눈 추적 모듈(614)은 각막 중심 또는 각막 곡률 중심의 포지션을 결정하지 않고 비구면 회전 타원체의 배향을 사용할 수 있다. 이러한 실시예들에서, 눈 시선 방향의 추적을 가능하게 하면서 각막의 곡률 중심을 계산하지 않음으로써 상당한 양의 계산 시간이 잠재적으로 절약될 수 있다.
[0299] 일부 구현들에서, 위에서 언급한 모든 단계는 모듈(716)에 의해 수행될 수 있다(도 7a 참조).
[0300] 도 29a 내지 도 29d는 도 28과 관련하여 위에서 논의된 절차에 기초하여 벡터 PC-CC(2836)의 결정을 위한 절차를 개략적으로 예시하며, 예를 들어, 여기서 두 쌍의 광원들이 2 개의 각각의 눈 카메라들에 의해 생성된 2 개의 개별 이미지 상의 한 쌍의 글린트들을 생성하는 데 사용된다. 도시된 바와 같이, 광원들의 제1 쌍(2902)은 제1 눈 카메라의 이미지 평면(2908) 상에 글린트들의 제1 쌍(2905)을 생성한다. 광원들의 제2 쌍(2904)은 제2 눈 카메라의 이미지 평면(2910) 상에 글린트들의 제2 쌍(2912)을 생성한다(도 29a 참조). 제1 눈 카메라(2914), 글린트들의 제1 쌍(2906) 및 광원들의 제1 쌍(2902)의 좌표들을 사용하여 제1 각막 벡터 CV1(2918)이 결정된다. 제2 눈 카메라(2916), 글린트들의 제2 쌍(2912) 및 광원들의 제2 쌍(2904)의 좌표들을 사용하여 제2 각막 벡터 CV2(2920)가 결정된다. 위에 논의된 바와 같이, 일부 구현들에서 제1 및 제2 카메라 모두에 의해 이미징되는 2 개의 글린트를 생성하기 위해 단일 쌍의 광원들이 사용될 수 있다. 2 개의 각막 벡터 CV1(2918) 및 CV2(2920)가 인터셉팅하거나 수렴하는 일부 예들에서, 인터셉션 또는 수렴점 CC(3330)의 좌표들이 결정된다(위에서 논의된 도 29b뿐만 아니라 도 16a 내지 도 16c 참조).
[0301] 위에서 논의된 바와 같이, 이미지 평면(2908) 상의 동공의 위치(2922) 및 제1 눈 카메라의 좌표계의 원점(2914)을 사용하여 제1 동공 벡터 PV1(2926)이 결정된다. 제2 이미지 평면(2910) 상의 동공의 위치(2924) 및 제2 눈 카메라의 좌표계의 원점(2916)을 사용하여, 제2 동공 벡터 PV2(2928)가 결정된다. 2 개의 각막 벡터 PV1(2926) 및 CV2(2928)가 인터셉팅 또는 수렴하는 일부 예들에서, 인터셉션 또는 수렴 포인트 또는 영역 PC(2932)의 좌표는 도 29c의 각막 위치 CC(2930)의 추정된 곡률 중심의 좌표를 결정하는 데 사용되는 동일한 좌표계에 대해 결정될 수 있다.
[0302] 또한, 위에 논의된 바와 같이, 각막을 나타내는 비구면 타원체(2944)의 배향은 벡터 PC-CC(2942)(CC(2930)와 PC(2932)를 연결하는 벡터로 정의)를 사용하여 결정된다(도 29d 참조). 일부 예들에서, 회전 타원체의 배향은 벡터 PC-CC(2942)가 비구면 회전 타원체의 중심 및 회전 타원체의 꼭지점들/극들 모두를 통과한다고 가정함으로써 결정될 수 있다.
[0303] 추가로, 일부 예들에서, 벡터 PC-CC(2942)를 따른 비구면 회전 타원체의 중심 위치는 제1 및 제2 이미지 평면(2908/2910) 상의 글린트(2906/2912)의 측정된 위치, 및 그 중심이 벡터 PC-CC(2942)를 따른 포인트인 회전 타원체에서 벗어난 (알려진 위치들에서 광원들에 의해 생성된) 광선들의 정반사에 기초하여 각각의 이미지 평면(2908/2910) 상의 글린트들의 계산된 위치를 매칭함으로써 추정될 수 있다. 다른 방법들이 사용될 수 있다.
[0304] 일부 예들에서, 비구면 회전 타원체 각막 모델에 기초하여 각막의 중심 및 배향을 추정하기 위해 상술한 방법의 상이한 변형들이 사용될 수 있다. 일부 변형들에서, 하나 이상의 단계들이 추가, 생략, 변경, 다른 단계들 또는 이들의 임의의 조합으로 치환될 수 있다. 일부 다른 변형들에서, 단계들의 순서가 변경되거나 단계들이 다르게 재배열될 수 있다. 유사하게, 도 28의 블록도에 의해 나타낸 절차의 상이한 변형들이 본 절차의 주요 양태로부터 벗어나지 않고 구현될 수 있다. 예를 들어, 특정 블록들이 추가, 생략, 재배열되어 변경, 다른 블록들 또는 이들의 임의의 조합으로 치환될 수 있다. 다른 변경들이 가능하다.
[0305] 위에 언급한 절차는 HMD 시스템(도 7a)의 모듈과 함께 관련 명령어들을 저장할 수 있는 하나 이상의 프로세서들 및 하나 이상의 비일시적 메모리들에 의해 수행될 수 있다. 도 30은 예시적인 눈 추적 모듈(예를 들어, 도 7a에 도시된 눈 추적 모듈(614))에서 사용될 수 있고 비구면 회전 타원체 각막 모델에 기초하여 3D 각막 중심 추정을 위해 구성된 새로운 3D 각막 중심 추정 서브모듈(3060)과 결합될 수 있는 서브모듈들의 서브세트를 예시하는 블록도이다. 일부 구현들에서, 프로세스는 예를 들어, 도 28과 관련하여 상술한 절차를 채용할 수 있다. 도 28과 관련하여 상술한 절차의 일부 구현에서, 2 개의 눈 카메라들(3034/3035), 이미지 프로세싱 모듈(3010), 동공 식별 모듈(3012) 및 글린트 검출 모듈(3014)은 함께 글린트들의 위치를 3D 각막 곡률 중심 추정 모듈(3060)에 제공할 수 있음에 유의한다. 글린트 위치들은 단계-7에서 설명된 바와 같이 각막을 나타내는 비구면 회전 타원체의 중심 및/또는 배향을 추정하기 위해 3D 각막 중심 추정 모듈(3060)에 의해 사용될 수 있는 각막 벡터들(2918/2920)(CV1 및 CV2)을 결정하기 위해 3D 각막 중심 추정 모듈(3060)에 의해 사용될 수 있다. 좌표계 모듈(3018) 및 3D 동공 중심 로케이터 모듈(3020)은 동공 벡터들(2926/2928)(PV1 및 PV2)를 결정하는 데 필요한 동공 위치들을 제공할 수 있다. 각막 벡터들, 동공 벡터들 및 글린트들의 위치를 사용하여, 3D 각막 중심 추정 모듈(3060)은 각막을 나타내는 비구면 회전 타원체의 중심과 배향을 추정할 수 있다. 다른 방법들 및/또는 구성들이 가능하다.
[0306] 다양한 구현들에서, 하나 이상의 눈 추적 카메라에 의해 생성된 이미지들에서 글린트 반사들의 위치에 기초하여 사용자의 눈의 각막 중심의 위치를 추정하는 것은 상기 하나 이상의 카메라들에 의해 생성된 이미지들의 글린 반사들의 위치, 하나 이상의 추적 카메라들의 위치들 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 각막 곡률 중심의 위치 또는 추정 또는 값(예를 들어, 기준 프레임에 대해 x, y, z 또는 r, θ, φ 등과 같은 하나 이상의 좌표로 설명되는 x, y, z 위치와 같은 3차원 위치)을 결정하기 위한 수치 계산들을 포함한다.
[0307] 일부 예들에서, 위에 언급한 모듈들은 공유된 비일시적 메모리들 및 프로세서들의 세트를 사용하여 구현될 수 있지만, 다른 구성들이 가능하다. 일부 예들에서, 하나 이상의 모듈들을 포함하는 모듈들의 서브세트들은 비일시적 메모리들 및 프로세서들의 세트를 공유할 수 있다. 일부 예들에서, 하나 이상의 모듈들은 특정 프로그래밍 언어로 작성되고 비일시적 메모리에 저장되고 하나 이상의 프로세서들에 의해 실행되는 알고리즘들을 포함할 수 있다. 특정 구현들에서, 하나 이상의 서브모듈들을 포함하는 이러한 모듈들의 하나 이상의 서브세트들은 별도의 하드웨어(예를 들어, FPGA 또는 전용 프로세서)를 사용하여 구현될 수 있다.
[0308] 일부 구현들에서, 각막이 비회전 대칭 표면으로 표현되는 비구면 눈 모델을 사용하여 눈의 각막의 중심 및 배향이 추정될 수 있다. 비구면 눈 모델은 예를 들어, 임의의 축 주위에서 회전 대칭이 아닌 바이코닉 또는 타원형 표면을 채용할 수 있다. 이러한 형상들은 상이한 평면들(예를 들어, 수평 또는 수직)에서 각막의 상이한 곡률들을 캡처하는 데 사용될 수 있다. 예를 들어, 위의 식 (1C) 및 (1D) 및 그 논의를 참조한다. 따라서, 다양한 구현들에서, 각막을 모델링하기 위해 바이코닉 또는 타원형 표면과 같은 비회전 대칭 표면을 사용하는 이러한 비회전 대칭 모델들이 본원에 설명된 방법들과 함께 사용될 수 있다.
[0309] 일부 이러한 구현들에서, 예를 들어, 비회전 타원체가 각막의 표면(예를 들어, 식 1D에 의해 정의된 표면)을 모델링하는 데 사용될 수 있다. 이러한 경우, 각막을 모델링하는 타원체 표면의 포지션 및/또는 배향을 추정하기 위해 (Q 및 R에 추가하여) 제3의 알려진 파라미터가 사용될 수 있다. 일부 예들에서, 제3 파라미터의 값이 눈 모델에 의해 제공될 수 있다. 도 24, 도 28 또는 본원의 다른 곳을 참조하여 설명된 절차들의 동일하거나 수정된 버전들을 포함하는 방법들이 각막의 비구면 회전 타원체 모델 대신 각막의 비회전 타원체 눈 모델들과 같은 비회전 대칭 모델들과 함께 사용될 수 있다.
[0310] 일부 다른 구현들에서, 비구면 각막 모델은 각막의 표면이 일반적인 바이코닉 표면(예를 들어, 식 1C에 의해 정의된 바이코닉 표면)에 의해 표현되는 바이코닉 모델일 수 있다. 위에서 언급한 바와 같이, 바이코닉 모델은 예를 들어, 정시, 근시, 원시 또는 난시 눈과 연관된 매우 다양한 눈 형상들에 대한 각막 형상을 모델링하는 데 사용될 수 있다. 이러한 일부 예들에서, 바이코닉 표면은 5 개의 파라미터들을 사용하여 특정될 수 있다. 식 1C를 참조하면, (Rx, Qx) 및 (Ry, Qy)는 각각 수평 및 수직 차원에서 각막 표면의 반경 및 원추 파라미터를 특정할 수 있다. 추가적으로, 각막의 난시 축에 대한 바이코닉 표면의 배향은 0 내지 180 도 범위의 각도(제5 파라미터)에 의해 특정될 수 있다. 일부 예들에서, 이러한 파라미터들의 값은 알려진 눈 모델들 또는 문헌에 보고된 평균 값들로부터 획득될 수 있다. 도 24, 도 28 및 본원의 다른 곳을 참조하여 설명된 절차의 동일하거나 수정된 버전을 포함하는 방법들이 각막의 비구면 회전 타원체 모델 대신에 각막의 바이코닉 눈 모델과 함께 사용될 수 있다.
[0311] 이러한 일부 예들에서, 바이코닉 회전 타원체 모델의 5 개의 파라미터들은 도 24 및 도 28을 참조하여 설명된 절차들의 확장된 버전에 기초하여 추정될 수 있으며, 여기서 모델에서 하나 이상의 알려지지 않은 파라미터들을 추정하기 위해 추가 단계들이 추가될 수 있다. 일부 경우들에서, 추가 글린트들과 가능하게는 추가 광원들 및/또는 이미지들이 채용될 수 있다. 이러한 일부 예들에서, 4 개 이상의 글린트들이 각막 중심, 시선 방향 및 안구 중심을 추정하는 데 사용될 수 있다.
[0312] 일부 다른 예들에서, 눈 모델들에서 하나 이상의 파라미터들의 범위 또는 통계 분포에 대한 일부 제약들이 계산을 용이하게 하기 위해 사용될 수 있다(예를 들어, 확장된 절차들에서 추가 단계들을 줄임). 예를 들어, Rx 및 Ry의 통계 분포는 R과 동일할 수 있으므로; 이는 동일한 평균 값(예를 들어, 7.8 mm)과 동일한 표준 편차(예를 들어, 0.26 mm)를 가질 수 있다. Qx와 Qy의 분포들은 Q와 동일할 수 있으므로, 이들은 동일한 평균 값(예를 들어, -0.26 또는 -0.25)과 동일한 표준 편차(예를 들어, 0.18)를 가질 수 있다. 대부분의 난시 각막들은 예를 들어, 안경류의 좌표계에 기초하여 정의된 수직 또는 수평 축에 더 가까운 난시 축을 가질 수 있다. 또한, 많은 눈 파라미터들은 종종 우측 및 좌측 눈 쌍들에서 유사하다. 일부 예들에서, 눈(눈의 각막)이 난시가 아닌 경우, Rx는 Ry와 같고 R과 같을 수 있다. 유사하게 비난시 눈의 경우, Qx는 Qy와 같고 Q와 같을 수 있으며; 이러한 경우, 바이코닉 타원체 눈 모델은 회전 타원체 눈 모델로 축소될 수 있다.
[0313] 위에 논의된 바와 같이, 각막 중심 및 시선 방향은 하나 이상의 눈 카메라들에 의해 캡처된 글린트 이미지들을 사용하여 추정될 수 있다.
[0314] 일부 실시예들에서, Q 파라미터의 사용자 특정 값은 Q 교정 프로세스를 사용하여 추정될 수 있다. 일부 실시예들에서, Q 교정 프로세스 동안 도 24 및 도 28 또는 그 일부와 관련하여 본원에 설명된 하나 이상의 절차들이 사용될 수 있거나, 다른 곳에 설명된 방법들이 HMD를 착용한 사용자의 눈의 각막 중심을 추정하는 데 사용되는 비구면 회전 타원체 모델에 대한 Q 파라미터의 사용자 특정 값을 결정하기 위해 채용될 수 있다. 예를 들어, 상술한 바와 같이 그리고 도 7a에 도시된 바와 같이 (예를 들어, 블록(716)에서 추정된) 각막 중심 및 (예를 들어, 각막 중심에 기초하여 블록(724)에서 추정된) 눈의 대응하는 회전 중심(CoR)은 예를 들어, 광-필드 렌더 제어기(618)에 대한 입력 파라미터들일 수 있다. 이와 같이, 추정된 각막 중심은 HMD에 의해 렌더링되는 이미지의 특성에 영향을 줄 수 있다. 유리하게는, Q 파라미터의 사용자 특정 값은 의도된 방식에 더 가깝게 사용자에 의해 인식되는 이미지를 렌더링하기 위해 라이트-필드 렌더 제어기(618) 및/또는 파라미터 값들을 라이트-필드 렌더 제어기(618)에 공급하는 하나 이상의 다른 모듈들(예를 들어, CoR 추정 모듈(732) 및 CoP 추정 모듈(724))에 의해 사용될 수 있다.
[0315] 일부 실시예들에서, Q 파라미터의 사용자 특정 값은 측정/데이터 수집 및 분석/추정을 포함하는 프로세스를 사용하여 추정될 수 있다. 측정 및 데이터 수집은 하나 이상의 광 방출기들이 사용자의 눈을 조명하여 그 위에 글린트를 형성하는 동안 사용자가 볼 타깃을 제공하고 하나 이상의 눈 추적 카메라들을 사용하여 눈의 하나 이상의 눈의 이미지들을 캡처하는 것을 포함하는 반복적인 절차일 수 있으며, 여기서 하나 이상의 이미지들은 타깃의 위치에 의해 결정되는 시선 방향과 연관된다. 일부 경우들에서, 사용자의 시선 방향을 변경하기 위해 타깃 위치가 변경되면서 이러한 프로세스가 반복될 수 있다.
[0316] 이러한 절차를 사용하여 눈의 복수의 이미지들 수집될 수 있으며, 예를 들어, 여기서 하나의 눈 카메라에 의해 캡처된 상이한 이미지들 또는 2 개의 눈 추적 카메라들에 의해 캡처된 상이한 이미지들의 쌍들이 상이한 각각의 시선 방향들과 연관된다. 일부 경우들에, 하나의 눈 카메라에 의해 캡처된 이미지 또는 2 개의 눈 추적 카메라들에 의해 캡처된 이미지들의 쌍은 하나 이상의 광 방출기들과 연관된 글린트 반사들을 포함할 수 있다. 복수의 이미지들은 예를 들어, 눈 추적 모듈(614)의 메모리 또는 HMD의 메모리에 저장될 수 있다.
[0317] 분석 및 추정 단계에서, Q 파라미터의 사용자 특정 값을 결정하기 위해 복수의 눈 이미지들이 사용될 수 있다. 일부 구현들에서, 분석 및 추정은 반복 프로세스일 수 있다. 일부 구현들에서, 반복은 본원에 설명된 하나 이상의 절차들/방법들(예를 들어, 도 24 또는 도 28에 대해 설명된 하나 이상의 절차들) 또는 다른 방법들을 사용하여 복수의 CoR 값들을 추정하는 것을 포함할 수 있다. CoR의 추정은 가능하게는 눈의 복수의 이미지들, 글린트들을 생성한 방출기들의 위치들, Q 파라미터의 초기 값 또는 이전 반복에서 생성된 Q 파라미터의 값 또는 이들 중 임의의 하나 이상을 채용할 수 있다. 예를 들어, 상이한 사전 결정된 Q 값들에 대한 추정된 CoR 값들과 연관된 통계적 파라미터 또는 메트릭(예를 들어, 분산, 표준 편차)이 계산될 수 있다. 통계 메트릭은 특정 Q 값에 대한 CoR의 측정치일 수 있거나 아니면 변동, 불안정성, 불확실성 또는 에러를 나타낼 수 있다. 통계 파라미터 또는 메트릭(예를 들어, 분산, 표준 편차)은 복수의 추정된 CoR 값들 또는 CoR 값들을 결정하는 프로세스를 사용하여 계산될 수 있다. 통계 메트릭은 예를 들어, 도 18b의 수렴 영역(1824) 또는 도 19ca, 도 19cb, 도 19cc, 도 19cd의 추정된 CoR 영역(1920) 또는 그 전체가 인용에 의해 본원에 포함되는 미국 특허 공개 US 2019/0243448A1호에 설명된 바와 같이 상이한 시선 방향에 대해 계산된 광학 축들의 수렴 영역의 크기와 상관될 수 있으며, 이로부터 CoR이 결정될 수 있다. Q 파라미터의 새로운 값은 계산된 통계 파라미터 또는 메트릭에 적어도 부분적으로 기초하여 생성될 수 있다. 예를 들어, 통계 메트릭이 모니터링될 수 있고 Q의 선택이 통계 메트릭의 값에 기초할 수 있다. 예를 들어, 감소된 또는 최소 통계 메트릭 또는 임계값 미만의 통계 메트릭에 대응하는 Q 값이 선택될 수 있다. 일부 경우들에, Q 값은 또한 가능하게는 다른 Q 값들 및/또는 통계 메트릭 또는 그에 기초한 값들에 기초하여 수정될 수 있다(예를 들어, 평균화, 스케일링 등).
[0318] 일부 실시예들에서, 제1 반복은 Q 파라미터의 초기 값을 사용할 수 있다. 후속 반복들은 일부 구현들에서 다른 접근법이 가능하지만 각각의 후속 반복 직전에 수행된 반복에서 생성된 Q 파라미터의 값을 사용할 수 있다. Q 파라미터의 초기 값은 예를 들어, 몇몇 피험자, 하나 이상의 눈 모델 등으로부터 수집한 측정 데이터에 기초하여 추정된 값일 수 있다. 일부 예들에서, Q 파라미터의 초기 값은 -0.25±0.1일 수 있다.
[0319] 일부 구현들에서, 분석 및 추정은 반복적이지 않은 프로세스일 수 있다. 예를 들어, 추정은 Q 파라미터의 복수의 사전 결정된 값들로부터의 하나 이상의 Q 값들의 선택을 포함할 수 있다. 일부 예들에서, 비-반복 프로세스는 상이한 Q 값들에 대한 복수의 CoR 값들을 추정하는 것을 포함할 수 있다. 상술한 바와 같이, CoR은 본원에 설명된 방법들(예를 들어, 도 24 또는 도 28에 대해 설명된 하나 이상의 방법들) 또는 다른 방법들을 사용하여 결정될 수 있다. CoR의 추정은 가능하게는 눈의 복수의 이미지들, 글린트들을 생성한 방출기들의 위치들, Q 파라미터의 복수의 사전 결정된 값들 또는 이들 중 하나 이상을 채용할 수 있다. 예를 들어, 상이한 사전 결정된 Q 값들에 대한 추정된 CoR 값들과 연관된 통계 파라미터 또는 메트릭(예를 들어, 분산, 표준 편차)이 계산될 수 있다. 통계 메트릭은 특정 Q 값에 대한 CoR의 측정치일 수 있거나 아니면 이의 변동, 불안정성, 불확실성 또는 에러를 나타낼 수 있다. 위에서 논의된 바와 같이, 통계 메트릭은 예를 들어, 도 18b의 수렴 영역(1824) 또는 도 19ca, 도 19cb, 도 19cd, 도 19cd의 추정된 CoR 영역(1920) 또는 그 전체가 인용에 의해 본원에 포함되는 미국 특허 공개 US 2019/0243448A1호에 설명된 바와 같이 상이한 시선 방향에 대해 계산된 광학 축들의 수렴 영역의 크기와 상관될 수 있으며, 이로부터 CoR이 결정될 수 있다. 따라서, 바람직하거나 개선된 것을 산출하는 Q 파라미터, 예를 들어, 감소된, 최소 또는 다른 더 바람직하거나 최상의 통계 파라미터 또는 메트릭이 선택될 수 있다. 일부 경우들에서, Q 값이 가능하게는 다른 Q 값들 및/또는 통계 메트릭 또는 이들에 기초한 값들에 기초하여 역시 수정될 수 있다(예를 들어, 평균화, 스케일링 등).
[0320] 일부 예들에서, Q 파라미터의 사전 결정된 복수의 값들은 문헌(예를 들어, 연구 논문, 교과서, 참고 서적 등)에 공개된 값들일 수 있다. 일부 다른 예에서, Q 파라미터의 복수의 사전 결정된 값은 모집단에 대한 Q 파라미터의 복수의 계산된 값들일 수 있다. 예를 들어, 각막 토포그래퍼(corneal topographer)가 피험자 그룹(예를 들어, 10, 50, 100명의 피험자 또는 그 이상)의 눈의 각막 형상들을 측정하는 데 사용될 수 있고, Q 파라미터의 값은 측정된 각막 형상들을 사용하여 계산될 수 있다. Q 값들을 획득하는 다른 방법들도 가능하다.
[0321] 따라서, 다양한 구현들에서, 계산된 통계적 메트릭은 예를 들어, 상이한 시선 방향들에 대한 추정된 CoR 값들의 통계 분포의 변동들의 측정치일 수 있다. 일부 구현들에서, 분산을 감소시키거나 최소화하기 위해 Q 파라미터의 새로운 값이 선택될 수 있다. 대안적으로, 메트릭은 복수의 Q 값들에 대해 결정될 수 있고 Q 값은 예를 들어, 상이한 시선 방향들에 대해 획득된 CoR 값들에서 변동, 불확실성, 에러 등을 줄이기 위해서와 같이 메트릭의 값을 줄이기 위해 메트릭에 기초하여 선택된다.
[0322] 일부 구현들에서, 상술한 프로세스는 HMD의 눈 추적 모듈(614)에 의해 수행될 수 있다. 일부 다른 구성들에서, 측정 및 데이터 수집은 눈 추적 모듈에 의해 수행될 수 있고 분석 및 추정은 HMD의 다른 모듈(예를 들어, 프로세서 및 메모리를 포함하는 프로세싱 모듈)에 의해 수행될 수 있다.
[0323] 일부 실시예들에서, 각막 중심과 같은 파라미터를 추정하기 위해 눈 이미지들을 캡처하기 위해 3 개 이상의 눈 카메라들이 사용될 수 있다. 파라미터, 예를 들어, 각막 중심은 구면 모델 및/또는 비구면 회전 타원체 모델을 사용하여 추정될 수 있다. 이러한 일부 실시예들에서, 눈-추적 모듈(614)은 3 개 이상의 눈 카메라들로부터 한 쌍의 눈 카메라를 선택하고 카메라의 쌍을 사용하여 파라미터, 예를 들어, 3D 각막 중심, 3D 동공 중심 CoR 또는 다른 파라미터를 추정할 수 있다. 예를 들어, 상술한 방법들을 사용하여 파라미터가 추정될 수 있는 사용자(예를 들어, HMD를 착용한 사용자)의 눈의 2 개(또는 그 이상) 이미지를 캡처하기 위해, 예를 들어, 3 개 이상의 눈 카메라들 중 눈 카메라의 쌍이 선택될 수 있다. 3 개 이상의 눈 카메라들 중 눈 카메라들의 상이한 쌍이 선택되어 사용자(예를 들어, HMD를 착용한 사용자)의 눈의 2 개(또는 그 이상) 이미지를 캡처할 수 있고, 파라미터가 이러한 카메라들의 쌍으로부터의 이미지들에 기초하여 다시 추정될 수 있다. 이러한 프로세스는 가능하게는 다른 상이한 카메라들의 쌍을 선택하는 것으로 반복될 수 있다. 예를 들어, 처음에 제1 및 제2 카메라를 선택된 다음 제2 및 제3 카메라가 선택되고, 그 후 제1 및 제3 카메라가 선택될 수 있다. 순서 또는 절차는 다를 수 있다. 상이한 카메라 쌍으로 획득된 값들은 파라미터의 추정을 결정하기 위해 통계적으로 결합되고, 예를 들어, 평균화되거나 이와 다르게 함께 사용될 수 있다. 이러한 파라미터는 각막 중심, 회전 중심, 관점 중심, 또는 이러한 파라미터를 획득하기 위한 중간 값의 추정과 같은 사용자의 눈의 물리적, 광학적 및/또는 구조적 특징부를 포함할 수 있다. 일부 구현들에서, 이러한 값들은 추정된 각막 중심 및/또는 다른 파라미터(들)에 기초하여 이미지를 렌더링하는데 채용될 수 있다.
상술한 다양한 실시예에서, 다양한 눈 파라미터들(예를 들어, 각막 중심, 동공 중심, 회전 중심 등)의 위치(예를 들어, 3차원 위치)는 하나 이상의 정규화된 좌표계들에 대해 계산될 수 있다. 일부 경우들에서, 눈 카메라 좌표계는 정규화된 좌표계일 수 있으며, 눈 카메라 좌표계에 대해 이미지 평면의 위치가 결정될 수 있다. 정규화된 좌표계는 예를 들어, 그 전체가 인용에 의해 본원에 포함되는, 발명의 명칭이 "디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택 및 렌더 카메라 포지셔닝(Eye Center of Rotation Determination, Depth Plane Selection, and Render Camera Positioning in Display Systems)"인 미국 특허 공개 US 2019/0243448A1호에 논의된 방법들을 사용하여 눈 추적 모듈(614)(도 7a 참조)의 좌표계 정규화 모듈(718)에 의해 결정될 수 있지만, 예를 들어, 다른 좌표계와 같은 다른 시스템에 대한 정규화하거나 아니면 좌표들/위치들을 변환하기 위해 다른 변경들 또는 접근법들이 채용될 수 있다.
T.
눈 추적을 사용할 수 없는 경우의 예들
[0324] 일부 실시예들에서, 눈 추적이 제공되지 않거나 일시적으로 이용 불가능할 수 있다. 예를 들어, 눈 추적 카메라(324) 또는 광원들(326)은 사용자에 의해 가려지거나 손상되거나 비활성화될 수 있고, 환경 조명 조건들은 눈 추적을 매우 어렵게 만들 수 있으며, 웨어러블 시스템은 눈 추적을 방지하는 방식으로 부적절하게 장착될 수 있으며, 사용자는 눈을 가늘게 뜨거나 쉽게 추적할 수 없는 눈 등을 가질 수 있다. 이러한 경우, 웨어러블 시스템은 눈 추적 데이터가 없을 때 렌더 카메라를 포지셔닝하고 깊이 평면을 선택하기 위한 다양한 전략들에 의존하도록 구성될 수 있다.
[0325] 예를 들어, 렌더 카메라와 관련하여, 웨어러블 시스템은 사용자의 동공이 몇 초 동안 또는 통상적인 깜박임보다 더 오랫동안과 같이 사전 결정된 임계값보다 더 오랫동안 검출되지 않으면 렌더 카메라를 디폴트 포지션에 포지셔닝할 수 있다. 웨어러블 시스템은 가능하게는 예를 들어, 과도 댐핑된 발진기 모델을 따를 수 있는 평활한 움직임으로 렌더링 카메라를 디폴트 포지션으로 움직일 수 있다. 일부 구현들에서, 디폴트 포지션은 특정 사용자에 대한 웨어러블 시스템의 교정 프로세스의 일부로서 결정될 수 있다. 그러나, 디폴트 포지션은 사용자의 좌측 및 우측 눈의 회전 중심이 될 수 있다. 이것은 단지 예시적인 예들일 뿐이다.
U.
주변 환경에서 객체들을 검출하는 컴퓨터 비전
[0326] 위에 언급한 바와 같이, 디스플레이 시스템은 사용자를 둘러싼 환경 내의 객체들 또는 그 속성들을 검출하도록 구성될 수 있다. 검출은 본원에서 논의된 바와 같이, 다양한 환경 센서들(예를 들어, 카메라들, 오디오 센서들, 온도 센서들 등)을 포함하는 다양한 기법들을 사용하여 달성될 수 있다.
[0327] 일부 실시예들에서, 환경에 존재하는 객체들은 컴퓨터 비전 기법들을 사용하여 검출될 수 있다. 예를 들어, 본원에 개시된 바와 같이, 디스플레이 시스템의 전향 카메라는 주변 환경을 이미징하도록 구성될 수 있고 디스플레이 시스템은 이미지에 대한 이미지 분석을 수행하여 주변 환경의 객체들의 존재를 결정하도록 구성될 수 있다. 디스플레이 시스템은 장면 재구성, 이벤트 검출, 비디오 추적, 객체 인식, 객체 포즈 추정, 학습, 인덱싱, 모션 추정 또는 이미지 복원 등을 수행하기 위해 외향 이미징 시스템에 의해 취득된 이미지들을 분석할 수 있다. 다른 예로서, 디스플레이 시스템은 사용자의 시야에서 얼굴 및/또는 인간의 눈의 존재 및 위치를 결정하기 위해 얼굴 및/또는 눈 인식을 수행하도록 구성될 수 있다. 하나 이상의 컴퓨터 비전 알고리즘을 사용하여 이러한 작업들을 수행할 수 있다. 컴퓨터 비전 알고리즘들의 비제한적 예들은 스케일 불변 피처 변환(SIFT: scale-invariant feature transform), 스피드 업 로버스트 피처(SURF: speeded up robust features), 지향된 FAST 및 회전된 BRIEF(ORB), 바이너리 로버스트 불변 스케일 가능 키포인트(BRISK: binary robust invariant scalable keypoints), 빠른 망막 키포인트(FREAK: fast retina keypoint), 비올라-존(Viola-Jones) 알고리즘, 고유 얼굴(Eigenfaces) 접근법, 루카스 카나데(Lucas-Kanade) 알고리즘, 호른-슝크(Horn-Schunk) 알고리즘, 평균-시프트(Mean-shift) 알고리즘, 비주얼 동시 위치 및 매핑(vSLAM: visual simultaneous location and mapping) 기법들, 순차적 베이지안(Bayesian) 추정기(예를 들어, 칼만(Kalman) 필터, 확장 칼만 필터 등), 번들(bundle) 조정, 적응적 임계화(및 다른 임계화 기법들), 반복 최근접 포인트(ICP: Iterative Closest Point), 세미 글로벌 매칭(SGM: Semi Global Matching), 세미 글로벌 블록 매칭(SGBM: Semi Global Block Matching), 특징점 히스토그램, 다양한 기계 학습 알고리즘(이를테면, 예를 들어, 서포트 벡터 머신, k-최근접 이웃 알고리즘, 나이브 베이즈(Naive Bayes), 신경망(컨볼루션 또는 심층 신경망 포함) 또는 다른 감독/비감독 모델 등) 등을 포함한다.
[0328] 이러한 컴퓨터 비전 기법들 중 하나 이상은 또한 센서들에 의해 검출된 객체들의 다양한 속성들을 검출하고 결정하기 위해 (예를 들어, 마이크로폰과 같은) 다른 환경 센서들로부터 취득한 데이터와 함께 사용될 수 있다.
[0329] 본원에서 논의된 바와 같이, 주변 환경의 객체들은 하나 이상의 기준에 기초하여 검출될 수 있다. 디스플레이 시스템이 컴퓨터 비전 알고리즘을 사용하거나 하나 이상의 센서 조립체(디스플레이 시스템의 일부일 수도 있고 아닐 수도 있음)로부터 수신된 데이터를 사용하여 주변 환경에서 기준의 존재 또는 부재를 검출할 때, 디스플레이 시스템은 객체의 존재를 시그널링할 수 있다.
V.
기계 학습
[0330] 다양한 기계 학습 알고리즘들을 사용하여 주변 환경에서 객체들의 존재를 식별하는 것을 학습할 수 있다. 일단 훈련되면, 기계 학습 알고리즘들은 디스플레이 시스템에 저장될 수 있다. 기계 학습 알고리즘들의 일부 예들은 회귀 알고리즘들(이를테면, 예를 들어, 오디너리 최소 제곱 회귀(Ordinary Least Squares Regression)), 인스턴스-기반 알고리즘들(이를테면, 예를 들어, 학습 벡터 양자화(Learning Vector Quantization)), 결정 트리 알고리즘들(이를테면, 예를 들어, 분류 및 회귀 트리) 베이지안 알고리즘들(베이지안 알고리즘(이를테면, 예를 들어, 나이브 베이즈(Naive Bayes)), 클러스터링 알고리즘들(이를테면, 예를 들어, k-평균 클러스터링), 연관 규칙 학습 알고리즘들(이를테면, 예를 들어, 선험적 알고리즘), 인공 신경망 알고리즘들(이를테면, 예를 들어, 퍼셉트론(Perceptron)), 심층 학습 알고리즘들(이를테면, 예를 들어, 심층 볼츠만 머신(Deep Boltzmann Machine) 또는 심층 신경망), 차원 감소 알고리즘들(예이를테면, 를 들어, 주요 컴포넌트 분석(Principal Component Analysis)), 앙상블 알고리즘들(이를테면, 예를 들어, 적층 일반화(Stacked Generalization) 및/또는 다른 기계 학습 알고리즘을 포함하는 감독 또는 비감독 기계 학습 알고리즘들을 포함할 수 있다. 일부 실시예들에서, 개별 모델들은 개별 데이터 세트들에 대해 맞춤화될 수 있다. 예를 들어, 웨어러블 디바이스는 기본 모델을 생성하거나 저장할 수 있다. 기본 모델은 데이터 유형(예를 들어, 특정 사용자), 데이터 세트(예를 들어, 획득된 추가 이미지 세트), 조건부 상황 또는 다른 변형에 특정한 추가 모델을 생성하기 위한 시작점으로 사용될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 집계된 데이터의 분석을 위한 모델을 생성하기 위해 복수의 기법들을 이용하도록 구성될 수 있다. 다른 기법들은 사전 정의된 임계값들 또는 데이터 값들을 사용하는 것을 포함할 수 있다.
[0331] 객체를 검출하기 위한 기준은 하나 이상의 임계 조건들을 포함할 수 있다. 환경 센서에 의해 취득된 데이터의 분석이 임계 조건이 통과되었음을 나타내는 경우, 디스플레이 시스템은 주변 환경에서 객체의 존재를 검출하는 것을 나타내는 신호를 제공할 수 있다. 임계 조건은 정량적 및/또는 정성적 측정을 포함할 수 있다. 예를 들어, 임계 조건은 반사 및/또는 물체가 환경에 존재할 가능성과 관련된 점수 또는 퍼센티지를 포함할 수 있다. 디스플레이 시스템은 환경 센서의 데이터에서 계산된 점수를 임계 점수와 비교할 수 있다. 점수가 임계 레벨보다 높으면 디스플레이 시스템은 반사 및/또는 객체의 존재를 검출할 수 있다. 일부 다른 실시예들에서, 디스플레이 시스템은 점수가 임계치보다 낮은 경우 환경 내의 객체의 존재를 시그널링할 수 있다. 일부 실시예들에서, 임계 조건은 사용자의 감정 상태 및/또는 주변 환경과 사용자의 상호 작용에 기초하여 결정될 수 있다.
[0332] 일부 실시예들에서, 임계 조건, 기계 학습 알고리즘 또는 컴퓨터 비전 알고리즘은 특정 상황에 대해 특화될 수 있다. 예를 들어, 진단 맥락에서, 컴퓨터 비전 알고리즘은 자극에 대한 특정 반응을 검출하도록 특화될 수 있다. 다른 예로서, 디스플레이 시스템은 본원에서 논의되는 바와 같이 자극에 대한 사용자의 반응을 감지하기 위해 얼굴 인식 알고리즘 및/또는 이벤트 추적 알고리즘을 실행할 수 있다.
[0333] 본원에서 설명되고/되거나 도면에 묘사된 각각의 프로세스, 방법 및 알고리즘은 하나 이상의 물리적 컴퓨팅 시스템, 하드웨어 컴퓨터 프로세서, 애플리케이션 특정 회로 및/또는 구체적 및 특정 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들에 의해 완전히 또는 부분적으로 자동화되어 구현될 수 있음을 이해할 것이다. 예를 들어, 컴퓨팅 시스템들은 특정 컴퓨터 명령들 또는 특수 목적 컴퓨터들, 특수 목적 회로 등으로 프로그램된 범용 컴퓨터(예를 들어, 서버)를 포함할 수 있다. 코드 모듈은 동적 링크 라이브러리에서 설치된 실행 가능한 프로그램으로 컴파일 및 링크되거나 인터프리팅된 프로그래밍 언어로 작성될 수 있다. 일부 실시예들에서, 특정 동작들 및 방법들은 주어진 기능에 특정한 회로에 의해 수행될 수 있다.
[0334] 또한, 본 개시의 기능의 특정 실시예들은 충분히 수학적으로, 계산적으로 또는 기술적으로 복잡하여 예를 들어, 관련된 계산의 양이나 복잡성으로 인해 또는 결과를 실질적으로 실시간으로 제공하기 위해, 기능을 수행하기 위해 애플리케이션-특정 하드웨어 또는 하나 이상의 물리적 컴퓨팅 디바이스(적절한 특수 실행 가능 명령들을 이용)가 필요할 수 있다. 예를 들어, 비디오는 각 프레임이 수백만 개의 픽셀을 갖는 많은 프레임을 포함할 수 있으며, 상업적으로 합리적인 시간량 내에 원하는 이미지 프로세싱 작업 또는 애플리케이션을 제공하도록 비디오 데이터를 프로세싱하기 위해 특별히 프로그래밍된 컴퓨터 하드웨어가 필요하다.
[0335] 코드 모듈들 또는 임의의 유형의 데이터는 하드 드라이브, 솔리드 스테이트 메모리, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 광 디스크, 휘발성 또는 비휘발성 저장소, 이들의 조합 등을 포함하는 물리적 컴퓨터 저장소와 같은 임의의 유형의 비일시적 컴퓨터 판독 가능 매체에 저장될 수 있다. 일부 실시예들에서, 비일시적 컴퓨터 판독 가능 매체는 로컬 프로세싱 및 데이터 모듈(140), 원격 프로세싱 모듈(150) 및 원격 데이터 저장소(160) 중 하나 이상의 일부일 수 있다. 방법들 및 모듈들(또는 데이터)은 또한 무선 기반 및 유선/케이블 기반 매체를 포함하여 다양한 컴퓨터 판독 가능 전송 매체 상에 (예를 들어, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 일부로서) 생성된 데이터 신호로서 전송될 수 있으며, (예를 들어, 단일 또는 멀티플렉싱된 아날로그 신호의 일부 또는 다중 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태를 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 영구적으로 또는 다른 방식으로 임의 유형의 비일시적 유형 컴퓨터 저장소에 저장될 수 있거나 컴퓨터 판독 가능 전송 매체를 통해 전달될 수 있다.
[0336] 본원에 설명되거나 첨부된 도면에 묘사된 흐름도의 임의의 프로세스들, 블록들, 상태들, 단계들 또는 기능들은 코드 모듈들, 세그먼트들 또는 특정 기능들(예를 들어, 논리 또는 산술) 또는 프로세스의 단계들을 구현하기 위해 하나 이상의 실행 가능한 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드의 일부들을 잠재적으로 나타내는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능들은 본원에 제공된 예시적인 예들에서 결합, 재배열, 추가, 삭제, 수정하거나 아니면 변경될 수 있다. 일부 실시예들에서, 추가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에 설명된 기능들의 일부 또는 전부를 수행할 수 있다. 본원에 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않으며, 이와 관련된 블록들, 단계들 또는 상태들은 적절한 다른 시퀀스로, 예를 들어 직렬, 병렬 또는 일부 다른 방식으로 수행될 수 있다. 개시된 예시적인 실시예에 작업들 또는 이벤트들이 추가되거나 제거될 수 있다. 또한, 본원에 설명된 실시예들에서 다양한 시스템 구성 요소의 분리는 예시를 위한 것이며 모든 실시예들에서 이러한 분리를 요구하는 것으로 이해되어서는 안 된다. 설명된 프로그램 구성 요소들, 방법들 및 시스템들은 일반적으로 단일 컴퓨터 제품에 함께 통합되거나 복수의 컴퓨터 제품들로 패키징될 수 있음을 이해해야 한다.
W.
기타 고려 사항
[0337] 본원에서 설명되고/되거나 첨부된 도면에 묘사된 각각의 프로세스들, 방법들 및 알고리즘들은 하나 이상의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 애플리케이션-특정 회로 및/또는 구체적 및 특정 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈에 구현되고 이에 의해 완전히 또는 부분적으로 자동화될 수 있다. 예를 들어, 컴퓨팅 시스템은 특정 컴퓨터 명령들로 프로그래밍된 범용 컴퓨터들(예를 들어, 서버) 또는 특수 목적 컴퓨터들, 특수 목적 회로 등을 포함할 수 있다. 코드 모듈은 동적 링크 라이브러리에 설치된 실행 가능한 프로그램으로 컴파일 및 링크되거나 인터프리팅된 프로그래밍 언어로 작성될 수 있다. 일부 구현들에서 특정 동작들 및 방법들은 주어진 기능에 특정한 회로에 의해 수행될 수 있다.
[0338] 또한, 본 개시의 기능의 특정 구현들은 충분히 수학적으로, 계산적으로 또는 기술적으로 복잡하여 예를 들어, 관련된 계산의 양이나 복잡성으로 인해 또는 결과를 실질적으로 실시간으로 제공하기 위해, 기능을 수행하기 위해 애플리케이션-특정 하드웨어 또는 하나 이상의 물리적 컴퓨팅 디바이스(적절한 특수 실행 가능 명령들을 이용)가 필요할 수 있다. 예를 들어, 애니메이션들 또는 비디오는 각 프레임이 수백만 개의 픽셀을 갖는 많은 프레임을 포함할 수 있으며, 상업적으로 합리적인 시간량 내에 원하는 이미지 프로세싱 작업 또는 애플리케이션을 제공하도록 비디오 데이터를 프로세싱하기 위해 특별히 프로그래밍된 컴퓨터 하드웨어가 필요하다.
[0339] 코드 모듈 또는 임의 유형의 데이터는 하드 드라이브, 솔리드 스테이트 메모리, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 광 디스크, 휘발성 또는 비휘발성 저장소, 이들의 조합 등을 포함하는 물리적 컴퓨터 저장소와 같은 임의 유형의 비일시적 컴퓨터 판독 가능 매체에 저장될 수 있다. 방법들 및 모듈들(또는 데이터)은 또한 무선 기반 및 유선/케이블 기반 매체를 포함하여 다양한 컴퓨터 판독 가능 전송 매체 상에 (예를 들어, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 일부로서) 생성된 데이터 신호로서 전송될 수 있으며, (예를 들어, 단일 또는 멀티플렉싱된 아날로그 신호의 일부 또는 다중 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태를 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 영구적으로 또는 다른 방식으로 임의 유형의 비일시적 유형 컴퓨터 저장소에 저장될 수 있거나 컴퓨터 판독 가능 전송 매체를 통해 전달될 수 있다.
[0340] 본원에 설명되거나 첨부된 도면에 묘사된 흐름도의 임의의 프로세스들, 블록들, 상태들, 단계들 또는 기능들은 코드 모듈들, 세그먼트들 또는 특정 기능들(예를 들어, 논리 또는 산술) 또는 프로세스의 단계들을 구현하기 위해 하나 이상의 실행 가능한 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드의 일부들을 잠재적으로 나타내는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능들은 본원에 제공된 예시적인 예들에서 결합, 재배열, 추가, 삭제, 수정하거나 아니면 변경될 수 있다. 일부 실시예들에서, 추가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에 설명된 기능들의 일부 또는 전부를 수행할 수 있다. 본원에 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않으며, 이와 관련된 블록들, 단계들 또는 상태들은 적절한 다른 시퀀스로, 예를 들어 직렬, 병렬 또는 일부 다른 방식으로 수행될 수 있다. 개시된 예시적인 실시예에 작업들 또는 이벤트들이 추가되거나 제거될 수 있다. 또한, 본원에 설명된 실시예들에서 다양한 시스템 구성 요소의 분리는 예시를 위한 것이며 모든 구현들에서 이러한 분리를 요구하는 것으로 이해되어서는 안 된다. 설명된 프로그램 구성 요소들, 방법들 및 시스템들은 일반적으로 단일 컴퓨터 제품에 함께 통합되거나 복수의 컴퓨터 제품들로 패키징될 수 있음을 이해해야 한다. 많은 구현 변경들이 가능하다.
[0341] 프로세스들, 방법들 및 시스템들은 네트워크(또는 분산) 컴퓨팅 환경에서 구현될 수 있다. 네트워크 환경들은 전사적 컴퓨터 네트워크들, 인트라넷들, 근거리 네트워크(LAN: local area network), 광역 네트워크(WAN: wide area network), 개인 영역 네트워크(PAN: personal area network), 클라우드 컴퓨팅 네트워크, 크라우드-소싱된 컴퓨팅 네트워크들, 인터넷 및 월드 와이드 웹(World Wide Web)을 포함한다. 네트워크는 유선 또는 무선 네트워크 또는 임의의 다른 유형의 통신 네트워크일 수 있다.
[0342] 본 개시의 시스템들 및 방법들은 각각 몇 가지 혁신적인 양태들을 가지며, 그 중 어느 하나도 본원에 개시된 바람직한 속성에 대해 단독으로 담당하거나 요구되지 않는다. 상술한 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나, 다양한 방식으로 조합될 수 있다. 모든 가능한 조합 및 하위 조합은 본 개시의 범위 내에 속하는 것으로 의도된다. 본 개시에 설명된 구현들에 대한 다양한 수정들이 본 기술 분야의 통상의 기술자에게 쉽게 명백할 수 있고, 본원에서 정의된 일반적인 원리들은 본 개시의 사상 또는 범위를 벗어나지 않고 다른 구현들에 적용될 수 있다. 따라서, 청구항들은 본원에 나타낸 구현들로 제한하려는 것이 아니라, 본원에 개시된 본 개시, 원리 및 신규 특징들과 일치하는 가장 넓은 범위에 따라야 한다.
[0343] 별도의 구현들의 맥락에서 본 명세서에 설명된 특정의 특징들은 또한 단일 구현에서 조합하여 구현될 수 있다. 역으로, 단일 구현의 맥락에서 설명된 다양한 특징들이 또한 복수의 구현들에서 개별적으로 또는 임의의 적합한 하위 조합으로 구현될 수 있다. 또한, 특징들이 특정 조합에서 작용하는 것으로 위에서 설명되고 심지어 초기에 이와 같이 청구되었을지라도 청구된 조합에서 하나 이상의 특징들이 일부 경우에 조합에서 제외될 수 있으며 청구된 조합은 하위 조합 또는 하위 조합의 변형에 관한 것일 수 있다. 단일 특징 또는 특징들의 그룹은 각각의 그리고 모든 실시예에 필요하거나 필수적인 것이 아니다.
[0344] 특히 "할 수 있다", "할 수 있었다", "할 수도 있었다", "할 수도 있다", "예를 들어" 등과 같은 본원에서 사용되는 조건부 언어는 달리 구체적으로 언급되지 않거나 사용된 문맥 내에서 달리 이해되지 않는 한, 일반적으로 특정 실시예가 특정의 특징들, 요소들 및/또는 단계들을 포함하지만 다른 실시예는 이를 포함하지 않는다는 것을 전달하도록 의도된다. 따라서, 이러한 조건부 언어는 일반적으로 특징들, 요소들 및/또는 단계들이 하나 이상의 실시예에 어떤 식으로든 요구되거나 하나 이상의 실시예가 이러한 특징들, 요소들 및/또는 단계들이 임의의 특정 실시예에 포함되거나 수행될 것이라는 것에 대해 작성자 입력 또는 프롬프팅으로 또는 이들 없이 결정하기 위한 로직을 반드시 포함한다는 것을 의미하도록 의도되지 않는다. "포함하는(comprising)", "포함하는(including)", "갖는(having)" 등의 용어는 동의어이며 포괄적으로 개방형 방식으로 사용되며 추가 요소들, 특징들, 행위들, 동작들 등을 배제하지 않는다. 또한 "또는"이라는 용어는 (배타적인 의미가 아니라) 포괄적인 의미로 사용되어 예를 들어, 요소 목록을 연결하는 데 사용될 때 "또는"이라는 용어는 목록 중 하나, 일부 또는 전부를 의미한다. 또한, 본 출원 및 첨부된 청구항들에 사용된 관사 "어느(a)", "어떤(an)" 및 "그(the)"는 달리 명시되지 않는 한 "하나 이상" 또는 "적어도 하나"를 의미하는 것으로 해석되어야 한다.
[0345] 본원에서 사용된 항목 목록 "중 적어도 하나"를 언급하는 문구는 단일 멤버들을 포함하여 해당 항목들의 임의의 조합을 지칭한다. 예를 들어, "A, B, 또는 C 중 적어도 하나"는 A, B, C, A 및 B, A 및 C, B 및 C, A, B 및 C를 포함하도록 의도된다. "X, Y 및 Z 중 적어도 하나"와 같은 문구와 같은 연결어는 달리 구체적으로 언급되지 않는 한 항목, 용어 등이 X, Y 또는 Z 중 적어도 하나일 수 있음을 전달하기 위해 일반적으로 사용되는 문맥으로 다르게 이해된다. 따라서, 이러한 연결어는 일반적으로 특정 실시예가 X 중 적어도 하나, Y 중 적어도 하나 및 Z 중 적어도 하나가 각각 존재하는 것을 필요로 한다는 것을 의미하는 것으로 의도되지 않는다.
[0346] 유사하게, 동작들이 특정 순서로 도면에 묘사될 수 있지만, 이러한 동작들은 나타낸 특정 순서로 또는 순차적인 순서로 수행될 필요가 없으며, 바람직한 결과들을 달성하기 위해 모든 예시된 동작들이 수행될 필요가 없음을 인식해야 한다. 또한, 도면들은 흐름도의 형태로 하나 이상의 예시적인 프로세스들을 개략적으로 묘사할 수 있다. 그러나, 묘사되지 않은 다른 동작들이 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예를 들어, 하나 이상의 추가 동작들이 예시된 동작들 전, 후, 동시에 또는 그 사이에 수행될 수 있다. 또한, 동작들은 다른 구현들에서 재정렬되거나 재순서화될 수 있다. 특정 상황에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 또한, 위에서 설명한 구현들에서 다양한 시스템 구성 요소들의 분리는 모든 구현에서 이러한 분리를 요구하는 것으로 이해되어서는 안 되며, 설명된 프로그램 구성 요소 및 시스템은 일반적으로 단일 소프트웨어 제품에 함께 통합되거나 복수의 소프트웨어 제품들로 패키징될 수 있음을 이해해야 한다. 또한, 다른 구현들도 이하의 청구항들의 범위 내에 있다. 일부 경우에, 청구항들에 인용된 액션들이 다른 순서로 수행될 수 있으며 여전히 바람직한 결과들을 달성할 수 있다.
X.
예시
[0347] 아래에 열거된 예들과 같이 사용자가 상기 사용자의 시계에 가상 이미지 컨텐츠를 표시하도록 구성된 디스플레이 시스템들의 예들이 본원에서 설명된다:
파트-A
[0348] 예 1: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 디스플레이 시스템은: 사용자의 머리 상에 지지되도록 구성된 프레임; 프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―; 사용자의 눈을 이미징하도록 구성된 제1 눈 추적 카메라 및 제2 눈 추적 카메라; 복수의 광 방출기들; 및 디스플레이 및 제1 눈 추적 카메라와 제2 눈 추적 카메라와 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는: 제1 눈 추적 카메라 및 제2 눈 추적 카메라에 의해 캡처된 사용자의 눈의 이미지들, 제1 눈 추적 카메라 및 제2 눈 추적 카메라에 의해 캡처된 눈의 상기 이미지들에서 관찰 가능한 상이한 광 방출기들의 글린트 반사들을 수신하고; 그리고 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라 모두에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 그리고 제1 눈 추적 카메라 및 제2 눈 추적 카메라 모두의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 각막 곡률 중심의 위치를 추정하도록 구성된다.
[0349] 예 2: 예 1의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는: 상기 제1 눈 추적 카메라에 의해 생성된 하나 이상의 이미지들에서 글린트 반사들의 위치에 기초하여 그리고 제1 눈 추적 카메라의 위치 및 상기 글린트 반사들을 생성한 방출기들의 위치에 기초하여, 사용자의 눈의 각막 곡률 중심을 향한 제1 방향을 결정하고; 상기 제2 눈 추적 카메라에 의해 생성된 하나 이상의 이미지들에서 글린트 반사들의 위치에 기초하고 제2 눈 추적 카메라의 위치 및 상기 글린트 반사들을 생성한 방출기들의 위치에 기초하여, 사용자의 눈의 각막 곡률 중심을 향한 제2 방향을 결정하도록 구성된다.
[0350] 예 3: 예 2의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는: 제1 눈 추적 카메라, 제1 글린트 반사의 위치 및 상기 제1 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제1 평면을 정의하고; 제1 눈 추적 카메라, 제2 글린트 반사의 위치 및 상기 제2 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제2 평면을 정의하고; 제1 평면 및 제2 평면의 수렴 영역을 결정함으로써 제1 방향을 결정하도록 구성되고, 수렴 영역은 제1 방향을 따라 연장된다.
[0351] 예 4: 예 3의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 제2 눈 추적 카메라, 제3 글린트 반사의 위치 및 상기 제3 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제3 평면을 정의하고; 제2 눈 추적 카메라, 제4 글린트 반사의 위치 및 상기 제4 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제4 평면을 정의하고; 제3 평면 및 제4 평면의 수렴 영역을 결정함으로써 제2 방향을 결정하도록 구성되고, 수렴 영역은 제2 방향을 따라 연장된다.
[0352] 예 5: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 각막 곡률 중심을 향한 상기 제1 방향 및 상기 제2 방향에 기초하여 사용자의 눈의 상기 각막 곡률 중심의 위치를 추정하도록 구성된다.
[0353] 예 6: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는: 제1 눈 추적 카메라로부터 수신된 적어도 하나의 제1 이미지에 기초하여 사용자의 눈의 각막 곡률 중심이 따라서 위치되는 것으로 추정되는 상기 제1 방향을 결정하고; 제2 눈 추적 카메라로부터 수신된 적어도 하나의 제2 이미지에 기초하여 사용자의 눈의 각막 곡률 중심이 따라서 위치되는 것으로 추정되는 상기 제2 방향을 결정하도록 구성되고, 상기 제1 방향 및 상기 제2 방향은 영역을 향해 수렴한다.
[0354] 예 7: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는: 제1 방향과 제2 방향의 수렴에 기초하여 사용자의 눈의 각막 곡률 중심의 추정을 획득하도록 구성된다.
[0355] 예 8: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 각막 곡률 중심을 향한 상기 제1 방향 및 상기 제2 방향의 수렴 영역을 식별함으로써 사용자의 눈의 상기 각막 곡률 중심의 위치를 추정하도록 구성된다.
[0356] 예 9: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상이한 눈 포즈들에 대한 사용자의 눈의 각막 곡률 중심의 복수의 결정들에 기초하여 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0357] 예 10: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상이한 눈 포즈들에 대한 사용자의 눈의 각막 곡률 중심의 추정에 대응하는 포인트들의 궤적을 결정하도록 구성된다.
[0358] 예 11: 예 10의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상이한 눈 포즈들에 대한 사용자의 눈의 각막 곡률 중심의 추정에 대응하는 상기 포인트들의 궤적에 기초하여 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0359] 예 12: 예 10 또는 예 11의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 포인트들의 궤적에 기초하여 표면을 결정하고 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0360] 예 13: 예 10 또는 예 11의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 포인트들의 궤적에 기초하여 표면을 결정하고 상기 표면의 곡률 중심을 추정함으로써 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0361] 예 14: 예 10 또는 예 11의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 포인트들의 궤적에 기초하여 표면을 결정하고, 상기 표면에 대한 복수의 법선들이 수렴하는 영역을 결정함으로써 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0362] 예 15: 예 12, 예 13 또는 예 14 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 표면을 획득하기 위해 상기 표면을 상기 포인트들의 궤적에 맞추도록 구성된다.
[0363] 예 16: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈에 제공되는 가상 이미지들을 렌더링하기 위해 렌더 카메라를 사용하도록 구성되며, 상기 렌더 카메라는 상기 회전 중심에 의해 결정된 포지션을 갖는다.
[0364] 예 17: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 발산 및 시준 중 적어도 하나의 상이한 양으로 가상 이미지 컨텐츠를 사용자의 시계에 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성되고, 따라서 표시된 가상 이미지 컨텐츠는 상이한 기간들에서 상이한 깊이들로부터 발생하는 것처럼 보인다.
[0365] 예 18: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 디스플레이 시스템은: 사용자의 머리 상에 지지되도록 구성된 프레임; 프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―; 사용자의 눈을 이미징하도록 구성된 제1 눈 추적 카메라 및 제2 눈 추적 카메라; 복수의 광 방출기들; 및 디스플레이 및 제1 눈 추적 카메라와 제2 눈 추적 카메라와 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는: 제1 눈 추적 카메라 및 제2 눈 추적 카메라에 의해 캡처된 사용자의 눈의 이미지들, 제1 눈 추적 카메라 및 제2 눈 추적 카메라에 의해 캡처된 눈의 상기 이미지들에서 관찰 가능한 상이한 광 방출기들의 글린트 반사들을 수신하고; 그리고 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라 모두에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 그리고 제1 눈 추적 카메라 및 제2 눈 추적 카메라 모두의 상기 위치 및 복수의 눈 포즈들에 대한 상기 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 회전 중심의 위치를 추정하도록 구성된다.
[0366] 예 19: 예 18의 시스템에 있어서, 상기 눈의 회전 중심의 추정을 획득하기 위해, 프로세싱 전자기기는: 복수의 눈 포즈들에 대한 복수의 글린트 반사들에 기초하여 사용자의 눈의 각막 곡률 중심의 복수의 추정들을 결정하고; 상기 복수의 눈 포즈들에 대한 사용자의 눈의 각막 곡률 중심의 복수의 추정들에 기초하여 사용자의 눈의 회전 중심의 추정을 결정하도록 구성된다.
[0367] 예 20: 예 19의 시스템에 있어서, 사용자의 눈의 각막 곡률의 상기 복수의 추정들을 결정하기 위해, 프로세싱 전자기기는 상기 복수의 방출기들 중 적어도 일부 및 눈 추적 카메라들 중 제1 카메라의 각각의 위치들에 기초하여 각막 곡률 중심을 향한 제1 방향을 결정하고; 상기 복수의 방출기들 중 적어도 일부 및 눈 추적 카메라들 중 제2 카메라의 각각의 위치들에 기초하여 각막 곡률의 중심을 향한 제2 방향을 결정하고; 상기 제1 방향 및 상기 제2 방향에 기초하여 사용자의 눈의 각막 곡률 중심의 추정을 결정하도록 구성된다.
[0368] 예 21: 예 20의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 제1 눈 추적 카메라, 제1 글린트 반사의 위치 및 상기 제1 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제1 평면을 정의하고; 제1 눈 추적 카메라, 제2 글린트 반사의 위치 및 상기 제2 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제2 평면을 정의하고; 제1 평면 및 제2 평면의 수렴 영역을 결정함으로써 제1 방향을 결정하도록 구성되고, 수렴 영역은 제1 방향을 따라 연장된다.
[0369] 예 22: 예 21의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 제2 눈 추적 카메라, 제3 글린트 반사의 위치 및 상기 제3 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제3 평면을 정의하고; 제2 눈 추적 카메라, 제4 글린트 반사의 위치 및 상기 제4 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제4 평면을 정의하고; 제3 평면 및 제4 평면의 수렴 영역을 결정함으로써 제2 방향을 결정하도록 구성되고, 수렴 영역은 제2 방향을 따라 연장된다.
[0370] 예 23: 예 20 내지 예 22 중 어느 하나의 시스템에 있어서, 사용자의 눈의 각막 곡률의 상기 복수의 추정들을 결정하기 위해, 프로세싱 전자기기는: 사용자의 눈의 각막 곡률 중심의 추정을 결정하기 위해 제1 방향과 제2 방향 사이의 수렴 영역을 결정하도록 구성된다.
[0371] 예 24: 예 19 내지 예 23 중 어느 하나의 시스템에 있어서, 상기 눈의 회전 중심의 추정을 획득하기 위해, 프로세싱 전자기기는: 각막 곡률 중심의 복수의 추정들과 연관된 3차원 표면을 생성하고; 3차원 표면에 기초하여 사용자의 눈의 회전 중심의 추정을 결정하도록 구성된다.
[0372] 예 25: 예 24의 시스템에 있어서, 각막 곡률 중심의 복수의 추정들과 연관된 3차원 표면을 생성하기 위해, 프로세싱 전자기기는 표면을 각막 곡률 중심의 복수의 추정들에 맞추도록 구성된다.
[0373] 예 26: 예 24의 시스템에 있어서, 각막 곡률 중심의 복수의 추정들과 연관된 3차원 표면을 생성하기 위해, 프로세싱 전자기기는 구를 각막 곡률 중심의 복수의 추정들에 맞추도록 구성된다.
[0374] 예 27: 예 24 내지 예 26 중 어느 하나의 시스템에 있어서, 사용자의 눈의 회전 중심의 추정을 결정하기 위해, 프로세싱 전자기기는: 3차원 표면에 대한 2 개 이상의 법선들을 결정하고; 2 개 이상의 법선들의 수렴 영역을 결정하도록 구성되고, 수렴 영역은 사용자의 눈의 회전 중심의 추정을 포함한다.
[0375] 예 28: 예 21 내지 예 27 중 어느 하나의 시스템에 있어서, 사용자의 눈의 하나 이상의 이미지들은 사용자의 눈의 상이한 시선 벡터들과 연관된 하나 이상의 이미지들을 포함한다.
[0376] 예 29: 예 21 내지 예 28 중 어느 하나의 시스템에 있어서, 프로세싱 전자기기는 시선 타깃을 사용하여 사용자의 눈의 각막을 매핑하도록 구성된다.
[0377] 예 30: 예 18 내지 예 29 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈에 제공되는 가상 이미지를 렌더링하기 위해 렌더 카메라를 사용하도록 구성되며, 상기 렌더 카메라는 상기 회전 중심에 의해 결정된 포지션을 갖는다.
[0378] 예 31: 예 18 내지 예 30 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 발산 및 시준 중 적어도 하나의 상이한 양으로 가상 이미지 컨텐츠를 사용자의 시계에 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성되고, 따라서 표시된 가상 이미지 컨텐츠는 상이한 기간들에서 상이한 깊이들로부터 발생하는 것처럼 보인다.
[0379] 예 32: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템에서 가상 이미지 컨텐츠를 렌더링하기 위해 눈과 연관된 하나 이상의 파라미터들을 결정하는 방법으로서, 상기 눈은 각막을 가지며, 상기 방법은: 사용자의 눈을 이미징하도록 구성된 복수의 눈 추적 카메라들 및 그 위에 글린트들을 형성하기 위해 상기 눈에 대해 배치된 복수의 광 방출기들로, 사용자의 눈의 복수의 이미지들 ― 상기 이미지들은 복수의 글린트들을 포함함 ― 을 캡처하는 단계; 및 복수의 글린트들에 기초하여 상기 눈의 회전 중심의 추정을 획득하는 단계를 포함하고, 상기 눈의 회전 중심의 추정을 획득하는 단계는: 복수의 글린트들에 기초하여 사용자의 눈의 각막 곡률 중심의 복수의 추정들을 결정하는 단계; 각막 곡률 중심의 복수의 추정들로부터 3차원 표면을 생성하는 단계; 및 3차원 표면을 사용하여 사용자의 눈의 회전 중심의 추정을 결정하는 단계를 포함한다.
[0380] 예 33: 예 32의 방법에 있어서, 사용자의 눈의 각막 곡률의 복수의 추정들을 결정하는 단계는: 복수의 광 방출기들 중 적어도 일부의 위치들 및 복수의 눈 추적 카메라들 중 제1 카메라의 위치에 기초하여 각막 곡률 중심을 향한 제1 벡터를 결정하는 단계; 복수의 광 방출기들 중 적어도 일부의 위치들 및 복수의 눈 추적 카메라들 중 제2 카메라의 위치에 기초하여 각막 곡률의 중심을 향한 제2 벡터를 결정하는 단계; 및 사용자의 눈의 각막 곡률 중심의 추정을 결정하기 위해 제1 벡터와 제2 벡터 사이의 수렴 영역을 결정하는 단계를 포함한다.
[0381] 예 34: 예 33의 방법에 있어서, 제1 방향은: 제1 눈 추적 카메라, 제1 글린트 반사의 위치 및 상기 제1 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제1 평면을 정의하고; 제1 눈 추적 카메라, 제2 글린트 반사의 위치 및 상기 제2 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제2 평면을 정의하고; 제1 평면 및 제2 평면의 수렴 영역을 결정함으로써 결정되고, 수렴 영역은 제1 방향을 따라 연장된다.
[0382] 예 35: 예 33의 방법에 있어서, 제2 방향은 제2 눈 추적 카메라, 제3 글린트 반사의 위치 및 상기 제3 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제3 평면을 정의하고; 제2 눈 추적 카메라, 제4 글린트 반사의 위치 및 상기 제4 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제4 평면을 정의하고; 제3 평면 및 제4 평면의 수렴 영역을 결정함으로써 결정되고, 수렴 영역은 제2 방향을 따라 연장된다.
[0383] 예 36: 예 32 내지 예 35 중 어느 하나의 방법에 있어서, 각막 곡률 중심의 복수의 추정들로부터 3차원 표면을 생성하는 단계는 표면을 각막 곡률 중심의 복수의 추정들에 맞추는 단계를 포함한다.
[0384] 예 37: 예 32 내지 예 35 중 임의의 방법에 있어서, 각막 곡률 중심의 복수의 추정들로부터 3차원 표면을 생성하는 단계는 구를 각막 곡률 중심의 복수의 추정들에 맞추는 단계를 포함한다.
[0385] 예 38: 예 32 내지 예 37 중 어느 하나의 방법에 있어서, 사용자의 눈의 회전 중심의 추정을 결정하는 단계는: 3차원 표면에 수직인 2 개 이상의 벡터들을 결정하는 단계; 및 3차원 표면에 수직인 2 개 이상의 벡터들의 수렴 영역을 결정하는 단계를 포함하고, 수렴 영역은 사용자의 눈의 회전 중심의 추정을 포함한다.
[0386] 예 39: 예 32 내지 예 38 중 어느 하나의 방법에 있어서, 사용자의 눈의 복수의 이미지들은 사용자의 눈의 상이한 시선 방향들과 연관된 이미지들을 포함한다.
[0387] 예 40: 예 32 내지 예 39 중 어느 하나의 방법에 있어서, 시선 타깃을 사용하여 사용자의 눈의 각막을 매핑하는 단계를 더 포함한다.
[0388] 예 41: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 디스플레이 시스템은: 사용자의 머리 상에 지지되도록 구성된 프레임; 프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―; 사용자의 눈을 이미징하도록 구성된 제1 눈 추적 카메라 및 제2 눈 추적 카메라; 및 디스플레이 및 제1 눈 추적 카메라와 제2 눈 추적 카메라와 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는: 제1 눈 추적 카메라 및 제2 눈 추적 카메라로부터 사용자의 눈의 캡처된 이미지들의 복수의 쌍들을 수신하고; 제1 눈 추적 카메라 및 제2 눈 추적 카메라로부터 각각 수신된 이미지들의 쌍들에 대해, 캡처된 이미지들의 각각의 쌍에 적어도 부분적으로 기초하여 사용자의 눈의 각막 곡률 중심의 추정을 획득하고; 각각의 제1 눈 추적 카메라 및 제2 눈 추적 카메라로부터 수신된 사용자의 눈의 캡처된 이미지들의 복수의 쌍들에 기초하여 획득된 사용자의 눈의 각막 곡률의 추정된 중심들에 기초하여 3차원 표면을 결정하고; 사용자의 눈의 회전 중심의 추정을 획득하기 위해 3D 표면의 곡률 중심을 식별하도록 구성된다.
[0389] 예 42: 예 41의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 각각의 제1 눈 추적 카메라 및 제2 눈 추적 카메라로부터 수신된 사용자의 눈의 캡처된 이미지들의 복수의 쌍들에 기초하여 획득된 사용자의 눈의 각막 곡률의 추정된 중심들에 3차원 표면을 맞추도록 구성된다.
[0390] 예 43: 예 41 또는 예 42의 디스플레이 시스템에 있어서, 캡처된 이미지들의 각각의 쌍에 적어도 부분적으로 기초하여 사용자의 눈의 각막 곡률 중심의 추정을 획득하기 위해, 프로세싱 전자기기는: 제1 눈 추적 카메라로부터 수신된 제1 이미지에 기초하여 사용자의 눈의 각막 곡률 중심이 따라서 위치될 것으로 추정되는 제1 벡터를 결정하고; 제2 눈 추적 카메라로부터 수신된 제2 이미지에 기초하여 사용자의 눈의 각막 곡률 중심이 따라서 위치될 것으로 추정되는 제2 벡터를 결정하고 ― 제1 이미지 및 제2 이미지는 이미지들의 상기 쌍들 중 하나에 대응함 ―; 사용자의 눈의 각막 곡률 중심의 추정을 획득하기 위해 제1 벡터와 제2 벡터의 방향으로 연장되는 경로들 사이의 수렴 영역을 식별하도록 구성된다.
[0391] 예 44: 예 43의 디스플레이 시스템에 있어서, 그 위에 글린트 반사들을 형성하기 위해 사용자의 눈을 조명하도록 구성된 복수의 광 방출기들을 더 포함하고, 캡처된 이미지들의 쌍 중 제1 이미지에 기초하여 제1 벡터를 결정하기 위해, 프로세싱 전자기기는: 제1 눈 추적 카메라, 제1 글린트 반사의 위치 및 상기 제1 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제1 평면을 정의하고; 제1 눈 추적 카메라, 제2 글린트 반사의 위치 및 상기 제2 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제2 평면을 정의하고; 제1 평면과 제2 평면의 수렴 영역을 식별하도록 구성되고, 수렴 영역은 제1 벡터의 방향을 따라 연장된다.
[0392] 예 45: 예 44의 디스플레이 시스템에 있어서, 캡처된 이미지들의 각각의 쌍에서 제2 이미지에 기초하여 제2 벡터를 결정하기 위해, 프로세싱 전자기기는: 제2 눈 추적 카메라, 제3 글린트 반사의 위치 및 상기 제3 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제3 평면을 정의하고; 제2 눈 추적 카메라, 제4 글린트 반사의 위치 및 상기 제4 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제4 평면을 정의하고; 제3 평면과 제4 평면의 수렴 영역을 결정하도록 구성되고, 수렴 영역은 제2 벡터의 방향을 따라 연장된다.
[0393] 예 46: 예 41 내지 예 45 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈에 제공될 가상 이미지를 렌더링하기 위해 렌더 카메라를 사용하도록 구성되고, 상기 렌더 카메라는 상기 회전 중심에 의해 결정된 포지션을 갖는다.
[0394] 예 47: 예 41 내지 예 46 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 발산 및 시준 중 적어도 하나의 상이한 양으로 가상 이미지 컨텐츠를 사용자의 시계에 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성되고, 따라서 표시된 가상 이미지 컨텐츠는 상이한 기간들에서 상이한 깊이들로부터 발생하는 것처럼 보인다.
[0395] 예 48: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리 장착형 디스플레이를 착용할 때 사용자의 눈 앞 위치에 배치되어 상기 투명 부분은 사용자 앞 환경의 일부 및 상기 머리 장착형 디스플레이로부터 사용자의 눈으로 광을 투과시켜 사용자 및 상기 머리 장착형 디스플레이 앞 환경의 상기 부분의 뷰를 제공한다.
[0396] 예 49: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 디스플레이 시스템은: 사용자의 머리 상에 지지되도록 구성된 프레임; 프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―; 사용자의 눈을 이미징하도록 구성된 눈 추적 카메라; 복수의 광 방출기들; 및 디스플레이 및 눈 추적 카메라와 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는: 제1 위치 및 제2 위치에서 눈 추적 카메라에 의해 캡처된 사용자의 눈의 이미지들, 눈 추적 카메라에 의해 캡처된 눈의 상기 이미지들에서 관찰 가능한 상이한 광 방출기들의 글린트 반사들을 수신하고; 그리고 상기 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 눈 추적 카메라의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 각막 곡률 중심의 위치를 추정하도록 구성된다.
[0397] 예 50: 예 49의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는: 상기 눈 추적 카메라에 의해 생성된 하나 이상의 이미지들에서 글린트 반사들의 위치에 기초하고 눈 추적 카메라의 제1 위치 및 상기 글린트 반사들을 생성한 방출기들의 위치에 기초하여, 사용자의 눈의 각막 곡률 중심을 향한 제1 방향을 결정하고; 상기 눈 추적 카메라에 의해 생성된 하나 이상의 이미지들에서 글린트 반사들의 위치에 기초하고 눈 추적 카메라의 제2 위치 및 상기 글린트 반사들을 생성한 방출기들의 위치에 기초하여, 사용자의 눈의 각막 곡률 중심을 향한 제2 방향을 결정하도록 구성된다.
[0398] 예 51: 예 50의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 눈 추적 카메라의 제1 위치, 제1 글린트 반사의 위치 및 상기 제1 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제1 평면을 정의하고; 눈 추적 카메라의 제1 위치, 제2 글린트 반사의 위치 및 상기 제2 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제2 평면을 정의하고; 제1 평면 및 제2 평면의 수렴 영역을 결정함으로써 제1 방향을 결정하도록 구성되고, 수렴 영역은 제1 방향을 따라 연장된다.
[0399] 예 52: 예 51의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 눈 추적 카메라의 제2 위치, 제3 글린트 반사의 위치 및 상기 제3 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제3 평면을 정의하고; 눈 추적 카메라의 제2 위치, 제4 글린트 반사의 위치 및 상기 제4 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제4 평면을 정의하고; 제3 평면 및 제4 평면의 수렴 영역을 결정함으로써 제2 방향을 결정하도록 구성되고, 수렴 영역은 제2 방향을 따라 연장된다.
[0400] 예 53: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 각막 곡률 중심을 향한 상기 제1 방향 및 상기 제2 방향에 기초하여 사용자의 눈의 상기 각막 곡률 중심의 위치를 추정하도록 구성된다.
[0401] 예 54: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는: 눈 추적 카메라의 제1 위치로부터 수신된 적어도 하나의 제1 이미지에 기초하여 사용자의 눈의 각막 곡률 중심이 따라서 위치되는 것으로 추정되는 상기 제1 방향을 결정하고; 눈 추적 카메라의 제2 위치로부터 수신된 적어도 하나의 제1 이미지에 기초하여 사용자의 눈의 각막 곡률 중심이 따라서 위치되는 것으로 추정되는 상기 제1 방향을 결정하도록 구성되고, 상기 제1 방향 및 상기 제2 방향은 영역을 향해 수렴한다.
[0402] 예 55: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는:
[0403] 제1 방향 및 제2 방향의 수렴에 기초하여 사용자의 눈의 각막 곡률 중심의 추정을 획득하도록 구성된다.
[0404] 예 56: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 각막 곡률 중심을 향한 상기 제1 방향 및 상기 제2 방향의 수렴 영역을 식별함으로써 사용자의 눈의 상기 각막 곡률 중심의 위치를 추정하도록 구성된다.
[0405] 예 57: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상이한 눈 포즈들에 대한 사용자의 눈의 각막 곡률 중심의 복수의 결정들에 기초하여 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0406] 예 58: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상이한 눈 포즈들에 대한 사용자의 눈의 각막 곡률 중심의 추정들에 대응하는 포인트들의 궤적을 결정하도록 구성된다.
[0407] 예 59: 예 58의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상이한 눈 포즈들에 대한 사용자의 눈의 각막 곡률 중심의 추정들에 대응하는 상기 포인트들의 궤적에 기초하여 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0408] 예 60: 예 58 또는 예 59의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 포인트들의 궤적에 기초하여 표면을 결정하고 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0409] 예 61: 예 58 또는 59의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 포인트들의 궤적에 기초하여 표면을 결정하고 상기 표면의 곡률 중심을 추정함으로써 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0410] 예 62: 예 58 또는 예 59의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 포인트들의 궤적에 기초하여 표면을 결정하고, 상기 표면에 대한 복수의 법선들이 수렴하는 영역을 결정함으로써 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0411] 예 63: 예 60, 예 61 또는 예 62 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 표면을 획득하기 위해 상기 표면을 상기 포인트들의 궤적에 맞추도록 구성된다.
[0412] 예 64: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈에 제공될 가상 이미지들을 렌더링하기 위해 렌더 카메라를 사용하도록 구성되며, 상기 렌더 카메라는 상기 회전 중심에 의해 결정된 포지션을 갖는다.
[0413] 예 65: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 발산 및 시준 중 적어도 하나의 상이한 양으로 가상 이미지 컨텐츠를 사용자의 시계에 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성되고, 따라서 표시된 가상 이미지 컨텐츠는 상이한 기간들에서 상이한 깊이들로부터 발생하는 것처럼 보인다.
[0414] 예 66: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 디스플레이 시스템은: 사용자의 머리 상에 지지되도록 구성된 프레임; 프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―; 사용자의 눈을 이미징하도록 구성된 눈 추적 카메라; 복수의 광 방출기들; 및 디스플레이 및 눈 추적 카메라와 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는: 제1 카메라 및 제2 위치에서 눈 추적 카메라에 의해 캡처된 사용자의 눈의 이미지들, 눈 추적 카메라에 의해 캡처된 눈의 상기 이미지들에서 관찰 가능한 상이한 광 방출기들의 글린트 반사들을 수신하고; 그리고 상기 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 눈 추적 카메라의 상기 제1 위치 및 상기 제2 위치 및 복수의 눈 포즈들에 대해 상기 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 회전 중심의 위치를 추정하도록 구성된다.
[0415] 예 67: 예 66의 시스템에 있어서, 상기 눈의 회전 중심의 추정을 획득하기 위해, 프로세싱 전자기기는: 복수의 눈 포즈들에 대한 복수의 글린트 반사들에 기초하여 사용자의 눈의 각막 곡률 중심의 복수의 추정들을 결정하고; 상기 복수의 눈 포즈들에 대한 사용자의 눈의 각막 곡률 중심의 복수의 추정들에 기초하여 사용자의 눈의 회전 중심의 추정을 결정하도록 구성된다.
[0416] 예 68: 예 67의 시스템에 있어서, 사용자의 눈의 각막 곡률의 상기 복수의 추정들을 결정하기 위해, 프로세싱 전자기기는 적어도 상기 복수의 방출기들 중 일부의 각각의 위치 및 눈 추적 카메라의 제1 위치에 기초하여 각막 곡률 중심을 향한 제1 방향을 결정하고; 상기 복수의 방출기들 중 적어도 일부의 적어도 각각의 위치 및 눈 추적 카메라의 제2 위치에 기초하여 각막 곡률 중심을 향한 제2 방향을 결정하고; 상기 제1 방향 및 상기 제2 방향에 기초하여 사용자의 눈의 각막 곡률 중심의 추정을 결정하도록 구성된다.
[0417] 예 69: 예 68의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 눈 추적 카메라의 제1 위치, 제1 글린트 반사의 위치 및 상기 제1 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제1 평면을 정의하고; 눈 추적 카메라의 제1 위치, 제2 글린트 반사의 위치 및 상기 제2 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제2 평면을 정의하고; 제1 평면과 제2 평면의 수렴 영역을 결정함으로써 제1 방향을 결정하도록 구성되며, 수렴 영역은 제1 방향을 따라 연장된다.
[0418] 예 70: 예 69의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 눈 추적 카메라의 제2 위치, 제3 글린트 반사의 위치 및 상기 제3 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제3 평면을 정의하고; 눈 추적 카메라의 제2 위치, 제4 글린트 반사의 위치 및 상기 제4 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제4 평면을 정의하고; 제3 평면과 제4 평면의 수렴 영역을 결정함으로써 제2 방향을 결정하도록 구성되며, 수렴 영역은 제2 방향을 따라 연장된다.
[0419] 예 71: 예 68 내지 예 70 중 어느 하나의 시스템에 있어서, 사용자의 눈의 각막 곡률의 상기 복수의 추정들을 결정하기 위해, 프로세싱 전자기기는: 사용자의 눈의 각막 곡률 중심의 추정을 결정하기 위해 제1 방향과 제2 방향 사이의 수렴 영역을 결정하도록 구성된다.
[0420] 예 72: 예 19 내지 예 71 중 어느 하나의 시스템에 있어서, 상기 눈의 회전 중심의 추정을 획득하기 위해, 프로세싱 전자기기는 각막 곡률 중심의 복수의 추정들과 연관된 3차원 표면을 생성하고; 3차원 표면에 기초하여 사용자의 눈의 회전 중심의 추정을 결정하도록 구성된다.
[0421] 예 73: 예 72의 시스템에 있어서, 각막 곡률 중심의 복수의 추정들과 연관된 3차원 표면을 생성하기 위해, 프로세싱 전자기기는 표면을 각막 곡률 중심의 복수의 추정들에 맞추도록 구성된다.
[0422] 예 74: 예 73의 시스템에 있어서, 각막 곡률 중심의 복수의 추정들과 연관된 3차원 표면을 생성하기 위해, 프로세싱 전자기기는 구를 각막 곡률 중심의 복수의 추정들에 맞추도록 구성된다.
[0423] 예 75: 예 72 내지 예 74 중 어느 하나의 시스템에 있어서, 사용자의 눈의 회전 중심의 추정을 결정하기 위해, 프로세싱 전자기기는: 3차원 표면에 대한 2 개 이상의 법선들을 결정하고; 2 개 이상의 법선들의 수렴 영역을 결정하도록 구성되고, 수렴 영역은 사용자의 눈의 회전 중심의 추정을 포함한다.
[0424] 예 76: 예 69 내지 예 75 중 어느 하나의 시스템에 있어서, 사용자의 눈의 하나 이상의 이미지들은 사용자의 눈의 상이한 시선 벡터들과 연관된 하나 이상의 이미지들을 포함한다.
[0425] 예 77: 예 69 내지 예 76 중 어느 하나의 시스템에 있어서, 프로세싱 전자기기는 시선 타깃을 사용하여 사용자의 눈의 각막을 매핑하도록 구성된다.
[0426] 예 78: 예 66 내지 예 77 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈에 제공될 가상 이미지를 렌더링하기 위해 렌더 카메라를 사용하도록 구성되며, 상기 렌더 카메라는 상기 회전 중심에 의해 결정된 포지션을 갖는다.
[0427] 예 79: 예 66 내지 예 78 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 발산 및 시준 중 적어도 하나의 상이한 양으로 가상 이미지 컨텐츠를 사용자의 시계에 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성되고, 따라서 표시된 가상 이미지 컨텐츠는 상이한 기간들에서 상이한 깊이들로부터 발생하는 것처럼 보인다.
[0428] 예 80: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템에서 가상 이미지 컨텐츠를 렌더링하기 위해 눈과 연관된 하나 이상의 파라미터들을 결정하는 방법으로서, 상기 눈은 각막을 가지며, 상기 방법은: 사용자의 눈을 이미징하도록 구성된 눈 추적 카메라 및 그 위에 글린트들을 형성하기 위해 상기 눈에 대해 배치된 복수의 광 방출기들로, 사용자의 눈의 복수의 이미지들 ― 상기 이미지들은 복수의 글린트들을 포함함 ― 을 캡처하는 단계; 및 복수의 글린트들에 기초하여 상기 눈의 회전 중심의 추정을 획득하는 단계를 포함하고, 상기 눈의 회전 중심의 추정을 획득하는 단계는: 복수의 글린트들에 기초하여 사용자의 눈의 각막 곡률 중심의 복수의 추정들을 결정하는 단계; 각막 곡률 중심의 복수의 추정들로부터 3차원 표면을 생성하는 단계; 및 3차원 표면을 사용하여 사용자의 눈의 회전 중심의 추정을 결정하는 단계를 포함한다.
[0429] 예 81: 예 80의 방법에 있어서, 사용자의 눈의 각막 곡률의 복수의 추정들을 결정하는 단계는: 복수의 광 방출기들 중 적어도 일부의 위치들 및 눈 추적 카메라의 제1 위치에 기초하여 각막 곡률 중심을 향한 제1 벡터를 결정하는 단계; 복수의 광 방출기들 중 적어도 일부의 위치들 및 눈 추적 카메라의 제2 위치에 기초하여 각막 곡률의 중심을 향한 제2 벡터를 결정하는 단계; 및 사용자의 눈의 각막 곡률 중심의 추정을 결정하기 위해 제1 벡터와 제2 벡터 사이의 수렴 영역을 결정하는 단계를 포함한다.
[0430] 예 82: 예 81의 방법에 있어서, 제1 방향은: 눈 추적 카메라의 제1 위치, 제1 글린트 반사의 위치 및 상기 제1 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제1 평면을 정의하고, 눈 추적 카메라의 제1 위치, 제2 글린트 반사의 위치 및 상기 제2 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제2 평면을 정의하고; 제1 평면 및 제2 평면의 수렴 영역을 결정함으로써 결정되고, 수렴 영역은 제1 방향을 따라 연장된다.
[0431] 예 83: 예 82의 방법에 있어서, 제2 방향은: 눈 추적 카메라의 제2 위치, 제3 글린트 반사의 위치 및 상기 제3 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제3 평면을 정의하고; 눈 추적 카메라의 제2 위치, 제4 글린트 반사의 위치 및 상기 제4 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제4 평면을 정의하고; 제3 평면 및 제4 평면의 수렴 영역을 결정함으로써 결정되고, 수렴 영역은 제2 방향을 따라 연장된다.
[0432] 예 84: 예 81 내지 예 83 중 어느 하나의 방법에 있어서, 각막 곡률 중심의 복수의 추정들로부터 3차원 표면을 생성하는 단계는 표면을 각막 곡률 중심의 복수의 추정들에 맞추는 단계를 포함한다.
[0433] 예 85: 예 81 내지 예 83 중 어느 하나의 방법에 있어서, 각막 곡률 중심의 복수의 추정들로부터 3차원 표면을 생성하는 단계는 구를 각막 곡률 중심의 복수의 추정들에 맞추는 단계를 포함한다.
[0434] 예 86: 예 81 내지 예 85 중 어느 하나의 방법에 있어서, 사용자의 눈의 회전 중심의 추정을 결정하는 단계는: 3차원 표면에 수직인 2 개 이상의 벡터들을 결정하는 단계; 및 3차원 표면에 수직인 2 개 이상의 벡터들의 수렴 영역을 결정하는 단계를 포함하고, 수렴 영역은 사용자의 눈의 회전 중심의 추정을 포함한다.
[0435] 예 87: 예 81 내지 예 86 중 어느 하나의 방법에 있어서, 사용자의 눈의 복수의 이미지들은 사용자의 눈의 상이한 시선 방향들과 연관된 이미지들을 포함한다.
[0436] 예 88: 예 81 내지 예 87 중 어느 하나의 방법에 있어서, 시선 타깃을 사용하여 사용자의 눈의 각막을 매핑하는 단계를 더 포함한다.
[0437] 예 89: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 디스플레이 시스템은: 사용자의 머리 상에 지지되도록 구성된 프레임; 프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―; 사용자의 눈을 이미징하도록 구성된 눈 추적 카메라; 및 디스플레이 및 눈 추적 카메라와 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는: 눈 추적 카메라로부터 사용자의 눈의 캡처된 이미지들의 복수의 쌍들을 수신하고; 눈 추적 카메라로부터 각각 수신된 이미지들의 쌍들에 대해, 캡처된 이미지들의 각각의 쌍에 적어도 부분적으로 기초하여 사용자의 눈의 각막 곡률 중심의 추정을 획득하고; 눈 추적 카메라로부터 수신된 사용자의 눈의 캡처된 이미지들의 복수의 쌍들에 기초하여 획득된 사용자의 눈의 각막 곡률의 추정된 중심들에 기초하여 3차원 표면을 결정하고; 사용자의 눈의 회전 중심의 추정을 획득하기 위해 3D 표면의 곡률 중심을 식별하도록 구성된다.
[0438] 예 90: 예 89의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 눈 추적 카메라로부터 수신된 사용자의 눈의 캡처된 이미지의 복수의 쌍들에 기초하여 획득된 사용자의 눈의 각막 곡률의 추정된 중심들에 3차원 표면을 맞추도록 구성된다.
[0439] 예 91: 예 89 또는 예 90의 디스플레이 시스템에 있어서, 캡처된 이미지들의 각각의 쌍에 적어도 부분적으로 기초하여 사용자의 눈의 각막 곡률 중심의 추정을 획득하기 위해, 프로세싱 전자기기는: 눈 추적 카메라의 제1 위치로부터 수신된 제1 이미지에 기초하여 사용자의 눈의 각막 곡률 중심이 따라서 위치될 것으로 추정되는 제1 벡터를 결정하고; 눈 추적 카메라의 제2 위치로부터 수신된 제2 이미지에 기초하여 사용자의 눈의 각막 곡률 중심이 따라서 위치될 것으로 추정되는 제2 벡터를 결정하고 ― 제1 이미지 및 제2 이미지는 이미지들의 상기 쌍들 중 하나에 대응함 ―; 사용자의 눈의 각막 곡률 중심의 추정을 획득하기 위해 제1 벡터와 제2 벡터의 방향으로 연장되는 경로들 사이의 수렴 영역을 식별하도록 구성된다.
[0440] 예 92: 예 91의 디스플레이 시스템에 있어서, 그 위에 글린트 반사들을 형성하기 위해 사용자의 눈을 조명하도록 구성된 복수의 광 방출기들을 더 포함하고, 캡처된 이미지들의 쌍 중 제1 이미지에 기초하여 제1 벡터를 결정하기 위해, 프로세싱 전자기기는: 눈 추적 카메라의 제1 위치, 제1 글린트 반사의 위치 및 상기 제1 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제1 평면을 정의하고; 눈 추적 카메라의 제1 위치, 제2 글린트 반사의 위치 및 상기 제2 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제2 평면을 정의하고; 제1 평면과 제2 평면의 수렴 영역을 식별하도록 구성되고, 수렴 영역은 제1 벡터의 방향을 따라 연장된다.
[0441] 예 93: 예 92의 디스플레이 시스템에 있어서, 캡처된 이미지들의 각각의 쌍에서 제2 이미지에 기초하여 제2 벡터를 결정하기 위해, 프로세싱 전자기기는: 눈 추적 카메라의 제2 위치, 제3 글린트 반사의 위치 및 상기 제3 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제3 평면을 정의하고; 눈 추적 카메라의 제2 위치, 제4 글린트 반사의 위치 및 상기 제4 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제4 평면을 정의하고; 제3 평면과 제4 평면의 수렴 영역을 결정하도록 구성되고, 수렴 영역은 제2 벡터의 방향을 따라 연장된다.
[0442] 예 94: 예 89 내지 예 93 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈에 제공되는 가상 이미지들을 렌더링하기 위해 렌더 카메라를 사용하도록 구성되고, 상기 렌더 카메라는 상기 회전 중심에 의해 결정된 포지션을 갖는다.
[0443] 예 95: 예 89 내지 예 94 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 발산 및 시준 중 적어도 하나의 상이한 양으로 가상 이미지 컨텐츠를 사용자의 시계에 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성되고, 따라서 표시된 가상 이미지 컨텐츠는 상이한 기간들에서 상이한 깊이들로부터 발생하는 것처럼 보인다.
[0444] 예 96: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이의 적어도 일부는 투명하고 사용자가 상기 머리 장착형 디스플레이를 착용할 때 사용자의 눈 앞 위치에 배치되어 상기 투명 부분은 사용자 앞 환경의 일부 및 상기 머리 장착형 디스플레이로부터 사용자의 눈으로 광을 투과시켜 사용자 및 상기 머리 장착형 디스플레이 앞 환경의 상기 부분의 뷰를 제공한다.
[0445] 예 97: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 디스플레이 시스템은: 사용자의 머리 상에 지지되도록 구성된 프레임; 프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―; 사용자의 눈을 이미징하도록 구성된 적어도 하나의 눈 추적 카메라; 복수의 광 방출기들; 및 디스플레이 및 눈 추적 카메라와 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는: 제1 위치 및 제2 위치에서 적어도 하나의 눈 추적 카메라에 의해 캡처된 사용자의 눈의 이미지들, 눈 추적 카메라에 의해 캡처된 눈의 상기 이미지들에서 관찰 가능한 상이한 광 방출기들의 글린트 반사들을 수신하고; 그리고 상기 적어도 하나의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 적어도 하나의 눈 추적 카메라의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 각막 곡률 중심의 위치를 추정하도록 구성된다.
[0446] 예 98: 예 97의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는: 상기 적어도 하나의 눈 추적 카메라에 의해 생성된 하나 이상의 이미지들에서 글린트 반사들의 위치에 기초하고 적어도 하나의 눈 추적 카메라의 제1 위치 및 상기 글린트 반사들을 생성한 방출기들의 위치에 기초하여, 사용자의 눈의 각막 곡률 중심을 향한 제1 방향을 결정하고; 상기 적어도 하나의 눈 추적 카메라에 의해 생성된 하나 이상의 이미지들에서 글린트 반사들의 위치에 기초하고 적어도 하나의 눈 추적 카메라의 제2 위치 및 상기 글린트 반사들을 생성한 방출기들의 위치에 기초하여, 사용자의 눈의 각막 곡률 중심을 향한 제2 방향을 결정하도록 구성된다.
[0447] 예 99: 예 98의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 적어도 하나의 눈 추적 카메라의 제1 위치, 제1 글린트 반사의 위치 및 상기 제1 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제1 평면을 정의하고; 적어도 하나의 눈 추적 카메라의 제1 위치, 제2 글린트 반사의 위치 및 상기 제2 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제2 평면을 정의하고; 제1 평면과 제2 평면의 수렴 영역을 결정함으로써 제1 방향을 결정하도록 구성되며, 수렴 영역은 제1 방향을 따라 연장된다.
[0448] 예 100: 예 99의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 적어도 하나의 눈 추적 카메라의 제2 위치, 제3 글린트 반사의 위치 및 상기 제3 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제3 평면을 정의하고; 적어도 하나의 눈 추적 카메라의 제2 위치, 제4 글린트 반사의 위치 및 상기 제4 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제4 평면을 정의하고; 제3 평면과 제4 평면의 수렴 영역을 결정함으로써 제2 방향을 결정하도록 구성되며, 수렴 영역은 제2 방향을 따라 연장된다.
[0449] 예 101: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 각막 곡률 중심을 향한 상기 제1 방향 및 상기 제2 방향에 기초하여 사용자의 눈의 상기 각막 곡률 중심의 위치를 추정하도록 구성된다.
[0450] 예 102: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는: 적어도 하나의 눈 추적 카메라의 제1 위치로부터 수신된 적어도 하나의 제1 이미지에 기초하여 사용자의 눈의 각막 곡률 중심이 따라서 위치될 것으로 추정되는 상기 제1 방향을 결정하고; 적어도 하나의 눈 추적 카메라의 제2 위치로부터 수신된 적어도 하나의 제2 이미지에 기초하여 사용자의 눈의 각막 곡률 중심이 따라서 위치될 것으로 추정되는 상기 제2 방향을 결정하도록 구성되고, 상기 제1 방향 및 상기 제2 방향은 영역을 향해 수렴한다.
[0451] 예 103: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는:
[0452] 제1 방향과 제2 방향의 수렴에 기초하여 사용자의 눈의 각막 곡률 중심의 추정을 획득하도록 구성된다.
[0453] 예 104: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 각막 곡률 중심을 향한 상기 제1 방향 및 상기 제2 방향의 수렴 영역을 식별함으로써 사용자의 눈의 상기 각막 곡률 중심의 위치를 추정하도록 구성된다.
[0454] 예 105: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상이한 눈 포즈들에 대한 사용자의 눈의 각막 곡률 중심의 복수의 결정들에 기초하여 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0455] 예 106: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상이한 눈 포즈들에 대한 사용자의 눈의 각막 곡률 중심의 추정들에 대응하는 포인트들의 궤적을 결정하도록 구성된다.
[0456] 예 107: 예 106의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상이한 눈 포즈들에 대한 사용자의 눈의 각막 곡률 중심의 추정들에 대응하는 상기 포인트들의 궤적에 기초하여 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0457] 예 108: 예 106 또는 예 107의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 포인트들의 궤적에 기초하여 표면을 결정하고 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0458] 예 109: 예 106 또는 예 107의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 포인트들의 궤적에 기초하여 표면을 결정하고 상기 표면의 곡률 중심을 추정함으로써 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0459] 예 110: 예 106 또는 예 107의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 포인트들의 궤적에 기초하여 표면을 결정하고 상기 표면에 대한 복수의 법선들이 수렴하는 영역을 결정함으로써 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0460] 예 111: 예 108, 예 109 또는 예 110 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 표면을 획득하기 위해 상기 표면을 상기 포인트들의 궤적에 맞추도록 구성된다.
[0461] 예 112: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈에 제공되는 가상 이미지들을 렌더링하기 위해 렌더 카메라를 사용하도록 구성되며, 상기 렌더 카메라는 상기 회전 중심에 의해 결정된 포지션을 갖는다.
[0462] 예 113: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 발산 및 시준 중 적어도 하나의 상이한 양으로 가상 이미지 컨텐츠를 사용자의 시계에 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성되고, 따라서 표시된 가상 이미지 컨텐츠는 상이한 기간들에서 상이한 깊이들로부터 발생하는 것처럼 보인다.
[0463] 예 114: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 사용자의 눈을 이미징하도록 구성된 제3 카메라를 더 포함하고, 상기 프로세싱 전자기기는 상기 제3 눈 추적 카메라와 통신하고, 광 방출기들의 글린트 반사들은 제3 눈 추적 카메라에 의해 캡처된 눈의 이미지들에서 관찰 가능하다.
[0464] 예 115: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제1 눈 추적 카메라, 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 사용자의 눈의 각막 중심의 위치를 추정하도록 구성된다.
[0465] 예 116: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는, 상기 제1 눈 추적 카메라 및 상기 제3 눈 추적 카메라 모두에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 그리고 제1 눈 추적 카메라 및 제3 눈 추적 카메라 모두의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 각막 중심의 위치를 추정하도록 구성된다.
[0466] 예 117: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는, 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라 모두에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 그리고 제2 눈 추적 카메라 및 제3 눈 추적 카메라 모두의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 각막 중심의 위치를 추정하도록 구성된다.
[0467] 예 118: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제1 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 결정된 사용자의 눈의 각막 중심의 위치 및 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라에 의해 결정된 사용자의 눈의 각막 중심의 위치에 기초하여 사용자의 눈의 각막 중심의 위치를 추정하도록 구성된다.
[0468] 예 119: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 결정된 사용자의 눈의 각막 중심의 위치 및 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라에 의해 결정된 사용자의 눈의 각막 중심의 위치에 기초하여 사용자의 눈의 각막 중심의 위치를 추정하도록 구성된다.
[0469] 예 118: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제1 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 결정된 사용자의 눈의 각막 중심의 위치 및 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라에 의해 결정된 사용자의 눈의 각막 중심의 위치의 평균에 기초하여 사용자의 눈의 각막 중심의 위치를 추정하도록 구성된다.
[0470] 예 119: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 결정된 사용자의 눈의 각막 중심의 위치 및 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라에 의해 결정된 사용자의 눈의 각막 중심의 위치의 평균에 기초하여 사용자의 눈의 각막 중심의 위치를 추정하도록 구성된다.
[0471] 예 120: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 사용자의 눈의 상기 각막 중심은 사용자의 눈의 각막의 곡률 중심을 포함한다.
[0472] 예 121: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 사용자의 눈의 상기 각막 중심은 사용자의 눈의 각막의 각막 정점의 곡률 중심을 포함한다.
[0473] 예 122: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 디스플레이 시스템은: 사용자의 머리 상에 지지되도록 구성된 프레임; 프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―; 사용자의 눈을 이미징하도록 구성된 제1 눈 추적 카메라 및 제2 눈 추적 카메라; 복수의 광 방출기들; 및 디스플레이 및 제1 눈 추적 카메라와 제2 눈 추적 카메라와 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는: 제1 눈 추적 카메라 및 제2 눈 추적 카메라에 의해 캡처된 사용자의 눈의 이미지들, 제1 눈 추적 카메라 및 제2 눈 추적 카메라에 의해 캡처된 눈의 상기 이미지들에서 관찰 가능한 상이한 광 방출기들의 글린트 반사들을 수신하고; 그리고 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라 모두에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 사용자의 눈의 파라미터를 추정하도록 구성된다.
[0474] 예 123: 예 122의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는, 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라 모두에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 그리고 제1 눈 추적 카메라 및 제2 눈 추적 카메라 모두의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 파라미터를 추정하도록 구성된다.
[0475] 예 124: 예 122 또는 예 123의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는, 상기 제1 눈 추적 카메라에 의해 생성된 하나 이상의 이미지들에서 글린트 반사들의 위치에 기초하여 그리고 제1 눈 추적 카메라의 위치 및 상기 글린트 반사들을 생성한 방출기들의 위치들에 기초하여, 사용자의 눈의 각막 중심을 향한 제1 방향을 결정하고; 상기 제2 눈 추적 카메라에 의해 생성된 하나 이상의 이미지들에서 글린트 반사들의 위치에 기초하고 제2 눈 추적 카메라의 위치 및 상기 글린트 반사들을 생성한 방출기들의 위치에 기초하여, 사용자의 눈의 각막 중심을 향한 제2 방향을 결정하도록 구성된다.
[0476] 예 125: 예 124의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 제1 눈 추적 카메라, 제1 글린트 반사의 위치 및 상기 제1 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제1 평면을 정의하고; 제1 눈 추적 카메라, 제2 글린트 반사의 위치 및 상기 제2 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제2 평면을 정의하고; 제1 평면과 제2 평면의 수렴 영역을 결정함으로써 제1 방향을 결정하도록 구성되고, 수렴 영역은 제1 방향을 따라 연장된다.
[0477] 예 126: 예 125의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 제2 눈 추적 카메라, 제3 글린트 반사의 위치 및 상기 제3 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제3 평면을 정의하고; 제2 눈 추적 카메라, 제4 글린트 반사의 위치 및 상기 제4 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제4 평면을 정의하고; 제3 평면과 제4 평면의 수렴 영역을 결정함으로써 제2 방향을 결정하도록 구성되고, 수렴 영역은 제2 방향을 따라 연장된다.
[0478] 예 127: 예 122 내지 예 126 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 각막 중심을 향한 상기 제1 방향 및 상기 제2 방향에 기초하여 사용자의 눈의 상기 각막 중심의 위치를 추정하도록 구성된다.
[0479] 예 128: 예 122 내지 예 127 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는: 제1 눈 추적 카메라로부터 수신된 적어도 하나의 제1 이미지에 기초하여 사용자의 눈의 각막 중심이 따라서 위치될 것으로 추정되는 상기 제1 방향을 결정하고; 제2 눈 추적 카메라로부터 수신된 적어도 하나의 제2 이미지에 기초하여 사용자의 눈의 각막 중심이 따라서 위치될 것으로 추정되는 상기 제2 방향을 결정하도록 구성되며, 상기 제1 방향 및 상기 제2 방향은 영역을 향하여 수렴한다.
[0480] 예 129: 예 122 내지 예 128 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는: 제1 방향과 제2 방향의 수렴에 기초하여 사용자의 눈의 각막 중심의 추정을 획득하도록 구성된다.
[0481] 예 130: 예 122 내지 예 129 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 각막 중심을 향한 상기 제1 방향 및 상기 제2 방향의 수렴 영역을 식별함으로써 사용자의 눈의 상기 각막 중심의 위치를 추정하도록 구성된다.
[0482] 예 131: 예 122 내지 예 130 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상이한 눈 포즈들에 대한 사용자의 눈의 각막 중심의 복수의 결정들에 기초하여 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0483] 예 132: 예 122 내지 예 131 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상이한 눈 포즈들에 대한 사용자의 눈의 각막 중심의 추정들에 대응하는 포인트들의 궤적을 결정하도록 구성된다.
[0484] 예 133: 예 132의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상이한 눈 포즈들에 대한 사용자의 눈의 각막 중심의 추정들에 대응하는 상기 포인트들의 궤적에 기초하여 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0485] 예 134: 예 132 또는 예 133의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 포인트들의 궤적에 기초하여 표면을 결정하고 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0486] 예 135: 예 132 또는 예 133의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 포인트들의 궤적에 기초하여 표면을 결정하고 상기 표면의 곡률 중심을 추정함으로써 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0487] 예 136: 예 132 또는 예 133의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 포인트들의 궤적에 기초하여 표면을 결정하고, 상기 표면에 대한 복수의 법선들이 수렴하는 영역을 결정함으로써 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0488] 예 137: 예 134, 예 135 또는 예 136 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 표면을 획득하기 위해 상기 표면을 상기 포인트들의 궤적에 맞추도록 구성된다.
[0489] 예 138: 예 122 내지 예 137 중 어느 하나의 디스플레이 시스템에 있어서, 상기 파라미터는 눈의 회전 중심을 포함한다.
[0490] 예 139: 예 131 내지 예 138 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈에 제공되는 가상 이미지를 렌더링하기 위해 렌더 카메라를 사용하도록 구성되고, 상기 렌더 카메라는 회전 중심에 의해 결정된 포지션을 갖는다.
[0491] 예 140: 예 122 내지 예 139 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 발산 및 시준 중 적어도 하나의 상이한 양으로 가상 이미지 컨텐츠를 사용자의 시계에 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성되고, 따라서 표시된 가상 이미지 컨텐츠는 상이한 기간들에서 상이한 깊이들로부터 발생하는 것처럼 보인다.
[0492] 예 141: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 사용자의 눈을 이미징하도록 구성된 제3 카메라를 더 포함하고, 상기 프로세싱 전자기기는 상기 제3 눈 추적 카메라와 통신하고, 광 방출기들의 글린트 반사들은 제3 눈 추적 카메라에 의해 캡처된 눈의 이미지들에서 관찰 가능하다.
[0493] 예 142: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제1 눈 추적 카메라, 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 사용자의 눈의 상기 파라미터를 추정하도록 구성된다.
[0494] 예 143: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는, 상기 제1 눈 추적 카메라 및 상기 제3 눈 추적 카메라 모두에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 그리고 제1 눈 추적 카메라 및 제3 눈 추적 카메라 모두의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 파라미터를 추정하도록 구성된다.
[0495] 예 144: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 모두에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 제2 눈 추적 카메라 및 제3 눈 추적 카메라 모두의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 파라미터를 추정하도록 구성된다.
[0496] 예 145: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제1 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터 및 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터에 기초하여 상기 파라미터를 추정하도록 구성된다.
[0497] 예 146: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터 및 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터에 기초하여 사용자의 눈의 상기 파라미터를 추정하도록 구성된다.
[0498] 예 147: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제1 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터 및 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터의 평균에 기초하여 사용자의 눈의 상기 파라미터를 추정하도록 구성된다.
[0499] 예 148: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터 및 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라에 의해 결정된 사용자의 눈의 각막 중심의 파라미터의 평균에 기초하여 사용자의 눈의 상기 파라미터를 추정하도록 구성된다.
[0500] 예 149: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기가 추정하도록 구성되는 상기 파라미터는 각막 중심을 포함한다.
[0501] 예 150: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 사용자의 눈의 상기 각막 중심은 사용자의 눈의 각막의 곡률 중심을 포함한다.
[0502] 예 151: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 사용자의 눈의 상기 각막 중심은 사용자의 눈의 각막의 각막 정점의 곡률 중심을 포함한다.
[0503] 예 152: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기가 추정하도록 구성되는 상기 파라미터는 눈의 회전 중심을 포함한다.
파트-B
[0504] 예 1: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 눈은 각막 및 동공을 갖고, 상기 디스플레이 시스템은:
사용자의 머리 상에 지지되도록 구성된 프레임;
프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―;
사용자의 눈을 이미징하도록 구성된 하나 이상의 눈 추적 카메라들;
복수의 광 방출기들; 및
디스플레이 및 하나 이상의 눈 추적 카메라들과 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는:
하나 이상의 눈 추적 카메라들에 의해 캡처된 사용자의 눈의 이미지들, 하나 이상의 추적 카메라들에 의해 캡처된 눈의 상기 이미지들에서 관찰 가능한 상이한 광 방출기들의 글린트 반사들을 수신하고;
상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 적어도 부분적으로 기초하여 사용자의 눈의 상기 각막의 곡률 중심의 위치를 추정하도록 구성되고,
상기 프로세싱 전자기기는 사용자의 눈의 상기 각막 곡률 중심의 상기 위치를 추정하기 위해 수치 계산들에서 상기 각막의 비구면 모델을 사용한다.
[0505] 예 2: 예 1의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 각막의 상기 곡률 중심의 값을 추정하기 위해 수치 계산들에서 상기 각막의 구면 모델을 추가적으로 채용한다.
[0506] 예 3: 예 2의 디스플레이 시스템에 있어서, 상기 각막의 상기 구면 모델은, 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치 및 하나 이상의 추적 카메라들의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 상기 각막의 상기 곡률 중심의 값을 결정하기 위해 수치 계산들에서 사용된다.
[0507] 예 4: 예 2 또는 예 3의 디스플레이 시스템에 있어서, 상기 각막의 구면 모델로부터 결정된 상기 각막의 상기 곡률 중심의 상기 추정은 상기 각막의 상기 곡률 중심의 값을 결정하기 위해 수치 계산들에서 상기 비구면 모델에 적용된다.
[0508] 예 5: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 반복 프로세스를 사용하여 상기 각막의 상기 곡률 중심의 추정을 결정하도록 구성된다.
[0509] 예 6: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 곡률 중심의 상기 추정을 반복적으로 평가하고 상기 비구면 모델을 사용하여 상기 곡률 중심의 다른 상이한 추정을 재계산하기 위해 상기 추정을 사용하는 것을 포함하는 반복 프로세스를 사용하여 상기 각막의 상기 곡률 중심의 추정을 결정하도록 구성된다.
[0510] 예 7: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 곡률 중심의 상기 추정을 반복적으로 평가하고 상기 구면 모델 및 상기 비구면 모델을 사용하여 상기 곡률 중심의 다른 상이한 추정을 재계산하기 위해 상기 추정을 사용하는 반복 프로세스를 사용하여 상기 각막의 상기 곡률 중심의 추정을 결정하도록 구성된다.
[0511] 예 8: 예 2 또는 예 3의 디스플레이 시스템에 있어서, 상기 각막의 구면 모델로부터 결정된 상기 각막의 상기 곡률 중심의 상기 추정은 상기 각막의 상기 곡률 중심의 값을 결정하기 위해 수치 계산들에서 상기 비구면 모델에 대한 곡률 중심을 추정하는 데 사용된다.
[0512] 예 9: 예 2, 예 3 또는 예 8의 디스플레이 시스템에 있어서, 상기 각막의 구면 모델로부터 결정된 상기 각막의 상기 곡률 중심의 상기 추정은 상기 각막의 상기 곡률 중심의 값을 결정하기 위해 수치 계산들에서 상기 비구면 모델로부터 결정된 비구면 회전 타원체의 배향을 추정하는 데 사용된다.
[0513] 예 10: 예 1 내지 예 9의 디스플레이 시스템에 있어서, 상기 눈의 회전 중심 또는 상기 눈에 대한 동공의 중심이 추정되고 상기 각막의 상기 곡률 중심의 값을 결정하기 위해 수치 계산들에서 상기 비구면 모델로부터 결정된 비구면 회전 타원체의 배향을 추정하는 데 사용된다.
[0514] 예 11: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 광원들의 위치들에 기초하여 복수의 글린트들의 위치를 예측하는 데 사용된다.
[0515] 예 12: 예 2, 예 3 또는 예 8 내지 예 10의 디스플레이 시스템에 있어서, 상기 비구면 모델은 광원들의 위치들에 기초하여 복수의 글린트들의 위치를 예측하는 데 사용된다.
[0516] 예 13: 예 12의 디스플레이 시스템에 있어서, 상기 비구면 모델에 기초하여 예측된 상기 글린트들의 상기 위치는 구면 모델을 결정하는 데 사용된다.
[0517] 예 14: 예 13의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 모델에 기초하여 예측된 상기 글린트들의 상기 위치에 기초하여 결정된 상기 구면 모델의 곡률 중심을 결정하도록 구성된다.
[0518] 예 15: 예 14의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 모델에 기초하여 예측된 상기 글린트들의 상기 위치에 기초하여 결정된 상기 구면 모델의 상기 곡률 중심을 상기 비구면 모델의 중심을 결정하는데 사용된 상기 구면 모델을 사용하여 결정된 상기 곡률 중심과 비교하도록 구성된다.
[0519] 예 16: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 업데이트된 비구면 모델을 결정하기 위해 2 개의 구면 모델들로부터 획득된 2 개의 곡률 중심들 사이의 비교를 사용하도록 구성된다.
[0520] 예 17: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 업데이트된 비구면 모델을 결정하기 위해 2 개의 구면 모델들 ― 상기 구면 모델들 중 하나는 비구면 모델에 기초하여 결정됨 ― 로부터 획득된 2 개의 곡률 중심들 사이의 비교를 사용하도록 구성된다.
[0521] 예 18: 예 15의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 모델의 업데이트된 곡률 중심을 결정하기 위해 상기 비교를 사용하도록 구성된다.
[0522] 예 19: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 비구면 모델의 하나 이상의 파라미터들을 결정하기 위해 구면 모델을 사용하도록 구성된다.
[0523] 예 20: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 구면 모델의 하나 이상의 파라미터들을 결정하기 위해 비구면 모델을 사용하도록 구성된다.
[0524] 예 21: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 업데이트된 비구면 모델의 하나 이상의 파라미터들을 결정하기 위해 구면 모델의 하나 이상의 파라미터들을 결정하기 위해 비구면 모델을 사용하도록 구성된다.
[0525] 예 22: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 추가로 업데이트된 비구면 모델의 하나 이상의 파라미터들을 결정하기 위해 상기 업데이트된 비구면 모델을 사용하도록 구성된다.
[0526] 예 23: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 구면 모델의 하나 이상의 파라미터들을 결정하기 위해 상기 업데이트된 비구면 모델을 사용하도록 구성된다.
[0527] 예 24: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 추가로 업데이트된 비구면 모델의 하나 이상의 파라미터들을 결정하기 위해 구면 모델의 하나 이상의 파라미터들을 결정하기 위해 상기 업데이트된 비구면 모델을 사용하도록 구성된다.
[0528] 예 25: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 추가로 업데이트된 비구면 모델의 하나 이상의 파라미터들을 결정하기 위해 상기 업데이트된 비구면 모델에 기초하여 결정된 구면 모델의 하나 이상의 파라미터들과 다른 구면 모델의 하나 이상의 파라미터들의 비교를 사용하도록 구성된다.
[0529] 예 26: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 회전 대칭인 비구면 표면을 포함한다.
[0530] 예 27: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 회전 타원체를 포함한다.
[0531] 예 28: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 회전 타원체를 나타내는 식은 상기 각막의 상기 곡률 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0532] 예 29: 예 1 내지 예 25 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 비회전 대칭인 표면을 포함한다.
[0533] 예 30: 예 1 내지 예 25 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 2 개의 직교 단면들을 따라 상이한 곡률을 갖는 표면을 포함한다.
[0534] 예 31: 예 1 내지 예 25 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 수평 방향을 따른 제1 곡률 및 수직 방향을 따른 제2 곡률을 갖고, 상기 제2 곡률은 상기 제1 곡률과 상이하며; 비구면 모델은 회전 대칭이 아니다.
[0535] 예 32: 예 1 내지 예 25 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 타원체를 포함한다.
[0536] 예 33: 예 1 내지 예 25 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 장형 타원체를 포함한다.
[0537] 예 34: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 비구면 표면을 나타내는 식은 상기 각막의 상기 곡률 중심의 값을 결정하기 위한 상기 수치 계산들에 사용된다.
[0538] 예 35: 예 34의 디스플레이 시스템에 있어서, 상기 식은 상기 비구면 표면 상의 포지션을 정의하는 3 개의 변수들 및 비구면 표면의 형상을 결정하는 2 개의 상수들을 포함한다.
[0539] 예 36: 예 34 또는 예 35의 디스플레이 시스템에 있어서, 상기 식은 
과 동일하거나 등가이며, X, Y 및 Z는 상기 비구면 표면 상의 포지션을 정의하고 Q 및 R은 비구면 표면의 형상을 결정한다.
[0540] 예 37: 예 34의 디스플레이 시스템에 있어서, 상기 식은 상기 비구면 표면 상의 포지션을 정의하는 3 개의 변수들 및 비구면 표면의 형상을 결정하는 3 개의 상수들을 포함한다.
[0541] 예 38: 예 1 내지 예 34 및 예 37 중 어느 하나의 디스플레이 시스템에 있어서, 타원체 표면을 나타내는 식은 상기 각막의 상기 곡률 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0542] 예 39: 예 1 내지 예 33 및 예 37 중 어느 하나의 디스플레이 시스템에 있어서, 장형 타원체 표면을 나타내는 식은 상기 각막의 상기 곡률 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0543] 예 40: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 구면 표면을 나타내는 식 및 비구면 표면을 나타내는 식은 상기 각막의 상기 곡률 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0544] 예 41: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 사용자의 눈을 이미징하도록 구성된 상기 하나 이상의 눈 추적 카메라들은 제1 눈 추적 카메라 및 제2 눈 추적 카메라를 포함한다.
[0545] 예 42: 예 41의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는:
상기 제1 눈 추적 카메라에 의해 생성된 하나 이상의 이미지들에서 글린트 반사들의 위치에 기초하여 그리고 제1 눈 추적 카메라의 위치 및 상기 글린트 반사들을 생성한 방출기들의 위치에 기초하여, 사용자의 눈의 각막 곡률 중심을 향한 제1 방향을 결정하고;
상기 제2 눈 추적 카메라에 의해 생성된 하나 이상의 이미지들에서 글린트 반사들의 위치에 기초하고 제2 눈 추적 카메라의 위치 및 상기 글린트 반사들을 생성한 방출기들의 위치에 기초하여, 사용자의 눈의 각막 곡률 중심을 향한 제2 방향을 결정하도록 구성된다.
[0546] 예 43: 예 42의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는:
제1 눈 추적 카메라, 제1 글린트 반사의 위치 및 상기 제1 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제1 평면을 정의하고;
제1 눈 추적 카메라, 제2 글린트 반사의 위치 및 상기 제2 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제2 평면을 정의하고;
제1 평면과 제2 평면의 수렴 영역을 결정함으로써 제1 방향을 결정하도록 구성되고, 수렴 영역은 제1 방향을 따라 연장된다.
[0547] 예 44: 예 43의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는:
제2 눈 추적 카메라, 제3 글린트 반사의 위치 및 상기 제3 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제3 평면을 정의하고;
제2 눈 추적 카메라, 제4 글린트 반사의 위치 및 상기 제4 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제4 평면을 정의하고;
제3 평면과 제4 평면의 수렴 영역을 결정함으로써 제2 방향을 결정하도록 구성되고, 수렴 영역은 제2 방향을 따라 연장된다.
[0548] 예 45: 예 42 내지 예 44 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 각막 곡률 중심을 향한 상기 제1 방향 및 상기 제2 방향에 기초하여 사용자의 눈의 상기 각막 곡률 중심의 위치를 추정하도록 구성된다.
[0549] 예 46: 예 42 내지 예 45 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는:
제1 눈 추적 카메라로부터 수신된 적어도 하나의 제1 이미지에 기초하여 사용자의 눈의 각막 곡률 중심이 따라서 위치될 것으로 추정되는 상기 제1 방향을 결정하고;
제2 눈 추적 카메라로부터 수신된 적어도 하나의 제2 이미지에 기초하여 사용자의 눈의 각막 곡률 중심이 따라서 위치될 것으로 추정되는 상기 제2 방향을 결정하도록 구성되며, 상기 제1 방향 및 상기 제2 방향은 영역을 향해 수렴한다.
[0550] 예 47: 예 42 내지 예 46 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는:
제1 방향과 제2 방향의 수렴에 기초하여 사용자의 눈의 각막 곡률 중심의 추정을 획득하도록 구성된다.
[0551] 예 48: 예 41 내지 예 47 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 각막 곡률 중심을 향한 제1 방향 및 제2 방향의 수렴 영역을 식별함으로써 사용자의 눈의 상기 각막 곡률 중심의 위치를 추정하도록 구성된다.
[0552] 예 49: 예 41 내지 예 48 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상이한 눈 포즈들에 대한 사용자의 눈의 각막 곡률 중심의 복수의 결정들에 기초하여 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0553] 예 50: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 각막 곡률 중심을 사용하여 비구면 모델의 배향의 추정을 획득하도록 구성된다.
[0554] 예 51: 예 41 내지 예 50 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 각막 곡률 중심의 추정 및 제1 눈 추적 카메라 및 제2 눈 추적 카메라에 의해 획득된 이미지들로부터 결정된 동공의 중심들을 통과하는 다수의 벡터들의 수렴의 추정에 기초하여 비구면 모델의 배향의 추정을 획득하도록 구성된다.
[0555] 예 52: 예 51의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 각막 곡률 중심을 포함하는 라인을 따른 중심을 갖는 비구면 모델의 포지션의 추정 및 동공의 중심들을 통과하는 다수의 벡터들의 수렴의 추정을 획득하도록 구성된다.
[0556] 예 53: 예 51 또는 예 52의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 모델의 포지션을 결정하기 위해 삼각 측량을 사용하도록 구성된다.
[0557] 예 54: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성되어, 표시된 가상 이미지 컨텐츠가 상이한 깊이들로부터 발생하는 것처럼 보인다.
[0558] 예 55: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 적어도 하나의 발산의 상이한 양으로 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성되어, 표시된 가상 이미지 컨텐츠가 상이한 깊이들로부터 발생하는 것처럼 보인다.
[0559] 예 56: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 발산하는 상기 사용자의 눈으로 광을 투사하고 상이한 깊이들로부터 발생하는 것처럼 보이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 시준된 상기 사용자의 눈으로 광을 투사하도록 구성된다.
[0560] 예 57: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템에서 가상 이미지 컨텐츠를 렌더링하기 위해 눈과 연관된 하나 이상의 파라미터들을 결정하는 방법으로서, 상기 눈은 각막을 가지며, 상기 방법은:
사용자의 눈을 이미징하도록 구성된 하나 이상의 눈 추적 카메라들 및 그 위에 글린트들을 형성하기 위해 상기 눈에 대해 배치된 복수의 광 방출기들로, 사용자의 눈의 복수의 이미지들 ― 상기 이미지들은 상이한 광 방출기들의 복수의 글린트 반사들을 포함함 ― 을 캡처하는 단계; 및
하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 사용자의 눈의 상기 각막 곡률 중심의 위치를 추정하는 단계를 포함하고,
상기 각막의 비구면 모델이 사용자의 눈의 상기 각막 곡률 중심의 상기 위치를 추정하기 위해 수치 계산들에서 사용된다.
[0561] 예 58: 예 57의 방법에 있어서, 구면 모델과 비구면 모델 모두가 상기 각막의 상기 곡률 중심의 값을 결정하는 데 사용된다.
[0562] 예 59: 예 57의 방법에 있어서, 구면 모델 및 비구면 모델 모두가 상기 각막의 상기 곡률 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0563] 예 60: 예 57 내지 예 59 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 회전 대칭이다.
[0564] 예 61: 예 57 내지 예 60 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 회전 타원체를 포함한다.
[0565] 예 62: 예 57 내지 예 59 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 비회전 대칭이다.
[0566] 예 63: 예 57 내지 예 59 또는 예 62 중 임의의 방법에 있어서, 상기 비구면 모델은 2 개의 직교 단면들을 따른 상이한 곡률을 갖는다.
[0567] 예 64: 예 57 내지 예 59 또는 예 62 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 수평 방향을 따른 제1 곡률 및 수직 방향을 따른 제2 곡률을 가지며, 상기 제2 곡률은 상기 제1 곡률과 상이하고; 비구면 모델은 회전 대칭이 아니다.
[0568] 예 65: 예 57 내지 예 59 또는 예 62 내지 예 64 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 타원체를 포함한다.
[0569] 예 66: 예 57 내지 예 59 또는 예 62 내지 예 64 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 장형 타원체를 포함한다.
[0570] 예 67: 예 57 내지 예 66 중 어느 하나의 방법에 있어서, 상기 각막의 상기 곡률 중심의 상기 위치를 추정하는 상기 단계는 상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 하나 이상의 추적 카메라들의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 각막의 곡률 중심의 위치를 추정하는 단계를 포함한다.
[0571] 예 68: 예 56 내지 예 66의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 업데이트된 비구면 모델을 결정하기 위해 2 개의 곡률 중심들 사이의 비교를 사용하도록 구성된다.
[0572] 예 69: 예 1 내지 예 56 중 어느 하나의 디스플레이 시스템에 있어서, 상기 전자 프로세서는 상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 하나 이상의 추적 카메라들의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 각막의 곡률 중심의 위치를 추정하도록 구성된다.
[0573] 예 70: 예 41 내지 예 64 중 어느 하나의 방법에 있어서, 상기 전자 프로세서는 상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 하나 이상의 추적 카메라들의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 각막의 곡률 중심의 위치를 추정하도록 구성된다.
[0574] 예 71: 사용자의 눈의 각막 곡률 중심의 위치를 추정하는 컴퓨터 구현 방법으로서, 상기 눈은 각막 및 동공을 갖고, 방법은:
상기 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템의 컴퓨팅 시스템에 의해:
하나 이상의 눈 추적 카메라들에 의해 캡처된 사용자의 눈의 이미지들, 하나 이상의 추적 카메라들에 의해 캡처된 눈의 상기 이미지들에서 관찰 가능한 하나 이상의 광 방출기들의 글린트 반사들 수신하는 단계 ― 하나 이상의 눈 추적 카메라들은 사용자의 눈을 이미징하도록 구성됨 ―; 및
상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 사용자의 눈의 상기 각막의 곡률 중심의 위치를 추정하는 단계를 포함하고, 상기 각막의 비구면 모델이 사용자의 눈의 상기 각막 곡률 중심의 상기 위치를 수치적으로 추정하는 데 사용된다.
[0575] 예 72: 예 71의 컴퓨터 구현 방법에 있어서, 상기 각막의 구면 모델이 상기 각막의 상기 곡률 중심의 값을 추정하는 데 사용된다.
[0576] 예 73: 예 72의 컴퓨터 구현 방법에 있어서, 상기 각막의 상기 구면 모델은, 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치 및 하나 이상의 추적 카메라들의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 상기 각막의 상기 곡률 중심의 값을 결정하기 위해 수치 계산들에서 사용된다.
[0577] 예 74: 예 72 또는 예 73의 컴퓨터 구현 방법에 있어서, 상기 각막의 구면 모델로부터 결정된 상기 각막의 상기 곡률 중심의 상기 추정은 상기 각막의 상기 곡률 중심의 값을 결정하기 위해 수치 계산들에서 상기 비구면 모델에 적용된다.
[0578] 예 75: 위의 예들 중 어느 하나의 컴퓨터 구현 방법에 있어서, 반복 프로세스가 상기 각막의 상기 곡률 중심의 추정을 결정하는 데 사용된다.
[0579] 예 76: 위의 예들 중 어느 하나의 컴퓨터 구현 방법에 있어서, 곡률 중심의 상기 추정을 반복적으로 평가하고 상기 비구면 모델을 사용하여 상기 곡률 중심의 다른 상이한 추정을 재계산하기 위해 상기 추정을 사용하는 것을 포함하는 반복 프로세스가 상기 각막의 상기 곡률 중심의 추정을 결정하는 데 사용된다.
[0580] 예 77: 위의 예들 중 어느 하나의 컴퓨터 구현 방법에 있어서, 곡률 중심의 상기 추정을 반복적으로 평가하고 상기 구면 모델 및 상기 비구면 모델을 사용하여 상기 곡률 중심의 다른 상이한 추정을 재계산하기 위해 상기 추정을 사용하는 반복 프로세스가 상기 각막의 상기 곡률 중심의 추정을 결정하는 데 사용된다.
[0581] 예 78: 위의 예들 중 어느 하나의 컴퓨터 구현 방법에 있어서, 상기 각막의 구면 모델로부터 결정된 상기 각막의 상기 곡률 중심의 상기 추정은 상기 각막의 상기 곡률 중심의 값을 결정하기 위해 수치 계산들에서 상기 비구면 모델에 대한 곡률 중심을 추정하는 데 사용된다.
[0582] 예 79: 예 72, 예 73 또는 예 78 중 어느 하나의 컴퓨터 구현 방법에 있어서, 상기 각막의 구면 모델로부터 결정된 상기 각막의 상기 곡률 중심의 상기 추정은 상기 각막의 상기 곡률 중심의 값을 결정하기 위해 수치 계산들에서 상기 비구면 모델로부터 결정된 회전 타원체의 배향을 추정하는 데 사용된다.
[0583] 예 80: 예 71 내지 예 79의 컴퓨터 구현 방법에 있어서, 상기 눈의 회전 중심 또는 상기 눈에 대한 동공의 중심이 추정되고 상기 각막의 상기 곡률 중심의 값을 결정하기 위해 수치 계산들에서 상기 비구면 모델로부터 결정된 회전 타원체의 배향을 추정하는 데 사용된다.
[0584] 예 81: 위의 예들 중 어느 하나의 컴퓨터 구현 방법에 있어서, 상기 비구면 모델은 광원들의 위치들에 기초하여 복수의 글린트들의 위치를 예측하는 데 사용된다.
[0585] 예 82: 예 72, 예 73 또는 예 78 내지 예 80의 컴퓨터 구현 방법에 있어서, 상기 비구면 모델은 광원들의 위치들에 기초하여 복수의 글린트들의 위치를 예측하는 데 사용된다.
[0586] 예 83: 예 82의 컴퓨터 구현 방법에 있어서, 상기 비구면 모델에 기초하여 예측된 상기 글린트들의 상기 위치는 구면 모델을 결정하는 데 사용된다.
[0587] 예 84: 예 83의 컴퓨터 구현 방법에 있어서, 상기 비구면 모델에 기초하여 예측된 상기 글린트들의 상기 위치에 기초하여 결정된 상기 구면 모델의 곡률 중심이 결정된다.
[0588] 예 85: 예 84의 컴퓨터 구현 방법에 있어서, 상기 비구면 모델에 기초하여 예측된 상기 글린트들의 상기 위치에 기초하여 결정된 상기 구면 모델의 상기 곡률 중심은 상기 비구면 모델의 중심을 결정하는 데 사용된 상기 구면 모델을 사용하여 결정된 상기 곡률 중심과 비교된다.
[0589] 예 86: 위의 예들 중 어느 하나의 컴퓨터 구현 방법에 있어서, 2 개의 구면 모델들로부터 획득된 2 개의 곡률 중심들 사이의 비교가 업데이트된 비구면 모델을 결정하는 데 사용된다.
[0590] 예 87: 위의 예들 중 어느 하나의 컴퓨터 구현 방법에 있어서, 2 개의 구면 모델들 ― 상기 구면 모델들 중 하나는 비구면 모델에 기초하여 결정됨 ― 로부터 획득된 2 개의 곡률 중심들 사이의 비교가 업데이트된 비구면 모델을 결정하는 데 사용된다.
[0591] 예 88: 예 85의 컴퓨터 구현 방법에 있어서, 상기 비교는 비구면 모델에 대한 업데이트된 곡률 중심을 결정하는 데 사용된다.
[0592] 예 89: 위의 예들 중 어느 하나의 컴퓨터 구현 방법에 있어서, 구면 모델이 비구면 모델의 하나 이상의 파라미터들을 결정하는 데 사용된다.
[0593] 예 90: 위의 예들 중 어느 하나의 컴퓨터 구현 방법에 있어서, 비구면 모델이 구면 모델의 하나 이상의 파라미터들을 결정하는 데 사용된다.
[0594] 예 91: 위의 예들 중 어느 하나의 컴퓨터 구현 방법에 있어서, 비구면 모델이 업데이트된 비구면 모델의 하나 이상의 파라미터들을 결정하기 위해 구면 모델의 하나 이상의 파라미터들을 결정하는 데 사용된다.
[0595] 예 92: 위의 예들의 컴퓨터 구현 방법에 있어서, 상기 업데이트된 비구면 모델은 추가로 업데이트된 비구면 모델의 하나 이상의 파라미터들을 결정하는 데 사용된다.
[0596] 예 93: 위의 예들의 컴퓨터 구현 방법에 있어서, 상기 업데이트된 비구면 모델은 구면 모델의 하나 이상의 파라미터들을 결정하는 데 사용된다.
[0597] 예 94: 위의 예들의 컴퓨터 구현 방법에 있어서, 구면 모델의 하나 이상의 파라미터들을 결정하기 위한 상기 업데이트된 비구면 모델은 추가로 업데이트된 비구면 모델의 하나 이상의 파라미터들을 결정하는 데 사용된다.
[0598] 예 95: 위의 예들의 컴퓨터 구현 방법에 있어서, 상기 업데이트된 비구면 모델에 기초하여 결정된 구면 모델의 하나 이상의 파라미터들과 다른 구면 모델의 하나 이상의 파라미터들의 비교가 추가로 업데이트된 비구면 모델의 하나 이상의 파라미터들을 결정하는 데 사용된다.
[0599] 예 96: 위의 예들의 컴퓨터 구현 방법에 있어서, 상기 비구면 모델은 회전 대칭인 비구면 표면을 포함한다.
[0600] 예 97: 위의 예들의 컴퓨터 구현 방법에 있어서, 상기 비구면 모델은 회전 타원체를 포함한다.
[0601] 예 98: 위의 예들의 컴퓨터 구현 방법에 있어서, 회전 타원체를 나타내는 식이 상기 각막의 상기 곡률 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0602] 예 99: 예 71 내지 예 95 중 어느 하나의 컴퓨터 구현 방법에 있어서, 상기 비구면 모델은 비회전 대칭인 표면을 포함한다.
[0603] 예 100: 예 71 내지 예 95 중 어느 하나의 컴퓨터 구현 방법에 있어서, 상기 비구면 모델은 2 개의 직교 단면들을 따른 상이한 곡률을 갖는 표면을 포함한다.
[0604] 예 101: 예 71 내지 예 95 중 어느 하나의 컴퓨터 구현 방법에 있어서, 상기 비구면 모델은 수평 방향을 따른 제1 곡률 및 수직 방향을 따른 제2 곡률을 갖고, 상기 제2 곡률은 상기 제1 곡률과 상이하고; 비구면 모델은 회전 대칭이 아니다.
[0605] 예 102: 예 71 내지 예 95의 컴퓨터 구현 방법에 있어서, 상기 비구면 모델은 타원체를 포함한다.
[0606] 예 103: 예 71 내지 예 95의 컴퓨터 구현 방법에 있어서, 상기 비구면 모델은 장형 타원체를 포함한다.
[0607] 예 104: 위의 예들 중 어느 하나의 컴퓨터 구현 방법에 있어서, 비구면 표면을 나타내는 식이 상기 각막의 상기 곡률 중심의 값을 결정하기 위한 상기 수치 계산들에 사용된다.
[0608] 예 105: 예 104의 컴퓨터 구현 방법에 있어서, 상기 식은 상기 비구면 표면 상의 포지션을 정의하는 3 개의 변수들 및 비구면 표면의 형상을 결정하는 2 개의 상수들을 포함한다.
[0609] 예 106: 예 104 또는 105의 컴퓨터 구현 방법에 있어서, 상기 식은 
과 동일하거나 등가이며, X, Y 및 Z는 상기 비구면 표면 상의 포지션을 정의하고 Q 및 R은 비구면 표면의 형상을 결정한다.
[0610] 예 107: 예 104의 컴퓨터 구현 방법에 있어서, 상기 식은 상기 비구면 표면 상의 포지션을 정의하는 3 개의 변수들 및 비구면 표면의 형상을 결정하는 3 개의 상수들을 포함한다.
[0611] 예 108: 예 71 내지 예 104 및 예 107의 컴퓨터 구현 방법에 있어서, 타원체 표면을 나타내는 식이 상기 각막의 상기 곡률 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0612] 예 109: 예 71 내지 예 103 및 예 107의 컴퓨터 구현 방법에 있어서, 장형 타원체 표면을 나타내는 식이 상기 각막의 상기 곡률 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0613] 예 110: 위의 예들 중 어느 하나의 컴퓨터 구현 방법에 있어서, 구면 표면을 나타내는 식 및 비구면 표면을 나타내는 식이 상기 각막의 상기 곡률 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0614] 예 111: 위의 예들 중 어느 하나의 컴퓨터 구현 방법에 있어서, 사용자의 눈을 이미징하도록 구성된 상기 하나 이상의 눈 추적 카메라들은 제1 눈 추적 카메라 및 제2 눈 추적 카메라를 포함한다.
[0615] 예 112: 예 111의 컴퓨터 구현 방법에 있어서, 사용자의 눈의 각막 곡률 중심을 향한 제1 방향은, 상기 제1 눈 추적 카메라에 의해 생성된 하나 이상의 이미지들에서 글린트 반사들의 위치에 기초하여 그리고 제1 눈 추적 카메라의 위치와 상기 글린트 반사들을 생성한 방출기들의 위치에 기초하여 결정되고;
사용자의 눈의 각막 곡률 중심을 향한 제2 방향은 상기 제2 눈 추적 카메라에 의해 생성된 하나 이상의 이미지들에서 글린트 반사들의 위치에 기초하고 제2 눈 추적 카메라의 위치와 상기 글린트 반사들을 생성한 방출기들의 위치에 기초하여 결정된다.
[0616] 예 113: 예 112의 컴퓨터 구현 방법에 있어서, 제1 방향은:
제1 눈 추적 카메라, 제1 글린트 반사의 위치 및 상기 제1 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제1 평면을 정의하는 단계;
제1 눈 추적 카메라, 제2 글린트 반사의 위치 및 상기 제2 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제2 평면을 정의하는 단계; 및
제1 평면과 제2 평면의 수렴 영역을 결정하는 단계에 의해 결정되며, 수렴 영역은 제1 방향을 따라 연장된다.
[0617] 예 114: 예 113의 컴퓨터 구현 방법에 있어서, 제2 방향은:
제2 눈 추적 카메라, 제3 글린트 반사의 위치 및 상기 제3 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제3 평면을 정의하는 단계;
제2 눈 추적 카메라, 제4 글린트 반사의 위치 및 상기 제4 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제4 평면을 정의하는 단계; 및
제3 평면과 제4 평면의 수렴 영역을 결정하는 단계에 의해 결정되며, 수렴 영역은 제2 방향을 따라 연장된다.
[0618] 예 115: 예 112 내지 예 114의 컴퓨터 구현 방법에 있어서, 사용자의 눈의 상기 각막 곡률 중심의 위치는 사용자의 눈의 각막 곡률 중심을 향한 상기 제1 방향 및 상기 제2 방향에 기초하여 결정된다.
[0619] 예 116: 예 112 내지 예 115의 컴퓨터 구현 방법에 있어서, 제1 눈 추적 카메라로부터 수신된 적어도 하나의 제1 이미지에 기초하여 사용자의 눈의 각막 곡률 중심이 따라서 위치될 것으로 추정되는 상기 제1 방향이 결정되고; 제2 눈 추적 카메라로부터 수신된 적어도 하나의 제2 이미지에 기초하여 사용자의 눈의 각막 곡률 중심이 따라서 위치될 것으로 추정되는 상기 제2 방향이 결정되며, 상기 제1 방향 및 상기 제2 방향은 영역을 향해 수렴한다.
[0620] 예 117: 예 112 내지 예 116 중 어느 하나의 컴퓨터 구현 방법에 있어서, 사용자의 눈의 각막 곡률 중심의 추정이 제1 방향과 제2 방향의 수렴에 기초하여 획득된다.
[0621] 예 118: 예 111 내지 예 117 중 어느 하나의 컴퓨터 구현 방법에 있어서, 사용자의 눈의 상기 각막 곡률 중심의 위치는 사용자의 눈의 각막 곡률 중심을 향한 제1 방향 및 제2 방향의 수렴 영역을 식별함으로써 추정된다.
[0622] 예 119: 예 111 내지 예 118 중 어느 하나의 컴퓨터 구현 방법에 있어서, 사용자의 눈의 회전 중심의 추정이 상이한 눈 포즈들에 대한 사용자의 눈의 각막 곡률 중심의 복수의 결정들에 기초하여 획득된다.
[0623] 예 120: 위의 예들 중 어느 하나의 컴퓨터 구현 방법에 있어서, 각막 곡률 중심을 사용하여 비구면 모델의 배향의 추정이 획득된다.
[0624] 예 121: 예 111 내지 예 120 중 어느 하나의 컴퓨터 구현 방법에 있어서, 비구면 모델의 배향의 추정은 각막 곡률 중심의 추정 및 제1 눈 추적 카메라 및 제2 눈 추적 카메라에 의해 획득된 이미지들로부터 결정된 동공의 중심들을 통과하는 다수의 벡터들의 수렴의 추정에 기초하여 획득된다.
[0625] 예 122: 예 121의 컴퓨터 구현 방법에 있어서, 상기 각막 곡률 중심을 포함하는 라인을 따른 중심을 갖는 비구면 모델의 포지션의 추정 및 동공의 중심들을 통과하는 다수의 벡터들의 수렴 추정이 획득된다.
[0626] 예 123: 예 121 또는 예 122의 컴퓨터 구현 방법에 있어서, 삼각 측량 방법이 상기 비구면 모델의 포지션을 결정한다.
[0627] 예 124: 위의 예들 중 어느 하나의 컴퓨터 구현 방법에 있어서, 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성되어, 표시된 가상 이미지 컨텐츠는 상이한 깊이들로부터 발생하는 것처럼 보인다.
파트-C
[0628] 예 1: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 눈은 각막 및 동공을 갖고, 상기 디스플레이 시스템은:
사용자의 머리 상에 지지되도록 구성된 프레임;
프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―;
사용자의 눈을 이미징하도록 구성된 하나 이상의 눈 추적 카메라들;
복수의 광 방출기들; 및
디스플레이 및 하나 이상의 눈 추적 카메라들과 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는:
하나 이상의 눈 추적 카메라들에 의해 캡처된 사용자의 눈의 이미지들, 하나 이상의 추적 카메라들에 의해 캡처된 눈의 상기 이미지들에서 관찰 가능한 상이한 광 방출기들의 글린트 반사들을 수신하고;
상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 적어도 부분적으로 기초하여 사용자의 눈의 제1 파라미터를 추정하도록 구성되고,
상기 프로세싱 전자기기는 사용자의 눈의 상기 제1 파라미터를 추정하기 위해 수치 계산들에서 상기 각막의 비구면 모델을 사용한다.
[0629] 예 2: 예 1의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제1 파라미터의 값을 추정하기 위해 수치 계산들에서 상기 각막의 구면 모델을 추가로 채용한다.
[0630] 예 3: 예 2의 디스플레이 시스템에 있어서, 상기 각막의 상기 구면 모델은, 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치 및 하나 이상의 추적 카메라들의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 상기 제1 파라미터의 값을 결정하기 위해 수치 계산들에 사용된다.
[0631] 예 4: 예 2 또는 예 3의 디스플레이 시스템에 있어서, 상기 각막의 구면 모델로부터 결정된 상기 제1 파라미터의 상기 추정은 상기 제1 파라미터의 값을 결정하기 위해 수치 계산들에서 상기 비구면 모델에 적용된다.
[0632] 예 5: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 반복 프로세스를 사용하여 상기 제1 파라미터의 추정을 결정하도록 구성된다.
[0633] 예 6: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제1 파라미터를 반복적으로 평가하고 상기 비구면 모델을 사용하여 상기 제1 파라미터의 다른 상이한 추정을 재계산하기 위해 상기 추정을 사용하는 것을 포함하는 반복 프로세스를 사용하여 상기 제1 파라미터의 추정을 결정하도록 구성된다.
[0634] 예 7: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제1 파라미터의 상기 추정을 반복적으로 평가하고 상기 구면 모델 및 상기 비구면 모델을 사용하여 상기 제1 파라미터의 다른 상이한 추정을 재계산하기 위해 상기 추정을 사용하는 반복 프로세스를 사용하여 상기 제1 파라미터의 추정을 결정하도록 구성된다.
[0635] 예 8: 예 2 또는 예 3의 디스플레이 시스템에 있어서, 상기 각막의 구면 모델로부터 결정된 상기 제1 파라미터의 상기 추정은 상기 제1 파라미터의 값을 결정하기 위해 수치 계산들에서 상기 비구면 모델에 대한 상기 제1 파라미터의 값을 추정하는 데 사용된다.
[0636] 예 9: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 회전 대칭인 비구면 표면을 포함한다.
[0637] 예 10: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 회전 타원체를 포함한다.
[0638] 예 11: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 회전 타원체를 나타내는 식이 상기 각막의 상기 곡률 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0639] 예 12: 예 1 내지 예 8 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 비회전 대칭인 표면을 포함한다.
[0640] 예 13: 예 1 내지 예 8 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 2 개의 직교 단면들을 따라 상이한 곡률을 갖는 표면을 포함한다.
[0641] 예 14: 예 1 내지 예 8 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 수평 방향을 따른 제1 곡률 및 수직 방향을 따른 제2 곡률을 갖고, 상기 제2 곡률은 상기 제1 곡률과 상이하며; 비구면 모델은 회전 대칭이 아니다.
[0642] 예 15: 예 1 내지 예 8 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 타원체를 포함한다.
[0643] 예 16: 예 1 내지 예 8 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 장형 타원체를 포함한다.
[0644] 예 17: 예 1 내지 예 8 중 어느 하나의 디스플레이 시스템에 있어서, 비구면 표면을 나타내는 식이 상기 제1 파라미터의 값을 결정하기 위한 상기 수치 계산들에 사용된다.
[0645] 예 18: 예 17의 디스플레이 시스템에 있어서, 상기 식은 상기 비구면 표면 상의 포지션을 정의하는 3 개의 변수들 및 비구면 표면의 형상을 결정하는 2 개의 상수들을 포함한다.
[0646] 예 19: 예 17 또는 예 18의 디스플레이 시스템에 있어서, 상기 식은 
과 동일하거나 등가이며, X, Y 및 Z는 상기 비구면 표면 상의 포지션을 정의하고 Q 및 R은 비구면 표면의 형상을 결정한다.
[0647] 예 20: 예 17의 디스플레이 시스템에 있어서, 상기 식은 상기 비구면 표면 상의 포지션을 정의하는 3 개의 변수들 및 비구면 표면의 형상을 결정하는 3 개의 상수들을 포함한다.
[0648] 예 21: 예 1 내지 예 17 및 예 20 중 어느 하나의 디스플레이 시스템에 있어서, 타원체 표면을 나타내는 식이 상기 제1 파라미터의 값을 결정하기 위한 수치 계산들에 사용된다.
[0649] 예 22: 예 1 내지 예 17 및 예 20 중 어느 하나의 디스플레이 시스템에 있어서, 장형 타원체 표면을 나타내는 식이 상기 제1 파라미터의 값을 결정하기 위한 수치 계산들에 사용된다.
[0650] 예 23: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 구면 표면을 나타내는 식 및 비구면 표면을 나타내는 식이 상기 제1 파라미터의 값을 결정하기 위한 수치 계산들에 사용된다.
[0651] 예 24: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성되어, 표시된 가상 이미지 컨텐츠는 상이한 깊이들로부터 발생하는 것처럼 보인다.
[0652] 예 25: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 적어도 하나의 발산의 상이한 양으로 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성되어, 표시된 가상 이미지 컨텐츠는 상이한 깊이들로부터 발생하는 것처럼 보인다.
[0653] 예 26: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 발산하는 상기 사용자의 눈에 광을 투사하고 상이한 깊이들로부터 발생하는 것처럼 보이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 시준되는 상기 사용자의 눈으로 광을 투사하도록 구성된다.
[0654] 예 27: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 전자 프로세서는 상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 하나 이상의 추적 카메라들의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 파라미터를 추정하도록 구성된다.
[0655] 예 28: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템에서 가상 이미지 컨텐츠를 렌더링하기 위해 눈과 연관된 하나 이상의 파라미터들을 결정하는 방법으로서, 상기 눈은 각막을 가지며, 상기 방법은:
사용자의 눈을 이미징하도록 구성된 하나 이상의 눈 추적 카메라들 및 그 위에 글린트들을 형성하기 위해 상기 눈에 대해 배치된 복수의 광 방출기들로, 사용자의 눈의 복수의 이미지들 ― 상기 이미지들은 상이한 광 방출기들의 복수의 글린트 반사들을 포함함 ― 을 캡처하는 단계; 및
하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 사용자의 눈의 제1 파라미터를 추정하는 단계를 포함하고,
상기 각막의 비구면 모델이 사용자의 눈의 상기 제1 파라미터의 상기 위치를 추정하기 위해 수치 계산들에서 사용된다.
[0656] 예 29: 예 28의 방법에 있어서, 구면 모델 및 비구면 모델 모두가 상기 제1 파라미터의 값을 결정하는 데 사용된다.
[0657] 예 30: 예 28의 방법에 있어서, 구면 모델 및 비구면 모델 모두가 상기 제1 파라미터의 값을 결정하기 위한 수치 계산들에 사용된다.
[0658] 예 31: 예 28 내지 예 30 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 회전 대칭이다.
[0659] 예 32: 예 28 내지 예 31 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 회전 타원체를 포함한다.
[0660] 예 33: 예 28 내지 예 30 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 비회전 대칭이다.
[0661] 예 34: 예 28 내지 예 30 또는 예 33 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 2 개의 직교 단면들을 따라 상이한 곡률을 갖는다.
[0662] 예 35: 예 28 내지 예 30 또는 예 33 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 수평 방향을 따른 제1 곡률 및 수직 방향을 따른 제2 곡률을 가지며, 상기 제2 곡률은 상기 제1 곡률과 상이하고; 비구면 모델은 회전 대칭이 아니다.
[0663] 예 36: 예 28 내지 예 30 또는 예 31 내지 예 35 중 어느 하나 방법에 있어서, 상기 비구면 모델은 타원체를 포함한다.
[0664] 예 37: 예 28 내지 예 30 또는 예 31 내지 예 35 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 장형 타원체를 포함한다.
[0665] 예 38: 예 28 내지 예 37 중 어느 하나의 방법에 있어서, 상기 제1 파라미터를 추정하는 상기 단계는 상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 하나 이상의 추적 카메라들의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 제1 파라미터를 추정하는 단계를 포함한다.
[0666] 예 39: 예 28 내지 예 38 중 어느 하나의 방법에 있어서, 상기 전자 프로세서는 상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 하나 이상의 추적 카메라들의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 제1 파라미터의 값을 추정하도록 구성된다.
[0667] 예 40: 위의 예들 중 어느 하나의 방법에 있어서, 제1 파라미터는 상기 각막의 곡률 중심의 위치를 포함한다.
[0668] 예 41: 위의 예들 중 어느 하나의 방법에 있어서, 제1 파라미터는 눈의 포지션 및/또는 배향과 연관된 파라미터를 포함한다.
[0669] 예 42: 위의 예들 중 어느 하나의 방법에 있어서, 제1 파라미터는 눈의 포지션을 갖는 파라미터를 포함한다.
[0670] 예 43: 위의 예들 중 어느 하나의 방법에 있어서, 제1 파라미터는 눈의 포지션에 따른 파라미터를 포함한다.
[0671] 예 44: 위의 예들 중 어느 하나의 방법에 있어서, 제1 파라미터는 눈의 포지션을 결정하는 데 사용될 수 있는 파라미터를 포함한다.
[0672] 예 45: 예 1 내지 예 27 중 어느 하나의 디스플레이에 있어서, 제1 파라미터는 눈의 포지션 및/또는 배향과 연관된 파라미터를 포함한다.
[0673] 예 46: 예 1 내지 예 27 중 어느 하나의 디스플레이에 있어서, 제1 파라미터는 눈의 포지션과 연관된 파라미터를 포함한다.
[0674] 예 47: 예 1 내지 예 27 중 어느 하나의 디스플레이에 있어서, 제1 파라미터는 눈의 포지션에 따른 파라미터를 포함한다.
[0675] 예 48: 예 1 내지 예 27 중 어느 하나의 디스플레이에 있어서, 제1 파라미터는 눈의 포지션을 결정하는 데 사용될 수 있는 파라미터를 포함한다.
[0676] 예 49: 예 1 내지 예 27 중 어느 하나의 디스플레이에 있어서, 제1 파라미터는 상기 각막의 곡률 중심의 위치를 포함한다.
[0677] 예 50: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 적어도 하나의 반복에 기초하여 상기 비구면 모델의 형상에 영향을 미치는 파라미터를 업데이트하도록 추가로 구성된다.
[0678] 예 51: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 적어도 하나의 반복에 기초하여 상기 비구면 모델의 형상을 특징화하는 상수를 업데이트하도록 추가로 구성된다.
[0679] 예 52: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 적어도 하나의 반복에 기초하여 비구면 회전 타원체 모델의 형상을 특징화하는 상수를 업데이트하도록 추가로 구성된다.
[0680] 예 53: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 적어도 하나의 반복에 기초하여 비구면 회전 타원체 모델의 형상을 특징화하는 Q의 값을 업데이트하도록 추가로 구성된다.
[0681] 예 54: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 복수의 반복들에 걸쳐 상기 비구면 모델의 형상에 영향을 미치는 파라미터를 업데이트하도록 추가로 구성된다.
[0682] 예 55: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 복수의 반복들에 걸쳐 상기 비구면 모델의 형상을 특징화하는 상수를 업데이트하도록 추가로 구성된다.
[0683] 예 56: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 복수의 반복들에 걸쳐 비구면 회전 타원체 모델의 형상을 특징화하는 상수를 업데이트하도록 추가로 구성된다.
[0684] 예 57: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 복수의 반복에 걸쳐 비구면 회전 타원체 모델의 형상을 특징화하는 Q의 값을 업데이트하도록 추가로 구성된다.
[0685] 예 58: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 회전 중심의 계산된 값들의 변동, 불확실성 또는 에러를 감소시키는 값, 상수 또는 파라미터를 결정함으로써 상기 값, 상수 또는 파라미터를 업데이트하도록 추가로 구성된다.
[0686] 예 59: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상이한 눈의 시선들에 대한 회전 중심의 계산된 값들의 변동, 불확실성 또는 에러를 감소시키는 값, 상수 또는 파라미터를 결정함으로써 상기 값, 상수 또는 파라미터를 업데이트하도록 추가로 구성된다.
[0687] 예 60: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 교정 프로세스 동안 상이한 눈의 시선들에 대한 회전 중심의 계산된 값들의 변동, 불확실성 또는 에러를 감소시키는 값, 상수 또는 파라미터를 결정함으로써 상기 값, 상수 또는 파라미터를 업데이트하도록 추가로 구성된다.
[0688] 예 61: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 시선을 변경시키기 위해 고정 타깃들이 상기 디스플레이 상의 뷰어에게 제공되는 교정 프로세스 동안 상이한 눈의 시선들에 대한 회전 중심의 계산된 값들의 변동, 불확실성 또는 에러를 감소시키는 값, 상수 또는 파라미터를 결정함으로써 상기 값, 상수 또는 파라미터를 업데이트하도록 추가로 구성된다.
[0689] 예 62: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 추가 교정이 수행될 때까지 상기 비구면 모델의 형상에 영향을 미치는 상기 값, 상수 또는 파라미터를 사용하도록 추가로 구성된다.
[0690] 예 63: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 파라미터를 결정하기 위해 추가 교정이 수행될 때까지 상기 비구면 모델의 형상에 영향을 미치는 상기 값, 상수 또는 파라미터를 사용하도록 추가로 구성된다.
[0691] 예 64: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 각막 중심을 결정하기 위해 추가 교정이 수행될 때까지 상기 비구면 모델의 형상에 영향을 미치는 상기 값, 상수 또는 파라미터를 사용하도록 추가로 구성된다.
[0692] 예 65: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 각막 중심을 결정하기 위해 추가 교정이 수행될 때까지 상기 비구면 모델의 형상에 영향을 미치는 상기 값, 상수 또는 파라미터를 사용하도록 추가로 구성된다.
[0693] 예 66: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 회전 중심을 결정하기 위해 추가 교정이 수행될 때까지 상기 비구면 모델의 형상에 영향을 미치는 상기 값, 상수 또는 파라미터를 사용하도록 추가로 구성된다.
[0694] 예 67: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 적어도 하나의 눈 추적 카메라는 사용자의 눈을 이미징하도록 구성된 제1 눈 추적 카메라, 제2 눈 추적 카메라 및 제3 눈 추적 카메라를 포함하고, 상기 프로세싱 전자기기는 상기 제1 눈 추적 카메라, 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라와 통신하고, 광 방출기들의 글린트 반사들은 제1 눈 추적 카메라, 제2 눈 추적 카메라 및 제3 눈 추적 카메라에 의해 캡처된 눈의 이미지들에서 관찰 가능하다.
[0695] 예 68: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제1 눈 추적 카메라, 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 사용자의 눈의 상기 제1 파라미터를 추정하도록 구성된다.
[0696] 예 69: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는, 상기 제1 눈 추적 카메라, 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 그리고 상기 제1 눈 추적 카메라, 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 제1 파라미터를 추정하도록 구성된다.
[0697] 예 70: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제1 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터 및 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터에 기초하여 사용자의 눈의 상기 파라미터를 추정하도록 구성된다.
[0698] 예 71: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터 및 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터에 기초하여 사용자의 눈의 상기 파라미터를 추정하도록 구성된다.
[0699] 예 72: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제1 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터 및 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터의 평균에 기초하여 사용자의 눈의 상기 제1 파라미터를 추정하도록 구성된다.
[0700] 예 73: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터 및 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터의 평균에 기초하여 사용자의 눈의 상기 제1 파라미터를 추정하도록 구성된다.
[0701] 예 74: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기가 추정하도록 구성되는 상기 제1 파라미터는 각막 중심을 포함한다.
[0702] 예 75: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 사용자의 눈의 상기 각막 중심은 사용자의 눈의 각막의 곡률 중심을 포함한다.
[0703] 예 76: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 사용자의 눈의 상기 각막 중심은 사용자의 눈의 각막의 각막 정점의 곡률 중심을 포함한다.
[0704] 예 77: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기가 추정하도록 구성되는 상기 제1 파라미터는 눈의 회전 중심을 포함한다.
[0705] 예 78: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 하나 이상의 눈 추적 카메라들에 의해 캡처된 사용자의 눈의 복수의 이미지들을 사용하여 상기 비구면 모델의 형상에 영향을 미치는 파라미터의 사용자 특정 값을 결정하도록 추가로 구성된다.
[0706] 예 79: 예 78의 디스플레이 시스템에 있어서, 파라미터의 상기 사용자 특정 값은 상기 사용자의 눈과 연관된다.
[0707] 예 80: 예 78의 디스플레이 시스템에 있어서, 사용자의 눈의 상기 복수의 이미지들의 상이한 이미지들은 각각의 타깃 위치들과 연관된 상이한 시선 방향들에서 캡처되며, 타깃 위치는 디스플레이 시스템에 의해 결정되고, 타깃 위치는 사용자의 눈의 상기 복수의 이미지들 중 상이한 이미지들에 대해 상이하다.
[0708] 예 81: 예 78의 디스플레이 시스템에 있어서, 사용자의 눈의 상기 복수의 이미지들 중 이미지들의 상이한 쌍들이 각각의 타깃 위치들과 연관된 상이한 시선 방향들에서 캡처되며, 타깃 위치는 디스플레이 시스템에 의해 결정되고 타깃 위치는 사용자의 눈의 상기 복수의 이미지들 중 이미지들의 상이한 쌍에 대해 상이하다.
[0709] 예 82: 예 80 또는 예 81 중 어느 하나의 디스플레이 시스템에 있어서, 프로세싱 전자기기는 반복 프로세스에 기초하여 상기 비구면 모델의 형상에 영향을 미치는 상기 파라미터의 상기 사용자 특정 값을 결정하며, 반복은:
상기 비구면 모델의 형상에 영향을 미치는 파라미터의 값에 적어도 부분적으로 기초하여 사용자의 눈의 복수의 회전 중심을 추정하는 단계;
사용자의 눈의 추정된 복수의 회전 중심과 연관된 통계 메트릭의 값을 계산하는 단계;
계산된 통계 메트릭에 적어도 부분적으로 기초하여 상기 비구면 모델의 형상에 영향을 미치는 상기 파라미터의 수정된 값을 생성하는 단계를 포함한다.
[0710] 예 83: 예 82의 디스플레이 시스템에 있어서, 상기 비구면 모델의 형상에 영향을 미치는 파라미터의 값은 이전 반복에서 생성된 것에 기초하여 상기 비구면 모델의 형상에 영향을 미치는 상기 파라미터의 수정된 값이다.
[0711] 예 84: 예 82의 디스플레이 시스템에 있어서, 반복 프로세스의 제1 반복에서 사용되는 상기 비구면 모델의 형상에 영향을 미치는 파라미터의 값은 눈 모델에 의해 결정된 초기 값이다.
[0712] 예 85: 예 84의 디스플레이 시스템에 있어서, 눈 모델은 Arizona 눈 모델이고 상기 비구면 모델의 형상에 영향을 미치는 파라미터의 초기 값은 -0.26이다.
[0713] 예 86: 예 82의 디스플레이 시스템에 있어서, 상기 비구면 모델의 형상에 영향을 미치는 상기 파라미터의 수정된 값은 통계 메트릭의 값을 감소시킨다.
[0714] 예 87: 예 86의 디스플레이 시스템에 있어서, 통계 메트릭은 복수의 회전 중심의 통계 분포의 변동을 포함한다.
[0715] 예 88: 예 87의 디스플레이 시스템에 있어서, 통계 메트릭은 분산 또는 표준 편차를 포함한다.
[0716] 예 89: 예 82의 디스플레이 시스템에 있어서, 사용자의 눈의 복수의 회전 중심은 상기 비구면 모델, 하나 이상의 추적 카메라의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 적어도 부분적으로 기초하여 추정된다.
[0717] 예 90: 위의 예들 중 어느 하나의 디스플레이에 있어서, 제1 파라미터는 각막 중심의 위치를 포함한다.
[0718] 예 91: 위의 예들 중 어느 하나의 방법에 있어서, 제1 파라미터는 각막 중심의 위치를 포함한다.
[0719] 예 92: 위의 예들 중 어느 하나의 방법에 있어서, 제1 파라미터는 눈의 회전 중심의 위치를 포함한다.
파트-D
[0720] 예 1: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 눈은 각막 및 동공을 갖고, 상기 디스플레이 시스템은:
사용자의 머리 상에 지지되도록 구성된 프레임;
프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―;
사용자의 눈을 이미징하도록 구성된 하나 이상의 눈 추적 카메라들;
복수의 광 방출기들; 및
디스플레이 및 하나 이상의 눈 추적 카메라들과 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는:
하나 이상의 눈 추적 카메라들에 의해 캡처된 사용자의 눈의 이미지들, 하나 이상의 추적 카메라들에 의해 캡처된 눈의 상기 이미지들에서 관찰 가능한 상이한 광 방출기들의 글린트 반사들을 수신하고;
상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 적어도 부분적으로 기초하여 사용자의 눈의 상기 각막의 곡률 중심의 위치를 추정하도록 구성되고,
상기 프로세싱 전자기기는 사용자의 눈의 상기 각막 곡률 중심의 상기 위치를 추정하기 위해 수치 계산들에서 상기 각막의 비구면 모델을 사용한다.
[0721] 예 2: 예 1의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 각막의 상기 곡률 중심의 값을 추정하기 위해 수치 계산들에서 상기 각막의 구면 모델을 추가로 채용한다.
[0722] 예 3: 예 2의 디스플레이 시스템에 있어서, 상기 각막의 상기 구면 모델은, 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 하나 이상의 추적 카메라들의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 상기 각막의 상기 곡률 중심의 값을 결정하기 위해 수치 계산들에서 사용된다.
[0723] 예 4: 예 2 또는 예 3의 디스플레이 시스템에 있어서, 상기 각막의 구면 모델로부터 결정된 상기 각막의 상기 곡률 중심의 상기 추정은 상기 각막의 상기 곡률 중심의 값을 결정하기 위해 수치 계산들에서 상기 비구면 모델에 적용된다.
[0724] 예 5: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 반복 프로세스를 사용하여 상기 각막의 상기 곡률 중심의 추정을 결정하도록 구성된다.
[0725] 예 6: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 곡률 중심의 상기 추정을 반복적으로 평가하고 상기 비구면 모델을 사용하여 상기 곡률 중심의 다른 상이한 추정을 재계산하기 위해 상기 추정을 사용하는 것을 포함하는 반복 프로세스를 사용하여 상기 각막의 상기 곡률 중심의 추정을 결정하도록 구성된다.
[0726] 예 7: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 곡률 중심의 상기 추정을 반복적으로 평가하고 상기 구면 모델 및 상기 비구면 모델을 사용하여 상기 곡률 중심의 다른 상이한 추정을 재계산하기 위해 상기 추정을 사용하는 반복 프로세스를 사용하여 상기 각막의 상기 곡률 중심의 추정을 결정하도록 구성된다.
[0727] 예 8: 예 2 또는 예 3의 디스플레이 시스템에 있어서, 상기 각막의 구면 모델로부터 결정된 상기 각막의 상기 곡률 중심의 상기 추정은 상기 각막의 상기 곡률 중심의 값을 결정하기 위해 수치 계산들에서 상기 비구면 모델의 적용을 위해 비구면 표면의 곡률 중심을 추정하는 데 사용된다.
[0728] 예 9: 예 2, 예 3 또는 예 8의 디스플레이 시스템에 있어서, 상기 각막의 구면 모델로부터 결정된 상기 각막의 상기 곡률 중심의 상기 추정은 상기 각막의 상기 곡률 중심의 값을 결정하기 위해 수치 계산들에서 상기 비구면 모델의 적용을 위해 비구면 표면의 배향을 추정하는 데 사용된다.
[0729] 예 10: 예 1 내지 예 9의 디스플레이 시스템에 있어서, 상기 눈의 회전 중심 또는 상기 눈에 대한 동공의 중심이 추정되고 상기 각막의 상기 곡률 중심의 값을 결정하기 위해 수치 계산들에서 상기 비구면 모델의 적용을 위해 비구면 표면의 배향을 추정하는 데 사용된다.
[0730] 예 11: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 광원들의 위치들에 기초하여 복수의 글린트들의 위치를 예측하는 데 사용된다.
[0731] 예 12: 예 2, 예 3 또는 예 8 내지 예 10의 디스플레이 시스템에 있어서, 상기 비구면 모델은 광원들의 위치들에 기초하여 복수의 글린트들의 위치를 예측하는 데 사용된다.
[0732] 예 13: 예 12의 디스플레이 시스템에 있어서, 상기 비구면 모델에 기초하여 예측된 상기 글린트들의 상기 위치는 구면 표면의 곡률 중심을 결정하는 데 사용된다.
[0733] 예 14: 예 13의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 모델에 기초하여 예측된 상기 글린트들의 상기 위치에 기초하여 구면 표면의 곡률 중심을 결정하도록 구성된다.
[0734] 예 15: 예 14의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 모델에 기초하여 예측된 상기 글린트들의 상기 위치에 기초하여 결정된 상기 구면 표면의 상기 곡률 중심을 상기 비구면 표면의 곡률 중심을 결정하는 데 사용된 상기 구면 모델을 사용하여 결정된 상기 곡률 중심과 비교하도록 구성된다.
[0735] 예 16: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면의 업데이트된 곡률 중심을 결정하기 위해 2 개의 구면 표면들에 대한 2 개의 곡률 중심들 사이의 비교를 사용하도록 구성된다.
[0736] 예 17: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 표면의 업데이트된 곡률 중심을 결정하기 위해 구면 모델의 적용으로부터 획득된 2 개의 구면 표면들 ― 상기 구면 표면들 중 하나는 비구면 모델에 기초하여 결정됨 ― 의 2 개의 곡률 중심들 사이의 비교를 사용하도록 구성된다.
[0737] 예 18: 예 15의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 표면의 업데이트된 곡률 중심을 결정하기 위해 상기 비교를 사용하도록 구성된다.
[0738] 예 19: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 비구면 표면의 하나 이상의 파라미터들을 결정하기 위해 구면 모델을 사용하도록 구성된다.
[0739] 예 20: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 구면 표면의 하나 이상의 파라미터들을 결정하기 위해 비구면 모델을 사용하도록 구성된다.
[0740] 예 21: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 비구면 표면의 하나 이상의 파라미터들을 결정하기 위해 구면 표면의 하나 이상의 파라미터들을 결정하기 위해 비구면 모델을 사용하도록 구성된다.
[0741] 예 22: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 표면의 상기 곡률 중심을 추가로 업데이트하기 위해 상기 비구면 모델의 적용을 위해 상기 비구면 표면의 상기 업데이트된 곡률 중심을 사용하도록 구성된다.
[0742] 예 23: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 구면 표면의 하나 이상의 파라미터들을 결정하기 위해 비구면 모델의 적용을 위해 상기 비구면 표면의 상기 업데이트된 곡률 중심을 사용하도록 구성된다.
[0743] 예 24: 위의 예 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 표면의 곡률 중심을 추가로 업데이트하기 위해 구면 모델의 적용을 위해 구면 표면의 하나 이상의 파라미터들을 결정하기 위해 상기 비구면 표면의 상기 업데이트된 곡률 중심을 사용하도록 구성된다.
[0744] 예 25: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 표면의 하나 이상의 파라미터들을 업데이트하기 위해 상기 업데이트된 비구면 표면에 기초하여 결정된 구면 표면의 하나 이상의 파라미터들과 다른 구면 표면의 하나 이상의 파라미터들의 비교를 사용하도록 구성된다.
[0745] 예 26: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 회전 대칭인 비구면 표면을 포함한다.
[0746] 예 27: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 회전 타원체를 포함한다.
[0747] 예 28: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 회전 타원체를 나타내는 식이 상기 각막의 상기 곡률 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0748] 예 29: 예 1 내지 예 25 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 비회전 대칭인 표면을 포함한다.
[0749] 예 30: 예 1 내지 예 25 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 2 개의 직교 단면들을 따라 상이한 곡률을 갖는 표면을 포함한다.
[0750] 예 31: 예 1 내지 예 25 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 수평 방향을 따른 제1 곡률 및 수직 방향을 따른 제2 곡률을 갖고, 상기 제2 곡률은 상기 제1 곡률과 상이하며; 비구면 모델은 회전 대칭이 아니다.
[0751] 예 32: 예 1 내지 예 25 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 타원체를 포함한다.
[0752] 예 33: 예 1 내지 예 25 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 장형 타원체를 포함한다.
[0753] 예 34: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 비구면 표면을 나타내는 식이 상기 각막의 상기 곡률 중심의 값을 결정하기 위한 상기 수치 계산들에 사용된다.
[0754] 예 35: 예 34의 디스플레이 시스템에 있어서, 상기 식은 상기 비구면 표면 상의 포지션을 정의하는 3 개의 변수들 및 비구면 표면의 형상을 결정하는 2 개의 상수들을 포함한다.
[0755] 예 36: 예 34 또는 예 35의 디스플레이 시스템에 있어서, 상기 식은 
과 동일하거나 등가이고, X, Y 및 Z는 상기 비구면 표면 상의 포지션을 정의하고, Q 및 R은 비구면 표면의 형상을 결정한다.
[0756] 예 37: 예 34의 디스플레이 시스템에 있어서, 상기 식은 상기 비구면 표면 상의 포지션을 정의하는 3 개의 변수들 및 비구면 표면의 형상을 결정하는 3 개의 상수들을 포함한다.
[0757] 예 38: 예 1 내지 예 34 및 예 37 중 어느 하나의 디스플레이 시스템에 있어서, 타원체 표면을 나타내는 식이 상기 각막의 상기 곡률 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0758] 예 39: 예 1 내지 예 33 및 예 37 중 어느 하나의 디스플레이 시스템에 있어서, 장형 타원체 표면을 나타내는 식이 상기 각막의 상기 곡률 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0759] 예 40: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 구면 표면을 나타내는 식 및 비구면 표면을 나타내는 식이 상기 각막의 상기 곡률 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0760] 예 41: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 사용자의 눈을 이미징하도록 구성된 상기 하나 이상의 눈 추적 카메라들은 제1 눈 추적 카메라 및 제2 눈 추적 카메라를 포함한다.
[0761] 예 42: 예 41의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는:
상기 제1 눈 추적 카메라에 의해 생성된 하나 이상의 이미지들에서 글린트 반사들의 위치에 기초하여 그리고 제1 눈 추적 카메라의 위치 및 상기 글린트 반사들을 생성한 방출기들의 위치에 기초하여, 사용자의 눈의 각막 곡률 중심을 향한 제1 방향을 결정하고;
상기 제2 눈 추적 카메라에 의해 생성된 하나 이상의 이미지들에서 글린트 반사들의 위치에 기초하고 제2 눈 추적 카메라의 위치 및 상기 글린트 반사들을 생성한 방출기들의 위치에 기초하여, 사용자의 눈의 각막 곡률 중심을 향한 제2 방향을 결정하도록 구성된다.
[0762] 예 43: 예 42의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는:
제1 눈 추적 카메라, 제1 글린트 반사의 위치 및 상기 제1 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제1 평면을 정의하고;
제1 눈 추적 카메라, 제2 글린트 반사의 위치 및 상기 제2 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제2 평면을 정의하고;
제1 평면과 제2 평면의 수렴 영역을 결정함으로써 제1 방향을 결정하도록 구성되고, 수렴 영역은 제1 방향을 따라 연장된다.
[0763] 예 44: 예 43의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는:
제2 눈 추적 카메라, 제3 글린트 반사의 위치 및 상기 제3 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제3 평면을 정의하고;
제2 눈 추적 카메라, 제4 글린트 반사의 위치 및 상기 제4 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제4 평면을 정의하고;
제3 평면과 제4 평면의 수렴 영역을 결정함으로써 제2 방향을 결정하도록 구성되고, 수렴 영역은 제2 방향을 따라 연장된다.
[0764] 예 45: 예 42 내지 예 44 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 각막 곡률 중심을 향한 상기 제1 방향 및 상기 제2 방향에 기초하여 사용자의 눈의 상기 각막 곡률 중심의 위치를 추정하도록 구성된다.
[0765] 예 46: 예 42 내지 예 45 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는:
제1 눈 추적 카메라로부터 수신된 적어도 하나의 제1 이미지에 기초하여 사용자의 눈의 각막 곡률 중심이 따라서 위치될 것으로 추정되는 상기 제1 방향을 결정하고;
제2 눈 추적 카메라로부터 수신된 적어도 하나의 제2 이미지에 기초하여 사용자의 눈의 각막 곡률 중심이 따라서 위치될 것으로 추정되는 상기 제2 방향을 결정하도록 구성되고, 상기 제1 방향 및 상기 제2 방향은 영역을 향해 수렴한다.
[0766] 예 47: 예 42 내지 예 46 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는:
제1 방향과 제2 방향의 수렴에 기초하여 사용자의 눈의 각막 곡률 중심의 추정을 획득하도록 구성된다.
[0767] 예 48: 예 41 내지 예 47 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 각막 곡률 중심을 향한 제1 방향 및 제2 방향의 수렴 영역을 식별함으로써 사용자의 눈의 상기 각막 곡률 중심의 위치를 추정하도록 구성된다.
[0768] 예 49: 예 41 내지 예 48 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상이한 눈 포즈들에 대한 사용자의 눈의 각막 곡률 중심의 복수의 결정들에 기초하여 사용자의 눈의 회전 중심의 추정을 획득하도록 구성된다.
[0769] 예 50: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 각막 곡률 중심을 사용하여 비구면 모델의 적용을 위해 비구면 표면의 배향의 추정을 획득하도록 구성된다.
[0770] 예 51: 예 41 내지 예 50 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 각막 곡률 중심의 추정 및 제1 눈 추적 카메라 및 제2 눈 추적 카메라에 의해 획득된 이미지들로부터 결정된 동공 중심을 통과하는 다수의 벡터들의 수렴의 추정에 기초하여 비구면 모델의 적용을 위해 비구면 표면의 배향의 추정을 획득하도록 구성된다.
[0771] 예 52: 예 51의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 각막 곡률 중심을 포함하는 라인을 따른 중심을 갖는 비구면 모델의 적용을 위해 비구면 표면의 포지션의 추정 및 동공의 중심들을 통과하는 다수의 벡터들의 수렴의 추정을 획득하도록 구성된다.
[0772] 예 53: 예 51 또는 예 52의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 표면의 포지션을 결정하기 위해 삼각 측량을 사용하도록 구성된다.
[0773] 예 54: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성되어, 표시된 가상 이미지 컨텐츠가 상이한 깊이들로부터 발생하는 것처럼 보인다.
[0774] 예 55: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 적어도 하나의 발산의 상이한 양으로 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성되어, 표시된 가상 이미지 컨텐츠가 상이한 깊이들로부터 발생하는 것처럼 보인다.
[0775] 예 56: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 발산하는 상기 사용자의 눈으로 광을 투사하고 상이한 깊이들로부터 발생하는 것처럼 보이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 시준되는 상기 사용자의 눈으로 광을 투사하도록 구성된다.
[0776] 예 57: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템에서 가상 이미지 컨텐츠를 렌더링하기 위해 눈과 연관된 하나 이상의 파라미터들을 결정하는 방법으로서, 상기 눈은 각막을 가지며, 상기 방법은:
사용자의 눈을 이미징하도록 구성된 하나 이상의 눈 추적 카메라들 및 그 위에 글린트들을 형성하기 위해 상기 눈에 대해 배치된 복수의 광 방출기들로, 사용자의 눈의 복수의 이미지들 ― 상기 이미지들은 상이한 광 방출기들의 복수의 글린트 반사들을 포함함 ― 을 캡처하는 단계; 및
하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 사용자의 눈의 상기 각막 곡률 중심의 위치를 추정하는 단계를 포함하고,
상기 각막의 비구면 모델이 사용자의 눈의 상기 각막 곡률 중심의 상기 위치를 추정하기 위해 수치 계산들에서 사용된다.
[0777] 예 58: 예 57의 방법에 있어서, 구면 모델과 비구면 모델 모두가 상기 각막의 상기 곡률 중심의 값을 결정하는 데 사용된다.
[0778] 예 59: 예 57의 방법에 있어서, 구면 모델과 비구면 모델 모두가 상기 각막의 상기 곡률 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0779] 예 60: 예 57 내지 예 59 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 회전 대칭이다.
[0780] 예 61: 예 57 내지 예 60 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 회전 타원체를 포함한다.
[0781] 예 62: 예 57 내지 예 59 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 비회전 대칭이다.
[0782] 예 63: 예 57 내지 예 59 또는 예 62 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 2 개의 직교 단면들을 따라 상이한 곡률을 갖는다.
[0783] 예 64: 예 57 내지 예 59 또는 예 62 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 수평 방향을 따른 제1 곡률 및 수직 방향을 따른 제2 곡률을 갖고, 상기 제2 곡률은 상기 제1 곡률과 상이하고; 비구면 모델은 회전 대칭이 아니다.
[0784] 예 65: 예 57 내지 예 59 또는 예 62 내지 예 64 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 타원체를 포함한다.
[0785] 예 66: 예 57 내지 예 59 또는 예 62 내지 예 64 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 장형 타원체를 포함한다.
[0786] 예 67: 예 56 내지 예 66 중 어느 하나의 방법에 있어서, 상기 각막의 상기 곡률 중심의 상기 위치를 추정하는 상기 단계는 상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 하나 이상의 추적 카메라들의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 각막의 곡률 중심의 위치를 추정하는 단계를 포함한다.
[0787] 예 68: 예 56 내지 예 66의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 비구면 표면의 업데이트된 곡률 중심을 결정하기 위해 구면 표면들의 2 개의 곡률 중심들 사이의 비교를 사용하도록 구성된다.
[0788] 예 69: 예 1 내지 예 56 중 어느 하나의 디스플레이 시스템에 있어서, 상기 전자 프로세서는 상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 하나 이상의 추적 카메라들의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 각막의 곡률 중심의 위치를 추정하도록 구성된다.
[0789] 예 70: 예 41 내지 예 64 중 어느 하나의 방법에 있어서, 상기 전자 프로세서는 상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 하나 이상의 추적 카메라들의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 각막의 곡률 중심의 위치를 추정하도록 구성된다.
파트-E
[0790] 예 1: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서, 상기 눈은 각막 및 동공을 갖고, 상기 디스플레이 시스템은:
사용자의 머리 상에 지지되도록 구성된 프레임;
프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―;
사용자의 눈을 이미징하도록 구성된 하나 이상의 눈 추적 카메라들;
복수의 광 방출기들; 및
디스플레이 및 하나 이상의 눈 추적 카메라들과 통신하는 프로세싱 전자기기를 포함하고, 프로세싱 전자기기는:
하나 이상의 눈 추적 카메라들에 의해 캡처된 사용자의 눈의 이미지들, 하나 이상의 추적 카메라들에 의해 캡처된 눈의 상기 이미지들에서 관찰 가능한 상이한 광 방출기들의 글린트 반사들을 수신하고;
상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 적어도 부분적으로 기초하여 사용자의 눈의 각막 중심의 위치를 추정하도록 구성되고,
상기 프로세싱 전자기기는 사용자의 눈의 상기 각막 중심의 상기 위치를 추정하기 위해 수치 계산들에서 상기 각막의 비구면 모델을 사용한다.
[0791] 예 2: 예 1의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 각막 중심의 값을 추정하기 위해 수치 계산들에서 상기 각막의 구면 모델을 추가로 채용한다.
[0792] 예 3: 예 2의 디스플레이 시스템에 있어서, 상기 각막의 상기 구면 모델은, 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치 및 하나 이상의 추적 카메라들의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 상기 각막 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0793] 예 4: 예 2 또는 예 3의 디스플레이 시스템에 있어서, 상기 각막의 구면 모델로부터 결정된 상기 각막 중심의 상기 추정은 상기 각막 중심의 값을 결정하기 위한 수치 계산들에서 상기 비구면 모델에 적용된다.
[0794] 예 5: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 반복 프로세스를 사용하여 상기 각막 중심의 추정을 결정하도록 구성된다.
[0795] 예 6: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 각막 중심의 상기 추정을 반복적으로 평가하고 상기 비구면 모델을 사용하여 상기 각막 중심의 다른 상이한 추정을 재계산하기 위해 상기 추정을 사용하는 것을 포함하는 반복 프로세스를 사용하여 상기 각막 중심의 추정을 결정하도록 구성된다.
[0796] 예 7: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 각막 중심의 상기 추정을 반복적으로 평가하고 상기 구면 모델 및 상기 비구면 모델을 사용하여 상기 각막 중심의 다른 상이한 추정을 재계산하기 위해 상기 추정을 사용하는 반복 프로세스를 사용하여 상기 각막 중심의 추정을 결정하도록 구성된다.
[0797] 예 8: 예 2 또는 예 3의 디스플레이 시스템에 있어서, 상기 각막의 구면 모델로부터 결정된 상기 각막 중심의 상기 추정은 상기 각막 중심의 값을 결정하기 위한 수치 계산들에서 상기 비구면 모델의 적용을 위해 비구면 표면의 각막 중심을 추정하는 데 사용된다.
[0798] 예 9: 예 2, 예 3 또는 예 8의 디스플레이 시스템에 있어서, 상기 각막의 구면 모델로부터 결정된 상기 각막 중심의 상기 추정은 상기 각막 중심의 값을 결정하기 위한 수치 계산들에서 상기 비구면 모델의 적용을 위해 비구면 표면의 배향을 추정하는 데 사용된다.
[0799] 예 10: 예 1 내지 예 9의 디스플레이 시스템에 있어서, 상기 눈의 회전 중심 또는 상기 눈에 대한 동공의 중심이 추정되고 상기 각막 중심의 값을 결정하기 위한 수치 계산들에서 상기 비구면 모델의 적용을 위해 비구면 표면의 배향을 추정하는 데 사용된다.
[0800] 예 11: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 광 방출기들의 위치들에 기초하여 복수의 글린트들의 위치를 예측하는 데 사용된다.
[0801] 예 12: 예 2, 예 3 또는 예 8 내지 예 10의 디스플레이 시스템에 있어서, 상기 비구면 모델은 광 방출기들의 위치들에 기초하여 복수의 글린트들의 위치를 예측하는 데 사용된다.
[0802] 예 13: 예 12의 디스플레이 시스템에 있어서, 상기 비구면 모델에 기초하여 예측된 상기 글린트들의 상기 위치는 구면 표면의 곡률 중심을 결정하는 데 사용된다.
[0803] 예 14: 예 13의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 모델에 기초하여 예측된 상기 글린트들의 상기 위치에 기초하여 구면 표면의 곡률 중심을 결정하도록 구성된다.
[0804] 예 15: 예 14의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 모델에 기초하여 예측된 상기 글린트들의 상기 위치에 기초하여 결정된 상기 구면 표면의 상기 곡률 중심을 상기 비구면 표면의 중심을 결정하는 데 사용된 상기 구면 모델을 사용하여 결정된 상기 곡률 중심과 비교하도록 구성된다.
[0805] 예 16: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 표면의 업데이트된 중심을 결정하기 위해 2 개의 구면 표면들에 대한 2 개의 곡률 중심들 사이의 비교를 사용하도록 구성된다.
[0806] 예 17: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 표면의 업데이트된 중심을 결정하기 위해, 구면 모델의 적용으로부터 획득된 2 개의 구면 표면들 ― 상기 구면 표면들 중 하나는 비구면 모델에 기초하여 결정됨 ― 의 2 개의 곡률 중심들 사이의 비교를 사용하도록 구성된다.
[0807] 예 18: 예 15의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 표면의 업데이트된 중심을 결정하기 위해 상기 비교를 사용하도록 구성된다.
[0808] 예 19: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 비구면 표면의 하나 이상의 파라미터들을 결정하기 위해 구면 모델을 사용하도록 구성된다.
[0809] 예 20: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 구면 표면의 하나 이상의 파라미터들을 결정하기 위해 비구면 모델을 사용하도록 구성된다.
[0810] 예 21: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 비구면 표면의 하나 이상의 파라미터들을 결정하기 위해 구면 표면의 하나 이상의 파라미터들을 결정하기 위해 비구면 모델을 사용하도록 구성된다.
[0811] 예 22: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 표면의 상기 중심을 추가로 업데이트하기 위해 상기 비구면 모델의 적용을 위해 상기 비구면 표면의 상기 업데이트된 중심을 사용하도록 구성된다.
[0812] 예 23: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 구면 표면의 하나 이상의 파라미터들을 결정하기 위해 비구면 모델의 적용을 위해 상기 비구면 표면의 상기 업데이트된 중심을 사용하도록 구성된다.
[0813] 예 24: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 표면의 중심을 추가로 업데이트하기 위해 구면 모델의 적용을 위해 구면 표면의 하나 이상의 파라미터들을 결정하기 위해 상기 비구면 표면의 상기 업데이트된 중심을 사용하도록 구성된다.
[0814] 예 25: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 표면의 하나 이상의 파라미터들을 업데이트하기 위해 상기 업데이트된 비구면 표면에 기초하여 결정된 구면 표면의 하나 이상의 파라미터들과 다른 구면 표면의 하나 이상의 파라미터들의 비교를 사용하도록 구성된다.
[0815] 예 26: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 회전 대칭인 비구면 표면을 포함한다.
[0816] 예 27: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 회전 타원체를 포함한다.
[0817] 예 28: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 회전 타원체를 나타내는 식이 상기 각막의 상기 각막 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0818] 예 29: 예 1 내지 예 25 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 비회전 대칭인 표면을 포함한다.
[0819] 예 30: 예 1 내지 예 25 또는 예 29 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 2 개의 직교 단면들을 따라 상이한 곡률을 갖는 표면을 포함한다.
[0820] 예 31: 예 1 내지 예 25, 예29 또는 예 30 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 수평 방향을 따른 제1 곡률 및 수직 방향을 따른 제2 곡률을 갖고, 상기 제2 곡률은 상기 제1 곡률과 상이하며; 비구면 모델은 회전 대칭이 아니다.
[0821] 예 32: 예 1 내지 예 25 또는 예 29 내지 예 31 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 타원체를 포함한다.
[0822] 예 33: 예 1 내지 예 25 또는 예 29 내지 예 32 중 어느 하나의 디스플레이 시스템에 있어서, 상기 비구면 모델은 장형 타원체를 포함한다.
[0823] 예 34: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 비구면 표면을 나타내는 식이 상기 각막의 상기 각막 중심의 값을 결정하기 위한 상기 수치 계산들에 사용된다.
[0824] 예 35: 예 34의 디스플레이 시스템에 있어서, 상기 식은 상기 비구면 표면 상의 포지션을 정의하는 3 개의 변수들 및 비구면 표면의 형상을 결정하는 2 개의 상수들을 포함한다.
[0825] 예 36: 예 34 또는 35의 디스플레이 시스템에 있어서, 상기 식은 
과 동일하거나 등가이며, X, Y 및 Z는 상기 비구면 표면 상의 포지션을 정의하고, Q 및 R은 비구면 표면의 형상을 결정한다.
[0826] 예 37: 예 34의 디스플레이 시스템에 있어서, 상기 식은 상기 비구면 표면 상의 포지션을 정의하는 3 개의 변수들 및 비구면 표면의 형상을 결정하는 3 개의 상수들을 포함한다.
[0827] 예 38: 예 1 내지 예 34 및 예 37 중 어느 하나의 디스플레이 시스템에 있어서, 타원체 표면을 나타내는 식이 상기 각막의 상기 각막 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0828] 예 39: 예 1 내지 예 33 및 예 37 중 어느 하나의 디스플레이 시스템에 있어서, 장형 타원체 표면을 나타내는 식이 상기 각막의 상기 각막 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0829] 예 40: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 구면 표면을 나타내는 식 및 비구면 표면을 나타내는 식이 상기 각막의 상기 각막 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0830] 예 41: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 사용자의 눈을 이미징하도록 구성된 상기 하나 이상의 눈 추적 카메라들은 제1 눈 추적 카메라 및 제2 눈 추적 카메라를 포함한다.
[0831] 예 42: 예 41의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는:
상기 제1 눈 추적 카메라에 의해 생성된 하나 이상의 이미지들에서 글린트 반사들의 위치에 기초하여 그리고 제1 눈 추적 카메라의 위치 및 상기 글린트 반사들을 생성한 방출기들의 위치에 기초하여, 사용자의 눈의 각막 곡률 중심을 향한 제1 방향을 결정하고;
상기 제2 눈 추적 카메라에 의해 생성된 하나 이상의 이미지들에서 글린트 반사들의 위치에 기초하고 제2 눈 추적 카메라의 위치 및 상기 글린트 반사들을 생성한 방출기들의 위치에 기초하여, 사용자의 눈의 각막 중심을 향한 제2 방향을 결정하도록 구성된다.
[0832] 예 43: 예 42의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는:
제1 눈 추적 카메라, 제1 글린트 반사의 위치 및 상기 제1 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제1 평면을 정의하고;
제1 눈 추적 카메라, 제2 글린트 반사의 위치 및 상기 제2 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제2 평면을 정의하고;
제1 평면과 제2 평면의 수렴 영역을 결정함으로써 제1 방향을 결정하도록 구성되고, 수렴 영역은 제1 방향을 따라 연장된다.
[0833] 예 44: 예 43의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는:
제2 눈 추적 카메라, 제3 글린트 반사의 위치 및 상기 제3 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제3 평면을 정의하고;
제2 눈 추적 카메라, 제4 글린트 반사의 위치 및 상기 제4 글린트 반사에 대응하는 광 방출기의 위치를 포함하는 제4 평면을 정의하고;
제3 평면과 제4 평면의 수렴 영역을 결정함으로써 제2 방향을 결정하도록 구성되고, 수렴 영역은 제2 방향을 따라 연장된다.
[0834] 예 45: 예 42 내지 예 44 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 각막 중심을 향한 상기 제1 방향 및 상기 제2 방향에 기초하여 사용자의 눈의 상기 각막 중심의 위치를 추정하도록 구성된다.
[0835] 예 46: 예 42 내지 예 45 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는:
제1 눈 추적 카메라로부터 수신된 적어도 하나의 제1 이미지에 기초하여 사용자의 눈의 각막 중심이 따라서 위치될 것으로 추정되는 상기 제1 방향을 결정하고;
제2 눈 추적 카메라로부터 수신된 적어도 하나의 제2 이미지에 기초하여 사용자의 눈의 각막 중심이 따라서 위치될 것으로 추정되는 상기 제2 방향을 결정하도록 구성되고, 상기 제1 방향 및 상기 제2 바향은 영역을 향해 수렴한다.
[0836] 예 47: 예 42 내지 예 46 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는:
제1 방향 및 제2 방향의 수렴에 기초하여 사용자의 눈의 각막 중심의 추정을 획득하도록 구성된다.
[0837] 예 48: 예 41 내지 예 47 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 각막 중심을 향한 제1 방향 및 제2 방향의 수렴 영역을 식별함으로써 사용자의 눈의 상기 각막 중심의 위치를 추정하도록 구성된다.
[0838] 예 49: 예 41 내지 예 48 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상이한 눈 포즈들에 대한 사용자의 눈의 각막 중심의 복수의 결정들에 기초하여 사용자의 눈의 각막 중심의 추정을 획득하도록 구성된다.
[0839] 예 50: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 각막 중심을 사용하여 비구면 모델의 적용을 위해 비구면 표면의 배향의 추정을 획득하도록 구성된다.
[0840] 예 51: 예 41 내지 예 50 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 각막 중심의 추정 및 제1 눈 추적 카메라 및 제2 눈 추적 카메라에 의해 획득된 이미지들로부터 결정된 동공 중심들을 통과하는 다수의 벡터들의 수렴의 추정에 기초하여 비구면 모델의 적용을 위해 비구면 표면의 배향의 추정을 획득하도록 구성된다.
[0841] 예 52: 예 51의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 각막 중심을 포함하는 라인을 따른 중심을 갖는 비구면 모델의 적용을 위해 비구면 표면의 포지션의 추정 및 동공의 중심들을 통과하는 다수의 벡터들의 수렴의 추정을 획득하도록 구성된다.
[0842] 예 53: 예 51 또는 예 52의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 표면의 포지션을 결정하기 위해 삼각 측량을 사용하도록 구성된다.
[0843] 예 54: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성되어, 표시된 가상 이미지 컨텐츠가 상이한 깊이들로부터 발생하는 것처럼 보인다.
[0844] 예 55: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 적어도 하나의 발산의 상이한 양으로 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성되어, 표시된 가상 이미지 컨텐츠가 상이한 깊이들로부터 발생하는 것처럼 보인다.
[0845] 예 56: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 디스플레이는 발산하는 상기 사용자의 눈으로 광을 투사하고 상이한 깊이들로부터 발생하는 것처럼 보이는 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 시준되는 상기 사용자의 눈으로 광을 투사하도록 구성된다.
[0846] 예 57: 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템에서 가상 이미지 컨텐츠를 렌더링하기 위해 눈과 연관된 하나 이상의 파라미터들을 결정하는 방법으로서, 상기 눈은 각막을 가지며, 상기 방법은:
사용자의 눈을 이미징하도록 구성된 하나 이상의 눈 추적 카메라들 및 그 위에 글린트들을 형성하기 위해 상기 눈에 대해 배치된 복수의 광 방출기들로, 사용자의 눈의 복수의 이미지들 ― 상기 이미지들은 상이한 광 방출기들의 복수의 글린트 반사들을 포함함 ― 을 캡처하는 단계; 및
하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 사용자의 눈의 각막 중심의 위치를 추정하는 단계를 포함하고,
[0847] 상기 각막의 비구면 모델이 사용자의 눈의 상기 각막 중심의 상기 위치를 추정하기 위한 수치 계산들에서 사용된다.
[0848] 예 58: 예 57의 방법에 있어서, 구면 모델과 비구면 모델 모두가 상기 각막 중심의 값을 결정하는 데 사용된다.
[0849] 예 59: 예 57의 방법에 있어서, 구면 모델과 비구면 모델 모두가 상기 각막 중심의 값을 결정하기 위한 수치 계산들에 사용된다.
[0850] 예 60: 예 57 내지 예 59 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 회전 대칭이다.
[0851] 예 61: 예 57 내지 예 60 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 회전 타원체를 포함한다.
[0852] 예 62: 예 57 내지 예 59 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 비회전 대칭이다.
[0853] 예 63: 예 57 내지 예 59 또는 예 62 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 2 개의 직교 단면들을 따라 상이한 곡률을 갖는다.
[0854] 예 64: 예 57 내지 예 59 또는 예 62 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 수평 방향을 따른 제1 곡률 및 수직 방향을 따른 제2 곡률을 갖고, 상기 제2 곡률은 상기 제1 곡률과 상이하며; 비구면 모델은 회전 대칭이 아니다.
[0855] 예 65: 예 57 내지 예 59 또는 예 62 내지 예 64 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 타원체를 포함한다.
[0856] 예 66: 예 57 내지 예 59 또는 예 62 내지 예 64 중 어느 하나의 방법에 있어서, 상기 비구면 모델은 장형 타원체를 포함한다.
[0857] 예 67: 예 56 내지 예 66 중 어느 하나의 방법에 있어서, 상기 각막 중심의 상기 위치를 추정하는 상기 단계는 상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 하나 이상의 추적 카메라들의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 각막 중심의 위치를 추정하는 단계를 포함한다.
[0858] 예 68: 예 56 내지 예 66의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 비구면 표면의 업데이트된 중심을 결정하기 위해 구면 표면들의 곡률의 2 개의 중심들 사이의 비교를 사용하도록 구성된다.
[0859] 예 69: 예 1 내지 예 56 중 어느 하나의 디스플레이 시스템에 있어서, 상기 전자 프로세서는 상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 하나 이상의 추적 카메라들의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 각막의 각막 중심의 위치를 추정하도록 구성된다.
[0860] 예 70: 예 41 내지 예 64 중 어느 하나의 방법에 있어서, 상기 전자 프로세서는 상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하고 하나 이상의 추적 카메라들의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 각막 중심의 위치를 추정하도록 구성된다.
[0861] 예 71: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 적어도 하나의 반복에 기초하여 상기 비구면 모델의 형상에 영향을 미치는 파라미터를 업데이트하도록 추가로 구성된다.
[0862] 예 72: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 적어도 하나의 반복에 기초하여 상기 비구면 모델의 형상을 특징화하는 상수를 업데이트하도록 추가로 구성된다.
[0863] 예 73: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 적어도 하나의 반복에 기초하여 비구면 회전 타원체 모델의 형상을 특징화하는 상수를 업데이트하도록 추가로 구성된다.
[0864] 예 74: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 적어도 하나의 반복에 기초하여 비구면 회전 타원체 모델의 형상을 특징화하는 Q의 값을 업데이트하도록 추가로 구성된다.
[0865] 예 75: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 복수의 반복들에 걸쳐 상기 비구면 모델의 형상에 영향을 미치는 파라미터를 업데이트하도록 추가로 구성된다.
[0866] 예 76: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 복수의 반복들에 걸쳐 상기 비구면 모델의 형상을 특징화하는 상수를 업데이트하도록 추가로 구성된다.
[0867] 예 77: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 복수의 반복들에 걸쳐 비구면 회전 타원체 모델의 형상을 특징화하는 상수를 업데이트하도록 추가로 구성된다.
[0868] 예 78: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 복수의 반복들에 걸쳐 비구면 회전 타원체 모델의 형상을 특징화는 Q의 값을 업데이트하도록 추가로 구성된다.
[0869] 예 79: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 회전 중심의 계산된 값들의 변동, 불확실성 또는 에러를 감소시키는 값, 상수 또는 파라미터를 결정함으로써 상기 값, 상수 또는 파라미터를 업데이트하도록 추가로 구성된다.
[0870] 예 80: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상이한 눈의 시선들에 대한 회전 중심의 계산된 값들의 변동, 불확실성 또는 에러를 감소시키는 값, 상수 또는 파라미터를 결정함으로써 상기 값, 상수 또는 파라미터를 업데이트하도록 추가로 구성된다.
[0871] 예 81: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 교정 프로세스 동안 상이한 눈의 시선들에 대한 회전 중심의 계산된 값들의 변동, 불확실성 또는 에러를 감소시키는 값, 상수 또는 파라미터를 결정함으로써 상기 값, 상수 또는 파라미터를 업데이트하도록 추가로 구성된다.
[0872] 예 82: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 시선을 변경시키기 위해 고정 타깃들이 상기 디스플레이 상의 뷰어에게 제공되는 교정 프로세스 동안 상이한 눈의 시선들에 대한 회전 중심의 계산된 값들의 변동, 불확실성 또는 에러를 감소시키는 값, 상수 또는 파라미터를 결정함으로써 상기 값, 상수 또는 파라미터를 업데이트하도록 추가로 구성된다.
[0873] 예 83: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 추가 교정이 수행될 때까지 상기 비구면 모델의 형상에 영향을 미치는 상기 값, 상수 또는 파라미터를 사용하도록 추가로 구성된다.
[0874] 예 84: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 파라미터를 결정하기 위해 추가 교정이 수행될 때까지 상기 비구면 모델의 형상에 영향을 미치는 상기 값, 상수 또는 파라미터를 사용하도록 추가로 구성된다.
[0875] 예 85: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 각막 중심을 결정하기 위해 추가 교정이 수행될 때까지 상기 비구면 모델의 형상에 영향을 미치는 상기 값, 상수 또는 파라미터를 사용하도록 추가로 구성된다.
[0876] 예 86: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 각막 중심을 결정하기 위해 추가 교정이 수행될 때까지 상기 비구면 모델의 형상에 영향을 미치는 상기 값, 상수 또는 파라미터를 사용하도록 추가로 구성된다.
[0877] 예 87: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 눈의 회전 중심을 결정하기 위해 추가 교정이 수행될 때까지 상기 비구면 모델의 형상에 영향을 미치는 상기 값, 상수 또는 파라미터를 사용하도록 추가로 구성된다.
[0878] 예 88: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 적어도 하나의 눈 추적 카메라는 사용자의 눈을 이미징하도록 구성된 제1 눈 추적 카메라, 제2 눈 추적 카메라 및 제3 눈 추적 카메라를 포함하고, 상기 프로세싱 전자기기는 상기 제1 눈 추적 카메라, 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라와 통신하고, 광 방출기들의 글린트 반사들은 제1 눈 추적 카메라, 제2 눈 추적 카메라 및 제3 눈 추적 카메라에 의해 캡처된 눈의 이미지들에서 관찰 가능하다.
[0879] 예 89: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제1 눈 추적 카메라, 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 사용자의 눈의 상기 각막 중심을 추정하도록 구성된다.
[0880] 예 90: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는, 상기 제1 눈 추적 카메라, 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 생성된 상기 이미지들에서 글린트 반사들의 위치에 기초하여 그리고 상기 제1 눈 추적 카메라, 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 기초하여 사용자의 눈의 상기 각막 중심을 추정하도록 구성된다.
[0881] 예 91: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제1 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터 및 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터에 기초하여 사용자의 눈의 상기 각막 중심을 추정하도록 구성된다.
[0882] 예 92: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터 및 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터에 기초하여 사용자의 눈의 상기 각막 중심을 추정하도록 구성된다.
[0883] 예 93: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제1 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터 및 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터의 평균에 기초하여 사용자의 눈의 상기 각막 중심을 추정하도록 구성된다.
[0884] 예 94: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터 및 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라에 의해 결정된 사용자의 눈의 파라미터의 평균에 기초하여 사용자의 눈의 상기 각막 중심을 추정하도록 구성된다.
[0885] 예 95: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 사용자의 눈의 상기 각막 중심은 사용자의 눈의 각막의 곡률 중심을 포함한다.
[0886] 예 96: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 사용자의 눈의 상기 각막 중심은 사용자의 눈의 각막의 각막 정점의 곡률 중심을 포함한다.
[0887] 예 97: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 하나 이상의 눈 추적 카메라들에 의해 캡처된 사용자의 눈의 복수의 이미지들을 사용하여 상기 비구면 모델의 형상에 영향을 미치는 파라미터의 사용자 특정 값을 결정하도록 추가로 구성된다.
[0888] 예 98: 예 97의 디스플레이 시스템에 있어서, 파라미터의 상기 사용자 특정 값은 상기 사용자의 눈과 연관된다.
[0889] 예 99: 예 97의 디스플레이 시스템에 있어서, 사용자의 눈의 상기 복수의 이미지들의 상이한 이미지들은 각각의 타깃 위치들과 연관된 상이한 시선 방향들에서 캡처되며, 타깃 위치는 디스플레이 시스템에 의해 결정되고, 타깃 위치는 사용자의 눈의 상기 복수의 이미지들 중 상이한 이미지들에 대해 상이하다.
[0890] 예 100: 예 97의 디스플레이 시스템에 있어서, 사용자의 눈의 상기 복수의 이미지들 중 이미지들의 상이한 쌍들이 각각의 타깃 위치들과 연관된 상이한 시선 방향들에서 캡처되며, 타깃 위치는 디스플레이 시스템에 의해 결정되고 타깃 위치는 사용자의 눈의 상기 복수의 이미지들 중 이미지들의 상이한 쌍에 대해 상이하다.
[0891] 예 101: 예 99 또는 100 중 어느 하나의 디스플레이 시스템에 있어서, 프로세싱 전자기기는 반복 프로세스에 기초하여 상기 비구면 모델의 형상에 영향을 미치는 상기 파라미터의 상기 사용자 특정 값을 결정하며, 반복은:
상기 비구면 모델의 형상에 영향을 미치는 파라미터의 값에 적어도 부분적으로 기초하여 사용자의 눈의 복수의 회전 중심을 추정하는 단계;
사용자의 눈의 추정된 복수의 회전 중심과 연관된 통계 메트릭의 값을 계산하는 단계;
계산된 통계 메트릭에 적어도 부분적으로 기초하여 상기 비구면 모델의 형상에 영향을 미치는 상기 파라미터의 수정된 값을 생성하는 단계를 포함한다.
[0892] 예 102: 예 101의 디스플레이 시스템에 있어서, 상기 비구면 모델의 형상에 영향을 미치는 파라미터의 값은 이전 반복에서 생성된 것에 기초하여 상기 비구면 모델의 형상에 영향을 미치는 상기 파라미터의 수정된 값이다.
[0893] 예 103: 예 101의 디스플레이 시스템에 있어서, 반복 프로세스의 제1 반복에서 사용되는 상기 비구면 모델의 형상에 영향을 미치는 파라미터의 값은 눈 모델에 의해 결정된 초기 값이다.
[0894] 예 104: 예 103의 디스플레이 시스템에 있어서, 눈 모델은 Arizona 눈 모델이고 상기 비구면 모델의 형상에 영향을 미치는 파라미터의 초기 값은 -0.26이다.
[0895] 예 105: 예 101의 디스플레이 시스템에 있어서, 상기 비구면 모델의 형상에 영향을 미치는 상기 파라미터의 수정된 값은 통계 메트릭의 값을 감소시킨다.
[0896] 예 106: 예 105의 디스플레이 시스템에 있어서, 통계 메트릭은 복수의 회전 중심의 통계 분포의 변동을 포함한다.
[0897] 예 107: 예 106의 디스플레이 시스템에 있어서, 통계 메트릭은 분산 또는 표준 편차를 포함한다.
[0898] 예 108: 예 101의 디스플레이 시스템에 있어서, 사용자의 눈의 복수의 회전 중심은 상기 비구면 모델, 하나 이상의 추적 카메라들의 위치 및 상기 각각의 글린트 반사들을 생성한 방출기들의 위치들에 적어도 부분적으로 기초하여 추정된다.
[0899] 예 109: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 모델의 형상에 영향을 미치는 파라미터를 변경하도록 추가로 구성된다.
[0900] 예 110: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상기 비구면 모델의 형상을 특징화하는 상수를 변경하도록 추가로 구성된다.
[0901] 예 111: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 비구면 회전 타원체 모델의 형상을 특징화하는 상수를 변경하도록 추가로 구성된다.
[0902] 예 112: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 비구면 회전 타원체 모델의 형상을 특징화하는 Q의 값을 변경하도록 추가로 구성된다.
[0903] 예 113: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 회전 중심의 계산된 값들의 변동, 불확실성 또는 에러를 감소시키는 값, 상수 또는 파라미터를 결정함으로써 상기 값, 상수 또는 파라미터를 선택하도록 추가로 구성된다.
[0904] 예 114: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 상이한 눈의 시선들에 대한 회전 중심의 계산된 값들의 변동, 불확실성 또는 에러를 감소시키는 값, 상수 또는 파라미터를 결정함으로써 상기 값, 상수 또는 파라미터를 선택하도록 추가로 구성된다.
[0905] 예 115: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 교정 프로세스 동안 상이한 눈의 시선들에 대한 회전 중심의 계산된 값들의 변동, 불확실성 또는 에러를 감소시키는 값, 상수 또는 파라미터를 결정함으로써 상기 값, 상수 또는 파라미터를 선택하도록 추가로 구성된다.
[0906] 예 116: 위의 예들 중 어느 하나의 디스플레이 시스템에 있어서, 상기 프로세싱 전자기기는 사용자의 시선을 변경시키기 위해 고정 타깃들이 상기 디스플레이 상의 뷰어에게 제공되는 교정 프로세스 동안 상이한 눈의 시선들에 대한 회전 중심의 계산된 값들의 변동, 불확실성 또는 에러를 감소시키는 값, 상수 또는 파라미터를 결정함으로써 상기 값, 상수 또는 파라미터를 선택하도록 추가로 구성된다.
[0907] 임의의 위의 예들 또는 추가 예들은 조합될 수 있다. 추가로, 임의의 위의 예들 또는 추가 예들은 머리 장착형 디스플레이와 통합될 수 있다. 또한, 임의의 위의 예들 또는 추가 예들은 단일 깊이 평면 및/또는 하나 이상의 가변 깊이 평면(예를 들어, 시간에 따라 변하는 조절 단서를 제공하는 가변 초점력을 갖는 하나 이상의 요소들)으로 구현될 수 있다.
[0908] 추가로, 해부학적, 광학적 및 기하학적 피처들, 위치들 및 배향들 등에 한정되지 않지만 이와 같은 다양한 값들, 파라미터들 등을 결정하기 위한 장치 및 방법들이 본원에 개시된다. 이러한 파라미터들의 예들은 예를 들어, 눈의 회전 중심, 각막의 곡률 중심, 동공 중심, 동공 경계, 홍채 중심, 홍채 경계, 연곽의 경계, 눈의 광학 축, 눈의 시각 축, 관점의 중심을 포함하지만 이에 한정되지 않는다. 본원에 인용된 이러한 값들, 파라미터들 등의 결정들은 그 추정을 포함하며 반드시 실제 값들과 정확하게 일치할 필요는 없다. 예를 들어, 눈의 회전 중심, 각막의 곡률 중심, 동공 또는 홍채의 중심 또는 경계, 연곽의 경계, 눈의 광학 축, 눈의 시각 축, 관점의 중심 등의 결정들은 실제(예를 들어, 해부학적, 광학적 또는 기하학적) 값들 또는 파라미터들에 가깝지만 동일하지는 않은 추정들, 근사들 또는 값들일 수 있다. 예를 들어, 일부 경우들에서, 평균 제곱근 추정 기법들을 사용하여 이러한 값들의 추정들을 획득할 수 있다. 예를 들어, 본원에 설명된 특정 기법들은 광선 또는 벡터가 교차하는 위치 또는 포인트를 식별하는 것과 관련된다. 그러나, 이러한 광선들 또는 벡터들은 교차하지 않을 수 있다. 이 예에서, 위치 또는 포인트가 추정될 수 있다. 예를 들어, 위치 또는 포인트는 평균 제곱근 또는 다른 추정 기법들에 기초하여 결정될 수 있다(예를 들어, 위치 또는 포인트는 광선들 또는 벡터들에 가깝거나 가장 가까운 것으로 추정될 수 있다). 또한 다른 프로세스들을 사용하여 실제 값과 일치하지 않을 수 있는 값을 추정, 근사화하거나 아니면 제공할 수 있다. 따라서, 결정 및 추정 또는 결정된 및 추정된이라는 용어는 본원에서 상호 교환적으로 사용된다. 따라서, 이러한 결정된 값들에 대한 참조는 추정, 근사 또는 실제 값에 가까운 값들을 포함할 수 있다. 따라서, 위 또는 본원의 다른 곳에서 파라미터 또는 값을 결정하는 것에 대한 언급은 실제 값으로 정확하게 제한되어서는 안 되며 추정들, 근사들 또는 그에 가까운 값들을 포함할 수 있다.
Claims (20)
- 사용자의 시계(vision field)에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈에 광을 투사하도록 구성된 디스플레이 시스템으로서,
상기 눈은 각막과 동공을 가지며,
상기 디스플레이 시스템은,
상기 사용자의 머리 상에 지지되도록 구성된 프레임;
상기 프레임 상에 배치된 머리 장착형 디스플레이 ― 상기 디스플레이는 상기 사용자의 시계에 가상 이미지 컨텐츠를 표시하기 위해 상기 사용자의 눈으로 광을 투사하도록 구성됨 ―;
상기 사용자의 눈을 이미징하도록 구성된 하나 이상의 눈 추적 카메라들;
복수의 광 방출기들; 및
상기 디스플레이 및 상기 하나 이상의 눈 추적 카메라들과 통신하는 프로세싱 전자기기(processing electronics)
를 포함하고, 상기 프로세싱 전자기기는,
상기 하나 이상의 눈 추적 카메라들에 의해 캡처된 상기 사용자의 눈의 이미지들, 상기 하나 이상의 추적 카메라들에 의해 캡처된 상기 눈의 이미지들에서 관찰 가능한 상이한 광 방출기들의 글린트(glint) 반사들을 수신하고; 그리고
상기 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서 상기 글린트 반사들의 위치에 적어도 부분적으로 기초하여 상기 사용자의 눈의 각막 중심의 위치를 추정하도록 구성되고,
상기 프로세싱 전자기기는 상기 사용자의 눈의 상기 각막 중심의 상기 위치를 추정하기 위해 수치 계산들에서 상기 각막의 비구면(aspheric) 모델을 사용하는, 디스플레이 시스템. - 제1 항에 있어서,
상기 프로세싱 전자기기는 상기 각막 중심의 상기 위치를 추정하기 위해 수치 계산들에서 상기 각막의 구면(spherical) 모델을 추가로 채용하는, 디스플레이 시스템. - 제2 항에 있어서,
상기 각막의 상기 구면 모델은, 하나 이상의 눈 추적 카메라에 의해 생성된 상기 이미지들에서의 상기 글린트 반사들의 위치와 하나 이상의 추적 카메라들의 위치와 상기 각각의 글린트 반사들을 생성한 상기 방출기들의 위치들에 기초하여 상기 각막 중심의 위치를 결정하기 위해 수치 계산들에서 사용되는, 디스플레이 시스템. - 제2 항 또는 제3 항에 있어서,
상기 각막의 구면 모델로부터 결정된 상기 각막 중심의 상기 추정은 상기 각막 중심의 위치를 결정하기 위해 수치 계산들에서 상기 비구면 모델에 적용되는, 디스플레이 시스템. - 제1 항 내지 제4 항 중 어느 한 항에 있어서,
상기 프로세싱 전자기기는 반복 프로세스를 사용하여 상기 각막 중심의 추정을 결정하도록 구성되는, 디스플레이 시스템. - 제1 항 내지 제5 항 중 어느 한 항에 있어서,
상기 비구면 모델은 광 방출기들의 위치들에 기초하여 복수의 글린트들의 위치를 예측하는 데 사용되는, 디스플레이 시스템. - 제6 항에 있어서,
상기 비구면 모델에 기초하여 예측된 상기 글린트들의 상기 위치는 구면 표면(spherical surface)의 곡률 중심(center of curvature)을 결정하는 데 사용되는, 디스플레이 시스템. - 제1 항 내지 제7 항 중 어느 한 항에 있어서,
상기 프로세싱 전자기기는 비구면 표면(aspheric surface)의 하나 이상의 파라미터들을 결정하기 위해 구면 모델을 사용하도록 구성되는, 디스플레이 시스템. - 제1 항 내지 제8 항 중 어느 한 항에 있어서,
상기 프로세싱 전자기기는 구면 표면의 하나 이상의 파라미터들을 결정하기 위해 비구면 모델을 사용하도록 구성되는, 디스플레이 시스템. - 제1 항 내지 제9 항 중 어느 한 항에 있어서,
상기 비구면 모델은 회전 대칭인 비구면 표면을 포함하는, 디스플레이 시스템. - 제1 항 내지 제10 항 중 어느 한 항에 있어서,
상기 비구면 모델은 비회전 대칭인 표면을 포함하는, 디스플레이 시스템. - 제1 항 내지 제11 항 중 어느 한 항에 있어서,
상기 사용자의 눈을 이미징하도록 구성된 상기 하나 이상의 눈 추적 카메라들은 제1 눈 추적 카메라 및 제2 눈 추적 카메라를 포함하는, 디스플레이 시스템. - 제12 항에 있어서,
상기 프로세싱 전자기기는,
상기 제1 눈 추적 카메라에 의해 생성된 하나 이상의 이미지들에서의 글린트 반사들의 위치에 기초하여 그리고 상기 제1 눈 추적 카메라의 위치 및 상기 글린트 반사들을 생성한 상기 방출기들의 위치에 기초하여, 상기 사용자의 눈의 각막 곡률 중심을 향한 제1 방향을 결정하고;
상기 제2 눈 추적 카메라에 의해 생성된 하나 이상의 이미지들에서의 글린트 반사들의 위치에 기초하여 그리고 상기 제2 눈 추적 카메라의 위치 및 상기 글린트 반사들을 생성한 상기 방출기들의 위치에 기초하여, 상기 사용자의 눈의 상기 각막 중심을 향한 제2 방향을 결정하도록 구성되는, 디스플레이 시스템. - 제13 항에 있어서,
상기 프로세싱 전자기기는 상기 사용자의 눈의 상기 각막 중심을 향한 상기 제1 방향 및 상기 제2 방향에 기초하여 상기 사용자의 눈의 상기 각막 중심의 위치를 추정하도록 구성되는, 디스플레이 시스템. - 제12 항 내지 제14 항 중 어느 한 항에 있어서,
상기 프로세싱 전자기기는, 상기 제1 방향 및 상기 제2 방향의 수렴에 기초하여 상기 사용자의 눈의 각막 중심의 추정을 획득하도록 구성되는, 디스플레이 시스템. - 제12 항 내지 제15 항 중 어느 한 항에 있어서,
상기 프로세싱 전자기기는 상이한 눈 포즈(pose)들에 대한 상기 사용자의 눈의 상기 각막 중심의 복수의 결정들에 기초하여 상기 사용자의 눈의 각막 중심의 추정을 획득하도록 구성되는, 디스플레이 시스템. - 제1 항 내지 제16 항 중 어느 한 항에 있어서,
상기 프로세싱 전자기기는 상기 각막 중심을 사용하여 상기 비구면 모델의 적용을 위한 비구면 표면의 배향의 추정을 획득하도록 구성되는, 디스플레이 시스템. - 제12 항 내지 제17 항 중 어느 한 항에 있어서,
상기 프로세싱 전자기기는, 각막 중심의 추정 및 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라에 의해 획득된 이미지들로부터 결정된 동공 중심들을 통과하는 다수의 벡터들의 수렴의 추정에 기초하여 상기 비구면 모델의 적용을 위해 비구면 표면의 상기 배향의 추정을 획득하도록 구성되는, 디스플레이 시스템. - 제1 항 내지 제18 항 중 어느 한 항에 있어서,
상기 적어도 하나의 눈 추적 카메라는 상기 사용자의 눈을 이미징하도록 구성된 제1 눈 추적 카메라, 제2 눈 추적 카메라 및 제3 눈 추적 카메라를 포함하고, 상기 프로세싱 전자기기는 상기 제1 눈 추적 카메라, 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라와 통신하고, 광 방출기들의 글린트 반사들은 상기 제1 눈 추적 카메라, 상기 제2 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 캡처된 상기 눈의 상기 이미지들에서 관찰 가능한, 디스플레이 시스템. - 제19 항에 있어서,
상기 프로세싱 전자기기는, 상기 제1 눈 추적 카메라 및 상기 제3 눈 추적 카메라에 의해 결정된 상기 사용자의 눈의 파라미터 및 상기 제1 눈 추적 카메라 및 상기 제2 눈 추적 카메라에 의해 결정된 상기 사용자의 눈의 파라미터에 기초하여 상기 사용자의 눈의 상기 각막 중심을 추정하도록 구성되는, 디스플레이 시스템.
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063052392P | 2020-07-15 | 2020-07-15 | |
| US63/052,392 | 2020-07-15 | ||
| US202163139750P | 2021-01-20 | 2021-01-20 | |
| US63/139,750 | 2021-01-20 | ||
| US202163140202P | 2021-01-21 | 2021-01-21 | |
| US63/140,202 | 2021-01-21 | ||
| PCT/US2021/041618 WO2022015847A1 (en) | 2020-07-15 | 2021-07-14 | Eye tracking using aspheric cornea model |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230040346A true KR20230040346A (ko) | 2023-03-22 |
Family
ID=79556015
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237004641A KR20230040346A (ko) | 2020-07-15 | 2021-07-14 | 비구면 각막 모델을 사용한 눈 추적 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US11998275B2 (ko) |
| EP (1) | EP4181762A1 (ko) |
| JP (1) | JP2023534213A (ko) |
| KR (1) | KR20230040346A (ko) |
| CN (1) | CN116033864A (ko) |
| IL (1) | IL299775A (ko) |
| WO (1) | WO2022015847A1 (ko) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA3087333A1 (en) | 2018-01-17 | 2019-07-25 | Magic Leap, Inc. | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems |
| US10917634B2 (en) | 2018-01-17 | 2021-02-09 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and a user's eyes |
| CN112689869A (zh) | 2018-07-24 | 2021-04-20 | 奇跃公司 | 用于确定显示器与用户的眼睛之间的配准的显示系统和方法 |
| EP3999940A4 (en) | 2019-07-16 | 2023-07-26 | Magic Leap, Inc. | EYE CENTER OF ROTATION DETERMINATION WITH ONE OR MORE EYE TRACKING CAMERAS |
| US11998275B2 (en) | 2020-07-15 | 2024-06-04 | Magic Leap, Inc. | Eye tracking using aspheric cornea model |
| EP4275030A1 (en) * | 2021-01-06 | 2023-11-15 | Applied Materials, Inc. | Interference in-sensitive littrow system for optical device structure measurement |
| SE2250689A1 (en) * | 2022-06-08 | 2023-12-09 | Tobii Ab | Eye profiling |
Family Cites Families (90)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
| US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
| USD514570S1 (en) | 2004-06-24 | 2006-02-07 | Microsoft Corporation | Region of a fingerprint scanning device with an illuminated ring |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US9843790B2 (en) | 2006-03-15 | 2017-12-12 | Fovi 3D, Inc. | Dynamic autostereoscopic displays |
| WO2008129421A1 (en) | 2007-04-18 | 2008-10-30 | Micronic Laser Systems Ab | Method and apparatus for mura detection and metrology |
| US20190302882A1 (en) * | 2009-04-01 | 2019-10-03 | Tobii Ab | Visual display with illuminators for gaze tracking |
| HU0900478D0 (en) | 2009-07-31 | 2009-09-28 | Holografika Hologrameloeallito | Method and apparatus for displaying 3d images |
| EP2309307B1 (en) * | 2009-10-08 | 2020-12-09 | Tobii Technology AB | Eye tracking using a GPU |
| US20150309316A1 (en) | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
| US20120113223A1 (en) | 2010-11-05 | 2012-05-10 | Microsoft Corporation | User Interaction in Augmented Reality |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| AU2011348122A1 (en) | 2010-12-24 | 2013-07-11 | Magic Leap Inc. | An ergonomic head mounted display device and optical system |
| US8643684B2 (en) | 2011-01-18 | 2014-02-04 | Disney Enterprises, Inc. | Multi-layer plenoptic displays that combine multiple emissive and light modulating planes |
| CA2835120C (en) | 2011-05-06 | 2019-05-28 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
| US9213163B2 (en) | 2011-08-30 | 2015-12-15 | Microsoft Technology Licensing, Llc | Aligning inter-pupillary distance in a near-eye display system |
| US9354445B1 (en) | 2011-09-16 | 2016-05-31 | Google Inc. | Information processing on a head-mountable device |
| US10795448B2 (en) | 2011-09-29 | 2020-10-06 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
| CA3207408A1 (en) | 2011-10-28 | 2013-06-13 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| KR102376368B1 (ko) | 2011-11-23 | 2022-03-17 | 매직 립, 인코포레이티드 | 3차원 가상 및 증강 현실 디스플레이 시스템 |
| US8913789B1 (en) | 2012-01-06 | 2014-12-16 | Google Inc. | Input methods and systems for eye positioning using plural glints |
| KR102306729B1 (ko) | 2012-04-05 | 2021-09-28 | 매직 립, 인코포레이티드 | 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 |
| US20130300635A1 (en) | 2012-05-09 | 2013-11-14 | Nokia Corporation | Method and apparatus for providing focus correction of displayed information |
| CN115494654A (zh) | 2012-06-11 | 2022-12-20 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
| US10629003B2 (en) | 2013-03-11 | 2020-04-21 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| US9740006B2 (en) | 2012-09-11 | 2017-08-22 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
| JP6434918B2 (ja) | 2013-01-15 | 2018-12-05 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 超高分解能の走査ファイバディスプレイ |
| US9424467B2 (en) | 2013-03-14 | 2016-08-23 | Disney Enterprises, Inc. | Gaze tracking and recognition with image location |
| WO2014144828A1 (en) | 2013-03-15 | 2014-09-18 | Scalable Display Technologies, Inc. | System and method for calibrating a display system using a short throw camera |
| KR102458124B1 (ko) | 2013-03-15 | 2022-10-21 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
| GB201305726D0 (en) | 2013-03-28 | 2013-05-15 | Eye Tracking Analysts Ltd | A method for calibration free eye tracking |
| TWI508554B (zh) | 2013-05-21 | 2015-11-11 | Univ Nat Taiwan | 基於光場相機的影像對焦處理方法及其系統 |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10228242B2 (en) | 2013-07-12 | 2019-03-12 | Magic Leap, Inc. | Method and system for determining user input based on gesture |
| US20150104101A1 (en) | 2013-10-14 | 2015-04-16 | Apple Inc. | Method and ui for z depth image segmentation |
| KR102341870B1 (ko) | 2013-10-16 | 2021-12-20 | 매직 립, 인코포레이티드 | 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들 |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| EP4220999A3 (en) | 2013-11-27 | 2023-08-09 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| WO2015094191A1 (en) | 2013-12-17 | 2015-06-25 | Intel Corporation | Controlling vision correction using eye tracking and depth detection |
| KR102177133B1 (ko) | 2014-01-31 | 2020-11-10 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
| CA3089749A1 (en) | 2014-01-31 | 2015-08-06 | Magic Leap, Inc. | Multi-focal display system and method |
| US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US10264211B2 (en) | 2014-03-14 | 2019-04-16 | Comcast Cable Communications, Llc | Adaptive resolution in software applications based on dynamic eye tracking |
| JP2017526078A (ja) | 2014-05-09 | 2017-09-07 | グーグル インコーポレイテッド | 実在および仮想のオブジェクトと対話するための生体力学ベースの眼球信号のためのシステムおよび方法 |
| USD759657S1 (en) | 2014-05-19 | 2016-06-21 | Microsoft Corporation | Connector with illumination region |
| CA3124368C (en) | 2014-05-30 | 2023-04-25 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
| USD752529S1 (en) | 2014-06-09 | 2016-03-29 | Comcast Cable Communications, Llc | Electronic housing with illuminated region |
| US10067561B2 (en) | 2014-09-22 | 2018-09-04 | Facebook, Inc. | Display visibility based on eye convergence |
| US20160131902A1 (en) | 2014-11-12 | 2016-05-12 | Anthony J. Ambrus | System for automatic eye tracking calibration of head mounted display device |
| US10317672B2 (en) | 2014-12-11 | 2019-06-11 | AdHawk Microsystems | Eye-tracking system and method therefor |
| NZ773834A (en) | 2015-03-16 | 2022-07-01 | Magic Leap Inc | Methods and systems for diagnosing and treating health ailments |
| USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
| US9948874B2 (en) | 2015-05-19 | 2018-04-17 | Magic Leap, Inc. | Semi-global shutter imager |
| US10146997B2 (en) | 2015-08-21 | 2018-12-04 | Magic Leap, Inc. | Eyelid shape estimation using eye pose measurement |
| AU2016310452B2 (en) | 2015-08-21 | 2021-04-22 | Magic Leap, Inc. | Eyelid shape estimation |
| CN114863059A (zh) | 2015-09-25 | 2022-08-05 | 奇跃公司 | 用于在3d重建中检测和组合结构特征的方法和系统 |
| CA3002369A1 (en) | 2015-10-20 | 2017-04-27 | Magic Leap, Inc. | Selecting virtual objects in a three-dimensional space |
| US9904051B2 (en) | 2015-10-23 | 2018-02-27 | Thalmic Labs Inc. | Systems, devices, and methods for laser eye tracking |
| WO2017079333A1 (en) | 2015-11-04 | 2017-05-11 | Magic Leap, Inc. | Light field display metrology |
| USD805734S1 (en) | 2016-03-04 | 2017-12-26 | Nike, Inc. | Shirt |
| USD794288S1 (en) | 2016-03-11 | 2017-08-15 | Nike, Inc. | Shoe with illuminable sole light sequence |
| US10115205B2 (en) * | 2016-03-11 | 2018-10-30 | Facebook Technologies, Llc | Eye tracking system with single point calibration |
| KR102442569B1 (ko) | 2016-07-14 | 2022-09-08 | 매직 립, 인코포레이티드 | 각막 곡률을 이용한 홍채 경계 추정 |
| JP7090601B2 (ja) | 2016-10-05 | 2022-06-24 | マジック リープ， インコーポレイテッド | 複合現実較正のための眼球周囲試験 |
| JP7093773B2 (ja) | 2016-11-10 | 2022-06-30 | マジック リープ， インコーポレイテッド | 複数のｆ値レンズのための方法およびシステム |
| KR102660857B1 (ko) | 2016-12-23 | 2024-04-24 | 매직 립, 인코포레이티드 | 콘텐츠 캡처 디바이스에 대한 세팅들을 결정하기 위한 기술들 |
| US10394019B2 (en) | 2017-02-27 | 2019-08-27 | Tobii Ab | Determining eye openness with an eye tracking device |
| AU2018239359A1 (en) | 2017-03-21 | 2019-10-03 | Magic Leap, Inc. | Method and system for tracking eye movement in conjunction with a light scanning projector |
| AU2018237067B2 (en) | 2017-03-21 | 2022-11-10 | Magic Leap, Inc. | Depth sensing techniques for virtual, augmented, and mixed reality systems |
| IL269290B1 (en) | 2017-03-21 | 2024-05-01 | Magic Leap Inc | Methods, devices and systems for illuminating spatial light modulators |
| CN110679147B (zh) | 2017-03-22 | 2022-03-08 | 奇跃公司 | 用于显示系统的基于深度的凹式渲染 |
| EP3602399B1 (en) | 2017-03-24 | 2022-10-05 | Magic Leap, Inc. | Accumulation and confidence assignment of iris codes |
| WO2018201067A1 (en) | 2017-04-27 | 2018-11-01 | Magic Leap, Inc. | Light-emitting user input device |
| US10579141B2 (en) | 2017-07-17 | 2020-03-03 | North Inc. | Dynamic calibration methods for eye tracking systems of wearable heads-up displays |
| US10489648B2 (en) * | 2017-08-04 | 2019-11-26 | Facebook Technologies, Llc | Eye tracking using time multiplexing |
| US9940518B1 (en) | 2017-09-11 | 2018-04-10 | Tobii Ab | Reliability of gaze tracking data for left and right eye |
| WO2019118786A1 (en) | 2017-12-13 | 2019-06-20 | Magic Leap, Inc. | Global shutter pixel circuit and method for computer vision applications |
| CA3087333A1 (en) | 2018-01-17 | 2019-07-25 | Magic Leap, Inc. | Eye center of rotation determination, depth plane selection, and render camera positioning in display systems |
| US10917634B2 (en) | 2018-01-17 | 2021-02-09 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and a user's eyes |
| US11067805B2 (en) | 2018-04-19 | 2021-07-20 | Magic Leap, Inc. | Systems and methods for operating a display system based on user perceptibility |
| EP3914997A4 (en) | 2019-01-25 | 2022-10-12 | Magic Leap, Inc. | OCULOMETRY USING IMAGES WITH DIFFERENT EXPOSURE TIMES |
| WO2020236827A1 (en) | 2019-05-20 | 2020-11-26 | Magic Leap, Inc. | Systems and techniques for estimating eye pose |
| EP3999940A4 (en) * | 2019-07-16 | 2023-07-26 | Magic Leap, Inc. | EYE CENTER OF ROTATION DETERMINATION WITH ONE OR MORE EYE TRACKING CAMERAS |
| EP4066044A4 (en) | 2019-11-26 | 2023-12-27 | Magic Leap, Inc. | ENHANCED EYE TRACKING FOR AUGMENTED OR VIRTUAL REALITY DISPLAY SYSTEMS |
| US11998275B2 (en) | 2020-07-15 | 2024-06-04 | Magic Leap, Inc. | Eye tracking using aspheric cornea model |
-
2021
- 2021-07-14 US US18/004,979 patent/US11998275B2/en active Active
- 2021-07-14 JP JP2023501582A patent/JP2023534213A/ja active Pending
- 2021-07-14 KR KR1020237004641A patent/KR20230040346A/ko unknown
- 2021-07-14 IL IL299775A patent/IL299775A/en unknown
- 2021-07-14 CN CN202180062562.7A patent/CN116033864A/zh active Pending
- 2021-07-14 EP EP21841770.7A patent/EP4181762A1/en active Pending
- 2021-07-14 WO PCT/US2021/041618 patent/WO2022015847A1/en unknown
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022015847A1 (en) | 2022-01-20 |
| JP2023534213A (ja) | 2023-08-08 |
| US11998275B2 (en) | 2024-06-04 |
| IL299775A (en) | 2023-03-01 |
| US20230210365A1 (en) | 2023-07-06 |
| EP4181762A1 (en) | 2023-05-24 |
| CN116033864A (zh) | 2023-04-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11880033B2 (en) | Display systems and methods for determining registration between a display and a user's eyes | |
| US11290706B2 (en) | Display systems and methods for determining registration between a display and a user's eyes | |
| US11880043B2 (en) | Display systems and methods for determining registration between display and eyes of user | |
| JP7443332B2 (ja) | ユーザカテゴリ化による多深度平面ディスプレイシステムのための深度平面選択 | |
| US11998275B2 (en) | Eye tracking using aspheric cornea model | |
| US11868525B2 (en) | Eye center of rotation determination with one or more eye tracking cameras | |
| JP2023504207A (ja) | ユーザ識別に基づいて頭部搭載型ディスプレイシステムを動作させるためのシステムおよび方法 |