KR102230172B1 - 실제 및 가상의 객체와 인터페이싱하기 위한 생체기계학-기반의 안구 신호를 위한 시스템 및 방법 - Google Patents
실제 및 가상의 객체와 인터페이싱하기 위한 생체기계학-기반의 안구 신호를 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR102230172B1 KR102230172B1 KR1020167034649A KR20167034649A KR102230172B1 KR 102230172 B1 KR102230172 B1 KR 102230172B1 KR 1020167034649 A KR1020167034649 A KR 1020167034649A KR 20167034649 A KR20167034649 A KR 20167034649A KR 102230172 B1 KR102230172 B1 KR 102230172B1
- Authority
- KR
- South Korea
- Prior art keywords
- eye
- delete delete
- user
- display
- gaze
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 275
- 210000001508 eye Anatomy 0.000 claims abstract description 479
- 230000033001 locomotion Effects 0.000 claims abstract description 300
- 230000004424 eye movement Effects 0.000 claims description 269
- 210000005252 bulbus oculi Anatomy 0.000 claims description 113
- 230000009471 action Effects 0.000 claims description 99
- 230000000007 visual effect Effects 0.000 claims description 61
- 238000012545 processing Methods 0.000 claims description 58
- 230000008859 change Effects 0.000 claims description 38
- 238000012544 monitoring process Methods 0.000 claims description 16
- 230000000977 initiatory effect Effects 0.000 claims description 11
- 230000001711 saccadic effect Effects 0.000 claims description 9
- 230000009191 jumping Effects 0.000 claims description 6
- 238000012790 confirmation Methods 0.000 claims 3
- 238000001514 detection method Methods 0.000 abstract description 19
- 230000015572 biosynthetic process Effects 0.000 abstract description 14
- 230000002747 voluntary effect Effects 0.000 abstract description 11
- 230000008569 process Effects 0.000 description 149
- 230000004913 activation Effects 0.000 description 97
- 238000001994 activation Methods 0.000 description 97
- 210000003128 head Anatomy 0.000 description 57
- 230000002207 retinal effect Effects 0.000 description 57
- 230000002452 interceptive effect Effects 0.000 description 52
- 230000000694 effects Effects 0.000 description 51
- 238000013528 artificial neural network Methods 0.000 description 47
- 230000006870 function Effects 0.000 description 46
- 238000013459 approach Methods 0.000 description 45
- 210000001747 pupil Anatomy 0.000 description 45
- 230000002269 spontaneous effect Effects 0.000 description 39
- 238000004422 calculation algorithm Methods 0.000 description 38
- 238000005259 measurement Methods 0.000 description 38
- 230000004886 head movement Effects 0.000 description 36
- 230000001149 cognitive effect Effects 0.000 description 29
- 230000008447 perception Effects 0.000 description 26
- 230000015654 memory Effects 0.000 description 24
- 241000282414 Homo sapiens Species 0.000 description 23
- 230000003993 interaction Effects 0.000 description 21
- 210000001525 retina Anatomy 0.000 description 20
- 238000012549 training Methods 0.000 description 20
- 238000012937 correction Methods 0.000 description 19
- 230000004044 response Effects 0.000 description 18
- 238000013135 deep learning Methods 0.000 description 17
- 230000000875 corresponding effect Effects 0.000 description 16
- 230000014509 gene expression Effects 0.000 description 16
- 210000003205 muscle Anatomy 0.000 description 16
- 230000001276 controlling effect Effects 0.000 description 14
- 206010012218 Delirium Diseases 0.000 description 13
- 238000013461 design Methods 0.000 description 13
- 230000002829 reductive effect Effects 0.000 description 13
- 230000011664 signaling Effects 0.000 description 13
- 230000003190 augmentative effect Effects 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 12
- 230000006399 behavior Effects 0.000 description 10
- 230000008901 benefit Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 230000007613 environmental effect Effects 0.000 description 10
- 230000004438 eyesight Effects 0.000 description 10
- 230000002093 peripheral effect Effects 0.000 description 10
- 230000004434 saccadic eye movement Effects 0.000 description 10
- 230000007704 transition Effects 0.000 description 10
- 206010044565 Tremor Diseases 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 9
- 238000010276 construction Methods 0.000 description 9
- 210000000744 eyelid Anatomy 0.000 description 9
- 238000005286 illumination Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 9
- 241000282412 Homo Species 0.000 description 8
- 230000004397 blinking Effects 0.000 description 8
- 239000003814 drug Substances 0.000 description 8
- 230000002996 emotional effect Effects 0.000 description 8
- 230000001965 increasing effect Effects 0.000 description 8
- 230000000926 neurological effect Effects 0.000 description 8
- 230000011514 reflex Effects 0.000 description 8
- 238000013515 script Methods 0.000 description 8
- 230000001953 sensory effect Effects 0.000 description 8
- 239000003826 tablet Substances 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 8
- 230000004470 vergence movement Effects 0.000 description 8
- 230000003213 activating effect Effects 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 7
- 230000001934 delay Effects 0.000 description 7
- 229940079593 drug Drugs 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 238000001914 filtration Methods 0.000 description 6
- 239000011521 glass Substances 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 230000010344 pupil dilation Effects 0.000 description 6
- 230000001960 triggered effect Effects 0.000 description 6
- 241001465754 Metazoa Species 0.000 description 5
- 210000004087 cornea Anatomy 0.000 description 5
- 230000002354 daily effect Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000007689 inspection Methods 0.000 description 5
- 238000007726 management method Methods 0.000 description 5
- 230000001537 neural effect Effects 0.000 description 5
- 238000009877 rendering Methods 0.000 description 5
- 241000699670 Mus sp. Species 0.000 description 4
- 108010076504 Protein Sorting Signals Proteins 0.000 description 4
- 230000001133 acceleration Effects 0.000 description 4
- 238000013473 artificial intelligence Methods 0.000 description 4
- 230000003542 behavioural effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000008034 disappearance Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000003203 everyday effect Effects 0.000 description 4
- 230000000193 eyeblink Effects 0.000 description 4
- 230000007787 long-term memory Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 210000000118 neural pathway Anatomy 0.000 description 4
- 230000010004 neural pathway Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 230000001575 pathological effect Effects 0.000 description 4
- 230000005043 peripheral vision Effects 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 4
- 230000002459 sustained effect Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 208000019901 Anxiety disease Diseases 0.000 description 3
- 241000239290 Araneae Species 0.000 description 3
- 235000008694 Humulus lupulus Nutrition 0.000 description 3
- 241000699666 Mus <mouse, genus> Species 0.000 description 3
- 208000012902 Nervous system disease Diseases 0.000 description 3
- 208000025966 Neurological disease Diseases 0.000 description 3
- 230000036506 anxiety Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 125000001475 halogen functional group Chemical group 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000000411 inducer Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 230000003340 mental effect Effects 0.000 description 3
- 239000008267 milk Substances 0.000 description 3
- 210000004080 milk Anatomy 0.000 description 3
- 235000013336 milk Nutrition 0.000 description 3
- 230000003278 mimic effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 210000000056 organ Anatomy 0.000 description 3
- 230000002085 persistent effect Effects 0.000 description 3
- 208000019899 phobic disease Diseases 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 239000013589 supplement Substances 0.000 description 3
- 230000000153 supplemental effect Effects 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 201000004569 Blindness Diseases 0.000 description 2
- 206010057315 Daydreaming Diseases 0.000 description 2
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 2
- 235000002918 Fraxinus excelsior Nutrition 0.000 description 2
- 208000003098 Ganglion Cysts Diseases 0.000 description 2
- 206010021403 Illusion Diseases 0.000 description 2
- 206010029216 Nervousness Diseases 0.000 description 2
- 208000005400 Synovial Cyst Diseases 0.000 description 2
- 230000004308 accommodation Effects 0.000 description 2
- 210000003484 anatomy Anatomy 0.000 description 2
- 239000002956 ash Substances 0.000 description 2
- 230000003416 augmentation Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 210000003169 central nervous system Anatomy 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000019771 cognition Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 235000009508 confectionery Nutrition 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 238000000537 electroencephalography Methods 0.000 description 2
- 230000008030 elimination Effects 0.000 description 2
- 238000003379 elimination reaction Methods 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 230000002708 enhancing effect Effects 0.000 description 2
- 206010015037 epilepsy Diseases 0.000 description 2
- 210000000720 eyelash Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000001943 fluorescence-activated cell sorting Methods 0.000 description 2
- 210000004247 hand Anatomy 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 230000006698 induction Effects 0.000 description 2
- 230000001939 inductive effect Effects 0.000 description 2
- NOESYZHRGYRDHS-UHFFFAOYSA-N insulin Chemical compound N1C(=O)C(NC(=O)C(CCC(N)=O)NC(=O)C(CCC(O)=O)NC(=O)C(C(C)C)NC(=O)C(NC(=O)CN)C(C)CC)CSSCC(C(NC(CO)C(=O)NC(CC(C)C)C(=O)NC(CC=2C=CC(O)=CC=2)C(=O)NC(CCC(N)=O)C(=O)NC(CC(C)C)C(=O)NC(CCC(O)=O)C(=O)NC(CC(N)=O)C(=O)NC(CC=2C=CC(O)=CC=2)C(=O)NC(CSSCC(NC(=O)C(C(C)C)NC(=O)C(CC(C)C)NC(=O)C(CC=2C=CC(O)=CC=2)NC(=O)C(CC(C)C)NC(=O)C(C)NC(=O)C(CCC(O)=O)NC(=O)C(C(C)C)NC(=O)C(CC(C)C)NC(=O)C(CC=2NC=NC=2)NC(=O)C(CO)NC(=O)CNC2=O)C(=O)NCC(=O)NC(CCC(O)=O)C(=O)NC(CCCNC(N)=N)C(=O)NCC(=O)NC(CC=3C=CC=CC=3)C(=O)NC(CC=3C=CC=CC=3)C(=O)NC(CC=3C=CC(O)=CC=3)C(=O)NC(C(C)O)C(=O)N3C(CCC3)C(=O)NC(CCCCN)C(=O)NC(C)C(O)=O)C(=O)NC(CC(N)=O)C(O)=O)=O)NC(=O)C(C(C)CC)NC(=O)C(CO)NC(=O)C(C(C)O)NC(=O)C1CSSCC2NC(=O)C(CC(C)C)NC(=O)C(NC(=O)C(CCC(N)=O)NC(=O)C(CC(N)=O)NC(=O)C(NC(=O)C(N)CC=1C=CC=CC=1)C(C)C)CC1=CN=CN1 NOESYZHRGYRDHS-UHFFFAOYSA-N 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000007774 longterm Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000014759 maintenance of location Effects 0.000 description 2
- 230000009491 memory guided saccade Effects 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 210000000653 nervous system Anatomy 0.000 description 2
- 208000018360 neuromuscular disease Diseases 0.000 description 2
- 210000001328 optic nerve Anatomy 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 230000037361 pathway Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000035479 physiological effects, processes and functions Effects 0.000 description 2
- 230000035790 physiological processes and functions Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004270 retinal projection Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000009416 shuttering Methods 0.000 description 2
- 230000037078 sports performance Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000002560 therapeutic procedure Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- KRQUFUKTQHISJB-YYADALCUSA-N 2-[(E)-N-[2-(4-chlorophenoxy)propoxy]-C-propylcarbonimidoyl]-3-hydroxy-5-(thian-3-yl)cyclohex-2-en-1-one Chemical compound CCC\C(=N/OCC(C)OC1=CC=C(Cl)C=C1)C1=C(O)CC(CC1=O)C1CCCSC1 KRQUFUKTQHISJB-YYADALCUSA-N 0.000 description 1
- 208000006096 Attention Deficit Disorder with Hyperactivity Diseases 0.000 description 1
- 208000012661 Dyskinesia Diseases 0.000 description 1
- 102000004877 Insulin Human genes 0.000 description 1
- 108090001061 Insulin Proteins 0.000 description 1
- 208000015592 Involuntary movements Diseases 0.000 description 1
- 206010028347 Muscle twitching Diseases 0.000 description 1
- 208000018737 Parkinson disease Diseases 0.000 description 1
- 108091081062 Repeated sequence (DNA) Proteins 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 208000005392 Spasm Diseases 0.000 description 1
- 206010047571 Visual impairment Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 210000003208 abducens nerve Anatomy 0.000 description 1
- 206010000210 abortion Diseases 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 238000013477 bayesian statistics method Methods 0.000 description 1
- 238000013542 behavioral therapy Methods 0.000 description 1
- 230000003592 biomimetic effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000000133 brain stem Anatomy 0.000 description 1
- 235000021152 breakfast Nutrition 0.000 description 1
- 208000015114 central nervous system disease Diseases 0.000 description 1
- 235000013339 cereals Nutrition 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000002060 circadian Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 230000009514 concussion Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000005574 cross-species transmission Effects 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000916 dilatatory effect Effects 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 208000035475 disorder Diseases 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000002964 excitative effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000004418 eye rotation Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000001815 facial effect Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 238000007519 figuring Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000000574 ganglionic effect Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000017525 heat dissipation Effects 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000003780 insertion Methods 0.000 description 1
- 230000037431 insertion Effects 0.000 description 1
- 229940125396 insulin Drugs 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 208000016339 iris pattern Diseases 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000002045 lasting effect Effects 0.000 description 1
- 210000001232 limbus corneae Anatomy 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000005923 long-lasting effect Effects 0.000 description 1
- 238000005461 lubrication Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 238000002483 medication Methods 0.000 description 1
- 210000001259 mesencephalon Anatomy 0.000 description 1
- 230000004459 microsaccades Effects 0.000 description 1
- 239000008185 minitablet Substances 0.000 description 1
- 230000037230 mobility Effects 0.000 description 1
- 230000025712 muscle attachment Effects 0.000 description 1
- 230000004118 muscle contraction Effects 0.000 description 1
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003767 neural control Effects 0.000 description 1
- 230000008904 neural response Effects 0.000 description 1
- 206010029864 nystagmus Diseases 0.000 description 1
- 210000000869 occipital lobe Anatomy 0.000 description 1
- 210000002589 oculomotor nerve Anatomy 0.000 description 1
- 239000003921 oil Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 210000004279 orbit Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000005019 pattern of movement Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000008288 physiological mechanism Effects 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 230000000449 premovement Effects 0.000 description 1
- 201000010041 presbyopia Diseases 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002035 prolonged effect Effects 0.000 description 1
- 230000004800 psychological effect Effects 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 210000004189 reticular formation Anatomy 0.000 description 1
- 201000000980 schizophrenia Diseases 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 210000002480 semicircular canal Anatomy 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 210000000162 simple eye Anatomy 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 230000004469 smooth pursuit movement Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 230000024188 startle response Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 230000002195 synergetic effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
- 210000003076 trochlear nerve Anatomy 0.000 description 1
- 208000029257 vision disease Diseases 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
- G06F21/31—User authentication
- G06F21/316—User authentication by observing the pattern of computer usage, e.g. typical user behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
- G06F21/60—Protecting data
- G06F21/64—Protecting data integrity, e.g. using checksums, certificates or signatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G06K9/00617—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/197—Matching; Classification
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/08—Network architectures or network communication protocols for network security for authentication of entities
- H04L63/0861—Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
- H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/06—Authentication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/06—Authentication
- H04W12/065—Continuous authentication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/30—Security of mobile devices; Security of mobile applications
- H04W12/33—Security of mobile devices; Security of mobile applications using wearable devices, e.g. using a smartwatch or smart-glasses
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Optics & Photonics (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Ophthalmology & Optometry (AREA)
- Computer Graphics (AREA)
- Social Psychology (AREA)
- Bioethics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- User Interface Of Digital Computer (AREA)
- Collating Specific Patterns (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Image Input (AREA)
- Eye Examination Apparatus (AREA)
- Position Input By Displaying (AREA)
- Image Processing (AREA)
Abstract
안구들의 움직임들에 주로 근거하여 디바이스 착용자의 의도를 파악하기 위한 시스템들 및 방법들이 제공된다. 이러한 시스템은 안구 추적을 수행함과 아울러 스크린 디스플레이를 제어하는 눈에 거슬림 없는 헤드웨어 내에 포함될 수 있다. 시스템은 또한 원격 안구 추적 카메라(들), 원격 디스플레이들 및/또는 다른 보조 입력들을 이용할 수 있다. 스크린 레이아웃은 빠른 안구 신호들의 형성 및 신뢰가능한 검출을 용이하게 위해 최적화된다. 안구 신호들의 검출은 디바이스 착용자에 의한 자발적 제어 하에 있는 안구의 생리학적 움직임들을 추적하는 것에 근거하고 있다. 안구 신호들의 검출은 결과적으로 착용가능한 컴퓨팅 및 광범위한 디스플레이 디바이스들과 융화가능한 동작들을 일으킨다.
Description
본 발명은 사용자의 의도를 파악(Discerning the Intent of a User, DIU)하고, 후속적으로 사용자의 안구(eye)들을 주로 사용하여(선택에 따라 보조 입력 지원을 가짐) 컴퓨팅 및 다른 디바이스들을 제어하고 이들과 상호작용하기 위한 시스템들 및 방법들에 관한 것이다. 이러한 시스템은 인간-기계 인터페이스(Human-Machine Interface, HMI)들, 착용가능 컴퓨팅(wearable computing), 인간 생리학(human physiology), 이미지 프로세싱(image processing), 및 심층 학습(deep learning)의 분야들에서의 기법들을 이용한다. DIU는 눈에 거슬리지 않은 안구-추적 헤드웨어(unobtrusive eye-tracking headwear) 및/또는 원격 안구-추적 하드웨어(remote eye-tracking hardware) 내에서 구현될 수 있으며, 이것은 선택에 따라 헤드-장착 디스플레이(Head-Mounted Display, HMD)들, 원격 디스플레이들, 및/또는 다른 착용가능 센서들 혹은 액츄에이터(actuator)들과 관련될 수 있다. 시스템은 로컬 혹은 원격 컴퓨팅 디바이스들을 제어하고 이들과 상호작용하기 위해서 사용하기 쉬운, 그리고 직관적인, 그리고 융통성 있는 입력 메커니즘을 사용자에게 제공할 수 있다.
컴퓨터 마우스들, 조이스틱들, 및 다른 수동 추적 디바이스들은 인간-기계 상호작용들 동안 위치 정보를 특정하기 위한 흔한 도구들이다. 착용가능 컴퓨팅이 출현했는데, 이러한 커다랗고 눈에 거슬리는 디바이스(예컨대, 일반적으로 적절한 동작 동안 정지 상태의 표면들을 요구함)는 신체에 착용되도록 설계된 장치의 휴대가능 성질과는 잘 맞지 않다.
착용가능 디스플레이 디바이스들은, 가상 현실(Virtual Reality, VR) 디스플레이(예를 들어, 소니(Sony), 삼성(Samsung), 오큘러스(Oculus), 카를 차이스(Carl Zeiss)에 의해 제조되는 것들); 헤드 장착 디스플레이(HMD)들(예를 들어, 부직스(Vuzix) 및 구글(Google)에 의해 생산되는 것들(예컨대, 글래스(Glass®)); 증강 현실(Augmented Reality, AR) 디스플레이들(예를 들어, 마이크로소프트, 부직스, 및 디지렌즈(DigiLens)에 의해 제조되는 것들); 그리고 유사한 디바이스들을 포함한다. 안구 추적은 이러한 디스플레이들을 뷰잉(viewing)하는데 사용될 수 있고, 위치 정보를 특정하는데 사용될 수 있다. 그러나, 안구들은 또한 보통의 인간 활동들 동안 광범위하게 사용된다.
따라서, 상호작용 및 제어를 위한 입력 데이터 스트림으로서 안구 위치를 사용할 때의 도전과제는 안구 움직임들에 근거하여 사용자의 의도를 파악(DIU)하는 것이다. 본 명세서에서의 시스템들 및 방법들의 목표들 중 하나는, 보통의 일상적인 활동들과 관련된 안구의 움직임과 의식적 혹은 자발적 움직임들(이것은, 본 명세서에서 "안구 신호(eye signal)들"로서 지칭되며, 스마트 디바이스와 상호작용하고 스마트 디바이스를 제어하려는 움직임들임) 간을 구분하는 것이다. 스마트 디바이스는 일반적으로 상이한 무선 프로토콜들(예를 들어, 블루투스, NFC, 와이-파이(Wi-Fi) 3G, 등)을 통해 다른 디바이스들 혹은 네트워크들에 연결되는 전자 디바이스이며, 이들은 어느 정도까지 상호작용하여 동작할 수 있고 그리고 독자적으로 동작할 수 있다.
안구 신호 추적은 인간들이 기계들과 통신할 수 있게 하는 기계 시각(machine vision)의 분야에서의 컴포넌트인 것으로 고려될 수 있다. 안구 신호들은 "제스처(gesture)" 제어들과는 구분되는데, 왜냐하면 안구 신호들은 일상 생활과 관련된 안구의 연속적인 움직임들로부터 파악돼야만 하기 때문이다. 추가적으로, 안구 신호들은 사용자의 환경(예를 들어, 태양광 대 어둠), 정신 착란, 피로, 정신 상태, 인지 부하(cognitive load), 질병, 약물, 등에 의해 영향을 받을 수 있다.
안구 신호들은 제스처-기반 HMI를 대체하거나 보충하는데 사용될 수 있다. 현재, 제스처 제어들의 가장 흔한 형태는 얼굴, 손, 혹은 손가락들 중 하나 이상을 추적하는 것을 포함한다. HMI 제스처 제어의 다른 예들은 양쪽 손들, 걸음걸이, 전반적인 신체 움직임들, 다리들, 손목들, 손가락들, 반지(ring)들, 펜(pen)들을 모니터링(monitoring)하는 것을 포함한다. 용어 "제스처 제어"는 또한, 터치 스크린들, 태블릿들, 및 다른 모션(motion)-감지 표면들 혹은 터치(touch)-감지 표면들에 지향(direct)된 움직임들을 해석하는데 적용되어 왔다. 이러한 디바이스들을 사용하는 대부분의 모든 경우들에서, 제스처들은 보통의 일상적인 활동들과는 구분되는 자발적(즉, 의식적) 제어 하에서 행해질 수 있다.
한쪽 안구 혹은 양쪽 안구들을 사용하는 안구 신호 추적은 특정 신경 연결 통로(neural pathway)들 및 운동 근육 제어(motor control)들을 포함한다. 여섯 개의 근육들(상직근(superior rectus), 하직근(inferior rectus), 외직근(lateral rectus), 내직근(medial rectus), 상사근(superior oblique), 하사근(inferior oblique))은 안구 움직임의 모든 형태들을 제어한다. 추가적으로, 눈꺼풀 올림근(levator palpebrae superioris muscle)은 눈꺼풀(eyelid)의 움직임을 제어한다. 이러한 근육들은 뇌간(brain stem)에 핵들(nuclei)을 갖는 세 개의 신경들(안구 운동(oculomotor) 신경, 외전(abducens) 신경, 및 활차(trochlear) 신경)에 의해 자극(innervate)을 받는다. 안구 움직임들의 신경 제어와 결합된 근육 부착 지점(muscle attachment point)들을 포함하는 눈의 구조는 안구 움직임들에 관해 해부학적(anatomical) 및 생리학적(physiological) 경계(bound)들(예를 들어, 수평축, 수직축 및 회전축에서의 움직임의 범위; 각각의 차원(dimension)에서의 최대 속도들; 정지 상태를 유지하는 능력; 움직임 정밀도(movement precision); 등)을 배치한다.
안구 움직임들은 상승(elevation), 안쪽비틀림(incyclotorsion), 내전(adduction), 침하(depression), 외회선(extorsion), 뒤틀림(intorsion), 및/또는 외선(abduction)으로서 분류된다. 맹인(blind)이 아니라면, 안구들은 보통의 일상적인 활동들을 수행하기 위한 필수적인 감각으로서 고려된다. 따라서, 안구 신호들을 해석하는 알고리즘들은 안구 움직임들 동안 사용자의 의도(즉, 임의의 움직임이 안구 신호의 일부인지 아니면 어떤 다른 기능을 수행하는 것인지 여부)를 파악해야만 한다.
추가적으로, 안구 움직임들에 특정된 인지 부하를 고려하는 것이 중요하다. 예를 들어, 대부분의 개체(individual)들이 임의의 큐(cue)들 혹은 유도체(guidance) 없이 손으로 원형 모션(circular motion)들을 발생시키는 것은 상대적으로 쉽다. 이것은 사용자의 안구들을 제어하는 능력과 첨예하게 대조적이다. 시각적 큐들 없이 한쪽 안구 혹은 양쪽 안구들을 사용하여, 두세 개보다 더 많은 수의 원형 회전들을 발생시키는 것은 어렵고, 예를 들어, 추적할 레퍼런스 시각 타겟(reference visual target)들을 제공함이 없이 이러한 움직임들의 반경을 제어하는 것은 훨씬 더 어렵다. 실제 혹은 가상의 시각적 큐들을 바라보지 않는 자발적인 안구 움직임들은 어렵고, 일반적으로 불편한 느낌을 생성한다. 바라볼 곳에 관해 방향성이 없는 단순히 "눈길 돌리기(look away)"로 지칭되는 것은 불안감을 용이하게 생성할 수 있다.
따라서, 디바이스 착용자에게 다른 응시 지점(gaze point)을 제공함이 없이 단순히 객체(object)로부터 "눈길 돌리기"를 하도록 하는 것은 결과적으로 임의의 일반적으로 수행될 수 있는 동작이 일어나게 하지만, 이것은 불편감을 일으키고 일관적으로 반복가능하지 않다. 예를 들어, 대부분이 가까운 곳인 환경(예컨대, 실내 환경)에서의 눈길 돌리기는, 더 광활한 환경(예컨대, 실외 환경)에서의 눈길 돌리기와 비교하여, 차이가 매우 큰 일련의 안구 움직임들을 생성할 가능성이 높다. 특정 방향(예를 들어, 좌측, 우측, 위, 아래)으로 "눈길 돌리기"를 하고 그리고/또는 본래의 위치를 뷰잉하는 것으로 되돌아 오도록 지시를 받는 경우에도, 이러한 안구 움직임들은 시각적 큐들 없이는 일관적이지 않다. 기존의 안구-추적 제어 디바이스들과는 달리, 시각적 큐들은 기억-유도 도약적 안구 움직임(memory-guided saccadic eye movement)들과 같은 생리학적 메커니즘들을 이용하기 위해 이상적으로는 특정 응시 위치들에 있어야만 한다.
한편, 안구 및 시각령(visual cortex)은 상이한 패턴들에서 이들이 움직임에 따라 실제 혹은 가상의 객체들을 추적하도록 정교하게 설계되어 있다. 대부분의 개체들이 원형 패턴에서 움직이는 레퍼런스 객체(reference object)(예를 들어, 공(ball), 혹은 커서(cursor)의 이미지)를 추적하는 것은 쉽다. 이러한 시각적 레퍼런스들 혹은 큐들을 (디바이스에게 알려진 응시 위치들에서) 추종(follow)함으로써, 안구들을 사용하여 움직임의 거의 임의의 패턴을 생성하는 것이 가능하다.
유사한 설명을 따르면, 손가락 혹은 손 제스처의 "스와이프(swipe)" 혹은 "스위프(sweep)" 모션은 기계 제어를 위해 사용되는 하나의 제스처 타입이다. 만약 사용자가 자신의 안구들로 "스위프"를 행하고자 시도한다면, 안구들이 실제 혹은 가상의 객체들과 결합되어 움직이지 않는 경우, 사용자는 스위프 경로 내에서 어떠한 객체들도 지각하지 못하거나 약간 지각하게 되고, 스위프가 개시된 위치에서 일어난 것을 뷰잉하는 능력을 잃어버린다. 또한, 예를 들어, 디바이스 사용자의 주변 시계(peripheral visual field) 내에서 주의를 끌고 있는 객체로의 순간적인 흘긋 보기(glance) 혹은 도약과 의도적인 안구 스위프를 구분하는 것은 어렵다.
이에 추가하여, 안구의 뷰잉은 눈꺼풀들 및 속눈썹(lash)들에 의해 보통의 기능적 동작 동안 종종 가려진다(obscure). 더욱이, 눈꺼풀이 안구의 위치의 뷰잉을 완전히 차단(block)하는 안구 깜박임(eye blink)들은 안구의 표면의 윤활(lubrication) 및 수분함유 환경을 유지시키기 위해서 기능이 지속되도록 주기적으로 일어나야만 한다. 깜박임 지속시간들(보통은 0.3초 내지 0.4초 지속됨) 및 속도들은 피로, 주의력, 부상, 약물들, 의약품들, 알콜, 및 질병에 의해 영향을 받을 수 있다. 깜박임들은 개체의 시각 및 안구의 뷰잉을 관련 시간의 최대 10% 동안 가릴 수 있다.
따라서, 개체들이 그들의 환경을 시각화하고 해당 환경과 상호작용하는 능력을 보유하는 상태에서 안구 움직임들로부터 의도를 파악하기 위해 새로운 패러다임들이 요구된다.
앞서의 설명을 고려하여 볼 때, 본 명세서에서는 하나 이상의 안구들의 목적을 갖는 움직임들에 실질적으로 근거하여 하나 이상의 사용자들의 다양한 의도들 혹은 동작의 목적들을 실질적으로 연속하여 파악하기 위한 시스템들 및 방법들이 제공된다.
일 실시형태에서, 예시적인 컴퓨터-구현 방법은, 레퍼런스 광(reference light)을 한쪽 안구 혹은 양쪽 안구들에 프로젝션(projection)하는 것, 레퍼런스 광의 반사에서의 변화를 모니터링하는 것, 안구 위치들 혹은 움직임들을 결정하기 위해 안구들 및/또는 광의 이미지 데이터를 프로세싱하는 것, 맥락적(contextual), 생리학적(physiological), 해부학적(anatomical), 및/또는 신경학적(neurological) 기준들에 대비하여 안구 위치 혹은 움직임 데이터를 필터링(filtering)하는 것, 필터링된 안구 위치 혹은 움직임 데이터로부터 사용자의 동작 의도 혹은 목적을 표시하는 안구 신호를 획득하는 것, 상기 안구 신호를 애플리케이션 혹은 상호작용 디바이스와 관련시키는 것, 관련된 애플리케이션 혹은 디바이스를 동작가능하게 제어하기 위해 상기 안구 신호를 하나 이상의 제어 명령들과 상관(correlating)시키는 것, 안구 신호 혹은 제어 명령을 관련된 애플리케이션 혹은 디바이스로 전달하는 것, 그리고 애플리케이션 혹은 디바이스로 하여금 사용자의 의도에 대해 적절한 명령 혹은 기능을 실행하도록 하는 것을 포함할 수 있다.
또 하나의 다른 실시형태에서, 예시적인 시스템은, 광의 반사에서의 변화들을 모니터링하기 위한 하나 이상의 카메라들 혹은 적어도 하나의 센서, 그리고 하나 이상의 프로세싱 유닛(processing unit)들, 그리고 비-일시적 컴퓨터-판독가능 매체, 그리고 비-일시적 컴퓨터-판독가능 매체 상에 저장된 프로그램 명령들을 포함할 수 있다. 프로그램 명령들은, 레퍼런스 광을 한쪽 안구 혹은 양쪽 안구들에 프로젝션하는 것, 레퍼런스 광 및/또는 주변 광의 반사에서의 변화를 모니터링하는 것, 안구 위치 혹은 움직임을 결정하기 위해 안구들 및/또는 광의 측정된 데이터를 프로세싱하는 것, 맥락적, 생리학적, 해부학적, 및/또는 신경학적 기준들에 대비하여 안구 위치 혹은 움직임 데이터를 필터링하는 것, 필터링된 안구 위치 혹은 움직임 데이터로부터 사용자의 동작 의도 혹은 목적을 표시하는 안구 신호를 획득하는 것, 상기 안구 신호를 애플리케이션 혹은 디바이스와 관련시키는 것, 관련된 애플리케이션 혹은 디바이스를 동작가능하게 제어하기 위해 상기 안구 신호를 하나 이상의 제어 명령들과 상관시키는 것, 안구 신호 혹은 제어 명령을 관련된 애플리케이션 혹은 디바이스로 전달하는 것, 그리고 애플리케이션 혹은 디바이스로 하여금 사용자의 의도에 대해 적절한 명령 혹은 기능을 실행하도록 하는 것을 수행하도록, 적어도 하나의 프로세서들에 의해 실행가능할 수 있다.
대안적 실시예는, 하나 이상의 조명 소스(illumination source)들, 카메라들, 혹은 다른 센서들을 포함할 수 있고, 이들은 하나 이상의 이동가능 디바이스들(전화기(phone), 태블릿(tablet), 웹 카메라(web camera), 랩탑(laptop), 카메라, 비디오 카메라(video camera), 노메딕 디바이스(nomadic device), 전자 액세서리 컴포넌트(electronic accessory component)들, 등) 혹은 착용가능 디바이스들(예를 들어, 안경(glasses), 와치(watch), 모자(hat), 장신구(jewelry), 의류(clothing), 개인용 액세서리들(personal accessories), 등) 상에 배치되거나 이들 안에 매립되고, 또는 유사하게 다른 전자 디바이스들(예를 들어, 컴퓨터, 보안 시스템(security system), 홈 오토메이션(home automation), 전력 관리 시스템(power management system)들, ATM, 디스플레이, 텔레비젼, 냉장고(refrigerator), 아이덴티티 인증 디바이스(identity authentication device), 전자 카드 판독기(electronic card reader), 단말기 디바이스(terminal device), 프로세스 로직 제어기(process logic controller), 네트워크 라우터(network router), 무선 액세스 포인트(wireless access point), 캐시 레지스터(cash register), 분배 기계(dispensing machine), 등) 내에 통합될 수 있고, 또는 운송기관(conveyance)들(예를 들어, 차량 콘솔(vehicle console)/대시보드(dashboard), 계기 클러스터(instrument cluster), 인포테인먼트 시스템(infotainment system), 미러(mirror)들, 좌석(seat)들, 스티어링 휠(steering wheel), 도어(door)들, 한정된 지속시간 및/또는 특정 기능들을 위해 동작가능하게 결합되는 목적 기반 디바이스(purpose based device)들, 등) 내에 통합될 수 있고, 또는 환경 내의 다른 구조들(예를 들어, 표지(sign)들, 윈도우 디스플레이(window display), 키오스크(kiosk), 도어(door), 조명(lighting), 통신 시스템들, 상호작용 탈것(interactive ride)들, 콘솔 게임(console game)들, 스포츠 베뉴(sporting venue), 등) 내에 통합될 수 있으며, 그리고 하나 이상의 사용자들에 대해 원격으로, 일반적으로는 근접하여 배치되어 레퍼런스 광 이미지들, 주변 광들, 혹은 구조화된 광을 하나 이상의 사용자들의 한쪽 안구 혹은 양쪽 안구들 상에 조명하거나 혹은 위치시키게 되고, 그리고, 광의 반사에서의 변화들을 모니터링하기 위한 하나 이상의 카메라들 혹은 적어도 하나의 센서, 그리고 하나 이상의 프로세싱 유닛들, 그리고 비-일시적 컴퓨터-판독가능 매체, 그리고 비-일시적 컴퓨터-판독가능 매체 상에 저장된 프로그램 명령들을 포함할 수 있다. 프로그램 명령들은, 레퍼런스 광을 한쪽 안구 혹은 양쪽 안구들에 프로젝션하는 것, 광의 반사에서의 변화를 모니터링하는 것, 안구 위치들 혹은 움직임들을 결정하기 위해 안구들 및/또는 광의 이미지 데이터를 프로세싱하는 것, 맥락적, 생리학적, 해부학적, 및/또는 신경학적 기준들에 대비하여 안구 위치 혹은 움직임 데이터를 필터링하는 것, 필터링된 안구 위치 혹은 움직임 데이터로부터 사용자의 동작 의도 혹은 목적을 표시하는 안구 신호를 획득하는 것, 상기 안구 신호를 애플리케이션 혹은 상호작용 디바이스와 관련시키는 것, 관련된 애플리케이션 혹은 디바이스를 동작가능하게 제어하기 위해 상기 안구 신호를 하나 이상의 제어 명령들과 상관시키는 것, 안구 신호 혹은 제어 명령을 관련된 애플리케이션 혹은 디바이스로 전달하는 것, 그리고 애플리케이션 혹은 디바이스로 하여금 사용자의 의도에 대해 적절한 명령 혹은 기능을 실행하도록 하는 것을 수행하도록, 적어도 하나의 프로세서들에 의해 실행가능할 수 있다.
또 하나의 다른 실시예에서, 시스템은 안구 추적 장치를 포함할 수 있는바, 예컨대, 하나 이상의 안구들의 표면 상에 배치되는 콘택트 렌즈(contact lense)들을 포함할 수 있고, 또는 안구 위치 및 움직임을 추적하기 위해 시신경(optical nerve) 및/또는 근육들에 부착되는 혹은 안구, 안구-구멍(eye-socket) 내에 이식되는 생체기계적(biomechanical) 혹은 생체전기적(bioelectrical) 센서들을 포함할 수 있다. 센서들은 하나 이상의 프로세서들에 동작가능하게 결합될 수 있고, 비-일시적 컴퓨터-판독가능 매체, 그리고 비-일시적 컴퓨터-판독가능 매체 상에 저장된 프로그램 명령들을 포함할 수 있다. 프로그램 명령들은, 하나 이상의 생체기계적 센서들로부터 안구 위치 혹은 움직임 데이터를 수신하는 것, 맥락적, 생리학적, 해부학적, 및/또는 신경학적 기준들에 대비하여 안구 위치 혹은 움직임 데이터를 필터링하는 것, 필터링된 안구 위치 혹은 움직임 데이터로부터 사용자의 동작 의도 혹은 목적을 표시하는 안구 신호를 획득하는 것, 상기 안구 신호를 애플리케이션 혹은 상호작용 디바이스와 관련시키는 것, 관련된 애플리케이션 혹은 디바이스를 동작가능하게 제어하기 위해 상기 안구 신호를 하나 이상의 제어 명령들과 상관시키는 것, 안구 신호 혹은 제어 명령을 관련된 애플리케이션 혹은 디바이스로 전달하는 것, 그리고 애플리케이션 혹은 디바이스로 하여금 사용자의 의도에 대해 적절한 명령 혹은 기능을 실행하도록 하는 것을 수행하도록, 적어도 하나의 프로세서들에 의해 실행가능할 수 있다.
또 하나의 다른 실시예에 따르면, 검출기를 사용하여 전자 디스플레이(electronic display)에 대한 사용자의 안구의 움직임에 근거하는 그래픽 사용자 인터페이스(graphical user interface)를 제공하기 위한 방법이 제공되며, 이러한 방법은, 안구의 응시가 디스플레이 상의 객체에 지향되는 때를 식별하는 것; 임의의 동작(action)에 대응하는 디스플레이 상의 제 1 아이콘(icon)을 포함하는 타겟 위치(target location)를 향해 안구의 객체로부터의 움직임을 식별하는 것; 타겟 위치에서 제 1 아이콘을 객체에 대응하는 제 2 아이콘으로 교체하는 것; 이러한 움직임 이후에 안구의 응시가 타겟 위치에 도달(land)함을 확정(confirming)하는 것; 그리고 객체에 관해 동작을 수행하는 것을 포함한다.
또 하나의 다른 실시예에 따르면, 사용자의 안구의 움직임에 근거하는 그래픽 사용자 인터페이스를 제공하기 위한 시스템이 제공되며, 이러한 시스템은 사용자의 안구의 움직임을 모니터링하도록 구성된 검출기; 전자 디스플레이; 그리고 프로세싱 유닛(processing unit)을 포함하며, 여기서 프로세싱 유닛은 검출기 및 전자 디스플레이에 동작가능하게 결합되어, 안구의 응시가 디스플레이 상의 객체에 지향되는 때를 식별하고; 임의의 동작에 대응하는 디스플레이 상의 제 1 아이콘을 포함하는 타겟 위치를 향해 안구의 객체로부터의 도약적 움직임을 식별하고; 타겟 위치에서 제 1 아이콘을 객체에 대응하는 제 2 아이콘으로 교체하고; 이러한 도약적 움직임 이후에 안구의 응시가 타겟 위치에 도달함을 확정하고; 그리고 객체에 관해 동작을 수행한다.
또 하나의 다른 실시예에 따르면, 검출기를 사용하여 전자 디스플레이에 대한 사용자의 안구의 움직임에 근거하는 그래픽 사용자 인터페이스를 제공하기 위한 방법이 제공되며, 이러한 방법은, 대응하는 디스플레이 상의 제 1 아이콘을 포함하는 제 1 타겟 위치를 향해 안구의 제 1 움직임을 식별하는 것; 제 1 위치와는 다른 복수의 제 2 위치들에서 디스플레이 상의 제 1 아이콘을 복수의 제 2 아이콘들로 교체하는 것; 제 1 움직임 이후에 안구의 응시가 제 1 타겟 위치에 도달함을 확정하는 것; 그리고 이후 안구가 복수의 제 2 타겟 위치들 중 하나를 향해 제 2 움직임을 수행하는지 여부를 식별하기 위해 안구를 모니터링하는 것을 포함한다.
또 하나의 다른 실시예에 따르면, 사용자의 안구의 움직임에 근거하는 그래픽 사용자 인터페이스를 제공하기 위한 시스템이 제공되며, 이러한 시스템은 사용자의 안구의 움직임을 모니터링하도록 구성된 검출기; 전자 디스플레이; 그리고 프로세싱 유닛을 포함하며, 여기서 프로세싱 유닛은 검출기 및 전자 디스플레이에 동작가능하게 결합되어, 대응하는 디스플레이 상의 제 1 아이콘을 포함하는 제 1 타겟 위치를 향해 안구의 제 1 움직임을 식별하고; 제 1 위치와는 다른 복수의 제 2 위치들에서 디스플레이 상의 제 1 아이콘을 복수의 제 2 아이콘들로 교체하고; 제 1 도약적 움직임 이후에 안구의 응시가 제 1 타겟 위치에 도달함을 확정하고; 그리고 이후 안구가 복수의 제 2 타겟 위치들 중 하나를 향해 제 2 움직임을 수행하는지 여부를 식별하기 위해 안구를 모니터링한다.
또 하나의 다른 실시예에서, 스위칭가능 브래그 격자(switchable Bragg grating)들 혹은 다른 광-조정 메커니즘(light-steering mechanism)들, 예컨대 MEMS(MicroelEctroMechanical Systems, 미세전자기계 시스템) 미러들이 사용될 수 있는바, 이것은 안구를 향해 지향된 광의 위치를 제어하고 그리고/또는 역으로 안구로부터 수집된 광을 공간적으로 선택하기 위해 사용되며, 이에 따라 조명 및/또는 검출 소소들의 개수는 감소될 수 있는데, 여기에는 단일 소스(예를 들어, 발광 다이오드) 및/또는 이미지들을 얻기 위한 검출기(예를 들어, 광다이오드)가 포함된다.
또 하나의 다른 실시예에서, 조명 및 안구 이미지 데이터의 획득은 소위 "핫 미러(hot mirror)들", 프라운호퍼 렌즈(Fraunhoffer lense)들, 및/또는 홀로그래픽 렌즈(holographic lense)들 혹은 다른 광학 컴포넌트들로부터의 반사들을 사용하여 캡처(capture)될 수 있다.
다른 실시예에서, "갭 효과(gap effect)"의 생리학적 원리는 시계로부터 하나 이상의 객체들을 제거하는데 사용될 수 있어 일반적으로 객체를 지각하기 위해 요구되는 인지 프로세싱을 감소시키게 되고 그리고 사용자의 안구의 "해방(release)"을 가능하게 하고 아울러 후속 타겟들을 향한 더 빠른 움직임들을 가능하게 한다.
다른 실시예에서, 특히 타겟이 안구 신호 동작에 대한 목적지인 경우, 이미지 또는 이전에 뷰잉된 혹은 "친숙한(familiar)" 객체의 "썸네일(thumbnail)" 또는 스크린의 영역이 타겟 목적지에서 디스플레이될 수 있다.
또 하나의 다른 실시예들에서, 안구 신호 "언어(language)"와 관련된 디스플레이 혹은 디스플레이들은, 가능성 높은 의도된 타겟 위치들을 향해 안구 움직임을 유인하기 위한 단계, 또는 역으로 사용자 주의를 끌지 않도록 설계된 방법들을 사용하여 타겟들을 도입하는 단계를 포함할 수 있다.
다른 실시예들에서, "변화 맹시(change blindness)"의 생리학적 원리는 디스플레이 혹은 상호작용 디바이스에 대한 시각적 변화들을 유발시키는데 사용될 수 있으며, 이것은 느리게 도입되거나 혹은 관측자가 보고 있지 않은 시간에 도입되어 주의를 끌지 않게 된다.
또 하나의 다른 실시예에서, 디바이스에 의해 제어되는 디스플레이는 시계(field-of-view)의 망막 중심와 주위(perifoveal) 영역 그리고/또는 주변 영역 내에 있는 타겟 세부사항들을 변경할 수 있고, 여기서 새로운 타겟들이 도입될 수 있는데, 느리게 도입될 수 있거나 혹은 관측자가 "블라인드(blind)" 상태에 있는 시간 동안, 예컨대 도약적 안구 움직임의 급속히 빠른 부분 동안 도입될 수 있다.
다른 실시예들에서, 새로운 타겟이 도입될 수 있는데, 예를 들어, 그래픽들이 사용자에게 시각적으로 "호소(yell)"하는 경우 주의를 끄는 하나 이상의 객체들의 휘도(luminance), 투명도(transparency), 컬러(color) 및/또는 움직임을 제어하는 기법들을 사용하여 도입될 수 있고, 그리고 사용자의 안구를 광고들을 향해 리디렉팅(redirecting)시킴으로써 게이밍 환경들에서 사용자의 시각적 주의를 유도하는 것을 포함할 수 있으며, 또는 키(key) 방법들 혹은 절차들에 대한 지향된 노출(directed exposure)을 통해 가르칠 수 있다.
다른 실시예들에서, 시스템들은 디바이스 착용자의 양쪽 안구들의 위치를 동시에 측정하는 쌍안 디바이스(binocular device)를 포함할 수 있고, 여기서 양쪽 안구들로부터의 측정들은 관측자로부터 상이한 거리들에서 장면(scene)의 단일, 쌍안 뷰잉을 유지하기 위해 안구 이향 운동(eye vergence) 혹은 반대 방향들에서의 양쪽 안구들의 움직임을 결정하는데 사용될 수 있다.
또 하나의 다른 실시예들에서, 객체 혹은 객체들은 디바이스 착용자로부터 상이한 거리들에서 나타나는 복수의 2-차원 디스플레이 평면들을 통해 제시될 수 있고 후속적으로 선택될 수 있다.
다른 실시예들에서, "연속적인 활성화(continuous activation)" 안구 신호는 특정 안구 신호 혹은 안구 신호들의 시퀀스(sequence)의 맥락(context)에 근거하고 있는 안구 움직임 컴포넌트들을 포함하거나 배제할 수 있으며, 여기서 객체들의 수집은 특정 동작과 관련될 수 있다.
또 하나의 다른 실시예에서, 안구 신호들은 사용자 의도를 전달하기 위해 다른 양상(modality)들과 결합될 수 있는바, 예를 들어, 자발적 머리 움직임(예를 들어, 머리를 끄덕이는 것) 혹은 다른 양상들과 결합될 수 있고, 여기에는 손 제스처, 다른 신체 부분들에 의한 움직임들, 음성, 스위치 활성화(switch activation), 안면 표현(facial expression)들 등이 포함된다.
또 하나의 다른 실시예들에서, 추적되는 안구 움직임들 및 기하학적 구조(geometry)들(예를 들어, 동공 팽창(pupil dilation), 안티-도약(anti-saccade)들)은 실질적으로 연속적인 방식으로 개체의 생리학적 및/또는 감정적 상태들을 파악하기 위해 사용자에 의해 뷰잉되는 실제 혹은 가상의 객체들에 대한 정보와 결합될 수 있다.
다른 실시예들에서, 알고리즘 필터(algorithmic filter)들은 수행되는 활동들의 특정 타입들(예를 들어, 읽기(reading), 검사(inspection))을 파악하는데 사용될 수 있는 정형화된 안구 움직임(stereotypic eye movement)의 존재를 결정하기 위해 안구 움직임들(예를 들어, 타이밍(timing), 방향(direction), 도약적 시퀀스(saccadic sequence) 등)을 평가할 수 있다.
또 하나의 다른 실시예들에서, "절차적 준수(procedural adherence)" 프로세스가, 환경 내의 특정 위치들(예를 들어, 관측가능한 사이니지(signage), QR(즉, 퀵 리스판스(Quick Response)) 코드들, 바코드(barcode)들, 고유한 형상의 객체들에 의해 표시되는 것) 혹은 다양한 객체들(예를 들어, 밸브(valve)들, 도어(door)들, 스위치들, 조명(light)들, 표시자(indicator)들)의 상태를 식별 및 검증하기 위해, 객체들 또는 동작들을 인식하고, 지리적-위치를 결정(geo-locate)하고, 타임-스탬핑(time-stamp)하고, 주석을 달고(annotate), 그리고/또는 보관(archive)하는데 사용될 수 있고, 이에 따라 사용자는 특정 리스트(list), 규정된 시퀀스, 혹은 체크리스트(checklist) 내의 다양한 단계들이 완료까지 혹은 어느 정도의 완료까지 조사(survey) 및 수행되었는지를 검증할 수 있게 된다.
다른 실시예들에서, 가변 비디오 프레임 레이트(variable video frame rate)들이 안구 움직임들에 근거하여 콘텐츠(content)를 디스플레이하기 위해 사용될 수 있으며, 여기서 비디오 레이트들은 전력 및 컴퓨팅 리소스(computing resource)들을 보존하기 위해 감소될 수 있으며, 또는 비디오 레이트는 "갭 효과"와 같은 방법들을 가능하게 하기 위해 증가될 수 있고, 여기서 문법적 요소(grammatical element)들이 빠르게 활성화될 수 있고, 그리고/또는 디스플레이로부터 타겟 요소들의 제거, 이에 따른 정정 도약(corrective saccade)들에 대한 필요성 제거, 그리고/또는 새로운 타겟들이 더 빠르게 선택될 수 있음이 가능하다.
다른 실시예들에서, 안구 움직임들(예를 들어, 목적을 갖는 안구 움직임의 탄도학적 개시(ballistic initiation)인 "도약적 론칭(saccadic launch)")을 분석하기 위해 예측이 사용될 수 있고, 그리고 이러한 도약이 "도달(land)"할 궁극적 위치 및 시간을 계산하기 위해 속력 및 방향에 대해 측정이 이루어질 수 있으며, 이에 따라 카메라들 및 다른 프로세싱 리소들에 대한 제어가 가능하게 된다.
다른 실시예들에서, 예를 들어, 눈 깜박임 동안, 도약의 중간-부분 동안, 혹은 안구가 디스플레이에 지향되지 않은 때 또는 임의의 상호작용 객체들을 향해 지향되지 않은 때, 세부적 안구 추적은 감소될 수 있거나 혹은 일시적으로 제거될 수 있으며, 이에 따라 전력 소비가 감소될 수 있고, 안정이 강화되며, 또는 다른 디바이스들을 활성화시킬 수 있다.
다른 실시예들에서, 디스플레이들의 투명도, 휘도, 혹은 다른 특징들은 변경될 수 있고, 그리고 사용자에 의해 뷰잉되는 다양한 객체들은 크기, 형상, 컬러, 및/또는 움직임에 있어 매칭(matching)될 수 있으며, 이것은 하나 이상의 착용가능 혹은 원격 디스플레이 디바이스들 상에서 실제 혹은 가상의 환경 내에서의 실제 혹은 가상의 객체들을 추적할 수 있게 하고, 여기에는 실제 세계와 가상의 세계 간의 디스플레이 디바이스들에서의 실질적으로 연속적인 변이(transition)들이 포함된다.
다른 실시예들에서, 안구 신호들은, 하나 이상의 디바이스들의 해상도(resolution), 콘텐츠, 및/또는 다른 특성들을 제어함으로써 관측자의 시계의 대략 망막 중심와 영역(foveal region) 내의 콘텐츠에게만 디스플레이 리소스들을 집중시키기 위해 사용될 수 있다.
다른 실시예들에서, 기계 학습 기법들(여기에는 "심층 학습"이 포함됨)은 안구 움직임 패턴들 및 다른 입력들을 예측되는 혹은 예상되는 안구 위치들로 전환(convert)시킬 수 있고, 그리고 이에 따라 사용자 디스플레이들을 조정할 수 있으며, 이것은 개별 사용자들의 해부학적 및 생리학적 능력들과 한계들에 대한 시스템 조정을 가능하게 한다.
다른 실시예들에서, 기억-유도 도약적 안구 움직임 기법들은 디스플레이 내에 소재(material)들 및 객체들을 제시하는 레이트(rate)를 자체-조정 방식으로 콘텐츠 및 사용자 경험에 근거하여 동적으로 제어하기 위해 사용될 수 있고, 이것은 안구 신호들이 궁극적으로 훨씬 더 빠르게 수행될 수 있게 한다.
본 명세서에서 제시되는 시스템들 및 방법들의 실시형태들 및 애플리케이션들이 아래에서 설명되는바, 예시적 실시예들에 관한 상세한 설명 및 도면들에서 설명된다.
본 발명의 더 완벽한 이해는 다음의 예시적 도면들과 연계되어 고려되는 경우 본 명세서의 상세한 설명을 참조함으로써 이루어질 수 있다. 도면들에서, 동일한-참조 번호들은 도면들 전반에 걸쳐 동일한-요소들 혹은 동작들을 나타낸다. 본 발명의 예시적 실시예들이 첨부 도면들에서 예시된다.
도 1a 내지 도 1e는 2개-중-1개 선택(l-of-2 selection)을 빠르게 수행하기 위해 "갭 효과"를 이용하는 것을 포함하는 일련의 안구 움직임들을 예시한다.
도 2a 및 도 2b는 안구 신호들 및 뷰잉된 손가락에 근거하는 사용자 선택의 활성화를 보여준다.
도 3은 도약(saccade)들, 미세-도약(micro-saccade)들, 완곡 추종 안구 움직임(smooth pursuit eye movement)들, 및 정착(fixation)들의 분류(classification)를 예시하는 흐름도이다.
도 4는 이향 운동(vergence) 및 전정-안근(vestibulo-ocular) 안구 움직임들의 분류를 예시하는 흐름도이다.
도 5는 이미지를 뷰잉하기 위해 팬(pan) 및 줌(zoom) 기능을 실행하는 안구-신호 메뉴의 예이다.
도 6은 안구-신호 메인(main)(즉, 최상위-레벨(top-level)) 메뉴(menu)를 보여준다.
도 7은 더 낮은 해상도 응시 추적을 요구하는 안구-신호 메인 메뉴의 대안적 형태를 보여준다.
도 8은 사용자 e-메일(e-mail)을 뷰잉하고 사용자 e-메일에 응답하는데 사용되는 안구-신호 서브메뉴(submenu)의 예를 보여준다.
도 9는 안구-신호 데이터 입력을 위해 설계된 숫자 키패드(numeric keypad)이다.
도 10은 텍스트(text)의 페이지(page)들을 뷰잉하는 것에 관한 안구-신호 제어를 예시하는 일련의 스크린샷(screenshot)이다.
도 11은 2개-중-1개 안구 선택을 수행하기 위해 사용되는 임의의 디스플레이되는 객체(즉, 소위 "추종 객체(pursuit object)")의 시간적 시퀀스를 예시한다.
도 12a 내지 도 12h는 N개-중-1개 안구 선택을 수행하기 위해 사용될 수 있는 디스플레이되는 객체들의 예들을 보여주며, 여기서 N = 2, 3, 4, 또는 5이다.
도 13a 내지 도 13e는 4개-중-1개 안구 선택을 수행하기 위해 사용될 수 있는 상이한 그래픽 설계들 및 원리들의 예들을 예시한다.
도 14a 및 도 14b는 안구-신호 언어를 사용하여 텍스트를 스크롤링(scrolling)하기 위해 사용되는 스크린샷들 및 오버레이(overlay)들을 예시한다.
도 15a 내지 도 15c는 맵(map)의 뷰잉 동안 안구-신호 다중-레벨 메뉴 선택의 예들을 보여준다.
도 16은 안구 신호들에 근거하여 동작들을 수행하는 단계들의 흐름도이다.
도 17은 안구-신호 언어를 사용하여 "실제 세계(real world)" 객체들에 대한 보충 정보를 검색 및 디스플레이하는 단계들의 흐름도이다.
도 18은 이미지 획득 레이트(image acquisition rate)들의 프레임별 제어(frame-by-frame control)에 대한 타이밍 고려들 중 일부를 예시한다.
도 19a 및 도 19b는 투영된 안구 움직임들에 근거하는 관심이-있는-영역(region-of-interest) 제어를 보여준다.
도 20은 디바이스 사용자가 도약적 안구 움직임 동안 블라인드 상태에 있는 경우 투명도를 급속히 변경시킴으로써 객체를 도입하는 것을 예시한다.
도 21은 디바이스 사용자가 도약적 안구 움직임 동안 블라인드 상태에 있는 경우 투명도를 점진적으로 변경시킴으로써 객체를 도입하는 것을 예시한다.
도 22는 밝기(brightness)를 느리게 변경시킴으로써 객체를 도입하는 것을 예시한다.
도 23은 디바이스 사용자가 복수의 도약적 안구 움직임들 동안 블라인드 상태에 있는 경우 투명도를 변경시킴으로써 객체를 도입하는 것을 예시한다.
도 24는 사용자 의도를 결정하는 신경망(neural net)으로의 입력으로서의 시-계열 위치 데이터(time-series positional data)의 제어를 보여준다.
도 25는 세그먼트(segment)화된 신경망의 예를 보여주며, 여기서 초기 은닉 계층(hidden layer)들은 안구-신호 언어 메뉴들 각각을 개별적으로 처리하기 위해 분할된다.
도 26a 내지 도 26g는 일련의 샘플링된 안구 위치들을 일련의 안구 움직임들로 변환(transform)하는 단계들을 예시한다.
도 27은 시-계열 안구 움직임들을 의도를 포함하는 사용자 상태들로 변환할 수 있는 신경망 아키텍처(neural network architecture)를 예시한다.
도 1a 내지 도 1e는 2개-중-1개 선택(l-of-2 selection)을 빠르게 수행하기 위해 "갭 효과"를 이용하는 것을 포함하는 일련의 안구 움직임들을 예시한다.
도 2a 및 도 2b는 안구 신호들 및 뷰잉된 손가락에 근거하는 사용자 선택의 활성화를 보여준다.
도 3은 도약(saccade)들, 미세-도약(micro-saccade)들, 완곡 추종 안구 움직임(smooth pursuit eye movement)들, 및 정착(fixation)들의 분류(classification)를 예시하는 흐름도이다.
도 4는 이향 운동(vergence) 및 전정-안근(vestibulo-ocular) 안구 움직임들의 분류를 예시하는 흐름도이다.
도 5는 이미지를 뷰잉하기 위해 팬(pan) 및 줌(zoom) 기능을 실행하는 안구-신호 메뉴의 예이다.
도 6은 안구-신호 메인(main)(즉, 최상위-레벨(top-level)) 메뉴(menu)를 보여준다.
도 7은 더 낮은 해상도 응시 추적을 요구하는 안구-신호 메인 메뉴의 대안적 형태를 보여준다.
도 8은 사용자 e-메일(e-mail)을 뷰잉하고 사용자 e-메일에 응답하는데 사용되는 안구-신호 서브메뉴(submenu)의 예를 보여준다.
도 9는 안구-신호 데이터 입력을 위해 설계된 숫자 키패드(numeric keypad)이다.
도 10은 텍스트(text)의 페이지(page)들을 뷰잉하는 것에 관한 안구-신호 제어를 예시하는 일련의 스크린샷(screenshot)이다.
도 11은 2개-중-1개 안구 선택을 수행하기 위해 사용되는 임의의 디스플레이되는 객체(즉, 소위 "추종 객체(pursuit object)")의 시간적 시퀀스를 예시한다.
도 12a 내지 도 12h는 N개-중-1개 안구 선택을 수행하기 위해 사용될 수 있는 디스플레이되는 객체들의 예들을 보여주며, 여기서 N = 2, 3, 4, 또는 5이다.
도 13a 내지 도 13e는 4개-중-1개 안구 선택을 수행하기 위해 사용될 수 있는 상이한 그래픽 설계들 및 원리들의 예들을 예시한다.
도 14a 및 도 14b는 안구-신호 언어를 사용하여 텍스트를 스크롤링(scrolling)하기 위해 사용되는 스크린샷들 및 오버레이(overlay)들을 예시한다.
도 15a 내지 도 15c는 맵(map)의 뷰잉 동안 안구-신호 다중-레벨 메뉴 선택의 예들을 보여준다.
도 16은 안구 신호들에 근거하여 동작들을 수행하는 단계들의 흐름도이다.
도 17은 안구-신호 언어를 사용하여 "실제 세계(real world)" 객체들에 대한 보충 정보를 검색 및 디스플레이하는 단계들의 흐름도이다.
도 18은 이미지 획득 레이트(image acquisition rate)들의 프레임별 제어(frame-by-frame control)에 대한 타이밍 고려들 중 일부를 예시한다.
도 19a 및 도 19b는 투영된 안구 움직임들에 근거하는 관심이-있는-영역(region-of-interest) 제어를 보여준다.
도 20은 디바이스 사용자가 도약적 안구 움직임 동안 블라인드 상태에 있는 경우 투명도를 급속히 변경시킴으로써 객체를 도입하는 것을 예시한다.
도 21은 디바이스 사용자가 도약적 안구 움직임 동안 블라인드 상태에 있는 경우 투명도를 점진적으로 변경시킴으로써 객체를 도입하는 것을 예시한다.
도 22는 밝기(brightness)를 느리게 변경시킴으로써 객체를 도입하는 것을 예시한다.
도 23은 디바이스 사용자가 복수의 도약적 안구 움직임들 동안 블라인드 상태에 있는 경우 투명도를 변경시킴으로써 객체를 도입하는 것을 예시한다.
도 24는 사용자 의도를 결정하는 신경망(neural net)으로의 입력으로서의 시-계열 위치 데이터(time-series positional data)의 제어를 보여준다.
도 25는 세그먼트(segment)화된 신경망의 예를 보여주며, 여기서 초기 은닉 계층(hidden layer)들은 안구-신호 언어 메뉴들 각각을 개별적으로 처리하기 위해 분할된다.
도 26a 내지 도 26g는 일련의 샘플링된 안구 위치들을 일련의 안구 움직임들로 변환(transform)하는 단계들을 예시한다.
도 27은 시-계열 안구 움직임들을 의도를 포함하는 사용자 상태들로 변환할 수 있는 신경망 아키텍처(neural network architecture)를 예시한다.
다음의 설명에서, 그리고 설명 목적으로, 수많은 특정 세부사항들이 예시적 실시예들의 다양한 실시형태들의 충분한 이해를 제공하기 위해 설명된다. 그러나, 관련 기술분야에서 숙련된 자들은 본 명세서에서의 장치들, 시스템들, 및 방법들이 이러한 특정 세부사항들 없이도 실시될 수 있음을 이해할 것이다. 다른 실시예들이 이용될 수 있음, 그리고 본 명세서에서의 장치들, 시스템들, 및 방법들의 범위로부터 벗어남이 없이 구조적 및 기능적 변경들이 행해질 수 있음을 이해해야 한다. 다른 경우들에서, 알려진 구조들 및 디바이스들이 예시적 실시예들을 모호하게 하는 것을 피하기 위해 더 일반적으로 보여지거나 혹은 논의된다. 다수의 경우들에서, 동작에 관한 설명은 당업자로 하여금 다양한 형태를 구현할 수 있게 하면 충분하며, 특히 동작이 소프트웨어로 구현돼야 하는 경우 그러하다. 논의되는 실시예들이 적용될 수 있는 다수의 상이한 대안적 구성들, 디바이스들, 및 기술들이 존재함에 유의해야 한다. 실시예들의 전체 범위는 아래에서 설명되는 예들로만 한정되지 않는다.
예시되는 실시예들의 다음의 예들에서는, 첨부되는 도면들이 참조되는데, 이들 도면들은 본 명세서의 일부를 형성하고, 도면들에서는 예시적 목적으로 다양한 실시예들이 제시된다.
한쪽 안구 혹은 양쪽 안구들의 움직임들에 실질적으로 근거하여 디바이스 착용자의 의도를 실질적으로 연속하여 파악하기 위한 시스템들 및 방법들이 제공된다. 본 명세서에서의 시스템들 및 방법들의 하나의 실시형태는 안구 움직임들의 해부학적 현상 및 생리학적 현상을 특정적으로 고려하고 있고, 뿐만 아니라 시계 내의 장면들을 프로세싱하고 이러한 장면들에 응답하는 중추 신경계(central nervous system)(여기에는 두뇌(brain)가 포함됨) 내의 다양한 경로들에서 시각적 정보를 핸들링(handling)하는 것을 특정적으로 고려하고 있다.
디바이스 실시형태들 및 사례들(DEVICE ASPECTS AND EXAMPLES)
디바이스의 예로서, 임의의 장치가 한쪽 안구 혹은 양쪽 안구들을 뷰잉하기 위해 헤드웨어 상에 장착되거나 혹은 눈에 거슬리지 않게 떨어져 배치될 수 있다. 장치는 또한, 예를 들어, 일반적인 안경 프레임들 내에 구현될 수 있거나 일반적인 안경 프레임들에 부착될 수 있으며, 또는 소위 착용가능 컴퓨팅 디바이스들(예컨대, 구글 글래스(Google Glass®)(구글 인크.(Google Inc.))로서 알려진 것들) 혹은 원격 안구 추적 디바이스들(예컨대, 센소모토릭 인스트루먼츠(SensoMotoric Instruments, SMI)에 의해 생산되는 것들) 내에 구현될 수 있다. 추가적으로 혹은 대안적으로, 안구-움직임을 추적하기 위한 장치는 콘택트 렌즈들 내에 포함될 수 있거나, 혹은 콘택트 렌즈들과 결합되어 동작될 수 있다. 더욱이, 장치는 안구, 안구-구멍 내에 이식될 수 있거나, 혹은 움직임을 추적하기 위해 시신경 및/또는 근육들에 부착될 수 있다.
추가적인 예들로서, 장치는 스마트 폰, 태블릿, 컴퓨터, 스마트 와치(smart watch), 혹은 임의의 다른 원격 객체 혹은 위치(여기에는 컴퓨터들, 디스플레이들, 자동차 대시보드들, 사이니지, 혹은 다른 사람들에 의해 착용된 착용가능 디바이스들이 포함됨) 내에 구현될 수 있다. 이러한 경우들에서, 안구들의 이미지화는 일반적으로 헤드-장착 착용가능 디바이스(head-mounted wearable device)들과 비교하여 안구들로부터 더 먼 거리들에서 수행된다. 하나 이상의 카메라들 혹은 감지 디바이스들은 사용자가 디바이스의 일반적인 방향(general direction)을 보고 있을 때에 이러한 거리들로부터 안구 움직임들을 모니터링하기 위해 사용된다.
착용가능한 그리고/또는 원격지에 위치하는 디바이스들은 일반적으로 보안 통신(secure communication)들을 요구하는데, 특히 전송이 어떤 개인적 형태, 재정적 형태, 법적 형태, 그리고/또는 가치가 높은 정보의 다른 형태들을 포함할 수 있는 경우 그러하다.
추가적인 예들에서, 조명 및 안구의 이미지들의 획득은 다양한 웨이브가이드(waveguide) 기법들에 의해 제어될 수 있다. 보다 구체적으로, 스위칭가능 브래그 격자(Switchable Bragg Grating, SBG)들(예컨대, 디지렌즈 인크.(Digilens Inc.)에 의해 생산되는 것들), 전기적으로-스위칭가능한 액정 격자들, 표면 요철 격자(Surface Relief Grating, SRG)들, 스위칭가능 웨이브가이드 디스플레이(switchable waveguide display)들, 혹은 MEMS-기반 미러(즉, 빔 스티어링(beam steering)) 디바이스들은 광이 안구를 향해 지향됨에 따라 광의 발원지(origin)의 위치를 제어하기 위해 사용될 수 있고 그리고/또는 역으로 안구로부터 수집된 광을 공간적으로 선택하기 위해 사용될 수 있다. 이러한 경우에, 감소된 개수의 조명 소스(여기에는 단일 소스(예를 들어, 발광 다이오드(Light-Emitting Diode, LED))가 포함됨) 및/또는 검출기들(여기에는 단일 검출기(예를 들어, 광다이오드)가 포함됨)이 조명을 위해 그리고/또는 이미지들을 획득하기 위해 사용될 수 있다. 조명 소스들은 비-간섭성(non-coherent)(예를 들어, LED)일 수 있거나, 혹은 간섭성(coherent)일 수 있으며, 여기에는 (안구 안전을 위한) 초-저-전력 다이오드 레이저들이 포함된다. 공간적 해상도(spatial resolution)는 전자적으로 선택적인 웨이브가이드(예를 들어, SBG, SRG, 액체, 결정(crystal), MEMS 미러)에 의해 제공될 수 있다. 조명 및 이미지 캡처는 추가적으로 혹은 대안적으로, 소위 "핫 미러들", 프라운호퍼 렌즈들, 마이크로-렌즈 어레이(micro-lens array)들, 웨이브가이드 결합기들, 내부 전반사(Total Internal Reflection, TIR) 홀로그래픽 웨이브가이드들, 및/또는 홀로그래픽 렌즈들 혹은 다른 광학 컴포넌트들의 반사들 혹은 굴절들을 포함한다.
시스템의 실시형태들은 안구 신호 "언어"를 포함할 수 있으며, 여기서 안구 신호 "언어"는 시각령의 인지 특성들뿐만 아니라 안구의 해부학적 현상 및 생리학적 현상을 고려하는 안구 움직임들의 세트들을 포함한다. 보통의 일상적 활동들 동안, 안구들은 이들이 자발적 및 비자발적 활동들 양쪽 모두를 수행함에 따라 추적될 수 있다. 이러한 실시예들의 하나의 실시형태는 사용자의 안구들이 일상적으로 움직임들의 양쪽 타입들을 모두 수행함에 따라 사용자의 의도를 파악하는 것이다. 이것은 의도를 전달하기 위해 사용되는 자발적 움직임들을 비자발적 안구 움직임들로부터 구분하는 것을 수반한다.
자발적 움직임들은 보통의 일상적 활동들을 수행하는 것과 관련될 수 있거나, 혹은 자발적 움직임들은 안구 신호 "언어"에 근거하여 목적을 갖는 의도를 전달하기 위해 사용될 수 있다. 따라서, 알고리즘 "필터(filter)들" 및/또는 다른 프로그래밍 접근법들이 한쪽 안구 혹은 양쪽 안구들의 비디오 이미지들에 근거하여 의도를 파악하기 위해 사용된다. 알고리즘들은 소프트웨어로 인코딩될 수 있거나, 펌웨어로 인코딩될 수 있거나, 실리콘-기반 로직 디바이스들 내에 내장될 수 있거나, 혹은 이러한 접근법들의 조합들일 수 있다. 프로세싱은 또한, 로컬로 수행될 있거나, 원격으로 수행될 수 있거나, 혹은 이러한 접근법들의 조합들일 수 있으며, 여기에는 소위 "클라우드 컴퓨팅(cloud computing)"이 포함된다.
목적을 갖는 의도를 전달할 수 있는 자발적 움직임들은, (안구의 생리학적 현상에 근거하는) 탄도학적 프로파일(ballistic profile)들 및 각속도(angular velocity)들의 잘-정의된 범위를 갖는 도약(saccade)들, 관측자로부터 상이한 거리들에서 뷰잉을 행하기 위해 사용되는 이향 운동 움직임(vergence movement)들, 머리 움직임과 관련되어 있는 전정-안근 안구 움직임(vestibulo-ocular eye movement)들, 그리고 특정된 (실제 혹은 가상의) 객체들을 추종하기 위해 사용되는 완곡 추종 움직임(smooth pursuit movement)들을 포함한다. 사용자 의도를 결정하기 위한 추가적인 정보는 다른 인자(factor)들로부터 결정될 수 있는데, 예를 들어, 동공 팽창, 렌즈 조절(lens accommodation), 눈꺼풀 모션(eye lid motion), 안면 근육 움직임, 신체 및 머리 모션, 손 모션(hand motion), 그리고 관련 맥락 정보(contextual information)로부터 결정될 수 있다.
다른 실시형태들에서, 안구 신호 "언어" 및 관련된 시각적 디스플레이들은 안구 신호들이 더 직관적이 되도록 하는 컴포넌트들 그리고/또는 의도를 전달하는 사용자의 능력을 촉진시키는 컴포넌트들을 포함할 수 있다. 예를 들어, 안구 신호 "언어"는 의도된 활성화 시퀀스들을 빠르게 전달하기 위해 기억-유도 도약들을 사용할 수 있다. 유사하게, 소위 (시계로부터 하나 이상의 객체들을 제거하는 것을 포함하는) "갭 효과"는 객체를 지각하기 위해 요구되는 인지 프로세싱의 양을 감소시키는데 사용될 수 있고 이에 따라 다른 타겟들을 향한 더 빠른 움직임들(즉, 다른 의도를 전달하는 것)을 위해 안구를 "해방"시키는데 사용될 수 있다.
또 다른 실시형태들에서, 특히 타겟이 안구 신호 동작에 대한 목적지인 경우, 이미지 또는 이전에 뷰잉된 객체의 "썸네일" 또는 스크린의 영역이 예를 들어, 타겟 목적지에서 디스플레이될 수 있다. 이러한 썸네일을 갖는 최근의 "친숙함(familiarity)"(시각령 내에서의 인식의 특정 형태)은 객체를 인식하기 위한 인지 부하 및 시간을 감소시키고, 이것은 디바이스 사용자가 후속 동작으로 더 빠르게 변이할 수 있게 한다. 최근에 뷰잉된 객체의 복제(copy) 혹은 닮은 형태(likeness)의 제시, 특히 객체로부터의 도약 이후 정착 동안의 이러한 제시는 또한, 의도를 확정시키는데, 이것은 불안감(anxiety)을 감소시키고, 그리고/또는 사용자의 의도로부터 획득되는 더 만족스러운 그리고 유효한 결과를 가능하게 한다.
또 다른 실시형태들에서, 안구 신호 "언어"와 관련된 디스플레이 혹은 디스플레이들은, 가능성 높은 의도된 타겟 위치들을 향해 안구 움직임을 유인하기 위한 단계, 또는 역으로 주의를 끌지 않도록 설계된 방법들을 사용하여 타겟들을 도입하는 단계를 포함할 수 있다. 이러한 전략의 기반이 되는 것은, 임의의 구역이 컬러 혹은 텍스처(texture)에서 균질인 것으로 나타나는 곳과 같이 관측할 것이 아무것도 없는 위치들을 추적하거나 안구들을 지향시키는 것이 생리학적으로 불편할 수 있고 종종 (특화된 훈련 없이는) 생리학적으로 불가능하다는 사실이다. 따라서, 특정 안구 움직임 시퀀스에서의 타겟들은 주의를 끌도록 설계되는 방식으로 도입될 수 있다. 역으로, 선택을 위해 이용가능할 필요가 있는, 하지만 일반적으로 덜 사용되는 혹은 다수의 가능한 선택들 중 하나인, 타겟은 주의를 끌지 않는 방법들을 사용하여 도입될 수 있다.
다른 실시형태들에서, 안구 신호 "언어"의 일부분인 타겟들은 비자발적 혹은 비의도된 안구 움직임들을 유발하지 않는 방식으로 디스플레이 내에 도입될 인간 시각계(human visual system)의 인지 특성(cognitive property)들을 사용할 수 있다. 이것은 사용자로 하여금 새로운 잠재적 타겟들이 도입됨에 따라 이들을 향해 비자발적 혹은 비의도적 안구 움직임들 때문에 일어나는 "비고의적 활성화들"(즉, 결과적으로 우발적 동작들을 일으키는 안구 움직임들) 없이 계획적으로 의도를 전달할 수 있게 한다. 예를 들어, 주변 시계 내에서 변화들을 세부적으로 파악하는 것은 인지적으로 어렵고, 반면 배경에 대비된 물체의 움직임 혹은 휘도에서의 큰 변화들은 안구 "주의(attention)"를 끄는 경향이 있다. 따라서 주변 시계 내에서의 타겟 세부사항은 주의를 끌지 않으면서 변경될 수 있다. "변화 맹시"로서 알려진 프로세스에서, 만약 변화들이 느리게 도입된다면 혹은 관측자가 보고 있지 않을 때(즉, 관측자가 "블라인드" 상태에 있을 때) 도입된다면, (주의를 끄는) 시각적 변화들을 파악하는 것은 또한 어렵다. 따라서, 다른 실시예들에서, 새로운 타겟들이 도입될 수 있는데, 느리게 도입될 수 있거나 혹은 관측자가 "블라인드" 상태에 있는 시간 동안, 예컨대 도약적 안구 움직임의 급속히 빠른 부분 동안 도입될 수 있다.
역으로, 다른 예들에서 바람직한 경우, 그래픽들이 사용자에게 시각적으로 "호소"하는 경우 주의를 끄는 기법들을 사용하여 새로운 타겟이 도입될 수 있다. 이것은 게이밍 환경들에서 사용자의 시각적 주의를 유도하는 것, 사용자의 안구를 (유료) 광고를 향해 리디렉팅시키는 것, 또는 키 방법들 혹은 절차들에 대한 지향된 노출을 통해 가르치는 것을 포함할 수 있다.
추가적인 예들에서, 시스템들은 디바이스 착용자의 양쪽 안구들의 위치를 동시에 측정하는 쌍안 디바이스를 포함할 수 있다. 양쪽 안구들로부터의 측정들은 관측자로부터 상이한 거리들에서 장면의 단일, 쌍안 뷰잉을 유지하기 위해 안구 이향 운동 혹은 반대 방향들에서의 양쪽 안구들의 움직임을 결정하는데 사용될 수 있다. 안구들은 가까이 있는 객체들을 뷰잉하기 위해 서로를 향하여 회전한다(즉, 수렴(converge)). 역으로, 안구들은 더 멀리 있는 객체들을 뷰잉하기 위해 서로로부터 벗어나는 방향으로 회전한다(즉, 발산(diverge)).
이향 운동 움직임들이 도약적 움직임들보다 훨씬 더 느리지만(즉, 최대 25o/초(sec)의 각속도들로 한정됨), 이들은 뷰잉되는 물체의 관측자로부터의 거리를 결정 및 추적하는데 사용될 수 있다. 수평 뷰잉 방향(즉, X 차원) 및 수직 뷰잉 방향(즉, Y 차원)과 관측자로부터의 이향 운동-기반 거리(즉, Z 차원)의 결합은 뷰잉되는 객체들의 3-차원(3D) 결정을 가능하게 한다. 뷰잉되는 실제 혹은 가상의 객체들의 (X, Y, Z) 결정은 안구-신호 생성 및/또는 객체 선택 동안 3-차원 선택을 가능하게 한다. 예를 들어, 안구 신호들은 가까운 곳을 자발적으로 보는 것(즉, 소위 자신의 안구들을 "크로싱(crossing)"하는 것)을 포함할 수 있다. 객체 선택들이 제시될 수 있고, 후속적으로 디바이스 착용자로부터 상이한 거리들에서 나타나는 복수의 2-차원 디스플레이 평면들을 통해 선택될 수 있다.
추가적인 예시적 실시형태들에서, 안구 신호 "언어"는 특정 안구 신호 혹은 안구 신호들의 시퀀스의 맥락에 근거하고 있는 안구 움직임 컴포넌트들을 포함하거나 혹은 배제할 수 있다. 예를 들어, 특정 동작과 관련될 수 있는 객체들의 수집을 특정하기 위해 "연속적인 활성화(continuous activation)" 상태가 사용될 수 있다. "연속적인 활성화" 동안, 관심이 있는 객체들은 시퀀스에서 간단히 보여질 수 있는데, 이것은 각각의 객체가 동작의 어떤 형태의 대상(subject)임을 표시하거나 "활성화"시키는 특정 안구 움직임들을 수행하는 것과는 대조적인 것이다.
추가적인 실시형태들에서, 안구 신호들은 사용자 의도를 전달하기 위해 다른 양상들과 결합될 수 있다. 예를 들어, 안구 신호들은 안구 신호 "언어"의 컴포넌트로서 자발적 머리 움직임(예를 들어, 머리를 끄덕이는 것)과 결합될 수 있다. 머리 움직임들은 검출될 수 있는데, 예를 들어, 가속도계를 사용하여 결정될 수 있거나, 혹은 외부를 향하는 카메라에서 전체 장면의 움직임을 검출함으로써 검출될 수 있다. 이러한 양상에서, 자발적인 안구 움직임들은 종종 자발적인 머리 움직임들과 관련된다(즉, 소위 전정-안근 안구 움직임들). 따라서, 머리 움직임에 반대되는 방향에서 반사적으로(reflexively)으로 일어나는 전정-안근 안구 움직임들은 자발적 머리 움직임들 동안 안구 신호 제어들 내에 포함될 수 있다. 안구 신호 언어와 결합될 수 있는 다른 양상들은 손 제스처, 다른 신체 부분들에 의한 움직임들, 음성, 스위치 활성화, 안면 표현들 등을 포함한다.
또 하나의 다른 실시형태들에서, 추적되는 안구 움직임들 및 기하학적 구조들은 연속적인 방식으로 개체의 생리학적 및/또는 감정적 상태들을 파악하기 위해 사용될 수 있다. 예를 들어, 동공 팽창의 정도가 감정적 상태들, 예컨대 두려움, 관심, 혹은 인지 부하를 파악하기 위해 사용될 수 있다. 안티-도약적 움직임들은 혐오스러운 무엇인가를 뷰잉하는 표시일 수 있다. 사용자에 의해 뷰잉되는 실제 혹은 가상의 객체들에 대한 정보와 결합되는 경우, 예를 들어, 공포, 끌림, 혹은 관심을 유발하는 객체들의 종류(class)들의 표시가 파악될 수 있다. 이러한 정보는 예를 들어, 정보의 후속 디스플레이들을 재단(tailor)하는데 사용될 수 있다.
다른 실시형태들에서, 수행되고 있는 활동들의 특정 타입들을 파악하기 위해 안구들의 정형화된 움직임 패턴들이 사용될 수 있다. 예를 들어, 읽는 프로세스가 수행되고 있음을 결정하기 위해 타이밍, 방향들, 및 도약의 시퀀스, 및 안구 움직임들의 다른 형태들이 사용될 수 있다. 이러한 정형화된 안구 움직임들의 존재를 결정하는 알고리즘 필터들은, 예를 들어, 후속적으로 디스플레이 콘텐츠를 제어하는데 사용될 수 있고(예를 들어, 페이지 넘기기), 안구 신호 언어 요소들에 대한 맥락을 제공할 수 있고, 그리고/또는 특정 콘텐츠(예를 들어, 체크리스트)가 뷰잉 및/또는 판독되었음을 생성하고 보관 기록(archival record)할 수 있다.
또 하나의 다른 예들에서, 디바이스 착용자는 특정 리스트, 규정된 시퀀스, 혹은 체크리스트 내의 모든 단계들이 조사(sruvey)되는 것을 보장하도록 강제(force)될 수 있다. 객체 인식은, 디바이스 착용자의 환경 내에서 특정 위치들(예를 들어, 관측가능한 사이니지, QR(즉, 퀵 리스판스(Quick Response)) 코드들, 바코드, 고유한 형상의 객체들에 의해 표시되는 것) 혹은 객체들(예를 들어, 밸브들, 도어들, 스위치들, 조명들, 표시자들)의 상태를 식별하는데 사용될 수 있다. 식별된 객체들 혹은 동작들은 지리적-위치가 결정될 수 있고, 타임-스탬핑될 수 있고, 주석이 달릴 수 있고, 그리고/또는 보관될 수 있다.
체크리스트 내의 특정 시퀀스가 준수(adhere)되었음을 보장하는 것은 "절차적 준수(procedural adherence)"로서 지칭된다. 체크리스트 내의 특정 객체 혹은 단계의 인식의 부족(lack)은 정정 동작(corrective action)들을 강제하는데 사용될 수 있다. 절차적 준수는 소방관들, 최초 대응자(first responder)들, 군인들, 경찰, 조종사들, 안전 검사관(safety inspector)들, 석유 굴착 감독관(oil rig supervisor)들, 건물 검사관(building inspector)들 및 기계공들과 같은 분야(discipline)들에서 특히 중요합니다. 응시 활동의 정확한 시퀀스들 및 패턴들은 또한 훈련(training), 법적 검증(legal verification), 경찰 법의학(police forensics), 사용자 상태, 절차적 최적화 등의 목적으로 보관될 수 있다.
다른 예들에서, 가변 비디오 프레임 레이트들이 안구 움직임들에 근거하여 콘텐츠를 디스플레이하기 위해 사용될 수 있다. 예를 들어, 급속히 빠른 도약적 안구 움직임의 중심 부분 동안 관측자가 기능적으로 "블라인드" 상태에 있는 것은 잘-수용(well-accept)된다. 따라서, 이러한 시간 동안 정보를 디스플레이하기 위한 어떠한 유용한 목적의 서비스도 행해지지 않을 수 있다. 이러한 기간들 동안, 전력 및 컴퓨터연산 리소스들을 보존하기 위해 디스플레이 업데이트(display updating)는 중지될 수 있으며, 또는 "변화 맹시"의 생리학적 원리들을 사용하여 주의를 끌지 않으면서 새로운 가상의 객체들이 도입될 수 있다.
반면, 도약의 개시 동안, 도약의 도달 존(landing zone)을 예상하기 위해 높은 프레임 레이트가 요구될 수 있다. 이것은 예를 들어, 문법적 요소들은, 빠르게(즉, 타겟 요소를 지각하는 것조차 할 필요없이) 활성화시키는 것, 그리고/또는 정정 도약들을 제거하기 위해 디스플레이로부터 타겟 요소를 제거하는 것, 그리고/또는 소위 "갭 효과"를 사용하여 새로운 타겟이 더 빠르게 선택될 수 있게 하는 것을 수행하는데 사용될 수 있다.
유사한 설명을 따르면, 그리고 추가적인 실시형태들에서, 안구 움직임들은 카메라 및 다른 프로세싱 리소스들에 관한 "관심이-있는-영역(region-of-interest)" 제어를 수행하기 위해 사용될 수 있다. 예를 들어, 도약들 동안, 안구 움직임들은 "탄도학적(ballistic)" 움직임들이다. 달리 말하면, 도약이 "도달"하는 위치 및 시간은 도약적 론칭 동안의 측정들에 근거하여 계산될 수 있다. 만약 카메라가 도약 동안 턴오프(turn off)되고 안구가 도달하는 시간에 다시 턴온(turn on)된다면 전력 및 컴퓨팅 리소스들은 보존될 수 있다. 추가적으로, (카메라의 전체 시계와 대조하여) 안구가 도달할 것으로 예상되는 영역만이 하나 이상의 안구-뷰잉 카메라(eye-viewing camera)들에 의해 초기에 감지될 필요가 있다.
유사하게, 완곡 추종 안구 움직임들이 각속도들의 생리학적으로 한정된 범위에 걸쳐 일어난다. 완곡 추종들 및 다른 안구 움직임들을 추적하는 경우, 관심이-있는-영역들을 생물학적으로(biologically)으로 실현가능한 영역들로 제한하기 위해 생리학적 한계들이 사용될 수 있다. 관심이-있는-영역 제어는 (예를 들어, ASIC(즉, 애플리케이션-특정 집적 회로(Application-Specific Integrated Circuit) 혹은 FPGA(즉, 현장-프로그래밍가능 게이트 어레이(Field-Programmable Gate Array) 내에서) 분산형 및/또는 전용 프로세싱 리소스들을 사용하는 급속히 빠른 계산들을 통해 구현되는 경우 특히 효과적이다. ASIC 혹은 FPGA의 급속히 빠른 컴퓨터연산 능력들은 최대 프레임별 기반에 이르는 레이트들에서 관심이-있는-영역(및 프레임-레이트) 제어를 가능하게 할 수 있다.
다른 실시형태들에서, 전용 안구 추적과 관련된 프로세스들은 안구들이 디스플레이에 지향되지 않는 경우 혹은 어떠한 상호작용가능 객체들을 향해 지향되지 않은 경우 감소될 수 있거나, 또는 일시적으로 제거될 수 있다. 이러한 기법들은 전력 및 다른 리소스들을 감소시키는데 사용될 수 있고, 그리고 안전을 강화하는데 사용될 수 있다.
다른 예들에서, 의도를 파악하기 위해 사용자의 안구를 사용하여 객체들을 추적하는 경우, 추적되는 객체들은, 디바이스 사용자의 환경 내에 있는 실제 객체들, 하나 이상의 착용가능한 혹은 원격의 디스플레이 디바이스 상에 디스플레이되는 가상의 객체들, 또는 실제 객체들과 가상의 객체들의 조합일 수 있으며, 여기에는 실제 세계와 가상의 세계 간의 디스플레이 디바이스들에서의 실질적으로 연속적인 변이들이 포함된다. 이것은 증강 현실 디스플레이들의 투명도 혹은 휘도를 제어함으로써, 또는 객체의 크기, 형상, 컬러 및/또는 움직임을 디스플레이의 엣지(edge) 가까이에서 매칭시킴으로써 수행될 수 있다.
다른 실시형태들에서, 디바이스 사용자의 망막 중심와 뷰잉(foveal view) 내에서 하나 이상의 디스플레이들의 해상도, 콘텐츠 및/또는 다른 특성들을 제어하기 위해 응시 추적이 사용될 수 있다. 인간 안구의 생리학적 현상은 망막(retina)의 안쪽 표면의 폭 1.5 mm 영역 내에서 추상체 수용기(cone receptor)들에 의해 고-해상도 뷰잉(high-resolution viewing)이 수행되는 그러한 것이다. 이것은 관측자의 시계 내에서 대략 1o 내지 3o의 각도 범위에 대응한다. 응시 추적을 사용하여, 리소스들은 보존될 수 있고, 시계의 망막 중심와 영역 내의 콘텐츠에 디스플레이 리소스들을 집중시킴으로써, 정신을 산란하게 하는 콘텐츠를 피할 수 있다.
다른 예들에서, 소위 "심층 학습"을 포함하는 기계 학습 기법들은 사용자 의도를 파악하기 위해서 안구 움직임 패턴들 및 다른 입력들을 전환시키기 위해 사용될 수 있다. 심층 학습은 안구 신호 언어의 컴포넌트들로서 (앞서 설명된 바와 같이, 안구의 여섯 개의 근육들에 의해 형성되는) 안구 움직임들의 일반화된 패턴들을 인식하기 위해 사용될 수 있다. "목적을 갖는(purposeful)" 안구 패턴들을 인식하는 것에 추가하여, 안구 움직임 패턴들은 또한 디바이스 착용자의 감정적 및/또는 생리학적 상태들을 결정하기 위해 사용될 수 있다.
동일한 기계 학습 기법들은 안구 위치들을 예측 혹은 예상하고 이에 따라 사용자 디스플레이들을 조정하기 위해 사용될 수 있다. 이것은 안구 신호들의 속력을 크게 높이기 위해 사용될 수 있으며, 그리고 개별 사용자들의 해부학적 및 생리학적 능력들과 한계들에 대한 조정을 위해 사용될 수 있다.
다른 실시예들에서, 디스플레이 내에서 객체들을 제시하는 타이밍을 제어할 때 특정 디바이스 사용자의 경험 및/또는 수행이 고려될 수 있다. 사용자가 디바이스 동작에 더 친숙하게 됨에 따라, 안구 움직임들은 더 빠르게 될 수 있는데, 예를 들어, (탐색과 대비하여) 기억-유도 도약적 안구 움직임들에 더 크게 의존함으로써 안구 움직임들은 더 빠르게 될 수 있다. 따라서, 소재들을 제시하는 레이트는 자체-조정 방식으로 사용자 경험에 근거할 수 있으며, 이것은 안구 신호들이 궁극적으로 훨씬 더 빠르게 수행될 수 있게 한다.
생리학적 안구 움직임들(PHYSIOLOGICAL EYE MOVEMENTS)
안구 신호 "언어"의 기본적인 컴포넌트는 인간의 시각적 프로세싱의 해부학적 현상 및 생리학적 현상과의 명시적 통합(explicit integration)이다. 따라서, 인간 안구 움직임들의 생리학적 현상을 이해할 필요가 있다.
일반적으로 안구 움직임들의 네 개의 기본적인 타입들, 1) 전정-안근(vestibulo-ocular) 안구 움직임, 2) 이향 운동(vergence) 안구 움직임, 3) 완곡 추종(smooth pursuit) 안구 움직임, 및 4) 도약적(saccadic) 안구 움직임이 존재한다고 받아들여지고 있다. 움직임의 각각의 타입은 모션의 범위, 속도 프로파일, 양쪽 안구들이 (다른 방향(dissimilar direction) 움직임들과 대비하여) 켤레(conjugate) 움직임들인지 여부, 그리고 머리 혹은 시계가 또한 움직이는지 여부와 같은 파라미터들에 근거하여 구분될 수 있다. 안구 움직임의 각각의 타입에는 별개의 신경 회로(neural circuitry)가 관련되어 있다. 서로 다른 안구 움직임들은 서로 다른 정도의 자발적(즉, 의식적 제어) 및 비자발적(즉, 반사작용) 신경 연결 통로들과 관련된다. 안구 신호들을 파악하는 프로세스 동안, 의식적 의도를 전달하는 안구의 자발적 움직임들을 식별하는 것이 특히 중요하다.
전정-안근 움직임들은 머리 회전과 동일한 각도를 통해, 하지만 반대 방향으로, 안구를 움직임으로써 머리 움직임들을 보상한다. 이것은 안구의 민감한 고-해상도 망막 중심와 영역 상에 프로젝션된 외부 세계의 이미지를 안정화시키는 효과를 갖는다. 전정-안근 움직임들은 반고리관(semi-circular canal)들로부터의 감각 입력(sensory input)들을 갖는 급속히 빠르고 순순하게 반사작용이다. 전정-안근 움직임들이 성질상 반사작용이지만, 전정-안근 움직임들의 검출은 (특히, 다른 입력들(예를 들어, 머리와 함께 움직이는 가속도계들로부터의 입력)과 결합되는 경우) 일반적으로 자발적인 머리 움직임들의 절대적인 위치를 간접적으로 파악하기 위해 사용될 수 있다.
이향 운동 안구 움직임들은 관측자로부터 떨어진 어떤 거리에 위치하고 있는 객체를 뷰잉하기 위해서 독립적으로 각각의 안구의 망막 중심와 영역을 정렬시키기 위해 사용된다. 다른 안구 움직임들과는 달리, 이향 운동 움직임들은 비켤레적(disconjugate)이고, 여기서 각각의 안구는 서로 다른 방향으로 움직인다. 그 다음에, 결과적인 이향 운동 각도는 관측자와 관측 하에 있는 타겟 객체 간의 거리를 추정하기 위해 사용될 수 있다. 중추 신경계 내에서, 이러한 프로세스는 후두엽(occipital lobe)들과 관련되고, 뿐만 아니라 앞쪽 중간뇌 망상체(rostral midbrain reticular formation)와도 관련된다. 양쪽 안구들의 움직임들 및 위치들을 동시에 측정함으로써, 뷰어(viewer)와 관측 하에 있는 타겟 객체 간의 거리를 추정하는 것이 가능하다. 이것은 예를 들어, 디바이스 착용자가 디스플레이 상의 이미지들을 뷰잉하고 있다는 표시로서 디스플레이에 대한 이향 운동-기반 거리가 실제 거리에 대응하는지 여부를 포함할 수 있다.
완곡 추종 안구 움직임들은 움직이는 타겟 객체의 프로젝션이 안구의 고-해상도 망막 중심와 영역에 집중되도록 유지시키는 안구의 느린 자발적 움직임들이다. 따라서, 완곡 추종 움직임들의 전체 속도들은 일반적으로 관측 하에 있는 움직이는 타겟들의 속도들에 대응한다. 대부분의 개체들이 임의의 움직이는 타겟을 실제로 뷰잉함이 없이 완곡 추종 움직임들을 실행하는 것은 어렵다. 달리 말하면, 관측자에 의한 상당량의 전문적 훈련이 일어나지 않았다면, 움직이는 타겟을 단순히 추적하는 능력이 결여된 상태에서 완곡 추종을 개시하려는 시도는 결과적으로 관측자로 하여금 하나 이상의 도약적 움직임들을 수행하게 한다.
도약적 안구 움직임들은 안구의 정착 지점을 급격하게 변경시키는 급속히 빠른 움직임들이다. 도약들은 일단 개시되면 도약에 의해 커버(cover)되는 방향 및 거리가 오로지 도약적 론칭에 의해서만 지배를 받는다는 점에서 "탄도학적(ballistic)" 도약들이다. 달리 말하면, 도약적 개시 및/또는 그 실행의 시간 동안 타겟의 위치가 변경되어도 도약 동안 어떠한 중간-과정 정정들은 가능하지 않다. 도약은 인간 신체에 행해지는 가장 빠른 움직임이며, 최대 900o/초(second)의 각속도들에 이른다.
도약은 또한 그 속도 프로파일에 있어서도 "탄도학적" 도약이다. 예상치 못한 자극에 응답하여, 도약의 개시 부분은 대략 200 밀리초(milliseconds)가 소요된다. 개시는 급속히 빠른 가속도의 국면에 이르는데, 여기서 (다른 탄도학적 속도 프로파일들과 유사하게) 피크 속도(peak velocity)는 진행될 거리에 대략 비례한다. 도약의 움직임 국면은 20 밀리초에서 200 밀리초까지 지속되고, 이것은 진행되는 전체 각거리(angular distance)에 따라 달라진다. 보통은, 머리가 움직이지 않는 상태에서 유지되는 동안, 도약들은 비틀림 축(torsional axis)에서 안구를 회전시키지 않는다(즉, 소위 리스팅의 법칙(Listing's Law)). 대략 20o보다 큰 도약들은 종종 머리 움직임을 동반하는데, 하지만 이것은 개체별로 광범위하게 달라진다.
눈길(sight)의 방향이 새로운 타겟 위치 상에 도달함에 따라 급속히 빠른 감속 국면이 존재한다. 매우 짧은 지연 이후에, 큰 도약들은 종종 타겟 위치에 더 접근하기 위해 적어도 하나의 더 작은 정정 도약을 동반한다. 정정 도약들은 타겟이 사려졌어도 일어날 수 있으며, 이것은 도약적 움직임들의 프로젝션된 탄도학적 성질을 지원한다. 그러나, 정정 도약들은 타겟이 가시적 상태에서 유지된다면 더 빈번하게 일어난다.
정착 지점들의 세심한 제어에 의해, 도약적 움직임-이전 레이턴시(pre-movement saccadic latency)는 임의의 정착 지점들을 턴오프(turning off)시킴으로써 크게(절반 정도로 많이) 감소될 수 있다. 정착 지점의 턴오프는 뷰어에게 경고(alert)하는 역할을 하는 것, 그리고 정착 지점의 유지와 관련된 정신적 프로세싱(mental processing)을 감소시키는 것을 모두 행하기 위한 것으로 고려된다. 새로운 타겟 위치에 정착하기 위한 도약적 움직임 이전에 정착 지점을 턴오프시키는 것은 시각적 프로세싱에서 "갭(gap)"이 일어나게 한다. 이러한 상태는 "갭 효과"로서 알려져 있다.
80 밀리초 내지 120 밀리초의 초기 레이턴시를 갖는 신속한 도약(express saccade)들은 "갭" 상황들 동안 더 종종 일어난다. 사용자 실행 및 훈련과 함께, 타겟들 및 정착 지점들의 출현의 세심한 제어는 일련의 타겟 선택들의 최대 레이트를 크게 증가시킬 수 있다. 기억-유도 도약들이 이용될 수 있도록 타겟 위치들을 정렬하는 것은 또한 타겟 선택의 최대 레이트를 증가시킬 수 있다.
도 1a 내지 도 1e는 기본적인 "갭 효과", 뿐만 아니라 2개-중-1개 메뉴 선택 프로세스를 예시한다. 디바이스 사용자의 응시(133)는 실제 혹은 가상의 객체(130)에 지향될 수 있다. 도 1a에서 예시되는 바와 같이, 안구 신호 언어 내에서 동작의 선택의 개시는 활성화 아이콘(132)을 향해 경로(131)를 따라 안구 응시를 지향시킴으로써 일어난다. 도 1b는 이러한 경로를 따라 지향되는 안구 응시(133)를 보여준다. 그러나, 이때, 활성화 아이콘(132)은 디스플레이로부터 제거될 수 있고, 빈 공간(void)(135)이 남게 되며, 그리고 도약적 도달 위치(135)에서 관측할 것이 아무것도 없는 때인 시간에서의 "갭"이 일어난다. 이러한 "갭"은 후속 타겟을 빠르게 추종하도록 시각적 인지를 해방시킨다.
도 1b 내지 도 1e에 제시된 예에서, 두 개의 새로운 타겟들(134, 136)이 도입되는데, 이것은 디바이스 사용자로 하여금 두 개의 타겟들(134, 136) 중 하나에 응시를 지향시킴으로 2개-중-1개 선택을 또한 수행할 수 있게 한다. 별모양 아이콘(134)이 도약적 도달 위치(135) 위에 도입되고, 반대 방향에는 평행사변형 아이콘(136)이 도입된다. 도 1c에서 예시되는 바와 같이, 어떠한 객체도 존재하지 않는 위치에 안구 응시(133)가 도달하면, 안구는 두 개의 새롭게 도입된 객체들(134, 136) 중 하나의 선택을 수행하기 위해 바로 "해방"된다.
도 1d는 평행사변형 아이콘(136)을 향해 아래 방향으로 지향되는 안구 응시(33)에 의해 트리거(trigger)되는 선택을 예시한다. 선택된 타겟(136)에 도착하면(도 1e), 이러한 특정 타겟과 관련된 동작이 수행된다. 갭 효과는 안구가 이러한 활성화 및/또는 선택 시퀀스를 수행하기 위해 요구되는 전체 시간을 감소시킬 수 있다.
도약들은 또한, 1) (더 느린) 생리학적 표류(drift) 및 떨림(tremor)과 함께 정착 프로세스의 컴포넌트인 더 작은 움직임들(즉, 미세-도약들) 및 2) 외부 환경을 탐구(explore)하는데 사용되는 더 큰 도약적 움직임들로 세분화될 수 있다. 미세-도약들은 대략 0.2o보다 작은 범위에 걸쳐서는 오로지 비자발적 움직임들인데, 여기서 이들의 정확한 생리학적 역할은 논쟁의 여지가 있다. 더 큰 도약적 움직임들은 비자발적일 수 있고, 특히 개체가 깜짝 놀라는 경우 비자발적일 수 있고, 하지만 관측자가 외부 세계를 조사함에 따라 대게는 자발적 제어 하에 있다.
안구의 생리학적 표류, 떨림 및 다른 더 작은 움직임들은 디바이스 착용자의 생리학적 및 정신 상태를 파악하기 위한 컴포넌트들로서 사용될 수 있다. 이러한 움직임들은 또한 광범위한 병리학적 상태들(특히, 신경-근 질환(neuro-muscular disorder)들), 그리고 약물 및 다른 화합물들의 영향들을 결정하고 모니터링함에 있어 매우 유용하다.
도약들은 또한 이들의 개시 혹은 의도에 근거하여 범주화(categorize)될 수 있다. 1) 반사적 도약(reflexive saccade)은 주변 시각계(peripheral visual system) 내에 존재할 수 있는 외부 이벤트(event)의 출현 혹은 사라짐에 의해 트리거된다. 2) 안티-도약(anti-saccade)은 타겟 객체로부터 벗어나는 안구 움직임과 관련된다. 3) 스캐닝 도약(scanning saccade)은 외부 환경을 의식적으로 뷰잉 및 탐색하기 위한 주된 모드(primary mode)이다. 4) 기억-유도 도약(memory-guided saccade)은 개체의 안구들로 하여금 시각적 자극 없이 임의의 기억된 위치를 향해 움직일 수 있게 한다. 5) 예측적 도약(predictive saccade)들은, 시간적으로 그리고/또는 공간적으로 예측하는 방식으로 움직이고 있는 타겟을 향해 안구들이 계속 지향되게 유지하는 것을 돕는다.
자발적 스캐닝 도약, 기억-유도 도약, 및 예측적 도약은 안구 신호 언어 내에서 사용자의 의도를 파악하는 것을 돕는데 유용할 수 있다.
안구 신호들(EYE SIGNALS)
예시적 실시예에 따르면, 안구 신호들을 실질적으로 연속적으로 혹은 주기적으로 분류하기 위한 시스템들 및 방법들이 제공된다. 안구 신호들은 사용자에 의한 전달 의도에 지향된 안구들의 움직임들로 구성된다. 안구 신호들의 시퀀스들은 후속적으로 하나 이상의 스마트 디바이스들에 의해 동작들이 수행되게 할 수 있다.
안구 신호들은 또한 다른 착용자 입력 디바이스들로부터 획득되는 보조 정보(auxiliary information)에 쉽게 결합될 수 있으며, 여기서 다른 착용가능 입력 디바이스들은 예를 들어, 스위치(switch)들, 마이크로폰(microphone)들, GPS(Global Position System, 전지구 위치파악 시스템) 디바이스들, 온도계(thermometer)들, (디바이스 사용자의 환경 내에서 위치를 감지하기 위한) RFID(Radio Frequency Identification, 무선 주파수 식별)가 라벨링(labelling)된 객체들, 그리고/또는 (예컨대, 손가락 반지들, 단추들, 혹은 팔찌들 내에 매립되는) 모션 감지를 위한 가속도계들 중 하나 이상의 것과 같은 것이다. 애플리케이션들은 또한 뇌파전위기록(ElectroEncephaloGraphy, EEG), 심전도(ElectroCardioGram, ECG), 심박수(heart rate)(이것은 다양한 방법들로 감지될 수 있으며, 여기에는 맥박 산소 측정기(pulse oximeter)를 통한 감지 및 안구의 이미지들 내에서의 감지가 포함됨), 호흡 및 다른 움직임들을 모니터링하기 위한 스트레인 게이지(strain gauge)들, 다른 생체인식 기기들(biometrics), 그리고/또는 신체의 다른 영역들로부터 나오는 제스처들을 모니터링하기 위한 추가적인 카메라들 중 하나 이상의 것을 사용하여 획득되는 정보에 결합될 수 있다.
다음의 설명들은 단지 사용자의 안구들을 주로 사용하는 인간-기계 제어에 초점을 맞추고 있다. 상대적으로, 태블릿 혹은 터치 스크린을 제어하기 위해 손가락을 사용하여 발생되는 것들과 같은 그러한 제스처들은 현대 컴퓨팅 디바이스들 내에서 흔한 것이다. 오로지 손가락 제스처들만을 사용하여 다수의 컴퓨팅 디바이스들(특히, 휴대가능한 것들)을 완벽히 제어하는 것이 가능하다. 안구 신호전달과는 달리, 하나 이상의 손가락들의 움직임들은 성질상 완전히 자발적이고, 그리고 스크린을 터치하는 물리적 동작(이것은 컴퓨팅 디바이스에 의해 감지될 수 있음)은 (때때로 의도치 않는 스크린 터치들이 일어나긴 하지만) 컴퓨팅 디바이스를 제어하려는 의도를 디바이스 사용자가 표현하고 있는 명확한 표시자로서 사용될 수 있다. 대조적으로, 안구 신호들을 사용하여 컴퓨팅 디바이스를 제어하는 것은 수 가지 고유한 도전과제들을 갖는다.
1. 안구들은 끊임없이 움직이며 일상 생활의 거의 모든 면에 관한 정보를 획득한다. 특히, 안구는 디스플레이 혹은 망막 프로젝션 디바이스(retinal projection device)를 뷰잉하는 프로세스 동안 사용돼야만 한다. 의도를 파악하기 위해서는, 디스플레이를 뷰잉 및 탐구하기 위해 사용되는 조사 동작 중의 안구 움직임들은 의도적인 안구 신호들과 구분돼야만 한다.
2. 임의의 시간 동안, "아무것도 없는(nothing)"(즉, 어떠한 시각적 레퍼런스들, 엣지들, 혹은 큐들도 없는 것) 위치를 뷰잉하는 것은 어렵고 불편하다. 유사하게, 추종할 레퍼런스 객체 없이 특정 패턴 내에서 안구를 움직이는 것은 (광범위한 훈련 없이는) 어렵다. 따라서, 시계 내에서의 제어되는 움직임들과 함께 객체들 및 경계(boundary)들의 레이아웃(layout)들이 안구-신호 제어 동작들 동안 사용될 수 있다.
3. 안구의 대부분의 자발적 움직임들은, 1) 완곡 추종 혹은 2) 도약으로서 분류될 수 있으며, 여기서 도약들은 자발적 도약 혹은 비자발적 도약일 수 있다. 두뇌의 상이한 영역들이 움직임의 각각의 타입의 제어에 관련된다. 추가적으로, 안구 움직임의 각각의 타입 내에서는 변경할 수 없는 한계들이 존재한다. 예를 들어, 완곡 추종은 대략 30초의 각속도를 초과할 수 없는 객체 혹은 엣지의 추적만을 포함해야만 한다. 이러한 각속도를 초과하는 타겟 객체들을 추적하려는 시도는 결과적으로 시계 주변의 객체를 "추격(chase)"하는 복수의 짧은 도약적 움직임들이 일어나게 한다. 도약들은 최대 900o/초에 이르는 각속도들에서 생성될 수 있는데, 하지만 일단 개시되면, 타겟이 움직였거나 혹은 사라졌어도 타겟 위치를 정정하기 위한 조정들을 행할 능력이 없다. 완곡 추종 안구 움직임들과는 대조적으로, 도약들은 지각 없이 시계의 영역들에 걸쳐 지나가 버린다. 안구 신호들의 검출 동안, 완곡 추종 안구 움직임, 도약적 안구 움직임, 및 안구 움직임들의 다른 형태들을 알고리즘적으로 구분(즉, 필터링)하는 것이 특히 중요하다.
4. 망막 중심와의 영역 내에서, 안구는 디스플레이 혹은 망막 프로젝션 내에서 정교하게 미세한 세부사항을 지각할 수 있다. 사실, 보통의 조명 조건들 하에서는, 롤리 기준(Raleigh Criterion)에 근접한 해상도에서 세부사항을 파악할 수 있다. 동공 직경이 대략 삼 밀리미터라고 가정하면, 이것은 대략 0.013o의 검출을 위한 각도 해상도(angular resolution)에 대응한다. 이것은 사용자 지각을 위한 해상도보다 적어도 몇 차수(order of magnitude) 더 큰 각도 해상도 측정들을 최적의 조건들 하에서 발생시킬 수 있는 안구 응시와 관련된 안구-추적 시스템들과는 대조적인 것이다. 안구 신호들은, 지각(즉, 디스플레이 스크린 상에서 지각될 수 있는 객체들의 최소 크기)과 측정된 응시 추적 해상도(즉, 안구 신호 형성 동안 신뢰가능하게 선택될 수 있는 객체들의 최소 크기) 간의 이러한 커다란 불일치(discrepancy)를 고려해야만 한다.
이러한 도전과제들은 결과적으로, 제스처 제어의 다른 형태들과 비교하여, 안구 신호들의 효과적인 발생 및 검출을 위한 고유한 시각적 레이아웃들 및 전략들을 요구하게 된다.
반면, 손 제스처 제어의 일부 형태를 사용하는 디스플레이 표면들, 그리고 컴퓨터 마우스들, 조이스틱들, 혹은 태블릿들과 같은 디바이스들과 비교하여, 안구 신호들을 인간-기계 인터페이스(HMI) 메커니즘으로서 이용하는 것은 장점이 있다.
1. 안구를 제어하는 근육들은 인간 신체 내에서 가장 빠른 움직임들을 발생시킬 수 있다. 따라서, 전략적으로 설계된 그래픽 사용자 인터페이스들(본 명세서의 안구-신호 시스템들 및 방법들 내에서 "iUi"TM로 지칭되는 "GUI"들)을 이용하면 매우 빠른 안구-신호 제어를 할 수 있다.
2. 안구-신호 제어의 감지 컴포넌트들 및 작동 컴포넌트들은, 안구 신호 제어를 조절(coordinate)하기 위해 사용되는 생물학적 "프로세서"(즉, 두뇌)로부터 단지 짧은 거리에 위치하는 동일 기관(organ) 내에 있다(즉, 안구, 그리고 움직임을 제어하는 안구의 여섯 개의 근육들). 짧은 신경 연결 통로들은 또한 잘-설계된 iUiTM GUI로 매우 빠른 안구-신호 제어를 가능하게 한다.
3. 인간에게 있어서, 안구는 외부 환경을 감지하기 위해 사용되는 대역폭(bandwidth)이 가장 높은 기관이다. 안구 응시를 사용하여, 환경 내에서 시각화되는 실제 세계의 객체들의 위치를 정밀하게 결정하고 이들 객체들을 선택된 동작들과 관련시키는 것이 가능하다. 안구 응시-기반 선택 동안, 다른 감각 기관(sensory organ)들 혹은 주효 기관(effecter organ)들은 물리적 혹은 인지적 관점(perspective)으로부터 관련될 필요가 없다. 예를 들어, 안구 신호 동안 실제 혹은 가상의 객체를 선택하기 위해 소위 "손-안구 협응(hand-eye coordination)"이 필요없다.
4. 아이웨어(eyewear) 혹은 헤드웨어(headwear) 디바이스 내에 자체-포함되는 안구 신호 제어는 디바이스 착용자에게, 뿐만 아니라 중간 환경 내의 개체들에게도 눈에 거슬리지 않을 수 있다. 안구 신호들은 안구들 및 헤드웨어와 개별적으로 관련되는 것들 이외 다른 명백한 움직임들, 소리들, 혹은 가시적 조명들을 포함하지 않을 수 있다. 디바이스 사용자 옆에 있는 개체는 안구 신호가 이용되고 있음을 전혀 눈치채지 못할 수 있다.
안구 신호 언어(EYE SIGNAL LANGUAGE)
안구 신호 제어를 위한 패러다임(paradigm)을 설명하기 위해, 새로운 용어들에 대한 특별한 의미들을 개발하고 할당하는 것이 편리하다. 이러한 용어는 안구 신호들의 더 간결한 설명들을 가능하게 하고, 그리고 특히 안구의 신경 제어 혹은 생리학적 움직임들에 친숙하지 않은 사람들에게 더 의미가 있을 수 있다. 다음은 이러한 용어들의 리스트이다.
"상호작용가능한 것(interactable)"은 아이콘과 유사할 수 있는 가상의 객체이며, 디스플레이 내에서 뷰잉가능하다. 아이콘들은 GUI의 구역 내에서 친숙한 개념이며, 이들은 최소의 디스플레이 구역들 내에서 의미를 전달하는데 사용되고, 그리고 선택가능할 수 있으며, 그리고 종종 언어-독립적(language-independent)이다. 본 명세서 내에서, "상호작용가능한 것들"은 유사한 목적으로 사용될 수 있지만, 단 예외적으로 상호작용가능한 것 선택 프로세스는 한쪽 안구 혹은 양쪽 안구들을 포함한다.
상호작용가능한 것의 하나의 형태는 주의를 끄는 그리고/또는 의미를 전달하는 방식으로 실제 객체를 태깅(tagging)하는 것 혹은 라벨링(labeling)하는 것을 포함한다. 예를 들어, 증강 현실 디스플레이 내에서, 하나 이상의 알파뉴메릭 문자(alphanumeric character)들, 후광(halo)들, 커서(cursor)들, 화살표(arrow)들, 혹은 다른 심볼들이 특정 객체 상에 또는 특정 객체에 인접하여 디스플레이 내에서 겹쳐진다. 이들은 디바이스 사용자에게 객체에 할당된 특정 의미를 표시할 수 있고, 이에 따라 이것은 (가상의 아이콘들과 동일한 일반적인 방식으로) 안구 신호 언어 내에 포함될 수 있다. 예를 들어, 후광은 물리적 조명 스위치 둘레에 배치될 수 있고, 이에 따라 이것은 동작(예를 들어, 턴온)의 객체일 수 있거나, 혹은 사람의 이름이 그 사람의 (실제) 얼굴에 인접하여 디스플레이될 수 있는데, 이것은 안구 신호 언어를 사용하면서 그 사람에게 텍스트 혹은 메일이 전송되게 할 수 있다.
"선택(select)"은 사용자의 안구(들)를 사용하여 객체를 선택하는 것이다. 객체들은, 1) 예를 들어, 디스플레이에 인접하여 뷰잉되는 혹은 반투명 디스플레이를 통해 뷰잉되는 실제 세계에서의 엔티티(entity)들일 수 있다(이들은 상호작용가능한 것들에 관해 주석을 달기 위해 방금 설명된 것과 동일한 기법들을 사용하여 표시됨). 이것은 또한 하나 이상의 원격 스크린들(TV, 컴퓨터 디스플레이, 사이니지, 등), 홀로그램(hologram)들, 또는 다른 원격 가상 혹은 물리적인 가시적 구조물들 상에서 뷰잉되는 객체들 혹은 그래픽들을 포함한다. 또는 객체들은, 2) 외부로-향하는 카메라에 의해 캡처되는, 그 다음에 원격지에 있을 수 있거나 착용가능할 수 있는 디스플레이 상에서 뷰잉되거나 증강되는 실제 세계에서의 엔티티들일 수 있고, 혹은 3) 텍스팅(texting), e-메일(e-mail), 맵(map)들, 일기 예보(weather forecast)들 등과 관련된 애플리케이션들과 같은 그러한 애플리케이션들을 개시시키는데 사용되는 것들과 같은 디스플레이 디바이스 상에 뷰잉되는 가상의 객체들(예를 들어, 상호작용가능한 것들)일 수 있다.
디바이스 사용자가 자신의 뷰잉가능한 환경을 조사함에 따라, 선택될 수 있는 객체들은 대게 뷰잉될 때 어떤 방식으로 강조(highlight)되거나 혹은 변경되며, 실시간으로 응시 방향을 표시하는 가치있는 사용자 피드백(user feedback)을 제공한다. "활성화(activate)" 상호작용가능한 것(아래의 "가기(go)" 참조)으로의 도약 이전에 최종 안구 뷰잉 위치는 "선택(select)"의 위치이다. 활성화는 (선택된 객체에 관한) 임의의 동작이 수행되게 한다(해당 객체가 그 선택된 동작을 수행할 필요가 있는 경우임). 용어 "선택"은 선택된 객체를 지칭하기 위한 명사로서 사용될 수 있고, 또는 객체를 선택하는 프로세스를 표시하기 위한 동사로서 사용될 수 있다.
일 실시예에서, 안구-신호 언어 내에서의 일반적인 시퀀스는 뷰잉되는 객체에 동작을 적용하는 것이다. 달리 말하면, 동작은 객체(들)를 특정한 이후 특정된다. 안구-신호 언어 내에서 드문 경우들에 있어서, 하나 이상의 객체들을 특정하기 전에 동작의 컴포넌트를 특정하는 것이 이로울 수 있다. 일 예로서, 아래에서 설명되는 연속적인 활성화 모드는 동작들로 하여금 하나 이상의 객체들에 관해 반복적으로 수행되게 할 수 있다. 이러한 경우에, 동작(혹은 동작의 적어도 일부 컴포넌트)이 먼저 특정될 수 있다.
"보기(look)"는 도약적 안구 움직임을 통해 실제 혹은 가상의 객체들로부터(즉, 도약적 론칭 위치로부터) 또 하나의 다른 객체(도약적 도달 위치)로 안구를 움직이는 프로세스이다. 이전에 설명된 바와 같이, 도약들은 안구의 급속히 빠른 탄도학적 움직임들이다. "보기(look)들"의 자발적 성질, 그리고 (필요한 경우) 이들이 커다란 각거리들을 급속히 빠르게 커버할 수 있음은 안구-신호 제어들의 급속히 빠른 형성 동안 특히 가치가 있고 중요하다.
보기들과 관련된 도약들은 반사적 도약, 스캐닝 도약, 혹은 기억-유도 도약일 수 있다. 보기는 타겟 위치 상으로 진행하기 위한 큰-거리 도약 이후 작은 정정 도약을 포함할 수 있다. 보기의 핵심 특징은 실시간으로 임의의 보기의 발생을 알고리즘적으로 파악하는 능력이며, 이에 따라 보기의 경로 내에서(즉, 론칭에 있지 않는 혹은 론칭 위치들에 있지 않는 보기의 경로 내에서) 상호작용가능한 것들 혹은 다른 객체들은 선택되지 않게 된다. 보기는 서로 반드시 인접할 필요가 없는 두 개의 객체들 혹은 프로세스들이 안구 신호의 형성 동안 관련되게 할 수 있거나 혹은 연결되게 할 수 있다.
"가기(go)"는 활성화 타겟이다. "선택(select)"으로부터 "가기(go)"로의 보기(look)는 선택 혹은 활성화가 사용자에 의해 의도되었다는 표시이다. "가기(go)" 상호작용가능한 것은 고정된(즉, 경험이 있는 사용자에게 알려진) 위치에 위치할 수 있고, 이에 따라 기억-유도 보기(memory-guided look)들이 안구 신호 형성 동안 사용될 수 있게 된다. 경험이 있는 사용자들은 선택 혹은 활성화가 요구되는 경우를 제외하고 "가기(go)" 위치를 뷰잉하는 것을 피하는 것을 습득한다.
안구-신호 언어 내에서의 제어 이벤트들의 시퀀스는 제스처-기반 제어 시스템들과는 크게 다르다. 이러한 차이들이 일어나는 이유는 안구들이 일상적인 활동들을 수행하기 위해 끊임없이 사용되고 그리고 안구들은 도약들 및 완곡 추종들과 같은 움직임들의 특정 타입들만을 바로 수행한다는 것이 시스템 설계 내에서 명확히 수용되고 있기 때문이다. 간단히 말하면, 이것은 "안구들이 자연스럽게 행하는 것을 하도록 안구들을 내버려 두기"의 원리로 바꿔 표현된다.
제스처-기반 시스템들과의 한가지 차이점은 "객체들"과 "동작들"이 함께 결합되어 있는 시퀀스이다. 다른 시스템들 내의 다수의 제스처들의 시퀀스들에서, 동작(예를 들어, 컬러 변경, 삭제)이 먼저 특정되고, 그 다음에 하나 이상의 객체들에 적용된다. 안구-신호 언어를 사용하는 경우, 객체들이 도처에서 뷰잉되고 있다고 인식된다. 만약 동작이 수행돼야 한다면, 동작은 일상적 관측 하에 있는 객체로부터 동작 시퀀스(즉, "가기(go)")를 개시시키는 위치로의 도약 혹은 "보기(look)"에 의해 개시된다. 비유하자면, 만약 객체가 "명사" 혹은 "대상"이고 동작이 "동사"라면, 안구-신호 언어에서, 명사/대상은 동사에 선행한다(즉, 영어의 일반적인 순서와 유사함).
이러한 시퀀스는 대부분의 안구 움직임들의 조사하는 성질(surveying nature)을 이용한다. 우리의 눈은 "무엇인가 할 것들을 찾기"위해 끊임없이 사용된다. 만약 시퀀스가 1) 객체를 찾기, 2) 동작을 선택하기, 그 다음에 3) 동작이 적용돼야 하는 그 객체의 위치를 다시 결정하기라면, 이것은 안구 움직임들을 낭비하는 것이다. 대신에, 안구-신호 언어에서, 동작은 우리의 실제 혹은 가상의 세계들에서 뷰잉되는 "동작가능한(actionable)" 무엇인가에 바로 적용될 수 있다(즉, 활성화 위치로의 단일의 도약적 안구 움직임에 의해 바로 적용될 수 있음).
실제 혹은 가상의 객체가 "동작가능"함을 아는 것은 사용자 피드백의 중요도의 개념을 강화한다. 피드백은 디바이스 사용자가 "길을 잃어 버린 느낌"을 갖지 않도록 하기 위해 극도로 중요하다. 아래에서 설명되는 사용자 피드백의 예들에서, 피드백 자체가 안구의 보통의 동작들과 간섭을 일으키지 않는다는 것이 또한 중요하다. 따라서, 예를 들어, 가상 현실 시스템 내에서 실제 객체 둘레의 후광 혹은 동작가능한 가상 객체 둘레의 아웃라인의 특징들(예를 들어, 크기, 두께, 위치, 컬러)은 보통의 안구 움직임들을 방해하거나 산란하게 하지 않도록 세심하게 선택된다.
이러한 조건들 하에서 실제 세계를 뷰잉하는 경우, 경험이 있는 디바이스 사용자는 동작을 개시시키기 위해 임의의 기억된 위치로의 기억-유도 도약을 사용한다. 이때, 추가적인 상호작용가능한 것들이 수행됨에 따라, 안구를 유도하거나 혹은 "홀딩(holding)"하기 위해서 추가적인 스크린 프롬프트(screen prompt)들 혹은 객체 제거(object removal)들이 매우 세심하게 (밀리초의 범위에서) 시간 조정되고 (주의를 끌거나 주의를 끌지 않기 위해서) 제어된다. 더욱이, 급속히 빠른 안구 움직임들은 밀리초의 시간-프레임(time-frame)에서 일어나기 때문에, 안구-신호 동작 피드백은 편안한 동작을 위해 동일한 시간-프레임 내에 있어야만 한다.
다른 예시적 실시예에서, 사용자는 소위 "안구-교차(cross-eyed)" 행동(manoeuver)을 수행함으로써 자발적 "선택" 혹은 활성화를 표시할 수 있다. 사용자가 얼굴에 극도로 가까이 있는 객체를 관측하고 있지 않다면, 사용자의 안구들을 교차시키는 것은 명확하게 인식가능하고 자발적 동작이다. 이것은 대안적 활성화 동작으로서 안구 신호 "언어" 내에 포함될 수 있다. 그러나, 사용자의 안구들의 빈번한 교차는 성가신 것으로서 지각될 수 있다. 따라서, 안구 신호 언어는 사용자의 안구들을 교차시키는 것에 더 적게 사용되는 동작들을 할당할 수 있다. 예를 들어, 짧은 안구-교차는 이전의 메뉴 선택으로 "되돌아 가기(go back)"위해서 사용될 수 있고, 지속되는 안구-교차 행동은 "홈(home)" 상태로 디바이스를 재설정하기 위해서 사용될 수 있다.
"추종(pursuit)"은 활성화 혹은 동작이 사용자에 의해 의도된 것임을 표시하기 위한 추가적인 메커니즘이다. "추종들"은 완곡 추종을 사용하여 객체를 추종하는 인간 안구의 능력 중심으로 특정적으로 설계된다. "추종들"은 두 개의 기능적 모드들 중 하나에서 사용될 수 있는바, 1) 만약 N개-중-1개 선택이 요구된다면, 둘 이상의 그래픽 요소들이 일정한 속도에서 바깥쪽으로 급속히 프로젝션되어, 본래의 타겟 위치의 근사적 중앙 위치로부터 멀어지도록 움직이고, 또는 2) 만약 어떠한 선택도 요구되지 않는다면(단지 활성화만 요구된다면), 타겟 추종 상호작용가능한 것 자체는 그 본래의 위치로부터 멀어지도록 움직일 수 있다. 일정 기간 및/또는 거리에 대해 추종 객체를 추종하는 것은 결과적으로 활성화가 일어나게 한다. 임계 시간 및/또는 거리에 도착하기 이전에 완곡 추종으로부터 떠난 도약적 안구 움직임(또는 드문 경우들에서, 전정-안근 안구 움직임 혹은 이향 운동 안구 움직임)은 활성화 없이 안구 움직임 시퀀스를 종료시킨다. 모든 움직임들은 세심하게 제어되고(예를 들어, 각속도들은 30o/초 아래로 잘 유지되고), 이에 따라 이들은 완곡 추종 신경 조절 메커니즘(smooth pursuit, neurally regulated mechanism)들을 통해 뷰잉될 수 있게 된다.
N개-중-1개 선택의 경우에, 용어 "추종 객체"는 N개의 개별적 서브-상호작용가능한 것(sub-interactable)들 혹은 객체들을 기술하기 위해 사용되는데, 이들이 본래의 타겟 위치로부터 바깥쪽으로 컨베이어(conveyer)와 같은 방식으로 완곡하게 그리고 연속적으로 움직임에 따라 이들을 기술하기 위해 사용된다. 선택된 거리에 걸쳐(가능하게는 또한 시간도 고려하면서) N개의 "추종 객체들" 중 하나를 추종하는 프로세스는 N개-중-1개(여기서 N은 프로젝션된 추종 객체들의 개수) 선택 및 활성화를 수행하는 사용자 의도를 식별하기 위해 사용된다. N개의-상태들-중-1개의 자발적 사용자 선택은 주로 완곡 추종 안구 움직임의 방향에 의해 전달된다. 이러한 차별점(distinction)은 추종 객체를 추종하는 사용자의 의도를 파악하기 위해 필요한 필터링 및 프로세싱을 간단하게 함에 있어 중요하다. 이것은 시스템으로 하여금 사용자의 응시가 보안 혹은 다른 제어를 위해 특정 경로를 따르고 있음을 파악하도록 요구하는 것과 대비될 수 있다. 본 명세서에서 제안되는 접근법은 광범위한 응용력과 함께 훨씬 더 간단하다.
완곡 추종을 통해 단일 추종 상호작용가능한 것을 추적하는 경우, 안구-신호 제어의 두 개의 모드들이 존재할 수 있는데, 1) 불연속 모드(discrete mode) 혹은 2) 연속 모드(continuous mode)가 존재할 수 있다. 불연속 모드의 경우에, 움직이는 추종 타겟이 임의의 선택된 거리에 걸쳐 실질적으로 연속적으로 추종되면, 활성화 기준들이 충족되고, 디바이스는 선택에 응답한다. 연속 모드에서, 안구가 추종 상호작용가능한 것을 따라감에 따라 안구에 의해 추적되는(즉, 일반적으로 그 출발 위치에 대한) 거리는 (전형적인 GUI들에서의 "슬라이더(slider)" 제어와 유사한) 알고리즘 제어를 위해 이용가능한 실질적으로 연속적인 "척도(measure)" 혹은 스케일(scale)로서 사용된다.
프로그래밍적으로, 연속 모드는 또한 특정 동작을 통해 도중에 정지(stopping)를 행하기 위해 유용하다. 예를 들어, 움직인 거리에 따라, 페이지는 사용자가 추종 상호작용가능한 것으로부터 눈길을 돌리는 경우 책-읽기 애플리케이션 내에서 부분적으로 움직인 위치에서 유지될 수 있다. 이러한 동작은 다른 경우라면 객체에 관한 사용자의 연속된 추종에 의해 계속되었을 어떤 활동을 느리게 하거나 혹은 정지시키기 위한 사용자의 안구 "추적 홉핑(hopping the track)"으로서 지칭될 수 있다. 이것은 자연스러운 방식으로 실시간의 세밀한 제어를 사용자에게 제공한다. 이러한 경우에, 사용자의 안구가 "홉핑"하는(즉, 도약으로서 움직이는) 특정 타겟이 제공될 수 있다. 사용자가 특정 타겟을 봐야만 한다는 요건은 포함될 수 있거나, 혹은 포함되지 않을 수 있다.
완곡 추종 동안, 안구(및 관련된 추종 객체)가 종료 위치(terminal position)에 도착하는 경우, 종료 위치의 영역이 뷰잉되고 있는 동안 프로그램은 선택된 동작을 반복할 수 있다. 프로그래밍적으로, 이것은 루프(loop) 혹은 반복 구조로서 일반적으로 지칭된다. 루프들 혹은 반복들의 개수에 관한 시각적 표시가 종료 위치에서 디스플레이될 수 있다. 이것은 안구 체류 시간(eye dwell time)이 사용자 의도를 전달하는데 중요한 역할을 하는 몇몇 경우들 중 하나이다. 도 10의 하위 패널(lower panel)에서 예시되는, 텍스트를 읽는 동안 복수의 페이지 넘김(page turn)들을 제어하는 프로세스는 눈 정착에 의해 제어되는 "루프" 혹은 "반복" 프로세스의 예이다.
추종 프로세스 동안, 만약 사용자가 임의의 움직이는 상호작용가능한 것 혹은 추종 객체를 따르지 않는다면, 혹은 사용자가 충분한 거리가 횡단(traverse)되버리기 전에 또 하나의 다른 위치를 본다면, 활성화는 일어나지 않는다. 도약 안구 움직임들과는 대조적으로, 완곡 추종 동안 추적되고 있는 것을 실질적으로 연속적으로 뷰잉 및 지각하는 개체의 능력은 추종-기반 안구 신호들의 핵심 요소이다. 추종 객체들은 일단 활성화되면 사라질 수 있고, 또는 만약 추적되지 않는다면 짧은 시간/거리 이후에 사라질 수 있거나 혹은 흐려져 갈 수 있다. 추적되는 추종 객체 이외의 모든 것은 특정 추종 객체가 추적되고 있는 동안 사라질 수 있거나, 흐려져 갈 수 있거나, 또는 반투명하게 될 수 있거나, 그리고/또는 거의 보이지 않을 수 있다.
다른 실시예로서, 추종 객체들은 수평(즉, X 방향) 축 및 수직 축(즉, Y 방향) 축에 의해 정의되는 평면에서 동작할 수 있을 뿐만 아니라 제 3 차원(즉, Z 방향)에서 동작할 수 있으며, 여기서 디바이스 사용자의 초점 거리를 결정하기 위한 방법들이 사용된다. 이러한 방법들은 쌍안 이향 운동(binocular vergence)을 포함하거나, 혹은 안구를 구성하는 좌측 및/또는 우측 렌즈(들)의 곡률(curvature), 두께, 혹은 다른 기하학적 구조들을 평가하는 것을 포함한다. 추종 객체들은 디바이스 착용자를 향해 움직이거나 혹은 디바이스 착용자로부터 떨어져 움직이는 것처럼 보이도록 만들어질 수 있다. 디바이스 착용자의 의도는 디바이스 착용자가 자발적으로 z 방향에서 가상의 움직임들을 추종하는지 여부에 근거하여 추론(infer)될 수 있다.
추종 객체들의 자발적 추적의 방향을 X, Y, 및 Z 방향들의 임의의 조합에서 결합하는 것이 또한 가능하다. 이용가능한 차원들을 모두 사용하는 경우, 추종 객체 입자(pursuit object particle)들은 모든 방향들에서 "폭발(explode)"하는 것처럼 보이고, 이것은 사용자로 하여금 N개 중 1개 선택을 행하기 위해 단일 입자를 추적할 수 있게 한다.
"표출(reveal)"은 가기(go)와는 다른 타겟 상호작용가능한 것인데, "표출"과 관련되어 있는 추종 객체로부터 보기(look)가 선행할 수는 있지만, 선택(select)이 선행할 필요는 없다. "표출" 상호작용가능한 것의 특별한 경우는 "메인 표출(main reveal)"이다. 이러한 "표출"은 모든(혹은 대부분의) 스크린들 상에서 사용자에게 액세스가능한 고정된(즉, 경험이 있는 사용자에게 알려진) 위치에 배치되고, 예를 들어, "홈(home)", "뒤로 가기(back)", "설정(setting)들" 그리고/또는 "메뉴(menu)" 상호작용가능한 것들에 대한 액세스를 제공할 수 있다. "메인 표출" 상호작용가능한 것을 뷰잉하는 경우, 추가적인 상호작용가능한 것들이 또한 "표출"될 수 있거나, 또는 기존의 디스플레이 상에 겹쳐질 수 있다.
메인 표출의 핵심적 실시형태는 사용자가 메인 표출에 대한 보기(look)를 수행하는 경우 표출되는 상호작용가능한 것의 디스플레이의 시간 제어(temporal control)이다. 표출되는 상호작용가능한 것들은 짧은 기간 동안 단지 뷰잉가능하다. 특정된 기간 내에 추가적인 "표출" 상호작용가능한 것들 중 하나를 (일반적으로 보기(look)를 통해) 뷰잉하는 것에 실패하는 것은 그 추가적인 상호작용가능한 것들로 하여금 흐려져 가게 하거나 사라지게 하는데, 이것은 결과적으로 어떠한 선택도 일어나지 않게 한다. 디바이스 사용자의 의도는 메인 표출 상호작용가능한 것의 초기 뷰잉, 그 다음에 (일반적으로 1초보다 작은) 임의의 고정된 기간 내에 새롭게 표출되는 타겟 상호작용가능한 것들 중 하나에 대한 "바라보기(looking)"에 의해 파악된다.
아래에서 더 상세히 설명되는 바와 같이, 표출들은 추가적인 선택들 및/또는 정보에 대한 맥락적 액세스를 제공하는데 특히 유용하다. 메인 표출 상호작용가능한 것들은 임의의 추가적인 선택 정보를 요구하지 않는 상호작용가능한 것들을 표출한다. 메인 표출로부터 그 표출되는 "홈(home)" 혹은 "뒤로 가기(back)" 상호작용가능한 것으로의 보기(look)는 선택된 상호작용가능한 것을 즉시 활성화시킨다.
일반적으로 맥락에 의존하는 일부 경우들(예를 들어, 디스플레이의 대부분을 차지하는 이미지를 검사하는 경우)에서, "마찰(friction)"의 특정 양(amount)이 "뒤로 가기(back)" 상호작용가능한 것과 같은 일부 메뉴 선택 프로세스들에 추가될 수 있다. 이것은 예를 들어, 상호작용가능한 것과 관련된 응시 선택 구역이 더 작아지게 함으로써 구현될 수 있다. 맥락-감지 커스터마이징(context-sensitive customization)은 특히 조밀한(dense) 디바이스들 내에서 의도치 않은 활성화들을 피하기 위한 몇 가지 전략들 중 하나이다.
표출은 자체적으로 내포화(nest)될 수 있거나 계층(layer)화될 수 있으며, 여기서 새롭게 표출되는 상호작용가능한 것들은 다른(일반적으로 상이한) 표출 상호작용들로 대체된다. 이러한 표출 아이콘들의 내포화는 임의의 개수의 계층들에 대해 계속될 수 있다. 각각의 계층 내에서, 그 선택된 표출 상호작용가능한 것은 "뒤로 가기(back)" 기능 및 관련된 그래픽으로 대체될 수 있다. 이러한 스킴(scheme)은 복수의 "뒤로 가기(back)" 동작들이 일반적으로 이전에 디스플레이된 계층화된 표출 층(tier) 혹은 그룹(group)으로 되돌아갈 수 있게 한다. 추가적으로, 아래에서 더 상세히 설명되는 바와 같이, 사용자는 메인 표출에 의해 트리거되는 "홈(home)" 상호작용가능한 것을 사용함으로써 최상위-레벨(top-level)(즉, 홈(home)) 메뉴로 언제나 되돌아 갈 수 있다. 상호작용가능한 것들의 표출 계층화 및 맥락-감지 디스플레이는 안구-기반 선택들에 대해 이용가능한 디스플레이 실제 영역(display real estate)의 사용을 최대화시킨다.
"표출"은, (일부 제스처-기반 GUI들에서 "툴(tool)"로서 종종 지칭되는) 기능으로서, 후속적으로, (만약 애플리케이션을 위해 다른 정보가 요구되지 않는다면) 즉각적으로 적용될 수 있는 기능, 혹은 메뉴 표출 기능이 적용될 위치 혹은 객체의 후속 선택 이후에 적용될 수 있는 기능이 선택될 수 있게 하는 프로세스이다.
표출의 또 하나의 다른 타입은 "메뉴 표출(menu reveal)"이다. 메뉴 표출들은 임의의 기능이 다수의 가능한 선택들로부터 선택되는 경우들에서 특히 유용하다. 이것은 "홈(home)" 및 "뒤로 가기(back)"를 포함하는 작은 개수의 빈번하게-사용되는 선택들이 존재하는 상황들에서 유용한 메인 표출과는 대조되는 것이다. 메인 표출들과는 달리, 메뉴 표출들 및 다른 표출들은 시간-의존적이지 않다.
전형적인 (메인 표출이 아닌) 표출 선택 프로세스는, 표출된 상호작용가능한 것들의 맥락-감지 세트를 메뉴로서 제시함으로써 시작되며, 여기서 초기 선택들은 사이드바(sidebar)들 사이의 가운데 디스플레이 영역을 점유한 콘텐츠(예를 들어, 그림, 텍스트, 앱(app)들)에 따라 달라질 수 있다. 메뉴 아이템(menu item)들은 이러한 가운데 디스플레이 영역 위에 (예를 들어, 반투명 혹은 불투명) 겹쳐지기에 의해 레이아웃된다. 메뉴 선택들은 디바이스 사용자에 의해 (시간 제약들 없이, 다시) 조사될 수 있다. 그 다음에 개별 메뉴 표출이 앞서 설명된 확립된 보기-및-가기 시퀀스(look-and-go sequence)를 사용하여 선택될 수 있다. 다른 경우들에서, 표출된 메뉴 상호작용가능한 것은 이것으로부터 디스플레이 혹은 다른 곳 내의 임의의 객체(예컨대, 실제 세계 내에서 뷰잉되는 객체)로의 "바라보기(looking)"를 행함으로써 활성화될 수 있다.
이러한 표출 단계들 내에서의 변이들은 즐거운 사용자 경험을 위해 특히 중요하다. 안구가 자연스럽게 새로운 선택 메뉴로의 추종을 행하도록 디바이스의 세그먼트(segment)를 이동시키고 그리고/또는 선택의 불투명도(opacity)를 변경하는 것은 이러한 변이들의 예들이다. 역으로, 객체들이 특히 복수의 위치들에서 동시에 출현하거나 혹은 사라지는 것을 포함하는 갑작스러운 변경들은 일반적으로 시각적 환경 내에서 눈에 거슬리는 것 및 지치게하는 것으로서 지각된다.
메인 표출 선택은 결과적으로 (다수의 다른 GUI들에서 친숙한) 드랍-다운 메뉴(drop-down menu)들과 유사한 메뉴들의 디스플레이가 일어나게 한다. 임의의 메뉴 아이템이 선택되는 경우, 본래의(즉, 선택된) 메뉴 표출을 포함한 영역이 즉각적으로 "뒤로 가기(back)" 버튼으로 변환될 수 있고, 이것은 사용자로 하여금 선택을 바꿀 수 있게 하고 그리고/또는 메뉴 선택의 프로세스를 나타내는 트리 구조(tree structure)를 올라가게(climb up)할 수 있다.
서브-메뉴 선택 프로세스(sub-menu selection process)가 임의의 횟수로 반복될 수 있으며, 이것은 사용자로 하여금 (이론적으로) 무한히 클 수 있는 선택들의 풀(pool)로부터 선택을 행할 있게 한다. 메뉴 및 서브-메뉴 구조들의 전략적 선택에 의해, (예를 들어, 스크린 스크롤링(screen scrolling)에 대한 필요 없이) 한정된 스크린 디스플레이 실제 영역 내에서 상호작용가능한 것들의 맥락-감지 디스플레이를 발생시키는 것이 가능하다. 메뉴 표출이 선택 및 활성화된 경우, 디스플레이는 본래의 상태(예컨대, 임의의 그림 혹은 텍스트의 몸체)로 되돌아 가고, 그리고 표출된 상호작용가능한 것에 의해 나타내어지는 동작(예를 들어, 확대(magnify))이 적용될 수 있고, 그리고 (요구된다면) 다시-적용될 수 있다.
광범위한 다른 메뉴-선택 디바이스들에 걸쳐 이용되는 GUI들 내에서 흔한 툴은 소위 "드래그 앤 드랍(drag 'n drop)"이다. 안구 신호 언어는 안구 움직임들의 생리학적 제약들로 인해 상이한 방식으로 "드래그 앤 드랍" 기능들을 핸들링해야만 한다. 탄도학적 도약을 사용하여 특정 경로를 따라 객체를 "드래그"하는 것은 가능하지 않다. 유사하게, 완곡 추종은 (사용자가 아닌) 디스플레이에 의해 유도돼야만 한다. 이러한 것들은 포인팅 디바이스(pointing device)에 관한 명확한 자발적 제어가 존재하는 다른 제어 디바이스들(예를 들어, 핸드-헬드 컴퓨터 마우스(hand-held computer mouse))을 사용하여 수행될 수 있는 동작들과는 대조적인 것이다.
대신에, 구역들 혹은 객체들의 에지들은 안구 움직임들에 의해 특정될 수 있다. 이것은 에지들을 파악하는 안구의 선천적인 능력들을 이용한다. 이것은 또한 (예를 들어, 그리드(grid), 도트(dot)들의 어레이(array), 혹은 주기적 파형(periodic waveform)을 포함할 수 있는) 초점(focal point)들로서의 역할을 하도록 적절한 선택 위치들에서 에지들을 제공하기 위해 세심한 사용자 인터페이스 레이아웃을 요구한다. 그 다음에, 결과적인 동작(즉, 활성화되는 경우)은 현재 및 하나 이상의 이전의 안구 선택들을 모두 고려할 수 있다. 안구 신호들을 사용하여 이러한 프로세스를 기술하기 위해 사용되는 (차별적인) 용어가 "픽 앤 플레이스(pick 'n place)"이다.
테이블 1(table 1)은 이러한 안구 신호들을 통해 이용가능한 기능적 혹은 프로그래밍 요소들의 일부를 요약한다. 이러한 요소들은 안구-신호들에 관해 구축된 쉘 프레임워크(shell framework)을 갖는 iUi GUI 구성을 위해 애플리케이션 개발자에 의한 "기초 요소(primitive)들" 혹은 구축 블록(building block)들로서의 역할을 한다.
| 기능(Function) | 구현(Inplementation) | 예(Example) |
| 프로세스들 혹은 애플리케이션들의 커다란 클러스터로부터 단일 애플리케이션를 선택하고 그리고 활성화시킴 | 선택, 보기, & 가기 |
메뉴 선택 |
| 더 많은 애플리케이션 "객체들"을 포함하는 다른 윈도우들로 디스플레이 윈도우를 스크롤링함 | 단일 모드 추종 |
책의 페이지들, 부분적 페이지들, 챕터들 혹은 섹션들 간의 스크롤링 |
| "홈(home)" 및 "뒤로 가기(back)"를 포함하는 작은 수의 선택들로부터 빠르게 선택함 | 메인 표출 |
홈 페이지 메인 메뉴로 점프 |
| 픽 앤 플레이스(pick 'n place) | 선택, 보기, & 가기, 그 다음에 선택, 보기, & 플레이스 | 텍스트에 단어(들)를 삽입 |
| 많은 수의 메뉴 기능들로부터 선택함 | 메뉴 표출 | 사진을 줌(zoom)하기 위해 확대기를 선택 |
| N개-중-1개 선택 | 추종 객체를 추적 | 맵 상에서 8개의 방향들 중 1개를 특정 |
| 연속적인 슬라이더(slider) | 단일 모드 추종 | 볼륨 제어 |
| 루프(loop) | 단일 모드 추종 이후 체류 | 반복되는 페이지 스크롤링 |
안구 신호 시퀀스들의 다른 예시적 조합들은, 1) 영역 선택(select a region)을 포함하고, 이것은 (안구의 정착들에 대해서는 비우호적인) 가능한 균질인 배경에 대비하여 선택을 가능하게 하기 위해 그리고 마지막 지점으로부터 가기(go)로의 보기(look)를 가능하게 하기 위해, 프레임워크로서 제시되는 그리드 상에서 교차 지점들의 집합을 가로질러 일련의 보기(look)들을 수행함으로써 이루어진다. 대안적으로, 하나의 상호작용가능한 것에서 시작하여, 상호작용가능한 것에 대한 최종 보기가 선택을 트리거하고 복수-영역 강조를 통해 선택을 표시하는 그러한 최종 위치에 대해서 복수의 지점들을 따라 보기가 있다. 안구 신호 시퀀스들의 다른 예시적 조합들은, 2) 텍스트의 임의의 영역의 선택 동안, 표출에 대한 보기; "텍스트 선택" 표출된 상호작용가능한 것에 대한 보기; 선택의 제 1 단어(word)에 대한 보기 및 선택에 따라서는 중간 단어들에 대한 보기; 최종 단어에 대한 보기; 텍스트 선택(혹은 "텍스트 삭제", "텍스트 대체" 혹은 다른 텍스트-동작가능 상호작용가능한 것)에 대한 보기를 포함한다. "텍스트 대체" 상호작용가능한 것에 대한 "바라보기"를 행하는 경우, 사용자는 선택된 단어 혹은 단어들에 대해 디스플레이 상에서의 즉각적인 대체를 행하는 말소리를-텍스트로의 변환(speech-to-text conversion)을 위해 마이크로폰에 의해 캡처될 수 있는 대체 단어들을 말할 수 있다.
안구 언어의 일반적인 "문법(grammar)"은 다수의 안구-추적 플랫폼(eye-tracking platform)들에 적용가능하다. 안구 움직임들 및 상호작용 패턴들은, 본 명세서의 다른 곳에서 설명된 시스템들과 같은, 눈에 거슬리지 않은 카메라들을 포함하는 헤드웨어-기반 디바이스들을 사용하여 파악될 수 있다. 헤드웨어는 가상 현실, 증강 현실, 및/또는 다른 근접-필드 디스플레이(near-field display)들, 및/또는 헤드웨어로부터 떨어져 있는 하나 이상의 디스플레이들을 포함할 수 있다. 안구 움직임들 및 패턴들은 또한 헤드에 장착되지 않는 카메라들(여기에는 셀 폰들, 태블릿들, 랩탑 컴퓨터들, 및 데스크탑 컴퓨터들 내에 매립되는 것들이 포함됨)을 사용하여 파악될 수 있다.
안구-추적 카메라들이 또한 사용될 수 있으며, 이들은 프로세싱 유닛들에 대한 "주변기기(peripheral)"인데, 예컨대 USB(Universal Serial Bus, 범용 직렬 버스)를 통해 연결되는 것들, (예를 들어, 와이-파이 혹은 블루투스를 통해) 무선으로 연결되는 것들, 차량의 대시보드에 부착되는 것들, 텔레비젼 혹은 다른 디스플레이 가까이 장착되는 것들, 사이니지 내에 부착되는 것들, 그리고 다른 안구 이미지화 구성들과 같은 것이다. 안구 움직임들 및 상호작용 패턴들은 또한, 미러링(mirroring)된 표면들로부터의 반사들에 근거하여, 선택된 파장들을 반사하는 표면들(예를 들어, 소위 "핫 미러들")로부터의 반사들에 근거하여, 광섬유 이미지 유도(fiber optic image guide)들에 근거하여, 렌즈들을 통해서, 그리고 한쪽 안구 혹은 양쪽 안구들의 이미지들을 전달할 수 있는 다른 광학적 구성들을 통해서, 안구(들)의 영역들을 이미지화하는 카메라들로부터 파악될 수 있다. iUi GUI(사용자 인터페이스) 내에 포함되는 문법 및 안구 신호들은 이러한 맥락들 중 임의의 맥락에서 관련성이 있을 수 있고, 유용할 수 있고, 그리고/또는 전개(deploy)될 수 있다.
머리 움직임에 의해 보충되는 안구 신호들(EYE SIGNALS SUPPLEMENTED BY HEAD MOVEMENT)
안구 신호 문법은 선택에 따라서는 작은 머리 움직임들 혹은 "머리를 끄덕이는 것"을 추적함으로써 증강될 수 있다. 도약들 및 완곡 추종들과 유사한 방식으로, 자발적 머리 움직임들은 안구 움직임들의 자연스러운(즉, 편안한) 표현이다. 사실, (비록 개체별로 광범위하게 변하는 값이기는 하지만) 대략 20o보다 더 큰 응시에서의 임의의 시프트(shift)는 일반적으로 머리 움직임과 관련된다. 이것은 의식적 노력을 그다지 요구함이 없이 일상적인 활동들 동안 일상적으로 일어날 수 있다. 도약-관련 머리 움직임들과 관련된 두뇌의 상이한 영역들은 연구되고 있으며, 이러한 연구에서 예를 들어, (빈약하게 이해되고 있는) 머리 움직임들을 발생시키기는 성향(propensity)에서의 차이들은 나이(age)에 따라 다양하다.
가속도계들은 일반적으로 착용가능 디바이스들 내에 매립된다. 머리-장착 다중-축 가속도계의 출력에 근거하는 지구의 중력장(gravitational field)에 대한 가속도 및 배향은 상대적 머리 움직임들에 대한 정보를 제공할 수 있다. 안구 응시 방향, 그리고 전정-안근 안구 움직임의 추적과 결합되는 경우, 뷰잉되는 객체들과 관련하여 절대적인 머리 위치 및 움직임들이 파악될 수 있다. 이것은 머리 제스처들을 안구-신호 제어와 통합하기 위한 수단(vehicle)을 제공한다.
의도를 전달하기 위해 사용되는 작은 자발적 머리 "끄덕임(nod)들"은, 1) 움직임의 상대적으로 작은 진폭(amplitude), 2) 움직임 속도, 그리고 안구들이 정지상태의 위치(예를 들어, 상호작용가능한 것, 실제 혹은 가상의 객체, 에지, 지점)를 보고 있는 동안 움직임의 수행에 근거하여, 전형적인 머리 움직임들과 구별될 수 있다. 이러한 머리 움직임들은, 이전에 설명된 안구 움직임들의 네 개의 기본적인 타입들 중 하나인, 전정-안근 안구 움직임들을 이용한다.
앞에서 설명된 바와 같이, 전정-안근 움직임들은 순수하게 반사작용이며, 이것은 머리의 움직임과 동일한 회전을 통해 하지만 반대 방향으로 안구를 움직인다. 이것은 안구의 망막 중심와 상에 외부 세계의 이미지들을 안정화시키기 위해 사용된다. 따라서, 비록 전정-안근 움직임 자체가 비자발적이더라도, 전정-안근 움직임을 생성하는 머리의 움직임은 자발적일 수 있다. 따라서, 이러한 머리 움직임들은 사용자 의도를 전달하기 위해서 안구 신호 언어 내의 하나의 컴포넌트로서 사용될 수 있다.
개체에게 의도를 전달하기 위해 머리 끄떡이기들을 어떻게 사용할지에 관해 지시하는 경우, 표현 "당신의 코(nose)로 가리키세요"를 사용하는 것이 때때로 유용한다. 달리 말하면, 객체를 바라볼 때, 만약 사용자가 사용자의 코로 임의의 방향에서 머리를 끄덕인다면(즉, 안구들이 반대 방향으로 움직이게 하는 것), 사용자는 사용자의 코의 움직임의 방향(예를 들어, 좌측, 우측, 위, 아래)에 근거하여 의도를 전달할 수 있다.
머리 "끄덕이기"는 본래의 자신의 지점으로 되돌아 올 수 있거나, 혹은 이것은 추종 객체와 유사한 방식으로 임의의 주어진 방향에서 계속될 수 있다(앞서의 설명 참조). 네 개의 방향들 1) 좌측, 2) 우측, 3) 위, 혹은 4) 아래 중 하나에서 머리 끄떡이기를 발생시키는 것은 편안한 것이다. 약간만 더 노력을 하는 경우, 사용자는 또한 다음과 같은 네 개의 추가적인 방향들: 1) 위쪽-좌측, 2) 위쪽-우측, 3) 아래쪽-좌측, 혹은 4) 아래쪽-우측에서 머리 끄덕이기들을 발생시킬 수 있다. 머리 끄덕이기의 "진폭"(즉, 모션의 범위)은 또한 특정 동작의 "진폭"의 연속적-가변 제어(continuously-variable control)로서 사용될 수 있다.
이러한 융통성(flexibility)을 갖고 있기 때문에, 머리 끄덕이기들은 다수의 방식들로 인식될 수 있고 안구 신호들 내에 통합될 수 있다. 첫 번째로, 머리 끄덕이기의 존재는 "활성화"에 대한 표시로서 사용될 수 있다. 이러한 자발적 머리 움직임들의 존재는 움직임 범위, 속도, 방향, 및 사용자-인터페이스 맥락에 근거하여 머리의 다른 움직임들과 알고리즘적으로 구분될 수 있고 머리의 다른 움직임들로부터 필터링될 수 있다(예를 들어, 도 4 참조). 일부 안구 신호 시퀀스들 동안, 이것은 "활성화" 시퀀스를 실행시키기 위한 안구들의 도약적 움직임들 혹은 다른 움직임들에 대한 필요성을 피할 수 있다.
두 번째로, 머리 움직임의 방향은 N개-중-1개 선택을 수행하기 위해 사용될 수 있는데, 여기서 N은 둘과 적어도 여덟 사이의 임의의 값일 수 있으며, 여기서 여덟은 앞서 설명된 여덟 개의 서로 다른 방향들, 즉, 1) 좌측, 2) 우측, 3) 위, 4) 아래, 5) 위쪽-좌측, 6) 위쪽-우측, 7) 아래쪽-좌측, 혹은 8) 아래쪽-우측 방향들을 나타낸다. 예를 들어, 사용자는 이벤트들의 캘린더(calendar)를 뷰잉하기 위해 단일의 머리 끄덕이기를 사용하여 해당 주(week)의 7일 중의 선택으로부터 하나의 선택을 고를 수 있다. 또 하나의 다른 예로서, 사용자는 위로 혹은 아래로 머리 끄덕이기를 수행함으로써 "예(yes)" 대답을 선택할 수 있고, 좌측 혹은 우측으로의 머리 끄덕이기로 "아니오(no)"를 선택할 수 있다.
세 번째로, 머리 끄덕이기의 진폭은 특정 동작의 크기(즉, 비-불연속 모드(non-discrete mode)에서의 크기)를 표시하기 위해 사용될 수 있다. 예를 들어, 사용자는 이미지, 객체들의 큰 테이블, 혹은 맵 상에서 "팬(pan)" 기능을 수행하기 위해 머리 끄덕이기의 방향과 진폭을 모두 사용할 수 있다. 머리 끄덕이기의 진폭이 더 크면 클수록, 디스플레이되는 팬 움직임도 더 커진다.
네 번째로, 머리 끄덕이기들은 회전을 포함할 수 있다. 회전은 시계 방향 혹은 반시계 방향으로 일어날 수 있다. 어느 정도까지, 머리 회전들은 등급화(grade)될 수 있다(즉, 더 큼 혹은 더 작음). 머리 회전들은 일반적으로 안구의 회전(리스팅의 법칙의 컴포넌트)으로서 잘 반영되지 않고, 그러나, 이들은 머리에 부착된 카메라, 가속도계들, 또는 얼굴 혹은 머리를 뷰잉할 수 있는 원격 카메라들 내에서의 전체 장면 회전을 포함하는 다른 수단에 의해 검출될 수 있다.
다섯 번째로, 머리 끄덕이기들은 임의의 횟수로 반복될 수 있다. 맥락에 따라, 이것은 단일 동작을 여러 번 반복하기 위해 사용될 수 있고, 또는 확장된 메뉴(extended menu)로부터 동작(예를 들어, 여덟 개의 상이한 머리 끄덕이기 방향들에 의해 특정되는 것 이상의 동작)의 선택을 표시하기 위해 사용될 수 있다. 전자의 예는 머리 끄덕이기들이 위-아래 방향에서 일어나는 동안 이미지(예를 들어, 그림, 맵) 상에서 줌 인(zoom in)이 반복적으로 수행되는 것이다. 줌 아웃(zoom out)은 좌측-우측으로 반복되는 머리 끄덕이기가 일어나는 동안 유사하게 구현될 수 있다. 다른 맥락들에서, 예를 들어, 책을 읽는 경우, 좌측-우측 머리 끄덕이기들은 책 내의 페이지들을 넘기는 방향 제어(즉, 좌측 방향 대 우측 방향에서의 처음 머리 끄덕이기) 및 속력 제어(좌측-우측 머리 끄덕이기들의 수)를 위해 사용될 수 있다. 머리 끄덕이기 제스처들의 가장 복잡한 것은 더 적게 사용되는 하지만 중요한 기능들을 위해 보류(reserve)될 수 있는데, 이러한 기능은 예를 들어, 디바이스가 저-전력 모드 혹은 "수면(sleep)" 모드에 있게 하는 두 번의 좌측-우측 머리 끄덕이기들 그 다음에 후속하여 두 번의 위-아래 머리 끄덕이기들과 같은 것이다.
안구로-추적되는 객체 신호들(EYE-TRACKED OBJECT SIGNALS)
또 하나의 다른 실시예에서, 사용자는 동작들을 트리거시키거나 혹은 개시시키기 위해 가상의 객체들을 사용하는 통상적 역할을 바꿀 수 있다. 예를 들어, 외부로 향하는 카메라는 사용자의 시계 내에서 대략 10o 내지 20o의 범위에 걸쳐 움직이는 임의의 연장된 손가락을 추적할 수 있다. 사용자는 실제 객체를 추적할 때 추종 상호작용가능한 것의 추적을 지배한 동일한 안구 추적 규칙들을 적용할 수 있다. 예를 들어, 추적되는 손가락 움직임의 충분한 범위(즉, 더 과장된 움직임을 요구하는 애플리케이션들에 대해 10o보다 작은 범위, 하지만 보다 전형적으로는 1o보다 작은 범위)가 일어난 경우, 시스템은 사진에 관한 동작(예를 들어, 사진 촬영)을 론칭시킬 수 있다. 손가락의 속성(attribute)들(예를 들어, 손가락이 무엇을 가리키고 있는지, 구부러졌는지 여부)은 어떤 동작이 수행되는지를 결정하는 것을 돕는데 사용될 수 있다.
디바이스 사용자의 시각적 시계 내에서의 손가락(혹은 사용자에 의해 제어가능한 임의의 다른 객체, 예컨대, 포인터(pointer), 광(light), 레이저 빔(laser beam), 핸드-헬드 객체(hand-held object), 등과 같은 것)의 배치 및 사용은 의도를 파악함에 있어 도움을 줄 수 있다. 예를 들어, 팔(arm)들, 손(hand)들, 및 손가락들의 움직임들은 (비록 이들이 관련없는 활동들과 관련될 수 있지만) 순수하게 자발적이다. 따라서, 사용자의 안구들을 사용하여 수행되는 모션들 및 객체들, 사용자의 안구들을 사용하여 가리켜지는 모션들 및 객체들 등으로부터 의도를 파악하는 것은 더 쉬울 수 있다. 실제 및 가상의 객체들의 상이한 활성화 역할들을 위해 구성되는 경우 디바이스 내에서의 전력 소비에 있어 차이들이 또한 존재할 수 있다. 환경 내에서 뷰잉되는 객체들의 안구 신호들과의 결합은 유용한 특징인데, 이것은 아래에서 더 설명된다.
환경 내에서의 실제 객체들을 바라보기에 추가하여, 사용자가 환경 내에서 디스플레이들 혹은 스크린들 내에서의 다른 가상의 객체들을 선택하는 것이 가능하다. 이러한 디스플레이들은 스마트 와치들, 건강관리 장비 상의 스크린들, (제조 장비 내의) 산업용 스크린들, 텔레비젼들, 등을 포함할 수 있다. 사용자는 착용가능 스크린 상에서의 디스플레이 피드백 혹은 이러한 원격 스크린들 중 임의의 스크린 상에서의 디스플레이 피드백으로 안구 신호들을 실행할 수 있다.
도 2a 및 도 2b는 안구로-추적되는 객체 신호의 예를 보여준다. 이러한 예시에서, 디바이스 사용자의 응시 위치는 별(star)(232)로 표시되어 있다. 특정 동작과 관련된 실제 혹은 가상의 타겟은 십자선(cross-hair)(230)으로 표시되어 있다. 도 2a에서 예시되는 바와 같이, 손가락(231)이 활성화 타겟(230)에 인접하여 있도록 발생하는 경우에도, 디바이스 사용자가 손가락(231)을 특정적으로 바라보지 않는 동안, 활성화는 일어나지 않는다. 반면, 그리고 도 2b에서 예시되는 바와 같이, 사용자가 손가락(231)을 바라보고 이것이 활성화 타겟(230) 부근에 있는 경우, 활성화가 일어난다.
음성에 의해 보충되는 안구 신호들(EYE SIGNALS SUPPLEMENTED BY VOICE)
다중-모드 안구 신호(multi-modal eye signal)들의 용이함 및 효율은 커맨드 시퀀스(command sequence)들 내에 음성을 포함시킴으로써 크게 강화될 수 있다. 예를 들어, 사용자의 음성을 텍스트에 표기(transcribe)하기 위한 검출 및 능력은 안구 신호들과 함께 사용되는 경우 특히 강력한 결합이다. 인간-기계 제어의 유성음화(vocalization)들 및/또는 다른 형태들은 안구 신호들과 자연스럽게 상호작용한다. 일반적으로, 안구 신호의 활성화(enacting)는 동작의 형태를 특정하는 것 그리고 동작이 언제 일어나야 하는지를 특정하는 것을 모두 수행하기 위해 사용될 수 있다. 그 다음에, 유성음화들은 이러한 타겟 동작들에 대한 하나 이상의 "대상들"을 공급할 수 있다.
이것은 음성 인식을 사용하여 소위 "텍스트 메시지(text message)"를 발생시키고 그 다음에 안구 신호들과 유성음화들의 조합을 사용하여 해당 메시지에 대한 정정들을 행하는 예에 의해 예시될 수 있다. 사용자의 음성이 텍스트 내에 표기돼야함을 디바이스에게 표시하기 위해 먼저 안구 신호가 사용된다. 음성 입력(voice entry)의 시작과 끝 모두 안구-신호 제어 하에 있다. 이것은 표기될 단어들의 임의의 조합을 가능하게 한다. 달리 말하면, 표기를 방해할 수 있는 어떠한 핵심 단어들 혹은 어구들은 존재하지 않는다. 안구 신호들의 후속 시퀀스를 사용하여, 텍스트 내의 임의의 위치가 정정 혹은 삽입을 위해 안구(들)로 특정될 수 있다. 다시 한번, 정정을 유성음화하는 것(가능하게는 임의의 정정을 스펠링화(spelling)하는 것을 포함함)은 유성음화와 안구 신호들의 동시 적용에 의해 제어된다.
상호 협력적 음성 커맨드 입력(synergistic voice command input)을 갖는 안구-신호는, 안구가 커맨드의 일부로서 활성화된 객체에 대한 (비-신호 기반 모드에서의) 응시 혹은 가리킴을 행하기 위해 단순히 사용될 수 있는 음성 제어와는 구분된다. 비 안구 신호-기반 음성 활성화(non eye signal-based voice activation)는 일반적으로 핵심 단어들 혹은 어구들의 사용을 요구한다. 비고의적 활성화를 피하기 위해, 이러한 단어들 혹은 어구들은 보통의 대화 동안 피해저야만 한다. 근처에 있는 또 하나의 다른 사람이 말하는 단어들 및/또는 유사하게 소리나는 어구들은 비고의적인 음성 활성화들의 추가적인 소스들이다.
추가적으로, 사용자가 디바이스에게 자유-형태 말소리 입력(free-form verbal input)의 임의의 형태(예를 들어, e-메일 메시지를 위한 어구들)를 제공하고 있는 경우, 자유-형태 입력이 끝났다는 어떤 표시가 존재할 필요가 있다. 이것은 종종 오래 계속되는 중지 또는 특정 핵심단어 혹은 소리를 검출함으로써 달성된다. 다시 한번, 이것은 비고의적인 종료를 일으키기 쉬운데, 왜냐하면, 예를 들어, 말하는 중에 중지는 사용자가 단순히 임의의 화제에 관해 생각하고 있음을 표시할 수 있기 때문이다. 안구 신호들의 경험이 있는 사용자는 활성화 혹은 종료가 요구되는 경우에만 활성 혹은 종료를 나타내는 위치를 단순히 바라봄으로써 비고의적인 활성화들을 피한다.
상호 협력적 음성 입력을 갖는 안구 신호들의 이점들을 설명하는 또 하나의 다른 방식은, 1) 무엇을 할 것인지(즉, 동사) 및 2) 동작을 언제 수행할 것인지를 모두 특정하는 것으로서 안구 신호를 다루는 것을 포함한다. 음성은 동작 수행을 돕기 위한 추가적인 데이터 소스(즉, 대상)이다. 이것은 디바이스가 경보 혹은 동작 어구(즉, 동사)의 어떤 형태에 대해 언제나 "청취(listening)"하고 있어야만 하는 오로지 음성 커맨드로만 동작을 개시시키는 것과는 대조적인 것이다. 음성 커맨드의 시간에서 안구에 의해 뷰잉되는 위치 혹은 객체는 보충적 입력이 된다.
오디오(audio)의 이러한 안구 신호로-유발되는 필터링은 또한, 단지 가끔 있는 말소리를 갖는 높은 주변 소리가 존재할 수 있는 경우, 유용하다. 언제나 청취하고 있는 시스템은 간단한 안구 신호에 의해 활성화되는 시스템(특히, 안구-추적 시스템이 안구가 디스플레이 위치들을 응시하고 있는 때를 결정하기 위해 (아래에서 설명되는) 저-전력 방법들을 이용하는 경우)보다 더 많은 전력을 소비한다.
안구 신호를 통해 동작을 특정하는 것은 말소리 동작 제어와 관련된 모호성(ambiguity)들을 피한다. 안구 신호 메뉴들의 세심한 선택은 디바이스로 하여금 특정(즉, 모호하지 않은) 동작을 수행하도록 지시받을 수 있게 한다. 대조적으로, "제인 찾기(find Jane)"와 같은 말소리 커맨드를 사용하는 요청은 디바이스에게 어떠한 표시도 제공하지 않는데, "제인"이 텍스트의 본문 내에 있는 단어로서 발견돼야하는지, 이미지들의 세트 내에 있는 얼굴 인식을 사용해야하는지, 오디오 녹음들 내에서 임의의 말해지는 이름으로서인지, 제인이 물리적으로 어디에 위치하는지, 제인에 대한 중요한 통계자료들을 디스플레이할지 여부, 등에 관한 어떠한 표시도 제공하지 않는다.
다른 양상들에 의해 보충되는 안구 신호들(EYE SIGNALS SUPPLEMENTED BY OTHER MODALITIES)
다른 실시예들에서, 안구 신호들은 디바이스 동작들을 제어하기 위해 다른 입력 양상들과 결합될 수 있다. 이러한 양상들은, (예를 들어, "예", "아니오", 관심, 놀람, 숙고(reflection)를 표시하는) 흔들기(shake)들, 기울이기(tilt)들, 혹은 기대기(lean)들과 같은 머리 움직임들; (안구(들)/머리/얼굴을 향하는 카메라들이 장착된 상태에서의) 근육 경련(twitch)들 및 움직임들; 적절한 외부로 향하는 카메라들이 있는 상태에서의 머리 움직임들 및 제스처들; 적절한 오디오 센서(audio sensor)들, 힘 센서(force sensor)들, 혹은 모션 센서(motion sensor)들이 있는 상태에서의 턱 움직임들 및 이빨들을 딱딱 맞부딪치기(teeth clicking); 뿐만 아니라 키보드들, 마우스들, 및 터치 스크린들과 같은 종래의 컴퓨터 입력 디바이스들을 포함할 수 있다.
안구 신호들은 다른 사람-기계 제어 양상들과 자연스럽게 그리고 상호 협력적으로(synergistically)으로 상호작용한다. 예를 들어, 조명 스위치를 손가락으로 가리키고 바라보며 "턴온"을 유성음화하고 또는 미소와 같은 동작(역으로 턴오프를 위해 눈살을 찌푸리는 것)을 수행하도록 개체가 학습하게 하는 약간의 훈련이 요구되거나 이러한 훈련이 전혀 요구되지 않는다. 사용자의 안구(들)로 가리키는 것과 동작의 인식의 결합은 쉽게 이해될 수 있고 다른 상황들로 일반화될 수 있다. 이러한 경우, 이것은 디바이스 사용자에게 직관적(intuitive)이 되어 후속적으로 가정 혹은 사무실을 조사하고 커맨드들을 수행하는 것(예를 들어, "온도를 올리기"위해 온도 조절 장치(thermostat)에 지향된 상태에서 눈썹들을 올리는 것, 또는 도어 락(door lock)을 뷰잉할 때 "도어를 여세요"라고 말하는 것)을 시작하게 한다. 안구 응시를 사용하는 제어는 수많은 다른 디바이스들의 보통의 작동 및 동작들을 증강시킬 수 있다.
감지된 정보의 또 하나의 다른 강력한 결합은, 메인 동작 유닛(Main Action Unit)(AU)들에 대한 일련의 "코드(Code)들"로서 FACS에 의해 특정되는 데이터, 머리 움직임들에 의해 특정되는 데이터, (내부로-향하는 카메라들, 외부로-향하는 카메라들, 및 관성 측정 유닛(inertial measurement unit)들에 의해 결정되는, 얼굴의 구역들의) 가시성 상태(visibility state)들에 의해 특정되는 데이터, 그리고 총체적 행동(gross behavior)들에 의해 특정되는 데이터를 수집함으로써 달성가능하다. 그 다음에, 이러한 정보는 시간-동기화된 응시 정보와 병합될 수 있어, 사용자가 응시하고 있는 것이 정확히 무엇인지를 알고 있는 추가적인 맥락이 주어지는 경우 감정적 상태 및 사용자 의도에 관한 방대한 양의 정보를 제공하게 된다. 이것은 또한, 착용가능 머리-장착 디스플레이 디바이스 상에서 로컬로(locally) 활동을 개시시키는 것, 혹은 실세계 내의 임의의 디바이스 상에서 원격으로(remotely) 활동을 개시시키는 것을 수행함으로써 사용자 의도를 동작으로 변환하는 목적을 지원한다.
자발적 안구 움직임들을 파악하기 위한 알고리즘 "필터들"(ALGORITHMIC "FILTERS" TO DISCERN VOLUNTARY EYE MOVEMENTS)
안구 신호들의 형성 동안, 알고리즘 필터들은 안구 움직임들의 모든 기본적인 타입들: 1) 도약들(기억-유도 도약 혹은 시각-유도(vision-guided) 도약); 2) 완곡 추종(적절한 생리학적 속도들에서의 객체 추적을 포함함); 3) 이향 운동(객체 선택 동안 제 3 차원을 생성하기 위해 쌍안 안구 추적을 가짐); 그리고 4) 전정-안근(머리 끄덕이기 선택들을 포함함)의 생리학적 기반을 이용한다.
추가적으로, 안구 신호를 생성하는 일련의 안구 움직임들 동안, 안구 움직임들을 자유롭게 하고 안구 신호들의 속력을 높이는 방식으로 시계 내에서 객체들의 출현을 제거하기 위해 갭 효과가 사용될 수 있고; 타겟 위치가 뷰잉될 때(이것은 결과적으로 안구 동작을 일으킴), "친숙한" 썸네일이 사용자 피드백으로서 디스플레이될 수 있고(이것은 시각적 프로세싱 감소를 요구하고 아울러 추가적인 동작들로의 더욱 빠른 변이를 요구함); 변화 맹시와 관련된 기법들이 주의를 끌지 않으면서 객체들을 도입하기 위해 사용되고; 시계를 변경할 때 시각령에 의해 생성되는 주의의 정도를 조절하기 위해 객체들이 재단되고(예를 들어, 크기, 밝기, 배경에 대한 컬러, 콘트라스트(contrast), 불투명도, 세부사항, 반복적인 스크린 위치가 재단되고); 그리고 사용자의 응시 방향, 그리고 그 관련된 망막 중심와(foveal) 뷰잉들, 망막 부중심와(parafoveal) 뷰잉들, 및 주변 뷰잉들에 따라 달라지는 방식으로 객체들의 타이밍 및 특징들이 또한 재단된다.
이러한 생리학적 개념들은 또한, 객체들이 안구 신호들의 형성 동안 언제, 어디서, 그리고 어떻게 시각계에 도입되고, 혹은 시각계로부터 제거되는지를 제어하기 위해 사용된다.
본 명세서에서의 시스템들 및 방법들의 기초가 되는 것은 안구 움직임들의 생리학적 기반들 및 한계들이다. 이전에 설명된 바와 같이, 자발적 제어 하에서 직접적으로 혹은 간접적으로 수행될 수 있는 안구 움직임들의 가장 일반적인 타입들은, 1) 도약들, 2) 완곡 추종, 3) 이향 운동, 및 4) 전정-안근이다. 일련의 안구 이미지들로부터 결정되는 안구 위치 데이터를 사용하여, 도약적 안구 움직임들 혹은 완곡 추종 안구 움직임들의 존재를 실-시간으로 식별 및 구분하기 위해 알고리즘 "필터"가 구성될 수 있다.
도약적 필터는 도약들이 급속히 빠르다는 사실에 주로 의존한다. 실제로, 이전에 언급된 바와 같이, 도약들은 초당 최대 900o의 각속도를 갖는 인간 신체에서 가장 빠른 움직임들이다. 도약적 속도 프로파일은 탄도학적 프로파일인데, 여기서 (대략 최대 60o의 변위(displacement)들까지) 피크 속도는 진행된 거리의 일차 함수이다. 예를 들어, 10o의 도약은 개략적으로 초당 300o의 각속도를 갖고, 반면 30o의 변위에 대한 피크 각속도는 개략적으로 초당 500o이다.
본 명세서에서의 시스템들 및 방법들 내에서 도약들에 근거하여 안구 신호들을 구현하는 실시형태는, 두 개의 위치들(즉, 도약적 론칭 위치 및 도약적 도달 위치)에 위치하는 실제 혹은 가상의 객체들을 (두 개의 위치들 간의 시각적 경로를 따라 객체들에 의한 간섭 없이 관측자의 시계 내의 어떠한 위치에서든) 모호하지 않게 결합 혹은 연결하는 능력이다. 일련의 도약들을 수행함으로써, 임의의 개수의 객체들 혹은 위치들이 자발적 사용자 제어 하에서 의도를 파악하기 위해서 논리적으로 연결될 수 있다.
도약적 움직임들은 완곡 추종과 관련된 가장 빠른 모션들보다 몇 차수만큼 더 빠르다. 이러한 속도 차이는 완곡 추종 필터 내에서 핵심적 차별점이다. 완곡-추종 안구 움직임의 전체 방향 및 속력은 또한 관측 하에 있는 객체의 속도 프로파일과 매칭돼야만 한다(관측자가 이러한 것을 피하기 위해 광범위한 훈련을 받지 않은 경우임). 따라서, 완곡 추종은 속도에 근거하여 도약들과 용이하게 구분될 수 있고, 그리고 디스플레이되는 혹은 실제 객체들의 속도 프로파일들과 비교되어 임의의 매칭이 존재하는지 여부에 근거하여 다른 안구 움직임들(즉, 이향 운동 및 전정-안근 움직임들)과 용이하게 구분될 수 있다.
더 구체적으로 살펴보면, 느리게 움직이는 객체들을 뷰잉할 때, 완곡 추종은 대략 100 밀리초의 레이턴시 이후에 객체를 근접하여 따라감에 따라 인식될 수 있다. 완곡 추종은 일반적으로 초당 대략 30o보다 작은 각속도들에서 인식된다(하지만, 약간 더 높은 속도들이 특히 수평 방향에서 일어날 수 있음). 완곡 추종에 의해 추종될 수 있는 것들보다 더 큰 객체 움직임 속도들(소위 "캐치-업 도약(catch-up saccade)들")이 환경 내에서 객체들을 추적하기 위해 인간들에 의해 사용된다. 이러한 도약-정착 시퀀스는 전체 속도에 근거하여, 뿐만 아니라 도약적 시퀀스들의 시작/정지 속도 프로파일에 근거하여 완곡 추종과 용이하게 구분된다.
본 명세서에서의 시스템들 및 방법들 내에서 완곡 추종 필터를 구현하는 또 하나의 다른 실시형태는, 사용자가 스크린 상에서 특정 객체를 자발적으로 따라가고 있는 때를 모호하지 않게 결정하는 능력이다. 스크린 상에서 움직일 수 있는 상이한 객체들에게 의미 혹은 목적을 할당함으로써, (만약 존재한다면) 어떤 객체가 추종되고 있는지를 측정함으로써 사용자 의도가 파악될 수 있다. 이러한 접근법은 만약 스크린에서 움직이는 N개의 "추적가능한(trackable)" 객체들이 존재한다면(예를 들어, 도 1 참조), N개의 상태들 중 1개를 선택함에 있어(혹은 어떠한 객체도 추적하지 않는 경우) 특히 강력하다.
도 3은 도약적 안구 움직임들 및 완곡 추종 안구 움직임들을 식별하기 위한 알고리즘적 접근법을 도식적으로 예시한다. 안구의 새로운 이미지가 도면 참조번호 300에서 획득되는 경우, 이것은 전략적 측정들 및 안구 이미지들의 선입선출(First-In First-Out, FIFO) 버퍼에 부가된다. 가장 오래된 이미지들 및/또는 측정들은 도면 참조번호 332에서 도면 참조번호 331에서의 FIFO로부터 폐기(discard)된다. 도면 참조번호 333에서 안구 속도들이 이미지들 내에서의 안구-추적에 근거하여 측정된다. 도면 참조번호 334에서, 만약 안구 속도가 도약적 움직임들에 대한 최대 임계치(전형적으로 초당 30o)보다 더 크다면, 도면 참조번호 335에서 시스템은 도약적 움직임의 어떤 형태가 일어났음을 나타낸다. 도면 참조번호 335에서 만약 도약적 움직임이 망막 중심와 뷰잉 내에(즉, 대략 1o 내지 3o 내에) 전반적으로 있는 거리에 걸쳐 일어났다면, 도면 참조번호 336에서 안구 움직임은 미세-도약으로서 기록된다. 반면, 만약 안구에 의해 진행된 각거리가 도면 참조번호 335에서의 이러한 범위보다 더 크다면, 도면 참조번호 337에서 이벤트는 도약으로 등록된다.
도면 참조번호 334에서 만약 안구 움직임의 속도가 도약적 움직임에 대한 임계치보다 더 작다면, 그리고 도면 참조번호 338에서 만약 움직임(이러한 움직임이 존재하는 경우임)이 망막 중심와 뷰잉 내에 있다면, 도면 참조번호 339에서 안구는 본질적으로 정지되어 있고 도면 참조번호 339에서 이벤트는 정착으로서 기록된다. 반면, 도면 참조번호 310에서 안구가 실제 혹은 가상의 객체의 속도 및 방향과 매칭되는 속도 및 방향에서 진행하고 있다면, 도면 참조번호 311에서 이러한 변위는 완곡 추종 안구 움직임으로서 분류된다.
안구 신호들의 또 하나의 다른 종류는 쌍안 안구 추적을 사용하여 검출되는 "이향 운동"이다. 비록 이향 운동 안구 움직임들이 일반적으로 반사작용일지라도, 사용자는 어떤 객체들(즉, 상이한 거리들에 위치하는 어떤 객체들)이 뷰잉되는지를 자발적으로 제어할 수 있다. 따라서, 사용자의 이향 운동에 관한 간접적 제어가 존재한다.
이향 운동 신호들은 일반적으로 완곡 추종들보다 더 느리고(특히, 사용자가 나이를 먹어감에 따라, 노안(presbyopia)과 같은 몸상태들로 인해서 더 느림), 하지만 객체들과 상호작용하기 위해 3-차원 팔레트(palette)와 함께 작동됨에 따라 이례적인 융통성을 제공한다. 이향 운동 제어는 타겟들 없이 달성하기는 어려운데, 하지만 큰 피사계 심도(depth-of-field)가 존재하는 상황들에서는(즉, 윈도우의 유리 상에 있는 먼지(dirt)와 같은 객체들이 가까이 있는 상황들에서는, 이와 대비되는 상항은 동일한 시선(sightline)을 따라 객체들이 멀리 있는 경우임) 초점 거리들에 관해 어느 정도의 의식적 제어가 존재한다.
중요한 것으로, 사용자는 쌍안 디스플레이들(즉, 안구 하나 당 하나의 디스플레이)로 제시되는 객체들의 세트를 고려할 수 있고, 이에 따라 객체들은 (가능하게는 쌍안으로 이향 운동을 추적함으로써) 응시를 통해 초점 안으로 그리고 밖으로 오게 되어, 사용자는 임의의 평면 상의 객체들 간에 보기 혹은 추종을 행할 수 있게 되고, 그리고 상이한 거리들/깊이들에서 제시 및 인식되는 평면들 상의 객체들 간에 "줌(zoom)"을 행할 수 있게 된다. 이향 운동 모션들은 초당 대략 최대 25o의 각속도들로 한정된다. 글자 그대로 상이한 깊이들에서 가상의 객체들을 선택하는 것은 객체-선택 팔레트에 새로운 차원들을 추가하고, 이것은 디스플레이될 수 있는 그리고/또는 선택/활성화될 수 있는 객체들의 개수를 크게 확장시킨다.
전정-안근 안구 움직임들은 또한 일반적으로 머리 움직임들에 응답하여 일어나는 반사작용으로 고려된다. 그러나, 머리 움직임들 자체는 빈번하게 자발적으로 일어나는데, 특히 디바이스 사용자가 객체에 초점을 맞추고 있는 경우 그러하다. 따라서, 사용자의 전정-안근 안구 움직임들에 관한 간접적 제어가 존재한다.
도 4는 이향 운동 및 전정-안근 움직임들을 구별하기 위한 알고리즘적 접근법을 도식적으로 예시한다. 이향 운동 움직임들의 경우에, 우측(430a) 및 좌측(430b) 안구들 양쪽 모두로부터의 안구 위치 측정들이 고려돼야만 한다. 만약 우측(431a) 혹은 좌측(431b) 안구 위치들이 (도시되지는 않았지만, 이전의 안구 위치 측정들과 비교하여) 디바이스 사용자의 망막 중심와 뷰잉 내에 있다면, 이향 운동 혹은 전정-안근 안구 움직임들은 더 이상 고려되지 않는다. 만약 움직임들이 망막 중심와 뷰잉을 벗어나 버린다면, 우측(433a) 및 좌측(433b) 안구들에 대한 속도들이 컴퓨팅된다. 동시에, 도면 참조번호 432에서 가속도계들, 장면 카메라(scene camera)(들) 내의 이미지들의 전체 움직임, 혹은 다른 방법들을 사용하여 머리 위치가 결정된다. 도면 참조번호 434에서, 만약 머리 움직임이 의미가 없다면, 더 이상의 비교들은 수행되지 않는다. 만약 그렇지 않다면, 도면 참조번호 432에서의 머리 위치들에 근거하여 도면 참조번호 435에서 머리 속도가 컴퓨팅된다.
도면 참조번호 436에서, 만약 우측 및 좌측 안구가 동일한 방향으로 움직인다면, 그리고, 도면 참조번호 437에서, 만약 이러한 방향이 머리의 방향과 반대 방향이고 그 움직임 크기들에서 대략 대응한다면, 도면 참조번호 439에서, 안구 움직임은 전정-안근으로서 분류된다. 도면 참조번호 436에서, 만약 우측 및 좌측 안구가 반대 방향들에서 움직이고 개략적으로 동일한 움직임 크기를 갖는다면. 도면 참조번호 438에서, 안구 움직임은 이향 운동으로서 분류된다.
사용자 의도를 표현하는 안구 움직임들을 알고리즘적으로 식별하기 위한 또 하나의 다른 전략은 의도 전달과 또한 관련되지 "않은" 안구 움직임들을 동시에 식별하는 것이다. 일단 식별되면, 이러한 움직임들은 무시될 수 있고, 공제될 수 있고, 또는 그렇지 않다면 자발적인 안구 움직임들의 전체 해석에서 고려될 수 있다. 예를 들어, 빈도 높은 진동들 혹은 떨림(생리학적으로 안진증(nystagmus))은 정착들의 거의 모든 형태들 상에 겹쳐진다. 이러한 진동들은 망막 수용기들 상의 이미지를 시프트시키고, 이것은 경계들 근처에 신규 망막 수용기들을 보급(recruiting)하고, 그리고 매 0.1초마다 두 개의 인접하는 망막 중심와 추상체(foveal cone)들 간의 거리를 개략적으로 이동시킨다.
"보통의"(즉, 비-병리학적인) 필터들에 추가하여, 자발적으로 의도를 전달하는 것과 관련되지 "않은" 병리학적 안구 움직임들을 구분 및 식별하기 위한 알고리즘 필터들이 또한 사용될 수 있다. 다시 한번, 이러한 움직임들은 무시될 수 있고, 공제될 수 있고, 또는 그렇지 않다면 자발적인 안구 움직임들의 전체 해석에서 고려될 수 있다. 예를 들어, 초당 3 싸이클 내지 6 싸이클의 진동들은 파킨슨증후군 떨림(parkinsonian tremor)과 관련된다. 조현병(schizophrenia)은 안구 근육들의 경화(stiffening) 및/또는 경련(spasm)들을 일으킬 수 있다. 시각적 자극에 대한 예상 국면(anticipation phase) 동안 주의력결핍 과잉행동장애(Attention Deficit Hyperactivity Disorder, ADHD)를 갖는 개체들에서의 비자발적 안구 움직임들이 최근 특징지어졌다. 유사한 설명을 따르면, 알콜을 포함하는 의약품(pharmaceutical)들 및 다른 약물들은 안구 움직임들(뿐만 아니라 눈꺼풀 움직임들)에 영향을 미칠 수 있고, 이것은 가능하게는 목적을 갖는 안구 움직임들에 대한 하나 이상의 기준들이 이러한 조건들 하에서 변경되도록 강제한다.
추가적으로, 간질(epilepsy) 혹은 뇌진탕(concussion)과 관련된 것들과 같은 그러한 일부 안구 움직임 패턴들은 즉각적인 의료적 치료에 대한 필요 혹은 특정 약물(medication)(예를 들어, 인슐린(insulin))에 대한 필요를 표시할 수 있다. 디바이스는 의료적 원조를 위해 자동적으로 호출을 하는 단계들 그리고/또는 약품(들) 혹은 다른 동작들이 요구된다고 경보(alert)하는 단계들을 개시시킬 수 있다. 보통의 안구 움직임들 및 병리학적 안구 움직임들을 파악하기 위한 알고리즘 필터들은 또한, 개체의 건강에 관한 장-기간의 모니터링에 있어 핵심 요소일 수 있다. 이것은 광범위한 신경근(neuromuscular) 장애들, 안과학적(ophthalmologic) 장애들, 혹은 중추 신경계 장애들, 뿐만 아니라 나이에 따른 안구 움직임들 및 행동들의 "보통의" 진행과정을 모니터링하는 것을 포함할 수 있다.
본 명세서에서의 시스템들 및 방법들 내에서 완곡 추종 필터를 구현하는 또 하나의 다른 실시형태는, 이들이 의도 파악을 위해서 (이전에 설명된 바와 같이, 반복 구조들을 형성하는 경우를 제외한) 체류 시간들 혹은 지속되는 안구 깜밖임들에 일반적으로 의존하지 않는다는 것이다. 다수의 상업용 안구-추적 시스템들은 사용자로 하여금 일정 기간 동안 가상의 객체에 초점을 맞추도록(즉, 체류하도록) 요구하거나, 혹은 의도 표시를 위한 선택 프로세스의 일부로서 눈 깜박임을 행하도록 요구한다. 체류는 (대략 0.25초를 요구하는) 지각 및 초점 유지를 요구한다. 종종, 체류가 일어났다는 표시는 뷰잉되는 영역을 확대하는 것을 포함한다. 이것은 시각령에 의한 지각 동안 추가적인 정신적 이미지 프로세싱을 유발한다. 눈 깜박임은 훨씬 더 오랜 기간을 소요하고, 이것은 복잡한 일련의 근육 수축(muscle contraction)들을 요구한다. 눈 깜박임을 위한 최소 시간은 대략 0.3초 내지 0.4초이다.
안구 신호의 컴포넌트들이 임의의 동작가능한 선택을 생성하기 위해 연결(concatenate)되는 경우, 지연들이 축적되어 상당량의 지연들이 형성될 수 있다. 안구의 급박한(jerky) 움직임(및 급박한 디스플레이들)은 부자연스럽고, 불편함 및 불안감을 느끼게 한다. 장-기간의 사용은 몹시 힘들고 피로를 유발한다.
읽는 동안 정형화된 안구 움직임 패턴들을 파악하기 위한 알고리즘 필터들(ALGORITHMIC FILTERS TO DISCERN STEREOTYPIC EYE MOVEMENT PATTERNS DURING READING)
디바이스 착용자의 의도를 파악하기 위한 다른 실시예로서, 안구들의 움직임의 더 복잡한 패턴들이 가상의 혹은 실제 세계 객체들을 관측하는 것의 맥락에서 분석될 수 있다. 안구 움직임들과 결합된 관측된 객체들의 시퀀스 및/또는 아이덴티티에 관한 지식은 디바이스 착용자에 의해 수행되는 정형화된 안구 동작들을 식별하는데 사용될 수 있다. 뷰잉되는 객체들의 시퀀스 및 아이덴티티에 추가하여, 동작들이 사용자 의도를 판별하는 컴포넌트들로서 포함될 수 있다. 이러한 동작들 및 의도들을 파악하는 것은 불연속 모드(즉, 일회의-기간(one time-period)에 걸쳐 행해지는 것) 혹은 연속 모드에서 수행될 수 있다.
안구 움직임들에 의해 식별될 수 있는 정형화된 안구 동작들의 예는 텍스트를 읽는 것이다. 텍스트의 본문이 디스플레이되는 경우, 디바이스 착용자에 의한 도약적 움직임들 및 짧은 정착들의 시퀀스들은 읽는 프로세스가 수행되고 있다는 사실을 파악하는데 사용될 수 있다. 영어와 관련된 전형적인 읽기 프로세스 동안 평균적으로, 도약적 움직임은 (1 내지 20 범위에 있는) 7개 내지 9개의 문자들에 걸쳐 20 밀리초 내지 40 밀리초를 소요한다. 정착은 200 밀리초 내지 250 밀리초를 지속되고, 이것은 초당 대략적으로 네 개의 읽기 도약들을 가능하게 한다. (소재의 난해성(difficulty)에 따라) 시간의 대략적으로 10% 내지 15% 동안, 판독자의 안구들은 역행(regress)한다(즉, 이전에 읽혔던 소재로 다시 되돌아감). 알고리즘 필터는 도약 및 후속하는 정착의 일련의 반복되는 시퀀스들을 자동적으로 식별하기 위해 사용될 수 있다.
읽기가 수행되고 있는 방향들 및 스크립트(script)의 위치들은 또한, 읽기 프로세스가 일어나고 있다라는 사실을 식별하는데 사용될 수 있다. 읽기 프로세스의 식별은 사용자 인터페이스에 대한 맥락을 제공한다. 사용자 인터페이스의 컴포넌트들은 읽기가 수행되고 있다는 사실에 근거하여 후속적으로 변경될 수 있다. 예를 들어, 읽기 동안, 디스플레이 테두리에 도착하면 페이지 넘기기 혹은 스크롤링이 자동으로(즉, 특정의 페이지-넘기기 혹은 스크롤링 커맨드 시퀀스 없이) 일어나도록 될 수 있다.
또한, 판독자들의 신체에 대해 관측된 그리고 일반화된, 혹은 개별 판독자에 특정된 것으로서 코드화(codify)된 도약적 시그니처(saccadic signature)들은 임의의 학생에 대한 학습 프로파일(learning profile)을 증강시킬 수 있고, 이것은 이러한 인식 경우들을 이해에서의 난해성으로서 자동으로 메모(note)한다(이것은 메모들을 발생시키기 위해 포함하는 읽기 속력, 재-추적(re-tracing), 일시정지(pausing), 안구들의-페이지-벗어남(eyes-off-page)에서의 레이트들 및 변화들과 관련되어 있으며, 여기서 메모들의 이와 같은 안구-추적 관련 관측 및 발생이 사용될 수 있고, 다른 관련 콘텐츠, 관심의 소멸, 깊은 관심, 근위 학습(proximal learning)의 비고츠키의 존(Vigotsky's zone), 및/또는 의도적 안구-움직임들(불만으로 인해 안구들을 굴리는 것)을 교차 참조하는 것이 사용될 수 있음). 응시 정보는 머리 움직임들(머리를 좌측-우측 혹은 위-아래로 흔들기)과 같은 다른 감지된 데이터와 결합될 수 있고, 그리고/또는 디바이스 착용자의 관심이-있는-영역을 강조하고, 돌출시키고, 혹은 확장시키기 위한 기입 툴(writing tool)의 관측된 사용과 결합될 수 있다.
읽기 프로세스 동안 정형화된 안구 움직임들을 인식함으로써, 읽는 레이트들, 스킵(skip)되버린 것일 수 있는 그리고/또는 그 반대일 수 있는 임의의 텍스트, 지속되는 주의를 끈 텍스트가 또한 식별될 수 있다. 역행들의 개수, (추가적인 센서들을 사용하는) 저음-유성음화들(sub-vocalization)들, 도약 거리들, 및 정착 시간들은 소재들의 복잡성 및 소재들에 대한 관심을 모두 표시하는 표시자들로서 사용될 수 있다. 이러한 것들은 디바이스 사용자의 관심들(혹은 무관심들)을 식별하고 특징지우기 위한 컴포넌트들로서 사용될 수 있다. 이러한 특징화들은 예를 들어, 탐색 엔진 결과들을 튜닝(tuning)하기 위해, 명령 세트들의 이해의 레벨을 결정하기 위해, 콘텐츠 디스플레이의 레이트를 제어하기 위해, "재추적(retracing)", 능숙함(fluency) 등과 같은 사용자의 읽기 능력들을 인덱싱(indexing)하기 위해 사용될 수 있다.
읽혀지고 있는 것이 무엇인가에 관한 콘텐츠가 사용자 인터페이스를 더 연마(hone)하기 위해 사용될 수 있다. 예를 들어, 만약 디스플레이되는 텍스트 내에 어떠한 하이퍼링크(hyperlink)들도 존재하지 않는다면 매립된 하이퍼링크들을 따르도록 하는 메뉴 선택들을 제공할 필요는 없게 된다. 유사하게, 만약 텍스트의 본문 내에 어떠한 이미지도 존재하지 않는다면, 이미지에 관한 줌 인을 행하기 위한 툴들은 필요가 없게 된다. 불필요한 사용자 인터페이스 툴들의 맥락-감지 배제는 비고의적인 활성화들을 피하는데 도움을 주고, 메뉴 선택들을 간단하게 할 수 있다.
반면, 만약 예를 들어, 일련의 명령들이 읽혀지고 있다면, 이들이 읽혀짐에 따라 이러한 명령들과 관련된 사용자 인터페이스 툴들이 이용가능하도록 하는 것이 판독자에게 도움을 주게 된다. 많은 경우들에서, 본 명세서의 다른 곳에서 설명되는 바와 같이 이러한 툴들에 대한 타겟들을 "눈에 띄지 않는 정도에서 가시적(invisibly visible)"이 되도록(즉, 주의 끌지 않는 방식으로 디스플레이 내에 도입되도록) 하는 것이 적절하다. 디바이스 착용자가 계속 명령들을 읽고 있는 동안, 이러한 타겟들의 형태 및 결과적인 동작들은 무엇이 읽혀지고 있는 가에 근거하여 수정될 수 있다.
훑어 읽기(skim reading)가 또한 독특한 안구 움직임들을 가짐으로써 인식될 수 있다. (예를 들어, 영어 스크립트를 스캐닝하는 동안) 안구의 더 적은 수의 역행들 및 더욱 빠른 수직 움직임들은 훑어 읽기 프로세스를 구분시킨다. 훑어 읽기 프로세스의 인식은 제시의 레이트(예를 들어, 스크롤링 혹은 페이지-넘기기 레이트), 렉사일 레벨(Lexile level), 및/또는 디스플레이되는 정보의 인지 밀도(cognitive density)를 제어하는데 사용될 수 있다.
읽기 동안 도약-정착 시퀀스들의 일반적인 방향들 및 타이밍은 읽혀지는 스크립트의 형태 및 구조에 강하게 의존한다. 예를 들어, 영어, 프랑스어, 독일어, 및 이탈리아어 스크립트는 일반적으로 좌측으로부터-우측으로 읽혀지고, 여기서 임의의 라인(line)의 끝에 도착하면 멀리 있는 좌측편 그 시작 아래에서 새로운 라인이 계속된다. 텍스트의 문장들 및 라인들은 또한 각각의 문단의 시작 및/또는 끝에서 텍스트 내에 의도적인 갭들을 포함할 수 있는 그러한 문단들이 되도록 조직화된다.
대조적으로, 아랍어 및 헤브리어 스크립트는 우측에서-좌측으로 쓰여 진다. 중국어, 일본어, 및 한국어 스크립트의 변형들은 수평으로 쓰여질 수 있거나 혹은 수직으로 쓰여질 수 있다. 일본어 텍스트 읽기 동안, 도약적 움직임들의 크기 및 타이밍은, 일본어 텍스트가 표음문자(phonogram)들(즉, 히라가나 혹은 가타카나)로서 쓰여졌는지 아니면 표의문자(ideogram)들(즉, 간지)로서 쓰여졌는지 여부에 근거하여 변한다. 따라서, 텍스트-읽기를 검출하기 위한 알고리즘 필터들은 상이한 스트크립들을 읽는 경우 존재하는 도약적 움직임들과 정착들의 순차적 방향들 및 정밀한 타이밍에 대해 튜닝돼야만 한다.
만약 디스플레이되는 텍스트의 콘텐츠가 디바이스의 제어 내에 있지 않다면, 디바이스 사용자에 의한 초점의 특정 영역들을 식별하기 위해 응시 추적이 또한 사용될 수 있다. 이러한 영역들은 사이니지, 빌보드(billboard)들, 텔레비젼들, 원격 디스플레이 모니터들, 등 상에 있을 수 있다. 관측 하에 있는 영역들은 또한 만약 요구된다면 본 발명의 기술분야에서 잘-알려진 광학 문자 인식(Optical Character Recognition, OCR) 기법들을 사용하여 디바이스에 의해 실시간으로 "판독(read)"될 수 있다. 이러한 텍스트 콘텐츠는 말소리와 같은 다른 형태들로 옮겨질 수 있고, 그리고/또는 또 다른 시간에서의 검색(retrieval)을 위해 보관될 수 있다. 디바이스 착용자에 의한 응시 패턴들은, 관측된 특정 스크립트 및 객체들, 관측들의 시퀀스, 그리고 식별된 스크립트 및 객체들에 주어진 주의의 정도의 측정을 식별하는데 사용될 수 있다.
객체들을 검사하면서 정형화된 안구 움직임 패턴들을 인식하기 위한 필터들(FILTERS TO RECOGNIZE STEREOTYPIC EYE MOVEMENT PATTERNS WHILE EXAMINING OBJECTS)
다른 예시적 실시예들과 유사한 설명을 따르면, 알고리즘 필터들은 사진들 혹은 예술 작품들과 같은 이미지들의 검사를 검출하기 위해 개발될 수 있다. 이미지들을 뷰잉할 때 스캔-경로들을 예측하기 위한 모델들은 개발되었다. 예를 들어, 현저성(saliency)이 정착의 지속시간들과 상관되는지 여부에 관해 이러한 모델들과 관련된 문헌에서 의미 있는 논쟁이 여전히 존재하고 있다. 그러나, 실제 안구 움직임들을 이러한 수학적 모델들에 의해 예측되는 것들과 상관시킴으로써, 알고리즘들은 디바이스 착용자의 의도가 이미지 내의 특정 객체들의 근접 검사인지를 식별하도록 개발될 수 있다.
기계 학습을 갖는 컴퓨터 시각(computer vision)은 현재 이미지들의 자동화된 해석이 이미지들 내에서 객체들을 식별할 수 있게 한다. 커다란 컴퓨터 데이터베이스들은 현재 모든 객체들이, 알려진 객체들 혹은 객체 종류들로서 자동으로 시각적으로 식별될 수 있도록 구성되고 있다.
일 실시예는 객체들의 객체-응시 데이터베이스를 포함하며, 여기서 객체들은 객체-응시 데이터베이스와의 상호 협력적인 그래픽적으로 지원되는 안구 신호 언어를 사용하여 임의의 안구로-구동되는 상호작용 모델을 통해 임의의 식별된 사용자에 의해 이동가능한(traversable), 액세스가능한, 그리고 제어가능한 개별적 홍채-인증된 응시 데이터, 혹은 집합된 응시 데이터로 태깅되고, 인덱싱되고, 혹은 그렇지 않으면 이러한 데이터와 관련된다.
이러한 시스템은 다수의 맥락들에서 높은 가치를 제공한다. 이러한 시스템은 인간-기계 인터페이스들의 새로운 발생을 가능하게 하기 위해 인간의 생각 및 행동을 객체들과 관련된 응시 패턴들과 관련시키거나 혹은 이러한 응시 패턴들로 추론할 기회를 제공한다.
정적 이미지 내의 객체들의 사용자 검사를 식별하기 위한 파악가능한 안구 움직임 행동의 확장은 실제 세계 내에서 혹은 비디오 이미지들 내에서의 움직이는 객체들의 추적이다. 이러한 경우에, 시간에 따라 달라지는 특정 객체들의 위치들에 관한 지식은 객체가 사용자에 의해 능동적으로 뷰잉되고 있다는 추가적인 확신을 제공할 수 있다.
객체-응시 데이터는 사람에 의해 뷰잉되는 특정 객체들에 대해 기록(log)된 응시 데이터 혹은 관련 객체들의 종류들에 대해 기록된 응시 데이터를 사용하여 임의의 개체에 대해 캡처될 수 있다. 객체-응시 데이터는 또한 동일한 객체, 유사한 객체들의 인스턴스(instance)들, 및/또는 객체들의 종류들을 관측하는 사용자들에 대해 집합될 수 있다.
이러한 객체-응시 데이터는 증강 현실 혹은 가상 현실과 함께 사용되는 상호작용 모델에 의해 활성화되는 응시-기반 사용자 인터페이스 내에서 사용될 수 있다. 이러한 사용자 인터페이스는 또한 머리 움직임, 손 움직임, 음성, 및 다른 물리적 혹은 측정가능한 두되에-의해-발생되는 신호들을 포함하는 다중모드 사용자 인터페이스일 수 있다.
사용자의 의도를 안구 움직임들을 통해 동작으로 변환하는 이러한 상호작용 모델은 객체-응시 데이터베이스 내에 저장된 응시 패턴들의 시그니처를 통해 활성화될 수 있거나, 혹은 강화될 수 있다. 이러한 객체-응시 시그니처들은 사용자에 의해 관측되는 특정 객체들에 대해 캡처될 수 있고 그리고 분석될 수 있다. 객체-응시 시그니처들은 특정 객체들의 제 1 관측들, 후속적인 관측들, 및/또는 맥락 데이터에 의해 분류될 수 있다. 객체-응시 데이터는 또한 유사한 객체들 혹은 객체들의 종류들에 대해 캡처될 수 있고 그리고 사용될 수 있다. 용어 객체는 임의의 식별가능한 이미지 - 사람, 장소, 물체, 혹은 반사된 광선들의 임의의 식별가능한 세트를 지칭한다.
객체-응시 시그니처 데이터는, 엔터테인먼트(entertainment), 게이밍(gaming), 정보, 제어, 행동 변화, 심리학적 혹은 생리학적 치료, 학습, 창의성 증진, 스포츠 성과 향상, 전투(combat), 통신, 및 그 이상의 분야들에서 "증강 현실" 이미지로서 사용자의 물리적 환경의 사용자의 뷰잉 상에 오버레이(overlay)되는 시각적 자극을 제공하는 시스템 간에 일어나는 대화에 정보를 제공한다.
증강 현실 디스플레이 내에 그래픽 정보를 제시함에 있어서, 상호작용 모델은 어떤 시각적 증강을 제시할 것인지, 언제 제시할 것인지, 그리고 사용자의 시계 내에서 어디에 제시할 것인지를 결정할 수 있다. 객체 혹은 객체들에 대해서 사용자 혹은 사용자들에 대한 이전의 객체-응시 시그니처들에 관한 지식은, 증강 엔진(augmentation engine)으로 하여금 상호작용 모델 내에서의 안구-신호 언어의 컴포넌트로서 원하는 응시 패턴을 달성하기 위해 혹은 원하지 않는 응시 패턴을 피하기 위해 그래픽들을 배치할 수 있게 한다.
증강 현실 혹은 가상 현실에서의 안구로-구동되는 상호작용 모델에서는, 특정 결과물들을 달성하기 위해 사용자가 실행할 수 있는 의식적, 명시적, 정착 및 추종 동작들이 존재한다. 예를 들어, 사용자는 임의의 객체를 바라볼 있고, 그 다음에 그 객체를 활성화시키기 위해 활성화 요소를 바라볼 수 있고, 혹은 사용자는 임의의 동작을 개시시키기 위해 임의의 규정된 패턴으로 움직이는 임의의 움직이는 객체를 추종할 수 있다. 시스템은 예측가능한 응시 패턴들에 근거하여 사용자의 의도를 결정하기 위해 사용자의 시계 내에 그래픽들을 배치한다. 이러한 실시예에서, 객체-응시 시그니처들에 관한 지식은, 정착들 및 추종들에 의해 구분가능한, 그리고 객체들의 세트에 대한 정착들 및 추종들의 사용자의 자연스러운 응시 패턴과는 구분되는 위치들에 정적 및 동적 활성화 그래픽들을 배치하기 위해 사용된다.
다른 정형화된 안구 움직임 패턴들의 발생 및 인식(GENERATION AND RECOGNITION OF OTHER STEREOTYPIC EYE MOVEMENT PATTERNS)
스포츠에서, 전문적인 운동 선수들의 객체-응시 시그니처는 물리적 활동의 매우 중요한 순간(critical moment)들을 동반한다. 예를 들어, 테니스에서 서브(serve)하기 전 및 서브하는 동안, 농구에서 슈팅(shooting)하기 전 및 슈팅하는 동안, 축구에서 패스(pass)하기 전 및 패스하는 동안, 골프에서 스위(swing)하기 전 및 스윙하는 동안, 그리고 다른 스포츠에서 이러한 객체-응시 시그니처들은 전문가들에 걸쳐 공통적인 요소들을 보여주도록 관측되게 된다. 증강 현실(Augmented Reality, "AR") 환경에서, 그래픽들은 사용자의 응시를 전문가의 응시를 모방(mimic)하도록 지향시키기 위해 핵심 타겟 객체들(테니스 공, 농구 골대(basketball hoop), 리시버(receiver), 골프 공, 등)에 대해 상대적으로 적절한 위치들에 배치될 수 있다. 역으로, 그래픽들은 사용자의 응시를 다른 위치들로부터 벗어나게 지향시키도록 보여질 수 있다. 시간 경과에 따라 사용자의 객체-응시 시그니처를 모니터링하는 것은 시스템으로 하여금 그래픽 상호작용을 분석하게 할 수 있고 발전(evolve)시킬 수 있게 한다. 적절한 자극들은 다양한 활동들에서 초보자의 기술(skill)들의 개발을 가속화할 수 있다.
게이밍 환경에서, 게임은 전형적으로 뷰잉되지 않는, 빈번하게 뷰잉되지 않는, 혹은 예측가능한 시퀀스들에서 뷰잉되지 않는 위치들에서 객체들 내의 위치들에서의 "눈에 띄지 않는 정도에서 가시적"인 그래픽 요소들을 숨기도록 설계될 수 있다. 다른 객체들의 도입이 특정적으로 주의를 끌도록 설계될 수 있다. 이러한 그래픽들이 뷰잉될 때, 뷰잉되지 않을 때, 혹은 시퀀스에서 뷰잉될 때 상호작용 모델에 의해 동작들이 행해질 수 있다. 정의된 응시 활동에 근거하여 포인트(point)들이 수여(award)될 수 있거나, 혹은 게임 플레이(game play)가 변경될 수 있다.
"감금된(locked-in)" 사람들을 포함하는, 한정된 이동성(mobility)을 갖는 개체들 혹은 이동성이 없는 개체들, 그리고/또는 안과학적 혹은 신경학적 장애들을 갖는 개체들의 필요(need)들을 처리하는 것은 필요들 및 패턴 분석들의 특별한 세트들을 제시한다. 안구 신호 언어 및 원리들은 이러한 특별한 경우들을 만족시키도록 조정될 수 있다. 예를 들어, 전정-안근 반사작용들에 대한 의존성은 제거될 수 있다. 신경학적 장애들의 다른 형태들은 결과적으로 좌측 안구와 우측 안구에서의 움직임들 간의 동기화가 감소되게 한다. 이러한 경우들에서, 이향 운동은 통신 컴포넌트로서 제거될 수 있다. 다수의 신경학적 장애들은 결과적으로 움직임들에서 떨림들 혹은 진동들이 겹쳐지게 한다. 이러한 움직임들은 디지털방식으로 필터링될 수 있다. 감금될 수 있는 사람들을 포함하는 일부 고-레벨 척추 횡절단 개체(spinal transection individual)들에서 수직 안구 움직임들에 대한 의존성이 증가되는 경향이 존재한다. 안구 신호 접근법의 자체-조정 성질이 이러한 개체들을 수용하기 위해 사용될 수 있다.
다른 상황들이 또한 안구 신호 언어 접근법 내에 수용될 수 있다. 예를 들어, 텍스트가-없는 간단하게 된 메뉴들이 매우 젊은 사람에게 제시될 수 있다. 안구 신호 단계들의 타이밍은, 특히 지각과 관련된(특히, 밝기 혹은 깊이에서의 변화들에 대한 응답들을 포함하는 지각과 관련된) 안구 신호 단계들의 타이밍은, 노인들을 위해 조정될 수 있다. 선택들을 구분하기 위해 컬러를 사용하는 것은 색맹일 수 있는 사람들을 수용하기 위해 피해질 수 있거나 제거될 수 있다.
인지 부하 관리(COGNITIVE LOAD MANAGEMENT)
객체-응시 데이터베이스에서 캡처된 맥락-감지 응시 패턴 식별은 인지 부하의 디바이스 관리에 정보를 제공하기 위해 사용될 수 있다. AR 디스플레이 내에서의 정보의 제시를 튜닝하는 것, 혹은 가상 현실(Virtual Reality, "VR") 환경 내에서의 정보의 제시를 튜닝하는 것은 인지 부하 관리의 핵심 컴포넌트이다. 예를 들어, 때때로, 물리적 혹은 가상의 객체들 상에서 직접적으로 정보에 액세스하기 위한 옵션(option)들 또는 정보를 디스플레이하는 것은 바람직할 수 있다. 다른 시간들에서는, 인지 부하를 관리하기 위해, 숨겨진 메뉴들에 대한 명확한 액세스를 제공하는 것, 또는 동작들(안구 신호들, 손 제스처들, 손 움직임들, 의도적 혹은 암시적 뇌파 활동)의 규정된 세트를 따르는 사용자에게 표출될 수 있는 다른 행동 유도성(affordance)들을 제공하는 것, 또는 시스템/사용자 자극들 응답들의 교환을 포함하는 시스템과의 대화를 통하는 것이 바람직할 수 있다.
예를 들어, 응급 구조 기능을 수행하는 개체를 고려한다. 이러한 개체의 의도는 동작의 계획을 결정하고 후속적으로 동작의 계획을 수립하기 위해서 정보를 수집하는 것에 극도로 초점을 맞추고 있다. 이러한 수집 국면은 특정의 맥락적으로 관련된 절차들에 액세스하고 이들을 참조하는 것, 그리고 결과적으로 이러한 시각적으로 제시된 정보에 초점을 맞추는 것을 포함할 수 있다.
시스템은 화염들 내의 전복된 자동차에 갇힌 개체를 위해, 사용자로 하여금 단지 몇 분만에 피해자를 추출할 수 있게 해당 상황에 대한 특정 정보(예를 들어, 가스 탱크의 위치, 화염 온도)가 스크린의 임의의 구역 상에 팝업(popup)으로서 텍스트로 나타날 수 있게 결정할 수 있다. 만약 구조자들의 안구가 해당 상황에 친숙하지 않음을 시사하는 패턴을 보여준다면, 정보의 제시는, 일부 이미지를 차단(blocking)함으로써, 혹은 단지 핵심 구역들만을 강조함으로써, 정신 착란들을 제거할 수 있다. 만약 구조자가 해당 시나리오에 경험이 있는 것처럼 보인다면, 정보의 제시는 더 치밀하고 빨라질 수 있으며, 이것은 구조자에 의한 지식 및 경험에 근거하여 더 빠른 동작을 지원한다.
전문가/초보자 맥락적 정보 및 동작 교환의 이러한 예들은 광범위한 상황들 및 역할들로 확장되는데, 그 범위는 최초 대응자들(경찰, 소방관들, 긴급 의료원(paramedic)들, EMT(즉, 응급 구조 대원(Emergency Medical Technician))들로부터 정보 기관(intelligence community)의 요원들까지, 그리고 군대(military)까지, 그리고 광범위한 전문직 종사자들(외과 의사들, (언급된 바와 같은) 운동 선수들, 공연자(performer)들 및 그 이상)까지 이른다.
AR 시나리오에서 정보를 제시하는 경우, 정보는 광범위한 그래픽 형태들을 취할 수 있다. 정보는 텍스트, 심볼들, 객체들 위에 오버레이될 수 있고, 또는 물리적 객체들의 디스플레이에서 변경들의 형태를 가질 수 있는데, 예컨대 글로(glow), 오라(aura), 컬러 혹은 텍스처의 변경, 크기의 변경, 하나의 객체의 또 하나의 다른 객체로의 대체, 또는 움직임 혹은 동적 변경들, 또는 앞서의 것들 중 임의의 것의 변이들, 또는 이러한 것들의 조합과 같은 것이 있을 수 있다.
이러한 정보는 앞서 언급된 활동들 중 임의의 것을 지원할 목적으로 제공되거나, 혹은 간단히 디바이스 사용자에게 정보를 제공할 목적으로 제공된다. 이러한 정보의 제시는 그 의도된 사용을 강화하기 위해, 예측된 객체-응시 시그니처들로 조절될 수 있다.
시각적으로 제시된 정보와의 상호작용을 지원하는 행동 유도성들의 선택은 적절한 사용자 의도를 유도 및/또는 달성하기 매우 중요하다. 예를 들어, 일부 상황들에서는 도약적으로 파악가능한 행동 유도성들을 사용하는 것이 가장 좋을 수 있고, 다른 상황들에서는 갭 효과 행동 유도성들을 사용하는 것이 가장 좋을 수 있고, 또는 다른 상황들에서는 추종-추적 행동 유도성들을 사용하는 것이 가장 좋을 수 있다. 동작들에 대해 적절한 객체들 상에서의 그리고/또는 객체들 가까이에서의 iUi 사용자 인터페이스 안구 신호 배치는 일부 애플리케이션들에서 중요할 수 있다. 예를 들어, 적절한 행동 유도성들을 갖는 안구 신호가 자동적으로 생성될 수 있고, 이것은 객체 상에 혹은 객체에 인접하여 배치되는 동적 행동 유도성들을 통해 도약들의 임의의 획득된 시퀀스를 유발시키며, 객체-응시 데이터베이스 내의 그 데이터에 대한 S[diaa](동적인 비고의적 활성화 회피를 갖는 신호(Signal with dynamic inadvertent activation avoidance))는 도약들의 구분가능한 패턴에 의한 전형적인 관측을 표시하고, 또는 사용자의 자연스러운 도약적 시그니처에 의해 복제되지 않을 도약들의 특정 시퀀스를 표시한다. 이에 따라, S[diaa]는 시스템에 의해 동적으로 생성 및 배치될 수 있다.
다른 감각 데이터(sensory data)와 결합되는 객체-응시의 더 복합적인 시그니처들은, 의도를 달성하기 위해, 인지 부하를 관리하기 위해, 감정적으로 만족을 주는 경험들을 달성하기 위해, 인간 기계 효율을 향상시키기 위해, 인간 마음을 AI 엔티티와 병합하기 위해, 그리고 그 이상의 것을 행하기 위해 시스템과 사용자 간의 대화의 특별한 범위를 획득하는데 사용될 수 있다. 강화된 지능적인 동적 대화가 일어날 수 있는 다른 범주(category)들은, 엔터테인먼트, 게이밍, 행동 변화, 심리학적 혹은 생리학적 치료들, 학습, 창의성 증진, 스포츠 성과 향상, 전투, 통신 향상, 및 그 이상의 것들을 포함한다.
사용자의 마음 상태 파악(DISCERNING A USER'S STATE OF MIND)
다른 실시예들에서는, 안구의 상이한 컴포넌트들의 기하학적 구조에서의 변화들 및 안구 움직임들에 근거하여 상이한 감정들이 파악될 수 있다. 예를 들어, 인지 부하 및 두려움(fear)과 같은 인자들은 동공들의 검출가능한 팽창을 쉽게 일으킬 수 있다. 디바이스 착용자에 의해 뷰잉되는 객체들에 관한 지식과 결합되는 경우, 의도를 또한 파악하는 것이 가능하다. 예를 들어, 만약 거미 혹은 거미의 그림이 동공 팽창을 일으킨다면, 디바이스 착용자는 거미들을 두려워할 수 있다(즉, 거미공포증(arachnophobic)이 있다)고 결론을 내릴 수 있다. 개체들은 일반적으로 다수의 상이한 공포증(phobia)들을 가질 수 있다. 디바이스 착용자에 의한 다양한 공포증들을 고려함으로써, 예를 들어, 두려운 응답들을 유발하는 것을 피하도록 (특히, 광고자들에 의해서) 콘텐츠를 커스터마이징하는 것이 가능하다.
유사하게, 만약 동공 팽창이 수학적 방정식 혹은 애완 동물과 같은 객체들의 제시 및 뷰잉으로부터 온 것이라면, 그 방정식과 관련된 수학 혹은 뷰잉되는 동물과 관련된 것들에 관심이 존재한다고 파악될 수 있다. 이러한 경우에, 현저성 인자(saliency factor)가 해당 방정식 혹은 동물에 할당될 수 있다. 이러한 인자들은 예를 들어, 특정 방정식들 혹은 동물들, 혹은 밀접하게 관련된 아이템들을 검색함으로써 탐색들을 강화시키기 위해 사용될 수 있다.
동공 팽창은 두려움을 발생시키는 객체들을 뷰잉하는 것으로부터 일어날 수 있음이 또한 잘-알려져 있다. 따라서, 심장 박동수(heart rate) 혹은 안구 움직임들(예를 들어, 아래에서 설명되는 안티-도약적 움직임들)의 특정 패턴과 같은 다른 인자들이 이러한 모호성들을 해결하기 위해 포함될 수 있다. 디바이스 사용자의 전체 상태(들) 및 조건(들)을 분류하기 위한 다중인자 접근법들은 아래에서 더 상세히 설명된다.
역으로 그리고 다른 예시적 실시예들로서, 안티-도약 안구 움직임들은 디바이스 착용자의 안구들을 특정 객체 혹은 객체들의 종류로부터 벗어나도록 하는 것과 관련된 움직임으로서 검출될 수 있다. 이러한 안티-도약 안구 움직임들, 그리고 안티-도약적 움직임들의 대상들인 실제 혹은 가상의 객체들의 식별로부터, 디바이스는 디바이스 착용자에 의해 회피되는 특정 객체들 및/또는 객체들의 종류들을 "학습(learn)"할 수 있다. 공포증들과 유사하게, 특정 디바이스 착용자에 의한 안티-도약들과 관련된 객체들의 디스플레이는, 만약 요구된다면, 회피될 수 있다.
사용자의 마음 상태를 이해하기 위해 그리고 iUi GUI 행동을 지원하기 위해 객체-응시 측정들로부터 도출되는 다른 해석들은, "공상적(daydreaming)" 응시 움직임들로부터 "목적을 갖는(purposeful)" 응시 움직임들을 구분하는 것, 그리고 다른 기록된 감각 데이터 혹은 맥락 데이터와 관련된다.
광고에 있어서, 예를 들어, 개체가 아침에 일하기 위해 운전하는 동안 우유를 광고하는 빌보드를 응시하는 그러한 개체에 대해 응시 및 뷰잉되는 객체 데이터가 수집될 수 있다. 응시 데이터는 또한, 사용자의 활동들(차 안에서 논의, 작업 혹은 레크레이션 운전(recreational driving), 사용자가 아침을 먹어 버렸는지 여부, 그리고 사용자가 우유와 함께 시리얼(cereal)을 먹었는지 여부), 뿐만 아니라 다른 감각 데이터와 함께, 타임-스탬핑(time-stamp)될 수 있고, 위치 스탬핑(location stamp)될 수 있고, 맥락 스탬핑(context stamp)될 수 있다. 응시-객체 데이터베이스는 임의의 연장된 기간에 걸쳐 임의의 주어진 개체에 대한 유사한 세부적 응시 데이터, 맥락 데이터, 감각 데이터 및 그 이상의 데이터와 함께, 관측된 모든 객체들에 관해 구축될 수 있다. 이러한 기록된 응시 데이터의 사용은 우유와 관련된 정보 혹은 특정 상표와 관련된 정보의 후속 제시에 공헌할 수 있고, 여기서 사용자는 구매와 같은 동작을 유발하도록 주의가 끌릴 수 있다.
임의의 장면을 탐색하는 것과 관련된 안구 움직임들의 패턴들은 해당 장면의 복잡도에 대한 강한 의존성을 갖는다. "지각 범위(perceptual span)"(즉, 유효 시각의 범위)는 읽기 혹은 장면 지각과 비교하여 탐색을 행하는 안구 움직임들 동안 확장된다. 도약들은 일반적으로 더 짧고, 정착들은 지속되는데, 이 경우 임의의 장면의 특정 영역들 내에는 더 많은 클러터(clutter) 혹은 밀도(density)가 있게 된다. 구두로(verbally) 설명되고 있는 혹은 생각되어 지고 있는 객체들을 바라보는 강한 경향이 또한 존재한다. 따라서, 탐색을 행하는 안구 움직임들(즉, 더 긴 도약들 및 더 짧은 정착들)을 관심이 있는 객체들과 관련된 안구 움직임들(즉, 더 긴 정착들 및 클러스터(cluster)를 이룬 도약들)과 구분하는 것이 가능하다. 사용자의 응시 방향과 실제 세계 혹은 비디오 이미지 내에서의 움직이는 객체의 경로 간의 높은 상관관계는 특정의 움직이는 객체를 향한 사용자 주의를 표시한다.
다른 예로서, 개체에 대해 끌리는 혹은 혐오스러운 객체들 및 객체들의 종류들은 추론 프로세스(reasoning process)들을 강화하기 위해 기계 학습 혹은 인공 지능(Artificial Intelligence, AI) 스킴(scheme)들에서 집합적으로 사용될 수 있다. 예를 들어, 관심이 있는 토픽(topic)들 혹은 인지 증가를 강제하는 토픽들에 관한 지식은 고-레벨 사고(high-level thought)에서 도움을 주는 데이터 검색 및 탐색 엔진 결과들을 구성하는데 사용될 수 있다. 이러한 시나리오에서, 디바이스 착용자의 초점은 탐색 및 정보 디스플레이의 메커니즘들에 지적 리소스(intellectual resource)들을 소비함이 없는 실-시간 인지 프로세스들에 있을 수 있다. 선호도(preference)들은 과거 상호작용들, 그리고/또는 디바이스 사용자에 의해 선택된 것들 및 수정된 것들에 근거하여 디바이스에게 알려져 있게 된다.
유사한 설명을 따르면, 개체의 관심들 및 혐오들(여기에는 안구 움직임들에 의해 파악되는 것들이 포함됨)은 아바타(avatar)들의 행동에서 반영될 수 있다. 아바타들은 임의의 개체의 식별된 특징들 중 하나 이상의 특징들(여기에는 모든 특징들이 포함됨)을 반영하도록 구성될 수 있다. 이러한 행동 특징들은 게이밍(gaming), 롤 플레잉(role playing), 행동 치료(behavioral therapy)들, 개체들의 응답들을 예측하는 것, 등에서 사용될 수 있다.
언급된 바와 같이, 다양한 감각 데이터는 응시 및 객체 데이터베이스 내에서 유지될 수 있고, 그리고 또한 사용자 의도를 파악함에 있어 유용할 수 있다. 예를 들어, 사용자의 얼굴을 관측하는 카메라 데이터, 얼굴의 영역들, 피부 움직임의 구역들, 에크만(Eckman)의 FACS를 통해 해석된 것들은 사용자 감정을 파악하기 위해 사용될 수 있다. 이러한 카메라 혹은 카메라들은 임의의 형태의 HMD 내에 배치될 수 있거나, 혹은 디스플레이 없는 착용가능 머리 장착 디바이스 내에 배치될 수 있다. 사용자의 감정 상태가 파악될 수 있는 경우, 실제의 원격 캐릭터(character)들을 위한 가상 캐릭터들 혹은 아바타들, 또는 하이브리드(hybrid)형 AI/인간 캐릭터들이 이러한 감정 통신에 응답할 수 있다. 일 실시예는 아바타의 얼굴 및/또는 안구들이 착용자의 모니터링되는 감정 상태(들) 및 변이들을 모방 혹은 전달하는 그러한 아바타의 사용을 통해 존재할 수 있다.
다른 실시예로서, 안구 움직임들 및 다른 이용가능한 입력들(여기에는 예를 들어, 해당하는 날의 시간, 머리 모션, 그리고 시계 내에서의 실제 아이템들, 뿐만 아니라 가상의 아이템들이 포함됨)로부터 의도를 파악하기 위해 다양한 분류화 접근법(classification approach)들이 사용될 수 있다. 사용자 의도의 이러한 분류화가 갖는 주된 문제는 안구들과 관련된 움직임이 다수의 상이한 목적들을 가질 수 있다는 것이다. 일상적인 활동의 수행 동안 환경을 조사하고 그리고 더 면밀히 관측함에 있어 안구들은 매우 중요할 뿐만 아니라, 움직임들은 또한, 깜짝 놀람 응답(startle response)들, 소위 공상(day dreaming), 제스처들, 발란스(balance), 인지 부하 등과 관련될 수 있다. 안구 움직임들은 심지어 뉴스의 수신에 응답하여 사용자의 안구들을 굴리는 것과 같은 환경을 뷰잉하는 것과 거의 관련이 없는 활동들과 관련될 수도 있다.
안구 신호 디스플레이 기술들(EYE SIGNAL DISPLAY TECHNOLOGIES)
상이한 실시예들에서, 안구 신호 언어 및 커맨드 세트는 안구 가까이에서 그리고 안구로부터 떨어져 이들 모두에서 다수의 상이한 디스플레이 디바이스들 및/또는 이미지 프로젝션 기술들을 사용하여 실행될 수 있다. 헤드웨어 상에 장착되는 디스플레이 디바이스들은 HMD들, AR 디스플레이들, VR 디스플레이들, 등을 포함할 수 있다. 디스플레이 디바이스들은 착용자의 시계의 일부분을 커버할 수 있고, 전체 시계를 커버할 수 있고, 반투명할 수 있고, 또는 불투명할 수 있다. 안구로부터 0.1 미터에서 0.5 미터에 이르는 범위 내에서 가장 자주 사용되는 디스플레이 디바이스들은, 스마트 폰들, 미니-태블릿들, 커진 폰(enlarged phone)들, 미니-랩탑들, 벽-장착 디스플레이(wall-mounted display)들(예를 들어, 온도 조절 장치), 크레딧 카드 판독기(credit card reader)들, 등을 포함한다. 사용자의 안구로부터 대략 0.5 미터에서 수 미터에 이르는 거리에서 사용되는 디스플레이 디바이스들은, 컴퓨터 디스플레이 모니터들, 태블릿들, 랩탑들, 컨버터블(convertible)들, 텔레비젼들, 금전 등록기 디스플레이(cash register display)들, 등을 포함한다. 심지어, 커다란 포맷의 디스플레이 디바이스들(이들은 종종 복수의 디스플레이들로 구성됨)과 함께, 예컨대 경기장(stadium)들 내의 대형 스크린들 혹은 빌보드들과 함께 안구 신호들을 사용하는 상호작용들도 존재할 수 있다.
시스템은 사용자에 의해 뷰잉가능한 디스플레이 디바이스를 포함할 수 있다. 디스플레이 디바이스는 사용자의 시각이 (VR 안경(VR glasses)에서 발견되는 디스플레이들과 같은) 디바이스 착용자의 환경의 임의의 일부분 혹은 모든 부분을 뷰잉하는 것를 차단할 수 있다. 대안적으로, 디스플레이 디바이스는, 임의의 스크린 혹은 프로젝션된 디스플레이의 일부분 혹은 모든 부분 내에서 반투명 모드 혹은 준-투명 모드로 정보를 디스플레이함으로써, 디바이스 착용자로 하여금 사용자의 환경의 일부분 혹은 모든 부분을 뷰잉하게 할 수 있다. 이러한 스킴들은 일반적으로 착용가능 헤드-업 디스플레이 디바이스(wearable heads-up display device)들 및 AR 디바이스들 내에서 사용된다. 디스플레이 디바이스는 또한 디바이스 착용자로부터 떨어진 위치, 하지만 뷰잉될 수 있는 위치에 위치할 수 있다. 디스플레이는 하나 이상의 디스플레이 스크린들, 하나 이상의 프로젝션 디바이스들, 사이니지, 등을 포함할 수 있다.
일부 디스플레이 디바이스들은 정보를 디스플레이하기 위해 임의의 한정된 해상도(예를 들어, 사이니지) 혹은 구역(예를 들어, 스마트 안경)을 가질 수 있다. 디스플레이 모니터가 작고 그리고/또는 사용자/관측자로부터 떨어져 적절히 위치하고 있는 경우 유사한 고려들이 역할을 하게 된다.
안구 신호 스크린 레이아웃(EYE SIGNAL SCREEN LAYOUT)
취약한 스크린 레이아웃, 일관적이지 못한 응답들, 안구 움직임들의 생리학적 현상을 고려하지 않는 것, 그리고 지속되는 지연들은 사용자로 하여금 안구 신호 언어 내에서 반복적으로 맥락을 읽어버리게 할 수 있다. 인자들, 예컨대, 응시 추적 해상도, 상이한 안구 움직임들의 지연들 및 속도들, 상이한 뷰잉 영역들(망막 중심와 영역, 망막 부중심와 영역, 및 주변 영역) 내에서의 안구의 "주의를 끄는" 요소들, 상호작용가능한 것들의 형태 및 배치에서의 일관성(consistency), 그리고 광범위한 다른 인자들은 안구 신호들과 효과적으로 통신하기 위한 능력에 영향을 미친다.
예들로서, "표출(reveal)들"은 망막 부중심와 영역(parafoveal region)들(시각축(visual axis)으로부터 대략 최대 10o) 대(versus) 망막 중심와 시계(foveal field)들(대략 최대 2o) 및 망막 중심와 주위 시계(perifoveal field)들에 위치하는 경우 맥락 유지(context maintenance)를 지원한다. 응시 정확도가 +/- 0.5o인 경우, 또는 6x3의 형상(예를 들어, 도 6 참조) 혹은 5x3의 형상(예를 들어, 도 7 참조) 상에서의 일반적인 한계 내에 있는 경우, 대략 16o의 범위를 커버하는 디스플레이 구역 내의 선택가능한 영역들, 표출들이, 예를 들어, 더 시각적인 맥락을 확립 및 유지하기 위해 망막 부중심와 구역 내에서 객체들 가까이 배치될 수 있다.
본 발명의 시스템들 및 방법들의 추가적인 전략은 상호작용가능한 것들의 전략적 배치 및 맥락 그룹화이다. 예시적 실시예들 내에서, 의도를 전달하기 위한 일부 프로세스들 동안 경험이 있는 사용자들에 의해서는 심지어 객체들을 "지각(perceive)"하기 위한 시간도 요구되지 않는다. 예를 들어, (임의의 시간에) 메인 메뉴를 보여주는 홈 스크린(home screen)으로 되돌아가기 위해서, 사용자는 위쪽-우측의 특별한 메인 표출 상호작용가능한 것(special main reveal interactable)(도 6 내지 도 10 참조)으로의 기억-유도 도약을 전개(deploy)할 수 있고, 그 다음에 바로 아래에 있는 표출된 "홈(home)" 표출로의 기억-유도 도약을 즉시 실행할 수 있다. 이것은 홈 스크린 메인 메뉴로 되돌아가는 프로세스를 완료한다. 메인 표출 상호작용가능한 것을 실제로 지각할 필요가 없고, 실제로, 이러한 상호작용가능한 것은, 초기 도약이 그 타겟에 도착하자마자 사라질 수 있고, 혹은 심지어 안구가 그 상호작용가능한 것에 도착하기도 전에 사라질 수 있으며, 후속의 도약을 위해 안구는 "해방(releasing)"된다(즉, 소위 갭 효과). 이처럼, 메인 표출 상호작용가능한 것은 기억-유도 도약들 및 후속하는 (지각없이 수행되는) 즉각적인 두 번째 도약에 대해서 (전부는 아니더라도) 대부분 시간들에서 동일한 장소에 위치한다.
일부 실시예들 내에서의 일부 상황들에서, 일정 기간 동안 타겟의 위치에 이미지를 남기는 것이 바람직할 수 있다. 이러한 시간은, 1) 타겟에 관한 인식(awareness)은 존재하지만 타겟이 완전하게 지각되지는 않는(여기에는, 단지 수 밀리초 내지 수십 밀리초 이후 "섬광(flash)과 같은 것"의 제거가 포함됨) 그러한 시간일 수 있고, 2) 타겟 이미지의 지각은 존재하지만, 지각을 위해 필요한 것보다 어떠한 더 긴 시간도 지속되지 않거나 혹은 "머물러 있지(hang around)" 않는 그러한 시간일 수 있고, 3) 안구가 해당 위치로부터 벗어나 움직이기 시작하기 전까지 타겟의 명확한 지각이 존재하는 그러한 시간일 수 있고, 또는 4) 임의의 동작 혹은 어떤 다른 동작이 수행될 때까지 타겟이 지속되는 그러한 시간일 수 있다.
대조적으로, 완곡 추종 안구 움직임들의 타겟인 상호작용가능한 것들은 모션이 개시될 수 있기 전에 먼저 지각돼야만 하고, 그리고 후속적으로 생리학적 완곡 추종을 위해 최대 값들(초당 30o) 아래의 적절한 속도들에서 유지돼야만 한다. 지각의 범위 내에서 초기에 출현하는 추종 객체들은, 타겟 상호작용가능한 것의 구조에 충분히 가까이 배치되는 경우(예를 들어, 1o 내지 3o의 망막 중심와 뷰잉 영역 내에 적절히 배치되는 경우) 혹은 심지어 타겟 상호작용가능한 것의 구조 내에 배치되는 경우에도, 중간에 개입하는 도약적 움직임(들)을 피할 수 있다(도 13 참조). 만약 예를 들어, 추종 객체가 지각 전에 그 선택된 상호작용가능한 것으로부터 벗어나 일정 거리 움직였다면(예를 들어, 1o 내지 3o의 망막 중심와 뷰잉 영역 밖으로 움직였다면), (불필요한 시간을 차지하는) 도약이 일어나도록 강제될 수 있다. 따라서, 초기 디스플레이(들)의 타이밍, 움직임 시작 전의 임의의 지연들, 그리고 움직임의 레이트(들)는 모두 완곡 추종 메커니즘들을 사용하는 안구 신호 제어를 위해 매우 중요하다. 타이밍은 예상된 안구 움직임들의 생리학적 현상을 고려해야만 하고, 최적으로는 (경험이 획득됨에 따라 이를 포함하는) 각각의 디바이스 사용자에 대해 튜닝될 수 있는 자체-조정 컴포넌트들을 포함해야 한다.
추종 프로세스는 또한, 선택들 및 일반적인 형상 생성을 또한 가능하게 하기 위해 비-선형 방식으로 움직일 수 있는(예를 들어, 중간 지점(waypoint) 스톱(stop)들 및 포크(fork)들(즉, 2-방향 분할(split)들)을 갖는) 객체들의 추종을 포함하도록 수정될 수 있다.
본 발명의 시스템들 및 방법들의 추가적인 전략 및 실시예는, 안구 움직임 시퀀스의 종료 위치에 도착했으며 동작이 개시되었다는 사용자에 대한 피드백으로서 "친숙한(familiar)" 썸네일을 디스플레이하는 것을 포함한다. 생리학의 분야 내에서, 시각적 객체들의 인식에 대해 두 개의 모드들이 존재한다고 받아들여지고 있다. 1) 객체에 관한 회상(recollection)(이것은 또한 "기억(remembering)"으로서 알려져 있음)은 이전의 경험의 기억으로부터 세부사항들을 기억해 내는 것을 포함한다. 2) 반면, 친숙함(이것은 "알고 있음(knowing)"으로서 알려져 있음)은 기억을 해내는 (상대적으로 느린) 장-기간의 기억 탐색 없이 객체가 이전에 경험되었다는 느낌을 발생시킨다. 최근에 뷰잉된 객체 혹은 디스플레이 영역을 장-기간의 기억으로부터 기억해 낼 필요성을 피하는 것은 인지 부하를 감소시키고, 그리고 안구 상호작용들로 의도를 전달하는 속력을 높일 수 있다.
이러한 원리들을 사용하여, 안구 신호 언어 내에 임의의 단계를 등록하는 "친숙함" 인정(acknowledgement)은 방금 뷰잉된 장면의 썸네일을 디스플레이하는 것이다. 예를 들어, 도약적 론칭 위치의 해당 영역(예를 들어, 상호작용가능한 것, 이미지의 절단된 세그먼트(cut-out segment), 텍스트의 작은 블록)은 동작(혹은 선택의 컴포넌트)이 수행되고 있음을 인정하도록 도약적 도달 위치에서 복제(duplicate)될 수 있다. 친숙한 이미지의 이러한 전달은 또한 선택들을 동작들과 시각적으로 "연결(linking)"시키는 심리학적 효과를 갖고, 이것은 안구-신호 언어를 더 직관적이도록 한다.
본 발명의 시스템들 및 방법들의 또 하나의 다른 전략은 망막 부중심와 및 주변 시계들에서 객체들의 인간 지각의 개별적 특성들을 고려하는 것이다. 객체들 내의 갑작스러운 변화들(예를 들어, 출현, 크기, 휘도, 진동들을 포함하는 모션)은 (지각의 지점까기 실제로 결코 뷰잉되지 않을 지라고) 주의를 끌고, 안구 움직임들에 대한 시각적 레퍼런스를 제공한다. 예를 들어, 표출 프로세스 동안 원거리(즉, 반드시 망막 중심와 뷰잉 내에 있는 것은 아닌) 선택 상호작용가능한 것들의 매우 빠른 출현은 도약적 궤적(saccadic trajectory)들에 대한 타겟가능 위치(targetable location)들을 제공한다.
이러한 개념을 더 고려하면, 선택 및 추종 상호작용가능한 것들 모두의 매우 빠른 출현(및/또는 컬러, 투명도, 크기 혹은 모션에서의 변화)은 망막 부중심와 혹은 주변 시계들 내에 나타나는 타겟들이 될 수 있다. 망막 부중심와 및/또는 주변 상호작용가능한 것들은 (단지 표출들이 아닌) 일반적인 메뉴 선택들 프로세스들의 일부일 수 있다. 주변 시각을 완전히 이용하기 위해, 주변 객체들을 위한 공간(room)을 남겨두면서 스크린의 가운데 영역들로부터 선택 시퀀스들을 시작하는 것이 이롭다. 추적 상호작용가능한 것들의 경우에 있어서, 추적 객체 그래픽 요소들(즉, 컴포넌트들)은 심지어 타겟으로서 지각되기 이전에도 적절한 시간들 및 속도들에서 이미 움직이고 있을 수 있다(주의를 끌 수 있음). 이것은 안구-신호 언어 요소들을 실행하기 위해 기억-유도 안구 움직임들이 수행되는 경우 특히 효과적이다.
선택/활성화를 위한 스크린 레이아웃 및 시퀀스들의 추가적인 특징들은 비고의적인 활성화들을 피하도록 설계될 수 있다. 예를 들어, 활성화 상호작용가능한 것들은 일반적으로 스크린 경계들 가까이에 위치할 수 있고, 여기서는 비고의적인 흘긋 봄(glance)들이 피해질 수 있다. 만약 비고의적인 활성화가 일어난다면, 쉽게 이용가능한 시퀀스들이 "취소(back out)"를 위해 이용가능하다. 활성화를 표시하기 위해 특정의 자발적 생리학적 안구 움직임들이 요구된다. 활성화를 위해 선택될 수 있는 객체들은 맥락-감지 모드에서 디스플레이되고, 단지 "필요에 따라"서만 이용가능하고/디스플레이된다.
일부 상황들에서, 그리드, 도트들의 어레이, 주기적 파형을 제공하는 것이 유용하고, 또는 드로잉(drawing), 선택(selecting), 둘러싸기(encompassing) 등을 위한 입력의 더 많은 자유 모드(freeform mode)들을 위해 그래픽 지원(graphical aid)으로서의 역할을 할 수 있는 위에 겹쳐지는 레퍼런스 포인트(reference point)들의 다른 형태를 제공하는 것이 유용하다. 임의의 형상들을 입력하기 위한 능력은 이러한 프레임워크 내에서, 연결된 안구 도약(concatenated eye saccade)들을 사용하여 이러한 시각적 프레임워크들에 의해 용이하게 된다.
추종 프로세스는 또한 환경 내에서 정지 상태인 혹은 움직이고 있는 실제 객체들에 적용될 수 있다. 사용자에-의해-선택된 객체의 아이덴티티, 크기 및 형상을 파악하기 위해 객체 인식 소프트웨어가 이용될 수 있다. 만약 객체가 움직이고 있다면, 객체의 크기 및 형상은 연속적인 비디오 프레임들을 비교함으로써 독립적으로 확립될 수 있고, 이에 따라 배경과 대비하여 상대적으로 어떤 영역들이 움직이고 있는 지를 결정하게 된다.
추가적으로, 쌍안 안구-신호 시스템들에서, 이향 운동 측정들은 임의의 선택된 객체까지의 실제 거리를 추정하기 위해 사용될 수 있다. 이것은 예를 들어, 객체의 실제 크기(즉, 단지 이미지 내에서의 크기만이 아닌, 혹은 다른 객체들과 비교된 상대적 크기)를 컴퓨팅하기 위해 사용될 수 있다. 이러한 데이터가 유용할 수 있는 경우는 예를 들어, 사용자에게 물리적으로 가장 가까이 있는 객체들에 대한 정보(예를 들어, 웹 탐색(web search)들을 포함하는 정보)를 디스플레이할 때, 혹은 측정된 크기에 근거하여야만 하는 조류의 종(species)과 같은 객체(큰 객체 대 작은 객체)의 아이덴티티에 대한 정보를 디스플레이할 때이다.
상호작용가능한 것들 및/또는 (짧은) 핵심 단어들의 전체적인 사용은 안구 신호들 동안 응시 정확도 및 진행에 관한 한정사항들을 없애기 위한 또 하나의 다른 전략이다. 상호작용가능한 것들은 신뢰가능한 안구-기반 선택들을 위해서 수평 및 수직 해상도들과 일치하도록 그 크기가 조정된다. 다수의 상호작용가능한 것들(더 정확하게 말하면, 상호작용가능한 것들에 의해 점유되는 공간)은 수평 축에서 더 클 수 있는데, 왜냐하면 안구들은 수직 안구 움직임들과 비교해 이러한 방향에서 더 진행할 수 있기 때문이다. 사이드바들 내에서 대략 절반-폭의 안구-응시 선택가능 영역들을 사용하는 것은 또한 소형화(compactness) 및 더 큰 수평 진행의 개념을 확장시킨다. 안구들은 스크린 에지 가까이 위치한 객체들로 도약할 수 있고, 스크린의 디스플레이 구역을 넘는 곳을 포함하는 여러 곳에서 움직일 수 있다. 상호작용가능한 것 선택 프로세스에 큰 영향을 미침이 없이 스크린 에지들을 넘어 이러한 구역들 안으로 "넘어 가도록(spill over)" 응시 추적 비정확도가 또한 허용될 수 있다. 에지에서 그리고 스크린을 넘어서 실제-영역을 사용하는 것은 공간 정확도에 대한 한정사항들을 밀어붙인다(push).
사용자는 또한 스크린 밖(off screen)을 일반적으로 보는 것과 결합되는 타겟가능 상호작용가능한 것들을 포함하는 그러한 언어 컴포넌트들을 이용할 수 있다. 언어는 또한, 스크린을-벗어난 것(off-screen)으로 알려진 타겟들, 예컨대 표지(sign)들, 심볼들, 아이콘들, 헤드셋들의 테두리들, 혹은 다른 객체들과 같은 것을 포함할 수 있다. 스크린 밖에 영구적인 혹은 동적인 타겟 조명(예를 들어, 하나 이상의 선택된 객체들 상에 조명을 행할 수 있거나 조명을 증가시킬 수 있는 것)을 부가할 기회가 또한 존재한다.
다른 실시예들에서, iUi GUI는 도약, 완곡 추종, 및 이향 운동 필터들에 의해 식별되는 타겟 객체들 혹은 위치들에 대한 기능들 및 할당된 의미들을 고려한다. 전형적인 안구-움직임 시퀀스들에 근거하여, 상호작용가능한 것들은, 안구 움직임을 최소화하기 위해(즉, 피로를 최소화하기 위해), 성과를 최대화하기 위해(즉, 선택 및 활성화 타이밍을 최대화하기 위해), 비고의적인 활성화를 최소화하기 위해, 그리고/또는 디바이스 사용을 위한 학습 곡선을 촉진하기 위해, 전략적으로 배치될 수 있다.
예를 들어, 도 6 및 도 7에서 예시되는 메뉴 선택 스킴에서, 메인 표출 상호작용가능한 것은, 이용가능한 메뉴 아이템들의 개수 및 타입에 상관없이, 언제나 위쪽 우측 코너에 배치된다. "가기(go)"(즉, 활성화) 상호작용가능한 것은, 일 실시예에서, 초록색(예를 들어, 교통신호의 초록색) "가기(go)" 신호로서 나타날 수 있고, 이경우 사이드바의 가운데에서 그 수직 위치는 스크린의 중앙 영역에서의 안구-선택가능 영역들로부터 평균(average) 혹은 집합(aggregate) "보기(look)" 움직임 거리들을 최소화하도록 설계된다.
전체 디스플레이 레이아웃들의 일관성 및 소형화는 성능 및 사용의 편의에 영향을 미치는 부가적 인자들이다. (도 6 및 도 7에서 예시되는 바와 같은) 중앙 뷰잉 구역은 일반적으로 ("데스크탑(desktop)"과 유사한) 작업공간(workspace)으로서 사용되고, 여기서 객체들은 뷰잉될 수 있고 그리고/또는 선택될 수 있다. 좌측 및 우측 사이드바들 내의 상호작용가능한 것들은 일반적으로 중앙 데스크탑으로부터 론칭되는 도약들에 대한 타겟 위치들이다. 비록 모든 구성이 이러한 전체 스킴을 엄격히 따르지는 않지만, 일관성은 새로운 애플리케이션들이 도입됨에 따라 학습 곡선을 크게 증진시키고, 그리고 더 빠른 기억-유도 사용을 촉진시킨다. 스크린 레이아웃에서의 일관성은 사용의-편의(ease-of-use)를 촉진시키기 위해 사용될 수 있는 철학들, 가이드라인들, 및 표준들의 중요한 컴포넌트이다.
다른 실시예들에서, 스크린 해상도 및 응시 추적 정확도를 모두 고려하면서, 그리고 디스플레이를 향하는 사용자의 시계(Field-Of-View, FOV, 단위는 각도)의 크기 및 형상에 근거하여, 디스플레이 내의 상호작용가능한 것들을 동적으로 스케일링(scaling) 및/또는 성형(shaping)하는 것이 있을 수 있다. 타겟 객체들, 선택가능한 "툴(tool)들", 텍스트, 및 제시되는 것의 다른 형태들이 또한 동적으로 스케일링 및/또는 성형될 수 있다. 동적 디스플레이 스케일링의 기능(즉, 스크린들 및 스크린 행동들을 설계할 때, 그 기능)은, "성형된" 구역 내에서 유지되는 한 편의 작품(즉, 상호작용가능한 것 혹은 다른 객체)을 생성하는 것이고, 이에 따라 그 크기는 사용자로 하여금 응시 "선택 박스" 내에서 크게 균질인 배경 구역으로 응시를 행하게 강제할 정도로 너무 작아서는 안 되며, 그리고 형성된 구역의 바깥쪽 에지 가까이에서 사용자의 응시가 도달하도록 유인하여 자연스럽게 일어나는 두뇌의 시각적 조절(visual accommodation)과 경쟁하게 할 정도로 그렇게 커서도 안 된다. 만약 사용자가 선택 박스 구역의 전체 범위까지 연장된 상호작용가능한 것을 바라본다면, 응시-측정 시스템에서의 작은 부정확도 혹은 사용자의 뷰잉 내에서의 표류(떨림 혹은 다른 움직임)는 임의의 인접하는 박스가 비고의적으로 선택되게 할 수 있다.
추가적인 실시예들에서, 상호작용가능한 것들(혹은 다른 타겟들)이 동적으로 구축되고, 그리고/또는 디스플레이의 임의의 형태(예를 들어, 원격, VR, AR)로 배치되는 경우, 아이템들의 크기 및 위치는 또한 사용자의 망막 중심와 구역에 대해 상대적인 것으로 고려돼야 한다. 사용자의 응시 위치 가까이에 타겟을 배치하거나, 혹은 사용자가 응시하고 있는 객체 옆에 타겟을 배치하여 사용자로 하여금 그 새로운 타겟을 즉시 뷰잉할 수 있게 하고 그리고/또는 그 새로운 타겟과 상호작용할 수 있게 하는 것이 바람직할 수 있다. 이러한 경우에, 만약 예를 들어, 타겟이 아주 작고 멀리 있다면, 이것은 사용자의 "인식(awareness)" 존(zone) 내에 있지 않게 된다. 오히려, 타겟들의 자동 크기조정(sizing)(예를 들어, 둘레(circumference), 높이 x 폭) 및/또는 배치(예를 들어, 객체의 중심 혹은 다른 레퍼런스 포인트)는 고-밀도 망막 중심와 구역 내에 있도록 혹은 심지어 망막 부중심와 영역 내에 있도록 설계될 수 있다. 동적으로 제어되는 객체들은 사용자로 하여금 후속하는 타겟들을 더욱 빠르게 볼 수 있게 하고, 그리고/또는 후속하는 타겟들과 상호작용할 수 있게 한다.
다른 실시예들에서, 상호작용가능한 것이 너무 작을 수 있는 것(즉, 안구의 주의를 끄는 충분한 세부사항 혹은 "매력(appeal)"을 제공하지 않는 것 그리고/또는 배경의 커다란 구역들이 어떠한 콘트라스트도 갖지 않게 남겨두는 것), 또는 너무 클 수 있는 것(즉, 안구 선택 구역의 경계들까지 연장되는 것)의 개념은 또한 임의의 상호작용가능한 것 혹은 다른 가상의 객체 내에서의 세부사항의 디스플레이에 적용될 수 있다. 너무 작은 세부사항은 디바이스 사용자에 의해 지각되지 않는다. 실제로, 특정 디바이스 착용자의 시각적 예미함(visual acuity)은 상호작용가능한 것 혹은 가상의 객체를 구성할 수 있는 세부적 요소들의 설계를 결정할 때 특정적으로 고려될 수 있다.
감소된 시각적 예민함 혹은 시각적 장애(visual impairment)에 대한 조절은 세부사항들에서의 감소(예를 들어, 더 적은 높은-콘트라스트 에지들로 구성되는 객체들의 디스플레이)를 포함할 수 있다. 이러한 조절들은 얇은 라인들 혹은 세부사항 둘레에서, 측정된 안구 움직임들(혹은 일부 경우들에서는, 안구 움직임들 및 지각의 부족(lack))에 근거하여 시스템에 의해 자동으로 수행될 수 있다. 대안적으로 혹은 추가적으로, 디바이스 사용자는 객체들이 시각적 예민함에 관한 디바이스 사용자의 선호되는 레벨(preferred level) 혹은 뚜렷한 레벨(apparent level)에 근거하여 디스플레이돼야함을 특정할 수 있다.
스펙트럼(spectrum)의 다른 말단에서, 객체들 혹은 객체들 내의 세부사항은 너무 클 수 있다. 만약 상호작용가능한 것이 불충분한 세부사항을 가지고 있다면, 객체는 객체의 중심 영역에 어떠한 안구 초점도 가질 수 없다. 대신에, 만약 안구가 안구 선택 구역의 경계 가까이에서 바깥쪽 에지들을 파악함으로써 객체를 조사해야만 한다면, 인접하는 활성화 구역들의 비고의적인 선택들 혹은 활성화들이 더 빈번하게 일어날 수 있다. 이것은 심지어 선택가능한 구역들 사이에 "데드 존(dead zone)"(즉, 어떠한 활성화도 일어나지 않은 버퍼 혹은 영역)이 존재하는 경우에도 일어날 수 있는데, 비록 데드 존들이 일반적으로 바람직하지는 않지만 존재하는 경우 그러하고, 데드 존들이 일반적으로 바람직하지 않은 이유는 이들은 결과적으로 어떠한 사용자 피드백도 존재하지 않는 시간들을 발생시킬 수 있기 때문이다(이것은 "불편함(uncomfortable)"으로서 지각될 수 있음). 중심 세부사항의 포함이 도 6 및 도 7 내에서의 도면 참조번호 633, 634, 635에서 예시되고, 도 10 내에서의 도면 참조번호 1037, 1038, 1039에서 예시된다.
특정된 (간단한) 예로서, 특정 상호작용가능한 것 혹은 영역이 선택되었음을 표시하기 위해 피드백으로서 사용되는 박스(예를 들어, 도 6 및 도 7에서 선택 박스(638)), 원형 혹은 다른 형상의 라인 두께(line thickness)는 너무 얇을 수 있거나 혹은 너무 두꺼울 수 있다. 너무 얇은 라인(예를 들어, 헤어라인(hairline))은 검출하기 매우 어려울 수 있다. 만약 너무 얇아서 쉽게 검출될 수 없는 하나 이상의 라인 세그먼트(line segment)들로 구성되는 피드백 표시의 존재를 검출하기 위해서 안구 신호 통합을 위한 탐색을 행하는 안구 움직임들 혹은 상당량의 시간이 요구된다면, 특히 안구-신호 언어의 흐름에 손상을 주게 된다.
역으로, 라인(혹은 객체 내의 다른 세부사항)이 최적의 지각을 하기에는 너무 두꺼울 수 있다. 인간의 시각 프로세스에서의 처음 단계들 중 하나는 망막의 초기 계층들이 이미지들을 "에지(edge)들"로 변환하는 것을 포함하기 때문에, 두꺼운 라인은 궁극적으로 안쪽 에지와 바깥쪽 에지(즉, 개별적으로 지각된 에지들)의 정신적 결합(mental combination)으로서 관측된다. 두꺼운 라인의 안쪽 에지와 바깥쪽 에지 사이의 콘트라스트가 없는 영역은 안구가 "안착(rest)할"(즉, 초점을 맞출) 어떠한 구역도 제공하지 않는다.
따라서, 다른 실시예들에서, 디스플레이되는 상호작용가능한 것 혹은 다른 가상의 객체의 세부사항을 구성하는 라인 세그먼트들 및 다른 컴포넌트들은, 지각되기에 충분히 큰, 하지만 초점 구역들을 제공하기에 충분히 상세한, 안구 유인(eye appeal)을 위한 두께의 최적의 범위를 가질 수 있다. 이러한 범위에 대한 가이던스는 망막 내의 인간(및 다른 동물들)의 신경절 세포(ganglionic cell)들 내에서 인코딩(encoding)되는 지각의 "중심-주변(center-surround)" 모델로부터 올 수 있다. 대안적으로, 사용자의 응시가 지향되는 상호작용가능한 것을 식별하기 위해 다른 그래픽들이 제시될 수 있으며, 이것은 상호작용가능한 것을 실질적으로 수정하지 않는, 하지만 사용자의 응시의 위치에 관한 명확한 표시를 제공하는 그러한 것이다. 예를 들어, 전체 상호작용가능한 것을 둘러싸는 박스가 아니라, 단지 박스의 코너들 혹은 다른 라인 세그먼트들만이 (사용자에게 정신적 착란을 일으킴 없이) 그 선택된 상호작용가능한 것을 식별시키도록 제시될 수 있다.
신경절 세포들의 중심-주변 회로(center-surround circuitry)는 망막 내의 뷰잉 구역 중심에서 광에 대한 소위 "오프(off)" 응답 혹은 억제성 응답(inhibitory response)을 생성할 수 있다. 주변 영역(surrounding region)은 "온(on)" 응답 혹은 자극성 응답(excitatory response)을 생성한다. 일부 컴퓨터-기반 에지-검출 알고리즘들과 유사하게, 이러한 회로 구성에 의한 가장 큰 신경성 응답(neural response)들은 에지들에서 생성된다. (일반적으로 형상에 있어 가우시안(Gaussian)인 것으로 고려되는) 이러한 수용 필드(receptive field)들의 크기는 망막의 표면 상에서 대략 4 마이크로미터이다. 이것은 대략 1 각분(minute of arc)을 진행(traversing)한 에지(혹은 움직임)에 대응한다. 참고로, 이것은 1 미터에서 뷰잉될 때 폭에 있어 0.3 밀리미터의 선에 대응한다.
따라서, 실시예들에서, 심지어 최적의 인간의 시각 예민성을 갖는 경우에도, 대략 1 각분보다 작은 해상도들에서 세부사항을 생성하는 것은 효과가 없게 된다. 어느 정도의 각분들의 범위에 있는 라인들 및 세부사항은 일반적으로 잘-파악될 수 있다. 인간의 망막 내에서, 망막 내의 인접하는 수용 필드들은 중첩(overlap)될 수 있기 때문에, 사용자가 라인 세그먼트의 별개의 라인들을 볼 수 있는 분리(separation)는 (신경절 망막 세포들의 와이어링(wiring)과 비교하여) 시각적 지각에 더 기반을 두고 있다. 따라서, "두꺼운 라인"에 대한 별개의 에지들은 몇 개의 수용 필드들의 범위 내에서 지각되기 시작할 수 있다. 두꺼운 라인 혹은 "리본(ribbon)"의 양쪽 에지들은 10 분각보다 더 큰 분각에서 파악될 수 있다.
더 실용적인 측면에서, 1 분-각은 매우 개략적으로는, 편안한 뷰잉 거리에서 중간-해상도 디스플레이 모니터를 뷰잉할 때 픽셀(pixel)의 폭에 대응한다. 명확히 말하면, 임의의 라인을 용이하게 파악하는 능력은, 다수의 인자들에 의해 영향을 받고, 이러한 인자들에는 디스플레이의 밝기, 라인(혹은 세부사항)과 그 인접하는 픽셀들 간의 콘트라스트의 정도, 실제 뷰잉 거리, 실제로 광을 방출하는 픽셀의 일부분 등이 포함된다. AR 디스플레이들의 경우에, 디스플레이의 불투명도, 그리고 상이한 "실제 세계" 배경들과의 콘트라스트는 추가적인 역할들을 할 수 있다.
디바이스 교정(DEVICE CALIBRATION)
타겟 객체들 내에서의 특정 위치들(즉, 디바이스에게 알려진 위치들) 내의 콘트라스트가-높은 그래픽 요소들은 디바이스 사용자의 응시가 객체 혹은 상호작용가능한 것 내의 특정 지점들에 초점을 맞추도록 하는데 도움을 준다. 상호작용가능한 것들의 이러한 그래픽 요소들 및/또는 전체적으로 알려진 위치들은 동적 교정 혹은 연속적 교정을 수행하기 위해 (개별적으로) 사용될 수 있다. 교정은 카메라(들), 디스플레이, 조명 소스(들), 및 렌즈의 알려진 기하학적 구조들에 관한 지식을 포함한다.
디스플레이 상의 객체들(예를 들어, 상호작용가능한 것들)의 알려진 위치는, 소위 "재장착(remount)"(즉, 사용자가 디바이스를 제거하고 후속적으로 디바이스를 교체하는 것)을 따르는 알고리즘들에 의해 사용될 수 있고, 머리 상에서 시프트(shift)되는 유닛에 의해 사용될 수 있고, 또는 안구들이 상이한 위치들로부터 떨어져 뷰잉될 때 사용될 수 있다. 이러한 추적은 디바이스가 시프트되었는지 여부, 그리고/또는 유닛 움직임을 따르는 수정들을 위한 교정 알고리즘들에 정보를 제공하는지 여부를 결정하는 것을 보조할 수 있다.
교정 절차들은 주로, 개체들의 해부학적 구조(그리고 더 적은 정도로, 신경생리학적 구조)에서의 변화들 처리하기 위해서, 그리고 착용가능 디바이스들이 어떻게 안착(rest)해야 하는지, 특히 코 상에 어떻게 안착해야 하는지에 설명하기 위해서 요구된다. 해부학적-기반의 교정은, 안구 구조들에 관한 인자들(예를 들어, 안구 반경(eyeball radius), 각막 곡률(corneal curvature), 시각적 축과 광학적 축 간의 오프셋(offset))을 결정하기 위해 사용될 수 있는데, 이러한 인자들은 카메라 이미지들 내의 글린트(glint)들 및 안구 구조들(예를 들어, 동공, 각막윤부(limbus))의 위치를 응시 방향으로 바꾸는데 사용된다.
완성된 교정 프로세스는 짧은 기간 동안 3개 이상의 알려진 위치들을 디바이스 착용자가 의도적으로 뷰잉하는 시퀀스를 포함할 수 있다. 카메라 이미지들 내의 레퍼런스 위치들 및 뷰잉되는 알려진 위치들이 주어지면, 카메라 이미지 레퍼런스 위치들을 디스플레이 혹은 실제 세계의 뷰잉 위치들로 바꾸는 교정 인자들의 최적의 세트가 컴퓨팅될 수 있다. 그 다음에, 교정 위치들 사이에 있는 혹은 주위에 있는 이미지들 내에서의 레퍼런스 위치들을 바꾸기 위해 보간 기법(interpolation technique)들이 사용될 수 있다.
보통의 동작들 동안, 헤드웨어는 약간 미끄러질 수 있거나 움직일 수 있고, 이것은 교정에 부정확도를 부가한다. 교정과 관련된 부정확도들 및 (머리에 대한 상대적인) 디바이스 움직임이 한정되어 있는 동안, 디바이스 착용자가 보통의 사용 동안 안구 신호들을 형성함에 따라 실질적으로 연속하는 교정을 수행하는 것이 가능하다. 실질적으로 연속하는 교정은, 안구 신호들을 형성하기 위해 디바이스 착용자가 알려진 위치들에 있는 상호작용가능한 것들 및 다른 레퍼런스들의 시퀀스들을 바라본다는 원리를 사용한다. 안구 신호 형성 동안 레퍼런스 위치들을 선택함에 있어 공간적 허용한계(spatial tolerance)가 존재하기 때문에, 교정으로 인해 응시 위치들이 약간 오정렬(misalign)되어도 안구 신호들은 여전히 실행될 수 있는데, 하지만 이러한 경우 카메라 레퍼런스 위치들 및 의도된 응시 위치가 모두 알려져 있기 때문에 교정 인자들은 다시-계산될 수 있다. 이것은 사용 동안 실질적으로 연속하는 교정을 가능하게 한다. 이것은 또한, 알려진 교정 지점들의 훨씬 더 세부적인 테이블이 초기 교정 프로세스 동안 결정된 것일 수 있는 지점들과 비교하여 형성될 수 있게 한다.
안구 추적 동안, 안구 및/또는 각막(cornea)의 표면 상에서의 글린트들의 위치들을 안구 응시 위치들에 맵핑(mapping)시키기 위해 간단한 룩-업 테이블(look-up table)을 사용하는 것이 종종 편리하다. 이러한 테이블은, 안구 및/또는 각막윤부의 측정된 위치들 및 알려진 뷰잉 방향들에 근거하여, 다른 응시-결정 기법들을 사용하여 구성된다. 이러한 테이블의 사용은, 안구 내의 "추적가능한" 구조들이 예를 들어, 눈꺼풀들 혹은 속눈썹(lash)들에 의해 가려지는(obscure) 경우 응시 추적을 용이하게 할 수 있고, 그리고/또는 조명을 위한 요건들을 감소시킬 수 있으며, 전력을 보전할 수 있다.
룩-업 테이블의 추적 정확도를 증가시키기 위해 수 개의 단계들이 취해질 수 있다.
1. (글린트 위치들이 이전에 결정된 위치들 상에서 정확히 존재하지 않는 경우) 룩-업 테이블 내의 지점들 간의 보간이 안구의 실제 기하학적 구조, 카메라(들), 및 광 소스(들)에 근거하여 이루어질 수 있다. 이러한 기하학적 구조에 근거하는 맵핑 기능의 "형상(shape)"에 관한 지식은 예를 들어, 단순한 선형 보간(이것은 물리적 구성(physical setup)에서의 어떠한 기반도 갖지 않음)과 비교하여 월등한 보간을 제공한다.
2. 이러한 테이블은, 안구에 대한 카메라의 상대적 위치를 나타내는 측정들(즉, 오프셋들)을 개발(developing)함으로써, 그리고 수정된 측정들을 테이블에 적용함으로써, 헤드웨어의 움직임에 덜 민감하도록(소위 재장착 불감(remount insensitive)) 만들어질 수 있다. 이러한 2-단계 프로세스는 단일 테이블이 카메라 위치와 독립되어 맵핑 기능을 나타낼 수 있게 한다.
3. 복수의 글린트들을 사용하여, "보우팅(voting)" 절차가 복수의 글린트들로부터의 측정들에 근거하여 가장 가능성 높은 응시 위치를 결정하기 위해 사용될 수 있다.
4. 이력 데이터(historical data)(특히 높은 프레임 레이트들에서의 이력 데이터)가, 인간의 안구 움직임들에 대한 속도들의 생리학적 범위를 넘게 되는 "밖으로 벗어난(outlier)" 안구 움직임들을 제거하기 위해 사용될 수 있다.
5. 테이블은, 맵핑 기능에 의해 예측된 방향들과 측정된 안구 응시 방향들(즉, 다른 기법들을 사용하여 획득된 것) 간의 차이들이 검출되는 경우, 점진적으로 업데이트될 수 있다(또는, 만약 예를 들어, 새로운 사용자가 디바이스를 착용한다면, 완전히 개편(revamp)될 수 있음).
휴리스틱 및 데이터 융합 방법들(HEURISTIC AND DATA FUSION METHODS)
안구를 이미지화하는 것 그리고 특징들을 식별하는 것과 관련된 도전과제들은 폭넓은 사용자 인구 통계 자료들(demographics) 및 예측할 수 없는 환경적 조건들에 걸쳐 동작할 필요성을 포함한다. 이러한 어려운 조건들로부터 촉발되는 도전과제들 중 다수는, 안구 특징들을 알고리즘적으로 검출하고 추적하는 상이한 방법들이 특정 사용자들에 대해서 혹은 특정 환경 조건들에 대해서는 더 잘 수행되고, 반면 다른 사용자들 혹은 환경적 조건들에 대해서는 다른 방법들이 더 잘 수행된다는 사실을 포함한다.
예를 들어, 안구 추적 소프트웨어, 펌웨어, 및 하드웨어는 일관된 가시적 조명 및 낮은 주변 적외선 레벨들을 갖는 사무실 환경들에서 대단히 잘 수행되도록 면밀하게 튜닝될 수 있다. 하지만, 높은 주변 적외선 레벨들 및 밝은 조명 소스들을 갖는 실외 환경에 밀려 들어간 동일한 안구 추적 접근법은 곧바로 작동에 실패한다. 역으로, 실외 상황들에서의 좋은 성능을 위해 튜닝된 소프트웨어, 펌웨어, 하드웨어는 더 어두운 실내 환경들에서 곧바로 작동에 실패할 수 있다.
이러한 추적 접근법들이 특정 사용자 집단들에 걸쳐 혹은 특정 환경들에서 성공하거나 혹은 실패하는 것에 대한 주된 이유는 검출 및 추적되고 있는 안구 특징들에 있다. 예로서, 주변이 적외선으로 넘쳐나는 곳에 안구가 있는 경우인 실외에서 동공은 쉽게 가시적일 수 있지만 더 낮은 주변 적외선을 갖는 실내에서 동공은 비가시적일 수 있다. 하지만, 실외의 경우에, 태양은 안구 상에 밝은 그리고 원치않은 반사를 발생시킬 수 있고, 반면 실내의 경우에, 안구 상의 반사들은 단지 시스템 자기 자신의 조명 소스들로부터 발생시키는 그러한 것들만일 수 있다.
따라서, 실외의 경우에, 원치않는 반사들을 거부할 수 있는 하지만 검출가능한 동공의 존재에 의존할 수 있는 그러한 소프트웨어, 펌웨어 및 하드웨어가 잘 수행될 수 있고, 반면 실내의 경우에, 검출가능한 동공의 존재에 의존하지 않는 그리고 더 낮은 노출 레벨들을 수용할 수 있는 그러한 소프트웨어, 펌웨어 및 하드웨어가 잘 수행될 수 있다.
안구 추적 디바이스가 대중-시장 소비(mass-market consumption)를 위해 허용가능하도록 만들기 위해, 디바이스는 디바이스가 노출되는 모든 상황들에서 예측가능하게 그 기능을 수행해야만 한다. 디바이스가 배치되는 동작 환경의 특징들을 결정할 수 있는 소프트웨어 및 펌웨어를 디바이스가 갖추게 하는 것이 가능하기 때문에, 디바이스는 최상위-레벨 알고리즘의 최종 결과로서 사용자의 응시의 방향을 결정하기 위해 어떤 프로세스들이 이용되는지를 조정(reconcile)할 수 있다. 이러한 조정은 다수의 방식들로 일어날 수 있으며, 여기에는 다음과 같은 예시적 사례들이 포함된다.
본 개시내용의 목적들을 위해, 최상위-레벨 알고리즘은 개별 프로세스들의 집합으로서 정의될 수 있고, 여기서 이러한 경우 최상위-레벨 알고리즘은 사용자의 응시의 방향을 결정하는 역할을 한다. 각각의 개별 프로세스는, 안구 특징을 검출하는 것, 사용자의 안구에 대한 디바이스의 상대적 움직임을 보상하는 것, 그리고/또는 안구 추적 시스템에 의해 이용되는 하드웨어 컴포넌트들에 대한 적절한 설정들을 결정하는 것과 같은, 사용자의 응시의 방향의 결정하는 목표와 관련된 수 개의 기법들 중 하나에 속할 수 있다.
하나의 예시적 경우에 있어서, 시스템은 사용자의 속눈썹들이 동공의 충분히 큰 섹션을 반복적으로 가리어 동공 검출 알고리즘이 동공을 신뢰가능하게 추적할 수 없게 되었다고 인식할 수 있다. 결과적으로, 동공-기반 데이터를 검출하고 조작하는 것을 담당하고 있는 프로세스는 부정확한 동공 크기, 동공 중심, 혹은 동공 법선 벡터(pupil normal vector)에 대응하는 출력들을 생성할 수 있고, 이들 모두는 최상위-레벨 알고리즘에서 사용자의 응시 방향을 부정확하게 검출하는데 기여할 수 있다. 이러한 경우, 조정 방법은 동공 데이터를 폐기하도록 알고리즘에게 지시할 수 있고, 대신에 최종 응시 결정 단계들에서 글린트 데이터 혹은 홍채 데이터에 의존하도록 알고리즘에게 지시할 수 있다. 이러한 방법은 알고리즘적 중재(algorithmic arbitration)의 사례이며, 또는 성능을-저하시키는 입력 데이터와 관련되는 하나 이상의 기여하는 프로세스들은 폐기하고 가장 적절한 입력 데이터와 관련될 기여하는 프로세스들은 보유하는 것의 사례이다.
또 하나의 다른 예시적 경우에 있어서, 시스템은 모든 구성 프로세스들이 바람직한 최상위-레벨 알고리즘 출력을 생성할 수 있는 데이터를 공급받고 있다고 인식할 수 있다. 따라서, 동공이 가시적일 수 있으며 안정된 에지를 발생시키고 있고, 올바른 개수의 잘-이격된 각막 글린트(corneal glint)들이 시스템의 조명 회로에 의해 생성될 수 있고, 각막윤부가 검출될 수 있고 그 직경은 인구 평균의 범위 내에 있으며, 그리고 홍채가 홍채의 포즈(pose) 결정이 가능할 수 있는 충분한 정보와 함께 가시적일 수 있다. 이러한 경우에, 각각의 구성 프로세스는 임의의 다른 프로세스들로부터의 기여 없이 사용자 응시 방향을 검출하기에 충분한 정보를 최상위-레벨 알고리즘에 제공할 수 있다. 또한, 각각의 구성 프로세스는 그 입력 데이터의 특징들을 고려함으로써 추정되는 정확도를 가지며, 계산은 "에러 메트릭(error metric)"으로서 제시된다.
이러한 에러 메트릭은 각각의 프로세스에 할당될 수 있으며, 이러한 할당은 프로세스가 검출한 안구 특징들의 타입, 그리고 이러한 특징들의 특성들(이것은 결과적으로 특히 안구 추적 수행을 일으키게 됨)에 근거하여 이루어진다. 예를 들어, 각막의 글린트들 사이의 픽셀들에서의 분리, 각각의 각막 글린트의 중심(centroid)의 안정도, 그리고 동공 에지의 크기 및 형상의 안정도는 동공-글린트 구성 프로세스의 이론적 정확도를 계산하기 위해 사용될 수 있다. 에러 메트릭들의 다른 예들은, 각막윤부 상에서의 검출된 지점들의 개수, (안구 추적 카메라 위치에 대비된) 각막윤부의 "근거리(near)" 측 및 "원거리(far)" 측 사이의 검출된 지점들의 분포, 그리고 동공 상에서 검출된 지점들의 개수를 포함한다.
각각의 구성 프로세스에 대한 잘-정의된 에러 메트릭들을 적절한 곳에서 갖는 경우, 각각의 프로세스에 대해 에러 추정들을 수행하는 것은 결과적으로 프로세스들에 걸쳐 정량적 비교가 일어나게 하고, 이것은 각각의 프로세스에게 최종 응시 결정에 대한 그 기여와 관련하여 중요도를 부여한다. 각각의 구성 프로세스에 대해 에러 점수(error score)를 계산하는 것, 그 다음에 구성 프로세스들의 세트에 대해 임의의 가중된 평균을 계산하는 것은, 결과적으로 알고리즘에 대한 입력을 위해서 모든 이용가능한 프로세스들로부터의 입력을 받아들이는 응시 결정 계산이 일어나게 한다. 이러한 방법은 알고리즘적 융합의 예이다.
응시-결정 알고리즘에서의 프로세스들을 조정하는 방법에서 이용될 수 있는 또 하나의 다른 기법은 마코브 랜덤 필드(Markov Random Field)의 적용이다. 이러한 구현에서는, 다양한 동작 조건들과 안구 특징들 간의 의존성들이 확립될 수 있다. 이러한 의존성들이 확립된 이후, 최상위-레벨 응시-결정 알고리즘에 대한 기여하는 프로세스들의 선택에 대응하는 출력이 생성된다.
이러한 방법의 입증가능한 장점은 난해한 환경적 조건들을 나타내는 설정들 및 조건들에서 안구 추적 성능을 향상시키는 이러한 방법의 능력이다. 예를 들어, 특정 개수의 각막 글린트들의 존재에 전적으로 의존하는 응시-결정 프로세스는 만약 각막 상의 환경적 반사들이 바람직한 글린트들과 구분가능하지 않게 된다면, 손상(compromise)된다. 따라서, 이러한 프로세스를 다른 프로세스들과 결합시키는 것, 그리고 글린트-의존성 응시-결정 프로세스에 더 낮은 가중치를 적용하는 것(이것은 또한 최상위-레벨 응시-결정 알고리즘에 대한 프로세스 기여를 감소시킴)은 사용자의 응시가 더 정확하고 안정적으로 계산되는 것을 보장한다. 역으로, 만약 환경적 조건들이, 사용자의 안구가 너무 어두운 까닭에 동공이 신뢰가능하게 추적될 수 없는 경우에 결과적으로 이르게 되는 그러한 환경적 조건들이라면, 각막 글린트 검출에 더 크게 의존하는 응시-결정 프로세스들이 최상위-레벨 알고리즘으로부터의 향상된 출력에 기여한다.
결과적으로, 검출가능한 모든 안구 특징, 이에 따라 응시-결정 프로세스에 포함되기 위한 후보인 모든 안구 특징도 또한 환경적 조건들에 영향을 받는다. 이러한 환경적 조건들이 변하고 특정 안구 특징들을 추적하기 더 어렵게 만듦에 따라, 최상위-레벨 응시-결정 알고리즘에 대한 이러한 특징들의 기여를 감소시키거나 혹은 제거하는 것은 결과적으로 더 정확한 그리고 더 올바른 출력들이 일어나게 한다.
예측할 수 없는 환경적 인자들을 보상하는 것에 추가하여, 응시-결정 프로세스들의 조정이 이용될 수 있고, 이것은 착용가능 디바이스에서 배터리 전력을 관리하는 것을 도울 수 있다. 머리-장착 디스플레이 및 안구-추적 서브시스템을 포함하는 디바이스에서, 부적절하게-관리되는 전력은 비우호적으로 짧은 시간에 디바이스로부터 그 배터리 용량을 소모시킬 수 있는 것이 문제다. 따라서, 이러한 디바이스들의 배터리 수명을 연장시키기 위해 세심한 스킴들이 이용될 수 있다. 이러한 스킴들은 원하는 시스템 동작을 고려하는 조정 방법들을 이용함으로써 더 향상될 수 있다.
사용자의 응시 방향을 결정하기 위한 상이한 방법들이 컴퓨터연산 부하의 상이한 레벨들과 상관될 수 있음이 입증될 수 있다. 이러한 부하들은 또한 디바이스의 배터리 충전에 관한 상이한 영향들에 상관될 수 있다. 이러한 차이들은 두 개의 주된 인자들 및 여러 가지 사소한 인자들로 인한 것일 수 있다. 주된 인자들은, 1) 동공, 각막 글린트, 혹은 각막윤부와 같은 안구 특징을 검출하는 컴퓨터연산 비용, 그리고 2) 입력으로서 이러한 안구 특징으로 응시 방향을 계산하는 컴퓨터연산 비용이다.
컴퓨터연산 싸이클들에 근거하여, 그리고 결과적으로 전력 소비에 근거하여 조정 방법들을 관리할 목적으로, 적용될 수 있는 한 가지 기법은 각각의 응시-결정 프로세스에 대한 비용 테이블들을 유지하는 것이다. 비용 테이블은 각각의 구성 프로세스에 대한 다양한 특성 정보를 포함한다. 이러한 예시적 테이블에서는, 다음과 같은 정보가 제시되는바, 두 개의 구성 프로세스들, 각각의 구성 프로세스에 대한 세 개의 응시 영역들, 구성 프로세스를 실행시키기 위한 디바이스의 프로세서 상에서의 컴퓨터연산 부하, 구성 프로세스를 위해서 안구를 적절하게 조명하는데 요구되는 전력, 안구 특징들 및 각막 글린트들을 따르는 지점들에 대한 다양한 메트릭들, 사용자의 머리 상에서 디바이스의 움직임을 검출하는 프로세스의 능력 그리고/또는 이러한 움직임에 견고(robust)한 프로세스의 능력, 그리고 대응하는 조건들 하에서 그 구성 프로세스에 대한 이론적 최대 정확도가 제시된다. 추가적으로, 이론적 최대 정확도, 조명 전력, 및 컴퓨터연산 부하를 각각의 접근법이 디바이스의 능력들에 어떻게 부과(tax)할지를 정략적으로 표시하는 방식으로 결합하는 조건들의 세트 및 각각의 구성 프로세스에 대한 메트릭이 계산된다.
| 유닛들 | 바이 너리 |
바리 너리 |
MIPS | m 와트 |
포인 트들 |
유닛 | 글린 트들 |
픽셀들 | 유닛들 | 정확도/(W* MIPS |
|
| 범위 낮음 |
0 | 0 | 10 | 10 | 0 | 0 | 0 | 0 | 0 | 0 | |
| 범위 높음 |
1 | 1 | 500 | 100 | 50 | 100 | 10 | 40 | 1 | 10 | |
| 프로세스 | 응시 영역 |
재 장착 검출 |
재 장착 견고성 |
MIPS | LED 전력 |
검출 된 포인 트들 |
근거 리/원 거리 포인 트 비율 |
검출 된 글린 트들 |
글린트 간격 |
이론적 최대 정확도 |
CET 점수 |
| A | 디스 플레이 |
1 | 1 | 250 | 80 | 25 | 0.5 | 3 | 30 | 0.91 | 0.0455 |
| A | 코 높음 |
1 | 1 | 250 | 80 | 15 | 10 | 2 | 25 | 0.74 | 0.037 |
| A | 코 낮음 |
1 | 1 | 250 | 80 | 12 | 10 | 2 | 20 | 0.68 | 0.034 |
| B | 디스 플레이 |
1 | 0 | 50 | 30 | 0 | 0 | 8 | 25 | 0.89 | 0.593 |
| B | 코 높음 |
1 | 0 | 50 | 30 | 0 | 0 | 7 | 25 | 0.8 | 0.533 |
| B | 코 낮음 |
1 | 0 | 50 | 30 | 0 | 0 | 6 | 20 | 0.54 | 0.36 |
테이블 2는 조정 프로세스에 대한 룩업 유틸리티(lookup utility)로서의 역할을 하는 훨씬 더 큰 테이블의 작은 섹션(section)을 나타낸다. 전체 테이블은 더 큰 복수의 구성 프로세스들을 포함할 수 있고, 그리고 동작 조건들의 다수의 조합들을 포함할 수 있는바, 이로부터 이론적 최대 정확도들이 계산된다. 이러한 예시적 테이블은 수개의 구성 프로세스들, 응시 영역들, 및 동작 조건들이 사용 세션(use session) 동안 고려될 수 있는 경우에 이러한 접근법의 유틸리티를 입증하도록 의도된 것이다. 이러한 비용 테이블(cost table)은 배터리 전력의 관리가 가장 중요한 고려사항인 다수의 특정 사용의 경우들에 적용될 수 있다. 이러한 경우들 중 몇 가지가 아래에서 제시된다.
예시적인 경우들에서, 시스템의 배터리는 거의 소모(exhaustion)될 수 있는데, 하지만 안구 추적 시스템으로 하여금 전체적으로 턴오프되게 하는 것이 아니라, 혹은 역으로 필요한 것보다 더 이른 배터리의 소모에 기여하게 하는 것이 아니라, 조정 프로세스는 가장 낮은 컴퓨터연산 비용을 갖는(이에 따라 배터리 전력에 가장 낮은 영향을 주는) 응시-결정 방법이 다른 모든 응시-결정 방법들 대신 사용되어야 할 것이라고 결정할 수 있다. 이러한 경우에, 이것은 디바이스로 하여금 디바이스의 배터리를 조기에 소모시킴 없이 임의의 허용가능한 레벨의 안구 추적 기능을 보유하게 할 수 있다.
또 하나의 다른 예시적인 경우에서, 다른 센서들과 결합된 디바이스의 프로세서는 사용자가 집에서 움직이고 있고 현재 순간부터 임의의 추정된 기간에 디바이스를 충전할 수 있을 것이라고 결정할 수 있다. 이러한 결정들은 이력적 디바이스 사용(historical device usage)(예를 들어, 하루 주기의 디바이스 사용(circadian device usage))에 근거하여 수행될 수 있다. 이러한 경우에, 사용자가 임의의 만족스러운 양의 시간 내에 디바이스를 충전할 수 없는 그러한 다른 경우보다 더 정교한 응시-결정 프로세스들을 이용함으로써 추가 눈 추적 기능이 유지될 수 있다.
응시-결정 알고리즘을 위한 구성 프로세스들을 조정하기 위한 접근법은 디바이스의 구성에 따라 수정될 수 있다. 하나의 예시적인 경우에서, 디바이스는 사용자의 안구들 중 하나의 안구를 추적할 수 있는 안구 추적 서브시스템을 갖도록 구성될 수 있다. 이러한 경우에, 응시-결정 계산들은 사용자의 다른 안구가 바라보고 있는 곳에 대한 고려 없이 일어나야만 한다. 그러나, 사용자의 안구들을 모두 추적할 수 있는 안구 추적 서브시스템을 갖도록 디바이스가 구성되는 예시적 경우에서, 조정 프로세스는 사용자의 안구들 중 하나의 안구에 대한 가능한 응시 방향들의 자취(locus)를 사용자의 다른 안구에 대한 가능한 응시 방향들의 자취와 비교하는 단계를 포함할 수 있다.
이러한 경우에, 사용자의 제 1 안구의 응시 결정에 기여하는 구성 프로세스들이 사용자의 제 2 안구의 응시 결정에 기여하는 구성 프로세스들과 상관될 필요는 없다는 것에 유의하는 것이 중요하다. 이러한 경우에, 사용자의 제 1 안구는 동공-글린트 응시 결정에 관한 신뢰가능한 입력 데이터를 가질 수 있고, 하지만 사용자의 제 2 안구에 대한 동일한 데이터는 그만큼 신뢰가능하지 않을 수 있으며, 이 경우 결과적으로 제 2 안구에 대해서는 각막윤부-정상 응시 결정(limbus-normal gaze determination)이 이루어진다.
쌍안 안구-추적 구성에서 안구들 간의 수렴 및 이에 따른 장면으로의 깊이(즉, 이향 운동)가 계산될 수 있음에 또한 유의해야 한다. 이러한 능력을 갖는 경우, 각각의 안구로부터의 가능한 응시 방향들의 자취를 비교하는 것은 각각의 안구에 대한 응시 방향이 다른 것과 일치하게 되는 솔루션(solution)들의 세트를 포함할 수 있다. 따라서, 솔루션들의 이러한 세트의 구성요소(member)들은 장면 내의 상이한 깊이들에서의 응시 방향들에 대응할 것이다. 솔루션 세트의 어떤 구성요소가 가장 적용가능한지를 결정하기 위해 이 지점에서 추가 기법들이 적용될 수 있다.
일부 경우들에서, 조정 프로세스는 단지 안구 추적 서브시스템으로부터 획득된 비디오의 현재 프레임으로부터의 데이터만을 입력으로서 사용할 수 있다. 이것은 이전의 프레임들에 관한 어떠한 기억도 갖지 않는 방법으로서 지칭될 수 있다. 하지만, 다른 경우들에서, 안구 추적 서브시스템으로부터 획득된 이전의 비디오 프레임들로부터의 응시 결정 데이터로 구성되는 입력 데이터를 조정 프로세스가 제공받는 것은 이로울 수 있다. 이러한 경우들에서, 이전의 응시 결정 데이터, 뿐만 아니라 디바이스의 사용자 인터페이스 요소들의 이전의 상태들 및 현재의 상태들 모두에 관한 지식은, 안구 추적 서브시스템으로부터의 비디오의 현재 프레임에 대한 구성 프로세스를 조정하는 프로세스에 정보를 제공하는데 사용될 수 있다.
일부 경우들에서, 궁극적으로 사용자의 응시 방향을 결정하기 위해 사용될 수 있는 구성 프로세스는 사용자가 응시하고 있는 것으로 예비적으로(preliminarily)으로 결정될 수 있는 선택된 시계의 영역에 관해 조정될 수 있다. 하나의 예시적인 경우에서, 그 선택된 시계는 사용자의 실제 시계의 일부분이 나타내는 것에 대응한다. 이러한 경우에, 만약 예비적 응시 결정이 결과적으로 사용자가 사용자 인터페이스 요소들이 없는 영역을 향해 응시하고 있을 확률이 높다는 결과를 일으킨다면, 임의의 추가 응시 결정 프로세스들은 낮은-비용의 방법들로 그 중요도가 떨어질 수 있다. 하지만, 동일한 경우에서, 만약 예비적 응시 결정이 결과적으로 사용자가 사용자 인터페이스 요소들을 포함하는 시계의 영역을 향해 응시하고 있을 확률이 높다는 결과를 일으킨다면, 추가 응시 결정 프로세스들은 적절한 양의 정밀도, 정확도, 혹은 안정도를 제공하기 위해 그 중요도가 상승될 수 있다.
또 하나의 다른 예시적인 경우에서, 그 선택된 시계는 디바이스의 디스플레이가 나타내는 것에 대응한다. 이러한 대응은 디바이스의 디스플레이의 물리적 범위들 주위의 경계 영역을 포함할 수 있음에 유의해야만 한다. 이러한 경우에, 만약 사용자의 응시 방향이 이러한 시계 내에 있을 것으로 예측된다면, 이러한 디스플레이 시계가 사용자의 실제 시계 내에 있는 경우인지에 상관없이, 더 높은 우선 순위(priority)가 주어진다. 하지만, 만약 사용자의 응시 방향이 이러한 시계 밖에 있을 것으로 예측될 수 있다면, 조정 프로세스의 원하는 출력에 더 낮은 우선 순위가 할당될 수 있다.
일부 응시 추적 시스템들은 사용자의 시계의 서브-구역(sub-area)인 "스위트(sweet)" 스폿 추적 구역(spot tracking area)들을 위해 설계된다. 이러한 영역에서는, 최대 정확도 및 신뢰도가 요구된다. 결과적인 시스템 설계는 이러한 영역에서의 성능을 위해 튜닝될 수 있는바, 예를 들어, 시계 내에서 중심을-벗어난(off-centre) 하나의 영역이 최대 정확도로 추적되도록 카메라 및 글린트-발생 LED들이 배치될 수 있다. 이것은 일반적인 글린트 추적 방법들 및 동공 찾기 방법들로 하여금 다른 응시 방향들에 대해 실패하게 할 수 있다. 예시적인 실시예는 '스위트 스폿' 내에서 글린트/동공 추적의 사용이고, 안구 대 센서 및 디스플레이의 절대적인 관계를 측정하는 것이다. 그 다음에, 카메라에 대한 안구 각도가 증가함에 따라 그리고 글린트들 혹은 동공이 이제 더 이상 "추적가능"하지 않음에 따라, 또 하나의 다른 특징-기반 추적 방법으로의 전환(switching)이 일어난다.
일부 안구 추적 방법들은 일부 안구 응시 각도들에서 더 잘 작동한다. 예를 들어, 동공 추적은 카메라를 직접적으로 바라볼 때 잘 작동할 수 있고, 하지만 카메라로부터 벗어난 더 큰 각도들에서 바라볼 때 실패할 수 있다. 홍채, 공막(sclera), 혹은 심지어 가장자리(edge-on)에서 뷰잉되는 동공과 같은 안구 상의 특징들의 위치들은 '마지막으로 알려진(last known)' 양호한 장소의 위치와 관련하여 상대적으로 추적된다. 동공 추적은 예를 들어, 각막윤부 추적보다 더 정확할 수 있고, 하지만 동공 추적이 실패하게 되는 혹은 실패할 것으로 예상되는 그러한 각도들의 경우, 각막윤부 정상 추적(limbus normal tracking)(혹은 어떤 다른 방법)이 더 좋을 수 있다. 이러한 예시적 실시예에 대한 핵심은 다양한 응시 각도들에 걸쳐 안구 응시 견고성(eye gaze robustness)을 향상시키기 위해 응시 방향, 안구 타입, 눈꺼풀 상태, 콘택트 렌즈들 등에 따라 수 개의 알고리즘들을 결합하는 능력이다.
다수의 안구 응시 측정들은 각막 구(cornea sphere)의 3D 위치를 측정하기 위해 LED(들)를 사용하여 사용자의 각막 표면으로부터 반사되게 되는 글린트들의 특정 패턴을 만드는 것에 의존한다. 동공 위치 추정과 결합되어, 응시를 추론하기 위해 응시 벡터(gaze vector)가 계산될 수 있다. 글린트들 및 동공 위치 추정은 캡처된 이미지들 내에 존재할 것으로 보장되는 특정 기하학적 구조들에 따라 달라진다. 따라서, 견고한 응시 추정을 달성하기 위해, 사용자는 상이한 측정들로부터의 추정들을 중재/융합/조정할 필요가 있다. 이러한 것을 달성하기 위한 하나의 견고한 방법은 특정 상황 하에서 각각의 측정의 견고성을 내재적으로 포함하는 통계 모델을 구축하는 것 그리고 측정들을 최종 응시 추정들에 결합시키는 것이다.
다음의 것은 응시 측정을 위한 일부 예시적인 알고리즘적 접근법들이고, 그 각각에 관한 장점들 및 단점들이 함께 제시된다(테이블 3).
1. 동공/글린트(Pupil/Glint)(PG) 측정(전통적인 방법)
2. 응시를 추정하기 위해서 동공 표면의 3D 배향을 추론하기 위해 오로지 동공 에지 윤곽(pupil edge contour)에만 의존하는 동공 정상(Pupil Normal)(PN)
3. 각막윤부 에지 윤곽(limbus edge contour)을 추출하는 것 그리고 각막윤부 윤곽의 3D 배향을 추정하는 것을 수행함으로써 측정되는 각막윤부 정상(Limbus Normal)(LN) 측정
4. 홍채 패턴들의 공간적 텍스처 특징들을 추출함으로써 응시를 계산하고 응시의 3D 배향을 추정하는 홍채(Iris)(IN) 기반 응시 추정
| 방법 | 장점들 | 단점들 |
| 1. PG | 특정 조건 하에서 정확함 3D 모호성이 없음 간단하고 신뢰가능함 |
글린트들 및 동공의 가시성에 의존함 동공 직경에 민감한 |
| 2. PN | 글린트들에 의존하지 않음 | 3D 모호성 동공의 가시성에 의존함 곡선 맞춤 문제들로 인해 가능하게는 덜 정확함 |
| 3. LN | 글린트들 혹은 동공에 의존하지 않음 | 3D 모호성 곡선 맞춤 문제들로 인해 가능하게는 덜 정확함 |
| 4. IN | 글린트들 혹은 동공에 의존하지 않음 | 컴퓨터연산에서의 고비용 |
교정 스킴을 이용함으로써, 진정한 응시 위치들이 알려질 수 있다. 이러한 피드백을 갖는 경우, 조명, 사용자 메트릭들, 사용자와 디바이스 간의 기하학적 구조, 등과 같은 상이한 조건들 하에서 서로 다른 알고리즘들의 정확도가 추정될 수 있다. 충분히 큰 샘플 세트를 갖는 경우, 각각의 알고리즘 후보에 대한 이전의 정확도 추정이 획득될 수 있다. 알고리즘들에 대한 에러 메트릭들은 다음과 같은 것을 포함할 수 있다.
각각의 알고리즘에 대한 가중치 부여는 이러한 에러 메트릭들에 따라 달라질 수 있다. 일부 알고리즘들은 다른 알고리즘들보다 내재적으로 더 정밀하고 이에 따라 가중치가 부여될 수 있다. 알고리즘들은 또한 응시 방향에 따라 조정될 수 있다(예를 들어, 디스플레이를-벗어난 응시 방향(off-display gaze direction)들에서는 감소된 정확도가 허용가능할 수 있음). 양안 수렴(binocular convergence)은 잘못된 응시 방향들을 결정하는데 도움을 주기 위해 사용될 수 있다. 각각의 안구에 대해 동일한 알고리즘들을 사용할 필요는 없다.
상이한 알고리즘들에 관한 전환 혹은 가중치 부여는 환경적 조건들(예를 들어, 조명)에 근거할 수 있거나, 혹은 심지어 생리학적 인자들(예컨대, 인지 부하와 같은 것)에 근거할 수 있다. 예를 들어, 교정 동안 디바이스 움직임이 있었는지를 결정하기 위해 에러 모니터링(error monitoring)이 또한 사용될 수 있다. 정확도 및 우아한 성능 저하(graceful degradation)를 위해 전력이 또한 고려될 수 있다. 이것은 두 가지 방식들, 정밀도를 위한 요건들에 의해 구동되는 방식, 혹은 전력 이용가능도에 의해 구동되는 방식으로 진행될 수 있다. 상이한 측정들의 최적의 선택 혹은 융합을 결정하기 위해 기계 학습 접근법들이 또한 사용될 수 있다.
데이터 융합을 위한 더욱 간결한 예시적인 방법들 중 두 가지는 다음과 같다.
1. 중재(arbitration)
Ai로 명명되는 알고리즘들의 리스트를 가정하고, 여기서 i = 1, 2, ..., n이고, Pi로 명명되며 교정에 근거하는 이전의 정확도 추정들을 가정하며, 여기서, P1 + P2 + ... + Pn = 1이다. 각각의 알고리즘으로부터의 출력은 Oi로서 제시된다. 최종 응시 추정은 아래와 같이 선택된다.
O = Oi, 여기서 Pi = max{P1, P2, ... Pn}
2. 가중된 평균화(weighted averaging)
이러한 방식에서는, 어떠한 출력도 폐기되지 않고 대신에 이들은 이전의 정확도 추정들에 근거하는 가중된 평균을 근거로 융합된다. 최종 응시 추정은 아래와 같이 선택된다.
O = P1*O1 + P2*O2 + ... + Pn*On
다른 사용자 인터페이스들에 결합된 안구 신호 언어(EYE SIGNAL LANGUAGE COUPLED TO OTHER USER INTERFACES)
안구-신호 제어들은 또한, 기존의 개인용 컴퓨터들, 랩탑들, 디스플레이들, 태블릿들, 스마트 폰들, 혹은 다른 모바일 디바이스 상에서 사용되는 스크린들의 설계들에서 배치되는 객체들과 (적어도 가능한 정도까지) 상호작용하도록 구성될 수 있다. 최근 몇 년 동안 예를 들어, 텍스트-기반 선택들 및 기술(description)들로부터 벗어나 아이콘-기반 선택 툴들로의 발전이 있어왔다. 이러한 발전은 기본적인 키보드 입력을 보충하기 위해서 마우스-기반 포인팅 디바이스(mouse-based pointing device)들을 도입함으로써 크게 추진되었다. 하지만, 전통적인 핸드-헬드 마우스들(hand-held mice)은 모바일 환경에서는 적합하지 않다. 보다 최근에는, 손가락-기반 제스처링(finger-based gesturing)이 데이터 입력에 혁신을 일으켰고, 특히 휴대가능 디바이스들 내에서 데이터 입력에 혁신을 일으켰다. 이제 의미를 전달하는 아이콘들 및 의도를 전달하는 모션들에 대한 사용자 수용의 폭넓은 기반이 존재한다.
안구-신호 언어는 이러한 디바이스들 내의 객체들 및 아이콘들과 상호작용하도록 (일반적으로, 앞서 설명된 바와 같은 스크린 레이아웃의 효율들을 완전히 이용하지 않는 "서브세트(subset)" 모드에서) 조정될 수 있다. 많은 경우들에서, 응시 해상도 및 안구-움직임 제한들을 따르도록 하기 위해 선택들의 디스플레이를 증강시키는 것(예를 들어, 줌 인을 행하는 것, 특정 선택 요소들을 강조하는 것, 등)이 필요할 수 있는데, 하지만, 안구-신호들은 광범위한 디바이스들을 지배하기 위해 다른 입력 제어들과 결합되어 혹은 단독으로 사용될 수 있는 제어의 추가 레벨을 부가한다.
하드웨어 성능 및 발전은 또한 고-해상도 디스플레이들의 크기를 포함하는 크기에서의 대폭적인 감소 그리고 (데스크탑들로부터 모바일 폰들로의) 교차-플랫폼 균일성(cross-platform uniformity)을 향하는 변이를 추진해 왔다. 이러한 변이는 안구-신호 제어의 발전으로 직접적으로 반영된다.
컴퓨팅 및 디스플레이 하드웨어, 소프트웨어, 및 (예를 들어, 웹 페이지들 혹은 모바일 애플리케이션들 내에서의) 그래픽들의 정교화(sophistication)의 발전이 병행되어 결과적으로 예컨대, 원하는 정보를 찾는 능력에서의 엄청난 진보들이 일어나게 되었다. 탐색 엔진들은 간단한 단어 탐색들로부터 단어들의 집합들(여기에는 심지어 이미지들 및 소리들도 포함됨)에 의해 암시된 맥락-감지 의미들에 대한 탐색들로 변이되었다. "시각적인(visual)" 그리고 심지어 "비디오(video)" 사용자 인터페이스(즉, 아이콘들, 썸네일들, 그림들 등의 사용)의 더 많은 부분으로 향하는 변이는 그 자체가 단독으로 혹은 입력의 다른 형태들과 결합되어 안구 신호들에 사용된다. 따라서, 하나 이상의 (실제 혹은 가상의) 이미지들 및/또는 비디오들에 근거하는 안구-지향 탐색(eye-directed search)들은 탐색-기반 정보 검색(search-based information retrieval)에 큰 융통성 및 속력을 부가할 것이다.
일부 안구 신호 상호작용들은 기존의 스크린 레이아웃들/설계들과 효과적으로 작동할 것이지만, 안구 신호 설계들은, 속력, 맥락, 효율, 인지 프로세싱에서의 증가들, 협업적 참여(collaborative participation) 및 그 이상 것을 처리하는 상호작용의 새로운 레벨들을 지원 및 가능하게 하기 위해 스크린 설계(여기에는 크로스 HMI 플랫폼(cross HMI platform)들이 포함됨)에서의 발전을 추진할 것이다
안구 신호 맥락(EYE SIGNAL CONTEXT)
추상화(abstraction)의 다음 레벨에서는, 디스플레이되는 상호작용가능한 것들에 관한 안구 응시들의 1) 공간적, 2) 시간적, 그리고 3) 순차적 특징들이 사용자 의도를 파악하기 위해 전략적으로 모두 사용된다. 예를 들어, 메뉴/앱-선택 환경의 공간적 영역들은, "활성화(activate)" 상호작용가능한 것(예를 들어, 가기(go))이 뷰잉되지 않는 한, 면밀히 검사될 수 있고 혹은 무한한 기간 동안 일반적으로 뷰잉될 수 있다. 사용자들은 만약 활성화할 의도가 없다면 공간적 영역(들)을 활성화하는 것(예를 들어, "바라 보는 것(looking)" 혹은 응시하는 것)을 회피하는 것을 빨리 학습한다.
대조적으로, 메인 표출은 선택의 타이밍과 밀접하게 관련되어 있다. 만약 ("활성화" 상호작용가능한 것으로의 후속 도약을 행할 필요 없이) 특정 시간 내에 선택이 일어난다면, 메인 표출 상호작용가능한 것에 의해 표출되는 상호작용가능한 것의 "활성화"가 암시된다. (관련된 "메뉴 표출" 상호작용가능한 것들이 임의의 종류(class)가 되는 일시적 "선택 상호작용가능한 것들" 대 지속적 "선택 상호작용가능한 것들"에 대한) 특정 시간 내의 선택/활성화의 실패는 표출된 선택가능한 객체들로 하여금 사라지게 하고, 이것은 특정 "탈퇴(opt-out)" 동작에 대한 필요성을 제거한다.
추가적으로, 상이한 조건들 하에서 상이한 시퀀스들이 사용될 수 있다. 만약 예를 들어, "가기(go)" 활성화가, 수행(즉, 애플리케이션 혹은 선택을 론칭시키는 것)될 동작인 것으로 고려된다면, 이것을 활성화시키기 전에 먼저 (예를 들어, 애플리케이션의) 선택이 선택-보기-가기 시퀀스(select-look-go sequence)에서 수행된다. 반면, "확대(magnify)"와 같은 메뉴 표출을 선택하는 경우에, 수행될 동작이 첫 번째로 선택되고, 그 다음에 동작의 "수신자(recipient)"인 (예를 들어, 텍스트의 본문 혹은 맵의) 영역이 두 번째로 선택된다.
모든 순차적 조합들은 함께 묶여있을 수 있고 애플리케이션들의 개발자에게 이용가능하다. 소프트웨어 툴들에 추가하여, 일관된 철학들, 가이드라인들, 및 표준들이 개발자들에게 이용하가능하게 된다. 이러한 것들은 스크린 레이아웃, 메뉴 구조들, 결정 트리(decision tree)들, 타이밍 및 공간적 해상도 고려사항들, 코드 구성, 등을 유도(guide)하는데 사용될 수 있다. 예로서, 상호작용가능한 것이 선택(select)인지 아니면 추종(pursuit)인지 여부를 표시하는 높은 콘트라스트의 중심 타겟은, 모든 상호작용가능한 것들이 주의 끌기(attraction)의 중심 시각적 지점들을 갖도록 보장하는 것에 추가하여, 사용에 관해 사용자들을 유도하는 것을 돕기 위해 모든 상호작용가능한 것들에 걸쳐 일관적이게 될 수 있다.
상호작용가능한 것들의 여러 종류들의 용이한 사용자 인식을 위해 시각적 언어를 생성하는 독특한 그래픽 처리들(예컨대, 컬러, 텍스처, 크기, 그래픽 요소들, 강조, 반투명도, 및 그 이상의 것)의 임의의 다른 형태가 또한 사용될 수 있다. 동일한 전략들이 또한, 헤드웨어 내에(즉, 사용자의 환경 내에) 장착되지 않는, 하지만 안구를 가리키고 있는 안구 이미지화 카메라들에 적용될 수 있다. 이러한 잘-구성된 시스템들 및 애플리케이션들의 궁극적 목표는 안구 신호들을 동작들로 바꾸려는 사용자 의도를 빠르게 그리고 직관적으로 파악하는 것이다.
안구-신호 제어에 의해 용이하게 되는 또 하나의 다른 중요한 분야는 다중-사용자 교환(multi-user exchange)이다. 이것은 1:1 채팅(chat), 1:n 채팅, 및 심지어 공통의 그룹들 내의 사람들 간의 n:m 동시 채팅들을 위한 방법을 포함한다. 이것은 스크린 및 시간 구획(screen and time partitioning), 그리고 새로운 통신 문자(communication glyph)들의 도입을 포함하는바, 이들은 모두 기계 지능(machine intelligence)으로 보충되는 그리고 정보의 사용자-대-사용자 상호교환(user-to-user interchange)에 의해 확장되는 사용자 프로파일(user profile)에 근거하여 지능적으로 가능하게 된다. 이러한 "채팅(chat)"은 스크립트(script)화되지 않을 수 있거나, 부분적으로 스크립트화될 수 있거나, 혹은 고도로 스크립트화될 수 있다.
연속적인 활성화 모드 내에서의 안구 신호들(EYE SIGNALS WITHIN A CONTINUOUS ACTIVATION MODE)
또 하나의 다른 동작 접근법에서, 디바이스 사용자는 "연속적인 활성화" 모드를 선택할 수 있다. 이러한 모드에서, 임의의 연속적인 활성화 기능이 (예를 들어, 상호작용가능한 것 선택을 통해) 선택되었다면, 후속적인 안구 움직임들은 하나 이상의 동작들을 실질적으로 연속적으로 혹은 반복적으로 수행할 가능성을 갖는 것으로서 해석된다. 연속적인 활성화 모드에 진입함으로써, 디바이스 사용자가, 특정 기능 혹은 기능들의 세트를 반복적으로 혹은 실질적으로 연속하여 수행하기 위해, 별도의 "가기(go)" 혹은 활성화 안구 신호들을 수행하는 것은 불필요하게 된다.
연속적인 활성화는 디바이스 착용자가 특정 안구 신호를 통해 해당 모드를 종료하기까지 유효하게 유지될 수 있는데, 여기서 특정 안구 신호는 예를 들어, "정지(STOP)"(534) 커맨드를 활성화시키는 것, 혹은 다른 다중모드 종료 표시(예컨대, 머리 모션, 음성화된 단어 혹은 어구, 장면 카메라에 의해 뷰잉가능한 손 제스처, 또는 (프로세서에 연결된 혹은 무선으로 연결된) 제어 디바이스와의 상호작용)와 같은 것이다. 드문 경우들에서, 활성화 모드는 또한, 임의의 지속적인 기간 이후에 종료(즉, "타이밍-아웃(timing-out)")될 수 있는바, 예컨대 연속적인 활성화 모드에 있을 때 디바이스가 머리로부터 제거되는 경우 종료될 수 있다.
"연속적인 활성화(continuous activation)"는, 도 5에서 제시되는 바와 같이, 이미지의 콘텐츠들을 탐구하기 위해 "팬 및 줌(pan and zoom)" 동작들을 수행하는 예에 의해 예시될 수 있다. 이러한 시나리오에서, 사용자는 이미지를 뷰잉할 수 있고, 그 다음에 전형적인 "가기(go)" 안구 신호 시퀀스를 사용하여 "팬 & 줌" 상호작용가능한 것을 선택할 수 있다. 이것은 디바이스가 연속적인 "팬 & 줌" 활성화 모드에 있게 한다. "팬 및/또는 줌" 연속적인 활성화 모드(들)에 진입하는 경우, "+"(즉, 플러스(plus)) 심볼(535) 및 "-"(즉, 마이너스(minus)) 심볼(536)이 전형적으로 이미지 및/또는 디스플레이가능 구역(530)의 중앙 가까이 디스플레이된다. 연속적이 활성화 구역들, 혹은 "넛지(nudge)들"(531a, 531b, 531c, 및 531d)이 디스플레이 구역(530)의 에지들에서 점선으로 된 사각형들로 나타내어져 있다. "넛지들"은 팬 기능들을 수행하기 위해 뷰잉될 수 있다. 그 다음에, 사용자는 다음과 같은 커맨드들 중 임의의 것을 실질적으로 연속하여 활성화시킬 수 있다.
이미지(533)의 임의의 다른 영역을 뷰잉하는 것은 "팬 & 줌" 기능들이 일시정지되게 할 수 있고, 이것은 이미지(533)의 더 면밀한 검사를 가능하게 한다. 연속적인 활성화는 직관적인 그리고 자연스러운 안구 신호들이 특정 기능들을 수행할 수 있게 한다.
"연속적인 애플리케이션"을 이용할 수 있는 애플리케이션들 혹은 기능들의 다른 예들은, 이미지의 밝음 대 어두움을 실질적으로 연속하여 선택할 수 있는 것, 오디오 출력의 볼륨을 조정하는 것, 알람 시계의 시간(hours)과 분(minutes)을 나타내는 다이얼(dial)들을 움직이게 함으로써 기상 시간(wake-up time)을 확립하는 것, 실질적으로 연속하여 변하는 구성 파라미터(setup parameter)(예를 들어, 폰트 크기(font size), 넛지 거리(nudge distance))를 조정하기 위해 "슬라이더(slider)" 혹은 다른 아이콘을 제어하는 것, 그리고 현실 세계의 물리적 뷰잉에 겹쳐지는 가상의 객체의 도입 혹은 수정을 제어하는 것을 포함한다.
연속적인 활성화 모드의 주된 이점은, 안구 신호들의 특정 세트를 빠르게 그리고 반복적으로 수행하되 사용자로 하여금 "이들의 안구들이 하는 것을 그대로 하도록 이들의 안구들을 내버려 둘 수 있게"하여 이들이 안구-피로 없이 그리고 부자연스러운, 혹은 불편한, 혹은 어려운 안구 움직임들 없이 목표를 달성할 수 있게 하는 능력이다. 더욱이, 이것은 사용자로 하여금, 변하는 풍경의 인지를 향상시키기 위해, 이들의 안구들을 도약들을 통해 움직이게 할 수 있고, 혹은 변하는 이미지를 완곡 추종들을 통해 따라가게 할 수 있다.
하지만, 연속적인 활성화 모드에 있을 때, 사용자가 연속적인 활성화에 대한 "정지(STOP)"(534)를 수행할 때까지, (커맨드 모호성들 및/또는 비고의적인 활성화들을 피하기 위해) 다른 커맨드 세트들은 일반적으로 이용가능하지 않다. "정지(STOP)"(534) 상호작용가능한 것은 예를 들어, "가기(go)" 활성화 상호작용가능한 것을 위해 보류된 위치를 대체할 수 있는데, 왜냐하면 연속적인 활성화 모드에 있을 때 다른 활성화들을 수행할 필요는 없기 때문이다. 이러한 위치는 또한 연속적인 활성화를 정지시키기 위해 기억-유도 도약들을 이용하는 능력을 촉진시키는데, 왜냐하면 "가기(go)" 및 "정지(STOP)"(534) 커맨드들에 대한 위치는 빈번하게 액세스되는 위치이기 때문이다.
안구 신호로-제어되는 텍스트 읽기(EYE SIGNAL-CONTROLLED READING TEXT)
연속적인 활성화 모드를 이용할 수 있는 또 하나의 다른 예시적인 애플리케이션은, 텍스트의 복수의 페이지들을 통해 이루어지는 시각화 및 스크롤링을 포함하고, 또는 뷰잉될 단일의 디스플레이 내에서 이용가능한 것보다 더 큰 구역을 요구하는 임의의 다른 정보(예를 들어, 맵들, 회로도(schematic)들, 건축 도면(architectural drawing)들)를 통해 이루어지는 시각화 및 스크롤링을 포함한다. 연속적으로 활성화된 "텍스트 스크롤(text scroll)" 모드에 진입하면, 텍스트-스크롤링 커맨드들의 한정된 서브-세트가 이용가능하게 될 수 있다. 예시적인 실시예에서, 이러한 것들은 역방향 고속 스크롤(fast scroll reverse), 역방향 스크롤(scroll reverse), 순반향 스크롤(scroll forward), 및 순방향 고속 스크롤(fast scroll forward)을 포함할 수 있다.
스크롤링 동작 자체는 다수의 방법들에서 구현될 수 있는데, 여기에는 "차트 넘김(flip chart)"과 유사한 동작들, 책에서의 페이지 넘김을 모방한 동작들, 상단/하단 혹은 측면들로부터 실질적으로 연속하여 텍스트를 공급하는 동작들, 안구 위치에 따라 가변 레이트들에서 텍스트들이 디스플레이 에지들에서 도입되는 동작들, 등이 포함된다. 스크롤링은 순방향(즉, 페이지 번호들의 증가하는 방향) 혹은 역방향(즉, 페이지 번호들이 감소하는 방향)으로 행해질 수 있다. 연속적인 활성화 모드 내에서의 동작들은 스크롤 커맨드들 각각과 관련된 디스플레이의 영역을 뷰잉할 때 즉각적으로 개시된다. 디바이스 착용자가 그 연속적으로 활성화된 스크롤 커맨드들의 범위로부터 눈길을 돌리는 경우 페이지 스크롤링은 정지되고 선택된 페이지가 뷰잉될 수 있다.
텍스트의 개별 페이지를 읽을 때, 추가적인 커맨드들이 텍스트의 에지들 주위의 영역들 내에서 이용가능하다. 이러한 커맨드들은 페이지가 읽혀짐에 따라 안구들의 자연스러운 진행과 융화가능하도록 설계된다. 좌측에서-우측으로 그리고 상단에서-하단으로 정렬된 텍스트를 읽는 경우, 특정 페이지의 뷰잉이 완료될 때 스크린의 아래쪽-우측 코너에 도착하는 것이 자연스럽다. 따라서, 스크린의 이러한 영역에 도착하는 경우 "1 페이지 넘기기"(즉, 다음 페이지로의 전진)를 행하는 것이 자연스럽다. 실제 안구 응시 위치에 추가하여, 페이지의 읽기를 완료하는데 충분한 시간을 보장하기 위해, 선택에 따라서는 해당 위치를 뷰잉하는 시간이 고려될 수 있다.
페이지의 끝에 도착하는 경우 그리고 새로운 페이지로 넘어가는 경우, 새로운 페이지로의 자연스러운 변이를 위해 사용자의 안구들을 유도하는데 생리학적 원리들이 사용될 수 있다. 먼저, 스크린의 아래쪽-우측 코너로부터 "단일 페이지 넘김" 상호작용가능한 것을 제거함으로써 갭 효과가 유발될 수 있다. 이것은 사용자로 하여금 자신의 안구들을 더욱 빠르게 또 하나의 다른 위치로 움직이게 한다. 새로운 텍스트의 스크린을 빠르게 도입함으로써, 안구를 텍스트 내의 특정 위치(들)로 지향시키는 것을 피할 수 있다. 오히려, 요구되는 경우, 선택에 따라서는 (안구의 단일 뷰잉 지점으로부터) 주의를 크게 끄는 "부르짖음(shout)"이 스크린의 위쪽 좌측 코너에 디스플레이될 수 있다. 이러한 "안구-부르짖음(eye-shout)"은 다음 페이지 상의 텍스트를 계속해서 순차적으로 읽도록 안구를 유도하는데 도움을 줄 수 있다. 디스플레이의 아래쪽-우측 코너로부터 위쪽-좌측 코너로의 도약적 안구 움직임은 또한 경험이 있는 사용자들에 의해 기억-유도될 수 있다.
텍스트를 통한 시퀀싱(sequencing)의 점진적으로 증가하는 레이트들에서, 사용자는 페이지들을 읽는 것, 스캐닝하는 것, 혹은 스킵하는 것을 원할 수 있다. 읽는 프로세스는 (영어 및 다른 언어들에서) 디스플레이의 상단-좌측으로부터 디스플레이의 하단-우측 부분까지 충분한 인식을 갖는 점진적 안구 움직임을 포함한다. 스캐닝은 일반적으로 더 빠른 속도에서 안구 움직임들의 유사한 진행을 포함할 수 있다. 스캐닝 동안 종종, 사용자는 하나 이상의 핵심 단어들, 어구들, 그림들, 독특한 컬러들(예를 들어, 하이퍼텍스트 링크(hypertext link)를 표시하는 것), 또는 다른 독특한 특징들을 탐색하고 있거나 혹은 살펴보고 있다. 페이지들을 "스킵"할 때, 사용자는 일반적으로 문서의 특정 페이지 혹은 개략적 영역(예를 들어, 전체 길이의 4분의 3)의 위치를 찾으려고 한다.
유사한 고려사항들 및 제어들이, "삽입 페이지(insert page)들"(즉, 전체 스크린을 차지하지 않는 뷰잉가능 구역들), 그리고 작은 문서들의 결과로서 나타날 수 있는 또는 더 큰 문서의 시작 혹은 끝에서 나타날 수 있는 부분적 페이지들을 통해 네비게이션(navigation)을 하는데 사용된다.
앞에서 설명된 바와 같이, 연속적인 활성화는 일련의 단일-단계 활성화들(즉, "가기(go)" 도약들을 통해 매번 반복적으로 활성화시킬 필요가 없는 것) 또는 프로세스들을 실질적으로 연속하여 수행하는 것을 포함할 수 있다. 후자의 경우에서, 프로세스는 특정 "정지" 안구 신호가 실행될 때까지 실질적으로 연속하여 수행된다. 연속적인 수행의 예는 특정 페이지 혹은 영역과 마주칠 때까지("정지" 신호가 실행되는 때까지) 책의 페이지들을 스캐닝/스크롤링하는 것이다. 연속적인 스캐닝은 비고의적인 활성화들에 대한 염려 없이 콘텐츠를 뷰잉하도록 혹은 디스플레이되는 정보의 특정 영역에서의 체류를 유지하도록 안구들을 자유롭게 한다.
자체-조정 안구-신호 필터들(SELF-ADAPTING EYE-SIGNAL FILTERS)
안구로-제어되는 메뉴들 주위에서의 네비게이션의 레이트는 사용자 경험 및 적절한 양의 훈련과 함께 자연스럽게 증가할 것이다. 이상적으로는, 사용자 네비게이션을 위한 안구-신호 스킴들은 사용자 내에서의 뚜렷한 경험의 정도와 융화가능해야만 하며 이러한 경험의 정도에 대해 자체-조정을 행해야만 한다. 예를 들어, 만약 사용자가 메인 표출 상호작용가능한 것에 정착하고 그리고 상호작용가능한 것의 디스플레이가 장면으로부터 제거된다면, 초보 사용자는 (더 경험이 있는 사용자들에 의해 수행되는 즉각적인 기억-유도 도약과 비교하여) 그 선택된 상호작용가능한 것의 위치를 계속 뷰잉할 수 있다. 예시적 실시예에서, 디스플레이로부터 임의의 선택된 아이콘이 초기에 제거된 이후, 상호작용가능한 것의 디스플레이가 짧은 기간 동안 다시-도입되고, 그 다음에, 디스플레이로부터 다시-제거된다. 계속 허용되는 경우, 이것은 상호작용가능한 것의 디스플레이를 (온 상태와 오프 상태로) 깜빡이게 함(blinking)으로써 임의의 상호작용가능한 것의 선택을 초보 사용자에게 표시하는 효과를 갖는다.
사용자가 더 훈련을 받게 됨에 따라, 더 적은 수의 깜빡임들이 요구되는데, 상호작용가능한 것들의 어떠한 연장된 지각 혹은 깜빡임 없이 단지 기억-유도 도약들만을 발생시키는 전문 사용자의 정도로 훈련될 때까지 요구된다. 이러한 스테이지(stage), 안구 신호 레이트를 더 증가시키기 위해 갭 효과가 이용될 수 있다. 유사한 전략은 흐려져 가는 혹은 컬러가 변하는 상호작용가능한 것을 수반할 수 있으며, 이 경우 컬러 변화가 더 빠르게 흐려져 가는 것 혹은 시간 경과에 따른 다른 변경이 함께 사용될 수 있다.
안구로-제어되는 활성화에 이르는 프로세스들의 추가 증진들이 일어나게 하기 위해, 알고리즘들이 특정 사용자의 경험의 정도를 아는 것이 이롭다. 이러한 방안(measures)은 자체-조정 시스템을 조절하기 위해 사용될 수 있다. 사용자의 전문성(expertise)의 측정의 예는 메인 표출 상호작용가능한 것 혹은 또 하나의 다른 일시적 표출 상호작용가능한 것으로 도약하고, 그 다음에 임의의 새롭게 표출된 상호작용가능한 것으로 도약하는데 소요된 시간이다(인식할 것은, 표출 상호작용가능한 것으로의 도약 레이트 자체가 반드시 변하는 것은 아니라는 것임). 이러한 시간 측정들은 시스템에 의해 용이하게 행해질 수 있으며, 여기서 짧은 간격은 주로 기억-유도 도약들을 사용하고 있을 가능성이 높은 더 경험이 있는 사용자를 표시한다.
덜 경험이 있는 사용자는 새롭게 디스플레이되는 상호작용가능한 것들을 기다리며, 그리고 가능하게는 이들을 지각한다. 이러한 방안은 메뉴 제시들을 제어하는데 사용될 수 있으며, 특히 선택 메뉴들 주위에서의 네비게이션의 레이트를 최적화하기 위해, 선택된 표출들의 디스플레이가 제거되기 전 그 선택된 표출들의 디스플레이의 길이, 추종 객체 움직임 이전의 임의의 지연, 추종 객체 속도 등을 제어하는데 사용될 수 있다.
예시적 안구-신호 메뉴들(EXEMPLARY EYE-SIGNAL MENUS)
도면들을 더 참조하여 보면, 도 6은 안구-신호로 제어되는 디바이스에 대한 메인(즉, 최상위-레벨) 메뉴 스크린(530)의 예시적 실시예를 보여준다. 스크린은 신뢰가능한 응시 검출 및 영역 선택을 위해 각도 해상도에 맞도록 크기 조정된 영역들 내에서 사용자 애플리케이션들을 나타내는 상호작용가능한 것들을 포함한다. 스크린샷은 3개의 로우(row)들과 6개의 컬럼(column)들로 된 영역들을 보여주고 있고(전체적으로 총 18개의 영역들을 보여주고 있음), 이러한 영역들은 한쪽 안구 혹은 양쪽 안구들을 사용하여 선택될 수 있다.
선택가능한 영역들 중 가장-좌측 컬럼(631) 및 가장-우측 컬럼(632)은 "사이드바(sidebar)들"로서 지칭되는바, 이는 GUI들 내에서 공통적인 표시(notation)이다. 이러한 메인-메뉴 예에서, 좌측 사이드바(631)는 안구-신호 제어를 위해 사용되지 않는다. 우측 사이드바(632)는 (상단으로부터 하단으로) 다음과 같은 동작들, 메인 표출(main reveal)(633), 가기(go)(634), 그리고 좌측으로의 페이지 스크롤(page scroll)(635)을 나타내는 상호작용가능한 것들을 포함한다.
이전에 설명된 바와 같이, 상호작용가능한 것 내의 높은 콘트라스트의 에지들 혹은 영역들은 디바이스 착용자들의 안구들이 상호작용가능한 것 내의 특정 타겟 구역을 뷰잉하는 것 혹은 그 특정 타겟 구역에 정착하는 것을 돕는다. 도 6에서의 사이드바들 내에 포함된 상호작용가능한 것들의 경우에, 크기가 작은 높은-콘트라스트의 원(circle)들이 표적화(targeting) 및/또는 정착(fixation)을 위한 특정 지점들을 제공하기 위해 각각의 사이드바 상호작용가능한 것(633, 634, 및 635) 내에 위치하고 있다. 이것은 안구의 망막 중심와를 선택가능한 영역들의 중심들을 향해 더 정밀하게 지향시키는 것에 추가하여 "바라볼 무언인가(something to look at)"를 사용자에게 제공한다. 에지들로부터 적절히 벗어나 안구 응시들을 임의의 선택가능한 영역의 중심을 향하도록 유지시키는 것은, 영역-선택 프로세스의 신뢰도를 향상시키고, 이것은 선택들이 안구 추적 노이즈 및 에러들에 덜 영향을 받게 한다.
좌측 스크롤 기능(635)(즉, 우측 사이드바의 하단에 위치하고 있는 상호작용가능한 것)은 사용자로 하여금 일련의 인터페이스들을 통해 스크린을 "스크롤(scroll)"할 수 있게 한다. 페이지 스크롤링 특징은 특정 데스크탑/작업공간 혹은 기능들의 그룹화와 관련될 수 있는 정보(예를 들어, 상호작용가능한 것들, 텍스트, 그림들)의 양(amount)에 관한 최고 상한(upper limit)들을 제거한다. 페이지 스크롤링은 공통의 GUI 접근법이지만, 안구 신호들을 사용하는 구현은 고유한 전략들을 요구한다(예를 들어, 도 10 참조).
도 6으로서 제시되는 샘플 스크린샷에서, 좌측 사이드바(631)의 가장 낮은 위치에서 디스플레이되는 페이지-스크롤 상호작용가능한 것은 없다. 이것은 현재 스크린의 좌측에 가상으로 위치하는 페이지들이 없기 때문이다(즉, 이러한 스크린샷은 1 페이지임). 스크린의 가장 낮은 부분을 따라 있는 스트립(strip)(636)은 페이지 위치 표시자(page location indicator)이다(이것은 때때로 GUI들 내에서 진행바(progress bar)의 타입으로서 나타내어짐). 바(636)의 채워진 부분의 폭은 페이지들의 전체 개수에 관한 표시이다. 이러한 폭은 페이지들의 전체 개수 내에서, 뷰잉되는 페이지가 나타내는 비율(fraction)을 심벌화한 것이기 때문에, 폭이 더 넓게 채워진 부분들은 페이지들의 전체 개수가 더 적은 것을 나타낸다. 이러한 바(bar)의 채워진 부분의 수평 위치는 페이지들의 전체 개수 내에서, 선택된 페이지의 위치를 나타낸다. 예를 들어, 제시되는 샘플 스크린샷은 4개의 페이지들 중 1 페이지이다.
사이드바들 사이 안쪽, 디스플레이(530)의 가운데 구역 내에서, 도 6의 상위 패널(upper panel)에서의 스크린은 3개의 로우들과 4개의 컬럼들(637)로 된 안구-선택가능 영역들로 분할된다. 상호작용가능한 것들은 디바이스 착용자에게 이용가능한 잠재적 동작들 혹은 애플리케이션들의 시각적 큐(visual cue)들로서 이러한 영역들 각각 내에 위치한다. 스크릿샷에서, 그래픽 상호작용가능한 것들은 (좌측으로부터-우측으로, 그리고 상단으로부터-하단으로) 다음과 같은 애플리케이션 선택들을 나타낸다.
1. 텍스트 메시징(Text Messaging) - 여기서, 디스플레이되는 값은 읽혀지지 않은 텍스트 메시지들의 개수를 표시함
2. 메일(Mail) - 여기서, 디스플레이되는 값은 읽혀지지 않은 e-메일들의 개수를 표시함
3. 카메라(Camera) - 이것은 스냅샷(snapshot)들 혹은 비디오를 촬영하기 위한 것임
4. 숫자 키 패드(Numeric Key Pad) - 이것은 예를 들어, 전화를 걸기 위해 사용됨
5. 캘린더(Calendar) - 여기에는 현재 날짜가 디스플레이됨
6. 시계(Clock) - 여기에는 현재 시간이 디스플레이됨
7. 폴더(Folder) - 이것은 저장된 그림들, 텍스트, 및 비디오들을 포함하고 있는 파일들을 포함함
8. 날씨(Weather) - 여기에는 현재 날씨 상태들 및 일기 예보들을 디스플레이할 수 있는 링크가 내장됨
9. 노트들(Note) - 저장된 텍스트의 보관소
10. 맵(Map) - 이것은 현재 교통 상태들을 포함할 수 있음
11. 음악(Music) - 이것은 디바이스 상에 저장됨 혹은 다운로드될 수 있음
설정들(Settings) - 이것은 사용자의 시각적 능력들 및/또는 경험에 맞게 조절하기 위한 것임
이러한 상호작용가능한 것들 중 임의의 것은 선택(select), 보기(look), 및 가기(go)의 안구-신호 시퀀스를 사용하여 선택될 수 있다. 상위 패널에서 제시된 예에 있어서, 박스(box)(638)는 "텍스트(text)" 상호작용가능한 것을 둘러싸고 있으며, 이것은 이러한 영역이 사용자에 의해 뷰잉되고 있음을 표시한다.
도 7은 안구-신호로 제어되는 디바이스에 대한 메인 스크린 메뉴(530)의 또 하나의 다른 실시예를 예시한다. 이러한 경우에, 선택가능한 상호작용가능한 것들을 포함하고 있는 가운데 영역(737)은 3개의 로우와 3개의 컬럼으로 된 그리드(grid)로 구성된다(전체적으로 총 9개의 상호작용가능한 것들을 보여주고 있음). 도 6과 유사하게, 우측 사이드바(632)는 메인 표출(633), 가기(634), 및 좌측으로의 페이지 스크롤(635)을 나타내는 상호작용가능한 것들을 포함하고, 그리고 진행 바(636)는 메뉴의 하단 가까이 위치하고 있다. 각각의 상호작용가능한 것과 관련된 안구-선택가능 영역은 도 6과 비교하여 수평 방향에서 더 크고, 이것은 선택들을 더 용이하게 한다. 이러한 특징은 예를 들어, 안구들 혹은 머리의 움직임들에 관해 더 적은 제어와 관련된 시각적 혹은 신경학적 조건들(예를 들어, 파킨슨병(Parkinson's disease))을 수용하기 위해 사용될 수 있다.
도 6 및 도 7에서 제시되는 가운데 메뉴들 내에서 아래쪽 우측 상호작용가능한 것(639)은 "설정들(settings)"의 스크린을 론칭시키기 위해 사용될 수 있다. 설정들은, 다수의 휴대가능 컴퓨팅 디바이스들 내에서 공통적인, 통신 제어, 비행기 모드(airplane mode), 통지들의 센터(notifications center), 다운로드들, 업데이트들, 등과 같은 수행 인자(performance factor)들을 조정하기 위해 사용될 수 있다. 안구 신호들에 대한 고유한 설정들은, 추종 객체들의 지연 및 타이밍, 추종 객체 스타일, 안구-선택가능한 영역들(이와 대비되는 것으로, 단일 스크린 상에서 디스플레이될 수 있는 상호작용가능한 것들의 개수), 텍스트 혹은 페이지 스크롤링의 레이트 등에 관한 제어를 포함한다.
도 8은 메인-메뉴 "메일(mail)" 상호작용가능한 것(예를 들어, 도 6 및 도 7 참조)의 선택 및 활성화시 뷰잉될 수 있는 스크린샷(530)의 예이다. 사이드바들 사이의 가운데 영역은 메일의 소스(source)들을 나열하는데, 예를 들어, 이들을 수신한 것에 관한 타임-스탬프에 따라 분류된 메일의 소스들을 나열한다. 이러한 패널은 또한, 상호작용가능한 것들의 타입들이 (안구 신호들에 대해) 전략적으로 어떻게 다르게 구성될 수 있는지, 그리고 동적으로(즉, 임의의 주어진 시간에서 디바이스에게 이용가능한 정보에 따라) 어떻게 다르게 구성될 수 있는지, 그리고/또는 정적 상호작용가능한 것들과 함께 어떻게 다르게 사용될 수 있는지를 예시한다. e-메일들의 소스들은 약칭된 이름(abbreviated name)들(831), 애칭(nickname)들(832), 다중-라인 이름(multi-line name)들(833), 절단된 이름(truncated name)들(즉, 안구-선택가능한 영역 내에 맞게 절단된 이름들), 성과 이름(full name)들, 사진들 혹은 썸네일들(834), 카툰(cartoon)들(835), 기업 로고(corporate logo)들(836), 등에 근거하여 임의의 구성된 상호작용가능한 것을 통해 식별될 수 있다.
디스플레이의 맥락에서 안구 신호들을 사용하여 커다란 양들의 정보(즉, 단일 스크린을 넘어가는 정보)를 디스플레이하는 예들로서 다음과 같은 것이 있다. 1) 안 읽혀진 메일의 텍스트, 혹은 (만약 하나 이상의 메일 아이템이 안 읽혀졌다면) 메일 아이템들의 안구-신호 선택가능한 리스트가, e-메일 전송자를 나타내는 상호작용가능한 것을 선택하는 경우, 디스플레이된다. 2) 디바이스 착용자가 특정 엔티티(예를 들어, 개체 혹은 기업)에게 전송해 버린 메일이, 엔티티를 선택하고 후속하여 좌측 사이드바(838) 내에 위치하는 "전송됨(sent)" 상호작용가능한 것(837)을 활성화시키는 안구-신호 시퀀스를 수행함으로써, 뷰잉될 수 있다. 3) e-메일 전송자들의 추가적인 페이지들이 페이지 스크롤을 통해 이용가능하다.
도 9는, 숫자 값을 입력하는 것 혹은 전화 번호를 다이얼링(dialing)하는 것과 같은, 애플리케이션들 내에서 숫자 키패드로서 사용될 수 있는 디스플레이(530)의 스크린샷의 예이다. 디스플레이(937)의 가운데 3 x 4 그리드는 전형적인 전화기 상에 이용가능한 기본적인 선택들을 포함한다. 좌측(631) 및 우측(632) 사이드바들은 디바이스 사용자에 의해 동작들을 트리거시킬 수 있는 상호작용가능한 것들을 포함한다. 우측 사이드바(632)는 도 6 및 도 7에서 제시된는 메인 메뉴와 일관성을 유지하는바, 여기서 메인 표출(633), 가기(634), 및 좌측으로의 페이지 스크롤(635)을 나타내는 상호작용가능한 것들은 일관된 위치들에 위치하고 있다. 또한, 메뉴의 하단 가까이에는 진행 바(636)가 또한 위치하고 있다. 이러한 메뉴에 대해 구분되는 아이콘들이 좌측 사이드바(631)에 부가되는바, 여기에는 임의의 사람을 (회의하기 위한) 통화(call)에 추가하는 아이콘(939), 그리고 통화를 "대기상태(hold)"에 있게 하는 아이콘(940)이 포함된다.
도 6 내지 도 9에서 제시되는 예시적인 스크린샷들은 일반적인 철학, 그리고 가이드라인들 및 표준들의 세트들을 따른다. 이러한 원리들을 따름으로써 사용자 경험은 훨씬 더 직관적이게 되고, 학습 곡선은 짧아지며, 비고의적인 활성화들이 피해지고, 기억-유도 도약들의 사용이 증진되는 등의 효과가 있다.
도 10은 단일 스크린 상에서 디스플레이될 수 있는 양보다 더 큰 양을 갖는(그리고/또는 디바이스 착용자에 의해 또한 완전히 시각화될 수 없는) 정보의 블록을 관리하고 시각화하기 위해 스크롤링을 사용하는 것을 예시한다. 도 10은 텍스트의 본문을 읽는 프로세스 동안 연속적으로 디스플레이되는 4개의 패널들(1030a, 1030b, 1030c, 및 1030d)을 보여준다. 메인 표출(633), 가기(634), 및 좌측으로의 페이지 스크롤(635a)이 우측 사이드바(632) 내에서 이들의 통상적인 위치들(도 6 내지 도 9 참조)에 제시된다. 진행 바(636)가 또한 디스플레이의 하단을 따라 그 통상적인 위치에서 제시된다. 확대(magnify)(1037), 텍스트 팬(text pan)(1038), 및 우측으로의 페이지 스크롤(1039)을 나타내는 새로운 타겟 상호작용가능한 것들(즉, 텍스트-읽기 디바이스에 특정된 것들)이 좌측 사이드바(631) 내에 도입된다.
스크롤링은 상호작용가능한 것들의 추종 스타일을 사용하여 구현된다. 디바이스 사용자가 추종 프로세스를 사용하여 활성화를 할 수 있는 상호작용가능한 것을 뷰잉할 때, 사용자로 하여금 완곡 추종을 통해 의도를 전달할 수 있게 하기 위해 하나 이상의 가상의 객체들의 움직임 및 시각적 추적이 발생될 수 있다. 간단한 활성화의 경우(즉, N개-중-1개 선택이 아닌 경우)에, 전체 뷰잉되는 상호작용가능한 것은 움직일 수 있고, 활성화는 사용자가 이러한 상호작용가능한 것을 추종하는지 여부에 의해 결정된다. 이러한 경우에, 우측 사이드바(632)의 아래쪽 부분에 위치하는 "좌측 스크롤" 추종 상호작용가능한 것(635)을 뷰잉함으로써, 좌측으로의 페이지 스크롤이 개시된다.
텍스트 스크롤링의 경우에, 추종 상호작용가능한 것들(635b, 635c)은 디바이스 착용자에 의한 완곡 추종 안구 움직임이 용이하도록 움직일 뿐만 아니라 텍스트의 전체 페이지(1030b, 1030c)가 동일한 속도에서 움직이게 하는데, 이것은 또한 완곡 추종 안구 움직임을 위한 신경학적 기반을 지원한다(즉, 전체 망막 중심와 뷰잉을 안정화시킴).
움직이는 "좌측 스크롤" 상호작용가능한 것(635a, 635b, 635c)의 방향과는 다른 임의의 방향으로의 안구 움직임은 스크롤 프로세스를 중단(abort)시킨다. 임의의 선택된 거리(예를 들어, 스크린(1030b)을 가로지르는 경로의 1/3)에서, 귀환-불능-지점(point-of-no-return)에 도착하게 되고, 페이지는 안구 움직임들에 상관없이 계속 스크롤링된다. 이러한 안구-신호 시퀀스는 단일 페이지를 스크롤링하는데 유용하다.
만약 사용자가 (세 번째 패널(1030c)에서 예시되는 바와 같이) 스크린을 가로질러 좌측-스크롤 상호작용가능한 것(635a, 635b, 635c)을 계속 추종한다면, 좌측-스크롤 상호작용가능한 것(635a, 635b, 635c)이 스크린의 좌측면에 도착할 때까지 페이지는 계속 스크롤랑된다. 이때, 좌측-스크롤 상호작용가능한 것(635c)은, 좌측 사이드바의 하단 패널 내에서 예시된 바와 같이, 페이지 카운터(page counter)(1039)로 대체된다. 만약 사용자가 페이지-번호 상호작용가능한 것(page-number interactable)(1039)에 계속 정착한다면, 페이지 번호가 증분되면서 텍스트의 전체 페이지들이 순차적으로 나타난다. 완전한 페이지들을 넘기는 프로세스는, 안구의 응시 지점이 좌측 사이드바(631)의 가장 아래쪽 영역을 떠날 때까지 혹은 최종 페이지에 도착할 때까지, 계속된다. 이것은 디바이스 착용자로 하여금 정보의 커다란 블록 내에서 임의의 페이지를 빨리 선택하게 하고 그리고 뷰잉하게 할 수 있다.
우측으로의 스크롤을 위한 프로세스는, 우측-스크롤 상호작용가능한 것(1039)이 좌측 사이드바(631)로부터 선택된다는 점, 그리고 모든 방향들이 반대라는 점을 제외하면, 유사하다. 페이지들을 제어하기 위해 안구 신호들을 사용하는 프로세스는, 텍스트 문서들, 사진들, 리스트들, 맵들, 도면들, 챠트들, 및 객체들의 다른 그룹들에 적용될 수 있고, 뿐만 아니라 그룹 내에서 (단일 페이지로부터 선택될 능력을 초과하는) 임의의 개수의 메뉴 선택들에도 적용될 수 있다.
유사한 전략들 및 레이아웃들이 상향으로 스크롤링 및 하향으로 스크롤링을 하기 위해 사용될 수 있다. 이향 운동은 내향으로 스크롤링(scroll in) 및 외향으로 스크롤링(scroll out)(즉, 디바이스 착용자로부터 상이한 거리에서 뷰잉되는 것)을 하기 위해 사용될 수 있다. 안구 제어들의 조합들은 좌측/우측, 상향/하향, 및 내향/외향 상호작용가능한 것들의 다양한 조합들과 상호작용함으로서 스크롤링(그리고 후속적으로 읽기, 상호작용, 팬(pan), 줌(zoom) 등)을 하는데 사용될 수 있다.
예시적 안구-신호 언어 요소들(EXEMPLARY EYE-SIGNAL LANGUAGE ELEMENTS)
N개-중-1개 선택이 추종 프로세스를 사용하여 수행되는 경우, 사용자로 하여금 완곡 추종을 사용하여 임의의 추종 선택을 특정할 수 있도록 하기 위해 N개의 움직이는 하위-객체(sub-object)들이 발생돼야만 한다. 도 11은 추종 동작을 사용하여 수행되는 2개-중-1개 선택의 시간적 시퀀스를 예시한다. 상단 패널은 (가운데 위치에 모서리가 둥근 정사각형으로서 나타내어진) 추종 상호작용가능한 것(1130)이 뷰잉될 때의 초기 구성(setup)의 예이다. 두 개의 추종 객체들(1131a, 1131b)이 제시되는데, 하나는 좌측을 향해 프로젝션될 것(1131a)이고, 다른 하나는 우측을 향해 프로젝션될 것(1131b)이다. 추종 객체들은 안구에 의한 완곡 추종 추적 프로세스를 돕기 위해 (전체 아이콘을 포함할 수 있는) 적어도 하나의 높은-콘트라스트 초점을 포함한다.
추종 객체들(1132a, 1132b, 1133a, 및 1133b)은 가운데 패널들에서 예시되는 바와 같이 바깥쪽을 향해 연속적으로(그리고 완곡하게(smoothly)) 진행한다. 만약 하단 패널에서 예시되는 바와 같이 추종 객체들(1134a, 1134b)이 그들의 진행의 범위의 끝에 도착한다면, (상단 패널로부터 하단 패널에 이르는) 전체 시퀀스가 반복될 수 있는데, 이러한 반복은, 하나의 추종 객체가 충분히 추적되어 선택이 표시될 때까지, 혹은 추종 상호작용가능한 것으로부터 벗어나는 안구 도약들이 일어나 선택 프로세스를 종료시킬 때까지, 수행될 수 있다. 움직임의 반복되는 패턴들은 일반적으로 경험이 있는 사용자들에 대해서는 요구되지 않는다(그리고 초보 사용자들에 대해서는 속도들이 느려질 수 있음).
2개-중-1개 선택 프로세스의 경우에, 안구가 (점선들(1138)에 의해 표시된) 추종 상호작용가능한 것의 중심의 좌측으로 혹은 우측으로 보는 것에 소비한 시간과, 그리고/또는 중심으로부터의 거리 모두는 임의의 선택이 디바이스 착용자에 의해 의도된 때를 결정하기 위해 사용될 수 있다. N개-중-1개 선택 프로세스의 핵심 요소는 의도를 파악하기 위해서 완곡 추종의 방향을 결정하는 것이다.
상단으로부터 하단으로, 도 12a 내지 도 12h에서의 패널들은, N개-중-1개 추종 선택에 있어서, N이 2인 경우(1232a, 1232b); 3인 경우(1233a, 1233b); 4인 경우(1234a, 1234b); 및 5인 경우(1235a, 1235b)에 대해서 N개-중-1개 추종 선택에 대한 예시적인 프로젝션들을 나타내고 있다. 좌측편에 있는 상호작용가능한 것들(1232a, 1233a, 1234a, 및 1235a)은 특히, 확대 프로젝션(expanding projection)들에 관해 경계 제약(boundary constraint)들이 없는 위치들에서 사용될 수 있다(예를 들어, 추종 상호작용가능한 것이 디스플레이 구역 내에서 가운데 위치에 있을 때, 예컨대 도 6 참조). 우측편에 있는 상호작용가능한 것들(1232b, 1233b, 1234b, 및 1235b)은, 위쪽 경계에 인접하여 사용될 수 있는 프로젝션 방향들의 예이다(예를 들어, 디바이스 구역의 위쪽 에지). 좌측 에지, 하단 에지, 혹은 우측 에지에 인접하여 위치하는 추종 상호작용가능한 것들은 예시된 프로젝션들을 90o, 180o, 혹은 270o 만큼 회전시킴으로써 핸들링될 수 있다.
코너들에 위치하는 추종 상호작용가능한 것들도 유사한 전략을 사용하여 관리될 수 있는데, 하지만 코너 프로젝션들에 대한 한정된 방향 범위들은 프로젝션들의 개수가 상대적으로 낮게 유지되도록 강제한다. 선택을 행하기 위한 방향을 명확히 구분하기 위해서, 사용자 의도를 파악하기 위해 진행된 임계 거리(즉, 안구 신호가 존재하는 것으로 결정될 때)는 N에 따라 달라질 수 있다.
도 13a 내지 도 13e는 4개-중-1개 선택 프로세스에 대한 추종 상호작용가능한 것들 및 대응하는 추종 객체들의 상이한 스타일들의 예들을 보여준다. 좌측에서-우측으로의 스냅샷들(1330a, 1330b, 1330c)은 추종 객체 시퀀스들 각각에 대한 시간에 따른 진행을 보여준다.
도 13a는 추종 상호작용가능한 것의 "폭발(explosion)"인데, 여기서 본래의 상호작용가능한 것은 바깥쪽을 향해 확장하는 4개의 조각(piece)들로 분할된다. 본래의 상호작용가능한 것의 어떠한 부분도 뒤에 남겨지지 않는다. 도 13b는 단지 상호작용가능한 것의 쉘(interactable shell)만이 "폭발"하고 본래의 상호작용가능한 것의 안쪽 부분은 뒤에 남겨진다. 도 13c에서, 컬러-코딩된(color-coded) 혹은 휘도-코딩된(luminance-coded) 추종 객체들은 가운데 상호작용가능한 것으로부터 바깥쪽 방향으로 확장하고, 본래의 상호작용가능한 것은 뒤에 남겨진다. 도 13d에서, 추종 객체들은 상호작용가능한 것 안에서부터 이들의 바깥쪽 방향 확장을 시작한다. 도 13e는 바깥쪽 방향으로 방사(radiate)하는 포인트(point)들의 "컨베이어(conveyer)"를 예시하고, 여기서 시간이 진행됨에 따라 새로운 포인트들이 추가된다. 나중에 제시된 스킴의 이점은 (단일 추종 객체가 루프 순환(loop around)되어 바깥쪽 방향 프로젝션을 다시-시작하는 것을 기다리는 것과 비교하여) 임의의 추종 객체가 형성되고 가운데 상호작용가능한 것으로부터 바깥쪽 방향으로 방사함에 따라 그 추종 객체에 정착하는 능력이다.
의미를 전달하기 위해서 혹은 임의의 움직이는 것(mover)을 그 움직이는 방향을 넘어 간단히 구분하기 위해서 추종 객체 출현에서의 다수의 추가적인 변형예들이 가능하다. 예를 들어, 상이한 움직이는 것들은 서로 다른 형상들, 크기들, 컬러들, 라벨(label)들, 등을 가질 수 있다. 형상들 및 라벨들은 의미를 갖는 것일 수 있거나(예를 들어, 숫자로서의 형상을 갖거나 혹은 숫자로 라벨링되는 경우), 혹은 임의적인 것(arbitrary)일 수 있다.
도 14a의 위쪽 패널(1430a)은 메인 표출 프로세스를 구현하기 위해 사용될 수 있는 오버레이(overlay)의 예를 나타낸다. 고정된-위치의 메인 표출 상호작용가능한 것(즉, 도 6 내지 도 9의 위쪽-우측 코너에서 제시되는 별(star))이 디바이스 사용자에 의해 뷰잉될 때, "메인 표출"이 개시된다. 뷰잉은 오버레이 상호작용가능한 것들(1431a, 1431b, 1432, 1433, 및 1434)이 짧은 시간 동안 출현하도록 한다. 추가적으로, 메인 표출 상호작용가능한 것은 갭 효과를 이용하기 위해서 사라질 수 있는데, 여기서 새로운 상호작용가능한 것들의 출현과 결합되는 임의의 뷰잉되는 상호작용가능한 것의 사라짐은 안구가 또 하나의 다른 위치(여기에는 새롭게 노출되는 메인 표출 선택들(1431a, 1431b, 1432, 1433, 및 1434)이 포함됨)로 더욱 빠르게 도약하는 것을 돕는다. 만약 새롭게 노출된 메인 표출 상호작용가능한 것이 임의의 특정된 기간 내에 선택되지 않는다면, 최상위-레벨 메인 표출 상호작용가능한 것이 다시-출현하고, 그리고 오버레이된 상호작용가능한 것들(1431a, 1431b, 1432, 1433, 및 1434)은 어떠한 추가 동작도 없이 사라진다.
만약 메인 표출 프로세스 동안, 디바이스 사용자가 임의의 선택된 시간 내에 그 새롭게 표출된 상호작용가능한 것들 중 어느 하나의 것으로 도약한다면, 해당하는 그 상호작용가능한 것과 관련된 동작이 수행된다. 도 14b의 아래쪽 패널(1430b)에서 예시되는 바와 같이, 표출된 상호작용가능한 것들은 디스플레이 상에 이미 제시되고 있는 콘텐츠와의 간섭을 최소화시키도록 전략적으로 오버레이되고 배치된다. 상단 패널에서 제시되는 바와 같이, 표출된 상호작용가능한 것들은 뷰잉될 때 안구를 유도하는 것을 돕도록 (사이드바 상호작용가능한 것들과 유사한) 높은-콘트라스트 초점을 갖도록 구성된다. 가장 우측에서 표출되는 상호작용가능한 것(1434)은 "홈(home)" 상호작용가능한 것인데, 이것은 결과적으로 메인 메뉴 혹은 홈 메뉴(도 6 내지 도 9 참조)가 디스플레이되게 한다. 위쪽 및 아래쪽 디스플레이 에지들 가까이 위치하는 표출된 상호작용가능한 것들(1431a, 1431b)은, 스크린(본 경우에 있어서는 텍스트(1435))이 상향으로 그리고 하향으로 스크롤링된다는 점을 제외하고는, 도 10에서 제시된 상호작용가능한 것들을 좌측으로 그리고 우측으로 스크롤링하는 것과 유사한 방식으로 동작한다. 스크린의 좌측면 상의 가운데 위치에 배치되어 있는 메인 표출 상호작용가능한 것(1433)은 "뒤로 가기(back)" 버튼을 나타내고, 이것은 임의의 메뉴-선택 프로세스를 위로(즉, 메인 메뉴를 향해) 한 레벨 상승시킨다. 스크린의 위쪽-좌측 코너에서의 상호작용가능한 것(1432)은 픽 앤 플레이스(pick 'n place) 기능을 개시시킨다.
도 15a 내지 도 15c에서 제시되는 스크린샷들(1530a, 1530b, 1530c)은 표출 메뉴 선택 프로세스를 보여주는 예시적인 시퀀스를 나타낸다. 좌측 사이드바에서 가장 위쪽의 상호작용가능한 것으로서 배치되는 메뉴 표출(633)을 "바라봄(looking)"으로써 선택 프로세스가 개시된다. 이것은 가운데 패널(1530b)에서 제시되는 바와 같이 툴들(1536a, 1536b, 1536c, 1536d)의 메뉴가 출현하도록 한다. 이러한 툴들은 임의의 형태(figure), 더 구체적으로는 파리(Paris)의 맵(1537)이 뷰잉되고 있음을 고려하는 맥락-감지 툴들이다. 디스플레이되는 메뉴 선택들(즉, 콘트라스트(1536a), 줌(zoom)(1536b), 회전(rotate)(1536c), 및 편집(edit)(1536d))은 이러한 형태들에 적용될 수 있는 기능들의 그룹들을 나타낸다. 만약 요구된다면, 모든 메뉴 옵션들은 사용자의 안구 응시 위치를 표시하는 강조-기반 피드백(highlight-based feedback)으로 조사될 수 있다. 선택-보기-가기 시퀀스를 사용하여 줌 선택을 활성화시키는 것은, 아래쪽 패널(1530c)에서 제시되는 바와 같이, 줌 툴(zoom tool)들의 서브메뉴가 출현하도록 한다.
그 다음에, 서브메인들 내의 요소들이 선택될 수 있다. 이러한 프로세스를 반복함으로써 툴 선택은 애플리케이션 개발자들이 원하는 만큼 깊게 내포될 수 있게 된다. 특정 메뉴 아이템의 선택은 사용되지 않은 선택들이 사라지도록 하고, 선택된 기능을 나타내는 상호작용가능한 것은 "뒤로 가기(back)" 상호작용가능한 것(1538)으로 대체되게 한다. 선택들이 수행됨에 따라 (개개의 메뉴 층(tier)들의 맥락 내에 내포되지 않는) 표출들을 제거하는 것은 또한, (적절한 알고리즘적 계획을 갖는) 메뉴 내포화(menu nesting)가, 원하는 만큼 깊을 수 있고 선택 응시 해상도를 준수하는 포맷으로 여전히 디스플레이될 수 있음을 보장한다.
3 x 4 응시-선택가능한 영역을 갖도록 레이아웃을 설계할 때, 항상 "뒤로 가기(back)" 상호작용가능한 것(1538)이 (이전에 선택이 수행되었던 컬럼 위치에서) 스크린의 가운데 영역의 상단 로우(top row) 상에 디스플레이될 수 있고, 최대 4개의 표출된 상호작용가능한 것들이 중간 로우(middle row)(1539b)에 디스플레이될 수 있고, 그리고 (각각의 그룹 상호작용가능한 것이 뷰잉됨에 따라) 최대 4개의 서브메뉴 옵션들이 아래쪽 로우(lower row)(1539c)에 디스플레이될 수 있다.
"뒤로 가기(back)" 기능(1538)을 활성화시키는 것은 메뉴 선택 프로세스를 하나의 층(tier) 위로(즉, 뒤로(back)) 이동시키고, 이것은 툴들의 세트들이 다시-선택될 수 있게 한다. 예를 들어, 만약 도 15c의 아래쪽 패널(1530c) 내에 있는 "뒤로 가기(back)" 상호작용가능한 것이 선택된다면(즉, 선택-보기-가기 시퀀스를 사용하여 선택된다면), 도 15b의 중간 패널(1530b)이 다시-출현할 것이다. ("뒤로 가기(back)" 상호작용가능한 것으로 대체되어 있는) 좌측 사이드바 내의 본래의 메뉴-표출 상호작용가능한 것(633)의 위치를 뷰잉하는 것은, 메뉴 선택 프로세스를 즉각적으로 종료하고 임의의 오버레이된 표출된 상호작용가능한 것들을 제거한다.
줌 서브메뉴(zoom submenu)는 (좌측으로부터 우측으로) 포지티브 줌(positive zoom)(1536a), 네거티브 줌(negative zoom)(1536b), 및 본래의-이미지 해상도 줌(original-image resolution zoom)(1536c) 상호작용가능한 것들을 예시한다. 이러한 것들은 선택 프로세스의 가장 낮은 레벨(즉, 실제 툴들 그 자체)을 나타낸다. 따라서, 표출된 상호작용가능한 것들이 조사됨에 따라 어떠한 후속 서브메뉴들도 디스플레이되지 않는다. 툴이 선택되면(즉, 선택-보기-가기 시퀀스를 사용하여 선택되면), 만약 어떤 다른 위치 정보가 요구되지 않는다면(예를 들어, 본래의 해상도로 줌(zoom)), 해당 툴에 의해 특정된 동작이 수행되고, 또는 만약 기능을 수행하기 위해 위치 좌표들이 요구된다면(예를 들어, 줌 인(zoom in)을 수행할 때 중심 레퍼런스 위치), 임의의 위치가 선택되자마자 해당 기능이 적용된다. 기능은 임의의 위치를 다시 선택함으로써(즉, 선택-보기-가기 시퀀스를 사용하여 선택함으로써) 반복될 수 있으며, 혹은 표출 상호작용가능한 것을 뷰잉함으로써 또 하나의 다른 툴 선택 시퀀스가 개시될 수 있다.
안구-신호 언어 선택들(EYE-SIGNAL LANGUAGE SELECTIONS)
도 16은 임의의 동작의 수행에 이를 수 있게 하는 안구 신호들을 검출하는데 사용되는 알고리즘적 단계들의 전체 시퀀스를 보여준다. 도면 참조번호 1630에서, 응시 경로들을 결정하기 위해 안구의 이미지들이 획득되고 분석된다. 도면 참조번호 1631에서, 만약 안구가 눈꺼플로 덮여 있기 때문에 혹은 그렇지 않다면 가려져 있기 때문에 안구가 발견될 수 없다면, 타이밍 레지스터(timing register)들이 간단히 업데이트되고 분석은 다음 카메라 프레임으로 진행한다. 도면 참조번호 1632에서는 안구 움직임들이 주로 도약적 안구 움직임들인지 또는 완곡 추종 안구 움직임들인지(또는 이향 운동 안구 움직임들인지 또는 전정-안근 안구 움직임들인지)를 결정하기 위해 일련의 안구 위치들 모두에 필터들이 적용된다. 도면 참조번호 1633에서는, 만약 자발적 안구 움직임의 이러한 형태들에 대한 매칭들이 발견된다면, 응시 경로들은 또한 스크린 위치들과 비교되어 상호작용가능한 것들 혹은 실제 객체들에 대응하는 영역들이 뷰잉되고 있는지를 결정하게 된다. 그 다음에, 도면 참조번호 1634에서, 응시 패턴들은 또한, 이들이 전반적으로 스크린 상에서 디스플레이되는 활성화 상호작용가능한 것들에 대응하는지를 결정하기 위해 분석된다. 도면 참조번호 1635에서, 만약 매칭이 발견되면, 그 선택된 상호작용가능한 것(들)에 대응하는 동작들이 수행된다.
안구 신호들의 형성에서 컴포넌트들로서 완곡 추종 및 도약적 안구 움직임들을 사용하는 것은 디스플레이 상에서 가상의 객체들(즉, 상호작용가능한 것들)을 따라가는 것 혹은 시각화하는 것에 한정되지 않는다. 안구 신호들은 또한 디바이스 착용자의 실제 세계에서 실제 객체들을 선택하는 것을 포함할 수 있다. 안구-신호 선택 및 제어의 이러한 형태는 본 발명의 기술분야에서 잘-알려진 (장면 카메라 이미지들 내에서의) 객체 인식 기법들로 보충되는 경우 특히 강력하다.
도 17은 실제 세계에서의 식별된 객체들에 대한 보충 정보(supplementary information)를 획득하기 위해 사용될 수 있는 일련의 안구-신호 선택들의 예시적 실시예를 보여준다. 이러한 흐름도는, 디바이스 착용자의 환경 내에서 관측 및 인식된 객체들에 대한 보충 정보를 디스플레이할지 여부에 관해 사용자 선호도(user preference)를 활성화 혹은 비활성화시킬 수 있는 작은 코드 세그먼트(code segment)의 구조를 나타낸다.
이러한 흐름도는, 도약적 안구 움직임들 및 완곡 추종 안구 움직임들이 모두 (끊김없이(seamlessly)) 실제 세계 및 가상의 디스플레이들 내에서 신호들을 형성하기 위해, 뿐만 아니라 이들 두 개의 움직임들 간의 변이(transition)들을 형성하기 위해 사용되는 단계들을 예시한다. 예를 들어, 도면 참조번호 1720에서, "추적(track)" 메뉴 아이템(1710)의 가기 선택(go selection)을 발생시키기 위해 사용되는 보기(look)는 시각적 디스플레이 내에서의 객체들로의 도약적 움직임이다. 도면 참조번호 1730에서는, 디바이스 착용자의 실제 세계 환경이 도약적 안구 움직임들을 사용하여 뷰잉될 수 있다. 도면 참조번호 1740에서는, 환경 내에서 디바이스 착용자에 대한 관심이 있는 아이템들을 식별하는 것은 실제 세계에서의 객체들의 완곡 추종을 포함한다.
만약 관심이 있는 객체가 투명한 혹은 반투명한 디스플레이의 뷰잉 영역 내에 존재하는 것이 일어난다면, 도면 참조번호 1750에서, 어떤 객체가 선택되었고 인식되었는지에 관한 표시가 디스플레이 스크린 내에서 그 객체를 아웃라인(outlining)함으로써 수행될 수 있다(또는 크로스(corss), 화살표, 투명도 변화, 등과 같은 선택의 어떤 다른 표시가 수행될 수 있음). 그 다음에, 관심이 있는 특정 아이템에 대한 정보를 가상의 디스플레이 상에서 뷰잉하기 위해 도약적 안구 움직임이 사용될 수 있다(1760). 도면 참조번호 1770에서는, 가상의 디스플레이에 지향된 완곡 추종 움직임들이, 관심이 있는 실제 세계 객체에 대한 추가적인 보충 정보를 통해서 스크롤링을 하는데 사용될 수 있다.
그 다음에, 관심이 있는 다른 객체들을 조사하기 위해 실제 세계와 디스플레이되는 정보 간의 변이를 행하는데 도약적 움직임이 사용될 수 있다. 도면 참조번호 1740에서, 관심이 있는 또 하나의 다른 객체를 선택하기 위해 완곡 추종이 다시 사용될 수 있다. 도면 참조번호 1760에서, 사용자는 추가 보충 정보를 위해 디스플레이로 다시 도약할 수 있다. 임의의 횟수로 이러한 이후의 단계들을 반복함으로써 임의의 개수의 객체들에 대한 정보가 획득될 수 있다. 마지막으로, "추적(track)" 모드는 원하는 동작을 완료하기 위해 도면 참조번호 1790에서의 가기(go)(즉, 도약)를 사용하여 디스플레이 상에서 도면 참조번호 1780에서의 "빠져 나오기(exit)" 메뉴를 선택함으로써 종료될 수 있다.
프레임 레이트의 동적 제어(DYNAMIC CONTROL OF FRAME RATE)
또 하나의 다른 실시예는 한쪽 안구 혹은 양쪽 안구들의 영역들을 뷰잉하는 하나 이상의 카메라들의 프레임 레이트(즉, 시간의 단위(unit of time)당 획득된 이미지들의 개수)의 동적 제어를 포함한다. 카메라 프레임 레이트는 안구의 이미지들 내에서 객체들의 움직임의 레이트들 및 방향들(즉, 속도들)을 결정 및 측정하는 능력의 주요 결정요소이다. 이전에 설명된 바와 같이, 안구 내의 근육들은 인간 신체 내에서 모든 근육들 중 가장 빠른 움직임들을 행할 수 있다. 따라서, 증가된 카메라 프레임 레이트는 안구 및/또는 그 컴포넌트들의 동적 움직임들을 더 정확하게 그리고 견고하게 측정하기 위해서 일부 경우들에서 매우 중요할 수 있다.
현대의 카메라들은 광범위한 프레임 레이트들에 걸쳐 동작할 수 있다. 순간 프레임 레이트(instantaneous frame rate)들은 또한, 이미지별 기반으로 그렇게 빈번하게 조정될 수 있다(즉, 소위 "클럭(clock)" 회로에 의해 지배될 수 있음).
예시적 실시예들 내에서의 주파수 스펙트럼(frequency spectrum)의 낮은 측면에서, 수 초의 기간에 걸쳐 하나의 프레임만큼 그렇게 낮은 프레임 레이트들이 사용될 수 있는데, 예를 들어, 안구 추적 디바이스가 머리로부터 제거된 것처럼 나타나고 사용되고 있지 않을 때 리소스들을 보전하기 위해 낮은 프레임 레이트들이 사용될 수 있다. 이러한 낮은 프레임 레이트들에서 획득된 이미지들은, 더 높은-성능의 사용을 위한 준비로서, 디바이스가 머리에 다시 장착되었음을 표시하는, 카메라 이미지들 내에서의 안구의 존재에 대한 탐색을 행하는데 사용될 수 있다. 주파수 스펙트럼의 다른 측면에서, 초당 1,000개 혹은 그 이상인 프레임들의 레이트들이, 안구들의 이미지들 내에서 급속히 빠른 도약적 움직임들 혹은 떨림들의 속도들을 정확하게 측정하기 위해, 사용될 수 있다.
카메라들을 제어하기 위해 사용되는 현대 오실레이터(oscillator)(즉, "클록(clock)") 회로들 내에서의 시간적 정확도(temporal accuracy), 지터(jitter), 및 정밀도는 백만분율(Parts Per Million, PPM) 단위로 측정된다. 안구 움직임들의 속도를 결정하는 것은, 복수의 이미지들에 걸친 안구의 "추적가능한" 컴포넌트들의 공간적 위치들을 이러한 이미지들을 분리시키는 시간으로 나눈 측정값(measure)들과 관련된다. 수 개의 프레임들을 획득하는 과정에 걸쳐, 100 PPM인 심지어 상대적으로 낮은-정확도의 오실레이터 회로들도 결과적으로 카메라 이미지들 내의 객체들의 공간적 위치의 측정값들과 비교하면 무의미한 에러가 일어나게 한다. 따라서, 안구 내에서의 컴포넌트들의 속도 측정들을 행할 때 클록 정확도는 일반적으로 한정 인자(limiting factor)가 아니다. 전체 정확도는 카메라 이미지들 내에서 객체들의 공간적 위치들을 결정하는 정확도에 의해 주로 지배를 받는다.
카메라 프레임 레이트와 밀접하게 관련되는 것은 각각의 이미지를 수집하기 위해 요구되는 획득 시간이다. 카메라가 임의의 이미지를 획득하기 위해 소요할 수 있는 최대 시간은 프레임 레이트의 역수(inverse)이다(즉, 프레임의 전체 시간 = 1/프레임 레이트). 하지만, 현대의 디지털 카메라들은 또한 이미지 획득 프로세스 동안 광자(photon)들을 검출하는 시간을 한정하는 능력을 갖는다. 광자들을 획득하는 시간을 한정하는 것은 관련 기술분야에서 "전자 셔터링(electronic shuttering)"으로서 알려져 있다. (적외선을 포함하는) 광 수집 시간들을 매우 짧은 간격들(전형적으로는 대략 마이크로초(microsecond)들 내지 밀리초(millisecond)들)까지 셔터링시키는 것은 이미지들을 "프리즈(freeze)"시키며, 이것은 움직이는 객체들의 더 명확한 뷰잉을 가능하게 하는데, 왜냐하면 객체 에지들이 더 적은 수의 픽셀들에 걸쳐 퍼지기 때문이다. 반면, 더 긴 획득 시간들은 각각의 이미지 동안 더 많은 광자들이 검출될 수 있게 하고, 이것은 카메라 이미지들의 진폭(즉, 각각의 픽셀 내에서의 강도)을 증가시키고, 일반적으로 신호-대-노이즈 비율(signal-to-noise ratio)들을 증가시킨다.
카메라 성능에 관한 이러한 제어를 갖는 경우, 예시적 실시예들은, 조정가능한 프레임 레이트들 및 획득 시간들을 이용하여, 전력을 보전하는 것, 이미지 프로세싱과 관련된 컴퓨팅 리소스들의 사용을 최대화하는 것, 안구 측정의 정밀도(특히 움직이는 객체들의 측정과 관련된 것들의 정밀도)를 최대화시키는 것, 충분한 조명을 조절하는 것, 그리고/또는 심지어 뷰어가 단일의 객체에만 초점을 맞추고 있는 경우에도 안구의 끊임없는 모션(예를 들어, 미세-도약들, 떨림)이 있다는 사실과 관련된 공간적 "노이즈"를 감소시키는 것을 할 수 있다.
비록 미세-움직임들이 사용자의 상태의 어떤 측면들을 추론하기 위해 유용할 수 있지만(아래 참조), 이들은 완곡 추종 및 자발적 도약들의 방향성 측정들 및 거리 측정들과 간섭을 일으킬 수 있다. 더 높은 프레임 레이트들은 알고리즘적 접근법들로 하여금 이러한 주파수들에서 혹은 결과들을 평균화하는 것과 같은 다른 수학적 접근법들에서 진동들/움직임들을 제거함으로써 미세-움직임들을 보상할 수 있게 한다. 짧은 획득 시간들은 또한 미세-움직임들과 관련된 이미지 희미해짐(image blur)을 감소시키기 위해 사용될 수 있다.
도 18은 가변 프레임 레이트의 제어에 관련된 순차적인 고려사항들 중 일부를 예시한다. 이미지 프로세싱은 일반적으로 이미지 획득과 동시에 일어날 수 있기 때문에(이 경우 획득은 하나 이상의 카메라들에 의해 독립적으로 수행됨), 프레임별 기반으로 레이트를 제어하는 것은 이미지의 분석을 포함하되, 실질적으로 동시에 또 하나의 다른 프레임을 수집하는 것 그리고 다음의 순차적으로 획득되는 이미지의 제어를 준비하는 것을 하면서 이루어지는 이미지의 분석을 포함한다.
도면 참조번호 1830에서, 카메라로부터 이미지가 검색되면, 도면 참조번호 1831에서, 후속하는 프레임 레이트를 결정하기 위해 이미지 분석이 수행된다. 이러한 분석은 도약적 움직임이 일어나고 있는지 여부, 응시 방향, 안구가 닫혔는지 여부, 메뉴 선택 요건들, 등을 고려할 수 있다. 프레임 레이트가 결정되면, 도면 참조번호 1832에서, 모든 카메라 클록 및 레지스터 설정들이 미리-계산(pre-calculate)되고 그리고 (카메라(들) 상에 위치할 수 있는) 일시적 버퍼에 로딩(loading)된다. 그 다음에, 도면 참조번호 1833에서 후속 프로세싱은 일시정지되는데, 이것은 도면 참조번호 1836에서 (예를 들어, 간단한 루프(loop)에 의해) 현재 이미지의 수집이 완료될 때까지이다. 이때, 도면 참조번호 1834에서, 실제 카메라 클록 및 레지스터 설정들이 설정되고, 그리고 도면 참조번호 1835에서, 후속 프레임의 획득이 개시된다.
비록 안구의 이미지들을 분석하기 위한 알고리즘적 접근법들에 대해 어떠한 제한들이 존재하는 것은 아니지만, 프레임 레이트들은 일반적으로 세 개의 범위들에서 고려될 수 있는바, 1) 낮은 프레임들의 레이트들; 2) 중간-범위 프레임 레이트들; 및 3) 높은 프레임 레이트들에서 고려될 수 있다. 1) 낮은 프레임들의 레이트들은, 10 프레임들/초로부터 매 수 초들마다 하나의 프레임에 이르는 범위에 있는 것으로, 능동적 안구 추적(active eye tracking)에 대한 필요성이 없을 때 일반적으로 사용될 수 있다. 애플리케이션들은, 머리로부터 제거되버린 디바이스가 한쪽 안구 혹은 양쪽 안구들의 뷰잉이 디바이스 카메라(들)에 의해 보여질 수 있는 위치로 언제 되돌아 오는지를 아는 것, 또는 안구 추적이 특정 애플리케이션에 대해 언제 요구되지 않는지를 아는 것을 포함하며, 그리고 단지 중요한 것은 디바이스가 머리로부터 제거되었는지 그리고 언제 제거되는지를 아는 것이다. 2) 중간-범위 프레임 레이트들은, 10 프레임들/초로부터 100 프레임들/초에 이르는 범위에 있는 것으로, 일상적인 안구 추적(routine eye tracking)을 위해 사용될 수 있다. 3) 높은 프레임 레이트들은, 100 프레임들/초로부터 1,000 프레임들/초 및 그 이상에 이르는 범위에 있는 것으로, 속도 및 프로파일을 결정하기 위해 예를 들어, 도약의 초기 국면 동안 안구 움직임들을 분석하기 위해 사용될 수 있다.
프레임 레이트들을 조정하는 것에 추가하여, 조명 레벨들이 또한 동적으로 조정될 수 있는데, 예를 들어, 더 짧은 프레임 획득 시간들, 이미지의 빈약하게 조명되고 있는 영역들로 움직이는 관심이 있는 객체들, 등을 보상하는 것을 돕기 위해 동적으로 조정될 수 있다. 카메라 이미지들에 근거하여 안구의 조명을 동적으로 제어하는 것은 미국 특허 번호 제8,890,946호에서 더 충분히 설명되어 있다.
안구 위치들의 예측(PREDICTION OF EYE LOCATIONS)
카메라 성능을 제어하는 특히 유용한 애플리케이션은, 급속히 빠른 도약적 안구 움직임들 동안에 타겟 위치들을 예측 및 추적하는 동안이다. 이전에 설명된 바와 같이, 도약적 안구 움직임들은 성질상 "탄도학적" 움직임들이다. 달리 말하면, (비유도 미사일(unguided missile)의 론칭과 유사하게) 도약의 타겟 위치는 도약적 론칭의 시간에 대부분 결정된다. 어떠한 "중간-과정 정정(mid-course correction)들"은 도약들에 적용되지 않는다. 도약적 움직임의 초기 부분의 방향 및 속력을 세심하게 측정함으로써, 이에 따라, 탄도학적 미사일들에 적용되는 것들과 유사한 수학적 접근법들을 사용하여 도약의 타겟 위치를 예측하는 것이 가능하다.
초기 도약적 방향 및 속력을 정확하게 결정하기 위한 핵심요소는 높은 프레임 레이트들(전형적으로는 초당 수백 프레임들)에서 카메라 이미지들을 획득하는 것이다. 탄도학적 론칭 이후 즉각적으로 이미지들의 급속히 빠른 시퀀스를 획득하기 위해 수 가지 기법들이 이용가능하다. 1) 더 낮은 프레임 레이트에서 샘플링이 수행될 때 도약적 론칭이 검출되면, 카메라는 즉각적으로 더 높은 프레임 레이트로 전환된다. 2) (전용) 카메라 회로가 높은 프레임 레이트에서 끊임없이 실행될 수 있고, 순환 버퍼(circular buffer) 내에 이미지들이 저장된다. 정상적인 동작들 동안 모든 이미지들이 카메라 버퍼로부터 전송되어 프로세싱되는 것은 아니다. 도약이 검출되는 경우, 카메라 버퍼 내에 저장된 빠르게 샘플링된 이미지들이 프로세싱을 위해 검색될 수 있다. 3) 프레임 레이트는 안구 신호 제어의 "맥락(context)"에 근거하여 조정될 수 있다. 예를 들어, 뷰잉되고 있는 객체가 "가기(go)"를 사용하여 선택될 가능성을 가지고 있는 경우 프레임 레이트들은 증가될 수 있다. 유사하게, 가기(go)-관련 도약들 이후에는 종종 "홈(home)" 혹은 "표출(reveal)"과 같은 추가적인 선택이 일어난다. 이러한 시퀀스들에 걸쳐 높은 프레임 레이트들은 유지될 수 있다.
도약적 안구 움직임들의 타겟 위치들을 예측하는 능력은 안구 신호 성능(예를 들어, 속력) 및 신뢰도를 향상시키기 위해 다수의 방법들로 활용(exploit)될 수 있다. 예시적 실시예들은 다음과 같은 것을 포함한다.
1. 만약 예측된 타겟 위치가 커맨드 시퀀스의 종착지(terminus)라면(예를 들어, 어떤 동작이 디바이스에 의해 수행돼야 하는 경우), 그 선택된 말단지점(endpoint)은 다양한 방법들(타겟 아이콘 둘레로 박스 혹은 원을 드로잉(drawing)하는 것, 타겟 아이콘의 컬러를 변경하는 것, 아이콘의 밝기를 변경하는 것, 아이콘을 변경하는 것, 아이콘을 둘러싸는 배경을 변경하는 것 등) 중 임의의 방법으로 강조될 수 있다. 만약 이전에 선택된 객체 혹은 디스플레이 영역에 관해 임의의 동작이 수행돼야 함을 활성화 타겟이 표시한다면, 그 객체 혹은 디스플레이 영역의 그래픽 표현(예를 들어, 썸네일)이 또한 디스플레이될 수 있다. 이러한 경우에, "망막 중심와 뷰잉(foveal view)" 썸네일이 디스플레이될 수 있다. 이러한 것들은 선택이 수행되었음을 표시하는 효과를 가지며, 이것은 긴-거리 도약 이후 전형적으로 일어나는 임의의 작은 정정 도약을 유도하기 위해 선택 아이콘으로의 주의를 끌고, 그리고/또는 심지어 안구가 선택 지점에 도착하기도 전에 선택을 변경함으로써 선택이 수행되었음을 사용자가 지각하는 시간을 감소시키고, 그리고 또한 인식을 위해서 장-기간 기억에 대해 기억해낼 것을 요구하지 않는 "친숙한(familiar)" 이미지를 디스플레이함으로써 인지 프로세싱 시간들을 감소시킨다.
2. 만약 예측된 타겟 위치가 선택 시퀀스 내에서의 중간 지점(intermediary point)(예를 들어, "홈(home)" 혹은 "표출(reveal)"로 움직이기 전 가기(go) 위치)이라면, 탄도학적 도약 동안(즉, 타겟 위치에 도착하기 전에) 타겟 상호작용가능한 것의 이미지를 제거함으로써, 증가된 사용자 선택 레이트들이 달성될 수 있다. 타겟 상호작용가능한 것의 제거는 정정 도약에 대한 필요성을 감소시키고(왜냐하면 정정 타겟(corrective target)은 제거되었기 때문), 그리고/또는 갭 효과를 활용하여 안구로 하여금 선택 시퀀스에서 다음 타겟으로 빠르게 움직일 수 있게 한다. 이러한 전략들은 타겟들의 일련의 시퀀스들에 근거하여 안구 신호들을 실행시키기 위해 요구된 시간을 크게 감소시킬 수 있다.
3. 다른 경우들에서, 타겟은 팝-다운 메뉴(pop-down menu)에서 디스플레이되는 것들과 같은 추가적인 선택들을 위한 론칭 지점(launch point)일 수 있다. 이러한 경우에, 이러한 메뉴들 혹은 다른 아이콘들을 점진적 방식으로 디스플레이하는 것이 바람직할 수 있는데, 여기서, 휘도 및/또는 불투명도가 임의의 제어되는 방식으로 도입된다. 최종 휘도 및/또는 불투명도는 또한 경감(subdue)될 수 있다. 이러한 단계들의 하나의 목적은 비고의적인 주의를 끄는 것을 피하는 것이다. 인간들 및 다수의 다른 동물 종들의 두뇌들은, 휘도, 에지들, 혹은 움직임에서의 급속히 빠른 변화들(특히 주변 시각계 내에 있는 경우)을 적어도 흘긋 보도록 "와이어링(wired)"되어 있다. 아이콘들 혹은 객체들의 갑작스러운 그리고/또는 높은 강도 도입은 디바이스 착용자로 하여금 객체를 바라보도록 강제하는 경향을 발생시키게 된다. 선택가능한 옵션들의 도입이 더욱 억제(subdue)되도록 유지함으로써, 비고의적인 활성화들을 일으킬 수 있는 정신 착란들 없이 자발적인 옵션 선택이 일어날 수 있다.
4. 도약적 움직임의 범위 또는 거리를 알고 있음으로써, 안구-신호 선택의 엄격성(stringency)을 (실시간으로) 조정하는 것이 가능하다. 예를 들어, 만약 선택이 멀리 있는 위치로부터 개시된 도약에 근거하여 수행되고 있다면, 양성적 선택(positive selection)이 수행되었는지를 결정하기 위해 사용되는 타겟을 둘러싸는 구역은 긴-거리의 탄도학적 도약 동안 더 큰 에러의 가능성을 고려하도록 확장될 수 있다. 역으로, 사용자가 단순히 임의의 장면을 조사하는 경우 비의도적인 활성화들을 피하기 위해 짧은 도약적 움직임들 동안 더 높은 엄격성(즉, 더 작은 선택 공간)이 사용될 수 있다.
5. 유사한 설명을 따르면, 만약 도약적 타겟 위치가 알려져 있다면, 도약의 경로를 따라 선택 타겟들의 엄격성은, 이러한 타겟들의 비고의적인 활성화를 피하기 위해, 증가될 수 있다(즉, 더 제한적으로 될 수 있음).
예측적 관심이-있는-영역 제어(PREDICTIVE REGION-OF-INTEREST CONTROL)
높은-레이트 이미지화 동안 특히 적용가능한 또 하나의 다른 전략은, 카메라에 의해 수집된 이미지들의 전달 및 프로세싱을, 특정된 관심이-있는-영역(Region-Of-Interest, ROI)"들에 격리(isolate)시키는 것이다. 잘-선택된 ROI들은 필수적인 안구 구조들을 포함할 가능성이 가장 높은 전송 영역들에 대한 이용가능한 대역폭을 최적화함으로써 높은 프레임 레이트들을 용이하게 할 수 있다. 프레임들 및 획득 레이트들을 제어하는 것과 유사하게, ROI들은 현대 카메라들 내에서 프레임별 기반으로 조정될 수 있다.
높은-레이트의 이미지화 동안, 프레임들 간의 객체들의 위치들에서의 공간적 차이들은 감소되고, 이것은 임의의 주어진 프레임 내에서의 검출된 객체들의 위치들로 하여금 후속 프레임에 대해 ROI를 정의하는 것을 도울 수 있게 한다. 특히, 도약적 안구 움직임 동안(하지만 이것은 또한 완곡 추종들에 적용가능함), 탄도학적 도약의 궤적은 다수의 후속 프레임들에 대해 안구 구조들의 위치들(그리고 이에 따른 ROI들)을 예측하는데 사용될 수 있다.
도 19a 및 도 19b는 임의의 주어진 프레임에 대한 ROI(점선)(1910), 그리고 예측된 움직임에 근거하는 후속 프레임 내의 ROI(1920)를 예시한다. 도 19a에서, ROI(1910)는 이전의 프레임(1915)(이전의 프레임은 도시되지 않음) 내에서의 동공의 중심의 위치(1925)로부터의 움직임에 근거하여 안구(100)의 임의의 영역을 격리시키기 위해 사용되었다. ROI에 대한 새로운 위치는, 동공의 중심의 이전의 위치(1925)와 현재의 동공 위치(1935) 간의 차이에 근거하여 컴퓨팅되었다. 이러한 차이를 현재 ROI에 적용하는 것은 결과적으로 도 19B에서 제시되는 후속 프레임에 대한 예측된 ROI(1920)가 생성되게 한다. 예측된 바와 같이, 동공의 중심은 새로운 위치(1935)로 움직였다. 새롭게 측정된 동공 위치(1935)와 이전의 동공 중심 위치(1925) 간의 차이는 다음 프레임(다음 프레임은 도시되지 않음)에 대한 새로운 동공 중심 위치(1945)를 예측하는데 사용될 수 있다.
사용자가 완곡 추종을 통해 안구 신호를 수행하고 있는지 여부를 결정하는 프로세스 동안에, 선택 프로세스 동안 헤드웨어에 의해 결정되는 기본적인 질문은, "안구 응시 추적이 특정 추종 객체의 위치 및 속도(즉, 방향 및 속력 모두)와 매칭되는가?"이다. 이전에 설명된 바와 같이, 움직임의 이러한 타입의 문제(complication)는, 심지어 정착된 경우에도 일어나는 안구의 끊임없는 겹쳐지는 배경 움직임들(예를 들어, 미세-도약들, 떨림)의 존재이다. 이러한 빠르고 작은 움직임들의 효과들을 감소시키는 핵심 방법은 높은 프레임 레이트에서의 샘플링이다. 더 높은 프레임 레이트가 없는 상태에서는, 관련 기술분야에서 "에일리어싱(aliasing)"(이것은 해리 나이퀴스트(Harry Nyquist)가 개발한 공식들에 의해 다루어질 수 있음)으로서 알려진 현상이 일어난다.
낮은 프레임 레이트에서의 개별 샘플링 동안, 에일리어싱은 높은 주파수의 움직임들이 여러 방향들에서 낮은 주파수 움직임들로서 나타나게 할 수 있고, 이것은 높은 주파수 컴포넌트들 내에서의 주파수들 및 프레임 레이트와 같은 다양한 인자들에 따라 달라질 수 있다(즉, 반드시 안구의 거시적 움직임(macroscopic movement)들에 근거하는 것은 아님). 따라서, 전체 안구 응시 속도의 더 정확한 측정치들을 결정하기 위해서, 나이퀴스트 샘플링 이론(Nyquist sampling theorem)을 충족시키기도록 더 높은 프레임 레이트들이 사용될 수 있다. 이것은 완곡 추종 움직임이 안구 신호(즉, 사용자 의도)인지 여부에 관한 결정이 더 빨리 그리고 더 견고하게 일어나게 할 수 있다.
정보 디스플레이의 예측적 제어(PREDICTIVE CONTROL OF INFORMATION DISPLAY)
용어 "망막 중심와 시계(foveal field-of-view) 또는 "망막 중심와 뷰잉(foveal view)"은 (예를 들어, 읽는 동안 사용되는 선명한 시각(sharp vision)이 존재하는) 개체의 시계 내에서의 가운데 영역을 지칭한다. 망막 중심와 뷰잉은 안구 신호들과 관련된 자발적 움직임들의 지각 및 형성을 위해 중요하다. 이러한 개념을 지원하는 해부학적 및 생리학적 특징들은, 비록 망막 중심와가 전체 망막 표면의 1%보다 작은 부분을 점유하고 있어도 시각령의 50%보다 많은 부분이 망막 중심와로부터의 정보를 프로세싱하는데 할애(devote)된다는 사실을 포함한다. 따라서, 문법적 요소들의 구성과 관련된 지각은 주로 망막 중심와 뷰잉들과 연관되어 있다.
망막 중심와 뷰잉은 전체 시계의 대략 가운데 2도(보고된 범위는 1o보다 작은 각도에서 3o보다 큰 각도에 이르는 범위임)를 차지한다. 만약 이러한 뷰잉이 안구 신호 동안 수행되는 동작의 대상이라면, 망막 중심와 뷰잉(혹은 망막 중심와 뷰잉 내의 요소들)은 안구-신호 동작들의 그래픽 표현들 내에서 사용될 수 있는 썸네일들 혹은 아이콘들을 구성하는데 사용될 수 있다. 예를 들어, 만약 객체가 뷰잉된다면 그리고 "가기(go)" 도약적 움직임이 수행된다면, 가기(go) 타겟을 망막 중심와 뷰잉의 썸네일로 대체하는 것은 동작이 수행되고 있다는 표시로서의 역할을 할 수 있다. 이러한 뷰잉은 디바이스 사용자에게 직관적이면서도 만족스러운 것이다. 표시의 이러한 형태는 또한, 만약 올바르지 않은 대상이 선택되었고 후속적으로 표시된다면, 빠르게 동작을 "취소(back out)"하거나 혹은 역전(reverse)시키는 능력에 이르게 한다.
망막 중심와 뷰잉의 썸네일은 다양한 모드들 중 임의의 모드에서 구성될 수 있다.
1. 만약 프로세서가 망막 중심와 뷰잉 내에서 객체들 혹은 관점(perspective)을 인식할 수 없거나 혹은 인식하지 못했다면, 고정된 크기(예를 들어, 2o 정사각형)의 망막 중심와 뷰잉에 근거하여 간단한 썸네일이 구성될 수 있다.
2. 만약 망막 중심와 뷰잉의 배경 영역(background region)들에 비해 망막 중심와 뷰잉의 전경 영역(foreground region)들이 인식된다면(예를 들어, 스크린의 "배경"과 비교하여 스크린 상의 아이콘을 바라보는 것, 벽(wall) 상에 있는 전경 객체(foreground object)를 바라보는 것, 하늘을 배경으로 하여 객체 세트를 바라보는 것, 등), 배경은 제거될 수 있고, 전경이 망막 중심와 뷰잉 썸네일로서 디스플레이될 수 있다.
3. 망막 중심와 뷰잉 내에서 얼굴과 같은 별개의 객체가 인식될 수 있다면, 그 객체(혹은 그 객체의 표현)가 망막 중심와 뷰잉 썸네일로서 디스플레이될 수 있다.
4. 만약 망막 중심와 뷰잉 내에서의 복수의 객체들이 인식된다면, 객체들의 그룹화(혹은 그룹의 표현)가 망막 중심와 뷰잉 썸네일로서 디스플레이될 수 있다.
5. 망막 중심와 뷰잉 내에서의 인식된 객체들 혹은 영역들은 증진될 수 있다(예를 들어, 밝게 될 수 있음, 뚜렷하게 컬러화될 수 있음, 아웃라인될 수 있음, 라벨링될 수 있음, 또는 예를 들어, GIF(Graphics Interchange Format; 그래픽 교환 포맷) 프로토콜을 사용하여 애니메이션(animation)화될 수 있음).
6. 망막 중심와 뷰잉 객체의 오디오 클립(audio clip) 혹은 표현이 인식 및 표시 프로세스를 보충할 수 있다.
또 하나의 다른 예시적 실시예에서, 디바이스 착용자의 뷰잉의 방향은 디스플레이의 휘도 및 투명도를 제어하는데 사용될 수 있다. 망막 중심와 뷰잉의 영역을 알고 있으면, 1) 망막 중심와 뷰잉 내에서 디스플레이되는 정보, 그리고 2) 망막 중심와 뷰잉 외부에서(망막 부중심와 및 주변 뷰잉들 내에서) 디스플레이되는 정보의 지능적 제어를 할 수 있다.
만약 사용자가 망막 중심와 뷰잉 내에서 디스플레이되고 있는 정보로부터 눈길을 돌린다면, 그 정보를 계속 디스플레이하거나 혹은 업데이트하는 것은 비-생산적이다. 이것은 특히 비디오 클립(video clip)과 같은 애니메이션의 임의의 형태에 적용된다. 따라서, 망막 중심와 뷰잉으로부터 눈길을 돌리는 경우, 뷰잉되고 있었던 정보는 일시정지될 수 있고 그리고/또는 억제될 수 있다(예를 들어, 감소되는 휘도 및/또는 증가되는 투명도). 만약 새로운 망막 중심와 뷰잉이 확립된다면, 그 영역 내의 정보는 증진될 수 있다(예를 들어, 밝게 될 수 있음 그리고/또는 더 불투명하게 될 수 있음). 망막 중심와 뷰잉의 에지 바로 바깥쪽에 있는 정보(특히 객체들 사이에 테두리들이 존재하는 경우)는, 망막 중심와 뷰잉 내에 객체들을 격리시키기 위해 그리고/또는 망막 중심와 뷰잉 내에서 객체들을 확대하거나 혹은 더 가시적이게 하기 위해, 옆으로 "넛징(nudging)"될 수 있다.
이러한 스킴들은, 이들이 1) 뷰잉되는 영역의 표시자로서 역할을 한다는 점, 2) 원치않는 도약들을 유인할 수 있는 콘트라스트, 움직임, 혹은 에지들을 억제함으로써 주변 "정신 착란(distraction)들"을 감소시킨다는 점, 그리고 3) 전력 및 컴퓨팅 리소스들을 보전한다는 점에서, 다중-모드일 수 있다. HUD를 사용하는 때에 있어서 극단적인(그러나 일반적인) 경우로서, 사용자가 지속적인 기간 동안 디스플레이로부터 눈길을 돌릴 때, 디스플레이의 많은 부분 혹은 모든 부분이 투명하게 될 수 있다. 이것은 사용자로 하여금 헤드웨어로부터의 정신 착란 없이 자신의 환경과 상호작용할 수 있게 한다. 디스플레이는 또한 배터리 수명을 더 보전하기 위해 임의의 감소된 프로세싱 전력 모드에 놓일 수 있다.
망막 중심와 뷰잉 외부에서의 지능적 제어는 망막 중심와 뷰잉 내에서의 객체(들)와 융화가능하지 않은 안구 신호들의 문법적 컴포넌트들을 억제하거나 혹은 제거하는 것을 포함한다. 예를 들어, 만약 얼굴이 망막 중심와 뷰잉 내에서 관측되고 있다면, 객체의 "비용(cost)"에 대한 정보를 획득하기 위한 경로는 부적합(incongruent)하고, 그리고 억제되거나 혹은 제거될 수 있다. 대조적으로, 관측 하에 있는 얼굴에 대한 "프로파일(profile)" 정보(예를 들어, 이름, 나이)를 획득하기 위한 상호작용가능한 것 혹은 경로는 증진될 수 있다. 반면, 구입될 수 있는 아이템의 바코드를 관측하는 경우, "비용(cost)" 상호작용가능한 것이 가장 중요한 위치(forefront)로 도입될 수 있다. 지능적인 맥락-감지 메뉴 선택은, 선택들의 맥락적 디스플레이를 결합시키고, 뿐만 아니라 현재 망막 중심와 뷰잉 내에서의 이력적인 맥락 및 객체(들) 모두에서 이러한 선택들의 개수 및 정렬에 관한 제어를 결합시킨다.
디스플레이하거나 혹은 억제할 특정 아이템의 지능적인 그리고 맥락적인 제어는 정보가 디바이스 착용자에게 제시되는 레이트의 지능적 제어와 유사한 고려사항들을 갖는다. 또 하나의 다른 예시적 실시예에서, 정보가 디바이스 착용자에게 제시되는 레이트는 맥락 및 사용자 수행(여기에는 디바이스 착용자의 경험이 포함됨)에 근거하여 조절된다. 유용한 정보가 디바이스 착용자에 의해 지각될 수 있는 레이트에 영향을 미칠 수 있는 인자들의 두 가지 종류들이 있는데, 이것은 1) 생리학적 인자, 그리고 2) 인간 인자, 혹은 더 구체적으로는 인지적 인간 공학(cognitive ergonomics)이다. 정보 디스플레이의 레이트를 조절하기 위해 사용되는 원리들이, 리스트들, 애니메이션, 텍스트, 챠트들, 비디오, 그림들/명령들의 스트링(string)들, 등을 포함하는 광범위한 정보 포맷들에 적용된다. 아래에서는 예시적 목적으로, 개념들을 예시하기 위해 텍스트 정보의 제시의 레이트가 사용된다.
정보의 제어의 생리학적 기반은, 도약적 움직임들이 읽는 프로세스 동안 발생될 수 있는 레이트를 포함한다. 따라서, 이러한 움직임들에 근거하여 지각을 초과하는 레이트에서 디바이스 착용자에게 정보를 제시하는 것은 효과적이지 않다. 임의의 연장된 기간에 걸쳐 콘텐츠를 계속해서 뷰잉하는 경우 디바이스 착용자의 "편안함(comfort)"에 관한 문제가 또한 존재한다(하지만, 이러한 것은 뷰잉되고 있는 특정의 주된 내용을 포함하는 다수의 인지적 인간 공학 인자들에 따라 달라질 수 있음). 추가적으로, 소위 "속독(speed reading)"과 관련된 기법들이 또한 존재하고, 이 경우 정보의 지각은 더 커다란 덩어리(chunk)들로 "그룹화(group)"될 수 있다.
정보의 제어를 위한 인지적 인간 공학 기반은 디바이스 착용자와 관련된 다수의 인자들(예를 들어, 지각(perception) 혹은 추리(reasoning)의 레이트들)을 포함한다. 인간-컴퓨터 상호작용의 경우에, 이것은 또한 디스플레이되는 정보 내에서의 결정-수행의 밀도를 포함할 수 있다. 만약 다수의 질문들 혹은 옵션들이 디바이스 착용자에게 제시된다면, 정보는 사용자가 스캐닝 모드 혹은 수동적 수신 모드에 있는 경우에서와 같이 빠르게 디스플레이될 수 없다.
생리학적인 그리고 인지적인 인간 공학은, 질문들 혹은 옵션들의 개수, 콘텐츠의 정보 밀도, 디바이스 착용자의 경험 및 선호도, 등을 포함하는 다수의 인자들에 근거하여 정보의 레이트가 제어되는 실시예에 이르게 한다. 텍스트를 제시하는 경우에, 텍스트가 스크롤링되는 레이트는 안구 움직임들 및 신호들의 최대 레이트들에 따라 달라질 수 있을 뿐만 아니라 실제 텍스트의 맥락 및 콘텐츠에 따라 달라질 수 있다. 예를 들어, 만약 텍스트가 다른 콘텐츠로의 "링크(link)들"(즉, 하이퍼링크들)을 포함한다면, 스크롤링은 그 링크를 선택할 기회를 제공하기 위해 느려질 수 있다. 테스트(test)의 작은 영역 내에 있는 다수의 링크들 혹은 질문들은 제시 레이트들을 더 느려지게 할 수 있다. (예를 들어, 강조를 위해) 확대된 텍스트는 결과적으로 그 확대된 텍스트가 뷰잉되어 버리는 경우 더 빠른 스크롤링이 일어나게 할 수 있다. 스크롤 레이트들은 콘텐츠에 근거하여 자동으로 결정될 수 있고, 또는 개체에 의해 조절될 수 있는데, 이러한 표시들이 예를 들어, 콘텐츠 제작자에 의해 제공되는 경우 조절될 수 있다.
비고의적인 활성화들을 피하기 위한 기법들이 또한 적용될 수 있다. 예를 들어, 임의의 동작(즉, 활성화될 수 있는 동작)의 대상일 수 있는 "링크(link)"는 스크린의 특정된 영역(예를 들어, 가운데) 내에 있을 때에만 활성화될 수 있다. 링크가 선택되는 경우(즉, 하이퍼링크인 텍스트에 대해 보기(look)가 일어난 경우), 스크롤링은, 1) 링크가 선택되었음을 사용자에게 표시하기 위해, 그리고/또는 2) 가기(go) 신호를 통해 링크를 활성화시킬 더 좋은 기회를 사용자에게 제공하기 위해, 프리즈(freeze)될 수 있다.
정보 디스플레이의 해상도의 예측적 제어(PREDICTIVE CONTROL OF THE RESOLUTION OF INFORMATION DISPLAY)
다른 실시예들에서, 정보 디스플레이의 해상도의 지능적 제어는, 사용자의 측정된 응시 위치에 근거할 수 있으며, 뿐만 아니라 후속의 응시 위치들을 예측하는 것 그리고 관측을 위한 디스플레이의 영역을 후속적으로 "준비"하는 것에 근거할 수 있다. 고해상도 이미지들의 망막 중심와 렌더링(foveal rendering)은, 안구가 망막 중심와 영역 내에서 고-해상도 감지를 갖도록 구성된다는 의미에서, 생체모방적(biomimetic)이다. 인간들은 또한 멀리 떠어져 있거나 혹은 자신의 주변에 있는 또 하나의 다른 엔티티의 얼굴들 및 안구들을 지각하고 여기에 초점을 맞추도록 진화했으며 그리고/또는 그러한 경향을 갖고 있다.
망막 중심와 렌더링의 사용은 디스플레이에 대한 데이터 전달 및 렌더링 프로세스들과 관련된 수많은 문제들을 처리하는 것으로 이해된다. 이것은 망막 중심와 영역 내에서 고해상도를 가능하게 하고, 그리고 사용자의 시계의 망막 부중심와 영역에서 상당히 높은 렌더링을 가능하게 하는데, 이 경우 사용자의 주변 영역에서의 해상도는 더 낮다. 고-해상도에 리소스들을 집중시키는 것은, 디스플레이 정보가 원격 디바이스로부터 획득되는 경우에, 전력, 컴퓨팅 자산들 및/또는 대역폭을 보전할 수 있다.
망막 중심와 관측의 객체가 되도록 되어 있는 디스플레이의 영역들을 예측하는 능력은 특히, 완곡 추종 안구 움직임들이 수행되거나 혹은 도약적 안구 움직임들이 수행되는 시간들 동안, 이루어질 수 있다. 객체(예를 들어, 추종 객체)의 완곡 추종 따라가기 동안, 관측자는 균일한 경로를 따르는 경향이 있고 그리고 균일한 경로를 예상하는 경향이 있다. 객체의 경로의 갑작스러운 변경들은 완곡 추종 메커니즘에 맞지 않다. 가상의 객체에 경우에, 경로(및 이에 따른 예상되는 응시 방향)는 알려져 있다. 따라서, 완곡 추종들을 "앞서 가는 것(keep ahead)"이 가능하고, 이것은 망막 중심와 영역 내에서 고-해상도의 디스플레이를 유지시킨다.
도약적 움직임의 탄도학적 성질은 도약적 도달 영역이 도약적 론칭 이후 짧은 시간에 예측될 수 있게 한다. 이것은 도달 영역이 사용자의 응시의 도착을 위한 시간 내에 고-해상도 디스플레이 렌더링으로 "준비(prepare)"될 수 있게 한다.
인지에 근거하는 가상의 객체들의 도입 및 제거(INTRODUCTION AND REMOVAL OF VIRTUAL OBJECTS BASED ON COGNITION)
또 하나의 다른 실시예에서, 디스플레이 내에 도입되는 혹은 디스플레이 내에서 수정되는 객체들이 1) 주의를 끄는 방식으로 제시될지 아니면 2) 정신 착란을 피하는 방식으로 제시될지를 제어하기 위한 단계들이 수행될 수 있다. 애플리케이션들의 일부 국면들 동안, 임의의 객체 혹은 위치로 주의를 끄는 것이 바람직할 수 있다. 예를 들어, 만약 텍스트가 임의의 단락 내에서 특정 위치에 삽입돼야 한다면, 혹은 특정 맵 위치가 탐구를 위해 확대돼야 한다면, 동작이 수행되는 초점으로 안구를 다시 끌어들이는 것(예를 들어, 활성화 도약을 따르는 것)이 바람직할 수 있다.
반면, 만약 임의의 선택 프로세스를 개시시키기 위해 상호작용가능한 것들이 도입돼야한다면(즉, 자발적 도약을 위한 복수의 타겟들을 제공하는 것), 새롭게 도입되는 객체들 각각 혹은 이들 모두로의 조사 도약(surveying saccade)들의 발생을 피하는 방식으로 이러한 상호작용가능한 것들을 도입하는 것이 바람직할 수 있다. 주의를 끄는 것 없이 객체들을 도입하기 위한 설계 인자들이 포함될 수 있다. 이것은 다른 곳에서 객체들을 "눈에 띄지 않는 정도에서 가시적"이게 나타나도록 하는 것으로서 지칭된다
임의의 객체로 주의를 끄는 정도를 제어하기 위해 사용될 수 있는 인자들의 광의적 범주들은, 간결한 용어들, 1) 무엇(what), 2) 어디(where), 3) 언제(when), 그리고/또는 4) 어떻게(how)에 의해 설명될 수 있다. 다음의 섹션들은 주의를 끄는 것 혹은 정신 착란을 피하는 것을 행하기 위해 인자들의 이러한 범주들 각각이 어떻게 활용될 수 있는지를 설명한다. 이들은 애플리케이션 설계자들에 의한 직관적인 그리고 시각적으로 편안한 안구 신호들의 형성에 있어 중요한 컴포넌트들이다.
1. 용어 "무엇(what)"은 하나 이상의 도입되는 객체들의 시각적 특징들을 나타낸다. 객체 구조는 다음과 같은 특징들, 크기, 컬러, 휘도, 투명도, 배경과 비교되는 콘트라스트, 객체 내에서의 콘트라스트, 구조적 복잡성, 및/또는 동적 제어 중 하나 이상의 것을 포함할 수 있다.
주의를 끌도록 설계된 객체의 도입은, 클 수 있고, 그 컬러에 있어 뚜렷할 수 있고, 높은 휘도로 디스플레이될 수 있고, 불투명할 수 있고 그리고 배경과 비교하여 높은 콘트라스트를 갖도록 제시될 수 있고(상당한 양의 높은-콘트라스트 세부사항들이 포함됨) 그리고/또는 변하는 동적인 것들(예를 들어, 밝기, 컬러 변화, 움직임, 애니메이션, 아래 참조)을 갖도록 제시될 수 있다. 이러한 특징들의 임의의 조합이 안구를 유인하도록 의도된 객체들 혹은 상호작용가능한 것들을 설계하는 기반으로서 사용될 수 있다. 다른 인자들은 의도된 의미, 사용의 빈도, 관련된 동작들의 "중요도(importance)"를 포함하고, 그리고 동작들의 그룹화는 또한 객체 설계에 영향을 미칠 수 있다.
반면, 정신 착란을 피하도록 설계된 객체의 도입은, 더 작을 수 있고, 채색(coloration)에 있어 약화(mute)될 수 있고, 낮은 휘도를 갖도록 디스플레이될 수 있고, 부분적으로 투명할 수 있고, 배경과 비교하여 콘트라스트에서 있어 낮을 수 있고, 내부/둘레의 에지들이 거의 없을 수 있거나 혹은 심지어 희미하게 될 수 있고, 그리고/또는 상대적으로 간단한 형태로 정적으로 배치될 수 있다. 약화된 컬러들을 갖는 객체 및 상호작용가능한 것의 설계들 중 가장 간단한 것은 예를 들어, 빈번하게 디스플레이되고 그리고/또는 사용되는 동작들과 관련된 것들을 위해 보류될 수 있다.
객체의 시각적 특징들(예를 들어, 크기, 휘도, 등) 중 하나 이상의 것의 등급화된 레벨들은 또한, 안구 신호들의 시퀀스의 맥락 및 확률적 성질이 주어지는 경우, 안구 신호에 관련될 가능성 혹은 관련되는 것에 대한 "중요도(importance)"를 표시하는데 사용될 수 있다.
2. 용어 "어디(where)"는, 다음과 같은 것, 동일한 혹은 유사한 객체들의 이력적 배치(historical placement), 전체 디스플레이(여기에는 디스플레이 에지들 및 경계들이 포함됨), 인접하는 객체들(클러스터화(clustering)), 현재 응시 위치, 그리고 현재 객체 배치 바로 직전에 있는 객체들 혹은 배경들 중 하나 이상의 것과 관련된 객체의 배치 위치를 나타낸다.
기억은, 새롭게 제시되는 객체가 주의를 끌지 여부를 결정함에 있어서, 그리고 만약 탐구적 도약(exploratory saccade)들이 불러일으켜진다면 안구 움직임이 기억-유도인지 여부(즉, 급속히 빨리 수행되는지 여부)를 결정함에 있어서 극도로 중요한 역할을 할 수 있다. 특정 위치에서 여러 번 이전에 보여진 객체들은 더 이상 주의를 끌지 못하는 경향이 있다. 이것은 빈번하게 사용되는 객체들 및 상호작용가능한 것들을 반복적으로(즉, 상이한 활동들 및 애플리케이션들을 걸쳐) 동일한 위치에 도입함으로써 활용될 수 있다.
공간적 레퍼런스들이 또한, 임의의 새롭게 도입되는 객체가 "신규한(novel)"(즉, 주의를 요구하는) 것이지 혹은 그렇지 않은지에 관한 개체의 결정에 있어 중요한 역할을 한다. 디스플레이 에지들 및 형상들 그리고 고정된-위치 디스플레이 레퍼런스들은 신규한 정보와 비교하여 더 "일상적인" 정보가 나타날 수 있는 곳에 대한 공간적 큐(cue)들을 제공한다. 애플리케이션 설계자들은 이러한 시각적 큐들에 근거하여 바로 식별가능한 위치들에 객체들(특히, 기억-유도 도약들을 위한 타겟들인 그러한 것들)을 배치하기 위해 공간적 큐들을 이용할 수 있다. 예를 들어, 설계자들은 디스플레이의 더 가운데 영역들에는 정보 콘텐츠(사진들, 비디오, 텍스트 등)를 디스플레이하는 것을 선택할 수 있고, 그리고 주변 에지들에 더 가깝게는 선택가능한 상호작용가능한 것들을 디스플레이하는 것을 선택할 수 있다.
탐구적 도약들을 피하기 위해, 유사한 외관 및/또는 기능을 갖는 객체들은 공간적으로 클러스터화(cluster)될 수 있는데, 예를 들어, 디스플레이의 하나 이상의 측면들을 따라 클러스터화될 수 있다. 이것은 특정 메뉴 선택을 "살펴보는(looking for)" 과도한 조사 도약들을 피하는 경향이 있다. 예를 들어, 모든 텍스트 편집 기능들(예를 들어, 삭제, 대체, 삽입)이 디스플레이의 특정 영역 내에 배치될 수 있다. 기억-유도 도약은 이러한 영역을 뷰잉하기 위해 사용될 수 있다. 비록 디바이스 착용자가 특정 기능의 정확한 위치를 기억해내지 못해도, 탐색 도약들은 후속적으로 해당 영역으로 제한될 수 있다.
디바이스 착용자의 현재 응시 위치에 관한 지식은 또한, 새로운 디스플레이 객체들의 도입 동안 주의를 끌기 위해 혹은 정신 착란을 피하기 위해 가치있는 정보를 제공한다. 만약 관측자의 망막 중심와 뷰잉 내에서 뷰잉될 때 미세한 구조적 세부사항들 내에서 변경들이 일어난다면 주의를 유지하는 강한 경향이 존재한다. 따라서, 주의를 유지하는 것은, 뷰잉하는 동안 구조적 세부사항들을 생성하고 그리고/또는 수정함으로써 달성될 수 있다. 반면, 미세한 구조를 감소시키거나 혹은 제거하는 것은(즉, 갭 효과를 생성하는 것은) 또 하나의 다른 위치로의 보기(look)를 행하도록 하는 경향을 발생시킬 수 있다.
대조적으로, 객체의 미세한 구조에서의 변경들은, 망막 중심와 시계 내에 있지 않는(즉, 망막 부중심와 및 주변 뷰잉들 내에 있는) 디스플레이의 영역들 내에서 크게 주목을 받지 않게 된다. 이것은 디바이스 착용자의 망막 중심와 뷰잉 외부에 있는 디스플레이의 영역들 내에서 주의를 끌지 않으면서 기존의 객체 형태들을 수정하는 것 혹은 객체 혹은 상호작용가능한 것들에 미세 구조를 추가하는 것을 행함으로써 활용될 수 있다. 응시 위치가 변경될 때, 디스플레이의 상이한 영역들이 이례적인 도약들을 유인함이 없이 후속적으로 수정될 수 있다. 이러한 방식으로, 전체 스크린은 사용자가 상이한 영역들을 뷰잉함에 따라 정신 착란들을 일으키지 않으면서 점진적으로 "업데이트"될 수 있다. 메뉴 객체들 및 레이아웃의 세심한 설계에 의해, 여러 가지 다양한 맥락-감지 메뉴 옵션들로부터 선택을 행하는 능력을 유지하면서 정신 착란에 대한 가능성을 최소화시키는 것이 또한 가능하다. 이것은, 총체적인 객체 혹은 상호작용가능한 것의 아웃라인들 내에서 변경들을 최소화시킴으로써, 그리고 망막 중심와 뷰잉들 내에서 주로 관측가능한 미세한 구조들 내에 상이한 선택들을 표시함으로써, 설계를 통해 구현될 수 있다.
유사한 설명을 따르면, 객체들의 위치를 세심하게 선택함으로써, 객체들 간의 변이들 동안의 시간적 차이들, 그리고/또는 객체들과 디스플레이 배경 간의 구분은, 디바이스 사용자에 의한 주의를 증진시키기 위해 혹은 억제하기 위해 활용될 수 있다. 만약 새롭게 도입되는 객체가, 대체되는 객체와 비교하여, 크기, 형상, 및/또는 중심 위치에 있어, 상당히 많이 다르다면, 이전의 객체의 사라짐과 새로운 객체의 도입은 모두 주의를 끄는 역할을 한다. 반면, 만약 새롭게 제시되는 객체가 이전의 객체 상에 겹쳐지도록 배치된다면(즉, 변이가 일어나는 픽셀의 수가 최소화된다면), 정신 착란에 대한 가능성은 최소화될 수 있다.
3. 용어 "언제(when)"는 다음과 같은 것, 활성화 및 다른 안구-신호 시간적 레퍼런스들, 안구의 도약적 움직임들 및 다른 움직임들, 그리고 안구 깜박임 중 하나 이상의 것과 관련된 객체의 도입의 타이밍을 나타낸다.
안구 신호의 초기 단계들에 근거하여 "예상되는(expected)" 객체들 혹은 상호작용가능한 것들의 도입은 이례적인 도약들을 발생시키도록 디바이스-착용자를 깜짝 놀라게 하지 못하는 경향이 있다. 이러한 것은 만약 사용자가 이전에 시퀀스를 반복적으로 보았고 그리고/또는 사용했다면 특히 사실이다. 따라서, 애플리케이션 설계자들은 편안함 및 성능을 향상시키기 위해 일관된 그리고 예상된 시간들에서 상호작용가능한 것들을 반복적으로 도입할 수 있다.
"변화 맹시(change blindness)"로서 알려진 개념은 주목을 받음이 없이 관측자의 시계 안으로 시각적 자극들이 도입될 수 있는 기법들을 나타낸다. 이러한 기법들은, 플리커(flicker) 혹은 정신 착란 동안(예를 들어, "머드스플래시(mudsplash)" 동안) 변경을 행하는 것, 초점이 전경(foreground) 상에 있는 동안 이미지의 배경을 변경하는 것, 임의의 영역이 관측 하에 있지 않을 때 변경을 도입하는 것, 또는 두뇌 내에서 신경 프로세싱(neural processing)(즉, 주의 지속 시간(attention span)과 관련된 것) 메커니즘들에 도전(challenge)할 것으로 고려되는 레이트에서 컬러 혹은 형상을 천천히 변경하는 것(즉, 모핑(morphing))을 포함한다.
도약 동안, 디바이스 착용자는 본질적으로 "블라인드(blind)" 상태이다(즉, 시각령은 지각의 목적으로 신경 입력들을 프로세싱하고 있지 않음). 이러한 시간은 주의를 끌어당기지 않으면서 시계 안으로 새로운 객체들을 도입하기 위해(혹은 시계로부터 오래된 객체들을 제거하기 위해) 사용될 수 있다. 실제로, "변화 맹시"를 사용하는 경우, "블라인드" 상태일 때(예를 들어, 도약 동안) 도입된 객체들은 심지어 이들이 망막 중심와 뷰잉 내에서 특정적으로 찾아 질 때까지는 지각되지 않을 것이다. 이것은 때때로 객체들 및/또는 상호작용가능한 것들을 도입할 이상적인 기회(ideal opportunity)를 제공한다.
도 20은 도약 동안 불투명도에서의 계단형 변경(step change)을 통해 새로운 객체가 도입되는 시간을 예시한다. 위쪽 트레이스(trace)들은 측정된 X(즉, 수평) 응시 위치(2030) 및 측정된 Y(즉, 수직) 응시 위치(2031)를 나타낸다. 도면 참조번호 2032에서, 도약적 안구 움직임의 개시가 검출되는 경우, 불투명도는 도약의 시간 동안 도면 참조번호 2033에서 임의의 원하는 레벨로 변경된다. 이러한 도약의 개시에 관한 유사한 타이밍 고려가, 컬러, 콘트라스트, 휘도, 세부사항, 등을 포함하는 객체의 다른 주된 특징들 중 하나 이상을 변경시키는데 사용될 수 있다.
유사한 전략이 안구 깜박임들 동안 주의를 끌지 않으면서 객체들을 도입하기 위해 사용될 수 있다(즉, 안구가 닫혀졌을 때 객체들이 도입됨). 역으로, 주의를 끌도록 의도된 도입된 객체는 사용자가 디스플레이를 명확히 뷰잉하고 있는 시간들에서 디스플레이될 수 있고, 혹은 깜박임들과 도약들 사이에서 디스플레이될 수 있다.
4. 용어 "어떻게(how)"는 하나 이상의 객체들을 도입하는 프로세스 동안 다음과 같은 동적 요소들, 크기, 컬러, 휘도, 투명도, 구조적 세부사항, 위치(즉, 수평 움직임 및/또는 수직 움직임), 및 회전 중 하나 이상의 것을 변조(modulation) 혹은 제어하는 것을 나타낸다.
주의를 끌도록 설계된 객체의 초기 형성의 동적관계(dynamics)는, 객체의 크기, 컬러, 휘도, 투명도, 및/또는 객체의 구조적 세부사항들에 있어서 급속히 빠른 도입에 초점을 맞추고 있다. 일단 도입되면, 이러한 요소들 중 임의의 요소 혹은 모든 요소는 대부분의 인간들에게 바로 지각가능한 레이트에서(즉, 대략 0.2초로부터 5초에 이르는 반복 레이트에서) 동적으로 변조될 수 있다. 객체의 휘도를 변조하는 경우에, 이것은 "깜박임(blinking)"으로서 지각되게 된다. 객체의 크기를 변조하는 것은 "줌(zooming)" 인(in) 및 아웃(out)으로서 지각되게 된다. 객체의 위치 및/또는 회전을 동적으로 변조하는 것은 주의를 끔에 있어서 특히 효과적인데, 왜냐하면 신경계가 망막 부중심와 및 주변 시계에서 모션들을 검출하도록 설계되어 있기 때문이다. 객체의 위치 및/또는 회전의 동적 제어는 일반적으로 관측자에 의해 "흔들림(vibration)"으로서 기술되게 된다.
주의를 끄는 것(그리고 후속적인 탐구적 도약들) 없이 객체들을 도입하기 위한 핵심 가르침들은 후속하는 동적 요소들 중 하나 이상의 것을, 1) 점진적으로 도입하는 것 그리고/또는 2) 디바이스 착용자가 "블라인드" 상태에 있는 기간들 동안 도입하는 것을 포함한다. 도 21은 이러한 원리들을 모두 이용하는 객체 디스플레이 시퀀스를 예시한다. 위쪽 트레이스들은 도면 참조번호 2130에서의 측정된 X(즉, 수평) 응시 위치 및 도면 참조번호 2131에서의 측정된 Y(즉, 수직) 응시 위치를 나타낸다. 이러한 예에서, 객체 불투명도의 변조는 시계 안으로 객체를 도입하기 위해 사용된다. 객체는 도면 참조번호 2134에서 구배화된 방식(graded fashion)으로 도입되는바(즉, 이와 비교되는 것으로 이전에 설명된 투명도에서는 "계단형(step)" 변경임), 도면 참조번호 2132에서의 도약이 처음 검출되는 시간에 시작하고, 도면 참조번호 2133에서의 도약의 끝 이전에 끝나는 구배화된 방식으로 도입된다. 구배화된 도입은 또한, 컬러, 콘트라스트, 휘도, 세부사항, 등을 포함하는, 객체의 다른 개별적 혹은 다중적(즉, 동시적) 특징들을 변경하기 위해 사용될 수 있다.
개체의 주의 지속 시간과 비교하여, 객체의 구배화된 도입은 만약 단일 도약의 기간으로 제한되어 있다면 상대적으로 빠른 상태로 유지된다. "변화 맹시"를 이용하는 또 하나의 다른 기법은 더 지속되는 기간에 걸쳐 객체를 도입하는 것이다. 관측자에 의해 일반적으로 지각되지 않는 이미지들 내에서의 변경들의 점진적 도입에 근거하는 다수의 시각적 착시(visual illusion)가 개발되어오고 있다. 대부분의 착시들은 수 초에 걸쳐 일어나는 변경들에 근거하고 있다. 단순히 주의를 끌지 않도록(즉, 덜 도전적이도록) 설계된 변경들은 더 짧은 기간들에 걸쳐 도입될 수 있다. 변경들은 도약의 시간 동안 개시되도록 선택될 수 있거나 혹은 선택되지 않을 수 있다.
점진적 변경의 시간 종속성의 예가 도 22에서 예시된다. 위쪽 트레이스들은 도면 참조번호 2230에서의 측정된 X(즉, 수평) 응시 위치 및 도면 참조번호 2231에서의 측정된 Y(즉, 수직) 응시 위치를 나타낸다. 이러한 예에서, 객체의 휘도는 관측자에 의해 명확히 가시적이게 될 때까지(즉, 찾아질 때까지) 도면 참조번호 2233에서, 점진적으로 증가된다. 이러한 휘도 프로파일(2233)은 또한 객체 특징들에서의 "비-선형(non-linear)" 변경의 도입을 예시한다. 이러한 경우에, 휘도에서의 기간 변경(period change)의 시작과 끝은 휘도 프로파일의 중앙 부분보다 더 느린 레이트들에서 수정된다. 이것은 휘도 증가 프로파일의 변경의 레이트에서 ("가속화(acceleration)"와 유사한) 갑작스러운 변경들을 피한다.
시간 경과에 따라 점진적으로 객체의 구조적 세부사항들을 변이시키는 것은 관련 기술분야에서 "모핑(morphing)"으로서 알려져 있다. 느리게 수행되는 경우, 모핑되는 객체들 내에서의 변경은 주목을 받지 않는다. 사용자에게 (정신 착란을 발생시키지 않으면서) 객체를 이용가능하도록 하기 위해 객체를 모핑하는 것은 디스플레이 배경으로부터 시작하여 수행될 수 있거나, 혹은 동일한 위치를 점유한 이전의 객체로부터 시작하여 수행될 수 있다. 예를 들어, 객체가 상대적으로 균일한 배경으로부터 모핑되는 경우, 구조적 세부사항에서 점진적인 증가가 존재할 수 있다.
반면, 뚜렷한 객체 특징들을 갖는 모핑 기법들은 주의를 끌기 위해 이용될 수 있다. 예를 들어, 객체를 점점 커지게 함으로써 객체를 "성장(growing)"시키는 것은 조사 도약을 유인하는 경향이 있다. (예를 들어, 현재 안구 응시 위치로부터 응시가 지향되게 되는 위치를 향해, 디스플레이 구역의 에지 혹은 중앙으로부터, 등) 큰 거리들에 걸쳐 객체를 움직이는 것은 특정적으로 안구 움직임을 지향시키는데 사용될 수 있다.
"눈에 띄지 않는 정도에서 가시적"인 객체 특징들의 변조된 도입을 포함하는 접근법의 또 하나의 다른 변형예는 수 개의 도약들 및/또는 안구 깜박임들에 걸쳐 객체 특징들에서의 더 작은 진폭 변경들을 도입하는 것이다. 앞에서 설명된 바와 같이, 객체의 특징들(예를 들어, 크기, 컬러, 휘도, 투명도)이 "블라인드" 기간들 동안, 예를 들어, 도약 혹은 깜박임 동안, 도입될 수 있다. 복수의 도약들 및 변조된 특징 도입의 사용이 도 23에서 예시된다.
도 23에서의 위쪽 트레이스들은 도면 참조번호 2330에서의 측정된 X(즉, 수평) 응시 위치 및 도면 참조번호 2331에서의 측정된 Y(즉, 수직) 응시 위치를 나타낸다. 이러한 예에서, 객체 불투명도는 도면 참조번호 2332a, 2332b, 및 2332c에서의 3개의 도약들의 기간에 걸쳐 증분적으로(incrementally) 증가된다. 도면 참조번호 2333a, 2333b, 및 2333c에서의 3개의 대응하는 기간들에 걸쳐 완전한 가시적 상태가 달성된다. 더 일반적으로는, 특징들 중 임의의 특징 혹은 특징들의 조합은, 임의의 개수의 도약들, 깜박임들, 혹은 디바이스 착용자가 디스플레이로부터 눈길을 적절히 돌리는 기간들에 걸쳐 도입될 수 있다.
동일한 전략들 중 많은 전략들이 또한 디스플레이로부터 객체들의 사라짐을 제어하기 위해 사용될 수 있다. 객체가 또 하나의 다른 객체로 대체되든 아니면 배경으로 대체되든 상관없이, 객체 제거(이것은 정신 착란을 일으키는 도약들을 피하기 위해 가장 빈번하게 행해짐)의 타이밍 및 구성은 새로운 객체들을 도입하기 위해 이용된 것과 동일한 원리들 및 기법들을 이용한다.
사용자 의도를 파악하기 위한 기계 학습 접근법들(MACHINE LEARNING APPROACHES TO DISCERNING USER INTENT)
안구 신호들의 형성 동안 특히 유용한 의도에 관한 안구 움직임 분류의 예는 안구 움직임이 "목적을 갖는(purposeful)" 것인지 여부의 결정이다. 이것은 일반적으로 생리학적 "비자발적(involuntary)" 안구 움직임들과 "자발적(voluntary)" 안구 움직임들 간을 구분하는 것과 관련되어 있다. 비자발적 안구 움직임들은 의식적 제어 하에 있지 않고, 따라서 안구와의 소통과 관련하여 거의 기여하지 않는다. 자발적 안구 움직임들은 의식적 제어 하에 있고, 따라서 안구 신호들의 형성에 있어 목적을 갖는 의도를 전달하는데 사용될 수 있다.
특정 안구 움직임이 "목적을 갖는" 것인지 혹은 그렇지 않은지에 관한 지식은 예를 들어, 안구 신호들을 수행할 때 비고의적인 활성화들을 피하기 위해 사용될 수 있다. 이것은 활성화 시퀀스의 실행을 파악하기 위해 사용되는 기준들(예를 들어, 타겟의 공간적 위치들, 시간들)을 조정함으로써(즉, 더 엄격해지도록 함으로써) 구현될 수 있다. 활성화 상호작용가능한 것 상에서의 짧은 정착은 만약 안구 움직임들이 목적을 갖는 것이 아닌 것으로 보인다면 무시될 수 있다. 역으로, 만약 안구 움직임들이 목적을 갖는 것으로 보인다면, 활성화 영역들을 향한 응시에 대한 응답은 예를 들어, 빨라질 수 있고, 이것은 안구 신호들이 더 빠르게 실행될 수 있게 한다. 심지어 만약 "목적을 갖는" 안구 움직임들이 수행되고 있음이 이미 파악되었다면 일부 안구-신호 시퀀스들을 감소시키거나 혹은 제거하는 것도 가능하다.
더욱이, 목적을 갖고 있음에 관한 결정은 다른 감지된 데이터에 의해 정보를 제공받을 수 있다. 이러한 감각 데이터는 머리 움직임, 얼굴 움직임, 손 움직임, 및 다른 정량화가능한 데이터를 포함한다. 더욱이, 아웃라인된 바와 같은 맥락이 객체-응시 특정 맥락과 함께, 목적을 갖고 있음을 결정할 때 도움을 줄 수 있다.
비자발적인 안구 움직임들에 대비하여 "목적을 갖는" 안구 움직임들의 견고한 분류를 위해, 다수의 측정치들이 동시에 고려될 필요가 있다. 이러한 측정치들은 도약적 론칭 지연(saccadic launch delay)들, 피크 도약적 속도들(peak saccadic velocities), 도약들에 의해 커버된 각거리, 완곡 추종들 동안 진행된 거리, 정정 도약들의 개수, 정착 시간들, 등을 포함할 수 있다. 달리 말하면, 이러한 분류들은 일반적으로 다변수(multivariate) 분류들이다. 이러한 데이터에 대한 분류 접근법들은 1) 통계적 방법들, 그리고 2) 신경망 방법들을 사용할 수 있다.
통계적 접근법들은 관련 기술분야에서 잘-알려진 기법들을 포함한다. 이러한 접근법들의 예들은 선형 분류기(linear classifier)들, 이차 분류기(quadratic classifier)들, 및 베이지안 통계(Bayesian statistics)를 포함한다. 일반적으로, 지도 학습(supervised learning)(즉, 여기서는 결과물들을 올바르게 식별하는 데이터 세트들이 이용가능함)이 기계 학습을 위해 사용될 수 있다. 훈련 및 검증 데이터 세트들은 예를 들어, 디바이스 착용자로 하여금 안구 신호들이 수행됨에 따라 실시간으로 안구 움직임들이 "목적을 갖는" 것인지 여부를 (예를 들어, 임의의 스위치를 누르는 것을 통해) 표시하게 함으로써, 수집될 수 있다. 이러한 데이터를 획득하기 위한 전형적인 그리고 사용하기-쉬운 구성은 목적을 갖는 안구 움직임들이 수행됨에 따라 컴퓨터 마우스 상에서의 버튼을 누르는 것을 포함한다. 그 다음에, 알려진 결과물들을 갖는 그러한 데이터 세트들은 전형적으로, 훈련(즉, 기계 학습)을 위해 사용되는 세트들 및 검증을 위해 사용되는 세트들로 나누어진다.
유사하게, 올바르게 식별된 결과물들을 갖는 데이터 세트들은 또한 신경망 혹은 심층 학습 분류 접근법들의 훈련 및 검증을 위해 사용될 수 있다. 역-전파(back-propagation)와 같은 신경망들을 훈련시키기 위한 방법들은 관련 기술분야에서 잘-알려져 있다. 매우 많은 수의 중간 계층들(혹은 소위 "은닉(hidden)" 계층들) 및 (수백만에서 수십억에 이르는 범위를 갖는) 상호연결들을 갖는 신경망들의 애플리케이션은 종종 "심층 학습(deep learning)"으로 지칭된다. 이러한 것들은 안구 움직임 패턴들 및 다른 감각 입력들에 근거하여 사용자의 의도를 파악하는데 이상적으로 적합하다.
다수의 인공 지능(Artificial Intelligence, AI) 혹은 신경망-기반의 분류 접근법들을 사용하는 경우, 일반적으로, 상이한 입력들 간의 상호작용들 혹은 상대적 중요도와 같은 인자들을 확인하는 것은 어렵고, 또는 신경망을 향상시키기 위해 확률적 정보를 삽입하는 것은 어렵다. 이것은 일부 상황들에서 단점일 수 있다. 그러나, 일단 훈련이 되면, 신경망-기반 구현예는 극도로 빠를 수 있고, 그리고 메모리(memory) 효율 및 파워(power) 효율이 모두 좋다. 신경망들은 또한 중앙 프로세싱 유닛(Central Processing Unit, CPU) 리소스들을 이용함이 없이 (예를 들어, FPGA 내에서의) 펌웨어 로직(firmware logic)에서 직접적으로 바로 구현될 수 있다.
도 24는 응시 위치들(2400) 및 다른 입력들(2407)을 알고리즘적으로 도면 참조번호 2413에서의 사용자 의도로 변환하는 신경망의 예를 보여준다. 측정된 응시 위치들(2400)은 "n"개의 위치들, (X0, Y0), (X1, Y1), ..., (Xn, Yn)을 가진 선입선출(First-In First-Out, FIFO) 버퍼에 전달된다. 좌표 X0(2401), Y0(2402)는 가장 최근에 획득된 응시된 위치를 나타낸다. 새로운 응시 위치가 획득되는 경우, X0(2401) 및 Y0(2402)으로서 이전에 저장된 값들은 좌표 X1(2403) 및 Y1(2404)로 전달된다. 이러한 전달 프로세스는 최종 좌표 Xn(2401) 및 Yn(2402)에서의 값들이 폐기될 때까지 FIFO 내에서 반복된다. 안구 신호들에 대한 타겟 위치들(2407)을 포함하는 추가적인 입력들이 또한, 신경망에 공급될 수 있다.
도 24에서 예시되는 신경망의 경우, 응시 좌표들 (Xi, Yi)이 신경망에 대한 주된 입력들로서 제시되어 있다. 이것은 일정한 샘플링 레이트에서 결정되는 응시 좌표들에 대해 적합하다. 비-균일한 샘플링 레이트들이 이용되는 경우에, 혹은 샘플링된 데이터가 아래에서 설명되는 바와 같이 안구 움직임들로 변환되는 경우에, 측정들이 행해지는 시간들(Ti)이 신경망에 대한 입력들(Xi, Yi, Ti)로서 포함될 수 있다.
이러한 예시적 신경망은 입력 계층(2408)에 관해 구성된다. 이러한 입력 계층(2408)은 도면 참조번호 2409에서 중간 계층(2410)과 완전히 상호연결된다. 이러한 중간 계층(2410)은 또한, 도면 참조번호 2411에서, 출력 계층(2412)을 나타내는 (본 예에서의) 단일 노드와 완전히 상호연결된다. 상호연결들(2409, 2411)은 알고리즘의 핵심 컴포넌트들이고, 이들은 하나의 계층으로부터 다음 계층으로 값들을 전달하는 가중 계수(weight coefficient)들을 나타낸다. 이러한 간단한 표현에 대한 최종 출력은 "목적을 갖고 있음(purposefulness)"과 같은 의도의 어떤 형태를 나타내는 임의의 값(2413)이다.
개체에 대한 가장 정확한 분류 스킴들은 개체로부터의 데이터 및 훈련에 근거하고 있다. 이것은 안구 움직임들을 제어하는 정밀한 신경 연결 통로, 근력(muscle strength), 및 눈 주의의 해부학적 구조와 같은 인자들에서 개체들 간에 변화들의 결과로서 일어난다. 개체에 근거하는 훈련 이전에, 개체들의 개체군(population)들에 근거하여 훈련된 "일반적인(generic)" 분류 스킴들을 사용하는 것이 가능하다. 개체의 데이터가 분류 접근법(예를 들어, 통계적 접근법 혹은 신경망 접근법)을 훈련시키기 위해 사용된 경우, 개체와 관련된 계수(coefficient)들은 디바이스가 재장착될 때 각각의 개체에 대해 검색되고 다시-로딩(re-loading)되는 교정 패키지(calibration package)의 일부가 될 수 있다.
예시적인 실시예에서, "목적을 갖는" 사용자 의도를 파악하기 위한 분류 프로세스에 대한 주된 입력들은 안구 응시 위치들의 좌표들이다. 안구 움직임들의 시퀀스들, 뿐만 아니라 일시정지들, 속도들, 및 가속도들(즉, 안구 움직임들의 시퀀스들로부터 획득될 수 있는 것)을 고려하기 위해서, 현재의 시간까지 이르는 시간들에서 획득된 이미지들에서 측정된 안구 위치들의 좌표들이 입력들로서 포함될 수 있다.
에일리어싱을 피하기 위해, 특히 급속히 빠른 도약적 안구 움직임들 동안 에일리어싱을 피하기 위해, 안구 위치들을 결정하기 위한 획득된 이미지들의 프레임 레이트들은 초당 수백 프레임들의 범위 내에 있을 필요가 있다. 분류를 위한 입력들의 전체 개수는 또한, 의도와 관련된 동작들의 "주의 지속 시간(attention span)"을 고려할 수 있다. 예를 들어, 이러한 데이터의 대략 1초 혹은 그 이상의 시간이 임의의 "목적을 갖는" 동작을 파악하기 위해 사용될 수 있다. 따라서, 데이터가 일정한 샘플 레이트(sample rate)를 사용하여 표현될 때, 응시 위치들과 관련된 신경망 입력들의 전체 개수는, 샘플 레이트에 "주의 지속 시간(attention span)"을 곱하고 여기에 응시 위치들을 나타내기 위해 사용된 좌표들 (X,Y)의 개수를 2배 해서 곱한 값과 같다.
다른 입력들이 (선택에 따라 그리고/또는 이용가능할 때) 목적을 갖는 안구 움직임들이 수행되고 있는지를 파악하기 위해 분류 계산들에 포함될 수 있다. 응시 좌표들과 관련하여 표현된 사용자의 시계 내에서의 객체들의 위치들은 식별력이 있는(discriminating) 입력들일 수 있다. 목적을 갖는 안구 움직임들의 잠재적 타겟들로서의 선택가능한 상호작용가능한 것들의 좌표들은 특히 가치가 있다. 역으로, 활성화를 위한 타겟들이 아닌 시계 내의 객체들의 위치들은 안구 움직임들을 조사함으로써 탐구될 가능성이 더 크다. 목적을 갖는 안구 움직임들이 일어나고 있는지를 파악하는데 도움을 주는 다른 입력들은 동공의 기하학적 구조에서의 크기 및 변경들(예를 들어, 수축(constricting) 혹은 팽창(dilating)), 머리 움직임들, 등을 포함한다.
예측적 및 구조화된 심층 학습 신경망들(PREDICTIVE AND STRUCTURED DEEP LEARNING NETWORKS)
소위 "심층 학습(deep learning)"으로 불리는 기계 학습 접근법들은 많은 수의 은닉 계층들 및 관련된 가중치(weight)들 혹은 시냅스 연결(synaptic connection)들을 이용한다. 심층 학습 신경망들은 추상화(abstraction)의 상이한 레벨들을 나타낼 수 있는 비선형 프로세싱 유닛들의 종속연결(cascade)을 사용한다. 많은 수의 상이한 심층 학습 아키텍처들이 개발되어 오고 있으며, 여기에는 나선형 심층 신경망(convolutional deep network)들, 심층 볼츠만 머신(deep Boltzmann machine)들, 심층 커널 머신(deep kernel machine)들, 및 심층 Q-신경망(deep Q-network)들이 포함된다. 심층 학습 신경망들은, 컴퓨터 시각(computer vision), 말소리 인식, 생물정보학(bioinformatics), 및 다수의 다른 분야들에 적용되어 오고 있다.
안구 신호들에 대한 심층 학습 접근법들의 사용은 "시계열(time series)" 데이터 분석으로서 분류될 수 있다. 달리 말하면, 안구 신호들은 시간 경과에 따른 한쪽 안구 혹은 양쪽 안구들의 일련의 (X, Y) 위치들로부터 인식될 수 있다. 말소리 인식도 또한 시계열 분류 문제이다. 따라서, 말소리 인식에서 사용되는 수학적 접근법들 및 분류 접근법들은 일반적으로 안구 신호 인식에 적용될 수 있으며, 명확히 구분되는 점은, 말소리는 일반적으로 단일의 오디오 데이터 채널(이것은 대게 퓨리에 급수(Fourier series)로 전환됨)로부터 인식된다는 것이고, 반면 안구 위치들은 각각의 시간에 (수평 위치 및 수직 위치를 나타내는) 적어도 2개의 값(단일 안구의 경우) 혹은 4개의 값(양쪽 안구들의 경우)으로 나타내어진다는 것이다. 이러한 구분되는 점은 심층 신경망의 입력 계층들에 의해 쉽게 핸들링될 수 있다.
시계열 신경망 분석은 1) 인식 및/또는 2) 예측을 수행하기 위해 적용될 수 있다. 안구 신호 분석의 경우에, 이러한 능력들이 모두 이용될 수 있다. 디바이스 착용자의 동작 혹은 의도를 표시하는 일련의 안구 움직임들의 인식은 안구 신호 언어의 핵심요소이다. 예측하는 능력 혹은 시간적으로(심지어 단지 1초의 몇 분의 1만이라도) 미리 예상(project forward)하는 능력은 다수의 실리적인 그리고 증진된 사용자-경험 결과들을 갖는다.
도약적 도달의 예상에서 디스플레이 구역의 "준비(preparation)"는 안구-신호 언어의 사용을 "가속화(speed-up)"시키기 위한 중요한 컴포넌트이다. 이벤트들을 미리 예상하거나 혹은 장래에 있어 이벤트들을 예상하는 능력은 다수의 추가적인 상황들에서 적용될 수 있다.
예를 들어, 눈꺼플들 및/또는 속눈썹들의 움직임은 눈 깜박임이 곧 일어날 것이라고 예상하는데 사용될 수 있다. 눈 깜박임이 개시됨에 따라, 시스템은 사용자가 눈 깜박임의 지속시간 동안(보통은 0.3초로부터 0.4초에 이르는 범위임) 기능적으로 블라인드 상태에 있을 것이라고 예상할 수 있다. 이러한 시간 동안, 프레임 레이트를 감소시킴으로써 전력이 보전될 수 있고, 그리고/또는 상호작용가능한 것들 및/또는 다른 객체들이 주의를 끌지 않는 방식으로 도입될 수 있다. 더욱이, 안구-신호 언어 내에서 선택을 하거나 혹은 활성화를 시키는 기능적 능력은 "일시정지(pause)" 상태에 놓일 수 있다. 이러한 모드는 특정 동작들에 대한 타이밍 고려사항들을 조정하기 위해 사용될 수 있다.
완곡 추종들은 도약들보다 훨씬 더 느리다(즉, 더 많은 시간을 소요함). 따라서, 시스템이 임의의 추적되는 객체의 움직임이 멈추었음을 인식하지 못하는 한, 시스템은 완곡 추종들이 어떤 시간 동안 계속될 것이라고 예상할 수 있다. 이러한 시간 동안, 시스템은 도약적 안구 움직임들 혹은 안구 움직임들의 다른 형태들과 관련된 사용자-선택가능 옵션들을 "억제(suppress)"할 수 있다.
진동들, 떨림들, 그리고 더 작은 안구 움직임들의 다른 형태들은 (개체에 특정된 것일 수 있는) 특징적인 반복-패턴들을 갖는다. 이러한 반복-패턴이 인식된다면, 이러한 패턴이 안구의 전체 위치에 기여하는 기여도를 시간적으로 미리 예상하는 것이 가능하다. 측정된 안구 위치에 이러한 비자발적인(즉, 목적을 갖지 않는) 진동들의 기여도를 예상(그리고 "공제(subtracting out)")함으로써, 안구 모션의 임의의 목적을 갖는 컴포넌트의 더 정확한 평가가 결정될 수 있다.
비록 엄격히 말하면 시간적으로 미리 예상하는 것은 아니지만, 2-차원 이미지화 시스템에 의해 모니터링 될 때 안구의 3-차원 구조로 인해 극단의 안구 위치(즉, 좌측-우측, 위-아래)의 측정들에서의 공간적 왜곡(spatial distortion)이 안구의 위치에 근거하여 "예측(predicted)"될 수 있다. 목적을 갖는 컴포넌트들을 더 정확하게 결정하기 위해, 다시 한번 더, 이러한 움직임들 동안 생성된 공간적 왜곡들은 측정된 위치들로부터 "공제(subtracted)"될 수 있다.
시간적으로 미리 예상하는 능력은 신경망을 사용하여 수행될 수 있거나, 혹은 측정된 방향들 및 속도들에 근거하는 더 전통적인 분석 접근법들을 사용하여 수행될 수 있다. 강조를 위해 반복 설명하면, 심지어 최소의 양(amount)(수십 내지 수백 밀리초)까지 안구 신호들 및 다른 이벤트들을 미리 예상하고 예측하는 능력은 안구 신호들을 동작들에 더 직접적으로 연결시킴으로써 사용자 경험의 편안함 레벨을 완전히 바꿀 수 있다. 유사한 상황에서, 말하는 사람으로부터의 소리가 지연될 때 그 말하는 사람의 입을 보여주는 영상을 보는 것은 심지어 단지 1초의 몇 분의 1만일지라도 "불편(uncomfortable)"하다.
안구 신호들을 파악하기 위해 심층 학습을 사용하는 경우의 특별한 이점은 안구 움직임들의 자유도(degree of freedom)들 혹은 "레퍼토리(repertoire)"의 정도들의 수가 상대적으로 한정되어 있다는 것이다. 앞에서 설명된 바와 같이, 안구들은 수축력(contractile force)들을 적용할 수 있는 6개의 근육들에 의해 제어된다. 이러한 해부학적 제약은, (또한 앞서 설명된) 생리학적 및 신경학적 프로세싱 한계들과 결합되어, 인간들 내에서 가능한 안구 움직임들의 타입들 및 범위들에 경계들을 놓는다. 따라서, 이러한 안구 움직임들의 전체 레퍼토리의 식별을 위해서 적절하게-크기조정된 심층 신경망들을 "훈련(train)"시키는 것이 가능하다.
안구 신호 결정을 위해서 신경망들을 사용하는 경우의 또 하나의 다른 이점은, 활성화들에 이르게 하는 성공적인 일련의 안구 움직임들을 기록하는 것 그리고 "실수(mistake)들"을 식별하는 것을 연속적으로 할 수 있는 능력이다. 비고의적인 활성화 혹은 "실수들"은 동작의 "실행 취소(undo)"를 행하도록 실행되거나 혹은 동작을 정정하도록 실행되는 후속적인 일련의 안구 움직임들로서 인식될 수 있다. 따라서, 비고의적인 활성화들을 생성하는 안구 움직임 패턴들, 혹은, 역으로, 의도된 동작들을 생성하는 패턴들은 연속적인 신경망 훈련(즉, 피드백)을 위해 쉽게 그리고 연속적으로 이용가능하다.
추가적인 실시예들에서, 유사한 분류 접근법들이 사용자의 "의도(intent)"의 다른 측면들을 파악하기 위해 사용될 수 있다. 이러한 분류 출력들은, "현저성(salience)"(이것은 관심도(interest)와 중요도(importance)로 더 나누어질 수 있음), 무관심(disinterest), 보고있는 것을 "기억(remember)"하고자 하는 것(즉, 개인 증강 기억(Personal Augmented Memory, PAM)), 혐오(dislike), (예를 들어, 게임을 하는 동안의) 행복(happiness) 혹은 분노(anger), 등을 포함할 수 있다. 이러한 경우에, 분류 스킴(들)에 추가적인 식별력을 제공하기 위한 추가적인 입력들이 이용가능하게 될 수 있다. 이러한 것들은 하루 중 시간(time of day), 날짜, 사용자 위치(예를 들어, 실외, 침실 안), 활동들(예를 들어, 운전, 텔레비젼 시청), 머리의 움직임들, 뿐만 아니라 신체의 나머지 부분의 움직임들, 등을 포함한다. 훈련 및 검증을 위한 데이터 세트들은 다양한 의도들을 갖고 활동들을 수행하는 동안 활동들 및/또는 의도들을 보고하는 사용자를 포함할 수 있다.
또 하나의 다른 추가적인 실시예들에서, 유사한 분류 접근법들이 사용자의 "마음의-상태(state-of-mind)"의 다른 측면들을 파악하기 위해서 사용될 수 있다. 이전에 설명된 "의도"와 "마음의-상태"에서 나오는 이들 간의 구분되는 점은 "마음의-상태" 분류들이 더 수동적 성질 혹은 수신적 성질을 갖는다는 것이다. 그러나, 이러한 구분되는 점은 엄격히 고정된 것이 아닌데, 왜냐하면 예를 들어, 사용자는 게임을 하는 동안 일반적으로 행복해 할 수 있기 때문에(여기서 안구 움직임들은 이러한 마음의-상태를 반영할 수 있음), 혹은 사용자는 자신을 행복하게 하는 것으로서 임의의 이미지의 디스플레이에 응답할 수 있기 때문이다. "마음의-상태" 결과물들은 피로, 두려움, 공포, 인지 부하, 스트레스, 끌림, 등을 포함할 수 있다. 다시 한번 더, 훈련 및 검증을 위한 데이터 세트들은 상이한 장면들 및 이미지들을 뷰잉하는 동안 그리고/또는 상이한 활동들에 참여하는 동안 마음의-상태들을 보고하는 사용자로 구성될 수 있다.
이러한 커다란 신경망들의 구성은 예를 들어, 맥락에 근거하고 있을 수 있다. 신경망의 일부분은, 특정 메뉴 선택이 디스플레이될 때, 혹은 객체들의 특정 종류를 바라보고 있을 때, 의도를 파악하는데 더 많은 책임을 담당하도록 구성될 수 있다. 디바이스 사용자에 의해 관측되고 있는 것이 무엇인지를 신경망이 "알게(know)"하는 것은, 더 구조화된 그리고/또는 더 빠른 신경망 훈련을 가능하게 하고, 뿐만 아니라 심층 학습 결과들이 더 견고해지도록 하며, 이것은 안구 신호들에 대한 더 빠른 그리고 더 정확한 응답들에 이르게 한다.
도 25는 심층 학습(혹은 소위 "심층 신뢰(deep belief)") 신경망의 예이며, 여기서, 알려진 양(quantity)들은 신경망 영역들 및 특정 신경망 계층들에 특정적으로 인코딩된다. 안구 신호들의 경우에서, 디스플레이되는 안구 신호 메뉴들은 시스템에 알려져 있다. 따라서, 심층 신경망의 특정 영역들이 각각의 가능한 메뉴에 할애될 수 있다. 개별적 메뉴들에 관한 초기 프로세싱을 수행하기 위해, 초기 신경망 계층들 내에서 4개의 영역들(2530a, 2530b, 2530c, 2530d)이 보이고 있다. 더욱이, 각각의 안구 신호 메뉴 내의 타겟(예를 들어, 상호작용가능한 것) 위치들(2531)은 알려져 있고 신경망에 공급될 수 있다. 추가적으로, 추종 객체들과 같은 핵심 요소들의 움직임 프로파일들이 시스템에 알려져 있다. 이러한 위치들은 또한 증진된 훈련 및 견고성을 위해 신경망에 공급될 수 있다.
세그먼트화된 영역들(2530a, 2530b, 2530c, 2530d)은 신경망 내에서 더 많이 추상화되거나 혹은 일반적인 은닉 계층들(2533)과 결합될 수 있다. 다른 실시예들에서, (앞에서 설명된) 안구 움직임들의 생리학적 그리고 해부학적 한계들(2532)은, 학습 프로파일들에 경계들을 놓기 위해 아울러 분류화(예를 들어, 완곡 추종 움직임들 대 도약적 움직임들)에 있어 도움을 주기 위해, 신경망 계층들 내에서 사용될 수 있다. 추상화의 더 심층적 레벨들에서, 추가적인 경계들 혹은 제약들(2534)이 특정 결과물들 상에 놓일 수 있다. 예를 들어, 디바이스 착용자가 하나보다 많은 개별적 프로세스에 신호를 보내는 것은 가능하지 않고, 또는 "행복(happy)"으로서 그리고 "슬픔(sad)"으로서 동시에 분류되는 것은 가능하지 않다. 궁극적으로, 신경망은 안구 움직임들을 포함하는 입력들(2535)을 디바이스 착용자의 의도들 및 상태들을 나타내는 출력들(2536)로 변환한다.
기계 학습 컴퓨팅 리소스들의 분배(DISTRIBUTION OF MACHINE LEARNING COMPUTING RESOURCES)
일반적으로, 착용가능 컴퓨팅은 로컬로-이용가능한 컴퓨팅 리소스(local-available computing resource)들에 제약들을 놓는다. 이것은 디바이스 전력 요건들, 물리적 크기 및 배치 제약들, 열 발산 등의 결과로서 일어난다. 따라서, 하나 이상의 원격 프로세서들을 사용하여 분류 및 예측과 관련된 프로세싱 중 일부 혹은 모두를 수행할 필요가 있을 수 있다. 컴퓨팅 리소스들의 분포, 그리고 편안한 동작을 위해 요구되는 응답 시간들에 따라, 다양한 방법들에서 프로세싱 태스크(processing task)들의 분배가 수행될 수 있다.
신경망 접근법들은 여러 스테이지들로 분열될 수 있고, 여기서 하나 이상의 스테이지들은 원격으로 수행될 수 있다. 예를 들어, 이미지들로부터 안구 위치들을 식별하는 것에 대한 심층 학습 접근법들은 결과들을 획득함에 있어, 특히 높은 프레임 레이트들에서 결과들 획득함에 있어, 시간 지연들을 피하기 위해 로컬로 수행될 수 있다. 결정된 안구 위치들은 사용자 의도를 파악하기 위해 후속적으로 원격 프로세싱 리소스들에 공급될 수 있다. 전형적으로 이러한 결과물(예를 들어, 사용자 피로)은 시간적으로 무리하지 않다.
심층 학습 서브-태스크(deep learning sub-task)들을 다양한 로컬 및 원격 프로세싱 유닛들에게 분배하는 것이 또한 가능하다. 이러한 컴퓨팅 리소스들 중 일부는, 복수의 프로세싱 유닛들, 그래픽 프로세싱 유닛(Graphical Processing Unit, GPU)들, 및 내장된 프로세싱(예컨대, FPGA들 및 ASIC들)의 하이브리드 혼합(hybrid mix)을 포함할 수 있다.
클라우드-기반 접근법들은 또한 개별 디바이스 사용자들에 특정된 정보에 대한 액세스를 포함할 수 있다. 예를 들어, 사용자의 특정 해부학적 현상 및 생리학적 현상에 근거하는, 뿐만 아니라 사용자 선호도들(예를 들어, 전형적인 응답 시간들, 원하는 스크린 복잡도)에 근거하는 교정들 및 수행 특징들이 클라우드-기반 분류 및 예측 접근법들 내에 포함될 수 있다. 이것은 또한 디바이스 사용자로 하여금 재-교정(re-calibration) 혹은 다른 구성 프로세스들에 대한 필요 없이 (만약 요구된다면) 하드웨어의 임의의 세트를 이용할 수 있게 한다.
기계 학습 입력들 및 아키텍처(MACHINE LEARNING INPUTS AND ARCHITECTURE)
신경망 성능을 최적화하기 위해, 입력 데이터는 이상적으로는 모든 필수적인(하지만 중복되는 것은 없는) 정보를 포함하는 최소의 형태로 변환돼야 한다. 이것은 입력 데이터를 독립된 좌표들의 세트들로 전환시키는 것과 유사한다.
이러한 변환의 핵심은 안구가 특정 움직임들을 수행한 것을 관측하는 것인데, 여기서 이러한 안구 움직임들에 의해 생성된 경로들은 일반적으로 선형이다(즉, 응시 패턴들이 일반적으로 직선들로 진행됨). 이전에 설명된 바와 같이, 도약적 움직임들은 탄도학적 움직임들이고, 이러한 움직임들은 선형인 경로들을 가질 뿐만 아니라, 잘-정의된 속도 프로파일들도 갖는다. 유사하게, 선형인 경로를 따라 진행하는 (실제 혹은 가상의) 객체들을 추적 또는 추종하기 위해 완곡 추종들이 사용되는 경우, 안구 응시 움직임들은 반복적으로 선형이다. 따라서, 안구 위치들을 일련의 선형 움직임들로서 표현하는 것은 대다수의 안구 움직임 경로들 및 안구 움직임들의 생물학적 현상을 모두 정확하게 나타내는 것과 일관된다.
안구 위치들은 주어진 시간들에서 획득되었던 이미지들로부터 결정될 수 있다. 이미지들이 획득되는 시간들에서의 안구의 위치들은 안구 움직임들의 론칭 위치들 혹은 목적지 위치들과 반드시 부합하지는 않는다. 오히려, 안구 위치들은 알려진 시간들에서 "샘플링(sampled)"되고, 안구 움직임들은 이러한 샘플들로부터 추론돼야만 한다. 이미지화가 충분한 레이트(즉, 나이퀴스트 샘플링 이론을 포함하는 원리들에 의해 지배되는 레이트)에서 수행되는 한, 안구 움직임들은 이러한 샘플링된 데이터로부터 추론될 수 있다.
알고리즘적으로, 샘플링된 데이터를 일련의 움직임들 및 정착들로 변환하기 위한 방법이 있고, 이는 도 26a 내지 도 26g에서 제시되는 바와 같다. 도 26a에서 예시되는 바와 같이, 측정된 안구 응시 위치들은 채워진 원(solid circle)들(2639)에 의해 표현된다. 안구의 위치에 대응하는 좌표들은 (Xi, Yi)로서 표현될 수 있고, 여기서 가장 최근에 획득된 이미지는 (X0, Y0)(2630a)으로 표시된다. 도 26b에서 제시된 바와 같이, 새로운 이미지로부터의 안구 위치의 좌표들이 (X0, Y0)(2630b)에서 획득되는 경우, 새로운 위치가 이전의 지점(X1, Y1)(2631c)과 그 선행하는 지점(도 26b에서는 도시되지 않음)에 의해 정의되는 (허용한계 내에 있는) 라인(line)을 따라 위치하는지 여부에 관한 결정이 수행된다. 만약 해당 라인을 따라 위치한다면, 현재의 선형 경로는 현재의 위치까지 연장되고, 다음 프레임을 고려하기 위해 분석이 진행된다.
도 26c는 새롭게 획득된 안구 응시 위치 (X0, Y0)(2630c)가 그 선행하는 위치 (X1, Y1)(2631c) 및 (X2, Y2)(2632c)와 비교하여 직선 상에 있지 않은 경우의 상황을 예시한다. 이전의 라인의 종료 지점 (X1, Y1)(2631c)이 (이전의 이벤트부터 경과된) 시간 T1과 함께 등록되고, 그리고 새로운 라인에 대한 탐색이 시작된다. 도 26d는 이러한 새로운 라인이 새롭게 획득된 안구 위치 (X0, Y0)(2630d)까지 연장된 것을 예시한다.
새로운 샘플 지점이 선형 경로 상에 있는 때를 결정하는 예외는 이미지들 간에 진행된 응시 거리가 (어떤 허용한계 내에서) 제로(zero)가 되는 때이다. 생리학적으로, 이것은 안구 "정착(fixation)"을 나타내고, 도 26e에서, 가장 최근에 획득된 프레임 내의 응시 위치 (X0, Y0)(2630e)과 그 선행하는 위치 (X1, Y1)(2631e) 간의 거리의 측정들에 근거하여 결정된다. 이러한 경우에, 선형 안구 움직임의 끝 (X1, Y1)(31e)이 등록되고, (정지된 위치 (X1, Y1)(2631e) 주위의) 정착이 시작된다. 도 26f에서 예시되는 바와 같이, 정착 지점 (X1, Y1)(2631f) 주위에서 안구 위치들 (X0, Y0)(2630f)의 계속되는 측정들이 존재할 수 있다. 정착의 지점으로부터 벗어나는 (어떤 허용한계 내에서의) 움직임이 있는 경우, 정착 지속시간 T1 및 정착의 위치 (X1, Y1)(2631g)가 기록되고, (X0, Y0)(2630g)을 포함하는 새로운 라인에 대한 탐색이 시작된다. 이것은 도 26g에서 예시된다.
경로가 새로운 라인에 대해 편향될 때마다 혹은 정착으로부터 벗어날 때마다, 새로운 이벤트는 선입선출(FIFO) 버퍼에 저장된다. 이러한 버퍼는 라인 혹은 정착을 종료한 시간 T1 및 좌표 위치 (Xi, Yi)를 포함한다. 정착은 좌표 위치 (Xi, Yi)가 이전의 이벤트와 (허용한계 내에서) 동일하다는 사실에 의해 식별될 수 있다. FIFO 버퍼는 신경망에 대한 입력으로서 사용될 수 있다.
도 27은 일련의 안구 움직임들로부터 의도를 파악하기 위해 사용될 수 있는 신경망의 아키텍처를 나타낸 예이다. N+1개의 이벤트들이 신경망에 대한 입력들(2730)로서 제공되고, 여기서 각각의 이벤트는 2-차원 좌표들 및 시간 (Xi, Yi, Ti)의 클러스터로서 표현된다. N은 임의의 안구 의도를 결정하기 위해 충분한 개수의 안구 움직임들 및 정착들이 포함됨을 보장하도록 선택될 수 있다(예를 들어, 가장 최근의 16개의 움직임들 혹은 정착들). 만약 N이 과다해지도록 선택된다면, 신경망은 멀리 떨어진 이력적 이벤트들을 무시하는 것을 학습하지만, 이러한 경우에 프로세싱 리소스들은 낭비된다.
도 27은 시계열 입력들 (Xi, Yi, Ti)를 분류하기 위해 3개의 은닉 계층들(2735a, 2735b, 2735c)을 사용한 것을 예시한다. 디스플레이되는 메뉴들 내의 안구 타겟 위치들(예를 들어, 상호작용가능한 것들의 위치들)(2733)의 알려진 좌표들, 메뉴들의 아이덴티티 및 임의의 다른 알려진 정보가 결정 프로세스에 대한 입력들(2733)로서 공급될 수 있다. 지지 벡터 기계(support vector machine)(2738)는 디바이스 착용자의 가장 가능한 의도(들)를 결정하기 위한 기계 학습 접근법의 예시적 실시예이다. 프로세스의 출력은 "동작 없음(no action)"을 표시하는 널(null)일 수 있거나, 혹은 디바이스 착용자의 하나 이상의 의도들 및/또는 상태들의 세트(2739)일 수 있다. 의도들은 예를 들어, 의도된 동작의 활성화를 포함할 수 있다(즉, 2진 분류). 동시에 결정된 상태들은 사용자 상태(즉, 연속적인 범위에 걸쳐 일반적으로 분류되는 사용자 상태)를 포함할 수 있는데, 예컨대 인지 부하 혹은 피로의 정도와 같은 것을 포함할 수 있다.
특정 실시예들과 함께 설명된 다양한 컴포넌트들 및 특징들은, 실시예들의 의도된 사용에 따라, 추가될 수 있고, 삭제될 수 있고, 그리고/또는 다른 실시예들로 대체될 수 있음이 이해될 것이다.
더욱이, 대표적인 실시예들을 설명함에 있어서, 본 명세서는 방법 및/또는 프로세스를 특정 시퀀스 혹은 단계들로서 제시했을 수 있다. 그러나, 이러한 방법 혹은 프로세스가 본 명세서에서 설명되는 단계들의 특정 순서에 의존하지 않는 한도에서, 방법 혹은 프로세스는 본 명세서에서 설명되는 단계들의 특정 순서에 한정돼서는 안된다. 본 발명의 기술분야에서 통상의 기술을 가진 자는 다른 시퀀스들 혹은 단계들이 가능할 수 있음을 이해하게 될 것이다. 따라서, 본 명세서에서 설명되는 단계들의 특정 순서는 청구항들에 관한 한정사항들로서 해석돼서는 안 된다.
본 발명이 다양한 수정들 및 대안적 형태들을 가질 수 있으며, 그 특정 예들이 도면에서 제시되었고, 본 명세서에서 상세히 설명되었다. 본 발명이 본 명세서에서 개시되는 특정 형태들 혹은 방법들로 한정돼서는 안 됨을 이해해야 하며, 하지만 반대로, 본 발명은 첨부되는 청구항들의 범위 내에 있는 모든 수정물들, 등가물들, 및 대안물들을 포괄하도록 되어 있는 것임을 이해해야 한다.
Claims (74)
- 검출기를 사용하여 전자 디스플레이(electronic display)에 대한 사용자의 안구(eye) 혹은 안구들의 움직임에 적어도 부분적으로 근거하는 그래픽 사용자 인터페이스(graphical user interface)를 제공하기 위한 방법으로서, 상기 방법은,
프로세싱 유닛(processing unit)에 의해, 적어도 하나의 안구의 응시(gaze)가 상기 디스플레이 상의 객체(object)에 지향(direct)되는 때를 식별하는 단계와;
상기 프로세싱 유닛에 의해, 임의의 동작(action)에 대응하는 상기 디스플레이 상의 제 1 아이콘(icon)을 포함하는 타겟 위치(target location)를 향해 상기 객체로부터 벗어나는 상기 적어도 하나의 안구의 도약적 움직임(saccadic movement)에 근거하여 상기 응시에서의 변경의 개시(initiation)를 식별하는 단계와, 여기서 상기 도약적 움직임의 식별은,
상기 안구 움직임의 속도 및 방향을 결정하는 것과, 그리고
상기 안구 움직임의 속도 및 방향에 근거하여 상기 안구 움직임에 대한 목적지가 상기 타겟 위치임을 예측하는 것을 포함하며;
상기 프로세싱 유닛에 의해, 상기 도약적 움직임의 완료시 상기 적어도 하나의 안구의 응시가 상기 타겟 위치에 정착(fixate)함을 확정(confirming)하는 단계와;
상기 프로세싱 유닛에 의해, 상기 객체에 관해 상기 동작을 수행하는 단계와; 그리고
상기 프로세싱 유닛에 의해, 상기 제 1 아이콘을 상기 제 1 아이콘에 대응하는 제 2 아이콘으로 교체(replace)하는 단계를 포함하고,
상기 제 2 아이콘은 상기 제 1 아이콘에 의해 이전에 점유된 상기 디스플레이의 일부분에 중첩(overlapping)되는 것을 특징으로 하는 그래픽 사용자 인터페이스를 제공하기 위한 방법. - 제1항에 있어서,
상기 제 1 아이콘은 상기 적어도 하나의 안구가 상기 타겟 위치에 정착하기 전에, 혹은 정착하고 있는 동안, 혹은 정착한 이후 상기 디스플레이 상에서 시각적으로 변경되는 것을 특징으로 하는 그래픽 사용자 인터페이스를 제공하기 위한 방법. - 제1항에 있어서,
상기 제 2 아이콘은 상기 객체의 썸네일(thumbnail)을 포함하는 것을 특징으로 하는 그래픽 사용자 인터페이스를 제공하기 위한 방법. - 제1항에 있어서,
상기 제 2 아이콘은 상기 객체의 닮은 형태(likeness) 혹은 일부분을 포함하는 것을 특징으로 하는 그래픽 사용자 인터페이스를 제공하기 위한 방법. - 제1항에 있어서,
상기 방법은 또한, 상기 적어도 하나의 안구의 응시가 상기 객체에 지향된다는 시각적 확정(visual confirmation)을 상기 디스플레이 상에 제공하는 단계를 포함하는 것을 특징으로 하는 그래픽 사용자 인터페이스를 제공하기 위한 방법. - 제5항에 있어서,
상기 시각적 확정은 상기 객체 둘레에 테두리(border)를 적어도 부분적으로 제시하는 것을 포함하는 것을 특징으로 하는 그래픽 사용자 인터페이스를 제공하기 위한 방법. - 제5항에 있어서,
상기 시각적 확정은 상기 객체를 시각적으로 수정함이 없이 상기 객체 둘레에 테두리를 적어도 부분적으로 제시하는 것을 포함하는 것을 특징으로 하는 그래픽 사용자 인터페이스를 제공하기 위한 방법. - 제1항에 있어서,
도약적 움직임의 식별은, 안구 움직임이 임의의 미리결정된 임계치보다 큰 속도를 갖는 때를 결정하여 상기 안구 움직임이 도약적임을 식별하게 되도록 하기 위해 상기 적어도 하나의 안구의 움직임을 모니터링(monitoring)하는 것을 포함하는 것을 특징으로 하는 그래픽 사용자 인터페이스를 제공하기 위한 방법. - 제8항에 있어서,
상기 안구 움직임은 미리결정된 임계치보다 큰 지속시간(duration) 혹은 거리(distance)를 갖는 것을 특징으로 하는 그래픽 사용자 인터페이스를 제공하기 위한 방법. - 제1항에 있어서,
상기 방법은 또한, 상기 디스플레이 상에 복수의 이미지(image)들을 제시하는 단계를 포함하고,
상기 객체는 상기 이미지들 중 제 1 이미지이고,
상기 제 1 아이콘은 상기 제 1 이미지의 썸네일이고, 그리고
상기 동작은 상기 디스플레이 상의 상기 복수의 이미지들을 상기 제 1 이미지의 확대된 형태(enlarged version)로 교체하는 것을 포함하는 것을 특징으로 하는 그래픽 사용자 인터페이스를 제공하기 위한 방법. - 제10항에 있어서,
상기 방법은 또한,
상기 제 1 이미지의 상기 확대된 형태에 대한 상기 적어도 하나의 안구의 움직임을 모니터링하는 단계,
상기 적어도 하나의 안구의 응시가 상기 확대된 형태의 제 1 영역을 향해 지향됨을 식별하는 단계, 그리고
상기 제 1 이미지의 상기 확대된 형태를 상기 디스플레이 상에서 상기 제 1 영역의 중심에 오도록 이동시키는 단계를 포함하는 것을 특징으로 하는 그래픽 사용자 인터페이스를 제공하기 위한 방법. - 사용자의 안구 혹은 안구들의 움직임에 적어도 부분적으로 근거하는 그래픽 사용자 인터페이스를 제공하기 위한 시스템으로서, 상기 시스템은,
상기 사용자의 적어도 하나의 안구의 움직임을 모니터링하도록 되어 있는 검출기와;
상기 검출기와 동작가능하게 관련된 전자 디스플레이와;
프로세싱 유닛을 포함하여 구성되며,
상기 프로세싱 유닛은 상기 검출기 및 전자 디스플레이에 동작가능하게 결합되어,
상기 적어도 하나의 안구의 응시가 상기 전자 디스플레이 상의 객체에 지향되는 때를 식별하고;
임의의 동작에 대응하는 상기 디스플레이 상의 제 1 아이콘을 포함하는 타겟 위치를 향해 상기 객체로부터 벗어나는 상기 적어도 하나의 안구의 도약적 움직임에 근거하여 상기 응시에서의 변경의 개시를 식별하고, 여기서 상기 도약적 움직임의 식별은 또한,
상기 안구 움직임의 속도 및 방향을 결정하는 것과, 그리고
상기 안구 움직임의 속도 및 방향에 근거하여 상기 안구 움직임에 대한 목적지가 상기 타겟 위치임을 예측하는 것을 포함하며;
상기 도약적 움직임의 완료시 상기 적어도 하나의 안구의 응시가 상기 타겟 위치에 정착함을 확정하고;
상기 객체에 관해 상기 동작을 수행하고; 그리고
상기 제 1 아이콘을 상기 제 1 아이콘에 대응하는 제 2 아이콘으로 교체하며,
상기 제 2 아이콘은 상기 제 1 아이콘에 의해 이전에 점유된 상기 디스플레이의 일부분에 중첩되는 것을 특징으로 하는 그래픽 사용자 인터페이스를 제공하기 위한 시스템. - 제12항에 있어서,
상기 시스템은 또한 모바일 전자 디바이스(mobile electronic device)를 포함하고,
상기 전자 디스플레이는 상기 모바일 전자 디바이스 상에 제공되고,
상기 검출기는 상기 전자 디스플레이 상의 카메라를 포함하되 상기 전자 디스플레이를 뷰잉(viewing)하는 사용자가 상기 카메라의 시계(field of view) 내에 있도록 배향되는 상기 전자 디스플레이 상의 상기 카메라를 포함하는 것을 특징으로 하는 그래픽 사용자 인터페이스를 제공하기 위한 시스템. - 사용자의 안구 혹은 안구들의 움직임에 근거하는 그래픽 사용자 인터페이스를 제공하기 위한 시스템으로서, 상기 시스템은,
사용자의 적어도 하나의 안구의 움직임을 모니터링하도록 되어 있는 검출기와;
상기 검출기와 동작가능하게 관련된 전자 디스플레이와;
프로세싱 유닛을 포함하여 구성되며,
상기 프로세싱 유닛은 상기 검출기 및 전자 디스플레이에 동작가능하게 결합되어,
상기 적어도 하나의 안구의 응시가 상기 전자 디스플레이 상의 객체에 지향되는 때를 식별하고;
상기 디스플레이 상의 제 1 아이콘을 포함하는 제 1 타겟 위치를 향해 상기 객체로부터 벗어나는 상기 적어도 하나의 안구의 제 1 도약적 움직임에 근거하여 상기 응시에서의 변경의 개시를 식별하고, 여기서 상기 도약적 움직임의 식별은 또한,
상기 안구 움직임의 속도 및 방향을 결정하는 것과, 그리고
상기 안구 움직임의 속도 및 방향에 근거하여 상기 안구 움직임에 대한 목적지가 상기 타겟 위치임을 예측하는 것을 포함하며;
상기 제 1 타겟 위치와는 다른 복수의 제 2 타겟 위치들에서 상기 디스플레이 상의 상기 제 1 아이콘을 복수의 제 2 아이콘들로 교체하고;
상기 제 1 아이콘을 제 3 아이콘으로 교체하고, 여기서 상기 제 3 아이콘은 상기 제 1 아이콘에 의해 이전에 점유된 상기 디스플레이의 일부분에 중첩되며;
상기 제 1 도약적 움직임 이후에 상기 적어도 하나의 안구의 응시가 상기 제 1 타겟 위치에 정착함을 확정하고; 그리고
이후 상기 적어도 하나의 안구가 상기 복수의 제 2 타겟 위치들 중 하나를 향해 제 2 도약적 움직임을 수행하는지 여부를 식별하기 위해 상기 적어도 하나의 안구를 모니터링하는 것을 특징으로 하는 그래픽 사용자 인터페이스를 제공하기 위한 시스템. - 제14항에 있어서,
상기 프로세싱 유닛은 또한,
상기 제 1 타겟 위치로부터 상기 복수의 제 2 타겟 위치들 중 하나로의 상기 적어도 하나의 안구의 상기 제 2 도약적 움직임을 식별하도록 되어 있고;
선택된 아이콘을 식별하기 위해 상기 제 2 도약적 움직임의 완료시 상기 적어도 하나의 안구의 응시가 상기 제 2 타겟 위치들 중 하나에 정착함을 확정하도록 되어 있고; 그리고
상기 선택된 아이콘과 관련된 동작을 수행하도록 되어 있는 것을 특징으로 하는 그래픽 사용자 인터페이스를 제공하기 위한 시스템. - 제14항에 있어서,
상기 프로세싱 유닛은, 상기 적어도 하나의 안구의 응시가 상기 제 2 타겟 위치에 정착하기 전에 상기 제 1 타겟 위치로부터 상기 제 1 아이콘을 제거하도록 되어 있는 것을 특징으로 하는 그래픽 사용자 인터페이스를 제공하기 위한 시스템. - 제14항에 있어서,
상기 복수의 제 2 아이콘들은 상기 복수의 제 2 타겟 위치들에서 실질적으로 정지 상태를 유지하는 것을 특징으로 하는 그래픽 사용자 인터페이스를 제공하기 위한 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
Applications Claiming Priority (19)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201461991435P | 2014-05-09 | 2014-05-09 | |
| US61/991,435 | 2014-05-09 | ||
| US201462023940P | 2014-07-13 | 2014-07-13 | |
| US62/023,940 | 2014-07-13 | ||
| US201462027777P | 2014-07-22 | 2014-07-22 | |
| US201462027774P | 2014-07-22 | 2014-07-22 | |
| US62/027,774 | 2014-07-22 | ||
| US62/027,777 | 2014-07-22 | ||
| US201462039001P | 2014-08-19 | 2014-08-19 | |
| US201462038984P | 2014-08-19 | 2014-08-19 | |
| US62/038,984 | 2014-08-19 | ||
| US62/039,001 | 2014-08-19 | ||
| US201462046072P | 2014-09-04 | 2014-09-04 | |
| US62/046,072 | 2014-09-04 | ||
| US201462074927P | 2014-11-04 | 2014-11-04 | |
| US201462074920P | 2014-11-04 | 2014-11-04 | |
| US62/074,927 | 2014-11-04 | ||
| US62/074,920 | 2014-11-04 | ||
| PCT/US2015/030050 WO2016018487A2 (en) | 2014-05-09 | 2015-05-09 | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170045149A KR20170045149A (ko) | 2017-04-26 |
| KR102230172B1 true KR102230172B1 (ko) | 2021-03-19 |
Family
ID=54368077
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167034652A KR102173699B1 (ko) | 2014-05-09 | 2015-05-09 | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
| KR1020207030953A KR20200127267A (ko) | 2014-05-09 | 2015-05-09 | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
| KR1020167034651A KR20170046108A (ko) | 2014-05-09 | 2015-05-09 | 보안 모바일 통신들과 함께 안구 신호들을 이용하는 시스템들 및 방법들 |
| KR1020167034649A KR102230172B1 (ko) | 2014-05-09 | 2015-05-09 | 실제 및 가상의 객체와 인터페이싱하기 위한 생체기계학-기반의 안구 신호를 위한 시스템 및 방법 |
Family Applications Before (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020167034652A KR102173699B1 (ko) | 2014-05-09 | 2015-05-09 | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
| KR1020207030953A KR20200127267A (ko) | 2014-05-09 | 2015-05-09 | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
| KR1020167034651A KR20170046108A (ko) | 2014-05-09 | 2015-05-09 | 보안 모바일 통신들과 함께 안구 신호들을 이용하는 시스템들 및 방법들 |
Country Status (7)
| Country | Link |
|---|---|
| US (7) | US10620700B2 (ko) |
| EP (3) | EP3140779A4 (ko) |
| JP (3) | JP2017526078A (ko) |
| KR (4) | KR102173699B1 (ko) |
| CN (3) | CN106462743A (ko) |
| AU (3) | AU2015297036B2 (ko) |
| WO (3) | WO2016018487A2 (ko) |
Families Citing this family (879)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9823737B2 (en) * | 2008-04-07 | 2017-11-21 | Mohammad A Mazed | Augmented reality personal assistant apparatus |
| US8977255B2 (en) | 2007-04-03 | 2015-03-10 | Apple Inc. | Method and system for operating a multi-function portable electronic device using voice-activation |
| US8676904B2 (en) | 2008-10-02 | 2014-03-18 | Apple Inc. | Electronic devices with voice command and contextual data processing capabilities |
| US9229233B2 (en) | 2014-02-11 | 2016-01-05 | Osterhout Group, Inc. | Micro Doppler presentations in head worn computing |
| TWI439960B (zh) | 2010-04-07 | 2014-06-01 | Apple Inc | 虛擬使用者編輯環境 |
| US10463248B2 (en) * | 2011-03-02 | 2019-11-05 | Brien Holden Vision Institute Limited | Systems, methods, and devices for measuring eye movement and pupil response |
| CA2867866C (en) | 2012-03-26 | 2022-06-21 | New York University | Methods and kits for assessing central nervous system integrity |
| US11490809B2 (en) | 2013-01-25 | 2022-11-08 | Wesley W. O. Krueger | Ocular parameter-based head impact measurement using a face shield |
| US10231614B2 (en) | 2014-07-08 | 2019-03-19 | Wesley W. O. Krueger | Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance |
| US11389059B2 (en) | 2013-01-25 | 2022-07-19 | Wesley W. O. Krueger | Ocular-performance-based head impact measurement using a faceguard |
| US11504051B2 (en) | 2013-01-25 | 2022-11-22 | Wesley W. O. Krueger | Systems and methods for observing eye and head information to measure ocular parameters and determine human health status |
| US10602927B2 (en) | 2013-01-25 | 2020-03-31 | Wesley W. O. Krueger | Ocular-performance-based head impact measurement using a faceguard |
| US10716469B2 (en) | 2013-01-25 | 2020-07-21 | Wesley W. O. Krueger | Ocular-performance-based head impact measurement applied to rotationally-centered impact mitigation systems and methods |
| US9788714B2 (en) | 2014-07-08 | 2017-10-17 | Iarmourholdings, Inc. | Systems and methods using virtual reality or augmented reality environments for the measurement and/or improvement of human vestibulo-ocular performance |
| CN113470640B (zh) | 2013-02-07 | 2022-04-26 | 苹果公司 | 数字助理的语音触发器 |
| US11714487B2 (en) | 2013-03-04 | 2023-08-01 | Tobii Ab | Gaze and smooth pursuit based continuous foveal adjustment |
| US10895908B2 (en) | 2013-03-04 | 2021-01-19 | Tobii Ab | Targeting saccade landing prediction using visual history |
| US10082870B2 (en) * | 2013-03-04 | 2018-09-25 | Tobii Ab | Gaze and saccade based graphical manipulation |
| US9898081B2 (en) | 2013-03-04 | 2018-02-20 | Tobii Ab | Gaze and saccade based graphical manipulation |
| US9665171B1 (en) | 2013-03-04 | 2017-05-30 | Tobii Ab | Gaze and saccade based graphical manipulation |
| JP6676522B2 (ja) | 2013-06-17 | 2020-04-08 | ニューヨーク ユニバーシティ | 対象における眼球運動を追跡するためのデバイスの作動方法、および当該デバイスによって追跡された眼球運動のデータの中枢神経系病変を位置特定するための使用方法 |
| US10884493B2 (en) | 2013-06-20 | 2021-01-05 | Uday Parshionikar | Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions |
| KR101882594B1 (ko) | 2013-09-03 | 2018-07-26 | 토비 에이비 | 휴대용 눈 추적 디바이스 |
| US10310597B2 (en) * | 2013-09-03 | 2019-06-04 | Tobii Ab | Portable eye tracking device |
| US10686972B2 (en) | 2013-09-03 | 2020-06-16 | Tobii Ab | Gaze assisted field of view control |
| US9958939B2 (en) * | 2013-10-31 | 2018-05-01 | Sync-Think, Inc. | System and method for dynamic content delivery based on gaze analytics |
| JP2015114865A (ja) * | 2013-12-12 | 2015-06-22 | ソニー株式会社 | 情報処理装置、中継コンピュータ、情報処理システム、および情報処理プログラム |
| US9870060B2 (en) * | 2013-12-31 | 2018-01-16 | Google Llc | Systems and methods for gaze-based media selection and editing |
| US20150228119A1 (en) | 2014-02-11 | 2015-08-13 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| US20160019715A1 (en) * | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
| US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
| US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
| US9852545B2 (en) | 2014-02-11 | 2017-12-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
| US10430985B2 (en) | 2014-03-14 | 2019-10-01 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
| US11138793B2 (en) | 2014-03-14 | 2021-10-05 | Magic Leap, Inc. | Multi-depth plane display system with reduced switching between depth planes |
| US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
| US10424103B2 (en) * | 2014-04-29 | 2019-09-24 | Microsoft Technology Licensing, Llc | Display device viewer gaze attraction |
| KR102173699B1 (ko) | 2014-05-09 | 2020-11-03 | 아이플루언스, 인크. | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
| US10564714B2 (en) | 2014-05-09 | 2020-02-18 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| US9706910B1 (en) * | 2014-05-29 | 2017-07-18 | Vivid Vision, Inc. | Interactive system for vision assessment and correction |
| US10170123B2 (en) | 2014-05-30 | 2019-01-01 | Apple Inc. | Intelligent assistant for home automation |
| US9880401B2 (en) * | 2014-06-13 | 2018-01-30 | Verily Life Sciences Llc | Method, device and system for accessing an eye-mountable device with a user interface |
| JP6369543B2 (ja) * | 2014-06-19 | 2018-08-08 | 日本電気株式会社 | 認証装置、認証システム、認証方法およびコンピュータプログラム |
| DE102014211823A1 (de) * | 2014-06-20 | 2015-12-24 | Robert Bosch Gmbh | Verfahren zur Personenidentifizierung |
| KR102266195B1 (ko) * | 2014-06-20 | 2021-06-17 | 삼성전자주식회사 | 객체와 관련된 정보를 제공하는 방법 및 장치 |
| US9269328B2 (en) * | 2014-06-24 | 2016-02-23 | Google Inc. | Efficient frame rendering |
| US9817959B2 (en) * | 2014-06-27 | 2017-11-14 | Intel Corporation | Wearable electronic devices |
| US9338493B2 (en) | 2014-06-30 | 2016-05-10 | Apple Inc. | Intelligent automated assistant for TV user interactions |
| US9961307B1 (en) * | 2014-06-30 | 2018-05-01 | Lee S. Weinblatt | Eyeglass recorder with multiple scene cameras and saccadic motion detection |
| KR102534525B1 (ko) * | 2014-07-07 | 2023-05-18 | 아텐티 일렉트로닉 모니터링 리미티드 | 자가 실시형의 변조 방지용 약물 검출 |
| KR101645087B1 (ko) * | 2014-07-10 | 2016-08-02 | 아이리텍 잉크 | 홍채인식용 착용 감지 기능을 가진 손 부착형 웨어러블 장치를 이용한 보안강화세트 및 그 제어방법 |
| US10540907B2 (en) * | 2014-07-31 | 2020-01-21 | Intelligent Technologies International, Inc. | Biometric identification headpiece system for test taking |
| US11013441B2 (en) | 2014-08-04 | 2021-05-25 | New York University | Methods and kits for diagnosing, assessing or quantitating drug use, drug abuse and narcosis, internuclear ophthalmoplegia, attention deficit hyperactivity disorder (ADHD), chronic traumatic encephalopathy, schizophrenia spectrum disorders and alcohol consumption |
| US9829708B1 (en) * | 2014-08-19 | 2017-11-28 | Boston Incubator Center, LLC | Method and apparatus of wearable eye pointing system |
| HK1203120A2 (en) * | 2014-08-26 | 2015-10-16 | 高平 | A gait monitor and a method of monitoring the gait of a person |
| MX2017003776A (es) | 2014-09-24 | 2018-03-23 | Princeton Identity Inc | Control de la capacidad de un dispositivo de comunicacion inalambrica en un dispositivo movil con una llave biometrica. |
| EP3201686B9 (en) | 2014-09-29 | 2022-01-12 | Magic Leap, Inc. | Architectures and methods for outputting different wavelength light out of waveguides |
| US9898868B2 (en) * | 2014-11-06 | 2018-02-20 | Seiko Epson Corporation | Display device, method of controlling the same, and program |
| GB2532438B (en) * | 2014-11-18 | 2019-05-08 | Eshare Ltd | Apparatus, method and system for determining a viewed status of a document |
| MX2017007139A (es) | 2014-12-03 | 2017-11-10 | Princeton Identity Inc | Sistema y metodo para un complemento biometrico de dispositivo movil. |
| EP3229205B1 (en) * | 2014-12-05 | 2021-10-13 | Sony Group Corporation | Information processing device, information processing method, and program |
| KR102139795B1 (ko) * | 2014-12-15 | 2020-07-31 | 삼성전자주식회사 | 생채 특징 패턴을 업데이트하는 방법 및 이를 위한 전자 장치 |
| US9886637B1 (en) * | 2015-01-13 | 2018-02-06 | State Farm Mutual Automobile Insurance Company | Apparatuses, systems and methods for acquiring images of occupants inside a vehicle |
| US20160239985A1 (en) * | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
| US10878775B2 (en) | 2015-02-17 | 2020-12-29 | Mentor Acquisition One, Llc | See-through computer display systems |
| US9652035B2 (en) * | 2015-02-23 | 2017-05-16 | International Business Machines Corporation | Interfacing via heads-up display using eye contact |
| EP3062142B1 (en) | 2015-02-26 | 2018-10-03 | Nokia Technologies OY | Apparatus for a near-eye display |
| USD779556S1 (en) * | 2015-02-27 | 2017-02-21 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with an icon |
| US9836663B2 (en) * | 2015-03-05 | 2017-12-05 | Samsung Electronics Co., Ltd. | User authenticating method and head mounted device supporting the same |
| US10921896B2 (en) * | 2015-03-16 | 2021-02-16 | Facebook Technologies, Llc | Device interaction in augmented reality |
| AU2016233280B2 (en) | 2015-03-16 | 2021-03-25 | Magic Leap, Inc. | Augmented reality pulse oximetry |
| IN2015CH01313A (ko) * | 2015-03-17 | 2015-04-10 | Wipro Ltd | |
| KR101648017B1 (ko) * | 2015-03-23 | 2016-08-12 | 현대자동차주식회사 | 디스플레이 장치, 차량 및 디스플레이 방법 |
| CN106155288B (zh) * | 2015-04-10 | 2019-02-12 | 北京智谷睿拓技术服务有限公司 | 信息获取方法、信息获取装置及用户设备 |
| US10305895B2 (en) * | 2015-04-14 | 2019-05-28 | Blubox Security, Inc. | Multi-factor and multi-mode biometric physical access control device |
| AU2016261487B2 (en) | 2015-05-11 | 2020-11-05 | Magic Leap, Inc. | Devices, methods and systems for biometric user recognition utilizing neural networks |
| US10254544B1 (en) * | 2015-05-13 | 2019-04-09 | Rockwell Collins, Inc. | Head tracking accuracy and reducing latency in dynamic environments |
| US9860452B2 (en) * | 2015-05-13 | 2018-01-02 | Lenovo (Singapore) Pte. Ltd. | Usage of first camera to determine parameter for action associated with second camera |
| US20160358181A1 (en) * | 2015-05-14 | 2016-12-08 | Magic Leap, Inc. | Augmented reality systems and methods for tracking biometric data |
| US10460227B2 (en) | 2015-05-15 | 2019-10-29 | Apple Inc. | Virtual assistant in a communication session |
| US20200321107A1 (en) * | 2015-05-19 | 2020-10-08 | Iryou Jyouhou Gijyutu Kenkyusyo Corporation | Integrated multi-facility electronic medical record system |
| EP3298452B1 (en) * | 2015-05-20 | 2022-11-02 | Magic Leap, Inc. | Tilt shift iris imaging |
| US9716834B2 (en) * | 2015-05-20 | 2017-07-25 | Panasonic Intellectual Property Management Co., Ltd. | Image display device and image processing device |
| WO2016200150A1 (en) * | 2015-06-08 | 2016-12-15 | Samsung Electronics Co., Ltd. | Method and apparatus for providing content |
| IN2015CH02866A (ko) * | 2015-06-09 | 2015-07-17 | Wipro Ltd | |
| RU2601169C1 (ru) * | 2015-06-11 | 2016-10-27 | Виталий Витальевич Аверьянов | Способ и устройство для взаимодействия с виртуальными объектами |
| US20160366317A1 (en) * | 2015-06-12 | 2016-12-15 | Delta ID Inc. | Apparatuses and methods for image based biometric recognition |
| JP6553418B2 (ja) * | 2015-06-12 | 2019-07-31 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ | 表示制御方法、表示制御装置及び制御プログラム |
| US10045726B2 (en) | 2015-06-14 | 2018-08-14 | Facense Ltd. | Selecting a stressor based on thermal measurements of the face |
| US9968264B2 (en) | 2015-06-14 | 2018-05-15 | Facense Ltd. | Detecting physiological responses based on thermal asymmetry of the face |
| US10216981B2 (en) | 2015-06-14 | 2019-02-26 | Facense Ltd. | Eyeglasses that measure facial skin color changes |
| US10151636B2 (en) | 2015-06-14 | 2018-12-11 | Facense Ltd. | Eyeglasses having inward-facing and outward-facing thermal cameras |
| US10080861B2 (en) | 2015-06-14 | 2018-09-25 | Facense Ltd. | Breathing biofeedback eyeglasses |
| US10136852B2 (en) | 2015-06-14 | 2018-11-27 | Facense Ltd. | Detecting an allergic reaction from nasal temperatures |
| US10076250B2 (en) | 2015-06-14 | 2018-09-18 | Facense Ltd. | Detecting physiological responses based on multispectral data from head-mounted cameras |
| US10076270B2 (en) | 2015-06-14 | 2018-09-18 | Facense Ltd. | Detecting physiological responses while accounting for touching the face |
| US10130299B2 (en) | 2015-06-14 | 2018-11-20 | Facense Ltd. | Neurofeedback eyeglasses |
| US10045737B2 (en) | 2015-06-14 | 2018-08-14 | Facense Ltd. | Clip-on device with inward-facing cameras |
| US10045699B2 (en) | 2015-06-14 | 2018-08-14 | Facense Ltd. | Determining a state of a user based on thermal measurements of the forehead |
| US10085685B2 (en) | 2015-06-14 | 2018-10-02 | Facense Ltd. | Selecting triggers of an allergic reaction based on nasal temperatures |
| US10130261B2 (en) | 2015-06-14 | 2018-11-20 | Facense Ltd. | Detecting physiological responses while taking into account consumption of confounding substances |
| US10092232B2 (en) | 2015-06-14 | 2018-10-09 | Facense Ltd. | User state selection based on the shape of the exhale stream |
| US10299717B2 (en) | 2015-06-14 | 2019-05-28 | Facense Ltd. | Detecting stress based on thermal measurements of the face |
| US10154810B2 (en) | 2015-06-14 | 2018-12-18 | Facense Ltd. | Security system that detects atypical behavior |
| US10523852B2 (en) | 2015-06-14 | 2019-12-31 | Facense Ltd. | Wearable inward-facing camera utilizing the Scheimpflug principle |
| US10159411B2 (en) | 2015-06-14 | 2018-12-25 | Facense Ltd. | Detecting irregular physiological responses during exposure to sensitive data |
| US10113913B2 (en) | 2015-10-03 | 2018-10-30 | Facense Ltd. | Systems for collecting thermal measurements of the face |
| US10136856B2 (en) | 2016-06-27 | 2018-11-27 | Facense Ltd. | Wearable respiration measurements system |
| US10130308B2 (en) | 2015-06-14 | 2018-11-20 | Facense Ltd. | Calculating respiratory parameters from thermal measurements |
| US10165949B2 (en) * | 2015-06-14 | 2019-01-01 | Facense Ltd. | Estimating posture using head-mounted cameras |
| US10064559B2 (en) | 2015-06-14 | 2018-09-04 | Facense Ltd. | Identification of the dominant nostril using thermal measurements |
| IL292858B2 (en) | 2015-06-15 | 2023-12-01 | Magic Leap Inc | Virtual and augmented reality systems and methods |
| US10554758B2 (en) | 2015-06-15 | 2020-02-04 | Blub0X Security, Inc. | Web-cloud hosted unified physical security system |
| US10043487B2 (en) * | 2015-06-24 | 2018-08-07 | Samsung Electronics Co., Ltd. | Apparatus and method for split screen display on mobile device |
| US10685488B1 (en) * | 2015-07-17 | 2020-06-16 | Naveen Kumar | Systems and methods for computer assisted operation |
| CN104966359B (zh) * | 2015-07-20 | 2018-01-30 | 京东方科技集团股份有限公司 | 防盗报警系统和方法 |
| TWI570638B (zh) * | 2015-07-29 | 2017-02-11 | 財團法人資訊工業策進會 | 凝視分析方法與裝置 |
| WO2017024118A1 (en) * | 2015-08-04 | 2017-02-09 | Google Inc. | Hover behavior for gaze interactions in virtual reality |
| US10178150B2 (en) * | 2015-08-07 | 2019-01-08 | International Business Machines Corporation | Eye contact-based information transfer |
| NZ739860A (en) | 2015-08-18 | 2019-10-25 | Magic Leap Inc | Virtual and augmented reality systems and methods |
| CN108135469B (zh) | 2015-08-21 | 2021-03-09 | 奇跃公司 | 使用眼睛姿态测量的眼睑形状估计 |
| CN105184246B (zh) * | 2015-08-28 | 2020-05-19 | 北京旷视科技有限公司 | 活体检测方法和活体检测系统 |
| US10223160B2 (en) * | 2015-08-31 | 2019-03-05 | Ayla Networks, Inc. | Compact schedules for resource-constrained devices |
| AU2015261614A1 (en) * | 2015-09-04 | 2017-03-23 | Musigma Business Solutions Pvt. Ltd. | Analytics system and method |
| US9857871B2 (en) * | 2015-09-04 | 2018-01-02 | Sony Interactive Entertainment Inc. | Apparatus and method for dynamic graphics rendering based on saccade detection |
| US10747498B2 (en) | 2015-09-08 | 2020-08-18 | Apple Inc. | Zero latency digital assistant |
| US20170200316A1 (en) * | 2015-09-10 | 2017-07-13 | Sphere Optics Company, Llc | Advertising system for virtual reality environments |
| WO2017048713A1 (en) | 2015-09-16 | 2017-03-23 | Magic Leap, Inc. | Head pose mixing of audio files |
| IN2015DE02924A (ko) * | 2015-09-16 | 2015-10-23 | Hcl Technologies Ltd | |
| JP6684559B2 (ja) * | 2015-09-16 | 2020-04-22 | 株式会社バンダイナムコエンターテインメント | プログラムおよび画像生成装置 |
| US10096130B2 (en) | 2015-09-22 | 2018-10-09 | Facebook, Inc. | Systems and methods for content streaming |
| US9858706B2 (en) * | 2015-09-22 | 2018-01-02 | Facebook, Inc. | Systems and methods for content streaming |
| CN108351527B (zh) | 2015-09-23 | 2024-06-18 | 奇跃公司 | 采用离轴成像器的眼睛成像 |
| CN108762496B (zh) * | 2015-09-24 | 2020-12-18 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| USD791787S1 (en) * | 2015-09-28 | 2017-07-11 | Google Inc. | Display screen with a transitional graphical user interface for a photo album |
| WO2017058826A1 (en) | 2015-09-28 | 2017-04-06 | Google Inc. | Sharing images and image albums over a communication network |
| US9635167B2 (en) | 2015-09-29 | 2017-04-25 | Paypal, Inc. | Conversation assistance system |
| US20170090588A1 (en) * | 2015-09-29 | 2017-03-30 | Kabushiki Kaisha Toshiba | Electronic device and method |
| CN106687969B (zh) * | 2015-10-08 | 2019-12-06 | 华为技术有限公司 | 一种保护隐私信息的方法和终端设备 |
| EP3156880A1 (en) * | 2015-10-14 | 2017-04-19 | Ecole Nationale de l'Aviation Civile | Zoom effect in gaze tracking interface |
| AU2016340222B2 (en) | 2015-10-16 | 2021-07-01 | Magic Leap, Inc. | Eye pose identification using eye features |
| CN113220116A (zh) | 2015-10-20 | 2021-08-06 | 奇跃公司 | 改变可穿戴设备用户输入模式的系统和方法及可穿戴系统 |
| US10466780B1 (en) * | 2015-10-26 | 2019-11-05 | Pillantas | Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor |
| US10338677B2 (en) * | 2015-10-28 | 2019-07-02 | Microsoft Technology Licensing, Llc | Adjusting image frames based on tracking motion of eyes |
| US10831922B1 (en) * | 2015-10-30 | 2020-11-10 | United Services Automobile Association (Usaa) | System and method for access control |
| KR102592980B1 (ko) | 2015-11-04 | 2023-10-20 | 매직 립, 인코포레이티드 | 광 필드 디스플레이 계측 |
| US10691473B2 (en) | 2015-11-06 | 2020-06-23 | Apple Inc. | Intelligent automated assistant in a messaging environment |
| US11231544B2 (en) | 2015-11-06 | 2022-01-25 | Magic Leap, Inc. | Metasurfaces for redirecting light and methods for fabricating |
| CN113559492A (zh) * | 2015-11-19 | 2021-10-29 | 天使集团股份有限公司 | 桌面游戏的管理系统及游艺用代用货币 |
| US10061552B2 (en) * | 2015-11-25 | 2018-08-28 | International Business Machines Corporation | Identifying the positioning in a multiple display grid |
| CN105528577B (zh) * | 2015-12-04 | 2019-02-12 | 深圳大学 | 基于智能眼镜的识别方法 |
| US9703374B1 (en) * | 2015-12-16 | 2017-07-11 | Google, Inc. | In-cell gaze tracking for near-eye display |
| US10097443B2 (en) * | 2015-12-16 | 2018-10-09 | Fluke Corporation | System and method for secure communications between a computer test tool and a cloud-based server |
| WO2017104272A1 (ja) * | 2015-12-18 | 2017-06-22 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US10102358B2 (en) * | 2015-12-29 | 2018-10-16 | Sensory, Incorporated | Face-controlled liveness verification |
| CN105892642A (zh) * | 2015-12-31 | 2016-08-24 | 乐视移动智能信息技术（北京）有限公司 | 一种根据眼部动作对终端进行控制的方法及装置 |
| US10372289B2 (en) * | 2015-12-31 | 2019-08-06 | Beijing Pico Technology Co., Ltd. | Wraparound interface layout method, content switching method under three-dimensional immersive environment, and list switching method |
| CN106940766A (zh) * | 2016-01-04 | 2017-07-11 | 由田新技股份有限公司 | 视线轨迹认证系统及方法 |
| JP6231585B2 (ja) * | 2016-01-05 | 2017-11-15 | 株式会社Ｑｄレーザ | 画像投影装置 |
| KR102466996B1 (ko) * | 2016-01-06 | 2022-11-14 | 삼성전자주식회사 | 눈 위치 예측 방법 및 장치 |
| JP2017123050A (ja) * | 2016-01-07 | 2017-07-13 | ソニー株式会社 | 情報処理装置、情報処理方法、プログラム、及びサーバ |
| KR20230134159A (ko) | 2016-01-07 | 2023-09-20 | 매직 립, 인코포레이티드 | 깊이 평면들에 걸쳐 분포된 동일하지 않은 수의 컴포넌트 컬러 이미지들을 갖는 가상 및 증강 현실 시스템들 및 방법들 |
| JP2019506694A (ja) | 2016-01-12 | 2019-03-07 | プリンストン・アイデンティティー・インコーポレーテッド | 生体測定分析のシステムおよび方法 |
| KR102567431B1 (ko) * | 2016-01-19 | 2023-08-14 | 매직 립, 인코포레이티드 | 눈 이미지 수집, 선택 및 결합 |
| IL301884A (en) | 2016-01-19 | 2023-06-01 | Magic Leap Inc | Augmented reality systems and methods that use reflections |
| EP3408704B1 (en) | 2016-01-29 | 2021-11-03 | Magic Leap, Inc. | Display for three-dimensional image |
| US10169560B2 (en) * | 2016-02-04 | 2019-01-01 | Lenovo Enterprise Solutions (Singapore) Pte. Ltd. | Stimuli-based authentication |
| KR101729434B1 (ko) * | 2016-02-16 | 2017-04-24 | 주식회사 시큐브 | 공간분할 세그먼트에 대한 동적이동 추적 기반 수기서명 인증 시스템 및 방법 |
| US10591728B2 (en) | 2016-03-02 | 2020-03-17 | Mentor Acquisition One, Llc | Optical systems for head-worn computers |
| US10129510B2 (en) | 2016-02-18 | 2018-11-13 | Samsung Electronics Co., Ltd. | Initiating human-machine interaction based on visual attention |
| NZ745246A (en) | 2016-02-24 | 2020-01-31 | Magic Leap Inc | Polarizing beam splitter with low light leakage |
| NZ745229A (en) | 2016-02-24 | 2019-12-20 | Magic Leap Inc | Low profile interconnect for light emitter |
| JP6843876B2 (ja) | 2016-02-26 | 2021-03-17 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 複数の光エミッタに対する複数の光パイプを有するディスプレイシステム |
| EP3420601B1 (en) | 2016-02-26 | 2023-08-02 | Magic Leap, Inc. | Optical system |
| US10667981B2 (en) | 2016-02-29 | 2020-06-02 | Mentor Acquisition One, Llc | Reading assistance system for visually impaired |
| NZ745549A (en) | 2016-03-01 | 2020-03-27 | Magic Leap Inc | Reflective switching device for inputting different wavelengths of light into waveguides |
| IL291915B2 (en) | 2016-03-04 | 2024-03-01 | Magic Leap Inc | Reducing current leakage in AR/VR display systems |
| EP3427185A4 (en) | 2016-03-07 | 2019-09-25 | Magic Leap, Inc. | BLUE POSITIONING FOR BIOMETRIC SAFETY |
| US10115205B2 (en) | 2016-03-11 | 2018-10-30 | Facebook Technologies, Llc | Eye tracking system with single point calibration |
| WO2017156547A1 (en) | 2016-03-11 | 2017-09-14 | Magic Leap, Inc. | Structure learning in convolutional neural networks |
| CN108780223B (zh) * | 2016-03-11 | 2019-12-20 | 脸谱科技有限责任公司 | 用于生成眼睛模型的角膜球跟踪 |
| US10579708B1 (en) * | 2016-03-22 | 2020-03-03 | Massachusetts Mutual Life Insurance Company | Systems and methods for improving workflow efficiency and for electronic record population utilizing intelligent input systems |
| JP7233927B2 (ja) | 2016-03-22 | 2023-03-07 | マジック リープ， インコーポレイテッド | バイオメトリック情報を交換するように構成された頭部搭載型ディスプレイシステム |
| US10360254B1 (en) | 2016-03-24 | 2019-07-23 | Massachusetts Mutual Life Insurance Company | Intelligent and context aware reading systems |
| US10306311B1 (en) | 2016-03-24 | 2019-05-28 | Massachusetts Mutual Life Insurance Company | Intelligent and context aware reading systems |
| CA3017930A1 (en) | 2016-03-25 | 2017-09-28 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| JP6728863B2 (ja) * | 2016-03-25 | 2020-07-22 | 富士ゼロックス株式会社 | 情報処理システム |
| WO2017172695A1 (en) | 2016-03-31 | 2017-10-05 | Princeton Identity, Inc. | Systems and methods of biometric anaysis with adaptive trigger |
| CN109196447B (zh) | 2016-03-31 | 2022-06-17 | 奇跃公司 | 使用姿势和多dof控制器与3d虚拟对象的交互 |
| WO2017173228A1 (en) | 2016-03-31 | 2017-10-05 | Princeton Identity, Inc. | Biometric enrollment systems and methods |
| US10169846B2 (en) | 2016-03-31 | 2019-01-01 | Sony Interactive Entertainment Inc. | Selective peripheral vision filtering in a foveated rendering system |
| US10088898B2 (en) | 2016-03-31 | 2018-10-02 | Verizon Patent And Licensing Inc. | Methods and systems for determining an effectiveness of content in an immersive virtual reality world |
| US10372205B2 (en) * | 2016-03-31 | 2019-08-06 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
| US10401952B2 (en) | 2016-03-31 | 2019-09-03 | Sony Interactive Entertainment Inc. | Reducing rendering computation and power consumption by detecting saccades and blinks |
| US10192528B2 (en) | 2016-03-31 | 2019-01-29 | Sony Interactive Entertainment Inc. | Real-time user adaptive foveated rendering |
| US10733275B1 (en) * | 2016-04-01 | 2020-08-04 | Massachusetts Mutual Life Insurance Company | Access control through head imaging and biometric authentication |
| KR102379691B1 (ko) | 2016-04-08 | 2022-03-25 | 매직 립, 인코포레이티드 | 가변 포커스 렌즈 엘리먼트들을 가진 증강 현실 시스템들 및 방법들 |
| US20170291723A1 (en) * | 2016-04-11 | 2017-10-12 | Honeywell International Inc. | System and method for validating flight checklist items for maintenance and inspection applications |
| KR101904889B1 (ko) * | 2016-04-21 | 2018-10-05 | 주식회사 비주얼캠프 | 표시 장치와 이를 이용한 입력 처리 방법 및 시스템 |
| KR102445364B1 (ko) | 2016-04-21 | 2022-09-19 | 매직 립, 인코포레이티드 | 시야 주위의 시각적 아우라 |
| CN114699751A (zh) | 2016-04-26 | 2022-07-05 | 奇跃公司 | 使用增强现实系统的电磁跟踪 |
| CN105897428B (zh) * | 2016-04-28 | 2019-06-25 | 武汉大学 | 一种基于虹膜识别的实时视频安全通讯系统及方法 |
| KR20210032022A (ko) | 2016-05-06 | 2021-03-23 | 매직 립, 인코포레이티드 | 광을 재지향시키기 위한 비대칭 격자들을 가진 메타표면들 및 제조를 위한 방법들 |
| AU2017264695B2 (en) | 2016-05-09 | 2022-03-31 | Magic Leap, Inc. | Augmented reality systems and methods for user health analysis |
| WO2017193165A1 (en) | 2016-05-10 | 2017-11-16 | National Ict Australia Limited | Authenticating a user |
| NZ748013A (en) | 2016-05-12 | 2023-05-26 | Magic Leap Inc | Distributed light manipulation over imaging waveguide |
| WO2017201329A1 (en) | 2016-05-20 | 2017-11-23 | Magic Leap, Inc. | Contextual awareness of user interface menus |
| US10065658B2 (en) * | 2016-05-23 | 2018-09-04 | International Business Machines Corporation | Bias of physical controllers in a system |
| US20180249941A1 (en) * | 2016-05-24 | 2018-09-06 | neuroFit, Inc. | Oculometric Neurological Examination (ONE) Appliance |
| WO2017204120A1 (ja) * | 2016-05-25 | 2017-11-30 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置、画像処理方法およびプログラム |
| US10037080B2 (en) * | 2016-05-31 | 2018-07-31 | Paypal, Inc. | User physical attribute based device and content management system |
| EP4350647A3 (en) | 2016-06-03 | 2024-04-24 | Magic Leap, Inc. | Augmented reality identity verification |
| USD796551S1 (en) * | 2016-06-03 | 2017-09-05 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with icon |
| US11108708B2 (en) | 2016-06-06 | 2021-08-31 | Global Tel*Link Corporation | Personalized chatbots for inmates |
| CN106056092B (zh) * | 2016-06-08 | 2019-08-20 | 华南理工大学 | 基于虹膜与瞳孔的用于头戴式设备的视线估计方法 |
| US10337691B2 (en) | 2016-06-10 | 2019-07-02 | Magic Leap, Inc. | Integrating point source for texture projecting bulb |
| US9716825B1 (en) | 2016-06-12 | 2017-07-25 | Apple Inc. | User interface for camera effects |
| US10339659B2 (en) * | 2016-06-13 | 2019-07-02 | International Business Machines Corporation | System, method, and recording medium for workforce performance management |
| EP3751396A1 (en) * | 2016-06-16 | 2020-12-16 | Apple Inc. | Method and system for providing eye tracking based information about a user behavior, client device, server and computer program product |
| US10565287B2 (en) * | 2016-06-17 | 2020-02-18 | International Business Machines Corporation | Web content layout engine instance sharing across mobile devices |
| EP4105921A1 (en) | 2016-06-20 | 2022-12-21 | Magic Leap, Inc. | Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions |
| CN106200905B (zh) * | 2016-06-27 | 2019-03-29 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
| IL280983B (en) | 2016-06-30 | 2022-07-01 | Magic Leap Inc | Pose assessment in three-dimensional space |
| US11354863B2 (en) * | 2016-06-30 | 2022-06-07 | Honeywell International Inc. | Systems and methods for immersive and collaborative video surveillance |
| US10146609B1 (en) | 2016-07-08 | 2018-12-04 | Splunk Inc. | Configuration of continuous anomaly detection service |
| US10200262B1 (en) | 2016-07-08 | 2019-02-05 | Splunk Inc. | Continuous anomaly detection service |
| US10769854B2 (en) * | 2016-07-12 | 2020-09-08 | Tyco Fire & Security Gmbh | Holographic technology implemented security solution |
| KR102450441B1 (ko) | 2016-07-14 | 2022-09-30 | 매직 립, 인코포레이티드 | 홍채 식별을 위한 딥 뉴럴 네트워크 |
| CN109661194B (zh) * | 2016-07-14 | 2022-02-25 | 奇跃公司 | 使用角膜曲率的虹膜边界估计 |
| EP3489887B1 (en) * | 2016-07-22 | 2021-06-30 | Sony Corporation | Image sensor and image processing system |
| CN117770757A (zh) | 2016-07-25 | 2024-03-29 | 奇跃公司 | 光场处理器系统 |
| AU2017301435B2 (en) | 2016-07-25 | 2022-07-14 | Magic Leap, Inc. | Imaging modification, display and visualization using augmented and virtual reality eyewear |
| KR102639135B1 (ko) | 2016-07-29 | 2024-02-20 | 매직 립, 인코포레이티드 | 암호화방식으로 싸인된 레코드들의 안전한 교환 |
| EP3493728A4 (en) | 2016-08-02 | 2020-05-20 | New York University | METHOD AND KITS FOR ASSESSING THE NEUROLOGICAL FUNCTION AND LOCALIZING NEUROLOGICAL LESIONS |
| US9844321B1 (en) * | 2016-08-04 | 2017-12-19 | Novartis Ag | Enhanced ophthalmic surgical experience using a virtual reality head-mounted display |
| US10417495B1 (en) * | 2016-08-08 | 2019-09-17 | Google Llc | Systems and methods for determining biometric information |
| IL264690B (en) | 2016-08-11 | 2022-06-01 | Magic Leap Inc | Automatic positioning of a virtual object in 3D space |
| IL292025B2 (en) | 2016-08-12 | 2023-12-01 | Magic Leap Inc | Parosh is a flurry of words |
| KR102217789B1 (ko) | 2016-08-22 | 2021-02-19 | 매직 립, 인코포레이티드 | 나노그레이팅 방법 및 장치 |
| IL281241B (en) | 2016-08-22 | 2022-08-01 | Magic Leap Inc | An augmented reality display device with deep learning sensors |
| US10835120B2 (en) * | 2016-08-23 | 2020-11-17 | Welch Allyn, Inc. | Extended medical test system |
| CN106899567B (zh) | 2016-08-24 | 2019-12-13 | 阿里巴巴集团控股有限公司 | 用户核身方法、装置及系统 |
| WO2018042751A1 (ja) * | 2016-09-01 | 2018-03-08 | 三菱電機株式会社 | ジェスチャー判定装置、ジェスチャー操作装置、及びジェスチャー判定方法 |
| DE102016116770A1 (de) * | 2016-09-07 | 2018-03-08 | Bundesdruckerei Gmbh | Datenbrille zum kryptographischen Signieren von Bilddaten |
| KR20230130773A (ko) | 2016-09-13 | 2023-09-12 | 매직 립, 인코포레이티드 | 감각 안경류 |
| US10650621B1 (en) | 2016-09-13 | 2020-05-12 | Iocurrents, Inc. | Interfacing with a vehicular controller area network |
| US10230719B2 (en) * | 2016-09-19 | 2019-03-12 | Intel Corporation | Head mounted secure display system |
| JP6978493B2 (ja) | 2016-09-21 | 2021-12-08 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | 射出瞳エクスパンダを伴う光学システムのためのシステムおよび方法 |
| US10210320B2 (en) | 2016-09-21 | 2019-02-19 | Lextron Systems, Inc. | System and method for secure 5-D user identification |
| AU2017331284B2 (en) | 2016-09-22 | 2022-01-13 | Magic Leap, Inc. | Augmented reality spectroscopy |
| US10671159B2 (en) | 2016-09-22 | 2020-06-02 | Apple Inc. | Postponing the state change of an information affecting the graphical user interface until during the condition of inattentiveness |
| CN109791435B (zh) | 2016-09-26 | 2022-04-12 | 奇跃公司 | 虚拟现实或增强现实显示系统中磁传感器和光学传感器的校准 |
| US10750560B2 (en) | 2016-09-27 | 2020-08-18 | Extreme Networks, Inc. | IoT device management using multi-protocol infrastructure network devices |
| KR102491438B1 (ko) | 2016-09-28 | 2023-01-25 | 매직 립, 인코포레이티드 | 웨어러블 디바이스에 의한 얼굴 모델 캡처 |
| RU2016138608A (ru) | 2016-09-29 | 2018-03-30 | Мэджик Лип, Инк. | Нейронная сеть для сегментации изображения глаза и оценки качества изображения |
| US10430042B2 (en) * | 2016-09-30 | 2019-10-01 | Sony Interactive Entertainment Inc. | Interaction context-based virtual reality |
| US10863902B2 (en) | 2016-10-03 | 2020-12-15 | Oculogica Inc. | Method for detecting glaucoma |
| IL281321B (en) | 2016-10-04 | 2022-07-01 | Magic Leap Inc | Efficient data layouts for convolutional neural networks |
| KR102402467B1 (ko) | 2016-10-05 | 2022-05-25 | 매직 립, 인코포레이티드 | 혼합 현실 교정을 위한 안구주위 테스트 |
| CN106997239A (zh) * | 2016-10-13 | 2017-08-01 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的业务实现方法及装置 |
| US10925479B2 (en) * | 2016-10-13 | 2021-02-23 | Ronald Michael Kurtz | Networked system of mobile communication platforms for nonpharmacologic constriction of a pupil |
| CN107018121B (zh) | 2016-10-13 | 2021-07-20 | 创新先进技术有限公司 | 用户身份验证的方法及装置 |
| US9769166B1 (en) * | 2016-10-19 | 2017-09-19 | International Business Machines Corporation | Wearable sensor based system for person identification |
| US10201274B2 (en) * | 2016-10-20 | 2019-02-12 | Oculogica Inc | Eye tracking system with biometric identification |
| AU2017345780B2 (en) | 2016-10-21 | 2022-11-17 | Magic Leap, Inc. | System and method for presenting image content on multiple depth planes by providing multiple intra-pupil parallax views |
| US10660517B2 (en) | 2016-11-08 | 2020-05-26 | International Business Machines Corporation | Age estimation using feature of eye movement |
| US20180125405A1 (en) * | 2016-11-08 | 2018-05-10 | International Business Machines Corporation | Mental state estimation using feature of eye movement |
| US11074325B1 (en) * | 2016-11-09 | 2021-07-27 | Wells Fargo Bank, N.A. | Systems and methods for dynamic bio-behavioral authentication |
| IL296031A (en) | 2016-11-11 | 2022-10-01 | Magic Leap Inc | Peripheral assembly and audio of a full facial image |
| EP4120107A1 (en) * | 2016-11-14 | 2023-01-18 | MasterCard International Incorporated | Method for biometric based signing of document |
| CN109890472A (zh) * | 2016-11-14 | 2019-06-14 | 华为技术有限公司 | 一种图像渲染的方法、装置及vr设备 |
| US10621747B2 (en) | 2016-11-15 | 2020-04-14 | Magic Leap, Inc. | Deep learning system for cuboid detection |
| EP3542358B1 (en) * | 2016-11-16 | 2024-06-26 | Magic Leap, Inc. | Mixed reality system with reduced power rendering |
| US10867445B1 (en) * | 2016-11-16 | 2020-12-15 | Amazon Technologies, Inc. | Content segmentation and navigation |
| EP3933547B1 (en) | 2016-11-16 | 2023-12-27 | Magic Leap, Inc. | Thermal management systems for wearable components |
| US20180144554A1 (en) | 2016-11-18 | 2018-05-24 | Eyedaptic, LLC | Systems for augmented reality visual aids and tools |
| CN110178077B (zh) | 2016-11-18 | 2022-08-30 | 奇跃公司 | 用于重定向具有宽入射角范围的光的多层液晶衍射光栅 |
| US11067860B2 (en) | 2016-11-18 | 2021-07-20 | Magic Leap, Inc. | Liquid crystal diffractive devices with nano-scale pattern and methods of manufacturing the same |
| WO2018094285A1 (en) * | 2016-11-18 | 2018-05-24 | Eyedaptic, LLC | Improved systems for augmented reality visual aids and tools |
| CN110192146B (zh) | 2016-11-18 | 2022-09-23 | 奇跃公司 | 空间可变液晶衍射光栅 |
| IL266677B2 (en) | 2016-11-18 | 2023-11-01 | Magic Leap Inc | A waveguide light multiplexer using crossed gratings |
| CN206301289U (zh) * | 2016-11-29 | 2017-07-04 | 阿里巴巴集团控股有限公司 | Vr终端设备 |
| CN107066079A (zh) * | 2016-11-29 | 2017-08-18 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的业务实现方法及装置 |
| KR20180061956A (ko) * | 2016-11-30 | 2018-06-08 | 삼성전자주식회사 | 눈 위치 예측 방법 및 장치 |
| AU2017370555B2 (en) | 2016-12-05 | 2022-12-15 | Magic Leap, Inc. | Virtual user input controls in a mixed reality environment |
| US10531220B2 (en) | 2016-12-05 | 2020-01-07 | Magic Leap, Inc. | Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems |
| EP3552057B1 (en) | 2016-12-08 | 2022-01-05 | Magic Leap, Inc. | Diffractive devices based on cholesteric liquid crystal |
| US10796147B1 (en) * | 2016-12-12 | 2020-10-06 | Keith Hanna | Method and apparatus for improving the match performance and user convenience of biometric systems that use images of the human eye |
| CN116778120A (zh) | 2016-12-13 | 2023-09-19 | 奇跃公司 | 增强现实显示系统 |
| EP4148402A1 (en) | 2016-12-13 | 2023-03-15 | Magic Leap, Inc. | Augmented and virtual reality eyewear, systems, and methods for delivering polarized light and determining glucose levels |
| CN110291453B (zh) | 2016-12-14 | 2022-11-01 | 奇跃公司 | 使用具有表面对准图案的软压印复制对液晶图案化 |
| IL308598A (en) | 2016-12-22 | 2024-01-01 | Magic Leap Inc | Systems and methods for using light from environmental light sources |
| US10885676B2 (en) | 2016-12-27 | 2021-01-05 | Samsung Electronics Co., Ltd. | Method and apparatus for modifying display settings in virtual/augmented reality |
| US10746999B2 (en) | 2016-12-28 | 2020-08-18 | Magic Leap, Inc. | Dual depth exit pupil expander |
| KR102553190B1 (ko) | 2016-12-29 | 2023-07-07 | 매직 립, 인코포레이티드 | 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어 |
| US10853775B1 (en) * | 2016-12-29 | 2020-12-01 | Wells Fargo Bank, N.A. | Computing systems for proximity-based fees |
| US10650552B2 (en) | 2016-12-29 | 2020-05-12 | Magic Leap, Inc. | Systems and methods for augmented reality |
| EP3343267B1 (en) | 2016-12-30 | 2024-01-24 | Magic Leap, Inc. | Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light |
| CN110431118B (zh) | 2017-01-05 | 2023-10-27 | 奇跃公司 | 通过等离子体蚀刻的高折射率玻璃的图案化 |
| CA3051239C (en) | 2017-01-23 | 2023-12-19 | Magic Leap, Inc. | Eyepiece for virtual, augmented, or mixed reality systems |
| EP3574350A4 (en) | 2017-01-27 | 2020-12-09 | Magic Leap, Inc. | ANTIREFLEX COATING FOR META SURFACES |
| CN110520763B (zh) | 2017-01-27 | 2021-10-26 | 奇跃公司 | 由具有不同取向的纳米梁的超表面形成的衍射光栅 |
| US10404804B2 (en) * | 2017-01-30 | 2019-09-03 | Global Tel*Link Corporation | System and method for personalized virtual reality experience in a controlled environment |
| US10824703B1 (en) * | 2017-02-01 | 2020-11-03 | United Services Automobile Association (Usaa) | Authentication based on motion and biometric data |
| US10140773B2 (en) * | 2017-02-01 | 2018-11-27 | Accenture Global Solutions Limited | Rendering virtual objects in 3D environments |
| US10416769B2 (en) * | 2017-02-14 | 2019-09-17 | Microsoft Technology Licensing, Llc | Physical haptic feedback system with spatial warping |
| US11347054B2 (en) | 2017-02-16 | 2022-05-31 | Magic Leap, Inc. | Systems and methods for augmented reality |
| US11141095B2 (en) | 2017-02-17 | 2021-10-12 | Oculogica Inc. | Method and system for detecting concussion |
| US20180239422A1 (en) * | 2017-02-17 | 2018-08-23 | International Business Machines Corporation | Tracking eye movements with a smart device |
| US10485420B2 (en) * | 2017-02-17 | 2019-11-26 | Analog Devices Global Unlimited Company | Eye gaze tracking |
| CN106980983A (zh) | 2017-02-23 | 2017-07-25 | 阿里巴巴集团控股有限公司 | 基于虚拟现实场景的业务认证方法及装置 |
| CN110537122B (zh) | 2017-02-23 | 2022-04-29 | 奇跃公司 | 基于偏振转换的可变焦虚拟图像设备 |
| CN106873158A (zh) * | 2017-02-27 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 虚拟现实头戴设备 |
| CN106932905A (zh) * | 2017-02-27 | 2017-07-07 | 阿里巴巴集团控股有限公司 | 虚拟现实头戴设备 |
| CN106873159A (zh) | 2017-02-27 | 2017-06-20 | 阿里巴巴集团控股有限公司 | 虚拟现实头戴设备 |
| CN106932904A (zh) | 2017-02-27 | 2017-07-07 | 阿里巴巴集团控股有限公司 | 虚拟现实头戴设备 |
| US10866633B2 (en) | 2017-02-28 | 2020-12-15 | Microsoft Technology Licensing, Llc | Signing with your eyes |
| US11214384B2 (en) | 2017-03-06 | 2022-01-04 | Textron Innovations, Inc. | Hexagonal floor and ceiling system for a vehicle |
| US10628994B2 (en) * | 2017-03-07 | 2020-04-21 | Google Llc | Reducing visually induced motion sickness in head mounted display systems |
| US10568573B2 (en) * | 2017-03-07 | 2020-02-25 | Sony Interactive Entertainment LLC | Mitigation of head-mounted-display impact via biometric sensors and language processing |
| JP7057893B2 (ja) * | 2017-03-07 | 2022-04-21 | マツダ株式会社 | 視認状態判定装置 |
| US10169973B2 (en) | 2017-03-08 | 2019-01-01 | International Business Machines Corporation | Discontinuing display of virtual content and providing alerts based on hazardous physical obstructions |
| EP3376367A1 (de) * | 2017-03-13 | 2018-09-19 | Siemens Aktiengesellschaft | Quittieren eines überführens eines gutes |
| US10852542B2 (en) | 2017-03-14 | 2020-12-01 | Magic Leap, Inc. | Waveguides with light absorbing films and processes for forming the same |
| CN107122642A (zh) * | 2017-03-15 | 2017-09-01 | 阿里巴巴集团控股有限公司 | 基于虚拟现实环境的身份认证方法及装置 |
| US10657838B2 (en) | 2017-03-15 | 2020-05-19 | International Business Machines Corporation | System and method to teach and evaluate image grading performance using prior learned expert knowledge base |
| EP3596659A4 (en) | 2017-03-17 | 2021-01-27 | Magic Leap, Inc. | SPACE LAYOUT APPRAISAL METHODS AND TECHNIQUES |
| KR20230159619A (ko) | 2017-03-21 | 2023-11-21 | 매직 립, 인코포레이티드 | 분할된 동공들을 위한 공간 광 변조기 조명을 갖는 디스플레이 시스템 |
| CA3056900A1 (en) | 2017-03-21 | 2018-09-27 | Magic Leap, Inc. | Methods, devices, and systems for illuminating spatial light modulators |
| WO2018175343A1 (en) | 2017-03-21 | 2018-09-27 | Magic Leap, Inc. | Eye-imaging apparatus using diffractive optical elements |
| AU2018239513B2 (en) | 2017-03-21 | 2023-06-15 | Magic Leap, Inc. | Low-profile beam splitter |
| CN110462487B (zh) | 2017-03-21 | 2022-07-01 | 奇跃公司 | 用于组合视场的具有不同衍射光栅的堆叠波导 |
| WO2018175344A1 (en) | 2017-03-21 | 2018-09-27 | Magic Leap, Inc. | Depth sensing techniques for virtual, augmented, and mixed reality systems |
| CN110679147B (zh) | 2017-03-22 | 2022-03-08 | 奇跃公司 | 用于显示系统的基于深度的凹式渲染 |
| KR102528488B1 (ko) | 2017-03-24 | 2023-05-02 | 매직 립, 인코포레이티드 | 홍채 코드들의 축적 및 신뢰도 할당 |
| US10410349B2 (en) * | 2017-03-27 | 2019-09-10 | Microsoft Technology Licensing, Llc | Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power |
| WO2018183390A1 (en) | 2017-03-28 | 2018-10-04 | Magic Leap, Inc. | Augmeted reality system with spatialized audio tied to user manipulated virtual object |
| CN107391983B (zh) | 2017-03-31 | 2020-10-16 | 创新先进技术有限公司 | 一种基于物联网的信息处理方法及装置 |
| CN106990843B (zh) * | 2017-04-01 | 2021-01-08 | 维沃移动通信有限公司 | 一种眼睛跟踪系统的参数校准方法及电子设备 |
| US10607096B2 (en) | 2017-04-04 | 2020-03-31 | Princeton Identity, Inc. | Z-dimension user feedback biometric system |
| US10609025B2 (en) * | 2017-04-06 | 2020-03-31 | Htc Corporation | System and method for providing simulated environment |
| EP3610359B1 (en) | 2017-04-14 | 2023-09-20 | Magic Leap, Inc. | Multimodal eye tracking |
| US10242486B2 (en) | 2017-04-17 | 2019-03-26 | Intel Corporation | Augmented reality and virtual reality feedback enhancement system, apparatus and method |
| CN107097227B (zh) * | 2017-04-17 | 2019-12-06 | 北京航空航天大学 | 一种人机协作机器人系统 |
| US10401954B2 (en) * | 2017-04-17 | 2019-09-03 | Intel Corporation | Sensory enhanced augmented reality and virtual reality device |
| KR102377377B1 (ko) | 2017-04-18 | 2022-03-21 | 매직 립, 인코포레이티드 | 반사 유동성 재료들에 의해 형성된 반사 층들을 갖는 도파관들 |
| EP4220258A1 (en) | 2017-04-19 | 2023-08-02 | Magic Leap, Inc. | Multimodal task execution and text editing for a wearable system |
| CN108733211B (zh) * | 2017-04-21 | 2020-05-22 | 宏达国际电子股份有限公司 | 追踪系统、其操作方法、控制器、及电脑可读取记录媒体 |
| WO2018200449A1 (en) * | 2017-04-24 | 2018-11-01 | Siemens Aktiengesellschaft | Unlocking passwords in augmented reality based on look |
| US10620779B2 (en) * | 2017-04-24 | 2020-04-14 | Microsoft Technology Licensing, Llc | Navigating a holographic image |
| AU2018258679B2 (en) | 2017-04-27 | 2022-03-31 | Magic Leap, Inc. | Light-emitting user input device |
| US10397594B2 (en) | 2017-04-28 | 2019-08-27 | Hewlett Packard Enterprise Development Lp | Real-time processing of IoT data |
| KR20180123354A (ko) * | 2017-05-08 | 2018-11-16 | 엘지전자 주식회사 | 차량용 사용자 인터페이스 장치 및 차량 |
| DK180048B1 (en) | 2017-05-11 | 2020-02-04 | Apple Inc. | MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION |
| DK201770428A1 (en) | 2017-05-12 | 2019-02-18 | Apple Inc. | LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT |
| DK179496B1 (en) | 2017-05-12 | 2019-01-15 | Apple Inc. | USER-SPECIFIC Acoustic Models |
| DK201770411A1 (en) | 2017-05-15 | 2018-12-20 | Apple Inc. | MULTI-MODAL INTERFACES |
| US20180336275A1 (en) | 2017-05-16 | 2018-11-22 | Apple Inc. | Intelligent automated assistant for media exploration |
| TWI669657B (zh) * | 2017-05-17 | 2019-08-21 | 宏碁股份有限公司 | 具自適性控制之主機、頭戴式顯示裝置、攜帶式裝置、虛擬實境系統及其控制方法 |
| WO2018212815A1 (en) | 2017-05-17 | 2018-11-22 | Google Llc | Automatic image sharing with designated users over a communication network |
| CA3061332A1 (en) | 2017-05-19 | 2018-11-22 | Magic Leap, Inc. | Keyboards for virtual, augmented, and mixed reality display systems |
| CN117615380A (zh) | 2017-05-22 | 2024-02-27 | 奇跃公司 | 与同伴设备配对 |
| GB2563004A (en) * | 2017-05-23 | 2018-12-05 | Nokia Technologies Oy | Methods and apparatuses for handling visual virtual reality content |
| US10339334B2 (en) * | 2017-05-25 | 2019-07-02 | Ca, Inc. | Augmented reality captcha |
| CN107224292B (zh) * | 2017-05-27 | 2019-12-31 | 西南交通大学 | 一种调度员的注意广度的测试方法和系统 |
| IL270856B2 (en) | 2017-05-30 | 2023-12-01 | Magic Leap Inc | Power supply assembly with fan assembly for an electronic device |
| CN117762256A (zh) | 2017-05-31 | 2024-03-26 | 奇跃公司 | 眼睛跟踪校准技术 |
| DE102017111933A1 (de) * | 2017-05-31 | 2018-12-06 | Krohne Messtechnik Gmbh | Verfahren zur sicheren Kommunikation mit einem Feldmessgerät der Prozesstechnik und entsprechendes Feldmessgerät |
| US10242476B2 (en) * | 2017-05-31 | 2019-03-26 | Verizon Patent and Licensong Inc. | Methods and systems for dynamically representing, within a virtual reality data stream being presented to a user, a proxy object that corresponds to an object in the real-world environment of the user |
| WO2018222897A1 (en) * | 2017-06-01 | 2018-12-06 | University Of Washington | Smartphone-based digital pupillometer |
| DK180859B1 (en) | 2017-06-04 | 2022-05-23 | Apple Inc | USER INTERFACE CAMERA EFFECTS |
| US10528794B2 (en) * | 2017-06-05 | 2020-01-07 | Motorola Solutions, Inc. | System and method for tailoring an electronic digital assistant inquiry response as a function of previously detected user ingestion of related video information |
| US10657401B2 (en) | 2017-06-06 | 2020-05-19 | Microsoft Technology Licensing, Llc | Biometric object spoof detection based on image intensity variations |
| EP3413226A1 (en) * | 2017-06-07 | 2018-12-12 | Gemalto Sa | Method for authenticating a user and corresponding device and system |
| US10853918B2 (en) * | 2017-06-09 | 2020-12-01 | Sony Interactive Entertainment Inc. | Foveal adaptation of temporal anti-aliasing |
| IL300301B1 (en) | 2017-06-12 | 2024-04-01 | Magic Leap Inc | Augmented reality display with multi-component adaptive lenses to change plane depths |
| US10810773B2 (en) * | 2017-06-14 | 2020-10-20 | Dell Products, L.P. | Headset display control based upon a user's pupil state |
| CN107633196A (zh) * | 2017-06-14 | 2018-01-26 | 电子科技大学 | 一种基于卷积神经网络的眼球移动预测方案 |
| US10620710B2 (en) * | 2017-06-15 | 2020-04-14 | Microsoft Technology Licensing, Llc | Displacement oriented interaction in computer-mediated reality |
| US10482229B2 (en) * | 2017-06-30 | 2019-11-19 | Wipro Limited | Method of providing content access permission to a user and a device thereof |
| US11122258B2 (en) | 2017-06-30 | 2021-09-14 | Pcms Holdings, Inc. | Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements |
| US20190012552A1 (en) * | 2017-07-06 | 2019-01-10 | Yves Lambert | Hidden driver monitoring |
| US10573061B2 (en) | 2017-07-07 | 2020-02-25 | Nvidia Corporation | Saccadic redirection for virtual reality locomotion |
| US10573071B2 (en) | 2017-07-07 | 2020-02-25 | Nvidia Corporation | Path planning for virtual reality locomotion |
| US10319151B2 (en) * | 2017-07-07 | 2019-06-11 | Motorola Solutions, Inc. | Device and method for hierarchical object recognition |
| US20190012835A1 (en) * | 2017-07-07 | 2019-01-10 | Microsoft Technology Licensing, Llc | Driving an Image Capture System to Serve Plural Image-Consuming Processes |
| US20190012841A1 (en) | 2017-07-09 | 2019-01-10 | Eyedaptic, Inc. | Artificial intelligence enhanced system for adaptive control driven ar/vr visual aids |
| US10908680B1 (en) | 2017-07-12 | 2021-02-02 | Magic Leap, Inc. | Pose estimation using electromagnetic tracking |
| US10691945B2 (en) | 2017-07-14 | 2020-06-23 | International Business Machines Corporation | Altering virtual content based on the presence of hazardous physical obstructions |
| US11073904B2 (en) * | 2017-07-26 | 2021-07-27 | Microsoft Technology Licensing, Llc | Intelligent user interface element selection using eye-gaze |
| CA3068448A1 (en) | 2017-07-26 | 2019-01-31 | Magic Leap, Inc. | Training a neural network with representations of user interface devices |
| US11237691B2 (en) | 2017-07-26 | 2022-02-01 | Microsoft Technology Licensing, Llc | Intelligent response using eye gaze |
| US10578870B2 (en) | 2017-07-26 | 2020-03-03 | Magic Leap, Inc. | Exit pupil expander |
| WO2019023032A1 (en) | 2017-07-26 | 2019-01-31 | Princeton Identity, Inc. | METHODS AND SYSTEMS FOR BIOMETRIC SECURITY |
| US11355023B2 (en) * | 2017-07-27 | 2022-06-07 | Kennesaw State University Research And Service Foundation, Inc. | System and method for intervention with attention deficient disorders |
| CN107360424B (zh) * | 2017-07-28 | 2019-10-25 | 深圳岚锋创视网络科技有限公司 | 一种基于视频编码器的码率控制方法、装置及视频服务器 |
| AU2018307786A1 (en) | 2017-07-28 | 2020-01-23 | Magic Leap, Inc. | Fan assembly for displaying an image |
| US10748340B1 (en) * | 2017-07-31 | 2020-08-18 | Apple Inc. | Electronic device with coordinated camera and display operation |
| KR102026526B1 (ko) * | 2017-08-03 | 2019-09-30 | 주식회사 에스지엠 | 생체정보를 사용하는 인증 시스템 및 이를 이용한 스크린 골프 시스템 |
| US11587419B2 (en) * | 2017-08-04 | 2023-02-21 | Toyota Research Institute, Inc. | Methods and systems providing an intelligent camera system |
| TWI642030B (zh) * | 2017-08-09 | 2018-11-21 | 宏碁股份有限公司 | 視覺效用分析方法及相關眼球追蹤裝置與系統 |
| EP3443883B1 (de) * | 2017-08-14 | 2020-07-29 | Carl Zeiss Vision International GmbH | Vorrichtungen und verfahren zur durchführung augenbezogener messungen |
| US10812689B2 (en) * | 2017-08-16 | 2020-10-20 | Veritaz Inc. | Personal display headset for mitigating user access to disallowed resources |
| US20190057694A1 (en) * | 2017-08-17 | 2019-02-21 | Dolby International Ab | Speech/Dialog Enhancement Controlled by Pupillometry |
| CN107610235B (zh) * | 2017-08-21 | 2020-11-10 | 北京精密机电控制设备研究所 | 一种基于深度学习的移动平台导航方法和装置 |
| CN109426710A (zh) * | 2017-08-22 | 2019-03-05 | 上海荆虹电子科技有限公司 | 一种电子虹膜印章实现方法、系统及电子签章设备 |
| CN111629653B (zh) | 2017-08-23 | 2024-06-21 | 神经股份有限公司 | 具有高速眼睛跟踪特征的大脑-计算机接口 |
| KR102577681B1 (ko) * | 2017-08-23 | 2023-09-14 | 한국전자통신연구원 | 자기 수치화 서비스 장치 |
| US10313315B2 (en) * | 2017-08-25 | 2019-06-04 | Bank Of America Corporation | Ensuring information security in data transfers by utilizing proximity keys |
| US11145124B2 (en) * | 2017-08-30 | 2021-10-12 | Ronald H. Winston | System and method for rendering virtual reality interactions |
| WO2019045750A1 (en) | 2017-09-01 | 2019-03-07 | Magic Leap, Inc. | DETAILED EYE SHAPE MODEL FOR ROBUST BIOMETRIC APPLICATIONS |
| US10521661B2 (en) | 2017-09-01 | 2019-12-31 | Magic Leap, Inc. | Detailed eye shape model for robust biometric applications |
| JP6953247B2 (ja) * | 2017-09-08 | 2021-10-27 | ラピスセミコンダクタ株式会社 | ゴーグル型表示装置、視線検出方法及び視線検出システム |
| EP3668403B1 (en) | 2017-09-13 | 2021-12-29 | Oculogica Inc. | Eye tracking system |
| US11723579B2 (en) | 2017-09-19 | 2023-08-15 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement |
| EP3685313A4 (en) | 2017-09-20 | 2021-06-09 | Magic Leap, Inc. | PERSONALIZED NEURAL EYE TRACKING NETWORK |
| IL273397B1 (en) | 2017-09-21 | 2024-05-01 | Magic Leap Inc | An augmented reality display with a waveguide configured to capture images of an eye and/or environment |
| KR102481884B1 (ko) * | 2017-09-22 | 2022-12-28 | 삼성전자주식회사 | 가상 영상을 표시하는 방법 및 장치 |
| WO2019057496A1 (de) * | 2017-09-25 | 2019-03-28 | Continental Automotive Gmbh | Head-up-display |
| CA3075804A1 (en) | 2017-09-27 | 2019-04-04 | Magic Leap, Inc. | Near eye 3d display with separate phase and amplitude modulators |
| US10929993B2 (en) * | 2017-09-29 | 2021-02-23 | L'oreal | Automated imaging system for evaluating the curl of a keratinous substrate |
| EP3466338A1 (en) * | 2017-10-03 | 2019-04-10 | Tata Consultancy Services Limited | Cognitive load estimation based on pupil dilation |
| AU2018346814B2 (en) * | 2017-10-06 | 2024-05-30 | Alcon Inc. | Tracking movement of an eye within a tracking range |
| US11733516B2 (en) | 2017-10-11 | 2023-08-22 | Magic Leap, Inc. | Augmented reality display comprising eyepiece having a transparent emissive display |
| US10712899B2 (en) * | 2017-10-17 | 2020-07-14 | Microsoft Technology Licensing, Llc | Human-machine interface tethered to a user position in a three-dimensional VR or AR environment |
| CN111566723A (zh) | 2017-10-26 | 2020-08-21 | 奇跃公司 | 用于增强现实显示器的宽带自适应透镜组件 |
| CA3078774A1 (en) | 2017-10-26 | 2019-05-02 | Magic Leap, Inc. | Augmented reality display having liquid crystal variable focus element and roll-to-roll method and apparatus for forming the same |
| CA3078530A1 (en) | 2017-10-26 | 2019-05-02 | Magic Leap, Inc. | Gradient normalization systems and methods for adaptive loss balancing in deep multitask networks |
| WO2019084325A1 (en) | 2017-10-27 | 2019-05-02 | Magic Leap, Inc. | VIRTUAL RETICLE FOR INCREASED REALITY SYSTEMS |
| US10492725B2 (en) * | 2017-10-29 | 2019-12-03 | Orlando Efrain Abreu Oramas | Method and system of facilitating monitoring of an individual based on at least one wearable device |
| US10984508B2 (en) | 2017-10-31 | 2021-04-20 | Eyedaptic, Inc. | Demonstration devices and methods for enhancement for low vision users and systems improvements |
| US20190129174A1 (en) * | 2017-10-31 | 2019-05-02 | Google Llc | Multi-perspective eye-tracking for vr/ar systems |
| CN108038884B (zh) * | 2017-11-01 | 2020-12-11 | 北京七鑫易维信息技术有限公司 | 校准方法、装置、存储介质和处理器 |
| US11410564B2 (en) | 2017-11-07 | 2022-08-09 | The Board Of Trustees Of The University Of Illinois | System and method for creating immersive interactive application |
| US11175736B2 (en) | 2017-11-10 | 2021-11-16 | South Dakota Board Of Regents | Apparatus, systems and methods for using pupillometry parameters for assisted communication |
| KR20200098524A (ko) | 2017-11-13 | 2020-08-20 | 뉴레이블 인크. | 고속, 정확도 및 직관적 사용자 상호작용을 위한 적응을 갖춘 두뇌-컴퓨터 인터페이스 |
| AU2018368279A1 (en) | 2017-11-14 | 2020-05-14 | Magic Leap, Inc. | Meta-learning for multi-task learning for neural networks |
| CN109799899B (zh) * | 2017-11-17 | 2021-10-22 | 腾讯科技（深圳）有限公司 | 交互控制方法、装置、存储介质和计算机设备 |
| US10395624B2 (en) | 2017-11-21 | 2019-08-27 | Nvidia Corporation | Adjusting an angular sampling rate during rendering utilizing gaze information |
| US10586360B2 (en) | 2017-11-21 | 2020-03-10 | International Business Machines Corporation | Changing view order of augmented reality objects based on user gaze |
| US11282133B2 (en) | 2017-11-21 | 2022-03-22 | International Business Machines Corporation | Augmented reality product comparison |
| US20190156447A1 (en) * | 2017-11-21 | 2019-05-23 | Lorenzo Curci | Flight Logging and Resource Management System |
| CN107968937B (zh) * | 2017-11-30 | 2018-08-17 | 泰州腾翔信息科技有限公司 | 一种缓解眼球疲劳的系统 |
| US10656706B2 (en) * | 2017-12-04 | 2020-05-19 | International Business Machines Corporation | Modifying a computer-based interaction based on eye gaze |
| US11717686B2 (en) | 2017-12-04 | 2023-08-08 | Neuroenhancement Lab, LLC | Method and apparatus for neuroenhancement to facilitate learning and performance |
| CN109871674A (zh) * | 2017-12-04 | 2019-06-11 | 上海聚虹光电科技有限公司 | Vr或ar设备分区域操作权限管理方法 |
| CN109870873B (zh) * | 2017-12-05 | 2022-04-22 | 青岛海信激光显示股份有限公司 | 一种波长转换装置、光源装置及投影系统 |
| KR20190067433A (ko) * | 2017-12-07 | 2019-06-17 | 주식회사 비주얼캠프 | 텍스트-리딩 기반의 리워드형 광고 서비스 제공 방법 및 이를 수행하기 위한 사용자 단말 |
| CN116990888A (zh) | 2017-12-10 | 2023-11-03 | 奇跃公司 | 光波导上的抗反射涂层 |
| KR102045743B1 (ko) * | 2017-12-11 | 2019-11-18 | 상명대학교산학협력단 | 착용형 디스플레이 장비에서의 눈 영상 기반 생체 인증 장치 및 방법 |
| AU2018383595B2 (en) | 2017-12-11 | 2024-06-13 | Magic Leap, Inc. | Waveguide illuminator |
| US11333902B2 (en) * | 2017-12-12 | 2022-05-17 | RaayonNova LLC | Smart contact lens with embedded display and image focusing system |
| CN107992896A (zh) * | 2017-12-13 | 2018-05-04 | 东南大学 | 一种基于眼动追踪技术的科学概念评测方法 |
| EP3724855A4 (en) | 2017-12-14 | 2022-01-12 | Magic Leap, Inc. | CONTEXT-BASED REPRESENTATION OF VIRTUAL AVATARS |
| EP3723580B1 (en) | 2017-12-15 | 2024-01-24 | Magic Leap, Inc. | Eyepieces for augmented reality display system |
| CN108108019B (zh) * | 2017-12-15 | 2021-03-19 | 歌尔光学科技有限公司 | 虚拟现实设备及其显示方法 |
| IL274976B2 (en) | 2017-12-15 | 2024-05-01 | Magic Leap Inc | Improved positioning for a display device |
| US11187923B2 (en) | 2017-12-20 | 2021-11-30 | Magic Leap, Inc. | Insert for augmented reality viewing device |
| EP3701316A4 (en) | 2017-12-20 | 2021-08-04 | Vuzix Corporation | DISPLAY SYSTEM FOR EXTENDED REALITY |
| EP3731749A4 (en) | 2017-12-31 | 2022-07-27 | Neuroenhancement Lab, LLC | NEURO-ACTIVATION SYSTEM AND METHOD FOR ENHANCING EMOTIONAL RESPONSE |
| KR20200103066A (ko) | 2018-01-04 | 2020-09-01 | 매직 립, 인코포레이티드 | 무기 재료들을 포함하는 중합체 구조들에 기반한 광학 엘리먼트들 |
| CN110022454B (zh) * | 2018-01-10 | 2021-02-23 | 华为技术有限公司 | 一种在视频会议中识别身份的方法及相关设备 |
| US10360419B1 (en) | 2018-01-15 | 2019-07-23 | Universal City Studios Llc | Interactive systems and methods with tracking devices |
| EP3740847B1 (en) | 2018-01-17 | 2024-03-13 | Magic Leap, Inc. | Display systems and methods for determining registration between a display and a user's eyes |
| KR20200110367A (ko) | 2018-01-17 | 2020-09-23 | 매직 립, 인코포레이티드 | 디스플레이 시스템들에서의 눈 회전 중심 결정, 깊이 평면 선택, 및 렌더 카메라 포지셔닝 |
| KR20200108888A (ko) * | 2018-01-18 | 2020-09-21 | 뉴레이블 인크. | 고속, 정확, 및 직관적 사용자 상호작용들을 위한 적응들을 갖는 뇌-컴퓨터 인터페이스 |
| US10706300B2 (en) * | 2018-01-23 | 2020-07-07 | Toyota Research Institute, Inc. | Vehicle systems and methods for determining a target based on a virtual eye position and a pointing direction |
| US10853674B2 (en) | 2018-01-23 | 2020-12-01 | Toyota Research Institute, Inc. | Vehicle systems and methods for determining a gaze target based on a virtual eye position |
| US10817068B2 (en) * | 2018-01-23 | 2020-10-27 | Toyota Research Institute, Inc. | Vehicle systems and methods for determining target based on selecting a virtual eye position or a pointing direction |
| US10540941B2 (en) | 2018-01-30 | 2020-01-21 | Magic Leap, Inc. | Eclipse cursor for mixed reality displays |
| US11567627B2 (en) * | 2018-01-30 | 2023-01-31 | Magic Leap, Inc. | Eclipse cursor for virtual content in mixed reality displays |
| CN110120229A (zh) * | 2018-02-05 | 2019-08-13 | 北京三星通信技术研究有限公司 | 虚拟现实vr音频信号的处理方法及相应设备 |
| US11533272B1 (en) * | 2018-02-06 | 2022-12-20 | Amesite Inc. | Computer based education methods and apparatus |
| CN108337430A (zh) * | 2018-02-07 | 2018-07-27 | 北京联合大学 | 360度无死角智能眼镜 |
| US11194161B2 (en) | 2018-02-09 | 2021-12-07 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| US11556741B2 (en) | 2018-02-09 | 2023-01-17 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters using a neural network |
| WO2019154510A1 (en) | 2018-02-09 | 2019-08-15 | Pupil Labs Gmbh | Devices, systems and methods for predicting gaze-related parameters |
| CN108764007A (zh) * | 2018-02-10 | 2018-11-06 | 集智学园（北京）科技有限公司 | 基于ocr与文本分析技术对注意力的测量方法 |
| US11048785B2 (en) * | 2018-02-14 | 2021-06-29 | Samsung Electronics Co., Ltd | Method and apparatus of performing authentication |
| US10726765B2 (en) | 2018-02-15 | 2020-07-28 | Valve Corporation | Using tracking of display device to control image display |
| US20190253700A1 (en) * | 2018-02-15 | 2019-08-15 | Tobii Ab | Systems and methods for calibrating image sensors in wearable apparatuses |
| US10735649B2 (en) | 2018-02-22 | 2020-08-04 | Magic Leap, Inc. | Virtual and augmented reality systems and methods using display system control information embedded in image data |
| KR102495796B1 (ko) * | 2018-02-23 | 2023-02-06 | 삼성전자주식회사 | 시계(field of view)가 다른 복수의 카메라를 이용하여 생체 인증을 수행하는 방법 및 이를 위한 전자 장치 |
| CN108537111A (zh) | 2018-02-26 | 2018-09-14 | 阿里巴巴集团控股有限公司 | 一种活体检测的方法、装置及设备 |
| AU2019227506A1 (en) | 2018-02-27 | 2020-08-06 | Magic Leap, Inc. | Matching meshes for virtual avatars |
| JP7355748B2 (ja) | 2018-02-28 | 2023-10-03 | マジック リープ， インコーポレイテッド | 眼球位置合わせを使用した頭部走査整合 |
| JP7303818B2 (ja) | 2018-03-05 | 2023-07-05 | マジック リープ， インコーポレイテッド | 低遅延瞳孔トラッカーを伴うディスプレイシステム |
| CN108491072B (zh) * | 2018-03-05 | 2020-01-21 | 京东方科技集团股份有限公司 | 一种虚拟现实交互方法及装置 |
| WO2019172503A1 (ko) * | 2018-03-05 | 2019-09-12 | 고려대학교 산학협력단 | 안구추적을 통한 시야장애 평가 장치, 이를 이용한 시야장애 평가 방법 및 컴퓨터 판독 가능한 저장 매체 |
| US11563885B2 (en) | 2018-03-06 | 2023-01-24 | Eyedaptic, Inc. | Adaptive system for autonomous machine learning and control in wearable augmented reality and virtual reality visual aids |
| EP3762770A4 (en) | 2018-03-07 | 2022-03-23 | Magic Leap, Inc. | ADAPTIVE LENS ARRANGEMENTS WITH POLARIZATION-SELECTIVE LENS STACKS FOR AUGMENTED REALITY DISPLAYS |
| KR102122600B1 (ko) | 2018-03-07 | 2020-06-12 | 매직 립, 인코포레이티드 | 주변 디바이스들의 시각적 추적 |
| CN111886533A (zh) | 2018-03-12 | 2020-11-03 | 奇跃公司 | 基于倾斜阵列的显示器 |
| US10528133B2 (en) * | 2018-03-13 | 2020-01-07 | Facebook Technologies, Llc | Bracelet in a distributed artificial reality system |
| US10878620B2 (en) | 2018-03-14 | 2020-12-29 | Magic Leap, Inc. | Display systems and methods for clipping content to increase viewing comfort |
| US10747312B2 (en) * | 2018-03-14 | 2020-08-18 | Apple Inc. | Image enhancement devices with gaze tracking |
| WO2019177870A1 (en) | 2018-03-15 | 2019-09-19 | Magic Leap, Inc. | Animating virtual avatar facial movements |
| WO2019178567A1 (en) * | 2018-03-15 | 2019-09-19 | Magic Leap, Inc. | Image correction due to deformation of components of a viewing device |
| EP3766004A4 (en) | 2018-03-16 | 2021-12-15 | Magic Leap, Inc. | FACIAL EXPRESSIONS OBTAINED FROM EYE-TRACKING CAMERAS |
| EP3765943A4 (en) | 2018-03-16 | 2021-12-22 | Magic Leap, Inc. | DEPTH-BASED FOVEA REPRESENTATION FOR DISPLAY SYSTEMS |
| WO2019183399A1 (en) | 2018-03-21 | 2019-09-26 | Magic Leap, Inc. | Augmented reality system and method for spectroscopic analysis |
| JP6583460B2 (ja) * | 2018-03-23 | 2019-10-02 | 株式会社セガゲームス | 認証システム |
| CN108416322B (zh) * | 2018-03-27 | 2019-05-17 | 吉林大学 | 一种虚拟装配坐式操作中目视动作识别方法 |
| JP7118697B2 (ja) | 2018-03-30 | 2022-08-16 | 株式会社Preferred Networks | 注視点推定処理装置、注視点推定モデル生成装置、注視点推定処理システム、注視点推定処理方法、プログラム、および注視点推定モデル |
| US11886000B2 (en) | 2018-04-02 | 2024-01-30 | Magic Leap, Inc. | Waveguides having integrated spacers, waveguides having edge absorbers, and methods for making the same |
| CN112041716A (zh) | 2018-04-02 | 2020-12-04 | 奇跃公司 | 混合聚合物波导和用于制造混合聚合物波导的方法 |
| CN112119334A (zh) | 2018-04-02 | 2020-12-22 | 奇跃公司 | 具有集成光学元件的波导及其制造方法 |
| US11276219B2 (en) | 2018-04-16 | 2022-03-15 | Magic Leap, Inc. | Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters |
| CN108459720B (zh) * | 2018-04-19 | 2023-11-21 | 京东方科技集团股份有限公司 | 视控装置及用视控装置控制终端的方法 |
| US11067805B2 (en) | 2018-04-19 | 2021-07-20 | Magic Leap, Inc. | Systems and methods for operating a display system based on user perceptibility |
| US11364361B2 (en) | 2018-04-20 | 2022-06-21 | Neuroenhancement Lab, LLC | System and method for inducing sleep by transplanting mental states |
| WO2019209431A1 (en) | 2018-04-23 | 2019-10-31 | Magic Leap, Inc. | Avatar facial expression representation in multidimensional space |
| US11257268B2 (en) | 2018-05-01 | 2022-02-22 | Magic Leap, Inc. | Avatar animation using Markov decision process policies |
| WO2019213220A1 (en) | 2018-05-03 | 2019-11-07 | Magic Leap, Inc. | Using 3d scans of a physical subject to determine positions and orientations of joints for a virtual character |
| US10890969B2 (en) | 2018-05-04 | 2021-01-12 | Google Llc | Invoking automated assistant function(s) based on detected gesture and gaze |
| KR20230173211A (ko) * | 2018-05-04 | 2023-12-26 | 구글 엘엘씨 | 감지된 입 움직임 및/또는 시선을 기반으로 자동화된 어시스턴트 적응 |
| KR102512446B1 (ko) | 2018-05-04 | 2023-03-22 | 구글 엘엘씨 | 자동화된 어시스턴트 기능(들)의 핫-워드 프리 적응 |
| KR102637122B1 (ko) * | 2018-05-07 | 2024-02-16 | 애플 인크. | 크리에이티브 카메라 |
| US10928918B2 (en) | 2018-05-07 | 2021-02-23 | Apple Inc. | Raise to speak |
| DK180078B1 (en) | 2018-05-07 | 2020-03-31 | Apple Inc. | USER INTERFACE FOR AVATAR CREATION |
| US11722764B2 (en) | 2018-05-07 | 2023-08-08 | Apple Inc. | Creative camera |
| JP7099036B2 (ja) * | 2018-05-07 | 2022-07-12 | オムロン株式会社 | データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム |
| US10375313B1 (en) | 2018-05-07 | 2019-08-06 | Apple Inc. | Creative camera |
| US20210217166A1 (en) * | 2018-05-11 | 2021-07-15 | Visionairy Health, Inc. | Automated screening of medical data |
| WO2019221325A1 (ko) * | 2018-05-14 | 2019-11-21 | 한국과학기술원 | 눈동자 반응을 이용한 연속 인증 시스템 |
| JP7328993B2 (ja) | 2018-05-17 | 2023-08-17 | マジック リープ， インコーポレイテッド | ニューラルネットワークの勾配型敵対的訓練 |
| US10942564B2 (en) * | 2018-05-17 | 2021-03-09 | Sony Interactive Entertainment Inc. | Dynamic graphics rendering based on predicted saccade landing point |
| US11262839B2 (en) | 2018-05-17 | 2022-03-01 | Sony Interactive Entertainment Inc. | Eye tracking with prediction and late update to GPU for fast foveated rendering in an HMD environment |
| WO2019226494A1 (en) | 2018-05-21 | 2019-11-28 | Magic Leap, Inc. | Generating textured polygon strip hair from strand-based hair for a virtual character |
| CN108763394B (zh) * | 2018-05-21 | 2021-11-23 | 浙江工业大学 | 面向协同交互的多用户眼动跟踪数据可视化方法和系统 |
| US11210835B2 (en) | 2018-05-22 | 2021-12-28 | Magic Leap, Inc. | Computer generated hair groom transfer tool |
| EP3797404A4 (en) | 2018-05-22 | 2022-02-16 | Magic Leap, Inc. | SKELETAL SYSTEMS TO ANIMATE VIRTUAL AVATARS |
| JP7341166B2 (ja) | 2018-05-22 | 2023-09-08 | マジック リープ， インコーポレイテッド | ウェアラブルシステムのためのトランスモード入力融合 |
| CN108416341B (zh) * | 2018-05-25 | 2023-11-21 | 重庆青腾致汇科技有限公司 | 一种新型生物识别系统 |
| CN108854064B (zh) * | 2018-05-25 | 2023-03-28 | 深圳市腾讯网络信息技术有限公司 | 交互控制方法、装置、计算机可读介质及电子设备 |
| WO2019226865A1 (en) | 2018-05-25 | 2019-11-28 | Magic Leap, Inc. | Compression of dynamic unstructured point clouds |
| WO2019232082A1 (en) | 2018-05-29 | 2019-12-05 | Eyedaptic, Inc. | Hybrid see through augmented reality systems and methods for low vision users |
| EP3803488A4 (en) | 2018-05-30 | 2021-07-28 | Magic Leap, Inc. | COMPACT VARIABLE FOCUS CONFIGURATIONS |
| WO2019231850A1 (en) | 2018-05-31 | 2019-12-05 | Magic Leap, Inc. | Radar head pose localization |
| US10509467B1 (en) * | 2018-06-01 | 2019-12-17 | Facebook Technologies, Llc | Determining fixation of a user's eyes from images of portions of the user's face enclosed by a head mounted display |
| DK180639B1 (en) | 2018-06-01 | 2021-11-04 | Apple Inc | DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT |
| US10360304B1 (en) * | 2018-06-04 | 2019-07-23 | Imageous, Inc. | Natural language processing interface-enabled building conditions control system |
| US11238143B2 (en) * | 2018-06-05 | 2022-02-01 | Google Llc | Method and system for authenticating a user on a wearable heads-up display |
| WO2019236495A1 (en) | 2018-06-05 | 2019-12-12 | Magic Leap, Inc. | Homography transformation matrices based temperature calibration of a viewing system |
| US11157159B2 (en) | 2018-06-07 | 2021-10-26 | Magic Leap, Inc. | Augmented reality scrollbar |
| JP7421505B2 (ja) | 2018-06-08 | 2024-01-24 | マジック リープ， インコーポレイテッド | 自動化された表面選択設置およびコンテンツ配向設置を用いた拡張現実ビューア |
| WO2019238230A1 (en) * | 2018-06-14 | 2019-12-19 | Brainlab Ag | Registration of an anatomical body part by detecting a finger pose |
| WO2019237175A1 (en) * | 2018-06-14 | 2019-12-19 | Integrity Advocate Inc. | Method and system for assessing participants |
| CN112602012A (zh) | 2018-06-15 | 2021-04-02 | 奇跃公司 | 具有带有预倾斜的液晶光学元件的宽视场偏振开关 |
| WO2019241573A1 (en) | 2018-06-15 | 2019-12-19 | Magic Leap, Inc. | Wide field-of-view polarization switches and methods of fabricating liquid crystal optical elements with pretilt |
| CN108962182A (zh) * | 2018-06-15 | 2018-12-07 | 广东康云多维视觉智能科技有限公司 | 基于眼球追踪的三维图像显示装置及其实现方法 |
| WO2019246129A2 (en) | 2018-06-18 | 2019-12-26 | Magic Leap, Inc. | Augmented reality display with frame modulation functionality |
| US11694435B2 (en) | 2018-06-18 | 2023-07-04 | Magic Leap, Inc. | Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device |
| WO2019246044A1 (en) | 2018-06-18 | 2019-12-26 | Magic Leap, Inc. | Head-mounted display systems with power saving functionality |
| CA3103877A1 (en) * | 2018-06-18 | 2019-12-26 | New Jersey Institute Of Technology | Method, system and apparatus for diagnostic assessment and screening of binocular dysfunctions |
| JP7214986B2 (ja) * | 2018-06-25 | 2023-01-31 | 日本電信電話株式会社 | 反射性判定装置、反射性判定方法、プログラム |
| US11151793B2 (en) | 2018-06-26 | 2021-10-19 | Magic Leap, Inc. | Waypoint creation in map detection |
| KR102501599B1 (ko) * | 2018-06-26 | 2023-02-17 | 애플 인크. | 뷰-기반 정지점 |
| WO2020010097A1 (en) | 2018-07-02 | 2020-01-09 | Magic Leap, Inc. | Pixel intensity modulation using modifying gain values |
| WO2020009800A1 (en) | 2018-07-02 | 2020-01-09 | Magic Leap, Inc. | Methods and systems for interpolation of disparate inputs |
| WO2020010226A1 (en) | 2018-07-03 | 2020-01-09 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| US11856479B2 (en) | 2018-07-03 | 2023-12-26 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality along a route with markers |
| US20210312470A1 (en) * | 2018-07-04 | 2021-10-07 | Solmaz Gumruk Musavirligi A.S. | Method using artificial neural networks to find a unique harmonized system code from given texts and syustem for implementing the same |
| KR20200004666A (ko) | 2018-07-04 | 2020-01-14 | 주식회사 링크트리 | 머신러닝과 블록체인을 이용한 생체정보 인증 시스템 |
| WO2020010271A1 (en) | 2018-07-05 | 2020-01-09 | Magic Leap, Inc. | Waveguide-based illumination for head mounted display system |
| EP3821404A1 (en) * | 2018-07-10 | 2021-05-19 | Carrier Corporation | Applying image analytics and machine learning to lock systems in hotels |
| WO2020018592A1 (en) | 2018-07-17 | 2020-01-23 | Methodical Mind, Llc. | Graphical user interface system |
| US10863812B2 (en) | 2018-07-18 | 2020-12-15 | L'oreal | Makeup compact with eye tracking for guidance of makeup application |
| US10795435B2 (en) | 2018-07-19 | 2020-10-06 | Samsung Electronics Co., Ltd. | System and method for hybrid eye tracker |
| WO2020018938A1 (en) | 2018-07-19 | 2020-01-23 | Magic Leap, Inc. | Content interaction driven by eye metrics |
| US10884492B2 (en) * | 2018-07-20 | 2021-01-05 | Avegant Corp. | Relative position based eye-tracking system |
| JP2021530790A (ja) | 2018-07-23 | 2021-11-11 | マジック リープ, インコーポレイテッドMagic Leap, Inc. | 頭部姿勢予測のための深層予測器再帰ニューラルネットワーク |
| WO2020023303A1 (en) | 2018-07-23 | 2020-01-30 | Magic Leap, Inc. | Coexistence interference avoidance between two different radios operating in the same band |
| USD924204S1 (en) | 2018-07-24 | 2021-07-06 | Magic Leap, Inc. | Totem controller having an illumination region |
| CN112655204A (zh) | 2018-07-24 | 2021-04-13 | 奇跃公司 | 用于确定左显示器和右显示器与用户眼睛之间的垂直对准的显示系统和方法 |
| EP4270016A3 (en) | 2018-07-24 | 2024-02-07 | Magic Leap, Inc. | Temperature dependent calibration of movement detection devices |
| WO2020023404A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Flicker mitigation when toggling eyepiece display illumination in augmented reality systems |
| WO2020023543A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Viewing device with dust seal integration |
| EP3827426A4 (en) | 2018-07-24 | 2022-07-27 | Magic Leap, Inc. | AD SYSTEMS AND PROCEDURES FOR DETERMINING A REGISTRATION BETWEEN AN AD AND A USER'S EYES |
| CN112703437A (zh) | 2018-07-24 | 2021-04-23 | 奇跃公司 | 具有减轻反弹引起的光损失的衍射光学元件以及相关的系统和方法 |
| USD918176S1 (en) | 2018-07-24 | 2021-05-04 | Magic Leap, Inc. | Totem controller having an illumination region |
| USD930614S1 (en) | 2018-07-24 | 2021-09-14 | Magic Leap, Inc. | Totem controller having an illumination region |
| JP7459050B2 (ja) | 2018-07-27 | 2024-04-01 | マジック リープ， インコーポレイテッド | 仮想キャラクタの姿勢空間変形のための姿勢空間次元低減 |
| US11112862B2 (en) | 2018-08-02 | 2021-09-07 | Magic Leap, Inc. | Viewing system with interpupillary distance compensation based on head motion |
| WO2020028191A1 (en) | 2018-08-03 | 2020-02-06 | Magic Leap, Inc. | Unfused pose-based drift correction of a fused pose of a totem in a user interaction system |
| WO2020028867A1 (en) | 2018-08-03 | 2020-02-06 | Magic Leap, Inc. | Depth plane selection for multi-depth plane display systems by user categorization |
| US11012659B2 (en) * | 2018-08-07 | 2021-05-18 | International Business Machines Corporation | Intelligent illumination and sound control in an internet of things (IoT) computing environment |
| CN112955073A (zh) | 2018-08-22 | 2021-06-11 | 奇跃公司 | 患者观察系统 |
| CN109165939A (zh) * | 2018-08-23 | 2019-01-08 | 唐剑虹 | 基于生物识别技术的区块链vr硬件钱包 |
| WO2020046815A1 (en) * | 2018-08-26 | 2020-03-05 | The Research Foundation For The State University Of New York | System and method for inter-individual discrimination based on oculomotor kinematics |
| DE102018214976A1 (de) * | 2018-09-04 | 2020-03-05 | Robert Bosch Gmbh | Verfahren zur Steuerung einer Multimedia-Einrichtung sowie Computerprogramm und Einrichtung dazu |
| GB2576910B (en) * | 2018-09-06 | 2021-10-20 | Sony Interactive Entertainment Inc | User profile generating system and method |
| CN109145566A (zh) | 2018-09-08 | 2019-01-04 | 太若科技(北京)有限公司 | 基于注视点信息解锁ar眼镜的方法、装置及ar眼镜 |
| DK201870623A1 (en) | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
| CN113382683A (zh) | 2018-09-14 | 2021-09-10 | 纽罗因恒思蒙特实验有限责任公司 | 改善睡眠的系统和方法 |
| CN112639687B (zh) * | 2018-09-17 | 2024-05-24 | 元平台技术有限公司 | 使用反向偏置发光二极管器件的眼睛跟踪 |
| USD955396S1 (en) | 2018-09-18 | 2022-06-21 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| USD934872S1 (en) | 2018-09-18 | 2021-11-02 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| USD950567S1 (en) | 2018-09-18 | 2022-05-03 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| USD934873S1 (en) | 2018-09-18 | 2021-11-02 | Magic Leap, Inc. | Mobile computing support system having an illumination region |
| US20200089855A1 (en) * | 2018-09-19 | 2020-03-19 | XRSpace CO., LTD. | Method of Password Authentication by Eye Tracking in Virtual Reality System |
| US10664050B2 (en) | 2018-09-21 | 2020-05-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
| US11726561B2 (en) | 2018-09-24 | 2023-08-15 | Eyedaptic, Inc. | Enhanced autonomous hands-free control in electronic visual aids |
| US10674072B1 (en) | 2019-05-06 | 2020-06-02 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11770601B2 (en) | 2019-05-06 | 2023-09-26 | Apple Inc. | User interfaces for capturing and managing visual media |
| US11733523B2 (en) | 2018-09-26 | 2023-08-22 | Magic Leap, Inc. | Diffractive optical elements with optical power |
| US11128792B2 (en) | 2018-09-28 | 2021-09-21 | Apple Inc. | Capturing and displaying images with multiple focal planes |
| US11119573B2 (en) * | 2018-09-28 | 2021-09-14 | Apple Inc. | Pupil modulation as a cognitive control signal |
| US11321857B2 (en) | 2018-09-28 | 2022-05-03 | Apple Inc. | Displaying and editing images with depth information |
| US11462215B2 (en) | 2018-09-28 | 2022-10-04 | Apple Inc. | Multi-modal inputs for voice commands |
| US11055388B2 (en) * | 2018-10-08 | 2021-07-06 | Advanced New Technologies Co., Ltd. | Passive affective and knowledge-based authentication through eye movement tracking |
| CN111083299A (zh) * | 2018-10-18 | 2020-04-28 | 富士施乐株式会社 | 信息处理装置及存储介质 |
| AU2019362092A1 (en) * | 2018-10-19 | 2021-05-27 | Emory University | Systems and methods for automated passive assessment of visuospatial memory and/or salience |
| CN109040604B (zh) * | 2018-10-23 | 2020-09-15 | Oppo广东移动通信有限公司 | 拍摄图像的处理方法、装置、存储介质及移动终端 |
| JP7455121B2 (ja) | 2018-10-26 | 2024-03-25 | マジック リープ， インコーポレイテッド | 電磁追跡のための周囲電磁歪み補正 |
| CN109376666B (zh) | 2018-10-29 | 2022-01-25 | 百度在线网络技术（北京）有限公司 | 一种商品售卖方法、装置、售卖机及存储介质 |
| CN111127537A (zh) * | 2018-10-29 | 2020-05-08 | 托比股份公司 | 用于检测头戴式装置中的阴影的方法和装置 |
| SE542887C2 (en) * | 2018-10-31 | 2020-08-11 | Tobii Ab | Gaze tracking using mapping of pupil center position |
| US11847196B2 (en) | 2018-11-01 | 2023-12-19 | 3M Innovative Properties Company | Device, user, or server registration and verification |
| US11890494B2 (en) | 2018-11-09 | 2024-02-06 | Qwake Technologies, Inc. | Retrofittable mask mount system for cognitive load reducing platform |
| US10417497B1 (en) * | 2018-11-09 | 2019-09-17 | Qwake Technologies | Cognitive load reducing platform for first responders |
| US10896492B2 (en) | 2018-11-09 | 2021-01-19 | Qwake Technologies, Llc | Cognitive load reducing platform having image edge enhancement |
| US10833945B2 (en) * | 2018-11-13 | 2020-11-10 | International Business Machines Corporation | Managing downloading of content |
| WO2020102554A1 (en) | 2018-11-15 | 2020-05-22 | Magic Leap, Inc. | Deep neural network pose estimation system |
| JP7472127B2 (ja) | 2018-11-16 | 2024-04-22 | マジック リープ， インコーポレイテッド | 画像鮮明度を維持するための画像サイズによってトリガされる明確化 |
| WO2020106824A1 (en) | 2018-11-20 | 2020-05-28 | Magic Leap, Inc. | Eyepieces for augmented reality display system |
| WO2020107022A1 (en) * | 2018-11-23 | 2020-05-28 | Slingshot Aerospace, Inc. | Signal processing workflow engine incorporating graphical user interface for space situational awareness |
| CN109683704B (zh) * | 2018-11-29 | 2022-01-28 | 武汉中地地科传媒文化有限责任公司 | 一种ar界面交互方法及ar显示设备 |
| US11199912B2 (en) | 2018-11-30 | 2021-12-14 | Magic Leap, Inc. | Multi-modal hand location and orientation for avatar movement |
| CN111277857B (zh) * | 2018-12-04 | 2021-04-13 | 清华大学 | 一种流媒体调度方法及装置 |
| US11443515B2 (en) * | 2018-12-21 | 2022-09-13 | Ambient AI, Inc. | Systems and methods for machine learning enhanced intelligent building access endpoint security monitoring and management |
| CN109799838B (zh) * | 2018-12-21 | 2022-04-15 | 金季春 | 一种训练方法和系统 |
| WO2020132941A1 (zh) * | 2018-12-26 | 2020-07-02 | 中国科学院深圳先进技术研究院 | 识别方法及相关装置 |
| WO2020139752A1 (en) | 2018-12-28 | 2020-07-02 | Magic Leap, Inc. | Variable pixel density display system with mechanically-actuated image projector |
| JP2022516256A (ja) | 2018-12-28 | 2022-02-25 | マジック リープ， インコーポレイテッド | 左眼および右眼のための共有ディスプレイを伴う拡張および仮想現実ディスプレイシステム |
| US11139071B2 (en) * | 2018-12-31 | 2021-10-05 | Cerner Innovation, Inc. | Virtual augmentation of clinical care environments |
| US11537202B2 (en) | 2019-01-16 | 2022-12-27 | Pupil Labs Gmbh | Methods for generating calibration data for head-wearable devices and eye tracking system |
| US11036043B2 (en) * | 2019-01-17 | 2021-06-15 | Advanced New Technologies Co., Ltd. | Identity authentication using lens features |
| US11107261B2 (en) | 2019-01-18 | 2021-08-31 | Apple Inc. | Virtual avatar animation based on facial feature movement |
| US11458040B2 (en) | 2019-01-23 | 2022-10-04 | Meta Platforms Technologies, Llc | Corneal topography mapping with dense illumination |
| WO2020154524A1 (en) | 2019-01-25 | 2020-07-30 | Magic Leap, Inc. | Eye-tracking using images having different exposure times |
| CN109828734A (zh) * | 2019-01-29 | 2019-05-31 | 深圳市海派通讯科技有限公司 | 智能终端显示屏幕控制方法、系统及存储介质 |
| EP4369151A2 (en) | 2019-02-06 | 2024-05-15 | Magic Leap, Inc. | Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors |
| KR102246408B1 (ko) * | 2019-02-14 | 2021-05-18 | 엔에이치엔 주식회사 | 딥러닝 기반 유사상품 제공방법 |
| CN109919065A (zh) * | 2019-02-26 | 2019-06-21 | 浪潮金融信息技术有限公司 | 一种使用眼球追踪技术在屏幕上获取关注点的方法 |
| US11138302B2 (en) * | 2019-02-27 | 2021-10-05 | International Business Machines Corporation | Access control using multi-authentication factors |
| KR102190527B1 (ko) * | 2019-02-28 | 2020-12-14 | 현대모비스 주식회사 | 자동 영상 합성 장치 및 방법 |
| EP3931625A4 (en) | 2019-02-28 | 2022-11-23 | Magic Leap, Inc. | DISPLAY SYSTEM AND METHOD FOR DELIVERING VARIABLE ACCOMMODATION CURITIES USING MULTIPLE PARALLAX INTRA-PUPILAL VIEWS SHAPED BY LIGHT EMITTER ARRANGEMENTS |
| EP3938824A4 (en) | 2019-03-12 | 2022-11-23 | Magic Leap, Inc. | WAVEGUIDES WITH HIGH REFRESHING INDEX MATERIALS AND METHOD FOR THEIR MANUFACTURE |
| RU2715300C1 (ru) * | 2019-03-12 | 2020-02-26 | Алексей Федорович Хорошев | Способ создания данных соответствия объекта и информации о нем |
| JP2022523852A (ja) | 2019-03-12 | 2022-04-26 | マジック リープ， インコーポレイテッド | 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ |
| CN110059232B (zh) * | 2019-03-15 | 2021-05-07 | 杭州电子科技大学 | 一种基于用户体验度量的数据可视化方法 |
| US11348573B2 (en) | 2019-03-18 | 2022-05-31 | Apple Inc. | Multimodality in digital assistant systems |
| CN110011985A (zh) | 2019-03-19 | 2019-07-12 | 阿里巴巴集团控股有限公司 | 用于操作物联网设备的方法和系统 |
| US11846778B2 (en) | 2019-03-20 | 2023-12-19 | Magic Leap, Inc. | System for providing illumination of the eye |
| US11099384B2 (en) * | 2019-03-27 | 2021-08-24 | Lenovo (Singapore) Pte. Ltd. | Adjusting display settings of a head-mounted display |
| US11644897B2 (en) | 2019-04-01 | 2023-05-09 | Evolution Optiks Limited | User tracking system using user feature location and method, and digital display device and digital image rendering system and method using same |
| WO2020201999A2 (en) * | 2019-04-01 | 2020-10-08 | Evolution Optiks Limited | Pupil tracking system and method, and digital display device and digital image rendering system and method using same |
| USD916892S1 (en) * | 2019-04-09 | 2021-04-20 | Google Llc | Display screen or portion thereof with graphical user interface with icon |
| TWI754806B (zh) * | 2019-04-09 | 2022-02-11 | 栗永徽 | 利用深度學習定位虹膜之裝置與方法 |
| CN114008514A (zh) | 2019-04-15 | 2022-02-01 | 奇跃公司 | 用于电磁跟踪的传感器融合 |
| CN110060678B (zh) * | 2019-04-16 | 2021-09-14 | 深圳欧博思智能科技有限公司 | 一种基于智能设备的虚拟角色控制方法及智能设备 |
| JP7060544B6 (ja) * | 2019-04-26 | 2022-05-23 | 塁 佐藤 | 運動用設備 |
| US11445232B2 (en) | 2019-05-01 | 2022-09-13 | Magic Leap, Inc. | Content provisioning system and method |
| CN111897411A (zh) * | 2019-05-05 | 2020-11-06 | Oppo广东移动通信有限公司 | 基于大气光通信的交互方法、装置和穿戴设备 |
| US11307752B2 (en) | 2019-05-06 | 2022-04-19 | Apple Inc. | User configurable task triggers |
| DK201970509A1 (en) | 2019-05-06 | 2021-01-15 | Apple Inc | Spoken notifications |
| US11706521B2 (en) | 2019-05-06 | 2023-07-18 | Apple Inc. | User interfaces for capturing and managing visual media |
| SE543144C2 (en) * | 2019-05-15 | 2020-10-13 | Tobii Ab | Method and system for dwell-less, hands-free interaction with a selectable object |
| CN114127610A (zh) | 2019-05-20 | 2022-03-01 | 奇跃公司 | 用于估计眼睛姿势的系统和技术 |
| WO2020236993A1 (en) | 2019-05-21 | 2020-11-26 | Magic Leap, Inc. | Hand pose estimation |
| US11786694B2 (en) | 2019-05-24 | 2023-10-17 | NeuroLight, Inc. | Device, method, and app for facilitating sleep |
| CN116249918A (zh) | 2019-05-24 | 2023-06-09 | 奇跃公司 | 可变焦组件 |
| WO2020243169A1 (en) | 2019-05-28 | 2020-12-03 | Magic Leap, Inc. | Thermal management system for portable electronic devices |
| USD962981S1 (en) | 2019-05-29 | 2022-09-06 | Magic Leap, Inc. | Display screen or portion thereof with animated scrollbar graphical user interface |
| JP6830981B2 (ja) * | 2019-05-29 | 2021-02-17 | 株式会社東芝 | ウェアラブル機器及び表示方法 |
| EP3744227A1 (en) | 2019-05-31 | 2020-12-02 | Essilor International | Binocular refraction instrument, set of test images, binocular refraction method and computer program associated thereof |
| US11468890B2 (en) | 2019-06-01 | 2022-10-11 | Apple Inc. | Methods and user interfaces for voice-based control of electronic devices |
| US10885173B2 (en) | 2019-06-04 | 2021-01-05 | Nant Holdings Ip, Llc | Content authentication and validation via multi-factor digital tokens, systems, and methods |
| EP3979896A1 (en) | 2019-06-05 | 2022-04-13 | Pupil Labs GmbH | Devices, systems and methods for predicting gaze-related parameters |
| CN110338748B (zh) * | 2019-06-13 | 2022-03-08 | 宁波明星科技发展有限公司 | 快速定位视力值的方法、存储介质、终端及视力检测仪 |
| CN114286962A (zh) | 2019-06-20 | 2022-04-05 | 奇跃公司 | 用于增强现实显示系统的目镜 |
| US11803628B2 (en) | 2019-06-21 | 2023-10-31 | Magic Leap, Inc. | Secure authorization via modal window |
| CN114341687A (zh) | 2019-06-24 | 2022-04-12 | 奇跃公司 | 具有集成间隔物的波导及相关系统和方法 |
| US10976816B2 (en) * | 2019-06-25 | 2021-04-13 | Microsoft Technology Licensing, Llc | Using eye tracking to hide virtual reality scene changes in plain sight |
| US11307650B1 (en) * | 2019-06-25 | 2022-04-19 | Apple Inc. | Modifying virtual content to invoke a target user state |
| US10901502B2 (en) * | 2019-06-27 | 2021-01-26 | Facebook, Inc. | Reducing head mounted display power consumption and heat generation through predictive rendering of content |
| US11029805B2 (en) | 2019-07-10 | 2021-06-08 | Magic Leap, Inc. | Real-time preview of connectable objects in a physically-modeled virtual space |
| US11379610B2 (en) * | 2019-07-10 | 2022-07-05 | Blackberry Limited | Methods and devices for automatically encrypting files |
| CN114173693A (zh) * | 2019-07-15 | 2022-03-11 | 外科手术公司 | 用于远距监督手术程序的增强现实系统和方法 |
| JP2022540675A (ja) | 2019-07-16 | 2022-09-16 | マジック リープ， インコーポレイテッド | １つ以上の眼追跡カメラを用いた眼回転中心の決定 |
| JP2022540691A (ja) | 2019-07-19 | 2022-09-16 | マジック リープ， インコーポレイテッド | 回折格子を加工する方法 |
| CN114502991A (zh) | 2019-07-19 | 2022-05-13 | 奇跃公司 | 具有偏振敏感性降低的衍射光栅的显示设备 |
| US11907417B2 (en) | 2019-07-25 | 2024-02-20 | Tectus Corporation | Glance and reveal within a virtual environment |
| JP2022542363A (ja) | 2019-07-26 | 2022-10-03 | マジック リープ， インコーポレイテッド | 拡張現実のためのシステムおよび方法 |
| US11354805B2 (en) | 2019-07-30 | 2022-06-07 | Apple Inc. | Utilization of luminance changes to determine user characteristics |
| CN114223194B (zh) * | 2019-08-06 | 2024-04-26 | 爱尔康公司 | 用于玻璃体视网膜手术的场景相机系统和方法 |
| CN110572632A (zh) * | 2019-08-15 | 2019-12-13 | 中国人民解放军军事科学院国防科技创新研究院 | 一种基于视线跟踪的增强现实显示系统、头盔和方法 |
| US11263634B2 (en) | 2019-08-16 | 2022-03-01 | Advanced New Technologies Co., Ltd. | Payment method and device |
| US11380065B2 (en) * | 2019-08-20 | 2022-07-05 | Red Pacs, Llc | Advanced head display unit for fire fighters |
| WO2021041990A1 (en) | 2019-08-28 | 2021-03-04 | Qwake Technologies, Llc | Wearable assisted perception module for navigation and communication in hazardous environments |
| US11282297B2 (en) * | 2019-09-10 | 2022-03-22 | Blue Planet Training, Inc. | System and method for visual analysis of emotional coherence in videos |
| JP7420926B2 (ja) | 2019-09-11 | 2024-01-23 | マジック リープ， インコーポレイテッド | 低減された偏光感度を有する回折格子を伴うディスプレイデバイス |
| US11295309B2 (en) * | 2019-09-13 | 2022-04-05 | International Business Machines Corporation | Eye contact based financial transaction |
| US11010980B2 (en) | 2019-09-25 | 2021-05-18 | International Business Machines Corporation | Augmented interface distraction reduction |
| US11354910B2 (en) * | 2019-09-27 | 2022-06-07 | Ncr Corporation | Frictionless authentication and monitoring |
| CN110751064B (zh) * | 2019-09-30 | 2022-06-24 | 四川大学 | 基于图像处理的眨眼次数分析方法和系统 |
| US11601693B2 (en) | 2019-09-30 | 2023-03-07 | Kyndryl, Inc. | Automatic adaptation of digital content |
| US11436655B2 (en) * | 2019-10-01 | 2022-09-06 | Ebay Inc. | Different action user-interface components in a comparison view |
| US20210097436A1 (en) * | 2019-10-01 | 2021-04-01 | Kelley S. Weiland | Automated system for generating properly tagged training data for and verifying the efficacy of artificial intelligence algorithms |
| US11176757B2 (en) | 2019-10-02 | 2021-11-16 | Magic Leap, Inc. | Mission driven virtual character for user interaction |
| US11276246B2 (en) | 2019-10-02 | 2022-03-15 | Magic Leap, Inc. | Color space mapping for intuitive surface normal visualization |
| KR102128894B1 (ko) * | 2019-10-10 | 2020-07-01 | 주식회사 메디씽큐 | 스마트 안경의 시선 트래킹 시스템 및 그 방법 |
| CN110837294B (zh) * | 2019-10-14 | 2023-12-12 | 成都西山居世游科技有限公司 | 一种基于眼球追踪的面部表情控制方法及系统 |
| JP7423248B2 (ja) * | 2019-10-23 | 2024-01-29 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム及び記憶媒体 |
| US10901505B1 (en) | 2019-10-24 | 2021-01-26 | Tectus Corporation | Eye-based activation and tool selection systems and methods |
| US11662807B2 (en) * | 2020-01-06 | 2023-05-30 | Tectus Corporation | Eye-tracking user interface for virtual tool control |
| US10607077B1 (en) * | 2019-10-28 | 2020-03-31 | EyeVerify Inc. | Identity authentication using an inlier neural network |
| CN110745000B (zh) * | 2019-10-29 | 2021-09-28 | 上海天马有机发光显示技术有限公司 | 一种车辆仪表及其显示方法、车速监控显示系统 |
| US11830318B2 (en) | 2019-10-31 | 2023-11-28 | 8 Bit Development Inc. | Method of authenticating a consumer or user in virtual reality, thereby enabling access to controlled environments |
| CN110727352A (zh) * | 2019-10-31 | 2020-01-24 | 哈雷医用(广州)智能技术有限公司 | 一种对抑郁症具有改善作用的电子产品及其控制方法 |
| US10795984B1 (en) * | 2019-11-01 | 2020-10-06 | Capital One Services, Llc | Active locking mechanism using machine learning |
| TWI731461B (zh) * | 2019-11-01 | 2021-06-21 | 宏碁股份有限公司 | 真實人臉的識別方法與真實人臉的識別裝置 |
| WO2021092211A1 (en) * | 2019-11-05 | 2021-05-14 | The Regents Of The University Of Colorado, A Body Corporate | Systems and methods to probe ocular structures |
| USD982593S1 (en) | 2019-11-08 | 2023-04-04 | Magic Leap, Inc. | Portion of a display screen with animated ray |
| US11493989B2 (en) | 2019-11-08 | 2022-11-08 | Magic Leap, Inc. | Modes of user interaction |
| CN114641713A (zh) | 2019-11-08 | 2022-06-17 | 奇跃公司 | 具有包括多种材料的光重定向结构的超表面以及制造方法 |
| JP2023502927A (ja) | 2019-11-15 | 2023-01-26 | マジック リープ， インコーポレイテッド | 外科手術環境において使用するための視認システム |
| WO2021101844A1 (en) | 2019-11-18 | 2021-05-27 | Magic Leap, Inc. | Mapping and localization of a passable world |
| CN114730111A (zh) | 2019-11-22 | 2022-07-08 | 奇跃公司 | 用于对液晶层进行图案化的方法和系统 |
| CN114761859A (zh) | 2019-11-26 | 2022-07-15 | 奇跃公司 | 用于增强或虚拟现实显示系统的增强眼睛跟踪 |
| US11665379B2 (en) * | 2019-11-26 | 2023-05-30 | Photo Sensitive Cinema (PSC) | Rendering image content as time-spaced frames |
| US11273341B2 (en) * | 2019-11-27 | 2022-03-15 | Ready 2 Perform Technology LLC | Interactive visualization system for biomechanical assessment |
| CN112904997B (zh) * | 2019-12-04 | 2023-05-26 | Oppo广东移动通信有限公司 | 设备控制方法及相关产品 |
| US10871825B1 (en) * | 2019-12-04 | 2020-12-22 | Facebook Technologies, Llc | Predictive eye tracking systems and methods for variable focus electronic displays |
| JP2023504368A (ja) | 2019-12-06 | 2023-02-03 | マジック リープ， インコーポレイテッド | 静止画内のステレオスプラッシュスクリーンのエンコーディング |
| CN114746796A (zh) | 2019-12-06 | 2022-07-12 | 奇跃公司 | 动态浏览器舞台 |
| USD940749S1 (en) | 2019-12-09 | 2022-01-11 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD941307S1 (en) | 2019-12-09 | 2022-01-18 | Magic Leap, Inc. | Portion of a display screen with graphical user interface for guiding graphics |
| USD940189S1 (en) | 2019-12-09 | 2022-01-04 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD941353S1 (en) | 2019-12-09 | 2022-01-18 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD952673S1 (en) | 2019-12-09 | 2022-05-24 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| USD940748S1 (en) | 2019-12-09 | 2022-01-11 | Magic Leap, Inc. | Portion of a display screen with transitional graphical user interface for guiding graphics |
| US11288876B2 (en) | 2019-12-13 | 2022-03-29 | Magic Leap, Inc. | Enhanced techniques for volumetric stage mapping based on calibration object |
| US11640572B2 (en) * | 2019-12-19 | 2023-05-02 | Senseye, Inc. | Ocular system to optimize learning |
| CN113010066B (zh) * | 2019-12-20 | 2022-11-11 | 华为技术有限公司 | 显示参数确定方法及装置 |
| US20210192853A1 (en) * | 2019-12-20 | 2021-06-24 | Abdul Zalil | Method and system for wireless transmission of audio/video media content to a display device |
| CN111091595B (zh) * | 2019-12-23 | 2023-06-02 | 吉林省广播电视研究所(吉林省广播电视局科技信息中心) | 斜视三维测绘方法及测绘系统 |
| CN111159678B (zh) * | 2019-12-26 | 2023-08-18 | 联想(北京)有限公司 | 一种身份识别方法、装置及存储介质 |
| CN111292850A (zh) * | 2020-01-22 | 2020-06-16 | 福建中医药大学 | 一种adhd儿童注意力智能康复系统 |
| US11294461B2 (en) | 2020-01-24 | 2022-04-05 | Magic Leap, Inc. | Content movement and interaction using a single controller |
| US11340695B2 (en) | 2020-01-24 | 2022-05-24 | Magic Leap, Inc. | Converting a 2D positional input into a 3D point in space |
| EP4097685A4 (en) | 2020-01-27 | 2024-02-21 | Magic Leap, Inc. | NEUTRAL AVATARS |
| WO2021154656A1 (en) | 2020-01-27 | 2021-08-05 | Magic Leap, Inc. | Enhanced state control for anchor-based cross reality applications |
| USD948562S1 (en) | 2020-01-27 | 2022-04-12 | Magic Leap, Inc. | Portion of a display screen with avatar |
| USD948574S1 (en) | 2020-01-27 | 2022-04-12 | Magic Leap, Inc. | Portion of a display screen with a set of avatars |
| USD949200S1 (en) | 2020-01-27 | 2022-04-19 | Magic Leap, Inc. | Portion of a display screen with a set of avatars |
| JP2023511311A (ja) | 2020-01-27 | 2023-03-17 | マジック リープ， インコーポレイテッド | ユーザ入力デバイスの機能性の注視タイマベースの拡張 |
| JP7490784B2 (ja) | 2020-01-27 | 2024-05-27 | マジック リープ， インコーポレイテッド | 拡張現実マップキュレーション |
| USD936704S1 (en) | 2020-01-27 | 2021-11-23 | Magic Leap, Inc. | Portion of a display screen with avatar |
| JP2023512238A (ja) | 2020-01-31 | 2023-03-24 | マジック リープ， インコーポレイテッド | 眼球運動測定査定のための拡張および仮想現実ディスプレイシステム |
| CN111402100A (zh) * | 2020-02-03 | 2020-07-10 | 重庆特斯联智慧科技股份有限公司 | 一种通过目标追踪实现的人口登记方法和系统 |
| CN111880663A (zh) * | 2020-02-06 | 2020-11-03 | 北京师范大学 | 一种应用于交互式地图的眼动控制方法及装置 |
| CN111880662A (zh) * | 2020-02-06 | 2020-11-03 | 北京师范大学 | 一种应用于交互式地图的眼动控制系统 |
| US11538199B2 (en) * | 2020-02-07 | 2022-12-27 | Lenovo (Singapore) Pte. Ltd. | Displaying a window in an augmented reality view |
| WO2021162769A1 (en) | 2020-02-10 | 2021-08-19 | Magic Leap, Inc. | Body-centric content positioning relative to three-dimensional container in a mixed reality environment |
| US11709363B1 (en) | 2020-02-10 | 2023-07-25 | Avegant Corp. | Waveguide illumination of a spatial light modulator |
| US11726349B2 (en) | 2020-02-14 | 2023-08-15 | Magic Leap, Inc. | Virtual object movement speed curve for virtual and augmented reality display systems |
| US11016656B1 (en) * | 2020-02-14 | 2021-05-25 | International Business Machines Corporation | Fault recognition self-learning graphical user interface |
| US11300784B2 (en) * | 2020-02-21 | 2022-04-12 | Fotonation Limited | Multi-perspective eye acquisition |
| CN115151784A (zh) | 2020-02-26 | 2022-10-04 | 奇跃公司 | 程序电子束光刻 |
| CN115190837A (zh) | 2020-02-28 | 2022-10-14 | 奇跃公司 | 制造用于形成具有一体间隔件的目镜的模具的方法 |
| JP7251614B2 (ja) * | 2020-02-28 | 2023-04-04 | アステラス製薬株式会社 | ウェアラブル機器、情報処理装置、情報処理システム、及びプログラム |
| KR102379350B1 (ko) * | 2020-03-02 | 2022-03-28 | 주식회사 비주얼캠프 | 페이지 턴 방법 및 이를 수행하기 위한 컴퓨팅 장치 |
| US11262588B2 (en) | 2020-03-10 | 2022-03-01 | Magic Leap, Inc. | Spectator view of virtual and physical objects |
| KR102359602B1 (ko) * | 2020-03-10 | 2022-02-08 | 한국과학기술원 | 디스플레이를 위한 시선 입력 방법 및 이를 수행하는 장치들 |
| EP3883235A1 (en) | 2020-03-17 | 2021-09-22 | Aptiv Technologies Limited | Camera control modules and methods |
| US11474358B2 (en) | 2020-03-20 | 2022-10-18 | Magic Leap, Inc. | Systems and methods for retinal imaging and tracking |
| CN115698782A (zh) | 2020-03-25 | 2023-02-03 | 奇跃公司 | 具有单路镜的光学设备 |
| CN111383313B (zh) * | 2020-03-31 | 2023-05-12 | 歌尔股份有限公司 | 一种虚拟模型渲染方法、装置、设备及可读存储介质 |
| US11537701B2 (en) | 2020-04-01 | 2022-12-27 | Toyota Motor North America, Inc. | Transport related n-factor authentication |
| US11348300B2 (en) | 2020-04-03 | 2022-05-31 | Magic Leap, Inc. | Avatar customization for optimal gaze discrimination |
| EP4127822A4 (en) | 2020-04-03 | 2024-06-26 | Magic Leap, Inc. | WEARABLE DISPLAY SYSTEMS INCLUDING MICRO NANOWIRE LED DISPLAY DEVICES |
| US11536970B1 (en) * | 2020-04-07 | 2022-12-27 | Google Llc | Tracking of item of interest using wearable heads up display |
| US11587388B2 (en) | 2020-04-22 | 2023-02-21 | Igt | Determining a player's emotional state using player gaze movement at gaming devices |
| CN111399659B (zh) * | 2020-04-24 | 2022-03-08 | Oppo广东移动通信有限公司 | 界面显示方法及相关装置 |
| US11950022B1 (en) | 2020-04-24 | 2024-04-02 | Apple Inc. | Head-mounted devices with forward facing cameras |
| US11061543B1 (en) | 2020-05-11 | 2021-07-13 | Apple Inc. | Providing relevant data items based on context |
| DK202070624A1 (en) | 2020-05-11 | 2022-01-04 | Apple Inc | User interfaces related to time |
| US11921998B2 (en) | 2020-05-11 | 2024-03-05 | Apple Inc. | Editing features of an avatar |
| DE102020113579A1 (de) * | 2020-05-19 | 2021-11-25 | Audi Aktiengesellschaft | Kameravorrichtung zum Erzeugen eines Abbilds einer Umgebung sowie Scheinwerferanordnung |
| JP2023528262A (ja) | 2020-05-22 | 2023-07-04 | マジック リープ， インコーポレイテッド | 相関内部結合および外部結合光学領域を伴う拡張および仮想現実ディスプレイシステム |
| US11615205B2 (en) * | 2020-05-28 | 2023-03-28 | Bank Of America Corporation | Intelligent dynamic data masking on display screens based on viewer proximity |
| US11195490B1 (en) * | 2020-05-29 | 2021-12-07 | International Business Machines Corporation | Smart contact lens with adjustable light transmittance |
| US11039074B1 (en) | 2020-06-01 | 2021-06-15 | Apple Inc. | User interfaces for managing media |
| US11662810B2 (en) | 2020-06-05 | 2023-05-30 | Magic Leap, Inc. | Enhanced eye tracking techniques based on neural network analysis of images |
| JP7218978B2 (ja) * | 2020-06-15 | 2023-02-07 | 株式会社mediVR | リハビリテーション支援システム、リハビリテーション支援方法およびリハビリテーション支援プログラム |
| US11706656B2 (en) | 2020-06-29 | 2023-07-18 | Qualcomm Incorporated | Downlink data prioritization for time-sensitive applications |
| GB202010326D0 (en) * | 2020-07-06 | 2020-08-19 | Palakollu Vamsee Krishna | A virtual reality headset |
| US11690435B2 (en) | 2020-07-07 | 2023-07-04 | Perfect Mobile Corp. | System and method for navigating user interfaces using a hybrid touchless control mechanism |
| TW202206030A (zh) * | 2020-07-14 | 2022-02-16 | 美商外科劇院股份有限公司 | 用於四維血管造影之系統及方法 |
| IL299775A (en) | 2020-07-15 | 2023-03-01 | Magic Leap Inc | Eye tracking using an aspheric cornea model |
| US20230282139A1 (en) * | 2020-07-17 | 2023-09-07 | Hewlett-Packard Development Company, L.P. | Head-mountable display (hmd) image and foveal region brightness computation |
| US11490204B2 (en) | 2020-07-20 | 2022-11-01 | Apple Inc. | Multi-device audio adjustment coordination |
| US11438683B2 (en) | 2020-07-21 | 2022-09-06 | Apple Inc. | User identification using headphones |
| WO2022025921A1 (en) * | 2020-07-31 | 2022-02-03 | Hewlett-Packard Development Company, L.P. | Change blindness detection via bio-analytics |
| JP2023537486A (ja) | 2020-08-07 | 2023-09-01 | マジック リープ， インコーポレイテッド | 調整可能円柱レンズおよびそれを含む頭部搭載型ディスプレイ |
| JP7154260B2 (ja) * | 2020-08-11 | 2022-10-17 | 株式会社トプコン | 眼科装置 |
| JP7154259B2 (ja) * | 2020-08-11 | 2022-10-17 | 株式会社トプコン | 眼科装置 |
| JP2023539962A (ja) | 2020-08-14 | 2023-09-21 | ヒーズ アイピー ホールディングス エルエルシー | リアルタイム画像上に仮想画像を重ね合わせるためのシステムおよび方法 |
| US11321797B2 (en) * | 2020-08-25 | 2022-05-03 | Kyndryl, Inc. | Wearable watermarks |
| WO2022046120A1 (en) * | 2020-08-31 | 2022-03-03 | Hewlett-Packard Development Company, L.P. | User authentication using event cameras |
| US11774759B2 (en) | 2020-09-03 | 2023-10-03 | Hes Ip Holdings, Llc | Systems and methods for improving binocular vision |
| US11620855B2 (en) | 2020-09-03 | 2023-04-04 | International Business Machines Corporation | Iterative memory mapping operations in smart lens/augmented glasses |
| CN114531904A (zh) * | 2020-09-09 | 2022-05-24 | 京东方科技集团股份有限公司 | Ar/vr图像显示方法、ar/vr图像显示设备和计算机程序产品 |
| CN112084990A (zh) * | 2020-09-16 | 2020-12-15 | 重庆科技学院 | 一种基于卷积神经网络及回溯的课堂抬头率统计系统 |
| KR102230797B1 (ko) * | 2020-09-23 | 2021-03-22 | 국방과학연구소 | 적외선 이미지를 이용한 딥러닝 학습 방법 및 시스템 |
| US11212449B1 (en) | 2020-09-25 | 2021-12-28 | Apple Inc. | User interfaces for media capture and management |
| WO2022073013A1 (en) | 2020-09-29 | 2022-04-07 | Avegant Corp. | An architecture to illuminate a display panel |
| CN116420104A (zh) | 2020-09-30 | 2023-07-11 | 海思智财控股有限公司 | 用于虚拟实境及扩增实境装置的虚拟影像显示系统 |
| EP4206755A4 (en) * | 2020-10-05 | 2024-03-06 | Sony Group Corporation | VISION DETECTION DEVICE AND DISPLAY DEVICE |
| GB2599900B (en) * | 2020-10-09 | 2023-01-11 | Sony Interactive Entertainment Inc | Data processing system and method for image enhancement |
| US11320903B1 (en) | 2020-10-20 | 2022-05-03 | Rovi Guides, Inc. | Methods and systems of extended reality environment interaction based on eye motions |
| US11609629B2 (en) | 2020-10-20 | 2023-03-21 | Rovi Guides, Inc. | Methods and systems of extended reality environment interaction based on eye motions |
| US11392198B2 (en) | 2020-10-20 | 2022-07-19 | ROVl GUIDES, INC. | Methods and systems of extended reality environment interaction based on eye motions |
| US11747896B2 (en) | 2020-10-20 | 2023-09-05 | Rovi Guides, Inc. | Methods and systems of extended reality environment interaction based on eye motions |
| US11281291B1 (en) | 2020-10-20 | 2022-03-22 | Rovi Guides, Inc. | Methods and systems of extended reality environment interaction based on eye motions |
| US11659266B2 (en) | 2020-10-21 | 2023-05-23 | Qualcomm Incorporated | Power control based at least in part on user eye movement |
| US11803237B2 (en) | 2020-11-14 | 2023-10-31 | Facense Ltd. | Controlling an eye tracking camera according to eye movement velocity |
| US11184294B1 (en) * | 2020-12-04 | 2021-11-23 | Capital One Services, Llc | Methods and systems for managing multiple content delivery networks |
| JP7252295B2 (ja) * | 2020-12-09 | 2023-04-04 | 株式会社トプコン | 眼科装置及び眼科測定方法 |
| EP4213482A4 (en) * | 2020-12-16 | 2024-03-20 | Samsung Electronics Co., Ltd. | METHOD AND DEVICE FOR TRANSMITTING SEVERAL PARTS OF APPLICATION DATA WITH LOW LATENCY |
| WO2022154847A1 (en) | 2021-01-12 | 2022-07-21 | Emed Labs, Llc | Health testing and diagnostics platform |
| CN114765558B (zh) | 2021-01-15 | 2024-04-09 | 台达电子工业股份有限公司 | 工业设备监控方法及工业设备监控系统 |
| WO2022159628A1 (en) * | 2021-01-22 | 2022-07-28 | Zinn Labs, Inc. | Headset integrated into healthcare platform |
| WO2022159630A1 (en) | 2021-01-22 | 2022-07-28 | Zinn Labs, Inc. | Gaze sensors and display elements for detection of gaze vectors and user control at headset |
| JP7119145B2 (ja) | 2021-01-25 | 2022-08-16 | 株式会社東芝 | ウェアラブル機器及び表示方法 |
| KR20220113633A (ko) | 2021-02-05 | 2022-08-16 | 호서대학교 산학협력단 | 장애인을 위한 전자책 제어 장치 및 제어 방법 |
| US20220270186A1 (en) * | 2021-02-24 | 2022-08-25 | Lifebrand Llc | System and Method for Determining the Impact of a Social Media Post across Multiple Social Media Platforms |
| US20220293241A1 (en) * | 2021-03-12 | 2022-09-15 | Facebook Technologies, Llc | Systems and methods for signaling cognitive-state transitions |
| US11373756B1 (en) | 2021-05-24 | 2022-06-28 | Emed Labs, Llc | Systems, devices, and methods for diagnostic aid kit apparatus |
| US11929168B2 (en) | 2021-05-24 | 2024-03-12 | Emed Labs, Llc | Systems, devices, and methods for diagnostic aid kit apparatus |
| US11615888B2 (en) | 2021-03-23 | 2023-03-28 | Emed Labs, Llc | Remote diagnostic testing and treatment |
| US11273074B1 (en) * | 2021-03-24 | 2022-03-15 | Stroma Medical Corporation | Systems and methods for for physical and electronic security of medical devices |
| WO2022203620A1 (en) * | 2021-03-25 | 2022-09-29 | Dm Dayanikli Tüketi̇m Mallari Sanayi̇ Ve Ti̇caret Li̇mi̇ted Şi̇rketi̇ | Digital cinema system |
| CN113077795B (zh) * | 2021-04-06 | 2022-07-15 | 重庆邮电大学 | 一种通道注意力传播与聚合下的声纹识别方法 |
| US11823148B2 (en) | 2021-04-15 | 2023-11-21 | Bank Of America Corporation | Augmented reality-enabled ATM for secure augmented reality check realization |
| US11778339B2 (en) | 2021-04-30 | 2023-10-03 | Apple Inc. | User interfaces for altering visual media |
| US11539876B2 (en) | 2021-04-30 | 2022-12-27 | Apple Inc. | User interfaces for altering visual media |
| US20220351545A1 (en) * | 2021-05-03 | 2022-11-03 | NeuraLight Ltd. | Obtaining high-resolution oculometric parameters |
| CN113297994B (zh) * | 2021-05-31 | 2023-08-18 | 中国航天科工集团第二研究院 | 一种飞行员行为分析方法及系统 |
| US11776190B2 (en) | 2021-06-04 | 2023-10-03 | Apple Inc. | Techniques for managing an avatar on a lock screen |
| US20220398302A1 (en) * | 2021-06-10 | 2022-12-15 | Trivver, Inc. | Secure wearable lens apparatus |
| WO2022271668A1 (en) | 2021-06-22 | 2022-12-29 | Emed Labs, Llc | Systems, methods, and devices for non-human readable diagnostic tests |
| US20230008868A1 (en) * | 2021-07-08 | 2023-01-12 | Nippon Telegraph And Telephone Corporation | User authentication device, user authentication method, and user authentication computer program |
| CN113434511B (zh) * | 2021-07-12 | 2023-08-29 | 北京林业大学 | 一种基于希尔伯特曲线的聚类索引方法 |
| KR102644877B1 (ko) * | 2021-08-20 | 2024-03-08 | 주식회사 경신 | 차량 제어 장치 및 방법 |
| CN113655927B (zh) * | 2021-08-24 | 2024-04-26 | 亮风台（上海）信息科技有限公司 | 一种界面交互方法与设备 |
| US11651404B2 (en) | 2021-08-31 | 2023-05-16 | Kyndryl, Inc. | Virtual shopping assistant |
| US12014829B2 (en) | 2021-09-01 | 2024-06-18 | Emed Labs, Llc | Image processing and presentation techniques for enhanced proctoring sessions |
| US20230097716A1 (en) * | 2021-09-25 | 2023-03-30 | FiveGen, LLC | Authenticating Individuals Based on Game Decisions and Behaviors |
| US20230102506A1 (en) * | 2021-09-25 | 2023-03-30 | FiveGen, LLC | Selective Recommendation by Mapping Game Decisions and Behaviors to Predefined Attributes |
| US20240054194A1 (en) | 2021-09-27 | 2024-02-15 | Nec Corporation | Authentication system, authentication apparatus, authentication method and recording medium |
| CN113923252B (zh) * | 2021-09-30 | 2023-11-21 | 北京蜂巢世纪科技有限公司 | 图像显示装置、方法和系统 |
| US11592899B1 (en) * | 2021-10-28 | 2023-02-28 | Tectus Corporation | Button activation within an eye-controlled user interface |
| WO2023075771A1 (en) * | 2021-10-28 | 2023-05-04 | Hewlett-Packard Development Company, L.P. | Avatar training images for training machine learning model |
| US20230289535A1 (en) * | 2021-11-03 | 2023-09-14 | Virginia Tech Intellectual Properties, Inc. | Visual language processing modeling framework via an attention-on-attention mechanism |
| WO2023091403A2 (en) * | 2021-11-17 | 2023-05-25 | Meta Platforms Technologies, Llc | Gaze-based user interface with assistant features for smart glasses in immersive reality applications |
| US11789530B2 (en) | 2021-11-17 | 2023-10-17 | Meta Platforms Technologies, Llc | Gaze-based user interface with assistant features for smart glasses in immersive reality applications |
| US20230305632A1 (en) * | 2021-12-02 | 2023-09-28 | SoftEye, Inc. | Systems, apparatus, and methods for gesture-based augmented reality, extended reality |
| US11619994B1 (en) | 2022-01-14 | 2023-04-04 | Tectus Corporation | Control of an electronic contact lens using pitch-based eye gestures |
| US12020704B2 (en) | 2022-01-19 | 2024-06-25 | Google Llc | Dynamic adaptation of parameter set used in hot word free adaptation of automated assistant |
| US11852825B1 (en) * | 2022-03-08 | 2023-12-26 | Meta Platforms Technologies, Llc | Selective notifications from eye measurements |
| US20230360057A1 (en) * | 2022-05-04 | 2023-11-09 | AT&T Communications Services India Private Limited | System for augmented intelligence for sentiment analysis in a virtual agent |
| US11874961B2 (en) | 2022-05-09 | 2024-01-16 | Tectus Corporation | Managing display of an icon in an eye tracking augmented reality device |
| CN115658933B (zh) * | 2022-12-28 | 2023-04-07 | 四川大学华西医院 | 心理状态知识库构建方法、装置、计算机设备及存储介质 |
| CN116436919B (zh) * | 2023-06-13 | 2023-10-10 | 深圳市明源云科技有限公司 | 云资源消耗优化方法、装置、电子设备及可读存储介质 |
| TWI839285B (zh) * | 2023-08-04 | 2024-04-11 | 上弘醫療設備股份有限公司 | 影像轉語音之視障輔助裝置 |
| CN118053196B (zh) * | 2024-04-15 | 2024-07-05 | 北京航空航天大学 | 基于扫视与凝视的单波段骨干网络架构的特征提取方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090125849A1 (en) | 2005-10-28 | 2009-05-14 | Tobii Technology Ab | Eye Tracker with Visual Feedback |
| US20140002352A1 (en) | 2012-05-09 | 2014-01-02 | Michal Jacob | Eye tracking based selective accentuation of portions of a display |
| US20140380230A1 (en) | 2013-06-25 | 2014-12-25 | Morgan Kolya Venable | Selecting user interface elements via position signal |
| US20150212576A1 (en) | 2014-01-28 | 2015-07-30 | Anthony J. Ambrus | Radial selection by vestibulo-ocular reflex fixation |
Family Cites Families (181)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3863243A (en) | 1972-01-19 | 1975-01-28 | Max Skolnick | Sleep inhibiting alarm |
| US3798599A (en) | 1972-02-24 | 1974-03-19 | H Kafafian | Single input controller for a communication system |
| US4359724A (en) | 1980-04-28 | 1982-11-16 | Ronald R. Zimmerman | Eyelid movement detector |
| US4737040A (en) | 1985-02-15 | 1988-04-12 | Moon Tag Y | Keyboard device and method for entering Japanese language text utilizing Romaji character notation |
| US4953111A (en) | 1987-02-12 | 1990-08-28 | Omron Tateisi Electronics Co. | Doze detector |
| US4850691A (en) | 1987-03-18 | 1989-07-25 | University Of Illinois | Method and apparatus for determining pupillary response parameters |
| US4815839A (en) | 1987-08-03 | 1989-03-28 | Waldorf Ronald A | Infrared/video electronystagmographic apparatus |
| US5291560A (en) * | 1991-07-15 | 1994-03-01 | Iri Scan Incorporated | Biometric personal identification system based on iris analysis |
| US5214456A (en) | 1991-10-09 | 1993-05-25 | Computed Anatomy Incorporated | Mapping of corneal topography with display of pupil perimeter |
| US5345281A (en) | 1992-12-17 | 1994-09-06 | John Taboada | Eye tracking system and method |
| US5517021A (en) | 1993-01-19 | 1996-05-14 | The Research Foundation State University Of New York | Apparatus and method for eye tracking interface |
| US5402109A (en) | 1993-04-29 | 1995-03-28 | Mannik; Kallis H. | Sleep prevention device for automobile drivers |
| US5481622A (en) | 1994-03-01 | 1996-01-02 | Rensselaer Polytechnic Institute | Eye tracking apparatus and method employing grayscale threshold values |
| JPH086708A (ja) | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
| CA2126142A1 (en) | 1994-06-17 | 1995-12-18 | David Alexander Kahn | Visual communications apparatus |
| US5469143A (en) | 1995-01-10 | 1995-11-21 | Cooper; David E. | Sleep awakening device for drivers of motor vehicles |
| US5566067A (en) | 1995-03-23 | 1996-10-15 | The President And Fellows Of Harvard College | Eyelid vigilance detector system |
| US5689241A (en) | 1995-04-24 | 1997-11-18 | Clarke, Sr.; James Russell | Sleep detection and driver alert apparatus |
| US5570698A (en) | 1995-06-02 | 1996-11-05 | Siemens Corporate Research, Inc. | System for monitoring eyes for detecting sleep behavior |
| US5682144A (en) | 1995-11-20 | 1997-10-28 | Mannik; Kallis Hans | Eye actuated sleep prevention devices and other eye controlled devices |
| US6003991A (en) | 1996-02-17 | 1999-12-21 | Erik Scott Viirre | Eye examination apparatus and method for remote examination of a patient by a health professional |
| US5912721A (en) | 1996-03-13 | 1999-06-15 | Kabushiki Kaisha Toshiba | Gaze detection apparatus and its method as well as information display apparatus |
| US5886683A (en) | 1996-06-25 | 1999-03-23 | Sun Microsystems, Inc. | Method and apparatus for eyetrack-driven information retrieval |
| US5748113A (en) | 1996-08-19 | 1998-05-05 | Torch; William C. | Method and apparatus for communication |
| US6163281A (en) | 1996-08-19 | 2000-12-19 | Torch; William C. | System and method for communication using eye movement |
| US6246344B1 (en) | 1996-08-19 | 2001-06-12 | William C. Torch | Method and apparatus for voluntary communication |
| US6542081B2 (en) | 1996-08-19 | 2003-04-01 | William C. Torch | System and method for monitoring eye movement |
| US5867587A (en) | 1997-05-19 | 1999-02-02 | Northrop Grumman Corporation | Impaired operator detection and warning system employing eyeblink analysis |
| AU1091099A (en) | 1997-10-16 | 1999-05-03 | Board Of Trustees Of The Leland Stanford Junior University | Method for inferring mental states from eye movements |
| US6007202A (en) | 1997-10-23 | 1999-12-28 | Lasersight Technologies, Inc. | Eye illumination system and method |
| DE19803158C1 (de) | 1998-01-28 | 1999-05-06 | Daimler Chrysler Ag | Vorrichtung zur Vigilanzzustandsbestimmung |
| US6204828B1 (en) | 1998-03-31 | 2001-03-20 | International Business Machines Corporation | Integrated gaze/manual cursor positioning system |
| US6867752B1 (en) | 1998-08-31 | 2005-03-15 | Semiconductor Energy Laboratory Co., Ltd. | Portable information processing system |
| US6087941A (en) | 1998-09-01 | 2000-07-11 | Ferraz; Mark | Warning device for alerting a person falling asleep |
| US6243076B1 (en) | 1998-09-01 | 2001-06-05 | Synthetic Environments, Inc. | System and method for controlling host system interface with point-of-interest data |
| AUPP612998A0 (en) | 1998-09-23 | 1998-10-15 | Canon Kabushiki Kaisha | Multiview multimedia generation system |
| US6526159B1 (en) | 1998-12-31 | 2003-02-25 | Intel Corporation | Eye tracking for resource and power management |
| US6433760B1 (en) * | 1999-01-14 | 2002-08-13 | University Of Central Florida | Head mounted display with eyetracking capability |
| US6577329B1 (en) | 1999-02-25 | 2003-06-10 | International Business Machines Corporation | Method and system for relevance feedback through gaze tracking and ticker interfaces |
| GB2348520B (en) | 1999-03-31 | 2003-11-12 | Ibm | Assisting user selection of graphical user interface elements |
| US6116736A (en) | 1999-04-23 | 2000-09-12 | Neuroptics, Inc. | Pupilometer with pupil irregularity detection capability |
| JP3636927B2 (ja) | 1999-05-18 | 2005-04-06 | 三菱電機株式会社 | 顔画像処理装置 |
| JP2001197400A (ja) * | 2000-01-12 | 2001-07-19 | Mixed Reality Systems Laboratory Inc | 表示装置、頭部装着型表示装置、頭部装着型表示装置の制御方法、頭部装着型表示装置のための画像生成方法、コンピュータおよびプログラム記憶媒体 |
| US6456262B1 (en) | 2000-05-09 | 2002-09-24 | Intel Corporation | Microdisplay with eye gaze detection |
| JP2003533801A (ja) * | 2000-05-16 | 2003-11-11 | スイスコム・モバイル・アクチエンゲゼルシヤフト | 生物測定学的な身元確認方法及び認証方法 |
| US6608615B1 (en) | 2000-09-19 | 2003-08-19 | Intel Corporation | Passive gaze-driven browsing |
| WO2002031581A1 (de) | 2000-10-07 | 2002-04-18 | Physoptics Opto-Electronic Gmbh | Vorrichtung und verfahren zur bestimmung der orientierung eines auges |
| DE10103922A1 (de) | 2001-01-30 | 2002-08-01 | Physoptics Opto Electronic Gmb | Interaktives Datensicht- und Bediensystem |
| JP3586431B2 (ja) * | 2001-02-28 | 2004-11-10 | 松下電器産業株式会社 | 個人認証方法および装置 |
| US20030038754A1 (en) | 2001-08-22 | 2003-02-27 | Mikael Goldstein | Method and apparatus for gaze responsive text presentation in RSVP display |
| AUPR872301A0 (en) | 2001-11-08 | 2001-11-29 | Sleep Diagnostics Pty Ltd | Alertness monitor |
| US6712468B1 (en) | 2001-12-12 | 2004-03-30 | Gregory T. Edwards | Techniques for facilitating use of eye tracking data |
| US7715595B2 (en) * | 2002-01-16 | 2010-05-11 | Iritech, Inc. | System and method for iris identification using stereoscopic face recognition |
| EP1335329B1 (en) * | 2002-02-05 | 2020-05-27 | Panasonic Intellectual Property Management Co., Ltd. | Personal authentication method, personal authentication apparatus and image capturing device |
| US6873714B2 (en) | 2002-02-19 | 2005-03-29 | Delphi Technologies, Inc. | Auto calibration and personalization of eye tracking system using larger field of view imager with higher resolution |
| US6919907B2 (en) | 2002-06-20 | 2005-07-19 | International Business Machines Corporation | Anticipatory image capture for stereoscopic remote viewing with foveal priority |
| US20040061680A1 (en) | 2002-07-10 | 2004-04-01 | John Taboada | Method and apparatus for computer control |
| US7400782B2 (en) * | 2002-08-28 | 2008-07-15 | Arcsoft, Inc. | Image warping correction in forming 360 degree panoramic images |
| JP3574653B2 (ja) * | 2002-09-13 | 2004-10-06 | 松下電器産業株式会社 | 虹彩コード化方法、個人認証方法、虹彩コード登録装置、虹彩認証装置、および虹彩認証プログラム |
| US7486806B2 (en) * | 2002-09-13 | 2009-02-03 | Panasonic Corporation | Iris encoding method, individual authentication method, iris code registration device, iris authentication device, and iris authentication program |
| US7460940B2 (en) * | 2002-10-15 | 2008-12-02 | Volvo Technology Corporation | Method and arrangement for interpreting a subjects head and eye activity |
| US6932090B1 (en) | 2003-02-06 | 2005-08-23 | The United States Of America As Represented By The United States National Aeronautics And Space Administration | Motion sickness treatment apparatus and method |
| US7347551B2 (en) | 2003-02-13 | 2008-03-25 | Fergason Patent Properties, Llc | Optical system for monitoring eye movement |
| US7881493B1 (en) | 2003-04-11 | 2011-02-01 | Eyetools, Inc. | Methods and apparatuses for use of eye interpretation information |
| US7401920B1 (en) * | 2003-05-20 | 2008-07-22 | Elbit Systems Ltd. | Head mounted eye tracking and display system |
| US20050047629A1 (en) | 2003-08-25 | 2005-03-03 | International Business Machines Corporation | System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking |
| US9274598B2 (en) | 2003-08-25 | 2016-03-01 | International Business Machines Corporation | System and method for selecting and activating a target object using a combination of eye gaze and key presses |
| US20050084179A1 (en) * | 2003-09-04 | 2005-04-21 | Keith Hanna | Method and apparatus for performing iris recognition from an image |
| US8098901B2 (en) * | 2005-01-26 | 2012-01-17 | Honeywell International Inc. | Standoff iris recognition system |
| US7365738B2 (en) | 2003-12-02 | 2008-04-29 | International Business Machines Corporation | Guides and indicators for eye movement monitoring systems |
| US7561143B1 (en) | 2004-03-19 | 2009-07-14 | The University of the Arts | Using gaze actions to interact with a display |
| ZA200608191B (en) * | 2004-04-01 | 2008-07-30 | William C Torch | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
| JP4818257B2 (ja) * | 2004-04-28 | 2011-11-16 | ネイタス メディカル インコーポレイテッド | 注視安定化システムの機能障害の孤立および定量 |
| PT1607840E (pt) | 2004-06-18 | 2015-05-20 | Tobii Ab | Controlo ocular de um computador |
| WO2006066218A2 (en) * | 2004-12-16 | 2006-06-22 | California Institute Of Technology | Prosthetic devices and methods and systems related thereto |
| ATE526866T1 (de) | 2005-03-04 | 2011-10-15 | Sleep Diagnostics Pty Ltd | Wachheitsmessung |
| US20060274918A1 (en) * | 2005-06-03 | 2006-12-07 | Sarnoff Corporation | Method and apparatus for designing iris biometric systems for use in minimally constrained settings |
| JP2007006393A (ja) * | 2005-06-27 | 2007-01-11 | Institute Of Physical & Chemical Research | 情報提示システム |
| US7438414B2 (en) | 2005-07-28 | 2008-10-21 | Outland Research, Llc | Gaze discriminating electronic control apparatus, system, method and computer program product |
| US7751598B2 (en) * | 2005-08-25 | 2010-07-06 | Sarnoff Corporation | Methods and systems for biometric identification |
| EP1949302B1 (fr) * | 2005-10-24 | 2016-04-13 | Itesoft S.A. | Dispositif et procede d'interaction avec un utilisateur |
| US7429108B2 (en) | 2005-11-05 | 2008-09-30 | Outland Research, Llc | Gaze-responsive interface to enhance on-screen user reading tasks |
| US8260008B2 (en) * | 2005-11-11 | 2012-09-04 | Eyelock, Inc. | Methods for performing biometric recognition of a human eye and corroboration of same |
| JP2007159610A (ja) * | 2005-12-09 | 2007-06-28 | Matsushita Electric Ind Co Ltd | 登録装置、認証装置、登録認証装置、登録方法、認証方法、登録プログラムおよび認証プログラム |
| US7760910B2 (en) | 2005-12-12 | 2010-07-20 | Eyetools, Inc. | Evaluation of visual stimuli using existing viewing data |
| JP4367424B2 (ja) * | 2006-02-21 | 2009-11-18 | 沖電気工業株式会社 | 個人識別装置，個人識別方法 |
| US8793620B2 (en) | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
| JP2007319174A (ja) * | 2006-05-30 | 2007-12-13 | Matsushita Electric Ind Co Ltd | 撮影装置およびそれを用いた認証装置 |
| US20070297653A1 (en) * | 2006-06-22 | 2007-12-27 | Rudolf Maarten Bolle | Fingerprint representation using localized texture features |
| US7574021B2 (en) * | 2006-09-18 | 2009-08-11 | Sarnoff Corporation | Iris recognition for a secure facility |
| US7970179B2 (en) * | 2006-09-25 | 2011-06-28 | Identix Incorporated | Iris data extraction |
| JP2008206143A (ja) * | 2007-01-23 | 2008-09-04 | Kanazawa Univ | 画像処理機能を備える撮像装置 |
| JP2008198028A (ja) * | 2007-02-14 | 2008-08-28 | Sony Corp | ウェアラブル装置、認証方法、およびプログラム |
| JP2008288767A (ja) | 2007-05-16 | 2008-11-27 | Sony Corp | 情報処理装置および方法、並びにプログラム |
| IL184399A0 (en) * | 2007-07-03 | 2007-10-31 | Yossi Tsuria | Content delivery system |
| US8553948B2 (en) * | 2007-09-01 | 2013-10-08 | Eyelock, Inc. | System and method for iris data acquisition for biometric identification |
| EP2235713A4 (en) | 2007-11-29 | 2012-04-25 | Oculis Labs Inc | METHOD AND APPARATUS FOR SECURE VISUAL CONTENT DISPLAY |
| CN101681201B (zh) | 2008-01-25 | 2012-10-17 | 松下电器产业株式会社 | 脑波接口系统、脑波接口装置、方法 |
| US8259169B2 (en) | 2008-02-28 | 2012-09-04 | Panasonic Corporation | Eye-gaze detecting device and eye-gaze detecting method |
| US20100045596A1 (en) | 2008-08-21 | 2010-02-25 | Sony Ericsson Mobile Communications Ab | Discreet feature highlighting |
| US7850306B2 (en) | 2008-08-28 | 2010-12-14 | Nokia Corporation | Visual cognition aware display and visual data transmission architecture |
| WO2010042557A2 (en) | 2008-10-06 | 2010-04-15 | Neuro Kinetics, Inc. | Method and apparatus for corrective secondary saccades analysis with video oculography system |
| EP2238889B1 (en) | 2009-04-01 | 2011-10-12 | Tobii Technology AB | Adaptive camera and illuminator eyetracker |
| WO2010118292A1 (en) | 2009-04-09 | 2010-10-14 | Dynavox Systems, Llc | Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods |
| US8472681B2 (en) * | 2009-06-15 | 2013-06-25 | Honeywell International Inc. | Iris and ocular recognition system using trace transforms |
| CN101943982B (zh) * | 2009-07-10 | 2012-12-12 | 北京大学 | 基于被跟踪的眼睛运动的图像操作 |
| US20110085700A1 (en) * | 2009-07-13 | 2011-04-14 | Lee Hans C | Systems and Methods for Generating Bio-Sensory Metrics |
| ES2669058T3 (es) | 2009-07-16 | 2018-05-23 | Tobii Ab | Sistema y método de detección ocular que usa flujo de datos secuencial |
| US20110047377A1 (en) * | 2009-08-19 | 2011-02-24 | Harris Corporation | Secure digital communications via biometric key generation |
| JP5613025B2 (ja) * | 2009-11-18 | 2014-10-22 | パナソニック株式会社 | 視線検出装置、視線検出方法、眼電位計測装置、ウェアラブルカメラ、ヘッドマウントディスプレイ、電子めがねおよび眼科診断装置 |
| US9507418B2 (en) * | 2010-01-21 | 2016-11-29 | Tobii Ab | Eye tracker based contextual action |
| US8922342B1 (en) * | 2010-02-15 | 2014-12-30 | Noblis, Inc. | Systems, apparatus, and methods for continuous authentication |
| US8467133B2 (en) * | 2010-02-28 | 2013-06-18 | Osterhout Group, Inc. | See-through display with an optical assembly including a wedge-shaped illumination system |
| US9759917B2 (en) * | 2010-02-28 | 2017-09-12 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered AR eyepiece interface to external devices |
| WO2011106798A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
| US9091851B2 (en) * | 2010-02-28 | 2015-07-28 | Microsoft Technology Licensing, Llc | Light control in head mounted displays |
| US8890946B2 (en) | 2010-03-01 | 2014-11-18 | Eyefluence, Inc. | Systems and methods for spatially controlled scene illumination |
| KR20110125460A (ko) | 2010-05-13 | 2011-11-21 | 김석수 | 시선추적을 이용한 제품 정보 제공 시스템 및 방법 |
| US9916006B2 (en) | 2010-07-23 | 2018-03-13 | Telepatheye Inc. | Eye-wearable device user interface and method |
| US8593375B2 (en) | 2010-07-23 | 2013-11-26 | Gregory A Maltz | Eye gaze user interface and method |
| US9213405B2 (en) | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
| US9690099B2 (en) * | 2010-12-17 | 2017-06-27 | Microsoft Technology Licensing, Llc | Optimized focal area for augmented reality displays |
| EP2499960B1 (en) * | 2011-03-18 | 2015-04-22 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Method for determining at least one parameter of two eyes by setting data rates and optical measuring device |
| US8643680B2 (en) | 2011-04-08 | 2014-02-04 | Amazon Technologies, Inc. | Gaze-based content display |
| US8682073B2 (en) * | 2011-04-28 | 2014-03-25 | Sri International | Method of pupil segmentation |
| US9256719B2 (en) * | 2011-05-18 | 2016-02-09 | Nextgenid, Inc. | Multi-biometric enrollment kiosk including biometric enrollment and verification, face recognition and fingerprint matching systems |
| US9256720B2 (en) * | 2011-05-18 | 2016-02-09 | Nextgenid, Inc. | Enrollment kiosk including biometric enrollment and verification, face recognition and fingerprint matching systems |
| US8911087B2 (en) * | 2011-05-20 | 2014-12-16 | Eyefluence, Inc. | Systems and methods for measuring reactions of head, eyes, eyelids and pupils |
| US8885877B2 (en) | 2011-05-20 | 2014-11-11 | Eyefluence, Inc. | Systems and methods for identifying gaze tracking scene reference locations |
| WO2013001143A2 (en) * | 2011-06-30 | 2013-01-03 | Nokia Corporation | Method, apparatus and computer program product for generating panorama images |
| US20130021374A1 (en) * | 2011-07-20 | 2013-01-24 | Google Inc. | Manipulating And Displaying An Image On A Wearable Computing System |
| KR102024954B1 (ko) * | 2011-08-22 | 2019-09-24 | 아이락 엘엘씨 | 아티팩트 없는 이미지들을 캡처하기 위한 시스템들 및 방법들 |
| US9342610B2 (en) | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
| JP6144681B2 (ja) * | 2011-08-30 | 2017-06-07 | マイクロソフト テクノロジー ライセンシング，エルエルシー | 虹彩スキャン・プロファイリング機能を有する頭部装着ディスプレイ |
| US8223024B1 (en) * | 2011-09-21 | 2012-07-17 | Google Inc. | Locking mechanism based on unnatural movement of head-mounted display |
| EP3200046A1 (en) * | 2011-10-27 | 2017-08-02 | Tobii Technology AB | Power management in an eye-tracking system |
| WO2013066334A1 (en) * | 2011-11-03 | 2013-05-10 | Intel Corporation | Eye gaze based image capture |
| US8929589B2 (en) | 2011-11-07 | 2015-01-06 | Eyefluence, Inc. | Systems and methods for high-resolution gaze tracking |
| KR101891786B1 (ko) | 2011-11-29 | 2018-08-27 | 삼성전자주식회사 | 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기 |
| US8235529B1 (en) * | 2011-11-30 | 2012-08-07 | Google Inc. | Unlocking a screen using eye tracking information |
| US8955973B2 (en) | 2012-01-06 | 2015-02-17 | Google Inc. | Method and system for input detection using structured light projection |
| WO2013111140A2 (en) * | 2012-01-26 | 2013-08-01 | Umoove Services Ltd. | Eye tracking |
| US9001030B2 (en) * | 2012-02-15 | 2015-04-07 | Google Inc. | Heads up display |
| KR101158502B1 (ko) * | 2012-02-16 | 2012-06-20 | 김유정 | 액세스 컨트롤용 사용자 인식 장치 |
| WO2013132162A1 (en) * | 2012-03-09 | 2013-09-12 | Ocuspecto Oy | Method for assessing function of the visual system and apparatus thereof |
| US11169611B2 (en) | 2012-03-26 | 2021-11-09 | Apple Inc. | Enhanced virtual touchpad |
| US9082011B2 (en) | 2012-03-28 | 2015-07-14 | Texas State University—San Marcos | Person identification using ocular biometrics with liveness detection |
| US8864310B2 (en) | 2012-05-01 | 2014-10-21 | RightEye, LLC | Systems and methods for evaluating human eye tracking |
| DE102012105664A1 (de) | 2012-06-28 | 2014-04-10 | Oliver Hein | Verfahren und Vorrichtung zur Kodierung von Augen- und Blickverlaufsdaten |
| JP2014044654A (ja) * | 2012-08-28 | 2014-03-13 | Nikon Corp | 情報入出力装置 |
| US9189064B2 (en) | 2012-09-05 | 2015-11-17 | Apple Inc. | Delay of display event based on user gaze |
| US20140092006A1 (en) | 2012-09-28 | 2014-04-03 | Joshua Boelter | Device and method for modifying rendering based on viewer focus area from eye tracking |
| US9176581B2 (en) * | 2012-09-28 | 2015-11-03 | Intel Corporation | System and method for inferring user intent based on eye movement during observation of a display screen |
| JP5873982B2 (ja) | 2012-10-09 | 2016-03-01 | パナソニックＩｐマネジメント株式会社 | ３次元表示装置、３次元画像処理装置および３次元表示方法 |
| JP2014092940A (ja) * | 2012-11-02 | 2014-05-19 | Sony Corp | 画像表示装置及び画像表示方法、並びにコンピューター・プログラム |
| JP2014092941A (ja) * | 2012-11-02 | 2014-05-19 | Sony Corp | 情報処理装置及び情報処理方法、並びにコンピューター・プログラム |
| US9626072B2 (en) * | 2012-11-07 | 2017-04-18 | Honda Motor Co., Ltd. | Eye gaze control system |
| US9674510B2 (en) | 2012-11-21 | 2017-06-06 | Elwha Llc | Pulsed projection system for 3D video |
| US9083757B2 (en) | 2012-11-21 | 2015-07-14 | Telefonaktiebolaget L M Ericsson LLP | Multi-objective server placement determination |
| JP5652886B2 (ja) * | 2012-11-28 | 2015-01-14 | Ｎｅｃカシオモバイルコミュニケーションズ株式会社 | 顔認証装置、認証方法とそのプログラム、情報機器 |
| CN104903818B (zh) | 2012-12-06 | 2018-12-14 | 谷歌有限责任公司 | 眼睛跟踪佩戴式设备和使用方法 |
| JP6452617B2 (ja) * | 2012-12-10 | 2019-01-16 | エスアールアイ インターナショナルＳＲＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ | バイオメトリク虹彩照合システム |
| WO2014098798A1 (en) | 2012-12-17 | 2014-06-26 | Empire Technology Development, Llc | Progressively triggered auto-fill |
| US10884577B2 (en) | 2013-01-15 | 2021-01-05 | Poow Innovation Ltd. | Identification of dynamic icons based on eye movement |
| US9829971B2 (en) | 2013-01-21 | 2017-11-28 | Facebook, Inc. | Systems and methods of eye tracking control |
| US9070015B2 (en) * | 2013-02-07 | 2015-06-30 | Ittiam Systems (P) Ltd. | System and method for iris detection in digital images |
| US9791921B2 (en) | 2013-02-19 | 2017-10-17 | Microsoft Technology Licensing, Llc | Context-aware augmented reality object commands |
| KR102093198B1 (ko) | 2013-02-21 | 2020-03-25 | 삼성전자주식회사 | 시선 인식을 이용한 사용자 인터페이스 방법 및 장치 |
| KR102175853B1 (ko) | 2013-02-22 | 2020-11-06 | 삼성전자주식회사 | 동작 제어 방법 및 그 전자 장치 |
| KR20160005013A (ko) | 2013-03-01 | 2016-01-13 | 토비 에이비 | 지연 워프 시선 상호작용 |
| US9851803B2 (en) * | 2013-03-15 | 2017-12-26 | Eyecam, LLC | Autonomous computing and telecommunications head-up displays glasses |
| US10270748B2 (en) | 2013-03-22 | 2019-04-23 | Nok Nok Labs, Inc. | Advanced authentication techniques and applications |
| US9396320B2 (en) | 2013-03-22 | 2016-07-19 | Nok Nok Labs, Inc. | System and method for non-intrusive, privacy-preserving authentication |
| KR101627290B1 (ko) * | 2013-04-16 | 2016-06-21 | 구태언 | 보안강화 머리착용형 디스플레이 장치 및 그 장치를 통해 암호화된 정보에 액세스 하는 방법 |
| US9979547B2 (en) * | 2013-05-08 | 2018-05-22 | Google Llc | Password management |
| KR101882594B1 (ko) * | 2013-09-03 | 2018-07-26 | 토비 에이비 | 휴대용 눈 추적 디바이스 |
| US9582716B2 (en) * | 2013-09-09 | 2017-02-28 | Delta ID Inc. | Apparatuses and methods for iris based biometric recognition |
| US9870060B2 (en) | 2013-12-31 | 2018-01-16 | Google Llc | Systems and methods for gaze-based media selection and editing |
| US10564714B2 (en) | 2014-05-09 | 2020-02-18 | Google Llc | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
| KR102173699B1 (ko) | 2014-05-09 | 2020-11-03 | 아이플루언스, 인크. | 안구 신호들의 인식 및 지속적인 생체 인증을 위한 시스템과 방법들 |
| US20160364609A1 (en) * | 2015-06-12 | 2016-12-15 | Delta ID Inc. | Apparatuses and methods for iris based biometric recognition |
-
2015
- 2015-05-09 KR KR1020167034652A patent/KR102173699B1/ko active IP Right Grant
- 2015-05-09 WO PCT/US2015/030050 patent/WO2016018487A2/en active Application Filing
- 2015-05-09 US US14/708,234 patent/US10620700B2/en active Active
- 2015-05-09 JP JP2017511568A patent/JP2017526078A/ja active Pending
- 2015-05-09 WO PCT/US2015/030052 patent/WO2016018488A2/en active Application Filing
- 2015-05-09 EP EP15789095.5A patent/EP3140779A4/en not_active Withdrawn
- 2015-05-09 JP JP2017511567A patent/JP2017527036A/ja active Pending
- 2015-05-09 AU AU2015297036A patent/AU2015297036B2/en active Active
- 2015-05-09 KR KR1020207030953A patent/KR20200127267A/ko not_active Application Discontinuation
- 2015-05-09 KR KR1020167034651A patent/KR20170046108A/ko not_active IP Right Cessation
- 2015-05-09 EP EP15827954.7A patent/EP3140780B1/en active Active
- 2015-05-09 CN CN201580031094.1A patent/CN106462743A/zh active Pending
- 2015-05-09 EP EP15826370.7A patent/EP3140719B1/en active Active
- 2015-05-09 US US14/708,241 patent/US9600069B2/en active Active
- 2015-05-09 CN CN201580035714.9A patent/CN106537290B/zh active Active
- 2015-05-09 US US14/708,229 patent/US20150324568A1/en not_active Abandoned
- 2015-05-09 JP JP2017511569A patent/JP6550460B2/ja active Active
- 2015-05-09 CN CN201580034682.0A patent/CN107087431B/zh active Active
- 2015-05-09 AU AU2015297035A patent/AU2015297035B2/en active Active
- 2015-05-09 WO PCT/US2015/030047 patent/WO2015172124A1/en active Application Filing
- 2015-05-09 KR KR1020167034649A patent/KR102230172B1/ko active IP Right Grant
- 2015-05-09 AU AU2015255652A patent/AU2015255652B2/en active Active
- 2015-11-02 US US14/930,617 patent/US9823744B2/en active Active
- 2015-11-10 US US14/937,782 patent/US20160062459A1/en not_active Abandoned
-
2016
- 2016-04-18 US US15/131,273 patent/US20160274660A1/en active Pending
-
2017
- 2017-01-27 US US15/418,034 patent/US10156900B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090125849A1 (en) | 2005-10-28 | 2009-05-14 | Tobii Technology Ab | Eye Tracker with Visual Feedback |
| US20140002352A1 (en) | 2012-05-09 | 2014-01-02 | Michal Jacob | Eye tracking based selective accentuation of portions of a display |
| US20140380230A1 (en) | 2013-06-25 | 2014-12-25 | Morgan Kolya Venable | Selecting user interface elements via position signal |
| US20150212576A1 (en) | 2014-01-28 | 2015-07-30 | Anthony J. Ambrus | Radial selection by vestibulo-ocular reflex fixation |
Also Published As
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102230172B1 (ko) | 실제 및 가상의 객체와 인터페이싱하기 위한 생체기계학-기반의 안구 신호를 위한 시스템 및 방법 | |
| CN112507799B (zh) | 基于眼动注视点引导的图像识别方法、mr眼镜及介质 | |
| CN111949131B (zh) | 一种基于眼动追踪技术的眼动交互方法、系统及设备 | |
| EP3335096B1 (en) | System and method for biomechanically-based eye signals for interacting with real and virtual objects | |
| US10564714B2 (en) | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects | |
| US10082940B2 (en) | Text functions in augmented reality | |
| CN112181152B (zh) | 基于mr眼镜的广告推送管理方法、设备及应用 | |
| CN112034977B (zh) | Mr智能眼镜内容交互、信息输入、应用推荐技术的方法 | |
| US20170115742A1 (en) | Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command | |
| CN112567287A (zh) | 具有帧调制功能的增强现实显示 | |
| CN115185366A (zh) | 用户界面菜单的情景感知 | |
| Vatavu | Visual impairments and mobile touchscreen interaction: state-of-the-art, causes of visual impairment, and design guidelines | |
| CN114546102B (zh) | 眼动追踪滑行输入方法、系统、智能终端及眼动追踪装置 | |
| Toet | Gaze directed displays as an enabling technology for attention aware systems | |
| Edughele et al. | Eye-tracking assistive technologies for individuals with amyotrophic lateral sclerosis | |
| US20170206508A1 (en) | Method and arrangement for generating event data | |
| Mahajan | Multimodal interface integrating eye gaze tracking and speech recognition | |
| CN117980867A (zh) | 基于对照明的生理响应的交互事件 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |