KR20180083252A - 실제 객체 및 가상 객체와 상호작용하기 위한 생체기계적 기반의 안구 신호를 위한 시스템 및 방법 - Google Patents
실제 객체 및 가상 객체와 상호작용하기 위한 생체기계적 기반의 안구 신호를 위한 시스템 및 방법 Download PDFInfo
- Publication number
- KR20180083252A KR20180083252A KR1020177031497A KR20177031497A KR20180083252A KR 20180083252 A KR20180083252 A KR 20180083252A KR 1020177031497 A KR1020177031497 A KR 1020177031497A KR 20177031497 A KR20177031497 A KR 20177031497A KR 20180083252 A KR20180083252 A KR 20180083252A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- display
- detector
- eyes
- identifying
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 401
- 210000001508 eye Anatomy 0.000 claims abstract description 614
- 230000033001 locomotion Effects 0.000 claims abstract description 262
- 210000005252 bulbus oculi Anatomy 0.000 claims abstract description 50
- 230000004424 eye movement Effects 0.000 claims description 300
- 230000004913 activation Effects 0.000 claims description 203
- 230000009471 action Effects 0.000 claims description 170
- 230000006870 function Effects 0.000 claims description 143
- 230000000007 visual effect Effects 0.000 claims description 74
- 230000008859 change Effects 0.000 claims description 48
- 238000012937 correction Methods 0.000 claims description 47
- 230000008447 perception Effects 0.000 claims description 46
- 230000000694 effects Effects 0.000 claims description 44
- 230000011664 signaling Effects 0.000 claims description 41
- 210000003128 head Anatomy 0.000 claims description 37
- 230000001965 increasing effect Effects 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 29
- 230000002829 reductive effect Effects 0.000 claims description 28
- 238000009877 rendering Methods 0.000 claims description 28
- 230000001629 suppression Effects 0.000 claims description 28
- 238000013528 artificial neural network Methods 0.000 claims description 26
- 230000015654 memory Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 24
- 230000003190 augmentative effect Effects 0.000 claims description 23
- 230000004886 head movement Effects 0.000 claims description 22
- 238000004891 communication Methods 0.000 claims description 21
- 230000007704 transition Effects 0.000 claims description 15
- 230000005540 biological transmission Effects 0.000 claims description 14
- 230000004962 physiological condition Effects 0.000 claims description 14
- 210000001525 retina Anatomy 0.000 claims description 14
- 210000001747 pupil Anatomy 0.000 claims description 13
- 230000004397 blinking Effects 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 12
- 230000006399 behavior Effects 0.000 claims description 9
- 201000004569 Blindness Diseases 0.000 claims description 8
- 230000001720 vestibular Effects 0.000 claims description 8
- 230000005764 inhibitory process Effects 0.000 claims description 7
- 238000012986 modification Methods 0.000 claims description 7
- 230000004048 modification Effects 0.000 claims description 7
- 206010044565 Tremor Diseases 0.000 claims description 6
- 230000006998 cognitive state Effects 0.000 claims description 6
- 230000003247 decreasing effect Effects 0.000 claims description 4
- 238000005286 illumination Methods 0.000 claims description 4
- 230000000977 initiatory effect Effects 0.000 claims description 4
- 230000000926 neurological effect Effects 0.000 claims description 4
- 238000001429 visible spectrum Methods 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 3
- 229940079593 drug Drugs 0.000 claims description 3
- 239000003814 drug Substances 0.000 claims description 3
- 230000003565 oculomotor Effects 0.000 claims description 3
- 230000010344 pupil dilation Effects 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 3
- 231100000430 skin reaction Toxicity 0.000 claims 1
- 230000004470 vergence movement Effects 0.000 claims 1
- 230000001755 vocal effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 13
- 230000002269 spontaneous effect Effects 0.000 abstract description 5
- 230000002452 interceptive effect Effects 0.000 abstract description 3
- 230000015572 biosynthetic process Effects 0.000 abstract description 2
- 238000001994 activation Methods 0.000 description 163
- 230000008569 process Effects 0.000 description 109
- 238000005259 measurement Methods 0.000 description 46
- 210000003811 finger Anatomy 0.000 description 37
- 230000003993 interaction Effects 0.000 description 29
- 210000004027 cell Anatomy 0.000 description 27
- 239000011159 matrix material Substances 0.000 description 23
- 230000009191 jumping Effects 0.000 description 21
- 238000013459 approach Methods 0.000 description 20
- 210000004247 hand Anatomy 0.000 description 20
- 230000001149 cognitive effect Effects 0.000 description 16
- 230000007246 mechanism Effects 0.000 description 16
- 241000699666 Mus <mouse, genus> Species 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 13
- 238000013479 data entry Methods 0.000 description 13
- 230000002093 peripheral effect Effects 0.000 description 13
- 206010041929 Staphylococcal scalded skin syndrome Diseases 0.000 description 11
- 230000008901 benefit Effects 0.000 description 11
- 238000013507 mapping Methods 0.000 description 11
- 239000003607 modifier Substances 0.000 description 10
- 238000003825 pressing Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000012935 Averaging Methods 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 8
- 230000001133 acceleration Effects 0.000 description 7
- 230000004438 eyesight Effects 0.000 description 7
- 230000004461 rapid eye movement Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 7
- 239000003086 colorant Substances 0.000 description 6
- 230000007423 decrease Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 210000000744 eyelid Anatomy 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 5
- 230000019771 cognition Effects 0.000 description 5
- 230000001934 delay Effects 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 230000010355 oscillation Effects 0.000 description 5
- 230000003252 repetitive effect Effects 0.000 description 5
- 230000003068 static effect Effects 0.000 description 5
- 230000002123 temporal effect Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 241000282412 Homo Species 0.000 description 4
- 241000699670 Mus sp. Species 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000001419 dependent effect Effects 0.000 description 4
- 238000009826 distribution Methods 0.000 description 4
- 230000003203 everyday effect Effects 0.000 description 4
- 230000001976 improved effect Effects 0.000 description 4
- 210000001232 limbus corneae Anatomy 0.000 description 4
- 210000003205 muscle Anatomy 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 208000003464 asthenopia Diseases 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 210000004709 eyebrow Anatomy 0.000 description 3
- 210000000887 face Anatomy 0.000 description 3
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 230000035479 physiological effects, processes and functions Effects 0.000 description 3
- 239000000047 product Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000010079 rubber tapping Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000012043 vestibular reflex Effects 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 241000287181 Sturnus vulgaris Species 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000003169 central nervous system Anatomy 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000000873 masking effect Effects 0.000 description 2
- 210000001328 optic nerve Anatomy 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 230000002265 prevention Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 230000033764 rhythmic process Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000006886 spatial memory Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 230000004304 visual acuity Effects 0.000 description 2
- 238000004804 winding Methods 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- 206010057315 Daydreaming Diseases 0.000 description 1
- 241000283086 Equidae Species 0.000 description 1
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 206010025421 Macule Diseases 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 108010076504 Protein Sorting Signals Proteins 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 208000004350 Strabismus Diseases 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 208000003443 Unconsciousness Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000003592 biomimetic effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000008933 bodily movement Effects 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 210000000695 crystalline len Anatomy 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 230000000763 evoking effect Effects 0.000 description 1
- 230000004384 eye physiology Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 210000001145 finger joint Anatomy 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 210000002287 horizontal cell Anatomy 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 230000004751 neurological system process Effects 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 230000002028 premature Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000000452 restraining effect Effects 0.000 description 1
- 230000004508 retinal signalling Effects 0.000 description 1
- 230000001711 saccadic effect Effects 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000015541 sensory perception of touch Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000007727 signaling mechanism Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 238000010408 sweeping Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013518 transcription Methods 0.000 description 1
- 230000035897 transcription Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000007723 transport mechanism Effects 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
- 238000013022 venting Methods 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 230000002747 voluntary effect Effects 0.000 description 1
- 230000021542 voluntary musculoskeletal movement Effects 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
- G06F3/0236—Character input methods using selection techniques to select from displayed items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
- G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G1/00—Means for the representation of music
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Optics & Photonics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Ophthalmology & Optometry (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Biophysics (AREA)
- Acoustics & Sound (AREA)
- User Interface Of Digital Computer (AREA)
- Eye Examination Apparatus (AREA)
- Image Analysis (AREA)
- Position Input By Displaying (AREA)
Abstract
주로 안구들의 운동들에 기반하여 디바이스 착용자의 의도를 파악하기 위한 시스템 및 방법이 제공된다. 시스템은 안구 추적을 실시하고 스크린 디스플레이를 제어하는 비간섭형 헤드웨어 내에 포함될 수 있다. 시스템은 또한 원격 안구 추적 카메라(들), 원격 디스플레이들 및/또는 기타 보조 입력 장치를 활용할 수 있다. 스크린 레이아웃은 신속한 안구 신호들의 형성 및 신뢰적인 검출을 가능하게 하도록 최적화된다. 안구 신호의 검출은 디바이스 착용자에 의한 자발적인 제어 하에 있는 안구의 생리적인 운동을 추적하는 것에 기반하고 있다. 안구 신호들의 검출은 착용형 컴퓨팅 및 광범위한 디스플레이 디바이스들과 호환될 수 있는 동작들을 일으킨다.
Description
본 출원은 본 출원과 동시 계류 중인 2015년 8월 15일자 미국특허가출원 번호 62/025,707, 2015년 11월 6일자 미국특허가출원 번호 62/252,347, 및 2016년 4월 7일자 미국특허가출원 번호 62/319,751의 우선권의 이익을 주장하며, 또한 2014년 5월 9일자 미국특허가출원 번호 61/991,435, 2014년 7월 13일자 미국특허가출원 번호 62/023,940, 2014년 7월 22일자 미국특허가출원 번호 62/027,774, 2014년 7월 22일자 미국특허가출원 번호 62/027,777, 2014년 8월 19일자 미국특허가출원 번호 62/038,984, 2014년 8월 19일자 미국특허가출원 번호 62/039,001, 2014년 9월 4일자 미국특허가출원 번호 62/046,072, 2014년 11월 4일자 미국특허가출원 번호 62/074,920, 및 2014년 11월 4일자 미국특허가출원 번호 62/074,927의 이익을 얻는, 본 출원과 동시 계류 중인 2015년 5월 9일자 미국특허출원 번호들 14/708,234, 14/708,241 및 14/708,229의 부분계속출원이며, 이 모든 출원들의 전체 내용들이 참조에 의해 본 명세서 내에 통합된다.
본 명세서 내에 포함된 내용들은 저작권 보호를 받는다. 본 출원이 미국 특허상표청에 출원되어 기록된 것으로 보기 때문에 저작권자는 누구든지 특허 문서 또는 특허 내용을 팩시밀리 재생하는 것에 반대하지 않지만, 그 외에는 무엇이든 저작권에 따라 그 권리가 유보되어 있다. 아래의 통지는 아래에서 그리고 첨부된 도면들에서 설명하는 바와 같이 소프트웨어, 스크린샷 및 데이터에 적용되고, 모든 권리는 유보되어 있다.
본 발명은 대체로 사용자의 의도를 파악(DIU: Discerning the Intent of a User)하고, 후속해서 선택적인 보조 입력 지원과 함께 사용자의 안구들을 주로 이용하여 컴퓨터 및 다른 디바이스들을 제어하고 이들과 상호작용하기 위한 시스템 및 방법에 관한 것이다. 시스템은 인간-기계 인터페이스(HMI: Human-Machine Interface), 착용형 컴퓨터, 인간 생리학, 이미지 처리 및 딥 러닝(deep learning)의 분야 내의 기법들을 활용한다. 시스템은 머리 장착형 디스플레이(HMD: Head-Mounted Display), 원격 디스플레이들 및/또는 기타 착용형 센서들 또는 액추에이터들과 선택적으로 결합될 수 있는 거치적거리지 않는 안구 추적 헤드웨어 및/또는 원격 안구 추적 하드웨어 내에서 실시될 수 있다. 시스템은 로컬 및 원격 컴퓨팅 디바이스들을 제어하고 이들과 상호작용하는 사용하기 쉽고, 직관적이고, 유연한 입력 메커니즘을 사용자에게 제공할 수 있다.
컴퓨터 마우스들, 조이스틱들 및 기타 수동 입력 디바이스들은 인간-기계 상호작용 도중에 위치 정보를 특정하기 위한 보편적인 툴들이다. 착용형 컴퓨터의 출현과 함께, 적절한 작동을 위해 정지된 표면들을 대체로 요구하는 이러한 크고 거치적거리는 디바이스들은 신체에 착용되도록 설계된 장치의 휴대성과 호환되지 않는다.
디스플레이들을 주시하고 디스플레이 상의 가상 객체들에 또는 디바이스 사용자의 환경 내의 실제 객체 대한 위치 정보를 의도적으로 특정하는 데 안구 추적이 사용될 수 있다. 그러나 안구들은 또한 일반적인 인간 활동들 중에도 광범위하게 사용된다. 따라서, 상호 작용 및 제어를 위한 입력 데이터 스트림으로 안구 위치를 이용할 때의 과제는 안구 운동들에 기반하여 사용자의 의도를 파악(DIYU)하는 것이다 본 명세서 내의 개시된 시스템 및 방법의 목적들 중 하나는 일반적인 일상 활동들과 대비하여 디바이스와 상호작용하고 디바이스를 제어하도록 의도되는, 본 명세서에서 "안구 신호(eye signal)"로 지칭되는, 의도적이고 자발적인 운동들과 관련된 안구 운동들을 구별하는 것이다.
개인들의 환경을 시각화하고 환경과 상호작용하는 개인들의 능력을 유지하면서 안구 운동들로부터 의도를 파악하기 위해 새로운 패러다임이 요구된다.
앞서의 설명을 고려하여, 본 명세서에서는 하나 이상의 안구의 의도적인 운동에 실질적으로 기반하여 하나 이상의 사용자의 다양한 의도들 또는 조작 목적을 실질적으로 연속으로 파악하기 위한 시스템 및 방법이 제공된다.
일 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 검출기를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 깜빡일 때를, 검출기로, 식별하는 단계; 깜빡임에 이어지는 깜빡임-후 깜빡임 기간 이내에 사용자의 한쪽 또는 양쪽 안구의 안구 운동이 시작하는 것을, 검출기로, 확인하는 단계; 안구 운동이 사전 결정된 깜빡임-후 도약 임계 속도를 초과하는 사용자의 한쪽 또는 양쪽 안구의 도약 속도에 기반하는 도약인 것을, 검출기로, 분류하는 단계; 및 도약 안구 운동과 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기 및 디스플레이를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 객체에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 객체로부터 디스플레이 상의 타겟 위치를 향하는 도약을, 검출기로, 식별하는 단계; 도약을 식별하는 단계에 적어도 부분적으로 기반하여, 도약 중의 디스플레이 상에서, 디스플레이되는 객체들 중 하나 이상의 위치를 디스플레이 상의 타겟 위치 둘레의 사전 정의된 영역 내에서 이동시키는 단계; 타겟 위치로부터 사전 결정된 거리 이내까지 도약이 완료됨을, 검출기로, 확인하는 단계; 디스플레이되는 객체들 중 하나를 추종하는 하나 이상의 안구 응시 운동을, 검출기로, 결정하고, 이에 의해 추종되는 객체를 식별하는 단계; 및 타겟 위치 및 추종되는 객체 중 하나 이상에 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 제1 키보드 상의 제1 키에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 제1 키로부터 제2 키보드 상의 제2 키를 향하는 제1 도약을, 검출기로, 식별하는 단계; 제1 도약이 제2 키의 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계; 및 사용자에 의한 제2 키의 지각을 기다리지 않고 제1 키 및 제2 키 중 하나 또는 둘 다와 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기를 이용하여, 제공하기 위한 방법으로, 다수의 키를 구비하는 제1 영역을 포함하는 제1 키보드 및 다수의 키를 구비하는 제2 영역을 포함하는 제2 키보드를 제공하는 단계; 사용자의 한쪽 또는 양쪽 안구가 제1 키보드의 제1 영역에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 제1 키보드의 제1 키에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 제1 키로부터 제2 키보드의 제2 영역을 향하는 제1 도약을, 검출기로, 식별하는 단계; 제1 도약이 제2 키보드의 제2 영역 내에서 완료되는 것을, 검출기로, 확인하는 단계; 및 사용자에 의한 제2 키보드의 제2 영역의 지각을 기다리지 않고 제1 키와 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기를 이용하여, 제공하는 방법으로, 다수의 아이콘을 구비하는 제1 영역을 포함하는 제1 필드 및 다수의 아이콘들을 구비하는 제2 영역을 포함하는 제2 필드를 디스플레이 상에 제시하는 단계; 사용자의 한쪽 또는 양쪽 안구가 제1 필드의 제1 영역에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 제1 필드의 제1 아이콘에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 제1 아이콘으로부터 제2 필드의 제2 영역으로 향하는 제1 도약을, 검출기로, 식별하는 단계; 제1 도약이 제2 필드의 제2 영역 내에서 완료되는 것을, 검출기로, 확인하는 단계; 및 제1 도약이 제1 아이콘으로부터 제2 영역까지 완료되는 것이 확인되면, 사용자에 의한 제2 영역의 지각을 기다리지 않고 제1 아이콘과 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 키보드 및 검출기를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 키보드 상의 제1 키에 지향될 때를, 검출기로, 검출하는 단계; 사용자의 한쪽 또는 양쪽 안구가 제1 키로부터 키보드 상의 제2 키를 향하는 제1 도약을, 검출기로, 식별하는 단계; 도약이 제2 키의 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계; 및 사용자에 의한 제2 키의 지각을 기다리지 않고 제1 키 및 제2 키 중 하나 또는 둘 다와 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 키보드와 검출기를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 키보드 상의 제1 키에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 제1 키로부터 키보드 상의 제2 키를 향하는 제1 도약을, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 키보드 상의 제2 키를 향해 더 지향되는 하나 이상의 정정 도약을, 검출기로, 식별하는 단계; 하나 이상의 정정 도약 중 적어도 하나가 제2 키의 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계; 및 사용자에 의한 제2 키의 지각을 기다리지 않고 제1 키 및 제2 키 중 하나 또는 둘 다와 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 키보드 및 검출기를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 키보드 상의 제1 키의 위치로부터 사전 결정된 거리 내에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 제1 키로부터 키보드 상의 제2 키를 향하는 제1 도약을, 검출기로, 식별하는 단계; 도약이 제2 키의 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계; 및 사용자의 주의를 환기시키지 않도록 디스플레이를 변화시키지 않으면서 제1 키 및 제2 키 중 하나 또는 둘 다와 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 키보드, 디스플레이 및 검출기를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 키보드 상의 제1 위치에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 제1 위치로부터 디스플레이 상의 자동 완성 활성화 타겟 위치에 있는 자동 완성 활성화 타겟을 향해 제1 도약하는 것을, 검출기로, 식별하는 단계; 데이터 세트의 하나 이상의 완성 요소를 디스플레이 상의 자동 완성 활성화 타겟 위치 주위의 사전 결정된 구역 내에 표시하는 단계; 하나 이상의 완성 요소 중 하나의 선택을 지시하는 선택 안구 운동을 수행하고, 이에 의해 선택된 완성 요소를 식별하는 단계; 및 선택된 완성 요소를 데이터 세트에 첨부하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 키보드 및 검출기를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 키보드 상의 제1 키의 위치로부터 사전 결정된 거리 이내에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 제1 키로부터 키보드 상의 제2 키를 향하는 제1 도약을, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 키보드 상의 하나 이상의 추가 키를 향하는 하나 이상의 추가 도약을, 검출기로, 식별하는 단계; 제1 도약 및 하나 이상의 추가 도약을 가지고 안구 운동들의 패턴을 식별하는 단계; 안구 운동들의 패턴을 신경망의 입력으로 이용하여 하나 이상의 알파뉴메릭 문자를 분류하는 단계; 및 하나 이상의 알파뉴메릭 문자와 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기 및 디스플레이를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 제1 위치에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 제1 위치로부터 디스플레이 상의 제1 활성화 타겟 위치에 있는 제1 활성화 타겟을 향하는 제1 도약을, 검출기로, 식별하는 단계; 디스플레이로부터 제1 활성화 타겟을 제거하고, 제1 활성화 타겟 위치와 비교하여 다른 제2 활성화 타겟 위치에서 제2 활성화 타겟을 디스플레이 상에 제시하는 단계; 사용자의 한쪽 또는 양쪽 안구가 제1 활성화 타겟 위치로부터 디스플레이 상의 제2 위치를 향하는 제2 도약을, 검출기로, 식별하는 단계; 제2 도약이 제2 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계; 사용자의 한쪽 또는 양쪽 안구가 제2 위치로부터 디스플레이 상의 제2 활성화 위치를 향하는 제3 도약을, 검출기로, 식별하는 단계; 및 제1 위치, 제1 활성화 타겟, 제2 위치 및 제2 활성화 타겟 중 하나 이상과 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기를 이용하여, 제공하는 방법으로, 사용자의 한쪽 또는 양쪽 안구가 스케일(scale) 내의 주시 위치에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 스케일 내의 주시 위치로부터 활성화 타겟 위치에 있는 활성화 타겟을 향하는 도약을, 검출기로, 식별하는 단계; 도약이 활성화 타겟 위치로부터 사전 결정된 거리 이내에서 완료되는 것을, 검출기로, 확인하는 단계; 및 스케일의 위치에 대한 스케일 내의 주시 위치 및 활성화 타겟 중 하나 또는 둘 다에 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 파악하는 그래픽 사용자 인터페이스를, 검출기를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 객체 위치에 있는 객체로부터 사전 결정된 거리 이내에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 객체로부터 타겟 위치에 있는 타겟을 향하는 도약을, 검출기로, 식별하는 단계; 도약이 타겟 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계; 및 타겟의 지각 전에, 객체, 객체 위치, 타겟 및 타겟 위치 중 하나 이상과 관련된 액션을 수행하는 단계를 포함하고, 액션이 사용자의 시각적 주의를 환기시키지 않도록 설계된 사용자 피드백을 제공하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그랙픽 사용자 인터페이스를, 검출기 및 주시 디바이스를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 객체 위치에 있는 객체에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 객체 위치로부터 제1 타겟 위치에 있는 제1 타겟을 향하는 제1 도약을, 검출기로, 식별하는 단계; 제1 도약 도중에, 사용자의 제1 타겟의 주시를, 주시 디바이스로, 변화시켜 갭 효과를 발생시키는 단계; 사용자의 한쪽 또는 양쪽 안구가 제1 타겟 위치로부터 제2 타겟 위치에 있는 제2 타겟을 향하는 제2 도약을, 검출기로, 식별하는 단계; 제2 도약이 제2 타겟 위치로부터 사전 결정된 거리 이내에서 완료되는 것을, 검출기로, 확인하는 단계; 및 객체, 객체 위치, 제1 타겟, 제1 타겟 위치, 제2 타겟 및 제2 타겟 위치 중 하나 이상과 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 디스플레이 및 검출기를 이용하여, 제공하기 위한 방법으로, 사용자의 환경 내에 위치된 객체들을, 사용자로부터 떨어진 곳을 지향하는 장면 카메라로, 식별하는 단계; 사용자의 환경 내에 위치된 하나 이상의 객체가 중요도가 높은 객체들인지 여부를, 객체 템플릿들의 데이터베이스로, 결정하는 단계; 디스플레이 상에 표시하도록 예정된 착신 데이터 세트를, 통신 장치를 이용하여, 수신하는 단계; 및 사용자의 환경에 중요도가 높은 객체가 전혀 존재하지 않는 것으로 결정될 때에만 착신 데이터 세트를 표시하는 단계를 포함하는 방법이 제공된다.
다른 실시예에 따르면, 사용자들의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 두(2) 명의 착용형 디바이스 사용자들의 의도를, 장면 카메라 및 검출기를 이용하여, 결정하는 방법으로, 제2 착용형 디바이스 사용자의 한쪽 또는 양쪽 안구를 포함하는 하나 이상의 장면 카메라 이미지들 내의 구역을, 제1 착용형 디바이스 사용자와 관련된 제1 착용형 디바이스와 결합되어 작동하는 장면 카메라로, 식별하는 단계; 제2 착용형 디바이스 사용자의 한쪽 또는 양쪽 안구가 사전 결정된 각도 범위 내에서 제1 착용형 디바이스 사용자를 지향할 때를, 이미지 인식을 이용하여, 식별하는 단계; 제2 착용형 디바이스 사용자의 한쪽 또는 양쪽 안구가 사전 결정된 시간 동안 제1 착용형 디바이스 사용자를 지향하는 것을 확인하는 단계; 및 제1 착용형 디바이스 사용자와 관련된 제1 착용형 디바이스 및 제2 착용형 디바이스 사용자와 관련된 제2 착용형 디바이스 간의 전자 통신을 허용하는 단계를 포함하는 방법이 제공된다.
다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 디스플레이, 하나 이상의 장면 카메라 및 검출기를 이용하여, 제공하기 위한 방법으로, 사용자의 환경에서 주시되는 객체를, 사용자의 환경을 지향하는 하나 이상의 카메라로, 식별하는 단계; 디스플레이 상에 표시되도록 예정된 하나 이상의 착신 데이터 세트를, 통신 장치를 이용하여, 수신하는 단계; 및 디스플레이 상에서 사용자에게 표시되는 데이터 세트들의 선택과 타이밍을, 하나 이상의 사전 결정된 사용자 선호도에 기반하여, 결정하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 착용형 디바이스 사용자의 의도를, 착용형 디바이스 사용자와 관련된 착용형 디바이스의 장면 카메라 및 검출기를 이용하여, 결정하는 방법으로, 주시되는 개인의 한쪽 또는 양쪽 안구를 포함하는 하나 이상의 장면 카메라 이미지들 내의 구역을, 착용형 디바이스의 장면 카메라로, 식별하는 단계; 착용형 디바이스 사용자의 응시가 사전 결정된 각도 범위 내에서 주시되는 개인의 한쪽 또는 양쪽 안구에 지향되는 것을, 검출기 및 장면 카메라를 이용하여, 식별하는 단계; 주시되는 개인의 한쪽 또는 양쪽 안구가 사전 결정된 각도 범위 내에서 착용형 디바이스 사용자에 지향될 때를, 이미지 인식을 이용하여, 식별하는 단계; 및 착용형 디바이스로 액션을 수행하는 단계를 포함하는 방법이 제공된다.
다른 실시예에 따르면, 사용자들의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 두(2) 명의 착용형 디바이스 사용자들의 의도를, 장면 카메라 및 하나 이상의 비콘을 이용하여, 결정하는 방법으로, 제2 착용형 디바이스 사용자와 관련된 제2 착용형 디바이스로부터의 하나 이상의 비콘을 포함하는 하나 이상의 장면 카메라 이미지들 내의 구역을, 제1 착용형 디바이스 사용자와 관련된 제1 착용형 디바이스에 결합되어 작동하는 장면 카메라로, 식별하는 단계; 제2 착용형 디바이스 사용자와 관련된 제2 착용형 디바이스의 하나 이상의 비콘에 의한 코드 브로드캐스트를, 장면 카메라로, 식별하는 단계; 비콘에 의한 코드 브로드캐스트가 제2 착용형 디바이스 사용자와 관련된 데이터베이스에 대한 액세스를 허용하는 것을, 액세스 코드들의 데이터베이스로, 확인하는 단계; 및 제1 사용자와 관련된 제1 착용형 디바이스 및 제2 착용형 디바이스 사용자에 관한 정보를 포함하는 추가 데이터베이스 간의 전자 통신을 허용하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를, 검출기를 이용하여, 결정하는 방법으로, 사용자의 한쪽 또는 양쪽 안구가 의도적인 안구 운동으로 결정되는 방식으로 운동할 때를, 검출기로, 식별하는 단계; 의도적인 안구 신호와 관련된 안구 액션을, 안구 운동 템플릿의 데이터베이스로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구와 관련되지 않은 입력 디바이스에 의해 생성되는 사용자 입력을, 실질적으로 동시에, 식별하는 단계; 입력 디바이스에 의해 생성된 사용자 입력과 관련된 디바이스 액션을 식별하는 단계; 및 의도적인 안구 신호와 관련된 안구 액션 및 사용자 입력과 관련된 디바이스 액션을, 입력 서열들의 데이터베이스에 기반하여, 수행하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 하나 이상의 디스플레이의 포인터를, 검출기 및 포인팅 디바이스를 이용하여, 이동시키기 위한 방법으로, 포인터의 소스 디스플레이 상의 소스 위치를 식별하는 단계로서, 포인터의 위치가 포인팅 디바이스에 의해 적어도 부분적으로 제어되는 단계; 사용자의 한쪽 또는 양쪽 안구가 타겟 디스플레이의 타겟 위치에 지향될 때를, 검출기로, 식별하는 단계; 소스 디스플레이 상의 소스 위치에 대한 타겟 디스플레이 상의 타겟 위치를 향하는 방향으로의, 사전 결정된 방향 범위 내의, 포인팅 디바이스의 이동을, 포인팅 디바이스로, 확인하는 단계; 및 타겟 위치로부터 사전 결정된 거리 이내로 떨어져 있는 타겟 디스플레이 상의 새 포인터 위치에 포인터를 디스플레이하는 단계를 포함하는 방법이 제공된다.
다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 디스플레이 및 검출기를 이용하여, 제공하기 위한 방법으로, 악보 스코어의 악절을, 디스플레이 상에, 디스플레이하는 단계; 사용자의 한쪽 또는 양쪽 안구가 악보 스코어의 디스플레이된 악절 내의 주시 위치에 지향될 때를, 검출기로, 식별하는 단계; 악보 스코어 내의 하나 이상의 중단 위치를, 악보 스코어를 포함하는 데이터베이스로, 식별하는 단계; 주시 위치가 악보 스코어 내의 중단 위치들 중 적어도 하나로부터 사전 결정된 거리 내에 있는 것을, 검출기로, 확인하는 단계; 및 악보 스코어의 새 악절을 디스플레이하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 차량을 제어할 때의 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기, 장면 카메라 및 디스플레이를 이용하여, 제공하기 위한 방법으로, 차량 환경의 비디오 이미지들을, 장면 카메라와 결합되어 작동하는 디스플레이 상에, 표시하는 단계; 사용자의 한쪽 또는 양쪽 안구가 디스플레이 상의 차량 환경의 비디오 이미지들 내의 타겟 위치에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 디스플레이상의 타겟 위치로부터 디스플레이 상의 활성화 타겟을 향하는 제1 도약을, 검출기로, 식별하는 단계; 도약이 활성화 타겟의 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계; 및 차량이 디스플레이 상의 타겟 위치에 의해 표현된 차량 환경 내의 목적지 위치를 향해 이동하게 하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 차량을 운전할 때의 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 객체 위치에 있는 객체에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 객체 위치로부터 디스플레이 상의 타겟 위치에 있는 활성화 타겟을 향하는 제1 도약을, 검출기로 검출하는 단계; 도약이 타겟 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계; 사용자의 한쪽 또는 양쪽 안구가 사전 결정된 시간 내에 사전 결정된 방향 범위 내까지 차량의 이동 방향으로 지향되는 것을, 검출기로, 확인하는 단계; 및 객체 및 활성화 타겟 중 하나 이상과 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 기억을 증강시키는 그래픽 사용자 인터페이스를, 검출기를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 저장 객체의 위치로부터 사전 결정된 거리 이내에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 저장 객체 위치로부터 타겟 위치에 있는 저장 활성화 타겟을 향하는 제1 도약을, 검출기로, 식별하는 단계; 도약이 타겟 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계; 및 저장 객체와 관련된 데이터 세트를 저장 데이터 세트 색인에 대응되는 다수의 데이터 세트들 내의 위치에 저장하고, 저장 데이터 세트 색인을 일(1) 만큼 증가시키는 저장 기능을, 메모리 디바이스로, 수행하는 단계를 포함하는 방법이 제공된다.
다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 기억을 증강시키는 그래픽 사용자 인터페이스를, 검출기 및 디스플레이를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 디스플레이 상의 인출 객체 위치에 있는 인출 객체에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 디스플레이 상의 인출 객체 위치로부터 타겟 위치에 있는 인출 활성화 타겟을 향하는 제1 도약을, 검출기로, 식별하는 단계; 도약이 타겟 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 검출하는 단계; 및 다수의 데이터 세트 내의 인출 데이터 색인에 대응되는 위치로부터 인출 데이터 세트를 인출하는 것을 포함하는 인출 기능을, 메모리 디바이스로, 수행하는 단계를 포함하는 방법이 제공된다.
다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 기억을 증강시키는 그래픽 사용자 인터페이스를, 검출기를 이용하여, 제공하기 위한 방법으로, 객체로부터 저장 활성화 타겟의 위치로부터 사전 결정된 거리 이내까지의 도약이 검출기를 이용하여 식별될 때, 저장 데이터 세트 색인에 대응되는 다수의 데이터 세트 내의 위치에 있는 객체와 관련된 데이터 세트의 저장 기능을 수행하고, 저장 데이터 세트 색인을 일(1) 만큼 증가시키는 단계; 객체로부터 인출 활성화 타겟의 위치로부터 사전 결정된 거리 이내까지의 도약이 검출기를 이용하여 식별될 때, 인출 데이터 세트 색인에 대응되는 다수의 데이터 세트들 내의 위치에 있는 객체와 관련된 데이터 세트의 인출 기능을 수행하는 단계; 상향 활성화 타겟으로의 도약이 검출기를 이용하여 식별될 때, 인출 데이터 세트 색인을 일(1) 만큼 증가시키는 것에 의해 인출 데이터 세트 색인을 선택하는 단계; 하향 활성화 타겟으로의 도약이 검출기를 이용하여 식별될 때, 인출 데이터 세트 색인을 일(1) 만큼 감소시키는 것에 의해 인출 데이터 세트 색인을 선택하는 단계; 및 객체로부터 삭제 활성화 타겟의 위치로부터 사전 결정된 거리 이내까지의 도약이 검출기를 이용하여 검출될 때, 인출 데이터 세트 색인에 대응되는 다수의 데이터 세트들 내의 위치에 있는 객체를 삭제하는 것 및 저장 데이터 인덱스 색인을 일(1) 만큼 감소시키는 것 중 하나 이상을 포함하는 삭제 기능을 수행하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 방향에 적어도 부분적으로 기반하여 문서 보안을 향상시키는 사용자 인터페이스를, 사용자의 한쪽 또는 양쪽 안구에 지향되는 하나 이상의 안구 카메라 및 사용자의 환경에 지향되는 장면 카메라를 이용하여, 제공하는 방법으로, 사용자의 한쪽 또는 양쪽 안구의 하나 이상의 이미지를, 하나 이상의 카메라를 이용하여, 획득하는 단계; 사용자의 아이덴티티를, 사용자의 한쪽 또는 양쪽 안구의 하나 이상의 이미지를 알려진 아이덴티티 안구 템플릿들의 데이터베이스와 비교하는 것에 의해, 결정하는 단계; 사용자의 한쪽 또는 양쪽 안구에 의해 주시되는 문서를, 장면 카메라를 이용하여, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 문서를 지향하는 것을, 하나 이상의 안구 카메라를 이용하여, 확인하는 단계; 및 식별된 사용자가 문서를 보았음을 지시하도록 문서를 전자적으로 확인하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 디스플레이, 머리 움직임 검출기 및 안구 위치 검출기를 이용하여, 제공하기 위한 방법으로, 다수의 디스플레이 객체를, 디스플레이 상에, 디스플레이하는 단계; 사용자의 한쪽 또는 양쪽 안구가 다수의 디스플레이 객체 중 하나를 지향할 때를, 안구 위치 검출기로, 식별하고, 이에 의해 주시되는 객체를 식별하는 단계; 제1 방향으로의 사용자의 머리 움직임을, 머리 움직임 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구의 안구 운동을, 안구 운동 검출기로, 검출하는 단계; 안구 운동이 사용자가 머리 움직임 도중에 주시 객체를 계속해서 주시하게 하는지 여부에 기반하여 안구 운동이 전정안구운동인지 분류하는 단계; 및 안구 운동이 전정안구운동이 아닌 것으로 결정하고, 그 결과 디스플레이 상의 다수의 디스플레이 객체를 제1 방향으로 이동시키는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기 및 장면 카메라를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 사용자 환경 내의 제1 주시 위치에 지향될 때를, 검출기로, 식별하는 단계; 사용자 환경 내의 제1 주시 위치에 있는 제1 주시 객체를, 장면 카메라로, 식별하는 단계; 제1 주시 객체를, 객체 템플릿들의 데이터베이스를 이용하여, 식별하고, 이에 의해 제1 식별된 주시 객체를 생성하는 단계; 사용자의 한쪽 또는 양쪽 안구가 사용자 환경 내의 제2 주시 위치로 향하는 안구 운동을 수행할 때를, 검출기로, 식별하는 단계; 사용자 환경 내의 제2 주시 위치에 있는 제2 주시 객체를, 장면 카메라로, 식별하는 단계; 제2 주시 객체를, 객체 템플릿들의 데이터베이스를 이용하여, 식별하고, 이에 의해 제2 식별된 주시 객체를 생성하는 단계; 제2 식별된 주시 객체가 활성화 타겟에 대응되는 것을, 활성화 가능한 객체들의 데이터베이스를 이용하여, 확인하는 단계; 및 제1 식별된 주시 객체, 제1 주시 위치, 제2 식별된 주시 객체 및 제2 주시 위치 중 하나 이상에 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 사용자 인터페이스를, 검출기, 장면 카메라 및 디스플레이를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 사용자 환경 내의 주시 위치에 지향될 때를, 검출기로 식별하는 단계; 사용자 환경 내의 주시 위치에 있는 주시 객체를, 장면 카메라로, 식별하는 단계; 주시 객체를, 객체 템플릿들의 데이터베이스를 이용하여, 식별하고, 이에 의해 식별된 주시 객체를 생성하는 단계; 사용자의 한쪽 또는 양쪽 안구가 식별된 주시 객체로부터 디스플레이 상의 하나 이상의 활성화 타겟들 중 하나를 향하는 하나 이상의 안구 운동을 수행할 때를, 검출기로, 식별하는 단계; 하나 이상의 안구 운동이 하나 이상의 활성화 타겟 중 하나로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하고, 이에 의해 선택된 활성화 타겟을 생성하는 단계; 및 제1 식별된 주시 객체 및 선택된 활성화 타겟 중 하나 이상에 관련된 액션을 수행하는 방법이 제공된다.
다른 실시예에 따르면, 사용자의 인지 상태, 생리적 컨디션 또는 안구 운동 이력에 적어도 부분적으로 기반하여 전자 디스플레이를 포함하는 그래픽 사용자 인터페이스 내의 사용자의 의도의 시그널링 인식을, 검출기를 이용하여, 조정하기 위한 방법으로, 사용자의 인지 상태, 신경학적 컨디션, 생리적 컨디션 및 안구 운동 이력 중 하나를 관찰하는 단계; 사용자의 한쪽 또는 양쪽 안구의 사전 정의된 운동에 의해 수행될 수 있는 사용자 의도를 전송하는 안구 운동에 의해 지시되는 적어도 하나의 알려진 안구 신호를, 검출기를 이용하여, 식별하는 단계; 및 적어도 하나의 알려진 신호 전에 또는 그 동안에, 사용자의 인지 상태, 생리적 컨디션, 또는 안구 운동 행위 중 하나 이상에 기반하여 적어도 하나의 알려진 신호의 인식을 위한 허용 오차를 조정하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 인지 상태, 생리적 컨디션 또는 안구 운동 이력에 적어도 부분적으로 기반하여 전자 디스플레이를 포함하는 그래픽 사용자 인터페이스 내에서의, 검출기를 이용한, 사용자 의도의 시그널링의 인식에 대한 응답을 조정하기 위한 방법으로, 사용자의 인지 상태, 신경학적 컨디션, 생리적 컨디션 및 안구 운동 이력 중 적어도 하나를 관찰하는 단계; 사용자 의도를 전송하는 적어도 하나의 안구 신호를 식별하되, 안구 신호가 사용자의 한쪽 또는 양쪽 안구의 사전 정의된 운동, 사용자의 한쪽 또는 양쪽 안구의 동공 확장 및 사용자의 한쪽 또는 양쪽 안구의 동공 억제 중 하나 이상을 포함하는 단계; 적어도 하나의 알려진 신호 전에 또는 그 동안에, 사용자의 인지 상태, 생리적 컨디션, 또는 안구 운동 행위 중 적어도 하나에 기반하여 적어도 하나의 알려진 안구 신호를 인식하는 단계; 및 응답 타이밍, 응답의 일부로서 제시될 그래픽들의 선택, 응답의 일부로서 표시된 그래픽 요소들의 전이, 응답의 임의의 부분의 타이밍 및 응답의 일부로서 취해지는 액션 중 적어도 하나를 변경하는 것에 의해, 적어도 하나의 알려진 안구 신호에 대한 응답을 조정하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 헤드셋 및 검출기를 이용하여, 제공하기 위한 방법으로, 사용자의 머리 구역의 동작을, 헤드셋으로, 결정하는 단계; 안구 운동 엄격도 범위를, 사용자의 머리의 동작의 진폭과 주파수 중 하나 이상에 기반하여, 결정하는 단계; 사용자의 한쪽 또는 양쪽 안구의 하나 이상의 안구 운동이 안구 운동 엄격도 범위 내의 안구 신호 운동들의 템플릿 중 하나 이상과 부합하는 것을, 검출기로, 확인하는 단계; 및 하나 이상의 안구 운동들에 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 헤드셋을 이용하여, 제공하기 위한 방법으로, 사용자의 머리의 구역의 주위 밝기를, 헤드셋으로, 결정하는 단계; 안구 운동 엄격도 범위를, 진폭 및 주위 밝기의 변화 중 하나 이상에 기반하여, 결정하는 단계; 사용자의 한쪽 또는 양쪽 안구의 하나 이상의 안구 운동이 안구 운동 엄격도 범위 내의 안구 신호 운동들의 템플릿 중 하나 이상에 부합하는 것을, 헤드셋 상에 장착된 안구 운동 검출기로, 확인하는 단계; 및 하나 이상의 안구 운동들에 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 검출기 및 디스플레이를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 초기 주시 객체 위치에 있는 디스플레이 상의 초기 주시 객체를 지향할 때를, 검출기로, 식별하는 단계; 초기 주시 객체 위치로부터 사전 정의된 거리 이내에 있는 디스플레이 상의 모든 객체들의 확대를 위한 중심의 디스플레이 상의 바람직한 위치를, 디스플레이 상에 표시된 객체들을 위한 바람직한 확대 중심의 데이터베이스를 이용하여, 결정하는 단계; 초기 주시 객체 위치로부터 사전 정의된 거리 이내에 있는 디스플레이 상의 모든 객체들의 확대 도중에 사용자의 한쪽 또는 양쪽 안구가 추적되는 객체를 추종할 때를, 검출기로, 식별하는 단계; 확대 도중에 추적되는 객체가 사전 정의된 거리 및 사전 정의된 시간 중 하나 동안 추종되는 것을, 검출기로, 확인하고, 이에 의해 선택된 객체를 식별하는 단계; 및 선택된 객체에 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 검출기 및 디스플레이를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 초기 주시 객체 위치에 있는 디스플레이 상의 초기 주시 객체를 지향할 때를, 검출기로, 식별하는 단계; 초기 주시 객체 위치로부터 사전 정의된 거리 이내에 있는 디스플레이 상의 모든 객체들의 확대를 위한 중심의 디스플레이 상의 바람직한 위치를, 디스플레이 상에 표시된 객체들을 위한 바람직한 확대 중심의 데이터베이스를 이용하여, 결정하는 단계; 초기 주시 객체 위치로부터 사전 정의된 거리 이내에 있는 디스플레이 상의 모든 객체들의 확대 도중에 사용자의 한쪽 또는 양쪽 안구가 추적되는 객체를 추종할 때를, 검출기로, 식별하는 단계; 확대 도중에 추적되는 객체가 사전 정의된 거리 및 사전 정의된 시간 중 하나 동안 추종되는 것을, 검출기로, 확인하고, 이에 의해 선택된 객체를 식별하는 단계; 및 선택된 객체에 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 검출기, 키보드 및 디스플레이를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 다수의 선택 가능한 타겟들을 포함하는 디스플레이 상의 구역에 지향될 때를, 검출기로, 식별하는 단계; 선택 가능한 타겟들 중 하나 이상과 각각 관련되는 다수의 키보드 심볼을, 디스플레이 상에, 중첩하는 단계; 하나 이상의 선택 가능한 타겟과 관련된 키보드 심볼들 중 하나에 대응되는 키보드 상의 키를 사용자가 선택하는 것을, 키보드로, 확인하고, 이에 의해 하나 이상의 선택된 타겟을 식별하는 단계; 및 하나 이상의 선택된 타겟에 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 검출기, 디스플레이 및 마이크로폰을 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 다수의 선택 가능한 타겟을 포함하는 디스플레이 상의 구역에 지향될 때를, 검출기로, 식별하는 단계; 선택 가능한 타겟들 중 하나 이상과 각각 관련되는 다수의 심볼들을, 디스플레이 상에, 중첩시키는 단계; 사용자가 선택 가능한 타겟들 중 하나 이상과 관련된 심볼들 중 하나에 대응되는 소리를 발생시키는 것을, 마이크로폰 및 소리 템플릿들의 데이터베이스로, 확인하고, 이에 의해 하나 이상의 선택된 타겟을 식별하는 단계; 및 하나 이상의 선택된 타겟에 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 의도를 전달하는 응시 방향을, 검출기 및 디스플레이를 이용하여, 결정하는 방법으로, 타겟 객체 위치들에 있는 디스플레이 상의 타겟 객체를 주시할 때의 사용자의 오른쪽 안구 응시 위치를, 검출기로, 식별하는 단계; 디스플레이 상의 타겟 객체를 주시할 때의 사용자의 왼쪽 안구 응시 위치를, 검출기로, 식별하는 단계; 왼쪽 안구 응시 위치 및 오른쪽 안구 응시 위치 중 어느 것이 타겟 객체 위치에 더 가까운지 결정하는 단계; 및 타겟 객체 위치 주위의 사전 결정된 범위 내의 위치 범위에 대한 안구 지배성을, 어느 쪽 안구 응시 방향이 타겟 객체의 위치에 더 가까운지 여부에 기반하여, 할당하는 단계를 포함하는 방법이 제공된다.
다른 실시예에 따르면, 사용자의 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 응시 방향을, 검출기 및 디스플레이를 이용하여, 결정하는 방법으로, 사용자의 안구가 제1 객체 거리에 나타나는 제1 객체에 지향될 때를, 검출기로 식별하는 단계; 사용자의 안구가 제1 객체 거리와 다른 제2 객체 거리에 나타나는 디스플레이 상의 제2 객체에 지향될 때를, 검출기로, 식별하는 단계; 디스플레이 상의 제2 객체의 위치와 크기 중 하나 이상을, 디스플레이를 이용하여, 수정하는 단계; 사용자의 안구에 의해 주시될 때 제1 객체 및 제2 객체가 최대로 중첩되어 보이는 것을 확인하는 단계; 및 사용자의 안구의 시축을, 제1 객체의 위치 및 제2 객체의 위치에 기반하여, 결정하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 디바이스 사용자의 한쪽 또는 양쪽 안구의 응시 위치에 적어도 부분적으로 기반하여 전송 대역폭 내에서 디스플레이 상에 이미지들을, 검출기 및 디스플레이를 이용하여, 디스플레이하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 디스플레이 상의 응시 위치에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 시야 내에 있는 디스플레이 상의 망막 중심와 뷰 구역을, 응시 위치에 기반하여, 식별하는 단계; 디바이스 사용자와 관련성이 높은 객체들인 디스플레이된 객체들을, 주시 가능한 객체들의 데이터베이스에 기반하여, 식별하는 단계; 및 중심와 뷰 내에 있는 것들 중 하나 이상이고 관련성이 높은 객체인 객체들을, 디스플레이를 이용하여, 사용자의 시야 내에 있는 나머지 객체들과 비교하여 높은 해상도로 렌더링하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 디바이스 사용자의 한쪽 또는 양쪽 안구의 응시 위치에 적어도 부분적으로 기반하여 전송 대역폭 내에서 디스플레이 상에 이미지들을, 검출기 및 디스플레이를 이용하여, 디스플레이하는 방법으로, 사용자의 한쪽 또는 양쪽 안구가 디스플레이 상의 응시 위치에 지향될 때를, 검출기로, 식별하는 단계; 응시 위치를 둘러싸는 사전 결정된 영역 내에 있는 디스플레이 상의 중심와 뷰 구역을, 응시 위치에 기반하여, 식별하는 단계; 디스플레이 상의 비-중심와 뷰 구역을, 중심와 뷰 구역 외부에 있는 사용자의 시야에 기반하여, 식별하는 단계; 및 비-중심와 구역에 있는 객체들을, 디스플레이를 이용하여, 색상 콘텐츠를 줄여서 렌더링하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 응시 위치에 적어도 부분적으로 기반하여 사전 결정된 전송 대역폭 내에서 디스플레이 상에 이미지를, 응시 검출기 및 디스플레이를 이용하여, 디스플레이하는 방법으로, 사용자의 한쪽 또는 양쪽 안구가 디스플레이 상의 응시 위치에 지향될 때를, 응시 검출기로, 식별하는 단계; 사용자의 시야 내에 있는 디스플레이 상의 고해상도 주시 구역을, 응시 위치에 기반하여, 식별하는 단계; 디스플레이 상의 고해상도 주시 구역에 있는 객체들을, 고해상도 주시 구역 외부의 사용자 시야 내에 있는 디스플레이 상의 나머지 객체들과 비교하여 높은 해상도로, 디스플레이를 이용하여, 렌더링하는 단계; 및 디스플레이 상의 고해상도 주시 구역의 크기와 형상 중 하나를, 사용자의 한쪽 또는 양쪽 안구에 도달하는 광량에 기반하여, 수정하는 단계를 포함하는 방법이 제공된다.
다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 안구 응시를, 검출기를 이용하여, 측정하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구들이 객체의 기준 위치에 대한 제1 주시 위치에 지향될 때를, 검출기로, 식별하는 단계; 객체의 기준 위치에 대한 제1 주시 위치에 기반항 제1 가중치 계수를, 객체와 관련된 현저성 맵을 이용하여, 결정하는 단계; 사용자의 한쪽 또는 양쪽 안구가 객체의 기준 위치에 대한 제2 주시 위치에 지향될 때를, 검출기로, 식별하는 단계; 객체의 기준 위치에 대한 제2 주시 위치에 기반한 제2 가중치 계수를, 객체와 관련된 현저성 맵을 이용하여, 결정하는 단계; 및 제1 주시 위치와 제1 가중 계수의 곱 및 제2 주시 위치와 제2 가중 계수의 곱에 기반하여 가중 평균 주시 위치를 결정하는 단계를 포함하는 방법이 제공된다.
또 다른 실시예에 따르면, 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기 및 디스플레이를 이용하여, 제공하기 위한 방법으로, 사용자의 한쪽 또는 양쪽 안구가 디스플레이 상의 제1 위치에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 제1 위치로부터 영역 선택 타겟을 향하는 제1 도약이 영역 선택 타겟의 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계; 사용자의 한쪽 또는 양쪽 안구가 디스플레이 상의 제2 위치에 지향될 때를, 검출기로, 식별하는 단계; 사용자의 한쪽 또는 양쪽 안구가 제3 위치로부터 활성화 타겟을 향하는 제2 도약이 활성화 타겟의 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계; 제1 위치 및 제2 위치에 모서리들을 구비하는 직사각형 구역에 접하는 모든 객체들을, 디스플레이 상에 투사되는 객체들에 기반하여, 식별하는 단계; 및 제1 위치 및 제2 위치에 모서리들을 구비하는 직사각형 구역에 접하는 디스플레이 상의 모든 객체들에, 활성화 타겟에 관련된 액션을 수행하는 단계를 포함하는 방법이 제공된다.
본 발명의 다른 태양들 및 피처들은 첨부 도면을 참조하여 아래의 상세한 설명을 읽으면 명백하게 알 수 있을 것이다.
아래의 예시적인 도면들을 참조하여 상세한 설명을 읽으면 본 발명에 대해 보다 완전하게 이해할 수 있을 것이다. 도면들 전체를 통틀어 유사한 도면 번호들은 유사한 요소들 또는 동작을 지시한다. 본 발명의 예시적인 실시예들은 첨부 도면들에 예시되어 있다.
도 1a는 8개의 위치들 각각으로부터 4개의 아이템들 중 하나의 선택을 통한 안구 신호 입력을 허용하는 예시적인 디스플레이이다.
도 1b는 4x3 선택 격자를 이용한 단어 "boy"의 안구 신호 입력을 예시한다.
도 2a는 9개의 위치들 각각으로부터의 3개의 아이템들 중 하나의 선택을 통한 영어 알파벳 입력을 허용하는 예시적인 디스플레이이다.
도 2b는 4x3 선택 격자를 이용한 단어 "cat"의 안구 신호 입력을 예시한다.
도 3은 영어 알파벳 및 특수 문자들이 6개의 위치들 각각으로부터의 6개의 아이템들 중 하나의 선택을 통해 입력될 수 있게 하는 예시적인 디스플레이이다.
도 4a는 영어 알파벳, 뉴메릭 디지트들 및 18개의 문자들/기능들이 9개의 위치들 각각으로부터 6개의 아이템들 중 1의 선택을 통해 입력되게 하는 예시적인 디스플레이이다.
도 4b는 영어 알파벳과 뉴메릭 디지트들이 왼쪽에서 오른쪽으로 그리고 위에서 아래로의 전형적인 읽기 순서로 더 많이 배열된, 도 4a의 대안적인 디스플레이이다.
도 5는 12개의 위치들 각각으로부터의 4개의 아이템들 중 하나의 선택을 통한 안구 신호 입력을 허용하는 전형적인 QWERTY 키보드 시퀀스의 예시적인 디스플레이이다.
도 6은 4개의 문자들/기능들 중 하나가 디스플레이 영역의 4개의 모서리들 중 하나로 도약하는 것에 의해 선택되는 대안적인 디스플레이 레이아웃이다.
도 7은 4개의 문자들/기능들 중 하나가 디스플레이 영역으로부터 떨어져 있는 4개의 타겟들 중 하나로 도약하는 것에 의해 선택될 수 있는 다른 예시적인 디스플레이 레이아웃이다.
도 8은 12개의 문자 및 기능 매트릭스 위치들이 8개의 오프-디스플레이 타겟 영역들 중 하나로 도약하는 것에 의해 선택되는 예시적인 디스플레이 레이아웃이다.
도 9a는 날짜의 월과 일이 한 번 도약할 때마다 하나의 선택을 발생시키는 일련의 도약 안구 운동들을 통해 입력될 수 있게 하는 예시적인 디스플레이이다.
도 9b는 (도 9a와 비교하여) 수직 크기가 3행 줄어든 대안적인 날짜 입력 레이아웃이다.
도 10a는 (도 9a와 비교하여) 수평 크기가 8열로 국한된 또 다른 날짜 입력 레이아웃을 도시한다.
도 10b는 (도 9a와 비교하여) 수직 크기가 3열로 국한된 다른 날짜 입력 레이아웃이다.
도 11a는 디지트 당 단일의 도약 안구 운동을 이용한 숫자들의 입력을 허용하는 전화기-방식 키패드 레이아웃이다.
도 11b는 (도 11a와 비교하여) 수직 크기가 감소된 뉴메릭 데이터 입력을 위한 대안적인 레이아웃이다.
도 12a는 디지트 당 단일의 도약 안구 운동을 이용한 숫자들의 입력을 허용하는 뉴메릭 키패드 및 간단한 계산기 레이아웃이다.
도 12b는 "필요"에 기반하여 디스플레이되는 선택들을 변경하는 것에 의한 계산기 기능들의 동적 제어를 예시한다.
도 13은 선택 당 단일의 도약을 수반하는 일련의 도약 안구 운동들을 이용하는 공학용 계산기의 디스플레이 레이아웃 및 간단한 계산을 도시한다.
도 14는 문자/기능 당 단일의 도약 안구 운동을 통한 "타이핑"을 허용하는 통상의 QWERTY 키보드의 예시적인 디스플레이이다.
도 15a는 디지트 당 단일의 도약 안구 운동을 이용한 간단한 뉴메릭 시퀀스의 입력을 위한 예시적인 4행 3열 디스플레이 레이아웃이다.
도 15b는 디지트 당 단일의 도약 안구 운동을 이용한 간단한 뉴메릭 시퀀스의 입력을 위해 4행 3열로 이루어진 (도 15a와 비교하여) 대안적인 디스플레이 레이아웃이다.
도 16a는 디지트들의 시퀀스 내에 제1 뉴메릭 디지트를 입력하는 것을 예시하는데, 활성화 타겟이 선택된 뉴메릭 시퀀스의 디스플레이 내에 배치된다.
도 16b는 디지트들의 시퀀스 내에 (도 16a와 비교하여) 후속 디지트를 입력하는 것을 예시하는데, 활성화 타겟이 각각의 디지트 입력시 시프트된다.
도 17a는 연속 스케일로부터의 사용자 선택 도중의 예시적인 안구 운동들을 예시한다.
도 17b는 안구 운동들을 이용하여 연속 스케일로부터 행해지는 선택을 지시하는 시각적 피드백을 도시한다.
도 18a는 콧날 위에 있는 단일 상태 비콘의 예시적인 위치를 도시한다.
도 18b는 머리에 장착되는 착용형 디바이스의 왼쪽 및 오른쪽을 따르는 두 개의 상태 비콘의 예시적인 위치들을 도시한다.
도 19a는 브로드캐스트 상태 비콘 및 동기화되지 않은 카메라 또는 검출기에 의해 획득된 이미지 간의 가능한 시간 관계를 도시하는 타이밍 다이어그램이다.
도 19b는 브로드캐스트 상태 비콘의 신호 내에 연결 정보를 인코딩하는 "마이크로버스트"의 예이다.
도 20a는 안구들을 이용하여 포인터, 커서 또는 선택된 위치를 디스플레이를 가로지르는 신속 운동 또는 "트랜스포트"를 위한 구성을 예시한다.
도 20b는 안구들을 이용하여 포인터, 커서 또는 선택된 위치를 디스플레이를 가로지르는 신속 운동 또는 "트랜스포트"의 결과를 예시한다.
도 21a는 별도의 디스플레이 디바이스들을 가로지르는 포인트 및 이와 관련된 텍스트 기능의 트랜스포트를 예시한다.
도 21b는 텍스트 기능의 트랜스포트 후의 스마트워치의 디스플레이를 예시한다.
도 22a는 안구 트랜스포트 및 멀티-모드 입력들을 이용한 "잘라내기-및-붙여넣기" 작업 도중의 텍스트의 예를 도시한다.
도 22b는 안구 트랜스포트 및 멀티-모드 입력들을 이용한 "잘라내기-및-붙여넣기" 작업 후의 텍스트의 예를 도시한다.
도 23은 안구 시그널링에 기반한 악보 스코어의 제어된 디스플레이를 예시한다.
도 24는 악보 스코어가 안구-신호 제어된, 단일 스트립으로 디스플레이되는 예를 도시한다.
도 25a는 연주 위치 및 주시 위치 간의 차이가 측정되는 악보 스코어를 도시한다.
도 25b는 피드백 및/또는 훈련 후에 연주 위치 및 주시 위치 간의 차이가 연장된 악보 스코어를 예시한다.
도 26은 정보 전달을 위한 안구-신호 제어되는 스크래치패드와 관련된 그래픽의 예이다.
도 27은 안구 신호들을 이용한 가상 디스플레이 "벽"의 제어를 예시한다.
도 28은 키보드 및 디바이스 사용자의 손들의 카메라 이미지의 획득을 예시한다.
도 29는 키보드 및 디바이스 사용자의 손들의 카메라 이미지의 디바이스 사용자에 의해 주시될 수 있는 디스플레이에의 투사를 도시한다.
도 30a는 스프레드시트 내의 특정 셀을 선택하는 예시적인 안구-신호 프로세스를 예시한다.
도 30b는 스프레드시트 내의 단일 셀을 선택하는 도 30a에 예시된 추적 프로세스 도중의 단일 프레임을 도시한다.
도 31a는 디스플레이의 구역 내의 안구 응시에 기반한 객체 선택에서의 불확실성의 예를 도시한다.
도 31b는 중첩된 뉴메릭 디지트를 통한 디스플레이의 구역 내의 객체의 선택의 예를 도시한다.
도 31c는 중첩된 방향 화살표들을 통한 디스플레이의 구역 내의 객체의 선택의 예를 도시한다.
도 32는 교정 도중의 초점 포인트의 연속적인 추적을 예시한다.
도 33은 지배성 안구 공간 맵을 형성하는 프로세스를 도시한다.
도 34는 사용자의 시축을 결정하는 프로세스를 도시한다.
도 35는 이등변 삼각형의 형상인 객체에 대한 예상 현저성 맵을 예시한다.
도 36a는 디스플레이되는 구역 내로부터 다수의 요소를 선택하는 한 쌍의 도약 안구 운동을 예시한다.
도 36b는 이전에 선택된 아이템들에 추가 요소들(즉, 이름들)을 부착하는 추가 도약 안구 운동들을 도시한다.
도 36c는 추가 이름을 부착하고 선택된 아이템들 중 전부에 액션을 수행하는 도약 안구 운동을 예시한다.
도 1a는 8개의 위치들 각각으로부터 4개의 아이템들 중 하나의 선택을 통한 안구 신호 입력을 허용하는 예시적인 디스플레이이다.
도 1b는 4x3 선택 격자를 이용한 단어 "boy"의 안구 신호 입력을 예시한다.
도 2a는 9개의 위치들 각각으로부터의 3개의 아이템들 중 하나의 선택을 통한 영어 알파벳 입력을 허용하는 예시적인 디스플레이이다.
도 2b는 4x3 선택 격자를 이용한 단어 "cat"의 안구 신호 입력을 예시한다.
도 3은 영어 알파벳 및 특수 문자들이 6개의 위치들 각각으로부터의 6개의 아이템들 중 하나의 선택을 통해 입력될 수 있게 하는 예시적인 디스플레이이다.
도 4a는 영어 알파벳, 뉴메릭 디지트들 및 18개의 문자들/기능들이 9개의 위치들 각각으로부터 6개의 아이템들 중 1의 선택을 통해 입력되게 하는 예시적인 디스플레이이다.
도 4b는 영어 알파벳과 뉴메릭 디지트들이 왼쪽에서 오른쪽으로 그리고 위에서 아래로의 전형적인 읽기 순서로 더 많이 배열된, 도 4a의 대안적인 디스플레이이다.
도 5는 12개의 위치들 각각으로부터의 4개의 아이템들 중 하나의 선택을 통한 안구 신호 입력을 허용하는 전형적인 QWERTY 키보드 시퀀스의 예시적인 디스플레이이다.
도 6은 4개의 문자들/기능들 중 하나가 디스플레이 영역의 4개의 모서리들 중 하나로 도약하는 것에 의해 선택되는 대안적인 디스플레이 레이아웃이다.
도 7은 4개의 문자들/기능들 중 하나가 디스플레이 영역으로부터 떨어져 있는 4개의 타겟들 중 하나로 도약하는 것에 의해 선택될 수 있는 다른 예시적인 디스플레이 레이아웃이다.
도 8은 12개의 문자 및 기능 매트릭스 위치들이 8개의 오프-디스플레이 타겟 영역들 중 하나로 도약하는 것에 의해 선택되는 예시적인 디스플레이 레이아웃이다.
도 9a는 날짜의 월과 일이 한 번 도약할 때마다 하나의 선택을 발생시키는 일련의 도약 안구 운동들을 통해 입력될 수 있게 하는 예시적인 디스플레이이다.
도 9b는 (도 9a와 비교하여) 수직 크기가 3행 줄어든 대안적인 날짜 입력 레이아웃이다.
도 10a는 (도 9a와 비교하여) 수평 크기가 8열로 국한된 또 다른 날짜 입력 레이아웃을 도시한다.
도 10b는 (도 9a와 비교하여) 수직 크기가 3열로 국한된 다른 날짜 입력 레이아웃이다.
도 11a는 디지트 당 단일의 도약 안구 운동을 이용한 숫자들의 입력을 허용하는 전화기-방식 키패드 레이아웃이다.
도 11b는 (도 11a와 비교하여) 수직 크기가 감소된 뉴메릭 데이터 입력을 위한 대안적인 레이아웃이다.
도 12a는 디지트 당 단일의 도약 안구 운동을 이용한 숫자들의 입력을 허용하는 뉴메릭 키패드 및 간단한 계산기 레이아웃이다.
도 12b는 "필요"에 기반하여 디스플레이되는 선택들을 변경하는 것에 의한 계산기 기능들의 동적 제어를 예시한다.
도 13은 선택 당 단일의 도약을 수반하는 일련의 도약 안구 운동들을 이용하는 공학용 계산기의 디스플레이 레이아웃 및 간단한 계산을 도시한다.
도 14는 문자/기능 당 단일의 도약 안구 운동을 통한 "타이핑"을 허용하는 통상의 QWERTY 키보드의 예시적인 디스플레이이다.
도 15a는 디지트 당 단일의 도약 안구 운동을 이용한 간단한 뉴메릭 시퀀스의 입력을 위한 예시적인 4행 3열 디스플레이 레이아웃이다.
도 15b는 디지트 당 단일의 도약 안구 운동을 이용한 간단한 뉴메릭 시퀀스의 입력을 위해 4행 3열로 이루어진 (도 15a와 비교하여) 대안적인 디스플레이 레이아웃이다.
도 16a는 디지트들의 시퀀스 내에 제1 뉴메릭 디지트를 입력하는 것을 예시하는데, 활성화 타겟이 선택된 뉴메릭 시퀀스의 디스플레이 내에 배치된다.
도 16b는 디지트들의 시퀀스 내에 (도 16a와 비교하여) 후속 디지트를 입력하는 것을 예시하는데, 활성화 타겟이 각각의 디지트 입력시 시프트된다.
도 17a는 연속 스케일로부터의 사용자 선택 도중의 예시적인 안구 운동들을 예시한다.
도 17b는 안구 운동들을 이용하여 연속 스케일로부터 행해지는 선택을 지시하는 시각적 피드백을 도시한다.
도 18a는 콧날 위에 있는 단일 상태 비콘의 예시적인 위치를 도시한다.
도 18b는 머리에 장착되는 착용형 디바이스의 왼쪽 및 오른쪽을 따르는 두 개의 상태 비콘의 예시적인 위치들을 도시한다.
도 19a는 브로드캐스트 상태 비콘 및 동기화되지 않은 카메라 또는 검출기에 의해 획득된 이미지 간의 가능한 시간 관계를 도시하는 타이밍 다이어그램이다.
도 19b는 브로드캐스트 상태 비콘의 신호 내에 연결 정보를 인코딩하는 "마이크로버스트"의 예이다.
도 20a는 안구들을 이용하여 포인터, 커서 또는 선택된 위치를 디스플레이를 가로지르는 신속 운동 또는 "트랜스포트"를 위한 구성을 예시한다.
도 20b는 안구들을 이용하여 포인터, 커서 또는 선택된 위치를 디스플레이를 가로지르는 신속 운동 또는 "트랜스포트"의 결과를 예시한다.
도 21a는 별도의 디스플레이 디바이스들을 가로지르는 포인트 및 이와 관련된 텍스트 기능의 트랜스포트를 예시한다.
도 21b는 텍스트 기능의 트랜스포트 후의 스마트워치의 디스플레이를 예시한다.
도 22a는 안구 트랜스포트 및 멀티-모드 입력들을 이용한 "잘라내기-및-붙여넣기" 작업 도중의 텍스트의 예를 도시한다.
도 22b는 안구 트랜스포트 및 멀티-모드 입력들을 이용한 "잘라내기-및-붙여넣기" 작업 후의 텍스트의 예를 도시한다.
도 23은 안구 시그널링에 기반한 악보 스코어의 제어된 디스플레이를 예시한다.
도 24는 악보 스코어가 안구-신호 제어된, 단일 스트립으로 디스플레이되는 예를 도시한다.
도 25a는 연주 위치 및 주시 위치 간의 차이가 측정되는 악보 스코어를 도시한다.
도 25b는 피드백 및/또는 훈련 후에 연주 위치 및 주시 위치 간의 차이가 연장된 악보 스코어를 예시한다.
도 26은 정보 전달을 위한 안구-신호 제어되는 스크래치패드와 관련된 그래픽의 예이다.
도 27은 안구 신호들을 이용한 가상 디스플레이 "벽"의 제어를 예시한다.
도 28은 키보드 및 디바이스 사용자의 손들의 카메라 이미지의 획득을 예시한다.
도 29는 키보드 및 디바이스 사용자의 손들의 카메라 이미지의 디바이스 사용자에 의해 주시될 수 있는 디스플레이에의 투사를 도시한다.
도 30a는 스프레드시트 내의 특정 셀을 선택하는 예시적인 안구-신호 프로세스를 예시한다.
도 30b는 스프레드시트 내의 단일 셀을 선택하는 도 30a에 예시된 추적 프로세스 도중의 단일 프레임을 도시한다.
도 31a는 디스플레이의 구역 내의 안구 응시에 기반한 객체 선택에서의 불확실성의 예를 도시한다.
도 31b는 중첩된 뉴메릭 디지트를 통한 디스플레이의 구역 내의 객체의 선택의 예를 도시한다.
도 31c는 중첩된 방향 화살표들을 통한 디스플레이의 구역 내의 객체의 선택의 예를 도시한다.
도 32는 교정 도중의 초점 포인트의 연속적인 추적을 예시한다.
도 33은 지배성 안구 공간 맵을 형성하는 프로세스를 도시한다.
도 34는 사용자의 시축을 결정하는 프로세스를 도시한다.
도 35는 이등변 삼각형의 형상인 객체에 대한 예상 현저성 맵을 예시한다.
도 36a는 디스플레이되는 구역 내로부터 다수의 요소를 선택하는 한 쌍의 도약 안구 운동을 예시한다.
도 36b는 이전에 선택된 아이템들에 추가 요소들(즉, 이름들)을 부착하는 추가 도약 안구 운동들을 도시한다.
도 36c는 추가 이름을 부착하고 선택된 아이템들 중 전부에 액션을 수행하는 도약 안구 운동을 예시한다.
안구 시그널링(eye signalling) 중의 시간 고려
안구 운동을 해석하여 사용자 의도를 파악하기 위하여, 알고리듬적 필터들은 안구의 신경근 제어의 생리적 제약들(예컨대, 운동 범위, 최대 속도, 수평 축선으로의 운동 및 수직 축선으로의 운동에 있어서의 차이) 및 신속한 안구 운동들 및 깜빡임들에 의해 야기되는 시각 정보의 인지적 처리에 있어서의 중단(interruption)을 반드시 고려해야 한다. 시각장의 인지적 처리에 있어서의 이러한 중단은 도약 중에 흔히 나타나는 모션 블러(motion-blur) 또는 깜빡임 중의 멈춤(stoppage)(즉, 짧은 기간의 암흑) 없이 우리의 환경을 주시하는 데 필수적인 요소이다. 이러한 혼란(disruption)들은 사람들에게 있어서는 도약들 및 깜빡임들 중의 망막 시그널링의 시각적 처리를 억제하는 것에 의해 피할 수 있다. 이러한 신경 프로세스들을 각각 도약 억제 및 깜빡임 억제라 한다.
도약 억제(도약 마스킹으로도 알려져 있음)는 도약 운동이 개시되기 전에 실제로 시작된다. 이러한 관찰은 도약 억제의 적어도 일부가 중추신경계에 의해 조정된다는 증거로서 사용된다. 도약 억제는 만약 도약 억제가 없었다면 도약들을 포함하는 신속한 안구 운동 중에 존재할 모션 블러의 인식을 방지한다. 도약 억제의 간단한 증명(및 에드만(Erdmann) 및 다지(Dodge)에 의해 1898년에 이루어진 이러한 현상의 최초의 과학적인 관찰)은 신속한 안구 운동들이 안구 운동의 개별적인 마스킹에 의해 거울에서는 관찰될 수 없는 반면, 다른 관찰자들은 그 개인(또는 거울)을 관측하는 다른 관찰자들은 이러한 운동들을 명확하게 볼 수 있다는 점이다.
도약 억제는 보통 100 내지 150밀리초 동안 지속되고, 신속한 안구 운동이 정지될 때 즉시(즉, 수 밀리초 이내에) 종료된다. 도약 억제는 보통, 안구에 투사된 이미지들이 더 이상의 동작을 나타내지 않을 때, 도약의 종료 시 또는 인위적인 조건 하에서 정지된다. 시각 장면의 운동 중의 신속하게 종료되는 억제의 증명은 장면 운동의 비율을 (도약) 안구 운동과 일시적으로 부합시키는 것에 의해 신속하게 이동하는 차량 안에서 바깥을 바라볼 때 객체를 관측하는 개인의 능력이다. 정지 이미지가 수 밀리초 동안 망막에 투영되는 것으로도 신속하게 이동하는 이러한 장면을 지각할 수 있게 된다. 이러한 관찰은 망막 레벨에서의(즉, 중추신경계와는 구별되는) 신경 처리가 도약 억제의 제어 또는 유지(maintenance)와 관련됨을 암시한다.
타겟 위치에 도달하는 도약에 이어지는 약 50 내지 60밀리초의 짧은 기간 동안, 동공, 수정체 및 각막윤부(limbus)를 포함하는 안구 내의 구조물들이 감쇠 진동의 형태로 계속해서 움직인다. 뇌에 의해 처리되면, 이미지들이 망막에 도달함에 따라 특히 수정체의 운동이 이미지들의 모션 블러를 계속해서 야기할 것이다. 이러한 모션 블러를 방지하기 위하여, 안구 내의 구조물들이 감쇠 진동 운동하는 이 기간까지 도약 억제가 지속될 것이다.
깜빡임 억제는 윗눈꺼풀이 동공을 덮고 있는 시간 동안 "암흑"을 인식하지 못하게 하여, 대부분의 빛이 망막에 도달하지 않게 한다. 깜빡임 억제는 깜빡임이 자발적인 것인지 아니면 비자발적인 것인지(즉 자연스러운 것인지 아니면 반사적인 것인지) 여부에 관계없이 일어나고, 보통은 양쪽 안구에서 동시에 일어난다. 깜빡임 억제는 눈꺼풀의 빛-차단 기능을 바이패스하는 것에 의해 망막으로 빛이 인위적으로 도입되는 경우에도 일어난다.
깜빡임 억제는 깜빡임 이전에 시작되어 200 내지 250밀리초 동안 지속되고, 윗눈꺼풀이 동공을 덮는 것을 정지한 후에 종료된다. 윗눈꺼풀의 최고 속도는 방향에 따라 다른데, 하방으로는 700°/초에 이르고, 상방으로는 2000°/초에 이른다. 졸음과 같은 요인이 눈꺼풀 최고 속도 및 눈꺼풀이 닫힌 상태로 유지되는 기간에 영향을 미칠 수 있다.
인간의 경우, 깜빡임은 평균적으로 분당 15 내지 20회 일어난다. 방금 설명한 범위의 깜빡임 억제 기간을 이용하면, 개인은 깜빡임으로 인해 시간의 약 5 내지 8% 동안 기능적으로 "실명(blind)" 된다. 유사한 추론 과정을 따라, 전형적인 조건 하에서 개인은 도약 운동을 분당 약 40회 수행한다. 방금 설명한 범위의 도약 억제 기간을 이용하면, 개인은 도약 억제로 인해 시간의 대략 7 내지 10% 동안 기능적으로 "실명" 된다. 이러한 억제들의 종합적인 효과는 전형적인 개인이 시간의 약 15% 동안 기능적으로 "실명" 되는 것이다. 이 값은 개인, 인지 부하, 이른바 "백일몽(day-dreaming)", 피로, 주의력, 스트레스, 약물, 빛 및 수행하고 있는 일(예컨대, 독서, 대화)을 포함하는 요인들의 수에 따라 달라질 수 있다. 어떤 응용 분야에서 특히 적절한 것은 디스플레이 디바이스를 관측할 때의 깜빡임 속도(blink rate)의 실질적인 감소(최대 5배)이다.
인간의 경우, 깜빡임들과 도약들 간에 상호작용이 또한 존재한다. 깜빡임 바로 후에(예컨대 최대 200밀리초) 도약이 이어지면, 도약의 가속, 최대 속도 및 감속이 감소된다. 다른 한편으로, 깜빡임이 도약 후에 이어지는 경우, 깜빡임 역학 관계(blink dynamics)에 큰 영향은 없다. 가장 큰 효과는 깜빡임이 도약보다 대략 100밀리초 앞서 일어날 때 나타난다. 최종 결과는 이동한 도약 거리에 기반하여 계산된 기간보다 대략 3분의 1 정도 더 긴 늘어난 도약 기간이다. 따라서 안구 운동을 도약으로 분류하기 위한 임계 속도가 30°/초보다 큰 전형적인 임계 속도(즉, 깜빡임에 이어지지 않음)로부터 30°/초보다 큰 깜빡임-후 임계 속도로 감소될 수 있다.
깜빡임은, 비록 그 효과의 적어도 일부가 폭주 도중의 작은 도약 운동들에 대한 영향에 기인하는 것일 수 있기는 하지만, 또한 후속하는 폭주 운동들에 영향을 미칠 수 있다. 도약에 대한 깜빡임의 효과에 대한 근거 중 한 가지 가능성은 도약을 개시하는 프로세스에 영향을 미치는 깜빡임 도중의 공유된(shared), 전운동 신경 회로(premotor neural circuitry)의 억제이다. 이 공유 신경 회로는 또한 응시 깜빡임(gaze-evoked blink)에서 역할을 한다. 사람들 및 다른 포유류들의 경우, 응시 중의 시선 변화가 크면 깜빡임의 가능성이 약 20% 증가된다.
안구 시그널링 프로세스 도중의 예시적인 실시예들에서, 기능적 실명은 예상 사용자 반응 시간에 영향을 미칠 수 있다. 안구 역학 관계에 있어서의 이러한 중단 및 변경이 안구 신호 선택 기준에서 고려되어야 할 필요가 있다. 이는 깜빡임의 발생이 보통 안구 신호들과 동기화되지 않기 때문에 일어난다. 더욱이, 정정 도약(corrective saccade)들과 같은 신속 운동들이 어떤 안구 신호 시퀀스들 중에는 산입되고 다른 것들에는 들어가지 않을 수 있다. 또한, 도약 전에 발생하는 깜빡임은 도약 역학 관계를 변화시킨다. 따라서, 최적의 안구-상호작용 성능을 위해서는, 사용자의 지각 시점(사용자에 의해 채택되는 경우), 선택 프로세스들 및/또는 디스플레이된 객체들의 제어된 출현 및 소실을 제어할 때 깜빡임들 및 다른 시기의 기능적 실명이 반드시 검출되고 고려되어야 한다.
특정한 예로서, 시간적으로 가까운 쌍의 순차적인 도약 안구 운동들과 관련된 활성화 시퀀스 도중에 주의를 환기시키도록 설계된 방식으로 도약의 종료 시에 객체가 즉시 도입될 경우, 객체 도입의 시기는 임의의 깜빡임들의 존재를 고려해야만 한다. 깜빡임이 도약 직전에 일어나면, 추가 도약 기간(즉, 도약에 의해 이동되는 거리에 대해 계산된 것을 넘는 기간)으로 인해 새로 도입되는 객체의 디스플레이를 지연할 필요성이 발생된다. 예를 들어 깜빡임에 뒤따르는 도약 운동의 증가된 지속 기간을 각기 다른 활성화 시퀀스의 요소일 수 있는 일종의 원활 추적, 전정안구반사 운동(vestibulo-ocular movement) 또는 주시(fixation)로 잘못 해석하지 않는 것이 또한 중요하다.
대체로, 이벤트들의 시기의 제어 또는 측정에 근거하고 있는 안구 신호들은 도약 억제 및 깜빡임 억제 도중의 시각적 처리의 결여를 고려해야만 한다. 이들은 잠깐 나타나는 메뉴 선택들, 사용자 결정을 하는 시간들, 반응 시간들의 측정들, 무의식적인 안구 운동들을 유발하거나 혹은 방지하는 자극의 제시, 갭 효과(gap effect)를 발생시키는 타겟들의 제거 타이밍, 변화 맹시로부터 이득을 보는 이미지의 도입 또는 변경 타이밍, 시각 억제를 이용하여 장면 내의 요소들을 변경하는 이야기꾼을 뒷받침하는 툴의 구현 등을 포함한다.
도약 운동들과 관련된 다른 고려는 이미지 변위(image displacement) 및/또는 이른바 "공백 효과(blank effect)"의 도약 억제를 수반한다. 이미지 변위의 도약 억제는 도약의 타겟 위치에서의 소정 량의 이동이 시각계에 의해 지각되지 않게 하는 인지 프로세스이다. 객체들이 검출되지 않으면서 이동될 수 있는 영역은, 대략 전형적인 망막 중심와 뷰(foveal view)의 크기인, 최대 2°이다. 프로세스들은 시각 단기 기억 및/또는 트랜스도약 기억(transsaccadic memory)을 수반하는 것으로 생각된다.
객체를 재도입하기 전에 "공백"장("blank" field)(타겟 객체의 부재)을 50 내지 300밀리초 동안 삽입하는 것에 의해 객체 운동을 검출하는 능력이 증가될 수 있다는 점은 흥미롭다. 도약에 뒤따르는 객체들의 검출 위치들에 소량의 "슬롭(slop)을 허용하면 예상 타겟 위치와 실제 타겟 위치 간의 차이로부터 발생되는 운동의 지속적인 지각을 방지하는 것으로 생각된다.
예시적인 실시예들에서, 안구 시그널링 도중에, (필요한 경우) 주의를 환기시키지 않는 도약 중에 타겟 구역 내에 있는 하나 이상의 객체의 위치를 시프트시키는 것에 의해 공백 효과가 사용될 수 있다. 반대로, 공백장의 삽입은 사용자의 안구를 타겟 위치에 있는 이동 객체로 "안내"하는 것을 돕도록 사용될 수 있다. 이러한 이동 객체는 예를 들어 하나 이상(즉, N, "N"은 일반적으로 영(0)보다 큰 양의 정수)의 객체를 디스플레이하여 사용자에 의한, 원활 추적에 근거한, 선택된 객체의 의도적인 추종에 의해 검출되는 N-중-1의 선택을 하는 초기 단계일 수 있다.
도약 변동성
단거리의 도약들은 타겟에 대해 오버슈트되기 쉽고, 이보다 긴 도약들(대략 5°보다 큼)은 타겟에 대해 언더슈트되기 쉽다. 장거리 도약들은 전형적으로 타겟 거리의 90%를 커버하고, 10%의 정정 도약이 뒤따른다. 구심 도약이 원심 도약보다 더 정확한 경향이 있다. 언더슈트 또는 오버슈트 후에 이루어지는 정정들은 그 레이턴시(latency)가 길거나 혹은 짧을 수 있다. 정정 도약들은 신속하게 수행(즉 동적 언더슈트(dynamic undershoot) 또는 동적 오버슈트)될 수 있거나 혹은 수백밀리초를 요구(즉, 글리세이딕 언더슈트(glissadic undershoot) 또는 글리세이드 오버슈트)할 수 있다. 타겟 성질들, 원칙적으로 휘도는 정정 도약의 레이턴시에 영향을 미칠 수 있다. 휘도가 망막 중심와 임계치 아래로 떨어지면, 레이턴시가 크게 증가될 수 있다.
도약들은 암흑에서, 비시각적 타겟으로 지향될 때 또는 어떤 병적 증상이 존재할 때 보다 느린 경향이 있다. 도약 기간은 또한 타겟이 아닌 시각적 자극 및 다른 도약들의 시퀀스에 의해 영향을 받을 수 있다.
종합하면, 예시적인 실시예들에서, 지향된 도약 안구 운동의 존재를 검출하는 알고리듬적 필터들은 이러한 지연들 및 변동성을 고려해야만 한다. 또한, 도약(정정 도약 포함)의 속도 및 다른 형태의 안구 운동들을 최적화시키도록 휘도가 제어될 수 있다. 전체 휘도가 제어되지 않을 수 있는 상황에서, 알고리듬적 필터는 도약 시퀀스들을 식별할 때 높아지거나 혹은 낮아진 휘도의 일반적인 효과를 고려할 수 있다.
"이중(dual)" 또는 "단일(single)" 도약 운동을 언급하는 아래의 설명에서, 이러한 의도적인 도약들은 다른 형태의 도약들을 포함하는 다른 안구 운동들이 존재하는 데서 인지되고 구별되어야만 한다. 이러한 부수적인 안구 운동들은 하나 이상의 (대체로 단거리) 정정 도약, 깜빡임, 떨림(tremor), 드리프트(drift) 등을 포함한다.
추가로, 위에서 언급한 바와 같이, 동공 및 (대체로 다소 적은 범위까지는) 각막윤부가 도약 안구 운동이 그 타겟 목적지에 도달함에 따라 감쇠 진동으로 출현되는 변위들을 나타낼 수 있다. 이 운동들의 주 진동 주파수는 대체로 약 20Hz(즉 50밀리초의 주기)이다. 감쇠 진동은 전형적으로 50 내지 60밀리초 동안 검출될 수 있다. 도약 억제는 이 시간 주기 동안 지속된다. 그렇지 않으면 관찰 장면들 내에서 모션 블러가 명확하게 나타날 것이다.
지각 부재 시의 도약 시퀀스
도약 도달(saccadic landing) 도중에 일어나는 감쇠 진동들을 포함하는 도약 억제 도중에는 지각이 가능하지 않다. 따라서, 예시적인 실시예들에서, 타겟 객체의 지각이 의도를 전달하는 필수 요소가 아닌, 의도를 전달하도록 설계된 도약 시퀀스들 도중에, 감쇠 진동이 일어나는 시간은 또한 의도를 전달하는 필수 요소가 아니다. 다른 말로 하면, 지각이 필요할 것 같으면, 지각을 위한 시간(200 내지 250밀리초) 및 사용자가 기능적으로 실명인 도약 도달 도중의 감쇠 진동 시간(50 내지 60밀리초)이 의도를 전달하는데 사용되는 의도적인 안구 운동들의 속도를 제한할 것이다. 지각을 요구하지 않음으로써 이 기간들 둘 다에 대한 필요성이 없어진다.
예시적인 실시예들에서, 안구 신호 언어 내에서, 경험 많은 사용자는 도약 시퀀스들을 위한 타겟들인 객체들 각각 또는 어느 하나를 완전히 지각하지 않고도 의도를 전달하도록 설계된 다수의 도약들을 수행할 것이다. 사용자 경험에 의해 지원됨으로써 지각이 수행되지 않을 경우, 도약들 간의 간격들은 크게 감소될 것이고 하나 이상의 사용자 의도가 훨씬 더 신속하게 전달될 것이다.
경험 많은 사용자는 보통 의도를 전달하기 위해 기억-유도 도약들에 대한 증가된 의존을 나타낸다. 시각적인 타겟이 보통 여전히 기억-유도 도약을 위해 요구되지만, 타겟 객체가 완전히 검사(즉 완전한 지각을 요구)될 필요는 없다. 더욱이, 선택 타겟들은 흔히 망막 부중심와 뷰(parafoveal view) 또는 주변 뷰(peripheral view)에 위치된다.
아래의 "관련성이 높은 객체의 고해상도 렌더링"이라는 명칭의 단락에서 설명하는 바와 같이, 객체의 세부 사항들이 보통 이 뷰들 내에서는 잘 지각되지 않음에도 불구하고, 객체 위치에 대한 강한 인식이 있다.
예시적인 실시예들에서, 객체에 대한 완전한 지각없이도 제1 객체로의 도약이 가능하다. 그러면 제1 객체를 완전히 지각하지 않은 상태에서 언제라도 액션 및/또는 제2 객체로의 후속 도약을 수행하는 것이 가능하다. 제1 객체를 향한 이동과 관련된 액션은 도약 안구 운동의 탄도학적 프로파일에 기반한 도약 도달 위치가 결정되면 바로 수행될 수 있다. 따라서 다음 "의도적"(즉 의도를 전달하는) 안구 운동(또는 의도를 전달하는 다른 양상)의 의식적인 인식 전에 하나 이상의 액션이 수행될 수 있다.
지각 전에 제1 객체의 디스플레이를 제거하고 이에 따라 이른바 "갭-효과"를 발생시키는 것도 가능하다. 본 명세서의 다른 부분에서 설명하는 바와 같이, 갭 효과는 안구를 제1 객체를 주시하는 것으로부터 "해방"시켜서 다른 객체를 향한 신속한 도약 전이를 더 촉진하는 효과를 갖는다.
다중 선택물(choice)들(예컨대 키보드)의 이중-도약 선택 시퀀스들(DSSS: Dual-Saccade Selection Sequences)
앞에서 개시한 바와 같이, 안구 신호 언어 내에서, 추적 객체들을 시각적으로 추종하는 것에 의해 N-중-1 선택들을 하는 데에 원활 추적 안구 동작들이 사용될 수 있다. 이 메커니즘은 비교적 소수의 순차적인 선택 시퀀스들(전형적으로 1이며, 여기서는 여전히 "시퀀스"로 지칭하지만 다수일 수 있음)이 제한된 수의 선택들(전형적으로 2 내지 8)을 가지고 수행될 때 특히 효과적일 수 있는 안구 신호들을 형성하는 도중의 안구 운동들의 특정한 "흐름(flow)"을 가능하게 한다. 이 시퀀스들 및/또는 선택들의 수의 최대값들은 원활 추적 기반 메커니즘들의 사용을 제한하고자 하는 뜻은 아니며, 오히려 이 값들은 충분하고 효율적인 사용에 기반하여 제안된 것이다.
선택들의 수(N)가 커질 때, 선택들을 하기 위해 신속 도약 안구 운동들을 대신 사용하는 것이 생리학적으로 더 효율적이 된다(즉, 시간과 노력을 덜 소요한다). 큰 N 선택 프로세스의 상징적이고 특히 유용한 예를 기입하고 있다. 영어에서, 이는 26개의 글자들, 10개의 숫자 디지트(numeric digit)들 및/또는 다수의 기타 "특수" 문자(예컨대, "$", "@", "#" 등), 구두점(예컨대, ",", ".", "?" 등) 및 기능/명령들(예컨대, 기능키, 시프트키 및 제어키, 종료 타이핑(end typing) 등)로부터 선택하는 것을 수반한다.
아래의 설명 중에서, "키보드"에 대한 언급은 타이핑을 위해 흔히 사용되는 표준 키보드(예컨대, 이른바 QWERTY 키보드), 대안적인 타이핑 레이아웃(typing layout)의 키보드들, 숫자 입력을 위해 사용되는 키패드 또는, 알파뉴메릭 문자들(예컨대, 알파벳 및/또는 숫자), 구두점, 방향 화살표들, 이른바 특수 문자들, 이미지들, 기능키들, 그리기(drawing) 기능들, 텍스트 편집 기능들, 쇼트-컷(short-cut)(즉, 기능들의 집합) 등을 포함할 수 있는 임의의 다른 선택 매트릭스(selection matrix)를 포함할 수 있다. 키보드는 주(week)의 날(day)들, 연(year)의 달(month)들, 사전 결정된 증분(예컨대 15분마다)을 갖는 하루의 시간, 나라 안의 주 또는 지방, 색상, 폰트 선택들 및/또는 크기, 연락처, 소프트웨어 애플리케이션들, 기계 제어 기능들 등과 같은 특정 세트의 가능한 선택들에 적합할 수 있다. 키보드 또는 선택 매트릭스는 실제 키들(즉, 물리적 객체) 또는 가상키들(즉, 디스플레이의 일부로서 투사됨) 또는 실제키와 가상키의 조합(중앙 디스플레이 디바이스 상에 투사된 키들에 더해 디스플레이 영역 외부에 위치되는 추가적인 물리키들이 있는 형태)일 수 있다.
또한, "키보드"(즉, 선택 매트릭스) 내의 개별 키들은 보다 높은 레벨의 생각 및/또는 개념을 나타낼 수 있다. 키보드 선택들은 단어들, 구절들, 또는 심지어는 완전한 문장들을 나타낼 수 있다. 키들은 아이콘그래픽 도면들 또는 아이콘그래픽 도표들, 예를 들어 중국어 심볼/의미와 관련된 것들을 포함할 수 있다. 키들은 또한 정적 또는 동적(즉, 애니메이션) 미디어 글리프(media glyph)들을 포함할 수 있고, 이들은 개별 언어 또는 특정 언어와 전혀 관련이 없는 보편적인 미디어 글리프들을 포함할 수 있다. 심볼들, 이미지들 및/또는 글리프들은 먼저 입력된 키들, 식별된 사용자, 하루 중의 시간, 보일 때만, 및/또는 다른 맥락 요소들의 결과에 따라 시간이 지남에 따라 변할 수 있다.
안구들을 사용하여 타이핑할 때의 가장 중요한 제약은 (예컨대, 늘어난 체류 기간(dwell period)에 걸친 평균화와 같은 통계적 방법들을 사용하지 않거나 혹은 응시 구역에 대한 "줌인(zoom in)"에 시간을 소요하지 않으면서) 신속 안구 운동들 도중에 응시 벡터들이 결정될 수 있는 정확성이다. (떨림의 존재, 마이크로도약들, 드리프트 및 다른 생물학적 측면을 포함하는) 시스템의 응시 정확성은 도약 안구 운동들을 이용한 선택 프로세스 도중에 지시될 수 있는 서로 다른 구역들 또는 영역들의 수를 제한한다.
고도로 국한된 디스플레이 영역들에 걸쳐 이러한 제한을 극복하는 방법은 다수의 도약 안구 운동들을 이용하여 선택들의 시퀀스 내에서 각각의 선택을 행하는 것이다. 이는 "선택 트리(selection tree)"로 생각되는데, 여기서, 가지들이 작을수록 전체 선택 그룹 중의 더 작은 서브세트로부터 선택들을 행할 수 있게 된다.
초기 도약(들)에 따라 선택들이 동적으로 변하는 전략을 특히 이용하여 선택을 특정하기 위해 세 개(3) 이상의 순차적인 도약 안구 운동들을 직렬 수행(cascade)할 수 있는데, 그렇지만 이는 보통 매우 큰 N(예컨대, >50)에 대해서만 요구된다. 따라서, 이중-도약 선택 시퀀스들(DSSS)이 사용하기에 가장 쉽고, 이를 아래에서 설명한다. 동일한 일반 원리들이 각각의 선택을 행하는 세 개(3) 이상의 도약들에도 사용될 수 있다.
또한, 가능한 모든 선택들을 위해 동일한 수의 레이어들(또는 선택 트리 구조에 대해서는 "가지들")을 사용할 필요가 없다. 흔히 사용되고 그리고/또는 "중요한" 선택들은 활성화를 위해 보다 적은 도약들을 요구하도록 셋업될 수 있다. 아래에서 더 상세하게 설명하는 바와 같이, 도 6은 대부분의 선택들이 이중 도약 시퀀스를 이용하여 행해지지만 이른바 "캐리지 리턴(carriage return)"(273)의 선택과 관련된 기능들이 단일 안구 도약 운동을 이용하여 수행되는 레이아웃(270)의 예이다.
안구 신호 언어 요소를 개발할 때 고려되어야만 하는 두 번째 제약은 사용자가 "타겟" 위치들을 탐색하여 발견할 수 있게 하는 것이다. 어떤 경우들(즉, 보통 소수의 선택들을 수반하는 경우들)에서, 경험 많은 사용자는 일반적인 선택 시퀀스들의 위치들을 알고 이렇게 기억하고 있는 위치들에 기반하여 기억-유도 도약들을 실행할 수 있다. 그러나, 대부분의 경우들에서, 사용자가 선택들을 수행하기 전에 잠재적인 타겟 선택물들을 탐색하는 것이 가능해야만 한다. 조사 및 탐색은 보통 도약 안구 운동들을 수반한다. 따라서, 안구 신호 요소들은 반드시 1) 임의의 수의 탐색 안구 운동들을 허용해야 하고, 그리고 2) 선택 프로세스를 수행하는 의도적인 도약 안구 운동들을 구별할 수 있어야 한다.
또한, 타겟 위치로 도약할 때, "의도적인" 안구 운동을 지시하는 것이든 아니면 환경을 단순히 시각적으로 탐색하는 것이든, 하나 이상의 정정 도약 및/또는 다른 형태의 안구 운동(예컨대 떨림, 진동)이 일어날 수 있다. 이들은 보통 도약들 및/또는 다른 형태의 자발적인 운동들(예컨대 원활 추적, 전정안구반사, 폭주) 사이에 개재될 수 있는 비자발적 안구 운동들이다. 응시 타겟 위치들(그리고 안구 운동들의 타이밍 및 다른 특성들)을 결정하도록 설계된 알고리듬들은 이러한 형태들의 개재 운동들을 허용해야만 한다.
예를 들어 타겟 위치로 도약할 때, (예상되거나 혹은 측정되는) 초기 도약 안구 운동은 타겟으로부터 사전 결정된 임계 거리 이내에 들어가지 않을 수 있다. 그러나 하나 이상의 정정 도약이 사용자의 응시를 타겟에 계속해서 접근하게 만들 수 있다. 하나 이상의 정정 도약의 결과로 응시가 타겟으로부터 사전 결정된 임계 거리 이내에 들어가는 것으로 결정되면, 타겟은 선택된 것으로 간주되고 관련된 액션이 개시된다.
도 1a는 4(수평)x3(수직) 안구-응시 선택 격자(grid)(200)로 제약된 DSSS 영어 알파벳 키보드의 예이다. 각각의 격자 위치는 4개의 문자들/기능들 또는 문자/기능 격자 위치 내의 네 개(4)의 문자들/기능들 중 하나(1)를 식별하는 선택 세목(203a, 203b, 203c, 203d)을 포함하고 있다. 문자들/기능들 또는 선택 프로세스를 나타내는 아이콘들은 보통 격자 위치의 중앙 구역에 위치되어, 격자 위치 내에서의 안구 운동들의 정확한 추적을 위한 중심 초점(즉, 인접한 격자 위치들까지 넘어갈 수 있는 가장자리로부터 멀리 있음)을 제공한다.
(세 개(3)의 다른 문자들/기능들과 함께) 소망하는 문자/기능을 포함하고 있는 격자 위치로의 (도약 안구 운동을 주로 이용한) 제1 이동 및 문자/기능 격자 위치 내의 문자의 위치에 대응되는 제2 격자 위치(203a, 203b, 203c, 203d)로의 도약에 의해 임의의 문자(201)가 특정될 수 있다. 그러면 다음 문자/기능을 포함하는 격자 위치로 도약해서 돌아가고 후속해서 격자 위치 내의 문자의 위치에 대응되는 선택 위치(203a, 203b, 203c, 203d)로 도약하는 것에 의해 다음 문자가 선택될 수 있다. 이러한 쌍 안구 운동들은 임의의 수의 문자들 또는 기능들에 대해 반복될 수 있다.
구체적인 예로서, 도 1b는 안구 신호들 및 도 1a에 도시된 키보드 레이아웃을 이용하여 "boy"라는 단어를 타이핑하는 안구 운동들의 시퀀스를 도시하고 있다. 도약 안구 운동들은 점선들(예컨대, 205)로 지시되어 있다. 안구 운동 시퀀스는 글자 "b"를 포함하는 격자 위치(204a)를 선택하는 것에 의해 시작된다. 그런 다음 오른쪽 상단 사분면(204a)에 대응되는 선택 격자 위치(203b)로 도약하는 것(205)에 의해 "b"가 식별된다. 다음으로, 글자 "o"가 이 글자를 포함하는 격자 위치(204b)로 도약하고 나서 "o"가 그 자신의 격자 위치(204b)내에서 위치되어 있는 왼쪽 하단 사분면을 식별하는 선택 격자 위치(203c)로 도약해서 돌아가는 것에 의해 특정된다. 그런 다음 문자 "y"가 이 문자를 포함하고 있는 격자 위치로 그리고 나서 왼쪽 상단 사분면을 식별하는 격자 위치(203a)로 도약(206)하는 것에 의해 선택된다.
단어의 끝은 "스페이스(space)"(207) 또는 소정 형태의 구두점(예컨대, ",", ".", "?" 등)에 의해 특정된다. 선택적으로, 부분적인 단어들의 완성 및/또는 구두점의 완성은 또한 예를 들어, 스마트폰 또는 기타 디바이스들에서 볼 수 있는 피처들과 유사한, "자동 완성(auto-fill)" 피처들의 선택에 의해 증대될 수 있다. 특수 문자/기능(예컨대, 캐리지 리턴과 주로 관련되는 "←")이 이 기능을 수행하도록 예약될 수 있다. 다른 기능들에 대한 액세스 및 대안적인 키보드 레이아웃들은 이 피처를 위해 지정된 다른 특수 문자(도 1a에 예시된 "^"(202))에 의해 트리거될 수 있다. 이 경로는 예를 들어 숫자 디지트들, 심볼들, 대문자화 및 다른 피처들에 대한 액세스를 제공할 수 있다.
도 2a 및 도 2b는 안구 신호 언어를 이용하여 타이핑하기 위한 키보드 레이아웃의 다른 예(210)를 도시한다. 이 경우, 세 개(3)의 문자(예컨대, 211)가 안구로 선택 가능한 각각의 격자 위치 내에 종대로 배열된다. 초기 문자/기능 격자 위치가 보이고 나서, 상부 선택 위치(213a), 중간 선택 위치(213b) 및 하부 선택 위치(213c)로 각각 도약하는 것에 의해 격자 위치 내의 상부, 중간 또는 하부의 문자가 선택될 수 있다. 이 예에서, 선택 격자 위치들(213a, 213b, 213c)은 전체 디스플레이의 가장 오른쪽에 위치된다.
도 2a에 도시된 레이아웃은 보통 보다 큰 생물학적 운동 범위와 제어를 갖는 수평 안구 운동들을 우선적으로 지원한다. 더욱이, 레이아웃은 비교적 간단하고 직관적이며, 초보 사용자에 의한 간단한 단어 입력에 특히 적합하다. 레이아웃은 스물여섯 개(26)의 모든 영문자 전부와 예를 들어 입력의 종료 및/또는 다른 키보드 레이아웃으로의 스위칭 소망을 지시하는 데 사용되는 "^" 기능 문자를 포함한다.
도 2b는 안구 운동들의 다른 예시적인 시퀀스를 도시하는데, 이 예에서는 도 2a에 도시된 키보드 레이아웃을 이용하여 "cat"이라는 단어를 입력한다. 도 1b에 도시된 바와 같이, 도약 안구 운동들은 점선들(예컨대, 215)로 지시된다. 안구 운동 시퀀스는 글자 "c"를 포함하는 격자 위치(214)를 선택하는 것에 의해 시작된다. 그러면 "c"는 하부 문자 선택에 대응되는 활성화 격자 위치(213c)로의 도약(215)에 의해 특정지어 식별되는데, 이는 "c"가 격자 위치(214) 내에서 하부 문자이기 때문이다. 다음으로, 글자 "a"는, "a"가 동일한 격자 위치 내에 위치되어 있기 때문에 격자 위치(214)로 도약해서 돌아간 다음 "a"가 격자 위치(214)의 상부 문자이기 때문에 상부 문자들/기능들을 식별하는 선택 격자 위치(213a)로 도약하는 것에 의해 특정된다. 그런 다음, 글자 "t"를 포함하는 격자 위치로 도약하고 마지막으로 격자 위치들 중 중간에 위치된 문자들을 식별하는 격자 위치(213b)로 도약(216)하는 것에 의해 문자 "t"가 특정된다.
이 키보드 레이아웃들에서, 문자/기능 선택들의 가능한 최대수는 문자/기능 격자 위치들의 수와 선택 위치들의 수의 곱이다. 예를 들어, 도 1a에서, 여덟 개(8)의 문자/기능 격자 위치들 및 네 개(4)의 선택 위치들에 대해 최대 총 8X4=32개의 문자/기능 선택들이 가능하다. 도 2a에서, 아홉 개(9)의 문자/기능 격자 위치들 및 세 개(3)의 선택 위치들에 대해 최대 총 9X3=27개의 문자/기능 선택들이 가능하다.
보다 일반적으로는, 정해진 수의 선택 가능한 격자 키보드 위치들에 대해, 선택들의 최대수는 문자/기능 위치들의 수 및 선택 위치들의 수가 거의 동일할 때 획득된다. 예를 들어, 도 3은 여섯 개(6)의 문자/기능 위치들 및 여섯 개(6)의 선택 위치들을 가짐으로서 총 서른여섯 개(36)의 선택이 가능한 3행 4열의 격자 레이아웃(220)의 예를 도시하고 있다. 이는 영어 알파벳 및 열 개(10)의 다른 특수 문자들 또는 기능들로부터 안구에 기반한 선택들을 할 수 있게 한다. 여섯 개(6)의 선택 위치들은 왼쪽 열(223a)과 오른쪽 열(223b) 그리고 상부행(224a), 중간행(224b) 및 하부행(224c)으로 배열된다.
도 3에서, 선택 격자 위치들 각각의 중앙 구역에 있는 아이콘은 문자/기능 선택 위치 내의 상대 위치들(즉 왼쪽 대비 오른쪽 그리고 상부, 중간 및 하부)에 대응된다. 따라서 특정 문자/기능을 선택하는 데에 상대 위치가 사용된다. 보다 일반적으로는, 다른 메커니즘 또는 시각적인 지시들이 별도로 또는 조합하여 문자/기능 선택들과 관련되도록 사용될 수 있다. 이들은 문자/심볼 색상, 폰트, 휘도 또는 크기, 배경 색상, 테두리 특성 및/또는 다른 시각적 신호의 부합을 포함한다.
디스플레이/응시추적 영역에 제한될 때, 안구에 기반한 선택물들을 위한 단일의 추가 열 또는 행의 이용 가능성은 단일 스크린 내에서의 선택들의 레퍼토리를 크게 확장시킨다. 도 4a는 5열 3행 선택 격자의 예시적인 레이아웃(250)을 도시한다. 도 3에서와 같이, 여섯 개(6)의 선택 위치들이 상부행(254a), 중간행(254b) 및 하부행(254c) 내에 왼쪽 열(253a)과 오른쪽 열(253b)로 배열된다. 문자/기능들(251)은 세 개(3)의 가장 왼쪽 열들(252a, 252b, 252c)에 특정된 것들로부터 선택된다. 이 레이아웃을 이용하여, 총 9x6-54개의 문자 또는 기능 선택들이 단일 DSSS를 통해 행해질 수 있다. 이는 26 글자의 영어 알파벳, 열 개(10)의 숫자 디지트들, 네 개(4)의 내비게이션 키들(즉, 상, 하, 좌, 우) 및 열네 개(14)의 특수 문자들 또는 기능들을 동시에 표시하기에 충분하다. 증가된 선택은 대문자화, 숫자 입력, 스크린 내비게이션, 구두점, 정정, 다른 스크린 레이아웃들 또는 기능들에 대한 액세스 등과 같은 기능들을 수행하는 안구 신호 언어에 있어서 보다 큰 효율과 유연성을 제공한다.
동일한 안구 응시 격자 포맷 내에서도 각기 다른 키보드 레이아웃들이 가능한데, 이는 문자들/기능들이 가상으로 디스플레이되고 레이아웃들의 스위칭이 단순히 디스플레이되는 심볼들의 세트들의 스위칭을 수반하기 때문이다. 예를 들어, 도 4b는 5열 3행 선택 격자의 대안적인 예시적인 레이아웃이다. 이 예에서, 알파벳 문자들(255), 숫자 디지트들(256) 그리고 특수 문자들 및 기능들(257)이 디스플레이의 더 잘 구별되는 구역들 내에 그룹화되어 있다. 예를 들어 산문 집필, 숫자 입력(예컨대 디지트들이 선택 위치들로의 그리고 선택 위치들로부터의 안구 운동을 최소화하도록 배열될 수 있음), 웹 내비게이션 및 입력, 특별 태스크(예컨대, 체크리스트 입력), 그리기 및/또는 간단한 개인 선호도를 위해 최적화될 수 있는 잠재적인 키보드 레이아웃들의 수에는 본질적으로 제한이 없다.
도 5는 안구 신호 "가상 키보드" 레이아웃의 다른 예(260)이다. 이 경우에서, 4열 4행 안구 선택 격자가 인간-기계 인터페이스(HMI: Human-Machine Interface) 입력을 위해 보편적으로 사용되는 공지의 "QWERTY" 키보드에 밀접하게 부합되도록 배열된다. 이러한 예시적인 경우에서, 문자들(261)은 표준 "QWERTY" 영어 키보드의 레이아웃과 유사한 시퀀스로 배열된다. 이 레이아웃이 원래 보다 자주 사용되는 문자들을 상부행들에 위치시키도록 설계되었기 때문에, 보다 자주 사용되는 문자들을 선택할 때 안구 운동 거리들을 최소화하기 위하여, 선택 위치들이 가상 키보드의 상부행(266)을 따라 위치된다.
네 개(4)의 선택 격자 위치들(266)은 (총 마흔네 개(48)의 가능한 문자들/기능들을 위한) 열두 개(12)의 문자/기능 격자 위치들 내의 왼쪽으로부터 오른쪽으로 이어지는 네 개(4)의 가능한 문자 위치들에 대응된다. 알파벳 문자들에 더하여, 이 예시적인 레이아웃은 내비게이션 키들(즉, 상, 하, 좌, 우)의 클러스터(264a, 264b), 대문자 "A"(265)로 표시된 대문자화 기능, 단일 블록(262) 내의 스페이스 및 구두점 기능들, 대부분의 표준 키보드들에서 볼 수 있는 것과 유사한 레이아웃을 이용한 가장 오른쪽 열(263) 내의 숫자 키패드, 다른 특수 문자들 및 추가 메뉴 선택으로 이어지는 기능키들(202)을 포함하고 있다.
유사한 전략들이 임의의 크기와 형상을 갖는 안구 신호 키보드 레이아웃들을 구축하는 데 사용될 수 있다. 가능한 모든 DSSS 조합들을 사용할 필요는 없다(즉, 어떤 위치들은 공백일 수 있음). 선택 위치들은 임의의 특정 측부 또는 심지어 인접 구역 내에도 위치될 필요가 없다(즉, 이들은 가장 왼쪽의 경계와 가장 오른쪽 경계들 사이에서 분할 될 수 있음). 키보드는 예를 들어, 행해지고 있는 키보드 입력을 위한 탐색 기준을 가장 충족하는, 타이핑되고 있는 텍스트 및/또는 아이템들의 알파뉴메릭 표시들 및 이미지들을 포함하는 보다 다면적인 디스플레이 시스템 내에 또한 통합될 수 있다. 이러한 텍스트 및 이미지들은 키보드 주위에(즉, 임의의 또는 모든 측부들을 따라) 또는 심지어는 키보드 레이아웃 자체의 중앙 구역들 내에도 위치될 수 있다.
도 6은 선택 구역들이 인접하지 않는 대안적인 선택 레이아웃을 나타내는, 4(수평)x3(수직) 격자로 제약되는 DSSS 영어 알파벳 키보드의 예시적인 레이아웃(270)이다. 도 1a와 유사하게, 네 개(4)의 문자들 또는 기능들의 클러스터가 디스플레이(270)의 보다 중앙의 구역들(272)로부터 처음에 선택된다. 그런 다음 디스플레이 영역의 네 개(4)의 모서리(271a, 271b, 271c, 271d) 중 하나로의 도약 운동에 의해 네 개(4)의 문자들/기능들 중 하나의 선택이 수행된다. 4 모서리들 중 1의 선택 프로세스는 직관적이고, 구별되고(즉 각기 다른 방향들) 그리고 알고리듬적으로 파악할 수 있는 도약 안구 운동들을 가능하게 한다.
도 6의 레이아웃(270)은 또한 모든 선택들이 동일한 선택 모드로 이루어지지는 않는 선택 트리의 상황을 예시한다. 레이아웃(270) 내의 대부분의 선택들은 이중 도약 시퀀스를 이용하여 행해진다. 디스플레이의 가장 오른쪽에 있는 이른바 "캐리지 리턴" 문자(273)와 관련된 기능은 선택되면 바로(즉 단일 도약으로) 수행된다.
안구 신호들을 이용한 타이핑 중의 또는 임의의 다른 선택 프로세스 도중의 피드백은 시각적 디스플레이에 제한되지 않는다. (예컨대, 디바이스가 사용자 의도를 "추측"할 때) 문자들, 단어들, 구절들 또는 다른 지시들이 오디오 형식으로(즉, 합성된 음성 또는 녹음된 음성(spoken voice)) 제공될 수 있다. (예컨대, 사용자가 입력 "오류"를 했을 때의) 짧은 기간의 디바이스 진동과 같은 촉각적인 피드백이 또한 통합될 수 있다. 모든 피드백 양상들은 별도로 또는 조합되어 사용될 수 있다. 각기 다른 양상들이 각기 다른 애플리케이션들 중에서 사용될 수 있다.
오프-디스플레이(off-display) 타겟
디스플레이 가장자리들 근처에 타겟 위치들을 포함하는 것에 의해 디스플레이 영역 내에서 선택 가능한 타겟들의 수를 최대화하는 방법들이 실제 객체 및 가상 객체와 상호작용하기 위한 생체기계적 기반의 안구 신호를 위한 시스템 및 방법(Systems and Method for Biomechanically-based Eye Signals for Interacting with Real and Virtual Objects)이라는 명칭의 2015년 5월 9일자 미국 특허출원 제14/708,234호에 설명되어 있고, 그 개시 내용 전체가 참조에 의해 본 명세서 내에 명시적으로 통합된다. 이 일반적 접근법은 완전히 또는 적어도 부분적으로 임의의 디스플레이 영역(들) 외부에 있는 타겟 위치들을 포함하는 것에 의해 확장될 수 있다.
사용자에게 주시 가능한 오프-디스플레이 타겟을 제공(즉, 사용자에게 "바라볼 그 무엇(something to look forward)"을 부여)하기 위하여, 타겟 위치들은 주로 디바이스 사용자의 시야 내에 있는 지시(indication)들(예컨대, 아이콘들, 이미지들, 알파뉴메릭들, 심볼들, 디스플레이 영역의 주시 가능한 가장자리들)을 포함할 수 있다. 이러한 지시들은 또한 디바이스 제어 하에서 턴온될 수 있거나, 턴오프될 수 있거나 혹은 조절될 수 있는, 하나 이상의 발광 다이오드(LED), 부 디스플레이 또는 투사광과 같은, (주 디스플레이와 무관한) 동적 요소들을 포함할 수 있다.
타겟들(예컨대, 아이콘들, 심볼들, LED들)은 주시 가능한 표면에 부착될 수 있다. 투사된 타겟들 또는 타겟들의 투사된 부분들은 하나 이상의 표면들에서의 반사, 이른바 도파관을 이용한 조절 투사, 하나 이상의 광섬유를 이용하여 지향되는 광, 굴절 광학계(refractive optics), 셔터들 및/또는 다른 광 제어 메커니즘을 포함하는 하나 이상의 원거리 광원을 포함할 수 있다.
오프-디스플레이 타겟들은 또한 특정 디스플레이의 이미지 평면에 제한되지 않는다. 예를 들어, 오프-디스플레이 타겟들은 디스플레이의 이미지 평면의 전방 또는 후방에 출현할 수 있다. 이는 오프-디스플레이 타겟으로의 안구 운동이 의도적인 활성화 시퀀스인지를 결정할 때 폭주(및 보다 젊은 사용자들의 안구들 내의 수정체 형상에 있어서의 가능한 변화들)가 고려될 수 있게 한다. 오프-디스플레이 타겟들이 다양한 깊이들에 존재하면, 폭주 정도(즉, 깊이의 지각)는 특정 타겟들의 선택 기준 내에서 사용될 수 있다.
오프-디스플레이 타겟들은 또한 사용자가 움직임에 따라 움직일 수 있는 사용자의 일부분(예컨대, 엄지손가락, 손가락, 손)일 수 있다. 추가로, 오프-디스플레이 타겟은 사용자에 의해 휴대될 수 있다(예컨대, 장갑, 반지, 옷의 일부분). 시각적인 오프-디스플레이 타겟들은 가까이 있는 휴대폰 또는 태블릿과 같은 별도의 디스플레이 디바이스 상에 디스플레이될 수 있을 것이다.
기계론적으로 이용가능하다면, 오프-디스플레이 타겟들은 선택될 때 소정 형태의 사용자 피드백(예컨대, LED의 턴온 또는 턴오프, 광 색상의 변경)을 (선택적으로) 제공할 수 있다. 오프-디스플레이 타겟이 변화가능하지 않을 때의 경우(예컨대, 표면에 부착된 "스티커" 아이콘 또는 이미지), 피드백은 부중심와 뷰 또는 주변 뷰 내를 포함하여 디스플레이 상의 다른 곳에 제공될 수 있다.
많은 경우들에서, 특히 경험 많은 사용자에게는 특정한 오프-디스플레이 피드백이 필요하지 않다. 이중 도약 선택 시퀀스(DSSS)들은 오프-디스플레이 타겟 피드백이 보통 필요하지 않은 도약 안구 신호 언어 요소들의 특히 유용한 예이다. DSSS 도중에 활성화를 위해 오프-디스플레이 타겟으로의 도약이 사용되면, 그에 따른 액션(선택된 문자 또는 이미지의 디스플레이, 문자 또는 단어의 음성 발생)이 활성화 선택이 일어났음을 알리기에 대체로 충분하다.
도 7은 디스플레이 영역의 네 개(4)의 모서리들 너머에 네 개(4)의 추가 타겟 위치들(281a, 281b, 281c, 281d)을 구비하는 4열(280a) 3행(280b)으로 디스플레이되는 선택 매트릭스의 예이다. 도 7에서, 오프-디스플레이 타겟들(281a, 281b, 281c, 281d)을 위한 공간 구역들이 점선들로 도시된다. 예를 들어 DSSS를 이용하여 전체 영어 알파벳, 숫자 디지트들 및 다수의 특수 문자들(시퀀스(282)의 종료를 지시하도록 지정된 것을 포함함)로부터 선택하도록 디스플레이된 선택들 및 오프-디스플레이 타겟들(281a, 281b, 281c, 281d)의 조합이 사용될 수 있다. 도 6과 비교할 때, 네 개(4)의 모서리들(281a, 281b, 281c, 281d)에 있는 오프-디스플레이 타겟들이 4열(280a) 3행(280b) 선택 매트릭스 내에서 16개의 추가로 가능한 선택들(즉, 네 개(4)의 추가로 표시된 매트릭스 위치들 각각 내의 네 개(4)의 선택들)을 허용하는 것을 볼 수 있다.
도 8은 여덟 개(8)의 오프-디스플레이 타겟 위치들(291a, 291b, 291c, 291d, 292a, 292b, 292c, 292d)을 채택한 다른 예시적인 레이아웃을 도시한다. 도 7과 유사하게, 디스플레이된 타겟들은 4열 3행 선택 매트릭스 및 오프-디스플레이 타겟 위치들(291a, 291b, 291c, 291d, 292a, 292b, 292c, 292d)을 포함한다. 표시된 선택 가능한 아이템들은 영어 알파벳의 모든 글자들, 열(10)개의 디지트들, 및 입력 완료를 나타내는데 사용되는 이른바 "리턴"(또는 "캐리지 리턴")(295) 키를 포함하는 특수 문자들 및 기능들을 포함한다.
도 8의 레이아웃을 사용하면, 데이터 입력은 중앙의, 디스플레이된 4열, 3행 매트릭스 내에 최대 네 개(4)의 가능한 선택들의 그룹을 제1 특정하고 나서, 네 개(4)의 모서리 오프-디스플레이 타겟들(291a, 291b, 291c, 291d) 중 하나로 도약하여 4중1 선택을 지시하는 것을 포함한다. 도 7에 예시된 프로세스와 유사하게, 이는 디스플레이된 선택 매트릭스 내에서 문자들 또는 기능들 중 어느 것을 식별하기에 충분하다.
그러면 사용자는 후속해서 오프-디스플레이 "변경자(modifier)" 타겟들(292a, 292b, 292c, 292d) 중 하나로 도약하는 것에 의해 선택을 선택적으로 더 변경할 수 있다. 전형적인 키보드와 유사하게, 이 변경자 타겟들은 (보통 상향 화살표로 디스플레이되고 주로 대문자화를 위해 사용되는) "SHIFT"(292a), "control"(Ctrl로 축약됨)(292b), alternative(Alt로 축약됨) 또는 주로 숫자 디지트와 관련되는 "function key"("F"로 축약됨)(292d)와 같은 보충적인 기능들을 수행할 수 있다. 표준 키보드와 유사하게, SHIFT 숫자 디지트 키들(294)과 관련된 것들과 같은, 변경을 통해 이용할 수 있는 가능한 선택들이 디스플레이된 선택 매트릭스 내에서 지시되어 초보 사용자를 도울 수 있다.
중앙의, 디스플레이된 선택 매트릭스 내의 다른 곳으로의 복귀 도약에 의해 선택이 완료된다. 사용자가 변경자 타겟 위치(292a, 292b, 292c, 292d)로 도약하지 않고 선택 매트릭스로 도약하면, 초기 문자/기능 선택에 대해 변경이 행해지지 않는다. 변경자 타겟들로의 순차적인 도약들이 다수의 변경자들(예컨대, Ctrl 및 SHIFT)을 특정하는 데 사용될 수 있다. 필요하다면, 변경자 타겟들(292a, 292b, 292c, 292d)이 위치 타겟들(291a, 291b, 291c, 291d) 전에 (그 후와 대비하여) 동등하게 선택될 수 있다.
도 8에 도시된 스킴(scheme)은 표준 키보드 상에서 이용 가능한 문자들 및 특수 기능들의 가능한 거의 모든 조합이 안구 신호들을 이용하여 선택될 수 있게 한다. 표준 QWERTY 키보드의 오른쪽에서 이용 가능한 특수 문자들이 디스플레이된 선택 매트릭스의 오른쪽 하부 구역(293)내에서 이용가능하다. 이러한 유연성은 (예컨대, 웹 페이지 내에서의 브라우징하고 응답할 때) 표준 키보드 입력이 안구 신호들을 이용하여 편리하게 대체될 수 있게 한다.
온-디스플레이(on-display) 타겟 위치들과 오프 디스플레이 타겟 위치들을 조합하면 특히 시야의 비교적 작은 부분을 차지하는 착용형 디스플레이들 내에서 가능한 선택들의 수를 극적으로 증가시킬 수 있다. 예를 들어, 네 개(4)의 오프-디스플레이 4중1 모서리 타겟들과 네 개(4)의 오프-디스플레이 변경자 타겟들을 구비하는 도 8에 도시된 4열 3행으로 디스플레이되는 선택 매트릭스를 이용하면, 단일 (선택적) 변경자로 국한될 때 총 12x4x4=192개의 가능한 선택들이 이용가능하다. 제2 선택적 변경자(즉, 4중1)의 이용가능성은 가능한 선택들의 수를 768개까지 더 증가시킨다.
따라서 이러한 일반 전략은 커다란 풀(pool)의 가능성들로부터 선택을 행할 때 특히 가치가 있다. 이는 (도 7 및 도 8에 도시된 바와 같이 한 번에 하나의 문자를) 타이핑할 때, 단어들 또는 구절들을 선택할 때, 알파뉴메릭 데이터를 입력할 때, 다수의 이미지들 또는 데이터 세트들(특히 선택 트리 구조로 배열되고 제시될 수 있는 것들)로부터 선택할 때, 아이템들의 목록들로부터 선택할 때 등에 일어날 수 있다.
보다 일반적으로는, 오프-디스플레이 타겟들의 수는 디바이스 착용자의 시야 내에서 신뢰성 있게 분해될 수 있을 정도로 많은 타겟들에 대해 단일의 선택 가능한 구역으로 작을 수 있다. 오프-디스플레이 타겟들은 디스플레이의 주변 구역들과 중첩될 수 있거나, 디스플레이 구역들에 인접할 수 있거나, 혹은 하나 이상의 디스플레이 구역으로부터 상당히 떨어져 있을 수 있다. 타겟 구역들의 크기는 예를 들어 디스플레이 구역의 일 측부를 지나서 어느 곳으로든 도약하는 것을 포함하여 변할 수 있다. 온-디스플레이 타겟 구역들 및 오프-디스플레이 타겟 구역들 둘 다의 형상은 또한 예를 들어 정사각형, 직사각형, 육각형 및 원형 중 임의의 형태를 포함하여 변할 수 있다.
활성화 타겟들의 주변 위치들 및/또는 오프-디스플레이 위치들의 다른 중요한 장점은 디스플레이 영역 내에서의 우발적인 활성화들을 방지하는 것이다. 특정 문자 또는 기능을 선택할 때, 사용자는 희망하는 선택을 발견하기 위하여 필요한 만큼 많은 탐색 안구 운동을 사용할 수 있다. "활성화"가 주변부를 향하는 (즉, 디스플레이 영역으로부터 멀어지는) 안구 운동들의 결과로서만 일어나기 때문에, 탐색하는 동안에 활성화될 가능성은 거의 없다. 활성화가 주변부에서 일어나고 나면, 중앙 구역으로 복귀하는 것에 의해서만 새로운 선택이 개시된다. 이는 탐색 및 초기 선택 프로세스를 활성화 태스크(task)들로부터 공간적으로 그리고 방향적으로 분리시켜서, 우발적인 활성화들의 가능성을 크게 감소시킨다.
사용자가 (예컨대, 장애로 인한 불충분한 안구 추적의 결과로서) 과도하게 많은 수의 우발적인 활성화들을 유발하는 경향이 있으면, 활성화 타겟들(291a, 291b, 291c, 291d) 및 변경자 타겟들(292a, 292b, 292c, 292d)이 디스플레이 구역으로부터 더 멀리 떨어져 위치될 수 있다. 예를 들어 사용자가 경험을 쌓아서 우발적인 활성화들의 수를 감소시킴에 따라, 이러한 타겟들은 디스플레이 구역들에 더 가까이로 이동될 수 있어, 안구에 의한 이동 거리를 감소시키고 결과적으로 선택 시간 및 안구 피로를 감소시킬 수 있다.
다중 선택물들의 단일-도약 선택 시퀀스들(SSSS: Single-Saccade Selection Sequences)
확장된 시야가 디스플레이 및 안구 시그널링에 대해 이용 가능할 때, 선택 당 하나(1)의 안구 운동(즉 단일 도약)을 요구하는 방식으로 N-중-1 선택들을 배열하는 것이 가능하다. SSSS는 클러스터들에 배열된 선택 세트들을 사용하고, 이에 따라 선택으로부터 후속하는 선택이 수행될 수 있는 새 클러스터로 도약하는 것에 의해,
· 클러스터를 이용하여 특정 아이템이 선택되고, 그리고
· 선택 액션이 지시된다.
도 9a는 날짜를 선택하는 디스플레이 레이아웃(300)의 예이며, 이 레이아웃에서는 각각의 선택(즉, 월, 일)이 단일의 도약으로 수행될 수 있다. 가장 왼쪽의 클러스터(301)는 달을 특정하는 데 사용된다. 중간 클러스터(302)는 달 내에서 날을 특정하는 데 사용된다. 가장 오른쪽의 클러스터(303)는 액션을 특정한다. 왼쪽 클러스터(301) 내의 달로부터 멀어지게 도약하고 후속해서 가장 오른쪽 클러스터(303)의 액션을 향해 중간 클러스터(302) 내의 날로부터 멀어지게 도약하는 것에 의해 임의의 날짜가 특정될 수 있다.
도 9a에, 날짜 "June 4"를 입력하는 예시적인 안구 운동 시퀀스가 도시되어 있다. 도약 안구 운동들은 점선들로 도시되어 있다. 달 "June" (304)으로부터 멀어지는 도약은 달을 선택한다. 숫자 "4"로부터 멀어지는 후속 도약은 날을 선택한다. 액션 "ENTER"(305b)를 향한 도약이 애플리케이션의 데이터 입력 시퀀스에 선택된 날짜가 적용되게 하고, 그러면 애플리케이션은 예를 들어 추가 정보의 입력을 허용하도록 디스플레이를 변화시킬 수 있다.
도 9a에서, 선택될 수 있는 대안적인 액션 아이템들은 예를 들어 이전 질문에 대한 응답이 재입력되도록 하는 데이터 입력 시퀀스에서 되돌아가는 "BACK"(305a)을 포함한다. 이 예에서, 언제든지 "SKIP"(305c) 위치로 도약하면 애플리케이션은 날짜 입력 없이 계속 진행하게 된다. 클러스터로부터 멀어질 때에만 선택이 행해지기 때문에, 임의의 수의 탐색적 안구 운동들이 클러스터 내에서 용이하게 행해져서 희망하는 선택을 택할 수 있다. 부적절하게 선택된 달의 정정은 단순히 날짜 클러스터로 다시 도약해서 돌아가는 것에 의해 수행될 수 있다. 뉴메릭 클러스터 내의 심볼 "←"(306)은 예를 들어 다른 키보드 레이아웃을 요구하는 것과 같은 특수 기능을 위해 예약될 수 있다.
도 9b는 날짜 입력을 위한 다른 키보드 레이아웃(307)을 예시한다. 이 레이아웃은 (예컨대, 바이저(visor)의 상부 구역 또는 하부 구역을 따라 디스플레이하는 것을 용이하게 하도록) 수직 안구 운동들이 보다 국한될 때 그리고/또는 단위 디지트에 따라 정렬되는 날들을 표시하는 뉴메릭 입력부(어떤 사용자들에게는 보다 직관적임)를 가질 필요가 있을 때 사용될 수 있다. 도 9b의 예시적인 안구 운동들의 SSSS는 날짜 May 8을 특정한다.
도 10a는 예를 들어 안구 동작의 수평 범위가 국한될 때 사용될 수 있는 또 다른 키보드 레이아웃(310)을 예시한다. 이 경우, 일이 두 개(2)의 별도의 디지트들(312, 313)로 특정되는 날짜를 선택하도록 위해 하나(1)의 추가 도약이 요구된다. 왼쪽에서 오른쪽으로 가면서, 클러스터들은 월(311), 일의 10의 자리(312), 일의 1의 자리(313) 및 액션(314)의 선택들을 허용한다. 예시적인 안구 운동 시퀀스(315)는 SSSS를 이용한 날짜 "December 25"의 선택을 나타내고 있다.
도 10b는 수직 동작 범위가 보다 국한된 것(즉, 단지 세 개(3)의 행만 있음)을 제외하면 도 10a에 도시된 것과 유사한 키보드의 변형 레이아웃(316)이다. 이 레이아웃(316)에서, 일의 선택을 위한 10의 자리에 "0"은 포함되지 않는데, 이는 단순히 10의 자리 클러스터(312)를 바이패스하는 것이 묵시적으로 앞자리가 영인 것으로 해석될 수 있기 때문이다. "December 7"을 특정하는 예시된 안구 운동 SSSS(317)은 이러한 경우의 예이다.
선택 세트가 반복해서 동일(예컨대 글자들, 디지트들, 기능들)한 SSSS들은 선택 세트의 일부 또는 전부의 중복되는 세트들을 디스플레이하는 것에 의해 처리될 수 있다. 클러스터들 간을 번갈아서 앞뒤로 왔다 갔다 하거나 혹은 클러스터들 사이를 전이하는 것에 의해 임의의 길이의 시퀀스가 선택될 수 있다.
도 11a는 예를 들어 전화번호를 다이얼(dial)하는 데 사용될 수 있는 사이드-바이-사이드(side-by-side)형 표준 뉴메릭 키패드 레이아웃(320)을 도시한다. 도 11a에 예시된 키패드들의 레이아웃들(321, 322)은 전형적인 전화기에서 볼 수 있는 것과 같다. 대안적으로 "789"를 포함하는 행을 "123"을 포함하는 행과 교환하면 전형적인 컴퓨터 키보드 및 계산기의 것에 대한 레이아웃들로 변환된다.
임의의 길이의 수가 키패드들 사이에서 앞뒤로 도약하는 것에 의해 특정될 수 있다. 키패드들 중 하나가 뉴메릭 입력을 위한 시작점으로 사용될 수 있다. 특정 애플리케이션을 위한 충분한 수의 디지트들이 입력되거나 혹은 특수 문자(예컨대, "*" 또는 "#")가 입력되면 입력이 정지된다. 도 11a에 예시된 SSSS 안구 운동 경로는 수 "148766"을 입력하는 예이다.
도 11b는 뉴메릭 입력을 위한 대안적인 레이아웃이다. 이 레이아웃은 단순하면서도 사용하기에 직관적이다. 디지트들 및 특수 문자/기능("←")으로 이루어진 2개의 선형 행들(325a, 325b) 사이를 앞뒤로 도약하는 것에 의해 수가 입력된다. 제한된 수직 치수로 인해, 이 레이아웃(324)이 예를 들어 디스플레이의 상부 가장자리 또는 하부 가장자리를 따라, 장애를 감소시키도록, 전략적으로 배치될 수 있게 된다. 도 11b의 SSSS 안구 운동 경로(326)는 도 11a와 동일한 수(즉, "148766")를 입력하는 예이다.
도 12a는 계산기를 위한 SSSS 레이아웃(330)을 도시한다. 이 예에서, 중복형 계산기 레이아웃들(331a, 331b)이 나란히 배치된다. 숫자들과 기능들은 중복형 디스플레이들(331a, 331b) 간을 앞뒤로 번갈아서 안구 운동하는 것에 의해 선택될 수 있다. 점선(332)들은 34와 85의 곱셈 결과를 계산하는 데 사용되는 안구 운동들을 나타낸다. 이 계산의 결과(즉, 2890)(339)는 "=" 심볼(333)로의 마지막 도약 즉시 디스플레이된다.
도 12b는 디스플레이들의 동적 제어가 사용자 입력 프로세스를 돕는 간단한 상황을 예시한다. 도 12a에서와 동일한 계산기 레이아웃(330)을 이용하여, 왼쪽 계산기 디스플레이(331a) 및 오른쪽 계산기 디스플레이(331b)는 처음에 (패널(331a)에 예시된 바와 같이) "/", "*", "-", "+" 및 "="에 대한 심볼들이 없을 수 있다. 이는 이 심볼들이 뉴메릭 값이 없는 함수를 수행하는 데 사용될 수 없기 때문이다. 첫 번째 뉴메릭 값(예컨대 패널(331a)에서 "2")이 선택되면, 반대쪽 패널(331b)에 산술 연산자들이 즉시 디스플레이될 수 있다. 이 때, 등호(즉 "=")는 아직 디스플레이되지 않는데, 이는 산술 연산 및 추가 뉴메릭 정보가 제공될 때까지는 그 함수가 수행될 수 없기 때문이다.
순차적인 입력들이 동일한 형태일 경우에도 SSSS 디스플레이들이 동일할 필요는 없다. 도 13은 뉴메릭 디지트들의 신속한 입력을 위해 최적화된 공학용 계산기의 예시적인 레이아웃을 도시한다. 수직 방향으로, 상부 디스플레이(341a) 및 하부 디스플레이(341b) 내의 격자 위치들의 콘텐츠(content)들은 서로 거울 이미지이다. 자주 사용되는 디지트들이 서로 가까이 있고, 상부 디스플레이(341a) 및 하부 디스플레이(341b)의 중앙에 있는 내부 행들(342c, 343c)을 차지하고 있다. 일반적인 함수들은 중간 행들(342b, 343b)을 차지한다. 덜 사용되는 함수들 및 기타 연산들은 중앙 디스플레이 구역들로부터 가장 멀리 있는 행들(342a, 242b). 이러한 배열 형태는 보다 일반적인 선택들을 (특히 수직 방향으로) 행하는 더 짧고, 더 신속한 안구 운동들을 지원한다. 바깥쪽 행들의 덜 사용되는 피처들은 보통 더 긴 안구 운동들을 요구한다.
도 13에 도시된 안구 신호들(345)을 이용한 예시적인 계산(349)은 sin(30°)/4를 계산한다. 공학용 계산기들에서 흔히 볼 수 있는 산술 함수들 및 다른 연산들(예컨대, 표시 삭제(clear display), 입력값 삭제(clear entry))에 추가하여, 삼각함수가 그 단위로 도를 취할 것인지 아니면 라디안을 취할 것인지 여부와 같은 플래그들 및 기타 설정 조건들이 적절한 위치들(344)에 대한 안구 시그널링에 의해 설정될 수 있다.
도 13은 또한 수동(또는 어떤 다른 형태의) 입력을 위해 최적화된 레이아웃이 안구 시그널링에 대해서는 반드시 최적이 아니라는 개념을 예시한다. 따라서 하나 이상의 손가락들의 이동에 기반한 설계 레이아웃들(예컨대, 뉴메릭 키패드들)이 안구 신호 발생 속도, 사용의 편의성 및/또는 안구 피로도에 기반한 안구 시그널링에 대해서는 최적이 아닐 수 있다.
도 14는 QWERTY 키보드에 대한 SSSS 레이아웃의 예(350)를 예시한다. 이 예에서, 전체 레이아웃(350)의 상부 섹션(351a) 및 하부 섹션(351b)은 수직 방향으로 서로 거울 이미지이다. 이는 표준 QWERTY 키보드의 상부를 따라 찾아볼 수 있는 자주 사용되는 문자들의 중복되는 행들(352c, 253a)이 서로 가장 가깝게 위치되게 한다. 표준 키보드의 중간 행은 중복형 키보드의 상부 섹션(351a) 및 하부 섹션(351b)의 중간(352b, 353b)에 배치된다. 주로 덜 사용되는 문자들의 행은 가장 멀리 떨어진 행들(352a, 353c)에 위치된다. 도 14의 안구 신호들(354)은 단어 "HELLO"를 타이핑하고 이어서 다음 단어에 대비하여 스페이스 문자(즉, "_")(354)를 타이핑하는 것을 예시한다.
경험 많은 디바이스 사용자는 (기억에 기반하여) 레이아웃 내의 선택들의 위치들을 알 것이다. 이 경우, 안구 운동들을 탐색하는 것은 배제하고 선택들의 시퀀스를 통해 단순히 도약하는 것에 의해 선택을 더 빠르게 하는 데 공간 기억이 사용될 수 있다. 더 큰 선택 도약들의 종료 시에 일어날 수 있는 작은 정정 도약들이 알고리듬적으로 식별될 수 있고(예컨대, 임계 거리보다 덜 이동하는 도약 운동들), 별개의 선택으로 간주되지 않는다. 이러한 기억-유도 선택 시퀀스들은 전화번호들, 암호들, 보통 명칭 등과 같이 더 짧은, 공지의 시리즈에 대해 특히 유용할 수 있다.
도 15a는 디지트 당 단일의 (주로 기억-유도) 도약 안구 운동으로 숫자 시퀀스들을 입력하기 위해 사용될 수 있는 뉴메릭 키패드 레이아웃(360)의 4행 3열의 예이다. 안구 신호 언어가 (예컨대, "반복" 작업들을 수행하기 위해) 체류에 주로 의존하는 것은 아니기 때문에, 반복 입력(예컨대, 반복적인 디지트들)이 요구되는 경우에 문제가 발생한다. 입력으로부터 반복 선택(362) 위치로의 도약에 의해 반복적인 값 또는 기능의 입력이 수행될 수 있다. 값 또는 기능이 더 반복될 필요가 있으면, 입력 또는 기능의 원래 위치로 되돌아가는 도약이 행해질 수 있다. 연장된 반복을 위해 이 후퇴-및-전진 프로세스가 임의의 수의 횟수로 반복될 수 있다.
대안적인 실시예에서, "repeat" 기능(362)의 위치에 디스플레이되는 이미지는 반복적일 수 있는 디지트(또는 다른 문자/기능)일 수 있다. 이는 이전의 입력에 따라 잠재적인 선택이 변경되는 동적 제어 디스플레이의 예이다. 선택이 행해지고 나면, 그 선택이 반복적인 입력을 야기하도록 반복 위치(362)는 중복되는 선택 이미지를 디스플레이한다. 주의 및 관련된 비자발적인 안구 운동(들)을 끌지 않도록, 반복 위치(362)에 대한 동적 변경은 (예컨대, 본 명세서의 다른 부분에서 설명하는 바와 같은) "보이지 않게 보이는" 방식으로 행해질 수 있다.
도 15a는 수 "15664"를 입력하는, 점선들(361)로 도시된, 예시적인 안구 운동 시퀀스를 예시한다. 이 예는 "repeat" 위치(362)를 이용하여 입력되는 반복적인 디지트(즉, "6")의 입력을 포함한다. 뉴메릭 입력은 특정 위치(363)(많은 운영 시스템들에서 보통 "return"으로 지정됨)를 이용하여 종료될 수 있다. 이러한 짧은 시퀀스들 도중의 오입력은 예를 들어, 단순히 종료(363)하고 시퀀스를 재입력하는 것에 의해 대처할 수 있다. 전화번호(디지트의 수를 결정하기 위한 국가/지역 코드 인식을 이용)와 같이 알려진 수의 선택들을 특정하는 동안, "return" 위치(363)는 다이얼을 개시하거나 혹은 대안적으로 잘못 다이얼하는 것을 방지하기 위하여 입력된 숫자를 다이얼링하지 않고 임의의 시퀀스를 종료하는 데 사용될 수 있다. 후자의 경우, 마지막 디지트를 입력하면 다이얼이 자동으로 이루어진다.
도 15b는 디지트 당 단일의 (주로 기억-유도) 도약 안구 운동으로 숫자 시퀀스들을 입력하기 위한 뉴메릭 키패드의 대안적인 4행 3열 레이아웃(365)이다. 이 레이아웃은 예를 들어 (수직과 대비하여) 수평 안구 운동들을 측정하는 데 이용 가능한 대체로 더 큰 정밀도와 범위의 장점을 이용하는 데 사용될 수 있다.
기억-유도 안구 운동을 가능하게 하는 간단한 디스플레이 레이아웃들이 뉴메릭 디지트들, 알파뉴메릭 문자들의 서브세트들, 기능을 나타내는 아이콘들, 일반 메뉴 시퀀스들, 개인들의 그룹화를 허용하는 사람의 얼굴들 또는 다른 그래픽 표현들 등으로부터 선택하는 데 사용될 수 있다.
상호작용 디스플레이들은 (예컨대, 증강 현실 디스플레이들의 경우) 배경이 없거나, 뚜렷한 배경을 가지거나, (예컨대, 투명도, 휘도, 색상 등을 제어하는 것에 의해) 다른 이미지들 또는 비디오 상에 오버레이될 수 있다. 디스플레이 요소들은 예를 들어 사용자의 시야 내의 중앙에 위치되거나 혹은 필요할 때에만 사용하기 위해 완전 주변에 위치될 수 있다.
디스플레이들은 또한 정적이거나 혹은 동적일 수 있다. 동적 디스플레이들은 사용자 입력을 조장하고 또한 도울 수 있다. 예를 들어, 막 설명한 바와 같이, 계산기를 사용할 때(일반적인 시퀀스가 숫자를 입력하고 이어서 연산을 입력하는 경우라면), 연산들을 위한 시퀀스들(예컨대, _, -, 8, /)이 적어도 하나의 숫자가 입력될 때까지 보류될 수 있고, 결과 심볼/선택(예컨대, 등호)은 계산되는 결과를 위한 충분한 정보가 있을 때까지 보류될 수 있다. 전화번호를 입력할 때, 마지막 디지트가 막 입력되려고 할 때 디스플레이가 변화(색상, 휘도 등)될 수 있고, 입력되면 전화 연결이 자동으로 행해진다. 데이터 입력 프로세스 도중의 각기 다른 단계들에서, 가장 자주 사용되고 그리고/또는 중요한 선택들이 주의를 환기시키기 위해 하나 이상의 방식(밝기, 색상, 투명도, 배경, 테두리 등의 제어)으로 강조될 수 있다.
다수의 그리고/또는 이동 가능한 활성화 타겟들
추가의 예시적인 실시예들에서, 행해지는 선택에 대한 소정의 피처 또는 특징을 지시하도록 활성화 타겟을 그 일반적인 (즉, 전형적으로 기억-유도 도약에 의해 선택되는) 위치로부터 디스플레이 상의 다른 위치로 이동시키는 것이 바람직할 수 있다. 이에 더하여 또는 대안적으로, 다수의 활성화 타겟들이 또한 디스플레이될 수 있는데, (둘 이상 중에서) 특정 타겟의 선택은 활성화뿐만 아니라 N-중-1 선택도 지시한다.
도 16a 및 도 16b는 이동 가능한 활성화 타겟을 예시하는데, 타겟 활성화 위치들(373a, 373)은 선택된 디지트들의 패널(372) 내에서의 개별 뉴메릭 디지트들의 삽입 위치를 지시한다. 선택된 디지트들의 시퀀스(272)는 예를 들어 전화번호, 개인 식별 번호, 신용카드 번호 등을 특정하는 데 사용된다. 디지트들은 안구 신호 언어 내에서 열 개(10)의 십진 디지트들(371)과, 정정을 행하는 데 사용될 수 있는 "back space" 문자(375) 및 뉴메릭 입력 시퀀스의 종료를 지시하는 데 사용될 수 있는 "carriage return" 문자(376)를 포함하는 뉴메릭 키패드(370)로부터 선택된다.
도 16a에서, 첫 번째 디지트(즉, 이 예에서는 "3")를 선택하는 것으로부터 시작하여 일련의 숫자들이 입력된다. 디지트들의 선택 어레이(370) 내의 "3"으로부터 숫자 디스플레이 구역(372a) 내의 활성화 위치(373a)까지 도약 안구 운동(374)을 수행하는 것에 의해, "3"이 첫 번째 디지트로 등록된다. 이 때, 도 16b에 도시된 바와 같이, 활성화 위치(373b)는 하나의 디지트의 폭만큼 오른쪽을 향해 시프트되고, 방금 입력된 "3"이 디스플레이된다. 이는 디지트가 등록되었고 시스템이 디스플레이 상의 위치 및 새 활성화 타겟(373b)에 의해 지시되는 뉴메릭 패널(372) 내의 위치에서 다음 디지트를 위한 준비가 되어 있다는 시각적 피드백을 사용자에게 제공한다.
도 16b에 예시된 시퀀스에서 입력될 다음 디지트는 "5"이다. 디바이스 사용자는 임의의 수의 안구 운동을 이용하여 다음 디지트를 위한 뉴메릭 키패드 구역을 탐색할 수 있거나, 뉴메릭 키패드 외부의 환경을 열람할 수 있거나, 혹은 희망하는 디지트로 바로 도약(377)할 수 있다. 다음 디지트의 활성화는 희망하는 디지트로부터 새로운 활성화 타겟 위치(373b)로 돌아가는 도약 안구 운동이 있을 때 일어난다.
입력을 받아들이고 이에 따라 활성화 타겟의 위치를 시프트시키는 프로세스는 임의의 길이의 뉴메릭 입력에 대해 반복될 수 있다. 시퀀스의 종료는 사전 결정된 수의 입력을 입력하거나 혹은 또는 특정 시퀀스(예컨대, "carriage return" 문자(376))를 입력하는 것에 의해 결정될 수 있다. 동일한 전략이 알파뉴메릭 데이터, 다수의 선택물(예컨대, 시험) 질의에 대한 응답들, 일련의 단어들 또는 구절들, 심볼들 또는 이미지들의 세트로부터의 선택 등을 입력하는 데 사용될 수 있다.
첨부된 도 1 내지 도 8은 다수의 활성화 타겟이 있는 상황을 예시한다. 이 예들에서, 활성화 시 문자 그룹 내의 어떤 문자가 선택되어야 하는지 특정하도록 N-중-1 선택이 행해진다. 유사한 전략(즉, N-중-1 가능성들로부터의 선택 및 활성화)이 문자들, 음절들, 단어들, 구절들, 숫자들, 이미지들, 파일명들, 데이터 세트들, 심볼들, 아이콘들, 글리프들, 기계 기능들, 메뉴 선택들, 적용되는 파라미터들 또는 특성들, 소프트웨어 애플리케이션들 등의 그룹들 중에서 선택할 때 행해질 수 있다. 또한, 그룹들은 활성화 타겟의 초기 선택 및/또는 방향의 발견을 용이하게 하여 HMI를 보다 직관적이게 하기 위하여 클러스터화될 수 있다. 예를 들어, 국가 내의 주 또는 지방을 특정할 때, 선택들은 그들의 국가 내에서의 기하학적 위치에 따라 (이와 대비하여, 예를 들어, 알파벳 순으로) 선택 매트릭스 내에 공간적으로 배열될 수 있다. 추가적인 예로, 소프트웨어 애플리케이션들의 범위로부터 선택할 때, 비디오 디스플레이를 수반하는 애플리케이션들은 전부 활성화 타겟들로의 하향 도약 시그널링을 이용하여 선택되도록 (즉, 디스플레이의 하부에) 위치될 수 있다.
할당된 활성화 또는 "진행(go)" 객체
대부분의 일반적인 경우에서, 안구-신호 시그널링은 하나 이상의 디스플레이 상의 실제 객체 및 가상 객체들의 임의의 조합으로 사용자의 의도를 파악하는 데 추적되는 안구 운동들을 이용할 수 있다. 하나 이상의 디스플레이 상의 가상 객체들의 위치들을 포함하는 특징들이 디바이스 또는 네트워크를 통해 접속되는 원격 프로세서, 서버 또는 저장 설비와의 작업에서와 같이 이 디바이스를 일부로 포함하는 시스템에 알려질 수 있다. 따라서 디바이스는 하나 이상의 가상 객체들에 지향되는 안구 운동들에 용이하게 의미를 할당할 수 있다.
그러나 디바이스 착용자의 환경 내에 있는 실제 객체들의 (위치들을 포함하는) 특징들은 디바이스에 의해 주로 제어되지 않는다. 예를 들어, 회의실 환경 내의 디바이스 사용자에 의해 주시되는 객체들은 자동차를 운전할 때 보이는 것들과 아주 다르다. 따라서 안구-신호 언어는 이러한 실제 차이에 순응할 수 있어야 한다. 이는 사용자의 의도를 파악하는 데 사용되는 디바이스-제어형 디스플레이가 없는 상황들에 순응하는 것을 포함한다.
위에서 설명한 바와 같이, 가능한 선택들을 식별하도록 또는 실제 객체들의 구체적인 선택을 행할 때 음성 피드백 또는 다른 피드백을 제공하는 것이 가능하다. 이 시나리오에서 포함하는 것이 중요한 태양은 선택된 액션을 행하거나 활성화시키는 식별된 안구 운동(들)이다. 달리 말하면, 디스플레이가 없을 때, 활성화 또는 "진행" 아이콘의 역할을 하는 것은 무엇인가?
예시적인 실시예들에서, 이는 하나 이상의 할당 가능한 "진행" 객체에 대한 개념으로 이어진다. 달리 말하면, 실제 환경의 하나 이상의 객체가 영구적으로 또는 임시로 하나 이상의 "진행" 아이콘으로 사용될 수 있다. 디스플레이를 사용할 때, 식별된 실제 객체에 대해 기능을 할당하는 것은 시각적 증강, 신호들, 활성화 또는 디스플레이가 생성한 전이 그래픽들(display-generated transition graphics)을 구비하거나 구비하지 않는 사용자가 보는 실제 객체들을 포함하는 안구-신호 언어의 문법 내에 편리하게 들어맞는다.
예시적인 실시예들에서, 실제 객체는 먼저 그 객체를 바라보고, 디스플레이 상의 "표출(reveal)" 아이콘으로 도약하고 나서, 실제 객체를 "진행" 또는 활성화 기능에 결합시키는 액션을 수행하는 새로 표출된 "할당(assign)" 아이콘으로 도약하는 것에 의해 "진행" 기능을 할당받을 수 있다. 안구 운동들을 결합하는 시퀀스들은 객체로부터 디스플레이된 "진행" 또는 다른 이용 가능한 활성화 스폿(activation spot)으로 도약하는 것 또는 객체를 디스플레이된 객체들 또는 다른 실제 객체들에 통합시키는 도약들 및/또는 추적들의 시퀀스를 포함한다. 장면 카메라에 의해 관찰되는 이동하는 실제 객체들의 추적된 운동들은 물론, 안구들이 객체를 가리키는 사용자의 손가락(들)을 추적하는 것 또는 손가락들이 이동하는 객체를 추종하는 것과 같이 사용자에 의해 이동되는 안구-추적되는 객체들이 또한 기능의 할당 및/또는 객체의 선택 또는 활성화를 위해 이용 가능한 언어를 추가한다.
이 실시예의 일예는,
1) 터치하거나 혹은 가리킬 때 단어, 또는 그 단어와 관련된 문장, 문단 또는 페이지의 말하기를 호출하거나,
2) 임의의 객체를 터치하거나 혹은 가리키는 것에 기반하여, 재생될 소리(들) 또는 일어날 다른 액션(들)을 호출하거나(예를 들어, 사용자가 서적 내의 이미지들 또는 그림들을 응시하고, 가리키고 그리고/또는 터치할 때 소리들이 재생될 수 있거나, 혹은 애니메이션 문자(animatronic character)가 응시, 터치 또는 응시-터치 조합에 응답할 수 있음), 혹은
3) 후속하는 상호작용들(예컨대, 터치, 스퀴즈 또는 다른 상호작용, 가리킴, 티클링(tickling), 응시)이 소리, 운동, 또는 객체의 다른 변화와 같은 액션을 발생시키도록 객체에 기능을 할당하는,
실제이거나 가상이거나 혹은 스크린 기반인 서적 내의 표기 단어, 이미지 또는 페이지와 같은 객체를 가리키는 손가락의 추적이다.
예시적인 실시예들에서, 디스플레이가 없는 상황에서 안구 운동들을 이용하여 "진행" 또는 활성화 기능을 할당하는 것이 가능하다. 이는 희망하는 실제 객체를 보고, 후속해서 인식 가능하고, 구별 가능한 안구 운동을 행하는 것을 수반한다. 예들로서, (예컨대, 미리 정해진 최소한의 수의 운동들을 갖는) 다수의 안구 운동들이 실제 객체 주위에 대략 원형인 패턴으로 행해질 수 있거나, 혹은 사용자가 이른바 사시(cross-eye) 신호를 수행하여 활성화 기능을 할당할 수 있다.
대안적으로, 그리고 추가의 예시적인 실시예들로서, 사용자는 활성화 제어를 할당하기 위해 응시 위치를 자발적인 제어 하에 있는 신체 운동들과 결합할 수 있다. 사용자가 실제 객체로부터 특정한 신체 부위(예컨대, 손가락, 엄지손가락, 손, 발)로 도약하면, 이러한 신체 부위의 주시 및/또는 사전 결정된 운동이 실제 객체가 활성화 또는 "진행" 타겟이 되기를 사용자가 희망하는 것을 나타내는 데 사용될 수 있다. 대안적으로, 사용자가 (예컨대, 지정된 손가락 또는 포인팅 디바이스로) 객체를 가리키는 것으로 보이면, 가리켜진 객체가 후속해서 활성화 타겟으로 할당될 수 있다. 유사한 과정을 따라, 사용자가 객체를 집어 들고 사전 결정된 시간 동안 그리고/또는 운동 패턴 동안 그것을 주시하면, (임의의 위치에 배치된) 집힌 객체가 활성화 또는 "진행" 타겟으로 간주될 수 있다.
벽 위의 마크, 표지, 기호, 단어, 문, 전등(light) 등을 포함하여, 환경 내에 있는 무엇이든 실제 활성화 또는 진행 객체가 될 수 있다. 객체들은 또한 인쇄된 아이템들, 인형들 또는 무생물이거나 혹은 소정 방법으로 활동적이 될 수 있는 다른 객체들일 수 있다. 활성화 또는 "진행"은 텔레비전의 가장자리, 창문틀의 모서리, 문의 손잡이 등과 같은 실제 객체의 일부분과 결합될 수 있다. 기능은
독특하게 식별 가능한 (즉, 하나 이상의 식별 가능하고 구별 가능한 특징을 갖는) 특정 객체에 또는, 본 발명의 기술분야에서 공지된 객체 인식 알고리듬들을 이용하여 분류될 수 있는, 전등 스위치들, 전기 콘센트들, 펜들, 서적들, 신발 등과 같은 일반적인 분류의 객체들에 할당될 수 있다.
하나 이상의 실제 객체들이 "진행" 또는 활성화 기능에 할당되면, 안구 신호 언어의 다른 요소들이 후속해서 사용될 수 있다. 예를 들어 원격 제어되는 전등 스위치의 온 또는 오프를 토글(toggle)시키는 것을 원할 수 있는 사용자는 먼저 스위치를 바라보고 나서 "고" 객체로 도약할 수 있다. 일반적으로, 실제 활성화 타겟들이 활성화되었을 때 (실제) 선택 메뉴들을 디스플레이할 수 없기 때문에, 주시되는 하나 이상의 실제 객체의 (아이덴티티(identity)를 포함하는) 맥락에 대한 종속성이 더 크다. 예를 들어, 스위치는 전등을 토글시킬 수 있지만, 도어를 바라보는 것은 도어가 열리게 할 수 있다(사용자가 특정 도어를 열도록 승인된 것으로 가정). 맥락은 또한 하루 중의 시간(예컨대, 전등은 밤에만 턴온될 수 있음), 활동 이력(사용자에 의해 이전에 턴오프되었던 전등을 턴온시키기만 함), 환경이 밝은지 어두운지 여부, 환경 중의 소리 또는 식별 가능한 말의 존재 등과 같은 다른 요인들을 포함할 수 있다.
다수의 활성화 또는 "진행" 객체들
안구-신호 언어는 단일의 "진행" 또는 활성화 위치에 국한되지 않는다. 다른 실시예들에서, 각기 다른 위치에 있는 다수의 "진행" 아이콘들 또는 활성화 객체들이 각기 다른 액션들에 할당될 수 있다. 기본적으로, 이는 "진행" 위치로 도약할 때 활성화에 더해 사용자가 신속하게 N-중-1 선택을 행할 수 있게 하는데, 여기서 N은 활성화 객체들의 수이다.
위에서 간략하게 설명한 바와 같이, 실제 환경 내에 있는 다수의 객체들은 동일하거나 혹은 (맥락을 고려하여) 서로 다른 기능들과 결합될 수 있다. 실제 세계는 환경 중에 서로 다른 객체들이 풍부하기 때문에, 사용자는 다수의 이러한 객체들에 기능을 할당하는 것에 의해 시그널링 효과를 증가시킬 수 있다. 이는 사무실이나 거실과 같은 안정적이고 잘 알려진 환경들에서 특히 진실이다.
사용자 디스플레이의 보다 국한된 환경 내에서도, 어떤 애플리케이션에 대해서는, 다수의 활성화 위치들을 사용하는 것이 더욱 효과적일 것이다. 이러한 일반적 개념의 예가 첨부된 도 1 내지 도 8에 도시되어 있는데, 다수의 활성화 타겟들이 문자들, 숫자들 및 다른 기능들의 가능한 선택의 그룹으로부터 더 특정하는 데 사용된다. 네 개의 활성화 타겟들을 디스플레이의 네 개의 모서리들 또는 대안적으로 디스플레이의 네 개의 측부들에 배치하는 것은 특히 효과적이고 사용하기가 용이하다. 활성화 타겟들을 넓은 공간에 방향을 잘 정해서 분리하는 것은 사용자의 일부분 상에서의 선택들의 구별을 더욱 직관적이게 만들고, 디바이스에 의한 (공간적으로 분리된 타겟들로 인한) 우발적인 활성화를 방지한다.
연속 범위로부터 선택하기 위해 도약을 이용
앞에서 설명한 바와 같이, 원활 추적 안구 운동들은 (예컨대 스피커 음량을 제어하도록) "연속" 범위의 입력들에 기반하여 사용자 입력을 특정하기 위하여 사용자가 선택할 수 있는 시간 및/또는 거리에 걸쳐 객체를 추종하는 데 사용될 수 있다. 추가의 예시적인 실시예들에서, 연속 범위 또는 "스케일(scale)"로부터 선택하는 데에 도약 안구 운동들을 사용하는 것이 가능하다. 스케일은 디스플레이된 스케일의 전체 범위에 대해 상대적인 안구 응시를 이용하여 사용자가 (임의의 수의 또는 무한한 수의 가능한 위치들로부터) 특정 위치를 특정할 수 있게 하는 임의의 형태의 그래픽 표현이다. 특히, 주시되는 위치는 선택을 특정하기 위해 디스플레이되는 스케일의 최저값 위치와 최고값 위치에 대해 상대적으로 결정될 수 있다.
도약 안구 운동들을 이용하여 연속 범위로부터 선택을 행할 때의 중요한 해결 과제는 도약 안구 운동들이 필연적으로 불연속적이고, 하나의 타겟 위치로부터 다른 타겟 위치로 점프한다는 점으로부터 발생된다. 따라서 도약 안구 운동들을 이용하여 연속 선택을 행할 때의 중요한 고려 사항은 특정 타겟들을 지향하는 도약 운동들의 클러스터들 내에서 측정된 위치들의 (일반적으로 소정 형태의 시간 및 공간 평균을 이용한) 필터링이다.
앞에서 설명한 바와 같이, "볼 것이 없는" 구역들 내에서 도약 안구 운동들을 행하는 것은 생리적으로 어렵다. 따라서 도약들을 이용하여 연속 선택을 행할 때도 불연속적인 초점 위치들을 도약 운동들을 위한 타겟들로 제공하는 것이 중요하다. 도 17a는 도약 안구 운동들에 기반하여 연속 선택을 행하는데 사용될 수 있는 초점(즉, 도약 타겟) 위치들을 갖는 그래픽 또는 스케일(380)의 예를 예시한다.
초점 위치들은 중앙축(386)을 가로지르는 균등하게 이격된 틱 마크들(tick marks)(381a, 381b)을 이용하여 형성되며, 자를 닮았다. 축(385)과 틱 마크들(381a, 381b)의 교차점들이 초점 포인트들을 생성한다. 틱 마크들의 반복적인 성질을 부수기 위하여, 짧은 틱 마크들(381a) 사이에 일정한 간격들로 긴 틱 마크들(381b)이 산입되는데, 이는 줄자에 표시된 것과 아주 비슷하다. 다이얼, 기계식 온도계(즉, 액체로 채워짐)의 도식적인 표현, 바늘 지시계 등과 같은 연속 선택의 다른 그래픽 표현들이 또한 틱 마크들, 도트들, 화살표들, 색상 변화 등과 같은 지시들을 이용하여 생성되는 각각의 스케일을 따르는 초점 포인트들과 함께 사용될 수 있다.
예시적으로 측정된 도약 위치들이 도 17a에서 채워진 원(382)들로 표현되어 있다. 도 17b에 도시된 바와 같이, 이 측정 위치(382)들의 이동 평균에 기반하여, 스케일(380)에 의해 표현된 전체 선택 범위에 대해 상대적인 선택의 초기 그래픽 표현(383)이 사용자에게 제공된다. 이 지점에서 사용자는 선택된 값을 감소시키거나 혹은 증가시키기 위해 각각 왼쪽 초점 위치(384a) 또는 오른쪽 초점 위치(384b)로의 도약 안구 운동들을 행할 수 있다. 선택적으로, 선택이 안구의 왼쪽 또는 오른쪽 도약 운동들을 추종하는 속도는 초기 선택으로부터 왼쪽 또는 오른쪽으로 얼마나 상대적으로 멀리 바라보는지에 기반할 수 있다. 사용자가 선택에 만족하면, 도약 안구 운동은 스케일의 구역으로부터 멀어지게 혹은 활성화 타겟까지 행해질 수 있고, 이에 의해 선택 프로세스가 완료됨을 지시할 수 있다.
멀티-모드 피드백
추가의 예시적인 실시예들에서, 사용자 선택 중의 피드백들이 디스플레이된 스케일 또는 다른 스케일 표현과 관련된 것들이 아닌 양상(modality)들을 이용하여 행해질 수 있다. 예를 들어, 오디오 음량을 조절할 때, 음량 선택을 하는 것을 돕도록 선택 프로세스 중에 소리가 날 수 있다(즉, 지정된 레벨로). 추가의 예들에서, 밝기, 색상, 색조, 투명도, 콘트라스트, 크기, 상세한 정도 및/또는 디스플레이된 이미지들의 형상이 선택 프로세스 중에 사용자에 의해 행해진 선택들에 비례, 반비례 또는 비선형적으로 결합된 방식들로 변경될 수 있다.
피드백은 또한 사용자 디바이스와 멀리 떨어져 있는 (그렇지만 사용자 디바이스 와 통신하는) 디바이스들 상에 제공될 수 있다. 원격 양상들의 예들은 원격 디스플레이 스크린 및 전등을 변경하는 것, 이동형 디바이스들에 의해 생성되는 소리들을 포함하는 원격 소리 생성, 환경 온도의 제어, 디지털 판독과 같은 지시기 등을 포함한다.
다른 비디스플레이 기반 양상들을 사용하면 사용자의 주의를 환기시키는 디스플레이에 대한 변경을 방지함으로써 선택 프로세스 도중의 우발적인 안구 운동들을 감소시키는 데 또한 도움이 될 수 있다. 추가의 예시적인 실시예들에서, 하나의 형태의 다중 양상 피드백이 다른 형태로의 변경을 표현하는 데 사용될 수 있다. 예를 들어, 이미지의 배율 또는 "줌(zoom)"은 청각 신호로 표현될 수 있는데, 여기서 피치(즉, 소리 진동의 주파수)가 줌의 정도를 지시하는데 사용될 수 있다. 유사한 과정을 따라 그리고 다른 예로서, 비디오를 디스플레이하는 도중의 프레임 속도(frame rate), 텍스트에 대한 스크롤링 속도, 정지 이미지들을 디스플레이하는 도중의 "페이지 넘김(page turn)" 속도 등과 같은 임의의 형태의 "속도"와 관련된 제어의 선택 중에 클릭(또는 다른) 소리의 반복 속도가 증가되고 그리고/또는 감소될 수 있다.
추가의 예시적인 실시예들에서, 대표 이미지에 대한 미세한 변경들이 "보이지 않게 보이는" 방식으로 행해질 수 있다. 달리 말하면, 객체는 사용자가 현재의 응시점으로부터 사용자의 부중심와 시야 또는 주변 시야에서 감지될 수 있거나 보일 수 있는 어떤 시각적 요소의 존재를 인지적으로 인식할 때 가시적이지만, 사용자가 그 시각적 요소의 존재 가능성을 인지적으로 인식하지 않을 때에는 "비가시적"이거나 혹은 감지되지 않는다. 이는 타겟, 아이콘 또는 제어된 상태 변경의 지시에 대한 사용자의 응시를 끌지 않도록 수행될 수 있다.
이러한 전략들은 도약 선택을 행하는 동안 우발적인 안구 운동들을 발생시키기 쉬울 수 있는, 이미지를 동적으로 줌하는 것(즉, 주의력 분산을 발생시킴)과 같은, 피드백으로서의 디스플레이에 대한 극적인 변경을 방지한다. 사용자는 소정의(즉, 기억하고 있는) 피치 또는 클릭-주파수가 소정의 줌 정도 또는 소정의 반복 속도를 표현함을 재빨리 학습할 수 있다. 유사한 전략이 다른 연속 입력 선택들에 적용될 수 있다.
특히 청각적 피드백은 실제 객체들과 관련된 선택을 할 때 유용하다. 예를 들어, 사용자가 (예컨대, 응시 위치와 함께 장면 카메라를 이용하여) 디바이스에 의해 인식될 수 있는 전등 스위치와 같은 객체를 주시하면, 객체가 인식되었고 액션을 위해 이용 가능하다는 청각적 큐(cue)(예컨대, 핑(ping), 딩(ding), 링(ring), 클릭(click), 차임(chime))에 의해 지시될 수 있다. 후속해서, 객체로부터 활성화 아이콘 또는 "진행"으로의 도약이 전등을 턴온시키는 것과 같은 액션을 야기할 수 있다.
추가적인 실시예들에서, 청각 피드백 및/또는 다른(예컨대, 진동, 후각, 촉각) 피드백이 또한 실제 객체의 어떠한 태양을 지시하게 될 수 있다. 예를 들어, 객체가 얼굴이고 이 얼굴이 얼굴 데이터베이스로부터 (객체 인식 알고리듬들을 이용하여) 식별되면, 하나의 형태의 청각적 큐(예컨대, 두 번째 톤의 주파수가 증가된 이중 톤)가 제공될 수 있다. 다른 한편으로 얼굴이 얼굴로서 인식되지만 얼굴 데이터베이스 내에 있는 것으로 식별되지 않으면, 다른 청각적 변조, 진폭 및/또는 큐(예컨대, 두 번째 톤의 주파수가 감소된 이중 톤)가 사용자에 대한 피드백으로서 제공될 수 있다. 어떤 경우에도, 사용자는 활성화 도약을 수행할 수 있지만, 객체의 디바이스-기반 인식 및/또는 식별에 따라 활성화에 따른 액션은 다를 수 있다.
햅틱 피드백(haptic feedback)이 또한 이 경우들에서 또는, 진동, 온도, 전압, 압력, 정보의 희망하는 통신에 대응하여 변할 수 있는 것들 중 하나 또는 그 조합을 수반하는 임의의 안구-관련 상호교환에 응답하여 제공될 수 있다. 이러한 햅틱 피드백은 장갑들, 반지들, 팔찌들, 목걸이들, 헤드웨어(headware)들, 속옷들 등을 포함하는 다양한 결합식 착용형 디바이스를 통해 전달될 수 있다.
추가의 실시예들에서, 소리의 발생원(들)을 음향적으로 국부화시키는 양귀적 성질(binaural nature) 및/또는 능력이 사용자 피드백을 위한 다른 기회를 제공한다. 이는 대체로 둘 이상의 스피커를 사용하여 달성될 수 있지만, 사용자의 디바이스 피드백 시스템의 요소로 한 쌍의 이어플러그(earplug) 또는 헤드폰을 사용하면 특히 효과적이다. 기본적으로, 소리 발생원의 방향의 지각은 주로 각각의 귀 사이에서 들리는 소리들의 위상차로 인해 지각된다. 거리의 지각은 또한 각각의 귀 내에서 들리는 진폭의 차이를 고려한다. 이러한 일반적 현상들은 본 발명의 기술분야에서 머리 전달 함수(HRTF: Head Related Transfer Function)로 알려져 있다.
지각된 1) 방향 및 2) 거리 둘 다 별도로 또는 함께 사용자에게 피드백을 제공하는 데 사용될 수 있다. 방향 및/또는 거리의 변화는 불연속적인 이벤트 모드(예컨대, 개별 클릭들 또는 다른 소리들) 또는 연속 모드(예컨대 연속 사이렌)에서 사용될 수 있다. 소리 방향은 수행되는 액션에 소정 방식으로 결합될 수 있거나(예컨대, 객체를 디스플레이 상에서 왼쪽으로 소폭 이동시키면 왼쪽에서 시작되는 것처럼 여겨지는 소리가 발생됨), 혹은 액션과 전혀 관련이 없을 수 있다(예컨대, 오른쪽에서 시작되는 소리는 "예(yes)"를 지시하고 왼쪽에서 시작되는 소리는 "아니오(no)"를 지시함).
유사하게, 지각되는 거리는 수행되는 액션에 소정 방식으로 결합될 수 있거나(예컨대, 이미지 상에서 줌인될 때 더 가깝게 여겨지게 발생되는 소리, 올바른 응답에 가까울 때 더 가깝게 여겨지는 소리, 또는 설정이 원격 디바이스 상에서 설정됨을 지시하는 멀게 지각되는 소리), 혹은 액션과 전혀 관련이 없을 수 있다(메시지의 긴급성을 지시하는 사용자 근처로 여겨지게 발생되는 소리).
물리적 객체들에 적용되는 갭 효과
갭 효과는 안구-신호 언어 내에서 사용자 상호작용을 더 빠르게 하는 기본적인 툴로 채택된다. 앞에서 설명한 바와 같이, 도약 안구 운동의 결과로 곧 주시될 객체가 주시로부터 제거될 수 있어, 다른 객체에 대한 주시로 (사용자의 주시 내에 남아있는 객체와 비교하여) 더 신속하게 이동하도록 사용자의 시각적 주의를 "해제(release)"시킨다. 디스플레이 상의 시각적 객체를 적절한 시간에 제거하면 갭 효과가 발생될 수 있다.
물리적 또는 실제 객체를 주시할 때, 도약 중에 사용자의 주시로부터 실제 객체를 제거하는 것이 일반적으로는 가능하지 않다. 그러나 증강 현실(AR: Augmented Reality) 또는 혼합 현실(MR: Mixed Reality) 디바이스를 이용하면, 이러한 객체의 주시를 제거하는 것이 가능하다. 이러한 예시적인 실시예에서, 실제 객체들은 초기에는 AR 또는 MR 디바이스의 하나 이상의 구역들을 실질적으로 투명하게 만드는 것에 의해 AR 또는 MR 디바이스를 통해 주시된다. 사용자가 활성화 객체를 향해 도약하면, 실제 활성화 객체를 향하는 방향으로 AR 또는 MR 디바이스의 투명도를 감소시키거나 혹은 제거하는 것에 의해 객체가 사용자의 주시로부터 제거될 수 있다.
필요하면, 부분적으로 또는 완전히 불투명한 구역이 사용자 주의를 환기시키지 않는 중립 영역으로 채워질 수 있다. 이는, 예를 들어, 단색, 색상의 공간 그라데이션(spatial gradient of color), 의사-랜덤 노이즈(pseudo-random noise), 친숙한 이미지 또는 활성화 객체 주위의 주시 가능한 구역을 기반으로 한 활성화 객체 후방의 배경의 추정으로 이루어질 수 있다. 주의를 더 감소시키기 위하여, 투명도가 감소된 구역의 가장자리 주위의 구역이 점진적으로 덜 투명함(즉, 사용자의 객체의 주시를 차단함)으로부터 완전히 투명함(즉, 차단되는 객체가 주시로부터 멀어짐)으로 전이될 수 있다. 이는 사용자가 투명도가 감소된 구역의 가장자리를 검출하고 그리고/또는 주시할 가능성을 감소시킨다.
AR 기법을 이용하여 도약 중에 그리고/또는 그 뒤에 타겟 객체의 주시를 완전히 혹은 부분적으로 차단하면, 실제 활성화 타겟들을 이용하여 갭 효과를 발생시킬 수 있다. 그러면 객체를 재-표출하는 AR 디바이스 내의 투명도는 사용자의 주의를 환기시키지 않도록 설계되는 앞서 설명한 기법들을 이용하여 복귀될 수 있다. 예를 들어, 이용 가능한 시간이 충분하면, 투명도는 느리게 복귀될 수 있거나, 혹은 사용자가 기능적으로 "실명"일 때(예컨대, 도약들 및/또는 깜빡임들 중에) 복귀될 수 있다.
매너(courtesy) 고려
매너는 모든 상호작용 및/또는 이른바 "스마트" 디바이스들에 공통된 관심사이다. 많은 경우들에서, 예를 들어, 비즈니스 및 사회적 환경에서, 사용자는 비상 통신을 제외한 모든 것을 일시적으로 턴오프하는 것에 의해 착신호출 또는 데이터 스트림들을 제한하기를 희망한다. 그러나 일상의 활동을 계속하는 동안에는 이러한 상황들에 들어가기 전에 디바이스를 "매너" 또는 "무음(silence)"로 놓는 것을 잊어버리기 쉽다. 마찬가지로 이러한 상황들이 종료되었을 때 디바이스를 정상 작동 상태로 복귀시키는 것을 잊어버리기도 쉽다.
미리 정해진 선호도들의 세트들에 기반하여, 헤드셋 및/또는 디스플레이(들)는 디바이스가 "매너 모드"를 요구하는 상황들(예컨대, 관련성이 높은 객체들 및/또는 개인들)을 인식할 때 착신 알림 및 정보를 일시적으로 "필터링"할 수 있다. 예를 들어 디바이스는 디바이스 착용자가 대화에 참여하고 있음을 인식할 수 있다. 이러한 상황은 마이크로폰을 이용하여 기록되는 착용자의 음성 및/또는 환경을 주시하는 장면 카메라(들)를 이용하여 기록되는 디바이스 착용자의 방향으로 말하는 사람들의 이미지들로부터 결정될 수 있다.
장면 카메라 이미지 내의 사람들의 안구들의 방향(예컨대, 방해받지 않아야 하는 친밀하거나 개인적인 접촉을 암시하도록 디바이스 착용자를 향해 또는 디바이스 착용자에 충분히 가깝게 지향됨) 및 근처에 있는 개인들의 입들이 움직이는지 여부에 특별한 주의가 기울여진다. "매너 모드"가 호출되어야하는지 여부를 자동으로 결정하는 데 사용될 수 있는 다른 정보는 하루-의-시간, 주의 날(예컨대, 근무일 대 주말), 지리적 위치, 실내 환경 대 실외 환경 및 기타 패턴들을 포함한다.
매너 모드는 또한 특정한 사람, 환경 또는 위치가 인식될 때 호출될 수 있다. 예를 들어, 특정한 사람(예컨대, 상사, 성직자)과 이야기할 때 방해는 부적절할 수 있다. 매너 모드(및 심지어는 "전송 없음(not transmit)" 모드)는 비행기의 내부가 인식될 때 호출될 수 있다. 학교, 병원, 극장 또는 영화관 및 기타 시설 내의 영역들은 지리적 위치 및/또는 장면 카메라를 이용한 식별에 기반하여 "매너 모드" 존으로 식별될 수 있다. 자동차의 내부는 우선적인 사용자 주의를 요구할 수 있는 임의의 제어들(즉, 자동차 또는 임의의 기계)과 함께 (자동차 내부의 템플릿들의 데이터베이스에 기반하여) 인식될 수 있다.
가장 일반적인 의미로, 착용자의 주의력 분산이 허용되어서는 안 되거나 혹은 다른 사람 또는 실체(entity)에 의해 주의력 분산이 지각될 수 있는 임의의 맥락이 "매너 모드" 기능을 이용하여 관리될 수 있다. "매너" 또는 방해되지 않아야 하는 상황들을 인식하도록 훈련된 신경망에 기반한 이미지 분석은 하나 이상의 매너 모드를 실시하는 데 사용될 수 있다.
사용자 선호도에 기반하여, 각기 다른 레벨의 데이터 필터링이 사정-설정될 수 있다. 예시적인 시나리오로, 어떤 상황에서는, 텍스트들 및 경고가 허용될 수 있는 반면 전자메일과 다른 알림들은 차단될 수 있다. 정보의 디스플레이 또는 보유(즉, 나중에 디스플레이됨)는 정보의 출처 및/또는 현재 활동들에 따라 달라질 수 있다. 예를 들어, 자전거 타기 또는 하이킹 중에 생리적 모니터링(예컨대, 심박수, 호흡수) 및 항법 정보는 디스플레이될 수 있지만, 활동이 완료되고 나면 더 디스플레이되지 않는다. 다른 상황들에서는, 비상인 것으로 선언된 것들을 제외한 모든 전송이 차단될 수 있거나 버퍼링(즉, 수집되지만 디스플레이되지 않음)될 수 있다.
유사한 과정을 따라, 알림 양상은 상황에 따라 변경될 수 있다. 각기 다른 매너 모드 상황들 도중에, 전형적으로 들리는 소리를 수반할 알림들은 스크린 메시지 및/또는 들리지 않는 진동을 간단하게 디스플레이하는 "무음"으로 전환될 수 있다.
다른 예시적인 실시예들에서, 알림들은 매너 모드가 발생했을 때까지 지연될 수 있다. 지연들은 대화를 방해하지 않도록 단지 몇 초 또는 몇 분일 수 있다. 예를 들어 중요한 회의를 방해하지 않기 위하여, 지연들은 훨씬 더 연장될 수 있고, 몇 시간 동안 지속될 수 있다. "매너 모드" 상태의 지시는 시각적으로, 청각적으로 또는 다른 자극에 의해(예컨대 햅틱 메커니즘을 통해) 사용자에게 제시될 수 있다. 매너 모드의 제어 및/또는 수신 확인은 또한 눈, 음성, 손, 머리, EEG 또는 다른 입력 방법들로 수행될 수 있다.
긴급 알림 중의 사용자 주의 환기
어떤 경우들에는, 다른 활동들과 무관하게 특정 정보 또는 이벤트에 사용자의 주의를 환기시켜야 할 필요가 있을 수 있다. 예를 들어, 디바이스 사용자 또는 다른 사람들에게 해를 미칠 수 있는 당면한 가능성이 있으면(예컨대, 사용자 환경 내의 이른바 "액티브 슈터(active shooter)" 상황, 건물-한정 화재 경보 등), 디바이스 사용자에게 경고해야 할 긴급한 필요가 있을 수 있다. 디바이스 사용자의 응시에 대한 지식은 사용자의 주의를 환기시키고 상황에 관련된 정보를 제공하는 프로세스에 도움이 될 수 있다.
예시적인 실시예들에서, 긴급한 것으로 여겨지는 정보를 수신하면, 사용자가 응시하는 주된 방향으로 (예컨대, 증강 현실, 가상 현실, 또는 혼합 현실 헤드셋들 내의) 시야 내에 지시가 배치된다. 지시는 사용자의 중심와 응시 영역, 부중심와 영역, 또는 주변 영역 내에 명시적으로 배치될 수 있다.
선택적으로, 시스템은 사용자가 알림을 확인하고 그리고/또는 액션을 취할 때까지 사용자의 응시를 동적으로 추적할 수 있다. 이 시각적 지시는 (예컨대, 신속하게 그렇지만 도약 억제 또는 깜빡임 억제를 포함하는, 높은 콘트라스트 등을 갖는, 사용자 실명 기간 중은 아닌 동안에 도입되는) 주의를 환기시키도록 설계된 방식으로 제시된다. 시각적 지시에는 청각적 또는 햅틱 자극과 같은 다른 경고 메커니즘이 수반될 수 있다.
초기 알림이 이루지면, 시각적 지시는 디바이스 착용자가 시각적으로 추종할 수 있는 방식으로 이동될 수 있거나 혹은 "스윕(sweep)"될 수 있다. 이는 특정 구역까지의 그리고 어떤 경우들에는 구역 내의 특정 서브세트까지의 정보 또는 이벤트의 심볼 표현의 공간 경로를 디바이스 착용자가 추적하고 후속해서 기억할 수 있게 한다. 예를 들어, 긴급 착신 텍스트 메시지는 텍스트 메시지가 인출(retrieve)될 수 있는 구역까지 스윕될 수 있다. 텍스트 메시지가 인출되는 구역 내에서, 스윕은 긴급 텍스트 메시지의 특정 발신자와 관련된 위치를 시각적으로 지시할 수 있다. 긴급 이메일도 유사하게 이메일들을 인출하기 위해 예약된 구역 내의 특정 발신자에게로 스윕되도록 표시될 수 있다. 긴급한 이미지들 또는 비디오 링크들은 이러한 콘텐츠들이 인출될 수 있는 위치들로 스윕될 수 있다. 다양한 형태의 긴급한 콘텐츠는 또한 그러한 정보를 위한 전용 구역(즉, 형식에 무관함)으로 스윕될 수 있고 그리고/또는 다른 구역들로 복사될 수 있다.
사용자의 응시 행위는 원활 추적 또는 도약 안구 신호를 이용하여 사용자가 자극을 추종하는 것을 검증하도록 이러한 스윕 도중에 모니터링될 수 있다. 사용자가 사전 결정된 시간 내에 이러한 신호를 수행하지 않으면, 사용자의 주의가 포착되고, 알림이 수신 확인되고 그리고/또는 행동이 취해지는 것을 보장하는 방식으로 스윕이 반복될 수 있다. 사용자의 응시를 추적하는 시스템의 능력은 중요한 상황에서 사용자의 주의를 유도하는 강력한 수단을 제공한다.
스윕되는 지시를 시각적으로 추종할 때, 사용자는 후속해서 긴급 알림에 대한 추가적인 세부 내용을 인출하도록 (안구-시그널링 언어를 이용하여) 지시를 즉시 활성화시킬 수 있다. 대안적으로, 사용자는 나중에 정보가 인출될 수 있도록 알림의 공간 위치를 단순히 "기억"할 수 있다. 이러한 전체 스킴은 연장된 기간 동안(예컨대, 차량을 운전하는 동안 혹은 다른 기계를 작동시키는 동안) 사용자가 원치 않는 시각적 활동들을 수행하도록 주의력이 분산되거나 혹은 강요당하지 않으면서 긴급 알림에 대해 사용자가 경고 받는 것을 보장한다.
추가 실시예들에서, 디바이스에 의한 긴급 알림들의 처리는 또한 맥락에 민감할 수 있다. 사용자는 어떤 알림들이 시각적 경고 프로세스를 촉진할 정도로 충분히 긴급한지를 사전-결정할 수 있다. 사전-결정들은 정보의 출처, 알림의 형식(예컨대, 텍스트, 이미지), 긴급성과 관련한 분류, 이력적인 빈도, 하루 중의 시간, 위치, 사용자 활동, 다른 사람들과의 근접성, 사용자 이력, 과거에 이러한 알림을 사용자가 무시했는지 아니면 행동을 취했는지 여부, 및 다른 요인들에 기반할 수 있다. 시각적 경고 프로세스가 실행되는지 여부는 또한 디바이스 사용자에 의해 수행되는 명백한 활동들에 따라 달라질 수 있다. 예를 들어, 차량을 운전하는 중에는 우선순위가 가장 높은 알림들이 제시될 수 있는 반면, 덜 긴급한 알림들(예컨대, 텍스트 메시지)은 비교적 덜 활동적인 기간 동안에 제시될 수 있다.
온라인 모바일 상태 및 프라이버시 제어
착용형 컴퓨팅 디바이스에 의해 (즉, 이전의 식별이나 또는 지식 없이) 가능해지는 초기 연결을 행할 때, 주시되는 사람 및 착용형 하드웨어를 관련된 네트워크 어드레스(예컨대, URL(universal record locator), MAC(media access control) 어드레스, IP(internet protocol) 어드레스) 또는 전자 통신을 위한 어떤 다른 형태 및/또는 프로토콜과 링크함에 있어서 문제가 발생된다. 얼굴 인식과 같은 방법들에 의해 주시되는 사람이 식별될 수 있으면, (프라이버시 설정에 기반하여 허용될 경우) 개인의 관련 디바이스 또는 "어드레스"가 데이터베이스로부터 인출될 수 있다. 그러나 어떠한 형태의 사용자 또는 하드웨어 인식 없이, 근접해 있는 사용자의 디바이스들을 서로 확실하게 연결하거나 혹은 링크하는 것을 자동으로 개시하는 방법은 없다.
매우 가까운 경우, 네트워크 어드레스에 대한 액세스를 획득하도록 하나의 디바이스 사용자에 부착된 식별(예컨대, 바코드, QR 코드)이 다른 디바이스 사용자에 의해 주시될 수 있고 해석될 수 있다. 그러나 이는 소정 거리를 넘을 경우 어렵고 또한 (식별 코드를 물리적으로 제거하지 않고) 외부 접촉들이 바람직하지 않을 때 사용자가 "프라이버시" 모드로 들어가는 것을 금지한다.
디바이스와 디바이스의 착용자를 다른 디바이스( 및 디바이스 착용자)와 관련시키는 간단하고 전력을 절약하는 방법은 장면 카메라들 또는 다른 디바이스 착용자들에 의해 주시될 수 있는 디바이스에 부착되는 하나 이상의 전자기 방사원(즉, 비콘(beacon))을 이용하는 것이다. 펄스식(예컨대, 점멸, 온-오프), 적외선 LED 비콘은 이러한 응용을 위한 편리하고, 예시적인 실시예이다. 비가시적이고 사용자의 주의를 분산시키지 않지만 다른 디바이스 착용자의 (예컨대, CMOS(complementary metal-oxide semiconductor) 또는 CCD(charge-coupled device) 센서 기술을 이용하는) 장면 카메라들에 의해 검출될 수 있는 근적외선 파장(예컨대, 800-1300nm)이 선택될 수 있다.
(180도에 가까운) 광투사각을 갖는 IR LED가 예를 들어 콧날 위에 장착되면 가장 유용하다. 도 18a는 헤드셋(490) 및 콧날(491) 내에 장착되는 단일 비콘의 위치의 예를 도시한다. 이러한 비콘을 갖는 디바이스 착용자의 얼굴을 볼 수 있는 임의의 디바이스 착용자는 (어떠한 이유 때문에 비콘이 막히지 않는 한) 비콘 브로드캐스트(broadcast)를 검출할 수 있어야 한다.
장치의 측부들에 장착되는 두 개(또는 그 이상)의 LED는, 비록 추가적인 전력이 소비되지만, 모든 각도에서 검출될 수 있는 훨씬 넓은 능력을 부여한다. 도 18b는 귀받침의 힌지 구역에 있는 이중 비콘(492a, 492b) 배열의 예를 도시한다. 대안적인 실시예들에서, 머리의 상부에 지지체를 갖는 헬멧 또는 헤드웨어의 경우, 광각 투사 비콘은 머리의 상단 근처에 배치될 수 있다. 머리 주위에 배치되는 다수의 비콘들은 모든 시야각에서 검출할 수 있는 능력을 보장할 수 있다.
펄스 비콘은 (이미지 처리를 이용한) 디바이스 및 사용자의 초기 검출을 위해 사용될 수 있을 뿐만 아니라, 디바이스 착용자의 상태를 지시하는 데도 사용될 수 있다. 접촉 상태의 지시는 예를 들어 전형적인 원격회의 상황에서 사용되는 상태 지시와 유사할 수 있는데, 예시적인 상태는 "이용가능(available)", "일시적으로 오프라인", "이용가능 그룹(group available)", "접촉-전용(contacts-only)" 또는 "이용가능하지 않음(not available)"일 수 있다. 이는 디바이스 착용자에게 프라이버시 제어를 부여하고, 사용자에 의해 실시간으로 그리고/또는 디바이스에 의해 자동으로 변경될 수 있다. 자동 상태 변경은 위치, 디바이스 착용자의 주시 환경(예컨대, 대화에 참여하고 있는지 여부), 하루의 시간, 전자 캘린더(들), 안구-신호 활동 등에 기반할 수 있다.
디바이스 착용자의 환경 내에서 다른 헤드셋 및 식별 비콘의 위치를 파악하는 편리한 방법은 비콘을 온시킨 상태(즉, 활성 신호를 브로드캐스트함) 대비 비콘을 오프시킨 상태의 공간적으로 정렬된 이미지들을 빼는 것을 포함한다. 두 개(또는 그 이상)의 이러한 이미지 간의 차이들은 주로 비콘 구역에서 일어나고, 이러한 "다른 이미지들"은 비콘의 위치를 구분해 내고, (예컨대, 비콘 주파수 특성을 측정하는 것에 의해) 비콘의 소스가 다른 디바이스인 것을 보장하는 것을 돕는데 사용될 수 있다.
비콘의 펄스가 관찰 카메라의 프레임 속도와 동기화되지 않으면, (연속 이미지들을 빼는 것에 의해 비콘을 용이하게 추적/식별하도록) 최대 밝기 레벨 및 최소 밝기 레벨 도중에 카메라 이미지들이 적어도 하나의 프레임을 포함하는 것을 보장하면서 비콘이 변조 온/변조 오프될 수 있는 최대 주파수를 결정하는 데 문제가 발생된다. 프레임 속도가 펄스화되는 비콘의 변조 속도의 적어도 네(4) 배이면, 동기화되지 않은 카메라에 의해 수집되는 이미지들은 최대 및 최소 밝기 레벨들을 갖는 프레임들을 포함하는 것이 보장된다(비콘이 동일한 "온" 및 "오프" 시간을 가지고 방사하는 것으로 가정). 최대 및 최소 밝기 레벨들은 아래에서 설명하는 바와 같이 펄스 폭 또는 진폭 변조가 정보를 인코딩하도록 일어나는지 결정하는 기준으로 사용될 수 있다. 일예로, 카메라의 획득 속도가 초당 육십(60) 프레임이면, 15H로 비콘을 변조하는 것은 카메라 이미지들 내에서 검촐되는 최대 및 최소 비콘 레벨들을 보장한다.
도 19a는 펄스 비콘(500) 및 비동기 카메라들(501a, 501b)의 프레임 속도 간의 관계를 도시하는 타이밍 다이어그램이고, 여기서 카메라의 프레임 속도는 비콘의 사이클 속도의 네(4) 배이다. 비콘(503a)의 "온" 상태는 타이밍 다이어그램(500)에서 높은 레벨로 표현된다. 반대로, 비콘의 "오프" 상태는 낮은 상태(503b)로 표현된다. 전체 비콘 사이클(502)은 온(502a) 상태 및 오프(503b) 상태 둘 다를 포함한다. 도 19a에서, 점선들(506)은 각각의 비콘 사이클의 고-저 전이 도중의 기준 시간으로 도시된다.
카메라 타이밍(501a, 501b)은 각각의 이미지 프레임 획득 기간의 끝이고 또한 새 프레임 획득이 개시될 때의 수직 스트로크에 의해 표현된다. 상부 카메라 타이밍 다이어그램(501a)에서, 비콘(500)이 "온"일 때의 시간 동안 전체 프레임(504a)이 획득된다. 다른 프레임(504b)은 비콘(500)이 오프인 때에 획득된다. 카메라 타이밍이 시프트되면(501b), 비콘이 "온"일 때에 획득된 적어도 하나의 전체 프레임(505a) 및 비콘이 "오프"일 때의 다른 전체 프레임(505b)이 남게 된다. 카메라 대비 비콘의 동기화에 무관하게, 전체-온(full-on) 및 전체-오프(full-off) 이미지들이 이용 가능하다.
오늘날의 전기통신 표준에 의해 느리기는 하지만, 디바이스의 상태(및 관련된 개인)는 이러한 비콘 내에서 인코딩될 수 있다. 비콘 특징은 이 정보를 반영하도록 동적으로 변경될 수 있다. 이 인코딩의 예들은 펄스폭 변조(즉, 온 위상 지속 기간 대 오프 위상 지속 기간 제어), 직렬 통신(예컨대, RS-232 프로토콜) 중에 사용되는 비동기식 통신 표준과 유사한 위상 시프트 또는 진폭 변조 등을 포함한다. (전형적으로 뉴메릭 값으로 인코딩되는) 제한된 수의 상태 옵션들로, 상태 정보는 예를 들어 느린 카메라 프레임 속도에서도 일(1) 초 이내에 브로드캐스트되고 결정될 수 있다.
디바이스 착용자가 외부 연결들을 허용하도록 설정되면, 연결들을 가능하게 하기 위해 네트워크 "어드레스" 또는 다른 링크 정보가 교환되어야만 한다. 현재 구역에 단 하나의 디바이스 착용자가 있으면, 이는 어드레스들이 (예컨대, 블루투스 또는 와이파이를 이용하여) 제약 없이 단순히 브로드캐스트되고 교환되는 디바이스 "발견" 프로세스에 의해 수행될 수 있다. 그러나 어드레스들 및 자격 증명의 더욱 안전한 교환을 위해, 특히 부근에 하나 이상의 다른 디바이스 사용자가 있을 가능성이 있을 때에는, 특정 장치에 고립되는(즉, 주시되는) 시그널링 프로세스가 요구된다.
접촉 또는 "연결"이 잠재적이면, 주시 카메라가 비콘 소스 주위의 매우 작은 관심 구역으로 잠깐 스위칭될 수 있고, 획득 속도는 초당 수백 또는 수천 프레임 범위로 증가될 수 있다. 비콘 내의 인코딩된 정보의 마이크로버스트(micro-burst)는 URL, IP 어드레스, MAC 식별, 또는 중앙 데이터베이스 내의 색인 테이블(look-up table)에 사용될 수 있는 기타 포인터(pointer)와 같은 네트워크 위치 정보를 포함한다. 인코딩은 낮은 프레임 속도 상태 결정 중에 사용되는 것과 동일하거나 혹은 다른 기법들을 사용할 수 있다. 예를 들어, 일반적인 직렬 프로토콜들(예컨대, RS-232)이 사용될 수 있다. 중요한 차이점은 더욱 높은 프레임 속도에 의해 가능한 정보 교환 속도의 증가이고, 이는 URL과 같은 더욱 복잡한 정보가 특정될 수 있게 한다.
도 19b는 비콘 펄스의 하나의 사이클 중에 네트워크 위치 정보가 인코딩되는 마이크로버스트(508)를 예시하는 타이밍 다이어그램이다. 이러한 마이크로버스트는 디바이스 사용자가 연결 가능할 때마다 비콘(507)의 정상 사이클 중에 주기적으로 산입될 수 있다.
유추에 의해, 비콘은 QR 또는 바코드의 아이덴티티 기능을 전자적으로 수행하지만, 1) 먼 거리에 걸쳐 작동하고, 그리고 2) 헤드셋 착용자에 의해 제어될 수 있다. 특별히 주시되는 개인의 자격 증명의 교환은 희망할 때마다 프라이버시를 유지하면서 방해받지 않고 전형적으로 1초 이내에 수행될 수 있다.
고속 프레임 카메라에 대한 대안적인 실시예는 실질적으로 동시에 다수의 브로드캐스트 비콘을 사용하여 더 많은 정보를 인코딩하고 전송하는 것이다. 정보 인코딩은 둘 이상의 이러한 비콘들 간의 위상차들을 포함할 수 있다. 하나 이상의 카메라 내에서 높은 프레임 속도로 스위칭하는 대신, 수신 디바이스 내에 하나 이상의 단일-픽셀 검출기(예컨대, 광다이오드)가 사용될 수 있다. 이러한 검출기는 예를 들어 "접촉 경로들"을 인코딩하는 마이크로버스트를 디코딩하도록 고속으로 샘플링될 수 있다. 이러한 정보의 전송은 텔레비전, 스피커 시스템 등과 통신하는 데 사용되는 IR 원격 제어 디바이스들과 기능적으로 유사하다. 이러한 검출기는 혼잡한 상황에서의 혼선을 방지하기 위해 방향에 민감할 필요가 있다.
상호 응시의 식별 및 응용
개인들 간에 마주보고 하는 대화는 일상생활의 보편적인 요소이다. 상호 응시는 대화를 시작하고 유지시키는 측면에서 뿐만 아니라 "누가 무엇을 말하는지" 식별하고 등록하는 측면에서도 이러한 의사소통에 필수적인 역할을 한다.
예시적인 실시예들에서, 장면 카메라 이미지와 결합된 응시 추적(즉, 환경 위에 겹쳐진 디바이스 사용자의 응시)이 디바이스 착용자에 의해 주시되는 개인을 식별하는 데 사용될 수 있다. 다른 디바이스 착용자가 다시 그 개인을 바라보고 있으면(즉, 동일한 방법으로 식별되면), 두 디바이스 사용자는 자격 증명을 교환할 수 있고, 정보 및 대화의 임의의 교환은 상호 응시 상태가 유지되는 한 두 개인들 사이에 그러한 교환이 있는 것으로 등록될 수 있다. 자격 증명의 교환은, 예컨대 앞에서 설명한 바와 같은, 디바이스 비콘(들)을 통한 초기 식별을 수반할 수 있다.
사전 결정된 사용자 선호도에 기반하여, 시스템은 응시의 교환이 각기 다른 시간들에 일어나는 것을 선택적으로 허용한다. 예를 들어, 첫 번째 개인이 두 번째 개인을 소정 시간 기간 동안 응시하고 나서 고개를 돌리면, 사용자가 선택한 사전 결정된 기간 동안, 첫 번째 개인이 고개를 돌렸더라도 두 번째 사람이 응시하면 시스템은 자격 증명의 교환을 허용할 수 있다. 다른 예로, 한 쌍의 개인은 회의 또는 다른 회합 도중의 어떤 시점에 두 개인이 서로 관찰하는 한 나중에 재-연결하기를 희망할 수 있다.
대화에 참여한 사람들 중 한 명이 디바이스를 착용하고 있지 않으면, 상호 응시의 존재는 디바이스 착용자의 장면 카메라를 이용하여 여전히 식별될 수 있다. 디바이스 착용자의 장면 카메라 비디오에 기반하여, 환경 내의 개인이 디바이스 착용자를 다시 바라보고 있는지 결정하는 데 이미지 인식이 사용될 수 있다. 디바이스 착용자에게 지향되는 응시 잠금은 얼굴 방향, 얼굴 표정 및/또는 안구(들)의 방향에 기반하여 식별될 수 있다. 어떤 실시예들에서, 알고리듬적 접근법들은 카메라 이미지들에 기반한 기계 학습(신경망) 접근법들을 포함할 수 있다. 대부분의 개인들은, 대개는 누군가가 그들을 바라볼 때 알아차리는 것을 피할 수 없는 정도까지, 응시 잠금을 (그들이 주시되고 있을 때) 자연적으로 식별할 수 있다.
응시 잠금의 식별은 가상 세계에서 아바타에 대해서도 또한 적용될 수 있다. 원격회의, 시뮬레이션들 및 게임 플레이와 같은 상황들에서, 아바타들은 예를 들어 더욱 현실적인 대화를 가능하게 하도록 특정 개인들을 바라보는 것이 가능하게 될 수 있다. 응시 잠금은 아바타에 의해 직접(보통은 전기통신 링크를 통해) 전달되거나 혹은 아바타의 장면 카메라 이미지들에 기반하여 검출될 수 있다.
상호 응시가 1) 두 명의 별도의 디바이스 착용자들로부터의 이미지들, 2) 장면 카메라 이미지들 내의 응시 잠금의 검출에 따른 단일의 디바이스 착용자에 의한 응시 추적, 또는 3) 아바타에 의한 응시 잠금에 기반을 두든, 상호 응시의 존재는 다음과 같은 다수의 방식으로 활용될 수 있다.
1. 개인들이 한 번도 만난 적이 없는 경우, (본 명세서의 다른 부분에서 설명한 프라이버시 고려가 고려되는 것으로 가정) 다른 사람에 대한 정보가 디바이스 착용자(들)에게 디스플레이되어 연결을 가능하게 한다.
2. 개인들이 이전에 만난 적이 있는 경우, 재-연결을 위해 필수적인 정보(예컨대, 이름, 이전 접촉의 시간 등)가 재-연결을 가능하게 하도록 디스플레이된다.
3. 상호 응시 중에 대화 또는 다른 정보가 교환되는 경우, 교환에 대해 저장된 임의의 정보(예컨대, 오디오, 이미지들, 텍스트)가 상호 응시 중에 일어난 것으로 태깅(tagging)될 수 있다. 이는 정보 인출 중에 맥락을 제공하는데 도움이 될 수 있다.
4. 다수의 개인들과의 대화들 또는 상호작용들에서, 상호 응시들은 상호작용 동안 내내 기록되고 그리고/또는 정보(예컨대, 오디오, 이미지들, 텍스트)를 태깅하는 데 사용될 수 있다. 이 데이터는 데이터 세트 내의 "누가 무엇을 말했는가"라는 문제를 처리하는 데 도움이 될 수 있고, 또한 개인들의 관심 주제들 및 개인 그룹의 관심 주제를 파악하는 데 도움이 될 수 있다.
착용형 디바이스들을 포함하는 멀티-모드 제어들
특히 착용형 및/또는 모바일 컴퓨터 사용 상황 중에 안구 신호들이 강력한 형태의 인간-기계 인터페이스(HMI) 상호작용이지만, 그 활용성은 HMI 상호작용의 하나 이상의 다른 양상과 결합될 때 크게 확장될 수 있다. 예를 들어, 의도적인 안구 운동들을 시그널링하고 그리고/또는 강조하기 위해 음성 명령들 및/또는 머리 끄덕이기와 같은 보충적인 방법들과 안구 신호들을 엮는 것이 "편안하게" 느껴질 수 있다. 의도적인 안구 운동은 도약, 일련의 도약들, 폭주 운동, 전정안구반사 운동 또는 원활 추적을 포함할 수 있다.
이러한 멀티-모드 제어 중에 일어나는 문제는 임의의 정해진 시간에 어떠한 형태의 입력이 중요한 제어를 담당할지를 처리하는 것이다. 서로 다른 소스로부터 유래되는 두 개의 활성화 시퀀스들이 대략 동시에 수신되고(예컨대, 어떤 시퀀스가 먼저 실행되는가?) 그리고/또는 논리적으로 일관되지 않는 둘 이상의 시퀀스들이 수신되면(예컨대, 이미지의 전체-스크린 디스플레이 및 이메일의 전체-스크린 디스플레이를 동시에 나타내도록 하는 요구), 모호성이 발생될 수 있다.
이러한 입력들에 대한 우선순위들은 특정 애플리케이션에 따라 달라질 수 있고 그리고/또는 시시각각으로 변할 수 있다. 예를 들어, 글자들, 숫자들, 단어들 구절들 또는 문장들을 포함하는 명세서에 대한 요구가 있을 때, 희망하는 입력을 말하는 것이 보통 더 용이하고 더 신속하다. 예시적인 실시예들에서, 애플리케이션들은 이러한 때에는 오디오 입력을 위해 "듣는" 것에 특별한 주의를 기울일 수 있다. 오디오 입력들은 예를 들어 음성 입력이 디바이스 착용자에 특정적임을 식별하도록 더 정제될 수 있다.
많은 형태들의 HMI입력들은, 디바이스 제어와 관련되지 않은, 지속적인 일상 활동들의 일부일 수 있는 변화들 또는 운동들을 사용한다. 각기 다른 입력들은 변화가 HMI 상호작용을 위해 "의도적"인지(즉, 신호의 요소), 혹은 이러한 제어와 관련되지 않은지 여부를 해석하는 각기 다른 감수성을 갖는다. 이는 각기 다른 입력들의 우선순위들을 결정하는 데 역할을 할 수 있다. 이 스펙트럼의 한쪽 끝에서, 컴퓨터 마우스를 움직이고 그 버튼들 중 하나를 클릭하는 것은 예외 없이 기계 제어를 지시하도록 의도된다. 스펙트럼의 다른 끝에서, 안구 운동들은 일상 활동들의 본질적인 부분이고, 안구 신호 언어는 탐색 및 다른 형태의 안구 운동들을 의도적으로 하는 것을 가능하게 하고 구별하도록 특별히 설계된다.
표 1은 상태 변화가 (예컨대, HMI 상호작용을 지향하는) 의도적인 초기 또는 고유의 신뢰도와 함께 다수의 예시적인 입력원들을 나타낸다. 표의 대략 상반부는 의도적인 상호작용 접촉(또는 근접 센서의 경우 근거리 접촉)이 행해지는 디바이스들에 의한 입력 양상들을 포함한다. 표 1의 중간 열에서, 별표의 수가 증가하면 초기에 검출되는 상태 변화(후속적인 분석 없음)가 의도적이라는 점에 대한 신뢰도가 증가하는 것을 지시한다.
| 상태 변화 검출 | 의도적인 운동들의 초기 신뢰도 | 예시적인 우선순위 |
| 마우스, 조이스틱 또는 기타 포인팅 디바이스 | ********** | |
| 키보드 | ********** | |
| 터치 스크린, 볼 또는 패드 | ********** | 1 |
| 손가락 태핑 또는 다른 근접 검출 | ********* | |
| 신속한 휴대 장치 운동(흔들림) | ** | 2 |
| 스위치 및 다른 보조 기술 센서 | ********* | |
| 머리 끄덕이기 | ******** | 3 |
| 손 제스처 | ******* | |
| 팔과 다리를 포함하는 기타 신체 부위들의 운동 | ***** | |
| 음성 명령 | **** | 5 |
| 안구 신호 | ** | 4 |
| 뇌전도 | * |
마우스 또는 키보드를 누르는 것은, 거의 예외 없이, 의도적인 HMI 의도와 관련된다. 스위치, 스크린, 패드 또는 기타 근접 센서 디바이스를 터치하는 것 또한, 비록 우발적인 터치, 태핑(tapping) 또는 스와이프(swipe)가 일어날 수는 있지만, 대개는 의도적이다. 많은 디바이스들에는 움직이거나 흔들릴 때 움직임을 검출할 수 있고 이에 따라 반응할 수 있는 가속도계들이 내장되어 있다. 착용형 디바이스들은 특히 끊임없이 움직인다. 따라서 움직임이 의도적인지 결정하기 위해서는, 움직임의 특징들(예컨대, 진폭, 주 주파수 및/또는 지속 기간)이 고려되어야만 한다.
표 1의 하부는 대체로 보다 간접적으로 감지되는 입력 양상들을 포함한다. 머리 끄덕이기, 손 제스처 및 다른 신체 부위에 의해 행해지는 규정된 움직임은 HMI 신호로 해석되도록 특정 패턴 및/또는 시퀀스의 움직임들을 요구한다. 그렇지 않으면, 움직임은 다른 활동들과 관련된 것일 수 있다. 맹인이거나 혹은 벙어리가 아닌 한, 말과 안구 운동들은 일상 활동들의 보편적인 요소들이다. 따라서 이러한 잠재적인 입력들의 "의도성"의 정도는 주의 깊게 평가되어야만 한다.
고유의 신뢰도 및 "의도성 점수(purposefulness score)"는 정해진 입력의 우선순위를 결정함에 있어서 역할을 한다. "의도성 점수"는 특정 움직임, 제스처 또는 안구 신호가 선택 또는 활성화 시퀀스의 패턴과 부합하는 정도에 기반한다. 더욱 잘 부합되는 패턴들은 디바이스 사용자의 부분에서 의도적일 가능성이 대부분이다. 양상의 고유 신뢰도, "의도성 점수" 및 특정 애플리케이션의 맥락(예컨대, 하나 이상의 양상이 특정 입력 양상에 대해 예상되거나 혹은 편리한지 여부)은 전부 입력들을 필터링하고 입력들의 우선순위를 정하는데 사용될 수 있다.
표 1의 가장 오른쪽 열은 예시적인 애플리케이션의 예시적인 "서열(hierarchy)" 또는 우선순위 목록을 나열한다. 입력 양상들 전부가 모든 시점들에서 대체로 이용 가능한 것은 아니며, 이용 가능한 경우에도, 어떤 양상들은 어떤 애플리케이션 도중에는 사용되지 않을 수 있다. 예를 들어, 안구 신호들이 모바일폰 디바이스와의 상호작용 도중에 사용되면, 모바일 디바이스와 관련된 입력 양상들 및 안구 운동을 추적하는 데 사용되는 (마이크로폰을 포함하는) 헤드웨어에 의해 감지되는 양상들이 의도를 전달하는 데 사용될 수 있다. 이러한 형태의 상호작용에 대해, 입력 양상들의 예시적인 우선순위들은 (표 1에 나열된 바와 같이) 다음과 같을 수 있다.
1. 모바일 디바이스의 스크린을 이용하는 터치 제어는 자발적인 움직임에 기반하고 대체로 의도적이다. 따라서 모든 터치 명령들은 즉시 실행된다.
2. 모바일 디바이스를 흔드는 것은 의도적이 아니거나 혹은 의도적일 수 있다. 따라서 디바이스 흔듦의 결정에 높은 엄격도(stringency)가 요구되고, 임계치(예컨대, 진폭들, 주파수, 지속 기간, 방향)가 초과되면, 검출이 입력의 형태로 사용될 수 있다.
3. 유사한 선상에서, 머리 움직임들은 대체로 보편적이다. 그러나 큰 폭의 머리 움직임이 사전에 정해진 패턴들에 부합되면(머리를 "예" 또는 "아니오"로 흔듦), 이러한 입력들이 즉시 행해질 수 있다.
4. 다음의 우선순위는 더 높은 우선순위의 양상들과 독립적으로 선택되고 실행될 수 있거나 혹은 선택이 안구 신호들을 이용하여 행해질 수 있고 액션 또는 활성화가 모바일 디바이스 사의 터치 제어를 이용하여 특정될 수 있는 곳에 완전히 산입될 수 있는 안구 신호들이다.
이 예에서, 가장 낮은 우선순위는 오디오 입력이다. 이 경우, 음석 인식은 안구 신호들 또는 우선순위가 더 높은 상호작용들에 의해 활성화될 때에만 사용된다. 이러한 방식으로, 음성 녹음 또는 음성의 텍스트로의 전사는 예를 들어 다른 양상들에 의해 시그널링될 때로(예컨대, 텍스트 메시지 또는 이메일들이 작성되는 도중으로) 제한될 수 있다.
방금 설명한 예에서, 각기 다른 양상들의 우선순위들은 동적으로 행해질 수 있다. 예를 들어, 핵심 단어 또는 구절이 검출되면, 음성 제어 우선순위가 상승되어 안구 시그널링 및/또는 다른 양상들을 대체할 수 있다. 이 경우, 오디오 스트림이 있는 한 음성 명령들이 실행된다. 안구 신호들은 침묵 기간 도중에, 더욱 편리한 형태의 데이터 입력으로 간주될 때 및/또는 하나 이상의 핵심 단어 또는 구절을 통해 혹은 어떤 다른 지시를 통해 음성 제어가 턴오프되거나 혹은 우선순위가 감소될 때 산입될 수 있다.
하나 이상의 입력 양상이 실질적으로 동시에 감지될 때, 서열이 낮은 양상과 관련된 액션은 지연될 수 있거나 혹은 전혀 수행되지 않을 수 있다. 우선순위가 낮은 액션이 결국 수행되는지 여부는 또한 위에서 설명한 바와 같이 입력이 디바이스 사용자에 의해 의도되었다는 "의도성 점수" 또는 측정된 신뢰도에 따라 좌우될 수 있다. 이 점수는 예를 들어 안구 운동이 활성화 타겟을 향해 얼마나 가깝게 도약하는지 혹은 활성화 타겟을 얼마나 가깝게 추종하는지에 따라 달라질 수 있다.
다중-모드 HMI를 이용할 때의 다른 고려는 다른 양상들과 대비하여 안구 신호들에 의해 특정되는 위치들의 정확도이다. 안구 운동들이 매우 빠를 수 있지만, 동공 입구와 중심와의 크기들 및 다른 광학적 고려에 기반하여 안구 추적으로부터 응시 위치가 결정될 수 있는 각 해상도에는 근본적인 한계가 있다. 이는 예를 들어 컴퓨터 마우스의 제어된 운동들과 대조적인데, 이 경우에는 비록 사람의 팔, 손 및 마우스를 먼 거리에 걸쳐 이동시키는 데 소정의 시간이 소요되기는 하지만, 손 안의 정밀한 운동 기술이(커서 이동 대비 마우스의 적절한 스케일링과 함께) 디스플레이 상의 위치들 또는 가상 장면 또는 실제 장면의 뷰들 내의 위치들을 정확하게 특정하는 데 사용될 수 있다.
안구-신호 증강 멀티-모드 제어("트랜스포트(transport)")
정확도 및 제어에 있어서의 이러한 차이를 인식하고, 안구-시그널링 사용자 인터페이스는 안구들이 "최선을 다하는 것을 하도록" 하고 다른 양상의 기능을 고려하는 것에 의해 멀티-모드 입력들을 이용한다. 예를 들어 디스플레이의 넓은 영역들을 포괄하는 안구(들)의 운동들을 수반하는 장면 탐색은 안구들에 의해 가장 잘 행해진다. 안구 운동들에 의해 후속적으로 시그널링되면 또는 정확도가 더 높은 디바이스(예컨대, 컴퓨터 마우스, 트랙볼, 디지털 펜) 상에 검출되는 움직임이 있으면, 더 높은 디바이스가 제어를 담당할 수 있다.
실제로, 멀티-모드 디바이스(들)의 운동 감도는 (범위 대비) 높은 정확도를 위해 설정될 수 있는데, 이는 긴 범위의 움직임들 및 탐색은 안구들에 의해 가장 잘 수행되기 때문이다. 이러한 디바이스들의 운동 감도는 사람의 안구(들)로 주의를 특정 구역으로 "트랜스포트"시킨 후에 정확도를 최대화하기 위해 동적으로 변경될 수도 있다.
다른 멀티-모드 형태들의 제어와 함께 안구 신호들을 포함하면 다음과 같은 장점들이 있다.
1. 속도, 여기서 안구들은 긴 호형-거리(arc-distance)를 손가락들, 손들, 팔들 또는 다른 신체 부위들보다 빨리 지나갈 수 있다.
2. 단순함, 여기서 디바이스 착용자의 의도를 수행함에 있어 수반되는 객체를 주시하거나 혹은 그 객체에 집중하는 것은 대부분의 프로세스들의 자연스러운 부분이다.
3. 피로 방지, 여기서 안구들의 운동들은 손가락 관절들, 손목들, 팔꿈치들 또는 다른 신체 부위들을 이동시키는 것을 수반하는 생체 역학과 비교하여 본질적으로 덜 지친다.
4. 주시할 때 피드백이 작업을 수행하는 필수 요소인 것 및/또는 안구에 의해 주시되는 2차원(또는 폭주가 포함되는 경우에는 3차원) 위치들을 다른 디바이스들로부터의 다차원 입력들과 결합하는 것과 같은 특별한 기능.
이러한 장점들을 구형하는 특정 예로서, 독서, 브라우징, 정보의 이동을 지시하는 것, 편집, 이미지들 또는 비디오를 주시하는 것, 그리기, 작곡 등과 같은 광범위한 전형적인 응용 도중에 디스플레이를 주시하는 것을 고려하자. 안구(들)의 의도적인 운동은 관심 구역으로 포인터 또는 다른 지시자(예컨대, 커서)를 신속하게 "트랜스포트"시키는 데 사용될 수 있다.
용이성 및 신속성에 더하여, 이 프로세스의 다른 장점은 포인터 또는 커서의 현재 위치를 "발견"(즉, 시각적으로 탐색)할 필요가 없다는 것이다. 오늘날의 애플리케이션들에서, 특히 다량의 텍스트 또는 이미지들 사이에 숨겨져 있을 때 커서를 시각적으로 "발견"하는 것은 시간을 소요하고 주의역이 분산되게 할 수 있다. 또한 예를 들어 컴퓨터 마우스를 사용할 때, 타겟 위치를 향해 조종하도록 어느 방향으로 움직임이 행해져야 하는지 결정하기 위하여 커서를 발견할 필요가 있다.
예시적인 실시예들에서, 포인터를 디바이스 착용자에 의해 주시되는 타겟 위치를 향해 일반적인 방향으로(즉, 사전 결정된 방향 범위 내에서) 움직임을 개시할 때 포인터가 트랜스포트될 수 있다. 이 초기 움직임은 커서, 조이스틱, 트랙볼, 디지털 펜 등과 같은 포인팅 디바이스를 이용하여 수행될 수 있다. 일단 개시되면, 새로운 위치(즉, 사용자 응시에 의해 지시되는 타겟 위치)로의 포인터의 트랜스포트는 신속하게(예컨대 중간 위치들에 비디오 프레임들을 신속하게 디스플레이) 또는 순간적으로(예컨대, 비디오 프레임들을 삽입하지 않음) 일어날 수 있다. 대안적으로 또는 이에 더하여, 타겟 위치는 타겟 위치로의 또는 타겟 위치로부터 멀어지는 의도적인 도약 안구 운동을 통해 안구 신호 언어 내에서 개시될 수 있다.
새로운 초점 구역을 지시하는 피드백이 (희망하는 경우에) 디바이스 착용자에게 제공될 수 있다. 이는 볼 수 있는 커서, 포인터, 구역 내에서 선택 가능한 객체들의 강조, 배경의 변경, 테두리의 추가 등의 형태일 수 있다. 선택적으로, 시각적 피드백은 또한 신속한 트랜스포트 후에 타겟 위치로 접근함에 따라 "느려지는" 객체를 디스플레이하는 것을 수반할 수 있다.
초점 구역으로 "트랜스포트"할 때, 다른 HMI 디바이스가 선택을 제어하고 활성화시키는 데 이음새없이(seamlessly)(즉, 특정 명령 시퀀스 없이) 사용될 수 있다. 터치 패드들, 컴퓨터 마우스들, 조이스틱들 등과 같은 디바이스들은 (안구 신호와 비교하여) 더 큰 정확도를 제공한다. 이 정확도는 디바이스 착용자의 시각적 예민성까지 공간 범위에 걸쳐 선택을 행하는 데 사용될 수 있다. 실제로, 이러한 디바이스들이 더 이상 큰 범위를 커버하도록 요구되지 않기 때문에, 이러한 디바이스의 감도는 작고, 정밀한 움직임들에 유리하도록 튜닝될 수 있다. 이러한 튜닝은 정적이거나 혹은 동적일 수 있고 적응적일 수 있다. 예를 들어, 포인터를 희망하는 타겟 근처로 인입(deposit)시키는 (도약과 같은) 안구 신호에 의해 구동되는 트랜스포트의 종료 시에, 포인팅 디바이스의 감도가 일시적으로 감소될 수 있다(포인터를 짧은 거리 이동시키는 데 더 큰 물리적 움직임을 요구함).
"트랜스포트"는 가상 현실, 증강 현실, 태블릿들, 모바일폰들, 스마트 디바이스들, 투사 이미지들, 디스플레이 모니터들, 신호체계(signage) 등을 포함하는 광범위한 디스플레이들을 수반할 수 있다. "트랜스포트"는 단일 디스플레이 내에서 행해질 수 있거나 혹은 둘 이상의 디스플레이들을 가로질러 행해질 수 있다. 이러한 디스플레이들은 하나 이상의 처리 디바이스들에 의해 제어될 수 있다 포인터의 "트랜스포트"를 지원하는 안구 추적은 또한 인접하거나 혹은 인접하지 않은 디스플레이에 의해 가능해지는 객체들 상에 하나 이상의 디스플레이를 지원하도록 위치되는 하나 이상의 안구 추적 메커니즘에 의해 가능해질 수 있다. 디스플레이들은 3D 또는 공간 내의 객체들의 홀로그래픽 투사의 형태로 된 "가상"일 수도 있다. 시야 내에서의 트랜스포트는 동일한 디스플레이 모드로 작동하는 디바이스들로 제약되지 않는다. 예를 들어, 포인터 또는 다른 지시의 트랜스포트는 홀로그래픽 프로젝션까지 또는 스마트워치, TV, 의료 디바이스 스크린 및/또는 다른 스크린들까지 스마트폰의 스크린을 이음새 없이 가로지르는 것으로 여겨질 수 있다.
동시적 시각 피드백(즉, 위의 네 번째 요점의 일부)을 갖는 기능을 수행하는 능력은 3차원 공간 내에서 3차원 가상 객체들을 시각화하고 제어하는 데 안구들을 다른 입력(예컨대, 컴퓨터 마우스, 터치패드, 디지털 펜 등)과 조합하여 사용할 때 특히 가치 있다. 대부분의 일반적인 컴퓨터 입력 디바이스들(예컨대, 마우스들, 트랙볼들 등)에서 볼 수 있는 이차원 제어는 공간에서 3차원 객체의 제어의 주시 원근감 및 다른 태양들을 제어하기에는 불충분한 수의 자유도를 제공한다. 이는 흔히 여러 차원들의 제어를 수평 팬, 수직 팬, 줌, 수평 회전, 수직 회전 및 축 회전과 같은 특정 제어들로 분리되도록 유도한다.
안구들을 이용하여 객체의 표면상의 위치 또는 (폭주를 포함하는 것에 의해) 공간 내의 3차원 위치를 주시하고 나서, 선회 기준으로 주시되는 점을 가지고서 장면을 처리하는 것이 훨씬 자연스럽다(즉, 직관적이고 신속하다). 예를 들어 선회점을 주시하고 그리고 터치 패드를 사용할 때, 주시되는 객체는 (손가락을 왼쪽 또는 오른쪽으로 스윕하는 것에 의해) 수평으로 회전될 수 있거나, (손가락을 위 또는 아래로 스윕하는 것에 의해) 수직으로 회전될 수 있거나, 혹은 (두 손가락의 원형 동작에 의해) 축 회전될 수 있다. 의도성 및 후속하는 활성화는 마우스 클릭들, 스크린 터치들 등과 같은 자발적인 액션들에 의해 명확하게 지시될 수 있다. 안구들이 (비유적으로 그리고 글자 그대로) 제어 메커니즘의 중심부이기 때문에, 관심 구역 내에서의 안구들로의 피드백은 즉각적이다.
안구들이 입력으로 포함되면, 객체들이 3차원 세계 내에서 더욱 자연스럽게 보일 뿐만 아니라, 객체들은 또한 더욱 자연스럽게, 신속하게 그리고 직관적으로 "편집"될 수 있다. 요소들이 추가되거나, 제거되거나 혹은 그 성질들(예컨대, 색상, 표면 질감, 구역을 구성하는 소재(들))이 수정되면, 구역을 단순히 바라보고 동시에 다른 입력 양상들을 이용하여 변경을 행하는 것이 편할 수 있다. 다시 한 번, 구역의 크기, 형상 또는 성질들의 변경이 즉각적으로 그리고 시선을 돌리지 않으면서 (예컨대, 다른 시각화 큐들, 스크린들 또는 원근감들을 이용하여) 시각화될 수 있다.
이러한 멀티-모드 전략들은 종졸 "Fitts' Law"라고 하는 인체공학적 제한들 및 HMI 제한들을 극복할 수 있다. 이 원리는 타겟 구역까지 이동하는데 필요한 시간이 타겟까지의 거리와 타겟의 크기 간의 비의 함수임을 시사하는데, 타겟의 크기는 타겟 선택 프로세스의 정확성에 의해 결정된다. 안구 운동들은 먼 거리를 신속하게 커버할 수 있다. 더욱 높은 공간 해상도를 갖는 멀티-모드 입력은 더 작은 (그리고 더 많은 수의) 타겟을 가능하게 한다. 따라서 안구 신호들을 포함하는 멀티-모드 입력들에 의해 선택 속도(즉, 정보 이론에서 보통 초당 비트로 설명됨)가 증가될 수 있다.
안구-신호 언어 내에서 멀티-모드 입력의 힘을 보여주는 에는 객체 또는 장면을 그리는(즉, 칠하는) 프로세스이다. 이 경우, 안구 운동들은 그려질 객체들의 위치를 특정하는 데 사용될 수 있다. 이러한 객체들은 움직일 수 도 있고 잠깐만 나타날 수도 있다. 각기 다른 객체들 사이에서 신속하게 도약하면 다양한 객체들에 유사한 액션들을 적용할 수 있다. "복사", "붙여넣기", "지우기" 또는 "색 채우기"와 같은 액션들을 특정하는 데 음성 명령들이 사용될 수 있다. 머리 움직임들이 가상 객체들의 위치들 및/또는 회전을 "조금씩 움직이는(nudge)" 데 사용될 수 있다. 색상 팔레트가 디스플레이된 터치 스크린 또는 가상 스크린(예컨대 증강현실 디바이스를 이용할 때)은 손가락 제스처를 이용하여 색상들을 선택하는 데 사용될 수 있다.
각기 다른 입력 모드들이 각기 다른 시간들에 각기 다른 방법들로 적용될 수 있다. 멀티-모드 입력 조합들은 그리기와 같은 복잡한 기능들도 착용형 디바이스 및/또는 모바일 디바이스를 이용하여 완벽하게 수행될 수 있게 한다.
안구-신호 변조형 멀티-모드 제어
위에서 설명한 실시예들에서, 안구 신호들은 예를 들어 지각된 의도성에 기반하여 둘 이상의 입력 메커니즘들 중에서 스위칭하는 것에 의해 다른 형태의 기계 제어와 함께 사용된다. 추가 실시예들에서, 안구 신호들이 다른 입력들의 기능을 "변조"하거나 혹은 향상시키는 것을 허용하는 것에 의해 멀티-모드 제어가 즐겁고, 감각적이고, 직관적인 방식으로 크게 연장될 수 있다. 이런 방법으로, 각기 다른 멀티-모드 제어의 강점들이 동시에 활용될 수 있다.
도 20a 및 도 20b는 커서, 포인터 또는 다른 추적되는 위치(511a)(여기서는 간략함을 위해 "포인터"라 함)의 멀티-모드 이동의 안구 신호-기반 변조의 특히 유용한 예에 포함되는 단계들을 도시한다. 포인터(커서, 추적되는 위치 등)는, 가끔씩은 보이지 않거나 혹은 강조, 배경 변경, 테두리 모습, 색상 차이, 객체 크기의 변화 등과 같은 다른 방법들로 시각적인 피드백을 제공하는, 이동 가능한 심볼 표현(화살표, 십자선, 아이콘, 원 등)을 포함할 수 있다. 도 20a에서, 사용자는 채워진 원(510)으로 표현된 디스플레이 상의 위치(512)를 바라본다. 응시 측정의 불확실성으로 인해, 응시 위치는 주시되는 객체 주위의 구역(513) 내에서 결정될 수 있다. 커서 또는 포인터(511a)가 디스플레이 상의 다른 곳에 위치될 수 있다.
마우스, 트랙볼, 조이스틱 또는 기타 제어 디바이스가 커서(511a)의 위치를 제어하는 데 사용될 수 있다. 그러나, 변조된 멀티-모드 제어 도중에는, 포인터가 대체로 응시 방향(513)으로 이동될 때, 연속적인 움직임 내의 임계 거리에 도달하면, 커서(511a)가 응시 구역(513)으로 본질적으로 즉시 이동하거나 혹은 "점프"(515)하게 된다. 도 20b에 예시된 포인터 또는 다른 추적되는 위치의 이러한 신속한 재배치(515)는 상당한 시간을 절약하고, 피로 및/또는 마우스, 트랙볼, 조이스틱 또는 기타 제어 디바이스의 반복된 수동 조작의 다른 결과들을 방지한다. 어떤 경우들에서, 이러한 먼 거리들을 통과하기 위해 손 또는 디바이스를 들어 올리는 것을 포함하는 다수의 손 움직임들이 요구될 것이다.
포인터의 변조된, 멀티-모드 제어는 본 명세서 내에서 포인터의 "트랜스포트"로 지칭된다. 도 20b에 도시된 바와 같이, 즉각적인 트랜스포트에 이어서, 포인터(511b)는 대체로 사용자의 중심와 뷰 내에 놓이게 된다. 하나의 실시예에서, 포인터는 사용자의 응시점을 향해 이동하는 포인터의 원래 위치로부터의 일반 벡터를 따라 이동하여 다시 출현할 수 있고, 여기서 포인팅 디바이스의 움직임은 재출현 시의 포인터의 움직임을 제어한다. 앞에서 언급한 바와 같이, 포인터의 재출현 시에 포인팅 디바이스의 감도는, 사용자가 포인터를 희망하는 위치에 도달하도록 유도하고 포인팅 디바이스를 클릭하거나 혹은 활성화시키는 것에 의해 액션을 취할 때까지, (용이한 제어를 위해) 감소될 수 있다. 따라서 안구 운동을 거의 하지 않거나 혹은 전혀 하지 않으면서, 사용자는 후속해서 하나 이상의 제어 디바이스를 이용하여 높은 정확도로 조작되는 포인터를 볼 수 있다. 최종 결과는 제어 방향으로 이동하고 대략 주시될 수 있지만, 외견 상 최소한의 노력으로 디스플레이(510) 내의 넓은 영역들을 지나치는 포인터의 정확한 제어이다.
이 스킴은 더 큰 정확도를 갖는 다른 제어 디바이스들로부터의 명령 입력들을 받아들이면서 신속하게 이동하는 안구들의 능력을 동시에 이용한다. 트랜스포트는 임계 거리들이 통과되었을 때, 포인터에 대한 안구 응시의 방향 및/또는 제어 디바이스 움직임의 속도를 고려하여 일어날 수 있다. 대안적으로, 사용자는 제어 디바이스를 가지고 응시 위치를 향한 신속한 이동이 필요하다는 "제스처"를 할 수 있다. 제스처들은 신속한 이동(즉, 임계 속도를 초과함), (예컨대, 앞뒤로) 디바이스를 흔드는 것, 하나 이상의 이동 패턴(예컨대, 원형, 고정된 방향으로의 이동 등) 등을 포함할 수 있다. 대안적으로, 버튼 누르기(또는 근접 감지, 소리 또는 음성 인식, 머리 흔들기, 깜빡임 등을 포함하는 어떤 다른 스위칭 메커니즘)가 응시 위치를 향한 신속한 이동이 필요하다는 지시를 하는 데 사용될 수 있다.
디바이스 사용자는 트랜스포트 프로세스가 수행되게 하는 모드들(즉, 제스처, 이동들, 소리 활성화 등), 임계치들(예, 방향 범위, 통과 거리, 등) 및 기타 변수들(예컨대, 특정 단어의 발언, 깜빡임 지속 기간 등)을 설정하는 선호도들의 세트들을 설정할 수 있다. 추가적으로, 포인터가 안구 응시 근처에 있으면, 트랜스포트는 보통 유리하지 않으며 자동으로 비활성화될 수 있다.
포인터 위치의 하나 이상의 즉각적인 점프에 대한 대안들은 제어 디바이스의 감도 또는 공간 "게인(gain)"을 변경하는 것을 포함한다. "게인"은 시그널링과 포인터에 의해 커버되는 (일반적으로 비례적인) 거리에 대비한 제어 디바이스 상에서의 움직임 간의 관계를 말한다. 예를 들어, 제어 디바이스의 "게인"은 커서 위치와 응시 위치 간의 간격에 비례할 수 있다. 더 높은 게인(즉, 정해진 제어 움직임 또는 다른 입력에 대한 더 큰 커서 이동 속도)은 디스플레이 내의 더 큰 거리가 더욱 신속하게 통과되게 한다. 포인터의 신속한 이동은 또한 형상을 만들거나 혹은 프로파일을 이룰 수 있다. 예를 들어 포인터의 이동은 높은 속도를 갖는 신속한 이동의 각각의 끝에 가속 단계 및 감속 단계를 가질 수 있다. 이러한 스킴은 포인터 이동을 부드럽게 하고, 트랜스포트 도중의 주의력 분산을 감소시킨다.
트랜스포트는 단일 디스플레이에 또는 동일한 종류의 디스플레이로 제한되지 않는다. 예를 들어, 포인터는 가상 현실 헤드셋 상의 위치로부터 스마트폰의 디스플레이로 "트랜스포트"될 수 있다. 크로스-플랫폼(cross-platform) 트랜스포트는 착용형 컴퓨터 작업을 활용하는 응용 분야에서 특히 유용하다. 예를 들어, 디스플레이 영역은 하나의 디바이스에서는 제한적이지만 다른 디바이스에서는 이용 가능할 수 있다. 트랜스포트는 다른 디바이스로 신속하게 전이될 수 있게 하거나 혹은 심지어는 디바이스들 간에서 앞뒤로 신속하게 전이될 수 있게 한다. "트랜스포트"가 공간 구역들을 신속하게 지나치기 때문에, 하나의 디바이스를 다른 디바이스로부터 분리하는 물리적 갭이 있을 수 있다는 사실은 "트랜스포트" 프로세스에 영향을 미치지 않는다. 실제로, 이러한 갭을 가로지르는 트랜스포트는 직관적으로 느껴진다.
크로스-플랫폼 트랜스포트는 증강 현실 또는 가상 현실 디스플레이, 스마트폰들, 워치들, 태블릿 표면들, 랩탑 디스플레이들, 디스플레이 모니터들, 디스플레이 모니터들의 어레이들, 신호체계 등을 포함할 수 있다. 이러한 디스플레이들은 고정식이거나 혹은 이동식일 수 있다. 포인터 제어는 디바이스들 내의 프로세서 플랫폼들 및 블루투스, 와이파이 및/또는 다른 형태의 이동통신들과 같은 크로스-디바이스 통신 프로토콜들을 이용하여 수행된다. 고속 통신은 디바이스들 간의 트랜스포트를 이음새 없이(즉, 상당한 지연 없이) 가능하게 하는 데 필수적이다.
하나 이상의 포인터들에 할당된 관련물(associations)들이 또한 트랜스포트될 수 있다. 예를 들어, 포인터가 이미지 또는 텍스트 섹션에 관련되거나 "고정(pin)"되는 경우, 그 이미지 또는 텍스트와 관련된 정보가 추가 디바이스(들)의 디스플레이 및 처리 기능 둘 다로 트랜스포트될 수 있다. 트랜스포트될 수 있는 관련물들의 예들은 이미지들, 비디오, 텍스트, 숫자들, 파일들, 애플리케이션들, 특정 기능들(즉, 애플리케이션에 의해 수행되는 특정 기능들) 등을 포함한다. 이러한 형태의 트랜스포트는 안구-신호 언어 내의 많은 기능들에 있어서 기본이다.
도 21a 및 도 21b는 관련된 기능의 "트랜스포트"를 포함하는 크로스-플랫폼 안구-시그널링의 프로세스를 예시한다. 도 21a는 스마트폰 또는 태블릿과 같은 모바일 디바이스의 디스플레이 구역(520)을 도시한다. 디스플레이 구역(520)은 여러 가지 실행 가능한 기능들을 나타내는 아이콘들(523) 및 안구 신호 언어의 일부로서 선택될 수 있는 활성화 아이콘들의 열(524)을 포함한다. 희망하는 액션들을 수행하기 위해 디스플레이(520)는 터치, 안구 신호들, 음성 명령들 등의 임의의 조합을 이용하여 조작될 수 있다.
예를 들어 사용자가 스마트워치(525)에서 텍스트 메시지를 획득하고자 희망하는 경우, 이 프로세스는 텍스트 메시지들(521)을 나타내는 아이콘을 워치(525)의 구역으로 "트랜스포트"시키는 것에 의해 개시된다. 트랜스포트 작업으로 이어지는 임의의 설정(setup)이 안구 신호, 터치 스크린, 음성 또는 다른 입력 모드들의 임의의 조합에 의해 수행될 수 있다. 트랜스포트는 디바이스들의 공간적 갭을 가로지르는 하나 이상의 안구 운동(522)(보통 도약)에 의해 수행된다. 필요하면, 수신 디바이스(즉, 이 경우에는 워치(525)) 상의 그래픽 피드백이 트랜스포트 프로세스의 이미지 또는 애니메이션 시퀀스를 포함할 수 있다. 이는 예를 들어 디바이스(525) 디스플레이의 중앙을 향해 안구 운동(들)의 방향으로 스윕되는 아이콘, 썸네일(thumbnail) 또는 기타 그래픽 디스플레이일 수 있다.
도 21b에 도시된 바와 같이, 기능이 "트랜스포트"되고 나면, 희망하는 액션들을 더 수행하도록 안구 신호들 및/또는 터치 및 음성을 포함하는 임의의 다른 제어 메커니즘들이 사용될 수 있다. 예를 들어, 기존 디스플레이들(예컨대, 도 21a의 경우 쉽게 판독 가능한 시계(526a))은 최소화될 수 있다(526b). 안구 신호들 및/또는 다른 멀티-모드 입력들은 또한 트랜스포트된 기능을 조작하기 위해 사용될 수 있다. 예를 들어, 도 21b에 도시된 바와 같이, 텍스트 메시지가 판독될 수 있다.
크로스-플랫폼 트랜스포트는 각각의 디바이스의 강점들이 활용될 수 있게 한다. 도 21a 및 도 21b에 예시된 경우에서, 태블릿(520)은 선택할 수 있는 (디스플레이 공간으로 인한) 훨씬 더 큰 선택 어레이를 구비할 수 있다. 스마트워치는 이동하고 있을 때 훨씬 편리한 판독 디바이스이다. 많은 어레이의 디스플레이들을 넘나드는 다중-플랫폼 트랜스포트의 경우(예컨대, "벽(wall)"으로 배열되는 5x5 디스플레이들의 격자), 트랜스포트 프로세스는 단지 포인터의 위치를 결정하는 데에도 사용될 수 있다.
도 22a 및 도 22b는 멀티-모드 기법들을 이용하여 문서 내에서 텍스트의 서브세트를 특정하고, 후속해서 특정된 서브세트를 문서 내의 다른 위치로 "잘라내기-및-붙여넣기"를 하기 위해 포인터를 "트랜스포트"시키는 장점을 추가로 예시한다. 위에서 설명한 바와 같이, 어떤 애플리케이션에서는, 선택된 텍스트가 다른 디바이스의 디스플레이에 붙여 넣어질 수 있다. 도 22a는 텍스트의 본문(531)을 포함하는 디스플레이(530)를 도시한다. 이 경우, 사용자는 텍스트의 첫 번째 문장(532a)이 문서(531)에서 더 아래쪽에 있는 프로그램 문장들의 목록의 일부로 포함되게 하기를 희망한다.
안구 신호들 및 멀티-모드(예컨대, 마우스, 트랙 패드) 입력들의 조합을 이용하여, 포인터(533a)가 (마우스를 이용한 버튼 누르기에 의해) 선택되는 텍스트의 시작부가 특정되는 문장의 시작부로 먼저 이동된다. 다음으로 문장(535)의 끝에 가까운 구역을 바라보고 멀티-모드(예컨대, 마우스, 트랙 패드) 제어를 이용한 프로세스를 계속 진행하는 것에 의해, 포인터의 위치가 문장의 끝으로 "트랜스포트"된다(534). 응시 방향(즉, 문장(535)의 끝)을 향한 이동은 즉각적일 수 있거나 혹은 고속일 수 있다.
포인터는 응시 위치로 접근함에 따라 (선택적으로) 느려지는 것으로 나타날 수 있다. 이는 응답 특성들을 동적으로 변경하는 동안 포인터가 입력 제어들에 이음새 없이 응답하는 편안한 느낌을 일으킨다. 다음 효과는 스크린(들)의 커다란 부분들을 신속하게 통과하여 상당한 시간과 노력을 절약하면서 높은 정확도를 가지고서 문장의 끝(즉, 잘라내기- 및-붙여넣기 구역의 끝)을 정확하게 특정하는 능력이다.
선택된 텍스트(535)의 끝이 특정되고 나면, 도 22b에 도시된 바와 같이, 사용자는 텍스트가 이동될 구역으로 도약(536)할 수 있다. 다시 한 번, 작업의 "붙여넣기" 부분은 "트랜스포트" 프로세스로부터 이득을 얻는다. 멀티-모드 입력을 이용한 도약은 포인터가 응시 구역으로 신속하게 트랜스포트되게 하고, 이 응시 구역에서 포인터는 후속해서 문장(532b)이 삽입될 위치(533b)를 특정하도록 멀티-모드 제어(들)를 이용하여 더욱 정확하게 안내될 수 있다 마우스 또는 트랙볼 상의 버튼 누르기, 또는 어떤 다른 사용자 지시(예컨대 음성 명령)는 작업을 완료시킨다.
예시적인 실시예들에서, 트랜스포트 메커니즘을 실시하기 위한 안구 신호들의 획득은 착용형 객체들 또는 디바이스들(머리 장착형 디바이스들 포함) 상에 또는 그 근처에 떨어져 위치되는 검출기들을 통할 수 있거나, 혹은 사용자의 안구들 중 하나 이상이 보일 수 있는 하나 이상의 장면 카메라를 이용하여 실시될 수 있다.
멀티-모드 제어 도중의 안구-신호 피드백
멀티-모드 제어는 시각적 선택들 및/또는 피드백을 사용자에게 제공할 때 특별한 고려를 요구한다. 언제나 모든 가능한 멀티-모드 선택들을 제공하면 사용자 인터페이스 경험을 혼란스럽게 만든다.
이러한 혼란을 극복하는 예시적인 방법은 중심와 강조를 수반한다. 이 실시예에서, 응시가 구역에 지향되면, 이 구역 내에서(즉, 주로 중심와 뷰 내에서) 선택 가능한 아이템들이 사용자에게 지시될 수 있다. 지시들은 색상 강조 또는 명암 강조, 전경색 변화, 상이한 배경, 후광(halo) 포함, 구역 윤곽 표시, 폰트(들) 변경, 객체 크기 변화 또는 다른 형태의 시그널링의 형태일 수 있다. 중심와 뷰 내의 선택 가능한 아이템들을 동적으로 지시하면 다수의 선택 아이템들로 디스플레이 스크린이 어수선한 상황이 방지된다. 이는 또한 주시되는 구역 및 (초보 사용자에게) 어떤 아이템들이 선택 가능한지에 대한 피드백을 사용자에게 제공한다.
선택 지시들의 제거를 조심스럽게 제어하고 차례로 배열하는 것이 또한 중요하다. 최종 선택들(즉, 액션을 수행하기 위해 더 이상의 선택이 필요 없는 선택)에 대해서는, 선택된 액션을 계속 진행하기 위하여 선택되지 않은 아이템들의 강조(또는 다른 지시들)가 즉시 제거된다.
멀티-모드 제어들을 이용하면, 마우스 또는 트랙볼과 같은 본질적으로 의도적인 입력(표 1 참조)의 초기 움직임이, 안구 신호들이 특정 선택을 위해 사용되지 않을 것이어서 안구 신호 메뉴들이 철회되는 것을 허용한다는 신호로 사용될 수 있다. 알고리듬적으로, 안구 신호 디스플레이 요소들의 포함 및 철회를 편리하게 실시하는 방법 한 가지는 그 투명도가 제어될 수 있는 이미지 "레이어(layer)"를 이러한 요소들에 부여하는 것이다. 필요할 경우, 안구-신호 요소들을 표출하도록 디스플레이 크기의 레이어(또는 레이어 내의 구역(들))가 덜 투명(더 불투명)해질 수 있다. 선택적으로, 안구-신호 요소들의 표출은 주의를 환기시키는 경향을 줄이기 위하여 "페이드-온(fade-on)"으로 점진적으로 수행될 수 있다. 필요하지 않을 경우, 레이어 내의 하나 이상의 구역을 더 투명하게 만드는 것에 의해 안구-신호 레이어의 하나 이상의 구역이 제거될 수 있다.
안구-신호 기반의 악보 판독
안구-시그널링 언어의 특정 응용 분야는 악보의 판독, 연주 및/또는 주시를 수반한다. 물리적 세계 또는 터치 스크린 세계에서, 음악가는 물리적 넘김이든 혹은 스크린 스와이프이든 페이지를 넘기기 위해 악보의 페이지의 끝에서 잠깐 동안 연주를 중단해야만 한다. 이는 연주 중에 원치 않는 일시정지를 초래하여, 음악의 연속성과 흐름을 방해할 수 있다.
하나의 실시예는 음악가의 악보 내에서의 위치를 결정하고 악보의 스마트 스크롤을 가능하게 하여 이러한 방해를 방지하도록 안구 시그널링 및 추적 정보를 통합한다. 단일 페이지 상에 많은 라인들을 포함하는 전체-길이 페이지의 악보를 가지고서, 음악가가 페이지의 끝에 도달하면, 음악가가 페이지를 완전히 끝내고 다음 페이지로 이동할 수 있도록 보장하는 안구-속도에 기반을 둔 점진적인 전이를 선택적으로 포함하는 페이지 넘김이 실행된다.
도 23은 디스플레이(570) 내의 악보 스코어(music score)의 예를 도시한다. 음악가의 응시(반드시 연주 부분일 필요는 없음)가 페이지(572)의 마지막 음표의 구역에 도달할 때, 페이지-넘김이 일어난다. 사용자의 선호에 기반하여, 페이지-넘김 기능은 "연속적인" 라인 스크롤 모드일 수 있거나, 보다 전통적인 페이지-넘김 모드일 수 있거나 혹은 페이지 또는 디스플레이의 일부분 또는 전부를 스크롤하거나 또는 뒤집는(flip) 것에 의할 수 있다.
후자의 방법의 장점들은 기존의 종이 악보가 간단하게 스캔될 수 있고 안구-추적을 포함하는 접근법에 용이하게 이식될 수 있다는 점을 포함한다. 현대의 음악가들은 이러한 포맷에 친숙하다. 이러한 접근법을 이용하는 경우, 연주 도중에 어떠한 정보도 놓치지 않는 것을 보장하도록 스크롤 타이밍을 제어하는 것이 중요하다.
악보 스코어를 포함하는 데이터베이스는 디스플레이의 수정이 일어날 수 있는 바람직한 중단점들(break points)(즉, 디스플레이 변경이 바람직한 스코어 내의 위치들)을 포함할 수 있다. 대안적으로 또는 이에 더하여, 디스플레이되는 스코어의 끝(또는 다른 기준 위치)으로부터 사전 결정된 거리 내에 하나 이상의 중단점들이 할당될 수 있다.
대안적인 스크롤 방법에서, 악보 스코어는 단일의 수평 "스트립(strip)"으로 연결되는 라인들로 포맷된다. 도 24는 악보 스코어 스트립(580)의 일부의 예를 도시하는데, 스트립의 세그먼트 또는 "윈도우"(581)가 음악가에게 디스플레이된다. 사용자의 응시 위치(582)가 스코어의 디스플레이되는 구역의 끝 근처일 때, 스코어는 주시 윈도우 내에서 전진한다(583)(즉, 좌에서 우로). 그러면 음악가는, 잠재적으로는 작품의 템포, 안구 신호들 및/또는 청각 피드백에 기반한 추가 피드백과 함께 사용자의 응시에 의해 결정되는 스크롤 속도로, 스크린을 가로지르는 단일 라인 상에서 작품 전체를 연속으로 스크롤할 수 있다. 기존의 종이 악보 스캔들을 다시 포맷하는 것이 요구될 수 있는 노력에 불구하고, 이 방법은 특히 (가상 현실, 혼합 현실 또는 증강 현실 디스플레이들을 포함하는) 소형 디스플레이들이 요구되는 상황들에서 일부에 의해 선호될 수 있다. 어떤 사용자들에게는, 단일 라인의 연속적으로 진행되는 스크롤이 더 편안하고 그리고/직관적일 수 있다.
지능형 페이지 스크롤은 보통 음악가의 기량 레벨을 반영하여 안구 행위에 따라 또한 달라질 수 있다. 음악가의 안구는 전형적으로 연주되고 있는 음표 앞의 몇 개의 마디들을 훑어본다. 이는 기량 레벨에 의해 변하는데, 초보 음악가는 바로 연주될 음표만을 바라볼 수 있지만, 노련한 음악가는 사전 준비의 형태로 연주되고 있는 마디 앞의 몇 개의 마디들을 판독할 수 있다. 이는 또한 "사이트-리딩(sight-reading)"이라고 하는 것, 연습을 전혀 하지 않고 악보를 처음 판독하여 작품을 정확하게 연주할 수 있는 능력에서의 음악가의 기량 레벨과 관련된다. 노련한 음악가는 많은 마디들을 미리 판독할 수 있어, 일어날 일을 처리하고 입술들, 팔들, 손가락들 가슴 및/또는 다른 신체 부위들을 적절한 리듬으로 움직여서 음악을 정확하게 연주하는데 충분한 시간을 가질 수 있다.
예시적인 실시예들에서, 스코어의 디스플레이의 안구-신호 기반 제어는 음악가의 등급을 정하고 그리고/또는 음악가를 훈련시켜서 오디오 및 응시 위치에 기반하여 점점 복잡해지는 음악을 사이트-리딩할 수 있게 하는 데 사용될 수 있다. 도 25a 및 도 25b에 예시된 바와 같이, 등급 정하기와 피드백은 음악가에 의해 연주되고 있는 음표와 판독되고 있는 음표 간의 차이를 비교한다.
도 25a는 연주 위치(591a)와 (연주 위치 앞의) 응시 위치(592a) 간의 차이들이 측정되는 스코어(590)를 도시한다. 연주 위치는 악기 자체에서 연주되는 음표들을 감지하는 것에 기반할 수 있거나 혹은 마이크로폰을 이용하여 감지되는 악기에 의해 발생되는 소리들의 오디오 인식에 의할 수 있다. 도 25b는 훈련 및/또는 피드백 후의 도 25a와 동일한 스코어를 도시하는데, 연주 위치(591b)와 응시 위치(592b) 간의 간격이 연장되어 있다.
공연 도중, 일반적인 안구-신호 언어는 (예컨대, 각기 다른 스코어들의 아카이브(archive)로부터의) 스코어들의 선택을 포함하는 다양한 기능들을 제어하거나, 사용자 선호도를 설정하거나, 다른 음악가들 또는 지휘자와 조용히 소통하고, 타인들로부터의 요청에 응답하거나 혹은 다시 녹음되어야할 필요가 있는 연주 부분을 (실시간으로) 지시하는 데에도 또한 사용될 수 있다. 전자제어식 악기들의 경우, 안구 신호들이 하나 이상의 악기를 부분적으로 또는 전적으로 제어하는 데 사용될 수 있다. 이러한 액션들은 안구-신호 언어의 일반적인 구조 및 선택 시퀀스들을 이용하여 직접 수행될 수 있다.
안구-신호 언어 스크래치패드
많은 컴퓨팅 디바이스 운영 시스템에서 활용되는 보편적인 기능 또는 태스크는 정보의 블록들을 하나의 위치 또는 애플리케이션으로부터 다른 위치 또는 애플리케이션으로 전송하는 것이다. 정보의 형태들은 문자들, 단어들 또는 단어들의 그룹들, 숫자들 또는 숫자들의 그룹들, 그림들, 도면들, 오디오 파일들, 비디오, 기능 또는 애플리케이션을 표현하는 아이콘들, 폴더들 또는 정보의 클러스터들의 다른 표현들 등을 포함할 수 있다. 안구-신호 언어가 이러한 정보를 보내거나 혹은 전송할 수 있게 하는 예시적인 방법은 "스크래치패드"의 이용이다. "스크래치패드"는 안구-시그널링 프로세스 중에 다양한 기능들을 제공한다. 스크래치패드는,
1. 전송 또는 저장을 위해 데이터가 집합될 수 있게 하고,
2. 데이터의 서브세트들이 분리될 수 있게 하고,
3. 필요하면, 데이터를 하나의 형태로부터 다른 형태로 (예컨대, 스피치를 텍스트로) 변환하고,
4. 인입되는 데이터 세트들의 저장 및 인출을 위한 아카이브 저장소로서 작동하고, 그리고
5. 전송 프로세스를 지시하고 활성화하는 중앙 위치로서의 기능을 한다.
정보의 출처들은 워드프로세서들, 스프레드시트들, 그림 및 비디오 뷰어, 텍스트 수신기들, 메일 수신기들, 웹브라우저 등과 같은 애플리케이션들에 의해 생성되는 데이터를 포함할 수 있다. 출처들은 또한 카메라들, 마이크로폰들, GPS, 시계들, 가속도계들, 센서들 등과 같은 디바이스들의 출력을 포함할 수 있다. 정보의 목적지들은 워드프로세서들, 스프레드시트 요소들, 그림 및 비디오 편집기들, 텍스트 전송기들, 메일 서버들, 웹 페이지 내의 선택들 및/또는 응답들 등을 포함할 수 있다.
도 26은 안구-신호 스크래치패드 제어 영역의 예시적인 디스플레이 레이아웃(600)이다. 이 영역은,
1. 안구 신호들을 이용하여 스크래치패드로 정보가 인입될 수 있는 구역(601),
2. 안구 신호들을 이용하여 스크래치패드로부터 정보가 인출될 수 있는 구역(602),
3. 이전에 저장된 입력들을 스크래치패드 내에서 격리하도록 "스크롤 업"하는 구역(603), 및
4. 이전에 저장된 입력들을 스크래치 패드 내에서 격리하도록 "스크롤 다운"하는 구역(604)을 포함한다.
스크래치패드로 정보를 인입시키는 프로세스는 객체를 주시하고 후속해서 객체의 구역(605)으로부터 디스플레이의 "인입 객체" 구역(601)으로 도약하는 것을 포함한다. 위에서 설명한 바와 같이, 인입된 정보는 각기 다른 여러 가지 형태를 포함할 수 있다. 더욱이, 객체들은 가상 디스플레이들(600) 또는, 객체의 아이덴티티를 등록하는 데 객체 인식이 사용될 수 있고 그리고/또는 객체의 이미지가 저장될 수 있는 실제 세계로부터 추출될 수 있다.
새로 저장된 객체의 썸네일은 스크래치패드의 "인(in)" 영역(601)과 "아웃(out)" 영역(02) 둘 다에 배치된다. 콘텐츠가 "인" 영역으로부터 직접 추출될 수 없기 때문에, "인" 영역(601)에의 아이템 저장은 단순히 디바이스 사용자에게 최근에 저장된 정보를 상기시키는 것이다. 정보의 인출은 "아웃" 영역(602)을 이용하여 수행된다.
스크래치패드로부터 정보를 인출하는 프로세스는 다음의 단계들을 포함한다.
1. 사용자는 선택적으로 스크롤 업(603) 및/또는 스크롤 다운하여 저장된 정보의 아카이브된 표현(예컨대, 썸네일)을 격리할 수 있다. 스크롤은 "아웃" 구역(602)으로부터 "스크롤 업" 구역(603) 또는 "스크롤 다운" 구역(604)으로의 도약 운동들을 수행하는 것을 포함한다. 사용자가 "업" 구역(603) 또는 "다운" 구역(604)에 머무르는 경우, 인접한 "아웃" 구역이 중심와 뷰 내에 있고 사용자에 의해 보일 수 있기 때문에 스크롤이 반복해서 일어날 수 있다.
2. 편의상, 스크래치패드로부터 격리되고 더 이상 필요하지 않은 아이템은 스크래치패드로부터 삭제될 수 있다. 이는 예를 들어 "업" 스크롤 구역(603)으로부터 "다운" 스크롤 구역(604)으로 또는 반대로 "다운" 스크롤 구역(604)으로부터 "업" 스크롤 구역(603)으로, "아웃" 구역(602)을 바이패스하여, 안구 도약 운동을 하는 것에 의해 수행될 수 있다. 삭제되고 나면, "아웃" 구역(602)에 디스플레이되는 아이템은 삭제 작업이 어느 구역(603, 604)으로부터 먼저 시작되었는지에 따라 스크래치패드의 목록에서 "위" 또는 "아래"의 다음 아이템일 수 있다.
3. 희망하는 인출 아이템이 스크래치패드로부터 격리되고 나면, 사용자는 아이템이 삽입될 디스플레이 구역을 탐색할 수 있다. 이는 예를 들어 워드프로세서 또는 텍스트 메시지 내의 위치, 스프레드시트 내의 셀, 웹 페이지 내의 위치 등일 수 있다. 희망하는 삽입 위치(606)로부터 "아웃" 구역(602)으로의 도약에 의해 인출이 완료된다.
대안적으로, 그리고 스크래치패드 아이템들을 격리시켜서 전송하는 위에서 설명한 "스크롤" 방법에 더하여, 스크래치패드는 "탐색"될 수 있다. 이는 음성 입력을 이용하면 특히 강력하지만, 디스플레이 상에 격리된 텍스트 또는 이미지, 또는 디바이스에 의해 캡쳐된 이미지/오디오가 탐색 비교를 위한 소스들로 사용될 수 있다. 필요하면, 스크래치패드 내에서의 탐색을 가능하게 하도록 전환이 수행될 수 있다. 예를 들어, 멀티-모드 탐색을 가능하게 하기 위해 (스크래치패드 내에서 오디오 녹음이 직접 비교되는 것이 아닌 한) 스피치-투-텍스트(speech-to-text)(또는 다른 표현)가 수행될 수 있다. 유사한 선상에서, 스크래치패드 내에서 아이템을 식별하여 탐색을 용이하게 하는 데 객체 식별 및/또는 음성 인식이 사용될 수 있다. 스크래치패드 내에서 가장 가깝게 부합되는 아이템들이 "아웃" 구역(602)에 배치될 수 있고, 전송 준비가 된다.
안구(들)를 "스크롤 업" 구역(603)에 체류하게 하는 것은 디바이스에 예를 들어 탐색을 위한 음성 입력을 알리는 데 사용될 수 있다. "스크롤 업" 구역(603)에 체류하는 것은 현재 "아웃" 구역(602)에 있는 정보 이전의(즉, 스크래치패드로 먼저 인입된) 스크래치패드 정보의 서브세트를 탐색하는 것을 나타내는 데 또한 사용될 수 있다. 반대로, "스크롤 다운" 구역(604)에 체류하는 것은 디바이스에 음성 입력을 알리고 "아웃" 구역(602)에 현재 디스플레이된 아이템 이후에 인입된 저장 아이템들의 서브세트 내에서 탐색하는 것을 나타내는 것일 수 있다. "아웃" 구역(602)에 체류하는 것은 스크래치패드의 전체 콘텐츠들을 탐색하는 것을 나타내는 데 사용될 수 있다. 이는 사용자의 안구의 "체류" 작업이 적절하고 이에 따라 스크래치패드 내의 탐색 결과(들)가 지각될 수 있는 안구-신호 언어의 몇 가지 예들 중 하나이다.
도 26에서, 스크래치패드의 저장 영역(601) 및 인출 영역(602)에 예시된 아이콘들은 스크래치패드가 빈 때의 상황들 중의 예시적인 자리-표시자(place-holder)이다. 스크래치패드의 "인"(601) 또는 "아웃"에 콘텐츠가 있게 되면, 스크래치패드 콘텐츠들의 썸네일이 대응 구역에 표시된다.
드론들 및 기타 원격 이동체(vehicle)의 안구-신호 제어
안구-신호 언어는 위치들 및/또는 방향들이 신속하고 그리고/또는 반복적으로 특정될 필요가 있는 상황들에서, 그리고/또는 손으로 제어되는 조이스틱들 또는 컴퓨터 마우스들과 같이 다른 신체 부위들을 이용하여 형성되는 제어들을 줄이거나 제거하는 것이 바람직할 때 특히 유용하다. 하나 이상의 내장 카메라 및/또는 원격측정을 구비하는 드론(즉, 무인 항공기) 또는 기타 원격-제어 이동체(예컨대, 보트, 잠수함)의 비행이 이러한 예이다.
이러한 차량을 비행할 때의 주요 기능은 "어디로 비행하는가"(또는 육상, 해상 또는 수중 이동체의 경우 "어디로 가는가")를 특정하는 것이다. 대부분의 경우들에서, 이는 바람, 기류 및 다른 환경 조건들, 및 기타 요인들을 고려하여, 장애물들을 극복하고 "비행금지" 구역들을 피하기 위하여 연속적으로 또는 주기적으로 수행된다.
3차원 비행 방향을 특정하는 데 특히 직관적이고 유용한 방법은 드론 또는 이동체의 관점에서 "타겟" 위치/방향을 "바라보는" 것이다. 드론 또는 이동체에 탑재된 하나 이상의 카메라로부터의 실시간 원격측정 및 뷰는 AR, VR, 혼합 현실 헤드셋, 태블릿, 스마트폰, 스마트워치, 랩톱, 또는 데스크탑 컴퓨터 모니터(들)에서 볼 수 있다. 안구-신호 제어를 위한 여러 가지 선택들이 라이브 비디오 이미지들 위에 또는 그 주위에 중첩될 수 있다. 이동체 제어는 안구-신호 언어를 이용하고, 선택적으로 다른 (예컨대, 수동, 음성) 제어들의 도움을 받아 이루어질 수 있다.
안구-신호 언어의 다른 요소들에서와 같이, 드론 또는 이동체의 제어 시에, 환경을 검사하는 데에 보편적으로 사용되는 탐색 안구 운동들을 의도를 전달하는 "의도적인" 안구 운동들과 구별하는 것이 중요하다. 타겟(들)로부터 디스플레이 내의 활성화 위치 또는 위치들의 시퀀스로 의도적인 도약 안구 운동(들)을 행하는 것에 의해, 타겟 방향(및 GPS와 같은 다른 계측 장비를 이용하는 경우, 거리)이 특정될 수 있다. 이러한 목적지 타겟들은 정지되어 있을 수 있고 이동하고 (그리고 후속해서 이동체에 의해 추적되고) 있을 수 있다. 하나 이상의 타겟이 각기 다른 시점들에 숨겨질 수 있다.
부분적이거나 혹은 완전한 핸즈-프리 제어를 획득하기 위하여, 안구 신호들이 이동체 이동의 다른 태양들을 제어하는 데 또한 사용될 수 있다. 이는 예를 들어 전진 속도, 스로틀(throttle), 제어 표면들의 크기와 방향, 프로펠러 피치 등을 포함할 수 있다. 안구 신호 언어는 "귀환(return home)"하고, 화물을 투하하고, 정지 상태로 호버링하고, 경고 신호 또는 정보 제공 신호를 전달하는 등과 같은 다른 태스크들을 개시하는데 또한 사용될 수 있다. 안구 신호들은 메뉴들을 통해 상태 지시자들을 질의하고, 비행 계획을 특정하거나 수정하고, 중간 기점들을 찾아내고 표시하는 등에도 또한 사용될 수 있다.
차량 운전 중의 응시-추적 및 안구-시그널링
다른 예시적인 실시예들에서, 응시 제어 및 안구-신호 언어의 요소들은 차량을 운전하는 동안에 사용될 때 특별히 고려되어야만 한다. 차량은 자동차(car), 트럭, 중장비, 보트, 스노모빌, ATV 등을 포함할 수 있다. 특별한 고려는, 안구 시그널링에 더하여, 생명이 위험할 가능성이 있는 상황들을 피하기 위하여 운전자의 안구들이 단지 잠깐의 중단을 가지고서 운전 환경을 감시하는 데 사용되어야만 하기 때문에 일어난다.
운전자 안전과 관련된 단체는, 적절한 조건 하에서, 전방의 차량 경로로부터 멀리 바라보는 시간은 어떠한 경우에도 1.6초 내지 2.0초를 초과하지 않을 것을 권고한다(단체들 마다 권고 사항에 약간의 변화가 있음). 대부분의 운전자들은 실제로 약 이(2) 초 동안 다른 곳을 바라본 후에 불편함 감각을 보고한다. 벤치마크(benchmark)에 따르면, 전통적인 (즉, 헤드-업 디스플레이와 결합되지 않는) 라디오를 단지 조정하는 데에 소요되는 평균 시간은 1.6초이다. 그러나 이러한 시간들에 광범위한 차이가 있음이 보고되고 있다.
운전 프로세스 도중에, 운전자가 바라보는 곳의 통합은 편안함과 안전 둘 다에 대해 다음과 같은 다수의 이점을 발생시킨다. 1) 디스플레이들 및 다른 형태의 운전자 정보가 기후 및 운전자가 얼마나 오래 전방 경로를 주시했는지에 기반하여 수정될 수 있다. 부적절한 시간에 주의를 환기시키는 것을 방지하고 그리고/또는 인지 부하를 줄이기 위하여, 디스플레이 디바이스들은 동적으로 운전 조건들(예컨대, 고속도로 대 주차장) 및 운전자의 행위에 적응할 수 있다. 2) 안구-신호 제어의 타이밍 및 디스플레이 피드백은 사전 결정된 시간 후에 운전자가 전방 경로를 다시 바라보는 것을 촉구하도록 설계될 수 있다. 2) (예컨대 자동 제동을 촉발할 수 있는) 비상 상황이 차량에 의해 감지되고 운전자가 상황의 방향을 주시하고 있지 않는 경우, 운전자의 응시를 유도하는 단계들이 취해질 수 있다.
안구-신호 언어 내에서의 선택 및 활성화의 신속성은, 특히 큰 포맷들을 갖는, 가상(예컨대, 콘솔 디스플레이들, 증강 현실 안경, 헤드-업 디스플레이들 등)을 이용한 안전한 운전을 촉진하도록 이용된다. 앞에서 설명한 바와 같이, 안구들에 의해 발생되는 도약들은 인간 신체에서 가장 신속한 운동이다. 콘솔 디스플레이 상의 위치로의 (보통 기억-유도) 도약 및 이에 뒤따르는 선택 및/또는 활성화를 수행하는 하나 이상의 도약은 보통 예를 들어 터치-감지식 스크린 상의 위치의 제스처 또는 활성화를 수행하는 손 움직임 또는 동일한 기능을 수행하는 버튼보다 더 짧은 시간 내에 수행될 수 있다. 안구 시그널링을 이용하면, 조향 휠로부터 손을 떼지 않고도 모든 운전 제어들을 실행하는 것도 가능하다.
특정한 경우의 운전 내에서, 운전 프로세스 외의 주시와 관련된 시간들을 더 감소시키기 위해 맥락에 민감하고 간소화된 메뉴 선택이 채택될 수 있다. 전자의 예로서, 라디오 기능을 제어하는 가상 "버튼"이 내비게이션을 위해 사용되는 맵의 디스플레이 중에는 바로 이용 가능하지 않을 수 있다. 후자의 예로서, 기능 선택 및 활성화 둘 다 디스플레이의 네 개(4)의 모서리들 중 하나와 같은 활성화 위치로의 단일 도약을 이용하여 일어날 수 있다.
이와 대조적으로, 비-운전 애플리케이션에서, 이미지 또는 맵과의 상호 작용들은 줌인, 줌아웃, 팬, 객체 선택, 객체 식별, 잘라내기, 붙여넣기 등과 같은 다수의 작업들로부터의 선택을 수반할 수 있다. 안구-신호 언어 내에서, 이러한 다수의 작업들로부터의 선택은 적어도 둘(2) 이상의 도약 안구 운동들(예컨대, 이른바 "표출" 작업), 즉 메뉴를 생성하는 것과 메뉴로부터 액션을 선택하는 것을 보통 요구한다.
그러나, 맵을 주시할 때의 운전 애플리케이션에서, 선택들은 예를 들어 스크린의 네 개(4)의 모서리들 중 하나의 모서리를 향한 도약 안구 운동들로 제약된다. 네 개의 모서리들과 관련된 액션들은 다음과 같을 수 있다.
1. 줌인(맵 상에서 지금 주시되는 위치를 중심에 놓음),
2. 줌아웃,
3. (맵 상에서 지금 주시되는 방향으로의) 팬, 및
4. 맵 디스플레이로부터 벗어남(예컨대, 더 높은 레벨의 메뉴로 복귀함).
맥락에 민감하고 제약된 세트의 잠재적인 기능들의 신속한 선택 및 활성화는 운전 프로세스로부터 벗어나서 다른 방향으로 시선을 돌리는 횟수 및 운전과 직접 관련이 없는 프로세스들의 인지 부하를 감소시킨다. 운전 경로와 다른 쪽으로 시선을 잠깐 돌리는 전략을 촉진하는 것을 계속하기 전에 운전자가 전방 경로를 주시하도록 강제하는 방식으로 선택들은 또한 제약될 수 있다. 전방 경로를 주시할 때, 앞에서 설명한 바와 같이 주의를 환기시키는 것을 방지하는 방식(예컨대, 도약 및/또는 깜빡임 실명의 기간 중에, (변화 맹시를 이용하여) 휘도 및/또는 색상을 전진적으로 변경시키는 것)으로 디스플레이들을 변경하는 전략들은 운전자 안전을 더 증가시킬 수 있다. 운전자의 응시 방향의 지식은 안전 운전 행위를 더 촉진시키기 위하여 운전자에게 제시되는 정보의 타이밍과 콘텐츠를 변경하는 데 또한 사용될 수 있다.
운전 프로세스 도중에, 운전자는 운전 프로세스로부터 선택가능한 객체로 시선을 잠깐 돌릴 수 있다. 선택 가능한 객체는 차량 내부의 콘솔 또는 헤드-업 디스플레이 상에 투사되는 맵 상에 디스플레이되는 위치와 같은 가상 객체, 또는 조명을 조절하는 노브(knob)와 같은 물리적 객체일 수 있다. 디스플레이 상의 안구-시그널링을 이용한 활성화를 위한 대안적인 실시예에서, 선택 가능한 객체가 운전자에 의해 주시되는 것으로 식별되고 나면, 운전자 응시는 운전 프로세스로 주의를 복귀시킬 수 있다. 이 때, 운전자는 방금 주시한 응시 위치와 관련된 기능을 활성화시킬 수 있다. 활성화는 음성 명령(즉, 하나 이상의 핵심 단어의 음성 인식을 통해 결정됨), (예컨대, 조향 휠 상에 위치된) 스위치, 머리 끄덕이기 또는 유사한 지시를 포함하는 다수의 방법들로 수행될 수 있다. 각기 다른 운전자들이 각기 다른 활성화 모드들을 선호할 수 있다. 각기 다른 활성화 모드들은 또한 각기 다른 시점들에 사용될 수 있다.
각기 다른 모드의 활성화(하나 이상의 활성화 위치로의 도약, 수동 버튼 누르기, 음성 등)는 각기 다른 제어를 활성화시키는 데 사용될 수 있다. 운전자 제어의 예들은 (조명 노브를 응시하는 것에 의해) 조명을 밝게 하거나 혹은 어둡게 하는 것, (창문 토글 제어를 주시하는 것에 의해) 창을 올리거나 내리는 것, (라디오를 응시하는 것에 의한) 라디오 방송국의 선택, (오디오 플레이어를 주시하는 것에 의해) 재생 목록 상의 노래 또는 팟캐스트를 앞으로 진행(advance)시키는 것, (음량 조절 노브를 잠깐 응시하는 것에 의해) 오디오 음량 및 다른 오디오 특징들을 올리거나 낮추는 것, (적절한 노브들 및/지시자들을 주시하는 것에 의해) 공기 유동의 방향과 부피를 조절하는 것, (지시자들을 주시하는 것에 의해) 실내 온도를 제어하는 것, (미러 위치 제어들을 주시하는 것에 의해) 미러 위치를 조절하는 것, (적절한 버튼들을 주시하는 것에 의해) 좌석 제어를 변경하는 것, (와이퍼 제어를 주시하는 것에 의해) 와이퍼 속도를 조절하는 것 등을 포함할 수 있다. 대부분의 경우, 안구-시그널링 및 수동(전통적인) 제어 둘 다 운전자에게 이용 가능할 수 있다.
운전자가 주의를 전방 경로로 복귀시키도록 조장하면 비-운전 기능들과 관련된 시간들을 줄이는 것에 의해 안전 운전이 촉진된다. 활성화는 짧은 기간 또는 운전자의 작업 시각 기억 내에 있는 시간 동안 일어날 수 있어, 차량의 안내와 직접 관련되지 않은 프로세스들을 위한 인지 부하를 더 감소시킨다.
맵 상의 목적지 위치를 발견하고 특정하는 것과 같은 복잡한 작업들은 운전 프로세스로부터 벗어나는 일련의 짧은 힐끗 보기(glance)들로서 수행될 수 있고, 활성화는 각각의 힐끗 보기에 이어서 운전 프로세스로 주의가 복귀될 때 일어난다. 이러한 일련의 짧은 힐끗 보기는 운전 안전을 위해 최적인 것으로 생각된다. 또한, 활성화의 결과로 디스플레이가 변경되면(예컨대, 팬 또는 줌 기능이 맵 상에서 수행됨), 디스플레이 변경은 운전자가 디스플레이를 바로 바라보지 않는 동안에 수행될 수 있어, 동적으로 변하는 디스플레이를 주시하는 것과 관련된 시각적 처리를 더 감소시킬 수 있다.
각기 다른 디스플레이 및 상호작용 디바이스들이 이용 가능할 때 각기 다른 전략들이 운전자에게 이용 가능해질 수 있다. 예를 들어, AR 디스플레이와 콘솔 디스플레이가 둘 다 이용 가능하면, 제한된 양의 정보가 짧은 기간 동안 AR 디바이스 상에 디스플레이될 수 있다. 그러나, 내비게이션과 같은 더 복잡한 작업들을 수행할 때, 안구 시그널링의 도움을 받는 콘솔 디스플레이를 사용하는 것이 더 안전할 수 있다. 통신은 AR 디바이스와 콘솔을 제어하는 프로세서 사이에서 직접 일어날 수 있다. 대안적으로 또는 이에 더하여, AR 디바이스 상의 장면 카메라가 콘솔 상에 디스플레이되는 옵션들을 주시하는 데 사용될 수 있고 안구 상호작용을 통해 사용자 선택을 안내하는 것을 도울 수 있다.
운전자의 전면적인 정면 주시 중에 제어를 힐끗 보는 능력이 또한 일관되고 안전한 운전 행위를 촉진할 수 있다. 최소한의 운전 경험으로, 힐끗 보기는 차량 내의 (큰 각도의 허용 오차를 포함하는) 알려진 위치들에 대한 기억-유도되는 머리 및 안구 운동들에 의해 통제된다. 대조적으로 다량의 정보가 소형 헤드-업 디스플레이와 같이 작은 공간에 투사되는 경우에는, 이러한 제한된 공간 내에서 특정 제어의 위치를 파악하고 식별하는 것이 훨씬 어려워진다. 디스플레이가 각기 다른 시간에 각기 다른 세트의 정보를 투사하면 이 상황은 더 악화된다. 운전자는 희망하는 디스플레이와 상호작용할 수 있도록 기다리거나 혹은 다른 조회(look-up) 작업을 수행할 필요가 있다.
식별된 문서들과 디바이스 사용자들을 관련시키기
홍채 식별 및 다른 수단들에 기반하여 디바이스 착용자를 식별하는 방법이 안구 신호들 및 연속적인 생체 식별을 파악하기 위한 시스템 및 방법(System and Methods for Discerning Eye Signals and Continuous Biometric Identification)이라는 명칭의 2015년 5월 9일자 미국특허출원 번호 14/708,241에 설명되어 있고, 그 내용 전체가 참조에 의해 본 명세서 내에 명시적으로 통합된다. 많은 보안 애플리케이션들은 문서, 서식, 계약서 또는 기타 데이터 세트와 식별된 디바이스 착용자 간의 관련을 요구한다. 이러한 애플리케이션들은 법, 금융, 라이센싱, 보안, 사전 동의(informed consent), 의료 등을 포함하는 광범위한 분야들을 포괄한다.
예시적인 실시예들에서, 실제(즉, 물리적) 또는 가상(즉, 디스플레이상에 보이는) 문서들은 디바이스 착용자에 의해 주시될 수 있고, 문서의 아이덴티티는 디바이스 착용자의 환경을 주시하는 하나 이상의 장면 카메라를 이용하여 검증될 수 있다. 문서 식별은 콘텐츠, 내장된 QR 코드(들), 내장된 바코드(들), 서명의 인식 또는 다른 보안 피처들의 위치 및 식별에 기반할 수 있다. 서명의 인식은 이미지 인식 기법들 및/또는 이른바 딥-러닝 신경망에 의한 분류를 포함하는 기계 학습 기법들을 이용하여 수행될 수 있다.
일단 문서가 식별되었으면, 디바이스 착용자가 보고, 홍채 인식(예컨대, 홍채 코드) 및/또는 다른 수단에 기반하여 식별된 것으로 전자적으로 태깅될 수 있다. 선택적으로, 이러한 문서(들)의 전자적 표현(들)에 안구 신호 언어 또는 키보드 또는 음성 인식의 이용과 같은 다른 방법들을 이용하여 수정이 행해질 수 있다. 수정은 디바이스 착용자의 확인된 아이덴티티에 기반한 "서명"의 삽입을 포함할 수 있다. 이 서명은 전형적으로 수기 문서와 관련된 형태(예컨대, 덧씌워진 이미지) 또는 개인과 고유하게 관련된 "전자 서명"(즉, 뉴메릭 코드)일 수 있다. 대안적으로 또는 이에 더하여, 바코드 또는 QR 코드가 문서에 첨부되어 식별된 사용자가 문서를 보았음을 지시할 수 있다.
궁극적으로, 서명은 안구-시그널링, 시간이 표시된(time-stamped) 응시 지속 기간, 응시 시퀀스 매핑, 동공 확장, 및 사용자가 시각적으로 문서를 읽거나 혹은 스캔함에 따라 일어날 수 있는 기타 생체 신호들 중 하나 이상을 포함할 수 있는 사용자의 응시 데이터의 서브세트 또는 전체 세트를 기술하는 메타데이터를 포함할 수 있다. 이러한 정보는 사전 동의 확인을 위해 가치가 있을 수 있고, 또한 정보의 숙독을 입증할 뿐만 아니라 계약 언어의 이해 및/또는 동의의 지시를 제공하는 방법일 수 있다.
이러한 "서명되고" 그리고/또는 수정된 문서들은 문서의 물리적 교환과 동일한 방식으로 교환될 수 있다. 서명의 시간, 날짜 및 (예컨대, GPS로부터 결정되는) 위치가 또한 문서 내에 삽입될 수 있다.
가상 디스플레이 "벽"
가상 현실, 증강 현실, 혼합 현실 및 기타 머리-장착형 디스플레이 시스템들은 가상 디스플레이 "벽들" 또는 확장된 탁상(desktop)들을 주시하는 메커니즘을 제공한다. 이러한 벽들 또는 유효 표면들은 언제든지 디바이스 착용자가 볼 수 있도록 "벽"의 하나의 구역이 투사될 수 있는 큰 가상의 디스플레이 영역들을 포함한다. 그러나, 디바이스 사용자를 완전히 둘러쌀 수 있는 가상 디스플레이의 모든 구역들이 보기 및 상호작용을 위해 계획에 따라 유지될 수 있다. 가상 벽들 또는 표면들은 크기, 디바이스 착용자로부터 지각되는 거리(들), 형상 또는 곡률이 임의적일 수 있다. 애플리케이션들은 향상된 워크스테이션 환경들, 대화형 디스플레이들 및 엔터테인먼트를 포함한다.
가상 벽들은 사용자의 선호도 및/또는 특정 애플리케이션을 기반으로 사용자가 각기 다른 상호작용 모드들로부터 선택할 수 있는 응시 상호작용들 및 안구-신호 언어에 이상적으로 적합하다. 디바이스 착용자의 가상 필드로 투사되는 구역은 머리 운동들, 디바이스 착용자의 응시 방향 및/또는 안구-신호 명령들에 기반하여 제어될 수 있다.
도 27은 디바이스 착용자(611)의 전형적인 가상 벽 또는 디스플레이(610)와의 상호작용을 예시한다. 디바이스 사용자(611)의 (점선으로 표현된) 시야(612) 내에서, 전체 가상 벽(610)의 구역(613)이 보기를 위해 디스플레이 디바이스(예컨대, 증강 현실 또는 가상 현실 헤드셋) 상에 투사된다. 이 투사된 구역(613)은 가상 디스플레이 구역(610) 내에서 그 크기와 위치가 임의적일 수 있고, 어떤 경우에는 특정 애플리케이션에 따라 그 크기가 자동으로 변할 수 있다.
물품(예컨대, 미국의 Oculus VR에 의해 제작된 디바이스들) 내에서, 전체 가상 공간(610) 중에서 볼 수 있는 가시 구역(613)의 제어는 전형적으로 머리 움직임들에 기반하고 있다. 예를 들어, 머리 움직임들을 정지된 객체들이 가상 환경에서 정지된 것으로 보이게 하는 원호 거리를 가로질러 디스플레이된 이미지가 움직임의 방향으로 스크롤되게 한다. 그러나, 예시적인 실시예들에서, 응시 동역학을 또한 고려하는 것에 의해, 가시 구역의 개선된 제어가 이루어질 수 있다. 예를 들어, 머리가 움직이는 동안 안구가 한 위치를 계속 보는 전정안구운동이 검출될 때, 가시 구역은 정지 상태로 유지된다. 이는 관심 있는 객체가 있을 때에 디바이스 사용자에 대한 과도한 디스플레이 이동을 방지한다.
다른 한 편으로, 비-전정안구운동과 관련된 머리 움직임이 있을 때의 예시적인 실시예들에서, 디바이스 사용자는 집중하는 객체(들)를 주로 의도적으로 변경한다. 이 경우, 장면 이동이 예상된다. 장면을 이동시키는 매우 즐겁고 "자연스러운" 방법 한 가지는 (위에서 설명한) 도약 억제 기간 중에 디스플레이 변화를 수행하는 것이다. 이렇게 해서, 디바이스 사용자가 기능적으로 실명일 때마다 장면이 변화되어, 장면 이동과 관련된 주의력 분산을 감소시킨다. 깜빡임 억제의 주된 생리학적 목적이 끊임없이 지각되는 움직임들을 줄이는 것이기 때문에 도약 억제 기간들 중에 수행되는 장면 이동은 "생물학적으로 영감을 받은" 기법으로 분류될 수 있다.
안구 신호 언어 내에서, 디스플레이의 안구로 선택 가능한 구역을 어떻게 배치(position)하고 표출시킬 것인지에 대한 선택이 있을 수 있다. "화면 잠금(screen lock)"이라고 하는 첫 번째 예에서, 선택 가능한 구역들이 가상 디스플레이 영역(610) 내의 고정된 위치들에 위치된다. 편의상, 특정한 선택 가능한 구역이 여러 위치들에서 반복될 수 있다. 이것이 도 27에 예시되어 있는데, 세 개(3)의 식별 가능한 활성화 타겟들(616a, 616b, 616c)이 가상 디스플레이 영역(610)의 상부를 따라 반복된다. 어떤 경우들에서, 선택 가능한 영역이 가상 디스플레이의 하나의 구역에만 적용될 수 있다. 이 예에서, 선택 가능한 구역은 단 하나의 위치에서, 맥락에 기반하여, 이 구역 내의 "스크린 잠금"된 아이콘 또는 기타 심볼로서 이용 가능하게 될 수 있다.
안구-신호 언어 내의 대안적인 실시예에서, 안구로 선택 가능한 구역들(예컨대, 활성 타겟들)은 디바이스 착용자의 시야 내의 고정된 위치들에 배치될 수 있다. "머리 잠금(head lock)"이라고 하는 이 스킴에서, 사용자의 안구를 선택 가능한 구역으로 안내하는 아이콘들 또는 다른 심볼들이 가상 디스플레이 상에 중첩되고, 가시 구역(613)이 (사용자 머리의 움직임에 의해) 가상 디스플레이 영역(610) 내에서 이동됨에 따라 움직인다.
위에서 설명한 바와 같이, 머리로 제어되는 객체들의 배치는 선택적으로 전정안구운동이 아닌 것으로 결정되는 머리 움직임들에 의해서만 제어될 수 있다. 달리 말하면, 특정 객체를 바라보고 머리를 움직이는 것에 의해(즉, 전정안구운동을 발생시키는 것에 의해) 투사된/디스플레이된 객체들의 위치들을 이동시키지 않으면서 안구 시그널링 중에 머리를 움직이는 것이 가능하다.
추가 실시예들에서, 안구 상호작용을 위해 "화면 잠금" 방식 및 "머리 잠금" 방식 둘 다 동시에 사용하는 것이 가능하다. 예를 들어, 가상 디스플레이(610)의 콘텐츠와 관련된 선택 가능한 구역들(예컨대, 편집 텍스트와 관련된 선택들)이 다음 텍스트 콘텐츠 근처에 "화면 잠금" 모드로 배치될 수 있다. 동시에, 예를 들어 더 많은 일반적인 내비게이션 및 (예컨대, 새 애플리케이션들을 시작하는) 제어 기능들과 관련된 선택 가능한 구역들은 항상 "머리 잠금" 모드로 이용 가능하게 될 수 있다. 이는 더욱 일반적인 내비게이션 기능들을 더 용이하게 발견할 수 있게 한다(즉, 기억-유도 도약들을 촉진시킴).
"화면 잠금" 모드 또는 "머리 잠금" 모드와 관련된 아이콘들 또는 다른 심볼들은 아이콘들 및/또는 심볼들의 투명도를 제어하는 것에 의해 실시될 수 있다. 희미한 아이콘들은 과도하게 어수선하지 않으면서 디스플레이의 콘텐츠가 검사될 수 있게 한다. 예를 들어 디바이스 사용자의 이전의 활성화로부터의 시간 및/또는 경험 레벨이 증가하면서 콘텐츠에 의해 보증됨에 따라 불투명도는 증가(즉, 투명도는 감소)될 수 있다.
향상된 키보드 입력
키보드를 헤드웨어(예컨대, 가상 현실, 증강 현실 또는 헤드-업 디스플레이)와 함께 사용할 때, 헤드셋 디바이스 및/또는 임의의 부착물이 키보드를 주시하는 능력을 물리적으로 제약하거나 방해할 수 있다. 예를 들어, 가상 현실 디바이스는 실제 세계의 모든 뷰들을 완전히 차단한다. 이는 보통 많은 키보드 사용자들이 타이핑하거나 혹은 다른 기능들과 관련된 키들을 누를 때 그들의 손들을 바라보아야만 하기 때문에 키보드의 사용에 지장을 준다. 이른바 "터치-타이피스트(touch-typist)"도 키들을 누르는 프로세스 이전에 손들이 적절하게 배치되는 것을 보장하기 위해 가끔씩 본다.
예시적인 실시예에서, 착용형 헤드셋 및 (착용형 또는 원격) 디스플레이가 카메라 및 디스플레이의 가시 구역 내의 오버레이(overlay) 카메라 이미지들(즉, 손가락 및 키 위치들을 포함)을 이용하여 키보드의 구역을 주시하는 것에 의해 키보드 및 손들을 보는 것에 대한 방해를 극복하기 위한 방법을 제공한다. 실제 키보드를 내려다 볼(또는 다른 방향으로 볼) 필요 없이 키들에 대한 손가락 위치들이 결정될 수 있다. 키보드-주시 카메라는 임의의 형태의 헤드웨어에, 목 또는 가슴에, 또는 기둥과 같은 (예컨대, 신체가 아닌) 임의의 다른 지지체에 장착될 수 있거나 혹은 디스플레이 모니터의 상단으로부터 하방을 바라보는 디바이스일 수 있다.
손가락들 및 키들의 위치들의 오버레이 디스플레이는 안구-신호들과 결합되면 특히 강력하다. 안구-신호 언어는 안구 운동에 의해 커버되는 거리 및 의도를 전달하는 데 필요한 시간의 관점에서 "효율적인" 안구 운동들을 활용하도록 구성되었다. 물리 키보드를 아래로 힐끗 보기는 언어 요소들로부터 주의를 분산되게 하여, 상당한 시간을 소비하고 (즉, 키보드를 향한 장거리 도약으로 인해) 안구 피로의 원인이 된다. 또한, 사용자가 디스플레이 내의 구역을 다시 주시하는 프로세스는 디스플레이 상의 희망하는 주시 위치로 복귀하기 위해 보통 장거리 도약, 하나 이상의 정정 도약 및, 빈번한, 탐색-도약들을 필요로 한다.
사용자의 손들과 키보드의 뷰를 실시간으로 투사함으로써, 키보드 입력 중에 손을 보는 것과 관련된 안구 (및 머리) 운동들을 극적으로 감소시킬 수 있다. 대부분의 경우들에서, 손과 키보드의 가상 이미지들 또는 투사 이미지들은 태스크를 수행하는 동안 주변 시야, 부중심와 시야 또는 심지어 중심와 시야 내에 있도록 배치될 수 있다. 이는 디바이스 사용자가 공간 기준 및/또는 디스플레이 상의 다른 정보를 상실하지 않으면서 키보드 입력 중에 디스플레이 상의 하나 이상의 관심 구역들과 손가락들 및 키들의 모습 사이에서 앞뒤로 번갈아서 주시할 수 있게 한다. 도 28은 키보드-주시 카메라(651)를 포함하는 헤드웨어(650)의 뷰를 도시하는데, 키보드-주시 카메라는 키보드(652)와 디바이스 착용자의 손들(653a, 653b)이 키보드 카메라(651)의 시야(654) 내에 있도록 그 방향이 설정된다. 어떤 실시예들에서, 디바이스 사용자는 키보드(652)와 손들(653a, 653b)의 위치를 보지 못할 수 있다.
도 29는 키보드(662)와 디바이스 사용자의 손들(663a, 663b)이 투사되는 도 28과 동일한 헤드웨어(650)를 도시하는데, 키보드와 손들은 키보드 카메라(651)에 의해 기록되고 디스플레(660) 상에서 실시간으로 주시된다. 디스플레이(660)는 헤드웨어(650)(예컨대, 증강 현실, 가상 현실 또는 헤드 업 디스플레이)의 일부일 수 있거나 혹은, 디스플레이가 디바이스 착용자의 시야(점선들로 표현됨)(661a, 661b) 내에 있는 한, 멀리에 위치될 수 있다(예컨대, 태블릿, 스마트 디바이스, 랩톱, 컴퓨터 모니터).
도 29에 예시된 예시적인 태스크는 디바이스 사용자에 의한 타이핑을 포함한다. 문자들과 단어들이 텍스트 본문(664)에 대한 위치(665)에 추가된다. 필요에 따라, 사용자는 타이핑 프로세스 도중에 상대 위치들을 결정하기 위해 키보드(662)와 손들(663a, 663b)의 투사 이미지를 아래로 힐끗 볼 수 있다. 이는 실제 키보드(652) 및 손들(653a, 653b)을 주시하는 것과 비교할 때 훨씬 적은 안구 운동 및 이에 관련된 인지 처리를 수반한다.
키보드(662)와 손들(663a, 663b)의 투사 이미지는 디바이스 사용자에게 편리하게 디스플레이 상의 어느 위치에도 배치될 수 있다. 투사 이미지는 또한 그 크기가 임의적일 수 있거나 혹은 그 투명도가 (디스플레이된 다른 아이템들을 완전히 가리는 것으로부터 겨우 보일 정도로 중첩되는 투사에 이르기까지) 임의적일 수 있다. 반투명 투사들은 타이핑 또는 다른 주시 활동이 일어나는 구역들 내에 배치될 수도 있다(안구 운동들을 최소화함). 투명한 정도는 사용자에 의해 제어될 수 있거나 혹은 자동으로 조정될 수 있다. 예를 들어, 투사는 오타가 발생한 것으로 여겨질 때 덜 투명하게(즉, 더 분명하게) 될 수 있다.
다른 예시적인 실시예들에서, 물리 키보드 및/또는 투사된 키보드는 향상된 모드에서 사용하기에 최적화될 수 있다. 물리 키보드들은 직접 보지 않을 때 손들과 손가락들의 배치를 돕는 (느낌에 의해 식별 가능한) 기계식 가이드들 또는 기준 위치들을 포함할 수 있다. 햅틱적으로 식별될 수 있는 하나 이상의 이러한 가이드 기둥들 또는 표면들 및 기준 표면들은 키보드 영역을 통틀어 어느 위치에도 배치될 수 있다.
투사된 키보드들은 실제로 임의의 키보드 레이아웃을 수용하도록 전개될 수 있다. 본 발명의 기술 분야에서 공지된 이미지 인식 기법들을 이용하여 투사된 키 톱(key top)들이 비디오 이미지들 내에서 인식 될 수 있다. 이러한 이미지들 내에서, 임의의 심볼들 또는 문자 세트들이 투사된 키 톱들 위에 중첩될 수 있다. 이렇게 해서, 완전히 사용자가 선택 가능한 키보드가 가능해진다. 이는 각기 다른 언어들에서 사용되는 문자들과 심볼들을 처리하고, 물리적 장애가 있는 상황들 내에 맞추고, 특정 애플리케이션(예컨대, 주로 스프레드시트들에의 뉴메릭 입력)에 적응하고 그리고/또는 안구-신호 언어를 포함하는 각기 다른 설정에서 성능을 최적화하기 위해 레이아웃을 맞춤화(customize)하는 데 사용될 수 있다.
후자의 특히 유용한 예는, 키보드를 이용하여 안구 운동이 "의도적"인지 여부를 특정하는 능력이다. 엄지손가락을 누르는 것과 같은 임의의 신속한 움직임은 안구 신호들이 의도적인 것으로 해석되어야 하고 그에 따른 활성화를 수행해야 함을 재빠르게 지시하는 데 사용될 수 있다. 이러한 키보드 "버튼"은 컴퓨터 마우스의 버튼 누르기 또는 터치-감지식 패드의 누르기 누르기와 유사한 방식으로 사용될 수 있다. 이렇게 해서, 키보드로부터 손들을 떼지 않고, 커버 및/또는 다른 포인터 이동이 작은 손 움직임들 및 신속한 안구 운동들에 의해 제어될 수 있다.
대안적으로 또는 이에 더하여, 키보드들은 내장된 터치-감지식 표면들, 방향 버튼들, 미니 조이스틱 또는 푸시로드(push rod), 소형 트랙볼 또는 이와 유사한 메커니즘들을 이용하는 위치 제어를 포함할 수 있다. 이들은 안구 신호들을 이용하여 할 수 있는 것보다 더 정확한 위치 제어가 요구되는 상황들에서 사용될 수 있다. 컴퓨터 마우스 또는 원격 터치패드 또는 조이스틱의 위치를 파악하고 후속해서 사용할 필요성을 없애는 것에 의해 손들을 상대적으로 정지 상태로 유지하는 것은 (입력 속도를 증가시키고 그리고/또는 인지 부하 및 이와 관련된 피로를 감소시키는 것에 의해) 대부분의 형태의 키보드 입력을 더 향상시킨다.
대안적이거나 혹은 추가적인 실시예들에서, 특히 손가락들(그리고 보통은 손들)의 위치들은 위에서 설명한 카메라 이미지들을 보충하는 다양한 기법들을 이용하여 감지될 수 있다. 손가락의 키에 대한 근접은 본 발명의 기술 분야에서 공지된 근접-감지 기법들에 의해 추정될 수 있다. 예를 들어, 어떤 근접-감지 기법들은 (손가락이 존재하지 않을 때의) 공기의 유전 거동 대비하여 대체로 물로 채워진 손가락의 유전 성질의 차이에 의존한다. 키 근처에서 (유전 성질에 따른) 커패시턴스를 측정하는 것에 의해, 손가락의 존재 또는 부재가 결정될 수 있다. 다른 기법들은 손가락이 존재할 때 손가락으로부터 튕겨 나오는 광의 존재 또는 부재를 측정하는 것을 포함한다.
특정한 키들 근처에 손가락들이 존재하거나 혹은 부재하는 것에 대한 지시들은 위에서 설명한 키보드의 카메라-기반 이미지들 상에 또는 별도의 가상 키보드 상에 지시될 수 있다. 손가락의 존재에 대한 이러한 지시들은 작은 광, 키 표면 상의 문자 또는 심볼의 변화들, 가상 손가락의 중첩된 윤곽선 또는 이미지, 또는 각각의 키들 위에 손가락들이 존재하는지에 대한 어떤 다른 표현을 포함할 수 있다.
다른 실시예들에서, 각각의 손가락의 존재는 다음에 기반하여 더 구별될 수 있다.
1. 위에서 설명한 근접-감지 기법들을 이용하여 손가락의 근접이 감지될 수 있다.
2. 손가락의 키와의 접촉이 터치-감지 기법들을 이용하여 결정될 수 있다.
3. 키의 푸시-버튼 스위칭 작동에 의해 키의 실제 누르기가 측정될 수 있다.
이러한 구별들 각각은 위에서 설명한 가상 키보드 상에 더 지시되거나 혹은 디바이스 착용자에 의해 사용는 실제 키보드의 카메라 이미지 상에 중첩된다. 그러면 구별들이 키보드 입력들을 수정하는 데 또한 사용될 수 있다. 예를 들어, 소문자들은 간단하게 키를 터치하는 것에 의해 타이핑될 수 있는 반면, 대문자 및/또는 다른 특수 심볼들은 키를 완전히 누르는 것에 의해 액세스될 수 있다. 이는 다중-키 입력들 또는 대안적인 키보드 레이아웃들을 피하게 하고, 그리고/또는 손들과 손목들을 각기 다른 입력 치환들(permutations of inputs) 을 발생시키도록 이동할 필요성을 감소시킨다. 키들의 하향 스트로크를 제외하면 손가락들은 보통 정지 상태로 유지된다.
조합하여, 이러한 접근법들은 데이터 입력 도중에 안구 운동들 및 손가락 움직임들 둘 다 최소화하여, HMI 속도를 증가시키고 그리고/또는 피로로 이어지는 인지 부하를 감소시키도록 설계될 수 있다. 따라서 이러한 접근법들은 손가락들과 안구들이 둘 다 이들이 가장 잘 하는 것을 하게 할 수 있다.
안구 운동을 방해하지 않는 도약 안구-타이핑
예시적인 실시예들에서, "안구-타이핑"은 키보드 또는 다른 선택 매트릭스를 (사용자의 한쪽 또는 양쪽 안구로) 주시하는 것에 의해 문자들 및/또는 다른 심볼들을 입력하는 것을 수반한다. 키보드 또는 선택 매트릭스는 실제(즉, 물리 객체)이거나 혹은 가상(즉, 디스플레이의 일부분으로서 투사된 것)일 수 있다. 안구-타이핑의 기능적인 측면은 인지 부하를 최소화하면서 의도적 안구 운동들을 이용하여 사용자의 의도를 가능한 한 신속하게 전달하는 문자들 및 임의의 다른 심볼들의 입력이다.
안구 운동은 예를 들어, 한쪽 또는 양쪽 안구를 지향하는, 헤드웨어에 장착된 하나 이상의 검출기를 이용하여 모니터링될 수 있다. 또한 헤드웨어는 증강 현실, 혼합 현실 또는 가상 현실 디스플레이를 포함할 수 있다. 대안적으로 또는 이에 더하여, 안구 운동들은 폰, 태블릿, 랩톱 컴퓨터 또는 유사한 디바이스와 같은 모바일 디바이스 내에서 한쪽 또는 양쪽 안구를 지향하는 하나 이상의 검출기를 이용하여 원격으로 모니터링될 수 있다. 안구 운동들은 또한 데스크톱 컴퓨터들, 중앙 처리 유닛과 통신하는 주변 디바이스들(즉, 이른바 "주변기기들"), 벽에 장착되는 디스플레이들, 독서 전용 디스플레이들, 신호체계 또는 유사한 디바이스들 내에서 한쪽 또는 양쪽 안구를 지향하는 검출기들을 이용하여 모니터링될 수 있다.
많은 상용 안구-타이핑 시스템들의 태양은 문자 또는 심볼의 선택을 지시하는 데 체류(즉, 사전 설정된 시간을 초과하는 기간 동안의 하나 이상의 안구 고정), 안구 깜빡임, 또는 얼굴 근육 움직임을 이용하는 것이다. 이러한 지시자들 각각은, 특히 안구를 특정 문자 또는 심볼 위치로 처음 유도하는 데 사용되는 신속 도약 안구 운동과 비교할 때, 선택을 나타내는 데 상당한 시간을 요구한다. 이러한 선택 지시자들을 제거하면 안구-타이핑의 속도(즉, 단위 시간 당 입력되는 문자들, 심볼들 또는 콘텐츠들의 수)를 크게 증가시킬 수 있다.
본 명세서 내의 예시적인 실시예들의 태양은 체류, 깜빡임 또는 비-안구 근육 움직임들에 의해 방해받지 않는 일련의 순차적인 도약 안구 운동들의 사용자에 의한 생성이다. 사용자는 그/그녀의 안구(들)를 실질적인 지연이 없는 일련의 도약들을 통해 하나의 선택된 문자로부터 다음 문자로 용이하게 움직인다. 안구 운동들의 하나 이상의 비디오 스트림에 의해, 하나의 선택된 문자로부터 다음 문자로의 의도적인 도약들이 순차적이고 방해받지 않는 방식으로 시스템에 의해 인식된다.
본 명세서 내의 실시예들의 다른 태양은 안구-타이핑 중에 대체로 시각적 피드백이 없다는 것이다. 피드백(예컨대, 선택된 문자의 강조, 단어 또는 문장 내에 새로 입력된 문자를 나타냄, 키보드 레이아웃을 수정함)이 나타난다면, 이러한 피드백을 디스플레이하는 액션은 대체로 타이핑하는 사람 쪽에서 피드백을 "지각"하게 만든다. 이러한 시각적 지각은 최소한의 시간(각각의 문자 또는 심볼을 완전히 지각하는 200 내지 250밀리초를 포함)을 필요로 하고, 타이핑 프로세스의 최고 속도를 제한한다. 사실, 피드백의 지각은 대체로 (적어도 하나의 정정 도약이 추가로 수반되는 경우에도) 대부분의 도약 안구 운동들 보다 더 많은 시간을 요구한다.
인간의 경우, 시각계가 시야 내(비-중심와 구역들 내를 포함)의 신속한 변화들을 무시하는 것이 인지적으로 어렵다. 따라서 신속한 안구-타이핑의 핵심은, 만약 변한다 하더라도, 거의 변화하지 않는 시야를 유지하는 것이다. 현대적인 안구-타이핑 시스템에서는 일반적인, 타이핑되는 문장의 선택된 문자 또는 디스플레이의 강조는 (추가적인 안구 운동들을 수반하는) 주의 환기 및 후속하는 인지/지각에 의해 최대한 획득 가능한 타이핑 속도를 극적으로 감소시키는 효과가 있다.
증가된 타이핑 속도는 또한 타이핑 프로세스 자체의 병목 현상을 제거하는 것에 의해 개선되는 인지 흐름으로 이어진다. 대체로 대부분의 개인들이 (손으로 또는 자신의 안구들을 이용하여) 타이핑할 수 있는 것보다 빠른 속도로 생각을 형성하는 것이 용이하다. 안구-타이핑 프로세스를 단순화시키고 속도를 빠르게 하는 것에 의해, 생각의 흐름을 서로 연결하는 것이 더 쉬워진다.
추가 실시예들에서, 인지 시각 프로세스 및 안구-타이핑과 관련된 제어를 주의가 분산되지 않도록 사용자에게 비-시각적인 피드백을 제공하는 것이 가능하다. 예시적인 실시예들에서, 피드백은 안구 운동 선택들의 청각적 지시들의 형태로 제공될 수 있다. 개별 문자들, 단어들 또는 구절들은 시각적 선택들이 이루어질 때 오디오 형태로 브로드캐스트될 수 있다. 대안적으로 또는 이에 더하여, 햅틱 피드백이 사용자에게 제공될 수 있다. 일 예는 청각적 피드백과 핵틱 피드백 둘 다를 포함하며, 각각의 단어가 시스템에 의해 인식될 때의 발성 및 각각의 문장의 끝이 결정될 때의 촉각을 통한 짧은 자극으로 이루어진다.
시각적 피드백에 의해 트리거되는 체류(및 대부분의 다른 형태의 고정) 및 지각 둘 다 없으면, 안구로 타이핑하는 사람의 중심와 뷰가 정적이고 단순화된 시각적 키보드로 이루어지기 때문에 도약 안구 운동들이 신속하게 그리고 인지적 시각 처리가 감소되면서 문자들 및/또는 다른 심볼들을 선택하게 된다. 타이핑 시점에서의 피드백 부재는 또한 오류들을 정정하는 경향을 감소시킨다. 이러한 시스템 내에서는 보통 기계-기반 오류 정정에 더 크게 의존한다. 전형적으로, 타이핑 프로세스 도중의 초기 정정에서 벗어나는 대부분의 오류들은 문서를 전체적으로 리뷰하는 시점에서, 나중에 타이핑하는 사람에 의해 정정될 수 있다.
다른 실시예들에서, 신경망(NN: Neurla Network)들이 특정 문자 및/또는 문자들의 시퀀스의 선택과 관련된 안구 운동들을 "학습"하는 데 사용될 수 있다. (예컨대, 역전파를 이용하는) NN 훈련 및 실시의 일반적인 형태들은 기계-학습의 기술 분야에서 공지되어 있다.
신경망들은 개별 문자들, 음절들, 단어들, 문자들의 시퀀스들 및/또는 다른 심볼들의 선택과 관련된 사용자의 안구 운동들의 시퀀스를 인식하도록 훈련된다. NN에의 입력들은 1) 안구 운동들 중인 한쪽 또는 양쪽 안구의 비디오 시퀀스들 또는 2) 실제 키보드 또는 디스플레이된 가상 키보드, 또는 선택 매트릭스에 대한 한쪽 또는 양쪽 안구의 응시 추적 좌표들을 포함할 수 있다. 전자의 구성의 경우, NN은 문자 또는 다른 심볼과 관련된 특정 안구 운동들을 인식하는 것에 더하여 비디오 이미지들 내에서의 한쪽 또는 양쪽 안구의 위치들을 추적하는 기능들을 수행한다. 후자의 경우에, NN에의 입력은 키보드 또는 선택 매트릭스의 일련의 응시 좌표들 및 상대 위치들을 포함한다. 안구-타이핑 NN의 훈련은 1)
1) 전역적(즉, 안구-타이피스트들의 집단으로부터의 데이터에 기반), 2) 개별적(즉, 사용자에 의해 생성된 훈련 데이터에 기반), 또는 3) 초기 프레임워크로 전역적 NN이 사용될 수 있고 후속해서는 개별적 NN 훈련이 사용될 수 있는 두 방법들의 조합일 수 있다. 훈련은 시스템에 알려져 있는 안구-타이핑 문자 시퀀스들에 의해 수행될 수 있다. 이상적으로는 NN을 훈련시키는 데 문자들, 문자들의 쌍들 또는 집합들, 음절들 및 단어들의 다양한 각기 다른 조합들이 채택되어야 한다. 보통은 이러한 조합들을 포함하는 짧은 서적 또는 기사를 안구-타이핑하는 것이 적절하다.
개인들은 안구(들)를 각기 다른 문자들 및 심볼들로 보내는 도약들을 수행하는 방식이 각각 다를 수 있다. 예를 들어, 개인은 선택 매트릭스의 주변 근처에 위치된 문자 또는 심볼의 중심까지 안구 운동을 완전히 연장하지 않을 수 있다. 그러나, 사용자가 이러한 문자 또는 심볼을 선택하는 데 유사한 안구 운동을 유지하는 한, NN은 그 운동을 주변 근처에 위치된 문자, 심볼 또는 객체들의 집합을 선택하는 것으로 인식할 수 있다.
사용자의 해부학적 구조, 안구 근육들의 생리학, 및 인지 처리에 기반하여, 특정 위치로의 안구 운동에 수반되는 경로 및 속도 프로파일들이 다른 사용자들과 분명하게 구별될 수 있다. 유사하게, 각기 다른 개인들은 보통 구별되는 동작의 걸음걸이로 걷고 구별되는 패턴의 팔 움직임으로 야구공들을 던진다. 각기 다른 사용자들은 각기 다른 문자 및 단어 시퀀스들을 안구-타이핑할 때 구별되는 패턴들의 "안구 보행(eye gait)"을 나타낼 수 있다. 각기 다른 사용자들은 또한 사용자의 환경을 단순히 탐색하는 도약 안구 운동들과 비교하여 의도적인 도약 시퀀스들 중에 구별되는 "안구 보행"을 나타낼 수 있다. 타겟 위치를 향하는 안구 운동들의 거리들 및 방향들(즉, 풀 패턴) 둘 다 사용자-특정 방식의 도달 프로파일에 영향을 미칠 수 있다. 이러한 차이들은 NN 및/또는 다른 알고리듬적 접근법들에 의해 선택이 행해질 때 및 특정 안구 운동의 "의도성"의 정도를 결정하는 것으로 간주될 수 있다. 개인에 맞춰 훈련되거나 혹은 교정된 신경망 또는 알고리듬적 접근법은 보통 집단 평균에 기반한 접근법보다 더 강력하다.
안구 운동 시퀀스들(즉, 문자별 또는 키별 선택들에 제한되지 않음)을 생성하고 인식하는 능력은 신속한 안구-타이핑에 기본적이다. 신속하게 손으로 타이핑하는 사람들은 일련의 문자들을 서로 연결하는 손가락 움직임들을 제어하는 이른바 근육 기억(muscle memory)을 사용한다. 이러한 타이핑은 (수많은 반복 후에) 훨씬 적은 의식적인 노력으로 상태로 수행된다.
유사한 선상에서, 기억-유도 도약들의 사용은 안구-타이핑 중에 일반적인 문자 시퀀스들을 서로 연결하는 데 사용될 수 있다. 예를 들어, "the"라는 단어는 단어를 완성하기 위해 세 개의 문자들 위에 정확하게 도달하지 않을 수 있는 일련의 안구 운동들을 수반할 수 있다. 그러나, "the"라는 단어를 형성하는 것과 관련된 안구 운동들이 일관되는 한, 이들은 인식될 수 있고 후속해서 "the"라는 단어와의 관련될 수 있다. 유사한 전략들이 음절들, 단어들, 구절들, 문장들 또는 심지어는 문장들을 형성하도록 함께 결합될 수 있는 컨셉들을 분류하는 데 사용될 수 있다.
신경망은 개별 문자들, 문자들의 그룹들, 음절들, 단어들, 구절들 및/또는 문장들과 관련된 안구 운동들을 인식하도록 훈련될 수 있다. 그러면 이렇게 식별된 개별 문자들, 문자들의 그룹들, 음절들, 단어들, 구절들 및/또는 문장들은 이전에 인식되고 그리고/또는 저장된 문자들의 시퀀스에 결부될 수 있다(즉, 첨부될 수 있음). 이러한 시퀀스들은 타이핑된 문서의 일부를 형성할 수 있고 그리고/또는 다른 형태들의 액션들에 대한 요소 또는 입력일 수 있다.
추가 실시예들에서, 안구(들)를 이용한 타이핑은 선택적으로 단어들 사이에 전형적으로 배치되는 스페이스들, 구두점(예컨대, 쉼표, 마침표, 세미콜론, 물음표), 및/또는 구절들 및 문장들을 형성하는 데 사용되는 다른 요소들(예컨대, 따옴표, 괄호, 중괄호)의 삽입을 생략할 수 있다. 다른 타이핑 시스템들에서 이러한 요소들은 보통 선택 메뉴(예컨대, 키보드) 중 상당한 부분을 차지하고, 그리고/또는 각기 다른 선택 메뉴들 및/또는 레이아웃들 사이에서 앞뒤로 스위칭하는 것에 의해 타이핑 프로세스의 흐름을 방해한다(즉, 인지 부하를 부가함).
예시적인 실시예들에서, 이러한 띄어쓰기, 구두점 및 다른 문법 요소들을 삽입하는 알고리듬들이 포함될 수 있다. 이러한 알고리듬들은, 비록 안구-타이핑 알고리듬들이 스페이스들이 일반적으로 처음에는 단어들 사이에 배치되지 않는다는 점 및/또는 구두점이 없다는 점을 특별히 고려하여 개발될 수 있지만, 현대의 이른바 "맞춤법 검사기" 및 "문법 검사기"와 유사할 수 있다. 피처들은 신속한 안구-타이핑 프로세스에 특정한 텍스트에 삽입되고 나면, 시스템은 후속해서 더욱 일반적인 맞춤법 검사 및 문법 검사와 유사한 작업을 수행할 수 있다.
예시적인 실시예들에서, 안구-타이핑된 시퀀스들의 기계-기반 정정은 안구 타이핑 프로세스의 독특한 특징들을 고려할 수 있다. 이는 도약 안구 운동들 각각 또는 그룹과 관련된 "신뢰성 계수(confidence factor)"를 포함할 수 있다. 이러한 신뢰성 계수들은 특정 문자 또는 문자 시퀀스가 타이핑되는 것을 보장하는 평가를 지시하고, "의도성"의 레벨의 평가를 포함할 수 있다. 이러한 평가들은 알려진 문자 시퀀스들을 타이핑할 때 이력적인 또는 기록된 안구 운동들과 비교한 모니터링되는 안구 운동(들)의 유사성의 정도에 기반할 수 있다.
안구 타이핑은 또한 키보드(또는 다른 선택 매트릭스) 레이아웃에 대해 측정된 안구 운동들에 기반하여 대안적인 문자 또는 문자 세트들을 기계-기반 정정 알고리듬들에 제공한다. 예를 들어, (표준 QWERTY 키보드 레이아웃 상에서) 안구 운동이 주로 글자 "t"를 가리키는 것으로 여겨지지만 안구 응시는 글자 "t"에 대한 타겟 위치의 약간 왼쪽을 가리켰다면, 이는 실제로는 디바이스 사용자에 의해 글자 "r"이 실제로 의도되었을 가능성으로 이어진다. 안구로 타이핑된 문자의 "최적 예측"뿐만 아니라 측정된 안구 운동들에 기반한 하나 이상의 대안적인 문자 또는 문자 시퀀스들 및/또는 신뢰성 계수들을 정정 알고리듬에 제공하는 것에 의해, 오류 정정이 하나 이상의 대안적인 문자를 고려할 수 있다.
추가 실시예들에서, 안구들 중 하나 이상을 이용하여 타이핑하면 대문자화를 포함하는 것을 선택적으로 피할 수 있다. 글자들의 대문자화는 선택 메뉴의 상당한 부분을 차지할 수 있고 그리고/또는 서로 다른 문자 세트들 사이에서 앞뒤로 스위칭할 때 타이핑 프로세스의 흐름을 방해할 수 있다. 적절한 위치들(예컨대, 문장들의 시작부, 적절한 이름들, 식별된 약어들)에 대문자 표기를 삽입하는 알고리듬들이 포함될 수 있다.
어떤 상황들에서, 숫자들이 입력이 뉴메릭 키패드와 유사한 메뉴를 이용하여 선택적으로 수행될 수 있다. 이 접근법은 계산기 또는 스프레드시트를 이용할 때 일련의 긴 숫자들을 뉴메릭 디지트들로 입력하기에 효율적이다. 유사하게, 유한한 목록의 요소들(예컨대, 주들, 도시들, 국가들, 주소들, 월들, 년들, 색상들, 폰트들의 목록) 중 하나 이상의 요소를 선택하는 것은 스위칭 가능한 메뉴 선택들을 디스플레이하는 것에 의해 더욱 효율적일 수 있다.
그러나, 신속하고 보다 일반화된 텍스트 타이핑 중에, 뉴메릭 키패드를 제공하지 않고 대신 가끔씩 나타나는 숫자들을 필요할 때 마다 "타이핑하는"(즉, 철자를 기입하는) 것이 선택적으로 더 효율적일 수 있다. 이러한 뉴메릭 단어들을 체크하고 적절한 때에 이들을 숫자들로 변환하는 타이핑-후 알고리듬들이 포함될 수 있다. 예를 들어, "일 칠 육" 또는 "십칠 칠십 육"이라는 시퀀스는 최종적으로 타이핑된 문서 내에서 "1776"으로 보이게 될 수 있다.
예시적인 실시예들에서, 안구로 타이핑하는 사람들에 의해 사용될 수 있는 다른 선택적인 요소는 각각의 단어 또는 문장의 끝에 잠깐의 "일시정지(pause)"를 삽입하는 능력이다. 일시정지의 효용은 임의의 특정 기능 문자의 지각 또는 체류를 위한 것이 아니다. 오히려, 일시정지는 단어, 구절 또는 문장의 끝을 지시하는 시그널링 메커니즘 및 안구로 타이핑하는 사람이 구절의 다음 단어로 진행하기 위해 그/그녀의 생각을 모으는 잠깐의 시간 둘 다로서 작용할 수 있다. 경험에 의하면, 이는 안구-타이핑 프로세스의 리듬을 유지하는 자연스럽고 편안한 방법인 것으로 나타났다.
종합하면, 안구로 타이핑된 문자 시퀀스들의 의도에 대한 기계-기반 파악은, 현대의 문법 및 맞춤법 검사기 알고리듬들과 비교하여, 훨씬 더 주도적(proactive)이도록 설계될 수 있다. 의도를 파악하는 것은 보통 스페이스들, 대문자화 및 구두점이 삽입되어야 하는지를 자동화된 방식으로 추정할 수 있다. 안구로 타이핑된 콘텐츠들의 서식 설정(formatting)은 제목과 문단들의 자동 입력, 숫자들 및 다른 심볼들의 문체에 부합시키는 변환을 포함할 수 있다. 단어들 또는 구절들이 부적절한 것으로 여겨지면, 표준 문법 규칙에 기반한 정정에 더하여, 특정 문자들 및 문자 시퀀스들 및 키보드 레이아웃에 대한 신뢰 레벨들에 기반한 대안적인 조합들이 고려될 수 있다.
추가 실시예들에서, 안구들을 이용하여 타이핑하는 것은 선택적으로 임의의 수의 "바로가기(shortcut)"들을 포함할 수 있다. 바로가기들은 더 긴 시퀀스의 문자들, 단어들, 문장들 또는 이미지들을 표현하는 안구로 타이핑되는 특수 문자들 또는 문자 시퀀스를 포함할 수 있다. 바로가기들은 또한, 특정의 식별 가능한 안구 운동들(예컨대, 사시 만들기, 디스플레이로부터 특정 방향으로 눈을 돌리기, 문자 선택과 관련되지 않은 신속한 도약 시퀀스) 또는 안구 주위의 구역들의 움직임들(예컨대, 눈꺼풀들 중 하나 또는 둘 다의 움직임, 눈을 가늘게 뜨기(squinting), 부분적이거나 혹은 완전한 눈감기)을 포함할 수 있다.
이러한 바로가기들은 일반적인 단어들 또는 구절들(예컨대, 사람의 이름, 인사말, 자주 문의되는 질문들에 대한 대답들), 체크리스트 상의 것들과 같은 공통적인 질문들에 대한 대답들, 및/또는 대화의 일부로서 포함될 수 있는 이미지들을 재빠르게 삽입하는 데 사용될 수 있다. 바로가기들(즉, 특수한 심볼들의 안구-선택)은 또한 키보드 레이아웃들을 스위칭하는 데 사용될 수 있다. 이러한 메뉴 스위칭은 뉴메릭 키패드를 이용한 뉴메릭 입력, 유한한 수의 요소들(예컨대, 년, 월, 일)로부터의 선택 시퀀스를 이용한 날짜 입력, 및 유사한 데이터 입력 상황들과 같은 상황들에서 적용될 수 있다. 그러나, 위에서 언급한 바와 같이, 메뉴들을 스위칭하는 프로세스는 보통 다른, 비-방해성 안구 타이핑 기능들보다 느리다. 따라서 최적의 안구 타이핑 속도를 유지하도록 메뉴들의 잦은 스위칭이 방지될 수 있다.
또 다른 관련 실시예들에서, 사용자는 데이터 및/또는 개념 입력의 속도를 증가시키는 데 도움이 되도록 이른바 "자동 완성" 또는 단어들, 음절들, 구절들, 문장들, 이미지들 및/또는 심볼들 또는 기능들의 임의의 사전 정의된 시퀀스의 자동화된 입력을 선택적으로 포함할 수 있다. 그러나, 현대의 자동 완성 실행과는 달리, 안구-시그널링 디스플레이 및 하나 이상의 자동 완성 가능성의 후속적인 선택은 사용자가 그/그녀의 응시를 디스플레이 상의 하나 이상의 자동 완성 활성화 위치로 이동시킬 때에만 일어난다. 이러한 위치로 응시를 이동시킨 후에야만 선택들이 디스플레이된다. 이는, 현대의 (응시에 의해 안내되지 않는) 자동 완성 실행의 일반적인 피처인, 타이핑 프로세스 도중에 수많은 단어 완성 가능성들을 주시하는 데 교우되는 주의를 분산시키는 수많은 안구 운동들(즉, 탐색, 검사)을 방지한다.
또한, 하나 이상의 디스플레이된 선택 가능성은 사용자의 중심와 뷰에 국한될 수 있다(즉, 사용자의 현재 응시 방향을 고려). 이렇게 해서, 가능한 선택들을 주시하기 위한 더 추가적인 탐색 안구 운동들이 요구되지 않는다. 디스플레이되는 선택들을 사용자의 중심와 뷰로 제한하면 결과적으로 디스플레이되는 표현들의 크기 및/또는 선택 가능성들의 수가 제한될 수 있다. 선택들은 선택 가능성들의 확장 표현을 따르는 것에 의해, 혹은 대안적으로, 선택들로부터의 활성화 타겟을 향한 도약에 의해 행해질 수 있다.
더욱이, 경험 많은 사용자들은 특히 일반적인 단어들, 구절들 및/또는 데이터 입력 요소들에 대해 희망하는 선택들이 이용 가능해지고 명백해질 가능성이 있을 때 자동 완성 메커니즘을 호출하는 최적의 시점들을 학습할 수 있다. 또한, 선택들은 전체 구절들, 완전한 이름들, 인사말들, 일반적인 데이터 입력 요소들 등을 포함할 수 있다. 이러한 전략들을 조합하면 안구-타이핑 속도를 크게 증가시킬 수 있다.
순환 신경망들(recurrent neural networks)을 이용한 의도 파악
딥 신경망들을 포함하는 기계 학습 기법들은 안구 신호들 및 다른 안구 운동들의 의도를 파악하고, 안구 운동 과정을 예측하거나 (미리) 추정하기에 특히 유용하다. 디바이스 착용자의 의도를 추정 및 파악하기 위한 방법들이 실제 객체 및 가상 객체와 상호작용하기 위한 생체기계적 기반의 안구 신호를 위한 시스템 및 방법(Systems and Method for Biomechanically-based Eye Signals for Interacting with Real and Virtual Objects)이라는 명칭의 2015년 5월 9일자 미국 특허출원 제14/708,234호에 설명되어 있고, 그 개시 내용 전체가 참조에 의해 본 명세서 내에 명시적으로 통합된다. 안구 운동들의 최근 이력이 버퍼(예컨대, 선입 선출(first-in first-out)에 배치되고 신경망에 대한 입력들로 사용되는 방법이 개시된다.
대안적인 실시예는 순환 신경망들의 사용을 포함한다. 순환 망들은 접속들 내에 순환 사이클이 있도록 상호접속들이 형성되는 신경망들의 분류이다. 이러한 상호접속들은 망 자체 내에 통합될 수 있는 최근 "기억"의 형성을 허용한다. 이러한 구조들은 안구 운동들의 명확한 이력이 (앞에서 설명한) 입력 노드들로 공급될 필요성을 없앤다. 오히려, 각각의 안구 운동은 측정되고 순차적으로 망에 공급되는데, 운동들의 최근 이력의 상호작용 및 가중치들은 망 학습 프로세스에 의해 결정된다.
안구 운동들의 최근 이력은 방금 설명한 안구-타이핑 프로세스 내에서 의도를 파악할 때 특히 유용하다. 신속한 안구-타이핑 시퀀스들 중에 의도를 파악하는 것은 콘텐츠를 입력할 때 문자별로 된 형태의 입력을 수반할 뿐만 아니라, 둘 이상의 문자들의 조합들, 전체 단어들, 및/또는 완전한 구절들과 관련되는 파악 가능한 안구 운동 시퀀스들을 포함할 수 있다. 더욱이, 음절들, 단어들 사이의 갭들, 쉼표와 관련된 것을 포함하는 구두점이 일반적으로 발생되는 위치들 및 문장의 끝들과 관련된 운동들(안구 운동에서의 약간의 일시정지들을 선택적으로 포함)이 파악될 수 있다. 따라서, 예시적인 실시예들에서, 안구-타이핑을 할 때 의도를 파악하는 데 사용되는 신경망 구조들은 연장된 구절 및 임의의 짧은 일시정지들(즉, 최장 대략 이십(20)초)을 통합하기에 충분한 이력을 포함할 수 있다.
디바이스 착용자의 환경 내의 버튼들 및 제어들
추가의 예시적인 실시예들에서, "가상 버튼(virtual button)"들 또는 물리 버튼들이 주시될 수 있고, 디바이스 착용자의 시야 내의 임의의 인식 가능한 표면 위에서 "가상으로 눌러지거나" 혹은 활성화될 수 있다. "가상 버튼"들은 표준 키보드, 뉴메릭 패드, 벽 스위치 등에서 볼 수 있는 것들과 동일한 기능들을 수행할 수 있거나, 혹은 이들은 안구 신호 언어 내의 타겟 아이콘과 관련된 것들과 같은 보조 기능들을 수행하는 데 사용될 수 있다. 더욱이, 입력들은 예를 들어 스피커 음량에 대한 입력으로 사용되는 "슬라이드(slider)"와 같이 연속적으로 변할 수 있다. 가상 버튼(들) 및/또는 제어들의 핵심 요소는 제어 표면을 이동시키거나 혹은 디바이스 착용자를 (제어 표면에 대해 상대적으로) 이동시키는 능력이다. 제어 표면의 이미지 인식 및/또는 가상 버튼들 및 다른 제어들의 위치(들)를 이용하면, 이러한 표면들에 대해 상대적으로 고정되게 유지될 수 있다.
제어 표면들은 가상 버튼들, 물리 버튼들 및 기준 표면 위치들에 대해 상대적으로 위치되는 연속적인 제어들(예컨대, 가장자리들, 색상 변화, 스폿들, 패턴들)과 함께 장면 카메라에 의해 인식될 수 있다. 활성화는 버튼(들)의 구역이 디바이스 사용자에 의해 주시될 때에만 그리고 표면 상의 가상 버튼/콘트롤을 가상으로 "누르거나" 혹은 "슬라이드"하는 것에 의해 수행된다. 활성화는 하나 이상의 손가락들을 밀거나(즉, 이진 제어) 혹은 또는 표면을 따라 슬라이드(연속적인 제어)할 때 인식하는 것에 의한 이미지 처리 기법들을 이용하여 결정된다.
편리한 "가상 제어 표면"의 예는 디바이스 착용자의 팔의 피부 표면이다. 팔의 측부들은 손목 및 팔꿈치와 함께 반대쪽 팔의 손위의 손가락들에 의한 터치 및 슬라이드 액션을 위한 기준 위치를 제공한다. 이러한 제어들의 예로서, 디바이스 사용자의 손목에서 가장 가까운 곳에서 가상 버튼을 누르는 것은, 예를 들어, 디바이스들에 의한 (텍스트-투-스피치 소프트웨어를 이용한)최근 텍스트 메시지의 발성을 (플립-플롭(flip-flop) 방식으로) 시작하고 정지하는 데 사용된다. 암의 중간부에 있는 가상 슬라이드 콘트롤은 말의 음량을 제어하는 데 사용될 수 있다. 팔꿈치에 더 가까운 가상 버튼은 텍스트 메시지들 내에서의 "스킵" 또는 "뒤로 가기"에 사용될 수 있다. 가상 버튼들을 포함하는 암이 움직이더라도, 디바이스 착용자가 움직이더라도, 그리고/또는 디바이스 착용자의 머리와 안구들이 둘 다 움직이더라도(예컨대, 전정안구반사), 이러한 액션들이 수행될 수 있다.
"제어 표면"(가상 제어와 물리적 객체 또는 표면의 조합)의 다른 예는 회의실 또는 극장에서 주로 볼 수 있는 투사된 이미지들을 수용하는 화이트보드 또는 표면이다. 제어 표면(예컨대, 화이트보드, 투사 스크린)은 장면 카메라를 이용하여 식별되고, 기준 위치들(예컨대, 화이트보드의 가장자리들)이 결정된다. 하나 이상의 손가락을 바라보고 이용하여 제어 표면을 터치하거나 혹은 슬라이드하는 것에 의해, 애플리케이션을 제어하고 및 다른 액션들을 수행하는 입력들이 파악될 수 있다.
추가적인 실시예들에서, 객체들 또는 심볼들(예컨대, 도면들, 문자들, 그래픽들)은 제어 또는 "활성화" 표면 내에 포함될 수 있다. 예를 들어, 임의의 심볼이 화이트보드 또는 다른 표면 위에 그려질 수 있고, 그런 다음 안구-신호 언어 또는 임의의 다른 입력 수단을 이용하여 "의미" 또는 관련된 액션이 할당될 수 있다. 예를 들어 글자 "W"가 표면 위에 그려질 수 있고, "W"의 활성화(예컨대, 바라보기 및 손가락으로 누르기)가 있으면 언제든지 현재 "날씨"를 디스플레이하도록 일련의 명령들이 실행될 수 있다. 대안적으로, 인식 가능한 그려진 형상(예컨대 "W") 또는 물리 객체가 미리 액션(예컨대, 현재 날씨를 디스플레이하기)을 할당받을 수 있다.
다른 예로, 착색된 도트들, 심볼들 또는 컷-아웃(cut-out)들(이하, 집합적으로 아이콘이라 지칭함)이 예를 들어, 배면에 가벼운 접착제가 부착된 종이 또는 플라스틱(즉, "스티커")을 이용하여 디바이스 사용자의 팔과 같은 표면에 (예컨대, 일시적으로) 부착되거나 혹은 고착될 수 있다. 각기 다른 아이콘 심볼들이 각기 다른 태스크들을 수행하도록 할당될 수 있고, 아이콘 심볼들은 디바이스 착용자의 시야 내의 어느 곳이든지 배치될 수 있다. 이는 디바이스 착용자가 제어 입력들이 풍부한 환경을 확립하고 맞춤화할 수 있게 한다.
위에서 설명한 가상 제어 또는 (물리) 아이콘 심볼들과 관련된 액션(들)은 사전 할당된 심볼들 및/또는 상대 위치들, 사용 중에 할당되는 심볼들 및/또는 상대 위치들 또는 이 둘의 조합을 포함할 수 있다. 가상 또는 실제 콘트롤들에 대한 액션의 할당 중에 맥락이 또한 고려될 수 있다. 예를 들어, 텍스트 메시지들의 리뷰 중에, 방금 설명한 바와 같이 슬라이더가 말의 음량을 제어하는 데 사용될 수 있지만, 사진들을 리뷰하는 경우, (제어 표면 위의 동일한 위치에 있는) 슬라이더는 사진들의 그룹들의 썸네일 스케치(thumbnail sketch)들을 통해 재빠르게 스캔하는 데 사용될 수 있을 것이다.
추가적인 실시예들에서, 제어 또는 활성화는 원격 디스플레이 모니터 및/또는 증강 현실 헤드셋 내의 디스플레이를 포함하는 디스플레이를 이용하여 수행될 수 있다. 달리 말하면, 액션과 관련된 객체가 시각적으로 식별되고 나면, 디스플레이 상의 하나 이상의 가상 타겟을 향하는 하나 이상의 도약(또는 다른 안구 운동들)에 의해 액션이 개시될 수 있다. 특히 증강 현실 헤드셋 내의 다수의 구별 가능한 활성화 타겟들(구별 가능한 액션들을 나타낼 수 있음)을 이용하여 환경 내의 객체들과 관련된 액션들의 시퀀스들은 재빠르게 수행될 수 있다.
알림에 의해 트리거되는 맥락-민감성 안구-신호 활성화
착용형, 휴대형, 및 위치-고정식 컴퓨팅 디바이스들 내에서, 착신 정보를 디바이스 사용자에게 알리는 일반적인 방법은 썸네일, 제목, 메시지의 첫 몇 단어들 및/또는 다른 시각적 지시를 디스플레이 내에서 일시적으로 중첩시키는 것이다. 이들은 사용자에게 잘 알려지게 되는 디스플레이 디바이스 상의 고정된 위치에 주로 제시된다. 알림들은 예를 들어 캘린더 이벤트, 업데이트 서비스, 데이터 스트림(예컨대, 날씨, 주식시장 보고서, GPS 위치)의 주요한 변경 등을 포함할 수 있다. 본 명세서 내의 시스템들과 방법들을 이용하여, 이러한 디바이스들은 시간-종속적 정보와 함께 시간-종속적인 방식으로 디스플레이 상의 구역을 "공유"할 수 있게 한다.
이러한 알림들은 주로 디바이스 사용자에 의한 재빠른 힐끗 보기(즉, 일시적인 알림의 위치를 향한 그리고 그 위치로부터 멀어지는 도약 안구 운동)를 일으킨다. 힐끗 보기는 알림에 응답하고자 하는 소망을 일으킬 수 있다. 안구-신호 언어는 이러한 일시적인 알림에 반응하는 "활성화"를 허용하는 것에 의해 이러한 착신 정보에 효율적으로 반응하는 기회를 제공한다. 활성화는 일시적인 알림의 위치로부터 "활성화" 타겟으로 도약하는 안구 운동에 의해 수행된다. 사용자가 알림 위치로부터 비-활성화 타겟 위치로 도약하면(예컨대, 작업 중인 원래 태스크로 복귀), 혹은 임의의 상당한 도약 운동이 일어나기 전에 알림이 사라지면, 활성화는 일어나지 않는다.
활성화는 "맥락 민감성"일 수 있다. 달리 말하면, 알림 내의 데이터 유형에 따라 적절한 소프트웨어 툴(들)이 시작된다. 예를 들어, 이메일 수신 알림의 활성화는 이메일을 읽고 리뷰하는 소프트웨어가 시작되고 그리고/또는 나오게 한다. 착신 텍스트 메시지는 텍스트 메시지들을 리뷰하고 응답하는 소프트웨어가 시작되고 그리고/또는 나오게 한다. 캘린더 이벤트 알림의 활성화는 이벤트에 대한 세부 사항들이 디스플레이되게 하고, 이벤트 참여에 관한 응답을 발송할 수 있게 한다.
선택 엄격도의 동적 제어
사용자가 안구-신호(예컨대, 도약, 원활 추적) 언어 요소들을 정확하게 생성하는 능력에 영향을 줄 수 있는 조건들이 많다. 유사하게, 디바이스가 안구 운동들을 정확하게 측정하고 식별하는 능력에 영향을 줄 수 있는 조건들도 많다. 울퉁불퉁한 도로를 운전할 때, 버스나 자전거를 탈 때, 보트를 조종할 때, 스키탈 때, 달릴 때 또는 단순히 걸을 때와 같은 어떤 경우들에서, 사용자의 수행과 디바이스의 수행 둘 다 영향을 받는다.
이러한 조건들 하에서 언어 요소 식별의 정확도에 영향을 주는 주요 원인은 가속도 및 이로 인한 힘의 발생인데, 이 힘은 압축성이거나, 압축성 표면에 의해 지지되거나 혹은 적어도 하나의 자유도를 가지고서 자유롭게 움직이는 객체를 움직일 수 있다(여기서, 뉴튼의 법칙을 이용하면, 힘은 객체의 질량에 비례함). 한쪽 또는 양쪽 안구에 인가되는 가속도의 경우에, 이 메커니즘들 중 세 개 전부가 사용자의 동안계(oculomotor system)에 의해 실시되는 생리적(의도성 포함) 제어를 넘어서는 방식으로 안구를 움직일 가능성을 가진다. 사용자의 머리의 구역에서의 가속도는 안구(특히, 유체로 채워진 구역들)를 압축할 수 있고, 안구를 안와 안으로 또는 밖으로 밀 수 있고, 그리고/또는 안구가 안와 내에서 회전(수직 및/또는 수평)하게 할 수 있다. 이러한 움직임들이 보통은 경미하기는 하지만, 응시 추정에 수반되는 기하학적 형상 때문에, 의도적인 안구 운동들을 정확하게 추적하는 능력에 뚜렷한 영항을 미칠 수 있다.
유사한 선상에서, 헤드웨어 또는 다른 디바이스들에 인가되는 가속도는 디바이스 자체의 부분들을 휘게 하거나, 디바이스가 사용자와 접촉하는 임의의 또는 모든 지점(예컨대, 코, 귀의 상부)에서 압축되게 하거나 혹은 디비이스가 심지어 미끄러지고, 안구 위치를 감지하는 검출기(들)(예컨대, 하나 이상의 카메라)의 상대 위치(들)가 변화되게 할 수 있다. 이러한 상황은 보통 안구(들)를 주시하는 검출기가 모바일폰 또는 태블릿에 부착되고, 그리고/또는 사용자에 의해 소지될 때 악화된다. 디바이스의 질량 및 하나 이상의 검출기를 포함하는 디바이스를 붙잡는 데 수반되는 레버리지(leverage)는 힘 및 후속적인 한쪽 또는 양쪽 안구에 대한 디바이스의 움직임을 증가시킬 수 있다.
안구-신호 언어 요소들을 수행할 때의 정확도에 영향을 줄 수 있는 다른 조건들은 주위 밝기(예컨대, 실내 대 실외), 동공 크기 및 응답성, 눈썹들 및/또는 다른 방해물들의 순간순간의 위치, 및 일상 활동(예컨대, 기상, 한낮의 밝은 환경, 늦은 밤)을 할 때 변할 수 있는 눈썹들의 대략적인 위치를 포함한다.
예시적인 실시예들에서, 선택을 행하는 엄격도 및 안구-신호 언어의 다른 요소들은 예측되는 안구-추적 정확도에 따라 동적으로 변할 수 있다. 디바이스에 의해 모니터링될 수 있는 외부적으로 가해지는 조건들에 더하여, 엄격도는 디바이스를 활용할 때의 사용자의 경험, (예컨대, 사용자에 의해 수행되는 "back" 또는 다른 정정 작업들의 수로부터 결정되는) 사용자의 정확도 이력, (또한 전형적인 하루 종일의 정확도의 추정 이력에 기반할 수 있는) 하루 중의 시간대, 및 (예컨대, 안구-신호 언어를 이용하여 선택되는) 사용자에 의해 특정되는 임의의 선호도에 따라 좌우되는 방식으로 변할 수 있다.
헤드웨어를 착용할 때, 머리의 구역에 가해지는 가속도의 크기와 주파수가 헤드웨어에 내장되는 하나 이상의 가속도계, 안구(들)를 주시하는 하나 이상의 카메라에서 검출되는 동공과 안구의 급격한 가로 방향 움직임, 및/또는 하나 이상의 외부를 향하는 장면 카메라로 캡쳐된 이미지들 내의 환경의 전체적인 움직임을 포함하는 다수의 방법들을 이용하여 추정될 수 있다.
후자의 방법은 소정의 시간 기간 동안 하나 이상의 장면 카메라들로부터 획득된 이미지들을 비교하여 이미지들 내의 배경이 머리 움직임과 일관되는 방식으로 병진적으로 시프트(이미지들 내의 소량의 회전을 허용)되는지를 결정하는 것을 포함한다. (디바이스 사용자의 머리에 부착되는) 장면 카메라의 각속도는 하나의 카메라 이미지로부터 다음 이미지까지의 (즉 단위 시간 당) 배경의 병진 이동의 정도와 대략 비례한다. 이미지들 내에서의 배경의 움직임은, 이미지 인식 기법들을 이용하여, 디바이스 사용자에 대해 상대적으로 움직일 수 있는 개별 객체들의 움직임과 분리될 수 있다.
주위 밝기(및 그것의 추적 정확도에 미치는 영향)는 안구를 추적하는 검출기들 내의 전체 밝기 레벨로부터 또는 디바이스에 내장되는 하나 이상의 주위 밝기 검출기(예컨대, 광다이오드)로부터 추정될 수 있다. 주위 밝기는 또한 하나 이상의 장면 카메라로부터 획득되는 이미지들에 기반하여 추정될 수도 있다.
예시적인 실시예들에서, 선택을 행할 때의 엄격도를 변경하기 위해 다수의 전략이 이용 가능하다. 이들은 개별적으로 사용될 수 잇거나 혹은 조합하여 사용될 수 있다. 이들은 전역적으로 적용될 수 있거나, 안구-신호 메뉴 선택들의 서브세트에 적용될 수 있거나 혹은 개별 선택들에 적용될 수 있다.
선택 엄격도를 조절하는 비교적 간단한 방법은 선택이 행해지는 공간적 타겟 범위의 제어를 수반한다. 대부분의 경우들에서, 잘 설계된 타겟 객체는 사용자의 안구를 타겟 객체 내의 최적(보통 중앙) 위치로 안내하는 (예컨대, 구별되는 콘트라스트, 밝기, 색상을 갖는) 중앙의 초점 포인트를 포함한다. 안구 운동이 특정 선택을 위한 공간적 타겟 범위 내에 있으면, 알고리듬들은 이 운동이 안구-신호 언어의 의도적인 요소인지 고려할 수 있다.
공간적 타겟 범위는 원형, 타원형, 정사각형 또는 직사각형을 포함하는 임의의 형상일 수 있다. 엄격도는 공간적 타겟 범위의 크기 및/또는 형상을 제어하는 것에 의해 제어될 수 있다. 일반적으로, 타겟 범위의 크기를 줄이면 타겟 선택의 엄격도가 증가하고, 이에 의해 정확한 응시 위치를 결정함에 있어서의 불확실성이 증가한 때에 우발적인 활성화의 수가 감소된다. 반대로, 더욱 이상적인 안구-운동을 기록하는 조건 하에서, 타겟 범위를 증가시키면, 정확한 안구 운동들을 행할 필요성이 감소됨으로써 사용자는 더 신속하게 안구-신호 운동들의 시퀀스를 생성할 수 있고 인지 부하를 감소시킬 수 있게 된다.
엄격도는 또한 검출되는 안구 운동들의 시간적 범위를 제어하는 것에 의해 조절될 수 있다. 예를 들어, 조건들이 정확한 안구 추적에 보다 최적인 것으로 여겨지는 시간 동안, 탄도 도약의 예상 도달 위치와 도약이 활성화 타겟의 구역 내에 도달할 것이라는 결정이 더 빨리 행해질 수 있다. 이는 안구-신호 언어데 대한 후속적인 변경이 더욱 신속하게 행해질 수 있게 한다. 결과적으로, 타겟 위치에 있는 아이콘 또는 객체가 변경될 수 있거나 혹은 제거될 수 있어, 갭 효과를 발생시킬 수 있다. "표출" 선택 프로세스 중에 디스플레이되는 것과 같은 추가적인 메뉴 선택들은 지연 없이 또는 거의 지연 없이 제시될 수 있다. 또한, "표출" 메뉴가 스크린 상에서 이용 가능하게 유지되는 길이는 더 정확한 안구 추적이 이용 가능한 시간들 동안에 감소될 수 있다(즉, 더 정확한 안구 추적에 의해 가능해짐).
일반적으로, 측정의 불확실성이 있을 때, (측정되는 아이템이 측정 시간 중에 비교적 정지해 있는 한) 다수의 측정을 행하고 이러한 측정값들을 평균하는 것에 의해 정확도가 개선될 수 있다. 이러한 통계적 접근법들은 이른바 "엄격도 맵(stringency map)"들을 고려할 수 있는데, 이를 아래에서 상세하게 설명한다. 보다 덜 이상적인 기록 조건들 하에서, 예를 들어 사용자에 의해 주시되는 실제-세계 객체 또는 가상 객체(또는 객체의 일부분)를 확실하게 식별하기 위해서는 더 많은 측정 안구 위치들(즉, 검출기에 의해 수집되는 이미지 프레임들)이 요구될 수 있다. 이러한 전략은 가까운 거리에 이격되어 있는 둘 이상의 타겟 객체들이 있는 상황들 중에 특히 적용된다.
추가의 예시적인 실시예들에서, 엄격도가 높은 상황들 동안, 안구-신호 선택 및 활성화 프로세스들 중에 더 많은 측정들이 고려될 수 있다. 반대로, 엄격도가 낮은 상황들은 사전에 정해진 레벨의 신뢰성을 획득하기 위한 측정들을 더 적게 할 수 있어, 순차적인 안구 신호들이 더욱 신속하게 수행될 수 있게 한다. 엄격도를 계산하는 데 사용될 수 있는 위에서 설명한 조건들에 더하여, 안구 위치가 실질적으로 정지해있을 것으로 예상되는 때들에서의 측정치들의 변화의 정도가 측정의 "노이즈(noise)"의 정도를 추정하는 데 사용될 수 있다. 노이즈가 증가하면, 공간적인 측정들에 있어서의 불확실성 감소를 보상하기 위해 엄격도가 증가할 수 있다.
우발적인 활성화들의 방지
안구-신호 언어의 대부분의 설명이 다양한 액션들을 선택하고 수행하는 프로세스들에 초점이 맞추어졌지만, 이른바 우발적인 활성화(IA: Inadvertent Activation)도 또한 고려되어야만 한다. IA들은 디바이스 착용자의 부위 상에서 의도치 않은 액션이 수행되게 하는 하나 이상의 안구 운동들로부터 발생된다. 예를 들어, IA는 선택 시퀀스들과 중첩되고 선택 시퀀스들로 해석되는, 실제 세계 객체들을 주시하는 것에 수반되는, 안구 운동들로부터 발생될 수 있다. 다른 예는 사용자의 주의가 의도적인 안구 선택 및/또는 활성화 시퀀스의 특징들처럼 보이는 산만한 안구 운동을 일으키는, 사용자에게 "호통치는" 객체의 디스플레이를 수반한다.
IA들은 어떤 조건들(예컨대, 게임 플레이) 하에서는 단순히 짜증스러운 것으로만 여겨질 수 있지만, 어떤 사용 사례들에서, IA들은 반드시 피해야할 필요가 있는 실제적인 위험을 가하는데, 예를 들어 증강 현실 디스플레이의 구역들에 정보의 투사를 가능하게 하는 IA가 실제 세계의 주시를 차단할 수 있다. 이는 잠재적으로 활동들과 간섭될 수 있고, 심지어는 예를 들어 기계를 조작할 때 위험한 것으로 여겨질 수도 있다. 유사한 선상에서, IA는 디바이스 사용자를 깜짝 놀라게 하는 예상치 못한 소리를 발생시킬 수 있다.
예시적인 실시예들에서, IA를 방지하는 전략들은 선택들 및 활성화들을 수행하는 프로세스에 "마찰(friction)"을 부가하는 것으로 설명될 수 있다. 방금 설명한 바와 같이, 각기 다른 사용 사례들은 IA들의 결과에 대해 각기 다른 위험들 및/또는 효과 상실을 야기할 수 있고, 이에 따라 각기 다른 레벨들의 마찰을 요구한다. 마찰을 증가시키거나 혹은 낮추는 전략들은 넓은 범위의 마찰 레벨들을 발생시키도록 개별적으로 혹은 조합하여 사용될 수 있다. 마찰 레벨들은 개별적인 선택 및/또는 활성화 시퀀스들에 대해 사전 설정될 수 있거나, 혹은 안구-신호 언어 맥락, 사용자 경험, IA들의 최근 기록, 최근 안구 운동들의 속도 등과 같은 인자들에 기반하여 동적으로 조정될 수 있다.
방금 설명한 바와 같이, 안구 신호들의 마찰을 제어하는 가장 간단한 방법들 중 하나는 안구 운동들을 위한 타겟 구역들의 크기와 형상의 제어를 수반한다. 일반적으로, 타겟 구역의 크기를 줄이면 마찰이 증가하여, IA들의 수가 감소된다. 타겟 크기를 줄이는 것은 안구 운동들이 하나 이상의 타겟을 "놓치는" 것에 기인하는 일부 선택 또는 활성화 시퀀스들의 성공적이지 못한 완료를 희생하면서 수행될 수 있다. 이는 다시 안구 운동 시퀀스들이 느려지게 할 수 있다(그리고 짜증나게 만들 수 있다). 따라서, 물리적인 추적 정확도에 영향을 줄 수 있는 (위에서 설명한) 환경 조건들에 더하여, 놓친 타겟 시도들 및 후속적인 재시도들(즉, 동일한 타겟의 대략적인 방향으로의 성공적이거나 혹은 성공적이지 못한 도약 운동들의 반복)의 수에 기반하여 엄격도가 동적으로 변경될 수 있다.
추가적인 실시예들에서, IA들을 방지하도록 적용되는 마찰은 안구 운동들의 정확한 분석에 따라 달라질 수 있다. 소정 위치에 있는 특정 객체의 의도적인 주시는 흔히 이른바 정정 도약들을 동반한다. 이러한 도약들은 관찰자의 응시 방향이 객체의 뷰를 더 정확하게 조준하게 한다. 정정 도약들은 객체를 주시하고자 하는 의도를 지시하고, 따라서 "의도적"인 것으로 해석될 수 있다. 정정 도약들의 존재는 구역 내의 객체 선택을 위한 마찰을 줄이는 데 사용될 수 있다.
유사한 선상에서, 먼 거리들을 커버하는 도약 안구 운동들은 흔히 타겟을 언더슈트하여, 타겟 위치에 "제로-인(zero-in)"하도록 동일한 방향으로의 정정 도약들을 요구한다. 안구-신호 언어는 장거리 도약들의 궤적을 추정하는 것에 의해 이 경향을 인식할 수 있다. 장거리 도약이 타겟 선택 객체를 향하는 것으로 여겨지지만 (보통, 최대 20%의 범위에서) 언더슈트한 경우, 안구-신호 언어는 타겟이 선택된 것으로 간주할 수 있고(즉, 마찰을 감소시킴) 선택과 관련된 액션을 수행하는 것에 의해 계속 진행한다. 선택적으로, 시스템은 또한 초기 도약의 도달 위치와 예상되는 타겟 사이에 가능한 타겟들이 없음을 확인하여, 초기 도약에 이어서 예상되는 타겟으로의 하나 이상의 정정 도약들이 있을 수 있음을 확인할 수 있다.
반대로, 더 짧은 도약들은 의도된 도달 위치들을 오버슈트하기 쉽다. 장거리 도약들에 대한 고려와 유사하게, 안구-신호 언어는 이러한 경향을 고려할 수 있다. 단거리 도약이 검출되고 선택 타겟이 단축된 타겟 경로 내에 있을 때(최대로 대략 20%까지 감소), 타겟이 선택된 것으로 간주하는 것에 의해 마찰은 감소될 수 있고, 선택과 관련된 액션을 수행하는 것에 의해 계속 진행할 수 있다. 도약 중에 이동한 거리에 기반하여 타겟을 언더슈트하거나 혹은 오버슈트하는 경향을 인식하는 것은 활성화 타겟들(예컨대, "진행" 타겟 또는 "표출" 타겟)을 지향하는 도약과 같이 의도를 전달하도록 설계된 의도적인 운동들 중에 특히 유용하다. 또한, 앞에서 설명한 바와 같이, 도약들은 그 성질이 "탄도적"이어서, 이동 거리 및 도달 위치가 예측될 수 있다. 따라서 장거리 도약이 언더슈트하고 단거리 도약이 오버슈트하는 경향 또한 사용자 의도를 더욱 신속하게 파악하는 요소로서 예측될 수 있다.
다른 실시예들에서, 의도적인 도약의 의도된 타겟 위치는 측정된(예측 포함) 도약 도달 위치 및 도약이 연장된 거리(예컨대, >10°)를 이동했는지 여부에 기반하여 계산될 수 있다. 도약이 연장된 각 거리를 이동했으면(또는 이동한 것으로 예상되면), 측정된 도약과 (사전 결정된 방향 범위 내에서) 동일한 방향에 있지만 도약 도달 위치 너머(최대 대략 20% 만큼)에 있는 선택 타겟들이 "선택"되는 것으로 간주될 수 있다. 이러한 선택은 후속적으로 타겟에 접근하는 임의의 정정 도약들 전에(즉, 시간 절약), 혹은 사용자의 응시 방향이 의도된 타겟에 실제로는 전혀 도달하지 않으면(즉, 엄격도를 선택적으로 제어) 일어날 수 있다.
유사한 선상에서, 도약이 짧은 각 거리(예컨대, <5°)를 이용했으면(또는 이동할 것으로 예상되면), 측정된 도약과 (사전 결정된 방향 범위 내에서) 동일한 방향에 있지만 도약 안구 운동에 의해 바이패스(최대 약 20% 만큼)된 선택 타겟들이 "선택"된 것으로 간주될 수 있다. 방금 설명한 바와 같이, 이러한 선택은 타겟에 접근하는 임의의 정정 도약들 전에(즉, 시간 절약), 혹은 응시 방향이 의도된 타겟에 실제로는 전혀 도달하지 않으면(즉, 엄격도를 선택적으로 제어) 일어날 수 있다.
이러한 전략들은 의도적인 안구 운동들에 기반하여 디바이스 사용자의 의도를 더 정확하고 신속하게 파악하는 데 도움이 될 수 있다.
확장 피처들의 추적에 의한 선택
시각적 해상도는 스크린(예컨대, 모니터, HMD, 태블릿) 상에 디스플레이되는 객체들(즉, 텍스트, 심볼들, 스프레드시트 내의 셀들)의 피처 크기를 결정하는 가이드로서 흔히 사용된다. 응시 해상도(즉, 안구 주시 방향에 기반하여 위치를 특정하는 능력)은 보통 시각적 해상도보다 흔히 적어도 수십 배정도 작다. 이에 따라 그 크기가 사용자의 시각적 해상도 내에 있지만 사용자의 응시 해상도보다는 작은 피처들 또는 객체들로부터 하나 이상의 안구-신호 위치 선택들이 행해져야만 하는 상황들에서 안구-신호 언어 내에 특정 전략이 필요하게 된다. 이 상황은 예를 들어, 스프레드시트 내의 셀들을 편집할 때, 아이콘들의 1차원 목록 또는 2차원 어레이 내에 객체를 삽입할 때, 또는 텍스트 열 내의 단어를 대체할 때 일어날 수 있다.
안구-운동들의 검출 및 사용은 키보드 또는 마이크로폰의 사용을 수반하는 것과 같은 다른 입력 모드들과 조합될 때 이러한 예시적인 상황에서 특히 강력하다. 예를 들어, 스프레드시트 또는 목록에 값들을 입력할 때, 동시에 이루어지는 양상(예컨대, 타이핑 또는 음성)으로부터 데이터 입력이 추출되는 동안 스프레드시트 또는 목록 내의 위치들을 안구들이 특정하게 하는 것에 의해 데이터 입력의 효율이 크게 향상될 수 있다.
예시적인 실시예들에서, 선택 가능한 피처들이 응시 해상도보다 작은 상황들에서 안구-신호 선택들을 허용하는 방법은 주시되고 있는 영역 위에서의 확장 또는 지속적인 "줌인"을 수반한다. 확장은 특정 객체를 추종하는 개인의 능력, 또는 원활 추적 안구 운동들, 일련의 짧은 추적 도약 안구 운동들 또는 이들 둘의 조합을 이용하여 구역을 확장하는 능력 내의 속도로 주시 영역 내의 구역들과 객체들이 확장되도록 비디오 시퀀스 내에서 수행되는 점진적인 배율 증가를 포함한다. 달리 말하면, 영역의 확장 속도의 비디오 디스플레이는 영역의 객체들 또는 지점들이 안구 운동들에 의해 용이하게 추종될 수 있는 반경 방향 속도들로 움직이도록 제한된다. 일반적인 지침으로서, 이는 확장 영역 내에서의 객체들의 움직임을 대략 30°/초 미만의 속도로 제한한다.
영역의 확장 또는 확대가 수행되는 시간 동안, 영역 내의 객체는 객체의 선택을 지시하도록 사용자에 의해 추적될 수 있다. 선택은 사전 결정된 시간 또는 거리 동안 객체가 추적되었으며 일어날 수 있거나, 혹은 스위치, 키보드 누르기 또는 사용자에 의해 발생되는 청각적 신호(예컨대, 핵심 단어, 구절, 클릭)와 같은 어떤 기타 의도의 지시가 수행될 때 일어날 수 있다.
도 30a 및 도 30b는 확장 중에 추적을 사용하여 스프레드시트(700) 내의 특정 셀을 선택하는 프로세스를 나타낸다. 도 30a에 도시된 바와 같이, 예시적인 스프레드시트는 다수의 요소 또는 (이 경우에서는) 달러 값을 포함하는 "셀"(701)로 이루어져 있다. 스프레드시트(700) 내의 개별 셀들의 크기는 사용자의 응시가 타당한 시간(예컨대, <1초) 내에 측정될 수 있는 해상도보다 작다. 안구 응시 위치(구형 디스크(702a)로 표현됨)의 추정은 대략적으로 스프레드시트(703)의 왼쪽 상단 모서리의 두 개(2)의 셀 아래 및 두 개(2)의 셀 왼쪽에 있는 구역에 있다. 편집(또는 다른 목적)을 위한 특정 셀의 식별은 이 시점에는 가능하지 않다.
추정된 안구 응시 위치(702a) 주위의 구역은 후속해서 개별 객체들의 추적을 허용하는 속도로 확장된다. 도 30b는 확장 프로세스 도중의 단일 프레임을 도시한다. 확대된 영역(704)은 원래 스프레드시트(700)의 일부분 내에 있는 요소들과 객체들을 포함한다. 이 예시에서, 스프레드시트 내의 특정 셀을 추적하는 안구 운동의 대체적인 방향은 화살표(705)로 지시된다. 사용자의 안구에 의한 이러한 추적은 예컨대, $5.98의 값을 포함하는 스프레드시트(706a) 내에 있는 특정 셀의 식별을 가능하게 한다. 식별되고 나면, 셀은 사용자의 필요에 따라 후속적으로 수정(예컨대, 삭제, 편집, 복사, 붙여넣기)될 수 있다.
점진적으로 확장되는 영역들 내의 객체들 및 피처들이 확장의 중심부로부터 멀어지게 움직임에 따라, 이들은 추적을 위한 최대 속도를 초과하는 디스플레이 상의 거리들을 커버하기 시작한다. 이 조건을 관리하기 위하여, 시간 및, 선택적으로, 영역 내의 피처 크기 및 상대 위치와 사용자 경험 및/또는 선호도와 같은 다른 인자들에 따라 확장 또는 "줌"의 속도가 변화될 수 있다. 예를 들어, 확대 프로세스 중에서 나중에 확장 속도를 느리게 하는 것에 의해, 줌인되는 구역의 주변 근처에 있는 객체의 속도가 원활 추적 및/또는 짧은 일련의 도약들이 기반한 안구 추적을 위한 생리적 한계들 내에서 있도록 제약될 수 있다.
추가의 예시적인 실시예들에서, 각기 다른 방향들로의 확장 속도가 또한 다를 수 있다. 예를 들어, 대부분의 사용자의 경우, 수평축으로의 안구 운동 범위가 수직 방향보다 크다. 따라서 구역의 확장은 수직 방향과 비교하여 수평축으로 더 클 수 있다. 유사한 전략이 디스플레이되는 영역의 가장자리들 또는 모서리들 근처의 구역들 또는 사용자의 중심와 뷰의 구역을 확장할 때 적용될 수 있다. 예를 들어, 가장자리 또는 모서리 근처의 측부 또는 영역은 다른 방향들과 비교하여 더 느리게 확장될 수 있고, 이에 따라 객체의 사용자 선택이 객체가 디스플레이 가능한 영역을 벗어나기 전에 행해질 수 있게 하기 위해 디스플레이 시간이 증가될 수 있다.
확장의 속도들 및 반경 방향 프로파일에 더하여, 확장 프로세스를 통제하는 다른 핵심은 확장의 중심 위치이다. 예시적인 실시예들에서, 중심은
· 현재 응시 위치,
· 최근 응시 위치들의 이동 평균(또는 다른 통계적 접근법), 또는
· 이른바 "표출" 작업 중에 식별된 위치와 같이 이전에 특정된 영역일 수 있다.
대안적으로, 안구-시그널링 언어 요소들(예컨대, "표출" 또는 다른 메뉴 선택)은 안구 운동들을 연속적인 팽창 모드에 배치하는 데 사용될 수 있다. 이 모드에서, 디스플레이의 구역들은 이들이 주시될 때 확장된다. 확장 객체가 추종되면, 추종되는 객체에 기반하여 선택이 행해진다. 그렇지 않으면, 스크린의 다른 구역들이 주시될 때, 선택이 행해지거나 혹은 확장 모드가 턴오프될 때까지 (대체로 처음에는 느리게) 확장이 개시된다.
위에서 설명한 확장을 위한 구역을 지시하는 방법에 관계없이, 객체들의 맥락이 확장의 중심에 대한 위치를 조정하거나 혹은 "미세-튜닝"하는 데 사용될 수 있다. 이러한 조정은 (확장의 중심부로부터 떨어져서 신장하는 객체들의 부분과 대비하여) 완전한 객체들이 사용자가 초기에 응시한 위치로부터 외부를 향해 구별되는 방향들로 방사상 확장되는 것으로 보이도록 행해질 수 있다.
확장을 위한 중심의 조정은 또한 확장되는 객체들 중 임의의 객체가 반경 방향으로 외부를 향하는 안구 운동들에 의해 (똑같이 잘) 추종되게 하도록 수행될 수 있다. 조정에 의해서, 특정 객체가 움직이지 않거나(즉, 그것이 중심에 있기 때문에), 다수의 인접한 선택 가능한 객체들 사이에 무리지어 있거나, 혹은 초기에 사용자의 응시 방향으로부터 더 멀어지기 때문에, 그 객체를 선택하기 쉽거나 혹은 어려울 수 있는 상황을 피할 수 있다.
확장의 중심을 조정하는 것은 셀들로 된 스프레드시트 내에서 특정 셀을 선택하는 프로세스 도중에 용이하게 예시될 수 있다. 확장의 중심이 (수평 및 수직 둘 다) (개별 셀의 영역 내에 있게 하는 것과 대비하여) 스프레드시트 셀들 사이가 되도록 조정하는 것에 의해, 선택 가능한 셀들이 사용자의 대략적인 응시 위치로부터 방사상으로 확장될 수 있다. 예로서, 사용자의 응시 위치(720a)로부터의 확장의 중심 조정은 도 30a에 도시된 바와 같은 스프레드시트(700) 내의 수평 셀 경계 및 수직 셀 경계의 인근 교차점(702b)으로 설정될 수 있다. 도 30b에 도시된 바와 같이, 이 교차점(702b)과 접촉하는 셀들(706a, 706b, 706c, 706d) 중 임의의 셀(및 더 멀리 있는 다른 셀들)이 확장 프로세스 중에 추종될 수 있고 이에 따라 선택될 수 있다.
확장 영역 내의 객체를 추적하는 것에 의해 선택을 특정하는 능력은 안구-신호 언어의 기본적인 요소이다. 전략은 안구-신호와 특별히 호환되도록 설계되지 않은 상황에서도 사용될 수 있다. 예를 들어, (안구 시그널링의 고려 없이 설계된) 웹 상의 페이지를 브라우징할 때, 사용자는 하나 이상의 선택, 하이퍼링크 및/또는 데이터 입력점을 포함할 수 있는 특정 영역 내에서의 확장 및/또는 선택에 대한 소망과 맞닥뜨릴 수 있다. 확장 프로세스 중에 희망하는 요소를 추적하기 위해 안구 운동들을 사용하는 것에 의해, 희망하는 선택, 하이퍼링크 또는 데이터 입력점이 후속해서 활성화될 수 있다.
확장 영역으로부터의 선택이 행해지고 나면, 사용자 상호작용들을 진행하는 (맥락에 따라) 다수의 가능한 피드백 양상이 있다.
· 디스플레이가 확장-전 형태로 즉시 복귀될 수 있다고, 선택된 요소를 지적하는 지시(예컨대, 폰트, 색상, 휘도의 변경)가 선택적으로 포함될 수 있다.
· 확장된 영역은 입력(예컨대, 스프레드시트 내의 셀, 텍스트)이 완료될 때까지 확장된 상태로 유지될 수 있다.
· 추가 선택들(즉, 이른바 서브-메뉴 선택들)을 허용하는 추가 이동, 확장 및/또는 선택 가능한 객체들이 확장 영역 내에 도입될 수 있다.
· 선택의 결과 스크린 콘텐츠가 별개의 디스플레이로 스위칭할 수 있다.
중첩된 표지들에 의해 증강된 안구 선택들
다른 예시적인 실시예들에서, 정교한 시각적 해상도와 비교적 훨씬 더 낮은 안구 응시 추적 해상도 간의 불일치 문제를 처리하기 위하여, 사용자 선택들 및/또는 활성화들을 효율적으로 수행할 수 있도록 중첩 표지들 및 보조 입력들이 측정된 응시 위치들과 결합될 수 있다. 보조 입력들은, 키보드, 키패드, 컴퓨터 마우스, 트랙볼, 음성 인식을 이용하여 식별될 수 있는 핵심 단어들 중 하나, 스위치들, 머리 끄덕이기, 손가락 또는 손 제스처 등과 같은, N-중-1 선택을 특정할 수 있는 임의의 디바이스의 형태일 수 있다.
응시는 디스플레이 내의 사용자의 관심 구역의 대략적인 위치를 지시하는 데 사용될 수 있다. 안구 운동들을 이용하여 이러한 구역을 특정하는 능력은 안구들이 최소한의 인지 부하로 신속하게(즉, 최대 900°/초의 각속도) 이러한 대략적인 위치를 지시하는 능력을 이용한다. 대략적인 위치가 단일의 선택 가능한 아이템만을 포함하면, 활성화는 안구-신호 언어 내의 전형적인 활성화 시퀀스(예컨대, 이른바 "진행" 시퀀스 또는 "표출" 시퀀스)를 이용하여 진행될 수 있다. 그러나, 안구 추적을 위한 해상도를 초과하거나 혹은 그에 가까운 안구-응시 구역 내에서 다중의 선택들이 가능하면, 특정 선택을 지시하는 추가 단계들이 사용자에 의해 취해져야 한다. 이 상황이 일어날 수 있는 예들은 스프레드시트 내의 하나 이상의 셀, 텍스트 본문 내의 위치(예컨대, 삭제 위치 또는 삽입 위치), 썸네일 이미지들 또는 아이콘들의 격자, 단어 선택들의 어레이, 체크리스트 또는 기타 일련의 아이템들, 팝-다운 메뉴(pop-down menu) 등을 포함한다.
대안적으로 또는 이와 조합하여, 선택들은 중첩된 문자들 또는 색상들에 대응되는 키들을 타이핑하거나, 혹은 중첩된 심볼 또는 단어에 대응되는 소리를 발성하는 것에 의해 행해질 수 있다. 심볼들이 방향들(예컨대, 상, 하, 좌, 우)을 표현하는 경우, 특정 키들(예컨대, 이른바 "화살표" 키들)이 사용될 수 있거나, 혹은 다수의 키들이 정해진 방향을 지시하는 데 사용될 수 있다. 후자의 경우의 예로서, 중첩된 심볼이 오른쪽-위 방향을 지시하면, 오른쪽-위를 지시하는 데 사용되는 키들은 표준의, 이른바 "QWERTY" 키보드 상에서 (오른쪽-위의 구역에 위치된) "P" 또는 "O" 키일 수 있다.
도 31은 예를 들어 텍스트 문서의 작성 중에 폰트 특성들 및 잘라내기-및-붙여넣기 흐름을 제어하는 데 사용될 수 있는 아홉 개의 단어 선택들로 된 3x3 격자(750)의 예를 도시한다. 예시적인 사례에서, 아홉 개의 선택들로 된 CFA 격자(750)가 디스플레이의 작고, 방해받지 않는 구역에서 일상적으로 이용 가능하게 될 수 있다. 원형 "구름"(752)으로 예시된 안구 응시의 측정된 위치의 불확실성은 이 그리드(750) 내의 개별 선택 요소(예컨대, 751a)의 크기를 초과한다. 따라서 단일의 안구 운동의 측정에 기반해서는 선택이 이루어질 수 없다.
도 31b는 도 31a에 예시된 CFA 격자(750) 위에 중첩되는 아홉 개의 선택 가능한 디지트들(예컨대, 753a, 753b)을 도시한다. 표지 디지트들(예컨대, 753a, 753b)은 전형적인 뉴메릭 키패드와 동일한 레이아웃으로 배열된다. 키보드나 키패드가 이용 가능하지 않는 대안적인 예시적 실시예들에서, 디지트는 말해질 수 있고 후속해서 본 발명이 속하는 기술 분야에서 공지된 음성 인식 방법들을 이용하여 인식될 수 있다. 아홉 개의 디지트들 중 하나를 선택하는 것에 의해 중첩된 디지트 아래에 있는 단어와 관련된 액션이 수행된다. 예를 들어, 도 31b에 예시된 표에서, "7"(753b)이 지시되었다면, 후속적인 텍스트 입력을 위해 "bold"(두껍게) 속성이 토글 온되거나 혹은 토글 오프된다. 유사하게, "1"(753a)이 지시되었다면, 시스템은 텍스트 입력 중에 문자나 단어를 "delete"(삭제)(754a)할 것이다.
도 31c는 3x3 선택들로 된 CFA 격자 그리드(750) 위에 중첩되는 심볼들의 대안적인 세트를 도시한다. 이 경우, 방향 화살표들(예컨대,755a)이 가능한 선택들 위에 중첩된다. 화살표 방향과 관련된 개별 키들을 누르거나 혹은 키보드 또는 다른 데이터 입력 디바이스 상의 소정의 기준 위치에 대해 화살표 방향으로 있는 임의의 키를 누르는 것에 의해 개별 선택이 후속적으로 행해질 수 있다. 예를 들어, 표준 QWERTY 키보드의 중앙부가 기준으로 사용되면, 문자 "A" 또는 "S"는 도 31c에 예시된 CFA 격자 내의 "strike-through"(취소선)(756) 기능과 관련된 가장 왼쪽의 선택을 지시하는 데 사용될 수 있다.
선택이 행해지고 나면, 중첩된 표지들은 사라질 수 있고 그리고/또는 동일한 키보드 또는 보조 디바이스를 이용한 추가 입력들이 선택된 요소에 대한 입력으로 공급될 수 있다. 예를 들어, 알파뉴메릭 문자들이 데이터 입력 프로세스의 일부로서 스프레드시트 내의 선택된 셀에 입력될 수 있다. 중첩된 표지들은 또한 (어떤 선택 프로세스도 개시되지 않으면) 사전 결정된 시간 기간 동안 디스플레이된 후에 또는 사용자가 디스플레이 상의 다른 구역을 응시하면 제거될 수 있다.
추가 실시예들에서, 각각의 중첩된 심볼들은 디스플레이 상의 다수의 위치들에 심볼들을 반복하거나 혹은 다수의 선택 가능한 아이템들 위에 (큰) 심볼을 중첩시키는 것에 의해 다수의 선택들과 관련될 수 있다. 이 경우, (예컨대, 선택 가능한 아이템들이 액션들을 표현하면) 다수의 액션들이 수행될 수 있거나 혹은 하나의 액션이 다수의 아이템들에 적용될 수 있다. 중첩된 표지들에 의해 증강되는 안구 선택들은 또한 후속적으로 임의의 횟수만큼 반복될 수 있다.
안구 지배성에 대한 준비를 포함하는 안구 응시 교정
교정의 주요 구성 요소는 한쪽 또는 양쪽 안구의 하나 이상의 피처(예컨대, 동공, 각막윤부)의 위치를 디스플레이(예컨대, HMD, 모바일 디바이스, 원격 모니터)의 응시 위치로 변환하거나 또는 디바이스 사용자의 실제 환경 내로 변환하는 매핑 스킴(예컨대, 하나 이상의 수학 함수, 룩-업 테이블(look-up table), 보간 전략)을 형성하는 것이다. 교정 스킴은 조명 소스, 기준 대상 위치들 및/또는 헤드웨어 또는 다른 곳에 위치된 카메라의 알려지거나 혹은 측정된 상대 위치뿐만 아니라 한쪽 또는 양쪽 안구의 해부학적 모델에 기반할 수 있다. 이러한 해부학적 모델 내의 파라미터들은 집단 평균에 기반하여 산정되거나 디바이스 사용자의 알려진 특성(예컨대, 연령, 인종 출신), 디바이스 착용자의 (예컨대, 교정 절차 중에) 측정된 특성, 또는 이러한 스킴들의 조합을 기반으로 하는 추정치에 기반하여 산정될 수 있다.
예시적인 실시예들에서, 양쪽 안구가 추적될 때, 대부분의 기록 상황 하에서, 교정 및 응시 추적 스킴 내에서 안구 지배성을 고려하는 것이 가능하다. 안구 지배성은 한쪽 안구의 시각적 입력을 다른 쪽 안구를 위해 활용하는 경향이다. 인구의 약 70%는 안구 지배성과 손 지배성 사이에 상관관계가 있는 우안 지배성이다. 일부 경우(예컨대, 야구공을 던지거나 타격하기 위한 손의 지배성에 대비한 사시)에, 안구 패치 또는 광 확산기를 사용하여 개인의 안구 지배성을 수정할 수 있다. 인구의 약 30%가 좌안 지배성이다. 소수의 개인만이 안구 지배성을 보이지 않는다.
안구 지배성의 가장 극단적인 형태는 콧날이 주시 구역으로부터 가장 먼 안구의 시각을 물리적으로 차단할 수 있는 극한 각도를 바라볼 때 발생한다. 그러나 대부분의 개인들에서 안구 지배성은 이러한 각도에 도달하기 훨씬 전에 이동될 수 있다. 일반적으로 우안 지배성인 개인의 경우에, 시야 중심의 좌측을 볼 때 지배성이 왼쪽 안구로 이동될 수 있다. 마찬가지로, 일반적으로 좌안 지배성인 개인은 시야 중심의 우측 구역에서 오른쪽 안구로 보기 위해 이동할 수 있다. 평균적으로, 정상 지배성에서 반대쪽 안구로의 전환은 시야의 중심으로부터 약 15°에서 발생하지만, 개인마다 편차가 크다.
안구 지배성이 고려되지 않는 경우, 응시 방향이 비-지배성 안구로부터 유래 된 벡터 또는 양쪽 안구 사이 또는 주위의 어떤 위치로부터 유래된 벡터에 기반하여 결정될 때, 사용자에 의해 인지적으로 선택되는 객체가 오식별될 수 있다. 이러한 고려 사항은 응시 추적을 위한 착용형 디바이스들 내에서 사용되는 안구에 근접해 있는 디스플레이(들), 조명(들) 및 검출기(들)에 특히 중요하다. 현재 이용 가능한 안구 추적 시스템은 좌측 안구 및 우측 안구 측정의 측정치들의 (경우에 따라 가중된) 평균을 사용할 수 있다. 이러한 시스템은 안구 지배성의 (특히 수평축에서의) 공간 의존성을 고려하지 않는다. 따라서, 교정 및 후속적인 응시 위치들의 결정 모두 응시 위치에 따라 안구 지배성을 고려해야 하고, 정확한(예컨대, <2°) 응시 결정을 위해 개인들 간의 넓은 편차를 고려해야 한다.
예시적인 실시예들에서, 패턴에 대해 움직이는 객체를 연속적으로 추적하는 것은, 1) 교정 중에 채용된 (위에서 설명한) 매핑 스킴에 대한 파라미터들을 결정하고, 2) 한쪽 안구에서 다른 쪽 안구로 지배성이 이동하는 임의의 전이 존(들)의 위치를 결정하는데 사용될 수 있다. 원형, 직사각형, 일련의 라인 세그먼트, 다각형 또는 모서리가 둥근 다각형과 같은 광범위한 패턴 중 하나 이상에 대해 객체가 움직일 때 초점 포인트의 추종이 사용될 수 있다.
도 32는 "무한대 기호"(일명 "렘니스케이트(limniscate)"로 알려져 있고, 일부는 "사이드웨이 8"이라고도 함) 패턴 내의 초점 포인트의 추적을 도시한다. 도 32에서 점선(720)으로 표현된 렘니스케이트의 경로는 디스플레이(721)의 수평 최대 리치(reach) 내에 더 많은 포인트를 배치함으로써 수평 방향으로 이용 가능한 더 넓은 범위의 안구 이동을 이용한다. 이 예에서, 디바이스 착용자는 콘트라스트가 높은 초점 스폿을 포함하는 이동 디스크(723)의 중심 구역을 추종하도록 지시받는다. 초점 스폿은 사용자의 주의가 이동 디스크(723)의 정중앙에 집중되는 것을 돕는다. 디바이스 착용자는 패턴을 하번 이상 반복하는 것을 통해 렘니스케이트(720)를 추종한다(화살표(724)로 나타냄). 초점 스폿의 이동 속도는 사전 결정된 상수일 수 있거나, 예를 들어 디스플레이(721)의 최대 리치에서 더 느린 안구 이동을 허용하기 위해 시간 및/또는 위치에 따라 변화할 수 있다.
곡선 맞춤은 측정된 안구 위치(예컨대, 눈동자의 중심 또는 각막윤부)를 디스플레이 상의 위치로 변환시키는 매핑 함수 사이의 "최적 맞춤(best fit)" 파라미터들을 결정하는데 사용될 수 있다. 예를 들어, 매핑 함수는 제한된 회전 범위를 갖는 선형식, 다항식 등일 수 있다. 그래디언트-디센트(gradient-descent)와 같은 기술을 사용하는 곡선 맞춤은 본 발명의 기술 분야에서 공지되어 있다.
교정 중에, 안구 추적은 시간의 함수로서 진행되고, 디스플레이된 패턴의 좌표(x, y)는 아래와 같이 표현될 수 있다.
(x, y)=f(t)
여기서, f(t)는 추적 패턴(예컨대, 렘니스케이트, 원, 직사각형)을 정의하는 표현이다. 위에서 설명한 확장 구역 내의 객체 추적과 마찬가지로, 타겟이 원활 추적 안구 운동, 일련의 짧은 추적 도약 안구 운동 또는 이들 둘의 조합을 이용하여 추적되도록 타겟의 속도는 제한된다.
추적 패턴 및 속도와 관계없이, 추적 타겟(도 32의 723)이 디스플레이되는 시간과 디바이스 사용자의 시각적 응답이 등록될 수 있는 시간 사이에 지연이 있다. 이 지연, 즉 Δt는 이미지로부터 안구 위치 좌표(xi, yi)를 획득하는데 있어서의 임의의 하드웨어 지연 및 소프트웨어 지연을 포함할 뿐만 아니라, 망막에서 검출된 신호를 시신경을 통해 시각 피질로 전송하는 "생물학적" 지연, 시각적인 정보를 처리하는 디바이스 착용자의 인지 시간, 안구(들)를 움직이는 근육에 모터 신호를 보내는 시간 및 근육이 힘을 발휘하여 그에 따라 검출될 수 있는 안구 운동을 발생시키는 시간을 포함한다. 타겟 안구 위치 좌표, 즉 (xt, yt)는 아래와 같이 표현될 수 있다.
(xt, yt)=f(t-Δt)
따라서, 안구 위치 측정을 응시 위치로 매핑하는 데 사용되는 최적 맞춤 파라미터들 외에도, 시스템 지연, 즉 Δt는 처음에는 알려지지 않는다. 예시적인 실시예들에서, 초기 곡선 맞춤(curve-fit)을 수행하기 위하여, Δt는 시스템 평균에 기반한 초기값(예컨대, 30 밀리초)을 할당받을 수 있다. 이는 획득된 안구 위치 좌표들 (xi, yi)과 초기 타겟 좌표들 (xt, yt) 사이에서 곡선-맞춤이 수행되게 한다. 필요하다면, 매핑된 안구 위치 좌표들 (xi, yi)이 도 32에 도시된 바와 같이 추적 패턴 디스플레이 상에 중첩될 수 있고, 여기서, 예시적인 매핑 좌표들의 위치들은 X's (722)로 표현된다.
디스플레이된 타겟 패턴(x, y)과 대응하는 매핑 좌표들 간의 교차-공분산(cross-covariance)을 계산하여, 교차-공분산의 (필요한 경우, 평균화된) 피크로부터 시스템 지연 Δt를 측정할 수 있다. 이 시점에서, 비정상적으로(outlier) 매핑된 응시 위치들(예컨대, 디스플레이된 타겟으로부터의 모든 측정치들의 표준 편차의 2배보다 큰 것들)은 폐기될 수 있다. 이러한 제거 프로세스는 시간(즉, f(t-Δt)) 및 타겟과 매핑된 응시 좌표들 간의 거리 둘 다를 고려한다. 최적의 파라미터들을 재결정하는 프로세스 및 비정상치가 폐기된 시스템 지연을 재설정하는 프로세스는 예를 들어 안구 깜빡임, 부정확한 안구 추적 측정 및/또는 디바이스 사용자 측의 부주의로 인한 것일 수 있는 비정상적인 측정값을 추가로 제거하기 위해 여러 번 반복될 수 있다.
예시적인 실시예들에서, 방금 설명한 프로세스는 왼쪽 안구 및 오른쪽 안구에 대해 별도로 수행될 수 있다. 왼쪽 안구 및 오른쪽 안구만을 사용하도록 하려면 타겟의 디스플레이가 한 번에 하나의 안구에만 투사되고 비-대상 안구의 시야는 차단될 수 있다. 최종 결과는 왼쪽 안구 및 오른쪽 안구를 별도로 디스플레이 좌표들에 매핑하는 일련의 교정 파라미터들(및 Δt)이다.
정확한 교정을 보장하기 위해, 곡선-맞춤용 추가 데이터 포인트를 얻기 위해 추적 패턴을 여러 번 반복할 수 있다. 타겟 패턴의 반복 횟수는 곡선-맞춤의 정확성(예컨대, 상관 계수에 의해 측정된 바와 같이) 및/또는 폐기된 비정상치의 수에 따라 달라질 수 있다.
추가의 예시적인 실시예들에서, 타겟은 이후에 양쪽 안구로 동시에 투사될 수 있다. 이것이 수행됨에 따라, (또한 Δt를 고려한) 왼쪽 안구에 대한 안구 위치 및 교정 또는 오른쪽 안구에 대한 안구 위치 및 교정이 디스플레이된 타겟 패턴에 더 잘 부합하는지 여부에 대한 결정이 이루어질 수 있다. 이러한 비교를 바탕으로 디스플레이의 각기 다른 구역들 내의 안구 지배성을 표시하는 시각적 "맵"을 구성할 수 있다.
도 33은 타겟 패턴(730) 내의 그의 대응 위치와 더 잘 부합하는 왼쪽 안구에 의한 응시 투사의 위치가 "L"(732a)로 표현된 시각 지배성 맵의 예를 예시한다. 디스플레이(731) 상의 그의 대응하는 타겟 위치(730)와 더 잘 부합하는 오른쪽 안구에 의한 각각의 응시 투사는 "R"(732b)로 표현된다. 도 33에는 아래와 같은 3개의 구별되는 구역들이 있다.
1. 왼쪽 안구 측정 및 교정이 타겟 위치들(734a)을 더욱 정확하게 매핑하는 구역,
2. 오른쪽 안구 측정 및 교정이 타겟 위치들(734c)을 더욱 정확하게 매핑하는 구역, 및
3. 안구 지배성이 혼합되어 나타나는 "전이 존(734b)".
이러한 안구 지배성 구역들의 식별은 매핑 작업이 안구의 위치에 의존하게 한다. 위치가 왼쪽 안구 존에 매핑되면 왼쪽 안구 교정이 사용될 수 있다. 위치가 오른쪽 안구 존으로 매핑되면 오른쪽 안구 교정이 사용될 수 있다. 도 33에 도시되지 않았지만, 각기 다른 존들을 결정할 때 수직 안구 위치가 또한 고려될 수 있다. 또한, 주시되는 객체의 특성(예컨대, 크기, 휘도)이 안구 지배성에 영향을 미칠 수 있다는 경험적 증거가 있다. (예컨대, 제어될 때) 디스플레이 내에서 이들이 알려져 있는 경우, 이들 디스플레이의 특징은 또한 왼쪽 안구 교정이 이용되어야 하는지 아니면 오른쪽 안구 교정이 이용되어야 하는지 결정할 때 고려될 수 있다. 이러한 고려 사항은, 본 명세서의 다른 부분에서 설명한, 활성화 타겟을 설계하고 디스플레이할 때 특히 중요할 수 있다.
도 33에 도시된 바와 같이, 왼쪽 안구 교정 프로세스 또는 오른쪽 안구 교정 프로세스의 선택이 전이 존 내에서 즉시 명백하지 않을 수 있다. 예시적인 실시예들에서, 다수의 전략들이 임의의 전이 존들 내에서 사용될 수 있다.
1. 도 33에 도시된 바와 같이, 라인 오른쪽의 "L" 표시(733a) 및 라인 왼쪽의 "R" 표시(733b)의 총 개수를 최소화하도록 수평 위치(즉, 수직선(735))가 계산될 수 있다. 이 위치는 왼쪽 안구 지배성 대 오른쪽 안구 지배성을 구분하는 임계값으로 사용된다.
2. 왼쪽 안구 선택 타겟 및 오른쪽 안구 선택 타겟이 전이 존 내에 있으면, 왼쪽 안구 매핑 및 오른쪽 안구 매핑이 모두 계산될 수 있다. 둘 중 하나가 선택되면, 선택된 액션이 수행될 수 있다. 이 스킴은 우발적인 활성화를 약간 증가시킬 수 있다.
3. 평균 위치는 왼쪽 안구 교정 및 오른쪽 안구 교정에 기반하여 사용될 수 있다.
4. 가중 평균이 사용될 수 있는데, 왼쪽 안구 매핑 대 오른쪽 안구 매핑에 의해 지시되는 위치들에서의 교정 중에 왼쪽 안구 교정 위치 대 오른쪽 안구 교정 위치의 가중이 "L" 위치들 및 "R" 위치들의 분포에 의존한다.
사용자의 시축을 포함하는 안구 응시 교정
이른바 "광축(optical axis)"이 "시축(visual axis)"과 다르다는 것이 본 발명의 기술 분야에서 잘 알려져 있다. 광축은 빛이 각막, 동공 및 수정체의 중심을 통과하여 굴절 없이 망막을 포함하는 안구의 후방 벽에 도달하는 라인이다. 시각(및 이후의 인지)이 중심에 있는 황반과 각막 중심와가 광축으로부터 평균 5° 벗어나 있기 때문에, 정확한 응시 추적을 위해 개인의 광축과 시축을 구별하는 것이 필수적이다.
시축을 결정하는 기존의 방법은 한쪽 눈을 뜬 개인의 시야에 로드를 정렬하되 로드의 전면에 의해 (반경 방향으로 대칭으로) 방해되므로 로드의 후방 단부가 보일 수 없도록 정렬하는 것을 수반한다(팔의 길이로 유지되는 연필을 사용하여 간단하게 똑같은 원리를 증명할 수 있음). 의도적으로 이 방향으로 배치되면, 로드의 중심 축선은 관찰자의 시축을 따라 가리키게 된다. 이 프로세스는 여러 방향으로 반복될 수 있다.
예시적인 실시예들에서, 시축을 결정하기 위해 방금 설명한 기존의 로드 기반 기술과 동일한 원리 중 일부를 사용하는 디스플레이 기반 방법은 시야의 구역들에서 근거리 필드 디스크 및 원거리 필드 디스크(또는 임의의 다른 형상)를 정렬하는 것을 수반한다. 디바이스 착용자는 원거리 필드 객체가 근거리 필드 객체에 의해 최대한 가려지게 객체를 정렬하도록 지시받는다. 이 기법의 필수 요소는 아니지만 근거리 필드 객체 및 원거리 필드 객체에는 서로 다른 색상이 할당될 수 있다. 그 후, 디바이스 착용자는 근거리 필드 객체를 사용하여 가능하면 원거리 필드 객체의 색을 균일하게 (반경 방향으로 대칭 방식으로) "숨기거나" 흐리게 하도록 지시받을 수 있다.
증강 현실(AR) 상황에서, 근거리 필드 객체는 AR 디스플레이 상에 투사된 실질적으로 불투명한 디스크 또는 다른 형상일 수 있다. 원거리 필드 객체는 스크린(예컨대, 모바일 디바이스, 태블릿, 모니터) 상에 표시된 가상 객체 또는 실제 세계 객체일 수 있다. 디스플레이 상의 원거리 필드 가상 객체의 경우, 정렬 프로세스 중에 근거리 필드 AR 객체 또는 원거리 필드 가상 객체 중 하나가 이동될 수 있다. 그 후, 프로세스는 시축의 다수의 측정에 대한 추가적인 정렬을 발생시키기 위해 구별되는 위치들(즉, 주시 방향들)에서 반복될 수 있다.
원거리 필드의 실제 세계 객체의 경우, 객체는 교정을 위해 디바이스 착용자의 환경에 의도적으로 추가될 수 있거나 또는 객체는 자연적으로 발생하는 형상 또는 디바이스 착용자의 환경에서 인식될 수 있는 객체의 일부일 수 있다. 전자의 예는 고유하게 착색된 종이 디스크 또는 디스플레이 모니터의 모서리에 접착제로 부착된 하나 이상의 LED 광원에 의해 생성된 패턴을 포함한다. 후자의 예는 대부분의 디스플레이 디바이스의 네(4) 개의 모서리에 있는 "L-형상" (베젤) 구역이고, 이 구역에서는 외부 지향 카메라 또는 소위 "장면" 카메라를 사용한 이미지 또는 이러한 형상의 템플릿의 데이터베이스를 기반으로 형상이 결정될 수 있다.
도 34는 모바일폰 또는 태블릿(741)과 같은 디스플레이 디바이스의 실제 세계의, 네(4) 개의 모서리(748a, 748b, 748c, 748d)가 시축 정렬 툴로서 사용되는 예를 도시한다. 디스플레이 디바이스(741)의 모서리(740)의 구조는, 1) 이러한 디바이스의 기계적 디자인들에 기반한 템플릿들의 데이터베이스, 2) 디바이스 착용자의 환경을 시각화하는 장면 카메라(746) 및 광학 장치(747)를 사용하여 획득된 이미지들, 또는 3) 두 가지 소스의 조합으로부터 결정될 수 있고, 데이터베이스는 장면 카메라 이미지 내에서 인식되는 객체(또는 객체의 일부)의 정확한 치수를 제공할 수 있다.
일단 정렬 객체(740) 또는 정렬 객체의 일부분의 형상이 결정되면, 형상은 증강 현실 디스플레이(743) 내에 가상 객체(742)로서 재구성된다. 그 다음, 디바이스 착용자는 원거리 필드 객체(744)를 최대로 흐리게 하도록 가상 객체(742)가 정렬되는 위치로 디스플레이(741) 또는 안구의 위치를 이동하도록 지시받는다. (원거리 필드 객체(740)에 대한) 이러한 머리/안구 위치(744)에서, 근거리 필드(742)의 가장자리 및 원거리 필드(740)의 가장자리는 안구(744)의 시축을 따라 주시도리 때 완전히 정렬된다(745a, 745b). 원거리 필드 객체(740)의 중심 및 근거리 필드 객체(742)의 이에 대응하는 중심 위치는 디바이스 착용자의 안구(744) 내에서 시축의 중심을 가로지르는 3 차원 공간에 라인(749)을 획정한다.
추가적인 실시예들에서, 디바이스 착용자는 근거리 필드 객체(742)가 원거리 필드 객체(740)와 정확하게 오버레이되도록(즉, 정확히 동일한 크기로 보이도록) 원거리 필드 객체(740)에 근접하거나 또는 멀리 떨어지게 이동시키도록 지시받을 수 있다. 원거리 필드 객체(740)의 치수가 (예컨대, 객체들의 데이터베이스에 기반하여) 알려지면, 디바이스에 의해 근거리 필드 객체(742)의 치수가 제어되므로(그리고 이에 따라 알려지므로) 원거리 필드 객체(740)와 안구의 시각 중심(즉, 745a, 745b 및 749의 교차점) 사이의 거리가 삼각법을 이용하여 계산될 수 있다. 상기 거리는 광축의 라인(749)을 따르는 단일 지점이 선택된 안구의 시야의 중심에 할당되도록 한다.
다른 실시예들에서, 시축 정렬 프로세스는 4개의 모서리(748a, 748b, 748c, 748d) 각각을 사용하여(헤드셋 내의 가상 기준의 디스플레이가 90°, 180°및 270°로 회전 됨) 또는 임의의 수의 다른 원거리 필드 기준 위치를 사용하여 반복될 수 있다. 이들 측정치 각각에 의해 정의된 시축의 교차점들은 시축 및/또는 특정 디바이스 사용자에 대한 시각 중심의 위치를 (예컨대, 시야의 중심까지의 거리를 결정하기 위해 방금 설명한 방법이 사용되지 않는다면) 식별하거나 (예를 들어, 더 정확하게) 위치를 정의하는데 사용될 수 있다.
또 다른 실시예들에서, 디바이스 착용자의 안구 상의 하나 이상의 식별 가능한 지점(예컨대, 동공의 중심, 각막윤부의 중심, 공막 상의 식별 가능한 혈관)의 위치는 새롭게 결정된 시축의 중심에 대해 결정될 수 있다. 시축과 이러한 식별 가능한 지점 사이의 차이는 이후에 "시축 오프셋"으로 간주될 수 있다. 이는 이후에 디바이스가 안구 상에서 하나 이상의 식별 가능한 지점의 측정에만 기반하여 (디바이스 착용자가 "보는") 디바이스 착용자의 시축을 계산하도록 한다.
추가적인 실시예들에서, 원거리 필드 객체는 스크린 상에 표시된 가상 객체(예컨대, 디스크, 다각형)일 수 있다. 이 경우에, 원거리 필드 가상 객체의 디스플레이 특성(예컨대, 크기, 위치)을 제어하기 위해 AR 또는 MR(즉, 혼합 현실) 헤드웨어 및 원거리 필드 디스플레이 디바이스 간에 통신이 사용될 수 있다. 도 34에 도시된 것과 동일한 전략이 개인의 시축 및 시각 중심을 결정하는데 사용될 수 있다. 이러한 교정 프로세스 동안에, 가상의 원거리 필드 객체의 크기(들), 위치(들), 방향(들) 및 다른 특성들은 디바이스 착용자에 의한 정렬 프로세스 동안 더욱 도움이 되도록 제어될 수 있다.
다른 실시예들에서, 초기에 감았던 눈을 뜨고 뜬 눈은 감는 것에 의해 상기 프로세스를 반복함으로써 각각의 안구에 대해 시각 중심이 결정될 수 있다. 비디오 스트림이 각각의 안구에 별도로 투사되는 설정에서, 하나의 안구에 대한 비디오 스트림은 다른 안구를 이용하여 평가가 수행되는 동안 턴 오프되거나 혹은 정지 상태로 유지될 수 있다. 응시 계산에 양쪽 안구의 시축들의 측정을 포함하는 것은 특히 폭주(vergence)를 수반하는 응시 정확성을 증가시킬 수 있다.
시축들을 측정하는 프로세스는 양쪽 눈을 모두 뜬 상태로 반복될 수 있다. 이 경우, 일부 주시 방향 및 일부 주시 거리에서, 위에서 설명한 바와 같이 지배성 안구에 측정치가 할당될 수 있다(객체들 사이에 편차가 있음). (일반적으로 똑바로 전방으로 보는) 다른 주시 방향과 (일반적으로 머리에서 멀어지는) 주시 거리에서, 소위 "자기 중심(egocenter)"이 결정될 수 있다. 자기 중심은 일반적으로 양쪽 안구 사이의 중간에 위치하는 기준 위치로, 이 자기 중심으로부터 관찰자의 환경을 주시할 때 거리와 방향이 지각적으로 감지된다. 일부 애플리케이션(예컨대, 1인칭 슈팅 게임 및 운전 시뮬레이션, 유아 교육과 같은 다른 형태의 게임)에서, 가상 환경을 보다 현실적으로 만드는데 자기 중심의 지식 및 사용이 도움될 수 있다. 디바이스 사용자의 자기 중심에 대해 후속해서 거리 및 방향의 측정 및/또는 디스플레이가 이루어질 수 있다. 이러한 측정은 디바이스 착용자의 지각과 관련된 인지 프로세스를 더욱 정확하게 표현하고 그리고/또는 정량화할 수 있다.
근거리 필드 정렬 객체 및 원거리 필드 정렬 객체 둘 다 단일 디스플레이 내에 포함되는 가상 현실(VR) 헤드셋 및 AR 헤드셋의 경우에, 디바이스 착용자의 시축을 결정하는 방금 설명한 방법을 이용하기 위해 정확한 이미지 투사 모드에 의존하는 추가적인 고려가 이루어져야만 한다.
한 번에 하나의 평면 또는 "깊이(depth)"에만 투사할 수 있는 VR 또는 AR 헤드셋의 경우에, 시축 정렬 프로세스는 대안적인 (또는 임의의 일련의) 투사된 이미지 프레임에서 지각되는 깊이를 스위칭하는 것에 의해 수행될 수 있다. 서로 다른 이미지를 빠르게 연속해서 표시하는 것은 예를 들어 기존/레거시 텔레비전 세트에서 사용되는 "인터레이싱(interlacing)" 기술과 유사하다. 도 34에 도시된 것과 유사한 정렬은 하나의 평면에 디스플레이되는 근거리 필드 객체 및 별도의 (인터레이싱된) 프레임 내에 디스플레이되는 원거리 필드 객체를 가지고 수행된다.
공간내의 지점들로부터 광을 벡터로서 지향시키기 위해 소위 "광 필드(light field)"를 이용하는 VR 및 AR 헤드셋에서, 근거리 필드 정렬 객체 및 원거리 필드 정렬 객체는 모두 동일한 프레임 내에 투사될 수 있다. 이러한 설정에서, 멀리 떨어진 객체가 최대로(그리고 반경 방향으로 균일하게) 차단된 것처럼 보이도록 정렬은 근거리 필드 객체 또는 원거리 필드 객체를 이동시키는 것을 포함한다.
추가적인 실시예들에서, 근거리 필드 객체 및 원거리 필드 객체가 모두 가상인 경우, 다수의 방법 중 임의의 방법을 사용하여 정렬 프로세스 동안 하나의 객체 또는 다른 객체 (또는 필요하다면 양자 모두)를 이동시킬 수 있다. 이는 다음과 같은 다양한 방법으로 수행될 수 있다.
· 디바이스 착용자가 키보드 근처에 있는 경우, 상, 하, 좌, 우를 지시하는 방향 화살표(또는 다른 키 세트)의 반복적인 누르기가 수행될 수 있다.
· 아이웨어 또는 헤드웨어 디바이스(또는 태블릿이나 모바일 폰과 같은 기타 터치 감지식 표면)의 터치 감지 영역에 이동 기능(예컨대, 상, 하, 좌, 우)이 할당될 수 있다.
· 디바이스 착용자는 머리 움직임(예컨대, 회전, 틸팅 또는 모두)을 사용하여 객체를 "조금씩 움직"일 수 있다. 필요하면, 움직임의 정도는 (예를 들어 가속도계 또는 장면 카메라 움직임을 사용하여 측정되는) 머리 움직임의 정도에 비례할 수 있다.
· "상", "하", "좌" 또는 "우"를 발성하는 것과 음성 명령이 근거리 필드 객체 및/또는 원거리 필드 객체를 정렬하는데 사용될 수 있다.
추가적인 실시예들에서, 정렬 프로세스를 가속화하기 위해, 각각의 명령(즉, 상, 하, 좌, 우)에 의해 생성된 가상 움직임이 동적으로 조정될 수 있다. 초기 명령들은 근거리 필드 객체 또는 원거리 필드 객체의 거친 움직임을 유발한다. 동일한 방향으로 반복되는 움직임(예컨대, "우", "우")은 상기 움직임의 크기에 영향을 주지 않는다. 그러나, 반대 방향으로의 임의의 움직임은 상기 움직임의 크기(즉, 소위 "증분")를 감소시킨다(예컨대, 절반으로 감소). 디바이스 착용자가 최적 정렬을 향해 수렴시킴에 따라 점진적으로 작은 증분이 더욱 정밀한 제어를 허용한다. 이 기술은 아날로그-디지털 변환의 "연속 근사" 방법과 유사하다. 증분의 크기는 수평 축선 및 수직 축선에서의 교정 중에 별도로 추적 및 조정될 수 있다.
관련성이 높은 객체(HRO)들의 고해상도 렌더링
응시 추적을 관찰자가 주시하는 중앙 디스플레이 구역에 투사된 최고 해상도 이미지와 결합하는 기법은 본 발명의 기술 분야에서 잘 알려져 있다. 전체 사용자 디스플레이를 생성하는 대역폭은 관찰자가 직접 볼 수 없는 구역에 저해상도 이미지를 투사함으로써 감소된다. 대부분의 구현예들에서, 주변 시야 내의 구역들이 디스플레된 객체 내에서 더 낮은 공간 해상도 및/또는 세부 묘사의 감소된 투사로 디스플레이된다. 일부 구현예들에서, 장면의 고해상도 중앙 주시 구역과 저해상도 주변 구역 사이에 중간 해상도의 전이 존이 있다. 최대 80%의 대역폭 절감 효과가 실현된다.
이 기술은 일반적으로 본 발명의 기술 분야에서 "포비티드 렌더링(foveated rendering)", "포비티드 이미지영상(foveated imagery)" 또는 "포비티드 그래픽(foveated graphics)"이라 지칭된다. "포비티드"라는 용어는 인간 시각계의 생리학과 적어도 부분적으로는 일치된 이미지 생성 결과로 발생한다. 생물학적으로, 망막 중심와는 시력이 가장 높은 망막의 작은 구역이다. 중심와는 전체 시야의 약 2° 범위에서만 이미지를 검출하지만, 정보를 뇌로 전송하는 시신경 번들의 신경 섬유의 약 절반이 중심와로부터의 정보를 전달한다.
많은 경우에, 관찰자의 주변 뷰 내에 있는 일부 객체의 낮은 공간 해상도 렌더링은 관찰자의 시각적 경험 및 의사 결정 능력의 절충이다. 예시적인 실시예들에서, 관련성이 높은 객체(HRO: High-Relevancy Object)들을, 이들이 특히 부중심와 내에 있고 관찰자의 주변 뷰 내에 있을 때, 높은 공간 해상도 디스플레이 기술을 사용하여 렌더링하는 것이 유리하다. HRO들과 관련된 하나 이상의 이러한 구역의 선택적인 고해상도 렌더링에 의해, 전체 대역폭 절감의 대부분은 계속 실현될 수 있지만 그러한 객체와의 효과적인 상호 작용은 희생되지 않는다.
부중심와 및 주변 시각계가 이미지 처리의 일부 측면(예컨대, 미세한 세부 파악, 색 분별)에서 약하지만, 공간 위치(움직임 포함) 또는 물체의 점멸을 결정하는 능력이 특히 강력하다. 예를 들어, 저글링 및 유입되는 투사물 피하기와 같은 활동 중에 부중심와 및 주변 뷰 내의 위치를 결정하는 기능이 잘 입증되어 있다.
특히, 인간-기계 상호 작용 중에 HRO들의 위치가 중요한 많은 조건들(예컨대, 가상 현실, 증강 현실, 혼합 현실 또는 원격 디스플레이 시스템)이 있다. 예를 들어, 안구 시그널링 중에 활성화 아이콘의 대체적인 구역은 디바이스 사용자에 의해 기억될 수 있다. 그런 다음 정확한 위치가 부중심와 또는 주변 시각을 사용하여 검출될 수 있다(종종 미세한 부분에 대한 지각은 없음). 대부분의 경우에, 공간 기억(위치들이 다시 특정 기능들과 연관될 수 있음)에 적어도 부분적으로 기반하여 부중심와 또는 주변 뷰 내에서 이러한 객체 또는 활성화 타겟을 향해 바로 도약 안구 운동을 수행하는 것이 "편안함"을 느낀다. 이러한 타겟을 향한 도약은 안구-신호 언어의 기본 요소이다.
예시적인 실시예들에서, 이러한 HRO들은 고해상도로 디스플레이될 수 있다. 초기에 저해상도로 디스플레이되는 경우, 이러한 HRO들을 향하는 도약 및 후속적인 고해상도로의 스위칭(예컨대, 새로운 중심와 뷰의 결과로)은 HRO의 외관의 급격한 변경을 초래하여, 눈-신호 언어와 연관된 의도적인 운동을 방해할 수 있는 하나 이상의 탐색적이거나 또는 "놀람(startle)" 안구 운동들을 자연스럽게 유도한다. HRO들의 고해상도 디스플레이를 유지하면 이러한 상황을 피할 수 있다.
새롭게 표출되는 추가 선택 가능 아이콘(또는 다른 HRO들)의 후속적인 디스플레이는 새로운 주변 뷰 내에 고해상도를 사용하여 디스플레이될 수 있다. 이들 새 아이콘의 공간적인 위치들은 각각을 직접 주시하는 도약 운동들로 파악될 수 있다. 동일한 전략을 반복하여, 경험 많은 디바이스 사용자는 특히 부중심와 또는 주변 시야 내에서 특정의(즉, 의도적으로 사용자에 의해 선택된) 새로 표출된 타겟을 향해 바로 도약하는 것이 편안하다고 느낀다. 이러한 하나 이상의 도약 안구 운동은, 필요하면, 사용자의 안구(들)의 중심와 구역 내에 완전한 지각이 없는 경우에 여러 번 수행될 수 있다.
추가적인 실시예들에서, 새로운 잠재 타겟 객체의 도입은 사용자의 주의를 환기시키지 않으면서(즉, 객체(들)를 "보이지 않게 보이도록" 함) 하나 이상의 객체를 도입하는 하나 이상의 기법을 사용하여 수행될 수 있다. 이전에 설명된 바와 같이, 이는 사용자가 기능적으로 구별하지 실명인 하나 이상의 기간 동안(예컨대, 깜빡임 동안 및/또는 하나 이상의 도약 동안) 객체(들)를 도입함으로써 수행될 수 있다. 하나 이상의 "보이지 않게 보이는" 객체를 도입하기 위한 (단독으로 또는 조합하여 사용되는) 다른 전략들은 배경과 비교하여 객체 해상도, 디테일, 색 콘텐츠, 휘도, 크기, 투명도 및/또는 콘트라스트를 점차적으로 변화시키는 것을 포함한다. 이들 방법의 일부 측면은 "변화 맹시"와 관련된 원칙을 사용하는데, 객체 또는 배경의 외관이 느린 변화는 관찰자의 눈에 띄지 않는다.
다른 실시예들에서, 잠재적인 객체는 사용자의 주의를 우발적으로 환기시키지 않으면서 조심스럽게 움직일 수 있다. 전술한 바와 같이, 상당한 양(예컨대, 최대 2°)의 객체 움직임이 도약 맹시의 기간 후에 용인될 수 있다. 이것은 "공백 효과"로 알려져 있으며, 도약이 예상되는 목표 지점에 완벽하게 착지하지 않을 때 움직임의 지각에 대한 가능성이 억제된다. 하나 이상의 잠재적인 타겟 객체의 추후 움직임은 탐구적인 사용자의 안구 움직임을 깜짝 놀래키거나 유인하지 않는 방식으로 도입될 수 있다. 이러한 움직임은 ("변화 맹시"의 요소를 사용하여) 느려질 수 있고 그리고/또는 특히 고해상도, 밝음, 큼, 세부 피처 포함, 불투명, 색상(들) 대비 또는 유사한 시각적 속성 중 하나 이상이 될 수 있는 하나 이상의 객체들로 인해 특정 방향으로 주의를 환기시키지 않는 방식으로 설계될 수 있다. 유사한 선상에서, 탐구적이거나 깜짝 놀랄만한 안구 움직임은 객체 움직임의 타이밍이나 시각적 속성의 변화가 균일한 것을 보장함으로써 회피될 수 있고, 이에 의해 하나 이상의 객체가 눈에 띄지 않는다(즉, 다른 객체에서 유사하거나 대응하는 변화 이전에 발생하는 하나 이상의 객체에서의 변화).
HRO들의 추가 예는 예컨대, 1인칭 슈팅 게임 내의 친구 또는 적 타겟, 이야기나 대화 중에 논의되는 객체, 높은 수준의 의사 결정을 할 때의 개념을 표현하는 심볼 또는 이미지(예컨대, 수학 연산, 흐름도, 구성 요소 부품, 회로 다이어그램, 주요 사실들)를 포함한다. 사용자가 중심와 뷰 내에 모든 심볼 및/또는 이미지를 동시에 유지하거나 혹은 단기 기억 또는 작업 기억 내에서 고려되는 것을 보장하기 위해 중심와 뷰 내에서 이러한 객체를 반복적으로 스캔할 필요 없이 이러한 객체(및 그 객체 나타낼 수 있는 것)의 존재를 인식하는 것이 유용하다.
다른 예시적인 실시예들에서, HRO들의 고해상도 렌더링은 이러한 비-중심와 객체의 식별, 정신적 연관성(들) 및 공간적 위치 파악을 도울 뿐만 아니라, HRO를 향한 도약(또는 머리 또는 안구의 다른 형태) 운동이 있는 경우에, 방금 설명한 바와 같이, 새로운 초점 중심 구역의 렌더링 속성은 크게 변하지 않는다. 이는 (새로운 시각적 특징의 도입과 관련된) 임의의 놀라게 하거나 또는 탐구적인 반사를 피하고 그리고/또는 새로운 시각 정보의 도입과 관련된 (전술한 "친숙함"의 인지 원리를 사용한) 인지 처리를 피한다. 그 대신 객체를 지각하는데 시간이 걸리면, 객체는 기억 및 도약( 및 임의의 수의 후속적인 정정 도약) 이전에 관찰자의 부중심와 또는 주변 뷰를 기반으로 예상했던 것과 변화 없는 것으로 지각된다.
HRO들의 고해상도 렌더링 구현에는 약간의 유연성이 있다. 동일한 이미지 내에서도 하나 이상의 스킴이 사용될 수 있다. 예를 들어, 1) 객체 형태를 나타내는 임의의 형상의 구역은 저해상도 배경 위에 중첩된 고해상도로 렌더링 될 수 있다. 2) 하나 이상의 HRO를 포함하는 전체 시야의 직사각형 구역이 고해상도로 렌더링 될 수 있다. 3) 하나 이상의 객체 주변의 원형 구역이 고해상도로 렌더링 될 수 있다. 이들 각각의 경우에, 고해상도 렌더링의 정도는 (선택적으로) 관찰자의 현재 (즉, 중심와) 뷰로부터의 거리의 함수일 수 있다.
일부 상황에서, 디스플레이의 고해상도 구역 또는 소위 "중심와" 구역의 크기를 변경하는 것이 바람직할 수 있다. 대체로 1° 내지 3°의 범위에 있는 개인의 중심와 크기의 생물학적 변화는 중앙의 고해상도 디스플레이 구역의 크기를 할당하는 데 사용될 수 있다. 또한 일부 애플리케이션 또는 안구-상호 작용의 형태 중에 고해상도 구역의 크기를 조정하는 것이 유리할 수 있다. 예를 들어, 개인의 작업 기억(예컨대, 높은 수준의 의사 결정) 내에서 고려해야 할 많은 수의 별개의 요소가 필요한 인지 프로세스 중에, 그 요소들(또는 그러한 요소를 나타내는 심볼)은 확장된 "중심와" 뷰 또는 고해상도 뷰 내에 디스플레이될 수 있다. 대조적으로, 다른 방향에서 도달하는 빠른 동작 및/또는 "위협" 객체를 수반하는 게임 애플리케이션에서, "중심와" 또는 고해상도 뷰는 더 큰 시간 해상도(즉, 더 높은 디스플레이 프레임 속도) 및/또는 특정 객체(예컨대, HRO들)의 고해상도 렌더링을 허용하기 위해 크기가 감소될 수 있다.
전술한 바와 같이, "포비티드 렌더링"과 같은 용어는 디스플레이 해상도의 변화를 설명하기 위해 본 발명이 속하는 기술 분야에서 통상적으로 사용된다. 중심와는 뚜렷한 해부학적 피처를 갖는 망막 내의 구조이지만, 인간-기계 인터페이스(HMI)의 관점에서, 중심와 영역의 생리적(즉, 기능적) 구역이 실제로는 주시 및 후속하는 HMI 도중에 가장 관련이 있다. "지각 필드 크기(PFS)"라는 용어는 본 발명이 속하는 기술 분야에서는 지각 중에 사용되는 중심와 내의 그리고 주위의 구역을 설명하기 위해 사용되었다.
광도는 개인의 PFS를 변화시킬 수 있다. 따라서, 예시적인 실시예들에서, 관찰된 고해상도(즉, "포비티드") 렌더링 구역의 크기는 망막에 도달하는 광량에 따라 변화될 수 있다. 이러한 광도는 VR 디스플레이와 같이 더욱 고도로 제어된 시각 환경에서 디스플레이되는 것에 대한 지식으로부터 결정될 수 있다. 대안적으로 또는 추가적으로, 특히 AR 또는 MR 디바이스를 사용할 때, 하나 이상의 광 다이오드, 광 트랜지스터, 또는 다른 광센서를 사용하여 안구 부근의 광을 측정할 수 있다. 하나 이상의 광학 필터를 사용하여 특정 범위의 파장(아래 참조)을 선택할 수 있다.
더욱 구체적으로, 망막에 도달하는 광량이 감소함에 따라, PFS가 증가한다. 따라서 고해상도 렌더링 구역의 크기는 이러한 변화를 수용하기 위해 증가될 수 있다. 반대로, 광도가 증가함에 따라 PFS가 감소하여, 고해상도 렌더링 구역의 크기가 감소될 수 있다.
생리학적으로, 이러한 변화는 빛이 풍부할 때 중심와의 중앙 구역에서 고농도의 콘(비교적 빛에 덜 민감하지만 색상 정보를 인코딩함)을 사용하며, 중심와의 중앙 구역에서 멀어 질수록 증가된 밀도로 표현되는 광 감응식 로드를 사용하여 시력의 변화가 있는 개념과 일치한다.
더욱 구체적으로는, 가시 스펙트럼(즉, 약 400 내지 550 나노미터 범위의 파장을 갖는)의 청색 및 녹색 부분에서의 빛의 파장은 지각 필드의 크기를 조절하지만, 적색 빛은 크기에 영향을 미치지 않거나 적게 영향을 미친다. 따라서, 예시적인 실시예들에서, 디스플레이의 중앙 주시 구역 내의 고해상도 렌더링은 구체적으로 가시 스펙트럼의 청록색 부분의 빛의 유무에 따라 제어될 수 있다.
다른 실시예들에서, 중앙 디스플레이 구역의 렌더링의 (PFS에 기반한) 변화는 안구(들)가 새로운 광 조건에 적응하는데 필요한 시간을 고려할 수 있다. 콘(cone)의 적응은 신속하게 시작되지만, 완전히 적응하려면 최대 몇 분이 소요될 수 있다. 로드의 반응은 더 오래 걸리며 완전히 적응하려면 20 내지 30분이 소요된다. 따라서, 예시적인 실시예들에서, 상이한 광 조건을 수용하기 위한 전환은 시각적 수용의 시간 경과 및 규모와 일치시키기 위해 (디스플레이의 고 프레임 속도와 비교할 때) 점진적으로 수행될 수 있고, (예컨대, 빛 적응 대 시간 곡선의 지수 형태와 대략적으로 부합되도록) 순차적으로 수행될 수 있다.
본 명세서에서 상세하게 설명한 바와 같이, 짧은 도약들(예컨대, <5°)은 의도된 타겟 위치를 언더슈트하는 경향이 있고, 긴 도약들(예컨대, <10°)은 의도된 타겟 위치를 언더슈트하는 경향이 있다. 다른 실시예들에서, 추적 오류의 추정과 함께 이러한 경향은 안구 운동 중에 의도된 타겟 위치 주위의 디스플레이 상에서 더욱 높은 해상도로 렌더링된 (이른바 "중심와") 구역의 크기 및 형상을 구조화하는데 사용될 수 있다.
예를 들어, 예상되는 도약 타겟 도달 위치 주위의 구역에 추가하여, 긴 도약이 검출될 때 도약과 같은 방향으로 타겟 영역을 넘어서 연장되는 추가 구역이 고해상도로 렌더링 될 수 있다. 상기 연장은 일반적으로 긴 도약의 언더슈트(일반적으로 약 20°)를 구성하도록 하나 이상의 정정 도약이 발생하는 것을 예상할 수 있다. 긴 도약이 검출되자마자 고해상도로 이러한 구역을 렌더링하면 사용자는 도달시 또는 이후의 정정 도약 중에 고해상도 (소위 "중심와") 이미지를 볼 수 있다. 이는 사용자가 의도한 타겟 위치에 점진적으로 도달하는 동안 구역의 해상도가 (갑자기 산만하게) 변경되는 것을 방지한다.
유사한 선상에서 짧은 도약은 의도된 타겟 위치를 오버슈트(overshoot)하는 경향이 있다. 따라서, 예시적인 실시예들에서, 타겟 도달 영역을 고해상도로 렌더링하는 것 이외에, 출발 위치와 (도달 영역에 인접한) 도달 위치 사이의 추가 구역은 짧은 도약을 오버슈트하는 경향을 고려하여 고해상도로 렌더링 될 수 있다. 이러한 방식으로, 하나 이상의 정정 도약이 일반적으로 응시 위치를 의도된 도달 위치로 되돌리는 영역에서 하나 이상의 구역을 다시 렌더링하는 것이 최소화된다.
다른 실시예들에서, 안구 움직임 타겟 위치에 기반한 고해상도 구역의 크기 및/또는 형상은 응시 위치 또는 예측 및/또는 측정된 도달 위치를 결정하는데 있어서 예상되는 오류의 정도를 고려하는 것을 포함할 수 있다. 응시 위치의 측정에서의 오류의 정도(또는 반대로, 신뢰의 표시)는 다음을 포함하는 다수의 요인에 기반하여 추정될 수 있다.
· 특정 사용자 및/또는 최근 사용(특히 사용자가 알려진 객체 위치를 보고 있는 것으로 식별되는 경우)에 대한 응시 위치 변화의 전체 척도,
· 헤드셋 및/또는 사용자의 머리 구역 내에 있을 수 있는 진동 및 기타 기계적인 가속도(앞에서 설명함),
· 광의 균일성 및/또는 강도,
· 비디오 이미지 내의 랜덤(예컨대, 소위 "샷(shot)") 노이즈의 정도,
· 안구 추적 측정을 흐리게 할 수 있는 장애물(예컨대, 눈썹)의 존재,
· 떨림 및/또는 안구의 진동과 같은 추가 동작의 존재,
· 깜빡임의 발생, 및
· 안구 구조를 식별할 때 하나 이상의 알고리듬에 의해 결정되는 다수의 요인(예컨대, 템플릿과의 부합 정도).
추가로, 도달 위치를 예측하거나 예상할 때, 속도에 기반한 (공간적 및 시간적) 오류 및 안구 작동의 비탄도 속도 프로파일(개인마다 다를 수 있음)에 대한 임의의 경향이 고려될 수 있다.
예시적인 실시예들에서, 고해상도로 렌더링된 디스플레이 구역의 크기 및/또는 형상은 응시 측정 및/또는 예측된(즉, 속도에 기반한) 도달 위치에서의 예상된 오류 정도의 추정치에 기반하여 동적으로 조정될 수 있다. 일반적으로, 오류의 추정치가 증가하면 응시 위치의 증가된 불확실성을 수용하기 위해 고해상도 구역의 크기가 증가될 수 있다. 이러한 방식으로, 사용자가 실제로 디스플레이의 고해상도 렌더링을 주시하는 것을 더 보장한다.
유사한 선상에서, 우세한 방향(예를 들어, 디스플레이의 가장자리 부근)에서의 응시 측정에서 최근 움직임(들)의 속도 및/또는 임의의 의심되는 노이즈에 기반하여, 구역의 형상은 명백한 움직임(들)의 방향, 움직임(들)의 크기 및/또는 노이즈의 정도와 분포에 기반하여 조정될 수 있다. 예를 들어, 노이즈 측정치 및/또는 불확실성이 일반적으로 디스플레이의 가장자리 부근에서 증가되는 경우에, 고해상도 구역의 형상은 증가된 노이즈/불확실성을 수용하기 위해 디스플레이의 가장자리를 향하는 방향으로 확장될 수 있다.
추가의 예시적인 실시예들에서, (예컨대, HRO들이 아니고 그리고/또는 중심와 뷰 내의) 선택된 디스플레이 구역 내의 대역폭을 줄이기 위한 대안적인 또는 부가적인 방법은 이러한 구역의 색상 콘텐츠를 감소시키는 것을 수반한다. 이미지의 색상 표현은 적색, 녹색 및 청색(즉, RGB) 강도의 기반 디스플레이에 부가하여, 휴(hue), 틴트(tint), 채도(colorfulness), 크로마(chroma), 순도(saturation) 및 휘도(luminance)와 같은 용어 사용과 관련된 방법을 포함하는 여러 가지 방식으로 자주 설명된다. 색상 콘텐츠를 감소시키는 것은 하나 이상의 디스플레이 가능한 컬러의 전체 범위(즉, 가장 어두운 것에서 가장 밝은 것)를 감소시키고 및/또는 해상도를 감소시키는 것(즉, 특정 색상에 대한 선택 가능한 강도의 수를 감소시키는 것)을 포함할 수 있다. 대안적으로, 다른 것과 비교된 하나의 색상의 비율 또는 상대 강도가 계산(및 전송)되는 스킴 내에서, 이러한 상대 강도의 범위 및/또는 해상도는 감소될 수 있다. 색상 범위 및/또는 해상도를 감소시킴으로써, (픽셀 또는 픽셀 그룹 내에서) 각각의 색상을 표현하는 데 필요한 비트 수는 감소되고, 이에 의해 이러한 영상을 전송하는데 필요한 대역폭을 감소시킬 수 있다.
많은 태양에서, 비중심와 디스플레이 구역의 색상 콘텐츠의 감소를 포함하는 실시예들은 생체 모방적(biomimetic)이다. 위에서 설명한 바와 같이, 시각계는 주변 시야 내에서 객체 세부 사항 및 객체 색상 모두를 식별하기에는 일반적으로 열악하다. 따라서 부중심와 및/또는 주변 구역 내의 컬러 콘텐츠 및/또는 세부 사항을 감소시킴으로써 대역폭을 감소시키는 스킴은 인간 시각 시스템에 의해 이러한 이미지를 처리하는 능력과 일치한다.
추가적인 실시예들에서, 객체의 관련성은 다음과 같은 다수의 방법들로 결정될 수 있다. 1) 전형적인 소프트웨어 애플리케이션의 경우에, 애플리케이션 개발자는 임의의 디스플레이된 스크린 내의 각기 다른 객체들에 관련성을 할당할 수 있다. 안구 신호를 수반하는 메뉴 선택, 이야기 도중의 핵심 문자의 이미지, 텍스트 본문 내의 표제 및 페이지 번호, 하이퍼링크 및 수신 텍스트는 높은 관련성이 할당될 수 있는 객체의 예이다. 2) 실제 객체 및 가상 객체의 임의의 조합으로 구성된 장면에 기반하여, 장면 내의 특정 객체의 관련성은 본 발명이 속하는 기술 분야에서에 공지된 이미지 인식 기술을 사용한 객체 식별에 기반하여 알고리듬적으로 결정될 수 있다. 예를 들어, 모든 얼굴 또는 특정 얼굴을 고해상도로 표시할 수 있다. 유사하게는, 적어도 시각적인 눈길을 끌기를 기대하면서, 사용자에게 "경고하는" (즉, 시각적으로 부르거나 외치는) 아이콘이 고해상도로 표시될 수 있다. 3) 하나 이상의 객체에 의해 수행되는 특정 활동의 기계-기반 인식은 관련성이 높은 상태를 유발할 수 있다. 예를 들어, 환경 내의 얼굴이 화난 것으로 식별되거나 또는 말하기 과정과 관련이 있는 것으로 밝혀지면 관련성이 높아질 수 있다. 4) 신경망 및 다른 형태의 기계 학습 접근법이 (예컨대, 반복된 선택에 의해) 특정 사용자에게 통상적으로 중요한 객체를 결정하는데 사용될 수 있다. 예를 들어, 사용자가 일반적으로 하루 중 특정 시간대에 야구 점수를 검토하면, 기계 학습 접근법을 통해 이러한 점수가 업데이트될 때 고해상도로 표시될 수 있다.
추가적인 실시예들에서, 관련성은 특정 객체에 할당될 수 있는 임의의 수의 조건에 의해 변조될 수 있다. 예를 들어, 스포츠 점수는 처음 발표되었을 때는 관련성이 있지만 시간이 지남에 따라 관련성은 감소할 수 있다. 특정 스포츠에 관한 이미지는 연중 특정 시간대에 높은 관련성을 부여받을 수 있다. 대중교통 일정 및/또는 공지 사항은 하루 중 특정 시간대 및/또는 특정 요일에 높은 관련성이 부여될 수 있다. 일정 이벤트는 예정된 이벤트 이전의 선택된 시간과 관련될 수 있다.
사용자에게 가까이 있고 그리고/또는 사용자를 향해 이동하는 것으로 디스플레이되는 객체에는 증가된 관련성이 할당될 수 있다. 순간적인 응시 위치와 비교되는 특정 방향 내의 객체는 더 높은 관련성이 할당될 수 있다. 예를 들어, 글자/심볼이 일반적으로 왼쪽에서 오른쪽 및 위에서 아래로 배치되는 언어(예컨대, 영어, 프랑스어, 독일어)를 사용하여 오른쪽 및/또는 아래에 위치되는 글자 및 단어를 읽는 경우에, 텍스트 및/또는 객체가 주시되는 시퀀스로 지향되는 응시를 예상하여 증가된 해상도로 응시 위치가 디스플레이될 수 있다.
일부 경우에, 절대 위치(즉, 디스플레이와 관련된)가 관련성의 결정 요인 중 하나 일 수 있다. 의도적이고, 기억-유도 도약 안구 운동의 잠재적인 타겟은 이 범주 내에서 특히 유용한 부류이다. 예를 들어, 안구-신호 언어 내에서 하나 이상의 활성화 타겟 및/또는 선택 가능한 객체가 주어진 애플리케이션 내의 동일한 위치(들)에 나타나거나 또는 대부분의 애플리케이션에 나타날 수 있다. 잠재적인 타겟으로서 이러한 잠재적인 HRO 타겟은 강화된 공간 및/또는 색상 해상도로 디스플레이될 수 있다.
객체들의 관련성은 등급이 매겨질 수 있다(즉, 연속 스펙트럼 내에서 점수가 할당됨). 관련성이 높은 다수의 객체가 동시에 디스플레이될 경우에, 낮은 관련성 점수를 갖는 (그러나 여전히 높은 관련성 브래킷 내에 있는) 객체들은 사용 가능한 대역폭 내에 머물기 위해 적어도 일시적으로 감소된 해상도로 디스플레이될 수 있다.
대역폭 감소는 하나 이상의 처리 유닛 및/또는 전송 장치에 의한 전반적인 처리 요구를 줄이기 위해 다른 전략과 함께 상승적으로 사용되어 전력 소비를 제어할 수 있다. 이러한 전략들은 추가적으로 모바일 애플리케이션 동안 원하지 않는 발열을 감소시키고 배터리 수명을 연장시킬 수 있다.
사용자가 기능적으로 실명인(예컨대, 깜빡임 억제 또는 중심와 억제 동안) 기간(본 명세서의 다른 부분에서 설명함)과 같이, 디스플레이가 필요하지 않은 시간 동안, 디스플레이는 (일시적으로) 업데이트되지 않을 수 있고 그리고/또는 일부 디스플레이/프로세싱 구성요소는 전자적으로 꺼질 수도 있다. 이 시간 동안, 전송이 일시 중지될 수 있거나, 혹은 또는 대안적으로, 사용자가 기능적 실명 상태에서 완전한 시각으로 복귀 할 때의 필요성을 예상하여 디스플레이 정보의 전송이 지속될 수 있다. 예를 들어, 고해상도 중앙 (중심와) 뷰의 디스플레이는 일시적으로 정지될 수 있지만, 디스플레이 구역의 일반적으로 정적이고(예컨대, 배경) 그리고/또는 주변인 구역은 기능적 실명의 시간 동안 업데이트될 수 있다. 이러한 스킴은 가용 시간과 대역폭을 최대한 활용할 수 있다.
사용자의 주의 집중을 결정하는 객체 현저성 포함
생리학적으로 인간의 시각 정보 처리의 제1 단계 중 하나는 망막 내의 신경절 세포 수준에서 발생한다. 이들 세포는 고리 형상의 주변 구역과 비교하여 중심 구역 내의 광 수용체에 부딪치는 빛의 차이가 있을 때 뉴런이 발사하는 소위 "중앙-서라운드 수용 필드" 패턴 내에 배치된다. 이러한 배열의 최종 결과는 후속하여 뇌로 전송되는 에지의 위치들(즉, 사전에 정해진 레벨을 초과하는 공간적 구배)의 검출이다.
뇌가 주로 객체를 식별하기 위해 에지를 사용한다는 사실은 주시되는 객체의 전체 몸체 내의 서로 다른 구역이 서로 다른 정도의 시각적 주의를 수신한다는 증거이다. 휘도 및/또는 색상 변화의 콘트라스트가 높은 구역은 일반적으로 대부분의 시각적 주의를 수신한다. 결과적으로, 관찰자의 포커스는 종종 객체의 기하학적 중심이 아닌 콘트라스트가 높은 구역에 집중된다. 이는 하나 이상의 객체 특징 또는 기준 위치(들)(예컨대, 객체 중심)에 대해 관찰자가 가장 자주 보는 위치들을 실험적으로 식별하는 소위 "현저성 맵(saliency map)"의 구성 및 사용을 초래한다.
객체(또는 객체의 일부분)의 "현저성"은 객체의 물리적 피처에 의해서만 결정되는 것은 아니다. 현저성은 관찰자의 (일부 경우에 시간에 따라 변하는) 관심에 달려있다. 예를 들어, 거의 모든 안면 형태(인간 또는 다른 동물) 내의 안구에 관한 구역은 종종 현저성이 높은 구역으로 간주된다. 일부 경우에, 관찰자가 객체 또는 객체의 일부분(들)의 현저성에 영향을 미치도록 "학습"할 수 있다. 예를 들어, 처음에는 개인을 깜짝 놀라게 할 수 있는 (또는 다른 감정적인 반응을 일으키는) 객체를 반복적으로 보게 되면, 객체와 그 피처가 더 익숙해짐에 따라 전반적인 현저성을 줄이는 방법을 궁극적으로 학습할 수 있다.
현저성의 결과로, 객체 내의 일부 피처는 다른 것보다 더 자주 주시될 수 있다. 그 결과, 하나 이상의 측정에 기반하여 응시 초점 및/또는 객체를 결정하는 임의의 형태의 "평균화" 또는 다른 통계적 수단은 이러한 바람직한 주시 방향/위치들을 고려해야한다. 전형적으로, 일련의 공간 측정을 평균화하는 것은 일부 기준 위치에 대해 오류의 반경 방향으로 대칭인(예컨대, 가우스(Gaussian)) 분포의 어떤 형태를 추정한다. 그러나 하나 이상의 객체 내에서 선호하는 주시 위치가 있는 경우에, 상기 추정(즉, 반경 방향으로 대칭)이 일반적으로 충족되지 않아, 다수 측정치의 통계 처리를 위한 소위 "확률 밀도 함수"(PDF)의 개념을 유도한다.
예시적인 실시예들에서, 추정된 (예컨대, 객체의 콘트라스트가 높은 구역에 기반한) 또는 경험적으로 측정된 현저성 맵은 특정 디스플레이된 객체와 관련된 PDF를 결정하는데 사용될 수 있다. 일단 예측되거나 측정된 PDF가 결정되면, 다수의 응시 위치 측정치는 각각의 객체와 관련된 개별적인 PDF를 고려하는 방식으로 (예컨대, 가중된 평균화를 사용하여) 결합될 수 있다. 가중치 계수는 PDF에 의한 공간 분포에 기반하여 계산된다.
응시 위치들의 결합된 (예컨대, 가중화된 평균) 측정은 일반적으로 개별 응시 측정과 비교하여 사용자 주의의 추정치 내에서 더 높은 신뢰도 및 공간 정확도를 제공한다. 이러한 측정은 현대의 안구 추적 시스템 내에서 카메라 프레임 속도 (즉, 단위 시간당 획득될 수 있는 응시 측정의 최대 개수에 대응함)가 증가함에 따라 실행 가능하고 가치가 있다. 결합된 응시 추정치는 특히 사용자 주의(예컨대, 도약 도달)가 특정 객체의 중심(또는 임의의 다른 기준 위치)으로부터 사전에 정해진 거리 내에 위치하는지를 결정하는데 사용될 때 유용하며, 따라서 선택을 나타내고 그리고/또는 선택된 객체(및/또는 다른 파라미터들)와 관련된 액션을 개시할 수 있다. 현저성과 결과적인 PDF를 고려한 결합된 측정의 사용은 안구 신호 언어 내에서 주시되고 그리고/또는 선택된 객체를 결정할 때 정확성과 일관성이 향상된다(반대로 우발적인 활성화가 감소된다).
도 35는 객체(760)에 대한 예상 현저성 맵의 예를 도시한다. 예시적인 객체는 간단한 이등변 삼각형(760)으로 구성된다. 도 35에 도시된 현저성 맵에서, 현저성이 가장 높다고 추정되는 초점 포인트는 삼각형(760)의 변들이 교차하는 곳에 위치되고, 현저성의 정도는 그레이 스케일 레벨(761a, 761b, 761c)(가장 높은 현저성 구역을 나타내는 검은색)에 의해 표현된다. 객체(즉, 이등변 삼각형)(760)의 기하학적 중심은 십자선(762)으로 표시된다.
현저성 맵(761a, 761b, 761c)은 객체 중심(762)을 통과하는 점선으로 도시된 수직 축선(763b)의 좌측 및 우측의 동일한 구역을 포함한다. 따라서, 수평 축선에서의 응시 측정은 결합된 수평 응시 위치를 결정할 때 동등하게 가중될 수 있다. 그러나, 객체 중심(762)을 통가하는 점선으로 도시된 수평 축선(763a)의 위(761a)와 비교할 때 그 아래에 현저성 피처(761b, 761c)가 더 많이 존재한다. 따라서 관찰자에 의한 응시 측정이 객체(762)의 기하학적 중심의 위보다 아래에서 이루어질 것으로 예상된다.
도 35에 도시된 단순한 경우에, 축선(763a) 위에 비해 중앙 수평 축선(762a) 아래에 두 배의 현저성 구역이 있다. 객체를 주시하는 관찰자는 객체의 기하학적 중심(762) 아래를 처음에 타겟하고 그리고/또는 (마이크로 도약, 떨림 중을 포함하는) 나중에 수평 중심 라인(763a) 아래의 객체 피처를 관찰할 가능성이 두 배가 된다. 따라서 수평 축선(763a) 위의 각각의 측정은 축선(736a) 아래 비해 위에서 두 배의 관측이 이루어진 것처럼 가중되어야 한다. 이를 가중화하고, 다른 모든 오류의 소스가 무작위라고 추정하면, 많은 수의 응시 측정에 따른 가중 평균이 객체(762)의 실제 기하학적 중심으로 수렴된다.
구역들 및 클러스터들의 안구-신호 선택
많은 HMI(인간-기계 인터페이스) 시스템에서 발견되는 기본 구성요소는 클러스터들 또는 객체 그룹들을 특정하고 이들과 상호 작용하는 기능을 포함한다. 이러한 객체의 예로는 데이터 파일, 애플리케이션, 이미지, 아이콘 표현 기능, 이름, 주소, 전화 번호, 텍스트 내의 단어, 하이퍼링크, 비디오, 오디오 녹음, 표면 등의 집합이 모음이 있다. 현재의 시스템 내에서, 전형적인 스크린-기반 GUI(그래픽 사용자 인터페이스)들은 사용자가 (예컨대, 터치 스크린 또는 컴퓨터 마우스를 사용하여) 클러스터 내의 소망하는 객체의 표현을 포함하는 스크린 상에 하나 이상의 일반적으로 직사각형 구역을 지정할 수 있게 함으로써 클러스터의 그룹화를 처리한다. 예를 들어, 클러스터 내의 모든 객체 또는 기능에 대해 작업들이 동시에 수행될 수 있다.
안구 시그널링 중의 도전은 빠른 도약 안구 운동의 고유한 "포인트-투-포인트(point-to-point)" 특성뿐만 아니라 주시 가능한 아이템(즉, 타겟)이 각각의 움직임 중에 안구가 도달하도록 제공된 필요성이 있다는 점으로 인해 발생한다. 이는 사용자의 안구 운동이 안구 운동의 생리학을 고려한 GUI 전략 없이 특정 및 임의의 크기의 구역을 식별하는 것을 어렵게 만든다.
예시적인 실시예들에서, 디스플레이 상의 객체들의 클러스터들은 식별 가능한 도약 안구 운동의 시퀀스를 고려하여 선택될 수 있다. 도약 시퀀스에 의해 특정된 영역 내의 모든 객체는 선택의 일부로 포함된다. 임의의 크기 또는 형상의 구역 내에 임의의 수의 객체를 포함하도록 다수의 영역이 순차적으로 선택/추가될 수 있다.
안구-신호 언어 내에서, 선택 가능한 구역의 모서리는 상기 모서리의 위치에서 "영역 선택" 타겟으로의 도약 안구 운동에 의해 특정될 수 있다. 일반적으로, 선택될 영역은 직사각형이지만, 예를 들어, 실질적으로 일차원인 요소의 목록으로부터 다수의 요소를 선택할 때 다른 선택 형상이 가능하다. "영역 선택" 타겟은 한 구역 경계의 선택 이외의 특정 기능과 관련이 없다.
영역을 특정하는데 사용되는 안구 운동의 특정 시퀀스에 변형이 있을 수 있다. 그러나 이러한 안구 운동 시퀀스의 필수 요소는 1) 두 가지 도약 안구 운동을 사용하여 직사각형 구역의 두 개의 (인접하지 않은) 모서리를 지정하는 기능, 2) 추가적인 한 쌍의 안구 운동과 함께 추가적인 영역을 클러스터에 선택적으로 추가하는 기능, 3) 하나 이상의 구역의 우발적인 선택을 정정하거나 "잊어버리는" 기능, 4) 추후에 하나 이상의 선택된 구역에서 (객체에 의해 표현되는 기능을 포함하는) 객체에 대해 선택 가능한 액션을 수행하는 기능을 포함한다.
"영역 선택" 타겟을 표시하는 액션은 (활성화 구역의 수를 최소화하기 위해) 소위 "진행" 선택 시퀀스 내에 내장될 수 있다. 그러나, 많은 애플리케이션에서 "영역 선택" 타겟을 매번 (또는 적어도 대부분) 사용할 수 있도록 하는 것이 더욱 사용자 친화적이며 효율적일 수 있다. 또한, 객체가 거의 없는 디스플레이 영역이 큰 경우에, 다른 보일 수 있는 객체의 부재로 응시가 도달할 수 있는 시각적인 "휴식 영역(rest area)"을 제공하기 위해 선 격자 또는 도트 매트릭스와 같은 그래픽 큐를 배경 내에 중첩시거나 포함시키는 것이 도움이 될 수 있다.
도 36a 내지 36c는 디스플레이(770) 상에 나열된 잠재적인 텍스트 메시지 또는 이메일 수신자(771)의 어레이로부터 다수의 개인을 선택하기 위한 일련의 안구 운동(773a, 773b)을 도시한다. 도 36a에서, 디스플레이(770) 상의 구역(775a) 내의 수신자 그룹(Peter, Merry, Dave, C.J.)은 우선 (움직임 방향(773a)을 나타내는 화살촉을 포함하는 실선으로 나타낸) 선택된 구역(775a)의 모서리(772a)에서 "영역 선택" 타겟 아이콘(이 경우, 중앙 초점 스폿(774a)을 갖는 점선으로 만들어진 정사각형)으로 도약 안구 운동을 수행함으로써 선택될 수 있다. 그 후, 사용자는 소망하는 요소를 포함하는 구역(775a)의 제2 모서리(772b)를 탐색하기 위해 (활성화 타겟(774b)에 대한 도약이 수행되지 않는 한) 임의의 수의 추가적인 안구 운동을 수행할 수 있다. 일단 사용자에 의해 발견되면, 구역(775a)의 제2 모서리(772b)에서 영역 선택 타겟(774a)으로의 도약(773b)은 선택된 이름을 갖는 구역(775a)을 정의한다.
이 시점에서, 영역 선택 타겟(774a)에서 활성화 타겟(774b)으로의 도약은 제1 선택 구역(775a) 내의 네 개의 이름에 기반하여 액션(즉, 수신자로 이메일을 송신)을 개시할 것이다. 그러나, 도 36b에 도시된 바와 같이, 수신자 이름의 다른 구역이 액션에 포함되는 경우, 제2 선택 구역(775b)의 초기 모서리(772c)는 선택된 모서리(772c)에서 영역 선택 타겟(774a)으로의 도약(773c)에 의해 특정될 수 있다. 선택된 제1 구역(775a)과 유사하게, 사용자는 이후에 선택된 요소들을 포함하는 제2 구역(775b)의 제2 모서리(772d)를 탐색하기 위해 (활성화 타겟(774b)에 대한 도약이 수행되지 않는 한) 임의의 수의 탐색적인 안구 운동을 수행할 수 있다. 사용자에 의해 일단 발견되면, 구역(775b)의 제2 모서리(772d)에서 영역 선택 타겟(774a)으로의 도약(733d)은 추가적으로 선택된 이름(즉, Art, Kris)을 갖는 구역(775b)을 정의한다. 대안적으로, 모서리 요소(772a, 772b)가 선택되는 순서는 반대로 될 수 있다.
추가로 이름이 목록에 추가되지 않으면, 사용자는 선택된 구역(775b)의 제2 모서리(772d)에서 활성화 타겟(774b)으로 직접적인 도약 안구 운동(화살촉이 있는 점선으로 도시됨, 777)을 만들 수 있으며, 이에 의해 이메일 수신자 목록에 제2 이름 세트를 추가하고 활성화 시퀀스 내에서 기능을 수행한다(예컨대, 이메일 송신). 대안적으로 (총 안구 운동 관점에서 덜 효율적임에도 불구하고), 영역 선택 타겟(774a)으로의 도약(773d) 이후에, 후속하는 활성화 타겟(774b)으로의 직접적인 도약이 수신자의 결합된 제1 세트(775a) 및 제2 세트(775b)에 선택된 기능을 유사하게 적용할 것이다.
도 36c는 하나의 추가 이름(Phil, 776)을 이메일 수신자들의 목록에 첨부하기 위해 사용될 수 있는 일련의 추가 안구 운동을 도시한다. 이러한 추가 수신자(771)를 탐색하기 위해 영역 선택 타겟(773c)으로부터 도약(773e)이 이루어질 수 있다. 일단 발견되면, 단일 선택(필, 776)에서 활성화 타겟(774b)으로의 직접적인 도약(773f)이 누적된 목록에 단일 요소를 포함시키고, 선택된 액션을 개시한다. 이 경우에, 단지 하나의 요소가 선택되었기 때문에 디스플레이(770) 상에 구역을 정의할 필요는 없다; 그러나, 영역 선택 타겟(774a)에서 활성화 타겟(774b)으로의 직접적인 도약에 후속하여, 영역 선택 타겟(774a)을 사용하여 하나의 요소를 포함하는 구역이 선택되는 경우에 동일한 결과가 달성된다.
특정 실시예들로 설명된 다양한 구성요소들 및 피처들 실시예들의 의도된 사용에 따라 다른 실시예들에 추가, 삭제 및/또는 대체될 수 있음을 이해할 것이다.
또한, 대표적인 실시예들을 설명할 때, 본 명세서는 특정 단계들의 시퀀스로서 방법 및/또는 프로세스를 나타낼 수 있다. 그러나, 방법 또는 프로세스가 본 명세서에 설명된 특정 순서의 순서에 의존하지 않는 한, 방법 또는 프로세스는 설명된 특정 단계의 순서에 제한되지 않아야 한다. 당업자가 이해할 수 있는 바와 같이, 다른 단계들의 시퀀스가 가능할 수 있다. 그러므로, 본 명세서에 기재된 단계들의 특정 순서는 청구 범위에 대한 제한으로 해석되지 않아야 한다.
본 발명은 다양한 변형 및 대안적인 형태가 가능하지만, 그 특정 예가 도면에 도시되어 있으며 본 명세서에서 상세히 설명된다. 본 발명은 개시된 특정 형태 또는 방법에 한정되지 않으며, 본 발명은 첨부된 청구 범위의 범주 내에 속하는 모든 변형, 등가물 및 대안을 포함하는 것으로 이해되어야 한다.
Claims (171)
- 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 검출기를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 깜빡일 때를, 검출기로, 식별하는 단계;
깜빡임에 이어지는 깜빡임-후 깜빡임 기간 이내에 사용자의 한쪽 또는 양쪽 안구의 안구 운동이 시작하는 것을, 검출기로, 확인하는 단계;
안구 운동이 사전 결정된 깜빡임-후 도약 임계 속도를 초과하는 사용자의 한쪽 또는 양쪽 안구의 도약 속도에 기반하는 도약인 것을, 검출기로, 분류하는 단계; 및
도약 안구 운동과 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 1에 있어서,
깜빡임에 이어지는 깜빡임-후 지속 기간이 최대 200밀리초인 것을 특징으로 하는 방법. - 청구항 1에 있어서,
깜빡임-후 도약 임계 속도가 20°/초인 것을 특징으로 하는 방법. - 청구항 1에 있어서,
액션을 수행하는 단계가 도약 안구 운동의 의도를 해석할 때 사전 결정된 지연을 포함하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 1에 있어서,
액션을 수행하는 단계가 도약 안구 운동에 기반한 액션을 수행할 때 사전 결정된 지연을 포함하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 1에 있어서,
액션을 수행하는 단계가 사전 결정된 시간만큼 디스플레이 상에 가상 객체를 도입하는 것을 지연하는 단계를 포함하는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기 및 디스플레이를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 객체에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 객체로부터 디스플레이 상의 타겟 위치를 향하는 도약을, 검출기로, 식별하는 단계;
도약을 식별하는 단계에 적어도 부분적으로 기반하여, 도약 중의 디스플레이 상에서, 디스플레이되는 객체들 중 하나 이상의 위치를 디스플레이 상의 타겟 위치 둘레의 사전 정의된 영역 내에서 이동시키는 단계;
타겟 위치로부터 사전 결정된 거리 이내까지 도약이 완료됨을, 검출기로, 확인하는 단계;
디스플레이되는 객체들 중 하나를 추종하는 하나 이상의 안구 응시 운동을, 검출기로, 결정하고, 이에 의해 추종되는 객체를 식별하는 단계; 및
타겟 위치 및 추종되는 객체 중 하나 이상에 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 7에 있어서,
하나 이상의 디스플레이되는 객체의 위치를 이동시키는 단계가 그 이동이 사용자에 의해 지각되지 않는 깜빡임 효과를 발생시키는 것을 특징으로 하는 방법. - 청구항 7에 있어서,
하나 이상의 안구 응시 운동이 원활 추적(smooth pursuit), 도약, 폭주 운동(vergence movement), 및 하나 이상의 원활 추적, 도약 또는 폭주 운동을 포함하는 두 개의 안구 응시 운동의 조합을 포함하는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 제1 키보드 상의 제1 키에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제1 키로부터 제2 키보드 상의 제2 키를 향하는 제1 도약을, 검출기로, 식별하는 단계;
제1 도약이 제2 키의 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계; 및
사용자에 의한 제2 키의 지각을 기다리지 않고 제1 키 및 제2 키 중 하나 또는 둘 다와 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 10에 있어서,
제1 키보드가 디스플레이 상에 투사되는 가상 키보드 및 실제 키보드 중 하나인 것을 특징으로 하는 방법. - 청구항 10에 있어서,
제2 키보드가 디스플레이 상에 투사되는 가상 키보드 또는 실제 키보드 중 하나인 것을 특징으로 하는 방법. - 청구항 10에 있어서,
액션이 제1 키와 관련된 알파뉴메릭 문자를 일련의 알파뉴메릭 문자들에 결부시키는 것을 포함하는 것을 특징으로 하는 방법. - 청구항 13에 있어서,
제1 키와 관련된 알파뉴메릭 문자를 결부시키는 것이 단어 또는 숫자 중 하나를 형성하는 것을 특징으로 하는 방법. - 청구항 10에 있어서,
제1 키보드 및 제2 키보드가 디스플레이 상에 서로 인접하게 제시되는 가상 키보드들인 것을 특징으로 하는 방법. - 청구항 10에 있어서,
제1 키보드 및 제2 키보드가 하나 이상의 숫자, 글자 또는 특수 문자를 포함하는 다수의 알파뉴메릭 키들을 포함하는 것을 특징으로 하는 방법. - 청구항 10에 있어서,
제1 키보드 및 제2 키보드가 동일한 레이아웃을 갖는 것을 특징으로 하는 방법. - 청구항 10에 있어서,
제1 키보드 및 제2 키보드가 서로 다른 레이아웃을 갖는 것을 특징으로 하는 방법. - 청구항 10에 있어서,
액션이 제1 키에 할당된 알파뉴메릭 심볼을 디스플레이상의 필드에 추가하는 것을 포함하는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기를 이용하여, 제공하기 위한 방법으로,
다수의 키를 구비하는 제1 영역을 포함하는 제1 키보드 및 다수의 키를 구비하는 제2 영역을 포함하는 제2 키보드를 제공하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제1 키보드의 제1 영역에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제1 키보드의 제1 키에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제1 키로부터 제2 키보드의 제2 영역을 향하는 제1 도약을, 검출기로, 식별하는 단계;
제1 도약이 제2 키보드의 제2 영역 내에서 완료되는 것을, 검출기로, 확인하는 단계; 및
사용자에 의한 제2 키보드의 제2 영역의 지각을 기다리지 않고 제1 키와 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 20에 있어서,
사용자의 한쪽 또는 양쪽 안구가 제2 키보드의 제2 키에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제2 키로부터 제1 키보드의 제1 영역을 향하는 제2 도약을, 검출기로, 식별하는 단계;
제2 도약이 제1 키보드의 제1 영역 내에서 완료되는 것을, 검출기로, 확인하는 단계; 및
사용자에 의한 제1 키보드의 제1 영역의 지각을 기다리지 않고 제2 키와 관련된 액션을 수행하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 청구항 21에 있어서,
액션이 제1 키에 적어도 부분적으로 기반하여 제2 키보드의 키들 상에 제시된 심볼들을 변경하는 것을 포함하는 것을 특징으로 하는 방법. - 청구항 22에 있어서,
제2 키보드의 키들 상에 제시된 심볼들을 변경하는 것이 제2 키보드의 키들로부터 제1 키 상에 제시된 심볼들과 관련될 수 없는 심볼들을 제외시키는 것을 포함하는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기를 이용하여, 제공하는 방법으로,
다수의 아이콘을 구비하는 제1 영역을 포함하는 제1 필드 및 다수의 아이콘들을 구비하는 제2 영역을 포함하는 제2 필드를 디스플레이 상에 제시하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제1 필드의 제1 영역에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제1 필드의 제1 아이콘에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제1 아이콘으로부터 제2 필드의 제2 영역으로 향하는 제1 도약을, 검출기로, 식별하는 단계;
제1 도약이 제2 필드의 제2 영역 내에서 완료되는 것을, 검출기로, 확인하는 단계; 및
제1 도약이 제1 아이콘으로부터 제2 영역까지 완료되는 것이 확인되면, 사용자에 의한 제2 영역의 지각을 기다리지 않고 제1 아이콘과 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 24에 있어서,
사용자에 의한 다른 액션과 무관하게, 제1 도약이 제1 아이콘으로부터 제2 영역까지 완료되는 것이 확인되는 즉시 액션이 수행되는 것을 특징으로 하는 방법. - 청구항 24에 있어서,
사용자의 한쪽 또는 양쪽 안구가 제2 필드의 제2 아이콘에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제2 아이콘으로부터 제1 필드의 제1 영역을 향하는 제2 도약을, 검출기로, 식별하는 단계;
제2 도약이 제1 필드의 제1 영역 내에서 완료되는 것을, 검출기로, 확인하는 단계; 및
사용자에 의한 제1 영역의 지각을 기다리지 않고 제2 아이콘과 관련된 액션을 수행하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 청구항 24에 있어서,
사용자의 한쪽 또는 양쪽 안구가 제2 필드의 제2 영역에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제2 아이콘으로부터 디스플레이 상에 제시된 제3 필드의 제3 영역을 향하는 제2 도약을, 검출기로, 식별하는 단계;
제2 도약이 제3 필드의 제3 영역 내에서 완료되는 것을, 검출기로, 확인하는 단계; 및
사용자에 의한 제3 영역의 지각을 기다리지 않고 제2 아이콘과 관련된 액션을 수행하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 청구항 24에 있어서,
다수의 아이콘이 다수의 키를 포함하고, 각각의 키는 알파뉴메릭 심볼을 포함하는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 키보드 및 검출기를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 키보드 상의 제1 키에 지향될 때를, 검출기로, 검출하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제1 키로부터 키보드 상의 제2 키를 향하는 제1 도약을, 검출기로, 식별하는 단계;
도약이 제2 키의 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계; 및
사용자에 의한 제2 키의 지각을 기다리지 않고 제1 키 및 제2 키 중 하나 또는 둘 다와 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 29에 있어서,
키보드가 디스플레이 상에 투사된 가상 키보드 또는 실제 키보드 중 하나인 것을 특징으로 하는 방법. - 청구항 29에 있어서,
제2 키가 활성화 타겟인 것을 특징으로 하는 방법. - 청구항 29에 있어서,
액션이 제1 키와 관련된 알파뉴메릭 문자를 일련의 알파뉴메릭 문자들에 결부시키는 것을 포함하는 것을 특징으로 하는 방법. - 청구항 32에 있어서,
제1 키와 관련된 알파뉴메릭 문자를 결부시키는 것이 단어 또는 숫자 중 하나를 형성하는 것을 특징으로 하는 방법. - 청구항 29에 있어서,
도약이 기억-유도 도약인 것을 특징으로 하는 방법. - 청구항 29에 있어서,
제2 키가 사용자의 망막 부중심와 뷰 및 주변 뷰 중 하나 내에 위치되는 것을 특징으로 하는 방법. - 청구항 29에 있어서,
제1 키가 디스플레이 상의 가상 키보드 내에 위치되고, 제2 키가 디스플레이 상에 있지 않은 사용자의 시야 내에 위치되는 것을 특징으로 하는 방법. - 청구항 29에 있어서,
사용자에 의한 다른 액션과 무관하게, 제1 도약이 제1 키로부터 제2 키의 위치로부터 사전 결정된 거리 이내까지 완료되는 것이 확인되는 즉시 액션이 수행되는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 키보드와 검출기를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 키보드 상의 제1 키에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제1 키로부터 키보드 상의 제2 키를 향하는 제1 도약을, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 키보드 상의 제2 키를 향해 더 지향되는 하나 이상의 정정 도약을, 검출기로, 식별하는 단계;
하나 이상의 정정 도약 중 적어도 하나가 제2 키의 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계; 및
사용자에 의한 제2 키의 지각을 기다리지 않고 제1 키 및 제2 키 중 하나 또는 둘 다와 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 38에 있어서,
사용자에 의한 다른 액션과 무관하게, 제1 도약이 제1 키로부터 제2 키의 위치로부터 사전 결정된 거리 이내까지 완료되는 것을 확인하는 즉시 액션이 수행되는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 키보드 및 검출기를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 키보드 상의 제1 키의 위치로부터 사전 결정된 거리 내에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제1 키로부터 키보드 상의 제2 키를 향하는 제1 도약을, 검출기로, 식별하는 단계;
도약이 제2 키의 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계; 및
사용자의 주의를 환기시키지 않도록 디스플레이를 변화시키지 않으면서 제1 키 및 제2 키 중 하나 또는 둘 다와 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 40에 있어서,
사용자에 의한 제2 키의 지각을 기다리지 않고 액션이 수행되는 것을 특징으로 하는 방법. - 청구항 40에 있어서,
액션이 제1 키와 관련된 알파뉴메릭 문자를 저장된 일련의 알파뉴메릭 문자들에 결부시키는 것을 특징으로 하는 방법. - 청구항 42에 있어서,
제1 키와 관련된 알파뉴메릭 문자의 결부가 단어 및 숫자 중 하나를 형성하는 것을 특징으로 하는 방법. - 청구항 40에 있어서,
키보드가 디스플레이 상에 투사되는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 키보드, 디스플레이 및 검출기를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 키보드 상의 제1 위치에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제1 위치로부터 디스플레이 상의 자동 완성 활성화 타겟 위치에 있는 자동 완성 활성화 타겟을 향해 제1 도약하는 것을, 검출기로, 식별하는 단계;
데이터 세트의 하나 이상의 완성 요소를 디스플레이 상의 자동 완성 활성화 타겟 위치 주위의 사전 결정된 구역 내에 표시하는 단계;
하나 이상의 완성 요소 중 하나의 선택을 지시하는 선택 안구 운동을 수행하고, 이에 의해 선택된 완성 요소를 식별하는 단계; 및
선택된 완성 요소를 데이터 세트에 첨부하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 45에 있어서,
완성 요소들이 단어의 일부, 구절의 일부, 문장의 일부, 숫자 시퀀스의 요소, 이미지의 일부, 및 알파뉴메릭 문자들 또는 기능들의 사전 결정된 시퀀스 중 하나인 것을 특징으로 하는 방법. - 청구항 45에 있어서,
자동 완성 활성화 타겟의 사전 결정된 구역이 사용자의 망막 중심와 뷰 내에 있는 것을 특징으로 하는 방법. - 청구항 47에 있어서,
사용자의 망막 중심와 뷰가 사용자의 응시 방향의 1° 내지 3° 이내에 있는 것을 특징으로 하는 방법. - 청구항 45에 있어서,
하나 이상의 완성 요소를 자동 완성 활성화 타겟 위치 주위의 사전 결정된 구역 내에 표시하는 것이 사용자의 한쪽 또는 양쪽 안구의 탐색 운동을 발생시키지 않는 것을 특징으로 하는 방법. - 청구항 45에 있어서,
데이터 세트가 단어의 일부, 문장의 일부, 숫자 시퀀스의 요소, 이미지의 일부, 및 알파뉴메릭 문자들 또는 기능들의 사전 결정된 시퀀스 중 하나인 것을 특징으로 하는 방법. - 청구항 45에 있어서,
선택 안구 운동이 자동 완성 활성화 타겟 위치로부터 선택 활성화 타겟을 향하는 도약 및 사용자의 한쪽 또는 양쪽 안구가 하나 이상의 완성 요소 중 하나의 운동을 추종하는 것 중 하나인 것을 특징으로 하는 방법. - 청구항 45에 있어서,
키보드가 디스플레이 상에 투사되는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 키보드 및 검출기를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 키보드 상의 제1 키의 위치로부터 사전 결정된 거리 이내에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제1 키로부터 키보드 상의 제2 키를 향하는 제1 도약을, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 키보드 상의 하나 이상의 추가 키를 향하는 하나 이상의 추가 도약을, 검출기로, 식별하는 단계;
제1 도약 및 하나 이상의 추가 도약을 가지고 안구 운동들의 패턴을 식별하는 단계;
안구 운동들의 패턴을 신경망의 입력으로 이용하여 하나 이상의 알파뉴메릭 문자를 분류하는 단계; 및
하나 이상의 알파뉴메릭 문자와 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 53에 있어서,
액션을 수행하는 단계가 하나 이상의 알파뉴메릭 문자를 저장된 일련의 알파뉴메릭 문자들에 결부시키는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 54에 있어서,
저장된 일련의 알파뉴메릭 문자들에 결부된 하나 이상의 알파뉴메릭 문자와 관련된 액션을 수행하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 청구항 53에 있어서,
사용자의 주의를 환기시키지 않도록 디스플레이를 변화시키지 않으면서 액션이 수행되는 것을 특징으로 하는 방법. - 청구항 53에 있어서,
액션을 수행하는 단계가 하나 이상의 청각적 피드백 및 햅틱 피드백을 사용자에게 제공하는 단계를 포함하는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기 및 디스플레이를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 제1 위치에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제1 위치로부터 디스플레이 상의 제1 활성화 타겟 위치에 있는 제1 활성화 타겟을 향하는 제1 도약을, 검출기로, 식별하는 단계;
디스플레이로부터 제1 활성화 타겟을 제거하고, 제1 활성화 타겟 위치와 비교하여 다른 제2 활성화 타겟 위치에서 제2 활성화 타겟을 디스플레이 상에 제시하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제1 활성화 타겟 위치로부터 디스플레이 상의 제2 위치를 향하는 제2 도약을, 검출기로, 식별하는 단계;
제2 도약이 제2 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제2 위치로부터 디스플레이 상의 제2 활성화 위치를 향하는 제3 도약을, 검출기로, 식별하는 단계; 및
제1 위치, 제1 활성화 타겟, 제2 위치 및 제2 활성화 타겟 중 하나 이상과 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 58에 있어서,
디스플레이 상에 표시된 하나 이상의 활성화 타겟들을, 디스플레이로, 제거하는 단계; 및
제거된 하나 이상의 활성화 타겟의 위치와 비교하여 다른 위치들에서, 디스플레이 상에 하나 이상의 추가 활성화 타겟을, 디스플레이로, 표시하는 단계를 포함하는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기를 이용하여, 제공하는 방법으로,
사용자의 한쪽 또는 양쪽 안구가 스케일(scale) 내의 주시 위치에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 스케일 내의 주시 위치로부터 활성화 타겟 위치에 있는 활성화 타겟을 향하는 도약을, 검출기로, 식별하는 단계;
도약이 활성화 타겟 위치로부터 사전 결정된 거리 이내에서 완료되는 것을, 검출기로, 확인하는 단계; 및
스케일의 위치에 대한 스케일 내의 주시 위치 및 활성화 타겟 중 하나 또는 둘 다에 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 60에 있어서,
사용자에 의한 활성화 타겟의 지각을 기다리지 않고 액션이 수행되는 것을 특징으로 하는 방법. - 청구항 60에 있어서,
스케일이 자(ruler), 다이얼(dial), 온도계 및 바늘 지시자 중 하나의 그래픽 표현인 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 파악하는 그래픽 사용자 인터페이스를, 검출기를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 객체 위치에 있는 객체로부터 사전 결정된 거리 이내에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 객체로부터 타겟 위치에 있는 타겟을 향하는 도약을, 검출기로, 식별하는 단계;
도약이 타겟 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계; 및
타겟의 지각 전에, 객체, 객체 위치, 타겟 및 타겟 위치 중 하나 이상과 관련된 액션을 수행하는 단계를 포함하고,
액션이 사용자의 시각적 주의를 환기시키지 않도록 설계된 사용자 피드백을 제공하는 것을 특징으로 하는 방법. - 청구항 63에 있어서,
사용자의 시각적 주의를 환기시키지 않도록 설계된 사용자 피드백이 청각 신호, 온도, 후각 신호 및 햅틱 신호 중 하나 이상인 것을 특징으로 하는 방법. - 청구항 63에 있어서,
액션의 특징이 주파수, 진폭, 지각된 거리, 지각된 소리 방향 및 청각 신호의 변조 중 하나를 제어하는 것임을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그랙픽 사용자 인터페이스를, 검출기 및 주시 디바이스를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 객체 위치에 있는 객체에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 객체 위치로부터 제1 타겟 위치에 있는 제1 타겟을 향하는 제1 도약을, 검출기로, 식별하는 단계;
제1 도약 도중에, 사용자의 제1 타겟의 주시를, 주시 디바이스로, 변화시켜 갭 효과를 발생시키는 단계;
사용자의 한쪽 또는 양쪽 안구가 제1 타겟 위치로부터 제2 타겟 위치에 있는 제2 타겟을 향하는 제2 도약을, 검출기로, 식별하는 단계;
제2 도약이 제2 타겟 위치로부터 사전 결정된 거리 이내에서 완료되는 것을, 검출기로, 확인하는 단계; 및
객체, 객체 위치, 제1 타겟, 제1 타겟 위치, 제2 타겟 및 제2 타겟 위치 중 하나 이상과 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 66에 있어서,
제1 타겟이 물리적 객체인 것을 특징으로 하는 방법. - 청구항 66에 있어서, 사용자의 주시를 변화시키는 단계가 사용자의 제1 타겟의 주시를 차단하는 단계를 포함하는 것을 특징으로 하는 방법.
- 청구항 68에 있어서,
제1 타겟을 차단하는 단계가 제1 타겟을 둘러싸는 이미지와 유사하거나 혹은 그것의 연속인 이미지로 제1 타겟을 대체하는 단계를 포함하는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 디스플레이 및 검출기를 이용하여, 제공하기 위한 방법으로,
사용자의 환경 내에 위치된 객체들을, 사용자로부터 떨어진 곳을 지향하는 장면 카메라로, 식별하는 단계;
사용자의 환경 내에 위치된 하나 이상의 객체가 중요도가 높은 객체들인지 여부를, 객체 템플릿들의 데이터베이스로, 결정하는 단계;
디스플레이 상에 표시하도록 예정된 착신 데이터 세트를, 통신 장치를 이용하여, 수신하는 단계; 및
사용자의 환경에 중요도가 높은 객체가 전혀 존재하지 않는 것으로 결정될 때에만 착신 데이터 세트를 표시하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 70에 있어서,
중요도가 높은 객체들을 결정하는 단계가,
사용자의 환경의 하나 이상의 이미지를, 장면 카메라로, 획득하는 단계; 및
장면 카메라 이미지들 내의 중요도가 높은 객체를, 객체 템플릿들의 데이터베이스를 이용하여, 사람, 식별된 사람, 대화하는 것으로 식별된 사람, 비행기의 내부 경관, 학교의 내부 경관, 자동차의 내부, 사용자의 우선적인 주의를 요구하는 하나 이상의 제어 수단의 뷰 및 극장의 내부 경관 중 하나 이상인 것으로 식별하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 71에 있어서,
사용자의 위치에 기반한 하나 이상의 중요도가 높은 객체들을, GPS 시스템을 이용하여, 식별하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 청구항 70에 있어서,
착신 데이터 세트가 긴급한 것으로 여겨지는 것, 사용자의 선호도에 따라 허용된 것 및 비상 상황 동안 수신되는 것 중 하나일 때에는, 중요도가 높은 객체들의 존재에 무관하게 착신 데이터 세트가 표시되는 것을 특징으로 하는 방법. - 청구항 70에 있어서,
착신 데이터 세트가 일련의 텍스트, 일련의 이미지들, 일련의 숫자들, 및 텍스트와 이미지들과 숫자들의 조합 중 하나 이상을 포함하는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 디스플레이, 하나 이상의 장면 카메라 및 검출기를 이용하여, 제공하기 위한 방법으로,
사용자의 환경에서 주시되는 객체를, 사용자의 환경을 지향하는 하나 이상의 카메라로, 식별하는 단계;
디스플레이 상에 표시되도록 예정된 하나 이상의 착신 데이터 세트를, 통신 장치를 이용하여, 수신하는 단계; 및
디스플레이 상에서 사용자에게 표시되는 데이터 세트들의 선택과 타이밍을, 하나 이상의 사전 결정된 사용자 선호도에 기반하여, 결정하는 단계를 포함하는 것을 특징으로 하는 방법. - 사용자들의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 두(2) 명의 착용형 디바이스 사용자들의 의도를, 장면 카메라 및 검출기를 이용하여, 결정하는 방법으로,
제2 착용형 디바이스 사용자의 한쪽 또는 양쪽 안구를 포함하는 하나 이상의 장면 카메라 이미지들 내의 구역을, 제1 착용형 디바이스 사용자와 관련된 제1 착용형 디바이스와 결합되어 작동하는 장면 카메라로, 식별하는 단계;
제2 착용형 디바이스 사용자의 한쪽 또는 양쪽 안구가 사전 결정된 각도 범위 내에서 제1 착용형 디바이스 사용자를 지향할 때를, 이미지 인식을 이용하여, 식별하는 단계;
제2 착용형 디바이스 사용자의 한쪽 또는 양쪽 안구가 사전 결정된 시간 동안 제1 착용형 디바이스 사용자를 지향하는 것을 확인하는 단계; 및
제1 착용형 디바이스 사용자와 관련된 제1 착용형 디바이스 및 제2 착용형 디바이스 사용자와 관련된 제2 착용형 디바이스 간의 전자 통신을 허용하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 76에 있어서,
제1 착용형 디바이스 사용자의 한쪽 또는 양쪽 안구가 제2 착용형 디바이스 사용자의 한쪽 또는 양쪽 안구의 구역을 지향할 때에만 전자 통신이 허용되는 것을 특징으로 하는 방법. - 청구항 76에 있어서,
사전 결정된 시간이 0.5초 내지 10초인 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 착용형 디바이스 사용자의 의도를, 착용형 디바이스 사용자와 관련된 착용형 디바이스의 장면 카메라 및 검출기를 이용하여, 결정하는 방법으로,
주시되는 개인의 한쪽 또는 양쪽 안구를 포함하는 하나 이상의 장면 카메라 이미지들 내의 구역을, 착용형 디바이스의 장면 카메라로, 식별하는 단계;
착용형 디바이스 사용자의 응시가 사전 결정된 각도 범위 내에서 주시되는 개인의 한쪽 또는 양쪽 안구에 지향되는 것을, 검출기 및 장면 카메라를 이용하여, 식별하는 단계;
주시되는 개인의 한쪽 또는 양쪽 안구가 사전 결정된 각도 범위 내에서 착용형 디바이스 사용자에 지향될 때를, 이미지 인식을 이용하여, 식별하는 단계; 및
착용형 디바이스로 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 79에 있어서,
액션이,
하나 이상의 장면 카메라 이미지에 기반하여 주시되는 개인의 아이덴티티를, 개인 템플릿들의 데이터베이스로, 결정하는 것; 및
주시되는 개인에 관한 정보를, 개인 정보의 데이터베이스로, 디스플레이하는 것을 포함하는 것을 특징으로 하는 방법. - 사용자들의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 두(2) 명의 착용형 디바이스 사용자들의 의도를, 장면 카메라 및 하나 이상의 비콘을 이용하여, 결정하는 방법으로,
제2 착용형 디바이스 사용자와 관련된 제2 착용형 디바이스로부터의 하나 이상의 비콘을 포함하는 하나 이상의 장면 카메라 이미지들 내의 구역을, 제1 착용형 디바이스 사용자와 관련된 제1 착용형 디바이스에 결합되어 작동하는 장면 카메라로, 식별하는 단계;
제2 착용형 디바이스 사용자와 관련된 제2 착용형 디바이스의 하나 이상의 비콘에 의한 코드 브로드캐스트를, 장면 카메라로, 식별하는 단계;
비콘에 의한 코드 브로드캐스트가 제2 착용형 디바이스 사용자와 관련된 데이터베이스에 대한 액세스를 허용하는 것을, 액세스 코드들의 데이터베이스로, 확인하는 단계; 및
제1 사용자와 관련된 제1 착용형 디바이스 및 제2 착용형 디바이스 사용자에 관한 정보를 포함하는 추가 데이터베이스 간의 전자 통신을 허용하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 81에 있어서,
제2 착용형 디바이스 사용자와 관련된 정보를 포함하는 데이터베이스가 제2 착용형 디바이스 사용자와 관련된 제2 착용형 디바이스 내에 상주하는 것을 특징으로 하는 방법. - 청구항 81에 있어서,
제2 사용자와 관련된 제2 착용형 디바이스 및 제1 착용형 디바이스 사용자에 관한 정보를 포함하는 데이터베이스 간의 전자 통신을 허용하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를, 검출기를 이용하여, 결정하는 방법으로,
사용자의 한쪽 또는 양쪽 안구가 의도적인 안구 운동으로 결정되는 방식으로 운동할 때를, 검출기로, 식별하는 단계;
의도적인 안구 신호와 관련된 안구 액션을, 안구 운동 템플릿의 데이터베이스로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구와 관련되지 않은 입력 디바이스에 의해 생성되는 사용자 입력을, 실질적으로 동시에, 식별하는 단계;
입력 디바이스에 의해 생성된 사용자 입력과 관련된 디바이스 액션을 식별하는 단계; 및
의도적인 안구 신호와 관련된 안구 액션 및 사용자 입력과 관련된 디바이스 액션을, 입력 서열들의 데이터베이스에 기반하여, 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 84에 있어서,
의도적인 안구 신호가 도약, 일련의 도약들, 폭주 운동, 전정안구운동 및 원활 추적 중 하나를 포함하는 것을 특징으로 하는 방법. - 청구항 84에 있어서,
입력 디바이스가 컴퓨터 마우스, 조이스틱, 펜, 키보드, 터치 스크린, 가속도계, 스위치, 마이크로폰, 사용자의 손, 머리, 손가락, 다리 및 팔 중 하나 이상의 움직임을 검출하는 카메라 중 하나인 것을 특징으로 하는 방법. - 청구항 84에 있어서,
안구 액션 및 디바이스 액션을 수행한 후, 다른 안구 액션 및 디바이스 액션이 소정의 지연 후에 수행되거나 혹은 전혀 수행되지 않는 것을 특징으로 하는 방법. - 청구항 87에 있어서,
의도성 점수가 사전 결정된 임계값을 초과하는 경우에만, 초기에는 수행되지 않는 액션을 수행하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 하나 이상의 디스플레이의 포인터를, 검출기 및 포인팅 디바이스를 이용하여, 이동시키기 위한 방법으로,
포인터의 소스 디스플레이 상의 소스 위치를 식별하는 단계로서, 포인터의 위치가 포인팅 디바이스에 의해 적어도 부분적으로 제어되는 단계;
사용자의 한쪽 또는 양쪽 안구가 타겟 디스플레이의 타겟 위치에 지향될 때를, 검출기로, 식별하는 단계;
소스 디스플레이 상의 소스 위치에 대한 타겟 디스플레이 상의 타겟 위치를 향하는 방향으로의, 사전 결정된 방향 범위 내의, 포인팅 디바이스의 이동을, 포인팅 디바이스로, 확인하는 단계; 및
타겟 위치로부터 사전 결정된 거리 이내로 떨어져 있는 타겟 디스플레이 상의 새 포인터 위치에 포인터를 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 89에 있어서,
포인팅 디바이스가 마우스, 조이스틱, 트랙볼 및 디지털 펜 중 하나인 것을 특징으로 하는 방법. - 청구항 89에 있어서,
포인팅 디바이스를 이용하여 포인터를 새 포인터 위치로부터 타겟 위치에 더 가까이로 인도하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 청구항 89에 있어서,
소스 디스플레이와 타겟 디스플레이가 동일한 디바이스 및 서로 다른 디바이스들 중 하나인 것을 특징으로 하는 방법. - 청구항 89에 있어서,
포인터가 가시 커서, 강조된 객체, 배경의 변화 및 테두리 중 하나인 것을 특징으로 하는 방법. - 청구항 89에 있어서,
새 포인터 위치가 포인터의 소스 위치를 향하는 타겟 위치 사이의 방향에 있는 것을 특징으로 하는 방법. - 청구항 89에 있어서,
포인터가 새 포인터 위치로 접근할 때 느려지는 것처럼 보이게 되는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 디스플레이 및 검출기를 이용하여, 제공하기 위한 방법으로,
악보 스코어의 악절을, 디스플레이 상에, 디스플레이하는 단계;
사용자의 한쪽 또는 양쪽 안구가 악보 스코어의 디스플레이된 악절 내의 주시 위치에 지향될 때를, 검출기로, 식별하는 단계;
악보 스코어 내의 하나 이상의 중단 위치를, 악보 스코어를 포함하는 데이터베이스로, 식별하는 단계;
주시 위치가 악보 스코어 내의 중단 위치들 중 적어도 하나로부터 사전 결정된 거리 내에 있는 것을, 검출기로, 확인하는 단계; 및
악보 스코어의 새 악절을 디스플레이하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 96에 있어서,
악보 스코어의 디스플레이되는 악절이 단일 라인의 악보, 다중 라인의 악보 및 페이지 단위의 악보 중 하나인 것을 특징으로 하는 방법. - 청구항 96에 있어서,
사전 결정된 거리가 악보 스코어의 연주 속도에 따라 달라지는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 차량을 제어할 때의 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기, 장면 카메라 및 디스플레이를 이용하여, 제공하기 위한 방법으로,
차량 환경의 비디오 이미지들을, 장면 카메라와 결합되어 작동하는 디스플레이 상에, 표시하는 단계;
사용자의 한쪽 또는 양쪽 안구가 디스플레이 상의 차량 환경의 비디오 이미지들 내의 타겟 위치에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 디스플레이상의 타겟 위치로부터 디스플레이 상의 활성화 타겟을 향하는 제1 도약을, 검출기로, 식별하는 단계;
도약이 활성화 타겟의 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계; 및
차량이 디스플레이 상의 타겟 위치에 의해 표현된 차량 환경 내의 목적지 위치를 향해 이동하게 하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 99에 있어서,
차량이 드론 및 자동차 중 하나인 것을 특징으로 하는 방법. - 청구항 99에 있어서,
디스플레이가 증강 현실 헤드셋, 가상 현실 헤드셋, 혼합 현실 헤드셋, 태블릿 컴퓨터, 스마트폰, 스마트워치, 랩톱 컴퓨터 및 데스크톱 컴퓨터 중 하나의 요소인 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 차량을 운전할 때의 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 객체 위치에 있는 객체에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 객체 위치로부터 디스플레이 상의 타겟 위치에 있는 활성화 타겟을 향하는 제1 도약을, 검출기로 검출하는 단계;
도약이 타겟 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계;
사용자의 한쪽 또는 양쪽 안구가 사전 결정된 시간 내에 사전 결정된 방향 범위 내까지 차량의 이동 방향으로 지향되는 것을, 검출기로, 확인하는 단계; 및
객체 및 활성화 타겟 중 하나 이상과 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 102에 있어서,
사전 결정된 시간이 1초 내지 3초의 범위에 있는 것을 특징으로 하는 방법. - 청구항 102에 있어서,
디스플레이가 콘솔 디스플레이, 헤드업 디스플레이 및 증강 현실 디스플레이 중 하나인 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 기억을 증강시키는 그래픽 사용자 인터페이스를, 검출기를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 저장 객체의 위치로부터 사전 결정된 거리 이내에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 저장 객체 위치로부터 타겟 위치에 있는 저장 활성화 타겟을 향하는 제1 도약을, 검출기로, 식별하는 단계;
도약이 타겟 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계; 및
저장 객체와 관련된 데이터 세트를 저장 데이터 세트 색인에 대응되는 다수의 데이터 세트들 내의 위치에 저장하고, 저장 데이터 세트 색인을 일(1) 만큼 증가시키는 저장 기능을, 메모리 디바이스로, 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 기억을 증강시키는 그래픽 사용자 인터페이스를, 검출기 및 디스플레이를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 디스플레이 상의 인출 객체 위치에 있는 인출 객체에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 디스플레이 상의 인출 객체 위치로부터 타겟 위치에 있는 인출 활성화 타겟을 향하는 제1 도약을, 검출기로, 식별하는 단계;
도약이 타겟 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 검출하는 단계; 및
다수의 데이터 세트 내의 인출 데이터 색인에 대응되는 위치로부터 인출 데이터 세트를 인출하는 것을 포함하는 인출 기능을, 메모리 디바이스로, 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 106에 있어서,
인출 기능이,
인출된 데이터 세트의 하나 이상의 태양을 디스플레이 상의 인출 객체 위치에 디스플레이하는 것; 및
인출된 데이터 세트와 관련된 액션을 수행하는 것 중 하나 이상을 포함하는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 기억을 증강시키는 그래픽 사용자 인터페이스를, 검출기를 이용하여, 제공하기 위한 방법으로,
객체로부터 저장 활성화 타겟의 위치로부터 사전 결정된 거리 이내까지의 도약이 검출기를 이용하여 식별될 때, 저장 데이터 세트 색인에 대응되는 다수의 데이터 세트 내의 위치에 있는 객체와 관련된 데이터 세트의 저장 기능을 수행하고, 저장 데이터 세트 색인을 일(1) 만큼 증가시키는 단계;
객체로부터 인출 활성화 타겟의 위치로부터 사전 결정된 거리 이내까지의 도약이 검출기를 이용하여 식별될 때, 인출 데이터 세트 색인에 대응되는 다수의 데이터 세트들 내의 위치에 있는 객체와 관련된 데이터 세트의 인출 기능을 수행하는 단계;
상향 활성화 타겟으로의 도약이 검출기를 이용하여 식별될 때, 인출 데이터 세트 색인을 일(1) 만큼 증가시키는 것에 의해 인출 데이터 세트 색인을 선택하는 단계;
하향 활성화 타겟으로의 도약이 검출기를 이용하여 식별될 때, 인출 데이터 세트 색인을 일(1) 만큼 감소시키는 것에 의해 인출 데이터 세트 색인을 선택하는 단계; 및
객체로부터 삭제 활성화 타겟의 위치로부터 사전 결정된 거리 이내까지의 도약이 검출기를 이용하여 검출될 때, 인출 데이터 세트 색인에 대응되는 다수의 데이터 세트들 내의 위치에 있는 객체를 삭제하는 것 및 저장 데이터 인덱스 색인을 일(1) 만큼 감소시키는 것 중 하나 이상을 포함하는 삭제 기능을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 방향에 적어도 부분적으로 기반하여 문서 보안을 향상시키는 사용자 인터페이스를, 사용자의 한쪽 또는 양쪽 안구에 지향되는 하나 이상의 안구 카메라 및 사용자의 환경에 지향되는 장면 카메라를 이용하여, 제공하는 방법으로,
사용자의 한쪽 또는 양쪽 안구의 하나 이상의 이미지를, 하나 이상의 카메라를 이용하여, 획득하는 단계;
사용자의 아이덴티티를, 사용자의 한쪽 또는 양쪽 안구의 하나 이상의 이미지를 알려진 아이덴티티 안구 템플릿들의 데이터베이스와 비교하는 것에 의해, 결정하는 단계;
사용자의 한쪽 또는 양쪽 안구에 의해 주시되는 문서를, 장면 카메라를 이용하여, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 문서를 지향하는 것을, 하나 이상의 안구 카메라를 이용하여, 확인하는 단계; 및
식별된 사용자가 문서를 보았음을 지시하도록 문서를 전자적으로 확인하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 109에 있어서,
알려진 아이덴티티 안구 템플릿들의 데이터베이스가 알려진 홍채코드들을 포함하는 것을 특징으로 하는 방법. - 청구항 109에 있어서,
문서의 하나 이상의 아이덴티티 피처를, 장면 카메라를 이용하여, 획득하는 단계;
식별된 문서를, 문서의 하나 이상의 아이덴티티 피처를 알려진 문서 피처 템플릿들의 데이터베이스와 비교하는 것에 의해, 결정하는 단계; 및
식별된 사용자 및 식별된 문서 중 하나 이상에 기반하여 액션을 수행하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 청구항 111에 있어서,
알려진 문서 피처 템플릿들이 문서의 콘텐츠, 바코드, QR 코드 및 인식된 서명 중 하나 이상을 포함하는 것을 특징으로 하는 방법. - 청구항 109에 있어서,
문서를 전자적으로 확인하는 것이 식별된 사용자의 서명 이미지, 바코드, QR 코드, 전자 태그, 및 전자 서명 중 하나 이상을 부가하는 것을 포함하는 것을 특징으로 하는 방법. - 청구항 109에 있어서,
문서를 보았을 때, 본 시간, 본 날짜, 및 본 기하학적 위치 중 하나 이상을 첨부하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 디스플레이, 머리 움직임 검출기 및 안구 위치 검출기를 이용하여, 제공하기 위한 방법으로,
다수의 디스플레이 객체를, 디스플레이 상에, 디스플레이하는 단계;
사용자의 한쪽 또는 양쪽 안구가 다수의 디스플레이 객체 중 하나를 지향할 때를, 안구 위치 검출기로, 식별하고, 이에 의해 주시되는 객체를 식별하는 단계;
제1 방향으로의 사용자의 머리 움직임을, 머리 움직임 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구의 안구 운동을, 안구 운동 검출기로, 검출하는 단계;
안구 운동이 사용자가 머리 움직임 도중에 주시 객체를 계속해서 주시하게 하는지 여부에 기반하여 안구 운동이 전정안구운동인지 분류하는 단계; 및
안구 운동이 전정안구운동이 아닌 것으로 결정하고, 그 결과 디스플레이 상의 다수의 디스플레이 객체를 제1 방향으로 이동시키는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 115에 있어서,
디스플레이 상에서 다수의 디스플레이 객체를 이동시키는 단계가 사용자가 기능적으로 실명인 기간 동안에 수행되는 것을 특징으로 하는 방법. - 청구항 116에 있어서,
도약 억제 및 깜빡임 억제 중 하나의 기간 동안 사용자가 기능적으로 실명인 것을 특징으로 하는 방법. - 청구항 116에 있어서,
사용자의 한쪽 또는 양쪽 안구의 도약을 식별하는 단계를 더 포함하고,
식별된 도약 또는 깜빡임 중에만 다수의 디스플레이 객체가 디스플레이 상에서 이동되는 것을 특징으로 하는 방법. - 청구항 115에 있어서,
제1 방향으로의 사용자에 의한 머리 움직임을 머리 움직임 검출기로 식별하는 단계가 제1 방향으로의 머리 움직임의 제1 속도를 식별하는 단계를 포함하고,
다수의 디스플레이 객체는 디스플레이 상에서 제1 방향으로 실질적으로 제1 속도로 이동되는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기 및 장면 카메라를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 사용자 환경 내의 제1 주시 위치에 지향될 때를, 검출기로, 식별하는 단계;
사용자 환경 내의 제1 주시 위치에 있는 제1 주시 객체를, 장면 카메라로, 식별하는 단계;
제1 주시 객체를, 객체 템플릿들의 데이터베이스를 이용하여, 식별하고, 이에 의해 제1 식별된 주시 객체를 생성하는 단계;
사용자의 한쪽 또는 양쪽 안구가 사용자 환경 내의 제2 주시 위치로 향하는 안구 운동을 수행할 때를, 검출기로, 식별하는 단계;
사용자 환경 내의 제2 주시 위치에 있는 제2 주시 객체를, 장면 카메라로, 식별하는 단계;
제2 주시 객체를, 객체 템플릿들의 데이터베이스를 이용하여, 식별하고, 이에 의해 제2 식별된 주시 객체를 생성하는 단계;
제2 식별된 주시 객체가 활성화 타겟에 대응되는 것을, 활성화 가능한 객체들의 데이터베이스를 이용하여, 확인하는 단계; 및
제1 식별된 주시 객체, 제1 주시 위치, 제2 식별된 주시 객체 및 제2 주시 위치 중 하나 이상에 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 120에 있어서,
제2 주시 객체를 향하는 안구 운동이 도약, 원활 추적, 및 도약들과 원활 추적들의 조합 중 하나인 것을 특징으로 하는 방법. - 청구항 120에 있어서,
제2 주시 객체가 제1 주시 객체와 동일하고, 소정 거리만큼 이동된 것임을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 사용자 인터페이스를, 검출기, 장면 카메라 및 디스플레이를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 사용자 환경 내의 주시 위치에 지향될 때를, 검출기로 식별하는 단계;
사용자 환경 내의 주시 위치에 있는 주시 객체를, 장면 카메라로, 식별하는 단계;
주시 객체를, 객체 템플릿들의 데이터베이스를 이용하여, 식별하고, 이에 의해 식별된 주시 객체를 생성하는 단계;
사용자의 한쪽 또는 양쪽 안구가 식별된 주시 객체로부터 디스플레이 상의 하나 이상의 활성화 타겟들 중 하나를 향하는 하나 이상의 안구 운동을 수행할 때를, 검출기로, 식별하는 단계;
하나 이상의 안구 운동이 하나 이상의 활성화 타겟 중 하나로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하고, 이에 의해 선택된 활성화 타겟을 생성하는 단계; 및
제1 식별된 주시 객체 및 선택된 활성화 타겟 중 하나 이상에 관련된 액션을 수행하는 것을 특징으로 하는 방법. - 청구항 123에 있어서,
디스플레이가 증강 현실 디스플레이, 혼합 현실 디스플레이 및 디스플레이 모니터 중 하나인 것을 특징으로 하는 방법. - 청구항 123에 있어서,
선택된 활성화 타겟을 향하는 하나 이상의 안구 운동이 도약, 원활 추적, 및 도약들과 원활 추적들의 조합 중 하나인 것을 특징으로 하는 방법. - 사용자의 인지 상태, 생리적 컨디션 또는 안구 운동 이력에 적어도 부분적으로 기반하여 전자 디스플레이를 포함하는 그래픽 사용자 인터페이스 내의 사용자의 의도의 시그널링 인식을, 검출기를 이용하여, 조정하기 위한 방법으로,
사용자의 인지 상태, 신경학적 컨디션, 생리적 컨디션 및 안구 운동 이력 중 하나를 관찰하는 단계;
사용자의 한쪽 또는 양쪽 안구의 사전 정의된 운동에 의해 수행될 수 있는 사용자 의도를 전송하는 안구 운동에 의해 지시되는 적어도 하나의 알려진 안구 신호를, 검출기를 이용하여, 식별하는 단계; 및
적어도 하나의 알려진 신호 전에 또는 그 동안에, 사용자의 인지 상태, 생리적 컨디션, 또는 안구 운동 행위 중 하나 이상에 기반하여 적어도 하나의 알려진 신호의 인식을 위한 허용 오차를 조정하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 126에 있어서,
생리적 상태가 사용자의 피로, 증가되거나 혹은 감소된 주의력, 증가된 스트레스 및 약물 치료의 존재 중 적어도 하나를 지시하는 것을 특징으로 하는 방법. - 청구항 127에 있어서,
생리적 상태가 사용자의 안구 운동, 심박수, 심박수 변동성(heart rate variability), EEG 및 전기 피부 반응 중 하나 이상에 의해 결정되는 것을 특징으로 하는 방법. - 청구항 126에 있어서,
신호 인식을 위한 허용 오차의 조정이 사용자 환경의 환경 조명 및 의도 시그널링 이 적용될 태스크의 유형 중 적어도 하나에 기반하여 수정되는 것을 특징으로 하는 방법. - 청구항 126에 있어서,
신호 인식을 위한 허용 오차의 조정이 사용자의 한쪽 또는 양쪽 안구의 깜빡임으로부터의 시간, 사용자의 한쪽 또는 양쪽 안구의 도약으로부터의 시간, 사용자의 한쪽 또는 양쪽 안구의 정정 도약으로부터의 시간, 및 사용자의 안구 동역학에 의해 유도되는 기능적 실명으로부터 시간 중 적어도 하나에 기반하여 수정되는 것을 특징으로 하는 방법. - 청구항 126에 있어서,
안구 신호가 사용자의 한쪽 또는 양쪽 안구의 깜빡임, 도약, 마이크로도약, 정정 도약, 안티-도약(anti-saccade), 떨림, 드리프트 및 원활 추적 중 적어도 하나인 것을 특징으로 하는 방법. - 청구항 126에 있어서,
사용자의 의도가 메뉴 아이템 선택, 의사 결정 및 액션 개시 중 적어도 하나를 포함하는 것을 특징으로 하는 방법. - 청구항 126에 있어서,
신호 인식을 위한 허용 오차 조정이 사용자의 한쪽 또는 양쪽 안구의 도약의 예측되거나 혹은 측정된 진폭에 기반하는 것을 특징으로 하는 방법. - 청구항 133에 있어서,
허용 오차 조정이 정지되어 있거나 혹은 이동하는 타겟을 언더슈트하거나 혹은 오버슈트하는 것을 수용하는 것을 특징으로 하는 방법. - 청구항 126에 있어서,
신호 인식을 위한 허용 오차 조정이 이동하는 객체를 추종하는 사용자의 한쪽 또는 양쪽 안구에 의한 추적의 예측되거나 혹은 측정된 추적에 기반하는 것을 특징으로 하는 방법. - 사용자의 인지 상태, 생리적 컨디션 또는 안구 운동 이력에 적어도 부분적으로 기반하여 전자 디스플레이를 포함하는 그래픽 사용자 인터페이스 내에서의, 검출기를 이용한, 사용자 의도의 시그널링의 인식에 대한 응답을 조정하기 위한 방법으로,
사용자의 인지 상태, 신경학적 컨디션, 생리적 컨디션 및 안구 운동 이력 중 적어도 하나를 관찰하는 단계;
사용자 의도를 전송하는 적어도 하나의 안구 신호를 식별하되, 안구 신호가 사용자의 한쪽 또는 양쪽 안구의 사전 정의된 운동, 사용자의 한쪽 또는 양쪽 안구의 동공 확장 및 사용자의 한쪽 또는 양쪽 안구의 동공 억제 중 하나 이상을 포함하는 단계;
적어도 하나의 알려진 신호 전에 또는 그 동안에, 사용자의 인지 상태, 생리적 컨디션, 또는 안구 운동 행위 중 적어도 하나에 기반하여 적어도 하나의 알려진 안구 신호를 인식하는 단계; 및
응답 타이밍, 응답의 일부로서 제시될 그래픽들의 선택, 응답의 일부로서 표시된 그래픽 요소들의 전이, 응답의 임의의 부분의 타이밍 및 응답의 일부로서 취해지는 액션 중 적어도 하나를 변경하는 것에 의해, 적어도 하나의 알려진 안구 신호에 대한 응답을 조정하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 136에 있어서,
기능적 실명을 지시하는 안구 신호가, 응답의 일부로서 제시되는 그래픽 이미지의 위치, 타이밍 및 동역학 중 하나 이상을 조정하는 응답을 발생시키는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 헤드셋 및 검출기를 이용하여, 제공하기 위한 방법으로,
사용자의 머리 구역의 동작을, 헤드셋으로, 결정하는 단계;
안구 운동 엄격도 범위를, 사용자의 머리의 동작의 진폭과 주파수 중 하나 이상에 기반하여, 결정하는 단계;
사용자의 한쪽 또는 양쪽 안구의 하나 이상의 안구 운동이 안구 운동 엄격도 범위 내의 안구 신호 운동들의 템플릿 중 하나 이상과 부합하는 것을, 검출기로, 확인하는 단계; 및
하나 이상의 안구 운동들에 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 138에 있어서,
사용자의 머리의 동작이 헤드셋 상에 설치된 가속도계로부터의 출력, 헤드셋에 장착된 장면 카메라로부터 획득된 이미지들 내의 배경의 변화, 헤드셋에 장착된 안구 운동 검출기로부터 획득된 사용자의 한쪽 또는 양쪽 안구의 위치의 변화 중 하나 이상을 이용하여 결정되는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 헤드셋을 이용하여, 제공하기 위한 방법으로,
사용자의 머리의 구역의 주위 밝기를, 헤드셋으로, 결정하는 단계;
안구 운동 엄격도 범위를, 진폭 및 주위 밝기의 변화 중 하나 이상에 기반하여, 결정하는 단계;
사용자의 한쪽 또는 양쪽 안구의 하나 이상의 안구 운동이 안구 운동 엄격도 범위 내의 안구 신호 운동들의 템플릿 중 하나 이상에 부합하는 것을, 헤드셋 상에 장착된 안구 운동 검출기로, 확인하는 단계; 및
하나 이상의 안구 운동들에 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 140에 있어서,
주위 밝기가 헤드셋 상에 설치된 광센서, 헤드셋 상에 장착된 장면 카메라로부터 획득된 이미지들 내의 광량 레벨의 변화, 및 헤드셋 상에 장착된 안구 운동 검출기로부터 획득된 이미지들 내의 광량 레벨의 변화 중 하나 이상에 기반하여 결정되는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 검출기 및 디스플레이를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 초기 주시 객체 위치에 있는 디스플레이 상의 초기 주시 객체를 지향할 때를, 검출기로, 식별하는 단계;
초기 주시 객체 위치로부터 사전 정의된 거리 이내에 있는 디스플레이 상의 모든 객체들의 확대를 위한 중심의 디스플레이 상의 바람직한 위치를, 디스플레이 상에 표시된 객체들을 위한 바람직한 확대 중심의 데이터베이스를 이용하여, 결정하는 단계;
초기 주시 객체 위치로부터 사전 정의된 거리 이내에 있는 디스플레이 상의 모든 객체들의 확대 도중에 사용자의 한쪽 또는 양쪽 안구가 추적되는 객체를 추종할 때를, 검출기로, 식별하는 단계;
확대 도중에 추적되는 객체가 사전 정의된 거리 및 사전 정의된 시간 중 하나 동안 추종되는 것을, 검출기로, 확인하고, 이에 의해 선택된 객체를 식별하는 단계; 및
선택된 객체에 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 142에 있어서,
추적되는 객체를 추종하는 단계가, 사용자의 한쪽 또는 양쪽 안구의 원활 추적, 사용자의 한쪽 또는 양쪽 안구의 일련의 도약들 및 사용자의 한쪽 또는 양쪽 안구의 원활 추적들 및 도약들의 조합 중 하나를 이용하여 수행되는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 검출기, 키보드 및 디스플레이를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 다수의 선택 가능한 타겟들을 포함하는 디스플레이 상의 구역에 지향될 때를, 검출기로, 식별하는 단계;
선택 가능한 타겟들 중 하나 이상과 각각 관련되는 다수의 키보드 심볼을, 디스플레이 상에, 중첩하는 단계;
하나 이상의 선택 가능한 타겟과 관련된 키보드 심볼들 중 하나에 대응되는 키보드 상의 키를 사용자가 선택하는 것을, 키보드로, 확인하고, 이에 의해 하나 이상의 선택된 타겟을 식별하는 단계; 및
하나 이상의 선택된 타겟에 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 144에 있어서,
액션이 디스플레이로부터 다수의 중첩된 키보드 심볼들을 제거하는 것을 더 포함하는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 그래픽 사용자 인터페이스를, 검출기, 디스플레이 및 마이크로폰을 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 다수의 선택 가능한 타겟을 포함하는 디스플레이 상의 구역에 지향될 때를, 검출기로, 식별하는 단계;
선택 가능한 타겟들 중 하나 이상과 각각 관련되는 다수의 심볼들을, 디스플레이 상에, 중첩시키는 단계;
사용자가 선택 가능한 타겟들 중 하나 이상과 관련된 심볼들 중 하나에 대응되는 소리를 발생시키는 것을, 마이크로폰 및 소리 템플릿들의 데이터베이스로, 확인하고, 이에 의해 하나 이상의 선택된 타겟을 식별하는 단계; 및
하나 이상의 선택된 타겟에 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 사용자의 의도를 전달하는 응시 방향을, 검출기 및 디스플레이를 이용하여, 결정하는 방법으로,
타겟 객체 위치들에 있는 디스플레이 상의 타겟 객체를 주시할 때의 사용자의 오른쪽 안구 응시 위치를, 검출기로, 식별하는 단계;
디스플레이 상의 타겟 객체를 주시할 때의 사용자의 왼쪽 안구 응시 위치를, 검출기로, 식별하는 단계;
왼쪽 안구 응시 위치 및 오른쪽 안구 응시 위치 중 어느 것이 타겟 객체 위치에 더 가까운지 결정하는 단계; 및
타겟 객체 위치 주위의 사전 결정된 범위 내의 위치 범위에 대한 안구 지배성을, 어느 쪽 안구 응시 방향이 타겟 객체의 위치에 더 가까운지 여부에 기반하여, 할당하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 147에 있어서,
디스플레이 상의 각기 다른 위치들에 있는 타겟 객체들의 시퀀스를 이용하여 식별, 결정 및 할당 단계들을 반복하고, 디스플레이 상의 각기 다른 위치들에 대한 안구 지배성 할당들의 우세성에 적어도 부분적으로 기반하여 디스플레이의 구역들에 대한 공간적 안구 지배성 맵을 할당하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 사용자의 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 응시 방향을, 검출기 및 디스플레이를 이용하여, 결정하는 방법으로,
사용자의 안구가 제1 객체 거리에 나타나는 제1 객체에 지향될 때를, 검출기로 식별하는 단계;
사용자의 안구가 제1 객체 거리와 다른 제2 객체 거리에 나타나는 디스플레이 상의 제2 객체에 지향될 때를, 검출기로, 식별하는 단계;
디스플레이 상의 제2 객체의 위치와 크기 중 하나 이상을, 디스플레이를 이용하여, 수정하는 단계;
사용자의 안구에 의해 주시될 때 제1 객체 및 제2 객체가 최대로 중첩되어 보이는 것을 확인하는 단계; 및
사용자의 안구의 시축을, 제1 객체의 위치 및 제2 객체의 위치에 기반하여, 결정하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 149에 있어서,
제1 객체가 디스플레이 상의 가상 객체 및 물리적 객체 중 하나인 것을 특징으로 하는 방법. - 청구항 149에 있어서,
디스플레이가 증강 현실 디스플레이, 가상 현실 디스플레이 및 혼합 현실 디스플레이 중 하나인 것을 특징으로 하는 방법. - 청구항 149에 있어서,
시축이 사용자의 왼쪽 안구 및 오른쪽 안구 중 하나 또는 둘 다에 대해 계산되는 것을 특징으로 하는 방법. - 청구항 149에 있어서,
디스플레이 상의 제2 객체의 위치 및 크기 중 하나 이상의 수정이 키보드, 터치 스크린, 머리 움직임들 및 사용자의 구두 명령들 중 하나 이상을 이용하여 수행되는 것을 특징으로 하는 방법. - 디바이스 사용자의 한쪽 또는 양쪽 안구의 응시 위치에 적어도 부분적으로 기반하여 전송 대역폭 내에서 디스플레이 상에 이미지들을, 검출기 및 디스플레이를 이용하여, 디스플레이하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 디스플레이 상의 응시 위치에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 시야 내에 있는 디스플레이 상의 중심와 뷰 구역을, 응시 위치에 기반하여, 식별하는 단계;
디바이스 사용자와 관련성이 높은 객체들인 디스플레이된 객체들을, 주시 가능한 객체들의 데이터베이스에 기반하여, 식별하는 단계; 및
중심와 뷰 내에 있는 것들 중 하나 이상이고 관련성이 높은 객체인 객체들을, 디스플레이를 이용하여, 사용자의 시야 내에 있는 나머지 객체들과 비교하여 높은 해상도로 렌더링하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 154에 있어서,
중심와 뷰 외부에 있고 관련성이 낮은 객체들인 객체들을, 디스플레이를 이용하여, 높은 해상도로 렌더링된 객체들에 비해 낮은 해상도로 렌더링하여 디스플레이 상에 객체들을 렌더링하는 하나 이상의 프로세서들의 대역폭을 절약하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 디바이스 사용자의 한쪽 또는 양쪽 안구의 응시 위치에 적어도 부분적으로 기반하여 전송 대역폭 내에서 디스플레이 상에 이미지들을, 검출기 및 디스플레이를 이용하여, 디스플레이하는 방법으로,
사용자의 한쪽 또는 양쪽 안구가 디스플레이 상의 응시 위치에 지향될 때를, 검출기로, 식별하는 단계;
응시 위치를 둘러싸는 사전 결정된 영역 내에 있는 디스플레이 상의 중심와 뷰 구역을, 응시 위치에 기반하여, 식별하는 단계;
디스플레이 상의 비-중심와 뷰 구역을, 중심와 뷰 구역 외부에 있는 사용자의 시야에 기반하여, 식별하는 단계; 및
비-중심와 구역에 있는 객체들을, 디스플레이를 이용하여, 색상 콘텐츠를 줄여서 렌더링하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 156에 있어서,
비-중심와 구역에 있는 객체들이 낮은 해상도로 렌더링되는 것을 특징으로 하는 방법. - 청구항 156에 있어서,
디스플레이 상에 객체들을 렌더링하는 하나 이상의 프로세서의 대역폭을 절약하도록 비-중심와 구역에 있는 객체들이 색상 콘텐츠를 줄여서 렌더링되는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 응시 위치에 적어도 부분적으로 기반하여 사전 결정된 전송 대역폭 내에서 디스플레이 상에 이미지를, 응시 검출기 및 디스플레이를 이용하여, 디스플레이하는 방법으로,
사용자의 한쪽 또는 양쪽 안구가 디스플레이 상의 응시 위치에 지향될 때를, 응시 검출기로, 식별하는 단계;
사용자의 시야 내에 있는 디스플레이 상의 고해상도 주시 구역을, 응시 위치에 기반하여, 식별하는 단계;
디스플레이 상의 고해상도 주시 구역에 있는 객체들을, 고해상도 주시 구역 외부의 사용자 시야 내에 있는 디스플레이 상의 나머지 객체들과 비교하여 높은 해상도로, 디스플레이를 이용하여, 렌더링하는 단계; 및
디스플레이 상의 고해상도 주시 구역의 크기와 형상 중 하나를, 사용자의 한쪽 또는 양쪽 안구에 도달하는 광량에 기반하여, 수정하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 159에 있어서,
사용자의 한쪽 또는 양쪽 안구에 도달하는 광량이 광 검출기를 이용하여 측정되는 것을 특징으로 하는 방법. - 청구항 160에 있어서,
광 검출기가 광 다이오드 및 광 트랜지스터 중 하나인 것을 특징으로 하는 방법. - 청구항 160에 있어서,
사용자의 한쪽 또는 양쪽 안구에 도달하는 광량이 가시 스펙트럼의 청록색 부분으로 국한되는 것을 특징으로 하는 방법. - 청구항 162에 있어서,
가시 스펙트럼의 청록색 부분이 400 내지 550나노미터 범위에 있는 것을 특징으로 하는 방법. - 청구항 159에 있어서,
사용자의 한쪽 또는 양쪽 안구에 도달하는 광량이 디스플레이에 의해 방사되는 광량으로부터 결정되는 것을 특징으로 하는 방법. - 청구항 164에 있어서,
디스플레이로부터 방사되는 광량이 400 내지 550나노미터의 파장 범위로 국한되는 것을 특징으로 하는 방법. - 청구항 159에 있어서,
사용자의 한쪽 또는 양쪽 안구에 도달하는 광량이 증가될 때 디스플레이 상의 고해상도 주시 구역의 크기가 축소되는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 결정하는 안구 응시를, 검출기를 이용하여, 측정하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구들이 객체의 기준 위치에 대한 제1 주시 위치에 지향될 때를, 검출기로, 식별하는 단계;
객체의 기준 위치에 대한 제1 주시 위치에 기반항 제1 가중치 계수를, 객체와 관련된 현저성 맵을 이용하여, 결정하는 단계;
사용자의 한쪽 또는 양쪽 안구가 객체의 기준 위치에 대한 제2 주시 위치에 지향될 때를, 검출기로, 식별하는 단계;
객체의 기준 위치에 대한 제2 주시 위치에 기반한 제2 가중치 계수를, 객체와 관련된 현저성 맵을 이용하여, 결정하는 단계; 및
제1 주시 위치와 제1 가중 계수의 곱 및 제2 주시 위치와 제2 가중 계수의 곱에 기반하여 가중 평균 주시 위치를 결정하는 단계를 포함하는 것을 특징으로 하는 방법. - 청구항 167에 있어서,
객체의 기준 위치에 대한 하나 이상의 추가 주시 위치들 및 관련된 가중 계수들을 포함하는 것에 의해 가중 평균 주시 위치를 재-결정하는 단계를 더 포함하는 것을 특징으로 하는 방법. - 사용자의 한쪽 또는 양쪽 안구의 운동에 적어도 부분적으로 기반하여 사용자의 의도를 전달하는 그래픽 사용자 인터페이스를, 검출기 및 디스플레이를 이용하여, 제공하기 위한 방법으로,
사용자의 한쪽 또는 양쪽 안구가 디스플레이 상의 제1 위치에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제1 위치로부터 영역 선택 타겟을 향하는 제1 도약이 영역 선택 타겟의 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계;
사용자의 한쪽 또는 양쪽 안구가 디스플레이 상의 제2 위치에 지향될 때를, 검출기로, 식별하는 단계;
사용자의 한쪽 또는 양쪽 안구가 제3 위치로부터 활성화 타겟을 향하는 제2 도약이 활성화 타겟의 위치로부터 사전 결정된 거리 이내까지 완료되는 것을, 검출기로, 확인하는 단계;
제1 위치 및 제2 위치에 모서리들을 구비하는 직사각형 구역에 접하는 모든 객체들을, 디스플레이 상에 투사되는 객체들에 기반하여, 식별하는 단계; 및
제1 위치 및 제2 위치에 모서리들을 구비하는 직사각형 구역에 접하는 디스플레이 상의 모든 객체들에, 활성화 타겟에 관련된 액션을 수행하는 단계를 포함하는 것을 특징으로 하는 방법. - 선행하는 청구항들 중 어느 한 청구항에 따른 방법을 수행하기 위한 처리 유닛을 포함하는 시스템.
- 청구항 170에 있어서,
선행하는 청구항들 중 어느 한 청구항에 따른 방법을 수행하도록 처리 유닛에 작동 가능하게 결합되는 검출기 및 디스플레이 중 하나 이상을 더 포함하는 것을 특징으로 하는 시스템.
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562205707P | 2015-08-15 | 2015-08-15 | |
| US62/205,707 | 2015-08-15 | ||
| US201562252347P | 2015-11-06 | 2015-11-06 | |
| US62/252,347 | 2015-11-06 | ||
| US201662319751P | 2016-04-07 | 2016-04-07 | |
| US62/319,751 | 2016-04-07 | ||
| PCT/US2016/047105 WO2017031089A1 (en) | 2015-08-15 | 2016-08-15 | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180083252A true KR20180083252A (ko) | 2018-07-20 |
| KR102196975B1 KR102196975B1 (ko) | 2020-12-30 |
Family
ID=58051236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177031497A KR102196975B1 (ko) | 2015-08-15 | 2016-08-15 | 실제 객체 및 가상 객체와 상호작용하기 위한 생체기계적 기반의 안구 신호를 위한 시스템 및 방법 |
Country Status (7)
| Country | Link |
|---|---|
| EP (1) | EP3335096B1 (ko) |
| JP (1) | JP6865175B2 (ko) |
| KR (1) | KR102196975B1 (ko) |
| CN (1) | CN108351685B (ko) |
| DE (1) | DE112016003719T5 (ko) |
| GB (1) | GB2561455B (ko) |
| WO (1) | WO2017031089A1 (ko) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200102228A (ko) * | 2019-02-21 | 2020-08-31 | 한국과학기술원 | 입력 방법 및 이를 수행하는 장치들 |
| KR20210086223A (ko) * | 2019-12-31 | 2021-07-08 | 엘지전자 주식회사 | Xr 컨텐트 제공 방법 및 xr 컨텐트 제공 디바이스 |
| KR20220061309A (ko) * | 2020-11-05 | 2022-05-13 | 한국전자통신연구원 | 증강 현실 기반의 스크린 스포츠 체험 장치 및 방법 |
| US11609632B2 (en) | 2019-08-21 | 2023-03-21 | Korea Institute Of Science And Technology | Biosignal-based avatar control system and method |
Families Citing this family (77)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10884493B2 (en) | 2013-06-20 | 2021-01-05 | Uday Parshionikar | Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions |
| US10489577B2 (en) * | 2016-08-11 | 2019-11-26 | Onenigma LLC | Identifying one or more users based on typing pattern and/or behavior |
| US10627900B2 (en) * | 2017-03-23 | 2020-04-21 | Google Llc | Eye-signal augmented control |
| US10216260B2 (en) * | 2017-03-27 | 2019-02-26 | Microsoft Technology Licensing, Llc | Selective rendering of sparse peripheral displays based on element saliency |
| GB2561852A (en) * | 2017-04-25 | 2018-10-31 | Bae Systems Plc | Watercraft |
| CA3061410C (en) | 2017-04-25 | 2023-03-21 | Bae Systems Plc | Watercraft |
| GB2561882A (en) * | 2017-04-27 | 2018-10-31 | Nokia Technologies Oy | Virtual reality viewport adaption |
| CN117762256A (zh) | 2017-05-31 | 2024-03-26 | 奇跃公司 | 眼睛跟踪校准技术 |
| GB2563276B (en) * | 2017-06-09 | 2021-12-01 | Advanced Risc Mach Ltd | Virtual reality systems |
| JP7081599B2 (ja) * | 2017-07-27 | 2022-06-07 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| CN111629653B (zh) | 2017-08-23 | 2024-06-21 | 神经股份有限公司 | 具有高速眼睛跟踪特征的大脑-计算机接口 |
| CN111052042B (zh) | 2017-09-29 | 2022-06-07 | 苹果公司 | 基于注视的用户交互 |
| CN109697000B (zh) * | 2017-10-24 | 2022-09-16 | 阿里巴巴集团控股有限公司 | 资源分配方法及相关设备、显示方法及相关设备 |
| US10484530B2 (en) * | 2017-11-07 | 2019-11-19 | Google Llc | Sensor based component activation |
| KR20200098524A (ko) | 2017-11-13 | 2020-08-20 | 뉴레이블 인크. | 고속, 정확도 및 직관적 사용자 상호작용을 위한 적응을 갖춘 두뇌-컴퓨터 인터페이스 |
| JP2021502881A (ja) * | 2017-11-14 | 2021-02-04 | ビビッド・ビジョン・インコーポレイテッドＶｉｖｉｄ Ｖｉｓｉｏｎ，Ｉｎｃ． | 視野解析のためのシステムおよび方法 |
| US11126848B2 (en) | 2017-11-20 | 2021-09-21 | Rakuten Group, Inc. | Information processing device, information processing method, and information processing program |
| EP3724855A4 (en) | 2017-12-14 | 2022-01-12 | Magic Leap, Inc. | CONTEXT-BASED REPRESENTATION OF VIRTUAL AVATARS |
| WO2019144196A1 (en) * | 2018-01-25 | 2019-08-01 | Psykinetic Pty Ltd | Eye-typing method, system and computer readable medium |
| FR3077900B1 (fr) * | 2018-02-12 | 2020-01-17 | Thales | Vision peripherique dans une interface homme-machine |
| US11314396B2 (en) | 2018-05-09 | 2022-04-26 | Apple Inc. | Selecting a text input field using eye gaze |
| US11604661B2 (en) * | 2018-06-03 | 2023-03-14 | Apple Inc. | Determining relevant information based on third party information and user interactions |
| CN112005282A (zh) | 2018-06-20 | 2020-11-27 | 惠普发展公司，有限责任合伙企业 | 混合现实设备的警报 |
| US11450070B2 (en) | 2018-06-20 | 2022-09-20 | Hewlett-Packard Development Company, L.P. | Alerts of mixed reality devices |
| DE102018210824B4 (de) * | 2018-07-02 | 2023-02-09 | Audi Ag | Verfahren und System zur Ausleuchtung eines Bereichs in einer Umgebung eines Fahrzeugs |
| US10581940B1 (en) * | 2018-08-20 | 2020-03-03 | Dell Products, L.P. | Head-mounted devices (HMDs) discovery in co-located virtual, augmented, and mixed reality (xR) applications |
| US10616565B2 (en) * | 2018-08-21 | 2020-04-07 | The Boeing Company | System and method for foveated simulation |
| US11037368B2 (en) * | 2018-09-11 | 2021-06-15 | Samsung Electronics Co., Ltd. | Localization method and apparatus of displaying virtual object in augmented reality |
| US10664050B2 (en) * | 2018-09-21 | 2020-05-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
| CN112005296B (zh) * | 2018-10-09 | 2023-03-31 | 惠普发展公司，有限责任合伙企业 | 利用机器学习来选择显示器 |
| CN112868068B (zh) * | 2018-10-17 | 2024-05-10 | 谷歌有限责任公司 | 使用利用其它模式训练的机器学习模型处理眼底相机图像 |
| CN111281762A (zh) * | 2018-12-07 | 2020-06-16 | 广州幻境科技有限公司 | 一种视力康复训练方法及系统 |
| CN109324417A (zh) * | 2018-12-13 | 2019-02-12 | 宜视智能科技（苏州）有限公司 | 助视器及其控制方法、计算机存储介质 |
| CN109799838B (zh) * | 2018-12-21 | 2022-04-15 | 金季春 | 一种训练方法和系统 |
| US11514602B2 (en) | 2018-12-25 | 2022-11-29 | Samsung Electronics Co., Ltd. | Method and apparatus for gaze estimation |
| CN109917914B (zh) * | 2019-03-05 | 2022-06-17 | 河海大学常州校区 | 基于视野位置的交互界面分析与优化方法 |
| JP7215246B2 (ja) * | 2019-03-08 | 2023-01-31 | 株式会社Ｊｖｃケンウッド | 表示装置、表示方法、及び表示プログラム |
| EP3709263A1 (en) * | 2019-03-14 | 2020-09-16 | Siemens Healthcare GmbH | Method and system for monitoring a biological process |
| CN111766939A (zh) * | 2019-03-15 | 2020-10-13 | 苹果公司 | 在光学透传显示器上的注意力方向 |
| WO2020209171A1 (ja) * | 2019-04-09 | 2020-10-15 | オムロン株式会社 | 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム |
| US11228810B1 (en) | 2019-04-22 | 2022-01-18 | Matan Arazi | System, method, and program product for interactively prompting user decisions |
| US11882268B2 (en) * | 2019-05-30 | 2024-01-23 | Kyocera Corporation | Head-up display system and movable object |
| EP3744227A1 (en) * | 2019-05-31 | 2020-12-02 | Essilor International | Binocular refraction instrument, set of test images, binocular refraction method and computer program associated thereof |
| US10997773B2 (en) * | 2019-06-13 | 2021-05-04 | Facebook Technologies, Llc | Dynamic tiling for foveated rendering |
| US10976816B2 (en) * | 2019-06-25 | 2021-04-13 | Microsoft Technology Licensing, Llc | Using eye tracking to hide virtual reality scene changes in plain sight |
| US10901502B2 (en) * | 2019-06-27 | 2021-01-26 | Facebook, Inc. | Reducing head mounted display power consumption and heat generation through predictive rendering of content |
| CN110399930B (zh) * | 2019-07-29 | 2021-09-03 | 北京七鑫易维信息技术有限公司 | 一种数据处理方法及系统 |
| CN110703916B (zh) * | 2019-09-30 | 2023-05-09 | 恒信东方文化股份有限公司 | 一种三维建模方法及其系统 |
| CA3058447A1 (en) * | 2019-10-10 | 2021-04-10 | Spacecard Inc. | A system for generating and displaying interactive mixed-reality video on mobile devices |
| KR102128894B1 (ko) * | 2019-10-10 | 2020-07-01 | 주식회사 메디씽큐 | 스마트 안경의 시선 트래킹 시스템 및 그 방법 |
| US11430414B2 (en) * | 2019-10-17 | 2022-08-30 | Microsoft Technology Licensing, Llc | Eye gaze control of magnification user interface |
| CN110956082B (zh) * | 2019-10-17 | 2023-03-24 | 江苏科技大学 | 基于深度学习的人脸关键点检测方法和检测系统 |
| TWI734259B (zh) * | 2019-11-14 | 2021-07-21 | 雲想科技股份有限公司 | 電子簽章認證裝置及其方法 |
| US11176637B2 (en) | 2019-12-03 | 2021-11-16 | Facebook Technologies, Llc | Foveated rendering using eye motion |
| EP3839411B1 (fr) * | 2019-12-17 | 2023-08-23 | John Cockerill Defense SA | Système intelligent pour le contrôle de fonctions dans une tourelle de véhicule de combat |
| US11526159B2 (en) * | 2020-02-14 | 2022-12-13 | Rockwell Automation Technologies, Inc. | Augmented reality human machine interface testing |
| CN111443796B (zh) * | 2020-03-10 | 2023-04-28 | 维沃移动通信有限公司 | 一种信息处理方法及装置 |
| WO2021194487A1 (en) * | 2020-03-25 | 2021-09-30 | Hewlett-Packard Development Company, L.P. | Head-related transfer functions with antropometric measurements |
| CN111861900A (zh) * | 2020-06-05 | 2020-10-30 | 北京迈格威科技有限公司 | 视频抠像降噪方法和装置 |
| CN111930234A (zh) * | 2020-08-05 | 2020-11-13 | 西安闻泰电子科技有限公司 | 基于眼睛控制的输入方法、装置、电子设备及存储介质 |
| DE102020210173A1 (de) | 2020-08-11 | 2022-02-17 | Volkswagen Aktiengesellschaft | Verfahren sowie System zur Unterstützung eines Fahrers eines Fahrzeuges bei Engstellen in einem Fahrweg des Fahrzeuges |
| US11875461B2 (en) | 2021-01-22 | 2024-01-16 | Dtis, Llc | Visual data management system and method |
| CN112952838B (zh) * | 2021-01-29 | 2023-08-11 | 中国电力科学研究院有限公司 | 一种基于眼动设备的潮流智能分析方法及装置 |
| CN112906346B (zh) * | 2021-02-09 | 2023-07-04 | 江苏徐工工程机械研究院有限公司 | 一种工程机械显示器字符大小设计系统及方法 |
| US11769134B2 (en) * | 2021-03-22 | 2023-09-26 | International Business Machines Corporation | Multi-user interactive ad shopping using wearable device gestures |
| WO2022265654A1 (en) * | 2021-06-18 | 2022-12-22 | Hewlett-Packard Development Company, L.P. | Image analysis to switch audio devices |
| US20230030433A1 (en) * | 2021-07-27 | 2023-02-02 | App-Pop-Up Inc. | System and method for adding and simultaneously displaying auxiliary content to main content displayed via a graphical user interface (gui) |
| CN114115230B (zh) * | 2021-10-25 | 2023-10-03 | 武汉理工大学 | 人机协同的船舶远程驾驶控制方法、系统、装置及介质 |
| KR102655829B1 (ko) * | 2021-11-08 | 2024-04-08 | 엄태경 | 자세 교정용 모니터 및 이의 조절 방법 |
| WO2023104286A1 (en) * | 2021-12-07 | 2023-06-15 | Ericsson | Rendering of virtual keyboards in virtual environments |
| CN114265501B (zh) * | 2021-12-22 | 2024-01-26 | 南京紫金体育产业股份有限公司 | 一种运动场景动态识别系统 |
| JP2023115808A (ja) | 2022-02-08 | 2023-08-21 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、および記録媒体 |
| CN114420131B (zh) * | 2022-03-16 | 2022-05-31 | 云天智能信息(深圳)有限公司 | 低弱视力智能语音辅助识别系统 |
| US11620000B1 (en) * | 2022-03-31 | 2023-04-04 | Microsoft Technology Licensing, Llc | Controlled invocation of a precision input mode |
| EP4258085A1 (de) * | 2022-04-04 | 2023-10-11 | Deutsche Telekom AG | Steuerung eines cursors bei der nutzung virtueller bildschirme |
| WO2024110779A1 (en) * | 2022-11-24 | 2024-05-30 | Viewpointsystem Gmbh | Method for triggering actions in the metaverse or virtual worlds |
| CN115686292B (zh) * | 2023-01-03 | 2023-07-25 | 京东方艺云(杭州)科技有限公司 | 一种信息显示的方法、装置、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090125849A1 (en) * | 2005-10-28 | 2009-05-14 | Tobii Technology Ab | Eye Tracker with Visual Feedback |
| KR20130123064A (ko) * | 2012-05-02 | 2013-11-12 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| US20140002352A1 (en) * | 2012-05-09 | 2014-01-02 | Michal Jacob | Eye tracking based selective accentuation of portions of a display |
| JP2014504413A (ja) * | 2010-12-16 | 2014-02-20 | マイクロソフト コーポレーション | 理解および意図に基づく拡張現実表示用コンテンツ |
| KR20140073730A (ko) * | 2012-12-06 | 2014-06-17 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기 제어방법 |
| KR20160109443A (ko) * | 2015-03-11 | 2016-09-21 | 주식회사 비주얼캠프 | 시선 추적을 이용한 디스플레이 장치 및 방법 |
| JP2016537067A (ja) * | 2013-10-17 | 2016-12-01 | チルドレンズ ヘルスケア オブ アトランタ， インコーポレイテッド | 乳児及び子供の発達をアイ・トラッキングによって評価するための方法 |
| KR101857466B1 (ko) * | 2017-06-16 | 2018-05-15 | 주식회사 비주얼캠프 | 헤드 마운트 디스플레이 및 그 캘리브레이션 방법 |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4737040A (en) * | 1985-02-15 | 1988-04-12 | Moon Tag Y | Keyboard device and method for entering Japanese language text utilizing Romaji character notation |
| CA2126142A1 (en) * | 1994-06-17 | 1995-12-18 | David Alexander Kahn | Visual communications apparatus |
| US7438414B2 (en) * | 2005-07-28 | 2008-10-21 | Outland Research, Llc | Gaze discriminating electronic control apparatus, system, method and computer program product |
| US8487775B2 (en) * | 2006-06-11 | 2013-07-16 | Volvo Technology Corporation | Method and apparatus for determining and analyzing a location of visual interest |
| FR2912274B1 (fr) * | 2007-02-02 | 2009-10-16 | Binocle Sarl | Procede de commande a partir d'un signal oculaire volontaire, notamment pour une prise de vues |
| JP4411387B2 (ja) * | 2007-08-07 | 2010-02-10 | 学校法人 大阪電気通信大学 | 動体検出装置、動体検出方法、ポインティングデバイス、コンピュータプログラム及び記憶媒体 |
| WO2010118292A1 (en) * | 2009-04-09 | 2010-10-14 | Dynavox Systems, Llc | Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods |
| US8885877B2 (en) * | 2011-05-20 | 2014-11-11 | Eyefluence, Inc. | Systems and methods for identifying gaze tracking scene reference locations |
| US8994522B2 (en) * | 2011-05-26 | 2015-03-31 | General Motors Llc | Human-machine interface (HMI) auto-steer based upon-likelihood to exceed eye glance guidelines |
| CN103988149A (zh) * | 2011-12-14 | 2014-08-13 | 英特尔公司 | 注视激活的内容传输系统 |
| US8917238B2 (en) * | 2012-06-28 | 2014-12-23 | Microsoft Corporation | Eye-typing term recognition |
| CN103631365B (zh) * | 2012-08-22 | 2016-12-21 | 中国移动通信集团公司 | 一种终端输入控制方法及装置 |
| US9176581B2 (en) * | 2012-09-28 | 2015-11-03 | Intel Corporation | System and method for inferring user intent based on eye movement during observation of a display screen |
| WO2014098798A1 (en) * | 2012-12-17 | 2014-06-26 | Empire Technology Development, Llc | Progressively triggered auto-fill |
| KR20160005013A (ko) * | 2013-03-01 | 2016-01-13 | 토비 에이비 | 지연 워프 시선 상호작용 |
| US10025378B2 (en) * | 2013-06-25 | 2018-07-17 | Microsoft Technology Licensing, Llc | Selecting user interface elements via position signal |
-
2016
- 2016-08-15 KR KR1020177031497A patent/KR102196975B1/ko active IP Right Grant
- 2016-08-15 EP EP16837677.0A patent/EP3335096B1/en active Active
- 2016-08-15 DE DE112016003719.8T patent/DE112016003719T5/de not_active Ceased
- 2016-08-15 WO PCT/US2016/047105 patent/WO2017031089A1/en active Application Filing
- 2016-08-15 CN CN201680031080.4A patent/CN108351685B/zh active Active
- 2016-08-15 GB GB1803620.2A patent/GB2561455B/en active Active
- 2016-08-15 JP JP2017556858A patent/JP6865175B2/ja active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090125849A1 (en) * | 2005-10-28 | 2009-05-14 | Tobii Technology Ab | Eye Tracker with Visual Feedback |
| JP2014504413A (ja) * | 2010-12-16 | 2014-02-20 | マイクロソフト コーポレーション | 理解および意図に基づく拡張現実表示用コンテンツ |
| KR20130123064A (ko) * | 2012-05-02 | 2013-11-12 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| US20140002352A1 (en) * | 2012-05-09 | 2014-01-02 | Michal Jacob | Eye tracking based selective accentuation of portions of a display |
| KR20140073730A (ko) * | 2012-12-06 | 2014-06-17 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기 제어방법 |
| JP2016537067A (ja) * | 2013-10-17 | 2016-12-01 | チルドレンズ ヘルスケア オブ アトランタ， インコーポレイテッド | 乳児及び子供の発達をアイ・トラッキングによって評価するための方法 |
| KR20160109443A (ko) * | 2015-03-11 | 2016-09-21 | 주식회사 비주얼캠프 | 시선 추적을 이용한 디스플레이 장치 및 방법 |
| KR101857466B1 (ko) * | 2017-06-16 | 2018-05-15 | 주식회사 비주얼캠프 | 헤드 마운트 디스플레이 및 그 캘리브레이션 방법 |
Non-Patent Citations (1)
| Title |
|---|
| A.D. Tula et. al., "Meta-keys: Extending the Functionality of Gaze-based Interaction", In the Proc. of IHC 2014, pp.285~292, 2014 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200102228A (ko) * | 2019-02-21 | 2020-08-31 | 한국과학기술원 | 입력 방법 및 이를 수행하는 장치들 |
| US11609632B2 (en) | 2019-08-21 | 2023-03-21 | Korea Institute Of Science And Technology | Biosignal-based avatar control system and method |
| KR20210086223A (ko) * | 2019-12-31 | 2021-07-08 | 엘지전자 주식회사 | Xr 컨텐트 제공 방법 및 xr 컨텐트 제공 디바이스 |
| KR20220061309A (ko) * | 2020-11-05 | 2022-05-13 | 한국전자통신연구원 | 증강 현실 기반의 스크린 스포츠 체험 장치 및 방법 |
| US11450033B2 (en) | 2020-11-05 | 2022-09-20 | Electronics And Telecommunications Research Institute | Apparatus and method for experiencing augmented reality-based screen sports match |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6865175B2 (ja) | 2021-04-28 |
| CN108351685A (zh) | 2018-07-31 |
| EP3335096B1 (en) | 2022-10-05 |
| CN108351685B (zh) | 2022-07-08 |
| WO2017031089A1 (en) | 2017-02-23 |
| DE112016003719T5 (de) | 2018-05-09 |
| JP2018530798A (ja) | 2018-10-18 |
| GB2561455B (en) | 2022-05-18 |
| GB201803620D0 (en) | 2018-04-18 |
| EP3335096A1 (en) | 2018-06-20 |
| EP3335096A4 (en) | 2019-03-06 |
| GB2561455A (en) | 2018-10-17 |
| KR102196975B1 (ko) | 2020-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102196975B1 (ko) | 실제 객체 및 가상 객체와 상호작용하기 위한 생체기계적 기반의 안구 신호를 위한 시스템 및 방법 | |
| US10564714B2 (en) | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects | |
| JP7200195B2 (ja) | 感覚式アイウェア | |
| US9823744B2 (en) | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects | |
| US10082940B2 (en) | Text functions in augmented reality | |
| CN113608617A (zh) | 可穿戴系统的多模式任务执行和文本编辑 | |
| JP2023520345A (ja) | 視線ベースのナビゲーションのためのデバイス、方法、及びグラフィカルユーザインタフェース | |
| CN114546102B (zh) | 眼动追踪滑行输入方法、系统、智能终端及眼动追踪装置 | |
| US20230315247A1 (en) | Devices, Methods, and Graphical User Interfaces for Accessing System Functions of Computer Systems While Displaying Three-Dimensional Environments | |
| US20240061547A1 (en) | Devices, Methods, and Graphical User Interfaces for Improving Accessibility of Interactions with Three-Dimensional Environments | |
| US20240103676A1 (en) | Methods for interacting with user interfaces based on attention | |
| US20240152245A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments | |
| US20230259265A1 (en) | Devices, methods, and graphical user interfaces for navigating and inputting or revising content | |
| US20240152256A1 (en) | Devices, Methods, and Graphical User Interfaces for Tabbed Browsing in Three-Dimensional Environments | |
| US20240103682A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Window Controls in Three-Dimensional Environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |