JP6865175B2 - 実在オブジェクトおよび仮想オブジェクトと対話するための生体力学に基づく視覚信号用のシステムおよび方法 - Google Patents
実在オブジェクトおよび仮想オブジェクトと対話するための生体力学に基づく視覚信号用のシステムおよび方法 Download PDFInfo
- Publication number
- JP6865175B2 JP6865175B2 JP2017556858A JP2017556858A JP6865175B2 JP 6865175 B2 JP6865175 B2 JP 6865175B2 JP 2017556858 A JP2017556858 A JP 2017556858A JP 2017556858 A JP2017556858 A JP 2017556858A JP 6865175 B2 JP6865175 B2 JP 6865175B2
- Authority
- JP
- Japan
- Prior art keywords
- user
- keyboard
- key
- display
- eyes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 270
- 230000000007 visual effect Effects 0.000 title description 292
- 210000001508 eye Anatomy 0.000 claims description 583
- 230000004424 eye movement Effects 0.000 claims description 328
- 230000033001 locomotion Effects 0.000 claims description 148
- 230000003565 oculomotor Effects 0.000 claims description 138
- 230000006870 function Effects 0.000 claims description 124
- 238000001514 detection method Methods 0.000 claims description 49
- 230000004044 response Effects 0.000 claims description 20
- 230000002093 peripheral effect Effects 0.000 claims description 15
- 238000012986 modification Methods 0.000 claims description 5
- 230000004048 modification Effects 0.000 claims description 5
- 238000012790 confirmation Methods 0.000 claims description 4
- 102000014150 Interferons Human genes 0.000 claims 3
- 108010050904 Interferons Proteins 0.000 claims 3
- 229940079322 interferon Drugs 0.000 claims 3
- 230000035939 shock Effects 0.000 claims 1
- 230000008569 process Effects 0.000 description 83
- 230000008859 change Effects 0.000 description 44
- 238000005259 measurement Methods 0.000 description 42
- 238000012546 transfer Methods 0.000 description 39
- 230000000694 effects Effects 0.000 description 38
- 210000003811 finger Anatomy 0.000 description 37
- 210000003128 head Anatomy 0.000 description 30
- 230000001629 suppression Effects 0.000 description 30
- 210000004027 cell Anatomy 0.000 description 29
- 230000009471 action Effects 0.000 description 25
- 238000012545 processing Methods 0.000 description 25
- 230000004913 activation Effects 0.000 description 24
- 238000001994 activation Methods 0.000 description 24
- 230000003190 augmentative effect Effects 0.000 description 24
- 239000011159 matrix material Substances 0.000 description 24
- 230000004397 blinking Effects 0.000 description 23
- 230000001149 cognitive effect Effects 0.000 description 23
- 230000002829 reductive effect Effects 0.000 description 23
- 230000001965 increasing effect Effects 0.000 description 21
- 238000009877 rendering Methods 0.000 description 21
- 230000007246 mechanism Effects 0.000 description 20
- 241000699666 Mus <mouse, genus> Species 0.000 description 18
- 230000004886 head movement Effects 0.000 description 16
- 210000004247 hand Anatomy 0.000 description 15
- 230000006854 communication Effects 0.000 description 14
- 210000001747 pupil Anatomy 0.000 description 14
- 201000004569 Blindness Diseases 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 13
- 230000019771 cognition Effects 0.000 description 13
- 238000004891 communication Methods 0.000 description 13
- 238000013479 data entry Methods 0.000 description 13
- 230000003993 interaction Effects 0.000 description 13
- 230000015654 memory Effects 0.000 description 13
- 230000003287 optical effect Effects 0.000 description 13
- 238000003825 pressing Methods 0.000 description 13
- 239000003086 colorant Substances 0.000 description 11
- 238000013507 mapping Methods 0.000 description 11
- 230000005043 peripheral vision Effects 0.000 description 11
- 210000001525 retina Anatomy 0.000 description 11
- 230000008901 benefit Effects 0.000 description 10
- 238000003860 storage Methods 0.000 description 10
- 230000001720 vestibular Effects 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000012937 correction Methods 0.000 description 9
- 239000003607 modifier Substances 0.000 description 9
- 230000035945 sensitivity Effects 0.000 description 9
- 230000007704 transition Effects 0.000 description 9
- 241000282412 Homo Species 0.000 description 8
- 238000013459 approach Methods 0.000 description 8
- 210000005252 bulbus oculi Anatomy 0.000 description 8
- 210000000744 eyelid Anatomy 0.000 description 8
- 230000001976 improved effect Effects 0.000 description 8
- 230000001537 neural effect Effects 0.000 description 8
- 230000004461 rapid eye movement Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 7
- 230000009977 dual effect Effects 0.000 description 7
- 230000004438 eyesight Effects 0.000 description 7
- 238000012935 Averaging Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 5
- 238000009826 distribution Methods 0.000 description 5
- 230000007613 environmental effect Effects 0.000 description 5
- 238000003780 insertion Methods 0.000 description 5
- 230000037431 insertion Effects 0.000 description 5
- 230000002452 interceptive effect Effects 0.000 description 5
- 210000003205 muscle Anatomy 0.000 description 5
- 230000002269 spontaneous effect Effects 0.000 description 5
- 230000003213 activating effect Effects 0.000 description 4
- 238000012152 algorithmic method Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000006998 cognitive state Effects 0.000 description 4
- 210000000695 crystalline len Anatomy 0.000 description 4
- 238000006073 displacement reaction Methods 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 4
- 210000002589 oculomotor nerve Anatomy 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 208000001692 Esotropia Diseases 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 3
- 208000004350 Strabismus Diseases 0.000 description 3
- 206010044565 Tremor Diseases 0.000 description 3
- 208000003464 asthenopia Diseases 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 239000011248 coating agent Substances 0.000 description 3
- 238000000576 coating method Methods 0.000 description 3
- 238000005520 cutting process Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000011049 filling Methods 0.000 description 3
- 230000005021 gait Effects 0.000 description 3
- 238000007429 general method Methods 0.000 description 3
- 230000035479 physiological effects, processes and functions Effects 0.000 description 3
- 230000035790 physiological processes and functions Effects 0.000 description 3
- 230000003252 repetitive effect Effects 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 241000282326 Felis catus Species 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000853 adhesive Substances 0.000 description 2
- 230000001070 adhesive effect Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 239000011324 bead Substances 0.000 description 2
- 210000003169 central nervous system Anatomy 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000000720 eyelash Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000001328 optic nerve Anatomy 0.000 description 2
- 238000004091 panning Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 108091008695 photoreceptors Proteins 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000035484 reaction time Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 230000001373 regressive effect Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 230000011664 signaling Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000006886 spatial memory Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000036962 time dependent Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 239000010981 turquoise Substances 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 230000002747 voluntary effect Effects 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 230000003936 working memory Effects 0.000 description 2
- RDEIXVOBVLKYNT-VQBXQJRRSA-N (2r,3r,4r,5r)-2-[(1s,2s,3r,4s,6r)-4,6-diamino-3-[(2r,3r,6s)-3-amino-6-(1-aminoethyl)oxan-2-yl]oxy-2-hydroxycyclohexyl]oxy-5-methyl-4-(methylamino)oxane-3,5-diol;(2r,3r,4r,5r)-2-[(1s,2s,3r,4s,6r)-4,6-diamino-3-[(2r,3r,6s)-3-amino-6-(aminomethyl)oxan-2-yl]o Chemical compound OS(O)(=O)=O.O1C[C@@](O)(C)[C@H](NC)[C@@H](O)[C@H]1O[C@@H]1[C@@H](O)[C@H](O[C@@H]2[C@@H](CC[C@@H](CN)O2)N)[C@@H](N)C[C@H]1N.O1C[C@@](O)(C)[C@H](NC)[C@@H](O)[C@H]1O[C@@H]1[C@@H](O)[C@H](O[C@@H]2[C@@H](CC[C@H](O2)C(C)N)N)[C@@H](N)C[C@H]1N.O1[C@H](C(C)NC)CC[C@@H](N)[C@H]1O[C@H]1[C@H](O)[C@@H](O[C@@H]2[C@@H]([C@@H](NC)[C@@](C)(O)CO2)O)[C@H](N)C[C@@H]1N RDEIXVOBVLKYNT-VQBXQJRRSA-N 0.000 description 1
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 208000019901 Anxiety disease Diseases 0.000 description 1
- 206010002953 Aphonia Diseases 0.000 description 1
- 101100272279 Beauveria bassiana Beas gene Proteins 0.000 description 1
- 238000006873 Coates reaction Methods 0.000 description 1
- 206010057315 Daydreaming Diseases 0.000 description 1
- 206010011878 Deafness Diseases 0.000 description 1
- 208000003098 Ganglion Cysts Diseases 0.000 description 1
- 241000668842 Lepidosaphes gloverii Species 0.000 description 1
- 206010025421 Macule Diseases 0.000 description 1
- 241000124008 Mammalia Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 1
- 241000590419 Polygonia interrogationis Species 0.000 description 1
- 206010039740 Screaming Diseases 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 208000005400 Synovial Cyst Diseases 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000036506 anxiety Effects 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000003592 biomimetic effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 210000001638 cerebellum Anatomy 0.000 description 1
- 230000002301 combined effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000001351 cycling effect Effects 0.000 description 1
- 231100000895 deafness Toxicity 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000002224 dissection Methods 0.000 description 1
- 208000002173 dizziness Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005670 electromagnetic radiation Effects 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000004384 eye physiology Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 210000001097 facial muscle Anatomy 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000011010 flushing procedure Methods 0.000 description 1
- 210000002683 foot Anatomy 0.000 description 1
- 210000000873 fovea centralis Anatomy 0.000 description 1
- 210000002149 gonad Anatomy 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 208000016354 hearing loss disease Diseases 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009474 immediate action Effects 0.000 description 1
- 230000005764 inhibitory process Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000004301 light adaptation Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 230000001404 mediated effect Effects 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000037191 muscle physiology Effects 0.000 description 1
- 230000004379 myopia Effects 0.000 description 1
- 208000001491 myopia Diseases 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 210000004126 nerve fiber Anatomy 0.000 description 1
- 230000004751 neurological system process Effects 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000037361 pathway Effects 0.000 description 1
- 230000010363 phase shift Effects 0.000 description 1
- 229910052698 phosphorus Inorganic materials 0.000 description 1
- 239000011574 phosphorus Substances 0.000 description 1
- 230000004962 physiological condition Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000036387 respiratory rate Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000001711 saccadic effect Effects 0.000 description 1
- 210000003786 sclera Anatomy 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
- 210000000857 visual cortex Anatomy 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0485—Scrolling or panning
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
- G06F3/0233—Character input methods
- G06F3/0236—Character input methods using selection techniques to select from displayed items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
- G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
- G10G1/00—Means for the representation of music
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Description
関連出願
本願は、２０１５年８月１５日に提出された同時係属米国仮出願第６２／０２５７０７号、２０１５年１１月６日に提出された同時係属米国仮出願第６２／２５２３４７号、および２０１６年４月７日に提出された同時係属米国仮出願第６２／３１９７５１号の優先権を主張し、２０１４年５月９日に提出された米国仮出願第６１／９９１４３５号、２０１４年７月１３日に提出された米国仮出願第６２／０２３９４０号、２０１４年７月２２日に提出された米国仮出願第６２／０２７７７４号、２０１４年７月２２日に提出された米国仮出願第６２／０２７７７７号、２０１４年８月１９日に提出された米国仮出願第６２／０３８９８４号、２０１４年８月１９日に提出された米国仮出願第６２／０３９００１号、２０１４年９月４日に提出された米国仮出願第６２／０４６０７２号、２０１４年１１月４日に提出された米国仮出願第６２／０７４９２０号、および２０１４年１１月４日に提出された米国仮出願第６２／０７４９２７号の優先権を出張する、全てが２０１５年５月９日に提出された同時係属米国特許出願第１４／７０８２３４号、第１４／７０８２４１号および第１４／７０８２２９号の一部継続出願であり、これらの出願の全体が参照により本明細書に組み込まれる。
本願は、２０１５年８月１５日に提出された同時係属米国仮出願第６２／０２５７０７号、２０１５年１１月６日に提出された同時係属米国仮出願第６２／２５２３４７号、および２０１６年４月７日に提出された同時係属米国仮出願第６２／３１９７５１号の優先権を主張し、２０１４年５月９日に提出された米国仮出願第６１／９９１４３５号、２０１４年７月１３日に提出された米国仮出願第６２／０２３９４０号、２０１４年７月２２日に提出された米国仮出願第６２／０２７７７４号、２０１４年７月２２日に提出された米国仮出願第６２／０２７７７７号、２０１４年８月１９日に提出された米国仮出願第６２／０３８９８４号、２０１４年８月１９日に提出された米国仮出願第６２／０３９００１号、２０１４年９月４日に提出された米国仮出願第６２／０４６０７２号、２０１４年１１月４日に提出された米国仮出願第６２／０７４９２０号、および２０１４年１１月４日に提出された米国仮出願第６２／０７４９２７号の優先権を出張する、全てが２０１５年５月９日に提出された同時係属米国特許出願第１４／７０８２３４号、第１４／７０８２４１号および第１４／７０８２２９号の一部継続出願であり、これらの出願の全体が参照により本明細書に組み込まれる。
著作権表示
この特許文書の開示の一部には、著作権保護の対象となるものが含まれている。著作権者は、米国特許商標庁の特許ファイルまたは記録に掲載された特許文書または特許開示の複製に対しては異議を唱えないが、その他の場合、すべての著作権を留保する。著作権保護は、以下の明細書および図面に記載されているソフトウェア、スクリーンショットおよびデータに適用し、すべての権利が留保される。
この特許文書の開示の一部には、著作権保護の対象となるものが含まれている。著作権者は、米国特許商標庁の特許ファイルまたは記録に掲載された特許文書または特許開示の複製に対しては異議を唱えないが、その他の場合、すべての著作権を留保する。著作権保護は、以下の明細書および図面に記載されているソフトウェア、スクリーンショットおよびデータに適用し、すべての権利が留保される。
発明の分野
本発明は、一般的に、任意の補助的な入力サポートと共に、主にユーザの視線を用いて、ユーザの意図を識別する（ＤＩＵ：Discerning the Intent of a User）ことによって、コンピュータ装置および他の装置を制御し且つコンピュータ装置および他の装置と対話するためのシステムおよび方法に関する。このシステムは、人間-機械インターフェイス（ＨＭＩ）分野、装着型コンピュータ分野、人間生理学分野、画像処理分野、および深層学習分野の技術を利用する。このシステムは、目立たない頭部装着型視線追跡装置および／または遠隔視線追跡ハードウェア内に実装することができる。頭部装着型視線追跡装置および／または遠隔視線追跡ハードウェアは、必要に応じて、頭部装着型ディスプレイ（ＨＭＤ）、遠隔ディスプレイおよび／または他の装着可能なセンサまたはアクチュエータを備えることができる。このシステムは、ローカルコンピュータ装置またはリモートコンピュータ装置を制御し、ローカルコンピュータ装置またはリモートコンピュータ装置と対話するための、使い易く、直観的で適応性のある入力メカニズムをユーザに提供することができる。
本発明は、一般的に、任意の補助的な入力サポートと共に、主にユーザの視線を用いて、ユーザの意図を識別する（ＤＩＵ：Discerning the Intent of a User）ことによって、コンピュータ装置および他の装置を制御し且つコンピュータ装置および他の装置と対話するためのシステムおよび方法に関する。このシステムは、人間-機械インターフェイス（ＨＭＩ）分野、装着型コンピュータ分野、人間生理学分野、画像処理分野、および深層学習分野の技術を利用する。このシステムは、目立たない頭部装着型視線追跡装置および／または遠隔視線追跡ハードウェア内に実装することができる。頭部装着型視線追跡装置および／または遠隔視線追跡ハードウェアは、必要に応じて、頭部装着型ディスプレイ（ＨＭＤ）、遠隔ディスプレイおよび／または他の装着可能なセンサまたはアクチュエータを備えることができる。このシステムは、ローカルコンピュータ装置またはリモートコンピュータ装置を制御し、ローカルコンピュータ装置またはリモートコンピュータ装置と対話するための、使い易く、直観的で適応性のある入力メカニズムをユーザに提供することができる。
背景
コンピュータマウス、ジョイスティックおよびその他の手動追跡装置は、人間と機械との対話中に、位置情報を指定するためのユビキタスツールである。装着型コンピュータの出現によって、例えば、一般的に適切な操作を行うために静止面を必要とする巨大且つ目立つ装置は、身体に装着するように設計された装置の携帯性と合わない。
コンピュータマウス、ジョイスティックおよびその他の手動追跡装置は、人間と機械との対話中に、位置情報を指定するためのユビキタスツールである。装着型コンピュータの出現によって、例えば、一般的に適切な操作を行うために静止面を必要とする巨大且つ目立つ装置は、身体に装着するように設計された装置の携帯性と合わない。
視線追跡を用いて、ディスプレイを視認し、ディスプレイ上の仮想オブジェクトまたは装置ユーザの環境内の実在オブジェクトに関連する位置情報を意図的に指定することができる。しかしながら、目は、通常の人間活動中にも広く使用される。したがって、対話および制御を行うために眼球位置を入力データストリームとして使用する場合、その課題は、眼球運動に基づいてユーザの意図を識別する（ＤＩＵ）ことである。本発明のシステムおよび方法の目的の１つは、通常の日常活動に関連する眼球運動と、装置を制御し且つ装置と対話する意図を持つ意識的または自発的な眼球運動（本明細書では「視覚信号」と呼ぶ）とを区別することである。
人が自分の環境を視認し環境と対話する能力を維持しながら、眼球運動の意図を識別するためには、新しいパラダイムが必要である。
概要
上記に鑑み、本発明は、実質的に１つ以上の意図的な眼球運動に基づいて、１人以上のユーザの様々な意図または操作目的を実質的に連続的に識別するためのシステムおよび方法を提供する。
上記に鑑み、本発明は、実質的に１つ以上の意図的な眼球運動に基づいて、１人以上のユーザの様々な意図または操作目的を実質的に連続的に識別するためのシステムおよび方法を提供する。
一実施形態によれば、検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を決定するためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目が瞬きをすることを特定するステップと、検出装置を用いて、ユーザの片目または両目の眼球運動が瞬きの後に所定の後期瞬き期間に入ることを確認するステップと、検出装置を用いて、ユーザの片目または両目の眼球運動の速度が所定の瞬き後期眼球運動の閾値速度を超えることに基づいて、眼球運動が衝動性動眼であることを判断するステップと、衝動性動眼に関連する操作を行うステップとを含む。
別の実施形態によれば、検出装置およびディスプレイを用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を伝えるためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目がオブジェクトに向けられていることを特定するステップと、検出装置を用いて、オブジェクトからディスプレイ上のターゲット位置に向けられたユーザの片目または両目の衝動性動眼を特定するステップと、衝動性動眼の特定に少なくとも部分的に基づいて、衝動性動眼中にディスプレイ上に表示された１つ以上のオブジェクトの位置をディスプレイ上のターゲット位置の周りの所定の領域に移動するステップと、検出装置を用いて、衝動性動眼がターゲット位置から所定の距離内に完了したことを確認するステップと、検出装置を用いて、表示されたオブジェクトのうち１つを追跡する１つ以上の注視運動を判断することによって、追跡されるオブジェクトを特定するステップと、ターゲット位置および追跡されるオブジェクトの一方または両方に関連する操作を行うステップとを含む。
別の実施形態によれば、検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を伝えるためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目が第１キーボード上の第１キーに向けられていることを特定するステップと、検出装置を用いて、ユーザの片目または両目が第１キーから第２キーボード上の第２キーに向けられた第１衝動性動眼を特定するステップと、検出装置を用いて、第１衝動性動眼が第２キーの位置から所定の距離内に完了したことを確認するステップと、ユーザによる第２キーの認識を待たずに、第１キーおよび第２キーの一方または両方に関連する操作を行うステップとを含む。
さらに別の実施形態によれば、検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を伝えるためのグラフィカルユーザインターフェイスを提供するための方法は、複数のキーを有する第１領域を含む第１キーボードと、複数のキーを有する第２領域を含む第２キーボードとを提供するステップと、検出装置を用いて、ユーザの片目または両目が第１キーボードの第１領域に向けられていることを特定するステップと、検出装置を用いて、ユーザの片目または両目が第１キーボード上の第１キーに向けられていることを特定するステップと、検出装置を用いて、ユーザの片目または両目が第１キーから第２キーボードの第２領域に向けられた第１衝動性動眼を特定するステップと、検出装置を用いて、第１衝動性動眼が第２キーボードの第２領域内で完了したことを確認するステップと、ユーザによる第２キーボードの第２領域の認識を待たずに、第１キーに関連する操作を行うステップとを含む。
さらに別の実施形態によれば、検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を伝えるためのグラフィカルユーザインターフェイスを提供するための方法は、複数のアイコンを有する第１領域を含む第１フィールドと、複数のアイコンを有する第２領域を含む第２フィールドとをディスプレイ上に形成するステップと、検出装置を用いて、ユーザの片目または両目が第１フィールドの第１領域に向けられていることを特定するステップと、検出装置を用いて、ユーザの片目または両目が第１フィールド内の第１アイコンに向けられていることを特定するステップと、検出装置を用いて、ユーザの片目または両目が第１アイコンから第２フィールドの第２領域に向けられた第１衝動性動眼を特定するステップと、検出装置を用いて、第１衝動性動眼が第２フィールドの第２領域内で完了したことを確認するステップと、第１衝動性動眼が第１アイコンから第２領域内で完了したことを確認すると、ユーザによる第２領域の認識を待たずに、第１アイコンに関連する操作を行うステップとを含む。
別の実施形態によれば、キーボードおよび検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を伝えるためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目がキーボード上の第１キーに向けられていることを特定するステップと、検出装置を用いて、ユーザの片目または両目がキーボード上の第１キーから第２キーに向けられた第１衝動性動眼を特定するステップと、検出装置を用いて、第１衝動性動眼が第２キーの位置から所定の距離内に完了したことを確認するステップと、ユーザによる第２キーの認識を待たずに、第１キーおよび第２キーの一方または両方に関連する操作を行うステップとを含む。
さらに別の実施形態によれば、キーボードおよび検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を伝えるためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目がキーボード上の第１キーに向けられていることを特定するステップと、検出装置を用いて、ユーザの片目または両目がキーボード上の第１キーから第２キーに向けられた第１衝動性動眼を特定するステップと、検出装置を用いて、ユーザの片目または両目がキーボード上の第２キーに再び注視する１つ以上の矯正的な衝動性動眼を特定するステップと、検出装置を用いて、１つ以上の矯正的な衝動性動眼の少なくとも１つが第２キーの位置から所定の距離内に完了したことを確認するステップと、ユーザによる第２キーの認識を待たずに、第１キーおよび第２キーの一方または両方に関連する操作を行うステップとを含む。
さらに別の実施形態によれば、キーボードおよび検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を伝えるためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目がキーボード上の第１キーの位置から所定の距離内に向けられていることを特定するステップと、検出装置を用いて、ユーザの片目または両目がキーボード上の第１キーから第２キーに向けられた第１衝動性動眼を特定するステップと、検出装置を用いて、第１衝動性動眼が第２キーの位置から所定の距離内に完了したことを確認するステップと、ユーザの注意を引かないようにディスプレイを変更することなく、第１キーおよび第２キーの一方または両方に関連する操作を行うステップとを含む。
さらに別の実施形態によれば、キーボード、ディスプレイおよび検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を伝えるためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目がキーボード上の第１位置に向けられていることを特定するステップと、検出装置を用いて、ユーザの片目または両目がディスプレイ上の第１位置から自動充填作動ターゲット位置に位置する自動充填作動ターゲット（auto-fill activation target）に向けられた第１衝動性動眼を特定するステップと、ディスプレイ上の自動充填作動ターゲット位置の周りの所定の領域内にデータセット内の１つ以上の完結要素を表示するステップと、１つ以上の完結要素のうち１つを選択したことを示す選択眼球運動を実行することによって、選択した完結要素を特定するステップと、選択した完結要素をデータセットに追加するステップとを含む。
さらに別の実施形態によれば、キーボードおよび検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を伝えるためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目がキーボード上の第１キーの位置から所定の距離内に向けられていることを特定するステップと、検出装置を用いて、ユーザの片目または両目がキーボード上の第１キーから第２キーに向けられた第１衝動性動眼を特定するステップと、検出装置を用いて、ユーザの片目または両目がキーボード上の１つ以上の追加キーに向けられた１つ以上の追加の衝動性動眼を特定するステップと、第１衝動性動眼および１つ以上の追加の衝動性動眼から、眼球運動のパターンを特定するステップと、眼球運動のパターンを神経ネットワークの入力として用いて、１つ以上の英数字を分類するステップと、１つ以上の英数字に関連する操作を行うステップとを含む。
別の実施形態によれば、検出装置およびディスプレイを用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を伝えるためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目が第１位置に向けられていることを特定するステップと、検出装置を用いて、ユーザの片目または両目がディスプレイ上の第１位置から第１作動ターゲット位置に位置する第１作動ターゲットに向けられた第１衝動性動眼を特定するステップと、ディスプレイから第１作動ターゲットを除去し、ディスプレイ上で、第１作動ターゲット位置と異なる第２作動ターゲット位置に第２作動ターゲットを形成するステップと、検出装置を用いて、ユーザの片目または両目がディスプレイ上の第１作動ターゲット位置から第２位置に向けられた第２衝動性動眼を特定するステップと、検出装置を用いて、第２衝動性動眼が第２位置から所定の距離内に完了したことを確認するステップと、検出装置を用いて、ユーザの片目または両目がディスプレイ上の第２位置から第２作動ターゲット位置に向けられた第３衝動性動眼を特定するステップと、第１位置、第１作動ターゲット、第２位置および第２作動ターゲットのうち１つ以上に関連する操作を行うステップとを含む。
さらに別の実施形態によれば、検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を伝えるためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目が目盛り内の注視位置に向けられていることを特定するステップと、検出装置を用いて、ユーザの片目または両目が目盛り内の注視位置から作動ターゲット位置に位置する作動ターゲットに向けられた衝動性動眼を特定するステップと、検出装置を用いて、衝動性動眼が作動ターゲット位置から所定の距離内に完了したことを確認するステップと、目盛りのある位置に対する目盛り内の注視位置および作動ターゲットの一方または両方に関連する操作を行うステップとを含む。
別の実施形態によれば、検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を識別するためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目がオブジェクト位置に位置するオブジェクトから所定の距離内に向けられていることを特定するステップと、検出装置を用いて、ユーザの片目または両目がオブジェクトからターゲット位置に位置するターゲットに向けられた衝動性動眼を特定するステップと、検出装置を用いて、衝動性動眼がターゲット位置から所定の距離内に完了したことを確認するステップと、ターゲットを認識する前に、オブジェクト、オブジェクト位置、ターゲットおよびターゲット位置のうち１つ以上に関連する操作を行うステップとを含み、操作は、ユーザの視覚注意を引かないように構成されたユーザフィードバックを提供することを含む。
さらに別の実施形態によれば、検出装置および表示装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を決定するためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目がオブジェクト位置に位置するオブジェクトに向けられていることを特定するステップと、検出装置を用いて、ユーザの片目または両目がオブジェクト位置から第１ターゲット位置に位置する第１ターゲットに向けられた第１衝動性動眼を特定するステップと、第１衝動性動眼中に、表示装置を用いて、第１ターゲットに対するユーザの視界を変更することによって、ギャップ効果を生成するステップと、検出装置を用いて、ユーザの片目または両目が第１ターゲット位置から第２ターゲット位置に位置する第２ターゲットに向けられた第２衝動性動眼を特定するステップと、検出装置を用いて、第２衝動性動眼が第２ターゲット位置から所定の距離内に完了したことを確認するステップと、オブジェクト、オブジェクト位置、第１ターゲット、第１ターゲット位置、第２ターゲット、および第２ターゲット位置のうち１つ以上に関連する操作を行うことを含む。
さらに別の実施形態によれば、ディスプレイおよび検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を決定するためのグラフィカルユーザインターフェイスを提供するための方法は、ユーザから離れるように向けられたシーンカメラを用いて、ユーザの環境内に位置するオブジェクトを特定するステップと、オブジェクトテンプレートのデータベースを用いて、ユーザの環境内に位置する１つ以上のオブジェクトが重要度の高いオブジェクトであるか否かを判断するステップと、通信装置を用いて、ディスプレイ上で表示される着信データセットを受信するステップと、重要度の高いオブジェクトがユーザの環境内に存在しないと判断された場合に限り、ディスプレイ上で着信データセットを表示するステップとを含む。
別の実施形態によれば、シーンカメラおよび検出装置を用いて、２名の装着型装置ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を決定するための方法は、第１装着型装置ユーザに関連する第１装着型装置に動作可能に接続されたシーンカメラを用いて撮影された１つ以上のシーンカメラ画像から、第２装着型装置ユーザの片目または両目を含む領域を特定するステップと、画像認識を用いて、第２装着型装置ユーザの片目または両目が所定の角度範囲で第１装着型装置ユーザに向けられていることを特定するステップと、第２装着型装置ユーザの片目または両目が所定の時間で第１装着型装置ユーザに向けられていることを確認するステップと、第１装着型装置ユーザに関連する第１装着型装置と、第２装着型装置ユーザに関連する第２装着型装置との間の電子通信を許可するステップと含む。
別の実施形態によれば、ディスプレイ、１つ以上のシーンカメラおよび検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を決定するためのグラフィカルユーザインターフェイスを提供するための方法は、ユーザの環境に向けられた１つ以上のシーンカメラを用いて、ユーザの環境内のオブジェクトを特定するステップと、通信装置を用いて、ディスプレイ上で表示される１つ以上の着信データセットを受信するステップと、１つ以上の所定のユーザ嗜好に基づいて、ディスプレイ上でユーザに表示されるデータセットの選択および選択時間を決定するステップとを含む。
さらに別の実施形態によれば、装着型装置ユーザに関連する装着型装置のシーンカメラおよび検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、装着型装置ユーザの意図を決定するための方法は、装着型装置のシーンカメラを用いて撮影された１つ以上のシーンカメラ画像から、観察される個人の片目または両目を含む領域を特定するステップと、検出装置およびシーンカメラを用いて、装着型装置ユーザの視線が所定の角度範囲で観察される個人の片目または両目に向けられることを特定するステップと、画像認識を用いて、観察される個人の片目または両目が所定の角度範囲で装着型装置ユーザに向けられていることを特定するステップと、装着型装置を用いて、操作を行うステップとを含む。
別の実施形態によれば、シーンカメラおよび１つ以上のビーコンを用いて、２名の装着型装置ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を決定するための方法は、第１装着型装置ユーザに関連する第１装着型装置に動作可能に接続されたシーンカメラを用いて撮影された１つ以上のシーンカメラ画像から、第２装着型装置ユーザに関連する第２装着型装置からの１つ以上のビーコンを含む領域を特定するステップと、シーンカメラを用いて、第２装着型装置ユーザに関連する第２装着型装置からの１つ以上のビーコンによって発信されたコードを特定するステップと、アクセスコードのデータベースを用いて、ビーコンによって発信されたコードが第２装着型装置ユーザに関する情報のデータベースへのアクセスを許可することを確認するステップと、第１装着型装置ユーザに関連する第１装着型装置と、第２装着型装置ユーザに関する情報を含むデータベースとの間の電子通信を許可するステップとを含む。
さらに別の実施形態によれば、検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を決定するための方法は、検出装置を用いて、ユーザの片目または両目が意図的な眼球運動であると決定されたことを特定するステップと、眼球運動テンプレートのデータベースを用いて、意図的な眼球運動に関連する視線操作を特定するステップと、実質的に同時にユーザの片目または両目に関連していない入力装置によって生成されたユーザ入力を特定するステップと、入力装置によって生成されたユーザ入力に関連する装置操作を特定するステップと、入力階層のデータベースに基づいて、意図的な眼球運動に関連する視線操作およびユーザ入力に関連する装置操作のうち１つを行うステップとを含む。
さらに別の実施形態によれば、検出装置およびポインティング装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、１つ以上のディスプレイ上でポインタを移動するための方法は、その位置がポインティング装置によって少なくとも部分的に制御されるポインタのソースディスプレイ上のソース位置を特定するステップと、検出装置を用いて、ユーザの片目または両目がターゲットディスプレイ上のターゲット位置に向けられていることを特定するステップと、ポインティング装置を用いて、ソースディスプレイ上のソース位置に対して、所定の方向範囲内の方向でターゲットディスプレイ上のターゲット位置に向かったポインティング装置の移動を確認するステップと、ターゲット位置から所定の距離内で、ターゲットディスプレイ上の新しいポインタ位置にポインタを表示するステップとを含む。
別の実施形態によれば、ディスプレイおよび検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を決定するためのグラフィカルユーザインターフェイスを提供するための方法は、楽譜の一部分をディスプレイに表示するステップと、検出装置を用いて、ユーザの片目または両目が表示された楽譜の部分内の注視位置に向けられていることを特定するステップと、楽譜を含むデータベースを用いて、楽譜内の１つ以上の切断位置を特定するステップと、検出装置を用いて、注視位置が楽譜内の切断位置の少なくとも１つから所定の距離内に位置することを確認するステップと、
楽譜の新しい部分を表示するステップと含む。
楽譜の新しい部分を表示するステップと含む。
さらに別の実施形態によれば、検出装置、シーンカメラおよびディスプレイを用いて、乗り物を制御しているユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を伝えるためのグラフィカルユーザインターフェイスを提供するための方法は、シーンカメラに動作可能に接続されたディスプレイ上に、乗り物の環境のビデオ画像を表示するステップと、検出装置を用いて、ユーザの片目または両目がディスプレイ上の乗り物の環境のビデオ画像内のターゲット位置に向けられていることを特定するステップと、検出装置を用いて、ユーザの片目または両目がディスプレイ上のターゲット位置からディスプレイ上の作動ターゲットに向けられた第１衝動性動眼を特定するステップと、検出装置を用いて、第１衝動性動眼が作動ターゲットの位置から所定の距離内に完了したことを確認するステップと、ディスプレイ上のターゲット位置によって表された乗り物の環境内の目標位置に向かって、乗り物を移動するステップとを含む。
さらに別の実施形態によれば、検出装置を用いて、乗り物を運転しているユーザの片目または両目の眼球運動の少なくとも一部に基づいて、ユーザの意図を伝えるためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目がオブジェクト位置に位置するオブジェクトに向けられていることを特定するステップと、検出装置を用いて、ユーザの片目または両目がオブジェクト位置からディスプレイ上のターゲット位置に位置する作動ターゲットに向けられた第１衝動性動眼を特定するステップと、検出装置を用いて、第１衝動性動眼がターゲット位置から所定の距離内に完了したことを確認するステップと、検出装置を用いて、ユーザの片目または両目が所定の時間および所定の方向範囲で、乗り物の移動方向に向けられたことを確認するステップと、オブジェクトおよび作動ターゲットのうち一方または両方に関連する操作を行うステップとを含む。
さらに別の実施形態によれば、検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザのメモリを増強するためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目が記憶オブジェクトの位置から所定の距離内に向けられていることを特定するステップと、ユーザの片目または両目がオブジェクトの位置から、ターゲット位置に位置する記憶作動ターゲットに向けられた第１衝動性動眼を特定するステップと、検出装置を用いて、第１衝動性動眼がターゲット位置から所定の距離内に完了したことを確認するステップと、メモリ装置を用いて、記憶オブジェクトに関連するデータセットを複数のデータセット内に位置し且つ記憶データセット索引に対応する位置に記憶し、記憶データセット索引を１で増分する記憶操作を行うステップとを含む。
別の実施形態によれば、検出装置およびディスプレイを用いてユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザのメモリを増強するためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目がディスプレイ上の検索オブジェクト位置に位置する検索オブジェクトに向けられていることを特定するステップと、検出装置を用いて、ユーザの片目または両目がディスプレイ上の検索オブジェクト位置から、ターゲット位置に位置する検索作動ターゲットに向けられた第１衝動性動眼を特定するステップと、検出装置を用いて、第１衝動性動眼がターゲット位置から所定の距離内に完了したことを確認するステップと、メモリ装置を用いて、複数のデータセット内に位置し且つ検索データセット索引に対応する位置から検索データセットを検索する検索操作を行うステップとを含む。
別の実施形態によれば、検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザのメモリを増強するためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、オブジェクトから記憶作動ターゲットの位置の所定の距離に向けられた衝動性動眼を検出した場合、オブジェクトに関連するデータセットを複数のデータセット内に位置し且つ記憶データセット索引に対応する位置に記憶し、記憶データセット索引を１で増分する記憶操作を行うステップと、検出装置を用いて、オブジェクトから検索作動ターゲットの位置の所定の距離に向けられた衝動性動眼を検出した場合、複数のデータセット内に位置し且つ検索データセット索引に対応する位置から検索データセットを検索する検索操作を行うステップと、検出装置を用いて、上方の作動ターゲットに向けられた衝動性動眼を検出した場合、検出データセット索引を１で増分してから、検索データセット索引を選択するステップと、検出装置を用いて、下方の作動ターゲットに向けられた衝動性動眼を検出した場合、検出データセット索引を１で減分してから、検索データセット索引を選択するステップと、検出装置を用いて、オブジェクトから削除作動ターゲットの位置の所定の距離に向けられた衝動性動眼を検出した場合、複数のデータセット内に位置し且つ検索データセット索引に対応する位置から検索データセットを削除する削除操作を行い、記憶データセット索引を１で減分するステップとを含む。
さらに別の実施形態によれば、ユーザの片目または両目に向けられたた１つ以上の眼球カメラおよびユーザの環境に向けられたシーンカメラを用いて、ユーザの片目または両目の方向に少なくとも部分的に基づいて、文書のセキュリティを強化するためのユーザインターフェイスを提供するための方法は、１つ以上の眼球カメラを用いて、ユーザの片目または両目の１つ以上の画像を撮影するステップと、ユーザの片目または両目の１つ以上の画像を既知ＩＤ−目テンプレートのデータベースと比較することによって、ユーザのＩＤを決定するステップと、シーンカメラを用いて、ユーザの片目または両目によって閲覧される文書を特定するステップと、１つ以上の眼球カメラを用いて、ユーザの片目または両目が文書に向けられていることを確認するステップと、特定されたユーザが文書を閲覧したことを示すように、文書を電子的に承認するステップとを含む。
さらに別の実施形態によれば、ディスプレイ、頭部動作検出装置および眼球位置検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を決定するためのグラフィカルユーザインターフェイスを提供するための方法は、ディスプレイ上に、複数のオブジェクトを表示するステップと、眼球位置検出装置を用いて、ユーザの片目または両目が表示された複数のオブジェクトのうち１つに向けられていることを特定することによって、観察されているオブジェクトを特定するステップと、頭部動作検出装置を用いて、第１方向に沿ったユーザの頭部動作を特定するステップと、眼球運動検出装置を用いて、ユーザの片目または両目の眼球運動を確認するステップと、頭部動作の間にユーザが眼球運動によって観察されているオブジェクトを続けて観察するか否かに基づいて、眼球運動が前庭性眼球運動であるか否かを判断するステップと、眼球運動が前庭性眼球運動ではないと判断した場合、表示された複数のオブジェクトをディスプレイ上で第１方向に沿って移動するステップとを含む。
さらに別の実施形態によれば、検出装置およびシーンカメラを用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を伝えるためのユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目がユーザの環境内の第１注視位置に向けられていることを特定するステップと、シーンカメラを用いて、ユーザの環境内の第１注視位置に位置する第１注視オブジェクトを特定するステップと、オブジェクトテンプレートのデータベースを用いて、第１注視オブジェクトを特定することによって、第１特定された注視オブジェクトを作成するステップと、検出装置を用いて、ユーザの片目または両目がユーザの環境内の第２注視位置に向かって視線を移動する眼球運動を特定するステップと、シーンカメラを用いて、ユーザの環境内の第２注視位置に位置する第２注視オブジェクトを特定するステップと、オブジェクトテンプレートのデータベースを用いて、第２注視オブジェクトを特定することによって、第２特定された注視オブジェクトを作成するステップと、作動可能なオブジェクトのデータベースを用いて、第２特定された注視オブジェクトが作動ターゲットに相当することを確認するステップと、第１特定された注視オブジェクト、第１注視位置、第２特定された注視オブジェクト、および第２注視位置のうち１つ以上に関連する操作を行うステップとを含む。
さらに別の実施形態によれば、検出装置、シーンカメラおよびディスプレイを用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を伝えるためのユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目がユーザの環境内の注視位置に向けられていることを特定するステップと、シーンカメラを用いて、ユーザの環境内の注視位置に位置する注視オブジェクトを特定するステップと、オブジェクトテンプレートのデータベースを用いて、注視オブジェクトを特定することによって、特定された注視オブジェクトを作成するステップと、検出装置を用いて、ユーザの片目または両目が特定された注視オブジェクトからディスプレイ上の１つ以上の作動ターゲットのうち１つに向かって視線を移動する１つ以上の眼球運動を特定するステップと、検出装置を用いて、１つ以上の眼球運動が１つ以上の作動ターゲットのうち１つから所定の距離内に完了したことを確認することによって、選択された作動ターゲットを作成するステップと、第１特定された注視オブジェクトおよび選択された作動ターゲットのうち一方または両方に関連する操作を行うステップとを含む。
別の実施形態によれば、検出装置を用いて、ユーザの認知状態、生理状態または眼球運動履歴に少なくとも部分的に基づいて、電子ディスプレイを備えたグラフィカルユーザインターフェイス内で、ユーザの意図を示す信号の認識を調整するための方法は、ユーザの認知状態、神経状態、生理状態、および眼球運動履歴の少なくとも１つを観察するステップと、検出装置を用いて、ユーザの片目または両目の所定の動きによって実行され得るユーザの意図を伝える眼球運動によって示された少なくとも１つの既知の視覚信号を特定するステップと、少なくとも１つの既知の視覚信号を特定する前にまたは最中に、ユーザの認知状態、生理状態または眼球運動の１つ以上に基づいて、少なくとも１つの既知信号を認識するための許容差を調整するステップとを含む。
さらに別の実施形態によれば、検出装置を用いて、ユーザの認知状態、生理状態または眼球運動履歴に少なくとも部分的に基づいて、電子ディスプレイを備えたグラフィカルユーザインターフェイス内で、ユーザの意図を示す信号の認識に対する応答を調整するための方法は、ユーザの認知状態、神経状態、生理状態および眼球運動履歴のうち少なくとも１つを観察するステップと、ユーザの片目または両目の所定の眼球運動、ユーザの片目または両目の瞳孔拡大、およびユーザの片目または両目の瞳孔縮小のうち１つ以上を含み、ユーザの意図を伝えるための少なくとも１つの既知の視覚信号を特定するステップと、少なくとも１つの既知信号を特定する前にまたは最中に、ユーザの認知状態、生理状態、または眼球運動のうち少なくとも１つに基づいて、少なくとも１つの既知の視覚信号を認識するステップと、応答のタイミング、応答の一部として形成されたグラフィック画像の選択、応答の一部として形成されたグラフィック要素の変遷、応答の任意部分のタイミング、および応答の一部として取られた操作のうち少なくとも１つを変更することによって、少なくとも１つの既知の視覚信号に対する応答を調整するステップとを含む。
さらに別の実施形態によれば、ヘッドセットおよび検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を決定するためのグラフィカルユーザインターフェイスを提供するための方法は、ヘッドセットを用いて、ユーザの頭部動作を決定するステップと、ユーザの頭部動作の振幅および振動数の一方または両方に基づいて、眼球運動の厳密性範囲を決定するステップと、検出装置を用いて、ユーザの片目または両目の１つ以上の眼球運動が眼球運動の厳密性範囲内の１つ以上の眼球運動テンプレートと一致することを確認するステップと、１つ以上の眼球運動に関連する操作を行うステップとを含む。
別の実施形態によれば、ヘッドセットを用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を決定するためのグラフィカルユーザインターフェイスを提供するための方法は、ヘッドセットを用いて、ユーザの頭部の環境照明を決定するステップと、環境照明の光度および変化の一方または両方に基づいて、眼球運動の厳密性範囲を決定するステップと、ヘッドセットに搭載された眼球運動検出装置を用いて、ユーザの片目または両目の１つ以上の眼球運動が眼球運動の厳密性範囲内の１つ以上の眼球運動テンプレートと一致することを確認するステップと、１つ以上の眼球運動に関連する操作を行うステップとを含む。
さらに別の実施形態によれば、検出装置およびディスプレイを用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を決定するためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目がディスプレイ上の最初の注視オブジェクト位置に位置する最初の注視オブジェクトに向けられていることを特定するステップと、ディスプレイに表示されるオブジェクトの好ましい拡大中心のデータベースを用いて、最初の注視オブジェクトの位置から所定の距離内に位置する全てのオブジェクトをディスプレイ上で拡大するための好ましい中心位置を決定するステップと、検出装置を用いて、最初の注視オブジェクトの位置から所定の距離内に位置する全てのオブジェクトをディスプレイ上で拡大する間に、ユーザの片目または両目が追跡オブジェクトに追従することを特定するステップと、検出装置を用いて、追跡オブジェクトが拡大の間に所定の距離または所定の時間で追跡されていることを確認することによって、選択オブジェクトを特定するステップと、選択オブジェクトに関連する操作を行うステップとを含む。
さらに別の実施形態によれば、検出装置およびディスプレイを用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を決定するためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目がディスプレイ上の最初の注視オブジェクト位置に位置する最初の注視オブジェクトに向けられていることを特定するステップと、ディスプレイに表示されるオブジェクトの好ましい拡大中心のデータベースを用いて、最初の注視オブジェクトの位置から所定の距離内に位置する全てのオブジェクトをディスプレイ上で拡大するための好ましい中心位置を決定するステップと、検出装置を用いて、最初の注視オブジェクトの位置から所定の距離内に位置する全てのオブジェクトをディスプレイ上で拡大する間に、ユーザの片目または両目が追跡オブジェクトに追従することを特定するステップと、検出装置を用いて、追跡オブジェクトが拡大の間に所定の距離または所定の時間で追跡されていることを確認することによって、選択オブジェクトを特定するステップと、選択オブジェクトに関連する操作を行うステップとを含む。
別の実施形態によれば、検出装置、ディスプレイおよびキーボードを用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を決定するためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目が複数の選択可能なターゲットを含むディスプレイ上の領域に向けられていることを特定するステップと、各々が１つ以上の選択可能なターゲットに関連する複数のキーボード記号をディスプレイ上に重ね合わせるステップと、キーボードを用いて、ユーザが１つ以上の選択可能なターゲットに関連する１つのキーボード記号に対応するキーボード上のキーを選択したことを確認することによって、１つ以上の選択ターゲットを特定するステップと、１つ以上の選択ターゲットに関連する操作を行うステップとを含む。
さらに別の実施形態によれば、検出装置、ディスプレイおよびマイクロフォンを用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を決定するためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目が複数の選択可能なターゲットを含むディスプレイ上の領域に向けられていることを特定するステップと、各々が１つ以上の選択可能なターゲットに関連する複数の記号をディスプレイ上に重ね合わせるステップと、マイクロフォンおよび音声テンプレートのデータベースを用いて、ユーザが１つ以上の選択可能なターゲットに関連する１つの記号に対応する音声を生成しことを確認することによって、１つ以上の選択ターゲットを特定するステップと、１つ以上の選択ターゲットに関連する操作を行うステップとを含む。
さらに別の実施形態によれば、検出装置およびディスプレイを用いて、ユーザの意図を伝えるための注視方向を決定するための方法は、検出装置を用いて、ディスプレイ上の目標オブジェクト位置に位置する目標オブジェクトを見ているユーザの右目の注視位置を特定するステップと、検出装置を用いて、ディスプレイ上の目標オブジェクトを見ているユーザの左目の注視位置を特定するステップと、左目の注視位置および右目の注視位置のうち、目標オブジェクト位置に近い目の注視位置を決定するステップと、目標オブジェクト位置に近い目の注視位置の決定に基づいて、目標オブジェクト位置の所定の範囲内に、優位眼の範囲を割り当てるステップとを含む。
別の実施形態によれば、検出装置およびディスプレイを用いて、ユーザの眼球運動に少なくとも部分的に基づいて、ユーザの意図を伝えるための注視方向を決定するための方法は、検出装置を用いて、ユーザの目が第１オブジェクト距離に現れる第１オブジェクトに向けられていることを特定するステップと、検出装置を用いて、ユーザの目が第１オブジェクト距離と異なる第２オブジェクト距離に現れる第２オブジェクトに向けられていることを特定するステップと、ディスプレイを用いて、ディスプレイ上の第２オブジェクトの位置およびサイズの一方または両方を修正するステップと、ユーザの目に見られる場合に第１オブジェクトと第２オブジェクトが最大限に重合することを確認するステップと、第１オブジェクトの位置および第２オブジェクトの位置に基づいて、ユーザの目の視軸を決定するステップとを含む。
さらに別の実施形態によれば、検出装置およびディスプレイを用いて、装置ユーザの片目または両目の注視位置に少なくとも部分的に基づいて、送信帯域幅内で画像をディスプレイに表示するための方法は、検出装置を用いて、ユーザの片目または両目がディスプレイ上の注視位置に向けられていることを特定するステップと、注視位置に基づいて、ディスプレイ上で、ユーザの視野内の中心窩視覚領域を特定するステップと、視認可能なオブジェクトのデータベースに基づいて、表示されたオブジェクトのうち、装置ユーザに対して関連性の高いオブジェクトを特定するステップと、ユーザの視野内の他のオブジェクトに比べて、中心窩視野に位置するオブジェクトおよび関連性の高いオブジェクトの一方または両方を高解像度でディスプレイにレンダリングするステップとを含む。
さらに別の実施形態によれば、検出装置およびディスプレイを用いて、装置ユーザの片目または両目の注視位置に少なくとも部分的に基づいて、送信帯域幅内で画像をディスプレイ上で表示するための方法は、検出装置を用いて、ユーザの片目または両目がディスプレイ上の注視位置に向けられていることを特定するステップと、注視位置に基づいて、ディスプレイ上で、注視位置を囲む所定の領域内の中心窩視覚領域を特定するステップと、中心窩視野領域外のユーザの視野に基づいて、ディスプレイ上で、非中心窩視覚領域を特定するステップと、非中心窩領域に位置するオブジェクトを低色量でディスプレイにレンダリングするステップとを含む。
さらに別の実施形態によれば、視線検出装置およびディスプレイを用いて、ユーザの片目または両目の注視位置に少なくとも部分的に基づいて、所定の送信帯域幅内で画像をディスプレイ上で表示するための方法は、視線検出装置を用いて、ユーザの片目または両目がディスプレイ上の注視位置に向けられていることを特定するステップと、注視位置に基づいて、ディスプレイ上で、ユーザの視野内の高解像度表示領域を特定するステップと、高解像度表示領域外のユーザの視界に位置するディスプレイ上の他のオブジェクトに比べて、ディスプレイ上の高解像度表示領域に位置するオブジェクトを高解像度でレンダリングするステップと、ユーザの片目または両目に到達する光量に基づいて、ディスプレイ上の高解像度表示領域のサイズおよび形状のうち一方を変更するステップとを含む。
別の実施形態によれば、検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を決定するための視線を判断するための方法は、検出装置を用いて、ユーザの片目または両目がオブジェクトの基準位置に対する第１注視位置に向けられていることを特定するステップと、オブジェクトに関連する顕著性マップを用いて、オブジェクトの基準位置に対する第１注視位置に基づいて、第１重み係数を決定するステップと、検出装置を用いて、ユーザの片目または両目がオブジェクトの基準位置に対する第２注視位置に向けられていることを特定するステップと、オブジェクトに関連する顕著性マップを用いて、オブジェクトの基準位置に対する第２注視位置に基づいて、第２重み係数を決定するステップと、第１注視位置に第１重み係数を乗算し、第２注視位置に第２重み係数を乗算することによって、加重平均注視位置を決定するステップとを含む。
さらに別の実施形態によれば、検出装置およびディスプレイを用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、ユーザの意図を伝えるためのグラフィカルユーザインターフェイスを提供するための方法は、検出装置を用いて、ユーザの片目または両目がディスプレイ上の第１位置に向けられていることを特定するステップと、検出装置を用いて、第１位置から領域選択オブジェクトに向けられたユーザの片目または両目の第１衝動性動眼が領域選択オブジェクトの位置から所定の距離内に完了したことを確認するステップと、検出装置を用いて、ユーザの片目または両目がディスプレイ上の第２位置に向けられていることを特定するステップと、検出装置を用いて、第２位置から作動ターゲットに向けられたユーザの片目または両目の第２衝動性動眼が作動ターゲットの位置から所定の距離内に完了したことを確認するステップと、ディスプレイ上に投影されたオブジェクトに基づいて、第１位置および第２位置に隅を有する矩形領域によって囲まれた全てのオブジェクトを特定するステップと、第１位置および第２位置に隅を有する矩形領域によって囲まれたディスプレイ上の全てのオブジェクトについて、作動ターゲットに関連する操作を行うステップとを含む。
本発明の他の態様および特徴は、添付図面と併せて、以下の詳細な説明を考慮することによって、明らかになるであろう。
本発明は、以下の例示的な図面に関連して詳細な説明を参照することによって、より完全に理解されるであろう。全ての図面において、同様の参照番号は、同様の要素または動作を示している。現在の例示的な実施形態は、添付図面に示されている。
例示的な実施形態の詳細な説明
視覚信号中のタイミングの考察
眼球運動を解読することによってユーザの意図を識別するために、アルゴリズムフィルタは、眼球の神経筋制御における生理制約（例えば、動きの範囲、最大速度、水平軸および垂直軸に沿った動きの差）と、急速眼球運動および瞬きに起因する視覚情報の認知処理における中断とを考慮する必要がある。視界の認知処理における中断は、衝動性動眼中に大きな動きボケなくまたは瞬き中に停止（すなわち、短期間の暗闇）なく、環境を観察するために必要である。人間は、衝動性動眼および瞬き中に網膜信号の視覚処理を抑制することによって、このような中断を回避する。これらの神経処理は、各々衝動性動眼抑制（saccadic suppression）および瞬き抑制（blink suppression）として呼ばれる。
視覚信号中のタイミングの考察
眼球運動を解読することによってユーザの意図を識別するために、アルゴリズムフィルタは、眼球の神経筋制御における生理制約（例えば、動きの範囲、最大速度、水平軸および垂直軸に沿った動きの差）と、急速眼球運動および瞬きに起因する視覚情報の認知処理における中断とを考慮する必要がある。視界の認知処理における中断は、衝動性動眼中に大きな動きボケなくまたは瞬き中に停止（すなわち、短期間の暗闇）なく、環境を観察するために必要である。人間は、衝動性動眼および瞬き中に網膜信号の視覚処理を抑制することによって、このような中断を回避する。これらの神経処理は、各々衝動性動眼抑制（saccadic suppression）および瞬き抑制（blink suppression）として呼ばれる。
衝動性動眼抑制（衝動性動眼マスキングとも呼ばれる）は、実際に、衝動性動眼が始まる前に開始する。この観察は、衝動性動眼抑制の少なくとも一部が中枢神経系によって媒介されるということを証明するための証拠として使用されている。衝動性動眼抑制は、衝動性動眼を含む急速眼球運動中に存在する動きボケに対する自覚を防止する。衝動性動眼抑制（ErdmannおよびDodgeによって１８９８年に初めて行われたその現象の科学観察）の簡単実証は、眼球運動をしている人が鏡で急速眼球運動を見ることができず、その人（または鏡）を見ている他の観察者が急速眼球運動をはっきりと見ることができるという事実を示している。
衝動性動眼抑制は、一般的に１００〜１５０ミリ秒持続し、急速眼球運動が停止すると、直ちに（例えば、数ミリ秒内に）終了する。衝動性動眼抑制は、通常、衝動性動眼が終了した時に停止する、または人工条件下目に投影された画像が動きを示さない時に停止する。視覚シーンの移動中に急速停止抑制の実証は、人が急速に移動する乗り物から外を見るときに、シーンの移動速度を（衝動性）眼球運動に簡単に合わせることによって、オブジェクトを視認する能力である。静止画像が網膜に数ミリ秒間投影されても、急速に移動するシーンを視認することができる。これらの観察は、（中枢神経系と異なる）網膜レベルの神経処理が衝動性動眼抑制の制御または維持に関与することを示唆している。
視線が目標位置に到達してから約５０〜６０ミリ秒という短い期間の間に、瞳孔、水晶体および角膜輪部を含む眼内構造は、減衰振動の形で続けて動く。脳によって処理された場合、特に水晶体の動きは、網膜に到達する画像に動きボケを引き起こす。このような動きボケを避けるために、衝動性動眼抑制は、眼内構造の減衰振動中に継続的に実行される。
瞬き抑制は、上眼瞼が瞳孔を覆って、殆どの光線が網膜に届かないようにするときに、「暗闇」に対する認知を抑える。瞬き抑制は、瞬きが自発的であるかまたは非自発的（すなわち、自動的または反射的）であるかに拘わらず発生し、一般的に両眼に同時に発生する。瞬き抑制は、眼瞼の遮光機能をバイパスして光を網膜に人工的に導入するときにも発生する。
瞬き抑制は、瞬きの前に始まり、２００〜２５０ミリ秒間持続し、上眼瞼が瞳孔を覆わなくなると終了する。上眼瞼の最大速度は、方向によって異なり、下方方向の場合７００°／秒に達し、上方方向の場合２０００°／秒に達する。眠気などの要因は、眼瞼の最大速度および眼瞼の閉じ期間に影響を与える。
人間は、平均で１５〜２０回／分の瞬きをする。上述した瞬き抑制の持続時間を用いて推論すると、瞬きによって、人間は約５〜８％の時間に機能的に「失明」する。類似の推論によって、典型的な条件下、人間は１分間に約４０回の衝動性動眼を行う。上述した衝動性動眼抑制の持続時間を用いて推論すると、衝動性動眼抑制によって、人間は約７〜１０％の時間に機能的に「失明」する。これらの抑制の総合効果によって、典型的な人間は、約１５％の時間に機能的に「失明」する。この値は、「白日夢」と呼ばれている人間の認知負荷、疲労度、注意力、ストレス、薬物治療、照明、および行われている作業（例えば、読書、会話）を含む多くの要因に依存して変化し得る。いくつかの用途において特に関連深いことは、表示装置を見ているときに、瞬き速度が実質的に減少する（最大５倍）ことである。
人間の瞬きと衝動性動眼とは相互に影響する。衝動性動眼が瞬きの直後（例えば、最大２００ミリ秒）に発生する場合、衝動性動眼の加速度、ピーク速度および減速度が減少する。一方、瞬きが衝動性動眼の後に発生する場合、瞬きの動力学が著しく影響されない。最大効果は、瞬きが約１００ミリ秒で衝動性動眼に先行する場合に生じる。その結果、衝動性動眼の持続時間は、衝動性動眼距離に基づいて計算された持続時間よりも約３分の１に長くなる。したがって、眼球運動を衝動性動眼に分類するための閾値速度は、３０°／秒を超える典型的な（すなわち、瞬きに続いていない）瞬き閾値から、２０°／秒を超える瞬き後閾値まで減らすことができる。
瞬きは、その後の両眼離反運動に影響を与えることもできる。少なくとも一部の影響は、両眼離反運動中に小さな衝動性動眼に与えたものである。瞬きが衝動性動眼に影響を与える１つの可能性は、瞬き中に共有された運動前野神経回路を抑制することによって、衝動性動眼を開始するプロセスに影響を与えることである。この共有された神経回路は、凝視によって誘発された瞬きに役割を果たすこともできる。人間および他の哺乳類では、長い時間の凝視は、瞬きを引き起こす可能性を約２０％に増加する。
例示的な実施形態において、視覚信号の伝達中に、機能的な失明は、ユーザの反応時間の期待値に影響を与える可能性がある。眼球動力学の中断および変化は、視覚信号の選択基準を考慮する必要がある。眼球動力学の中断および変化は、瞬きの発生が一般的に視覚信号の形成と同期されていないときに発生する。さらに、矯正的な衝動性動眼などの急速眼球運動は、いくつかの視覚信号中に点在する。さらに、衝動性動眼の前に発生した瞬きは、衝動性動眼の動力学を変更する。したがって、目による対話の性能を最適化するために、ユーザの認知（ユーザによって使用される場合）、選択プロセス、および／または制御された表示オブジェクトの出現または消失のタイミングを制御するときに、瞬き期間および他の機能的な失明期間を検出し、考慮しなければならない。
具体的な例として、一連の時間間隔の短い衝動性動眼を伴う作動シーケンスの間に注意を引くように衝動性動眼の終了時に直ちにオブジェクトを導入する場合、オブジェクトの導入タイミングに瞬きの有無を考慮しなければならない。瞬きが衝動性動眼の直前に発生した場合、衝動性動眼の追加の持続時間（すなわち、衝動性動眼距離に基づいて計算された時間を超えた部分）によって、新規導入されたオブジェクトの表示を遅らせる必要がある。また、瞬き後の衝動性動眼の持続時間の増加を例えば、異なる作動シーケンスの要素となり得る滑動性追跡眼球運動、前庭性眼球運動または固視のいずれかとして誤って解釈しないことも重要である。
一般的に、イベントのタイミングの制御または測定に基づく視覚信号は、衝動性動眼抑制および瞬き抑制中に視覚処理の欠如を考慮しなければならない。これらは、短時間に示されたメニューの選択、ユーザの決定を行う時間、反応時間の測定、潜意識的な眼球運動を刺激または回避するように刺激の提供、ギャップ効果を生成するようにターゲットを除去するタイミング、変化失明（change blindness）を利用するように画像を導入または変更するタイミング、シーン内の要素を変更するための視覚抑制を利用した講談師をサポートするツールの実装などを含む。
別の考えとして、衝動性動眼は、画像変位の衝動性動眼抑制および／または所謂「ブランク効果」に関与する。画像変位の衝動性動眼抑制とは、衝動性動眼中に、視覚系に認識されないように、ターゲット位置を一定量で移動する認知処理である。認知されずにオブジェクトを移動できる範囲は、最大２°であり、概ね中心窩視野の標準サイズである。認知処理は、短期的な視覚記憶および／またはトランス衝動性動眼記憶に関与すると考えられている。
興味深いことは、オブジェクトを再導入する前の５０〜３００ミリ秒に、（目標オブジェクトが存在しない）「ブランク」フィールドを挿入することによって、オブジェクトの移動を検出する能力を改善できることである。衝動性動眼の後に検出されたオブジェクトの位置に少量の「スロップ」を許すことによって、予想されたターゲット位置と実際のターゲット位置との間の差から起因する動きの認知を回避できると考えられる。
例示的な実施形態において、視覚信号を伝達する間に、ブランク効果を利用して、衝動性動眼中に、（必要に応じて）注意を引くことなく、目標領域に位置する１つ以上のオブジェクトの位置を変位させることができる。逆に、簡単なブランクフィールドの挿入を用いて、ユーザの視線をターゲット位置にある動いているオブジェクトに「誘導」することを支援することができる。この動いているオブジェクトは、例えば、１つ以上のオブジェクトを表示させることによって、ユーザの滑動性追跡眼球運動に基づいた意図的な追跡によって検知されたＮ個のオブジェクト（Ｎは、通常０よりも大きい正整数である）から１つのオブジェクトを選択する初期段階にあってもよい。
衝動性動眼の変動性
短い距離の衝動性動眼は、ターゲットをオーバーシュートし、（約５°を超える）長い距離の衝動性動眼は、ターゲットをアンダーシュートする傾向がある。通常、長い距離の衝動性動眼は、ターゲット距離の９０％をカバーし、矯正的な衝動性動眼は、１０％をカバーする。求心性衝動性動眼は、遠心性衝動性動眼より精確である傾向がある。アンダーシュートまたはオーバーシュートの後に行われた矯正的な衝動性動眼は、長い待機時間または短い待機時間で待機することがある。矯正的な衝動性動眼を迅速に実行することができ（すなわち、動的アンダーシュートまたはオーバーシュート）、または数百ミリ秒で待機させることもできる（すなわち、滑降アンダーシュートまたはオーバーシュート）。ターゲットの特性、主に輝度は、矯正的な衝動性動眼の待機時間に影響を与えることができる。輝度が中心窩閾値を下回る場合、待機時間は、大幅に増加することがある。
短い距離の衝動性動眼は、ターゲットをオーバーシュートし、（約５°を超える）長い距離の衝動性動眼は、ターゲットをアンダーシュートする傾向がある。通常、長い距離の衝動性動眼は、ターゲット距離の９０％をカバーし、矯正的な衝動性動眼は、１０％をカバーする。求心性衝動性動眼は、遠心性衝動性動眼より精確である傾向がある。アンダーシュートまたはオーバーシュートの後に行われた矯正的な衝動性動眼は、長い待機時間または短い待機時間で待機することがある。矯正的な衝動性動眼を迅速に実行することができ（すなわち、動的アンダーシュートまたはオーバーシュート）、または数百ミリ秒で待機させることもできる（すなわち、滑降アンダーシュートまたはオーバーシュート）。ターゲットの特性、主に輝度は、矯正的な衝動性動眼の待機時間に影響を与えることができる。輝度が中心窩閾値を下回る場合、待機時間は、大幅に増加することがある。
目が暗闇の中に非可視ターゲットに向けられた場合または目に特定の病変を有する場合、衝動性動眼は、遅くなる傾向がある。衝動性動眼の持続時間は、衝動性動眼のターゲットおよびシーケンス以外の視覚刺激によって影響されることもある。
まとめると、例示的な実施形態において、指向性衝動性動眼の有無を検出するためのアルゴリズムフィルタは、上述した遅延および変動性を考慮する必要がある。また、輝度を制御することによって、（矯正的な衝動性動眼を含む）衝動性動眼および他の形態の眼球運動の速度を最適化することができる。全体的な輝度が制御されていない場合に、アルゴリズムフィルタは、一連の衝動性動眼を特定する時に、輝度の上昇または低下による全般的な影響を考慮する必要がある。
以下の記載において、例えば、「デュアル」衝動性動眼または「シングル」衝動性動眼を言及する場合、このような意図的な衝動性動眼を他の衝動性動眼を含む他の眼球運動から認識および区別しなければならない。これらの介在性の眼球運動は、１つ以上の（一般的に短距離の）矯正的な衝動性動眼、瞬き、振顫および浮動などを含む。
また、上述したように、衝動性動眼中に視線が目標位置に到着した場合、瞳孔および（一般的により狭い範囲で）角膜輪部は、減衰振動のような変位を示すことができる。これらの振動の一次振動数は、一般的に約２０Ｈｚ（すなわち、５０ミリ秒の周期）である。一般的には、約５０〜６０ミリ秒の間にこの減衰振動を検出することができるため、１〜３個の減衰振動を観測することができる。衝動性動眼抑制は、この期間中も持続する。さもなければ、観察されたシーンに動きボケが現れるであろう。
認知を行わない衝動性動眼
衝動性動眼中に視線が目標位置に到着した後に生じた減衰振動を含み、衝動性動眼抑制中に、目標オブジェクトの認知が不可能である。したがって、例示的な実施形態において、意図を伝えるように設計された衝動性動眼において、目標オブジェクトの認知が意図を伝えるための必須要素ではない場合、減衰振動が発生している時間が意図を伝えるための必須要素ではない。換言すれば、認知を必要とする場合、認知時間（２００〜２５０ミリ秒）並びに衝動性動眼中に視線が目標位置に到着した後にユーザが機能的に失明になる減衰振動時間（５０〜６０ミリ秒）は、意図を伝えるための意図的な眼球運動の速度を制限する。認知が必要ではない場合、両方の期間も必要しない。
衝動性動眼中に視線が目標位置に到着した後に生じた減衰振動を含み、衝動性動眼抑制中に、目標オブジェクトの認知が不可能である。したがって、例示的な実施形態において、意図を伝えるように設計された衝動性動眼において、目標オブジェクトの認知が意図を伝えるための必須要素ではない場合、減衰振動が発生している時間が意図を伝えるための必須要素ではない。換言すれば、認知を必要とする場合、認知時間（２００〜２５０ミリ秒）並びに衝動性動眼中に視線が目標位置に到着した後にユーザが機能的に失明になる減衰振動時間（５０〜６０ミリ秒）は、意図を伝えるための意図的な眼球運動の速度を制限する。認知が必要ではない場合、両方の期間も必要しない。
例示的な実施形態において、視覚信号言語（eye signal language）において、経験豊富なユーザは、衝動性動眼シーケンスのターゲットであるオブジェクトの各々または全てを完全に認識することなく、意図を伝えるように設計された多くの衝動性動眼を行うことができる。ユーザの経験によって認知を行われなかった場合、衝動性動眼間の間隔を大幅に短縮することができ、１つ以上のユーザの意図をより迅速に伝達することができる。
経験豊富なユーザは、一般的に、記憶誘導型衝動性動眼により多く依存することによって、意図を伝える。可視ターゲットは、一般的に記憶誘導型衝動性動眼にとって必要であるが、ターゲットを完全に検査する（すなわち、完全に認知する）必要はない。また、選択オブジェクトは、一般的に傍中心窩視界または周辺視界に位置する。以下の「高関連性オブジェクトの高解像度レンダリング」部分に説明するように、一般的には、オブジェクトの詳細を完全に認識しなくても、オブジェクトの位置を十分に認識することができる。
例示的な実施形態において、オブジェクトを完全に認知することなく、第１オブジェクトに対する衝動性動眼を行うことができる。したがって、第１オブジェクトを完全に認知することなく、任意の時間で、操作を行うことができ、および／または第２オブジェクトに対する次の衝動性動眼を行うことができる。衝動性動眼の弾道学プロファイルに基づいて衝動性動眼の注視位置を決定した直後に、第１オブジェクトに向かった移動に関連する操作を行うことができる。したがって、次の「意図的な」（すなわち、意図を伝えるための）眼球運動（または意図を伝えるための他のモダリティ）を意識的に認識する前に、１つ以上の操作を行うことができる。
認知される前に第１オブジェクトの表示を取り消すこともできる。これによって、所謂「ギャップ効果」を生成する。本明細書の他の箇所に記載されているように、ギャップ効果は、第１オブジェクトを観察している（または完全に認知している）目を「解放」し、別のオブジェクトへの急速な衝動性動眼を促進することができる。
デュアル衝動性動眼選択シーケンス（ＤＳＳＳ）による複数の選択（例えば、キーボード）
前述したように、視覚信号言語において、滑動性追跡眼球運動を用いて、特定の追跡オブジェクトを視覚的に追跡することによって、Ｎ個のオブジェクトから１つのオブジェクトの選択を行うことができる。このメカニズムによって、限られた選択数（典型的には２〜８）で、比較的少数の逐次選択シーケンス（典型的には１から数個までのシーケンス）を行う場合、視覚信号の形成中に、特定の眼球運動の「流れ」が特に効果的である。シーケンスおよび／または選択の数の最大値は、滑動性追跡眼球運動に基づくメカニズムの使用を制限するものではなく、快適で効率的な使用に関する提案である。
前述したように、視覚信号言語において、滑動性追跡眼球運動を用いて、特定の追跡オブジェクトを視覚的に追跡することによって、Ｎ個のオブジェクトから１つのオブジェクトの選択を行うことができる。このメカニズムによって、限られた選択数（典型的には２〜８）で、比較的少数の逐次選択シーケンス（典型的には１から数個までのシーケンス）を行う場合、視覚信号の形成中に、特定の眼球運動の「流れ」が特に効果的である。シーケンスおよび／または選択の数の最大値は、滑動性追跡眼球運動に基づくメカニズムの使用を制限するものではなく、快適で効率的な使用に関する提案である。
選択数Ｎが大きくなると、急速な衝動性動眼を用いて選択を行うことによって、生理学的な効率が良くなる（すなわち、より少ない時間および労力を要する）。大規模なＮ選択プロセスの代表的且つ特に有用な例は、タイピングである。英語では、タイピングは、２６個の文字、１０個の数字、および／またはいくつかの他の「特殊」記号（例えば、「＄」、「＠」、「＃」など）、句読点（例えば、「、」、「。」、「？」など）および機能／コマンド（例えば、大文字キー、シフトキーおよびコントロールキー、入力の終了など）を含むことができる。
以下の記載において、「キーボード」という用語は、入力に一般的に使用された標準的なキーボード（例えば、所謂ＱＷＥＲＴＹ）、代替的な入力配置を有するキーボード、数値入力に一般的に使用されたキーパッド、または英数字（英字および／または数字）、句読点、方向矢印、所謂特殊文字、画像、機能キー、描画機能、テキスト編集機能、ショートカット（すなわち、機能の集合）などを含み得る他の選択マトリックスを含むことができる。曜日、月、時間の所定の増分（例えば、１５分ごと）、国の州または地域、色、フォントおよび／またはサイズの選択、連絡先、ソフトウェアアプリケーション、機械制御機能などを含む可能な選択の特定セットに適合するように、キーボードを改変することができる。キーボードまたは選択マトリックスは、実在物（すなわち、物理的なオブジェクト）または仮想物（すなわち、ディスプレイの一部の投影）であってもよく、実在キーと仮想キーの組み合わせ（中央ディスプレイ装置上に投影されたキーおよび表示領域外に配置された追加の物理キー）であってもよい。
また、「キーボード」（すなわち、選択マトリックス）内の個々のキーは、より高レベルの思想および／または概念を表すことができる。キーボードの選択は、単語、語句、または長文を表すことがある。キーは、中国語の記号／意味に関連するアイコンまたは図形を含んでもよい。また、キーは、特定の言語に関連していない共通物を含む静的絵標識または動的（すなわち、アニメーション化）絵文字を含んでもよい。記号、画像および／または絵文字は、以前に入力されたキー、特定のユーザ、時間、閲覧時のみ、および／または他の文脈要素によって、時間と共に変化してもよい。
眼球運動によって入力を行うときの優先制約は、急速眼球運動中に、（例えば、長くなった滞在期間の平均化または注視領域の「ズームイン」などの統計手法を使用せず）視線ベクトルを決定する精度である。（振顫、マイクロ衝動性動眼、浮動、および他の生物学的態様の存在を含む）システムの注視精度は、衝動性動眼を使用する選択プロセス中に指し示すことができる別個の領域または区域の数を制限する。高度に区切られた表示領域に対するこの制限を克服するための方法として、複数の衝動性動眼を用いて、一連の選択を各々行うことである。この方法は、全体的な選択グループのより小さいサブセットからより小さな枝を選択することができる「選択木」（selection tree）として考えられてもよい。
特に最初の衝動性動眼に応じて選択肢を動的に変化する方法を用いて、３つ以上の衝動性動眼を連続的に行うことによって、選択を指定することができる。しかしながら、これは、一般的に非常に大きなＮ（例えばＮ＞５０）の場合のみ必要である。したがって、デュアル衝動性動眼選択シーケンス（ＤＳＳＳ）使用が最も簡単である。以下、デュアル衝動性動眼選択シーケンスを詳細に記載する。３つ以上の衝動性動眼は、同様の一般原則を用いて、各々の選択を行うことができる。
また、全ての可能な選択を行うために、同様な数のレイヤ（または選択木構造の「枝」）を使用する必要もない。作動に必要な衝動性動眼を少なくするように、一般的に使用された選択および／または「重要な」選択を設定してもよい。以下でより詳細に説明するように、図６は、デュアル衝動性動眼選択シーケンスを用いて殆どの選択を行う配置２７０を示す例である。しかしながら、所謂「改行」２７３の選択に関連する操作は、１回の衝動性動眼によって行われる。
視覚信号言語要素を開発する際に考慮しなければならない第２制約は、ユーザが「ターゲット」位置を捜索し、発見することを可能にすることである。いくつかの場合（すなわち、一般的に少数の選択を含む場合）、熟練したユーザは、一連の共通選択位置を知ることができ、記憶された位置に基づいて記憶誘導型衝動性動眼を行うことができる。しかしながら、殆どの場合、選択を行う前に潜在的なターゲットの選択肢を検索することをユーザに許可しなければならない。通覧および検索は、一般的に、衝動性動眼に関与する。したがって、視覚信号成分は、１）任意の数の眼球捜索運動を可能にし、２）選択処理を実行する意図的な衝動性動眼を区別できるようにしなければならない。
また、ターゲット位置に注視する場合、「意図的な」眼球運動を示すことであっても、または単に環境を視覚的に捜索することであっても、１つ以上の矯正的な衝動性動眼および／または他の形態の眼球運動（例えば、振顫、震動）を行う必要がある。これらの眼球運動は、一般的に、衝動性動眼および／または他の形態の自発運動（例えば、滑動性追跡眼球運動、前庭庭眼球運動）の間に介入できる非自発的な眼球運動である。ターゲット位置の注視（並びに眼球運動のタイミングおよび他の特性）を決定するように設計されたアルゴリズムは、これらの運動の介入を可能にしなければならない。
例えば、ターゲット位置に注視する場合、最初の衝動性動眼（予測または測定）は、ターゲットから所定の閾値距離内に収まらない場合がある。しかしながら、１つ以上の矯正的な衝動性動眼によって、ユーザの視線が徐々にターゲットに近づくことができる。１つ以上の矯正的な衝動性動眼によってユーザの視線がターゲットからの所定の閾値距離内にあると判断された場合、ターゲットが選択されたと考えられ、関連する操作を開始することができる。
図１Ａは、４（水平）×３（垂直）の視線選択グリッド２００に制限されたＤＳＳＳ英語アルファベットキーボードの例である。各グリッドは、４つの文字／機能またはグリッド位置内の４つの文字／機能のうち１つを特定する選択の特定（２０３ａ、２０３ｂ、２０３ｃ、２０３ｄ）を含む。文字／機能または選択処理を表すアイコンは、一般的に、グリッドの中央領域に位置し、グリッド位置内の眼球運動を正確に追跡するための中央焦点（すなわち、隣接するグリッドに干渉する可能性のあるエッジから離れる）を提供する。
最初に所望の文字／機能（および他の３つの文字／機能）を含むグリッド位置に（一般的に衝動性動眼によって）視線を移動し、その後、文字／機能を含むグリッド位置内の文字の位置に対応するグリッド位置の選択（２０３ａ、２０３ｂ、２０３ｃ、２０３ｄ）に視線を移動することによって、任意の文字２０１を選択することができる。次の文字／機能を含むグリッド位置に再び視線を移動し、その後、グリッド位置内の文字の位置に対応するグリッド位置の選択（２０３ａ、２０３ｂ、２０３ｃ、２０３ｄ）に視線を移動することによって、次の文字を選択することができる。このような一対の眼球運動を繰り返すことによって、任意の数の文字または記号を選択することができる。
一例として、図１Ｂは、視覚信号および図１Ａに示す配置のキーボードを用いて、単語「少年」を入力する一連の眼球運動を示している。眼球運動は、破線（例えば、２０５）によって標示される。眼球運動は、文字「ｂ」を含むグリッド位置２０４ａを選択することによって始まる。文字「ｂ」が文字グリッド位置２０４ａに位置している右上象限に対応する選択グリッド位置２０３ｂに視線を移動する（２０５）によって、文字「ｂ」を選択することができる。次に、文字「ｏ」を含むグリッド位置２０４ｂに視線を移動して、その後、文字「ｏ」が文字グリッド位置２０４ｂに位置している左下象限に対応する選択グリッド位置２０３ｃに視線を移動するによって、文字「ｏ」を選択することができる。文字「ｙ」を含むグリッド位置に視線を移動して、その後、左上象限を特定するグリッド位置２０３ａに視線を移動する（２０６）によって、文字「ｙ」を選択することができる。
単語の終わりは、「スペース」２０７または他の句読点（例えば、「、」、「。」、「？」など）によって指定することができる。必要に応じて、例えば、スマートフォンおよび他の装置に見られる機能に類似する「オートフィル」機能の選択によって、単語の一部および／または句読点を完成させることができる。特別な文字／機能（例えば、しばしば改行２０８に関連する「←」）を用意して、この機能を実行することができる。用意された別の特殊記号（図１Ａに示す「＾」２０２）をトリガすることによって、他の機能および代替配置のキーボードを利用することができる。この経路は、例えば、数字、記号、大文字および他の機能を利用することができる。
図２Ａおよび図２Ｂは、視覚信号言語を用いて入力を行うためのキーボード配置２１０の別の例を示している。この場合、３つの文字（例えば、２１１）が、視線で選択可能なグリッド位置に各々縦に配置される。最初に文字／機能を含むグリッド位置に注視する場合、上方選択位置２１３ａ、中間選択位置２１３ｂまたは下方選択位置２１３ｃに各々注視することによって、グリッド位置における上方の文字、中間の文字または下方の文字を選択することができる。この例では、選択グリッドの位置２１３ａ、２１３ｂおよび２１３ｃは、ディスプレイ全体の右端に配置されている。
図２Ａに示す配置は、一般的により大きな生理動作範囲および制御を有する水平方向の眼球運動を優先的に支持する。また、この配置は、比較的簡単で直観的であり、初心者による簡単な単語入力に特に適している。この配置は、例えば、全ての２６個の英文字および入力の終わりおよび／または異なるキーボード配置に切り替える希望を示すために使用することができる「＾」機能文字を含む。
図２Ｂは、一連の眼球運動を示す別の例示である。この場合、図２Ａに示す配置のキーボードを用いて、単語「ｃａｔ」を入力する。図１Ｂと同様に、衝動性動眼は、破線（例えば、２１５）によって示されている。一連の眼球運動は、文字「ｃ」を含むグリッド位置２１４を選択することによって始まる。文字「ｃ」がグリッド位置２１４内の下方の文字であるため、下方の文字の選択に対応する作動グリッド位置２１３ｃに注視する（２１５）ことによって、文字「ｃ」を選択することができる。次に、文字「ａ」を含む同一のグリッド位置２１４に再び注視した後、文字「ａ」がグリッド位置２１４の上方の文字であるため、上方の文字／機能を特定する選択グリッド位置２１３ａに注視することによって、文字「ａ」を選択することができる。同様に、文字「ｔ」を含むグリッド位置に注視した後、グリッド位置の中央に位置する文字を特定するグリッド位置２１３ｂに注視する（２１６）ことによって、文字「ｔ」を選択することができる。
これらのキーボード配置において、選択可能な文字／機能の最大数は、文字／機能グリッド位置の数と選択位置の数との積である。例えば、図１Ａには８個の文字／機能グリッド位置および４個の選択位置が存在するため、選択可能な文字／機能の最大数は、８×４＝３２である。図２Ａには、９個の文字／機能グリッド位置および３個の選択位置が存在するため、選択可能な文字／機能の最大数は、９×３＝２７である。
より一般的に、キーボード内の選択可能なグリッド位置の数が一定である場合、文字／機能位置および選択位置の数を概ね等しくすることによって、最大数の選択を達成することができる。例えば、図３は、３行×４列のグリッド配置２２０の例を示している。この配置は、６個の文字／機能位置および６個の選択位置を有するため、合計３６個の可能な選択をもたらすことができる。これによって、眼球運動に基づいて、全ての英文字および１０個の他の特殊文字または特殊記号を選択することができる。６個の選択位置は、２列、すなわち左列２２３ａおよび右列２２３ｂ、および３行、すなわち上方行２２４ａ、中間行２２４ｂおよび下方行２２４ｃに配置される。
図３において、各選択グリッド位置の中央領域のアイコンは、文字／機能選択位置内の相対位置（すなわち、左、右、上方、中央、および下方位置）に対応する。したがって、相対位置を使用して、特定の文字／機能を選択する。より一般的に、別のメカニズムまたは視覚指標を別々にまたは組み合わせて使用して、文字／機能を選択することができる。別のメカニズムまたは視覚指標は、文字／機能の色、フォント、輝度またはサイズ、背景色、境界特性および／または他の視覚指示のマッチングを含む。
表示面積／視線追跡面積に制限がある場合、眼球運動に基づいた選択を行うための列または行を単に１つで追加することで、単一画面内の選択肢の数を大幅に拡大することができる。図４Ａは、５列×３列の選択グリッドの例示的な配置２５０を示している。図３と同様に、６個の選択位置は、２列、すなわち左列２５３ａおよび右列２５３ｂ、および３行、すなわち上方行２５４ａ、中間行２５４ｂおよび下方行２５４ｃに配置される。文字／機能２５１は、左側の３列２５２ａ、２５２ｂおよび２５２ｃに含まれたものを指定することによって選択される。この配置を使用する場合、単一のＤＳＳＳで、合計９×６＝５４つの文字または記号の選択を行うことができる。この配置は、２６個の英文字、１０個の数字、４個の移動キー（左、右、上および下）および１４個の特殊文字または記号の同時表示に十分である。この増加した選択は、大文字、数字入力、画面の移動、句読点、訂正、他の画面配置または記号の利用などの機能を実行するように、視覚信号言語に遥かに高い効率性および柔軟性を提供することができる。
同様の視線グリッド構成を有しても、単に仮想的に表示された文字／機能のセットを切り替えることによって、配置を切り替えることができるため、異なる配置のキーボードを形成することができる。例えば、図４Ｂは、５列×３行の選択グリッドの代替的な配置の一例である。この例において、英字２５５、数字２５６、特殊文字および記号２５７は、ディスプレイの個別領域に分類される。例えば、散文の作成、（例えば、選択位置間の眼球運動を最小限にするように数字を配置する場合における）数字の入力、ウェブ上の移動および入力、特定の作業（例えば、チェックリストの入力）、描画および／または個人的な好みに適合するように、最適化可能なキーボードの数は、実質的に無限である。
図５は、視覚信号による入力を可能にする「仮想キーボード」配置２６０の別の例である。この場合、視覚信号による４列×４行の選択グリッドは、手動入力を行う人間-機械インターフェイス（ＨＭＩ）に広く使用されている周知の「ＱＷＥＲＴＹ」キーボードにほぼ一致するように配置されている。この例において、文字「２６１」は、標準の「ＱＷＥＲＴＹ」英語キーボードの配置と同様の順序で配置されている。この配置がより一般的に使用される文字を上方の行に沿って配置するように設計されたため、仮想キーボードの上方の行２６６に沿って選択位置を配置することによって、一般的に使用される文字を選択する際の眼球運動距離を最小限に抑えることができる。
４つの選択グリッド位置２６６は、１２個の文字／機能グリッド位置の各位置内の４つの可能な左から右への文字（合計で４８個の可能な文字／機能）の位置に対応する。この例示的な配置は、英文字に加えて、移動キー（すなわち、左、右、上および下）クラスタ２６４ａおよび２６４ｂ、大文字「Ａ」２６５によって表された大文字機能、１個ブロック２６２内のスペースおよび句読点機能、殆どの標準キーボードと同様の配置を使用する最も右側の列２６３内の数字キーパッド、他の特殊記号および追加のメニュー選択をもたらす機能キー２０２を含む。
同様の方法を用いて、任意のサイズおよび形状で、視覚信号による入力を可能にするキーボード配置を構成することができる。全ての使用可能なＤＳＳＳ組み合わせを使用する必要はない（すなわち、一部の位置を空白にしてもよい）。選択位置を特定の一側に配置する必要はなく、連続領域内に配置する必要もない（例えば、選択位置は、左端境界または右端境界から分割されてもよい）。キーボードは、例えば、入力されているテキストおよび／または行われているキーボード入力の検索基準に最も適合する英数字表現および画像項目を含むことができるより多面的な表示システム内に組み込むこともできる。これらのテキストおよび画像は、キーボードの周りに（すなわち、任意の一側または全ての側に沿って）配置されてもよく、またはキーボードの中央領域内に配置されてもよい。
図６は、非連続の選択領域を有する代替的な選択配置を示す４（水平）×３（垂直）グリッドに制限されたＤＳＳＳ英語アルファベットキーボードの例示的な配置２７０である。図１Ａと同様に、最初に、ディスプレイ２７０の中央領域２７２から４つの文字または記号からなるクラスタを選択する。その後、表示領域の４隅２７１ａ、２７１ｂ、２７１ｃおよび２７ｄｄのうち１つに注視することによって、４つの文字／機能のうち１つを選択することができる。４隅のうち１つを選択する選択処理は、直感的で個別な（すなわち、異なる方向）衝動性動眼およびアルゴリズム的に特定可能な衝動性動眼を容易にする。
また、図６の配置２７０は、同様の選択モードで全ての選択を行わない選択木の状況を示している。配置２７０内の殆どの選択は、デュアル衝動性動眼シーケンスを用いて行われる。ディスプレイ上の最も右側の所謂「改行」文字２７３に関連する任意の機能は、（すなわち、１回の衝動性動眼を用いて行った）選択の直後に実行することができる。
視覚信号を用いてタイピングしている間または他の選択処理の間のフィードバックは、視覚的な表示に制限されない。（例えば、装置がユーザの意図を推測するときの）文字、単語、語句または他の表示は、音声フォーマットで（すなわち、合成音声または発話音声を使用して）提供することができる。（例えば、ユーザが「誤った」入力をした場合）装置による短い期間の振動などの触覚フィードバックを組み込むこともできる。全てのフィードバックモダリティを個別に使用することができ、組み合わせて使用することもできる。様々な用途において、異なるモダリティを使用することができる。
オフディスプレイターゲット
ディスプレイのエッジの近くにターゲットを配置することによって表示領域内の選択可能なターゲットの数を最大化する方法は、２０１５年５月９日に出願され、「実在オブジェクトおよび仮想オブジェクトと対話するための生体力学に基づく視覚信号を行うためのシステムおよび方法」と題された米国出願第１４／７０８２３４号に記載されている。当該出願の全体が参照により本明細書に組み込まれる。この一般的な方法は、ターゲットを任意の表示領域の外側に完全にまたは少なくとも部分的に配置することによって拡張することができる。
ディスプレイのエッジの近くにターゲットを配置することによって表示領域内の選択可能なターゲットの数を最大化する方法は、２０１５年５月９日に出願され、「実在オブジェクトおよび仮想オブジェクトと対話するための生体力学に基づく視覚信号を行うためのシステムおよび方法」と題された米国出願第１４／７０８２３４号に記載されている。当該出願の全体が参照により本明細書に組み込まれる。この一般的な方法は、ターゲットを任意の表示領域の外側に完全にまたは少なくとも部分的に配置することによって拡張することができる。
視認可能なオフディスプレイターゲットをユーザに提供する（すなわち、ユーザに「期待するもの」を提供する）ために、ターゲットは、一般的に装置ユーザの視野内に存在する標識（例えば、アイコン、画像、英数字、記号、ディスプレイの視認可能なエッジ）を含むことができる。これらのターゲットは、装置の制御によって点灯、消灯または調節できる１つ以上の発光ダイオード（ＬＥＤ）、２次表示灯または投光灯などの（メインディスプレイとは独立する）動的素子を含むことができる。
ターゲット（例えば、アイコン、記号、ＬＥＤ）を視認可能な面に貼り付けることができる。投影されたターゲットまたはターゲットの一部は、１つ以上の表面からの反射、所謂導波路を用いた指向型投影、１つ以上の光ファイバ、屈折光学素子、シャッタおよび／または他の光制御機構を用いた誘導光を含む１つ以上のリモート光源を含むことができる。
また、オフディスプレイターゲットは、特定のディスプレイの結像面に制限されない。例えば、オフディスプレイターゲットは、ディスプレイの結像面の前面または背面に現れてもよい。これによって、オフディスプレイターゲットへの眼球運動が意図的な作動シーケンスであるか否かを判断する際に、両眼離反運動（および若いユーザの眼球の水晶体の可能な形状変化）を考慮に入れることができる。オフディスプレイターゲットが様々な深さで形成された場合、特定のターゲットの選択基準内にある両眼離反運動のレベル（すなわち、認識深さ）を使用することができる。
また、オフディスプレイターゲットは、ユーザが移動する時に（全体の環境に対して）動く可能性があるユーザの一部（例えば、親指、指、手）であってもよい。さらに、オフディスプレイターゲットは、ユーザによって所持されてもよい（例えば、手袋、指輪、服装の一部）。仮想のオフディスプレイターゲットは、近くの携帯電話またはタブレットなどの別の表示装置に表示されてもよい。
機械的に利用可能であれば、（必要に応じて）オフディスプレイターゲットを選択する時に、ユーザに何らかのフィードバック（例えば、ＬＥＤの点灯または消灯、光色の変化）を提供することができる。オフディスプレイターゲットが変更可能でない場合（例えば、表面に貼り付けられた「貼り付け」アイコンまたは画像）、フィードバックは、傍中心窩視界または周辺視界を含むディスプレイ上の他の位置に提供されてもよい。
多くの場合、特に経験豊富なユーザにとって、オフディスプレイターゲットのフィードバックは特に必要ない。デュアル衝動性動眼選択シーケンス（ＤＳＳＳ）は、オフディスプレイターゲットのフィードバックが一般的に必要でない衝動性動眼信号言語の特に有用な例である。ＤＳＳＳ中にオフディスプレイターゲットへの衝動性動眼が作動に使用された場合、結果として生じた動作（例えば、選択された文字または画像の表示、文字または単語の音声生成）は、一般的に、作動選択が行われたことをユーザに十分に知らせることができる。
図７は、４列（２８０ａ）×３行（２８０ｂ）の選択マトリクスを示す例である。この選択マトリクスは、表示領域の４隅の上方に４つの追加のターゲット位置２８１ａ、２８１ｂ、２８１ｃおよび２８ｄ１を有する。図７において、オフディスプレイターゲット２８１ａ、２８１ｂ、２８１ｃおよび２８１ｄに対応する空間領域は、破線で示されている。表示された選択肢とオフディスプレイターゲット２８１ａ、２８１ｂ、２８１ｃおよび２８１ｄとの組み合わせを用いて、ＤＳＳＳによって、例えば、全ての英字、数字およびいくつかの特殊記号（例えば、シーケンスの終結を示すように用意されたもの２８２を含む）から、選択を行うことができる。図６と比較すると、４隅にオフディスプレイターゲット２８１ａ、２８１ｂ、２８１ｃおよび２８１ｄを配置することによって、４列（２８０ａ）×３行（２８０ｂ）の選択マトリクスで１６個の可能な選択を追加できる（すなわち、追加的に示された４つのマトリクス位置の各位置に４つの選択を配置できる）ことが分かる。
図８は、８個のオフディスプレイターゲット２９１ａ、２９１ｂ、２９１ｃ、２９１ｄ、２９２ａ、２９２ｂ、２９２ｃおよび２９２ｄを使用する別の例示的な配置を示している。図７と同様に、表示されたターゲットは、４列×３行の選択マトリックスを含み、オフディスプレイターゲット２９１ａ、２９１ｂ、２９１ｃ、２９１ｄ、２９２ａ、２９２ｂ、２９２ｃおよび２９２ｄは、破線で示されている。表示された選択可能な項目は、英語アルファベットの全ての文字、１０個の数字、および入力の完了を示すためによく使用された所謂「リターン」（または「改行」）キー２９５を含む特殊文字および記号を含む。
図８の配置を使用する場合、データ入力は、中央に表示された４列×３行のマトリックスから、４つまでの可能な選択肢を含むグループを指定してから、４つの選択肢から１つを選択することを示すように、４隅のオフディスプレイターゲット２９１ａ、２９１ｂ、２９１ｃおよび２９ｄに注視することを含む。図７に示すプロセスと同様に、この方法は、表示された選択マトリックス内の任意の文字または記号を特定することができる。
その後、ユーザは、必要に応じて、オフディスプレイ「変更子」ターゲット２９２ａ、２９２ｂ、２９２ｃおよび２９２ｄのうち１つに注視することによって、選択をさらに変更することができる。典型的なキーボードと同様に、これらの変更子ターゲットは、例えば、（多くの場合、上向き矢印として表示され、しばしば大文字の入力に使用される）「シフトキー」２９２ａ、「制御キー」（略称Ｃｔｒｌ）２９２ｂ、「代替キー」（略称Ａｌｔ）２９２ｃ、一般的に数字に関連する「機能キー」（略称「Ｆ」）２９２ｄに関連する補助機能を実行することができる。標準的なキーボードと同様に、シフト数字キー２９４に関連するものような変更を介して利用可能な選択肢は、初心者を支援するために表示された選択マトリクスに示されてもよい。
中央に表示された選択マトリックス内の任意の位置に再び注視することによって、選択を終える。ユーザが変更マトリクスターゲット位置２９２ａ、２９２ｂ、２９２ｃおよび２９２ｄに注視することなく、選択マトリクスに注視する場合、初期の文字／機能選択が変更されない。変更子ターゲットに対して一連の衝動性動眼を行うことによって、複数の変更子（ＣｔｒｌおよびＳＨＩＦＴなど）を指定することができる。所望であれば、変更子ターゲット２９２ａ、２９２ｂ、２９２ｃおよび２９２ｄは、位置ターゲット２９１ａ、２９１ｂ、２９１ｃおよび２９１ｄの前に選択されてもよく、後に選択されてもよい。
図８に示す体系によって、視覚信号を用いて、標準的なキーボード上の文字および特殊機能のほぼ全ての組み合わせを選択することができる。標準ＱＷＥＲＴＹキーボードの右側の特殊記号は、表示された選択マトリックスの右下領域２９３から使用することができる。これによって、（例えば、ウェブページを閲覧および応答する時に）視覚信号を用いて、標準的なキーボードの入力を簡単に置換することができる。
オンディスプレイターゲット位置とオフディスプレイターゲットとの組み合わせによって、特に視野の比較的小さい部分を占める装着型ディスプレイに、可能な選択肢の数を劇的に増加することができる。例えば、図８に示された４列×３列の選択マトリックスの場合、４隅の４つのオフディスプレイターゲットおよび４つのオフディスプレイ変更子ターゲットを含むため、単一の（オプション）変更子に制限された場合に、合計１２×４×４＝１９２個の可能な選択を行うことができる。第２の（すなわち、４つのうち１つを選択する）オプション変更子を設けた場合、可能な選択肢の数を７６８まで増加することができる。
したがって、この一般的な方法は、大きな可能性プールから選択を行うときに特に有用である。このことは、文字の入力（図７および図８に示すように一度に１文字）、単語または語句の選択、英数字の入力、多くの画像またはデータセット（特に選択木構造に含まれたもの）からの選択、項目リストからの選択などを含む。
より一般的には、オフディスプレイターゲットの数は、単一の選択可能な領域であってもよく、装置着用者の視界内で確実に識別可能な多くのターゲットであってもよい。オフディスプレイターゲットは、ディスプレイの周辺領域と重なってもよく、表示領域に隣接してもよく、１つ以上の表示領域から離れていてもよい。目標領域のサイズは、例えば、表示領域の一辺を越える任意位置に注視することを含むように変化してもよい。オンディスプレイターゲットおよびオフディスプレイターゲットの両方の形状は、例えば、正方形、長方形、六角形および円形のいずれかを含むことができる。
作動ターゲット（activation target）の周辺位置および／またはオフディスプレイ位置の別の重要な利点は、表示領域内の不注意な作動を回避することである。特定の文字または機能を選択するとき、ユーザは、所望の選択肢を見つけるために必要とされる多くの眼球運動を行うことができる。「作動」が周辺位置（すなわち、表示領域から離れた位置）への眼球運動によって行われるため、捜索中に殆ど作動されない。周辺位置で作動された場合、新しい選択は、中央領域に戻ることのみによって開始される。これによって、作動作業から検索処理および初期選択処理を空間的および方向的に分けることができ、不注意な作動の可能性を大幅に低減する。
ユーザが（例えば、障害による視線追跡が悪くなることによって）必要以上の不注意な作動をする傾向があった場合、オフディスプレイターゲット２９１ａ、２９１ｂ、２９１ｃ、２９１ｄおよび変更子ターゲット２９２ａ、２９２ｂ、２９２ｃ、２９２ｄを表示領域から遠くなるように設ける。例えば、ユーザが経験を積んで不注意な作動の回数を減らした場合、これらのターゲットを表示領域の近くに移設することができ、これによって、目の移動距離を減少し、結果として選択時間および目の疲労を軽減することができる。
シングル衝動性動眼選択シーケンス（ＳＳＳＳ）による複数の選択
表示および視覚信号のために拡張された視野を利用できるときに、Ｎ個の選択のうち１つを選択することを、１回の眼球運動（すなわち、１回の衝動性動眼）で１つの選択を行う方法に変更することができる。ＳＳＳＳは、クラスタ内に配置された選択セットを利用して、選択肢に注視してから、視線を移動して次の選択を実行することができる新しいクラスタに注視することによって、１つのクラスタ内の特定の項目を選択することができ、選択行動を示すことができる。
表示および視覚信号のために拡張された視野を利用できるときに、Ｎ個の選択のうち１つを選択することを、１回の眼球運動（すなわち、１回の衝動性動眼）で１つの選択を行う方法に変更することができる。ＳＳＳＳは、クラスタ内に配置された選択セットを利用して、選択肢に注視してから、視線を移動して次の選択を実行することができる新しいクラスタに注視することによって、１つのクラスタ内の特定の項目を選択することができ、選択行動を示すことができる。
図９Ａは、日付を選択するためのディスプレイ配置３００の一例である。この場合、１回の衝動性動眼で１つの選択肢（すなわち、月、日）を選択することができる。一番左側のクラスタ３０１は、月を指定する。中間クラスタ３０２は、１ヶ月内の日数を指定する。一番右側のクラスタ３０３は、操作を指定する。任意の日付の指定は、左側のクラスタ３０１内の月に注視してから、視線を移動して中央のクラスタ３０２内の日数に注視し、その後、視線を移動して右端のクラスタ３０３内の操作に注視することによって、行うことができる。
図９Ａは、「６月４日」という日付を入力するための眼球運動の例示的なシーケンスを示している。衝動性動眼は、破線で示されている。「６月」（Jun）３０４に注視してから視線を移動することによって、月を選択する。その後、数字「４」に注視してから視線を移動することによって、日を選択する。「ENTER」キー３０５ｂに注視することによって、選択された日付をアプリケーションのデータ入力シーケンスに適用することができる。アプリケーションは、例えば、表示を変更して、追加情報の入力を可能にすることができる。
図９Ａにおいて、選択可能な代替操作項目は、例えば、前の質問に対する回答を再入力することを可能にするように、データ入力の後方に後退する「BACK」キー３０５ａを含む。この例において、任意の時間に「SKIP」キー３０５ｃに注視することによって、日付入力なしでアプリケーションを進めることができる。選択がクラスタに注視してから視線を移動するときにのみ行われるため、所望の選択を選択するように、クラスタ内で任意の数の捜索的な眼球運動を容易に行うことができる。単に日付クラスタに注視することによって、不適切に選択された月を修正することができる。数値クラスタ３０６内の記号「←」は、例えば、異なるキーボード配置を呼び出すための特殊機能のために予備することができる。
図９Ｂは、日付を入力するための別のキーボード配置３０７を示している。この配置は、（例えば、バイザーの上方または下部領域に沿った表示を容易にするために）垂直方向の眼球運動が厳しく制限されている場合および／または１位数字に従って日を表す数値を並べることが望ましい場合（一部のユーザにとってより直感的である）に使用され得る。図９Ｂの眼球運動の例示的なＳＳＳＳは、５月８日という日付を指定している。
図１０Ａは、さらに別のキーボード配置３１０を示している。この配置は、例えば、眼球運動の水平範囲が制限されている場合に使用され得る。この場合、２つの別々の数字クラスタ３１２、３１３から日を指定することによって日付を選択するために、もう１つの衝動性動眼が必要となる。左から右のクラスタは、月３１１、日の１０位数字３１２、日の１位数字３１３および操作３１４の指定を可能にする。例示的な眼球運動シーケンス３１５は、ＳＳＳＳを用いて「１２月２５日」という日付を選択したことを示している。
図１０Ｂは、眼球運動の垂直範囲が（３行のみに）制限されていることを除いて、図１０Ａに示されたものと類似するキーボードの変形配置３１６である。この配置３１６において、１０位数字クラスタ３１２をバイパスすることは、先頭の数字がゼロであることが理解され得るため、日を選択するための１０位数字に「０」が含まれていない。図示された一連の眼球運動３１７は、ＳＳＳＳを用いて「１２月７日」という日付を指定したことを示している。
選択セット（例えば、文字、数字、機能など）が繰り返して同様である場合、選択セットの一部または全部の重複部分を表示することによって、ＳＳＳＳを処理することができる。クラスタ間で交互に前後移動するまたはクラスタ間で移行することによって、任意の長さのシーケンスを選択することができる。
図１１Ａは、例えば、電話番号をダイヤルするために使用され得る左右に並んだ標準的な数字キーパッド配置３２０を示している。図１１Ａに示されたキーパッド配置３２１および３２２は、典型的な電話機に見られるものと同様である。代わりに、「７８９」を含む行および「１２３」を含む行を交換すると、典型的なコンピュータのキーボードおよび計算器の配置に変換される。
２つのキーパッドに左右交替で注視することによって、任意長さの番号を指定することができる。いずれか一方のキーパッドは、数値入力の開始点として使用されてもよい。特定のアプリケーションに十分な桁数（電話番号、パスコードなど）が入力されたときにまたは特殊記号（例えば、「＊」または「＃」）が入力されたときに、入力を停止することができる。図１１Ａに示されたＳＳＳＳ眼球運動経路３２３は、番号「１４８７６６」を入力する例である。
図１１Ｂは、数値入力用の代替配置３２４を示している。この配置３２４は、使用が簡単且つ直観的である。２行の数字３２５ａ、３２５ｂおよび特殊文字／機能「←」に上下交替で注視することによって、任意の番号を入力することができる。垂直方向の寸法が制限されたため、この配置３２４を例えばディスプレイの上方または下方のエッジに配置することができ、支障になる可能性を低減する。図１１Ｂに示されたＳＳＳＳ眼球運動経路３２６は、図１１Ａと同様の番号「１４８７６６」を入力する例である。
図１２Ａは、計算器のＳＳＳＳ配置３３０を示している。この例において、同様の計算器ディスプレイ３３１ａ、３３１ｂが左右に並べて配置されている。数字および機能の両方は、同様の計算器ディスプレイ３３１ａ、３３１ｂの間に視線を左右に移動して選択することができる。破線３３２は、３４および８５のを計算するために使用された眼球運動を示している。乗算の結果（例えば、２８９０）は、最後に「＝」記号３３３に視線を移動した直後に表示される（３３９）。
図１２Ｂは、ディスプレイの動的制御によってユーザの入力プロセスを支援することができる簡単な状況を示している。図１２Ａと同様の計算器配置３３０を使用するが、計算器の左側ディスプレイ３３１ａおよび右側ディスプレイ３３１ｂの両方は、（左側ディスプレイ３３１ａに示すように）最初に記号「／」、「＊」、「＋」および「＝」を表示しなくてもよい。その理由は、数値がなければ、記号を用いて計算を実行することができないからである。第１数値（例えば、ディスプレイ３３１ａ上の「２」）が選択されると、算術演算子が直ちに（例えば、衝動性動眼３３４の間に）反対側のディスプレイ３３１ｂに表示される（３３５）。このときに、追加の数値情報が提供されるまで算術演算および等号の機能を実行することができないため、等号（すなわち、「＝」）が表示されていない（３３６）。
連続の入力が同様であっても、ＳＳＳＳディスプレイを同様にする必要がない。図１３は、数値の高速入力に最適化された科学計算器の例示的な配置を示している。垂直方向において、上方ディスプレイ３４１ａおよび下方ディスプレイ３４１ｂ内のグリッド位置の内容は、互いに鏡像になっている。頻繁に使用される数字は、近くに配置され、上方ディスプレイ３４１ａおよび下方ディスプレイ３４１ｂの中央の内側行３４２ｃ、３４３ａを占める。共通の機能は、中間行３４２ｂ、３４３ｂを占める。使用される機能および他の操作は、表示領域の中央から最も遠い列３４２ａ、３４３ｃに配置される。この構成は、より一般的な選択（特に垂直方向）を行うように、より短くより速い眼球運動をサポートする。より少なく使用される外側行の機能の選択は、一般的に、より長い眼球運動を行う必要がある。
図１３に示すように、視覚信号３４５を用いて行われた例示的な計算３４９は、ｓｉｎ（３０°）／４を計算する。科学計算器で一般的に見られる算術機能およびその他の操作（例えば、表示消去、入力消去）に加えて、フラグおよびの他の設定条件、例えば、三角関数が度または弧度を単位とするか否かは、視線を適切な位置３４４に移動することによって確立することができる。
図１３は、手動（または他の種類の）入力に最適化された配置が視覚信号に最適ではないという概念を示す例である。したがって、１本以上の指の動きに基づいて設計された配置（例えば、数字キーパッド）は、視覚信号の発生速度、使用の容易さおよび／または目の疲労に基づく視覚信号には最適ではない可能性がある。
図１４は、ＱＷＥＲＴＹキーボード用のＳＳＳＳ配置３５０の一例を示している。この例において、配置３５０の上方セクション３５１ａおよび下方セクション３５１ｂは、垂直方向上互いに鏡像になっている。標準的なＱＷＥＲＴＹキーボードの上方に配置された、頻繁に使用される文字の複製行３５２ｃ、３５３ａが互いに近くに配置される。標準的なキーボードの中央行は、上方セクション３５１ａおよび下方セクション３５１ｂの中間行３５２ｂ、３５３ｂに配置される。より少なく使用される文字は、最も離れた行３５２ａ、３５３ｃに配置される。図１４の視覚信号３４５は、単語「ＨＥＬＬＯ」を入力してから、次の単語のためにスペース記号（すなわち、「＿」）３５４を入力した。
経験豊富な装置ユーザは、（記憶に基づいて）配置内の選択肢の位置を知ることができる。この場合、空間記憶を用いて、眼球の捜索運動を排除し、単に一連の選択肢に注視することによって、選択速度をさらに加速することができる。大きな選択衝動性動眼の終わりに起こり得る小さな矯正的な衝動性動眼（例えば、閾値距離未満で移動した衝動性動眼）は、アルゴリズム的に特定され、別個の選択として考慮されなくてもよい。記憶誘導型選択シーケンスは、より短くよく知られている電話番号、パスコード、普通名前などに特に有用であり得る。
図１５Ａは、１回の（記憶誘導型）衝動性動眼で１桁の数字を選択することによって、数列を入力するための４行×３列の数字キーパッド配置３６０の一例である。視覚信号言語が（例えば、「反復」操作を行うために）一般的に停留に依存しないため、反復入力（例えば、反復数字）が必要な場合に問題が生じる。この問題は、「反復」選択３６２を提供することによって解決される。反復数字または機能の入力は、入力位置から反復選択３６２の位置に視線を移動することによって実行することができる。数字または機能をさらに繰り返す必要がある場合、数字または機能を入力した位置に視線を戻すことができる。この前後プロセスを何度も繰り返してもよい。
別の実施形態において、「反復」機能３６２の位置に表示されるアイコンは、繰り返す回数を示す数字（または他の文字／機能）であってもよい。これは、以前の入力に応じて、潜在的な選択が変化する動的制御ディスプレイの一例である。選択が行われた場合、反復位置３６２は、その選択が反復入力を引き起こすように、選択の重複画像を表示する。反復位置３６２の動的変更は、注意および関連する非自発の眼球運動を引かないように（例えば、本明細書の他の箇所に記載されているように）「目に見えないほどに可視である」（invisibly visible）ように行うことができる。
点線３６１で示すように、図１５Ａは、数字「１５６６４」を入力するための例示的な眼球運動シーケンスを示している。この例において、繰り返し数字（すなわち「６」）は、「繰り返し」位置３６２を用いて入力される。数値入力の完結は、指定位置３６３（多くのオペレーティングシステムでは一般的に「改行」として示される）。短い数列中の誤入力は、例えば、単にこの数列を終了し（３６３）、再入力することによって、対処することができる。（国／地域コードの認識によって桁数を決定する）電話番号などの既知番号の選択を指定すると共に、「改行」位置３６３を使用して、ダイヤルを開始してもよく、または誤ったダイヤルを避けるために、入力された番号をダイヤルすることなく入力シーケンスを中止してもよい。後者の場合、最後の桁が入力されると、ダイヤルが自動的に行われる。
図１５Ｂは、１回の（記憶誘導型）衝動性動眼で１桁の数字を選択することによって、数列を入力するための３行×４列の数字キーパッド配置３６５の代替例である。この配置は、例えば、より高い精度および範囲を利用して、（垂直方向に対して）水平方向の眼球運動を判断することができる。
記憶誘導型眼球運動を容易にする単純な表示配置を用いて、数字、英数字のサブセット、機能を表すアイコン、共通のメニューシーケンス、一群の人を選択することができる人間の顔または他のグラフィカルな表現などから、選択を行うことができる。
対話式ディスプレイは、（例えば、拡張現実ディスプレイの場合）背景を有しなく、別個の背景または（例えば、透明度、輝度、色などを制御することによって）他の画像またはビデオ上に重ね合わせた背景を有してもよい。ディスプレイ要素は、例えば、必要に応じて使用されるために、ユーザの視野内の中心に配置されてもよく、周辺に配置されてもよい。
ディスプレイは、静的であってもよく、動的であってもよい。動的ディスプレイは、ユーザの入力を促進することができ、支援することができる。例えば、上述したように、計算器を使用する場合（通常、数字を入力した後に演算を行う場合）、少なくとも１個の数字が入力されなければ、演算記号（例えば、＋、−、＊、／）が表示されなくてもよく、または、結果の計算に十分な情報がなければ、結果記号／選択（例えば、等号）が表示されなくてもよい。電話番号を入力する場合、最後の数字を入力する時に表示（色、輝度など）が変化してもよく、または入力が終わる時に自動的に電話接続を行ってもよい。データ入力プロセスの様々な段階に、注意を引くために、１つ以上の方法で（例えば、明るさ、色、透明度、背景、境界線などを制御することによって）、最も頻繁に使用される選択肢および／または最も重要な選択肢をハイライトすることができる。
複数および／または可動の作動ターゲット
他の例示的な実施形態において、（一般的に、記憶誘導型衝動性動眼によって選択された）作動ターゲットをディスプレイ上の通常の位置から別の位置に移動することによって、行われた選択に関するある特徴または性質を示すことが望ましい場合がある。追加的にまたは代替的に、（２つ以上のターゲットから）特定のターゲットの選択が作動だけでなく、Ｎ個のオブジェクトから１つのオブジェクトの選択を示す複数の作動ターゲットを表示してもよい。
他の例示的な実施形態において、（一般的に、記憶誘導型衝動性動眼によって選択された）作動ターゲットをディスプレイ上の通常の位置から別の位置に移動することによって、行われた選択に関するある特徴または性質を示すことが望ましい場合がある。追加的にまたは代替的に、（２つ以上のターゲットから）特定のターゲットの選択が作動だけでなく、Ｎ個のオブジェクトから１つのオブジェクトの選択を示す複数の作動ターゲットを表示してもよい。
図１６Ａおよび図１６Ｂは、可動の作動ターゲットを示している。作動ターゲットの位置３７３ａ、３７３ｂは、選択された数列のパネル３７２内の各々の数字の挿入位置を示す。選択された数字２７２の順番を用いて、例えば、電話番号、個人識別番号、クレジットカード番号などを特定することができる。数字は、視覚信号によって、数字キーパッド３７０から選択される。数字キーパッド３７０は、１０個の数字、修正を行うために使用された「バックスペース」記号３７５、数値入力の終了を示すために使用された「改行」記号３７６を含む。
図１６Ａにおいて、数列の入力は、第１数字（この例では、「３」）の選択から始まる。数字選択列３７０内の「３」から数字表示領域３７２内の作動位置３７３ａまで衝動性動眼３７４を実行することによって、「３」を第１数字として入力する。この場合、図１６Ｂに示すように、作動位置３７３ｂが右に１桁分シフトし、入力された「３」が表示される。これによって、数字が既に入力され、新しい作動位置３７３ｂによって示されたディスプレイ上の数字パネル３７２内の位置で次の数字を入力することができることを示す視覚的フィードバックをユーザに提供する。
図１６Ｂに示す例示的なシーケンスに入力される次の数字は、「５」である。装置ユーザは、任意の回数の眼球運動によって数字キーパッドから次の数字を捜索し、数字キーパッドの外部に目を通すか、または所望の数字に直接的に注視する（３７７）。所望の数字から新たな作動ターゲットの位置３７３ｂへの衝動性動眼を行うと、次の数字が入力される。
したがって、入力を受け入れ、それに応じて作動ターゲットの位置をシフトするプロセスを繰り返すことによって、任意の長さの数値を入力することができる。シーケンスの終了は、所定の桁の数値の入力または特定の記号（例えば、「改行」記号３７６）の入力によって判断されてもよい。同様の方法を使用して、英数字データ、複数選択問題の回答（例えば、試験）、一連の単語または語句、一組の記号または画像からの選択などを入力することができる。
図１〜図８は、複数の作動ターゲットが存在する状況を示している。これらの例において、Ｎ個のオブジェクトから１つのオブジェクトの選択によって、作動時に文字グループから選択される文字を特定する。文字、音節、単語、語句、数字、画像、ファイル名、データセット、記号、アイコン、絵文字、機械機能、メニュー選択、適用されたパラメータまたは特性、ソフトウェアアプリケーションなどを含むグループから選択を行う時に、同様の方法（すなわち、Ｎ個の可能性および作動から１つの選択）を使用することができる。さらに、グループをクラスタ化することによって、ＵＭＩをより直観的にするために、第１選択の発見および／または作動ターゲットの指向を容易にすることができる。例えば、ある国の州を指定する場合、選択肢を（例えば、アルファベット順ではなく）その国の地理位置に従った選択マトリックス内に空間的に配列してもよい。更なる例として、一定範囲のソフトウェアアプリケーションから選択を行う場合、ビデオの表示を伴う選択肢の全ては、下方方向に沿って（ディスプレイの下方に位置する）作動ターゲットに注視することによって、選択されるように配置されてもよい。
割り当てられた作動ターゲットまたは「スタート」オブジェクト
最も一般的なケースにおいて、視覚信号言語は、眼球運動の追跡を使用して、１つ以上のディスプレイ上の実在オブジェクトおよび仮想オブジェクトの任意の組み合わせを有するユーザの意図を特定することができる。１つ以上のディスプレイ上の仮想オブジェクトの位置を含む特性は、ネットワークを介して接続されたリモートプロセッサ、サーバまたはストレージ設備と同様に、装置またはこの装置を含むシステムに知られてもよい。したがって、装置は、１つ以上の仮想オブジェクトに向けられた眼球運動に意味を容易に割り当てることができる。
最も一般的なケースにおいて、視覚信号言語は、眼球運動の追跡を使用して、１つ以上のディスプレイ上の実在オブジェクトおよび仮想オブジェクトの任意の組み合わせを有するユーザの意図を特定することができる。１つ以上のディスプレイ上の仮想オブジェクトの位置を含む特性は、ネットワークを介して接続されたリモートプロセッサ、サーバまたはストレージ設備と同様に、装置またはこの装置を含むシステムに知られてもよい。したがって、装置は、１つ以上の仮想オブジェクトに向けられた眼球運動に意味を容易に割り当てることができる。
しかしながら、装置着用者の環境における実在オブジェクトの（位置を含む）特性は、一般的に装置によって制御されない。例えば、会議室にいる装置ユーザによって見られたオブジェクトは、自動車を運転している間に見られたものとは実質的に異なる。したがって、視覚信号言語は、このような現実世界の変化に対応できなければならない。対応は、装置制御ディスプレイを使用せず、ユーザの意図を特定する状況に対応することを含む。
上述したように、可能な選択を特定するときにまたは実在オブジェクトの特定の選択を行うときに、聴覚的フィードバックまたは他のフィードバックを提供することができる。このシナリオに含まれる重要な側面は、選択された操作を実行または作動するための眼球運動の特定である。換言すれば、ディスプレイがない場合、何かが作動アイコンまたは「スタート」アイコンの役割を果たすか？
例示的な実施形態において、これは、１つ以上の割り当て可能な「スタート」オブジェクトの理解につながる。換言すれば、実世界の環境内の１つ以上のオブジェクトは、永続的または一時的に、１つ以上の「スタート」アイコンとして使用することができる。ディスプレイを使用する場合、特定された実在オブジェクトへの機能の割当は、ユーザが視覚的な補強、信号、アクチベーションまたはディスプレイ生成の遷移グラフィックスの有無に拘わらず、実在オブジェクトを見ることを含む視覚信号言語に適合する。
例示的な実施形態において、これは、１つ以上の割り当て可能な「スタート」オブジェクトの理解につながる。換言すれば、実世界の環境内の１つ以上のオブジェクトは、永続的または一時的に、１つ以上の「スタート」アイコンとして使用することができる。ディスプレイを使用する場合、特定された実在オブジェクトへの機能の割当は、ユーザが視覚的な補強、信号、アクチベーションまたはディスプレイ生成の遷移グラフィックスの有無に拘わらず、実在オブジェクトを見ることを含む視覚信号言語に適合する。
例示的な実施形態において、最初に実在オブジェクトに注視してから、視線をディスプレイ上の「表示」アイコンに移動し、その後、新たに表示された「割当」アイコンに注視することによって、実在オブジェクトに「スタート」機能または作動機能を割り当てられることができる。他の例示的な眼球運動結合シーケンスは、視線をオブジェクトから表示された「スタート」スポットまたは他の可能な作動スポットに移動する衝動性動眼、またはオブジェクトを表示されたオブジェクトおよび他の実在オブジェクトに組み込む衝動性動眼および／または追跡シーケンスを含む。シーンカメラによって観察されたように、現実世界の移動オブジェクトの動き追跡およびユーザによって動かされたオブジェクトの視線追跡、例えば、オブジェクトに指しているユーザの指または移動しているオブジェクトに追従する指を追跡する視線追跡は、オブジェクトの機能の割り当ておよび／または選択または作動に使用できる言語に追加することができる。
この実施形態の一例は、本物の本または仮想の本または画面上の本に書かれた単語、画像またはページなどのオブジェクトを指している指を追跡することによって、以下の３つのうち、いずれか１つを行うことができる。
１）単語をタッチまたは指した時に、その単語または関連する文章、段落またはページの読み上げを実行することができる。
２）任意のオブジェクトをタッチするまたはを指すことに基づいて、音声の再生または他の操作を実行することができる。例えば、ユーザが本の画像または絵を注視するまたは指すまたはタッチするときに、音声を再生することができ、または動画キャラクタが注視、タッチまたは注視タッチの組み合わせに反応することができる。
３）オブジェクトに機能を割り当てることによって、相互作用（例えば、タッチ、押し潰しまたは他の相互作用、指し、くすぐり、注視）で、オブジェクトの音声、移動または他の変化などの動作を引き起こすことができる。
例示的な実施形態において、ディスプレイを有しない状況において、眼球運動を用いて、「スタート」機能または作動機能を割り当てることができる。このような割り当ては、所望の実在オブジェクトに注視すること、続いて認識可能な独特の眼球運動を行うことを含む。例として、（例えば、所定の最小移動回数を有する）複数の眼球運動は、実在オブジェクトの周りに略円形のパターンで行われてもよく、または、ユーザは、所謂内斜視信号を用いて、作動機能を割り当てもよい。
また、追加の例示的な実施形態として、ユーザは、注視位置と、自発的に制御されている身体動作とを組み合わせることによって、作動制御を割り当てることができる。ユーザが実在オブジェクトから特定の身体部分（例えば、指、親指、手、足）に視線を移動した場合、この身体部分の注視および／または所定の動きを用いて、ユーザがこの実在オブジェクトを作動ターゲットまたは「スタート」ターゲットにしたい意向を示すことができる。代わりに、ユーザが（例えば、特定の指またはポインティング装置を用いて）オブジェクトに指していると見なされた場合に、指したオブジェクトを作動ターゲットにすることができる。同様に、ユーザがオブジェクトを拾い上げ、所定の時間および／または移動パターンで観察する場合、（いずれかの場所に置かれた）このオブジェクトは、作動ターゲットまたは「スタート」ターゲットとして見なされてもよい。
実在の作動オブジェクトまたはスタートオブジェクトは、例えば、壁上のマーク、標識、数字、単語、扉、灯などを含む環境内の任意のものであってもよい。オブジェクトは、印刷物、おもちゃ、他の不動なオブジェクトまたは可動なオブジェクトであってもよい。作動機能または「スタート」機能は、実在オブジェクトの一部、例えば、テレビジョンの端部、窓枠の隅部、ドアの取手に割り当てられてもよい。機能は、一意に特定可能な（すなわち、１つ以上の特定可能な区別的特性を有する）特定のオブジェクトまたは当技術分野で知られているオブジェクト認識アルゴリズムを用いて識別できる光スイッチ、電気コンセント、ペン、本、靴などの一般的なオブジェクトクラスに割り当てることができる。
１つ以上の実在オブジェクトに「スタート」機能または作動機能を割り当てた後、視覚信号言語の他の要素を使用することができる。例えば、リモート制御されている照明灯を点灯または消灯に切り替えたいユーザは、まずスイッチに注視し、その後視線を「スタート」オブジェクトに移動することができる。一般的に、実在の作動ターゲットは、作動されたときに（実在の）選択メニューを表示できないため、注視された１つ以上の実在オブジェクトの（ＩＤを含む）コンテキストに大きく依存する。例えば、スイッチは照明灯を点灯または消灯することができる一方、（ユーザが特定のドアを開くように認証された場合に）ドアを見ると、ドアを開くことができる。コンテキストは、他の要素、例えば、時刻（例えば、夜間には点灯のみ）、活動履歴（ユーザが消された照明灯の点灯のみ）、環境の明るさ、環境に音声または認識可能な発話の有無を含むことができる。
複数の作動ターゲットまたは「スタート」オブジェクト
視覚信号言語は、単一の「スタート」位置または作動位置に制限されない。更なる実施形態において、異なる位置に位置する複数の「スタート」アイコンまたは作動ターゲットに、異なる操作を割り当てることができる。これによって、ユーザは、「スタート」位置に注視するときに、作動に加えて、Ｎ個の作動ターゲットから１つのオブジェクトを素早く選択することができる。
視覚信号言語は、単一の「スタート」位置または作動位置に制限されない。更なる実施形態において、異なる位置に位置する複数の「スタート」アイコンまたは作動ターゲットに、異なる操作を割り当てることができる。これによって、ユーザは、「スタート」位置に注視するときに、作動に加えて、Ｎ個の作動ターゲットから１つのオブジェクトを素早く選択することができる。
上記で概説したように、現実環境内の複数のオブジェクトに、（コンテキストを考慮して）同一または異なる機能を割り当てもよい。現実環境には多数の異なるオブジェクトが存在するため、ユーザは、多数のオブジェクトに機能を割り当てることによって、信号伝達効率を高めることができる。このことは、オフィスまたは家族部屋などの安定した既知環境に特に有効である。
ユーザのディスプレイ環境がより制限された場合でも、いくつかのアプリケーションにとって、複数の作動位置を使用する方がより効果的であり得る。この一般概念の例は、図１〜図８に示されている。これらの例において、複数の作動ターゲットを用いて、文字、数字および他の機能の可能な選択グループから選択を特定する。４つの作動ターゲットを４隅またはディスプレイの４辺に配置することは、特に効果的であり、使い易い。作動ターゲットを所定の方向に沿って空間的に十分に隔離することによって、ユーザによる選択肢の特定がより直感的になり、（空間的に隔離されたターゲットによって）装置の意図しない作動を回避する。
衝動性動眼を用いて連続範囲から選択を行う
前述したように、「連続」入力範囲に基づいてユーザ入力を指定する（例えば、スピーカ音量を制御する）ために、滑動性追跡眼球運動を使用して、ユーザが選択可能な時間および／または距離に亘ってオブジェクトを追跡することができる。更なる例示的な実施形態において、衝動性動眼を用いて、連続範囲または「目盛り」から選択を行うことができる。目盛りは、任意種類のグラフィック表現である。ユーザは、視線を用いて表示された目盛りの全範囲から（任意数の可能な位置から）特定の位置を指定することに基づいて、入力を指定することができる。具体的には、選択を特定するように、表示された目盛りの最下位値および最上位値の位置に対して、注視位置を決定することができる。
前述したように、「連続」入力範囲に基づいてユーザ入力を指定する（例えば、スピーカ音量を制御する）ために、滑動性追跡眼球運動を使用して、ユーザが選択可能な時間および／または距離に亘ってオブジェクトを追跡することができる。更なる例示的な実施形態において、衝動性動眼を用いて、連続範囲または「目盛り」から選択を行うことができる。目盛りは、任意種類のグラフィック表現である。ユーザは、視線を用いて表示された目盛りの全範囲から（任意数の可能な位置から）特定の位置を指定することに基づいて、入力を指定することができる。具体的には、選択を特定するように、表示された目盛りの最下位値および最上位値の位置に対して、注視位置を決定することができる。
衝動性動眼を用いて連続範囲から選択を行うときの重要な課題は、衝動性動眼が本質的に不連続であり、１つのターゲット位置から別のターゲット位置にジャンプするという事実から生じる。したがって、衝動性動眼を用いて連続選択を行うときの重要な考慮点は、（一般的に、時間的および空間的な平均化を使用して）特定のターゲットに向けられた衝動性動眼内の測定位置をフィルタリングすることである。
前述したように、「何も見えない」領域に衝動性動眼を行うことは生理学的に困難である。したがって、衝動性動眼を用いて連続選択を行う場合においても、衝動性動眼のターゲットとして個別の焦点位置を提供することが重要である。図１７Ａは、グラフィックまたは目盛り３８０の例を示している。目盛り３８０は、衝動性動眼に基づいて連続選択を行うために使用され得る焦点（すなわち、注視ターゲット）位置を有する。
焦点位置は、定規と同様に中心軸３８５を横切る等間隔に排列された目盛マーク３８１ａ、３８１ｂを用いて形成される。軸３８５と目盛マーク３８１ａ、３８１ｂとの交差点は、焦点を形成する。目盛マークの反復性を解消するために、巻尺のマークと同様に、規則的な間隔で長い目盛マーク３８１ｂを短い目盛マーク３８１ａの間に挿入する。目盛マーク、点、矢印、色の変化などの標記を用いてそれぞれ形成された目盛りに沿って焦点を配置することによって、連続選択の他の図形表示をダイアル盤、（液体充填の）機械温度計の表示、注射器の指示などに適用することができる。任意の方向（水平方向、垂直方向、径方向状および／または周方向を含む）に沿って衝動性動眼を行うことによって、選択を示すことができる。
図１７Ａにおいて、例示的な基準注視位置は、黒丸で示されている。図１７Ｂに示すように、これらの基準位置３８２の移動平均に基づいて、目盛り３８０の全体の選択範囲に対して最初の選択を示す図形表示３８３がユーザに提供される。この時点で、ユーザは、左側の焦点位置３８４ａまたは右側の焦点位置３８４ｂに衝動性動眼を行うことによって、選択値を減少または増加することができる。必要に応じて、左側または右側の衝動性動眼によって選択を行う速度は、ユーザが最初の選択から視線を左側または右側に移動した距離に基づくことができる。ユーザが選択に満足すると、選択処理が完了したことを示すように、目盛りの領域から視線を離すことまたは作動ターゲットに視線を向けることができる。
マルチモーダルフィードバック
更なる例示的な実施形態において、ユーザ選択中のフィードバックは、表示された目盛りまたは他の目盛り表現に関連するもの以外のモダリティを用いて行われてもよい。例えば、音声ボリュームを調整する場合、音量の選択を支援するために、選択処理中に（指定のレベルで）サウンドを生成することができる。更なる例として、表示された画像の明るさ、色、色相、透明度、明暗度、サイズ、詳細レベルおよび／または形状は、選択処理中にユーザによって行われた選択に対して、比例、反比例または非線形の態様で変更することができる。
更なる例示的な実施形態において、ユーザ選択中のフィードバックは、表示された目盛りまたは他の目盛り表現に関連するもの以外のモダリティを用いて行われてもよい。例えば、音声ボリュームを調整する場合、音量の選択を支援するために、選択処理中に（指定のレベルで）サウンドを生成することができる。更なる例として、表示された画像の明るさ、色、色相、透明度、明暗度、サイズ、詳細レベルおよび／または形状は、選択処理中にユーザによって行われた選択に対して、比例、反比例または非線形の態様で変更することができる。
フィードバックは、ユーザ装置に対して遠隔（しかしながら、通信している）装置に提供されてもよい。遠隔モダリティの例は、遠隔ディスプレイの画面および照明の変更、モバイル装置によって生成された音を含む音の遠隔生成、環境温度の制御、デジタル読出しなどの標識などを含む。
他の非ディスプレイ関連モダリティの使用は、ユーザの視線を引くディスプレイの変化を回避することによって、選択処理中に不注意な眼球運動の減少に役立つことができる。更なる例示的な実施形態において、ある形態のマルチモーダルフィードバックを用いて、別の形態のモダリティの変化を表すことができる。例えば、ピッチ（すなわち、サウンドの振動数）を用いてズームのレベルを示す場合、画像の拡大または「ズーム」倍率は、聴覚信号として表すことができる。同様にまたは別の例として、ビデオ表示中のフレームレート、テキストのスクロールレート、静止画表示中の「ページめくり」レートなどの任意種類の「レート」に関連する制御の選択中に、クリック音（または他の音）の繰り返しレートを増加および／または減少させることができる。
追加の例示的な実施形態において、代表画像の微妙な変化は、「目に見えないほどに可視である」（invisibly visible）ようにすることができる。換言すれば、ユーザが視覚要素の存在を認知的に認識しているときに、オブジェクトが現在の視点からユーザの傍中心窩または周辺視野で感知または確認することができるが、ユーザが視覚的要素の存在の可能性を認知的に認識していないときに、オブジェクトが「不可視」であるまたは認知されない。これは、ユーザの視線をターゲット、アイコン、または制御されている状態の変化を示す指示に引き込まないように実行されてもよい。
これらの方法は、衝動性動眼による選択を行う間に不注意な眼球運動を容易に引き起こす（すなわち、注意力を分散する）ように画像を激しくズームすることなど、ディスプレイの激しい変化をフィードバックにすることを回避する。ユーザは、特定の（すなわち、記憶された）ピッチまたはクリック回数が特定のズームレベルまたは特定の繰り返しレートを表すことをすぐに知ることができる。同様の方法は、他の連続入力選択に適用することができる。
特に、聴覚フィードバックは、実在オブジェクトを含む選択を行う時に有用である。例えば、ユーザが、（例えば、注視位置と共にシーンカメラを用いて）装置によって認識される照明スイッチのようなオブジェクトに注視する場合、オブジェクトが既に認識されており、操作に利用可能であるという指示が、聴覚指示（例えば、ピン、チン、リン、クリック、チャイムなど）で示されてもよい。その後、視線をオブジェクトから作動アイコンまたは「スタート」アイコンに移動すると、点灯などの操作を引き起こすことができる。
追加の実施形態において、聴覚フィードバックおよび／または他の（例えば、振動、嗅覚、触覚）フィードバックを調律することによって、実在オブジェクトのいくつかの性質を示すことができる。例えば、オブジェクトが顔であり、（オブジェクト認識アルゴリズムを用いて）顔のデータベースから特定された場合、ある種類の聴覚指示（例えば、第２トーンが高くなるダブルトーン）をフィードバックとしてユーザに提供することができる。一方、オブジェクトが顔として認識されたが、顔のデータベースから特定されなかった場合、異なる聴覚変調、振幅および／または指示（例えば、第２トーンが低くなるダブルトーン）をフィードバックとしてユーザに提供することができる。いずれの場合、ユーザは、衝動性動眼による作動を行うことができる。しかしながら、作動による操作は、装置によるオブジェクトの認識および／または特定に応じて、異なる場合がある。
これらの場合に触覚フィードバックを提供することでき、または振動、温度、電圧、圧力を含む目に関連する対話に応じて触覚フィードバックを提供することができる。振動、温度、電圧、圧力のいずれかまたはその組合せは、情報の所望の通信に応じて変化することができる。このような触覚フィードバックは、手袋、指輪、ブレスレット、ネックレス、頭部装着物、下着などに接続した装着可能な装置を介して、伝達することができる。
更なる実施形態において、音源を定位する立体音響性質および／または能力は、ユーザにフィードバックを与えるための別の可能性を提供する。このことは、一般的に２つ以上のスピーカを用いて達成することができるが、ユーザ装置のフィードバックシステムの構成要素として１対のイヤプラグまたはヘッドフォンを使用すると、特に効果的である。基本的に、音源の方向の感知は、主に両耳に聞こえた音の位相差によって達成され、距離の感知は、両耳に聞こえた音の振幅差によって達成される。この一般的な現象は、当技術分野では頭部伝達関数（ＨＲＴＦ）として知られている。
感知された方向および距離を別々にまたは共に使用して、ユーザにフィードバックを提供することができる。断続モード（例えば、個々のクリックまたは他の音）または連続モード（例えば、連続サイレン）で、方向および／または距離の変化を使用することができる。音の方向は、何らかの形で実行されている操作に関連付けられてもよく（例えば、ディスプレイ上のオブジェクトを左に動かす場合、左側から出るように聞こえる音を生成する）、または実行されている操作と完全に無関係であってもよい（音が右側から出る場合「はい」を示し、音が左側から出る場合「いいえ」を示す）。
同様に、感知された距離は、何らかの形で実行されている操作に関連付けられてもよく（例えば、画像をズームインする時に音が近くに現れ、ユーザが正解に迫るときに音が近くに現れ、または遠隔装置に設定をした時に遠音が感知される）、または実行されている操作と完全に無関係であってもよい（例えば、ユーザの近くに現れる音がメッセージの緊急性を示す）。
物理的なオブジェクトに適用されたギャップ効果
ギャップ効果は、視覚信号言語内でユーザのやり取りを加速するための基本ツールとして使用される。前述したように、衝動性動眼の結果として見られようとしているオブジェクトは、視界から取り除かれ、ユーザの視線を「解放」することによって、（オブジェクトをユーザの視界に残す場合よりも）速く他のオブジェクトを見ることができる。適切な時間でディスプレイ上の仮想オブジェクトを除去すると、ギャップ効果が生じることができる。
ギャップ効果は、視覚信号言語内でユーザのやり取りを加速するための基本ツールとして使用される。前述したように、衝動性動眼の結果として見られようとしているオブジェクトは、視界から取り除かれ、ユーザの視線を「解放」することによって、（オブジェクトをユーザの視界に残す場合よりも）速く他のオブジェクトを見ることができる。適切な時間でディスプレイ上の仮想オブジェクトを除去すると、ギャップ効果が生じることができる。
物理的なオブジェクトまたは実在オブジェクトを見る場合、通常、衝動性動眼中にユーザの視野から実在オブジェクトを除去することができない。しかしながら、拡張現実（ＡＲ）装置または複合現実（ＭＲ）装置を使用すると、視界からオブジェクトを除去することが可能である。この例示的な実施形態において、最初に、ＡＲ装置またはＭＲ装置の１つ以上の領域を実質的に透明にすることによって、ＡＲ装置またはＭＲ装置を通して実在オブジェクトを見ることができる。その後、ユーザが作動ターゲットに注視する場合、実在の作動ターゲットの方向に対応するＡＲ装置またはＭＲ装置の透明度を減少するまたはなくすことによって、ユーザの視界からオブジェクトを除去することができる。
必要であれば、部分的または完全に不透明な領域は、ユーザの注意を引かない中立地帯にされてもよい。これは、例えば、単色、色の空間的勾配、擬似ランダムノイズ、見慣れた画像、またはオブジェクトの周囲の可視領域に基づいて作動ターゲットの背景の推定を含む。さらに、ユーザの注意を引かないように、透明度の低い領域のエッジの周りの領域は、不透明（すなわち、オブジェクトのユーザの視界を妨げる）から完全透明（すなわち、オブジェクトが見える）になるまで徐々に移行することができる。これによって、ユーザが透明度の低い領域の絵部を検知するおよび／または見る可能性が低くなる。
衝動性動眼中および／または衝動性動眼後に、ＡＲ技術を用いて目標オブジェクトの視認を完全にまたは部分的にブロックすると、実際の作動ターゲットを用いたギャップ効果を作ることができる。オブジェクトを再表示するために、ユーザの注意を引かないように設計された前述した技術を用いて、ＡＲ装置の透明度を戻すことができる。例えば、時間が十分にある場合またはユーザが（例えば、衝動性動眼中および／または瞬き中）機能的に「失明」である場合、透明度を徐々に戻してもよい。
コーテシ事項
コーテシ（courtesy）は、全ての対話式および／または所謂「スマート」装置の共通事項である。多くの場合、例えばビジネス事情および社会事情によって、ユーザは、緊急通信以外の全てのサービスを一時停止することによって、着信電話またはデータの受信を制限したい場合がある。しかしながら、日常生活中、ビジネス事情および社会事情の前に、装置を「コーテシ」モードまたは「サイレンス」モードに設置することを容易に忘れてしまうことがある。これらの事情が終わったときに、同様に、装置を通常操作に戻すことを忘れてしまうこともある。
コーテシ（courtesy）は、全ての対話式および／または所謂「スマート」装置の共通事項である。多くの場合、例えばビジネス事情および社会事情によって、ユーザは、緊急通信以外の全てのサービスを一時停止することによって、着信電話またはデータの受信を制限したい場合がある。しかしながら、日常生活中、ビジネス事情および社会事情の前に、装置を「コーテシ」モードまたは「サイレンス」モードに設置することを容易に忘れてしまうことがある。これらの事情が終わったときに、同様に、装置を通常操作に戻すことを忘れてしまうこともある。
所定の好み設定に基づいて、ヘッドセットおよび／またはディスプレイは、コーテシモードにする必要のある状況（例えば、関連性の高いオブジェクトおよび／または個人）を認識した場合に、着信通知および情報を一時的に「フィルタリング」することができる。例えば、装置は、着用者が会話中であることを認識することができる。この状況は、マイクを用いて記録された着用者の声の認識および／または環境に向いているシーンカメラを用いて記録された装置着用者の方向に話している人の画像の認識から決定することができる。シーンカメラ画像内の人の視線方向（例えば、装置着用者に向けられている場合または装置着用者と十分近い場合、中断されるべきではない親密または個人的な接触を示唆する）および近くにいる人の口が動いているかに特に注意を払う必要がある。「コーテシモード」を呼び出すべきか否かを自動的に決定するために使用できる他の情報は、時刻、曜日（例えば、勤務日対週末）、地理位置、屋内環境、屋外環境、および他のパターンを含む。
特定の人物、環境または場所を認識したときに、コーテシモードを呼び出すことができる。例えば、特定の人（例えば、ボスまたは牧師）と話すときに、中断が不適切である。航空機の内部を認識した場合、コーテシモード（もしくは「機内モード」）を呼び出すことができる。学校、病院、映画館、および他の施設内のエリアは、地理位置および／またはシーンカメラを使用した特定に基づいて「コーテシモード」ゾーンとして特定することができる。（自動車内部テンプレートのデータベースに基づいて）ユーザの優先注意を必要とする任意（自動車または他の機械）の制御つまみと共に、自動車の内部を認識することができる。
最も一般的な意味において、着用者の注意散漫を許すべきでない状況または他の人または主体が注意散漫を感知できる状況は、「コーテシモード」機能を用いて管理することができる。「コーテシ」状況または中断できない状況を認識するように訓練された神経ネットに基づく画像解析を用いて、１つ以上のコーテシモードを実施することができる。
ユーザの好みに基づいて、異なるレベルのデータフィルタリングを予め設定することができる。例示的なシナリオとして、いくつかの状況において、電子メールおよび他の通知をブロックしながら、テキストおよびアラートを許可することができる。情報の表示または保留（すなわち、後で表示される）は、情報源および／または現在の活動に依存し得る。例えば、サイクリングまたはハイキング中に生理学的モニタリング（例えば、心拍数、呼吸数）およびナビゲーション情報を表示することができるが、活動が完了するとこれらをさらに表示しない。他の状況において、緊急であると見なされたものを除いて、全ての通信がブロックまたはバッファされる（すなわち、収集されるが表示されない）。
同様に、状況に応じて、通知の様式を変更することができる。異なるコーテシモード状況において、一般的に可聴音に関与する通知は、単に画面メッセージを表示するおよび／または聞こえない振動を行う「サイレンス」モードに切り換えることができる。
別の例示的な実施形態において、コーテシモードになる前に、通知を遅延してもよい。会話を中断しないように、遅延が数秒または数分であってもよい。重要な会議を中断しないように、遅延をはるかに長く、例えば、数時間に延長することもできる。「コーテシモード」状態の表示は、視覚方法、聴覚方法、または他の刺激（例えば、触覚メカニズムを介して）によって、ユーザに提供されてもよい。また、目、声、手、頭、脳波（ＥＥＧ）または他の入力方法を用いて、コーテシモードの制御および／または承認を実行することができる。
緊急通知時にユーザの注意引き
場合によって、他の活動に関係なく、ユーザの注意を特定の情報またはイベントに引く必要がある。例えば、装置ユーザまたは他人に即時の害を与える可能性がある場合（例えば、ユーザの環境における所謂「アクティブシューティング」状況、建物固有の火災警報など）、装置ユーザを警告する必要性がある。装置ユーザの視線に関する知識は、ユーザの注意を引き、状況に関連する情報を提供するプロセスを支援することができる。
場合によって、他の活動に関係なく、ユーザの注意を特定の情報またはイベントに引く必要がある。例えば、装置ユーザまたは他人に即時の害を与える可能性がある場合（例えば、ユーザの環境における所謂「アクティブシューティング」状況、建物固有の火災警報など）、装置ユーザを警告する必要性がある。装置ユーザの視線に関する知識は、ユーザの注意を引き、状況に関連する情報を提供するプロセスを支援することができる。
例示的な実施形態において、緊急情報を受信すると、ユーザ視線の一般的な方向における視野（例えば、拡張現実ヘッドセット、仮想現実ヘッドセット、または複合現実ヘッドセット）に指示を表示する。この指示は、ユーザの中心窩視線領域、傍中心窩領域、または周辺領域内に明示的に配置することができる。必要に応じて、システムは、ユーザが通知を確認するまでおよび／または行動を取るまで、ユーザの視線を動的に追跡することができる。この視覚指示は、アイコン、記号、単語、状況に関連するサムネイル画像、または画像の一部分であってもよい。視覚指示は、注意を引くように表示される（例えば、衝動性動眼抑制または失明抑制を含むユーザの失明期間中ではなく、高明暗度および高速で導入される）。視覚指示は、聴覚刺激または触覚刺激などの他の警報メカニズムを伴ってもよい。
最初の通知が行われると、装置着用者が視覚的に追従できるように視覚指示を移動するまたは「運ぶ」（sweep）。これによって、装置着用者は、特定の領域、場合によって領域の特定部分に関する情報またはイベントを象徴的に表現する空間経路を追跡することができ、記憶することができる。例えば、緊急時に受信するテキストメッセージは、テキストメッセージを検索ことができる領域に移動することができる。テキストメッセージを検索する領域内に、移動は、緊急テキストメッセージの特定の送信者に関連する位置を視覚的に示すことができる。同様に、緊急電子メールは、特定の送信者に送信するように、電子メールを検索するために保留された領域に示されてもよい。緊急画像またはビデオのリンクは、緊急画像またはビデオを検索できる位置に移動されてもよい。様々な種類の緊急情報は、（種類に関係なく）情報の専用領域に移動されてもよく、および／または他の領域にコピーされてもよい。
このような移動中に、ユーザの注視行動を監視することによって、ユーザが滑動性追跡眼球運動または衝動性動眼信号を用いて、刺激を追従していることを確認することができる。ユーザが所定の時間にこのような運動を実行していない場合、ユーザの注意がとらえられたこと、通知が承認されたことおよび／または行動がとられたことを保証するように、移動を繰り返す。ユーザの視線を追跡するシステムの能力は、重要状況において、ユーザの注意を引くための強力な手段を提供する。
掃引された指示に視覚的に追従すると、ユーザは、（視覚信号言語を用いて）指示を即座に作動して、緊急通知に関する更なる詳細を検索することができる。代わりに、ユーザは、単に通知の空間位置を「記憶」し、後で情報を検索することができる。この方法は、長期間に（例えば、自動車の運転中または他の機械の操作中に）ユーザの注意力を分散せずまたはユーザが望ましくない視覚的な活動を行うことなく、緊急通知をユーザに警告する。
追加の実施形態において、装置による緊急通知の処理は、通知の内容に依存してもよい。ユーザは、視覚的警告プロセスを引き起こすのに十分緊急である通知を事前に設定することができる。情報源、通知の種類（例えば、テキスト、画像）、緊急性の分類、振動数履歴、時間、位置、ユーザの活動、他人の近接性、ユーザの履歴、過去に通知を無視したかまたはそのような通知に対する行動を取ったか、およびその他の要因に基づいて、事前設定を行うことができる。視覚的警告プロセスが実行されるか否かは、装置ユーザによって行われた見かけ活動に依存し得る。例えば、乗り物を運転している時に高優先度の通知のみを提示することができ、相対的に活動していない期間中に、低優先度の通知（例えば、テキストメッセージ）を提示することができる。
オンラインモバイル状態およびプライバシー管理
（事前の確認または認証なく）装着型コンピュータ装置で初期接続を有効化する場合、関連するネットワークアドレス（例：ＵＲＬアドレス、ＭＡＣアドレス、ＩＰアドレス）、または電子通信を行うための他の種類および／またはプロトコルを有する装着型コンピュータ装置に視聴者をリングする時に、問題が生じることがある。顔認識などの方法によって視聴者を特定できる場合、（プライバシー設定に基づいて許可された場合）個人に関連する装置または「アドレス」をデータベースから取り出すことができる。しかしながら、ユーザまたはハードウェア認識がない場合、互いに近接しているユーザの装置間の明確な接続またはリンクを自動的に開始する方法はない。
（事前の確認または認証なく）装着型コンピュータ装置で初期接続を有効化する場合、関連するネットワークアドレス（例：ＵＲＬアドレス、ＭＡＣアドレス、ＩＰアドレス）、または電子通信を行うための他の種類および／またはプロトコルを有する装着型コンピュータ装置に視聴者をリングする時に、問題が生じることがある。顔認識などの方法によって視聴者を特定できる場合、（プライバシー設定に基づいて許可された場合）個人に関連する装置または「アドレス」をデータベースから取り出すことができる。しかしながら、ユーザまたはハードウェア認識がない場合、互いに近接しているユーザの装置間の明確な接続またはリンクを自動的に開始する方法はない。
非常に近い場合、一方の装置のユーザは、別の装置のユーザの識別（例えば、バーコード、ＱＲコード（登録商標））を読み取り、解釈することによって、ネットワークアドレスを入手することができる。しかしながら、この方法は、距離があった場合に困難であり、外部接続が望ましくないとき（識別コードを物理的に除去しない場合）、ユーザが「プライバシーモード」に入ることができない。
装置および当該装置着用者を別の装置（および装置着用者）に関連付けることができる単純且つ省電力方法は、装置に取り付けられ、他の装置着用者のシーンカメラが読み取ることができる１つ以上の電磁放射源（ビーコン）を使用することである。パルス状（例えば、フラッシング、オン−オフ）赤外線ＬＥＤビーコンは、この用途のための便利な一例である。例えば、ユーザに視認不可であり且つユーザの注意力を引かない波長であって、相補型金属酸化物半導体（ＣＭＯＳ）または電荷結合素子（ＣＣＤ）を備えた）シーンカメラによって検出することができる近赤外波長（例えば、８００〜１３００ｎｍ）を選択することができる。
広角投射角（１８０度に近い）を備えた赤外線ＬＥＤは、例えば、鼻上方の中間梁に取り付けて使用すると、最も便利である。図１８Ａは、ヘッドセット４９０および中間梁４９１に取り付けられた単一ビーコンの一例を示している。このようなビーコンを備えた装置着用者の顔を見ることができる任意装置着用者は、（ビーコンが何らかの理由で遮断された場合を除き）ビーコンの発信を検出することができる。
装置の側面に取り付けられた２つ（または２つ以上）のＬＥＤは、より多くの消費電力を消耗するが、あらゆる角度で容易に検出され得る。図１８Ｂは、耳当て部のヒンジ領域に配置された２つのビーコン４９２ａ、４９２ｂの一例を示している。代替的な実施形態において、頭部上方に支持部を有するヘルメットまたは頭部装着装置の場合、頭部上方の近くに広角投影ビーコンを配置することができる。頭部の周りに配置された複数のビーコンは、全ての視野角から検出を行う能力を保証することができる。
パルス式ビーコンを用いて（画像プロセスによって）、装置および当該装置のユーザを初期検出することができ、装置着用者の状態を示すこともできる。接続状態の表示は、典型的な電話会議に使用された状態表示と同様であってもよい。状態表示の例として、例えば、「利用可能」、「一時的にオフライン」、「利用可能なグループ」、「連絡先のみ」または「利用不可」を含む。これらの表示は、装置着用者にプライバシー管理を与え、ユーザによってリアルタイム変更することができ、および／または装置によって自動的に変更することができる。位置、認識された装置着用者の環境（例えば、会話しているか否か）、日時、電子カレンダ、視覚信号活動などに基づいて、状態を自動的に変更することができる。
装置着用者の環境内で別のヘッドセットおよび識別ビーコンを位置付けるための便利な方法は、ビーコンをオンにする（即ち、アクティブ信号を発信する）場合の空間的に配列された画像から、ビーコンをオフにする場合の空間的に配列された画像を減算することを含む。このように２つ（または２つ以上）の画像間の差分は、主にビーコン領域に現れる。このような「差分画像」を用いて、ビーコンの位置を特定し、（例えば、ビーコン振動数特性を測定することによって）そのビーコンが別の装置のものであることを確認することができる。
ビーコンのパルスが観察カメラのフレームレートに同期されていない場合、（連続画像を減算することによってビーコンを容易に追跡／特定するように）カメラの画像が最大の輝度レベルおよび最小の輝度レベルに少なくとも１つのフレームを含むことを保証しながら、ビーコンをオン／オフに変調できる最大の振動数を決定することが重要である。連続画像内においてフレームレートがパルスビーコンの変調レートの少なくとも４倍である場合、非同期カメラによって収集された画像は、（ビーコンのオン時間およびオフ時間が等しい場合）最大の輝度レベルおよび最小の輝度レベルを有するフレームを含むことが保証される。以下に説明するように、最大の輝度レベルおよび最小の輝度レベルを基準として用いて、情報を符号化するためにパルス幅または振幅変調が行われているか否かを判断することができる。一例として、カメラの撮影速度が６０フレーム／秒である場合、１５Ｈｚでビーコンを変調することによって、カメラ画像から最大および最小ビーコンレベルを検出することができる。
図１９Ａは、パルスビーコン５００と非同期カメラ５０１ａ、５０１ｂのフレームレートとの間の関係を示すタイミング図である。図面には、カメラのフレームレートは、ビーコンのサイクルレートの４倍である。タイミング図５００において、ビーコンの「オン」状態は、ハイレベル５０３ａで示され、ビーコンの「オフ」状態は、ローレベル５０３ｂで示される。ビーコンの全周期５０２は、オン状態５０３ａおよびオフ状態５０３ｂの両方を含む。図１９Ａにおいて、破線５０６は、ビーコンの各周期において低レベルから高レベルに遷移する基準時間を示している。
カメラのタイミング５０１ａ、５０１ｂは、各画像フレームの取得の終了時間または新しいフレームの取得の開始時間を示す縦線条によって表される。上方のカメラのタイミング図５０１ａにおいて、フルフレーム５０４ａは、ビーコン５００が「オン」である間に取得される。別のフレーム５０４ｂは、ビーコン５００がオフである間に取得される。カメラのタイミングをシフトする場合（５０１ｂ）、ビーコンが「オン」であるとき（５０５ａ）に少なくとも１つのフルフレームが取得され、ビーコンが「オフ」であるとき（５０５ｂ）に少なくとも１つの別のフルフレームが取得される。カメラとビーコンとの同期に関係なく、フルオン画像およびフルオフ画像を取得することができる。
現在の電気通信規格では遅いが、装置（および関連するユーザ）の状態をこのようなビーコンに暗号化することができる。ビーコンの特徴を動的に変化することによって、暗号化状態を反映することができる。暗号化の例は、シリアル通信（例えば、ＲＳ−２３２プロトコル）に使用された非同期通信規格に類似したパルス幅変調（すなわち、オンオフ位相の時間の制御）、位相シフトまたは振幅変調を含む。（通常、数値として暗号化された）限定数の状態オプションを使用する場合、低速のカメラフレームレートであっても、例えば１秒以内に状態情報を決定し、発信することができる。
装置着用者が外部接続を許可するように設定した場合、接続を可能にするために、ネットワーク「アドレス」または他の接続情報を交換する必要がある。ローカルエリアに装置着用者が１人しかいない場合、装置「発見」プロセスによって、すなわち、（例えば、Bluetooth（登録商標）またはWiFi（登録商標）を用いて）制限せずアドレスを発信することによって、アドレスを交換することができる。しかしながら、アドレスおよび資格情報をより安全に交換するために、特に近くに他の装置ユーザが２人以上存在する可能性がある場合、特定の装置（見られている装置）に特有する交信プロセスが必要である。
接触または「接続」の可能性がある場合、視認カメラをビーコン源周囲の非常に小さな関心領域に一時的に切り替え、取得速度を毎秒数百または数千フレームに増加することができる。ビーコンに暗号化された情報のマイクロバーストは、ＵＲＬ、ＩＰアドレス、ＭＡＣアドレス、または中央データベース内のルックアップテーブルに使用され得るポインタなどのネットワーク位置情報を含むことができる。暗号化は、低フレームレート状態の決定に使用されたものと同様の技術または異なる技術を使用することができる。例えば、共通のシリアルプロトコル（例えば、ＲＳ−２３２）を使用することができる。主な違いは、より高いフレームレートが対話の速度を増加させることができるため、ＵＲＬなどのより複雑な情報を指定できることである。
図１９Ｂは、マイクロバースト５０８を示すタイミング図である。このマイクロバーストは、ネットワーク位置情報をビーコンの１周期のパルスに暗号化している。装置ユーザが接続を許可するときに、このようなマイクロバーストは、ビーコン５０７の通常周期に定期的に点在されることができる。
類推すると、ビーコンは、ＱＲまたはバーコードの識別機能を電子的に実行するが、この識別機能は、長い距離で操作されてもよく、ヘッドセットの着用者によって制御されてもよい。必要に応じて、特別に見られている人の資格情報の交換は、プライバシーを維持しながら、目立たないように行うことができ、典型的には１秒未満で行うことができる。
高フレームレートカメラの代替的な実施形態は、より多くの情報を暗号化して送信するように、複数のビーコンを実質的に同時に発信することを含む。情報の暗号化は、２つ以上のビーコン間の位相差を含むことができる。１つ以上のカメラの高フレームレートに切り替える代わりに、受信装置に１つ以上の単一ピクセル検出装置（例えば、フォトダイオード）を使用することができる。その後、例えば「接続経路」を暗号化するマイクロバーストを解読するために、高レートでこの検出装置をサンプリングすることができる。情報の伝送は、テレビ、スピーカシステムなどと通信するために一般的に使用されたＩＲ遠隔制御装置と機能的に類似している。混雑状況にクロストークを回避するために、このような検出装置を方向感受性ものにする必要がある。
相互視線の特定および応用
人と人の間の対面会話は、日常生活に遍在する。相互視線は、会話の開始および維持、並びに「誰が何を言ったか」の特定および登録という点で、対面会話に不可欠な役割を果たしている。
人と人の間の対面会話は、日常生活に遍在する。相互視線は、会話の開始および維持、並びに「誰が何を言ったか」の特定および登録という点で、対面会話に不可欠な役割を果たしている。
例示的な実施形態において、シーンカメラ画像に組み合わせた（すなわち、装置ユーザの視線を環境に重ね合わせた）視線追跡を用いて、装置着用者が見ている人を特定することができる。別の装置着用者が上記装置着用者を振り返って見ている（すなわち、同様の方法で特定された）場合、両方の装置着用者は、資格情報を交換することができる。相互視線が維持される限り、二人の間の対話および会話を行うことができる。上述したように、資格情報の交換は、例えば、装置のビーコンを介した初期の認証を含むことができる。
所定のユーザの好みに基づいて、システムは、必要に応じて、視線の交換を異なる時間に行うことを可能にすることができる。例えば、第１ユーザが一定の時間で第２ユーザを見てから視線を離した場合、ユーザが選択した所定の時間に第１ユーザが視線を離したとしても第２ユーザが振り返って第１ユーザを見た場合、システムは、資格情報の交換を許可することができる。更なる例として、一対のユーザは、会議または他の集会の間に両者が互い視線を合わせたことがあれば、後で再接続を行うことができる。
会話に参加している人の一方が装置を着用していない場合、他方の装置着用者のシーンカメラを用いて、相互視線の存在を特定することもできる。装置着用者のシーンカメラビデオに基づいて、画像認識を用いて、環境内の人が装置着用者に振り返って見ているか否かを判断することができる。人が特定の方向に見ているか否かの特定は、当該技術分野では「視線ロック」として知られている。装置着用者に対する視線ロックは、顔の向き、顔の表情、および／または視線方向に基づいて特定されてもよい。いくつかの実施形態において、アルゴリズム方法は、カメラ画像に基づいた機械学習（神経ネットワーク）を含むことができる。殆どのユーザは、誰かに見られているときに自然に気付くため、視線ロック（すなわち、見られていること）を自然に特定することができる。
視線ロックの特定は、仮想世界のアバタに適用することもできる。テレビ会議、シミュレーションおよびゲームなどの状況において、より現実的な会話を可能にするために、特定の個人を見るようにアバタを有効化することができる。視線ロックは、アバタによって（一般的に電気通信リンクを介して）直接伝達されてもよく、アバタのシーンカメラ画像に基づいて検出されてもよい。
相互視線が１）２つの異なる装置着用者からの画像、または２）単一の装置着用者による視線追跡およびシーンカメラ画像に対する視線ロックの検出、または３）アバタによる視線ロックに基づくことによって、以下に示すいくつかの方法で、相互視線を利用することができる。
１．ユーザが一度も会ったことがない場合、（本明細書に記載されているように、プライバシーが考慮されていると仮定して）、他のユーザに関する情報を装置着用者に表示することによって、接続を許可することができる。
２．ユーザが以前に会ったことがある場合、再接続に必要な情報（例えば、名前、以前に会った時間など）を表示することによって、接続を許可することができる。
３．相互視線を行う間に会話または他の情報を交換した場合、交換に関する記憶情報（例えば、音声、画像、テキスト）は、相互視線を行う間に発生したものとしてタグ付けされる。これは、情報検索中にコンテキストの提供を支援することができる。
４．複数のユーザ間の会話または対話において、相互視線を記録しておよび／または対話中に情報（例えば、音声、画像、テキスト）にタグ付けることができる。これらのデータは、データセット内の「誰が何を言ったか」という問題に対処する共に、各ユーザの関心のある話題またはユーザグループの興味のある話題の識別を支援することができる。
１．ユーザが一度も会ったことがない場合、（本明細書に記載されているように、プライバシーが考慮されていると仮定して）、他のユーザに関する情報を装置着用者に表示することによって、接続を許可することができる。
２．ユーザが以前に会ったことがある場合、再接続に必要な情報（例えば、名前、以前に会った時間など）を表示することによって、接続を許可することができる。
３．相互視線を行う間に会話または他の情報を交換した場合、交換に関する記憶情報（例えば、音声、画像、テキスト）は、相互視線を行う間に発生したものとしてタグ付けされる。これは、情報検索中にコンテキストの提供を支援することができる。
４．複数のユーザ間の会話または対話において、相互視線を記録しておよび／または対話中に情報（例えば、音声、画像、テキスト）にタグ付けることができる。これらのデータは、データセット内の「誰が何を言ったか」という問題に対処する共に、各ユーザの関心のある話題またはユーザグループの興味のある話題の識別を支援することができる。
装着型装置を含むマルチモーダル制御
視覚信号は、人間-機械インターフェイス（ＨＭＩ）対話、特に装着型および／またはモバイルコンピュータ状況において強力であるが、ＨＭＩ対話の１つ以上の他のモダリティと組み合わせられると、その有用性を大幅に拡張することができる。例えば、一般的には、視覚信号を音声コマンドおよび／または意図的な眼球運動を知らせるおよび／または強調するための点頭などの補足動作に混ぜることが「快適」である。意図的な眼球運動は、衝動性動眼、一連の衝動性動眼、両眼離反運動、前庭性眼球運動、または滑動性追跡眼球運動を含み得る。
視覚信号は、人間-機械インターフェイス（ＨＭＩ）対話、特に装着型および／またはモバイルコンピュータ状況において強力であるが、ＨＭＩ対話の１つ以上の他のモダリティと組み合わせられると、その有用性を大幅に拡張することができる。例えば、一般的には、視覚信号を音声コマンドおよび／または意図的な眼球運動を知らせるおよび／または強調するための点頭などの補足動作に混ぜることが「快適」である。意図的な眼球運動は、衝動性動眼、一連の衝動性動眼、両眼離反運動、前庭性眼球運動、または滑動性追跡眼球運動を含み得る。
このようなマルチモーダル制御に関する問題点は、いつでも包括的な管理を与える入力の種類に対処することである。ほぼ同一の時間で異なるソースから起因する２つの作動シーケンスを受信した場合（例えば、どのシーケンスを最初に実行するか）および／または論理上一貫性のない２つ以上のシーケンスを受信した場合（例えば、ほぼ同一の時間で画像の全画面表示および電子メールの全画面表示をほぼ同時に要求する場合）両義性が生じる可能性がある。
入力の優先順位は、特定のアプリケーションに依存することができ、および／または時々刻々に変化することができる。例えば、文字、数字、単語、語句または文章を含む仕様が必要される場合、所望の入力を話すことがしばしばより容易でより迅速である。例示的な実施形態において、アプリケーションは、このような時に音声入力を「傾聴する」ことができる。例えば、音声入力が装置着用者に特有であることを確認するために、音声入力をさらに純化することができる。
多くの種類のＨＭＩ入力は、装置の制御に関連せず、日常活動の一部である変化または動きを利用する。異なる入力は、変化がＨＭＩ対話にとって「意図的」である（すなわち、信号の構成要素である）かまたは装置の制御に関連しないかを解釈する感受性が異なる。これは、様々な入力の優先順位を決定する役割を果たすことができる。この範囲の一方側において、コンピュータマウスを動かし、マウスボタンの１つをクリックすることは、常に機械制御を示すことを意図している。この範囲の反対側において、眼球運動は、日常活動の不可欠な部分である。日常活動において、視覚信号言語は、捜索的な眼球運動および他の形態の眼球運動から、意図的な眼球運動を容易に区別するように特別に設計されている。
表１は、状態変化が意図的である（すなわち、ＨＭＩ対話に向ける）ことを示す初期または固有信頼度と共に、いくつかの例示的な入力源を示している。テーブルの略上半分は、意図的な対話接触（近接検出の場合、近接接触）を行う装置の入力モダリティを含む。表１の中央欄における星印の数の増加は、（フォローオン分析なく）最初に検出された状態の変化が意図的ものであることを示す信頼度の増加を示している。
マウスボタンまたはキーボードを押すことは、殆ど例外なく、意図的なＨＭＩ対話に関連している。偶発的なタッチ、タップまたはスワイプが時々起こるが、スイッチ、スクリーン、パッド、または他の近接感応型装置にタッチすることは、通常意図的である。多くの装置には、動きを検出し、動かされるまたは揺らされる時に反応する加速度計が組み込まれている。装着型装置は、特に、絶えず動かされている。したがって、動きが意図的であるか否かを決定するために、動きの特徴（例えば、振幅、一次振動数および／または持続時間）を考慮しなければならない。
表１の下部は、一般的により間接的に感知される入力モダリティを含む。点頭、手振りおよび他の身体部分によって行われた特定の動きは、一般的にＨＭＩ信号として解釈されるために、特定のパターンおよび／または一連の動きを必要とする。さもなければ、これらの動きは、他の活動に関連する。失明または聾唖ではない場合、話しまたは眼球運動は、日常活動に広く存在する。したがって、このような潜在的入力の「意図」レベルを慎重に評価しなければならない。
固有信頼度および「意図スコア」は、所定の入力の優先順位を決定する役割を果たす。「意図スコア」は、特定の動き、ジェスチャまたは視覚信号が選択シーケンスまたは作動シーケンスのパターンと一致する度合いに基づいて計算されてもよい。高度に一致するパターンは、装置ユーザの側で意図的である可能性が高い。モダリティの固有信頼度、意図スコアおよび特定の応用の状況（例えば、１つ以上のモダリティが特定のモダリティの入力に対して所期または便利であるか否か）の全ては、入力のフィルタリングおよび優先順位付けに使用されてもよい。
表１の一番右の列は、例示的なアプリケーションの例示的な「階層」または優先順位を列挙する。一般的に、全ての入力モダリティが常に利用可能とは限らない。利用可能な場合でも、一部の応用に使用できないモダリティもある。例えば、モバイル電話装置との対話に視覚信号を使用する場合、モバイル装置に関連する入力モダリティおよび眼球運動を追跡するための頭部装着装置（マイクを含む）によって検知されたモダリティを使用して、意図を伝えることができる。この種類の対話の場合、（表１に示すように）入力モダリティの例示的な優先順位は、次のようになる。
１．モバイル装置の画面を使用するタッチ制御は、自発的な動きに基づいているため、一般的に意図的である。したがって、全てのタッチコマンドは、直ちに実行される。
２．移動装置の振動は、非意図的または意図的であってもよい。したがって、装置の揺れの判断に高厳密性を適用することができる。閾値（例えば、振幅、振動数、持続時間、方向）を超える場合、検出値を入力として使用する。
３．同様に、頭部動作は一般的に遍在する。しかしながら、予め定義されたパターン（例えば、頭部振りは「はい」または「いいえ」を意味する）に一致する大幅の頭部動きがあった場合、このような入力に対して行動をすぐに取ることができる。
４．次に優先度の低いモダリティは、優先度の高いモダリティまたは完全に点在するモダリティに関係なく、選択または実行することができる視覚信号である。例えば、視覚信号を用いて選択を行うことができ、モバイル装置上のタッチ制御を用いて、行動または作動を指定することができる。
５．この例において、最も優先度の低いモダリティは、音声入力である。この場合、音声認識は、視覚信号または他の優先度の高い対話手段によって作動された場合に限り、使用される。したがって、音声の録音または音声のテキストへの転記は、例えば、他のモダリティによって指示された時に（例えば、テキストメッセージまたは電子メールが作成されている時に）制限される。
上述した例において、異なるモダリティの優先順位を動的にすることができる。例えば、キーワードまたは語句が検出された場合、音声制御の優先度を上げて、視覚信号および／または他のモダリティを取り替えることができる。この場合、音声ストリームが存在する限り、音声コマンドが実行される。静寂期間中、データ入力のより便利な手段として考えられる時に、および／または１つ以上の特定のキーワードまたは語句を介してまたは他の何らかの指示によって、音声制御がオフにされたまたは優先度が低下した時に、視覚信号を点在させることができる。
２つ以上の入力モダリティが実質的に同時に検出された場合、階層の低いモダリティに関連する操作は、遅延して実行するまたはまったく実行しない。より低い優先度の操作を最終的に実行するか否かは、上述したように、入力が装置ユーザによって意図的に行われた「意図スコア」または測定信頼度に依存することができる。意図スコアは、例えば、眼球運動が作動ターゲットに向かうまたは追従する度合いに依存する。
マルチモーダルＨＭＩを使用する場合のもう１つの考慮点は、視覚信号によって指定された位置の精度と他のモダリティによって指定された位置の精度との違いである。眼球運動は、非常に速いが、角度解像度に根本的な制限がある。すなわち、注視位置が瞳孔および中心窩の大きさ並びに他の光学理由に基づいた視線追跡から決定されるという制限がある。対照的に、コンピュータマウスの場合、例えば、腕、手およびマウスを遠方に動かすのに時間がかかるが、（カーソルの移動に対するマウスの適切なスケーリングに加えて）手の精巧な運動技能を用いて、ディスプレイ上の位置もしくは仮想世界または現実世界の視界内の位置を精確に指定することができる。
視覚信号補助型マルチモーダル制御（「移送」）
このような精度および制御の違いを認識して、視覚信号ユーザインターフェイスは、目が「一番できること」をするようにし、他のモダリティの機能を考慮するマルチモーダル入力を利用する。例えば、ディスプレイの広い領域をカバーする眼球運動を含むシーン捜索は、目によって最もよく行われる。その後、眼球運動によって指示された場合または高精度装置（例えば、コンピュータマウス、トラックボール、デジタルペン）上で動きが検出された場合、高精度装置からの入力が制御を引き継ぐことができる。
このような精度および制御の違いを認識して、視覚信号ユーザインターフェイスは、目が「一番できること」をするようにし、他のモダリティの機能を考慮するマルチモーダル入力を利用する。例えば、ディスプレイの広い領域をカバーする眼球運動を含むシーン捜索は、目によって最もよく行われる。その後、眼球運動によって指示された場合または高精度装置（例えば、コンピュータマウス、トラックボール、デジタルペン）上で動きが検出された場合、高精度装置からの入力が制御を引き継ぐことができる。
実際に、目が長い距離運動および捜索を最も良く行うため、マルチモーダル装置の動き感度を高精度（対距離）に設定することができる。目で注意を特定の領域に「移送」した後、精度を最大化にするように、このような装置の動き感度を大きく変更してもよい。
他のマルチモーダル制御と共に視覚信号を含む利点は、以下にある。
１．速度。目は、指、手、腕または他の身体の部分よりも、大きな円弧距離を速く通過することができる。
１．速度。目は、指、手、腕または他の身体の部分よりも、大きな円弧距離を速く通過することができる。
２．簡単。装置着用者の意図を実行するすることに関与するオブジェクトを見るまたは集中することが、殆どのプロセスの自然部分である。
３．疲労軽減。指関節、手首、肘または他の身体部分に関わる生体力学に比べて、眼球の動きが本質的に疲れない。
４．特殊機能。視認のフィードバックは、操作（例えば、ドライブシミュレータ、高解像度表現など）の実行および／または他の装置からの多次元入力と共に目によって観察された２次元（または両眼離反運動を含む場合に３次元）位置の組み合わせに不可欠な要素である。
これらの利点を具現化する具体例として、情報の読み取り、閲覧および移動指示、画像またはビデオの編集および表示、作図、作曲などの広範囲典型的な応用にディスプレイの観察を検討する。眼球の意図的な動きを用いて、ポインタまたは他の標識（例えば、カーソル）を対象領域に迅速に「移送する」ことができる。
容易性および迅速性に加えて、このプロセスのもう１つの利点は、ポインタまたはカーソルの現在位置を「発見する」（すなわち、視覚的に捜索する）必要がないことである。現行の応用において、カーソル、特に多くのテキストまたは画像に隠されているカーソルを視覚的に「発見する」ことは、時間がかかり、気を散らすことである。しかしながら、例えば、コンピュータマウスを使用する場合、ターゲット位置に向かってどの方向の動きを行うかを判断するために、カーソルを発見する必要がある。
例示的な実施形態において、ポインタの移動を開始する時に、装置着用者が見ているターゲット位置に向かって一般的な方向（すなわち、所定の方向範囲）に沿って、ポインタを移動する。この初期移動は、カーソル、ジョイスティック、トラックボール、デジタルペンなどのポインティング装置を用いて実行することができる。開始されると、新しい位置（すなわち、ユーザの視線によって示されたターゲット位置）へのポインタの移動は、迅速に（例えば、中間位置にビデオフレームを迅速に表示する）または瞬間的に（例えば、介在するビデオフレームなしで）行うことができる。代替的にまたは追加的に、ターゲット位置に向かう意図的な衝動性動眼またはターゲット位置から離れる意図的な衝動性動眼を介して、視覚信号言語内で、ターゲットの位置移動を開始してもよい。
（所望の場合）新たな焦点領域を示すフィードバックを装置着用者に提供してもよい。このフィードバックは、可視カーソルまたはポインタ、領域内の選択可能なオブジェクトの強調表示、背景の変更、境界の追加などの形態であってもよい。必要に応じて、視覚的フィードバックは、高速移送の後にオブジェクトがターゲット位置に近づく時にオブジェクトの「減速」を表示することを含むことができる。
焦点領域に「移送」する際、別のＨＭＩ装置をシームレスに（すなわち、特定のコマンドシーケンスなしで）使用して、選択を制御および作動することができる。タッチパッド、コンピュータマウス、ジョイスティックなどの装置は、（視覚信号に比べて）より高い精度を提供する。この高精度を使用して、装置着用者の視力に至るまでの空間的範囲にわたって、選択を行うことができる。実際に、このような装置は、大きな範囲をカバーする必要がないため、小さい精密な動きを優先するように、装置の感度を調整することができる。この感度調整は、静的または動的で適応性がある。例えば、ポインタを所望のターゲットの付近に配置する視覚信号（例えば、衝動性動眼）による移送の終わりに、ポインティング装置の感度を一時的に減少することができる（ポインタをより短い距離に移動するためにより大きな物理的移動を必要とする）。
「移送」は、仮想現実ディスプレイ、拡張現実ディスプレイ、タブレット、携帯電話、スマート装置、投影画像、ディスプレイモニタ、サイネージなどを含む幅広いディスプレイに関与することができる。「移送」は、単一のディスプレイに行われてもよく、２つ以上のディスプレイ装置の間に行われてもよい。これらのディスプレイは、１つ以上の処理装置によって制御されてもよい。ポインタの「移送」をサポートする「視標追跡」は、隣接または非隣接の表示可能なオブジェクト上の１つ以上の表示をサポートするように配置された１つ以上の視線追跡機構によって有効化することができる。表示は、空間内のオブジェクトの３次元またはホログラフィック投影の形にした「仮想」ものであってもよい。視野内の移送は、同一の表示モードで動作する装置に制限されない。例えば、ポインタまたは他の標識の移送は、スマートフォンの画面から、ホログラフィック投影にシームレスに行うことができ、スマートウォッチ、テレビ、医療装置のスクリーンおよび／または他のスクリーンにシームレスに行うことができる。
視覚フィードバックと同時に機能（すなわち、上述した第４点の一部）を実行する能力は、他の入力（例えば、コンピュータのマウス、タッチパッド、デジタルペンなど）と組み合わせて眼球運動を用いて、３次元空間内で３次元仮想オブジェクトを視覚化し、制御する場合に、特に有用である。殆どの一般的なコンピュータ入力装置（例えば、マウス、トラックボールなど）に見られる２次元制御は、空間における３次元オブジェクトの遠近および他の特徴を制御する自由度が不十分である。２次元制御は、しばしば、様々な次元の制御を特定の制御、例えば、水平方向の平行移動、垂直方向の平行移動、ズーム、水平方向の回転、垂直方向の回転、軸方向の回転に分ける。
（両眼離反運動を含み）目を用いて、オブジェクトの表面上の位置または３次元空間内の位置に注視し、視点を基点として用いてシーンを扱うことは、遥かに自然（すなわち、直観且つ迅速）である。例えば、ピボットポイントに注視しながらタッチパッドを使用する場合、（指を左右に快速移動することによって）対象物を水平方向に回転することができ、または（指を上下に快速移動することによって）対象物を垂直方向に回転することができ、または（２本の指を円状に快速移動することによって）対象物を軸方向に回転することができる。意図またはその後の作動は、マウスクリック、スクリーンタッチなどの自発的な行動によって誤って示される可能性がある。目が制御メカニズムの（比喩的および本当の）中心部分であるため、対象領域から目へのフィードバックは即時である。
３次元世界の中でオブジェクトをより自然に見ることができるだけでなく、視線を入力として含む場合、オブジェクトをより自然に、迅速に且つ直感的に「編集」することもできる。構成要素を増減するまたは特性（例えば、領域の色、表面テクスチャおよび構成材料）を変更する場合、領域を見ながら、他の入力モダリティを用いて変更を行うことが快適である。また、領域の大きさ、形状、または特性の変更は、視線を離れることなく、（例えば、他の視覚指示、スクリーンまたは視点を用いて）瞬時に視覚化することができる。
これらのマルチモーダル方法は、しばしば「フィッツ法則」と呼ばれている人間工学制限またはＨＭＩ制限を克服することができる。この法則は、目標領域までの移動に必要とされた時間がターゲットまでの距離とターゲットの大きさとの比に依存し、ターゲットの大きさがターゲット選択プロセスの精確さによって決定されることを示唆している。眼球運動は、大きな距離をすぐにカバーすることができる。より高い空間解像度を有するマルチモーダル入力は、より小さい（およびより多くの）ターゲットを入力することができる。したがって、（通常、情報理論においてビット毎秒として記載される）選択速度は、視覚信号を含むマルチモーダル入力によって増加することができる。
視覚信号言語内のマルチモーダル入力の能力を実証する例として、オブジェクトまたはシーンを描画する（すなわち、写生する）プロセスが挙げられる。この場合、眼球運動を用いて、行動を行う対象としてのオブジェクトの位置を特定することができる。オブジェクトは、動いている可能性があり、短時間しか現れない可能性もある。異なるオブジェクト間の衝動性動眼を用いて、同様の操作を一連のオブジェクトに適用することができる。音声コマンドを用いて、「コピー」、「ペースト」、「消去」または「色塗り」などの操作を指定することができる。頭部動作を用いて、仮想オブジェクトの位置および／または回転を「微調整する」ことができる。（例えば、拡張現実感装置を使用する場合）カラーパレットを表示するタッチスクリーンまたは仮想スクリーンを用いて、指のジェスチャーと共に、色を選択することができる。
異なる時間に、異なる方法で異なる入力モードを適用することができる。マルチモーダル入力の組み合わせによって、装着型装置および／またはモバイル装置を用いて、描画などの複雑な機能を完全に実行することができる。
視覚信号による調整したマルチモーダル制御
上述した実施形態において、例えば、感知した意図に基づいて、２つ以上の入力メカニズムを切り替えることによって、視覚信号を他の形態の機械制御と共に使用することができる。更なる実施形態において、視覚信号が他の入力の機能を「調整」または強化することを可能にすることによって、快適で直感的な方法でマルチモーダル制御を大きく拡張することができる。このようにして、異なる形態のマルチモーダル制御の威力を同時に利用することができる。
上述した実施形態において、例えば、感知した意図に基づいて、２つ以上の入力メカニズムを切り替えることによって、視覚信号を他の形態の機械制御と共に使用することができる。更なる実施形態において、視覚信号が他の入力の機能を「調整」または強化することを可能にすることによって、快適で直感的な方法でマルチモーダル制御を大きく拡張することができる。このようにして、異なる形態のマルチモーダル制御の威力を同時に利用することができる。
図２０Ａおよび図２０Ｂは、カーソル、ポインタ、または他の追跡位置５１１ａ（簡潔性のために、以下「ポインタ」と呼ぶ）のマルチモーダル移動の視覚信号に基づた調整の特に有用な例に含まれたステップを示している。ポインタ（カーソル、追跡位置など）は、移動可能な記号表現（矢印、十字線、アイコン、円など）を含むことができる。これらの記号表現は、場合によって不可視なり、場合によって強調表示、背景の変更、境界の追加、色の変更、オブジェクトサイズの変化などのフィートバックを提供する。図２０Ａにおいて、ユーザは、ディスプレイ５１０上で黒点として示された位置５１２に注視する。視線の測定には不確実性があるため、視線の位置は、注視されているオブジェクトの周りの領域５１３内に決定される。カーソルまたはポインタ５１１ａは、ディスプレイの他の任意位置にあってもよい。
マウス、トラックボール、ジョイスティックまたは他の制御装置を用いて、カーソル５１１ａの位置を制御することができる。しかしながら、調整されたマルチモーダル制御の間に、ポインタが概ね視線方向５１３に沿って移動されるとき、連続移動の閾値距離に達した場合、カーソル５１ａは、注視領域５１３に瞬時に移動または「ジャンプ」する（５１５）。図２０Ｂに示すように、ポインタまたは他の追跡位置の迅速な移動（５１５）は、時間を大幅に節約し、マウス、トラックボール、ジョイスティックまたは他の制御装置の繰り返しの手動操作による疲労および／または他の影響を軽減する。場合によって、長い距離を通過するために、手または装置を持ち上げる動作を含む複数の手の動作が必要とされるであろう。
ポインタの調整されたマルチモーダル制御は、本明細書において、ポインタの「移送」と呼ばれる。図２０Ｂに示すように、瞬間的な移動の後、ポインタ５１ｂは、一般的にユーザの中心窩視野に入る。一実施形態において、ポインタは、一般的なベクトルに沿って、ポインタの元の位置から、ユーザの視点に向って移動するように再現してもよい。この場合、ポインティング装置の動きは、再現時のポインタの動きを制御する。前述したように、ユーザがポインタを所望の位置に到着するように指示して、ポインティング装置をクリックまたは作動することによって動作を取るまで、ポインタの再現時に、（制御が容易になるように）ポインティング装置の感度が低減される。したがって、少ない眼球運動でまたは眼球運動を行わず、ユーザは、後で１つ以上の制御装置を用いて高精度で操作されるポインタを見ることができる。その結果、移動するポインタの精密制御が可能になる。このポインタは、概ね制御方向に沿って移動し、制御方向に沿って見られるが、最小限の努力でディスプレイ５１０内の広い領域をスキップすることができる。
このスキームは、より高い精度を有する他の制御装置からのコマンド入力を受け入れながら、眼が迅速に動く能力を同時に利用する。ポインタに対する視線の方向および／または制御装置の移動速度を考慮して、閾値距離を通過したときに移送を行うことができる。代わりに、ユーザは、制御装置を用いて、注視位置に向かう急速移動が望ましいことを「ジェスチャ」することができる。ジェスチャは、急速移動（すなわち、閾値速度を超える）、装置を（例えば、前後）振ること、１つ以上の移動パターン（例えば、円形移動、固定方向の移動など）などを含むことができる。代わりに、押圧ボタン（または近接感知、音声認識、頭振り、瞬きなどを含む他のスイッチ機構）を用いて、注視位置に向かうポインタの急速移動が望ましいことを示すことができる。
装置ユーザは、優先設定を作成することによって、移送プロセスの実行を引き起こすモード（すなわち、ジェスチャ、動き、音声作動など）、閾値（例えば、方向の範囲、移動距離など）および他の変数（例えば、特定単語の発話、瞬き時間など）を指定することができる。また、ポインタが視点の近く（すなわち、ポインタと注視位置との間の所定の距離内）にある場合、移送は、一般的に有利ではないため、自動的に無効化されてもよい。
ポインタ位置における１つ以上の瞬時ジャンプの代替方法は、制御装置の感度または空間「ゲイン」を変更することを含む。「ゲイン」は、制御装置の動きまたは信号表示と、ポインタによってカバーされた距離との（一般的に比例する）関係を指す。例えば、制御装置の「ゲイン」は、カーソル位置と注視位置との間の距離に比例する。より高いゲイン（すなわち、所定の制御操作または他の入力に対してより大きなカーソル移動速度）の場合、ディスプレイ内のより大きな距離をより迅速に通過することができる。ポインタの急速移動を形成するまたはプロファイルすることができる。例えば、ポインタの移動は、急速移動の始めおよび終わりに加速段階および減速段階を有し、始めと終わりとの間に高速段階を含むことができる。これらのスキームは、ポインタの移動を平滑化することによって、移送中に注意散漫を引き起こす可能性を低減することができる。
移送は、ディスプレイの数またはディスプレイの種類に制限されない。例えば、ポインタは、仮想現実ヘッドセット上の位置から、スマートフォン上のディスプレイに「移送」されてもよい。プラットフォーム間の移送は、装着型コンピュータを利用する応用において特に重要である。例えば、表示領域が一装置では制限されるが、別の装置では使用可能である。他の装置への急速移送または装置間の急速移送を行うことができる。「移送」が空間領域を急速スキップするため、装置間の物理的なギャップは、「移送」プロセスに影響を与えない。実際に、このようなギャップを渡る移送は、直感的である。
プラットフォーム間移送は、拡張現実ディスプレイまたは仮想現実ディスプレイ、スマートフォン、腕時計、タブレット、ラップ上方ディスプレイ、ディスプレイモニタ、ディスプレイモニタアレイ、サイネージなどを含み得る。ディスプレイは、固定なものであってもよく、可動なものであってもよい。ポインタ制御は、装置内のプロセッサおよびBluetooth（登録商標）、WiFi（登録商標）および／または他の種類の移動通信などの装置間通信プロトコルを用いて実行される。高速の電気通信は、装置間のシームレス（すなわち、大幅な遅延のない）移送を容易にするために不可欠である。
１つ以上のポインタに割り当てられた関連物も、ポインタと共に移送されてもよい。例えば、ポインタが画像またはテキストの一部に関連付けられているまたは「固定」されている場合、その画像またはテキストに関連する情報は、追加の装置のディスプレイおよび処理素子に移送されてもよい。移送され得る関連物の例は、画像、ビデオ、テキスト、数字、ファイル、アプリケーション、（アプリケーションによって実行される）特定の機能などを含む。この種類の移送は、視覚信号言語内の多くの機能の基礎となる。
図２１Ａおよび図２１Ｂは、関連機能の「移送」を含むプラットフォーム間視覚信号伝達プロセスを示している。図２１Ａは、スマートフォンまたはタブレットなどのモバイル装置の表示領域５２０を示している。表示領域５２０は、様々な実行可能な機能を表すアイコン５２３と、視覚信号言語の一部として選択され得る作動アイコン列５２４とを含む。タッチ、視覚信号、音声コマンドなどの任意の組み合わせを用いて、ディスプレイ５２０を操作することによって、所望の動作を行うことができる。
例えば、ユーザがスマートウォッチ５２５上でテキストメッセージを取得したい場合、テキストメッセージ５２１を表すアイコンを、ウォッチ５２５の領域に「移送」することによって、この取得プロセスを開始することができる。移送操作を引き起こす設定は、視覚信号、タッチスクリーン、音声、または他の入力モダリティの任意の組み合わせによって実行されてもよい。移送は、装置間の空間的なギャップを通過できる１つ以上の眼球運動５２２（一般的に衝動性動眼）によって行われる。必要に応じて、受信装置（この場合、時計５２５）上の図形フィードバックは、移送プロセスを示す画像または動画を含むことができる。図形フィードバックは、例えば、眼球運動の方向に沿って、装置５２５のディスプレイの中心に向って快速移動するアイコン、サムネイルまたは他の図形表示であってもよい。
図２１Ｂに示すように、一旦機能が「移送」されると、視覚信号および／またはタッチおよび音声を含む任意の他の制御機構を用いて、所望の操作をさらに行うことができる。例えば、既存の表示（すなわち、図２１Ａにおいて読み易い時計５２６ａ）を最小化することができる（５２６ｂ）。視覚信号および／または他のマルチモーダル入力を用いて、移送された機能を処理することもできる。例えば、図２１Ｂに示すように、テキストメッセージを読み上げることができる。
プラットフォーム間の移送によって、各装置の強みを活用することができる。図２１Ａおよび図２１Ｂに示す場合、タブレット５２０は、（表示スペースによって）遥かに大きな選択アレイを有することができる。スマートウォッチは、外出先でも便利な読み取り装置である。複数のディスプレイ（例えば、「壁」状に配置された５×５個のディスプレイ）に亘ってマルチプラットフォーム移送を行う場合、移送プロセスを使用して、ポインタの位置を決定することができる。
図２２Ａおよび図２２Ｂは、マルチモーダル技術を用いて書類の一部のテキストを指定し、その後、指定されたテキストを「カット」して、書類の別の位置に「ペースト」するように、ポインタを「移送する」ことの利点をさらに示している。上述したように、一部の応用において、指定されたテキストは、異なる装置のディスプレイに貼り付けることができる。図２２Ａは、本文５３１を含むディスプレイ５３０を示している。この場合、ユーザは、テキスト５３２ａの第１行文章を書類５３１の下方のパングラム文の例に入れるように、第１行文章を移動したい。
視覚信号およびマルチモーダル入力（例えば、マウス、トラックパッド）の任意の組み合わせを用いて、（例えば、マウスのボタンをクリックすることによって）選択されたテキストの文頭を指定することによって、ポインタ５３３ａを第１行文章の文頭に移動する。次に、第１行文章５３５の文末付近の領域に視線を移動し、マルチモーダル（例えば、マウス、トラックパッド）制御を使用するプロセスを続けることによって、ポインタの位置を第１行文章の文末に向かって「移送」される（５３４）。注視方向（すなわち、第１行文章５３５の文末）への移動は、瞬間的または高速であってもよい。
ポインタは、（必要に応じて）注視位置に近づくにつれて、減速するように見せられてもよい。これによって、ポインタが入力コントロールにシームレスに応答すると共に、応答特性が動的に変化するという快適な感覚が得られる。その結果、画面の大部分を迅速に横断すると共に、高精度で語句の文末（すなわち、カット＆ペースト領域の終点）を指定することができ、時間および労力を大幅に節約する。
図２２Ｂに示すように、選択されたテキスト５３５の文末が指定されると、ユーザは、テキストの移動先である領域に向ける衝動性動眼（５３６）を行う。再度、操作の「ペースト」部分は、「移送」プロセスから恩恵を受ける。衝動性動眼は、マルチモーダル入力と共に、ポインタを迅速に注視領域に移送した後、マルチモーダル制御を用いてポインタをより精密に案内することによって、文章５３２ｂを挿入する位置５３３ｂを指定することができる。マウスまたはトラックボールのボタン押しまたは他のユーザ指示（例えば、音声コマンド）を行うことによって、操作を完了する。
例示的な実施形態において、移送機構を実現するための視覚信号は、遠隔または装着可能なオブジェクトまたは装置（頭部装着型装置を含む）上にまたはその近くに配置された検出装置を用いて取得されてもよく、１人以上のユーザの目を見ることができる１つ以上のシーンカメラを用いて取得されてもよい。
マルチモーダル制御中に視覚信号のフィードバック
視覚的選択および／またはフィードバックを装置ユーザに提供する際に、マルチモーダル制御に特別な配慮が必要である。常に全ての可能なマルチモーダル選択を提供することは、インターフェイスを体験するユーザに混乱を与えてしまう。
視覚的選択および／またはフィードバックを装置ユーザに提供する際に、マルチモーダル制御に特別な配慮が必要である。常に全ての可能なマルチモーダル選択を提供することは、インターフェイスを体験するユーザに混乱を与えてしまう。
このような混乱を克服するための例示的な方法は、中心窩強調表示を含む。この実施形態において、ユーザがある領域に注視している時に、この領域内（すなわち、概ね中心窩視野内）の選択可能な項目がユーザに表示されてもよい。表示は、光輪、領域の輪郭線、フォントの変更、オブジェクトのサイズ変更または他の表示形式を含む色または輝度の強調表示、前景色の変化または背景の違いで行われる。中心窩視野内の選択可能な項目の動的表示は、多数の選択項目が表示画面を乱雑にする状況を回避することができる。また、表示されている領域および選択可能な項目に関するフィードバックをユーザ（初心者）に提供する。
選択表示の除去を慎重に制御し、除去順序を決定することも重要である。最終選択（すなわち、操作を行うために更なる選択が必要ないもの）の場合、選択された操作を続行するために、選択されていない項目の強調表示（または他の表示）を直ちに除去する必要がある。
マルチモーダル制御を使用すると、マウスまたはトラックボールなどの本質的に意図的な入力（表１を参照）の最初の動きが、視覚信号を使用して特定の選択を行わない信号として使用することができ、視覚信号メニューを取り消すことを可能にする。アルゴリズム的には、視覚信号表示要素の包含および取消を都合よく実施する１つの方法は、透明度を制御できる画像「レイヤ」をこれらの要素に割り当てることを含む。必要に応じて、ディスプレイと同様のサイズの層（または層内の領域）の透明度を低く（すなわち、不透明に）することによって、視覚信号要素を表示することができる。必要に応じて、注意力を引く傾向を低減するように、視覚信号要素を徐々に表示することができる。不必要なときに、層内の１つ以上の領域を透明にすることによって、視覚信号層の１つ以上の領域を除去することができる。
視覚信号に基づいた音楽の読取
視覚信号の特定の応用は、音楽の読取、演奏および／または視聴を含む。物理またはタッチスクリーン世界において、音楽家は、物理的な捲りまたはスクリーンスワイプを用いてページを捲るために、楽譜ページの終わりに演奏を一時停止しなければならない。このことは、演奏中に望ましくない一時停止を引き起こし、音楽の連続性および流れを乱す可能性がある。
視覚信号の特定の応用は、音楽の読取、演奏および／または視聴を含む。物理またはタッチスクリーン世界において、音楽家は、物理的な捲りまたはスクリーンスワイプを用いてページを捲るために、楽譜ページの終わりに演奏を一時停止しなければならない。このことは、演奏中に望ましくない一時停止を引き起こし、音楽の連続性および流れを乱す可能性がある。
一実施形態において、視覚信号および追跡情報を統合することによって音楽中の音楽家の演奏位置を決定し、音楽のスマートスクロールを有効化することによって、演奏の中断を回避する。１ページに複数の行を含む音楽の標準ページの場合、音楽家がページの終わりに到達すると、ページ捲りが実行される。音楽家が当該ページの音楽を完全に演奏して、次のページに移動するように、必要に応じて、視線の移動速度に基づいて、ページを徐々に捲る。
図２３は、ディスプレイ５７０に表示された楽譜５７１の例を示している。音楽家の視線（必ずしも演奏位置に限らない）がページの最後の音符５７２の領域に到達すると、ページ捲りを行う。ユーザの好みに基づいて、ページ捲りは、「連続的な」行スクロールモードまたは伝統的なページ捲りモード、すなわち、ページまたはディスプレイの一部または全部をスクロールまたはフリップすることによって行うことができる。
後者の方法の利点は、既存の楽譜を単にスキャンして、視線追跡を含むアプローチに簡単に移植できるという事実を含む。また、現代の音楽家は、この捲り方法に慣れている。この方法を使用する場合、演奏中に情報が失われないように、スクロールのタイミングを制御することが重要である。
楽譜を含むデータベースは、ディスプレイ内の変更を行う好ましい区切り点（すなわち、表示変更を行いたい楽譜内の位置）を含むことができる。代替的または追加的に、表示された楽譜の終わり（または他の基準位置）から所定の距離内に１つ以上の区切り点を設置することができる。
代替のスクロール方法において、楽譜は、複数の行を１つの水平「ストリップ」に連結するようにフォーマットされる。図２４は、例示として、楽譜ストリップ５８０の一部を示している。この楽譜ストリップ内のセグメントまたは「ウィンドウ」５８１は、音楽家に表示される。ユーザの注視位置５８２が表示された楽譜の領域の終わりに近づくと、楽譜は、前進５８３（すなわち、右から左へ）して、表示ウィンドウ内に入る。音楽家は、楽譜のテンポ、視覚信号および／または聴覚フィードバックに基づいた追加のフィードバックに従ったユーザの視線によって決定されたスクロール速度で、単一行の楽譜の全体を画面上で連続的にスクロールすることができる。既存の楽譜をスキャンして再フォーマットするために必要とされる努力にも拘わらず、この方法は、一部の状況、特に小さなディスプレイ（仮想現実ディスプレイ、拡張現実ディスプレイまたは複合現実ディスプレイを含む）が望ましい状況には好ましい。一部のユーザにとって、１行の連続スクロールは、より快適で直感的である。
ページのインテリジェントスクロールは、しばしば音楽家のスキルレベルを反映する視覚動作に依存する。音楽家は、一般的に、演奏されている音符の先のいくつかの小節を見ている。このことは、スキルレベルによって異なる。未熟の音楽家は、すぐに演奏される音符のみを見ているが、熟練の音楽家は、１種の事前準備として、演奏されている音符の先のいくつかの小節を読むことができる。これは、「初見演奏」（sight reading）、すなわち、練習なしに楽譜を初めて読んで正確に演奏する能力として知られた音楽家のスキルレベルに関連している。熟練の音楽家は、多くの小節を先に読むことができるため、これから行う演奏、および適切なリズムで唇、腕、指、胸および／または他の身体部分を動かすことに十分な時間を与え、音楽を正確に演奏することができる。
例示的な実施形態において、楽譜表示の視覚信号に基づく制御を用いて、初見でより複雑な音楽を演奏するように、音声および注視位置に基づいて、音楽家を採点するおよび／または訓練することができる。図２５Ａおよび図２５Ｂに示すように、音楽家が演奏している音符および読んでいる音符の間の距離を比較することによって、採点およびフィードバックを行うことができる。
図２５Ａは、楽譜５９０を示している。この場合、演奏位置５９１ａと（演奏位置の先の）注視位置５９２ａとの間の距離を測定する。演奏位置は、楽器で演奏されている音符の検知に基づいて、または楽器によって生成され、マイクを用いて検知された音の音声認識に基づいて、決定することができる。図２５Ｂは、図２５Ａと同様の楽譜を示しているが、この場合、訓練および／またはフィードバックによって、演奏位置５９１ｂと注視位置５９２ｂとの間の距離が大きくなった。
演奏する間に、一般的な視覚信号言語を用いて、（例えば、異なる楽譜のアーカイブから）楽譜の選択、ユーザ好みの設定、他の音楽家または指揮者との無言交流、他人からの要求の応答、または、再録音が必要な演奏部分の（リアルタイム）表示を含む様々な機能を制御することができる。電子制御機器の場合、視覚信号を使用して、１つ以上の機器を部分的にまたは完全に制御する（例えば、パラメータを設定する）ことができる。このような操作は、視覚信号言語の一般的な構造および選択シーケンスを用いて、個別に実行することができる。
視覚信号言語スクラッチパッド
多くのコンピュータ装置のオペレーティングシステムに利用されている普遍的機能または作業は、情報ブロックを１つの位置またはアプリケーションから、別の位置またはアプリケーションに転送することである。情報の種類は、文字、単語または単語群、数字または数字群、写真、図面、音声ファイル、ビデオ、機能または用途を表すアイコン、フォルダまたは他の情報のクラスタ表現などを含むことができる。視覚信号言語を用いてこのような情報を転送することを可能にする例示的な方法は、「スクラッチパッド」の使用である。「スクラッチパッド」は、視覚信号プロセス中に複数の機能を果たすことができる。スクラッチパッドは、１）転送または保管のために、データを整理することができ、２）データの一部を分けることができ、３）必要に応じて、データをある種類から別の種類に変換する（例えば、音声をテキストに変換する）ことができ、４）データセットを保存および検索するための保管リポジトリとして機能することができ、および５）転送プロセスを指示し且つ動作させる中心位置として機能することができる。
多くのコンピュータ装置のオペレーティングシステムに利用されている普遍的機能または作業は、情報ブロックを１つの位置またはアプリケーションから、別の位置またはアプリケーションに転送することである。情報の種類は、文字、単語または単語群、数字または数字群、写真、図面、音声ファイル、ビデオ、機能または用途を表すアイコン、フォルダまたは他の情報のクラスタ表現などを含むことができる。視覚信号言語を用いてこのような情報を転送することを可能にする例示的な方法は、「スクラッチパッド」の使用である。「スクラッチパッド」は、視覚信号プロセス中に複数の機能を果たすことができる。スクラッチパッドは、１）転送または保管のために、データを整理することができ、２）データの一部を分けることができ、３）必要に応じて、データをある種類から別の種類に変換する（例えば、音声をテキストに変換する）ことができ、４）データセットを保存および検索するための保管リポジトリとして機能することができ、および５）転送プロセスを指示し且つ動作させる中心位置として機能することができる。
情報源は、ワードプロセッサ、スプレッドシート、画像およびビデオの閲覧ソフト、テキストの受信ソフト、メールの受信ソフト、Ｗｅｂブラウザなどのアプリケーションによって生成されたデータを含む。また、情報源は、カメラ、マイクロフォン、ＧＰＳ、時計、加速度計、センサなどの装置の出力を含む。情報の宛先は、ワードプロセッサ、スプレッドシート、画像およびビデオの編集ソフト、テキストの送信ソフト、メールサーバ、ウェブページの選択および／または応答などを含む。
図２６は、視覚信号により制御されたスクラッチパッドの例示的な表示配置６００である。この表示配置は、視覚信号を用いて情報をスクラッチパッドに保存することができる領域６０１と、視覚信号を用いてスクラッチパッドから情報を取り出すことができる領域６０２と、以前にスクラッチパッドに保存された情報を単独で表示するために「スクロールアップ」する領域６０３と、以前にスクラッチパッド保存された情報を単独で表示するために「スクロールダウン」する（すなわち、より最近の情報を表示する）領域６０４とを含む。
スクラッチパッドに情報を保存するプロセスは、まず、オブジェクトに注視して、その後、視線をオブジェクト６０５の領域からディスプレイ上のオブジェクト「保存」領域６０１に移動することを含む。上述したように、保存された情報は、多くの異なる種類を含むことができる。さらに、オブジェクトは、仮想ディスプレイ６００または現実世界から抽出することができる。その後、オブジェクト認識を用いて、オブジェクトのＩＤを登録することができ、および／またはオブジェクトの画像を格納することができる。
新しく格納されたオブジェクトのサムネイルは、スクラッチパッドの「保存」領域６０１および「取出」領域６０２の両方に配置される。「保存」領域から情報を直接に抽出することができないため、「保存」領域６０１内の情報の格納は、単に最近情報が格納されたことを装置ユーザに知らせることである。情報の取り出しは、「取出」領域６０２を用いて行われる。
スクラッチパッドから情報を取得するプロセスは、次のステップを含む。具体的には、
１．ユーザは、格納された情報のアーカイブ表現（例えば、サムネイル）を分けるために、必要に応じて、スクロールアップ６０３および／またはスクロールダウン６０４を行うことができる。スクロールは、「取出」領域６０２から「スクロールアップ」領域６０３または「スクロールダウン」領域６０４のいずれかに視線を移動する衝動性動眼を実行し、その後、「取出」領域６０２に視線を戻すことを含む。ユーザの視線が「スクロールアップ」領域６０３または「スクロールダウン」領域６０４に停留する場合、隣接する「取出」領域が中心窩視野内にあり、ユーザが見ることができるため、スクロールは、繰り返される。
２．便宜上、スクラッチパッドから分けられ、不要になった項目は、スクラッチパッドから削除されてもよい。削除は、例えば、「取出」領域６０２をバイパスして、視線を「スクロールアップ」領域６０３から「スクロールダウン」領域６０４に移動するまたはその逆の衝動性動眼を行うことによって、達成することができる。削除操作を行った後、削除された項目が領域６０３のものであるかまたは領域６０４のものであるかに応じて、「取出」領域に表示される項目は、スクラッチパッドの「アップ」リストまたは「ダウン」リストの次の項目になる。
３．スクラッチパッドから所望の項目を分けた後、ユーザは、項目を挿入するためのディスプレイ領域を捜索することができる。挿入位置は、例えば、ワードプロセッサまたはテキストメッセージ内の位置、スプレッドシート内のセル、ウェブページ内の位置などであり得る。視線を所望の挿入位置６０６から「取出」領域６０２に移動することによって、取り出しを完了する。
１．ユーザは、格納された情報のアーカイブ表現（例えば、サムネイル）を分けるために、必要に応じて、スクロールアップ６０３および／またはスクロールダウン６０４を行うことができる。スクロールは、「取出」領域６０２から「スクロールアップ」領域６０３または「スクロールダウン」領域６０４のいずれかに視線を移動する衝動性動眼を実行し、その後、「取出」領域６０２に視線を戻すことを含む。ユーザの視線が「スクロールアップ」領域６０３または「スクロールダウン」領域６０４に停留する場合、隣接する「取出」領域が中心窩視野内にあり、ユーザが見ることができるため、スクロールは、繰り返される。
２．便宜上、スクラッチパッドから分けられ、不要になった項目は、スクラッチパッドから削除されてもよい。削除は、例えば、「取出」領域６０２をバイパスして、視線を「スクロールアップ」領域６０３から「スクロールダウン」領域６０４に移動するまたはその逆の衝動性動眼を行うことによって、達成することができる。削除操作を行った後、削除された項目が領域６０３のものであるかまたは領域６０４のものであるかに応じて、「取出」領域に表示される項目は、スクラッチパッドの「アップ」リストまたは「ダウン」リストの次の項目になる。
３．スクラッチパッドから所望の項目を分けた後、ユーザは、項目を挿入するためのディスプレイ領域を捜索することができる。挿入位置は、例えば、ワードプロセッサまたはテキストメッセージ内の位置、スプレッドシート内のセル、ウェブページ内の位置などであり得る。視線を所望の挿入位置６０６から「取出」領域６０２に移動することによって、取り出しを完了する。
上述した「スクロール」方法の代わりにまたはそれに加えて、転送するスクラップパッドの項目を分離するために、スクラッチパッドを「検索」することができる。これは、音声入力を使用すると特に強力である。しかしながら、ディスプレイ上に分けられたテキストまたは画像もしくは装置によって取り込まれた画像または音声は、検索および比較のソースとして使用されてもよい。必要に応じて、スクラッチパッド内の検索を可能にするために、変換を実行することができる。例えば、複数モデルの検索を可能にするために、（スクラッチパッド内で音声を直接に比較しない場合）音声をテキスト（または他の表現）に変換してもよい。同様に、オブジェクトの特定および／または音声の認識を用いて、スクラッチパッド内の項目を特定することによって、検索を促進することができる。スクラッチパッド内の最も適切な項目は、転送するために、「取出」領域６０２に入れることができる。
視線を「スクロールアップ」領域６０３に停留することによって、例えば、捜索に音声入力を使用することを装置に警告することができる。視線を「スクロールアップ」領域６０３に停留することによって、「取出」領域６０２に現在に格納されている情報の前の（すなわち、より先にスクラッチパッドに格納された）情報のサブセットを検索することを示すことができる。逆に、視線を「スクロールダウン」領域６０４に停留することによって、捜索に音声入力を使用することを装置に警告することができ、「取出」領域６０２に現在に格納されている情報の後に格納された情報のサブセットを検索することを示すことができる。視線を「取出」領域６０２に停留することによって、スクラッチパッド内の全ての情報を検索することを示すことができる。これは、ユーザの視線の「停留」操作が適切であるため、スクラッチパッド内の検索結果が認知される、視覚信号言語内の少ないインスタンスの１つである。
図２６において、スクラッチパッド内の保存領域６０１Ａおよび取出領域６０２に示されたアイコンは、スクラッチパッドが空である時の例示的なプレースホルダである。スクラッチパッドの「保存」領域６０１または「取出」領域のいずれかに情報を入ると、スクラッチパッド内の情報を示すサムネイルは、各々の領域に表示される。
ドロンおよび他の遠隔乗り物（vehicle）の視覚信号制御
視覚信号言語は、位置および／または方向を迅速且つ／または反復的に指定する必要がある場合、および／または他の身体部分による制御、例えば、手によるジョイスティックまたはコンピュータマウスの制御などを減らすまたは無くすことが望ましい場合に、特に有用である。１つ以上のカメラを搭載したドローン（すなわち、無人飛行器）または他の遠隔制御乗り物（例えば、ボート、潜水艦）の飛行および／または遠隔測定（telemetry）は、このような例である。
視覚信号言語は、位置および／または方向を迅速且つ／または反復的に指定する必要がある場合、および／または他の身体部分による制御、例えば、手によるジョイスティックまたはコンピュータマウスの制御などを減らすまたは無くすことが望ましい場合に、特に有用である。１つ以上のカメラを搭載したドローン（すなわち、無人飛行器）または他の遠隔制御乗り物（例えば、ボート、潜水艦）の飛行および／または遠隔測定（telemetry）は、このような例である。
このような乗り物を飛行させるときの主な機能は、「どこに飛ぶ」（または、地上、海洋または水中の乗り物の場合、「どこに行く」）を指定することである。殆どの場合、このことは、障害を克服し、「飛行禁止」領域を避けるために、風、水流、他の環境条件および他の要因を考慮して、連続的または定期的に行われる。
３次元の飛行方向を指定する時に、特に直感的且つ有用な方法は、ドローンまたは乗り物の視点からのターゲット位置／方向を「見る」ことである。ドロンまたは乗り物に搭載された１台以上のカメラからのリアルタイム遠隔測定および画像は、拡張現実ヘッドセット、仮想現実ヘッドセット、複合現実ヘッドセット、タブレット、スマートフォン、スマートウォッチ、ラップトップコンピュータ、またはデスクトップコンピュータのモニタで見ることができる。視覚信号制御を行うための様々な選択は、生ビデオ画像の上または周囲に重ねることができる。乗り物の制御は、視覚信号言語を用いて実行され、必要に応じて、他の（例えば、手動、音声）制御によって支援される。
視覚信号言語の他の要素と同様に、一般的に環境を捜索するための捜索的な眼球運動と、ドローンまたは乗り物を制御する意図を伝えるための「意図的な」眼球運動とを区別することが重要である。ディスプレイ内のターゲット位置から作動位置または一連の位置に視線を移動する意図的な衝動性動眼を行うことによって、目標方向（ＧＰＳなどの他の機器を使用する場合、距離）を特定することができる。このような目標位置は、静止であってもよく、（乗り物に追跡されるように）動いてもよい。１つ以上の目標は、異なる時点で表示されなくてもよい。
部分的なまたは完全なハンズフリー制御を達成するために、視覚信号を用いて、乗り物の他の運動特性を制御することもできる。これは、例えば、前進速度、スロットル、制御面（control surface）のサイズおよび方向、プロペラピッチなどを含む。また、視覚信号言語を用いて、「ホーム帰還」、荷物卸し、停空飛翔、警告または指示信号の発行などの他の作業を行うことができる。視覚信号を用いて、メニューを介して状態表示を照会することができ、飛行計画を確認または変更することができ、または飛行ポイントを表示およびマークすることができる。
乗り物の運転中の視覚追跡および視覚指示
更なる例示的な実施形態において、視線制御および視覚信号言語の要素を用いて乗り物を運転しているときに、特別な配慮を与えなければならない。乗り物は、自動車、トラック、重機、ボート、雪上車、全地形万能車などを含む。命を脅かす潜在的な状況を避けるために、視覚指示に加えて、短時間の中断しかできない運転者の視線を用いて、運転環境を探査しなければならないという特別な配慮がある。
更なる例示的な実施形態において、視線制御および視覚信号言語の要素を用いて乗り物を運転しているときに、特別な配慮を与えなければならない。乗り物は、自動車、トラック、重機、ボート、雪上車、全地形万能車などを含む。命を脅かす潜在的な状況を避けるために、視覚指示に加えて、短時間の中断しかできない運転者の視線を用いて、運転環境を探査しなければならないという特別な配慮がある。
運転者の安全に関与する機関は、適切な条件の下で、前方の道路から視線を逸らす時間が１．６秒〜２．０秒を超えないようにすることを推奨している（異なる機関の推奨値に変動することがある）。殆どの運転者は、実際に約２秒間脇見をすると、不安感があると報告している。基準として、（例えば、ヘッドアップディスプレイに関連していない）従来の電波を調整するのにかかる平均時間は、１．６秒である。しかしながら、このような時間の幅広い変動が報告されている。
運転中に、運転者の注視位置を組み込むことで、快適性および安全性の両方に多くの利点が生まれる。１）運転者情報の表示または他の形式は、運転者が前方の道路を見たか否かおよび見た時間に基づいて修正される。表示装置は、不適当な時間に注意を引くことおよび／または認知負荷を軽減することを避けるために、運転条件（例えば、高速道路対駐車場）および運転者の行動に動的に適応することができる。２）視覚信号制御および表示フィードバックのタイミングは、運転者が所定の時間後に前方の道路に視線を向けるように設計されてもよい。３）乗り物が（例えば、自動制動を引き起こす可能性がある）緊急状況を検知して、運転者が緊急状況の方向に見ていない場合、運転者の視線を変えるための措置を講じることができる。
視覚信号言語による選択および作動の迅速性を利用して、仮想もの（例えば、コンソールディスプレイ、拡張現実アイウェア、ヘッドアップディスプレイなど）、特に比較的大型ものを用いた安全な運転を促進することができる。前述したように、眼球の衝動性動眼は、人体内で最も速い動きである。コンソールディスプレイ上の位置に視線を移動する衝動性動眼（しばしばメモリガイドされる）の後、選択および／または作動を行うための１つ以上の衝動性動眼は、一般的に、同様の機能を実行するように、タッチ感応画面またはボタン上の位置に対してジェスチャまたは作動を行う手の動きよりも短い時間で実行することができる。視覚信号を使用して、ハンドルから手を離すことなく、全ての運転制御を行うことも可能である。
特定の運転事例において、運転進路から視線を逸らす時間をさらに減らすために、状況依存型メニュー選択および流線型メニュー選択を採用することができる。前者の例として、無線機能を制御するための仮想「ボタン」は、ナビゲーション地図の表示中に直接に利用できない。後者の例として、作動位置、例えば、ディスプレイの４隅のうち１つに視線を移動するシングル衝動性動眼を用いて、機能選択および作動の両方を行うことができる。
対照的に、非運転応用において、画像または地図との対話は、ズームイン、ズームアウト、パン、オブジェクトの選択、オブジェクトの識別、カットおよびペーストなどの多くの操作から、選択を行うことに関与する。視覚信号言語において、多くの操作から選択を行うことは、一般的に、少なくとも２つの衝動性動眼（所謂「表示」操作）、すなわち、メニューを生成するための衝動性動眼、およびメニューから操作を選択するための衝動性動眼を必要とする。
しかしながら、運転応用において、地図を見るときに、選択は、例えば、画面の４隅の１つに視線を移動する衝動性動眼に制限される。４隅に関連する操作は、（地図上で見た位置を中心に）ズームイン、ズームアウト、パン（地図上で見た方向）、および地図表示から離れる（例えば、高次メニューに戻る）ことを含む。
制限された状況依存型機能の迅速選択および作動は、運転進路から視線を逸らす時間を短縮し、運転に直接関連しない認知負荷を軽減する。また、運転者が前方の道路を先に見てから、運転進路から視線を短時間逸らし、選択を行うように強制的にすることもできる。前述したように、前方の道路を見ている時に、注意を引かない方法で表示を変更する（例えば、衝動性動眼および／または瞬き失明の期間中、輝度および／または色を徐々に変更する（変化失明を利用する）など）方法は、運転者の安全性をさらに高めることができる。安全な運転行動をさらに促進するために、運転者の注視方向に関する知識を用いて、運転者に情報を提供するタイミングおよび内容を変更することができる。
運転中、運転者は、運転進路から視線を短時間離れて、選択可能なオブジェクトに移動することがある。選択可能なオブジェクトは、乗り物の内部のコンソールまたはヘッドアップディスプレイ上に投影された地図上に表示された位置などの仮想オブジェクトであってもよく、または照明を制御するノブのような物理的なオブジェクトであってもよい。視覚信号を用いてディスプレイの作動を行うための代替的な実施形態において、運転者は、選択可能なオブジェクトを見て特定した後、視線を運転進路に戻すことができる。この時に、運転者は、直前に見たオブジェクトに関連する機能を作動することができる。音声コマンド（すなわち、１つ以上のキーワードの音声認識）、スイッチ（例えば、ハンドルに配置されたスイッチ）、点頭、または類似の指示を含む多くの方法で、作動を行うことができる。異なる運転者は、異なる作動モードを好むことがある。異なる時間に異なる作動モードを使用してもよい。
異なる作動モード（１つ以上の作動位置に視線を移動する衝動性動眼、ボタンの手動押下、音声など）を使用し、異なる制御を作動することができる。運転者による制御の例は、（照明つまみを見ることによって）照明の調整、（窓のトグル制御を見ることによって）窓の昇降、（ラジオを見ることによって）ラジオ局の選択、（音声プレーヤーを見ることによって）プレイリスト内の歌またはポッドキャストの繰り上げ、（音量制御ノブを見ることによって）音量および他の音声特性の調整、（適切なノブおよび／または指示灯を見ることによって）空気流の方向および強さの調整、（指示灯を見ることによって）局部温度の制御、（ミラー位置制御ノブを見ることによって）ミラー位置の調整、（適切なボタンを見ることによって）座席制御の変更、（ワイパー制御を見ることによって）ワイパー速度の調整などを含むことができる。殆どの場合、運転者は、視線制御および（従来の）手動制御の両方を利用することができる。
視線を前方の道路に戻すように運転者を促すことは、非運転機能に関連する時間を短縮することによって、安全運転を促進する。運転者の短期間記憶または作業視覚記憶内の時間に作動を行うことによって、車の運転に直接関連しない作業の認知負荷をさらに低減することができる。地図上の目標位置の位置を発見および特定することなどの複雑操作は、地図に対する一連の短時間注視を行い、各々の注視の後、視線を運転進路に戻してから、作動を行うことによって、行うことができる。このような一連の短時間注視は、運転安全にとって最適と考えられる。さらに、運転者がディスプレイを直接見ていない間に、ディスプレイに対する変化（例えば、地図上で行われたパンまたはズーム機能）を作動することによってディスプレイを変更すると、動的に変化するディスプレイを見ることに関連する視覚処理をさらに低減することができる。
異なるディスプレイおよび対話式装置が利用可能な場合、異なる方法を運転者に提供することができる。例えば、ＡＲディスプレイおよびコンソールディスプレイの両方が利用可能な場合、ＡＲディスプレイに制限量の情報を短期間で表示することができる。しかしながら、ナビゲーションなどのより複雑な操作を行う場合、視覚信号に支援されているコンソール表示を使用した方が安全である。ＡＲ装置とコンソールを制御するプロセッサとの間に、直接通信を行うことができる。代替的または追加的に、ＡＲ装置上のシーンカメラを用いて、コンソール上に表示された選択肢を見ることができ、視覚信号によるユーザの選択を支援することができる。
運転者正面のつまみを見ることできると、一貫した安全運転を促進する。記憶誘導型頭部および眼球運動によって、最小限の運転経験で、（大きい角度許容度で）視線を車輛内の既知の位置に誘導する。対照的に、大量の情報を小さなヘッドアップディスプレイなどの小さな空間に投影すると、限られた空間に特定の制御を位置決め且つ特定することがより困難になる。異なる時間に異なる情報をディスプレイに投影する場合、この状況は、さらに悪化する。運転者は、所望の表示メニューと対話するために、待機する必要または他のルックアップ操作を行う必要がある。
特定されたドキュメントおよび装置ユーザの関連付け
虹彩認証および他の手段に基づいて装置着用者を特定する方法は、２０１５年５月９日に出願され、「視覚信号の特定および連続生体認証を行うためのシステムおよび方法」と題された特許出願第１４／７０８２４１号に記載されている。当該出願の全体は、参照により本明細書に組み込まれる。多くのセキュアアプリケーションは、文書、フォーム、契約または他のデータセットと、特定される装置着用者との関連付けを要求する。これらのアプリケーションは、法律、財務、ライセンス、セキュリティ、告知同意、医療などの幅広い分野を含む。
虹彩認証および他の手段に基づいて装置着用者を特定する方法は、２０１５年５月９日に出願され、「視覚信号の特定および連続生体認証を行うためのシステムおよび方法」と題された特許出願第１４／７０８２４１号に記載されている。当該出願の全体は、参照により本明細書に組み込まれる。多くのセキュアアプリケーションは、文書、フォーム、契約または他のデータセットと、特定される装置着用者との関連付けを要求する。これらのアプリケーションは、法律、財務、ライセンス、セキュリティ、告知同意、医療などの幅広い分野を含む。
例示的な実施形態において、装置着用者は、実際の（すなわち、物理的な）または仮想の（すなわち、ディスプレイ上で見た）ドキュメントを見ることができ、装置着用者の環境に向く１つ以上のシーンカメラを用いて、ドキュメントを認証することができる。ドキュメントの内容、埋め込まれたＱＲコード、埋め込まれたバーコード、署名の認識、または他のセキュリティ機能の位置および認証に基づいて、ドキュメントを認証することができる。署名の認識は、画像認識技術および／または神経ネットワークの深層学習による分類を含む機械学習技術を用いて、行うことができる。
ドキュメントを認証した後、装置着用者によって閲覧され、虹彩認識（例えば、虹彩コード）および／または他の手段に基づいて認証されたものとして、ドキュメントに電子タグを付けることができる。必要に応じて、視覚信号言語またはキーボードの使用または音声認識などの他の方法を用いて、ドキュメントの電子表現を変更することができる。変更は、確認された装置着用者のＩＤに基づいた「署名」を挿入することを含むことができる。署名は、一般的にドキュメントに関連する手書き形式（例えば、重合画像）であってもよく、または各人に一意に関連する「電子署名」（すなわち、数値コード）であってもよい。追加的にまたは代替的に、バーコードまたはＱＲコードをドキュメントに添付することによって、認証されたユーザがこのドキュメントを閲覧したことを示すことができる。
最後に、署名は、ユーザの視線データの一部または全体を記述するメタデータを含むことができる。ユーザの視線データは、ユーザがドキュメントを視覚的に閲覧することを示す視覚信号、タイムスタンプ付き注視時間、注視シーケンスマッピング、瞳孔拡大、および発生する他の生体信号のうち、１つ以上を含み得る。このような情報は、告知同意の確認に有用であり、情報の閲覧を検証するだけでなく、契約の理解または合意を示す示唆を提供するための方法にも有用である。
このような「署名」および／または変更されたドキュメントは、ドキュメントの物理的交換に相当する方法で交換することができる。（例えば、ＧＰＳから決定された）署名を行った時間、日付および位置は、ドキュメントに埋め込まれてもよい。
仮想ディスプレイ「壁」
仮想現実ディスプレイ、拡張現実感ディスプレイ、複合現実ディスプレイ、および他のヘッドマウントディスプレイシステムは、仮想ディスプレイ「壁」または拡張デスクトップを投影するメカニズムを提供する。これらの壁または有効面は、大きな仮想表示領域を含み、「壁」の１つの領域は、装置着用者がいつでも見ることができるように投影される。しかしながら、装置ユーザを完全に囲む可能性のある仮想ディスプレイの全ての領域は、表示および対話のためにプログラムに従って維持される。仮想壁または仮想面は、任意のサイズ、装置着用者の実感距離、形状、または曲率を有してもよい。アプリケーションは、改良されたワークステーション環境、対話型表示および娯楽を含む。
仮想現実ディスプレイ、拡張現実感ディスプレイ、複合現実ディスプレイ、および他のヘッドマウントディスプレイシステムは、仮想ディスプレイ「壁」または拡張デスクトップを投影するメカニズムを提供する。これらの壁または有効面は、大きな仮想表示領域を含み、「壁」の１つの領域は、装置着用者がいつでも見ることができるように投影される。しかしながら、装置ユーザを完全に囲む可能性のある仮想ディスプレイの全ての領域は、表示および対話のためにプログラムに従って維持される。仮想壁または仮想面は、任意のサイズ、装置着用者の実感距離、形状、または曲率を有してもよい。アプリケーションは、改良されたワークステーション環境、対話型表示および娯楽を含む。
仮想ディスプレイ壁は、視線交流または視覚信号言語に理想的である。ユーザは、好み設定または特定の応用に基づいて、異なる対話モードを選択することができる。装置着用者の視野に投影された領域は、頭部動作、装置着用者の視線方向および／または視覚信号コマンドに基づいて制御することができる。
図２７は、装置ユーザ６１１と典型的な仮想壁またはディスプレイ６１０との対話を示している。装置ユーザ６１１の（破線で示された）視野６１２内で、仮想壁６１０の一部の領域６１３は、閲覧のために、表示装置（例えば、拡張現実ヘッドセットまたは仮想現実ヘッドセット）に投影される。領域６１３は、任意のサイズで仮想表示領域６１０内の任意の位置に投影されてもよい。場合によって、領域６１３のサイズは、特定の用途に応じて自動的に変更されてもよい。
当該技術分野（例えば、Oculus VR、USAによって製造された装置）において、仮想壁６１０の一部の可視領域６１３の制御は、一般的に頭部動作に基づいて行われる。例えば、頭部動作によって、仮想環境内の静止オブジェクトが静止に見えるように、表示された画像を頭部動作の方向に沿って円弧移動するようにスクロールする。しかしながら、例示的な実施形態において、眼球運動の動力学をさらに考慮することによって、可視領域の制御を改良することができる。例えば、頭が動いている間に、目がある位置を見続ける前庭性眼球運動が検出されると、可視領域を静止に維持することができる。これによって、関心のあるオブジェクトが存在する時に、装置ユーザに対して過度のディスプレイ移動を回避することができる。
一方、非前庭性眼球運動に関連する頭部動作がある例示的な実施形態において、装置ユーザは、一般的に関心のあるオブジェクトを意図的に変えている。この場合、シーンの変更が予想される。シーンを移動するための非常に愉快で「自然な」方法の１つは、（前述した）衝動性動眼抑制の期間中に表示の変更を行うことである。このようにして、装置ユーザが機能的に失明であるときにシーンが変更されるため、シーンの変更に関連する目眩しを軽減することができる。瞬き抑制の主な生理的目的が常に感知される変更を低減することであるため、衝動性動眼抑制の期間中に行われるシーンの変更は、「生物誘発」技術に分類され得る。
視覚信号言語において、ディスプレイの視線選択可能な領域をどのように配置するか、およびどのように表示するかを選択することができる。第１例として、「スクリーンロック」と呼ばれ、選択可能な領域は、仮想表示領域６１０内の固定位置に配置される。便宜上、特定の選択可能な領域は、様々な位置に重複に配置されてもよい。図２７に示すように、３つの同様な作動ターゲット６１６ａ、６１６ｂおよび６１６ｃは、仮想表示領域６１０の上方に沿って重複に配置される。場合によって、選択可能な領域は、仮想ディスプレイの単一領域に配置されてもよい。この場合、選択可能な領域は、状況によって、当該領域内の「スクリーンロック」アイコンまたは他の記号として、１つの位置のみで利用可能である。
視覚信号言語の別の実施形態において、視線選択可能な領域（例えば、作動ターゲット）は、装置着用者の視野内の固定位置に配置されてもよい。この方法は、「ヘッドロック」と呼ばれる。ユーザの視線を選択可能な領域に向かって誘導するアイコンまたは他の記号は、仮想ディスプレイ上に重合され、視認可能な領域６１３が仮想表示領域６１０内で（例えば、ユーザの頭部動作によって）移動される時に移動する。
上述したように、頭部により制御されたオブジェクトの位置は、必要に応じて、前庭性眼球運動ではないと判断された頭部動作のみによって制御されてもよい。換言すれば、視覚信号を行う期間中に、特定のオブジェクトを見ながら頭を動かす（すなわち、前庭性眼球運動を生成する）ことによって、投影／表示されたオブジェクトの位置を動かすことなく、頭を動かすことが可能である。
追加の実施形態において、視線による対話を行うために、「スクリーンロック」方法および「ヘッドロック」方法の両方を同時に使用してもよい。例えば、仮想ディスプレイ６１０のコンテンツに関連する選択可能な領域（例えば、テキストの編集に関連する選択）は、「スクリーンロック」モードでテキストコンテンツの近くに配置されてもよい。同時に、より一般的なナビゲーション機能および（例えば、新しいアプリケーションを起動するための）制御機能に関連する選択可能な領域は、「ヘッドロック」モードで常に利用可能に配置されてもよい。これによって、より一般的なナビゲーション機能をより容易に見つけることができる（すなわち、記憶誘導型衝動性動眼を促進する）。
「スクリーンロック」モードおよび「ヘッドロック」モードの両方に関連するアイコンまたは他の記号の表示は、アイコンおよび／または記号の透明度を制御することによって行うことができる。淡いアイコンは、余分な乱雑なく、ディスプレイ上のコンテンツを閲覧することを可能にする。例えば、前回の作動から時間の増加および／または装置ユーザの経験レベルなどの状況によって保証された場合、不透明度を増加する（すなわち、透明度を減少する）ことができる。
キーボード入力の改善
ヘッドセット装置（例えば、仮想現実ディスプレイ、拡張現実ディスプレイまたはヘッドアップディスプレイ）と共にキーボードを使用する場合、ヘッドセット装置および／または任意の付属品は、キーボードに対するビューを物理的に制限または妨げる可能性がある。例えば、仮想現実装置は、現実世界に対する全てのビューを完全にブロックする。このことは、一般的にキーボードの使用を妨げる。その理由は、多くのユーザが、入力する時にまたは機能に関連するキーを押す時に、両手を見る必要がある。所謂「ブラインドタッチ」できる人でさえ、タイピングを行う前に、手を（キーボードの）適切な位置に置いているか否かを一般的に目で確認することがある。
ヘッドセット装置（例えば、仮想現実ディスプレイ、拡張現実ディスプレイまたはヘッドアップディスプレイ）と共にキーボードを使用する場合、ヘッドセット装置および／または任意の付属品は、キーボードに対するビューを物理的に制限または妨げる可能性がある。例えば、仮想現実装置は、現実世界に対する全てのビューを完全にブロックする。このことは、一般的にキーボードの使用を妨げる。その理由は、多くのユーザが、入力する時にまたは機能に関連するキーを押す時に、両手を見る必要がある。所謂「ブラインドタッチ」できる人でさえ、タイピングを行う前に、手を（キーボードの）適切な位置に置いているか否かを一般的に目で確認することがある。
例示的な実施形態において、装着可能なヘッドセットおよび（装着可能または遠隔の）ディスプレイは、カメラを用いてキーボードの領域を表示し、（指およびキー位置を含む）カメラ画像をディスプレイの可視領域に重ねることによって、キーボードおよび手の視認妨害を克服することができる。このようにして、下方（または他の方向）の実在キーボードを見る必要がなく、キーボードに対する指の位置を確認することができる。キーボードを視認するためのカメラは、任意種類の頭部装着装置、頸部または胸部、支柱などの支持体（例えば、身体以外もの）に取り付けられてもよく、またはディスプレイ画面の頂端から下方に見る装置として取り付けられてもよい。
指およびキーの位置の重合表示は、視覚信号と併用されると、特に強力である。視覚信号言語は、眼球運動によってカバーされた距離および意図の伝達に必要とされた時間の点から「効率的な」眼球運動を利用するように構築されている。下方の物理キーボードに向く視線は、言語要素から離れるため、多くの時間を費やし、（キーボードに向かった長い距離の衝動性動眼によって）目の疲れを引き起こす。さらに、ユーザの視線をディスプレイ内の領域に戻すプロセスは、一般的に、ディスプレイ上の所望の注視位置に戻るために、長い距離の衝動性動眼、１つ以上の矯正的な衝動性動眼、およびしばしば捜索的な衝動性動眼を必要とする。
ユーザの手およびキーボードの画像をリアルタイムに投影することによって、キーボード入力中に手を見ることに伴う目（および頭）の動作を大幅に減らすことができる。殆どの場合、手およびキーボードの仮想画像または投影画像は、作業を行っている間に、周辺視界、傍中心窩視界または中心窩視界に位置するように配置されてもよい。これによって、装置ユーザは、ディスプレイの空間的基準および／または他の情報を失うことなく、ディスプレイ上の１つ以上の関心領域と、キーボード入力中に指およびキーの画像との表示を交互に行うことができる。
図２８は、頭部装着装置６５０を示している。頭部装着装置６５０は、キーボードを視認するためのカメラ６５１を含み、キーボードカメラ６５１は、キーボード６５２および装置着用者の手６５３ａ、６５３ｂがキーボードカメラ６５１の視野６５４内にあるように配向される。いくつかの実施形態において、装置ユーザは、キーボード６５２および手６５３ａ、６５３ｂの位置を見えない場合がある。
図２９は、キーボードカメラ６５１によって記録されたキーボード６６２および装置ユーザの手６６３ａ、６６３ｂをディスプレイ６６０上でリアルタイムで見るように、ディスプレイ６６０に投影した、図２８と同様の頭部装着装置６５０を示している。ディスプレイ６６０は、装置着用者の（破線で表された）視野６６１ａ、６６１ｂに位置する限り、頭部装着装置６５０の一部（例えば、拡張現実ディスプレイ、仮想現実ディスプレイまたはヘッドアップディスプレイ）であってもよく、または遠隔に位置するもの（例えば、タブレットモニタ、スマート装置モニタ、ラップトップモニタ、コンピュータモニタ）であってもよい。
図２９に示す例示的な作業は、装置ユーザによる入力を含む。文字および単語は、位置６６５でテキスト本体６６４に付加される。必要に応じて、ユーザは、下方に投影されたキーボード６６２および手６６３ａ、６６３ｂの画像を見ることによって、入力中の相対位置を決定することができる。これによって、実在キーボード６５２および手６５３ａ、６５３ｂを見ることに比べて、眼球運動が少なくなり、関連する認知処理も少なくなる。
投影されたキーボード６６２および手６６３ａ、６６３ｂの画像は、装置ユーザに適合するように、ディスプレイ６６０の任意位置に配置されてもよい。また、投影された画像は、任意のサイズまたは任意の透明度（すなわち、他の表示項目を完全に遮蔽する程不透明から、重ね合わられる場合画像が殆ど見えない程透明）に作られてもよい。（眼球運動を最小限に抑えるために）タイピングまたは他の視覚活動を行っている領域に、画像を半透明に投影してもよい。透明度は、ユーザによって制御されてもよく、自動的に調整されてもよい。例えば、入力ミスがあった場合に、投影画像の透明度を低くする（すなわち、よく見えるにする）ことができる。
他の例示的な実施形態において、拡張モードで、物理キーボードおよび／または投影されたキーボードの使用を最適化することができる。物理キーボードは、直接に見ることができないときに手および指の位置決めを支援するように、（触感によって特定可能な）機械的なガイドまたは基準位置を含むことができる。触覚によって特定可能な１つ以上のガイドポストまたはガイド面および基準面は、キーボードの任意位置に配置されてもよい。
実際に任意のキーボード配置に対応できるように、投影されたキーボードを開発することができる。投影されたキーの表面は、当技術分野で周知の画像認識技術を用いて、ビデオ画像から認識することができる。こられの画像において、任意の記号または文字を投影されたキーの表面に重合することができる。このようにして、ユーザが完全に任意のキーボードを選択することができる。これによって、様々な言語に使用されている文字または記号、身体障害または特定の応用（例：主にスプレッドシートに数値を入力すること）に適応することができ、および／または視覚信号言語を含む様々な設定における性能を最適化するように配置をカスタマイズすることができる。
後者の特に有用な例は、キーボードを用いて、眼球運動が「意図的な」ものであるか否かを特定する能力を含む。親指の押下などの急速動きは、視覚信号を意図的なものとして解釈することを迅速に示すことができ、結果としての作動を行うことができる。このようなキーボード「ボタン」は、コンピュータマウスのボタン押しまたはタッチ感応タッチパッドの押しと同様の方法で使用することができる。このようにして、キーボードから手を離すことなく、小さな手の動きおよび急速眼球運動で、カーソルおよび／または他のポインタの動きを制御することができる。
代替的または追加的に、キーボードは、埋め込まれたタッチ感応面、方向ボタン、小型ジョイスティックまたは押し棒、小型トラックボールまたは類似の機構を使用する位置制御を含むことができる。これらは、視覚信号を用いた位置制御に比べてより精確な位置制御が必要な状況に使用され得る。コンピュータマウス、遠隔タッチパッドまたはジョイスティックの位置を特定し、その後それらを使用する必要性を排除して、手を比較的静止状態に保つことによって、殆ど種類のキーボード入力をさらに強化する（すなわち、入力速度を増加させるおよび／または認知負荷および関連する疲労度を減少させる）。
代替または追加の実施形態において、様々な技術を用いて、（通常、手の位置）特に指の位置を感知することによって、上述したカメラ画像を補うことができる。指とキーの近接度は、当技術分野に知られている近接感知技術を用いて推定することができる。例えば、いくつかの近接感知技術は、大量の水分を含む指の誘電特性と、空気（すなわち、指が存在しない場合）の誘電特性との差に基づく。したがって、（誘電特性に依存する）キーの近傍の静電容量を測定することによって、指の有無を判断することができる。他の技術は、指が存在するときに指から反射される光の有無を測定することを含む。
特定のキーの近くに指の有無を示す表示は、上記のキーボードのカメラ画像上または別の仮想キーボード上に示されてもよい。指の有無を示す表示は、小さなライトの画像、キーの表面上の文字または記号の変化、重合された仮想指の輪郭または画像、または各キー上に指の存在を示す他の表現を含むことができる。
更なる実施形態において、以下に基づいて、指の存在をさらに区別することができる。１）上述した近接感応技術を用いて、指の近接度を感知することができる。２）タッチ感応技術を用いて、指とキーとの接触を判断することができる。３）キーの押しボタンスイッチ操作によって、キーの実際の押圧を測定することができる。
これらの差別の各々は、上述した仮想キーボードにさらに示されてもよく、または装置着用者に使用されている実在キーボードのカメラ画像に重ねられてもよい。また、これらの差別を用いて、キーボードの入力を変更することもできる。例えば、単にキーにタッチすることによって、小文字の文字を入力することができる。一方、キーを完全に押下することによって、大文字および／または他の特殊記号を入力することができる。これによって、複数のキー入力または代替のキーボード配置を避けることができ、および／または異なる順列の入力を生成するために手および手首を動かす必要性を低減することができる。一般的に、キーの下向打ちを除いて、指は、静止のままである。
これらの方法を組み合わせるように設計することによって、データ入力中の眼球運動および指の動作の両方を最小限に抑え、人間-機械インターフェイス（ＨＭＩ）の速度を高めることができ、および／または疲労度につながる認知負荷を軽減することができる。したがって、これらの方法は、指および目の両方の動きを最適化することができる。
乱れのない衝動性動眼による視線入力
例示的な実施形態において、「視線入力」とは、（ユーザの片目または両目で）キーボードまたは他の選択マトリクスを見ることによって、文字および／または他の記号を入力することを意味する。キーボードまたは選択マトリクスは、実在（すなわち、物理的なオブジェクト）または仮想（すなわち、ディスプレイの一部として投影されるオブジェクト）であってもよい。視線入力の基本は、認知負荷を最小限に抑えながら、意図的な眼球運動を用いて、ユーザの意図をできるだけ迅速に伝えることができる文字および他の記号の入力である。
例示的な実施形態において、「視線入力」とは、（ユーザの片目または両目で）キーボードまたは他の選択マトリクスを見ることによって、文字および／または他の記号を入力することを意味する。キーボードまたは選択マトリクスは、実在（すなわち、物理的なオブジェクト）または仮想（すなわち、ディスプレイの一部として投影されるオブジェクト）であってもよい。視線入力の基本は、認知負荷を最小限に抑えながら、意図的な眼球運動を用いて、ユーザの意図をできるだけ迅速に伝えることができる文字および他の記号の入力である。
例えば、頭部装着装置に取り付けられ、片目または両目に向けられた１つ以上の検出装置を用いて、眼球運動を監視することができる。頭部装着装置は、拡張現実ディスプレイ、複合現実ディスプレイ、または仮想現実ディスプレイを含むことができる。代替的にまたは追加的に、携帯電話、タブレット、ラップトップコンピュータまたは類似の装置などのモバイル装置に設けられ、片目または両目に向けられた１つ以上の検出装置を用いて、眼球運動を遠隔に監視することができる。また、中央処理装置、壁掛けディスプレイ、読み専用ディスプレイ、サイネージまたは類似の装置と通信するデスクトップコンピュータまたは周辺装置（所謂「周辺機器」）に設けられ、片目または両目に向けられた検出装置を用いて、眼球運動を監視することもできる。
多くの市販視線入力システムの一特徴は、視線停留（すなわち、１つ以上の眼が所定の時間を超えて注視し続けること）、目の瞬き、または顔面筋肉の動きを用いて、文字または記号の選択を示す。選択を示すことは、特に視線を特定の文字または記号の位置に向ける急速な衝動性動眼に比べて、かなりの時間を必要とする。このような選択を示すことを無くすと、視線入力の速度（すなわち、単位時間に入力された文字、記号またはコンテンツの数）を実質的に増加することができる。
本明細書の例示的な実施形態の一態様は、ユーザが視線の停留、目の瞬きまたは非眼筋肉動きによって一般的に中断されない一連の衝動性動眼を生成することである。ユーザは、実質的に遅延せず、一連の衝動性動眼を介して、選択される一文字から次の文字に視線を容易に移動する。システムは、眼球運動の１つ以上のビデオストリームに基づいて、中断のない逐次的な方法で、一文字から次の文字までの意図的な衝動性動眼を認識する。
本明細書の実施形態の別の態様は、視線入力を行っている時に、一般的に視覚フィードバックを表示しないことである。フィードバックを表示する場合（例えば、選択された文字を強調表示すること、単語または文章内に新たに入力された文字を表示すること、キーボードの配置を変更すること）、フィードバックを表示することによって、タイピストが一般的にフィードバックを「認識」しなければならない。このような視覚的な認識は、最小限の時間（１つの文字または記号を完全に認識するのに２００〜２５０ミリ秒）を必要とし、入力の最大速度を制限する。実際、フィードバックの認識は、（少なくとも１つの矯正的な衝動性動眼がさらに関与しても）殆どの衝動性動眼よりも一般的に長い時間を必要とする。
人間の場合、視覚系が（非中心窩領域を含む）視野内の急激な変化を無視することは認知上困難である。したがって、迅速な視線入力の要因は、視野を殆ど変化しないように維持することである。現在の視線入力システムにおいて、一般的に入力されている文字または文章の強調表示は、（追加の眼球運動を伴う）注意引きおよびその後の認知／認識によって、達成可能な最大入力速度を大幅に減少してしまう。
また、入力速度の増加は、入力プロセス自体のボトルネックを取り除くことによって、認知の流れを改善することができる。一般的に、殆どの人が（手動または視線）入力よりも速い速度で思考することができる。視線入力を簡素化および高速化することによって、一連の思考を容易に結び付けることができる。
追加の実施形態において、認知的な視覚処理および視線入力に関連する制御に影響を与えないように、非視覚的なフィードバックをユーザに提供することができる。例示的な実施形態において、フィードバックは、眼球運動による選択を示す聴覚指示で提供されてもよい。視覚的な選択を行うときに、個々の文字、単語または語句は、音声形式で放送されてもよい。追加的にまたは代替的に、触覚フィードバックをユーザに提供することができる。聴覚フィードバックおよび触覚フィードバックの両方を含む例は、システムが各単語を認識したときの発声、および各語句を決定したときの短い触覚刺激を含む。
視覚フィードバックによって誘起された停留（および殆どの他の形態の固定）および認識を無くすと、視線入力を行うタイピストの中心窩視野が静的でシンプルな視覚キーボードになり、衝動性動眼によって文字および他の記号を迅速に選択することができる。入力時のフィードバックがないため、エラーを訂正する傾向も減少する。このようなシステムでは、機械に基づくエラー訂正に対する依存性が一般的に大きくなる。一般的に、入力中に初期訂正されなかった殆どのエラーは、タイピストがドキュメントの全体的にレビューする時に訂正される。
更なる実施形態において、神経ネットワーク（ＮＮ）を用いて、特定の文字および／または一連の文字の選択に関連する眼球運動を「学習」することができる。機械学習の分野において、ＮＮ訓練の一般方法（例えば、バックプロパゲーション）および実装（中央処理装置、グラフィック処理装置およびハードウェアベース加速の配置を含む）は、当該技術分野において周知である。
神経ネットを訓練することによって、個々の文字、音節、単語、一連の文字および／または他の記号の選択に関連するユーザの一連の眼球運動を認識することができる。ＮＮへの入力は、１）眼球運動中に片目または両目のビデオシーケンス、または２）実在または仮想のキーボードまたは選択マトリクスに対して片目または両目の視線の追跡座標を含むことができる。前者の場合、ＮＮは、文字または他の記号に関連する特定の眼球運動を認識することに加えて、ビデオ画像内の片目または両目の位置を追跡する機能を行う。後者の場合、ＮＮへの入力は、一連の視線座標およびキーボードまたは選択マトリックスの相対位置を含む。
視線入力ＮＮの訓練は、１）グローバル（すなわち、視線入力を行うタイピストの集団からのデータに基づく）、２）個別（すなわち、ユーザによって生成された訓練データに基づく）、または３）２つの方法の組み合わせ（すなわち、グローバルＮＮは、個別ＮＮトレーニングの開始フレームワークとして使用される）で行われてもおい。訓練は、視線入力でシステムに知られている文字列を入力することによって実行されてもよい。ＮＮを訓練するために、理想的には、多くの異なる組み合わせの文字、音節および単語を採用すべきである。一般的には、視線入力でこのような組み合わせを含む短い文章また記事を入力することが適切である。
各々の人は、視線を異なる文字または記号に向ける衝動性動眼を行う方法が異なる場合がある。例えば、個人は、選択マトリックスの周辺の近くに位置する文字または記号の中心まで眼球運動を伸ばすことができない。しかしながら、ユーザがこのような文字または記号を選択するように同様の眼球運動を維持する限り、ＮＮは、この眼球運動を選択マトリックスの周辺に位置する文字、記号、またはオブジェクトの集合を選択するものとして認識することができる。
ユーザの解剖学的構造、眼筋の生理機能および認知処理に基づいて、特定の位置に向ける眼球運動に関する経路および速度プロファイルは、異なるユーザによって大幅に異なる可能性がある。類推すると、異なる人は、一般的に異なる運動歩容で歩き、異なるパターンの腕動きで野球を投げる。異なるユーザは、視線で異なる種類の文字および単語を入力するときに、異なるパターンの「視線歩容」を示すことができる。異なるユーザは、ユーザの環境を単純に捜索するための衝動性動眼に比べて、意図的な衝動性動眼中に異なる「視線歩容」を示すこともできる。ターゲット位置に向けた眼球運動の距離および方向（すなわち、完全なパターン）は、ユーザ特有の注視プロファイルに影響を与える可能性がある。ＮＮおよび／または他のアルゴリズム法は、このような違いを考慮して、選択を行った時間および／または特定の眼球運動の「意図」の程度を決定することができる。個人に対して訓練または較正された神経ネットまたはアルゴリズム法は、一般的に、集団平均に基づく方法よりも堅牢である。
（文字単位またはキー単位の選択に制限されなく）一連の眼球運動を生成および認識する能力は、迅速な視線入力の基礎である。手動入力の速いタイピストは、一連の文字を繋ぐための指の動きを制御する（一般的に小脳に由来すると考えられる）所謂筋肉記憶を使用する。このような入力は、（多くの反復練習によって）意識的な努力を減らす。
同様に、記憶型衝動性動眼を用いて、視線入力中に共通の文字列を繋ぐことができる。例えば、単語「the」は、この単語を構成する３つの文字に精確に注視できない一連の眼球運動を伴い得る。しかしながら、単語「the」の入力に関連する眼球運動が一貫している限り、これらの眼球運動を認識して、関連する結果として単語「the」を生成する。同様の方法を用いて、結合して文章を形成する音節、単語、語句、長文、または概念を分類することができる。
個々の文字、文字のグループ、音節、単語、語句および／または文章に関連する眼球運動を認識するように、神経ネットワークを訓練することができる。認識された個々の文字、文字のグループ、音節、単語、語句および／または文章は、以前に認識されたおよび／または格納された文字列に連結（すなわち、追加）することができる。これらの文字列は、入力ドキュメントの一部を形成してもよく、および／または他の形態の操作に対するコンポーネントまたは入力であってもよい。
追加の実施形態において、必要に応じて、視線入力は、通常単語間に入れるスペース、句読点（例えば、コンマ、ピリオド、セミコロン、疑問符）、および／または語句および文章を形成するために使用される他の要素（例えば、引用符、括弧、大括弧）の挿入を省くことができる。これらの要素は、他の入力システムにおいて、一般的に選択メニュー（例えば、キーボード）の重要な部分を占め、および／または異なる選択メニューおよび／または配置に前後切り替えることによって入力処理の流れを乱す（すなわち、認知負荷を増加させる）。
例示的な実施形態において、このような単語間のスペース、句読点および他の文法要素を挿入するアルゴリズムを導入することができる。これらのアルゴリズムは、所謂現在の「スペルチェッカ」または「文法チェッカ」と類似している。しかしながら、スペースが通常単語間に入れてないことおよび／または句読点が通常欠けていることを具体的に考慮するように、視線入力アルゴリズムを開発する必要がある。迅速な視線入力プロセスに特有の特徴をテキストに挿入すると、システムは、より一般的なスペルチェックおよび文法チェックと同様の操作を行うことができる。
例示的な実施形態において、視線入力した文章の機械に基づく補正は、視線入力プロセスの特性を考慮する必要がある。特性は、１つ以上の衝動性動眼に関連する「確信度」を含む。確信度は、特定の文字または文字列を入力した確信に対する評価を示し、「意図」に対する評価レベルを含むことができる。これらの評価は、既知の文字列を入力する時に過去または記録された眼球運動と、監視された眼球運動との類似度に依存する。
視線入力は、キーボード（または他の選択マトリクス）配置に関連して測定された眼球運動に基づいて、代替文字または文字セットを機械に基づく補正アルゴリズムに提供することもできる。例えば、眼球運動が主に文字「ｔ」に向けられているように見えるときに、目の視線が（標準的なＱＷＥＲＴＹキーボード配置上の）文字「ｔ」のターゲット位置の左に少し向けられた場合、装置ユーザが実際に意図した文字が「ｒ」である可能性がある。視線入力した文字の「最良の推定値」だけでなく、測定された眼球運動に基づいて１つ以上の代替文字または文字列および／または確信度を補正アルゴリズムに与えることによって、エラー訂正を行う時に、１つ以上の代替文字を考慮することができる。
追加の実施形態において、視線入力は、必要に応じて、大文字の入力を避けることができる。大文字は、選択メニューの大部分を占有し、および／または異なる文字セットの切換えによって、入力プロセスの流れを妨げることができる。アルゴリズムを含むことによって、適切な位置（例えば、文章の始め、適切な名前、特定の頭字語）に大文字を入力することができる。
いくつかの状況において、必要に応じて、数字の入力は、数字キーパッドと同様のメニューを用いて行うことができる。この方法は、計算器またはスプレッドシートを用いて多くの数値を数字として入力する場合、より効率的である。同様に、有限数の要素のリスト（例えば、州、市、国、住所、月、年、色、フォントのリスト）からの１つ以上の要素の選択は、切り替え可能なメニュー選択を表示することによって、より効率的に行うことができる。
しかしながら、必要に応じて、一般化テキストの迅速入力を行うために、数字キーパッドを提供せず、偶にしか現れない数字を「入力する」（すなわち、スペルアウトする）方がより効率的である。後処理アルゴリズムを含むことによって、このような数値語をチェックし、適切なときに数字に変換することができる。例えば、最終に入力された文章において、「一七七六」または「千七百七十六」を「１７７６」として表示することができる。
例示的な実施形態において、視線入力を行うタイピストによって使用され得る別の任意の要素は、各単語または文章の終わりに短い「一時停止」を挿入する能力である。一時停止は、特定の機能文字の認識または特定の機能文字に視線の停留を示せず、むしろ、一時停止は、単語、語句または文章の終わりを示す指示メカニズムと、視線入力を行うタイピストが次の単語または語句に進むために思想を集中させる短い時間との両方として機能することができる。経験によれば、この方法は、視線入力のペースを取るための自然で快適な方法である。
まとめると、現代の文法チェッカおよびスペルチェッカのアルゴリズムに比べて、視線で入力した文字列の意図の機械に基づく識別をより前向き（proactive）になるように設計することができる。意図の識別は、一般的に、スペース、大文字および句読点が自動的に挿入されたことを前提とする。視線入力したコンテンツの書式設定は、文体スタイルに一致するように、見出しおよび段落の自動挿入、数字または他の記号の変換を含む。不適切な単語または語句が現れた場合に、標準的な文法ルールまたは辞書に基づいた訂正に加えて、特定の文字または文字列の信頼度並びにキーボード配置に基づいた代替の組み合わせを考慮してもよい。
追加の実施形態において、必要に応じて、視線入力は、任意の数の「ショートカット」を含むことができる。ショートカットは、長い列の文字、言葉、文章または画像を表す視線入力用の特殊記号または文字列を含む。また、ショートカットは、特定の識別可能な眼球運動（例えば、内斜視操縦、ディスプレイから特定の方向に沿った脇見、文字選択に関連しない急速な衝動性動眼シーケンス）、または眼の周囲領域の動き（例えば、片方または両方の眼瞼の動き、寄り目、目の部分閉じまたは完全閉じ）。
このようなショートカットを使用して、共通単語または語句（例えば、名前、挨拶、頻繁に尋ねられる質問の回答）、チェックリストなどのような共通質問の回答、および／または会話の一部として含まれ得る画像を迅速に挿入することができる。ショートカット（すなわち、特殊記号の視線選択）を使用して、キーボード配置を切り替えることもできる。このようなメニューの切り替えは、数字キーパッドを使用した数値の入力、有限数の要素（例えば、年、月、日）からなる選択シーケンスを使用した日付の入力、および類似のデータ入力などの状況に適用することができる。しかしながら、上述したように、メニューの切り替えは、一般的に、他の中断されない視線入力よりも遅い。したがって、視線入力の速度を最適に維持するために、メニューの頻繁切り替えを避けるべきである。
さらに関連する実施形態において、ユーザは、データおよび／またはコンセプの入力速度の向上を支援するために、必要に応じて、単語、音節、語句、文章、画像および／または記号または機能の任意の所定シーケンス（または同様の種類のデータ入力）の所謂「自動充填」または自動完成を含むことができる。現在の自動充填実装とは異なり、視覚信号による１つ以上の自動充填選択肢の表示および選択は、ユーザが視線をディスプレイ上の１つ以上の自動充填作動位置に移動した場合に限り行われる。ユーザが視線を作動位置に移動した場合に限り、選択項目が表示される。これによって、現在の（視線誘導型ではない）自動充填実装の共通特徴である、入力処理中に多数の単語補完選択肢を見るために必要とされる数多くの注意分散（すなわち、検索、検査）眼球運動を回避することができる。
さらに、１つ以上の可能な選択肢は、（ユーザの現在の視線方向を考慮て）ユーザの中心窩視野に表示される。このようにして、可能な選択肢を探すための眼球運動をさらに行う必要がない。選択肢をユーザの中心窩視野に表示することによって、表示される選択肢のサイズおよび／または選択肢の数を制限することができる。選択は、可能な選択肢の拡大表現（本明細書の他の箇所に記載）を追従することによって、または選択肢から作動ターゲットに向かって視線を移動することによって、行うことができる。
さらに、熟練したユーザは、所望の選択肢、特に共通単語、語句および／またはデータ入力要素の選択肢が明らかに利用可能である可能性が高い場合に、自動充填機構を呼び出す最適な時間を学習することができる。さらに、選択肢は、完全な語句、完全な名前、挨拶、共通のデータ入力要素などを含むことができる。これらの方法を組み合わせることによって、視線入力の速度を大幅に向上させるこｔができる。
回帰神経回路網を使用した意図の識別
深部神経回路網を含む機械学習技術は、眼球運動のコースを（事前に）予測または予想するだけでなく、視覚信号および他の眼球運動の意図の識別に特に有用である。装置着用者の意図を予測および識別する方法は、２０１５年５月９日に出願され、「実在オブジェクトおよび仮想オブジェクトと対話するための生体力学的に基づく視覚信号用のシステムおよび方法」と題された特許出願第１４／７０８２３４号に記載されている。当該出願の全体は、参照により本明細書に組み込まれる。開示され方法において、眼球運動の最近の履歴が、バッファに入れられ、神経ネットワークの入力（例えば、先入れ先出し）として使用される。
深部神経回路網を含む機械学習技術は、眼球運動のコースを（事前に）予測または予想するだけでなく、視覚信号および他の眼球運動の意図の識別に特に有用である。装置着用者の意図を予測および識別する方法は、２０１５年５月９日に出願され、「実在オブジェクトおよび仮想オブジェクトと対話するための生体力学的に基づく視覚信号用のシステムおよび方法」と題された特許出願第１４／７０８２３４号に記載されている。当該出願の全体は、参照により本明細書に組み込まれる。開示され方法において、眼球運動の最近の履歴が、バッファに入れられ、神経ネットワークの入力（例えば、先入れ先出し）として使用される。
別の実施形態は、回帰神経ネットワークの使用を含む。回帰神経ネットワークは、接続内に反復サイクルが存在するように、（「バック」方向に沿って）相互接続された神経ネットワークの一種である。これらの相互接続によって、最近の「メモリ」をネットワーク自体に組み込むことが可能になる。このような構造は、眼球運動の明示的な履歴を（上述した）入力ノードに供給する必要性を排除することができる。むしろ、各眼球運動が測定され、順次にネットワークに供給され、最近の運動履歴の相互作用および重みがネットワーク学習プロセスによって決定される。
眼球運動の最近の履歴は、上述した視線入力中に意図を識別する際に特に有用である。迅速な視線入力中に意図の識別は、文字単位の入力だけでなく、コンテンツ入力時に２つ以上の文字、完全な単語および／または完全な語句の組み合わせに関連する識別可能な一連の眼球運動を含む。さらに、音節、単語間のギャップ、カンマに関連するものを含む句読点が通常発生する位置、および文章の末尾に関連する眼球運動（必要に応じて、眼球運動の一時停止を含む）を識別することができる。したがって、例示的な実施形態において、視線入力時の意図を識別するために使用された神経ネットアーキテクチャは、拡張された語句および短い停止（すなわち、約２０秒まで）を組み込むのに十分な履歴を含むことができる。
装置着用者の環境内のボタンおよびつまみ
追加の例示的な実施形態において、「仮想ボタン」または物理ボタンは、装置着用者の視野内の任意の認識可能な表面上に表示され、「仮想的に押される」または作動されることができる。「仮想ボタン」は、標準的なキーボード、数字パッド、壁スイッチなどに見られる機能と同様の機能を行うことができ、視覚信号言語内のターゲットアイコンに関連する補助機能を行うことができる。さらに、入力は、例えば、スピーカ音量を選択するための入力として使用される「スライダ」のように、連続的に可変であってもよい。仮想ボタンおよび／またはつまみの要素は、制御面を移動させる能力または（制御面に対して）装置ユーザを移動させる能力を含む。制御面の画像認識を使用する場合、仮想ボタンおよび他のつまみの位置は、制御面に対して不動のままであってもよい。
追加の例示的な実施形態において、「仮想ボタン」または物理ボタンは、装置着用者の視野内の任意の認識可能な表面上に表示され、「仮想的に押される」または作動されることができる。「仮想ボタン」は、標準的なキーボード、数字パッド、壁スイッチなどに見られる機能と同様の機能を行うことができ、視覚信号言語内のターゲットアイコンに関連する補助機能を行うことができる。さらに、入力は、例えば、スピーカ音量を選択するための入力として使用される「スライダ」のように、連続的に可変であってもよい。仮想ボタンおよび／またはつまみの要素は、制御面を移動させる能力または（制御面に対して）装置ユーザを移動させる能力を含む。制御面の画像認識を使用する場合、仮想ボタンおよび他のつまみの位置は、制御面に対して不動のままであってもよい。
シーンカメラを用いて、基準面の位置（例えば、エッジ、色の変化、スポット、パターン）に関連して配置された仮想ボタン、物理ボタンおよび連続つまみと共に、制御面を認識することができる。装置ユーザがボタンの領域を見ながら、制御面上の仮想ボタン／つまみを仮想的に「押圧」または「スライド」する時に限り、作動を行う。画像処理技術を用いて、１本以上の指が制御面を押した（すなわち、２進制御）または制御面に沿ってスライドした（すなわち、連続的な制御）か否かを認識することによって、作動を判断する。
便利な「仮想制御面」の一例として、装置ユーザの腕の皮膚表面が挙げられる。手首および肘に沿った腕の側面は、反対側の手の指でタッチ操作および摺動操作を行うための基準位置を提供する。このような制御の一例として、例えば、装置ユーザの手首に最も近い仮想ボタンを押圧することによって、装置による（テキストを音声に変換するソフトウェアを用いて）最近のテキストメッセージの発声を（フリップフロップ方式で）開始および停止することができる。腕の中間部分の仮想スライダを用いて、音声ボリュームを制御することができる。肘に近い仮想ボタンを用いて、一連のテキストメッセージを「スキップする」またはテキストメッセージに「戻る」ことができる。仮想ボタンを含むアームが移動する場合、装置着用者が移動する場合、および／または装置着用者の頭部および眼球の両方が移動する（例えば、前庭眼反射）場合であっても、このような操作を行うことができる。
「制御面」（すなわち、物理的なオブジェクトまたは表面と仮想つまみとの組み合わせ）の別の例として、通常会議室および劇場に配置され、画像を投影するためのホワイトボードが挙げられる。シーンカメラを用いて、基準位置（例えば、ホワイトボードのエッジ）を決定することによって、制御面を特定することができる。制御面に注視することによっておよび１本以上の指で制御面をタッチするまたは制御面に沿ってスライドすることによって、入力を特定することができ、これによって、アプリケーションの制御および他の操作を行うことができる。
追加の実施形態において、制御面または「作動」面にオブジェクトまたは記号（例えば、図画、文字、グラフィックス）を設けることができる。例えば、ホワイトボードまたは他の表面に任意の記号を描画し、次いで、視覚信号言語または他の入力手段を用いて「意味」または関連する動作を割り当てることができる。例えば、表面上に文字「Ｗ」を描画し、「Ｗ」に対する作動（例えば、注視または指押し）があった場合、一連のコマンドを実行することによって、現在の「天気」を表示することができる。代わりに、認識可能な図形（例えば、「Ｗ」）または物理的なオブジェクトに動作（例えば、現在天気の表示）を事前に割り当てることができる。
別の例として、例えば、紙またはプラスチックで支持された発光接着剤（すなわち、「ステッカー」）を用いて、色付き点、記号、またはカットアウト（以下、アイコン記号と総称する）を装置ユーザの腕などの表面に（例えば、一時的に）貼り付けるまたは接着することができる。様々な作業を行うように、異なるアイコン記号に割り当てることができる。これらのアイコン記号は、装置着用者の視野の任意位置に配置することができる。これによって、装置着用者は、制御入力が豊富な環境を形成し、カスタマイズすることができる。
上述したように、仮想つまみまたは（物理的な）アイコン記号に関連する動作は、予め記号および／または相対位置に割り当てることができ、使用中に記号および／または相対位置に割り当てることができ、または両方の組み合わせによって割り当てることができる。仮想つまみまたは実在つまみに動作を割り当てるときに、コンテキストを考慮することもできる。例えば、テキストメッセージを表示している間、スライダを用いて、音量を制御することができる。しかしながら、写真を表示している場合、（制御面の同一位置に設けられた）スライダを用いて、写真のサムネイルを迅速に閲覧することができる。
追加の実施形態において、遠隔ディスプレイおよび／または拡張現実ヘッドセットのディスプレイを含むディスプレイを用いて、制御または作動を行うことができる。換言すれば、操作を関連付けたオブジェクトが視覚的に特定された場合、ディスプレイ上の１つ以上の仮想ターゲットに対する１つ以上の衝動性動眼（または他の眼球運動）を行うことによって、操作を開始することができる。特に拡張現実ヘッドセット内の複数の（別個の操作を引き起こすことができる）別個の作動ターゲットを用いて、環境内の複数のオブジェクトに関連付けた一連の操作を迅速に行うことができる。
通知によってトリガされる状況依存型視覚信号の作動
装着型コンピュータ装置、ポータブルコンピュータ装置および固定型コンピュータ装置において、装置ユーザに着信情報を通知するための一般的な方法は、着信情報をディスプレイ内のサムネイル、タイトル、メッセージの最初の数個の単語および／または他の視覚表示に一時的に重合することである。これらのものは、一般的に、表示装置上の固定位置（例えば、右上角）に形成され、ユーザに周知である。通知は、例えば、着信テキストメッセージ、電話メッセージ、電子メール、警告、目覚通知、カレンダイベント、更新サービス、データストリーム（例えば、天気、株式市場レポート、ＧＰＳの位置）の重要な変更を含むことができる。本発明のシステムおよび方法を用いて、これらのコンピュータ装置は、時間依存方式で、ディスプレイ上の領域に時間依存情報を「共有」することができる。
装着型コンピュータ装置、ポータブルコンピュータ装置および固定型コンピュータ装置において、装置ユーザに着信情報を通知するための一般的な方法は、着信情報をディスプレイ内のサムネイル、タイトル、メッセージの最初の数個の単語および／または他の視覚表示に一時的に重合することである。これらのものは、一般的に、表示装置上の固定位置（例えば、右上角）に形成され、ユーザに周知である。通知は、例えば、着信テキストメッセージ、電話メッセージ、電子メール、警告、目覚通知、カレンダイベント、更新サービス、データストリーム（例えば、天気、株式市場レポート、ＧＰＳの位置）の重要な変更を含むことができる。本発明のシステムおよび方法を用いて、これらのコンピュータ装置は、時間依存方式で、ディスプレイ上の領域に時間依存情報を「共有」することができる。
このような通知は、一般的に、装置ユーザの迅速な一瞥（すなわち、一時的な通知の位置に向かう衝動性動眼およびその位置から離れる衝動性動眼の両方）を引き起こす。ユーザは、一瞥によって、通知に反応することができる。視覚信号言語は、このような一時的な通知に応じた「作動」を可能にすることによって、着信情報に効率的に反応する機会を提供する。作動は、一時的な通知の位置から「作動」ターゲットに視線を移動する衝動性動眼によって行われる。ユーザが通知位置から非作動ターゲット位置に視線を移動した場合（例えば、視線を元の作業に戻した場合）または衝動性動眼を行う前に通知が消えた場合、作動は行われない。
作動は、状況に依存してもよい。すなわち、通知内のデータ種類に応じて、適切なソフトウェアツールを起動することができる。例えば、電子メールの受信通知を有効にすると、電子メールの読み上げおよび表示を行うためのソフトウェアの作動および／または起動を引き起こすことができる。着信テキストメッセージは、テキストメッセージの表示およびそれに対する応答を行うためのソフトウェアの作動および／または起動を引き起こすことができる。カレンダイベントの通知を有効にすると、イベントに関する詳細を表示することができ、イベントの参加に関する応答を送信することができる。
選択厳密性の動的制御
多数の条件は、視覚信号（例えば、衝動性動眼、滑動性追跡眼球運動）言語要素を正確に生成するためのユーザの能力に影響を与えることができる。同様に、多数の条件は、眼球運動を精確に測定し、識別するための装置の能力に影響を与えることができる。場合によって、例えば、でこぼこ道路で運転をするとき、バスまたは自転車に乗っるとき、ボートを操縦しているとき、スキーをしているとき、走っているとき、単に歩いているときに、ユーザおよび装置性能の両が影響を受ける可能性もある。
多数の条件は、視覚信号（例えば、衝動性動眼、滑動性追跡眼球運動）言語要素を正確に生成するためのユーザの能力に影響を与えることができる。同様に、多数の条件は、眼球運動を精確に測定し、識別するための装置の能力に影響を与えることができる。場合によって、例えば、でこぼこ道路で運転をするとき、バスまたは自転車に乗っるとき、ボートを操縦しているとき、スキーをしているとき、走っているとき、単に歩いているときに、ユーザおよび装置性能の両が影響を受ける可能性もある。
これらの条件の下、言語要素の識別精度に影響を与える主な原因は、加速度と、圧縮可能な表面によって支持された圧縮可能な物体または少なくとも１つの自由度で自由に移動できる物体を移動できる合成力（ニュートン法則によって、力は、物体の質量に比例する）との積である。片目または両目に加速度を加えた場合、これらの３つのメカニズムの全ては、ユーザの眼球運動システムによって決められた生理学的制御（意図的な制御を含む）を超えて、眼球を動かす可能性がある。ユーザの頭部領域の加速度は、眼球（特に、眼球の流体充満領域）を圧迫することができ、眼球を眼窩内または眼窩外に押すことができ、および／または眼窩内で眼球を（垂直および／または水平に）回転させることができる。これらの動きは、一般的にわずかであるが、視線推定に関わる幾何学によって、意図的な眼球運動の精確な追跡に大きな影響を与えることができる。
同様に、頭部装着装置または他の装置に加速度を加えた場合、装置自体の一部が撓むことによって、装置とユーザとの間の接触点（例えば、鼻、耳の上方）または全てを圧迫することができ、または装置が滑ることによって、眼球位置を検知する検出装置（例えば、１つ以上のカメラ）の相対位置を変化させることができる。眼球位置を検知する検出装置が携帯電話またはタブレットに取り付けられているおよび／またはユーザによって保持されている場合、状況は一般的に悪くなる。１つ以上の検出装置を含む装置の質量および装置を保持することに関与するテコ作用は、力を増加させ、片目または両目に対する装置の動きを増加させることができる。
視覚信号言語要素の識別精度に影響を与える可能性のある他の条件は、環境照明（屋内対屋外）、瞳孔のサイズおよび応答性、睫毛および／または他の障害物の瞬間位置、日常活動（例えば、寝起き、真昼に明るい環境にいる、夜遅く）に伴って変化し得る眼瞼の通常位置を含む。
例示的な実施形態において、視覚信号言語の選択およびその他の構成要素を作成する厳密性は、予期の視線追跡精度に依存して、動的に変更することができる。装置によって監視され得る外部条件に加えて、ユーザが装置を使用する経験、（例えば、ユーザによって行われた「復帰」操作または他の訂正操作によって決められた）ユーザの過去の精度、時間（典型的な一日に対する履歴の推定精度に基づくこともできる）ユーザが（例えば、視覚信号言語を用いて）指定した好み設定に依存して、厳密性を変更することができる。
頭部装着装置を着用するときに、頭部領域に適用された加速度の大きさおよび頻度は、頭部装着装置に１つ以上の加速度計を埋め込むこと、眼球を監視する１つ以上のカメラを用いて眼球および瞳孔の急な側方運動を検出すること、および／または１つ以上の外向きシーンカメラを用いて画像内の環境の全体的な動きを捕捉することを含む多くの方法を用いて、推定することができる。
後者の方法は、一定の時間に亘って１つ以上のシーンカメラから撮影された画像を比較することによって、画像内の背景が頭部動作と一致して並進（画像内の少量の回転運動が可能である）移動したか否かを判断することができる。（装置ユーザの頭部に取り付けられている）シーンカメラの角速度は、背景が１つのカメラ画像から次のカメラ画像に（単位時間で）並進移動した距離にほぼ比例する。画像内の背景の移動は、画像認識技術を用いて、装置ユーザに対して移動し得る個々のオブジェクトの移動から分離されてもよい。
環境照明（および追跡精度に与える影響）は、視線を追跡する検出装置内の全体的な輝度レベルまたは装置内に埋め込まれた１つ以上の環境光検出装置（例えば、フォトダイオード）からの全体的な輝度レベルから推定することができる。環境照明は、１つ以上のシーンカメラから撮影された画像に基づいて推定することもできる。
例示的な実施形態において、多くの方法を利用して、選択を行うための厳密性を変更することができる。これらの方法は、単独でまたは組み合わせて使用することができる。これらの方法は、視覚信号メニュー選択のサブセットまたは個々の選択に全体的に適用することができる。
選択の厳密性を調整する比較的簡単な方法は、選択を行う空間的な目標範囲の制御を含む。殆どの場合、うまく設計された目標オブジェクトは、ユーザの視線を目標オブジェクトの最適（通常中央）位置に導くための中心焦点（区別可能な明暗度、明るさおよび色を有する）を含む。特定の選択を行うためのターゲット空間範囲に視線を移動した場合、アルゴリズムは、その眼球運動が視覚信号言語の意図的な要素であることを判断することができる。
空間的な目標範囲は、円形、楕円形、正方形、または長方形を含む任意の形状とすることができる。空間的な目標範囲のサイズおよび／または形状を制御することによって、厳密性を調整することができる。一般的に、目標範囲のサイズを減少すると、ターゲット選択の厳密性が増大し、精確な注視位置を決定する不確実性が増加するため、不注意による作動の回数が減少する。逆に、より理想的な眼球運動を記録する条件下、目標範囲のサイズが増加すると、正確な眼球運動を行う必要性が減少するため、ユーザがより迅速に視覚信号運動を生成し、認知負荷を低減させることができる。
厳密性は、検出された眼球運動の時間範囲を制御することによって、調整することができる。例えば、精確な視線追跡を行うための条件が最適である時間に、衝動性動眼の注視位置の予測および衝動性動眼の視線が作動ターゲット領域に注視するという決定をより早く行うことができる。これによって、その後の視覚信号言語要素の変更をより迅速に行うことが可能になる。その結果、ターゲット位置のアイコンまたはオブジェクトを変更するまたは除去することによって、ギャップ効果を生成することができる。「公開」選択処理の間に、殆どまたは全く遅延せず、追加のメニュー選択を提示することができる。さらに、画面上で「公開」メニューを利用できる長さは、より精確な視線追跡が利用可能な場合に低減され得る（すなわち、より精確な視線追跡によって促進される）。
一般的に、測定値に不確実性がある場合、測定値を複数回測定し、測定値を平均化することによって、精度を向上させることができる（測定されている項目が測定時間内に比較的静止している場合）。このような統計学的手法は、以下でより詳細に説明する所謂「厳密性マップ」を考慮することができる。理想的な記録条件ではない場合、ユーザに注視されている実在オブジェクトまたは仮想オブジェクト（またはオブジェクトの一部）を確実に識別するために、より多くの眼球位置の測定（すなわち、検出装置による画像フレームの収集）を行う必要がある。この方法は、２つ以上の近接オブジェクトが存在する状況に特に有用である。
更なる例示的な実施形態において、高い厳密性条件の場合、視覚信号選択および作動プロセスの間に、より多くの測定を検討する必要がある。逆に、低い厳密性条件の場合、より少ない測定を行うことによって、予定の信頼度を達成することができ、シーケンシャル視覚信号をより迅速に行うことができる。厳密性の計算に使用される上記の条件に加えて、眼球位置が実質的に静止していると予想されるときの測定値の変化レベルを用いて、測定値内の「ノイズ」の大きさを推定することができる。ノイズが増加する場合、空間測定値の確実性の低下を補うために、厳密性を増加させる必要がある。
不注意な作動（ＩＡ）の回避
視覚信号言語に関する殆どの記述は、様々な操作を選択して行うプロセスに集中しているが、いわゆる不注意な作動（ＩＡ）の回避も検討する必要がある。ＩＡは、装置着用者の意図しない操作の実行を引き起こす１つ以上の眼球運動から生じる。例えば、ＩＡは、選択シーケンスと重複し、選択シーケンスとして解釈される実在オブジェクトを見ることに関わる眼球運動から生じることがある。別の例は、ユーザの注意が意図的な視線選択および／または作動シーケンスの特徴を模倣する注意分散な眼球運動を生成する、ユーザに「叫ぶ」オブジェクトを表示することを含む。
視覚信号言語に関する殆どの記述は、様々な操作を選択して行うプロセスに集中しているが、いわゆる不注意な作動（ＩＡ）の回避も検討する必要がある。ＩＡは、装置着用者の意図しない操作の実行を引き起こす１つ以上の眼球運動から生じる。例えば、ＩＡは、選択シーケンスと重複し、選択シーケンスとして解釈される実在オブジェクトを見ることに関わる眼球運動から生じることがある。別の例は、ユーザの注意が意図的な視線選択および／または作動シーケンスの特徴を模倣する注意分散な眼球運動を生成する、ユーザに「叫ぶ」オブジェクトを表示することを含む。
ＩＡは、いくつかの場合（例えば、ゲームプレイ）に単に迷惑であるが、いくつかの使用例において、ＩＡは、回避しなければならない実質的な危険である。例えば、拡張現実ディスプレイの一部領域に情報の投影を可能にするＩＡは、現実世界の視認を妨害してしまう。このことは、活動を妨害してしまい、機械操作の場合に、危険である。同様に、ＩＡは、予期せぬ音を生成してしまい、装置着用者を驚かせる。
例示的な実施形態において、ＩＡを回避するための方法として、選択および作動を行うプロセスに「摩擦」を加えることである。上述したように、様々な使用例が様々なリスクおよび／またはＩＡによる有効性の喪失を引き起こすため、異なるレベルの摩擦が必要とされる。摩擦を増減するための方法は、個々にまたは組み合わせて使用して、広い範囲の摩擦レベルを生成することができる。摩擦レベルは、個々の選択および／または作動シーケンスに対して予め設定されてもよく、または、視覚信号言語の内容、ユーザの経験、ＩＡの最新記録、最近の眼球運動の速度などの要因に基づいて動的に調整されてもよい。
上述したように、視覚信号の摩擦を制御する最も簡単な方法は、眼球運動の目標領域のサイズおよび形状の制御である。一般的に、目標領域のサイズを小さくすると摩擦が増大し、ＩＡの数が減少する。目標領域のサイズの縮小は、眼球運動が１つ以上のターゲットを「見逃す」ことによっていくつかの選択または作動シーケンスの不出来を犠牲にして実行される。その結果、視覚信号言語シーケンスを遅らせる（および困らせる）可能性がある。したがって、物理追跡の精度に影響を与える可能性のある（上記の）環境条件に加えて、ターゲットの見逃し回数およびその後の再試行回数（同一のターゲットの方向に向けて重複に行った成功の眼球運動および不成功の眼球運動）に基づいて、厳密性を動的に変更することができる。
更なる実施形態において、ＩＡを回避するために適用された摩擦は、眼球運動の正確な分析に依存し得る。ある位置の特定のオブジェクトの意図的な観察は、しばしば所謂矯正的な衝動性動眼を伴う。このような衝動性動眼によって、観察者の視線は、観察しているオブジェクトにより正確に指向する。矯正的な衝動性動眼は、オブジェクトを観察する意図を表すため、「意図的な」ものとして解釈することができる。矯正的な衝動性動眼を用いて、領域内のオブジェクトを選択するための摩擦を減少することができる。
同様に、長い距離に亘る衝動性動眼は、ターゲットをアンダーシュートする傾向があるため、ターゲット位置に焦点を絞るように、同一方向の矯正的な衝動性動眼を必要とする。視覚信号言語は、長い距離の衝動性動眼の軌道を外挿することによって、この傾向を認識することができる。長い距離の衝動性動眼がターゲットに向けられているがアンダーシュートする（多くの場合、最大２０％）場合、視覚信号言語は、ターゲットが選択される（摩擦を低減する）と見なし、選択に関連する操作を行う。また、必要に応じて、システムは、初期の衝動性動眼の注視位置と投影されたターゲットとの間に可能なターゲットがないことを確認して、初期衝動性動眼の後に、投影されたターゲットに向ける１つ以上の矯正的な衝動性動眼が続く可能性があることを確認する。
逆に、短い距離の衝動性動眼は、意図した注視位置をオーバーシュートする傾向がある。長い距離の衝動性動眼と同様に、視覚信号言語は、この傾向を考慮することができる。短い距離の衝動性動眼が検出され、ターゲットが（最大約２０％で）短縮されたターゲット経路内にある場合、ターゲットが選択されると見なし、摩擦を低減し、選択に関連する操作を行うことができる。
衝動性動眼中に移動した距離に基づいて、ターゲットをアンダーシュートまたはオーバーシュートする傾向を認識することは、作動ターゲット（例えば、「スタート」または「公開」ターゲット）に向けられた衝動性動眼などの意図を伝える意図的な眼球運動に特に有用である。さらに、前述したように、衝動性動眼が本質的に「衝撃的」であるため、移動距離および注視位置を予測することができる。したがって、長い距離の衝動性動眼がターゲットをアンダーシュートし、短い距離の衝動性動眼がターゲットをオーバーシュートする傾向は、ユーザの意図をより迅速に特定する要素として予測され得る。
更なる実施形態において、意図的な衝動性動眼の意図したターゲット位置は、測定された（予測された）衝動性動眼の注視位置および衝動性動眼が長い角度距離（例えば＞１０°）を移動したか否かに基づいて計算されてもよい。衝動性動眼が長い角度距離を移動した（または移動すると予測された）場合、測定される衝動性動眼と同一方向（所定の方向範囲内）であるが、衝動性動眼の注視位置を（最大約２０％）超える選択ターゲットは、「選択された」と見なすことができる。このような選択は、その後にターゲットに近づく任意の矯正的な衝動性動眼の前に行うことができ（すなわち、時間を節約する）、またはユーザの視線方向が実際に意図したターゲットに到達していない場合でも行うことができる（すなわち、厳密性を選択的に調整する）。
同様に、衝動性動眼が短い角度距離（例えば、＜５°）で移動した（または移動すると予測された）場合、測定される衝動性動眼と同一方向（所定の方向範囲内）であるが、衝動性動眼によって（最大約２０％）バイパスされた選択ターゲットは、「選択された」と見なすことができる。このような選択は、ターゲットに近づく任意の矯正的な衝動性動眼の前に行うことができ（すなわち、時間を節約する）、またはユーザの視線方向が実際に意図したターゲットに到達していない場合でも行うことができる（すなわち、厳密性を選択的に調整する）。
このような方法は、意図的な眼球運動に基づいて、装置ユーザの意図のより正確且つ迅速な識別を支援することができる。
拡張特徴を有する追跡による選択
視覚解像度（visual resolution）は、画面（例えば、モニタ、ＨＭＤ、タブレット）上に表示されたオブジェクト（例えば、テキスト、記号、スプレッドシートのセル）の特徴サイズを決定するための基準として頻繁に使用される。注視解像度（gaze resolution、すなわち、視線方向に基づいて位置を特定する能力）は、一般的に視覚解像度よりも少なくとも１桁低い。これによって、ユーザの視覚解像度内にあるが、ユーザの注視解像度よりも小さいサイズを有する特徴またはオブジェクトから、視覚信号により１つ以上の位置を選択しなければならない場合、特定の視覚信号言語方法が必要とされる。この状況は、例えば、スプレッドシート内のセルを編集する場合、１次元リストまたは２次元アイコン列にオブジェクトを挿入する場合、または文字列内の単語を置換する場合に発生する。
視覚解像度（visual resolution）は、画面（例えば、モニタ、ＨＭＤ、タブレット）上に表示されたオブジェクト（例えば、テキスト、記号、スプレッドシートのセル）の特徴サイズを決定するための基準として頻繁に使用される。注視解像度（gaze resolution、すなわち、視線方向に基づいて位置を特定する能力）は、一般的に視覚解像度よりも少なくとも１桁低い。これによって、ユーザの視覚解像度内にあるが、ユーザの注視解像度よりも小さいサイズを有する特徴またはオブジェクトから、視覚信号により１つ以上の位置を選択しなければならない場合、特定の視覚信号言語方法が必要とされる。この状況は、例えば、スプレッドシート内のセルを編集する場合、１次元リストまたは２次元アイコン列にオブジェクトを挿入する場合、または文字列内の単語を置換する場合に発生する。
眼球運動の検出および使用は、キーボードまたはマイクを使用する他の入力モードと併用されると、これらの例示的な状況に特に強力である。例えば、スプレッドシートまたはリストに値を入力する場合、モダリティ（例えば、タイピングまたは音声）からデータ入力を抽出すると同時に、視線でスプレッドシートまたはリスト内の位置を指定することを可能にすることによって、データ入力の効率を大いに改善することができる。
例示的な実施形態において、選択可能な特徴が注視解像度よりも小さい状況において視覚信号による選択を可能にする方法は、注視されている領域を拡大または徐々に「ズームイン」することを含む。拡大は、ビデオシーケンスに対して行われた拡大の逐次増加を含む。すなわち、領域および領域内のオブジェクトは、滑動性追跡眼球運動、一連の短い追跡衝動性動眼、またはこれら２つの組み合わせを用いて、特定のオブジェクトまたは拡大されている領域を追跡できる倍率内で拡大される。換言すれば、領域の拡大率のビデオ表示は、眼球運動が領域内のオブジェクトまたは点を容易に追従することができる径方向速度で動くように制限される。一般的な基準として、拡大されている領域内のオブジェクトの移動速度は、約３０°／秒未満に制限される。
領域の拡大または拡張を実行している間に、ユーザは、領域内のオブジェクトを追跡することによって、そのオブジェクトの選択を示すことができる。オブジェクトが所定の時間または距離に亘って追跡された場合、オブジェクトの選択を示すことができ、スイッチまたはキーボードの押下、またはユーザによって生成された可聴信号（例えば、キーワード、語句、クリック）などの他の意図表示を行った場合、オブジェクトの選択を示すことができる。
図３０Ａおよび図３０Ｂは、拡大中に追跡眼球運動を用いてスプレッドシート７００内の特定の「セル」を選択するプロセスを示している。図３０Ａに示すように、例示的なスプレッドシート７００は、ドル値を囲む多くの要素または「セル」７０１を含む。スプレッドシート７００内の各セルのサイズは、実用の時間量（例えば、＜１秒）にユーザの視線を測定できる解像度よりも小さい。（球体７０２ａによって示された）視線の推定位置は、スプレッドシート７０３の左上隅から下方へ２セルと右側へ２セルとの間の領域にある。現時点では、編集（または他の目的）を行うためのセルの特定が不可能である。
その後、個々のオブジェクトを追跡できる速度で、視線の推定位置７０２ａの周りの領域を拡大する。図３０Ｂは、拡大処理中の単一のフレームを示している。拡大された領域７０４は、元のスプレッドシート７００の一部の要素およびオブジェクトを含む。この図において、スプレッドシート内の特定のセルを追跡するための眼球運動の一般的な方向は、矢印７０５によって示される。ユーザの追跡性眼球運動によって、スプレッドシート７０６ａ内の特定のセル、例えば、値＄５．９８を含むセルを特定することができる。セルを特定した後、ユーザは、必要に応じて、セルに対して修正（例えば、削除、編集、コピー、貼り付け）を行うことができる。
領域を徐々に拡大する場合、領域内のオブジェクトおよび特徴は、拡大の中心から離れ、追跡の最大速度を超えてディスプレイ上で移動し始めることがある。この状況に対処するために、時間の関数として、または必要に応じて、領域内の特徴の大きさおよび相対位置、ユーザの経験および／または好みなどの他の因子および時間の関数として、拡大速度または「ズーム」速度を変更することができる。例えば、拡大処理の後期に拡大率を小さくすることによって、拡大される領域の周辺の近くのオブジェクトの速度は、滑動性追跡眼球運動および／または短い衝動性動眼に基づく視線追跡の生理限界内に制限することができる。
別の例示的な実施形態において、異なる方向の拡大率は、異なってもよい。例えば、殆どのユーザにとって、水平方向の眼球運動の範囲は、垂直方向の眼球運動の範囲よりも大きい。したがって、領域の拡大は、垂直方向に比べて水平方向により大きくしてもよい。表示された領域のエッジまたはコーナーに近い領域またはユーザの中心窩視野の領域を拡大する場合に、同様の方法を適用することができる。例えば、エッジまたはコーナーに近い辺または領域は、他の方向の拡大に比べてより遅く拡大されてもよい。その結果、オブジェクトが表示可能な領域から離れる前に、ユーザがオブジェクトを選択するための表示時間が長くなる。
拡大の速度および径方向プロファイルに加えて、拡大処理を左右するもう１つの重要な変数は、拡大の中心位置である。例示的な実施形態において、この中心は、現在の注視位置、最近の注視位置の移動平均（または他の統計値）、または以前に指定された領域、例えば、所謂「公開」操作中に特定された位置であってもよい。
代わりに、視覚信号言語要素（例えば、「公開」または他のメニュー選択）を使用して、眼球運動を連続拡大モードにすることができる。このモードにおいて、ディスプレイの領域は、表示されると同時に、拡大される。拡大しているオブジェクトに追従する場合、そのオブジェクトに基づいて選択を行う。それ以外の場合、画面の異なる領域が注視される時に、選択を行うまでまたは拡大モードをオフにするまで、（通常、最初にゆっくりと）拡大を開始する。
上述の拡大される領域を示す方法に拘わらず、ディスプレイ上のオブジェクトの文脈を用いて、拡大中心の位置を調整または「微調整」することもできる。このような調整は、（拡大中心で引き伸ばされたオブジェクトの一部分ではなく）オブジェクトの全体がユーザの最初の注視方向から異なる方向に沿って外側に放射状に拡大されるように、行われててもよい。
拡大中心の調整は、径方向外側の眼球運動が拡大される全てのオブジェクトを（同様に良好に）追従するように実行されてもよい。このような調整は、特定のオブジェクトが（すなわち、中心にある）移動しないため、または多くの選択可能な近接オブジェクトにクラスタ化されているため、または最初からユーザの注視方向から離れているため、特定のオブジェクトを選択し易いまたは難い状況を避けることができる。
拡大中心の調整は、スプレッドシートから特定のセルを選択するプロセスを用いて、容易に説明することができる。拡大中心を（各セルに対して）スプレッドシートセルの水平方向および垂直方向の両方の中間に位置するように調整することによって、選択可能なセルを概ねユーザの注視位置から径方向に沿って拡大することができる。一例として、図３０Ａに示すように、ユーザの注視位置７０２ａからの拡大中心を、スプレッドシート７００内の水平セルおよび垂直セルの境界７０２ｂの近傍の交点に調整することができる。図３０Ｂに示すように、拡大処理中に、この交点７０２ｂに隣接するセル７０６ａ、７０６ｂ、７０６ｃ、７０６ｄ（および他の遠く離れているセル）のいずれかを追跡および選択することができる。
拡大領域内のオブジェクトを追跡することによって選択を指定する能力は、視覚信号言語の基本的要素である。この方法は、特に視覚信号言語と互換性があるように設計されていない状況においても使用され得る。例えば、（視覚信号に関係なく設計された）ウェブ上のページを閲覧する場合、ユーザは、特定のエリアの拡大および／または選択したい場合がある。このエリアは、１つ以上の選択、ハイパーリンクおよび／またはデータ入力ポイントを含む可能性がある。拡大処理中に眼球運動を用いて所望の要素を追跡することによって、所望の選択、ハイパーリンク、またはデータエントリポイントを有効化することができる。
拡大領域からの選択を行った後、ユーザ対話を進めるために、（コンテキストによって）いくつかの可能なフィードバックモダリティを使用することができる。例えば、１）直ちにディスプレイを拡大直前の状態に戻すことができ、選択された要素を示すように、必要に応じて指示（例えば、フォント、色、輝度の変化）を含むことができる。２）拡大領域は、入力（スプレッドシートのセル、テキストなど）が完了するまで、拡大されたままに維持される。３）更なる選択（すなわち、サブメニューの選択）を可能にするために、追加の移動、拡大および／または選択可能なオブジェクトを拡大領域内に導入してもよい。４）選択の結果によって、画面の内容を別の画面に切換えることができる。
重合されたマーカによる視線選択の増強
更なる例示的な実施形態において、鋭敏な視覚解像度と比較的に低い視線追跡解像度との間の不一致の問題に対処するために、重合されたマーカおよび補助入力を測定される注視位置に結合することによって、ユーザ選択および／作動を効率的に行うことができる。補助入力は、Ｎ個の選択肢から１つの選択肢を指定することができる任意の装置、例えば、キーボード、キーパッド、コンピュータマウス、トラックボール、音声認識用いて特定されたキーワードのうち１つ、スイッチ、点頭、指ジェスチャーまたはハンドジェスチャーなどであってもよい。
更なる例示的な実施形態において、鋭敏な視覚解像度と比較的に低い視線追跡解像度との間の不一致の問題に対処するために、重合されたマーカおよび補助入力を測定される注視位置に結合することによって、ユーザ選択および／作動を効率的に行うことができる。補助入力は、Ｎ個の選択肢から１つの選択肢を指定することができる任意の装置、例えば、キーボード、キーパッド、コンピュータマウス、トラックボール、音声認識用いて特定されたキーワードのうち１つ、スイッチ、点頭、指ジェスチャーまたはハンドジェスチャーなどであってもよい。
視線を用いて、ディスプレイから、ユーザの関心領域の大体位置を指定することができる。眼球運動を用いてこのような領域を特定することは、最小の認知負荷で、迅速に（すなわち、最大９００°／秒の角速度で）領域の大体位置を指定する目の能力を利用している。大体位置が単一の選択可能な項目を含む場合、視覚信号言語内の典型的な作動シーケンス（例えば、「スタート」または「公開」シーケンス）を用いて、作動を進めることができる。しかしながら、視線追跡解像度を超えるまたはそれに近い複数の選択が視線領域に存在する場合、ユーザが特定の選択を示すために追加のステップを行う必要がある。この状況の例として、スプレッドシート内の１つ以上のセル、テキスト本体内の（例えば、削除または挿入）位置、サムネイル画像またはアイコンのグリッド、単語の選択列、チェックリストまたは他の連続項目、ポップダウンメニューなどを挙げることができる。
複数の可能な選択肢を含むディスプレイ上の注視領域は、「候補固視領域」（ＣＦＡ）と呼ばれる。ユーザがＣＦＡを短時間固視すると、ＣＦＡ内の全ての可能な選択肢にマーカを配置することができる。便宜上、マーカは、「重合された」と呼ばれる。しかしながら、マーカは、部分的に透明にされまたは背景に重合されてもよく、ＣＦＡ内のオブジェクトと区別する色または輝度レベルから作成されまたは輪郭だけで示されてもよく、および／またはＣＦＡ内のオブジェクトを完全に遮蔽しないように、類似の方法で示されてもよい。
代替的には、ユーザによって生成された任意の信号を用いて、重合処理を開始することができる。このような信号の例として、キーボード上の任意のキー（例えば、スペースバー）を押すこと、キーワードを発声すること、スイッチを押すことなどを含む。
ＣＦＡに重合されたマーカの例として、数字、文字、（殆どのキーボードに示される）特殊機能、方向矢印、記号、異なる色の斑点、音声を表すオブジェクトなどが挙げられる。ＣＦＡ内の特定の要素の選択は、必要に応じてイベントの作動と共に、所望の要素の上面に重合されたマーカに基づいて指定することによって実行される。例えば、重合されたマーカが数字を含む場合、所望の選択に重合されている（例えば、キーボードまたは数字キーパッド上の）数字を入力することは、選択処理によって（重合された数字の下方の）要素を選択することを示す。
代わりにまたは組み合わせて、重合された文字または色に対応するキーを打つことによって、または重合された記号または単語に対応する音声を発声することによって、選択を行うことができる。記号が方向（例えば、左、右、左上など）を表す場合、特定のキー（例えば、「矢印」キー）または多数のキーのいずれかを使用して、所定の方向を示すことができる。後者の例として、重合された記号が右上方向を示す場合、右上の選択を示すために使用されるキーは、標準の「ＱＷＥＲＴＹ」キーボード上の（右上領域に位置する）「Ｐ」または「Ｏ」キーである。
図３１Ａは、例えばテキストドキュメントの形成中にフォント特性およびカット＆ペーストを制御するために使用され得る９個のワード選択肢からなる３×３グリッド７５０の一例を示している。この例示的な事例において、９個の選択肢からなるＣＦＡグリッド７５０は、ディスプレイの小さい領域で邪魔にならないように形成することができる。測定された注視位置の不確定性は、円形「雲」７５２として示され、グリッド７５０内の各選択要素（例えば、７５１ａ）のサイズを超えている。したがって、単一の眼球運動に基づいて、選択を行うことができない。
図３１Ｂは、図３１Ａに示されたＣＦＡグリッド７５０に重合された９個の選択可能な数字（例えば、７５３ａ、７５３ｂ）を示している。マーカ数字（例えば、７５３ａ、７５３ｂ）は、典型的な数字キーパッドと同様の配置で配置される。キーパッドまたはキーボードが利用可能でない代替の例示的な実施形態において、数字を発話し、その後、当技術分野に周知の音声認識方法を用いて認識することができる。９個の数字うち１つを選択すると、重合数字の下方の単語に関連する操作を実行することができる。例えば、図３１Ｂに示すテーブルを用いて、「７」を選択した（７５３ｂ）場合、後のテキストを入力するための「太字」属性７５４ｂがオンまたはオフに切り換えられる。同様に、「１」を選択した（７５３ａ）場合、システムは、テキスト入力中の文字または単語を「削除」する（７５４ａ）。
図３１Ｃは、図３１Ａに示された３×３選択肢からなるＣＦＡグリッド７５０に重合された記号の代替セットを示している。この場合、方向矢印（例えば、７５５ａ）が可能な選択肢に重合される。その後、方向矢印に関連する個々のキーを押すことによって、またはキーボードまたは他のデータ入力装置上のある基準点に対して矢印の方向にある任意のキーを押すことによって、個々の選択を行うことができる。例えば、標準のＱＷＥＲＴＹキーボードの中心を基準点として使用する場合、文字「Ａ」または「Ｓ」を用いて、図３１Ｃに示されたＣＦＡグリッド内の「取り消し線」機能に関連する最も左側の選択を示すことができる。
選択を行った後、重合されたマーカを消すことができ、および／または同様のキーボードまたは補助装置を使用した追加のエントリを入力として特定の要素に提供することができる。例えば、データ入力プロセスの一部として、英数字をスプレッドシート内の特定のセルに入力することができる。所定の時間で表示した後（すなわち、選択処理を開始しない場合）、またはユーザがディスプレイの別の領域を注視する場合、重合されたマーカを消してもよい。
追加の実施形態において、ディスプレイ上の複数の位置で記号を繰り返すことによってまたは複数の選択可能な項目に（大きな）記号を重ね合わせることによって、重合された各記号に複数の選択を関連付けることができる。この場合、（選択可能な項目が操作を表す場合）複数の操作を実行することができ、複数の項目に操作を適用することができる。重合されたマーカによって増強された視線選択は、何回でも繰り返すことができる。
視線較正および眼の優位性
較正の重要要素は、片目または両目の１つ以上の特徴（例えば、瞳孔、角膜輪部）の位置を、ディスプレイ（例えば、ＨＭＤ、モバイル装置、リモートモニタ）上の注視位置、または装置ユーザの実際の環境内の注視位置に変換するためのマッピングスキーム（例えば、１つ以上の数学関数、ルックアップテーブル、補間方法）を形成することである。較正スキームは、照明源、基準物および／または頭部装着装置上のカメラの既知の相対位置または測定の相対位置に加えて、片目または両目の解剖モデルに基づくことができる。集団平均、装置ユーザの既知特徴（例えば、年齢、民族起源）に基づいた推定、（例えば、較正手順中に）測定された装置着用者の特性、またはこれらのスキームの組み合わせに基づいて、この解剖モデルのパラメータを選定することができる。
較正の重要要素は、片目または両目の１つ以上の特徴（例えば、瞳孔、角膜輪部）の位置を、ディスプレイ（例えば、ＨＭＤ、モバイル装置、リモートモニタ）上の注視位置、または装置ユーザの実際の環境内の注視位置に変換するためのマッピングスキーム（例えば、１つ以上の数学関数、ルックアップテーブル、補間方法）を形成することである。較正スキームは、照明源、基準物および／または頭部装着装置上のカメラの既知の相対位置または測定の相対位置に加えて、片目または両目の解剖モデルに基づくことができる。集団平均、装置ユーザの既知特徴（例えば、年齢、民族起源）に基づいた推定、（例えば、較正手順中に）測定された装置着用者の特性、またはこれらのスキームの組み合わせに基づいて、この解剖モデルのパラメータを選定することができる。
例示的な実施形態において、殆どの録画において両目を追跡するときに、較正および視線追跡スキームに優位眼を考慮する必要がある。優位眼とは、視覚入力を行う時に、他方の目よりも、一方の目を利用する傾向である。優位眼と利き手との間に相関がある。約７０％の人は、右優位眼である。いくつかの場合（例えば、野球を打つ場合の内斜視および利き手）、眼帯または光ディフューザを用いて、優位眼を変更することが可能である。約３０％の人は、左優位眼である。僅かな数の人は、眼の優位性を示さない。
眼の優位性の最も極端な例として、極端な角度で見るときに、鼻梁は、見ている領域から最も離れた目の視界を物理的に妨げることがある。しかしながら、殆どの人は、この角度に到達する前に、よく優位眼をシフトする。通常右優位眼の人は、視界中心の左側を見る時に、左目で見るように切換える。同様に、通常左優位眼の人は、視界中心の右側の領域を見る時に、右目で見るように切換える。個人の間に広い変動が存在するが、平均的に、優位眼から反対側の眼の切り換えは、視野中心から約１５°で行われる。
優位眼を考慮していない場合、非利き眼からのベクトルまたは両目の間の位置または両目の周りの位置に基づいて視線方向を決定する時に、ユーザが認知的に選択したオブジェクトを誤って特定してしまう可能性がある。視線追跡のために装着型装置に使用された近眼ディスプレイ、イルミネータ、および検出装置にとって、優位眼を考慮することは、特に重要である。現在利用可能な視線追跡システムは、左右の眼の測定値の平均値（場合によって、重み付け平均値）を使用する。これらのシステムは、優位眼の空間（特に水平方向）依存性を考慮していない。したがって、較正およびその後の注視位置の決定は、注視位置の関数としての眼の優位性を考慮しなければならず、精確な（例えば、＜２°）注視位置を決定するために個人間の幅広い変動を考慮しなければならない。
例示的な実施形態において、パターンに従って移動しているオブジェクトの連続的な追跡を用いて、１）較正時に使用される（上記で説明した）マッピングスキームのパラメータを決定することができ、２）優位眼を一方の目から他方の目にシフトする遷移ゾーンの位置を決定することができる。円形、矩形、一連の線分、多角形、または丸めたエッジを有する多角形などの幅広いパターンのうち、１つ以上に従って移動している焦点の追跡を使用することができる。
図３２は、「無限大記号」（「連珠形」または「横向きの数字８」とも呼ばれる）のパターン内の焦点の追跡を示している。図３２の破線７２０で表された連珠形の一部は、より多くの点をディスプレイ７２１の水平遠方範囲に配置することによって、水平方向に利用可能なより広い範囲の眼球運動を利用する。この例において、装置着用者は、高明暗度の焦点を含む移動ディスク７２３の中央領域を追従するように指示される。この焦点は、ユーザの注意力を移動ディスク７２３の中心に集中させることができる。装置着用者は、（矢印７２４で示すように）パターンを１回以上繰り返して、連珠形７２０を追跡する。焦点の移動速度は、予め決められてもよく、または例えばディスプレイ７２１の遠方範囲内のより遅い眼球運動を可能にするように、時間および／または位置の関数として変化してもよい。
曲線近似を用いて、測定された眼球位置（例えば、瞳孔または角膜輪部の中心）をディスプレイの位置に変換するマッピング関数の「最適」パラメータを決定することができる。例えば、マッピング関数は、回転範囲が制限された一次式であってもよく、多項式であってもよい。勾配降下などの技術を用いた曲線近似は、当該技術分野において周知である。
較正時に、視線追跡は、表示されたパターン（ｘ、ｙ）の座標が以下のように表される時間の関数として進行する。
（ｘ，ｙ）＝ｆ（ｔ）
式中、ｆ（ｔ）は、追跡パターン（例えば、連珠形、円、長方形）を定義する式である。上述した拡大領域内のオブジェクトの追跡と同様に、ターゲットの速度は、滑動性追跡眼球運動、一連の短い追跡衝動性動眼、またはこれらの２つの組み合わせを用いて追跡できるように制限される。
式中、ｆ（ｔ）は、追跡パターン（例えば、連珠形、円、長方形）を定義する式である。上述した拡大領域内のオブジェクトの追跡と同様に、ターゲットの速度は、滑動性追跡眼球運動、一連の短い追跡衝動性動眼、またはこれらの２つの組み合わせを用いて追跡できるように制限される。
追跡パターンおよび速度に関係なく、追跡ターゲット（図３２の７２３）を表示する時間と、装置ユーザが視覚反応をした時間との間に遅延が存在する。この遅延Δｔは、画像から目の位置座標（ｘｉ，ｙｉ）を取得するときのハードウェアおよびソフトウェアの遅延だけでなく、視神経を介して網膜上で検出された信号を視覚野に伝達する「生物学的」遅延、装置着用者が視覚情報を処理するための認知時間、眼球を動かす筋肉に運動信号を送る時間、および筋肉が力を生成し、その後に検出される眼球運動を引き起こすための時間を含むことができる。目のターゲット位置座標（ｘｔ，ｙｔ）は、次のように表すことができる。
（ｘｔ，ｙｔ）＝ｆ（ｔ−Δｔ）
したがって、目の測定位置を注視位置にマッピングするために使用される最適パラメータに加えて、システム遅延Δｔは、最初に不明である。例示的な実施形態において、初期の曲線近似を行うために、システム平均値に基づいて、初期値（例えば、３０ミリ秒）をΔｔに割り当てることができる。これによって、取得された目の位置座標（ｘｉ，ｙｉ）と初期ターゲット位置座標（ｘｔ，ｙｔ）との間の曲線近似を行うことができる。必要に応じて、マッピングされた目の位置座標（ｘｉ，ｙｉ）を図３２に示された追跡パターンに重合することができる。マッピングされた例示的な座標位置は、×（７２２）によって示される。
したがって、目の測定位置を注視位置にマッピングするために使用される最適パラメータに加えて、システム遅延Δｔは、最初に不明である。例示的な実施形態において、初期の曲線近似を行うために、システム平均値に基づいて、初期値（例えば、３０ミリ秒）をΔｔに割り当てることができる。これによって、取得された目の位置座標（ｘｉ，ｙｉ）と初期ターゲット位置座標（ｘｔ，ｙｔ）との間の曲線近似を行うことができる。必要に応じて、マッピングされた目の位置座標（ｘｉ，ｙｉ）を図３２に示された追跡パターンに重合することができる。マッピングされた例示的な座標位置は、×（７２２）によって示される。
表示された目標パターン（ｘ，ｙ）と対応のマッピングされた座標との相互共分散を計算することによって、相互共分散のピークから、システムの遅延Δｔを測定する（必要におじて、平均化する）ことができる。この時点で、マッピングされた注視位置の外れ値（例えば、表示されたターゲットの全ての測定値の標準偏差の２倍を超えるもの）を廃棄することができる。この排除処理は、時間（すなわち、ｆ（ｔ−Δｔ））およびターゲットとマッピングされた注視座標との間の距離の両方を考慮する。外れ値を廃棄した後、最適パラメータの再決定し、システム遅延を再確定するプロセスを複数回に繰り返すことによって、例えば、目の瞬き、不正確な視線追跡の結果および／または装置着用者の不注意に起因する外れ値をさらに排除することができる。
例示的な実施形態において、上記のプロセスは、左目および右目に対して別々に実行されてもよい。左目または右目のみの使用を確実にするために、ターゲットを一方の目に投影するまたは他方の目によるターゲットの視認をブロックすることができる。その結果、左目および右目を表示座標に別々にマッピングするための較正パラメータ（およびΔｔ）を得ることができる。
精確な較正を保証するために、追跡パターンを複数回に繰り返すことによって、曲線近似を行うための追加のデータポイントを取得することができる。（例えば、相関係数で示された）曲線近似の精度および／または廃棄された外れ値の数に依存して、追跡パターンを繰り返してもよい。
更なる例示的な実施形態において、ターゲットは、その後、両目に同時に投影されてもよい。この場合、（Δｔを考慮して）左目用の眼球位置および較正または右目用の眼球位置および較正が表示された目標パターンにより良く対応するか否かを決定する必要がある。このような比較に基づいて、ディスプレイの異なる領域に眼の優位性を示す視覚「マップ」を構成することができる。
図３３は、視覚優性マップの一例を示している。この例において、目標パターン７３０内の対応する位置と一致する左目の注視位置は、「Ｌ」７３２ａによって表される。ディスプレイ７３１上の目標パターン７３０内の対応する位置と一致する右目の注視位置は、「Ｒ」７３２ｂによって表される。図３３には、３つの異なる領域、すなわち、１）左目の測定および較正がターゲット位置により正確にマッピングする領域７３４ａ、２）右目の測定および較正がターゲット位置により正確にマッピングする領域７３４ｃ、および３）優位眼が混在している「遷移ゾーン」７３４ｂが存在する。
このような優位眼領域の特定によって、眼の位置に依存して、マッピング操作を行うことができる。左目ゾーンに位置をマッピングする場合、左目の較正を使用してもよい。右目ゾーンに位置をマッピングする場合、右目の較正を使用してもよい。図３３に示されていないが、異なるゾーンを決定する際に、眼球の垂直位置を考慮することもできる。さらに、見られているオブジェクトの特徴（例えば、大きさ、輝度）が目の優位性に影響を与える可能性があるという経験的な証拠がある。ディスプレイの特性が既知（例えば、制御されている）場合、左目または右目の較正を使用すべきか否かを決定する際に、これらのディスプレイ特性を考慮してもよい。本明細書に記載のように、これらの考慮事項は、作動ターゲットを設計および表示する際に特に重要であり得る。
図３３に示すように、左目または右目の較正プロセスの選択は、遷移ゾーンにおいて直ちに明らかにならない場合がある。例示的な実施形態において、任意の遷移ゾーンにいくつかの方法を使用することができる。
１．図３３に示すように、垂直ラインの右側の「Ｌ」７３３ａおよびラインの左側の「Ｒ」７３３ｂの総数を最小化するように、水平位置（すなわち、垂直ライン７３５）を計算することができる。この位置は、左優位眼および右優位眼を区別するための閾値として使用される。
２．左目および右目の選択ターゲットが遷移ゾーン内にある場合、左目マッピングおよび右目マッピングの両方を計算することができる。いずれかを選択する場合、選択された操作を行うことができる。このスキームは、不注意な作動をわずかに増加する可能性がある。
３．左眼較正および右眼較正の両方に基づいた平均位置を使用してもよい。
４．左目および右目のマッピングによって示された領域における較正中に左眼の較正位置および右眼の較正位置の重み付けが「Ｌ」および「Ｒ」位置の分布に依存する場合、重み付け平均を使用することができる。
１．図３３に示すように、垂直ラインの右側の「Ｌ」７３３ａおよびラインの左側の「Ｒ」７３３ｂの総数を最小化するように、水平位置（すなわち、垂直ライン７３５）を計算することができる。この位置は、左優位眼および右優位眼を区別するための閾値として使用される。
２．左目および右目の選択ターゲットが遷移ゾーン内にある場合、左目マッピングおよび右目マッピングの両方を計算することができる。いずれかを選択する場合、選択された操作を行うことができる。このスキームは、不注意な作動をわずかに増加する可能性がある。
３．左眼較正および右眼較正の両方に基づいた平均位置を使用してもよい。
４．左目および右目のマッピングによって示された領域における較正中に左眼の較正位置および右眼の較正位置の重み付けが「Ｌ」および「Ｒ」位置の分布に依存する場合、重み付け平均を使用することができる。
ユーザの視軸および視線の較正
所謂「光軸」が「視軸」と異なることは、当該技術分野において周知である。光軸は、光が角膜、瞳孔および水晶体の中心を通って、曲げずに、網膜を含む眼の後壁に到達する線である。視力（およびその後の認知）の中心である黄斑および中心窩は、この光軸から平均５°で鼻側に変位するため、精確な視線追跡を行うために、視軸を光軸から区別することが不可欠である。
所謂「光軸」が「視軸」と異なることは、当該技術分野において周知である。光軸は、光が角膜、瞳孔および水晶体の中心を通って、曲げずに、網膜を含む眼の後壁に到達する線である。視力（およびその後の認知）の中心である黄斑および中心窩は、この光軸から平均５°で鼻側に変位するため、精確な視線追跡を行うために、視軸を光軸から区別することが不可欠である。
視軸を決定する従来の方法は、片目を開いた人の視野にロッドを一列に整列することを含む（腕の長さに保持された鉛筆を用いて、同様の原理を示すことができる）。この場合、ロッドの前面によって（径方向対称的に）遮蔽されるため、ロッドの背面を見ることができない。意図的にこの方向に位置決められると、ロッドの中心軸は、観察者の視軸に沿って指向する。このプロセスは、任意の方向で繰り返すことができる。
例示的な実施形態において、視軸を決定するために、上述した従来のロッドに基づく技術と同様の原理のいくつかを使用するディスプレイに基づく方法は、視野の領域に近視野および遠視野ディスク（または他の任意の形状）を一列に整列することを含む。装置着用者は、遠視野オブジェクトが近視野オブジェクトによって最大に遮蔽されるようにオブジェクトを整列するように指示される。この技術の本質的な要素ではないが、近視野オブジェクトおよび遠視野オブジェクトに異なる色を与えることができる。装置着用者は、近視野オブジェクトを用いて、可能な限り遠視野オブジェクトの色を（径方向対称的に）均一に「隠す」または遮蔽するように指示される。
拡張現実（ＡＲ）の場合、近視野オブジェクトは、ＡＲディスプレイ上に投影された実質的に不透明なディスクまたは他の形状の物体であってもよい。遠視野オブジェクトは、ディスプレイ上（例えば、モバイル装置、タブレット、モニタ）上に表示された仮想オブジェクトまたは実在オブジェクトであってもよい。遠視野オブジェクトがディスプレイ上に表示された仮想オブジェクトである場合、整列プロセス中に、近視野ＡＲオブジェクトまたは遠視野仮想オブジェクトを移動することができる。異なる位置（すなわち、注視方向）でこのプロセスを繰り返すことによって、視軸の複数の測定値を得るための追加の整列を生成することができる。
遠視野実在オブジェクトの場合、オブジェクトは、較正のために装置着用者の環境に意図的に追加されてもよく、またはオブジェクトは、自然な形状を有しまたは装置着用者の環境に認識され得る物体の一部であってもよい。前者の例として、特異に着色された紙ディスク、または接着剤でディスプレイの隅に貼り付けられた１つ以上のＬＥＤ光源によって生成されたパターンを挙げることができる。後者の例として、殆どの表示装置の４隅の「Ｌ字型」（ベゼル）領域を挙げることができる。領域の形状は、外向きカメラまたは所謂「シーン」カメラを使用して得られた画像または形状テンプレートのデータベースに基づいて認識されてもよい。
図３４は、携帯電話またはタブレット７４１などの表示装置の実在の４隅７４８ａ、７４８ｂ、７４８ｃ、７４８ｄが視軸整列ツールとして使用される例を示している。表示装置７４１の隅７４０の構造は、１）このような装置の機械的設計に基づくテンプレートのデータベース、２）装置着用者の環境を視覚化するシーンカメラ７４６および光学装置７４７を用いて取得された画像、または３）データベースがシーンカメラ画像から認識されたオブジェクト（またはオブジェクトの一部）の正確な寸法を提供するように、両者の組み合わせに基づいて認識することができる。
整列オブジェクト７４０またはその一部の形状が認識されると、拡張現実ディスプレイ７４３内の仮想オブジェクト７４２として形状を再構築する。次いで、装置着用者は、指示に基づいて、ディスプレイ７４１または目の位置を、仮想オブジェクト７４２が遠視野オブジェクトを最大限に覆い隠すように整列される位置７４４に移動する。（遠視野オブジェクト７４０に対する）頭部／目の位置７４４において、目７４４の視軸に沿って見たときに、近視野オブジェクト７４２および遠視野オブジェクト７４０の端部は、完全に整列される（７４５ａ、７４５ｂ）。遠視野オブジェクト７４０の中心位置と、対応する近視野オブジェクト７４２の中心位置とは、３次元空間において、装置着用者の目７４４の視軸の中心を通過する線７４９を画定する。
追加の実施形態において、装置着用者は、指示に基づいて、近視野オブジェクト７４２がちょうど遠視野オブジェクト７４０に重ねる（すなわち、正確に同様の大きさを有する）ように、遠視野オブジェクト７４０にさらに近づくおよび／または遠視野オブジェクト７４０から遠ざけるように移動することができる。（例えば、オブジェクトのデータベースに基づいて）遠視野オブジェクト７４０の寸法が既知である場合、近視野オブジェクト７４２の寸法が装置によって管理される（したがって既知である）ため、遠視野オブジェクト７４０と目の視覚中心（すなわち、７４５ａと７４５ｂと７４９との交点）との間の距離は、三角法を用いて計算することができる。この距離によって、光軸７４９に沿った単一の点を選択された目の視野の中心に割り当てることができる。
更なる実施形態において、（頭部装着装置内の仮想基準の表示が９０°、１８０、および２７０°回転される場合）４隅７４８ａ、７４８ｂ、７４８ｃ、７４８ｄまたは他の遠視野基準位置の任意数のうち１つを用いて、視軸整列プロセスを繰り返して行うことができる。（例えば、視野の中心までの距離を決定するための上記の方法を利用しない場合）これらの測定値の各々によって定義された視軸の交点を用いて、特定の装置ユーザの視軸および／または視覚中心の位置を特定するまたは（例えば、より精確に）さらに定義することができる。
さらに別の実施形態において、最近に決定された視軸の中心に対して、装置着用者の目の１つ以上の特定可能な点（例えば、瞳孔の中心、角膜輪部の中心、強膜上の特定可能な血管）の位置を決定することができる。視軸とこれらの特定可能な点との間の差は、その後、「視軸オフセット」とみなされ得る。これによって、装置は、目の１つ以上の特定可能な点の測定値に基づいて、装置着用者の視軸（すなわち、装置着用者が「見ている」方向）を計算することができる。
追加の実施形態において、遠視野オブジェクトは、スクリーン上に表示された仮想オブジェクト（例えば、ディスク、ポリゴン）であってもよい。この場合、ＡＲまたはＭＲ（すなわち、複合現実）頭部装着装置と遠視野表示装置との間で通信を使用して、遠視野仮想オブジェクトの表示特性（例えば、サイズ、位置）を制御することができる。図３４に示された方法と同様の方法を用いて、ユーザの視軸および視覚中心を決定することができる。この較正プロセスにおいて遠視野仮想オブジェクトのサイズ、位置、向きおよび他の特性を制御することによって、装置着用者による整列プロセスをさらに支援することができる。
更なる実施形態において、最初に閉じた目を開き、開いた目を閉じることによって、上記のプロセスを繰り返すことによって、各目の視覚中心を決定することができる。ビデオストリームを各目に別々に投影する機構において、一方の目に対する評価を行っている間に、他方の目に投影されるビデオストリームをオフにするまたは静止にする。視線計算に両眼の視軸の測定値を含むことによって、視線精度、特に両眼離反運動を伴う視線精度を向上することができる。
両目が開いた状態で、視軸を測定するプロセスをさらに繰り返してもよい。この場合、いくつかの視線方向および一部の視距離において、上述したように（個人間にばらつきがあるため）、測定を優位眼に割り当てることができる。（一般的にまっすぐ前方に見えている）他の視線方向および（一般的に頭部から離れた）距離において、所謂「自我中心」（egocenter）を決定することができる。自我中心は、通常、両眼の中間に位置する基準位置であり、この基準位置から、観察者の環境を見るときに距離および方向が認知的に感知される。いくつかの応用（例えば、一人称シューティングゲームおよび他の形態のゲーム、運転シミュレーション、乳児の教育）において、自我中心の知識および使用は、仮想環境をより現実的にするのを支援することができる。したがって、装置ユーザの自我中心に対して、距離および方向の測定および／または表示を行うことができる。このような測定は、装置着用者の認知に含まれる認知プロセスをより正確に表すおよび／または定量化することができる。
近視野整列オブジェクトおよび遠視野整列オブジェクトの両方が単一ディスプレイ内に含まれる仮想現実（ＶＲ）ヘッドセットおよびＡＲヘッドセットの場合、上述した装置着用者の視軸を決定するための方法を利用するために、画像投影の正確なモードに依存する追加の考慮を行わなければならない。
一度に１つのみの平面または「深さ」に投影できるＶＲまたはＡＲヘッドセットの場合、視軸整合プロセスは、交互に（連続に）投影された画像フレームに感知された深さを切り替えることによって行うことができる。異なる画像を迅速に連続して表示することは、例えば、従来／過去のテレビジョンセットに使用された「インターレース」技術に類似している。図３４に示したのと同様の整列は、１つの平面に表示された近視野オブジェクトと、別の（インターレースされた）フレームに表示された遠視野オブジェクトとを用いて行われる。
空間内の点からベクトルとして光を導く所謂「光照射視野」（light field）を使用するＶＲおよびＡＲヘッドセットにおいて、近視野オブジェクトと遠視野オブジェクトの両方を同一のフレームに投影することができる。このような構成において、整列は、遠視野オブジェクトが最大限に（且つ径方向均一に）遮蔽されるように、近視野オブジェクトまたは遠視野オブジェクトを移動することを含むことができる。
追加の実施形態において、近視野オブジェクトおよび遠視野オブジェクトの両方が仮想物である場合、多数の方法のいずれかを使用して、整列プロセス中に一方のオブジェクトまたは他方のオブジェクト（または、必要に応じて両方）を移動することができる。これは、様々な方法のいずれかで行うことができる。例えば、
１）装置着用者の近くにキーボードがある場合、方向矢印（または他のキー）を繰り返して押すことによって、左、右、上、下の移動を示すことができる。
２）目または頭部装着装置タッチ感応領域（またはタブレットまたは携帯電話などの他のタッチ感応面）に、移動機能（左、右、上、下）を割り当てることができる。
３）装置着用者は、頭部動作（すなわち、回転、傾き、またはその両方）を用いてオブジェクトを「動かす」ことができる。必要に応じて、移動の度合いは、（例えば、加速度計またはシーンカメラの動きを用いて測定された）頭部動作の度合いに比例することができる。
４）「左」、「右」、「上」または「下」の発話などの音声コマンドを用いて、近視野オブジェクトおよび／または遠視野オブジェクトを整列することができる。
１）装置着用者の近くにキーボードがある場合、方向矢印（または他のキー）を繰り返して押すことによって、左、右、上、下の移動を示すことができる。
２）目または頭部装着装置タッチ感応領域（またはタブレットまたは携帯電話などの他のタッチ感応面）に、移動機能（左、右、上、下）を割り当てることができる。
３）装置着用者は、頭部動作（すなわち、回転、傾き、またはその両方）を用いてオブジェクトを「動かす」ことができる。必要に応じて、移動の度合いは、（例えば、加速度計またはシーンカメラの動きを用いて測定された）頭部動作の度合いに比例することができる。
４）「左」、「右」、「上」または「下」の発話などの音声コマンドを用いて、近視野オブジェクトおよび／または遠視野オブジェクトを整列することができる。
追加の実施形態において、整列プロセスを高速化するために、各コマンド（すなわち、左、右、上または下）によって引き起こされた仮想移動を動的に調整することができる。初期のコマンドは、近視野オブジェクトまたは遠視野オブジェクトの粗動を引き起こす。繰り返した同一方向のコマンド（例えば、「右」、「右」）は、移動の幅に影響を与えない。しかしながら、反対方向のコマンドは、移動の幅（すなわち、所謂「増分）を減少する（例えば、半分にカットする）。装置着用者が最適な整列に向かって収束するにつれて、増分が徐々に小さなり、より精確な制御を可能にする。この技術は、アナログ／デジタル変換の「逐次近似」方法に類似している。水平軸および垂直軸の較正中に、増分のサイズを別々に追跡および調整することができる。
高関連性オブジェクト（ＨＲＯ）の高解像度レンダリング
観察者が見ている中央の表示領域に投影された最高解像度の画像に視線追跡を組み合わせる技術は、当該技術分野において周知である。観察者が直接に見ていない領域に低解像度の画像を投影することによって、全体のユーザ表示を生成するための帯域幅が低減される。殆どの実施形態において、視野の周辺領域には、オブジェクトは、より低い空間解像度および／またはより少ない細部の投影で表示される。いくつかの実施例において、シーン中心の高解像度領域と周辺の低解像度領域との間に中間解像度領域が存在する。これによって、最大８０％の帯域の節約を実現した。
観察者が見ている中央の表示領域に投影された最高解像度の画像に視線追跡を組み合わせる技術は、当該技術分野において周知である。観察者が直接に見ていない領域に低解像度の画像を投影することによって、全体のユーザ表示を生成するための帯域幅が低減される。殆どの実施形態において、視野の周辺領域には、オブジェクトは、より低い空間解像度および／またはより少ない細部の投影で表示される。いくつかの実施例において、シーン中心の高解像度領域と周辺の低解像度領域との間に中間解像度領域が存在する。これによって、最大８０％の帯域の節約を実現した。
この技法は、当技術分野において、一般的に「フォビエットレンダリング」（Foveated Rendering）、「フォビエット像」、または「フォビエットグラフィックス」と呼ばれている。「フォビエット」（Foveated）という用語は、少なくともいくつかの点で、人間の視覚系の生理機能に合わせた生成画像の結果として生じる。生物学的に、中心窩は、視力が最も高い網膜の小さな領域である。中心窩は、視野全体の約２°の領域内から画像を検出するように機能するが、脳に情報を伝到達する視神経束の神経線維の約半分は、中心窩からの情報を運ぶ。
多くの状況において、観察者の周辺視野内の一部のオブジェクトの低い空間解像度のレンダリングは、観察者の視覚経験および意思決定能力を損なう可能性がある。例示的な実施形態において、高空間解像度表示技術を用いて、観察者の傍中心窩にある、特に周辺視野にある高関連性オブジェクト（ＨＲＯ）をレンダリングすることが有利である。ＨＲＯに関連する１つ以上の領域を選択的に高解像度レンダリングすることによって、このようなオブジェクトとの効果的な対話を犠牲にすることなく、全体的な帯域幅の節約を実現することができる。
傍中心窩および周辺視覚システムは、画像処理（例えば、細部の区別または色の識別）のいくつかの点で弱いが、オブジェクトの空間位置（動きを含む）または明滅を判断する能力において特に強い。傍中心窩および周辺視界内の位置を決定する能力は、例えば曲芸をしながら、入って来る発射体を回避する活動によく証明される。
人間と機械の対話の際にＨＲＯの位置が特に重要である条件が（例えば、仮想現実ディスプレイシステム、拡張現実感ディスプレイシステム、複合現実ディスプレイシステム、または遠隔ディスプレイシステムに）多く存在する。例えば、視覚信号を行っている間に、装置ユーザは、作動アイコンの大体領域を記憶することができる。その後、（しばしば細部の認知が欠けている）傍中心窩または周辺視力を用いて、精確な位置を検出することができる。殆どの場合（位置が特定の機能に関連する場合）、空間記憶に少なくとも部分的に基づいて、傍中心窩状または周辺視野内のオブジェクトまたは作動ターゲットに直接に向かう衝動性動眼を行うことが「快適」であると感じられる。このようなターゲットに向かう衝動性動眼は、視覚信号言語の基本要素である。
例示的な実施形態において、このようなＨＲＯを高解像度で表示することができる。最初に低い解像度で表示された場合、このようなＨＲＯに向けられた衝動性動眼およびその後（例えば、新たな中心窩視野に入ることによって）より高い解像度の切り替えは、ＨＲＯの外観に急速な変化を引き起こし、１つ以上の捜索的な眼球運動または「驚愕する」眼球運動を自然に引き付ける。このことは、視覚信号言語に関連する意図的な動きを妨げる可能性がある。高解像度のＨＲＯディスプレイを維持することによって、このような状況を回避することができる。
新しく表示された追加の選択可能なアイコン（または他のＨＲＯ）の次の表示は、高解像度を用いて、新しい周辺視野内に表示されてもよい。これらの新しいアイコンの空間位置は、これらのアイコンの各々を直接に見るための衝動性動眼で特定されてもよい。同様の方法を繰り返すことによって、経験豊富な装置ユーザは、傍中心窩または周辺視野内の新たに表示された特定の（すなわち、ユーザによって意図的に選択された）ターゲットにターゲットに視線を直接に移動する衝動性動眼に特に心地よく感じる。必要に応じて、ユーザの目の中心窩領域に完全に感知されないように、これらの１つ以上の衝動性動眼を複数回に行うことができる。
追加の実施形態において、新たな潜在的な目標オブジェクトの導入は、ユーザの注意を引くことなく（すなわち、オブジェクトを「目に見えないほどに可視である」ように）１つ以上のオブジェクトを導入するように、１つ以上の技術を用いて行うことができる。前に説明したように、このような導入は、ユーザが機能的に盲目的である１つ以上の期間（例えば、瞬きおよび／または１つ以上の衝動性動眼）中にオブジェクトを導入することによって行ってもよい。（単独でまたは組み合わせて使用される）１つ以上の「目に見えないほどに可視である」オブジェクトを導入するための他の方法は、背景に比べて、オブジェクトの解像度、細部、色量、輝度、サイズ、透明度および／または明暗度を徐々に変化することを含む。これらの方法のいくつかは、観察者がオブジェクトまたは背景の外観のゆっくりとした変化に気付かなくなる「変化失明」に関連する原理を使用する。
更なる実施形態において、ユーザの意図しない注意を引くことなく、潜在的なオブジェクトを慎重に移動することができる。前に説明したように、相当な量（例えば、２°まで）のオブジェクトの移動は、衝動性動眼後の失明期間に許容され得る。これは、「ブランク効果」として知られており、衝動性動眼が予想のターゲット位置に完全に視線を移動ししていないときに移動を感知する可能性を抑制することができる。１つ以上の潜在的なターゲット物の更なる移動が、ユーザの捜索的な眼球運動を驚愕しないまたは引かないように設計された方法で導入されてもよい。このような移動は、（「変化失明」の要素を用いて）遅くてもよく、特に高解像度特徴、明るい特徴、大規模な特徴、詳細な特徴、不透明、対照色、または同様の視覚属性のうち１つ以上であり得る１つ以上のオブジェクトによって、特定の方向の注意を引かないように設計されてもよい。同様に、１つ以上のオブジェクトが目立たない（すなわち、１つ以上のオブジェクトの変化が他のオブジェクトの類似または対応する変化の前に生じない）ように、オブジェクトの移動タイミングまたは視覚属性の変化タイミングの均一性を保証することによって、捜索的または驚愕的な眼球運動を回避することができる。
ＨＲＯの追加の例として、例えば、一人称シューティングゲーム内の味方または敵対目標、講談または会話に議論されたオブジェクト、高レベル決定を行う時に構想を示す記号または心像（例えば、数学操作、流れ図、構成部品、回路図、主要な事実）が挙げられる。全ての記号および／または心像を中心窩視野に同時に維持する必要がなく、またはこれらのオブジェクトが短期記憶または作業記憶にあることを確実にするために中心窩視野にこれらのオブジェクトを繰り返して走査する必要性なく、ユーザがこのようなオブジェクト（およびこれらのオブジェクトが表すもの）の存在を知ることは有用である。
更なる例示的な実施形態において、ＨＲＯの高解像度レンダリングは、非中心窩オブジェクトの識別、知的な関連付け、および空間的な位置づけを支援するだけでなく、ＨＲＯに向かう衝動性（または他の形態の頭部または眼球）運動が存在する場合、前述したように、新しい焦点の領域のレンダリング特性が殆ど変わらない。これは、（新しい視覚特徴の導入に関連する）驚愕または捜索的な反射および／または新しい視覚情報の導入に関連する（すなわち、前に記載された「見慣れている」認知原理を用いた）認知処理を回避することができる。その代わりに、オブジェクトの感知に時間がかかると、オブジェクトは、衝動性動眼（および任意数の後続の矯正的な衝動性動眼）を行う前に観察者の記憶および傍中心窩視野または周辺視野に基づいて予期されたものとは変わらないものとして感知される。
ＨＲＯの高解像度レンダリングの実装にはある程度の自由度がある。同様の画像においても、１つ以上のスキームを使用することができる。例えば、１）オブジェクトを表す任意形状の領域を高解像度でレンダリングし、低解像度の背景に重合することができる。２）１つ以上のＨＲＯを含む全視野の矩形領域を高解像度でレンダリングすることができる。３）１つ以上のオブジェクトの周りの円形領域を高解像度でレンダリングすることができる。上記場合の各々において、高解像度レンダリングの度合いは、（オプションとして）観察者の現在の（すなわち、中心窩）視野からの距離に従って変化してもよい。
いくつかの状況において、ディスプレイの高解像度領域または所謂「中心窩」領域のサイズを変更することが望ましい場合がある。一般的に１°〜３°の範囲における人間の中心窩サイズの生物学的な変動を用いて、中央の高解像度表示領域にサイズを割り当てることができる。また、いくつかの用途または視線対話において、高解像度領域のサイズを調整することが有利であり得る。例えば、人間の作業記憶（例えば、高レベルの意思決定）に属すると考えられたいくつかの別個の要素を必要とする認知プロセスの間に、これらの要素（またはこれらの要素を表す記号）は、拡大された高レベルまたは高解像度視野に表示されてもよい。対照的に、異なる方向から移動してくる高速移動オブジェクトおよび／または「脅威」オブジェクトを含むゲーム中に、「中心窩」視野または高解像度視野を、より大きな時間解像度（すなわち、より高い表示フレームレート）および／または特定のオブジェクト（例えば、ＨＲＯ）の高解像度レンダリングを可能にするサイズに縮小することができる。
上述したように、「フォビエットレンダリング」などの用語は、ディスプレイ解像度の変化を説明するために当技術分野で一般的に使用されている。人間−機械インターフェイス（ＨＭＩ）の観点から、中心窩が別個の解剖特徴を有する網膜内の構造であるが、中心窩の生理学的（すなわち、機能的）領域は、実際には視力およびＨＭＩに最も関連している。「感知視野サイズ」（perceptive field size、ＰＦＳ）という用語は、既に当該技術分野に使用され、認知に使用された中心窩内の領域および周囲の領域を記述する。
光強度は、人のＰＦＳを変えることができる。したがって、例示的な実施形態において、観察されている高解像度（すなわち、所謂「フォビエット」）レンダリング領域のサイズは、網膜に到達する光量に従って変化し得る。この光強度は、ＶＲディスプレイのような、より高度に管理された視覚環境に表示されているものに関する知識から決定することができる。代替的にまたは追加的に、特にＡＲまたはＭＲ装置を使用する場合、１つ以上のフォトダイオード、フォトトランジスタまたは他の光センサを用いて、目の近傍の光を測定することができる。１つ以上の光学フィルタを用いて、特定の波長範囲（以下を参照）を選択することができる。
より具体的には、網膜に到達する光量が減少するにつれて、ＰＦＳが増加する。したがって、この変動に対応するように、高解像度レンダリングの領域のサイズを増加させることができる。逆に、光強度が増加すると、ＰＦＳが減少するため、高解像度レンダリング領域のサイズを減少させることができる。生理学的には、この変化は、豊富な光が存在するときに中心窩のより中央の領域に高濃度の（比較的に光感受性が低いが色情報をエンコードする）円錐体を使用する視覚から、中心窩の中心領域から離れて移動するとより大きな密度で表された光感受性の高い桿状体を使用する視覚にシフトするという概念と一致する。
さらに具体的には、可視スペクトルの青緑色部分における（すなわち、約４００〜５５０ｎｍの波長を有する）光は、感知視野のサイズを変更するが、赤色光は、サイズに少ない影響を与えるまたは影響を与えない。したがって、例示的な実施形態において、ディスプレイの中央視野領域内の高解像度レンダリングは、特に可視スペクトルの青緑色部分における光の有無に基づいて制御されてもよい。
更なる実施形態において、（例えば、ＰＦＳに基づいた）中央表示領域のレンダリングの変更は、目が新しい照明条件に適応するのに必要な時間を考慮に入れることができる。円錐体の適応は直ぐに始まるが、完全に適応するまで数分が必要である。桿状体の適応はより長くなり、完全に適応するまで２０〜３０分が必要である。したがって、例示的な実施形態において、異なる照明条件に適応するための移行は、視覚調整の時間および幅に対応して、（ディスプレイの高いフレームレートに比べて）徐々に且つ（例えば、光適応対時間曲線の指数形に概ね一致させるように）漸進的に行うことができる。
本明細書の他の箇所でより詳細に説明したように、短い距離（例えば、＜５°）の衝動性動眼は、意図したターゲット位置をオーバーシュートする傾向があり、長い距離（例えば、＜１０°）の衝動性動眼は、意図したターゲット位置をアンダーシュートする傾向がある。更なる実施形態において、これらの傾向および追従誤差を用いて、眼球運動中に意図したターゲット位置の周囲により高い解像度でレンダリングされた（所謂「中心窩」）領域のサイズおよび形状を構造化することができる。
例えば、予想された衝動性動眼の目的注視位置の周りの領域に加えて、衝動性動眼と同様の方向に目標領域を越えて延在する追加の領域は、長い距離の衝動性動眼が検出されたときに、高解像度でレンダリングされてもよい。この延在は、長い距離の衝動性動眼（一般的に約２０°）のアンダーサートを修正するために典型的に１つ以上の矯正的な衝動性動眼が発生することを予想し得る。長い距離の衝動性動眼が検出されるとすぐにこのような領域を高解像度でレンダリングすることによって、ユーザは、長い距離の衝動性動眼中におよびその後の矯正的な衝動性動眼中に、高解像度の（所謂「中心窩」）画像を見ることができる。これによって、ユーザが意図したターゲット位置を漸進的に絞るときに、領域の解像度の変化（突然の混乱）を回避することができる。
同様に、短い距離の衝動性動眼は、意図したターゲット位置をオーバーシュートする傾向がある。したがって、例示的な実施形態において、高解像度で目標の注視領域をレンダリングすることに加えて、より短い距離の衝動性動眼のオーバーシュートの傾向を考慮して、（注視領域に隣接する）視線移動の開始位置と注視位置との間の追加の領域を高解像度でレンダリングすることができる。これによって、１つ以上の領域の再レンダリングは、一般的に１つ以上の矯正的な衝動性動眼が視線を意図した注視位置（初期の衝動性動眼の開始位置の大体方向）に向かって戻す区域に最小化される。
更なる実施形態において、眼球運動のターゲット位置に基づく高解像度領域のサイズおよび／または形状は、視線位置または予測および／または測定された注視位置を決定する際の予想誤差の度合いを考慮することができる。注視位置の測定における誤差の度合い（または逆に、信頼度）は、以下を含む多くの要因に基づいて推定されてもよい。これらの要因は、特定のユーザおよび／または最近の使用中（特に、ユーザが既知のオブジェクト位置を見ていると特定された場合）に視線位置の全体的な測定の変動、ヘッドセットおよび／またはユーザ頭部の領域に存在し得る（前述した）振動および他の機械的な加速度、照明の均一性および／または強度、ビデオ画像内の（所謂「ショット」）ノイズのランダム度、視線追跡の測定を不明瞭にする可能性のある障害物（例えば、睫毛）の存在、目の振顫または振動などの追加的な動きの存在、瞬きの発生、および、眼の構造（例えば、テンプレートとの適合度）を特定する際に、１つ以上のアルゴリズム法によって決定された多数の要因を含む。
さらに、注視位置を予測または算出する場合、速度に基づく（空間的および時間的）誤差および（個人によって異なる可能性のある）眼球運動の非弾道的速度プロファイルに対する傾向を考慮に入れることができる。
例示的な実施形態において、高解像度でレンダリングされた表示領域のサイズおよび／または形状は、視線の測定および／または（速度に基づく）注視位置の予測の予想誤差の推定値に基づいて動的に調整することができる。一般的に、誤差の推定値が増加した場合、注視位置の不確実性の増大に対応するために、高解像度領域のサイズを増加させることができる。これによって、ユーザがディスプレイの高解像度表示を実際に見ていることをさらに保証する。
同様に、優先方向（例えば、ディスプレイのエッジの近く）における最近の動きの速度および／または視線測定値の疑わしいノイズに基づいて、領域の形状は、見かけ動きの方向、動きの幅、および／またはノイズの度合いおよび分布に基づいて調整することができる。例えば、ノイズ測定値および／または不確実性がディスプレイのエッジ近くで一般的に増加する場合、増加したノイズ／不確実性に対応するために、高解像度領域の形状をディスプレイのエッジに向かう方向に拡大することができる。
追加の例示的な実施形態において、選択された表示領域（例えば、非ＨＲＯおよび／または中心窩視野）内の帯域幅を減少させる代替または追加の方法は、このような領域の色量を低減することを含む。画像の色見えは、赤、緑および青（すなわち、ＲＧＢ）強度の基礎表示に加えて、色相（hue）、濃淡（tint）、彩度（colorfulness）、クロマ（chroma）、飽和度（saturation）および輝度（luminance）などの用語の使用を含む多くの異なる方法で度々記述される。色量の減少は、１つ以上の表示可能な色の全体的な範囲（すなわち、最も暗い色から最も明るい色まで）を減少させることおよび／または解像度を減少させること（すなわち、特定色の選択可能な強度の数を減らすこと）を含む。代わりに、他の色に対する１つの色の比または相対強度を計算（および伝送）する方式において、このような相対強度の範囲および／または解像度を低減することができる。色の範囲および／または解像度を低減することによって、（ピクセルまたはピクセル群内の）各色を表すのに必要とされるビット数を低減し、その結果、画像を伝送するために必要な帯域幅を低減する。
多くの点で、非中心窩表示領域の色量の減少を含む実施形態は、生体模倣型である。上述したように、視覚システムは、一般的に、周辺視野内のオブジェクトの細部およびオブジェクトの色の両方を識別することに弱い。したがって、傍中心窩および／または周辺領域内の色量および／または細部を低減することによって帯域幅を減少させるスキームは、人間の視覚システムによる画像の処理能力と一致する。
追加の実施形態において、オブジェクトの関連性をいくつかの方法で決定することができる。具体的に、１）典型的なソフトウェアアプリケーションの場合、アプリケーション開発者は、表示された画面内の異なるオブジェクトに関連性を与えることができる。視覚信号に関連するメニュー選択、講談中にキー文字の画像、本文の見出しおよびページ番号、ハイパーリンク、および着信のテキストは、高い関連性を与えるオブジェクトの例である。２）実在オブジェクトと仮想オブジェクトの任意の組み合わせを含むシーンに基づいて、シーン内の特定のオブジェクトの関連性は、当技術分野で周知の画像認識技術を用いたオブジェクトの識別に基づいてアルゴリズム的に決定される。例えば、全ての顔または特定の顔を高解像度で表示することができる。同様に、少なくとも視線を引き付けることを予期して、ユーザに「警告する」（すなわち、視覚的な呼び出しまたはかけ声）アイコンを高解像度で表示することができる。３）１つ以上のオブジェクトによって実行される特定のアクティビティのマシンに基づく認識は、高い関連性状態をトリガすることができる。例えば、環境内の顔が怒っているまたは話しプロセスに関連していると特定された場合、その関連性を増加させることができる。４）神経ネットおよび他の機械学習手法を用いて、特定のユーザに対して（例えば、繰り返し選択によって）重要であるオブジェクトを決定することができる。例えば、ユーザが１日の特定の時間に野球の得点を見る場合、機械学習手法は、得点が更新されると、高解像度で表示することができる。
追加の実施形態において、関連性は、特定のオブジェクトに割り当てられ得る任意の数の条件によって調整されてもよい。例えば、スポーツスコアが最初に発表されたときに関連性が高いが、時間と共に関連性が低下する。一年の特定の時間帯に、特定のスポーツに関する画像に高い関連性を与えてもよい。一日の特定の時間および／または一週の特定の日に、公共交通のスケジュールおよび／または告知に与えられた関連性を増加させることができる。予定されたカレンダイベントの前の一定の時間に関連性を与えることができる。
ユーザの近くに位置するおよび／またはユーザに向かって移動していると表示されているオブジェクトに、高い関連性を与えることができる。瞬時注視位置に比べて、特定の方向に位置するオブジェクトに、より高い関連性を与えることができる。例えば、文字／記号が一般的に左から右および上から下に配置された言語（例えば、英語、フランス語、ドイツ語）で読書を行う場合、テキストおよび／またはオブジェクトを読む順序に視線を向かうことを予期して、注視位置の右側および／または下方に位置する文字および単語をより高い解像度で表示することができる。
場合によって、絶対位置（すなわち、ディスプレイに対する相対位置）が関連性の決定要因の１つであってもよい。意図的な記憶誘導型衝動性動眼の潜在的なターゲットは、このカテゴリーにおける特に有用なクラスである。例えば、視覚信号言語において、１つ以上の作動ターゲットおよび／または選択可能なオブジェクトは、所定の応用または殆どの応用において、同様の位置に現れる可能性がある。潜在的なターゲットとして、このような潜在的なＵＲＯターゲットをより高い空間解像度および／または色解像度で表示することができる。
オブジェクトの関連性に等級をつける（すなわち、連続範囲内のスコアを与える）ことができる。多くの関連性の高いオブジェクトを同時に表示する場合、利用可能な帯域幅を抑えるために、（高い関連性の範囲にあるが）比較的に関連性の低いオブジェクトを少なくとも一時的に解像度を下げて表示することができる。
１つ以上の処理装置および／または送信装置による全体的な処理要件を低減し、その結果として消費電力を低減するために、帯域幅の削減は、他の方法と相乗的に使用されてもよい。これらの方法は、モバイル装置の望ましくない加熱をさらに低減し、バッテリの寿命を延ばすことができる。
表示が必要ではないときに、例えば、（上述したように）ユーザが機能的な失明しているとき（例えば、瞬き抑制または衝動性動眼抑制の期間）に、ディスプレイを（一時的に）更新しないおよび／または一部の表示／処理素子を電子的にオフにすることができる。これらの時間に、送信を一時停止してもよい。代わりに、ユーザが機能的な失明状態から完全な視力に戻るときの必要性を予期して、表示情報の送信を継続してもよい。例えば、機能的な失明の期間中、高解像度の中央（中心窩）視野の表示を一時的に中断するが、表示領域の静止（例えば、背景）領域および／または周辺領域を更新してもよい。このようなスキームは、利用可能な時間と帯域幅を最大限に活用することができる。
ユーザの注意点を決定するためのオブジェクト顕著性の導入
生理学的に、人間の視覚情報の処理は、まず、網膜内の神経節細胞のレベルで始まる。これらの細胞は、中央領域の光受容体と環状の周囲領域の光受容体とに当たる光の差が存在する場合に、ニューロンが興奮する所謂「中央−周囲受容野」パターン内に配置される。この構成によって、その後に脳に送信されるエッジの位置（すなわち、所定のレベルを超える空間的な勾配）を検出することができる。
生理学的に、人間の視覚情報の処理は、まず、網膜内の神経節細胞のレベルで始まる。これらの細胞は、中央領域の光受容体と環状の周囲領域の光受容体とに当たる光の差が存在する場合に、ニューロンが興奮する所謂「中央−周囲受容野」パターン内に配置される。この構成によって、その後に脳に送信されるエッジの位置（すなわち、所定のレベルを超える空間的な勾配）を検出することができる。
脳が主にエッジを使ってオブジェクトを特定するという事実は、観察されたオブジェクトの全体の異なる領域が異なる視覚的注意を受けるという証拠である。輝度および／または色の変化に高い明暗度がある領域は、一般的に最も多くの視覚的注意を受ける。したがって、観察者の注意点は、必ずしもオブジェクトの幾何学的中心ではなく、高明暗度の領域に集中することが多い。このことは、１つ以上のオブジェクトの特徴位置または基準位置（例えば、オブジェクトの中心）に対して、観察者が最も頻繁に見ている位置を経験的に特定する、所謂「顕著性マップ」の構築および使用をもたらした。
オブジェクト（またはオブジェクトの一部）の「顕著性」は、オブジェクトの物理的な特徴のみによって決定されない。顕著性は、観察者の（場合によって時々変化する）関心に依存する。例えば、殆ど種類（人間または他の動物）の顔面上の目の周りの領域は、高顕著性領域として頻繁に見られる。場合によって、観察者は、オブジェクトまたはオブジェクトの一部の顕著性に影響を与えることを「学習」することができる。例えば、最初に人を驚かせる（または何らかの他の情動反応を生成する）可能性のあるオブジェクトを繰り返して見ることによって、オブジェクトおよびその特徴がより親しくなり、最終的にはオブジェクト全体の顕著性を低減することを学習することができる。
顕著性によって、オブジェクトの一部の特徴は、他の特徴よりも頻繁に見られる。その結果、１つ以上の測定値に基づいて視線の焦点および／またはオブジェクトを決定するための任意の「平均化」方法または他の統計方法は、好ましい注視方向／位置を考慮しなければならない。典型的には、一連の空間的測定値を平均化することは、ある基準位置に対する誤差の径方向対称（例えば、ガウス分布）分布を仮定する。しかしながら、１つ以上のオブジェクト内に好ましい注視位置が存在する場合、この仮定（すなわち、径方向対称）が一般的に満たされず、複数の測定値を統計的に処理するために、所謂「確率密度関数」（ＰＤＦ）が必要となる。
例示的な実施形態において、（例えば、オブジェクトの高明暗度領域に基づいて）仮定されたまたは経験的に測定された顕著性マップを使用して、表示された特定のオブジェクトに関連するＰＤＦを決定することができる。ＰＤＦが予測または測定されると、各オブジェクトに関連する個々のＰＤＦを考慮して、（例えば、加重平均を用いて）複数の注視位置の測定値を結合することができる。重み係数は、ＰＤＦを用いて空間分布に基づいて計算される。
結合された（例えば、加重平均された）注視位置の測定値は、個々の注視位置の測定値に比べて、一般的に、ユーザの注意の推定により高い信頼度および空間精度を提供する。このような方法は、最新の視線追跡システム内のカメラのフレームレート（すなわち、単位時間に取得され得る注視位置の測定値の最大数に対応する）が増加するにつれて、実行可能且つ有価値になる。結合された注視位置の推定値を用いて、ユーザの注意（例えば、衝動性動眼の目的位置）が特定のオブジェクトの中心（または他の基準位置）から所定の距離内に位置するか否かを判断することによって、選択を表示するおよび／または選択されたオブジェクト（および／または他のパラメータ）に関連する操作を開始する際に、特に有用である。顕著性および結果として生じたＰＤＦを考慮する結合された測定値の使用は、視覚信号言語による表示および／または選択されているオブジェクト（および逆に、不注意な作動の減少）を決定する際により高い精度および一貫性をもたらす。
図３５は、オブジェクト７６０の予期顕著性マップの一例を示す図である。例示的なオブジェクトは、単純な二等辺三角形７６０からなる。顕著性が最も高いと推定される焦点は、三角形７６０の辺が交差する位置に配置される。図３５に示された顕著性マップにおいて、顕著性の度合いがグレー目盛り７６１ａ、７６１ｂ、７６１ｃで表されている（薄黒い色は、最も顕著な領域を表す）。オブジェクト（すなわち、二等辺三角形）７６０の幾何中心は、十字線７６２によって示される。
顕著性マップ７６１ａ、７６１ｂ、７６１ｃは、オブジェクト中心７６２を通る破線として描かれた垂直線７６３ｂの左右に等しい領域を含む。したがって、結合された水平注視位置を決定する時に、水平方向の注視測定値に同様の重みを付けてもよい。しかしながら、オブジェクト中心７６２を通る破線として描かれた水平線７６３ａより上方の７６１ａに比べて、下方の顕著な特徴７６１ｂ、７６１ｃの数が多い。したがって、オブジェクト７６２の幾何中心の上方よりも、観察者による注視の測定値が下方により多くあると期待される。
図３５に示す単純例において、中央の水平線７６３ａの上方に比べて水平線７６３ａの下方に２倍の顕著性領域が存在する。オブジェクトを見る観察者は、最初にオブジェクトの幾何中心７６２の下方を見る可能性、および／または、その後（マイクロ衝動性動眼、振顫期間中）中央の水平線７６３ａ下方のオブジェクトを観察する可能性が２倍である。したがって、水平線７６３ａの下方に比べて、水平線７６３ａの上方に２倍の観測値が得られたため、水平線７６３ａ下方の各測定値に比べて、水平線７６３ａ上方の各測定値に重みを付けべきである。この重み付けによって、他の全ての誤差源がランダムであると仮定すると、多くの注視測定値から得られた加重平均は、オブジェクト７６２の真の幾何中心に収束する。
領域およびクラスタの視線選択
多くのＨＭＩ（人間-機械インターフェイス）システムの基本要素は、オブジェクトのクラスタまたはグループを指定し、オブジェクトと対話する機能に関与する。このようなオブジェクトの例は、データファイル、アプリケーション、画像、機能を表すアイコン、名前、住所、電話番号、テキスト内の単語、ハイパーリンク、ビデオ、録音、外面などの集合を含む。現行システムにおいて、典型的なスクリーンに基づくＧＵＩ（グラフィカルユーザインターフェイス）は、ユーザが（例えば、タッチスクリーンまたはコンピュータマウスを用いて）画面上で、クラスタ内の所望のオブジェクトの表現を含む１つ以上のほぼ矩形領域を指定することを可能にすることによって、クラスタのグループ化を処理する。操作は、例えば、クラスタ内の全てのオブジェクトまたは機能に対して同時に実行されてもよい。
多くのＨＭＩ（人間-機械インターフェイス）システムの基本要素は、オブジェクトのクラスタまたはグループを指定し、オブジェクトと対話する機能に関与する。このようなオブジェクトの例は、データファイル、アプリケーション、画像、機能を表すアイコン、名前、住所、電話番号、テキスト内の単語、ハイパーリンク、ビデオ、録音、外面などの集合を含む。現行システムにおいて、典型的なスクリーンに基づくＧＵＩ（グラフィカルユーザインターフェイス）は、ユーザが（例えば、タッチスクリーンまたはコンピュータマウスを用いて）画面上で、クラスタ内の所望のオブジェクトの表現を含む１つ以上のほぼ矩形領域を指定することを可能にすることによって、クラスタのグループ化を処理する。操作は、例えば、クラスタ内の全てのオブジェクトまたは機能に対して同時に実行されてもよい。
視覚信号を行っている間に、急速な衝動性動眼の本質的な「ポイントツーポイント」性質、および各衝動性動眼中に目が注視する視覚可能な項目（すなわち、ターゲット）を提供する必要があるということから問題が生じる。このことは、眼球運動の生理学を考慮したＧＵＩなしに、ユーザの眼球運動によって任意の大きさの領域を特定することを困難にする。
例示的な実施形態において、ディスプレイ上のオブジェクトのクラスタは、特定可能な一連の衝動性動眼を考慮して選択されてもよい。一連の衝動性動眼によって指定された領域内の全てのオブジェクトは、選択の一部として含まれる。任意の数のオブジェクトを任意のサイズまたは形状の領域に包含するように、複数の領域を順次に選択または追加することができる。
視覚信号言語において、隅の位置から「領域選択」ターゲットに視線を移動する衝動性動眼によって、選択可能な領域の隅を指定することができる選択される領域は、一般的に長方形である。しかしながら、例えば、実質的に１次元の要素リストから複数の要素を選択する場合、他の選択形状が可能である。「領域選択」ターゲットは、領域の１つの境界の選択以外に、特定の機能に関連付けられていない。
領域を指定するために使用される眼球運動の特定の順列には、様々な変動がある。このような一連の眼球運動の本質的要素は、１）２回の衝動性動眼を用いて、矩形領域の２つの（隣接しない）隅を指定する能力、２）必要に応じて、追加の眼球運動を用いて、追加の領域をクラスタに追加する能力、３）１つ以上の領域の不注意な選択を修正または「廃棄」する能力、および４）選択された１つ以上の領域内のオブジェクト（オブジェクトによって表される機能を含む）に対して選択可能な操作を行う能力を含む。
「領域選択」ターゲットを表示させる操作は、（作動領域の数を最小限に抑えるために）所謂「スタート」選択シーケンスに埋め込むことができる。しかしながら、多くのアプリケーションにおいて、全て（または少なくとも殆ど）の時に「領域選択」ターゲットを使用可能にする方が使いやすく、効率的である。また、大きな表示領域に少ない数のオブジェクトが存在する場合、視線が他の視認可能なオブジェクトがない箇所に注視する視覚な「休憩領域」を提供するために、ライングリッドまたはドットマトリクスなどのグラフィック指示を背景に重合するまたはそれに含めると便利である。
図３６Ａ〜Ｃは、ディスプレイ７７０上に表示された可能なテキストメッセージまたは電子メールの受信者リスト７７１から複数の人を選択するための一連の眼球運動７７３ａ、７７３ｂを示している。図３６Ａにおいて、ディスプレイ７７０上の領域７７５ａ内の１グループの受信者（Peter、Mary、Dave、C.J.）は、まず、（移動方向を示す矢印を含む実線で示すように）選択された領域７７５ａの隅７７２ａから「領域選択」アイコン（この場合、点線で描かれた中央に黒点を含む正方形７７４ａ）までの衝動性動眼を行うことによって選択される。その後、ユーザは、所望の要素を含む領域７７５ａの第２隅７７２ｂを探すために（作動ターゲット７７４ｂに対する衝動性動眼を行わない限り）任意の数の追加の眼球運動を行うことができる。ユーザは、第２隅を見つけると、領域７７５ａの第２隅７７２ｂから領域選択ターゲット７７４ａまでの衝動性動眼７７３ｂを行うことによって、選択された名前を有する領域７７５ａを画定することができる。
この時点で、領域選択ターゲット７７４ａから作動ターゲット７７４ｂまでの衝動性動眼が、最初に選択された領域７７５ａ内の４つの名前に基づいて、（例えば、受信者に電子メールを送信する）操作を開始することができる。しかしながら、図３６Ｂに示すように、この操作に別の受信者の名前を追加する場合、選択された第２領域７７５ｂの第１隅７７２ｃは、隅７７２ｃから領域選択ターゲット７７４ａまでの衝動性動眼７７３ｃによって指定されてもよい。選択された第１領域７７５ａと同様に、ユーザは、選択された要素を含む第２領域７７５ｂの第２隅７７２ｄを探すために（作動ターゲット７７４ｂに対する衝動性動眼を行わない限り）任意の数の捜索的な眼球運動を行うことができる。ユーザは、第２隅を見つけると、領域７７５ｂの第２隅７７２ｄから、領域選択ターゲット７７４ａまでの衝動性動眼７７３ｄを行うことによって、選択された追加の名前（例えば、Art、Kris）を含む領域７７５ｂを画定することができる。別の方法として、隅７７２ａ、７７２ｂの選択順序を逆にしてもよい。
更なる名前をリストに追加しない場合、ユーザは、選択された領域７７５ｂの第２隅７７２ｄから作動ターゲット７７４ｂまでの（矢印の付いた破線７７７で示された）衝動性動眼を行うことによって、電子メール受信者のリストに第２組の名前を追加し、作動シーケンス内の（例えば、電子メールを送信する）機能を行うことができる。代替的に（眼球運動の全体の観点から見て効率が低いが）、領域選択ターゲット７７４ａに視線７７３ｄを移動した後、作動ターゲット７７４ｂに直接に視線を移動する衝動性動眼は、選択された機能を合併した第１組７７５ａおよび第７７５ｂ組の受信者に同様に適用することができる。
図３６Ｃは、１つの追加の名前（Phil、７７６）を電子メール受信者のリストに追加するために行われる一連の追加の眼球運動を示している。追加の受信者７７６を探すために、領域選択ターゲット７７４ａからの衝動性動眼７７３ｅを行うことができる。追加の受信者を見つけると、単一の選択（Phil、７７６）から作動ターゲット７７４ｂまでの衝動性動眼７７３ｆを行うことによって、単一の要素をリストに追加し、選択された操作を実行することができる。この場合、単一の要素のみを選択するため、ディスプレイ７７０上に領域を定義する必要がない。しかしながら、領域選択ターゲット７７４ａを用いて、単一の要素を含む領域を選択し、その後、領域選択ターゲット７７４ａから作動ターゲット７７４ｂまでの衝動性動眼を行うことによって、同等の結果を達成することができる。
特定の実施形態において説明した様々な構成要素および特徴は、意図した実施形態の用途に応じて、追加、削除、および／または他の実施形態のもので置換され得ることが理解される。
さらに、代表的な実施形態を説明する際に、方法および／またはプロセスを特定の順序のステップとして記載する場合がある。しかしながら、方法またはプロセスは、本明細書に記載の特定の順序のステップに依存しない限り、記載された特定の順序のステップに制限されるべきではない。当業者が理解するように、他の順序のステップも可能である。したがって、明細書に記載されたステップの特定の順序は、特許請求の範囲に対する限定として解釈されるべきではない。
本発明は、様々な修正および代替形態が可能であるが、その特定の例示が図面に示されており、本明細書に詳細に記載されている。本発明は、開示された特定の形態または方法に制限されるものではなく、その逆、本発明は、添付の特許請求の範囲に含まれる全ての改変物、等価物および代替物を包含するものであることを理解されたい。
Claims (28)
- 検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、前記ユーザの意図を伝えるためのグラフィカルユーザインターフェイスを提供するための方法であって、
前記検出装置を用いて、前記ユーザの片目または両目が第１キーボード上の第１キーに向けられていることを特定するステップと、
前記検出装置を用いて、前記ユーザの片目または両目が前記第１キーから、所定の距離内にない、前記第１キーボードと同じ組のキーを有する第２キーボード上の第２キーに向けられた第１の１つまたは複数の衝動性動眼を特定するステップと、
前記検出装置を用いて、前記第１の１つまたは複数の衝動性動眼に対する前記第２キーの位置に向かう第１の１つまたは複数の補正された衝動性動眼が前記第２キーの位置から前記所定の距離内で完了したことを確認するステップと、
前記ユーザによる前記第２キーの認識を待たずに、前記第１キーおよび前記第２キーの一方または両方に関連する操作を行うステップとを含む、方法。 - 前記第２キーボードは、ディスプレイ上に投影された仮想キーボードと、物理オブジェクトとのうち一方である、請求項１に記載の方法。
- 前記操作は、前記第１キーに関連する文字を一連の文字に連結することを含む、請求項１または２に記載の方法。
- 前記第１キーに関連する文字を連結することは、単語、句、文および数字からなるグループのうちの一つを形成する、請求項３に記載の方法。
- 前記第１キーボードおよび前記第２キーボードは、ディスプレイ上で互いに隣接して表示される仮想キーボードである、請求項１〜４のいずれかに記載の方法。
- 前記第１キーボードおよび前記第２キーボードは、１つ又は複数の数字、文字、単語、句、選択、メディアグリフ、または特殊記号を含む複数のキーを含む、請求項１〜５のいずれかに記載の方法。
- 前記操作は、前記第１キーに割り当てられた記号をディスプレイに表示されるフィールドに追加することを含む、請求項１〜６のいずれかに記載の方法。
- 前記検出装置を用いて、前記ユーザの片目または両目が前記第２キーボードに向けられている時に前記第２キーを特定するステップと、
前記検出装置を用いて、前記ユーザの片目または両目が前記第２キーから前記第１キーボードの第３キーに向けられた第２の１つまたは複数の衝動性動眼を特定するステップと、
前記検出装置を用いて、前記第２の１つまたは複数の衝動性動眼に対する第２の１つ又は複数の衝動性動眼が前記第１キーボードの前記第３キーから所定の距離内で完了したことを確認するステップと、
前記ユーザによる前記第１キーボードの前記第３キーの認識を待たずに、前記第３キーおよび前記第２キーのうちの一つ又は両方に関連する第２操作を行うステップとをさらに含む、請求項１〜７のいずれかに記載の方法。 - 前記操作は、前記第１キーに少なくとも部分的に基づいて、前記第２キーボードのキー上に形成された記号を修正することを含む、請求項８に記載の方法。
- 前記第２キーボードのキー上に形成された記号の修正は、前記第１キー上に形成された記号に関連付けられない記号を前記第２キーボードの前記キーから省くことを含む、請求項９に記載の方法。
- 前記操作は、前記第１キーに少なくとも部分的に基づいて、前記第２キーボードのキー上に提示されるシンボルを修正することを含む、請求項８に記載の方法。
- 前記第２キーは、作動ターゲットである、請求項１〜１１のいずれかに記載の方法。
- 前記第２キーは、前記ユーザの傍中心窩視界および周辺視界のうち一方に位置する、請求項１〜１２のいずれかに記載の方法。
- 前記第１キーは、ディスプレイ上に表示された仮想キーボードに位置し、
前記第２キーは、前記ディスプレイ上に表示されていない前記ユーザの視野に位置する、請求項１〜１３のいずれかに記載の方法。 - 前記操作は、前記ユーザによる更なる操作に関係なく、前記第１の１つまたは複数の衝動性動眼に対する前記１つまたは複数の補正された衝動性動眼が、前記第１キーから、前記第２キーの前記位置からの所定の距離内に完了したことを確認した直後に行われる、請求項１〜１４のいずれかに記載の方法。
- 前記ユーザの一方または両方の目が前記第１キーボードの前記第１キーに向けられた時を前記検出装置で識別した後に、前記第２キーボード上の前記第２キーの最も頻繁に使用される特徴の輝度を変更することをさらに含む、請求項１〜１５のいずれかに記載の方法。
- 前記第２キーボードは、前記第１キーボードと同じ組のキーを同じレイアウトで有しており、
前記第２キーボードは、前記第１キーボードに隣接しており、同じ向きにある、請求項１〜１６のいずれかに記載の方法。 - 第１キーボード、第２キーボードおよび検出装置を用いて、ユーザの片目または両目の眼球運動に少なくとも部分的に基づいて、前記ユーザの意図を伝えるためのグラフィカルユーザインターフェイスを提供するための方法であって、
前記検出装置を用いて、前記ユーザの片目または両目が前記第１または第２キーボード上の第１キーの位置から所定の距離内に向けられていることを特定するステップを備え、前記第１キーボードまたは前記第２キーボードの少なくとも一つのキーは、単一の衝動性動眼を用いてアクティブになる一方、前記第１キーボードまたは前記第２キーボードの他のキーは、二つの衝動性動眼を用いてアクティブになり、前記第２キーボードは前記ユーザの両目に対して前記第１キーボードの垂直に隣接して同じ方向に配置されており、前記第２キーボードは、前記第１キーボードと同じレイアウトで同じキーの組を有しており、前記第１キーボードおよび前記第２キーボードのうちの１つまたは複数の最も頻繁に使用されるキーは、前記第１キーボードおよび前記第２キーボードの複数の行のうちの１または複数の中央の行を占めており、
前記検出装置を用いて、前記ユーザの片目または両目が前記キーボード上の前記第１キーから、所定の距離内にない、前記第１または第２のキーボード上の第２キーに向けられた第１の１つまたは複数の衝動性動眼を特定するステップと、
前記検出装置を用いて、前記１つまたは複数の衝動性動眼に対する前記第２キーの位置に向かう、１または複数の補正された衝動性動眼が前記第２キーの前記位置から所定の距離内で完了したことを確認するステップと、
前記第１キーおよび前記第２キーの一方または両方に関連する操作を行うステップとを含む、方法。 - 前記操作は、前記ユーザによる前記第２キーの認識を待たずに行われる、請求項１８に記載の方法。
- 前記操作は、前記第１キーに関連する文字を、格納された一連の文字に連結することを含む、請求項１８に記載の方法。
- 前記第１キーに関連する文字を連結することは、単語、文および数字からなるグループのうちの一つを形成する、請求項２０に記載の方法。
- 前記第１キーボードおよび前記第２キーボードのうちの少なくとも一つは、前記グラフィカルユーザインターフェイス上に投影される、請求項１８〜２１のいずれかに記載の方法。
- 前記第１キーボードおよび前記第２キーボードは、当該キーボードのうちの１つの少なくとも１つのキーに関連付けられる頻繁に使用される機能に対するオフディスプレイ修飾ターゲットを含み、前記方法は、
前記ユーザの一方または両方の目が前記第１または第２のキーボード上の前記第１キーの位置から所定の距離内にあるとき、前記検出装置で識別した後に、前記第１または第２のキーボード上の前記第２キーの最も頻繁に使用される特徴の輝度を変更することをさらに含む、請求項１８〜２２のいずれかに記載の方法。 - ユーザの片眼または両眼の動きに少なくとも部分的に基づいてユーザの意図を決定するグラフィカルユーザインターフェイスであって、
少なくとも第１キーボードを表示するように構成されたプロジェクタと、
検出装置とを備え、前記検出装置は、
ユーザの片目または両目が第１キーボードの第１キーに向けられたときを識別するように構成されており、前記第１キーボードの少なくとも１つのキーは、単一の断続的な目の動きを使用して起動可能であり、前記第１キーボードの他のキーは、２つの断続的な目の動きを使用して起動可能であり、
前記第１キーから、予め定められた距離内にない、第２キーボードの第２キーに向かう前記ユーザの片目または両目の第１の１つまたは複数の断続性運動を識別し、
前記第１の１つまたは複数の断続性運動について前記第２キーの位置に向かう１つまたは複数の修正された断続性運動が、前記第２キーの位置から所定の距離以内に完了したことを確認するように構成されており、
プロセッサを備え、前記プロセッサは、前記ユーザによる第２キーの知覚を待つことなく、前記第１の１つまたは複数の断続性運動について前記１つまたは複数の修正された断続性運動が、前記第２キーの位置から前記所定の距離以内に完了したという確認に応答して、前記第１キーおよび前記第２キーの一方または両方に関連付けられた動作を実行するように構成されている、グラフィカルユーザインターフェイス。 - 前記プロセッサが実行するように構成された動作は、前記第１キーに関連付けられた文字を一連の文字に連結することを含む、請求項２４に記載のグラフィカルユーザインターフェイス。
- 前記第１キーボードおよび第２キーボードは、数字、文字、単語、フレーズ、選択、メディアグリフ、または特別文字の表現のうちの１つまたは複数を含む複数のキーを含む、請求項２４または２５に記載のグラフィカルユーザインターフェイス。
- 前記第１キーボードおよび第２キーボードは、同一のレイアウトを有する仮想キーボードである、請求項２４〜２６のいずれかに記載のグラフィカルユーザインターフェイス。
- 前記検出装置は
前記ユーザの片目または両目が前記第２キーボードに向けられたときに前記第２キーを識別し、
前記第２キーから前記第１キーボードの第３キーに向かう、前記ユーザの片目または両目の第２の１つまたは複数の断続性運動を識別し、
前記第２の１つまたは複数の断続性運動に対する第２の１つまたは複数の修正された断続性運動が、前記第１キーボードの前記第３キーから指定された距離内で完了したことを確認するように構成されており、
前記プロセッサは、前記ユーザによる前記第１キーボードの前記第３キーの知覚を待つことなく、前記第２の１つまたは複数の断続性運動に対する前記第２の１つまたは複数の修正された断続性運動が、前記第１キーボードの前記第３キーから前記指定された距離内で完了したという確認に応答して、前記第３キーおよび前記第２キーの一方または両方に関連付けられた動作を実行するように構成されている、請求項２４〜２７のいずれかに記載のグラフィカルユーザインターフェイス。
Applications Claiming Priority (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201562205707P | 2015-08-15 | 2015-08-15 | |
| US62/205,707 | 2015-08-15 | ||
| US201562252347P | 2015-11-06 | 2015-11-06 | |
| US62/252,347 | 2015-11-06 | ||
| US201662319751P | 2016-04-07 | 2016-04-07 | |
| US62/319,751 | 2016-04-07 | ||
| PCT/US2016/047105 WO2017031089A1 (en) | 2015-08-15 | 2016-08-15 | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2018530798A JP2018530798A (ja) | 2018-10-18 |
| JP2018530798A5 JP2018530798A5 (ja) | 2020-07-02 |
| JP6865175B2 true JP6865175B2 (ja) | 2021-04-28 |
Family
ID=58051236
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017556858A Active JP6865175B2 (ja) | 2015-08-15 | 2016-08-15 | 実在オブジェクトおよび仮想オブジェクトと対話するための生体力学に基づく視覚信号用のシステムおよび方法 |
Country Status (7)
| Country | Link |
|---|---|
| EP (1) | EP3335096B1 (ja) |
| JP (1) | JP6865175B2 (ja) |
| KR (1) | KR102196975B1 (ja) |
| CN (1) | CN108351685B (ja) |
| DE (1) | DE112016003719T5 (ja) |
| GB (1) | GB2561455B (ja) |
| WO (1) | WO2017031089A1 (ja) |
Families Citing this family (75)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10489577B2 (en) * | 2016-08-11 | 2019-11-26 | Onenigma LLC | Identifying one or more users based on typing pattern and/or behavior |
| US10627900B2 (en) | 2017-03-23 | 2020-04-21 | Google Llc | Eye-signal augmented control |
| US10216260B2 (en) * | 2017-03-27 | 2019-02-26 | Microsoft Technology Licensing, Llc | Selective rendering of sparse peripheral displays based on element saliency |
| GB2561852A (en) * | 2017-04-25 | 2018-10-31 | Bae Systems Plc | Watercraft |
| CA3061410C (en) | 2017-04-25 | 2023-03-21 | Bae Systems Plc | Watercraft |
| GB2561882A (en) * | 2017-04-27 | 2018-10-31 | Nokia Technologies Oy | Virtual reality viewport adaption |
| AU2018277842A1 (en) * | 2017-05-31 | 2019-12-19 | Magic Leap, Inc. | Eye tracking calibration techniques |
| GB2563276B (en) * | 2017-06-09 | 2021-12-01 | Advanced Risc Mach Ltd | Virtual reality systems |
| JP7081599B2 (ja) * | 2017-07-27 | 2022-06-07 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| KR20220100102A (ko) | 2017-09-29 | 2022-07-14 | 애플 인크. | 시선-기반 사용자 상호작용 |
| CN109697000B (zh) * | 2017-10-24 | 2022-09-16 | 阿里巴巴集团控股有限公司 | 资源分配方法及相关设备、显示方法及相关设备 |
| US10484530B2 (en) * | 2017-11-07 | 2019-11-19 | Google Llc | Sensor based component activation |
| AU2018367510A1 (en) * | 2017-11-14 | 2020-06-25 | Vivid Vision, Inc. | Systems and methods for visual field analysis |
| EP3716220B1 (en) * | 2017-11-20 | 2024-02-21 | Rakuten Group, Inc. | Information processing device, information processing method, and information processing program |
| EP3724855A4 (en) | 2017-12-14 | 2022-01-12 | Magic Leap, Inc. | CONTEXT-BASED REPRESENTATION OF VIRTUAL AVATARS |
| WO2019144196A1 (en) * | 2018-01-25 | 2019-08-01 | Psykinetic Pty Ltd | Eye-typing method, system and computer readable medium |
| FR3077900B1 (fr) * | 2018-02-12 | 2020-01-17 | Thales | Vision peripherique dans une interface homme-machine |
| US11314396B2 (en) | 2018-05-09 | 2022-04-26 | Apple Inc. | Selecting a text input field using eye gaze |
| US11604661B2 (en) * | 2018-06-03 | 2023-03-14 | Apple Inc. | Determining relevant information based on third party information and user interactions |
| WO2019245543A1 (en) | 2018-06-20 | 2019-12-26 | Hewlett-Packard Development Company, L.P. | Alerts of mixed reality devices |
| EP3750141A4 (en) * | 2018-06-20 | 2021-09-15 | Hewlett-Packard Development Company, L.P. | WARNINGS FROM DEVICES OF MIXED REALITY |
| DE102018210824B4 (de) * | 2018-07-02 | 2023-02-09 | Audi Ag | Verfahren und System zur Ausleuchtung eines Bereichs in einer Umgebung eines Fahrzeugs |
| US10581940B1 (en) * | 2018-08-20 | 2020-03-03 | Dell Products, L.P. | Head-mounted devices (HMDs) discovery in co-located virtual, augmented, and mixed reality (xR) applications |
| US10616565B2 (en) * | 2018-08-21 | 2020-04-07 | The Boeing Company | System and method for foveated simulation |
| KR20200029785A (ko) * | 2018-09-11 | 2020-03-19 | 삼성전자주식회사 | 증강 현실에서 가상 객체를 표시하기 위한 측위 방법 및 장치 |
| US10664050B2 (en) | 2018-09-21 | 2020-05-26 | Neurable Inc. | Human-computer interface using high-speed and accurate tracking of user interactions |
| WO2020076300A1 (en) * | 2018-10-09 | 2020-04-16 | Hewlett-Packard Development Company, L.P. | Selecting a display with machine learning |
| US11894125B2 (en) | 2018-10-17 | 2024-02-06 | Google Llc | Processing fundus camera images using machine learning models trained using other modalities |
| CN111281762A (zh) * | 2018-12-07 | 2020-06-16 | 广州幻境科技有限公司 | 一种视力康复训练方法及系统 |
| CN109324417A (zh) * | 2018-12-13 | 2019-02-12 | 宜视智能科技（苏州）有限公司 | 助视器及其控制方法、计算机存储介质 |
| CN109799838B (zh) * | 2018-12-21 | 2022-04-15 | 金季春 | 一种训练方法和系统 |
| US11514602B2 (en) | 2018-12-25 | 2022-11-29 | Samsung Electronics Co., Ltd. | Method and apparatus for gaze estimation |
| KR102237659B1 (ko) * | 2019-02-21 | 2021-04-08 | 한국과학기술원 | 입력 방법 및 이를 수행하는 장치들 |
| CN109917914B (zh) * | 2019-03-05 | 2022-06-17 | 河海大学常州校区 | 基于视野位置的交互界面分析与优化方法 |
| JP7215246B2 (ja) * | 2019-03-08 | 2023-01-31 | 株式会社Ｊｖｃケンウッド | 表示装置、表示方法、及び表示プログラム |
| EP3709263A1 (en) * | 2019-03-14 | 2020-09-16 | Siemens Healthcare GmbH | Method and system for monitoring a biological process |
| CN111766939A (zh) * | 2019-03-15 | 2020-10-13 | 苹果公司 | 在光学透传显示器上的注意力方向 |
| WO2020209171A1 (ja) * | 2019-04-09 | 2020-10-15 | オムロン株式会社 | 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム |
| US11228810B1 (en) | 2019-04-22 | 2022-01-18 | Matan Arazi | System, method, and program product for interactively prompting user decisions |
| WO2020241863A1 (ja) * | 2019-05-30 | 2020-12-03 | 京セラ株式会社 | ヘッドアップディスプレイシステムおよび移動体 |
| US10997773B2 (en) | 2019-06-13 | 2021-05-04 | Facebook Technologies, Llc | Dynamic tiling for foveated rendering |
| US10976816B2 (en) * | 2019-06-25 | 2021-04-13 | Microsoft Technology Licensing, Llc | Using eye tracking to hide virtual reality scene changes in plain sight |
| US10901502B2 (en) * | 2019-06-27 | 2021-01-26 | Facebook, Inc. | Reducing head mounted display power consumption and heat generation through predictive rendering of content |
| CN110399930B (zh) * | 2019-07-29 | 2021-09-03 | 北京七鑫易维信息技术有限公司 | 一种数据处理方法及系统 |
| KR102313622B1 (ko) | 2019-08-21 | 2021-10-19 | 한국과학기술연구원 | 생체신호 기반 아바타 제어시스템 및 방법 |
| CN110703916B (zh) * | 2019-09-30 | 2023-05-09 | 恒信东方文化股份有限公司 | 一种三维建模方法及其系统 |
| CA3058447A1 (en) * | 2019-10-10 | 2021-04-10 | Spacecard Inc. | A system for generating and displaying interactive mixed-reality video on mobile devices |
| KR102128894B1 (ko) * | 2019-10-10 | 2020-07-01 | 주식회사 메디씽큐 | 스마트 안경의 시선 트래킹 시스템 및 그 방법 |
| US11430414B2 (en) * | 2019-10-17 | 2022-08-30 | Microsoft Technology Licensing, Llc | Eye gaze control of magnification user interface |
| CN110956082B (zh) * | 2019-10-17 | 2023-03-24 | 江苏科技大学 | 基于深度学习的人脸关键点检测方法和检测系统 |
| TWI734259B (zh) * | 2019-11-14 | 2021-07-21 | 雲想科技股份有限公司 | 電子簽章認證裝置及其方法 |
| US11176637B2 (en) | 2019-12-03 | 2021-11-16 | Facebook Technologies, Llc | Foveated rendering using eye motion |
| ES2961614T3 (es) * | 2019-12-17 | 2024-03-12 | John Cockerill Defense SA | Sistema inteligente para el control de funciones en una torreta de un vehículo de combate |
| US11526159B2 (en) * | 2020-02-14 | 2022-12-13 | Rockwell Automation Technologies, Inc. | Augmented reality human machine interface testing |
| CN111443796B (zh) * | 2020-03-10 | 2023-04-28 | 维沃移动通信有限公司 | 一种信息处理方法及装置 |
| WO2021194487A1 (en) * | 2020-03-25 | 2021-09-30 | Hewlett-Packard Development Company, L.P. | Head-related transfer functions with antropometric measurements |
| CN111861900A (zh) * | 2020-06-05 | 2020-10-30 | 北京迈格威科技有限公司 | 视频抠像降噪方法和装置 |
| CN111930234A (zh) * | 2020-08-05 | 2020-11-13 | 西安闻泰电子科技有限公司 | 基于眼睛控制的输入方法、装置、电子设备及存储介质 |
| DE102020210173A1 (de) | 2020-08-11 | 2022-02-17 | Volkswagen Aktiengesellschaft | Verfahren sowie System zur Unterstützung eines Fahrers eines Fahrzeuges bei Engstellen in einem Fahrweg des Fahrzeuges |
| KR102495213B1 (ko) * | 2020-11-05 | 2023-02-07 | 한국전자통신연구원 | 증강 현실 기반의 스크린 스포츠 체험 장치 및 방법 |
| CA3206042A1 (en) | 2021-01-22 | 2022-07-28 | Sarah Nancy STAAB | Visual data management system and method |
| CN112952838B (zh) * | 2021-01-29 | 2023-08-11 | 中国电力科学研究院有限公司 | 一种基于眼动设备的潮流智能分析方法及装置 |
| CN112906346B (zh) * | 2021-02-09 | 2023-07-04 | 江苏徐工工程机械研究院有限公司 | 一种工程机械显示器字符大小设计系统及方法 |
| US11769134B2 (en) * | 2021-03-22 | 2023-09-26 | International Business Machines Corporation | Multi-user interactive ad shopping using wearable device gestures |
| WO2022265654A1 (en) * | 2021-06-18 | 2022-12-22 | Hewlett-Packard Development Company, L.P. | Image analysis to switch audio devices |
| US20230030433A1 (en) * | 2021-07-27 | 2023-02-02 | App-Pop-Up Inc. | System and method for adding and simultaneously displaying auxiliary content to main content displayed via a graphical user interface (gui) |
| CN114115230B (zh) * | 2021-10-25 | 2023-10-03 | 武汉理工大学 | 人机协同的船舶远程驾驶控制方法、系统、装置及介质 |
| KR102655829B1 (ko) * | 2021-11-08 | 2024-04-08 | 엄태경 | 자세 교정용 모니터 및 이의 조절 방법 |
| WO2023104286A1 (en) * | 2021-12-07 | 2023-06-15 | Ericsson | Rendering of virtual keyboards in virtual environments |
| CN114265501B (zh) * | 2021-12-22 | 2024-01-26 | 南京紫金体育产业股份有限公司 | 一种运动场景动态识别系统 |
| JP2023115808A (ja) | 2022-02-08 | 2023-08-21 | キヤノン株式会社 | 電子機器、電子機器の制御方法、プログラム、および記録媒体 |
| CN114420131B (zh) * | 2022-03-16 | 2022-05-31 | 云天智能信息(深圳)有限公司 | 低弱视力智能语音辅助识别系统 |
| US11620000B1 (en) * | 2022-03-31 | 2023-04-04 | Microsoft Technology Licensing, Llc | Controlled invocation of a precision input mode |
| EP4258085A1 (de) * | 2022-04-04 | 2023-10-11 | Deutsche Telekom AG | Steuerung eines cursors bei der nutzung virtueller bildschirme |
| CN115686292B (zh) * | 2023-01-03 | 2023-07-25 | 京东方艺云(杭州)科技有限公司 | 一种信息显示的方法、装置、电子设备及存储介质 |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4737040A (en) * | 1985-02-15 | 1988-04-12 | Moon Tag Y | Keyboard device and method for entering Japanese language text utilizing Romaji character notation |
| CA2126142A1 (en) * | 1994-06-17 | 1995-12-18 | David Alexander Kahn | Visual communications apparatus |
| US7438414B2 (en) * | 2005-07-28 | 2008-10-21 | Outland Research, Llc | Gaze discriminating electronic control apparatus, system, method and computer program product |
| EP1943583B1 (en) | 2005-10-28 | 2019-04-10 | Tobii AB | Eye tracker with visual feedback |
| US8487775B2 (en) * | 2006-06-11 | 2013-07-16 | Volvo Technology Corporation | Method and apparatus for determining and analyzing a location of visual interest |
| FR2912274B1 (fr) * | 2007-02-02 | 2009-10-16 | Binocle Sarl | Procede de commande a partir d'un signal oculaire volontaire, notamment pour une prise de vues |
| US8717292B2 (en) * | 2007-08-07 | 2014-05-06 | Osaka Electro-Communication University | Moving object detecting apparatus, moving object detecting method, pointing device, and storage medium |
| WO2010118292A1 (en) * | 2009-04-09 | 2010-10-14 | Dynavox Systems, Llc | Calibration free, motion tolerant eye-gaze direction detector with contextually aware computer interaction and communication methods |
| US9213405B2 (en) | 2010-12-16 | 2015-12-15 | Microsoft Technology Licensing, Llc | Comprehension and intent-based content for augmented reality displays |
| US8885877B2 (en) * | 2011-05-20 | 2014-11-11 | Eyefluence, Inc. | Systems and methods for identifying gaze tracking scene reference locations |
| US8994522B2 (en) * | 2011-05-26 | 2015-03-31 | General Motors Llc | Human-machine interface (HMI) auto-steer based upon-likelihood to exceed eye glance guidelines |
| US9766700B2 (en) * | 2011-12-14 | 2017-09-19 | Intel Corporation | Gaze activated content transfer system |
| KR101850035B1 (ko) * | 2012-05-02 | 2018-04-20 | 엘지전자 주식회사 | 이동 단말기 및 그 제어방법 |
| WO2013169237A1 (en) | 2012-05-09 | 2013-11-14 | Intel Corporation | Eye tracking based selective accentuation of portions of a display |
| US8917238B2 (en) * | 2012-06-28 | 2014-12-23 | Microsoft Corporation | Eye-typing term recognition |
| CN103631365B (zh) * | 2012-08-22 | 2016-12-21 | 中国移动通信集团公司 | 一种终端输入控制方法及装置 |
| US9176581B2 (en) * | 2012-09-28 | 2015-11-03 | Intel Corporation | System and method for inferring user intent based on eye movement during observation of a display screen |
| KR20140073730A (ko) * | 2012-12-06 | 2014-06-17 | 엘지전자 주식회사 | 이동 단말기 및 이동 단말기 제어방법 |
| US20140173407A1 (en) * | 2012-12-17 | 2014-06-19 | Empire Technology Development Llc | Progressively triggered auto-fill |
| KR20160005013A (ko) * | 2013-03-01 | 2016-01-13 | 토비 에이비 | 지연 워프 시선 상호작용 |
| US10025378B2 (en) * | 2013-06-25 | 2018-07-17 | Microsoft Technology Licensing, Llc | Selecting user interface elements via position signal |
| SG11201602944YA (en) | 2013-10-17 | 2016-05-30 | Childrens Healthcare Atlanta Inc | Methods for assessing infant and child development via eye tracking |
| KR20160109443A (ko) * | 2015-03-11 | 2016-09-21 | 주식회사 비주얼캠프 | 시선 추적을 이용한 디스플레이 장치 및 방법 |
| KR101857466B1 (ko) * | 2017-06-16 | 2018-05-15 | 주식회사 비주얼캠프 | 헤드 마운트 디스플레이 및 그 캘리브레이션 방법 |
-
2016
- 2016-08-15 EP EP16837677.0A patent/EP3335096B1/en active Active
- 2016-08-15 KR KR1020177031497A patent/KR102196975B1/ko active IP Right Grant
- 2016-08-15 JP JP2017556858A patent/JP6865175B2/ja active Active
- 2016-08-15 WO PCT/US2016/047105 patent/WO2017031089A1/en active Application Filing
- 2016-08-15 CN CN201680031080.4A patent/CN108351685B/zh active Active
- 2016-08-15 DE DE112016003719.8T patent/DE112016003719T5/de not_active Ceased
- 2016-08-15 GB GB1803620.2A patent/GB2561455B/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| GB2561455B (en) | 2022-05-18 |
| CN108351685B (zh) | 2022-07-08 |
| DE112016003719T5 (de) | 2018-05-09 |
| KR20180083252A (ko) | 2018-07-20 |
| WO2017031089A1 (en) | 2017-02-23 |
| GB201803620D0 (en) | 2018-04-18 |
| EP3335096B1 (en) | 2022-10-05 |
| JP2018530798A (ja) | 2018-10-18 |
| GB2561455A (en) | 2018-10-17 |
| EP3335096A4 (en) | 2019-03-06 |
| EP3335096A1 (en) | 2018-06-20 |
| CN108351685A (zh) | 2018-07-31 |
| KR102196975B1 (ko) | 2020-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6865175B2 (ja) | 実在オブジェクトおよび仮想オブジェクトと対話するための生体力学に基づく視覚信号用のシステムおよび方法 | |
| US10564714B2 (en) | Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects | |
| US11747618B2 (en) | Systems and methods for sign language recognition | |
| CN112507799B (zh) | 基于眼动注视点引导的图像识别方法、mr眼镜及介质 | |
| US11899735B2 (en) | Systems and methods for altering display parameters for users with epilepsy | |
| Ding | User-generated vocabularies on Assistive/Access Technology | |
| US20230259265A1 (en) | Devices, methods, and graphical user interfaces for navigating and inputting or revising content | |
| US20230401795A1 (en) | Extended reality based digital assistant interactions | |
| US20240103676A1 (en) | Methods for interacting with user interfaces based on attention | |
| Ward | Testing methods to shift visual attention from wearable head-up displays to real-world locations | |
| WO2022238936A2 (en) | Systems and methods for making websites accessible |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180831 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A711 Effective date: 20180926 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20180926 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190805 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190805 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200515 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200515 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200520 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200821 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200901 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20201201 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210309 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210405 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6865175 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |