KR20180104051A - 리플렉션들을 활용하는 증강 현실 시스템들 및 방법들 - Google Patents
리플렉션들을 활용하는 증강 현실 시스템들 및 방법들 Download PDFInfo
- Publication number
- KR20180104051A KR20180104051A KR1020187023833A KR20187023833A KR20180104051A KR 20180104051 A KR20180104051 A KR 20180104051A KR 1020187023833 A KR1020187023833 A KR 1020187023833A KR 20187023833 A KR20187023833 A KR 20187023833A KR 20180104051 A KR20180104051 A KR 20180104051A
- Authority
- KR
- South Korea
- Prior art keywords
- user
- augmented reality
- image
- reflection
- images
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 421
- 238000000034 method Methods 0.000 title claims description 421
- 238000012360 testing method Methods 0.000 claims description 125
- 238000004458 analytical method Methods 0.000 claims description 84
- 230000036541 health Effects 0.000 claims description 76
- 210000003205 muscle Anatomy 0.000 claims description 70
- 230000000694 effects Effects 0.000 claims description 58
- 230000003287 optical effect Effects 0.000 claims description 55
- 230000008859 change Effects 0.000 claims description 37
- 210000003792 cranial nerve Anatomy 0.000 claims description 23
- 210000005036 nerve Anatomy 0.000 claims description 23
- 239000000047 product Substances 0.000 claims description 18
- 210000001747 pupil Anatomy 0.000 claims description 17
- 238000003860 storage Methods 0.000 claims description 16
- 239000013589 supplement Substances 0.000 claims description 6
- 230000002708 enhancing effect Effects 0.000 claims description 5
- 238000010984 neurological examination Methods 0.000 claims description 5
- 206010033546 Pallor Diseases 0.000 claims description 4
- 230000036772 blood pressure Effects 0.000 claims description 4
- 230000037237 body shape Effects 0.000 claims description 4
- 230000000392 somatic effect Effects 0.000 claims description 3
- 230000001419 dependent effect Effects 0.000 claims description 2
- 238000012986 modification Methods 0.000 abstract description 10
- 230000004048 modification Effects 0.000 abstract description 10
- 230000033001 locomotion Effects 0.000 description 305
- 210000001508 eye Anatomy 0.000 description 146
- 238000003384 imaging method Methods 0.000 description 111
- 238000012545 processing Methods 0.000 description 85
- 210000003128 head Anatomy 0.000 description 79
- 230000000007 visual effect Effects 0.000 description 64
- 230000008569 process Effects 0.000 description 58
- 238000001514 detection method Methods 0.000 description 53
- 208000016285 Movement disease Diseases 0.000 description 45
- 230000004044 response Effects 0.000 description 43
- 230000006854 communication Effects 0.000 description 37
- 238000004891 communication Methods 0.000 description 37
- 230000005021 gait Effects 0.000 description 37
- 238000004422 calculation algorithm Methods 0.000 description 35
- 230000009471 action Effects 0.000 description 33
- 238000005259 measurement Methods 0.000 description 33
- 230000003902 lesion Effects 0.000 description 31
- 208000012902 Nervous system disease Diseases 0.000 description 27
- 230000000875 corresponding effect Effects 0.000 description 24
- 230000036244 malformation Effects 0.000 description 23
- 210000002683 foot Anatomy 0.000 description 22
- 210000002105 tongue Anatomy 0.000 description 22
- 230000003796 beauty Effects 0.000 description 21
- 238000010586 diagram Methods 0.000 description 21
- 230000011514 reflex Effects 0.000 description 21
- 230000000903 blocking effect Effects 0.000 description 20
- 208000026139 Memory disease Diseases 0.000 description 19
- 210000004556 brain Anatomy 0.000 description 19
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 19
- 210000003811 finger Anatomy 0.000 description 19
- 230000006378 damage Effects 0.000 description 18
- 238000011282 treatment Methods 0.000 description 18
- 206010003591 Ataxia Diseases 0.000 description 17
- 208000025966 Neurological disease Diseases 0.000 description 16
- 230000006870 function Effects 0.000 description 16
- 230000036544 posture Effects 0.000 description 16
- 238000013500 data storage Methods 0.000 description 15
- 230000002996 emotional effect Effects 0.000 description 15
- 230000001815 facial effect Effects 0.000 description 15
- 230000003993 interaction Effects 0.000 description 15
- 210000002161 motor neuron Anatomy 0.000 description 15
- 208000027418 Wounds and injury Diseases 0.000 description 14
- 208000014674 injury Diseases 0.000 description 14
- 210000003127 knee Anatomy 0.000 description 14
- 208000024891 symptom Diseases 0.000 description 14
- 208000032170 Congenital Abnormalities Diseases 0.000 description 13
- 206010012289 Dementia Diseases 0.000 description 13
- 206010008129 cerebral palsy Diseases 0.000 description 13
- 201000006417 multiple sclerosis Diseases 0.000 description 13
- 210000003371 toe Anatomy 0.000 description 13
- 206010033799 Paralysis Diseases 0.000 description 12
- 230000005670 electromagnetic radiation Effects 0.000 description 12
- 238000000605 extraction Methods 0.000 description 12
- 238000013507 mapping Methods 0.000 description 12
- 230000008447 perception Effects 0.000 description 12
- 208000023105 Huntington disease Diseases 0.000 description 11
- 208000035475 disorder Diseases 0.000 description 11
- 230000004424 eye movement Effects 0.000 description 11
- 230000004438 eyesight Effects 0.000 description 11
- 208000018737 Parkinson disease Diseases 0.000 description 10
- 206010044565 Tremor Diseases 0.000 description 10
- 230000002159 abnormal effect Effects 0.000 description 10
- 230000006399 behavior Effects 0.000 description 10
- 230000007613 environmental effect Effects 0.000 description 10
- 210000003414 extremity Anatomy 0.000 description 10
- 210000004247 hand Anatomy 0.000 description 10
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 description 10
- 230000002452 interceptive effect Effects 0.000 description 10
- 238000010801 machine learning Methods 0.000 description 10
- 230000001720 vestibular Effects 0.000 description 10
- 206010017577 Gait disturbance Diseases 0.000 description 9
- 206010002026 amyotrophic lateral sclerosis Diseases 0.000 description 9
- 239000013307 optical fiber Substances 0.000 description 9
- 210000001525 retina Anatomy 0.000 description 9
- 210000002435 tendon Anatomy 0.000 description 9
- 239000013598 vector Substances 0.000 description 9
- 230000004580 weight loss Effects 0.000 description 9
- 206010003694 Atrophy Diseases 0.000 description 8
- 208000010428 Muscle Weakness Diseases 0.000 description 8
- 206010028372 Muscular weakness Diseases 0.000 description 8
- 208000006011 Stroke Diseases 0.000 description 8
- 208000003443 Unconsciousness Diseases 0.000 description 8
- 230000037444 atrophy Effects 0.000 description 8
- 230000007423 decrease Effects 0.000 description 8
- 208000002173 dizziness Diseases 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 8
- 230000001965 increasing effect Effects 0.000 description 8
- 238000002347 injection Methods 0.000 description 8
- 239000007924 injection Substances 0.000 description 8
- 206010029864 nystagmus Diseases 0.000 description 8
- 230000003252 repetitive effect Effects 0.000 description 8
- 208000012239 Developmental disease Diseases 0.000 description 7
- 208000001613 Gambling Diseases 0.000 description 7
- 208000019430 Motor disease Diseases 0.000 description 7
- 230000003542 behavioural effect Effects 0.000 description 7
- 230000007175 bidirectional communication Effects 0.000 description 7
- 230000001054 cortical effect Effects 0.000 description 7
- 201000010099 disease Diseases 0.000 description 7
- 210000000887 face Anatomy 0.000 description 7
- 239000000835 fiber Substances 0.000 description 7
- 210000004209 hair Anatomy 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 238000002156 mixing Methods 0.000 description 7
- 208000005264 motor neuron disease Diseases 0.000 description 7
- 230000001537 neural effect Effects 0.000 description 7
- 238000000554 physical therapy Methods 0.000 description 7
- 230000000750 progressive effect Effects 0.000 description 7
- 238000010079 rubber tapping Methods 0.000 description 7
- 210000003813 thumb Anatomy 0.000 description 7
- 210000001519 tissue Anatomy 0.000 description 7
- 208000020406 Creutzfeldt Jacob disease Diseases 0.000 description 6
- 208000003407 Creutzfeldt-Jakob Syndrome Diseases 0.000 description 6
- 208000010859 Creutzfeldt-Jakob disease Diseases 0.000 description 6
- 208000012661 Dyskinesia Diseases 0.000 description 6
- 208000014094 Dystonic disease Diseases 0.000 description 6
- 208000036826 VIIth nerve paralysis Diseases 0.000 description 6
- 230000008602 contraction Effects 0.000 description 6
- 238000010168 coupling process Methods 0.000 description 6
- 238000005859 coupling reaction Methods 0.000 description 6
- 230000007850 degeneration Effects 0.000 description 6
- 239000003814 drug Substances 0.000 description 6
- 230000000977 initiatory effect Effects 0.000 description 6
- 230000000670 limiting effect Effects 0.000 description 6
- 201000001119 neuropathy Diseases 0.000 description 6
- 230000007823 neuropathy Effects 0.000 description 6
- 230000037361 pathway Effects 0.000 description 6
- 208000033808 peripheral neuropathy Diseases 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 208000006373 Bell palsy Diseases 0.000 description 5
- 206010068597 Bulbospinal muscular atrophy congenital Diseases 0.000 description 5
- 208000035895 Guillain-Barré syndrome Diseases 0.000 description 5
- 208000027747 Kennedy disease Diseases 0.000 description 5
- 206010049567 Miller Fisher syndrome Diseases 0.000 description 5
- 206010052904 Musculoskeletal stiffness Diseases 0.000 description 5
- 208000005392 Spasm Diseases 0.000 description 5
- 208000006269 X-Linked Bulbo-Spinal Atrophy Diseases 0.000 description 5
- 230000001154 acute effect Effects 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 210000001638 cerebellum Anatomy 0.000 description 5
- 230000002596 correlated effect Effects 0.000 description 5
- 206010013932 dyslexia Diseases 0.000 description 5
- 230000008921 facial expression Effects 0.000 description 5
- 208000026934 fetal alcohol spectrum disease Diseases 0.000 description 5
- 210000001061 forehead Anatomy 0.000 description 5
- 208000003906 hydrocephalus Diseases 0.000 description 5
- 210000002414 leg Anatomy 0.000 description 5
- 230000007774 longterm Effects 0.000 description 5
- 208000020911 optic nerve disease Diseases 0.000 description 5
- 208000021090 palsy Diseases 0.000 description 5
- 230000005855 radiation Effects 0.000 description 5
- 230000002829 reductive effect Effects 0.000 description 5
- 208000002320 spinal muscular atrophy Diseases 0.000 description 5
- 230000008093 supporting effect Effects 0.000 description 5
- 230000001960 triggered effect Effects 0.000 description 5
- 230000037303 wrinkles Effects 0.000 description 5
- 206010009346 Clonus Diseases 0.000 description 4
- 206010012335 Dependence Diseases 0.000 description 4
- 206010027476 Metastases Diseases 0.000 description 4
- 208000007101 Muscle Cramp Diseases 0.000 description 4
- 206010028289 Muscle atrophy Diseases 0.000 description 4
- 208000003926 Myelitis Diseases 0.000 description 4
- 206010061323 Optic neuropathy Diseases 0.000 description 4
- 208000034189 Sclerosis Diseases 0.000 description 4
- 208000003954 Spinal Muscular Atrophies of Childhood Diseases 0.000 description 4
- 201000004810 Vascular dementia Diseases 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 210000004227 basal ganglia Anatomy 0.000 description 4
- 230000037396 body weight Effects 0.000 description 4
- 230000002490 cerebral effect Effects 0.000 description 4
- 238000012790 confirmation Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 4
- 230000006735 deficit Effects 0.000 description 4
- 229940079593 drug Drugs 0.000 description 4
- 208000010118 dystonia Diseases 0.000 description 4
- 210000001097 facial muscle Anatomy 0.000 description 4
- 201000007794 fetal alcohol syndrome Diseases 0.000 description 4
- 201000003723 learning disability Diseases 0.000 description 4
- 230000009401 metastasis Effects 0.000 description 4
- 230000003278 mimic effect Effects 0.000 description 4
- 230000004118 muscle contraction Effects 0.000 description 4
- 201000000585 muscular atrophy Diseases 0.000 description 4
- 210000000653 nervous system Anatomy 0.000 description 4
- 210000000715 neuromuscular junction Anatomy 0.000 description 4
- 210000002569 neuron Anatomy 0.000 description 4
- 210000000056 organ Anatomy 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 201000008752 progressive muscular atrophy Diseases 0.000 description 4
- 206010039722 scoliosis Diseases 0.000 description 4
- 238000012216 screening Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 230000002269 spontaneous effect Effects 0.000 description 4
- 238000002560 therapeutic procedure Methods 0.000 description 4
- 230000001131 transforming effect Effects 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 230000004584 weight gain Effects 0.000 description 4
- 235000019786 weight gain Nutrition 0.000 description 4
- 208000003174 Brain Neoplasms Diseases 0.000 description 3
- 201000010374 Down Syndrome Diseases 0.000 description 3
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 3
- 208000003435 Optic Neuritis Diseases 0.000 description 3
- 208000032319 Primary lateral sclerosis Diseases 0.000 description 3
- 206010044688 Trisomy 21 Diseases 0.000 description 3
- 206010046298 Upper motor neurone lesion Diseases 0.000 description 3
- 230000008649 adaptation response Effects 0.000 description 3
- 208000022531 anorexia Diseases 0.000 description 3
- 230000003466 anti-cipated effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000003556 assay Methods 0.000 description 3
- 210000000133 brain stem Anatomy 0.000 description 3
- 239000003086 colorant Substances 0.000 description 3
- 235000009508 confectionery Nutrition 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 206010061428 decreased appetite Diseases 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000002059 diagnostic imaging Methods 0.000 description 3
- 238000009792 diffusion process Methods 0.000 description 3
- 206010015037 epilepsy Diseases 0.000 description 3
- 208000016354 hearing loss disease Diseases 0.000 description 3
- 210000001624 hip Anatomy 0.000 description 3
- 238000010191 image analysis Methods 0.000 description 3
- 201000010901 lateral sclerosis Diseases 0.000 description 3
- 206010027175 memory impairment Diseases 0.000 description 3
- 230000004630 mental health Effects 0.000 description 3
- 230000002438 mitochondrial effect Effects 0.000 description 3
- 210000000337 motor cortex Anatomy 0.000 description 3
- 230000007659 motor function Effects 0.000 description 3
- 210000001087 myotubule Anatomy 0.000 description 3
- 230000036961 partial effect Effects 0.000 description 3
- 208000008016 pathologic nystagmus Diseases 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 238000009877 rendering Methods 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 230000015541 sensory perception of touch Effects 0.000 description 3
- 239000000779 smoke Substances 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 208000011580 syndromic disease Diseases 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000001052 transient effect Effects 0.000 description 3
- 210000001364 upper extremity Anatomy 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 208000007848 Alcoholism Diseases 0.000 description 2
- 208000032841 Bulimia Diseases 0.000 description 2
- 206010006550 Bulimia nervosa Diseases 0.000 description 2
- 206010010356 Congenital anomaly Diseases 0.000 description 2
- 206010011878 Deafness Diseases 0.000 description 2
- 208000004986 Diffuse Cerebral Sclerosis of Schilder Diseases 0.000 description 2
- 206010049020 Encephalitis periaxialis diffusa Diseases 0.000 description 2
- 206010051267 Facial paresis Diseases 0.000 description 2
- 241000628997 Flos Species 0.000 description 2
- 201000011240 Frontotemporal dementia Diseases 0.000 description 2
- 208000015592 Involuntary movements Diseases 0.000 description 2
- 208000009829 Lewy Body Disease Diseases 0.000 description 2
- 201000002832 Lewy body dementia Diseases 0.000 description 2
- 208000002193 Pain Diseases 0.000 description 2
- 208000027089 Parkinsonian disease Diseases 0.000 description 2
- 206010034010 Parkinsonism Diseases 0.000 description 2
- 208000021235 Schilder disease Diseases 0.000 description 2
- 201000002661 Spondylitis Diseases 0.000 description 2
- 208000000323 Tourette Syndrome Diseases 0.000 description 2
- 208000016620 Tourette disease Diseases 0.000 description 2
- 208000030886 Traumatic Brain injury Diseases 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 201000007930 alcohol dependence Diseases 0.000 description 2
- 230000000712 assembly Effects 0.000 description 2
- 238000000429 assembly Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 210000004204 blood vessel Anatomy 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000008034 disappearance Effects 0.000 description 2
- 230000004064 dysfunction Effects 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 210000000256 facial nerve Anatomy 0.000 description 2
- 208000010770 facial weakness Diseases 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 210000005224 forefinger Anatomy 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000001255 hallux Anatomy 0.000 description 2
- 125000001475 halogen functional group Chemical group 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 230000010370 hearing loss Effects 0.000 description 2
- 231100000888 hearing loss Toxicity 0.000 description 2
- 206010020745 hyperreflexia Diseases 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 230000003447 ipsilateral effect Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000020763 muscle atrophy Effects 0.000 description 2
- 230000017311 musculoskeletal movement, spinal reflex action Effects 0.000 description 2
- 230000000926 neurological effect Effects 0.000 description 2
- 230000036407 pain Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 210000001428 peripheral nervous system Anatomy 0.000 description 2
- 230000001144 postural effect Effects 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000002207 retinal effect Effects 0.000 description 2
- 238000005096 rolling process Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000009529 traumatic brain injury Effects 0.000 description 2
- 230000000472 traumatic effect Effects 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 101710181757 1,2-dihydroxy-3-keto-5-methylthiopentene dioxygenase Proteins 0.000 description 1
- YMHOBZXQZVXHBM-UHFFFAOYSA-N 2,5-dimethoxy-4-bromophenethylamine Chemical compound COC1=CC(CCN)=C(OC)C=C1Br YMHOBZXQZVXHBM-UHFFFAOYSA-N 0.000 description 1
- 241000238876 Acari Species 0.000 description 1
- 101710094863 Acireductone dioxygenase Proteins 0.000 description 1
- 208000009017 Athetosis Diseases 0.000 description 1
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 206010008027 Cerebellar atrophy Diseases 0.000 description 1
- 208000015879 Cerebellar disease Diseases 0.000 description 1
- 206010059150 Cerebrosclerosis Diseases 0.000 description 1
- 241001456553 Chanodichthys dabryi Species 0.000 description 1
- 208000032544 Cicatrix Diseases 0.000 description 1
- 206010009696 Clumsiness Diseases 0.000 description 1
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 206010062344 Congenital musculoskeletal anomaly Diseases 0.000 description 1
- 206010010904 Convulsion Diseases 0.000 description 1
- 208000011231 Crohn disease Diseases 0.000 description 1
- 206010011891 Deafness neurosensory Diseases 0.000 description 1
- 206010013887 Dysarthria Diseases 0.000 description 1
- 206010014970 Ephelides Diseases 0.000 description 1
- 208000004929 Facial Paralysis Diseases 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 206010052128 Glare Diseases 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 206010063491 Herpes zoster oticus Diseases 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 206010020852 Hypertonia Diseases 0.000 description 1
- 206010020880 Hypertrophy Diseases 0.000 description 1
- 206010021133 Hypoventilation Diseases 0.000 description 1
- 208000010038 Ischemic Optic Neuropathy Diseases 0.000 description 1
- 208000003351 Melanosis Diseases 0.000 description 1
- 241000266847 Mephitidae Species 0.000 description 1
- 208000026072 Motor neurone disease Diseases 0.000 description 1
- 208000002740 Muscle Rigidity Diseases 0.000 description 1
- 208000029578 Muscle disease Diseases 0.000 description 1
- 206010049565 Muscle fatigue Diseases 0.000 description 1
- 206010028311 Muscle hypertrophy Diseases 0.000 description 1
- 206010030924 Optic ischaemic neuropathy Diseases 0.000 description 1
- 206010033892 Paraplegia Diseases 0.000 description 1
- 206010067633 Peripheral nerve lesion Diseases 0.000 description 1
- 208000004983 Phantom Limb Diseases 0.000 description 1
- 206010056238 Phantom pain Diseases 0.000 description 1
- 241000276498 Pollachius virens Species 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 208000028872 Progressive muscular dystrophy Diseases 0.000 description 1
- 208000032831 Ramsay Hunt syndrome Diseases 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 206010041243 Social avoidant behaviour Diseases 0.000 description 1
- 241000545067 Venus Species 0.000 description 1
- 208000028752 abnormal posture Diseases 0.000 description 1
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000002350 accommodative effect Effects 0.000 description 1
- 208000002552 acute disseminated encephalomyelitis Diseases 0.000 description 1
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 210000004100 adrenal gland Anatomy 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 201000007058 anterior ischemic optic neuropathy Diseases 0.000 description 1
- 230000003667 anti-reflective effect Effects 0.000 description 1
- 230000002917 arthritic effect Effects 0.000 description 1
- 208000029560 autism spectrum disease Diseases 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 208000029028 brain injury Diseases 0.000 description 1
- 239000011449 brick Substances 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 208000003295 carpal tunnel syndrome Diseases 0.000 description 1
- 239000003518 caustics Substances 0.000 description 1
- 210000003169 central nervous system Anatomy 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 210000003477 cochlea Anatomy 0.000 description 1
- 210000000860 cochlear nerve Anatomy 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 230000036461 convulsion Effects 0.000 description 1
- 230000009537 cortical lesion Effects 0.000 description 1
- 238000002316 cosmetic surgery Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 239000000551 dentifrice Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000000378 dietary effect Effects 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000006397 emotional response Effects 0.000 description 1
- 201000002491 encephalomyelitis Diseases 0.000 description 1
- 238000009207 exercise therapy Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 210000003099 femoral nerve Anatomy 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 210000004905 finger nail Anatomy 0.000 description 1
- 238000010304 firing Methods 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000011990 functional testing Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 201000011349 geniculate herpes zoster Diseases 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 230000003370 grooming effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000037308 hair color Effects 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 235000015243 ice cream Nutrition 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 238000002513 implantation Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000000302 ischemic effect Effects 0.000 description 1
- 238000003064 k means clustering Methods 0.000 description 1
- 230000031700 light absorption Effects 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 229910052751 metal Inorganic materials 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000004570 mortar (masonry) Substances 0.000 description 1
- 230000012042 muscle hypertrophy Effects 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 210000000276 neural tube Anatomy 0.000 description 1
- 208000018360 neuromuscular disease Diseases 0.000 description 1
- 239000002858 neurotransmitter agent Substances 0.000 description 1
- 238000010899 nucleation Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000001584 occupational therapy Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 210000000578 peripheral nerve Anatomy 0.000 description 1
- 108091008695 photoreceptors Proteins 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 239000011148 porous material Substances 0.000 description 1
- 208000014670 posterior cortical atrophy Diseases 0.000 description 1
- 201000002212 progressive supranuclear palsy Diseases 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 210000002804 pyramidal tract Anatomy 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 210000002979 radial nerve Anatomy 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000004171 remote diagnosis Methods 0.000 description 1
- 208000037803 restenosis Diseases 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 230000000979 retarding effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 231100000241 scar Toxicity 0.000 description 1
- 230000037387 scars Effects 0.000 description 1
- 238000007790 scraping Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 210000001044 sensory neuron Anatomy 0.000 description 1
- 239000008257 shaving cream Substances 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 210000002460 smooth muscle Anatomy 0.000 description 1
- 230000003997 social interaction Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 201000007770 spastic cerebral palsy Diseases 0.000 description 1
- 230000001148 spastic effect Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000002630 speech therapy Methods 0.000 description 1
- 210000000278 spinal cord Anatomy 0.000 description 1
- 210000001032 spinal nerve Anatomy 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 239000004575 stone Substances 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000153 supplemental effect Effects 0.000 description 1
- 206010042772 syncope Diseases 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 239000003826 tablet Substances 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 208000009174 transverse myelitis Diseases 0.000 description 1
- 210000004440 vestibular nuclei Anatomy 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 230000001755 vocal effect Effects 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
- 210000004885 white matter Anatomy 0.000 description 1
- 230000002087 whitening effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G06K9/00671—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Surgery (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- User Interface Of Digital Computer (AREA)
- Radar Systems Or Details Thereof (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
- Processing Or Creating Images (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Mechanical Optical Scanning Systems (AREA)
Abstract
디스플레이 시스템은 증강 현실 콘텐츠를 디스플레이하기 위한 웨어러블 디스플레이 디바이스를 포함한다. 디스플레이 디바이스는 사용자에게 광을 지향시키도록 구성된 광 재지향 피처들을 포함하는 디스플레이 영역을 포함한다. 디스플레이 영역은 적어도 부분적으로 투명하여 디스플레이 영역을 통해 주변 환경의 뷰를 제공하도록 구성된다. 디스플레이 디바이스는 디스플레이 영역을 통해 사용자의 리플렉션이 사용자의 시야내에 있음을 결정하도록 구성된다. 이러한 결정을 수행한 이후에, 증강 현실 콘텐츠는 디스플레이 영역에 디스플레이되며, 증강 현실 콘텐츠는 사용자의 리플렉션 뷰를 증강시킨다. 일부 실시예들에서, 증강 현실 콘텐츠는 사용자의 리플렉션 뷰에 오버레이되어, 리플렉션의 전부 또는 일부가 그들의 외관에 대해 이루어진 다양한 수정들을 사용자의 현실적인 뷰에 제공하기 위하여 수정된 것처럼 보이게 할 수 있다.
Description
[0001]
본 출원은 "AUGMENTED REALITY SYSTEMS AND METHODS UTILIZING VIEWER REFLECTIONS"라는 명칭으로 2016년 2월 11일에 출원된 미국 가출원 번호 제제62/294,147호; "AUGMENTED REALITY SYSTEMS AND METHODS UTILIZING REFLECTIONS"라는 명칭으로 2016년 7월 25일에 출원된 미국 가출원 번호 제62/366,533호; "AUGMENTED REALITY SYSTEMS AND METHODS UTILIZING REFLECTIONS"라는 명칭으로 2016년 12월 29일에 출원된 미국 가출원 번호 제62/440,336호; "AUGMENTED REALITY SYSTEMS AND METHODS UTILIZING REFLECTIONS"라는 명칭으로 2017년 1월 12일에 출원된 미국 가출원 번호 제62/445,630호; "AUGMENTED REALITY TELEPRESENCE"라는 명칭으로 2016년 1월 19일에 출원된 미국 가출원 번호 제62/280,519호; "MIRROR DETECTION USING IMAGE-BASED CUES"라는 명칭으로 2016년 5월 31일에 출원된 미국 가출원 번호 제62/343,583호; "AUGMENTED REALITY WORLD MAPS IN THE PRESENCE OF REFLECTIVE SURFACES"라는 명칭으로 2016년 3월 30일에 출원된 미국 가출원 번호 제62/315,456호; "MIRROR DETECTION USING SENSOR-BASED CUES"라는 명칭으로 2016년 5월 31일에 출원된 미국 가출원 번호 제62/343,636호; 및 "AUGMENTED REALITY SYSTEMS AND METHODS UTILIZING REFLECTIONS"라는 명칭으로 2017년 1월 18일에 출원된 미국 출원번호 제15/409,430호의 우선권을 주장한다. 이에 의해, 앞서-언급된 출원들의 개시내용들은 그 전체가 인용에 의해 본원에 통합된다.
[0002]
본 출원은 이하의 특허 출원들 및 공개공보들 각각의 전부, 즉 2014년 11월 27일에 출원된 미국 출원번호 제14/555,585호; 2015년 4월 18일에 출원된 미국 출원번호 제14/690,401호; 2014년 3월 14일에 출원된 미국 출원번호 제14/212,961호; 2014년 7월 14일에 출원된 미국 출원번호 제14/331,218호; 및 2015년 8월 20일에 공개된 미국 출원 공개공보 제2015/0235435호를 인용에 의해 통합한다.
[0003]
본 개시내용은 증강 현실 이미징 및 시각화 시스템들에 관한 것이다.
[0004]
소위 "스마트 미러들"은 활성화될 때까지 평범한 미러들인 처럼 보이는 미러들이다. 일단 활성화되면, 미러는 디스플레이 기술을 사용하여 미러 표면상에 사용자 인터페이스 및 가능한 경우에 다른 디스플레이 정보를 그래픽적으로 오버레이(overlay)한다. 본원에서 개시된 시스템들 및 방법들은 스마트 미러 기술과 관련된 다양한 난제들을 처리한다.
[0005]
일부 실시예들에서는 디스플레이 시스템이 제공된다. 디스플레이 시스템은 사용자에게 광을 지향시키도록 구성된 광 재지향 피처들을 포함하는 디스플레이 영역을 포함하는 웨어러블 디스플레이 디바이스를 포함한다. 디스플레이 영역은 적어도 부분적으로 투명하여 디스플레이 영역을 통해 주변 환경의 뷰를 제공하도록 구성된다. 디스플레이 디바이스는 또한 하나 또는 그 초과의 하드웨어 프로세서들 및 컴퓨터-실행가능 명령들을 포함하는 비-일시적 컴퓨터-판독가능 저장 매체를 포함한다. 명령들은, 하나 또는 그 초과의 하드웨어 프로세서들에 의해 실행될 때, 하나 또는 그 초과의 하드웨어 프로세서들로 하여금 동작들을 수행하게 하며, 동작들은 디스플레이 영역을 통해 사용자의 리플렉션이 사용자의 시야내에 있음을 결정하는 동작, 및 후속하여, 디스플레이 영역에서 증강 현실 콘텐츠를 디스플레이하는 동작을 포함하며, 증강 현실 콘텐츠는 리플렉션을 증강시킨다.
[0006]
일부 다른 실시예들에서, 이미지들을 디스플레이하기 위한 방법이 제공된다. 방법은 사용자에게 광을 지향시키도록 구성된 광 재지향 피처들을 포함하는 디스플레이 영역을 포함하는 웨어러블 디스플레이 디바이스를 제공하는 단계를 포함한다. 디스플레이 영역은 적어도 부분적으로 투명하여 디스플레이 영역을 통해 주변 환경의 뷰를 제공한다. 방법은 디스플레이 영역을 통해 사용자의 리플렉션이 사용자의 시야내에 있음을 결정하는 단계; 및 후속하여, 디스플레이 영역에서 증강 현실 콘텐츠를 디스플레이하는 단계를 더 포함한다. 증강 현실 콘텐츠는 리플렉션을 증강시킨다.
[0007]
일부 또 다른 실시예들에서, 디스플레이 시스템이 제공된다. 디스플레이 시스템은 사용자에게 광을 지향시키도록 구성된 광 재지향 피처들을 포함하는 디스플레이 영역을 포함하는 웨어러블 디스플레이 디바이스를 포함한다. 디스플레이 영역은 적어도 부분적으로 투명하여, 디스플레이 영역을 통해 주변 환경의 뷰를 제공하도록 구성된다. 디스플레이 디바이스는 또한 하나 또는 그 초과의 하드웨어 프로세서들 및 컴퓨터-실행가능 명령들을 포함하는 비-일시적 컴퓨터-판독가능 저장 매체를 포함한다. 명령들은, 하나 또는 그 초과의 하드웨어 프로세서들에 의해 실행될 때, 하나 또는 그 초과의 하드웨어 프로세서들로 하여금 동작들을 수행하게 하며, 동작들은 디스플레이 영역을 통해 리플렉션이 사용자의 시야내에 있음을 결정하는 동작을 포함한다.
[0008]
일부 실시예들에서, 이미지들을 디스플레이하기 위한 방법이 제공된다. 방법은 사용자에게 광을 지향시키도록 구성된 광 재지향 피처들을 포함하는 디스플레이 영역을 포함하는 웨어러블 디스플레이 디바이스를 제공하는 단계를 포함한다. 디스플레이 영역은 적어도 부분적으로 투명하여, 디스플레이 영역을 통해 주변 환경의 뷰를 제공하도록 구성된다. 방법은 디스플레이 영역을 통해 리플렉션이 사용자의 시야내에 있음을 결정하는 단계를 더 포함한다.
[0009]
또 다른 실시예들에서, 디스플레이 시스템은 사용자에게 광을 지향시키도록 구성된 광 재지향 피처들을 포함하는 디스플레이 영역을 포함하는 웨어러블 디스플레이 디바이스를 포함한다. 디스플레이 영역은 적어도 부분적으로 투명하여, 디스플레이 영역을 통해 주변 환경의 뷰를 제공하도록 구성된다. 디스플레이 디바이스는 또한 외향 카메라; 하나 또는 그 초과의 하드웨어 프로세서들; 및 컴퓨터-실행가능 명령들을 포함하는 비-일시적 컴퓨터-판독가능 저장 매체를 포함하며, 컴퓨터-실행가능 명령들은 하나 또는 그 초과의 하드웨어 프로세서들에 의해 실행될 때 하나 또는 그 초과의 프로세서들로 하여금 다양한 동작들을 수행하게 한다. 동작들은 외향 카메라를 사용하여 이미지 정보를 수동으로 수집하는 동작; 이미지 정보가 리플렉션을 포함하는지 여부를 결정하는 동작; 이미지 정보가 사용자의 건강 분석과 관련된 데이터를 포함하는지 여부를 결정하는 동작; 및 건강 분석을 수행하는 동작을 포함한다.
[0010]
일부 실시예들에서, 이미지들을 디스플레이하기 위한 방법이 제공된다. 방법은 사용자에게 광을 지향시키도록 구성된 광 재지향 피처들을 포함하는 디스플레이 영역을 포함하는 웨어러블 디스플레이 디바이스를 제공하는 단계를 포함하며, 디스플레이 영역은 적어도 부분적으로 투명하여, 디스플레이 영역을 통해 주변 환경의 뷰를 제공하도록 구성된다. 디스플레이 디바이스는 또한 외향 카메라를 포함한다. 방법은 외향 카메라를 사용하여 이미지 정보를 수동으로 수집하는 단계; 이미지 정보가 리플렉션을 포함하는지 여부를 결정하는 단계; 이미지 정보가 사용자의 건강 분석과 관련된 데이터를 포함하는지 여부를 결정하는 단계; 및 건강 분석을 수행하는 단계를 포함한다.
[0011]
부가적인 예시적 실시예들이 이하에서 제공된다.
[0012]
다음은 리플렉션들을 활용하는 증강 현실 시스템들 및 방법들과 관련한 예시적인 실시예들이다.
[0013]
1.
이미지들을 디스플레이하기 위한 방법에 있어서, 방법은 사용자에게 광을 지향시키도록 구성된 광 재지향 피처들을 포함하는 디스플레이 영역 - 디스플레이 영역은 적어도 부분적으로 투명하여, 디스플레이 영역을 통해 주변 환경의 뷰를 제공함 -을 포함하는 웨어러블 디스플레이 디바이스를 제공하는 단계; 디스플레이 영역을 통해 사용자의 리플렉션이 사용자의 시야내에 있음을 결정하는 단계; 및 후속하여, 디스플레이 영역에서 증강 현실 콘텐츠를 디스플레이하는 단계를 포함하며, 증강 현실 콘텐츠는 리플렉션을 증강시킨다.
[0014]
2.
실시예 1의 방법에 있어서, 디스플레이 영역은 복수의 깊이 평면들상에 복수의 이미지 세트를 형성하기 위하여 광을 출력하도록 구성되며, 이미지들 중 하나 또는 그 초과는 증강 현실 콘텐츠를 포함한다.
[0015]
3.
실시예 2의 방법에 있어서, 디스플레이 디바이스는 도파관들의 스택을 포함하며, 도파관들 중 적어도 일부는 광 재지향 피처들을 포함하며, 도파관들은 광 소스로부터 광을 인-커플링(in-couple)하고, 광을 출력하여 복수의 이미지들을 형성하기 위하여 광을 아웃-커플링(out-couple)하도록 구성된다.
[0016]
4.
실시예 3의 방법에 있어서, 각각의 도파관은 단일 대응 깊이 평면에 대한 이미지들을 출력하도록 구성된다.
[0017]
5.
실시예 1의 방법에 있어서, 웨어러블 디스플레이 디바이스는 사용자의 주변 환경의 이미지들을 갭처하도록 구성된 카메라를 더 포함한다.
[0018]
6.
실시예 5의 방법에 있어서, 사용자의 리플렉션이 사용자의 시야내에 있음을 결정하는 단계는 캡처된 이미지와 저장된 이미지 정보 간의 매치(match)가 존재하는지 여부를 결정하기 위하여 카메라에 의해 캡처된 이미지와 저장된 이미지 정보를 비교하는 단계를 포함한다.
[0019]
7.
실시예 6의 방법에 있어서, 저장된 이미지 정보는 사용자의 외관의 고유 피처들을 포함한다.
[0020]
8.
실시예 6의 방법에 있어서, 저장된 이미지 정보는 웨어러블 디스플레이 디바이스의 고유 피처들을 포함한다.
[0021]
9.
실시예 5의 방법에 있어서, 사용자의 리플렉션이 사용자의 시야내에 있음을 결정하는 단계는 사용자의 홍채 인식을 수행하는 단계를 더 포함한다.
[0022]
10.
실시예 1의 방법에 있어서, 광학적 또는 청각적 신호들 중 하나 또는 둘 모두를 사용자에게 제공함으로써 반사면으로 사용자를 유인하는 단계를 더 포함한다.
[0023]
11.
실시예 1의 방법에 있어서, 사용자의 리플렉션이 사용자의 시야내에 있음을 결정하는 단계는 반사면을 표시하는 고유 식별자를 검출하는 단계를 포함한다.
[0024]
12.
실시예 11의 방법에 있어서, 고유 식별자는 반사면상의 또는 반사면 근처의 시각적 표시자이며, 고유 식별자를 검출하는 단계는 카메라를 사용하여 고유 식별자의 이미지를 캡처하는 단계를 포함한다.
[0025]
13.
실시예 11의 방법에 있어서, 고유 식별자를 검출하는 단계는 비콘 브로드캐스팅 전자기 방사를 검출하는 단계를 포함하며, 웨어러블 디스플레이 디바이스는 전자기 방사를 수신하도록 구성된 수신기를 포함하며, 비콘을 검출하는 단계는 전자기 방사를 검출하는 단계를 포함한다.
[0026]
14.
실시예 1의 방법에 있어서, 증강 현실 콘텐츠를 후속하여 디스플레이하기 전에, 사용자가 정지해 있음을 검출하는 단계를 더 포함하며, 증강 현실 콘텐츠를 후속하여 디스플레이하는 단계는 사용자가 정지해있는 것으로 결정될 때까지 수행되지 않는다.
[0027]
15.
실시예 1의 방법에 있어서, 증강 현실 콘텐츠를 후속하여 디스플레이하는 단계는 사용자-선택가능 옵션들을 가진 가상 메뉴를 디스플레이하는 단계를 포함한다.
[0028]
16.
실시예 15의 방법에 있어서, 디스플레이 디바이스는 사용자-선택가능 옵션들을 선택하기 위하여 사용자 제스처들 또는 표현들을 검출하도록 구성된 카메라를 포함한다.
[0029]
17.
실시예 1의 방법에 있어서, 디스플레이 디바이스는 사용자 응시 지속기간 또는 동공 면적 중 하나 또는 둘 모두를 검출하도록 구성된 카메라를 포함하며, 증강 현실 콘텐츠를 후속하여 디스플레이하는 단계는 사용자 응시 지속기간 또는 동공 면적 중 하나 또는 둘 모두에 의존하여 증강 현실 콘텐츠의 타입 및 타이밍 중 하나 또는 둘 모두를 수정하는 단계를 포함한다.
[0030]
18.
실시예 1의 방법에 있어서, 디스플레이 디바이스는 사용자의 감정 상태들을 검출하도록 구성된 카메라를 포함하며, 증강 현실 콘텐츠를 후속하여 디스플레이하는 단계는 사용자의 감정 상태에 기반하여 증강 현실 콘텐츠를 디스플레이하는 단계를 포함한다.
[0031]
19.
실시예 1의 방법에 있어서, 사용자의 아이덴티티를 결정하는 단계를 더 포함한다.
[0032]
20.
실시예 19의 방법에 있어서, 사용자의 아이덴티티를 결정하는 단계는 사용자의 리플렉션이 사용자의 시야 내에 있음을 결정한 이후에 수행된다.
[0033]
21.
실시예 19의 방법에 있어서, 증강 현실 콘텐츠를 후속하여 디스플레이하는 단계는 사용자에게 고유한 정보를 디스플레이하는 단계를 포함한다.
[0034]
22.
실시예 19의 방법에 있어서, 사용자의 활동들에 관한 정보를 수집하는 단계를 더 포함한다.
[0035]
23.
실시예 1의 방법에 있어서, 사용자의 리플렉션을 제공하는 반사면과 연관된 수신 스테이션에 사용자의 활동들에 관한 정보를 송신하는 단계를 더 포함한다.
[0036]
24.
실시예 1의 방법에 있어서, 증강 현실 콘텐츠를 후속하여 디스플레이하기 전에 사용자의 위치를 결정하는 단계를 더 포함하며, 증강 현실 콘텐츠를 후속하여 디스플레이하는 단계는 사용자의 위치에 특정한 증강 현실 콘텐츠를 디스플레이하는 단계를 포함한다.
[0037]
25.
실시예 24의 방법에 있어서, 증강 현실 콘텐츠를 디스플레이하는 단계는 사용자가 위치한 스토어(store) 또는 스토어의 일부분으로부터 할인 판매(sales offers)를 디스플레이하는 단계를 포함한다.
[0038]
26.
실시예 25의 방법에 있어서, 사용자의 아이덴티티를 결정하는 단계; 사용자의 구매 또는 브라우징 이력에 액세스하는 단계; 및 구매 또는 브라우징 이력에 기반하여 할인 판매를 생성하는 단계를 더 포함한다.
[0039]
27.
실시예 1의 방법에 있어서, 증강 현실 콘텐츠는 사용자의 리플렉션을 오버레이하는 의류의 이미지들을 포함한다.
[0040]
28.
실시예 1의 방법에 있어서, 증강 현실 콘텐츠는 사용자의 리플렉션을 오버레이하고 사용자의 의류의 특성을 수정한 이미지들을 포함한다.
[0041]
29.
실시예 28의 방법에 있어서, 특성은 컬러, 텍스처 및 패턴 중 하나 또는 그 초과를 포함한다.
[0042]
30.
실시예 1의 방법에 있어서, 증강 현실 콘텐츠 및 사용자의 리플렉션 중 하나 또는 둘 모두를 하나 또는 그 초과의 다른 사용자들에게 분배하는 단계를 더 포함한다.
[0043]
31.
실시예 1의 방법에 있어서, 사용자와 다른 개인들에 의해 액세스가능한 원격 서버로 증강 현실 콘텐츠를 업로드함으로써 증강 현실 콘텐츠를 공유하는 단계를 더 포함한다.
[0044]
32.
실시예 1의 방법에 있어서, 증강 현실 콘텐츠는 반복-사용(recurring-use) 제품들을 보충하기 위한 경고를 포함한다.
[0045]
33.
실시예 32의 방법에 있어서, 경고는 뷰티 제품들을 보충하기 위한 리마인더(reminder)를 포함하는 뷰티 경고이다.
[0046]
34.
실시예 1의 방법에 있어서, 연장된 시간 인터벌에 거쳐 사용자의 하나 또는 그 초과의 이미지들을 캡처하는 단계; 이미지들로부터 유도된 이미지들 또는 데이터를 저장하는 단계; 및 저장된 이미지들 또는 데이터와 현재 이미지 간의 비교를 수행하는 단계를 더 포함하며, 증강 현실 콘텐츠를 후속하여 디스플레이하는 단계는 비교의 결과들을 디스플레이하는 단계를 포함한다.
[0047]
35.
실시예 34의 방법에 있어서, 비교의 결과들을 디스플레이하는 단계는 사용자의 하나 또는 그 초과의 조기(earlier) 이미지들을 디스플레이하는 단계를 포함한다.
[0048]
36.
실시예 34의 방법에 있어서, 비교의 결과들을 디스플레이하는 단계는 건강 또는 뷰티 제품들 또는 건강 또는 뷰티 치료들에 대한 추천들을 디스플레이하는 단계를 포함한다.
[0049]
37.
실시예 36의 방법에 있어서, 추천들을 디스플레이하는 단계는 건강 또는 뷰티 제품들, 또는 건강 또는 뷰티 치료들에 대한 옵션들을 디스플레이하는 단계; 및 사용자의 리플렉션과 건강 또는 뷰티 제품들 또는 건강 또는 뷰티 치료들의 예상된 결과들의 이미지들을 오버레이함으로써 예상된 결과들을 디스플레이하는 단계를 포함한다.
[0050]
38.
실시예 34의 방법에 있어서, 연장된 시간 인터벌은 복수의 달(month)들 또는 년(year)들을 포함한다.
[0051]
39.
실시예 34의 방법에 있어서, 하나 또는 그 초과의 이미지들을 캡처하는 단계는 매일 수행된다.
[0052]
40.
실시예 34의 방법에 있어서, 비교를 수행하는 단계는 건강 분석을 수행하는 단계를 포함한다.
[0053]
41.
실시예 40의 방법에 있어서, 건강 분석을 수행하는 단계는 신체 형상, 피부 창백함, 피부 특징들의 변화들을 검출하는 단계를 포함한다.
[0054]
42.
실시예 40의 방법에 있어서, 건강 분석을 수행하는 단계는 의료인과 실시간으로 상호작용하는 단계를 포함한다.
[0055]
43.
실시예 1의 방법에 있어서, 증강 현실 콘텐츠는 태스크를 수행할 경고를 포함한다.
[0056]
44.
실시예 43의 방법에 있어서, 태스크는 반복 태스크이다.
[0057]
45.
실시예 43의 방법에 있어서, 반복 태스크는 치실로 이를 깨끗이 하는 것, 약을 복용하는 것 및 약을 먹으라고 지시하는 것 중 하나 또는 그 초과를 포함한다.
[0058]
46.
실시예 1의 방법에 있어서, 증강 현실 콘텐츠는 사용자의 의료 정보를 포함한다.
[0059]
47.
실시예 46의 방법에 있어서, 의료 정보는 체중, 키 및 신체 용적 지수 중 하나 또는 그 초과를 포함한다.
[0060]
48.
실시예 1의 방법에 있어서, 스케일, 온도계, 혈압계 및 심박수 모니터 중 하나 또는 그 초과로부터의 데이터에 액세스하는 단계를 더 포함하며, 증강 현실 콘텐츠를 후속하여 디스플레이하는 단계는 액세스된 데이터 또는 액세스된 데이터로부터 유도된 정보 중 하나 또는 둘 모두를 디스플레이하는 단계를 포함한다.
[0061]
49.
실시예 1의 방법에 있어서, 상이한 각도들로부터의 사용자의 복수의 이미지들을 캡처하는 단계; 현재의 이미지와 기준 이미지 또는 기준 데이터 간의 차이들을 검출하는 단계를 더 포함하며, 증강 현실 콘텐츠를 후속하여 디스플레이하는 단계는 차이들을 검출하는 결과들을 디스플레이하는 단계를 포함한다.
[0062]
50.
실시예 1의 방법에 있어서, 증강 현실 콘텐츠를 후속하여 디스플레이하는 단계는 사용자의 리플렉션상에 의료 이미징을 오버레이하는 단계를 포함한다.
[0063]
51.
실시예 1의 방법에 있어서, 증강 현실 콘텐츠를 후속하여 디스플레이하는 단계는 사용자의 리플렉션상에 스포츠 이미지들을 오버레이하는 단계를 포함하며, 스포츠 이미지들은 사람의 라인 다이어그램들 또는 이미지들을 포함하며, 사람의 라인 다이어그램들 또는 이미지들은 특정 스포츠-관련 모션들 및 신체 자세들을 보여준다.
[0064]
52.
실시예 1의 방법에 있어서, 증강 현실 콘텐츠를 후속하여 디스플레이하는 단계는 사용자의 리플렉션들의 치수들을 결정하기 위한 가상 스케일을 디스플레이하는 단계를 포함한다.
[0065]
53.
디스플레이 시스템에 있어서,
디스플레이 시스템은 사용자에게 광을 지향시키도록 구성된 광 재지향 피처들을 포함하는 디스플레이 영역 - 디스플레이 영역은 적어도 부분적으로 투명하여 디스플레이 영역을 통해 주변 환경의 뷰를 제공함 -을 포함하는 웨어러블 디스플레이 디바이스; 하드웨어 프로세서; 및 하드웨어 프로세서에 의해 실행될 때, 동작들을 수행하도록 하드웨어 프로세서를 구성하는 컴퓨터-실행가능 명령들을 포함하는 비-일시적 컴퓨터-판독가능 저장 매체를 포함하며, 동작들은, 디스플레이 영역을 통해 사용자의 리플렉션이 사용자의 시야내에 있음을 결정하는 동작 및 디스플레이 영역에서 증강 현실 콘텐츠를 후속하여 디스플레이하는 동작을 포함하며, 증강 현실 콘텐츠는 리플렉션을 증강시킨다.
[0066]
54.
실시예 53의 시스템에 있어서, 디스플레이 영역은 복수의 깊이 평면들상에 복수의 이미지들을 출력하도록 구성된 광 재지향 피처들의 복수의 세트들을 포함하며, 광 지향 피처들의 각각의 세트는 복수의 깊이 평면들 중 하나의 깊이 평면상에 이미지를 형성하기 위하여 광을 출력하도록 구성된다.
[0067]
55.
실시예 54의 시스템에 있어서, 디스플레이 디바이스는 도파관들의 스택을 포함하며, 도파관들 중 적어도 일부는 광 재지향 피처들을 포함하며, 도파관들은 광 소스로부터 광을 인-커플링하고, 광을 출력하여 복수의 이미지들을 형성하기 위하여 광을 아웃-커플링하도록 구성된다.
[0068]
56.
실시예 55의 시스템에 있어서, 각각의 도파관은 단일 대응 깊이 평면에 대한 이미지들을 출력하도록 구성된다.
[0069]
57.
실시예 53의 시스템에 있어서, 웨어러블 디스플레이 디바이스는 사용자의 주변 환경의 이미지들을 갭처하도록 구성된 카메라를 더 포함한다.
[0070]
58.
실시예 53의 시스템에 있어서, 사용자의 리플렉션이 사용자의 시야내에 있음을 결정하는 동작은, 사용자의 리플렉션이 사용자의 시야내에 있음을 결정하는 단계는 캡처된 이미지와 저장된 이미지 정보 간의 매치가 존재하는지 여부를 결정하기 위하여 카메라에 의해 캡처된 이미지와 저장된 이미지 정보를 비교하는 동작을 포함한다.
[0071]
59.
실시예 58의 시스템에 있어서, 저장된 이미지 정보는 사용자의 외관의 고유 피처들을 포함한다.
[0072]
60.
실시예 58의 시스템에 있어서, 저장된 이미지 정보는 웨어러블 디스플레이 디바이스의 광학적으로 관찰가능한 고유한 피처들을 포함한다.
[0073]
61.
실시예 58의 시스템에 있어서, 사용자의 리플렉션이 사용자의 시야내에 있음을 결정하는 동작은 사용자의 홍채 인식을 수행하는 동작을 더 포함한다.
[0074]
62.
실시예 53의 시스템에 있어서, 사용자의 리플렉션이 사용자의 시야내에 있음을 결정하는 동작은 반사면을 표시하는 고유 식별자의 존재를 검출하는 동작을 포함한다.
[0075]
63.
실시예 53의 시스템에 있어서, 동작들은 증강 현실 콘텐츠를 후속하여 디스플레이하기 전에, 사용자가 정지해 있음을 검출하는 동작을 더 포함하며, 증강 현실 콘텐츠를 후속하여 디스플레이하는 동작은 사용자가 정지해있는 것으로 결정될 때까지 수행되지 않는다.
[0076]
64.
실시예 53의 시스템에 있어서, 증강 현실 콘텐츠를 후속하여 디스플레이하는 동작은 사용자-선택가능 옵션들을 가진 가상 메뉴를 디스플레이하는 동작을 포함한다.
[0077]
65.
실시예 64의 시스템에 있어서, 디스플레이 디바이스는 사용자-선택가능 옵션들을 선택하기 위하여 사용자 제스처들 또는 표현들을 검출하도록 구성된 카메라를 포함한다.
[0078]
66.
실시예 64의 시스템에 있어서, 디스플레이 디바이스는 사용자 응시 지속기간 또는 동공 면적 중 하나 또는 둘 모두를 검출하도록 구성된 카메라를 포함하며, 증강 현실 콘텐츠를 후속하여 디스플레이하는 동작은 사용자 응시 지속기간 또는 동공 면적 중 하나 또는 둘 모두에 의존하여 증강 현실 콘텐츠의 타입 및 타이밍 중 하나 또는 둘 모두를 수정하는 동작을 포함한다.
[0079]
67.
실시예 53의 시스템에 있어서, 디스플레이 디바이스는 사용자의 감정 상태들을 검출하도록 구성된 카메라를 포함하며, 증강 현실 콘텐츠를 후속하여 디스플레이하는 동작은 사용자의 감정 상태에 기반하여 증강 현실 콘텐츠를 디스플레이하는 동작을 포함한다.
[0080]
68.
실시예 53의 시스템에 있어서, 동작들은 사용자의 아이덴티티를 결정하는 동작을 더 포함한다.
[0081]
69.
실시예 68의 시스템에 있어서, 사용자의 아이덴티티를 결정하는 동작은 사용자의 리플렉션이 사용자의 시야 내에 있음을 결정한 이후에 수행된다.
[0082]
70.
실시예 68의 시스템에 있어서, 증강 현실 콘텐츠를 후속하여 디스플레이하는 동작은 사용자에게 고유한 정보를 디스플레이하는 동작을 포함한다.
[0083]
71.
실시예 68의 시스템에 있어서, 동작들은 사용자의 활동들에 관한 정보를 수집하는 동작을 더 포함한다.
[0084]
72.
실시예 53의 시스템에 있어서, 동작들은 사용자의 리플렉션을 제공하는 반사면과 연관된 수신 스테이션에 사용자의 활동들에 관한 정보를 송신하는 동작을 더 포함한다.
[0085]
73.
실시예 53의 시스템에 있어서, 동작들은 증강 현실 콘텐츠를 후속하여 디스플레이하기 전에 사용자의 위치를 결정하는 동작을 더 포함하며, 증강 현실 콘텐츠를 후속하여 디스플레이하는 동작은 사용자의 위치에 특정한 증강 현실 콘텐츠를 디스플레이하는 동작을 더 포함한다.
[0086]
74.
실시예 74의 시스템에 있어서, 증강 현실 콘텐츠를 디스플레이하는 단계는 사용자가 위치한 스토어 또는 스토어의 일부분으로부터의 할인 판매를 디스플레이하는 단계를 포함한다.
[0087]
75.
실시예 74의 시스템에 있어서, 동작들은 사용자의 아이덴티티를 결정하는 동작; 사용자의 구매 또는 브라우징 이력에 액세스하는 동작; 및 구매 또는 브라우징 이력에 기반하여 할인 판매를 생성하는 동작을 더 포함한다.
[0088]
76.
실시예 53의 시스템에 있어서, 증강 현실 콘텐츠는 사용자의 리플렉션을 오버레이하는 의류의 이미지들을 포함한다.
[0089]
77.
실시예 53의 시스템에 있어서, 증강 현실 콘텐츠는 사용자의 리플렉션을 오버레이하고 사용자의 의류의 특성을 수정한 이미지들을 포함한다.
[0090]
78.
실시예 77의 시스템에 있어서, 특성은 컬러, 텍스처 및 패턴 중 하나 또는 그 초과를 포함한다.
[0091]
79.
실시예 53의 시스템에 있어서, 동작들은 증강 현실 콘텐츠 및 사용자의 리플렉션 중 하나 또는 둘 모두를 하나 또는 그 초과의 다른 사용자들에게 분배하는 동작을 더 포함한다.
[0092]
80.
실시예 53의 시스템에 있어서, 동작들은 사용자와 다른 개인들에 의해 액세스가능한 원격 서버로 증강 현실 콘텐츠를 업로드함으로써 증강 현실 콘텐츠를 공유하는 동작을 더 포함한다.
[0093]
81.
실시예 53의 시스템에 있어서, 증강 현실 콘텐츠는 반복-사용 제품들을 보충하기 위한 경고를 포함한다.
[0094]
82.
실시예 81의 시스템에 있어서, 경고는 뷰티 제품들을 보충하기 위한 리마인더를 포함하는 뷰티 경고이다.
[0095]
83.
실시예 53의 시스템에 있어서, 동작들은 연장된 시간 인터벌에 거쳐 사용자의 하나 또는 그 초과의 이미지들을 캡처하는 동작; 이미지들로부터 유도된 이미지들 또는 데이터를 저장하는 동작; 및 저장된 이미지들 또는 데이터와 현재 이미지 간의 비교를 수행하는 동작을 더 포함하며,
증강 현실 콘텐츠를 후속하여 디스플레이하는 동작은 비교의 결과들을 디스플레이하는 동작을 포함한다.
[0096]
84.
실시예 83의 시스템에 있어서, 비교의 결과들을 디스플레이하는 동작은 사용자의 하나 또는 그 초과의 조기(earlier) 이미지들을 디스플레이하는 동작을 포함한다.
[0097]
85.
실시예 83의 시스템에 있어서, 비교의 결과들을 디스플레이하는 동작은 건강 또는 뷰티 제품들 또는 건강 또는 뷰티 치료들에 대한 추천들을 디스플레이하는 동작을 포함한다.
[0098]
86.
실시예 85의 시스템에 있어서, 추천들을 디스플레이하는 동작은 건강 또는 뷰티 제품들, 또는 건강 또는 뷰티 치료들에 대한 옵션들을 디스플레이하는 동작; 및 사용자의 리플렉션과 건강 또는 뷰티 제품들 또는 건강 또는 뷰티 치료들의 예상된 결과들의 이미지들을 오버레이함으로써 예상된 결과들을 디스플레이하는 동작을 포함한다.
[0099]
87.
실시예 83의 시스템에 있어서, 연장된 시간 인터벌은 복수의 달(month)들 또는 년(year)들을 포함한다.
[0100]
88.
실시예 83의 시스템에 있어서, 하나 또는 그 초과의 이미지들을 캡처하는 동작을 매일 수행된다.
[0101]
89.
실시예 83의 시스템에 있어서, 비교를 수행하는 동작은 건강 분석을 수행하는 동작을 포함한다.
[0102]
90.
실시예 89의 시스템에 있어서, 건강 분석을 수행하는 동작은 신체 형상, 피부 창백함, 피부 특징들의 변화들을 검출하는 동작을 포함한다.
[0103]
91.
실시예 90의 시스템에 있어서, 건강 분석을 수행하는 동작은 의료인과 실시간으로 상호작용하는 동작을 포함한다.
[0104]
92.
실시예 53의 시스템에 있어서, 증강 현실 콘텐츠는 태스크를 수행할 경고를 포함한다.
[0105]
93.
실시예 92의 시스템에 있어서, 태스크는 반복 태스크이다.
[0106]
94.
실시예 93의 시스템에 있어서, 반복 태스크는 치실로 이를 깨끗이 하는 것, 약을 복용하는 것 및 약을 먹으라고 지시하는 것 중 하나 또는 그 초과를 포함한다.
[0107]
95.
실시예 53의 시스템에 있어서, 증강 현실 콘텐츠는 사용자의 의료 정보를 포함한다.
[0108]
96.
실시예 95의 시스템에 있어서, 의료 정보는 체중, 키 및 신체 용적 지수 중 하나 또는 그 초과를 포함한다.
[0109]
97.
실시예 96의 시스템에 있어서, 동작들은 스케일, 온도계, 혈압계 및 심박수 모니터 중 하나 또는 그 초과로부터의 데이터에 액세스하는 동작을 더 포함하며, 증강 현실 콘텐츠를 후속하여 디스플레이하는 동작은 액세스된 데이터 또는 액세스된 데이터로부터 유도된 정보 중 하나 또는 둘 모두를 디스플레이하는 동작을 포함한다.
[0110]
98.
실시예 53의 시스템에 있어서, 동작들은 상이한 각도들로부터 사용자의 복수의 이미지들을 캡처하는 동작; 현재의 이미지와 기준 이미지 또는 기준 데이터 간의 차이들을 검출하는 동작을 더 포함하며, 증강 현실 콘텐츠를 후속하여 디스플레이하는 동작은 차이들을 검출하는 결과들을 디스플레이하는 동작을 포함한다.
[0111]
99.
실시예 53의 시스템에 있어서, 증강 현실 콘텐츠를 후속하여 디스플레이하는 단계는 사용자의 리플렉션상에 의료 이미징을 오버레이하는 동작을 포함한다.
[0112]
100. 실시예 53의 시스템에 있어서, 증강 현실 콘텐츠를 후속하여 디스플레이하는 단계는 사용자의 리플렉션상에 스포츠 이미지들을 오버레이하는 동작을 포함하며, 스포츠 이미지들은 사람의 라인 다이어그램들 또는 이미지들을 포함하며, 사람의 라인 다이어그램들 또는 이미지들은 특정 스포츠-관련 모션들 및 신체 자세들을 보여준다.
[0113]
101. 실시예 53의 시스템에 있어서, 증강 현실 콘텐츠를 후속하여 디스플레이하는 동작은 사용자의 리플렉션들의 치수들을 결정하기 위한 가상 스케일을 디스플레이하는 동작을 포함한다.
[0114]
102. 디스플레이 시스템에 있어서, 디스플레이 시스템은 사용자에게 광을 지향시키도록 구성된 광 재지향 피처들을 포함하는 디스플레이 영역 - 디스플레이 영역은 적어도 부분적으로 투명하여 디스플레이 영역을 통해 주변 환경의 뷰를 제공함 -을 포함하는 웨어러블 디스플레이 디바이스; 하드웨어 프로세서; 및 하드웨어 프로세서에 의해 실행될 때, 동작들을 수행하도록 하드웨어 프로세서를 구성하는 컴퓨터-실행가능 명령들을 포함하는 비-일시적 컴퓨터-판독가능 저장 매체를 포함하며, 동작들은 디스플레이 영역을 통해 리플렉션이 사용자의 시야내에 있음을 결정하는 동작을 포함한다.
[0115]
103. 실시예 102의 디스플레이 시스템에 있어서, 리플렉션이 사용자의 시야내에 있음을 결정하는 동작은 리플렉션의 이미지를 분석하는 동작 및 리플렉션의 지향성 피처들이 반전되는지 여부를 결정하는 동작을 포함한다.
[0116]
104. 실시예 102의 디스플레이 시스템에 있어서, 사용자가 리플렉션내에 있으며, 동작들은 사용자의 리플렉션의 이미지를 캡처하는 동작; 및 사용자의 캡처된 이미지에 기반하여 건강 분석을 수행하는 동작을 더 포함한다.
[0117]
105. 실시예 104의 디스플레이 시스템에 있어서, 건강 분석은 신경 테스트를 포함한다.
[0118]
106. 실시예 104의 디스플레이 시스템에 있어서, 건강 분석은 뇌신경 테스트, 운동신경 검사, 관찰가능한 신체 기형들의 검사, 근육 긴장도 및 부피의 검사, 근육들의 기능적 테스팅, 개별적인 근육 그룹들의 세기의 테스트, 반사 테스트, 조정력 테스트 및 걸음걸이 테스트 중 하나 또는 그 초과를 포함한다.
[0119]
107. 실시예 102의 디스플레이 시스템에 있어서, 동작들은 다른 디스플레이 시스템들과 리플렉션에 관한 정보를 공유하는 동작을 더 포함한다.
[0120]
108. 실시예 107의 디스플레이 시스템에 있어서, 동작들은 다른 디스플레이 시스템으로부터 공유 정보를 수신하는 동작 및 다른 디스플레이 시스템의 사용자에 의해 경험되는 뷰에 대응하는 증강 현실 콘텐츠를 디스플레이하는 동작을 더 포함한다.
[0121]
109. 실시예 102의 디스플레이 시스템에 있어서, 디스플레이 시스템은 곡선형 미러에 의해 제공된 확대율을 결정하도록 구성된다.
[0122]
110. 실시예 109의 디스플레이 시스템에 있어서, 디스플레이 시스템은 리플렉션의 피처들의 이미지를 디스플레이하면서 확대율을 보정하도록 구성된다.
[0123]
111. 실시예 109의 디스플레이 시스템에 있어서, 디스플레이 시스템은 리플렉션의 피처들의 크기를 결정하면서 확대율을 보정하도록 구성된다.
[0124]
112. 이미지들을 디스플레이하기 위한 방법에 있어서, 방법은 사용자에게 광을 지향시키도록 구성된 광 재지향 피처들을 포함하는 디스플레이 영역 - 디스플레이 영역은 적어도 부분적으로 투명하여 디스플레이 영역을 통해 주변 환경의 뷰를 제공함-을 포함하는 웨어러블 디스플레이 디바이스를 제공하는 단계; 디스플레이 영역을 통해 리플렉션이 사용자의 시야내에 있음을 결정하는 단계를 포함한다.
[0125]
113. 실시예 111의 방법에 있어서, 리플렉션이 사용자의 시야내에 있음을 결정하는 단계는 리플렉션의 이미지를 분석하는 단계 및 리플렉션의 지향성 피처들이 반전되는지 여부를 결정하는 단계를 포함한다.
[0126]
114. 실시예 111의 방법에 있어서, 사용자가 리플렉션내에 있으며, 방법은 사용자의 리플렉션의 이미지를 캡처하는 단계; 및 사용자의 캡처된 이미지에 기반하여 건강 분석을 수행하는 단계를 더 포함한다.
[0127]
115. 실시예 113의 방법에 있어서, 건강 분석은 신경 테스트를 포함한다.
[0128]
116. 실시예 113의 방법에 있어서, 건강 분석을 수행하는 단계는 뇌신경 테스트, 운동신경 검사, 관찰가능한 신체 기형들의 검사, 근육 긴장도 및 부피의 검사, 근육들의 기능적 테스팅, 개별적인 근육 그룹들의 세기의 테스트, 반사 테스트, 조정력 테스트 및 걸음걸이 테스트 중 하나 또는 그 초과를 수행하는 단계를 포함한다.
[0129]
117. 실시예 113의 방법에 있어서, 다른 디스플레이 시스템들과 리플렉션에 관한 정보를 공유하는 단계를 더 포함한다.
[0130]
118. 실시예 113의 방법에 있어서, 다른 디스플레이 시스템으로부터 공유 정보를 수신하는 단계 및 다른 디스플레이 시스템의 사용자에 의해 경험되는 뷰에 대응하는 증강 현실 콘텐츠를 디스플레이하는 단계를 더 포함한다.
[0131]
119. 실시예 111의 방법에 있어서, 곡선형 미러에 의해 제공된 확대율을 결정하는 단계를 더 포함한다.
[0132]
120. 실시예 118의 방법에 있어서, 리플렉션의 피처들의 이미지를 디스플레이하는 동안 확대율을 보정하는 단계를 더 포함한다.
[0133]
121. 실시예 118의 방법에 있어서, 확대율을 보정하면서 리플렉션의 피처들의 크기를 결정하는 단계를 더 포함한다.
[0134]
122. 디스플레이 시스템에 있어서, 디스플레이 시스템은 사용자에게 광을 지향시키도록 구성된 광 재지향 피처들을 포함하는 디스플레이 영역 - 디스플레이 영역은 적어도 부분적으로 투명하여 디스플레이 영역을 통해 주변 환경의 뷰를 제공함 -;을 포함하는 웨어러블 디스플레이 디바이스; 외향 카메라; 하드웨어 프로세서; 및 컴퓨터-실행가능 명령들을 포함하는 비-일시적 컴퓨터-판독가능 저장 매체를 포함하며, 컴퓨터-실행가능 명령들은, 하드웨어 프로세서에 의해 실행될 때, 외향 카메라를 사용하여 이미지 정보를 수동으로 수집하는 동작; 이미지 정보가 리플렉션을 포함하는지 여부를 결정하는 동작; 이미지 정보가 사용자의 건강 분석과 관련된 데이터를 포함하는지 여부를 결정하는 동작; 및 건강 분석을 수행하는 동작을 포함하는 동작들을 수행하도록 하드웨어 프로세서를 구성한다.
[0135]
123. 실시예 120의 디스플레이 시스템에 있어서, 하드웨어 프로세서는 사용자가 웨어러블 디스플레이 디바이스를 착용하고 있는 동안 이미지 정보를 실질적으로 연속적으로 수동으로 수집하고, 이미지 정보가 건강 분석과 관련된 데이터를 포함하는지 여부를 간헐적으로 결정하도록 구성된다.
[0136]
124. 실시예 120의 디스플레이 시스템에 있어서, 하드웨어 프로세서는 다수의 주들의 지속기간 동안 건강 분석을 반복적으로 수행하도록 구성된다.
[0137]
125. 실시예 120의 디스플레이 시스템에 있어서, 이미지 정보는 정지 이미지들을 포함한다.
[0138]
126. 실시예 120의 디스플레이 시스템에 있어서, 이미지 정보는 비디오들을 포함한다.
[0139]
127. 이미지들을 디스플레이하기 위한 방법에 있어서, 방법은 사용자에게 광을 지향시키도록 구성된 광 재지향 피처들을 포함하는 디스플레이 영역 - 디스플레이 영역은 적어도 부분적으로 투명하여, 디스플레이 영역을 통해 주변 환경의 뷰를 제공함 - 및 외향 카메라를 포함하는 웨어러블 디스플레이 디바이스를 제공하는 단계; 외향 카메라를 사용하여 이미지 정보를 수동으로 수집하는 단계; 이미지 정보가 리플렉션을 포함하는지 여부를 결정하는 단계; 이미지 정보가 사용자의 건강 분석과 관련된 데이터를 포함하는지 여부를 결정하는 단계; 및 건강 분석을 수행하는 단계를 포함한다.
[0140]
128. 실시예 125의 방법에 있어서, 이미지 정보를 수동으로 수집하는 단계는 사용자가 웨어러블 디스플레이 디바이스를 착용하고 있는 동안 실질적으로 연속적으로 수행되며, 이미지 정보가 건강 분석과 관련된 데이터를 포함하는지 여부를 결정하는 단계는 사용자가 웨어러블 디스플레이 디바이스를 착용하고 있는 동안 간헐적으로 수행된다.
[0141]
129. 실시예 125의 방법에 있어서, 이미지 정보가 리플렉션을 포함하는지 여부를 결정하는 단계; 이미지 정보가 사용자의 건강 분석과 관련된 데이터를 포함하는지 여부를 결정하는 단계; 및 건강 분석을 수행하는 단계를 다수의 주들의 지속기간 동안 반복하는 단계를 더 포함한다.
[0142]
130. 실시예 125의 방법에 있어서, 이미지 정보를 수동으로 수집하는 단계는 정지 이미지들을 수집하는 단계를 포함한다.
[0143]
131. 실시예 125의 방법에 있어서, 이미지 정보를 수동으로 수집하는 단계는 비디오들을 수집하는 단계를 포함한다.
[0144]
다음은 이미지-기반 큐들을 사용한 미러 검출과 관련한 예시적인 실시예들이다.
[0145]
1.
환경에서 미러를 검출하기 위한 방법에 있어서, 방법은 컴퓨터 하드웨어를 포함하는 증강 현실 디바이스(ARD: augmented reality device)의 제어하에서 - ARD는 사용자 주변의 환경을 이미징하도록 구성된 외향 이미징 시스템을 포함함 -, 외향 이미징 시스템을 사용하여 환경의 이미지를 획득하는 단계 - 이미지는 타겟 객체를 포함하며, 타겟 객체는 미러를 적어도 부분적으로 둘러싸는 프레임을 포함할 수 있음-; 이미지의 분석에 적어도 부분적으로 기반하여 미러를 표시하는 큐를 식별하는 단계; 식별된 큐에 적어도 부분적으로 기반하여 미러의 존재를 확인하는 단계; 및 환경에서 확인된 미러의 존재에 적어도 부분적으로 기반하여 액션을 수행하는 단계를 포함한다.
[0146]
2.
실시예 1의 방법에 있어서, 큐를 식별하는 단계는 이미지에서 제1의 복수의 키포인트들을 식별하는 단계; 환경의 세계 지도에 액세스한 단계 - 세계 지도는 환경에서 물리적 객체들에 대한 정보를 포함함 -; 세계 지도에서 제2의 복수의 키포인트들을 식별하는 단계; 및 제1의 복수의 키포인트들이 미러에서 제2의 복수의 키포인트들의 리플렉션인지 여부를 결정하기 위하여 제2의 복수의 키포인트들과 제1의 복수의 키포인트들을 비교하는 단계를 포함한다.
[0147]
3.
실시예 2의 방법에 있어서, 제2의 복수의 키포인트들과 제1의 복수의 키포인트들을 비교하는 단계는 제2의 복수의 키포인트들에 의해 형성된 제2 기하학적 구조와 제1의 복수의 키포인트들에 의해 형성된 제1 기하학적 구조 간의 기하학적 관계를 결정하는 단계를 포함한다.
[0148]
4.
실시예 2 또는 실시예 3의 방법에 있어서, 제1의 복수의 키포인트들은 제1의 3개짜리 이웃 키포인트들을 포함하며, 제2의 복수의 키포인트들은 제2의 3개짜리 이웃 키포인트들을 포함한다.
[0149]
5.
실시예 4의 방법에 있어서, 제1의 복수의 키포인트들이 미러에서 제2의 복수의 키포인트들의 리플렉션인지 여부를 결정하는 단계는 제1의 3개짜리 이웃 키포인트들 간의 개방 각도들 및 제2의 3개짜리 이웃 키포인트들 간의 개방 각도들을 결정하는 단계를 포함한다.
[0150]
6.
실시예 3 내지 5 중 어느 한 실시예의 방법에 있어서, 제2의 복수의 키포인트들에 의해 형성된 제2 기하학적 구조와 제1의 복수의 키포인트들에 의해 형성된 제1 기하학적 구조 간의 기하학적 관계를 결정하는 단계는 제1 기하학적 구조 또는 제2 기하학적 구조를 각각 축방향 변환하는 단계를 포함한다.
[0151]
7.
실시예들 2 내지 6 중 어느 한 실시예의 방법에 있어서, 큐는 제1의 복수의 키포인트들과 제2의 복수의 키포인트들 간의 매치; 또는 제1 기하학적 구조와 제2 기하학적 구조 간의 매치 중 하나 또는 그 초과를 포함한다.
[0152]
8.
실시예 1 내지 7 중 어느 한 실시예의 방법에 있어서, 큐를 식별하는 단계는 환경의 이미지에서 타겟 객체의 반사된 객체를 식별하는 단계를 포함한다.
[0153]
9.
실시예 8의 방법에 있어서, 반사된 객체는 사용자의 머리의 미러 이미지, ARD의 미러 이미지, 환경에서 물리적 객체의 미러 이미지, 또는 환경에서 텍스트의 미러 이미지를 포함한다.
[0154]
10.
실시예 1 내지 9 중 어느 한 실시예의 방법에 있어서, 큐를 식별하는 단계는 타겟 객체의 경계를 식별하는 단계; 타겟 객체의 경계에서 제1 깊이를 측정하는 단계; 타겟 객체의 경계내에서 출현하는 객체의 제2 깊이를 측정하는 단계; 및 제1 깊이가 제2 깊이와 매칭하는지 여부를 결정하기 위하여 제1 깊이 및 제2 깊이를 비교하는 단계를 포함한다.
[0155]
11.
실시예 10의 방법에 있어서, 큐는 제1 깊이와 제2 깊이 간의 미스매치(mismatch)를 포함한다.
[0156]
12.
실시예 1 내지 11 중 어느 한 실시예의 방법에 있어서, 큐를 식별하는 단계는 환경의 이미지에서 타겟 객체의 피처를 식별하는 단계를 포함한다.
[0157]
13.
실시예 12의 방법에 있어서, 피처는 타겟 객체와 연관된 크기, 위치, 표면 노멀(surface normal), 프레임, 형상 또는 라벨 중 하나 또는 그 초과를 포함한다.
[0158]
14.
실시예 13의 방법에 있어서, 라벨은 미러의 존재를 표시하는 정보를 포함하는 광학 라벨을 포함한다.
[0159]
15.
실시예 1 내지 14 중 어느 한 실시예의 방법에 있어서, 미러의 존재를 확인하는 단계는, ARD에 의해, 타겟 객체와 연관된 라벨에 신호를 송신하는 단계 및 라벨로부터의 응답을 수신하는 단계를 포함하며, 응답은 미러의 존재를 표시하는 정보를 포함한다.
[0160]
16.
실시예 1 내지 14 중 어느 한 실시예의 방법에 있어서, 미러의 존재를 확인하는 단계는 타겟 객체와 연관된 라벨로부터 신호를 수신하는 단계를 포함하며, 신호는 미러의 존재를 표시하는 정보를 포함한다.
[0161]
17.
실시예 15 또는 16의 방법에 있어서, 신호는 전자기 신호 또는 음향 신호를 포함한다.
[0162]
18.
실시예 1 내지 17 중 어느 한 실시예의 방법에 있어서, 액션을 수행하는 단계는 환경의 세계 지도에 액세스하는 단계; 및 확인된 미러의 존재에 적어도 부분적으로 기반하여 환경의 세계 지도를 업데이트하는 단계를 포함한다.
[0163]
19.
실시예 1 내지 18 중 어느 한 실시예의 방법에 있어서, 액션을 수행하는 단계는 미러의 존재의 확인에 대한 응답으로 미러를 사용하여 텔레프레즌스 세션을 수행하는 단계를 포함한다.
[0164]
20.
실시예 1 내지 19 중 어느 한 실시예의 방법에 있어서, 타겟 객체는 출입구, 윈도우 또는 미러 중 하나 또는 그 초과를 포함한다.
[0165]
21.
환경에서 반사면을 검출하기 위한 방법에 있어서, 방법은 컴퓨터 하드웨어를 포함하는 증강 현실 디바이스(ARD: augmented reality device)의 제어하에서 - ARD는 사용자 주변의 환경을 이미징하도록 구성된 외향 이미징 시스템을 포함함 -, 외향 이미징 시스템을 사용하여 환경의 이미지를 획득하는 단계 - 이미지는 타겟 객체를 포함하며, 타겟 객체는 반사면을 포함할 수 있음 -; 이미지의 분석에 적어도 부분적으로 기반하여 반사면을 표시하는 큐를 식별하는 단계; 및 식별된 큐에 적어도 부분적으로 기반하여 반사면의 존재를 확인하는 단계를 포함한다.
[0166]
22.
실시예 21의 방법에 있어서, 큐를 식별하는 단계는 이미지에서 제1의 복수의 키포인트들에 의해 형성된 제1 기하학적 구조를 식별하는 단계; 환경의 세계 지도에 액세스한 단계 - 세계 지도는 환경에서 물리적 객체들에 대한 정보를 포함함 -; 세계 지도에서 제2의 복수의 키포인트들에 의해 형성된 제2 기하학적 구조를 식별하는 단계; 및 제1 기하학적 구조가 제2 기하학적 구조의 반사된 이미지 인지 여부를 결정하기 위하여 제1 기하학적 구조와 제2 기하학적 구조 간의 기하학적 구조를 계산하는 단계를 포함한다.
[0167]
23.
실시예 22의 방법에 있어서, 제1의 복수의 키포인트들은 제1의 3개짜리 키포인트들을 포함하며, 제2의 복수의 키포인트들은 제2의 3개짜리 키포인트들을 포함한다.
[0168]
24.
실시예 23의 방법에 있어서, 기하학적 관계를 계산하는 단계는 제1의 3개짜리 키포인트들 간의 개방 각도들 및 제2의 3개짜리 키포인트들 간의 개방 각도들을 결정하는 단계를 포함한다.
[0169]
25.
실시예 22 내지 24 중 어느 한 실시예의 방법에 있어서, 기하학적 관계를 계산하는 단계는 제1 기하학적 구조 또는 제2 기하학적 구조를 각각 축방향 변환시키는 단계를 포함한다.
[0170]
26.
실시예 22 내지 25 중 어느 한 실시예의 방법에 있어서, 기하학적 관계를 계산하는 단계는 제1의 기하학적 구조의 제1 크기와 제2 기하학적 구조의 제2 크기 간의 확대율의 양을 결정하는 단계를 포함한다.
[0171]
27.
실시예 22 내지 26 중 어느 한 실시예의 방법에 있어서, 큐는 제1 기하학적 구조와 제2 기하학적 구조간의 매치를 포함한다.
[0172]
28.
실시예 21 내지 27 중 어느 한 실시예의 방법에 있어서, 큐를 식별하는 단계는 환경의 이미지에서 타겟 객체의 반사된 객체를 식별하는 단계를 포함한다.
[0173]
29.
실시예 28의 방법에 있어서, 반사된 객체는 사용자의 머리의 미러 이미지, ARD의 미러 이미지, 환경에서 물리적 객체의 미러 이미지, 또는 환경에서 텍스트의 미러 이미지를 포함한다.
[0174]
30.
실시예 21 내지 29 중 어느 한 실시예의 방법에 있어서, 큐를 식별하는 단계는 타겟 객체의 경계를 식별하는 단계; 타겟 객체의 경계에서 제1 깊이를 측정하는 단계; 타겟 객체의 경계내에서 출현하는 객체의 제2 깊이를 측정하는 단계; 및 제1 깊이가 제2 깊이와 매칭하는지 여부를 결정하기 위하여 제1 깊이 및 제2 깊이를 비교하는 단계를 포함한다.
[0175]
31.
실시예 30의 방법에 있어서, 큐는 제1 깊이와 제2 깊이 간의 미스매치를 포함한다.
[0176]
32.
실시예 21 내지 31 중 어느 한 실시예의 방법에 있어서, 큐를 식별하는 단계는 환경의 이미지에서 타겟 객체의 피처를 식별하는 단계를 포함한다.
[0177]
33.
실시예 32의 방법에 있어서, 피처는 타겟 객체와 연관된 크기, 위치, 표면 노멀(surface normal), 프레임, 형상 또는 라벨 중 하나 또는 그 초과를 포함한다.
[0178]
34.
실시예 33의 방법에 있어서, 라벨은 반사면의 존재를 표시하는 정보를 포함하는 광학 라벨을 포함한다.
[0179]
35.
실시예 21 내지 34 중 어느 한 실시예의 방법에 있어서, 반사면의 존재를 확인하는 단계는, ARD에 의해, 타겟 객체와 연관된 라벨에 신호를 송신하는 단계 및 라벨로부터의 응답을 수신하는 단계를 포함하며, 응답은 반사면의 존재를 표시하는 정보를 포함한다.
[0180]
36.
실시예 21 내지 34 중 어느 한 실시예의 방법에 있어서, 반사면의 존재를 확인하는 단계는 타겟 객체와 연관된 라벨로부터 신호를 수신하는 단계를 포함하며, 신호는 반사면의 존재를 표시하는 정보를 포함한다.
[0181]
37.
실시예 35 또는 36의 방법에 있어서, 신호는 전자기 신호 또는 음향 신호를 포함한다.
[0182]
38.
실시예 21 내지 37 중 어느 한 실시예의 방법에 있어서, 액션을 수행하는 단계는 환경의 세계 지도에 액세스하는 단계; 및 확인된 반사면의 존재에 적어도 부분적으로 기반하여 환경의 세계 지도를 업데이트하는 단계를 포함한다.
[0183]
39.
실시예 21 내지 38 중 어느 한 실시예의 방법에 있어서, 액션을 수행하는 단계는 반사면의 존재의 확인에 대한 응답으로 반사면을 사용하여 텔레프레즌스 세션을 수행하는 단계를 포함한다.
[0184]
40.
실시예 21 내지 39 중 어느 한 실시예의 방법에 있어서, 타겟 객체는 출입구, 윈도우 또는 미러 중 하나 또는 그 초과를 포함한다.
[0185]
41.
사용자 주변의 환경을 이미징하도록 구성된 외향 이미징 카메라 및 컴퓨터 하드웨어를 포함하는 증강 현실 디바이스(ARD: augmented reality device)에 있어서, 증강 현실 디바이스는 실시예 1 내지 40의 방법들 중 어느 한 방법을 수행하도록 프로그래밍된다.
[0186]
다음은 센서-기반 큐들을 사용한 미러 검출과 관련한 예시적인 실시예들이다.
[0187]
1.
환경에서 미러를 검출하기 위한 방법에 있어서, 방법은 컴퓨터 하드웨어를 포함하는 증강 현실 디바이스(ARD: augmented reality device) - ARD는 사용자 주변의 환경을 이미징하도록 구성된 외향 카메라 및 환경에서 물리적 객체의 움직임들을 결정하도록 구성된 IMU(inertial measurement unit)를 포함함 -의 제어하에서, 타겟 객체에서 물리적 객체의 반사된 이미지를 검출하는 단계 - 타겟 객체는 미러일 수 있음-; 반사된 이미지와 연관된 제1 움직임 데이터를 수집하는 단계; 물리적 객체와 연관된 제2 움직임 데이터를 수집하는 단계; 미러의 존재를 표시하는 큐를 식별하기 위하여 제2 움직임 데이터와 제1 움직임 데이터를 비교하는 단계; 및 식별된 큐에 적어도 부분적으로 기반하여 미러의 존재를 확인하는 단계를 포함한다.
[0188]
2.
실시예 1의 방법에 있어서, 물리적 객체는 사용자의 신체의 적어도 일부분을 포함한다.
[0189]
3.
실시예 2의 방법에 있어서, 물리적 객체는 사용자의 머리 또는 손을 포함한다.
[0190]
4.
실시예들 1 내지 3 중 어느 한 실시예의 방법에 있어서, 제1 움직임 데이터를 수집하는 단계 및 제2 움직임 데이터를 수집하는 단계는 외향 카메라에 의해 수행된다.
[0191]
5.
실시예 4의 방법에 있어서, 제1 움직임 데이터는 시간 기간에 걸쳐 반사된 이미지의 포지션 변경을 표시하는 이미지들을 포함하며, 제2 움직임 데이터는 시간 기간에 걸쳐 물리적 객체의 포지션 변경을 표시하는 이미지들을 포함한다.
[0192]
6.
실시예들 1 내지 3 중 어느 한 실시예의 방법에 있어서, 제1 움직임 데이터를 수집하는 단계는 외향 카메라에 의해 수행되며, 제2 움직임 데이터를 수집하는 단계는 IMU에 의해 수행된다.
[0193]
7.
실시예 6의 방법에 있어서, 제1 움직임 데이터는 시간 기간 걸쳐 반사된 이미지의 포지션 변경을 표시하는 이미지들을 포함하며, 제2 움직임 데이터는 시간 기간 걸쳐 물리적 객체의 포지션 변경을 포함한다.
[0194]
8.
실시예 5 또는 실시예 7의 방법에 있어서, 큐를 식별하기 위하여 제2 움직임 데이터와 제1 움직임 데이터를 비교하는 단계는 반사된 이미지와 연관된 제1 궤적을 생성하는 단계 - 제1 궤적은 제1 움직임 데이터에 적어도 부분적으로 기반함 -; 반사된 이미지와 연관된 제2 궤적을 생성하는 단계 - 제2 궤적은 제2 움직임 데이터에 적어도 부분적으로 기반함-; 및 제1 궤적 및 제2 궤적의 공분산을 계산하는 단계를 포함한다.
[0195]
9.
실시예 8의 방법에 있어서, 큐는 공분산이 임계치 미만임을 결정하는 단계를 포함한다.
[0196]
10.
실시예 1 내지 9 중 어느 한 실시예의 방법에 있어서, 미러의 존재를 확인하는 단계는, ARD에 의해, 타겟 객체와 연관된 라벨에 신호를 송신하는 단계 및 라벨로부터의 응답을 수신하는 단계를 포함하며, 응답은 미러의 존재를 표시하는 정보를 포함한다.
[0197]
11.
실시예 1 내지 10 중 어느 한 실시예의 방법에 있어서, 미러의 존재를 확인하는 단계는 타겟 객체와 연관된 라벨로부터 신호를 수신하는 단계를 포함하며, 신호는 미러의 존재를 표시하는 정보를 포함한다.
[0198]
12.
실시예 10 또는 실시예 11의 방법에 있어서, 신호는 전자기 신호 또는 음향 신호를 포함한다.
[0199]
13.
환경에서 반사면을 검출하기 위한 방법으로서, 방법은 컴퓨터 하드웨어를 포함하는 증강 현실 디바이스(ARD: augmented reality device) - ARD는 사용자 주변의 환경을 이미징하도록 구성된 외향 카메라 및 환경에서 물리적 객체의 움직임을 추적하도록 구성된 IMU(inertial measurement unit)을 포함함 -의 제어하에서, 타겟 객체에서 물리적 객체의 반사된 이미지를 검출하는 단계 - 타겟 객체는 반사면을 포함할 수 있음-; 반사된 이미지와 연관된 제1 움직임 데이터를 수집하는 단계; 물리적 객체와 연관된 제2 움직임 데이터를 수집하는 단계; 및 반사면의 존재를 표시하는 큐를 식별하기 위하여 제2 움직임 데이터와 제1 움직임 데이터를 비교하는 단계를 포함한다.
[0200]
14.
실시예 13의 방법에 있어서, 물리적 객체는 사용자의 신체의 적어도 일부분을 포함한다.
[0201]
15.
실시예 14의 방법에 있어서, 물리적 객체는 사용자의 머리 또는 손을 포함한다.
[0202]
16.
실시예 13 내지 15 중 어느 한 실시예의 방법에 있어서, 제1 움직임 데이터를 수집하는 단계 및 제2 움직임 데이터를 수집하는 단계는 시간 기간에 걸쳐 외향 카메라에 의해 이미지들을 획득하는 단계; 이미지들에서 반사된 이미지의 개개의 포지션들을 식별하는 단계; 반사된 이미지의 식별된 개개의 포지션들에 기반하여 제1 궤적을 계산하는 단계; 이미지들에서 물리적 객체의 개개의 포지션들을 식별하는 단계; 및 물리적 객체의 식별된 개개의 포지션들에 기반하여 제2 궤적을 계산하는 단계를 포함한다.
[0203]
17.
실시예들 13 내지 15 중 어느 한 실시예의 방법에 있어서, 제1 움직임 데이터를 수집하는 단계는 외향 카메라에 의해 수행되며, 제2 움직임 데이터를 수집하는 단계는 IMU에 의해 수행된다.
[0204]
18.
실시예들 13 내지 17 중 어느 한 실시예의 방법에 있어서, 큐를 식별하는 단계는 제1 움직임과 제2 움직임 간의 공분산을 계산하는 단계 및 공분산이 임계치 미만인지 여부를 결정하는 단계를 포함한다.
[0205]
19.
실시예 18의 방법에 있어서, 큐는 공분산이 임계치 미만인 결정에 대한 응답으로 식별된다.
[0206]
20.
환경에서 반사면을 검출하기 위한 증강 현실(AR: augmented reality) 시스템에 있어서, AR 시스템은 사용자 주변의 환경을 이미징하도록 구성된 외향 카메라; 객체의 움직임을 측정하도록 구성된 관성 측정 유닛; 및 실시예 1 내지 19의 방법들 중 어느 한 방법을 수행하도록 구성된 하드웨어 프로세서들을 포함한다.
[0207]
21.
환경에서 반사면을 검출하기 위한 방법으로서, 방법은, 컴퓨터 하드웨어를 포함하는 증강 현실 디바이스(ARD: augmented reality device) - ARD는 ARD의 외부의 객체에 대한 신호를 송신 또는 수신하도록 구성된 복수의 센서들을 포함함 -의 제어하에서, 타겟 객체를 식별하는 단계 - 타겟 객체는 반사면을 포함할 수 있음 -; 타겟 객체 근처의 영역에 신호를 송신하는 단계; 타겟 객체와 연관된 객체로부터 신호의 피드백을 수신하는 단계; 및 타겟 객체가 반사면을 포함함을 확인하기 위하여 피드백을 분석하는 단계를 포함한다.
[0208]
22.
실시예 21의 방법에 있어서, 신호는 전자기 신호 또는 음향 신호를 포함한다.
[0209]
23.
실시예 22의 방법에 있어서, 전자기 신호는 음향 신호를 포함한다.
[0210]
24.
실시예 23의 방법에 있어서, 신호를 송신하는 단계는 타겟 객체를 향하여 광 빔을 비추는 단계를 포함한다.
[0211]
25.
실시예 21의 방법에 있어서, 피드백은 타겟 객체에 의해 반사된 신호의 일부분을 포함한다.
[0212]
26.
실시예들 21 내지 25 중 어느 한 실시예의 방법에 있어서, 타겟 객체는 미러를 포함한다.
[0213]
27.
실시예 21 내지 26 중 어느 한 실시예의 방법에 있어서, 피드백을 분석하는 단계는 피드백의 세기를 결정하는 단계; 및 피드백의 세기가 임계치를 통과하면 타겟 객체가 반사면을 포함함을 확인하는 단계를 포함한다.
[0214]
28.
사용자의 환경에서 반사면을 검출하기 위한 방법으로서, 방법은, 컴퓨터 하드웨어를 포함하는 증강 현실 디바이스(ARD: augmented reality device) - ARD는 ARD의 외부의 타겟 객체로부터 신호를 송신 또는 수신하도록 구성된 복수의 센서들을 포함함 -의 제어하에서, 환경에서 반사면의 존재를 표시하는 신호를 수신하는 단계; 수신된 신호와 연관될 수 있는 타겟 객체를 식별하는 단계; 및 타겟 객체가 반사면과 연관됨을 확인하는 단계를 포함한다.
[0215]
29.
실시예 28의 방법에 있어서, 신호는 전자기 신호 또는 음향 신호를 포함한다.
[0216]
30.
실시예 28 또는 실시예 29의 방법에 있어서, 타겟 객체는 신호를 방사도록 구성된 라디오 주파수 식별 태그를 포함한다.
[0217]
31.
실시예 28의 방법에 있어서, 타겟 객체가 반사면과 연관됨을 확인하는 단계는 ARD의 이미징 시스템을 사용하여 환경의 이미지를 획득하는 단계 - 이미지는 타겟 객체를 포함함 -; 및 이미지의 분석에 적어도 부분적으로 기반하여 큐를 식별하는 단계를 포함한다.
[0218]
32.
실시예 31의 방법에 있어서, 큐를 식별하는 단계는 이미지에서 제1의 복수의 키포인트들을 식별하는 단계; 환경의 세계 지도에 액세스한 단계 - 세계 지도는 환경내의 물리적 객체들에 대한 정보를 포함함 -; 세계 지도에서 제2의 복수의 키포인트들을 식별하는 단계; 및 제1의 복수의 키포인트들이 반사면에서 제2의 복수의 키포인트들의 리플렉션인지 여부를 결정하기 위하여 제2의 복수의 키포인트들과 제1의 복수의 키포인트들을 비교하는 단계를 포함한다.
[0219]
33.
실시예 32의 방법에 있어서, 제2의 복수의 키포인트들과 제1의 복수의 키포인트들을 비교하는 단계는 제2의 복수의 키포인트들에 의해 형성된 제2 기하학적 구조와 제1의 복수의 키포인트들에 의해 형성된 제1 기하학적 구조 간의 기하학적 관계를 결정하는 단계를 포함한다.
[0220]
34.
실시예 32 또는 실시예 33의 방법에 있어서, 제1의 복수의 키포인트들은 제1의 3개짜리 이웃 키포인트들을 포함하며, 제2의 복수의 키포인트들은 제2의 3개짜리 이웃 키포인트들을 포함한다.
[0221]
35.
실시예 34의 방법에 있어서, 제1의 복수의 키포인트들이 미러에서 제2의 복수의 키포인트들의 리플렉션인지 여부를 결정하는 단계는 제1의 3개짜리 이웃 키포인트들 간의 개방 각도들 및 제2의 3개짜리 이웃 키포인트들 간의 개방 각도들을 결정하는 단계를 포함한다.
[0222]
36.
실시예 33 내지 35 중 어느 한 실시예의 방법에 있어서, 제2의 복수의 키포인트들에 의해 형성된 제2 기하학적 구조와 제1의 복수의 키포인트들에 의해 형성된 제1 기하학적 구조 간의 기하학적 관계를 결정하는 단계는 제1 기하학적 구조 또는 제2 기하학적 구조를 각각 축방향 변환하는 단계를 포함한다.
[0223]
37.
실시예들 32 내지 36 중 어느 한 실시예의 방법에 있어서, 큐는 제1의 복수의 키포인트들과 제2의 복수의 키포인트들 간의 매치; 또는 제1 기하학적 구조와 제2 기하학적 구조 간의 매치 중 하나 또는 그 초과를 포함한다.
[0224]
38.
실시예 31 내지 37 중 어느 한 실시예의 방법에 있어서, 큐를 식별하는 단계는 환경의 이미지에서 타겟 객체의 반사된 객체를 식별하는 단계를 포함한다.
[0225]
39.
실시예 38의 방법에 있어서, 반사된 객체는 사용자의 머리의 미러 이미지, ARD의 미러 이미지, 환경에서 물리적 객체의 미러 이미지, 또는 사용자의 환경에서 텍스트의 미러 이미지를 포함한다.
[0226]
40.
실시예 31 내지 39 중 어느 한 실시예의 방법에 있어서, 큐를 식별하는 단계는 타겟 객체의 경계를 식별하는 단계; 타겟 객체의 경계에서 제1 깊이를 측정하는 단계; 타겟 객체의 경계내에서 출현하는 객체의 제2 깊이를 측정하는 단계; 및 제1 깊이가 제2 깊이와 매칭하는지 여부를 결정하기 위하여 제1 깊이 및 제2 깊이를 비교하는 단계를 포함한다.
[0227]
41.
실시예 40의 방법에 있어서, 큐는 제1 깊이와 제2 깊이 간의 미스매치를 포함한다.
[0228]
42.
실시예 31 내지 41 중 어느 한 실시예의 방법에 있어서, 큐를 식별하는 단계는 환경의 이미지에서 타겟 객체의 피처를 식별하는 단계를 포함한다.
[0229]
43.
실시예 42의 방법에 있어서, 피처는 타겟 객체와 연관된 크기, 위치, 표면 노멀(surface normal), 프레임, 형상 또는 라벨 중 하나 또는 그 초과를 포함한다.
[0230]
44.
실시예 43의 방법에 있어서, 라벨은 미러의 존재를 표시하는 정보를 포함하는 광학 라벨을 포함한다.
[0231]
45.
실시예 28의 방법에 있어서, 타겟 객체가 반사면과 연관됨을 확인하는 단계는 타겟 객체에서 물리적 객체의 반사된 이미지를 검출하는 단계; 반사된 이미지와 연관된 제1 움직임 데이터를 수집하는 단계; 타겟 객체와 연관된 제2 움직임 데이터를 수집하는 단계; 및 반사면의 존재를 표시하는 큐를 식별하기 위하여 제2 움직임 데이터와 제1 움직임 데이터를 비교하는 단계를 포함한다.
[0232]
46.
실시예 45의 방법에 있어서, 물리적 객체는 사용자의 신체의 적어도 일부분을 포함한다.
[0233]
47.
실시예 46의 방법에 있어서, 물리적 객체는 사용자의 머리 또는 손을 포함한다.
[0234]
48.
실시예 45 내지 47 중 어느 한 실시예의 방법에 있어서, 제1 움직임 데이터를 수집하는 단계 및 제2 움직임 데이터를 수집하는 단계는 시간 기간에 걸쳐 외향 카메라에 의해 이미지들을 획득하는 단계; 이미지들에서 반사된 이미지의 개개의 포지션들을 식별하는 단계; 반사된 이미지의 식별된 개개의 포지션들에 기반하여 제1 궤적을 계산하는 단계; 이미지들에서 물리적 객체의 개개의 포지션들을 식별하는 단계; 및 물리적 객체의 식별된 개개의 포지션들에 기반하여 제2 궤적을 계산하는 단계를 포함한다.
[0235]
49.
실시예들 45 내지 47 중 어느 한 실시예의 방법에 있어서, 제1 움직임 데이터를 수집하는 단계는 AR 시스템의 외향 이미징 시스템에 의해 수행되며, 제2 움직임 데이터를 수집하는 단계는 AR 시스템의 관성 측정 유닛에 의해 수행된다.
[0236]
50.
실시예들 45 내지 49 중 어느 한 실시예의 방법에 있어서, 큐를 식별하는 단계는 제1 움직임 데이터와 제2 움직임 간의 공분산을 계산하는 단계; 및 공분산이 임계치 미만인지 여부를 결정하는 단계를 포함한다.
[0237]
51.
실시예 50의 방법에 있어서, 큐는 공분산이 임계치 미만인 결정에 대한 응답으로 식별된다.
[0238]
52.
하나 또는 그 초과의 센서들을 포함하는 증강 현실 시스템은 실시예 21 내지 51의 방법들 중 어느 한 방법을 수행하도록 구성된다.
[0239]
다음은 반사면들의 존재시 증강 현실 세계 지도들과 관련한 예시적인 실시예들이다.
[0240]
1.
3차원(3D) 세계 지도를 보정하기 위한 방법에 있어서, 방법은, 컴퓨터 하드웨어를 포함하는 증강 현실(AR: augmented reality) 시스템 - AR 시스템은 사용자 주변의 환경을 이미징하도록 구성된 외향 카메라를 포함하며, 3D 세계 지도를 저장한 데이터 스토리지와 통신함 -의 제어 하에서, 외향 카메라에 의해, 사용자 주변의 환경에서 반사면의 존재를 검출하는 단계; 반사면과 연관된 정보를 결정하는 단계; 환경과 연관된 3D 시각적 지도를 데이터 스토리지로부터 액세스하는 단계; 및 반사면과 연관된 결정된 정보에 적어도 부분적으로 기반하여 3D 세계 지도를 업데이트하는 단계를 포함한다.
[0241]
2.
실시예 1의 방법에 있어서, 반사면은 미러의 반사면을 포함한다.
[0242]
3.
실시예 1의 방법에 있어서, 반사면의 존재를 검출하는 단계는 외향 카메라에 의해, 반사면상에서 사용자의 반사된 이미지를 검출하는 단계; 반사면과 연관된 광학 라벨을 검출하는 단계; 반사면과 반사면을 지지하는 벽 간의 깊이 불연속성을 결정하는 단계; 또는 반사면의 존재와 연관된 신호를 수신하는 단계 중 하나 또는 그 초과를 포함한다.
[0243]
4.
실시예 1 내지 3 중 어느 한 실시예의 방법에 있어서, 반사면과 연관된 정보를 결정하는 단계는 환경에서 객체들의 반사된 이미지들의 존재를 결정하는 단계를 포함한다.
[0244]
5.
실시예 1 내지 3 중 어느 한 실시예의 방법에 있어서, 반사면과 연관된 정보를 결정하는 단계는 미러의 크기, 형상, 위치 또는 시맨틱스 중 하나 또는 그 초과를 결정하는 단계를 포함한다.
[0245]
6.
실시예 1 내지 5 중 어느 한 실시예의 방법에 있어서, 3D 세계 지도를 업데이트하는 단계는 환경에서 객체들의 반사된 이미지들에 의해 유발된 아티팩트들을 3D 시각적 지도로부터 제거하는 단계를 포함한다.
[0246]
7.
실시예 6의 방법에 있어서, 아티팩트들은 환경에서 객체들의 반사된 이미지들을 포함한다.
[0247]
8.
3차원(3D) 세계 지도를 생성하기 위한 방법에 있어서, 방법은, 컴퓨터 하드웨어를 포함하는 AR(augmented reality) 시스템 - AR 시스템은 사용자 주변의 환경을 이미징하도록 구성된 외향 카메라를 포함하며, 3D 세계 지도를 저장한 데이터 스토리지와 통신함 -; 외향 카메라에 의해, 사용자 주변의 환경에서 반사면의 존재를 검출하는 단계; 반사면과 연관된 정보를 결정하는 단계; 환경에서 객체들의 반사된 이미지들의 존재를 결정하는 단계; 및 반사면과 연관된 결정된 정보에 적어도 부분적으로 기반하여 3D 세계 지도를 생성하는 단계를 포함하며, 3D 세계 지도는 객체들의 반사된 이미지들을 비-물리적 객체들로서 정확하게 식별한다.
[0248]
9.
실시예 8의 방법에 있어서, 3D 세계 지도를 생성하는 단계는 환경에서 실제 객체들로서 객체들의 반사된 이미지들을 해석하지 않는 단계를 포함한다.
[0249]
10.
실시예 8 또는 9의 방법에 있어서, 3D 세계 지도를 생성하는 단계는 세계 지도에 객체들의 반사된 이미지들을 포함시키는 단계 및 객체들의 반사된 이미지들을 반사된 이미지들로서 태깅(tagging)하는 단계를 포함한다.
[0250]
11.
실시예들 8 내지 10 중 어느 한 실시예의 방법에 있어서, 3D 세계 지도를 생성하는 단계는 세계 지도에서 객체들의 반사된 이미지들을 배제하는 단계를 포함한다.
[0251]
12.
3차원(3D) 세계 지도를 보정하기 위한 증강 현실(AR: augmented reality) 시스템에 있어서, 증강 현실 시스템은, 사용자 주변의 환경의 이미지를 포착하도록 구성된 외향 카메라; 3D 세계 지도 및 이미지를 저장하는 데이터 스토리지; 및 데이터 스토리지와 통신하는 컴퓨터 하드웨어를 포함하며, 컴퓨터 하드웨어는 외향 카메라에 의해 포착된 이미지를 사용하여, 사용자 주변의 환경에서 반사면의 존재를 검출하며; 반사면과 연관된 정보를 결정하며; 환경과 연관된 3D 세계 지도를 데이터 스토리지로부터 액세스하며; 그리고 반사면과 연관된 결정된 정보에 적어도 부분적으로 기반하여 3D 세계 지도를 업데이트하도록 프로그래밍된다.
[0252]
13.
실시예 12의 시스템에 있어서, 반사면은 미러의 반사면을 포함한다.
[0253]
14.
실시예 12 또는 12의 시스템에 있어서, 반사면의 존재를 검출하기 위하여, 컴퓨터 하드웨어는 외향 카메라에 의해, 반사면상에서 사용자의 반사된 이미지를 검출하는 것; 반사면과 연관된 광학 라벨을 검출하는 것; 반사면과 반사면을 지지하는 벽 간의 깊이 불연속성을 결정하는 것; 또는 반사면의 존재와 연관된 신호를 수신하는 것 중 하나 또는 그 초과를 수행하도록 프로그래밍된다.
[0254]
15.
실시예 12 내지 14 중 어느 한 실시예의 시스템에 있어서, 반사면과 연관된 정보를 결정하기 위하여, 컴퓨터 하드웨어는 환경에서 객체들의 반사된 이미지들의 존재를 결정하도록 프로그래밍된다.
[0255]
16.
실시예 12 내지 15 중 어느 한 실시예의 시스템에 있어서, 3D 세계 지도를 업데이트하기 위하여, 컴퓨터 하드웨어는 환경에서 객체들의 반사된 이미지들에 의해 유발된 아티팩트들을 3D 세계 지도로부터 제거하도록 프로그래밍된다.
[0256]
17.
실시예 16의 시스템에 있어서, 아티팩트들은 환경에서 객체들의 반사된 이미지들을 포함한다.
[0257]
18.
실시예 12 내지 17 중 어느 한 실시예의 시스템에 있어서, 반사면과 연관된 정보를 결정하기 위하여, 컴퓨터 하드웨어는 반사면의 크기, 형상, 위치 또는 시맨틱스 중 하나 또는 그 초과를 결정하도록 프로그래밍된다.
[0258]
19.
3차원(3D) 세계 지도를 생성하기 위한 증강 현실(AR: augmented reality) 시스템에 있어서, 증강 현실 시스템은, 사용자 주변의 환경의 이미지를 포착하도록 구성된 외향 카메라; 3D 세계 지도 및 이미지를 저장하는 데이터 스토리지; 및
데이터 스토리지와 통신하는 컴퓨터 하드웨어를 포함하며, 컴퓨터 하드웨어는 외향 카메라에 의해 포착된 이미지를 사용하여, 사용자 주변의 환경에서 반사면의 존재를 검출하며; 반사면과 연관된 정보를 결정하며; 환경에서 객체들의 반사된 이미지들의 존재를 결정하며; 그리고 반사면과 연관된 결정된 정보에 적어도 부분적으로 기반하여 3D 세계 지도를 생성하도록 프로그래밍되며, 3D 세계 지도는 객체들의 반사된 이미지들을 비-물리적 객체들로서 정확하게 식별한다.
[0259]
20.
실시예 19의 시스템에 있어서, 3D 세계 지도를 생성하기 위하여, 컴퓨터 하드웨어는 환경에서 실제 객체들로서 객체들의 반사된 이미지들을 해석하지 않도록 프로그래밍된다.
[0260]
21.
실시예 19 또는 20의 시스템에 있어서, 3D 세계 지도를 생성하기 위하여, 컴퓨터 하드웨어는 세계 지도에서 객체들의 반사된 이미지들을 배제하도록 프로그래밍된다.
[0261]
22.
실시예 19의 시스템에 있어서, 3D 세계 지도를 생성하기 위하여, 컴퓨터 하드웨어는 세계 지도에 객체들의 반사된 이미지들을 포함시키고 객체들의 반사된 이미지들을 반사된 이미지들로서 태깅하도록 프로그래밍된다.
[0262]
23.
3차원(3D) 세계 지도를 프로세싱하기 위한 방법에 있어서, 방법은, 컴퓨터 하드웨어를 포함하는 증강 현실(AR: augmented reality) 시스템 - AR 시스템은 사용자 주변의 환경을 이미징하도록 구성된 외향 카메라를 포함하며, 3D 세계 지도를 저장한 데이터 스토리지와 통신함 -의 제어하에서, 외향 카메라에 의해, 사용자의 환경을 이미징하는 단계; 사용자의 환경에서 반사면의 존재를 검출하는 단계; 및 반사면의 존재에 적어도 부분적으로 기반하여 3D 세계 지도를 프로세싱하는 단계를 포함한다.
[0263]
24.
실시예 23의 방법에 있어서, 3D 세계 지도를 프로세싱하는 단계는 이전에 검출되지 않은 반사면의 존재에 의해 유발된 아티팩트를 3D 세계 지도에서 식별하는 단계; 및 3D 세계 지도에서 아티팩트를 제거하는 단계를 포함한다.
[0264]
25.
실시예 23 또는 실시예 24의 방법에 있어서, 3D 세계 지도를 프로세싱하는 단계는 3D 세계 지도가 반사면의 존재에 의해 유발된 아티팩트들을 포함하지 않도록 세계 지도를 업데이트하는 단계를 포함한다.
[0265]
26.
실시예 8 내지 11 또는 실시예 23 내지 25 중 어느 한 실시예의 방법을 수행하도록 구성된 AR 시스템.
[0266]
다음은 증강 현실 텔레프레즌스와 관련한 예시적인 실시예들이다.
[0267]
1.
증강 현실 텔레프레즌스 세션에서 이미지를 공유하기 위한 방법으로서, 방법은 텔레프레즌스 세션 동안 제1 콜러와 연관된 제1 증강 현실 디바이스와 제2 콜러와 연관된 제2 증강 현실 디바이스 간에 양방향 통신 연결을 설정하는 단계 - 제1 증강 현실 디바이스는 제1 증강 현실 디바이스의 정면의 구역을 이미징하도록 구성된 제1 외향 카메라를 포함함 -; 제1 외향 카메라를 사용하여, 제1 증강 현실 디바이스의 정면에서 미러의 존재를 검출하는 단계; 제1 외향 카메라를 사용하여, 미러에서 제1 콜러의 제1 이미지를 검출하는 단계; 제1 콜러의 제1 이미지의 일부분을 통신 연결을 통해 제2 증강 현실 디바이스에 통신하는 단계; 및 텔레프레즌스 세션 동안 제1 콜러의 제1 이미지의 일부분을 제2 증강 현실 디바이스에 의해 제2 콜러에 디스플레이하는 단계를 포함한다.
[0268]
2. 실시예 1의 방법에 있어서, 양방향 통신 연결을 설정하는 단계는 미러의 존재를 검출하는 것에 대한 응답으로 수행된다.
[0269]
3.
실시예 1 또는 실시예 2의 방법에 있어서, 제1 사용자의 얼굴을 차단하는 제1 증강 현실 디바이스의 이미지를 포함하는 제1 이미지의 구역을 식별하는 단계; 비차단 얼굴 이미지를 제공하기 위하여 식별된 구역에서 제1 사용자의 얼굴의 비차단 부분의 이미지를 대체하는 단계를 더 포함하며, 제1 이미지의 일부분을 통신하는 단계는 비차단 얼굴 이미지를 통신하는 단계를 포함한다.
[0270]
4.
실시예 3의 방법에 있어서, 제1 증강 현실 디바이스는 제1 사용자의 눈을 이미징하도록 구성된 눈-추적 카메라를 포함하며; 제1 사용자의 얼굴의 비차단 부분의 이미지를 대체하는 단계는 식별된 구역에 제1 사용자의 눈의 이미지를 삽입하는 단계를 포함한다.
[0271]
5.
실시예 1 내지 4 중 어느 한 실시예의 방법에 있어서, 제2 콜러의 제2 이미지를 통신 연결을 통해 제2 증강 현실 디바이스로부터 수신하는 단계; 및 텔레프레즌스 세션 동안 제2 콜러의 제2 이미지를 제1 증강 현실 디바이스에 의해 제1 콜러에 디스플레이하는 단계를 더 포함한다.
[0272]
6.
실시예 5의 방법에 있어서, 제2 콜러의 제2 이미지를 디스플레이하는 단계는 제2 이미지가 미러에서 제1 콜러의 제1 이미지를 차단하도록 제2 이미지를 디스플레이하는 단계를 포함한다.
[0273]
7.
실시예 5 또는 실시예 6의 방법에 있어서, 제2 콜러의 제2 이미지를 디스플레이하는 단계는 부가 가상 콘텐츠를 제1 콜러에 디스플레이하는 단계를 포함한다.
[0274]
8.
실시예 1 내지 7 중 어느 한 실시예의 방법에 있어서, 제1 콜러의 제1 이미지의 일부분을 디스플레이하는 단계는 부가 가상 콘텐츠를 제2 콜러에 디스플레이하는 단계를 포함한다.
[0275]
9.
실시예 7 또는 실시예 8의 방법에 있어서, 디스플레이되는 부가 가상 콘텐츠는 블렌딩 효과들, 페더링 효과들, 글로우 효과들 또는 특수 피처 효과들을 포함한다.
[0276]
10.
실시예 1 내지 9 중 어느 한 실시예의 방법에 있어서, 제1 증강 현실 디바이스, 제2 증강 현실 디바이스 또는 제1 및 제2 증강 현실 디바이스들 둘 모두는 머리 장착 디스플레이를 포함한다.
[0277]
11.
실시예 1 내지 10 중 어느 한 실시예의 방법에 있어서, 제1 증강 현실 디바이스, 제2 증강 현실 디바이스 또는 제1 및 제2 증강 현실 디바이스들 둘 모두는 다수의 깊이 평면들에서 이미지들을 제시하도록 구성된 라이트 필드 디스플레이를 포함한다.
[0278]
12.
증강 현실 텔레프레즌스 세션에서 이미지를 공유하기 위한 방법으로서, 방법은 제1 콜러와 연관된 제1 증강 현실 디바이스와 제2 콜러와 연관된 제2 증강 현실 디바이스 간에 양방향 통신 연결을 설정하는 단계 - 제1 증강 현실 디바이스는 제1 증강 현실 디바이스의 정면의 구역을 이미징하도록 구성된 제1 외향 카메라를 포함함 -; 제1 증강 현실 디바이스의 정면의 구역에서 반사면의 존재를 검출하는 단계; 제1 외향 카메라를 사용하여, 반사면으로부터 반사된 제1 콜러의 제1 이미지를 캡처하는 단계; 및 제1 콜러의 제1 이미지의 적어도 일부분을 제2 증강 현실 디바이스에 송신하는 단계를 포함한다.
[0279]
13.
실시예 12의 방법에 있어서, 제2 콜러의 제2 이미지를 제1 증강 현실 디바이스에 의해 수신하는 단계; 및 제1 증강 현실 디바이스에 의해 제2 콜러의 제2 이미지의 적어도 일부분을 디스플레이하는 단계를 더 포함한다.
[0280]
14.
실시예 13의 방법에 있어서, 제2 콜러의 제2 이미지의 적어도 일부분을 디스플레이하는 단계는 제2 이미지가 미러에서 제1 콜러의 제1 이미지를 차단하도록 제2 이미지의 적어도 일부분을 디스플레이하는 단계를 포함한다.
[0281]
15.
실시예 13의 방법에 있어서, 제1 증강 현실 디바이스에 의해 제2 콜러의 제2 이미지를 프로세싱하는 단계를 더 포함한다.
[0282]
16.
실시예 12의 방법에 있어서, 제1 증강 현실 디바이스에 의해 제1 콜러의 제1 이미지를 프로세싱하는 단계를 더 포함한다.
[0283]
17.
실시예 12의 방법에 있어서, 제1 콜러의 제1 이미지를 제2 증강 현실 디바이스에 송신하는 단계는 제1 콜러의 제1 이미지를 서버 컴퓨터 시스템에 송신하는 단계; 서버 컴퓨터 시스템에 의해 제1 콜러의 제1 이미지를 프로세싱하는 단계; 및 제1 콜러의 제1 이미지를 제2 증강 현실 디바이스에 송신하는 단계를 포함한다.
[0284]
18.
실시예 12 내지 17 중 어느 한 실시예의 방법에 있어서, 제1 콜러의 제1 이미지의 프로세싱은 제1 콜러의 제1 이미지에 가상 콘텐츠들을 적용하는 단계; 제1 콜러의 제1 이미지의 일부분을 크로핑(cropping)하는 단계; 제1 콜러의 제1 이미지에 백그라운드(background)를 적용하는 단계; 제1 콜러의 제1 이미지를 리사이징(resizing)하는 단계; 제1 콜러의 얼굴을 차단하는 제1 증강 현실 디바이스의 이미지를 포함하는 제1 콜러의 제1 이미지의 구역을 식별하고 제1 콜러의 얼굴의 비차단 이미지를 제공하기 위하여 식별된 구역에서 제1 사용자의 얼굴의 비차단 부분의 이미지를 대체하는 단계; 또는 제1 증강 현실 디바이스에 의해 캡처되지 않는 제1 콜러의 신체의 구역을 식별하고 식별된 구역을 제1 콜러의 제1 이미지에 추가하는 단계 중 적어도 하나를 포함한다.
[0285]
19.
실시예 18의 방법에 있어서, 가상 콘텐츠는 블렌딩 효과들, 페더링 효과들, 글로우 효과들 또는 특수 피처 효과들을 포함한다.
[0286]
20.
실시예 18의 방법에 있어서, 백그라운드는 게임들, 영화들, 책들, 미술품, 뮤직, 기존 물리적 엘리먼트들 또는 가상 객체들과 연관된 엘리먼트들을 포함한다.
[0287]
21.
실시예 18 내지 20 중 어느 한 실시예의 방법에 있어서, 백그라운드는 애니메이션이다.
[0288]
22.
제1 콜러와 제2 콜러 간의 텔레프레즌스를 수행하기 위한 증강 현실 시스템에 있어서, 시스템은 제1 콜러와 연관된 제1 증강 현실 디바이스를 포함하며, 제1 증강 현실 디바이스는 제1 증강 현실 디바이스의 정면의 구역을 이미징하도록 구성된 제1 외향 카메라 및 네트워크와 통신하도록 구성된 컴퓨터 프로세서를 포함하며, 컴퓨터 프로세서는 제1 증강 현실 디바이스와 제2 콜러와 연관된 제2 증강 현실 디바이스 간에 양방향 통신 연결을 설정하며; 제1 증강 현실 디바이스의 정면의 구역에서 반사면의 존재를 검출하며; 제1 외향 카메라를 사용하여, 반사면으로부터 반사된 제1 콜러의 제1 이미지를 검출하며; 제1 콜러의 제1 이미지의 적어도 일부분을 제2 증강 현실 디바이스에 송신하며; 제1 증강 현실 디바이스에 의해, 제2 콜러의 제2 이미지를 수신하며; 그리고 제1 증강 현실 디바이스에 의해 제2 콜러의 제2 이미지의 적어도 일부분을 디스플레이하도록 프로그래밍된다.
[0289]
23.
실시예 22의 시스템에 있어서, 컴퓨터 프로세서는 제2 이미지가 미러에서 제1 콜러의 제1 이미지를 차단하도록 제1 증강 현실 디바이스에 의해 제2 콜러의 제2 이미지의 적어도 일부분을 디스플레이하도록 추가로 프로그래밍된다.
[0290]
24.
실시예 22의 시스템에 있어서, 컴퓨터 프로세서는 제1 증강 현실 디바이스에 의해 제2 콜러의 제2 이미지를 프로세싱하도록 추가로 프로그래밍된다.
[0291]
25.
실시예 22의 시스템에 있어서, 컴퓨터 프로세서는 제1 증강 현실 디바이스에 의해 제1 콜러의 제1 이미지를 프로세싱하도록 추가로 프로그래밍된다.
[0292]
26.
실시예 22의 시스템에 있어서, 제1 콜러의 제1 이미지의 적어도 일부분을 제2 증강 현실 디바이스에 송신하는 것은 제1 콜러의 제1 이미지를 서버 컴퓨터 시스템에 송신하는 것; 서버 컴퓨터 시스템에 의해 제1 콜러의 제1 이미지를 프로세싱하는 것; 및 제1 콜러의 제1 이미지를 제2 증강 현실 디바이스에 송신하는 것을 포함한다.
[0293]
27.
실시예 24 내지 26 중 어느 한 실시예의 시스템에 있어서, 제1 콜러의 제1 이미지의 프로세스는 제1 콜러의 제1 이미지에 가상 콘텐츠들을 적용하는 것; 제1 콜러의 제1 이미지의 일부분을 크로핑하는 것; 제1 콜러의 제1 이미지에 백그라운드를 적용하는 것; 제1 콜러의 제1 이미지를 리사이징하는 것; 제1 콜러의 얼굴을 차단하는 제1 증강 현실 디바이스의 이미지를 포함하는 제1 콜러의 제1 이미지의 구역을 식별하고 제1 콜러의 얼굴의 비차단 이미지를 제공하기 위하여 식별된 구역에서 제1 사용자의 얼굴의 비차단 부분의 이미지를 대체하는 것; 또는 제1 증강 현실 디바이스에 의해 캡처되지 않는 제1 콜러의 신체의 구역을 식별하고 식별된 구역을 제1 콜러의 제1 이미지에 추가하는 것 중 적어도 하나를 포함한다.
[0294]
28.
실시예 27의 시스템에 있어서, 가상 콘텐츠는 블렌딩 효과들, 페더링 효과들, 글로우 효과들 또는 특수 피처 효과들을 포함한다.
[0295]
29.
실시예 27의 시스템에 있어서, 백그라운드는 게임들, 영화들, 책들, 미술품, 뮤직, 기존 물리적 엘리먼트들 또는 가상 객체들과 연관된 엘리먼트들을 포함한다.
[0296]
30.
실시예 22 내지 29 중 어느 한 실시예의 시스템에 있어서, 백그라운드는 애니메이션이다.
[0297]
31.
제1 콜러와 제2 콜러 간의 텔레프레즌스를 수행하기 위한 증강 현실 시스템에 있어서, 시스템은 제1 콜러와 연관된 제1 증강 현실 디바이스 및 제2 콜러와 연관된 제2 증강 현실 디바이스를 포함하며, 제1 증강 현실 디바이스는 제1 증강 현실 디바이스의 정면의 구역을 이미징하도록 구성된 제1 외향 카메라 및 네트워크와 통신하도록 구성된 컴퓨터 프로세서를 포함하며, 컴퓨터 프로세서는 제1 증강 현실 디바이스와 제2 증강 현실 디바이스 간에 양방향 통신 연결을 설정하며; 제1 외향 카메라를 사용하여 제1 증강 현실 디바이스의 정면의 구역에서 미러의 존재를 검출하며; 제1 외향 카메라를 사용하여, 미러에서 제1 콜러의 제1 이미지를 검출하며; 제1 콜러의 제1 이미지의 일부분을 통신 연결을 통해 제2 증강 현실 디바이스에 통신하며; 그리고 텔레프레즌스 세션 동안 제2 증강 현실 디바이스에 의해 제1 콜러의 제1 이미지의 일부분을 제2 콜러에 디스플레이하도록 프로그래밍된다.
[0298]
32.
실시예 31의 시스템에 있어서, 양방향 통신 연결을 설정하는 것은 미러의 존재를 검출하는 것에 대한 응답으로 수행된다.
[0299]
33.
실시예 31 또는 실시예 32의 시스템에 있어서, 컴퓨터 프로세서는 제1 사용자의 얼굴을 차단하는 제1 증강 현실 디바이스의 이미지를 포함하는 제1 이미지의 구역을 식별하며; 비차단 얼굴 이미지를 제공하기 위하여 식별된 구역에서 제1 사용자의 얼굴의 비차단 부분의 이미지를 대체하도록 추가로 프로그래밍되며, 제1 이미지의 일부분을 통신하는 것은 비차단 얼굴 이미지를 통신하는 것을 포함한다.
[0300]
34.
실시예 33의 시스템에 있어서, 제1 증강 현실 디바이스는 제1 사용자의 눈을 이미징하도록 구성된 눈-추적 카메라를 포함하며; 제1 사용자의 얼굴의 비차단 부분의 이미지를 대체하는 것은 식별된 구역에 제1 사용자의 눈의 이미지를 삽입하는 것을 포함한다.
[0301]
35.
실시예 31 내지 34 중 어느 한 실시예의 시스템에 있어서, 컴퓨터 프로세서는 제2 콜러의 제2 이미지를 통신 연결을 통해 제2 증강 현실 디바이스로부터 수신하며; 및 텔레프레즌스 세션 동안 제2 콜러의 제2 이미지를 제1 증강 현실 디바이스에 의해 제1 콜러에 디스플레이하도록 추가로 프로그래밍된다.
[0302]
36.
실시예 35의 시스템에 있어서, 제2 콜러의 제2 이미지를 디스플레이하는 것은 제2 이미지가 미러에서 제1 콜러의 제1 이미지를 차단하도록 제2 이미지를 디스플레이하는 것을 포함한다.
[0303]
37.
실시예 35 또는 실시예 36의 시스템에 있어서, 제2 콜러의 제2 이미지를 디스플레이하는 것은 부가 가상 콘텐츠를 제1 콜러에 디스플레이하는 것을 포함한다.
[0304]
38.
실시예 31 내지 37 중 어느 한 실시예의 시스템에 있어서, 제1 콜러의 제1 이미지의 일부분을 디스플레이하는 것은 부가 가상 콘텐츠를 제2 콜러에 디스플레이하는 것을 포함한다.
[0305]
39.
실시예 37 또는 실시예 38의 시스템에 있어서, 디스플레이되는 부가 가상 콘텐츠는 블렌딩 효과들, 페더링 효과들, 글로우 효과들 또는 특수 피처 효과들을 포함한다.
[0306]
40.
실시예 31 내지 39 중 어느 한 실시예의 시스템에 있어서, 제1 증강 현실 디바이스, 제2 증강 현실 디바이스 또는 제1 및 제2 증강 현실 디바이스들 둘 모두는 머리 장착 디스플레이를 포함한다.
[0307]
41.
실시예 31 내지 40 중 어느 한 실시예의 시스템에 있어서, 제1 증강 현실 디바이스, 제2 증강 현실 디바이스 또는 제1 및 제2 증강 현실 디바이스들 둘 모두는 다수의 깊이 평면들에서 이미지들을 제시하도록 구성된 라이트 필드 디스플레이를 포함한다.
[0308]
42.
텔레프레즌스를 수행하기 위한 증강 현실 시스템에 있어서, 시스템은 제1 사용자와 연관된 제1 증강 현실 디바이스 및 제2 사용자와 연관된 제2 증강 현실 디바이스와 통신하도록 구성된 컴퓨터 시스템을 포함하며, 컴퓨터 시스템은, 네트워크 인터페이스; 비-일시적 데이터 스토리지; 및 네트워크 인터페이스 및 비-일시적 데이터 스토리지와 통신하도록 구성된 하드웨어 프로세서를 포함하며, 프로세서는 제1 증강 현실 디바이스로부터 제1 메시지를 수신하며 - 제1 메시지는 제2 증강 현실 디바이스와의 양방향 통신을 설정하기 위한 요청을 포함함 -; 제1 및 제2 증강 현실 디바이스들 간에 양방향 통신을 설정하며; 제1 증강 현실 디바이스로부터 제2 메시지를 수신하며 - 제2 메시지는 제1 증강 현실 디바이스의 정면의 반사면으로부터 제1 증강 현실 디바이스에 의해 캡처된 제1 콜러의 이미지를 포함함 -; 제2 메시지를 제2 증강 현실 디바이스에 송신하며; 제2 증강 현실 디바이스로부터 제3 메시지를 수신하며 - 제3 메시지는 제2 증강 현실 디바이스의 정면의 반사면으로부터 제2 증강 현실 디바이스에 의해 캡처된 제2 콜러의 이미지를 포함함 -; 그리고 제3 메시지를 제1 증강 현실 디바이스에 송신하도록 프로그래밍된다.
[0309]
43.
자화상(self-portrait)을 생성하기 위한 방법으로서, 방법은 머리-장착 디바이스 정면의 구역을 이미징하도록 구성된 외향 카메라를 포함하는 머리-장착 디바이스의 제어하에서, 머리-장착 디바이스의 착용자의 환경에서 반사면의 존재를 검출하는 단계; 외향 카메라를 사용하여, 반사면으로부터 반사된 착용자의 반사된 이미지를 검출하는 단계; 외향 카메라를 사용하여, 착용자의 반사된 이미지를 포함하는 반사면의 일부분의 이미지를 포착하는 단계; 및 착용자의 얼굴을 적어도 부분적으로 차단하는 머리-장착 디바이스의 이미지를 포함하는 이미지의 구역을 식별하고 착용자의 얼굴의 비차단 이미지를 제공하기 위하여 식별된 구역에서 착용자의 얼굴의 비차단 부분의 이미지를 대체하는 단계를 포함한다.
[0310]
44.
실시예 43의 방법에 있어서, 착용자의 비차단 이미지에 가상 콘텐츠를 적용하는 단계; 착용자의 비차단 이미지의 일부분을 크로핑하는 단계; 착용자의 비차단 이미지에 백그라운드를 적용하는 단계; 착용자의 비차단 이미지를 리사이징하는 단계; 또는 외향 카메라에 의해 포착된 이미지에 의해 캡처되지 않는 착용자의 신체의 구역을 식별하고 식별된 구역을 착용자의 비차단 이미지에 추가하는 단계 중 적어도 하나를 더 포함한다.
[0311]
45.
제1 증강 현실 디바이스와 제2 증강 현실 디바이스간의 텔레프레즌스 세션을 수행하기 위한 증강 현실 시스템에 있어서, 증강 현실 시스템은 제1 콜러와 연관된 제1 증강 현실 디바이스의 머리-장착 디스플레이 - 제1 머리-장착 디스플레이는 복수의 깊이 평면들에서 가상 콘텐츠를 제시하도록 구성되며, 디스플레이의 적어도 일부분은 투명한 부분이 제1 콜러의 환경의 일부분으로부터 광을 송신하도록 투명함-; 머리-장착 디스플레이의 정면의 구역을 이미징하도록 구성된 외향 이미징 시스템; 및 네트워크와 통신하도록 프로그래밍된 컴퓨터 프로세서를 포함하며; 컴퓨터 프로세서는 외향 이미징 시스템에 의해 포착된 이미지에 적어도 부분적으로 기반하여 제1 증강 현실 디바이스 근처의 반사면의 존재를 검출하고; 제2 콜러와 연관된 제2 증강 현실 디바이스와 제1 증강 현실 디바이스 간에 양방향 통신을 설정하며; 외향 이미징 시스템을 사용하여 반사면에 의해 반사된 제1 콜러의 제1 이미지를 검출하며; 제1 콜러의 제1 이미지의 적어도 일부분을 제2 증강 현실 디바이스에 송신하며; 제1 증강 현실 디바이스에 의해, 제2 콜러의 제2 이미지를 수신하며; 그리고 제1 증강 현실 디바이스의 머리-장착 디스플레이에 의해 제2 콜러의 제2 이미지의 적어도 일부분을 디스플레이하도록 프로그래밍된다.
[0312]
실시예 45의 증강 현실 시스템에 있어서, 컴퓨터 프로세서는 제1 콜러의 제1 이미지 또는 제2 콜러의 제2 이미지 중 적어도 하나를 프로세싱하도록 프로그래밍된다.
[0313]
47.
실시예 46의 증강 현실 시스템에 있어서, 적어도 제1 이미지 또는 제2 이미지를 프로세싱하기 위하여, 컴퓨터 프로세서는 제1 이미지 또는 제2 이미지에 가상 콘텐츠를 적용하는 것 - 가상 콘텐츠는 블렌딩 효과, 페더링 효과, 글로우 효과 또는 다른 특수 피처 효과 중 적어도 하나를 포함함 -; 제1 이미지 또는 제2 이미지의 일부분을 크로핑하는 것; 제1 이미지 또는 제2 이미지에 백그라운드를 적용하는 것; 제1 이미지 또는 제2 이미지를 리사이징하는 것; 제1 콜러의 얼굴을 차단하는 제1 증강 현실 디바이스의 이미지를 포함하는 제1 이미지의 구역을 식별하고, 제1 콜러의 얼굴의 비차단 이미지를 제공하기 위하여 식별된 구역에서 제1 콜러의 얼굴의 비차단 부분의 이미지를 대체하는 것; 제2 콜러의 얼굴을 차단하는 제2 증강 현실 디바이스의 이미지를 포함하는 제2 이미지의 구역을 식별하고, 제2 콜러의 얼굴의 비차단 이미지를 제공하기 위하여 식별된 구역에서 제2 콜러의 얼굴의 비차단 부분의 이미지를 대체하는 것; 제1 증강 현실 디바이스에 의해 캡처되지 않은 제1 콜러의 신체의 구역을 식별하고, 식별된 구역을 제1 콜러의 제1 이미지에 추가하는 것; 또는 제2 증강 현실 디바이스에 의해 캡처되지 않은 제2 콜러의 신체의 구역을 식별하고, 식별된 구역을 제2 콜러의 제2 이미지에 추가하는 것 중 적어도 하나를 수행하도록 프로그래밍된다.
[0314]
48.
실시예 45의 증강 현실 시스템에 있어서, 반사면은 얼굴 인식, 키-포인트들 인식, 제1 증강 현실 디바이스의 일부분의 인식, 깊이 불연속성, 미러의 형상 또는 반사면과 연관된 광학 라벨의 인식 중 적어도 하나를 사용하여 검출된다.
[0315]
49.
실시예 45의 증강 현실 시스템에 있어서, 제2 이미지의 적어도 일부분을 디스플레이하기 위하여, 컴퓨터 프로세서는 제2 이미지의 일부분이 반사면에 의해 반사된 제1 콜러의 제1 이미지를 차단하도록 제2 이미지의 일부분을 투사하도록 프로그래밍된다.
[0316]
50.
실시예 45의 증강 현실 시스템에 있어서, 제1 증강 현실 디바이스는 제1 콜러의 눈 움직임들을 추적하도록 구성된 눈-추적 카메라를 포함하며, 컴퓨터 프로세서는 제1 콜러의 눈 움직임들을 제2 증강 현실 디바이스에 송신하도록 추가로 프로그래밍된다.
[0317]
51.
제1 증강 현실 디바이스와 제2 증강 현실 디바이스간의 텔레프레즌스 세션을 수행하기 위한 방법에 있어서, 방법은 제1 증강 현실 디바이스로부터 메시지를 수신하는 단계 - 메시지는 제2 증강 현실 디바이스와의 양방향 통신을 설정하기 위한 요청을 포함함-; 제1 증강 현실 디바이스와 제2 증강 현실 디바이스 간에 양방향 통신을 설정하는 단계; 제1 증강 현실 디바이스로부터 제1 이미지를 수신하는 단계 - 제1 이미지는 제1 증강 현실 디바이스 근처의 반사면으로부터 제1 증강 현실 디바이스에 의해 포착되는 제1 콜러의 반사면을 포함함-; 제1 이미지를 제2 증강 현실 디바이스에 송신하는 단계; 제2 증강 현실 디바이스로부터 제2 이미지를 수신하는 단계 - 제2 이미지는 제2 증강 현실 디바이스 근처의 반사면으로부터 제2 증강 현실 디바이스에 의해 포착되는 제2 콜러의 일부분을 포함함-; 제2 이미지에 적어도 부분적으로 기반하여 제2 콜러의 이미지를 생성하는 단계; 및 3차원 환경으로 디스플레이하기 위해 제1 증강 현실 디바이스에 제2 콜러의 이미지를 송신하는 단계를 포함한다.
[0318]
52.
실시예 51의 방법에 있어서, 제1 증강 현실 디바이스 또는 제2 증강 현실 디바이스 중 적어도 하나는 다수의 깊이 평면들에서 이미지들을 제시하도록 구성된 라이트 필드 디스플레이를 포함한다.
[0319]
53.
실시예 51의 방법에 있어서, 제2 콜러의 이미지는 복수의 패치들을 포함하며, 제2 이미지는 제2 증강 현실 디바이스에 의해 차단되지 않은 제2 콜러의 얼굴의 일부분을 포함한다.
[0320]
54.
실시예 51의 방법에 있어서, 제2 증강 현실 디바이스에 의해 차단되는 제2 콜러의 눈 구역의 패치를 수신하는 단계를 더 포함하며, 제2 콜러의 이미지를 생성하는 단계는 제2 증강 현실 디바이스에 의해 차단되지 않은 제2 콜러의 얼굴의 일부분 및 제2 증강 현실 디바이스에 의해 차단되는 눈 구역의 패치에 기반하여 제2 콜러의 이미지를 합성하는 단계를 포함한다.
[0321]
55.
실시예 51의 방법에 있어서, 제2 콜러의 눈 구역의 움직임을 수신하는 단계; 제2 콜러의 얼굴 모델에 액세스하는 단계; 및 얼굴 모델 및 눈 구역의 움직임에 기반하여 제2 콜러의 이미지를 업데이트하는 단계를 더 포함한다.
[0322]
56.
실시예 51의 방법에 있어서, 제2 이미지에 적어도 부분적으로 기반하여 제2 콜러의 이미지를 생성하는 단계는 제2 이미지의 일부분을 크로핑하는 단계, 제2 이미지를 리사이징하는 단계, 또는 제2 이미지에 백그라운드를 적용하는 단계 중 적어도 하나를 포함한다.
[0323]
57.
실시예 51의 방법에 있어서, 제2 콜러의 이미지를 생성하는 단계는 제1 증강 현실 디바이스에 의해 캡처되지 않은 제2 콜러의 신체의 구역을 식별하는 단계; 제2 콜러의 신체의 구역을 포함하는 제3 이미지를 리트리브하는 단계; 및 제3 이미지 및 제2 증강 현실 디바이스로부터 수신된 제2 이미지에 적어도 부분적으로 기반하여 제2 콜러의 이미지를 생성하는 단계를 포함한다.
[0324]
58.
제1 증강 현실 디바이스와 제2 증강 현실 디바이스 간의 텔레프레즌스 세션을 수행하기 위한 증강 현실 시스템에 있어서, 증강 현실 시스템은 제1 사용자와 연관된 제1 증강 현실 디바이스 및 제2 사용자와 연관된 제2 증강 현실 디바이스와 통신하도록 구성된 컴퓨터 시스템을 포함하며, 컴퓨터 시스템은 네트워크 인터페이스; 비-일시적 데이터 스토리지; 및 네트워크 인터페이스 및 비-일시적 데이터 스토리지와 통신하도록 프로그래밍된 컴퓨터 프로세서를 포함하며; 컴퓨터 프로세서는 제1 증강 현실 디바이스로부터 메시지를 수신하며 - 메시지는 제2 증강 현실 디바이스와의 양방향 통신을 설정하기 위한 요청을 포함함 -; 제1 증강 현실 디바이스와 제2 증강 현실 디바이스간에 양방향 통신을 설정하며; 제1 증강 현실 디바이스로부터 제1 이미지를 수신하며 - 제1 이미지는 제1 증강 현실 디바이스 근처의 반사면으로부터 제1 증강 현실 디바이스에 의해 캡처되는 제1 콜러의 반사면을 포함함-; 제1 이미지를 제2 증강 현실 디바이스에 송신하며; 제2 이미지를 제2 증강 현실 디바이스로부터 수신하며 - 제2 이미지는 제2 증강 현실 디바이스 근처의 반사면으로부터 제2 증강 현실 디바이스에 의해 캡처된 제2 콜러의 일부분을 포함함-; 제2 이미지에 적어도 부분적으로 기반하여 제2 콜러의 이미지를 생성하며; 그리고 3차원 환경으로 디스플레이하기 위해 제1 증강 현실 디바이스에 제2 콜러의 이미지를 송신하도록 프로그래밍된다.
[0325]
59.
실시예 58의 시스템에 있어서, 제1 증강 현실 디바이스 또는 제2 증강 현실 디바이스 중 적어도 하나는 다수의 깊이 평면들에 이미지들을 제시하도록 구성된 라이트 필드 디스플레이를 포함한다.
[0326]
60.
실시예 58의 시스템에 있어서, 제2 콜러의 이미지는 복수의 패치들을 포함하며, 제2 이미지는 제2 증강 현실 디바이스에 의해 차단되지 않은 제2 콜러의 얼굴의 일부분을 포함한다.
[0327]
61.
실시예 60의 시스템에 있어서, 컴퓨터 프로세서는 제2 증강 현실 디바이스에 의해 차단되는 제2 콜러의 눈 구역의 패치를 수신하도록 추가로 프로그래밍되며, 제2 콜러의 이미지를 생성하기 위하여, 컴퓨터 프로세서는 제2 증강 현실 디바이스에 의해 차단되지 않은 제2 콜러의 얼굴의 일부분 및 제2 증강 현실 디바이스에 의해 차단된 눈 구역의 패치에 기반하여 제2 콜러의 이미지를 합성하도록 프로그래밍된다.
[0328]
62.
실시예 58의 시스템에 있어서, 컴퓨터 프로세서는 제2 콜러의 눈 구역의 움직임을 수신하고; 제2 콜러의 얼굴 모델에 액세스하며; 그리고 얼굴 모델 및 눈 구역의 움직임에 기반하여 제2 콜러의 이미지를 업데이트하도록 추가로 프로그래밍된다.
[0329]
63.
실시예 58의 시스템에 있어서, 제2 이미지에 적어도 부분적으로 기반하여 제2 콜러의 이미지를 생성하기 위하여, 컴퓨터 프로세서는 제2 이미지의 일부분을 크로핑하는 것, 제2 이미지를 리사이징하는 것, 또는 제2 이미지에 백그라운드를 적용하는 것 중 적어도 하나를 수행하도록 프로그래밍된다.
[0330]
64.
실시예 58의 시스템에 있어서, 제2 콜러의 이미지를 생성하기 위하여, 컴퓨터 프로세서는 제1 증강 현실 디바이스에 의해 캡처되지 않은 제2 콜러의 신체의 구역을 식별하고; 제2 콜러의 신체의 구역을 포함하는 제3 이미지를 리트리브하며; 그리고 제 3 이미지 및 제2 증강 현실 디바이스로부터 수신된 제2 이미지에 적어도 부분적으로 기반하여 제2 콜러의 이미지를 생성하도록 프로그래밍된다.
[0331]
도 1a는 사용자가 보는 소정의 물리 객체들 및 소정의 가상 현실 객체들을 가진 혼합 현실 시나리오의 예시를 도시한다.
[0332] 도 1b는 웨어러블 디스플레이 시스템의 예를 예시한다.
[0333] 도 2는 사용자에 대한 3차원 이미저리를 시뮬레이트하기 위한 종래의 디스플레이 시스템을 예시한다.
[0334] 도 3은 다수의 깊이 평면들을 사용하여 3차원 이미저리를 시뮬레이트하기 위한 접근법의 양상들을 예시한다.
[0335] 도 4a-4c는 초점 반경과 곡률 반경 간의 관계들을 예시한다.
[0336] 도 5는 사용자에게 이미지 정보를 출력하기 위한 도파관 스택의 예를 예시한다.
[0337] 도 6a는 도파관에 의해 출력된 출구 빔들의 예를 도시한다.
[0338] 도 6b는 다초점 용량측정 디스플레이, 이미지 또는 광 필드의 생성에 사용되는, 도파관 장치, 도파관 장치로 또는 도파관 장치로부터 광을 광학적으로 커플링하기 위한 광 커플러 서브시스템 및 제어 서브시스템을 포함하는 디스플레이 시스템을 도시하는 개략적 다이어그램이다.
[0339] 도 7은 MR 환경의 예의 블록 다이어그램이다.
[0340] 도 8은 인지된 객체들에 대해 가상 콘텐츠를 렌더링하는 방법의 예의 프로세스 흐름 다이어그램이다.
[0341] 도 9는 웨어러블 시스템의 다른 예의 블록 다이어그램이다.
[0342] 도 10은 웨어러블 시스템에 대한 사용자 입력을 결정하기 위한 방법의 예의 프로세스 흐름 다이어그램이다.
[0343] 도 11은 가상 사용자 인터페이스와 인터페이싱하기 위한 방법의 예의 프로레스 흐름 다이어그램이다.
[0344] 도 12는 사용자의 리플렉션 뷰를 증강시키기 위하여 증강 현실 콘텐츠를 생성하기 위한 루틴의 흐름도의 예를 예시한다.
[0345] 도 13은 사용자가 AR 디스플레이 시스템과 상호작용하는 예를 예시한다.
[0346] 도 14는 사용자의 리플렉션을 사용하여 사용자의 피처들의 치수들을 결정하기 위한 가상 스케일의 사용의 예를 예시한다.
[0347] 도 15는 다수의 사용자 디바이스들이 서로 상호작용하는 것을 묘사하는 전체 시스템 뷰를 개략적으로 예시한다.
[0348] 도 16은 하나 또는 그 초과의 큐들을 사용하여 미러의 존재를 검출하는 예들을 예시한다.
[0349] 도 17a는 사용자와 연관된 큐들을 사용하여 미러 검출의 예들을 예시한다.
[0350] 도 17b는 사용자의 머리 포즈를 정의하기 위하여 사용될 수 있는 3D 각도 좌표 시스템의 예를 예시한다.
[0351] 도 18은 사용자와 연관된 큐들을 사용한 미러 검출의 다른 예를 예시한다.
[0352] 도 19는 3개의 이동 객체들의 궤적들의 예를 도시한다.
[0353] 도 20 및 도 21은 큐들을 사용한 미러 검출을 위한 예시적인 방법들의 플로차트들을 예시한다.
[0354] 도 22a는 문에 의해 연결된 2개의 방들을 포함하는 3차원(3D) 환경의 예를 예시한다.
[0355] 도 22b는 방내의 객체들을 반사하는 미러를 포함하는 단일 방의 예를 예시한다.
[0356] 도 23은 환경내의 반사면의 존재로 인해 3D 세계 지도를 생성하고 그리고/또는 보정하기 위한 예시적인 방법의 플로차트이다.
[0357] 도 24는 제1 콜러 및 제2 콜러가 텔레프레즌스 세션을 수행하는 예를 예시한다.
[0358] 도 25a는 제1 콜러가 보는 제2 콜러의 이미지의 예이다.
[0359] 도 25b는 텔레프레즌스 세션 동안 제1 콜러의 이미지를 수정하는 예를 예시한다.
[0360] 도 26a, 26b, 27a 및 27b는 텔레프레즌스 세션에서 부가적인 사용자 경험들을 예시한다.
[0361] 도 28은 텔레프레즌스 세션을 수행하는 예의 프로세스 흐름 다이어그램이다.
[0362] 도면들은 본원에서 설명된 예시적인 실시예들을 예시하기 위하여 제공되고 개시내용의 범위를 제한하는 것으로 의도되지 않는다.
[0332] 도 1b는 웨어러블 디스플레이 시스템의 예를 예시한다.
[0333] 도 2는 사용자에 대한 3차원 이미저리를 시뮬레이트하기 위한 종래의 디스플레이 시스템을 예시한다.
[0334] 도 3은 다수의 깊이 평면들을 사용하여 3차원 이미저리를 시뮬레이트하기 위한 접근법의 양상들을 예시한다.
[0335] 도 4a-4c는 초점 반경과 곡률 반경 간의 관계들을 예시한다.
[0336] 도 5는 사용자에게 이미지 정보를 출력하기 위한 도파관 스택의 예를 예시한다.
[0337] 도 6a는 도파관에 의해 출력된 출구 빔들의 예를 도시한다.
[0338] 도 6b는 다초점 용량측정 디스플레이, 이미지 또는 광 필드의 생성에 사용되는, 도파관 장치, 도파관 장치로 또는 도파관 장치로부터 광을 광학적으로 커플링하기 위한 광 커플러 서브시스템 및 제어 서브시스템을 포함하는 디스플레이 시스템을 도시하는 개략적 다이어그램이다.
[0339] 도 7은 MR 환경의 예의 블록 다이어그램이다.
[0340] 도 8은 인지된 객체들에 대해 가상 콘텐츠를 렌더링하는 방법의 예의 프로세스 흐름 다이어그램이다.
[0341] 도 9는 웨어러블 시스템의 다른 예의 블록 다이어그램이다.
[0342] 도 10은 웨어러블 시스템에 대한 사용자 입력을 결정하기 위한 방법의 예의 프로세스 흐름 다이어그램이다.
[0343] 도 11은 가상 사용자 인터페이스와 인터페이싱하기 위한 방법의 예의 프로레스 흐름 다이어그램이다.
[0344] 도 12는 사용자의 리플렉션 뷰를 증강시키기 위하여 증강 현실 콘텐츠를 생성하기 위한 루틴의 흐름도의 예를 예시한다.
[0345] 도 13은 사용자가 AR 디스플레이 시스템과 상호작용하는 예를 예시한다.
[0346] 도 14는 사용자의 리플렉션을 사용하여 사용자의 피처들의 치수들을 결정하기 위한 가상 스케일의 사용의 예를 예시한다.
[0347] 도 15는 다수의 사용자 디바이스들이 서로 상호작용하는 것을 묘사하는 전체 시스템 뷰를 개략적으로 예시한다.
[0348] 도 16은 하나 또는 그 초과의 큐들을 사용하여 미러의 존재를 검출하는 예들을 예시한다.
[0349] 도 17a는 사용자와 연관된 큐들을 사용하여 미러 검출의 예들을 예시한다.
[0350] 도 17b는 사용자의 머리 포즈를 정의하기 위하여 사용될 수 있는 3D 각도 좌표 시스템의 예를 예시한다.
[0351] 도 18은 사용자와 연관된 큐들을 사용한 미러 검출의 다른 예를 예시한다.
[0352] 도 19는 3개의 이동 객체들의 궤적들의 예를 도시한다.
[0353] 도 20 및 도 21은 큐들을 사용한 미러 검출을 위한 예시적인 방법들의 플로차트들을 예시한다.
[0354] 도 22a는 문에 의해 연결된 2개의 방들을 포함하는 3차원(3D) 환경의 예를 예시한다.
[0355] 도 22b는 방내의 객체들을 반사하는 미러를 포함하는 단일 방의 예를 예시한다.
[0356] 도 23은 환경내의 반사면의 존재로 인해 3D 세계 지도를 생성하고 그리고/또는 보정하기 위한 예시적인 방법의 플로차트이다.
[0357] 도 24는 제1 콜러 및 제2 콜러가 텔레프레즌스 세션을 수행하는 예를 예시한다.
[0358] 도 25a는 제1 콜러가 보는 제2 콜러의 이미지의 예이다.
[0359] 도 25b는 텔레프레즌스 세션 동안 제1 콜러의 이미지를 수정하는 예를 예시한다.
[0360] 도 26a, 26b, 27a 및 27b는 텔레프레즌스 세션에서 부가적인 사용자 경험들을 예시한다.
[0361] 도 28은 텔레프레즌스 세션을 수행하는 예의 프로세스 흐름 다이어그램이다.
[0362] 도면들은 본원에서 설명된 예시적인 실시예들을 예시하기 위하여 제공되고 개시내용의 범위를 제한하는 것으로 의도되지 않는다.
[0363]
스마트 미러들은 자신의 유용성 및 광범위한 애플리케이션을 감소시킬 수 있는 다양한 단점들을 가진다. 예컨대, 스마트 미러들은 전형적으로 대형, 정지 디바이스들이고 2-차원 콘텐츠만을 디바이스의 전면에 위치된 사용자에게 제시할 수 있다. 게다가, 스마트 미러들이 제3자(예컨대, 스토어)의 특성일 수 있기 때문에, 디스플레이된 콘텐츠의 깊이 및 정보 타입은, 제3자가 특정 사용자에 관하여 소유할 수 있는 제한된 정보가 주어지면, 제한될 수 있다. 결과적으로, 시각적 경험은 현실적이지 않을 수 있고 콘텐츠는 풍부하거나 고도로 개인화될 수 없고, 이는 스마트 미러의 유용성을 줄일 수 있다.
[0364]
유리하게, 본원에 개시된 다양한 실시예들은 고도의 개인화된 콘텐츠를 제공하기 위한 능력으로, 몰입형의, 현실적 시각적 경험을 제공할 수 있다. 일부 실시예들에서, 디스플레이 시스템은 증강 현실 콘텐츠를 디스플레이하기 위한 웨어러블 디스플레이 디바이스를 포함한다. 디스플레이 디바이스는 광을 사용자에게 지향시키도록 구성된 광 재지향 피처들을 포함하는 디스플레이 영역을 포함한다. 디스플레이 영역은 적어도 부분적으로 투명하고, 이에 의해 디스플레이 영역의 주변 환경의 뷰를 제공한다. 결과적으로, 디스플레이 영역은 사용자가 미러 또는 다른 반사 구조의 리플렉션을 볼 수 있게 한다. 일부 실시예들에서, 디스플레이 시스템은, 사용자의 리플렉션이 디스플레이 영역을 통해 사용자의 뷰 필드 내에 있는 것을 결정하도록 구성된다. 이런 결정을 한 이후, 증강 현실 콘텐츠는, 증강 현실 콘텐츠가 사용자의 리플렉션을 증강시키도록, 디스플레이 영역에 디스플레이된다. 증강 현실 콘텐츠가 또한 가상 콘텐츠로 지칭될 수 있는 것이 인식될 것이다.
[0365]
일부 실시예들에서, 증강 현실 콘텐츠는, 사용자가 증강 현실 콘텐츠를 추가로 생성하는 다양한 기능들 또는 애플리케이션들을 선택할 수 있게 하는 가상 메뉴이다. 일부 다른 실시예들에서, 소정의 타입들의 콘텐츠는, 본원에서 논의된 미리 선택된 기준들(예컨대, 위치, 시간 등)에 의존하여, 사용자 선택 없이 자동으로 생성될 수 있다. 일부 실시예들에서, 증강 현실 콘텐츠는 리플렉션 위에 놓일 수 있고, 이에 의해 리플렉션의 전부 또는 일부가 수정된 것처럼 보일 수 있게 한다. 이것은 다양한 수정들이 이들의 외관에 대해 이루어진 사용자의 현실적 뷰를 제공할 수 있다. 일부 실시예들에서, 증강 현실 콘텐츠는 특정 사용자에 맞추어질 수 있는 다양한 통지들을 포함할 수 있다. 또 다른 실시예들에서, 디스플레이 시스템은 시간이 지남에 따라 사용자와 관련한 이미지들 또는 다른 정보를 캡처하도록 구성될 수 있는 카메라를 포함한다. 이미지들 또는 정보는 건강 및/또는 뷰티 진단들 및 모니터링을 제공하도록 유익하게 분석될 수 있다.
[0366]
일부 실시예들에서, 디스플레이 시스템은, 사용자가 리플렉션 내에 있지 않더라도, 장면(예컨대 객체들, 이를테면 사람들을 포함할 수 있음)의 리플렉션들 위에 놓이는 증강 현실 콘텐츠를 디스플레이할 수 있다. 그런 실시예들에서, 디스플레이 시스템은, 장면이 리플렉션인 것을 결정하도록 구성될 수 있다. 일단 결정이 이루어지면, 디스플레이 시스템은 디스플레이 영역에 증강 현실 콘텐츠를 디스플레이하도록 구성될 수 있다. 일부 실시예들에서, 증강 현실 콘텐츠는 리플렉션의 객체들에 대한 정보를 전달하고 그리고/또는 이들 객체들의 외관을 수정하는 통지들 또는 다른 시각적 콘텐츠를 포함할 수 있다. 본원에서 사용된 바와 같이, "객체"는 주변 환경(예컨대, 풍경들, 사람들 또는 풍경들 및 사람들의 일부분들을 포함함)의 임의의 시각적 피처 및/또는 디스플레이 시스템에 의해 생성된 시각적 피처를 지칭할 수 있다. 객체들에 대한 정보가 디스플레이 시스템에 로컬로 저장될 수 있다는 것이 인식될 것이다. 더 바람직하게, 정보는 다른 사용자들과 공유된 데이터베이스로부터 유도된다. 공유로 인해, 상이한 사용자들은 주변 환경에 관한 상이한 데이터를 공급할 수 있고, 이에 의해 로컬로 저장된 데이터로 이용가능할 수 있는 것보다 그 주변 환경에 관한 더 완전한 데이터의 세트가 제공된다. 일부 다른 실시예들에서, 디스플레이 시스템은 리플렉션에서 보여진 사용자의 다양한 파라미터들을 평가함으로써 건강 분석들을 수행하도록 구성될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 이미지 정보를 수동적으로 수집하도록 구성될 수 있고, 그 이미지 정보로부터 선택된 데이터는 개시된 다양한 건강 분석들을 수행하는데 사용될 수 있다.
[0367]
일부 실시예들에서, 디스플레이 시스템은, 텔레프레즌스 세션 동안 사용자가 상호작용할 수 있는 다른 콜러의 3차원(3D) 이미지를 제시하도록 구성될 수 있다. 웨어러블 시스템은 사용자 상호작용을 위해 가상 현실(VR), 증강 현실(AR), 또는 혼합 현실(MR) 환경을 단독으로 또는 조합하여 제시할 수 있는 웨어러블 디바이스의 일부분일 수 있다.
[0368]
본원에서 개시된 다양한 실시예들은 본원에서 개시된 다양한 장점들을 달성할 수 있는 단일 깊이 평면 디스플레이 시스템들에 적용될 수 있다. 그러나, 사용자들 자체가 미러에 대해 상이한 거리들에 위치할 수 있고 일부 증강 현실 콘텐츠가 3차원 객체들을 대표할 수 있다는 것이 인식될 것이다. 단순히 콘텐츠를 단일 평면상에 제공하는 것은 콘텐츠에 대한 "페이퍼 컷아웃" 외관을 초래할 수 있고, 이때 콘텐츠는 필수적으로 사용자의 리플렉션과 동일한 깊이 평면에, 또는 리플렉션의 일부분들로서 배치되지 않는다. 이것은 콘텐츠의 리얼리즘을 감소시킬 수 있다. 사용자의 눈들이 증강 현실 콘텐츠 및 이의 리플렉션을 뷰잉하기 위해 상이한 원근 조절된 상태들 간에 스위칭할 필요가 있을 수 있지만, 눈/뇌가 콘텐츠 및 리플렉션, 또는 콘텐츠 및 리플렉션의 일부분들을 매칭하고 있는 깊이 평면들 상에 있는 것으로 예상하기 때문에, 사용자가 이 콘텐츠를 뷰잉하는 것은 또한 불편할 수 있다.
[0369]
바람직하게, 증강 현실 콘텐츠를 디스플레이하는 디스플레이 시스템은 본원에서 논의된, 복수의 깊이 평면들에 걸쳐 이미지 콘텐츠를 제공할 수 있는 디스플레이 디바이스를 포함한다. 유리하게, 다수의 깊이 평면들 상에 콘텐츠를 제공할 수 있는 디스플레이들은, 사용자의 콘텐츠 및 리플렉션이 위치되는 깊이 평면들을 더 잘 매칭함으로써 본원에서 주목된 단점들 중 하나 또는 그 초과를 회피할 수 있다. 그런 시스템들은 고도로 현실적이고 몰입형의 콘텐츠를 제공할 수 있고, 이는 사용자에게 더 강렬하고, 결과적으로 사용자가 일부 애플리케이션들에서 더 잘 행동하게 할 가능성이 있을 수 있다.
[0370]
이제 도면들에 대해 참조가 이루어질 것이고, 유사한 참조 번호들은 전체에 걸쳐 유사한 피처들을 지칭한다.
예시적인 웨어러블 디스플레이 시스템들
[0371]
도 1a는 사용자가 보는 소정의 가상 현실 객체들, 및 소정의 물리적 객체들 둘 모두를 포함하는 혼합 현실(MR) 시나리오의 예시를 묘사한다. 도 1a에서, MR 장면(100)은, MR 기술의 사용자가 백그라운드의 사람들, 나무들, 구조물들 및 콘크리트 플랫폼(120)을 특징으로 하는 실세계 공원형 세팅(110)을 보는 것이 묘사된다. 이들 아이템들 외에도, MR 기술의 사용자는 또한, 그가 실제-세계 플랫폼(120) 상에 서 있는 로봇 동상(130), 및 호박벌의 의인화인 것으로 보이는 날고 있는 만화형 아바타 캐릭터(140)(비록 이들 엘리먼트들이 실세계에 존재하지 않더라도)를 "보는" 것을 인식한다.
[0372]
3D 디스플레이가 깊이의 실제 감각, 및 보다 상세하게는 표면 깊이의 시뮬레이팅된 감각을 생성하기 위해, 본원에서 추가로 설명된 바와 같이, 디스플레이의 시각적 필드 내의 각각의 포인트가 이의 가상 깊이에 대응하는 적응적인 응답을 생성하는 것이 바람직하다. 디스플레이 포인트에 대한 적응적인 응답이 그 포인트의 가상 깊이에 대응하지 못하면, 수렴 및 입체시의 양안 깊이 큐들에 의해 결정된 바와 같이, 인간 눈은 원근 조절 충돌을 경험할 수 있고, 이는 불안정한 이미징, 해로운 눈 피로감, 두통들, 및 원근조절 정보의 부재시, 거의 표면 깊이의 완전한 결핍을 초래한다.
[0373]
VR, AR 및 MR 경험들은, 복수의 깊이 평면들에 대응하는 이미지들이 뷰어에게 제공되는 디스플레이들을 가진 디스플레이 시스템들에 의해 제공될 수 있다. 이미지들은 각각의 깊이 평면에 대해 상이할 수 있고(예컨대, 장면 또는 객체의 약간 상이한 프리젠테이션들을 제공함) 그리고 뷰어의 눈들에 의해 별개로 포커싱될 수 있고, 이에 의해 이는 상이한 깊이 평면에 위치된 장면에 대해 상이한 이미지 피처들을 포커싱하게 하도록 요구받은 눈의 원근조절에 기반하거나 그리고/또는 포커싱되지 않은 상이한 깊이 평면들 상의 상이한 이미지 피처들을 관찰하는 것에 기반하여 사용자에게 깊이 큐들을 제공하는 것을 돕는다. 본원의 다른 곳에서 논의된 바와 같이, 그런 깊이 큐들은 깊이의 신뢰성 있는 인식들을 제공한다.
[0374]
도 1b는 웨어러블 디스플레이 시스템(80)의 예를 예시한다. 디스플레이 시스템(80)은 디스플레이(62), 및 그 디스플레이(62)의 기능을 지원하기 위한 다양한 기계 및 전자 모듈들 및 시스템들을 포함한다. 디스플레이(62)는 디스플레이 시스템 사용자 또는 뷰어(60)에 의해 웨어러블하고 사용자(60)의 눈들의 정면에 디스플레이(62)를 포지셔닝하도록 구성된 프레임(64)에 커플링될 수 있다. 웨어러블 디스플레이 시스템(80)은 웨어러블 디바이스, 이를테면, 예컨대 머리-장착된 디바이스(HMD) 또는 증강 현실 디바이스(ARD)의 부분(일부분)일 수 있다. 웨어러블 디스플레이 시스템(이를테면 디스플레이(62))의 부분(일부분)은 사용자의 머리 상에 착용될 수 있다.
[0375]
일부 실시예들에서, 스피커(66)는 프레임(64)에 커플링되고 사용자(60)의 외이도에 인접하게 포지셔닝된다(일부 실시예들에서, 도시되지 않은 다른 스피커는 스테레오/성형가능 사운드 제어를 제공하기 위해 사용자의 다른 외이도에 인접하게 포지셔닝됨). 일부 실시예들에서, 디스플레이 시스템은 또한 사운드를 검출하기 위해 하나 또는 그 초과의 마이크로폰들(67) 또는 다른 디바이스들을 포함할 수 있다. 일부 실시예들에서, 마이크로폰은 사용자가 입력들 또는 커맨드들을 시스템(80)에게 제공할 수 있게 하도록 구성되고(예컨대, 음성 메뉴 커맨드들, 자연어 질문들 등의 선택), 그리고/또는 다른 사람들과(예컨대, 유사한 디스플레이 시스템들의 다른 사용자들과) 오디오 통신을 할 수 있게 한다. 본원에서 추가로 설명된 바와 같이, 일부 실시예들에서, 웨어러블 디스플레이 시스템(80)은 디스플레이(62)를 사용하여 텔레프레즌스 세션에서 다른 사용자의 3D 시각화들을 제시하고, 마이크로폰(들)(67)을 통해 사용자의 오디오 입력을 수신하고, 그리고 스피커(66)를 사용하여 다른 사용자와 연관된 사운드를 플레이할 수 있다.
[0376]
디스플레이 시스템은 프레임(64)에 부착될 수 있거나, 그렇지 않으면 사용자(60)에게 부착될 수 있는 하나 또는 그 초과의 카메라들(65)(하나 또는 그 초과의 이미징 디바이스들)을 포함한다. 카메라(65)는, 사용자(60)가 위치된 주변 환경의 이미지들을 캡처하도록 포지셔닝되고 배향될 수 있다. 카메라(65)는 바람직하게, 사용자가 전방을 향할 때 사용자의 가시선을 추적하기 위해 전방을 향하도록 배향된다. 일부 실시예들에서, 카메라는 고정되고 움직이지 않고, 시스템은, 사용자의 눈들이 카메라와 동일한 방향(예컨대, 직진)으로 지향되는 것을 추정한다. 일부 다른 실시예들에서, 카메라(65)는 이동가능하고, 사용자(60)의 가시선에 매칭하도록 사용자의 눈들의 움직임들을 추적하도록 구성된다. 또 다른 실시예들에서, 카메라(65)는 사용자(60)의 가시선에 있지 않은 주변 환경의 일부분들을 이미징하도록 구성될 수 있다. 소정의 실시예들에서, 웨어러블 디스플레이 시스템(80)은 사용자 주변 환경의 세계를 관찰하는 외향 이미징 시스템(502)(도 5에 도시됨)을 포함할 수 있다. 외향 이미징 시스템(502)은 카메라(65)를 포함할 수 있다.
[0377]
웨어러블 디스플레이 시스템(80)은 또한 사용자의 눈 움직임들을 추적할 수 있는 내향 이미징 시스템(500)(도 4에 도시됨)을 포함할 수 있다. 내향 이미징 시스템은 하나의 눈의 움직임들 또는 양쪽 눈들 움직임들을 추적할 수 있다. 내향 이미징 시스템(500)은 프레임(64)에 부착될 수 있고 프로세싱 모듈들(70 및/또는 72)과 전기 통신할 수 있고, 프로세싱 모듈들(70 및/또는 72)은 예컨대 사용자(60)의 눈들의 동공 직경들 및/또는 배향들 또는 눈 포즈를 결정하기 위해 내향 이미징 시스템에 의해 포착된 이미지 정보를 프로세싱할 수 있다.
[0378]
일부 실시예들에서, 하나 또는 그 초과의 내향 카메라들(예컨대, 카메라(500), 도 5)은 사용자의 눈들을 추적하는데 사용될 수 있고, 외향 카메라(65)는, 카메라(65)의 가시선이 사용자의 눈들의 가시선과 매칭하도록 이동하게 구성된다. 본원에서 논의된 바와 같이, 카메라(65)는 사용자(60) 및/또는 환경에 관한 정보를 감지, 측정 또는 수집하는데 사용될 수 있다. 디스플레이 시스템이 다수의 외향 카메라들을 포함할 수 있고, 외향 카메라들이 환경 내 관심 피처들을 검출하기 위해 복수의 방향들(예컨대, 사용자의 뒤쪽 또는 측면 방향)로 지향될 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 디스플레이 시스템(80)은 또한 사용자(60)로부터 객체들의 거리들을 측정하도록 구성된 거리 센서(69)를 포함할 수 있다. 일부 실시예들에서, 거리 센서(69)는 센서(69)로부터 객체들의 거리를 결정하기 위해 전자기 방사 및/또는 음향 신호들을 방사 및 수신할 수 있다. 예컨대, 일부 실시예들에서, 거리 센서(69)는 광 방사기 및 광 검출기를 포함하는 비행 시간 카메라일 수 있다. 비행 시간 카메라는 광 신호가 카메라로부터 객체로 그리고 다시 카메라 상의 또는 카메라와 연관된 광수용기로 이동하는데 요구되는 시간에 기반하여 객체에 대한 거리를 검출한다. 일부 다른 실시예들에서, 거리 센서(69)는 시차 효과를 사용하여 거리를 결정하도록 구성될 수 있는 (예컨대, 프레임(64)의 상이한 측들 상의) 2개의 이격된 카메라들을 포함할 수 있다. 일부 실시예들에서, 거리 센서는 실세계의 객체들을 맵핑하고 그리고/또는 객체들의 형상 또는 형태 특징들을 검출하도록 구성될 수 있다.
[0379]
사용자의 환경 및 사용자를 이미징하는 것의 예로서, 웨어러블 디스플레이 시스템(80)은 사용자의 포즈의 이미지들을 포착하기 위해 외향 이미징 시스템(502) 및/또는 내향 이미징 시스템(500)을 사용할 수 있다. 이미지들은 정지 이미지들, 비디오의 프레임들 또는 비디오, 조합물들 등일 수 있다. 포즈는 사용자의 모션을 결정하거나 사용자의 이미지를 합성하는데 사용될 수 있다. 외향 이미징 시스템(502) 및/또는 내향 이미징 시스템(500)에 의해 포착된 이미지들은 제2 사용자 환경에서 사용자의 존재의 유형적인 감지를 생성하기 위해 텔레프레즌스 세션에서 제2 사용자에게 통신될 수 있다.
[0380]
도 1b를 계속 참조하면, 디스플레이(62)는 다양한 구성들로 장착될 수 있는, 이를테면 프레임(64)에 고정되게 부착되거나, 사용자에 의해 착용된 헬멧 또는 모자에 고정되게 부착되거나, 헤드폰들에 임베딩되거나, 그렇지 않으면 사용자(60)에게 제거가능하게 부착되는(예컨대, 백팩(backpack)-스타일 구성으로, 벨트-커플링 스타일 구성으로) 로컬 데이터 프로세싱 모듈(70)에 이를테면 유선 리드 또는 무선 연결성에 의해, 동작가능하게 커플링(68)된다. 로컬 프로세싱 및 데이터 모듈(70)은 하나 또는 그 초과의 하드웨어 프로세서들뿐 아니라, 메모리, 이를테면 비-휘발성 메모리(예컨대, 플래시 메모리 또는 하드 디스크 드라이브들)를 포함할 수 있고, 이 둘 모두는 데이터의 프로세싱, 캐싱 및 저장을 돕는데 활용될 수 있다. 데이터는 a) 센서들(예컨대, 프레임(64)에 동작가능하게 커플링되거나 그렇지 않으면 사용자(60)에게 부착될 수 있음), 이를테면 이미지 캡처 디바이스들(이를테면, 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스들, GPS 유닛들, 라디오 디바이스들, 및/또는 자이로들로부터 캡처되고; 그리고/또는 b) 원격 프로세싱 모듈(72) 및/또는 원격 데이터 저장소(74)를 사용하여 포착되고 그리고/또는 프로세싱되는 데이터를 포함하고, 데이터는 가능한 경우 그런 프로세싱 또는 리트리벌(retrieval) 이후 디스플레이(62)에 전달된다. 로컬 프로세싱 및 데이터 모듈(70)은 통신 링크들(76, 78)에 의해, 이를테면 유선 또는 무선 통신 링크들을 통해, 원격 프로세싱 모듈(72) 및 원격 데이터 저장소(74)에 동작가능하게 커플링될 수 있어서, 이들 원격 모듈들(72, 74)은 서로 동작가능하게 커플링되고 로컬 프로세싱 및 데이터 모듈(70)에 대한 리소스들로서 이용가능하다. 로컬 프로세싱 및 데이터 모듈(70), 원격 프로세싱 모듈(72), 및 원격 데이터 저장소(74)는 각각 통신 링크들(76, 78)을 통한 통신을 제공하기 위해 네트워크 인터페이스를 포함할 수 있다. 통신 링크들(76, 78)은 도 12를 참조하여 설명된 네트워크(1290)를 통할 수 있다. 일부 실시예들에서, 위치 프로세싱 및 데이터 모듈(70)은 이미지 캡처 디바이스들, 마이크로폰들, 관성 측정 유닛들, 가속도계들, 컴파스들, GPS 유닛들, 라디오 디바이스들 및/또는 자이로들 중 하나 또는 그 초과를 포함할 수 있다. 일부 다른 실시예들에서, 이들 센서들 중 하나 또는 그 초과는 프레임(64)에 부착될 수 있거나, 유선 또는 무선 통신 경로들에 의해 위치 프로세싱 및 데이터 모듈(70)과 통신하는 독립형 구조들일 수 있다.
[0381]
도 1b를 계속 참조하면, 일부 실시예들에서, 원격 프로세싱 모듈(72)은 데이터 및/또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 또는 그 초과의 프로세서들을 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소(74)는 인터넷 또는 "클라우드" 자원 구성에서의 다른 네트워킹 구성을 통해 이용가능할 수 있는 디지털 데이터 저장 설비를 포함할 수 있다. 일부 실시예들에서, 원격 데이터 저장소(74)는 정보, 예컨대 증강 현실 콘텐츠를 생성하기 위한 정보를 로컬 프로세싱 및 데이터 모듈(70) 및/또는 원격 프로세싱 모듈(72)에 제공하는 하나 또는 그 초과의 원격 서버들을 포함할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 계산들은 로컬 프로세싱 및 데이터 모듈에서 수행되고, 이는 원격 모듈로부터 완전히 자율적인 사용을 할 수 있게 한다.
[0382]
일부 실시예들에서, 원격 데이터 저장소(74)는 사용자의 환경의 세계 지도, 사용자의 아바타 또는 사용자의 얼굴 모델을 저장하도록 구성될 수 있다. 로컬 프로세싱 모듈(70) 및/또는 원격 프로세싱 모듈(72)은 사용자 환경의 미러를 식별할 수 있고 사용자의 포즈(이를테면, 예컨대 머리 포즈 또는 신체 제스처)를 검출할 수 있다. 프로세싱 모듈들(70 및 72)은 원격 데이터 저장소에 저장된 사용자의 정보 및 검출된 포즈에 기반하여 사용자의 아바타의 애니메이션을 생성하거나 사용자의 이미지를 합성하기 위해 원격 데이터 저장소(74)와 통신할 수 있다. 프로세싱 모듈들(70 및 72)은 디스플레이(62)와 추가로 통신하고 사용자의 환경에 다른 사용자 또는 동일한 사용자의 시각화들(이를테면 사용자의 환경에 미러를 통해 사용자 이미지를 오버레이함)을 제시할 수 있다.
[0383]
"3차원" 또는 "3D"인 것으로 이미지의 지각은 뷰어의 각각의 눈에 이미지의 약간 상이한 프리젠테이션들을 제공함으로써 실현될 수 있다. 도 2는 사용자에 대한 3차원 이미저리를 시뮬레이팅하기 위한 종래의 디스플레이 시스템을 예시한다. 2개의 별개의 이미지들(5, 7) - 각각의 눈(4, 6)에 대해 하나씩임 -은 사용자에게 출력된다. 이미지들(5, 7)은 뷰어의 가시선에 평행한 광학 또는 z-축을 따라 거리(10)만큼 눈들(4, 6)로부터 이격된다. 이미지들(5, 7)은 평평하고 눈들(4, 6)은 단일 원근 조절된 상태를 추정함으로써 이미지들을 포커싱할 수 있다. 그런 시스템들은 결합된 이미지에 대한 깊이의 지각을 제공하기 위해 이미지들(5, 7)을 결합하는 인간 시각적 시스템에 의존한다.
[0384]
그러나, 인간 시각적 시스템이 더 복잡하고 깊이의 현실적 지각을 제공하는 것이 더 난제인 것이 인식될 것이다. 예컨대, 종래의 "3D" 디스플레이 시스템들의 많은 뷰어들은 그런 시스템들이 불편하다는 것을 발견하거나 깊이 감을 전혀 인식할 수 없다. 이론에 의해 제한되지 않고, 객체의 뷰어들이 이접 운동 및 원근 조절의 조합으로 인해 객체가 "3차원"인 것으로 인식할 수 있다는 것이 고려된다. 서로에 관해 2개의 눈들의 이접 움직임들(즉, 객체를 응시하기 위해 눈들의 시선들을 수렴하도록 서로를 향해 또는 서로로부터 멀어지게 동공들을 배향시키기 위한 안구들의 롤링 움직임들)은 눈들의 렌즈들의 포커싱(또는 "원근 조절")과 밀접하게 연관된다. 노멀 조건들하에서, 상이한 거리에 있는 하나의 객체로부터 다른 객체로 주의를 옮길 때 눈들의 이접 운동의 변화는, "원근 조절-이접 운동 반사"로서 알려진 관계하에서 눈들의 렌즈들의 포커스, 또는 눈들의 원근 조절의 매칭 변화를 자동적으로 유발할 것이다. 마찬가지로, 원근 조절의 변경은 노멀 조건들하에서 수렴의 매칭 변경을 트리거할 것이다. 본원에서 주목된 바와 같이, 많은 입체적인 또는 "3D" 디스플레이 시스템들은, 3차원 인식이 인간 시각적 시스템에 의해 인식될 수 있도록 약간 상이한 프리젠테이션들(및, 따라서, 약간 상이한 이미지들)을 사용하는 장면을 각각의 눈에 디스플레이한다. 그러나, 그런 시스템들은 많은 뷰어들에게 불편한데, 그 이유는 이들이 단순히 장면의 상이한 프리젠테이션을 제공하지만, 눈들이 단일 원근 조절된 상태에서 모든 이미지 정보를 보고 있고, 그리고 "원근 조절-이접 운동 반사"에 대해 작용하기 때문이다. 원근 조절과 수렴 사이에 더 나은 매칭을 제공하는 디스플레이 시스템들은 3차원 이미저리의 더 현실적이고 편안한 시뮬레이션들을 형성할 수 있다.
[0385]
도 3은 다수의 깊이 평면들을 사용하여 3차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다. z-축 상에서 눈들(4, 6)로부터 다양한 거리들의 객체들은, 이들 객체들이 인 포커스이도록 눈들(4, 6)에 의해 원근 조절된다. 눈들(4 및 6)은 z-축을 따라 상이한 거리들에 있는 객체들을 포커스하게 하도록 특정 원근 조절된 상태들을 취한다. 결과적으로, 특정 원근 조절된 상태는 연관된 초점 거리를 가진 깊이 평면들(14) 중 특정 깊이 평면과 연관되는 것으로 말해질 수 있어서, 특정 깊이 평면의 객체들 또는 객체들의 일부분은, 눈이 그 깊이 평면에 대해 원근 조절된 상태에 있을 때 인 포커스이다. 일부 실시예들에서, 3차원 이미저리는 눈들(4, 6)의 각각에 이미지의 상이한 프리젠테이션들을 제공하고, 그리고 또한 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 시뮬레이팅될 수 있다. 예시의 명확성을 위해 별개인 것으로 도시되지만, 눈들(4, 6)의 시야들이 예컨대 z-축을 따른 거리가 증가함에 따라 오버랩할 수 있다는 것이 인식될 것이다. 게다가, 예시를 용이하게 하기 위해 편평한 것으로 도시되지만, 깊이 평면의 윤곽부들이 물리 공간에서 곡선형일 수 있어서, 깊이 평면 내의 모든 피처들이 특정 원근 조절 상태에서 눈과 인 포커스인 것이 인식될 것이다.
[0386]
객체와 눈(4 또는 6) 간의 거리는 또한 그 눈이 보는 그 객체로부터 광의 발산 양을 변경할 수 있다. 도 4a-도 4c는 광선들의 거리와 발산 간의 관계를 예시한다. 객체와 눈(4) 간의 거리는 감소하는 거리 순서로 R1, R2 및 R3에 의해 표현된다. 도 4a-도 4c에 도시된 바와 같이, 광선들은, 객체에 대한 거리가 감소함에 따라 더 발산하게 된다. 거리가 증가함에 따라, 광선들은 더 시준되게 된다. 다른 말로 하면, 포인트(객체 또는 객체의 일부분)에 의해 생성된 광 필드가 구면 파면 곡률을 가지며, 곡률이, 사용자의 눈으로부터 포인트가 얼마나 멀리 떨어져 있는지의 함수라는 것이 말해질 수 있다. 곡률은 객체와 눈(4) 간의 거리가 감소함에 따라 증가한다. 결과적으로, 상이한 깊이 평면들에서, 광선들의 발산 정도는 또한 상이하고, 발산 정도는 깊이 평면들과 뷰어의 눈(4) 간의 거리가 감소함에 따라 증가한다. 단지 단일 눈(4)만이 본원의 도 4a-도 4c 및 다른 도면들에서 예시의 명확성을 위해 예시되지만, 눈(4)에 관한 논의들이 뷰어의 양 눈들(4 및 6)에 적용될 수 있다는 것이 인식될 것이다.
[0387]
이론에 의해 제한되지 않고, 인간 눈이 전형적으로 깊이 지각을 제공하기 위해 유한한 수의 깊이 평면들을 해석할 수 있다고 여겨진다. 결과적으로, 인지된 깊이의 고도로 믿어지는 시뮬레이션은 눈에, 이들 제한된 수의 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 실현될 수 있다. 상이한 프리젠테이션들은 뷰어의 눈들에 의해 별개로 포커싱될 수 있고, 이에 의해 이는 상이한 깊이 평면에 위치된 장면에 대해 상이한 이미지 피처들을 포커싱하게 하도록 요구받은 눈의 원근 조절에 기반하거나 그리고/또는 포커싱되지 않은 상이한 깊이 평면들 상의 상이한 이미지 피처들을 관찰하는 것에 기반하여 사용자에게 깊이 큐들을 제공하는 것을 돕는다.
[0388]
도 5는 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다. 디스플레이 시스템(1000)은 복수의 도파관들(182, 184, 186, 188, 190)을 사용하여 3차원 지각을 눈/뇌에 제공하는데 활용될 수 있는 도파관들의 스택, 또는 스택된 도파관 어셈블리(178)를 포함한다. 일부 실시예들에서, 디스플레이 시스템(1000)은 도 1b의 시스템(80)이고, 도 5는 그 시스템(80)의 일부분들을 더 상세히 개략적으로 도시한다. 예컨대, 도파관 어셈블리(178)는 도 1b의 디스플레이(62)에 통합될 수 있다.
[0389]
도 5를 계속 참조하면, 도파관 어셈블리(178)는 또한 도파관들 간에 복수의 피처들(198, 196, 194, 192)을 포함할 수 있다. 일부 실시예들에서, 피처들(198, 196, 194, 192)은 렌즈일 수 있다. 도파관들(182, 184, 186, 188, 190) 및/또는 복수의 렌즈들(198, 196, 194, 192)은 다양한 레벨들의 파면 곡률 또는 광선 발산으로 눈에 이미지 정보를 전송하도록 구성될 수 있다. 각각의 도파관 레벨은 특정 깊이 평면과 연관될 수 있고 그 깊이 평면에 대응하는 이미지 정보를 출력하도록 구성될 수 있다. 이미지 주입 디바이스들(200, 202, 204, 206, 208)은 도파관들에 대한 광 소스로서 기능할 수 있고 이미지 정보를 도파관들(182, 184, 186, 188, 190)에 주입하는데 활용될 수 있고, 도파관들(182, 184, 186, 188, 190) 각각은 본원에서 설명된 바와 같이, 눈(4)을 향해 출력하기 위해, 각각 개개의 도파관을 가로질러 인입 광을 분배하도록 구성될 수 있다. 광은 이미지 주입 디바이스들(200, 202, 204, 206, 208)의 출력 표면(300, 302, 304, 306, 308)을 떠나고 도파관들(182, 184, 186, 188, 190)의 대응하는 입력 에지(382, 384, 386, 388, 390)에 주입된다. 일부 실시예들에서, 광의 단일 빔(예컨대, 시준된 빔)은 특정 도파관과 연관된 깊이 평면에 대응하는 특정 각도들(및 발산 양들)로 눈(4) 쪽으로 지향되는 복제된 시준된 빔들의 전체 필드를 출력하도록 각각의 도파관에 주입될 수 있다.
[0390]
일부 실시예들에서, 이미지 주입 디바이스들(200, 202, 204, 206, 208)은 각각 대응하는 도파관(182, 184, 186, 188, 190)에 주입을 위한 이미지 정보를 각각 생성하는 이산 광 변조 디바이스들(예컨대, LCD 디스플레이 및/또는 DLP 프로젝터)이다. 일부 다른 실시예들에서, 이미지 주입 디바이스들(200, 202, 204, 206, 208)은 예컨대 하나 또는 그 초과의 광학 도관들(이를테면 광섬유 케이블들)을 통해 이미지 주입 디바이스들(200, 202, 204, 206, 208)의 각각에 이미지 정보를 파이핑할 수 있는 단일 멀티플렉싱된 광 변조 디바이스(예컨대, LCD 디스플레이 및/또는 DLP 프로젝터)의 출력 단부들이다.
[0391]
일부 실시예들에서, 이미지 주입 디바이스들(200, 202, 204, 206, 208)은 스캐닝 섬유 디스플레이 시스템의 출력 단부들일 수 있고, 스캐닝 섬유 디스플레이 시스템에서, 이미지 주입 디바이스들(200, 202, 204, 206, 208)은 주입 이미지 정보를 도파관들(182, 184, 186, 188, 190)에 주입하기 위해 이들 도파관들의 대응하는 입력 에지(382, 384, 386, 388, 390)의 표면에 걸쳐 이동하거나 스캔할 수 있다. 그런 스캐닝 섬유 시스템의 예는 본원에서 인용에 의해 통합되는, 발명의 명칭이 VIRTUAL AND AUGMENTED REALITY SYSTEMS AND METHODS인, 2014년 11월 27일 출원된 미국 특허 출원 번호 제 14/555,585호에 개시된다.
[0392]
제어기(210)는 스택된 도파관 어셈블리(178) 및 이미지 주입 디바이스들(200, 202, 204, 206, 208)의 동작을 제어한다. 일부 실시예들에서, 제어기(210)는 로컬 데이터 프로세싱 모듈(70)의 부분(일부분)이다. 제어기(210)는 예컨대 본원에서 개시된 다양한 방식들 중 임의의 방식에 따라 도파관들(182, 184, 186, 188, 190)에 이미지 정보의 타이밍 및 프로비젼을 조절하는 프로그래밍(예컨대, 비-일시적 매체의 명령들)을 포함한다. 일부 실시예들에서, 제어기는 단일 일체형 디바이스, 또는 유선 또는 무선 통신 채널들에 의해 연결되는 분산 시스템일 수 있다. 제어기(210)는 일부 실시예들에서 프로세싱 모듈들(70 또는 72)의 부분(일부분)(도 1b)일 수 있다. 일부 실시예들에서, 디스플레이 시스템(80)은 또한 뷰어의 눈(4)을 향하는 내향 카메라(500)를 포함할 수 있다. 그런 카메라는 눈(4)의 가시선의 방향을 포함하여, 눈 움직임을 검출하고, 그리고/또는 사용자(60)가 디스플레이 시스템 커맨드들로서 사용될 수 있는 눈 또는 얼굴 제스처들을 캡처함으로써 디스플레이 시스템(80)과 상호작용할 수 있게 하는데 사용될 수 있다. 상호작용들이 본원에서 개시된 바와 같이 디스플레이 시스템(80)에 의한 다양한 액션들을 트리거링하는 것을 포함할 수 있다는 것이 인식될 것이다. 예컨대, 눈(4)의 가시선이 사용자(60)의 리플렉션을 향해 지향되는 것을 검출하는 것은 본원에서 개시된 바와 같이 가상 메뉴의 디스플레이를 트리거할 수 있다.
[0393]
디스플레이 시스템(1000)은 세계(144)의 부분(일부분)을 이미징하는 외향 이미징 시스템(502)(예컨대, 디지털 카메라)을 포함할 수 있다. 이런 세계(144)의 부분(일부분)은 FOV(field of view)로 지칭될 수 있고 이미징 시스템(502)은 FOV 카메라로 지칭될 수 있고, 카메라(65)(도 1a)에 대응할 수 있다. 뷰어가 뷰잉하거나 이미징하는데 이용가능한 전체 구역은 FOR(field of regard)로 지칭될 수 있다. FOR은 디스플레이 시스템(1000)을 둘러싸는 입체 각도의 4π 스테라디안(steradians)을 포함할 수 있다. 디스플레이 시스템(1000)의 일부 실시예들에서, FOR은 실질적으로 디스플레이 시스템(1000)의 사용자 주변의 입체 각도 전부를 실질적으로 포함할 수 있는데, 그 이유는 사용자가 사용자 주변의 객체들을 보기 위해 이들의 머리 및 눈들을 (사용자의 전방, 후방, 위, 아래 또는 측면들로) 움직일 수 있기 때문이다. 외향 이미징 시스템(502)으로부터 획득된 이미지들은 사용자에 의해 이루어진 제스처들(예컨대, 손 제스처들 또는 손가락 제스처들)을 추적하고, 사용자 정면의 세계(144)의 객체들을 검출하는 등에 사용될 수 있다.
[0394]
웨어러블 시스템(400)은 또한 사용자의 움직임들, 이를테면 눈 움직임들 및 얼굴 움직임들을 관찰하는 내향 이미징 시스템(500)(또한 내향 카메라(500)로 지칭됨)을 포함할 수 있다. 내향 이미징 시스템(500)은 눈(4)의 동공의 사이즈 및/또는 배향을 결정하기 위해 눈(4)의 이미지들을 캡처하는데 사용될 수 있다. 내향 이미징 시스템(500)은 사용자가 보고 있는 방향(예컨대, 눈 포즈)을 결정하는데 사용하기 위한 또는 (예컨대, 홍채 식별을 통해) 사용자의 바이오메트릭 식별을 위한 이미지들을 획득하는데 사용될 수 있다. 일부 실시예들에서, 적어도 하나의 카메라는 각각의 눈에 대해, 각각의 눈의 동공 사이즈 및/또는 눈 포즈를 독립적으로 별개로 결정하는데 활용될 수 있고, 이에 의해 이미지 정보의 표현이 그 눈에 동적으로 맞추어질 수 있게 한다. 일부 다른 실시예들에서, (예컨대 눈들의 쌍당 단지 단일 카메라를 사용하여) 단지 단일 눈(4)의 동공 직경 및/또는 배향이 결정되고 사용자의 양쪽 눈들에 대해 유사한 것으로 추정된다. 내향 이미징 시스템(500)에 의해 획득된 이미지들은 사용자의 눈 포즈 및/또는 무드를 결정하기 위해 분석될 수 있고, 사용자의 눈 포즈 및/또는 무드는, 오디오 또는 시각적 콘텐츠가 사용자에게 제시되어야 하는지를 판단하기 위해 디스플레이 시스템(1000)에 의해 사용될 수 있다. 디스플레이 시스템(1000)은 센서들, 이를테면 IMU들, 가속도계들, 자이로스코프들 등을 사용하여 머리 포즈(예컨대, 머리 포지션 또는 머리 배향)를 또한 결정할 수 있다.
[0395]
일부 실시예들에서, 내향 카메라(500)는 또한 적응적인 응답을 변경하도록 뷰어에게 요구하지 않고, 뷰어에게 콘텐츠를 디스플레이하기 위해, 뷰어 눈들의 적응적인 응답, 또는 원근 조절 상태를 검출하도록 구성될 수 있다. 예컨대, 콘텐츠는, 그 눈들이 포커싱되는 깊이에 관계 없이 뷰어가 명확하게 보는데 유리할 수 있는 경고들, 메뉴 아이템들, 또는 다른 콘텐츠를 포함할 수 있다. 일부 실시예들에서, 디스플레이 시스템(80)은, 어느 뷰어의 눈들이 포커싱되는지를 결정하기 위해 뷰어의 눈들의 렌즈의 형상 변화를 검출하도록 구성될 수 있고 차례로 디스플레이 시스템(80)은 대응하고 적합한 깊이 큐들(예컨대, 특정 깊이 평면들에 대해 적합한 해상도, 세부사항, 컬러 포화도, 콘트라스트 등)을 가진 적합한 깊이 평면상에 디스플레이된 이미지들을 렌더링할 수 있다.
[0396]
도 5를 계속 참조하면, 도파관들(182, 184, 186, 188, 190)은 TIR(total internal reflection)에 의해 각각 개개의 도파관 내에서 광을 전파하도록 구성될 수 있다. 도파관들(182, 184, 186, 188, 190)은 각각 평면일 수 있거나 다른 형상(예컨대, 곡선형)을 가질 수 있고, 주요 최상부 및 최하부 표면들 및 에지들은 이들 주요 최상부 및 최하부 표면들 간에 연장된다. 예시된 구성에서, 도파관들(182, 184, 186, 188, 190)은 이미지 정보를 눈(4)에 출력하기 위해 각각 개개의 도파관 내에서 전파되는 광을 도파관 밖으로 재지향함으로써 도파관으로부터 광을 추출하도록 구성된 광 추출 광학 엘리먼트들(282, 284, 286, 288, 290)을 각각 포함할 수 있다. 추출된 광은 또한 아웃커플링된 광으로 지칭될 수 있고, 광 추출 광학 엘리먼트들은 또한 아웃커플링 광학 엘리먼트들로 지칭될 수 있다. 추출된 광빔은, 도파관 내에서 전파되는 광이 광 재지향 엘리먼트를 때리는 위치들에서 도파관에 의해 출력된다. 광 추출 광학 엘리먼트들(282, 284, 286, 288, 290)은 예컨대, 반사 및/또는 회절 광학 피처들일 수 있다. 설명의 용이함 및 도면 명확성을 위해 도파관들(182, 184, 186, 188, 190)의 최하부 주요 표면들에 배치된 것으로 예시되지만, 일부 실시예들에서, 광 추출 광학 엘리먼트들(282, 284, 286, 288, 290)은 최상부 및/또는 최하부 주요 표면들에 배치될 수 있고, 그리고/또는 도파관들(182, 184, 186, 188, 190)의 볼륨에 직접 배치될 수 있다. 일부 실시예들에서, 광 추출 광학 엘리먼트들(282, 284, 286, 288, 290)은 도파관들(182, 184, 186, 188, 190)을 형성하기 위해 투명 기판에 부착된 재료 계층으로 형성될 수 있다. 일부 다른 실시예들에서, 도파관들(182, 184, 186, 188, 190)은 재료의 모놀리식 피스일 수 있고 광 추출 광학 엘리먼트들(282, 284, 286, 288, 290)은 재료의 그 피스의 표면 및/또는 내부에 형성될 수 있다.
[0397]
도 5를 계속 참조하면, 본원에서 논의된 바와 같이, 각각의 도파관(182, 184, 186, 188, 190)은 특정 깊이 평면에 대응하는 이미지를 형성하기 위해 광을 출력하도록 구성된다. 예컨대, 눈에 가장 가까운 도파관(182)은 그런 도파관(182)에 주입된 시준된 광을 눈(4)에 전달하도록 구성될 수 있다. 시준된 광은 광학 무한대 초점면을 대표할 수 있다. 위쪽의 다음 도파관(184)은 눈(4)에 도달할 수 있기 전에 제1 렌즈(192)(예컨대, 네거티브 렌즈)를 통과하는 시준된 광을 전송하도록 구성될 수 있고; 그런 제1 렌즈(192)는 약간 볼록 파면 곡률을 생성하도록 구성될 수 있어서, 는/뇌는 그 위쪽의 다음 도파관(184)으로부터 오는 광을 광학 무한대로부터 눈(4)으로 내부로 향하여 더 가까운 제1 초점면으로부터 오는 것으로 해석한다. 유사하게, 위쪽의 제3 도파관(186)은 눈(4)에 도달하기 전에 제1(192) 및 제2(194) 렌즈들 둘 모두를 통해 자신의 출력 광을 통과시키고; 제1(192) 및 제2(194) 렌즈들의 결합된 광학 전력은 다른 증분 양의 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌는 제3 도파관(186)으로부터 오는 광을 위쪽의 다음 도파관(184)으로부터의 광인 광학 무한대로부터 사람으로 내부로 향하여 훨씬 더 가까운 제2 초점면으로부터 오는 것으로 해석한다.
[0398]
다른 도파관 층들(188, 190) 및 렌즈들(196, 198)은 유사하게 구성되며, 스택 내의 가장 높은 도파관(190)은 사람에게 가장 가까운 초점면을 대표하는 총 초점 전력에 대해 자신과 눈 간의 모든 렌즈들을 통해 자신의 출력을 전송한다. 스택된 도파관 어셈블리(178)의 다른 측 상에서 세계(144)로부터 오는 광을 뷰잉/해석할 때 렌즈들(198, 196, 194, 192)의 스택을 보상하기 위해, 보상 렌즈 계층(180)은 아래의 렌즈 스택(198, 196, 194, 192)의 총 전력을 보상하기 위해 스택의 최상부에 배치될 수 있다. 그런 구성은 이용가능한 도파관/렌즈 쌍들이 있을 때만큼 많은 인식된 초점면들을 제공한다. 도파관들의 광 추출 광학 엘리먼트들 및 렌즈들의 포커싱 양상들 둘 모두는 정적일 수 있다(즉, 동적이거나 전자-활성이지 않음). 일부 대안적인 실시예들에서, 어느 하나 또는 둘 모두는 전자-활성 피처들을 사용하여 동적일 수 있다.
[0399]
일부 실시예들에서, 도파관들(182, 184, 186, 188, 190) 중 2 또는 그 초과는 동일한 연관된 깊이 평면을 가질 수 있다. 예컨대, 다수의 도파관들(182, 184, 186, 188, 190)은 이미지들 세트를 동일한 깊이 평면에 출력하도록 구성될 수 있거나, 도파관들(182, 184, 186, 188, 190)의 다수의 서브세트들은 각각의 깊이 평면에 대해 하나의 세트씩, 이미지 세트를 동일한 복수의 깊이 평면들에 출력하도록 구성될 수 있다. 이것은 이들 깊이 평면들에 확장된 시야를 제공하기 위해 타일화된 이미지를 형성하기 위한 장점들을 제공할 수 있다.
[0400]
도 5를 계속 참조하면, 광 추출 광학 엘리먼트들(282, 284, 286, 288, 290)은 광을 개개의 도파관들로부터 밖으로 재지향하고 도파관과 연관된 특정 깊이 평면에 대해 적합한 발산 또는 시준 양으로 이 광을 출력 하도록 구성될 수 있다. 결과로서, 상이한 연관된 깊이 평면들을 가진 도파관들은 연관된 깊이 평면에 따라 상이한 발산 양으로 광을 출력하는 상이한 구성들의 광 추출 광학 엘리먼트들(282, 284, 286, 288, 290)을 가질 수 있다. 일부 실시예들에서, 본원에서 논의된 바와 같이, 광 추출 광학 엘리먼트들(282, 284, 286, 288, 290)은 특정 각도들로 광을 출력하도록 구성될 수 있는 용량 측정 또는 표면 피처들일 수 있다. 예컨대, 광 추출 광학 엘리먼트들(282, 284, 286, 288, 290)은 볼륨 홀로그램들, 표면 홀로그램들, 및/또는 회절 격자들일 수 있다. 광 추출 광학 엘리먼트들, 이를테면 회절 격자들은 그 전체가 본원에서 인용에 의해 통합되는, 2015년 3월 7일에 출원된 미국 특허 출원 번호 제 14/641,376호에 설명된다. 일부 실시예들에서, 피처들(198, 196, 194, 192)이 렌즈들이 아닐 수 있고; 오히려, 이들은 단순히 스페이서들(예컨대, 클래딩 층들 및/또는 공기 갭들을 형성하기 위한 구조들)일 수 있다.
[0401]
일부 실시예들에서, 광 추출 광학 엘리먼트들(282, 284, 286, 288, 290)은 회절 패턴을 형성하는 회절성 피처들, 또는 "회절성 광학 엘리먼트"(본원에서 또한 "DOE"라고 지칭됨)이다. 바람직하게는, DOE들은 빔의 광의 단지 일부분만이 DOE의 각각의 교차 지점에서 눈(4)으로부터 멀리 편향되는 반면에, 나머지는 내부 전반사를 통하여 도파관을 통해 계속 이동하도록 충분히 낮은 회절 효율을 가진다. 따라서, 이미지 정보를 반송하는 광은 다수의 위치들에서 도파관에서 나가는 다수의 관련된 출구 빔들로 분할되고, 그 결과는 도파관 내에서 주위로 바운싱하는 이러한 특정 시준된 빔에 대해 눈(4)을 향하여 상당히 균일한 패턴의 출구 방사이다.
[0402]
일부 실시예들에서, 하나 또는 그 초과의 DOE들은 그들이 활발히 회절시키는 "온" 상태들과 그들이 크게 회절시키지 않는 "오프" 상태들 사이에서 스위칭 가능할 수 있다. 예컨대, 스위치 가능 DOE가, 미세액적들이 호스트 매체에 회절 패턴을 포함하고, 미세액적들의 굴절률이 호스트 재료의 굴절률과 실질적으로 매칭하도록 스위칭될 수 있거나(이 경우 패턴은 입사 광을 눈에 띄게 회절시키지 않음) 또는 미세액적이 호스트 매체의 굴절률과 매칭하지 않는 굴절률로 스위칭될 수 있는(이 경우 패턴은 입사광을 활발히 회절시킴) 폴리머 분산된 액정의 층을 포함할 수 있다.
[0403]
디스플레이 시스템(1000)은 사용자 입력 디바이스(504)를 포함할 수 있으며, 이 입력 디바이스에 의해, 사용자는 제어기(210)에 커맨드들을 입력하여 디스플레이 시스템(1000)과 상호 작용할 수 있다. 예컨대, 사용자 입력 디바이스(504)는 트랙패드, 터치스크린, 조이스틱, 다중 DOF(degree-of-freedom) 제어기, 용량성 감지 디바이스, 게임 제어기, 키보드, 마우스, 지향성 패드(D-패드), 원드(wand), 햅틱 디바이스, 토템(예컨대, 가상 사용자 입력 디바이스로서 기능함) 등을 포함할 수 있다. 일부 경우들에서, 사용자는 디스플레이 시스템(1000)에 입력을 제공하기 위해(예컨대, 디스플레이 시스템(1000)에 의해 제공되는 사용자 인터페이스에 사용자 입력을 제공하기 위해) 터치-감지형 입력 디바이스를 누르거나 또는 스와이프하기 위해 손가락(예컨대, 엄지)을 사용할 수 있다. 사용자 입력 디바이스(504)는 디스플레이 시스템(1000)의 사용 동안 사용자의 손에 의해 유지될 수 있다. 사용자 입력 디바이스(504)는 디스플레이 시스템(1000)과 유선 또는 무선 통신할 수 있다.
[0404]
도 6a는 도파관에 의해 출력된 출구 빔들의 예를 도시한다. 하나의 도파관이 예시되지만, 도파관 어셈블리(178)가 다수의 도파관들을 포함하는 경우에 도파관 어셈블리(178) 내의 다른 도파관들이 유사하게 기능할 수 있다는 것이 인지될 것이다. 광(400)은 도파관(182)의 입력 에지(382)에서 도파관(182)에 주입되고, TIR에 의해 도파관(182) 내에서 전파한다. 광(400)이 DOE(282)에 충돌하는 포인트들에서, 광의 일부분이 출구 빔들(402)로서 도파관에서 나간다. 출구 빔들(402)은 실질적으로 병렬로서 예시되지만, 본원에서 논의된 바와 같이, 이들은 또한, 도파관(182)과 연관된 깊이 평면에 따라, (예컨대, 발산 출구 빔들을 형성하는) 각도로 눈(4)으로 전파하도록 재지향될 수 있다. 실질적으로 병렬의 출구 빔들이, 광을 아풋커플링하여 눈(4)으로부터 먼 거리(예컨대, 광학 무한성)에 있는 깊이 평면 상에 세팅되는 것처럼 보이는 이미지를 형성하는 광 추출 광학 엘리먼트들을 갖는 도파관을 표시할 수 있다는 것이 인지될 것이다. 다른 도파관들 또는 광 추출 광학 엘리먼트들의 다른 세트들은, 눈(4)이 망막 상에 포커스를 맞추기 위해 더 가까운 거리로 원근조절할 것을 요구하고, 뇌에 의해 광학 무한성보다 눈(4)에 더 가까운 거리로부터의 광으로서 해석될, 더 발산적인 출구 빔 패턴을 출력할 수 있다.
[0405]
도 1b를 다시 참조하면, 로컬 프로세싱 및 데이터 모듈(70) 및/또는 원격 프로세싱 모듈(72)은, 본원에 설명된 바와 같이, 증강 현실 콘텐츠를 생성하는 실시예들을 수행하도록 프로그래밍될 수 있고, 콘텐츠는 도파관들(182, 184, 186, 188, 190) 중 하나 또는 그 초과의 광(400)으로 출력된다. 예컨대, 로컬 프로세싱 및 데이터 모듈(70) 및/또는 원격 프로세싱 모듈(72)은 사용자(60)의 리플렉션의 존재를 검출하기 위해 카메라(65) 또는 다른 센서로부터 수집된 데이터를 분석하도록 프로그래밍될 수 있다. 이어서, 이러한 검출은, 도파관들(182, 184, 186, 188, 190) 중 하나 또는 그 초과를 사용하여 디스플레이(62)에 의해 디스플레이되는 증강 현실 콘텐츠의 생성을 트리거링할 수 있다. 로컬 프로세싱 및 데이터 모듈(70) 및/또는 원격 프로세싱 모듈(72)은, 제한없이, 사용자(60)의 위치, 사용자(60)의 신체적 외모, 하루중 시간, 일주일 중 하루, 날짜, 사용자의 환경 및 이들의 조합을 포함하는 다양한 기준들에 기반하여 증강 현실 콘텐츠를 선택하도록 프로그래밍될 수 있다. 일부 경우들에서, 증강 현실 콘텐츠 생성 중 적어도 일부를 (예컨대, "클라우드" 내의) 원격 프로세싱 모듈로의 오프-로딩은 계산들의 효율성 또는 스피드를 개선할 수 있다. 일부 실시예들에서, 사용자(60)의 존재를 검출하기 위한 그리고/또는 증강 현실 콘텐츠 생성을 위한 다양한 파라미터들(예컨대, 바이오메트릭 식별자들, 증강 현실 콘텐츠에 대한 사용자 선호도들 등)은 데이터 모듈들(70 및/또는 72)에 저장될 수 있다. 일부 실시예들에서, 생성된 콘텐츠는 원격 데이터 저장소(74)에 저장될 수 있다. 본원에서 언급된 프로그래밍이 모듈들(70 및/또는 72) 내의 하드웨어 프로세서들에 의해 수행될 수 있다는 것이 인식될 것이다. 증강 현실 콘텐츠를 제공하기 위한 프로그래밍의 일부 세부사항들이 아래에 논의된다.
[0406]
도 6b는 도파관 장치, 도파관 장치로의 또는 도파관 장치로부터의 광을 광학적으로 커플링하는 광학 커플러 서브시스템, 및 다초점 용량 측정 디스플레이, 이미지, 또는 광 필드의 생성에 사용된 제어 서브시스템을 포함하는 디스플레이 시스템을 도시하는 개략도이다. 디스플레이 시스템은 도파관 장치, 도파관 장치로의 또는 도파관 장치로부터의 광을 광학적으로 커플링하는 광학 커플러 서브시스템, 및 제어 서브시스템을 포함할 수 있다. 디스플레이 시스템은, 다초점, 용량 측정 이미지, 또는 광 필드를 생성하는 데 사용될 수 있다. 디스플레이 시스템은 하나 또는 그 초과의 주 플레이너형 도파관들(632a)(도 6b에서는 한 개만이 도시됨), 및 주 도파관들(632a) 중 적어도 일부의 각각과 연관된 하나 또는 그 초과의 DOE들(632b)을 포함할 수 있다. 플레이너형 도파관들(632b)은 도 5를 참조하여 논의된 도파관들(182, 184, 186, 188, 190)과 유사할 수 있고, DOE들(632b)은 광학 엘리먼트들(282, 284, 286, 288, 290)과 유사할 수 있다. 디스플레이 시스템은, 제1 축(도 6b의 뷰에서, 수직 또는 Y-축)을 따라 광을 중계하고 제1 축(예컨대, Y-축)을 따라 광의 유효 출구 동공을 확장시키기 위해 분산 도파관 장치를 이용할 수 있다. 분산 도파관 장치는, 예컨대, 분산 플레이너형 도파관(622b) 및 분산 플레이너형 도파관(622b)과 연관된 적어도 하나의 DOE(622a)(이중 파선으로 예시됨)를 포함할 수 있다. 분산 플레이너형 도파관(622b)은 적어도 일부 관점에 있어, 그와는 상이한 배향을 갖는, 주 플레이너형 도파관(632b)과 유사하거나 또는 동일할 수 있다. 마찬가지로, 적어도 하나의 DOE(622a)는 DOE(632a)와 적어도 일부 관점에 있어 유사하거나 또는 동일할 수 있다. 예컨대, 분산 플레이너형 도파관(622b) 및/또는 DOE(622a)는 각각 주 플레이너형 도파관(632b) 및/또는 DOE(632a)와 동일한 재료들로 구성될 수 있다. 도 6b에서 도시된 광학 디스플레이 시스템(600)의 실시예들은 도 1b에서 도시된 웨어러블 디스플레이 시스템(80)에 통합될 수 있다.
[0407]
중계된 및 출구-동공 확장된 광은 분산 도파관 장치로부터 하나 또는 그 초과의 주 플레이너형 도파관들(632b)로 광학적으로 커플링된다. 주 플레이너형 도파관(632b)은, 바람직하게 제1 축에 직교하는 제2 축(예컨대, 도 6b의 뷰에서, 수평 또는 X-축)을 따라 광을 중계한다. 특히, 제2 축은 제1 축에 대해 비-직교 축일 수 있다. 주 플레이너형 도파관(632b)은 제2 축(예컨대, X-축)을 따라 광의 유효 출구 동공을 확장시킨다. 예컨대, 분산 플레이너형 도파관(622b)은 수직 또는 Y-축을 따라 광을 중계 및 확장시키며, 그리고 그 광을, 수평 또는 X-축을 따라 광을 중계 및 확장시키는 주 플레이너형 도파관(632b)으로 패스할 수 있다.
[0408]
디스플레이 시스템은 단일 모드 광섬유(640)의 근접 단부에 광학적으로 커플링될 수 있는 하나 또는 그 초과의 컬러 광 소스들(예컨대, 적색, 녹색 및 청색 레이저 광)(610)을 포함할 수 있다. 광섬유(640)의 말단 단부는 압전 재료의 중공 튜브(642)를 통해 스레딩되거나 또는 수용될 수 있다. 말단 단부는 튜브(642)로부터 비고정 플렉시블 캔틸레버(644)로서 돌출한다. 압전 튜브(642)는 4개의 쿼드런트 전극들(예시되지 않음)과 연관될 수 있다. 전극들은 예컨대 튜브(642)의 외측, 외부 표면 또는 외부 주변 또는 직경 상에 도금될 수 있다. 코어 전극(예시되지 않음)은 또한, 튜브(642)의 코어, 중심, 내부 주변 또는 내부 직경에 위치될 수 있다.
[0409]
예컨대 와이어들(660)을 통해 전기적으로 커플링된 구동 전자장치(650)는 2개의 축들에서 압전 튜브(642)를 독립적으로 구부리기 위하여 전극들의 대향 쌍들을 구동한다. 광섬유(644)의 돌출한 말단 팁은 기계적 공진 모드들을 갖는다. 공진 주파수들은 광섬유(644)의 직경, 길이, 및 재료 특성들에 따라 좌우될 수 있다. 광섬유 캔틸레버(644)의 제1 기계적 공진 모드 근처에서 압전 튜브(642)를 진동시킴으로써, 광섬유 캔틸레버(644)는 진동하게 되고, 대형 편향들을 통해 스위프할 수 있다.
[0410]
2 개의 축들로 공진 진동을 자극함으로써, 광섬유 캔틸레버(644)의 팁은 2-D(two-dimensional) 스캔을 충전하는 영역에서 2축 방향으로 스캐닝된다. 광섬유 캔틸레버(644)의 스캔과 동시에 광 소스(들)(610)의 강도를 변조함으로써, 광섬유 캔틸레버(644)로부터 나오는 광은 이미지를 형성할 수 있다. 이러한 셋업에 대한 설명들은 미국 특허 공보 번호 제2014/0003762호에서 제공되며, 이 특허 공보는 그 전체가 인용에 의해 본원에 통합된다.
[0411]
광학 커플러 서브시스템의 컴포넌트는 스캐닝 광섬유 캔틸레버(644)로부터 나오는 광을 시준한다. 시준된 광은 미러링된 표면(648)에 의해, 적어도 하나의 DOE(diffractive optical element)(622a)를 포함하는 좁은 분산 플레이너형 도파관(622b)으로 반사된다. 시준된 광은 TIR(total internal reflection)에 의해 분산 플레이너형 도파관(622b)을 따라(도 6b의 뷰에 대해) 수직으로 전파하고, 그렇게 할 때, DOE(622a)와 반복적으로 교차한다. DOE(622a)는 바람직하게, 낮은 회절 효율을 갖는다. 이는, 광의 일부(예컨대, 10%)로 하여금, DOE(622a)와의 각각의 교차 지점에서 더 큰 주 플레이너형 도파관(632b)의 에지를 향하여 회절되게 하고, 광의 일부로 하여금, TIR을 통해 분산 플레이너형 도파관(622b)의 길이 아래로 그것의 오리지널 궤도 상에서 계속 진행하게 한다.
[0412]
DOE(622a)와의 각각의 교차 지점에서, 부가적인 광은 주 도파관(632b)의 입구를 향하여 회절된다. 인입 광을 다수의 아웃커플링된 세트들로 분할함으로써, 광의 출구 동공은 분산 플레이너형 도파관(622b) 내의 DOE(4)에 의해 수직으로 확장된다. 분산 플레이너형 도파관(622b) 밖으로 커플링된 이러한 수직으로 확장된 광은 주 플레이너형 도파관(632b)의 에지에 들어간다.
[0413]
주 도파관(632b)에 들어가는 광은 TIR을 통해 주 도파관(632b)을 따라(도 6b의 뷰에 대해) 수평으로 전파된다. 광은 그것이 TIR을 통해 주 도파관(632b)의 길이의 적어도 일부분을 따라 수평으로 전파될 때 다수의 포인트들에서 DOE(632a)와 교차한다. DOE(632a)는 선형 회절 패턴 및 방사상 대칭 회절성 패턴의 합인 위상 프로파일을 갖도록 유리하게 설계되거나 또는 구성되어, 광의 편향 및 포커싱 둘 모두를 생성할 수 있다. DOE(632a)는 유리하게 낮은 회절 효율(예컨대, 10%)을 가질 수 있어서, 빔의 광의 오직 일부분만이 DOE(632a)의 각각의 교차 지점을 갖는 뷰의 눈을 향하여 편향되는 반면, 나머지 광은 TIR을 통하여 주 도파관(632b)을 통해 계속 전파된다.
[0414]
전파 광과 DOE(632a) 간의 각각의 교차 지점에서, 광의 일부는 주 도파관(632b)의 인접 면을 향하여 회절되어, 광이 TIR을 벗어나서 주 도파관(632b)의 면으로부터 나오도록 한다. 일부 실시예들에서, DOE(632a)의 방사상으로 대칭인 회절 패턴은 회절된 광에 포커스 레벨을 부가적으로 부여하여, 설계된 포커스 레벨과 일치하는 각도로 빔을 조종할 뿐만 아니라 개별적인 빔의 광 파면을 성형(예컨대, 파면 곡률을 부여)한다.
[0415]
그에 따라서, 이들 상이한 경로들은 상이한 각도들, 포커스 레벨들로 다수의 DOE(632a)에 의해 그리고/또는 출구 동공에서의 상이한 충전 패턴들의 산출에 의해 주 플레이너형 도파관(632b) 밖으로 광이 커플링되게 할 수 있다. 출구 동공에서의 상이한 충전 패턴들은 다수의 깊이 평면들을 갖는 라이트 필드 디스플레이를 생성하는 데 유익하게 사용될 수 있다. 도파관 어셈블리의 각각의 층 또는 스택 내의 층들의 세트(예컨대, 3개의 층들)는 개개의 컬러(예컨대, 적색, 청색, 녹색)를 생성하는 데 이용될 수 있다. 따라서, 예컨대, 3개의 인접한 층들의 제1 세트는 제1 초점 깊이에서 적색, 청색 및 녹색 광을 각각 생성하는 데 이용될 수 있다. 3개의 인접한 층들의 제2 세트는 제2 초점 깊이에서 적색, 청색 및 녹색 광을 각각 생성하는 데 이용될 수 있다. 다수의 세트들은 다양한 초점 깊이들을 갖는 풀 3D 또는 4D 컬러 이미지 광 필드를 생성하는 데 이용될 수 있다.
웨어러블 디스플레이 시스템의 다른 컴포넌트들
[0416]
많은 실시예들에서, 웨어러블 시스템(예컨대, 웨어러블 디스플레이 시스템(80))은 위에서 설명된 웨어러블 시스템의 컴포넌트들에 부가적으로 또는 대안적으로 다른 컴포넌트들을 포함할 수 있다. 웨어러블 시스템은, 예컨대, 하나 또는 그 초과의 햅틱 디바이스들 또는 컴포넌트들을 포함할 수 있다. 햅틱 디바이스(들) 또는 컴포넌트(들)는 사용자에게 촉감을 제공하도록 동작 가능할 수 있다. 예컨대, 햅틱 디바이스(들) 또는 컴포넌트(들)은 가상 콘텐츠(예컨대, 가상 객체들, 가상 툴들, 다른 가상 구조들)를 터치할 때 누르기 및/또는 텍스처의 촉감을 제공할 수 있다. 촉감은 가상 콘텐츠가 나타내는 물리적 객체의 느낌을 복제하거나, 가상 콘텐츠가 나타내는 상상의 객체 또는 캐릭터(예컨대, 용)의 느낌을 복제할 수 있다. 일부 실시예들에서, 햅틱 디바이스들 또는 컴포넌트들(예컨대, 사용자 웨어러블 장갑)은 사용자가 착용할 수 있다. 일부 실시예들에서, 햅틱 디바이스들 또는 컴포넌트들은 사용자가 홀딩할 수 있다.
[0417]
웨어러블 시스템은, 예컨대, 웨어러블 시스템과의 입력 또는 상호작용을 허용하기 위해 사용자에 의해 조작 가능한 하나 또는 그 초과의 물리적 객체들을 포함할 수 있다. 이들 물리적 객체들은 본원에서 토템들(totems)로 지칭될 수 있다. 일부 토템들은 예컨대, 금속 또는 플라스틱 피스, 벽, 테이블 표면과 같은 무생물 객체들의 형태를 취할 수 있다. 소정의 실시예들에서, 토템들은 실제로 임의의 물리적 입력 구조들(예컨대, 키들, 트리거들, 조이스틱, 트랙볼, 로커 스위치)을 갖지 않을 수 있다. 대신에, 토템은 단순히 물리 표면을 제공할 수 있으며, 웨어러블 시스템은 사용자에게 토템의 하나 또는 그 초과의 표면들 상에 존재하는 것으로 나타나도록 사용자 인터페이스를 렌더링할 수 있다. 예컨대, 웨어러블 시스템은 토템의 하나 또는 그 초과의 표면들 상에 상주하는 것으로 나타나도록 컴퓨터 키보드 및 트랙패드의 이미지를 렌더링할 수 있다. 예컨대, 웨어러블 시스템은 토템으로서의 역할을 하는 얇은 직사각형 알루미늄 플레이트 표면 상에 나타나도록 가상 컴퓨터 키보드 및 가상 트랙패드를 렌더링할 수 있다. 직사각형 플레이트 자체는 임의의 물리 키들 또는 트랙패드, 또는 센서들을 갖지 않는다. 그러나, 웨어러블 시스템은 가상 키보드 및/또는 가상 트랙패드를 통해 이루어지는 선택들 또는 입력들로서 직사각형 플레이트와의 사용자 조작 또는 상호작용 또는 터치들을 검출할 수 있다. (도 5에 도시된) 사용자 입력 디바이스(504)는 트랙패드, 터치패드, 트리거, 조이스틱, 트랙볼, 로커 스위치, 마우스, 키보드, 다-자유도 제어기 또는 다른 물리 입력 디바이스를 포함할 수 있는 토템의 일 실시예일 수 있다. 사용자는 토템을 단독으로 또는 포즈들과 조합하여 사용하여 웨어러블 시스템 및/또는 다른 사용자들과 상호작용할 수 있다.
[0418]
본 개시내용의 웨어러블 디바이스들, HMD, ARD 및 디스플레이 시스템들과 함께 사용가능한 햅틱 디바이스들 및 토템들의 예들은, 본원에서 그 전체가 인용에 의해 포함되는 미국 특허 공보 제2015/0016777 호에 설명된다.
예시적 디스플레이 웨어러블 시스템들, 환경들 및 인터페이스들
[0419]
웨어러블 디스플레이 시스템은 렌더링된 광 필드들에서 필드의 높은 깊이를 실현하기 위해 다양한 매핑 관련 기법들을 사용할 수 있다. 가상 세계를 매핑할 때, 실세계와 관련하여 가상 객체들을 정확하게 묘사하기 위해 실세계의 모든 피처들과 포인트들을 아는 것이 유리하다. 이를 위해, 웨어러블 시스템의 사용자들로부터 캡처된 FOV 이미지들은 실세계의 다양한 포인트들 및 피처들에 대한 정보를 전달하는 새로운 사진들을 포함시킴으로써 세계 모델에 추가될 수 있다. 예컨대, 웨어러블 시스템은(2D 포인트들 또는 3D 포인트들과 같은) 지도 포인트들의 세트를 수집하고 새로운 지도 포인트들을 찾아 더 정확한 세계 모델 버전을 렌더링할 수 있다. 제1 사용자의 세계 모델은 제2 사용자가 제1 사용자 주변의 세계를 경험할 수 있도록 제2 사용자에게 (예컨대, 클라우드 네트워크와 같은 네트워크를 통해) 통신될 수 있다.
[0420]
도 7은 MR 환경(750)의 일 예의 블록 다이어그램이다. MR 환경(750)은 다양한 사용자 시스템들(720a, 720b)로부터 입력(예컨대, 사용자의 웨어러블 시스템으로부터의 시각적 입력(702), 방 카메라들과 같은 정지 입력(704), 다양한 센서들, 제스처들, 토템들, 눈 추적으로부터의 센서리 입력(706), 사용자 입력 디바이스(504)로부터의 사용자 입력 등)을 수신하도록 구성될 수 있다. 사용자 시스템들(720a, 720b)은 하나 또는 그 초과의 사용자 웨어러블 시스템들(예컨대, 웨어러블 시스템(80), 도 1b: 웨어러블 시스템(1000), 도 5) 및/또는 정지 방 시스템들(예컨대, 방 카메라들 등)을 포함할 수 있다. 웨어러블 시스템들은 사용자의 환경의 위치 및 다양한 다른 속성들을 결정하기 위해 다양한 센서들(예컨대, 가속도계들, 자이로스코프들, 온도 센서들, 움직임 센서들, 깊이 센서들, GPS 센서들, 내향 이미징 시스템, 외향 이미징 시스템 등)을 사용할 수 있다. 이 정보는 상이한 관점에서 이미지들 및/또는 다양한 큐(cue)들을 제공할 수 있는 방의 정지 카메라들로부터의 정보로 추가로 보충될 수 있다. (외향 이미징 시스템의 카메라들 및/또는 방 카메라들과 같은) 카메라들에 의해 획득된 이미지 데이터는 매핑 포인트들의 세트로 감소될 수 있다.
[0421]
하나 또는 그 초과의 객체 인지기들(708)은 지도 데이터베이스(712)의 도움으로, 수신된 데이터(예컨대, 포인트들의 수집)를 크롤링(crawling)하고 포인트들을 인지하고 그리고/또는 매핑하고, 이미지들을 태그하고, 시맨틱 정보를 객체들에 부착할 수 있다. 지도 데이터베이스(712)는 시간이 지남에 따라 수집된 다양한 포인트들 및 그들의 대응하는 객체들을 포함할 수 있다. 다양한 디바이스들 및 지도 데이터베이스는 클라우드에 액세스하기 위해 네트워크(예컨대, LAN, WAN 등)를 통해 서로 연결될 수 있다.
[0422]
이러한 지도 데이터베이스의 포인트들의 수집 및 정보에 기반하여, 객체 인지기들(708a 내지 708n)은 환경에서 객체들을 인지할 수 있다. 예컨대, 객체 인지기들은 얼굴들, 미러들, (사람 또는 HMD 등의) 반사된 이미지들, 윈도우들, 벽들 등을 인지할 수 있다. 하나 또는 그 초과의 객체 인지기들은 소정의 특징들을 갖는 객체에 대해 특수화될 수 있다. 예컨대, 객체 인지기(708a)는 얼굴들을 인지하는 데 사용될 수 있는 반면에, 다른 객체 인지기는 미러들을 인지하는 데 사용될 수 있다.
[0423]
객체 인지들은 다양한 컴퓨터 버전 기법들을 사용하여 수행될 수 있다. 예컨대, 웨어러블 시스템은, 장면 구성 이벤트 검출, 비디오 추적, 객체 인식, 객체 포즈 추정, 학습, 인덱싱, 모션 추정, 또는 이미지 복원 등을 수행하기 위해, 외향 이미징 시스템(502)(도 5에 도시됨)에 의해 포착된 이미지들을 분석할 수 있다. 본원에서 설명된 하나 또는 그 초과의 컴퓨터 버전 알고리즘들은 이들 태스크들을 수행하는데 사용될 수 있다. 객체 인지들은 부가적으로 또는 대안적으로 본원에서 설명된 다양한 기계 학습 알고리즘들에 의해 수행될 수 있다. 일단 트레이닝되면, 기계 학습 알고리즘은 HMD에 의해 저장될 수 있다.
[0424] 웨어러블 시스템은 또한 객체들에 생명을 주기 위해, 인지된 객체들에 시맨틱 정보를 보충할 수 있다. 예컨대, 만약 객체 인지기가 포인트들의 세트를 문이라고 인지하면, 시스템은 일부 시맨틱 정보(예컨대, 문은 힌지를 가지며 힌지를 중심으로 90도 움직임을 갖는다는 정보)를 부착할 수 있다. 만약 객체 인지기가 포인트들의 세트를 미러라고 인지하면, 시스템은 미러가 방의 객체들의 이미지들을 반사시킬 수 있는 반사 표면을 갖는다는 시맨틱 정보를 부착할 수 있다. (로컬로 상주할 수 있거나 또는 무선 네트워크를 통해 액세스가능할 수 있는) 시스템이 세계로부터 더 많은 데이터를 축적하므로, 시간이 지남에 따라 지도 데이터베이스는 증가하게 된다. 일단 객체들이 인지되면, 정보는 하나 또는 그 초과의 웨어러블 시스템들에 전송될 수 있다. 예컨대, MR 환경(750)은 캘리포니아에서 발생하는 장면에 대한 정보를 포함할 수 있다. 환경(750)은 뉴욕의 한 명 또는 그 초과의 사용자들에게 송신될 수 있다. FOV 카메라 및 다른 입력들로부터 수신된 데이터에 기반하여, 객체 인지기들 및 다른 소프트웨어 컴포넌트들은 다양한 이미지들로부터 수집된 포인트들을 매핑하고, 객체들 등을 인지하여 장면이, 세계의 상이한 부분에 있을 수 있는 제2 사용자에게 정확하게 "전달"될 수 있다. 환경(750)은 또한 로컬화를 목적으로 토폴로지형 지도를 사용할 수 있다.
[0425]
도 8은 인지된 객체들과 관련하여 가상 콘텐츠를 렌더링하는 방법(850)의 예의 프로세스 흐름 다이어그램이다. 방법(850)은 가상 장면이 MR 시스템(예컨대, 웨어러블 시스템)의 사용자에게 어떻게 표현될 수 있는지를 설명한다. 사용자는 장면으로부터 지리적으로 원격에 있을 수 있다. 예컨대, 사용자는 뉴욕에 있을 수 있지만, 현재 캘리포니아에서 현재 진행되고 있는 장면을 보기를 원하거나 캘리포니아에 거주하는 친구와 산책하기를 원할 수 있다.
[0426]
블록(852)에서, AR 시스템은 사용자 및 다른 사용자들로부터 사용자의 환경에 관한 입력을 수신할 수 있다. 이는, 다양한 입력 디바이스들 및 지도 데이터베이스에서 이미 있는 지식을 통해 실현될 수 있다. 사용자의 FOV 카메라, 센서들, GPS, 눈 추적 등은 블록(852)에서 시스템에 정보를 전달한다. 시스템은 블록(854)에서 이 정보에 기반하여 드문 포인트들을 결정할 수 있다. 드문 포인트들은 사용자 주변들의 다양한 객체들의 배향 및 포지션을 디스플레이하고 이해하는데 사용될 수 있는 포즈 데이터(예컨대, 머리 포즈, 눈 포즈, 신체 포즈 및/또는 손 제스처들)를 결정하는데 사용될 수 있다. 객체 인지기들(708a, 708n)은 블록(856)에서 이러한 수집된 포인트들을 통해 크롤링하고 지도 데이터베이스를 사용하여 하나 또는 그 초과의 객체들을 인지할 수 있다. 이어서, 이 정보는 블록(858)에서 사용자의 개별적인 웨어러블 시스템에 전달될 수 있고, 블록(860)에서 원하는 가상 장면이 그에 따라서 사용자에게 디스플레이될 수 있다. 예컨대, 원하는 가상 장면(예컨대, CA의 사용자)은 뉴욕의 사용자의 다양한 객체들 및 다른 주변들과 관련하여 적절한 배향, 포지션 등에서 디스플레이될 수 있다.
[0427]
도 9는 웨어러블 시스템의 다른 예의 블록 다이어그램이다. 이 예에서, 웨어러블 시스템(990)은 세계에 대한 지도 데이터를 포함할 수 있는 지도를 포함한다. 지도는 부분적으로 웨어러블 시스템 상에 로컬로 상주할 수 있고, (예컨대, 클라우드 시스템에서) 유선 또는 무선 네트워크에 의해 액세스 가능한 네트워크화된 저장 위치들에 부분적으로 상주할 수 있다. 포즈 프로세스(910)는 웨어러블 컴퓨팅 아키텍처(예컨대, 프로세싱 모듈(260) 또는 제어기(460)) 상에서 실행될 수 있고 웨어러블 컴퓨팅 하드웨어 또는 사용자의 포지션 및 배향을 결정하기 위해 지도로부터의 데이터를 활용할 수 있다. 포즈 데이터는 사용자가 시스템을 경험하고 세계에서 동작할 때 즉석에서(on the fly) 수집된 데이터로부터 컴퓨팅될 수 있다. 데이터는 이미지들, (일반적으로 가속도계 및 자이로스코프 컴포넌트들을 포함하는 관성 측정 디바이스들과 같은) 센서들로부터의 데이터 및 실제 또는 가상 환경의 객체들과 관련된 표면 정보를 포함할 수 있다.
[0428]
드문 포인트 표현은 동시적인 로컬화 및 매핑 (입력이 오직 이미지들/시각적인 구성을 언급하는 SLAM 또는 V-SLAM) 프로세스의 출력일 수 있다. 이 시스템은 세계에서 다양한 컴포넌트들이 있는 곳을 파악할 뿐만 아니라 세계가 무엇으로 구성되었는지를 파악할 수 있도록 구성될 수 있다. 포즈는 지도를 파퓰레이팅하는 것 및 지도로부터의 데이터를 사용하는 것을 포함하여, 많은 목표들을 실현하는 빌딩 블록일 수 있다.
[0429]
일 실시예에서, 드문 포인트 포지션은 그 자체로는 완전히 적절하지는 않을 수 있으며, 다초점 AR, VR 또는 MR 경험을 생성하기 위해 추가 정보가 필요할 수 있다. 일반적으로 깊이 지도 정보를 지칭하는 조밀한 표현들이 이 갭을 적어도 부분적으로 충전하기 위해 활용될 수 있다. 이러한 정보는 스테레오(940)로 지칭되는 프로세스로부터 컴퓨팅될 수 있으며, 깊이 정보는 삼각 측량 또는 비행 시간 감지와 같은 기법을 사용하여 결정된다. 이미지 정보 및 (활성 프로젝터들을 사용하여 생성된 적외선 패턴들과 같은) 활성 패턴들은 스테레오 프로세스(940)에 대한 입력으로서의 역할을 할 수 있다. 상당량의 깊이 지도 정보가 함께 융합될 수 있으며, 이 중 일부는 표면 표현으로 요약될 수 있다. 예컨대, 수학적으로 정의 가능한 표면들은 (예컨대, 대형 포인트 클라우드와 비교하여) 효율적이고, 게임 엔진들과 같은 다른 프로세싱 디바이스들로의 처리 가능한 입력들이다. 따라서, 스테레오 프로세스(예컨대, 깊이 지도)(940)의 출력은 융합 프로세스(930)에서 결합될 수 있다. 포즈는 또한 이 융합 프로세스(930)에 대한 입력일 수 있고, 융합(930)의 출력은 지도 프로세스(920)를 파퓰레이팅하는 입력이 된다. 서브-표면들은 지형적 매핑에서와 같이 서로 연결되어 더 큰 표면들을 형성할 수 있으며, 지도는 포인트들 및 표면들의 대형 하이브리드가 된다.
[0430]
혼합 현실 프로세스(960)에서의 다양한 양상들을 해결하기 위해, 다양한 입력들이 활용될 수 있다. 예컨대, 도 9에 도시된 실시예에서, 게임 파라미터들은, 시스템의 사용자가 다양한 위치들에서 하나 또는 그 초과의 몬스터들과 몬스터 전투 게임을 하고 있다는 것을 결정하기 위한 입력들, (사용자가 몬스터를 쏘는 경우와 같이) 다양한 조건들 하에서 죽거나 도망치고 있는 몬스터들, 벽들 또는 다양한 위치들의 다른 객체들 등일 수 있다. 세계 지도는 혼합 현실에 대한 또 다른 가치있는 입력이 될, 그러한 객체들이 서로에 대해 어디에 있는지에 관한 정보를 포함할 수 있다. 세계에 대한 포즈는 거의 모든 인터랙티브 시스템에서 중요한 역할을 할 뿐만 아니라 입력이 된다.
[0431]
사용자로부터의 제어들 또는 입력들은 웨어러블 시스템(990)에 대한 다른 입력이다. 본원에서 설명된 바와 같이, 사용자 입력들은 시각적 입력, 제스처들, 토템들, 오디오 입력, 센서리 입력 등을 포함할 수 있다. 예컨대, 주위를 돌아다니거나 게임을 하기 위해, 사용자는 자신이 하고 싶어하는 것에 관하여 웨어러블 시스템(990)에 명령할 필요가 있을 수 있다. 공간에서 단지 스스로 이동하는 것 외에도 활용될 수 있는 다양한 형태들의 사용자 제어들이 있다. 일 실시예에서, 토템, 사용자 입력 디바이스, 또는 장난감 총과 같은 객체는 사용자에 의해 유지되고 시스템에 의해 추적될 수 있다. 시스템은 바람직하게는 사용자가 아이템을 홀딩하고 있다는 것을 알고 사용자가 아이템과 어떤 종류의 상호작용을 하고 있는지를 이해하도록 구성될 것이다(예컨대, 토템 또는 객체가 총인 경우, 시스템은 위치 및 배향을 이해하도록 구성될 수 있을 뿐만 아니라 사용자가 IMU와 같은 센서를 구비할 수 있는 트리거 또는 다른 감지식 버튼 또는 엘리먼트를 클릭하고 있는지 여부를 이해하도록 구성될 수 있으며, 이는 이러한 활동이 어떤 카메라들의 시야 내에도 있지 않을 경우에도 무슨 일이 일어나고 있는지를 결정하는데 도움을 줄 수 있다).
[0432]
손 제스처 추적 또는 인지는 또한 입력 정보를 제공할 수 있다. 웨어러블 시스템(990)은 버튼 누름, 좌측 또는 우측 제스처, 정지, 잡기, 홀드 등을 위한 손 체스처들을 추적하고 해석하도록 구성될 수 있다. 예컨대, 일 구성에서, 사용자는 게임이 아닌 환경에서 이메일들 또는 캘린더를 넘기거나 다른 사람 또는 플레이어와 "피스트 범프"를 하기를 원할 수 있다. 웨어러블 시스템(990)은 동적일 수 있거나 동적이 아닐 수 있는 최소량의 손 제스처를 레버리지하도록 구성될 수 있다. 예컨대, 제스처들은 중지를 위해 벌린 손, 오케이를 의미하는 엄지손가락들 세움, 오케이가 아님을 의미하는 엄지손가락들 내림; 또는 방향 커맨드들을 위해 우측, 또는 좌측, 또는 위/아래로 손을 젖히는 것과 같은 단순한 정적 제스처들일 수 있다.
[0433]
눈 추적은 또 다른 입력(예컨대, 사용자가 특정 깊이 또는 범위에서 렌더링하기 위해 디스플레이 기술을 제어하고자 보고 있는 곳을 추적)이다. 일 실시예에서, 눈들의 수렴은 삼각 측량을 사용하여 결정될 수 있고, 이어서 그 특정 사람에 대해 개발된 수렴/원근 조절 모델을 사용하여, 원근 조절이 결정될 수 있다.
[0434]
카메라 시스템들과 관련하여, 도 9에 도시된 예시적인 웨어러블 시스템(990)은 3개의 쌍들의 카메라들, 즉 사용자의 얼굴의 측면들에 배열된 상대적으로 와이드 FOV 또는 수동 SLAM 쌍의 카메라들, 스테레오 이미징 프로세스(940)를 핸들링하고 또한 사용자 얼굴 앞에 토템/객체 추적 및 손 제스처들을 캡처하기 위해 사용자 정면에 배향된 상이한 쌍의 카메라들을 포함할 수 있다. 3개의 쌍들의 카메라들 내의 카메라들은 외향 이미징 시스템(502)(도 5에 도시됨)의 일부일 수 있다. 웨어러블 시스템(990)은 눈 벡터들 및 다른 정보를 삼각 측량하기 위해 사용자의 눈들을 향해 배향되는 눈 추적 카메라들(도 5에 도시된 내향 이미징 시스템(500)의 일부일 수 있음)을 포함할 수 있다. 웨어러블 시스템(990)은 또한 장면에 텍스처를 주입하기 위해 하나 또는 그 초과의 텍스처화된(적외선(IR) 프로젝터들과 같은) 광 프로젝터들을 포함할 수 있다.
[0435]
도 10은 웨어러블 시스템으로의 사용자 입력을 결정하기 위한 방법(1050)의 예의 프로세스 흐름 다이어그램이다. 이 예에서, 사용자는 토템과 상호작용할 수 있다. 사용자는 다수의 토템들을 가질 수 있다. 예컨대, 사용자는 소셜 미디어 애플리케이션을 위한 하나의 토템, 게임을 플레이하기 위한 다른 토템 등을 지정했을 수 있다. 블록(1010)에서, 웨어러블 시스템은 토템의 모션을 검출할 수 있다. 토템의 움직임은 사용자의 FOV 카메라를 통해 인지될 수 있거나 센서들(예컨대 햅틱 장갑, 이미지 센서들, 손 추적 디바이스들, 눈-추적 카메라들, 머리 포즈 센서들 등)을 통해 검출될 수 있다.
[0436] 블록(1020)에서, 토템을 통한 검출된 제스처, 눈 포즈, 머리 포즈, 또는 입력에 적어도 부분적으로 기반하여, 웨어러블 시스템은 기준 프레임에 대해 토템(또는 사용자의 눈들 또는 머리 또는 제스처들)의 포지션, 배향, 및/또는 움직임을 검출한다. 기준 프레임은 지도 포인트들의 세트일 수 있으며, 그 세트에 기반하여, 웨어러블 시스템은 토템(또는 사용자)의 움직임을 액션 또는 커맨드로 전환한다. 블록(1030)에서, 토템과의 사용자의 상호작용이 매핑된다. 기준 프레임(1020)에 대한 사용자 상호작용의 매핑에 기반하여, 블록(1040)에서 시스템은 사용자 입력을 결정한다.
[0437] 예컨대, 사용자는 가상 페이지를 터닝하고 다음 페이지로 이동하거나 또는 하나의 UI(user interface) 디스플레이 스크린으로부터 다른 UI 스크린으로 이동하는 것을 나타내기 위해 토템 또는 물리적 객체를 앞뒤로 이동시킬 수 있다. 다른 예로서, 사용자는 사용자의 FOR에서 상이한 실제 또는 가상 객체들을 보기 위해 그들의 머리 또는 눈들을 이동시킬 수 있다. 만약 특정 실제 또는 가상 객체의 사용자의 응시가 임계치 시간보다 더 길면, 실제 또는 가상 객체는 사용자 입력으로서 선택될 수 있다. 일부 실시예들에서, 사용자의 눈들의 수렴이 추적될 수 있고, 원근 조절/수렴 모델은, 사용자가 포커싱하고 있는 깊이 평면에 대한 정보를 제공하는 사용자의 눈들의 원근 조절 상태를 결정하기 위해 사용될 수 있다. 일부 실시예들에서, 웨어러블 시스템은 어떤 실제 또는 가상 객체들이 사용자의 머리 포즈 또는 눈 포즈의 방향을 따라 존재하는지를 결정하기 위해 광선 투사 기법들을 사용할 수 있다. 다양한 실시예들에서, 광선 투사 기법들은, 실질적으로 가로 폭이 거의 없는 얇은 광속(pencil) 광선들을 캐스팅하는 것 또는 실질적인 가로 폭을 갖는 광선들(예컨대, 원뿔체들 또는 절두체들)을 투사하는 것을 포함할 수 있다.
[0438] 사용자 인터페이스는 본원에서 설명된 바와 같이 디스플레이 시스템(이를테면, 도 1b의 디스플레이(62))에 의해 투사될 수 있다. 그것은 또한, 다양한 다른 기법들, 이를테면 하나 또는 그 초과의 프로젝터들을 사용하여 디스플레이될 수 있다. 프로젝터들은 물리적 객체, 이를테면 캔버스 또는 구체 상으로 이미지들을 투사할 수 있다. 사용자 인터페이스와의 상호작용들은 시스템 또는 시스템의 일부분 외부의 하나 또는 그 초과의 카메라들을 사용하여 (이를테면, 예컨대 내향 이미징 시스템(500) 또는 외향 이미징 시스템(502)을 사용하여) 추적될 수 있다.
[0439] 도 11은 가상 사용자 인터페이스와 상호작용하기 위한 방법(1100)의 예의 프로세스 흐름 다이어그램이다. 방법(1100)은 본원에서 설명된 웨어러블 시스템에 의해 수행될 수 있다.
[0440] 블록(1110)에서, 웨어러블 시스템은 특정 UI를 식별할 수 있다. UI의 타입은 사용자에 의해 미리 결정될 수 있다. 웨어러블 시스템은, 특정 UI가 사용자 입력(예컨대, 제스처, 시각적 데이터, 오디오 데이터, 센서리 데이터, 지향 커맨드 등)에 기반하여 파퓰레이팅될 필요가 있다는 것을 식별할 수 있다. 블록(1120)에서, 웨어러블 시스템은 가상 UI에 대한 데이터를 생성할 수 있다. 예컨대, UI의 한계들, 일반적인 구조, 형상 등과 연관된 데이터가 생성될 수 있다. 게다가, 웨어러블 시스템이 사용자의 물리 위치와 관련된 UI를 디스플레이할 수 있도록 웨어러블 시스템은 사용자의 물리 위치의 지도 좌표들을 결정할 수 있다. 예컨대, 만약 UI가 신체 중심이라면, 웨어러블 시스템은, 링 UI가 사용자 주위에서 디스플레이될 수 있거나 또는 플레이너형 UI가 벽 상에 또는 사용자 정면에 디스플레이될 수 있도록 사용자의 신체적 자세, 머리 포즈, 또는 눈 포즈의 좌표들을 결정할 수 있다. 만약 UI가 손 중심이라면, 사용자의 손들의 지도 좌표들이 결정될 수 있다. 이들 지도 포인트들은 FOV 카메라들을 통해 수신된 데이터, 센서리 입력, 또는 임의의 다른 타입의 수집된 데이터를 통해 유도될 수 있다.
[0441] 블록(1130)에서, 웨어러블 시스템은 클라우드로부터 디스플레이로 데이터를 전송할 수 있거나 또는 데이터는 로컬 데이터베이스로부터 디스플레이 컴포넌트들로 전송될 수 있다. 블록(1140)에서, UI는 전송된 데이터에 기반하여 사용자에게 디스플레이된다. 예컨대, 라이트 필드 디스플레이는 가상 UI를 사용자의 눈들 중 하나 또는 둘 모두로 투사할 수 있다. 일단 가상 UI가 생성되면, 블록(1150)에서 웨어러블 시스템은 가상 UI 상에 더 많은 가상 콘텐츠를 생성하기 위해 사용자로부터의 커맨드를 간단히 대기할 수 있다. 예컨대, UI는 사용자의 신체 주위의 신체 중심 링일 수 있다. 이어서, 웨어러블 시스템은 커맨드(제스처, 머리 또는 눈 움직임, 사용자 입력 디바이스로부터의 입력 등)를 대기할 수 있으며, 만약 그것이 인지되면(블록(1160)), 커맨드와 연관된 가상 콘텐츠가 사용자에게 디스플레이될 수 있다(블록(1170)).
[0442] AR 시스템들, UI, 및 UX(user experiences)의 부가적인 예들은 미국 특허 공보 제2015/0016777호에 설명되며, 그 공보는 그 전체가 본원에서 인용에 의해 포함된다.
증강 현실 콘텐츠 생성의 예들
[0443]
도 12는 사용자들의 리플렉션의 사용자의 뷰를 증강시키기 위해 증강 현실 콘텐츠를 생성하기 위한 루틴의 흐름도의 예를 예시한다. 바람직하게, 루틴은 디스플레이 시스템, 이를테면, 광을 사용자에게 지향하도록 구성된 광 재지향 피처들을 포함하는 디스플레이 영역을 포함하는 웨어러블 디스플레이 디바이스를 갖는 시스템(80)(도 1b)에서 구현된다. 디스플레이 영역은 적어도 부분적으로 투명하고, 디스플레이 영역을 통해 주변 환경의 뷰를 제공하기에 충분히 투명할 수 있다. 일부 실시예들에서, 본원에서 설명된 액션들 및 기능들 중 일부를 포함하는 루틴은 로컬 프로세싱 및 데이터 모듈(70) 내의 비-일시적인 메모리, 또는 원격 프로세싱 모듈(72)에 프로그래밍으로서 저장될 수 있다. 프로그래밍, 및 루틴은 하드웨어 프로세서 모듈(70) 및/또는 모듈(72)(도 1b)에 의해 구현될 수 있다.
[0444]
도 12를 계속 참조로, 블록(700)에서, 뷰어의 리플렉션이 뷰어의 시야 내에 있는지 여부에 대한 결정이 이루어진다. 만약 그 결정이 긍정적이면(즉, 리플렉션이 뷰어의 시야 내에 있는 것으로 결정되면), 루틴은 블록(710)으로 진행된다. 블록(710)에서, 증강 현실 콘텐츠가 디스플레이된다. 본원에서 개시된 바와 같이, 일부 실시예들에서, 증강 현실 콘텐츠는, 사용자에 의해 인지된 이미지들을 형성하기 위해 광을 사용자에게 출력하는 웨어러블 디스플레이에 이미지 콘텐츠로 인코딩된 광을 제공함으로써, 디스플레이될 수 있다. 이미지들은 바람직하게는 디스플레이 영역 전체 미만을 차지하고, 이로써 주변 환경의 뷰를 허용한다. 결과적으로, 가상 콘텐츠는 실제 객체들의 사용자의 뷰와 블렌딩될 수 있다. 일부 실시예들에서, 가상 콘텐츠는 실제 객체들 중 하나 또는 그 초과 중 부분 또는 전부의 사용자의 뷰를 차단할 수 있다. 그러한 차단은, 본원에서 개시된 바와 같이, 시스템이 그러한 객체들의 인지된 외관을 수정할 수 있게 한다. 증강 현실 콘텐츠가 뷰잉 및 분석을 위해 실시간 정보 및/또는 이력 데이터를 포함할 수 있다는 것이 인지될 것이다.
[0445]
일부 실시예들에서, 사용자의 리플렉션과 이미지들의 공간 동기화는, 디스플레이 시스템의 카메라(세계를 이미징하기 위한 전방-지향 카메라들 및 사용자의 눈들을 이미징하기 위한 내향 카메라들 둘 모두 및 사용자의 응시 방향을 결정하도록 구성됨)에 의해 캡처된 실시간 이미지들을 분석함으로써, 그리고 증강 현실 콘텐츠에 의해 수정되는 주변 환경 또는 사용자의 리플렉션의 일부분의 리플렉션을 이미지들이 실시간으로 차단하고 교체하도록 이미지들을 디스플레이 영역 내에 포지셔닝함으로써 실현될 수 있다. 이미지들을 구성하기 위해 사용된 이미지 정보는 디스플레이 시스템(80)에(예컨대, 로컬 프로세싱 및 데이터 모듈(70)(도 1b)에 로컬로) 저장될 수 있고 그리고/또는 제3자 소스로부터(예컨대, 리테일 또는 건강 설정과의 무선 또는 유선 통신 링크들을 통해 그리고/또는 원격 데이터 저장소(74)(도 1b)에 다운로드되는 콘텐츠를 통해 ―이 콘텐츠는, 예컨대, 사용자가 특정 물리 설정에 있거나 또는 특정 온-라인 사이트를 뷰잉하고 있는 것을 검출할 시에 디스플레이 시스템에 의해 설정될 수 있음―) 수신될 수 있다. 리플렉션의 실제 객체는 대응 가시선을 따라 사용자가 볼 수 있다는 것이 인식될 것이다. 바람직하게, 디스플레이 시스템은, 사용자의 뷰 필드에 있는 해당 이미지의 위치가 이미지가 교체되도록 의도된 실제 객체의 가시선과 일치하도록 이미지를 포지셔닝하여, 그 실제 객체의 사용자 뷰를 효과적으로 차단하도록 구성된다. 게다가, 이미지는 리플렉션에서 보여진 대로 실제 객체의 깊이 평면에 매칭하는 깊이 평면 상에(예컨대, 실제 객체로부터 미러로 그리고 이어서 미러로부터 사용자로 광선에 의해 횡단되는 거리와 동일한, 사용자로부터의 거리에 대응하는 깊이 평면 상에) 배치될 수 있다
[0446]
일부 실시예들에서, 디스플레이 시스템은 사용자와 반사 표면 간의 깊이 평면 상에 가상 객체를 디스플레이할 수 있다. 사용자의 시각적 시스템은 이러한 가상 객체들의 (사용자를 향하는) 전방 뷰 및 (반사 표면을 향하는) 후방 뷰 둘 모두를 보는 것으로 예상될 수 있다는 것이 인식될 것이다. 디스플레이된 가상 객체의 리얼리즘을 증가시키기 위해, 가상 객체의 후방의 리플렉션이 디스플레이될 수 있다. 바람직하게, 디스플레이 시스템은 가상 객체들의 전방 및 후방의 뷰들 둘 모두에 대한 이미지 정보를 로컬로 저장하거나 이들에 액세스한다. 이어서, 이 이미지 정보는 디스플레이 시스템에 의해 2개의 별개의 이미지들(하나는 가상 객체의 전방에 대응하고, 하나는 가상 객체의 후방에 대응함)로서 디스플레이될 수 있다. 디스플레이 시스템은 전방 이미지와 상이하며 전방 이미지보다 사용자로부터 더 먼 깊이 평면 상에 후방 이미지를 배치하도록 구성될 수 있다는 것이 인식될 것이다. 게다가, 디스플레이 시스템은, 실제 리플렉션을 보다 현실적으로 모방하기 위해, 가상 객체의 후방 뷰의 미러 이미지를 제공(예컨대, 텍스트의 미러 이미지들을 제공)하도록 구성될 수 있다.
[0447]
가상 객체의 예로서, 가상 메뉴의 후방의 리플렉션은 미러에 리플렉션으로서 디스플레이될 수 있다; 즉, 가상 메뉴의 후방의 이미지는 미러 위에 놓인 위치에 디스플레이될 수 있으며, 후방의 이미지의 위치는, 만약 가상 객체가 실제 객체였다면 리플렉션이 존재했을 위치에 대응한다. 광선 트레이싱이 전방 및 후방 이미지들의 관련 포지션들을 결정하기 위해 활용될 수 있다는 것이 인식될 것이다. 또한, 가상 객체가 이동함에 따라, 전방 및 후방 이미지들의 포지션들이 또한 이동할 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 디스플레이 시스템은, 예컨대 콘텍스트에 기반하여, 선택적으로 후방 이미지들을 디스플레이할지 여부를 결정하도록 구성될 수 있다. 예컨대, 3 차원 객체들(예컨대, 세계에 있는 그리고/또는 세계와 상호작용하는 객체들을 모방하거나 또는 이를 대신하도록 의도된 객체들)을 표현하는 가상 콘텐츠의 전방 및 후방 둘 모두가 디스플레이될 수 있지만, 디스플레이 시스템으로의 입력들 및/또는 디스플레이 시스템으로부터의 정보를 상세하게 제공하기 위해 사용되는 가상 객체들은 리플렉션들로서 디스플레이된 후방 이미지들을 갖지 않을 수 있다. 일부 실시예들에서, 가상 메뉴는 계산 자원들을 보존하기 위해 그리고/또는 메뉴가 실제 객체가 아니라는 것을 아닌 사용자에게 시그널링하기 위해, 후방 리플렉션을 갖지 않을 수 있다.
[0448]
다시, 블록(700)을 참조로, 사용자의 리플렉션이 사용자의 뷰 필드 내에 있다는 것을 결정하는 것은, 다양한 입력들 및 기준들을 사용하여 디스플레이 시스템에 의해 자동으로 성취될 수 있다. 예컨대, 주변 환경의 이미지는 사용자의 디스플레이 디바이스 상의 카메라로 캡처되며, 캡처된 이미지와 저장된 이미지 정보 간에 매치가 존재하는지 여부를 결정하기 위해, 저장된 이미지 정보는 캡처된 이미지와 비교된다. 일부 실시예들에서, 저장된 이미지 정보는 바이오메트릭 정보, 이를테면 사용자의 외모의 고유 피처들을 포함한다. 이러한 고유 피처들은, 제한 없이, 사용자에 대한 하나 또는 그 초과의 고유 물리 속성들의 존재, 또는 사용자의 물리 피처들(예컨대, 얼굴에 있는 피처들) 간의 관계(예컨대, 공간 또는 크기 관계)를 포함할 수 있다. 일부 실시예들에서, 블록(700)을 수행하는 것은 얼굴 인식 서브루틴을 실행하는 것을 포함한다.
[0449]
일부 실시예들에서, 저장된 이미지 정보는 웨어러블 디스플레이 디바이스의 고유 피처들을 포함한다. 예컨대, 디스플레이 디바이스의 프레임은 디스플레이 디바이스의 카메라 또는 다른 센서에 의해 캡처되는 고유 식별자(예컨대, 바코드 또는 고유 전자기 방사)를 가질 수 있다. 고유 식별자는 디스플레이 시스템에 저장된 허용가능한 식별자들의 세트와 비교되며, 포지티브 매치는 리플렉션이 존재함을 표시하는 것으로 해석된다. 일부 실시예들에서, 반사 표면(예컨대, 미러)은 자체가 고유 식별자를 포함할 수 있다. 예컨대, 반사 표면은 바코드 또는 다른 시각적 식별자를 포함할 수 있다. 일부 실시예들에서, 반사 표면은 전자기 신호를 브로드캐스트하는 비콘을 포함한다. 디스플레이 디바이스는 신호를 수신하는 수신기를 가지며, 이 신호는 허용가능한 신호들의 저장된 세트와 비교된다. 만약 매치가 이루어진다면, 신호의 수신은 사용자가 반사 표면에 근접함을 표시하는 것으로 해석된다. 일부 실시예들에서, 신호는 라디오 신호들일 수 있으며, 이는 블루투스 또는 RFID(Radio-frequency dentification) 기술 표준들을 사용하여 구현될 수 있다. 일부 다른 실시예들에서, 반사 표면에 대한 사용자의 근접성은 사용자 상의 위치 센서 및 알려진 반사 표면들의 위치를 포함하는 데이터베이스에 대한 액세스를 사용하여 결정될 수 있다. 알려진 반사 표면의 위치와 사용자의 위치 간의 매치는 사용자가 반사 표면에 근접함을 표시하는 것으로 해석될 수 있으며, 반사 표면이 사용자의 가시선에 있다는 것의 확인은 디스플레이 시스템의 카메라에 의해 캡처되는 이미지들을 분석함으로써 이루어질 수 있다. 사용자의 리플렉션이 사용자의 시야내에 있다는 것을 결정하는데 사용가능한 것 외에도, 일부 실시예들에서, 디스플레이 디바이스의 프레임 또는 다른 컴포넌트들의 고유 기하학적 구조는 컴퓨터 비전 소프트웨어에 의해 인지되며 디스플레이 시스템과의 상호작용을 위한 "토템"으로서 처리될 수 있다는 것이 인식될 것이다.
[0450]
일부 실시예들에서, 디스플레이 시스템은 반사된 이미지들의 다양한 표시를 위해, 외향 카메라에 의해 캡처된 이미지들을 분석함으로써 리플렉션의 존재를 검출하도록 구성될 수 있다. 이들 다양한 표시는 미러에 의해 좌측 및 우측 피처들을 반전시키는 것을 포함할 수 있다. 예컨대, 디스플레이 시스템(예컨대, 디스플레이 시스템의 프레임)은 그의 표면 상에, 디스플레이 시스템에 의해 알려진 특정 좌측-우측 배향을 갖는 시각적 마킹들을 포함할 수 있다. 이러한 시각적 마킹들은, 레터들, 이를테면 디스플레이 시스템의 프레임의 좌측 상의 레터 "L" 및/또는 디스플레이 시스템의 프레임의 우측 상의 레터 "R"을 포함할 수 있다. 본원에서 개시되는 바와 같이, 디스플레이 시스템은 그의 외향 카메라를 사용하여 주변 환경을 활발히 스캔하도록 그리고 카메라에 의해 이미징된 객체들(풍경들, 이를테면 스토어의 내측 및/또는 사람들을 포함함)을 식별하도록 구성될 수 있다. 그 결과, 디스플레이 시스템은 카메라에 의해 캡처된 프레임의 이미지를 인지하고 또한 레터들 "L" 및/또는 "R"의 배향들이 반전된다는 것을 결정하도록 구성될 수 있다. 이러한 반전은, 카메라가 디스플레이 또는 카메라 프레임의 리플렉션을 이미징했다는 표시로서 해석될 수 있다. 리플렉션을 표시하기 위해 활용될 수 있는 마킹들에 대한 다른 옵션들은, 심볼들, 컬러들(예컨대, 특정 순서를 갖는 컬러의 스트립들) 등을 포함하는, 그 우측-좌측 배향과 상이한 좌측-우측 배향을 갖는 임의의 마킹들을 포함한다.
[0451]
일부 실시예들에서, 디스플레이 시스템은 사용자에 대한 반전된 얼굴/신체 마킹들의 존재를 결정하도록 구성될 수 있다. 바람직하게, 마킹들은 특정 좌측-우측 배향들을 갖는다. 이러한 얼굴/신체 마킹들의 예들은 흉터들, 모반들, 주근깨들의 조합들, 사용자의 헤어의 가르마 방향 등을 포함한다. 이러한 마킹들은 저장될 수 있고 디스플레이 시스템에 의해 액세스가능할 수 있고, 이 디스플레이 시스템은 마킹들의 반전된 이미지를 검출하도록 구성될 수 있다. 게다가, 디스플레이 시스템은 또한 사용자 의류에 대한 마킹들/심볼들의 반전된 이미지들의 존재를 인지하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 사용자의 의류를 인지하고 사용자의 의류 상의 마킹들/심볼들(예컨대, 워드들)이 반전되었다는 것을 검출하도록 구성될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 외향 카메라에 의해 캡처된 이미지들의 미러-이미지 버전들을 형성하고 이 미러-이미지 버전들을 저장된 데이터에 표현되는 미러링되지 않은(non-mirrored) 이미지들에 비교하도록 구성될 수 있다. 만약 매치가 존재한다면, 디스플레이 시스템은 리플렉션이 존재한다는 것을 결정하도록 구성될 수 있다. 일부 다른 실시예들에서, 디스플레이 시스템은 그의 데이터베이스에 저장된 객체들의 미러 이미지들(또는 전자 데이터 등가물들)을 형성하고 이 미러 이미지들을 외향 카메라에 의해 캡처된 것과 비교하도록 구성될 수 있다. 만약 매치가 존재한다면, 디스플레이 시스템은 리플렉션이 존재한다는 것을 결정할 수 있다.
[0452]
일부 실시예들에서, 반사 표면에 의한 좌측-우측의 반전은 움직임을 사용하여 검출될 수 있다. 예컨대, 디스플레이 시스템은 가속도계 및/또는 위치 디바이스를 포함할 수 있으며, 사용자가 특정 방향(예컨대, 좌측)으로 이동하고 있지만, 외향 카메라에 의해 캡처된 이미지들은 사용자가 동일 방향으로 이동하고 있다고 결정하도록 처리된다는 것을 결정하도록 구성될 수 있다.
[0453]
일부 다른 실시예들에서, 디스플레이 시스템은, 전자기 방사 및/또는 사운드 파들(또는 다른 파장들의 음향 파들)을 방사하고, 반사 표면의 존재를 결정하기 위해 전자기 방사 및/또는 사운드 파들(또는 다른 파장들의 음향 파들)의 리플렉션을 검출하도록 구성될 수 있다. 반사 표면들, 특히 정반사기들이 비반사 표면들로부터의 리플렉션들보다 덜 확산되는 리플렉션들을 제공할 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 리플렉션을 수신하는 센서(예컨대, 외향 카메라 또는 수신기)로부터의 데이터는 수신된 리플렉션에 의해 암시되는 확산의 양을 결정하기 위해 분석될 수 있다. 미리 결정된 임계치 미만의 확산은, 디스플레이 시스템에 의해, 리플렉션이 정반사기에 의해 제공되었다는 것을 표시한다는 것으로 해석될 수 있다. 본원에서 주목되는 바와 같이, 리플렉션들을 검출하는 이 방법은 리플렉션 검출의 정확도를 증가시키기 위해 하나 또는 그 초과의 다른 방법들과 결합될 수 있다.
[0454]
일부 실시예들에서, 디스플레이 시스템은 사용자가 리플렉션에 있지 않은 경우에도 리플렉션들의 존재를 결정하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 알려진 심볼들(예컨대, 레터들 및/또는 워드들)의 이미지들을 검출하고 심볼들이 반전된다는 것을 결정하도록 구성될 수 있다. 본원에서 개시되는 바와 같이, 디스플레이 시스템은 또한, 리플렉션의 존재를 표시하는 사용자로부터의 입력을 수신하도록 구성될 수 있다. 이러한 입력들은 리플렉션에 제공될 수 있으며 이러한 입력들로 사용자가 리플렉션에 있는지 아니면 없는지 여부가 식별될 수 있다. 일부 다른 실시예들에서, 디스플레이 시스템은 사용자가 보고 있는 객체를 결정하기 위해 응시 검출을 사용할 수 있고, 디스플레이 시스템에는 또한, 뷰잉되고 있는 객체가 리플렉션의 일부분인지 아니면 일부분이 아닌지 여부에 관한 입력을 제공하기 위해 사용자를 위한 실제 또는 가상 선택기(또는 버튼)이 제공될 수 있다.
[0455]
반사 표면들이 고정 위치들에 위치될 수 있다는 것이 인식될 것이다. 게다가, 본원에서 설명되는 바와 같이, 디스플레이 시스템은 다른 사용자들과 정보를 공유하도록 또는 다른 사용자들에게 정보를 전달하도록 구성될 수 있으며, 이 정보는, 다른 사용자들에 의해, 존재할 것으로 사전에 결정된 반사 표면들의 위치 및 배향을 포함할 수 있다. 그 결과, 일부 실시예들에서, 사용자의 위치가 추적될 수 있고, 사용자가 향하는 방향이 결정될 수 있다. 이 위치 및 가시선 정보에 기반하여, 디스플레이 시스템은, 이 정보를 공유한 다른 디스플레이 시스템들 또는 다른 사용자들에 의한 반사 표면의 조기 식별로 인해, 반사 표면이 해당 위치에 존재하는지 여부를 결정하도록 구성될 수 있다.
[0456]
일부 실시예들에서, 본원에서 논의된 입력들 및/또는 기준들 중 다수의 입력들 및/또는 기준들이 분석되며, 이 다수의 입력들 및/또는 기준들은, 루틴이 블록(710)으로 진행할 수 있는 신호를 하나 또는 그 초과의 하드웨어 프로세서들이 생성하기 이전에 검출될 것이 요구된다. 유리하게, 다수의 입력들 및/또는 기준들의 사용은 블록(700)에서 수행되는 결정의 정확도를 개선시킬 수 있다. 일부 실시예들에서, 리플렉션의 존재를 결정하기 위한 적어도 하나의 기준은 사용자에게 고유한 피처들(예컨대, 사용자의 얼굴 상의 바이오메트릭 피처들)을 포함한다. 이는 나중에-디스플레이되는 콘텐츠를 안전하게 만드는 이점을 가질 수 있는데, 왜냐면 콘텐츠는, 사용자가 고유 사용자 피처들을 공급하도록 제시하는 경우에만 디스플레이될 것이기 때문이다. 이러한 보안은, 개인 정보가 증강 현실 콘텐츠로서 디스플레이되는 애플리케이션들에 바람직할 수 있다.
[0457]
일부 실시예들에서, 내향 카메라(500)(도 5)가 제시되는 경우, 카메라(500)는 사용자(60)(도 1b)의 하나 또는 그 초과의 눈들의 홍채 인식을 위한 홍채 스캐너로서 활용될 수 있다. 홍채는 시간이 지남에 따라 안정적인 그리고 각각의 개인에 대해 고유한, 피처들의 고유 세트들을 포함한다는 것이 인식될 것이다. 결과적으로, 고유 패턴들을 정의할 수 있는 피처들의 세트들은, 종종 지문들보다 높은 정밀도로 개인들을 식별하는 데 사용될 수 있다. 이 피처들의 세트들은 예컨대 홍채의 캡처된 이미지의 일부분으로서 카메라(500)에 의해 캡처될 수 있고, 로컬 프로세싱 및 데이터 모듈(70)은, 사용자의 홍채 피처들의 세트의 것과 매칭하는 피처들의 고유 세트가 존재하는지 여부를 검출하기 위해 이미지를 분석할 수 있다. 만약 사용자의 홍채 피처들의 고유 세트가 존재하는 것으로 존재하는 것으로 발견된다면, 로컬 프로세싱 및 데이터 모듈(70)은 매치를 표시하는 신호를 제공하고 사용자는 디스플레이 시스템(80)을 착용하고 있는 것으로 결정된다.
[0458]
일부 다른 실시예들에서, 카메라(500)는 사용자(60)(도 1b)의 하나 또는 그 초과의 눈들에 대한 망막 스캐너로서 사용될 수 있다. 이러한 망막 스캔은 사용자(60)의 눈으로 광을 지향시키도록 구성된 (예컨대, 카메라(500)의 일부분으로서의) 적외선 광 방사기를 포함할 수 있다. 사용자의 망막의 혈관들의 패턴은 고유하며 통상적으로 시간이 지남에 따라 변하지 않는다는 것 그리고 혈관들은 주변 조직들과 상이한 양들의 적외선 광을 반사시킨다는 것이 인식될 것이다. 이 차동 광 흡수에 의해 형성된 고유 패턴은 카메라(500)에 의해 검출될 수 있다. 만약 망막 패턴이 사용자의 망막 패턴과 매칭하는 것으로 발견된다면, 로컬 프로세싱 및 데이터 모듈(70)은 매치를 표시하는 신호를 제공하며, 사용자는 디스플레이 시스템(80)을 착용하고 있는 것으로 결정된다. 일부 실시예들에서, 카메라(500)가 홍채 스캐너 및 망막 스캐너 둘 모두로서 사용될 수 있다는 것이 인식될 것이다.
[0459]
다시 도 12를 참조하면, 일부 실시예들에서, 블록(700)은, 1) (예컨대, 얼굴 인식, 시스템(80) 상의 또는 시스템(80)에 의해 방사되는 식별자, 반사 표면으로부터의 신호의 수신 등을 사용하여) 사용자의 리플렉션이 존재한다는 포지티브 결과를 획득하는 것; 및 2) 사용자가 디스플레이 시스템(80)을 실제로 착용하고 있다는 것을 결정하는 것 둘 모두를 포함한다. 이 실시예들에서 일단 둘 모두의 조건들이 충족된다면, 디스플레이 시스템은 블록(700)으로부터 후속적인 블록으로 진행할 수 있다.
[0460]
일부 실시예들에서, 사용자가 정지하고 있다는 것을 검출하는 선택적인 단계는 블록(700)의 일부분에서 또는 블록들(700 및 710) 간에 수행될 수 있다. 디스플레이 시스템은, 블록(710)으로 진행되기 전에, 사용자가 정지인지 여부의 분석을 수행하도록 프로그래밍될 수 있다. 예컨대, 가속도계, 관성 측정 유닛, 또는 GPS 유닛이 디스플레이 시스템에 제공될 수 있으며, 가속도계, 관성 측정 유닛 또는 GPS 유닛으로부터의 입력들은 하나 또는 그 초과의 하드웨어 프로세서들에 의해 수신될 수 있으며, 이 하나 또는 그 초과의 하드웨어 프로세서들은, 사용자가 특정 시간량(예컨대, 2초 또는 그 초과, 3초 또는 그 초과, 4초 또는 그 초과 또는 5초 또는 그 초과) 동안 정지해있는 것으로 결정될 때까지, 블록(710)으로 진행하지 않도록 명령들로 프로그래밍될 수 있다.
[0461]
일부 다른 실시예들에서, 블록(700)은 수동 동작을 포함할 수 있다. 사용자는 디스플레이 시스템에 입력을 제공함으로써, 리플렉션이 존재한다는 결정을 내릴 수 있다. 예컨대, 디스플레이 시스템은, 예컨대, 리플렉션이 존재한다는, 디스플레이 시스템에 의해 수신가능한 신호를 제공하도록 활성화될 수 있는 수동 또는 가상 스위치를 가질 수 있으며, 이로써 루틴이 블록(710)으로 진행하게 할 수 있다. 다른 예로서, 사용자 음성 커맨드들은 디스플레이 시스템에 입력을 제공하여 리플렉션이 존재한다는 것을 시스템에 경고하기 위해 활용될 수 있다. 또 다른 예들에서, 사용자에 의한, 예컨대 제스처들의 형태의 움직임들은 외향 카메라를 사용하여 사용자의 리플렉션에서 검출될 수 있다. 디스플레이 시스템은 특정 타입들의 입력으로서 특정 움직임들을 인지하도록 구성될 수 있다. 예컨대, 사람이 리플렉션에서 자신의 머리를 가리키는 제스처는, 사용자의 리플렉션이 존재한다는 것을 사용자가 확인응답하는 신호로서 디스플레이 시스템에 의해 인지될 수 있다. 게다가 또는 대안적으로, 자신의 머리를 가리키는 제스처는, 가리키고 있는 얼굴에 대한 얼굴 인식을 수행하여, 사용자의 존재를 결정하도록 디스플레이 시스템에게 지시하는(directing) 입력으로서 디스플레이 시스템에 의해 해석될 수 있다.
[0462]
일부 실시예들에서, 블록(700) 이전에, 반사 표면 상의 또는 반사 표면에 근접한 비콘 및/또는 디스플레이 시스템은 사용자를 반사 표면으로 활발히 유인하도록 구성될 수 있다. 예컨대, 디스플레이 시스템에 의한 비콘의 검출은, 사용자를 반사 표면으로 지향시키기 위해, 시스템으로 하여금 광학 표시자들(예컨대, 화살표, 나침반 또는 지도) 및/또는 청각적 신호들(예컨대, 음성 프롬프트들 또는 알람들)을 디스플레이하게 할 수 있다. 일부 다른 실시예들에서, 디스플레이 시스템에 의해 제공되는 안내 외에도 또는 이에 대한 대안으로서, 반사 표면은 사용자의 존재를 검출하고 반사 표면으로 사용자를 유인하는 신호를 제공하는 감지 디바이스(예컨대, 카메라 또는 근접 센서)를 포함하거나 이에 근접할 수 있다. 예컨대, 신호는 광학 신호(예컨대, 플래시, 플래싱 광, 또는 사이니지(signage)) 또는 가청 경고일 수 있다.
[0463]
일부 실시예들에서, 디스플레이 시스템은 반사 표면들의 위치들을 갖는 데이터베이스를 갖거나 이에 연결될 수 있다. 사용자는 자신들의 위치를 추적하는 (예컨대, 디스플레이 시스템의 일부분으로서) 위치 센서를 가질 수 있고, 디스플레이 시스템은 사용자를 반사 표면으로 활발히 안내하도록 구성될 수 있다. 안내는 (예컨대, 인근 반사 표면을 발견하기 위한 사용자에 의한 요청의 일부분으로서) 사용자에 의해 개시될 수 있거나 또는 시스템의 사전설정된(preset) 기준들에 기반하여 자동으로 생성될 수 있다.
[0464]
디스플레이 시스템 및/또는 비콘 및/또는 감지 디바이스는 또한, 특정 사용자들을 특정 반사 표면들에 유인하는데 선택적이게 구성될 수 있다. 예컨대, 특정 반사 표면으로의 특정 사용자들의 유인은 디스플레이 시스템 및/또는 비콘 및/또는 감지 디바이스에 프로그래밍된 다양한 규칙들에 의해 통제될 수 있다. 일부 실시예들에서, 반사 표면들로 사용자들의 활성 유인은 사용자 성별(gender), 사용자 판매 이력, 사용자 수입 등에 의존할 수 있다. 예컨대, 백화점에서, 프로그래밍된 규칙들은, 사용자로 하여금, 사용자의 성별에 매칭하는 의류 매장의 반사 표면들로만 지향되게 할 수 있다.
[0465]
일부 실시예들에서, 사용자의 아이덴티티 및 상세히 설명된 사용자에 대한 정보는 알려질 수 있는 것이 인식될 것이다. 예컨대, 홍채 및/또는 망막 인식은 사용자를 식별하기 위해 사용될 수 있으며, 이어서 디스플레이 시스템(80)은 사용자에 대한 프로파일을 로드하도록 구성될 수 있다. 프로파일은, 연령 및 성별을 포함하는 다양한 인구통계학(demographic) 기준들, 및 사용자와 반사 표면에서 본 다른 사용자들의 관계를 포함하는 다양한 식별자들을 포함할 수 있다. 이들 식별자들은 반사 표면으로의 사용자들의 활성 유인을 보다 상세하게 맞추기 위해 활용될 수 있다. 예컨대, 디스플레이 시스템은 위에서 주목된 식별자들 중 하나 또는 그 초과의 것에 기반하여 사용자들을 반사 표면들로 지향시키도록 구성될 수 있다.
[0466]
다시 도 12를 참조하면, 블록(700)에 따라 일단 사용자의 리플렉션이 사용자의 뷰 필드에 있는 것으로 발견된다면, 증강 현실 콘텐츠를 디스플레이하는 블록(710)으로 진행하며, 증강 현실 콘텐츠를 디스플레이하는 것은 사용자-선택가능 옵션들을 가상 메뉴에 디스플레이하는 것을 포함할 수 있다. 가상 메뉴는, 반사 표면의 사용자 뷰 또는 주변 환경의 사용자 뷰 상에, 텍스트 및/또는 심볼들을 포함하는 메뉴의 하나 또는 그 초과의 심볼들을 오버레이함으로써 형성되며, 이로써 뷰어가 디스플레이 시스템과 상호작용할 수 있다. 예컨대, 메뉴는, 디스플레이될 추가 증강 현실 콘텐츠를 사용자가 선정할 수 있게 하는 옵션들을 포함할 수 있다. 일부 실시예들에서, 이는 디스플레이 시스템에 프로그래밍되었던 특정 애플리케이션들을 선택하는 것을 수반할 수 있다. 애플리케이션들은 다양한 목적들(예컨대, 패션, 쇼핑, 건강, 뷰티, 교육 등)을 위한 콘텐츠를 생성하기 위한 프로그래밍을 포함할 수 있다. 메뉴 아이템들의 선택은 "가상 터치스크린", 음성 커맨드들, 눈 추적, 제스처들 또는 다른 수단을 통해 이루어질 수 있다. 주변장치들, 이를테면 내향 카메라(500)(도 5)가 제스처들을 캡처하고 눈들을 추적하기 위해 활용될 수 있다.
[0467]
일부 실시예들에서, 외향 카메라(65)(도 1b)는 사용자의 리플렉션에서 카메라(65)에 의해 캡처되는 사용자 입력들을 검출하기 위해 활용될 수 있다. 카메라(65)는 다양한 신체 제스처들 및/또는 눈 움직임들을 캡처하도록 구성될 수 있으며, 디스플레이 시스템은 이 제스처들 및 눈 움직임들을 입력들로서 해석하도록 구성될 수 있다. 예컨대, 특정 신체 제스처들, 손 제스처들, 머리 포즈 및/또는 얼굴 표정들이 특정 입력들인 것으로서 시스템에 프로그래밍될 수 있으며, 이 특정 입력들은 디스플레이 시스템에 의해 특정 액션들을 유발하게 한다. 예로서, 사용자에 의한 찌푸림(frown)은 예 또는 아니오 질문에 대한 "아니오"의 대답에 대응하는 것으로 프로그래밍될 수 있다. 유사하게, 눈 씰룩거림(twitch) 또는 특정 손 제스처는 다른 입력을 디스플레이 시스템에 시그널링하도록 프로그래밍될 수 있다. 일부 실시예들에서, 카메라(65 및/또는 500)는 메뉴 아이템들을 선택하기 위한 눈 추적을 위해 사용될 수 있다.
[0468]
일부 실시예들에서, 본원에서 개시된 바와 같이, 카메라(65 및/또는 500)는 사용자의 얼굴 및/또는 신체의 이미지들(비디오 포함)을 캡처하여, 증강 현실 콘텐츠에 대한 사용자의 감정 반응을 포함하는 사용자의 감정 상태를 결정하기 위해 사용될 수 있다. 감정 상태의 특정 결정에 의해 생성된 증강 현실 콘텐츠는 콘텍스트에 민감할 수 있다는 것이 인식될 것이다. 위에서 주목된 바와 같이, 예 또는 아니오 질문의 콘텍스트에서, 사용자의 얼굴에서 찌푸림의 검출은 "아니오" 입력 신호로서 해석될 수 있다. 일부 다른 콘텍스트들에서, 이를테면, 운동 루틴들, 물리 치료 또는 목표가 활동을 계속하는 것인 다른 활동들 동안 찌푸림이 발생할 때, 디스플레이 시스템은 (예컨대, 위치, 활동에 참여하는 것에 관한 사용자 입력들 등에 기반하여) 활동을 검출하도록 그리고 활동에 기반하여 긍정적 강화(positive reinforcement)를 제공하는 증강 현실 콘텐츠를 제공하도록 프로그래밍될 수 있다. 예컨대, 디스플레이 시스템은 사용자에게 동기를 부여하기 위해 또는 사용자의 신뢰성을 증가시키기 위해 지정된 이미지들 및/또는 오디오를 생성하도록 구성될 수 있다. 예로서, 긍정적 강화는, 사용자가 목표를 실현하는데 얼마나 근접한지를(예컨대, 얼마나 많은 시간이 남아있는지 등) 그리고/또는 베이스라인에 대해 사용자가 그들의 성능을 얼마나 많이 개선했는지를 (예컨대, 그들의 스피드, 세기 등의 측정들을 그래픽으로 디스플레이하여) 도시하는 증강 현실 콘텐츠를 디스플레이하는 것을 포함할 수 있다. 일부 다른 콘텍스트들에서, 이를테면, 사용자가 특정 세팅(예컨대, 상업적, 산업적, 군사적 또는 임상적 세팅)에 있거나 홈 미러 정면에 있다는 것을 시스템이 검출할 때, 시스템은 그 세팅에 관련된 사용자에게 동기 큐들을 제공하도록 구성될 수 있다. 일부 실시예들에서, 찌푸림에 대한 응답으로, 증강 현실 콘텐츠는 사용자의 외모에 관한 긍정적 강화를 포함할 수 있다. 예컨대, 디스플레이 시스템은, 사용자의 복장 및/또는 메이크업의 컬러들이 상보적인 것으로 고려될 수 있는 범위 내에 있음을 표시하는 신호를 제공할 수 있다. 복장 및/또는 메이크업이 디스플레이 시스템에 의해 생성된 증강 현실 콘텐츠를 포함할 수 있다는 것이 인식될 것이다.
[0469]
도 12를 계속 참조하면, 일부 실시예들에서, 카메라(500)(도 5) 및/또는 카메라(65)(도 1b)에 의한 눈 추적은 생성되는 콘텐츠를 수정하기 위해 증강 현실 콘텐츠를 생성하는 과정 동안 활용될 수 있다. 예컨대, 사용자의 눈이 객체에 포커싱된 채 유지되는 시간("응시 시간") 길이 및/또는 사용자의 동공 영역에서의 변경은, 디스플레이 시스템에 의해, 그 객체의 관심 레벨의 싸인으로서 해석될 수 있다. 긴 시간 길이 및/또는 동공 영역에서의 증가는 객체의 고레벨 관심을 표시할 수 있다. 리테일 세팅에서, 이는 객체와 동일한 타입의 더 많은 아이템들이 디스플레이되게 할 수 있다. 예컨대, 프로그래밍된 임계치 지속기간을 초과하는 지속기간 동안, 신발을 보고 있는 사용자에게는 그의 발들의 리플렉션이 오버레이되어 디스플레이될 수 있는, 추가 신발들에 대한 메뉴 옵션이 제공될 수 있다. 일부 실시예들에서, 응시 시간은 증강 현실 콘텐츠로서 디스플레이되는 옵션들이 사용자에게 제시되는 스피드를 변하게 하기 위해 활용될 수 있다. 예컨대, 만약 사용자의 눈이 프로그래밍된 임계치 지속기간을 초과하는 지속기간 동안 특정 메뉴 선정에 집착되었다는 것을 디스플레이 시스템이 검출한다면, 시스템은 다른 선정들의 디스플레이를 늦추거나 중단할 수 있다.
[0470]
일부 실시예들에서, 디스플레이된 콘텐츠의 타입들 및/또는 개인화된 메뉴는, 사용자의 인식에 기반하여, 얼굴 인식, 바이오메트릭 데이터 또는 고유 식별자들의 검출을 통해, 예컨대, RFID 또는 블루투스와 같은 기술을 사용하여, 사용자와 배타적으로 연관된 디바이스 상에서, 자동으로 시작될 수 있다. 일부 실시예들에서, 시스템(80)은 사용자의 리플렉션을 분석함으로써 그리고/또는 고유 식별자를 검출함으로써 사용자를 인지하도록 프로그래밍될 수 있다. 포지티브 매치는 개인화된 증강 현실 콘텐츠의 디스플레이를 초래한다. 자동적으로 개시되는 메뉴의 예는 사용자의 미리 미리선택된 콘텐츠 애플리케이션들 및 커스터마이징된 콘텐츠, 이를테면 캘린더, 이메일, 소셜 미디어, 뉴스 피드들, 날씨, 교통 등이 있는 "커스텀 데스크톱(custom desktop)"을 포함할 수 있다. 유리하게, 사용자에 고유한 식별자들의 검출을 요구하는 인식 프로토콜들은, 다수의 사용자들 간에 단일 디스플레이 시스템이 공유되게 하면서 각각의 사용자에 대한 개인화된 경험이 제공되게 할 수 있는 것 외에도, 사용자의 개인화된 콘텐츠의 더 큰 보안을 허용할 수 있다. 본원에서 주목되는 바와 같이, 일부 실시예들에서, 내향 카메라(500)는, 예컨대, 개인 또는 개인화된 증강 현실 콘텐츠를 디스플레이하기 전에 사용자가 디스플레이 시스템(80)(도 1b)을 실제 착용하고 있는 사람이라는 것을 확인하기 위해 홍채 및/또는 망막 인식을 수행함으로써, 부가 보안 계층을 제공하기 위해 활용될 수 있다.
[0471]
디스플레이되는 콘텐츠의 타입은 블록(710)이 수행될 때마다 일관될 수 있거나 또는 동적일 수 있고, 다양한 트리거들에 의존하여 변할 수 있다는 것이 인식될 것이다. 예컨대, 사용자의 개인화된 메뉴는 블록(710)이 수행될 때마다 초기에 디스플레이될 수 있다. 일부 실시예들에서, 디스플레이되는 증강 현실 콘텐츠의 타입은 다양한 기준들(예컨대, 위치, 시간/요일/날짜, 사용자 외모, 외부 주변 큐들, 뉴스 피드들, 소셜 미디어 피드들을 통해 수신되는 실시간 이벤트들 등)에 의존하여 변할 수 있다. 이 기준들은, 하나 초과의 기준이 충족되는 경우에 디스플레이할 콘텐츠의 타입을 결정하기 위해 특정 가중치들에 등급을 매기거나 이 특정 가중치들을 할당 받을 수 있다. 일부 실시예들에서, 증강 현실 콘텐츠는, 예컨대, 사용자에 의한 가상 메뉴 선택을 요구하지 않고, 자동적으로 디스플레이될 수 있다. 디스플레이되는 콘텐츠는, 다양한 미리 선택된 기준들(예컨대, 위치, 시간/요일/날짜, 사용자 외모, 외부 주변 큐들, 뉴스 피드들, 소셜 미디어 피드들을 통해 수신되는 실시간 이벤트들 등)이 충족되는지 여부에 의해 결정될 수 있다. 본원에서 개시되는 증강 콘텐츠의 타입들 및 기능들 중 임의의 것, 이들 모두 또는 이들의 조합이 메뉴 선택을 통해 액세스될 수 있거나, 또는 사용자 입력 없이 자동적으로 시작될 수 있도록, 디스플레이 시스템이 프로그래밍될 수 있다는 것이 인식될 것이다.
[0472]
본원에서 논의되는 바와 같이, 일부 실시예들에서, 블록(700)을 통과한 후 자동으로 생성되었든 또는 메뉴 아이템의 선택으로 인해 생성되었든지 간에, 디스플레이되는 콘텐츠의 타입들은 하루중 시간, 일주일중 하루 및/또는 날짜에 기반하여 결정될 수 있다. 예컨대, 디스플레이 시스템은 블록들(700 또는 710)의 일부분으로서 날짜 및/또는 날짜중 시간을 결정하도록 프로그래밍될 수 있다. 하루중 시간 동안의 상이한 결과들은, 개인 몸치장 활동들, 치실로 이를 깨끗이 하는 것, 약의 섭취량, 약을 먹으라고 지시하는 것 등에 관한 상이한 리마인더들의 디스플레이를 초래할 수 있다. 일부 경우들에서, 반복 액션들에 대한 경고들 또는 리마인더들이 제공될 수 있다. 예컨대, 소정의 리마인더들은 소정의 날짜들 또는 일주일중 며칠과 연관될 수 있으며; 이 리마인더들은 일단 실제 날짜 또는 하루가 리마인더를 위한 트리거 날짜 또는 하루에 매칭한다면 디스플레이될 수 있다.
[0473]
일부 실시예들에서, 증강 현실 콘텐츠는 위치 특정형 및/또는 환경 특정형일 수 있다. 사용자의 위치는 사용자로부터 위치에 관한 입력을 수신함으로써 결정될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 GPS 디바이스들 및/또는 가속도계/나침반 디바이스를 포함할 수 있으며, 시스템은 위치를 결정하기 위해 액세스하도록 프로그래밍된다. 일부 실시예들에서, 카메라에 의해 캡처된 이미지들은, 이미지들을 디스플레이 시스템에 저장된 피처들(예컨대, 싸인들, 고유 식별자들, 랜드마크들 및/또는 구조들)과 비교함으로써, 사용자의 위치를 결정하기 위해 로컬 데이터 프로세싱 모듈(70) 또는 원격 프로세싱 모듈(72)(도 1b)에 의해 분석될 수 있다. 일부 실시예들에서, 시스템은 브로드캐스트된 특정 위치들(예컨대, 스토어들, 레스토랑들 등)의 무선 식별자를 수신함으로써 위치를 결정하도록 프로그래밍된다. 예로서, 위치의 결정은 뷰어의 욕실에 있는 미러 또는 상업적 리테일 설정(예컨대, 백화점)에 있는 또는 다른 설정(예컨대, 상업적, 산업적, 군사적 또는 임상적 세팅)에 있는 미러로서 반사 표면을 식별할 수 있다. 디스플레이되는 정보는 각각의 위치에 맞춰질 수 있다. 예컨대, 본원에서 개시된 바와 같이, 개인 몸치장 정보 또는 리마인더들은 사용자의 욕실에 제공될 수 있는 반면, 스토어 광고들은 백화점에 제공될 수 있다.
[0474]
일부 실시예들에서, 위치에 의존하는 것 외에도 또는 위치에 의존하는 대신, 증강 현실 콘텐츠는 사용자의 환경(예컨대, 사람들, 객체들 또는 환경 조건들)의 피처들 또는 특성들에 의존할 수 있다. 예컨대, 디스플레이 시스템과 통신하는 카메라(65)(도 1b) 또는 다른 카메라들은 사용자의 환경을 이미징할 수 있으며, 디스플레이 시스템은 그 환경에서 피처들(사람들 또는 객체들)을 식별하도록 구성될 수 있거나, 또는 다른 센서들(예컨대, 온도 센서들)은 환경에 관한 데이터를 획득하기 위해 활용될 수 있다. 후속하여 증강 현실 콘텐츠는 환경에 관한 데이터 또는 환경 피처들의 식별에 기반하여 선택될 수 있다. 예컨대, 리플렉션에서 다른 개인의 아이덴티티는 얼굴 인식 소프트웨어를 사용하여 만들어질 수 있고, 디스플레이 시스템은 그 다른 개인을 식별하는 증강 현실 콘텐츠를 생성할 수 있다. 이러한 식별은, 예컨대 치매 환자들이 간병인들 또는 사랑하는 사람들을 식별하는 것을 돕기 위해 활용될 수 있다. 다른 예로서, 카메라 및 환경 센서는 따뜻하고 화창한 날을 식별할 수 있으며, 이는 다른 증강 현실 콘텐츠, 이를테면 그러한 날에 적합한 모자들 또는 다른 물품에 대한 판매에 관한 경고를 트리거할 수 있다.
[0475]
일부 실시예들에서, 일부 세팅들에서(예컨대, 물리 스토어에서, 또는 온-라인으로 가상 스토어를 뷰잉하는 동안), 증강 현실 콘텐츠는, 일반적으로 스토어로부터의 또는 사용자가 위치하는 스토어의 특정 부분 또는 매장으로부터의 할인 판매 또는 다른 경고들을 포함할 수 있다. 일부 실시예들에서, 사용자가 리테일 세팅에 있다는 것을 결정하는 것은 블록(710)의 일부분으로서 서브루틴을 개시할 수 있다. 예컨대, 서브루틴은 다음을 포함할 수 있다:
●
사용자의 아이덴티티를 결정하는 것;
●
사용자의 구매 또는 브라우징 이력에 액세스하는 것; 및
●
구매 또는 브라우징 이력에 기반한 할인 판매를 생성하는 것.
[0476]
디스플레이 시스템이 리테일 위치 또는 가상 스토어에 있는 사용자가 보는 아이템들을 캡처하고 카달로그화(catalogue)할 수 있는 카메라를 포함한다는 것이 인식될 것이다. 그 결과, 시스템은 이 브라우징 이력으로부터 "학습"하여, 패턴 또는 공통 피처들 또는 카테고리에 대한 아이템을 분석하고, 이어서, 해당 쇼핑 세션에 있는 사용자가 관심을 가질 가능성이 있는 아이템들에 대한 판매 정보를 포함하는 정보를 디스플레이한다. 일부 실시예들에서, 부가 브라우징 및 구매 정보는 쇼핑 세션 동안 수집되며, 디스플레이되는 할인 판매는 부가 정보에 기반하여 정제될 수 있으며, 이는 이 할인 판매의 관련성을 증가시킬 수 있다. 쇼핑 세션에서 브라우징되거나 구매된 아이템들은, 예컨대 원격 데이터 저장소(74)(도 1b)에 저장될 수 있다. 이 정보는 향후 쇼핑 여행(excursion)들에서 액세스되어 사용자에게 관련성있는 콘텐츠를 제공할 수 있다.
[0477]
일부 실시예들에서, 사용자의 아이덴티티는 블록(710) 이전에 결정될 수 있다. 일부 실시예들에서, 식별된 사용자에 관한 정보는, 예컨대, 리테일 위치에 또는 다른 설정(예컨대, 상업적, 산업적, 군사적 또는 임상적 세팅)에 있는 수신 스테이션들에 의해 수집될 수 있다. 일부 실시예들에서, 수신 스테이션들은 (예컨대, 반사 표면들 상의 또는 이에 근접한 비콘들의 일부분으로서) 반사 표면들 상에 배치되거나 이에 근접할 있을 수 있고, 메모리 디바이스와 관련한 프로세스를 포함할 수 있다. 정보의 수집은 예컨대, 트랜잭션 이력을 포함하는 사용자의 활동들을 포함할 수 있으며, 이전 행방들이 수집될 수 있다. 일부 실시예들에서, 이 정보는 개인화된 콘텐츠를 제공하기 위해 활용될 수 있으며 그리고/또는 추가 사용 및 분석을 위해 간단히 수집될 수 있다. 예컨대, 정보가 분석될 수 있고, 수집된 정보에 기반하여 스토어 내의 특정 위치로 사용자를 지향시키기 위해 증강 현실 콘텐츠가 생성될 수 있다.
[0478]
도 12를 계속 참조하면, 일부 실시예들에서, 블록(710)은 의류, 의류 액세서리들, 보석 또는 사용자가 착용할 수 있는 다른 물품들의 이미지들을 포함하는 증강 현실 콘텐츠를 디스플레이하는 것을 포함할 수 있다. 이미지들은 사용자의 리플렉션 상에 오버레이될 수 있고, 이로써 하나 또는 그 초과의 물품들을 "입어보기(trying on)"하는 사용자가 시뮬레이트된다. 이 "입어보기"는 리테일 세팅에서(예컨대, 브릭 앤 모타르(brick and mortar) 스토어의 미러 정면에서) 수행될 수 있거나 또는 가상으로 수행될 수 있다(예컨대, 사용자가 온라인으로 아이템들을 브라우징하는 동안, 사용자가 가상으로 "입어보기"할 아이템을 선택할 수 있음)는 것이 인식될 것이다.
[0479]
일부 실시예들에서, 증강 현실 콘텐츠는 사용자의 리플렉션을 오버레이하며 사용자의 의류 또는 사용자가 착용한 다른 물품의 시각적으로-관찰된 특성을 수정하는 이미지들을 포함할 수 있다. 예컨대, 물품의 컬러, 텍스처 및 패턴 중 하나 또는 그 초과의 것은 물리 물품의 리플렉션을 차단하는 이미지를 디스플레이하고 그 리플렉션을 증강 현실 콘텐츠로 교체함으로써 수정될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 사용자 주변의 주변 환경의 외관을 변경하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 주변 환경의 인지된 라이팅을 변경하도록 구성될 수 있다. 은은한 광(lowlight) 조건들은 광이 사용자에게 도달하는 것을 차단함으로써 실현될 수 있지만, 밝은(bright) 조건들은 광이 사용자에게 도달하는 것을 증강시킴으로써 실현될 수 있다. 겉보기(apparent) 라이팅 조건들의 이러한 변화들은, 각각, 예컨대, 이브닝 가운이 은은한 광에서 어떻게 보이는지를 결정하기 위해 또는 수영복이 밝은 광에서 어떻게 보이는지를 결정하기 위해 사용될 수 있다. 게다가, 디스플레이 시스템은 주변 환경 자체의 외관을 변경하도록 구성될 수 있다. 예컨대, 디스플레이 시스템에 의해 제공되는 증강 현실 콘텐츠는 사용자의 리플렉션 주변의 백그라운드 풍경을 포함할 수 있다. 예로서, 증강 현실 콘텐츠는 무도회장 세팅에서 이브닝 가운이 어떻게 보이는지를 사용자가 볼 수 있게 하기 위해 무도회장 세팅에 대응하는 풍경을 포함할 수 있거나, 또는 증강 현실 콘텐츠는 해변 세팅에서 수영복이 어떻게 보이는지를 사용자가 볼 수 있게 하기 위해 해변을 포함할 수 있다.
[0480]
일부 실시예들에서, 증강 현실 콘텐츠는 사용자 신체의 리플렉션의 사용자 뷰를 수정하는 이미지들을 포함할 수 있다. 예컨대, 증강 현실 콘텐츠는 미용 수술들, 체중 감소, 치아 미백, 새로운 헤어컷들, 문신들, 영구 화장들 등의 가능한 결과들을 도시하기 위해 사용자의 리플렉션을 오버레이할 수 있다.
[0481]
일부 실시예들에서, 디스플레이 시스템은 본원에서 논의된 바와 같이 모션 및/또는 신체 포지션의 변경들을 검출하기 위한 센서들을 포함할 수 있다. 모션 또는 신체 포지션의 변경들에 관한 정보는 증강 현실 콘텐츠를 향상시키기 위해 사용될 수 있다. 예컨대, 가상 드레스가 사용자의 리플렉션 위에 놓이도록 디스플레이된 후, 디스플레이 시스템에(그리고 이에 따라 사용자에) 부착된 가속도계들 및 자이로스코프들은 사용자의 기울어짐 및 회전을 검출하고, 가상 드레스의 적합한 뷰들 및/또는 가상 드레스에 의한 모션의 지각들을 적용할 수 있다. 유사하게, 반사 표면에 더 근접하거나 이로부터 더 멀리 떨어지는 사용자의 움직임은 증강 현실 콘텐츠에 대한 적합한 스케일링을 결정하기 위해, 모션 또는 위치 센서들에 의해 또는 반사 표면으로 지향되는 거리 센서들에 의해 추적될 수 있다. 일부 다른 실시예들에서, 모션, 사용자에 의한 신체 포지션의 변경들 및/또는 증강 현실 콘텐츠에 대한 적합한 스케일링은 카메라(예컨대, 카메라(65), 도 1b))에 의해 캡처된 바와 같이 사용자의 리플렉션을 분석함으로써 성취될 수 있다.
[0482]
본원에서 논의된 바와 같이, 디스플레이 시스템은 원격 서버들(예컨대, "클라우드-기반" 서버들) 또는 다른 디스플레이 시스템과의 통신들을 허용할 수 있는 유선 또는 무선 통신 채널들을 포함할 수 있다. 일부 실시예들에서, 디스플레이 시스템은 이러한 통신 채널들에 의해 제공되는 상호연결을 통해 디스플레이 시스템들 간에 콘텐츠를 전송함으로써 콘텐츠를 공유하도록 구성될 수 있다. 디스플레이 시스템들 간의 연결들은 시스템간 직접 연결들을 지시할 수도 있고 하나 또는 그 초과의 다른 컴퓨터 시스템들을 포함하는 네트워크를 통해 제공될 수 있다. 예컨대, 사용자는 의류의 변경들을 포함한 그 자신의 외관에 대한 수정들을 뷰잉할 수 있을 수 있고 이 정보를 하나 또는 그 초과의 다른 사용자들에게 송신할 수 있을 수도 있다. 예컨대, 송신된 정보는 사용자의 실제 리플렉션의 이미지들 및 리플렉션 상에 오버레이되는 임의의 증강 현실 콘텐츠를 포함할 수 있다. 다른 사용자들은 디스플레이 시스템들에서 증강 현실 콘텐츠로서 이 정보를 볼 수 있다. 그러한 다른 디스플레이 시스템들은 또한, 오버레이된 증강 현실 콘텐츠를 갖는 리플렉션들의 이미지들을 포함해서, 그의 사용자들의 리플렉션들을 송신 및 공유하도록 구성될 수 있다. 사용자들은 동일한 물리 위치에 있을 수 있거나, 서로 원격일 수 있고, 그리하여 공유된 콘텐츠는 인터랙티브 그룹 경험을 제공한다. 일부 실시예들에서, 디스플레이 디바이스 상의 마이크로폰들(67) 및 스피커들(66)(도 1b)은 사용자들이 서로 통신하게 할 수 있다.
[0483]
일부 실시예들에서, 원격 서버들은 다른 개인들이 디스플레이 시스템, 이를테면, 디스플레이 시스템(80)의 사용자들인지 여부에 관계없이, 그 개인들에 의해 액세스될 수 있다. 일부 실시예들에서, 원격 서버들은 원격 데이터 저장소(74)의 일부분일 수 있다. 원격 서버들은 서비스들 또는 애플리케이션들에 의해 세팅된 기간들 동안 사용자의 콘텐츠에 대한 액세스를 제공할 수 있는 다양한 "소셜 미디어" 서비스들 또는 애플리케이션들의 일부분이거나 그에 액세스 가능할 수 있다. 예컨대, 사용자가 볼 수 있는 증강 현실 콘텐츠는 콘텐츠에 대한 액세스를 제공하는 제 3 자 서비스에 의해 관리되는 서버에 콘텐츠를 업로드함으로써 사용자에 의해 공유될 수 있다.
[0484]
일부 실시예에서, 디스플레이 시스템은 하나 또는 그 초과의 다른 사용자들에게 그의 데이터의 일부분(예컨대, 사용자의 리플렉션 및/또는 사용자에 대해 생성된 증강 현실 콘텐츠)를 송신하도록 구성될 수 있어서, 이들 사용자들은 (예컨대, 사용자의 리플렉션 및/또는 증강 현실 콘텐츠를 뷰잉함으로써) 공유된 데이터를 경험할 수 있다. 따라서, 한 사용자의 가상 세계의 일부분은 제2 사용자에게 통과될 수 있다. 예컨대, 디스플레이 시스템은 제1 사용자에 대한 오버레이에 대응하는 증강 현실 콘텐츠를 제2 사용자에게 제공하도록 구성될 수 있다. 증강 현실 콘텐츠는 의류, 이를테면, 드레스일 수 있다. 따라서, 디스플레이 시스템은 드레스에 대응하는 증강 현실 콘텐츠가, 제1 및 제2 사용자들 둘 모두의 리플렉션들 또는 제1 사용자가 드레스에 관한 정보를 제2 사용자에게 통과시킨 후 단지 제2 사용자의 리플렉션과 오버레이되게 할 수 있게 함으로써 제1 및 제2 사용자들 둘 모두가 드레스를 가상으로 입어볼 수 있도록 구성될 수 있다. 이 정보는 객체의 이미지 데이터 이외의 데이터를 포함할 수 있다는 것이 인식될 것이다. 예컨대, 정보는 객체에 관한 주석들 또는 메모들을 포함할 수 있어서, 예컨대, 제2 사용자는 객체에 관한 제1 사용자로부터 코멘트들을 수신할 수 있다. 이러한 코멘트들은 예컨대, 이미지들, 텍스트 및/또는 사운드의 형태로 예컨대, 증강 현실 콘텐츠로서 디스플레이될 수 있다. 사용자들 간에 콘텐츠를 통과시키고 식별하기 위한 시스템들의 예들은 2015년 8월 20일자로 공개되고 Recognizing Objects in a Passable World Model in Augmented or Virtual Reality Systems란 명칭을 갖는 U.S. 2015/0235435에서 발견할 수 있으며, 그의 전체 개시내용은 인용에 의해 본원에 통합된다.
[0485]
일부 실시예들에서, 뷰어에게 디스플레이되는 증강 현실 콘텐츠를 도시하는 이미지들 및 비디오들 및/또는 그 자신의 리플렉션과 함께 그 콘텐츠의 사용자의 뷰는 원격 서버에 업로드될 수 있다. 업로드는 예컨대, 사용자에 의한 가상 메뉴 아이템의 선택에 의해, 음성 커맨드들의 사용에 의해, 그리고/또는 음성 커맨드들 또는 메뉴 선택들과 별개의 신체 제스처들 또는 움직임들의 사용에 의해 생성된 시스템(80)의 업로드 신호에 의해 개시될 수 있다. 업로드 신호를 생성하기 이전 또는 이후에, 사용자에게는 단지 증강 현실 콘텐츠 또는 증강 현실 정보 외에도 사용자의 리플렉션의 하나 또는 그 초과의 캡처된 이미지들 또는 비디오들을 업로드하기 위한 메뉴 옵션이 제공될 수 있다. 예컨대, 사용자의 리플렉션은 카메라(65)에 의해 캡처될 수 있고, 증강 현실 콘텐츠는 디스플레이(62)에 제공된 콘텐츠일 수 있다. 카메라(65)는 캡처된 이미지들 또는 비디오들을 로컬 프로세싱 및 데이터 모듈(70)에 전자적으로 통신할 수 있으며, 로컬 프로세싱 및 데이터 모듈(70)은 이어서 그러한 이미지들 또는 비디오들을 원격 서버들에 통신한다. 일부 실시예들에서, 증강 현실 콘텐츠는 로컬 프로세싱 및 데이터 모듈(70)에 일시적으로 저장되고 원격 서버에 업로드될 수 있거나, 로컬 프로세싱 및 데이터 모듈(70)에 의해 다른 서버들로부터 콘텐츠를 공유하는 데 사용되는 원격 서버들로 단순히 라우팅될 수 있다는 것이 인식될 것이다.
[0486]
일 예에서, 의류의 아이템을 도시하는 증강 현실 콘텐츠에는 그들이 의류의 아이템(예컨대, 리플렉션을 오버레이하는 의류의 아이템과 함께 그들의 리플렉션의 이미지)을 "입은(trying on)" 이미지를 사용자가 공유할 수 있게 하는 가상 버튼이 제시될 수 있다. 가상 버튼의 선택은 이미지 또는 비디오를 캡처하는 옵션과 함께 가상 서브-메뉴가 디스플레이되게 한다. 일부 다른 실시예들에서, 서브-메뉴는 동시에 디스플레이되는 다수의 콘텐츠-공유 가상 버튼들(공유될 이미지들에 대한 선택을 위한 하나의 버튼 및 공유될 비디오들에 대한 선택을 위한 하나의 버튼)을 사용함으로써 제거된다. 일단 선택이 이루어지면, 디스플레이 시스템 상의 카메라는 사용자의 리플렉션의 이미지 또는 비디오를 캡처하고, 이미지 또는 비디오 및 연관된 증강 현실 콘텐츠가 로컬 프로세싱 및 데이터 모듈(70)에 의해 다른 사람들에 의해 액세스 가능한 원격 서버로 업로드되게 한다. 이어서, 그러한 다른 사람들은 다양한 다른 디스플레이 디바이스들, 예컨대, 폰들, 개인 컴퓨터들, 태블릿들 상에서 이미지 또는 비디오를 뷰잉할 수 있다.
[0487]
반사 표면 근위의 수신 스테이션에 의한 사용자 정보의 수집은, 상이한 반사 표면들이 네트워킹되지 않거나 그렇지 않고 서로 통신하지 않는 경우(예컨대, 상이한 반사 표면들이 스토어 내의 상이한 부서들 또는 상이한 스토어들에 있는 경우)조차도, 수신 스테이션들을 갖는 상이한 반사 표면들이 사용자의 웨어러블 디스플레이 시스템(80)을 통해 이 데이터를 효과적으로 공유하게 할 수 있다는 것이 인식될 것이다. 게다가, 일부 실시예들에서, 정보는 특정 사용자의 웨어러블 디스플레이 시스템(80)에 영구적으로 저장될 필요는 없다. 오히려, 일부 실시예들에서, 정보의 일부분 또는 전부는 단순히 수신 스테이션에 전달되고, 여기서 이것은 아마도 증강 현실 콘텐츠를 생성하기 위해 분석되고 수정될 수 있다. 이어서, 수정된 콘텐츠는 다른 반사 표면 상의 다른 수신 스테이션으로의 나중의 전달을 위해 사용자의 웨어러블 디스플레이 시스템(80)에 다시 전달될 수 있다. 일부 실시예들에서, (사용자의 웨어러블 디스플레이 시스템(80)으로부터 수신 스테이션으로든 또는 그 반대로든) 정보의 각각의 전달 시에, 정보는 정보를 전달한 디바이스에 보유되지 않는다. 일부 다른 실시예들에서, 정보의 전부 또는 일부분은 수신 스테이션 및/또는 웨어러블 디스플레이 시스템(80)에 의해 보유된다.
[0488]
일부 실시예들에서, 일부 정보는 수신 스테이션의 연관된 반사 표면과 사용자들, 예컨대, 다른 사용자들의 후속적인 상호작용들을 향상시키기 위해 수신 스테이션에 의해 보유된다. 예컨대, 정보는 특정 다른 사용자들에 대한 증강 현실 콘텐츠를 포함할 수 있다. 다른 사용자가 반사 표면 근위로 오고 수신 스테이션에 의해 식별됨에 따라, 수신 스테이션은 또한 조기 사용자에 의해 남겨진 콘텐츠를 수신하도록 사용자들의 리스트에 대해 다른 사용자의 아이덴티티를 비교한다. 일단 사용자 및 콘텐츠의 긍정적인 매치가 이루어지면, 다른 사용자에게는 조기 사용자에 의해 그들에 대해 남겨진 콘텐츠가 도시된다. 이러한 콘텐츠는 예컨대, 그 수신 스테이션의 연관된 반사 표면 근처의 특정 물품을 착용한 조기 사용자의 이미지들을 포함할 수 있다.
[0489]
일부 실시예들에서, 디스플레이 시스템은 하나 또는 그 초과의 카메라들(예컨대, 외향 및 내향 카메라들)을 포함하기 때문에, 사용자의 이미지들은 캡처되고 분석되어 건강 및/또는 뷰티 스크리닝을 제공할 수 있다. 증강 현실 콘텐츠는 건강 및/또는 뷰티 스크리닝의 결과들에 기반하여 생성되고 이어서 디스플레이될 수 있다. 건강 스크리닝은 신체적 및/또는 정신적 건강 스크리닝일 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 카메라는 시각적 스펙트럼 외부의 파장들의 광(예컨대, 적외선 또는 자외선)을 검출할 수 있는 센서를 포함할 수 있고, 광학 스펙트럼 외부의 그러한 광을 방사하기 위한 광 소스를 또한 포함할 수 있다. 방사된 광은 사용자를 조명하고 시각적 스펙트럼 광을 사용하여 자명하지 않은 조건들을 검출하기 위한 기초를 제공할 수 있다. 일부 다른 실시예들에서, 카메라는 다양한 검출 목적들(예컨대, 매핑, 깊이 감지 및 사용자의 신체 내측 스캐닝을 포함한 3-D 스캐닝)을 위해 사운드 파들(예컨대, 초음파)을 각각 생성 및 수신하기 위한 사운드 트랜스듀서 및 수신기로 교체될 수 있거나, 또는 이를 포함할 수 있다.
[0490]
일부 실시예들에서, 뷰티 제품들에 대한 요구가 결정될 수 있고 제품들 또는 절차들을 제안하는 경고가 디스플레이될 수 있다. 예컨대, 얼굴의 시각적 분석은 고레벨들의 얼굴 털이 존재한다고 결정할 수 있다. 이 얼굴 털의 검출은 면도에 대한 제안 및/또는 면도 크림의 주문을 초래할 수 있다.
[0491]
일부 실시예들에서, 사용자의 리플렉션들의 하나 또는 그 초과의 이미지들은 연장된 시간 인터벌에 걸쳐 캡처된다. 예컨대, 이미지들은 블록(700)에서 캡처된 사용자의 리플렉션들일 수 있다. 이미지들은 저장될 수 있거나, 또는 이미지들로부터 유도된 데이터(예컨대, 얼굴 피처들의 측정들, 컬러 등)는 예컨대, 로컬 프로세싱 및 데이터 모듈(70)에 로컬로 또는 원격 데이터 저장소(74)(도 1b)에 원격으로 저장될 수 있다. 로컬 프로세싱 및 데이터 모듈(70) 또는 원격 프로세싱 모듈(72)은 사용자의 현재 이미지와 저장된 이미지들 또는 데이터 간의 비교를 수행하도록 구성될 수 있다.
[0492]
이미지들이 캡처되고 저장되는 시간 인터벌은 일들, 달들, 년들 또는 아마도, 사용자의 수명 대부분을 포함할 수 있는, 사용자가 디스플레이 시스템을 활용하는 시간의 전체 스팬일 수 있다. 일부 실시예들에서, 이미지 캡처의 빈도는 임의로 세팅될 수 있다. 바람직하게, 이미지 캡처의 빈도는 사용자에 대한 광범위한 조건들 및 변경들이 평가되게 할 수 있도록 적어도 매주, 그리고 보다 바람직하게, 매일이다.
[0493]
바람직하게, 이미지들은 이미지들과 동시에 획득된 저장된 데이터와 함께 저장되거나, 그렇지 않고 이에 링크될 수 있다. 예컨대, 주어진 이미지는 연관된 정보, 이를테면, 주변 광에 관한 판독들(예컨대, 주변 광의 강도, 주변 광에서 상이한 파장들의 광의 비율들 등), 미러로부터 사용자의 거리, 하루 중 시간 등을 가질 수 있다. 이러한 데이터는 상이한 조건들 하에서 상이한 시간들에 취해진 이미지들 간의 정확한 비교를 제공하는 것을 돕는데 도움이 될 수 있다. 예컨대, 데이터는 환경 조건들, 이를테면, 주변 광의 양 또는 파장 분배의 차이들에 의해 유발된 기형들을 필터링하는 것을 돕기 위해 캡처된 이미지들을 정규화하는 데 활용될 수 있다.
[0494]
블록(710)(도 12)에서, 디스플레이된 증강 현실 콘텐츠는 비교의 결과들을 포함할 수 있다. 결과들은 예컨대, 털 컬러, 털 길이, 피부 컬러 또는 톤, 기공 크기, 주름들의 수 및 정도, 근육 크기 및 톤 등에서 변경들이 발견되었다는 통지를 포함할 수 있다. 일부 다른 실시예들에서, 디스플레이 시스템이 비-시각적 파라미터들을 검출하기 위한 센서들을 포함하는 경우, 또는 디스플레이 시스템이 다른 파라미터들(예컨대, 사용자 신체 지방 레벨들, 신체 용적 지수 등)에 대한 액세스를 갖는 경우, 디스플레이되는 증강 현실 콘텐츠는 시간이 지남에 따라 이들 다른 파라미터들의 비교들의 결과들을 포함할 수 있다. 눈에 띄는 변경들이 존재한다고 결정되면, 디스플레이 시스템은 발견된 임의의 조건들을 처리하기 위해 치료들 또는 제품들에 대한 추천들을 제공하도록 구성될 수 있다. 예컨대, 시스템은 위에서 주목된 파라미터들 중 하나가 사전에 캡처된 기본 레벨로부터 임계량(예컨대, 5%, 10% 또는 15%)만큼 벗어났다고 결정할 수 있다. 일단 변경에 대한 임계치가 초과되었다고 결정되면, 시스템은 시정 액션(예컨대, 메이크 업, 헤어컷의 스케줄링 등)에 대한 제안을 디스플레이할 수 있다. 디스플레이 시스템은 또한 사용자의 현재 및 과거 버전들 간의 시각적 비교를 사용자에게 제공하기 위해 그의 더 오래된 이미지를 리트리브 및 디스플레이하도록 구성될 수 있다. 게다가 또는 대안적으로, 시스템은 증강 현실 콘텐츠로서 제안된 치료들 또는 제품들의 예상되는 결과들을 디스플레이하도록 구성될 수 있다. 예컨대, 본원에서 논의된 바와 같이, 새로운 헤어컷 및/또는 털 컬러를 도시하는 이미지가 디스플레이 되고 사용자의 리플렉션을 오버레이할 수 있다. 일부 실시예들에서, 디스플레이 시스템은 특정 트렌드의 연속의 예상되는 결과를 도시하는 이미지들을 디스플레이하도록 구성될 수 있다. 예컨대, 지속적인 체중 증가로 인한 사용자 신체의 변경들을 강조하기 위해, 디스플레이 시스템은 체중 증가로 인한 사용자의 크기의 증가들을 도시하는 이미지들을 사용자의 리플렉션 상에 오버레이하도록 구성될 수 있다. 다른 예로서, 사용자의 피부 상에 주름이나 선들을 도시하는 이미지들은 장기 흡연에 의해 유발되는 주름들을 예시하기 위해 사용자의 리플렉션 상에 오버레이될 수 있다. 이들 트렌드들의 결과들을 도시하는 이미지들은 이미지들을 디스플레이하라는 요청을 표시하는 사용자로부터의 입력으로 인해 디스플레이될 수 있고, 제3자(예컨대, 임상의)로부터의 입력으로 인해 디스플레이될 수 있고, 그리고/또는 분석을 수행한 후 프로그램에 대한 출력으로서 자동적으로 디스플레이될 수 있다는 것이 인식될 것이다.
[0495]
일부 실시예들에서, 디스플레이 시스템은 패션 크리틱들을 사용자에게 제공하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 사용자의 바지 상의 지퍼 부분이 열려있다고 것, 셔츠 단추가 풀려있다는 것(또는 단추가 누락되어 있다는 것), 사용자의 옷들이 매칭되지 않는다는 것 등을 인식하고 경고하도록 구성될 수 있다.
[0496]
일부 실시예들에서, 건강 분석은 더 오래된 이미지들 또는 더 오래된 데이터와 최근에 캡처된 이미지 또는 데이터 간의 비교를 수행함으로써 수행될 수 있다. 예컨대, 비교는 신체 형상, 피부 창백함 및 피부 피처들(예컨대, 변색들)의 변경들을 검출할 수 있다. 일부 실시예들에서, 비교의 결과는 디스플레이 시스템이 특정 영역에서 변경이 검출되었음을 그리고 선택적으로, 건강 관리 전문가를 통한 후속 조치가 바람직할 수 있음을 표시하는 경보를 디스플레이할 수 있다. 유사하게, 정신 건강 분석이 수행될 수 있다. 예컨대, 사용자의 이미지들은 시간이 지남에 따른 감정 상태들의 변경들 및/또는 표준 외로 간주될 수 있는 감정 상태의 연장된 지속기간들을 포함하는 특정 감정 상태들의 표시자들에 대해 분석될 수 있다. 디스플레이 시스템은 우려에 대한 원인일 수 있는 감정 상태들(예컨대, 연장된 기간들의 슬픔)에 관한 경고를 (사용자 및/또는 전문 의료진, 이를테면, 의사에) 제공하도록 구성될 수 있다.
[0497]
일부 실시예들에서, 비교는, 단순히 사용자의 리플렉션을 이미징하고 이미지에 대한 수정들 없이 그 이미지에 기반한 비교들을 수행하는 것에 기반하여 수행될 수 있다. 일부 다른 실시예들에서, 사용자의 리플렉션의 캡처된 이미지는 리플렉션의 특정 특성들을 증폭하도록 수정될 수 있다. 예컨대, 리플렉션에서의 극미한 변동들은 사용자의 변경들을 검출하기 위해 이미지 프로세싱에 의해 증폭될 수 있다. 예컨대, 리플렉션의 컬러들이 증폭될 수 있으며, 이는 예컨대, 사용자 신체의 시각적 일부분들을 통한 혈액의 펄싱(pulsing)을 검출할 수 있다. 일부 다른 실시예들에서, 디스플레이 시스템은 사용자의 신체의 극미한 (예컨대, 비자발적인) 모션들을 검출하기 위해 모션을 증폭 또는 확대하도록 구성될 수 있다. 증폭된 이미지들은 사용자가 비교들을 행할 수 있도록 사용자에게 제시될 수 있고 그리고/또는 진단 목적들을 위해 제3자, 이를테면, 임상의에게 제시될 수 있다. 일부 실시예들에서, 리플렉션의 특정 특성들의 이미지 수정 및 증폭은 사용자 이외의 리플렉션의 피처들(예컨대, 다른 사람들 및/또는 객체들과 같은 피처들) 상에서 수행될 수 있다.
[0498]
일부 실시예들에서, 비교는 사용자 신체의 시각적 대칭의 변경들을 검출할 수 있고, 대칭의 결핍에 관한 경고를 (사용자 및/또는 전문 의료진, 이를테면, 의사에) 제공할 수 있다. 예컨대, 사용자가 자신의 얼굴의 절반만을 면도하거나 자신의 입술의 절반에 립스틱을 칠할 때 대칭이 결핍이 자명할 수 있다. 그러한 대칭의 결핍은 소정의 의료 조건들, 이를테면, 편측 공간 무시(여기서, 환자들, 예컨대, 뇌졸중 환자들은 세계의 절반만을 확인응답함)의 결과일 수 있다는 것이 인식될 것이다. 대칭의 결핍에 관한 사용자 경보는, 대칭의 결핍이 의도적인지 또는 의도적이지 않은지 여부를 사용자가 확인하도록 하는 디스플레이 시스템에 의한 요청을 수반할 수 있고 그리고/또는 경보는 단순히, 그들이 의도적이지 않게 수행하지 않았을 수 있는 그들의 신체의 측 상의 다양한 액션들을 수행하도록 사용자에 대한 리마인더를 포함할 수 있다. 일부 실시예들에서, 대칭의 의도적이지 않은 결핍은 근본적인 의료 조건을 표시할 수 있으며, 추가의 의료 후속 조치 및/또는 전문 의료진에게의 직접적인 경고에 대한 제안들이 후속될 수 있다.
[0499]
일부 실시예들에서, 건강 분석은 다수의 상이한 각도들로부터 캡처된 사용자의 이미지들을 활용할 수 있다. 예컨대, 사용자는 상이한 각도들로 사용자와 정렬되는 복수의 반사 표면들 정면에 위치될 수 있다. 디스플레이 시스템은 사용자의 보다 완전한 뷰를 제공하기 위해 이들 상이한 반사 표면들 각각으로부터 사용자의 뷰들을 캡처하도록 구성될 수 있다.
[0500]
일부 실시예들에서, 단일 반사 표면이 사용자의 상이한 뷰들을 제공하는 데 사용될 수 있다. 예컨대, 건강 분석의 일부분으로서, 디스플레이 시스템은 사용자의 (예컨대, 사용자 정면의) 하나의 뷰를 캡처하고, 이어서, 사용자의 다른 뷰들(예컨대, 사용자의 좌측 및 우측들)을 캡처하기 위해 하나 또는 그 초과의 다른 배향들로 (예컨대, 터닝함으로써) 그들을 포지셔닝하도록 사용자에 프롬프팅할 수 있다. 이러한 다른 뷰들은 디스플레이 시스템 상의 다수의 카메라들을 사용하여 캡처될 수 있으며, 이들은, 사용자가 터닝하고 그의 리플렉션이 상이한 카메라들의 가시선 내로 들어옴에 따라 이들 다른 뷰들을 캡처한다. 일부 다른 실시예들에서, 이들 다른 뷰들은 사용자의 신체가 터닝함에 따라 반사 표면을 향하여 자신의 머리들을 터닝하도록 사용자에게 지시함으로써 단일 카메라에 의해 캡처될 수 있다.
[0501]
일부 실시예들에서, 거리 센서는 사용자와 미러 간의 거리를 결정하는 데 활용될 수 있다. 이어서, 디스플레이 시스템은 사용자의 리플렉션의 원하는 뷰를 제공하기 위해 자신을 포지셔닝하도록 사용자에게 요청하기 위해 이 거리 결정을 사용할 수 있다. 예컨대, 사용자가 미러로부터 일관적인 거리에 있을 때 사용자의 리플렉션의 이력 비교들이 더 정확할 수 있다. 디스플레이 시스템은 이 일관적인 거리를 제공하기 위해, 미러로부터 더 가깝게 또는 더 멀리 적합하게 이동하도록 사용자에게 시그널링할 수 있다. 또한, 디스플레이 시스템은 리플렉션에서 사용자의 신체의 배향을 실시간으로 분석하도록 프로그래밍될 수 있고, 또한, 이미지 캡처를 위해 원하는 포지션으로 자신의 신체를 배향하도록 사용자에게 프롬프팅할 수 있다. 예컨대, 디스플레이 시스템은, 정확한 배향을 도시하는, 가상 윤곽선, 헤일로 또는 다른 오버레이의 이미지를 사용자에게 디스플레이하도록 구성될 수 있고, 이어서, 사용자는 가상 윤곽선, 헤일로, 또는 다른 오버레이에 맞추거나 이를 따르도록 자신의 신체를 이동시킬 수 있다.
[0502]
위에서 주목된 바와 같이, 다양한 신체 포지션 분석들 및/또는 사용자 신체의 상이한 뷰들의 캡처는 건강 분석들 또는 증강 현실 콘텐츠를 생성하기 위한 다른 분석들에 적용될 수 있다는 것이 인식될 것이다. 예컨대, 사용자의 신체의 상이한 뷰들 및/또는 특정 포지션으로 자신의 신체를 배향시키도록 사용자에 프롬프팅하는 것은 일반적으로 사용자에게 증강 현실 콘텐츠를 제공하는 것의 일부분으로서 적용될 수 있다. 예컨대, 사용자의 리플렉션 상에 상이한 옷들을 오버레이하는 것은 상이한 관점들로부터의 옷들의 뷰들을 제공하도록 자신의 신체를 터닝하도록 사용자에게 프롬프팅하는 것을 포함할 수 있다.
[0503]
건강 분석과 관련하여, 또는 사용자에 의한 디스플레이를 위해 단순히 선택될 수 있는 증강 현실 콘텐츠로서, 블록(710)에서 디스플레이되는 증강 현실 콘텐츠는 사용자의 의료 정보를 포함할 수 있다. 예컨대, 의료 정보는 제한 없이, 체중, 키 및 신체 용적 지수 중 하나 또는 그 초과를 포함할 수 있다. 일부 실시예들에서, 디스플레이 시스템은 유선 또는 무선 통신 채널들을 통해, 사용자의 신체의 다양한 특성들을 측정하도록 구성된 감지 디바이스들로부터의 데이터에 액세스하도록 구성될 수 있다. 예컨대, 디바이스들은 스케일, 온도계, 혈압계, 펄스 옥시미터, 글루코미터, 카프노그래피 시스템, 심박수 모니터 및 신경 모니터들 중 하나 또는 그 초과일 수 있고, 이들 디바이스들로부터의 판독들은 증강 현실 콘텐츠로서 사용자에게 디스플레이될 수 있다. 일부 실시예들에서, 판독들은 예컨대, 원격 데이터 저장소(74)(도 1b)에 저장될 수 있다.
[0504]
일부 실시예들에서, 디스플레이 시스템은 원격 의료 진단들(예컨대, 건강 분석들) 및/또는 치료를 위해 활용될 수 있다. 예컨대, 위에서 주목된 다양한 판독들 중 하나 또는 그 초과는 선택적으로, (카메라(65)(도 1b)에 의해 보여지는 바와 같은) 사용자의 리플렉션의 하나 또는 그 초과의 이미지들과 함께, 원격 의료인에 송신될 수 있다. 판독들 및/또는 이미지들은 실시간으로 의료인이 볼 수 있고, 사용자와의 실시간 통신(청각적 및/또는 시각적)은 의료 조건들을 진단하고 그리고/또는 치료를 제공하는 데 활용될 수 있다. 일부 실시예들에서, 증강 현실 콘텐츠는 다양한 조건들을 처리하기 위해 사용자의 신체에 대한 제안된 움직임들, 자세들 및/또는 포지션들(예컨대, 타이핑으로부터의 수근관 증후군을 처리하기 위한 손목 절렬, 현기증을 처리하기 위한 머리 운동들 등)을 포함할 수 있다. 증강 현실 콘텐츠는 제안된 움직임들, 자세들 및/또는 포지션들을 순차적으로 디스플레이할 수 있어서, 사용자는 제안된 움직임들, 자세들 및/또는 포지션들과 자신의 리플렉션을 매칭시키는 것을 시도할 수 있다. 예컨대, 반-투명 애니메이션은 사용자가 특정 움직임을 따라할 수 있도록 사용자의 리플렉션과 오버레이될 수 있다. 추가 건강 분석들의 예들는 "예시적인 건강 분석들"이란 명칭의 섹션에서 아래에서 논의된다.
[0505]
일부 실시예들에서, 원격 진단 또는 치료는 보안 HIPAA 준수 트랜잭션들을 가능하게 하기 위해 본원에서 논의된 바와 같이 망막 또는 홍채 스캔 및 검출을 이용할 수 있다. 예컨대, 암호화된 통신들을 사용하여 수행될 수 있는 원격 진단들 또는 치료 세션을 시작하기 전에 망막 또는 홍채 스캔이 수행되고 사용자의 아이덴티티가 확인될 수 있다.
[0506]
일부 실시예들에서, 건강 분석의 일부분으로서, 또는 교육 또는 신규성 피처로서, 디스플레이 시스템은 의료 이미저리를 포함하는 증강 현실 콘텐츠를 디스플레이하도록 구성될 수 있다. 예컨대, 뼈들 및/또는 기관들의 이미지들이 사용자의 리플렉션 상에 오버레이될 수 있다.
[0507]
본원에서 논의된 바와 같이, 외향 및/또는 내향 카메라들(65, 500)은 사용자의 감정 또는 정신 상태들의 표시들을 찾기 위해 사용자의 이미지들을 캡처하는 데 사용될 수 있다. 예컨대, 카메라들(65, 500)은 사용자의 이미지들을 캡처하도록 구성될 수 있고, 로컬 프로세싱 및 데이터 모듈(70)은 사용자의 특정 감정의 표시들의 존재를 검출하도록 구성될 수 있다. 일부 실시예들에서, 본원에서 논의된 바와 같이, 감정 또는 정신 상태들의 이러한 표시들은 디스플레이되는 증강 현실 콘텐츠의 타입을 결정하기 위한 입력들로서 사용될 수 있다.
[0508]
일부 실시예들에서, 디스플레이 시스템(80)은 정신 건강 분석을 제공하기 위해 신체 언어 및/또는 얼굴 움직임들 및 표정들을 "판독"하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 사용자의 감정의 존재를 검출하기 위해 얼굴 표정들 및 신체 언어 둘 모두를 검출하도록 구성될 수 있다. 예로서, (예컨대, 시간이 지남에 따른 자세에 대해 찰나적으로 사용자의 자세의 비교에 기반한) 구부정한 자세와 함께 (예컨대, 시간이 지남에 따라 결정된 바와 같이, 사용자의 입술 및 입의 통상적인 배향에 비해 사용자의 입술 및 입의 배향에 기반하여 결정되는) 사용자의 얼굴 상에서 찌푸림의 존재의 검출은 슬픔을 표시할 수 있다. 다른 예로서, (특히, 시선 회피가 사전에 관찰된 경우) 사용자에 의한 시선 회피는 죄책감들을 표시할 수 있거나, 또는 표준 외의 다른 거동 문제들(예컨대, 수줍음, 자폐 스펙트럼 장애 등)을 표시할 수 있다. 디스플레이 시스템(80)은 소정의 타입들의 증강 현실 콘텐츠를 디스플레이하기 위한 트리거로서 이러한 관찰된 표시자들을 사용하도록 구성될 수 있다. 예컨대, 사용자가 슬픔을 갖는다는 결정은 증강 현실 콘텐츠 또는 추천된 제품들 또는 서비스들의 디스플레이를 트리거하여 이 감정 상태를 처리하고 사용자의 감정 건강을 지지할 수 있다. 예로서, 증강 현실 콘텐츠는 사용자에게 격려를 제공하기 위해 시각적 확인들 및/또는 오디오 확인들을 포함할 수 있다. 만약 사용자가 확인들에 응답하지 않는다면, 디스플레이 시스템은 선택적으로, 추가 치료에 대한 옵션들을 제공하기 위해 사용자의 조건을 건강 전문가에게 경고하도록 구성될 수 있다.
[0509]
일부 실시예들에서, 디스플레이된 증강 현실 콘텐츠는 사용자의 신체(그들의 얼굴을 포함함)의 특정 움직임들이 요구되는 활동들에 대한 명령 또는 트레이닝을 포함할 수 있다. 이러한 다른 활동들의 예들은 스포츠, 연기, 연설, 치료 등을 포함한다. 이러한 활동들은 예컨대, 청중 멤버의 관점에서 사용자의 뷰를 제공하기 위해 반사 표면 정면에서 수행될 수 있다. 게다가, 디스플레이 시스템은 증강 현실 콘텐츠를 실시간으로 제공하도록 구성될 수 있고, 증강 현실 콘텐츠는 사용자가 다양한 자세들을 취하고, 다양한 움직임들을 수행하고, 단어들을 발음하고, 다양한 얼굴 표정들을 만드는 등을 하는 것을 돕는데 사용될 수 있다.
[0510]
일부 실시예에서, 디스플레이된 증강 현실 콘텐츠는 교육 보조들을 포함한다. 예컨대, 라인 다이어그램들 또는 사람의 이미지가 디스플레이 시스템에 의해 생성되고 사용자의 리플렉션과 오버레이될 수 있어서, 사용자는 자신들을 라인들 또는 이미지의 대응하는 일부분들과 정렬하는 것을 시도할 수 있으며, 이는 정적일 수 있거나, 또는 특정 모션을 도시하도록 동적으로 변경될 수 있다. 일부 실시예들에서, 교육 보조들은 트레이닝, 물리 치료 또는 작업 치료 프로그램의 일부분으로서 사용된다. 예컨대, 소정의 모션들을 수행하거나 소정의 포지션들에서 사용자의 이미지들이 시간이 지남에 따라 캡처, 저장 및 비교될 수 있다(예컨대, 사용자의 포지션 또는 모션의 차이가 사용자에게 디스플레이됨으로써 플로팅되고 그리고/또는 도시되고, 비교는 치료의 경과를 측정하기 위해 시간이 지남에 따라 저장 및 추적될 수 있음). 다른 예로서, 스피치 치료는 소정의 사운드들을 내기 위한 입의 정확한 포지션을 도시하는 애니메이션 또는 다른 이동 이미지를 포함하는 증강 현실 콘텐츠를 오버레이함으로써 수행될 수 있다. 유리하게, 이들 다양한 타입들의 콘텐츠는 사용자가 정확하게 자세를 취하는지 또는 모션을 수행하는지 여부에 관한 실시간 피드백을 제공할 수 있다. 예컨대, 다수의 스포츠는 참가자들이 모방하려 하는 특정 모션들 또는 자세들을 활용한다. 스포츠, 이를테면, 역도, 요가, 무술들, 댄스들 등은 효과를 증가시키고 부상의 가능성을 감소시키기 위해 참가자의 신체가 다양한 자세들 또는 모션들을 취할 것을 요구할 수 있다. 디스플레이 시스템은 위에서 논의된 바와 같이 이러한 다양한 자세들 또는 모션들을 도시하는 이미지들을 디스플레이하도록 구성될 수 있다.
[0511]
이제 도 13을 참조하면, AR 디스플레이 시스템(80)과 상호작용하는 사용자(60)가 예시된다. 사용자(60)는 사용자의 리플렉션(810)을 제공하는 반사 표면(800)(예컨대, 정반사기, 이를테면, 미러) 정면에 위치된다. 일부 실시예들에서, 반사 표면(800)은 사용자가 반사 표면(800) 정면에 있다는 것을 표시하기 위한 신호를 제공하는 비콘 또는 고유 식별자(820)를 포함한다. 본원에서 개시된 바와 같이, 디스플레이 시스템(80)은 사용자의 리플렉션이 사용자(60)의 시야 내에 있음을 검출하도록 구성된다. 일단 리플렉션이 검출되면, 증강 현실 콘텐츠는 사용자의 주변 환경 뷰를 증가시키도록 디스플레이된다. 예컨대, 가상 메뉴 아이템들(830a-830b)이 디스플레이될 수 있다. 아이템들(830a-830b)이 디스플레이되어 이들이 반사 표면 상에 배치된 것처럼 보일 수 있거나, 또는 사용자(60)의 시야의 임의의 다른 곳에 있을 수 있다. 본원에서 설명된 바와 같이, 사용자는 메뉴와 상호작용하고 추가 콘텐츠를 디스플레이하기 위한 다양한 선택들을 할 수 있다. 일부 다른 실시예들에서, 콘텐츠는 예컨대, 디스플레이 디바이스(80) 상의 위치-결정 디바이스(예컨대, GPS 유닛)에 의해 결정된 바와 같은 사용자의 위치에 기반하여 자동적으로 생성될 수 있다.
[0512]
본원에서 설명된 바와 같은, 증강 현실 콘텐츠는 사용자(60)의 외관에 대한 수정을 포함할 수 있다. 예컨대, 사용자의 의류의 특성은 변경될 수 있다. 예시된 바와 같이, 스트라이프 패턴이 사용자의 의류의 리플렉션과 오버레이될 수 있다. 본원에서 또한 설명된 바와 같이, 통지들(830c)은 예컨대, 사용자에게 리마인더들 또는 다른 정보를 제공하도록 디스플레이될 수 있다. 일부 실시예들에서, 본원에서 설명된 바와 같이, 디스플레이 디바이스(80)는 리플렉션(810)의 이미지들을 캡처하여 분석들을 수행하고 뷰어에게 디스플레이될 정보, 이를테면, 통지들(830c)을 생성할 수 있다. 증강 현실 콘텐츠는 전형적으로, 그것이 디스플레이 시스템(80)에 의해 생성되고 사용자의 눈들로 특별히 지향되기 때문에 사용자(60)에게만 시각적이라는 것이 인식될 것이다. 결과적으로, 예시된 콘텐츠는 사용자(60)가 보는 것을 대표하며 반드시 제3자가 볼 수 있는 것을 대표하는 것은 아님이 이해될 것이다. 게다가, 다수의 타입들의 콘텐츠(통지, 메뉴 아이템들 및 사용자 외관에 대한 수정들)가 예시된다. 그러나, 다양한 실시예들에서, 본원에서 개시된 다양한 타입들의 콘텐츠 중 단지 하나 또는 단지 조합만이 동시적으로 디스플레이될 수 있다.
[0513]
다양한 타입들의 콘텐츠는 블록(710)(도 12)에서 뷰어가 그것들을 뷰잉하기에 적합하게 디스플레이될 수 있다. 미러-이미징된 객체들은 (리플렉션에서 보일 때가 아닌) 뷰어가 직접 볼 때 이들이 출현하는 방식으로부터 반전될 수 있기 때문에, 디스플레이 시스템은 객체들의 미러 이미지 버전을 디스플레이하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 뷰어가 그 객체를 직접 뷰잉할 때 가상 객체를 일 방향으로 디스플레이하고 이어서, 뷰어가 검출된 리플렉션에서 그 객체를 뷰잉할 때(예컨대, 가상 객체의 전방 측 및 후방 측 뷰들을 도시할 때) (그 객체의 미러 이미지를 형성하기 위해) 그 배향을 반전시킬 수 있다. 그러나, 일부 실시예들에서, 그러한 반전은 이루어지지 않는데; 예컨대, 디스플레이 시스템은 단어들이 리플렉션을 오버랩핑하는지 여부와 관계없이 단어들을 반전시킴 없이, 이를테면, 메뉴 아이템들에 대한 단어들을 디스플레이하도록 구성될 수 있다. 결과적으로, 일부 실시예들에서, 장면의 일부분인 콘텐츠는 리플렉션에서 볼 때 반전될 수 있고, 장면의 일부분이 아닌 통지들 또는 다른 콘텐츠는 반전됨 없이 디스플레이되어서, 콘텐츠는 동일한 배향을 갖고, 그 콘텐츠가 오버레이하고 리플렉션의 일부분으로서 디스플레이되는지 여부에 관계없이 동일하게 출현한다.
[0514]
일부 실시예들에서, 디스플레이 시스템은 블록(710)(도 12)에서 실세계 콘텐츠의 리플렉션을 교체하고 반전시키는 이미지를 디스플레이하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 (반전됨으로 인해 사용자가 판독 가능하지 않을 수 있는) 레터들의 미러 이미지들을 인지하도록 구성될 수 있고, 그러한 미러 이미징된 레터들을 검출하면, 디스플레이 시스템은 그러한 레터들이 반전되는 이미지를 디스플레이하도록 구성될 수 있다(그리하여 사용자에 의해 쉽게 판독되는 레터들을 제공함). 예컨대, 디스플레이 시스템은 상이한 폰트들을 갖는 레터들 및 레터들 각각의 반전 미러 이미지 버전들을 포함하는 데이터베이스에 대한 액세스를 포함할 수 있거나 이에 액세스할 수 있고, 노멀 레터와 레터의 미러 이미지 버전 사이에 일대일 대응을 갖는다. 디스플레이 시스템은 외향 카메라에 의해 검출된 이미지들 내의 레터의 미러 이미지 버전을 검출하기 위해 이미지 인식을 사용하도록 구성될 수 있고, 그러한 미러 이미지 레터를 검출하면, 디스플레이 시스템은 증강 현실 콘텐츠로서 그 미러 이미지 버전에 대한 레터의 노멀 버전을 디스플레이하도록 구성될 수 있다. 이 증강 현실 콘텐츠는 미러 이미지 레터를 오버레이하고 효과적으로 교체할 수 있다.
[0515]
이제 도 14를 참조하면, 블록(710)(도 12)의 디스플레이된 증강 현실 콘텐츠는 사용자의 환경에서 객체들의 치수들을 결정하기 위해 가상 스케일을 포함할 수 있다. 도 14는 리플렉션(810)을 사용하여 사용자(60)의 피처들의 치수들(예컨대, 사용자의 키)을 결정하기 위한 가상 스케일(900)의 사용의 예를 예시한다. 알려진 크기(h1)를 갖는 가상 스케일(900)은 사용자(60)로부터 알려진 가상 거리(d1)로 세팅되는 임의로 선택된 깊이 평면 상에 배치될 수 있다는 것이 인식될 것이다. 예컨대, 가상 스케일(900)은 사용자(60)가 시각적 검사에 의해 h1을 쉽게 결정할 수 있게 하는 가상 측정 스틱일 수 있다. 따라서, 수량들(h1 및 d1)은 알려져 있다. 또한, 사용자(60)로부터 반사 표면(800)까지의 거리인 수량(d2)이 알려져 있다. 수량(d2)은 거리 센서(69)를 사용하여 결정될 수 있다. d2가 사용자(60)로부터 반사 표면(800)까지 광선들이 횡단하고 이어서 사용자(60)로 되돌아 오는 거리가 아니라, 사용자(60)로부터 미러(800)까지의 거리이기 때문에, d2는 일부 실시예들에서 2로 곱해질 필요가 있을 수 있다. 결과적으로, 리플렉션(810)에서 보이는 사용자(60)의 피처들의 크기들(h2)은 다음의 수학식을 사용하여 결정될 수 있다 :
[0516]
예시된 도면에서, h2는 사용자(60)의 키이다. 일부 다른 실시예들에서, h2는 사용자의 신체의 상이한 일부분들, 이를테면, 그들의 허리의 폭, 팔 또는 이두근의 폭 등을 포함하는 다른 피처들의 폭 또는 길이일 수 있다.
[0517]
일부 실시예들에서, 사용자(60)로부터 미러(800)까지 그리고 다시 사용자(60)까지의 전체 거리가 직접 측정될 수 있는 경우(예컨대, 거리 센서(69)는 미러(800)에 의해 반사될 수 있는 광을 방사 및 수신하는 광학 거리 센서인 경우), 다음 수학식이 h2를 결정하는 데 사용될 수 있다 :
[0518]
일부 실시예들에서, 가상 스케일(900)은 예컨대, 리플렉션(810)의 거리에 기반하여 조정되는 높이에 대한 마킹들을 포함할 수 있어서, 사용자는 단순히, 리플렉션(810)이 가상 스케일(900) 상에 위치되는 곳 및/또는 얼마나 많은 스케일이 리플렉션(810)에 의해 점유되는지에 관한 시각적 결정에 의해 h2를 결정할 수 있다. 유리하게, 일부 실시예들에서, h2가 위의 수학식을 사용하여 결정되는지 또는 다른 방법을 사용하여 결정되는지에 관계없이, 가상 스케일(900)은 리플렉션(810)의 깊이 평면과 유사한 원근 조절 상태를 갖는 깊이 평면 상에 디스플레이될 수 있어서, 가상 스케일(900) 및 리플렉션(810) 둘 모두는 인 포커스이고, 그리하여 h2의 사용자의 시각적 결정을 가능하게 한다.
[0519]
일부 실시예들에서, h2는 계산되고 사용자(60)에게 디스플레이될 수 있다. 예컨대, 사용자의 신체의 측정들은, 예컨대, 운동 요법의 일부분으로서 사용자(60)에게 피드백을 제공하기 위해, 증강 현실 콘텐츠로서 디스플레이될 수 있다. 또 다른 실시예들에서, 측정이 사용자(60)에게 디스플레이되지 않을 수 있다. 일부 실시예들에서, 측정은 이력 분석을 위해 저장될 수 있다.
[0520]
일부 실시예들에서, 디스플레이 시스템은 반사 표면의 왜곡을 처리하기 위해 반사된 이미지들을 수정하도록 구성될 수 있다. 곡선형 반사 표면으로부터의 객체의 리플렉션은 실제 객체에 대해 왜곡될 수 있다는 것이 인식될 것이다. 예컨대, (예컨대, 미러의 초점 거리를 넘은) 소정의 거리들에서, 오목 미러들은 객체가 거꾸로 있고 실제 객체보다 크게 보이는 리플렉션들을 제공하는 반면, 볼록 미러들은 객체가 실제 객체보다 작은 리플렉션들을 제공할 수 있다. 디스플레이 시스템은 반사 표면의 곡률에 의해 유발되는 리플렉션들의 왜곡들을 보정하도록 구성될 수 있다.
[0521]
일부 실시예들에서, 반사 표면의 곡률에 의해 유발되는 왜곡에 대한 보정은,
· 미러의 곡률을 결정하는 것;
· 미러와 사용자 사이의 거리를 결정하는 것;
· 미러에서 사용자의 리플렉션을 이미징하는 것;
· 미러에 의해 유발된 왜곡들을 반전시키기 위해 이미징된 리플렉션을 수정하는 것; 그리고
· 수정된 리플렉션을 사용자에게 디스플레이하는 것 및/또는 사용자의 캡처된 이미지들에 기반하여 사용자의 취해진 광학 측정들을 수정하는 것을 포함한다.
[0522]
일부 실시예들에서, 오목 미러의 곡률을 결정하는 것은 다음 수학식을 사용하여 미러의 초점 거리에 대해 해결하는 것을 포함한다:
f가 오목 미러의 초점 거리이고, u가 (미러의 초점 거리 외부에 있는) 객체로부터 미러까지의 거리이며, 그리고 v가 객체의 초점이 맞은 이미지로부터 미러까지의 거리인 것이 인식될 것이다. 일부 실시예들에서, u는 디스플레이 시스템에 의해 액세스되거나 또는 사용자에 의해 제공될 수 있는 알려진 수량일 수 있다. 일부 다른 실시예들에서, u가 측정될 수 있다. 예컨대, 사용자는 객체에 의해 서 있고, 사용자와 미러 간의 거리를 측정하기 위해 디스플레이 시스템의 일부분인 거리 센서를 활용할 수 있으며, 그 거리는 객체와 미러 간의 거리와 거의 동일한 것으로 디스플레이 시스템에 의해 이해될 것이다. 일부 실시예들에서, 디스플레이 시스템은 사용자가 객체로 이동하고 입력을 디스플레이 시스템에 제공하여 미러에 대한 거리의 검출을 트리거링하도록 프롬프팅할 수 있다.
수량 v를 결정하기 위해, 사용자는 객체의 이미지가 미러에 의해 스크린(예컨대, 종이 피스) 상에 또렷하게 포커싱되는 곳을 결정하도록 미러에 대해 스크린과 함께 이동한다. 일부 실시예들에서, 디스플레이 시스템은 (예컨대, 블록(710)(도 12)에서 증강 현실 콘텐츠로서 가청 명령들을 제공함으로써 그리고/또는 시각적 명령들을 제공함으로써) 사용자가 미러에 대해 이동하도록 프롬프팅하고, 그리고 객체의 이미지가 스크린 상에 또렷하게 포커싱되는 때를 디스플레이 시스템에 시그널링하도록 구성될 수 있다. 일부 실시예들에서, 일단 객체의 포커싱된 이미지가 실현되면, 디스플레이 시스템은 사용자와 미러 간의 거리를 결정하도록 구성될 수 있다. 이러한 거리는 수량 v인 것으로 디스플레이 시스템에 의해 이해될 수 있다. 일단 v 및 u가 알려지면, 디스플레이 시스템은 f에 대해 해결하도록 구성될 수 있다. 오목 미러의 곡률 반경 R이 2f와 동일하다는 것이 인식될 것이다.
[0523]
일부 실시예들에서, 사용자와 미러 간의 거리(do)는 본원에서 개시된 바와 같이, 디스플레이 시스템의 다양한 센서들(예컨대, 음향 거리 센서들)을 사용하여 결정될 수 있다. 게다가, 리플렉션은 본원에서 개시된 바와 같이, 외향 카메라를 사용하여 이미징될 수 있다. 리플렉션 내의 사용자 또는 다른 객체(ho)의 자명한 크기가 (예컨대, 사용자의 캡처된 이미지의 분석에 의해) 후속하여 결정될 수 있다. 일부 다른 실시예들에서, 센서, 이를테면 디스플레이 시스템의 프레임(64)(도 1b)에 부착된 하향 깊이 센서는 프레임(64)으로부터 그라운드까지의 거리를 측정하여, 그에 의해, M의 결정을 위한 기준 거리 hi를 제공하도록 구성될 수 있다. R, do, 및 ho를 결정한 경우, 곡선형 표면의 진정한 객체 키(hi) 및 확대율(M)이 계산될 수 있다. 예컨대, 
및 
이다.
[0524]
일부 실시예들에서, M은 수량들 hi 및 ho를 결정함으로써 직접 계산된다. 본원에서 논의되는 바와 같이, ho는 리플렉션 내의 객체의 자명한 크기이며, 리플렉션의 캡처된 이미지들의 이미지 분석을 사용하여 결정될 수 있다. hi는 객체의 진정한 크기이며, 알려진 값, 예컨대 디스플레이 시스템에 의해 액세스가능한 데이터베이스에 저장되고 그리고/또는 센서를 사용하여 측정된 값일 수 있다. 디스플레이 시스템은 데이터베이스에 액세스함으로써 hi를 결정하도록 구성될 수 있다. 디스플레이 시스템은 후속하여, 수학식 
를 사용하여 확대율을 결정하도록 구성될 수 있다.
[0525]
일부 실시예들에서, 진정한 객체 키 및 확대율은 미러에서 반사된 객체들(예컨대, 사용자)의 크기들을 스케일링하도록 활용될 수 있다. 반사된 객체들의 크기가 반사 표면으로부터의 사용자의 거리에 추가로 의존한다는 것이 인식될 것이다. 바람직하게, 진정한 객체 키 및 확대율을 스케일링하는 것은 객체와 미러 간의 거리에 기반하여 조정된다. 예컨대, 사용자와 반사 표면 간의 더 큰 거리는 블록(710)에서 디스플레이 시스템에 의한 제시에 의해 디스플레이되는 이미지의 크기의 감소를 유발할 것이다(도 12). 일부 실시예들에서, 디스플레이 시스템이 리플렉션 내의 피처들의 크기들을 결정하기 위해 이미지 분석을 수행할 수 있는 경우, 확대율의 지식은, 예컨대 객체의 진정한 키의 해결에 의해 미러로 인한 반사된 객체들 또는 사용자의 크기들에서의 왜곡들을 보정하기 위해 활용될 수 있다.
[0526]
도 12를 다시 참조하면, 디스플레이 시스템의 사용자가 리플렉션 내에 있는지 여부에 관계없이, 증강 현실 콘텐츠가 리플렉션들에 대하여 디스플레이 시스템에 의해 생성될 수 있다는 것이 인식될 것이다. 블록(700)에서, 리플렉션이 뷰어의 시야 내에 있는지 여부에 대한 결정이 이루어진다. 일부 실시예들에서, 리플렉션의 존재에 관한 결정은 사용자의 리플렉션이 사용자의 시야 내에 있는지 여부에 관한 결정일 수 있다. 일부 다른 실시예들에서, 리플렉션이 뷰어의 시야 내에 있는지 여부에 관한 결정은 본원에서 개시된 바와 같이, 뷰어의 리플렉션이 존재하지 않더라도, 리플렉션이 존재하는지 여부에 관한 결정일 수 있다. 예컨대, 디스플레이 시스템은 리플렉션들의 표시, 이를테면, 뷰어의 시야 내의 객체들에서의 심볼들 또는 다른 마킹들의 좌측-우측 배향들의 반전의 존재를 결정하도록 구성될 수 있다. 일부 실시예들에서, 반사 표면들에 의해 유발된 사용자의 피처들에서 반전들을 검출하기보다는, 디스플레이 시스템은 사용자의 얼굴보다는 객체 또는 장면 상의 피처들의 반전들 및/또는 장면 내의 리플렉션들의 다른 표시를 검출하도록 구성될 수 있다.
[0527]
도 12를 계속 참조하면, 일단 리플렉션이 뷰어의 시야에 존재하는 것으로 결정되면, 루틴은 블록(710)으로 진행할 수 있다. 일부 실시예들에서, 블록(710)은 뷰어의 시야 내의 객체들에 관한 정보를 증강 현실 콘텐츠에 제공하는 것을 포함할 수 있다. 이러한 정보는 객체가 뷰어에게 알려지지 않는다는 표시를 포함할 수 있다.
[0528]
디스플레이 시스템이 주변 환경을 연속적으로 이미징하고 그 환경에서 객체들을 식별하도록 구성될 수 있다는 것이 인식될 것이다. 바람직하게, 이러한 이미징 및 식별은 사용자-개입을 요구하지 않으면서 자동적으로 수행된다. 이들 객체들의 식별은 원격 또는 로컬 데이터 저장소들, 이를테면 데이터베이스들을 포함하는 지식의 다양한 스토어들에 액세스함으로써 수행될 수 있다. 일부 실시예들에서, 디스플레이 시스템은, 직접 및/또는 공통 데이터 저장소를 공유하는 중간 컴퓨터 시스템들을 통해 다른 디스플레이 시스템들에 연결될 수 있다. 디스플레이 시스템들은, 예컨대 콘텐츠를 공통 데이터 저장소에 추가함으로써 다른 디스플레이 시스템들과 정보를 공유하도록 각각 구성될 수 있다. 결과적으로, 다수의 디스플레이 시스템들은 공통 데이터 저장소에 포함된 정보를 증강시켜, 그에 의해 달리 이용가능할 수 있는 정보의 더 완전한 스토어를 제공하도록 구성될 수 있다. 예컨대, 상이한 디스플레이 시스템들은 상이한 관점으로부터 장면을 뷰잉할 수 있으며, 그에 의해, 모든 사용자들에게 이용가능하지 않는 객체들의 뷰들 및 지식을 제공한다.
[0529]
디스플레이 시스템에 의한 이미지 인식이 미러-이미징되지 않은 객체들을 검출하도록 구성될 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 일단 리플렉션이 발견되었다면, 디스플레이 시스템은 반사된 이미지를 반전시키고, 반전된 이미지를 사용하여 객체 이식을 수행하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 캡처된 이미지를 프로세싱하고 이미지를 디지털적으로 반전시켜, 미러 이미지의 미러 이미지에 대응하는 이미지 파일을 획득하도록 구성될 수 있다. 객체에 대한 이미지 파일이 객체의 다수의 뷰들을 포함할 수 있다는 것이 인식될 것이다(예컨대, 이미지 파일은 다수의 관점들로부터의 객체에 관한 시각적 정보를 포함하는 3차원 이미지 파일일 수 있음).
[0530]
디스플레이 시스템에 의한 이미지 인식은 사람들이 자신의 얼굴의 리플렉션 내의 피처들에 기반하여 식별되는 얼굴 인식을 포함할 수 있다. 일부 실시예들에서, 디스플레이 시스템은 리플렉션에서 사람들을 인지하고 그 사람들에 관한 정보를 디스플레이하도록 구성될 수 있다. 디스플레이 시스템은 사용자에 대한 반사된 사람의 상태에 관한 정보를 디스플레이할 수 있다. 예컨대, 상태 정보는, 사람이 친구인지, 적인지, 시스템 및/또는 사용자가 만나기에 바람직한 사람인 것으로 식별했던 어떤 사람인지, 및/또는 디스플레이 시스템 및/또는 사용자가 회피되어야 할 어떤 사람으로서 식별했던 어떤 사람인지의 표시를 포함할 수 있다. 사람들의 이미지 인식이 사람의 얼굴 상의 피처들 이외의 피처들을 식별하는 것을 포함할 수 있다는 것이 인식될 것이다. 예컨대, 머리카락 및/또는 신체 피처들이 디스플레이 시스템에 의한 사람들의 인식을 가능하게 하기 위해 활용될 수 있다. 예컨대, 사람이 수직으로 서있는지 또는 수평으로 서 있는지에 관계없이 이미지 인식이 수행될 수 있도록 이미지 인식이 사람 또는 객체의 배향을 보상할 수 있다는 것이 인식될 것이다.
[0531]
자신의 리플렉션에 기반하여 사람의 아이덴티티를 결정하는 것 외에도, 디스플레이 시스템은 또한, 리플렉션에 기반하여 사람의 다양한 다른 특징들을 결정하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 사람의 신체 언어를 식별하고, 따라서, 리플렉션 내의 그들의 외관 및/또는 액션들에 기반하여 사람의 감정들, 소셜 상호작용들, 상황들에 대한 반응들 등을 추론하도록 구성될 수 있다.
[0532]
디스플레이 시스템에 의한 이미지 인식은 또한 일반적으로 객체들의 인식을 포함할 수 있다. 그러한 객체들의 예들은 신발들, 판매 사인들, 연기, 화재, 및 동물들(예컨대, 개, 스컹크들 등), 및 사용자의 개인 아이템들(예컨대, 사용자의 모자, 지갑, 랩톱 등)을 포함할 수 있다.
[0533]
일단 객체가 디스플레이 시스템에 의해 인지되면, 디스플레이 시스템은 블록(710)(도 12)으로 진행하고, 식별된 객체에 관한 정보를 사용자에게 경고하는 증강 현실 콘텐츠를 제공하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은, 사용자의 소유물들 중 하나가 표 상에 있다는 것, 아이템, 이를테면 신발들이 전시되거나 판매중이라는 것, 연기 또는 화재가 존재한다는 것 등을 사용자에게 리마인드하도록 구성될 수 있다. 본원에서 논의된 바와 같이, 경고들이, 예컨대 오디오 또는 시각적 통지들, 및 사용자에게 송신된 진동들을 포함하는 다양한 형태들을 취할 수 있다는 것이 인식될 것이다.
[0534]
일부 실시예들에서, 식별된 객체에 관한 경고들은 사용자에 의해 원하는 것으로서의 그 객체의 식별에 기반하여 생성될 수 있다. 객체의 바람직함은, 예컨대 객체에 대한 사용자의 관심 레벨의 표시자들의 이력 분석에 기반하여 결정될 수 있다. 예컨대, 디스플레이 시스템은 사용자의 인터넷 검색 이력에 대한 액세스를 가질 수 있으며, 검색 이력에 액세스하도록 구성될 수 있다. 객체에 대한 사용자에 의한 식별된 객체와 빈번한 인터넷 검색들 간의 매치(예컨대, 사용자가 미리 결정된 임계 횟수들보다 더 많이 특정 객체를 검색했다는 결정)는 사용자가 그 객체(예컨대, 새로운 신발들)를 원한다는 것을 표시할 수 있다. 일부 실시예들에서, 객체에 대한 응시 시간은 사용자가 그 객체에 높은 관심 레벨을 갖는지 여부를 결정하는 데 활용될 수 있다. 더 긴 응시 시간들은 더 높은 레벨들의 관심에 대응하는 것으로 이해된다. 일부 실시예들에서, 응시 시간이 미리 결정된 임계치 레벨을 초과하는 경우, 디스플레이 시스템은 객체들이 사용자에 의해 고도로 원해질 수 있다는 것을 표시하는 경고를 제공하도록 구성될 수 있다. 사용자에 의한 다른 물리 또는 거동 사인들이 또한 객체들에 대한 관심의 존재를 결정하기 위해 활용될 수 있다는 것이 인식될 것이다. 예컨대, 객체를 보는 것에 대한 응답으로 눈들 또는 동공들의 확대 및/또는 객체를 가르키는 것은 관심의 사인들로서 디스플레이 시스템에 의해 해석될 수 있다. 일부 실시예들에서, 관심의 다수의 사인들은, 사용자가 실제로 객체에 관심이 있다는 결정을 행하기 전에 긍정적인 것으로 평가 및 결정된다.
[0535]
사용자가 디스플레이 시스템에 알려지지 않은 리플렉션들에서 객체들을 만날 수 있는 것이 가능하다. 예컨대, 디스플레이 시스템에 의한 이미지 인식은 리플렉션에서 객체들을 식별하기를 실패할 수 있으며, 얼굴 인식은 리플렉션에서 개인들을 인지하기를 실패한다.
[0536]
도 10을 계속 참조하면, 블록(710)에서, 디스플레이 시스템은 시스템에 의해 인지되지 않는 객체들 위에 놓이는 증강 현실 콘텐츠를 디스플레이하도록 구성될 수 있다. 일부 실시예들에서, 인지되지 않은 객체들은 광학적으로 하이라이트될 수 있다. 예컨대, 인지되지 않은 객체들은, 인지되지 않은 객체들과 연관되는 것으로 사용자가 이해하는 표시자(예컨대, 특정 컬러)를 이용하여 오버레이될 수 있다. 일부 실시예들에서, 디스플레이 시스템에 의한 객체의 인식 또는 객체를 인식할 시의 디스플레이 시스템의 신뢰도가 또한 표시될 수 있다. 예로서, 시스템은 알려진 아이템들 위에 및/또는 그 주변에 녹색 하이라이트를 제공하고, 부분적으로-알려진 아이템들 위에 및/또는 그 주변에 노란색 하이라이트를 제공하며, 알려지지 않은 아이템들 위에 및/또는 그 주변에 적색을 제공하도록 구성될 수 있다. 일부 실시예들에서, 인지되지 않은 객체의 표시자는 텍스트, 가청 신호들, 플래싱 박스들, 및/또는 햅틱 피드백을 포함할 수 있다.
[0537]
객체를 식별하기 위한 능력없음이 종종 디스플레이 시스템에 의한 인식을 어렵게 하는 배향으로 배치되는 객체에 의해 유발될 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 디스플레이 시스템은 객체의 캡처된 이미지를 재지향시켜 객체가 하나 또는 그 초과의 다른 배향들로 제공되도록 구성될 수 있고, 디스플레이 시스템은 이들 배향들 각각을 갖는 이미지에 대해 자신의 객체 인식 프로토콜을 수행하도록 구성될 수 있다. 예컨대, 객체 상의 텍스트는 뒤집혀 인지가능하지는 않을 수 있지만, 만약 객체의 갭처된 이미지가 180° 회전되면, 인지가능하게 될 수 있다.
[0538]
일부 실시예들에서, 일단 객체가 인지되지 않은 것으로서 사용자에게 시그널링되면, 디스플레이 시스템은 인지되지 않은 객체의 사용자-보조 식별을 허용하도록 구성될 수 있다. 예컨대, 사용자는, 인지되지 않은 객체를 식별하기 위한 기회를 사용자에게 제공하는 텍스트/음성 메시지들, 가상 사용자 메뉴 등을 제시받을 수 있다. 이어서, 사용자는, 예컨대 텍스트/음성 메시지들 및/또는 가상 사용자 메뉴 상의 선택들을 통해, 인지되지 않은 객체의 아이덴티티를 제공할 수 있다. 디스플레이 시스템은 객체의 아이덴티티를 저장하기 위해 자신의 데이터 저장소를 업데이트하도록 구성될 수 있다. 디스플레이 시스템은 또한, 다수의 사용자들 간에 공유되는 데이터 저장소를 업데이트하도록 구성될 수 있다.
[0539]
일부 실시예들에서, 객체를 식별할 시에 사용자를 돕기 위해, 디스플레이 시스템은 블록(710)(도 12)의 일부분으로서, 객체의 사용자 식별을 가능하게 하기 위해 (디스플레이 시스템에 의해 자동적으로 그리고/또는 사용자에 의해 제공된 명령들에 기반하여) 재지향될 수 있는, 가상 객체로서 디스플레이된 객체를 포함하는 증강 현실 콘텐츠를 제시하도록 구성될 수 있다. 예컨대, 위에서 주목된 바와 같이, 객체 상의 뒤집힌 텍스트는, 디스플레이 시스템이 180° 회전된 가상 객체로서 객체를 리렌더링하게 함으로써 이해가능하게 될 수 있다.
[0540]
일부 다른 실시예들에서, 디스플레이 시스템은 "학습된 거동" 및/또는 "네트워크-보조 식별"에 기반하여 객체들을 식별하도록 구성될 수 있다. 예컨대, 시스템은 객체에 대한 특정 콘텍스트에 관한 이력 데이터, 이를테면 스토어 내의 객체의 위치에 기반하여 객체의 아이덴티티에 관한 추측을 행하도록 구성될 수 있다. 예로서, 디스플레이 시스템은 사용자가 캔디 스토어에 있지만 컬러, 크기, 형상 등의 변동들로 인해 그 스토어에서 판매중인 객체를 인지할 수 없다는 것을 인지할 수 있다. 그럼에도, 디스플레이 시스템은 스토어의 아이덴티티 및 가능하게는 다른 표시, 이를테면 캔디인 것으로 알려진 다른 객체들의 행 내의 객체의 위치로 인해, 캔디인 것으로서의, 판매중인 알려지지 않은 객체의 예비 식별을 제공하도록 구성될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 객체의 아이덴티티에 관한 확인에 대해 사용자를 프롬프팅하도록 구성될 수 있다.
[0541]
일부 실시예들에서, 네트워크-보조 식별이 수행될 수 있다. 예컨대, 만약 디스플레이 시스템이 자신의 로컬 데이터베이스에 기반하여 객체를 식별할 수 없다면, 시스템은 인지되지 않은 객체를 식별하는 것을 시도하도록 다른 사용자들에 의해 제공된 정보를 포함할 수 있는 네트워크에 액세스하도록 구성될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 제1 인스턴스에서 객체들을 식별하는 부분으로서 네트워크에 간단히 액세스하고, 네트워크에 액세스함으로써 객체를 식별하는 것을 시도한 이후 인지되지 않은 것으로서 객체를 플래그(flag)하도록 구성될 수 있다.
[0542]
도 10을 계속 참조하면, 블록(710)에서, 디스플레이 시스템은 사용자의 시야에서 사전에 식별되었지만 더 이상 그 시야에 있지 않은 객체들을 식별하는 증강 현실 콘텐츠를 디스플레이하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은, 사용자에게 속하는 객체가 (예컨대, 사용자가 반사 표면으로부터 멀리 걸어가는 것으로 인해) 더 이상 리플렉션에 존재하지 않고, 아이가 더 이상 리플렉션에 존재하지 않으며, 그리고/또는 낯선 사람 또는 친구가 더 이상 리플렉션에 존재하지 않는다는 것을 사용자에게 통지하도록 구성될 수 있다. 통지는 증강 현실 콘텐츠, 이를테면 텍스트 또는 플래싱 박스들, 가청 신호들, 및/또는 햅틱 피드백을 포함하는 다양한 형태들을 취할 수 있다.
[0543]
많은 객체들이 디스플레이 시스템에 의해 식별되고, 예컨대 사용자 및/또는 객체의 움직임으로 인해 리플렉션에서 후속하여 나올 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 디스플레이 시스템은 통지로 하여금 사용자에게 제시되게 할 객체들의 서브세트를 자동-식별하거나 또는 사용자 선택을 통해 식별하도록 구성될 수 있다. 디스플레이 시스템은 또한, 리플렉션으로부터의 객체의 사라짐의 통지를 제공하도록 구성될 수 있으며, 통지는 "체류 시간"에 기반하여 제공된다. 예컨대, 디스플레이 시스템은, 사용자가 특정 객체를 보는데 소비하고 있는 시간의 양을 모니터링하도록 구성될 수 있다. 만약 체류 시간이 미리 설정된 임계치를 초과하면, 디스플레이 시스템은 리플렉션으로부터 객체의 사라짐의 통지를 제공하도록 구성될 수 있다.
[0544]
일부 실시예들에서, 디스플레이 시스템은 리플렉션에서의 객체들의 타이밍된 발생 및/또는 재발생에 관해 사용자에게 경고하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 미리 선택된 임계 지속기간을 초과하는 지속기간 동안 사람이 리플렉션에서 출현했다는 것을 사용자에게 경고하도록 구성될 수 있다. 다른 예로서, 디스플레이 시스템은 미리 선택된 임계 횟수들을 초과하는 횟수들 동안 동일한 사람이 리플렉션에서 재출현했다는 것을 사용자에게 경고하도록 구성될 수 있다. 디스플레이 시스템은 또한, 사용자가 반사 표면 상에서 오고있는 다수의 인스턴스들에서 사용자가 유사한 리플렉션들을 관찰하고 있는지 여부를 결정하도록 구성될 수 있다. 그러한 시나리오에서, 디스플레이 시스템은, 유사한 리플렉션들의 재발생으로 인해 사용자를 잃어버렸고 그리고/또는 사용자가 동일한 위치에 있었다고 결정하도록 구성될 수 있다.
다수의 웨어러블 시스템들 간의 예시적인 통신들
[0545]
도 15는 서로 상호작용하는 다수의 사용자 디바이스들을 묘사하는 전체 시스템 뷰를 개략적으로 예시한다. 컴퓨팅 환경(1200)은 사용자 디바이스들(1230a, 1230b, 1230c)을 포함한다. 사용자 디바이스들(1230a, 1230b, 및 1230c)은 네트워크(1290)를 통해 서로 통신할 수 있다. 사용자 디바이스들(1230a-1230c)은 각각, (네트워크 인터페이스(1271)를 또한 포함할 수 있는) 원격 컴퓨팅 시스템(1220)과 네트워크(1290)를 통해 통신하기 위한 네트워크 인터페이스를 포함할 수 있다. 네트워크(1290)는 LAN, WAN, 피어-투-피어 네트워크, 라디오, 블루투스, 또는 임의의 다른 네트워크일 수 있다. 컴퓨팅 환경(1200)은 또한, 하나 또는 그 초과의 원격 컴퓨팅 시스템들(1220)을 포함할 수 있다. 원격 컴퓨팅 시스템(1220)은 상이한 지리적 위치들에서 클러스터링되고 위치되는 서버 컴퓨터 시스템들을 포함할 수 있다. 사용자 디바이스들(1230a, 1230b, 및 1230c)은 네트워크(1290)를 통해 원격 컴퓨팅 시스템(1220)과 통신할 수 있다.
[0546]
원격 컴퓨팅 시스템(1220)은 특정 사용자의 물리 및/또는 가상 세계들에 관한 정보를 유지할 수 있는 원격 데이터 저장소(1280)를 포함할 수 있다. 원격 데이터 저장소는 도 1b에 도시된 원격 데이터 저장소(74)의 실시예일 수 있다. 원격 컴퓨팅 시스템(1220)은 또한, 원격 프로세싱 모듈(1270)을 포함할 수 있다. 원격 프로세싱 모듈(1270)은 도 1b에 도시된 원격 프로세싱 모듈(72)의 실시예일 수 있다. 원격 프로세싱 모듈(1270)은 사용자 디바이스들(1230a, 1230b, 1230c) 및 원격 데이터 저장소(1280)와 통신할 수 있는 하나 또는 그 초과의 프로세서들을 포함할 수 있다. 프로세서들은 사용자 디바이스들 및 다른 소스들로부터 획득된 정보를 프로세싱할 수 있다. 일부 실시예들에서, 프로세싱 또는 스토리지의 적어도 일부분은 (도 1b에 도시된 바와 같은) 로컬 프로세싱 및 데이터 모듈(70)에 의해 제공될 수 있다. 원격 컴퓨팅 시스템(1220)은 주어진 사용자가 특정 사용자 자신의 물리 및/또는 가상 세계들에 관한 정보를 다른 사용자와 공유할 수 있게 할 수 있다.
[0547]
사용자 디바이스는 단독으로 또는 조합하여, 웨어러블 디바이스(이를테면, HMD 또는 ARD), 컴퓨터, 모바일 디바이스, 또는 임의의 다른 디바이스들일 수 있다. 예컨대, 사용자 디바이스들(1230b 및 1230c)은, AR/VR/MR 콘텐츠를 제시하도록 구성될 수 있는, 도 1b에 도시된 웨어러블 디스플레이 시스템(80)(또는 도 5에 도시된 디스플레이 시스템(1000))의 실시예일 수 있다.
[0548]
사용자 디바이스들(예컨대, 1230a - 1230c) 중 하나 또는 그 초과는 도 5에 도시된 사용자 입력 디바이스(504)와 함께 사용될 수 있다. 사용자 입력 디바이스는 (예컨대, 도 5에 도시된 외향 이미징 시스템(502)을 사용하여) 사용자 및 사용자의 환경에 관한 정보를 획득할 수 있다. 사용자 디바이스 및/또는 원격 컴퓨팅 시스템(1220)은 사용자 디바이스들로부터 획득된 정보를 사용하여 이미지들, 포인트들 및 다른 정보의 수집을 구성, 업데이트, 및 구축할 수 있다. 예컨대, 사용자 디바이스는 포착된 원시 정보를 프로세싱하고, 추가적인 프로세싱을 위해 원격 컴퓨팅 시스템(1220)에 프로세싱된 정보를 전송할 수 있다. 사용자 디바이스는 또한, 프로세싱을 위해 원시 정보를 원격 컴퓨팅 시스템(1220)에 전송할 수 있다. 사용자 디바이스는 원격 컴퓨팅 시스템(1220)으로부터 프로세싱된 정보를 수신하고, 사용자로 투사하기 전에 최종 프로세싱을 제공할 수 있다. 사용자 디바이스는 또한, 획득된 정보를 프로세싱하고, 프로세싱된 정보를 다른 사용자 디바이스들에 전달할 수 있다. 사용자 디바이스는 원격 데이터 저장소(1280)와 통신하면서, 포착된 정보를 프로세싱할 수 있다. 다수의 사용자 디바이스들 및/또는 다수의 서버 컴퓨터 시스템들은 포착된 이미지들의 구성 및/또는 프로세싱에 참여할 수 있다.
[0549]
물리 세계들에 대한 정보는 시간이 지남에 따라 발전될 수 있으며, 상이한 사용자 디바이스들에 의해 수집된 정보에 기반할 수 있다. 가상 세계들의 모델들은 또한, 시간이 지남에 따라 발전되고 상이한 사용자들의 입력들에 기반할 수 있다. 그러한 정보 및 모델들은 종종, 세계 지도 또는 세계 모델로 본원에서 지칭될 것이다. 도 7 및 9를 참조하여 설명된 바와 같이, 사용자 디바이스들에 의해 포착된 정보는 세계 지도(1210)를 구성하기 위해 사용될 수 있다. 세계는 도 9에 설명된 지도(920)를 포함할 수 있다. 다양한 객체 인지기들(예컨대, 708a, 708b, 708c … 708n)은 객체들 및 태그 이미지들을 인지할 뿐만 아니라 시맨틱 정보를 객체들에 부착하기 위해 사용될 수 있다. 이들 객체 인지기들은 도 7에 도시된 객체 인지기들(708a 및 708n)을 포함할 수 있다.
[0550]
원격 데이터 저장소(1280)는 데이터를 저장하고 세계 지도(1210)의 구성을 가능하게 하기 위해 사용될 수 있다. 사용자 디바이스는 끊임없이 사용자의 환경에 관한 정보를 업데이트하고 세계 지도(1210)에 관한 정보를 수신할 수 있다. 세계 지도(1210)는 사용자에 의해 또는 다른 누군가에 의해 생성될 수 있다. 본원에서 논의된 바와 같이, 사용자 디바이스들(예컨대, 1230a, 1230b, 1230c) 및 원격 컴퓨팅 시스템(1220)은 단독으로 또는 조합하여, 세계 지도(1210)를 구성 및/또는 업데이트할 수 있다. 예컨대, 사용자 디바이스는 원격 프로세싱 모듈(1270) 및 원격 데이터 저장소(1280)와 통신할 수 있다. 사용자 디바이스는 사용자 및 사용자의 환경에 관한 정보를 포착 및/또는 프로세싱할 수 있다. 원격 프로세싱 모듈(1270)은 사용자 및 사용자의 환경에 관한 정보를 프로세싱하기 위해 원격 데이터 저장소(1280) 및 사용자 디바이스들(예컨대, 1230a, 1230b, 1230c)과 통신할 수 있다. 원격 컴퓨팅 시스템(1220)은 사용자 디바이스들(예컨대, 1230a, 1230b, 1230c)에 의해 포착된 정보를 수정하며, 이를테면, 예컨대 사용자의 이미지를 선택적으로 크로핑하고, 사용자의 백그라운드를 수정하고, 사용자의 환경 내의 객체들에 시맨틱 정보를 부착하며, 가상 객체들을 사용자의 환경에 추가할 수 있다. 원격 컴퓨팅 시스템(1220)은 프로세싱된 정보를 동일한 및/또는 상이한 사용자 디바이스들에 전송할 수 있다.
큐들을 사용한 미러 검출
[0551]
HMD는 HMD의 사용자 주변의 환경을 이미징하기 위해 외향 카메라를 사용할 수 있다. 환경은 미러를 포함할 수 있다.
[0552]
웨어러블 시스템은 미러의 존재를 검출하기 위해 하나 또는 그 초과의 큐들을 사용할 수 있다. 예컨대, 큐들은 환경의 미러 이미지 내의 키포인트들의 인식, 미러 이미지와 물리 객체 간의 공통-모션(co-motion)들의 분석, 미러의 에지 주변에서 깊이 불연속성을 검출하는 것, 미러에서 사용자의 머리의 존재를 식별하는 것, 미러 내의 반사된 이미지로서의 웨어러블 디바이스의 인식, 미러의 피처들(이를테면, 형상 및 위치)을 식별하는 것, 또는 웨어러블 디바이스로부터 활성 질의(이를테면, 적외선 펄스, 라디오 주파수(RF) 질문 신호, 또는 플래시 광)를 제공하는 것 등에 기반할 수 있다. 큐들은 사용자 환경에서 미러의 존재를 결정하기 위해 개별적으로 또는 조합하여 사용될 수 있다. 일단 검출되면, 미러는 다른 방으로의 개구보다는 미러로서 3D 지도에서 적절히 고려될 수 있다.
[0553]
비록 예들이 미러의 측면들에서 설명되지만, 본 개시내용은 미러들로 제한되도록 의도되지 않는다. 본원에서 설명된 기법들은 임의의 타입의 반사 표면, 이를테면 예컨대, 윈도우에 대해 사용될 수 있다. 예컨대, 특히 밤에, 불켜진 방의 윈도우는 실질적으로 반사적으로 출현할 수 있는데, 이는 방 외부의 환경이 어둡기 때문이다.
사용자의 환경의 이미지들 내의 예시적인 큐들
[0554] 도 16은 방의 객체들을 반사하는 미러를 포함하는 단일 방의 예를 예시한다. 도 16의 방(5000)은 다양한 물리적 개체들(5010)(이를테면, 예컨대 식물(5010a), 데스크(5010b), 컴퓨터 모니터(5010c), 및 의자(5010d))을 갖는다. 방(5000)의 미러(5050)는 방(5000)에서 주변 광을 반사할 수 있다. 결과적으로, 방(5000)의 물리적 객체들(5010)의 반사된 이미지들(5011)이 존재할 수 있다. 예컨대, 도 16에서, 반사된 이미지들(5011)은 반사된 식물(5011a), 반사된 데스크(5011b), 및 반사된 모니터(5011c)를 포함할 수 있다.
[0555]
HMD를 착용한 사용자는 방(5000)의 미러(5050) 근처에 서 있을 수 있다. 사용자는 HMD를 통해 미러(5050) 및 미러와 연관된 반사된 이미지들(5011)을 인지할 수 있다. HMD는 (예컨대, 도 5에 도시된) 외향 이미징 시스템(502)을 사용하여 사용자의 환경을 이미징할 수 있다. 예컨대, HMD는 미러(5050), 반사된 물리적 객체들(5011), 벽(5040)의 이미지들 뿐만 아니라 물리적 객체들(5010)의 이미지들을 획득할 수 있다.
[0556]
그러나, 웨어러블 시스템이 HMD에 의해 이미징된 객체가 반사된 객체인지 또는 물리적 객체인지를 알 수 없기 때문에, 웨어러블 시스템은 미러의 존재를 표시하는 하나 또는 그 초과의 큐들을 식별하도록 이미지들을 분석할 수 있다. 예컨대, 아래에서 추가로 설명되는 바와 같이, 큐들은 키포인트 인식, 공통-모션 테스트, 깊이 불연속성, 사용자의 머리의 존재, 웨어러블 디바이스의 명시적인 인식, 미러의 피처들, 웨어러블 디바이스로부터의 활성 질의(이를테면, 적외선 펄스 또는 플래시 광 등)에 기반할 수 있다. 큐들은 사용자 환경에서 미러의 존재를 결정하기 위해 개별적으로 또는 조합하여 사용될 수 있다. 이들 큐들은 또한, 사용자가 자신의 환경에서 주변을 이동할 때 미러를 추적하기 위해 사용될 수 있다.
[0557]
이들 큐들은 또한, 관찰된 객체가 미러인지 또는 애퍼처인지를 구별하기 위해 사용될 수 있다. 애퍼처는 물리적으로 통과가능할 수 있으며, 이를테면, 물리적 객체들이 통과하게 할 수 있는 개방 출입구일 수 있다. 부가적으로 또는 대안적으로, 애퍼처는 시각적으로 통과가능할 수 있으며, 이를테면, 애퍼처가 부착된 구조적 컴포넌트들(이를테면, 벽)을 넘어 사용자가 볼 수 있게 하는 윈도우일 수 있다. 애퍼처 또는 반사 미러 표면으로서의 객체의 분류는 상호 배타적인 것으로 의도되지 않는다. 일부 상황들에서, 객체는 미러 및 애퍼처 둘 모두의 특성들을 가질 수 있다. 예컨대, 윈도우는, 그것이 개방될 때 또는 그것이 사용자가 윈도우를 통해 볼 수 있게 할만큼 충분히 투명할 때 애퍼처로서 분류될 수 있다. 윈도우는, 윈도우 외부의 환경이 어두울 때 만약 그것이 밤에 (미러처럼) 충분히 반사적이라면 미러로서 분류될 수 있다. 큐들의 추가적인 세부사항들이 아래에서 설명된다.
키포인트 인식을 사용한 큐들
[0558]
웨어러블 시스템은, 이미지가 환경에서 객체들의 반사된 이미지들을 포함하는지 여부를 결정하기 위해 이미지의 일부분의 키포인트들(또는 컴퓨터 비전에서 사용된 임의의 다른 타입의 피처)을 사용자의 환경의 지도들과 비교할 수 있다. 만약 2개의 지도들의 키포인트들이 매칭하면, 웨어러블 시스템은 미러의 존재를 표시하는 큐로서 매치를 고려할 수 있다. 일부 실시예들에서, 키포인트 비교 기법들은 동시적인 위치 및 매핑 기법들(예컨대, SLAM, 시각적 SLAM, 또는 유사한 알고리즘들)에 의해 구현될 수 있다.
[0559]
도 16을 참조하면, 웨어러블 시스템은, 포착된 이미지가 미러를 포함하는지 여부를 결정하기 위해, 포착된 이미지의 하나 또는 그 초과의 키포인트들을 방(5000)의 지도의 키포인트들과 비교할 수 있다. 예컨대, 웨어러블 시스템은 방(5000)의 식물(5010a)의 잎 끝들을 키포인트들로서 사용할 수 있다. HMD는 미러(5050) 및 반사된 식물(5011a)의 잎 끝들을 이용하여 이미지를 포착할 수 있다. 웨어러블 시스템은 반사된 식물(5011)의 잎 끝들을 (실제 식물(5010a)의 잎 끝들을 포함하는) 방(5000)의 지도와 비교하고, 키포인트들의 2개의 세트들 간에 매치가 존재하는지 여부를 결정할 수 있다. 웨어러블 시스템은 키포인트들의 위치 및/또는 키포인트들 간의 상대적인 포지션들에 기반하여 그러한 비교를 행할 수 있다.
[0560]
부가적으로 또는 대안적으로, 웨어러블 시스템은 HMD에 의해 포착된 이미지 내의 키포인트들의 기하학적 구조들을 지도 내의 키포인트들에 의해 형성된 기하학적 구조들과 비교할 수 있다. 기하학적 구조는 객체의 피처들 간의 기하학적 관계, 이를테면, 예컨대 피처들 간의 거리들, 피처들 간에 형성된 개방 각도들 등의 결정을 포함할 수 있다. 예컨대, 도 16에서, 웨어러블 시스템은 포착된 이미지 내의 반사된 식물(5011a)의 형상을 (세계 지도에 저장된 바와 같은) 방(5000) 내의 식물(5010a)의 형상과 비교할 수 있다. 웨어러블 시스템은, 반사된 식물(5011a)의 형상이 물리 식물(5010a)의 형상과 매칭하는지를 결정할 수 있다. 웨어러블 시스템은 또한, 포착된 이미지 내의 키포인트들의 세트에 의해 형성된 개방 각도들을 지도 내의 키포인트들의 다른 세트에 의해 형성된 개방 각도들과 비교할 수 있다. 만약 키포인트들의 2개의 세트 내의 개방 각도들이 매칭하면, 웨어러블 시스템은 그것을 미러의 존재에 대한 큐로서 사용할 수 있다. 웨어러블 시스템은 3D 가능 시스템들에서 그러한 기하학적 비교를 구현할 수 있다.
[0561]
소정의 실시예들에서, 3개짜리의 이웃 키포인트들은 환경에서 매칭하는 기하학적 구조를 탐색하기 위해 사용될 수 있다. 예컨대, 웨어러블 시스템은 외향 이미징 시스템(502)에 의해 포착된 이미지에서 이웃 키포인트 3개짜리들의 세트를 결정할 수 있다. 웨어러블 시스템은 이웃 3개짜리들 간의 개방 각도들을 계산하고, 계산된 개방 각도들을 환경의 알려진 지도 내의 개방 각도들과 매칭시킬 수 있다. 웨어러블 시스템은 매치들을 검출하기 위해 샤잠 알고리즘 또는 다른 유사한 알고리즘들을 사용할 수 있다.
[0562]
일부 키포인트들은 리플렉션 하에 있는 하나 또는 그 초과의 특정 거동들을 가질 수 있고, 웨어러블 시스템은 미러의 존재를 식별하기 위해 그러한 거동들을 사용할 수 있다. 예컨대, 키포인트들의 세트는 미러에서 거꾸로 포지셔닝될 수 있다(이를테면, 반전된 텍스트). 웨어러블 시스템은 매치들을 결정하기 위해 이미지 내의 하나 또는 그 초과의 키포인트들의 포지션들을 축방향 변환시킬 수 있다. 웨어러블 시스템은 또한, 키포인트들에 의해 형성된 기하학적 구조들(예컨대, 키포인트들에 의해 형성된 기하학적 형상들)을 축방향 변환시킬 수 있다. 유사하게, 웨어러블 시스템은 객체(이를테면, 예컨대 반사된 식물(5011a))의 이미지를 축방향 변환시키고, 변환된 이미지를 방(5000) 내의 알려진 객체(이를테면, 예컨대 실제 식물(5010a))의 이미지와 비교할 수 있다. 웨어러블 시스템은 변환된 이미지를 물리 환경의 이미지와 비교하고, 이들 2개의 이미지들이 매칭하는지 여부를 결정할 수 있다. 일부 실시예들에서, 웨어러블 시스템은 키포인트들, 객체들, 및 환경의 지도 내의 키포인트들에 의해 형성된 기하학적 구조들을 축방향 변환시킬 수 있다. 웨어러블 시스템은 이들 변환된 이미지들을 HMD에 의해 포착된 이미지들과 비교하고, 매치가 존재하는지 여부를 결정할 수 있다.
[0563]
웨어러블 시스템은 매치들의 양에 대한 임계치를 세팅할 수 있다. 만약 매치들의 양이 이러한 임계치에 도달하면, 웨어러블 시스템은 이미지들을 반사된 이미지들로서 그리고 반사 표면을 갖는 것으로서 미러(5050)를 식별할 수 있다. 그렇지 않으면, 이미지들은 물리적 객체들의 이미지들인 것으로 고려된다. 웨어러블 시스템은 또한, 미스매치들의 양에 대한 임계치를 세팅할 수 있다. 만약 미스매치들의 양이 임계치에 도달하면, 웨어러블 시스템은 그 이미지들과 연관된 객체들을 물리적 객체들로서 마킹할 수 있고; 그렇지 않으면 그 이미지들은 반사된 이미지들로서 고려된다.
[0564]
종종, HMD의 사용자가 미러로부터 충분히 멀리 포지셔닝될 때, HMD는 동일한 이미지에서 물리적 객체 및 미러 객체를 관찰할 수 있다. 예컨대, 도 16에서, 사용자가 식물(5010a) 뒤에 서 있고 미러(5050)를 향하면, 웨어러블 시스템은 물리 식물(5010a) 및 반사된 식물(5011a) 둘 모두를 갖는 이미지를 포착할 수 있다. 본원에서 설명된 키포인트 인식 기법들 및 다른 기법들(이를테면, 객체 인식 기법들)은 또한, 동일한 이미지에서 물리적 객체들과 반사된 객체들을 명확하게 하기 위해 적용될 수 있다.
[0565]
유리하게, 키포인트 인식 기법들은 기하학적 구역이 잠재적으로 미러일 수 있는지 여부를 체크하기 위해 다른 큐들과 결합될 수 있다. 예컨대, 웨어러블 시스템은 미러에서 (도 17a에 도시된) HMD(1320a)의 이미지를 인지할 수 있다. 웨어러블 시스템은 HMD의 (도 17a에 도시된) 반사된 이미지(1320b) 주변의 구역을 식별하고, 식별된 구역이 미러인지 여부를 검증 또는 위조하기 위해 하나 또는 그 초과의 키포인트 인식 기법들을 적용할 수 있다. 예컨대, 웨어러블 시스템은 반사된 이미지(1320b) 주변의 식별된 구역에서 키포인트들을 축방향 변환시키고, 이웃 키포인트 3개짜리들의 세트 간의 개방 각도들을 계산할 수 있다. 웨어러블 시스템은 계산된 개방 각도들을 환경의 지도 내의 개방 각도들과 비교하고, 개방 각도들이 매칭하는지 여부를 결정할 수 있다.
객체 인식을 사용한 큐들
[0566] 키포인트 인식 이외에 또는 그에 대안적으로, 웨어러블 시스템은 객체의 반사된 이미지를 인지할 수 있다. 이러한 반사된 이미지는 미러 검출을 위한 큐로서 사용될 수 있다. HMD는 외향 이미징 시스템(502) 또는 HMD 외부의 카메라들을 사용하여 사용자의 환경 내의 객체들의 이미지들을 포착할 수 있다. 웨어러블 시스템은 물리적 객체의 알려진 이미지를 물리적 객체의 포착된 이미지와 비교하여, 포착된 이미지가 반사된 이미지를 포함하는지 여부를 결정할 수 있다.
[0567]
예컨대, 도 16에서, 웨어러블 시스템은 방(5000)의 컴퓨터 모니터(5010c)의 이미지들을 저장하였을 수 있다. 웨어러블 시스템은 외향 이미징 시스템(502)을 사용하여 컴퓨터 모니터의 반사된 이미지(5011c)를 획득하고 반사된 이미지(5011c)를 컴퓨터 모니터의 이미지(5010c)와 비교할 수 있다. 일부 실시예들에서, 객체의 반사된 이미지는 물리적 객체의 이미지와 동일한 특징들을 가지지 않을 수 있다. 도 16에 도시된 바와 같이, 모니터의 반사된 이미지(5011c)는 모니터(5010c)의 후방을 포함하는 반면, 외향 이미징 시스템(502)에 의해 캡처된 모니터의 이미지는 모니터의 전방을 포함할 수 있다. 모니터(5010c)의 후방은 모니터(5010c)의 전방이 갖지 않는 특징들을 포함할 수 있다. 웨어러블 시스템은 특징들의 이러한 차이를 사용하여 이미지가 반사된 이미지를 포함하는지 여부를 결정할 수 있다.
[0568]
웨어러블 시스템은 미러 검출을 위하여 HMD 자체를 인지할 수 있다. 예컨대, 도 17a에 대해, HMD(1320a)를 착용한, 사용자(1360a)는 미러(1330) 정면에 서 있을 수 있고, HMD(1320a)는 미러(1330)에서 HMD의 반사된 이미지(1320b)를 검출할 수 있다. 만약
웨어러블 시스템이 반사된 이미지(1320b)가 HMD(1320a)의 이미지와 매칭한다고 결정하면, 웨어러블 시스템은 반사된 이미지(1320b) 주변의 구역들을 미러로서 태그할 수 있다.
[0569]
소정의 실시예들에서, 이미지는 리플렉션 하에서 반전될 수 있기 때문에, 웨어러블 시스템은 저장된 이미지 또는 반사된 이미지 중 어느 하나를 축 방향으로 변환하고 2개의 이미지들이 동일한 객체를 위한 것인지 여부를 분석할 수 있다. 예컨대, HMD는 사람의 이미지(1360b) 및 HMD의 이미지(1320b)를 검출할 수 있다. HMD는 이미지(1360b)가 사용자(1360a)의 반사된 이미지인 반면 이미지(1320b)가 HMD(1320a)의 반사된 이미지인 것으로 결정할 수 있고, 따라서 이미지들(1320b 및 1360b) 주변의 구역은 미러이다.
미러의 피처들을 사용하는 큐들
[0570]
웨어러블 시스템은 또한 객체의 피처들을 큐들로서 사용할 수 있다. 예컨대, 웨어러블 시스템은 미러가 되는 객체와 연관될 수 있는 피처들(이를테면, 객체의 프레임 또는 형상, 수직 벽 상의 객체의 포지션)을 식별하기 위하여 객체 인지기(708a)(예컨대, 도 7을 참조로 설명됨)를 사용할 수 있다. 웨어러블 시스템은 또한 미러와 같은 객체의 피처들을 미러들이 아닌 다른 객체들의 피처들과 추가로 구별하기 위하여 연역적 추론(deductive reasoning)을 적용할 수 있다.
[0571]
예컨대, 일부 상황들에서, 미러 프레임(미러를 둘러쌈)의 이미지 및 픽처 프레임(픽처 또는 그림(painting)을 둘러쌈)의 이미지는 유사하게 보일 수 있다. 웨어러블 시스템은 프레임이 미러 프레임이라고 가정하고, 이러한 가정을 검증(또는 위조)하기 위하여 (이를테면, 반사된 이미지를 검색하기 위한) 연역적 추론을 사용할 수 있다. 대안적으로, 웨어러블 시스템은 프레임이 픽처 프레임이라고 가정하고, 이러한 가정(예컨대, 어떠한 반사된 이미지들도 식별되지 않음)을 검증하거나 또는 위조하기 위하여 연역적 추론을 사용할 수 있다.
[0572]
일부 실시예들에서, 웨어러블 시스템은 (예컨대, 입체적인 시스템 또는 깊이 카메라를 이용한) 거리 인식 기법들을 사용하여, 객체가 미러인지 또는 픽처 프레임인지를 분석할 수 있다. 이것은, 픽처 프레임(예컨대, 픽처 또는 그림)에서의 객체의 이미지가 픽처 프레임과 동일한 평면(예컨대, 픽처 프레임과 실질적으로 동일 평면)에 있는 반면, 미러에서의 객체의 이미지(예컨대, 사용자의 환경에서의 객체 또는 사용자의 반사된 이미지)가 전형적으로 미러의 평면 뒤에 있고 미러와 동일 평면이 아닌 깊이를 가지기 때문에 가능하다. 그에 따라서, 프레임에 출현하는 객체들의 깊이를 결정함으로써, HMD 시스템은 프레임이 미러와 연관되는지 여부를 구별할 수 있다.
[0573]
미러의 형상은 큐일 수 있다. 전형적으로, 비록 다른 형상들이 가능할지라도, 미러는 직사각형 또는 타원형 형상을 갖는다. 웨어러블 시스템은 사용자의 환경에서 직사각형 객체 또는 타원형 객체를 검출할 수 있다. 웨어러블 시스템은 그러한 객체를 미러로서 시험적으로(tentatively) 지정하고, 객체가 미러인지 여부를 추가로 검증(또는 위조)하기 위하여 본원에서 설명된 다른 큐들을 사용할 수 있다. 반대로, 웨어러블 시스템은 비-미러 애퍼처(예컨대, 윈도우 또는 문 출입구)와 같은 그러한 객체를 시험적으로 지정하고, 객체가 비-미러 애퍼처인지 여부를 추가로 검증(또는 위조)하기 위하여 본원에 설명된 다른 큐들을 사용할 수 있다.
[0574]
웨어러블 시스템은 또한, 미러의 다른 피처들, 이를테면, 크기, 위치, 표면, 노멀 등을 사용하여 미러의 존재를 결정할 수 있다. 예컨대, 많은 경우들에서, 미러들은 수직 벽들에 걸리며 바닥으로부터 천장까지 완전히 연장되지 않는다. 수직 벽들에 걸려 있는 다른 객체들은 미러, 예컨대, 그림들, 평면 스크린 디스플레이들 등이 아닐 수 있다. 수직 벽의 일부분만을 점유하는 수직 벽 상의 직사각형 객체의 검출은 객체가 미러일 수 있음(또는 아닐 수 있음)을 웨어러블 시스템에 표시할 수 있다. 또한, 만약 객체의 표면 노멀이 벽에 수직(또는 벽의 표면 노멀과 평행)하면, 객체는 벽에 대해 비교적 평평하게 걸리게 될 가능성이 있으며, 미러 또는 픽처일 가능성이 더 크다. 웨어러블 시스템은, 가능한 미러 객체의 검출 이후에, 본원에서 설명된 다른 큐들을 사용하여 객체가 미러인지(또는 아닌지)를 결정할 수 있다.
거리 인식을 사용한 예시적인 큐들
[0575]
일부 실시예들에서, 웨어러블 시스템은 깊이를 측정할 수 있다. 깊이는 광학 기법들(예컨대, 외향 이미징 시스템을 사용하는 입체적인 이미징)을 사용하여 또는 활성 전자기 또는 음향 신호들을 사용하여(이를테면, 레이더 시스템 또는 음향 깊이 센서를 사용하여) 측정될 수 있다. 웨어러블 시스템은 미러일 수 있는 객체의 경계를 식별할 수 있다. 웨어러블 시스템은 객체의 에지 근처에서 깊이 측정을 수행할 수 있다. 객체의 에지(예컨대, 미러의 프레임)로부터 발생하는 깊이 측정의 불연속성의 검출은 객체가 미러인 큐일 수 있다.
[0576]
그러나, 일부 상황들에서(이를테면, 깊이가 입체적으로 측정될 때), 웨어러블 시스템은 객체가 사실상 애퍼처(예컨대, 윈도우 또는 문 출입구)일 때 유사한 깊이 불연속성 정보를 획득할 수 있다. 애퍼처를 미러와 구별하기 위하여, 웨어러블 시스템은 다른 큐들, 이를테면, 얼굴 인식, 키포인트 인식, 또는 본원에서 설명된 다른 기법들을 사용하여 미러의 존재를 추가로 검증할 수 있다.
HMD로부터의 질의에 기반한 예시적인 큐들
[0577]
웨어러블 시스템은 HMD로부터의 질의를 전송함으로써 미러의 존재를 검증할 수 있다. 질의는 하나 또는 그 초과의 신호들을 포함할 수 있다. 신호는 전자기 신호(예컨대, 광학 신호), 음향 신호(예컨대, 초음파) 등일 수 있다. 예컨대, HMD(1360a)(도 17에 도시됨)는 객체(예컨대, 적외선 광) 상으로 광을 캐스트할 수 있다. 만약 웨어러블 시스템이 광이 다시 비추는 것을 검출하면, 웨어러블 시스템은 그것을 큐로서 사용하여, 객체가 반사면을 가지고 있음을 결정할 수 있다. 소정의 실시예들에서, 웨어러블 시스템은 표면이 반사면인지 여부를 결정할 때 수신된 신호의 세기에 대한 임계치를 세팅할 수 있다. 예컨대, 비록 사용자의 방의 다수의 객체들(이를테면, 폴리싱된 돌 테이블 최상부(polished stone table top))이 광을 반사시킬지라도, 미러는 전형적으로 다른 객체들보다 더 많은 광을 반사시킬 것이다. 결과적으로, 웨어러블 시스템은, 웨어러블 시스템이, 미러로서 객체를 잘못 식별할 가능성을 감소시킬 수 있도록, 리플렉션에 대한 임계치를 충분히 높게 세팅할 수 있다. 마찬가지로, 미러의 음향 반사 시그니처는 벽의 음향 반사 시그니처보다 더 높을 수 있다.
[0578]
HMD는 또한 미러와 연관된 디바이스로부터 신호를 수동적으로 수신할 수 있다. 예컨대, 미러는 그것에 부착된 하나 또는 그 초과의 라벨들을 가질 수 있다. 예컨대, 도 18에 도시된 라벨(5340)은 미러 표면 또는 프레임에 부착되거나 또는 미러 인근에 배치될 수 있다. 라벨은 광학 센서(예컨대, HMD의 외향 카메라)에 의해 판독될 수 있는 정보(예컨대, 바코드, 빠른 응답(QR) 코드, 또는 패턴들을 갖는 스티커)를 포함하는 광학 라벨일 수 있다. 정보는 식별 정보(예컨대, 객체가 미러임) 또는 미러에 대한 다른 정보(예컨대, 그 크기 등)를 포함할 수 있다. 라벨(5340)은 객체에 대한 식별 정보(예컨대, 객체가 미러임)를 결정하기 위하여 질의될 수 있는(또는 그 존재를 브로드캐스트할 수 있음) 라디오-주파수 식별(RFID) 태그(능동 또는 수동)를 포함할 수 있다. 다른 예로서, 라벨(5340)은 HMD 상의 음향 센서에 의해 검출되는 (예컨대, 초음파 주파수들에서) 음향 신호를 출력하는 음향 방사기를 포함할 수 있다. 음향 신호는 RF 정보와 유사하게, 객체를 미러로서 식별하는 정보를 포함할 수 있다.
[0579]
이러한 질의 기법들은 다른 큐들과 함께 사용될 수 있다. 예컨대, 웨어러블 시스템은 키포인트 인식 기법들을 적용하고 객체를 미러로서 시험적으로 식별할 수 있다. 이어서, 웨어러블 시스템은 객체가 실제로 미러인지 여부를 검증하기 위하여 식별된 객체에 질의를 전송할 수 있다. 이것은, HMD로부터의 질의가 실질적인 에너지를 사용할 수 있고, (HMD로부터의 일정한 질의와 대조적으로) 질의 기법들을 최종 검증으로서 적용하는 것이 HMD에 의해 요구되는 에너지를 감소시킬 수 있기 때문에 유리할 수 있다.
사용자와 연관된 예시적인 큐들
[0580]
미러는 사용자와 연관된 큐들을 사용하여 검출될 수 있다. 도 17a를 참조로, 사용자(1360a)는 방(1300)에 서 있다. 사용자는 HMD(1320a)를 착용하고 있다. 방(5300)은 미러(1330)를 포함하는 다양한 객체들(예컨대, 객체들(1310a, 1312a, 1314))을 갖는다. 미러(1330)는 방(1300)에서 주변 광을 반사시킬 수 있다. 결과적으로, HMD는 사용자의 반사된 이미지(1360b), HMD의 반사된 이미지(1320b), 및 방(1300)의 객체들의 반사된 이미지들(예컨대, 1310b, 1312b)을 캡처할 수 있다.
얼굴 인식을 사용한 큐들
[0581]
웨어러블 시스템은 외향 이미징 시스템에 의해 사용자의 얼굴을 검출하도록 구성될 수 있다. 외향 이미징 시스템에 의해 포착된 이미지에서의 사용자의 얼굴의 존재는 반사면(이를테면, 미러)의 존재에 대한 큐일 수 있다. 이것은, 반사면이 사용자의 얼굴의 반사된 이미지를 제공하지 않는 한, 사용자가 일반적으로 자기 자신의 얼굴을 볼 수 없을 것이기 때문에 가능하다.
[0582]
웨어러블 시스템은 사용자의 반사된 이미지를 사용자의 얼굴의 알려진 이미지와 비교함으로써 (방(1300)에서의 다른 사람과는 대조적으로) 사용자(1360a)의 얼굴을 인지할 수 있다. 사용자의 얼굴의 이미지는 다양한 기법들을 사용하여 획득될 수 있다. 예컨대, HMD(1320a)는 사용자가 HMD(1320a)를 착용하는 동안 사용자의 얼굴의 이미지를 획득하기 위하여 내향 이미징 시스템(500)(도 5에서 카메라(500)로 또한 지칭됨)을 사용할 수 있다. HMD(1320a)는 또한, 외향 이미징 시스템(502)을 사용자를 향하여 터닝하고 외향 이미징 시스템(502)을 사용하여 사용자의 얼굴을 이미징함으로써 사용자의 얼굴 이미지를 획득할 수 있다. 웨어러블 시스템은 다른 채널들을 통해, 이를테면, HMD(1320a) 외부의 카메라를 사용하여 사용자(1360a)의 사진을 촬영함으로써, 사용자의 이미지를 획득할 수 있다.
[0583]
HMD(1320a)가 방(1300)을 이미징할 때, 외향 이미징 시스템(502)은 미러에서 사용자의 얼굴의 반사된 이미지를 캡처할 수 있다. 웨어러블 시스템은 반사된 이미지를 사용자 얼굴의 알려진 이미지와 비교하여, 얼굴의 이러한 2개의 이미지들이 동일한 사람에게 속하는지 여부를 결정할 수 있다. 만약 웨어러블 시스템이 사용자의 얼굴과 반사된 얼굴 간에 매치가 존재한다고 결정하면, 웨어러블 시스템은 사용자의 얼굴의 반사된 이미지 주변의 구역을 미러로서 태그할 수 있다.
[0584]
소정의 실시예들에서, 웨어러블 시스템은 매치를 결정하기 위하여 사용자의 알려진 이미지 또는 사용자의 반사된 이미지를 프로세싱할 수 있다. 예컨대, 사용자가 미러를 직접 향하지 않을 때, 웨어러블 시스템은 사용자의 얼굴의 모델을 회전시켜 사용자의 얼굴의 측면을 사용자의 얼굴의 포착된 이미지와 비교할 수 있다. 다른 예에서, 웨어러블 시스템은 사용자의 얼굴의 반사된 이미지에서 HMD(1320b)를 "제거"하고, 선택적으로 HMD에 의해 차단된 부분에 패치할 수 있다. 웨어러블 시스템은, 이러한 프로세싱된 이미지를 사용자의 얼굴의 비차단된 이미지와 비교하여, 이미지들이, 동일한 사람을 식별하는지 여부를 결정할 수 있다. 유사하게, 웨어러블 시스템은 얼굴의 알려진 이미지에 HMD의 이미지를 "부가"하고 이러한 프로세싱된 이미지를 사용자의 포착된 이미지와 비교할 수 있다.
[0585]
웨어러블 시스템은 또한 다른 기법들을 사용하여 얼굴을 식별할 수 있다. 예컨대, 웨어러블 시스템은 인간의 얼굴의 소정의 피처들, 이를테면, 코, 입, 귀 등을 인지할 수 있다. 웨어러블 시스템은 이러한 기법을 구현하기 위하여 임의의 얼굴 인식 알고리즘들을 사용할 수 있다.
사용자의 표시에 기반한 큐들
[0586]
웨어러블 시스템은 객체가 미러 검출을 위한 큐(cue)로서 미러인지 여부에 대한 사용자의 이전 또는 현재의 표시를 사용할 수 있다. 예컨대, 웨어러블 시스템이 본원에서 설명된 기법들을 사용하여 미러일 수 있는 객체를 식별할 때, 웨어러블 시스템은, 사용자-선택가능한 엘리먼트(예컨대, 메뉴, 버튼, 토글 등)를 제공하여, 사용자가 이것이 실제로 미러임을 입력할 수 있게 한다. 만약 사용자가 긍정적으로 응답하면, 웨어러블 시스템은 객체를 미러로서 지정할 수 있다. 다른 예로서, 웨어러블 시스템은 미러들을 인지하도록 트레이닝될 수 있다. 예컨대, 사용자는 객체를 미러로서 표시할 수 있다. 이러한 표시에 기반하여, 웨어러블 시스템은 객체의 특성들, 이를테면, 형상, 크기, 위치, 광학 특징들 등을 포착하고, 이러한 특성들을 미러와 연관시킬 수 있다. 웨어러블 시스템은 미러의 존재를 검출하기 위하여 이러한 특성들을 나중에 사용할 수 있다.
사용자의 움직임들에 기반한 큐들
[0587]
웨어러블 시스템은 또한 사용자의 움직임 데이터를 포착함으로써 미러의 존재를 검출할 수 있다. 움직임들은 스피드, 가속도 또는 포지션 변경(이를테면, 회전, 하나의 위치로부터 다른 위치로의 움직임 등)을 포함할 수 있다. 웨어러블 시스템은 사용자 또는 사용자 신체의 일부분(예컨대, 사용자의 머리)의 포지션 또는 배향을 결정하기 위하여 관성 측정 유닛(IMU)을 포함할 수 있다. IMU는: 가속도계들, 자이로스코프들, 자력계들 등 중 하나 또는 그 초과를 포함할 수 있다. 웨어러블 시스템은, 부가적으로 또는 대안적으로, 사용자의 포즈 또는 사용자의 신체(예컨대, 제스처를 만드는 사용자의 손)의 일부분의 움직임을 결정하기 위하여 외향 이미징 시스템(502)을 사용할 수 있다. 부가적인 세부사항들은 그러한 움직임 데이터를 포착하기 위하여 도 1b, 도 5 및 도 9를 참조로 설명된다. 웨어러블 시스템은 미러의 존재에 대한 큐로서 외향 이미징 시스템에 의해 포착된 움직임 데이터와 시각적 데이터 간의 비교를 사용할 수 있다. 만약 움직임 데이터와 시각적 데이터 간의 비교가 사용자의 움직임이 HMD에 의해 관찰된 시각적 데이터와 일관적이라고 제안하면, 웨어러블 시스템은 시각적 데이터와 연관된 이미지의 구역을 미러로서 태그할 수 있다.
[0588]
소정의 실시예들에서, 웨어러블 시스템은 머리 포즈의 변경들을 검출할 수 있다. 도 17b는 사용자의 머리 포즈를 정의하는 데 사용될 수 있는 3D 각도 좌표 시스템의 예를 예시한다. 예컨대, 도 17b에 도시된 바와 같이, 사용자의 머리(5940)는 다수의 자유도를 가질 수 있다. 머리(5940)가 상이한 방향들을 향하여 이동함에 따라, 머리 포즈는 자연 휴지 방향(natural resting direction)(5920)에 대해 변경될 것이다. 도 17b에서의 좌표 시스템은 머리의 자연 휴지 상태(5920)에 대한 머리 포즈를 측정하기 위하여 사용될 수 있는 3개의 각도 자유도(예컨대, 요(yaw), 피치(pitch) 및 롤(roll)을 도시한다. 도 17b에 예시된 바와 같이, 머리(5940)는 전방 및 후방으로 기울어질 수 있고(예컨대, 피칭), 좌측 및 우측으로 터닝할 수 있고(예컨대, 요잉), 그리고 좌우로(side to side) 기울어질 수 있다(예컨대, 롤링). 일부 다른 실시예들에서, 머리 포즈를 측정하기 위한 다른 기법들 또는 각도 표현들, 예컨대, 임의의 다른 타입의 오일러(Euler) 각도 시스템이 사용될 수 있다. 이러한 머리 포즈의 변경들은 레코딩되고, 소정의 시간 기간 동안 획득된 사용자의 머리의 반사된 이미지들과 비교될 수 있다. 만약 웨어러블 시스템이 머리의 움직임 데이터와 머리의 관찰된 시각적 데이터 간의 불일치들을 결정하면, 웨어러블 시스템은 미러의 존재를 검출할 수 있다.
[0589]
유리하게, 이 기법들은 다른 큐들, 이를테면, 얼굴 인식과 결합될 수 있다. 예컨대, 웨어러블 시스템은 초기에, 얼굴 인식을 사용하여 미러일 수 있는 객체에서 얼굴을 인지할 수 있다. 관찰된 얼굴이 사용자의 얼굴의 반사된 이미지인지 또는 다른 사람의 얼굴의 반사된 이미지인지를 추가로 구별하기 위하여, 웨어러블 시스템은 얼굴의 움직임들을 관찰하고 그러한 움직임들을 사용자의 움직임 데이터와 비교할 수 있다. 만약 이러한 2개의 움직임들이 서로 상관되면, 웨어러블 시스템은 관찰된 얼굴이 사용자의 얼굴의 반사된 이미지임을 결정하여, 그에 의해, 미러의 존재를 검출할 수 있다.
[0590]
도 18은 사용자와 연관된 큐들을 사용하는 미러 검출의 다른 예를 예시한다. 도 18은 미러(5450) 정면의 사용자의 손(5370)을 도시한다. 미러(5450)는 주변 광을 반사시킬 수 있기 때문에, 사용자는 자신의 손의 반사된 이미지(5371)를 볼 수 있다. 사용자는 궤적(5380)을 따라 포지션(5360a)으로부터 포지션(5360b)으로 자신의 손을 이동할 수 있다. 그에 따라서, 사용자의 손의 미러 이미지(5361)는 또한 포지션(5361a)으로부터 포지션(5361b)으로 이동할 수 있다.
[0591]
웨어러블 시스템은 사용자의 손(5370) 및 사용자의 손의 반사된 이미지(5371)의 포지션의 변경들을 (예컨대, 외향 이미징 시스템을 사용하여) 관찰할 수 있다. 웨어러블 시스템은 미러 검출에서 큐로서 반사된 이미지(5371) 및 손(5370)의 포지션의 변경들 간의 비교를 사용할 수 있다. 예컨대, HMD는 시간이 지남에 따라 (예컨대, 다수의 정지 프레임들로서 또는 비디오로부터의 프레임들로서) 다수의 이미지들을 획득하기 위하여 외향 이미징 시스템(502)을 사용할 수 있다. 이미지들은 사용자의 손(5370) 및 사용자의 손에 반사된 이미지(5371)를 포함할 수 있다. 웨어러블 시스템은 사용자의 손(5370)의 포지션 변경을 사용자의 손의 반사된 이미지(5371)의 포지션 변경과 비교할 수 있다. 예컨대, 웨어러블 시스템은 사용자의 손 움직임의 궤적 및 사용자의 손의 반사된 이미지(5371)의 다른 궤적을 계산할 수 있다.
[0592]
웨어러블 시스템은 사용자의 손 움직임들의 궤적을 반사된 이미지의 움직임들의 궤적과 비교할 수 있다. 만약 웨어러블 시스템이 이러한 2개의 궤적들이 서로 상관된다고 결정하면, 웨어러블 시스템은 사용자의 손(5370) 정면의 객체가 미러임을 결정할 수 있다. 웨어러블 시스템은 또한, 사용자의 손의 궤적(5380)에 기반하여 손의 미러 이미지의 추정된 궤적을 계산하고, 추정된 궤적을 반사된 손의 관찰된 궤적과 비교할 수 있다. 유사하게, 웨어러블 시스템은 손의 반사된 이미지의 궤적에 기반하여 손의 움직임들의 궤적을 추정할 수 있다. 만약 추정된 궤적이 손의 관찰된 궤적과 상관된다면, 웨어러블 시스템은 미러로서 손 정면의 객체를 미러로서 태그할 수 있다.
[0593]
비록 여기의 예들이 사용자의 움직임들을 관찰하는 것을 참조로 설명될지라도, 이러한 예들은 제한적인 것으로 의도되는 것이 아니다. 웨어러블 시스템은 사용자의 환경에서의 임의의 객체들의 움직임들 및 이러한 움직임들의 리플렉션일 수 있는 객체들의 움직임들을 관찰할 수 있다. 예컨대, 웨어러블 시스템은 비교적 천천히 회전하는 천장 팬(ceiling fan)의 움직임들을 추적하고 그것을 반사된 천장 팬의 움직임들과 비교하기 위하여 외향 이미징 시스템을 사용할 수 있다. 웨어러블 시스템은 또한 2개 초과의 객체들의 움직임들을 관찰할 수 있다. 예컨대, 웨어러블 시스템은 사용자의 머리의 움직임들, 사용자의 머리의 반사된 이미지, 및 천장 팬의 반사된 이미지를 관찰할 수 있다. 관찰된 움직임들에 기반하여, 웨어러블 시스템은 사용자의 머리가 (천장 팬의 반사된 이미지 대신에) 사용자의 머리의 반사된 이미지에 대응함을 결정할 수 있다.
[0594]
도 19는 3개의 이동 객체들의 궤적들의 예를 도시한다. 축(5474)은 3D 공간의 일 차원 (x)에서 객체의 포지션을 나타내지만, 이것은 예시를 위한 것이며 제한을 위한 것은 아니다. 축(5472)은 시간을 나타낸다. 웨어러블 시스템은 시간이 지남에 따라 객체들의 움직임들(이를테면, 사용자의 머리, 사용자의 신체 포즈, 사용자의 머리의 미러 이미지 등)을 모니터링하고 이러한 객체들의 궤적들을 결정할 수 있다. 예컨대, 도 19에서, 제1 객체는 궤적(5430)을 따라 이동한다. 제2 객체는 궤적(5440)을 따라 이동한다. 웨어러블 시스템은 궤적(5430)과 궤적(5440)의 공분산을 계산할 수 있다. 만약 공분산이 특정 임계치를 충족시키기에 충분히 작은 경우, 웨어러블 시스템은 제1 객체를 제2 객체의 미러 이미지로서 고려할 수 있거나, 또는 그 반대일 수도 있다. 한편, 도 19에 도시된 바와 같이, 궤적(5420)은 궤적(5430)과 상관되지 않는다(예컨대, 임계치보다 더 큰 상관). 그에 따라서, 궤적(5420)과 연관된 객체는 궤적(5430)과 연관된 객체의 미러 이미지일 가능성이 없다.
[0595]
웨어러블 시스템은 2개의 객체들의 다양한 움직임 데이터 또는 시각적 데이터를 필터(이를테면, 예컨대, 칼만(Kalman) 필터)에 넣고 불확실성들의 안정성을 결정할 수 있다. 불확실성들은 2개의 객체들의 움직임들 간의 공분산으로 나타날 수 있다. 예컨대, 웨어러블 시스템은 사용자의 머리의 포지션, 스피드, 가속도 등과 같은 데이터를 수집하고, 그 데이터를 사용하여 사용자의 머리의 미러 이미지에 대한 움직임들의 추정을 생성할 수 있다. 만약 외향 이미징 시스템이 미러 이미지의 추정된 움직임을 추적하는 사용자의 환경에서 객체를 일관되게 관찰한다면, 웨어러블 시스템은 객체가 사용자의 머리의 미러 이미지일 가능성이 있음을 결정할 수 있다. 다른 한편으로, 만약 웨어러블 시스템이 미러 이미지의 추정된 움직임을 추적하지 않는 사용자의 환경에서 다른 객체를 관찰한다면, 웨어러블 시스템은 그 객체가 사용자의 머리의 미러 이미지가 아님을 결정할 수 있다.
미러 검출을 위한 큐들의 조합의 사용 예들
[0596]
때로는 객체가 미러인지 여부에 대한 큐가 결정적이지 않을 수 있다. 결과적으로, 웨어러블 시스템은 객체가 미러일 가능성들을 추가로 조사하기 위하여 큐들의 조합을 사용할 수 있다. 예컨대, 미러는 하나 또는 그 초과의 구조적 컴포넌트(이를테면, 벽, 문 출입구, 윈도우 또는 프레임)에 부착될 수 있다. 웨어러블 시스템은 관찰된 이미지에서의 키포인트들의 세트를 식별할 수 있다. 키포인트들의 세트는 구조적 컴포넌트 상의 키포인트들을 포함할 수 있다. 만약, 예컨대, 많은 충분한 수의 동일 평면 피처들이 존재한다면, 웨어러블 시스템은 구조적 컴포넌트를 벽(예컨대, 수직 평면 구조)으로서 식별할 수 있다. 다음의 설명은 구조적 컴포넌트의 예로서 벽의 측면일 수 있지만, 이것은 예시를 위한 것이며 제한은 아니다.
[0597]
웨어러블 시스템은 벽의 치수들 내에 측방향으로 위치되는 키포인트들을 식별할 수 있지만, 사용자의 관점에서는, 벽까지의 거리보다 더 멀리 떨어진 것처럼 보인다. 이 키포인트들의 세트는 애퍼처(예컨대, 개방 문 출입구)일 수 있거나 또는 미러일 수 있는 객체를 정의한다. 관찰된 키포인트들은 사용자의 관점에 의존할 수 있다. 사용자는 사용자의 포즈 또는 물리적 위치에 기반하여 키포인트들의 상이한 세트들을 관찰할 수 있기 때문에, 웨어러블 시스템은 세계 지도들에서의 키포인트들이 사용자의 포지션 또는 사용자의 응시 방향과 연관될 수 있도록 키포인트들에 하나 또는 그 초과의 지향성 벡터들을 부착할 수 있다. 도 16을 참조로, 만약 사용자가 미러(5050) 정면에 서 있으면, 사용자는 미러(5050)에서의 데스크(5010b)의 일부분을 관찰할 수 있다. 그러나, 만약 사용자가 방(5000)에서 문에 더 가깝게 이동하여 미러를 들여다보면, 사용자는 데스크(5010b)의 더 큰 부분을 관찰할 수 있다.
[0598]
식별된 투사된 포인트들의 세트는, (사용자의 현재 물리적 위치에서) 사용자를 연결하는 광선들 상에 놓여있는 키포인트들, 및 벽의 다른 측 상에 있는 것처럼 보이는 객체들을 포함할 수 있다. 객체는 투사된 포인트들의 볼록 헐(convex hull)보다 작지 않은 미러를 잠재적으로 포함할 수 있으며, 이는 객체의 다각형 경계를 정의할 수 있다. 또한, 미러는 벽 상에 위치되는 키포인트들의 내부 헐(hull)만큼 클 수 있다. 일부 실시예들에서, 웨어러블 시스템이 키포인트들에 지향성 벡터들을 부착할 때, 웨어러블 시스템은 이러한 지향성 벡터들을 사용하여 미러의 경계를 결정할 수 있다.
[0599]
그러나, 벽의 다른 측면에 출현하는 키포인트들의 관찰은 객체가 미러인지(예컨대, 키포인트들은 미러 정면의 물리적 객체들의 반사된 이미지를 나타냄) 또는 애퍼처인지(예컨대, 키포인트들은 문 출입구를 통해 벽을 넘는 다른 방에서의 물리적 객체들을 나타냄)에 대해 결정적이지 않다. 결과적으로, 웨어러블 시스템은 그 객체를 미러로서 시험적으로 지정하고, 객체가 실제로 미러인지 여부를 검증(또는 위조)하기 위하여 본원에서 설명된 다른 큐들을 사용할 수 있다. 반대로, 웨어러블 시스템은 객체를 애퍼처로서 시험적으로 지정하고 객체가 미러인지 여부를 추가로 결정하기 위하여 다른 큐들을 사용할 수 있다. 일부 실시예들에서, 웨어러블 시스템은 객체가 미러인지 여부에 대한 확률을 할당할 수 있다. 확률은 큐들의 타입, 환경의 이전 모델들, 사용자의 거동 등에 기반하여 계산될 수 있다. 웨어러블 시스템은 객체가 미러(또는 애퍼처)일 가능성을 결정하기 위하여 본원에서 설명된 큐들과 함께 기계 학습 기법들(예컨대, 나이브 베이즈(
) 모델)을 사용할 수 있다.
미러 검출을 위한 예시적인 프로세스들
[0600]
도 20 및 도 21은 큐들을 사용하여 미러 검출을 위한 예시적인 방법들의 플로차트를 예시한다. 프로세스(2000)(도 20에 도시됨) 및 프로세스(1900)(도 21에 도시됨)는 웨어러블 시스템(예컨대, 도 1b에 설명된 웨어러블 디스플레이 시스템(80)을 참조)에 의해 수행될 수 있다.
[0601]
도 20에서, 블록(2010)에서, 웨어러블 시스템은 이미징 시스템을 사용하여 환경의 이미지를 획득할 수 있다. 이미징 시스템은 외향 이미징 시스템(502)(도 5에 도시됨)을 포함할 수 있다. 블록(2020)에서, 웨어러블 시스템은 이미징 시스템에 의해 포착된 이미지를 분석하고, 이미지에서, 잠재적으로 반사면을 가질 수 있는 객체를 식별할 수 있다. 웨어러블 시스템은 그러한 객체를 식별하기 위하여 본원에서 설명된 하나 또는 그 초과의 큐들을 사용할 수 있다. 예컨대, 웨어러블 시스템은 사용자의 얼굴, 리플렉션 하에서 객체들의 소정의 거동들(이를테면, 예컨대, 반전된 텍스트), 및/또는 이미지에서의 소정의 키포인트들을 식별할 수 있다. 만약 웨어러블 시스템이 이러한 큐들이 미러의 존재와 연관될 수 있음을 결정하면, 웨어러블 시스템은 이러한 큐들 주변의 구역을 반사면으로서 시험적으로 지정할 수 있다.
[0602]
블록(2010 및 2020)에 부가적으로 또는 대안적으로, 블록(2030)에서, 웨어러블 시스템은 환경에서 반사면의 존재와 연관된 큐를 표시하는 신호를 수신할 수 있다. 도 16을 참조로 설명된 바와 같이, 웨어러블 시스템은 객체에 능동 질의(이를테면, 플래시, 적외선 펄스 및/또는 전자기 신호)를 전송하고, 객체가 수신된 피드백에 기반하여 반사면을 갖는지 여부를 결정할 수 있다. 웨어러블 시스템은 또한, 객체가 미러임을 표시하는 신호를 객체로부터 수신할 수 있다. 예컨대, 미러는 소정의 주파수들을 갖는 RFID 태그와 연관될 수 있다. 웨어러블 시스템은 RFID로부터 신호를 픽업(pick up)하고, 그에 의해, RFID와 연관된 객체가 미러일 수 있음을 인지할 수 있다.
[0603]
블록(2040)에서, 웨어러블 시스템은 식별된 객체가 반사면을 갖는지 여부를 검증(또는 위조)하기 위하여 하나 또는 그 초과의 큐들을 추가로 분석할 수 있다. 예컨대, 웨어러블 시스템은 포착된 이미지들, 움직임 데이터, HMD로부터의 질의 등에 기반하여 반사면의 존재를 결정할 수 있다. 소정의 실시예들에서, 만약 웨어러블 시스템이 블록(2020) 또는 블록(2030)에서 반사면을 결정할 수 있다면, 블록(2040)은 선택적이다.
[0604]
블록(2050)에서, 일단 반사면이 인지되면, 웨어러블 시스템은 하나 또는 그 초과의 액션들을 수행할 수 있다. 예컨대, 웨어러블 시스템은 데이터 스토리지와 통신하고 미러와 연관된 정보를 획득할 수 있다. 웨어러블 시스템은 반사면 최상부 상에 가상 워드 "미러"를 디스플레이할 수 있다. 웨어러블 시스템은 또한 미러와 연관된 가상 메뉴를 제공할 수 있다. 예컨대, 사용자는 가상 메뉴 상의 옵션을 선택함으로써 다른 사용자와의 텔레프레즌스 세션을 개시할 수 있다. 프로세스(1900)는 웨어러블 시스템에 의해 관찰된 움직임 데이터를 분석함으로써 반사면의 존재를 식별하는 방법을 예시한다. 블록(1910)에서, 웨어러블 시스템은 사용자 신체의 반사된 이미지의 움직임들에 적어도 부분적으로 기반하여 제1 궤적을 결정한다. 예컨대, 반사된 이미지는 사용자의 머리의 반사된 이미지를 포함할 수 있다.
[0605]
블록(1920)에서, 웨어러블 시스템은 반사된 이미지에서 관찰된 사용자의 신체의 일부분에 대한 움직임 데이터를 획득한다. 예컨대, 웨어러블 시스템은 사용자의 머리의 움직임들을 획득하기 위하여 본원에서 설명된 다양한 센서들을 사용할 수 있다.
[0606]
블록(1930)에서, 웨어러블 시스템은 제2 궤적을 결정하기 위하여 사용자의 신체의 움직임 데이터를 분석할 수 있다. 웨어러블 시스템은, 블록(1940)에서, 제1 궤적과 제2 궤적을 비교하여 이러한 2개의 궤적들이 상관되는지 여부를 결정할 수 있다. 블록(1950)에서, 만약 웨어러블 시스템이 이러한 2개의 궤적들이 서로 상관됨을 결정하면, 웨어러블 시스템은, 시각적 데이터 및 움직임 데이터가, 동일한 객체(예컨대, 사용자의 신체)의 움직임을 설명함을 결정할 수 있다. 적어도 이러한 분석에 부분적으로 기반하여, 웨어러블 시스템은 반사면의 존재를 검출할 수 있다.
반사면들의 존재에서의 세계 지도들
[0607]
HMD는 HMD의 사용자 주변의 환경을 이미징하기 위하여 외향 카메라를 사용할 수 있다. 이미지들은 정지 이미지들, 비디오로부터의 개별적인 프레임들, 또는 비디오를 포함할 수 있다. HMD는 HMD가 사용자가 상호 작용할 수 있는 환경에서 가상 객체들을 적절히 배치할 수 있도록 환경의 3 차원(3D) 지도(세계 지도(920)의 실시예일 수 있음)를 구축할 수 있다. 예컨대, 만약 HMD의 사용자가 방에 있다면, 지도는 방의 크기 및 형상, 문 또는 윈도우들(그들의 크기 및 형상을 포함함)의 존재, 방의 물리적 객체들의 위치, 크기 및 특징들에 대한 정보를 포함할 수 있다.
[0608]
환경에서 하나 또는 그 초과의 미러들의 존재는 HMD로 하여금 환경의 3D 지도에서 아티팩트들을 생성하게 할 수 있다. 예컨대, 미러는 환경에서 물리적 객체들로부터의 주변 광을 반사하기 때문에, HMD 카메라에 의해 촬영된 미러의 이미지는 물리적 객체들의 반사된 버전들을 도시할 것이다. 만약 HMD가 미러의 존재를 인지하지 못하면, HMD는 이러한 객체들의 반사된 버전들을 방의 반사된 버전에서 출현하는 실제, 물리적 객체들로서 해석하는 것을 시도할 수 있다. 본질적으로, HMD는 미러를 문 또는 윈도우로서 존재하지 않는 방(실제 방의 반사된 버전)으로 부적절하게 해석할 수 있고, 이는 또한 존재하지 않는 객체들(실제 객체들의 반사된 버전들)로 채워진다. HMD는 물리적 세계에 존재하지 않는 그러한 "반사된 방"의 존재 및 특성들을 포함하도록 3D 지도를 부적절하게 업데이트할 수 있다. 일부 실시예들에서, 환경은 2개의 방들 중 제1 방의 벽에 걸려 있는 미러와 공통 벽을 공유하는 2개의 방들을 포함할 수 있다. 그러나, 웨어러블 시스템이 제1 방의 미러를 문 또는 윈도우로서 제2 방으로 부적절하게 해석할 수 있기 때문에, 웨어러블 시스템은 마치 그들이 제2 방의 물리적 객체들인 것처럼 반사된 객체들을 미러에 태그할 수 있으며, 이는 제2 방의 3D지도를 손상시킬 수 있다. 그에 따라서, 만약 HMD에 의해 인지되지 않는다면, 환경에서의 미러의 존재는 3D 지도에서 아티팩트들(예컨대, 반사된 방, 반사된 방에 있는 것처럼 보이는 반사된 객체들 등)을 유도할 수 있다.
[0609]
환경에서의 미러들을 다루는 이러한 난제를 처리하기 위하여, HMD는 미러 검출 기법들을 사용하여 환경에서 미러의 존재를 검출할 수 있다. 일단 검출되면, HMD는 미러를 적절히 설명하는 3D 지도를 생성할 수 있거나(그리고 반사된 물리적 객체들과 같은 아티팩트들을 포함하지 않음) 또는 미러의 존재에 의해 유발되는 아티팩트들을 제거하기 위하여 기존 3D 지도를 업데이트하거나 또는 수정할 수 있다. 예컨대, HMD는 HMD에 의해 포착된 이미지들에서 미러의 존재를 인지하도록 구성된 객체 인지기를 포함할 수 있다. 미러에 관한 정보(예컨대, 위치, 크기, 형상 등) 및 환경에 관한 정보(예컨대, 환경의 크기 및 형상, 및 환경에서의 물리적 객체들의 배치)에 기반하여, HMD는 기존 세계 지도로부터 미러와 연관된 아티팩트들을 제거하거나 또는 아티팩트들이 없는 새로운 세계 지도를 생성할 수 있다.
세계 지도들의 예들
[0610]
도 22a는 문에 의해 조인된 2개의 방들을 포함하는 3차원(3D) 환경의 예를 예시한다. 도 22a는 출입구(6550)에 의해 연결된 2개의 방들(6000a, 6200)을 예시한다. 방(6000a)은, 예컨대, 의자, 플랜트, 롤러 의자, 테이블 또는 모니터와 같은 복수의 물리적 객체들(6010a 및 6010b)을 포함할 수 있다. 방(6200)은 또한, 예컨대, 소파, 고양이가 있는 카페트, 책장 또는 픽처와 같은 복수의 객체들(6210a 및 6210b)을 가질 수 있다
[0611]
HMD는 사용자의 환경을 이미징할 수 있는 외향 이미징 시스템(예컨대, 도 5에 도시된 외향 이미징 시스템(502)을 참조)을 가질 수 있다. 방(6000a)에서 HMD의 사용자는 출입구(6550) 정면에 서 있을 수 있다. 사용자는 출입구(6550)를 통해 방(6200)에서 객체들(예컨대, 실선들로 도시된 객체들(6210) 및 객체들(6210a)의 일부분)을 인지할 수 있다. 그에 따라서, HMD는 사용자의 환경의 3D 지도를 업데이트하고, 객체들(6210a 및 6210b)을 방(6200)과 연관시킬 수 있다.
[0612]
일부 실시예들에서, 세계 지도는 키 포인트들의 하나 또는 그 초과의 세트들을 포함할 수 있다. 예컨대, 도 22a에서, 방(6000a)에서의 키 포인트들은 플랜트의 리프 팁(leaf tip)들, 모니터 스크린의 코너들, 데스크의 최상부 및 최하부 코너들 등을 포함할 수 있다. 이러한 키 포인트들은 (예컨대, SLAM 또는 V-SLAM 기법들을 사용하여) 세계 지도를 형성하기 위하여 조밀한 표면 표현과 결합될 수 있다. 소정의 상황들에서, HMD에 의해 식별된 키 포인트들의 세트들은 HMD를 착용한 사용자의 포즈(이를테면, 신체, 머리 및/또는 눈 포즈)에 기반하여 상이할 수 있다. 예컨대, 도 22a에서, HMD는 사용자가 방(6000a)에서 출입구(6550) 정면에 서 있을 때, 방(6200)에서의 소파의 일부분을 이미징할 수 있다. 그러나, 만약 사용자가 방(6000a)에서 측방향으로 서서 방(6200)에서 책장을 향하여 바라본다면, HMD는 소파가 사용자의 시야에 있지 않기 때문에, 소파의 이미지를 포착할 수 없을 수 있다. 유사하게, 도 16을 참조로, 사용자는, 사용자가 미러(5050) 정면에 서 있을 때, 데스크의 일부분의 미러 이미지를 관찰할 수 있다. 만약 사용자가 방(5000)에서 문을 향하여 좌측으로 이동하면, 사용자는 미러에서 데스크의 더 큰 부분을 관찰할 수 있다. 유리하게, 웨어러블 시스템은, 세계 지도들에서의 키 포인트들이 사용자의 포지션 및/또는 사용자의 응시 방향과 연관될 수 있도록, 키 포인트들에 하나 또는 그 초과의 지향성 벡터들을 부착할 수 있다.
미러에 의해 생성된 아티팩트들의 예들
[0613]
도 22b는 방에서의 객체들을 반사하는 미러를 포함하는 단일 방의 예를 예시한다. 도 22b는 또한, 미러의 존재를 인지하지 못하는 증강 현실 디바이스에 의해 생성된 3D 지도에서 아티팩트로서 출현할 수 있는 방의 반사된 버전을 점선들로 도시한다.
[0614]
도 22b는, 도 22a에 예시된 방(6000a)에 도시된 출입구(6550) 대신 미러(6555)를 갖는 하나의 방(6000b)을 예시한다. 방(6000b)은 일반적으로 도 22a에 도시된 방(6000a)과 유사하며, 객체들(6010a 및 6010b)을 포함한다. 미러(6555)는 방(6000b) 내에서 주변 광을 반사시킬 수 있다. 결과적으로, 방(6000b) 내에는 실제 물리적 객체들(6010a)의 반사된 이미지들(6110a)이 존재할 수 있다. 예컨대, 도 22b에서, 반사된 이미지들(6110a)은, 방(6000b) 내에 실제로 존재하는 모니터, 롤러 체어의 일부분, 데스크의 일부분, 또는 플랜트의 이미지를 포함할 수 있다.
[0615]
HMD를 착용하고 있는 사용자는 방(6000b) 내에서 미러(6555) 근처에 서 있을 수 있다. 사용자는 HMD를 통해 미러(6555) 및 미러와 연관된 반사된 이미지들(6110a)을 인지할 수 있다. HMD의 이미징 시스템은, 미러(6555)의 이미지들, 반사된 이미지들(6110a)뿐만 아니라, 물리적 객체들(6010a)의 이미지들을 포함하여, 환경의 이미지들을 획득한다. 하지만, HMD는 HMD에 의해 이미징된 객체가 반사된 이미지인지 또는 물리적 객체인지 여부를 알지 못할 수 있기 때문에, HMD는 객체들의 반사된 이미지들이 마치 물리적 객체들인 것 처럼 사용자의 환경의 3D 세계 지도를 업데이트할 수 있다. 결과적으로, 도 22b에 도시된 바와 같이, HMD는 미러(6555)를 방(6100)에 대한 출입구(실제로 존재하지 않음)로서 잘못 레코딩할 수 있으며, 방(6100) 내측의 반사된 이미지들(6110a)을 물리적 객체들(마찬가지로, 실제로 존재하지 않음)로서 연관시킬 수 있다.
[0616]
일부 상황들에서는, 실제로, 미러(6555)를 지지하는 벽 뒤에 실제 물리 공간(이를테면, 방)이 존재할 수 있다. 이러한 물리 공간은 HMD(또는 다른 HMD)의 사용자에 의해 사전에 매핑되어 세계 지도에 포함되었을 수 있다. HMD가 미러(6555)의 존재를 검출하지 않는 다면, HMD는, 실제로는 단지 반사된 이미지들(6110a)인 물리적 객체들을 포함하는 것으로서 세계 지도를 수정하고자 시도할 수 있다. 그에 따라서, 방 내의 미러의 존재가 검출되지 않으면, 그 방에 인접한 다른 물리 공간들의 아티팩트들이 세계 지도에 생기게 할 수 있다. 시간이 지남에 따라, 충분한 아티팩트들이 세계 지도에 통합되어, 그 세계 지도를 사용불가능하게 할 수 있다.
실질적으로 아티팩트들이 없는 세계 지도들의 예들
[0617]
도 16을 참조하여 사전에 설명된 바와 같이, 웨어러블 시스템은 미러(5050)의 존재를 검출하기 위해 하나 또는 그 초과의 큐들을 사용할 수 있다. 그에 따라서, 도 16의 방(5000)의 3D 지도는 사용자의 환경에서 미러의 존재를 고려할 수 있다. 도 16에서, 방(5000b)은 복수의 객체들(5010a, 5010b, 5010c, 5010d)을 가질 수 있다. 방(5000)은, 방(5050) 내에서 주변 광을 반사시키며 그리고 방 내의 개개의 객체들(5010a, 5010b, 5010c)의 복수의 반사된 이미지들(5011a, 5011b, 5011c)을 보여주는 미러(5050)를 갖는다.
[0618]
이 예에서, 웨어러블 시스템은, 예컨대, 얼굴 인식, 키-포인트들 인식, 미러 내의 HMD의 반사된 이미지의 인식, 디바이스로부터의 능동 질의, 이를테면 손전등 및 적외선 펄스, 음향 신호들(예컨대, 초음파), 미러를 지지하는 벽과 미러 간의 깊이 불연속성, 미러의 형상, 또는 미러의 특수 피처들, 이를테면 광학 라벨(예컨대, 바 코드 또는 QR(quick response) 코드) 등과 같은 다양한 기법들을 사용하여 미러(5050)의 존재를 인지할 수 있다. 웨어러블 시스템은 또한, 방(5000) 내의 객체의 반사된 이미지를 인지하도록 구성될 수 있다. 일단 웨어러블 시스템이, 실제로 객체가 반사된 이미지라고 결정하면(예컨대, 이것이 물리적 객체의 미러 이미지이기 때문임), 웨어러블 시스템은 반사된 이미지를 사용하여, 미러와 연관된 정보(예컨대, 크기, 형상, 위치 등)를 결정할 수 있다. 웨어러블 시스템은, 미러(5050)를 인지하고 미러(5050)에 대한 정보를 파싱할 수 있는 하나 또는 그 초과의 객체 인지기들(708)(도 7 및 12에 도시됨)을 포함하도록 구성될 수 있다. 미러 검출을 위한 기법들은, 미러의 이미지들을 취할 수 있는 외향 카메라(502)(도 5에 도시됨)와 같은 본원에서 설명된 다양한 센서들과 조합하여 사용될 수 있다.
[0619]
웨어러블 시스템은 방(5000)의 세계 지도를 액세스하고, 그리고 미러(5050)와 연관된 아티팩트들의 일부 또는 전부를 제거함으로써 기존의 세계 지도를 보정할 수 있다. 예컨대, 웨어러블 시스템은 미러의 존재로 인해 부정확하게 생성된 방(5100)(도 22b에 도시됨)을 제거할 수 있다. 웨어러블 시스템은 또한, 방(5000) 내의 객체들의 반사된 이미지들(5011a, 5011b, 5011c)을 제거할 수 있다. 소정의 실시예들에서, 웨어러블 시스템은 아티팩트들에 하나 또는 그 초과의 지향성 벡터들을 부착할 수 있다. 결과적으로, 아티팩트들은 사용자의 포지션 및/또는 그 사용자의 응시 방향과 연관될 수 있다. 일단 미러가 식별되면, 웨어러블 시스템은, 예컨대, 세계 지도 엔트리들(이들의 시점은, 이들이 웨어러블 시스템을 통하여 "미러를 통해" 관찰되었음을 표시함)을 발견하여 제거하기 위해, 이러한 지향성 벡터들을 사용하여, 사용자의 포지션 및/또는 응시 방향과 연관된 아티팩트들을 제거할 수 있다.
[0620]
일부 실시예들에서, 웨어러블 시스템은 미러 내의 반사된 이미지들(5011a, 5011b, 5011c)을 제거하지 않는 것을 선정할 수 있다. 웨어러블 시스템은 이들 이미지들(5011a, 5011b, 5011c)을 반사된 이미지들로서 태그할 수 있다. 하지만, 웨어러블 시스템은 반사된 이미지들(5011a)을 미러(5050) 뒤의 물리 공간에서의 실제 객체들과 연관시키지 않을 것이다. 그에 따라서, 웨어러블 시스템은 반사된 이미지들(5011a, 5011b, 5011c)에 기반하여 아티팩트들을 생성하지 않을 것이다.
[0621]
웨어러블 시스템은 또한, 아티팩트들이 없는 새로운 세계 지도를 생성할 수 있다. 예컨대, HMD를 착용하고 있는 사용자는, 사용자가 걸어다닐 때 환경을 연속적으로 이미징할 수 있다. 사용자가 미러(5050) 부근에 있을 때, HMD는 하나 또는 그 초과의 객체 인지기들(2208)을 사용하여 미러의 존재를 검출하고 그리고 미러와 연관된 정보를 획득할 수 있다. 도 12를 참조하여 설명된 바와 같이, HMD는, 방(5000)에 대한 세계 지도(1210)를 생성할 때 미러의 존재에 대해 다른 컴퓨팅 디바이스들에 통신할 수 있다. 웨어러블 시스템은 미러(5050)를 반사 표면으로서 태그할 수 있고, 방(5000)의 세계 지도에 미러(5050)와 연관된 아티팩트들을 부가하지 않을 수 있다.
[0622]
일부 실시예들에서, 웨어러블 시스템은, 주변 광을 반사할 수 있고 그리고 사용자가 반사 표면을 통해 볼 수 있게 하는 반사 표면(이를테면, 예컨대 윈도우)을 검출할 수 있다. 예컨대, 웨어러블 시스템은 하나 또는 그 초과의 객체 인지기들(708)을 사용하여 윈도우의 존재를 검출하도록 구성될 수 있다. 다양한 미러 검출 기법들이 윈도우의 존재를 검출하는 데에 사용될 수 있다. 웨어러블 시스템은 또한, 윈도우를 검출하기 위한 미러 검출 기법들과 조합하여 또는 단독으로 다른 기법들을 사용할 수 있다.
[0623]
웨어러블 시스템이 윈도우를 인지할 때, 웨어러블 시스템은 윈도우의 반사 특성들로 인해 생성된 아티팩트들을 결정할 수 있다. 웨어러블 시스템은, 세계 지도에서 윈도우 외측의 물리 공간의 이미지들을 유지하면서, 기존의 세계 지도로부터 아티팩트들을 제거하기 위해 본원에서 설명된 기법들을 사용할 수 있다. 이는, 웨어러블 시스템이 반사된 이미지들을 윈도우 외측의 공간에 속하는 물리적 객체들로 오인한 결과로서 세계 지도가 손상될 가능성을 감소시킬 수 있다. 유사하게, 본원에서 설명된 바와 같이, 웨어러블 시스템은 또한 아티팩트들이 없는 세계 지도를 생성할 수 있다.
[0624]
일부 실시예들에서, 웨어러블 시스템은 환경 내의 반사 표면의 존재를 인지할 수 있고, 세계 지도를 생성할 때, 방들, 객체들 등을 세계 지도에 부적절하게 배치하는 것을 피할 수 있다. 일부 실시예들은 유리하게는, 세계 지도가 반사 표면의 존재에 의해 유발되는 아티팩트들을 포함할 가능성을 방지하거나 감소시킬 수 있다.
세계 지도를 생성 및 보정하는 예시적인 프로세스들
[0625]
도 23은 환경에서의 반사 표면의 존재로 인해 3D 세계 지도를 생성하고 그리고/또는 보정하기 위한 예시적인 방법(7000)의 플로챠트이다. 이 방법은, 본원에서 설명된 웨어러블 시스템(예컨대, 도 1b 및 5에 도시된 웨어러블 디스플레이 디바이스(80 및 1000))에 의해 수행될 수 있다. 방법(7000)의 실시예들은 도 7을 참조하여 설명된 AR 환경(750)의 콘텍스트에서 수행될 수 있다. 방법(7000)은 또한, 환경의 이미지들을 획득하고 그 환경에서의 반사 표면의 존재를 인지할 수 있는 다른 컴퓨팅 시스템들을 사용하여 수행될 수 있다. 본원에서 설명된 바와 같이, 반사 표면은, 미러, 윈도우, 또는 반사 표면의 환경에서 객체들의 이미지들을 반사시키는 다른 반사 표면일 수 있다.
[0626]
블록(7100)에서, 웨어러블 시스템은 환경에서의 반사 표면(이를테면, 미러)의 존재를 검출할 수 있다. 예컨대, 외향 이미징 시스템(502)은 반사 표면을 포함하는 환경의 이미지를 획득할 수 있다. 획득된 이미지는 반사 표면에 의해 반사된 객체들의 이미지들을 포함할 수 있다. 웨어러블 시스템은 이미지들을 분석하여, 반사 표면의 존재를 결정하고 그리고 객체들의 반사된 이미지들을 식별할 수 있다. 예컨대, 웨어러블 시스템은, 미러와 연관될 수 있는 피처들(이를테면, 미러의 프레임 및/또는 형상)을 식별하기 위해 객체 인지기(708a)(예컨대, 실행가능한 소프트웨어 모듈)를 사용할 수 있다. 웨어러블 시스템은 또한, 연역적 추론을 적용하여, 미러의 피처들을 다른 객체들의 피처들로부터 추가로 구별할 수 있다. 예컨대, 일부 상황들에서, 미러 프레임의 이미지와 픽처 프레임의 이미지는 유사하게 보일 수 있다. 웨어러블 시스템은 프레임이 미러 프레임이라고 가정하고, 그리고 (이를테면, 반사된 이미지를 찾기 위한) 연역적 추론 및 이러한 가정을 검증(또는 위조)하기 위한 다른 데이터를 사용할 수 있다. 대안적으로, 웨어러블 시스템은 프레임이 픽처 프레임이라고 가정하고, 그리고 이러한 가정을 검증 또는 위조하기 위한 연역적 추론을 사용할 수 있다. 일부 실시예들에서, 웨어러블 시스템은, 객체가 미러인지 또는 픽처 프레임인지 여부를 결정하기 위해, 거리 인식 기법들(예컨대, 입체적인 시스템 또는 깊이 카메라)를 사용할 수 있다. 이는, 픽처 프레임 내의 객체의 이미지는 픽처 프레임과 동일한 평면 내에 있는(예컨대, 픽처 프레임과 실질적으로 동일 평면 상에 있음) 한편, 미러 내의 객체의 이미지는 전형적으로, 미러의 평면 뒤에 있고 미러와 동일 평면 상에 있지 않은 깊이를 갖기 때문에 가능하다.
[0627]
웨어러블 시스템은 또한, 획득된 이미지에서 미러를 식별하기 위해 다른 방법들을 사용할 수 있다. 웨어러블 시스템은, 이미지가 리플렉션이었음을 나타내게 될 이미지의 일부분들을 찾을 수 있다. 예컨대, 웨어러블 시스템은, 물리적 객체의 반전된 이미지(이를테면, 예컨대 반전된 텍스트)를 식별하고, 그리고 이미지의 일부분이 반사 표면을 포함할 수 있다고 추론할 수 있다. 일부 다른 경우들에서, 웨어러블 시스템은 하나 또는 그 초과의 큐들을 분석하여, 객체가 미러임을 결정(예컨대, 물리 환경에서의 움직임의 리플렉션인, 미러의 움직임의 검출)할 수 있다.
[0628]
블록(7200)에서, 웨어러블 시스템은 반사 표면과 연관된 정보를 결정할 수 있다. 미러와 연관된 정보는 미러의 물리 특성들, 이를테면, 예컨대, 미러의 크기, 포지션 또는 형상을 포함할 수 있다. 정보는 또한, 미러에 대한 가상 정보, 이를테면 예컨대 상호작용 타입(예컨대, 상호작용 가능 타입 대 상호작용 불가능 타입, 아래 설명 참조), 시맨틱스 정보(예컨대, 미러가 방 내의 객체들의 이미지들을 반사시킬 수 있는 반사 표면을 가짐, 수직 벽에 매달려 있음, 프레임을 가지고 있음 등) 등을 포함할 수 있다.
[0629]
예컨대, 웨어러블 시스템은, (웨어러블 디바이스를 착용할 수 있는) 다른 사람과의 콜을 개시하고 그리고 이 둘을 텔레프레즌스 세션(이 세션에서, 웨어러블 시스템은 다른 콜러의 이미지를 디스플레이할 수 있음)으로 연결하는 성능을 가질 수 있다. 웨어러블 시스템은 반사 표면(전형적으로, 미러)의 상호작용 타입을 상호작용 가능 타입(여기서, 미러는 텔레프레즌스 세션에서 사용될 수 있음)으로 지정할 수 있다. 텔레프레즌스 세션은, 미러가 사용자의 환경에 존재한다는 것을 웨어러블 디바이스가 식별할 때에 개시될 수 있다. 텔레프레즌스 세션 동안, 웨어러블 디바이스는 웨어러블 디바이스의 사용자의 반사된 이미지를 포착하고, 그러한 이미지를 콜 상의 다른 사람에게 송신할 수 있으며, 이는 사용자의 존재의 유형적인 감지를 생성한다. 또한, 반사 표면을 식별함으로써, 웨어러블 시스템은, 텔레프레즌스 세션 동안, 세계 지도에서 아티팩트들(예컨대, 반사 표면으로부터의 리플렉션들)을 부적절하게 생성하지 않을 것이다.
[0630]
블록(7300)에서, 웨어러블 시스템은 환경 내의 물리적 객체들의 하나 또는 그 초과의 반사된 이미지들의 존재를 결정할 수 있다. 예컨대, 웨어러블 시스템은, 반사 표면의 경계 내의 모든 이미지들이 실제 물리적 객체들이라기 보다는 반사된 이미지들이라고 결정할 수 있다. 웨어러블 시스템은 또한 키-포인트들 인식 또는 다른 기법들을 사용하여, 반사 표면의 이미지들을 환경의 물리적 객체들과 매칭시킴으로써, 반사된 이미지들을 결정할 수 있다. 예컨대, 웨어러블 시스템은 미러 내측의 이미지가 환경 내의 다른 객체의 "미러-이미지"라고 인지할 수 있고, 그에 의해, 미러 내측의 이미지가 실제 물리적 객체라기 보다는 리플렉션이라는 큐를 제공할 수 있다. 일부 키-포인트들은 리플렉션 하에서 하나 또는 그 초과의 특정 거동들을 가질 수 있다. 예컨대, 키-포인트들의 세트는 미러에 거꾸로 포지셔닝될 수 있다. 웨어러블 시스템은 반사 표면을 식별하기 위해 그러한 거동들을 사용할 수 있다.
[0631]
일부 실시예들에서, 웨어러블 시스템은 환경의 세계 지도에 액세스하고(블록(7450)에 도시됨), 그리고 반사 표면의 존재에 의해 유발되는 아티팩트들을 제거함으로써 세계 지도를 보정할 수 있다(블록(7460)에 도시됨).
[0632]
일부 다른 실시예들에서, 웨어러블 시스템은 아티팩트들이 없는 세계 지도를 생성할 수 있다(블록(7410)에 도시됨). 웨어러블 시스템이 환경의 이미지들을 획득할 때, 웨어러블 시스템은 그러한 세계 지도를 생성할 수 있다. 프로세스(7000)는 웨어러블 시스템에게 세계 지도를 생성하고 보정하는 것 둘 모두를 요구하지 않는 것이 주목되어야 한다. 오히려, 웨어러블 시스템은 세계 지도를 생성, 보정, 또는 업데이트하기 위해, 본원에서 설명된 기법들을 단독으로 또는 조합하여 사용할 수 있다. 예컨대, 웨어러블 시스템은 아티팩트들에 대해 사전에 생성된 세계 지도를 보정함과 동시에, 아티팩트들이 없는 세계 지도에 대한 새로운 콘텐츠를 또한 생성할 수 있다.
텔레프레즌스를 위한 툴들로서의 미러들
[0633]
전기 통신들에서, 시각적 이미지는 종종 제 1 콜러와 제 2 콜러 간의 오디오 통신들을 수반한다. 증강 현실(AR) 텔레프레즌스 세션에서, 제 2 콜러의 이미지는 제 1 콜러의 환경의 일부분에 걸쳐 제 1 콜러의 웨어러블 디바이스 이를테면, 예컨대, HMD(head-mounted device) 또는 ARD(augmented reality device)에 의해 제 1 콜러에게 디스플레이될 수 있다. 마찬가지로, 제 1 콜러의 이미지는 제 2 콜러의 환경의 일부분에 걸쳐 제 2 콜러의 웨어러블 디바이스에 의해 제 2 콜러에게 디스플레이될 수 있다. 이는, 텔레프레즌스 세션 동안, 제 1 콜러의 환경에서의 제 2 콜러의 존재의 유형적인 감지뿐만 아니라, 제 2 콜러의 환경에서의 제 1 콜러의 존재의 유형적인 감지를 생성한다.
[0634]
웨어러블 디바이스는, 착용자의 정면에서 환경을 관찰할 수 있는 외향 이미징 시스템을 포함할 수 있다. 웨어러블 디바이스는, 외향 이미징 시스템이 착용자 정면의 FOV(field of view)의 이미지들을 획득할 수 있도록, 착용자의 머리에 착용될 수 있다. 외향 이미징 시스템은, 조합하여 또는 대안적으로 사용되는, 입체적인 카메라들, 깊이-감지 카메라, FOV 카메라, 또는 다른 센서들 및 카메라들을 포함할 수 있다.
[0635]
웨어러블 디바이스들은 종종 착용자의 완전한 얼굴 또는 신체를 이미징할 수 있는 카메라를 포함하지 않기 때문에, 텔레프레즌스 세션 동안 착용자의 이미지를 다른 콜러에게 통신하는 것이 난제일 수 있다. 그에 따라서, 본원에서 설명된 다양한 웨어러블 시스템들은 착용자의 이미지를 획득하기 위해 착용자 부근의 미러를 활용한다. 예컨대, 제 2 콜러가 제 2 콜러의 환경에서 미러 근처에 포지셔닝될 때, 제 2 콜러의 웨어러블 디바이스의 외향 이미징 시스템은 미러 내의 제 2 콜러의 이미지를 캡처할 수 있다. 제 2 콜러의 웨어러블 디바이스는, 제 2 콜러의 웨어러블 디바이스 외부의 카메라를 사용하지 않으면서, 제 2 콜러의 이미지를 프로세싱하여 제 1 콜러의 웨어러블 디바이스에 전송할 수 있다. 마찬가지로, 제 1 콜러가 제 1 콜러의 환경에서 미러 정면에 포지셔닝될 때, 제 1 콜러의 웨어러블 디바이스의 외향 이미징 시스템은 미러 내의 제 1 콜러의 이미지를 캡처할 수 있다. 제 1 콜러의 웨어러블 디바이스는, 제 1 콜러의 웨어러블 디바이스 외부의 카메라를 사용하지 않으면서, 제 1 콜러의 이미지를 프로세싱하여 제 2 콜러의 웨어러블 디바이스에 전송할 수 있다. 외향 이미징 시스템과 미러의 조합은, 착용자의 환경에서의 외부 카메라, 또는 착용자에 의해 (예컨대, 셀피 스틱 상에) 홀딩된 외부 카메라, 또는 웨어러블 디바이스로부터의 확장부 상에 장착된 외부의, 착용자-지향 카메라를 사용하지 않으면서, 착용자의 이미지들을 획득할 수 있는 능력을 제공한다.
[0636]
텔레프레즌스 세션 동안, 제 1 콜러 및 제 2 콜러는 자신들의 개개의 디바이스들을 착용한 상태로 자신들의 개개의 미러들 정면에 서 있을 수 있다. 제 1 콜러는 전형적으로 제 1 콜러의 미러로부터 반사되는 제 1 콜러의 이미지를 볼 것이고, 제 2 콜러는 전형적으로 제 2 콜러의 미러로부터 반사되는 제 2 콜러의 이미지를 볼 것이다. 유리하게, 일부 실시예들에서, 본원에서 설명된 기술은 각각의 콜러들이 텔레프레즌스 세션 동안 다른 콜러의 이미지를 보는 것을 허용한다. 예컨대, 제 2 콜러의 이미지는, 제 1 콜러의 환경에서 제 1 콜러의 미러 이미지로부터 반사되는 주변 광에 걸쳐 제 1 콜러의 웨어러블 디바이스에 의해 디스플레이될 수 있다. 따라서, 제 1 콜러의 반사된 이미지를 본다기 보다는, 제 1 콜러는 제 1 콜러의 웨어러블 디바이스에 의해 투사된 제 2 콜러의 이미지를 본다. 마찬가지로, 제 2 콜러는, 제 2 콜러의 반사된 이미지를 본다기 보다는, 제 2 콜러의 웨어러블 디바이스에 의해 투사된 제 1 콜러의 이미지를 볼 것이다.
[0637]
미러로부터 반사된 주변 광은 또한, 전체적으로 또는 부분적으로 차단될 수 있다. 예컨대, 콜러들 중 어느 하나 또는 둘 모두의 이미지는, 임의의 기법들, 이를테면 컴퓨터 비전 기반 세그먼테이션, 깊이 기반 세그먼테이션, 또는 다른 기법들에 의해 선택적으로 크로핑될 수 있다. 일부 실시예들에서, 제 1 콜러의 이미지는 제 2 콜러의 웨어러블 디바이스에 전송될 수 있는 한편, 제 2 콜러의 미러에 대한 백그라운드는 변경, 증강 또는 차단될 수 있거나 또는 변경, 증강 또는 차단되지 않을 수 있다.
[0638]
웨어러블 디바이스는, 콜러의 이미지로부터 콜러의 머리 위의 HMD의 존재를 제거하기 위해 이미지 프로세싱 기법들을 사용할 수 있다. 따라서, 예컨대, 비록 제 1 콜러가 텔레프레즌스 세션 동안 HMD를 착용하고 있더라도, 제 2 콜러는, 그 HMD가 시각적으로 존재하지 않는 제 1 콜러의 이미지를 볼 수 있다. HMD에 의해 차단된 얼굴의 구역을 대체하기 위해, 제 1 콜러의 비차단된 얼굴(예컨대, HMD가 없는 콜러의 얼굴)의 일부의 이미지가 사용될 수 있다. 이러한 오버레이의 정렬 및 레지스트레이션(registration)은 임의의 알려진 방법들 또는 기법들에 의해 실현될 수 있다. 착용자의 얼굴의 차단된 구역의 움직임은, HMD 상의 내향 이미징 시스템(예컨대, 착용자의 눈들 또는 얼굴 구역을 향하고 있는 카메라)에 의해 추적 및 결정될 수 있다.
[0639]
텔레프레즌스 세션의 개시는 착용자의 웨어러블 시스템으로 하여금 미러들을 검색하게 할 수 있다. 예컨대, 사용자는 사용자 입력 디바이스(504)(도 5에 도시됨)를 작동시킴으로써 텔레프레즌스 세션을 개시할 수 있다. 이는, 사용자의 환경에서 미러를 검색하도록 HMD의 외향 카메라(502)(도 5에 도시됨)를 트리거할 수 있다. 웨어러블 시스템은 본원에서 설명된 다양한 큐들을 사용하여 미러를 검출할 수 있다.
[0640]
미러의 검출은 또한 텔레프레즌스 세션을 트리거할 수 있다(예컨대, 텔레프레즌스 세션을 시작하기 위해 콜러가 미러의 정면에 서 있음). 예컨대, 웨어러블 시스템이 사용자의 환경에서 미러를 검출할 때, 웨어러블 시스템은 사용자에게 텔레프레즌스 세션을 개시하기를 원하는지 여부를 묻는 팝-업 메뉴를 제공할 수 있다.
[0641]
미러 검출을 위한 임의의 방법들 또는 시스템들이 사용될 수 있다. 비록 예들이 미러를 사용하는 측면에서 설명되지만, 본 개시내용은 미러들로 제한되도록 의도되지 않는다. 웨어러블 디바이스의 환경에서의 임의의 타입의 반사 표면, 이를테면, 예컨대 윈도우가 콜러의 이미지를 획득하기 위해 사용될 수 있다. 웨어러블 디바이스는 임의의 환경들에서 주변 리플렉션들에 기반하여 콜러의 이미지를 재구성할 수 있는데, 이는 환경들이 그러한 재구성을 방지하기 위해 신중하게 생성되지 않는 한 이루어진다. 텔레프레즌스 애플리케이션들에서 웨어러블 시스템을 사용하기 위한 시스템들 및 방법들의 추가의 예들 및 실시예들이 아래에서 설명된다.
텔레프레즌스 세션의 예들
[0642]
위에서 설명된 바와 같이, 웨어러블 디바이스(이를테면 HMD 또는 ARD)는 웨어러블 디바이스의 착용자의 완전한 얼굴 또는 신체를 이미징할 수 있는 카메라를 갖지 않을 수 있기 때문에, 텔레프레즌스 세션 동안 착용자의 이미지를 다른 콜러에게 통신하는 것이 난제일 수 있다. 그에 따라서, 본원에서 설명된 다양한 웨어러블 디바이스들은 착용자의 이미지를 획득하기 위해 착용자 부근의 미러 또는 다른 반사 표면을 활용할 수 있다. 예컨대, 제 2 콜러가 제 2 콜러의 환경에서 미러 근처에 포지셔닝될 때, 제 2 콜러의 웨어러블 디바이스의 외향 이미징 시스템은 미러 내의 제 2 콜러의 이미지를 캡처할 수 있다. 제 2 콜러의 웨어러블 디바이스는, 제 2 콜러의 웨어러블 디바이스 외부의 카메라를 사용하지 않으면서, 제 2 콜러의 이미지를 프로세싱하여 제 1 콜러의 웨어러블 디바이스에 전송할 수 있다. 마찬가지로, 제 1 콜러가 제 1 콜러의 환경에서 미러 정면에 포지셔닝될 때, 제 1 콜러의 웨어러블 디바이스의 외향 이미징 시스템은 미러 내의 제 1 콜러의 이미지를 캡처할 수 있다. 제 1 콜러의 웨어러블 디바이스는, 제 1 콜러의 웨어러블 디바이스 외부의 카메라를 사용하지 않으면서, 제 1 콜러의 이미지를 프로세싱하여 제 2 콜러의 웨어러블 디바이스에 전송할 수 있다. 웨어러블 디바이스의 외향 이미징 시스템과 미러의 조합은, 착용자의 환경에서의 외부 카메라, 또는 착용자에 의해 (예컨대, 셀피 스틱 상에) 홀딩된 외부 카메라, 또는 웨어러블 디바이스로부터의 확장부 상에 장착된 외부의, 착용자-지향 카메라를 사용하지 않으면서, 착용자의 이미지들을 획득할 수 있는 능력을 제공한다.
[0643]
텔레프레즌스 세션 동안, 콜러들은 다양한 사용자 디바이스들(1230), 이를테면 웨어러블 디바이스들, 웹-카메라들, 컴퓨터들, 모바일 디바이스들, 및 사용자 및 사용자의 환경에 대한 정보를 포착하기 위한 다른 디바이스들을 사용할 수 있다. 이러한 정보는 그 사용자 주변의 세계 지도(1210)를 생성하기 위해 사용될 수 있다. 세계 지도(1210)는 포착되는 새로운 정보에 기반하여 끊임없이 업데이트될 수 있다. 세계 지도(1200)는 네트워크(1290)(도 15에 도시됨)를 통해 텔레프레즌스 세션에서 다른 사용자들에게 전달되어 그러한 다른 사용자들과 공유될 수 있다.
텔레프레즌스 세션 동안의 제 1 콜러의 예들
[0644]
도 17a를 다시 참조하면, 제 1 콜러는 그의 방(1300)에서 텔레프레즌스 세션을 수행할 수 있다. 도 17a의 예시적인 방(1300)은 물리적 객체들 이를테면, 테이블(1310a), 플랜트(1312b), 윈도우(1314) 및 미러(1330)를 포함한다.
[0645]
제 1 콜러(1360a)는 텔레프레즌스 세션 동안 미러(1330) 정면에 서 있을 수 있다. 제 1 콜러(1360a)는 텔레프레즌스 세션 동안 제 2 콜러(또는 더 많은 콜러들)에게 콜링하고 있을 수 있다. 제 1 콜러(1360a)는, AR/VR/MR 콘텐츠를 디스플레이하도록 구성된 HMD(1320a)를 착용할 수 있다. 미러(1330)는, 제 1 콜러(1360a)의 반사된 이미지(1360b), 제 1 콜러의 머리 위의 HMD(1320a)의 반사 이미지(1320b), 테이블(1310a)의 일부분의 반사된 이미지(1310b), 및 플랜트(1312a)의 반사된 이미지(1312b)를 보여준다.
[0646]
HMD(1320a)는 웨어러블 시스템의 실시예, 예컨대 도 1b의 웨어러블 디스플레이 시스템(80), 도 5의 디스플레이 시스템(100) 등을 포함할 수 있다. HMD(1320a)는, 착용자(1360a) 주변의 환경을 관찰하는 외향 카메라(502)(도 5에 도시됨)를 포함할 수 있다. 예컨대, 외향 카메라(502)(도 5에 도시됨)는 방(1300) 내의 미러(1330), 착용자(1360a)의 반사된 이미지(1360b), 및 착용자의 환경을 관찰할 수 있다.
텔레프레즌스 세션을 개시하는 예시적인 기법들
[0647]
HMD(1320a)는 방(1300) 내의 미러(1330)의 존재를 검출함으로써 텔레프레즌스 세션을 개시할 수 있다. 일부 실시예들에서, 특정 미러 또는 반사 표면은 특정 개인과의 텔레프레즌스 세션을 트리거링하는 것으로 인지될 수 있다.
[0648]
텔레프레즌스 세션의 개시는 또한, 미러를 검색하기 위해 HMD의 외향 카메라를 트리거할 수 있다. 미러가 발견된다면, HMD는 텔레프레즌스 세션 동안 (만일 존재하는 경우) 미러 내의 착용자의 이미지(1360b)를 획득하고 그리고 (수정된 또는 비수정된) 이미지를 다른 콜러에게 통신할 수 있다. HMD(1320a)는, 예컨대, 얼굴 인식, 키-포인트들 인식, 미러 내의 HMD의 인식(예컨대, HMD의 반사된 이미지(1320b)의 인식), 디바이스로부터의 능동 질의, 이를테면 손전등 및 적외선 펄스, 음향 신호들(예컨대, 초음파), 깊이 불연속성, 미러의 형상, 또는 미러의 특수 피처들, 이를테면 광학 라벨(예컨대, 바 코드 또는 QR(quick response) 코드)과 같은 다양한 미러 검출 기법들을 사용할 수 있다. HMD(1320a)는 또한, 예컨대 제 1 콜러(1360a)가 미러(1330)를 향하고 있는지 결정하기 위해 착용자의 눈 움직임들을 추적할 수 있는 하나 또는 그 초과의 내향 카메라들(예컨대, 도 5에 도시된 이미징 시스템(500) 참조)을 포함할 수 있다.
[0649]
일부 실시예들에서, HMD(1320a)는 음성 활성화에 의해 텔레프레즌스 세션을 개시할 수 있다. HMD(1320a)는, 착용자의 환경에서 착용자의 음성 및/또는 사운드를 포착할 수 있는 하나 또는 그 초과의 사운드 센서들, 이를테면, 예컨대 마이크로폰을 포함할 수 있다. 다양한 음성 활성화 기법들, 이를테면 HMD(1320a)의 착용자(1360a)의 음성 커맨드들 및 음성 인식이 사용될 수 있다.
[0650]
HMD(1320a)는 또한, 다른 기법들을 사용하여 텔레프레즌스 세션을 개시할 수 있다. 예컨대, HMD(1320a)는, 콜러(1360a)가 사용자 입력 디바이스(예컨대, 도 5에 도시된 사용자 입력 디바이스(504) 참조)를 작동시킬 때, 이를테면, 예컨대, 마우스를 클릭하거나, 터치 패드를 탭핑하거나, 터치 스크린을 스와핑하거나, 용량성 버튼을 호버링(hovering) 또는 터치하거나, HMD(1320a) 자체 또는 키보드 또는 게임 제어기(예컨대, 5-웨이 d-패드) 상의 키를 누르거나, 객체(예컨대, 미러)를 향하여 조이스틱, 완드, 또는 토템을 포인팅하거나, 원격 컨트롤 상의 버튼을 누르거나, 또는 사용자 입력 디바이스와의 다른 상호작용들 등에 의해, 텔레프레즌스 세션을 개시할 수 있다. HMD(1320a)는 또한, 콜러의 신체 포즈 또는 손 제스처들을 관찰하고, 그리고 물리 또는 가상 사용자 인터페이스에 의한 다양한 사용자 상호작용들을 통해 텔레프레즌스 세션을 설정할 수 있다. 예컨대, 콜러는 텔레프레즌스 세션을 개시하기 위해 가상 사용자 인터페이스 상의 하나 또는 그 초과의 가상 버튼들을 터치할 수 있다. 유사하게, HMD(1320a)는, 미러와 콜러(1360a)의 상호작용들, 이를테면, 예컨대 미러를 터치하는 것, 미러에서 제스처링(예컨대, 웨이빙(waving))하는 것, 연장된 시간 기간 동안 미러를 응시하는 것 등을 관찰함으로써, 텔레프레즌스 세션을 개시할 수 있다. 콜러(1360a)는, 본원에서 설명된 다양한 기법들을 단독으로 또는 조합하여 사용하여 텔레프레즌스 세션을 시작하거나 텔레프레즌스 세션에 조인할 수 있다.
텔레프레즌스 세션 동안의 양방향 통신들의 예들
[0651]
도 24는 텔레프레즌스 세션을 수행하는 제 1 콜러(1462a) 및 제 2 콜러(1464a)의 예를 예시한다. 이 예에서, 제 1 콜러(1462a)는 남자이고, 제 2 콜러(1464a)는 여자이다. 텔레프레즌스 세션에서, 제 1 콜러(1462a)는 HMD(1412a)를 착용하고 있고 그의 방(1420)에서 미러(1432) 정면에 서 있다. 제 1 콜러(1462a)는 도 16에 도시된 것과 동일한 콜러(1360a)일 수 있다. 미러(1432)는 그의 반사된 이미지(1462b) 및 그의 HMD의 반사된 이미지(1412b)를 보여준다. 유사하게, 제 2 콜러(1464a)는 HMD(1414a)를 착용하고 있고, 그녀의 방(1440)에서 미러(1434) 정면에 서 있다. HMD들(1412a 및 1414a)은 도 16에서 설명된 HMD(1320a)의 예들일 수 있거나, 또는 도 1b 및 5에서 각각 설명된, 웨어러블 디스플레이 시스템(80), 디스플레이 시스템(1000)을 포함할 수 있다. 미러(1434)는 그녀의 반사된 이미지(1464b) 및 그녀의 HMD의 반사된 이미지(1414b)를 보여준다. 미러들(1432 및 1434)은 임의의 형상 또는 크기로 이루어질 수 있다.
[0652]
도 12를 참조하여 설명된 바와 같이, HMD(1412a) 및 HMD(1414a)는 서로 통신할 수 있고 그리고/또는 다른 사용자 디바이스들 및 컴퓨터 시스템들과 통신할 수 있다. 예컨대, 제 1 콜러의 HMD(1412a)는, 예컨대 네트워크(1290)(도 12에 도시됨)를 통해, 제 2 콜러의 HMD(1414a)와 통신할 수 있다. 제 1 콜러(1262a)(및 그의 방(1420))의 제 1 세계 지도는 제 1 콜러의 HMD(1412a)에 의해 획득되는 정보에 기반하여 구성될 수 있다. 제 1 세계 지도는 (예컨대, 네트워크(1290)를 통해) 제 2 콜러의 HMD(1414a)에 전달될 수 있고, 그에 의해, 텔레프레즌스 세션 동안 제 1 콜러의 존재의 유형적인 감지를 생성한다. 마찬가지로, 제 2 콜러(1464a)(및 그녀의 방(1440))의 제 2 세계 지도는 제 2 콜러의 HMD(1414a)에 의해 획득되는 정보에 기반하여 구성될 수 있다. 제 2 세계 지도는 제 1 콜러의 HMD(1412a)에 전달될 수 있고, 그에 의해, 텔레프레즌스 세션 동안 제 2 콜러의 존재의 유형적인 감지를 생성한다. HMD들(1412a 및 1414a)은 개개의 콜러의 시야에서 개개의 콜러들의 움직임들 및 미러(들)의 위치를 추적하며, 그리고 개개의 콜러가 자신의 환경에서 돌아다님에 따라 개개의 세계 지도들을 업데이트할 수 있다.
[0653]
도 1b 및 12를 참조하여 설명된 바와 같이, 제 2 콜러의 HMD(1414a), 제 1 콜러의 HMD(1412a), 원격 컴퓨팅 시스템(1220)은, 단독으로 또는 조합하여, (제 1 콜러의 HMD(1412a)에 의해) 제 1 콜러(1462a)에게 프리젠테이션하기 위한 제 2 콜러의 이미지를 프로세싱할 수 있거나, 또는 (제 2 콜러의 HMD(1414a)에 의해) 제 2 콜러(1464a)에게 프리젠테이션하기 위한 제 1 콜러(1462a)의 이미지를 프로세싱할 수 있다.
[0654]
비록 예들이 단지 2명의 콜러들 만을 지칭하지만, 본원에서 설명된 기법들은 2명의 콜러들로 제한되서는 안된다. HMD들(또는 다른 텔레프레즌스 디바이스들)을 사용하는 다수(예컨대, 2명, 3명, 4명, 5명, 6명, 또는 그 보다 많은) 콜러들이 텔레프레즌스 세션에 참여할 수 있다. 콜러는 자신의 HMD를 사용하여 다수의 콜러들의 이미지들을 볼 수 있다. 일부 실시예들에서, 콜러의 미러는, 텔레프레즌스 세션에서 다른 콜러들의 이미지들을 배치하기 위한 프레임들을 생성하기 위해 콜러의 환경에서 다수회 가상으로 복제될 수 있다.
[0655]
또한, 예들이, 콜러들이 방에 서 있는 것으로 지칭하기는 하지만, 콜러들은 방에 서 있을 것이 요구되지 않는다. 콜러들은 텔레프레즌스 세션 동안 서 있거나, 앉아 있거나, 또는 미러에 대해 임의의 포지션 또는 움직임을 취할 수 있다. 콜러들은 또한, 방 이외의 물리 환경에 있을 수 있다. 콜러들은 텔레프레즌스 세션을 수행하는 동안 동일한 환경에 있을 수 있거나 또는 별개의 환경들에 있을 수 있다. 모든 콜러들이 텔레프레즌스 세션에서 자신들의 개개의 HMD들을 착용할 것이 요구되는 것은 아니다. 예컨대, 제 1 콜러(1462a)는 HMD(1412a)를 착용하는 한편, 제 2 콜러(1464a)는 다른 이미지 획득 및 디스플레이 디바이스들, 이를테면 웹캠 및 컴퓨터 스크린을 사용할 수 있다.
예시적인 사용자 경험들
[0656]
도 25a는 제 1 콜러가 본 제 2 콜러의 이미지의 예이다. 이 예에서, 제 1 콜러(1462a)(도 25a에 미도시)는 그의 HMD(1412a)를 착용하고 있으며, 그의 방(1420)에서 미러(1432) 근처에 서 있다. 도 24에 도시된 바와 같이, 미러(1432)는 그의 반사된 이미지(1462b) 및 그의 HMD의 반사된 이미지(1412b)를 보여준다.
[0657]
도 25a에 예시된 텔레프레즌스 세션 동안, 제 1 콜러의 HMD(1412a)는, 제 1 콜러의 미러(1432)에서 제 1 콜러의 반사된 이미지(1462a)를 오버레이하기 위해 (예컨대, 제 2 콜러의 HMD(1414a)로부터 수신된) 제 2 콜러의 이미지(1564b)를 투사할 수 있다. 따라서, HMD(1412a)를 착용하고 있는 제 1 콜러(1462a)는, 그 자신의 반사 이미지(1462b)를 보는 대신에, 자신의 미러(1432)에서 제 2 콜러의 이미지(1564b)를 볼 수 있다.
[0658]
텔레프레즌스 세션 동안 제 1 콜러가 보는 제 2 콜러의 이미지의 부가적인 예들이 도 25b - 27b를 참조하여 더 설명된다. 이들 도면들은 텔레프레즌스 세션 동안의 제 1 콜러의 사용자 경험의 비-제한적 예들을 예시하며, 아래에서 더 설명될 것이다. 마찬가지로, (비록 제 2 콜러의 HMD가 제 2 콜러에게 제 1 콜러의 이미지를 디스플레이하기는 하지만), 제 2 콜러는 텔레프레즌스 세션 동안 도 25a - 27b에 도시된 것들과 유사한 사용자 경험들을 가질 수 있다. 사용자 디바이스들 및 컴퓨터 시스템들, 이를테면 제 1 콜러의 HMD(1412a), 제 2 콜러의 HMD(1414a), 원격 컴퓨팅 시스템(예컨대, 도 12의 원격 컴퓨터 시스템(1220) 참조)은, 단독으로 또는 조합하여, 제 1 콜러의 반사된 이미지(1462b) 위에 제 2 콜러의 이미지(1564b)를 등록 및 오버레이하기 위해 임의의 방법들을 사용할 수 있다.
콜러의 이미지의 프로세싱 예들
[0659]
도 25a에서, 제 1 콜러의 HMD(1412a)(도 25a에 미도시)는 제 2 콜러(1564b) 및 그녀의 환경의 비수정 미러 이미지를 제 1 콜러(1462a)에게 투사할 수 있다. 이 예에서, 제 2 콜러(1464a)에 의해 사용되는 미러(1434)(도 24에 도시됨)는 반신(half-body) 미러인 반면, 제 1 콜러(1464a)에 의해 사용되는 미러(1432)는 전신(full body) 미러이다. 제 2 콜러의 HMD(1414a)는 (도 24에 예시된) 그녀의 미러(1434)에서 보여지는 그녀의 반사된 이미지(1464b)의 일부분을 캡처할 수 있다. 제 1 콜러의 HMD(1412a)는 제 2 콜러의 HMD(1414a)에 의해 캡처되는 제 2 콜러의 환경 및 제 2 콜러의 이미지의 일부분(1564c)을 디스플레이할 수 있다. 이 예에서, 제 1 콜러의 전신 미러(1432)는 제 2 콜러의 HMD로부터 수신된 이미지(1564b)보다 더 크기 때문에(제 2 콜러의 미러(1434)는 반신 미러이기 때문임), 제 1 콜러의 HMD는 (제 2 콜러의 미러(1434)의 반사 영역 외측에 있는) 제 2 콜러의 하위 신체(1564d)의 이미지를 제시하지 않을 수 있다.
[0660]
다른 예로서, 제 2 콜러의 HMD(1414a)는 제 2 콜러의 방(1440) 내의 미러(1434)뿐만 아니라 제 2 콜러(1464a)의 반사된 이미지(1464b)를 캡처할 수 있다. 제 2 콜러의 HMD(1414a)는, (미러(1434)의 이미지 및 반사된 이미지(1464b)를 포함하는) 캡처된 이미지를 제 1 콜러의 HMD(1412a)에 통신할 수 있다. 제 1 콜러의 HMD(1412a)는 제 1 콜러의 미러(1432) 위에 제 2 콜러의 미러의 이미지와 함께 제 2 콜러의 이미지를 투사할 수 있다. 이 예에서, (제 1 콜러의 미러(1432)가 제 2 콜러의 미러(1434)보다 더 크기 때문에) 제 2 콜러의 이미지 및 제 2 콜러의 미러는 제 1 콜러의 미러(1432)의 구역을 커버하도록 확대될 수 있다. 부가적으로 또는 대안적으로, 제 1 콜러의 HMD(1412a)는, 제 2 콜러의 이미지를 그녀의 미러(1434)와 함께 제시할 때, 미러(1432)의 일부분(이를테면, 제 2 콜러의 미러(1434)보다 더 큰 일부분)을 차단할 수 있다.
[0661]
일부 다른 실시예들에서, 제 1 콜러의 HMD(1412a)는 제 2 콜러의 프로세싱된 이미지를 디스플레이할 수 있다. 예컨대, 제 1 콜러의 HMD(1412)에 의해 디스플레이되는 제 2 콜러의 프로세싱된 이미지는 미러에 의해 캡처되지 않는 제 2 콜러의 하위 신체(1564d)의 일부분 및 (선택적으로) 그녀의 백그라운드를 포함할 수 있다. 제 2 콜러의 하위 신체(1564d)의 이러한 이미지는, 제 2 콜러에 대해 그리고 그녀의 환경에 대해 사전에 획득된 정보에 기반하여 합성될 수 있다.
[0662]
따라서, 다양한 실시예들에서, 제 1 콜러의 HMD(1412a)는, 제 2 콜러의 하위 신체(1564d) 또는 그녀의 백그라운드의 이미지를 디스플레이하지 않으면서 제 2 콜러의 이미지(1564b)를 디스플레이할 수 있거나, 또는 제 2 콜러의 상위 신체(1564c) 및 하위 신체(1564d)(및 선택적으로 그녀의 백그라운드)를 포함하는 이미지를 디스플레이할 수 있다. 제 2 콜러의 측(end)에서, (전신 미러(1432)로부터 반사된 전체 신체 이미지일 수 있는) 제 1 콜러의 이미지는 제 2 콜러의 반신 미러(1434)의 더 작은 영역 내에 맞춰지도록 선택적으로 크로핑될 수 있다. 따라서, 비록 제 1 콜러의 미러가 제 2 콜러의 미러보다 더 많은 영역들을 캡처한다고 하더라도, 제 2 콜러의 HMD(1414a)는 제 1 콜러의 이미지의 일부분 만을 디스플레이할 수 있다.
[0663]
비록 예들은 전체 신체 미러 및 절반 신체 미러를 참조하여 설명될지라도, 예들은 오직 전체 신체 및 절반 신체 미러로 제한되는 것으로 해석되어서는 안된다. 미러들은 임의의 크기 또는 형상일 수 있다. 콜러들(예컨대, 1462a 및 1464a)은 동일한 크기 또는 형상을 갖는 미러들을 가질 수 있다. 콜러들(예컨대, 1462a 및 1464a)은 또한 크기 또는 형상에서 상이한 미러들을 가질 수 있다. 추가로, 일부 상황들에서, HMD는 콜러와 미러 간의 거리, 외향 이미징 시스템의 각도, 사용자의 선호도 등으로 인해 반사된 이미지의 일부분만을 포착할 수 있다. 본원에서 설명된 이미지 프로세싱 기법들은 또한 이들 상황들에서 적용될 수 있다.
[0664]
일부 실시예들은, 효과에서, 다른 콜러에 도시된 이미지로부터 HMD를 "제거"할 수 있다. 도 25b는 제 1 콜러가 보는 제 2 콜러의 이미지의 예이고, 여기서 제 2 콜러 이미지는 그녀가 HMD를 착용하고 있는 것을 도시하지 않는다. 도 25a를 참조하여 설명된 바와 같이, 제 1 콜러의 HMD(1412a)는 제 2 콜러의 이미지(1564e)를 디스플레이할 수 있다. 이미지(1564e)는 제 1 콜러의 반사된 이미지(1462b) 위에 등록될 수 있고, 제 2 콜러의 존재의 유형적인 감지를 생성한다. 예컨대, 제 2 콜러의 이미지(1564e)는 제 1 콜러(1462a)의 반사된 이미지(1462b) 상에 오버레이될 수 있다. 일부 실시예들에서, 제 1 콜러(1462a)는, 비록 제 2 콜러의 이미지가 제 1 콜러의 반사된 이미지 위에 등록될지라도 그의 환경에서 물리적 객체들의 반사된 이미지들을 여전히 볼 수 있다. 예컨대, 제 1 사용자의 방은 물리 식물을 가질 수 있다. 미러(1432)는 물리 식물의 반사된 이미지(1512b)를 도시할 수 있다. 도 25b에 도시된 바와 같이, 제 1 콜러(1462a)는 제 2 콜러의 이미지(1564e) 뿐만 아니라 텔레프레즌스 세션 동안 그의 미러(1432)에서 물리 식물의 반사된 이미지(1512b)를 인지할 수 있다.
[0665]
일 실시예에서, 비록 제 2 콜러(1464a)가 (도 24에 도시된 바와 같이) 텔레프레즌스 세션에서 HMD(1414a)를 착용하고 있을지라도, HMD(1414a)에 의해 차단되는 제 2 콜러의 얼굴의 구역은 (도 25b에 도시된 삽입도에 예시된) 제 2 콜러의 비차단된 이미지(1514c)에 의해 대체될 수 있다.
[0666]
도 1b 및 도 5를 참조하면, 제 2 콜러(1464a)는 HMD가 착용된 콜러의 얼굴의 구역들의 비차단된 이미지(1514c)를 획득하기 위해 제 2 콜러의 HMD(1414a)의 외향 이미징 시스템(502), 제 2 콜러의 HMD(1414a)의 내향 이미징 시스템(500) 또는 조합을 사용할 수 있다. 예컨대, 제 2 콜러(1414a)는 제 2 콜러의 얼굴의 비차단된 이미지를 획득하기 위해 외향 이미징 시스템(502)을 그녀 자신을 향하여 터닝할 수 있다. 다른 예로서, HMD(1414a)는, 콜러(1464a)가 HMD를 착용하고 있는 동안 제 2 콜러(1464a)의 얼굴의 이미지들을 포착할 수 있다. 제 2 콜러의 비차단된 이미지는 또한, 예컨대, 이전에 저장된 정보를 리트리브하는 것, HMD(1414a) 외부의 카메라를 사용하여 픽처를 취하는 것 등과 같은 다른 방식들을 사용하여 포착될 수 있다.
[0667]
비차단된 이미지는 다수의 패치들을 포함할 수 있다. 패치들은 다양한 크기들을 가질 수 있다. 패치들은 상이한 시간들에 및/또는 상이한 이미징 시스템들에 의해 획득될 수 있다. 예컨대, 제 2 콜러(1414a)는, 텔레프레즌스 세션 동안 HMD에 의해 차단된 구역들의 움직임들을 추적하기 위해 내향 이미징 시스템(500)을 사용하는 동안, 텔레프레즌스 세션 전의 예컨대 이마, 눈 구역, 볼들 등과 같은 그녀의 얼굴의 이미지 패치들을 획득하기 위해 외향 이미징 시스템(502)을 사용할 수 있다. 내향 이미징 시스템(500)은 하나의 눈 또는 눈들 둘 모두의 움직임들을 추적할 수 있다.
[0668]
텔레프레즌스 세션 동안, 콜러의 이미지들은 하나 또는 그 초과의 패치들을 사용하여 생성될 수 있다. 패치들 중 일부는 실시간으로 생성될 수 있다. 예컨대, HMD(예컨대, HMD(1412a 또는 1414a)는 이전에 획득된 제 2 콜러의 얼굴의 이미지 패치들을 사용하여 그녀의 얼굴의 이미지를 생성할 수 있다. 제 2 콜러의 HMD(1414a)는 또한 제 2 콜러의 어느 하나의 눈 또는 눈들 둘 모두의 움직임들의 라이브 이미지 패치들을 획득할 수 있다. 이러한 움직임들의 이미지들은 제 2 콜러의 눈 구역(1514c)이 더 자연스럽게 출현하도록 HMD(1414a)에 의해 차단된 눈 구역(1514c)을 대체하기 위해 사용될 수 있다. HMD(예컨대, HMD(1412a 또는 1414a)는 또한 내향 이미징 시스템(500)으로부터 획득된 데이터에 기반하여 HMD에 의해 차단된 구역들(예컨대, 눈 구역)의 이미지들을 동적으로 변형할 수 있다.
[0669]
제 1 콜러의 HMD(1412a)에 의해 디스플레이될 제 2 콜러의 이미지를 송신하는 것 외에도 또는 그에 대한 대안으로, HMD(1412a 또는 1414a)는 또한 도 1b를 참조하여 설명된 바와 같이, 예컨대, 카메라들, IMU(inertial measurement unit)들, 가속도계들 등과 같은 다양한 센서들로부터 획득된 데이터에 기반하여 제 2 콜러(1464a)의 애니메이션들을 생성할 수 있다. 이들 센서들에 의해 획득된 데이터는 제 2 콜러(1464a)의 움직임들의 애니메이션들을 생성하기 위해 제 2 콜러(1464a)의 기존의 이미지 패치들을 동적으로 변형하기 위해 사용될 수 있다. 예컨대, 제2 콜러(1464a)의 머리는 텔레프레즌스 세션 동안 우측으로 터닝할 수 있다. 제 2 콜러의 HMD(1414a)의 내향 이미징 시스템(500)은 포즈에서의 이 변경 동안 제 2 콜러(1464a)의 눈 움직임들을 추적할 수 있다. HMD(1412a 또는 1414a)는 제 2 콜러(1464a)의 기존의 비차단된 눈 이미지를 수정하여 눈 포즈에서의 변경을 반영하고, 제 2 콜러의 애니메이팅된 이미지를 제 1 콜러(1462a)에 제공하여 제 1 콜러의 HMD(1412a)에 의해 디스플레이되게 하기 위해 제 2 콜러의 HMD(1414a)의 내향 이미징 시스템(500)으로부터의 데이터를 사용될 수 있다. 제 2 콜러(1464a)의 애니메이션을 생성하기 위해 다양한 방법들이 사용될 수 있다. 예컨대, 웨어러블 시스템은 제 2 콜러의 얼굴의 알려진 리그된(rigged) 모델 상에 맵핑함으로써 제 2 콜러(1464a)의 얼굴 애니메이션을 생성할 수 있다. 제 2 콜러의 리그된 모델은 (예컨대, 제 2 콜러의 HMD(1414a)와 같은) 웨어러블 시스템에 의해 자동적으로 생성될 수 있다.
[0670]
제 2 콜러의 HMD(1414a)의 다른 센서들은 또한 제 2 콜러(1464a)의 포즈에서의 변화들에 대한 데이터를 획득하기 위해 사용될 수 있다. 이들 데이터는 제 2 콜러(1464a)의 비차단된 이미지를 제공하기 위해, 단독으로 또는 내향 이미징 시스템(500)으로부터의 데이터와 조합하여 사용될 수 있다.
콜러의 이미지의 예시적인 백그라운드들
[0671]
도 26a 및 도 26b는 제 1 콜러가 보는 제 2 콜러의 이미지의 부가적 예들이며, 여기서 제 1 콜러의 환경의 미러(1432)는 제 1 콜러에 대한 표현으로부터 차단된다. 도 24, 도 25a 및 도 25b를 참조하여 설명된 바와 같이, 자신의 HMD(1412a)를 착용한 제 1 콜러(1462a)는 미러(1432) 근처에 있다. 미러(1432)는 그의 반사된 이미지(1462b)를 도시한다. HMD(1412a)는 제 1 콜러의 미러(1432)로부터 반사된 광의 일부분(자연적 또는 인공적) 또는 선택적으로 미러(1432)의 프레임을 차단할 수 있다. 따라서, HMD(1412a)는 제 1 콜러의 미러(1432)를 도시함이 없이 제 2 콜러의 이미지(1664b)를 (일부 경우들에서 제 2 콜러의 하위 신체(1664c) 없이) 디스플레이할 수 있다.
[0672]
일부 실시예들에서, 제 1 콜러에게 제시된 이미지에 특수 효과들이 적용될 수 있다. 효과들은 블렌딩 효과들, 페더링 효과들, 글로우 효과들, 스모크, 포그, 파이어 효과들, 플라워들 또는 다른 특수 효과들을 포함할 수 있다(예컨대, 임의의 타입의 이미저리가 적용될 수 있다). 도 25a를 참조하여 설명된 바와 같이, 때때로 제 1 콜러와 제 2 콜러의 개개의 HMD들에 의해 포착된 바와 같은 제 1 콜러(1462a)의 이미지 및 제 2 콜러(1464a)의 이미지는 크기에서 상이할 수 있다. 본원에서 설명된 특수 효과들은 제 1 콜러, 제 2 콜러 또는 둘 모두의 이미지들에 적용될 수 있다. 예컨대, 제 1 콜러(1462a)의 이미지는 전체 신체 이미지일 수 있는데, 이는 제 1 콜러의 HMD(1462a)가 그의 전체 신체 미러(1432)에 도시된 바와 같이 제 1 콜러의 반사된 이미지(1462b)를 캡처하기 때문이다. 그러나, 제 2 콜러의 미러(1434)는 절반-신체 미러일 수 있기 때문에, HMD(1462a 또는 1464a)는 제 1 콜러의 이미지 주변에 스모킹 효과를 적용할 수 있어서, 제 2 콜러의 HMD(1414a)는 오직 제 1 콜러의 상위 신체만을 디스플레이할 수 있다. 유사하게, 제 2 콜러의 반사된 이미지(1414b)는 제 1 콜러(1432)보다 작을 수 있기 때문에, HMD(1462a 또는 1464a)는 제 1 콜러(1462a)에 투사된 바와 같이 미러의 빈 공간을 충전하기 위해 제 2 콜러의 하위 신체(1664c)의 이미지에 파이어 효과를 적용할 수 있다.
[0673]
다양한 실시예들에서, 제 1 콜러의 HMD(1412a)는 제 2 콜러의 이미지(1664b) 및 제 2 콜러의 환경, 오직 제 2 콜러의 이미지, 또는 제 1 콜러의 환경(1420) 상에 오버레이된 제 2 콜러의 이미지(1664b)를 디스플레이할 수 있다. 제 1 콜러(1462a)가 보는 제 1 콜러의 미러(1432)에 대한 제 2 콜러의 이미지(1664b)의 포지션은 제 2 콜러의 위치와 제 2 콜러의 미러(1432) 간의 실제 상대적 포지션들을 반영할 수 있다. 예컨대, 제 2 콜러는, 마치 제 1 콜러의 미러(1432)가 윈도우 또는 포털이고 제 2 콜러(1464a)가 그 포털의 다른 측에 서 있는 것처럼, 제 1 콜러의 미러(1432)에 대해 (가상으로) 위치할 수 있다. 제 1 콜러의 이미지(1664b)와 포털의 후방 측 간의 상대적 포지션은 제 2 콜러(1464a)가 그녀 자신의 미러(1434)에 대해 갖는 포지션과 동일하거나 그에 비례할 수 있다.
[0674]
제 1 콜러의 HMD(1412a)는 이미지들을 제 1 콜러(1464a)에 디스플레이할 때 제 1 콜러의 환경의 이미지의 일부분을 수정할 수 있다. 예컨대, HMD(1412a)는 제 1 콜러의 미러(1432)에 대한 제 1 콜러의 환경의 이미지들을 선택적으로 변경, 증강 또는 블록할 수 있다. 예컨대, 도 26b와 대조적으로, 도 26a의 HMD(1412a)(도시되지 않음)는 제 2 콜러의 이미지(1664b)를 제 1 콜러(1462a)에 투사할 때 제 1 콜러의 방(1420)의 식물(1612a)을 블록할 수 있다. HMD는 3D 디스플레이의 일부분을 선택적으로 다크닝함으로써 객체를 블록할 수 있다. 이러한 다크닝은 도 1b 및 도 5를 참조하여 설명된 이미지 주입 디바이스들에 의해 수행될 수 있다. 다크닝은 전체 옵틱에 걸쳐(예컨대, 전체 스택형 도파관 어셈블리(178)에 걸쳐) 또는 선택적으로 객체 및/또는 제 1 콜러의 환경의 일부분에 걸쳐 있을 수 있다.
[0675]
도 25b를 참조하여 설명된 바와 같이, 도 26b에서 HMD(1412a)는 제 2 콜러의 이미지(1664e)를 디스플레이할 수 있고, 여기서 제 2 콜러의 HMD의 반사된 이미지는 제 1 콜러에게 제시된 이미지로부터 제거된다. 제 2 콜러의 HMD(1414a)에 의해 차단되는 제 2 콜러의 이미지의 구역은 동일한 구역의 비차단된 이미지(1514c)로 교체될 수 있다.
콜러의 이미지의 예시적인 테마들
[0676]
일부 실시예들에서, HMD는 텔레프레즌스 세션 동안 정적 또는 동적으로 변하는 사용자 경험을 착용자에게 제시할 수 있다. 도 27a 및 도 27b는 제 1 콜러가 보는 제 2 콜러의 이미지의 예들이고, 여기서 배경(1770)은 어느 한 콜러의 HMD에 의해 제 2 콜러의 이미지(1764b 또는 1764e)에 추가될 수 있다. 이 예에서, 배경(1770)은 불을 뿜는 용을 포함하는 판타지 테마를 갖는다. 제 1 콜러의 HMD(1412a)는 제 2 콜러의 이미지를 디스플레이할 수 있고 부가적으로 배경(1770)을 디스플레이할 수 있다. 배경(1770)은 제 2 콜러의 미러 이미지(1464b)에 부가되어, 배경(1770)의 일부 또는 전부가 제 2 콜러의 뒤, 주변 또는 정면에 출현할 수 있다. 배경(1770)은 또한 제 1 콜러의 환경의 최상부 상에 등록될 수 있다.
[0677]
배경은 게임들, 영화들, 책들, 미술품, 뮤직, 기존의 물리 엘리먼트들 또는 가상 객체들과 연관된 엘리먼트들 또는 캐릭터들을 포함할 수 있다. 예컨대, 제 1 콜러의 HMD(1412a)는, 제 1 콜러(1412a)의 환경에서 전체적으로 또는 부분적으로 가상 객체들을 포함하는 배경을 디스플레이할 수 있다. 배경(1770)은 픽처 또는 애니메이션일 수 있고, 테마(예컨대, 도 27a, 도 27b에 도시된 바와 같은 판타지 테마)와 연관될 수 있다. 테마는 엔터테인먼트, 교육, 과학, 기술, 미술품, 아키텍처, 동물들 또는 식물들, 종교, 정치, 자연 등과 관련될 수 있다. 테마는 제3자의 브랜드, 광고 또는 마케팅과 연관된 브랜드화된 테마일 수 있다(예컨대, 테마는 Disney®에 의해 소유된 캐릭터들을 포함할 수 있다). 배경(1770)은 또한 텔레프레즌스 세션 동안 변할 수 있다(예컨대, 도 27a, 도 27b의 용은 움직일 수 있고, 자신의 입으로부터 화염을 뿜을 수 있고, 멀리 날아갈 수 있는 식이다). 일부 경우들에서, 웨어러블 시스템(예를 들어, 웨어러블 디스플레이 시스템(80))은 콜러가 테마를 개인화하거나 제3자로부터 허가된 브랜드화된 테마들을 사용하도록 허가할 수 있다.
[0678]
도 25a, 도 25b 및 도 26a, 도 26b를 참조하여 설명된 바와 같이, 제 2 착용자의 HMD의 이미지는 착용자의 얼굴 구역의 비차단된 이미지에 의해 대체될 수 있다(도 27b의 제 2 콜러의 이미지(1764e) 참조).
HMD를 사용하여 자화상을 취하는 예
[0679]
콜러의 이미지를 프로세싱하기 위한 다양한 방법들은 또한 콜러의 자화상을 생성하기 위해 웨어러블 시스템과 함께 사용될 수 있다. 예컨대, HMD(1412a)를 착용한 제 1 콜러(1462a)는 자기 자신의 반영된 이미지(1462b)를 취하기 위해 HMD(1412a)의 외향 이미징 시스템(502)을 사용할 수 있다. 도 25b를 참조하여 설명된 바와 같이, 웨어러블 시스템은 제 1 콜러의 HMD의 반사된 이미지(1412b)를 "제거"할 수 있고, 제 1 콜러(1462a)의 비차단된 이미지를 생성할 수 있다. 웨어러블 시스템은 (예컨대, 도 27a 및 도 27b에서 참조된 바와 같이) 제 1 콜러의 이미지에 배경들을 추가할 수 있다. 웨어러블 시스템은 또한 제 1 콜러의 이미지로부터 제 1 콜러의 환경의 피처들을 제거할 수 있다. 예컨대, 웨어러블 시스템은 임의의 알려진 이미지 프로세싱 기법들을 사용하여 제 1 콜러의 이미지로부터 미러(1432)를 제거할 수 있다.
텔레프레즌스
세션의 예시적인 프로세스들
[0680]
도 28은 텔레프레즌스 세션을 수행하는 예의 프로세스 흐름 다이어그램이다. 프로세스(2800)는 도 1b 및 4를 참조하여 설명된 웨어러블 시스템에 의해 수행될 수 있다. 예컨대, 프로세스(2800)는 제1 콜러의 HMD에 의해 수행될 수 있다.
[0681]
블록(2810)에서, 제1 콜러의 HMD는 제2 콜러의 사용자 디바이스와의 통신들을 설정한다. 제2 콜러의 사용자 디바이스는 HMD(예컨대, 도 12에 도시된 사용자 디바이스들(1230a, 1230b, 1230c)을 보라)일 수 있거나 그렇지 않을 수 있다. 통신들, 이를테면 예컨대 텔레프레즌스 세션를 개시하기 위한 콜러의 의도를 표시하는 사용자 입력 디바이스(예컨대, 도 5에서 사용자 입력 디바이스(504)를 보라)로부터의 입력들의 수신 및 음성 활성화를 개시하기 위해 다양한 기법들이 사용될 수 있다. 통신들은 네트워크(1290)를 통해 이루어질 수 있다(도 12에 도시된 바와 같음).
[0682]
블록(2820)에 도시된 바와 같이, 제1 콜러와 제1 콜러 간의 통신들이 설정된 이후에, 제1 콜러의 HMD는 제1 콜러의 환경에서 미러를 탐색할 수 있다. 도 16을 참조하여 설명된 바와 같이, 다양한 미러 검출 기법들이 사용될 수 있다. 예컨대, 제1 콜러의 HMD의 외향 카메라는 제1 콜러의 환경에서 미러를 탐색할 수 있다. HMD는 예컨대 얼굴 인식, 키-포인트들 인식, 미러에서 HMD의 인식, 디바이스, 이를테면 손전등 및 적외선 펄스로부터의 활성 질의, 깊이 불연속성, 미러의 형상, 또는 미러의 특수 피처들, 이를테면 광학 라벨(예컨대, 바 코드 또는 QR(quick response) 코드)에 의해서 미러를 검출할 수 있다.
[0683]
일부 실시예들에서, 제 1 콜러와 제 2 콜러 간에 통신들이 설정되기 전에, 제 1 콜러의 HMD는 제 1 콜러의 환경에서 미러를 검색할 수 있다. 제 1 콜러의 환경에서의 미러의 검출은, 제 2 콜러의 사용자 디바이스와의 통신들을 설정하도록 제 1 콜러의 HMD를 트리거할 수 있다.
[0684]
제 1 콜러의 HMD는, 블록(2830)에 도시된 바와 같이, 제 1 콜러의 환경 및 제 1 콜러의 반사된 이미지를 검출할 수 있다. 도 24 및 25a를 참조하여 설명된 바와 같이, 제 1 콜러의 반사된 이미지는 제 1 콜러의 신체의 일부분 만을 포함할 수 있다. 제 1 콜러의 HMD는, 제 2 콜러가 제 1 콜러의 이미지를 보기 전에, 제 1 콜러의 이미지를 프로세싱할 수 있다. 제 1 콜러의 HMD는, 제 1 콜러의 이미지를 프로세싱하기 위해, 하나 또는 그 초과의 원격 컴퓨터들(예컨대, 도 12의 원격 컴퓨팅 시스템(1220) 참조)과 통신할 수 있다. 도 12를 참조하여 설명된 바와 같이, 제 1 콜러의 이미지는 제 1 콜러의 HMD, 원격 컴퓨팅 시스템(1220), 및/또는 다른 사용자 디바이스들(예컨대, 도 12의 사용자 디바이스들(1230a, 1230b, 1230c) 참조)에 의해 프로세싱될 수 있다.
[0685]
HMD에 의해 포착된 제1 콜러의 반사된 이미지는 다양한 방식들로 프로세싱될 수 있다. 예컨대, 제1 콜러의 이미지(완전한 신체 미러로부터 반사된 전체 신체 이미지일 수 있음)는 제2 콜러의 절반-신체 미러의 더 작은 영역 내에 맞추기 위해 선택적으로 크로핑될 수 있다. 제1 콜러의 미러가 전체 신체 미러가 아닐 때, 이미지는 제1 콜러의 하위 신체의 부분 및 (선택적으로) 미러에 의해 캡처되지 않은 제1 콜러의 백그라운드를 포함하도록 프로세싱될 수 있다. 일부 실시예들에서, 제1 콜러의 HMD의 이미지는 제1 콜러의 이미지로부터 "제거"될 수 있다. 제1 콜러의 HMD에 의해 차단된 제1 콜러의 이미지의 구역은 동일한 구역의 비차단된 이미지로 교체될 수 있다.
[0686]
제1 콜러의 이미지 외에, 제1 콜러의 이미지의 백그라운드는 또한 다양한 방식들로 프로세싱되고 수정될 수 있다. 예컨대, 도 27a 및 27b에 도시된 바와 같이, 백그라운드는 제1 콜러의 미러 이미지에 추가될 수 있어서, 백그라운드의 일부 또는 전부가 제1 콜러의 뒤에, 주변 또는 정면에 출현한다. 백그라운드는 게임들, 영화들, 책들, 미술품, 또는 뮤직, 기존 물리 엘리먼트들, 또는 가상 객체들과 연관된 엘리먼트들 또는 캐릭터들을 포함할 수 있다. 백그라운드는 픽처 또는 애니메이션일 수 있고, 테마(예컨대, 도 27a, 27b에 도시된 바와 같이 판타지 테마)와 연관될 수 있다. 테마는 엔터테인먼트, 교육, 과학, 기술, 미술품, 아키텍처, 동물들 또는 식물들, 종교, 정치, 자연 등에 관련될 수 있다.
[0687]
블록(2850)에서, 제1 콜러의 HMD는 네트워크(1290)(도 12에 도시됨)를 통해 제2 콜러의 사용자 디바이스에 의해 제1 콜러의 이미지의 일부분을 통신할 수 있다. 제1 콜러의 이미지는 제1 콜러의 HMD에 의해 캡처되는 비수정 반사 이미지 또는 프로세싱된 이미지일 수 있다. 제1 콜러의 비수정 반사 이미지는 제2 콜러의 사용자 디바이스에 전송되기 전에 프로세싱 하기 위해 하나 또는 그 초과의 원격 컴퓨터 시스템(예컨대, 도 12의 원격 컴퓨팅 시스템(1220) 참조)에 먼저 전송될 수 있다.
[0688]
제2 콜러의 단부에서, 제1 콜러의 이미지를 수신한 후, 제2 콜러는 선택적 블록(2860)에 도시된 것처럼 제 2 콜러에 수신된 이미지를 디스플레이할 수 있다. 제2 콜러의 사용자 디바이스는 또한 제1 콜러의 이미지를 프로세싱하고 프로세싱된 이미지를 제2 콜러에 디스플레이할 수 있다.
[0689]
블록(2870)에서, 제1 콜러의 HMD는 제2 콜러의 이미지를 수신할 수 있다. HMD는, 제2 콜러의 이미지 및/또는 본원에 설명된 바와 같은 제2 콜러의 이미지와 연관된 백그라운드를 프로세싱할 수 있다. 예컨대, 백그라운드(예컨대, 도 27a 및 도 27b의 판타지(fantasy) 백그라운드 참조)는, 제1 콜러의 환경의 최상부 상에 등록될 수 있다. 일부 실시예들에서, 제1 콜러의 환경에서의 미러는, 제1 콜러에 대한 표현으로부터 차단된다. HMD는, 제1 콜러의 미러 또는 선택적으로는 미러의 프레임으로부터 반사된 광(자연적 또는 인공적)의 일부분을 차단할 수 있다. 따라서, HMD는, 제1 콜러의 미러를 도시함이 없이 제2 콜러의 이미지를 투사할 수 있다. 제1 콜러의 미러에 제시되는 이미지에 특수 효과들이 적용될 수 있다. 효과들은, 블렌딩 효과들, 페더링 효과들, 글로우 효과들, 및 다른 특수 효과들을 포함할 수 있다.
[0690]
블록(2880)에 도시된 바와 같이, 제1 콜러의 HMD는 제2 콜러의 이미지를 디스플레이할 수 있다. 다양한 실시예들에서, 제1 콜러의 HMD는 제2 콜러의 이미지와 제2 콜러의 환경을, 제2 콜러의 이미지를 단독으로, 또는 제1 콜러의 환경 상에 오버레이된 제2 콜러의 이미지를 디스플레이할 수 있다. 제2 콜러의 이미지는, 제2 콜러의 프로세싱된 이미지 또는 프로세싱되지 않은 이미지일 수 있다.
예시적 건강 분석들
[0691]
사용자의 리플렉션들을 이미징하는 능력은 사용자의 관찰들에 의존하는 다양한 건강 분석들을 가능하게 한다는 것이 인식될 것이다. 일부 실시예들에서, 사용자는 다양한 포지션들을 취하고 그리고/또는 다양한 움직임들을 수행하도록 명령받을 수 있으며, 이들은 외향 카메라에 의해 캡처된다. 일부 다른 실시예들에서, 다른 개인은, 예컨대 자극을 적용하기 위하여, 사용자를 보조할 수 있고 그리고/또는 그렇지 않으면 사용자와 상호작용한다. 또 다른 실시예들에서, 디스플레이 시스템은 특정 움직임에 대해 사용자에게 특별히 명령하지 않고 사용자의 리플렉션들의 이미지들을 단순히 캡처할 수 있다. 예컨대, 일부 건강 분석들은 단순히 리플렉션에서 보이는 사용자의 포지션 또는 걸음걸이를 평가하는 것을 수반할 수 있다.
[0692]
카메라에 의해 캡처된 이미지들은 예컨대 임상의에 의해 그리고/또는 디스플레이 시스템에 의해 분석될 수 있다. 일부 실시예들에서, 임상의는 사용자로부터 원격 위치에 있을 수 있으며, 이미지들은 의상의에게 전자적으로 송신될 수 있다. 일부 실시예들에서, 임상의는 본원에서 개시되는 증강 현실 디스플레이 시스템의 사용자일 수 있다. 선택적으로, 사용자의 디스플레이 시스템에 의해 획득되는 데이터는 임상의의 디스플레이 시스템에 전달될 수 있어서, 임상의는 사용자가 경험한 바와같이 건강 분석을 경험할 수 있다.
[0693]
본원에서 개시된 분석들 대부분은, 표준 또는 기준으로부터 사용자의 움직임의 편차의 정도의 결정을 수반한다. 일부 실시예들에서, 표준 또는 기준은 증강 현실 콘텐츠로서 사용자에게 디스플레이될 수 있고, 그 표준 또는 기준으로부터의 사용자 편차는 사용자가 보고 평가할 수 있다. 일부 실시예들에서, 표준 또는 기준은 예컨대, 특정 움직임을 도시하는 사용자의 이전에 캡처된 이미지들일 수 있다. 본원에서 개시된 모든 건강 분석 및 치료들에서, 사용자에게 도시되고 리플렉션과 오버레이되는 다양한 콘텐츠가 블록 (710)(도 12)의 일부분으로 수행될 수 있다.
[0694]
일부 실시예들에서, 사용자의 캡처된 이미지들은 블록(710)(도 12)에서 일반적으로 사용자에게 시각적이지 않은 사용자의 뷰를 도시하도록 디스플레이될 수 있다. 예컨대, 디스플레이 시스템은 사용자의 머리의 측들 및/또는 후방의 뷰들을 캡처하도록 지향되는 하나 또는 그 초과의 외향 카메라들을 포함할 수 있으며; 즉 외향 카메라들 중 하나 또는 그 초과는 사용자가 향하는 방향과 상이한 방향으로 지향된다. 결과적으로, 카메라들은 사용자가 일반적으로 볼 수 없는 사용자의 뷰, 예컨대, 사용자의 후방 또는 측을 도시하는 리플렉션을 이미징하도록 구성될 수 있다. 디스플레이 시스템은 이 이미지를 사용자에게 디스플레이하도록 구성될 수 있다. 예컨대, 사용자의 후방의 뷰는 사용자가 특정 활동(예컨대, 사용자의 머리 후방에서 헤어를 펴고, 사용자의 후방을 따른 지퍼를 갖는 드레스를 지퍼로 잠그는 것 등)을 수행하는 것을 돕기 위해 활용될 수 있다. 다른 예로서, 디스플레이 시스템은 사용자의 측 뷰의 리플렉션을 이미징하고 그 이미징된 측 뷰 리플렉션을 사용자에게 디스플레이함으로써 사용자의 측 뷰를 제공하도록 구성될 수 있다.
[0695]
일부 실시예들에서, 측면 뷰 리플렉션들은 다양한 스포츠-관련 활동들을 수행할 때 사용자의 형태를 모니터링하기 위해 활용될 수 있다. 예컨대, 형태/자세는 다양한 활동들, 이를테면 역도에서 중요하다(활동이 부정확하게 수행될 경우 부상자들이 발생할 수 있음)는 것이 인식될 것이다. 예컨대, 스쿼터들을 수행할 때, 사용자의 무릎들은 자신의 발가락들을 너머 연장해서는 안된다. 그러나, 사용자는, 특히 무거운 무게를 들어올리면서 그리고 자신의 머리를 전방을 향하게 유지하면서, 자신의 무릎들이 자신의 발가락에 대해 상대적인지를 결정하는 것은 어려울 수 있다. 게다가, 심지어 미러 정면에서의 트레이닝은 불충분할 수 있는데, 이는 사용자가 자신의 형태의 정면 뷰만을 볼 것이기 때문이다. 사용자 바로 정면에 있는 미러를 들여다 보는 동안, 미러는 x 방향 및 y 방향(각각, 좌측 및 우측, 위 및 아래)으로의 정렬은 명확하게 보이지만 z 방향(미러에 대해 후방 및 전방)으로의 정렬(이는 무릎/발가락 정렬에 대해 관련된 축임)은 보이지 않는다. 결과적으로, 일부 실시예들에서, 디스플레이 시스템은 옆을 향하는 외향 카메라를 포함할 수 있으며, 사용자는 미러 및 카메라가 사용자의 프로파일/측면 뷰를 갖도록 미러로부터 90도 등질 수 있다. 게다가, 디스플레이 시스템은 블록(710)(도 12)에서 사용자에 기반한 아바타 및/또는 사용자의 캡처된 측면 뷰를 디스플레이하도록 구성될 수 있으며, 캡처된 측면 뷰는 사용자에게 실시간 정렬 보조를 제공하도록 실시간으로 디스플레이될 수 있다. 일부 실시예들에서, 캡처된 뷰들은 디스플레이되고 나중에 사용자 또는 제3자들의 리뷰를 위해 저장될 수 있다.
[0696]
본원에서 개시된 바와 같이, 외향 카메라가 뷰어의 리플렉션을 포함할 수 있는 이들 이미지들의 주위 환경의 이미지들(비디오를 포함함)을 연속적으로 캡처할 수 있다는 것이 인식될 것이다. 또한 본원에서 개시된 바와 같이, 이미지들은 데이터 저장소에 저장될 수 있다. 유리하게, 이미지들의 스토리지는 뷰어의 건강의 이력 분석들을 할 수 있게 하고, 건강 조건들을 소급하여 검출하고 그리고/또는 확인할 기회를 허용할 수 있다. 예컨대, 일부 조건들은 몇 개월 또는 몇 년 동안 자명하지 않을 수 있다. 데이터 저장소에 의한 이미지들의 보유는 디스플레이 시스템 및/또는 임상가가 이들 이미지들을 캡처한 이후 며칠, 몇 주, 몇 개월, 몇 년들 간, 그리고 아마도 나중에 건강 조건이 특정 이력 건강 분석을 수행하고자 하는 욕구를 프롬프트한 이후 다양한 관찰 건강 분석들을 수행할 수 있게 한다. 예컨대, 과거 이미지들을 리뷰하는 것은 이들 이미지들을 캡처한 이후 언젠가 단지 자명해지는 조건의 시작 및 진행을 결정하는 것을 도울 수 있다. 이것은 디스플레이 시스템에 의해 제공된 원근 조절-이접 운동 매칭에 의해 가능해질 수 있고, 이는 그 디스플레이 시스템의 장기 착용을 허용한다. 결과적으로, 대량의 이미지들은, 사용자가 특히 건강 분석을 수행하는 목적을 위해 이들 이미지들을 캡처하지 않고 사용자 정규 루틴을 시작할 때 캡처될 수 있다. 후속하여, 이런 대량의 이미지들은 본원에서 설명된 바와 같이 소급적 건강 분석들을 포함하는, 다수의 목적들에 활용될 수 있다.
[0697]
이제, 다양한 건강 분석들의 예들이 아래에서 설명될 것이다. 이들 분석들 중 임의의 분석이, 본원에서 설명된 바와 같이, 2개의 상이한 시간들에서 획득된 데이터를 비교하는 이력 분석을 포함할 수 있다는 것이 인식될 것이다. 게다가, 이들 분석들 중 임의의 분석을 위해, 테스트 결과들은 이들 테스트 결과들의 이력 비교들을 허용하도록 저장될 수 있다.
뇌신경 검사들을 포함하는 신경 검사들
[0698]
일부 실시예들에서, 디스플레이 시스템은, 사용자의 뇌신경들을 평가하기 위한 건강 분석을 수행하도록 구성될 수 있다. 뇌신경(CN; cranial nerve)들은 말초 신경 시스템(PNS; peripheral nervous system)의 일부분이며, 뇌로부터 직접적으로 나온다. 12개의 상이한 CN들이 있으며, 이러한 CN들 각각은 상이한 기능을 제공하지만, 이러한 CN들 전부는 신체, 주로 목 및 머리의 구역들과 뇌 간에 정보를 중계한다. 사용자의 신체의 포지션 및/또는 움직임과 연관된 일부 기형들은 결함들 또는 상해들을 하나 또는 그 초과의 뇌신경들 또는 다른 신경 시스템의 영역들 또는 뇌의 영역들에 표시할 수 있다. 일부 실시예들에서, 디스플레이 시스템은 다양한 뇌신경들의 손상 또는 기형들을 검출하도록 구성될 수 있다.
a.
CN Ⅶ - 얼굴 신경
[0699]
CN Ⅶ은 얼굴 근육들 및 기형들에 대한 제어에 수반되며, 이 뇌신경은 사용자의 얼굴의 리플렉션들에서 관찰되는 얼굴 근육들의 액션에서의 기형들에 기반하여 검출될 수 있다. 일부 실시예들에서, 디스플레이 시스템은, 비대칭들 및/또는 편차들 그리고 그들이 다양한 요청된 액션들을 수행하는 방법을 검출하기 위해, 리플렉션에서의 사용자의 얼굴을 이미징하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 얼굴 형상에서의 비대칭들 및/또는 주름들, 이를테면 코입술주름의 깊이에서의 비대칭들의 존재를 결정하도록 구성될 수 있다. 또한, 디스플레이 시스템은 즉흥적인 얼굴 표현들 및/또는 깜박거림에서의 비대칭들을 찾도록 구성될 수 있다. 대안적으로 또는 게다가, 사용자는, 눈썹들 둘 모두를 올리는 것, 찌푸리는 것, 그들의 눈들을 꽉 죄는 것, 상위 치아 및 하위 치아 둘 모두를 도시하는 것, 미소짓는 것, 그들의 볼들을 불룩하게 부풀리는 것, 그들의 이마를 찌푸리는 것 등을 포함하는 다양한 움직임들을 수행하도록 프롬프팅될 수 있다.
[0700]
요청된 액션들을 수행할 때 관찰되는 쇠약들 및/또는 비대칭들은 아래에서 주목되는 바와 같이 다양한 조건들을 표시할 수 있다. 특정 액션을 수행할 수 없는 사용자의 무능에 기반하여, 그리고/또는 기준에서의 움직임 정도에 대한, 관찰되는 움직임 정도의 비교에 의해, 얼굴 쇠약이 검출될 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 기준은 특정 액션을 수행하는 사용자의 이전 이미지들일 수 있다. 기저선으로부터의 편차의 레벨의 표시를 사용자에게 제공하기 위해, 그들이 액션을 수행하는 것을 시도할 때, 기준은 블록(710)(도 12)에서 사용자의 리플렉션이 오버레이되는 증강 현실 콘텐츠로서 제공될 수 있다. 일부 다른 실시예들에서, 기준은 평균 사용자의 응답일 수 있다.
[0701]
기준으로부터의 편차들은 얼굴 쇠약인 것으로 해석될 수 있으며, 이 얼굴 쇠약은, 대측성 운동 피질 또는 하강 중앙 신경 시스템 경로들에서의 상위 운동 뉴런들, 동측성 얼굴 신경 핵(CN Ⅶ) 또는 종말 신경 섬유들에서의 하위 운동 뉴런들, 신경근 접합부, 또는 얼굴 근육들의 병변들에 의해 유발될 수 있다. 일부 인스턴스들에서, 얼굴 쇠약은 벨 마비 및 람세이 헌트 증후군을 표시할 수 있다.
[0702]
디스플레이 시스템은, 프롬프팅된 사용자 액션들에 대한 다양한 타입들의 응답들을 다음과 같이 해석하도록 구성될 수 있다. 얼굴 근육들을 제어할 수 없는 무능 및/또는 얼굴 마비는 운동 장애들, 이를테면 벨 마비 또는 가성구 마비; 메모리 장애들, 이를테면 혈관성 치매; 및/또는 상해들, 이를테면 뇌졸중에 의해 유발되는 것으로 해석될 수 있다. 생기가 없거나, 풀이 죽거나, 또는 표정이 없는 얼굴(전체 얼굴 또는 얼굴의 일 측을 포함함)의 징후들은 운동 장애들, 이를테면 벨 마비 또는 가성구 마비; 및/또는 상해들, 이를테면 뇌졸중에 의해 유발되는 것으로 해석될 수 있다. 넓어진 안검열/광 폐쇄 무능의 징후들은 운동 장애들, 이를테면 벨 마비에 의해 유발되는 것으로 해석될 수 있다. 입술 때리기의 징후들은 신경 시스템 장애들, 이를테면 뇌전증; 또는 운동 장애들, 이를테면 근긴장이상에 의해 유발되는 것으로 해석될 수 있다. 얼굴 움직임 난관들의 징후들은 신경 시스템 장애들, 이를테면 길랭-바레 증후군; 운동 장애들, 이를테면 케네디 병; 또는 메모리 장애들, 이를테면 피질 기저핵 변성에 의해 유발되는 것으로 해석될 수 있다.
b.
CN Ⅷ - 전정와우 신경
[0703]
CN Ⅷ는 전정 시스템의 기능에 수반되며, CN Ⅷ에서의 기형들은 사용자의 청취 및/또는 밸런스 감지의 기형들에 기반하여 검출될 수 있다. 청취 테스트의 예는, 정중선의 두개골의 꼭짓점 상에 소리굽쇠가 배치되고 후속하여 사용자가 톤이 더 크게 들리는 측을 표시하도록 요청받는 웨버 테스트이다. 소리굽쇠가 제3자 또는 사용자에 의해 사용자의 두개골 상에 배치될 수 있다는 것이 인식될 것이다. 사용자는, 가상 메뉴 아이템을 선택함으로써, 그들의 좌측 또는 우측 손을 올림으로써(따라서, 디스플레이 시스템은 뷰어의 리플렉션에서, 올려진 손을 인식함), 더 큰 측을 말로 언급함으로써 등으로, 톤이 더 크게 들리는 측을 표시할 수 있다. 게다가, 디스플레이 시스템은, 사용자의 어느 측이 더 큰 사운드를 인지하는지를 결정하기 위해 사용자의 머리 포즈를 모니터링하도록 구성될 수 있다. 예컨대, 사용자는 더 큰 측으로부터 멀리 터닝할 수 있으며, 디스플레이 시스템은 이 터닝을, 사운드가 그 측에서 더 큰 것으로 인지된다는 것을 표시하는 것으로서 해석하도록 구성될 수 있다.
[0704]
일부 실시예들에서, 디스플레이 시스템은 소리굽쇠 대신에 사운드를 방사할 수 있는데, 예컨대, 디스플레이 시스템은 좌측 및 우측 스피커들(66)(도 2) 둘 모두를 통해 동일한 레벨의 사운드를 방사하도록 구성될 수 있다. 일부 실시예들에서, 톤을 방사하는 것이 아니라, 디스플레이 시스템은, 질문들 또는 명령들을 사용자에게 지향시키며 예컨대 사용자의 어느 측이 명령들을 청취하는지를 결정하기 위해 명령들에 대한 사용자의 응답을 모니터링하도록 구성될 수 있다.
[0705]
디스플레이 시스템은, 응답에 기반하여 사용자가 청취 손실을 갖는지 여부를 결정하도록 구성될 수 있다. 디스플레이 시스템이 어느 귀가 노멀이고 어느 귀가 청취 문제점에 의해 영향받는지를 안다고 가정하면, 만약 사용자가 톤이 노멀 측에서 더 크다고 표시하면, 사용자는 영향받는 귀에서 감각신경성 청취 손실을 겪는 것으로 결정될 수 있다. 만약 사용자가 톤이 영향받는 측에서 더 크다고 표시하면, 사용자는 전도성 청취 손실을 겪는 것으로 결정될 수 있다.
[0706]
청취 손실이 귀의 음향 및 기계 엘리먼트들, 달팽이관의 신경 엘리먼트들, 또는 음향 신경(CN Ⅷ)에서의 병변들에 의해 유발될 수 있다는 것이 인식될 것이다. 게다가, 청취 손실의 징후들은 신경 시스템 장애들, 이를테면 임상적 독립 증후군, 또는 쉴더 병; 발달 장애들, 이를테면 태아 알코올 스펙트럼 장애; 또는 상해들, 이를테면 뇌 종양에 의해 유발될 수 있다.
[0707]
게다가, 다른 청취 관련된 조건들이 또한, 검출될 수 있다. 예컨대, 청취 테스트는, 사용자가 운동 장애들, 이를테면 벨 마비에 의해 유발될 수 있는 청각과민증을 겪는다고 결정할 수 있다. 일부 실시예들에서, 청취 테스트는, 사용자가 운동 장애들, 이를테면 1차 측삭 경화증에 의해 유발될 수 있는 과민성 음향 놀람 응답을 겪는다고 결정할 수 있다.
[0708]
일부 실시예들에서, 디스플레이 시스템은, 사용자의 전정 테스팅을 수행하도록 구성될 수 있다. 그러한 테스팅의 예는, 어지럼증의 중앙 원인들로부터 말초를 구별하기 위해 활용될 수 있는 바라니 또는 홀-파이크 포지션 테스팅을 포함한다. 그러한 테스트들에서, 사용자는 침대 또는 검사 표 상에 앉도록 프롬프팅될 수 있으며, 제3자는, 한 쪽 귀가 아래로 되고 머리가 표의 에지에 걸쳐 연장되는 상태로, 그들이 뒤로 기댈 때 사용자의 머리를 지지할 수 있다. 일부 실시예들에서, 테스트는 제3자의 도움 없이 수행될 수 있다. 오히려, 사용자는 미러의 정면에 포지셔닝될 수 있으며, 디스플레이 시스템은, 사용자에게 그들 자신들을 포지셔닝하는 방법을 도시하는 증강 현실 콘텐츠를 투사할 수 있다. 어떤 경우든지, 사용자는, 내향 카메라가 안진의 징후들에 대해 사용자의 눈들을 검사하는 동안, 그들의 눈들을 개방한 상태로 유지하고 어지럼증의 임의의 느낌을 보고하도록 요구받는다.
[0709]
디스플레이 시스템은, 그들이 어지럼증 및 안진을 경험하고 있는지 여부에 관한, 사용자로부터의 입력을 수신하도록 구성될 수 있다. 사용자에 의해 제공되는 입력에 기반하여, 디스플레이 시스템은 다양한 결론들을 인출하도록 구성될 수 있다. 예컨대, 사용자가 누운 후에 안진 및 어지럼증의 시작 전에 몇 초의 지연은, 뇌신경에서의 말초 병변을 표시하는 것으로서 디스플레이 시스템에 의해 해석될 수 있다. 안진은 수평 또는 회전일 수 있으며, 방향들을 변경하지 않는다. 이어서, 사용자의 안진 및 어지럼증 증상들은 대략 1분 내에 사라지며, 사용자는 이들 증상들이 사라졌다는 것을 표시하기 위해 디스플레이 시스템에 입력을 제공할 수 있다.
[0710]
사용자가 누운 후에 안진 및 어지럼증 증상들의 즉각적인 시작은, 뇌신경에서의 중앙 병변들을 표시하는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 수평 또는 회전 안진이 또한, 중앙 병변들과 함께 제시될 수 있다. 그러나, 중앙 병변들은 또한, 말초 병변들과 함께 보이지 않는 증상들을 나타낼 수 있다. 중앙 병변들에 고유한 그러한 증상들은 수직 안진, 방향들을 변경하는 안진, 또는 어지럼증의 부재 시의 눈에 띄는 안진을 포함한다.
[0711]
일반적으로, 디스플레이 시스템은, 전정 테스팅에 대한 사용자의 응답에서의 기형들이 속귀의 전정 장치, CN Ⅷ의 전정 부분, 뇌줄기의 전정 핵들, 소뇌, 또는 뇌줄기의 경로들에서의 병변들과 연관된다는 결론을 내리도록 구성될 수 있다.
[0712]
일부 실시예들에서, 디스플레이 시스템은, 그들이 낮 동안 이동할 때 사용자를 이미징하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은, (예컨대, 사용자가 똑바로 걷지 않거나 또는 곧게 서 있지 않은 것에 기인하여) 사용자의 리플렉션들이 밸런스 결핍의 징후들을 나타내는지 여부를 결정하도록 구성될 수 있다. 일부 실시예들에서, 밸런스 결핍은, 모션 센서들, 이를테면 신체의 움직임 및 배향을 추적하기 위한 IMU(inertial measurement unit)들 또는 가속도계들을 사용하여 결정될 수 있다.
[0713]
일부 다른 실시예들에서, 디스플레이 시스템은, 사용자가 그들의 밸런스에서의 손상들을 검출하기 위하여 상호작용하는 증강 현실 콘텐츠를 디스플레이하도록 구성될 수 있다. 예컨대, 사용자는, 디스플레이 시스템에 의해 디스플레이되며 다수의 깊이 평면들을 통해 사용자에게 오는 가상 객체들을 피하도록 요청받을 수 있다. 사용자에 의한 이러한 피하는 움직임들에서의 견실성 결핍은, 손상된 밸런스를 표시할 수 있다.
[0714]
디스플레이 시스템은 또한, 밸런스에 대한 난관이 운동 장애들, 이를테면 운동실조 또는 파킨슨 병에 의해 유발될 수 있다는 결론을 내리도록 구성될 수 있다. 특히, 디스플레이 시스템은, 저활동성 회전 및 칼로리-유도 전정 응답들의 징후들이 운동 장애들, 이를테면 파킨슨 병에 의해 유발될 수 있다고 결정하도록 구성될 수 있다.
[0715]
일부 실시예들에서, 디스플레이 시스템은, 사용자의 밸런스를 개선하기 위해 증강 현실 콘텐츠를 제공하도록 구성될 수 있다. 예컨대, 시스템은, 사용자가 그들의 밸런스를 유지하기 위해 포커싱할 수 있는 시각적 자극들, 이를테면 수평선을 제공하도록 구성될 수 있다. 일부 다른 실시예들에서, 디스플레이 시스템은, 사용자와 직접 물리 접촉하는 (예컨대, 디스플레이의 프레임 상에 있는) 전극을 포함할 수 있다. 전극은, 사용자가 그들의 밸런스를 유지하는 것을 돕기 위해, 귀의 신경에 갈바닉 전정 자극을 제공하는 데 활용될 수 있다.
c.
CN XI - 부신경
[0716]
CN XI는 머리 터닝 및 어깨 들어올림에 수반되는 흉쇄유돌근 또는 등세모근을 제어한다. 디스플레이 시스템은, 모션 범위 및 세기 테스팅을 수행함으로써, CN XI에서의 기형들에 대해 테스팅하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은, 사용자가 그들의 어깨들을 흐쓱하고, 그들의 머리를 방향들 둘 모두로 터닝하며, 그리고 그들의 손들의 힘에 대해 전방으로 굽히며 그들이 누워 있는 표면으로부터 그들의 머리를 올리게 프롬프팅하도록 구성될 수 있다.
[0717]
조기-설정된 기준 기저선으로부터 모션 범위의 감소들은 흉쇄유돌근 또는 등세모근에서의 쇠약으로서 디스플레이 시스템에 의해 해석될 수 있다. 일부 실시예들에서, 시스템은 사용자의 무능 레벨을 결정하는 것을 돕기 위해 모션의 예상되는 기저선 범위를 디스플레이하도록 구성될 수 있다. 결국, 디스플레이 시스템은 척추 부신경(CN XI)의 근육들, 신경근 접합부, 및/또는 하위 운동 뉴런들에서의 병변들에 의해 유발되는 것으로서 쇠약을 해석하도록 구성될 수 있다. 일부 실시예들에서, 사용자의 모션 범위는, 관련 노멀 흉쇄유돌 세기에 대해, 승모근의 대측성 쇠약에 대응할 수 있다. 이는, 피질 또는 하강 경로들에서의 편측성 상위 운동 뉴런 병변들에 의해 유발되는 것으로서 디스플레이 시스템에 의해 해석될 수 있다.
[0718]
요청된 모션들에 대한 다양한 다른 사용자 응답들은 다음을 포함할 수 있다. 머리 떨어뜨림 또는 보빙은 신경 시스템 장애들, 이를테면 뇌전증에 의해 유발되는 것으로서 디스플레이 시스템에 의해 해석될 수 있다. 머리 근육 수축들이 또한, 신경 시스템 장애들, 이를테면 뇌전증에 의해 유발되는 것으로서 해석될 수 있다. 무의식적인 뒤틀림, 터닝, 머리 당김은 운동 장애들, 이를테면 경부 근긴장이상에 의해 유발되는 것으로서 해석될 수 있다.
[0719]
본원에서 개시된 바와 같이, 일부 실시예들에서, 디스플레이 시스템은, 물리 치료를 위해 참여하도록 적합한 움직임들을 사용자에게 도시하는 증강 현실 콘텐츠를 디스플레이함으로써, 사용자의 물리 또는 작업 치료를 수행하도록 구성될 수 있다.
d.
CN XII - 설하 신경
[0720]
CN XII은 혀를 제어하며, 이 뇌신경에 대한 기형들은 혀의 움직임에 대한 기형들에 기반하여 검출될 수 있다. 예컨대, 디스플레이 시스템은, 혀가 입의 바닥에 얹혀 있는 동안, 리플렉션에서 보이는 혀의 위축 또는 섬유속연축들을 검출하도록 구성될 수 있다. 섬유속연축들이, 이론에 의해 제한되지 않고 근육 운동 단위들의 발화에 의해 유발될 수 있는, 혀의 즉흥적인 떨리는 움직임들이라는 것이 인식될 것이다.
[0721]
디스플레이 시스템은, 사용자가 그들의 혀를 똑바로 붙이게 요청하도록, 그리고 혀가 일 측 또는 다른 측에 대해 곡선을 이루는지 여부를 결정하기 위해 혀의 리플렉션을 이미징하도록 구성될 수 있다. 디스플레이 시스템은 또한, 사용자가 그들의 혀를 좌우로 이동시키고 각각의 볼의 내측에 대해 강력하게 혀를 푸시하게 요청하도록 구성될 수 있다. 일부 실시예들에서, 테스팅은, 상해 측을 향하여 혀의 동측성 측 및 돌출부 상의 쇠약을 도시할 수 있다.
[0722]
디스플레이 시스템은 사용자의 혀의 리플렉션들에 관한 다양한 관찰들을 다음과 같이 해석하도록 구성될 수 있다. 섬유속연축들 및 위축은 하위 운동 뉴런 병변들의 징후들인 것으로 해석될 수 있다. 혀 쇠약은 혀 근육들, 신경근 접합부, 설하 신경(CN XII)의 하위 운동 뉴런들, 또는 운동 피질에서 비롯되는 상위 운동 뉴런들의 병변들로부터 초래되는 것으로 해석될 수 있다. 혀 쇠약의 예로서, 편측성 혀 쇠약은 혀로 하여금 쇠약한 측을 향하여 벗어나게 할 수 있다. 대측성 혀 쇠약은 운동 피질의 병변들로서 해석될 수 있다. 입 및 혀의 왜곡은 운동 장애, 이를테면 구강하악 근긴장이상에 의해 유발되는 것으로 해석될 수 있다. 쇠약한 얼굴 및 혀 움직임들은 운동 장애, 이를테면 진행성 숨뇌 마비, 가성구 마비, 및 케네디 병에 의해 유발되는 것으로 해석될 수 있다. 혀 돌출은 운동 장애들, 이를테면 투렛 증후군에 의해 유발될 수 있다.
운동 검사들
[0723]
일부 실시예들에서, 운동 검사들은, 운동 시스템에서의 부족들을 검출하여서 다양한 신경 시스템 장애들이 식별될 수 있게 하는 데 활용될 수 있다. 바람직하게, 이들 운동 검사들은 관찰적이며; 디스플레이 시스템의 외향 카메라는, 예컨대 비정상적인 움직임들을 검출하기 위해 사용자의 리플렉션들을 이미징하도록 구성될 수 있다. 일부 실시예들에서, 디스플레이 시스템은, 씰룩거림들, 떨림들, 무의식적인 움직임들, 특이한 과소 움직임들, 자세, 및 이들의 조합들을 포함하는 비정상적인 움직임들을 인지하도록 구성될 수 있다. 이들 움직임들은 단순히, 사용자가 그들의 매일의 활동들을 수행할 때, 그리고/또는 사용자가 제스처들을 만들거나 또는 다른 방식으로 입력들을 디스플레이 시스템에 제공할 때, 리플렉션들에서 관찰될 수 있다. 무의식적인 움직임들이, 메뉴 아이템들이 의도치 않게 선택되는 것을 초래할 수 있거나, 또는 액션이 무의식적이라는 것을 사용자가 디스플레이 시스템에 통지할 때 결정될 수 있다는 것이 인식될 것이다. 게다가, 무의식적인 움직임들은, 모션 센서들, 이를테면 IMU(inertial measurement unit)들 또는 가속도계들을 사용하여, 또는 사용자의 머리 포즈를 검출함으로써(예컨대, 디스플레이 시스템의 외향 카메라를 사용하여 가시선 및/또는 사용자의 관점의 이동들을 식별함으로써) 검출될 수 있다.
[0724]
일부 실시예들에서, 제 1 사용자에 의해 이루어진 비정상적인 움직임들은 제 2 사용자의 디스플레이 시스템에 의해, 그 제 2 사용자에 의해 관찰되는 제 1 사용자의 리플렉션들에서 검출될 수 있다. 본원에서 개시된 바와 같이, 제 1 사용자의 디스플레이 시스템과 제 2 사용자의 디스플레이 시스템은 정보를 공유하도록 구성될 수 있으며, 이 정보는 리플렉션에서 관찰되는, 다른 사용자의 관찰된 비정상적인 움직임들에 관한 공유 데이터를 포함할 수 있다.
[0725]
디스플레이 시스템은, 다음과 같이, 다양한 타입들의 비정상적인 움직임이 다양한 조건들에 의해 유발될 수 있다는 결론을 내리도록 구성될 수 있다. 예컨대, 무의식적인 움직임들 및 떨림들은 기저핵 또는 소뇌의 병변들에 의해 유발될 수 있다. 떨림들은 말초 신경 병변들에 의해 유발될 수 있다. 사용자의 손들의 떨림들 또는 흔들기는, 신경 시스템 장애들, 이를테면 뇌전증 및/또는 다중 경화증; 운동 장애들, 이를테면 뇌성 마비, 척수성 근위축 타입 I/Ⅲ, 및/또는 파킨슨 병; 및/또는 루이 신체 치매, 이마관자엽 치매, 진행성 핵상 마비에 의해 유발되는 메모리 장애에 의해 유발되는 것으로서 디스플레이 시스템에 의해 해석될 수 있다.
[0726]
다른 예에서, 근육 경련들, 운동 틱들, 또는 씰룩거림들은, 신경 시스템 장애들, 이를테면 발로 병, 뇌전증, 다중 경화증, 및/또는 시속 척수염; 운동 장애들, 이를테면 근긴장이상, 헌팅톤 병, 운동 뉴런 병, 근위축성 측삭 경화증, 및/또는 투렛 증후군; 및/또는 메모리 장애들, 이를테면 크로이츠펠트-야콥 병 및/또는 이마관자엽 치매에 의해 유발되는 것으로서 디스플레이 시스템에 의해 해석될 수 있다.
[0727]
아테토시스(무의식적으로 몸부림 치는 움직임들을 유발하는 비정상적인 근육 수축들) 및 근긴장이상(반복적인 또는 뒤틀리는 움직임들을 유발하는 무의식적인 근육 수축들)은 다양한 시각 신경병증들, 이를테면 미토콘드리아 시각 신경병증(유전적); 운동 장애들, 이를테면 뇌성 마비 및/또는 헌팅톤 병; 및/또는 메모리 장애들, 이를테면 피질 기저핵 변성에 의해 유발되는 것으로서 디스플레이 시스템에 의해 해석될 수 있다.
[0728]
무의식적인 움직임들/근육 제어 손실은, 신경 시스템 장애들, 이를테면 뇌전증; 운동 장애들, 이를테면 뇌성 마비; 메모리 장애들, 이를테면 크로이츠펠트-야콥 병; 및/또는 뇌 상해들, 이를테면 뇌 종양에 의해 유발되는 것으로서 디스플레이 시스템에 의해 해석될 수 있다.
[0729]
무도증(특히, 어깨들, 둔부들, 및 얼굴에 영향을 끼치는 요동치는 무의식적인 움직임들)은 운동 장애들, 이를테면 헌팅톤 병에 의해 유발되는 것으로서 디스플레이 시스템에 의해 해석될 수 있다.
[0730]
근육간대경련(근육들의 그룹들의 경련성의 요동치는 수축에 기인할 수 있는 갑작스런 요동치는 움직임들)은 메모리 장애들, 이를테면 크로이츠펠트-야콥 병 및/또는 후측 피질 위축에 의해 유발되는 것으로서 디스플레이 시스템에 의해 해석될 수 있다.
[0731]
파킨슨 병 또는 파킨슨증의 증상들은 메모리 장애들, 이를테면 치매, 피질 기저핵 변성, 루이 신체 치매에 의해 유발되는 것으로서 디스플레이 시스템에 의해 해석될 수 있다. 리플렉션에서 관찰될 수 있는 파킨슨 병 또는 파킨슨증의 증상들의 예들은 떨림들, 느린 움직임, 경직, 및 사용자에 의한 자세 불안정을 포함한다.
관찰가능한
신체 기형들
[0732]
일부 실시예들에서, 다양한 관찰가능한 신체 기형들이 사용자의 리플렉션들에서 디스플레이 시스템에 의해 검출될 수 있다. 그러한 신체 기형들은 예컨대 사용자의 캡처된 이미지들을 분석함으로써 검출가능한 신체적 비대칭들을 포함할 수 있다.
[0733]
예컨대, 사용자의 리플렉션들을 그들이 서 있거나 또는 앉아 있을 때 이미징함으로써, 척추측만증, 또는 척추의 측면 곡률이 관찰될 수 있다. 바람직하게, 리플렉션은 사용자의 등에 대한 것이다. 일부 실시예들에서, 디스플레이 시스템은, 척추가 측면 곡률을 갖는지 여부를 결정하기 위해 사용자의 캡처된 이미지들을 분석할 수 있다. 일부 실시예들에서, 곡률의 존재의 확인 및/또는 곡률 정도의 결정은, 노멀 척추의 배향을 도시하는 증강 현실 콘텐츠를 위에 놓음으로써 이루어질 수 있다. 이 노멀 배향으로부터의 편차들은, 가상 스케일을 디스플레이함으로써 사용자에 의해 측정될 수 있다. 만약 척추측만증이 관찰되면, 디스플레이 시스템은, 운동 장애들, 이를테면 척수성 근위축 타입 I/Ⅲ 및/또는 관절굽음증을 갖는 선천성 척수성 근위축에 의해 유발되는 것으로서 척추측만증을 해석하도록 구성될 수 있다.
[0734]
일부 다른 실시예들에서, 척추의 곡률은 또한, 비대칭에 대해 사용자의 신체를 분석함으로써 결정될 수 있다. 노멀 사용자의 척추가 사용자의 신체의 중심선을 따라 연장된다는 것, 그리고 척추로 하여금 중심선으로부터 벗어나게 하는, 척추의 곡률이 사용자의 신체 및/또는 자세에서의 비대칭들을 유발하는 것으로 예상된다는 것이 인식될 것이다. 결과적으로, 사용자의 리플렉션의 이미지들에서 캡처된, 사용자의 신체 및/또는 자세에서의 비대칭들은 사용자의 척추의 곡률인 것으로 디스플레이 시스템에 의해 해석될 수 있다.
[0735]
일부 실시예들에서, 디스플레이 시스템은 사용자의 척추 측만증을 치료하기 위한 물리 치료를 돕기 위해 구성될 수 있다. 예컨대, 사용자에게 물리 치료를 위해 따라야 할 움직임들의 예들이 디스플레이될 수 있다. 일부 실시예들에서, 디스플레이 시스템은, 리플렉션에서 보여진 사용자의 실제 움직임과 오버레이된 노멀 움직임들을 나타내는 증강 현실 콘텐츠를 디스플레이하도록 구성될 수 있고 그리고/또는 증강 현실 콘텐츠는 사용자에 대한 시각적 비교를 제공하기 위해 노멀 움직임들 및 사용자의 움직임들의 레코딩된 이미지들 둘 모두를 포함할 수 있다. 본원에서 개시된 바와 같이, 사용자의 움직임들의 이러한 이미지들은 하나 또는 그 초과의 외향 카메라들을 이용하여 획득될 수 있다. 이 카메라들은 사용자가 똑바로 보는 것으로 보이는 사용자의 리플렉션들을 캡처할 수 있다. 일부 실시예들에서, 사용자가 단지 일반적으로 보지 않는 사용자의 뷰들을 제공하기 위해 이 카메라들은 사용자의 측면 또는 후면으로 바깥쪽을 향할 수 있다. 이러한 뷰들은 비교들 또는 안내를 강조하기 위해 특히 유용할 수 있는 사용자의 뷰들을 사용하여 이러한 비교들 및 안내를 제공하는 데 유용할 수 있다. 게다가, 디스플레이 시스템은, 사용자가 지시된 물리 치료 움직임들을 수행하는 것을 돕기 위해 "팁들"을 예컨대, 텍스트 및/또는 애니메이션들의 형태로 디스플레이하도록 구성될 수 있다.
[0736]
다른 예로서, 디스플레이 시스템은 사용자의 무릎들의 리플렉션의 이미지들에서 사용자의 무릎들의 정렬을 분석하도록 구성될 수 있다. 사용자의 다리 및 발의 배향 및 정렬이 용이하게 관찰되고 내반슬, 외반족 또는 노멀로 카테고리화될 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 디스플레이 시스템은 사용자의 발 및 무릎 및 엉덩이들의 정렬을 관찰하는 것에 기반하여 이 카테고리를 만들도록 구성될 수 있다. 이들 3개의 피처들이 일반적으로 사용자의 엉덩이로부터 아래쪽으로 연장되는 직선을 따라 떨어지는 정렬은 디스플레이 시스템에 의해 노멀인 것으로 결정될 수 있다. 무릎이 직선 외부로 떨어지는 정렬은, 디스플레이 시스템에 의해 내반슬로 결정될 수 있고, 무릎이 직선 내측에 있는 정렬은 디스플레이 시스템에 의해 외반족으로 결정될 수 있다.
[0737]
일부 실시예들에서, 디스플레이 시스템은, 사용자가 걸을 때 깜박임, 미소 짓기 및 팔을 스윙하는 것과 같은 다양한 자동적인 움직임들의 발생을 검출하기 위해 사용자의 리플렉션을 모니터링하도록 구성될 수 있다. 이 모니터링은 연속적일 수 있다(예컨대, 사용자가 디스플레이 디바이스를 착용하고 있거나 사전 설정 지속기간 동안일 수 있는 시간 전체). 일부 실시예들에서, 디스플레이 시스템은 자동적인 움직임들의 빈도를 모니터링하도록 구성될 수 있다. 일부 실시예들에서, 자동적인 움직임들의 결핍은, 디스플레이 시스템에 의해, 파킨슨 병과 같은 운동 장애들에 의해 유발된 것으로 해석될 수 있다.
[0738]
일부 실시예들에서, 디스플레이 시스템은 사용자의 리플렉션을 모니터링하여 사용자에 의한 체중 증가 또는 손실의 발생을 결정하도록 구성될 수 있다. 체중 증가 또는 손실은, 예컨대, 시간이 지남에 따라 사용자의 아웃라인을 모니터링하고, 아웃라인이 크기가 증가했는지 또는 감소했는지를(이는 사용자의 체중이 증가 또는 감소한 것으로 각각 해석될 것임) 식별하기 위해 사전에 이미징된 아웃라인들과 비교함으로써 결정될 수 있다. 크기 증가 또는 감소는 또한, 사용자의 이전 이미지 또는 아웃라인을 포함하는 증강 현실 콘텐츠를 오버레이함으로써 사용자에게 또한 표시될 수 있다. 정확한 비교들을 가능하게 하기 위해, 이미지 또는 아웃라인이 반사 표면까지의 사용자의 거리에 기반하여 그리고 사전에 캡처된 이미지에서 반사 표면까지의 사용자의 거리에 기반하여 스케링일될 수 있다는 것이 인식될 것이다. 예컨대, 사용자의 저장된 이미지는 반사 표면까지의 사용자의 거리에 관한 데이터를 포함할 수 있고, 디스플레이 시스템은 또한 저장된 이미지를 디스플레이하기 전에 현재 반사 표면까지의 사용자의 거리를 결정하도록 구성될 수 있다. 저장된 이미지가 반사 표면까지의 사용자의 현재 거리에 대응하도록 저장된 이미지가 스케일링될 수 있다. 본원에서 개시된 바와 같이, 반사 표면까지의 사용자의 거리는, 광학 리플렉션들, 음향 리플렉션들의 측정 및/또는 반사된 이미지 그 자체의 분석들을 포함하는 다양한 방법들을 사용하여 결정될 수 있다는 것이 인식될 것이다.
[0739]
일부 실시예들에서, 디스플레이 시스템은, 미리 결정된 임계량을 초과하는 체중 증가(예를 들어, 미리 정해진 양을 초과하는 사용자 아웃라인의 크기의 증가)를 전두 측두 치매와 같은 기억 장애, 또는 우울증이나 스트레스와 같은 행동 장애에 의해 유발된 것으로 해석하도록 구성될 수 있다. 사용자의 체중의 이력 분석이 사용자의 이미지들을 저장하고 상이한 시간에 취해진 뷰어의 상이한 이미지들에서의 사용자의 아웃라인들의 비교를 행함으로써 수행될 수 있다는 것이 인식될 것이다. 비교되는 이미지들은 반사 표면까지의 상이한 거리에서 사용자와 함께 촬영될 수 있다. 그 결과, 이미지들은 공통 거리에 대응하도록 스케일링될 수 있고, 그로 인해, 2개의 이미지들 간의 정확한 비교들을 제공한다. (예컨대, 사용자의 다양한 부분들의 크기에 관한) 사전 결정된 값이 초과되었는지 여부를 결정하는 것 외에도, 디스플레이 시스템은 저장된 이력 데이터를 사용하여 시간이 지남에 따라 변경 레이트를 또한 결정하도록 구성될 수 있다. 그 결과, 변경이 갑작스러운 것이었는지 점진적인 것이었는지에 관한 결정이 행해질 수 있고 디스플레이 시스템에 의해 행해진 진단을 정제하기 위해 사용될 수 있다.
[0740]
일부 실시예들에서, 가상 음식은 음식에 대한 사용자의 갈망을 충족시킬 수 있도록 사용자에 의한 가상 소비를 위해 디스플레이 시스템에 의해 디스플레이 될 수 있다. 일부 실시예들에서, 디스플레이 시스템은, 미리 결정된 임계량을 초과하는 체중 손실(예컨대, 미리 결정된 양을 초과하는 사용자의 아웃라인의 크기의 감소)을, 허혈성 시신경 병증(Ischemic Optic Neuropathy)과 같은 시신경 병증; 운동 신경 질환과 같은 운동 장애; 및/또는 우울증, 식욕 부진, 거식증, 식욕 이상 항진증 및/또는 스트레스와 같은 행동 장애에 의해 유발된 것으로 해석하도록 구성될 수 있다. 본원에서 개시된 바와 같이, 일부 실시예들에서, 디스플레이 시스템은 다수의 데이터들을 평가함으로써 특정 결론을 검증하도록 구성될 수 있다. 예컨대, 체중 손실로 인한 스트레스의 존재의 결정은, 사용자가 스트레스에 대응하는 신체 언어를 나타내는지 여부를 결정하기 위해 사용자들의 리플렉션의 이미지들의 분석에 기반하여 검증될 수 있다. 과도한 체중 손실은 바람직하지 않으며 디스플레이 시스템은 이러한 바람직하지 않은 체중 손실을 사용자에게 경고하기 위해 사용자의 신체 체중 및/또는 사용자의 이미지들의 이력 비교들을 디스플레이하도록 구성될 수 있다는 것이 인식될 것이다. 예컨대, 디스플레이 시스템은, 체중 손실의 레이트 및/또는 체중 손실의 양이 사전 결정된 임계치를 초과하면, 이러한 비교들을 디스플레이하도록 구성될 수 있다.
[0741]
일부 실시예들에서, 디스플레이 시스템은 사용자의 리플렉션을 모니터링하여 비정상적인 얼굴 피처들의 존재를 결정하도록 구성될 수 있다. 이러한 피처들은 예컨대, 모집단에 대한 평균에 기반하여 비정상적인 것으로 결정될 수 있다. 예컨대, 다수의 디스플레이 시스템들이 그 사용자들의 리플렉션들을 모니터링하고 데이터를 공유하도록 구성될 수 있다는 것이 인식될 것이다. 게다가, 디스플레이 시스템들은, 사용자를 다양한 부분 모집단에 배치하는 데 유용할 수 있는 사용자에 관한 인구 통계학적 정보를 가질 수 있다. 디스플레이 시스템에 의해 캡처된 다수의 리플렉션들 및 사용자들의 부분 모집단들을 정의할 능력이 주어지면, 디스플레이 시스템은 다양한 얼굴 피쳐들에 대한 평균을 제공하도록 구성될 수 있다. 예컨대, 평균들은 모집단 전체에 기반하여 결정될 수 있거나, 다양한 인구 통계학적 파라미터들(예컨대, 나이, 장르, 조상의 출생지 등)에 의해 정의된 부분 모집단을 포함하도록 더욱 포커싱될 수 있다. 이러한 평균들에 기반하여, 다양한 표준들로부터 사용자의 편차들이 결정될 수 있다. 디스플레이 시스템은 이들 편차들의 존재 및 정도를 결정하도록 구성될 수 있으며, 이들 중 일부는 비정상적인 얼굴 피처들로서 카테고리화될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 비정상적인 얼굴 피처들을 다운 증후군 또는 태아 알콜 스펙트럼 장애와 같은 발달 장애들에 의해 유발되는 것으로 해석하도록 구성될 수 있다.
[0742]
일부 실시예들에서, 디스플레이 시스템은 다양한 피부병학 관련 분석들을 위해 사용자의 리프렉션들을 분석하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 사용자의 피부의 외관과 관련된 다양한 파라미터들에서 피부병학적 기형들(예를 들어, 모집단에 대한 표준으로부터의 편차) 또는 변화들(예를 들어, 시간 경과에 따른 사용자의 변화들)을 검출하도록 구성될 수 있다. 이러한 파라미터들은, 피부의 컬러 및 텍스처, 그리고 돌출된 융기들을 포함하는 피부 상의 피처들의 크기 및 형상을 포함할 수 있다. 일부 실시예들에서, 디스플레이 시스템은, 적외선(IR) 또는 시각적 광을 사용하여 리플렉션을 이미지화하도록 구성된 하나 또는 그 초과의 외향 카메라들을 포함할 수 있다. 디스플레이 시스템은, 패턴 인식 및 이미지 프로세싱 또는 머신 비전/학습을 이용하여 환자의 피부를 스캔하고 추가 조사를 위해 이상을 식별하도록 구성될 수 있다. 예컨대, 피부를 이미지화하기 위해 시각적 광을 사용하는 카메라들은, 패턴 인식 및 이미지 프로세싱을 사용하여 알려진 병리학적 특징에 대해 피부 영역들을 스캔할 수 있다. 동시적으로, IR을 검출하는 외향 카메라(시각적 광 카메라와 동일하거나 이와 다른 카메라일 수 있음)는 피부의 표면 아래의 피부 조직 또는 층들에서의 상이한 반사/굴절 특징들을 검출하기 위해 피부의 최상부 층들을 "관통하여 볼"수 있다. 디스플레이 시스템은 알려진 병리학의 파라미터들에 대해 이들 영역들의 이미지들을 분석하도록 구성될 수 있다. 예컨대, 하이퍼-스펙트럼 차동 반사율 측정법(Hyper-Spectral Differential Reflectometry)이 수분 콘텐츠와 같은 고유 특징들을 갖는 관심 영역을 구별하기 위해 사용될 수 있다. 다른 예로서, 출현 전 병변은 통상적인 조직과 상이한 수분 특징들을 가질 수 있으며, IR-민감성 카메라들을 사용하여 리플렉션을 이미징함으로써 구별될 수 있다.
근육 긴장도 및 부피의 검사
[0743]
일부 실시예들에서, 디스플레이 시스템은, 위축(근육 소모), 비대, 또는 근섬유다발수축(운동 근육 유닛들의 파이어링(firing)에 의해 유발되는 자발적 떨림 움직임들)의 존재를 결정하기 위해 사용자의 리플렉션들을 모니터링하도록 구성될 수 있다. 근육 위축 또는 비대는 사용자의 이미지들의 이력 비교를 사용하여 결정될 수 있음이 인식될 것이다. 예컨대, 근육 크기 및/또는 정의의 변화를 결정하기 위해 현재의 이미지가 이전의 이미지와 비교될 수 있다. 일부 실시예들에서, 사용자의 근육의 조기 이미지들이 사용자에게 디스플레이될 수 있어서 사용자가 이러한 변화들을 인지하게 될 수 있다.
[0744]
일부 실시예들에서, 관찰 가능한 근육들의 크기는, 본원에서 설명된 바와 같이 측정될 수 있다. 일부 실시예들에서, 근육들(예컨대, 강한 근육 긴장도를 갖는 근육)은 피부를 통해 시각적일 수 있고, 근육들의 이미지들의 분석을 통해 분석될 수 있다. 일부 다른 실시예들에서, 디스플레이 시스템은 전자기 방사 또는 사운드 파들, 예컨대, 적외선 광 또는 울트라 사운드 파들을 반사 표면을 향하여 투사하도록 구성될 수 있어서, 반사 표면은 방사 또는 사운드 파들은 사용자의 신체를 향하여 반사시킨다. 방사 또는 사운드 파들의 일부는 사용자를 향하여 다시 반사될 수 있고 디스플레이 시스템에 의해 검출 될 수 있으며, 방사 또는 사운드 파들의 일부는 흡수되거나 확산될 수 있음이 인식될 것이다. 흡수된 양(디스플레이 시스템에 의해 검출되는 반사된 방사 또는 사운드의 양에 의해 결정됨)에 기초하여, 상이한 조직들이 상이한 감쇠 및 흡수 값들을 가지기 때문에 상이한 조직들이 구별될 수 있다. 결과적으로, 근육과 같은 상이한 조직의 존재 및 수량이 온도 맵핑과 유사한 프로세스로 측정될 수 있다. 위에서 언급한 측정 기법들로부터 유도된 사용자의 근육을 특성화한 매개 파라미터들의 변화는, 시간이 지남에 따라 분석되어 근육 긴장도 및/또는 크기의 변화를 검출할 수 있다.
[0745]
신경 시스템의 다양한 기형들은 사용자의 관찰에 기반하여 검출될 수 있는 특정 증상을 유발할 수 있음이 인식될 것이다. 예컨대, 하위 운동 신경 병변은, 근육 약화, 위축, 근섬유다발수축, 반사저하(반사 감소) 및 감소된 톤을 유발할 수 있다. 또 다른 예로서, 상위 운동 신경 병변은 근육 약화, 반사항진(증가된 반사), 증가된 톤을 유발할 수 있고 저자극성 위축이 사용하지 않음으로 인해 발생할 수 있다. 게다가, 급성 상위 운동 신경 병변은, 감소된 톤 및 감소된 반사들과 함께 연약 근육 마비를 유발할 수 있다. 이러한 급성 상위 운동 신경 병변은, 수 시간에서 수 주간의 비교적 짧은 시간 기간 내에 증가된 근육 긴장도 및 반사항진을 유발할 수 있다. 또 다른 예로서, 대뇌 피질 병변은 반사항진 및 증가된 톤을 유발할 수 있다. 게다가, 대뇌 기저핵 기능 장애는 증가된 톤을 유발할 수 있다. 이들 증상 중 임의의 증상의 존재는, 상기 언급된 기형들 중 하나가 신경 시스템에 존재한다는 표시로서 디스플레이 시스템에 의해 해석될 수 있다는 것이 인식될 것이다.
[0746]
디스플레이 시스템은 다양한 근육 조건들의 원인들에 대한 다양한 후보를 제공하도록 구성될 수 있다. 근육 조건들 및 후보 원인들의 예들은 다음과 같다. 근섬유다발수축/자발적 수축은, 운동 신경 질환, 근 위축성 측삭 경화증, 진행성 숨뇌 마비, 진행성 근 위축, 척추성 근위축증 타입 1 및/또는 케네디 병과 같은 운동 장애에 의해 유발되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 일부 실시예들에서, 사용자 움직임의 정도 또는 사용자의 안정적인/이전의 움직임 포지션의 측정은 사용자의 근육의 기형 또는 변경의 레벨을 결정하기 위해 사용자의 리플렉션과 오버레이될 수 있다.
[0747]
일부 실시예들에서, 근육 경직은 간질과 같은 신경 시스템 장애; 경련성 뇌성 마비, 운동 신경 질환, 원발성 측삭 경화증 및/또는 파킨슨 병과 같은 운동 장애; 및 크로이츠펠트 야곱병, 루이 신체 치매 및/또는 진행성 핵상성 마비와 같은 기억 장애에 의해 유발되는 것으로 해석될 수 있다. 근육 강직(노멀 반사를 갖는 뻣뻣한 근육)은, 헌팅톤 병 및 파킨슨 병과 같은 운동 장애; 및/또는 피질 기저 퇴행, 루이 신체 치매 및/또는 전두 측두 치매와 같은 기억 장애에 의해 유발되는 것으로 해석될 수 있다. 근 긴장 저하/낮은 근육 긴장도는, 운동 실조, 행동곤란증 및/또는 척수성 근위축 타입 I과 같은 운동 장애; 및/또는 뇌수종과 같은 부상에 의해 유발되는 것으로 해석될 수 있다. 관찰된 근육 긴장도의 변동들은 뇌성 마비와 같은 운동 장애에 의해 유발된 것으로 해석될 수 있다. 근육 경련은 병소 손 긴장 이상, 운동 신경 질환, 근 위축성 측삭 경화증 및/또는 진행성 근 위축증과 같은 운동 장애에 의해 유발된 것으로 해석될 수 있다. 근육 소모는, 운동 신경 질환, 근 위축성 측삭 경화증, 진행성 근 위축증, 척수성 근위축증 및/또는 케네디 병과 같은 운동 장애; 및/또는 식이 장애, 식욕 부진 및/또는 폭식증과 같은 행동 장애에 의해 유발된 것으로 해석될 수 있다. 근육 소모는 이전 시간에서의 사용자의 근육 크기와 이후 시간에서의 사용자의 근육 크기의 비교에 기초하여 결정될 수 있음이 인식될 것이다.
근육들의 기능적 테스팅
[0748]
일부 실시예들에서, 사용자의 근육들의 기능 테스트는 반사 표면의 정면에서 수행될 수 있다. 사용자는 다양한 미세 움직임들을 수행하고 그리고/또는 다양한 포지션들을 유지하도록 (예를 들어, 디스플레이 시스템에 의해) 지시 받을 수 있다. 일부 실시예들에서, 이러한 움직임들은, 움직임을 수행하는 보정이 사용자의 게임 스코어를 증가시키는 게임의 콘텍스트에서 수행될 수 있다. 예를 들어, 디스플레이 시스템은, 예컨대, 가능한 한 신속히 가상 버튼을 터치하는 것을 포함하는 신속한 손 또는 발 움직임들을 수행하고, 또한 이러한 움직임들에 기반하여 스코어를 생성하기 위해 사용자에게 지시하도록 구성될 수 있다. 디스플레이 시스템은 지시된 움직임들 및 포지션들이 정확하게 수행되었는지 여부를 결정하거나 또는 사용자가 지시된 움직임들 또는 포지션들로부터 어느 정도 벗어 났는지를 결정하기 위해 사용자를 (예를 들어, 외향 카메라를 사용하여) 이미지화하도록 구성될 수 있다.
[0749]
기능적 테스트들의 예들은, 사용자가 두 팔 또는 두 다리를 들고 눈을 감은 후 "아니오"라고 말하면서 머리를 앞뒤로 흔들도록 지시 받는 드리프트를 포함한다. "이 테스트에서 긍정적 결과가 관찰되면(즉, 테스트가 정확하게 수행되지 않은 경우), 디스플레이 시스템은, 사용자가 경련으로부터 고통받거나 포지션을 유지할 능력이 없다고 결론 내리도록 구성될 수 있다.
[0750]
테스트의 또 다른 예는, 사용자가 신속한 손가락 태핑, (전구에서 나사 고정과 유사한 동작에서) 빠른 손 회내-외전, 신속한 손 태핑 및/또는 바닥 또는 다른 객체에 대한 신속한 발 태핑에 참여하도록 지시 받는 신속한 손 또는 발 움직임들이다. 이러한 테스트는 신속한 손가락 태핑 또는 손 회내-외전을 수행할 수 없음으로 인해 입증되는 미묘한 근육 약화를 감지하는 데 사용될 수 있다.
[0751]
디스플레이 시스템은 다음과 같이 지시된 움직임들의 사용자 성능을 해석하도록 구성될 수 있다. 약함이 없을 때 늦은 또는 어색한 미세 손가락 움직임들 또는 발가락 태핑은, 대뇌 피질 경로 또는 소뇌 또는 기저핵의 병변의 미묘한 기형에 의해 유발된 것으로 해석될 수 있다. "치아를 닦는 척하라"와 같은 운동 명령을 따르지 못하는 불능은, 실신에 의해 유발된 것으로 해석될 수 있다. 운동 기능/자발적인 근육 제어의 손실은, 시속척수염과 같은 신경 시스템 장애; 및/또는 운동 신경 질환 및/또는 원발성 측삭 경화증과 같은 운동 장애에 의해 유발된 것으로 해석될 수 있다. 운동완만/느린 움직임은, 쉴더 병과 같은 신경계 장애; 헌팅턴 병, 원발성 측삭경화증 및/또는 파킨슨 병과 같은 운동 장애; 및/또는 루이 신체 치매와 같은 기억 장애에 의해 유발된 것으로 해석될 수 있다. 무의식적인 근육 수축(이는 "태스크 특정적"일 수 있음)은 병소 손 긴장 이상과 같은 운동 장애에 의해 유발된 것으로 해석될 수 있다. 신체의 한쪽 측면에 대한 선호도(사용자 신체의 일측에 더 발달된 근육 및/또는 지시된 태스크를 수행할 때 일측을 선호함으로써 입증됨)는 뇌성 마비와 같은 운동 장애에 의해 유발된 것으로 해석될 수 있다. 일부 실시예들에서, 사용자의 신체의 일측의 검출된 선호는, 사용자의 신체의 불쾌감을 주는 일측의 수반을 조장하는 콘텐츠를 디스플레이함으로써 처리될 수 있다. 예컨대, 편측 공간 무시로 어려움을 겪는 사용자는, 그들 신체의 한 쪽만을 사용할 수 있는데, 예컨대, 그들의 얼굴의 절반만 면도하거나 선호되는 팔을 사용하기 위해 그들의 신체를 가로질러 도달할 수 있다. 일부 실시예들에서, 디스플레이 시스템은, 태스크를 하는 가상의 무시된 손을 도시함으로써 무시한 손을 사용하여 도달하는 것이 더 쉬울 것이라는 것을 사용자에게 보여 주도록 구성될 수 있으며, 이로 인해, 사용자가 무시된 손을 사용하도록 조장한다. 일부 실시예들에서, 디스플레이 시스템은 무시된 측으로 사용자를 유인하는 가상 콘텐츠를 디스플레이하도록 구성될 수 있다.
무시된 영역에서 무시되지 않은 영역으로의 객체들의 시프팅
[0752]
사용자의 뷰 필드에서 무시된 영역들 또는 무시된 측들의 위치는 디스플레이 시스템에 의해 알려질 수 있다는 것이 이해될 것이다. 예를 들어, 이들 영역들의 위치들은 디스플레이 시스템에 저장될 수 있고 그리고/또는 그렇지 않으면 디스플레이 시스템이 액세스 가능할 수 있다. 일부 실시예들에서, 디스플레이 시스템은 사용자의 시야에서 이들 객체들의 위치들을 시프팅함으로써 이러한 무시된 영역들 내의 객체들을 처리하고 이에 주의를 끌도록 구성될 수 있다. 예컨대, 사용자가 리플렉션을 보고 있을 때, 디스플레이 시스템의 전방을 향하는 카메라는 리플렉션의 이미지를 캡처하도록 구성될 수 있으며, 디스플레이 시스템은 관심 객체가 무시된 영역에 있는지 여부를 결정하도록 구성될 수 있다. 객체가 무시된 영역에 있다면, 디스플레이 시스템은 상이한 위치, 바람직하게는 사용자의 시야의 무시되지 않은 영역에 객체의 이미지를 제시함으로써 이 객체의 위치를 시프트하도록 구성될 수 있다. 결과적으로, 사용자는 유리하게 이 객체를 인지하고 이 객체에 반응할 수 있다. 일부 실시예들에서, 디스플레이 시스템에 의해 캡쳐된 전체 이미지는 원하는 객체가 무시되지 않은 영역에 위치하도록 시프트될 수 있다.
[0753]
일단 사용자가 무시된 시프트된 영역에 컨텐츠 또는 시각적 입력이 있다는 것을 인식하면, 디스플레이 시스템은 시프트를 제거하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 사용자가 객체를 인지하는지 또는 프롬프팅에 대한 응답을 수신하는지 여부를 표시하도록 사용자에게 프롬프트하거나, 내향 카메라를 사용하여 사용자의 응시를 모니터링하여 사용자의 응시가 일치하는지 또는 시프트된 영역의 객체들로 지향되는지를 결정하도록 구성될 수 있다. 일부 실시예들에서, 사용자로부터의 긍정 응답의 검출은, 디스플레이 시스템으로 하여금 시간이 지남에 따라 증가량으로, 점차적으로 시프트의 양을 감소시키게 할 수 있다. 예컨대, 디스플레이 시스템은 모든 각각의 증가 변경 후에, 사용자가 객체를 인지하는지를 결정하고, 긍정적인 결론을 내린 후에 시프트가 제거될 때까지 또 다른 증가 변경을 하도록 구성될 수 있다.
[0754]
일부 실시예들에서, 시프트 외에도, 디스플레이 시스템은, 사용자의 가상 리플렉션이 통상적인 미러에서 발생하는 것처럼 그 사용자의 피쳐들을 반전시키지 않는 것으로 도시되는 "진실 미러"로서 기능하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 사용자의 리플렉션을 이미지화하고 리플렉션의 이미지를 사용자에게 디스플레이하기 전의 그 리플렉션을 반전하도록 구성될 수 있다. 사용자의 리플렉션의 반전된 이미지는, 사용자에게 반전되지 않은 이미지 또는 가상의 진실 미러 리플렉션으로 보일 것이다. 일부 실시예들에서, 가상의 진실 미러 리플렉션은 실제 리플렉션을 오버레이 및 교체할 수 있다.
개별적인 근육 그룹들의 세기의 테스트들
[0755]
일부 실시예들에서, 사용자의 개별적인 근육 그룹들의 세기는 반사 표면 정면에서 테스트될 수 있다. 사용자는 특정 근육 그룹 상에 포커싱되도록 지정된 움직임들을 수행하도록 (예컨대, 디스플레이 시스템에 의해) 지시받을 수 있다. 디스플레이 시스템은 지시받은 움직임들 및 포지션들이 정확하게 수행되었는지 여부를 결정하기 위해, 또는 사용자가 지시받은 움직임들 또는 포지션들로부터 어느 정도 벗어났는지를 결정하기 위해, (예컨대, 외향 카메라를 사용하여) 사용자를 이미징하도록 구성될 수 있다. 일부 실시예들에서, 사용자가 알려진 저항(예컨대, 체중)에 대하여 이동할 수 있는 거리는 세기의 게이지로서 측정될 수 있다. 대안적으로 또는 게다가, 저항의 크기(예컨대, 체중의 질량)는 저항들의 차이에 대하여 이동하는 사용자의 능력을 결정하고 그에 의해 사용자의 세기를 측정하기 위해 변화될 수 있다.
[0756]
일부 실시예들에서, 근육 그룹들은 쌍들로 연속적으로 테스트될 수 있고; 즉, 특정 근육 그룹을 테스트한 후에, 근육 그룹의 대측성 대응부가 근육 세기 또는 기능에서의 비대칭성들의 검출을 향상시키기 위해 테스트될 수 있다. 근육 세기는 스케일 5 포인트 스케일로 레이팅될 수 있고, 0은 수축이 없는 것을 표시하고, 5는 노멀 세기를 표시한다는 것이 인식될 것이다. 일부 실시예들에서, 디스플레이 시스템은 임의의 관찰된 근육 약화가 근위 근육 약화인지 또는 말단 근육 약화인지 여부를 주목시키도록 구성될 수 있다. 근위 근육들은 신체의 중심선에 가장 가까운 근육들이고, 말단 근육들은 신체의 팔다리들 상의 근육들이라는 것이 인식될 것이다. 일부 실시예들에서, 근위 대 말단 약화의 비교는 사용자가 각각 근육 또는 신경 질환을 앓고 있는지 여부를 결정하기 위해 사용될 수 있다.
[0757]
근육 세기의 테스트들의 예들은 다음을 포함한다. 상지 세기 테스트들은 팔꿈치 확장 테스트를 포함하며, 팔꿈치 확장 테스트는 삼두근들, 요골 신경, 및 신경근(C6, C7, 및 C8)에 관한 진단 정보를 활용하고 제공한다. 하지 세기 테스트들은 무릎 확장 테스트를 포함하며, 무릎 확장 테스트는 사두근들, 대퇴 신경, 및 신경근(L2, L3, 및 L4)에 관한 진단 정보를 활용하고 제공한다. 발을 제어하는 근육들의 세기는 발 이버전 및/또는 인버전 테스트를 사용하여 결정될 수 있고, 발 이버전 및/또는 인버전 테스트에서, 사용자는 사용자의 발의 이버전 및/또는 인버전을 수행하도록 요청된다. 디스플레이 시스템이 다수의 근육 세기 테스트들을 수행하고 이들 테스트들의 결과들에 기반하여 약화의 패턴들을 결정하도록 구성될 수 있다는 것이 인식될 것이다. 약화의 패턴들은 특정 피질 또는 백질 구역, 척수 레벨, 신경근, 말초 신경, 또는 근육 기형을 로컬화하는 것을 도울 수 있다.
[0758]
디스플레이 시스템은 다음과 같이 근육 테스트들에 대한 사용자의 성능을 해석하도록 구성될 수 있다. 근육 약화 또는 피로는 신경계 장애들, 이를테면 급성 파종뇌척수염, 임상적 독립 증후군, 길랭-바레 증후군, 다발성 경화증, 시속 척수염, 쉴더병, 횡단 척수염, 및/또는 말초 신경병증; 시각 신경병증들, 이를테면 급성 탈수 초성 시신경염 및/또는 미토콘드리아 시각 신경병증(유전성); 운동 장애들, 이를테면 운동 실조, 운동 신경 세포병, 루게릭병, 원발성 측삭 경화증, 진행성 근위축증, 척수성 근위축증, 및/또는 케네디 병; 기억 장애들, 이를테면 이마관자엽 치매; 및/또는 부상들, 이를테면 수두증, 뇌졸중, 및/또는 외상성 뇌손상들에 의해 유발되는 것으로 해석될 수 있다. 마비는 신경계 장애들, 이를테면 발로 병, 길랭-바레 증후군, 다발성 경화증, 및/또는 시속 척수염; 기억 장애들, 이를테면 혈관성 치매; 및/또는 부상들, 이를테면 뇌줄중에 의해 유발되는 것으로 디스플레이 시스템에 의해 해석될 수 있다.
반사 테스트
[0759]
일부 실시예들에서, 사용자의 반사들의 테스트는 신경계 기형들, 이를테면 손상된 뉴런들을 식별하기 위해, 그리고 사용자의 신체의 다양한 일부분들에 대한 반사 테스트 결과들에 기반하여 사용자의 뇌의 부상된 부분들을 식별하고 격리시키기 위해 활용될 수 있다. 다양한 반사 테스트들이 아래에서 설명된다. 테스트들은 반사 표면 정면에서 수행될 수 있고, 테스트들의 결과들은 사용자의 리플렉션의 이미지들을 캡처함으로써 결정될 수 있다.
[0760]
일부 실시예들에서, 특정 테스트로부터 예상되는 노멀 반사 움직임들은, 사용자 또는 시스템 또는 제3자가 사용자의 반사가 노멀 움직임과 정렬하는지를 결정할 수 있고, 또한, 기형의 정도를 결정할 수 있도록, 증강 현실 콘텐츠로서 투사될 수 있다. 기형의 정도는, (예컨대, 사용자에 의해 나타나는 모션의 범위의 정량적 측정들을 통해) 질적으로 그리고/또는 정량적으로 결정될 수 있다. 예컨대, 정량적 측정들은, 알려진 상수들(예컨대, 사용자의 키, 사용자의 신체 일부분들의 크기, 사용자의 이미지가 캡처된 반사 표면으로부터의 사용자의 거리 등)에 기반하여 사용자의 움직임에 관한 다양한 파라미터들을 계산함에 있어 사용자의 이미지들을 분석함으로써 획득될 수 있다. 일부 실시예들에서, 사용자의 움직임은, 증강된 노멀 움직임에 비교될 수 있고 그리고 시각적 이력 비교에 도시될 수 있다. 일부 실시예들에서, 사용자의 움직임을 나타내는 증강 현실 콘텐츠는 컬러-코딩될 수 있다. 예컨대, 만약 사용자가 어떠한 움직임도 갖지 않는다면, 움직임의 결핍을 갖는 투사된 신체 일부분은 적색일 것이거나, 또는 만약 사용자의 움직임이 노멀이라면, 노멀 움직임을 갖는 투사된 신체 일부분은 녹색일 것이다. 일부 실시예들에서, 디스플레이 시스템은, 움직임의 스피드를 결정하기 위해, 반사 움직임의 시간 및 거리를 측정하도록 구성될 수 있다. 예컨대, 반사 표면으로부터의 사용자의 거리는 관찰된 이미지를 스케일링하는 방식에 관한 수학적 결정들을 가능하게 함으로써 다양한 피처들의 크기들의 결정들을 가능하게 하기 위해 깊이 센서를 사용하여 결정될 수 있다.
a.
깊은 힘줄 반사들
[0761]
제3자 또는 사용자는 사용자의 근육 및 힘줄을 신장시키기 위한 임펄스들을 생성하기 위해 사용자의 팔다리들에 반사 해머를 적용할 수 있다. 바람직하게, 이들 팩터들이 반사 진폭에 영향을 미칠 수 있을 때, 사용자의 팔다리들은 이완된 및 대칭적인 포지션에 있다. 일부 실시예들에서, 사용자의 하나의 측에 테스트된 각각의 반사에 대해, 사용자의 좌측/우측의 비대칭성들을 검출하기 위해, 근육/힘줄의 대측성 대응부가 유사한 반사 테스트를 받을 수 있다.
[0762]
디스플레이 시스템은, 다음과 같이, 반사 테스트에 대한 소정의 사용자 반응들이 다양한 조건들을 표시한다는 결론을 짓도록 구성될 수 있다. 예컨대, 기형적으로 증가된 반사들(반사항진)은 상위 운동 뉴런 병변들에 의해 유발되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 클로누스는 운동 장애들, 이를테면 헌팅톤 병에 의해 유발되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 디스플레이 시스템이, 근육 및 대응하는 힘줄이 신장될 때 발생하는 근육의 반복적인 진동성 수축들을 검출함으로써, 클로누스의 존재를 진단하도록 구성될 수 있다는 것이 인식될 것이다. 일부 경우들에서, 클로누스는 또한, 반사항진으로 디스플레이 시스템에 의해 해석될 수 있다. 클로누스 외에도, 디스플레이 시스템에 의해 관찰될 수 있는 반사항진의 다른 징후들은, 사용자 또는 제3자가 무릎의 내측면을 태핑할 때의, 반대편 다리의 교차 내전 및 직접적으로 테스트되지 않는 다른 근육들로의 반사들의 확산을 포함한다.
[0763]
일부 실시예들에서, 디스플레이 시스템은 사용자의 힘줄들 상에 적용된 힘에 대한 사용자의 반응을 관찰함으로써 깊은 힘줄 반사들을 테스트하도록 구성될 수 있다. 테스트는 과거의 결과들과의 현재의 결과들의 비교들을 가능하게 하도록 주기적으로 수행될 수 있고, 그리고/또는 테스트 결과들은 예상된 평균 결과들과 비교될 수 있다. 깊은 힘줄 반사들의 감소는 근육들, 감각 뉴런들, 하위 운동 뉴런들, 및/또는 신경근 접합부의 기형들; 급성 상위 운동 뉴런 병변들; 및/또는 기계적 팩터들, 이를테면 관절 질환에 의해 유발되는 것으로 해석될 수 있다.
[0764]
일부 실시예들에서, 깊은 힘줄 반사들의 부재는 신경계 장애들, 이를테면 시속 척수염 및/또는 척수성 근위축증 타입 I에 의해 유발되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 일부 실시예들에서, 확장된 깊은 힘줄 반사들은 신경계 장애들, 이를테면 시속 척수염에 의해 유발되는 것으로 디스플레이 시스템에 의해 해석될 수 있다.
b.
발바닥 응답
[0765]
일부 실시예들에서, 사용자의 발바닥 응답은 사용자의 발의 바닥부에 걸쳐 오브젝트를 스크래핑함으로써 테스트될 수 있고, 오브젝트는 뒤꿈치로부터 작은 발가락을 향하여 전방으로, 그리고 이어서 엄지 발가락을 향하여 내측으로 아킹하여 이동된다. 발가락들의 하방 수축은 이 테스트에 대한 예상되는 노멀 응답이다.
[0766]
다양한 기형적 응답들이 디스플레이 시스템에 의해 이미징될 수 있다. 바빈스키 징후는 엄지 발가락의 상방 움직임 및 다른 발가락들의 외측으로의 패닝에 의해 전형적으로 특성화된 기형적 응답이다. 일부 경우들에서, 발가락들은 “침묵(silent)”할 수 있다(위로도 아래로도 움직이지 않음). 하나의 측(하나의 발) 상에서 발가락들이 하방으로 수축하지만, 다른 측(다른 발) 상에서는 침묵하는 경우에, 침묵하는 측은 기형적인 것으로 간주된다. 이들 응답들은 약 1살까지의 유아들에서는 기형이 아니지만, 성인들에서는 기형인 것으로 항상 간주된다. 일부 실시예들에서, 신근 발바닥 응답들을 포함하는 이들 기형적 응답들은 운동 장애들, 이를테면 헌팅톤 질환에 의해 유발되는 것으로 해석될 수 있다.
[0767]
바빈스키 징후의 존재는 피질척수로를 따라는 임의의 위치에서의 상위 운동 뉴런 병변들의 존재를 표시하는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 그러나, 바빈스키 징후는 만약 발가락 신근들의 심각한 약화가 존재한다면 유발되지 않을 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 바빈스키 징후의 존재는 운동 장애들, 이를테면 루게릭병에 의해 유발되는 것으로 디스플레이 시스템에 의해 해석될 수 있다.
c.
피겨 굴근 반사들
[0768]
일부 실시예들에서, 피겨 굴근 반사들의 테스트들은 사용자의 상지들에서의 반사항진(과민성 반사들)의 존재를 결정하는 것을 도울 수 있다. 손가락 굴근들은 반사 해머로 손바닥을 약하게 태핑함으로써 테스트될 수 있다. 대안적으로, 사용자의 상지들에서의 고조된 반사들의 존재는 사용자의 가운데 손가락이 느슨하게 유지되게 하고 손가락의 손톱을 하방으로 플리킹하여 손가락이 반동되어 약간 연장되게 함으로써, 호프만 징후를 테스트함으로써 결정될 수 있다. 만약 엄지 손가락이 응답으로 굽혀지고 내전되는 것이 관찰된다면 호프만 징후가 존재한다.
[0769]
호프만 징후 또는 고조된 손가락 굴근 반사들은 손들에 영향을 미치는 상위 운동 뉴런 병변의 존재를 표시하는 것으로 디스플레이 시스템에 의해 해석될 수 있다.
[0770]
위의 다양한 반사 테스트들에 대해, 일부 실시예들에서, 반사들의 부재는 신경계 장애들, 이를테면 길랭-바레 증후군에 의해 유발되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 게다가, 반사항진의 존재는 신경계 장애들, 이를테면 다발성 경화증에 의해 유발되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 또한, 경직(확대된 반사들을 갖는 뻣뻣한 근육들)은 운동 장애들, 이를테면 뇌성 마비, 헌팅톤 질환, 및/또는 루게릭병에 의해 유발되는 것으로 디스플레이 시스템에 의해 해석될 수 있다.
조정력 테스트
[0771]
일부 실시예들에서, 사용자의 조정력의 테스트는 신경계 기형들을 식별하기 위해 활용될 수 있다. 예컨대, 조정력 테스트들은 신체의 다양한 일부분들에 대한 조정력 테스트 결과들에 기반하여 사용자의 뇌의 부상된 일부분들을 식별하고 격리시키기 위해 사용될 수 있다. 다양한 조정력 테스트들이 아래에서 설명된다. 본원에서 개시되는 다른 테스트들에서와 같이, 조정력 테스트들은 반사 표면 정면에서 수행될 수 있고, 테스트들의 결과들은 사용자의 리플렉션의 이미지들을 캡처함으로써 결정될 수 있다.
[0772]
일부 실시예들에서, 특정 테스트로부터 예상되는 노멀하게 조정된 움직임들은, 사용자 또는 시스템 또는 제3자가 사용자의 움직임이 노멀 움직임들과 정렬하는지를 결정할 수 있고, 또한, 기형의 정도를 결정할 수 있도록, 증강 현실 콘텐츠로서 투사될 수 있다. 기형의 정도는, (예컨대, 사용자에 의해 나타나는 모션의 범위의 정량적 측정들을 통해) 질적으로 그리고/또는 정량적으로 결정될 수 있다. 예컨대, 정량적 측정들은, 알려진 상수들(예컨대, 사용자의 키, 사용자의 신체 일부분들의 크기, 사용자의 이미지가 캡처된 반사 표면으로부터의 사용자의 거리 등)에 기반하여 사용자의 움직임에 관한 다양한 파라미터들을 계산함에 있어 사용자의 이미지들을 분석함으로써 획득될 수 있다. 일부 실시예들에서, 사용자의 움직임은, 증강된 노멀 움직임에 비교될 수 있고 그리고 시각적 이력 비교에 도시될 수 있다. 일부 실시예들에서, 사용자의 움직임을 나타내는 증강 현실 콘텐츠는 컬러-코딩될 수 있다. 예컨대, 만약 사용자가 어떠한 움직임도 갖지 않는다면, 움직임의 결핍을 갖는 투사된 신체 일부분은 적색일 것이거나, 또는 만약 사용자의 움직임이 노멀이라면, 노멀 움직임을 갖는 투사된 신체 일부분은 녹색일 것이다. 일부 실시예들에서, 디스플레이 시스템은, 움직임의 스피드를 결정하기 위해, 움직임의 시간 및 거리를 측정하도록 구성될 수 있다. 예컨대, 반사 표면으로부터의 사용자의 거리는 관찰된 이미지를 스케일링하는 방식에 관한 수학적 결정들을 가능하게 함으로써 다양한 피처들의 크기들의 결정들을 가능하게 하기 위해 깊이 센서를 사용하여 결정될 수 있다.
[0773]
일부 실시예들에서, 부속지 조정력 테스트들은, 다른 운동 기능들은 비교적 온전하게 유지하면서 조정력 또는 걸음걸이를 방해할 수 있는 소뇌 장애를 사용자가 앓는지 여부를 결정하기 위해 수행될 수 있다.
a.
신속한 교번적인 움직임들
[0774]
일부 실시예들에서, 사용자는 신속한 교번적인 움직임들을 수행하도록 지시받을 수 있다. 그러한 움직임들의 예는 하나의 손의 손바닥을 다른 손의 손바닥과 손등으로 교번적으로 와이핑하는 것을 포함한다. 다른 예로서, 디스플레이 시스템은 증강 현실 콘텐츠, 이를테면 가상 버튼들을 디스플레이하도록 구성될 수 있고, 사용자는 콘텐츠와 상호작용하도록, 예컨대 가상 버튼들을 태핑하도록 지시받을 수 있다. 만약 느린 신속한 반복 움직임들이 검출된다면, 디스플레이 시스템은 신경계 장애들, 이를테면 다발성 경화증에 의해 유발되는 것으로 그러한 결과들을 해석하도록 구성될 수 있다.
b.
정밀 손가락 탭
[0775]
일부 실시예들에서, 사용자는 정밀 손가락 탭 테스트를 수행하도록 지시받을 수 있고, 정밀 손가락 탭 테스트에서, 손들 및 발들의 정밀한 움직임들이 사용자의 손가락들에 의해 이루어진다. 그러한 움직임들은 사용자의 집게 손가락으로 사용자의 엄지 손가락의 일부분을 반복적으로 태핑하는 것 및/또는 증강 현실 콘텐츠, 이를테면 하나 또는 그 초과의 가상 버튼들과 상호작용하는 것을 포함한다.
[0776]
움직임들을 제어하는 것/정확한 움직임들을 행하는 것의 난관은 운동 장애들, 이를테면 운동장애성 뇌성 마비 및/또는 진행성 근위축증에 의해 유발되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 정밀한 운동 부조화/정밀한 운동 기능들의 결핍은 운동 장애들, 이를테면 통합 운동 장애, 루게릭병, 및/또는 원발성 측상경화증; 학습 장애들, 이르테면 난필증 및/또는 비언어성 학습 장애들; 행동 장애들, 이를테면 중독(어딕션/알코올 중독); 및/또는 발달 장애들, 이를테면 태아 알코올 스펙트럼 장애에 의해 유발되는 것으로 디스플레이 시스템에 의해 해석될 수 있다.
c.
뒤꿈치-정강이 테스트
[0777]
일부 실시예들에서, 사용자는 뒤꿈치-정강이 테스트를 수행하도록 지시받을 수 있고, 뒤꿈치-정강이 테스트에서, 사용자는 하나의 발의 뒤꿈치를 반대편 무릎 또는 증강 현실 콘텐츠, 이를테면 가상 라인에 터치하고, 이어서, 사용자의 정강이 정면 아래로 직선으로 뒤꿈치를 끌어내리고 다시 위로 올리도록 지시받는다.
[0778]
뒤꿈치-정강이 테스트를 수행하는 데 있어서의 난관들은 신경계 장애들, 이를테면 다발성 경화증에 의해 유발되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 심한 운동 부조화/시퀀스 움직임들에 대한 불능은 운동 장애들, 이를테면 통합 운동 장애 및/또는 루게릭병; 기억 장애들, 이를테면 후두 피질 위축증; 및/또는 부상들, 이를테면 뇌졸중 및/또는 외상성 뇌손상들에 의해 유발되는 것으로 디스플레이 시스템에 의해 해석될 수 있다.
[0779]
본원에서 개시되는 다른 테스트들과 마찬가지로, 뒤꿈치 정강이 테스트는 테스트 결과들의 이력 비교들을 가능하게 하기 위해 시간 기간에 걸쳐 주기적으로 수행될 수 있다는 것이 인식될 것이다. 조정력의 변화들은 발달 장애들, 이를테면 다운 증후군에 의해 유발되는 것으로 디스플레이 시스템에 의해 해석될 수 있다.
[0780]
운동불능-근경직 증후군/느린 움직임 개시는 운동 장애들, 이를테면 헌팅톤 질환에 의해 유발되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 느린 움직임 개시가 사용자의 리플렉션에서 보이는 바와 같은 사용자의 움직임의 스피드를 측정함으로써 결정될 수 있다는 것이 인식될 것이다.
d.
손가락-코-손가락 테스트
[0781]
일부 실시예들에서, 디스플레이 시스템은 손가락-코-손가락 테스트를 수행할 수 있고, 손가락-코-손가락 테스트에서, 사용자는 사용자의 코와 임상의의 손가락을 가능한 신속하게 교번적으로 터치하도록 요청된다. 바람직하게, 임상의의 손가락은 사용자에게 증강 현실 콘텐츠로서 디스플레이되는 가상 손가락일 수 있다.
[0782]
일부 실시예들에서, 손가락-코-손가락 테스트는 사용자가 운동 실조를 앓는지 여부를 결정하기 위해 수행될 수 있다. 운동 실조를 검출하는 것은 환자가 닿을 수 있는 범위의 극단에 검사자의 손가락(이는 실제 또는 가상일 수 있음)을 제공하는 것, 그리고 또한, 사용자에게 그 손가락을 터치하도록 지시하면서 이따금 손가락을 상이한 위치로 갑자기 이동시키는 것을 포함할 수 있다. 테스트에 대해 요구되는 움직임들을 성공적으로 완료하는 것에 있어서의 난관들은 운동 실조를 표시하는 것으로 디스플레이 시스템에 의해 해석될 수 있다.
e.
오버슈트 테스트
[0783]
일부 실시예들에서, 디스플레이 시스템은 오버슈트 테스트를 수행할 수 있고, 오버슈트 테스트에서, 사용자는 특정 타겟 레벨까지 사용자의 무릎으로부터 양 팔들을 갑자기 올리도록 지시받는다. 특정 타겟 레벨이 사용자에게 증강 현실 콘텐츠로서 디스플레이되는 가상 마커에 의해 표시될 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 디스플레이 디바이스는 오버슈트 테스트를 수행하기 전에 사용자의 팔들을 올리기 위한 사용자에 대한 적합한 타겟 레벨을 선택하기 위해, 사용자에게 인터랙티브 명령들을 디스플레이할 수 있다.
[0784]
일부 다른 실시예들에서, 임상의가 테스트를 수행하는 것을 도울 수 있다. 임상의는 사용자와의 물리 접촉을 제공하기 위해 활용될 수 있다. 예컨대, 임상의는 사용자의 신장된 팔들에 압력을 적용할 수 있고 이어서 갑자기 압력을 해제할 수 있다. 일부 실시예들에서, 임상의는 환자의 엄지 손가락의 주름 상에 타겟 라인을 드로잉할 수 있고, 이어서, 환자의 집게 손가락 끝으로 타겟 라인을 반복적으로 터치하도록 환자에게 요청할 수 있다.
[0785]
테스트의 가능한 결과는 사용자가 타겟 레벨 또는 타겟 라인을 오버슈팅할 것이라는 것이다. 디스플레이 시스템은 사용자가 운동 실조를 앓고 있는 표시로서 그러한 오버슈트를 해석하도록 구성될 수 있고; 그러한 오버슈트는 운동 실조 움직임들의 일부분인 것으로 일반적으로 이해되고, 타겟-지향 움직임들의 콘텍스트에서 파스트-포인팅(past-pointing)으로 지칭될 수 있다.
f.
Romberg 테스트
[0786]
일부 실시예들에서, 디스플레이 시스템은 Romberg 테스트를 수행할 수 있으며, 이 테스트에서, 사용자는, 자신의 발들을 함께 그리고 서로 터치된 채로 선 다음 자신의 눈들을 감을 것을 지시받는다. 사용자가 눈들을 뜨고 있을 때, 사용자는, 소뇌에 입력들을 제공하기 위한 3개의 감지 기관들(시각, 고유 수용, 및 전정 기관들)을 사용하여 몸통 안정성을 유지할 수 있다는 것이 인식될 것이다. 만약 가벼운 병변이 정전 또는 고유 수용 기관들에 존재한다면, 사용자는, 자신의 눈들을 뜨는 것으로 보상할 수 있다. 그러나, 사용자의 눈들의 감겨 있을 때, 시각적 기관으로부터의 입력들이 제거되고, 사용자의 신체가 불안정성을 나타낼 수 있다. 보다 심한 고유 수용 또는 정전 병변, 또는 정중선 소뇌 병변은, 사용자가 심지어 자신의 눈들을 뜨고도 자신의 포지션 및 안정성을 유지할 수 없게 할 수 있다. 게다가, (상위 또는 하위 운동 신경들 또는 기저핵을 포함하는) 신경 기관의 다른 일부분들에서의 병변들이 또한 사용자의 포지션에서의 불안정성을 야기할 수 있다. 일부 실시예들에서, 디스플레이 시스템은, 사용자가 불안정하고 사용자가 떨어질 위험이 있을 수 있는 경우 경고(예컨대, 가청 경고)를 제공하도록 구성될 수 있다. 사용자의 안정성은, 반사면에서 사용자의 리플렉션을 이미징하고 그리고 사용자의 움직임의 양을 결정함으로써 결정될 수 있다. 게다가, 사용자의 움직임 및/또는 배향을 검출하여 사용자 불안정성의 예비 결론을 확인하기 위해 IMU들 및/또는 가속도계들, 및/또는 헤드 포즈 결정들이 사용될 수 있다.
[0787]
사용자의 불안정성은, 다양한 조건들을 표시하는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 예컨대, 조정력을 요구하는 태스크들을 수행하는 데 있어서의 기형 움직임들, 및 정상적인 매끄러운 움직임에 중첩되어 간섭하는 불규칙적인 진동 특성을 갖는 중간 내지 큰 진폭(medium-to-large-amplitude)의 불수의 움직임들은, 운동실조를 표시한다는 것이 디스플레이 시스템에 의해 해석될 수 있다. 부속부분 운동실조는 사지의 움직임들에 영향을 미치고, 소뇌 반구들 및 연관된 경로들의 병변들에 의해 야기되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 몸통 운동실조는 근위 근조직(특히, 걸음걸이 안정성과 연관된 근조직)에 영향을 미치고, 소뇌 충부 및 연관된 경로들에 대한 정중선 손상에 의해 야기되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 상반운동반복장애(비정상적 교번 움직임들)는, 다발성 경화증과 같은 신경 기관 장애들; 및/또는 운동실조와 같은 운동 장애들에 이해 야기되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 운동실조 그 자체는, 다발성 경화증과 같은 신경 기관 장애들; 급성 탈수초 시신경염, 미토콘드리아 시신경병증(유전성)과 같은 시신경변증들; 뇌성 마비와 같은 운동 장애들; 및/또는 Creutzfeldt-Jakob 질환과 기억 장애들에 의해 야기되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 운동측정장애 또는 조화운동불능의 증상들은, 다발성 경화증과같은 신경 기관 장애들; 운동실조, 운동실조 뇌성 마비, 행동곤란증, Huntington 질환, 및/또는 운동신경세포병과 같은 운동 장애들; 이마관자엽 치매와 같은 기억 장애들; 및/또는 수두증과 같은 상해들에 의해 야기되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 서투름(clumsiness)은, 행동곤란증과 같은 운동 장애들; 비 언어성 학습 장애들과 같은 학습 장애들; 및/또는 태아 알코올 스펙트럼 장애와 같은 발달 장애들에 의해 야기되는 것으로 디스플레이 시스템에 의해 해석될 수 있다.
g.
치료들
[0788]
일부 실시예들에서, 일단 결핍증이 검출되면, 디스플레이 시스템은, 시각적 타겟들을 제공함으로써 사용자가 자신의 움직임들을 정렬시키고 자신의 운동 기능들을 개선시키는 것을 보조하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은, 사용자의 손가락들의 움직임을 안내하는 증강 현실 콘텐츠를 디스플레이함으로써, 정밀한 운동 기능들(예컨대, 실제 또는 가상 피아노를 연주하는 것)을 훈련시키도록 구성될 수 있다. 사용자가 정밀한 운동 기능들에 난관을 겪는 경우들에서, 디스플레이 시스템은, 가상 버튼들의 사이즈들을 증가시켜 그 버튼들의 사용자의 사용을 용이하게 하도록 구성될 수 있다. 일부 실시예들에서, 디스플레이 시스템은, 반사면에서 사용자의 움직임들의 리플렉션을 이미징하면서 표면 상에 증강 현실 콘텐츠(예컨대, 피아노 건반들)를 디스플레이하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은, 청중의 멤버가 피아니스트를 뷰잉하는 바와 같은 피아니스트의 뷰를 리플렉션에서 캡쳐하면서 피아니스트가 가상 키보드를 통해 연습하는 것을 허용하도록 구성될 수 있다.
걸음걸이
[0789]
일부 실시예들에서, 사용자의 걸음걸이의 테스팅이 활용되어 신경 기관 기형들을 식별할 수 있다. 예컨대, 뇌의 특정 영역들에 대한 손상은 그 자체가 걸음걸이 비대칭 또는 불안정성으로 나타날 수 있다. 사용자의 자세, 밸런스, 및 걸음걸이를 평가함으로써, 손상된 뇌의 영역이 결정될 수 있다.
[0790]
일부 실시예들에서, 디스플레이 시스템은, 아래에 추가로 논의되는 바와 같이, 다양한 테스트에 요구되는 바와 같이 반사면 정면에서 이동하도록 인터랙티브 명령들을 사용자에게 디스플레이하도록 구성될 수 있다. 디스플레이 시스템은 또한, 사용자의 걸음걸이를 분석하기 위해 뷰어의 리플렉션을 이미징하도록 구성될 수 있다. 원하는 동작을 사용자가 이해하는 것을 돕고 그리고/또는 사용자가 자신의 걸음에서의 변화 또는 기형의 레벨을 관찰하게 하기 위해 증강된 정상적인 걸음걸이가 사용자의 리플렉션에 중첩될 수 있다. 일부 실시예들에서, 사용자는 가상 객체를 향하여 걸어가도록 요청받을 수 있으며, 그 때 가상 객체는, 사용자에게 점점 더 가까워지는 깊이 평면들 상에 디스플레이됨으로써 사용자에게 점점 더 가깝게 접근하는 것으로 나타난다. 게다가, 일부 실시예들에서, 비정상적인 걸음걸이의 결론은 다른 센서들을 사용하여 검증될 수 있다. 예컨대, 비정상적인 걸음걸이를 확인하기 위해 IMU들 및/또는 가속도계들, 및/또는 머리 포즈 결정들이 사용될 수 있다. 예컨대, 정상적인 걸음걸이로 사람이 걸을 때, 그의 머리 및 키는 사인파로 이동하거나 "보빙"하며, 이러한 보빙은, IMU들, 가속도계들, 및/또는 머리 포즈 센서들로 검출될 수 있다는 것이 인식될 것이다. 비정상 파(예컨대, 비-사인파)는 비정상 걸음걸이를 표시할 수 있다. 결과적으로, 디스플레이 시스템은, 사용자의 걸음걸이의 이미지들의 분석들에 기반하여 결정된 비정상 걸음걸이의 예비 결론의 확인으로서 비정상 파를 해석하도록 구성될 수 있다.
[0791]
일부 실시예들에서, 특정 테스트에서 예상되는 정상 걸음걸이는, 사용자 또는 시스템 또는 제3자가 사용자의 걸음걸이가 정상 걸음걸이와 정렬되는지를 결정할 수 있고 그리고 기형의 정도를 또한 결정하도록 있도록, 증강 현실 콘텐츠로서 투사될 수 있다. 기형의 정도는, (예컨대, 사용자에 의해 나타나는 모션의 범위의 정량적 측정들을 통해) 질적으로 그리고/또는 정량적으로 결정될 수 있다. 예컨대, 정량적 측정들은, 알려진 상수들(예컨대, 사용자의 키, 사용자의 신체 일부분들의 사이즈, 사용자의 이미지가 캡처되는 반사면으로부터의 사용자의 거리 등)에 기반하여 사용자의 움직임에 관한 다양한 파라미터들을 계산함에 있어 사용자의 이미지들을 분석함으로써 획득될 수 있다. 일부 실시예들에서, 사용자의 걸음걸이는, 증강된 정상 걸음걸이에 비교되고 그리고 시각적 이력 비교에 도시될 수 있다. 일부 실시예들에서, 사용자의 걸음걸이를 나타내는 증강 현실 콘텐츠는 컬러-코딩될 수 있다. 예컨대, 만약 사용자가 임의의 움직임 또는 비정상 걸음걸이를 보이지 않는다면 사용자의 투사된 이미지는 적색일 수 있거나, 또는 만약 사용자의 움직임이 정상이라면, 정상 움직임을 나타내는 투사된 이미지는 녹색일 것이다. 일부 실시예들에서, 디스플레이 시스템은, 움직임의 스피드(예컨대, 사용자의 발들의 스피드)를 결정하기 위해, 움직임의 시간 및 거리를 측정하도록 구성될 수 있다. 예컨대, 반사면으로부터의 사용자의 거리는 깊이 센서를 사용하여 결정되어, 관찰된 이미지를 스케일링하는 방식에 관한 수학적 결정들을 허용함으로써 다양한 피처들의 사이즈들의 결정들을 허용할 수 있다.
a.
일자 걸음걸이
[0792]
일부 실시예들에서, 사용자는, 각각의 스텝마다 한 발의 뒤꿈치를 다른 발의 발가락에 터치하면서 직선으로 걷도록 지시받을 수 있다. 다양한 신경 기관 기형들을 갖는 사용자들은 이러한 태스크에 대해 난관들을 가질 수 있다. 예컨대, 소뇌 충부 및 연관된 경로들에 대한 손상에 의해 야기되는 몸통 운동실조를 갖는 사용자들은, 그들이 전형적으로 불안정한 폭-기반 걸음걸이를 가지므로, 이러한 태스크가 난제라는 것을 발견할 수 있다. 일자 걸음걸이 테스트에 의해 요구되는 바와 같이 사용자들의 발들을 가깝게 함께 유지하는 것은, 그 사용자들이 불안정해지는 것을 야기할 수 있다.
[0793]
디스플레이 시스템은, 다음과 같이 일자 걸음걸이에 대한 사용자의 수행을 해석하도록 구성될 수 있다. 운동실조(불안정한 걷기)는, 금성 파종뇌척수염, Guillain-Barre 증후군, 다발성 경화증, 및/또는 척수성 근위측 타입 II와 같은 신경 기관 장애들; 및/또는 피질기저핵변성 및/또는 혈관성 치매와 같은 기억 장애들에 의해 야기되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 불량한 밸런스/떨어짐은, 뇌전증 및/또는 다발성 경화증과 같은 신경 기관 장애들; 운동실조 뇌성 마비, 행동곤란증, 원발성 측삭경화증, 및/또는 Parkinson 질환과 같은 신경 기관 장애들; 피질기저핵변성, 루이체 치매, 및/또는 진행성 핵상성 마비와 같은 기억 장애들; 중독증(중독/알코올 중독)과 같은 행동 장애들; 및/또는 뇌졸증과 같은 상해들에 의해 야기되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 자세 불안정성은, 운동실조, 근긴장이상, 및/또는 Huntington 질환과 같은 운동 장애들에 의해 야기되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 경직된 자세는, Creutzfeldt-Jakob 질환과 같은 기억 장애들에 의해 야기되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 비정상 자세는, 관절굽음증을 동반하는 선천성 척수성 근위축, 및/또는 Parkinson 질환과 같은 운동 장애들; 및/또는 루이체 치매와 같은 기억 장애들에 의해 야기되는 것으로 디스플레이 시스템에 의해 해석될 수 있다.
b.
강제된 걸음걸이
[0794]
일부 실시예들에서, 사용자는, 그의 뒤꿈치들, 그의 발가락들, 또는 그의 발의 안쪽들 또는 바깥쪽들로 걷거나, 한 다리로 서 있거나 뛰거나, 또는 한 줄로 이어진 계단들을 걸어 올라가도록 지시받을 수 있다. 그러한 강제된 걸음걸이 테스트가 활용되어, 미묘한 걸음걸이 기형들 또는 비대칭들의 존재를 결정할 수 있다.
[0795]
디스플레이 시스템은, 다음과 같이, 강제된 걸음걸이 테스트에 대한 사용자의 수행을 해석하도록 구성될 수 있다. 사용자가 그들이 누워있을 때에는 걸음걸이에 요구되는 움직임들 전부를 정상적으로 수행 할 수 있지만 서있는 포지션으로는 걸을 수 없는 경우, 디스플레이 시스템은, 사용자가 걸음걸이 운동실조를 앓고 있다는 것을 결정하도록 구성될 수 있다. 디스플레이 시스템은 또한, 사용자의 전두부 장애들 또는 정상 뇌압 수두증을 표시하는 것으로 걸음걸이 운동실조의 존재를 해석하도록 구성될 수 있다. 게다가, 사용자에 의한 걷기에서의 난관은, 뇌성 마비, 및/또는 운동신경세포병과 같은 운동 장애들; 이마관자엽 치매, 및/또는 혈관성 치매와 같은 기억 장애들; 태아 알코올 스펙트럼 장애와 같은 발달 장애들; 및/또는 뇌종양과 같은 상해들에 의해 야기되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 비정상 걸음걸이(이를테면, 발가락들로 걷기, 웅크린(crouched) 걸음걸이, 가위형 걸음걸이, 및/또는 발을 끄는 걸음걸이)는, 뇌성 마비, 척수성 근위축 타입 III, 및/또는 Parkinson 질환과 같은 운동 장애들; 루이체 치매, 및/또는 진행성 핵상성 마비와 같은 기억 장애들; 및/또는 수두증과 같은 상해들에 의해 야기되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 걸음걸이에서의 변화들은, Creutzfeldt-Jakob Disease 질환과 같은 기억 장애들; 및/또는 다운 증후군과 같은 발달 장애들에 의해 야기되는 것으로 디스플레이 시스템에 의해 해석될 수 있다. 사용자의 걸음걸이의 동결은, Parkinson 질환과 같은 운동 장애들에 인해 야기되는 것으로 디스플레이 시스템에 의해 해석 될 수 있습니다.
[0796]
일부 실시예들에서, 깜박거리는 광과 같은 시각적 큐가 사용자가 그들의 걸음걸이를 재개하는 것을 돕기 위해 디스플레이 시스템에 의해 디스플레이될 수 있다. 그러한 깜빡거리는 광은, 테스트를 수행하는 것을 돕도록 활용되고 그리고/또는 사용자 걷기를 돕기 위한 치료 도움용으로서 활용될 수 있다.
c.
치료들
[0797]
일부 실시예들에서, 일단 사용자가 비정상 걸음걸이를 갖는 것으로 결정되었으면, 디스플레이 시스템은, 더 정상적인 걸음걸이로 사용자가 이동하는 것을 보조하기 위한 도움들을 제공하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은, 사용자가 직선을 따라 이동하는 것을 조장하기 위해, 수평선 형태로 (예컨대, 인터랙티브 게임들의 일부로서 또는 보행 도움으로서) 증강 현실 콘텐츠를 제공하고 그리고/또는 사용자 앞에 포커스 포인트를 디스플레이하도록 구성될 수 있다. 일부 실시예들에서, 디스플레이 시스템은, 사용자가 정상 길이들의 걸음들을 취하는 것을 조장하기 위해, 사용자 스텝들의 원하는 위치들에 대응하는 가상 타겟들(예컨대, 가상 원)을 디스플레이하도록 구성될 수 있다. 선택적으로, 디스플레이 시스템은, 사용자들이 그들의 발들을 내려다 보는 것을 막기 위해, 리플렉션에서만 가상 타겟들을 디스플레이하도록 구성될 수 있다. 일부 실시예들에서, 사용자의 응시 방향은 디스플레이 시스템의 내측으로 향하는 카메라들을 사용하여 결정될 수 있고, 디스플레이 시스템은, 사용자의 응시가 그들의 발들을 향하여 하향으로 있다는 것을 검출할 때, 콘텐츠를 디스플레이하는 것을 중단하거나 콘텐츠를 변경하도록 구성될 수 있다. 일부 실시예들에서, 사용자의 머리의 배향(사용자의 머리가 가리키는 방향을 포함함)은 가속도계들을 사용하여 결정될 수 있고, 디스플레이 시스템은, 사용자의 머리가 하향을 가리키고 있다는 것을 검출할 때, 콘텐츠를 디스플레이하는 것을 중단하거나 콘텐츠를 변경하도록 구성될 수 있다. Parkinson 질환과 일부 조건들은 사용자들이 짧은 스텝들을 취하는 것을 초래할 수 있고 그리고 걸음 길이들에 대한 타겟들을 제공하는 것은 그 사용자들이 더 정상적인 걸음걸이로 걷는 것을 도울 수 있다는 것이 인식될 것이다.
모션
분석/시뮬레이션
[0798]
일부 실시예들에서, 디스플레이 시스템은, 모션 분석 및/또는 모션 시뮬레이션을 수행하도록 구성될 수 있다. 예컨대, 본원에서 개시된 바와 같이, 디스플레이 시스템은, 사용자의 걸음걸이 및 모션의 범위를 모니터링 및 측정하도록 구성될 수 있다. 게다가, 사용자의 키 및/또는 사용자의 다양한 일부분들에 관한 측정들이 디스플레이 시스템에 의해 알려져 있을 수 있고 그리고 디스플레이 시스템이 사용자와 반사면 간의 거리를 측정하도록 구성될 수 있기 때문에, 사용자의 걸음걸이 및/또는 모션의 범위에 관한 정량적 측정들은 사용자의 캡처된 이미지들의 분석에 기반하여 결정될 수 있다.
[0799]
일부 실시예들에서, 디스플레이 시스템은, 사용자의 리플렉션들에서 신체 포지션을 분석하고 그리고 이러한 포지션에 기반하여 신체의 움직임들을 추론하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은, 미러의 정면에서 골프 클럽을 스윙하는 사용자를 이미징하도록 구성될 수 있다. 사용자의 신체의 포지션에 기반하여, 디스플레이 시스템은, 골프 클럽의 예상되는 경로를 결정하고, 사용자의 스윙의 효율성 및/또는 골프 클럽의 원하는 경로와의 임의의 오정렬들의 분석을 제공하도록 구성될 수 있다.
[0800]
일부 실시예들에서, 디스플레이 시스템은, 인터랙티브 게임들의 형태로 사용자에게 치료를 제공하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은, 스트로크로부터 회복하는 사용자들에게 인터랙티브 게임 콘텐츠의 형태의 증강 현실 콘텐츠를 제공하도록 구성될 수 있다. 예컨대, 인터랙티브 게임은, 사용자의 팔다리들의 움직임을 조장하기 위한 복싱 게임일 수 있다. 유리하게, 인터랙티브 게임을 생성함으로써, 사용자는, 그들이 게임을 수반하는 치료에 더 많이 참여할 수 있기 때문에, 모션의 범위를 회복함에 있어 성공적일 가능성이 더 높다. 예컨대, 게임은, 사용자가 포인트들을 스코어링하고 그리고/또는 다른 사용자들과 경쟁할 기회들을 포함할 수 있으며, 이들 둘 모두는 더 많은 게임플레이를 조장할 수 있다. 게다가, 디스플레이 시스템은, 게임에 대한 추가적인 참여를 조장하기 위해, 목표들 및 그 목표들을 향한 사용자의 진행을 디스플레이하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은, 사용자의 움직임을 이미징하고 이에 의해 사용자의 모션의 범위를 추적하고 그리고 사용자가 모션의 타겟 범위에 얼마나 가까운지의 표시를 사용자에게 제공하도록 구성될 수 있다.
[0801]
일부 실시예들에서, 디스플레이 시스템은, 가상 팔다리, 이를테면 팔을 디스플레이하도록 구성될 수 있다. 가상 팔다리는, 사용자의 실제 팔다리가 타겟에 도달할 수 없는 경우라 하더라도 원하는 타겟에 도달하는 것으로 보여질 수 있다. 이론에 제한됨이 없이, 가상 팔이 타겟에 부딪쳤다는 것을 알게 됨으로써, 신경의 발화들을 재활성화하고 그리고 모션의 범위를 증가시키는 데 있어 더 큰 성공률이 발생할 수 있는 것으로 여겨진다.
[0802]
일부 실시예들에서, 팔다리가 팔다리의 물리적 제한들 또는 연관된 구조들에 의해 제한될 수 있는 경우, 예컨대, 디스플레이 시스템에는, EEG 센서(예컨대, 사용자와 접촉될 수 있는 전극)가 제공될 수 있다. 뇌파들이 EEG 센서에 의해 검출되어 특정 움직임을 표시하는 경우 디스플레이 시스템에 의해 해석될 수 있다. 결과적으로, 가상 팔다리에 대한 제어는, EEG 센서에 의해 검출되는 뇌파들에 의해 제공될 수 있다. 따라서, 사용자의 실제 팔다리가 제한된 모션을 가질 수 있는 경우라 하더라도, 가상 팔다리는 완전한 모션 범위를 가지며, 이러한 범위는 사용자의 뇌의 기대치들에 대응한다.
난독증
[0803]
난독증이 있는 사용자들은, 객체와 객체의 미러-이미지 간을 구별하는 것이 난관일 수 있다. 이론에 제한됨이 없이, 이러한 난관은, 키랄(chiral) 이미지들 간을 구별하는 데 있어 난관을 야기하는 미러 신경들을 억제하거나 활성화시키는 데 있어서의 문제들에 의해 야기될 수 있다고 여겨진다.
[0804]
신경들은, 신경들의 발화를 억제 또는 활성화시키는 신경전달물질들에 의해 제어된다는 것이 인식될 것이다. "미러 신경들"은 다른 신경들에 영향을 미치기 위해 커플링 또는 발화하며, 이러한 다른 신경들을 모방할 수 있다. 미러 신경의 효과의 예는, 시각적 입력이 존재하지 않는 경우라 하더라도 미러 신경들이 여전히 링크되어 있고 고통이 경험되도록 시각적 자극이 소매토소매틱(somatosomatic) 입력에 링크되어 있는 환지통(phantom limb pain)이다.
[0805]
미러 신경들은 또한, 키랄 객체들 간을 구별하는 역할을 할 수 있다. 키랄 객체들의 예들은, 사람의 왼손 및 오른손을 포함한다. 미러 신경들은, 이러한 키랄 객체들이 동일한 객체이지만 단지 서로의 미러 이미지들이라는 것을 개인이 이해하게 할 수 있다. 예컨대, 사용자가 자신의 사진을 본 다음 미러에서 자신의 리플렉션을 보았을 경우, 2개의 이미지들은 서로의 미러 이미지들일 것이다. 일반적으로, 사용자의 미러 신경들은 미러로부터 그리고 사진으로부터 시각적 입력을 취할 수 있을 것이고, 그들이 지각/액션 커플링을 통한 동일한 사용자로서 함께 링크되는 것을 학습했으므로, 그들 둘 모두가 사용자였다고 복호화할 것이다. 그러나, 사용자는 또한, 이미지들을 구별하고 이미지들이 동일하지 않다는 것을 이해할 수 있을 것이다. 그러나, 난독증이 있는 사용자들은 이러한 구별을 행하지 못할 수 있는데, 즉, 사용자들은, 이미지들이 동일한 객체를 갖는 것을 이해할 수 있지만 이미지들 그 자체를 상이한 것으로 이해하지 못할 수 있다.
[0806]
일부 실시예들에서, 디스플레이 시스템은, 난독증을 진단 및/또는 치료하도록 구성될 수 있다. 유리하게, 본원에서 설명된 바와 같이, 디스플레이 시스템은, 가상 객체 및 그 객체의 반사된 이미지를 디스플레이하도록 구성될 수 있다. 디스플레이 시스템은, 이어서, 반사된 이미지 및 진정한 이미지가 동일한지 또는 상이한지를 표시할 것을 사용자에게 프롬프팅하게 구성될 수 있다. 이미지들이 동일하다는 사용자 응답은, 사용자가 난독증이라는 표시로 디스플레이 시스템에 의해 해석될 수 있다. 이어서, 디스플레이 시스템은, 이러한 진단 결론을 사용자에게 그리고/또는 제3자(이를테면, 임상의)에게 제공하도록 구성될 수 있다.
[0807]
일부 실시예들에서, 디스플레이 시스템은, 난독증을 치료하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은, 사용자에게 이미지들 간의 차이를 교시하기 위한 식별 정보와 함께 객체들의 진정한 이미지들 및 미러 이미지들 둘 모두를 디스플레이하도록 구성될 수 있다. 일부 실시예들에서, 가상 콘텐츠의 진정한 뷰 및 반전된 뷰 둘 모두가 3차원 객체들로서 도시될 수 있고, 사용자에게 객체들의 상이한 뷰들 간의 차이들을 교시하기 위해 회전될 수 있다.
소매토파라프레니아
(
somatoparaphrenia
)
[0808]
소매토파라프레니아는, 환자가 자신의 신체의 일부분(자신의 신체의 "영향을 받는 일부분"), 이를테면 자신의 신체의 팔다리 또는 측면의 소유권을 부인하는 상태이다. 소매토프라프레니아에 대한 한 가지 치료는, 환자가 미러 내의 자신을 보는 미러 치료이다. 환자는, 영향을 받는 일부분이 자신의 신체의 일부분임을 관찰함으로써 그 영향을 받는 일부분의 소유권을 설정한다.
[0809]
일부 실시예들에서, 블록(710)(도 12)은, 영향을 받는 일부분의 소유권을 보강하기 위해 증강 현실 콘텐츠를 디스플레이하는 것을 포함한다. 예컨대, 디스플레이 시스템에는, 예컨대, 디스플레이 시스템에 의해 액세스 가능한 데이터베이스의 일부분으로서, 영향을 받는 일부분의 지식이 제공될 수 있으며, 디스플레이 시스템은, 영향을 받는 일부분을 사용자가 갖는지 여부를 결정하기 위해 데이터베이스를 검색하도록 구성될 수 있다. 영향을 받는 일부분이 존재한다고 결정할 시, 디스플레이 시스템은, 영향을 받는 일부분의 존재 및 위치를 결정하고 그에 후속하여 그 영향을 받는 일부분을 강조하거나 달리 식별하기 위해, 리플렉션의 캡처된 이미지들을 분석하도록 구성될 수 있다. 그러한 강조는, 예컨대, 영향을 받는 일부분의 컬러 또는 다른 시각적 특성을, 영향을 받는 일부분 상의 그 컬러의 콘텐츠를 오버레잉하거나 영향을 받는 일부분의 리플렉션에 오버레잉된 다른 이미지들을 디스플레이함으로써 변경하는 것을 포함할 수 있다. 일부 실시예들에서, 영향을 받는 일부분을 강조하도록 콘텐츠를 디스플레이하는 것 외에 또는 그에 대한 대안으로서, 사용자는, 영향을 받는 일부분으로 다양한 모션들을 수행할 것을 지시받을 수 있다. 예컨대, 디스플레이 시스템은, 명령들을 디스플레이하고 그리고/또는 (예컨대, 스피커들(66)을 통해) 가청 명령들을 제공함으로써, 다양한 모션들을 수행할 것을 사용자에게 지시하도록 구성될 수 있다.
[0810]
일부 실시예들에서, 디스플레이 시스템은, 통상적인 미러에서 발생할 바와 같이, 사용자의 가상 리플렉션이 반전되지 않는 "진정한 미러"로서 기능하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은, 사용자의 리플렉션을 이미징하고 그리고 반전된 이미지를 사용자에게 디스플레이하기 전에 그 리플렉션을 반전시키도록 구성될 수 있다. 특히, 사용자의 리플렉션의 반전된 이미지는, 비-반전된 이미지 또는 가상의 진정한 미러 리플렉션으로 사용자에게 보일 것이다. 일부 실시예들에서, 가상의 진정한 미러 리플렉션은 실제 리플렉션을 오버레잉 및 교체할 수 있다. 일부 다른 실시예들에서, 가상의 진정한 미러 리플렉션은, 실제 리플렉션에 인접하지만 그를 차단하지 않게 디스플레이된다. 따라서, 사용자는 자신의 2개의 뷰들을 가질 수 있고, 이는, 영향을 받는 일부분의 사용자의 소유권을 추가로 강화시키는 장점들을 제공할 수 있다.
[0811]
소매토파라프레니아를 치료하기 위해 유리하게 적용되는 한편, 디스플레이 시스템은 다른 콘텍스트들에서 가상의 실제 미러 리플렉션을 디스플레이하도록 구성될 수 있다는 것이 인식될 것이다. 실제로, 사용자의 리플렉션을 반전시키는 것에 추가로 또는 그에 대안으로서, 디스플레이 시스템은 회전, 플립핑/미러링, 크로핑, 형상 변경 및/또는 반사된 피처들의 크기 변경에 의해 리플렉션에서 사용자의 외관 및/또는 다른 객체들의 외관을 수정하도록 구성될 수 있다.
[0812]
위에서 논의된 바와 같이, 많은 테스트들은 사용자에게 특정 작업들이나 움직임들을 수행하라는 명령들을 제공하는 것을 수반할 수 있다. 일부 실시예들에서, 이러한 명령들 중 임의의 명령이 사용자에게 증강 현실 콘텐츠로서 디스플레이 시스템에 의해 디스플레이되고 그리고/또는 청각적으로 전달될 수 있다. 유리하게, 테스트가 가청 또는 텍스트-기반 명령들에 대한 사용자의 이해를 결정하려고 하지 않는 한, 사용자에 대한 명령들은 테스트의 정확한 수행을 가능하게 하기 위해 원하는 태스크 또는 움직임들의 시연들을 포함할 수 있다.
[0813]
본원에서 개시된 많은 테스트들은 분석을 수행하기 위한 입력으로서 사용자의 이미지들을 활용한다는 것이 인식될 것이다. 이러한 분석들 중 다수는 사용자가 특정 액션을 수행하며, 특정 포지션을 취하고, 단순히 이들의 신체의 특정 부분의 뷰를 제공하는 등의 이미지들에 의존한다. 사용자가 그들의 하루를 시작할 때, 그들은 만약 적합한 이미지가 이용가능하다면 분석이 수행될 수 있게 하는 액션을 수행하거나, 포지션을 취하거나 그들 신체의 뷰를 제공할 수 있다고 또한 인식될 것이다. 유리하게, 디스플레이 시스템은 사용자에게 액션들을 수행하거나, 포지션들을 취하거나, 그들 신체의 원하는 뷰들을 제공하거나, 또는 다른 테스트-특정 액션들에 참여하도록 프롬프팅하지 않고, 드러나지 않게 다양한 분석들을 수행하기 위해 사용자의 리플렉션들로부터 수동적으로 이미지 정보를 수집하도록 구성될 수 있다. 이 이미지 정보는 예컨대, 정지 이미지들, 비디오 또는 이들의 조합들의 형태를 취할 수 있다. 게다가, 정지 이미지들 또는 비디오는 또한 환경 데이터(예컨대, 날짜, 온도, 주변 소음, 조명 조건들, 미러로부터의 거리 등)에 대한 링크들을 포함할 수 있거나 포함하며, 이는 정지 이미지들 또는 비디오에 대한 콘텍스트를 제공하는 데 유용할 수 있다.
[0814]
일부 실시예들에서, 이미지 정보는 지속적으로 저장될 수 있고, 이어서 후속하여 분석될 수 있다. 예컨대, 디스플레이 시스템의 외향 카메라들로부터의 이미지 정보는 연속적으로 수집될 수 있고, 리플렉션이 캡처되었는지 여부의 결정이 이 이미지 정보의 수집 후에 수행될 수 있다. 일부 다른 실시예들에서, 리플렉션이 존재하는지 여부의 결정은 이미지 정보를 수집하기 전에 수행된다. 그러나 어떤 경우든지, 디스플레이 시스템은 이미지 정보가 수집될 때 그 이미지 정보의 분석을 수행하여, 수집된 이미지가 본원에서 개시된 분석들, 예컨대 사용자 건강 분석들 중 하나 또는 그 초과에 관련된 데이터를 제공하는지 여부를 결정하도록 구성될 수 있다. 만약 적합한 데이터가 이미지에 존재한다고 결정된다면, 디스플레이 시스템은 이어서, 연관된 분석을 수행하도록 구성될 수 있다. 일부 다른 실시예들에서, 적합한 데이터가 존재하는지 여부의 분석 및/또는 결정은 나중에(예컨대, 미리설정된 인터벌들, 이를테면 야간 또는 디스플레이 시스템이 사용자에 의해 사용되지 않을 수 있는 다른 시간들에, 그리고/또는 하나 또는 그 초과의 분석들을 수행하기 위한 사용자로부터의 특정 입력에 대한 응답으로) 수행될 수 있다. 바람직하게, 이미지 정보의 수집은 사용자가 디스플레이 시스템을 착용하고 있는 동안에는 연속하는 한편, 적합한 데이터가 존재하는지 여부의 분석 및/또는 결정은 간헐적으로 또는 산발적으로, 예컨대 미리 설정된 스케줄 및/또는 사용자나 다른 당사자에 의한 입력에 따라 수행된다.
[0815]
유리하게, 이러한 분석들은 시간이 지남에 따라 연속적으로 수행될 수 있는데, 예컨대 특정 분석들이 수 시간, 수 일, 수 주, 수 달 또는 심지어 수년의 기간에 걸쳐 여러 번 수행될 수 있다. 결과적으로, 특정 분석에 관한 결론을 내리기 전에 대형 데이터 세트가 획득되어 분석될 수 있다. 이러한 대형 데이터 세트는 단지 단일 시점에서 획득된 데이터의 단일 분석에 대해, 분석들로부터 얻어낸 결론들의 신뢰성 및 레벨 신뢰성을 개선할 수 있다.
[0816]
게다가, 수집된 이미지들의 이력 분석에 의해 장기 추세들이 또한 획득될 수 있다. 결과적으로, 동시대의 조건들 및 이러한 조건들에 관한 추세들 둘 모두가 결정될 수 있으며, 이는 특정 사용자에 보다 상세하게 맞추어진 향후 추세들을 결정하기 위한 데이터를 제공할 수 있다. 예컨대, 증상들의 특정 임계치들에 도달할 때까지 소정의 조건들이 자명해지지 않을 수 있는 것이 가능하며, 조건과 관련된 이전 데이터 세트들이 임상의에 의해 정상적으로 획득되지 않을 것이므로 조건이 발견되기 전에 사용자의 상태를 분석하기가 종래에는 어려운데, 이는 그러한 데이터 세트들의 관련성이 사전에 이해되지 않았기 때문이다. 이미지 정보의 수동 수집 및 스토리지는 유리하게 디스플레이 시스템에 조기 시점들에 사용자의 분석들을 수행할 시점에 다시 도달하는 능력을 제공한다. 결과적으로, 조건의 진행의 보다 정확한 이해가 결정될 수 있다. 게다가, 일반적인 인구에 대한 노름들로부터 외삽하는 것이 아니라, 사용자에 대한 조건의 변경 레이트가 결정될 수 있으며, 이로써 조건의 진행을 보다 정확하게 투사하기 위한 이미지 정보를 제공할 수 있다.
[0817]
본원에서 개시된 테스트들 중 임의의 테스트가 수동적으로 수집된 이미지 정보를 유리하게 사용할 수 있다는 것이 인식될 것이다. 수동적으로 수집된 이미지 정보의 사용들의 다양한 비제한적 예들이 아래에서 주목된다.
[0818]
본원에서 개시된 바와 같이, 디스플레이 시스템은 바람직하게, 적절한 원근 조절-수렴 매칭을 제공하고, 복수의 깊이 평면들에 걸쳐 콘텐츠를 디스플레이할 수 있는데, 이는 디스플레이 시스템을 착용하는 동안 장기간의 편안함을 가능하게 할 수 있다. 결과적으로, 사용자는 특정 테스트 또는 분석이 구체적으로 수행되고 있지 않은 경우에도 연장된 지속기간들 동안 디스플레이 시스템을 착용할 수 있다. 이러한 장기 착용은 유리하게, 디스플레이 시스템이 사용자의 리플렉션들을 포함하여 사용자의 주변 환경의 이미지들의 대형 세트들을 계속해서 수집할 수 있게 한다.
[0819]
본원에서 개시된 많은 분석들에서, 사용자의 보다 최근의 이미지와 사용자의 조기 이미지 간의 비교가 이루어진다. 이러한 모든 분석들에 대해, 디스플레이 시스템은 사용자에게 비교의 기초를 제공하기 위해, 조기 이미지를 사용자에게 디스플레이하도록 구성될 수 있다. 이러한 초기 이미지들은 사용자가 시간이 지남에 따라 (상태의 개선이든 아니면 악화든) 사용자의 변경의 양을 이해하기 위한 기초를 제공할 수 있다. 일부 다른 실시예들에서, 이러한 분석들 중 임의의 분석을 위해, 디스플레이 시스템의 프로세서는 임의의 조기 이미지들을 사용자에게 디스플레이하지 않고 조기 이미지들 또는 데이터 및 나중의 이미지들 또는 데이터에 기반하여 간단히 비교를 하도록 구성될 수 있다.
[0820]
본원에서 개시된 분석들에서, 디스플레이 시스템은 사용자의 리플렉션을 이미징(예컨대, 외향 카메라를 사용)함으로써 사용자에 관한 데이터를 수집하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 사용자가 특정 테스트를 수행하기 위해 제공된 명령들에 대한 응답으로 특정 태스크 또는 움직임을 수행할 때 사용자의 리플렉션을 이미징하도록 구성될 수 있다. 본원에서 개시된 모든 분석들에 대해, 디스플레이 시스템은 분석의 결과들에 관한 예비 결론을 내리도록 구성될 수 있다는 것이 인식될 것이다. 이 예비 결론은 하나 또는 그 초과의 가능한 조건들이 존재한다는 결정을 포함할 수 있으며, 사용자가 하나 또는 그 초과의 가능한 조건들을 가질 확률들을 제공할 수 있다. 예비 결론 및/또는 임의의 관련된 확률들은 증강 현실 콘텐츠로서 그리고/또는 가청 공표들로서 뷰어에 제공될 수 있다. 디스플레이 시스템은 또한, 사용자에 의한 후속 조치에 대한 제안들을 제공하도록 그리고/또는 정보를 임상의에게 포워딩함으로써 후속 조치를 자동으로 개시하도록 구성될 수 있다. 일부 다른 실시예에서, 디스플레이 시스템은 어떠한 결정도 내리지 않고 추가 분석 및 결론들의 결정을 위해 임상의 및/또는 다른 컴퓨터 시스템에 단순히 이미지들을 송신하도록 구성될 수 있다. 또 다른 실시예들에서, 디스플레이 시스템은 예비 결론을 내리는 것 그리고 추가 분석을 위해 임상의 및/또는 다른 컴퓨터 시스템에 사용자의 이미지들을 송신하는 것 둘 모두를 하도록 구성될 수 있다.
[0821]
일부 분석들은 사용자가 예컨대, 그들이 자극을 인지하는지, 조건을 경험하는지 등에 관한 입력을 제공하도록 요구할 수 있다. 본원에서 개시된 분석들 중 임의의 분석의 경우, 입력은 사용자의 움직임(예컨대, 한 손 또는 두 손 모두를 드는 것), 가상 메뉴 아이템의 선택, 발화된 워드 또는 구 등의 형태를 취할 수 있다.
[0822]
위에서 설명된 다양한 실시예들에서, 디스플레이 시스템은 사용자가 리플렉션에서 확인되는 바와 같이, 소정의 신체적 증상들을 나타내는지 여부에 관한 결정들을 하도록 구성될 수 있다. 예컨대, 시스템은 사용자가 떨림들, 느린 움직임, 강성 및 자세 불안정성을 나타내는지 여부를 결정하도록 구성될 수 있다. 본원에서 설명된 바와 같이, 이러한 결정들은 디스플레이 시스템의 외향 카메라에 의해 캡처된 사용자의 리플렉션 이미지들을 분석함으로써 이루어질 수 있다. 일부 실시예들에서, 사용자 움직임에 관한 이러한 이미지-기반 결정들은 다른 센서들을 사용하여 검증될 수 있다. 예컨대, 가속도계 또는 IMU가 사용자 움직임들(예컨대, 떨림들, 느린 움직임, 강성 및/또는 자세 불안정성)의 발생을 확인하는 데 활용될 수 있다. 일부 실시예들에서, 리플렉션의 분석 및 특정 타입의 신체 움직임(예컨대, 비정상적 움직임들)의 초기 결정은 초기 결정을 검증하기 위해 부가 센서들로부터의 데이터가 분석되는 프로토콜을 개시할 수 있다. 일부 다른 실시예들에서, 다른 센서들로부터의 데이터가 먼저 분석되어 특정 타입들의 신체 움직임이 사용자에 의해 표시되는지 여부를 결정하고, 이어서 사용자의 리플렉션의 이미지들이 분석되어 신체 움직임들이 관찰가능한지를 결정하고 이로써 다른 센서들에 의해 제공된 초기 결론을 검증할 수 있다. 일부 실시예들에서, 디스플레이 시스템은 특정 타입들의 움직임이 발생하고 있는 다른 센서들에 의한 초기 결론에 기반하여 반사면으로 진행할 것을 사용자에게 프롬프팅하도록 구성될 수 있다. 이어서, 디스플레이 시스템은 사용자의 리플렉션의 이미지들을 캡처하고 이미지들을 분석하여 그러한 타입들의 움직임들이 실제로 발생하고 있는지 여부를 결정하고 이로써 초기 결론이 정확한지 여부를 검증하도록 구성될 수 있다. 게다가, 사용자의 신체의 일부분들의 움직임들을 검출함으로써 그리고/또는 사용자의 신체와 접촉하는 객체들(예컨대, 객체들, 이를테면 사용자에 의해 홀딩된 헤어 브러시들 또는 칫솔들)의 움직임들을 검출함으로써, 캡처된 이미지들에 기반한 움직임들의 발생의 결정들이 이루어질 수 있다는 것이 인식될 것이다. 예컨대, 헤어 브러시들의 움직임에서의 떨림들은 디스플레이 시스템에 의해 사용자의 손들의 떨림들을 표시하는 것으로 해석될 수 있다.
[0823]
본원에서 개시된 다양한 실시예들에서, 디스플레이 시스템은 사용자 또는 제3자들의 외관 및/또는 움직임들이 비정상적인 것으로 간주될 수 있는지 여부에 관한 결정들을 하도록 구성될 수 있다. 예컨대, 디스플레이 시스템은 움직임들, 얼굴 특징들 및/또는 다른 신체적 특징들이 비정상인지 여부를 결정하도록 구성될 수 있다. 일부 실시예들에서, 이러한 모든 비교들은 사용자 또는 제3자의 이미징된 리플렉션과 설정된 기준 또는 노름 간에 이루어질 수 있다. 이러한 노름들은 평균들 또는 모집단에 대한 데이터로부터 유도된 다른 메트릭들에 대응할 수 있다는 것이 인식될 것이다. 일부 실시예들에서, 노름은 그 사용자들의 리플렉션들에 관한 데이터를 포함하여, 정보를 공유하도록 구성된 복수의 디스플레이 시스템들 간의 공유된 데이터에 기반하여 결정될 수 있다. 게다가, 일부 실시예들에서, 디스플레이 시스템들은 사용자들에 관한 인구 통계학적 정보를 가질 수 있는데, 이는 사용자들이 그들 자신의 노름들 또는 평균들을 각각 갖는 다양한 부분 모집단들로 더 조직화될 수 있게 할 수 있다. 따라서 복수의 디스플레이 시스템들에 의해 캡처된 리플렉션들의 수가 주어지면, 디스플레이 시스템은 사용자 움직임들 및 신체 특징들에 관한 다양한 파라미터들에 대한 평균들을 제공하도록 구성될 수 있다. 평균들은 모집단 전체에 기반하여 결정될 수 있거나, 평균들은 다양한 인구 통계학적 파라미터들(예컨대, 연령, 성별, 선천적인 출생지 등)에 의해 정의된 부분 모집단에 대해 결정될 수 있다. 결과적으로, 다양한 노름들로부터의 사용자의 편차는 이러한 평균들과의 비교에 기반하여 결정될 수 있다.
[0824]
사용자의 이미지들이 활용되는 본원에서의 임의의 분석 중 임의의 분석에 대해, 이미지들은 사용자의 디스플레이 시스템 상의 외향 카메라를 사용하여 획득될 수 있다는 것이 인식될 것이다. 일부 다른 실시예들에서, 제1 사용자의 이미지들은 제2 사용자의 디스플레이 시스템의 외향 카메라에 의해 관찰된 제1 사용자의 리플렉션들에서 그 제2 사용자의 디스플레이 시스템에 의해 검출될 수 있다. 본원에서 논의된 바와 같이, 제1 사용자 및 제2 사용자의 디스플레이 시스템들은 정보, 이를테면 다른 사용자의 획득된 이미지들을 공유하도록 구성될 수 있다.
[0825]
본원에서 개시된 모든 분석들에 대해, 디스플레이 시스템은 분석의 결과들에 관한 예비 결론을 내리도록 구성될 수 있다는 것이 인식될 것이다. 이 예비 결론은 하나 또는 그 초과의 가능한 조건들이 존재한다는 결정을 포함할 수 있으며, 사용자가 하나 또는 그 초과의 가능한 조건들을 가질 확률들을 제공할 수 있다. 일부 다른 실시예에서, 디스플레이 시스템은 어떠한 결정도 내리지 않고 추가 분석 및 결론들의 결정을 위해 임상의 및/또는 다른 컴퓨터 시스템에 단순히 이미지들을 송신하도록 구성될 수 있다. 또 다른 실시예들에서, 디스플레이 시스템은 예비 결론을 내리는 것 그리고 추가 분석을 위해 임상의 및/또는 다른 컴퓨터 시스템에 사용자의 이미지들을 송신하는 것 둘 모두를 하도록 구성될 수 있다.
[0826]
디스플레이 시스템은 하나 또는 그 초과의 파장들의 전자기 방사를 캡처함으로써 리플렉션들의 이미지들을 캡처하도록 구성될 수 있다는 것이 또한 인식될 것이다. 바람직하게, 이 전자기 방사는 가시 광선을 포함한다. 전자기 방사의 다른 비제한적 예들은 적외선 광 및 자외선 광을 포함한다. 일부 실시예들에서, 리플렉션을 이미징하기 위해 다수 타입들의 전자기 방사(예컨대, 가시 광선, 적외선 또는 자외선 광 중 2개 또는 그 초과)가 디스플레이 시스템에 의해(예컨대, 도 1b의 외향 카메라(65)를 사용하여) 캡처될 수 있다. 디스플레이 시스템은 상이한 타입들의 분석들을 위해 상이한 타입들의 전자기 방사에 의해 형성된 이미지들을 평가하도록 구성될 수 있다. 예컨대, 가시 광선 이미지들이 분석되어 사용자의 얼굴의 표면 기형들을 검출할 수 있는 한편, 적외선 광 이미지들이 피부 표면 밑의 기형들을 검출하는 데 활용될 수 있다.
주변 환경에서 리플렉션들 및 객체들을 검출하기 위한 컴퓨터 비전
[0827]
위에서 논의된 바와 같이, 디스플레이 시스템은 사용자를 둘러싸는 환경에서 리플렉션들 및/또는 객체들을 검출하도록 구성될 수 있다. 검출은 본원에서 논의된 바와 같이 다양한 환경 센서들(예컨대, 카메라들 및/또는 오디오 센서들)을 포함하는 다양한 기법들을 사용하여 성취될 수 있다.
[0828]
일부 실시예들에서, 환경에 존재하는 자극은 컴퓨터 비전 기법들을 사용하여 검출될 수 있다. 예컨대, 본원에서 개시된 바와 같이, 디스플레이 시스템의 전방-지향 카메라는 주변 환경을 이미징하도록 구성될 수 있으며, 디스플레이 시스템은 이미지들에 대한 이미지 분석을 수행하여 주변 환경에서 다양한 피처들, 이를테면 리플렉션들의 존재를 결정하도록 구성될 수 있다. 디스플레이 시스템은 외향 이미징 시스템에 의해 포착된 이미지들을 분석하여 장면 재구성, 이벤트 검출, 비디오 추적, 객체 인식, 객체 포즈 추정, 학습, 인덱싱, 모션 추정 또는 이미지 복원 등을 수행할 수 있다. 다른 예들로서, 디스플레이 시스템은 얼굴 및/또는 눈 인식을 수행하여 사용자의 시야에서 얼굴들 및/또는 인간 눈들의 존재 및 위치를 결정하도록 구성될 수 있다. 이러한 태스크들을 수행하기 위해 하나 또는 그 초과의 컴퓨터 비전 알고리즘들이 사용될 수 있다. 컴퓨터 비전 알고리즘들의 비제한적 예들은: SIFT(scale-invariant feature transform), SURF(speeded up robust features), ORB(oriented FAST and rotated BRIEF), BRISK(binary robust invariant scalable keypoints), FREAK(fast retina keypoint), Viola-Jones 알고리즘, Eigenfaces 접근법, Lucas-Kanade 알고리즘, Horn-Schunk 알고리즘, 평균-시프트 알고리즘, vSLAM(visual simultaneous location and mapping) 기법들, 순차적 베이지안 추정기(예컨대, 칼만 필터, 확장 칼만 필터 등), 번들 조정, 적응형 임계화(및 다른 임계화 기법들), ICP(Iterative Closest Point), SGM(Semi Global Matching), SGBM(Semi Global Block Matching), 특징 포인트 히스토그램들, (이를테면 예컨대, 기계 벡터, k-최근접 이웃들 알고리즘, 나이브 베이지안, (컨볼루셔널 또는 심층 신경 네트워크를 포함하는) 신경 네트워크, 또는 다른 지도/비지도 모델들 등을 지원하는) 다양한 기계 학습 알고리즘들 등을 포함한다.
[0829]
이러한 컴퓨터 비전 기법들 중 하나 또는 그 초과는 또한 센서들에 의해 검출된 객체들 및/또는 리플렉션들의 다양한 특성들을 검출 및 결정하기 위해 다른 환경 센서들(이를테면, 예컨대 마이크로폰)로부터 포착된 데이터와 함께 사용될 수 있다.
[0830]
본원에서 논의된 바와 같이, 주변 환경에서의 리플렉션들 또는 객체들은 하나 또는 그 초과의 기준들에 기반하여 검출될 수 있다. 디스플레이 시스템이 컴퓨터 비전 알고리즘을 사용하여 또는 (디스플레이 시스템의 일부분일 수 있는 또는 아닐 수 있는) 하나 또는 그 초과의 센서 어셈블리들로부터 수신된 데이터를 사용하여 주변 환경에서 기준들의 존재 또는 부재를 검출할 때, 이어서 디스플레이 시스템은 리플렉션 및/또는 객체의 존재를 신호할 수 있다.
[0831]
부가적으로 또는 대안적으로, 디스플레이 시스템은 사용자의 행동들(또는 사용자들의 그룹의 행동들)에 기반하여 환경 내의 리플렉션 및/또는 객체의 존재를 식별하는 것을 학습할 수 있다. 예컨대, 디스플레이 시스템은 주변 환경에 존재하는 소정의 객체들에 사용자 또는 사용자들의 그룹의 소정의 액션들 또는 행동들을 연관시킴으로써 환경 내의 리플렉션 및/또는 객체의 존재를 식별하고 이 연관성을 사용하여 리플렉션 및/또는 객체가 존재하는지 여부를 예측하는 것을 학습할 수 있다.
기계 학습
[0832]
리플렉션들 및/또는 객체들의 존재를 식별하는 것을 학습하기 위해 다양한 기계 학습 알고리즘들이 사용될 수 있다. 일단 트레이닝되면, 기계 학습 알고리즘들이 디스플레이 시스템에 의해 저장될 수 있다. 기계 학습 알고리즘들의 일부 예들은 회귀 알고리즘들(이를테면, 예컨대, 보통의 최소 제곱 회귀), 인스턴스-기반 알고리즘들(이를테면, 예컨대, 학습 벡터 양자화), 결정 트리 알고리즘들(이를테면, 예컨대, 분류 및 회귀 트리들), 베이지안 알고리즘들(이를테면, 예컨대, 나이브 베이지안), 클러스터링 알고리즘들(이를테면, 예컨대, k-평균 클러스터링), 연관성 규칙 학습 알고리즘들(이를테면, 예컨대, 선험적 알고리즘들), 인공 신경 네트워크 알고리즘들(이를테면, 예컨대 퍼셉트론), 딥 러닝 알고리즘들(이를테면, 예컨대, 딥 볼츠만 머신, 또는 심층 신경 네트워크), 차원 감소 알고리즘들(이를테면, 예컨대, 주 컴포넌트 분석), 앙상블 알고리즘들(이를테면, 예컨대, 스택된 일반화) 및/또는 다른 기계 학습 알고리즘들을 포함하는 지도 또는 비지도 기계 학습 알고리즘들을 포함할 수 있다. 일부 실시예들에서, 개별적인 모델들은 개별적인 데이터 세트들에 대해 커스터마이징될 수 있다. 예컨대, 웨어러블 디바이스는 베이스 모델을 생성하거나 저장할 수 있다. 베이스 모델은 데이터 타입(예컨대, 특정 사용자), 데이터 세트(예컨대, 획득된 부가 이미지들의 세트), 조건부 상황들 또는 다른 변동들에 특정적인 부가 모델들을 생성하기 위한 시작 포인트로서 사용될 수 있다. 일부 실시예들에서, 디스플레이 시스템은 복수의 기법들을 활용하여, 어그리게이팅된 데이터의 분석을 위한 모델들을 생성하도록 구성될 수 있다. 다른 기법들은 사전-정의된 임계치들 또는 데이터 값들을 사용하는 것을 포함할 수 있다.
[0833]
리플렉션 및/또는 객체를 검출하기 위한 기준들은 하나 또는 그 초과의 임계 조건들을 포함할 수 있다. 만약 환경 센서에 의해 포착된 데이터의 분석이 임계 조건이 통과됨을 표시한다면, 디스플레이 시스템은 주변 환경 내의 리플렉션 및/또는 객체의 존재의 검출을 표시하는 신호를 제공할 수 있다. 임계 조건은 양적 그리고/또는 질적 측정을 수반할 수 있다. 예컨대, 임계 조건은 리플렉션 및/또는 객체가 환경에 존재할 가능성과 연관된 스코어 또는 백분율을 포함할 수 있다. 디스플레이 시스템은 환경 센서의 데이터로부터 계산된 스코어를 임계 스코어와 비교할 수 있다. 만약 스코어가 임계 레벨보다 더 높다면, 디스플레이 시스템은 리플렉션 및/또는 객체의 존재를 검출할 수 있다. 일부 다른 실시예들에서, 디스플레이 시스템은 만약 스코어가 임계치보다 더 낮다면 환경 내의 리플렉션 및/또는 객체의 존재를 신호할 수 있다. 일부 실시예들에서, 임계 조건은 사용자의 감정 상태 및/또는 사용자의 주변 환경과의 상호작용들에 기반하여 결정될 수 있다.
[0834]
일부 실시예들에서, 임계 조건들, 기계 학습 알고리즘들 또는 컴퓨터 비전 알고리즘들은 특정 콘텍스트에 대해 특화될 수 있다. 예컨대, 리테일 콘텍스트에서, 컴퓨터 비전 알고리즘은 리플렉션들 및/또는 객체들에 대한 소정의 응답들을 검출하도록 특화될 수 있다. 다른 예로서, 디스플레이 시스템은 얼굴 인식 알고리즘들 및/또는 이벤트 추적 알고리즘들을 실행하여 리플렉션 및/또는 객체에 대한 사용자의 반응을 감지할 수 있다.
다른 고려사항들
[0835]
본원에서 논의된 바와같이, 본원에서 설명되고 그리고/또는 도면들에 도시된 프로세스들, 방법들 및 알고리즘들 각각은 하나 이상의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 애플리케이션-특정 회로 및/또는 특수 및 특정 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고 전체적으로 또는 부분적으로 이 코드 모듈에 의해 자동화될 수 있다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들) 또는 특수목적 컴퓨터들, 특수 목적 회로들 등을 포함할 수 있다. 코드 모듈은 실행가능 프로그램으로 컴파일링되고 링크되거나, 동적 링크 라이브러리에 설치되거나 또는 해석형 프로그래밍 언어로 작성될 수 있다. 일부 실시예들에서, 특정 동작들 및 방법들은 주어진 기능에 특정한 회로에 의해 수행될 수 있다.
[0836]
더욱이, 본 개시내용의 기능성의 특정 실시예들은 예컨대 실질적으로 실시간으로 결과들을 제공하기 위하여 수반되는 계산량 또는 계산의 복잡성으로 인해 충분히 수학적으로, 계산적으로 또는 기술적으로 복잡하여, 애플리케이션-특정 하드웨어 또는 하나 이상의 물리적 컴퓨팅 디바이스들(적절히 전문화된 실행가능 명령들을 활용함)이 그 기능성을 수행하는데 필요할 수 있다. 예컨대, 비디오는 각각이 수백만 픽셀들을 갖는 많은 프레임을 포함할 수 있으며, 상업적으로 적정한 시간량에서 원하는 이미지 프로세싱 태스크 또는 애플리케이션을 제공하기 위해 비디오 데이터를 처리하는데 특수하게 프로그래밍된 컴퓨터 하드웨어가 필요하다.
[0837]
코드 모듈들 또는 임의의 타입의 데이터는 하드 드라이브들, 고체상태 메모리, 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM), 광 디스크, 휘발성 또는 비-휘발성 스토리지, 전술한 것들의 조합들 등을 포함하는 물리적 컴퓨터 스토리지와 같은 임의의 타입의 비-일시적 컴퓨터-판독가능 매체상에 저장될 수 있다. 일부 실시예들에서, 비-일시적 컴퓨터-판독가능 매체는 로컬 프로세싱 및 데이터 모듈(70), 원격 프로세싱 모듈(72) 및 원격 데이터 저장소(74) 중 하나 또는 그 초과의 일부분일 수 있다. 방법들 및 모듈들 (또는 데이터)은 또한 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독가능 송신 매체들을 통해 일반화된 데이터 신호들로서 (예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 부분으로서) 송신될 수 있고 (예컨대 단일 또는 다중화된 아날로그 신호의 부분으로서 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태를 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 영구적으로 또는 그렇지 않으면 임의의 타입의 비-일시적 유형의 컴퓨터 스토리지에 저장될 수 있거나 또는 컴퓨터-판독가능 송신 매체를 통해 통신될 수 있다.
[0838]
본원에서 설명되고 그리고/또는 첨부된 도면들에 도시된 임의의 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 프로세스에서 특정 기능들(예컨대, 논리적 또는 산술적) 또는 단계들을 구현하기 위한 하나 이상의 실행가능 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드의 부분들을 잠재적으로 표현하는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 결합되거나, 재배열되거나, 본원에서 제공된 예시적인 예들에 추가되거나 또는 이들로부터 삭제되거나 또는 수정되거나 또는 그렇지 않으면 변경될 수 있다. 일부 실시예들에서, 부가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에서 설명된 기능성들의 일부 또는 전부를 수행할 수 있다. 본원에서 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않으며, 이에 관한 블록들, 단계들 또는 상태들은 예컨대 직렬로, 병렬로 또는 임의의 다른 방식으로 적절한 다른 시퀀시들로 수행될 수 있다. 개시된 예시적인 실시예들에 태스크들 또는 이벤트들이 추가되거나 또는 이들로부터 삭제될 수 있다. 게다가, 본원에서 설명된 실시예들에서 다양한 시스템 컴포넌트들의 구분은 예시적인 목적을 위한 것이며, 모든 실시예들에서 이러한 구분을 요구하는 것으로 이해되지 않아야 한다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들이 일반적으로 단일 컴퓨터 제품에 함께 통합되거나 또는 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다.
[0839]
본 발명의 다양한 예시적인 실시예들이 본원에서 설명된다는 것이 또한 이해될 것이다. 이들 실시예들은 비-제한적인 의미로 참조된다. 이들 예들은 본 발명의 더 광범위한 적용가능한 양상들을 예시하도록 제공된다. 설명된 발명에 대해 다양한 변형들이 이루어질 수 있으며 본 발명의 진정한 사상 및 범위로부터 벗어나지 않고 균등물들로 대체될 수 있다.
[0840]
예컨대, 다수의 깊이 평면들에 걸쳐 이미지들을 제공하는 AR 디스플레이들로 유리하게 활용되는 반면에, 본원에서 개시된 증강 현실 콘텐츠는 또한 단일 깊이 평면상에 이미지들을 제공하는 시스템들에 의해 디스플레이될 수 있다.
[0841]
본원에서 개시된 다양한 경고들은 텍스트, 가청 신호들, 플래싱 박스들 및 햅틱 피드백 중 하나 또는 그 초과를 포함할 수 있다는 것이 또한 인식될 것이다.
[0842]
게다가, 특정 상황, 자료, 물질의 구성, 프로세스, 프로세스 동작(들) 또는 단계(들)를 본 발명의 목적(들), 사상 또는 범위에 적응시키기 위한 많은 수정들이 이루어질 수 있다. 또한, 본원에서 설명되고 예시된 개별적인 변동들 각각이 본 발명들의 범위 또는 사상으로부터 벗어나지 않고 다른 여러 실시예들 중 임의의 실시예의 특징들로부터 용이하게 분리되거나 또는 이들과 결합될 수 있는 이산 컴포넌트들 및 특징들을 가진다는 것이 당업자에 의해 인식될 것이다. 이러한 모든 수정들은 본 개시내용과 연관된 청구항들의 범위내에서 이루어지는 것으로 의도된다.
[0843]
본 발명은 본 디바이스들을 사용하여 수행될 수 있는 방법들을 포함한다. 방법들은 이러한 적절한 디바이스를 제공하는 동작을 포함할 수 있다. 이러한 프로비젼은 사용자에 의해 수행될 수 있다. 다시 말해서, "제공하는"은 단순히 본 방법으로 필요한 디바이스들을 제공하기 위하여 사용자가 획득하고, 액세스하고, 접근하며, 포지셔닝하고, 셋-업하고, 활성화하며, 파워-업하고 또는 동작할 것을 요구한다. 본원에서 인용된 방법들은 논리적으로 가능한 인용된 이벤트들의 임의의 순서 뿐만아니라 이벤트의 인용된 순서로 수행될 수 있다.
[0844]
본 발명의 예시적인 양상들은 자료 선택 및 제조에 관한 세부사항들과 함께 앞서 제시되었다. 본 발명의 다른 세부사항들에 대하여, 이들 세부사항들은 당업자에게 일반적으로 알려지거나 또는 당업자에 의해 인식될 뿐만아니라 앞서 참조된 특허들과 관련하여 인식될 것이다. 이들은 일반적으로 또는 논리적으로 사용되는 부가적인 동작들 측면에서 본 발명의 방법-기반 양상들과 관련하여 진정으로 유지될 수 있다.
[0845]
게다가, 비록 본 발명이 다양한 특징들을 선택적으로 통합한 여러 예들을 참조로 하여 설명될지라도, 본 발명은 본 발명의 각각의 변형과 관련하여 고찰되는 것으로 설명 또는 표시되는 것으로 제한되지 않아야 한다. 설명된 발명에 대해 다양한 변형들이 이루어질 수 있으며, 본 발명의 사상 및 범위로부터 벗어나지 않고 균등물들(일부 간략화를 위하여 포함되지 않거나 또는 본원에서 인용되는 던지간에)로 대체될 수 있다. 게다가, 값들의 범위가 제공되는 경우에, 그 범위의 상한치와 하한치 간의 모든 각각의 중간 값 및 그 언급된 범위의 임의의 다른 언급된 값 또는 중간 값이 본 발명의 범위내에 포함된다는 것이 이해된다.
[0846]
또한, 설명된 본 발명의 변형들의 임의의 선택적인 특징이 독립적으로 또는 본원에서 설명된 특징들 중 하나 또는 그 초과의 특징과 결합하여 제시되고 청구될 수 있다는 것이 고찰된다. 단수 항목의 참조는 제시된 동일한 항목들의 복수가 존재할 가능성을 포함한다. 더 상세하게, 본원에서 그리고 본원과 연관된 청구항들에서 사용되는 단수는 특별히 달리 언급하지 않는 한 복수를 포함한다. 다시 말해서, 단수는 상세한 설명 뿐만아니라 본 개시내용과 연관된 청구항들의 항목 중 "적어도 하나"를 허용한다. 이러한 청구항들은 임의의 선택적인 엘리먼트를 배제하는 것으로 드래프트될 수 있다는 것이 추가로 주목되어야 한다. 따라서, 이러한 언급은 부정적인 언급의 사용 또는 청구항 엘리먼트들의 인용과 관련하여 "오로지", "단지" 등과 같은 그러한 배타적인 용어의 사용에 대한 선행 기반으로서 역할을 하는 것으로 의도된다.
[0847]
이러한 배타적인 용어의 사용 없이, 본 개시내용과 연관된 청구항들에서 "포함하는"이라는 용어는 주어진 수의 엘리먼트들이 이러한 청구항들에서 나열되는지 여부에 관계 없이 임의의 부가적인 엘리먼트의 포함을 허용할 것이거나 또는 특징의 추가는 이러한 청구항들에서 제시된 엘리먼트의 성질을 변환하는 것으로 간주될 수 있다. 본원에서 특별히 정의되는 것을 제외하고, 본원에서 사용되는 모든 기술적 및 과학적 용어들은 청구항 유효성을 유지하면서 가능한 일반적으로 이해되는 의미로 넓게 주어져야 한다.
[0848]
본 발명의 범위는 제공된 예들 및/또는 본 명세서로 제한되는 것이 아니라 오히려 본 개시내용과 연관된 청구항 언어의 범위에 의해서만 제한되어야 한다.
Claims (29)
- 디스플레이 시스템으로서,
사용자에게 광을 지향시키도록 구성된 광 재지향 피처들을 포함하는 디스플레이 영역을 포함하는 웨어러블 디스플레이 디바이스 ― 상기 디스플레이 영역은 적어도 부분적으로 투명하여, 상기 디스플레이 영역을 통해 주변 환경의 뷰를 제공하도록 구성됨 ―;
하나 또는 그 초과의 하드웨어 프로세서들; 및
컴퓨터-실행가능 명령들을 포함하는 비-일시적 컴퓨터-판독가능 저장 매체를 포함하며, 상기 컴퓨터-실행가능 명령들은, 상기 하나 또는 그 초과의 하드웨어 프로세서들에 의해 실행될 때, 상기 하나 이상의 하드웨어 프로세서들로 하여금, 상기 디스플레이 영역을 통해 리플렉션이 사용자의 시야내에 있음을 결정하는 동작을 포함하는 동작들을 수행하게 하는, 디스플레이 시스템. - 제1 항에 있어서,
상기 디스플레이 영역은 복수의 깊이 평면들상에 복수의 이미지들을 출력하도록 구성된 광 재지향 피처들의 복수의 세트들을 포함하며, 광 지향 피처들의 각각의 세트는 상기 복수의 깊이 평면들 중 하나의 깊이 평면상에 이미지를 형성하기 위하여 광을 출력하도록 구성되는, 디스플레이 시스템. - 제2 항에 있어서,
상기 디스플레이 디바이스는 도파관들의 스택을 포함하며, 상기 도파관들의 적어도 일부분은 상기 광 재지향 피처들을 포함하며, 상기 도파관들은 광 소스로부터 광을 인-커플링(in-couple)하고 광을 출력하여 상기 복수의 이미지들을 형성하기 위하여 광을 아웃커플링(outcouple)하도록 구성되며, 각각의 도파관은 단일의 대응하는 깊이 평면에 대한 이미지들을 출력하도록 구성되는, 디스플레이 시스템. - 제1 항에 있어서,
상기 디스플레이 영역에서 증강 현실 콘텐츠를 후속하여 디스플레이하는 동작을 더 포함하며, 상기 증강 현실 콘텐츠는 상기 리플렉션을 증강시키는, 디스플레이 시스템. - 제4 항에 있어서,
상기 디스플레이 디바이스는 사용자 응시 지속기간 또는 동공 면적 중 하나 또는 둘 모두를 검출하도록 구성된 카메라를 포함하며, 증강 현실 콘텐츠를 후속하여 디스플레이하는 동작은 사용자 응시 지속기간 또는 동공 면적 중 하나 또는 둘 모두에 의존하여 상기 증강 현실 콘텐츠의 타입 및 타이밍 중 하나 또는 둘 모두를 수정하는 동작을 포함하는, 디스플레이 시스템. - 제4 항에 있어서,
상기 동작들은 상기 사용자의 아이덴티티를 결정하는 동작을 더 포함하며, 증강 현실 콘텐츠를 후속하여 디스플레이하는 동작은 상기 사용자에 고유한 정보를 디스플레이하는 동작을 포함하는, 디스플레이 시스템. - 제4 항에 있어서,
상기 동작들은 증강 현실 콘텐츠를 후속하여 디스플레이하기 전에 상기 사용자의 위치를 결정하는 동작을 더 포함하며, 증강 현실 콘텐츠를 후속하여 디스플레이하는 동작은 상기 사용자의 위치에 특정한 증강 현실 콘텐츠를 디스플레이하는 동작을 포함하는, 디스플레이 시스템. - 제7 항에 있어서,
증강 현실 콘텐츠를 디스플레이하는 동작은 사용자가 위치하는 스토어(store) 또는 스토어의 일부로부터 할인판매(sales offers)를 디스플레이하는 동작을 포함하는, 디스플레이 시스템. - 제4 항에 있어서,
상기 증강 현실 콘텐츠는 상기 사용자의 리플렉션을 오버레이하는 의류의 이미지들을 포함하는, 디스플레이 시스템. - 제4 항에 있어서,
상기 증강 현실 콘텐츠는 반복-사용(recurring-use) 제품들을 보충하기 위한 경고를 포함하는, 디스플레이 시스템. - 제4 항에 있어서,
상기 동작들은,
연장된 시간 인터벌에 거쳐 상기 사용자의 하나 또는 그 초과의 이미지들을 캡처하는 동작;
상기 이미지들로부터 유도된 이미지들 또는 데이터를 저장하는 동작; 및
저장된 이미지들 또는 데이터와 현재 이미지간의 비교를 수행하는 동작을 더 포함하며, 상기 증강 현실 콘텐츠를 후속하여 디스플레이하는 동작은 상기 비교의 결과들을 디스플레이하는 동작을 포함하는, 디스플레이 시스템. - 제11 항에 있어서,
상기 비교의 결과들을 디스플레이하는 동작은 상기 사용자의 하나 또는 그 초과의 조기(earlier) 이미지들을 디스플레이하는 동작을 포함하는, 디스플레이 시스템. - 제11 항에 있어서,
비교를 수행하는 동작은 건강 분석을 수행하는 동작을 포함하는, 디스플레이 시스템. - 제13 항에 있어서,
건강 분석을 수행하는 동작은 신체 형상, 피부 창백함, 피부 특징들의 변화를 검출하는 동작을 포함하는, 디스플레이 시스템. - 제4 항에 있어서,
상기 동작들은 스케일, 온도계, 혈압계 및 심박수 모니터 중 하나 또는 그 초과로부터의 데이터에 액세스하는 동작을 더 포함하는, 디스플레이 시스템. - 제15 항에 있어서,
증강 현실 콘텐츠를 후속하여 디스플레이하는 동작은 액세스된 데이터 또는 상기 액세스된 데이터로부터 유도된 정보 중 하나 또는 둘 모두를 디스플레이하는 동작을 포함하는, 디스플레이 시스템. - 제1 항에 있어서,
상기 동작들은,
상기 사용자의 활동들에 관한 정보를 수집하는 동작; 및
상기 사용자의 리플렉션을 제공하는 반사면과 연관된 수신 스테이션에 상기 사용자의 활동들에 관한 정보를 송신하는 동작을 더 포함하는, 디스플레이 시스템. - 제1 항에 있어서,
상기 동작들은,
상기 사용자의 아이덴티티를 결정하는 동작;
상기 사용자의 구매 또는 브라우징 이력에 액세스하는 동작; 및
상기 구매 또는 브라우징 이력에 기반하여 할인판매를 생성하는 동작을 더 포함하는, 디스플레이 시스템. - 제1 항에 있어서,
상기 리플렉션이 사용자의 시야내에 있음을 결정하는 동작은 상기 리플렉션의 이미지를 분석하는 동작 및 상기 리플렉션의 지향성 피처들이 반전되는지 여부를 결정하는 동작을 포함하는, 디스플레이 시스템. - 제1 항에 있어서,
상기 사용자는 상기 리플렉션에 있으며,
상기 동작들은,
상기 사용자의 리플렉션의 이미지를 캡처하는 동작; 및
상기 사용자의 캡처된 이미지에 기반하여 건강 분석을 수행하는 동작을 더 포함하는, 디스플레이 시스템. - 제20 항에 있어서,
상기 건강 분석은 신경 테스트를 포함하는, 디스플레이 시스템. - 제20 항에 있어서,
상기 건강 분석은 뇌신경 테스트, 운동신경 검사, 관찰가능한 신체 기형들의 검사, 근육 긴장도 및 부피의 검사, 균육들의 기능적 테스팅, 개인 근육 그룹들의 세기의 테스트, 반사 테스트, 조정력 테스트, 및 걸음걸이 테스트 중 하나 또는 그 초과를 포함하는, 디스플레이 시스템. - 이미지들을 디스플레이하기 위한 방법으로서,
사용자에게 광을 지향시키도록 구성된 광 재지향 피처들을 포함하는 디스플레이 영역 ― 상기 디스플레이 영역은 적어도 부분적으로 투명하여, 상기 디스플레이 영역을 통해 주변 환경의 뷰를 제공하도록 구성됨 ―을 포함하는 웨어러블 디스플레이 디바이스를 제공하는 단계; 및
상기 디스플레이 영역을 통해 리플렉션이 사용자의 시야내에 있음을 결정하는 단계를 포함하는, 이미지들을 디스플레이하기 위한 방법. - 제23 항에 있어서,
상기 사용자는 상기 리플렉션내에 있으며;
상기 사용자의 리플렉션의 이미지를 캡처하는 단계; 및
상기 사용자의 캡처된 이미지에 기반하여 상기 사용자의 건강 분석을 수행하는 단계를 더 포함하는, 이미지들을 디스플레이하기 위한 방법. - 제23 항에 있어서,
광학 또는 청각적 신호들 중 하나 또는 둘 모두를 상기 사용자에게 제공함으로써 상기 사용자를 반사면으로 유인하는 단계를 더 포함하는, 이미지들을 디스플레이하기 위한 방법. - 제23 항에 있어서,
상기 디스플레이 영역에서 증강 현실 콘텐츠를 후속하여 디스플레이하는 단계를 더 포함하며, 상기 증강 현실 콘텐츠는 상기 리플렉션을 증강시키는, 이미지들을 디스플레이하기 위한 방법. - 제26 항에 있어서,
증강 현실 콘텐츠를 후속하여 디스플레이하기 전에 상기 사용자의 위치를 결정하는 단계를 더 포함하며, 상기 증강 현실 콘텐츠를 후속하여 디스플레이하는 단계는 상기 사용자의 위치에 특정한 증강 현실 콘텐츠를 디스플레이하는 단계를 포함하는, 이미지들을 디스플레이하기 위한 방법. - 제27 항에 있어서,
증강 현실 콘텐츠를 디스플레이하는 단계는 상기 사용자가 위치한 스토어 또는 스토어의 일부분으로부터의 할인판매를 디스플레이하는 단계를 포함하는, 이미지들을 디스플레이하기 위한 방법. - 제27 항에 있어서,
상기 증강 현실 콘텐츠는 상기 사용자의 리플렉션을 오버레이하는 의류의 이미지들을 포함하는, 이미지들을 디스플레이하기 위한 방법.
Applications Claiming Priority (19)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662280519P | 2016-01-19 | 2016-01-19 | |
| US62/280,519 | 2016-01-19 | ||
| US201662294147P | 2016-02-11 | 2016-02-11 | |
| US62/294,147 | 2016-02-11 | ||
| US201662315456P | 2016-03-30 | 2016-03-30 | |
| US62/315,456 | 2016-03-30 | ||
| US201662343636P | 2016-05-31 | 2016-05-31 | |
| US201662343583P | 2016-05-31 | 2016-05-31 | |
| US62/343,636 | 2016-05-31 | ||
| US62/343,583 | 2016-05-31 | ||
| US201662366533P | 2016-07-25 | 2016-07-25 | |
| US62/366,533 | 2016-07-25 | ||
| US201662440336P | 2016-12-29 | 2016-12-29 | |
| US62/440,336 | 2016-12-29 | ||
| US201762445630P | 2017-01-12 | 2017-01-12 | |
| US62/445,630 | 2017-01-12 | ||
| US15/409,430 | 2017-01-18 | ||
| US15/409,430 US10430985B2 (en) | 2014-03-14 | 2017-01-18 | Augmented reality systems and methods utilizing reflections |
| PCT/US2017/014180 WO2017127571A1 (en) | 2016-01-19 | 2017-01-19 | Augmented reality systems and methods utilizing reflections |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180104051A true KR20180104051A (ko) | 2018-09-19 |
Family
ID=59362104
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020187023833A KR20180104051A (ko) | 2016-01-19 | 2017-01-19 | 리플렉션들을 활용하는 증강 현실 시스템들 및 방법들 |
Country Status (10)
| Country | Link |
|---|---|
| US (2) | US11244485B2 (ko) |
| EP (1) | EP3405830A4 (ko) |
| JP (3) | JP6952713B2 (ko) |
| KR (1) | KR20180104051A (ko) |
| CN (2) | CN108780228B (ko) |
| AU (2) | AU2017210289B2 (ko) |
| CA (1) | CA3011644A1 (ko) |
| IL (2) | IL260604B2 (ko) |
| NZ (1) | NZ744383A (ko) |
| WO (1) | WO2017127571A1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200035696A (ko) * | 2018-09-27 | 2020-04-06 | 주식회사 더픽트 | 가상현실 영상 편집 시스템 및 방법 |
| WO2021086018A1 (ko) * | 2019-10-28 | 2021-05-06 | 네이버랩스 주식회사 | 3차원 증강현실 표시 방법 |
| WO2022181996A1 (ko) * | 2021-02-26 | 2022-09-01 | 삼성전자 주식회사 | 증강 현실 장치 및 증강 현실 장치와 상호작용하는 전자 장치 |
Families Citing this family (97)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8944313B2 (en) | 2012-06-29 | 2015-02-03 | Honeywell International Inc. | Computer configured to display multimedia content |
| US10430985B2 (en) | 2014-03-14 | 2019-10-01 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
| JP6952713B2 (ja) | 2016-01-19 | 2021-10-20 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 反射を利用する拡張現実システムおよび方法 |
| EP4130942A1 (en) | 2016-04-26 | 2023-02-08 | Magic Leap, Inc. | Electromagnetic tracking with augmented reality systems |
| KR101904453B1 (ko) * | 2016-05-25 | 2018-10-04 | 김선필 | 인공 지능 투명 디스플레이의 동작 방법 및 인공 지능 투명 디스플레이 |
| EP3519878B1 (en) * | 2016-09-28 | 2023-04-19 | Magic Leap, Inc. | Face model capture by a wearable device |
| KR20200036811A (ko) * | 2017-07-27 | 2020-04-07 | 소니 주식회사 | 정보 처리 시스템, 정보 처리 장치, 정보 처리 방법 및 기록 매체 |
| KR102495234B1 (ko) * | 2017-09-06 | 2023-03-07 | 삼성전자주식회사 | 전자 장치, 그 제어 방법 및 컴퓨터 판독가능 기록 매체 |
| WO2019082635A1 (ja) * | 2017-10-27 | 2019-05-02 | パラマウントベッド株式会社 | 動画像記録システム |
| KR102366242B1 (ko) * | 2017-12-07 | 2022-02-23 | 삼성전자주식회사 | 미러 디스플레이 시스템에서 객체의 깊이를 제어하기 위한 방법 |
| KR102523433B1 (ko) * | 2018-01-10 | 2023-04-19 | 삼성전자주식회사 | 깊이 정보를 결정하는 방법 및 광학 시스템 |
| US11210961B2 (en) | 2018-03-12 | 2021-12-28 | Neurological Rehabilitation Virtual Reality, LLC | Systems and methods for neural pathways creation/reinforcement by neural detection with virtual feedback |
| JP7088721B2 (ja) * | 2018-03-30 | 2022-06-21 | 東京ガスｉネット株式会社 | 情報処理システム及びプログラム |
| JP2019179540A (ja) | 2018-03-30 | 2019-10-17 | 東京ガスｉネット株式会社 | 情報処理システム及びプログラム |
| US10318811B1 (en) * | 2018-04-22 | 2019-06-11 | Bubbler International Llc | Methods and systems for detecting objects by non-visible radio frequencies and displaying associated augmented reality effects |
| WO2019209265A1 (en) * | 2018-04-24 | 2019-10-31 | Hewlett-Packard Development Company, L.P. | Animated gazes on head mounted displays |
| US10705596B2 (en) * | 2018-05-09 | 2020-07-07 | Neurolofical Rehabilitation Virtual Reality, LLC | Systems and methods for responsively adaptable virtual environments |
| US11032662B2 (en) | 2018-05-30 | 2021-06-08 | Qualcomm Incorporated | Adjusting audio characteristics for augmented reality |
| US11432602B2 (en) * | 2018-06-14 | 2022-09-06 | David M. CAVENDER | Nighttime hand signal system and methods of use thereof |
| US10540797B1 (en) | 2018-08-02 | 2020-01-21 | Disney Enterprises, Inc. | Image customization using a persona |
| EP3621276A1 (en) * | 2018-09-05 | 2020-03-11 | Altoida Ltd. | Apparatus, method and program for determining a cognitive state of a user of a mobile device |
| US20200082576A1 (en) * | 2018-09-11 | 2020-03-12 | Apple Inc. | Method, Device, and System for Delivering Recommendations |
| US11187914B2 (en) | 2018-09-28 | 2021-11-30 | Apple Inc. | Mirror-based scene cameras |
| US11448886B2 (en) | 2018-09-28 | 2022-09-20 | Apple Inc. | Camera system |
| US10554931B1 (en) | 2018-10-01 | 2020-02-04 | At&T Intellectual Property I, L.P. | Method and apparatus for contextual inclusion of objects in a conference |
| WO2020074596A1 (en) * | 2018-10-09 | 2020-04-16 | Brian Francis Mooney | Coaching, assessing or analysing unseen processes in intermittent high-speed human motions, including golf swings |
| CN109613790A (zh) * | 2018-11-19 | 2019-04-12 | 成都理想境界科技有限公司 | 一种激光投影光学模组及近眼显示设备 |
| US10803669B1 (en) | 2018-12-11 | 2020-10-13 | Amazon Technologies, Inc. | Rule-based augmentation of a physical environment |
| US10848335B1 (en) * | 2018-12-11 | 2020-11-24 | Amazon Technologies, Inc. | Rule-based augmentation of a physical environment |
| US11620794B2 (en) * | 2018-12-14 | 2023-04-04 | Intel Corporation | Determining visually reflective properties of physical surfaces in a mixed reality environment |
| CN109739352A (zh) * | 2018-12-27 | 2019-05-10 | 斑马网络技术有限公司 | 景观图像的展示方法及设备 |
| US11683464B2 (en) | 2018-12-28 | 2023-06-20 | Canon Kabushiki Kaisha | Electronic device, control method, and non-transitorycomputer readable medium |
| US11200656B2 (en) * | 2019-01-11 | 2021-12-14 | Universal City Studios Llc | Drop detection systems and methods |
| JP2019106192A (ja) * | 2019-01-17 | 2019-06-27 | 株式会社コロプラ | ヘッドマウントデバイスを介して情報を提供するためにコンピュータによって実行される方法、当該方法をコンピュータに実行させるプログラム、および、情報処理装置 |
| EP3690609B1 (en) * | 2019-01-30 | 2021-09-22 | DENTSPLY SIRONA Inc. | Method and system for controlling dental machines |
| US11067806B2 (en) | 2019-03-19 | 2021-07-20 | Nvidia Corp. | Foveated display for augmented reality |
| CN110111873B (zh) * | 2019-03-20 | 2023-10-20 | 中国科学院心理研究所 | 一种基于成瘾记忆-动机诱因模型的vr线索诱发成瘾者渴求反应测量系统 |
| CN110135244B (zh) * | 2019-04-02 | 2020-11-17 | 杭州电子科技大学 | 一种基于脑-机协同智能的表情识别方法 |
| US11393197B2 (en) * | 2019-05-03 | 2022-07-19 | Cvent, Inc. | System and method for quantifying augmented reality interaction |
| US11878212B2 (en) * | 2019-05-09 | 2024-01-23 | Patrick Louis Burton | Martial arts training system |
| KR102054661B1 (ko) * | 2019-05-20 | 2020-01-23 | 주식회사 비엘라이트 | 4d 의자를 이용한 전정기관 훈련 시스템 |
| CN110191365A (zh) * | 2019-05-30 | 2019-08-30 | 深圳创维－Rgb电子有限公司 | 一种用于动作模仿的方法、存储介质及系统 |
| US11307650B1 (en) * | 2019-06-25 | 2022-04-19 | Apple Inc. | Modifying virtual content to invoke a target user state |
| US11036987B1 (en) | 2019-06-27 | 2021-06-15 | Facebook Technologies, Llc | Presenting artificial reality content using a mirror |
| US11055920B1 (en) * | 2019-06-27 | 2021-07-06 | Facebook Technologies, Llc | Performing operations using a mirror in an artificial reality environment |
| US11145126B1 (en) | 2019-06-27 | 2021-10-12 | Facebook Technologies, Llc | Movement instruction using a mirror in an artificial reality environment |
| CN110310373B (zh) * | 2019-06-28 | 2023-12-12 | 京东方科技集团股份有限公司 | 一种增强现实设备的图像处理方法和增强现实设备 |
| US11450151B2 (en) * | 2019-07-18 | 2022-09-20 | Capital One Services, Llc | Detecting attempts to defeat facial recognition |
| CN110503487A (zh) * | 2019-08-28 | 2019-11-26 | 上海丙晟科技有限公司 | 一种基于路径收敛的购物中心数据打通方法 |
| CN110580115B (zh) * | 2019-09-19 | 2023-07-25 | 京东方科技集团股份有限公司 | 一种镜面显示装置及控制方法 |
| KR20210039875A (ko) * | 2019-10-02 | 2021-04-12 | 주식회사 모아이스 | 골프 스윙에 관한 정보를 추정하기 위한 방법, 디바이스 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
| CN110794966B (zh) * | 2019-10-28 | 2024-04-12 | 京东方科技集团股份有限公司 | Ar显示系统及方法 |
| CN112788443B (zh) * | 2019-11-11 | 2023-05-05 | 北京外号信息技术有限公司 | 基于光通信装置的交互方法和系统 |
| US11269183B2 (en) * | 2019-11-14 | 2022-03-08 | Microsoft Technology Licensing, Llc | Display information on a head-mountable apparatus corresponding to data of a computing device |
| KR20220106770A (ko) | 2019-12-03 | 2022-07-29 | 라이트 필드 랩 인코포레이티드 | 비디오 게임 및 e스포츠를 위한 라이트필드 디스플레이 시스템 |
| US11707694B2 (en) * | 2019-12-06 | 2023-07-25 | Virginie Mascia | Message delivery apparatus and methods |
| US11024053B1 (en) * | 2019-12-20 | 2021-06-01 | NEX Team Inc. | User analytics using a mobile device camera and associated systems and methods |
| US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
| US11269407B2 (en) * | 2020-01-30 | 2022-03-08 | Dell Products L.P. | System and method of determining attributes of a workspace configuration based on eye gaze or head pose |
| US11232637B2 (en) | 2020-02-17 | 2022-01-25 | Wipro Limited | Method and system for rendering content in low light condition for field assistance |
| US11758360B2 (en) * | 2020-02-28 | 2023-09-12 | Comcast Cable Communications, Llc | Methods, systems, and apparatuses for presence detection |
| US20210286502A1 (en) * | 2020-03-16 | 2021-09-16 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for Providing Computer-Generated Experiences |
| CN112669464A (zh) * | 2020-03-20 | 2021-04-16 | 华为技术有限公司 | 一种分享数据的方法及设备 |
| CN111641898B (zh) * | 2020-06-08 | 2021-12-03 | 京东方科技集团股份有限公司 | 发声装置、显示装置、发声控制方法及装置 |
| CN111882590A (zh) * | 2020-06-24 | 2020-11-03 | 广州万维创新科技有限公司 | 一种基于单张图片定位的ar场景应用方法 |
| US11195341B1 (en) * | 2020-06-29 | 2021-12-07 | Snap Inc. | Augmented reality eyewear with 3D costumes |
| US20220101002A1 (en) * | 2020-09-30 | 2022-03-31 | Kyndryl, Inc. | Real-world object inclusion in a virtual reality experience |
| TWI816057B (zh) * | 2020-10-14 | 2023-09-21 | 財團法人資訊工業策進會 | 虛實影像融合方法、虛實影像融合系統及非暫態電腦可讀取媒體 |
| CN112419666B (zh) * | 2020-10-19 | 2022-06-14 | 钱继华 | 一种基于升降控制的智能居住服务方法及其系统 |
| US11250723B1 (en) * | 2020-11-04 | 2022-02-15 | King Abdulaziz University | Visuospatial disorders detection in dementia using a computer-generated environment based on voting approach of machine learning algorithms |
| CN112396014B (zh) * | 2020-11-26 | 2022-04-12 | 河北工业大学 | 基于特征融合的视触融合步态识别方法 |
| US11200741B1 (en) * | 2020-12-09 | 2021-12-14 | Microsoft Technology Licensing, Llc | Generating high fidelity spatial maps and pose evolutions |
| CN112604292B (zh) * | 2020-12-25 | 2024-02-13 | 杭州乐信圣文科技有限责任公司 | 消除类游戏的元素生成方法及电子设备 |
| CN112712590B (zh) * | 2021-01-15 | 2023-11-28 | 中国农业大学 | 一种动物点云生成方法及系统 |
| US20220270161A1 (en) * | 2021-02-24 | 2022-08-25 | Toshiba Tec Kabushiki Kaisha | System and method for an electronic menu |
| US11798201B2 (en) | 2021-03-16 | 2023-10-24 | Snap Inc. | Mirroring device with whole-body outfits |
| US11908243B2 (en) * | 2021-03-16 | 2024-02-20 | Snap Inc. | Menu hierarchy navigation on electronic mirroring devices |
| US11734959B2 (en) | 2021-03-16 | 2023-08-22 | Snap Inc. | Activating hands-free mode on mirroring device |
| US11978283B2 (en) * | 2021-03-16 | 2024-05-07 | Snap Inc. | Mirroring device with a hands-free mode |
| US11809633B2 (en) | 2021-03-16 | 2023-11-07 | Snap Inc. | Mirroring device with pointing based navigation |
| KR102313667B1 (ko) * | 2021-03-22 | 2021-10-15 | 성균관대학교산학협력단 | 스마트 미러를 이용한 유방암 진단을 위한 인공지능형 열화상 초음파 스캐너 장치 및 이를 이용한 유방암 자가 진단 방법 |
| CN113705392B (zh) * | 2021-08-16 | 2023-09-05 | 百度在线网络技术（北京）有限公司 | 工作状态切换方法、装置、设备、存储介质及程序产品 |
| US20230351975A1 (en) * | 2021-08-16 | 2023-11-02 | Beijing Boe Optoelectronics Technology Co., Ltd. | Method for controlling display apparatus, display apparatus, device, and computer storage medium |
| US11670059B2 (en) | 2021-09-01 | 2023-06-06 | Snap Inc. | Controlling interactive fashion based on body gestures |
| US11673054B2 (en) | 2021-09-07 | 2023-06-13 | Snap Inc. | Controlling AR games on fashion items |
| US11900506B2 (en) * | 2021-09-09 | 2024-02-13 | Snap Inc. | Controlling interactive fashion based on facial expressions |
| US11734866B2 (en) | 2021-09-13 | 2023-08-22 | Snap Inc. | Controlling interactive fashion based on voice |
| JPWO2023042343A1 (ko) * | 2021-09-16 | 2023-03-23 | ||
| US11636662B2 (en) | 2021-09-30 | 2023-04-25 | Snap Inc. | Body normal network light and rendering control |
| US11983826B2 (en) | 2021-09-30 | 2024-05-14 | Snap Inc. | 3D upper garment tracking |
| US11651572B2 (en) | 2021-10-11 | 2023-05-16 | Snap Inc. | Light and rendering of garments |
| WO2023095321A1 (ja) * | 2021-11-29 | 2023-06-01 | マクセル株式会社 | 情報処理装置、情報処理システム、及び情報処理方法 |
| CN114241396A (zh) * | 2021-12-31 | 2022-03-25 | 深圳市智岩科技有限公司 | 灯效控制方法、系统、装置、电子设备及存储介质 |
| CN114668396A (zh) * | 2022-02-18 | 2022-06-28 | 刘梅颜 | 一种施加、干预和记录人类心理应激的方法及自动化装置 |
| US20230388796A1 (en) * | 2022-05-27 | 2023-11-30 | At&T Intellectual Property I, L.P. | System and method for verifying presence in virtual environments |
| US11995753B2 (en) * | 2022-07-12 | 2024-05-28 | Charter Communications Operating, Llc | Generating an avatar using a virtual reality headset |
| WO2024055032A1 (en) * | 2022-09-09 | 2024-03-14 | University Of Rochester | Rapid and precise assessment and training of occular, vestibular, and motor behavior in stroke patients |
Family Cites Families (131)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4007443A (en) | 1974-05-06 | 1977-02-08 | Termiflex Corporation | Hand-held interactive terminal |
| US4287809A (en) | 1979-08-20 | 1981-09-08 | Honeywell Inc. | Helmet-mounted sighting system |
| US4346384A (en) | 1980-06-30 | 1982-08-24 | The Austin Company | Remote object position and orientation locator |
| USD322244S (en) | 1989-11-20 | 1991-12-10 | Bishai Mark R | Remote control housing for a curtain positioner |
| JPH0442029U (ko) | 1990-08-09 | 1992-04-09 | ||
| AU667688B2 (en) | 1991-10-04 | 1996-04-04 | Micromed Systems, Inc. | Hand held computer input apparatus and method |
| US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
| DE69431875T2 (de) | 1993-04-22 | 2003-05-28 | Image Guided Technologies Inc | Anordnung zur bestimmung der gegenseitigen lage von körpern |
| US5579026A (en) | 1993-05-14 | 1996-11-26 | Olympus Optical Co., Ltd. | Image display apparatus of head mounted type |
| US5685776A (en) | 1994-11-23 | 1997-11-11 | Tiger Electronics, Inc. | Hand-held electronic game devices |
| FR2734900B1 (fr) | 1995-06-01 | 1997-07-04 | Sextant Avionique | Procede de determination de la position et de l'orientation d'un systeme mobile, notamment de la ligne de visee dans un viseur de casque |
| US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
| US6022274A (en) | 1995-11-22 | 2000-02-08 | Nintendo Co., Ltd. | Video game system using memory module |
| USD387352S (en) | 1996-03-19 | 1997-12-09 | Microsoft Corporation | Remote control |
| CN1168057C (zh) | 1996-08-14 | 2004-09-22 | 挪拉赫梅特·挪利斯拉莫维奇·拉都包夫 | 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统 |
| WO1998036236A1 (en) | 1997-02-13 | 1998-08-20 | Super Dimension Ltd. | Six-degree tracking system |
| JP3849250B2 (ja) | 1997-09-30 | 2006-11-22 | 株式会社島津製作所 | 磁気式３次元トラッカー |
| USD424553S (en) | 1998-09-01 | 2000-05-09 | Abc International Traders, Inc. | Combined headset and handset video game |
| US6222675B1 (en) | 1998-12-01 | 2001-04-24 | Kaiser Electro-Optics, Inc. | Area of interest head-mounted display using low resolution, wide angle; high resolution, narrow angle; and see-through views |
| US6163155A (en) | 1999-01-28 | 2000-12-19 | Dresser Industries, Inc. | Electromagnetic wave resistivity tool having a tilted antenna for determining the horizontal and vertical resistivities and relative dip angle in anisotropic earth formations |
| GB9917591D0 (en) | 1999-07-28 | 1999-09-29 | Marconi Electronic Syst Ltd | Head tracker system |
| AU2001233019A1 (en) | 2000-01-28 | 2001-08-07 | Intersense, Inc. | Self-referenced tracking |
| US6484118B1 (en) | 2000-07-20 | 2002-11-19 | Biosense, Inc. | Electromagnetic position single axis system |
| US6990453B2 (en) | 2000-07-31 | 2006-01-24 | Landmark Digital Services Llc | System and methods for recognizing sound and music signals in high noise and distortion |
| US6861982B2 (en) | 2001-08-16 | 2005-03-01 | Itt Manufacturing Enterprises, Inc. | System for determining position of an emitter |
| US6774624B2 (en) | 2002-03-27 | 2004-08-10 | Ge Medical Systems Global Technology Company, Llc | Magnetic tracking system |
| WO2003091990A1 (en) | 2002-04-25 | 2003-11-06 | Shazam Entertainment, Ltd. | Robust and invariant audio pattern matching |
| KR100437974B1 (ko) * | 2002-05-11 | 2004-07-02 | 주식회사 메디슨 | 측면거리 상관함수를 이용한 3차원 초음파 영상 형성 방법및 장치 |
| JP2004056272A (ja) | 2002-07-17 | 2004-02-19 | Japan Aviation Electronics Industry Ltd | 全周映像表示装置及びそれに用いるヘッドトラッカーの磁気補正方法 |
| US7599629B2 (en) | 2003-06-06 | 2009-10-06 | Scientific-Atlanta, Inc. | Optical receiver having an open loop automatic gain control circuit |
| DE10330071B4 (de) | 2003-07-03 | 2013-01-24 | Byk Gardner Gmbh | Vorrichtung und Verfahren zur Bestimmung von Oberflächeneigenschaften |
| US7443154B1 (en) | 2003-10-04 | 2008-10-28 | Seektech, Inc. | Multi-sensor mapping omnidirectional sonde and line locator |
| US7710395B2 (en) | 2004-07-14 | 2010-05-04 | Alken, Inc. | Head-mounted pointing and control device |
| IL165314A (en) | 2004-11-21 | 2009-08-03 | Elbit Ltd | Electromagnetic tracker |
| US8982109B2 (en) * | 2005-03-01 | 2015-03-17 | Eyesmatch Ltd | Devices, systems and methods of capturing and displaying appearances |
| US8970569B2 (en) * | 2005-03-01 | 2015-03-03 | Eyesmatch Ltd | Devices, systems and methods of virtualizing a mirror |
| US7276910B2 (en) | 2005-07-19 | 2007-10-02 | Seektech, Inc. | Compact self-tuned electrical resonator for buried object locator applications |
| US7787648B1 (en) | 2005-08-26 | 2010-08-31 | At&T Mobility Ii Llc | Active cancellation hearing assistance device |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| JP4151982B2 (ja) | 2006-03-10 | 2008-09-17 | 任天堂株式会社 | 動き判別装置および動き判別プログラム |
| EP1998702A2 (en) | 2006-03-29 | 2008-12-10 | Stryker Corporation | Shielded surgical navigation system that determines the position and orientation of the tracked object with real and virtual dipoles |
| JP2007272067A (ja) | 2006-03-31 | 2007-10-18 | Brother Ind Ltd | 画像表示装置 |
| JP4757115B2 (ja) | 2006-06-28 | 2011-08-24 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
| US10908421B2 (en) * | 2006-11-02 | 2021-02-02 | Razer (Asia-Pacific) Pte. Ltd. | Systems and methods for personal viewing devices |
| US8090194B2 (en) | 2006-11-21 | 2012-01-03 | Mantis Vision Ltd. | 3D geometric modeling and motion capture using both single and dual imaging |
| US7796715B2 (en) | 2006-12-28 | 2010-09-14 | Motorola, Inc. | Method and apparatus for reducing intra-device interference |
| US20090024050A1 (en) * | 2007-03-30 | 2009-01-22 | Searete Llc, A Limited Liability Corporation Of The State Of Delaware | Computational user-health testing |
| CN101093586A (zh) | 2007-07-12 | 2007-12-26 | 上海交通大学 | 面向复杂场景实时交互操作的并行碰撞检测方法 |
| US8121812B2 (en) | 2007-09-14 | 2012-02-21 | Alken Inc. | AC magnetic tracking with phase disambiguation |
| IL195389A (en) | 2008-11-19 | 2013-12-31 | Elbit Systems Ltd | Magnetic Field Mapping System and Method |
| US8995677B2 (en) | 2008-09-03 | 2015-03-31 | Apple Inc. | Accessory controller for electronic devices |
| JP5129795B2 (ja) * | 2009-08-19 | 2013-01-30 | 東洋ガラス株式会社 | 物体識別装置および物体選別装置 |
| US8854798B1 (en) | 2009-10-02 | 2014-10-07 | Qmotion Incorporated | Transmitter holder apparatus and method |
| JP2011085868A (ja) * | 2009-10-19 | 2011-04-28 | Nikon Corp | 画像生成装置、画像生成方法およびプログラム |
| JP4679661B1 (ja) * | 2009-12-15 | 2011-04-27 | 株式会社東芝 | 情報提示装置、情報提示方法及びプログラム |
| US8467133B2 (en) * | 2010-02-28 | 2013-06-18 | Osterhout Group, Inc. | See-through display with an optical assembly including a wedge-shaped illumination system |
| WO2011106798A1 (en) * | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
| JP5573238B2 (ja) | 2010-03-04 | 2014-08-20 | ソニー株式会社 | 情報処理装置、情報処理法方法およびプログラム |
| US8610771B2 (en) | 2010-03-08 | 2013-12-17 | Empire Technology Development Llc | Broadband passive tracking for augmented reality |
| JP5218479B2 (ja) * | 2010-06-10 | 2013-06-26 | 株式会社安川電機 | 移動体システム |
| CN102893236B (zh) | 2010-07-20 | 2015-11-25 | 英派尔科技开发有限公司 | 增强现实临近检测 |
| KR20120040573A (ko) | 2010-10-19 | 2012-04-27 | 주식회사 팬택 | 이동식 태그를 이용한 증강 현실 제공 장치 및 방법 |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| KR101997852B1 (ko) | 2010-12-24 | 2019-10-01 | 매직 립, 인코포레이티드 | 인체공학적 머리 장착식 디스플레이 장치 및 광학 시스템 |
| EP2499961B1 (en) * | 2011-03-18 | 2016-09-21 | SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH | Spectacle device with an adjustable field of view and method |
| JP5807364B2 (ja) | 2011-04-08 | 2015-11-10 | 株式会社バッファロー | 管理装置、管理方法、プログラムおよび記録媒体 |
| RU2017118159A (ru) | 2011-05-06 | 2018-10-30 | Мэджик Лип, Инк. | Мир массового одновременного удаленного цифрового присутствия |
| US8675781B2 (en) | 2011-09-08 | 2014-03-18 | Thinkrf Corporation | Radio frequency receiver system for wideband signal processing |
| US8743051B1 (en) * | 2011-09-20 | 2014-06-03 | Amazon Technologies, Inc. | Mirror detection-based device functionality |
| WO2013049861A1 (en) | 2011-09-29 | 2013-04-04 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
| CA3164530C (en) | 2011-10-28 | 2023-09-19 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| KR102116697B1 (ko) | 2011-11-23 | 2020-05-29 | 매직 립, 인코포레이티드 | 3차원 가상 및 증강 현실 디스플레이 시스템 |
| US8958599B1 (en) * | 2012-01-06 | 2015-02-17 | Google Inc. | Input method and system based on ambient glints |
| US20130194389A1 (en) | 2012-01-31 | 2013-08-01 | Ben Vaught | Head-mounted display device to measure attentiveness |
| NZ700887A (en) | 2012-04-05 | 2016-11-25 | Magic Leap Inc | Wide-field of view (fov) imaging devices with active foveation capability |
| JP2013251813A (ja) * | 2012-06-01 | 2013-12-12 | Nikon Corp | 電子機器、表示制御システム、およびプログラム |
| CN115494654A (zh) | 2012-06-11 | 2022-12-20 | 奇跃公司 | 使用波导反射器阵列投射器的多深度平面三维显示器 |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| US9880193B2 (en) | 2012-08-15 | 2018-01-30 | Qualcomm Incorporated | Device driven inertial interference compensation |
| US9740006B2 (en) | 2012-09-11 | 2017-08-22 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
| US10025379B2 (en) * | 2012-12-06 | 2018-07-17 | Google Llc | Eye tracking wearable devices and methods for use |
| KR102274413B1 (ko) | 2013-01-15 | 2021-07-07 | 매직 립, 인코포레이티드 | 초고해상도 스캐닝 섬유 디스플레이 |
| US9589294B2 (en) * | 2013-01-23 | 2017-03-07 | Wal-Mart Stores, Inc. | Location based alerts for shopper |
| KR102516124B1 (ko) | 2013-03-11 | 2023-03-29 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
| WO2014160342A1 (en) | 2013-03-13 | 2014-10-02 | The University Of North Carolina At Chapel Hill | Low latency stabilization for head-worn displays |
| US20140267004A1 (en) | 2013-03-13 | 2014-09-18 | Lsi Corporation | User Adjustable Gesture Space |
| KR102318391B1 (ko) | 2013-03-15 | 2021-10-26 | 매직 립, 인코포레이티드 | 디스플레이 시스템 및 방법 |
| US9582922B2 (en) * | 2013-05-17 | 2017-02-28 | Nvidia Corporation | System, method, and computer program product to produce images for a near-eye light field display |
| US8958608B2 (en) * | 2013-06-04 | 2015-02-17 | Ut-Battelle, Llc | Frontal view reconstruction for iris recognition |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| US10330931B2 (en) * | 2013-06-28 | 2019-06-25 | Microsoft Technology Licensing, Llc | Space carving based on human physical data |
| US10533850B2 (en) | 2013-07-12 | 2020-01-14 | Magic Leap, Inc. | Method and system for inserting recognized object data into a virtual world |
| JP6111932B2 (ja) * | 2013-08-26 | 2017-04-12 | ソニー株式会社 | 行動支援装置、行動支援方法、プログラム、および記憶媒体 |
| WO2015039050A1 (en) | 2013-09-13 | 2015-03-19 | Nod, Inc | Using the human body as an input device |
| US10134296B2 (en) * | 2013-10-03 | 2018-11-20 | Autodesk, Inc. | Enhancing movement training with an augmented reality mirror |
| AU2014337171B2 (en) | 2013-10-16 | 2018-11-15 | Magic Leap, Inc. | Virtual or augmented reality headsets having adjustable interpupillary distance |
| US9672649B2 (en) * | 2013-11-04 | 2017-06-06 | At&T Intellectual Property I, Lp | System and method for enabling mirror video chat using a wearable display device |
| US9857591B2 (en) * | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| CN107315249B (zh) | 2013-11-27 | 2021-08-17 | 奇跃公司 | 虚拟和增强现实系统与方法 |
| US9360935B2 (en) | 2013-12-20 | 2016-06-07 | Hong Kong Applied Science And Technology Research Institute Co. Ltd. | Integrated bi-sensing optical structure for head mounted display |
| NZ722903A (en) | 2014-01-31 | 2020-05-29 | Magic Leap Inc | Multi-focal display system and method |
| KR102177133B1 (ko) | 2014-01-31 | 2020-11-10 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
| US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US9649558B2 (en) | 2014-03-14 | 2017-05-16 | Sony Interactive Entertainment Inc. | Gaming device with rotatably placed cameras |
| US9344673B1 (en) | 2014-03-14 | 2016-05-17 | Brian K. Buchheit | Enhancing a camera oriented user interface via an eye focus guide |
| US10430985B2 (en) | 2014-03-14 | 2019-10-01 | Magic Leap, Inc. | Augmented reality systems and methods utilizing reflections |
| US9977572B2 (en) * | 2014-04-01 | 2018-05-22 | Hallmark Cards, Incorporated | Augmented reality appearance enhancement |
| CA2945842C (en) * | 2014-04-14 | 2020-09-22 | Tremolant Inc. | Augmented reality communications |
| JP6320143B2 (ja) * | 2014-04-15 | 2018-05-09 | 株式会社東芝 | 健康情報サービスシステム |
| JP2015210797A (ja) * | 2014-04-30 | 2015-11-24 | シャープ株式会社 | 表示装置 |
| CN107087431B (zh) | 2014-05-09 | 2021-02-05 | 谷歌有限责任公司 | 用于辨别眼睛信号和连续生物识别的系统和方法 |
| AU2015266586B2 (en) | 2014-05-30 | 2020-07-23 | Magic Leap, Inc. | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
| US20150363654A1 (en) * | 2014-06-12 | 2015-12-17 | GM Global Technology Operations LLC | Vision-based wet road surface detection using mirrored and real images |
| US10056054B2 (en) | 2014-07-03 | 2018-08-21 | Federico Fraccaroli | Method, system, and apparatus for optimising the augmentation of radio emissions |
| US9599821B2 (en) | 2014-08-08 | 2017-03-21 | Greg Van Curen | Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space |
| US9841784B2 (en) | 2014-09-26 | 2017-12-12 | Intel Corporation | Apparatus and method for controlling wearable devices using wireless energy harvesting |
| US9818225B2 (en) * | 2014-09-30 | 2017-11-14 | Sony Interactive Entertainment Inc. | Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space |
| CN104407700A (zh) | 2014-11-27 | 2015-03-11 | 曦煌科技(北京)有限公司 | 一种移动头戴式虚拟现实和增强现实的设备 |
| CN112764536A (zh) | 2015-03-05 | 2021-05-07 | 奇跃公司 | 用于增强现实的系统和方法 |
| JP6542547B2 (ja) * | 2015-03-09 | 2019-07-10 | 古河電気工業株式会社 | レーダ装置およびレーダ装置の対象物検知方法 |
| USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
| US9910275B2 (en) * | 2015-05-18 | 2018-03-06 | Samsung Electronics Co., Ltd. | Image processing for head mounted display devices |
| CN106303498B (zh) | 2015-05-30 | 2018-10-16 | 北京智谷睿拓技术服务有限公司 | 视频显示控制方法和装置、显示设备 |
| US10049303B2 (en) * | 2015-10-01 | 2018-08-14 | Infinity Augmented Reality Israel Ltd. | Method and a system for identifying reflective surfaces in a scene |
| US9851561B2 (en) * | 2015-12-23 | 2017-12-26 | Intel Corporation | Head-mounted device with rear-facing camera |
| JP6952713B2 (ja) | 2016-01-19 | 2021-10-20 | マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． | 反射を利用する拡張現実システムおよび方法 |
| EP4130942A1 (en) | 2016-04-26 | 2023-02-08 | Magic Leap, Inc. | Electromagnetic tracking with augmented reality systems |
-
2017
- 2017-01-19 JP JP2018555860A patent/JP6952713B2/ja active Active
- 2017-01-19 IL IL260604A patent/IL260604B2/en unknown
- 2017-01-19 CN CN201780018133.3A patent/CN108780228B/zh active Active
- 2017-01-19 EP EP17741944.7A patent/EP3405830A4/en active Pending
- 2017-01-19 AU AU2017210289A patent/AU2017210289B2/en active Active
- 2017-01-19 NZ NZ74438317A patent/NZ744383A/en unknown
- 2017-01-19 KR KR1020187023833A patent/KR20180104051A/ko not_active Application Discontinuation
- 2017-01-19 WO PCT/US2017/014180 patent/WO2017127571A1/en active Application Filing
- 2017-01-19 CA CA3011644A patent/CA3011644A1/en active Pending
- 2017-01-19 IL IL301884A patent/IL301884A/en unknown
- 2017-01-19 CN CN202110360583.9A patent/CN113156650A/zh active Pending
-
2019
- 2019-08-16 US US16/543,280 patent/US11244485B2/en active Active
-
2021
- 2021-09-28 JP JP2021157537A patent/JP7253017B2/ja active Active
-
2022
- 2022-01-20 AU AU2022200363A patent/AU2022200363A1/en not_active Abandoned
- 2022-02-01 US US17/590,724 patent/US20220156995A1/en active Pending
-
2023
- 2023-03-24 JP JP2023047777A patent/JP2023082053A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200035696A (ko) * | 2018-09-27 | 2020-04-06 | 주식회사 더픽트 | 가상현실 영상 편집 시스템 및 방법 |
| KR20210084411A (ko) * | 2018-09-27 | 2021-07-07 | 주식회사 더픽트 | 가상현실 영상 편집 시스템 및 방법 |
| WO2021086018A1 (ko) * | 2019-10-28 | 2021-05-06 | 네이버랩스 주식회사 | 3차원 증강현실 표시 방법 |
| KR20210050321A (ko) * | 2019-10-28 | 2021-05-07 | 네이버랩스 주식회사 | 3차원 증강현실 표시 방법 |
| US11978232B2 (en) | 2019-10-28 | 2024-05-07 | Naver Labs Corporation | Method for displaying three-dimensional augmented reality |
| WO2022181996A1 (ko) * | 2021-02-26 | 2022-09-01 | 삼성전자 주식회사 | 증강 현실 장치 및 증강 현실 장치와 상호작용하는 전자 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3405830A4 (en) | 2020-01-22 |
| JP7253017B2 (ja) | 2023-04-05 |
| JP2022008583A (ja) | 2022-01-13 |
| CN113156650A (zh) | 2021-07-23 |
| JP6952713B2 (ja) | 2021-10-20 |
| WO2017127571A1 (en) | 2017-07-27 |
| AU2017210289A1 (en) | 2018-08-02 |
| US20190371028A1 (en) | 2019-12-05 |
| US20220156995A1 (en) | 2022-05-19 |
| IL301884A (en) | 2023-06-01 |
| NZ744383A (en) | 2019-10-25 |
| JP2019511067A (ja) | 2019-04-18 |
| IL260604B2 (en) | 2023-09-01 |
| EP3405830A1 (en) | 2018-11-28 |
| IL260604B1 (en) | 2023-05-01 |
| AU2022200363A1 (en) | 2022-02-17 |
| CN108780228B (zh) | 2021-04-20 |
| NZ758470A (en) | 2021-06-25 |
| CN108780228A (zh) | 2018-11-09 |
| IL260604A (ko) | 2018-08-30 |
| AU2017210289B2 (en) | 2021-10-21 |
| JP2023082053A (ja) | 2023-06-13 |
| CA3011644A1 (en) | 2017-07-27 |
| US11244485B2 (en) | 2022-02-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11244485B2 (en) | Augmented reality systems and methods utilizing reflections | |
| US10430985B2 (en) | Augmented reality systems and methods utilizing reflections | |
| US11731041B1 (en) | Systems and methods for computer assisted operation | |
| US11071515B2 (en) | Augmented reality systems and methods for user health analysis | |
| JP7344894B2 (ja) | 眼追跡カメラからの顔の表情 | |
| US10492981B1 (en) | Systems and methods for computer assisted operation | |
| US10685488B1 (en) | Systems and methods for computer assisted operation | |
| NZ758470B2 (en) | Augmented reality systems and methods utilizing reflections | |
| NZ794186A (en) | Automatic control of wearable display device based on external conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal |