KR102553190B1 - 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어 - Google Patents
외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어 Download PDFInfo
- Publication number
- KR102553190B1 KR102553190B1 KR1020197021805A KR20197021805A KR102553190B1 KR 102553190 B1 KR102553190 B1 KR 102553190B1 KR 1020197021805 A KR1020197021805 A KR 1020197021805A KR 20197021805 A KR20197021805 A KR 20197021805A KR 102553190 B1 KR102553190 B1 KR 102553190B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- environment
- virtual content
- virtual
- wearable system
- Prior art date
Links
- 230000000007 visual effect Effects 0.000 claims abstract description 43
- 238000000034 method Methods 0.000 claims description 116
- 238000004422 calculation algorithm Methods 0.000 claims description 101
- 230000004044 response Effects 0.000 claims description 67
- 230000000903 blocking effect Effects 0.000 claims description 53
- 230000009471 action Effects 0.000 claims description 34
- 230000003213 activating effect Effects 0.000 claims description 27
- 230000033001 locomotion Effects 0.000 claims description 26
- 238000010801 machine learning Methods 0.000 claims description 26
- 230000003190 augmentative effect Effects 0.000 claims description 25
- 230000008859 change Effects 0.000 claims description 25
- 238000013528 artificial neural network Methods 0.000 claims description 21
- 238000012790 confirmation Methods 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 14
- 230000003993 interaction Effects 0.000 claims description 14
- 238000013527 convolutional neural network Methods 0.000 claims description 3
- 210000001508 eye Anatomy 0.000 description 96
- 238000003384 imaging method Methods 0.000 description 81
- 230000007613 environmental effect Effects 0.000 description 57
- 230000008569 process Effects 0.000 description 57
- 238000012545 processing Methods 0.000 description 44
- 230000003287 optical effect Effects 0.000 description 41
- 210000001747 pupil Anatomy 0.000 description 26
- 230000004438 eyesight Effects 0.000 description 21
- 230000004308 accommodation Effects 0.000 description 16
- 238000000605 extraction Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 14
- 238000005516 engineering process Methods 0.000 description 12
- 239000000835 fiber Substances 0.000 description 12
- 238000009826 distribution Methods 0.000 description 11
- 210000003128 head Anatomy 0.000 description 9
- 239000008280 blood Substances 0.000 description 8
- 210000004369 blood Anatomy 0.000 description 8
- 235000013305 food Nutrition 0.000 description 8
- 238000002347 injection Methods 0.000 description 8
- 239000007924 injection Substances 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 239000000463 material Substances 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 7
- 210000001525 retina Anatomy 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 230000002996 emotional effect Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000004424 eye movement Effects 0.000 description 5
- 230000001815 facial effect Effects 0.000 description 5
- 230000006855 networking Effects 0.000 description 5
- 239000000779 smoke Substances 0.000 description 5
- 239000007787 solid Substances 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 4
- 230000007423 decrease Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 210000000554 iris Anatomy 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 230000029058 respiratory gaseous exchange Effects 0.000 description 4
- 230000035807 sensation Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000001356 surgical procedure Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000003066 decision tree Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 125000001475 halogen functional group Chemical group 0.000 description 3
- 229910052751 metal Inorganic materials 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 3
- 238000013021 overheating Methods 0.000 description 3
- 230000005043 peripheral vision Effects 0.000 description 3
- 230000001902 propagating effect Effects 0.000 description 3
- 230000010344 pupil dilation Effects 0.000 description 3
- 238000013139 quantization Methods 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 239000000126 substance Substances 0.000 description 3
- 238000012706 support-vector machine Methods 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000003466 welding Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 238000003915 air pollution Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010411 cooking Methods 0.000 description 2
- 210000000613 ear canal Anatomy 0.000 description 2
- 231100000317 environmental toxin Toxicity 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 238000003064 k means clustering Methods 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012015 optical character recognition Methods 0.000 description 2
- 238000013488 ordinary least square regression Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 238000009877 rendering Methods 0.000 description 2
- 230000036387 respiratory rate Effects 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 230000001953 sensory effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000014616 translation Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000002604 ultrasonography Methods 0.000 description 2
- 241000238876 Acari Species 0.000 description 1
- 206010003173 Arterial rupture Diseases 0.000 description 1
- 206010019233 Headaches Diseases 0.000 description 1
- 239000004983 Polymer Dispersed Liquid Crystal Substances 0.000 description 1
- 208000036366 Sensation of pressure Diseases 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 230000006793 arrhythmia Effects 0.000 description 1
- 206010003119 arrhythmia Diseases 0.000 description 1
- 208000003464 asthenopia Diseases 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000009414 blockwork Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005253 cladding Methods 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000002570 electrooculography Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 231100001261 hazardous Toxicity 0.000 description 1
- 231100000869 headache Toxicity 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000003317 industrial substance Substances 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000036651 mood Effects 0.000 description 1
- 208000010125 myocardial infarction Diseases 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 239000004033 plastic Substances 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004043 responsiveness Effects 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000010079 rubber tapping Methods 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 231100000430 skin reaction Toxicity 0.000 description 1
- 125000006850 spacer group Chemical group 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 235000013599 spices Nutrition 0.000 description 1
- 239000007921 spray Substances 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 230000004470 vergence movement Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
- 230000021542 voluntary musculoskeletal movement Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0081—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. enlarging, the entrance or exit pupil
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
- G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
- G02B6/0033—Means for improving the coupling-out of light from the light guide
- G02B6/005—Means for improving the coupling-out of light from the light guide provided by one optical element, or plurality thereof, placed on the light output side of the light guide
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B6/00—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings
- G02B6/0001—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems
- G02B6/0011—Light guides; Structural details of arrangements comprising light guides and other optical elements, e.g. couplings specially adapted for lighting devices or systems the light guides being planar or of plate-like form
- G02B6/0075—Arrangements of multiple light guides
- G02B6/0076—Stacked arrangements of multiple light guides of the same or different cross-sectional area
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/19—Sensors therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0127—Head-up displays characterised by optical features comprising devices increasing the depth of field
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
- G02B2027/0174—Head mounted characterised by optical features holographic
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0185—Displaying image at variable distance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04804—Transparency, e.g. transparent or translucent windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Optics & Photonics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Ophthalmology & Optometry (AREA)
- Databases & Information Systems (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- User Interface Of Digital Computer (AREA)
- Controls And Circuits For Display Device (AREA)
- Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
- Position Input By Displaying (AREA)
- Circuit For Audible Band Transducer (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
Abstract
웨어러블 디바이스의 실시예들은 가상 콘텐츠를 디스플레이하도록 구성될 수 있는 HMD(head-mounted display)를 포함할 수 있다. 사용자가 시각적 또는 가청 가상 콘텐츠와 상호작용하는 동안, 웨어러블의 사용자는 예컨대, 비상사태 조건(emergency condition) 또는 위험한 조건과 같은 트리거링 이벤트에 직면하여, 환경에서 하나 이상의 트리거링 객체들을 검출하거나, 또는 사용자의 환경(예컨대, 집 또는 사무실)의 특성들을 결정할 수 있다. 웨어러블 디바이스의 실시예들은 자동으로 트리거링 이벤트를 검출하고 가상 콘텐츠의 디스플레이를 덜 강조하거나, 차단하거나 또는 중지하도록 HMD를 자동으로 제어할 수 있다. HMD는, 가상 콘텐츠의 디스플레이를 수동으로 덜 강조하거나, 차단하거나 또는 중지하기 위해 사용자에 의해 작동될 수 있는 버튼을 포함할 수 있다.
Description
관련 출원들에 대한 상호-참조
[0001] 본 출원은, 2016년 12월 29일에 출원되고 발명의 명칭이 "MANUAL OR AUTOMATIC CONTROL OF WEARABLE DISPLAY DEVICE BASED ON EXTERNAL CONDITIONS"인 미국 가출원 번호 제62/440099호를 35 U.S.C. §119(e) 하에서 우선권으로 주장하며, 그리하여, 이 출원의 개시내용은 그 전체가 인용에 의해 본원에 포함된다.
기술분야
[0002] 본 개시내용은 혼합 현실 이미징 및 시각화 시스템들에 관한 것으로, 보다 구체적으로 외부 조건들에 기초한 혼합 현실 이미징 및 시각화 시스템의 자동 제어들에 관한 것이다.
[0003] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실", "증강 현실", 또는 "혼합 현실" 경험들을 위한 시스템들의 개발을 용이하게 했으며, 여기서 디지털적으로 재생된 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 사용자에게 제시된다. 가상 현실, 또는 "VR" 시나리오는 통상적으로 다른 실제 실세계 시각적 입력에 대한 투명성(transparency) 없이 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 수반하고; 증강 현실, 또는 "AR" 시나리오는 통상적으로 사용자 주위 실제 세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 수반하고; 혼합 현실, 또는 "MR"은, 실제 및 가상 세계들을 병합하여 물리적 및 가상 객체들이 공존하고 실시간으로 상호작용하는 새로운 환경을 생성하는 것과 관련된다. 밝혀진 바와 같이, 인간 시각적 지각 시스템은 매우 복잡하고, 다른 가상 또는 실세계 이미저리 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스럽고, 풍부한 프리젠테이션을 용이하게 하는 VR, AR 또는 MR 기술을 생성하는 것은 난제이다. 본원에 개시된 시스템들 및 방법들은 VR, AR 및 MR 기술에 관련된 다양한 난제들을 해결한다.
[0004] 웨어러블 디바이스의 실시예들은 가상 콘텐츠를 디스플레이하도록 구성될 수 있는 HMD(head-mounted display)를 포함할 수 있다. 사용자가 시각적 또는 가청 가상 콘텐츠와 상호작용하는 동안, 웨어러블 디바이스의 사용자는 예컨대, 비상사태 조건(emergency condition) 또는 위험한 조건과 같은 트리거링 이벤트에 직면하여, 환경에서 하나 이상의 트리거링 객체들을 검출하거나, 또는 사용자가 특정 환경(예컨대, 집 또는 사무실)에 진입했음을 검출할 수 있다. 웨어러블 디바이스의 실시예들은 자동으로 트리거링 이벤트를 검출하고 가상 콘텐츠의 디스플레이를 덜 강조(deemphasize)하거나, 차단하거나 또는 중지하도록 HMD를 자동으로 제어할 수 있다. HMD는, 가상 콘텐츠의 디스플레이를 수동으로 덜 강조하거나, 차단하거나 또는 중지하기 위해 사용자에 의해 작동될 수 있는 버튼을 포함할 수 있다. 소정의 구현들에서, 웨어러블 디바이스는 종결 조건의 검출에 대한 응답으로 가상 콘텐츠를 재개하거나 복원할 수 있다.
[0005] 본 명세서에서 설명되는 청구 대상의 하나 이상의 구현들의 세부사항들은, 아래의 첨부 도면들 및 설명에서 기술된다. 다른 특징들, 양상들, 및 이점들은 설명, 도면들, 및 청구항들로부터 명백해질 것이다. 이 개요 또는 다음의 상세한 설명 어느 것도, 본 발명의 청구 대상의 범위를 한정하거나 제한하는 것으로 의도되지 않는다.
[0006] 도 1a는 사람에 의해 뷰잉되는 소정의 물리적 객체들 및 소정의 가상 현실 객체들을 갖는 혼합 현실 시나리오의 예시를 도시한다.
[0007] 도 1b는 웨어러블 디스플레이 시스템의 착용자에 대한 시야 및 FOR(field of regard)를 예시한다.
[0008] 도 2는 웨어러블 시스템의 예를 개략적으로 예시한다.
[0009] 도 3은 다중 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 개략적으로 예시한다.
[0010] 도 4는 사용자에게 이미지 정보를 출력하기 위한 도파관 스택의 예를 개략적으로 예시한다.
[0011] 도 5는 도파관에 의해 출력될 수 있는 예시적인 출사 빔들을 도시한다.
[0012] 도 6은, 다중-초점 볼류메트릭 디스플레이, 이미지 또는 광 필드의 생성에 사용되는, 도파관 장치, 도파관 장치로 또는 도파관 장치로부터의 광을 광학적으로 커플링하는 광학 커플러 서브시스템, 및 제어 서브시스템을 포함하는 광학 시스템을 도시하는 개략도이다.
[0013] 도 7은 웨어러블 시스템의 일 예의 블록도이다.
[0014] 도 8은 인지된 객체들과 관련하여 가상 콘텐츠를 렌더링하는 방법의 예의 프로세스 흐름도이다.
[0015] 도 9는 웨어러블 시스템의 다른 예의 블록도이다.
[0016] 도 10은 환경 센서들을 포함하는 웨어러블 시스템의 다양한 컴포넌트들의 예의 개략도를 도시한다.
[0017] 도 11a 및 도 11b는 수술 맥락에서 HMD(head-mounted display)를 뮤팅하는 예를 예시한다.
[0018] 도 11c는 산업적 맥락에서 HMD를 뮤팅하는 예를 예시한다.
[0019] 도 11d는 교육적 맥락에서 HMD를 뮤팅하는 예를 예시한다.
[0020] 도 11e는 쇼핑 맥락에서 HMD를 뮤팅하는 예를 예시한다.
[0021] 도 11f는 업무 환경에서 가상 콘텐츠를 선택적으로 차단하는 예를 예시한다.
[0022] 도 11g는 휴게실 환경에서 가상 콘텐츠를 선택적으로 차단하는 예를 예시한다.
[0023] 도 12a, 도 12b 및 도 12c는 트리거링 이벤트에 기초하여 HMD에 의해 제시되는 가상 콘텐츠를 뮤팅하는 예를 예시한다.
[0024] 도 12d는 사용자의 환경의 변화의 검출 시에 가상 콘텐츠를 뮤팅하는 예를 예시한다.
[0025] 도 13a 및 도 13b는 트리거링 이벤트에 기초하여 증강 현실 디스플레이 디바이스를 뮤팅하는 예시적인 프로세스들을 예시한다.
[0026] 도 13c는 환경에서 가상 콘텐츠를 선택적으로 차단하기 위한 예시적인 흐름도를 예시한다.
[0027] 도 14a는 현실 버튼의 수동 작동에 대한 응답으로 HMD에 의해 디스플레이될 수 있는 경고 메시지를 예시한다.
[0028] 도 14b는 HMD의 뮤팅 동작 모드를 수동으로 활성화하기 위한 예시적인 프로세스를 도시하는 흐름도이다.
[0029] 도면들 전체에 걸쳐, 참조 번호들은 참조된 엘리먼트들 사이의 대응성(correspondence)을 표시하는 데 재사용될 수 있다. 도면들은 본원에서 설명된 예시적인 실시예들을 예시하기 위해 제공되며 본 개시내용의 범위를 제한하려는 의도는 아니다.
[0007] 도 1b는 웨어러블 디스플레이 시스템의 착용자에 대한 시야 및 FOR(field of regard)를 예시한다.
[0008] 도 2는 웨어러블 시스템의 예를 개략적으로 예시한다.
[0009] 도 3은 다중 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 개략적으로 예시한다.
[0010] 도 4는 사용자에게 이미지 정보를 출력하기 위한 도파관 스택의 예를 개략적으로 예시한다.
[0011] 도 5는 도파관에 의해 출력될 수 있는 예시적인 출사 빔들을 도시한다.
[0012] 도 6은, 다중-초점 볼류메트릭 디스플레이, 이미지 또는 광 필드의 생성에 사용되는, 도파관 장치, 도파관 장치로 또는 도파관 장치로부터의 광을 광학적으로 커플링하는 광학 커플러 서브시스템, 및 제어 서브시스템을 포함하는 광학 시스템을 도시하는 개략도이다.
[0013] 도 7은 웨어러블 시스템의 일 예의 블록도이다.
[0014] 도 8은 인지된 객체들과 관련하여 가상 콘텐츠를 렌더링하는 방법의 예의 프로세스 흐름도이다.
[0015] 도 9는 웨어러블 시스템의 다른 예의 블록도이다.
[0016] 도 10은 환경 센서들을 포함하는 웨어러블 시스템의 다양한 컴포넌트들의 예의 개략도를 도시한다.
[0017] 도 11a 및 도 11b는 수술 맥락에서 HMD(head-mounted display)를 뮤팅하는 예를 예시한다.
[0018] 도 11c는 산업적 맥락에서 HMD를 뮤팅하는 예를 예시한다.
[0019] 도 11d는 교육적 맥락에서 HMD를 뮤팅하는 예를 예시한다.
[0020] 도 11e는 쇼핑 맥락에서 HMD를 뮤팅하는 예를 예시한다.
[0021] 도 11f는 업무 환경에서 가상 콘텐츠를 선택적으로 차단하는 예를 예시한다.
[0022] 도 11g는 휴게실 환경에서 가상 콘텐츠를 선택적으로 차단하는 예를 예시한다.
[0023] 도 12a, 도 12b 및 도 12c는 트리거링 이벤트에 기초하여 HMD에 의해 제시되는 가상 콘텐츠를 뮤팅하는 예를 예시한다.
[0024] 도 12d는 사용자의 환경의 변화의 검출 시에 가상 콘텐츠를 뮤팅하는 예를 예시한다.
[0025] 도 13a 및 도 13b는 트리거링 이벤트에 기초하여 증강 현실 디스플레이 디바이스를 뮤팅하는 예시적인 프로세스들을 예시한다.
[0026] 도 13c는 환경에서 가상 콘텐츠를 선택적으로 차단하기 위한 예시적인 흐름도를 예시한다.
[0027] 도 14a는 현실 버튼의 수동 작동에 대한 응답으로 HMD에 의해 디스플레이될 수 있는 경고 메시지를 예시한다.
[0028] 도 14b는 HMD의 뮤팅 동작 모드를 수동으로 활성화하기 위한 예시적인 프로세스를 도시하는 흐름도이다.
[0029] 도면들 전체에 걸쳐, 참조 번호들은 참조된 엘리먼트들 사이의 대응성(correspondence)을 표시하는 데 재사용될 수 있다. 도면들은 본원에서 설명된 예시적인 실시예들을 예시하기 위해 제공되며 본 개시내용의 범위를 제한하려는 의도는 아니다.
개요
[0030] 웨어러블 디바이스의 디스플레이 시스템은 AR/VR/MR 환경에서 가상 콘텐츠를 제시하도록 구성될 수 있다. 가상 콘텐츠는 시각적 및/또는 가청 콘텐츠를 포함할 수 있다. HMD(head-mounted display device)를 사용하는 동안, 사용자는, 가상 콘텐츠의 일부 또는 전부가 덜 강조되거나 전혀 제공되지 않는 것이 바람직할 수 있는 상황들에 직면할 수 있다. 예컨대, 사용자는, 가상 콘텐츠의 잠재적 산만함 없이 실제 물리적 현실에 사용자의 모든 주의를 기울여야 하는 비상사태 조건 또는 위험한 조건에 직면할 수 있다. 이러한 조건들에서, 사용자에게의 가상 콘텐츠의 프리젠테이션은, 사용자가 실세계의 실제 물리적 콘텐츠뿐만 아니라 HMD에 의해 제공되는 가상 콘텐츠 둘 모두를 프로세싱하려고 하기 때문에 지각 혼동을 야기할 수 있다. 따라서, 아래에서 추가로 설명되는 바와 같이, HMD의 실시예들은 가상 콘텐츠의 디스플레이를 덜 강조하거나 중지하는 것이 바람직할 수 있는 경우들에 HMD의 수동 또는 자동 제어를 제공할 수 있다.
[0031] 또한, 웨어러블 디바이스는 사용자에게 풍부한 양의 정보를 제시할 수 있지만, 일부 상황들에서, 사용자가 상호작용하는데 관심이 있는 콘텐츠를 식별하기 위해 사용자가 가상 콘텐츠를 면밀히 조사(sift through)하는 것이 어려울 수 있다. 유리하게는, 일부 실시예들에서, 웨어러블 디바이스는 자동으로 사용자의 위치를 검출하고 위치에 기초하여 가상 콘텐츠를 선택적으로 차단(또는 선택적으로 허용)할 수 있고, 따라서, 웨어러블 디바이스는 사용자가 집에 있는지 또는 직장에 있는지 여부와 같은 사용자의 환경(위치)에 적절한 그리고 사용자와 높은 관련성을 갖는 가상 콘텐츠를 제시할 수 있다. 예컨대, 웨어러블 디바이스는 비디오 게임들, 예정된 전화 회의들 또는 업무용 이메일들과 관련된 다양한 가상 콘텐츠를 제시할 수 있다. 사용자가 사무실에 있는 경우, 사용자는 예컨대, 전화 회의들 및 이메일들과 같은 업무 관련 가상 콘텐츠를 보기를 바라지만, 사용자가 업무에 포커싱할 수 있도록 비디오 게임들과 관련된 가상 콘텐츠를 차단하기를 바랄 수 있다.
[0032] 소정의 구현들에서, 웨어러블 디바이스는 외향 이미징 시스템(단독으로 또는 위치 센서와 함께)에 의해 획득된 이미지 데이터에 기초하여 사용자 위치의 변화를 자동으로 검출할 수 있다. 웨어러블 디바이스는 사용자가 한 환경으로부터 다른 환경으로 이동했다는 검출에 대한 응답으로 현재 위치에 적절한 세팅(setting)을 자동으로 적용할 수 있다. 소정의 구현들에서, 웨어러블 시스템은 사용자의 환경(장면들로서 또한 지칭됨)에 기초하여 가상 콘텐츠를 뮤팅(mute)할 수 있다. 예컨대, 집의 거실 및 쇼핑몰은 엔터테인먼트 장면(entertainment scene)으로 간주될 수 있고 이에 따라 유사한 가상 콘텐츠가 둘 모두의 환경들에서 차단(또는 허용)될 수 있다. 가상 콘텐츠는 또한, 유사한 특성들을 가진 콘텐츠가 차단(또는 허용)되는지 여부에 기초하여 차단(또는 허용)될 수 있다. 예컨대, 사용자는 사무실 환경에서 소셜 네트워킹 애플리케이션을 차단하도록 선택할 수 있다(또는 업무-관련 콘텐츠만 허용하도록 선택할 수 있음). 사용자에 의해 제공된 이러한 구성에 기초하여, 웨어러블 시스템은, 비디오 게임 및 소셜 네트워킹 애플리케이션이 둘 모두가 오락 특성들을 갖기 때문에, 사무실 환경에 대해 비디오 게임을 자동으로 차단할 수 있다.
[0033] 예들이 가상 콘텐츠를 뮤팅하는 것을 참조하여 설명되지만, 유사한 기술들이 또한 웨어러블 시스템의 하나 이상의 컴포넌트들을 뮤팅하는데 적용될 수 있다. 예컨대, 웨어러블 시스템은 시스템 하드웨어 자원들을 보존하기 위해 비상 상황(예컨대, 화재)에 대한 응답으로 내향 이미징 시스템을 뮤팅할 수 있다. 또한, 소정의 예들이 소정의 환경에서 소정의 가상 콘텐츠를 선택적으로 차단하는 것으로서 설명되지만, 이는 예시를 위한 것이며, 혼합 현실 디바이스는 부가적으로 또는 대안적으로, 상이한 가상 콘텐츠가 차단과 실질적으로 동일한 결과들을 선택적으로 달성하게 할 수 있을 수 있다.
3D 디스플레이의 예들
[0034] 웨어러블 시스템(본원에서 AR(augmented reality) 시스템으로 또한 지칭됨)은 2D 또는 3D 가상 이미지들을 사용자에게 제시하도록 구성될 수 있다. 이미지들은 정지 이미지들, 비디오의 프레임들 또는 비디오, 이들의 조합 등일 수 있다. 웨어러블 시스템의 적어도 일부는 사용자 상호작용을 위해 VR, AR 또는 MR 환경을 단독으로 또는 조합하여 제시할 수 있는 웨어러블 디바이스 상에서 구현될 수 있다. 웨어러블 디바이스는 ARD(AR device)로서 상호 교환 가능하게 사용될 수 있다. 또한, 본 개시내용의 목적을 위해, "AR"이란 용어는 "MR"이란 용어와 상호 교환 가능하게 사용된다.
[0035] 도 1a는 사람에 의해 뷰잉되는 소정의 물리적 객체들 및 소정의 가상 현실 객체들을 갖는 혼합 현실 시나리오의 예시를 도시한다. 도 1a에서, MR 장면(100)이 도시되며, 여기서 MR 기술의 사용자는 배경에 있는 사람들, 나무들, 빌딩들, 및 콘크리트 플랫폼(120)을 특징으로 하는 실세계 공원-형 세팅(110)을 본다. 이들 아이템들에 더하여, MR 기술의 사용자는 또한, 그가 실세계 플랫폼(120) 상에 서 있는 로봇 동상(130), 및 호박벌의 의인화인 것으로 보여지는 날고 있는 만화-형 아바타 캐릭터(140)를 보는 것을 지각하더라도, 이들 엘리먼트들은 실세계에 존재하지 않는다.
[0036] 3D 디스플레이가 실제 깊이감(sensation of depth) 및 보다 구체적으로, 시뮬레이팅된 표면 깊이감을 생성하기 위해, 디스플레이의 시계(visual field)의 각각의 포인트가 그의 가상 깊이에 대응하는 원근조절 응답을 생성하는 것이 바람직할 수 있다. 디스플레이 포인트에 대한 원근조절 응답이 수렴 및 입체시(stereopsis)의 양안 깊이 단서들에 의해 결정된 바와 같은 그 포인트의 가상 깊이에 대응하지 않는 경우, 인간의 눈은 원근조절 충돌을 경험할 수 있어, 불안정한 이미징, 유해한 눈의 피로, 두통들, 그리고 원근조절 정보의 부재 시에, 표면 깊이의 거의 완전한 결여를 초래할 수 있다.
[0037] 도 1b는 사람의 시야(field of view; FOV) 및 FOR(field of regard)를 예시한다. FOV는 주어진 시간에 사용자에 의해 지각되는 사용자의 환경의 일부를 포함한다. 이 시야는 사람이 돌아다니거나, 자신의 머리를 움직이거나, 또는 그의 눈들 또는 시선을 움직임에 따라 변할 수 있다.
[0038] FOR는 웨어러블 시스템을 통해 사용자에 의해 지각될 수 있는 사용자 주위 환경의 일부를 포함한다. 따라서, 머리-장착 디스플레이 디바이스를 착용하는 사용자의 경우, 착용자는 자신의 신체, 머리 또는 눈들을 움직여서 공간 내의 실질적으로 임의의 방향을 지각할 수 있기 때문에, FOR(field of regard)은 실질적으로, 착용자를 둘러싸는 4π 스테라디안 입체각 모두를 포함할 수 있다. 다른 맥락들에서, 사용자의 움직임들은 더욱 억제될 수 있고, 따라서 사용자의 FOR(field of regard)은 더 작은 입체각을 한정할 수 있다(subtend). 도 1b는 중심 구역 및 주변 구역을 포함하는 시야(155)를 도시한다. 중앙 시야는 환경 뷰의 중앙 구역에 있는 객체들의 대응하는 뷰를 사람에게 제공할 것이다. 유사하게, 주변 시야는 환경 뷰의 주변 구역에 있는 객체들의 대응하는 뷰를 사람에게 제공할 것이다. 이 경우에, 무엇이 중심인 것으로 간주되고 무엇이 주변인 것으로 간주될지는 사람이 바라보고 있는 방향 및 그에 따른 그의 시야의 함수이다. 시야(155)는 객체들(121, 122)을 포함할 수 있다. 이 예에서, 중앙 시야(145)는 객체(121)를 포함하는 반면, 다른 객체(122)는 주변 시야에 있다.
[0039] FOV(field of view)(155)는 다수의 객체들(예컨대, 객체들(121, 122))을 포함할 수 있다. 시야(155)는 AR 시스템의 크기 또는 광학 특성들, 예컨대, 광이 사용자 전방의 실세계로부터 사용자의 눈들로 전달되는 머리 장착 디스플레이의 투명한 윈도우 또는 렌즈의 명확한 어퍼처 크기에 의존할 수 있다. 일부 실시예들에서, 사용자(210)의 포즈(예컨대, 머리 포즈, 신체 포즈 및/또는 눈 포즈)가 변함에 따라, 시야(155)는 대응하게 변할 수 있고, 시야(155) 내의 객체들이 또한 변할 수 있다. 본원에서 설명된 바와 같이, 웨어러블 시스템은 FOR(field of regard)(165)의 객체들 뿐만 아니라 시야(155)의 객체들을 모니터링 또는 이미징하는 카메라들과 같은 센서들을 포함할 수 있다. 이러한 일부 실시예들에서, 웨어러블 시스템은 사용자의 시야(155)에서 발생하고 그리고/또는 FOR(field of regard)(165) 내이지만 사용자의 시야 외부에서 발생하는 눈에 띄지 않는 객체들 또는 이벤트들을 사용자에게 경고할 수 있다. 일부 실시예들에서, 웨어러블 시스템은 또한 사용자(210)가 주의를 기울이는 것과 기울이지 않는 것 간을 구별할 수 있다.
[0040] FOV 또는 FOR 내의 객체들은 가상 또는 물리적 객체들일 수 있다. 가상 객체들은, 예컨대, 운영 시스템 객체들, 이를테면, 예컨대, 커맨드들을 입력하기 위한 터미널, 파일들 또는 디렉토리들에 액세스하기 위한 파일 관리자, 아이콘, 메뉴, 오디오 또는 비디오 스트리밍을 위한 애플리케이션, 운영 시스템으로부터의 통지 등을 포함할 수 있다. 가상 객체들은 또한, 예컨대, 아바타들, 게임들의 가상 객체들, 그래픽들 또는 이미지들 등과 같은 애플리케이션의 객체들을 포함할 수 있다. 일부 가상 객체들은 운영 시스템 객체 및 애플리케이션의 객체 둘 모두일 수 있다. 웨어러블 시스템은 머리 장착 디스플레이의 투명한 광학기를 통해 뷰잉되는 기존의 물리적 객체들에 가상 엘리먼트들을 부가하고, 그리하여 물리적 객체들과의 사용자 상호작용을 허용할 수 있다. 예컨대, 웨어러블 시스템은 룸(room)에 의료 모니터와 연관된 가상 메뉴를 부가할 수 있으며, 여기서 가상 메뉴는 의료 이미징 장비 또는 도징 컨트롤(dosing control)들을 턴 온하거나 조정하는 옵션을 사용자에게 제공할 수 있다. 따라서, 머리-장착 디스플레이는 사용자의 환경에 있는 객체 외에도, 부가적인 가상 이미지 콘텐츠를 착용자에게 제시할 수 있다.
[0041] 도 1b는 또한, 예컨대, 자신의 머리를 돌리거나 자신의 시선의 방향을 바꿈으로써 사람(210)에 의해 지각될 수 있는 사람(210) 주의의 환경의 일부를 포함하는 FOR(field of regard)(165)을 도시한다. 사람(210)의 눈의 시야(155)의 중앙 부분은 중앙 시야(145)로서 지칭될 수 있다. 시야(155) 내에 있지만 중앙 시야(145)의 외측 구역은 주변 시야로서 지칭될 수 있다. 도 1b에서, FOR(field of regard)(165)은 웨어러블 시스템을 착용한 사용자에 의해 지각될 수 있는 객체들(예컨대, 객체들(121, 122, 127))의 그룹을 포함할 수 있다.
[0042] 일부 실시예들에서, 객체들(129)은 사용자의 시각적 FOR의 외측에 있을 수 있지만, 그럼에도 불구하고 웨어러블 디바이스 상의 센서(예컨대, 카메라)에 의해 (카메라의 위치 및 시야에 의존하여) 잠재적으로 지각될 수 있고, 객체(129)와 연관된 정보는 사용자(210)에 대해 디스플레이되거나 또는 웨어러블 디바이스에 의해 다른 방식으로 사용될 수 있다. 예컨대, 객체들(129)은 사용자의 환경의 벽 뒤에 있을 수 있어서, 객체들(129)은 사용자에 의해 시각적으로 지각 불가능하다 그러나, 웨어러블 디바이스는 객체들(129)과 통신할 수 있는 센서들(이를테면, 라디오 주파수, 블루투스, 무선 또는 다른 유형들의 센서들)을 포함할 수 있다.
디스플레이 시스템의 예들
[0043] VR, AR 및 MR 경험들은 복수의 깊이 평면들에 대응하는 이미지들이 뷰어에게 제공되는 디스플레이들을 갖는 디스플레이 시스템들에 의해 제공될 수 있다. 이미지들은 각각의 깊이 평면 마다 상이할 수 있고(예컨대, 장면 또는 객체의 약간 다른 프리젠테이션들을 제공함) 뷰어의 눈들에 의해 별개로 포커싱될 수 있어서, 상이한 깊이 평면 상에 로케이팅되는 장면에 대한 상이한 이미지 특징들에 포커스를 맞추도록 요구되는 눈의 원근조절에 기초하여 또는 상이한 깊이 평면들 상의 상이한 이미지 특징들이 아웃 포커스(out of focus)되는 것을 관찰하는 것에 기초하여 깊이 단서들을 사용자에게 제공하는 것을 돕는다. 본원의 다른 곳에서 논의된 바와 같이, 이러한 깊이 단서들은 깊이의 신뢰할 수 있는 지각들을 제공한다.
[0044] 도 2는 AR/VR/MR 장면을 제공하도록 구성될 수 있는 웨어러블 시스템(200)의 예를 예시한다. 웨어러블 시스템(200)은 또한 AR 시스템(200)으로서 지칭될 수 있다. 웨어러블 시스템(200)은 디스플레이(220), 및 디스플레이(220)의 기능을 지원하기 위한 다양한 기계적 및 전자적 모듈들 및 시스템들을 포함한다. 디스플레이(220)는 사용자, 착용자 또는 뷰어(210)에 의해 착용 가능한 프레임(230)에 커플링될 수 있다. 디스플레이(220)는 사용자(210)의 눈들 앞에 포지셔닝될 수 있다. 디스플레이(220)는 AR/VR/MR 콘텐츠를 사용자에게 제시할 수 있다. 디스플레이(220)는 사용자의 머리에 착용되는 HMD(head mounted display)를 포함할 수 있다. 일부 실시예들에서, 스피커(240)는 프레임(230)에 커플링되고 사용자의 외이도에 인접하게 포지셔닝된다(일부 실시예들에서, 도시되지 않은 다른 스피커가 사용자의 다른 외이도에 인접하게 포지셔닝되어 스테레오/성형 가능(shapeable) 사운드 제어를 제공함). 웨어러블 시스템(200)은 환경으로부터 오디오 스트림을 검출하고 주변 사운드를 캡처하기 위한 오디오 센서(232)(예컨대, 마이크로폰)를 포함할 수 있다. 일부 실시예들에서, 하나 이상의 다른 오디오 센서들(도시되지 않음)이 스테레오 사운드 수신을 제공하도록 포지셔닝된다. 스테레오 사운드 수신은 사운드 소스의 위치를 결정하는 데 사용될 수 있다. 웨어러블 시스템(200)은 오디오 스트림에 대해 음성 또는 스피치 인식을 수행할 수 있다.
[0045] 웨어러블 시스템(200)은 사용자 주위의 환경의 세계를 관찰하는 외향 이미징 시스템(464)(도 4에 도시됨)을 포함할 수 있다. 웨어러블 시스템(200)은 또한 사용자의 눈 움직임들을 추적할 수 있는 내향 이미징 시스템(462)(도 4에 도시됨)을 포함할 수 있다. 내향 이미징 시스템은 어느 한쪽 눈의 움직임들 또는 양쪽 눈의 움직임들을 추적할 수 있다. 내향 이미징 시스템(462)은 프레임(230)에 부착될 수 있고, 프로세싱 모듈(260 또는 270)과 전기 통신할 수 있으며, 이 프로세싱 모듈(260 또는 270)은 예컨대, 사용자(210)의 동공 직경들 또는 눈들의 배향들, 눈 움직임들 또는 눈 포즈(pose)를 결정하도록 내향 이미징 시스템에 의해 획득된 이미지 정보를 프로세싱할 수 있다.
[0046] 예로서, 웨어러블 시스템(200)은 외향 이미징 시스템(464) 또는 내향 이미징 시스템(462)을 사용하여 사용자의 포즈의 이미지들을 획득할 수 있다. 이미지들은 정지 이미지들, 비디오의 프레임들 또는 비디오일 수 있다.
[0047] 웨어러블 시스템(200)은 웨어러블 시스템(200)에 의해 사용자에게 제시되는 시각적 또는 가청 콘텐츠를 감쇄시키는 데 사용될 수 있는 사용자-선택 가능 현실 버튼(263)을 포함할 수 있다. 현실 버튼(263)이 작동될 때, 시각적 또는 가청 가상 콘텐츠는 (보통 디스플레이 조건들과 비교하여) 감소되어서, 사용자가 사용자의 환경에서 발생하는 실제 물리적 현실을 보다 더 지각하게 한다. 현실 버튼(263)은 터치식 또는 감압식일 수 있고, 웨어러블 시스템(200)의 프레임(230) 또는 (예컨대, 사용자의 허리 근처, 예컨대, 벨트 클립 상에 착용되는) 배터리 전력 팩 상에 배치될 수 있다. 현실 버튼(263)은 도 14a 및 도 14b를 참조하여 아래에서 추가로 설명될 것이다.
[0048] 디스플레이(220)는 이를테면, 유선 리드 또는 무선 연결성에 의해, 다양한 구성들로 장착될 수 있는, 이를테면, 프레임(230)에 고정되게 부착되거나, 사용자에 의해 착용된 헬멧 또는 모자에 고정되게 부착되거나, 헤드폰들에 내장되거나, 그렇지 않으면 사용자(210)에게 제거 가능하게 부착되는 (예컨대, 백팩(backpack)-스타일 구성으로, 벨트-커플링 스타일 구성으로) 로컬 데이터 프로세싱 모듈(260)에 동작 가능하게 커플링(250)될 수 있다.
[0049] 로컬 프로세싱 및 데이터 모듈(260)은 하드웨어 프로세서는 물론, 디지털 메모리 이를테면, 비-휘발성 메모리(예컨대, 플래시 메모리)를 포함할 수 있고, 이 둘 모두는 데이터의 프로세싱, 캐싱(caching) 및 저장을 보조하기 위해 활용될 수 있다. 데이터는 a) 센서들(예컨대, 프레임(230)에 동작 가능하게 커플링되거나 그렇지 않으면 사용자(210)에게 부착될 수 있음), 이를테면, 이미지 캡처 디바이스들(예컨대, 내향 이미징 시스템 또는 외향 이미징 시스템의 카메라들), 오디오 센서들(예컨대, 마이크로폰들), IMU(inertial measurement unit)들, 가속도계들, 컴퍼스(compass)들, GPS(global positioning system) 유닛들, 라디오 디바이스들, 또는 자이로스코프들로부터 캡처되고; 또는 b) 원격 프로세싱 모듈(270) 또는 원격 데이터 리포지토리(repository)(280)를 사용하여 획득 또는 프로세싱되는 (가능하게는, 이러한 프로세싱 또는 리트리벌(retrieval) 이후 디스플레이(220)에 전달하기 위한) 데이터를 포함할 수 있다. 로컬 프로세싱 및 데이터 모듈(260)은 통신 링크들(262 또는 264)에 의해, 이를테면, 유선 또는 무선 통신 링크들을 통하여, 원격 프로세싱 모듈(270) 또는 원격 데이터 리포지토리(280)에 동작 가능하게 커플링될 수 있어서, 이들 원격 모듈들은 로컬 프로세싱 및 데이터 모듈(260)에 대한 자원들로서 이용 가능하다. 또한, 원격 프로세싱 모듈(280) 및 원격 데이터 리포지토리(280)는 서로 동작 가능하게 커플링될 수 있다.
[0050] 일부 실시예들에서, 원격 프로세싱 모듈(270)은 데이터 또는 이미지 정보를 분석 및 프로세싱하도록 구성된 하나 이상의 프로세서들을 포함할 수 있다. 일부 실시예들에서, 원격 데이터 리포지토리(280)는 "클라우드" 자원 구성에서 인터넷 또는 다른 네트워킹 구성을 통하여 이용 가능할 수 있는 디지털 데이터 저장 설비를 포함할 수 있다. 일부 실시예들에서, 모든 데이터는 저장되고 모든 컴퓨테이션들은 로컬 프로세싱 및 데이터 모듈에서 수행되어, 원격 모듈로부터 완전히 자율적인 사용을 허용한다.
예시적인 환경 센서들
[0051] 환경 센서들(267)은 객체들, 자극들, 사람들, 동물들, 위치들, 또는 사용자 주위의 세계의 다른 양상들을 검출하도록 구성될 수 있다. 도 11a 내지 도 11c를 참조하여 추가로 설명된 바와 같이, 환경 센서들(267)에 의해 획득된 정보는 웨어러블 디바이스가 오디오 또는 가상 지각들을 뮤팅하게 할 수 있는 하나 이상의 트리거링 이벤트를 결정하는 데 사용될 수 있다. 환경 센서들은, 이미지 캡처 디바이스들(예컨대, 카메라들, 내향 이미징 시스템, 외향 이미징 시스템 등), 마이크로폰, IMU(inertial measurement unit)들, 가속도계들, 컴퍼스들, GPS(global positioning system) 유닛들, 라디오 디바이스들, 자이로스코프들, 고도계들, 기압계들, 화학적 센서들, 습도 센서들, 온도 센서들, 외부 마이크로폰들, 광 센서들(예컨대, 노출계(light meter)들), 타이밍 디바이스들(예컨대, 클록들 또는 캘린더들) 또는 이들의 임의의 조합 또는 서브조합을 포함할 수 있다. 일부 실시예들에서, 환경 센서들은 또한 다양한 생리적 센서들을 포함할 수 있다. 이 센서들은 심박수, 호흡률, 갈바니 피부 반응, 혈압, 뇌파 상태 등과 같은 사용자의 생리적 파라미터들을 측정하거나 추정할 수 있다. 환경 센서들은 레이저, 가시광, 비가시광 파장들, 또는 사운드(예컨대, 가청 사운드, 초음파 또는 다른 주파수들)와 같은 신호들을 수신하도록 구성된 방출 디바이스들을 더 포함할 수 있다. 일부 실시예들에서, 하나 이상의 환경 센서들(예컨대, 카메라들 또는 광 센서들)은 (예컨대, 환경의 조명 조건들을 캡처하기 위해) 환경의 주변 광(예컨대, 휘도)을 측정하도록 구성될 수 있다. 스트레인 게이지(strain gauge)들, 커브 필러(curb feeler) 등과 같은 물리적 접촉 센서들이 또한 환경 센서들로서 포함될 수 있다. 환경 센서들(267)에 대한 부가적인 세부사항들은 도 10을 참조하여 추가로 설명된다.
[0052] 로컬 프로세싱 및 데이터 모듈(260)은 통신 링크들(262 및/또는 264)에 의해, 이를테면, 유선 또는 무선 통신 링크들을 통하여, 원격 프로세싱 모듈(270) 및/또는 원격 데이터 리포지토리(280)에 동작 가능하게 커플링될 수 있어서, 이들 원격 모듈들은 로컬 프로세싱 및 데이터 모듈(260)에 대한 자원들로서 이용 가능하다. 또한, 원격 프로세싱 모듈(262) 및 원격 데이터 리포지토리(264)는 서로 동작 가능하게 커플링될 수 있다.
[0053] 웨어러블 시스템(200)은 추가로, 인터넷, 위성 통신 또는 다른 적합한 유선 또는 무선 데이터 통신 방법으로부터 수신될 수 있는, 다른 환경 입력들, 이를테면, GPS(global positioning satellite) 위치 데이터, 날씨 데이터, 날짜 및 시간, 또는 다른 이용 가능한 환경 데이터를 수신하도록 구성될 수 있다. 프로세싱 모듈(260)은 꽃가루 수(pollen count), 인구통계, 대기 오염, 환경 독소들, 스마트 온도 조절 장치(thermostat)들로부터의 정보, 라이프스타일 통계, 또는 다른 사용자들, 빌딩들 또는 건강관리 제공자에 대한 근접도와 같이 사용자 위치를 특징화하는 추가의 정보에 액세스하도록 구성될 수 있다. 일부 실시예들에서, 위치를 특징화하는 정보는 클라우드-기반 또는 다른 원격 데이터베이스들을 사용하여 액세스될 수 있다. 로컬 프로세싱 모듈(270)은 이러한 데이터를 획득하고 그리고/또는 환경 센서들 중 임의의 하나 또는 이들의 조합들로부터의 데이터를 추가로 분석하도록 구성될 수 있다.
3D 광 필드 디스플레이의 예들
[0054] 인간 시각 시스템은 복잡하고 현실적인 깊이의 지각을 제공하는 것은 난제이다. 이론에 의해 제한됨이 없이, 객체의 뷰어들은 이접운동 및 원근조절의 조합으로 인해 객체를 "3-차원"인 것으로 지각할 수 있다고 여겨진다. 서로에 대한 두 눈들의 이접운동(vergence) 움직임들(예컨대, 객체를 응시하기 위해 눈들의 시선들을 수렴하도록 서로를 향하는 또는 서로 멀어지는 동공들의 회전 움직임들)은 눈들의 렌즈들의 포커싱(또는 "원근조절")과 밀접하게 연관된다. 정상 조건들하에서, 하나의 객체로부터 상이한 거리에 있는 다른 객체로 포커스를 변화시키기 위하여, 눈들의 렌즈들의 포커스를 변화시키거나, 또는 눈들을 원근조절하는 것은 "원근조절-이접운동 반사(accommodation-vergence reflex)"로서 알려진 관계하에서, 동일한 거리에 대한 이접운동에서의 매칭하는 변화를 자동으로 유발할 것이다. 마찬가지로, 이접운동의 변화는 정상 조건들하에서, 원근조절의 매칭 변화를 트리거할 것이다. 원근조절과 이접운동 사이의 더 양호한 매칭을 제공하는 디스플레이 시스템들은 3-차원 이미저리의 더 현실적이거나 편안한 시뮬레이션들을 형성할 수 있다.
[0055] 도 3은 다중 깊이 평면들을 사용하여 3-차원 이미저리를 시뮬레이팅하기 위한 접근법의 양상들을 예시한다. 도 3을 참조하면, z-축 상에서 눈들(302 및 304)로부터 다양한 거리들에 있는 객체들은, 이들 객체들이 포커싱이 맞도록(in focus) 눈들(302 및 304)에 의해 원근조절된다. 눈들(302 및 304)은 z-축을 따라 상이한 거리들에 있는 객체들에 포커싱을 맞추게 하는 특정 원근조절된 상태들을 취한다. 결과적으로, 특정 원근조절된 상태는 연관된 초점 거리를 갖는, 깊이 평면들(306) 중 특정한 하나의 깊이 평면과 연관되는 것으로 말해질 수 있어서, 특정 깊이 평면의 객체들 또는 객체들의 부분들은, 눈이 해당 깊이 평면에 대해 원근조절된 상태에 있을 때 포커싱이 맞게 된다. 일부 실시예들에서, 3-차원 이미저리는 눈들(302 및 304) 각각에 대해 이미지의 상이한 프리젠테이션들을 제공함으로써, 그리고 또한 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 시뮬레이팅될 수 있다. 예시의 명확성을 위해 별개인 것으로 도시되지만, 눈들(302 및 304)의 시야들은 예컨대, z-축을 따른 거리가 증가함에 따라 겹쳐질 수 있다는 것이 인지될 것이다. 게다가, 예시의 용이함을 위해 평평한 것으로 도시되지만, 깊이 평면의 윤곽들은 물리적 공간에서 만곡될 수 있어서, 깊이 평면의 모든 특징들은 특정 원근조절된 상태에서 눈과 포커싱이 맞게 된다는 것이 인지될 것이다. 이론에 의해 제한됨이 없이, 인간 눈이 통상적으로 깊이 지각을 제공하기 위하여 유한 수의 깊이 평면들을 해석할 수 있다고 여겨진다. 결과적으로, 지각된 깊이의 매우 그럴듯한 시뮬레이션은, 눈에, 이들 제한된 수의 깊이 평면들 각각에 대응하는 이미지의 상이한 프리젠테이션들을 제공함으로써 달성될 수 있다.
도파관 스택 어셈블리
[0056] 도 4는 이미지 정보를 사용자에게 출력하기 위한 도파관 스택의 예를 예시한다. 웨어러블 시스템(400)은 복수의 도파관들(432b, 434b, 436b, 438b, 4400b)을 사용하여 3-차원 지각을 눈/뇌에 제공하기 위하여 활용될 수 있는 도파관들의 스택, 또는 스택된 도파관 어셈블리(480)를 포함한다. 일부 실시예들에서, 웨어러블 시스템(400)은 도 2a의 웨어러블 시스템(200)에 대응할 수 있고, 도 4는 그 웨어러블 시스템(200)의 일부 부분들을 더 상세히 개략적으로 보여준다. 예컨대, 일부 실시예들에서, 도파관 어셈블리(480)는 도 2a의 디스플레이(220)에 통합될 수 있다.
[0057] 도 4를 계속 참조하면, 도파관 어셈블리(480)는 또한 도파관들 사이에 복수의 특징들(458, 456, 454, 452)을 포함할 수 있다. 일부 실시예들에서, 특징들(458, 456, 454, 452)은 렌즈들일 수 있다. 다른 실시예들에서, 특징들(458, 456, 454, 452)은 렌즈들이 아닐 수 있다. 오히려, 이들은 단순히 스페이서들(예컨대, 에어 갭들을 형성하기 위한 클래딩 층들 또는 구조들)일 수 있다.
[0058] 도파관들(432b, 434b, 436b, 438b, 440b) 또는 복수의 렌즈들(458, 456, 454, 452)은 다양한 레벨들의 파면 곡률 또는 광선 발산으로 이미지 정보를 눈에 전송하도록 구성될 수 있다. 각각의 도파관 레벨은 특정 깊이 평면과 연관될 수 있고 그 깊이 평면에 대응하는 이미지 정보를 출력하도록 구성될 수 있다. 이미지 주입 디바이스들(420, 422, 424, 426, 428)은 이미지 정보를 도파관들(440b, 438b, 436b, 434b, 432b)에 주입하기 위하여 활용될 수 있고, 이 도파관들 각각은 눈(410)을 향하여 출력하도록, 각각의 개별 도파관을 가로질러 인입 광을 분산시키도록 구성될 수 있다. 광은 이미지 주입 디바이스들(420, 422, 424, 426, 428)의 출력 표면을 나가고 도파관들(440b, 438b, 436b, 434b, 432b)의 대응하는 입력 에지에 주입된다. 일부 실시예들에서, 단일 광 빔(예컨대, 시준된 빔)은 특정 도파관과 연관된 깊이 평면에 대응하는 특정 각도들(및 발산의 양들)로 눈(410)을 향하여 지향되는 시준된 클론 빔(cloned collimated beam)들의 전체 필드를 출력하기 위하여 각각의 도파관으로 주입될 수 있다.
[0059] 일부 실시예들에서, 이미지 주입 디바이스들(420, 422, 424, 426, 428)은 각각, 대응하는 도파관(440b, 438b, 436b, 434b, 432b)으로의 주입을 위한 이미지 정보를 각각 생성하는 이산 디스플레이들이다. 일부 다른 실시예들에서, 이미지 주입 디바이스들(420, 422, 424, 426, 428)은 예컨대, 이미지 정보를 하나 이상의 광학 도관들(예컨대, 광섬유 케이블들)을 통하여 이미지 주입 디바이스들(420, 422, 424, 426, 428) 각각에 파이핑(pipe)할 수 있는 단일 멀티플렉싱된 디스플레이의 출력 단부들이다.
[0060] 제어기(460)는 스택된 도파관 어셈블리(480) 및 이미지 주입 디바이스들(420, 422, 424, 426, 428)의 동작을 제어한다. 제어기(460)는 도파관들(440b, 438b, 436b, 434b, 432b)에 대한 이미지 정보의 타이밍 및 프로비전(provision)을 레귤레이팅하는 프로그래밍(예컨대, 비-일시적 컴퓨터-판독 가능 매체의 명령들)을 포함한다. 일부 실시예들에서, 제어기(460)는 단일 통합 디바이스, 또는 유선 또는 무선 통신 채널들에 의해 연결되는 분산 시스템일 수 있다. 제어기(460)는 일부 실시예들에서, 프로세싱 모듈들(260 또는 270)(도 2a에 예시됨)의 부분일 수 있다.
[0061] 도파관들(440b, 438b, 436b, 434b, 432b)은 TIR(total internal reflection)에 의해 각각의 개별 도파관 내에서 광을 전파시키도록 구성될 수 있다. 도파관들(440b, 438b, 436b, 434b, 432b)은 각각 평면형이거나 다른 형상(예컨대, 곡선)을 가질 수 있으며, 주 최상부 및 최하부 표면들 및 이들 주 최상부와 최하부 표면들 사이에서 연장되는 에지들을 갖는다. 예시된 구성에서, 도파관들(440b, 438b, 436b, 434b, 432b)은 이미지 정보를 눈(410)에 출력하기 위해 각각의 개별 도파관 내에서 전파되는 광을 도파관 밖으로 재지향시킴으로써 도파관으로부터 광을 추출하도록 구성된 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)을 각각 포함할 수 있다. 추출된 광은 아웃커플링된 광으로서 또한 지칭될 수 있고, 광 추출 광학 엘리먼트들은 또한 아웃커플링 광학 엘리먼트들로서 지칭될 수 있다. 추출된 광 빔은, 도파관 내에서 전파되는 광이 광 재지향 엘리먼트에 부딪치는 위치들에서 도파관에 의해 출력된다. 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 예컨대, 반사성 및/또는 회절성 광학 특징들일 수 있다. 설명의 용이함 및 도면 명확성을 위하여 도파관들(440b, 438b, 436b, 434b, 432b)의 최하부 주 표면들에 배치된 것으로 예시되지만, 일부 실시예들에서, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 최상부 및/또는 최하부 주 표면들에 배치될 수 있거나 도파관들(440b, 438b, 436b, 434b, 432b)의 볼륨에 직접 배치될 수 있다. 일부 실시예들에서, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 도파관들(440b, 438b, 436b, 434b, 432b)을 형성하기 위해 투명 기판에 부착된 재료 층에 형성될 수 있다. 일부 다른 실시예들에서, 도파관들(440b, 438b, 436b, 434b, 432b)은 재료의 모놀리식 피스(piece)일 수 있고 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 재료의 해당 피스의 표면 상에 그리고/또는 그 내부에 형성될 수 있다.
[0062] 도 4를 계속 참조하면, 본원에 논의된 바와 같이, 각각의 도파관(440b, 438b, 436b, 434b, 432b)은 특정 깊이 평면에 대응하는 이미지를 형성하기 위해 광을 출력하도록 구성된다. 예컨대, 눈에 가장 가까운 도파관(432b)은, 그러한 도파관(432b)에 주입된 시준된 광을 눈(410)에 전달하도록 구성될 수 있다. 시준된 광은 광학 무한대 초점 평면을 나타낼 수 있다. 다음 위의 도파관(434b)은 시준된 광이 눈(410)에 도달할 수 있기 전에 제1 렌즈(452)(예컨대, 네거티브 렌즈)를 통과하는 시준된 광을 보내도록 구성될 수 있다. 제1 렌즈(452)는 약간의 볼록한 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌가 상기 다음 위의 도파관(434b)으로부터 오는 광을 광학 무한대로부터 눈(410)을 향해 안쪽으로 더 가까운 제1 초점 평면으로부터 오는 것으로 해석한다. 유사하게, 세 번째 위의 도파관(436b)은 그 출력 광을, 눈(410)에 도달하기 전에 제1 렌즈(452) 및 제2 렌즈(454) 둘 모두를 통과시킨다. 제1 및 제2 렌즈들(452 및 454)의 결합된 광학 전력은 다른 증분 양의 파면 곡률을 생성하도록 구성될 수 있어서, 눈/뇌는 제3 도파관(436b)으로부터 오는 광을, 상기 다음 위의 도파관(434b)으로부터의 광보다는 광학 무한대로부터 사람을 향하여 안쪽으로 훨씬 더 가까운 제2 초점 평면으로부터 오는 것으로 해석한다.
[0063] 다른 도파관 층들(예컨대, 도파관들(438b, 440b)) 및 렌즈들(예컨대, 렌즈들(456, 458))은 유사하게 구성되는데, 스택에서 가장 높은 도파관(440b)은 자신의 출력을, 사람과 가장 가까운 초점 평면을 나타내는 어그리게이트 초점 전력에 대해 자신과 눈 사이의 렌즈들 모두를 통하여 전송한다. 스택된 도파관 어셈블리(480)의 다른 측 상에서 세계(470)로부터 오는 광을 보거나/해석할 때 렌즈들(458, 456, 454, 452)의 스택을 보상하기 위하여, 보상 렌즈 층(430)은 아래의 렌즈 스택(458, 456, 454, 452)의 어그리게이트 전력을 보상하기 위하여 스택의 최상부에 배치될 수 있다. 이러한 구성은 이용 가능한 도파관/렌즈 쌍들이 존재하는 만큼 많은 지각된 초점 평면들을 제공한다. 도파관들의 광 추출 광학 엘리먼트들 및 렌즈들의 포커싱 양상들 둘 모두는 정적(예컨대, 동적이 아니거나 전자-활성이 아님)일 수 있다. 일부 대안적인 실시예들에서, 어느 하나 또는 둘 모두는 전자-활성 특징들을 사용하여 동적일 수 있다.
[0064] 도 4를 계속 참조하면, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 자신의 개별 도파관들로부터 광을 재지향하는 것은 물론, 도파관과 연관된 특정 깊이 평면에 대해 적절한 양의 발산 또는 시준으로 이 광을 출력하도록 구성될 수 있다. 결과로서, 상이한 연관된 깊이 평면들을 가진 도파관들은 상이한 구성들의 광 추출 광학 엘리먼트들을 가질 수 있고, 이러한 광 추출 광학 엘리먼트들은 연관된 깊이 평면에 따라 상이한 양의 발산으로 광을 출력한다. 일부 실시예들에서, 본원에 논의된 바와 같이, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 특정 각도들로 광을 출력하도록 구성될 수 있는 볼류메트릭(volumetric) 또는 표면 특징들일 수 있다. 예컨대, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 볼륨 홀로그램들, 표면 홀로그램들, 또는 회절 격자들일 수 있다. 광 추출 광학 엘리먼트들, 이를테면, 회절 격자들은 2015년 6월 25일에 공개된 미국 특허 공개 번호 제2015/0178939호에 설명되며, 이는 그 전체가 본원에 인용에 의해 포함된다.
[0065] 일부 실시예들에서, 광 추출 광학 엘리먼트들(440a, 438a, 436a, 434a, 432a)은 회절 패턴을 형성하는 회절 특징들 또는 "회절 광학 엘리먼트"(또한 본원에서 "DOE"로서 지칭됨)이다. 바람직하게는, DOE는 비교적 낮은 회절 효율성을 가져서, 빔의 광의 일부만이 DOE의 각각의 교차의 경우 눈(410)을 향하여 편향되지만, 나머지는 내부 전반사를 통하여 도파관을 통해 계속 이동한다. 따라서, 이미지 정보를 전달하는 광은 다수의 위치들에서 도파관을 나가는 다수의 관련된 출사 빔들로 분할될 수 있고 그 결과는 이런 특정 시준된 빔이 도파관 내에서 이리저리 바운싱되기 때문에 눈(304)을 향하는 상당히 균일한 출사 방출 패턴이다.
[0066] 일부 실시예들에서, 하나 이상의 DOE들은, 그것들이 활발하게 회절시키는 "온" 상태와 그것들이 크게 회절시키지 않는 "오프" 상태 사이에서 스위칭 가능할 수 있다. 예컨대, 스위칭 가능 DOE는, 마이크로액적들이 호스트 매질에서 회절 패턴을 포함하는 중합체 분산형 액정 층을 포함할 수 있고, 마이크로액적들의 굴절률은 호스트 재료의 굴절률에 실질적으로 매칭하도록 스위칭될 수 있거나(이 경우에 패턴은 입사 광을 현저하게 회절시키지 않음) 또는 마이크로액적은 호스트 매질의 인덱스에 매칭하지 않는 인덱스로 스위칭될 수 있다(이 경우 패턴은 입사 광을 활발하게 회절시킴).
[0067] 일부 실시예들에서, 피사계 심도 또는 깊이 평면들의 수 및 분포는 뷰어의 눈들의 동공 크기들 또는 배향들에 기초하여 동적으로 변동될 수 있다. 피사계 심도는 뷰어의 동공 크기와 반대로 변경될 수 있다. 결과적으로, 뷰어의 눈들의 동공들의 크기들이 감소함에 따라, 피사계 심도가 증가하여서, 식별 불가능한 하나의 평면의 위치가 눈의 포커스의 깊이를 넘어서기 때문에 그 평면이 식별 가능하게 되고 동공 크기의 감소를 통해 보다 포커싱이 맞게 나타나고 피사계 심도의 증가와 상응할 수 있다. 마찬가지로, 뷰어에게 상이한 이미지들을 제시하는 데 사용되는 이격된 깊이 평면들의 수는 감소된 동공 크기에 따라 감소될 수 있다. 예컨대, 뷰어는 하나의 깊이 평면으로부터 벗어나게 그리고 다른 깊이 평면으로 눈의 원근조절을 조정하지 않고서는, 하나의 동공 크기에서 제1 깊이 평면 및 제2 깊이 평면 둘 모두의 세부사항들을 명확하게 지각할 수 없을 수 있다. 그러나, 이러한 2개의 깊이 평면들은 원근조절을 변경하지 않고도 다른 동공 크기에서 사용자에게 동시에 충분히 포커싱이 맞게 될 수 있다.
[0068] 일부 실시예들에서, 디스플레이 시스템은 동공 크기 또는 배향의 결정들에 또는 특정 동공 크기 또는 배향을 나타내는 전기 신호들의 수신에 기초하여 이미지 정보를 수신하는 도파관들의 수를 변동시킬 수 있다. 예컨대, 사용자의 눈들이 2개의 도파관들과 연관된 2개의 깊이 평면들 간을 구별할 수 없는 경우, 제어기(460)(로컬 프로세싱 및 데이터 모듈(260)의 실시예일 수 있음)는 이들 도파관들 중 하나에 이미지 정보를 제공하는 것을 중단하도록 구성되거나 프로그래밍될 수 있다. 유리하게는, 이는 시스템 상의 프로세싱 부담을 감소시킬 수 있고, 그리하여 시스템의 응답성을 증가시킨다. 도파관에 대한 DOE들이 온 상태와 오프상태 사이에서 스위칭 가능한 실시예들에서, 도파관이 이미지 정보를 수신할 때 DOE들은 오프 상태로 스위칭될 수 있다.
[0069] 일부 실시예들에서, 출사 빔이 뷰어의 눈의 직경 미만인 직경을 갖는 조건을 충족시키는 것이 바람직할 수 있다. 그러나 이 조건을 충족시키는 것은 뷰어의 동공들의 크기의 변동성을 고려하면 난제가 될 수 있다. 일부 실시예들에서, 이 조건은 뷰어의 동공의 크기의 결정에 대한 응답으로 출사 빔의 크기를 변동시킴으로써 광범위한 동공 크기들에 걸쳐 충족된다. 예컨대, 동공 크기가 감소함에 따라, 출사 빔의 크기가 또한 감소할 수 있다. 일부 실시예들에서, 출사 빔 크기는 가변 어퍼처를 사용하여 변동될 수 있다.
[0070] 웨어러블 시스템(400)은 세계(470)의 일부를 이미징하는 외향 이미징 시스템(464)(예컨대, 디지털 카메라)을 포함할 수 있다. 이러한 세계(470)의 일부는 세계 카메라의 FOV(field of view)로서 지칭될 수 있고, 이미징 시스템(464)은 때때로 FOV 카메라로서 지칭된다. 세계 카메라의 FOV는, 정해진 시간에 뷰어(210)가 지각하는 세계(470)의 부분을 포함하는, 뷰어(210)의 FOV와 동일할 수 있거나 동일하지 않을 수 있다. 예컨대, 일부 상황들에서, 세계 카메라의 FOV는 웨어러블 시스템(400)의 뷰어(210)의 뷰어(210)보다 클 수 있다. 뷰어에 의한 이미징 또는 뷰잉을 위해 이용 가능한 전체 구역은 FOR(field of regard)로서 지칭될 수 있다. 착용자가 자신의 신체, 머리 또는 눈들을 움직여 실질적으로 공간의 임의의 방향을 지각할 수 있기 때문에 FOR은 웨어러블 시스템(400)을 둘러싸는 4π 스테라디안(steradian)들의 입체각을 포함할 수 있다. 다른 맥락들에서, 착용자의 움직임들은 더욱 억제될 수 있고, 따라서 착용자의 FOR은 더 작은 입체각을 한정할 수 있다(subtend). 도 1b를 참조하여 설명된 바와 같이, 사용자(210)는 또한 사용자가 HMD를 사용할 때 사용자의 눈들과 연관된 FOV를 가질 수 있다. 일부 실시예들에서, 사용자의 눈들과 연관된 FOV는 이미징 시스템(464)의 FOV와 동일할 수 있다. 다른 실시예들에서, 사용자의 눈들과 연관된 FOV는 이미징 시스템(464)의 FOV와 상이할 수 있다. 외향 이미징 시스템(464)으로부터 획득된 이미지들은 사용자에 의해 행해진 제스처들(예컨대, 손 또는 손가락 제스처들)을 추적하고, 사용자 앞의 세계(470)의 객체들을 검출하는 등을 행하는 데 사용될 수 있다.
[0071] 웨어러블 시스템(400)은 주변 사운드를 캡처하기 위한 오디오 센서(232), 예컨대, 마이크로폰을 포함할 수 있다. 위에서 설명된 바와 같이, 일부 실시예들에서, 하나 이상의 다른 오디오 센서들은 스피치 소스의 위치 결정에 유용한 스테레오 사운드 수신을 제공하도록 포지셔닝될 수 있다. 오디오 센서(232)는 다른 예로서, 오디오 소스가 로케이팅하는 곳에 대한 그러한 유용한 지향성 정보를 또한 제공할 수 있는 지향성 마이크로폰을 포함할 수 있다.
[0072] 웨어러블 시스템(400)은 또한 눈 움직임들 및 얼굴 움직임들과 같은 사용자의 움직임들을 관찰하는 내향 이미징 시스템(466)(예컨대, 디지털 카메라)을 포함할 수 있다. 내향 이미징 시스템(466)은 눈(304)의 동공의 크기 또는 배향을 결정하기 위해 눈(410)의 이미지들을 캡처하는 데 사용될 수 있다. 내향 이미징 시스템(466)은, (예컨대, 홍채 식별을 통해) 사용자의 바이오메트릭 식별(biometric identification)을 위한 이미지들 또는 사용자가 바라보는 방향(예컨대, 눈 포즈)을 결정하는 데 사용하기 위한 이미지들을 획득하는 데 사용될 수 있다. 일부 실시예들에서, 독립적으로, 각각의 눈의 동공 크기 또는 눈 포즈를 별개로 결정하고, 그리하여 각각의 눈에 대한 이미지 정보의 프리젠테이션이 그 눈에 동적으로 맞춰지도록 허용하기 위해, 각각의 눈마다 적어도 하나의 카메라가 활용될 수 있다. 일부 다른 실시예들에서, (예컨대, 한 쌍의 눈들 당 단지 단일 카메라만을 사용하여) 단지 한쪽 눈(410)의 동공 직경 또는 배향이 결정되고 사용자의 양 눈들에 대해 유사한 것으로 가정된다. 내향 이미징 시스템(466)에 의해 획득된 이미지들은 어떤 청각적 또는 시각적 콘텐츠가 사용자에게 제시되어야 하는지를 결정하기 위해 웨어러블 시스템(400)에 의해 사용될 수 있는 사용자의 눈 포즈 또는 분위기(mood)를 결정하도록 분석될 수 있다. 웨어러블 시스템(400)은 또한 IMU들, 가속도계들, 자이로스코프들 등과 같은 센서들을 사용하여 머리 포즈(예컨대, 머리 포지션 또는 머리 배향)를 결정할 수 있다.
[0073] 웨어러블 시스템(400)은, 사용자가 웨어러블 시스템(400)과 상호작용하도록 제어기(460)에 커맨드들을 입력할 수 있게 하는 사용자 입력 디바이스(466)를 포함할 수 있다. 예컨대, 사용자 입력 디바이스(466)는 트랙패드, 터치스크린, 조이스틱, 다중 DOF(degree-of-freedom) 제어기, 용량성 감지 디바이스, 게임 제어기, 키보드, 마우스, 방향 패드(D-pad), 완드(wand), 햅틱 디바이스, 토템(예컨대, 가상 사용자 입력 디바이스로서 기능함) 등을 포함할 수 있다. 다중-DOF 제어기는 그 제어기의 일부 또는 모든 가능한 병진운동(translation)들(예컨대, 좌/우, 전/후 또는 위/아래) 또는 회전들(예컨대, 요(yaw), 피치 또는 롤)로 사용자 입력을 감지할 수 있다. 병진운동 움직임들을 지원하는 다중-DOF 제어기는 3DOF로서 지칭될 수 있는 반면, 병진운동들 및 회전들을 지원하는 다중-DOF 제어기는 6DOF로서 지칭될 수 있다. 일부 경우들에서, 사용자는 손가락(예컨대, 엄지 손가락)을 사용하여, 웨어러블 시스템(400)에 입력을 제공하도록(예컨대, 웨어러블 시스템(400)에 의해 제공되는 사용자 인터페이스에 사용자 입력을 제공하도록) 터치-감지 입력 디바이스를 누르거나 스와이핑(swipe)할 수 있다. 사용자 입력 디바이스(466)는 웨어러블 시스템(400)의 사용 동안 사용자의 손에 의해 보유될 수 있다. 사용자 입력 디바이스(466)는 웨어러블 시스템(400)과 유선 또는 무선 통신할 수 있다.
[0074] 도 5는 도파관에 의해 출력된 출사 빔들의 예를 도시한다. 하나의 도파관이 예시되지만, 도파관 어셈블리(480) 내의 다른 도파관들이 유사하게 기능할 수 있다는 것이 인지될 것이며, 여기서 도파관 어셈블리(480)는 다수의 도파관들을 포함한다. 광(520)은 도파관(432b)의 입력 에지(432c)에서 도파관(432b)으로 주입되고 TIR에 의해 도파관(432b) 내에서 전파된다. 광(520)이 DOE(432a)에 충돌하는 포인트들에서, 광의 일부는 출사 빔들(510)로서 도파관을 나간다. 출사 빔들(510)은 실질적으로 평행한 것으로 예시되지만, 이들 출사 빔들(510)은 또한 도파관(432b)과 연관된 깊이 평면에 따라, 임의의 각도로 눈(410)으로 전파되도록 재지향될 수 있다(예컨대, 발산하는 출사 빔들을 형성함). 실질적으로 평행한 출사 빔들은, 눈(410)으로부터 먼 거리(예컨대, 광학적 무한대)에 있는 깊이 평면 상에 세팅된 것으로 보이는 이미지들을 형성하도록 광을 아웃커플링하는 광 추출 광학 엘리먼트들을 갖는 도파관을 나타낼 수 있다는 것이 인지될 것이다. 다른 도파관들 또는 광 추출 광학 엘리먼트들의 다른 세트들은 더 발산하는 출사 빔 패턴을 출력할 수 있고, 이는 눈(410)이 망막 상에 포커싱을 맞추게 하기 위해 더 가까운 거리로 원근조절하는 것을 요구할 것이고 광학적 무한대보다 눈(410)에 더 가까운 거리로부터의 광으로서 뇌에 의해 해석될 것이다.
[0075] 도 6은, 다중-초점 볼류메트릭 디스플레이, 이미지 또는 광 필드의 생성에 사용되는, 도파관 장치, 도파관 장치로 또는 도파관 장치로부터의 광을 광학적으로 커플링하는 광학 커플러 서브시스템, 및 제어 서브시스템을 포함하는 광학 시스템을 도시하는 개략도이다. 광학 시스템은 도파관 장치, 도파관 장치로 또는 상기 도파관 장치로부터의 광을 광학적으로 커플링하는 광학 커플러 서브시스템, 및 제어 서브시스템을 포함할 수 있다. 광학 시스템은 다중-초점 볼류메트릭, 이미지 또는 광 필드를 생성하는 데 사용할 수 있다. 광학 시스템은 하나 이상의 주 평면 도파관들(632a)(도 6에서 단지 하나만 도시됨) 및 주 도파관들(632a) 중 적어도 일부의 주 도파관들 각각과 연관된 하나 이상의 DOE들(632b)을 포함할 수 있다. 평면 도파관들(632b)은 도 4를 참조하여 논의된 도파관들(432b, 434b, 436b, 438b, 440b)과 유사할 수 있다. 광학 시스템은 제1 축(도 6의 뷰에서 수직 또는 Y-축)을 따라 광을 중계하고 제1 축(예컨대, Y-축)을 따라 광의 유효 출사동을 확장시키기 위해 분배 도파관 장치를 사용할 수 있다. 분배 도파관 장치는, 예컨대, 분배 평면 도파관(622b) 및 분배 평면 도파관(622b)과 연관된 적어도 하나의 DOE(622a)(이중 일점 쇄선으로 예시됨)를 포함할 수 있다. 분배 평면 도파관(622b)은 그와 상이한 배향을 갖는 주 평면 도파관(632b)과 적어도 일부 면들에서 유사하거나 동일할 수 있다. 마찬가지로, 적어도 하나의 DOE(622a)는 DOE(632a)와 적어도 일부 면들에서 유사하거나 동일할 수 있다. 예컨대, 분배 평면 도파관(622b) 또는 DOE(622a)는 각각, 주 평면 도파관(632b) 또는 DOE(632a)와 동일한 재료들로 구성될 수 있다. 도 6에 도시된 광학 디스플레이 시스템(600)의 실시예들은 도 2a에 도시된 웨어러블 시스템(200)에 통합될 수 있다.
[0076] 중계된 그리고 출사동 확장된 광은 분배 도파관 장치로부터 하나 이상의 주 평면 도파관들(632b)로 광학적으로 커플링될 수 있다. 주 평면 도파관(632b)은 바람직하게는, 제1 축과 직교하는 제2 축(예컨대, 도 6의 뷰에서 수평 또는 X-축)을 따라 광을 중계할 수 있다. 특히, 제2 축은 제1 축에 대해 비-직교 축일 수 있다. 주 평면 도파관(632b)은 제2 축(예컨대, X-축)을 따라 광의 유효 출사동을 확장시킨다. 예컨대, 분배 평면 도파관(622b)은 수직 또는 Y- 축을 따라 광을 중계 및 확장시키고, 수평 또는 X-축을 따라 광을 중계 및 확장시킬 수 있는 주 평면 도파관(632b)으로 그 광을 전달할 수 있다.
[0077] 광학 시스템은 단일 모드 광섬유(640)의 근위 단부에 광학적으로 커플링될 수 있는 컬러 광(예컨대, 적색, 녹색 및 청색 레이저 광)의 하나 이상의 소스들(610)을 포함할 수 있다. 광 섬유(640)의 원위 단부는 압전 재료의 중공 튜브(642)를 통해 수용되거나 스레딩(thread)될 수 있다. 원위 단부는 픽스-프리(fixed-free) 가요성 캔틸레버(644)로서 튜브(642)로부터 돌출한다. 압전 튜브(642)는 4개의 쿼드런트(quadrant) 전극들(예시되지 않음)과 연관될 수 있다. 전극들은 예컨대, 튜브(642)의 외부, 외부 표면 또는 외부 주변부 또는 직경 상에 도금될 수 있다. 코어 전극(예시되지 않음)은 또한 튜브(642)의 코어, 중앙, 내부 주변부 또는 내부 직경에 로케이팅될 수 있다.
[0078] 예컨대, 와이어들(660)을 통해 전기적으로 커플링된 구동 전자 장치(650)는 2개의 축들에서 압전 튜브(642)를 독립적으로 구부리기 위해 대향하는 전극 쌍들을 구동한다. 광섬유(644)의 돌출 원위 팁은 기계적 공진 모드들을 갖는다. 공진 주파수들은 광섬유(644)의 직경, 길이 및 재료 성질들에 의존할 수 있다. 섬유 캔틸레버(644)의 제1 기계적 공진 모드에 근사하게 압전 튜브(642)를 진동시킴으로써, 섬유 캔틸레버(644)는 진동하게 될 수 있고, 큰 편향들을 통해 스윕(sweep)할 수 있다.
[0079] 2개의 축들에서 공진 진동을 자극함으로써, 섬유 캔틸레버(644)의 팁은 영역 필링 2-차원(2D) 스캔으로 2축 방향으로(biaxially) 스캔된다. 섬유 캔틸레버(644)의 스캔과 동기하여 광원(들)(610)의 세기를 변조함으로써, 섬유 캔틸레버(644)로부터 나오는 광은 이미지를 형성할 수 있다. 그러한 셋업에 대한 설명들은 그 전체가 인용에 의해 본원에 포함되는 미국 특허 공보 제2014/0003762호에서 제공된다.
[0080] 광학 커플러 서브시스템의 컴포넌트는 스캐닝 섬유 캔틸레버(644)로부터 나오는 광을 시준할 수 있다. 시준된 광은 미러 표면(mirrored surface)(648)에 의해 적어도 하나의 DOE(diffractive optical element)(622a)를 포함하는 좁은 분배 평면 도파관(622b)으로 반사될 수 있다. 시준된 광은 TIR에 의해 분배 평면 도파관(622b)을 따라(도 6의 뷰에 대해) 수직으로 전파될 수 있고, 이렇게 하여, DOE(622a)와 반복적으로 교차한다. DOE(622a)는 바람직하게는, 낮은 회절 효율을 갖는다. 이는, 광의 프랙션(fraction)(예컨대, 10%)이 DOE(622a)와의 각각의 교차 포인트에서 더 큰 주 평면 도파관(632b)의 에지를 향해 회절되게 하고, 광의 프랙션이 TIR을 통해 분배 평면 도파관(622b)의 길이를 따라 내려가 그의 원래의 궤적을 지속하게할 수 있다.
[0081] DOE(622a)와의 각각의 교차 포인트에서, 부가적인 광이 주 도파관(632b)의 입구를 향해 회절될 수 있다. 인입 광을 다수의 아웃커플링된 세트들로 분할함으로써, 광의 출사동은 분배 평면 도파관(622b)에서 DOE(622a)에 의해 수직으로 확장될 수 있다. 분배 평면 도파관(622b) 밖으로 커플링되는 이러한 수직으로 확장된 광은 주 평면 도파관(632b)의 에지에 진입할 수 있다.
[0082] 주 도파관(632b)에 진입하는 광은 TIR을 통해 주 도파관(632b)을 따라(도 6의 뷰에 대해) 수평으로 전파될 수 있다. 광이 TIR을 통해 주 도파관(632b)의 길이의 적어도 일부를 따라 수평으로 전파됨에 따라 광은 다수의 포인트들에서 DOE(632a)와 교차한다. DOE(632a)는 유리하게는, 광의 편향 및 포커싱 둘 모두를 생성하도록, 선형 회절 패턴 및 방사상 대칭 회절 패턴의 합인 위상 프로파일(phase profile)을 갖도록 설계 또는 구성될 수 있다. DOE(632a)는 유리하게는, 낮은 회절 효율(예컨대, 10%)을 가질 수 있어서, 빔의 광 중 일부만이 DOE(632a)의 각각의 교차에 의해 뷰어의 눈을 향해 편향되는 반면에, 광의 나머지는 TIR을 통해 주 도파관(632b)을 통해 계속 전파된다.
[0083] 전파되는 광과 DOE(632a) 사이의 각각의 교차 포인트에서, 광의 프랙션이 주 도파관(632b)의 인접한 면을 향해 회절되어, 광이 TIR을 벗어나 주 도파관(632b)의 면으로부터 나오게 한다. 일부 실시예들에서, DOE(632a)의 방사상 대칭 회절 패턴은 부가적으로 회절된 광에 포커스 레벨을 부여하여, 개별 빔의 광 파면을 성형(예컨대, 곡률을 부여함)하는 것은 물론, 설계된 포커스 레벨과 매칭하는 각도로 빔을 조종한다.
[0084] 따라서, 이들 상이한 경로들은 상이한 각도들의, 포커스 레벨에서 다수의 DOE들(632a)에 의해, 또는 출사동에서 상이한 필 패턴(fill pattern)들의 산출에 의해 광이 주 평면 도파관(632b) 밖으로 커플링되게 할 수 있다. 출사동에서의 상이한 필 패턴들은 다수의 깊이 평면들을 갖는 광 필드 디스플레이를 생성하는데 유리하게 사용될 수 있다. 도파관 어셈블리의 각각의 층 또는 스택의 층들의 세트(예컨대, 3개의 층들)는 각자의 컬러(예컨대, 적색, 청색, 녹색)를 생성하는 데 사용될 수 있다. 따라서, 예컨대, 3개의 인접한 층들의 제1 세트는 제1 초점 깊이의 적색, 청색 및 녹색 광을 각각 생성하도록 사용될 수 있다. 3개의 인접한 층들의 제2 세트는 제2 초점 깊이의 적색, 청색 및 녹색 광을 각각 생성하도록 사용될 수 있다. 다수의 세트들이 다양한 초점 깊이들을 갖는 풀(full) 3D 또는 4D 컬러 이미지 광 필드를 생성하도록 사용될 수 있다.
웨어러블 시스템의 다른 컴포넌트
[0085] 다수의 구현들에서, 웨어러블 시스템은 위에서 설명된 웨어러블 시스템의 컴포넌트들에 부가적으로 또는 대안적으로 다른 컴포넌트들을 포함할 수 있다. 웨어러블 시스템은 예컨대, 하나 이상의 햅틱 디바이스들 또는 컴포넌트들을 포함할 수 있다. 햅틱 디바이스들 또는 컴포넌트들은 사용자에게 촉감을 제공하도록 동작 가능할 수 있다. 예컨대, 햅틱 디바이스들 또는 컴포넌트들은 가상 콘텐츠(예컨대, 가상 객체들, 가상 툴들, 다른 가상 구조들)를 터치할 때 압력 또는 텍스처의 촉감을 제공할 수 있다. 촉감은 가상 객체가 표현하는 물리적 객체의 느낌(feel)을 복제할 수 있거나, 또는 가상 콘텐츠가 표현하는 이미징된 객체 또는 캐릭터(예컨대, 용)의 느낌을 복제할 수 있다. 일부 구현들에서, 햅틱 디바이스들 또는 컴포넌트들(예컨대, 사용자 웨어러블 글러브)은 사용자에 의해 착용될 수 있다. 일부 구현들에서, 햅틱 디바이스들 또는 컴포넌트들은 사용자에 의해 보유될 수 있다.
[0086] 웨어러블 시스템은 예컨대, 웨어러블 시스템과의 상호작용 또는 입력을 허용하기 위해 사용자에 의해 조작 가능한 하나 이상의 물리적 객체들을 포함할 수 있다. 이러한 물리적 객체들은 본원에서 토템(totem)들로서 지칭될 수 있다. 일부 토템들은 예컨대, 금속 또는 플라스틱 조각, 벽, 테이블의 표면과 같은 무생물의 형태를 취할 수 있다. 특정 구현들에서, 토템들은 실제로, 어떠한 물리적 입력 구조들(예컨대, 키들, 트리거들, 조이스틱, 트랙볼, 로커 스위치(rocker switch))도 갖지 않을 수 있다. 대신, 토템은 단순히 물리적 표면을 제공할 수 있고 웨어러블 시스템은 사용자 인터페이스가 토템의 하나 이상의 표면들 상에 있는 것으로 사용자에게 나타나게 렌더링할 수 있다. 예컨대, 웨어러블 시스템은 컴퓨터 키보드 및 트랙패드의 이미지가 토템의 하나 이상의 표면들에 상주하는 것처럼 나타나게 렌더링할 수 있다. 예컨대, 웨어러블 시스템은 가상 컴퓨터 키보드 및 가상 트랙패드가, 토템으로서 역할을 하는 얇은 직사각형 알루미늄 플레이트의 표면 상에 나타나게 렌더링할 수 있다. 직사각형 플레이트 그 자체는 어떠한 물리적 키들 또는 트랙패드 또는 센서들도 갖지 않는다. 그러나, 웨어러블 시스템은 가상 키보드 또는 가상 트랙패드를 통해 이루어진 선택들 또는 입력들로서 직사각형 플레이트에 대한 사용자 조작 또는 상호작용 또는 터치들을 검출할 수 있다. 사용자 입력 디바이스(466)(도 4에 도시됨)는, 트랙패드, 터치 패드, 트리거, 조이스틱, 트랙볼, 로커 또는 가상 스위치, 마우스, 키보드, 다중-자유도 제어기 또는 다른 물리적 입력 디바이스를 포함할 수 있는 토템의 실시예일 수 있다. 사용자는 토템을 단독으로 또는 포즈들과 함께 사용하여 웨어러블 시스템 또는 다른 사용자들과 상호작용할 수 있다.
[0087] 본 개시내용의 웨어러블 디바이스들, HMD 및 디스플레이 시스템들과 함께 사용 가능한 햅틱 디바이스들 및 토템들의 예들은, 그 전체가 본원에 인용에 의해 포함되는 미국 특허 공보 제2015/0016777호에서 설명된다.
웨어러블 시스템들, 환경들 및 인터페이스들의 예들
[0088] 웨어러블 시스템은 렌더링된 광 필드들에서 높은 피사계 심도를 달성하기 위해 다양한 맵핑 관련 기술들을 사용할 수 있다. 가상 세계의 맵핑 시에, 실제 세계와 관련하여 가상 객체들을 정확하게 묘사하기 위해 현실 세계의 모든 특징들 및 포인트들을 아는 것이 유리하다. 이를 위해, 웨어러블 시스템의 사용자들로부터 캡처된 FOV 이미지들이 실제 세계의 다양한 포인트들 및 특징들에 관한 정보를 전달하는 새로운 사진들을 포함함으로써 세계 모델에 부가될 수 있다. 예컨대, 웨어러블 시스템은 맵 포인트의 세트(이를테면, 2D 포인트들 또는 3D 포인트들)를 수집하고 새로운 맵 포인트들을 발견하여 세계 모델의 보다 정확한 버전을 렌더링할 수 있다. 제1 사용자의 세계 모델이(예컨대, 클라우드 네트워크와 같은 네트워크를 통해) 제2 사용자에게 통신될 수 있어서, 제2 사용자는 제1 사용자 주위의 세계를 경험할 수 있다.
[0089] 도 7은 MR 환경(700)의 예의 블록도이다. MR 환경(700)은 하나 이상의 사용자 웨어러블 시스템들(예컨대, 웨어러블 시스템(200) 또는 디스플레이 시스템(220)) 또는 정적 룸(stationary room) 시스템들(예컨대, 룸 카메라들 등)로부터 입력(예컨대, 사용자의 웨어러블 시스템으로부터의 시각적 입력(702), 이를테면, 룸 카메라들로부터의 정적 입력(704), 다양한 센서들로부터의 감각 입력(706), 제스처들, 토템들, 눈 추적, 사용자 입력 디바이스(466)로부터의 사용자 입력 등)을 수신하도록 구성될 수 있다. 웨어러블 시스템들은 사용자의 환경의 위치 및 다양한 다른 속성들을 결정하기 위해 다양한 센서들(예컨대, 가속도계들, 자이로스코프들, 온도 센서들, 움직임 센서들, 깊이 센서들, GPS 센서들, 내향 이미징 시스템, 외향 이미징 시스템 등)을 사용할 수 있다. 이 정보는 추가로, 이미지들을 제공할 수 있는 룸의 정적 카메라들로부터의 정보 또는 상이한 관점으로부터의 다양한 단서들로 보완될 수 있다. 카메라들(이를테면, 룸 카메라들 또는 외향 이미징 시스템의 카메라들)에 의해 획득된 이미지 데이터는 맵핑 포인트들의 세트로 감소될 수 있다.
[0090] 하나 이상의 객체 인식기들(708)은 맵 데이터베이스(710)의 도움으로 수신된 데이터(예컨대, 포인트들의 모음)를 크롤링(crawl)하고, 포인트들을 인식 또는 맵핑하고, 이미지들을 태깅하고, 의미 정보를 객체들에 첨부할 수 있다. 맵 데이터베이스(710)는 시간에 걸쳐 수집된 다양한 포인트들 및 그들의 대응하는 객체들을 포함할 수 있다. 다양한 디바이스들 및 맵 데이터베이스는 클라우드에 액세스하기 위해 네트워크(예컨대, LAN, WAN 등)를 통해 서로 연결될 수 있다.
[0091] 맵 데이터베이스의 이러한 정보 및 포인트들의 모음에 기초하여, 객체 인식기들(708a 내지 708n)은 환경 내의 객체들을 인식할 수 있다. 예컨대, 객체 인식기들은 얼굴들, 사람들, 창문들, 벽들, 사용자 입력 디바이스들, 텔레비전들, 문서들(예컨대, 본원에서의 보안 예들에서 설명된 바와 같은 여행 티켓들, 운전 면허증, 여권), 사용자의 환경의 다른 객체들 등을 인식할 수 있다. 하나 이상의 객체 인식기들이 소정의 특성들을 갖는 객체에 대해 전문화될 수 있다. 예컨대, 객체 인식기(708a)는 얼굴들을 인식하는 데 사용될 수 있는 반면에, 다른 객체 인식기는 문서들을 인식하는 데 사용될 수 있다.
[0092] 객체 인식들은 다양한 컴퓨터 비전 기술들을 사용하여 수행될 수 있다. 예컨대, 웨어러블 시스템은 장면 재구성, 이벤트 검출, 비디오 추적, 객체 인식(예컨대, 사람들 또는 문서들), 객체 포즈 추정, (예컨대, 환경 내의 사람 또는 문서 상의 이미지로부터) 얼굴 인식, 학습(learning), 인덱싱, 모션 추정 또는 이미지 분석(예컨대, 사진들, 서명들, 식별 정보, 여행 정보 등과 같은 문서들 내의 표시들을 식별함) 등을 수행하도록 외향 이미징 시스템(464)(도 4에 도시됨)에 의해 획득된 이미지들을 분석할 수 있다. 이러한 작업들을 수행하기 위해 하나 이상의 컴퓨터 비전 알고리즘들이 사용될 수 있다. 컴퓨터 비전 알고리즘들의 비-제한적인 예들은, SIFT(Scale-invariant feature transform), SURF(speeded up robust features), ORB(oriented FAST and rotated BRIEF), BRISK(binary robust invariant scalable keypoints), FREAK(fast retina keypoint), Viola-Jones 알고리즘, Eigenfaces 접근법, Lucas-Kanade 알고리즘, Horn-Schunk 알고리즘, Mean-shift 알고리즘, vSLAM(visual simultaneous location and mapping) 기술들, 순차적 베이지안 추정기(예컨대, 칼만 필터, 확장된 칼만 필터 등), 번들 조정, 적응형 임계화(Adaptive thresholding)(및 다른 임계화 기술들), ICP(Iterative Closest Point), SGM(Semi Global Matching), SGBM(Semi Global Block Matching), 특징 포인트 히스토그램(Feature Point Histogram)들, (예컨대, 지원 벡터 머신, k-최근접 이웃 알고리즘, 나이브 베이즈(Naive Bayes), 뉴럴 네트워크(콘볼루셔널 또는 딥 뉴럴 네트워크들을 포함함) 또는 다른 감독/비-감독 모델들 등과 같은) 다양한 머신 학습 알고리즘들 등을 포함한다.
[0093] 하나 이상의 객체 인식기들(708)은 또한 이미지들로부터 텍스트를 식별 및 추출하기 위해 다양한 텍스트 인식 알고리즘들을 구현할 수 있다. 일부 예시적인 텍스트 인식 알고리즘들은, OCR(optical character recognition) 알고리즘들, 딥 러닝 알고리즘(예컨대, 딥 뉴럴 네트워크들), 패턴 매칭 알고리즘들, 사전-프로세싱을 위한 알고리즘 등을 포함한다.
[0094] 객체 인식들은 부가적으로 또는 대안적으로, 다양한 머신 학습 알고리즘들에 의해 수행될 수 있다. 일단 트레이닝되면, 머신 학습 알고리즘은 HMD에 의해 저장될 수 있다. 머신 학습 알고리즘들의 일부 예들은, (예컨대, 정규 최소 제곱화 회귀 분석(Ordinary Least Squares Regression)과 같은) 회귀 알고리즘들, (예컨대, 학습 벡터 양자화(Learning Vector Quantization)와 같은) 인스턴스-기반 알고리즘들, (예컨대, 분류 및 회귀 트리들과 같은) 결정 트리 알고리즘들, (예컨대, 나이브 베이즈(Naive Bayes)와 같은) 베이지안 알고리즘들, (예컨대, k-평균 클러스터링과 같은) 클러스터링 알고리즘들, (예컨대, 선험적 알고리즘들과 같은) 연관 규칙 학습 알고리즘들, (예컨대, 퍼셉트론(Perceptron)과 같은) 인공 뉴럴 네트워크 알고리즘들, (예컨대, 딥 볼츠만 머신, 또는 딥 뉴럴 네트워크와 같은) 딥 러닝 알고리즘들, (예컨대, 주 성분 분석(Principal Component Analysis)과 같은) 차원성 감소 알고리즘, (예컨대, 누적된 일반화(Stacked Generalization)와 같은) 앙상블 알고리즘들 또는 다른 머신 학습 알고리즘들을 포함하는 감독 또는 비-감독 머신 학습 알고리즘들을 포함할 수 있다. 일부 실시예들에서, 개별 모델들은 개별 데이터 세트들에 대해 커스터마이징될 수 있다. 예컨대, 웨어러블 디바이스는 기본 모델을 생성하거나 저장할 수 있다. 기본 모델은 데이터 유형(예컨대, 텔레프레전스(telepresence) 세션의 특정 사용자), 데이터 세트(예컨대, 텔레프레전스 세션의 사용자의 획득된 부가적인 이미지들의 세트), 조건부 상황들 또는 다른 변동들에 특정한 부가적인 모델들을 생성하기 위한 시작 포인트로서 사용될 수 있다. 일부 실시예들에서, 웨어러블 HMD는 어그리게이팅된 데이터의 분석을 위한 모델들을 생성하기 위해 복수의 기술들을 활용하도록 구성될 수 있다. 다른 기술들은 미리 정의된 임계치들 또는 데이터 값들을 사용하는 것을 포함할 수 있다.
[0095] 맵 데이터베이스의 이러한 정보 및 포인트들의 모음에 기초하여, 객체 인식기들(708a 내지 708n)은 객체들을 인식하고 객체들에 생명을 부여하기 위해 의미 정보로 객체들을 보충할 수 있다. 예컨대, 객체 인식기가 포인트들의 세트를 문이라고 인식하는 경우, 시스템은 일부 의미 정보를 첨부할 수 있다(예컨대, 문은 힌지(hinge)를 가지며 힌지를 중심으로 90도 움직임을 가짐). 객체 인식기가 포인트들의 세트를 미러라고 인식하는 경우, 시스템은 미러는 룸 내의 객체들의 이미지들을 반사할 수 있는 반사 표면을 갖는다는 의미 정보를 첨부할 수 있다. 의미 정보는 본원에서 설명된 바와 같이 객체들의 어포던스들(affordance)을 포함할 수 있다. 예컨대, 의미 정보는 객체의 법선을 포함할 수 있다. 시스템은 방향이 객체의 법선을 표시하는 벡터를 할당할 수 있다. 소정의 구현들에서, 일단 객체 인식기(708)가 사용자의 주변의 이미지들로부터 인식된 객체들에 기초하여 환경(예컨대, 레저 또는 업무 환경, 공공 또는 사적 환경, 또는 가정 환경 등)을 인식하면, 웨어러블 시스템은 인식된 환경을 세계 맵의 소정의 좌표들 또는 GPS 좌표들과 연관시킨다. 예컨대, (예컨대, 객체 인식기(708) 또는 사용자의 응답을 통해) 환경이 사용자의 집의 거실인 것을 웨어러블 시스템이 인식하면, 웨어러블 시스템은 환경의 위치를 GPS 좌표 또는 세계 맵의 위치와 자동으로 연관시킬 수 있다. 결과적으로, 사용자가 장래에 동일한 위치에 진입할 때, 웨어러블 시스템은 거실 환경에 기초하여 가상 콘텐츠를 제시/차단할 수 있다. 웨어러블 시스템은 또한, 환경에 대한 시멘틱 정보(semantic information)의 부분으로서 웨어러블 디바이스를 뮤팅하거나 인식된 환경에 대해 맞춤형 콘텐츠를 제시하기 위한 세팅을 생성할 수 있다. 따라서, 사용자가 장래에 동일한 위치에 진입할 때, 웨어러블 시스템은 환경의 유형을 재인식할 필요 없이, 환경에 따라 자동으로 가상 콘텐츠를 제시하거나 웨어러블 디바이스를 뮤팅할 수 있으며, 이는 효율성을 개선하고 레이턴시를 감소시킬 수 있다.
[0096] 시간이 지남에 따라, 시스템(로컬로 상주할 수 있거나, 또는 무선 네트워크를 통해 액세스 가능할 수 있음)이 세계로부터 더 많은 데이터를 누적함에 따라 맵 데이터베이스가 성장한다. 객체들이 인식되면, 정보는 하나 이상의 웨어러블 시스템들에 전송될 수 있다. 예컨대, MR 환경(700)은 캘리포니아에서 일어나는 장면에 관한 정보를 포함할 수 있다. 환경(700)은 뉴욕의 하나 이상의 사용자들에 송신될 수 있다. FOV 카메라로부터 수신된 데이터 및 다른 입력들에 기초하여, 객체 인식기들 및 다른 소프트웨어 컴포넌트들은 다양한 이미지들로부터 수집된 포인트들을 맵핑하고, 객체들을 인식하는 등을 수행할 수 있어서, 장면이 세계의 상이한 부분에 있을 수 있는 제2 사용자에게 정확히 "전달될" 수 있다. 환경(700)은 또한 로컬화(localization) 목적들을 위해 토폴로지 맵(topological map)을 사용할 수 있다.
[0097] 도 8은 인지된 객체들과 관련하여 가상 콘텐츠를 렌더링하는 방법(800)의 예의 프로세스 흐름도이다. 방법(800)은 가상 장면이 웨어러블 시스템의 사용자에게 어떻게 제시될 수 있는지를 설명한다. 사용자는 장면으로부터 지리적으로 멀리 있을 수 있다. 예컨대, 사용자는 뉴욕에 있을 수 있지만, 현재 캘리포니아에서 진행되고 있는 장면을 보기를 원할 수 있거나, 또는 캘리포니아에 거주하는 친구와 함께 산책을 하러 가기를 원할 수 있다.
[0098] 블록(810)에서, 웨어러블 시스템은 사용자 및 다른 사용자들로부터, 사용자의 환경에 관한 입력을 수신할 수 있다. 이는 다양한 입력 디바이스들 및 맵 데이터베이스에 이미 보유된 지식을 통해 달성될 수 있다. 사용자의 FOV 카메라, 센서들, GPS, 눈 추적 등은 블록(810)에서 시스템에 정보를 전달한다. 시스템은 블록(820)에서 이 정보에 기초하여 희소 포인트들을 결정할 수 있다. 희소 포인트들은 사용자의 주변들의 다양한 객체들의 배향 및 포지션을 디스플레이 및 이해하는 데 사용될 수 있는 포즈 데이터(예컨대, 머리 포즈, 눈 포즈, 신체 포즈 또는 손 제스처들)를 결정하는 데 사용될 수 있다. 객체 인식기들(708a-708n)은 블록(830)에서 이러한 수집된 포인트들을 크롤링하고 맵 데이터베이스를 사용하여 하나 이상의 객체들을 인식할 수 있다. 그 후, 이 정보는 블록(840)에서, 사용자의 개별 웨어러블 시스템에 전달될 수 있고, 블록(850)에서, 원하는 가상 장면이 사용자에게 상응하게 디스플레이될 수 있다. 예컨대, 원하는 가상 장면(예컨대, CA의 사용자)은 뉴욕의 사용자의 다양한 객체들 및 다른 주변들과 관련하여 적절한 배향, 포지션 등에서 디스플레이될 수 있다.
[0099] 도 9는 웨어러블 시스템의 다른 예의 블록도이다. 이 예에서, 웨어러블 시스템(900)은 세계의 맵 데이터를 포함하는 맵 데이터베이스(710)를 포함할 수 있는 맵(920)을 포함한다. 맵은 부분적으로 웨어러블 시스템 상에 로컬로 상주할 수 있고, (예컨대, 클라우드 시스템에서) 유선 또는 무선 네트워크에 의해 액세스 가능한 네트워킹된 저장 위치들에 부분적으로 상주할 수 있다. 포즈 프로세스(910)는 웨어러블 컴퓨팅 아키텍처(예컨대, 프로세싱 모듈(260) 또는 제어기(460)) 상에서 실행되고 웨어러블 컴퓨팅 하드웨어 또는 사용자의 포지션 및 배향을 결정하기 위해 맵(920)으로부터 데이터를 활용할 수 있다. 포즈 데이터는 사용자가 시스템을 경험하고 세계에서 동작할 때 즉석에서 수집된 데이터로부터 컴퓨팅될 수 있다. 데이터는 이미지들, 센서들(이를테면, 일반적으로 가속도계 및 자이로스코프 컴포넌트들을 포함하는 관성 측정 유닛들)로부터의 데이터 및 실제 또는 가상 환경 내의 객체들과 관련된 표면 정보를 포함할 수 있다.
[0100] 희소 포인트 표현은 동시성 로컬화 및 맵핑(예컨대, 입력이 이미지들/시각 전용인 구성을 지칭하는 SLAM 또는 vSLAM) 프로세스의 출력일 수 있다. 시스템은 다양한 컴포넌트들이 세계 어디에 있는지 뿐만 아니라, 세상이 무엇으로 이루어져 있는지를 파악하도록 구성될 수 있다. 포즈는 맵을 파퓰레이트하고 맵으로부터의 데이터를 사용하는 것을 포함해서, 다수의 목표들을 달성하는 빌딩 블록일 수 있다.
[0101] 일 실시예에서, 희소 포인트 포지션은 그 자체로 완전히 충분하지 않을 수 있고, 다중 초점 AR, VR 또는 MR 경험을 생성하기 위해 추가의 정보가 필요할 수 있다. 일반적으로 깊이 맵 정보를 지칭하는 밀집된 표현들이 이 갭을 적어도 부분적으로 채우기 위해 활용될 수 있다. 이러한 정보는 스테레오(940)로서 지칭되는 프로세스로부터 컴퓨팅될 수 있으며, 여기서 깊이 정보가 삼각측량 또는 비행-시간 감지와 같은 기술을 사용하여 결정된다. 이미지 정보 및 활성 패턴들(이를테면, 활성 프로젝터들을 사용하여 생성된 적외선 패턴들), 이미지 카메라들로부터 획득된 이미지들, 또는 손 제스처들/토템(950)은 스테레오 프로세스(940)에 대한 입력으로서 역할을 할 수 있다. 상당한 양의 깊이 맵 정보가 함께 융합될 수 있으며, 그 중 일부는 표면 표현으로 요약될 수 있다. 예컨대, 수학적으로 정의 가능한 표면들은 (예컨대, 대형 포인트 클라우드에 비해) 효율적일 수 있고, 게임 엔진들과 같은 다른 프로세싱 디바이스들에 이해 가능한 입력들일 수 있다. 따라서, 스테레오 프로세스(940)의 출력(예컨대, 깊이 맵)은 융합 프로세스(930)에서 결합될 수 있다. 포즈(910)는 또한 이 융합 프로세스(930)에 대한 입력일 수 있고, 융합(930)의 출력은 맵 프로세스(920)를 파퓰레이트(populating)하기 위한 입력이 된다. 서브-표면들이 이를테면, 지형적 맵핑(topographical mapping)에서 서로 연결되어 더 큰 표면들을 형성할 수 있고 맵은 포인트들 및 표면들의 대형 혼합물이 된다.
[0102] 혼합 현실 프로세스(960)에서의 다양한 양상들을 해결하기 위해, 다양한 입력들이 활용될 수 있다. 예컨대, 도 9에 도시된 실시예에서, 게임 파라미터들은, 시스템의 사용자가 다양한 위치들의 하나 이상의 몬스터들, 다양한 조건들(이를테면, 사용자가 몬스터를 쏘는 경우) 하에서 죽거나 도망가는 몬스터들, 다양한 위치들의 벽들 또는 다른 객체들 등을 갖는 몬스터 전투 게임을 플레이하고 있다고 결정하기 위한 입력일 수 있다. 세계 맵은 객체들의 위치에 관한 정보 또는 객체들의 의미 정보를 포함할 수 있고 세계 맵은 혼합 현실에 대한 다른 귀중한 입력일 수 있다. 세계에 대한 포즈가 또한 입력이 되며 거의 모든 상호작용 시스템에 대해 중요한 역할을 한다.
[0103] 사용자로부터의 제어들 또는 입력들은 웨어러블 시스템(900)에 대한 다른 입력이다. 본원에서 설명된 바와 같이, 사용자 입력들은 시각적 입력, 제스처들, 토템들, 오디오 입력, 감각 입력 등을 포함할 수 있다. 예컨대, 주위를 돌아다니거나 게임을 플레이하기 위해, 사용자는 웨어러블 시스템(900)에, 자신이 하기를 원하는 것에 관해 지시할 필요가 있을 수 있다. 단지 공간에서 자신을 움직이는 것 외에도, 활용될 수 있는 다양한 형태들의 사용자 제어들이 존재한다. 일 실시예에서, 토템(예컨대, 사용자 입력 디바이스) 또는 객체, 이를테면, 장난감 총은 사용자에 의해 보유되고 시스템에 의해 추적될 수 있다. 시스템은 바람직하게는, 사용자가 아이템을 홀딩(holding)하고 있다는 것을 인지하고 사용자가 아이템과 어떤 종류의 상호작용을 하고 있는지를 이해하도록 구성될 것이다(예컨대, 토템 또는 객체가 총인 경우, 시스템은 위치 및 배향은 물론, IMU와 같은 센서가 장착될 수 있는 트리거 또는 다른 감지 버튼 또는 엘리먼트를 사용자가 클릭하고 있는지 여부를 이해하도록 구성될 수 있으며, 이러한 센서는 그러한 활동이, 카메라들 중 임의의 것의 시야 내에 있지 않을 때조차도 무슨 일이 일어나고 있는지를 결정하는데 도움을 줄 수 있음).
[0104] 손 제스처 추적 또는 인식은 또한 입력 정보를 제공할 수 있다. 웨어러블 시스템(900)은 버튼 누름들에 대한 손 제스처들, 왼쪽 또는 오른쪽, 정지, 잡기, 홀드 등을 제스처링하는 손 제스처들을 추적 및 해석하도록 구성될 수 있다. 예컨대, 일 구성에서, 사용자는 비-게임 환경에서 이메일들 또는 캘린더를 훑어보거나(flip through) 다른 사람이나 플레이어와 "주먹 인사(fist bump)"를 하기를 원할 수 있다. 웨어러블 시스템(900)은 동적일 수 있거나 동적이지 않을 수 있는 최소량의 손 제스처를 레버리지(leverage)하도록 구성될 수 있다. 예컨대, 제스처들은 중지를 나타내는 손 펴기, ok를 나타내는 엄지 올리기, not ok를 나타내는 엄지 내리기; 또는 방향 커맨드들을 나타내는 우측 또는 좌측 또는 위/아래로의 손 뒤집기와 같은 단순한 정적 제스처일 수도 있다.
[0105] 눈 추적(예컨대, 특정 깊이 또는 범위에서 렌더링하도록 디스플레이 기술을 제어하기 위해 사용자가 바라보는 곳을 추적함)은 다른 입력이다. 일 실시예에서, 눈들의 이접운동은 삼각측량을 사용하여 결정될 수 있고, 그 후, 그 특정 사람에 대해 발현되는 이접운동/원근조절 모델을 사용하여, 원근조절이 결정될 수 있다. 눈 시선(예컨대, 한쪽 또는 양쪽 눈들의 방향 또는 배향)을 결정하기 위해 눈 카메라(들)에 의해 눈 추적이 수행될 수 있다. 예컨대, 눈(들) 근처에 배치된 전극들에 의한 전위들의 측정(예컨대, 전기 안구도 기록(electrooculography))과 같은 눈 추적을 위한 다른 기술들이 사용될 수 있다.
[0106] 스피치 추적은 단독으로 또는 다른 입력들(예컨대, 토템 추적, 눈 추적, 제스처 추적 등)과 함께 사용될 수 있는 다른 입력일 수 있다. 스피치 추적은 스피치 인식, 음성 인식을 단독으로 또는 조합하여 포함할 수 있다. 시스템(900)은 환경으로부터 오디오 스트림을 수신하는 오디오 센서(예컨대, 마이크로폰)를 포함할 수 있다. 시스템(900)은 누가 말하고 있는지(예컨대, 스피치가 웨어러블 디바이스의 착용자 또는 다른 사람 또는 음성(예컨대, 환경 내의 라우드스피커에 의해 송신된 레코딩된 음성)으로부터 왔는지)를 결정하기 위한 음성 인식 기술은 물론, 무엇을 말하고 있는지를 결정하기 위한 스피치 인식 기술을 포함할 수 있다. 로컬 데이터 및 프로세싱 모듈(260) 또는 원격 프로세싱 모듈(270)은 예컨대, 히든 마르코프 모델(hidden Markov model)들, DTW(dynamic time warping)-기반 스피치 인식들, 뉴럴 네트워크들, 딥 러닝 알고리즘들, 이를테면, 딥 피드포워드 및 회귀 뉴럴 네트워크(recurrent neural network)들, 단-대-단 자동 스피치 인식들, (도 7을 참조하여 설명된) 머신 학습 알고리즘들, 또는 음향 모델링 또는 언어 모델링을 사용하는 다른 알고리즘들 등과 같은 다양한 스피치 인식 알고리즘들을 적용함으로써 스피치의 콘텐츠를 식별하기 위해 마이크로폰으로부터의 오디오 데이터(또는, 예컨대, 사용자에 의해 시청되는 비디오 스트림과 같은 다른 스트림의 오디오 데이터)를 프로세싱할 수 있다.
[0107] 혼합 현실 프로세스(960)에 대한 다른 입력은 이벤트 추적을 포함할 수 있다. 외향 이미징 시스템(464)으로부터 획득된 데이터는 이벤트 추적에 사용될 수 있고, 웨어러블 시스템은 (컴퓨터 비전 기술들을 사용하여) 그러한 이미징 정보를 분석하여, 시스템으로 하여금 사용자에게 제시되는 시각적 또는 가청 콘텐츠를 자동으로 뮤팅하게 하는 것이 유리할 수 있는 트리거링 이벤트가 발생했는지를 결정할 수 있다.
[0108] 로컬 데이터 및 프로세싱 모듈(260) 또는 원격 프로세싱 모듈(270)은 또한, 스피커의 아이덴티티, 이를테면, 스피커가 웨어러블 시스템(900)의 사용자(210)인지 또는 사용자가 대화중인 다른 사람인지를 식별할 수 있는 음성 인식 알고리즘들을 적용할 수 있다. 일부 예시적인 음성 인식 알고리즘들은 주파수 추정, 숨겨진 마르코프 모델들, 가우스 혼합 모델, 패턴 매칭 알고리즘들, 뉴럴 네트워크들, 매트릭스 표현, 벡터 양자화, 스피커 분리(speaker diarisation), 결정 트리들 및 DTW(dynamic time warping) 기술을 포함할 수 있다. 음성 인식 기술들은 또한, 코호트 모델들 및 세계 모델들과 같은 안티-스피커(anti-speaker) 기술들을 포함할 수 있다. 스펙트럼 특징들은 스피커 특성들을 나타내는 데 사용될 수 있다. 로컬 데이터 및 프로세싱 모듈 또는 원격 데이터 프로세싱 모듈(270)은 음성 인식을 수행하기 위해 도 7을 참조하여 설명된 다양한 머신 학습 알고리즘들을 사용할 수 있다.
[0109] 카메라 시스템들과 관련하여, 도 9에 도시된 예시적인 웨어러블 시스템(900)은 3쌍의 카메라들, 즉 사용자의 얼굴의 측면들에 대해 배열되는 비교적 넓은 FOV 또는 수동 SLAM 쌍의 카메라들, 스테레오 이미징 프로세스(940)를 처리하기 위해 그리고 또한, 손 제스처들을 캡처하고 사용자의 얼굴 앞의 토템/객체 추적을 위해 사용자 앞에 배향된 상이한 쌍의 카메라들을 포함할 수 있다. FOV 카메라들 또는 스테레오 프로세스(940)를 위한 카메라들의 쌍은 또한 카메라(16)로서 지칭될 수 있다. 스테레오 프로세스(940)를 위한 FOV 카메라들 및 카메라들의 쌍은 외향 이미징 시스템(464)(도 4에 도시됨)의 부분일 수 있다. 웨어러블 시스템(900)은 눈 벡터들 및 다른 정보를 삼각 측량하기 위해 사용자의 눈들을 향해 배향되는 눈 추적 카메라들(눈 카메라(24)로서 또한 도시되었고, 도 4에 도시된 내향 이미징 시스템(462)의 부분일 수 있음)을 포함 할 수 있다. 웨어러블 시스템(900)은 또한 장면에 텍스처를 주입하기 위해 하나 이상의 텍스처링된 광 프로젝터들(이를테면, 적외선(IR) 프로젝터들)을 포함할 수 있다.
환경 센서들을 포함한 웨어러블 시스템의 예들
[0110] 도 10은 환경 센서들을 포함하는 웨어러블 시스템의 다양한 컴포넌트들의 예의 개략도를 도시한다. 일부 실시예들에서, 증강 현실 디스플레이 시스템(1010)은 도 2에 예시된 디스플레이 시스템(100)의 실시예일 수 있다. AR 디스플레이 시스템(1010)은 일부 구현들에서 혼합 현실 디스플레이 시스템일 수 있다. 환경 센서들은 센서들(24, 28, 30, 32 및 34)을 포함할 수 있다. 환경 센서는 AR 시스템의 사용자에 관한 데이터를 검출하도록 구성되거나(사용자 센서로서 또한 지칭됨), 또는 사용자의 환경에 관한 데이터를 수집하도록 구성될 수 있다(외부 센서로서 또한 지칭됨). 예컨대, 생리적 센서는 사용자 센서의 실시예일 수 있는 반면, 기압계는 외부 센서일 수 있다. 일부 상황들에서, 센서는 사용자 센서 및 외부 센서 둘 모두일 수 있다. 예컨대, 외향 이미징 시스템은 사용자가 (예컨대, 미러와 같은) 반사 표면 전방에 있을 때 사용자의 이미지뿐만 아니라 사용자의 환경의 이미지를 획득할 수 있다. 다른 예로서, 마이크로폰은 사용자로부터 그리고 환경으로부터 사운드를 획득할 수 있기 때문에, 마이크로폰은 사용자 센서 및 외부 센서 둘 모두로서 역할을 할 수 있다. 도 10에 예시된 예에서, 센서들(24, 28, 30 및 32)은 사용자 센서들일 수 있는 반면, 센서(34)는 외부 센서일 수 있다.
[0111] 예시된 바와 같이, 증강 현실 디스플레이 시스템(1010)은 다양한 사용자 센서들을 포함할 수 있다. 증강 현실 디스플레이 시스템(1010)은 뷰어 이미징 시스템(22)을 포함할 수 있다. 뷰어 이미징 시스템(22)은 도 4에 설명된 내향 이미징 시스템(466)의 실시예일 수 있다. 뷰어 이미징 시스템(22)은 사용자(예컨대, 눈들(1001, 1002), 및/또는 사용자의 주변 조직들)로 지향되고 이를 모니터링하도록 구성되는, 광원들(26)(예컨대 적외선 광원들)과 페어링된 카메라들(24)(예컨대, 적외선, UV 및/또는 가시광 카메라들)을 포함할 수 있다. 카메라(24) 및 광원들(26)은 로컬 프로세싱 모듈(270)에 동작 가능하게 커플링될 수 있다. 이러한 카메라들(24)은 본원에서 개시된 다양한 분석들을 수행하기 위해 각각의 눈들의 동공들(동공 크기들을 포함함) 또는 홍채들 및/또는 눈 주위 조직들, 이를테면, 눈꺼풀들 또는 눈썹들의 배향, 형상 및 대칭성 중 하나 이상을 모니터링하도록 구성될 수 있다. 일부 실시예들에서, 눈의 홍채 및/또는 망막의 이미징은 사용자의 안전한 식별을 위해 사용될 수 있다. 도 10을 계속 참조하면, 카메라(24)는 추가로, 이를테면, 눈 기저부(fundus)의 와(fovea) 또는 피처들과 같은 망막 피처들의 위치에 기초한 진단 목적들을 위해 그리고/또는 배향 추적을 위해 각각의 눈들의 망막들을 이미징하도록 구성될 수 있다. 홍채 및 망막 이미징 또는 스캐닝은 사용자들의 안전한 식별을 위해 예컨대, 사용자 데이터를 특정 사용자와 올바르게 연관시키기 위해 그리고/또는 적절한 사용자에게 개인 정보를 제시하도록 수행될 수 있다. 일부 실시예들에서, 카메라(24)에 부가적으로 또는 이에 대안으로서, 하나 이상의 카메라들(28)은 사용자의 상태의 다양한 다른 양상들을 검출 및/또는 모니터링하도록 구성될 수 있다. 예컨대, 하나 이상의 카메라들(28)은 안쪽을 향하며 사용자의 눈들 이외의 특징들, 예컨대, 하나 이상의 얼굴 특징들의 형상, 포지션, 움직임, 컬러 및/또는 다른 성질들(예컨대, 얼굴 표정, 자발적인 움직임, 비자발적인 틱들)을 모니터링하도록 구성될 수 있다. 다른 예에서, 하나 이상의 카메라들(28)은 아래쪽을 향하거나 바깥쪽을 향하고, 사용자의, 사용자의 FOV 내의 다른 사람의 팔들, 손들, 다리들, 발들 및/또는 몸통, FOV 내의 객체들 등의 포지션, 움직임 및/또는 다른 특징들 또는 성질들을 모니터링하도록 구성될 수 있다. 카메라들(28)은 환경을 이미징하는 데 사용될 수 있고, 이러한 이미지들은, 웨어러블 디바이스에 의해 사용자에게 제시되는 시각적 또는 가청 콘텐츠가 뮤팅되어야만 하도록 하는 트리거링 이벤트가 발생하는지를 결정하기 위해 웨어러블 디바이스에 의해 분석될 수 있다.
[0112] 일부 실시예들에서, 본원에서 개시된 바와 같이, 디스플레이 시스템(1010)은 이미지를 형성하기 위해, 섬유 스캐너(fiber scanner)(예컨대, 도 4의 이미지 주입 디바이스(420, 422, 424, 426, 428))를 통해 사용자의 망막에 걸쳐 광 빔들을 가변 가능하게 프로젝팅하는 공간 광 변조기를 포함한다. 일부 실시예들에서, 섬유 스캐너는 예컨대, 사용자의 눈들을 추적하거나 이미징하기 위해 카메라들(24 또는 28)과 함께 또는 그 대신에 사용될 수 있다. 예컨대, 광을 출력하도록 구성되는 스캐닝 섬유에 대한 대안으로서 또는 이에 부가적으로, 건강 시스템은 사용자의 눈들로부터 반사된 광을 수신하고 그 반사된 광과 연관된 데이터를 수집하기 위해 별개의 광-수신 디바이스를 가질 수 있다.
[0113] 도 10을 계속 참조하면, 카메라들(24, 28) 및 광원들(26)은 도파관 스택들(1005, 1006)을 또한 홀딩할 수 있는 프레임(230) 상에 장착될 수 있다. 일부 실시예들에서, 디스플레이 시스템(1010)의 센서들 및/또는 다른 전자 디바이스들(예컨대, 카메라들(24, 28) 및 광원들(26))은 통신 링크들(262, 264)을 통해 로컬 프로세싱 및 데이터 모듈(270)과 통신하도록 구성될 수 있다.
[0114] 일부 실시예들에서, 사용자에 관한 데이터를 제공하는 것 외에도, 카메라들(24 및 28) 중 하나 또는 둘 모두는 사용자 입력을 제공하기 위해 눈들을 추적하는 데 활용될 수 있다. 예컨대, 뷰어 이미징 시스템(22)은 이를테면, 본원에서 개시된 다양한 테스트들 및 분석들에 있어 사용자 응답들을 제공하도록 가상 메뉴들 상의 아이템을 선택하고 그리고/또는 디스플레이 시스템(2010)에 다른 입력을 제공하는 데 활용될 수 있다.
[0115] 일부 실시예들에서, 디스플레이 시스템(1010)은 모션 센서들(32), 이를테면, 하나 이상의 가속도계들, 자이로들, 제스처 센서들, 보행 센서들, 밸런스 센서들 및/또는 IMU 센서들을 포함할 수 있다. 센서(30)들은 사운드들, 및 검출된 사운드들의 세기 및 유형, 다수의 신호들의 존재 및/또는 신호 위치를 포함한 이러한 사운드의 다양한 성질들을 검출하도록 구성된 하나 이상의 안쪽으로 지향되는 (사용자 지향) 마이크로폰들을 포함할 수 있다.
[0116] 센서들(30)은 프레임(230)에 연결되는 것으로서 개략적으로 예시된다. 이러한 연결은 프레임(230)에 대한 물리적 부착의 형태를 취할 수 있고, 사용자의 귀들 위로 연장되는 프레임(230)의 템플들의 단부들을 포함한, 프레임(230) 상의 임의의 곳일 수 있다는 것이 인지될 것이다. 예컨대, 센서들(30)은 프레임(230)과 사용자 사이의 접촉 포인트에서 프레임(230)의 템플들의 단부들에 장착될 수 있다. 일부 다른 실시예에서, 센서들(30)은 사용자(210)와 접촉하도록 프레임(230)으로부터 멀어지게 연장될 수 있다. 또 다른 실시예들에서, 센서들(30)은 프레임(230)에 물리적으로 부착되지 않을 수 있고; 오히려, 센서들(30)은 프레임(230)으로부터 이격될 수 있다.
[0117] 일부 실시예들에서, 디스플레이 시스템(1010)은 객체들, 자극들, 사람들, 동물들, 위치들, 또는 사용자 주위의 세계의 다른 양상들을 검출하도록 구성되는 하나 이상의 환경 센서들(34)을 더 포함할 수 있다. 예컨대, 환경 센서들(34)은 하나 이상의 카메라들, 고도계들, 기압계들, 화학 센서들, 습도 센서들, 온도 센서들, 외부 마이크로폰들, 광 센서들(예컨대, 노출계들), 타이밍 디바이스들(예컨대, 클록들 또는 캘린더들) 또는 이들의 임의의 조합 또는 서브조합을 포함할 수 있다. 일부 실시예들에서, 다수(예컨대, 2개)의 마이크로폰들은 사운드 소스 위치 결정들을 용이하게 하기 위해 이격될 수 있다. 환경 감지 카메라들을 포함하는 다양한 실시예들에서, 카메라들은 예컨대, 사용자의 통상 시야의 적어도 일부와 유사한 이미지들을 캡처하도록 바깥쪽을 향해 로케이팅될 수 있다. 환경 센서들은 레이저, 가시광, 비가시광 파장들, 사운드(예컨대, 가청 사운드, 초음파 또는 다른 주파수들)와 같은 신호들을 수신하도록 구성된 방출 디바이스들을 더 포함할 수 있다. 일부 실시예들에서, 하나 이상의 환경 센서들(예컨대, 카메라들 또는 광 센서들)은 (예컨대, 환경의 조명 조건들을 캡처하기 위해) 환경의 주변 광(예컨대, 휘도)을 측정하도록 구성될 수 있다. 스트레인 게이지(strain gauge)들, 커브 필러(curb feeler)들 등과 같은 물리적 접촉 센서들이 또한 환경 센서들로서 포함될 수 있다.
[0118] 일부 실시예들에서, 디스플레이 시스템(1010)은 추가로, 인터넷, 위성 통신 또는 다른 적합한 유선 또는 무선 데이터 통신 방법으로부터 수신될 수 있는, 다른 환경 입력들, 이를테면, GPS 위치 데이터, 날씨 데이터, 날짜 및 시간, 또는 다른 이용 가능한 환경 데이터를 수신하도록 구성될 수 있다. 프로세싱 모듈(260)은 꽃가루 수(pollen count), 인구통계, 대기 오염, 환경 독소들, 스마트 온도 조절 장치(thermostat)들로부터의 정보, 라이프스타일 통계, 또는 다른 사용자들, 빌딩들 또는 건강관리 제공자에 대한 근접도와 같이 사용자 위치를 특징화하는 추가의 정보에 액세스하도록 구성될 수 있다. 일부 실시예들에서, 위치를 특징화하는 정보는 클라우드-기반 또는 다른 원격 데이터베이스들을 사용하여 액세스될 수 있다. 프로세싱 모듈(260)은 이러한 데이터를 획득하고 그리고/또는 환경 센서들 중 임의의 하나 또는 이들의 조합들로부터의 데이터를 추가로 분석하도록 구성될 수 있다.
[0119] 디스플레이 시스템(1010)은 연장된 시간 기간 동안 위에서 설명된 센서들 및/또는 입력들 중 임의의 것을 통해 획득된 데이터를 수집 및 저장하도록 구성될 수 있다. 디바이스에서 수신된 데이터는 로컬 프로세싱 모듈(260)에 그리고/또는 원격으로(예컨대, 도 2에 도시된 바와 같이, 원격 프로세싱 모듈(270) 또는 원격 데이터 리포지토리(280)에) 프로세싱 및/또는 저장될 수 있다. 일부 실시예들에서, 날짜 및 시간, GPS 위치 또는 다른 글로벌 데이터와 같은 부가적인 데이터는 로컬 프로세싱 모듈(260)에서 직접 수신될 수 있다. 이미지들, 다른 시각적 콘텐츠 또는 청각적 콘텐츠와 같이, 시스템에 의해 사용자에게 전달되는 콘텐츠에 관한 데이터는 또한 로컬 프로세싱 모듈(260)에서 수신될 수 있다.
웨어러블 디스플레이 시스템의 자동 제어
[0120] 위에서 설명된 바와 같이, 웨어러블 디바이스에 의해 가상 콘텐츠를 덜 강조 또는 차단하거나, 심지어, 가상 콘텐츠의 디스플레이를 턴 오프시키는 것이 바람직하거나 심지어 필수적인 상황들이 발생할 수 있다. 이러한 상황들은 예컨대, 비상 상황들, 위험한 상황들, 또는 웨어러블 디바이스의 사용자가 사용자 외부의 물리적 세계에 더 많은 주의를 집중하도록 가상 콘텐츠가 덜 제시되는 것이 사용자에게 바람직할 수 있는 상황들과 같은 트리거링 이벤트에 대한 응답으로 발생할 수 있다. 트리거링 이벤트들은 또한 사용자가 시스템을 사용하는 환경에 기초할 수 있다. 웨어러블 시스템은 사용자의 환경에 기초하여 가상 콘텐츠를 차단하거나 맞춤형 가상 콘텐츠를 제시할 수 있다. 예컨대, 웨어러블 시스템이 사용자가 직장에 있다는 것을 검출하는 경우, 웨어러블 시스템은 비디오 게임들을 차단할 수 있다.
[0121] 본원에서 개시된 웨어러블 디바이스의 실시예들은 이러한 상황이 발생하고 있는지를 결정하고, 예컨대, 가상 콘텐츠를 뮤팅하거나(예컨대, 가상 콘텐츠를 덜 강조하고, 차단하거나 그의 디스플레이를 턴 오프시킴), 또는 (예컨대, 하나 이상의 컴포넌트들을 턴 오프시키고, 감쇄시키고, 수면 모드로 전환하는 것과 같이) 웨어러블 시스템의 하나 이상의 컴포넌트들을 뮤팅하는 것과 같이 행함으로써 웨어러블 시스템을 뮤팅하기 위한 적절한 조치를 취할 수 있는 컴포넌트들 및 기능성을 포함할 수 있다. 본원에서 사용 된 바와 같이, 가상 콘텐츠를 뮤팅하는 것은 일반적으로, 최대로, 콘텐츠를 턴 오프시키며 이러한 콘텐츠를 턴 오프시키는 것을 포함해서, 웨어러블 디바이스에 의해 사용자에게 제시되는 시각적 또는 가청 콘텐츠의 양 또는 영향을 덜 강조하고, 감쇄시키거나 또는 감소시키는 것을 포함할 수 있다. 뮤팅은 가시적 뮤팅(예컨대, 디스플레이(220)를 턴 오프 또는 디밍(dimming)시키는 것) 또는 가청 뮤팅(예컨대, 스피커(240)에 의해 방출된 사운드를 감소시키거나 스피커들을 완전히 턴 오프시키는 것)을 포함할 수 있다. 뮤팅은 가시적 가상 콘텐츠의 투명성을 증가시키는 것을 포함할 수 있으며, 이는 사용자가 외부 물리적 세계를 지각하기 위해 그러한 가상 콘텐츠를 통해 보는 것을 보다 쉽게 한다. 뮤팅은 또한 가상 콘텐츠의 크기를 감소시키는 것 또는 가상 콘텐츠가 사용자의 시야에서 눈에 덜 띄도록 그의 배치를 변경하는 것을 포함할 수 있다. 뮤팅은 웨어러블 디바이스에 의한 디스플레이로부터 콘텐츠를 차단하는 것 또는 일부 콘텐츠를 선택적으로 허용하지만 다른 콘텐츠를 허용하지 않는 것을 더 포함할 수 있다. 따라서 뮤팅은 블랙리스트(차단될 콘텐츠를 식별함)를 통해 또는 화이트리스트(허용될 콘텐츠를 식별함)를 통해 구현될 수 있다. 일부 구현들에서, 블랙리스팅 및 화이트리스팅의 조합이 콘텐츠를 효과적으로 뮤팅하는 데 사용될 수 있다. 부가적으로 또는 대안적으로, 그레이리스트(greylist)는 다른 조건 또는 이벤트가 발생할 때까지 일시적으로 차단(또는 허용)되어야 하는 콘텐츠를 나타내는 데 사용될 수 있다. 예컨대, 사무실 환경에서, 소정의 가상 콘텐츠가 그레이리스트에 올려지고, 사용자의 감독자가 차단을 무효화하고 콘텐츠를 화이트리스트로 이동시키거나 콘텐츠를 블랙리스트로 이동시킴으로써 콘텐츠를 영구적으로 차단할 때까지 사용자에게의 디스플레이가 일시적으로 차단될 수 있다. 본원에서 설명된 웨어러블 디바이스의 다양한 실시예들은 사용자에게 제시되는 가상 콘텐츠를 뮤팅하기 위해 전술한 기술들 중 일부 또는 전부를 사용할 수 있다.
[0122] 이하에서, 가상 콘텐츠를 뮤팅하는 것이 바람직할 수 있는, 사용자 경험들의 다양한 비-제한적이고 예시적인 예들이 설명될 것이다. 이러한 예들에 이어, 가상 콘텐츠를 뮤팅하도록 웨어러블 디바이스를 트리거하는 이벤트가 발생하고 있는지를 결정하기 위한 기술들 및 장치가 설명될 것이다.
수술 맥락에서 웨어러블
디바이스를
뮤팅하는
예들
[0123] 도 11a 및 도 11b는 수술 맥락에서 HMD를 뮤팅하는 예를 예시한다. 도 11a에서, 외과의는 심장(1147)에 대한 수술을 수행하고 있다. 외과의는 본원에서 설명된 HMD를 착용할 수 있다. 외과의는 자신의 FOV 내에서 심장(1147)을 지각할 수 있다. 외과의는 또한 자신의 FOV 내에서 가상 객체들(1141, 1142 및 1145)을 지각할 수 있다. 가상 객체들(1141, 1142, 및 1145)은 예컨대, 부정맥, 심장 마비 등과 같은 진단뿐만 아니라 심장과 연관된 (예컨대, 심박수, ECG 등과 같은) 다양한 메트릭들과 관련될 수 있다. HMD는, 웨어러블 시스템의 다른 디바이스 또는 원격 프로세싱 모듈과 통신함으로써 또는 웨어러블 시스템의 환경 센서에 의해 획득된 정보에 기초하여 가상 객체들(1141, 1142, 및 1145)을 제시할 수 있다.
[0124] 그러나 수술 동안, 예기치 않은 또는 비상 상황이 발생할 수 있다. 예컨대, (도 11b의 심장(1147)으로부터의 혈액의 분사(1149)에 의해 도시된 바와 같이) 수술 부위들에서 혈액의 갑작스러운 원치 않은 흐름이 있을 수 있다. 웨어러블 시스템은 예컨대, 수술 부위의 또는 그 근처의 피처들 또는 키포인트들에서 빠르게 발생하는 변화들을 (외향 카메라에 의해 획득된 이미지들에서) 검출함으로써 컴퓨터 비전 기술들을 사용하여 이러한 상황을 검출할 수 있다. 웨어러블 시스템은 또한 다른 디바이스 또는 원격 프로세싱 모듈로부터 수신된 데이터에 기초하여 검출을 행할 수 있다.
[0125] 웨어러블 시스템은 이 상황이, 외과의가 예기치 않은 또는 비상 상황에 주의를 집중하도록 시각적 또는 가청 가상 콘텐츠의 디스플레이가 뮤팅되어야 하는 트리거링 이벤트에 대한 기준들을 충족시키는 것으로 결정할 수 있다. 따라서, 웨어러블 시스템은 트리거링 이벤트(이 예에서, 혈액의 분사(1149))의 자동 검출에 대한 응답으로 가상 콘텐츠를 자동으로 뮤팅할 수 있다. 결과적으로, 도 11b에서, 외과의에게는 HMD에 의해 가상 객체들(1141, 1142, 및 1145)이 제시되지 않고, 외과의는 혈액의 분출을 멈추는 것에 자신의 모든 주의를 집중할 수 있다.
[0126] HMD는 정상 동작들을 재개할 수 있고, 종결 이벤트에 대한 응답으로, 외과의에게 가상 콘텐츠의 프리젠테이션을 복원할 수 있다. 종결 이벤트는 트리거링 이벤트가 끝났을 때(예컨대, 혈액이 분사를 멈출 때) 또는 트리거링 이벤트가 존재하지 않는 다른 환경에 사용자가 진입할 때(예컨대, 사용자가 응급실에서 나올 때) 검출될 수 있다. 종결 이벤트는 또한 임계 시간 기간에 기초할 수 있다. 예컨대, HMD는, 트리거링 이벤트를 검출하고 일정 시간 기간(예컨대, 5분, 15분, 1시간 등)이 경과한 후에 또는 일정 시간 기간 동안 트리거링 이벤트가 끝났음을 검출하면 정상 동작들을 재개할 수 있다. 이 예에서, 웨어러블 시스템은 트리거링 이벤트가 끝나기 전에 디스플레이(또는 웨어러블 시스템의 다른 컴포넌트들)를 재개할 수 있다.
산업 맥락에서 웨어러블
디바이스를
뮤팅하는
예들
[0127] HMD를 뮤팅하기 위한 유사한 기술들이 다른 맥락들에서 또한 적용될 수 있다. 예컨대, 이 기술들은 산업 맥락에서 사용될 수 있다. 예로서, 작업자는 HMD를 착용하면서 공장에서 금속 공작물을 용접하고 있을 수 있다. 작업자는 HMD를 통해, 그가 작업중인 금속뿐만 아니라 용접 프로세스와 연관된 가상 콘텐츠를 지각할 수 있다. 예컨대, HMD는 컴포넌트를 용접하는 방법에 대한 지침들을 포함한 가상 콘텐츠를 디스플레이할 수 있다.
[0128] 그러나 작업자가 HMD를 사용하는 동안 예기치 않은 또는 비상 상황이 발생할 수 있다. 예컨대, 작업자의 의복들에 우연치 않게 불이 붙을 수 있거나, 또는 용접 토치가 과열되거나 공작물 또는 근처 재료들을 태울 수 있다. 작업자의 환경에서 산업 화학 물질이 유출되는 것과 같은 다른 비상 상황들이 발생할 수 있다. 웨어러블 시스템은, 가상 콘텐츠를 뮤팅하도록 HMD를 트리거하는 이벤트들로서 이러한 상황들을 검출할 수 있다. 도 12a 내지 도 12c를 참조하여 추가로 설명되는 바와 같이, 웨어러블 시스템은 작업자의 환경의 이미지들을 분석함으로써 컴퓨터 비전 알고리즘(또는 머신 학습 알고리즘)을 사용하여 트리거링 이벤트들을 검출할 수 있다. 예컨대, 화재 또는 과열을 검출하기 위해, 웨어러블 시스템은, 화재들 또는 과열로부터의 열이 IR 이미지들에서 특히 뚜렷하기 때문에, 외향 카메라에 의해 촬영된 적외선(IR) 이미지들을 분석할 수 있다. 웨어러블 시스템은 트리거링 이벤트의 검출에 대한 응답으로 가상 콘텐츠의 디스플레이를 자동으로 뮤팅할 수 있다. 일부 상황들에서, 웨어러블 시스템은, 사용자가 달리 표시하지 않는 한 HMD가 자동으로 턴 오프될 것임을 표시하는 경고를 제공할 수 있다.
[0129] 소정의 실시예들에서, 작업자는, HMD가 가상 콘텐츠를 뮤팅하게 할 수 있는 현실 버튼(263)을 수동으로 작동시킬 수 있다. 예컨대, 작업자는 (예컨대, 과열된 재료들 냄새를 맡음으로써) 비상사태 또는 위험한 조건을 감지하고 현실 버튼을 작동시켜서, 작업자가 실제 현실에 보다 쉽게 집중할 수 있게 한다. 작업자가 여전히 가상 콘텐츠에 관심이 있을 때 가상 콘텐츠를 실수로 뮤팅하는 것을 회피하기 위해, HMD는 뮤팅 동작을 수행하기 전에 작업자에게 경고를 제공할 수 있다. 예컨대, 현실 버튼의 작동을 검출하면, HMD는 작업자가 (이를테면, 현실 버튼을 재차 작동시킴으로써 또는 그의 포즈의 변화에 의해) 달리 표시하지 않는 한, 가상 콘텐츠가 곧(예컨대, 몇 초 내에) 뮤팅될 것임을 표시하는 메시지를 작업자에게 제공할 수 있다. 그러한 경고에 관한 추가의 세부사항들은 도 14a 및 도 14b를 참조하여 아래에서 설명된다.
[0130] 도 11c는 조경 작업자 작업 기계(예컨대, 잔디 깎는 기계)를 동작시키는 것을 도시한다. 많은 반복적인 업무들과 마찬가지로, 잔디를 자르는 것은 지루할 수 있다. 작업자들은 일정 시간 기간 후에 관심을 잃어, 사고의 가능성을 증가시킨다. 추가로, 자격을 갖춘 작업자들을 유치하거나 작업자들이 적절하게 수행하는 것을 보장하기가 어려울 수 있다.
[0131] 도 11c에 도시된 작업자는 업무 성과를 향상시키기 위해 사용자의 시야에 가상 콘텐츠(1130)를 렌더링하는 HMD를 착용한다. 예컨대, 장면(1100c)에 예시된 바와 같이, HMD는 목표가 가상으로 맵핑된 패턴을 따라가는 것인 가상 게임을 렌더링할 수 있다. 패턴을 정확하게 따르고 소정의 점수 배가기(score multiplier)들이 사라지기 전에 이들에 충돌하는 경우 포인트들을 받는다. 패턴으로부터 이탈하거나 이탈하여 소정의 물리적 객체들(예컨대, 나무들, 스프링클러 헤드들, 도로)에 지나치게 가까워지는 경우 포인트들은 차감될 수 있다.
[0132] 그러나 작업자는 매우 빠른 속도로 주행할 수 있는 다가오는 차량에 직면할 수 있거나, 보행자가 기계 앞을 걸어갈 수 있다. 작업자는 (이를테면, 속도는 늦추거나 방향들을 변경함으로써) 다가오는 차량 또는 보행자에게 반응할 필요가 있을 수 있다. 웨어러블 시스템은 자신의 외향 이미징 시스템을 사용하여, 작업자 주위의 이미지들을 획득하고 컴퓨터 비전 알고리즘들을 사용하여 다가오는 차량 또는 보행자를 검출할 수 있다.
[0133] 웨어러블 시스템은 획득된 이미지들(또는 GPS와 같은 다른 환경 센서들로부터 획득된 위치 기반 데이터)에 기초하여 작업자로부터 속도 또는 거리를 계산할 수 있다. 속도 또는 거리가 임계 조건을 초과한다고 웨어러블 시스템이 결정하는 경우(예컨대, 차량이 매우 빠르게 접근하거나 차량 또는 보행자가 작업자에 매우 근접함), HMD는, 다가오는 차량 또는 보행자를 피하기 위해 산만함들을 감소시키고 작업자가 잔디 깎는 기계를 조작하는 데 집중할 수 있게 하도록 (예컨대, 게임을 일시 정지하고, FOV 외부에 있도록 가상 게임을 이동시킴으로써) 가상 콘텐츠를 자동으로 뮤팅할 수 있다. 예컨대, 장면(1132c)에 도시된 바와 같이, HMD가 가상 콘텐츠를 뮤팅할 때, 사용자는 가상 게임 컴포넌트(1130)를 지각하지 못한다.
[0134] 예컨대, 트리거링 이벤트가 끝났을 때와 같이 웨어러블 시스템이 종결 조건을 검출할 때, HMD는 정상 동작들을 재개하고 작업자에 대한 가상 콘텐츠의 프리젠테이션을 복원할 수 있다. 일부 구현들에서, HMD는 가상 콘텐츠를 뮤팅하는 반면, HMD의 잔여부는 계속 동작할 수 있다. 예컨대, 웨어러블 시스템은 하나 이상의 환경 센서들(이를테면, GPS 또는 외향 카메라)을 사용하여 사용자의 포지션을 지속적으로 이미징할 수 있다. 다가오는 차량이나 보행자가 작업자를 지나쳤다고 웨어러블 시스템이 결정할 때, 웨어러블 시스템이 가상 콘텐츠를 다시 턴 온할 수 있다.
[0135] 일부 구현들에서, 웨어러블 시스템은 정상 동작들을 재개하거나 가상 콘텐츠의 프리젠테이션을 복원하기 전에 경고를 제시할 수 있다. 이는, 트리거링 이벤트가 여전히 진행중일 때(예컨대, 사용자가 여전히 비상사태에 있을 때), 비상사태 후에 사용자가 회복할 시간이 필요한 경우 또는 임의의 다른 이유로, 가상 콘텐츠가 턴 온되는 것을 방지할 수 있다. 경고에 대한 응답으로, 사용자는, 사용자가 가상 콘텐츠를 뮤팅된 채로 유지하기를 원하는 경우 현실 버튼(263)을 작동시킬 수 있다. 일부 구현들에서, 사용자는 트리거링 이벤트 동안, 수동 사용자 입력을 통해 또는 자동으로 가상 콘텐츠를 재개할 수 있다. 이는, 트리거링 이벤트 동안 가상 콘텐츠가 사용자를 도울 수 있는 상황들을 허용한다. 예컨대, 시스템은 자식이 질식하는 것을 자동으로 검출하고, 이에 따라 부모의 가상 콘텐츠를 뮤팅할 수 있다. 시스템에 비상 대응 애플리케이션(emergency response application)이 설치되어 있는 경우, 시스템은, 부모가 임계 시간 기간 내에 응답하지 않는 경우, 또는 부모가 올바른 조치를 취하지 않는 경우, 자동으로 비상 대응 애플리케이션과 관련된 가상 콘텐츠만을 선택적으로 턴 온할 수 있다.
교육적 맥락에서 웨어러블
디바이스를
뮤팅하는
예들
[0136] 도 11d는 교육적 맥락에서 HMD를 뮤팅하는 예를 예시한다. 도 11d는 교실(1100d)을 도시하며, 2명의 학생들(1122 및 1124)이 물리적으로 교실에 앉아있다(이 예에서는 수업은 요가 수업임). 학생들(1122 및 1124)이 HMD를 착용하고 있는 동안, 이들은 학생(1126)에 대한 가상 아바타 및 교사(1110)에 대한 가상 아바타를 지각할 수 있으며, 이들 중 어느 누구도 방에 물리적으로 존재하지 않는다. 학생(1126)은 (교실(1100d)에 있기보다는) 자신의 집에서 수업에 참여할 수 있다.
[0137] 하나의 상황에서, 학생(1122)은 수업 동안 수업-관련 문제(예컨대, 특정 요가 포즈를 수행하는 방법)를 다른 학생(1124)과 논의하기를 원할 수 있다. 학생(1122)은 학생(1124)에게 걸어갈 수 있다. 학생(1124)의 웨어러블 시스템은, 다른 학생(1122)이 그녀 전방에 있다는 것을 검출하고, 가상 콘텐츠가 거의(또는 전혀) 제시되지 않고 학생들(1124 및 1122)이 직접 상호작용할 수 있도록 HMD에 의해 제시되는 오디오 및 가상 콘텐츠를 자동으로 뮤팅할 수 있다. 예컨대, 웨어러블 시스템은 얼굴 인식 알고리즘을 사용하여 HMD 전방의 물리적 사람의 존재를 검출할 수 있다(이는 HMD가 가상 콘텐츠를 자동으로 뮤팅하게 하는 트리거링 이벤트의 예일 수 있음). 이러한 검출에 대한 응답으로, HMD는 HMD로부터의 오디오 및 가상 콘텐츠를 턴-오프(또는 감쇄)할 수 있다. 도 11d에 도시된 예에서, 학생(1124)의 HMD가 뮤팅되면, 학생(1124)은 가상 아바타들(1126 및 1110)을 지각할 수 없을 것이다. 그러나, 학생(1124)은 여전히, 물리적 교실에 또한 있는 학생(1122)을 보고 상호작용할 수 있다.
[0138] 다른 예로서, 교사(1110)는 학생들에게 그룹 논의에 참여하도록 말할 수 있고, 학생들(1122 및 1124)은 동일한 그룹으로 분류될 수 있다. 이 예에서, HMD는 가상 콘텐츠를 뮤팅하고 학생들(1112 및 1124)이 대면하는(face-to-face) 논의에 참여할 수 있게 할 수 있다. HMD는 또한 그룹 논의 동안 지각 혼동을 감소시키기 위해 가상 아바타들(1110 및 1126)의 크기를 감소시킬 수 있다.
엔터테인먼트 맥락에서 웨어러블
디바이스를
뮤팅하는
예들
[0139] 웨어러블 시스템은 또한 엔터테인먼트 맥락에서 트리거링 이벤트를 검출하고 오디오/시각적 콘텐츠를 뮤팅할 수 있다. 예컨대, 웨어러블 시스템은 사용자가 게임을 플레이하는 동안 사용자의 생리적 데이터를 모니터링할 수 있다. 사용자가 동요된 감정 상태(이를테면, 게임에서 손실로 인해 극도로 화가 나거나 게임 동안 극도로 두려워짐)를 경험하고 있음을 생리적 데이터가 표시하는 경우, 웨어러블 시스템이 트리거링 이벤트의 존재를 검출할 수 있고 이에 따라 HMD가 가상 콘텐츠를 자동으로 뮤팅하게 할 수 있다. 웨어러블 시스템은 트리거링 이벤트 검출을 위해 생리적 데이터를 하나 이상의 임계치들과 비교할 수 있다. 예로서, 웨어러블 시스템은 사용자의 심박수, 호흡률, 동공 확장 등을 모니터링할 수 있다. 임계 조건들은 사용자가 플레이하고 있는 게임의 유형에 의존할 수 있다. 예컨대, 사용자가 비교적 평온한 게임(이를테면, 생활 시뮬레이션 게임)을 플레이하고 있는 경우, 임계 조건(예컨대, 임계 심박수, 호흡률 등)은, 사용자가 레이싱 게임(이는 극심한 집중이 필요로 하고 사용자의 심박수가 올라가게 할 수 있음)을 플레이하는 경우보다 낮을 수 있다. 사용자의 생리적 상태가 임계치를 초과하는 경우, 웨어러블 시스템이 HMD에 의해 제공되는 가상 콘텐츠를 뮤팅하도록 트리거된다.
[0140] 다른 예로서, 가상 콘텐츠는 불쾌한 음악과 연관될 수 있다. 불쾌한 음악은 HMD의 오디오/시각적 콘텐츠를 뮤팅하기 위한 트리거링 이벤트일 수 있다. 웨어러블 시스템은 (예컨대, 사용자의 얼굴 표정 또는 동공 확장을 결정하기 위해) 내향 이미징 시스템 또는 (예컨대, 사용자의 호흡률 또는 심박수를 검출하기 위해) 다른 환경 센서들을 사용하여 사용자의 반응을 검출할 수 있다. 예컨대, 웨어러블 시스템은 사용자가 소정의 음악을 들을 때 사용자가 찡그리는 것을 검출할 수 있다.
[0141] 웨어러블 시스템은 사용자가 동요된 감정 상태를 경험하고 있음을 표시하는 경고 메시지를 생성할 수 있다. HMD는 사용자가 가상 콘텐츠의 디스플레이를 뮤팅하도록 현실 버튼(263)을 수동으로 작동시킬 것을 제안하는 가상 그래픽을 디스플레이할 수 있다. 일부 실시예들에서, HMD는, HMD가 소정의 시간 기간 내에 사용자 확인을 수신하지 못하는 경우 가상 콘텐츠를 자동으로 턴 오프시킬 수 있다. HMD는 또한 트리거링 이벤트의 검출에 대한 응답으로 가상 콘텐츠를 자동으로 턴 오프시킬 수 있다. 예컨대, 불쾌한 음악이 플레이될 때, HMD는 자동으로 사운드를 뮤팅하거나 사운드의 볼륨을 낮출 수 있다. 한편으로, HMD는 여전히 사운드와 연관된 가상 이미지들을 플레이할 수 있다.
쇼핑 맥락에서 웨어러블
디바이스를
뮤팅하는
예들
[0142] 도 11e는 쇼핑 맥락에서 HMD를 뮤팅하는 예를 예시한다. 이 예에서, 사용자(210)는 쇼핑몰(1100e)에서 HMD를 착용할 수 있다. 사용자(210)는 HMD를 사용하여 그녀의 쇼핑리스트, 가격 태그들, 추천된 아이템들(및 상점 내의 그의 위치) 등과 같은 가상 콘텐츠를 지각할 수 있다. 사용자는 또한 다양한 향신료들 및 조리 기구들을 판매하는 요리사(1152)와 함께 물리적 부스(1150)를 지각할 수 있다.
[0143] 웨어러블 시스템은 환경 센서들(이를테면, GPS 또는 외향 이미징 시스템)를 사용하여 사용자(210)의 포지션을 검출할 수 있다. 사용자(210)가 부스(1150)의 임계 거리 내에 있다고 웨어러블 시스템이 결정하는 경우, HMD는 사용자가 직접 요리사(1152)와 상호작용할 수 있도록 가상 콘텐츠의 디스플레이를 자동으로 뮤팅할 수 있다. 이는 유리하게는, 사용자(210)가 요리사(1152)와의 전환(conversion)에 참여할 때 지각 혼동을 감소시킬 수 있다. 또한, 예컨대, 사용자는 부스 내의 어느 아이템이 (가상 아이템들이기 보다는) 물리적 아이템들인지를 알게 될 수 있다. 웨어러블 시스템은 예컨대, 사용자(210)가 부스(1150)로부터 멀어지게 걸어갈 때와 같은 종결 조건을 검출할 수 있고, HMD는 종결 조건의 검출에 대한 응답으로 가상 콘텐츠의 디스플레이를 뮤팅 해제(unmute)할 수 있다.
환경에 기초하여 가상 콘텐츠를
뮤팅하는
예들
[0144] 환경들 내의 이벤트들(예컨대, 비상 상황들) 또는 환경 내의 객체들(예컨대, 다른 사용자의 얼굴의 존재)에 기초하여 가상 콘텐츠를 뮤팅하는 것에 부가하여 또는 이에 대안적으로, 웨어러블 시스템은 또한 사용자의 환경의 특성들에 기초하여 가상 콘텐츠를 뮤팅할 수 있다. 예컨대, 웨어러블 시스템은 외향 이미징 시스템(464)에 의해 관찰되는 객체들에 기초하여 사용자의 환경의 그러한 특성들을 식별할 수 있다. 사용자의 환경의 유형(예컨대, 집, 사무실, 휴식 영역 또는 게임 영역, 옥외, 소매점, 몰, 극장 또는 콘서트 장, 레스토랑, 박물관, 교통수단(예컨대, 자동차, 비행기, 버스, 기차) 등)에 기초하여, 웨어러블 시스템은 가상 콘텐츠를 맞춤제작(tailor)하거나 소정의 가상 콘텐츠를 뮤팅할 수 있다.
[0145] 웨어러블 시스템의 외향 이미징 시스템(464)을 사용하는 것에 대해 부가적으로 또는 이에 대안적으로, 본원에서 추가로 설명될 바와 같이, 웨어러블 시스템은 위치 센서(예컨대, GPS 센서)를 사용하여 사용자의 위치를 결정하고 그리하여 사용자의 환경의 성질을 추론할 수 있다. 예컨대, 웨어러블 시스템은 사용자에 대한 관심의 위치들(예컨대, 집 위치, 사무실 위치 등)을 저장할 수 있다. 위치 센서는 위치를 결정하여 알려진 관심 위치와 비교할 수 있고, 웨어러블 시스템은 사용자의 환경을 추론할 수 있다(예컨대, 시스템의 GPS 좌표들이 사용자의 집 위치에 충분히 근접한 경우, 웨어러블 시스템은 사용자가 집 환경에 있다고 결정하고 집 환경에 기초하여 적절한 콘텐츠 차단(또는 허용)을 적용할 수 있음).
[0146] 일 예로서, 웨어러블 시스템은 예컨대, 소셜 미디어, 게임 초대들, 시청각 콘텐츠, 오피스 콘텐츠(office content) 및 네비게이션 애플리케이션들과 관련된 가상 콘텐츠와 같은 다양한 가상 콘텐츠를 포함할 수 있다. 외향 이미징 시스템(464)은 (예컨대, 객체 인식기를 사용하여 사무실 책상 상의 컴퓨터 모니터, 비즈니스 전화, 업무 파일들의 존재를 인식함으로써) 사용자가 사무실에 있음을 검출할 수 있다. 이에 따라, 웨어러블 시스템은 사무실 애플리케이션을 허용하고 소셜 미디어 피드들 및 게임 초대들을 차단하여서 사용자가 업무에 집중할 수 있게 할 수 있다. 그러나 웨어러블 시스템은 네비게이션 애플리케이션들이 클라이언트 목적지로 사용자를 안내하는 데 도움이 수 있기 때문에, 네비게이션 애플리케이션들을 뮤팅하지 않도록 구성될 수 있다. 그러나 (예컨대, 외향 이미징 시스템에 의해 획득된 이미지들의 분석을 통해) 사용자가 사용자의 책상으로부터 떨어져 있는 사무실의 의자에 앉아 있음을 웨어러블 시스템이 검출할 때, 웨어러블 시스템은 소셜 미디어 피드들을 단독으로 또는 사무실(또는 네비게이션) 애플리케이션들과 조합하여, 허용하도록 구성될 수 있는데, 그 이유는 사용자가 짧은 휴식을 취하고 있을 수 있기 때문이다. 부가적으로 또는 대안적으로, 웨어러블 시스템은 환경을 라벨링(label)하고 사용자 입력에 기초하여 어느 콘텐츠가 차단되거나 허용될지를 특정할 수 있다. 예컨대, 웨어러블 시스템은 장면이 사용자의 침실이라는 사용자로부터의 표시를 수신할 수 있고, 사용자는 장면에서 엔터테인먼트 콘텐츠를 허용하거나 업무 콘텐츠를 차단하는 옵션을 선택할 수 있다. 따라서, 사용자가 침실에 다시 진입할 때, 시스템은 사용자가 침실에 있다는 것을 결정하고, 사용자 입력에 기초하여 콘텐츠를 자동으로 차단 또는 허용할 수 있다.
[0147] 일부 경우들에서, 웨어러블 시스템은 환경 및 환경에 대한 사용자의 역할의 조합에 기초하여 가상 콘텐츠를 뮤팅하거나 제시할 수 있다. 예컨대, (예컨대, 객체 인식기들(708)을 사용하여 사무용 가구들을 식별함으로써) 사용자가 사무실에 있음을 웨어러블 시스템이 검출할 때, 웨어러블 시스템은 직원을 위한 오피스 툴들의 세트를 제시할 수 있고, 인터넷(또는 다른 애플리케이션들)에 대한 액세스를 차단할 수 있다. 그러나 감독자가 동일한 사무실 환경 내로 진입하는 경우, 웨어러블 시스템은, 감독자가 가상 콘텐츠에 더 많은 액세스를 가질 수 있기 때문에, 감독자가 인터넷에 액세스할 수 있게 할 수 있다.
[0148] 다른 예로서, 예컨대, 웨어러블 시스템은 이를테면, 예컨대, 사용자에 의한 수동 라벨링에 의해 또는 환경에서 가정용 가구(예컨대, 소파, 텔레비전, 식탁들 등)의 존재를 인식함으로써 사용자가 집에 있다는 것을 인식할 수 있다. 따라서, 웨어러블 시스템은 예컨대, 소셜 미디어 피드들, 비디오 게임들 또는 친구들로부터의/로의 텔레프레전스 초대들과 같은 소정의 가상 콘텐츠를 허용할 수 있다. 소정의 구현들에서, 2명의 사용자들이 동일한 환경에 있더라도, 사용자에 의해 지각 가능한 가상 콘텐츠는 상이할 수 있다. 예컨대, 자식 및 부모는 둘 다 생활 환경에 있을 수 있지만, 웨어러블 시스템은 자식의 나이에 적절하지 않은 가상 콘텐츠를 차단하면서, 부모가 그러한 가상 콘텐츠를 뷰잉할 수 있게 할 수 있다. 위치들에 기초하여 가상 콘텐츠를 뮤팅하는 부가적인 예들은 도 11f 및 도 11g를 참조하여 아래에서 추가로 설명된다.
[0149] 예들은 가상 콘텐츠를 차단하는 것을 참조하여 설명되지만, 웨어러블 시스템은 또한 예컨대, 위치에 기초하여 가상 콘텐츠의 일부 또는 전부를 덜 강조하거나 디스플레이를 턴 오프시킴으로써 위치에 기초하여 가상 콘텐츠를 뮤팅할 수 있다.
업무 환경에서 선택적 콘텐츠
뮤팅의
예들
[0150] 도 11f는 업무 환경에서 콘텐츠를 선택적으로 차단하는 예를 예시한다. 도 11f는 2개의 장면들(1160a 및 1160b)을 도시하며, 여기서 일부 가상 콘텐츠는 장면(1160b)에서 차단된다. 장면들(1160a 및 1160b)은 사무실에 물리적으로 서 있는 사용자(210)와 함께 사무실(1100f)을 보여준다. 사용자(210)는 HMD(1166)(도 2를 참조하여 설명된 HMD의 실시예일 수 있음)를 착용할 수 있다. 사용자는 HMD를 통해 예컨대, 테이블(1164a), 의자(1164b) 및 미러(1164c)와 같은 사무실의 물리적 객체들을 지각할 수 있다. HMD는 또한 예컨대, 가상 메뉴(1168) 및 게임을 위한 가상 아바타(1164)와 같은 가상 객체들을 제시하도록 구성될 수 있다.
[0151] 일부 상황들에서, 웨어러블 시스템은, 모든 가상 콘텐츠가 HMD(1166)에 의해 사용자에게 제시되진 않도록 사용자의 환경의 가상 콘텐츠를 선택적으로 뮤팅하게 구성될 수 있다. 일 예로서, 웨어러블 시스템은 웨어러블 시스템의 하나 이상의 환경 센서들로부터 획득된 환경에 관한 데이터를 수신할 수 있다. 환경 데이터는 사무실 이미지 단독을 또는 GPS 데이터와 조합하여 포함할 수 있다. 환경 데이터는 사용자의 환경에서 객체들을 인식하거나, 또는 인식된 객체들에 기초하여 사용자의 위치를 결정하는 데 사용할 수 있다. 도 11f를 참조하면, 웨어러블 시스템은 업무용 책상(1164a), 의자(1164b), 및 미러(1164c)의 물리적 존재를 검출하기 위해 환경 데이터를 분석할 수 있다. 수신된 데이터에 적어도 부분적으로 기초하여, 업무용 책상(1514), 의자(1512) 및 미러(1164c)를 검출하면, 웨어러블 시스템(200)은 환경을 사무실 환경인 것으로 인식할 수 있다. 예컨대, 웨어러블 시스템은, 예컨대, 객체들의 특성들 뿐만 아니라, 객체들의 레이아웃과 같이 객체들과 연관된 맥락 정보에 기초하여 이 결정을 내릴 수 있다. 사용자의 환경 내의 객체들의 집합은 또한 사용자가 소정의 위치에 있을 확률을 결정하는 데 사용될 수 있다. 일 예로서, 웨어러블 시스템은 L-형상 책상 및 바퀴 달린 의자의 존재는 환경이 사무실일 높은 가능성을 표시한다고 결정할 수 있다. 웨어러블 시스템은 환경을 결정하기 위해 머신 학습 모델(예컨대, 뉴럴 네트워크)을 트레이닝 및 적용할 수 있다. 다양한 머신 학습 알고리즘들(이를테면, 뉴럴 네트워크 또는 감독 학습)은 환경을 인식하도록 트레이닝 및 사용될 수 있다. 다양한 실시예들에서, 하나 이상의 객체 인식기들(708)이 그러한 인식을 위해 사용될 수 있다. 대안적으로, 사용자는 사용자 입력을 통해 이 위치를 "직장"으로서 이전에 라벨링했을 수 있다.
[0152] 환경에 기초하여, 웨어러블 시스템은 소정의 가상 콘텐츠를 자동으로 차단/차단해제(또는 허용/허용금지)할 수 있다. 웨어러블 시스템은 가상 콘텐츠를 차단하기 위해 환경과 연관된 하나 이상의 세팅들에 액세스할 수 있다. 도 11f를 참조하면, 사무실 환경과 연관된 세팅은 비디오 게임들을 뮤팅하는 것을 포함할 수 있다. 따라서, 장면(1160b)에 도시된 바와 같이, 웨어러블 시스템은, 사용자(210)가 자신의 업무에 집중할 수 있도록 가상 아바타(1524)가 HMD(1166)에 의해 렌더링되는 것을 자동으로 차단할 수 있다. 다른 예로서, 웨어러블 시스템은 가상 아바타(1164)의 이미지를 렌더링하지만, 그럼에도 불구하고 가상 아바타(1164)와 연관된 하나 이상의 사용자 인터페이스 동작들을 차단하도록 구성될 수 있다. 이 예에서, 사용자(210)는 가상 아바타(1164)를 여전히 볼 수 있을 것이지만, 사용자(210)는 웨어러블 시스템이 업무 환경과 연관된 세팅을 인에이블한 동안 가상 아바타(1164)와 상호작용할 수 없다.
[0153] 소정의 구현들에서, 한 위치의 가상 콘텐츠를 뮤팅하기 위한 세팅은 사용자가 구성 가능할 수 있다. 예컨대, 사용자는 환경에 대해 어느 가상 콘텐츠를 차단할지를 선택하고 위치 및/또는 가상 콘텐츠 선택에 어떤 라벨을 적용할지를 선택할 수 있다. 도 11f를 참조하면, 사용자(210)는, 사용자(210)가 사무실(1100f)에 있는 동안 가상 아바타(1164)가 HMD에 나타나는 것을 차단하도록 선택할 수 있다. 그 후, 웨어러블 시스템은 사무실(1100f)과 연관된 세팅을 저장하고 가상 아바타(1164)를 선택적으로 차단하도록 세팅을 적용할 수 있다. 따라서, 장면(1160b)에 도시된 바와 같이, 가상 아바타(1164)는 사용자의 뷰로부터 차단된다.
[0154] 예들은 환경(예컨대, 사무실)을 결정하고 환경에 기초하여 가상 콘텐츠를 뮤팅하는 것을 참조하여 설명되며, 웨어러블 시스템은 또한, 웨어러블 시스템이 사용자의 특정 위치를 결정할 필요가 없도록, 다른 차단된 콘텐츠에 대한 콘텐츠의 유사성 또는 환경 팩터들에 기초하여 가상 콘텐츠(또는 웨어러블 시스템의 컴포넌트)를 뮤팅할 수 있다. 이는 웨어러블 시스템이 위치 센서를 포함하지 않거나, 위치 센서가 차단되거나(예컨대, GPS 위성들에 대한 경로가 차단됨), 또는 환경 특성들을 결정하기에 위치 정확도가 충분하지 않은 경우에 유리할 수 있다. 웨어러블 시스템은 환경 내의 객체들을 인식하고 전반적인 환경의 특성들(예컨대, 레저 환경, 공공 환경 또는 업무 환경)을 결정하고 환경의 특성들에 기초하여 가상 콘텐츠를 뮤팅할 수 있다. 예컨대, 웨어러블 시스템은 사용자의 환경이 소파 및 텔레비전을 포함하고 있음을 식별할 수 있다. 따라서, 웨어러블 시스템은, 사용자가 레저 환경(레저 환경이 실제로 사용자의 집인지 또는 사용자 직장의 휴게실인지 여부를 알지 못함)에 있다고 결정할 수 있다. 일부 구현들에서, 시스템은 환경의 유형을 결정하고 사용자에게 환경 라벨을 수용하거나 거부하도록 하는 통지를 제공할 것이다.
휴게실 환경에서 선택적 콘텐츠 차단의 예들
[0155] 도 11g는 휴게실 환경에서 콘텐츠를 선택적으로 차단하는 예들을 예시한다. 도 11g는 2개의 장면들(1170a 및 1170b)을 도시한다. 도 11g에 도시된 휴게실(1100g)은 HMD(1166)를 착용하고 휴게실(1100g)에 물리적으로 서 있는 사용자(210)를 도시한다. 휴게실(1100g)은 테이블(1172c), 소파(1172b) 및 텔레비전(1172a)과 같은 물리적 객체들을 포함한다. HMD(1166)는 또한, 예컨대 게임을 위한 가상 아바타(1176) 및 가상 메뉴(1174)(이들 중 어느 것도 물리적으로 룸에 존재하지 않음)와 같은 가상 콘텐츠를 제시하도록 구성될 수 있다. 이 예에서, 가상 메뉴(1174)는, 각각 크로스워드를 플레이하고, 전화 회의를 시작하거나, 또는 업무용 이메일에 액세스하는 옵션들(1178a, 1178b, 1178c)을 사용자(210)에게 제시한다.
[0156] 웨어러블 시스템은 사용자의 환경에 기초하여 일부 가상 콘텐츠를 뮤팅하도록 구성될 수 있다. 예컨대, 외향 이미징 시스템(464)은 사용자의 환경의 이미지들을 획득할 수 있다. 웨어러블 시스템은 이미지들을 분석하고 커피 테이블(1172c), 소파(1172b), 및 텔레비전(1172a)의 물리적 존재를 검출할 수 있다. 커피 테이블(1172c), 소파(1172b), 및 텔레비전(1172a)의 존재에 적어도 부분적으로 기초하여, 웨어러블 시스템(200)은 그 후, 사용자(210)가 휴게실 환경에 있다는 것을 인식할 수 있다.
[0157] 웨어러블 시스템은 사용자의 환경과 연관된 하나 이상의 세팅들에 기초하여 가상 콘텐츠를 렌더링 또는 뮤팅할 수 있다. 이 세팅은, 환경 내의 일부 가상 콘텐츠를 뮤팅하는 것 또는 가상 콘텐츠의 일부를 뮤팅하는 것을 포함할 수 있다. 일부 가상 콘텐츠를 뮤팅하는 예로서, 웨어러블 시스템은 가상 메뉴(1174)를 유지하면서, 가상 아바타(1176)가 디스플레이하는 것을 차단할 수 있다. 가상 콘텐츠의 일부를 차단하는 예로서, 장면(1170b)은 사용자가 휴게실에 있을 때 업무 관련 콘텐츠를 차단하는 예를 예시한다. 장면(1170b)에 도시된 바와 같이, 전체 가상 메뉴(1174)를 차단하기 보다는, 웨어러블 시스템은 회의 옵션(1178b) 및 업무용 이메일 옵션(1178c)을 선택적으로 차단하지만, 크로스워드 옵션(1178a)은 상호작용에 대해 이용 가능하게 유지할 수 있는데, 그 이유는, 크로스워드 옵션(1178a)은 엔터테인먼트와 관련되는 반면에, 옵션들(1178b 및 1178c)은 업무와 관련되고, 휴게실 환경과 연관된 세팅은 업무 관련 콘텐츠의 차단을 인에이블하기 때문이다. 소정의 구현들에서, 회의 옵션(1178b 및 1178c)은 여전히 사용자에게 가시적일 수 있지만, 웨어러블 시스템은 사용자(210)가 휴게실(1100g)에 있는 동안 옵션들(1178b 및 1178c)과의 사용자 상호작용을 방지할 수 있다.
[0158] 일부 구현들에서, 사용자는 환경과 연관된 뮤팅 세팅을 구성할 수 있고, 웨어러블 시스템은 가상 콘텐츠의 특정 단편(piece)이 뮤팅 세팅의 부분이 아닐 수 있더라도 유사한 가상 콘텐츠를 자동으로 차단할 수 있다. 예컨대, 사용자는 소셜 네트워킹 애플리케이션들을 뮤팅하기 위한 업무 세팅을 구성할 수 있다. 웨어러블 시스템은 게임 초대들 및 소셜 네트워킹 애플리케이션들 둘 모두가 엔터테인먼트 활동들로서 간주되기 때문에 게임 초대들을 자동으로 뮤팅할 수 있다. 다른 예로서, 웨어러블 시스템은 사무실 환경에서 업무용 이메일 및 오피스 툴들을 제시하도록 맞춤제작될 수 있다. 이 세팅에 기초하여, 웨어러블 시스템은 또한 가상 콘텐츠를 사무실 환경에 맞춤제작하기 위해 텔레프레전스 툴들에 대한 업무 관련 연락처들을 제시할 수 있다. 웨어러블 시스템은 가상 콘텐츠가 도 7의 객체 인식기들(708)을 참조하여 설명된 하나 이상의 머신 학습 알고리즘들을 사용하여 차단된 (또는 맞춤제작된) 것들과 유사한지를 결정할 수 있다.
[0159] 장면들(1170a 및 1170b)의 예들이 사용자의 환경에 기초하여 콘텐츠를 차단하는 것을 참조하여 설명되지만, 일부 구현들에서, 환경과 연관된 세팅들은 소정의 가상 콘텐츠를 허용하는 것과 관련될 수 있다. 예컨대, 휴게실 환경과 연관된 세팅은 엔터테인먼트 관련 가상 콘텐츠와의 상호작용을 인에이블하는 것을 포함할 수 있다.
트리거링
이벤트의 예들
[0160] 도 12a, 도 12b 및 도 12c는 트리거링 이벤트의 발생에 적어도 부분적으로 기초하여 HMD에 의해 제시되는 가상 콘텐츠를 뮤팅하는 예를 예시한다. 도 12a에서, HMD의 사용자는 자신의 FOV(1200A)의 물리적 객체들을 인식할 수 있다. 물리적 객체들은 텔레비전(TV)(1210), 원격 제어(1212), TV 스탠드(1214) 및 윈도우(1216)를 포함할 수 있다. 여기서의 HMD는 도 2 및 도 4를 참조하여 설명 디스플레이(220)의 실시예일 수 있다. HMD는 AR 또는 MR 경험에서 사용자의 물리적 환경 상에 가상 객체들을 디스플레이할 수 있다. 예컨대, 도 12a에서, 사용자는 사용자의 환경의 가상 객체들, 이를테면, 가상 빌딩(1222) 및 아바타(1224)를 지각할 수 있다.
[0161] 사용자는 사용자의 FOV의 객체들과 상호작용할 수 있다. 예컨대, 아바타(1224)는 사용자의 친구의 가상 이미지를 표현할 수 있다. 사용자가 자신의 친구와 텔레프레전스 세션을 수행하는 동안, 아바타(1224)는 사용자의 환경에서 친구의 존재의 실체감(tangible sense)을 생성하기 위해 사용자의 친구의 움직임들 및 감정들을 애니메이팅(animate)할 수 있다. 다른 예로서, 사용자는 리모콘(remote)(1212)을 사용하거나 HMD에 의해 렌더링된 가상 리모콘을 사용하여 TV(1210)와 상호작용할 수 있다. 예컨대, 사용자는 리모콘(1212) 또는 가상 리모콘을 사용하여 채널, 볼륨, 사운드 세팅 등을 변경할 수 있다. 또 다른 예로서, 사용자는 가상 빌딩(1222)과 상호작용할 수 있다. 예컨대, 사용자가 포즈(예컨대, 손 제스처들 또는 다른 신체 포즈들)를 사용하거나 사용자 입력 디바이스(예컨대, 도 4의 사용자 입력 디바이스(504))를 작동시켜 가상 빌딩(1222)을 선택할 수 있다. 가상 빌딩을 선택하면, HMD는 가상 빌딩(1222) 내부의 가상 환경을 디스플레이할 수 있다. 예컨대, 가상 빌딩(1222)은 내부에 가상 교실들을 포함할 수 있다. 사용자는 가상 교실들에 걸어 들어가는 것을 시뮬레이팅하고 AR/MR/VR 환경에서 수업에 참여할 수 있다.
[0162] 사용자가 AR/MR/VR 환경에 있을 때, 환경 센서들(사용자 센서들 및 외부 센서들을 포함함)은 사용자 및 사용자의 환경의 데이터를 획득할 수 있다. 웨어러블 시스템은 환경 센서들에 의해 획득된 데이터를 분석하여 하나 이상의 트리거링 이벤트들을 결정할 수 있다. 트리거링 이벤트의 발생 시에(이는 임계치 초과의 중요성 또는 매그니튜드(magnitude)를 가질 수 있음), 웨어러블 시스템은 이를테면, 예컨대, 가시적 가상 콘텐츠의 일부 또는 전부의 디스플레이를 뮤팅하거나 가청 가상의 콘텐츠를 뮤팅함으로써 가상 콘텐츠를 자동으로 뮤팅할 수 있다.
[0163] 트리거링 이벤트는 사용자의 환경에서 발생하는 물리적 이벤트들에 기초할 수 있다. 예컨대, 트리거링 이벤트는 화재, (수술 중)동맥 파열, 경찰차 접근, (실험 또는 산업 절차 중) 화학 물질들의 유출 등과 같은 비상사태 또는 위험한 상황을 포함할 수 있다. 트리거링 이벤트는 또한, 사용자가 붐비는 거리를 걷거나 자동차에 앉아 있을 때(너무 많은 가상 콘텐츠가 사용자에게 제시되는 경우 운전하기에 위험할 수 있음)와 같이 사용자의 액션과 연관될 수 있다. 트리거링 이벤트는 또한 (예컨대, 집 또는 공원의) 사용자의 위치 또는 사용자 주위의 장면(예컨대, 업무 장면 또는 레저 장면)에 기초할 수 있다. 트리거링 이벤트는 추가로, 사용자의 환경 내의 객체들(다른 사람들을 포함함)에 기초할 수 있다. 예컨대, 트리거링 이벤트는 특정 사람(예컨대, 교사, 경찰관, 감독자 등)이 사용자에게 접근했다는 컴퓨터 얼굴 인식 또는 사용자의 소정의 거리 내의 사람들의 밀도에 기초할 수 있다.
[0164] 부가적으로 또는 대안적으로, 트리거링 이벤트는 가상 콘텐츠에 기초할 수 있다. 예컨대, 트리거링 이벤트는 AR/VR/MR 환경에서의 예기치 않은 시끄러운 노이즈를 포함할 수 있다. 트리거링 이벤트는 또한 AR/VR/MR 환경에서의 불쾌한 경험 또는 불안한 경험들을 포함할 수 있다. 또 다른 예로서, 웨어러블 시스템은 소정의 위치에서 웨어러블 시스템에 의해 이전에 차단된 가상 콘텐츠와 유사한 가상 콘텐츠를 뮤팅할 수 있다.
[0165] 트리거링 이벤트는 또한 사용자의 위치가 변화를 포함할 수 있다. 도 12d는 사용자의 환경의 변화의 검출 시에 가상 콘텐츠를 뮤팅하는 예를 예시한다. 도 12d에서, 사용자(210)는 초기에 휴게실(1240b)에 있다. 사용자는 HMD를 통해, 도 11g의 장면(1170b)에 도시된 예시적인 가상 콘텐츠들(1178a 및 1176)과 같이, 휴게실(1240b)에 맞춤제작된 가상 콘텐츠를 지각할 수 있다. 사용자(210)는 휴게실(1240b)에서 퇴장하고 사무실(1240a)에 진입할 수 있다. 사용자(210)가 휴게실(1240b)로부터 사무실(1240a)로 트랜지션(transition)함에 따라, 웨어러블 시스템(200)은 하나 이상의 환경 센서들로부터 데이터를 획득할 수 있다. 획득된 데이터는 외향 이미징 시스템(464)에 의해 획득된 이미지들을 포함할 수 있다. 웨어러블 시스템은 획득된 이미지들을 분석하여 업무용 책상(1242), 의자(1244) 및 컴퓨터 모니터(1246)의 존재를 검출할 수 있다. 웨어러블 시스템(200)은, 환경 내의 하나 이상의 물리적 객체들의 존재에 적어도 부분적으로 기초하여 사용자가 사무실 환경에 진입했음을 인식할 수 있다.
[0166] (예컨대, 사용자가 휴게실(1240b)에서 사무실(1240a)로 걸어갔기 때문에) 환경의 변화가 발생했음을 웨어러블 시스템(200)이 검출하기 때문에, 웨어러블 시스템(200)은 새로운 환경에 대한 콘텐츠의 뮤팅과 연관된 세팅을 결정한다. 예컨대, 웨어러블 시스템(200)은 사무실(1240a)과 연관된 콘텐츠 차단 세팅이 이전에 인에이블되었는지를 체크할 수 있다. 사무실(1705)과 연관된 콘텐츠 차단 세팅이 이전에 인에이블된 경우, 웨어러블 시스템(200)은 콘텐츠 차단을 위해 연관된 세팅을 자동으로 적용할 수 있다. 예로서, 사무실(1240a)에 대한 콘텐츠 차단 세팅은 엔터테인먼트 콘텐츠를 차단하는 것을 포함할 수 있다. 따라서, 도 12d에 도시된 바와 같이, 사용자는 더 이상 가상 게임 애플리케이션들을 지각할 수 없다. 웨어러블 시스템은 또한 (사용자가 휴게실(1240b)에서 지각할 수 있었던) 크로스워드 애플리케이션(1178a)을 제거하고, 오피스 툴 애플리케이션들(1252)을 대신 보여줄 수 있다. 다른 예로서, 웨어러블 시스템은 (업무 외의 사용자의 친구들보다는) 업무 관련 연락처들을 제시하기 위해 텔레프레전스 세션의 연락처 리스트(1254)를 업데이트할 수 있다. 웨어러블 시스템은 또한 사용자가 사무실(1240a)에 있을 때, 업무 관련 연락처들이 사용자에 의해 보다 쉽게 지각될 수 있도록 연락처 리스트들을 정렬(예컨대, 업무 관련 연락처를 연락처 리스트의 상부로 이동시킴)할 수 있다.
[0167] 이 예에서, 사용자는 휴게실(1240b)로부터 사무실(1240a)로 걸어가지만, 사용자가 사무실(1240a)로부터 휴게실(1240b)로 걸어가는 경우 유사한 기술들이 또한 적용될 수 있다. 소정의 구현들에서, 사용자가 한 위치로부터 다른 위치로 이동하더라도, 웨어러블 시스템은 그럼에도, 장면이 변하지 않았기 때문에 가상 콘텐츠를 뮤팅하는 데 동일한 세팅을 적용할 수 있다. 예컨대, 사용자가 공원으로부터 지하철 역으로 이동할 수 있다. 웨어러블 시스템은, 공원 및 지하철 역 둘 모두가 공공 장면으로서 간주될 수 있기 때문에 가상 콘텐츠 뮤팅하는데 동일한 세팅을 적용할 수 있다.
트리거링
이벤트들의 컴퓨터 비전 및 센서 기반 검출
[0168] 트리거링 이벤트는 다양한 기술들을 사용하여 검출될 수 있다. 트리거링 이벤트는 사용자의 반응에 기초하여 결정될 수 있다. 예컨대, 웨어러블 시스템은 내향 이미징 시스템 또는 생리적 센서에 의해 획득된 데이터를 분석할 수 있다. 웨어러블 시스템은 데이터를 사용하여 사용자의 감정 상태를 결정할 수 있다. 웨어러블 시스템은 사용자가 소정의 감정 상태(이를테면, 화남, 두려움, 불편함 등)에 있는지를 결정함으로써 트리거링 이벤트의 존재를 검출할 수 있다. 일 예로서, 웨어러블 시스템은 사용자의 동공 확장, 심박수, 호흡률 또는 발한율(perspiration rate)을 분석하여 사용자의 감정 상태를 결정할 수 있다.
[0169] 트리거링 이벤트는 또한 컴퓨터 비전 기술들을 사용하여 검출될 수 있다. 예컨대, 웨어러블 시스템은 장면 재구성, 이벤트 검출, 비디오 추적, 객체 인식, 객체 포즈 추정, 학습, 인덱싱, 모션 추정 또는 이미지 복원 등을 수행하기 위해 외향 이미징 시스템에 의해 획득된 이미지들을 분석할 수 있다. 이러한 작업들을 수행하기 위해 하나 이상의 컴퓨터 비전 알고리즘들이 사용될 수 있다. 컴퓨터 비전 알고리즘들의 비-제한적인 예들은, SIFT(Scale-invariant feature transform), SURF(speeded up robust features), ORB(oriented FAST and rotated BRIEF), BRISK(binary robust invariant scalable keypoints), FREAK(fast retina keypoint), Viola-Jones 알고리즘, Eigenfaces 접근법, Lucas-Kanade 알고리즘, Horn-Schunk 알고리즘, Mean-shift 알고리즘, vSLAM(visual simultaneous location and mapping) 기술들, 순차적 베이지안 추정기(예컨대, 칼만 필터, 확장된 칼만 필터 등), 번들 조정, 적응형 임계화(Adaptive thresholding)(및 다른 임계화 기술들), ICP(Iterative Closest Point), SGM(Semi Global Matching), SGBM(Semi Global Block Matching), 특징 포인트 히스토그램(Feature Point Histogram)들, (예컨대, 지원 벡터 머신, k-최근접 이웃 알고리즘, 나이브 베이즈(Naive Bayes), 뉴럴 네트워크(콘볼루셔널 또는 딥 뉴럴 네트워크들을 포함함) 또는 다른 감독/비-감독 모델들 등과 같은) 다양한 머신 학습 알고리즘들 등을 포함한다. 도 7을 참조하여 설명된 바와 같이, 컴퓨터 비전 알고리즘들 중 하나 이상은 객체들, 이벤트들 또는 환경들을 인식하기 위한 객체 인식기들(708)에 의해 구현될 수 있다.
[0170] 이러한 컴퓨터 비전 기술들 중 하나 이상은 또한 트리거링 이벤트의 존재를 검출하기 위해 (예컨대, 마이크로폰과 같은) 다른 환경 센서들로부터 획득된 데이터와 함께 사용될 수 있다.
[0171] 트리거링 이벤트는 하나 이상의 기준들에 기초하여 검출될 수 있다. 이러한 기준들은 사용자에 의해 정의될 수 있다. 예컨대, 사용자는 사용자의 환경의 화재로 트리거링 이벤트를 세팅할 수 있다. 따라서, 웨어러블 시스템이 컴퓨터 비전 알고리즘을 사용하거나 연기 검출기(웨어러블 시스템의 부분이거나 부분이 아닐 수 있음)로부터 수신된 데이터를 사용하여 화재를 검출할 때, 웨어러블 시스템은 그러면, 트리거링 이벤트의 존재를 시그널링하고 디스플레이되는 가상 콘텐츠를 자동으로 뮤팅할 수 있다. 기준들은 또한 다른 사람에 의해 세팅될 수 있다. 예컨대, 웨어러블 시스템의 프로그래머는 웨어러블 시스템의 과열로 트리거링 이벤트를 세팅할 수 있다.
[0172] 트리거링 이벤트의 존재는 또한 사용자의 상호작용들에 의해 표시될 수 있다. 예컨대, 사용자가 소정의 포즈(예컨대, 손 제스처 또는 신체 포즈)를 취하거나 트리거링 이벤트의 존재를 표시하는 사용자 입력 디바이스를 작동시킬 수 있다.
[0173] 부가적으로 또는 대안적으로, 기준들은 또한 사용자의 행동들(또는 사용자들의 그룹의 행동)에 기초하여 학습될 수 있다. 예컨대, 웨어러블 시스템은 사용자가 HMD를 턴 오프시킬 때를 모니터링할 수 있다. 웨어러블 시스템은 사용자가 소정의 유형의 가상 콘텐츠(예컨대, 영화에서 소정의 유형의 장면들)에 대한 응답으로 웨어러블 시스템을 종종 턴 오프시키는 것을 관찰할 수 있다. 웨어러블 시스템은 그에 따라 사용자의 행동을 학습하고 사용자의 행동에 기초하여 트리거링 이벤트를 예측할 수 있다. 다른 예로서, 웨어러블 시스템은 사용자의 이전 상호작용들에 기초하여 사용자의 감정 상태를 가상 콘텐츠와 연관시킬 수 있다. 웨어러블 시스템은 사용자가 가상 객체와 상호작용할 때 트리거링 이벤트가 존재하는지를 예측하도록 이 연관성을 사용할 수 있다.
[0174] 트리거링 이벤트는 또한 알려진 객체들에 기초할 수 있다. 예컨대, 웨어러블 시스템은 가상 콘텐츠가 주어진 위치에서 디스플레이되는 것을 차단할 수 있다. 웨어러블 시스템은 주어진 위치에서와 유사한 특성들을 갖는 다른 가상 콘텐츠를 자동으로 차단할 수 있다. 예컨대, 사용자는 차에서 비디오 시청 애플리케이션을 차단하도록 구성할 수 있다. 이 구성에 기초하여, 웨어러블 시스템은 사용자가 영화 및 음악 애플리케이션의 차단을 특별히 구성하지 않았더라도 영화 및 음악 애플리케이션을 자동으로 차단할 수 있는데, 그 이유는 영화 및 음악 애플리케이션이 비디오 시청 애플리케이션과 유사한 특성들을 공유하기 때문이다(예컨대, 이들 전부는 오디오-시각적 엔터테인먼트 콘텐츠임).
트리거링
이벤트들의
머신
학습
[0175] 트리거링 이벤트들을 학습하는 데 다양한 머신 학습 알고리즘들이 사용될 수 있다. 트레이닝되면, 머신 학습 모델은 후속 애플리케이션들을 위해 웨어러블 시스템에 의해 저장될 수 있다. 도 7을 참조하여 설명된 바와 같이, 머신 학습 알고리즘들 또는 모델들 중 하나 이상은 객체 인식기(708)에 의해 구현될 수 있다.
[0176] 머신 학습 알고리즘들의 일부 예들은, (예컨대, 정규 최소 제곱화 회귀 분석(Ordinary Least Squares Regression)과 같은) 회귀 알고리즘들, (예컨대, 학습 벡터 양자화(Learning Vector Quantization)와 같은) 인스턴스-기반 알고리즘들, (예컨대, 분류 및 회귀 트리들과 같은) 결정 트리 알고리즘들, (예컨대, 나이브 베이즈(Naive Bayes)와 같은) 베이지안 알고리즘들, (예컨대, k-평균 클러스터링과 같은) 클러스터링 알고리즘들, (예컨대, 선험적 알고리즘들과 같은) 연관 규칙 학습 알고리즘들, (예컨대, 퍼셉트론(Perceptron)과 같은) 인공 뉴럴 네트워크 알고리즘들, (예컨대, 딥 볼츠만 머신, 또는 딥 뉴럴 네트워크와 같은) 딥 러닝 알고리즘들, (예컨대, 주 성분 분석(Principal Component Analysis)과 같은) 차원성 감소 알고리즘, (예컨대, 누적된 일반화(Stacked Generalization)와 같은) 앙상블 알고리즘들 및/또는 다른 머신 학습 알고리즘들을 포함하는 감독 또는 비-감독 머신 학습 알고리즘들을 포함할 수 있다. 일부 실시예들에서, 개별 모델들은 개별 데이터 세트들에 대해 커스터마이징될 수 있다. 예컨대, 웨어러블 디바이스는 기본 모델을 생성하거나 저장할 수 있다. 기본 모델은 데이터 유형(예컨대, 특정 사용자), 데이터 세트(예컨대, 획득된 부가적인 이미지들의 세트), 조건부 상황들 또는 다른 변동들에 특정한 부가적인 모델들을 생성하기 위한 시작 포인트로서 사용될 수 있다. 일부 실시예들에서, 웨어러블 시스템은 어그리게이팅된 데이터의 분석을 위한 모델들을 생성하기 위해 복수의 기술들을 활용하도록 구성될 수 있다. 다른 기술들은 미리 정의된 임계치들 또는 데이터 값들을 사용하는 것을 포함할 수 있다.
[0177] 기준들은 임계 조건을 포함할 수 있다. 임계 조건이 초과되었다는 것을 환경 센서에 의해 획득된 데이터의 분석이 표시하는 경우, 웨어러블 시스템은 트리거링 이벤트의 존재를 검출할 수 있다. 임계 조건은 양적 및/또는 질적 측정을 포함할 수 있다. 예컨대, 임계 조건은 트리거링 이벤트 발생 가능성과 연관된 점수 또는 퍼센티지를 포함할 수 있다. 웨어러블 시스템은 환경 센서의 데이터로부터 계산된 점수를 임계 점수와 비교할 수 있다. 점수가 임계 레벨보다 높은 경우, 웨어러블 시스템은 트리거링 이벤트의 존재를 검출할 수 있다. 다른 실시예들에서, 웨어러블 시스템은 점수가 임계치보다 낮은 경우 트리거링 이벤트의 존재를 시그널링할 수 있다.
[0178] 임계 조건은 또한 이를테면, "A", "B", "C", "D" 등과 같은 문자 등급들을 포함할 수 있다. 각각의 등급은 상황의 심각성을 표현할 수 있다. 예컨대, "A"는 가장 심각할 수 있는 반면, "D"는 가장 덜 심각할 수 있다. 사용자의 환경의 이벤트가 (임계 조건과 비교하여) 충분히 심각하다고 웨어러블 시스템이 결정할 때, 웨어러블 시스템은 트리거링 이벤트의 존재를 표시하고 조치를 취할 수 있다(예컨대, 가상 콘텐츠 뮤팅함).
[0179] 임계 조건은 사용자의 물리적 환경 내의 객체들(또는 사람들)에 기초하여 결정될 수 있다. 예컨대, 임계 조건은 사용자의 심박수에 기초하여 결정될 수 있다. 사용자의 심박수가 임계 수(예컨대, 분당 소정 수의 맥박)를 초과하는 경우, 웨어러블 시스템은 트리거링 이벤트의 존재를 시그널링할 수 있다. 도 11a 및 도 11b를 참조하여 위에서 설명된 다른 예로서, 웨어러블 시스템의 사용자는 환자에 대해 수술을 수행하는 외과의일 수 있다. 임계 조건은 환자의 실혈, 환자의 심박수 또는 다른 생리적 파라미터들에 기초할 수 있다. 도 2 및 도 10을 참조하여 설명된 바와 같이, 웨어러블 시스템은 환경 센서들(예컨대, 수술 부위를 이미징하는 외향 카메라)로부터 또는 외부 소스(예컨대, 이를테면, 심전계에 의해 모니터링되는 ECG 데이터)로부터 환자의 데이터를 획득할 수 있다. 또 다른 예로서, 임계 조건은 사용자의 환경에서 소정의 객체들의 존재(이를테면, 화재 또는 연기의 존재)에 기초하여 결정될 수 있다.
[0180] 임계 조건은 또한 사용자에게 디스플레이는 가상 객체들에 기초하여 결정될 수 있다. 일 예로서, 임계 조건은 (예컨대, 사람으로부터의 다수의 응답하지 못한 가상 텔레프레전스 호들과 같은) 소정의 수의 가상 객체들의 존재에 기초할 수 있다. 다른 예로서, 임계 조건은 가상 객체와의 사용자의 상호작용에 기초할 수 있다. 예컨대, 임계 조건은 가상 콘텐츠의 단편을 시청하는 사용자의 지속기간일 수 있다.
[0181] 일부 실시예들에서, 임계 조건들, 머신 학습 알고리즘들, 또는 컴퓨터 비전 알고리즘들은 특정 맥락에 대해 특화될 수 있다. 예컨대, 수술 맥락에서, 컴퓨터 비전 알고리즘은 소정의 수술 이벤트들을 검출하도록 특화될 수 있다. 다른 예로서, 웨어러블 시스템은 교육적 맥락에서 (이벤트 추적 알고리즘들 보다는) 얼굴 인식 알고리즘들을 실행하여 사람이 사용자 근처에 있는지를 검출할 수 있다.
예시적인 경고들
[0182] 웨어러블 시스템은 트리거링 이벤트의 존재의 표시를 사용자에게 제공할 수 있다. 표시는 포커스 표시기(focus indicator)의 형태일 수 있다. 포커스 표시기는 후광(halo), 컬러, 지각된 크기 또는 깊이 변화(예컨대, 가상 객체가 선택될 때 더 가깝게 그리고/또는 더 크게 나타나게 함), 사용자 인터페이스 엘리먼트에서의 변화(예컨대, 원으로부터 에스컬레이션 마크(escalation mark)로의 커서의 형상의 변화), 메시지(텍스트 또는 그래픽을 가짐) 또는 사용자의 주의를 끄는 다른 가청, 촉각적, 또는 시각적 효과들을 포함할 수 있다. 웨어러블 시스템은 트리거링 이벤트의 원인 근처에 포커스 표시기를 제시할 수 있다. 예컨대, 웨어러블 시스템의 사용자는 스토브에서 요리를 하며 웨어러블 시스템으로 가상 TV 쇼를 시청하고 있을 수 있다. 그러나 사용자는 TV 쇼를 시청하면서 그가 요리하는 음식을 잊을 수 있다. 결과적으로, 음식은 타고 그리하여 연기 또는 화염들을 생성할 수 있다. 웨어러블 시스템은 환경 센서들을 사용하거나 스토브의 이미지들을 분석함으로써 연기 또는 화염들을 검출할 수 있다. 웨어러블 시스템은 연기 또는 화염들의 소스가 스토브에 있는 음식임을 추가로 검출할 수 있다. 따라서, 웨어러블 시스템은 음식이 타고 있음을 표시하도록 스토브 상의 음식 주위에 후광을 제시할 수 있다. 이 구현은 이벤트가 (예컨대, 집 화재로) 확대되기 전에 (예컨대, 스토브를 턴 오프시킴으로써) 사용자가 트리거링 이벤트의 소스를 해결할 수 있기 때문에 유익할 수 있다. 트리거링 이벤트가 발생하는 동안, 웨어러블 시스템은, 사용자가 트리거링 이벤트에 주의를 집중할 수 있도록 트리거링 이벤트와 연관되지 않은 (예컨대, 가상 TV 쇼와 같은) 가상 콘텐츠의 디스플레이를 자동으로 뮤팅할 수 있다. 위의 탄 음식 예를 계속하면, 웨어러블 시스템은 (예컨대, 탄 음식 주위에 후광을 계속 디스플레이함으로써) 트리거링 이벤트의 소스를 강조하면서, 음식 또는 스토브와 연관되지 않은 가상 콘텐츠를 뮤팅할 수 있다.
[0183] 다른 예로서, 포커스 표시자는 경고 메시지일 수 있다. 예컨대, 경고 메시지는 (예컨대, 2층의 화재, 환자의 실혈이 소정의 수치를 초과하는 것 등과 같은) 트리거링 이벤트에 대한 간략한 설명을 포함할 수 있다. 일부 실시예들에서, 경고 메시지는 또한 트리거링 이벤트를 해결하기 위한 하나 이상의 권고들을 포함할 수 있다. 예컨대, 경고 메시지는 소방관에게 전화를 걸거나 소정의 혈액형을 주입하라는 것 등을 전할 수 있다.
[0184] 소정의 구현들에서, 웨어러블 시스템은, 웨어러블 시스템의 트리거링 이벤트의 인식을 업데이트하는데 경고 메시지에 대한 사용자의 응답을 사용할 수 있다. 예컨대, 웨어러블 시스템은 외향 이미징 시스템에 의해 획득된 이미지들에 기초하여, 사용자가 집에 도착했다는 것을 인식할 수 있다. 따라서, 웨어러블 시스템은 사용자의 집에 맞춤제작된 가상 콘텐츠를 제시할 수 있다. 그러나 사용자는 실제로 친구의 집에 있다. 사용자는 예컨대, 가상 콘텐츠를 폐기하거나 세팅을 변경하기 위해 현실 버튼을 작동시키거나, 손 제스처들을 사용하거나, 사용자 입력 디바이스를 작동시킴으로써 표시를 제공할 수 있다. 웨어러블 시스템은 이 환경에 대한 사용자의 응답을 기억할 수 있고, 다음번에 사용자가 동일한 집에 있을 때 사용자의 집에 맞춤제작된 가상 콘텐츠를 제시하지 않을 것이다.
[0185] 다른 예로서, 웨어러블 시스템은 비상 상황을 인식하고 디스플레이를 자동으로 차단하기 위한 메시지를 제시할 수 있다. 사용자는 또한, 웨어러블 시스템이 디스플레이를 차단하는 것을 방지하기 위한 표시를 제공할 수 있다. 웨어러블 시스템은 사용자의 응답을 기억할 수 있고, 이 응답을 사용하여, 비상 상황의 존재를 결정하기 위해 객체 인식기(708)에 의해 사용되는 모델을 업데이트할 수 있다.
트리거링
이벤트에 대한 응답으로 웨어러블
시스템의 컴포넌트들 또는 가상 콘텐츠를 뮤팅하는 예들
[0186] 트리거링 이벤트에 대한 응답으로, 웨어러블 시스템은 시각적 가청 가상 콘텐츠를 뮤팅할 수 있다. 예컨대, 웨어러블 시스템은 자동으로 HMD로부터의 오디오를 뮤팅하고, HMD에 의해 디스플레이된 가상 콘텐츠를 턴 오프시키고, HMD가 수면 모드에 진입하게 하고, HMD의 광 필드를 디밍시키고, (예컨대, 가상 콘텐츠를 숨기고, FOV 밖으로 가상 콘텐츠를 이동시키거나, 가상 객체의 크기를 감소시킴으로써) 가상 콘텐츠의 양을 감소시킬 수 있다. 웨어러블 시스템이 촉각적 가상 콘텐츠(예컨대, 진동들)를 제공하는 실시예들에서, 웨어러블 시스템은 부가적으로 또는 대안적으로 촉각적 가상 콘텐츠를 뮤팅할 수 있다. 오디오 또는 시각적 콘텐츠를 뮤팅하는 것에 부가적으로 또는 이에 대안으로서, 웨어러블 시스템은 또한 웨어러블 시스템의 다른 컴포넌트들 중 하나 이상을 뮤팅할 수 있다. 예컨대, 웨어러블 시스템은 웨어러블 시스템의 외향 이미징 시스템, 내향 이미징 시스템, 마이크로폰 또는 다른 감응성 센서들을 선택적으로 중지시킬 수 있다. 예컨대, 웨어러블 시스템은 사용자의 눈들을 이미징하도록 구성된 2개의 눈 카메라들을 포함할 수 있다. 웨어러블 시스템은 트리거링 이벤트에 대한 응답으로 하나 또는 둘 모두의 눈 카메라들을 뮤팅할 수 있다. 다른 예로서, 웨어러블 시스템은 외향 이미징 시스템에서 사용자의 주위를 이미징하도록 구성되는 하나 이상의 카메라들을 턴 오프시킬 수 있다. 일부 실시예들에서, 웨어러블 시스템은 내향 이미징 시스템 또는 외향 이미징 시스템의 하나 이상의 카메라들을 저해상도 모드로 변경할 수 있어서, 획득된 이미지들이 미세 세부사항들을 갖지 않을 수 있게 할 수 있다. 이러한 구현들은 사용자가 가상 콘텐츠를 뷰잉하고 있지 않을 때 웨어러블 시스템의 배터리 소모를 감소시킬 수 있다.
[0187] 도 12a 내지 도 12c에 도시된 예시적인 사용자의 환경을 계속 참조하면, 도 12b는 웨어러블 시스템의 가상 디스플레이가 턴 오프된 예시적인 FOV를 예시한다. 이 도면에서, 사용자는, 웨어러블 시스템의 가상 디스플레이가 턴 오프되었기 때문에, 자신의 FOV(1200b)의 물리적 객체들(1210, 1212, 1214 및 1216)만을 지각할 수 있다. 이 도면은 웨어러블 시스템이 턴 온된 도 12a와 대조적이다. 도 12a에서, 사용자는 FOV(1200a)의 가상 객체들(1222, 1224)을 지각할 수 있는 반면, 도 12b에서, 사용자가 가상 객체들(1222, 1224)을 지각할 수 없다.
[0188] 바람직하게는, 일부 실시예들에서, 웨어러블 시스템은, 트리거링 이벤트에 대한 응답으로 가상 콘텐츠의 프리젠테이션을 뮤팅하는 동안, 웨어러블 시스템 컴포넌트들의 잔여부를 지속적으로 동작하는 상태로 유지함으로써 트리거링 이벤트 후에 보다 빠른 재시작 또는 재개를 허용할 수 있다. 예컨대, 웨어러블 시스템은, 웨어러블 시스템 컴포넌트들의 잔여부를 기능하는 상태로 유지하면서, 스피커 또는 디스플레이를 뮤팅(또는 완전히 턴 오프)할 수 있다. 따라서, 트리거링 이벤트가 중단된 후에, 웨어러블 시스템이 완전히 턴 오프될 때의 전체 재시작(full restart)과 비교되게, 웨어러블 시스템이 모든 컴포넌트들을 재시작할 필요가 없다. 일 예로서, 웨어러블 시스템은 가상 이미지들의 디스플레이를 뮤팅하지만 오디오는 켜 놓을 수 있다. 이 예에서, 웨어러블 시스템은 트리거링 이벤트에 대한 응답으로 시각적 혼동을 감소시키면서 웨어러블 시스템의 스피커를 통해 사용자가 경고를 들을 수 있게 한다. 다른 예로서, 사용자가 텔레프레전스 세션에 있을 때 트리거링 이벤트가 발생할 수 있다. 웨어러블 시스템은 텔레프레전스 세션과 연관된 사운드 뿐만 아니라 가상 콘텐츠를 뮤팅하지만, 웨어러블 시스템의 백그라운드에서 실행되는 텔레프레전스 애플리케이션을 허용할 수 있다. 또 다른 예로서, 웨어러블 시스템은 하나 이상의 환경 센서들을 동작 상태로 유지하면서 가상 콘텐츠(및 오디오)를 뮤팅할 수 있다. 트리거링 이벤트에 대한 응답으로, 웨어러블 시스템은 (예컨대,) GPS 센서를 이용하여 데이터를 지속적으로 획득하면서 디스플레이를 턴 오프시킬 수 있다. 이 예에서, 웨어러블 시스템은 구조자가 비상 상황에서 사용자의 포지션을 보다 정확하게 로케이팅할 수 있게 한다.
[0189] 도 12c는 웨어러블 시스템이 가상 콘텐츠의 양을 감소시킨 예시적인 FOV를 예시한다. 도 12a와 비교하면, FOV(1200C)의 가상 아바타(1224)는 크기가 감소되었다. 또한, 웨어러블 시스템은 가상 아바타(1224)를 FOV의 중심 근처로부터 하부 우측 코너로 이동시켰다. 결과적으로, 가상 아바타(1224)는 덜 강조되고, 사용자에 대한 지각 혼동을 덜 생성할 수 있다. 또한, 웨어러블 시스템은 FOV(1200c)의 외부로 가상 빌딩(1222)을 이동시켰다. 결과적으로, 가상 객체(1224)는 FOV(1200c)에 나타나지 않는다.
[0190] 트리거링 이벤트에 기초하여 가상 콘텐츠를 자동으로 뮤팅하는 것에 추가적으로 또는 이에 대안으로서, 웨어러블 시스템은 또한, 사용자가 현실 버튼(예컨대, 도 2의 현실 버튼(263))을 수동으로 작동시킬 때 가상 콘텐츠를 뮤팅할 수 있다. 예컨대, 사용자는 현실 버튼을 눌러 오디오 또는 시각적 콘텐츠를 턴 오프시키나, 또는 현실 버튼을 가볍게 두르려 가상 콘텐츠를 FOV 밖으로 이동시킬 수 있다. 현실 버튼에 관한 추가의 세부사항들은 도 14a 및 도 14b를 참조하여 아래에서 설명된다.
[0191] 일부 실시예들에서, 트리거링 이벤트의 검출 시에, 웨어러블 시스템은 트리거링 이벤트의 가청, 촉각적 또는 시각적 표시를 사용자에게 제시할 수 있다. 사용자가 트리거링 이벤트에 응답하지 않는 경우, 웨어러블 시스템은 지각 혼동을 감소시키기 위해 자동으로 뮤팅될 수 있다. 다른 실시예들에서, 사용자가 트리거링 이벤트의 표시에 응답하는 경우, 웨어러블 시스템은 뮤팅될 것이다. 예컨대, 사용자는 현실 버튼 또는 사용자 입력 디바이스를 작동시키거나 (예컨대, 외향 이미징 시스템 전방에서 자신의 손을 흔드는 것과 같은) 소정의 포즈를 제공함으로써 응답할 수 있다.
웨어러블
디바이스를
뮤팅하는
예시적인 프로세스들
[0192] 도 13a 및 도 13b는 트리거링 이벤트에 기초하여 웨어러블 시스템을 뮤팅하는 예시적인 프로세스들을 예시한다. 도 13a 및 도 13b(각각)의 프로세스들(1310 및 1320) 은 본원에서 설명된 웨어러블 시스템에 의해 수행될 수 있다. 이들 두 프로세스들에서 하나 이상의 블록들은 선택적이거나 다른 블록의 부분일 수 있다. 또한, 이들 두 프로세스들은 도면들의 화살표들에 의해 표시된 시퀀스로 수행될 필요는 없다.
[0193] 프로세스(1310)의 블록(1312)에서, 웨어러블 시스템은 환경 센서들로부터 데이터를 수신할 수 있다. 환경 센서들은 외부 센서들뿐만 아니라 사용자 센서들을 포함할 수 있다. 따라서, 환경 센서들에 의해 획득된 데이터는 사용자 및 사용자의 물리적 환경과 연관된 데이터를 포함할 수 있다. 일부 실시예들에서, 웨어러블 시스템은 부가적인 데이터를 획득하기 위해 다른 데이터 소스와 통신할 수 있다. 예컨대, 웨어러블 시스템은 환자의 데이터(이를테면, 심박수, 호흡률, 질병 이력들 등)를 획득하기 위해 의료 디바이스와 통신할 수 있다. 다른 예로서, 웨어러블 시스템은, (예컨대, 사용자가 시청하고 있는 영화의 유형, 가상 객체들의 이전의 상호작용들 등과 같이) 사용자가 현재 상호작용하고 있는 가상 객체들의 정보를 결정하기 위해 원격 데이터 저장소와 통신할 수 있다. 일부 구현들에서, 웨어러블 시스템은 외부 이미징 시스템들에 네트워킹된 내부 이미징 시스템으로부터 또는 웨어러블 시스템과 통신하는 외부 이미징 시스템으로부터 데이터를 수신할 수 있다.
[0194] 블록(1314)에서, 웨어러블 시스템은 트리거링 이벤트를 검출하도록 데이터를 분석한다. 웨어러블 시스템은 임계 조건을 고려하여 데이터를 분석할 수 있다. 임계 조건이 초과되었다고 데이터가 표시하는 경우, 웨어러블 시스템은 트리거링 이벤트의 존재를 검출할 수 있다. 트리거링 이벤트는 컴퓨터 비전 알고리즘들을 사용하여 실시간으로 검출될 수 있다. 트리거링 이벤트는 또한 하나 이상의 예측 모델들에 기초하여 검출될 수 있다. 예컨대, 웨어러블 시스템은, 트리거링 이벤트 발생 가능성이 임계 조건을 초과하는 경우 트리거링 이벤트의 존재를 표시할 수 있다.
[0195] 블록(1316)에서, 디스플레이 시스템은 트리거링 이벤트에 대한 응답으로 자동으로 뮤팅될 수 있다. 예컨대, 웨어러블 시스템은 자동으로 가상 콘텐츠 디스플레이를 턴 오프시키거나 디스플레이에 의해 제시되는 가상 콘텐츠의 일부를 뮤팅할 수 있다. 결과적으로, 사용자는, 가상 콘텐츠에 의한 산만함들 없이 또는 가상 객체들로부터 실제 물리적 객체를 구별하는 데 문제들 없이, 웨어러블 시스템을 통해 물리적 환경을 볼 수 있거나, 소정의 환경과 관련된 가상 콘텐츠를 지각할 수 있다. 다른 예로서, 웨어러블 시스템은 지각 혼동들을 감소시키기 위해 가상 콘텐츠와 연관된 사운드의 볼륨을 낮추거나 사운드를 턴 오프시킬 수 있다.
[0196] 선택적인 블록(1318a)에서, 웨어러블 시스템은 트리거링 이벤트의 종결을 결정할 수 있다. 예컨대, 웨어러블 시스템은 트리거링 이벤트를 야기한 상황이 끝났는지(예컨대, 화재가 진압됨) 또는 사용자가 더 이상 동일한 환경에 있지 않은지(예컨대, 사용자가 집으로부터 공원으로 걸어감)를 결정할 수 있다. 트리거링 이벤트가 더 이상 존재하지 않는 경우, 프로세스(1310)는 디스플레이 시스템 또는 뮤팅된 가상 콘텐츠를 재개하기 위해 선택적인 블록(1318b)으로 진행될 수 있다.
[0197] 일부 상황들에서, 웨어러블 시스템은 선택적인 블록(1318b)에서, 제2 트리거링 이벤트의 존재를 결정할 수 있다. 제2 트리거링 이벤트는 웨어러블 시스템이 디스플레이 시스템 또는 뮤팅된 가상 콘텐츠의 부분을 재개하게 하거나, 또는 웨어러블 시스템이 다른 가상 콘텐츠, 디스플레이 시스템 또는 웨어러블 시스템의 다른 컴포넌트들을 (이들이 이전에 뮤팅되지 않았던 경우) 뮤팅하게 할 수 있다.
[0198] 도 13b의 프로세스(1320)는 트리거링 이벤트에 기초하여 가상 콘텐츠를 뮤팅하는 다른 예시적인 프로세스를 예시한다. 프로세스들(1310 및 1320)의 블록들(1312 및 1314)은 동일한 설명이 뒤따른다.
[0199] 블록(1322)에서, 웨어러블 시스템은 블록(1314)에서의 데이터의 분석에 기초하여 트리거링 이벤트가 존재하는지를 결정할 수 있다. 트리거링 이벤트가 존재하지 않는 경우, 프로세스(1320)는 웨어러블 시스템이 환경 센서들로부터 획득된 데이터를 지속적으로 모니터링하는 블록(1312)으로 되돌아 간다.
[0200] 트리거링 이벤트가 검출되는 경우, 블록(1324)에서, 웨어러블 시스템은 트리거링 이벤트의 표시를 제공할 수 있다. 도 12a를 참조하여 설명된 바와 같이, 표시는 포커스 표시자일 수 있다. 예컨대, 표시는 경고 메시지일 수 있다. 경고 메시지는 트리거링 이벤트가 검출되었음을 나타낼 수 있고, 소정의 시간 기간(예컨대, 5초, 30초, 1분 등) 동안 사용자로부터 어떠한 응답도 수신되지 않는 경우, 웨어러블 시스템은 자동으로 지각 혼동들을 뮤팅할 수 있다.
[0201] 블록(1324)에서, 웨어러블 시스템은 표시에 대한 응답이 수신되었는지를 결정할 수 있다. 사용자는 사용자 입력 디바이스 또는 현실 버튼을 작동시킴으로써 표시에 응답할 수 있다. 또한, 사용자는 포즈의 변화에 의해 응답할 수 있다. 웨어러블 시스템은 사용자 입력 디바이스로부터의 입력 또는 현실 버튼을 모니터링함으로써 사용자가 응답을 제공하였는지를 결정할 수 있다. 웨어러블 시스템은 또한, 외향 이미징 시스템에 의해 획득된 이미지들 또는 IMU들에 의해 획득된 데이터를 분석하여, 사용자가 응답을 제공하기 위해 자신의 포즈를 변경하였는지를 결정할 수 있다.
[0202] 웨어러블 시스템이 응답을 수신하지 않는 경우, 웨어러블 시스템은 블록(1328)에서 가상 콘텐츠(또는 사운드)를 자동으로 뮤팅할 수 있다. 웨어러블 시스템이 응답을 수신하는 경우, 프로세스(1320)는 종료된다. 일부 실시예들에서, 웨어러블 시스템은 웨어러블 시스템이 응답을 수신하는 경우 환경 센서를 지속적으로 모니터링할 수 있다. 웨어러블 시스템은 나중에 다른 트리거링 이벤트를 검출할 수 있다. 일부 실시예들에서, 사용자로부터 수신된 응답은 표시에 제공되지 않은 다른 액션을 수행하도록 웨어러블 시스템에 지시한다. 예로서, 웨어러블 시스템은 사용자가 임계 시간 지속기간 내에 응답하지 않을 시에 가상 디스플레이가 턴 오프될 것임을 표시하는 경고 메시지를 제공할 수 있다. 그러나 사용자는 예컨대, 현실 버튼을 두 번 두드림으로써 시간 지속기간 내에 응답한다. 그러나 이 응답은 광 필드를 (턴 오프시키는 것 대신) 디밍시키는 것과 연관된다. 따라서, 웨어러블 시스템은 경고 메시지에 표시된 바와 같이 광 필드를 턴 오프시키는 대신에, 광 필드를 대신 디밍시킬 수 있다.
[0203] 도 13c의 프로세스(1330)는 환경에 따라 가상 콘텐츠를 선택적으로 차단하는 예를 예시한다. 프로세스(1330)는 본원에서 설명된 웨어러블 시스템(200)에 의해 수행될 수 있다.
[0204] 프로세스(1330)는 블록(1332)에서 시작하고, 블록(1334)으로 이동한다. 블록(1334)에서, 웨어러블 시스템은 웨어러블 디바이스의 환경 센서로부터 획득된 데이터를 수신할 수 있다. 예컨대, 웨어러블 시스템은 웨어러블 디바이스의 외향 이미징 시스템(464)에 의해 획득된 이미지들을 수신할 수 있다. 일부 구현들에서, 웨어러블 시스템은 외부 이미징 시스템들에 네트워킹된 내부 이미징 시스템으로부터 또는 웨어러블 시스템과 통신하는 외부 이미징 시스템으로부터 데이터를 수신할 수 있다.
[0205] 블록(1336)에서, 웨어러블 시스템은 환경 센서에 의해 수집되고 수신된 데이터를 분석한다. 환경 센서로부터 수신된 데이터에 적어도 부분적으로 기초하여, 웨어러블 시스템은 웨어러블 시스템의 사용자가 현재 위치되는 환경을 인식할 것이다. 도 11f를 참조하여 설명된 바와 같이, 웨어러블 시스템은 환경 내의 물리적 객체들의 존재, 환경 내의 물리적 객체들의 어레인지먼트, 또는 환경 내의 물리적 객체들에 관한 사용자의 위치에 기초하여 환경을 인식할 수 있다.
[0206] 블록(1338)에서, 웨어러블 시스템은 환경에 대한 콘텐츠 차단 세팅을 체크한다. 예컨대, 웨어러블 시스템은 사용자가 새로운 환경에 진입했는지(예컨대, 사용자가 업무 환경으로부터 레저 환경에 진입했는지)를 결정할 수 있다. 사용자가 새로운 환경에 진입하지 않았다고 웨어러블 시스템이 결정하는 경우, 웨어러블 시스템은 이전의 환경과 동일한 세팅을 적용할 수 있고, 따라서 블록들(1340 내지 1352)은 선택적이 될 수 있다.
[0207] 블록(1340)에서, 웨어러블 시스템은 자신이 콘텐츠 차단 세팅을 인에이블 또는 편집하기 위한 표시를 수신하였는지를 결정한다. 이러한 표시는 (예컨대, 사용자의 포즈 또는 사용자 입력 디바이스로부터의 입력들에 기초하여) 사용자로부터 나올 수 있다. 표시는 또한 자동적일 수 있다. 예컨대, 웨어러블 시스템은 트리거링 이벤트에 대한 응답으로 환경에 특정한 세팅을 자동으로 적용할 수 있다.
[0208] 웨어러블 시스템이 표시를 수신하지 않은 경우, 프로세스(1330)는, 콘텐츠 차단 세팅이 이전에 인에이블되었는지를 웨어러블 시스템이 결정하는 블록(1350)으로 이동한다. 만약 아니라면, 블록(1352)에서, 가상 콘텐츠는 차단 없이 제시된다. 그렇지 않으면, 블록(1344)에서, 웨어러블 시스템은 콘텐츠 차단 세팅에 기초하여 가상 콘텐츠를 선택적으로 차단할 수 있다.
[0209] 웨어러블 시스템이 표시를 수신한 경우, 웨어러블 시스템은 콘텐츠 차단 세팅을 편집하거나 새로운 콘텐츠 차단 세팅을 생성할 수 있다. 새로운 환경을 위해 세팅이 구성될 필요가 있는 경우, 웨어러블 시스템은 블록(1342)에서 콘텐츠 차단 세팅의 저장을 개시할 수 있다. 따라서, 사용자가 동일하거나 유사한 새로운 환경에 재차 진입할 때, 웨어러블 시스템은 콘텐츠 차단 세팅을 자동으로 적용할 수 있다. 또한, 사용자는 저장되고 나중에 동일하거나 유사한 환경에 적용될 기존 콘텐츠 차단 세팅을 재구성할 수 있다.
[0210] 환경과 연관된 콘텐츠 차단 세팅은 웨어러블 디바이스 상에(예컨대, 로컬 프로세싱 및 데이터 모듈(260)에) 국부적으로 또는 유선 또는 무선 네트워크에 의해 액세스 가능한 네트워킹된 저장 위치들(예컨대, 원격 데이터 리포지토리(280))에 원격으로 상주할 수 있다. 일부 실시예들에서, 콘텐츠 차단 세팅은 부분적으로 웨어러블 시스템 상에 로컬로 상주할 수 있고, 유선 또는 무선 네트워크에 의해 액세스 가능한 네트워킹된 저장 위치들에 부분적으로 상주할 수 있다.
[0211] 블록(1344)에서, 웨어러블 시스템은 새로운 환경과 연관된 저장된 콘텐츠 차단 세팅을 구현한다. 새로운 환경과 연관된 콘텐츠 차단 세팅을 적용함으로써, 일부 또는 모든 가상 콘텐츠는 콘텐츠 차단 세팅에 따라 차단될 것이다. 그 후, 프로세스는 블록(1332)으로 되돌아 간다.
[0212] 블록(1350)에서, 웨어러블 시스템은 콘텐츠 차단 세팅이 이전에 인에이블되었었는지를 체크할 수 있다(1350). 만약 아니라면, 웨어러블 시스템은 블록(1352)에서 차단 없이 가상 콘텐츠를 제시할 수 있다. 그렇지 않으면, 웨어러블 시스템은 블록(1344)에서 콘텐츠 차단 세팅에 기초하여 가상 콘텐츠를 선택적으로 차단할 수 있다. 블록들(1350 내지 1352) 및 블록들(1340 내지 1344)은 병렬로 또는 순차적으로 실행될 수 있다. 예컨대, 웨어러블 시스템은, 자신이 환경에 대한 콘텐츠 차단 세팅을 수정하라는 표시를 수신하였는지를 결정하는 동안, 이전 콘텐츠 차단 세팅이 존재하는지를 체크할 수 있다.
웨어러블 디스플레이 시스템의 수동 제어
[0213] 본원에서 설명된 바와 같이, 웨어러블 디스플레이 시스템의 실시예들은 사용자의 환경에서의 트리거링 이벤트의 발생에 기초하여, 가상 콘텐츠의 시각적 또는 가청 디스플레이를 자동으로 제어할 수 있다. 부가적으로 또는 대안적으로, 사용자는 시각적 또는 가청 가상 콘텐츠를 수동으로 뮤팅하는 능력을 갖기를 원할 수 있다.
[0214] 따라서, 도 2를 참조하여 설명된 바와 같이, 디스플레이 시스템(100)은 사용자-선택 가능 현실 버튼(263)을 포함할 수 있다. 현실 버튼(263)은, 예컨대, 물리적 또는 가상 환경에서 예기치 않은 시끄러운 노이즈, 불쾌한 또는 위험한 경험들 또는 조건들, 실제 세계에서의 비상사태들, 또는 단순히 사용자가 (예컨대, 가상 콘텐츠의 디스플레이 없이 친구와 대화하기 위해) 증강 또는 혼합 현실 보다 "실제" 현실을 경험하기를 원하기 때문에 와 같은 소정의 상황들에 대한 응답으로, 웨어러블 디바이스의 시각적 디스플레이(220) 또는 오디오 시스템(예컨대, 스피커(240))을 뮤팅할 수 있다.
[0215] 현실 버튼(263)은 (일단 작동되면) 디스플레이 시스템(100)이 디스플레이(220)를 턴 오프시키거나 그의 밝기를 디밍시키게 하거나 스피커들(240)로부터의 오디오를 청각적으로 뮤팅하게 할 수 있다. 결과적으로, 사용자(210)는, 사용자에 대한 가상 객체들의 디스플레이 또는 사운드에 의해 야기된 지각 혼동이 감소되거나 제거될 것이기 때문에, 환경 내의 물리적 객체들을 보다 쉽게 지각할 수 있을 것이다. 일부 실시예들에서, 현실 버튼(263)이 작동될 때, 디스플레이 시스템(100)은 VR 또는 AR 디스플레이(220) 및 스피커(600)를 턴 오프시키는 반면, 디스플레이 시스템(100)의 잔여부(이를테면, 환경 센서들, 사용자 입력 디바이스 등)는 정상적으로 계속 동작할 수 있다(이는 웨어러블 디바이스가 뮤팅해제된 후 더 빠른 재시작을 제공할 수 있음).
[0216] 현실 버튼(263)은 디스플레이 시스템(100)이 가상 콘텐츠의 양을 감소시키게 할 수 있다. 예컨대, 디스플레이 시스템(100)은 FOV의 가상 객체들의 크기를 감소(예컨대, 가상 아바타 또는 다른 가상 객체의 크기를 감소)시키고, 가상 객체들을 보다 투명하게 만들거나, 가상 객체들이 디스플레이되는 밝기를 감소시킬 수 있다. 현실 버튼(263)은 부가적으로 또는 대안적으로, 이를테면, FOV 내부로부터 FOV의 외부로 가상 객체를 이동시키거나 또는 중앙 구역으로부터 주변 구역으로 가상 객체를 이동시킴으로써, 디스플레이 시스템(100)이 한 위치에서 다른 위치로 가상 콘텐츠를 이동시키게 할 수 있다. 부가적으로 또는 대안적으로, 현실 버튼(263)은 디스플레이 시스템에 의해 생성된 광 필드를 디밍시킬 수 있고, 이에 따라 지각 혼동의 가능성을 감소시킨다. 소정의 구현들에서, 디스플레이 시스템(100)은 현실 버튼(263)이 작동될 때 가상 콘텐츠의 부분만을 뮤팅할 수 있다. 예컨대, 웨어러블 디바이스의 사용자가 상점에서 쇼핑하는 동안, 웨어러블 디바이스는 백화점의 맵(map) 뿐만 아니라 상점에서 옷들의 가격과 같은 가상 콘텐츠를 디스플레이할 수 있다. 백화점의 시끄러운 노이즈에 대한 응답으로, 현실 버튼(263)의 작동 시에, 웨어러블 디바이스는 옷들의 가격과 관련된 가상 콘텐츠를 숨기거나 (예컨대, FOV의 외부로) 이동시킬 수 있지만, 그럼에도 불구하고 사용자가 상점을 신속하게 벗어날 필요가 있는 경우에 대비하여 맵을 남겨둔다.
[0217] 현실 버튼(263)은 디스플레이 시스템(100)에 전력을 제공하는 배터리 팩 상에 또는 디스플레이 시스템(100)의 프레임(230)에 장착된 터치-감응 센서일 수 있다. 사용자는 예컨대, 자신의 허리에 배터리 팩을 착용할 수 있다. 현실 버튼(263)은 예컨대, 터치 제스처에 의해 또는 궤적을 따른 스와이핑(swiping)에 의해 사용자가 작동시킬 수 있는 터치 감응 구역일 수 있다. 예컨대, 터치-감응 부분 상에서 하향으로 스와이핑함으로써, 웨어러블 디바이스는 뮤팅될 수 있는 반면, 상향으로 스와이핑함으로써, 웨어러블 디바이스는 그의 정상 기능으로 복원될 수 있다.
[0218] 일부 실시예들에서, 웨어러블 디바이스는 (부가적으로 또는 대안적으로) 물리적인 버튼이 아니라, 사용자 제스처에 의해 작동되는 기능성인 가상 현실 버튼을 포함할 수 있다. 예컨대, 웨어러블 디바이스의 외향 카메라들은 사용자의 제스처들을 이미징할 수 있고, 특정 "뮤팅" 제스처가 인식되는 경우(예컨대, 사용자가 자신의 손을 올려서 주먹을 형성함), 웨어러블 디바이스는 사용자에게 디스플레이되는 시각적 또는 가청 콘텐츠를 뮤팅할 것이다. 일부 실시예들에서, 사용자에 의한 현실 버튼(263)의 작동 후에, 디스플레이 시스템(100)은 디스플레이가 뮤팅될 것임을 사용자에게 통지하는 경고 메시지(1430)(도 14a에 도시됨)를 디스플레이할 수 있다. 일부 실시예들에서, 사용자가 뮤팅을 취소하기 위해 현실 버튼(263)을 재차(a second time) 작동시키지 않거나 가상 경고 메시지(1430)(또는 메시지(1430)와 연관된 버튼)를 작동시키지 않으면, 디스플레이 시스템(100)은 시간 기간(예컨대, 도 14a에 도시된 바와 같이 5초)이 경과한 후에 뮤팅될 것이다. 다른 실시예들에서, 디스플레이 시스템(100)이 시각적 또는 가청 디스플레이를 뮤팅하기 전에 현실 버튼(263)이 재차 작동되어야 하거나 가상 경고 메시지(1430)(또는 메시지(1430)와 연관된 가상 버튼)가 작동되어야 한다. 이러한 기능성은 사용자가 우연히 현실 버튼(263)을 작동시켰지만 디스플레이 시스템(100)이 뮤팅 모드에 진입하는 것을 원하지 않는 상황들에서 유익할 수 있다.
[0219] 뮤팅 모드가 진입된 후, 사용자는 현실 버튼(263)을 작동시키고, 정상 동작들을 복원하도록 사용자 인터페이스에 액세스하고, 커맨드를 발성하거나, 또는 일정 시간 기간이 경과할 수 있게 함으로써 정상 동작으로 복귀할 수 있다.
[0220] 도 14b는 디스플레이 시스템(100)의 뮤팅 동작 모드를 수동으로 활성화하기 위한 예시적인 프로세스(1400)를 도시하는 흐름도이다. 프로세스(1400)는 디스플레이 시스템(100)에 의해 수행될 수 있다. 블록(1404)에서, 프로세스는 현실 버튼이 작동되었다는 표시를 수신한다. 선택적인 블록(1408)에서, 프로세스는 디스플레이 시스템이, 디스플레이 시스템이 뮤팅 동작 모드에 진입할 것임을 사용자에게 표시하는 경고 메시지를 디스플레이하게 한다. 뮤팅 동작 모드에서, 가상 콘텐츠의 시각적 또는 가청 디스플레이는 감쇄될 수 있다. 선택적인 판단 블록(1410)에서, 프로세스는 (예컨대, 사용자가 현실 버튼을 재차 작동시키거나 경고 메시지를 작동시킴으로써) 뮤팅 동작 모드가 취소되어야 한다는 표시를 사용자가 제공했는지를 결정한다. 취소가 수신된 경우, 프로세스가 종료된다. 취소가 수신되지 않는 경우, 디스플레이 시스템은 일부 구현들에서, 일정 시간 기간(예컨대, 3초, 5초, 10초 등) 후에 시각적으로 또는 청각적으로 뮤팅된다. 예시적인 프로세스(1400)가 블록(1410)에서 취소 요청을 수신하는 것을 설명하지만, 다른 실시예들에서, 프로세스(1400)는 확인이 블록(1410)에서 수신되는지를 결정할 수 있다. 확인이 수신된 경우, 프로세스(1400)는 블록(1412)으로 이동하고 디스플레이 시스템을 뮤팅하고, 확인이 수신되지 않는 경우, 프로세스(1400)는 종료된다.
부가적인 양상들
[0221] 제1 양상에서, 증강 현실 이미지 콘텐츠를 디스플레이하도록 구성된 HMD(head-mounted device)로서, HMD는, 가상 콘텐츠를 제시하도록 구성된 디스플레이 ― 디스플레이의 적어도 일부는 투명하고, 사용자가 HMD를 착용할 때, 사용자의 눈 전방의 위치에 배치되어서, 투명한 부분은 사용자 전방의 환경의 부분으로부터의 광을 사용자의 눈으로 투과시켜 사용자 전방의 환경의 부분의 뷰(view)를 제공하고, 디스플레이는 추가로, 복수의 깊이 평면들에서 사용자에게 가상 콘텐츠를 디스플레이하도록 구성됨 ― ; (1) 사용자의 환경 또는 (2) 사용자 중 적어도 하나와 연관된 데이터를 획득하도록 구성된 환경 센서; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는, 환경 센서로부터 데이터를 수신하고; 트리거링 이벤트를 검출하도록 데이터를 분석하고; 트리거링 이벤트의 검출에 대한 응답으로, 트리거링 이벤트의 발생의 표시를 사용자에게 제공하고; HMD의 디스플레이를 뮤팅하도록 프로그래밍된다.
[0222] 제2 양상에서, 제1 양상의 HMD에 있어서, HMD의 디스플레이를 뮤팅하기 위해, 하드웨어 프로세서는 적어도, 디스플레이에 의해 출력된 광을 디밍(dim)시키거나; 가상 콘텐츠의 디스플레이를 턴 오프시키거나; 가상 콘텐츠의 크기를 감소시키거나; 가상 콘텐츠의 투명성을 증가시키거나; 또는 디스플레이에 의해 렌더링되는 가상 콘텐츠의 포지션을 변경하도록 프로그래밍된다.
[0223] 제3 양상에서, 제1 양상 또는 제2 양상의 HMD에 있어서, HMD는 스피커를 더 포함하고, HMD의 디스플레이를 뮤팅하기 위해, 하드웨어 프로세서는 스피커를 뮤팅하도록 프로그래밍된다.
[0224] 제4 양상에서, 제1 양상 내지 제3 양상 중 어느 한 양상의 HMD에 있어서, 트리거링 이벤트를 검출하도록 데이터를 분석하기 위해, 하드웨어 프로세서는, 트리거링 이벤트의 존재와 연관된 임계 조건을 고려하여 데이터를 분석하고; 임계 조건이 초과되는 경우 트리거링 이벤트의 존재를 검출하도록 프로그래밍된다.
[0225] 제5 양상에서, 제1 양상 내지 제4 양상 중 어느 한 양상의 HMD에 있어서, 하드웨어 프로세서는 트리거링 이벤트를 검출하기 위해 머신 학습 알고리즘 또는 컴퓨터 비전 알고리즘 중 적어도 하나로 프로그래밍된다.
[0226] 제6 양상에서, 제1 양상 내지 제5 양상 중 어느 한 양상의 HMD에 있어서, 트리거링 이벤트의 존재의 표시는 트리거링 이벤트를 적어도 부분적으로 담당하는, 환경 내의 엘리먼트와 연관된 포커스 표시자를 포함한다.
[0227] 제7 양상에서, 제1 양상 내지 제6 양상 중 어느 한 양상의 HMD에 있어서, 트리거링 이벤트의 존재의 표시는 경고 메시지를 포함하고, 경고 메시지는, (1) HMD는 사용자가 취소 액션을 수행하지 않는 한 시간 기간 내에 자동으로 뮤팅될 것임, 또는 (2) HMD는 사용자가 확인 액션을 수행하지 않는 한 뮤팅되지 않을 것임 중 적어도 하나를 사용자에게 표시한다.
[0228] 제8 양상에서, 제7 양상의 HMD에 있어서, 취소 액션 또는 확인 액션은 현실 버튼을 작동시키는 것, 디스플레이에 의해 렌더링된 가상 사용자 인터페이스 엘리먼트를 작동시키는 것, 사용자 입력 디바이스를 작동시키는 것, 또는 사용자의 취소 또는 확인 포즈를 검출하는 것 중 적어도 하나를 포함한다.
[0229] 제9 양상에서, 제7 양상 또는 제8 양상의 HMD에 있어서, 사용자 취소 액션을 수행하는 것에 대한 응답으로, 하드웨어 프로세서는 디스플레이를 뮤팅해제하거나 가상 콘텐츠를 계속 디스플레이하도록 프로그래밍된다.
[0230] 제10 양상에서, 제7 양상 내지 제9 양상 중 어느 한 양상의 HMD에 있어서, 사용자 확인 액션을 수행하는 것에 대한 응답으로, 하드웨어 프로세서는 디스플레이를 뮤팅하거나 가상 콘텐츠의 디스플레이를 중지하도록 프로그래밍된다.
[0231] 제11 양상에서, 제1 양상 내지 제10 양상 중 어느 한 양상의 HMD에 있어서, 환경 센서는 HMD의 사용자와 연관된 데이터를 측정하도록 구성된 사용자 센서 또는 사용자의 환경과 연관된 데이터를 측정하도록 구성된 외부 센서 중 적어도 하나를 포함한다.
[0232] 제12 양상에서, 제1 양상 내지 제11 양상 중 어느 한 양상의 HMD에 있어서, 트리거링 이벤트는 사용자의 환경에서의 비상사태 또는 위험한 조건을 포함한다.
[0233] 제13 양상에서, 제1 양상 내지 제12 양상 중 어느 한 양상의 HMD에 있어서, 디스플레이는 광 필드 디스플레이 시스템을 포함한다.
[0234] 제14 양상에서, 제1 양상 내지 제13 양상 중 어느 한 양상의 HMD에 있어서, 디스플레이는, 복수의 도파관들; 복수의 도파관들로 광을 지향시키도록 구성된 하나 이상의 광원들을 포함한다.
[0235] 제15 양상에서, 제14 양상의 HMD에 있어서, 하나 이상의 광원들은 광섬유 스캐닝 프로젝터를 포함한다.
[0236] 제16 양상에서, 제1 양상 내지 제15 양상 중 어느 한 양상의 HMD에 있어서, 환경 센서는 사용자의 환경을 이미징하기 위한 외향 이미징 시스템을 포함하고; 데이터는 외향 이미징 시스템에 의해 획득된 환경의 이미지들을 포함하고; 트리거링 이벤트를 검출하도록 데이터를 분석하기 위해, 하드웨어 프로세서는 뉴럴 네트워크 또는 컴퓨터 비전 알고리즘 중 하나 이상을 통해 환경의 이미지들을 분석하도록 프로그래밍된다.
[0237] 제17 양상에서, 제16 양상의 HMD에 있어서, 뉴럴 네트워크는 딥 뉴럴 네트워크 또는 콘볼루셔널 뉴럴 네트워크를 포함한다.
[0238] 제18 양상에서, 제16 양상 내지 제18 양상 중 어느 한 양상의 HMD에 있어서, 컴퓨터 비전 알고리즘은, SIFT(Scale-invariant feature transform), SURF(speeded up robust features), ORB(oriented FAST and rotated BRIEF), BRISK(binary invariant scalable keypoints) 알고리즘, FREAK(binary robust invariant scalable keypoints) 알고리즘, Viola-Jones 알고리즘, Eigenfaces 알고리즘, Lucas-Kanade 알고리즘, Horn-Schunk 알고리즘, Mean-shift 알고리즘, vSLAM(visual simultaneous location and mapping) 알고리즘, 순차적 베이지안(Bayesian) 추정기, 칼만 필터, 번들 조정 알고리즘, 적응형 임계치(Adaptive thresholding) 알고리즘, ICP(Iterative Closest Point) 알고리즘, SGM(Semi Global Matching) 알고리즘, SGBM(Semi Global Block Matching) 알고리즘, 특징 포인트 히스토그램 알고리즘(Feature Point Histogram algorithm), 지원 벡터 머신, k-최근접 이웃 알고리즘 또는 베이즈 모델 중 하나를 포함한다.
[0239] 제19 양상에서, 제1 양상 내지 제18 양상 중 어느 한 양상의 HMD에 있어서, 환경 센서는 사용자의 환경을 이미징하기 위한 외향 이미징 시스템을 포함하고; 데이터는 외향 이미징 시스템에 의해 획득된 환경의 이미지들을 포함하고; 트리거링 이벤트를 검출하도록 데이터를 분석하기 위해, 하드웨어 프로세서는, 환경의 제1 이미지에 액세스하고; 환경의 제2 이미지에 액세스하고 ― 제2 이미지는 제1 이미지 이후에 외향 이미징 시스템에 의해 획득됨 ― ; 트리거링 이벤트의 발생을 결정하기 위해 제1 이미지를 제2 이미지를 비교하도록 프로그래밍된다.
[0240] 제20 양상에서, 제1 양상 내지 제19 양상 중 어느 한 양상의 HMD에 있어서, 환경 센서는 사용자의 환경을 이미징하기 위한 외향 이미징 시스템을 포함하고 환경은 수술 부위를 포함하고; 데이터는 외향 이미징 시스템에 의해 획득된 수술 부위의 이미지들을 포함하고; 트리거링 이벤트를 검출하도록 데이터를 분석하기 위해, 하드웨어 프로세서는, 수술 부위에서 발생하는 의학적 조건을 모니터링하고; 의학적 조건의 변화를 검출하고; 의학적 조건의 변화가 임계치를 초과한 것으로 결정하도록 프로그래밍된다.
[0241] 제21 양상에서, 증강 현실 이미지 콘텐츠를 디스플레이하도록 구성된 HMD로서, 이 HMD는, 가상 콘텐츠를 제시하도록 구성된 디스플레이 ― 디스플레이의 적어도 일부는 투명하고, 사용자가 HMD를 착용할 때, 사용자의 눈 전방의 위치에 배치되어서, 투명한 부분은 사용자 전방의 환경의 부분으로부터의 광을 사용자의 눈으로 투과시켜 사용자 전방의 환경의 부분의 뷰를 제공하고, 디스플레이는 추가로, 복수의 깊이 평면들에서 사용자에게 가상 콘텐츠를 디스플레이하도록 구성됨 ― ; 사용자-작동 가능 버튼; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는, 사용자-작동 가능 버튼이 작동되었다는 표시를 수신하고; 그리고 표시에 대한 응답으로, HMD의 디스플레이를 뮤팅하도록 프로그래밍된다.
[0242] 제22 양상에서, 제21 양상의 HMD에 있어서, HMD의 디스플레이를 뮤팅하기 위해, 하드웨어 프로세서는 적어도, 디스플레이에 의해 출력된 광을 디밍시키거나; 가상 콘텐츠의 디스플레이를 턴 오프시키거나; 가상 콘텐츠의 크기를 감소시키거나; 가상 콘텐츠의 투명성을 증가시키거나; 또는 디스플레이에 의해 렌더링되는 가상 콘텐츠의 포지션을 변경하도록 프로그래밍된다.
[0243] 제23 양상에서, 제21 양상 또는 제22 양상의 HMD에 있어서, HMD는 스피커를 더 포함하고, HMD의 디스플레이를 뮤팅하기 위해, 하드웨어 프로세서는 스피커를 뮤팅하도록 프로그래밍된다.
[0244] 제24 양상에서, 제21 양상 내지 제23 양상 중 어느 한 양상의 HMD에 있어서, 표시에 대한 응답으로, 하드웨어 프로세서는 사용자에게 경고를 제공하도록 프로그래밍된다.
[0245] 제25 양상에서, 제24 양상의 HMD에 있어서, 경고는 디스플레이에 의해 렌더링된 시각적 경고 또는 스피커에 의해 제공된 가청 경고를 포함한다.
[0246] 제26 양상에서, 제24 양상 또는 제25 양상의 HMD에 있어서, 경고는, (1) HMD는 사용자가 취소 액션을 수행하지 않는 한 시간 기간 내에 자동으로 뮤팅될 것임, 또는 (2) HMD는 사용자가 확인 액션을 수행하지 않는 한 뮤팅되지 않을 것임 중 적어도 하나를 사용자에게 표시한다.
[0247] 제27 양상에서, 제26 양상의 HMD에 있어서, 취소 액션 또는 확인 액션은 사용자-작동 가능 버튼을 작동시키는 것, 디스플레이에 의해 렌더링된 가상 사용자 인터페이스 엘리먼트를 작동시키는 것, 사용자 입력 디바이스를 작동시키는 것, 또는 사용자의 취소 또는 확인 포즈를 검출하는 것 중 적어도 하나를 포함한다.
[0248] 제28 양상에서, 제26 양상 또는 제27 양상의 HMD에 있어서, 사용자 취소 액션을 수행하는 것에 대한 응답으로, 하드웨어 프로세서는 디스플레이를 뮤팅해제하거나 가상 콘텐츠를 계속 디스플레이하도록 프로그래밍된다.
[0249] 제29 양상에서, 제26 양상 내지 제28 양상 중 어느 한 양상의 HMD에 있어서, 사용자 확인 액션을 수행하는 것에 대한 응답으로, 하드웨어 프로세서는 디스플레이를 뮤팅하거나 가상 콘텐츠의 디스플레이를 중지하도록 프로그래밍된다.
[0250] 제30 양상에서, 제21 양상 내지 제29 양상 중 어느 한 양상의 HMD에 있어서, 하드웨어 프로세서는 추가로, 사용자-작동 가능 버튼이 작동되었다는 제2 표시를 수신하고; 그리고 제2 표시에 대한 응답으로, HMD의 디스플레이를 뮤팅해제하도록 프로그래밍된다.
[0251] 제31 양상에서, 혼합 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하도록 구성된 웨어러블 시스템으로서, 웨어러블 시스템은, 혼합 현실, 증강 현실 또는 가상 현실 환경에서 가상 콘텐츠를 제시하도록 구성된 디스플레이; 및 하드웨어 프로세서를 포함하고, 하드웨어 프로세서는, 사용자의 환경의 이미지를 수신하고; 머신 학습 알고리즘들에 의해 환경 내의 객체들을 인식하도록 구성된 하나 이상의 객체 인식기들을 사용하여 이미지를 분석하고; 이미지의 분석에 적어도 부분적으로 기초하여 트리거링 이벤트를 검출하고; 트리거링 이벤트의 검출에 대한 응답으로: 트리거링 이벤트와 연관된 임계 조건이 충족된다는 결정에 대한 응답으로 디스플레이를 뮤팅하도록 프로그래밍된다.
[0252] 제32 양상에서, 제31 양상의 웨어러블 시스템에 있어서, 디스플레이를 뮤팅하기 위해, 하드웨어 프로세서는 적어도, 디스플레이에 의해 출력된 광을 디밍시키거나; 가상 콘텐츠의 디스플레이를 턴 오프시키거나; 가상 콘텐츠의 크기를 감소시키거나; 가상 콘텐츠의 투명성을 증가시키거나; 또는 디스플레이에 의해 렌더링되는 가상 콘텐츠의 포지션을 변경하도록 프로그래밍된다.
[0253] 제33 양상에서, 제31 양상 내지 제33 양상 중 어느 한 양상의 웨어러블 시스템에 있어서, 하드웨어 프로세서는 추가로, 트리거링 이벤트의 종결 조건을 검출하고; 그리고 종결 조건의 검출에 대한 응답으로 디스플레이를 재개하도록 프로그래밍된다.
[0254] 제34 양상에서, 제33 양상의 웨어러블 시스템에 있어서, 종결 조건을 검출하기 위해, 웨어러블 시스템은, 트리거링 이벤트가 종결되었는지를 결정하거나; 또는 사용자가 트리거링 이벤트가 발생하는 환경을 벗어났는지를 결정하도록 프로그래밍된다.
[0255] 제35 양상에서, 제31 양상 내지 제34 양상 중 어느 한 양상의 웨어러블 시스템에 있어서, 하드웨어 프로세스는 추가로, 트리거링 이벤트의 검출에 대한 응답으로 웨어러블 시스템의 스피커를 뮤팅하도록 프로그래밍된다.
[0256] 제36 양상에서, 제31 양상 내지 제35 양상 중 어느 한 양상의 웨어러블 시스템에 있어서, 트리거링 이벤트에 대한 응답으로, 하드웨어 프로세서는 추가로, 트리거링 이벤트의 존재의 표시를 제공하도록 프로그래밍되고, 표시는, 트리거링 이벤트를 적어도 부분적으로 담당하는, 환경 내의 엘리먼트와 연관된 포커스 표시자; 또는 경고 메시지 중 적어도 하나를 포함하고, 경고 메시지는, (1) HMD는 사용자가 취소 액션을 수행하지 않는 한 시간 기간 내에 자동으로 뮤팅될 것임, 또는 (2) HMD는 사용자가 확인 액션을 수행하지 않는 한 뮤팅되지 않을 것임 중 적어도 하나를 사용자에게 표시한다.
[0257] 제37 양상에서, 제36 양상의 웨어러블 시스템에 있어서, 트리거링 이벤트와 연관된 임계 조건은 취소 액션이 검출되지 않는 시간의 지속기간을 포함한다.
[0258] 제38 양상에서, 제36 양상 또는 제37 양상의 웨어러블 시스템에 있어서, 취소 액션 또는 확인 액션은 현실 버튼을 작동시키는 것, 디스플레이에 의해 렌더링된 가상 사용자 인터페이스 엘리먼트를 작동시키는 것, 사용자 입력 디바이스를 작동시키는 것, 또는 사용자의 취소 또는 확인 포즈를 검출하는 것 중 적어도 하나를 포함한다.
[0259] 제39 양상에서, 제31 양상 내지 제38 양상 중 어느 한 양상의 웨어러블 시스템에 있어서, 트리거링 이벤트는 사용자의 환경에서의 비상사태 또는 위험한 조건을 포함한다.
[0260] 제40 양상에서, 제31 양상 내지 제39 양상 중 어느 한 양상의 웨어러블 시스템에 있어서, 머신 학습 알고리즘은 딥 뉴럴 네트워크 또는 콘볼루션 뉴럴 네트워크를 포함한다.
[0261] 제41 양상에서, 혼합 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법으로서, 이 방법은, 사용자의 환경의 이미지를 수신하는 단계; 환경 내의 객체들을 인식하도록 구성된 하나 이상의 객체 인식기들을 사용하여 이미지를 분석하는 단계; 이미지의 분석에 적어도 부분적으로 기초하여 트리거링 이벤트를 검출하는 단계; 트리거링 이벤트의 검출에 대한 응답으로: 트리거링 이벤트와 연관된 임계 조건이 충족된다는 결정에 대한 응답으로 가상 콘텐츠를 뮤팅하는 단계를 포함한다. 이 방법은 하드웨어 프로세서의 제어 하에서 수행될 수 있다. 하드웨어 프로세서는 증강 현실 디스플레이 디바이스에 배치될 수 있다.
[0262] 제42 양상에서,제41 양상의 방법에 있어서, 가상 콘텐츠를 뮤팅하는 단계는, 가상 콘텐츠가 렌더링되는 것을 차단하는 단계; 가상 콘텐츠와의 상호작용들을 디스에이블하는 단계; 가상 콘텐츠의 디스플레이를 턴 오프시키는 단계; 가상 콘텐츠의 크기를 감소시키는 단계; 가상 콘텐츠의 투명성을 증가시키는 단계; 또는 디스플레이에 의해 렌더링되는 가상 콘텐츠의 포지션을 변경하는 단계 중 적어도 하나를 포함한다.
[0263] 제43 양상에서, 제41 양상 또는 제42 양상의 방법은, 트리거링 이벤트의 종결 조건을 검출하는 단계; 및 종결 조건의 검출에 대한 응답으로 디스플레이를 재개하는 단계를 더 포함한다.
[0264] 제44 양상에서, 제43 양상의 방법에 있어서, 종결 조건을 검출하기 위해, 웨어러블 시스템은, 트리거링 이벤트가 종결되었는지를 결정하거나; 또는 사용자가 트리거링 이벤트가 발생하는 환경을 벗어났는지를 결정하도록 프로그래밍된다.
[0265] 제45 양상에서, 제41 양상 내지 제44 양상 중 어느 한 양상의 방법에 있어서, 이미지를 분석하는 단계는 사용자의 환경 내의 객체들을 인식하는 단계를 포함하고; 트리거링 이벤트를 결정하는 단계는 인식된 객체에 적어도 부분적으로 기초하여 사용자의 위치를 결정하는 단계를 포함한다.
[0266] 제46 양상에서, 제45 양상의 방법에 있어서, 트리거링 이벤트는 사용자의 위치의 변화 또는 사용자를 둘러싼 장면의 변화를 포함한다.
[0267] 제47 양상에서, 제45 양상 또는 제46 양상의 방법에 있어서, 트리거링 이벤트의 검출에 대한 응답으로, 방법은, 위치에서 가상 콘텐츠를 뮤팅하기 위한 세팅에 액세스하는 단계, 및 세팅에 따라 가상 콘텐츠를 뮤팅하는 단계를 더 포함한다.
[0268] 제48 양상에서, 제45 양상 내지 제47 양상 중 어느 한 양상의 방법에 있어서, 사용자의 환경 내의 객체들을 인식하는 단계는 뉴럴 네트워크에 의해 수행된다.
[0269] 제49 양상에서, 제41 양상 내지 제48 양상 중 어느 한 양상의 방법에 있어서, 트리거링 이벤트와 연관된 임계 조건은 취소 액션이 검출되지 않는 시간의 지속기간을 포함한다.
[0270] 제50 양상에서, 제41 양상 내지 제49 양상 중 어느 한 양상의 방법에 있어서, 취소 액션은 현실 버튼을 작동시키는 것, 디스플레이에 의해 렌더링된 가상 사용자 인터페이스 엘리먼트를 작동시키는 것, 사용자 입력 디바이스를 작동시키는 것, 또는 사용자의 취소 또는 확인 포즈를 검출하는 것 중 적어도 하나를 포함한다.
다른 고려사항들
[0271] 본원에서 설명되고 그리고/또는 첨부 도면들에 도시되는 프로세스들, 방법들 및 알고리즘들 각각은 하나 이상의 물리적 컴퓨팅 시스템들, 하드웨어 컴퓨터 프로세서들, 주문형 회로 및/또는 특유 및 특정 컴퓨터 명령들을 실행하도록 구성된 전자 하드웨어에 의해 실행되는 코드 모듈들로 구현되고, 이 코드 모듈들에 의해 완전히 또는 부분적으로 자동화될 수 있다. 예컨대, 컴퓨팅 시스템들은 특정 컴퓨터 명령들로 프로그래밍된 범용 컴퓨터들(예컨대, 서버들) 또는 특수 목적 컴퓨터들, 특수 목적 회로 등을 포함할 수 있다. 코드 모듈은 실행 가능 프로그램으로 컴파일되어 링크되거나, 동적 링크 라이브러리에 설치될 수 있거나, 또는 인터프리팅된 프로그래밍 언어로 작성될 수 있다. 일부 구현들에서, 특정한 동작들 및 방법들은, 주어진 기능에 특정한 회로에 의해 수행될 수 있다.
[0272] 추가로, 본 개시내용의 기능성의 소정의 구현들은 충분히 수학적으로, 계산상으로 또는 기술적으로 복잡하여, (적절한 전문화된 실행 가능한 명령들을 활용하는) 주문형 하드웨어 또는 하나 이상의 물리적 컴퓨팅 디바이스들은 예컨대, 수반되는 계산들의 양(volume) 또는 복잡성으로 인해 또는 실질적으로 실시간으로 결과들을 제공하기 위해 그 기능성들을 수행할 필요가 있을 수 있다. 예컨대, 애니메이션들 또는 비디오는 다수의 프레임들(각각의 프레임은 수백만 개의 픽셀들을 가짐)을 포함할 수 있고, 상업적으로 합리적인 시간량 내에 원하는 이미지 프로세싱 태스크 또는 애플리케이션을 제공하기 위해, 특별히 프로그래밍된 컴퓨터 하드웨어가 비디오 데이터를 프로세싱할 필요가 있다.
[0273] 코드 모듈들 또는 임의의 유형의 데이터는, 임의의 유형의 비-일시적인 컴퓨터-판독 가능 매체, 이를테면, 하드 드라이브들, 솔리드 스테이트 메모리, RAM(random access memory), ROM(read only memory), 광학 디스크, 휘발성 또는 비-휘발성 저장소, 이들의 조합들 등을 포함하는 물리적 컴퓨터 저장소 상에 저장될 수 있다. 방법들 및 모듈들(또는 데이터)은 또한, 생성된 데이터 신호들로서(예컨대, 반송파 또는 다른 아날로그 또는 디지털 전파 신호의 일부로서) 무선-기반 및 유선/케이블-기반 매체들을 포함하는 다양한 컴퓨터-판독 가능 송신 매체들 상에서 송신될 수 있고, (예컨대, 단일 또는 멀티플렉싱된 아날로그 신호의 일부로서, 또는 다수의 이산 디지털 패킷들 또는 프레임들로서) 다양한 형태들을 취할 수 있다. 개시된 프로세스들 또는 프로세스 단계들의 결과들은 임의의 유형의 비-일시적인 유형의(tangible) 컴퓨터 저장소에 지속적으로 또는 다른 방식으로 저장될 수 있거나, 또는 컴퓨터-판독 가능 송신 매체를 통해 통신될 수 있다.
[0274] 본원에서 설명되고 그리고/또는 첨부된 도면들에 도시되는 흐름도들에서의 임의의 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 프로세스의 단계들 또는 (예컨대, 논리적 또는 산술적) 특정 기능들을 구현하기 위한 하나 이상의 실행 가능 명령들을 포함하는 코드 모듈들, 세그먼트들 또는 코드 부분들을 잠재적으로 나타내는 것으로 이해되어야 한다. 다양한 프로세스들, 블록들, 상태들, 단계들 또는 기능성들은 본원에서 제공된 예시적인 예들에서 조합되거나, 재배열되거나, 이들에 부가되거나, 이들로부터 제거되거나, 수정되거나, 또는 다른 방식으로 변할 수 있다. 일부 실시예들에서, 부가적인 또는 상이한 컴퓨팅 시스템들 또는 코드 모듈들은 본원에서 설명된 기능성들 중 일부 또는 전부를 수행할 수 있다. 본원에 설명된 방법들 및 프로세스들은 또한 임의의 특정 시퀀스로 제한되지 않고, 그에 관련된 블록들, 단계들 또는 상태들은 적절한 다른 시퀀스들로, 예컨대, 직렬로, 병렬로 또는 일부 다른 방식으로 수행될 수 있다. 태스크들 또는 이벤트들은 개시된 예시적인 실시예들에 부가되거나 그로부터 제거될 수 있다. 또한, 본원에서 설명된 구현들에서의 다양한 시스템 컴포넌트들의 분리는 예시 목적들을 위한 것이며, 모든 구현들에서 이러한 분리를 요구하는 것으로 이해되어서는 안 된다. 설명된 프로그램 컴포넌트들, 방법들 및 시스템들은 일반적으로 단일 컴퓨터 제품에 함께 통합되거나 다수의 컴퓨터 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 다수의 구현 변동들이 가능하다.
[0275] 프로세스들, 방법들 및 시스템들은 네트워크(또는 분산형) 컴퓨팅 환경에서 구현될 수 있다. 네트워크 환경들은, 전사적(enterprise-wide) 컴퓨터 네트워크들, 인트라넷들, LAN(Local Area Network)들, WAN(Wide Area Network)들, PAN(Personal Area Network)들, 클라우드 컴퓨팅 네트워크들, 크라우드-소스드(crowd-sourced) 컴퓨팅 네트워크들, 인터넷 및 월드 와이드 웹(World Wide Web)을 포함한다. 네트워크는 유선 또는 무선 네트워크 또는 임의의 다른 유형의 통신 네트워크일 수 있다.
[0276] 본 개시내용의 시스템들 및 방법들 각각은 몇몇 혁신적인 양상들을 가지며, 그 양상들 중 어떠한 단일 양상도 본원에서 개시된 바람직한 속성들을 전적으로 담당하거나 이를 위해 요구되지 않는다. 위에서 설명된 다양한 특징들 및 프로세스들은 서로 독립적으로 사용될 수 있거나, 또는 다양한 방식들로 조합될 수 있다. 모든 가능한 조합들 및 서브조합들은 본 개시내용의 범위 내에 속하는 것으로 의도된다. 본 개시내용에서 설명된 구현들에 대한 다양한 수정들은 당업자들에게 자명할 수 있으며, 본원에서 정의된 일반적인 원리들은 본 개시내용의 사상 또는 범위를 벗어나지 않으면서 다른 구현들에 적용될 수 있다. 따라서, 청구항들은 본 명세서에 도시된 구현들로 제한되도록 의도되는 것이 아니라, 본 명세서에 개시된 본 개시내용, 원리들 및 신규한 특성들과 일치하는 가장 넓은 범위에 부합할 것이다.
[0277] 별개의 구현들의 맥락에서 본 명세서에 설명된 소정의 특징들은 또한, 단일 구현으로 조합하여 구현될 수 있다. 대조적으로, 단일 구현의 맥락에서 설명된 다양한 특징들은 또한, 별개로 다수의 구현들로 또는 임의의 적절한 서브조합으로 구현될 수 있다. 더욱이, 특징들이 소정의 조합들로 작용하는 것으로 위에서 설명되고 심지어 초기에 이와 같이 청구될 수 있지만, 일부 경우들에서, 청구된 조합으로부터의 하나 이상의 특징들은 그 조합으로부터 제거될 수 있고, 청구된 조합은 서브조합 또는 서브조합의 변동에 관련될 수 있다. 단일 특징 또는 특징들의 그룹이 각각의 그리고 모든 각각의 실시예에 필요하거나 필수적인 것은 아니다.
[0278] 구체적으로 달리 언급되지 않거나 또는 사용된 맥락 내에서 달리 이해되지 않으면, 본원에서 사용된 조건어, 이를테면, 다른 것들 중에서도, "할 수 있다(can, could, might, may)", "예컨대" 등은 일반적으로, 소정의 실시예들이 소정의 특징들, 엘리먼트들, 및/또는 단계들을 포함하지만 다른 실시예들은 이들을 포함하지 않는다는 것을 전달하도록 의도된다. 따라서, 그러한 조건어는 일반적으로, 특징들, 엘리먼트들, 및/또는 단계들이 하나 이상의 실시예들을 위해 어떤 식으로든 요구된다는 것을, 또는 하나 이상의 실시예들이, 저자 입력 또는 프롬프팅(prompting)을 이용하거나 또는 그러한 것을 이용함이 없이, 이들 특징들, 엘리먼트들, 및/또는 단계들이 임의의 특정 실시예에 포함되는지 또는 임의의 특정 실시예들에서 수행되어야 하는지를 판단하기 위한 로직을 반드시 포함한다는 것을 암시하도록 의도되진 않는다. "포함하는(comprising, including), "갖는(having)" 등의 용어들은 동의어이며, 오픈-엔디드(open-ended) 방식으로 포괄적으로 사용되며, 부가적인 엘리먼트들, 특징들, 행동들, 동작들 등을 배제하지 않는다. 또한, "또는"이라는 용어는 (그의 배타적인 의미가 아니라) 그의 포괄적인 의미로 사용되어서, 예컨대, 리스트의 엘리먼트들을 연결하기 위해 사용될 때, "또는"이라는 용어는 리스트 내의 엘리먼트들 중 하나, 일부, 또는 전부를 의미한다. 또한, 본 명세서 및 첨부된 청구항들에서 사용된 바와 같은 단수 표현은 달리 특정되지 않는 한 "하나 이상" 또는 "적어도 하나"를 의미하는 것으로 해석될 것이다.
[0279] 본원에서 사용된 바와 같이, 리스트의 아이템들 "중 적어도 하나"를 지칭하는 어구는 단일 멤버들을 포함하여 그 아이템들의 임의의 조합을 지칭한다. 예로서, "A, B 또는 C 중 적어도 하나"는 A; B; C; A와 B; A와 C; B와 C; 그리고 A와 B와 C를 커버하는 것으로 의도된다. 특정하게 다르게 언급되지 않으면, 어구 "X, Y 또는 Z 중 적어도 하나"와 같은 접속어는, 아이템, 용어 등이 X, Y 또는 Z 중 적어도 하나일 수 있다는 것을 전달하기 위해 일반적으로 사용되는 맥락으로 달리 이해된다. 따라서, 이러한 접속어는 일반적으로, 소정의 실시예들이 X 중 적어도 하나, Y 중 적어도 하나 및 Z 중 적어도 하나가 각각 존재할 것을 요구하는 것을 암시하는 것으로 의도되지 않는다.
[0280] 유사하게, 동작들이 특정한 순서로 도면들에 도시될 수 있지만, 원하는 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정한 순서 또는 순차적인 순서로 수행될 필요가 없거나, 모든 예시된 동작들이 수행될 필요가 없다는 것이 인지될 것이다. 추가로, 도면들은 흐름도의 형태로 둘 이상의 예시적인 프로세스들을 개략적으로 도시할 수 있다. 그러나, 도시되지 않은 다른 동작들이, 개략적으로 예시된 예시적인 방법들 및 프로세스들에 통합될 수 있다. 예컨대, 하나 이상의 부가적인 동작들은, 예시된 동작들 중 임의의 동작 이전에, 이후에, 동시에, 또는 그 중간에 수행될 수 있다. 부가적으로, 동작들은 다른 구현들에서 재배열되거나 재순서화될 수 있다. 소정의 환경들에서, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 또한, 위에서 설명된 구현에서의 다양한 시스템 컴포넌트들의 분리는 모든 구현들에서 그러한 분리를 요구하는 것으로서 이해되지는 않아야 하고, 그리고 설명된 프로그램 컴포넌트들 및 시스템들이 일반적으로, 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품들로 패키징될 수 있다는 것이 이해되어야 한다. 부가적으로, 다른 구현들은 다음의 청구항들의 범위 내에 있다. 일부 경우들에서, 청구항들에서 열거된 액션들은, 상이한 순서로 수행될 수 있으며, 그럼에도 불구하고 원하는 결과들을 달성할 수 있다.
Claims (20)
- 혼합 현실, 증강 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하도록 구성된 웨어러블 시스템으로서,
혼합 현실, 증강 현실 또는 가상 현실 환경에서 가상 콘텐츠를 제시하도록 구성된 디스플레이; 및
하드웨어 프로세서를 포함하고, 상기 하드웨어 프로세서는,
사용자의 제1 환경의 이미지들을 수신하고;
상기 사용자의 제1 환경 내의 복수의 가상 콘텐츠 아이템들을 상기 디스플레이에 의해 렌더링되도록 하고;
머신 학습 알고리즘들에 의해 객체들을 인식하도록 구성된 하나 이상의 객체 인식기들을 사용하여 상기 이미지들을 분석하고;
상기 하나 이상의 객체 인식기들에 의해 인식된 객체들에 적어도 부분적으로 기초하여 상기 제1 환경으로부터 제2 환경으로의 상기 사용자의 이동을 검출하고;
상기 제1 환경으로부터 제2 환경으로의 상기 사용자의 이동의 검출에 대한 응답으로:
상기 제1 환경으로부터 제2 환경으로의 상기 검출된 이동의 시각적 표시를 상기 디스플레이에 의해 렌더링되도록 하고;
상기 제2 환경과 연관된 콘텐츠 차단 규칙들에 액세스하고 ― 상기 콘텐츠 차단 규칙들은 뮤팅(muting)을 위해 이용가능한 가상 콘텐츠 아이템들을 표시하는 블랙리스트를 포함함 ―;
상기 제2 환경과 연관된 콘텐츠 차단 규칙들에 기초하여, 상기 제2 환경에서 뮤팅을 위해 이용가능한 복수의 가상 콘텐츠 아이템들 중 하나 이상의 가상 콘텐츠 아이템을 결정하고; 그리고
상기 결정된 하나 이상의 가상 콘텐츠 아이템을 뮤팅하도록
프로그래밍되는,
혼합 현실, 증강 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하도록 구성된 웨어러블 시스템. - 제1 항에 있어서,
상기 하나 이상의 가상 콘텐츠 아이템을 뮤팅하기 위해, 상기 하드웨어 프로세서는 적어도,
상기 디스플레이에 의해 출력된 광을 디밍(dim)시키거나;
상기 하나 이상의 가상 콘텐츠 아이템의 디스플레이를 턴 오프(turn off)시키거나;
상기 하나 이상의 가상 콘텐츠 아이템의 크기를 감소시키거나;
상기 하나 이상의 가상 콘텐츠 아이템의 투명성을 증가시키거나; 또는
상기 디스플레이에 의해 렌더링되는 상기 하나 이상의 가상 콘텐츠 아이템의 포지션을 변경하도록 프로그래밍되는,
혼합 현실, 증강 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하도록 구성된 웨어러블 시스템. - 제1 항에 있어서,
상기 하드웨어 프로세서는 추가로,
상기 결정된 하나 이상의 가상 콘텐츠 아이템을 뮤팅하는 것의 종결 조건을 검출하고; 그리고
상기 종결 조건을 검출하는 것에 대한 응답으로 상기 결정된 하나 이상의 가상 콘텐츠 아이템을 뮤팅하는 것을 중단하도록 프로그래밍되는,
혼합 현실, 증강 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하도록 구성된 웨어러블 시스템. - 제3 항에 있어서,
상기 종결 조건을 검출하기 위해, 상기 웨어러블 시스템은,
상기 사용자가 상기 결정된 하나 이상의 가상 콘텐츠 아이템을 뮤팅하는 것이 발생하는 상기 제2 환경을 벗어났는지를 결정하도록 프로그래밍되는,
혼합 현실, 증강 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하도록 구성된 웨어러블 시스템. - 제1 항에 있어서,
상기 하드웨어 프로세서는 추가로, 상기 제1 환경으로부터 제2 환경으로의 상기 검출된 이동에 대한 응답으로 상기 웨어러블 시스템의 스피커를 뮤팅하도록 프로그래밍되는,
혼합 현실, 증강 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하도록 구성된 웨어러블 시스템. - 제1 항에 있어서,
상기 하드웨어 프로세서는 추가로, 상기 제1 환경으로부터 제2 환경으로의 상기 검출된 이동에 대한 응답으로 경고 메시지를 제공하도록 프로그래밍되고,
상기 경고 메시지는, (1) 상기 웨어러블 시스템은 사용자가 취소 액션을 수행하지 않는 한 일정 시간 기간(a time period) 내에 자동으로 뮤팅될 것임, 또는 (2) 상기 웨어러블 시스템은 상기 사용자가 확인 액션을 수행하지 않는 한 뮤팅되지 않을 것임 중 적어도 하나를 상기 사용자에게 표시하는,
혼합 현실, 증강 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하도록 구성된 웨어러블 시스템. - 제6 항에 있어서,
상기 취소 액션 또는 상기 확인 액션은 현실 버튼(reality button)을 작동시키는 것, 상기 디스플레이에 의해 렌더링된 가상 사용자 인터페이스 엘리먼트를 작동시키는 것, 사용자 입력 디바이스를 작동시키는 것, 또는 상기 사용자의 취소 또는 확인 포즈를 검출하는 것 중 적어도 하나를 포함하는,
혼합 현실, 증강 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하도록 구성된 웨어러블 시스템. - 제1 항에 있어서,
상기 머신 학습 알고리즘은 딥 뉴럴 네트워크(deep neural network) 또는 콘볼루셔널 뉴럴 네트워크(convolutional neural network) 중 하나 이상을 포함하는,
혼합 현실, 증강 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하도록 구성된 웨어러블 시스템. - 제1 항에 있어서,
상기 결정된 하나 이상의 가상 콘텐츠 아이템은 상기 제1 환경으로부터 상기 제2 환경으로의 상기 사용자의 이동을 검출하는 것을 적어도 부분적으로 담당한 상기 객체와 연관되지 않은 적어도 하나의 가상 콘텐츠 아이템을 포함하는,
혼합 현실, 증강 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하도록 구성된 웨어러블 시스템. - 제1 항에 있어서,
뮤팅을 위해 이용가능한 가상 콘텐츠 아이템들은 추가로, 개별 가상 콘텐츠 아이템들과 연관된 상기 사용자에 대한 잠재적 지각 혼동에 기초하여 결정되는,
혼합 현실, 증강 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하도록 구성된 웨어러블 시스템. - 제1 항에 있어서,
상기 콘텐츠 차단 규칙들은 추가로, 뮤팅을 위해 이용가능하지 않은 가상 콘텐츠 아이템들을 표시하는 화이트리스트를 포함하는,
혼합 현실, 증강 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하도록 구성된 웨어러블 시스템. - 혼합 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법으로서,
하드웨어 프로세서의 제어 하에서:
사용자의 제1 환경의 이미지들을 수신하는 단계;
상기 사용자의 제1 환경 내의 복수의 가상 콘텐츠 아이템들을 디스플레이에 의해 렌더링되도록 하는 단계;
객체들을 인식하도록 구성된 하나 이상의 객체 인식기들을 사용하여 상기 이미지들을 분석하는 단계;
상기 하나 이상의 객체 인식기들에 의해 인식된 객체들에 적어도 부분적으로 기초하여 상기 제1 환경으로부터 제2 환경으로의 상기 사용자의 이동을 검출하는 단계;
상기 제1 환경으로부터 제2 환경으로의 상기 사용자의 이동의 검출에 대한 응답으로:
상기 제1 환경으로부터 상기 제2 환경으로의 상기 검출된 이동의 시각적 표시를 헤드 마운티드 디스플레이(head mounted display)의 디스플레이에 의해 렌더링되도록 하는 단계;
상기 제2 환경과 연관된 콘텐츠 차단 규칙들에 액세스하는 단계 ― 상기 콘텐츠 차단 규칙들은 뮤팅(muting)을 위해 이용가능한 가상 콘텐츠 아이템들을 표시하는 블랙리스트를 포함함 ―;
상기 제2 환경과 연관된 콘텐츠 차단 규칙들에 기초하여, 상기 제2 환경에서 뮤팅을 위해 이용가능한 복수의 가상 콘텐츠 아이템들 중 하나 이상의 가상 콘텐츠 아이템을 결정하는 단계; 및
상기 결정된 하나 이상의 가상 콘텐츠 아이템을 뮤팅하는 단계
를 포함하는,
혼합 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법. - 제12 항에 있어서,
상기 하나 이상의 가상 콘텐츠 아이템을 뮤팅하는 단계는,
상기 하나 이상의 가상 콘텐츠 아이템이 렌더링되는 것을 차단하는 단계;
상기 하나 이상의 가상 콘텐츠 아이템과의 상호작용들을 디스에이블(disabling)하는 단계;
상기 하나 이상의 가상 콘텐츠 아이템의 디스플레이를 턴 오프시키는 단계;
상기 하나 이상의 가상 콘텐츠 아이템의 크기를 감소시키는 단계;
상기 하나 이상의 가상 콘텐츠 아이템의 투명성을 증가시키는 단계; 또는
상기 디스플레이에 의해 렌더링되는 상기 하나 이상의 가상 콘텐츠 아이템의 포지션을 변경하는 단계 중 적어도 하나를 포함하는,
혼합 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법. - 제12 항에 있어서,
상기 결정된 하나 이상의 가상 콘텐츠 아이템을 뮤팅하는 것의 종결 조건을 검출하는 단계; 및
상기 종결 조건의 검출에 대한 응답으로 상기 결정된 하나 이상의 가상 콘텐츠 아이템을 뮤팅하는 것을 중단하는 단계를 더 포함하는,
혼합 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법. - 제14 항에 있어서,
상기 종결 조건을 검출하는 단계는,
상기 사용자가 상기 결정된 하나 이상의 가상 콘텐츠 아이템을 뮤팅하는 것이 발생하는 상기 제2 환경을 벗어났는지를 결정하는 단계를 더 포함하는,
혼합 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법. - 제12 항에 있어서,
상기 객체들을 인식하는 것은 뉴럴 네트워크에 의해 수행되는,
혼합 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법. - 제12 항에 있어서,
상기 결정된 하나 이상의 가상 콘텐츠 아이템은 상기 제1 환경으로부터 상기 제2 환경으로의 상기 사용자의 이동을 검출하는 것을 적어도 부분적으로 담당한 상기 객체와 연관되지 않은 적어도 하나의 가상 콘텐츠 아이템을 포함하는,
혼합 현실 또는 가상 현실 환경에서 가상 콘텐츠를 디스플레이하기 위한 방법.
- 삭제
- 삭제
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020237022456A KR102630774B1 (ko) | 2016-12-29 | 2017-11-17 | 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의자동 제어 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201662440099P | 2016-12-29 | 2016-12-29 | |
| US62/440,099 | 2016-12-29 | ||
| PCT/US2017/062365 WO2018125428A1 (en) | 2016-12-29 | 2017-11-17 | Automatic control of wearable display device based on external conditions |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237022456A Division KR102630774B1 (ko) | 2016-12-29 | 2017-11-17 | 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의자동 제어 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190100957A KR20190100957A (ko) | 2019-08-29 |
| KR102553190B1 true KR102553190B1 (ko) | 2023-07-07 |
Family
ID=62710743
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197021805A KR102553190B1 (ko) | 2016-12-29 | 2017-11-17 | 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어 |
| KR1020237022456A KR102630774B1 (ko) | 2016-12-29 | 2017-11-17 | 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의자동 제어 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020237022456A KR102630774B1 (ko) | 2016-12-29 | 2017-11-17 | 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의자동 제어 |
Country Status (9)
| Country | Link |
|---|---|
| US (2) | US11138436B2 (ko) |
| EP (1) | EP3563215A4 (ko) |
| JP (2) | JP7190434B2 (ko) |
| KR (2) | KR102553190B1 (ko) |
| CN (2) | CN110419018B (ko) |
| AU (1) | AU2017387781B2 (ko) |
| CA (1) | CA3051060A1 (ko) |
| IL (2) | IL290002B2 (ko) |
| WO (1) | WO2018125428A1 (ko) |
Families Citing this family (93)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3062142B1 (en) | 2015-02-26 | 2018-10-03 | Nokia Technologies OY | Apparatus for a near-eye display |
| WO2017068926A1 (ja) * | 2015-10-21 | 2017-04-27 | ソニー株式会社 | 情報処理装置及びその制御方法、並びにコンピュータ・プログラム |
| US10867445B1 (en) * | 2016-11-16 | 2020-12-15 | Amazon Technologies, Inc. | Content segmentation and navigation |
| US10650552B2 (en) | 2016-12-29 | 2020-05-12 | Magic Leap, Inc. | Systems and methods for augmented reality |
| CN110419018B (zh) | 2016-12-29 | 2023-08-04 | 奇跃公司 | 基于外部条件的可穿戴显示装置的自动控制 |
| EP4300160A3 (en) | 2016-12-30 | 2024-05-29 | Magic Leap, Inc. | Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light |
| JP6298558B1 (ja) * | 2017-05-11 | 2018-03-20 | 株式会社コロプラ | 仮想空間を提供するための方法、および当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置 |
| US20190005699A1 (en) * | 2017-06-30 | 2019-01-03 | Intel Corporation | Technologies for generating a motion model for a virtual character |
| US10578870B2 (en) | 2017-07-26 | 2020-03-03 | Magic Leap, Inc. | Exit pupil expander |
| US10762620B2 (en) * | 2017-11-27 | 2020-09-01 | Nvidia Corporation | Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene |
| US11270161B2 (en) * | 2017-11-27 | 2022-03-08 | Nvidia Corporation | Deep-learning method for separating reflection and transmission images visible at a semi-reflective surface in a computer image of a real-world scene |
| KR20230152180A (ko) | 2017-12-10 | 2023-11-02 | 매직 립, 인코포레이티드 | 광학 도파관들 상의 반사―방지 코팅들 |
| CA3086206A1 (en) | 2017-12-20 | 2019-06-27 | Magic Leap, Inc. | Insert for augmented reality viewing device |
| CN107977586B (zh) * | 2017-12-22 | 2021-04-13 | 联想(北京)有限公司 | 显示内容处理方法、第一电子设备以及第二电子设备 |
| US10339508B1 (en) * | 2018-02-12 | 2019-07-02 | Capital One Services, Llc | Methods for determining user experience (UX) effectiveness of ATMs |
| US10755676B2 (en) * | 2018-03-15 | 2020-08-25 | Magic Leap, Inc. | Image correction due to deformation of components of a viewing device |
| US11885871B2 (en) | 2018-05-31 | 2024-01-30 | Magic Leap, Inc. | Radar head pose localization |
| JP7369147B2 (ja) | 2018-06-05 | 2023-10-25 | マジック リープ， インコーポレイテッド | 視認システムのホモグラフィ変換行列ベースの温度較正 |
| US11816886B1 (en) * | 2018-06-28 | 2023-11-14 | Meta Platforms Technologies, Llc | Apparatus, system, and method for machine perception |
| US11579441B2 (en) | 2018-07-02 | 2023-02-14 | Magic Leap, Inc. | Pixel intensity modulation using modifying gain values |
| WO2020010226A1 (en) | 2018-07-03 | 2020-01-09 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality |
| US11856479B2 (en) | 2018-07-03 | 2023-12-26 | Magic Leap, Inc. | Systems and methods for virtual and augmented reality along a route with markers |
| WO2020023543A1 (en) | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Viewing device with dust seal integration |
| US11598651B2 (en) | 2018-07-24 | 2023-03-07 | Magic Leap, Inc. | Temperature dependent calibration of movement detection devices |
| WO2020023404A1 (en) * | 2018-07-24 | 2020-01-30 | Magic Leap, Inc. | Flicker mitigation when toggling eyepiece display illumination in augmented reality systems |
| US11112862B2 (en) | 2018-08-02 | 2021-09-07 | Magic Leap, Inc. | Viewing system with interpupillary distance compensation based on head motion |
| US10795458B2 (en) | 2018-08-03 | 2020-10-06 | Magic Leap, Inc. | Unfused pose-based drift correction of a fused pose of a totem in a user interaction system |
| US11347056B2 (en) * | 2018-08-22 | 2022-05-31 | Microsoft Technology Licensing, Llc | Foveated color correction to improve color uniformity of head-mounted displays |
| US10706347B2 (en) | 2018-09-17 | 2020-07-07 | Intel Corporation | Apparatus and methods for generating context-aware artificial intelligence characters |
| JP2022512600A (ja) * | 2018-10-05 | 2022-02-07 | マジック リープ， インコーポレイテッド | 任意の場所における場所特有の仮想コンテンツのレンダリング |
| US10712819B2 (en) * | 2018-10-30 | 2020-07-14 | Dish Network L.L.C. | System and methods for recreational sport heads-up display control |
| JP7472127B2 (ja) | 2018-11-16 | 2024-04-22 | マジック リープ， インコーポレイテッド | 画像鮮明度を維持するための画像サイズによってトリガされる明確化 |
| US11127282B2 (en) * | 2018-11-29 | 2021-09-21 | Titan Health & Security Technologies, Inc. | Contextualized augmented reality display system |
| JP2022514489A (ja) * | 2018-12-10 | 2022-02-14 | フェイスブック・テクノロジーズ・リミテッド・ライアビリティ・カンパニー | ハイパーボーカルビューポート（ｈｖｐ）ディスプレイのための適応型ビューポート |
| WO2020139754A1 (en) * | 2018-12-28 | 2020-07-02 | Magic Leap, Inc. | Augmented and virtual reality display systems with shared display for left and right eyes |
| US11531516B2 (en) * | 2019-01-18 | 2022-12-20 | Samsung Electronics Co., Ltd. | Intelligent volume control |
| FR3092416B1 (fr) * | 2019-01-31 | 2022-02-25 | Univ Grenoble Alpes | Système et procédé d’interaction avec des robots dans des applications de réalité mixte |
| JP2022523852A (ja) | 2019-03-12 | 2022-04-26 | マジック リープ， インコーポレイテッド | 第１および第２の拡張現実ビューア間でのローカルコンテンツの位置合わせ |
| JP7372061B2 (ja) * | 2019-07-01 | 2023-10-31 | 株式会社日立製作所 | 遠隔作業支援システム |
| US11017231B2 (en) * | 2019-07-10 | 2021-05-25 | Microsoft Technology Licensing, Llc | Semantically tagged virtual and physical objects |
| WO2021021670A1 (en) | 2019-07-26 | 2021-02-04 | Magic Leap, Inc. | Systems and methods for augmented reality |
| US11470017B2 (en) * | 2019-07-30 | 2022-10-11 | At&T Intellectual Property I, L.P. | Immersive reality component management via a reduced competition core network component |
| US11307647B2 (en) | 2019-09-11 | 2022-04-19 | Facebook Technologies, Llc | Artificial reality triggered by physical object |
| DE102019125348A1 (de) * | 2019-09-20 | 2021-03-25 | 365FarmNet Group GmbH & Co. KG | Verfahren zur Unterstützung eines Benutzers bei einer landwirtschaftlichen Tätigkeit |
| US11762457B1 (en) * | 2019-09-27 | 2023-09-19 | Apple Inc. | User comfort monitoring and notification |
| EP4046139A4 (en) | 2019-10-15 | 2023-11-22 | Magic Leap, Inc. | EXTENDED REALITY SYSTEM WITH LOCATION SERVICE |
| EP4058979A4 (en) | 2019-11-15 | 2023-01-11 | Magic Leap, Inc. | VIEWING SYSTEM FOR USE IN A SURGICAL ENVIRONMENT |
| TWI712011B (zh) | 2019-12-18 | 2020-12-01 | 仁寶電腦工業股份有限公司 | 安全警示語音提示方法 |
| US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
| US11003308B1 (en) * | 2020-02-03 | 2021-05-11 | Apple Inc. | Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments |
| EP4104001A4 (en) | 2020-02-13 | 2024-03-13 | Magic Leap Inc | CROSS-REALLY SYSTEM WITH MAP PROCESSING USING MULTIPLE RESOLUTION FRAME DESCRIPTORS |
| US11686940B2 (en) * | 2020-03-19 | 2023-06-27 | Snap Inc. | Context-based image state selection |
| CN115769174A (zh) * | 2020-04-03 | 2023-03-07 | 奇跃公司 | 用于最佳注视辨别的化身定制 |
| US11321928B2 (en) * | 2020-05-14 | 2022-05-03 | Qualcomm Incorporated | Methods and apparatus for atlas management of augmented reality content |
| US20230186542A1 (en) * | 2020-05-29 | 2023-06-15 | Sony Group Corporation | Information processing apparatus, information processing method, and computer-readable recording medium |
| DE102020207314A1 (de) * | 2020-06-11 | 2021-12-16 | Volkswagen Aktiengesellschaft | Steuerung einer Anzeige einer Augmented-Reality-Head-up-Display-Vorrichtung für ein Fortbewegungsmittel |
| JP7492869B2 (ja) * | 2020-06-30 | 2024-05-30 | 株式会社メルカリ | 端末装置、画面表示システム、表示方法およびプログラム |
| JP7096295B2 (ja) * | 2020-07-27 | 2022-07-05 | ソフトバンク株式会社 | 表示制御システム、プログラム、及び表示制御方法 |
| US11320896B2 (en) * | 2020-08-03 | 2022-05-03 | Facebook Technologies, Llc. | Systems and methods for object tracking using fused data |
| JP2023542234A (ja) * | 2020-09-25 | 2023-10-05 | アップル インコーポレイテッド | ユーザインタフェースに関連付けられた没入感を調整及び／又は制御する方法 |
| US20220101002A1 (en) * | 2020-09-30 | 2022-03-31 | Kyndryl, Inc. | Real-world object inclusion in a virtual reality experience |
| TWI818305B (zh) * | 2020-10-29 | 2023-10-11 | 宏達國際電子股份有限公司 | 頭戴式顯示裝置及其電源管理方法 |
| US20240048934A1 (en) * | 2020-12-14 | 2024-02-08 | Moea Technologies, Inc. | Interactive mixed reality audio technology |
| CN112255921B (zh) * | 2020-12-21 | 2021-09-07 | 宁波圻亿科技有限公司 | 一种ar眼镜智能控制系统及方法 |
| CN112783660B (zh) * | 2021-02-08 | 2024-05-07 | 腾讯科技（深圳）有限公司 | 虚拟场景中的资源处理方法、装置及电子设备 |
| EP4295314A1 (en) | 2021-02-08 | 2023-12-27 | Sightful Computers Ltd | Content sharing in extended reality |
| EP4288950A1 (en) | 2021-02-08 | 2023-12-13 | Sightful Computers Ltd | User interactions in extended reality |
| KR20230144042A (ko) | 2021-02-08 | 2023-10-13 | 사이트풀 컴퓨터스 리미티드 | 생산성을 위한 확장 현실 |
| US11995230B2 (en) | 2021-02-11 | 2024-05-28 | Apple Inc. | Methods for presenting and sharing content in an environment |
| US20220329971A1 (en) * | 2021-03-31 | 2022-10-13 | Here Global B.V. | Determining context categorizations based on audio samples |
| US11798276B2 (en) * | 2021-06-03 | 2023-10-24 | At&T Intellectual Property I, L.P. | Providing information about members of a group using an augmented reality display |
| CN113344909B (zh) * | 2021-07-01 | 2023-12-08 | 中国石油大学(北京) | 一种火电锅炉透火焰高温滤镜结焦识别显示方法和装置 |
| WO2023009580A2 (en) * | 2021-07-28 | 2023-02-02 | Multinarity Ltd | Using an extended reality appliance for productivity |
| CN113593342A (zh) * | 2021-08-03 | 2021-11-02 | 福州大学 | 一种沉浸式的智能互动室内火灾实景模拟系统 |
| US11620797B2 (en) | 2021-08-05 | 2023-04-04 | Bank Of America Corporation | Electronic user interface with augmented detail display for resource location |
| US20230083605A1 (en) * | 2021-09-16 | 2023-03-16 | Globus Medical, Inc. | Extended reality systems for visualizing and controlling operating room equipment |
| US11985176B2 (en) * | 2021-09-24 | 2024-05-14 | Jvckenwood Corporation | Virtual-break-room providing system, virtual-break-room providing device, and virtual-break-room providing method |
| US11900550B2 (en) | 2021-09-30 | 2024-02-13 | Snap Inc. | AR odometry using sensor data from a personal vehicle |
| US11933621B2 (en) * | 2021-10-06 | 2024-03-19 | Qualcomm Incorporated | Providing a location of an object of interest |
| JP2023056109A (ja) * | 2021-10-07 | 2023-04-19 | トヨタ自動車株式会社 | 仮想空間制御システム、その制御方法、及び、制御プログラム |
| US11500476B1 (en) | 2021-10-14 | 2022-11-15 | Hewlett-Packard Development Company, L.P. | Dual-transceiver based input devices |
| US11813528B2 (en) | 2021-11-01 | 2023-11-14 | Snap Inc. | AR enhanced gameplay with a personal mobility system |
| US11985448B2 (en) | 2021-12-14 | 2024-05-14 | Dell Products L.P. | Camera with magnet attachment to display panel |
| US20230188839A1 (en) * | 2021-12-14 | 2023-06-15 | Dell Products L.P. | Camera with microphone mute responsive to movement |
| CN114241396A (zh) * | 2021-12-31 | 2022-03-25 | 深圳市智岩科技有限公司 | 灯效控制方法、系统、装置、电子设备及存储介质 |
| US20230334795A1 (en) | 2022-01-25 | 2023-10-19 | Multinarity Ltd | Dual mode presentation of user interface elements |
| US11948263B1 (en) | 2023-03-14 | 2024-04-02 | Sightful Computers Ltd | Recording the complete physical and extended reality environments of a user |
| WO2023191314A1 (ko) * | 2022-03-31 | 2023-10-05 | 삼성전자 주식회사 | 정보를 제공하는 방법 및 이를 지원하는 전자 장치 |
| KR102559938B1 (ko) * | 2022-04-24 | 2023-07-27 | 주식회사 피앤씨솔루션 | 증강현실 전용 필기도구를 이용한 증강현실 텍스쳐 전시 방법 |
| WO2023228565A1 (ja) * | 2022-05-24 | 2023-11-30 | 株式会社Ｎｔｔドコモ | 表示制御装置 |
| WO2023244267A1 (en) * | 2022-06-13 | 2023-12-21 | Magic Leap, Inc. | Systems and methods for human gait analysis, real-time feedback and rehabilitation using an extended-reality device |
| CN114783002B (zh) * | 2022-06-22 | 2022-09-13 | 中山大学深圳研究院 | 一种应用于科技服务领域的对象智能匹配方法 |
| CN114795181B (zh) * | 2022-06-23 | 2023-02-10 | 深圳市铱硙医疗科技有限公司 | 辅助儿童适应核磁共振检查的方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015118332A (ja) * | 2013-12-19 | 2015-06-25 | ソニー株式会社 | 画像表示装置及び画像表示方法 |
| JP2015181216A (ja) * | 2014-03-06 | 2015-10-15 | パナソニックＩｐマネジメント株式会社 | 表示制御装置および表示制御プログラム |
Family Cites Families (66)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6222525B1 (en) | 1992-03-05 | 2001-04-24 | Brad A. Armstrong | Image controllers with sheet connected sensors |
| US5670988A (en) | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
| US20030210228A1 (en) | 2000-02-25 | 2003-11-13 | Ebersole John Franklin | Augmented reality situational awareness system and method |
| US7503006B2 (en) * | 2003-09-25 | 2009-03-10 | Microsoft Corporation | Visual indication of current voice speaker |
| US8778022B2 (en) | 2004-11-02 | 2014-07-15 | E-Vision Smart Optics Inc. | Electro-active intraocular lenses |
| US11428937B2 (en) | 2005-10-07 | 2022-08-30 | Percept Technologies | Enhanced optical and perceptual digital eyewear |
| US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
| US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
| JP5036177B2 (ja) | 2005-12-12 | 2012-09-26 | オリンパス株式会社 | 情報表示装置 |
| JP5228307B2 (ja) | 2006-10-16 | 2013-07-03 | ソニー株式会社 | 表示装置、表示方法 |
| JP2009081529A (ja) * | 2007-09-25 | 2009-04-16 | Nikon Corp | ヘッドマウントディスプレイ装置 |
| US9304319B2 (en) | 2010-11-18 | 2016-04-05 | Microsoft Technology Licensing, Llc | Automatic focus improvement for augmented reality displays |
| US10156722B2 (en) | 2010-12-24 | 2018-12-18 | Magic Leap, Inc. | Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality |
| AU2011348122A1 (en) | 2010-12-24 | 2013-07-11 | Magic Leap Inc. | An ergonomic head mounted display device and optical system |
| CA2835120C (en) | 2011-05-06 | 2019-05-28 | Magic Leap, Inc. | Massive simultaneous remote digital presence world |
| US8223088B1 (en) | 2011-06-09 | 2012-07-17 | Google Inc. | Multimode input field for a head-mounted display |
| US10795448B2 (en) | 2011-09-29 | 2020-10-06 | Magic Leap, Inc. | Tactile glove for human-computer interaction |
| US9081177B2 (en) * | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
| AU2012348348B2 (en) | 2011-10-28 | 2017-03-30 | Magic Leap, Inc. | System and method for augmented and virtual reality |
| CN104067316B (zh) | 2011-11-23 | 2017-10-27 | 奇跃公司 | 三维虚拟和增强现实显示系统 |
| US20130178257A1 (en) * | 2012-01-06 | 2013-07-11 | Augaroo, Inc. | System and method for interacting with virtual objects in augmented realities |
| CN104170155A (zh) | 2012-03-15 | 2014-11-26 | 三洋电机株式会社 | 非水电解质二次电池 |
| KR102223290B1 (ko) | 2012-04-05 | 2021-03-04 | 매직 립, 인코포레이티드 | 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들 |
| NZ702897A (en) | 2012-06-11 | 2017-03-31 | Magic Leap Inc | Multiple depth plane three-dimensional display using a wave guide reflector array projector |
| US9671566B2 (en) | 2012-06-11 | 2017-06-06 | Magic Leap, Inc. | Planar waveguide apparatus with diffraction element(s) and system employing same |
| JP5580855B2 (ja) * | 2012-06-12 | 2014-08-27 | 株式会社ソニー・コンピュータエンタテインメント | 障害物回避装置および障害物回避方法 |
| US9219901B2 (en) * | 2012-06-19 | 2015-12-22 | Qualcomm Incorporated | Reactive user interface for head-mounted display |
| JP5351311B1 (ja) * | 2012-06-29 | 2013-11-27 | 株式会社ソニー・コンピュータエンタテインメント | 立体映像観察デバイスおよび透過率制御方法 |
| KR101957943B1 (ko) * | 2012-08-31 | 2019-07-04 | 삼성전자주식회사 | 정보 제공 방법 및 이를 위한 정보 제공 차량 |
| US9740006B2 (en) | 2012-09-11 | 2017-08-22 | Magic Leap, Inc. | Ergonomic head mounted display device and optical system |
| US9077647B2 (en) * | 2012-10-05 | 2015-07-07 | Elwha Llc | Correlating user reactions with augmentations displayed through augmented views |
| US9395543B2 (en) * | 2013-01-12 | 2016-07-19 | Microsoft Technology Licensing, Llc | Wearable behavior-based vision system |
| NZ710096A (en) | 2013-01-15 | 2018-11-30 | Magic Leap Inc | Ultra-high resolution scanning fiber display |
| US10685487B2 (en) | 2013-03-06 | 2020-06-16 | Qualcomm Incorporated | Disabling augmented reality (AR) devices at speed |
| KR102387314B1 (ko) | 2013-03-11 | 2022-04-14 | 매직 립, 인코포레이티드 | 증강 및 가상 현실을 위한 시스템 및 방법 |
| CN105229719B (zh) | 2013-03-15 | 2018-04-27 | 奇跃公司 | 显示系统和方法 |
| JP5813030B2 (ja) * | 2013-03-22 | 2015-11-17 | キヤノン株式会社 | 複合現実提示システム、仮想現実提示システム |
| US9874749B2 (en) | 2013-11-27 | 2018-01-23 | Magic Leap, Inc. | Virtual and augmented reality systems and methods |
| US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| GB2517143A (en) * | 2013-08-07 | 2015-02-18 | Nokia Corp | Apparatus, method, computer program and system for a near eye display |
| US9542626B2 (en) * | 2013-09-06 | 2017-01-10 | Toyota Jidosha Kabushiki Kaisha | Augmenting layer-based object detection with deep convolutional neural networks |
| KR20230098359A (ko) | 2013-10-16 | 2023-07-03 | 매직 립, 인코포레이티드 | 조절가능한 동공간 거리를 가지는 가상 또는 증강 현실 헤드셋들 |
| CN103559713B (zh) * | 2013-11-10 | 2017-01-11 | 深圳市幻实科技有限公司 | 一种提供增强现实的方法及终端 |
| KR102378457B1 (ko) | 2013-11-27 | 2022-03-23 | 매직 립, 인코포레이티드 | 가상 및 증강 현실 시스템들 및 방법들 |
| US9857591B2 (en) | 2014-05-30 | 2018-01-02 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
| CA2938264C (en) | 2014-01-31 | 2020-09-22 | Magic Leap, Inc. | Multi-focal display system and method |
| KR102177133B1 (ko) | 2014-01-31 | 2020-11-10 | 매직 립, 인코포레이티드 | 멀티-포컬 디스플레이 시스템 및 방법 |
| US10203762B2 (en) * | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
| US20150262425A1 (en) | 2014-03-13 | 2015-09-17 | Ryan Hastings | Assessing augmented reality usage and productivity |
| WO2015161307A1 (en) * | 2014-04-18 | 2015-10-22 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
| AU2015255652B2 (en) | 2014-05-09 | 2018-03-29 | Google Llc | Systems and methods for using eye signals with secure mobile communications |
| NZ727350A (en) | 2014-05-30 | 2020-08-28 | Magic Leap Inc | Methods and systems for generating virtual content display with a virtual or augmented reality apparatus |
| US10311638B2 (en) * | 2014-07-25 | 2019-06-04 | Microsoft Technology Licensing, Llc | Anti-trip when immersed in a virtual reality environment |
| US20160131904A1 (en) * | 2014-11-07 | 2016-05-12 | Osterhout Group, Inc. | Power management for head worn computing |
| US20160131905A1 (en) | 2014-11-07 | 2016-05-12 | Kabushiki Kaisha Toshiba | Electronic apparatus, method and storage medium |
| CN107209906A (zh) * | 2014-11-17 | 2017-09-26 | 维萨国际服务协会 | 三维图像增强显示装置中的认证和交易 |
| US9858676B2 (en) * | 2015-01-08 | 2018-01-02 | International Business Machines Corporation | Displaying location-based rules on augmented reality glasses |
| US10725297B2 (en) * | 2015-01-28 | 2020-07-28 | CCP hf. | Method and system for implementing a virtual representation of a physical environment using a virtual reality environment |
| KR102564748B1 (ko) | 2015-03-16 | 2023-08-07 | 매직 립, 인코포레이티드 | 건강 질환 진단과 치료를 위한 방법 및 시스템 |
| US10296086B2 (en) * | 2015-03-20 | 2019-05-21 | Sony Interactive Entertainment Inc. | Dynamic gloves to convey sense of touch and movement for virtual objects in HMD rendered environments |
| USD758367S1 (en) | 2015-05-14 | 2016-06-07 | Magic Leap, Inc. | Virtual reality headset |
| EP3113106A1 (en) * | 2015-07-02 | 2017-01-04 | Nokia Technologies Oy | Determination of environmental augmentation allocation data |
| US9836845B2 (en) * | 2015-08-25 | 2017-12-05 | Nextvr Inc. | Methods and apparatus for detecting objects in proximity to a viewer and presenting visual representations of objects in a simulated environment |
| US10482681B2 (en) * | 2016-02-09 | 2019-11-19 | Intel Corporation | Recognition-based object segmentation of a 3-dimensional image |
| US9726896B2 (en) | 2016-04-21 | 2017-08-08 | Maximilian Ralph Peter von und zu Liechtenstein | Virtual monitor display technique for augmented reality environments |
| CN110419018B (zh) | 2016-12-29 | 2023-08-04 | 奇跃公司 | 基于外部条件的可穿戴显示装置的自动控制 |
-
2017
- 2017-11-17 CN CN201780087609.9A patent/CN110419018B/zh active Active
- 2017-11-17 AU AU2017387781A patent/AU2017387781B2/en active Active
- 2017-11-17 JP JP2019535899A patent/JP7190434B2/ja active Active
- 2017-11-17 WO PCT/US2017/062365 patent/WO2018125428A1/en unknown
- 2017-11-17 EP EP17888654.5A patent/EP3563215A4/en active Pending
- 2017-11-17 US US15/816,875 patent/US11138436B2/en active Active
- 2017-11-17 KR KR1020197021805A patent/KR102553190B1/ko active IP Right Grant
- 2017-11-17 KR KR1020237022456A patent/KR102630774B1/ko active IP Right Grant
- 2017-11-17 IL IL290002A patent/IL290002B2/en unknown
- 2017-11-17 CA CA3051060A patent/CA3051060A1/en active Pending
- 2017-11-17 CN CN202310968411.9A patent/CN117251053A/zh active Pending
-
2019
- 2019-06-26 IL IL267683A patent/IL267683B/en unknown
-
2021
- 2021-08-19 US US17/407,023 patent/US11568643B2/en active Active
-
2022
- 2022-08-02 JP JP2022123237A patent/JP7487265B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015118332A (ja) * | 2013-12-19 | 2015-06-25 | ソニー株式会社 | 画像表示装置及び画像表示方法 |
| JP2015181216A (ja) * | 2014-03-06 | 2015-10-15 | パナソニックＩｐマネジメント株式会社 | 表示制御装置および表示制御プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| IL290002B1 (en) | 2023-06-01 |
| IL290002B2 (en) | 2023-10-01 |
| AU2017387781B2 (en) | 2022-04-28 |
| CN117251053A (zh) | 2023-12-19 |
| CA3051060A1 (en) | 2018-07-05 |
| JP2020507797A (ja) | 2020-03-12 |
| KR102630774B1 (ko) | 2024-01-30 |
| JP7487265B2 (ja) | 2024-05-20 |
| IL267683B (en) | 2022-02-01 |
| JP2022140621A (ja) | 2022-09-26 |
| JP7190434B2 (ja) | 2022-12-15 |
| CN110419018B (zh) | 2023-08-04 |
| EP3563215A1 (en) | 2019-11-06 |
| CN110419018A (zh) | 2019-11-05 |
| US20180189568A1 (en) | 2018-07-05 |
| KR20190100957A (ko) | 2019-08-29 |
| WO2018125428A1 (en) | 2018-07-05 |
| IL290002A (en) | 2022-03-01 |
| US11138436B2 (en) | 2021-10-05 |
| KR20230107399A (ko) | 2023-07-14 |
| EP3563215A4 (en) | 2020-08-05 |
| US20220044021A1 (en) | 2022-02-10 |
| US11568643B2 (en) | 2023-01-31 |
| AU2017387781A1 (en) | 2019-07-25 |
| IL267683A (en) | 2019-08-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102553190B1 (ko) | 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어 | |
| JP7168612B2 (ja) | ユーザインターフェースメニューのコンテキスト認識 | |
| EP3807710B1 (en) | Augmented reality display with frame modulation functionality | |
| KR102413561B1 (ko) | 혼합 현실 환경의 가상 사용자 입력 콘트롤들 | |
| JP2023520463A (ja) | 最適視線弁別のためのアバタカスタマイズ | |
| US20230281988A1 (en) | Systems and methods for temporarily disabling user control interfaces during attachment of an electronic device | |
| WO2023192254A1 (en) | Attention-based content visualization for an extended reality environment | |
| NZ794186A (en) | Automatic control of wearable display device based on external conditions |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |