JP2024507749A - エクステンデッドリアリティにおけるコンテンツ共有 - Google Patents
エクステンデッドリアリティにおけるコンテンツ共有 Download PDFInfo
- Publication number
- JP2024507749A JP2024507749A JP2023548189A JP2023548189A JP2024507749A JP 2024507749 A JP2024507749 A JP 2024507749A JP 2023548189 A JP2023548189 A JP 2023548189A JP 2023548189 A JP2023548189 A JP 2023548189A JP 2024507749 A JP2024507749 A JP 2024507749A
- Authority
- JP
- Japan
- Prior art keywords
- extended reality
- virtual
- reality device
- wearable
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 329
- 230000004044 response Effects 0.000 claims abstract description 82
- 230000000007 visual effect Effects 0.000 claims description 401
- 238000004891 communication Methods 0.000 claims description 247
- 230000033001 locomotion Effects 0.000 claims description 231
- 238000012545 processing Methods 0.000 claims description 217
- 230000003993 interaction Effects 0.000 claims description 152
- 230000008859 change Effects 0.000 claims description 142
- 230000009471 action Effects 0.000 claims description 72
- 238000001514 detection method Methods 0.000 claims description 68
- 238000012986 modification Methods 0.000 claims description 31
- 230000004048 modification Effects 0.000 claims description 31
- 230000005540 biological transmission Effects 0.000 claims description 27
- 238000004458 analytical method Methods 0.000 claims description 24
- 239000003086 colorant Substances 0.000 claims description 19
- 239000000126 substance Substances 0.000 claims description 19
- 239000003550 marker Substances 0.000 claims description 14
- 230000002123 temporal effect Effects 0.000 claims description 11
- 230000008878 coupling Effects 0.000 claims description 9
- 238000010168 coupling process Methods 0.000 claims description 9
- 238000005859 coupling reaction Methods 0.000 claims description 9
- 238000012423 maintenance Methods 0.000 claims description 8
- 238000012790 confirmation Methods 0.000 claims description 7
- 238000003032 molecular docking Methods 0.000 claims description 7
- 230000001052 transient effect Effects 0.000 claims description 7
- 238000012800 visualization Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 170
- 238000010801 machine learning Methods 0.000 description 91
- 230000015654 memory Effects 0.000 description 84
- 230000008569 process Effects 0.000 description 70
- 230000006870 function Effects 0.000 description 61
- 238000012549 training Methods 0.000 description 47
- 230000000670 limiting effect Effects 0.000 description 44
- 241000699666 Mus <mouse, genus> Species 0.000 description 39
- 238000005516 engineering process Methods 0.000 description 33
- 230000007246 mechanism Effects 0.000 description 33
- 230000003190 augmentative effect Effects 0.000 description 31
- 238000010295 mobile communication Methods 0.000 description 29
- 230000003287 optical effect Effects 0.000 description 29
- 230000007613 environmental effect Effects 0.000 description 28
- 238000010586 diagram Methods 0.000 description 27
- 238000012546 transfer Methods 0.000 description 25
- 238000003860 storage Methods 0.000 description 24
- 230000008520 organization Effects 0.000 description 22
- 210000003811 finger Anatomy 0.000 description 21
- 210000004247 hand Anatomy 0.000 description 17
- 238000003491 array Methods 0.000 description 14
- 210000003128 head Anatomy 0.000 description 13
- 238000013528 artificial neural network Methods 0.000 description 12
- 238000004590 computer program Methods 0.000 description 12
- 238000013461 design Methods 0.000 description 12
- 230000002452 interceptive effect Effects 0.000 description 11
- 238000007635 classification algorithm Methods 0.000 description 10
- 239000004984 smart glass Substances 0.000 description 10
- 230000001133 acceleration Effects 0.000 description 9
- 238000013475 authorization Methods 0.000 description 9
- 230000001960 triggered effect Effects 0.000 description 9
- 230000008901 benefit Effects 0.000 description 8
- 238000013145 classification model Methods 0.000 description 8
- 238000010191 image analysis Methods 0.000 description 8
- 238000009877 rendering Methods 0.000 description 8
- 239000004065 semiconductor Substances 0.000 description 8
- 230000001953 sensory effect Effects 0.000 description 8
- 230000005291 magnetic effect Effects 0.000 description 7
- 230000003278 mimic effect Effects 0.000 description 7
- 230000001737 promoting effect Effects 0.000 description 7
- 238000000926 separation method Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 7
- 238000007792 addition Methods 0.000 description 6
- 230000001413 cellular effect Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 6
- 239000000203 mixture Substances 0.000 description 6
- 238000010200 validation analysis Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 230000006978 adaptation Effects 0.000 description 5
- 238000003709 image segmentation Methods 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 235000014214 soft drink Nutrition 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 4
- 208000003443 Unconsciousness Diseases 0.000 description 4
- 230000006399 behavior Effects 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 4
- 238000005266 casting Methods 0.000 description 4
- 238000004040 coloring Methods 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 229910044991 metal oxide Inorganic materials 0.000 description 4
- 150000004706 metal oxides Chemical class 0.000 description 4
- 230000006855 networking Effects 0.000 description 4
- 238000007637 random forest analysis Methods 0.000 description 4
- 230000000306 recurrent effect Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000001105 regulatory effect Effects 0.000 description 4
- 230000011218 segmentation Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 241000196324 Embryophyta Species 0.000 description 3
- 241000699670 Mus sp. Species 0.000 description 3
- 238000013459 approach Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000006073 displacement reaction Methods 0.000 description 3
- 235000013305 food Nutrition 0.000 description 3
- 230000001788 irregular Effects 0.000 description 3
- 239000000463 material Substances 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000003909 pattern recognition Methods 0.000 description 3
- 230000002441 reversible effect Effects 0.000 description 3
- 238000013515 script Methods 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 210000003813 thumb Anatomy 0.000 description 3
- 238000002604 ultrasonography Methods 0.000 description 3
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 2
- RWSOTUBLDIXVET-UHFFFAOYSA-N Dihydrogen sulfide Chemical compound S RWSOTUBLDIXVET-UHFFFAOYSA-N 0.000 description 2
- 102000004190 Enzymes Human genes 0.000 description 2
- 108090000790 Enzymes Proteins 0.000 description 2
- HBBGRARXTFLTSG-UHFFFAOYSA-N Lithium ion Chemical compound [Li+] HBBGRARXTFLTSG-UHFFFAOYSA-N 0.000 description 2
- CBENFWSGALASAD-UHFFFAOYSA-N Ozone Chemical compound [O-][O+]=O CBENFWSGALASAD-UHFFFAOYSA-N 0.000 description 2
- 241000238102 Scylla Species 0.000 description 2
- 206010041349 Somnolence Diseases 0.000 description 2
- 239000002253 acid Substances 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 2
- 235000021152 breakfast Nutrition 0.000 description 2
- OJIJEKBXJYRIBZ-UHFFFAOYSA-N cadmium nickel Chemical compound [Ni].[Cd] OJIJEKBXJYRIBZ-UHFFFAOYSA-N 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 229910002092 carbon dioxide Inorganic materials 0.000 description 2
- 239000001569 carbon dioxide Substances 0.000 description 2
- 229910002091 carbon monoxide Inorganic materials 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 238000013479 data entry Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000003792 electrolyte Substances 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000004313 glare Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 229940088597 hormone Drugs 0.000 description 2
- 239000005556 hormone Substances 0.000 description 2
- 229910052739 hydrogen Inorganic materials 0.000 description 2
- 239000001257 hydrogen Substances 0.000 description 2
- 125000004435 hydrogen atom Chemical class [H]* 0.000 description 2
- 229910000037 hydrogen sulfide Inorganic materials 0.000 description 2
- 238000002329 infrared spectrum Methods 0.000 description 2
- 230000002427 irreversible effect Effects 0.000 description 2
- 229910001416 lithium ion Inorganic materials 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 229910052987 metal hydride Inorganic materials 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000001151 other effect Effects 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 238000003825 pressing Methods 0.000 description 2
- 102000004169 proteins and genes Human genes 0.000 description 2
- 108090000623 proteins and genes Proteins 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000010079 rubber tapping Methods 0.000 description 2
- 238000010845 search algorithm Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000003238 somatosensory effect Effects 0.000 description 2
- 230000005236 sound signal Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 238000010897 surface acoustic wave method Methods 0.000 description 2
- 230000001988 toxicity Effects 0.000 description 2
- 231100000419 toxicity Toxicity 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 238000002211 ultraviolet spectrum Methods 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 230000001755 vocal effect Effects 0.000 description 2
- 208000006992 Color Vision Defects Diseases 0.000 description 1
- 206010010904 Convulsion Diseases 0.000 description 1
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 1
- 230000005355 Hall effect Effects 0.000 description 1
- 241000208125 Nicotiana Species 0.000 description 1
- 235000002637 Nicotiana tabacum Nutrition 0.000 description 1
- 241000860832 Yoda Species 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002730 additional effect Effects 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 238000011511 automated evaluation Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000013361 beverage Nutrition 0.000 description 1
- 230000008933 bodily movement Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 201000007254 color blindness Diseases 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013481 data capture Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 206010013932 dyslexia Diseases 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000001976 improved effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000005392 opalescent glass Substances 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000005192 partition Methods 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 201000009032 substance abuse Diseases 0.000 description 1
- 230000008093 supporting effect Effects 0.000 description 1
- 238000004381 surface treatment Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 235000019505 tobacco product Nutrition 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/131—Protocols for games, networked simulations or virtual reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/163—Wearable computers, e.g. on a belt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
- G06K7/1404—Methods for optical code recognition
- G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
- G06K7/1417—2D bar codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/10—Geometric effects
- G06T15/20—Perspective computation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/22—Character recognition characterised by the type of writing
- G06V30/228—Character recognition characterised by the type of writing of three-dimensional handwriting, e.g. writing in the air
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1831—Tracking arrangements for later retrieval, e.g. recording contents, participants activities or behavior, network status
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/21—Monitoring or handling of messages
- H04L51/222—Monitoring or handling of messages using geographical location information, e.g. messages transmitted or received in proximity of a certain spot or area
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/58—Message adaptation for wireless communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/10—Network architectures or network communication protocols for network security for controlling access to devices or network resources
- H04L63/102—Entity profiles
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/401—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference
- H04L65/4015—Support for services or applications wherein the services involve a main real-time session and one or more additional parallel real-time or time sensitive sessions, e.g. white board sharing or spawning of a subconference where at least one of the additional parallel sessions is real time or time sensitive, e.g. white board sharing, collaboration or spawning of a subconference
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/40—Support for services or applications
- H04L65/403—Arrangements for multi-party communication, e.g. for conferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
- H04M1/724094—Interfacing with a device worn on the user's body to provide access to telephonic functionalities, e.g. accepting a call, reading or composing a message
- H04M1/724097—Worn on the head
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
- H04W12/08—Access security
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B2027/0178—Eyeglass type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04801—Cursor retrieval aid, i.e. visual aspect modification, blinking, colour changes, enlargement or other visual cues, for helping user do find the cursor in graphical user interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/024—Multi-user, collaborative environment
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2354/00—Aspects of interface with display user
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2370/00—Aspects of data communication
- G09G2370/16—Use of wireless transmission of display information
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/52—Network services specially adapted for the location of the user terminal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
- H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/025—Services making use of location information using location based information parameters
- H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
Abstract
ウェアラブルエクステンデッドリアリティ機器のユーザ間でのコンテンツ共有を可能にするために構成されたシステム、方法、および非一時的コンピュータ可読媒体が提供される。一実装形態では、コンピュータ可読媒体は、少なくとも1つのプロセッサに、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間のリンクを確立させるための命令を含むように構成され得る。第1のウェアラブルエクステンデッドリアリティ機器は、第1の仮想コンテンツを表示することができる。第2のウェアラブルエクステンデッドリアリティ機器は、第2のウェアラブルエクステンデッドリアリティ機器を介して第1の仮想コンテンツを表示するためのコマンドを取得することができ、それに応答して、このコンテンツは、第2のエクステンデッドリアリティ機器を介して送信されて表示され得る。加えて、第1のウェアラブルエクステンデッドリアリティ機器は、第2のウェアラブルエクステンデッドリアリティ機器から第2の仮想コンテンツを受信し、第1のウェアラブルエクステンデッドリアリティ機器を介して前記第2の仮想コンテンツを表示することができる。
Description
関連出願の相互参照
本出願は、2021年2月8日に出願された米国仮特許出願第63/147,051号、2021年3月7日に出願された米国仮特許出願第63/157,768号、2021年4月9日に出願された米国仮特許出願第63/173,095号、2021年6月21日に出願された米国仮特許出願第63/213,019号、2021年6月27日に出願された米国仮特許出願第63/215,500号、2021年6月29日に出願された米国仮特許出願第63/216,335号、2021年7月29日に出願された米国仮特許出願第63/226,977号、2022年1月16日に出願された米国仮特許出願第63/300,005号、2022年2月7日に出願された米国仮特許出願第63/307,207号、2022年2月7日に出願された米国仮特許出願第63/307,203号、および2022年2月7日に出願された米国仮特許出願第63/307,217号の優先権の利益を主張するものであり、これらのすべては、その全体が参照により本明細書に組み込まれる。
本出願は、2021年2月8日に出願された米国仮特許出願第63/147,051号、2021年3月7日に出願された米国仮特許出願第63/157,768号、2021年4月9日に出願された米国仮特許出願第63/173,095号、2021年6月21日に出願された米国仮特許出願第63/213,019号、2021年6月27日に出願された米国仮特許出願第63/215,500号、2021年6月29日に出願された米国仮特許出願第63/216,335号、2021年7月29日に出願された米国仮特許出願第63/226,977号、2022年1月16日に出願された米国仮特許出願第63/300,005号、2022年2月7日に出願された米国仮特許出願第63/307,207号、2022年2月7日に出願された米国仮特許出願第63/307,203号、および2022年2月7日に出願された米国仮特許出願第63/307,217号の優先権の利益を主張するものであり、これらのすべては、その全体が参照により本明細書に組み込まれる。
技術分野
本開示は、一般にエクステンデッドリアリティの分野に関する。より具体的には、本開示は、エクステンデッドリアリティ環境を使用して生産性アプリケーションを提供するためのシステム、方法、およびデバイスに関する。
本開示は、一般にエクステンデッドリアリティの分野に関する。より具体的には、本開示は、エクステンデッドリアリティ環境を使用して生産性アプリケーションを提供するためのシステム、方法、およびデバイスに関する。
長年にわたって、PCユーザは、(デスクトップコンピュータを選択するときに)移動性を制限するか、または(ラップトップコンピュータを選択するときに)画面サイズを制限するかという生産性のジレンマに直面していた。このジレンマに対する1つの部分的な解決策は、ドッキングステーションを使用することである。ドッキングステーションは、ラップトップコンピュータを他のデバイスと接続するためのインターフェースデバイスである。ラップトップコンピュータをドッキングステーションに差し込むことによって、ラップトップのユーザは、より大きなモニタによって提供される向上した視認性を享受することができる。しかし、大型モニタは固定されているため、改善されているがユーザの移動性は依然として制限される。例えば、ドッキングステーションを有するラップトップのユーザであっても、ユーザが望む場所で2つの32インチ画面を使用する自由はない。
開示される実施形態のうちのいくつかは、生産性のジレンマを解決するための新しいアプローチを提供することを対象とし、それは、エクステンデッドリアリティ(XR)を使用して、仮想デスクトップ状画面を提供することによって、ユーザが望む場所でユーザが静止した作業空間の快適性を体験することを可能にする、モバイル環境を提供する。
本開示と一致する実施形態は、エクステンデッドリアリティ環境を使用して生産性アプリケーションを提供およびサポートするためのシステム、方法、およびデバイスを提供する。
いくつかの開示される実施形態は、ウェアラブルエクステンデッドリアリティ機器のユーザ間でのコンテンツ共有を可能にするためのシステム、方法、および非一時的コンピュータ可読媒体を含み得る。これらの実施形態のうちのいくつかは、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間のリンクを確立することと、第1のウェアラブルエクステンデッドリアリティ機器を通じて、第1の仮想コンテンツを提示することと、第2のウェアラブルエクステンデッドリアリティ機器を介して第1の仮想コンテンツを表示するための第1のコマンドを取得することと、第1のコマンドに応答して、第2のウェアラブルエクステンデッドリアリティ機器への表示のために第1の仮想コンテンツを送信させることと、第2のウェアラブルエクステンデッドリアリティ機器から、第1のウェアラブルエクステンデッドリアリティ機器を介した表示のために第2の仮想コンテンツを受信することと、第1のウェアラブルエクステンデッドリアリティ機器を介して、第2のウェアラブルエクステンデッドリアリティ機器から受信された第2の仮想コンテンツを提示することとを含み得る。
いくつかの開示される実施形態は、ウェアラブルエクステンデッドリアリティ機器のユーザに状況認識を提供するためのシステム、方法、および非一時的コンピュータ可読媒体を含み得る。これらの実施形態のうちのいくつかは、第1のウェアラブルエクステンデッドリアリティ機器を通じて、仮想コンテンツを表示させることと、第1のウェアラブルエクステンデッドリアリティ機器に近接した第2のウェアラブルエクステンデッドリアリティ機器を検出することと、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間のリンクを確立することと、仮想コンテンツの少なくとも一部分を表すデータを不明瞭化された形態で第2のウェアラブルエクステンデッドリアリティ機器に送信することであって、不明瞭化された形態は、不明瞭化された形態での仮想コンテンツの実体を明らかにすることなく、3次元空間における仮想コンテンツの少なくとも一部分の位置のインジケーションを提供する、送信することとを含み得る。
いくつかの開示される実施形態は、仮想ホワイトボードを物理的空間に結び付けるためのシステム、方法、および非一時的コンピュータ可読媒体を含み得る。これらの実施形態のうちのいくつかは、無線ネットワークを介して、第1のウェアラブルエクステンデッドリアリティ機器の場所のインジケーションを受信することと、仮想ホワイトボードのリポジトリおよび仮想ホワイトボードの場所でルックアップを実行して、第1のウェアラブルエクステンデッドリアリティ機器の場所が特定の仮想ホワイトボードの場所に対応すると決定することと、第1のウェアラブルエクステンデッドリアリティ機器に、特定の仮想ホワイトボードのコンテンツに対応するデータを送信し、それによって、第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザが、特定の仮想ホワイトボードのコンテンツを仮想的に閲覧し、仮想コンテンツを特定の仮想ホワイトボードに追加することを可能にすることと、第1の期間中に、第1のユーザによって追加された仮想コンテンツを受信することと、第1のウェアラブルエクステンデッドリアリティ機器が特定の仮想ホワイトボードの場所にもはやなくなった後の第2の期間に、無線ネットワークを介して、第2のウェアラブルエクステンデッドリアリティ機器が特定の仮想ホワイトボードの場所にあるというインジケーションを受信することと、第2のウェアラブルエクステンデッドリアリティ機器に、特定の仮想ホワイトボードのコンテンツおよび追加されたコンテンツに対応するデータを送信し、それによって第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザが、第1のユーザが特定の仮想ホワイトボードの場所にいない間に、コンテンツおよび追加されたコンテンツを閲覧することを可能にすることとを含み得る。
いくつかの開示される実施形態は、仮想コンテンツを物理的ディスプレイデバイスに転送するためのシステム、方法、および非一時的コンピュータ可読媒体を含み得る。これらの実施形態のうちのいくつかは、ウェアラブルエクステンデッドリアリティ機器を介して部屋内のエクステンデッドリアリティ環境を提示することであって、ウェアラブルエクステンデッドリアリティ機器が、部屋内に位置する複数のディスプレイデバイスとペアリングされるように構成され、各ディスプレイデバイスが一意のネットワーク識別子に関連付けられる、提示することと、ウェアラブルエクステンデッドリアリティ機器に関連付けられた入力を受信して、エクステンデッドリアリティ環境内の特定の仮想オブジェクトを対象のディスプレイデバイスに提示させることと、ウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサから画像データを受信することであって、画像データが対象のディスプレイデバイスを示す、受信することと、画像データを分析して、対象のディスプレイデバイスを識別することと、対象のディスプレイデバイスを識別した時点で、対象のディスプレイデバイスのネットワーク識別子を決定することと、対象のディスプレイデバイスの決定されたネットワーク識別子を使用して、対象のディスプレイデバイスとの通信リンクを確立することと、特定の仮想オブジェクトを表すデータを対象のディスプレイデバイスに送信することであって、送信されたデータは、対象のディスプレイデバイスが特定の仮想オブジェクトを提示することを可能にする、送信することとを含み得る。
いくつかの開示される実施形態は、共有されたコンテンツとのユーザ対話をシミュレートするためのシステム、方法、および非一時的コンピュータ可読媒体を含み得る。これらの実施形態のうちのいくつかは、第1のウェアラブルエクステンデッドリアリティ機器と少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器との間でコンテンツおよびユーザ対話を共有するための通信チャネルを確立することと、少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクトを表す第1のデータを送信することであって、第1のデータは、オブジェクトの仮想表現が少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器を通じて表示されることを可能にする、送信することと、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサから画像データを受信することと、画像データ内で、オブジェクトに関連付けられた少なくとも1つのユーザ対話を検出することであって、少なくとも1つのユーザ対話が、オブジェクトの特定の部分を指す人間の手を含む、検出することと、画像データ内の少なくとも1つのユーザ対話の検出に基づいて、オブジェクトの特定の部分のエリアを示す第2のデータを少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に送信することとを含み得る。
いくつかの開示される実施形態は、エクステンデッドリアリティ環境におけるコンテンツ配置を管理するためのシステム、方法、および非一時的コンピュータ可読媒体を含み得る。これらの実施形態のうちのいくつかは、複数の仮想オブジェクトを含む少なくとも1つの共有されたエクステンデッドリアリティ環境内の特定の地理的場所に仮想コンテンツを配置するための要求をエンティティから受信することであって、複数の仮想オブジェクトは、少なくとも1つの共有されたエクステンデッドリアリティ環境に登録された複数のウェアラブルエクステンデッドリアリティ機器によって閲覧可能である、受信することと、要求に関連付けられた情報を取得することと、エクステンデッドリアリティ環境コンテンツ配置に対する地理的制限を定義する複数のコンテンツ配置ルールにアクセスすることと、取得された情報に基づいて、特定の地理的場所に仮想コンテンツを配置するためのエンティティからの要求が特定のコンテンツ配置ルールに対応すると決定することと、特定のコンテンツ配置ルールを実装して、特定のコンテンツ配置ルールの条件が満たされないときに、複数のウェアラブルエクステンデッドリアリティ機器のうちの少なくともいくつかによる少なくとも1つの共有されたエクステンデッドリアリティ環境内の特定の地理的場所での仮想コンテンツの表示を防止することと、特定のコンテンツ配置ルールを実装して、特定のコンテンツ配置ルールの条件が満たされたときに、複数のウェアラブルエクステンデッドリアリティ機器のうちの少なくともいくつかによる少なくとも1つの共有されたエクステンデッドリアリティ環境内の特定の地理的場所での仮想コンテンツの表示を有効にすることとを含み得る。
いくつかの開示される実施形態は、複数の閲覧者に仮想コンテンツを提示するためのシステム、方法、および非一時的コンピュータ可読媒体を含み得る。これらの実施形態のうちのいくつかは、部屋内に位置する複数のウェアラブルエクステンデッドリアリティ機器を示すセンサデータを受信することと、複数のウェアラブルエクステンデッドリアリティ機器と仮想オブジェクトを共有するためのコマンドを受信することと、センサデータを分析して、第1のウェアラブルエクステンデッドリアリティ機器の部屋内の第1の場所、第2のウェアラブルエクステンデッドリアリティ機器の部屋内の第2の場所、および第3のウェアラブルエクステンデッドリアリティ機器の部屋内の第3の場所を決定することと、決定された第1の場所、決定された第2の場所、および決定された第3の場所に基づいて、部屋内の仮想オブジェクトを表示するための位置を決定することと、第1のウェアラブルエクステンデッドリアリティ機器を通じて決定された位置に仮想オブジェクトの第1の表示を生じさせることであって、第1の表示は第1のパースペクティブからレンダリングされる、生じさせることと、第2のウェアラブルエクステンデッドリアリティ機器を通じて決定された位置に仮想オブジェクトの第2の表示を生じさせることであって、第2の表示は第1のパースペクティブとは異なる第2のパースペクティブからレンダリングされる、生じさせることと、第3のウェアラブルエクステンデッドリアリティ機器を通じて決定された位置に仮想オブジェクトの第3の表示を生じさせることであって、第3の表示は第1のパースペクティブおよび第2のパースペクティブとは異なる第3のパースペクティブからレンダリングされる、生じさせることとを含み得る。
いくつかの開示される実施形態は、オブジェクトに仮想着色マーキングを行うためのシステム、方法、および非一時的コンピュータ可読媒体を含み得る。これらの実施形態のうちのいくつかは、オブジェクトのインジケーションを受信することと、画像センサから、物理的マーキング用具を保持する個人の手の画像を受信することと、マーキング用具に関連付けられた色を画像内で検出することと、画像センサから、マーキング用具の先端の移動および先端の場所を示す画像データを受信することと、画像データから、先端の場所がオブジェクト上の場所にいつ対応するかを決定することと、検出された色で、対応する場所におけるオブジェクトに仮想マーキングを生成することとを含み得る。
いくつかの開示される実施形態は、ウェアラブルエクステンデッドリアリティ機器が仮想コンテンツを共有することを可能にするためのシステム、方法、および非一時的コンピュータ可読媒体を含み得る。これらの実施形態のうちのいくつかは、モバイルデバイスの第1の物理的位置を反映する視覚コードを生成することであって、視覚コードが、複数のウェアラブルエクステンデッドリアリティ機器によって読み取られるように構成される、生成することと、複数のウェアラブルエクステンデッドリアリティ機器による検出のためにモバイルデバイスのディスプレイ上に視覚コードを提示し、それによって、複数のウェアラブルエクステンデッドリアリティ機器が視覚コードの検出時に共通の座標系においてコンテンツを共有することを可能にすることと、第1の物理的位置とは異なる第2の物理的位置へのモバイルデバイスの移動を検出することと、モバイルデバイスの移動検出時に、視覚コードがコンテンツ共有での使用に利用不可能であるように、視覚コードの提示を変更することとを含み得る。
他の開示される実施形態と一致して、非一時的コンピュータ可読記憶媒体は、少なくとも1つの処理デバイスによって実行され、本明細書に記載される方法のいずれかを実行するプログラム命令を記憶することができる。
前述の概要および以下の発明を実施するための形態は、例示的かつ説明的なものにすぎず、特許請求の範囲を限定するものではない。
本開示に組み込まれ、本開示の一部を構成する添付の図面は、様々な開示される実施形態を示す。
以下の詳細な説明は、添付の図面を参照する。可能な限り、図面および以下の説明では、同一または類似の部分を参照するために同一の参照番号が使用される。いくつかの例示的な実施形態が本明細書で説明されるが、修正、適応、および他の実装が可能である。例えば、置換、追加、または修正が図面に示される構成要素に行われてもよく、本明細書に記載される例示的な方法は、開示される方法にステップを置換、並べ替え、除去、または追加することによって修正されてもよい。したがって、以下の詳細な説明は、特定の実施形態および例に限定されず、添付の特許請求の範囲によって包含される一般原則に加えて、本明細書に記載され、図に示される一般原則を含む。
本開示は、ユーザにエクステンデッドリアリティ環境を提供するためのシステムおよび方法を対象とする。「エクステンデッドリアリティ」、「エクステンデッドリアリティ空間」、または「エクステンデッド環境」とも呼ばれ得る「エクステンデッドリアリティ環境」という用語は、コンピュータ技術によって少なくとも部分的に生成されるあらゆる種類の現実と仮想の組み合わされた環境、および人間と機械の対話を指す。エクステンデッドリアリティ環境は、ユーザが種々のパースペクティブから知覚することができる、完全にシミュレートされた仮想環境または組み合わせられた現実と仮想の環境であり得る。いくつかの例では、ユーザは、エクステンデッドリアリティ環境の要素と対話することができる。エクステンデッドリアリティ環境の1つの非限定的な例は、「仮想現実」または「仮想環境」としても知られる仮想現実環境であり得る。没入型仮想現実環境は、仮想環境内に存在するという知覚をユーザに提供するシミュレートされた非物理的環境であり得る。エクステンデッドリアリティ環境の別の非限定的な例は、「拡張現実」または「拡張環境」としても知られる拡張現実環境であり得る。拡張現実環境は、ユーザが対話することができる仮想オブジェクトなど、仮想コンピュータ生成知覚情報で強化された、物理的な現実世界環境のライブの直接的または間接的なビューを含み得る。エクステンデッドリアリティ環境の別の非限定的な例は、「複合現実」または「複合環境」としても知られる複合現実環境である。複合現実環境は、物理オブジェクトおよび仮想オブジェクトが共存し、リアルタイムで対話し得る、物理的な現実世界および仮想環境のハイブリッドであり得る。いくつかの例では、拡張現実環境と複合現実環境の両方が、現実世界と仮想世界の組み合わせ、リアルタイム対話、ならびに仮想オブジェクトおよび現実オブジェクトの正確な3D登録を含み得る。いくつかの例では、拡張現実環境と複合現実環境の両方が、物理的環境に追加され得る構造的なオーバーレイされた感覚情報を含み得る。他の例では、拡張現実環境と複合現実環境の両方が、物理的環境の少なくとも一部をマスクし得る、破壊的な仮想コンテンツを含み得る。
いくつかの実施形態では、本システムおよび方法は、エクステンデッドリアリティ機器を使用して、エクステンデッドリアリティ環境を提供することができる。エクステンデッドリアリティ機器という用語は、ユーザがエクステンデッドリアリティ環境を知覚し、かつ/またはそれと対話することを可能にする任意の種類のデバイスまたはシステムを含み得る。エクステンデッドリアリティ機器は、ユーザが、1つまたは複数の感覚モダリティを通じて、エクステンデッドリアリティ環境を知覚し、かつ/またはそれと対話することを可能にしてもよい。このような感覚モダリティのいくつかの非限定的な例は、視覚、聴覚、触覚、体性感覚、および嗅覚を含み得る。エクステンデッドリアリティ機器の一例は、ユーザが仮想現実環境を知覚し、かつ/またはそれと対話することを可能にする仮想現実機器である。エクステンデッドリアリティ機器の別の例は、ユーザが拡張現実環境を知覚し、かつ/またはそれと対話することを可能にする拡張現実機器である。エクステンデッドリアリティ機器のさらに別の例は、ユーザが複合現実環境を知覚し、かつ/またはそれと対話することを可能にする複合現実機器である。
本開示の一態様と一致して、エクステンデッドリアリティ機器は、ヘッドマウントデバイス、例えば、スマートグラス、スマートコンタクトレンズ、ヘッドセット、またはエクステンデッドリアリティを人間に提示する目的で人間によって装着される任意の他のデバイスなど、ウェアラブルデバイスであってもよい。他のエクステンデッドリアリティ機器は、拡張現実(AR)、仮想現実(VR)、複合現実(MR)、または任意の没入型体験を提供することが可能な、ホログラフィックプロジェクタまたは任意の他のデバイスもしくはシステムを含み得る。ウェアラブルエクステンデッドリアリティ機器の典型的な構成要素は、立体ヘッドマウントディスプレイ、立体ヘッドマウントサウンドシステム、(ジャイロスコープ、加速度計、磁力計、画像センサ、構造化光センサなどの)頭部運動トラッキングセンサ、ヘッドマウントプロジェクタ、アイトラッキングセンサ、および以下で説明する追加の構成要素のうちの少なくとも1つを含み得る。本開示の別の態様と一致して、エクステンデッドリアリティ機器は、非ウェアラブルエクステンデッドリアリティ機器であってもよい。具体的には、非ウェアラブルエクステンデッドリアリティ機器は、マルチ投影環境機器を含み得る。いくつかの実施形態では、エクステンデッドリアリティ機器は、ユーザの動きに応答して、かつ、特にユーザの頭部の動きに応答して、エクステンデッドリアリティ環境の閲覧パースペクティブを変更するように構成され得る。一例では、ウェアラブルエクステンデッドリアリティ機器は、エクステンデッドリアリティ環境内のユーザの空間位置を変更せずに空間の向きを変更することなどによって、ユーザの頭部姿勢の変化に応答して、エクステンデッドリアリティ環境の視野を変更することができる。別の例では、非ウェアラブルエクステンデッドリアリティ機器は、例えば、空間位置に対する視野の方向を変更せずにエクステンデッドリアリティ環境内のユーザの空間位置を変更することによって、現実世界内のユーザの位置の変化に応答して、エクステンデッドリアリティ環境内のユーザの空間位置を変更することができる。
いくつかの実施形態によれば、エクステンデッドリアリティ機器は、仮想コンテンツの提示を可能にするように構成された仮想コンテンツデータを受信することと、少なくとも1つの外部デバイスと共有するための仮想コンテンツを送信することと、少なくとも1つの外部デバイスからコンテキストデータを受信することと、少なくとも1つの外部デバイスにコンテキストデータを送信することと、エクステンデッドリアリティ機器の使用を示す使用データを送信することと、およびエクステンデッドリアリティ機器に含まれる少なくとも1つのセンサを使用してキャプチャされた情報に基づくデータを送信することとのうちの少なくとも1つを行うように構成されたデジタル通信デバイスを含み得る。追加の実施形態では、エクステンデッドリアリティ機器は、仮想コンテンツの提示を可能にするように構成された仮想データ、コンテキストデータ、エクステンデッドリアリティ機器の使用を示す使用データ、エクステンデッドリアリティ機器に含まれる少なくとも1つのセンサを使用してキャプチャされた情報に基づくセンサデータ、処理デバイスに仮想コンテンツを提示させるように構成されたソフトウェア命令、処理デバイスにコンテキストデータを収集および分析させるように構成されたソフトウェア命令、処理デバイスに使用データを収集および分析させるように構成されたソフトウェア命令、ならびに処理デバイスにセンサデータを収集および分析させるように構成されたソフトウェア命令のうちの少なくとも1つを記憶するためのメモリを含み得る。追加の実施形態では、エクステンデッドリアリティ機器は、仮想コンテンツのレンダリング、コンテキストデータの収集および分析、使用データの収集および分析、ならびにセンサデータの収集および分析のうちの少なくとも1つを行うように構成された処理デバイスを含み得る。追加の実施形態では、エクステンデッドリアリティ機器は、1つまたは複数のセンサを含み得る。1つまたは複数のセンサは、1つまたは複数の画像センサ(例えば、機器のユーザまたはユーザの環境の画像および/またはビデオをキャプチャするように構成される)、1つまたは複数の動きセンサ(加速度計、ジャイロスコープ、磁力計など)、1つまたは複数の位置決めセンサ(GPS、屋外位置決めセンサ、屋内位置決めセンサなど)、1つまたは複数の温度センサ(例えば、機器および/または環境の少なくとも一部の温度を測定するように構成される)、1つまたは複数の接触センサ、1つまたは複数の近接センサ(例えば、機器が現在装着されているかどうかを検出するように構成される)、1つまたは複数の電気インピーダンスセンサ(例えば、ユーザの電気インピーダンスを測定するように構成される)、注視検出器、光学トラッカ、電位トラッカ(例えば、眼電図(EOG)センサ)、ビデオベースのアイトラッカ、赤外線/近赤外線センサ、受動光センサ、または人間がどこを見ているかもしくは注視しているかを決定することができる任意の他の技術などの1つまたは複数のアイトラッキングセンサを含み得る。
いくつかの実施形態では、本システムおよび方法は、入力デバイスを使用して、エクステンデッドリアリティ機器と対話することができる。入力デバイスという用語は、ユーザまたはユーザの環境から入力を受信し、データを計算デバイスに提供するように構成された任意の物理デバイスを含み得る。計算デバイスに提供されるデータは、デジタル形式および/またはアナログ形式であってもよい。一実施形態では、入力デバイスは、ユーザから受信された入力を処理デバイスによってアクセス可能なメモリデバイスに記憶することができ、処理デバイスは、分析のために記憶されたデータにアクセスすることができる。別の実施形態では、入力デバイスは、例えば、バスを介して、または入力デバイスから処理デバイスにデータを転送するように構成された別の通信システムを介して、処理デバイスに直接データを提供することができる。いくつかの例では、入力デバイスによって受信される入力は、キー押下、触覚入力データ、動きデータ、位置データ、ジェスチャベースの入力データ、方向データ、または計算のために供給するための任意の他のデータを含み得る。入力デバイスのいくつかの例は、ボタン、キー、キーボード、コンピュータマウス、タッチパッド、タッチスクリーン、ジョイスティック、または入力が受信され得る別の機構を含み得る。入力デバイスの別の例は、ユーザからの入力を受信するための少なくとも1つの物理的構成要素を含む、統合計算インターフェースデバイスを含み得る。統合計算インターフェースデバイスは、少なくとも、メモリ、処理デバイス、ユーザから入力を受信するための少なくとも1つの物理的構成要素を含み得る。一例では、統合計算インターフェースデバイスは、他のコンピューティングデバイスとのデジタル通信を可能にするデジタルネットワークインターフェースをさらに含み得る。一例では、統合計算インターフェースデバイスは、ユーザに情報を出力するための物理的構成要素をさらに含み得る。いくつかの例では、統合計算インターフェースデバイスのすべての構成要素は、単一のハウジングに含まれ得るが、他の例では、構成要素は、2つ以上のハウジング間に分散され得る。統合計算インターフェースデバイスに含まれ得る、ユーザから入力を受信するための物理的構成要素のいくつかの非限定的な例は、ボタン、キー、キーボード、タッチパッド、タッチスクリーン、ジョイスティック、または計算情報が受信され得る任意の他の機構もしくはセンサのうちの少なくとも1つを含み得る。ユーザに情報を出力するための物理的構成要素のいくつかの非限定的な例は、光インジケータ(LEDインジケータなど)、画面、タッチスクリーン、ビーパ、オーディオスピーカ、または人間知覚可能な出力を提供する任意の他のオーディオ、ビデオ、もしくは触覚デバイスのうちの少なくとも1つを含み得る。
いくつかの実施形態では、画像データは、1つまたは複数の画像センサを使用してキャプチャされ得る。いくつかの例では、画像センサは、エクステンデッドリアリティ機器、ウェアラブルデバイス、ウェアラブルエクステンデッドリアリティデバイス、入力デバイス、ユーザの環境などに含まれ得る。いくつかの例では、画像データは、メモリから読み取られたり、外部デバイスから受信されたり、(例えば、生成モデルを使用して)生成されたりするなどする場合がある。画像データのいくつかの非限定的な例は、画像、グレースケール画像、カラー画像、2D画像、3D画像、ビデオ、2Dビデオ、3Dビデオ、フレーム、場面、他の画像データから得られたデータなどを含み得る。いくつかの例では、画像データは、任意のアナログまたはデジタル形式で符号化され得る。このような形式のいくつかの非限定的な例としては、未加工形式、圧縮形式、非圧縮形式、非可逆形式、可逆形式、JPEG、GIF、PNG、TIFF、BMP、NTSC、PAL、SECAM、MPEG、MPEG-4 Part 14、MOV、WMV、FLV、AVI、AVCHD、WebM、MKVなどが挙げられ得る。
いくつかの実施形態では、エクステンデッドリアリティ機器は、例えば、入力デバイスからデジタル信号を受信することができる。デジタル信号という用語は、時間的に離散的である一連のデジタル値を指す。デジタル信号は、例えば、センサデータ、テキストデータ、音声データ、ビデオデータ、仮想データ、または知覚可能な情報を提供する任意の他の形態のデータを表すことができる。本開示と一致して、デジタル信号は、エクステンデッドリアリティ機器に仮想コンテンツを提示させるように構成され得る。一実施形態では、仮想コンテンツは、選択された向きで提示され得る。この実施形態では、デジタル信号は、エクステンデッドリアリティ環境などの環境における視点の位置および角度を示すことができる。具体的には、デジタル信号は、6自由度座標(例えば、前/後、上/下、左/右、ヨー、ピッチ、およびロール)における位置および角度の符号化を含み得る。別の実施形態では、デジタル信号は、3次元座標(例えば、x、y、およびz)としての位置の符号化と、符号化された位置から生じるベクトルとしての角度の符号化とを含み得る。具体的には、デジタル信号は、例えば、標準デフォルト角度に対する仮想コンテンツのヨー、ピッチ、およびロールを符号化することによって、環境の絶対座標における提示された仮想コンテンツの向きおよび角度を示すことができる。別の実施形態では、デジタル信号は、例えば、視点に対応する方向または他のオブジェクトに対応する方向に対する仮想コンテンツのヨー、ピッチ、およびロールを符号化することによって、別のオブジェクト(例えば、仮想オブジェクト、物理オブジェクトなど)の視点に対する提示された仮想コンテンツの向きおよび角度を示すことができる。別の実施形態では、このようなデジタル信号は、例えば、提示の準備ができている形式(例えば、画像、ビデオなど)で、仮想コンテンツの1つまたは複数の投影を含み得る。例えば、このような投影の各々は、特定の向きまたは特定の角度に対応し得る。別の実施形態では、デジタル信号は、例えば、ボクセルの3次元配列、ポリゴンメッシュ、または仮想コンテンツが提示され得る任意の他の形式でオブジェクトを符号化することによって、仮想コンテンツの表現を含み得る。
いくつかの実施形態では、デジタル信号は、エクステンデッドリアリティ機器に仮想コンテンツを提示させるように構成され得る。仮想コンテンツという用語は、エクステンデッドリアリティ機器によってユーザに表示され得る任意の種類のデータ表現を含み得る。仮想コンテンツは、仮想オブジェクト、非アニメーションの仮想コンテンツ、経時的にもしくはトリガに応答して変化するように構成されたアニメーションの仮想コンテンツ、仮想2次元コンテンツ、仮想3次元コンテンツ、物理的環境の一部もしくは物理オブジェクト上の仮想オーバーレイ、物理的環境もしくは物理オブジェクトへの仮想追加、仮想プロモーションコンテンツ、物理オブジェクトの仮想表現、物理的環境の仮想表現、仮想ドキュメント、仮想キャラクタもしくはペルソナ、仮想コンピュータ画面、仮想ウィジェット、または情報を仮想的に表示するための任意の他の形式を含み得る。本開示と一致して、仮想コンテンツは、コンピュータまたは処理デバイスによってレンダリングされる任意の視覚的提示を含み得る。一実施形態では、仮想コンテンツは、限定された領域内のコンピュータによってレンダリングされ、特定の種類のオブジェクト(非アニメーションの仮想オブジェクト、アニメーションの仮想オブジェクト、仮想備品、仮想装飾オブジェクト、仮想ウィジェット、または他の仮想表現など)を表すように構成された視覚的提示である仮想オブジェクトを含み得る。レンダリングされた視覚的提示は、例えば、物理オブジェクトの外観の変化を模倣するように、ステータスオブジェクトに対する変更またはオブジェクトの視野角の変更を反映するように変更することができる。別の実施形態では、仮想コンテンツは、オペレーティングシステムによって生成される情報を表示するように構成される、仮想コンピュータ画面、仮想タブレット画面、または仮想スマートフォン画面などの仮想ディスプレイ(本明細書では「仮想ディスプレイ画面」または「仮想画面」とも称される)を含むことができ、オペレーティングシステムは、物理キーボードおよび/または仮想キーボードからテキストデータを受信し、仮想ディスプレイ画面内にテキストコンテンツを表示させるように構成され得る。図1に示す一例では、仮想コンテンツは、仮想コンピュータ画面および複数の仮想オブジェクトを含む、仮想環境を含み得る。いくつかの例では、仮想ディスプレイは、物理的ディスプレイ画面の機能を模倣および/または拡張する仮想オブジェクトであり得る。例えば、仮想ディスプレイは、エクステンデッドリアリティ機器を使用して、エクステンデッドリアリティ環境(複合現実環境、拡張現実環境、仮想現実環境など)内に提示され得る。一例では、仮想ディスプレイは、物理的ディスプレイ画面に等しく提示され得る通常のオペレーティングシステムによって生成されたコンテンツを提示し得る。一例では、キーボードを使用して(例えば、物理キーボードを使用して、仮想キーボードを使用してなど)入力されたテキストコンテンツは、テキストコンテンツがタイプされるときにリアルタイムで仮想ディスプレイ上に提示され得る。一例では、仮想カーソルが仮想ディスプレイ上に提示され得、仮想カーソルは、(物理ポインティングデバイス、仮想ポインティングデバイス、コンピュータマウス、ジョイスティック、タッチパッド、物理タッチコントローラなどの)ポインティングデバイスによって制御され得る。一例では、グラフィカルユーザインターフェースオペレーティングシステムの1つまたは複数のウィンドウが、仮想ディスプレイ上に提示され得る。別の例では、仮想ディスプレイ上に提示されるコンテンツは、対話型であってもよく、すなわち、ユーザのアクションに反応して変化してもよい。さらに別の例では、仮想ディスプレイの提示は、画面フレームの提示を含んでもよく、または画面フレームの提示を含まなくてもよい。
いくつかの開示される実施形態は、データ構造またはデータベースを含み、かつ/またはそれにアクセスし得る。本開示と一致するデータ構造およびデータベースという用語は、データ値の任意の集合およびそれらの間の関係を含み得る。データは、線形に、水平に、階層的に、関係的に、非関係的に、単次元的に、多次元的に、動作的に、順序付けられた様式で、順序付けられていない様式で、オブジェクト指向様式で、集中化様式で、非集中化様式で、分散化様式で、カスタム様式で、またはデータアクセスを可能にする任意の様式で記憶され得る。非限定的な例として、データ構造は、配列、連想配列、リンクリスト、二分木、平衡木、ヒープ、スタック、キュー、セット、ハッシュテーブル、レコード、タグ付き共用体、エンティティ関係モデル、グラフ、ハイパーグラフ、行列、テンソルなどを含み得る。例えば、データ構造は、例えば、MongoDB、Redis、Couchbase、Datastax Enterprise Graph、Elastic Search、Splunk、Solr、Cassandra、Amazon DynamoDB、Scylla、HBase、およびNeo4Jなどのデータ記憶/検索のためのXMLデータベース、RDBMSデータベース、SQLデータベース、またはNoSQL代替を含み得る。データ構造は、開示されるシステムの構成要素またはリモートコンピューティング構成要素(例えば、クラウドベースのデータ構造)であってもよい。データ構造内のデータは、連続または非連続メモリに記憶されてもよい。さらに、データ構造は、情報が同じ場所に配置されることを必要としない。それは、例えば、同じまたは異なるエンティティによって所有または運用され得る、複数のサーバにわたって分散され得る。したがって、単数形でのデータ構造という用語は、複数のデータ構造を含む。
いくつかの実施形態では、本システムは、受信された入力または任意の決定された値における信頼レベルを決定することができる。信頼レベルという用語は、システムが決定されたデータにおいて有する信頼の量を示すレベル(例えば、所定の範囲内の)の任意のインジケーション、数値、またはその他を指す。例えば、信頼レベルは、1~10の値を有し得る。あるいは、信頼レベルは、百分率または任意の他の数値もしくは非数値インジケーションとして表されてもよい。場合によっては、本システムは、信頼レベルを閾値と比較してもよい。閾値という用語は、基準値、レベル、点、または値の範囲を示し得る。動作中、決定されたデータの信頼レベルが閾値を超える(または、特定の使用事例に応じて、それを下回る)とき、本システムは、第1の行動方針に従うことができ、信頼レベルがそれを下回る(または、特定の使用事例に応じて、それを上回る)とき、本システムは、第2の行動方針に従うことができる。閾値の値は、検査されるオブジェクトの種類ごとに予め決定され得るか、または種々の考慮事項に基づいて動的に選択され得る。
システム概要
ここで図1を参照すると、本開示の様々な実施形態と一致する例示的なエクステンデッドリアリティシステムを使用するユーザが示されている。図1は、単なる一実施形態の例示的な表現であり、本開示の範囲内で、いくつかの図示された要素が省略され、他の要素が追加され得ることを理解されたい。図示のように、ユーザ100は、キーボード104およびマウス106を支持するテーブル102の後ろに座っている。キーボード104は、ワイヤ108によって、仮想コンテンツをユーザ100に表示するウェアラブルエクステンデッドリアリティ機器110に接続されている。ワイヤ108の代替として、またはそれに加えて、キーボード104は、ウェアラブルエクステンデッドリアリティ機器110に無線で接続してもよい。説明のために、ウェアラブルエクステンデッドリアリティ機器は、一対のスマートグラスとして示されているが、上述したように、ウェアラブルエクステンデッドリアリティ機器110は、エクステンデッドリアリティをユーザ100に提示するために使用される任意の種類のヘッドマウントデバイスであってもよい。ウェアラブルエクステンデッドリアリティ機器110によって表示される仮想コンテンツは、仮想画面112(本明細書では「仮想ディスプレイ画面」または「仮想ディスプレイ」とも称される)と、複数の仮想ウィジェット114とを含む。仮想ウィジェット114A~114Dは仮想画面112の隣に表示され、仮想ウィジェット114Eはテーブル102上に表示される。ユーザ100は、キーボード104を使用して仮想画面112に表示されたドキュメント116にテキストを入力することができ、マウス106を使用して仮想カーソル118を制御することができる。一例では、仮想カーソル118は、仮想画面112内の任意の場所に移動することができる。別の例では、仮想カーソル118は、仮想画面112内の任意の場所に移動することができ、仮想ウィジェット114A~114Dのうちのいずれか1つに移動することもできるが、仮想ウィジェット114Eに移動することはできない。さらに別の例では、仮想カーソル118は、仮想画面112内の任意の場所に移動することができ、仮想ウィジェット114A~114Eのうちのいずれか1つに移動することもできる。追加の例では、仮想カーソル118は、仮想画面112および仮想ウィジェット114A~114Eを含むエクステンデッドリアリティ環境内の任意の場所に移動することができる。さらに別の例では、仮想カーソルは、すべての利用可能な表面(すなわち、仮想表面または物理的表面)上、またはエクステンデッドリアリティ環境内の選択された表面上のみを移動することができる。代替として、または加えて、ユーザ100は、ウェアラブルエクステンデッドリアリティ機器110によって認識される手のジェスチャを使用して、仮想ウィジェット114A~114Eのうちのいずれか1つと、または選択された仮想ウィジェットと対話することができる。例えば、仮想ウィジェット114Eは、手のジェスチャで操作され得る対話型ウィジェット(例えば、仮想スライダコントローラ)であってもよい。
ここで図1を参照すると、本開示の様々な実施形態と一致する例示的なエクステンデッドリアリティシステムを使用するユーザが示されている。図1は、単なる一実施形態の例示的な表現であり、本開示の範囲内で、いくつかの図示された要素が省略され、他の要素が追加され得ることを理解されたい。図示のように、ユーザ100は、キーボード104およびマウス106を支持するテーブル102の後ろに座っている。キーボード104は、ワイヤ108によって、仮想コンテンツをユーザ100に表示するウェアラブルエクステンデッドリアリティ機器110に接続されている。ワイヤ108の代替として、またはそれに加えて、キーボード104は、ウェアラブルエクステンデッドリアリティ機器110に無線で接続してもよい。説明のために、ウェアラブルエクステンデッドリアリティ機器は、一対のスマートグラスとして示されているが、上述したように、ウェアラブルエクステンデッドリアリティ機器110は、エクステンデッドリアリティをユーザ100に提示するために使用される任意の種類のヘッドマウントデバイスであってもよい。ウェアラブルエクステンデッドリアリティ機器110によって表示される仮想コンテンツは、仮想画面112(本明細書では「仮想ディスプレイ画面」または「仮想ディスプレイ」とも称される)と、複数の仮想ウィジェット114とを含む。仮想ウィジェット114A~114Dは仮想画面112の隣に表示され、仮想ウィジェット114Eはテーブル102上に表示される。ユーザ100は、キーボード104を使用して仮想画面112に表示されたドキュメント116にテキストを入力することができ、マウス106を使用して仮想カーソル118を制御することができる。一例では、仮想カーソル118は、仮想画面112内の任意の場所に移動することができる。別の例では、仮想カーソル118は、仮想画面112内の任意の場所に移動することができ、仮想ウィジェット114A~114Dのうちのいずれか1つに移動することもできるが、仮想ウィジェット114Eに移動することはできない。さらに別の例では、仮想カーソル118は、仮想画面112内の任意の場所に移動することができ、仮想ウィジェット114A~114Eのうちのいずれか1つに移動することもできる。追加の例では、仮想カーソル118は、仮想画面112および仮想ウィジェット114A~114Eを含むエクステンデッドリアリティ環境内の任意の場所に移動することができる。さらに別の例では、仮想カーソルは、すべての利用可能な表面(すなわち、仮想表面または物理的表面)上、またはエクステンデッドリアリティ環境内の選択された表面上のみを移動することができる。代替として、または加えて、ユーザ100は、ウェアラブルエクステンデッドリアリティ機器110によって認識される手のジェスチャを使用して、仮想ウィジェット114A~114Eのうちのいずれか1つと、または選択された仮想ウィジェットと対話することができる。例えば、仮想ウィジェット114Eは、手のジェスチャで操作され得る対話型ウィジェット(例えば、仮想スライダコントローラ)であってもよい。
図2は、ユーザ100などのユーザにエクステンデッドリアリティ(XR)体験を提供するシステム200の例を示す。図2は、単なる一実施形態の例示的な表現であり、本開示の範囲内で、いくつかの図示された要素が省略され、他の要素が追加され得ることを理解されたい。システム200は、コンピュータベースであってもよく、コンピュータシステム構成要素、ウェアラブル機器、ワークステーション、タブレット、ハンドヘルドコンピューティングデバイス、メモリデバイス、および/またはこの構成要素を接続する内部ネットワークを含んでもよい。システム200は、システム200によって提供されるサービスをサポートするための様々なネットワークコンピューティングリソース(例えば、サーバ、ルータ、スイッチ、ネットワーク接続、記憶デバイスなど)を含むか、またはそれに接続されてもよい。本開示と一致して、システム200は、入力ユニット202、XRユニット204、モバイル通信デバイス206、およびリモート処理ユニット208を含むことができる。リモート処理ユニット208は、データ構造212などの1つまたは複数の物理または仮想記憶デバイスに結合されたサーバ210を含むことができる。システム200はまた、種々のシステム構成要素とシステム200に関連付けられた種々のエンティティとの間の通信およびデータ交換を容易にする通信ネットワーク214を含むか、またはそれに接続されてもよい。
本開示と一致して、入力ユニット202は、ユーザ100からの入力を受信し得る1つまたは複数のデバイスを含むことができる。一実施形態では、入力ユニット202は、キーボード104などのテキスト入力デバイスを含むことができる。テキスト入力デバイスは、システム200にテキスト情報を入力するためのすべての可能な種類のデバイスおよび機構を含むことができる。テキスト入力デバイスの例としては、メカニカル式キーボード、メンブレン式キーボード、フレキシブルキーボード、QWERTYキーボード、Dvorakキーボード、Colemakキーボード、コード付きキーボード、ワイヤレスキーボード、キーパッド、キーベースのコントロールパネル、もしくはコントロールキーの他の配列、視覚入力デバイス、または任意の他の機構であって、この機構が物理的形態で提供されるか、もしくは仮想的に提示されるかにかかわらずテキストを入力するための機構が挙げられ得る。一実施形態では、入力ユニット202は、マウス106などのポインティング入力デバイスを含むこともできる。ポインティング入力デバイスは、システム200に2次元または3次元情報を入力するためのすべての可能な種類のデバイスおよび機構を含むことができる。一例では、ポインティング入力デバイスからの2次元入力は、XRユニット204を介して提示される仮想コンテンツと対話するために使用され得る。ポインティング入力デバイスの例としては、コンピュータマウス、トラックボール、タッチパッド、トラックパッド、タッチスクリーン、ジョイスティック、ポインティングスティック、スタイラス、ライトペン、または任意の他の物理的もしくは仮想入力機構が挙げられ得る。一実施形態では、入力ユニット202は、接触、移動、または移動の中断を検出するように構成されたタッチスクリーンなどのグラフィカル入力デバイスを含むこともできる。グラフィカル入力デバイスは、容量性、抵抗性、赤外線、および表面弾性波技術、ならびに1つまたは複数の接触点を決定するための他の近接センサアレイまたは他の要素を含むがこれらに限定されない、複数のタッチ感度技術のうちのいずれかを使用し得る。一実施形態では、入力ユニット202は、マイクロホンなどの1つまたは複数の音声入力デバイスを含むこともできる。音声入力デバイスは、音声認識、音声複製、デジタル録音、および電話機能などの音声対応機能を容易にするために音声データを入力するためのすべての可能な種類のデバイスおよび機構を含むことができる。一実施形態では、入力ユニット202はまた、画像データをキャプチャするように構成された、画像センサなどの1つまたは複数の画像入力デバイスを含むことができる。一実施形態では、入力ユニット202はまた、手の動きおよび姿勢データをキャプチャするように構成された1つまたは複数の触覚グローブを含むことができる。一実施形態では、入力ユニット202はまた、センサの近くの選択された領域内のオブジェクトの存在および/または動きを検出するように構成された1つまたは複数の近接センサを含むことができる。
いくつかの実施形態によれば、本システムは、ユーザ、ユーザのアクション、またはユーザの環境に関連付けられた特性を検出および/または測定するように構成された少なくとも1つのセンサを含むことができる。少なくとも1つのセンサの一例は、入力ユニット202に含まれるセンサ216である。センサ216は、動きセンサ、タッチセンサ、光センサ、赤外線センサ、オーディオセンサ、画像センサ、近接センサ、位置決めセンサ、ジャイロスコープ、温度センサ、生体センサ、または関連する機能を容易にするための任意の他の感知デバイスであってもよい。センサ216は、入力デバイスと一体化または接続されてもよく、または入力デバイスから分離されてもよい。一例では、ユーザ100の体温を測定するために、温度計がマウス106に含まれてもよい。別の例では、キーボード104に対するユーザ100の動きを決定するために、位置決めセンサがキーボード104と一体化されてもよい。このような位置決めセンサは、以下の技術、全地球測位システム(GPS)、全地球航法衛星システム(GLONASS)、ガリレオ全地球航法システム、北斗航法システム、他の全地球航法衛星システム(GNSS)、インド地域航法衛星システム(IRNSS)、ローカル測位システム(LPS)、リアルタイムロケーションシステム(RTLS)、屋内測位システム(IPS)、Wi-Fiベース測位システム、セルラー三角測量、画像ベース測位技術、屋内測位技術、屋外測位技術、または任意の他の測位技術のうちの1つを使用して実装され得る。
いくつかの実施形態によれば、本システムは、物理デバイス(物理入力デバイス、物理コンピューティングデバイス、キーボード104、マウス106、ウェアラブルエクステンデッドリアリティ機器110など)の位置および/または動きを識別するための1つまたは複数のセンサを含むことができる。1つまたは複数のセンサは、物理デバイスに含まれてもよく、または物理デバイスの外部にあってもよい。いくつかの例では、物理デバイスの外部の画像センサ(例えば、別の物理デバイスに含まれる画像センサ)が、物理デバイスの画像データをキャプチャするために使用され得、画像データは、物理デバイスの位置および/または動きを識別するために分析され得る。例えば、画像データは、物理デバイスの移動を識別するために視覚オブジェクト追跡アルゴリズムを使用して分析され得、物理デバイスの位置(例えば、画像センサに対する位置、グローバル座標系における位置など)を識別するために視覚オブジェクト検出アルゴリズムを使用して分析され得る、などである。いくつかの例では、物理デバイスに含まれる画像センサは、画像データをキャプチャするために使用され得、画像データは、物理デバイスの位置および/または動きを識別するために分析され得る。例えば、画像データは、物理デバイスの位置を識別するための視覚オドメトリアルゴリズムを使用して分析され得、物理デバイスの移動を識別するためのエゴモーションアルゴリズムを使用して分析され得る、などである。いくつかの例では、屋内位置決めセンサまたは屋外位置決めセンサなどの位置決めセンサが物理デバイスに含まれ得、物理デバイスの位置を決定するために使用され得る。いくつかの例では、加速度計またはジャイロスコープなどの動きセンサが物理デバイスに含まれ得、物理デバイスの移動を決定するために使用され得る。いくつかの例では、キーボードまたはマウスなどの物理デバイスは、物理的表面に位置決めされるように構成され得る。このような物理デバイスは、物理的表面に向けられた(非機械的追跡エンジンとしても知られる)光学マウスセンサを含むことができ、光学マウスセンサの出力は、物理的表面に対する物理デバイスの移動を決定するために分析され得る。
本開示と一致して、XRユニット204は、仮想コンテンツをユーザ100に提示するように構成されたウェアラブルエクステンデッドリアリティ機器を含み得る。ウェアラブルエクステンデッドリアリティ機器の一例は、ウェアラブルエクステンデッドリアリティ機器110である。ウェアラブルエクステンデッドリアリティ機器の追加の例としては、仮想現実(VR)デバイス、拡張現実(AR)デバイス、複合現実(MR)デバイス、またはエクステンデッドリアリティコンテンツを生成することができる任意の他のデバイスが挙げられ得る。このようなデバイスのいくつかの非限定的な例としては、Nreal Light、Magic Leap One、Varjo、Quest 1/2、Viveなどが挙げられ得る。いくつかの実施形態では、XRユニット204は、仮想コンテンツをユーザ100に提示することができる。一般に、エクステンデッドリアリティ機器は、コンピュータ技術およびウェアラブルによって生成されるすべての現実と仮想の複合環境および人間と機械の対話を含み得る。上述したように、「エクステンデッドリアリティ」(XR)という用語は、「完全な現実」から「完全な仮想」までのすべての領域を含む上位集合を指す。これは、拡張現実(AR)、複合現実(MR)、仮想現実(VR)などの代表的な形態と、これらの間を補間した領域を含む。したがって、「XR機器」、「AR機器」、「VR機器」、および「MR機器」という用語は、本明細書では互換的に使用され得、上記に列挙した様々な機器の任意のデバイスを指し得ることに留意されたい。
本開示と一致して、本システムは、ユーザに関連付けられた様々な通信デバイス、例えば、モバイル通信デバイス206とデータを交換することができる。「通信デバイス」という用語は、デジタル通信ネットワーク、アナログ通信ネットワーク、またはデータを伝達するように構成された任意の他の通信ネットワークを使用してデータを交換することができるすべての可能な種類のデバイスを含むことを意図している。いくつかの例では、通信デバイスは、スマートフォン、タブレット、スマートウォッチ、携帯情報端末、デスクトップコンピュータ、ラップトップコンピュータ、IoTデバイス、専用端末、ウェアラブル通信デバイス、およびデータ通信を可能にする任意の他のデバイスを含み得る。場合によっては、モバイル通信デバイス206は、入力ユニット202を補完するか、またはそれを置き換えることができる。具体的には、モバイル通信デバイス206は、ポインティング入力デバイスとして機能し得る物理タッチコントローラに関連付けられ得る。さらに、モバイル通信デバイス206はまた、例えば、仮想キーボードを実装し、テキスト入力デバイスを置き換えるために使用され得る。例えば、ユーザ100がテーブル102から離れ、スマートグラスを持って休憩室に歩いた場合、このユーザは、迅速な回答を必要とする電子メールを受信することができる。この場合、このユーザは、自身のスマートウォッチを入力デバイスとして使用することと、スマートグラスによって電子メールが仮想的に提示されている間に電子メールに対する回答をタイプすることとを選択することができる。
本開示と一致して、本システムの実施形態は、クラウドサーバの使用を含み得る。「クラウドサーバ」という用語は、インターネットなどのネットワークを介してサービスを提供するコンピュータプラットフォームを指す。図2に示す例示的な実施形態では、サーバ210は、個々のハードウェアに対応しなくてもよい仮想マシンを使用することができる。例えば、計算および/または記憶能力は、データセンタまたは分散コンピューティング環境などのスケーラブルなリポジトリから所望の計算/記憶能力の適切な部分を割り当てることによって実装され得る。具体的には、一実施形態では、リモート処理ユニット208は、仮想コンテンツをユーザ100に提供するために、XRユニット204とともに使用され得る。1つの例示的な構成では、サーバ210は、ウェアラブルエクステンデッドリアリティ機器のオペレーティングシステム(OS)として機能するクラウドサーバであり得る。一例では、サーバ210は、カスタマイズされたハードワイヤードロジック、1つまたは複数の特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ファームウェア、および/またはコンピュータシステムと組み合わせてサーバ210を専用マシンにするプログラムロジックを使用して、本明細書で説明する方法を実施することができる。
いくつかの実施形態では、サーバ210は、データ構造212にアクセスして、例えば、ユーザ100を表示する仮想コンテンツを決定することができる。データ構造212は、揮発性または不揮発性、磁気、半導体、テープ、光学、取り外し可能、取り外し不可能、他の種類の記憶デバイスまたは有形もしくは非一時的コンピュータ可読媒体、あるいは情報を記憶するための任意の媒体または機構を利用することができる。データ構造212は、図示のように、サーバ210の一部であってもよく、またはサーバ210とは別個であってもよい。データ構造212がサーバ210の一部でない場合、サーバ210は、通信リンクを介してデータ構造212とデータを交換することができる。データ構造212は、開示される方法の1つまたは複数の特徴を実行するために使用されるデータおよび命令を記憶する1つまたは複数のメモリデバイスを含み得る。一実施形態では、データ構造212は、ワークステーション上でホストされる小さいデータ構造からデータセンタ間で分散される大きいデータ構造に及ぶ、複数の好適なデータ構造のうちのいずれかを含み得る。データ構造212はまた、メモリコントローラデバイス(例えば、サーバ)またはソフトウェアによって制御される1つまたは複数のデータ構造の任意の組み合わせを含み得る。
本開示と一致して、通信ネットワークは、通信をサポートし、情報を交換し、かつ/またはシステムの構成要素間の情報の交換を容易にする任意の種類のネットワーク(インフラストラクチャを含む)であってもよい。例えば、システム200内の通信ネットワーク214は、例えば、電話ネットワーク、エクストラネット、イントラネット、インターネット、衛星通信、オフライン通信、無線通信、トランスポンダ通信、ローカルエリアネットワーク(LAN)、無線ネットワーク(例えば、Wi-Fi/302.11ネットワーク)、広域通信網(WAN)、バーチャルプライベートネットワーク(VPN)、デジタル通信ネットワーク、アナログ通信ネットワーク、またはデータ伝送を可能にする任意の他の機構もしくは機構の組み合わせを含み得る。
図2に示すシステム200の構成要素および配置は、開示されるプロセスおよび特徴を実装するために使用されるシステム構成要素が変動し得るため、例示的であることのみを意図し、いかなる実施形態も限定することを意図しない。
図3は、入力ユニット202の例示的な構成のブロック図である。図3は、単なる一実施形態の例示的な表現であり、本開示の範囲内で、いくつかの図示された要素が省略され、他の要素が追加され得ることを理解されたい。図3の実施形態では、入力ユニット202は、入力ユニット202内で情報を転送するためのサブシステムおよび構成要素を相互接続するバス300(または他の通信機構)に直接または間接的にアクセスすることができる。例えば、バス300は、メモリインターフェース310、ネットワークインターフェース320、入力インターフェース330、電源340、出力インターフェース350、処理デバイス360、センサインターフェース370、およびデータベース380を相互接続することができる。
図3に示すメモリインターフェース310は、非一時的コンピュータ可読媒体に記憶されたソフトウェア製品および/またはデータにアクセスするために使用され得る。一般に、非一時的コンピュータ可読記憶媒体は、少なくとも1つのプロセッサによって読み取り可能な情報またはデータを記憶することができる任意の種類の物理メモリを指す。例としては、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、揮発性メモリ、不揮発性メモリ、ハードドライブ、CD ROM、DVD、フラッシュドライブ、ディスク、任意の他の光データ記憶媒体、穴のパターンを有する任意の物理媒体、PROM、EPROM、フラッシュEPROMまたは任意の他のフラッシュメモリ、NVRAM、キャッシュ、レジスタ、任意の他のメモリチップまたはカートリッジ、およびこれらのネットワーク化されたバージョンが挙げられる。「メモリ」および「コンピュータ可読記憶媒体」という用語は、入力ユニット内または遠隔場所に配置された複数のメモリまたはコンピュータ可読記憶媒体など、複数の構造を指すことができる。加えて、1つまたは複数のコンピュータ可読記憶媒体は、コンピュータ実装方法を実施する際に利用することができる。したがって、コンピュータ可読記憶媒体という用語は、有形のアイテムを含み、搬送波および過渡信号を除外するものと理解されるべきである。図3に示す特定の実施形態では、メモリインターフェース310は、メモリデバイス311などのメモリデバイスに記憶されたソフトウェア製品および/またはデータにアクセスするために使用され得る。メモリデバイス311は、高速ランダムアクセスメモリおよび/または不揮発性メモリ、例えば、1つまたは複数の磁気ディスク記憶デバイス、1つまたは複数の光記憶デバイス、および/またはフラッシュメモリ(例えば、NAND、NOR)を含むことができる。本開示と一致して、メモリデバイス311の構成要素は、システム200の2つ以上のユニットおよび/または2つ以上のメモリデバイスに分散され得る。
図3に示すメモリデバイス311は、本開示と一致するプロセスを実行するためのソフトウェアモジュールを含み得る。特に、メモリデバイス311は、入力決定モジュール312、出力決定モジュール313、センサ通信モジュール314、仮想コンテンツ決定モジュール315、仮想コンテンツ通信モジュール316、およびデータベースアクセスモジュール317を含み得る。モジュール312~317は、入力ユニット202に関連付けられた少なくとも1つのプロセッサ(例えば、処理デバイス360)による実行のためのソフトウェア命令を含み得る。入力決定モジュール312、出力決定モジュール313、センサ通信モジュール314、仮想コンテンツ決定モジュール315、仮想コンテンツ通信モジュール316、およびデータベースアクセスモジュール317は、様々な動作を実行するために協働し得る。例えば、入力決定モジュール312は、例えばキーボード104から受信したデータを使用してテキストを決定することができる。その後、出力決定モジュール313は、最近入力されたテキストを、例えば、キーボード104に物理的にまたは無線で結合された専用ディスプレイ352上に提示させることができる。このように、ユーザ100がタイプするとき、仮想画面112を見るために絶えず頭部を上下に動かすことなく、タイプされたテキストのプレビューを見ることができる。センサ通信モジュール314は、ユーザ100のステータスを決定するために、種々のセンサからデータを受信することができる。その後、仮想コンテンツ決定モジュール315は、受信された入力およびユーザ100の決定されたステータスに基づいて、表示する仮想コンテンツを決定することができる。例えば、決定された仮想コンテンツは、キーボード104に隣接して仮想的に配置された仮想画面上の最近入力されたテキストの仮想提示であってもよい。仮想コンテンツ通信モジュール316は、仮想コンテンツ決定モジュール315によって決定されない仮想コンテンツ(例えば、別のユーザのアバター)を取得することができる。仮想コンテンツの検索は、データベース380から、リモート処理ユニット208から、または任意の他のソースからであってもよい。
いくつかの実施形態では、入力決定モジュール312は、ポインタ入力331、テキスト入力332、オーディオ入力333、およびXR関連入力334を受信するために、入力インターフェース330の動作を調整することができる。ポインタ入力、テキスト入力、およびオーディオ入力についての詳細は上述されている。「XR関連入力」という用語は、ユーザ100に表示される仮想コンテンツの変化を生じさせ得る任意の種類のデータを含み得る。一実施形態では、XR関連入力334は、ユーザ100の画像データ、ウェアラブルエクステンデッドリアリティ機器(例えば、検出されたユーザ100の手のジェスチャ)を含み得る。別の実施形態では、XR関連入力334は、ユーザ100に近接した別のユーザの存在を示す無線通信を含み得る。本開示と一致して、入力決定モジュール312は、異なる種類の入力データを同時に受信することができる。その後、入力決定モジュール312は、検出された入力の種類に基づいて種々のルールをさらに適用することができる。例えば、ポインタ入力が音声入力よりも優先されてもよい。
いくつかの実施形態では、出力決定モジュール313は、光インジケータ351、ディスプレイ352、および/またはスピーカ353を使用して出力を生成するために、出力インターフェース350の動作を調整することができる。一般に、出力決定モジュール313によって生成される出力は、ウェアラブルエクステンデッドリアリティ機器によって提示される仮想コンテンツを含まない。代わりに、出力決定モジュール313によって生成される出力は、入力ユニット202の動作および/またはXRユニット204の動作に関連する様々な出力を含む。一実施形態では、光インジケータ351は、ウェアラブルエクステンデッドリアリティ機器のステータスを示す光インジケータを含み得る。例えば、光インジケータは、ウェアラブルエクステンデッドリアリティ機器110がキーボード104に接続されているときは緑色の光を表示し、ウェアラブルエクステンデッドリアリティ機器110のバッテリが少ないときは点滅してもよい。別の実施形態では、ディスプレイ352は、動作情報を表示するために使用され得る。例えば、ディスプレイは、ウェアラブルエクステンデッドリアリティ機器が動作不能であるときにエラーメッセージを提示してもよい。別の実施形態では、スピーカ353は、例えば、ユーザ100が他のユーザのために何らかの音楽を再生することを望むとき、音声を出力するために使用され得る。
いくつかの実施形態では、センサ通信モジュール314は、入力デバイスと一体化された、または入力デバイスに接続された1つまたは複数のセンサからセンサデータを受信するために、センサインターフェース370の動作を調整することができる。1つまたは複数のセンサは、オーディオセンサ371、画像センサ372、動きセンサ373、環境センサ374(例えば、温度センサ、周囲光検出器など)、および他のセンサ375を含み得る。一実施形態では、センサ通信モジュール314から受信されたデータは、入力デバイスの物理的向きを決定するために使用され得る。入力デバイスの物理的向きは、ユーザの状態を示すことができ、傾きの動き、ロールの動き、および横方向の動きの組み合わせに基づいて決定することができる。その後、入力デバイスの物理的向きは、仮想コンテンツ決定モジュール315によって使用され、ユーザの状態(例えば、注意、眠い、活動的、座っている、立っている、後方にもたれている、前方にもたれている、歩いている、移動している、乗っているなど)に一致するように仮想コンテンツの表示パラメータを修正することができる。
いくつかの実施形態では、仮想コンテンツ決定モジュール315は、ウェアラブルエクステンデッドリアリティ機器によって表示されるべき仮想コンテンツを決定することができる。仮想コンテンツは、入力決定モジュール312、センサ通信モジュール314、および他のソース(例えば、データベース380)からのデータに基づいて決定され得る。いくつかの実施形態では、仮想コンテンツを決定することは、仮想オブジェクトの距離、サイズ、および向きを決定することを含み得る。仮想オブジェクトの位置の決定は、仮想オブジェクトの種類に基づいて決定され得る。具体的には、図1に示す例に関して、仮想コンテンツ決定モジュール315は、仮想ウィジェット114Eが仮想コントローラ(例えば、音量バー)であるため、4つの仮想ウィジェット114A~114Dを仮想画面112の両側に配置し、仮想ウィジェット114Eをテーブル102上に配置すると決定することができる。仮想オブジェクトの位置の決定は、ユーザの選好に基づいてさらに決定され得る。例えば、左利きのユーザの場合、仮想コンテンツ決定モジュール315は、キーボード104の左に仮想音量バーを配置すると決定することができ、右利きのユーザの場合、仮想コンテンツ決定モジュール315は、キーボード104の右に仮想音量バーを配置すると決定することができる。
いくつかの実施形態では、仮想コンテンツ通信モジュール316は、ユーザ100に仮想コンテンツとして提示されるデータを1つまたは複数のソースから取得するために、ネットワークインターフェース320の動作を調整することができる。1つまたは複数のソースは、他のXRユニット204、ユーザのモバイル通信デバイス206、リモート処理ユニット208、公的に利用可能な情報などを含み得る。一実施形態では、仮想コンテンツ通信モジュール316は、モバイル通信デバイス206の仮想表現を提供するために、モバイル通信デバイス206と通信することができる。例えば、仮想表現は、ユーザ100がメッセージを読み、モバイル通信デバイス206にインストールされたアプリケーションと対話することを可能にし得る。仮想コンテンツ通信モジュール316は、仮想コンテンツを他のユーザと共有するために、ネットワークインターフェース320の動作を調整することもできる。一例では、仮想コンテンツ通信モジュール316は、入力決定モジュールからのデータを使用して、トリガ(例えば、トリガはユーザのジェスチャを含み得る)を識別し、仮想ディスプレイから物理的ディスプレイ(例えば、テレビ)にまたは異なるユーザの仮想ディスプレイにコンテンツを転送することができる。
いくつかの実施形態では、データベースアクセスモジュール317は、記憶されたデータを検索するためにデータベース380と協働することができる。検索されたデータは、例えば、種々の仮想オブジェクトに関連付けられたプライバシーレベル、仮想オブジェクトと物理オブジェクトとの間の関係、ユーザの選好、ユーザの過去の挙動などを含み得る。上述したように、仮想コンテンツ決定モジュール315は、データベース380に記憶されたデータを使用して仮想コンテンツを決定することができる。データベース380は、例えば、ベクトルデータベース、ラスタデータベース、タイルデータベース、ビューポートデータベース、および/またはユーザ入力データベースを含む、別個のデータベースを含み得る。データベース380に記憶されたデータは、モジュール314~317またはシステム200の他の構成要素から受信され得る。さらに、データベース380に記憶されたデータは、データ入力、データ転送、またはデータアップロードを使用して入力として提供され得る。
モジュール312~317は、ソフトウェア、ハードウェア、ファームウェア、これらのうちのいずれかの混合などで実装され得る。いくつかの実施形態では、モジュール312~317のうちの任意の1つまたは複数およびデータベース380に関連付けられたデータは、XRユニット204、モバイル通信デバイス206、またはリモート処理ユニット208に記憶され得る。システム200の処理デバイスは、モジュール312~317の命令を実行するように構成され得る。いくつかの実施形態では、モジュール312~317の態様は、単独で、または互いとの様々な組み合わせで、1つまたは複数のプロセッサによって実行可能な、ハードウェアで、(1つまたは複数の信号処理および/または特定用途向け集積回路を含む)ソフトウェアで、ファームウェアで、またはこれらの任意の組み合わせで実装され得る。具体的には、モジュール312~317は、いくつかの開示される実施形態と一致する機能を実行するために、互いに対話するように、かつ/またはシステム200の他のモジュールと対話するように構成され得る。例えば、入力ユニット202は、XRユニット204からのデータに対して画像処理アルゴリズムを含む命令を実行して、ユーザ100の頭部の動きを決定することができる。さらに、入力ユニット202に関して、または入力ユニット202の構成要素に関して、本明細書の全体にわたって説明される各機能は、前記機能を実行するための命令のセットに対応し得る。これらの命令は、別個のソフトウェアプログラム、プロシージャ、またはモジュールとして実装される必要はない。メモリデバイス311は、追加のモジュールおよび命令、またはより少ないモジュールおよび命令を含み得る。例えば、メモリデバイス311は、ANDROID、iOS、UNIX、OSX、WINDOWS、DARWIN、RTXC、LINUXなどのオペレーティングシステム、またはVXWorkSなどの組み込みオペレーティングシステムを記憶し得る。オペレーティングシステムは、基本システムサービスを処理し、ハードウェア依存タスクを実行するための命令を含むことができる。
図3に示すネットワークインターフェース320は、通信ネットワーク214などのネットワークへの双方向データ通信を提供することができる。一実施形態では、ネットワークインターフェース320は、サービス総合デジタル網(ISDN)カード、セルラーモデム、衛星モデム、またはインターネットを介してデータ通信接続を提供するためのモデムを含み得る。別の例として、ネットワークインターフェース320は、ワイヤレスローカルエリアネットワーク(WLAN)カードを含み得る。別の実施形態では、ネットワークインターフェース320は、高周波受信機および送信機、ならびに/または光(例えば、赤外線)受信機および送信機に接続されたイーサネットポートを含み得る。ネットワークインターフェース320の具体的な設計および実装は、入力ユニット202が動作することが意図される1つまたは複数の通信ネットワークに依存し得る。例えば、いくつかの実施形態では、入力ユニット202は、GSMネットワーク、GPRSネットワーク、EDGEネットワーク、Wi-FiまたはWiMaxネットワーク、およびBluetoothネットワーク上で動作するように設計されたネットワークインターフェース320を含み得る。任意のこのような実装形態では、ネットワークインターフェース320は、様々な種類の情報を表すデジタルデータストリームまたはデジタル信号を搬送する電気信号、電磁信号、または光信号を送信および受信するように構成され得る。
図3に示す入力インターフェース330は、様々な入力デバイス、例えば、キーボード、マウス、タッチパッド、タッチスクリーン、1つまたは複数のボタン、ジョイスティック、マイクロホン、画像センサ、および物理的または仮想入力を検出するように構成された任意の他のデバイスから入力を受信することができる。受信された入力は、テキスト、音、音声、手のジェスチャ、体のジェスチャ、触覚情報、およびユーザによって生成された任意の他の種類の物理的または仮想的な入力のうちの少なくとも1つの形態であり得る。図示の実施形態では、入力インターフェース330は、ポインタ入力331、テキスト入力332、オーディオ入力333、およびXR関連入力334を受信することができる。追加の実施形態では、入力インターフェース330は、処理デバイス360と上記に列挙した入力デバイスのうちのいずれかとの間のブリッジとしての機能し得る集積回路であってもよい。
図3に示す電源340は、入力ユニット202に電気エネルギーを供給し、任意選択でXRユニット204にも電力を供給することができる。一般に、本開示における任意のデバイスまたはシステムに含まれる電源は、1つもしくは複数のバッテリ(例えば、鉛酸バッテリ、リチウムイオンバッテリ、ニッケル水素バッテリ、ニッケルカドミウムバッテリ)、1つもしくは複数のコンデンサ、外部電源への1つもしくは複数の接続、1つもしくは複数の電力変換器、またはこれらの任意の組み合わせを含むが、これらに限定されない、電力を繰り返し貯蔵、分配、または伝達し得る任意のデバイスであってもよい。図3に示す例を参照すると、電源は可動式であってもよく、これは、入力ユニット202を手で容易に持ち運ぶことができることを意味する(例えば、電源340の総重量は1ポンド未満であってもよい)。電源の可動性により、ユーザ100は様々な状況で入力ユニット202を使用することができる。他の実施形態では、電源340は、電源340を充電するために使用され得る外部電源(電力網など)への接続に関連付けられ得る。加えて、電源340は、XRユニット204に含まれる1つまたは複数のバッテリを充電するように構成され得、例えば、エクステンデッドリアリティグラス(例えば、ウェアラブルエクステンデッドリアリティ機器110)は、このグラスが入力ユニット202上にまたはこの入力ユニットに近接して配置されたとき、(例えば、無線で、または無線ではなく)充電され得る。
図3に示す出力インターフェース350は、例えば、光インジケータ351、ディスプレイ352、および/またはスピーカ353を使用して、様々な出力デバイスから出力させることができる。一実施形態では、出力インターフェース350は、処理デバイス360と上記に列挙した出力デバイスのうちの少なくとも1つとの間のブリッジとして機能し得る集積回路であってもよい。光インジケータ351は、1つまたは複数の光源、例えば、種々の色に関連付けられたLEDアレイを含み得る。ディスプレイ352は、画面(例えば、LCDまたはドットマトリクス画面)またはタッチスクリーンを含み得る。スピーカ353は、オーディオヘッドホン、補聴器型デバイス、スピーカ、骨伝導ヘッドホン、触覚キューを提供するインターフェース、振動触覚刺激器などを含み得る。
図3に示す処理デバイス360は、本開示で説明される実施形態を実行するために、コンピュータプログラム、アプリケーション、方法、プロセス、または他のソフトウェアを実行するように構成された少なくとも1つのプロセッサを含み得る。一般に、本開示における任意のデバイスまたはシステムに含まれる処理デバイスは、1つもしくは複数の集積回路、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央処理ユニット(CPU)のすべてもしくは一部、グラフィックス処理ユニット(GPU)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、または命令を実行するか、もしくは論理演算を実行するのに適した他の回路を含み得る。処理デバイスは、Intel(商標)によって製造されたマイクロプロセッサなどの、開示される方法の機能を実行するように構成された少なくとも1つのプロセッサを含み得る。処理デバイスは、並列プロセスを同時に実行するシングルコアまたはマルチコアプロセッサを含み得る。一例では、処理デバイスは、仮想処理技術を用いて構成されたシングルコアプロセッサであり得る。処理デバイスは、仮想マシン技術または他の技術を実装して、複数のソフトウェアプロセス、アプリケーション、プログラムなどを実行、制御、作動、操作、記憶などをする能力を提供することができる。別の例では、処理デバイスは、処理デバイスに関連付けられたデバイスが複数のプロセスを同時に実行することを可能にするために並列処理機能を提供するように構成されたマルチコアプロセッサ構成(例えば、デュアルコア、クワッドコアなど)を含み得る。本明細書で開示される能力を提供するために、他の種類のプロセッサ構成が実装され得ることを理解されたい。
図3に示すセンサインターフェース370は、様々なセンサ、例えば、オーディオセンサ371、画像センサ372、動きセンサ373、環境センサ374、および他のセンサ375からセンサデータを取得することができる。一実施形態では、センサインターフェース370は、処理デバイス360と上記に列挙したセンサのうちの少なくとも1つとの間のブリッジとして機能し得る集積回路であってもよい。
オーディオセンサ371は、音をデジタル情報に変換することによってオーディオをキャプチャするように構成された1つまたは複数のオーディオセンサを含み得る。オーディオセンサのいくつかの例としては、マイクロホン、単一指向性マイクロホン、双指向性マイクロホン、カージオイドマイクロホン、全指向性マイクロホン、オンボードマイクロホン、ワイヤードマイクロホン、ワイヤレスマイクロホン、または上記の任意の組み合わせが挙げられ得る。本開示と一致して、処理デバイス360は、オーディオセンサ371から受信されたデータ(例えば、音声コマンド)に基づいて仮想コンテンツの提示を修正することができる。
画像センサ372は、光を画像データに変換することによって視覚情報をキャプチャするように構成された1つまたは複数の画像センサを含み得る。本開示と一致して、画像センサは、本開示における任意のデバイスまたはシステムに含まれてもよく、近赤外線、赤外線、可視、および紫外線スペクトルにおける光学信号を検出し、電気信号に変換することができる任意のデバイスであってもよい。画像センサの例としては、デジタルカメラ、電話カメラ、半導体電荷結合素子(CCD)、相補型金属酸化膜半導体(CMOS)におけるアクティブピクセルセンサ、またはN型金属酸化膜半導体(NMOS、ライブMOS)が挙げられ得る。電気信号は、画像データを生成するために使用され得る。本開示と一致して、画像データは、ピクセルデータストリーム、デジタル画像、デジタルビデオストリーム、キャプチャされた画像から得られたデータ、および1つまたは複数の3D画像、3D画像のシーケンス、3Dビデオ、または仮想3D表現を構築するために使用され得るデータを含み得る。画像センサ372によって取得された画像データは、有線または無線伝送によって、システム200の任意の処理デバイスに伝送され得る。例えば、画像データは、オブジェクトを検出するため、イベントを検出するため、アクションを検出するため、顔を検出するため、人々を検出するため、既知の人物を認識するため、またはシステム200によって使用され得る任意の他の情報のために処理され得る。本開示と一致して、処理デバイス360は、画像センサ372から受信された画像データに基づいて、仮想コンテンツの提示を修正することができる。
動きセンサ373は、入力ユニット202の動きまたは入力ユニット202の環境内のオブジェクトの動きを測定するように構成された1つまたは複数の動きセンサを含み得る。具体的には、動きセンサは、入力ユニット202の環境内のオブジェクトの動きを検出すること、入力ユニット202の環境内のオブジェクトの速度を測定すること、入力ユニット202の環境内のオブジェクトの加速度を測定すること、入力ユニット202の動きを検出すること、入力ユニット202の速度を測定すること、入力ユニット202の加速度を測定することなどのうちの少なくとも1つを実行することができる。いくつかの実施形態では、動きセンサ373は、適切な加速度の変化を検出するように、かつ/または入力ユニット202の適切な加速度を測定するように構成された1つまたは複数の加速度計を含み得る。他の実施形態では、動きセンサ373は、入力ユニット202の向きの変化を検出するように、かつ/または入力ユニット202の向きに関する情報を測定するように構成された1つまたは複数のジャイロスコープを含み得る。他の実施形態では、動きセンサ373は、画像センサ、LIDARセンサ、レーダセンサ、または近接センサを使用する1つまたは複数を含み得る。例えば、キャプチャされた画像を分析することによって、処理デバイスは、例えばエゴモーションアルゴリズムを使用して、入力ユニット202の動きを決定することができる。加えて、処理デバイスは、例えば、オブジェクト追跡アルゴリズムを使用して、入力ユニット202の環境内のオブジェクトの動きを決定することができる。本開示と一致して、処理デバイス360は、入力ユニット202の決定された動きまたは入力ユニット202の環境内のオブジェクトの決定された動きに基づいて、仮想コンテンツの提示を修正することができる。例えば、入力ユニット202の動きに仮想ディスプレイを追従させる。
環境センサ374は、入力ユニット202の環境を反映するデータをキャプチャするように構成された異なる種類からの1つまたは複数のセンサを含み得る。いくつかの実施形態では、環境センサ374は、入力ユニット202の環境内の化学的特性を測定すること、入力ユニット202の環境内の化学的特性の変化を測定すること、入力ユニット202の環境内の化学物質の存在を検出すること、入力ユニット202の環境内の化学物質の濃度を測定することのうちの少なくとも1つを実行するように構成された1つまたは複数の化学センサを含むことができる。このような化学的特性の例としては、pHレベル、毒性、および温度が挙げられ得る。このような化学物質の例としては、電解質、特定の酵素、特定のホルモン、特定のタンパク質、煙、二酸化炭素、一酸化炭素、酸素、オゾン、水素、および硫化水素が挙げられ得る。他の実施形態では、環境センサ374は、入力ユニット202の環境の温度の変化を検出するように、かつ/または入力ユニット202の環境の温度を測定するように構成された1つまたは複数の温度センサを含み得る。他の実施形態では、環境センサ374は、入力ユニット202の環境内の大気圧の変化を検出するように、かつ/または入力ユニット202の環境内の大気圧を測定するように構成された1つまたは複数の気圧計を含み得る。他の実施形態では、環境センサ374は、入力ユニット202の環境内の周囲光の変化を検出するように構成された1つまたは複数の光センサを含み得る。本開示と一致して、処理デバイス360は、環境センサ374からの入力に基づいて仮想コンテンツの提示を修正することができる。例えば、ユーザ100の環境が暗くなったときに仮想コンテンツの明るさを自動的に低下させる。
他のセンサ375は、重量センサ、光センサ、抵抗センサ、超音波センサ、近接センサ、生体センサ、または関連する機能を容易にするための他の感知デバイスを含み得る。特定の実施形態では、他のセンサ375は、入力ユニット202の位置決め情報を取得し、入力ユニット202の位置の変化を検出し、かつ/または入力ユニット202の位置を測定するように構成された1つまたは複数の位置決めセンサを含み得る。あるいは、GPSソフトウェアは、入力ユニット202が外部GPS受信機にアクセスする(例えば、シリアルポートまたはBluetoothを介して接続する)ことを可能にし得る。本開示と一致して、処理デバイス360は、他のセンサ375からの入力に基づいて仮想コンテンツの提示を修正することができる。例えば、生体センサからのデータを使用してユーザ100を識別した後にのみ個人情報を提示する。
図3に示す構成要素および配置は、いかなる実施形態も限定することを意図するものではない。本開示の利益を有する当業者によって理解されるように、入力ユニット202の図示された構成に対して多数の変形および/または修正が行われてもよい。例えば、すべての場合において、すべての構成要素が入力ユニットの動作に必須であるとは限らない。任意の構成要素が入力ユニットの任意の適切な部分に配置されてもよく、構成要素は、様々な実施形態の機能を提供しながら、様々な構成に再配置されてもよい。例えば、いくつかの入力ユニットは、入力ユニット202に示すような要素のすべてを含まなくてもよい。
図4は、XRユニット204の例示的な構成のブロック図である。図4は、単なる一実施形態の例示的な表現であり、本開示の範囲内で、いくつかの図示された要素が省略され、他の要素が追加され得ることを理解されたい。図4の実施形態では、XRユニット204は、XRユニット204内で情報を転送するためのサブシステムおよび構成要素を相互接続するバス400(または他の通信機構)に直接または間接的にアクセスすることができる。例えば、バス400は、メモリインターフェース410、ネットワークインターフェース420、入力インターフェース430、電源440、出力インターフェース450、処理デバイス460、センサインターフェース470、およびデータベース480を相互接続することができる。
図4に示すメモリインターフェース410は、詳細に上述されたメモリインターフェース310の機能と同様の機能を有すると仮定される。メモリインターフェース410は、非一時的コンピュータ可読媒体に、またはメモリデバイス411などのメモリデバイスに記憶されたソフトウェア製品および/またはデータにアクセスするために使用され得る。メモリデバイス411は、本開示と一致するプロセスを実行するためのソフトウェアモジュールを含み得る。特に、メモリデバイス411は、入力決定モジュール412、出力決定モジュール413、センサ通信モジュール414、仮想コンテンツ決定モジュール415、仮想コンテンツ通信モジュール416、データベースアクセスモジュール417を含み得る。モジュール412~417は、XRユニット204に関連付けられた少なくとも1つのプロセッサ(例えば、処理デバイス460)による実行のためのソフトウェア命令を含み得る。入力決定モジュール412、出力決定モジュール413、センサ通信モジュール414、仮想コンテンツ決定モジュール415、仮想コンテンツ通信モジュール416、およびデータベースアクセスモジュール417は、様々な動作を実行するために協働し得る。例えば、入力決定モジュール412は、入力ユニット202から受信されたユーザインターフェース(UI)入力を決定することができる。同時に、センサ通信モジュール414は、ユーザ100のステータスを決定するために、種々のセンサからデータを受信することができる。仮想コンテンツ決定モジュール415は、受信された入力およびユーザ100の決定されたステータスに基づいて、表示する仮想コンテンツを決定することができる。仮想コンテンツ通信モジュール416は、仮想コンテンツ決定モジュール415によって決定されない仮想コンテンツを検索することができる。仮想コンテンツの検索は、データベース380、データベース480、モバイル通信デバイス206から、またはリモート処理ユニット208からであってもよい。仮想コンテンツ決定モジュール415の出力に基づいて、出力決定モジュール413は、プロジェクタ454によってユーザ100に表示される仮想コンテンツに変化を生じさせることができる。
いくつかの実施形態では、入力決定モジュール412は、ジェスチャ入力431、仮想入力432、オーディオ入力433、およびUI入力434を受信するために、入力インターフェース430の動作を調整することができる。本開示と一致して、入力決定モジュール412は、異なる種類の入力データを同時に受信することができる。一実施形態では、入力決定モジュール412は、検出された入力の種類に基づいて種々のルールを適用することができる。例えば、ジェスチャ入力は、仮想入力よりも優先されてもよい。いくつかの実施形態では、出力決定モジュール413は、光インジケータ451、ディスプレイ452、スピーカ453、およびプロジェクタ454を使用して出力を生成するために、出力インターフェース450の動作を調整することができる。一実施形態では、光インジケータ451は、ウェアラブルエクステンデッドリアリティ機器のステータスを示す光インジケータを含み得る。例えば、光インジケータは、ウェアラブルエクステンデッドリアリティ機器110が入力ユニット202に接続されているときは緑色の光を表示し、ウェアラブルエクステンデッドリアリティ機器110のバッテリが少ないときは点滅してもよい。別の実施形態では、ディスプレイ452は、動作情報を表示するために使用され得る。別の実施形態では、スピーカ453は、ユーザ100に音声を出力するために使用される骨伝導ヘッドホンを含み得る。別の実施形態では、プロジェクタ454は、仮想コンテンツをユーザ100に提示することができる。
センサ通信モジュール、仮想コンテンツ決定モジュール、仮想コンテンツ通信モジュール、およびデータベースアクセスモジュールの動作は、図3を参照して上述されており、その詳細はここでは繰り返さない。モジュール412~417は、ソフトウェア、ハードウェア、ファームウェア、これらのうちのいずれかの混合などで実装され得る。
図4に示すネットワークインターフェース420は、詳細に上述されたネットワークインターフェース320の機能と同様の機能を有すると仮定される。ネットワークインターフェース420の具体的な設計および実装は、XRユニット204が動作することが意図される通信ネットワークに依存し得る。例えば、いくつかの実施形態では、XRユニット204は、有線で入力ユニット202に選択的に接続可能であるように構成されている。有線で接続されている場合、ネットワークインターフェース420は、入力ユニット202との通信を可能にすることができ、有線で接続されていない場合、ネットワークインターフェース420は、モバイル通信デバイス206との通信を可能にすることができる。
図4に示す入力インターフェース430は、詳細に上述された入力インターフェース330の機能と同様の機能を有すると仮定される。この場合、入力インターフェース430は、ジェスチャ入力431(例えば、仮想オブジェクトを指すユーザ100の指)を取得するために画像センサと通信し、仮想入力432(例えば、XRユニット204と共有される仮想オブジェクト、または仮想環境において検出されるアバターのジェスチャ)を取得するために他のXRユニット204と通信し、オーディオ入力433(例えば、音声コマンド)を取得するためにマイクロホンと通信し、UI入力434(例えば、仮想コンテンツ決定モジュール315によって決定される仮想コンテンツ)を取得するために入力ユニット202と通信することができる。
図4に示す電源440は、上述した電源340の機能と同様の機能を有すると仮定され、XRユニット204に電力を供給するために電気エネルギーを供給するだけである。いくつかの実施形態では、電源440は、電源340によって充電され得る。例えば、電源440は、XRユニット204が入力ユニット202の上または近くに配置されたときに無線で変更されてもよい。
図4に示す出力インターフェース450は、詳細に上述された出力インターフェース350の機能と同様の機能を有すると仮定される。この場合、出力インターフェース450は、光インジケータ451、ディスプレイ452、スピーカ453、およびプロジェクタ454から出力させることができる。プロジェクタ454は、仮想コンテンツを表面上に表示するために光を投影する(または向ける)ことができる任意のデバイス、装置、器具などであり得る。この表面は、XRユニット204の一部、ユーザ100の眼の一部、またはユーザ100に近接したオブジェクトの一部であってもよい。一実施形態では、プロジェクタ454は、1つまたは複数のミラーおよびレンズによって限られた立体角内に光を集中させ、定義された方向に高い値の光度を提供する照明ユニットを含むことができる。
図4に示す処理デバイス460は、詳細に上述された出力処理デバイス360の機能と同様の機能を有すると仮定される。XRユニット204が入力ユニット202に接続されると、処理デバイス460は処理デバイス360と協働することができる。具体的には、処理デバイス460は、仮想マシン技術または他の技術を実装して、複数のソフトウェアプロセス、アプリケーション、プログラムなどを実行、制御、作動、操作、記憶などをする能力を提供することができる。本明細書で開示される能力を提供するために、他の種類のプロセッサ構成が実装され得ることを理解されたい。
図4に示すセンサインターフェース470は、詳細に上述されたセンサインターフェース370の機能と同様の機能を有すると仮定される。具体的には、センサインターフェース470は、オーディオセンサ471、画像センサ472、動きセンサ473、環境センサ474、および他のセンサ475と通信することができる。オーディオセンサ、画像センサ、動きセンサ、環境センサ、および他のセンサの動作は、図3を参照して上述されており、その詳細はここでは繰り返さない。本明細書に開示される能力を提供するために、他の種類および組み合わせのセンサが使用され得ることを理解されたい。
図4に示す構成要素および配置は、いかなる実施形態も限定することを意図するものではない。本開示の利益を有する当業者によって理解されるように、XRユニット204の図示された構成に対して多数の変形および/または修正が行われてもよい。例えば、すべての場合において、すべての構成要素が、XRユニット204の動作に必須であるとは限らない。任意の構成要素がシステム200の任意の適切な部分に配置されてもよく、構成要素は、様々な実施形態の機能を提供しながら、様々な構成に再配置されてもよい。例えば、いくつかのXRユニットは、XRユニット204内の要素のすべてを含まなくてもよい(例えば、ウェアラブルエクステンデッドリアリティ機器110は光インジケータ451を有さなくてもよい)。
図5は、リモート処理ユニット208の例示的な構成のブロック図である。図5は、単なる一実施形態の例示的な表現であり、本開示の範囲内で、いくつかの図示された要素が省略され、他の要素が追加され得ることを理解されたい。図5の実施形態では、リモート処理ユニット208は、サーバ210内で情報を転送するためのサブシステムおよび構成要素を相互接続するバス500(または他の通信機構)に直接または間接的にアクセスする、サーバ210を含み得る。例えば、バス500は、メモリインターフェース510、ネットワークインターフェース520、電源540、処理デバイス560、およびデータベース580を相互接続することができる。リモート処理ユニット208はまた、1つまたは複数のデータ構造を含み得る。例えば、データ構造212A、212B、および212Cである。
図5に示すメモリインターフェース510は、詳細に上述されたメモリインターフェース310の機能と同様の機能を有すると仮定される。メモリインターフェース510は、非一時的コンピュータ可読媒体に、またはメモリデバイス311、411、511、もしくはデータ構造212A、212B、および212Cなどの他のメモリデバイスに記憶されたソフトウェア製品および/またはデータにアクセスするために使用され得る。メモリデバイス511は、本開示と一致するプロセスを実行するためのソフトウェアモジュールを含み得る。特に、メモリデバイス511は、共有されたメモリモジュール512、ノード登録モジュール513、ロードバランシングモジュール514、1つまたは複数の計算ノード515、内部通信モジュール516、外部通信モジュール517、およびデータベースアクセスモジュール(図示せず)を含み得る。モジュール512~517は、リモート処理ユニット208に関連付けられた少なくとも1つのプロセッサ(例えば、処理デバイス560)による実行のためのソフトウェア命令を含み得る。共有されたメモリモジュール512、ノード登録モジュール513、ロードバランシングモジュール514、計算モジュール515、および外部通信モジュール517は、様々な動作を実行するために協働し得る。
共有されたメモリモジュール512は、リモート処理ユニット208とシステム200の他の構成要素との間の情報共有を可能にし得る。いくつかの実施形態では、共有されたメモリモジュール512は、処理デバイス560(およびシステム200内の他の処理デバイス)がデータにアクセスし、データを取り出し、データを記憶することを可能にするように構成され得る。例えば、共有されたメモリモジュール512を使用して、処理デバイス560は、メモリデバイス511、データベース580、もしくはデータ構造212A~Cに記憶されたソフトウェアプログラムを実行すること、メモリデバイス511、データベース580、もしくはデータ構造212A~Cに情報を記憶すること、またはメモリデバイス511、データベース580、もしくはデータ構造212A~Cから情報を取り出すことのうちの少なくとも1つを実行することができる。
ノード登録モジュール513は、1つまたは複数の計算ノード515の可用性を追跡するように構成され得る。いくつかの例では、ノード登録モジュール513は、1つまたは複数の計算ノード515によって実行されるソフトウェアプログラムなどのソフトウェアプログラム、ハードウェアソリューション、または組み合わされたソフトウェアおよびハードウェアソリューションとして実装され得る。いくつかの実装形態では、ノード登録モジュール513は、例えば、内部通信モジュール516を使用して、1つまたは複数の計算ノード515と通信することができる。いくつかの例では、1つまたは複数の計算ノード515は、例えば、起動時、シャットダウン時、一定の間隔で、選択された時間に、ノード登録モジュール513から受信されたクエリに応答して、または任意の他の決定された時間にメッセージを送信することによって、これらのノードのステータスをノード登録モジュール513に通知することができる。いくつかの例では、ノード登録モジュール513は、例えば、起動時に、一定の間隔で、選択された時間に、または任意の他の決定された時間にメッセージを送信することによって、1つまたは複数の計算ノード515のステータスについて問い合わせることができる。
ロードバランシングモジュール514は、1つまたは複数の計算ノード515の間で作業負荷を分割するように構成され得る。いくつかの例では、ロードバランシングモジュール514は、計算ノード515のうちの1つまたは複数によって実行されるソフトウェアプログラムなどのソフトウェアプログラム、ハードウェアソリューション、または組み合わされたソフトウェアおよびハードウェアソリューションとして実装され得る。いくつかの実装形態では、ロードバランシングモジュール514は、1つまたは複数の計算ノード515の可用性に関する情報を取得するために、ノード登録モジュール513と対話することができる。いくつかの実装形態では、ロードバランシングモジュール514は、例えば、内部通信モジュール516を使用して、1つまたは複数の計算ノード515と通信することができる。いくつかの例では、1つまたは複数の計算ノード515は、例えば、起動時、シャットダウン時、一定の間隔で、選択された時間に、ロードバランシングモジュール514から受信されたクエリに応答して、または任意の他の決定された時間にメッセージを送信することによって、これらのノードのステータスをロードバランシングモジュール514に通知することができる。いくつかの例では、ロードバランシングモジュール514は、例えば、起動時に、一定の間隔で、事前に選択された時間に、または任意の他の決定された時間にメッセージを送信することによって、1つまたは複数の計算ノード515のステータスについて問い合わせることができる。
内部通信モジュール516は、リモート処理ユニット208の1つまたは複数の構成要素から情報を受信および/または送信するように構成され得る。例えば、制御信号および/または同期信号は、内部通信モジュール516を通じて送信および/または受信され得る。一実施形態では、コンピュータプログラムのための入力情報、コンピュータプログラムの出力情報、および/またはコンピュータプログラムの中間情報は、内部通信モジュール516を通じて送信および/または受信され得る。別の実施形態では、内部通信モジュール516を通じて受信された情報は、メモリデバイス511、データベース580、データ構造212A~C、またはシステム200内の他のメモリデバイスに記憶され得る。例えば、データ構造212Aから取り出された情報は、内部通信モジュール516を使用して送信され得る。別の例では、入力データは、内部通信モジュール516を使用して受信され、データ構造212Bに記憶され得る。
外部通信モジュール517は、システム200の1つまたは複数の構成要素から情報を受信および/または送信するように構成され得る。例えば、制御信号は、外部通信モジュール517を通じて送信および/または受信され得る。一実施形態では、外部通信モジュール517を通じて受信された情報は、メモリデバイス511、データベース580、データ構造212A~C、および/またはシステム200内の任意のメモリデバイスに記憶され得る。別の実施形態では、データ構造212A~Cのいずれかから取り出された情報は、外部通信モジュール517を使用してXRユニット204に送信され得る。別の実施形態では、入力データは、外部通信モジュール517を使用して送信および/または受信され得る。このような入力データの例としては、入力ユニット202から受信されたデータ、1つまたは複数のセンサ(例えば、オーディオセンサ471、画像センサ472、動きセンサ473、環境センサ474、他のセンサ475)を使用してユーザ100の環境からキャプチャされた情報などが挙げられ得る。
いくつかの実施形態では、モジュール512~517の態様は、単独で、または互いとの様々な組み合わせで、1つまたは複数のプロセッサによって実行可能な、ハードウェアで、(1つまたは複数の信号処理および/または特定用途向け集積回路を含む)ソフトウェアで、ファームウェアで、またはこれらの任意の組み合わせで実装され得る。具体的には、モジュール512~517は、本開示の実施形態と一致する機能を実行するために、互いに対話するように、かつ/またはシステム200の他のモジュールと対話するように構成され得る。メモリデバイス511は、追加のモジュールおよび命令、またはより少ないモジュールおよび命令を含み得る。
図5に示すネットワークインターフェース520、電源540、処理デバイス560、およびデータベース580は、図4および図5を参照して上述した同様の要素の機能と同様の機能を仮定される。上述の構成要素の具体的な設計および実装は、システム200の実装に基づいて変動し得る。加えて、リモート処理ユニット208は、より多くのまたはより少ない構成要素を含み得る。例えば、リモート処理ユニット208は、1つまたは複数の入力デバイスから直接入力を受信するように構成された入力インターフェースを含み得る。
本開示と一致して、システム200の処理デバイス(例えば、モバイル通信デバイス206内のプロセッサ、サーバ210内のプロセッサ、ウェアラブルエクステンデッドリアリティ機器110などのウェアラブルエクステンデッドリアリティ機器内のプロセッサ、および/またはキーボード104などのウェアラブルエクステンデッドリアリティ機器110に関連付けられた入力デバイス内のプロセッサ)は、本明細書に開示される方法のうちのいずれかを実装するために、機械学習アルゴリズムを使用することができる。いくつかの実施形態では、機械学習アルゴリズム(本開示では機械学習モデルとも称される)は、例えば以下で説明される場合に、訓練例を使用して訓練され得る。このような機械学習アルゴリズムのいくつかの非限定的な例としては、分類アルゴリズム、データ回帰アルゴリズム、画像セグメンテーションアルゴリズム、視覚検出アルゴリズム(オブジェクト検出器、顔検出器、人物検出器、動き検出器、エッジ検出器など)、視覚認識アルゴリズム(顔認識、人物認識、オブジェクト認識など)、音声認識アルゴリズム、数学的埋め込みアルゴリズム、自然言語処理アルゴリズム、サポートベクタマシン、ランダムフォレスト、最近傍アルゴリズム、深層学習アルゴリズム、人工ニューラルネットワークアルゴリズム、畳み込みニューラルネットワークアルゴリズム、リカレントニューラルネットワークアルゴリズム、線形機械学習モデル、非線形機械学習モデル、アンサンブルアルゴリズムなどが挙げられ得る。例えば、訓練された機械学習アルゴリズムは、予測モデル、分類モデル、データ回帰モデル、クラスタリングモデル、セグメンテーションモデル、人工ニューラルネットワーク(ディープニューラルネットワーク、畳み込みニューラルネットワーク、リカレントニューラルネットワークなど)、ランダムフォレスト、サポートベクタマシンなどの推論モデルを含み得る。いくつかの例では、訓練例は、例示的な入力を、例示的な入力に対応する所望の出力とともに含み得る。さらに、いくつかの例では、訓練例を使用して機械学習アルゴリズムを訓練することは、訓練された機械学習アルゴリズムを生成することができ、訓練された機械学習アルゴリズムは、訓練例に含まれない入力に対する出力を推定するために使用され得る。いくつかの例では、機械学習アルゴリズムを訓練するエンジニア、科学者、プロセス、および機械は、検証例および/または試験例をさらに使用し得る。例えば、検証例および/または試験例は、例示的な入力を、例示的な入力に対応する所望の出力とともに含むことができ、訓練された機械学習アルゴリズムおよび/または中間訓練された機械学習アルゴリズムを使用して、検証例および/または試験例の例示的な入力に対する出力を推定することができ、推定された出力を対応する所望の出力と比較することができ、訓練された機械学習アルゴリズムおよび/または中間訓練された機械学習アルゴリズムを、比較の結果に基づいて評価することができる。いくつかの例では、機械学習アルゴリズムは、パラメータおよびハイパーパラメータを有することができ、ハイパーパラメータは、人が手動で、または機械学習アルゴリズムの外部のプロセス(ハイパーパラメータ探索アルゴリズムなど)によって自動的に設定することができ、機械学習アルゴリズムのパラメータは、訓練例に基づいて機械学習アルゴリズムによって設定することができる。いくつかの実装形態では、ハイパーパラメータは、訓練例および検証例に基づいて設定されてもよく、パラメータは、訓練例および選択されたハイパーパラメータに基づいて設定されてもよい。例えば、ハイパーパラメータが与えられると、パラメータは、検証例から条件付きで独立し得る。
いくつかの実施形態では、訓練された機械学習アルゴリズム(本開示では機械学習モデルおよび訓練された機械学習モデルとも称される)が、例えば、以下に説明される場合に、入力を分析し、出力を生成するために使用され得る。いくつかの例では、訓練された機械学習アルゴリズムが、入力が提供されたときに推論された出力を生成する推論モデルとして使用され得る。例えば、訓練された機械学習アルゴリズムは、分類アルゴリズムを含み得、入力は、サンプルを含み得、推論された出力は、サンプルの分類(推論されたラベル、推論されたタグなど)を含み得る。別の例では、訓練された機械学習アルゴリズムは、回帰モデルを含み得、入力は、サンプルを含み得、推論された出力は、サンプルに対応する推論された値を含み得る。さらに別の例では、訓練された機械学習アルゴリズムは、クラスタリングモデルを含み得、入力は、サンプルを含み得、推論された出力は、少なくとも1つのクラスタへのサンプルの割り当てを含み得る。追加の例では、訓練された機械学習アルゴリズムは、分類アルゴリズムを含み得、入力は、画像を含み得、推論された出力は、画像内に示されたアイテムの分類を含み得る。さらに別の例では、訓練された機械学習アルゴリズムは、回帰モデルを含み得、入力は、画像を含み得、推論された出力は、画像内に示されたアイテムに対応する推論された値(サイズ、ボリューム、画像内に示された人物の年齢、画像内に示されたアイテムからの距離など、アイテムの推定されたプロパティなど)を含み得る。追加の例では、訓練された機械学習アルゴリズムは、画像セグメンテーションモデルを含み得、入力は、画像を含み得、推論された出力は画像のセグメンテーションを含み得る。さらに別の例では、訓練された機械学習アルゴリズムは、オブジェクト検出器を含み得、入力は、画像を含み得、推論された出力は、画像内の1つもしくは複数の検出されたオブジェクト、および/または画像内のオブジェクトの1つもしくは複数の場所を含み得る。いくつかの例では、訓練された機械学習アルゴリズムは、1つもしくは複数の式、および/または1つもしくは複数の関数、および/または1つもしくは複数のルール、および/または1つもしくは複数のプロシージャを含むことができ、入力は、式および/または関数、および/またはルール、および/またはプロシージャへの入力として使用することができ、推論された出力は、式および/または関数、および/またはルール、および/またはプロシージャの出力に基づくことができる(例えば、公式および/または関数、および/またはルール、および/またはプロシージャの出力のうちの1つを選択すること、式および/または関数、および/またはルール、および/またはプロシージャの出力の統計的尺度を使用することなど)。
本開示と一致して、システム200の処理デバイスは、本明細書に開示される方法のうちのいずれかを実装するために、画像センサ(例えば、画像センサ372、画像センサ472、または任意の他の画像センサ)によってキャプチャされた画像データを分析することができる。いくつかの実施形態では、画像データを分析することは、前処理された画像データを取得するために画像データを分析することと、その後、所望の結果を取得するために画像データおよび/または前処理された画像データを分析することとを含み得る。当業者であれば、以下が例であり、他の種類の前処理方法を使用して画像データが前処理され得ることを認識するであろう。いくつかの例では、画像データは、変換された画像データを取得するために変換関数を使用して画像データを変換することによって前処理され得、前処理された画像データは、変換された画像データを含み得る。例えば、変換された画像データは、画像データの1つまたは複数の畳み込みを含み得る。例えば、変換関数は、ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、オールパスフィルタなどの1つまたは複数の画像フィルタを含み得る。いくつかの例では、変換関数は非線形関数を含み得る。いくつかの例では、画像データは、例えば、ガウス畳み込みを使用して、メディアンフィルタを使用してなど、画像データの少なくとも一部を平滑化することによって前処理され得る。いくつかの例では、画像データは、画像データの異なる表現を取得するために前処理され得る。例えば、前処理された画像データは、周波数領域における画像データの少なくとも一部の表現、画像データの少なくとも一部の離散フーリエ変換、画像データの少なくとも一部の離散ウェーブレット変換、画像データの少なくとも一部の時間/周波数表現、低次元における画像データの少なくとも一部の表現、画像データの少なくとも一部の非可逆表現、画像データの少なくとも一部の可逆表現、上記のうちのいずれかの時系列、上記の任意の組み合わせなどを含んでもよい。いくつかの例では、画像データは、エッジを抽出するために前処理され得、前処理された画像データは、抽出されたエッジに基づく情報および/またはそれに関連する情報を含み得る。いくつかの例では、画像データは、画像データから画像特徴を抽出するために前処理され得る。このような画像特徴のいくつかの非限定的な例は、エッジ、コーナー、ブロブ、リッジ、スケール不変特徴変換(SIFT)特徴、時間的特徴などに基づく情報および/またはそれらに関連する情報を含み得る。いくつかの例では、画像データを分析することは、画像データの少なくとも一部分の少なくとも1つの畳み込みを計算することと、計算された少なくとも1つの畳み込みを使用して、少なくとも1つの結果値を計算すること、および/または決定、識別、認識、分類などを行うこととを含み得る。
本開示の別の態様と一致して、システム200の処理デバイスは、本明細書で開示される方法のうちのいずれかを実装するために画像データを分析することができる。いくつかの実施形態では、画像を分析することは、1つまたは複数のルール、関数、プロシージャ、人工ニューラルネットワーク、オブジェクト検出アルゴリズム、顔検出アルゴリズム、視覚イベント検出アルゴリズム、アクション検出アルゴリズム、動き検出アルゴリズム、背景減算アルゴリズム、推論モデルなどを使用して、画像データおよび/または前処理された画像データを分析することを含み得る。このような推論モデルのいくつかの非限定的な例としては、手動で事前にプログラムされた推論モデル、分類モデル、回帰モデル、訓練例に対する機械学習アルゴリズムおよび/または深層学習アルゴリズムなどの訓練アルゴリズムの結果などが挙げられ得、訓練例は、データインスタンスの例を含み得、場合によっては、データインスタンスは、対応する所望のラベルおよび/または結果でラベル付けされ得る。いくつかの実施形態では、(例えば、本明細書に説明される方法、ステップ、およびモジュールによって)画像データを分析することは、画像データに含まれるピクセル、ボクセル、点群、範囲データなどを分析することを含み得る。
畳み込みは、任意の次元の畳み込みを含み得る。1次元畳み込みは、元の数列を変換された数列に変換する関数である。1次元畳み込みは、スカラの列によって定義され得る。変換された数列の各特定の値は、特定の値に対応する元の数列の部分列の値の線形結合を計算することによって決定され得る。計算された畳み込みの結果値は、変換された数列の任意の値を含み得る。同様に、n次元畳み込みは、元のn次元配列を変換された配列に変換する関数である。n次元畳み込みは、(n次元畳み込みのカーネルとして知られる)スカラのn次元配列によって定義され得る。変換された配列の各特定の値は、特定の値に対応する元の配列のn次元領域内の値の線形結合を計算することによって決定され得る。計算された畳み込みの結果値は、変換された配列内の任意の値を含み得る。いくつかの例では、画像は、(色成分、深度成分などの)1つまたは複数の成分を含み得、各成分は、ピクセル値の2次元配列を含み得る。一例では、画像の畳み込みを計算することは、画像の1つまたは複数の成分に対する2次元畳み込みを計算することを含み得る。別の例では、画像の畳み込みを計算することは、3次元配列を作成するために種々の成分からの配列を積み重ねることと、得られた3次元配列に対して3次元畳み込みを計算することとを含み得る。いくつかの例では、ビデオは、(色成分、深度成分などの)1つまたは複数の成分を含み得、各成分は、(2つの空間軸および1つの時間軸を有する)ピクセル値の3次元配列を含み得る。一例では、ビデオの畳み込みを計算することは、ビデオの1つまたは複数の成分に対する3次元畳み込みを計算することを含み得る。別の例では、ビデオの畳み込みを計算することは、4次元配列を作成するために種々の成分からの配列を積み重ねることと、得られた4次元配列に対して4次元畳み込みを計算することとを含み得る。
以下の詳細な説明は、添付の図面を参照する。可能な限り、図面および以下の説明では、同一または類似の部分を参照するために同一の参照番号が使用される。いくつかの例示的な実施形態が本明細書で説明されるが、修正、適応、および他の実装が可能である。例えば、置換、追加、または修正が図面に示される構成要素に行われてもよく、本明細書に記載される例示的な方法は、開示される方法にステップを置換、並べ替え、除去、または追加することによって修正されてもよい。したがって、以下の詳細な説明は、開示される実施形態および例に限定されず、添付の特許請求の範囲によって包含される一般原理に加えて、本明細書に記載され、図に示される一般原則を含む。
本開示は、ユーザにエクステンデッドリアリティ環境を提供するためのシステムおよび方法を対象とする。「エクステンデッドリアリティ」、「エクステンデッドリアリティ空間」、または「エクステンデッド環境」とも呼ばれ得る「エクステンデッドリアリティ環境」という用語は、コンピュータ技術によって少なくとも部分的に生成されるあらゆる種類の現実と仮想の組み合わされた環境、および人間と機械の対話を指す。エクステンデッドリアリティ環境は、ユーザが種々のパースペクティブから知覚することができる、完全にシミュレートされた仮想環境または組み合わせられた現実と仮想の環境であり得る。いくつかの例では、ユーザは、エクステンデッドリアリティ環境の要素と対話することができる。エクステンデッドリアリティ環境の1つの非限定的な例は、「仮想現実」または「仮想環境」としても知られる仮想現実環境であり得る。没入型仮想現実環境は、仮想環境内に存在するという知覚をユーザに提供するシミュレートされた非物理的環境であり得る。エクステンデッドリアリティ環境の別の非限定的な例は、「拡張現実」または「拡張環境」としても知られる拡張現実環境であり得る。拡張現実環境は、ユーザが対話することができる仮想オブジェクトなど、仮想コンピュータ生成知覚情報で強化された、物理的な現実世界環境のライブの直接的または間接的なビューを含み得る。エクステンデッドリアリティ環境の別の非限定的な例は、「複合現実」または「複合環境」としても知られる複合現実環境である。複合現実環境は、物理オブジェクトおよび仮想オブジェクトが共存し、リアルタイムで対話し得る、物理的な現実世界および仮想環境のハイブリッドであり得る。いくつかの例では、拡張現実環境と複合現実環境の両方が、現実世界と仮想世界の組み合わせ、リアルタイム対話、ならびに仮想オブジェクトおよび現実オブジェクトの正確な3D登録を含み得る。いくつかの例では、拡張現実環境と複合現実環境の両方が、物理的環境に追加され得る構造的なオーバーレイされた感覚情報を含み得る。他の例では、拡張現実環境と複合現実環境の両方が、物理的環境の少なくとも一部をマスクし得る、破壊的な仮想コンテンツを含み得る。
いくつかの実施形態では、本システムおよび方法は、エクステンデッドリアリティ機器を使用して、エクステンデッドリアリティ環境を提供することができる。エクステンデッドリアリティ機器という用語は、ユーザがエクステンデッドリアリティ環境を知覚し、かつ/またはそれと対話することを可能にする任意の種類のデバイスまたはシステムを含み得る。エクステンデッドリアリティ機器は、ユーザが、1つまたは複数の感覚モダリティを通じて、エクステンデッドリアリティ環境を知覚し、かつ/またはそれと対話することを可能にしてもよい。このような感覚モダリティのいくつかの非限定的な例は、視覚、聴覚、触覚、体性感覚、および嗅覚を含み得る。エクステンデッドリアリティ機器の一例は、ユーザが仮想現実環境を知覚し、かつ/またはそれと対話することを可能にする仮想現実機器である。エクステンデッドリアリティ機器の別の例は、ユーザが拡張現実環境を知覚し、かつ/またはそれと対話することを可能にする拡張現実機器である。エクステンデッドリアリティ機器のさらに別の例は、ユーザが複合現実環境を知覚し、かつ/またはそれと対話することを可能にする複合現実機器である。
本開示の一態様と一致して、エクステンデッドリアリティ機器は、ヘッドマウントデバイス、例えば、スマートグラス、スマートコンタクトレンズ、ヘッドセット、またはエクステンデッドリアリティを人間に提示する目的で人間によって装着される任意の他のデバイスなど、ウェアラブルデバイスであってもよい。他のエクステンデッドリアリティ機器は、拡張現実(AR)、仮想現実(VR)、複合現実(MR)、または任意の没入型体験を提供することが可能な、ホログラフィックプロジェクタまたは任意の他のデバイスもしくはシステムを含み得る。ウェアラブルエクステンデッドリアリティ機器の典型的な構成要素は、立体ヘッドマウントディスプレイ、立体ヘッドマウントサウンドシステム、(ジャイロスコープ、加速度計、磁力計、画像センサ、構造化光センサなどの)頭部運動トラッキングセンサ、ヘッドマウントプロジェクタ、アイトラッキングセンサ、および以下で説明する追加の構成要素のうちの少なくとも1つを含み得る。本開示の別の態様と一致して、エクステンデッドリアリティ機器は、非ウェアラブルエクステンデッドリアリティ機器であってもよい。具体的には、非ウェアラブルエクステンデッドリアリティ機器は、マルチ投影環境機器を含み得る。いくつかの実施形態では、エクステンデッドリアリティ機器は、ユーザの動きに応答して、かつ、特にユーザの頭部の動きに応答して、エクステンデッドリアリティ環境の閲覧パースペクティブを変更するように構成され得る。一例では、ウェアラブルエクステンデッドリアリティ機器は、エクステンデッドリアリティ環境内のユーザの空間位置を変更せずに空間の向きを変更することなどによって、ユーザの頭部姿勢の変化に応答して、エクステンデッドリアリティ環境の視野を変更することができる。別の例では、非ウェアラブルエクステンデッドリアリティ機器は、例えば、空間位置に対する視野の方向を変更せずにエクステンデッドリアリティ環境内のユーザの空間位置を変更することによって、現実世界内のユーザの位置の変化に応答して、エクステンデッドリアリティ環境内のユーザの空間位置を変更することができる。
いくつかの実施形態によれば、エクステンデッドリアリティ機器は、仮想コンテンツの提示を可能にするように構成された仮想コンテンツデータを受信することと、少なくとも1つの外部デバイスと共有するための仮想コンテンツを送信することと、少なくとも1つの外部デバイスからコンテキストデータを受信することと、少なくとも1つの外部デバイスにコンテキストデータを送信することと、エクステンデッドリアリティ機器の使用を示す使用データを送信することと、およびエクステンデッドリアリティ機器に含まれる少なくとも1つのセンサを使用してキャプチャされた情報に基づくデータを送信することとのうちの少なくとも1つを行うように構成されたデジタル通信デバイスを含み得る。追加の実施形態では、エクステンデッドリアリティ機器は、仮想コンテンツの提示を可能にするように構成された仮想データ、コンテキストデータ、エクステンデッドリアリティ機器の使用を示す使用データ、ウェアラブルエクステンデッドリアリティ機器に含まれる少なくとも1つのセンサを使用してキャプチャされた情報に基づくセンサデータ、処理デバイスに仮想コンテンツを提示させるように構成されたソフトウェア命令、処理デバイスにコンテキストデータを収集および分析させるように構成されたソフトウェア命令、処理デバイスに使用データを収集および分析させるように構成されたソフトウェア命令、ならびに処理デバイスにセンサデータを収集および分析させるように構成されたソフトウェア命令のうちの少なくとも1つを記憶するためのメモリを含み得る。追加の実施形態では、エクステンデッドリアリティ機器は、仮想コンテンツのレンダリング、コンテキストデータの収集および分析、使用データの収集および分析、ならびにセンサデータの収集および分析のうちの少なくとも1つを行うように構成された処理デバイスを含み得る。追加の実施形態では、エクステンデッドリアリティ機器は、1つまたは複数のセンサを含み得る。1つまたは複数のセンサは、1つまたは複数の画像センサ(例えば、機器のユーザまたはユーザの環境の画像および/またはビデオをキャプチャするように構成される)、1つまたは複数の動きセンサ(加速度計、ジャイロスコープ、磁力計など)、1つまたは複数の位置決めセンサ(GPS、屋外位置決めセンサ、屋内位置決めセンサなど)、1つまたは複数の温度センサ(例えば、機器および/または環境の少なくとも一部の温度を測定するように構成される)、1つまたは複数の接触センサ、1つまたは複数の近接センサ(例えば、機器が現在装着されているかどうかを検出するように構成される)、1つまたは複数の電気インピーダンスセンサ(例えば、ユーザの電気インピーダンスを測定するように構成される)、注視検出器、光学トラッカ、電位トラッカ(例えば、眼電図(EOG)センサ)、ビデオベースのアイトラッカ、赤外線/近赤外線センサ、受動光センサ、または人間がどこを見ているかもしくは注視しているかを決定することができる任意の他の技術などの1つまたは複数のアイトラッキングセンサを含み得る。
いくつかの実施形態では、本システムおよび方法は、入力デバイスを使用して、エクステンデッドリアリティ機器と対話することができる。入力デバイスという用語は、ユーザまたはユーザの環境から入力を受信し、データを計算デバイスに提供するように構成された任意の物理デバイスを含み得る。計算デバイスに提供されるデータは、デジタル形式および/またはアナログ形式であってもよい。一実施形態では、入力デバイスは、ユーザから受信された入力を処理デバイスによってアクセス可能なメモリデバイスに記憶することができ、処理デバイスは、分析のために記憶されたデータにアクセスすることができる。別の実施形態では、入力デバイスは、例えば、バスを介して、または入力デバイスから処理デバイスにデータを転送するように構成された別の通信システムを介して、処理デバイスに直接データを提供することができる。いくつかの例では、入力デバイスによって受信される入力は、キー押下、触覚入力データ、動きデータ、位置データ、ジェスチャベースの入力データ、方向データ、または計算のために供給するための任意の他のデータを含み得る。入力デバイスのいくつかの例は、ボタン、キー、キーボード、コンピュータマウス、タッチパッド、タッチスクリーン、ジョイスティック、または入力が受信され得る別の機構を含み得る。入力デバイスの別の例は、ユーザからの入力を受信するための少なくとも1つの物理的構成要素を含む、統合計算インターフェースデバイスを含み得る。統合計算インターフェースデバイスは、少なくとも、メモリ、処理デバイス、ユーザから入力を受信するための少なくとも1つの物理的構成要素を含み得る。一例では、統合計算インターフェースデバイスは、他のコンピューティングデバイスとのデジタル通信を可能にするデジタルネットワークインターフェースをさらに含み得る。一例では、統合計算インターフェースデバイスは、ユーザに情報を出力するための物理的構成要素をさらに含み得る。いくつかの例では、統合計算インターフェースデバイスのすべての構成要素は、単一のハウジングに含まれ得るが、他の例では、構成要素は、2つ以上のハウジング間に分散され得る。統合計算インターフェースデバイスに含まれ得る、ユーザから入力を受信するための物理的構成要素のいくつかの非限定的な例は、ボタン、キー、キーボード、タッチパッド、タッチスクリーン、ジョイスティック、または計算情報が受信され得る任意の他の機構もしくはセンサのうちの少なくとも1つを含み得る。ユーザに情報を出力するための物理的構成要素のいくつかの非限定的な例は、光インジケータ(LEDインジケータなど)、画面、タッチスクリーン、ビーパ、オーディオスピーカ、または人間知覚可能な出力を提供する任意の他のオーディオ、ビデオ、もしくは触覚デバイスのうちの少なくとも1つを含み得る。
いくつかの実施形態では、画像データは、1つまたは複数の画像センサを使用してキャプチャされ得る。いくつかの例では、画像センサは、エクステンデッドリアリティ機器、ウェアラブルデバイス、ウェアラブルエクステンデッドリアリティデバイス、入力デバイス、ユーザの環境などに含まれ得る。いくつかの例では、画像データは、メモリから読み取られたり、外部デバイスから受信されたり、(例えば、生成モデルを使用して)生成されたりするなどする場合がある。画像データのいくつかの非限定的な例は、画像、グレースケール画像、カラー画像、2D画像、3D画像、ビデオ、2Dビデオ、3Dビデオ、フレーム、場面、他の画像データから得られたデータなどを含み得る。いくつかの例では、画像データは、任意のアナログまたはデジタル形式で符号化され得る。このような形式のいくつかの非限定的な例としては、未加工形式、圧縮形式、非圧縮形式、非可逆形式、可逆形式、JPEG、GIF、PNG、TIFF、BMP、NTSC、PAL、SECAM、MPEG、MPEG-4 Part 14、MOV、WMV、FLV、AVI、AVCHD、WebM、MKVなどが挙げられ得る。
いくつかの実施形態では、エクステンデッドリアリティ機器は、例えば、入力デバイスからデジタル信号を受信することができる。デジタル信号という用語は、時間的に離散的である一連のデジタル値を指すことができる。デジタル信号は、例えば、センサデータ、テキストデータ、音声データ、ビデオデータ、仮想データ、または知覚可能な情報を提供する任意の他の形態のデータを表すことができる。本開示と一致して、デジタル信号は、エクステンデッドリアリティ機器に仮想コンテンツを提示させるように構成され得る。一実施形態では、仮想コンテンツは、選択された向きで提示され得る。この実施形態では、デジタル信号は、エクステンデッドリアリティ環境などの環境における視点の位置および角度を示すことができる。具体的には、デジタル信号は、6自由度座標(例えば、前/後、上/下、左/右、ヨー、ピッチ、およびロール)における位置および角度の符号化を含み得る。別の実施形態では、デジタル信号は、3次元座標(例えば、x、y、およびz)としての位置の符号化と、符号化された位置から生じるベクトルとしての角度の符号化とを含み得る。具体的には、デジタル信号は、例えば、標準デフォルト角度に対する仮想コンテンツのヨー、ピッチ、およびロールを符号化することによって、環境の絶対座標における提示された仮想コンテンツの向きおよび角度を示すことができる。別の実施形態では、デジタル信号は、例えば、視点に対応する方向または他のオブジェクトに対応する方向に対する仮想コンテンツのヨー、ピッチ、およびロールを符号化することによって、別のオブジェクト(例えば、仮想オブジェクト、物理オブジェクトなど)の視点に対する提示された仮想コンテンツの向きおよび角度を示すことができる。別の実施形態では、このようなデジタル信号は、例えば、提示の準備ができている形式(例えば、画像、ビデオなど)で、仮想コンテンツの1つまたは複数の投影を含み得る。例えば、このような投影の各々は、特定の向きまたは特定の角度に対応し得る。別の実施形態では、デジタル信号は、例えば、ボクセルの3次元配列、ポリゴンメッシュ、または仮想コンテンツが提示され得る任意の他の形式でオブジェクトを符号化することによって、仮想コンテンツの表現を含み得る。
いくつかの実施形態では、デジタル信号は、エクステンデッドリアリティ機器に仮想コンテンツを提示させるように構成され得る。仮想コンテンツという用語は、エクステンデッドリアリティ機器によってユーザに表示され得る任意の種類のデータ表現を含み得る。仮想コンテンツは、仮想オブジェクト、非アニメーションの仮想コンテンツ、経時的にもしくはトリガに応答して変化するように構成されたアニメーションの仮想コンテンツ、仮想2次元コンテンツ、仮想3次元コンテンツ、物理的環境の一部もしくは物理オブジェクト上の仮想オーバーレイ、物理的環境もしくは物理オブジェクトへの仮想追加、仮想プロモーションコンテンツ、物理オブジェクトの仮想表現、物理的環境の仮想表現、仮想ドキュメント、仮想キャラクタもしくはペルソナ、仮想コンピュータ画面、仮想ウィジェット、または情報を仮想的に表示するための任意の他の形式を含み得る。本開示と一致して、仮想コンテンツは、コンピュータまたは処理デバイスによってレンダリングされる任意の視覚的提示を含み得る。一実施形態では、仮想コンテンツは、限定された領域内のコンピュータによってレンダリングされ、特定の種類のオブジェクト(非アニメーションの仮想オブジェクト、アニメーションの仮想オブジェクト、仮想備品、仮想装飾オブジェクト、仮想ウィジェット、または他の仮想表現など)を表すように構成された視覚的提示である仮想オブジェクトを含み得る。レンダリングされた視覚的提示は、例えば、物理オブジェクトの外観の変化を模倣するように、ステータスオブジェクトに対する変更またはオブジェクトの視野角の変更を反映するように変更することができる。別の実施形態では、仮想コンテンツは、オペレーティングシステムによって生成される情報を表示するように構成される、仮想コンピュータ画面、仮想タブレット画面、または仮想スマートフォン画面などの仮想ディスプレイ(本明細書では「仮想ディスプレイ画面」または「仮想画面」とも称される)を含むことができ、オペレーティングシステムは、物理キーボードおよび/または仮想キーボードからテキストデータを受信し、仮想ディスプレイ画面内にテキストコンテンツを表示させるように構成され得る。図1に示す一例では、仮想コンテンツは、仮想コンピュータ画面および複数の仮想オブジェクトを含む、仮想環境を含み得る。いくつかの例では、仮想ディスプレイは、物理的ディスプレイ画面の機能を模倣および/または拡張する仮想オブジェクトであり得る。例えば、仮想ディスプレイは、エクステンデッドリアリティ機器を使用して、エクステンデッドリアリティ環境(複合現実環境、拡張現実環境、仮想現実環境など)内に提示され得る。一例では、仮想ディスプレイは、物理的ディスプレイ画面に等しく提示され得る通常のオペレーティングシステムによって生成されたコンテンツを提示し得る。一例では、キーボードを使用して(例えば、物理キーボードを使用して、仮想キーボードを使用してなど)入力されたテキストコンテンツは、テキストコンテンツがタイプされるときにリアルタイムで仮想ディスプレイ上に提示され得る。一例では、仮想カーソルが仮想ディスプレイ上に提示され得、仮想カーソルは、(物理ポインティングデバイス、仮想ポインティングデバイス、コンピュータマウス、ジョイスティック、タッチパッド、物理タッチコントローラなどの)ポインティングデバイスによって制御され得る。一例では、グラフィカルユーザインターフェースオペレーティングシステムの1つまたは複数のウィンドウが、仮想ディスプレイ上に提示され得る。別の例では、仮想ディスプレイ上に提示されるコンテンツは、対話型であってもよく、すなわち、ユーザのアクションに反応して変化してもよい。さらに別の例では、仮想ディスプレイの提示は、画面フレームの提示を含んでもよく、または画面フレームの提示を含まなくてもよい。
いくつかの開示される実施形態は、データ構造またはデータベースを含み、かつ/またはそれにアクセスし得る。本開示と一致するデータ構造およびデータベースという用語は、データ値の任意の集合およびそれらの間の関係を含み得る。データは、線形に、水平に、階層的に、関係的に、非関係的に、単次元的に、多次元的に、動作的に、順序付けられた様式で、順序付けられていない様式で、オブジェクト指向様式で、集中化様式で、非集中化様式で、分散化様式で、カスタム様式で、またはデータアクセスを可能にする任意の様式で記憶され得る。非限定的な例として、データ構造は、配列、連想配列、リンクリスト、二分木、平衡木、ヒープ、スタック、キュー、セット、ハッシュテーブル、レコード、タグ付き共用体、エンティティ関係モデル、グラフ、ハイパーグラフ、行列、テンソルなどを含み得る。例えば、データ構造は、例えば、MongoDB、Redis、Couchbase、Datastax Enterprise Graph、Elastic Search、Splunk、Solr、Cassandra、Amazon DynamoDB、Scylla、HBase、およびNeo4Jなどのデータ記憶/検索のためのXMLデータベース、RDBMSデータベース、SQLデータベース、またはNoSQL代替を含み得る。データ構造は、開示されるシステムの構成要素またはリモートコンピューティング構成要素(例えば、クラウドベースのデータ構造)であってもよい。データ構造内のデータは、連続または非連続メモリに記憶されてもよい。さらに、データ構造は、情報が同じ場所に配置されることを必要としない。それは、例えば、同じまたは異なるエンティティによって所有または運用され得る、複数のサーバにわたって分散され得る。したがって、単数形でのデータ構造という用語は、複数のデータ構造を含む。
いくつかの実施形態では、本システムは、受信された入力または任意の決定された値における信頼レベルを決定することができる。信頼レベルという用語は、システムが決定されたデータにおいて有する信頼の量を示すレベル(例えば、所定の範囲内の)の任意のインジケーション、数値、またはその他を指す。例えば、信頼レベルは、1~10の値を有し得る。あるいは、信頼レベルは、百分率または任意の他の数値もしくは非数値インジケーションとして表されてもよい。場合によっては、本システムは、信頼レベルを閾値と比較してもよい。閾値という用語は、基準値、レベル、点、または値の範囲を示し得る。動作中、決定されたデータの信頼レベルが閾値を超える(または、特定の使用事例に応じて、それを下回る)とき、本システムは、第1の行動方針に従うことができ、信頼レベルがそれを下回る(または、特定の使用事例に応じて、それを上回る)とき、本システムは、第2の行動方針に従うことができる。閾値の値は、検査されるオブジェクトの種類ごとに予め決定され得るか、または種々の考慮事項に基づいて動的に選択され得る。
ここで図1を参照すると、本開示の実施形態と一致する例示的なエクステンデッドリアリティシステムを使用するユーザを示しており、図1は、単なる一実施形態の例示的な表現であり、いくつかの示された要素が省略され、他の要素が本開示の範囲内で追加され得ることを理解されたい。図示のように、ユーザ100は、キーボード104およびマウス106を支持するテーブル102の後ろに座っている。キーボード104は、ワイヤ108によって、仮想コンテンツをユーザ100に表示するウェアラブルエクステンデッドリアリティ機器110に接続されている。ワイヤ108の代替として、またはそれに加えて、キーボード104は、ウェアラブルエクステンデッドリアリティ機器110に無線で接続してもよい。説明のために、ウェアラブルエクステンデッドリアリティ機器は、一対のスマートグラスを示しているが、上述したように、ウェアラブルエクステンデッドリアリティ機器110は、エクステンデッドリアリティをユーザ100に提示するために使用される任意の種類のヘッドマウントデバイスであってもよい。ウェアラブルエクステンデッドリアリティ機器110によって表示される仮想コンテンツは、仮想画面112(本明細書では「仮想ディスプレイ画面」または「仮想ディスプレイ」とも称される)と、複数の仮想ウィジェット114とを含む。仮想ウィジェット114A~114Dは仮想画面112の隣に表示され、仮想ウィジェット114Eはテーブル102上に表示される。ユーザ100は、キーボード104を使用して仮想画面112に表示されたドキュメント116にテキストを入力することができ、マウス106を使用して仮想カーソル118を制御することができる。一例では、仮想カーソル118は、仮想画面112内の任意の場所に移動することができる。別の例では、仮想カーソル118は、仮想画面112内の任意の場所に移動することができ、仮想ウィジェット114A~114Dのうちのいずれか1つに移動することもできるが、仮想ウィジェット114Eに移動することはできない。さらに別の例では、仮想カーソル118は、仮想画面112内の任意の場所に移動することができ、仮想ウィジェット114A~114Eのうちのいずれか1つに移動することもできる。追加の例では、仮想カーソル118は、仮想画面112および仮想ウィジェット114A~114Eを含むエクステンデッドリアリティ環境内の任意の場所に移動することができる。さらに別の例では、仮想カーソルは、すべての利用可能な表面(すなわち、仮想表面または物理的表面)上、またはエクステンデッドリアリティ環境内の選択された表面上のみを移動することができる。代替として、または加えて、ユーザ100は、ウェアラブルエクステンデッドリアリティ機器110によって認識される手のジェスチャを使用して、仮想ウィジェット114A~114Eのうちのいずれか1つと、または選択された仮想ウィジェットと対話することができる。例えば、仮想ウィジェット114Eは、手のジェスチャで操作され得る対話型ウィジェット(例えば、仮想スライダコントローラ)であってもよい。
図2は、ユーザ100などのユーザにエクステンデッドリアリティ(XR)体験を提供するシステム200の例を示す。図2は、単なる一実施形態の例示的な表現であり、本開示の範囲内で、いくつかの図示された要素が省略され、他の要素が追加され得ることを理解されたい。システム200は、コンピュータベースであってもよく、コンピュータシステム構成要素、ウェアラブル機器、ワークステーション、タブレット、ハンドヘルドコンピューティングデバイス、メモリデバイス、および/またはこの構成要素を接続する内部ネットワークを含んでもよい。システム200は、システム200によって提供されるサービスをサポートするための様々なネットワークコンピューティングリソース(例えば、サーバ、ルータ、スイッチ、ネットワーク接続、記憶デバイスなど)を含むか、またはそれに接続されてもよい。本開示と一致して、システム200は、入力ユニット202、XRユニット204、モバイル通信デバイス206、およびリモート処理ユニット208を含むことができる。リモート処理ユニット208は、データ構造212などの1つまたは複数の物理または仮想記憶デバイスに結合されたサーバ210を含むことができる。システム200はまた、種々のシステム構成要素とシステム200に関連付けられた種々のエンティティとの間の通信およびデータ交換を容易にする通信ネットワーク214を含むか、またはそれに接続されてもよい。
本開示と一致して、入力ユニット202は、ユーザ100からの入力を受信し得る1つまたは複数のデバイスを含むことができる。一実施形態では、入力ユニット202は、キーボード104などのテキスト入力デバイスを含むことができる。テキスト入力デバイスは、システム200にテキスト情報を入力するためのすべての可能な種類のデバイスおよび機構を含むことができる。テキスト入力デバイスの例としては、メカニカル式キーボード、メンブレン式キーボード、フレキシブルキーボード、QWERTYキーボード、Dvorakキーボード、Colemakキーボード、コード付きキーボード、ワイヤレスキーボード、キーパッド、キーベースのコントロールパネル、もしくはコントロールキーの他の配列、視覚入力デバイス、または任意の他の機構であって、この機構が物理的形態で提供されるか、もしくは仮想的に提示されるかにかかわらずテキストを入力するための機構が挙げられ得る。一実施形態では、入力ユニット202は、マウス106などのポインティング入力デバイスを含むこともできる。ポインティング入力デバイスは、システム200に2次元または3次元情報を入力するためのすべての可能な種類のデバイスおよび機構を含むことができる。一例では、ポインティング入力デバイスからの2次元入力は、XRユニット204を介して提示される仮想コンテンツと対話するために使用され得る。ポインティング入力デバイスの例としては、コンピュータマウス、トラックボール、タッチパッド、トラックパッド、タッチスクリーン、ジョイスティック、ポインティングスティック、スタイラス、ライトペン、または任意の他の物理的もしくは仮想入力機構が挙げられ得る。一実施形態では、入力ユニット202は、接触、移動、または移動の中断を検出するように構成されたタッチスクリーンなどのグラフィカル入力デバイスを含むこともできる。グラフィカル入力デバイスは、容量性、抵抗性、赤外線、および表面弾性波技術、ならびに1つまたは複数の接触点を決定するための他の近接センサアレイまたは他の要素を含むがこれらに限定されない、複数のタッチ感度技術のうちのいずれかを使用し得る。一実施形態では、入力ユニット202は、マイクロホンなどの1つまたは複数の音声入力デバイスを含むこともできる。音声入力デバイスは、音声認識、音声複製、デジタル録音、および電話機能などの音声対応機能を容易にするために音声データを入力するためのすべての可能な種類のデバイスおよび機構を含むことができる。一実施形態では、入力ユニット202はまた、画像データをキャプチャするように構成された、画像センサなどの1つまたは複数の画像入力デバイスを含むことができる。一実施形態では、入力ユニット202はまた、手の動きおよび姿勢データをキャプチャするように構成された1つまたは複数の触覚グローブを含むことができる。一実施形態では、入力ユニット202はまた、センサの近くの選択された領域内のオブジェクトの存在および/または動きを検出するように構成された1つまたは複数の近接センサを含むことができる。
いくつかの実施形態によれば、本システムは、ユーザ、ユーザのアクション、またはユーザの環境に関連付けられた特性を検出および/または測定するように構成された少なくとも1つのセンサを含むことができる。少なくとも1つのセンサの一例は、入力ユニット202に含まれるセンサ216である。センサ216は、動きセンサ、タッチセンサ、光センサ、赤外線センサ、オーディオセンサ、画像センサ、近接センサ、位置決めセンサ、ジャイロスコープ、温度センサ、生体センサ、または関連する機能を容易にするための任意の他の感知デバイスであってもよい。センサ216は、入力デバイスと一体化または接続されてもよく、または入力デバイスから分離されてもよい。一例では、ユーザ100の体温を測定するために、温度計がマウス106に含まれてもよい。別の例では、キーボード104に対するユーザ100の動きを決定するために、位置決めセンサがキーボード104と一体化されてもよい。このような位置決めセンサは、以下の技術、全地球測位システム(GPS)、全地球航法衛星システム(GLONASS)、ガリレオ全地球航法システム、北斗航法システム、他の全地球航法衛星システム(GNSS)、インド地域航法衛星システム(IRNSS)、ローカル測位システム(LPS)、リアルタイムロケーションシステム(RTLS)、屋内測位システム(IPS)、Wi-Fiベース測位システム、セルラー三角測量、画像ベース測位技術、屋内測位技術、屋外測位技術、または任意の他の測位技術のうちの1つを使用して実装され得る。
いくつかの実施形態によれば、本システムは、物理デバイス(物理入力デバイス、物理コンピューティングデバイス、キーボード104、マウス106、ウェアラブルエクステンデッドリアリティ機器110など)の位置および/または動きを識別するための1つまたは複数のセンサを含むことができる。1つまたは複数のセンサは、物理デバイスに含まれてもよく、または物理デバイスの外部にあってもよい。いくつかの例では、物理デバイスの外部の画像センサ(例えば、別の物理デバイスに含まれる画像センサ)が、物理デバイスの画像データをキャプチャするために使用され得、画像データは、物理デバイスの位置および/または動きを識別するために分析され得る。例えば、画像データは、物理デバイスの移動を識別するために視覚オブジェクト追跡アルゴリズムを使用して分析され得、物理デバイスの位置(例えば、画像センサに対する位置、グローバル座標系における位置など)を識別するために視覚オブジェクト検出アルゴリズムを使用して分析され得る、などである。いくつかの例では、物理デバイスに含まれる画像センサは、画像データをキャプチャするために使用され得、画像データは、物理デバイスの位置および/または動きを識別するために分析され得る。例えば、画像データは、物理デバイスの位置を識別するための視覚オドメトリアルゴリズムを使用して分析され得、物理デバイスの移動を識別するためのエゴモーションアルゴリズムを使用して分析され得る、などである。いくつかの例では、屋内位置決めセンサまたは屋外位置決めセンサなどの位置決めセンサが物理デバイスに含まれ得、物理デバイスの位置を決定するために使用され得る。いくつかの例では、加速度計またはジャイロスコープなどの動きセンサが物理デバイスに含まれ得、物理デバイスの移動を決定するために使用され得る。いくつかの例では、キーボードまたはマウスなどの物理デバイスは、物理的表面に位置決めされるように構成され得る。このような物理デバイスは、物理的表面に向けられた(非機械的追跡エンジンとしても知られる)光学マウスセンサを含むことができ、光学マウスセンサの出力は、物理的表面に対する物理デバイスの移動を決定するために分析され得る。
本開示と一致して、XRユニット204は、仮想コンテンツをユーザ100に提示するように構成されたウェアラブルエクステンデッドリアリティ機器を含み得る。ウェアラブルエクステンデッドリアリティ機器の一例は、ウェアラブルエクステンデッドリアリティ機器110である。ウェアラブルエクステンデッドリアリティ機器の追加の例としては、仮想現実(VR)デバイス、拡張現実(AR)デバイス、複合現実(MR)デバイス、またはエクステンデッドリアリティコンテンツを生成することができる任意の他のデバイスが挙げられ得る。このようなデバイスのいくつかの非限定的な例としては、Nreal Light、Magic Leap One、Varjo、Quest 1/2、Viveなどが挙げられ得る。いくつかの実施形態では、XRユニット204は、仮想コンテンツをユーザ100に提示することができる。一般に、エクステンデッドリアリティ機器は、コンピュータ技術およびウェアラブルによって生成されるすべての現実と仮想の複合環境および人間と機械の対話を含み得る。上述したように、「エクステンデッドリアリティ」(XR)という用語は、「完全な現実」から「完全な仮想」までのすべての領域を含む上位集合を指す。これは、拡張現実(AR)、複合現実(MR)、仮想現実(VR)などの代表的な形態と、これらの間を補間した領域を含む。したがって、「XR機器」、「AR機器」、「VR機器」、および「MR機器」という用語は、本明細書では互換的に使用され得、上記に列挙した様々な機器の任意のデバイスを指し得ることに留意されたい。
本開示と一致して、本システムは、ユーザに関連付けられた様々な通信デバイス、例えば、モバイル通信デバイス206とデータを交換することができる。「通信デバイス」という用語は、デジタル通信ネットワーク、アナログ通信ネットワーク、またはデータを伝達するように構成された任意の他の通信ネットワークを使用してデータを交換することができるすべての可能な種類のデバイスを含むことを意図している。いくつかの例では、通信デバイスは、スマートフォン、タブレット、スマートウォッチ、携帯情報端末、デスクトップコンピュータ、ラップトップコンピュータ、IoTデバイス、専用端末、ウェアラブル通信デバイス、およびデータ通信を可能にする任意の他のデバイスを含み得る。場合によっては、モバイル通信デバイス206は、入力ユニット202を補完するか、またはそれを置き換えることができる。具体的には、モバイル通信デバイス206は、ポインティング入力デバイスとして機能し得る物理タッチコントローラに関連付けられ得る。さらに、モバイル通信デバイス206はまた、例えば、仮想キーボードを実装し、テキスト入力デバイスを置き換えるために使用され得る。例えば、ユーザ100がテーブル102から離れ、スマートグラスを持って休憩室に歩いた場合、このユーザは、迅速な回答を必要とする電子メールを受信することができる。この場合、このユーザは、自身のスマートウォッチを入力デバイスとして使用することと、スマートグラスによって電子メールが仮想的に提示されている間に電子メールに対する回答をタイプすることとを選択することができる。
本開示と一致して、本システムの実施形態は、クラウドサーバの使用を含み得る。「クラウドサーバ」という用語は、インターネットなどのネットワークを介してサービスを提供するコンピュータプラットフォームを指す。図2に示す例示的な実施形態では、サーバ210は、個々のハードウェアに対応しなくてもよい仮想マシンを使用することができる。例えば、計算および/または記憶能力は、データセンタまたは分散コンピューティング環境などのスケーラブルなリポジトリから所望の計算/記憶能力の適切な部分を割り当てることによって実装され得る。具体的には、一実施形態では、リモート処理ユニット208は、仮想コンテンツをユーザ100に提供するために、XRユニット204とともに使用され得る。1つの例示的な構成では、サーバ210は、ウェアラブルエクステンデッドリアリティ機器のオペレーティングシステム(OS)として機能するクラウドサーバであり得る。一例では、サーバ210は、カスタマイズされたハードワイヤードロジック、1つまたは複数の特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、ファームウェア、および/またはコンピュータシステムと組み合わせてサーバ210を専用マシンにするプログラムロジックを使用して、本明細書で説明する方法を実施することができる。
いくつかの実施形態では、サーバ210は、データ構造212にアクセスして、例えば、ユーザ100を表示する仮想コンテンツを決定することができる。データ構造212は、揮発性または不揮発性、磁気、半導体、テープ、光学、取り外し可能、取り外し不可能、他の種類の記憶デバイスまたは有形もしくは非一時的コンピュータ可読媒体、あるいは情報を記憶するための任意の媒体または機構を利用することができる。データ構造212は、図示のように、サーバ210の一部であってもよく、またはサーバ210とは別個であってもよい。データ構造212がサーバ210の一部でない場合、サーバ210は、通信リンクを介してデータ構造212とデータを交換することができる。データ構造212は、開示される方法の1つまたは複数の特徴を実行するために使用されるデータおよび命令を記憶する1つまたは複数のメモリデバイスを含み得る。一実施形態では、データ構造212は、ワークステーション上でホストされる小さいデータ構造からデータセンタ間で分散される大きいデータ構造に及ぶ、複数の好適なデータ構造のうちのいずれかを含み得る。データ構造212はまた、メモリコントローラデバイス(例えば、サーバ)またはソフトウェアによって制御される1つまたは複数のデータ構造の任意の組み合わせを含み得る。
本開示と一致して、通信ネットワークは、通信をサポートし、情報を交換し、かつ/またはシステムの構成要素間の情報の交換を容易にする任意の種類のネットワーク(インフラストラクチャを含む)であってもよい。例えば、システム200内の通信ネットワーク214は、例えば、電話ネットワーク、エクストラネット、イントラネット、インターネット、衛星通信、オフライン通信、無線通信、トランスポンダ通信、ローカルエリアネットワーク(LAN)、無線ネットワーク(例えば、Wi-Fi/302.11ネットワーク)、広域通信網(WAN)、バーチャルプライベートネットワーク(VPN)、デジタル通信ネットワーク、アナログ通信ネットワーク、またはデータ伝送を可能にする任意の他の機構もしくは機構の組み合わせを含み得る。
図2に示すシステム200の構成要素および配置は、開示されるプロセスおよび特徴を実装するために使用されるシステム構成要素が変動し得るため、例示的であることのみを意図し、開示される実施形態を限定することを意図しない。
図3は、入力ユニット202の例示的な構成のブロック図である。図3は、単なる一実施形態の例示的な表現であり、本開示の範囲内で、いくつかの図示された要素が省略され、他の要素が追加され得ることを理解されたい。図3の実施形態では、入力ユニット202は、入力ユニット202内で情報を転送するためのサブシステムおよび構成要素を相互接続するバス300(または他の通信機構)に直接または間接的にアクセスすることができる。例えば、バス300は、メモリインターフェース310、ネットワークインターフェース320、入力インターフェース330、電源340、出力インターフェース350、処理デバイス360、センサインターフェース370、およびデータベース380を相互接続することができる。
図3に示すメモリインターフェース310は、非一時的コンピュータ可読媒体に記憶されたソフトウェア製品および/またはデータにアクセスするために使用され得る。一般に、非一時的コンピュータ可読記憶媒体は、少なくとも1つのプロセッサによって読み取り可能な情報またはデータを記憶することができる任意の種類の物理メモリを指す。例としては、ランダムアクセスメモリ(RAM)、読み出し専用メモリ(ROM)、揮発性メモリ、不揮発性メモリ、ハードドライブ、CD ROM、DVD、フラッシュドライブ、ディスク、任意の他の光データ記憶媒体、穴のパターンを有する任意の物理媒体、PROM、EPROM、フラッシュEPROMまたは任意の他のフラッシュメモリ、NVRAM、キャッシュ、レジスタ、任意の他のメモリチップまたはカートリッジ、およびこれらのネットワーク化されたバージョンが挙げられる。「メモリ」および「コンピュータ可読記憶媒体」という用語は、入力ユニット内または遠隔場所に配置された複数のメモリまたはコンピュータ可読記憶媒体など、複数の構造を指すことができる。加えて、1つまたは複数のコンピュータ可読記憶媒体は、コンピュータ実装方法を実施する際に利用することができる。したがって、コンピュータ可読記憶媒体という用語は、有形のアイテムを含み、搬送波および過渡信号を除外するものと理解されるべきである。図3に示す特定の実施形態では、メモリインターフェース310は、メモリデバイス311などのメモリデバイスに記憶されたソフトウェア製品および/またはデータにアクセスするために使用され得る。メモリデバイス311は、高速ランダムアクセスメモリおよび/または不揮発性メモリ、例えば、1つまたは複数の磁気ディスク記憶デバイス、1つまたは複数の光記憶デバイス、および/またはフラッシュメモリ(例えば、NAND、NOR)を含むことができる。本開示と一致して、メモリデバイス311の構成要素は、システム200の2つ以上のユニットおよび/または2つ以上のメモリデバイスに分散され得る。
図3に示すメモリデバイス311は、本開示と一致するプロセスを実行するためのソフトウェアモジュールを含み得る。特に、メモリデバイス311は、入力決定モジュール312、出力決定モジュール313、センサ通信モジュール314、仮想コンテンツ決定モジュール315、仮想コンテンツ通信モジュール316、およびデータベースアクセスモジュール317を含み得る。モジュール312~317は、入力ユニット202に関連付けられた少なくとも1つのプロセッサ(例えば、処理デバイス360)による実行のためのソフトウェア命令を含み得る。入力決定モジュール312、出力決定モジュール313、センサ通信モジュール314、仮想コンテンツ決定モジュール315、仮想コンテンツ通信モジュール316、およびデータベースアクセスモジュール317は、様々な動作を実行するために協働し得る。例えば、入力決定モジュール312は、例えばキーボード104から受信したデータを使用してテキストを決定することができる。その後、出力決定モジュール313は、最近入力されたテキストを、例えば、キーボード104に物理的にまたは無線で結合された専用ディスプレイ352上に提示させることができる。このように、ユーザ100がタイプするとき、仮想画面112を見るために絶えず頭部を上下に動かすことなく、タイプされたテキストのプレビューを見ることができる。センサ通信モジュール314は、ユーザ100のステータスを決定するために、種々のセンサからデータを受信することができる。その後、仮想コンテンツ決定モジュール315は、受信された入力およびユーザ100の決定されたステータスに基づいて、表示する仮想コンテンツを決定することができる。例えば、決定された仮想コンテンツは、キーボード104に隣接して仮想的に配置された仮想画面上の最近入力されたテキストの仮想提示であってもよい。仮想コンテンツ通信モジュール316は、仮想コンテンツ決定モジュール315によって決定されない仮想コンテンツ(例えば、別のユーザのアバター)を取得することができる。仮想コンテンツの検索は、データベース380から、リモート処理ユニット208から、または任意の他のソースからであってもよい。
いくつかの実施形態では、入力決定モジュール312は、ポインタ入力331、テキスト入力332、オーディオ入力333、およびXR関連入力334を受信するために、入力インターフェース330の動作を調整することができる。ポインタ入力、テキスト入力、およびオーディオ入力についての詳細は上述されている。「XR関連入力」という用語は、ユーザ100に表示される仮想コンテンツの変化を生じさせ得る任意の種類のデータを含み得る。一実施形態では、XR関連入力334は、ユーザ100の画像データ、ウェアラブルエクステンデッドリアリティ機器(例えば、検出されたユーザ100の手のジェスチャ)を含み得る。別の実施形態では、XR関連入力334は、ユーザ100に近接した別のユーザの存在を示す無線通信を含み得る。本開示と一致して、入力決定モジュール312は、異なる種類の入力データを同時に受信することができる。その後、入力決定モジュール312は、検出された入力の種類に基づいて種々のルールをさらに適用することができる。例えば、ポインタ入力が音声入力よりも優先されてもよい。
いくつかの実施形態では、出力決定モジュール313は、光インジケータ351、ディスプレイ352、および/またはスピーカ353を使用して出力を生成するために、出力インターフェース350の動作を調整することができる。一般に、出力決定モジュール313によって生成される出力は、ウェアラブルエクステンデッドリアリティ機器によって提示される仮想コンテンツを含まない。代わりに、出力決定モジュール313によって生成される出力は、入力ユニット202の動作および/またはXRユニット204の動作に関連する様々な出力を含む。一実施形態では、光インジケータ351は、ウェアラブルエクステンデッドリアリティ機器のステータスを示す光インジケータを含み得る。例えば、光インジケータは、ウェアラブルエクステンデッドリアリティ機器110がキーボード104に接続されているときは緑色の光を表示し、ウェアラブルエクステンデッドリアリティ機器110のバッテリが少ないときは点滅してもよい。別の実施形態では、ディスプレイ352は、動作情報を表示するために使用され得る。例えば、ディスプレイは、ウェアラブルエクステンデッドリアリティ機器が動作不能であるときにエラーメッセージを提示してもよい。別の実施形態では、スピーカ353は、例えば、ユーザ100が他のユーザのために何らかの音楽を再生することを望むとき、音声を出力するために使用され得る。
いくつかの実施形態では、センサ通信モジュール314は、入力デバイスと一体化された、または入力デバイスに接続された1つまたは複数のセンサからセンサデータを受信するために、センサインターフェース370の動作を調整することができる。1つまたは複数のセンサは、オーディオセンサ371、画像センサ372、動きセンサ373、環境センサ374(例えば、温度センサ、周囲光検出器など)、および他のセンサ375を含み得る。一実施形態では、センサ通信モジュール314から受信されたデータは、入力デバイスの物理的向きを決定するために使用され得る。入力デバイスの物理的向きは、ユーザの状態を示すことができ、傾きの動き、ロールの動き、および横方向の動きの組み合わせに基づいて決定することができる。その後、入力デバイスの物理的向きは、仮想コンテンツ決定モジュール315によって使用され、ユーザの状態(例えば、注意、眠い、活動的、座っている、立っている、後方にもたれている、前方にもたれている、歩いている、移動している、乗っているなど)に一致するように仮想コンテンツの表示パラメータを修正することができる。
いくつかの実施形態では、仮想コンテンツ決定モジュール315は、ウェアラブルエクステンデッドリアリティ機器によって表示されるべき仮想コンテンツを決定することができる。仮想コンテンツは、入力決定モジュール312、センサ通信モジュール314、および他のソース(例えば、データベース380)からのデータに基づいて決定され得る。いくつかの実施形態では、仮想コンテンツを決定することは、仮想オブジェクトの距離、サイズ、および向きを決定することを含み得る。仮想オブジェクトの位置の決定は、仮想オブジェクトの種類に基づいて決定され得る。具体的には、図1に示す例に関して、仮想コンテンツ決定モジュール315は、仮想ウィジェット114Eが仮想コントローラ(例えば、音量バー)であるため、4つの仮想ウィジェット114A~114Dを仮想画面112の両側に配置し、仮想ウィジェット114Eをテーブル102上に配置すると決定することができる。仮想オブジェクトの位置の決定は、ユーザの選好に基づいてさらに決定され得る。例えば、左利きのユーザの場合、仮想コンテンツ決定モジュール315は、キーボード104の左に仮想音量バーを配置すると決定することができ、右利きのユーザの場合、仮想コンテンツ決定モジュール315は、キーボード104の右に仮想音量バーを配置すると決定することができる。
いくつかの実施形態では、仮想コンテンツ通信モジュール316は、ユーザ100に仮想コンテンツとして提示されるデータを1つまたは複数のソースから取得するために、ネットワークインターフェース320の動作を調整することができる。1つまたは複数のソースは、他のXRユニット204、ユーザのモバイル通信デバイス206、リモート処理ユニット208、公的に利用可能な情報などを含み得る。一実施形態では、仮想コンテンツ通信モジュール316は、モバイル通信デバイス206の仮想表現を提供するために、モバイル通信デバイス206と通信することができる。例えば、仮想表現は、ユーザ100がメッセージを読み、モバイル通信デバイス206にインストールされたアプリケーションと対話することを可能にし得る。仮想コンテンツ通信モジュール316は、仮想コンテンツを他のユーザと共有するために、ネットワークインターフェース320の動作を調整することもできる。一例では、仮想コンテンツ通信モジュール316は、入力決定モジュールからのデータを使用して、トリガ(例えば、トリガはユーザのジェスチャを含み得る)を識別し、仮想ディスプレイから物理的ディスプレイ(例えば、テレビ)にまたは異なるユーザの仮想ディスプレイにコンテンツを転送することができる。
いくつかの実施形態では、データベースアクセスモジュール317は、記憶されたデータを検索するためにデータベース380と協働することができる。検索されたデータは、例えば、種々の仮想オブジェクトに関連付けられたプライバシーレベル、仮想オブジェクトと物理オブジェクトとの間の関係、ユーザの選好、ユーザの過去の挙動などを含み得る。上述したように、仮想コンテンツ決定モジュール315は、データベース380に記憶されたデータを使用して仮想コンテンツを決定することができる。データベース380は、例えば、ベクトルデータベース、ラスタデータベース、タイルデータベース、ビューポートデータベース、および/またはユーザ入力データベースを含む、別個のデータベースを含み得る。データベース380に記憶されたデータは、モジュール314~317またはシステム200の他の構成要素から受信され得る。さらに、データベース380に記憶されたデータは、データ入力、データ転送、またはデータアップロードを使用して入力として提供され得る。
モジュール312~317は、ソフトウェア、ハードウェア、ファームウェア、これらのうちのいずれかの混合などで実装され得る。いくつかの実施形態では、モジュール312~317のうちの任意の1つまたは複数およびデータベース380に関連付けられたデータは、XRユニット204、モバイル通信デバイス206、またはリモート処理ユニット208に記憶され得る。システム200の処理デバイスは、モジュール312~317の命令を実行するように構成され得る。いくつかの実施形態では、モジュール312~317の態様は、単独で、または互いとの様々な組み合わせで、1つまたは複数のプロセッサによって実行可能な、ハードウェアで、(1つまたは複数の信号処理および/または特定用途向け集積回路を含む)ソフトウェアで、ファームウェアで、またはこれらの任意の組み合わせで実装され得る。具体的には、モジュール312~317は、開示される実施形態と一致する機能を実行するために、互いに対話するように、かつ/またはシステム200の他のモジュールと対話するように構成され得る。例えば、入力ユニット202は、XRユニット204からのデータに対して画像処理アルゴリズムを含む命令を実行して、ユーザ100の頭部の動きを決定することができる。さらに、入力ユニット202に関して、または入力ユニット202の構成要素に関して、本明細書の全体にわたって説明される各機能は、前記機能を実行するための命令のセットに対応し得る。これらの命令は、別個のソフトウェアプログラム、プロシージャ、またはモジュールとして実装される必要はない。メモリデバイス311は、追加のモジュールおよび命令、またはより少ないモジュールおよび命令を含み得る。例えば、メモリデバイス311は、ANDROID、iOS、UNIX、OSX、WINDOWS、DARWIN、RTXC、LINUXなどのオペレーティングシステム、またはVXWorkSなどの組み込みオペレーティングシステムを記憶し得る。オペレーティングシステムは、基本システムサービスを処理し、ハードウェア依存タスクを実行するための命令を含むことができる。
図3に示すネットワークインターフェース320は、通信ネットワーク214などのネットワークへの双方向データ通信を提供することができる。一実施形態では、ネットワークインターフェース320は、サービス総合デジタル網(ISDN)カード、セルラーモデム、衛星モデム、またはインターネットを介してデータ通信接続を提供するためのモデムを含み得る。別の例として、ネットワークインターフェース320は、ワイヤレスローカルエリアネットワーク(WLAN)カードを含み得る。別の実施形態では、ネットワークインターフェース320は、高周波受信機および送信機、ならびに/または光(例えば、赤外線)受信機および送信機に接続されたイーサネットポートを含み得る。ネットワークインターフェース320の具体的な設計および実装は、入力ユニット202が動作することが意図される1つまたは複数の通信ネットワークに依存し得る。例えば、いくつかの実施形態では、入力ユニット202は、GSMネットワーク、GPRSネットワーク、EDGEネットワーク、Wi-FiまたはWiMaxネットワーク、およびBluetoothネットワーク上で動作するように設計されたネットワークインターフェース320を含み得る。任意のこのような実装形態では、ネットワークインターフェース320は、様々な種類の情報を表すデジタルデータストリームまたはデジタル信号を搬送する電気信号、電磁信号、または光信号を送信および受信するように構成され得る。
図3に示す入力インターフェース330は、様々な入力デバイス、例えば、キーボード、マウス、タッチパッド、タッチスクリーン、1つまたは複数のボタン、ジョイスティック、マイクロホン、画像センサ、および物理的または仮想入力を検出するように構成された任意の他のデバイスから入力を受信することができる。受信された入力は、テキスト、音、音声、手のジェスチャ、体のジェスチャ、触覚情報、およびユーザによって生成された任意の他の種類の物理的または仮想的な入力のうちの少なくとも1つの形態であり得る。図示の実施形態では、入力インターフェース330は、ポインタ入力331、テキスト入力332、オーディオ入力333、およびXR関連入力334を受信することができる。追加の実施形態では、入力インターフェース330は、処理デバイス360と上記に列挙した入力デバイスのうちのいずれかとの間のブリッジとしての機能し得る集積回路であってもよい。
図3に示す電源340は、入力ユニット202に電気エネルギーを供給し、任意選択でXRユニット204にも電力を供給することができる。一般に、本開示における任意のデバイスまたはシステムに含まれる電源は、1つもしくは複数のバッテリ(例えば、鉛酸バッテリ、リチウムイオンバッテリ、ニッケル水素バッテリ、ニッケルカドミウムバッテリ)、1つもしくは複数のコンデンサ、外部電源への1つもしくは複数の接続、1つもしくは複数の電力変換器、またはこれらの任意の組み合わせを含むが、これらに限定されない、電力を繰り返し貯蔵、分配、または伝達し得る任意のデバイスであってもよい。図3に示す例を参照すると、電源は可動式であってもよく、これは、入力ユニット202を手で容易に持ち運ぶことができることを意味する(例えば、電源340の総重量は1ポンド未満であってもよい)。電源の可動性により、ユーザ100は様々な状況で入力ユニット202を使用することができる。他の実施形態では、電源340は、電源340を充電するために使用され得る外部電源(電力網など)への接続に関連付けられ得る。加えて、電源340は、XRユニット204に含まれる1つまたは複数のバッテリを充電するように構成され得、例えば、エクステンデッドリアリティグラス(例えば、ウェアラブルエクステンデッドリアリティ機器110)は、このグラスが入力ユニット202上にまたはこの入力ユニットに近接して配置されたとき、(例えば、無線で、または無線ではなく)充電され得る。
図3に示す出力インターフェース350は、例えば、光インジケータ351、ディスプレイ352、および/またはスピーカ353を使用して、様々な出力デバイスから出力させることができる。一実施形態では、出力インターフェース350は、処理デバイス360と上記に列挙した出力デバイスのうちの少なくとも1つとの間のブリッジとして機能し得る集積回路であってもよい。光インジケータ351は、1つまたは複数の光源、例えば、種々の色に関連付けられたLEDアレイを含み得る。ディスプレイ352は、画面(例えば、LCDまたはドットマトリクス画面)またはタッチスクリーンを含み得る。スピーカ353は、オーディオヘッドホン、補聴器型デバイス、スピーカ、骨伝導ヘッドホン、触覚キューを提供するインターフェース、振動触覚刺激器などを含み得る。
図3に示す処理デバイス360は、本開示で説明される実施形態を実行するために、コンピュータプログラム、アプリケーション、方法、プロセス、または他のソフトウェアを実行するように構成された少なくとも1つのプロセッサを含み得る。一般に、本開示における任意のデバイスまたはシステムに含まれる処理デバイスは、1つもしくは複数の集積回路、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央処理ユニット(CPU)のすべてもしくは一部、グラフィックス処理ユニット(GPU)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、または命令を実行するか、もしくは論理演算を実行するのに適した他の回路を含み得る。処理デバイスは、Intel(商標)によって製造されたマイクロプロセッサなどの、開示される方法の機能を実行するように構成された少なくとも1つのプロセッサを含み得る。処理デバイスは、並列プロセスを同時に実行するシングルコアまたはマルチコアプロセッサを含み得る。一例では、処理デバイスは、仮想処理技術を用いて構成されたシングルコアプロセッサであり得る。処理デバイスは、仮想マシン技術または他の技術を実装して、複数のソフトウェアプロセス、アプリケーション、プログラムなどを実行、制御、作動、操作、記憶などをする能力を提供することができる。別の例では、処理デバイスは、処理デバイスに関連付けられたデバイスが複数のプロセスを同時に実行することを可能にするために並列処理機能を提供するように構成されたマルチコアプロセッサ構成(例えば、デュアルコア、クワッドコアなど)を含み得る。本明細書で開示される能力を提供するために、他の種類のプロセッサ構成が実装され得ることを理解されたい。
図3に示すセンサインターフェース370は、様々なセンサ、例えば、オーディオセンサ371、画像センサ372、動きセンサ373、環境センサ374、および他のセンサ375からセンサデータを取得することができる。一実施形態では、センサインターフェース370は、処理デバイス360と上記に列挙したセンサのうちの少なくとも1つとの間のブリッジとして機能し得る集積回路であってもよい。
オーディオセンサ371は、音をデジタル情報に変換することによってオーディオをキャプチャするように構成された1つまたは複数のオーディオセンサを含み得る。オーディオセンサのいくつかの例としては、マイクロホン、単一指向性マイクロホン、双指向性マイクロホン、カージオイドマイクロホン、全指向性マイクロホン、オンボードマイクロホン、ワイヤードマイクロホン、ワイヤレスマイクロホン、または上記の任意の組み合わせが挙げられ得る。本開示と一致して、処理デバイス360は、オーディオセンサ371から受信されたデータ(例えば、音声コマンド)に基づいて仮想コンテンツの提示を修正することができる。
画像センサ372は、光を画像データに変換することによって視覚情報をキャプチャするように構成された1つまたは複数の画像センサを含み得る。本開示と一致して、画像センサは、本開示における任意のデバイスまたはシステムに含まれてもよく、近赤外線、赤外線、可視、および紫外線スペクトルにおける光学信号を検出し、電気信号に変換することができる任意のデバイスであってもよい。画像センサの例としては、デジタルカメラ、電話カメラ、半導体電荷結合素子(CCD)、相補型金属酸化膜半導体(CMOS)におけるアクティブピクセルセンサ、またはN型金属酸化膜半導体(NMOS、ライブMOS)が挙げられ得る。電気信号は、画像データを生成するために使用され得る。本開示と一致して、画像データは、ピクセルデータストリーム、デジタル画像、デジタルビデオストリーム、キャプチャされた画像から得られたデータ、および1つまたは複数の3D画像、3D画像のシーケンス、3Dビデオ、または仮想3D表現を構築するために使用され得るデータを含み得る。画像センサ372によって取得された画像データは、有線または無線伝送によって、システム200の任意の処理デバイスに伝送され得る。例えば、画像データは、オブジェクトを検出するため、イベントを検出するため、アクションを検出するため、顔を検出するため、人々を検出するため、既知の人物を認識するため、またはシステム200によって使用され得る任意の他の情報のために処理され得る。本開示と一致して、処理デバイス360は、画像センサ372から受信された画像データに基づいて、仮想コンテンツの提示を修正することができる。
動きセンサ373は、入力ユニット202の動きまたは入力ユニット202の環境内のオブジェクトの動きを測定するように構成された1つまたは複数の動きセンサを含み得る。具体的には、動きセンサは、入力ユニット202の環境内のオブジェクトの動きを検出すること、入力ユニット202の環境内のオブジェクトの速度を測定すること、入力ユニット202の環境内のオブジェクトの加速度を測定すること、入力ユニット202の動きを検出すること、入力ユニット202の速度を測定すること、入力ユニット202の加速度を測定することなどのうちの少なくとも1つを実行することができる。いくつかの実施形態では、動きセンサ373は、適切な加速度の変化を検出するように、かつ/または入力ユニット202の適切な加速度を測定するように構成された1つまたは複数の加速度計を含み得る。他の実施形態では、動きセンサ373は、入力ユニット202の向きの変化を検出するように、かつ/または入力ユニット202の向きに関する情報を測定するように構成された1つまたは複数のジャイロスコープを含み得る。他の実施形態では、動きセンサ373は、画像センサ、LIDARセンサ、レーダセンサ、または近接センサを使用する1つまたは複数を含み得る。例えば、キャプチャされた画像を分析することによって、処理デバイスは、例えばエゴモーションアルゴリズムを使用して、入力ユニット202の動きを決定することができる。加えて、処理デバイスは、例えば、オブジェクト追跡アルゴリズムを使用して、入力ユニット202の環境内のオブジェクトの動きを決定することができる。本開示と一致して、処理デバイス360は、入力ユニット202の決定された動きまたは入力ユニット202の環境内のオブジェクトの決定された動きに基づいて、仮想コンテンツの提示を修正することができる。例えば、入力ユニット202の動きに仮想ディスプレイを追従させる。
環境センサ374は、入力ユニット202の環境を反映するデータをキャプチャするように構成された異なる種類からの1つまたは複数のセンサを含み得る。いくつかの実施形態では、環境センサ374は、入力ユニット202の環境内の化学的特性を測定すること、入力ユニット202の環境内の化学的特性の変化を測定すること、入力ユニット202の環境内の化学物質の存在を検出すること、入力ユニット202の環境内の化学物質の濃度を測定することのうちの少なくとも1つを実行するように構成された1つまたは複数の化学センサを含むことができる。このような化学的特性の例としては、pHレベル、毒性、および温度が挙げられ得る。このような化学物質の例としては、電解質、特定の酵素、特定のホルモン、特定のタンパク質、煙、二酸化炭素、一酸化炭素、酸素、オゾン、水素、および硫化水素が挙げられ得る。他の実施形態では、環境センサ374は、入力ユニット202の環境の温度の変化を検出するように、かつ/または入力ユニット202の環境の温度を測定するように構成された1つまたは複数の温度センサを含み得る。他の実施形態では、環境センサ374は、入力ユニット202の環境内の大気圧の変化を検出するように、かつ/または入力ユニット202の環境内の大気圧を測定するように構成された1つまたは複数の気圧計を含み得る。他の実施形態では、環境センサ374は、入力ユニット202の環境内の周囲光の変化を検出するように構成された1つまたは複数の光センサを含み得る。本開示と一致して、処理デバイス360は、環境センサ374からの入力に基づいて仮想コンテンツの提示を修正することができる。例えば、ユーザ100の環境が暗くなったときに仮想コンテンツの明るさを自動的に低下させる。
他のセンサ375は、重量センサ、光センサ、抵抗センサ、超音波センサ、近接センサ、生体センサ、または関連する機能を容易にするための他の感知デバイスを含み得る。特定の実施形態では、他のセンサ375は、入力ユニット202の位置決め情報を取得し、入力ユニット202の位置の変化を検出し、かつ/または入力ユニット202の位置を測定するように構成された1つまたは複数の位置決めセンサを含み得る。あるいは、GPSソフトウェアは、入力ユニット202が外部GPS受信機にアクセスする(例えば、シリアルポートまたはBluetoothを介して接続する)ことを可能にし得る。本開示と一致して、処理デバイス360は、他のセンサ375からの入力に基づいて仮想コンテンツの提示を修正することができる。例えば、生体センサからのデータを使用してユーザ100を識別した後にのみ個人情報を提示する。
図3に示す構成要素および配置は、開示される実施形態を限定することを意図するものではない。本開示の利益を有する当業者によって理解されるように、入力ユニット202の図示された構成に対して多数の変形および/または修正が行われてもよい。例えば、すべての場合において、すべての構成要素が入力ユニットの動作に必須であるとは限らない。任意の構成要素が入力ユニットの任意の適切な部分に配置されてもよく、構成要素は、開示される実施形態の機能を提供しながら、様々な構成に再配置されてもよい。例えば、いくつかの入力ユニットは、入力ユニット202に示すような要素のすべてを含まなくてもよい。
図4は、XRユニット204の例示的な構成のブロック図である。図4は、単なる一実施形態の例示的な表現であり、本開示の範囲内で、いくつかの図示された要素が省略され、他の要素が追加され得ることを理解されたい。図4の実施形態では、XRユニット204は、XRユニット204内で情報を転送するためのサブシステムおよび構成要素を相互接続するバス400(または他の通信機構)に直接または間接的にアクセスすることができる。例えば、バス400は、メモリインターフェース410、ネットワークインターフェース420、入力インターフェース430、電源440、出力インターフェース450、処理デバイス460、センサインターフェース470、およびデータベース480を相互接続することができる。
図4に示すメモリインターフェース410は、詳細に上述されたメモリインターフェース310の機能と同様の機能を有すると仮定される。メモリインターフェース410は、非一時的コンピュータ可読媒体に、またはメモリデバイス411などのメモリデバイスに記憶されたソフトウェア製品および/またはデータにアクセスするために使用され得る。メモリデバイス411は、本開示と一致するプロセスを実行するためのソフトウェアモジュールを含み得る。特に、メモリデバイス411は、入力決定モジュール412、出力決定モジュール413、センサ通信モジュール414、仮想コンテンツ決定モジュール415、仮想コンテンツ通信モジュール416、データベースアクセスモジュール417を含み得る。モジュール412~417は、XRユニット204に関連付けられた少なくとも1つのプロセッサ(例えば、処理デバイス460)による実行のためのソフトウェア命令を含み得る。入力決定モジュール412、出力決定モジュール413、センサ通信モジュール414、仮想コンテンツ決定モジュール415、仮想コンテンツ通信モジュール416、およびデータベースアクセスモジュール417は、様々な動作を実行するために協働し得る。例えば、入力決定モジュール412は、入力ユニット202から受信されたユーザインターフェース(UI)入力を決定することができる。同時に、センサ通信モジュール414は、ユーザ100のステータスを決定するために、種々のセンサからデータを受信することができる。仮想コンテンツ決定モジュール415は、受信された入力およびユーザ100の決定されたステータスに基づいて、表示する仮想コンテンツを決定することができる。仮想コンテンツ通信モジュール416は、仮想コンテンツ決定モジュール415によって決定されない仮想コンテンツを検索することができる。仮想コンテンツの検索は、データベース380、データベース480、モバイル通信デバイス206から、またはリモート処理ユニット208からであってもよい。仮想コンテンツ決定モジュール415の出力に基づいて、出力決定モジュール413は、プロジェクタ454によってユーザ100に表示される仮想コンテンツに変化を生じさせることができる。
いくつかの実施形態では、入力決定モジュール412は、ジェスチャ入力431、仮想入力432、オーディオ入力433、およびUI入力434を受信するために、入力インターフェース430の動作を調整することができる。本開示と一致して、入力決定モジュール412は、異なる種類の入力データを同時に受信することができる。一実施形態では、入力決定モジュール412は、検出された入力の種類に基づいて種々のルールを適用することができる。例えば、ジェスチャ入力は、仮想入力よりも優先されてもよい。いくつかの実施形態では、出力決定モジュール413は、光インジケータ451、ディスプレイ452、スピーカ453、およびプロジェクタ454を使用して出力を生成するために、出力インターフェース450の動作を調整することができる。一実施形態では、光インジケータ451は、ウェアラブルエクステンデッドリアリティ機器のステータスを示す光インジケータを含み得る。例えば、光インジケータは、ウェアラブルエクステンデッドリアリティ機器110が入力ユニット202に接続されているときは緑色の光を表示し、ウェアラブルエクステンデッドリアリティ機器110のバッテリが少ないときは点滅してもよい。別の実施形態では、ディスプレイ452は、動作情報を表示するために使用され得る。別の実施形態では、スピーカ453は、ユーザ100に音声を出力するために使用される骨伝導ヘッドホンを含み得る。別の実施形態では、プロジェクタ454は、仮想コンテンツをユーザ100に提示することができる。
センサ通信モジュール、仮想コンテンツ決定モジュール、仮想コンテンツ通信モジュール、およびデータベースアクセスモジュールの動作は、図3を参照して上述されており、その詳細はここでは繰り返さない。モジュール412~417は、ソフトウェア、ハードウェア、ファームウェア、これらのうちのいずれかの混合などで実装され得る。
図4に示すネットワークインターフェース420は、詳細に上述されたネットワークインターフェース320の機能と同様の機能を有すると仮定される。ネットワークインターフェース420の具体的な設計および実装は、XRユニット204が動作することが意図される通信ネットワークに依存し得る。例えば、いくつかの実施形態では、XRユニット204は、有線で入力ユニット202に選択的に接続可能であるように構成されている。有線で接続されている場合、ネットワークインターフェース420は、入力ユニット202との通信を可能にすることができ、有線で接続されていない場合、ネットワークインターフェース420は、モバイル通信デバイス206との通信を可能にすることができる。
図4に示す入力インターフェース430は、詳細に上述された入力インターフェース330の機能と同様の機能を有すると仮定される。この場合、入力インターフェース430は、ジェスチャ入力431(例えば、仮想オブジェクトを指すユーザ100の指)を取得するために画像センサと通信し、仮想入力432(例えば、XRユニット204と共有される仮想オブジェクト、または仮想環境において検出されるアバターのジェスチャ)を取得するために他のXRユニット204と通信し、オーディオ入力433(例えば、音声コマンド)を取得するためにマイクロホンと通信し、UI入力434(例えば、仮想コンテンツ決定モジュール315によって決定される仮想コンテンツ)を取得するために入力ユニット202と通信することができる。
図4に示す電源440は、上述した電源340の機能と同様の機能を有すると仮定され、XRユニット204に電力を供給するために電気エネルギーを供給するだけである。いくつかの実施形態では、電源440は、電源340によって充電され得る。例えば、電源440は、XRユニット204が入力ユニット202の上または近くに配置されたときに無線で変更されてもよい。
図4に示す出力インターフェース450は、詳細に上述された出力インターフェース350の機能と同様の機能を有すると仮定される。この場合、出力インターフェース450は、光インジケータ451、ディスプレイ452、スピーカ453、およびプロジェクタ454から出力させることができる。プロジェクタ454は、仮想コンテンツを表面上に表示するために光を投影する(または向ける)ことができる任意のデバイス、装置、器具などであり得る。この表面は、XRユニット204の一部、ユーザ100の眼の一部、またはユーザ100に近接したオブジェクトの一部であってもよい。一実施形態では、プロジェクタ454は、1つまたは複数のミラーおよびレンズによって限られた立体角内に光を集中させ、定義された方向に高い値の光度を提供する照明ユニットを含むことができる。
図4に示す処理デバイス460は、詳細に上述された出力処理デバイス360の機能と同様の機能を有すると仮定される。XRユニット204が入力ユニット202に接続されると、処理デバイス460は処理デバイス360と協働することができる。具体的には、処理デバイス460は、仮想マシン技術または他の技術を実装して、複数のソフトウェアプロセス、アプリケーション、プログラムなどを実行、制御、作動、操作、記憶などをする能力を提供することができる。本明細書で開示される能力を提供するために、他の種類のプロセッサ構成が実装され得ることを理解されたい。
図4に示すセンサインターフェース470は、詳細に上述されたセンサインターフェース370の機能と同様の機能を有すると仮定される。具体的には、センサインターフェース470は、オーディオセンサ471、画像センサ472、動きセンサ473、環境センサ474、および他のセンサ475と通信することができる。オーディオセンサ、画像センサ、動きセンサ、環境センサ、および他のセンサの動作は、図3を参照して上述されており、その詳細はここでは繰り返さない。本明細書に開示される能力を提供するために、他の種類および組み合わせのセンサが使用され得ることを理解されたい。
図4に示す構成要素および配置は、開示される実施形態を限定することを意図するものではない。本開示の利益を有する当業者によって理解されるように、XRユニット204の図示された構成に対して多数の変形および/または修正が行われてもよい。例えば、すべての場合において、すべての構成要素が、XRユニット204の動作に必須であるとは限らない。任意の構成要素がシステム200の任意の適切な部分に配置されてもよく、構成要素は、開示される実施形態の機能を提供しながら、様々な構成に再配置されてもよい。例えば、いくつかのXRユニットは、XRユニット204内の要素のすべてを含まなくてもよい(例えば、ウェアラブルエクステンデッドリアリティ機器110は光インジケータ451を有さなくてもよい)。
図5は、リモート処理ユニット208の例示的な構成のブロック図である。図5は、単なる一実施形態の例示的な表現であり、本開示の範囲内で、いくつかの図示された要素が省略され、他の要素が追加され得ることを理解されたい。図5の実施形態では、リモート処理ユニット208は、サーバ210内で情報を転送するためのサブシステムおよび構成要素を相互接続するバス500(または他の通信機構)に直接または間接的にアクセスする、サーバ210を含み得る。例えば、バス500は、メモリインターフェース510、ネットワークインターフェース520、電源540、処理デバイス560、およびデータベース580を相互接続することができる。リモート処理ユニット208はまた、1つまたは複数のデータ構造を含み得る。例えば、データ構造212A、212B、および212Cである。
図5に示すメモリインターフェース510は、詳細に上述されたメモリインターフェース310の機能と同様の機能を有すると仮定される。メモリインターフェース510は、非一時的コンピュータ可読媒体に、またはメモリデバイス311、411、511、もしくはデータ構造212A、212B、および212Cなどの他のメモリデバイスに記憶されたソフトウェア製品および/またはデータにアクセスするために使用され得る。メモリデバイス511は、本開示と一致するプロセスを実行するためのソフトウェアモジュールを含み得る。特に、メモリデバイス511は、共有されたメモリモジュール512、ノード登録モジュール513、ロードバランシングモジュール514、1つまたは複数の計算ノード515、内部通信モジュール516、外部通信モジュール517、およびデータベースアクセスモジュール(図示せず)を含み得る。モジュール512~517は、リモート処理ユニット208に関連付けられた少なくとも1つのプロセッサ(例えば、処理デバイス560)による実行のためのソフトウェア命令を含み得る。共有されたメモリモジュール512、ノード登録モジュール513、ロードバランシングモジュール514、計算モジュール515、および外部通信モジュール517は、様々な動作を実行するために協働し得る。
共有されたメモリモジュール512は、リモート処理ユニット208とシステム200の他の構成要素との間の情報共有を可能にし得る。いくつかの実施形態では、共有されたメモリモジュール512は、処理デバイス560(およびシステム200内の他の処理デバイス)がデータにアクセスし、データを取り出し、データを記憶することを可能にするように構成され得る。例えば、共有されたメモリモジュール512を使用して、処理デバイス560は、メモリデバイス511、データベース580、もしくはデータ構造212A~Cに記憶されたソフトウェアプログラムを実行すること、メモリデバイス511、データベース580、もしくはデータ構造212A~Cに情報を記憶すること、またはメモリデバイス511、データベース580、もしくはデータ構造212A~Cから情報を取り出すことのうちの少なくとも1つを実行することができる。
ノード登録モジュール513は、1つまたは複数の計算ノード515の可用性を追跡するように構成され得る。いくつかの例では、ノード登録モジュール513は、1つまたは複数の計算ノード515によって実行されるソフトウェアプログラムなどのソフトウェアプログラム、ハードウェアソリューション、または組み合わされたソフトウェアおよびハードウェアソリューションとして実装され得る。いくつかの実装形態では、ノード登録モジュール513は、例えば、内部通信モジュール516を使用して、1つまたは複数の計算ノード515と通信することができる。いくつかの例では、1つまたは複数の計算ノード515は、例えば、起動時、シャットダウン時、一定の間隔で、選択された時間に、ノード登録モジュール513から受信されたクエリに応答して、または任意の他の決定された時間にメッセージを送信することによって、これらのノードのステータスをノード登録モジュール513に通知することができる。いくつかの例では、ノード登録モジュール513は、例えば、起動時に、一定の間隔で、選択された時間に、または任意の他の決定された時間にメッセージを送信することによって、1つまたは複数の計算ノード515のステータスについて問い合わせることができる。
ロードバランシングモジュール514は、1つまたは複数の計算ノード515の間で作業負荷を分割するように構成され得る。いくつかの例では、ロードバランシングモジュール514は、計算ノード515のうちの1つまたは複数によって実行されるソフトウェアプログラムなどのソフトウェアプログラム、ハードウェアソリューション、または組み合わされたソフトウェアおよびハードウェアソリューションとして実装され得る。いくつかの実装形態では、ロードバランシングモジュール514は、1つまたは複数の計算ノード515の可用性に関する情報を取得するために、ノード登録モジュール513と対話することができる。いくつかの実装形態では、ロードバランシングモジュール514は、例えば、内部通信モジュール516を使用して、1つまたは複数の計算ノード515と通信することができる。いくつかの例では、1つまたは複数の計算ノード515は、例えば、起動時、シャットダウン時、一定の間隔で、選択された時間に、ロードバランシングモジュール514から受信されたクエリに応答して、または任意の他の決定された時間にメッセージを送信することによって、これらのノードのステータスをロードバランシングモジュール514に通知することができる。いくつかの例では、ロードバランシングモジュール514は、例えば、起動時に、一定の間隔で、事前に選択された時間に、または任意の他の決定された時間にメッセージを送信することによって、1つまたは複数の計算ノード515のステータスについて問い合わせることができる。
内部通信モジュール516は、リモート処理ユニット208の1つまたは複数の構成要素から情報を受信および/または送信するように構成され得る。例えば、制御信号および/または同期信号は、内部通信モジュール516を通じて送信および/または受信され得る。一実施形態では、コンピュータプログラムのための入力情報、コンピュータプログラムの出力情報、および/またはコンピュータプログラムの中間情報は、内部通信モジュール516を通じて送信および/または受信され得る。別の実施形態では、内部通信モジュール516を通じて受信された情報は、メモリデバイス511、データベース580、データ構造212A~C、またはシステム200内の他のメモリデバイスに記憶され得る。例えば、データ構造212Aから取り出された情報は、内部通信モジュール516を使用して送信され得る。別の例では、入力データは、内部通信モジュール516を使用して受信され、データ構造212Bに記憶され得る。
外部通信モジュール517は、システム200の1つまたは複数の構成要素から情報を受信および/または送信するように構成され得る。例えば、制御信号は、外部通信モジュール517を通じて送信および/または受信され得る。一実施形態では、外部通信モジュール517を通じて受信された情報は、メモリデバイス511、データベース580、データ構造212A~C、および/またはシステム200内の任意のメモリデバイスに記憶され得る。別の実施形態では、データ構造212A~Cのいずれかから取り出された情報は、外部通信モジュール517を使用してXRユニット204に送信され得る。別の実施形態では、入力データは、外部通信モジュール517を使用して送信および/または受信され得る。このような入力データの例としては、入力ユニット202から受信されたデータ、1つまたは複数のセンサ(例えば、オーディオセンサ471、画像センサ472、動きセンサ473、環境センサ474、他のセンサ475)を使用してユーザ100の環境からキャプチャされた情報などが挙げられ得る。
いくつかの実施形態では、モジュール512~517の態様は、単独で、または互いとの様々な組み合わせで、1つまたは複数のプロセッサによって実行可能な、ハードウェアで、(1つまたは複数の信号処理および/または特定用途向け集積回路を含む)ソフトウェアで、ファームウェアで、またはこれらの任意の組み合わせで実装され得る。具体的には、モジュール512~517は、開示される実施形態と一致する機能を実行するために、互いに対話するように、かつ/またはシステム200の他のモジュールと対話するように構成され得る。メモリデバイス511は、追加のモジュールおよび命令、またはより少ないモジュールおよび命令を含み得る。
図5に示すネットワークインターフェース520、電源540、処理デバイス560、およびデータベース580は、図4および図5を参照して上述した同様の要素の機能と同様の機能を仮定される。上述の構成要素の具体的な設計および実装は、システム200の実装に基づいて変動し得る。加えて、リモート処理ユニット208は、より多くのまたはより少ない構成要素を含み得る。例えば、リモート処理ユニット208は、1つまたは複数の入力デバイスから直接入力を受信するように構成された入力インターフェースを含み得る。
本開示と一致して、システム200の処理デバイス(例えば、モバイル通信デバイス206内のプロセッサ、サーバ210内のプロセッサ、ウェアラブルエクステンデッドリアリティ機器110などのウェアラブルエクステンデッドリアリティ機器内のプロセッサ、および/またはキーボード104などのウェアラブルエクステンデッドリアリティ機器110に関連付けられた入力デバイス内のプロセッサ)は、本明細書に開示される方法のうちのいずれかを実装するために、機械学習アルゴリズムを使用することができる。いくつかの実施形態では、機械学習アルゴリズム(本開示では機械学習モデルとも称される)は、例えば以下で説明される場合に、訓練例を使用して訓練され得る。このような機械学習アルゴリズムのいくつかの非限定的な例としては、分類アルゴリズム、データ回帰アルゴリズム、画像セグメンテーションアルゴリズム、視覚検出アルゴリズム(オブジェクト検出器、顔検出器、人物検出器、動き検出器、エッジ検出器など)、視覚認識アルゴリズム(顔認識、人物認識、オブジェクト認識など)、音声認識アルゴリズム、数学的埋め込みアルゴリズム、自然言語処理アルゴリズム、サポートベクタマシン、ランダムフォレスト、最近傍アルゴリズム、深層学習アルゴリズム、人工ニューラルネットワークアルゴリズム、畳み込みニューラルネットワークアルゴリズム、リカレントニューラルネットワークアルゴリズム、線形機械学習モデル、非線形機械学習モデル、アンサンブルアルゴリズムなどが挙げられ得る。例えば、訓練された機械学習アルゴリズムは、予測モデル、分類モデル、データ回帰モデル、クラスタリングモデル、セグメンテーションモデル、人工ニューラルネットワーク(ディープニューラルネットワーク、畳み込みニューラルネットワーク、リカレントニューラルネットワークなど)、ランダムフォレスト、サポートベクタマシンなどの推論モデルを含み得る。いくつかの例では、訓練例は、例示的な入力を、例示的な入力に対応する所望の出力とともに含み得る。さらに、いくつかの例では、訓練例を使用して機械学習アルゴリズムを訓練することは、訓練された機械学習アルゴリズムを生成することができ、訓練された機械学習アルゴリズムは、訓練例に含まれない入力に対する出力を推定するために使用され得る。いくつかの例では、機械学習アルゴリズムを訓練するエンジニア、科学者、プロセス、および機械は、検証例および/または試験例をさらに使用し得る。例えば、検証例および/または試験例は、例示的な入力を、例示的な入力に対応する所望の出力とともに含むことができ、訓練された機械学習アルゴリズムおよび/または中間訓練された機械学習アルゴリズムを使用して、検証例および/または試験例の例示的な入力に対する出力を推定することができ、推定された出力を対応する所望の出力と比較することができ、訓練された機械学習アルゴリズムおよび/または中間訓練された機械学習アルゴリズムを、比較の結果に基づいて評価することができる。いくつかの例では、機械学習アルゴリズムは、パラメータおよびハイパーパラメータを有することができ、ハイパーパラメータは、人が手動で、または機械学習アルゴリズムの外部のプロセス(ハイパーパラメータ探索アルゴリズムなど)によって自動的に設定することができ、機械学習アルゴリズムのパラメータは、訓練例に基づいて機械学習アルゴリズムによって設定することができる。いくつかの実装形態では、ハイパーパラメータは、訓練例および検証例に基づいて設定されてもよく、パラメータは、訓練例および選択されたハイパーパラメータに基づいて設定されてもよい。例えば、ハイパーパラメータが与えられると、パラメータは、検証例から条件付きで独立し得る。
いくつかの実施形態では、訓練された機械学習アルゴリズム(本開示では機械学習モデルおよび訓練された機械学習モデルとも称される)が、例えば、以下に説明される場合に、入力を分析し、出力を生成するために使用され得る。いくつかの例では、訓練された機械学習アルゴリズムが、入力が提供されたときに推論された出力を生成する推論モデルとして使用され得る。例えば、訓練された機械学習アルゴリズムは、分類アルゴリズムを含み得、入力は、サンプルを含み得、推論された出力は、サンプルの分類(推論されたラベル、推論されたタグなど)を含み得る。別の例では、訓練された機械学習アルゴリズムは、回帰モデルを含み得、入力は、サンプルを含み得、推論された出力は、サンプルに対応する推論された値を含み得る。さらに別の例では、訓練された機械学習アルゴリズムは、クラスタリングモデルを含み得、入力は、サンプルを含み得、推論された出力は、少なくとも1つのクラスタへのサンプルの割り当てを含み得る。追加の例では、訓練された機械学習アルゴリズムは、分類アルゴリズムを含み得、入力は、画像を含み得、推論された出力は、画像内に示されたアイテムの分類を含み得る。さらに別の例では、訓練された機械学習アルゴリズムは、回帰モデルを含み得、入力は、画像を含み得、推論された出力は、画像内に示されたアイテムに対応する推論された値(サイズ、ボリューム、画像内に示された人物の年齢、画像内に示されたアイテムからの距離など、アイテムの推定されたプロパティなど)を含み得る。追加の例では、訓練された機械学習アルゴリズムは、画像セグメンテーションモデルを含み得、入力は、画像を含み得、推論された出力は画像のセグメンテーションを含み得る。さらに別の例では、訓練された機械学習アルゴリズムは、オブジェクト検出器を含み得、入力は、画像を含み得、推論された出力は、画像内の1つもしくは複数の検出されたオブジェクト、および/または画像内のオブジェクトの1つもしくは複数の場所を含み得る。いくつかの例では、訓練された機械学習アルゴリズムは、1つもしくは複数の式、および/または1つもしくは複数の関数、および/または1つもしくは複数のルール、および/または1つもしくは複数のプロシージャを含むことができ、入力は、式および/または関数、および/またはルール、および/またはプロシージャへの入力として使用することができ、推論された出力は、式および/または関数、および/またはルール、および/またはプロシージャの出力に基づくことができる(例えば、公式および/または関数、および/またはルール、および/またはプロシージャの出力のうちの1つを選択すること、式および/または関数、および/またはルール、および/またはプロシージャの出力の統計的尺度を使用することなど)。
本開示と一致して、システム200の処理デバイスは、本明細書に開示される方法のうちのいずれかを実装するために、画像センサ(例えば、画像センサ372、画像センサ472、または任意の他の画像センサ)によってキャプチャされた画像データを分析することができる。いくつかの実施形態では、画像データを分析することは、前処理された画像データを取得するために画像データを分析することと、その後、所望の結果を取得するために画像データおよび/または前処理された画像データを分析することとを含み得る。当業者であれば、以下が例であり、他の種類の前処理方法を使用して画像データが前処理され得ることを認識するであろう。いくつかの例では、画像データは、変換された画像データを取得するために変換関数を使用して画像データを変換することによって前処理され得、前処理された画像データは、変換された画像データを含み得る。例えば、変換された画像データは、画像データの1つまたは複数の畳み込みを含み得る。例えば、変換関数は、ローパスフィルタ、ハイパスフィルタ、バンドパスフィルタ、オールパスフィルタなどの1つまたは複数の画像フィルタを含み得る。いくつかの例では、変換関数は非線形関数を含み得る。いくつかの例では、画像データは、例えば、ガウス畳み込みを使用して、メディアンフィルタを使用してなど、画像データの少なくとも一部を平滑化することによって前処理され得る。いくつかの例では、画像データは、画像データの異なる表現を取得するために前処理され得る。例えば、前処理された画像データは、周波数領域における画像データの少なくとも一部の表現、画像データの少なくとも一部の離散フーリエ変換、画像データの少なくとも一部の離散ウェーブレット変換、画像データの少なくとも一部の時間/周波数表現、低次元における画像データの少なくとも一部の表現、画像データの少なくとも一部の非可逆表現、画像データの少なくとも一部の可逆表現、上記のうちのいずれかの時系列、上記の任意の組み合わせなどを含んでもよい。いくつかの例では、画像データは、エッジを抽出するために前処理され得、前処理された画像データは、抽出されたエッジに基づく情報および/またはそれに関連する情報を含み得る。いくつかの例では、画像データは、画像データから画像特徴を抽出するために前処理され得る。このような画像特徴のいくつかの非限定的な例は、エッジ、コーナー、ブロブ、リッジ、スケール不変特徴変換(SIFT)特徴、時間的特徴などに基づく情報および/またはそれらに関連する情報を含み得る。いくつかの例では、画像データを分析することは、画像データの少なくとも一部分の少なくとも1つの畳み込みを計算することと、計算された少なくとも1つの畳み込みを使用して、少なくとも1つの結果値を計算すること、および/または決定、識別、認識、分類などを行うこととを含み得る。
本開示の他の態様と一致して、システム200の処理デバイスは、本明細書で開示される方法のうちのいずれかを実装するために画像データを分析することができる。いくつかの実施形態では、画像を分析することは、1つまたは複数のルール、関数、プロシージャ、人工ニューラルネットワーク、オブジェクト検出アルゴリズム、顔検出アルゴリズム、視覚イベント検出アルゴリズム、アクション検出アルゴリズム、動き検出アルゴリズム、背景減算アルゴリズム、推論モデルなどを使用して、画像データおよび/または前処理された画像データを分析することを含み得る。このような推論モデルのいくつかの非限定的な例としては、手動で事前にプログラムされた推論モデル、分類モデル、回帰モデル、訓練例に対する機械学習アルゴリズムおよび/または深層学習アルゴリズムなどの訓練アルゴリズムの結果などが挙げられ得、訓練例は、データインスタンスの例を含み得、場合によっては、データインスタンスは、対応する所望のラベルおよび/または結果でラベル付けされ得る。いくつかの実施形態では、(例えば、本明細書に説明される方法、ステップ、およびモジュールによって)画像データを分析することは、画像データに含まれるピクセル、ボクセル、点群、範囲データなどを分析することを含み得る。
畳み込みは、任意の次元の畳み込みを含み得る。1次元畳み込みは、元の数列を変換された数列に変換する関数である。1次元畳み込みは、スカラの列によって定義され得る。変換された数列の各特定の値は、特定の値に対応する元の数列の部分列の値の線形結合を計算することによって決定され得る。計算された畳み込みの結果値は、変換された数列の任意の値を含み得る。同様に、n次元畳み込みは、元のn次元配列を変換された配列に変換する関数である。n次元畳み込みは、(n次元畳み込みのカーネルとして知られる)スカラのn次元配列によって定義され得る。変換された配列の各特定の値は、特定の値に対応する元の配列のn次元領域内の値の線形結合を計算することによって決定され得る。計算された畳み込みの結果値は、変換された配列内の任意の値を含み得る。いくつかの例では、画像は、(色成分、深度成分などの)1つまたは複数の成分を含み得、各成分は、ピクセル値の2次元配列を含み得る。一例では、画像の畳み込みを計算することは、画像の1つまたは複数の成分に対する2次元畳み込みを計算することを含み得る。別の例では、画像の畳み込みを計算することは、3次元配列を作成するために種々の成分からの配列を積み重ねることと、得られた3次元配列に対して3次元畳み込みを計算することとを含み得る。いくつかの例では、ビデオは、(色成分、深度成分などの)1つまたは複数の成分を含み得、各成分は、(2つの空間軸および1つの時間軸を有する)ピクセル値の3次元配列を含み得る。一例では、ビデオの畳み込みを計算することは、ビデオの1つまたは複数の成分に対する3次元畳み込みを計算することを含み得る。別の例では、ビデオの畳み込みを計算することは、4次元配列を作成するために種々の成分からの配列を積み重ねることと、得られた4次元配列に対して4次元畳み込みを計算することとを含み得る。
いくつかの開示される実施形態は、ウェアラブルエクステンデッドリアリティ機器のユーザ間でのコンテンツ共有を可能にするために構成されたシステム、方法、および非一時的コンピュータ可読媒体を含み得る。コンテンツ共有は、あるエンティティによる別のエンティティへのテキスト、画像、プログラム、または任意の他の情報の提示を含み得る。コンテンツは、機器を装着しているあるエンティティが、別のウェアラブルエクステンデッドリアリティ機器を介して利用可能なコンテンツを閲覧するか、または他の方法でそれにアクセスし得るように、ウェアラブルエクステンデッドリアリティ機器のユーザ間で共有され得る。コンテンツ共有は、多くの異なる方法で有効にされ得る。いくつかの実施形態では、有効化は、2つのエクステンデッドリアリティ機器間のリンクを通じて生じ得る。一例では、リンクは、2つのエクステンデッドリアリティ機器間の直接および/または間接通信リンクを含み得る。別の例では、システム(集中型システムなど)は、2つのエクステンデッドリアリティ機器の各々と通信して、例えば、2つのエクステンデッドリアリティ機器の各々に提示のためのコンテンツを提供し、エクステンデッドリアリティ機器に関連付けられた場所および/もしくは向き情報、ならびに/またはコンテンツを提示することに関する任意の他の情報を受信することができる。リンクは、システムのデータ構造またはデータベース内の、またはシステムによって維持されるリンケージを含み得る。1つの非限定的な例では、2つのエンティティの検出された近接が、コンテンツの自動または選択可能な共有をトリガし得る。他の実施形態では、1つのエンティティは、グループまたは個人のいずれかと共有するためのコンテンツを選択してもよく、またはコンテンツを物理的もしくは仮想場所に結び付け、その場所にアクセスする誰もがコンテンツを閲覧することを可能にしてもよい。いくつかの実施形態では、コンテンツ共有は、許可によって有効にされてもよく、共有コンテンツの閲覧は、適切な権限を有するエンティティに対してのみ有効にされる。さらに他の実施形態では、ルールは、誰とコンテンツを共有することができるかを定義することができる。さらなる例示的な実施形態では、共有は、1つの機器から別の機器に送信される要求を介して有効にされ得る。コンテンツ共有は、いくつかの実施形態では、1つまたは複数のセンサからの信号の結果として開始されてもよい。例えば、1つまたは複数の画像センサは、コンテンツを共有する意図を示すジェスチャを検出し得る。あるいは、近接センサは、2つのウェアラブルエクステンデッドリアリティ機器が互いに近接しているときに共有する能力をトリガすることができる。本開示と一致する、コンテンツ共有が有効にされ得る多くの異なる方法があり、本開示は、いかなる特定のものにも限定されない。
いくつかの開示される実施形態は、少なくとも1つのプロセッサによって実行されたとき、少なくとも1つのプロセッサに、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間のリンクを確立させる命令を含むコンピュータ可読媒体を含み得る。いくつかの実施形態では、リンクを確立することは、第1のウェアラブルエクステンデッドリアリティ機器と第2のエクステンデッドウェアラブルリアリティ機器との間で通信する任意の手段を指すことができる。いくつかの実施形態では、第1のウェアラブルエクステンデッドリアリティ機器および第2のウェアラブルエクステンデッドリアリティ機器がどのようにデータを送信および受信するかを規定する正式プロトコルがあり得る。このようなプロトコルは、伝送制御プロトコル/インターネットプロトコル(TCP/IP)、Bluetooth、赤外線、近距離通信、超広帯域、WiFi、Zig-Bee、短距離通信プロトコル、および/または長距離通信プロトコルを含み得るが、これらに限定されない。第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間のこのような通信手段は、ローカルエリアネットワーク(LAN)、無線ローカルエリアネットワーク(WLAN)、バーチャルプライベートネットワーク(VPN)、間接通信リンク、および/または指向性通信リンクを含み得るが、これらに限定されない。プロセッサは、第1のウェアラブルエクステンデッドリアリティ機器に、上記で識別されたプロトコルのうちの1つまたは複数を介して第2のウェアラブルエクステンデッドリアリティ機器との通信を開始させることができる。いくつかの例では、リンクを確立することは、例えば、エクステンデッドリアリティ環境を調整するシステム、第1および第2のウェアラブルエクステンデッドリアリティ機器の両方と通信するシステム、ならびに/または第1および第2のウェアラブルエクステンデッドリアリティ機器の両方に提示のためのコンテンツを提供するシステムにおける、データ構造および/またはデータベースにおけるリンケージを指すことができる。
いくつかの開示される実施形態は、リンク(例えば、通信リンク、データ構造および/またはデータベース内のリンク)を確立することと、第1のウェアラブルエクステンデッドリアリティ機器が第2のウェアラブルエクステンデッドリアリティ機器に近接して検出されたときに情報交換を可能にすることとを含み得る。このような命令は、閾値距離に基づいて構成されてもよく、この閾値距離は、エクステンデッドリアリティ機器のユーザ間で異なってもよい。例えば、第1のウェアラブルエクステンデッドリアリティ機器ユーザは、家族などの特定の種類のユーザが周りにいるとき、より短い閾値距離、例えば1メートルまたは2メートルで第2のウェアラブルエクステンデッドリアリティ機器とのリンクを開始することを好む場合がある。対照的に、同じ第1のウェアラブルエクステンデッドリアリティ機器ユーザは、同僚またはチームメンバーとの通信を容易にするために、より長い閾値距離で第2のウェアラブルエクステンデッドリアリティ機器とのリンクを開始することを好む場合がある。ユーザは、ユーザの選好に応じて閾値距離設定を自由に更新することができる。
いくつかの例では、ウェアラブルエクステンデッドリアリティ機器間の通信リンクは、中間デバイスを介してもよい。中間デバイスは、リモートアクセスサーバ(RAS)とRASクライアントとの間に配置された任意のネットワーキングデバイスを含み得る。中間デバイスは、2つの別個のウェアラブルエクステンデッドリアリティ機器間の接続性を提供することを支援することができる。中間デバイスは、2つのウェアラブルエクステンデッドリアリティ機器間の通信リンクが確立される前に、追加のセキュリティ層を提供することができる。例えば、セキュリティプロトコルが満たされない場合、中間デバイスは、2つのエクステンデッドリアリティ機器間の接続の確立を防止することができる。
いくつかの開示される実施形態は、第1のウェアラブルエクステンデッドリアリティ機器を通じて第1の仮想コンテンツを提示することを含み得る。仮想コンテンツは、様々な異なる形態をとることができ、ドキュメント、写真、ビデオ、仮想キャラクタ、および無線で送信され得る任意の他の共有可能な媒体を含み得る。いくつかの例では、仮想コンテンツは、エクステンデッドリアリティ環境の一部として提示されてもよい。他の例では、仮想コンテンツは、テレビ、タブレット、ラップトップ、またはスマートフォンなどの物理画面に表示されてもよく、あるいは1つまたは複数のエクステンデッドリアリティ機器などを通じて、仮想画面に表示されてもよい。
いくつかの開示される実施形態は、第2のウェアラブルエクステンデッドリアリティ機器を介して第1の仮想コンテンツを表示するための第1のコマンドを取得することを含み得る。第1のコマンドは、第2のウェアラブルエクステンデッドリアリティ機器を介して仮想コンテンツを表示するために少なくとも1つのプロセッサから受信された信号を指すことがある。別の例では、第1のコマンドは、ユーザから、および/またはユーザのアクションに応答して取得されたコマンドを指すことがある。非一時的コンピュータ可読媒体は、コンテンツを共有するように構成され得、少なくとも1つのプロセッサが、仮想コンテンツを表示するために第1のウェアラブルエクステンデッドリアリティ機器に信号を送信するための命令を含み得る。
いくつかの開示される実施形態では、仮想コンテンツを提示するための第1のコマンドを取得することは、第1のウェアラブルエクステンデッドリアリティ機器によってキャプチャされたデータにおける共有意図を含み得る。共有意図は、仮想コンテンツを別のユーザに提示すること、または仮想コンテンツを別のユーザと交換することをユーザが望むことを指すことがある。一例では、機械学習モデルは、キャプチャされたデータを分析することによって共有意図を識別するために、訓練例を使用して訓練され得る。このような訓練例の例としては、サンプルキャプチャデータが共有意図および/または共有意図のパラメータ(例えば、特定のコンテンツを共有する意図、特定のエリアに提示されたコンテンツを共有する意図、特定のエンティティとコンテンツを共有する意図、および/または特定の方法でコンテンツを共有する意図)に対応するかどうかを示すラベルとともに、サンプルキャプチャデータが挙げられ得る。訓練された機械学習モデルは、第1のウェアラブルエクステンデッドリアリティ機器によってキャプチャされたデータを分析し、共有意図および/または共有意図のパラメータを識別するために使用され得る。例えば、ユーザの共有意図は、キャプチャされた画像データにおいて識別されてもよい。このようなキャプチャされた画像データのいくつかの非限定的な例としては、第1のウェアラブルエクステンデッドリアリティ機器に含まれる画像センサ、第2のウェアラブルエクステンデッドリアリティ機器に含まれる画像センサ、第1および第2のウェアラブルエクステンデッドリアリティ機器の環境内のデバイスに含まれる画像センサを使用してキャプチャされた(1つまたは複数の画像および/または1つもしくは複数のビデオなどの)画像データが挙げられ得る(デバイスは、別のウェアラブルエクステンデッドリアリティ機器、部屋に取り付けられた固定カメラ、および/または画像もしくはビデオデータをキャプチャし得る任意の他のデバイスなど、第1および第2のウェアラブルエクステンデッドリアリティ機器とは異なり得る)。ユーザの共有意図は、画像データを分析して、キャプチャされた画像データ内のオブジェクトの動きまたは位置もしくは向きの変化を検出することによって識別され得る。例えば、ユーザの共有意図は、画像データを分析するために視覚ジェスチャ認識アルゴリズムを使用することによって、ユーザの手の動き(例えば、ユーザが手を振っている)を検出することによって識別され得る。別の例では、ユーザの共有意図は、例えば、視覚オブジェクト追跡アルゴリズムを使用して、ユーザが1つまたは複数のキャプチャされた画像内のハードウェアを移動させたことを検出することによって識別され得る。加えて、このような共有意図は、ユーザが指を動かし、うなずき、エクステンデッドリアリティ機器に触れ、または他の方法でコンテンツを共有することを望む別のユーザにジェスチャした場合にキャプチャされ得る。いくつかの例では、機械学習モデルは、画像および/またはビデオを分析することによって共有意図を識別するために、訓練例を使用して訓練され得る。このような訓練例の例としては、サンプル画像および/またはサンプルビデオが共有意図および/または共有意図のパラメータ(例えば、特定のコンテンツを共有する意図、特定のエリアに提示されたコンテンツを共有する意図、特定のエンティティとコンテンツを共有する意図、特定の方法でコンテンツを共有する意図、および/または特定の時間にコンテンツを共有する意図)に対応するかどうかを示すラベルとともに、サンプル画像および/またはサンプルビデオが挙げられ得る。訓練された機械学習モデルは、キャプチャされた画像データを分析し、共有意図および/または共有意図のパラメータを識別するために使用され得る。いくつかの例では、計算された畳み込みの結果値を取得するために、画像データの少なくとも一部の畳み込みが計算され得る。一例では、計算された畳み込みの第1の結果値に応答して、第1の仮想コンテンツの共有意図が識別されてもよく、計算された畳み込みの第2の結果値に応答して、第1の仮想コンテンツの共有意図が識別されなくてもよい。別の例では、計算された畳み込みの第1の結果値に応答して、1つの仮想コンテンツの共有意図が識別されてもよく、計算された畳み込みの第2の結果値に応答して、別の仮想コンテンツの共有意図が識別されてもよい。
例として、図6は、共有動作612を介した第1のエクステンデッドリアリティ機器ユーザ610の共有意図を示す。例えば、図6に示すように、第1のユーザ610による手振りは、仮想コンテンツ614を第2のエクステンデッドリアリティ機器ユーザ616と共有する意図を反映する。
ユーザの共有意図をキャプチャするために使用され得るハードウェアは、ポインタ、キーボード、マウス、ジョイスティック、またはデータを共有することを容易にするように設計された任意の他のオブジェクトを含み得る。このような共有意図は、ユーザがマウスまたはジョイスティックなどのハードウェアを別のユーザに向かって移動させたときにキャプチャされ得る。いくつかの実施形態では、ユーザの共有意図はまた、ユーザがワンドを振ったとき、キーボード上のボタンを押したとき、または他の方法で別のユーザに対してジェスチャしたときに決定され得る。いくつかの実施形態では、ハードウェアからキャプチャされたデータに基づく共有意図の識別は、ユーザの選好に基づいて構成されてもよく、第2のユーザに向かってハードウェアを移動させることに限定されなくてもよい。
ユーザの選好は、特定のウェアラブルエクステンデッドリアリティ機器ユーザが、仮想コンテンツを共有するように自身の機器を構成することをどのように選択するかを指す。例えば、あるユーザは、手の動きを介して仮想コンテンツを共有することを好む場合があり、別のユーザは、ポインタまたはジョイスティックを介してコンテンツを共有することを好む場合がある。あるいは、ユーザは、コンテンツを共有するためのジェスチャ選好を定義することを許可され得る。
いくつかの実施形態では、共有意図はまた、キャプチャされた音声データにおいて識別され得る。例えば、キャプチャされた音声データは、第1のウェアラブルエクステンデッドリアリティ機器に含まれるオーディオセンサを使用して、第2のウェアラブルエクステンデッドリアリティ機器に含まれるオーディオセンサを使用して、および/または別のデバイスに含まれるオーディオセンサを使用してキャプチャされたオーディオデータを含み得る。一例では、ユーザは、音声コマンドを通じて共有を口頭で開始することができる。コマンドは、例えば、「コンテンツを共有する」、「コンテンツを送信する」、「コンテンツを表示する」、「コンテンツを提示する」、または別のユーザとコンテンツを共有する要求として解釈され得る任意の他の単語の組み合わせを含み得るが、これらに限定されない。加えて、口頭コマンドは、第2のユーザを具体的に指名してもよく、例えば、「ユーザXとコンテンツを共有する」という形態をとってもよい。口頭コマンドはまた、ユーザの選好に基づいて構成されてもよい。一例では、キャプチャされた音声データは、共有意図および/または共有意図のパラメータに対応する音声コマンドを識別するために、音声認識アルゴリズムを使用して分析することができる。
上述したように、各固有のウェアラブルエクステンデッドリアリティ機器ユーザの選好は、コンテンツ共有の制御が可能な非一時的コンピュータ可読媒体に記憶されてもよい。
いくつかの実施形態では、共有意図は、キャプチャされた位置決めデータにおいて識別され得る。このような位置決めデータは、第1のウェアラブルエクステンデッドリアリティ機器ユーザの位置および/もしくは向きに基づいて、第1のウェアラブルエクステンデッドリアリティ機器の位置および/もしくは向きに基づいて、ならびに/または第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたデバイス(例えば、キーボード、グローブ、および/またはポインティングデバイスなどの、第1のウェアラブルエクステンデッドリアリティ機器のユーザによって使用される別のデバイス)の位置および/もしくは向きに基づいてキャプチャされ得る。例えば、共有意図は、ユーザが自身の身体およびウェアラブルエクステンデッドリアリティ機器を別のユーザの身体に近づけて配置するときに識別され得る。別の例として、共有意図は、ユーザが座っている位置から立ったとき、別のユーザに傾いたとき、または他の方法で共有意図を示すようにユーザの身体もしくはエクステンデッドリアリティ機器を配置したときに識別され得る。位置決めデータに基づく共有意図はまた、ユーザの選好に基づいて構成され得る。一例では、位置および/または向きは、第1のウェアラブルエクステンデッドリアリティ機器に含まれるセンサ、および/または位置決めセンサ(加速度計、ジャイロスコープ、および/またはGPSセンサなど)および/または画像センサなどの異なるデバイスに含まれるセンサを使用してキャプチャされたデータを分析することによって(例えば、画像センサを使用して、エゴモーションアルゴリズムを使用して、および/または視覚オブジェクト追跡アルゴリズムを使用して、キャプチャされた画像データを分析することによって)決定され得る。
いくつかの実施形態では、第1のコマンドを取得することは、エクステンデッドリアリティ環境(仮想現実環境、拡張現実環境、および/または複合現実環境など)において実行されたアクションに関連付けられた共有意図を識別することを含み得る。以下の段落で説明するように、エクステンデッドリアリティ環境において実行されるアクションは、共有バブルもしくは共有リングを介して、または2つ以上のウェアラブルエクステンデッドリアリティ機器の間のリンクを確立した時点で別のウェアラブルエクステンデッドリアリティ機器ユーザとコンテンツを自動的に共有することによって、コンテンツを共有することを含み得る。
いくつかの実施形態では、共有意図を識別することは、第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザが、第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザに向かって第1の仮想コンテンツを提示する仮想画面の向きを変更したと決定することを含み得る。一例では、第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザが仮想画面の向きを第2のユーザに向けて変更したと決定することは、仮想画面が第2のユーザに向けて配向されていると決定することと、仮想画面が第1のユーザのアクションの結果として(かつ、例えば、第2のユーザの動きの結果としてではなく)第2のユーザに向けて配向されたと決定することとを含み得る。一例では、第1のユーザのアクションの結果として仮想画面が第2のユーザに向けて配向されたかどうかを決定することは、第2のユーザの動きおよび/または仮想画面の動きおよび/または仮想画面の動きにつながる入力の分析に基づき得る。例えば、エクステンデッドリアリティ環境を調整するシステム、第1および第2のウェアラブルエクステンデッドリアリティ機器の両方と通信するシステム、第1および第2のウェアラブルエクステンデッドリアリティ機器の両方に提示のためのコンテンツを提供するシステム、または第1のウェアラブルエクステンデッドリアリティ機器のうちの少なくとも1つは、仮想画面の向きが第2のユーザに向かって変化したと決定することができる。第1のウェアラブルエクステンデッドリアリティ機器ユーザの選好に基づいて、これは、第2のユーザとの共有意図を明示し得る。いくつかの例では、第1の角度は、仮想画面に対応する表面と第1のウェアラブルエクステンデッドリアリティ機器のユーザに関連付けられた方向との間の角度であってもよく、第2の角度は、仮想画面に対応する表面と第2のウェアラブルエクステンデッドリアリティ機器のユーザに関連付けられた方向との間の角度であってもよく、第1の仮想コンテンツを提示する仮想画面の向きが第2のウェアラブルエクステンデッドリアリティの第2のユーザに向かって変化したという決定は、第1の角度および第2の角度に基づいてもよい。ユーザに関連付けられたこのような方向のいくつかの非限定的な例としては、ユーザの頭部の方向、ユーザの身体の方向、ユーザの注視および/もしくは眼の方向、ユーザの固視線方向、ユーザの視線方向、ユーザの視軸方向、ユーザの瞳孔軸方向、ユーザの光軸方向、ならびに/またはユーザのウェアラブルエクステンデッドリアリティ機器の向きに関連付けられた方向が挙げられ得る。一例では、第1の仮想コンテンツを提示する仮想画面の向きが第2のユーザに向かって変化したかどうかを決定するために、第1の角度と第2の角度との関数が計算され、閾値と比較され得る。別の例では、角度および/または距離に基づいて仮想画面の向きがユーザに向かって変更されるかどうかを決定するために、訓練例を使用して機械学習モデルが訓練され得る。このような訓練例の例としては、サンプル仮想画面がサンプルユーザの各々に向かって配向されているかどうかを示すラベルとともに、サンプルユーザに対するサンプル仮想画面のサンプル角度、および/またはサンプルユーザからのサンプル仮想画面のサンプル距離が挙げられ得る。訓練された機械学習モデルは、第1の角度、第2の角度、および場合によっては仮想画面からのユーザの距離を分析して、仮想画面が第2のユーザに向けて配向されていると決定するために使用され得る。
さらに、第2のウェアラブルエクステンデッドリアリティ機器のユーザは、物理的閾値距離であれ仮想近接であれ、仮想画面の近接内に位置し得る。一例では、共有意図は、第1のウェアラブルエクステンデッドリアリティ機器のユーザが第2のウェアラブルエクステンデッドリアリティ機器のユーザに傾くか、またはうなずき、その結果、向きの変化がキャプチャされ得る場合に決定され得る。第2のウェアラブルエクステンデッドリアリティ機器のユーザはまた、アバターなどのユーザの表現であってもよい。したがって、第2のユーザが第1のユーザの隣に物理的に位置していなかった場合でも、第1のユーザは、向きの変化に基づいてコンテンツを共有することができる。
いくつかの実施形態では、共有意図を識別することは、第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザが、第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザを取り囲む仮想共有空間に向かって第1の仮想コンテンツを移動させたと決定することを含み得る。一例では、第2のユーザを取り囲む仮想共有空間は、共有バブルと称され得る。例えば、少なくとも1つのプロセッサは、ジェスチャ、第1の仮想コンテンツのドラッグ、または第1のユーザによって行われる他の物理的な動きの形態をとり得るアクションを検出するように構成されてもよい。少なくとも1つのプロセッサは、検出されたジェスチャ、ドラッグ、または他の物理的な移動に基づいて、仮想共有空間に向かう第1の仮想コンテンツの動きを決定するように構成され得る。この共有アクションはまた、コンテンツを共有することを望む他の人々に傾くという人々の自然な移動に基づき得る。このような動きは、少なくとも1つのエクステンデッドリアリティ機器内の1つまたは複数のセンサによって、または別のデバイスに関連付けられたセンサを介して検出され得る。
共有バブルとして知られる上記の実施形態における仮想共有空間は、無数の異なる方法で自動的に決定され得る。例えば、仮想共有空間は、第2のユーザおよび/または第2のウェアラブルエクステンデッドリアリティ機器の位置および/または移動に基づいて決定され得る。例えば、仮想共有空間は、第2のユーザおよび/または第2のウェアラブルエクステンデッドリアリティ機器から選択された距離内の空間を含み得る。この実施形態では、第1のユーザが第2のユーザの特定の距離内にいるとき、仮想コンテンツは、第2のユーザと自動的に共有され得る。別の例では、共有バブルは、動きの方向に細長くてもよい。さらに別の例では、共有バブルは、垂直方向よりも水平方向に大きくてもよい。
共有バブルは、ユーザの周囲の空間であってもよい。この空間は、様々な異なる方法で定義されてもよい。いくつかの実施形態では、1人または複数のユーザを取り囲むバブルのサイズおよび/または向きは、ユーザの数、ユーザの位置、バブルに属していない他の人々の位置、ユーザの向き、バブルに属していない他の人々の向き、ユーザの身元、バブルに属していないユーザの身元、ユーザの近傍の非アニメーションのオブジェクトの位置、ユーザの近傍の非アニメーションのオブジェクトの種類、ユーザの近傍の非アニメーションのオブジェクトのステータス、ユーザの動きパターン、バブルに属していない他の人々の動きパターン、ユーザの選好、ユーザの過去の挙動、ユーザのジェスチャ、および/またはユーザ同士の近接性に関する他の要因によって決定され得る。一例では、これらのパラメータのうちの1つまたは複数の位相関数が、共有バブルの空間を定義することができる。
2人以上のユーザの仮想共有バブルが衝突したとき、2人以上のユーザは、仮想コンテンツアイテムが2人以上のユーザのエクステンデッドリアリティの間で共有され得る新しい共有されたバブルを作成する機会を自動的に提供され得る。少なくとも1つのプロセッサは、仮想共有バブル間に重複があると決定するように構成されてもよく、それに応答して、少なくとも1つのプロセッサは、重複するバブルのユーザに、仮想コンテンツがこれらのユーザ間で共有され得ることを示唆してもよい。ユーザのウェアラブルエクステンデッドリアリティ機器はまた、別のユーザのバブルと重複すると、自動的にコンテンツを共有するように構成されてもよい。
例として、図7Aは、一対のユーザ714および716を示す。図7Aに示すように、第1のウェアラブルエクステンデッドリアリティ機器ユーザ714は、関連付けられた仮想共有バブル710を有することができ、第2のウェアラブルエクステンデッドリアリティ機器ユーザ716は、関連付けられた仮想共有バブル718を有することができる。第1のウェアラブルエクステンデッドリアリティ機器ユーザ714の仮想共有バブル710は、例えば、第1のウェアラブルエクステンデッドリアリティ機器ユーザ714が第2のユーザ716に向かって移動するとき、第2のウェアラブルエクステンデッドリアリティ機器ユーザ716の仮想共有バブル718と接触し、重複し得る。図7Bは、仮想共有バブル710が重複領域720を介して仮想共有バブル718と重複する条件を示す。仮想コンテンツ712は、共有バブル710および718が、例えば、重複領域720で重複するとき、および/または重複領域720のボリュームが選択されたボリューム閾値を上回るとき、第2のウェアラブルエクステンデッドリアリティ機器ユーザ716と自動的に共有され得る。一例では、ボリューム閾値は、構成によって、ユーザによって、仮想共有バブル710のボリュームおよび/または仮想共有バブル718のボリューム、ユーザ714、716のボリューム、および/または仮想コンテンツ712のボリュームの関数として選択され得る。
例として、図8Aおよび図8Bは、図8Aに示すように、第1のエクステンデッドリアリティ機器ユーザ812および第2のエクステンデッドリアリティ機器ユーザ816からの共有バブルが重複した後の組み合わされた仮想共有バブル810を示す。仮想コンテンツ814は、図8Bに示すように、これらの仮想共有バブルが重複するときに自動的に共有されてもよいが、仮想コンテンツ814はまた、第1のユーザ812が第2のユーザ816に傾いたとき(例えば、仮想共有バブルが重複するときに第1のユーザ812が第2のユーザ816に傾いたとき)に自動的に共有されてもよい。組み合わされた共有バブル810は、ユーザが互いに近づくにつれてサイズを縮小することができる。
仮想共有空間はまた、第2のウェアラブルエクステンデッドリアリティ機器の使用モード、ユーザ、第2のウェアラブルエクステンデッドリアリティ機器、および/または第2のウェアラブルエクステンデッドリアリティ機器を取り囲むオブジェクトに基づいて決定され得る。例えば、ユーザは、そのユーザが部屋に入るか、第2のユーザの机を通過するか、または部屋の中の任意の他のオブジェクトの近傍内を歩くときに、コンテンツを自動的に共有するようにエクステンデッドリアリティ機器を構成することができる。加えて、使用モードは、一部のユーザとコンテンツを自動的に共有し、他のユーザとコンテンツを共有しないように構成されてもよい。
使用モードは、ユーザが達成することを望む種々のタスクに基づいて、ユーザが彼らのエクステンデッドリアリティシステム(例えば、彼らのウェアラブルエクステンデッドリアリティ機器)を構成する種々の設定を指すことがある。例えば、1つの使用モードは、職場で実行されるアクティビティにのみ適用されてもよい。この例では、ドキュメントおよび電子メールを含む特定の種類のコンテンツが、2人のウェアラブルエクステンデッドリアリティ機器ユーザの間で特定の距離で共有され得る。別の例では、使用モードは、自宅で実行されるアクティビティにのみ適用されてもよい。ユーザは、例えば、ビデオを共有することを望むが、ドキュメントまたは電子メールを共有することを望まない場合がある。
いくつかの実施形態では、共有意図を識別することはまた、第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザが定義された共有空間に向かって第1の仮想コンテンツを移動させたと決定することを含み得る。例えば、2人のエクステンデッドリアリティ機器ユーザが互いに向かって移動するときにコンテンツを自動的に共有することに加えて、またはその代わりに、ユーザは、長さ、幅、高さ、および/または部屋の中の位置などの事前定義されたパラメータに基づいて共有空間を作成することができる。2人のユーザの仮想共有バブルが重複するときにコンテンツを共有する代わりに、共有意図は、ユーザがこのような事前定義された空間に向かって、および/またはその中にコンテンツを移動させるときに決定されてもよい。各ユーザを包含し、上述した共有バブルとは対照的に、この共有意図は、その特性がエクステンデッドリアリティ機器ユーザによって事前定義されるので、共有リングと称され得る。共有リングは、ユーザの選好に基づいて構成されてもよい。特に、共有リングの場所および/またはサイズは、ウェアラブルエクステンデッドリアリティ機器の各ユーザによって構成されてもよい。
このような仮想共有空間のいくつかの非限定的な例としては、リング、矩形、立方体、球体、凸形状、非凸形状、平滑形状、不規則形状、または任意の他の明確に定義された形状が挙げられ得る。いくつかの例では、仮想共有空間は、物理的場所に固定されてもよく、物理オブジェクトに固定されてもよく、ユーザによって作成されてもよく、または任意の他の事前定義された特性に基づいて作成されてもよい。仮想共有空間(共有リングなど)は、任意の2次元または3次元形状を有してもよく、リングに限定されない。一例では、仮想共有空間(共有リングなど)は、オブジェクトに固定され、オブジェクトとともに移動するように構成され得る。例えば、仮想共有空間は、特定のユーザに関連付けられたキーボード、入力デバイス、出力デバイス、椅子、または机に固定される場合があり、仮想コンテンツをその仮想共有空間の中に移動させると、仮想コンテンツが特定のユーザと共有される場合がある。机の例では、仮想共有空間は、机の上面のエリアの少なくとも一部に対応してもよい。椅子の例では、仮想共有空間は、椅子の少なくとも一部を包含する3次元形状に対応してもよい。キーボードの例では、キーボードは、机の上に配置されてもよく、仮想共有空間は、机の上面のエリアの少なくとも一部、例えば、キーボードの近傍の机の上面のエリアの一部に対応してもよい。コンテンツを共有することはまた、エクステンデッドリアリティ機器ユーザによって構成され得る、事前定義されたプライバシー設定に基づいてもよい。いくつかの例では、コンテンツは、2人のユーザ間で共有されてもよく、パブリックと共有されてもよく、複数のユーザ間で共有されてもよく、またはパブリックおよびプライベート共有の任意の他の組み合わせを含んでもよい。共有の種類およびレベル、ならびに/または仮想コンテンツにアクセスし得るユーザの身元は、仮想共有空間、コンテンツ、ユーザ、またはユーザが位置する場所に基づく任意の他の要因に基づいて決定され得る。共有空間では、仮想コンテンツの移動は、第1のウェアラブルエクステンデッドリアリティ機器のユーザのアクションの結果であり得る。このようなアクションは、例えば、ジェスチャ、第1の仮想コンテンツのドラッグ、または任意の他の物理的移動もしくは第1の仮想コンテンツを伴う移動の形態をとってもよい。
例として、図9は、共有リング914を示しており、この共有リングは、第1のウェアラブルエクステンデッドリアリティ機器ユーザ910によって作成された事前定義された仮想共有空間、別のウェアラブルエクステンデッドリアリティ機器のユーザ(ユーザ918のうちの1人または異なるウェアラブルエクステンデッドリアリティ機器のユーザなど)によって作成された仮想共有空間、ウェアラブルエクステンデッドリアリティ機器を使用していないユーザによって作成された仮想共有空間、および/または自動的に生成された仮想共有空間であり得る。第1のユーザ910は、前もって第1のウェアラブルエクステンデッドリアリティ機器ユーザ910にのみ可視であった仮想コンテンツ912が、他のエクステンデッドリアリティ機器ユーザ918に可視であり得る共有コンテンツ916になるように、仮想コンテンツ912を事前定義されたエリア914に配置することができる。
いくつかの例では、仮想コンテンツアイテムは、人々の自然な移動に基づいて、および/またはユーザが仮想ディスプレイ画面を移動させ、この画面を他のユーザまたは参加者に見える位置に配置することに基づいて共有され得る。例えば、手の動きまたはジェスチャがあることが認識されてもよく、それに応答して、仮想コンテンツアイテム(仮想ディスプレイ画面など)が関連ユーザと共有されてもよい。いくつかの実施形態では、すべての参加者は、同じ位置にドッキングされた仮想ディスプレイ画面を見ることができる。いくつかの実施形態では、仮想コンテンツアイテムは、複数の参加者によってパブリック領域で同時に閲覧され、プライベートモードでは、ユーザが選択する場所にドッキングされた特定のユーザの追加の/複製の仮想ディスプレイ画面として閲覧され得る。例えば、ユーザは、特に、仮想コンテンツアイテムがテキストを含む場合、より近い距離から仮想コンテンツアイテムを見ることを好む場合があり、仮想コンテンツアイテムにプライベートオーバーレイ、または任意の他の構成を追加することを好む場合がある。一例では、より低いレベルのプライバシーを有する仮想コンテンツアイテムは、ユーザ承認の必要なしに共有され得る。一例では、パブリックコンテンツアイテムは、共有モードおよびプライベートモードで閲覧されてもよく、共有されたコンテンツは、プライベートモードで閲覧されてもよい。
いくつかの実施形態では、例えば、仮想コンテンツの共有は、第1のユーザおよび第2のユーザの共有バブルが重複するとき、またはユーザが事前定義されたエリア、すなわち、共有リング内でコンテンツを共有するとき、または本明細書で説明する任意の他の手段によってトリガされ得る。しかし、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間の仮想コンテンツが共有され得る前に、非一時的コンピュータ可読媒体は、2つの機器間のリンクを確立し得る。いくつかの実施形態では、仮想コンテンツは、第1のウェアラブルエクステンデッドリアリティ機器と第2のエクステンデッドリアリティ機器との間のリンクが確立されるときに、仮想共有空間を介して自動的に共有され得る。プロセッサは、第1および第2のウェアラブルエクステンデッドリアリティ機器が互いに通信するようにリンクされるときに、仮想コンテンツの共有を自動的に生成し得る。共有された仮想コンテンツは、第1および/または第2のエクステンデッドリアリティ機器のユーザの選好に基づいて選択されてもよい。リンクを確立した直後に共有が作成されるかどうかは、ユーザの選好に基づいてもよく、エクステンデッドリアリティ機器は、種々の使用のために構成されてもよい。
例えば、あるユーザは、職場でコンテンツを自動的に共有するように、ウェアラブルエクステンデッドリアリティ機器またはシステムを構成することができる。この例では、機器は、同僚が視野内にいるときなど、より長い距離でコンテンツを共有するように構成されてもよく、コンテンツは、ドキュメントおよび電子メールに限定されてもよい。別の例では、ユーザは、自宅でコンテンツを自動的に共有するように、ウェアラブルエクステンデッドリアリティ機器またはシステムを構成することができる。この例では、機器は、家族がユーザのすぐ隣にいるときなど、より短い距離でのみコンテンツを自動的に共有するように構成されてもよい。このような仮想コンテンツは、ビデオおよび音楽に限定されてもよく、ドキュメントまたは電子メールを含まなくてもよい。
いくつかの実施形態では、仮想共有空間の視覚化は、第1のウェアラブルエクステンデッドリアリティ機器および第2のウェアラブルエクステンデッドリアリティ機器の各々によって提示され得る。例えば、典型的なコンピュータ画面では、Dropboxフォルダなどの種々のフォルダ間でファイルをドラッグおよびドロップすることによって、ドキュメントを共有することができる。対照的に、本開示のいくつかの実施形態では、仮想オブジェクトを共有することは、フォルダに限定される必要はない。むしろ、仮想オブジェクトは、仮想ボックス、仮想ウィンドウ、またはそうでなければマークされたエリアを介して共有され得る。仮想ボックスは、複数のユーザが仮想コンテンツを共有し得る、第1または第2のウェアラブルエクステンデッドリアリティ機器によって提示される仮想ディスプレイ上の空間を指すことがある。この共有行為はまた、3次元空間の仮想空間で行われてもよく、このようなフォルダ、仮想ボックス、またはウィンドウの間で仮想オブジェクトを共有する行為は、第1および第2のウェアラブルエクステンデッドリアリティ機器の両方のユーザに可視であってもよい。いくつかの例では、仮想共有空間の視覚化は、仮想共有空間の境界の視覚的インジケーション、仮想共有空間のボリュームの視覚的インジケーション、および/または仮想共有空間の中心の視覚的インジケーションを含み得る。このような視覚的インジケータのいくつかの非限定的な例としては、表面またはボリュームの仮想カラー化、表面またはボリュームの仮想強調表示、および/または選択された場所における1つまたは複数の仮想視覚シンボルが挙げられ得る。ユーザが視覚化された仮想共有空間に向かって、および/またはその中に仮想的に仮想コンテンツを移動させると、移動された仮想コンテンツの共有がトリガされ得る。例えば、ユーザは、ジェスチャを使用して、コンピュータポインティングデバイスを使用して、テキスト入力を使用して、および/または音声コマンドを使用して、仮想コンテンツを移動させることができる。
いくつかの実施形態では、仮想共有空間の場所は、第1のウェアラブルエクステンデッドリアリティ機器の環境内の物理オブジェクトの場所に基づいて決定され得る。例えば、ホワイトボードまたは他の表示面などの特定の物理オブジェクトは、許可を有し、そのオブジェクトの近傍の誰もが、共有されたコンテンツにアクセスすることができるように、仮想共有空間にリンクされてもよい。いくつかの実施形態では、エクステンデッドリアリティ機器ユーザは、仮想共有空間を定義するためのオブジェクトを選択することができる。例えば、壁上のアートワークまたはテーブル上の物理オブジェクトが、仮想共有空間のための基礎として選択されてもよく、選択されたオブジェクトの検出時に、仮想ディスプレイ画面が、選択されたオブジェクトに隣接する領域に現れてもよい。
例として。図10Aは、共有バブルを示しており、第2のウェアラブルエクステンデッドリアリティ機器1012が共有領域1016を介して第2のウェアラブルエクステンデッドリアリティ機器1010から第1の仮想コンテンツ1014を受信する。このような仮想コンテンツはまた、図9に示すように共有リングを介して共有され得る。
別の例では、図10Bは、受信された仮想コンテンツを提示することを示す。ここで、第2のウェアラブルエクステンデッドリアリティ機器1012は、第1のウェアラブルエクステンデッドリアリティ機器1010から受信された第1の仮想コンテンツ1014を提示する。仮想コンテンツは、図10Bの正方形によって表されるように、タブレットまたはテレビなどの画面上のウェアラブルエクステンデッドリアリティ機器を介して、機器自体、または任意の他の物理オブジェクトを介して提示され得る。
いくつかの実施形態は、第1の仮想コンテンツが第2のウェアラブルエクステンデッドリアリティ機器を介して提示された時点で、第1のウェアラブルエクステンデッドリアリティ機器を介してインジケータを提供することができる。インジケータは、ユーザのコンテンツが別のエクステンデッドリアリティ機器に表示されていることをユーザに通知する任意の種類のマーク、注釈、または信号を指すことがある。加えて、インジケータは、コンテンツがプライベートに共有されているか、パブリックに共有されているか、特定の個人(および/または特定の個人の身元)と共有されているか、特定のグループ(および/または特定のグループの身元)と共有されているか、および他のパブリックまたはプライベートの共有オプションであるかを示すことができる。別の例として、インジケータは、第2のウェアラブルエクステンデッドリアリティ機器のユーザが第1の仮想コンテンツに注釈または他のコメントを含めたかどうか、または第1の仮想コンテンツを編集もしくは変換したかどうかを通知し得る。一例では、第1のウェアラブルエクステンデッドリアリティ機器を介して提供されるインジケータは、可聴インジケータであってもよい。別の例では、第1のウェアラブルエクステンデッドリアリティ機器を介して提供されるインジケータは、視覚的インジケータであってもよい。例えば、視覚的インジケータは、第1の仮想コンテンツ上に、またはそれとともに存在してもよい。別の例では、視覚的インジケータは、第1の仮想コンテンツの提示に対する視覚的修正を含んでもよい。
仮想コンテンツがウェアラブルエクステンデッドリアリティ機器ユーザ間で共有され得る多くの方法がある。コンテンツは、共有バブルまたは共有リングを介して共有され得る。第1のウェアラブルエクステンデッドリアリティ機器ユーザは、共有バブルまたは共有リングを介して、第2のウェアラブルエクステンデッドリアリティ機器ユーザとコンテンツを共有することができる。上記の実施形態では、第2のウェアラブルエクステンデッドリアリティ機器ユーザは、第1のユーザから受信されたコンテンツを表示することができる。このコンテンツは、第2のユーザのエクステンデッドリアリティ機器を介するか、タブレットもしくはテレビなどのスクリーンを介するか、壁、窓、もしくはチョークボードなどの平坦な表面を介するか、および/またはユーザが仮想コンテンツを提示するように指定し得る任意の他の物理オブジェクトを介するかにかかわらず、無数の方法で表示され得る。例えば、第2のウェアラブルエクステンデッドリアリティ機器は、第1のユーザから仮想コンテンツを受信した後、第2の機器を介して、および/またはテレビもしくはホワイトボードを介して、コンテンツを表示してもよい。
いくつかの実施形態では、第1の仮想コンテンツは、少なくとも1つのプライベート仮想オブジェクトおよび少なくとも1つのパブリック仮想オブジェクトに関連付けられてもよく、第2のウェアラブルエクステンデッドリアリティ機器による表示のために仮想コンテンツを送信させることは、少なくとも1つのパブリック仮想オブジェクトを送信することと、少なくとも1つのプライベート仮想オブジェクトの送信を回避することとを含んでもよい。本明細書で説明するように、仮想オブジェクトは、仮想ディスプレイ画面、仮想コンテンツアイテム、仮想2次元オブジェクト、仮想3次元オブジェクト、ドキュメント、メディアアイテム、写真、ビデオ、仮想キャラクタ、ユーザ生成コンテンツ、および/または列挙されたオブジェクトの構成要素(例えば、音量または明るさ調整バー)を指すことがある。さらに、パブリック仮想オブジェクトは、他のウェアラブルエクステンデッドリアリティ機器ユーザによる閲覧のために共有され得、他のユーザとの共有に対していかなる制限も受け得ない仮想オブジェクトを含み得る。対照的に、プライベート仮想オブジェクトは、ウェアラブルエクステンデッドリアリティ機器ユーザが、任意の他のユーザまたは事前定義されたグループの一部ではない任意の他のユーザと共有することを望まない、および/または共有することを許可されない仮想コンテンツを含み得る。いくつかの例では、ユーザは、どの仮想オブジェクトがパブリックであり、どの仮想オブジェクトがプライベートであるかを構成することができ、または種々のプライバシーレベルを種々の仮想オブジェクトに構成することができる。他の例では、例えば、仮想オブジェクトの視覚的および/または非視覚的特性の分析に基づいて、仮想オブジェクトがプライベートであるかパブリックであるかを自動的に決定されてもよい。
上記の実施形態では、ユーザは、仮想コンテンツの一部またはすべての部分が別のユーザと共有され得ないことを指定することができる。例えば、仮想コンテンツが画面として視覚化される場合、画面は、パブリックウィンドウとプライベートウィンドウの両方を有することができる。パブリックウィンドウおよびプライベートウィンドウはそれぞれ、仮想オブジェクトを含み得る。したがって、いくつかの開示される実施形態では、仮想コンテンツは、パブリック仮想オブジェクトのみが第2のウェアラブルエクステンデッドリアリティ機器ユーザに可視であり、プライベート仮想コンテンツが隠されたままである状態で表示され得る。ウェアラブルエクステンデッドリアリティ機器ユーザ間で共有されることが意図される仮想コンテンツは、いくつかはプライベートであり、いくつかはパブリックである、様々な仮想オブジェクトからなり得る。
例として、仮想コンテンツは、ユーザに関連付けられた財務情報を示す表またはグラフを含む場合があり、ユーザは、他のユーザと財務情報を共有することを望まない場合がある。ユーザは、仮想コンテンツ内の財務情報をプライベート仮想オブジェクトとして指定することができ、したがって、他のユーザがその仮想コンテンツを見ることができないようにする。別の例では、仮想コンテンツは、機密の展示物を有するドキュメントを含むことができる。ユーザは、展示物をプライベート仮想オブジェクトとして指定することができ、したがって、他のユーザがその仮想オブジェクトを見ることができないようにする。
いくつかの実施形態では、仮想コンテンツアイテムは、ユーザの承認を必要とすることなく、同じレベルのプライバシー間で共有され得る。プライバシーのレベルは、どの仮想コンテンツアイテムがどの特定のウェアラブルエクステンデッドリアリティ機器ユーザと共有され得るか、または共有されるかを指すことがある。プライバシーのレベルは、他のユーザの仮想コンテンツ自体を1つまたは複数のグループに分割することによって確立されてもよく、各グループは、仮想コンテンツの一部またはすべてを視覚化することを可能にされる。プライバシーのレベル数は、ユーザの選好に基づいて構成され得る。例えば、仮想コンテンツの一部は、すべての他のユーザと共有され得るコンテンツとして指定されてもよい。これは、低レベルのプライバシーに該当し得る。別の例では、仮想コンテンツの一部分は、仮想コンテンツを共有するユーザに関連し得るユーザと共有され得るコンテンツとして指定され得る。この関係は、家族関係または職業上の関係に基づき得る。例えば、ユーザは、仮想コンテンツの一部分またはすべてを、近親者(例えば、配偶者、子供、または親)または特定の職業グループ(例えば、オフィスのチームまたは部署)内のユーザとのみ共有され得るコンテンツとして指定してもよい。これは、中レベルのプライバシーに該当し得る。別の例として、ユーザは、仮想コンテンツの一部またはすべてを、そのユーザのみによって閲覧され得、他のユーザによって閲覧され得ないコンテンツとして指定してもよい。これは、高レベルのプライバシーに該当し得る。本明細書では、3つのプライバシーレベル(例えば、低、中、高)のみが説明されているが、本開示は、そのように限定するものではなく、任意の数のプライバシーレベルが、本開示の実施形態と一致して確立され得ることが企図される。
いくつかの実施形態では、仮想コンテンツアイテムは、視覚コンテンツアイテムの現在のプライバシーレベルよりも低いプライバシーレベルで共有される前に、ユーザの承認を必要とし得る。いくつかの例では、仮想ディスプレイ画面が共有される必要があるかどうかの決定は、仮想ディスプレイ画面の仮想サイズ、仮想ディスプレイ画面の向き、仮想ディスプレイ画面の場所、および仮想画面構成に関連した要因に基づいてもよい。
いくつかの実施形態では、種々の共有レベルが適用され得る。このような共有レベルのいくつかの非限定的な例としては、プライベート(ユーザのみが利用可能)、共有(ユーザが共有することを選択した人々が利用可能)、パブリック(特定の物理的空間内の誰もが利用可能)、またはパブリック、プライベート、もしくは共有の任意の他の組み合わせが挙げられ得る。一例では、特定の物理的空間に所有者がいる場合があり、特定の物理的空間の所有者のみが、その特定の物理的空間コンテンツ内のパブリックコンテンツを共有することができる。例えば、会社は、会社のオフィス内でパブリックコンテンツを共有することができ、またはユーザは、ユーザの自宅内でパブリックコンテンツを共有することができる。
いくつかの例では、仮想ディスプレイ画面およびウィジェットを含むがこれらに限定されないプライベートコンテンツアイテムは、いくつかの種類のアイテムの識別を有効にしない方法で他のユーザと共有され得る。例えば、ユーザが共有することを望まない可能性があるテキスト、画像、細かい詳細、または任意の他のメディアなどのアイテムは、他のユーザに識別されないか、または可視ではない可能性がある。例として、仮想コンテンツの一部またはすべては、第1のウェアラブルエクステンデッドリアリティ機器ユーザがその機器またはプライバシーレベルをどのように構成するかに基づいて、一部のユーザにはぼやけて見え得るが、他のユーザには明確に可視であり得る。仮想コンテンツを不明瞭にする他の方法が使用されてもよい。一例では、第1のユーザが第2のユーザに近づくと、第1のユーザは、乳白色のガラスを通じて閲覧されているかのように、第2のユーザのプライベートコンテンツを見ることができるが、コンテンツの詳細を見ることはできない。したがって、第2のユーザのコンテンツは、プライベートドキュメントを閲覧する権限を有し得ない第1のユーザから保護され得る。
いくつかの実施形態では、特定のコンテンツが他のユーザと共有されようとしていることがユーザに通信される場合があり、ユーザには、特定のコンテンツが共有される前に共有をキャンセルする時間が提供される場合がある。加えて、ユーザは、他のユーザと共有されているユーザのオブジェクトに関連する情報、ユーザと共有される他のユーザのオブジェクトに関連する情報、これらの他のユーザに関連する情報、および/または種々のユーザの共有のレベルに関連する情報を取得することができる。
いくつかの実施形態では、ユーザは、ジェスチャを使用して、共有される仮想ディスプレイ画面、ドキュメント、または他の媒体などの仮想コンテンツアイテムを選択し、それを物理画面に送信することができる。このような物理画面は、例えば、テレビ、タブレット、ラップトップ、スマートフォン、スマートボード、ボード、コンテンツ共有のために指定された物理画面、または任意の他の物理画面を含み得るがこれらに限定されない。仮想コンテンツを共有するためにユーザによって使用されるジェスチャは、例えば、ドラッグ、ピンチ、スワイプ、または任意の他の手の動きを含み得る。結果として、仮想コンテンツアイテムは、共有されてもよく、物理画面上に提示されてもよく、またはユーザによって所望されるように任意の他の方法で操作されてもよい。いくつかの例では、物理画面は、例えば画面境界を共有のエリアとする仮想共有空間を提供および/または誘導する場合があり、仮想コンテンツアイテムは、仮想レイヤとして提示され、エクステンデッドリアリティ機器によって閲覧される場合がある。
例として、図11Aおよび図11Bは、パブリック仮想コンテンツ1110を共有することを示す。このコンテンツは、例えば、図11Aに示すようにジェスチャ1112を使用することによって、図11Bに示すように物理画面1114、ここでは、テレビに共有され得る。そのようなジェスチャは、手の振り、指差し、または任意の身体の動きであってもよい。この実施形態では、物理画面に共有される仮想コンテンツは、エクステンデッドリアリティ機器を装着していない人を含む、すべての人がコンテンツを見ることができるパブリック仮想コンテンツであってもよい。
いくつかの例では、ユーザは、仮想ディスプレイ画面またはドキュメントなどの自身の仮想コンテンツアイテムを、自身の個人物理画面のうちのいずれかに移動させることができる。このような個人用画面は、個人用物理的ディスプレイ画面、スマートフォン画面、またはタブレット画面を含み得る。ユーザは、ジェスチャを使用することによって自身のコンテンツを移動させることができる。それに応答して、仮想コンテンツアイテムは、物理的ディスプレイ画面に移動してもよく(すなわち、物理的ディスプレイ画面を使用して提示されてもよく)、または、例えば、追加の承認なしに、仮想コンテンツアイテムが同じプライバシーレベルのままで、物理的ディスプレイ画面上に仮想的に提示されてもよい。
しかし、一部のコンテンツを共有するとき、追加の承認が必要とされ得る。例えば、ユーザは、より高いプライバシーレベルを有する、すなわち、機密であるプライベート仮想コンテンツを別のユーザと共有することを望む場合がある。このような仮想コンテンツは、パスワード保護されてもよく、特定のユーザのみにアクセス可能であってもよく、または他の方法でプライベートにされてもよい。このシナリオでは、共有ユーザは、パスワードを入力し、システム管理者に連絡し、または他の方法で仮想コンテンツを共有するための許可を要求するように促され得る。
例として、図12Aおよび図12Bは、プライベート仮想コンテンツ1210を共有することを示す。ここで、エクステンデッドリアリティ機器ユーザは、図12Bに示すように、ジェスチャ1214を使用することによって、自身の仮想コンテンツ1210を自身の物理画面1212と共有することができる。このコンテンツは、同じプライバシーレベルのままであり、すなわち、プライベート仮想コンテンツを共有するために追加の承認は必要とされない。いくつかの例では、ユーザは、物理画面との仮想コンテンツの共有を開始することができる。物理画面に露出された1人または複数のユーザの識別が、(例えば、ユーザに関連付けられた場所情報に基づいて、および/または物理画面を含む部屋の画像の分析に基づいて)行われ得る。識別された1人または複数のユーザに基づいて、仮想コンテンツが追加の承認なしに物理画面と共有され得るかどうか、仮想コンテンツが追加の承認時に物理画面と共有され得るかどうか、および/または仮想コンテンツが物理画面と共有され得ないかどうかが決定され得る。一例では、仮想コンテンツが物理画面と共有された後、(例えば、追加のユーザに関連付けられた場所情報に基づいて、および/または物理画面を含む部屋の画像の分析に基づいて)追加のユーザへの物理画面の(潜在的または実際の)エクスポーザが識別されてもよく、追加のユーザへの物理画面の識別されたエクスポーザに応答して、物理画面との仮想コンテンツの共有を停止されてもよく、または仮想コンテンツを共有するユーザにプロンプトが提供されてもよい。このようなプロンプトは、エクスポーザおよび/または追加のユーザのインジケータを含み得、および/または仮想コンテンツを共有するユーザが仮想コンテンツの共有を継続または停止することを可能にするように構成され得る。
いくつかの実施形態では、上述したプライバシー設定は、ユーザのデフォルト設定の一部として構成され得る。いくつかの実施形態では、第1の仮想コンテンツを第2のウェアラブルエクステンデッドリアリティ機器によって表示させることは、第2のウェアラブルエクステンデッドリアリティ機器に関連付けられたデフォルト設定に従って第1の仮想コンテンツを修正することを含み得る。デフォルト設定は、第2のウェアラブルエクステンデッドリアリティ機器ユーザの選好および/または第2のウェアラブルエクステンデッドリアリティ機器において利用可能なハードウェアおよび/または第2のウェアラブルエクステンデッドリアリティ機器に関連付けられた環境条件に従って構成され得る。例えば、第2のウェアラブルエクステンデッドリアリティ機器は、第1のウェアラブルエクステンデッドリアリティ機器よりも低いまたは高い解像度で動作してもよく、第1の仮想コンテンツのレンダリング解像度は、それに応じて修正されてもよい。別の例では、第2のウェアラブルエクステンデッドリアリティ機器は、第1のウェアラブルエクステンデッドリアリティ機器とは異なる周囲光条件で動作してもよく、第1の仮想コンテンツのレンダリングの強度および/または不透明度は、種々の周囲光条件を補償するように修正されてもよい。さらに別の例では、第2のウェアラブルエクステンデッドリアリティ機器は、第1のウェアラブルエクステンデッドリアリティ機器とは異なる視野角を有効にしてもよく、第1の仮想コンテンツのサイズは、異なる視野角に調整するように修正されてもよい。いくつかの例では、デフォルト設定は、ウェアラブルエクステンデッドリアリティ機器がどのように使用のために構成されるか、またはウェアラブルエクステンデッドリアリティ機器がどのように使用されるかを指すことがある。いくつかの実施形態では、デフォルト設定は、パスワードまたはクレジットカード番号などの個人情報を隠すように構成されてもよく、あるいは、デフォルト設定は、ユーザの好ましい表示パラメータ、すなわち、コンテンツが表示される場所またはコンテンツがどのくらいの大きさで現れるかを含んでもよい。デフォルト設定は、ウェアラブルエクステンデッドリアリティ機器のユーザによってカスタマイズ可能であってもよく、例えば、プライバシー設定、近接設定、ジェスチャ設定、またはウェアラブルエクステンデッドリアリティ機器がどのように仮想コンテンツを提示および/もしくは共有するかを決定し得る任意の他の設定を含んでもよい。
上記の実施形態では、プライバシー設定は、別のユーザと共有され得る任意の仮想コンテンツに関連付けられた初期のプライバシーレベルを決定することができる。例えば、デフォルトのプライバシー設定は、仮想コンテンツがすべてのユーザと共有されることを可能にし得る。別の例として、デフォルトのプライバシー設定は、仮想コンテンツが任意の他のユーザと共有されることを禁止し得る。別の例として、デフォルトのプライバシー設定は、仮想コンテンツが事前定義されたユーザグループ(例えば、ユーザの近親者、またはユーザに関連付けられた特定のチームもしくは部門の同僚)と共有されることを可能にし得る。
上記の実施形態では、共有設定は、共有バブルが作成される前にあるユーザが別のユーザからどれだけ離れている必要があるか、事前定義された共有リングがどれだけ大きいか、およびこのリングがどこに提示されるか、または仮想コンテンツがそれを介して提示されるデフォルトの物理オブジェクトを決定することができる。上記の実施形態では、ジェスチャ設定は、どのデフォルトのユーザの動きが共有意図を明示するかを決定することができる。例えば、ウェアラブルエクステンデッドリアリティ機器ユーザは、ユーザが手を振ったときにコンテンツを自動的に共有するが、ユーザがうなずいたときにはコンテンツを共有しないようにジェスチャ設定を構成することができる。このようなプライバシー共有およびジェスチャ設定は、ユーザの選好およびウェアラブルエクステンデッドリアリティ機器の所望の使用が何であるかに応じて、いつでも調整され得る。
いくつかの開示される実施形態は、第2のウェアラブルエクステンデッドリアリティ機器から、第1のウェアラブルエクステンデッドリアリティ機器を介した表示のために第2の仮想コンテンツを受信することを含み得る。受信は、コンテンツの任意の形態の送信を含み得る。例えば、コンテンツは、ネットワークベースのコンテンツの通信を通じて、またはBluetooth、Wi-Fi、NFC、またはこれらに関連付けられた複数のエクステンデッドリアリティ機器もしくはモデム間の他の直接通信プロトコル接続を通じてなど、コンテンツの直接通信を通じて受信されてもよい。いくつかの実施形態では、プロセッサは、第2のウェアラブルエクステンデッドリアリティ機器から仮想コンテンツを受信し、その仮想コンテンツを表示するように第1のウェアラブルエクステンデッドリアリティ機器に指示することができる。いくつかの他の例では、プロセッサは、第2のウェアラブルエクステンデッドリアリティ機器から仮想コンテンツを受信することができ、例えば、仮想コンテンツの表示のために、第1のウェアラブルエクステンデッドリアリティ機器に仮想コンテンツを提供することができる。本明細書の他の箇所で説明するように、第1のウェアラブルエクステンデッドリアリティ機器が第2のウェアラブルエクステンデッドリアリティ機器から仮想コンテンツを受信し得る多くの方法がある。例えば、第2のウェアラブルエクステンデッドリアリティ機器は、共有バブルまたは共有リングを介して第1のウェアラブルエクステンデッドリアリティ機器と仮想コンテンツを共有することができる。別の例として、第2のウェアラブルエクステンデッドリアリティ機器は、2つの機器間のリンクが確立されるとすぐに、第1のウェアラブルエクステンデッドリアリティ機器と仮想コンテンツを共有することができる。
いくつかの開示される実施形態は、仮想コンテンツの複数のバージョンを表示することを含み得る。いくつかの実施形態では、第1の仮想コンテンツは、2次元仮想オブジェクトを含むことができ、第2の仮想コンテンツは、2次元オブジェクトの代替バージョンを含むことができる。2次元オブジェクトの代替バージョンは、例えば、2次元オブジェクトの縮小バージョン、2次元オブジェクトの拡大バージョン、異なる位置もしくは向きを有する2次元オブジェクト、異なる色、テクスチャ、もしくは陰影を有する2次元オブジェクト、またはその特性もしくは機能の一部もしくはすべてが何らかの方法で変更された2次元オブジェクトを含み得る。2次元オブジェクトの代替バージョンは、閲覧ユーザの選好に基づいて生成され得る。
例えば、2次元オブジェクトは仮想ドキュメントであってもよく、2次元仮想オブジェクトの代替バージョンは、仮想ドキュメントの注釈付きまたは強調表示されたバージョンであってもよい。別の例として、2次元オブジェクトは提示であってもよく、2次元オブジェクトの代替バージョンは、提示において修正された色、グラフィック、および/または形状を有してもよい。別の例として、仮想コンテンツの複数のバージョンは、パブリック仮想オブジェクトとプライベート仮想オブジェクトの両方から構成され得る。例えば、第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザは、ドキュメントを第2のユーザに送信することができ、第2のユーザは、ドキュメントをより大きいグループと共有することができる。しかし、仮想オブジェクト上のコメントおよび注釈の一部は、第1または第2のユーザのプライバシーおよび/またはドキュメント共有設定に基づいて隠されたままであり得る。
いくつかの実施形態では、第1の仮想コンテンツは、3次元仮想オブジェクトを含むことができ、第2の仮想コンテンツは、3次元オブジェクトに関連付けられた2次元仮想オブジェクトを含むことができる。あるウェアラブルエクステンデッドリアリティ機器ユーザが別のユーザとコンテンツを共有するとき、このようなコンテンツは、複数の仮想オブジェクトを含み得る。上記の実施形態で説明したように、これらの仮想オブジェクトは、2次元オブジェクトおよび3次元オブジェクトの両方を含んでもよく、様々なプライバシー設定を受けてもよい。3次元仮想オブジェクトは、設計モデルまたはプロジェクトモックアップであってもよく、3次元オブジェクトに関連付けられた2次元仮想オブジェクトは、モデルに対するコメントのリストであってもよい。2次元モデルと同様に、3次元仮想オブジェクトの後続のバージョンは、種々のプライバシー設定を有するように構成され得る。
例えば、橋、建物、または他の縮尺もしくは建築モデルなどのプロジェクトモックアップが、3次元仮想オブジェクトとして別のユーザと共有され得る。プロジェクトモックアップには、サイズ、長さ、幅、プロジェクトモックアップに関連する無数の任意の他のパラメータに関するコメントのリスト、すなわち2次元仮想オブジェクトを関連付けることができる。3次元オブジェクトに関連付けられた2次元オブジェクトに加えて、ユーザは、修正されたバージョンに3次元仮想オブジェクトも含めることができる。例えば、プロジェクトモックアップの例では、ウェアラブルエクステンデッドリアリティ機器ユーザは、モックアップの第1のバージョンを共有することができ、また、第1のバージョンよりも多くの構成要素を有し得る、異なるサイズであり得る、または異なるテクスチャを有し得る、モデルの修正されたバージョンを共有することができる。
第2のウェアラブルエクステンデッドリアリティ機器から仮想コンテンツを受信することに応答して、いくつかの開示される実施形態は、第1のエクステンデッドリアリティ機器を介して、第2のウェアラブルエクステンデッドリアリティ機器から受信された第2の仮想コンテンツを提示することを含み得る。仮想コンテンツがウェアラブルエクステンデッドリアリティ機器ユーザ間で共有され得る多くの方法がある。コンテンツは、共有バブルまたは共有リングを介して共有され得る。第2のウェアラブルエクステンデッドリアリティ機器ユーザは、共有バブルまたは共有リングを介して、第1のウェアラブルエクステンデッドリアリティ機器ユーザとコンテンツを共有することができる。上記の実施形態では、第1のウェアラブルエクステンデッドリアリティ機器ユーザは、第2のユーザから受信されたコンテンツを提示することができる。このコンテンツは、無数の方法で、例えば、第2のユーザのエクステンデッドリアリティ機器を通じて、タブレットもしくはテレビなどの画面を介して、またはホワイトボードもしくはチョークボードなどの物理オブジェクトを介して提示され得る。一実施形態では、第1のユーザは、第2のユーザから仮想コンテンツを受信した後、第1の機器を介して、またはテレビもしくはホワイトボードを介して、コンテンツを提示することができる。第1のウェアラブルエクステンデッドリアリティ機器ユーザはまた、第2のユーザから受信されたコンテンツを第1のユーザの近くにいる他のユーザに提示することができる。
例として、図13Aおよび図13Bは、共有バブルを示しており、第1のウェアラブルエクステンデッドリアリティ機器1310が共有領域1316を介して第2のウェアラブルエクステンデッドリアリティ機器1312から第2の仮想コンテンツ1314を受信する。このような仮想コンテンツはまた、共有リングを介して共有され得る。図13Bは、受信されたコンテンツ1314を提示する例を示す。ここで、第1のウェアラブルエクステンデッドリアリティ機器1310は、第2のウェアラブルエクステンデッドリアリティ機器1312から受信された第2の仮想コンテンツ1314を提示することができる。仮想コンテンツは、ウェアラブルエクステンデッドリアリティ機器、タブレットもしくはテレビなどの画面、または任意の他の物理オブジェクトを介して提示され得る。
別の例では、図14は、様々な仮想コンテンツを表示するために第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間で調整する例示的な方法1410を示すフローチャートを示す。方法1410は、少なくとも1つのプロセッサが第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間のリンクを、例えば、2つの機器間の通信のために、または2つの機器の制御のために確立することができる、ステップ1412を含むことができる。方法1410はまた、第1の仮想コンテンツが第2のウェアラブルエクステンデッドリアリティ機器とのリンクを確立する前、その後、またはそれと同時に、第1のウェアラブルエクステンデッドリアリティ機器に提示され得る、ステップ1414を含むことができる。方法1410はまた、第2のウェアラブルエクステンデッドリアリティ機器を介して第1の仮想コンテンツを表示するためのコマンドを取得することを含む、ステップ1416を含むことができる。方法1410はまた、いくつかの実施形態における第1の仮想コンテンツが第2のウェアラブルエクステンデッドリアリティ機器への表示のために送信させられ得る、ステップ1418を含むことができる。方法1410はまた、第2の仮想コンテンツが第2のウェアラブルエクステンデッドリアリティ機器から受信され得る、ステップ1420を含むことができる。方法1410は、第1のウェアラブルエクステンデッドリアリティ機器が第2の仮想コンテンツを表示し得るステップ1422を含むことができる。
いくつかの開示される実施形態は、ウェアラブルエクステンデッドリアリティ機器のユーザに状況認識を提供するための動作を含むことができる。状況認識は、環境内の要素の知覚、現在の状況の理解、将来の状態の予測、または環境内で何が生じているかに関する情報の要素を識別、処理、もしくは理解する任意の能力のうちの1つまたは複数を含み得る。例えば、状況認識は、場所、エリア、点、地理、領域、シーン、設定、サイト、周囲、トポグラフィ、セクション、角度、傾斜、寸法、量、幅、容量、コンテンツ、直径、高さ、強度、長さ、大きさ、比率、範囲、ボリューム、幅、振幅、年齢、日付、存在、時間、モーメント、機会、または環境の任意の部分に関連付けられた任意の他の条件のうちの1つまたは複数の理解を含み得る。いくつかの例では、状況認識は、ユーザの環境内の別の人物の状態の理解を含み得る。例えば、状況認識は、他の人物が仮想コンテンツ(仮想ディスプレイ、仮想アバターなど)に関与しているかどうかの理解を含み得る。
いくつかの実施形態は、第1のウェアラブルエクステンデッドリアリティ機器を通じて仮想コンテンツを表示させることができる。仮想コンテンツという用語は、エクステンデッドリアリティ機器または他の提示デバイスなどを通じて、ユーザに表示され得る任意の種類のデータ表現を含み得る。仮想コンテンツは、仮想オブジェクト、非アニメーションの仮想コンテンツ、経時的にもしくはトリガに応答して変化するように構成されたアニメーションの仮想コンテンツ、仮想2次元コンテンツ、仮想3次元コンテンツ、物理的環境の一部もしくは物理オブジェクト上の仮想オーバーレイ、物理的環境もしくは物理オブジェクトへの仮想追加、仮想プロモーションコンテンツ、物理オブジェクトの仮想表現、物理的環境の仮想表現、仮想ドキュメント、仮想キャラクタもしくはペルソナ、仮想コンピュータ画面、仮想ウィジェット、または情報を仮想的に表示するための任意の他の形式を含み得る。本開示と一致して、仮想コンテンツは、コンピュータまたは処理デバイスによってレンダリングされる任意の視覚的提示を含み得る。一実施形態では、仮想コンテンツは、限定された領域内のコンピュータによってレンダリングされ、特定の種類のオブジェクト(非アニメーションの仮想オブジェクト、アニメーションの仮想オブジェクト、仮想備品、仮想装飾オブジェクト、仮想ウィジェット、または他の仮想表現など)を表すように構成された視覚的提示である仮想オブジェクトを含み得る。レンダリングされた視覚的提示は、例えば、物理オブジェクトの外観の変化を模倣するように、ステータスオブジェクトに対する変更またはオブジェクトの視野角の変更を反映するように変更することができる。
いくつかの実施形態は、第1のウェアラブルエクステンデッドリアリティ機器に近接した第2のウェアラブルエクステンデッドリアリティ機器を検出することを含み得る。近接性は、近さ、隣接性、同時性、連続性、近親性、接近性、または近くにあることの任意の他の状態もしくは条件を指すことがある。近接は、容量効果、誘導効果、磁気効果、または光学効果のいずれかによって測定され得る。近接はまた、例えば、レーダ、ソナー、超音波、光ファイバ、もしくはホール効果技術、電離放射線の反射、または近くの物体の存在を検出することができる任意の他の技術のうちの1つまたは複数を使用して検出され得る。近接は、距離、方向、または距離と方向の組み合わせを含み得る。他の例では、第1および第2のウェアラブルエクステンデッドリアリティ機器の場所は、その2つに対応する位置決めデータに基づき得る。一例では、この場所は、2つのウェアラブルエクステンデッドリアリティ機器の各々に含まれる屋内または屋外位置決めセンサを使用して、画像(例えば、2つのウェアラブルエクステンデッドリアリティ機器の環境内の画像センサを使用してキャプチャされ、ウェアラブルエクステンデッドリアリティ機器を位置特定するためにオブジェクト検出アルゴリズムを使用して分析された画像)内の2つのウェアラブルエクステンデッドリアリティ機器の位置特定などから決定され得る。他の例では、第1のウェアラブルエクステンデッドリアリティ機器に含まれる画像センサを使用してキャプチャされた画像は、第2のウェアラブルエクステンデッドリアリティ機器を検出するためにオブジェクト検出アルゴリズムを使用して分析され得、2つのウェアラブルエクステンデッドリアリティ機器の間の距離は、例えば、キャプチャされた画像内の第2のウェアラブルエクステンデッドリアリティ機器のサイズに基づいて決定され得、それによって、第2のウェアラブルエクステンデッドリアリティ機器が第1のウェアラブルエクステンデッドリアリティ機器に近接しているかどうかを決定する。他の例では、第2のウェアラブルエクステンデッドリアリティ機器に含まれる画像センサを使用してキャプチャされた画像は、第1のウェアラブルエクステンデッドリアリティ機器を検出するためにオブジェクト検出アルゴリズムを使用して分析され得、第2のウェアラブルエクステンデッドリアリティ機器は、第1のウェアラブルエクステンデッドリアリティ機器がキャプチャされた画像内で検出された(したがって、第2のウェアラブルエクステンデッドリアリティ機器の視線内にある)とき、第1のウェアラブルエクステンデッドリアリティ機器に近接していると見なされ得る。
いくつかの実施形態では、第1のウェアラブルエクステンデッドリアリティ機器に近接した第2のウェアラブルエクステンデッドリアリティ機器を検出することは連続的であり得る。いくつかの実施形態では、第1のウェアラブルエクステンデッドリアリティ機器に近接した第2のウェアラブルエクステンデッドリアリティ機器を検出することは、規則的または不規則な時間間隔で生じ得る。いくつかの実施形態では、第1のウェアラブルエクステンデッドリアリティ機器に近接した第2のウェアラブルエクステンデッドリアリティ機器を検出することは、入力によってトリガされ得る。入力は、ユーザ、システム、または近接の検出をトリガし得る任意の他の情報源から受信され得る。
特定の実施形態では、第1のウェアラブルエクステンデッドリアリティ機器に近接した第2のウェアラブルエクステンデッドリアリティ機器を検出することは、第2のウェアラブルエクステンデッドリアリティ機器が第1のウェアラブルエクステンデッドリアリティ機器から特定の距離、幅、高さ、半径、または他の分離の尺度内にあることを検出することを含み得る。例えば、第1のウェアラブルエクステンデッドリアリティ機器に近接した第2のウェアラブルエクステンデッドリアリティ機器を検出することは、第2のウェアラブルエクステンデッドリアリティ機器が第1のエクステンデッドリアリティ機器から1フィート、2フィート、5フィート、または任意の距離内にあることを検出することを含み得る。近接を検出するために使用される分離の尺度は、ユーザ、システムによって入力されてもよく、または任意の他の情報源から決定されてもよい。例えば、ユーザは、5フィートの値を入力して、近接の検出をトリガすることができる。別の実施形態では、システムは、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間で5フィートの距離が検出されたときに近接の検出をトリガするためのデフォルト設定を含み得る。一例では、近接を検出するために使用される分離の尺度は、種々の方向(例えば、水平距離に対して1つの分離の尺度、および垂直距離に対してより小さい分離の尺度、または別の例では、上方距離に対して1つの分離の尺度、および下方距離に対してより小さい分離の尺度)に対して異なり得る。いくつかの例では、第2のウェアラブルエクステンデッドリアリティ機器は、2つのウェアラブルエクステンデッドリアリティ機器が同じ定義された空間(同じ部屋、同じアパート、同じオフィス、同じ建物など)にあるとき、第1のウェアラブルエクステンデッドリアリティ機器に近接していると見なされ得る。いくつかの例では、第2のウェアラブルエクステンデッドリアリティ機器は、第1のウェアラブルエクステンデッドリアリティ機器が第2のウェアラブルエクステンデッドリアリティ機器の視線内にあるとき、第1のウェアラブルエクステンデッドリアリティ機器に近接していると見なされ得る。
いくつかの実施形態では、近接の検出は、第1のウェアラブルエクステンデッドリアリティ機器および第2のウェアラブルエクステンデッドリアリティ機器の各々の任意の基準点に基づき得る。例えば、近接は、ウェアラブルエクステンデッドリアリティ機器の任意の物理的位置からの距離に基づいて検出され得る。あるいは、近接は、ウェアラブルエクステンデッドリアリティ機器を通じて提示される仮想オブジェクトの仮想位置からの距離に基づいて検出され得る。別の例では、近接は、ウェアラブルエクステンデッドリアリティ機器の特定の範囲内の基準点からの距離に基づいて検出され得る。
いくつかの実施形態は、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間のリンクを確立することを含み得る。リンクは、物理的もしくは非物理的な取り付け、または任意の他の接続モードのうちの1つまたは複数を含み得る。いくつかの実施形態では、リンクは、例えば、ワイヤ、ケーブル、または第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間の有形接続を必要とする任意の他の種類の取り付け手段を含む、物理的取り付けを使用して確立され得る。いくつかの実施形態では、リンクは、非物理的手段を使用して確立され得、Bluetooth、ZigBee、Wi-Fi、または転送を実行するための媒体として導電体を使用せずに2つ以上のポイント間の情報の転送を実装する任意の他の技術などの無線通信を含み得る。
さらに、リンクは、第1のウェアラブルエクステンデッドリアリティ機器と第2のエクステンデッドリアリティ機器との間の直接または間接リンクであり得る。第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間の直接リンクは、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間の遮られていない接続であり得る。あるいは、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間の間接リンクは、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間の遮られた接続であり得る。この種のリンクは、第1のウェアラブルエクステンデッドリアリティ機器および第2のウェアラブルエクステンデッドリアリティ機器の一方または両方に接続されたシステムを接続する接続を含み得る。このようなシステムは、例えば、ラップトップ、スマートフォン、またはウェアラブルエクステンデッドリアリティ機器に接続され得る任意の他の種類の非ウェアラブルデバイスを含み得る。一例では、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間のリンクは、2つのエクステンデッドリアリティ機器間の直接および/または間接通信リンクを含み得る。別の例では、システム(集中型システムなど)は、第1および第2のウェアラブルエクステンデッドリアリティ機器の各々と通信して、例えば、2つのウェアラブルエクステンデッドリアリティ機器の各々に提示のためのコンテンツを提供し、ウェアラブルエクステンデッドリアリティ機器に関連付けられた場所および/または向き情報を受信することなどができる。第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間のリンクは、システムのデータ構造もしくはデータベース内の、またはシステムによって維持される、リンケージを含み得る。いくつかの例では、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間のリンクを確立することは、例えば、エクステンデッドリアリティ環境を調整するシステム、第1および第2のウェアラブルエクステンデッドリアリティ機器の両方と通信するシステム、第1および第2のウェアラブルエクステンデッドリアリティ機器の両方に提示のためのコンテンツを提供するシステムなどにおける、データ構造および/またはデータベースにおけるリンケージを指すことができる。
いくつかの実施形態は、仮想コンテンツの少なくとも一部分を不明瞭化された形態で表すデータを第2のウェアラブルエクステンデッドリアリティ機器に送信することを含む場合があり、不明瞭化された形態は、不明瞭化された形態の仮想コンテンツの実体を明らかにすることなく、3次元空間における仮想コンテンツの少なくとも一部分の位置のインジケーションを提供する。一例では、データは、例えば、直接または間接通信リンクを通じて、第1のウェアラブルエクステンデッドリアリティ機器から第2のウェアラブルエクステンデッドリアリティ機器に送信され得る。この例では、第1のウェアラブルエクステンデッドリアリティ機器は、例えば、以下で説明するように、仮想コンテンツの少なくとも一部を処理して、不明瞭化された形態を生成することができる。別の例では、データは、コンピュータ化されたシステム(例えば、エクステンデッドリアリティ環境を調整するシステム、第1および第2のウェアラブルエクステンデッドリアリティ機器の両方と通信するシステム、第1および第2のウェアラブルエクステンデッドリアリティ機器の両方に提示するためのコンテンツを提供するシステムなど)から第2のウェアラブルエクステンデッドリアリティ機器に送信され得る。この例では、コンピュータ化されたシステムは、例えば以下で説明するように、仮想コンテンツの少なくとも一部を処理して、不明瞭化された形態を生成することができる。不明瞭化された形態は、仮想コンテンツの任意の部分を、仮想コンテンツのその部分を難読化する方法で提示することを含み得る。特定の実施形態では、仮想コンテンツの実体を明らかにすることなく、3次元空間内の仮想コンテンツの少なくとも一部分の位置のインジケーションを提供する不明瞭化された形態は、マスキング、編集、省略、ピクシレーション、ぼかし、または仮想コンテンツの任意の部分を少なくとも部分的に隠す任意の他の手段による仮想コンテンツの少なくとも一部分の提示を含み得る。いくつかの例では、不明瞭化された形態は、仮想コンテンツの少なくとも一部分の少なくとも1つの詳細を明らかにすることなく、3次元空間における仮想コンテンツの少なくとも一部分の位置の視覚的インジケーション、および/または仮想コンテンツの少なくとも一部分の種類の視覚的インジケーションを提供することができる。例えば、不明瞭化された形態は、テキストコンテンツの正確な単語および/または正確な文字を明らかにすることなく、仮想コンテンツの少なくとも一部分がテキストコンテンツを含む視覚的インジケーションを提供することができる。別の例では、不明瞭化された形態は、グラフィックコンテンツの正確な画像および/または正確なグラフィックを明らかにすることなく、仮想コンテンツの少なくとも一部分がグラフィックコンテンツを含む視覚的インジケーションを提供することができる。
命令によって規定されるような少なくとも1つのプロセッサの機能は、図15および図16に例示されている。例えば、図15は、本開示のいくつかの実施形態と一致する、複数のウェアラブルエクステンデッドリアリティ機器を使用する、複数のユーザを含む例示的な環境の図である。図15に示すように、第1のウェアラブルエクステンデッドリアリティ機器1515の第1のユーザ1514は、第1の位置1510に位置し得る。第2のウェアラブルエクステンデッドリアリティ機器1517の第2のユーザ1516は、第1のユーザ1514の第1の位置1510に近接していない(例えば、選択された閾値よりも長い距離にある、同じ定義された空間にない、同じ部屋にない、視線内にないなど)第2の位置1512に位置し得る。第1のユーザ1514には、第1の仮想ディスプレイ1518において第1のコンテンツ1522が提示され得、第2のユーザ1516には、第2の仮想ディスプレイ1520において第2のコンテンツ1524が提示され得る。第1のウェアラブルエクステンデッドリアリティ機器1515は第2のウェアラブルエクステンデッドリアリティ機器1517に近接していないため、第1の仮想コンテンツ1522のいずれも第2のユーザ1516に送信され得ない。
図16は、本開示のいくつかの実施形態と一致する、不明瞭化された形態で提供される仮想ディスプレイの一部分を含む例示的な仮想ディスプレイの図である。図16に示すように、第1のウェアラブルエクステンデッドリアリティ機器1615の第1のユーザ1614は、第1の位置1610に位置し得る。第2のウェアラブルエクステンデッドリアリティ機器1617の第2のユーザ1616は、第1のユーザ1614の第1の位置1610に近接している(例えば、選択された閾値よりも短い距離にある、同じ定義された空間にある、同じ部屋にある、ウェアラブルエクステンデッドリアリティ機器1615の視線内にあるなど)第2の位置1612に位置し得る。この例では、第1のユーザ1614には、第1の仮想ディスプレイ1618において第1のコンテンツ1622が提示され得、第2のユーザ1616には、第2の仮想ディスプレイ1620において第2のコンテンツ1624が提示され得る。ここで、第2のウェアラブルエクステンデッドリアリティ機器1617が第1のウェアラブルエクステンデッドリアリティ機器1615に近接しているため、第1の仮想コンテンツ1622の部分1626が第2のウェアラブルエクステンデッドリアリティ機器1617に送信され得る。さらに、第1の仮想コンテンツ1622の部分1626は、ぼかされることによって、第2のウェアラブルエクステンデッドリアリティ機器1617に対して不明瞭化された形態で示され得、その結果、ぼかされた画像は、仮想コンテンツ1622の実体を明らかにすることなく、3次元空間における第1の仮想コンテンツ1622の部分1626の位置のインジケーションを提供する。
いくつかの実施形態では、第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される仮想コンテンツは、種々の種類のコンテンツを含んでもよく、動作は、第2のウェアラブルエクステンデッドリアリティ機器を介して、コンテンツの実体を明らかにすることなく、不明瞭化された情報に関連付けられた種類を提示することをさらに含む。種々の種類のコンテンツは、形式、提示、形状、サイズ、色、または任意の他の態様に関して変化するコンテンツを含み得る。いくつかの実施形態では、異なる種類のコンテンツは、例えば、ワードプロセッシングコンテンツ、ゲームコンテンツ、スプレッドシートコンテンツ、データベースコンテンツ、グラフィックコンテンツ、またはウェブブラウザコンテンツを含み得る。このような実施形態と一致する提示の一例として、第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される仮想コンテンツは、ウェブブラウザ型のコンテンツを含み得る。したがって、仮想コンテンツの少なくとも一部分を表すデータが第2のウェアラブルエクステンデッドリアリティデバイスに不明瞭化された形態で送信されるとき、不明瞭化された形態に関連付けられたウェブブラウザ型が第2のディスプレイを介して提示される。
いくつかの実施形態では、第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される仮想コンテンツは、複数の仮想画面を含むことができ、第2のウェアラブルエクステンデッドリアリティ機器を介して不明瞭化された形態で提示される仮想コンテンツは、複数の仮想画面に関連付けられたコンテンツの実体を明らかにすることなく、複数の仮想画面のサイズおよび向きのインジケーションをさらに提供することができる。仮想画面(本明細書では仮想ディスプレイとも称される)は、複数の仮想オブジェクトを含む矩形ウィンドウなど、仮想コンテンツを含む任意の境界のある形状または提示エリアを含み得る。複数の仮想画面は、それぞれが仮想コンテンツを含む、2つ以上の境界のある形状または提示エリアを含み得る。複数の仮想画面は、種々のサイズ、向き、表示設定、および他の視覚的特徴を有することができる。これらの視覚的特徴のうちの1つまたは複数は、複数の仮想画面が第2のウェアラブルエクステンデッドリアリティ機器に提示されるときに難読化され得る。例えば、第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される仮想コンテンツは、正方形の形状である1つの仮想画面と、矩形の形状である別の仮想画面とを含み得る。このような実施形態では、不明瞭化された形態が第2のウェアラブルエクステンデッドリアリティ機器を介して提示されるとき、対応する仮想画面の正方形形状および矩形形状が第2のウェアラブルエクステンデッドリアリティ機器のユーザに表示され得るが、正方形形状および矩形形状のコンテンツは不明瞭にされ得る。図17は、本開示のいくつかの実施形態と一致する、不明瞭化された形態で提供される仮想ディスプレイの例示的な図である。例えば、図17に示すように、第1のウェアラブルエクステンデッドリアリティ機器1710を通じて表示される仮想コンテンツは、2つのより小さいウィンドウ1714および1716を含む1つの仮想画面1712と、1つの大きいウィンドウ1720を含む別の仮想画面1718とを含み得る。仮想コンテンツが第2のウェアラブルエクステンデッドリアリティ機器1722を通じて表示されるとき、第1の仮想画面1712内の2つのより小さいウィンドウ1714および1716ならびに第2の仮想画面1718内のより大きいウィンドウ1720のサイズのみが、第2のウェアラブルエクステンデッドリアリティ機器のユーザに表示され得る。この例示的な実施形態では、複数の仮想画面に関連付けられたコンテンツの実体を明らかにしないサイズのインジケーションは、ぼかしによって達成され得るが、他の実施形態とともに使用するために、ブラックアウト、ピクシレーション、またはコンテンツを隠す任意の他の方法が企図される。
いくつかの実施形態では、第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される仮想コンテンツは、1人または複数の参加者との会話を提示するユーザインターフェースを含むことができ、不明瞭化された形態は、1人または複数の参加者の身元を明らかにすることなく、会話の表現をさらに含むことができる。このユーザインターフェースは、2人以上のユーザによって交換される通信のグラフィック表示またはテキスト表示を含み得る。この表示は、ユーザがテキスト通信またはグラフィック通信を交換することを可能にする1つまたは複数のアプリケーションによって生成され得る。このようなアプリケーションは、iMessage、Google Chat、SMS、Facebook Chat、Messenger、Slack、Teams、WhatsApp、Telegram、Signal、Zoom、または、モバイルデバイス、デスクトップ、ラップトップ、もしくは別の種類の互換性のあるコンピュータの2人以上のユーザの間で、典型的にはアルファベットおよび数字からなる電子メッセージを構成および送信するために使用される任意の他のアプリケーションを含み得る。このユーザインターフェースは、第2のウェアラブルエクステンデッドリアリティ機器が第1のウェアラブルエクステンデッドリアリティ機器に近接している場合、別のユーザに提示され得る。例えば、このユーザインターフェースは、複数の参加者を含むチャットウィンドウを含み得る。このような実施形態では、不明瞭化された形態は、チャットバブルなどを通じてチャットウィンドウのインジケーションを提示することができるが、参加者の名前を隠すことができる。写真、ピクチャ、アバター、団体、組織、場所、地位、組織内の役割、または個人の身元に結び付けられ得る任意の他の情報など、参加者の身元の他のインジケーションもまた、隠され得る。個人の身元は、その名前、電話番号、電子メール、ユーザID、住所、場所、顔、ピクチャ、ビデオ、または任意の他の識別情報を含み得る。
いくつかの実施形態では、第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される仮想コンテンツは、仮想3次元オブジェクトを含むことができ、不明瞭化された形態は、3次元オブジェクトの他の詳細を明らかにすることなく、仮想3次元オブジェクトの形状のインジケーションをさらに提供することができる。仮想3次元オブジェクトは、物理的人物、またはアニメーションのオブジェクトもしくは非アニメーションのオブジェクトの仮想3次元表現を含み得る。3次元オブジェクトの形状は、アーキテクチャ、本体、構成、輪郭、形式、フレーム、外形、シルエット、寸法、色、テクスチャ、突出部および凹部などの識別特徴、またはその形態を記述するオブジェクトの任意の他の特性を含み得る。例えば、第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される仮想コンテンツは、人物の3次元レンダリングを含み得る。このような実施形態では、不明瞭化された形態は、人物の顔、人物が装着しているもの、および単に人物の形状を超えて広がる人物の任意の他の属性など、人物の他の詳細を明らかにすることなく、人物のシルエットを提供することができる。
いくつかの実施形態では、動作は、仮想コンテンツを共有するための要求を第2のウェアラブルエクステンデッドリアリティ機器から受信することと、第1のウェアラブルエクステンデッドリアリティ機器から確認を受信した時点で、仮想コンテンツの少なくとも一部を表す第2のデータを不明瞭化されていない形態で第2のウェアラブルエクステンデッドリアリティ機器に送信することとをさらに含み得る。第2のウェアラブルエクステンデッドリアリティ機器からの要求は、自動的に、またはユーザ入力によってのいずれかで生成され得る。第2のウェアラブルエクステンデッドリアリティ機器からの自動要求は、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間の距離、第1のウェアラブルエクステンデッドリアリティ機器もしくは第2のウェアラブルエクステンデッドリアリティ機器の場所、第1のウェアラブルエクステンデッドリアリティ機器もしくは第2のウェアラブルエクステンデッドリアリティ機器のユーザの身元、指定された時間、または第2のウェアラブルエクステンデッドリアリティ機器からの要求をトリガするために使用され得る任意の他のパラメータに基づいて送信されるようにトリガされる要求を含み得る。第2のウェアラブルエクステンデッドリアリティ機器からの要求はまた、ユーザ入力によって送信され得る。ユーザ入力要求は、第2のウェアラブルエクステンデッドリアリティ機器のユーザが第2のウェアラブルエクステンデッドリアリティデバイスまたは第2のウェアラブルエクステンデッドリアリティデバイスに接続された任意の他のデバイスと対話するときに生成され得る。いくつかの例では、ユーザ入力要求は、第2のウェアラブルエクステンデッドリアリティ機器のユーザが第2のウェアラブルエクステンデッドリアリティ機器の仮想ディスプレイの任意の部分と対話するときに生成され得る。このような対話は、トリガ、タッチスクリーンインターフェース、マウス、または任意の他の種類の対話型要素によって達成され得る。いくつかの実施形態では、第2のウェアラブルエクステンデッドリアリティ機器からの自動要求は、自動入力およびユーザ生成入力の組み合わせによって生成され得る。例えば、仮想コンテンツを共有するための第2のウェアラブルエクステンデッドリアリティ機器からの要求は、第1のウェアラブルエクステンデッドリアリティ機器が第2のウェアラブルエクステンデッドリアリティ機器の5フィート以内にあり、第2のウェアラブルエクステンデッドリアリティ機器のユーザが要求を生成するためのボタンを押したときに生成され得る。第1のウェアラブルエクステンデッドリアリティ機器からの確認は、第1のウェアラブルエクステンデッドリアリティ機器のユーザからの入力によって生成され得る。ユーザは、トリガ、タッチスクリーンインターフェース、マウス、または任意の他の種類の対話型要素など、第1のウェアラブルエクステンデッドリアリティ機器に接続されたオブジェクトとの対話によって入力を生成することができる。別の例では、第1のウェアラブルエクステンデッドリアリティ機器または第1のウェアラブルエクステンデッドリアリティ機器に関連付けられた処理ユニットは、アクセス許可を含むデータ構造にアクセスして、確認が提供されるべきかどうかを決定することができ、確認が提供されるべきであるという決定に応答して、確認を自動的に提供することができる。
いくつかの実施形態では、動作は、第1のウェアラブルエクステンデッドリアリティ機器に、仮想コンテンツの少なくとも一部分が第2のウェアラブルエクステンデッドリアリティ機器を介して不明瞭化された形態で表示されるというインジケーションを提供することをさらに含み得る。このインジケーションは、本質的にオーディオ、視覚、または触覚のいずれかである出力によって、第1のウェアラブルエクステンデッドリアリティ機器のユーザに提示され得る。さらに、第1のウェアラブルエクステンデッドリアリティ機器にインジケーションを提示するために、可聴出力、視覚出力、または触覚出力の任意の組み合わせも使用され得る。ユーザに提示されるインジケーションは、第2のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器のユーザ、仮想コンテンツの部分、不明瞭化技術、不明瞭化された形態、または不明瞭化された形態の提示の期間のうちの少なくとも1つのインジケーションを含み得る。仮想コンテンツの少なくとも一部分が第2のエクステンデッドリアリティ機器を介して不明瞭化された形態で表示されるというオーディオインジケーションは、ビープ音、トーン、アラーム、音声インジケーション、または任意の他の種類の音を含み得る。仮想コンテンツの少なくとも一部分が第2のエクステンデッドリアリティ機器を介して不明瞭化された形態で表示されるという視覚的インジケーションは、ピクチャ、画像、漫画、説明、文、描画、図、アイコン、写真、または任意の他の閲覧可能な出力を含み得る。仮想コンテンツの少なくとも一部分が第2のエクステンデッドリアリティ機器を介して不明瞭化された形態で表示されるという触覚インジケーションは、バズ、振動、またはタッチの感覚に関連する第1のエクステンデッドリアリティ機器のユーザに対する任意の他のサインを含み得る。他の例では、仮想コンテンツの少なくとも一部分が第2のウェアラブルエクステンデッドリアリティを介して不明瞭化された形態で表示されるというインジケーションは、デジタル信号で、例えば、第1のウェアラブルエクステンデッドリアリティ機器に送信されるデジタル信号で、第1のウェアラブルエクステンデッドリアリティ機器に提供され得る。デジタル信号は、第2のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器のユーザ、仮想コンテンツの部分、不明瞭化技術、不明瞭化された形態、または不明瞭化された形態の提示の期間のうちの少なくとも1つのインジケーションを含み得る。
いくつかの実施形態は、仮想コンテンツの少なくとも一部分を第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザと共有するための第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザの意図を決定することと、仮想コンテンツの少なくとも一部分を表す第2のデータを不明瞭化されていない形態で第2のウェアラブルエクステンデッドリアリティ機器に送信することとを含み得る。仮想コンテンツの少なくとも一部分を第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザと共有するための第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザの意図は、第1のユーザによる任意の入力に基づいて決定され得る。このような入力は、トリガ、タッチスクリーンインターフェース、マウス、または任意の他の種類の対話型要素などのオブジェクトとの対話を含み得る。例えば、第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザが第1のウェアラブルエクステンデッドリアリティ機器のボタンを押すと、仮想コンテンツの少なくとも一部分を第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザと共有するための第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザの意図が決定される。別の例では、このような入力は、第1のユーザのジェスチャを含み得る。仮想コンテンツの少なくとも一部分の不明瞭にされていない形態は、隠されていない方法での少なくとも一部分の提示を含み得る。例えば、少なくとも1つの部分の不明瞭化された形態は、画像の形状が容易に識別可能であるが、その実体は容易に識別可能ではないように、ぼかしフィルタが適用された画像を含み得る。このような実施形態では、画像の不明瞭化されていない形態は、画像の実体も識別可能になるように、ぼかしフィルタが除去された画像を含み得る。
いくつかの実施形態では、仮想コンテンツの少なくとも一部分を第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザと共有する意図は、第1のウェアラブルエクステンデッドリアリティ機器によってキャプチャされた画像データから決定される。画像データは、ピクセルデータ、時刻、日付、場所、被写体の身元、被写体の役割、または所与の画像に関連付けられ得る任意の他の情報を含み得る。例えば、第1のウェアラブルエクステンデッドリアリティ機器は、人物Aを示す画像データをキャプチャすることができる。少なくとも1つのプロセッサは、画像データに含まれる情報に基づいて、仮想コンテンツの少なくとも一部分を第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザと共有する意図を決定するように構成され得る。例えば、少なくとも1つのプロセッサは、画像データが人物Aを示すとき、または画像に関連付けられた時刻、日付、もしくは場所に基づいて、仮想コンテンツの少なくとも一部分を第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザと共有する意図を決定することができる。他の例では、画像データは、第2のユーザと仮想コンテンツの少なくとも一部分を共有するための第1のユーザの意図を示すジェスチャを識別するために、ジェスチャ認識アルゴリズムを使用して分析され得る。
いくつかの実施形態では、仮想コンテンツの少なくとも一部分を第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザと共有する意図は、第1のウェアラブルエクステンデッドリアリティ機器のユーザから、仮想コンテンツの少なくとも一部分を不明瞭化された形態に保つためのインジケーションを受信しないことから決定され得る。いくつかの実施形態では、少なくとも1つのプロセッサは、仮想コンテンツの一部分を不明瞭にすることに関して、第1のウェアラブルエクステンデッドリアリティ機器のユーザからいかなる入力も受信しない場合がある。少なくとも1つのプロセッサは、ユーザからの入力の欠如に基づいて共有する意図を決定するように構成され得る。いくつかの実施形態では、少なくとも1つのプロセッサは、所与の期間内に仮想コンテンツの一部分を不明瞭にすることに関して、第1のウェアラブルエクステンデッドリアリティ機器のユーザからいかなる入力も受信しない場合がある。少なくとも1つのプロセッサは、所与の期間中のユーザからの入力の欠如に基づいて共有する意図を決定するように構成され得る。例えば、第1のウェアラブルエクステンデッドリアリティシステムによって設定される所与の期間は、任意のトリガイベントから5分であってもよい。少なくとも1つのプロセッサは、5分以内に仮想コンテンツの少なくとも一部分を不明瞭化された形態に保つためのインジケーションを第1のウェアラブルエクステンデッドリアリティ機器のユーザから受信しないとき、仮想コンテンツの少なくとも一部分を第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザと共有する意図を決定することができる。トリガイベントは、ユーザ入力または第1のウェアラブルエクステンデッドリアリティ機器によって行われる決定のうちの1つまたは複数であり得る。
いくつかの実施形態では、第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される仮想コンテンツは、プライベートとして分類される第1の部分と、パブリックとして分類される第2の部分とを含むことができ、動作はさらに、第1の部分を第2のウェアラブルエクステンデッドリアリティ機器への送信から除外し、第2の部分を不明瞭化された形態で第2のウェアラブルエクステンデッドリアリティ機器に送信することができる。プライベートコンテンツまたはパブリックコンテンツの分類は、ユーザ入力またはコンテンツ自体などの他の基準に基づいてもよい。例えば、コンテンツは、ユーザによって、機密またはプライベートとしてマークされてもよく、あるいは、コンテンツは、任意の識別情報を含む場合、プライベートとして自動的に指定されてもよい。プライベートとして分類される情報は、名前、身元、電子メールアドレス、場所、または特定の人物、グループ、もしくはクラスの使用が意図されるか、もしくはそれに制限される任意の他の情報を含み得る。パブリックとして分類される情報は、メッセージ、ピクチャ、ニュース記事、または一般的なビューに露出されることが意図される任意の他の情報を含み得る。例えば、第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される仮想コンテンツは、プライベートとして分類され得る、参加者の身元を含む第1の部分からなるチャットウィンドウを含み得る。チャットウィンドウの第2の部分は、パブリックとして分類され得るチャットバブルを含み得る。少なくとも1つのプロセッサは、参加者の身元を含む第1の部分の第2のウェアラブルエクステンデッドリアリティ機器への送信を禁止するように構成され得る。しかし、プロセッサは、チャットバブルを含むチャットウィンドウの第2の部分を不明瞭化された形態で第2のウェアラブルエクステンデッドリアリティ機器に送信することができる。別の例として、第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される仮想コンテンツは、プライベートとして分類され得る、ユーザのクレジットカード詳細を含む第1の部分からなるショッピングアプリケーションウィンドウを含み得る。ショッピングアプリケーションウィンドウの第2の部分は、パブリックとして分類され得る、購入可能なアイテムのリストを含み得る。少なくとも1つのプロセッサは、ユーザのクレジットカード詳細を含む第1の部分の第2のウェアラブルエクステンデッドリアリティ機器への送信を禁止するように構成され得る。しかし、プロセッサは、購入可能なアイテムのリストを含む第2の部分を不明瞭化された形態で第2のウェアラブルエクステンデッドリアリティ機器に送信することができる。
いくつかの実施形態では、第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される仮想コンテンツは、プライベートとして分類される第1の部分と、パブリックとして分類される第2の部分とを含むことができ、動作は、第1の部分を不明瞭化された形態で送信することと、第2の部分を非不明瞭化された形態で送信することとをさらに含むことができる。上述したように、仮想コンテンツのいくつかの部分は、機密またはプライベートであると指定されてもよく、他の部分は、パブリックであると指定されてもよい。パブリックとして分類される情報は、メッセージ、ピクチャ、ニュース記事、または一般的なビューに露出されることが意図される任意の他の情報を含み得る。プライベートとして分類された部分は、不明瞭化された形態で送信されてもよく、パブリックとして分類された部分は、不明瞭化されていない形態で送信されてもよい。例えば、第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される仮想コンテンツは、プライベートとして分類される参加者の身元を含む第1の部分と、パブリックとして分類されるチャットバブルを含む第2の部分とからなるチャットウィンドウを含み得る。このような実施形態では、参加者の身元を含む第1の部分は、不明瞭化された形態で第2のウェアラブルエクステンデッドリアリティ機器に送信され、チャットバブルを含む第2の部分は、非不明瞭化された形態で第2のウェアラブルエクステンデッドリアリティ機器に送信される。このような実施形態では、参加者の身元を含む第1の部分は、ぼやけた画像として提示されてもよく、チャットバブルを含む第2の部分は、いかなるぼやけなしに提示されてもよい。別の例として、第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される仮想コンテンツは、プライベートとして分類され得る、ユーザのクレジットカード詳細を含む第1の部分からなるショッピングアプリケーションウィンドウを含み得る。ショッピングアプリケーションウィンドウの第2の部分は、パブリックとして分類され得る、購入可能なアイテムのリストを含み得る。このような実施形態では、ユーザのクレジットカード詳細を含む第1の部分は、不明瞭化された形態で第2のウェアラブルエクステンデッドリアリティ機器に送信され、購入可能なアイテムのリストを含む第2の部分は、非不明瞭化された形態で第2のウェアラブルエクステンデッドリアリティ機器に送信される。このような実施形態では、ユーザのクレジットカード詳細を含む第1の部分は、ぼやけた画像として提示されてもよく、購入可能なアイテムのリストを含む第2の部分は、いかなるぼやけなしに提示されてもよい。
いくつかの実施形態では、動作は、第1のウェアラブルエクステンデッドリアリティ機器を介して、第1の部分がプライベートとして分類されるというインジケーションを受信することをさらに含み得る。第1の部分がプライベートとして分類されるというインジケーションは、トリガ、タッチスクリーンインターフェース、マウス、または任意の他の種類の対話型要素など、第1のウェアラブルエクステンデッドリアリティ機器の任意の部分との、または第1のウェアラブルエクステンデッドリアリティ機器に接続された任意のデバイスとのユーザ対話を通じて、第1のウェアラブルエクステンデッドリアリティ機器を介して受信され得る。したがって、例えば、ユーザは、第1のウェアラブルエクステンデッドリアリティ機器または第1のウェアラブルエクステンデッドリアリティ機器に接続された任意のデバイスを使用して、仮想コンテンツの一部分を示し、その部分をプライベートであると識別する1つまたは複数の入力を提供することができる。例えば、ユーザは、ドキュメントの部分をカーソルで強調表示することによって選択して、これらの部分をプライベートとしてマークすることができる。別の例として、ユーザは、画像の部分をカーソルで強調表示することによって選択して、これらの部分をプライベートとしてマークすることができる。
いくつかの実施形態では、動作は、第1の部分がプライベートとして分類されると自動的に決定することをさらに含み得る。第1の部分がプライベートとして分類されるという自動決定は、任意のユーザ入力から独立した第1のウェアラブルエクステンデッドリアリティ機器による決定に基づいてもよく、または別のコンピューティングデバイスによって決定されてもよい。このような実施形態では、自動決定は、例えば、ユーザの身元、ユーザの役割、第1のウェアラブルエクステンデッドリアリティ機器の場所、現在の時刻もしくは日付、または仮想コンテンツに関連付けられた任意の他の情報を含む、仮想コンテンツの1つまたは複数の特性に基づき得る。いくつかの実施形態では、少なくとも1つのプロセッサは、アクティブユーザ入力から独立した仮想コンテンツの1つまたは複数の特性に基づいて、仮想コンテンツの一部またはすべての部分がプライベートとして指定されるべきかどうかを決定する1つまたは複数のルールを採用することができる。このような実施形態では、ルールは、データベースに記憶され得るか、またはユーザによって作成され得る。代替的に、または加えて、機械学習モデル(分類モデル、視覚的分類モデルなど)は、コンテンツがパブリックであるかプライベートであるかを決定するために、訓練例を使用して訓練され得る。このような訓練例の例としては、サンプルコンテンツがパブリックであるかプライベートであるかを示すラベルとともに、サンプルコンテンツが挙げられ得る。訓練された機械学習モデルは、どの部分が機密であり、どの部分がパブリックであるかを決定するために使用され得る。別の例では、第1のウェアラブルエクステンデッドリアリティ機器は、機器の場所を決定するように構成され得る。このような実施形態では、少なくとも1つのプロセッサは、第1のウェアラブルエクステンデッドリアリティ機器が所与の場所内または所与の場所の所定の距離内にあるときはいつでも、仮想コンテンツの第1の部分をプライベートとして分類するように構成され得る。
いくつかの実施形態、動作は、第1の部分を閲覧するための許可を有する少なくとも第1の個人と、第1の部分を閲覧するための許可を有さない少なくとも第2の個人とを識別することをさらに含むことができ、動作は、少なくとも第2の個人への第1の部分の表示を防止しながら、少なくとも第1の個人への第1の部分の表示を有効にすることをさらに含むことができる。第1の部分を閲覧するための許可を有する第1の個人は、ユーザ入力に基づいて、または自動的に識別され得る。いくつかの実施形態では、第1のウェアラブルエクステンデッドリアリティ機器のユーザは、個人が第1の部分を閲覧するための許可を有することを識別するために、第1のウェアラブルエクステンデッドリアリティ機器または任意の接続されたデバイスと対話することができる。ユーザは、第1の部分を閲覧するための許可を有するものとして個人を識別するために、トリガ、タッチスクリーンインターフェース、マウス、または任意の他の種類の対話型要素を使用して、第1のウェアラブルエクステンデッドリアリティ機器または任意の接続されたデバイスと対話することができる。いくつかの実施形態では、第1のウェアラブルエクステンデッドリアリティ機器または異なるコンピューティングデバイスは、個人の身元、個人の役割、第1のウェアラブルエクステンデッドリアリティ機器の場所、第2のウェアラブルエクステンデッドリアリティ機器の場所、現在の時刻もしくは日付、またはアクティブユーザ入力から独立した個人の許可ステータスを分類するために使用され得る任意の他の情報のうちの1つまたは複数に基づいて、個人が第1の部分を閲覧するための許可を有することを自動的に識別することができる。いくつかの実施形態では、少なくとも1つのプロセッサは、アクティブユーザ入力から独立した許可ステータスを分類するために使用され得る情報に基づいて、個人が第1の部分を閲覧するための許可を有することを識別するために1つまたは複数のルールを採用することができる。このような実施形態では、ルールは、データベースに記憶され得るか、またはユーザによって作成され得る。代替的に、または加えて、機械学習モデル(分類モデル、視覚的分類モデルなど)は、特定の個人が種々のコンテンツを閲覧するための許可を有するかどうかを決定するために、訓練例を使用して訓練され得る。このような訓練例の例としては、サンプルコンテンツ、およびサンプル個人に関連付けられたデータが、サンプル個人がサンプルコンテンツを閲覧するための許可を有するかどうかを示すラベルとともに挙げられ得る。訓練された機械学習モデルは、どの個人が第1の部分を閲覧するための許可を有するかを決定するために使用され得る。第1の部分を閲覧するための許可を有していない第2の個人は、ユーザ入力に基づいて、または自動的に、同様に識別され得る。いくつかの実施形態では、第1のウェアラブルエクステンデッドリアリティ機器のユーザは、個人が第1の部分を閲覧するための許可を有していないことを識別するために、第1のウェアラブルエクステンデッドリアリティ機器または任意の接続されたデバイスと対話することができる。ユーザは、第1の部分を閲覧するための許可を有していないものとして個人を識別するために、トリガ、タッチスクリーンインターフェース、マウス、または任意の他の種類の対話型要素を使用して、第1のウェアラブルエクステンデッドリアリティ機器または任意の接続されたデバイスと対話することができる。いくつかの実施形態では、第1のウェアラブルエクステンデッドリアリティ機器または異なるコンピューティングデバイスは、個人の身元、個人の役割、第1のウェアラブルエクステンデッドリアリティ機器の場所、第2のウェアラブルエクステンデッドリアリティ機器の場所、現在の時刻もしくは日付、またはアクティブユーザ入力から独立した個人の許可ステータスを分類するために使用され得る任意の他の情報のうちの1つまたは複数に基づいて、個人が第1の部分を閲覧するための許可を有していないことを自動的に識別することができる。加えて、表示を有効にすることは、完全に不明瞭化された表示、完全に不明瞭化されていない表示、部分的に不明瞭化された表示、または部分的に不明瞭化されていない表示を有効にすることを含み得る。例えば、第1の個人は、ドキュメントの第1の部分を閲覧するための許可を有すると識別されてもよく、第2の個人は、第1の部分を閲覧するための許可を有していないと識別されてもよい。いくつかの開示される実施形態は、第1の個人が、ブラックアウト、ぼかし、または第2の個人へのドキュメントの部分の表示を防止しながら何らかの他の方法で、ドキュメントの部分を明確に見ることを可能にし得る。
いくつかの実施形態は、第3のウェアラブルエクステンデッドリアリティ機器が第1のウェアラブルエクステンデッドリアリティ機器に近接していることを検出することと、第1のウェアラブルエクステンデッドリアリティ機器と第3のウェアラブルエクステンデッドリアリティ機器との間の追加のリンクを確立することと、仮想コンテンツの特定の部分が第2のウェアラブルエクステンデッドリアリティ機器に不明瞭化された形態で表示されている間に、仮想コンテンツの特定の部分を表すデータを不明瞭化されていない形態で第3のウェアラブルエクステンデッドリアリティ機器に送信することとを含み得る。第1のウェアラブルエクステンデッドリアリティ機器と第3のウェアラブルエクステンデッドリアリティ機器との間の近接を検出することは、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間の近接を検出するために上記で説明したものと同様のシステム、デバイス、および方法を介して達成され得る。第1のウェアラブルエクステンデッドリアリティ機器と第3のウェアラブルエクステンデッドリアリティ機器との間の追加のリンクを確立することは、第1のウェアラブルエクステンデッドリアリティ機器と第2のエクステンデッドリアリティ機器との間のリンクを確立するために上記で説明したものと同様のシステム、デバイス、および方法を介して達成され得る。例えば、第1のウェアラブルエクステンデッドリアリティ機器と第3のウェアラブルエクステンデッドリアリティ機器との間にBluetoothを介してリンクが確立されてもよく、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間にもBluetoothを介してリンクが確立されてもよい。別の例では、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間のリンクは、例えば、エクステンデッドリアリティ環境を調整するシステム、第1および第2のウェアラブルエクステンデッドリアリティ機器の両方と通信するシステム、第1および第2のウェアラブルエクステンデッドリアリティ機器の両方に提示のためのコンテンツを提供するシステムなどにおける、データ構造またはデータベースにおけるリンケージを含み得る。別の例として、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間に確立されるリンクとは異なる方法で、第1のウェアラブルエクステンデッドリアリティ機器と第3のウェアラブルエクステンデッドリアリティ機器との間にリンクが確立されてもよい。例えば、第1のウェアラブルエクステンデッドリアリティ機器と第3のウェアラブルエクステンデッドリアリティ機器との間にBluetoothを介してリンクが確立されてもよく、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間にWi-Fiを介してまたはデータ構造においてリンクが確立されてもよい。
いくつかの実施形態では、動作は、第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザに関連付けられた第2のユーザ許可データ、および第3のウェアラブルエクステンデッドリアリティ機器に関連付けられた第3のユーザ許可データにアクセスすることと、第2のユーザ許可データおよび第3のユーザ許可データに基づいて、コンテンツを第2のウェアラブルエクステンデッドリアリティ機器および第3のウェアラブルエクステンデッドリアリティ機器と選択的に共有することであって、第2のウェアラブルエクステンデッドリアリティ機器と共有されるコンテンツは、第3のウェアラブルエクステンデッドリアリティ機器と共有されるコンテンツとは異なる、共有することとをさらに含み得る。第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザに関連付けられた第2のユーザ許可データは、上記で説明したシステム、デバイス、および方法と同様に、ユーザ入力によって、または自動的に生成され得る。ユーザ入力は、第1のウェアラブルエクステンデッドリアリティ機器のユーザ、第2のウェアラブルエクステンデッドリアリティ機器のユーザ、または任意の他のユーザのいずれかによって生成され得る。一実施形態では、第1のウェアラブルエクステンデッドリアリティ機器のユーザ、第2のウェアラブルエクステンデッドリアリティ機器のユーザ、または任意の他のユーザは、第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザに関連付けられた第2のユーザ許可データを生成するために、第1のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器、または任意の接続されたデバイスと対話することができる。このようなユーザは、第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザに関連付けられた第2のユーザ許可データを生成するために、トリガ、タッチスクリーンインターフェース、マウス、または任意の他の種類の対話型要素を使用して、第1のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器、または任意の接続されたデバイスと対話することができる。いくつかの実施形態では、第1のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器、または任意の接続されたデバイスは、第2のユーザの身元、第2のユーザの役割、第1のウェアラブルエクステンデッドリアリティ機器の場所、第2のウェアラブルエクステンデッドリアリティ機器の場所、現在の時刻もしくは日付、またはアクティブユーザ入力から独立したデータプライバシーのためのルールを確立するために使用され得る任意の他の情報のうちの1つまたは複数に基づいて、第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザに関連付けられた第2のユーザ許可データを自動的に生成することができる。
同様に、第2のウェアラブルエクステンデッドリアリティ機器の第3のユーザに関連付けられた第3のユーザ許可データは、ユーザ入力によって、または自動的に生成され得る。ユーザ入力は、第1のウェアラブルエクステンデッドリアリティ機器のユーザ、第3のウェアラブルエクステンデッドリアリティ機器のユーザ、または任意の他のユーザのいずれかによって生成され得る。一実施形態では、第1のウェアラブルエクステンデッドリアリティ機器のユーザ、第3のウェアラブルエクステンデッドリアリティ機器のユーザ、または任意の他のユーザは、第3のウェアラブルエクステンデッドリアリティ機器の第3のユーザに関連付けられた第3のユーザ許可データを生成するために、第1のウェアラブルエクステンデッドリアリティ機器、第3のウェアラブルエクステンデッドリアリティ機器、または任意の接続されたデバイスと対話することができる。このようなユーザは、第3のウェアラブルエクステンデッドリアリティ機器の第3のユーザに関連付けられた第3のユーザ許可データを生成するために、トリガ、タッチスクリーンインターフェース、マウス、または任意の他の種類の対話型要素を使用して、第1のウェアラブルエクステンデッドリアリティ機器、第3のウェアラブルエクステンデッドリアリティ機器、または任意の接続されたデバイスと対話することができる。別の実施形態では、第1のウェアラブルエクステンデッドリアリティ機器、第3のウェアラブルエクステンデッドリアリティ機器、または任意の接続されたデバイスは、第3のユーザの身元、第3のユーザの役割、第1のウェアラブルエクステンデッドリアリティ機器の場所、第3のウェアラブルエクステンデッドリアリティ機器の場所、現在の時刻もしくは日付、またはアクティブユーザ入力から独立したデータプライバシーのためのルールを確立するために使用され得る任意の他の情報のうちの1つまたは複数に基づいて、第3のウェアラブルエクステンデッドリアリティ機器の第3のユーザに関連付けられた第3のユーザ許可データを自動的に生成することができる。
さらに、コンテンツを選択的に共有することは、第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザに提示される情報を第3のウェアラブルエクステンデッドリアリティ機器の第3のユーザに提示される情報と区別する任意の方法でコンテンツを共有することを含み得る。例えば、第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザと共有されるコンテンツは、完全に不明瞭化されたコンテンツを含んでもよく、第3のウェアラブルエクステンデッドリアリティ機器の第3のユーザと共有されるコンテンツは、部分的に不明瞭化されたコンテンツのみを含んでもよい。一例では、第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザと共有されるコンテンツは、ブラックアウトされた画像を含んでもよく、第3のウェアラブルエクステンデッドリアリティ機器の第3のユーザと共有されるコンテンツは、ぼかされた画像のみを含んでもよい。別の例では、第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザと共有されるコンテンツは、完全に編成されたドキュメントを含んでもよく、第3のウェアラブルエクステンデッドリアリティ機器の第3のユーザと共有されるコンテンツは、部分的に編成されたドキュメントのみを含んでもよい。
いくつかの実施形態では、第2のユーザ許可データおよび第3のユーザ許可データは、リンクおよび追加リンクの確立中にそれぞれ取得され得る。このような実施形態では、第2のユーザ許可データおよび第3のユーザ許可データは、ユーザに許可データを要求した後、または自動的に取得され得る。
いくつかの実施形態では、仮想コンテンツの少なくとも一部分を不明瞭化された形態で表すデータは、仮想コンテンツの少なくとも一部を処理することによって生成され得る。例えば、第1のウェアラブルエクステンデッドリアリティ機器は、仮想コンテンツの少なくとも一部を処理して、仮想コンテンツの少なくとも一部分を不明瞭化された形態で表すデータを生成することができる。別の例では、コンピュータ化されたシステム(例えば、エクステンデッドリアリティ環境を調整するシステム、第1および第2のウェアラブルエクステンデッドリアリティ機器の両方と通信するシステム、第1および第2のウェアラブルエクステンデッドリアリティ機器の両方に提示するためのコンテンツを提供するシステムなど)は、仮想コンテンツの少なくとも一部を処理して、仮想コンテンツの少なくとも一部を不明瞭化された形態で表すデータを生成することができる。いくつかの例では、データを生成するための仮想コンテンツの少なくとも一部の処理は、仮想コンテンツの少なくとも一部を、ぼかし、修正、視覚フィルタなどの変換機能に適用することを含み得る。一例では、機械学習モデル(生成モデル、敵対的生成ネットワーク、トランスフォーマベースの生成モデルなど)は、仮想コンテンツの不明瞭な形態を生成するために訓練例を使用して訓練され得る。このような訓練例の例としては、サンプル仮想コンテンツ、およびサンプル不明瞭化パラメータが、サンプル不明瞭化パラメータに対応するサンプル仮想コンテンツの所望の不明瞭化された形態とともに挙げられ得る。このような不明瞭化パラメータのいくつかの非限定的な例としては、不明瞭化レベル(「高」、「低」など)、不明瞭化方法(縮小、ぼかしなど)などが挙げられ得る。訓練された機械学習モデルは、仮想コンテンツの少なくとも一部を分析して、仮想コンテンツの少なくとも一部を不明瞭化された形態で表すデータを生成することができる。一例では、手動構成が、訓練された機械学習モデルの使用のための不明瞭化パラメータを選択するために使用され得る。いくつかの例では、仮想コンテンツの少なくとも一部分の不明瞭な形態は、第2のウェアラブルエクステンデッドリアリティ機器の特性(ハードウェア特性、ディスプレイ解像度、オペレーティングシステムなど)に基づいて、および/または第2のウェアラブルエクステンデッドリアリティ機器の条件(第2のウェアラブルエクステンデッドリアリティ機器の環境内の周囲照明条件、第2のウェアラブルエクステンデッドリアリティ機器の使用モードなど)に基づいて選択され得る。例えば、第2のウェアラブルエクステンデッドリアリティ機器の特性および/または条件は、訓練された機械学習モデルの使用のための不明瞭化パラメータを選択するために使用され得る。いくつかの例では、第2のウェアラブルエクステンデッドリアリティ機器の環境内の第1の周囲照明条件に応答して、仮想コンテンツの少なくとも一部分の第1の不明瞭な形態が選択されてもよく、第2のウェアラブルエクステンデッドリアリティ機器の環境内の第2の照明条件に応答して、仮想コンテンツの少なくとも一部分の第2の不明瞭な形態が選択されてもよく、第2の不明瞭な形態は、第1の不明瞭な形態とは異なってもよい。一例では、第1の周囲照明条件は、第2の周囲照明条件よりも明るい照明に対応してもよく、第1の不明瞭な形態は、第2の不明瞭な形態よりも不透明かつ/または鮮明であってもよい。いくつかの例では、第2のウェアラブルエクステンデッドリアリティ機器の第1の使用モードに応答して、仮想コンテンツの少なくとも一部分の第1の不明瞭な形態が選択されてもよく、第2のウェアラブルエクステンデッドリアリティ機器の第2の使用モードに応答して、仮想コンテンツの少なくとも一部分の第2の不明瞭な形態が選択されてもよく、第2の不明瞭な形態は、第1の不明瞭な形態とは異なってもよい。例えば、第1の使用モードは、仮想オブジェクトとの第2のウェアラブルエクステンデッドリアリティ機器のユーザの能動的関与を含んでもよく、第2の使用モードは、第2のウェアラブルエクステンデッドリアリティ機器のユーザによる仮想オブジェクトの受動的閲覧を含んでもよく、第1の不明瞭な形態は、第2の不明瞭な形態より小さくてもよい。別の例では、第1の使用モードは、移動している間の使用(例えば、歩いている、走っているなど)を含んでもよく、第2の使用モードは、静止している間の使用(例えば、座っている、立っているなど)を含んでもよく、第1の不明瞭な形態は、第2の不明瞭な形態よりも不透明度が低くてもよい。
いくつかの実施形態では、ウェアラブルエクステンデッドリアリティ機器のユーザに状況認識を提供するための方法が開示され得る。図18は、本開示のいくつかの実施形態と一貫して関連する、ウェアラブルエクステンデッドリアリティ機器のユーザに状況認識を提供する例示的な方法1805のフローチャートである。方法1805は、少なくとも1つのプロセッサが第1のウェアラブルエクステンデッドリアリティ機器を通じて仮想コンテンツを表示させるステップ1810を含み得る。方法1805は、少なくとも1つのプロセッサが第1のウェアラブルエクステンデッドリアリティ機器に近接した第2のウェアラブルエクステンデッドリアリティ機器を検出するステップ1812を含み得る。方法1805は、少なくとも1つのプロセッサが第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間のリンクを確立するステップ1814を含み得る。方法1805は、少なくとも1つのプロセッサが、仮想コンテンツの少なくとも一部分を不明瞭化された形態で表すデータを第2のウェアラブルエクステンデッドリアリティ機器に送信するステップ1816を含み得、不明瞭化された形態は、不明瞭化された形態の仮想コンテンツの実体を明らかにすることなく、3次元空間における仮想コンテンツの少なくとも一部分の位置のインジケーションを提供する。
いくつかの実施形態は、ウェアラブルエクステンデッドリアリティ機器のユーザに状況認識を提供することを含み得る。例えば、システムは、第1のウェアラブルエクステンデッドリアリティ機器を通じて、仮想コンテンツを表示させることと、第1のウェアラブルエクステンデッドリアリティ機器に近接した第2のウェアラブルエクステンデッドリアリティ機器を検出することと、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間のリンクを確立することと、仮想コンテンツの少なくとも一部分を表すデータを不明瞭化された形態で第2のウェアラブルエクステンデッドリアリティ機器に送信することであって、不明瞭化された形態が、不明瞭化された形態の仮想コンテンツの実体を明らかにすることなく、3次元空間における仮想コンテンツの少なくとも一部分の位置のインジケーションを提供する、送信することと、を行うように構成される少なくとも1つのプロセッサを含み得る。
いくつかの開示される実施形態は、方法、システム、装置、および非一時的コンピュータ可読媒体を含む、仮想ホワイトボードを物理的空間に結び付けることに関し得る。例えば、非一時的コンピュータ可読媒体の態様が方法、システム、および装置に等しく適用され得るという理解の下で、非一時的コンピュータ可読媒体が以下で説明される。例えば、非一時的コンピュータ可読媒体において具現化される1つまたは複数のプロセスは、方法として、システムにおいて、または装置において実行され得る。このようなプロセスのいくつかの態様は、有線、無線、またはその両方であり得るネットワークを介して電子的に生じ得る。このようなプロセスの他の態様は、非電子的手段を使用して生じ得る。最も広い意味では、プロセスは、特定の物理的および/または電子的手段に限定されず、むしろ、多くの異なる手段を使用して達成され得る。例えば、いくつかの開示される実施形態は、仮想ホワイトボードを物理的空間に結び付けるためのシステム、方法、または装置を含むことができ、本システムは、本明細書で説明するように様々なプロセスを実行するように構成された少なくとも1つのプロセッサを含む。
非一時的コンピュータ可読媒体は、少なくとも1つのプロセッサによって実行されたとき、少なくとも1つのプロセッサに、本明細書で説明するように様々なプロセスを実行させる命令を含み得る。非一時的コンピュータ可読媒体は、少なくとも1つのプロセッサによって読み取り可能な情報またはデータが記憶され得る任意の種類の物理メモリを含み得る。非一時的コンピュータ可読媒体は、例えば、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、揮発性メモリ、非揮発性メモリ、ハードドライブ、コンパクトディスク読み取り専用メモリ(CD-ROM)、デジタル多用途ディスク(DVD)、フラッシュドライブ、ディスク、任意の光データ記憶媒体、穴のパターンを有する任意の物理媒体、プログラマブル読み取り専用メモリ(PROM)、消去可能プログラマブル読み取り専用メモリ(EPROM)、フラッシュEPROMもしくは任意の他のフラッシュメモリ、不揮発性ランダムアクセスメモリ(NVRAM)、キャッシュ、レジスタ、任意の他のメモリチップもしくはカートリッジ、またはこれらのネットワーク化バージョンを含み得る。非一時的コンピュータ可読媒体は、局所的場所または遠隔場所に位置する複数の非一時的コンピュータ可読媒体など、複数の構造を指すことがある。加えて、1つまたは複数の非一時的コンピュータ可読媒体は、コンピュータ実装方法を実施する際に利用され得る。したがって、非一時的コンピュータ可読媒体は、有形のアイテムを含んでもよく、搬送波または過渡信号を除外してもよい。
非一時的コンピュータ可読媒体に含まれる命令は、例えば、ソフトウェア命令、コンピュータプログラム、コンピュータコード、実行可能命令、ソースコード、機械命令、機械語プログラム、またはコンピューティングデバイスのための任意の他の種類の指示を含み得る。非一時的コンピュータ可読媒体に含まれる命令は、様々な種類の所望のプログラミング言語のうちの1つまたは複数に基づくことができ、本明細書で説明するように仮想ホワイトボードを物理的空間に結び付けるための様々なプロセスを含む(例えば、具現化する)ことができる。
少なくとも1つのプロセッサは、非一時的コンピュータ可読媒体に含まれる命令を実行して、本明細書で説明するように仮想ホワイトボードを物理的空間に結び付けるための様々なプロセスを実行させることができる。プロセッサは、例えば、集積回路、マイクロチップ、マイクロコントローラ、マイクロプロセッサ、中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)、デジタル信号プロセッサ(DSP)、フィールドプログラマブルゲートアレイ(FPGA)、または命令を実行するか、もしくは論理演算を実行するのに適した他のユニットを含み得る。プロセッサは、シングルコアまたはマルチコアプロセッサを含み得る。いくつかの例では、プロセッサは、仮想化技術を用いて構成されたシングルコアプロセッサであり得る。プロセッサは、例えば、仮想化技術または他の機能を実装して、複数のソフトウェアプロセス、アプリケーション、またはプログラムを実行、制御、作動、操作、または記憶する能力を提供することができる。別の例では、プロセッサは、プロセッサに関連付けられたデバイスが複数のプロセスを同時に実行することを可能にするために並列処理機能を提供するように構成されたマルチコアプロセッサ(例えば、デュアルコア、クワッドコア、または任意の所望の数のコアを有するもの)を含み得る。本明細書で説明される能力を提供するために、他の種類のプロセッサ構成が実装され得る。
いくつかの開示される実施形態は、仮想ホワイトボードを物理的空間に結び付けることに関し得る。仮想ホワイトボードは、コンテンツが表示され得る仮想場所を指すことがある。例えば、仮想表面は、デジタルコンテンツの提示のために構成されたディスプレイ空間内のエリアであり得る。デジタルコンテンツは、画像、ウィジェット、テキスト、リンク、マーキング、スクリブル、または任意の他の既存の情報、もしくは手書きもしくはタイプされたテキストもしくは画像など、その場で生成された情報を含み得る。仮想コンテンツは、エクステンデッドリアリティ機器によってユーザに表示される。口語的な意味では「白色」板と呼ばれるが、表面は特定の色である必要はない。すなわち、表示エリアは、白色、黒色、青色、緑色、もしくは黄色であってもよく、または任意の他の所望の色を有してもよい。表面は、光沢のある、滑らかな、もしくは粗いものとして表示されてもよく、または任意の他の所望のテクスチャを有してもよい。ホワイトボードとして任意の形状が採用され得る。例えば、いくつかの実施形態では、ホワイトボードは、チョークボードまたはフリップチャートの従来の矩形形状を有することができ、他の実施形態では、ホワイトボードは、円形、正方形、三角形、六角形、平行四辺形、台形、自由形状、または任意の他の所望の輪郭の形状で提示され得る。同様に、「ボード」という用語の使用は、ディスプレイが平坦である必要があることを意味するものではない。いくつかの実施形態では、仮想ホワイトボードは、様々な輪郭で存在し得る。例えば、ホワイトボードは、回転可能な立方体または他の3次元形状(または形状の組み合わせ)として提示され得る。いくつかの実施形態では、ホワイトボードの初期特性(例えば、形状、サイズ、色)は、経時的に変化し得る。例えば、ユーザがホワイトボードの種々の部分と対話すると、ホワイトボードの特性が変化することがある(例えば、ボード全体が拡張することがあり、ボードの特定の領域と対話することにより、表示特性の変化を生じさせることがある)。ホワイトボード表面は、いかなる特定のサイズにも限定されない。そのサイズは、特定の使用事例(例えば、矩形の場合、0.5平方メートル、0.75平方メートル、1平方メートル、2平方メートル、または任意の他の所望の量の面積)に応じて、任意のサイズであり得る。いくつかの例では、仮想ホワイトボードの表面は、表面の形状の境界に沿ってエンクロージャ(例えば、フレーム)によって境界されてもよく、エンクロージャは、表示された表面とともに仮想コンテンツとして表示される。仮想ホワイトボードは、物理壁または仮想コンテンツとして表示される仮想壁上に貼り付けられているものとして表示されてもよく、床に立っているアセンブリによって支持されているものとして表示されてもよく、空間内の他のオブジェクト(物理または仮想のいずれか)に接続されることなく空間内に配置されている(例えば、浮いている)ものとして表示されてもよく、または任意の他の所望の方法で表示されてもよい。
仮想ホワイトボードは、マーキングを行うために構成され得る。例えば、仮想コンテンツは、仮想ホワイトボードの表面に追加されてもよく、または表面から除去されてもよい。このような仮想コンテンツは、テキスト、図面、色、形状、アイコン、ロゴ、ピクチャ、グラフィック、注釈、ビデオ、アニメーション、ドキュメント、ファイル、リンク、プログラム、スクリプト、またはデータの任意の他の所望の表現を含み得る。このような仮想コンテンツは、仮想ホワイトボードの表面にあり、仮想ホワイトボードが向いている可能性がある方向と同じまたはほぼ同様の方向に向くように表示され得る。仮想ホワイトボード上の仮想コンテンツは、仮想ホワイトボードの境界内にあり得る。仮想ホワイトボード上の仮想コンテンツは、任意の所望の方法で修正され得る。仮想ホワイトボードの使用(例えば、仮想コンテンツの追加、除去、または修正)は、ユーザコマンドを介して実行され得る。本明細書でさらに説明するように、仮想ホワイトボードは、様々な方法で、様々な機能を実装するために使用され得る。
いくつかの例では、仮想ホワイトボードは、物理ホワイトボードに似ている場合がある。物理ホワイトボードが物理的空間に配置され得るように、仮想ホワイトボードは物理的空間に結び付けられ得る。例えば、仮想ホワイトボードは、会議室、教室、ディスカッションルーム、作業室、オフィス、リビングルーム、寝室、台所、ホール、コンコース、屋内空間、運動場、屋外空間、または任意の他の所望の環境などの物理的空間に結び付けられてもよい。仮想ホワイトボードを物理的空間に結び付けることは、例えば、物理的空間内のエクステンデッドリアリティ機器のユーザが、投稿ユーザがもはや仮想ホワイトボードの物理的空間内に物理的に位置していないときでも、別のユーザによる後の閲覧のために、仮想ホワイトボードにコンテンツを投稿することを可能にし得る。いくつかの例では、物理的空間に結び付けられた仮想ホワイトボードは、物理的空間の設定に対して特定の向きおよび特定の位置を有するように構成され得る。これにより、仮想ホワイトボードは、物理的空間に表示されたときに、物理的空間の設定に対して一貫した(例えば、固定された)向きおよび位置を有することができる。例えば、建物内の特定の会議室に結び付けられた仮想ホワイトボードは、呼び出されると、会議室の特定の壁の特定の部分に配置されているものとして一貫して表示されてもよい。いくつかの例では、仮想ホワイトボードは、仮想ホワイトボードの近くにいる種々のユーザが、仮想ホワイトボードと対話することによって仮想ホワイトボードに提示のための仮想コンテンツを追加すること、および/または仮想ホワイトボードに提示された視覚コンテンツを(例えば、仮想ホワイトボードと対話することによって)消去すること、および/またはホワイトボードに提示された視覚コンテンツを閲覧することを可能にする表面であり得る。このような仮想コンテンツのいくつかの非限定的な例について上述している。このような対話のいくつかの非限定的な例について以下に説明している。いくつかの例では、仮想ホワイトボードは、物理ホワイトボードの機能を模倣および/または拡張する仮想オブジェクトであり得る。
いくつかの開示される実施形態は、無線ネットワークを介して、第1のウェアラブルエクステンデッドリアリティ機器(WER機器)の場所のインジケーションを受信することを含み得る。無線ネットワークは、例えば、Wi-Fiネットワーク、WiMAXネットワーク、セルラーネットワーク(例えば、2G、3G、4G、または5G)、モバイルネットワーク、衛星通信ネットワーク、地上マイクロ波ネットワーク、無線パーソナルエリアネットワーク、無線ローカルエリアネットワーク、無線アドホックネットワーク、無線メトロポリタンエリアネットワーク、無線広域ネットワーク、無線グローバルエリアネットワーク、宇宙ネットワーク、またはネットワークノード間の無線データ接続を使用し得る任意の他の種類のコンピュータネットワークを含み得る。
第1のウェアラブルエクステンデッドリアリティ機器の場所が決定され得、この情報は、非一時的コンピュータ可読媒体を介して少なくとも1つのプロセッサ(例えば、サーバ210のプロセッサ)に送信され得る。第1のウェアラブルエクステンデッドリアリティ機器の場所の決定は、第1のウェアラブルエクステンデッドリアリティ機器に含まれる1つまたは複数の測位システム、例えば、全地球測位システム(GPS)センサ、屋内測位システム、Wi-Fiベースの測位システム、タグ付けされたオブジェクトのための存在報告システム、無線周波数識別(RFID)システム、無線ネットワークの受信信号強度インジケーションに基づく測位システム、またはデバイスの場所を識別するように構成された他の種類の所望の機構に基づき得る。第1のウェアラブルエクステンデッドリアリティ機器の場所は、連続的に、0.1秒ごとに、0.5秒ごとに、1秒ごとに、2秒ごとに、3秒ごとに、または任意の他の所望の間隔など、周期的に決定され得る。他の例では、第1のウェアラブルエクステンデッドリアリティ機器の場所は、必要なとき、ランダムな時点などにおいて決定され得る。監視されて更新されるようなこのような場所情報は、非一時的コンピュータ可読媒体の少なくとも1つのプロセッサに送信され、それによって受信され得る。第1のウェアラブルエクステンデッドリアリティ機器の場所は、例えば、GPS座標のセット、建物識別子、部屋識別子、空間識別子、オフィス識別子、または任意の他の種類の位置決めデータを含み得る。
図19は、本開示のいくつかの実施形態と一致する、仮想ホワイトボードを物理的空間に結び付けるための例示的なプロセス1900を示すフローチャートである。図19を参照すると、ステップ1910では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、無線ネットワークを介して、第1のウェアラブルエクステンデッドリアリティ機器の場所のインジケーションを受信させ得る。
いくつかの開示される実施形態は、第1のウェアラブルエクステンデッドリアリティ機器の場所が特定の仮想ホワイトボードの場所に対応すると決定するために、仮想ホワイトボードのリポジトリおよび仮想ホワイトボードの場所でルックアップを実行することを含み得る。仮想ホワイトボードのリポジトリおよび仮想ホワイトボードの場所は、例えば、仮想ホワイトボードのテーブル(例えば、仮想ホワイトボードでの提示のためのデータ)および仮想ホワイトボードの対応する場所を含むデータストレージを指すことがある。例えば、テーブルに示された仮想ホワイトボードの各仮想ホワイトボードは、テーブルに記憶された対応する場所を有することができる。リポジトリは、データ構造212に基づいて、またはそれと同様の方法で実装され得る。いくつかの例では、仮想ホワイトボードのリポジトリおよび場所は、場所によって検索可能であり、物理的場所によるホワイトボードの検索を可能にする任意のデータ構造であり得る。いくつかの例では、第1のウェアラブルエクステンデッドリアリティ機器の場所は、特定の部屋(特定の会議室、特定のオフィスルームなど)であってもよく、リポジトリ内のルックアップは、特定の部屋に配置された1つまたは複数の仮想ホワイトボードを識別するために特定の部屋に基づいてもよく、第1のウェアラブルエクステンデッドリアリティ機器の場所が特定の部屋に配置された1つまたは複数の仮想ホワイトボードに対応すると決定されてもよい。一例では、特定の部屋は特定の物理的な部屋であってもよく、第1のウェアラブルエクステンデッドリアリティ機器は特定の物理的な部屋に配置されてもよい。いくつかの例では、第1のウェアラブルエクステンデッドリアリティ機器の場所は、第1のウェアラブルエクステンデッドリアリティ機器のユーザに見える特定の壁(または異なる種類の特定の表面)であってもよく、および/またはそれを示してもよく、リポジトリ内のルックアップは、特定の壁に配置された1つまたは複数の仮想ホワイトボードを識別するために、第1のウェアラブルエクステンデッドリアリティ機器および/または特定の壁の場所に基づいてもよく、第1のウェアラブルエクステンデッドリアリティ機器の場所が、特定の壁に配置された1つまたは複数の仮想ホワイトボードに対応すると決定されてもよい。一例では、特定の壁は、第1のウェアラブルエクステンデッドリアリティ機器の位置および方向によって識別され得る。別の例では、特定の壁は、画像データ内の特定の壁を検出するために、第1のウェアラブルエクステンデッドリアリティ機器に含まれる画像センサによってキャプチャされた画像データを分析することによって識別され得る。いくつかの例では、リポジトリ内のルックアップは、第1のウェアラブルエクステンデッドリアリティ機器の場所から選択された閾値よりも小さい距離に配置された1つまたは複数の仮想ホワイトボードを識別することができ、第1のウェアラブルエクステンデッドリアリティ機器の場所が識別された1つまたは複数の仮想ホワイトボードに対応すると決定され得る。いくつかの非限定的な例では、閾値は、第1のウェアラブルエクステンデッドリアリティ機器のユーザに基づいて、第1のウェアラブルエクステンデッドリアリティ機器の場所に基づいて、第1のウェアラブルエクステンデッドリアリティ機器の方向に基づいて、ホワイトボードに基づいて、ホワイトボードの寸法に基づいて、ホワイトボードの種類に基づいて、などに基づいて選択され得る。
いくつかの例では、特定の仮想ホワイトボードが物理的空間のために最初に生成されたとき、登録プロセスがトリガされてもよく、そこで仮想ホワイトボードの識別および仮想ホワイトボードの場所が決定され、リポジトリに送信されてもよい。生成された仮想ホワイトボードは、物理的空間に結び付けられ得る。仮想ホワイトボードの場所は、例えば、GPS座標のセット、建物識別子、部屋識別子、空間識別子、オフィス識別子、または任意の他の種類の位置決めデータを含み得る。仮想ホワイトボードの識別と仮想ホワイトボードの場所との情報ペアは、リポジトリによって受信されてもよく、リポジトリによって(例えば、データテーブルに)記憶されてもよい。いくつかの例では、物理的空間の設定に対する特定の仮想ホワイトボードの向きおよび仮想ホワイトボードの場所がリポジトリに記録され得る。そうすることによって、仮想ホワイトボードが物理的空間に表示されるとき、仮想ホワイトボードは、リポジトリに記録された向きおよび位置情報を使用して、物理的空間の設定に対して一貫した(例えば、固定された)向きおよび位置を有するように構成され得る。例えば、リポジトリに記録された向きおよび位置情報を使用して、仮想ホワイトボードが物理的空間に表示されるとき、仮想ホワイトボードは、物理的空間の壁の特定の部分(例えば、会議室)に配置されているものとして一貫して表示され得る。
リポジトリに記憶された情報は、例えば、リポジトリ内で識別された仮想ホワイトボードのいずれかの場所にエクステンデッドリアリティ機器が存在するかどうかを決定するために、照会または検索され得る。リポジトリ内でルックアップを実行するために、少なくとも1つのプロセッサは、リポジトリ内で検索するキーとして第1のウェアラブルエクステンデッドリアリティ機器の場所を使用することができる。少なくとも1つのプロセッサは、第1のウェアラブルエクステンデッドリアリティ機器の場所に一致する場所インジケーションがリポジトリ内で見つけられたかどうかを決定することができる。一致する場所インジケーションがリポジトリ内で見つけられた場合、少なくとも1つのプロセッサは、一致する場所に対応する仮想ホワイトボードを識別することができる。上記で説明したルックアップに基づいて、少なくとも1つのプロセッサは、第1のウェアラブルエクステンデッドリアリティ機器の場所が特定の仮想ホワイトボードの場所に対応すると決定することができる。第1のウェアラブルエクステンデッドリアリティ機器の場所に一致する場所インジケーションがリポジトリ内で見つけられない場合、少なくとも1つのプロセッサは、第1のウェアラブルエクステンデッドリアリティ機器の場所が任意の仮想ホワイトボードの場所に対応しないと決定することができる。リポジトリ内のルックアップは、(例えば、周期的に監視されるように)エクステンデッドリアリティ機器の場所情報が少なくとも1つのプロセッサによって受信されるときにトリガされてもよく、ルックアップは、受信された場所情報に基づいて行われてもよい。
図19を参照すると、ステップ1912では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、仮想ホワイトボードのリポジトリおよび仮想ホワイトボードの場所におけるルックアップを実行させて、第1のウェアラブルエクステンデッドリアリティ機器の場所が特定の仮想ホワイトボードの場所に対応すると決定することができる。
いくつかの開示される実施形態は、第1のウェアラブルエクステンデッドリアリティ機器に、特定の仮想ホワイトボードのコンテンツに対応するデータを送信し、それによって、第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザが、特定の仮想ホワイトボードのコンテンツを仮想的に閲覧し、特定の仮想ホワイトボードに仮想コンテンツを追加することを可能にすることを含み得る。第1のウェアラブルエクステンデッドリアリティ機器の場所が特定の仮想ホワイトボードの場所に対応すると決定することに基づいて、少なくとも1つのプロセッサは、第1のウェアラブルエクステンデッドリアリティ機器に、特定の仮想ホワイトボードのコンテンツに対応するデータを送信することができる。送信されるデータは、例えば、テキスト、図面、色、形状、アイコン、ロゴ、ピクチャ、グラフィック、注釈、ビデオ、アニメーション、ドキュメント、ファイル、リンク、プログラム、スクリプト、または仮想ホワイトボード上の表現のためのコンテンツを伝達する任意の他の情報を含み得る。いくつかの例では、特定の仮想ホワイトボードのコンテンツは、種々のユーザによって寄稿された複数のドキュメントを含み得る。複数のドキュメントは、例えば、テキストドキュメント、画像ドキュメント、オーディオドキュメント、ビデオドキュメント、プログラムドキュメント、スクリブル、手書きテキスト、または任意の他の種類のデータ編成を含み得る。種々のユーザは、学生、教師、発表者、参加者、労働者、個人、または集団の他のメンバーなど、エクステンデッドリアリティ機器(または他の種類のコンピュータ化されたシステム)を使用する種々の人物を含み得る。種々のユーザの各々は、自身のドキュメントを仮想ホワイトボードに投稿して、そのドキュメントを他のユーザと共有することができる。
特定の仮想ホワイトボードのコンテンツは、仮想ホワイトボードの識別および場所も記憶することができるリポジトリに、または異なるリポジトリに記憶され得る。少なくとも1つのプロセッサは、リポジトリから特定の仮想ホワイトボードのコンテンツを検索することができ、検索されたコンテンツを第1のウェアラブルエクステンデッドリアリティ機器に送信することができる。いくつかの例では、少なくとも1つのプロセッサは、リポジトリに記憶され得る仮想ホワイトボードの構成(例えば、仮想ホワイトボードのサイズ、形状、テクスチャ、またはフレーム)を取り出すことができる。少なくとも1つのプロセッサは、仮想ホワイトボードの構成を第1のウェアラブルエクステンデッドリアリティ機器に送信することができる。
第1のウェアラブルエクステンデッドリアリティ機器は、特定の仮想ホワイトボードの送信されたコンテンツを受信することができる。いくつかの例では、第1のウェアラブルエクステンデッドリアリティ機器は、特定の仮想ホワイトボードの送信された構成を受信することができる。第1のウェアラブルエクステンデッドリアリティ機器は、受信されたデータに基づいて、仮想ホワイトボードおよび仮想ホワイトボードのコンテンツを、第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザへの仮想表現としてレンダリングすることができる。第1のユーザは、学生、教師、発表者、参加者、労働者、個人、または集団の任意の他のメンバーなど、第1のウェアラブルエクステンデッドリアリティ機器を使用する人物を含み得る。第1のウェアラブルエクステンデッドリアリティ機器を使用して、第1のユーザは、レンダリングされた仮想ホワイトボードおよび仮想ホワイトボードのレンダリングされたコンテンツを仮想的に閲覧することができる。
第1のユーザは、特定の仮想ホワイトボードに仮想コンテンツを追加することができる。追加される仮想コンテンツは、例えば、テキスト、図面、色、形状、アイコン、ロゴ、ピクチャ、グラフィック、注釈、ビデオ、アニメーション、ドキュメント、ファイル、リンク、プログラム、スクリプト、スクリブル、手書きテキスト、またはデータの任意の他の所望の表現を含み得る。いくつかの例では、追加されるコンテンツは、ビデオ、順次表示される画像、動画、映像、または動く要素を有する任意の他の種類のコンテンツなど、アニメーション化されたコンテンツを含み得る。いくつかの例では、追加されるコンテンツは、特定の仮想ホワイトボードとの対話を通じて第1のユーザによって描かれた描画を含み得る。例えば、物理的な描画ツールまたは描画ツールのデジタル表現が第1のユーザに提供されてもよい。描画ツールは、アクティブ化されたとき、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられた入力デバイスの移動経路をたどり得る。描画ツールを使用して、入力デバイスの移動経路が仮想ホワイトボード上に投影され得、それによって、第1のユーザが仮想ホワイトボード上に描画することを可能にする。加えて、またはあるいは、描画ツールが特定の仮想ホワイトボードの領域と交差している、および/またはそれに接触している、および/またはそれに近接しているとき、マーキングが特定の仮想ホワイトボードの領域に追加され得る。追加されるマーキングの特性(色、サイズ、テクスチャなど)は、描画ツールに基づいて、交差のパラメータに基づいて、タッチのパラメータに基づいて、近接度に基づいて、描画ツールの動きの分析に基づいて、仮想ホワイトボードに基づいて、などに基づいて選択され得る。別の例では、第1のユーザの身体の一部(指、手など)が、特定の仮想ホワイトボードとの対話を通じてコンテンツを追加するために第1のユーザによって使用され得る。例えば、身体の一部が特定の仮想ホワイトボードの領域と交差している、および/またはそれに接触している、および/またはそれに近接しているとき、マーキングが特定の仮想ホワイトボードの領域に追加され得る。追加されるマーキングの特性(色、サイズ、テクスチャなど)は、ジェスチャに基づいて、交差のパラメータに基づいて、タッチのパラメータに基づいて、近接度に基づいて、仮想ホワイトボードに基づいて、などに基づいて選択され得る。
仮想ホワイトボードに仮想コンテンツを追加するために、第1のユーザは、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられた入力デバイスを使用して、第1のウェアラブルエクステンデッドリアリティ機器にユーザコマンドを入力することができる。仮想ホワイトボードは、第1のユーザが仮想コンテンツを仮想ホワイトボードに追加することを可能にし得る1つまたは複数の機能を有し得る。例えば、テキストを追加する機能は、第1のユーザが仮想ホワイトボードにテキストをタイプすることを可能にし得る。別の例として、描画を追加する機能は、第1のユーザが仮想ホワイトボードに描画することを可能にし得る。別の例として、ファイルを追加する機能は、第1のユーザが仮想ホワイトボードにファイルをアップロードすることを可能にし得る。別の例として、ピクチャを追加する機能は、第1のユーザが仮想ホワイトボードにピクチャをアップロードすることを可能にし得る。仮想コンテンツを仮想ホワイトボードに追加するための他の機能が、必要に応じて提供されてもよい。第1のユーザは、第1のウェアラブルエクステンデッドリアリティ機器の入力デバイスを使用して、機能のうちの1つまたは複数を呼び出し、仮想コンテンツを仮想ホワイトボードに追加することができる。加えて、仮想ホワイトボードは、仮想ホワイトボードの仮想コンテンツを修正または除去する機能を有することができる。この機能を使用して、第1のユーザは、修正または除去のために仮想ホワイトボードの仮想コンテンツを選択することができる。
図19を参照すると、ステップ1914では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、特定の仮想ホワイトボードのコンテンツに対応するデータを第1のウェアラブルエクステンデッドリアリティ機器に送信させ、それによって、第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザが、特定の仮想ホワイトボードのコンテンツを仮想的に閲覧し、特定の仮想ホワイトボードに仮想コンテンツを追加することを可能にし得る。
図20および図21は、本開示のいくつかの実施形態と一致する、仮想ホワイトボードを物理的空間に結び付ける例を示す概略図である。図20を参照すると、物理的空間2010は、会議室、教室、ディスカッションルーム、作業室、ミーティングルーム、オフィス、リビングルーム、寝室、台所、ホール、コンコース、屋内空間、運動場、屋外空間、または任意の他の所望の環境を含み得る。第1のユーザ2016は、物理的空間2010に存在することができ、第1のウェアラブルエクステンデッドリアリティ機器を装着することができる。仮想ホワイトボード2012は、第1のウェアラブルエクステンデッドリアリティ機器を介して第1のユーザ2016に表示され得る。仮想ホワイトボード2012は、壁2014に配置されているように表示され得る。仮想ホワイトボード2012は、物理的空間2010に結び付けられ得る。第1のウェアラブルエクステンデッドリアリティ機器が物理的空間2010にあることに基づいて、第1のウェアラブルエクステンデッドリアリティ機器は、仮想ホワイトボード2012および仮想ホワイトボード2012のコンテンツを受信して表示することができる。仮想ホワイトボード2012のコンテンツは、例えば、テキスト2018および複数のドキュメント2020、2022を含み得る。第1のユーザ2016は、(例えば、第1のウェアラブルエクステンデッドリアリティ機器を使用して、入力デバイスを使用して、物理的マーキングツールを使用して、仮想マーキングツールを使用して、ジェスチャを使用して、音声コマンドを使用して、仮想ホワイトボード2012と対話することによってなど)仮想コンテンツを仮想ホワイトボード2012に追加することができる。
いくつかの開示される実施形態は、第1の期間中に、第1のユーザによって追加された仮想コンテンツを受信することを含み得る。例えば、受信することは、少なくとも1つのプロセッサによって、仮想コンテンツを反映する信号を取得することを含み得る。第1のユーザによる特定の仮想ホワイトボードへの仮想コンテンツの追加に基づいて、第1のウェアラブルエクステンデッドリアリティ機器は、追加された仮想コンテンツを反映する信号を少なくとも1つのプロセッサに送信することができる。少なくとも1つのプロセッサは、第1の期間中に、第1のユーザによって追加された仮想コンテンツを受信することができる。第1のユーザによって追加された仮想コンテンツは、第1のウェアラブルエクステンデッドリアリティ機器から、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたデバイスから、特定の仮想ホワイトボードの近傍に配置された固定カメラから、または追加された仮想コンテンツに関連付けられた情報を有する任意の他の適切なエンティティから受信され得る。いくつかの例では、第1の期間は、第1のウェアラブルエクステンデッドリアリティ機器が特定の仮想ホワイトボードの場所を離れる前の期間であり得る。例えば、第1の期間は、第1のユーザによる特定の仮想への仮想コンテンツの追加の時間を含み得る。いくつかの例では、第1の期間は、第1のウェアラブルエクステンデッドリアリティ機器がもはや特定の仮想ホワイトボードの場所にいなくなった後の期間であり得る。いくつかの例では、第1の期間は、第1のウェアラブルエクステンデッドリアリティ機器が特定の仮想ホワイトボードの場所を離れる期間であり得る。例えば、第1の期間は、第1のユーザによる特定の仮想への仮想コンテンツの追加の時間後の期間であり得る。例えば、第1のユーザによって特定の仮想ホワイトボードに追加された仮想コンテンツは、追加の時間から仮想コンテンツを記憶した外部デバイスから受信され得る。外部デバイスは、第1のウェアラブルエクステンデッドリアリティ機器が特定の仮想ホワイトボードの場所を離れたとき、および/または第1のウェアラブルエクステンデッドリアリティ機器がもはや特定の仮想ホワイトボードの場所にいなくなった後に(例えば、特定の仮想ホワイトボードの場所での通信問題を克服するために、通信コストを最小限に抑えるためになど)、仮想コンテンツを(例えば、それを送信することによって)提供することができる。図19を参照すると、ステップ1916では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、第1の期間中に、第1のユーザによって追加された仮想コンテンツを受信させることができる。プロセッサは、例えば、サーバ210の一部であり得る。
いくつかの例では、非一時的コンピュータ可読媒体に含まれる命令は、追加されたコンテンツを仮想ホワイトボードのリポジトリに記憶することをさらに含み得る。第1のウェアラブルエクステンデッドリアリティ機器から第1のユーザによって追加された仮想コンテンツを受信することに基づいて、少なくとも1つのプロセッサは、追加されたコンテンツを仮想ホワイトボードのリポジトリおよび仮想ホワイトボードの場所に記憶することができる。追加されたコンテンツは、追加されたコンテンツが追加される特定の仮想ホワイトボードに関連してリポジトリに記憶され得る。
開示される実施形態と一致して、非一時的コンピュータ可読媒体に含まれる命令は、第1のウェアラブルエクステンデッドリアリティ機器がもはや特定の仮想ホワイトボードの場所にいなくなった後の第2の期間に、無線ネットワークを介して、第2のウェアラブルエクステンデッドリアリティ機器が特定の仮想ホワイトボードの場所にあるというインジケーションを受信することを含み得る。第1のユーザが第1のウェアラブルエクステンデッドリアリティ機器を使用して仮想コンテンツを特定の仮想ホワイトボードに追加した後、第1のウェアラブルエクステンデッドリアリティ機器は、特定の仮想ホワイトボードの場所を離れることができる。例えば、第1のユーザは、特定の仮想ホワイトボードの場所を離れてもよく、第1のウェアラブルエクステンデッドリアリティ機器を携行してもよい。第1のウェアラブルエクステンデッドリアリティ機器がもはや特定の仮想ホワイトボードの場所にいなくなった後の第2の期間に、第2のウェアラブルエクステンデッドリアリティ機器(第1のウェアラブルエクステンデッドリアリティ機器と異なってもよく、または同じであってもよい)が、特定の仮想ホワイトボードの場所に到着し得る。例えば、第2のウェアラブルエクステンデッドリアリティ機器を所有している第2のユーザは、仮想ホワイトボードの近傍に到着し得る。別の例として、第2のユーザは、会議室、教室、ディスカッションルーム、作業室、オフィス、ミーティングルーム、リビングルーム、寝室、台所、ホール、コンコース、屋内空間、運動場、屋外空間、または特定の仮想ホワイトボードの場所に関連付けられた任意の他の所望の環境に入ることができ、第2のウェアラブルエクステンデッドリアリティ機器を携行することができる。
第1のウェアラブルエクステンデッドリアリティ機器と同様に、第2のウェアラブルエクステンデッドリアリティ機器(または別のプロセスもしくはコンピュータ化されたシステム)は、第2のウェアラブルエクステンデッドリアリティ機器の場所を周期的に監視することができる。他の例では、第2のウェアラブルエクステンデッドリアリティ機器の場所は、必要なとき、ランダムな時点などにおいて決定され得る。例えば、第2のウェアラブルエクステンデッドリアリティ機器は、その場所を決定するために測位システムを使用することができる。第2のウェアラブルエクステンデッドリアリティ機器は、無線ネットワークを介して少なくとも1つのプロセッサ(例えば、サーバ210のプロセッサ)に(例えば、周期的に監視されるような)場所情報を送信することができる。少なくとも1つのプロセッサは、第2のウェアラブルエクステンデッドリアリティ機器によって送信された場所情報を受信することができる。受信された場所報は、少なくとも1つのプロセッサに、第2のウェアラブルエクステンデッドリアリティ機器が特定の仮想ホワイトボードの場所(または特定の仮想ホワイトボードの場所に対応する場所)にあるかどうかを示すことができる。例えば、少なくとも1つのプロセッサは、第2のウェアラブルエクステンデッドリアリティ機器の受信された場所情報をリポジトリに含まれる仮想ホワイトボードの場所と比較することができる。第2のウェアラブルエクステンデッドリアリティ機器の場所情報が特定の仮想ホワイトボードの場所に一致する場合、少なくとも1つのプロセッサは、第2のウェアラブルエクステンデッドリアリティ機器が特定の仮想ホワイトボードの場所にあると決定することができる。別の例では、第1のウェアラブルエクステンデッドリアリティ機器の場所が特定の仮想ホワイトボードの場所に対応するという決定と同様の方法で、第2のウェアラブルエクステンデッドリアリティ機器が特定の仮想ホワイトボードの場所に対応する場所にあると決定され得る。
いくつかの例では、第2の期間および第1の期間は重複を有しないことがある。例えば、第1の期間は、第2の期間が開始する前に終了し得る。いくつかの例では、第1の期間は、第2の期間が終了した後に開始し得る。いくつかの例では、第2の期間および第1の期間は、重複を有し得るが、互いに異なり得る(例えば、等しくない期間であり得る)。いくつかの例では、第2の期間および第1の期間は、同一であり得る(例えば、概して等しい期間を有し得る)。
図19を参照すると、ステップ1918では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、第1のウェアラブルエクステンデッドリアリティ機器がもはや特定の仮想ホワイトボードの場所にいなくなった後の第2の期間に、無線ネットワークを介して、第2のウェアラブルエクステンデッドリアリティ機器が特定の仮想ホワイトボードの場所にあるというインジケーションを受信させ得る。
いくつかの開示される実施形態はまた、第2のウェアラブルエクステンデッドリアリティ機器に、特定の仮想ホワイトボードのコンテンツおよび追加されたコンテンツに対応するデータを送信し、それによって、第1のユーザが特定の仮想ホワイトボードの場所にいない間に、第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザがコンテンツおよび追加されたコンテンツを閲覧することを可能にすることを含み得る。第2のウェアラブルエクステンデッドリアリティ機器が特定の仮想ホワイトボードの場所にあるというインジケーションを受信することに基づいて、少なくとも1つのプロセッサは、第2のウェアラブルエクステンデッドリアリティ機器に、特定の仮想ホワイトボードのコンテンツ(例えば、第1のウェアラブルエクステンデッドリアリティ機器に以前に送信されたコンテンツ)に対応し、第1のユーザによって特定の仮想ホワイトボードに追加された仮想コンテンツに対応するデータを送信することができる。このようなデータは、コンテンツを仮想ホワイトボードに関連付けるマーカを用いてメモリに記憶され得る。したがって、第1のウェアラブルエクステンデッドリアリティデバイスが存在しないが、データは、メモリから取り出され、第2のウェアラブルエクステンデッドリアリティデバイスに送信され得る。このようなプロセスは、サーバ210のプロセッサなどの少なくとも1つのプロセッサが送信のためにデータにアクセスした結果として生じ得る。
いくつかの例では、第2のウェアラブルエクステンデッドリアリティ機器に送信されるデータは、第1のユーザが追加されたコンテンツを寄稿したというインジケーションを含み得る。例えば、第1のユーザが仮想コンテンツを特定の仮想ホワイトボードに追加するとき、第1のユーザが追加されたコンテンツを寄稿したというインジケーションが、第1のウェアラブルエクステンデッドリアリティ機器によって記録されてもよく、非一時的コンピュータ可読媒体の少なくとも1つのプロセッサに送信され、少なくとも1つのプロセッサによって記憶されてもよい。すなわち、少なくとも1つのプロセッサは、追加されたコンテンツを後で取り出すためにメモリに記憶することができる。第1のユーザが追加されたコンテンツを寄稿したというインジケーションは、例えば、第1のユーザのイニシャル、第1のユーザに関連付けられたコード、第1のユーザのユーザ名、第1のユーザのユーザ識別(例えば、ユーザ識別番号)、第1のユーザが仮想コンテンツを特定の仮想ホワイトボードに追加したときの第1のユーザの場所、第1のユーザが仮想コンテンツを特定の仮想ホワイトボードに追加した時間、第1のユーザが仮想コンテンツを特定の仮想ホワイトボードに追加したときの第1のユーザの箇所、または仮想コンテンツを特定の仮想ホワイトボードに追加した第1のユーザに関連付けられた任意の他の所望の情報を含み得る。追加されたコンテンツに関連付けられたインジケーションは、追加されたコンテンツに関連して(例えば、リポジトリに)記憶され得る。少なくとも1つのプロセッサは、追加されたコンテンツに関連付けられたインジケーションを第2のウェアラブルエクステンデッドリアリティ機器に送信するように構成され得る。一例では、第2のウェアラブルエクステンデッドリアリティ機器は、例えば、第1のユーザが第2のウェアラブルエクステンデッドリアリティ機器に送信されたデータ内の追加されたコンテンツを寄稿したというインジケーションに基づいて、第1のユーザが追加されたコンテンツを寄稿したという視覚的インジケーションを(例えば、第2のウェアラブルエクステンデッドリアリティ機器のユーザに)提供するように構成され得る。
いくつかの例では、第2のウェアラブルエクステンデッドリアリティ機器に送信されるデータは、追加されたコンテンツが特定の仮想ホワイトボードにいつ追加されたかのインジケーションを含み得る。例えば、第1のユーザが仮想コンテンツを特定の仮想ホワイトボードに追加するとき、仮想コンテンツの追加が生じたときのタイムスタンプが第1のウェアラブルエクステンデッドリアリティ機器によって記録されてもよく、少なくとも1つのプロセッサに送信され、少なくとも1つのプロセッサによって記憶されてもよい。タイムスタンプは、追加されたコンテンツに関連して(例えば、リポジトリ内に)記録されてもよく、追加されたコンテンツに関連して(例えば、第2のウェアラブルエクステンデッドリアリティ機器に)送信されてもよい。一例では、第2のウェアラブルエクステンデッドリアリティ機器は、例えば、追加されたコンテンツが第2のウェアラブルエクステンデッドリアリティ機器に送信されたデータ内の特定の仮想ホワイトボードにいつ追加されたかのインジケーションに基づいて、追加されたコンテンツが特定の仮想ホワイトボードにいつ追加されたかの視覚的インジケーションを(例えば、第2のウェアラブルエクステンデッドリアリティ機器のユーザに)提供するように構成され得る。
第2のウェアラブルエクステンデッドリアリティ機器へのデータの送信は、第1のユーザが特定の仮想ホワイトボードの場所にいない間に、第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザが、特定の仮想ホワイトボードのコンテンツ(例えば、第1のウェアラブルエクステンデッドリアリティ機器にも送信されたコンテンツ)と、第1のユーザによって特定の仮想ホワイトボードに追加されたコンテンツとを閲覧することを可能にし得る。第2のユーザは、学生、教師、発表者、参加者、労働者、個人、または集団の任意の他のメンバーなど、第2のウェアラブルエクステンデッドリアリティ機器を使用する人物を含み得る。
図19を参照すると、ステップ1920では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、特定の仮想ホワイトボードのコンテンツおよび追加されたコンテンツに対応するデータを第2のウェアラブルエクステンデッドリアリティ機器に送信させ、それによって、第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザが、第1のユーザが特定の仮想ホワイトボードの場所にいない間にコンテンツおよび追加されたコンテンツを閲覧することを可能にし得る。
図21を参照すると、第2のウェアラブルエクステンデッドリアリティ機器を装着している第2のユーザ2112は、例えば、第1のウェアラブルエクステンデッドリアリティ機器を装着している第1のユーザ2016が物理的空間2010を離れた後に、物理的空間2010に来る(または入る)ことができる。第2のウェアラブルエクステンデッドリアリティ機器が物理的空間2010にあることに基づいて、第2のウェアラブルエクステンデッドリアリティ機器は、仮想ホワイトボード2012、仮想ホワイトボード2012のコンテンツ(例えば、テキスト2018および複数のドキュメント2020、2022)、および第1のユーザ2016によって仮想ホワイトボード2012に追加された仮想コンテンツを受信して表示することができる。第1のユーザ2016によって仮想ホワイトボード2012に追加された仮想コンテンツは、例えば、画像2110を含み得る。
いくつかの例は、第1の期間と第2の期間の両方の間に複数のドキュメントを共通のレイアウト配置で表示させることを含み得る。第1の期間中および第2の期間中に表示され得る特定の仮想ホワイトボードのコンテンツは、複数のドキュメントを含み得る。複数のドキュメントは、共通のレイアウト配置で表示され得る。例えば、複数のドキュメントの各々は、大きいアイコンとして表示されてもよい。別の例として、複数のドキュメントの各々は、小さいアイコンとして表示されてもよい。別の例として、複数のドキュメントは、タイルの形態で表示されてもよい。別の例として、複数のドキュメントは、リストで表示されてもよい。別の例として、複数のドキュメントの各々が表示され、ドキュメントのコンテンツを示す場合がある。複数のドキュメントは、任意の他の所望の共通の方法で表示され得る。第1の期間中に第1のユーザに対してドキュメントを表示するために使用されるレイアウトは、第2の期間中に第2のユーザに対してドキュメントを表示するために使用されるレイアウトと同じであり得ることが企図される。例えば、図20および図21を参照すると、複数のドキュメント2020、2022は、第1のユーザ2016が物理的空間2010に存在する期間と、第2のユーザ2112が物理的空間2010に存在する期間の両方の間、アイコンを使用して共通のレイアウト配置(例えば、ディスプレイの右側で一方が他方の下)で表示されてもよい。同様に、例えば、テキスト2018は、第1のユーザ2016が物理的空間2010に存在する期間と、第2のユーザ2112が物理的空間2010に存在する期間の両方の間、ディスプレイの左側の画像2110の上に表示されてもよい。
いくつかの例は、メンテナンス期間の満了時に特定の仮想ホワイトボードから複数のドキュメントのうちの少なくともいくつかを自動的に消去することを含み得る。メンテナンス期間は、例えば、15日、1ヶ月、2ヶ月、3ヶ月、6ヶ月、1年、2年、または仮想ホワイトボードからドキュメントを自動的に除去するのに適した任意の他の間隔もしくは期間であってもよい。いくつかの例では、メンテナンス期間は、複数のドキュメントの各々に固有であってもよい。いくつかの例では、特定のドキュメントのメンテナンス期間は、特定のドキュメントを特定の仮想ホワイトボードに追加するユーザによって設定されてもよい。いくつかの例では、メンテナンス期間は、他のユーザによって調整されてもよく、またはポリシー(例えば、組織またはグループのポリシー)に基づいてもよい。いくつかの例では、メンテナンス期間は、異なる種類のドキュメントに対して異なり得る(例えば、テキストドキュメントに対して2ヶ月、ビデオドキュメントに対して1ヶ月)。非一時的コンピュータ可読媒体の少なくとも1つのプロセッサは、例えば、仮想ホワイトボードに表示された複数のドキュメントのうちの1つのドキュメントに対してメンテナンス期間に対応するタイマを設定するように構成され得る。タイマが満了すると、少なくとも1つのプロセッサは、その特定の仮想ホワイトボードからドキュメントを自動的に消去するように構成され得る。
さらなる実施形態は、特定の仮想ホワイトボードにコンテンツを追加するための許可にウェアラブルエクステンデッドリアリティ機器のユーザを関連付けるルールにアクセスすることと、アクセスされたルールを使用して、第1のユーザが特定の仮想ホワイトボード上にコンテンツを追加することができると決定することとを含み得る。特定の仮想ホワイトボードにコンテンツを追加するための許可にユーザを関連付けるルールは、ユーザの各々が特定の仮想ホワイトボードにコンテンツを追加することを許可されているかどうかのインジケーションを含み得る。例えば、仮想ホワイトボードのリポジトリは、仮想ホワイトボードごとに、コンテンツを追加するためのユーザ許可テーブルを記憶することができる。ユーザ許可テーブルは、仮想ホワイトボードの1人または複数のユーザと、1人または複数のユーザが仮想ホワイトボードにコンテンツを追加するための許可を有するかどうかとを一覧表示することができる。少なくとも1つのプロセッサは、特定の仮想ホワイトボードのコンテンツを追加するための許可情報にアクセスすることができる。アクセスされた許可情報に基づいて、少なくとも1つのプロセッサは、第1のユーザが特定の仮想ホワイトボード上にコンテンツを追加することを許可されているかどうかを決定することができる。
図22は、本開示のいくつかの実施形態と一致する、仮想ホワイトボードにコンテンツを追加するための例示的なプロセス2200を示すフローチャートである。図22を参照すると、ステップ2210では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、特定の仮想ホワイトボードにコンテンツを追加するための許可にウェアラブルエクステンデッドリアリティ機器のユーザを関連付けるルールにアクセスさせることができる。ステップ2212では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、アクセスされたルールを使用して、第1のユーザが特定の仮想ホワイトボード上にコンテンツを追加することができると決定させることができる。いくつかの例では、第1のユーザが特定の仮想ホワイトボード上にコンテンツを追加することができるという決定は、特定の仮想ホワイトボードの場所に基づき得る。一例では、特定の仮想ホワイトボードにコンテンツを追加するための許可にウェアラブルエクステンデッドリアリティ機器のユーザを関連付けるルールは、仮想ホワイトボードの場所に基づく許可にユーザを関連付けるルールを含み得る。例えば、第1のユーザは、第1の領域(特定の建物、特定の階、特定の部屋など)内のすべての仮想ホワイトボードにコンテンツを追加するための許可を有する場合がある。別の例では、第1のユーザは、第2の領域(特定の建物、特定の階、特定の部屋など)内のすべての仮想ホワイトボードにコンテンツを追加するための許可を有していない場合がある。
いくつかの例では、第1のユーザが特定の仮想ホワイトボード上にコンテンツを追加することができるという決定は、特定の仮想ホワイトボードへの第1のユーザのアクセス権に基づいてもよく、または第1のユーザに関連付けられた組織内の位置に基づいてもよい。特定の仮想ホワイトボードへの第1のユーザのアクセス権は、例えば、第1のユーザが特定の仮想ホワイトボードにコンテンツを追加することを許可されているかどうか、第1のユーザが特定の仮想ホワイトボードからコンテンツを削除することを許可されているかどうか、第1のユーザが特定の仮想ホワイトボードのコンテンツを修正することを許可されているかどうか、または第1のユーザが特定の仮想ホワイトボードのコンテンツを閲覧することを許可されているかどうかなど、第1のユーザが特定の仮想ホワイトボードにアクセスすることをどの程度許可されているかを示すことができる。第1のユーザに関連付けられた組織は、例えば、会社、企業、政府機関、教育機関、学校、大学、または任意の他のエンティティを含み得る。組織内の位置は、例えば、第1のユーザの職務または業務責任に基づいてもよい。例えば、組織内の役職は、監督者、従業員、役員、取締役、社長、マネージャ、ディレクタ、または組織内の任意の他の適切な職務内容もしくは職位を含み得る。特定の仮想ホワイトボードにコンテンツを追加するための許可は、組織内の種々の役職に対して異なり得る。少なくとも1つのプロセッサは、特定の仮想ホワイトボードへの第1のユーザのアクセス権に基づいて、または第1のユーザに関連付けられた組織内の位置に基づいて、第1のユーザが特定の仮想ホワイトボード上にコンテンツを追加することができるかどうかを決定することができる。
いくつかの実施形態は、特定の仮想ホワイトボードからコンテンツを削除するための許可にユーザを関連付けるルールにアクセスすることと、アクセスされたルールを使用して、第2のユーザが特定の仮想ホワイトボードから追加されたコンテンツを削除することを許可されていると決定することとをさらに含み得る。特定の仮想ホワイトボードからコンテンツを削除するための許可にユーザを関連付けるルールは、ユーザの各々が特定の仮想ホワイトボードからコンテンツを削除することを許可されているかどうかのインジケーションを含み得る。例えば、仮想ホワイトボードのリポジトリは、仮想ホワイトボードごとに、コンテンツを削除するためのユーザ許可テーブルを記憶することができる。ユーザ許可テーブルは、仮想ホワイトボードの1人または複数のユーザと、1人または複数のユーザが仮想ホワイトボードからコンテンツを削除するための許可を有するかどうかとをリストすることができる。非一時的コンピュータ可読媒体の少なくとも1つのプロセッサは、特定の仮想ホワイトボードのコンテンツを削除するための許可情報にアクセスすることができる。アクセスされた許可情報に基づいて、少なくとも1つのプロセッサは、第2のユーザが特定の仮想ホワイトボードからコンテンツ(例えば、第1のユーザによって特定の仮想ホワイトボードに追加されたコンテンツ)を削除することを許可されているかどうかを決定することができる。いくつかの例では、第2のユーザが特定の仮想ホワイトボードから追加されたコンテンツを削除することを許可されるという決定は、特定の仮想ホワイトボードの場所に基づき得る。一例では、特定の仮想ホワイトボードからコンテンツを削除するための許可にユーザを関連付けるルールは、仮想ホワイトボードの場所に基づく許可にユーザを関連付けるルールを含み得る。例えば、第2のユーザは、第1の領域(特定の建物、特定の階、特定の部屋など)内のすべての仮想ホワイトボードからコンテンツを削除することを許可され得る。別の例では、第2のユーザは、第2の領域(特定の建物、特定の階、特定の部屋など)内のすべての仮想ホワイトボードからコンテンツを削除するための許可を有していない場合がある。いくつかの例では、第2のユーザが特定の仮想ホワイトボードから追加されたコンテンツを削除することを許可されるという決定は、第1のユーザに基づき得る。一例では、特定の仮想ホワイトボードからコンテンツを削除するための許可にユーザを関連付けるルールは、削除されるコンテンツに関連付けられたコンテンツ作成者の身元に基づく許可にユーザを関連付けることができる。例えば、第2のユーザは、第1の個人のグループの個人によって特定の仮想ホワイトボードに追加されたコンテンツを削除することを許可され得る。別の例では、第2のユーザは、第2の個人のグループの個人によって特定の仮想ホワイトボードに追加されたコンテンツを削除するための許可を有していない場合がある。第2のユーザが特定の仮想ホワイトボードから追加されたコンテンツを削除することを許可されるという決定は、第1のユーザが第1のグループに含まれるかどうか、および/または第1のユーザが第2のグループに含まれるかどうかに基づき得る。
図23は、本開示のいくつかの実施形態と一致する、仮想ホワイトボードからコンテンツを削除するための例示的なプロセス2300を示すフローチャートである。図23を参照すると、ステップ2310では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、特定の仮想ホワイトボードからコンテンツを削除するための許可にユーザを関連付けるルールにアクセスさせることができる。ステップ2312では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、アクセスされたルールを使用して、第2のユーザが特定の仮想ホワイトボードから追加されたコンテンツを削除することを許可されていると決定させることができる。
いくつかの例では、第2のユーザが特定の仮想ホワイトボードからコンテンツを削除することを許可されるという決定は、第2のユーザに関連付けられた組織内の位置に基づいてもよく、または特定の仮想ホワイトボードへの第2のユーザのアクセス権に基づいてもよい。特定の仮想ホワイトボードへの第2のユーザのアクセス権は、例えば、第2のユーザが特定の仮想ホワイトボードにコンテンツを追加することを許可されているかどうか、第2のユーザが特定の仮想ホワイトボードからコンテンツを削除することを許可されているかどうか、第2のユーザが特定の仮想ホワイトボードのコンテンツを修正することを許可されているかどうか、または第2のユーザが特定の仮想ホワイトボードのコンテンツを閲覧することを許可されているかどうかなど、第2のユーザが特定の仮想ホワイトボードにアクセスすることをどの程度許可されているかを示すことができる。第2のユーザに関連付けられた組織は、例えば、会社、企業、政府機関、教育機関、学校、大学、または任意の他のエンティティを含み得る。組織内の位置は、例えば、第2のユーザの職務または業務責任に基づいてもよい。例えば、組織内の役職は、監督者、従業員、役員、取締役、社長、マネージャ、ディレクタ、または組織内の任意の他の適切な職務内容もしくは職位を含み得る。特定の仮想ホワイトボードからコンテンツを削除するための許可は、組織内の種々の役職に対して異なり得る。少なくとも1つのプロセッサは、特定の仮想ホワイトボードへの第2のユーザのアクセス権に基づいて、または第2のユーザに関連付けられた組織内の位置に基づいて、第2のユーザが特定の仮想ホワイトボードからコンテンツを削除することを許可されているかどうかを決定することができる。
追加の実施形態は、特定の仮想ホワイトボードにコンテンツをアップロードするための許可にコンテンツの種類を関連付けるルールにアクセスすることと、アクセスされたルールを使用して、追加されたコンテンツが特定の仮想ホワイトボード上に投稿することを許可されていると決定することとを含み得る。特定の仮想ホワイトボードにコンテンツをアップロードするための許可にコンテンツの種類を関連付けるルールは、コンテンツの種類のうちの1つまたは複数が特定の仮想ホワイトボードにアップロードされることを許可されているかどうかのインジケーションを含み得る。コンテンツの種類は、例えば、科学的コンテンツ、研究コンテンツ、会計コンテンツ、財務コンテンツ、管理コンテンツ、訓練コンテンツ、専門的コンテンツ、個人的コンテンツ、または他のカテゴリのコンテンツを含み得る。別の例では、コンテンツの種類は、テキスト、ビジュアル、場面、アニメーション化されたもの、アニメーション化されていないもの、手書き、落書きなどのコンテンツのカテゴリに基づき得る。例えば、仮想ホワイトボードのリポジトリは、仮想ホワイトボードごとに、コンテンツをアップロードするためのコンテンツタイプ許可テーブルを記憶することができる。コンテンツタイプ許可テーブルは、1つまたは複数の種類のコンテンツと、1つまたは複数の種類のコンテンツが仮想ホワイトボードにアップロードされることを許可されているかどうかとを一覧表示することができる。少なくとも1つのプロセッサは、特定の仮想ホワイトボードのコンテンツをアップロードするための許可情報にアクセスすることができる。アクセスされた許可情報に基づいて、少なくとも1つのプロセッサは、コンテンツ(例えば、第1のユーザによって特定の仮想ホワイトボードに追加されたコンテンツ)が、特定の仮想ホワイトボード上に投稿するために特定の仮想ホワイトボードにアップロードされることが許可されているかどうかを決定することができる。例えば、第1のユーザは、追加されたコンテンツが特定の仮想ホワイトボード上に投稿するために特定の仮想ホワイトボードにアップロードされることを許可されているかどうかを決定するために、追加されたコンテンツにコンテンツタイプをマークまたはタグ付けすることができる。
図24は、本開示のいくつかの実施形態と一致する、コンテンツの種類に基づいて仮想ホワイトボードにコンテンツをアップロードするための例示的なプロセス2400を示すフローチャートである。図24を参照すると、ステップ2410では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、特定の仮想ホワイトボードにコンテンツをアップロードするための許可にコンテンツの種類を関連付けるルールにアクセスさせることができる。ステップ2412では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、アクセスされたルールを使用して、追加されたコンテンツが特定の仮想ホワイトボード上に投稿することを許可されていると決定させることができる。
いくつかの例では、追加されたコンテンツが特定の仮想ホワイトボード上に投稿することを許可されるという決定は、追加されたコンテンツのコンテンツ分析に基づき得る。例えば、追加されたコンテンツは、追加されたコンテンツ内に裸体がないと決定するために、追加されたコンテンツの画像分析に基づいて特定の仮想ホワイトボード上に投稿することを許可されてもよい。加えて、またはあるいは、追加されたコンテンツの画像分析は、不鮮明またはぼやけた画像、不十分な照明を有する画像、制限されたオブジェクト(例えば、制限された政府施設)の画像、機密ドキュメントもしくはプロトタイプの画像、または関心のある他の画像特徴など、追加されたコンテンツの様々な特性を決定するために使用され得る。特定の仮想ホワイトボード上へのコンテンツ投稿を許可する1つまたは複数の基準は、例えば、ポリシー(例えば、組織またはグループのポリシー)に基づいて構成され得る。1つまたは複数の基準は、例えば、特定の特性を有する画像が特定の仮想ホワイトボード上に投稿することを許可されているかどうかを示すことができる。追加されたコンテンツの画像分析に基づいて、追加されたコンテンツの決定された特性が1つまたは複数の基準を満たすとき、追加されたコンテンツは、特定の仮想ホワイトボード上に投稿することを許可され得る。追加されたコンテンツの画像分析に基づいて、追加されたコンテンツの決定された特性が1つまたは複数の基準を満たさないとき、追加されたコンテンツは、特定の仮想ホワイトボード上に投稿することを許可されない場合がある。いくつかの例では、コンテンツの種類は、例えば、各コンテンツを複数のクラスのうちの1つに分類する視覚的分類アルゴリズムを使用して、追加されたコンテンツを分析することによって決定される場合があり、各クラスはコンテンツタイプに対応する。いくつかの例では、バイナリ視覚分類アルゴリズムは、追加されたコンテンツを2つのクラスのうちの1つに分類するために使用される場合があり、一方のクラスは投稿を許可される場合があり、他方のクラスは投稿を許可されない場合がある。
別の例として、追加されたコンテンツは、追加されたコンテンツ内に攻撃的な言葉がないと決定するために、追加されたコンテンツのテキスト分析に基づいて特定の仮想ホワイトボード上に投稿することを許可されてもよい。加えて、またはあるいは、追加されたコンテンツのテキスト分析は、綴りの誤りを有するテキスト、文法的誤りを有するテキスト、機密ドキュメントもしくはプロトタイプのテキスト、または関心のある他のテキスト特徴など、追加されたコンテンツの様々な特性を決定するために使用され得る。特定の仮想ホワイトボード上へのコンテンツ投稿を許可する1つまたは複数の基準は、例えば、ポリシー(例えば、組織またはグループのポリシー)に基づいて構成され得る。1つまたは複数の基準は、例えば、特定の特性を有するテキストが特定の仮想ホワイトボード上に投稿することを許可されているかどうかを示すことができる。追加されたコンテンツのテキスト分析に基づいて、追加されたコンテンツの決定された特性が1つまたは複数の基準を満たすとき、追加されたコンテンツは、特定の仮想ホワイトボード上に投稿することを許可され得る。追加されたコンテンツのテキスト分析に基づいて、追加されたコンテンツの決定された特性が1つまたは複数の基準を満たさないとき、追加されたコンテンツは、特定の仮想ホワイトボード上に投稿することを許可されない場合がある。いくつかの例では、コンテンツの種類は、例えば、各コンテンツを複数のクラスのうちの1つに分類するテキスト分類アルゴリズムを使用して、追加されたコンテンツを分析することによって決定される場合があり、各クラスはコンテンツタイプに対応する。いくつかの例では、バイナリテキスト分類アルゴリズムは、追加されたコンテンツを2つのクラスのうちの1つに分類するために使用される場合があり、一方のクラスは投稿を許可される場合があり、他方のクラスは投稿を許可されない場合がある。
追加の実施形態は、特定の仮想ホワイトボードからコンテンツを閲覧するための許可にウェアラブルエクステンデッドリアリティ機器のユーザを関連付けるルールにアクセスすることと、アクセスされたルールを使用して、第2のユーザが特定の仮想ホワイトボード上の追加されたコンテンツを閲覧することを許可されていると決定することとを含み得る。特定の仮想ホワイトボードからコンテンツを閲覧するための許可にユーザを関連付けるルールは、ユーザの各々が特定の仮想ホワイトボードからコンテンツを閲覧することを許可されているかどうかのインジケーションを含み得る。例えば、仮想ホワイトボードのリポジトリは、仮想ホワイトボードごとに、コンテンツを閲覧するためのユーザ許可テーブルを記憶することができる。ユーザ許可テーブルは、仮想ホワイトボードの1人または複数のユーザと、1人または複数のユーザが仮想ホワイトボードからコンテンツを閲覧するための許可を有するかどうかとを一覧表示することができる。少なくとも1つのプロセッサは、特定の仮想ホワイトボードのコンテンツを閲覧するための許可情報にアクセスすることができる。アクセスされた許可情報に基づいて、少なくとも1つのプロセッサは、第2のユーザが特定の仮想ホワイトボード上でコンテンツ(例えば、第1のユーザによって特定の仮想ホワイトボードに追加されたコンテンツ)を閲覧することを許可されているかどうかを決定することができる。いくつかの例では、第2のユーザが特定の仮想ホワイトボードから追加されたコンテンツを閲覧することを許可されるという決定は、特定の仮想ホワイトボードの場所に基づき得る。一例では、特定の仮想ホワイトボードからコンテンツを閲覧するための許可にユーザを関連付けるルールは、特定の仮想ホワイトボードの場所に基づく許可にユーザを関連付けるルールを含み得る。例えば、第2のユーザは、第1の領域(特定の建物、特定の階、特定の部屋など)内のすべての仮想ホワイトボードからコンテンツを閲覧することを許可され得る。別の例では、第2のユーザは、第2の領域(特定の建物、特定の階、特定の部屋など)内のすべての仮想ホワイトボードからコンテンツを閲覧するための許可を有していない場合がある。いくつかの例では、第2のユーザが特定の仮想ホワイトボードから追加されたコンテンツを閲覧することを許可されるという決定は、第1のユーザに基づき得る。一例では、特定の仮想ホワイトボードからコンテンツを閲覧するための許可にユーザを関連付けるルールは、閲覧されるコンテンツに関連付けられたコンテンツ作成者の身元に基づく許可にユーザを関連付けるルールを含み得る。例えば、第2のユーザは、第1の個人のグループの個人によって特定の仮想ホワイトボードに追加されたコンテンツを閲覧することを許可され得る。別の例では、第2のユーザは、第2の個人のグループの個人によって特定の仮想ホワイトボードに追加されたコンテンツを閲覧するための許可を有していない場合がある。第2のユーザが特定の仮想ホワイトボードから追加されたコンテンツを閲覧することを許可されるという決定は、第1のユーザが第1のグループに含まれるかどうか、および/または第1のユーザが第2のグループに含まれるかどうかに基づき得る。
図25は、本開示のいくつかの実施形態と一致する、仮想ホワイトボードからコンテンツを閲覧するための例示的なプロセス2500を示すフローチャートである。図25を参照すると、ステップ2510では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、特定の仮想ホワイトボードからコンテンツを閲覧するための許可にウェアラブルエクステンデッドリアリティ機器のユーザを関連付けるルールにアクセスさせることができる。ステップ2512では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、アクセスされたルールを使用して、第2のユーザが特定の仮想ホワイトボード上で追加されたコンテンツを閲覧することを許可されていると決定させることができる。
いくつかの例では、第2のユーザが特定の仮想ホワイトボード上で追加されたコンテンツを閲覧することを許可されるという決定は、第2のユーザの年齢に基づき得る。仮想ホワイトボード上でコンテンツを閲覧するための許可は、ユーザの種々の年齢に対して異なり得る。例えば、仮想ホワイトボードのコンテンツアイテムは、18歳以上のユーザによって閲覧されることが許可されてもよく、18歳未満のユーザによって閲覧されることが許可されなくてもよい。少なくとも1つのプロセッサは、第2のユーザの年齢に基づいて、第2のユーザが特定の仮想ホワイトボード上でコンテンツ(例えば、第1のユーザによって特定の仮想ホワイトボードに追加されたコンテンツ)を閲覧することを許可されているかどうかを決定することができる。コンテンツアイテムを閲覧するための年齢制限は、コンテンツアイテムを仮想ホワイトボードに追加するユーザによって指定されてもよく、他のユーザによって指定されてもよく、またはポリシー(例えば、組織またはグループのポリシー)に基づいて構成されてもよい。
さらなる実施形態は、第2の期間の前の時点で無線ネットワークを介して、第2のユーザにとって関心のあるコンテンツの少なくとも1つのクラスのインジケーションを受信することと、追加されたコンテンツの第1の部分が第2のユーザにとって関心のある少なくとも1つのクラスに含まれると決定することと、第2のユーザが追加されたコンテンツの第1の部分を閲覧することを可能にすることとを含み得る。第2のユーザにとって関心のあるコンテンツの少なくとも1つのクラスは、第2のユーザによって構成されてもよい。例えば、第2のユーザは、科学的コンテンツ、研究コンテンツ、会計コンテンツ、財務コンテンツ、管理コンテンツ、訓練コンテンツ、専門的コンテンツ、個人的コンテンツ、またはコンテンツの他のカテゴリなど、コンテンツの1つまたは複数のクラスを識別することができる。少なくとも1つのプロセッサは、例えば、第2のウェアラブルエクステンデッドリアリティ機器が特定の仮想ホワイトボードの場所にあるというインジケーションが受信される第2の期間の前の時点で、1つまたは複数のコンテンツクラスのインジケーションを受信することができる。
少なくとも1つのプロセッサは、第1のユーザによって特定の仮想ホワイトボードに追加されたコンテンツの任意の部分が、第2のユーザにとって関心のある少なくとも1つのクラスに含まれるかどうかを決定することができる。いくつかの例では、少なくとも1つのプロセッサは、追加されたコンテンツの種々の部分に対してコンテンツ分類技法を実行して、追加されたコンテンツの種々の部分の各々に1つまたは複数のクラスを決定することができる。いくつかの例では、第1のユーザは、追加されたコンテンツの種々の部分の各々を1つまたは複数の適切なクラスでマークまたはタグ付けすることができる。少なくとも1つのプロセッサは、追加されたコンテンツの種々の部分の各々のクラスが、第2のユーザにとって関心のある少なくとも1つのクラスのうちの1つまたは複数と一致するかどうかを決定することができる。追加されたコンテンツの第1の部分が第2のユーザにとって関心のある少なくとも1つのクラスに含まれると決定することに基づいて、少なくとも1つのプロセッサは、追加されたコンテンツの第1の部分を第2のウェアラブルエクステンデッドリアリティ機器に送信し、第2のユーザが第2のウェアラブルエクステンデッドリアリティ機器を介して追加されたコンテンツの第1の部分を閲覧することを可能にすることができる。
例えば、図20および図21を参照すると、第1のユーザ2016は、仮想ホワイトボード2012上に表示され得るアイテム(例えば、テキスト2018、画像2110、ドキュメント2020、またはドキュメント2022)に異なるコンテンツクラスを割り当てることができる。第2のユーザ2112は、異なるコンテンツクラスのうちの1つへの関心を識別することができる。第2のユーザ2112によって識別されたコンテンツクラスに対応するアイテムのうちのアイテムが、閲覧のために第2のユーザ2112に提供され得る。第2のユーザ2112によって識別されたコンテンツクラスに対応しないアイテムのうちの1つまたは複数が、閲覧のために第2のユーザ2112に提供されない場合がある。
いくつかの例では、第1のユーザが特定のホワイトボードの第1の部分と対話している間に第1のウェアラブルエクステンデッドリアリティ機器に含まれる画像センサを使用してキャプチャされた画像データが受信され得る。例えば、画像データは、画像センサから、第1のウェアラブルエクステンデッドリアリティ機器から、第1のウェアラブルエクステンデッドリアリティ機器の外部の中間デバイスから、メモリユニットから、などから受信され得る。画像データは、例えば、オブジェクト追跡アルゴリズムを使用して、軌道内を移動する物理オブジェクトを検出するために分析され得る。一例では、物理オブジェクトおよび第1のユーザは、特定のホワイトボードの反対側にあり得る。一例では、第1のウェアラブルエクステンデッドリアリティ機器を介した特定のホワイトボードの提示は、第1のユーザから物理オブジェクトを少なくとも部分的に隠すことができる。例えば、レイキャスティングアルゴリズムは、特定のホワイトボードが第1のユーザから物理オブジェクトを少なくとも部分的に隠すと決定するために使用され得る。一例では、物理オブジェクトの軌道は、例えば外挿アルゴリズムを使用して、物理オブジェクトが特定のホワイトボードの第2の部分を通って移動しようとしている可能性を決定するために分析され得る。特定のホワイトボードの第2の部分および第1の部分は、互いに素であってもよく、同一であってもよく、すべてではないがいくつかのエリアを共通に有してもよく、共通のエリアを有さなくてもよい、などである。さらに、第2の部分の視覚的インジケーションは、例えば第1のウェアラブルエクステンデッドリアリティ機器を介して、第1のユーザに提供され得る。いくつかの例では、視覚的インジケーションは、物理オブジェクト、物理オブジェクトの種類、物理オブジェクトの速度、軌道、特定のホワイトボードからの物理オブジェクトの距離、または物理オブジェクトによる特定のホワイトボードの第2の部分との物理オブジェクトの交差の可能性のある時間のうちの少なくとも1つをさらに示すことができる。いくつかの例では、物理オブジェクトの種類は、例えば、オブジェクト認識アルゴリズムを使用して画像データを分析することによって決定され得る。さらに、物理オブジェクトの第1の決定された種類(小さい物理オブジェクト、ハエなど)に応答して、視覚的インジケーションを提供することが回避されてもよく、物理オブジェクトの第2の決定された種類(大きい物理オブジェクト、人など)に応答して、視覚的インジケーションが提供されてもよい。別の例では、物理オブジェクトは人であってもよく、その人に特定のホワイトボードのインジケーションを提供するウェアラブルデバイスをその人が使用しているという決定に応答して、視覚的インジケーションを提供することが回避されてもよく、その人に特定のホワイトボードのインジケーションを提供するウェアラブルデバイスをその人が使用していないという決定に応答して、視覚的インジケーションが提供されてもよい。一例では、第2の部分の視覚的インジケーションは、第1のウェアラブルエクステンデッドリアリティ機器を介した特定のホワイトボードの第2の部分の提示を停止することを含み得る。別の例では、第2の部分の視覚的インジケーションは、特定のホワイトボードの第2の部分を示す仮想オブジェクト(矢印、ハローなど)の提示を含み得る。さらに別の例では、第2の部分の視覚的インジケーションは、異なる提示パラメータを有する特定のホワイトボードの第2の部分の提示を含み得る。
図26は、本開示のいくつかの実施形態と一致する、ユーザにとって関心のある仮想ホワイトボードコンテンツを閲覧するための例示的なプロセス2600を示すフローチャートである。図26を参照すると、ステップ2610では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、第2の期間の前の時点で無線ネットワークを介して、第2のユーザにとって関心のあるコンテンツの少なくとも1つのクラスのインジケーションを受信させることができる。ステップ2612では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、追加されたコンテンツの第1の部分が第2のユーザにとって関心のある少なくとも1つのクラスに含まれると決定させることができる。ステップ2614では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、第2のユーザが追加されたコンテンツの第1の部分を閲覧することを可能にさせることができる。
いくつかの実施形態は、追加されたコンテンツの第2の部分が、第2のユーザにとって関心のあるコンテンツの少なくとも1つのクラスから除外されると決定することと、第2のユーザへの追加されたコンテンツの第2の部分の表示を不可能にすることとを含み得る。少なくとも1つのプロセッサは、第1のユーザによって特定の仮想ホワイトボードに追加されたコンテンツの任意の部分が、第2のユーザにとって関心のある少なくとも1つのクラスに含まれるかどうかを決定することができる。いくつかの例では、少なくとも1つのプロセッサは、追加されたコンテンツの種々の部分に対してコンテンツ分類技法を実行して、追加されたコンテンツの種々の部分の各々に1つまたは複数のクラスを決定することができる。いくつかの例では、第1のユーザは、追加されたコンテンツの種々の部分の各々を1つまたは複数の適切なクラスでマークまたはタグ付けすることができる。少なくとも1つのプロセッサは、追加されたコンテンツの種々の部分の各々のクラスが、第2のユーザにとって関心のある少なくとも1つのクラスのうちの1つまたは複数と一致するかどうかを決定することができる。追加されたコンテンツの第2の部分が第2のユーザにとって関心のある少なくとも1つのクラスから除外されると決定することに基づいて、少なくとも1つのプロセッサは、第2のユーザへの追加されたコンテンツの第2の部分の表示を不可能にすることができる。いくつかの例では、追加されたコンテンツの第2の部分は、コマーシャル、テレビ広告、新聞広告、ラジオ広告、オンライン広告、または任意の他の種類の宣伝告知もしくは刊行物などの広告宣伝を含む。
例えば、図20および図21を参照すると、第1のユーザ2016は、仮想ホワイトボード2012上に表示され得るアイテム(例えば、テキスト2018、画像2110、ドキュメント2020、またはドキュメント2022)に異なるコンテンツクラスを割り当てることができる。第2のユーザ2112は、異なるコンテンツクラスのうちの1つへの関心を識別することができる。第2のユーザ2112によって識別されたコンテンツクラスに対応するアイテムのうちのアイテムが、閲覧のために第2のユーザ2112に提供され得る。第2のユーザ2112によって識別されたコンテンツクラスに対応しないアイテムのうちの1つまたは複数が、閲覧のために第2のユーザ2112に提供されない場合がある。閲覧のために第2のユーザ2112に提供されない1つまたは複数のアイテムは、例えば、広告宣伝を含み得る。
いくつかの例では、第2のウェアラブルエクステンデッドリアリティ機器は、第2の期間の前の時点で無線ネットワークを介して、第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザが閲覧することに関心があるコンテンツのクラスの少なくとも1つのインジケーションを受信し、特定の仮想ホワイトボードのコンテンツおよび追加されたコンテンツに対応するデータを受信し、追加されたコンテンツが、第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザが閲覧することに関心がある少なくとも1つのクラスに関連付けられていると決定し、追加されたコンテンツを第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザに表示するように構成され得る。例えば、第2のウェアラブルエクステンデッドリアリティ機器は、異なる仮想ホワイトボードに関連付けられた特定のコンテンツが、第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザが閲覧することに関心がないクラスに関連付けられていると決定し、第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザに特定のコンテンツを表示することを回避するようにさらに構成され得る。いくつかの例では、特定のコンテンツは広告を含み得る。
エクステンデッドリアリティ環境においてコンテンツを閲覧することは、物理的ディスプレイ上でコンテンツを閲覧することと比較して、顕著な利点および欠点を有する。一方では、物理的ディスプレイの境界およびサイズ制限がなくなり、任意のサイズのコンテンツを環境内のあらゆる箇所で閲覧することが可能になる。さらに、コンテンツは、3次元であってもよく、環境の物理的要素と対話してもよい。さらに、プライバシーに関して言えば、エクステンデッドリアリティでのコンテンツは、誰かが表示されたコンテンツを一瞥する危険なしに、プライベートで閲覧され得る。一方、エクステンデッドリアリティ機器のディスプレイの質は、物理的ディスプレイの質よりも低い場合があり、コンテンツを閲覧するにはエクステンデッドリアリティ機器の使用が必要となる場合があり、これは、長期間使用されるときに負担となる場合があり、コンテンツは、エクステンデッドリアリティ環境を共有するためにエクステンデッドリアリティ機器を使用しない人々と容易に共有されない場合がある。ユーザが両方の媒体の便益を享受することを可能にするために、ユーザがコンテンツをエクステンデッドリアリティから物理的ディスプレイに、およびその逆に容易に移動させることを可能にすることが望まれている。
いくつかの開示される実施形態は、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに、仮想コンテンツを物理的ディスプレイデバイスに転送するための動作を実行させる命令を含む非一時的コンピュータ可読媒体を含み得る。仮想コンテンツは、仮想オブジェクト、非アニメーションの仮想コンテンツ、経時的にもしくはトリガに応答して変化するように構成されたアニメーションの仮想コンテンツ、仮想2次元コンテンツ、仮想3次元コンテンツ、物理的環境の一部もしくは物理オブジェクト上の仮想オーバーレイ、物理的環境もしくは物理オブジェクトへの仮想追加、仮想プロモーションコンテンツ、物理オブジェクトの仮想表現、物理的環境の仮想表現、仮想ドキュメント、仮想キャラクタもしくはペルソナ、仮想コンピュータ画面、仮想ウィジェット、または情報を仮想的に表示するための任意の他の形式を含み得る。一例では、仮想オブジェクトは、上述したように、仮想ディスプレイ画面(本明細書では「仮想ディスプレイ」または「仮想画面」とも称される)であり得るか、またはそれを含み得る。このような仮想ディスプレイ画面の例としては、仮想画面112が挙げられ得る。本開示と一致して、仮想コンテンツは、例えば、エクステンデッドリアリティ機器によってエクステンデッドリアリティ環境内に提示される(例えば、ウェアラブルエクステンデッドリアリティ機器を介してエクステンデッドリアリティ環境内でユーザに提示される)、コンピュータまたは処理デバイスによってレンダリングされる任意の視覚的提示を含み得る。一実施形態では、仮想コンテンツは、限定された領域内のコンピュータによってレンダリングされ、特定の種類のオブジェクト(非アニメーションの仮想オブジェクト、アニメーションの仮想オブジェクト、仮想備品、仮想装飾オブジェクト、仮想ウィジェット、または他の仮想表現など)を表すように構成された視覚的提示である仮想オブジェクトを含み得る。レンダリングされた視覚的提示は、例えば、物理オブジェクトの外観の変化を模倣するように、ステータスオブジェクトに対する変更またはオブジェクトの視野角の変更を反映するように変更することができる。
物理的ディスプレイデバイス(本明細書では「物理的ディスプレイ」、「物理的ディスプレイ画面」、または「物理画面」とも称される)は、テレビ、モニタ、コンピュータ画面、ラップトップ画面、電話画面、タブレット、スマートウォッチ画面、または視覚的形態での情報の提示のための任意の他の有形出力デバイスを含み得る。図27は、本開示のいくつかの実施形態と一致する、様々な物理的ディスプレイデバイスの例を示す。例えば、物理的ディスプレイデバイスは、コンピュータ2720、ラップトップ2724、または電話2728に含まれ得る。仮想コンテンツを物理的ディスプレイデバイスに転送することは、仮想コンテンツを物理的ディスプレイデバイスに再配置すること、送信すること、変位させること、移動すること、変換すること、または任意の他の方法で移動させることを含み得る。仮想形式で提示された情報を異なるサイズまたはパースペクティブで閲覧するために、または適切な閲覧のためにあまりにも雑然とした仮想コンテンツの提示を分離するために、仮想コンテンツを物理デバイスに転送することが望ましい場合がある。例えば、仮想コンテンツは、何らかの方法で互いの上に提示された、または互いに重なり合ったいくつかのドキュメントを含み得る。この例では、ユーザがそのドキュメント内の情報をより明確に閲覧することができるように、ドキュメントのうちの1つなど、その仮想コンテンツの少なくとも一部分を特定の物理的ディスプレイデバイスに送信することが望ましい場合がある。別の例では、エクステンデッドリアリティ機器を使用していない人々またはユーザのエクステンデッドリアリティ環境を共有していない人々を含む、他の人々が仮想コンテンツを閲覧することができるように、仮想コンテンツの少なくとも一部分を特定の物理的ディスプレイデバイスに送信することが望ましい場合がある。図28は、本開示のいくつかの実施形態と一貫して関連する、仮想コンテンツを物理的ディスプレイデバイスに転送する例を示す。例えば、仮想コンテンツ2716は、ラップトップ2724に含まれる物理的ディスプレイデバイスに転送されるカレンダであってもよい。
いくつかの開示される実施形態は、ウェアラブルエクステンデッドリアリティ機器を介して部屋内のエクステンデッドリアリティ環境を提示することを含むことができ、ウェアラブルエクステンデッドリアリティ機器は、部屋内に位置する複数のディスプレイデバイスとペアリングされるように構成され、各ディスプレイデバイスは、一意のネットワーク識別子に関連付けられる。部屋内に位置する複数のディスプレイデバイスは、上述した物理的ディスプレイデバイスのうちの2つ以上を含み得る。複数のデバイスは、様々な異なる種類の物理的ディスプレイデバイスまたは複数の同じ種類の物理的ディスプレイデバイスを含み得る。例えば、複数のディスプレイデバイスは、部屋内に3つの電話を含み得る。別の例では、複数のディスプレイデバイスは、部屋内に1つの電話、1つのテレビ、および1つのラップトップを含み得る。ユーザが、サイズ、互換性、または特定のディスプレイデバイスを所与の種類の仮想コンテンツのためにより適切にし得る他の特徴に基づいて、転送された仮想コンテンツを表示する方法の選択を有し得るように、部屋内に複数のディスプレイデバイスを提供することが望ましい場合がある。例えば、電話、テレビ、およびラップトップを含む、複数のディスプレイデバイスを部屋内に提供することにより、ユーザは各々の種類のディスプレイデバイスにより適した仮想コンテンツを転送することができる場合がある。ユーザは、メッセージングコンテンツを電話に、ドキュメントをラップトップに、ビデオをテレビに転送することができる。
一意のネットワーク識別子は、MACアドレス、IPアドレス、アドレス、ドメイン名、コード、シリアル番号、名前、マーク、サイン、キャラクタ、エンブレム、トークン、または、ディスプレイデバイスの身元を示す単語、数字、文字、もしくは記号の任意の他のシーケンスを含み得る。一意のネットワーク識別子は、1つの特定のディスプレイデバイスに属し得るか、またはそれに接続され得る。関連する認識された一意のネットワーク識別子を有する信頼できるデバイスとの通信が確立されるように一意のネットワーク識別子を使用し、ユーザが認識しないことがあるデバイスとセンシティブな情報を通信することを回避することが望ましい場合がある。例えば、ウェアラブルエクステンデッドリアリティ機器のユーザは、多くの異なる種類のディスプレイデバイスがある部屋にいる場合があり、これらのディスプレイデバイスのうちのいくつかは、ユーザに属さない場合があるか、または他の個人に属する場合がある。一意のネットワーク識別子を使用することによって、その部屋内のディスプレイデバイスへの仮想コンテンツの転送は、ユーザが認識された一意のネットワーク識別子を有するディスプレイデバイスにのみ仮想コンテンツを転送することができるため、より安全であり得る。図27は、本開示のいくつかの実施形態と一致する、様々な物理的ディスプレイデバイスの例を示す。例えば、コンピュータ2720は、一意のネットワーク識別子「ID 1」2722に関連付けられてもよく、ラップトップ2724は、一意のネットワーク識別子「ID 2」2726に関連付けられてもよく、電話2728は、一意のネットワーク識別子「ID 3」2730に関連付けられてもよい。
いくつかの開示される実施形態は、ウェアラブルエクステンデッドリアリティ機器に関連付けられた入力を受信して、エクステンデッドリアリティ環境内の特定の仮想オブジェクトを対象のディスプレイデバイス上に提示させることを含み得る。入力を受信することは、少なくとも1つのプロセッサによって、ユーザからのインジケーション、センサ情報、ウェアラブルエクステンデッドリアリティ機器の外部のデバイスから(例えば、ウェアラブルエクステンデッドリアリティ機器とペアリングされたキーボードなどの入力デバイスから、ウェアラブルエクステンデッドリアリティ機器とペアリングされたコンピューティングデバイスからなど)、メモリユニットから、データベースもしくはデータ構造から、または任意の他のデータもしくは制御信号を取得することを含み得る。ユーザからのインジケーションを取得することによって入力を受信することは、ユーザからの入力(キーボード、タッチセンサ、コンピュータマウス、触覚グローブなど)またはユーザの環境からの入力(例えば、画像センサ、オーディオセンサ、体積センサなどを通じて)を受信し、データを計算デバイスに提供するように構成された任意の物理デバイスとの任意のユーザ対話を含み得る。一例では、ユーザからのインジケーションを取得することによって入力を受信することは、(例えば、視覚的ジェスチャ認識アルゴリズムを使用して画像データを分析することによって)ユーザのジェスチャを認識すること、(例えば、音声認識アルゴリズムを使用してオーディオデータを分析することによって)ユーザによって提供された音声コマンドを認識することなどを含み得る。計算デバイスに提供されるデータは、デジタル形式および/またはアナログ形式であってもよい。一実施形態では、入力デバイスは、ユーザから受信された入力を処理デバイス(例えば、少なくとも1つのプロセッサ)によってアクセス可能なメモリデバイスに記憶することができ、処理デバイスは、分析のために記憶されたデータにアクセスすることができる。別の実施形態では、入力デバイスは、例えば、バスを介して、または入力デバイスから処理デバイスにデータを転送するように構成された別の通信システムを介して、処理デバイスに直接データを提供することができる。いくつかの例では、入力デバイスによって受信される入力は、キー押下、触覚入力データ、動きデータ、位置データ、方向データ、画像データ、または任意の他のデータを含み得る。入力デバイスのいくつかの例は、ボタン、キー、キーボード、コンピュータマウス、タッチパッド、タッチスクリーン、ジョイスティック、マイクロホン、または入力が受信され得る別の機構を含み得る。センサ情報を取得することによって入力を受信することは、音センサ、振動センサ、音響センサ、化学センサ、磁気センサ、位置センサ、光センサ、画像センサ、圧力センサ、力センサ、熱センサ、近接センサ、またはその環境内の事象もしくは変化を検出し、検出された情報を他の電子機器に送信する任意の他のデバイスからデータを取得することを含み得る。
いくつかの実施形態では、入力は、ウェアラブルエクステンデッドリアリティ機器に関連付けられたポインティングデバイスから受信され得る。ポインティングデバイスは、マウス、タッチスクリーン、ジョイスティック、リモコン、またはユーザがコンピュータに空間データを入力することを可能にする任意の他のヒューマンインターフェースデバイスを含み得る。例えば、ポインティングデバイスは、有線または無線接続のいずれかによってウェアラブルエクステンデッドリアリティ機器に接続されるマウスであってもよい。
いくつかの開示される実施形態は、ポインティングデバイスからの入力を分析して、対象のディスプレイデバイス上の特定の仮想オブジェクトのカーソルのドラッグアンドドロップ移動を決定することをさらに含み得る。カーソルは、ポインタ、矢印、テキスト、またはポインティングデバイスからの入力に応答してディスプレイ上にユーザ対話の現在位置を示すために使用される任意の他のインジケータを含み得る。カーソルのドラッグアンドドロップ移動は、ユーザが仮想オブジェクトを選択し、それを異なる場所にドラッグする、ポインティングデバイスに関連付けられた任意の移動を含み得る。仮想オブジェクトは、ポインティングデバイスを使用して仮想オブジェクトをクリック、強調表示、またはホバリングすることによって選択され得る。図30では、仮想コンテンツ3010は、仮想カレンダ2716および仮想時計2718を含む。この例では、カーソル3018のドラッグアンドドロップ移動が、仮想時計2718を対象のディスプレイデバイス、例えばコンピュータ3016に転送するために使用される。
対象のディスプレイデバイスは、仮想コンテンツが転送されるべき物理デバイスであるように選択された、部屋内に位置する複数のディスプレイデバイスのうちの1つを含み得る。仮想コンテンツが、転送される仮想コンテンツの種類に適切でない場合がある複数のディスプレイデバイスのうちの別のものではなく、ユーザによって意図または選択された物理的ディスプレイデバイスのみに転送されるように、入力を対象のディスプレイデバイスに関連付けることが望ましい場合がある。図27は、本開示のいくつかの実施形態と一致する、様々な物理的ディスプレイデバイスの例を示す。図27では、ウェアラブルエクステンデッドリアリティ機器2712のユーザ2710が、関連付けられた一意のネットワーク識別子「ID 1」2722を有するコンピュータ2720、関連付けられた一意のネットワーク識別子「ID 2」2726を有するラップトップ2724、および関連付けられた一意のネットワーク識別子「ID 3」2730を有する電話2728を含む、複数のディスプレイデバイスがある部屋内に立っている。ユーザ2710に提示される仮想コンテンツ2714は、仮想カレンダ2716および仮想時計2718を含む。
図28は、本開示のいくつかの実施形態と一致する、仮想コンテンツを物理的ディスプレイデバイスに転送する例を示す。図28では、仮想カレンダ2716および仮想時計2718を含む仮想コンテンツ2714の仮想カレンダ2716は、例えばポインティングジェスチャの形態で、ユーザ2710からの入力を受信することによって引き起こされるように、対象のディスプレイデバイスに転送される。
いくつかの開示される実施形態は、ウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサから画像データを受信することを含むことができ、画像データは、対象のディスプレイデバイスを示す。画像センサから画像データを受信することは、連続的に、または規則的もしくは不規則な間隔で画像データを受信することを含み得る。ユーザが複数の仮想コンテンツアイテムを1つまたは複数の物理的ディスプレイデバイスに転送することを意図するとき、画像データを連続的に受信することが望ましい場合がある。例えば、仮想コンテンツが時計、カレンダ、およびドキュメントを含むとき、ユーザが仮想コンテンツのうちの1つ、いくつか、またはすべてを1つまたは複数の物理的ディスプレイデバイスに転送することができるように、画像データを連続的に受信することが適切である場合がある。間隔を置いて画像データを受信することは、ユーザが特定の期間中にのみ仮想コンテンツを転送することを望むときに望ましい場合がある。例えば、ユーザは、仕事中にのみ仮想コンテンツを転送することを望む場合がある。このような場合、関連する処理システム(例えば、少なくとも1つのプロセッサ)に画像データの連続受信の負担をかけることなく、ユーザが選択した時間に仮想コンテンツを転送することができるように、1日の労働時間中にのみ画像データを受信することが適切である場合がある。他の例では、画像データは、トリガに応答して受信され得る。このようなトリガのいくつかの非限定的な例としては、仮想環境内の特定の仮想オブジェクトを対象のディスプレイデバイス上に提示させるための入力を受信すること、ユーザからの入力を受信すること、特定の空間(部屋など)に入ることなどが挙げられ得る。
いくつかの開示される実施形態は、画像データを分析して対象のディスプレイデバイスを識別することを含み得る。画像データを分析することは、オブジェクト認識、画像セグメンテーション、動き検出、ビデオトラッキング、オプティカルフロー検出、または画像センサによって取得された画像から情報を抽出する任意の他の方法を含み得る。例えば、プロセッサは、画像データに対してオブジェクト認識を実行することによって画像データを分析して、対象のディスプレイデバイスがいつ検出されたかを決定することができる。このようなオブジェクト認識は、エッジマッチング、分割統治探索、グレースケールマッチング、勾配マッチング、受容野応答のヒストグラム、または画像もしくはビデオ内のオブジェクトを識別するための任意の他の技術によって達成され得る。いくつかの例では、機械学習モデルは、画像および/またはビデオからディスプレイデバイスを識別するために、訓練例を使用して訓練され得る。このような訓練例の例としては、サンプルディスプレイデバイスのサンプル画像および/またはサンプルビデオが、対象のディスプレイデバイスの身元を示すラベルとともに挙げられ得る。訓練された機械学習モデルは、画像データを分析し、対象のディスプレイデバイスを識別するために使用され得る。いくつかの例では、計算された畳み込みの結果値を取得するために、画像データの少なくとも一部の畳み込みが計算され得る。計算された畳み込みの第1の結果値に応答して、対象のディスプレイデバイスの第1の身元が決定され得、計算された畳み込みの第2の結果値に応答して、対象のディスプレイデバイスの第2の身元が決定され得、第2の身元は第1の身元とは異なり得る。
いくつかの実施形態では、画像データを分析して対象のディスプレイデバイスを識別することは、画像データに基づいて製品の視覚特性を決定することと、製品の視覚特性を記憶された基準データと比較し、それによって対象のディスプレイデバイスの身元を決定することとを含み得る。製品の視覚特性は、ラベル、ロゴ、エンブレム、シンボル、タグ、ブランド名、デザイン、スタンプ、ステッカー、記章、マーク、サイズ、アスペクト比、フレーム色、または特定の製品に関連付けられた任意の他の視覚的特徴を含み得る。記憶された基準データは、製品の視覚特性またはディスプレイデバイスの身元を分類または類別するために使用される任意の情報を含み得る。例えば、記憶された基準データは、様々なロゴを特定のディスプレイデバイスに関連付けるデータを含み得る。別の例では、記憶された基準データは、様々なブランド名を特定のディスプレイデバイスに関連付けるデータを含み得る。基準データは、ユーザによって提供されてもよく、またはプロセッサによって生成されてもよい。製品の視覚特性および記憶された基準データを使用して対象のディスプレイデバイスの身元を決定することは、対象のディスプレイデバイスの識別を自動化するために望ましい場合があり、その結果、プロセッサは、部屋内のすべてのディスプレイデバイスに対してユーザによる手動識別の代わりに画像処理を使用して識別を実行することができる。例えば、対象のディスプレイデバイスは、対象のディスプレイデバイスの表面上のロゴの形態の製品の視覚特性を有し得る。この例では、画像データは、例えば、視覚的ロゴ認識アルゴリズムを使用して、ロゴを検出するために分析され得、処理されたロゴデータは、様々なディスプレイデバイスに関連付けられたロゴのデータベースに関連付けられ得、対象のディスプレイデバイスの身元は、検出されたロゴデータとのデータベース内の一致に基づいて識別され得る。別の例では、対象のディスプレイデバイスは、ディスプレイサイズおよび/またはディスプレイアスペクト比の形態の製品の視覚特性を有し得る。この例では、画像データは、例えば、画像データ内の対象のディスプレイデバイスの測定値に基づいて、ディスプレイサイズおよび/またはディスプレイアスペクト比を決定するために分析され得る。決定されたディスプレイサイズおよび/またはディスプレイアスペクト比は、様々なディスプレイデバイスに関連付けられたディスプレイサイズおよび/またはディスプレイアスペクト比のデータベースと比較され得、対象のディスプレイデバイスの身元は、決定されたディスプレイサイズおよび/またはディスプレイアスペクト比とのデータベース内の一致に基づいて識別され得る。
いくつかの開示される実施形態は、画像データを分析して、対象のディスプレイデバイスによって表示されたコンテンツを認識し、それによって、対象のディスプレイデバイスの身元を決定することをさらに含み得る。対象のディスプレイデバイスによって表示されるコンテンツは、シンボル、画像、文、単語、文字、形状、記号、または対象のディスプレイデバイスによって表示され得る任意の他の視覚情報のうちの1つまたは複数を含み得る。対象のディスプレイデバイスによって表示されたコンテンツを使用することは、対象のディスプレイデバイスの識別を自動化するために望ましい場合があり、その結果、プロセッサは、部屋内のすべてのディスプレイデバイスに対してユーザによる手動識別の代わりに画像処理を使用して識別を実行することができる。例えば、対象のディスプレイデバイスは、「ミーティングルームのテレビ」と記述するメッセージを表示するように構成され得る。この例では、プロセッサは、画像データを分析して、「ミーティングルームのテレビ」というメッセージを認識し、対象のディスプレイデバイスが、ミーティングルームに位置するか、またはミーティングルームに関連付けられたテレビであると決定することができる。
いくつかの実施形態では、画像データを分析して対象のディスプレイデバイスを識別することは、画像データに基づいて位置を決定することと、その位置を記憶された位置データと比較し、それによって、対象のディスプレイデバイスの身元を決定することとを含み得る。位置は、場所、エリア、環境、点、部屋、地理、ロケール、領域、背景、サイト、空間、周囲、角度、方向、または誰かもしくは何かが配置される方法の任意の他のインジケーションを含み得る。この位置は、ウェアラブルユーザインターフェースのユーザ、別の個人、対象のディスプレイデバイス、別のディスプレイデバイス、または任意の他のオブジェクトの位置を含み得る。位置を使用することは、対象のディスプレイデバイスの識別を自動化するために望ましい場合があり、その結果、プロセッサは、部屋内のすべてのディスプレイデバイスに対してユーザによる手動識別の代わりに画像処理を使用して識別を実行することができる。例えば、画像データは、対象のディスプレイデバイスがミーティングルームにあることを識別するために分析され得る。この例では、会議室情報は、部屋をディスプレイデバイスに関連付ける記憶された位置データと比較されて、ディスプレイデバイスが、電話などのパーソナルディスプレイデバイスではなく、テレビまたはコンピュータなどのミーティングルームのディスプレイデバイスであると決定することができる。
いくつかの開示される実施形態は、画像データ内で、対象のディスプレイデバイスに関連付けられた視覚コードを検出することと、視覚コードを処理して、対象のディスプレイデバイスの身元を決定することとをさらに含み得る。視覚コードは、QRコード、バーコード、テキストコード、数値コード、特定の視覚パターン、または文字、単語、数字、記号、もしくは画像の任意の組み合わせを利用する、対象のディスプレイデバイスとの関連の任意の他の視覚的インジケーションを含み得る。視覚コードを使用して対象のディスプレイデバイスの身元を決定することは、対象のディスプレイデバイスの識別を自動化するために望ましい場合があり、その結果、プロセッサは、部屋内のすべてのディスプレイデバイスに対してユーザによる手動識別の代わりに画像処理を使用して識別を実行することができる。例えば、対象のディスプレイデバイスは、対象のディスプレイデバイスの画面に提示されるQRコードの形態の視覚コードを有し得る。この例では、画像データは、QRコードを特定のディスプレイデバイスに関連付けるQRコード内の情報を検出するために処理され得、この情報は、対象のディスプレイデバイスの身元を決定するために使用され得る。
いくつかの実施形態では、入力は、ウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサから受信され得る。この種類の入力は、仮想コンテンツを物理的ディスプレイデバイスに転送するために使用されるデバイスの数を低減するために望ましい場合がある。加えて、ユーザは転送中にウェアラブルエクステンデッドリアリティ機器を装着しているため、ウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサを使用することは、ユーザが向いている方向に応じてユーザが入力を指示することができることを確実にすることができる。
いくつかの開示される実施形態は、画像データを分析して、特定の仮想オブジェクトと対象のディスプレイデバイスとの間の仮想衝突をトリガするウェアラブルエクステンデッドリアリティ機器のユーザによって開始されたジェスチャを識別することをさらに含み得る。ジェスチャは、身体動作が通信するために使用され得る、任意の形態の非言語通信を含み得る。ジェスチャは、手、指、脚、頭部、顔、または身体の他の部分の動きを含み得る。例えば、手のジェスチャは、手のひら、指のうちの1つもしくは複数、または手を使用して、指差す、ドラッグする、握る、開く、ピンチする、スライドする、ひねる、または回転することを含み得る。一例では、ジェスチャは、仮想オブジェクトを対象のディスプレイデバイスにドラッグすること、仮想オブジェクトを対象のディスプレイデバイスに向かって押すことなどを含み得る。仮想衝突は、特定の仮想オブジェクトと対象のディスプレイデバイスとの間の接触、関連付け、または任意の他の遭遇を含み得る。いくつかの事例では、ジェスチャは、対象のディスプレイデバイスへの仮想オブジェクトの完全な転送をトリガすることができる。他の事例では、ジェスチャは、対象のディスプレイデバイスの一部分のみへの仮想オブジェクトの転送をトリガすることができる。図29は、本開示のいくつかの実施形態と一貫して関連する、仮想コンテンツを物理的ディスプレイデバイスに転送するためのユーザジェスチャの例を示す。図29では、仮想コンテンツ2910は、仮想カレンダ2716および仮想時計2718を含む。この例では、仮想時計2718を対象のディスプレイデバイス(すなわち、コンピュータ2916)にドラッグするユーザジェスチャ2918は、仮想時計2718および対象のディスプレイデバイスをエクステンデッドリアリティ環境の同じ共通領域内に少なくとも部分的に存在させることによって、仮想時計2718と対象のディスプレイデバイスとの間の仮想衝突をトリガする。
いくつかの開示される実施形態は、対象のディスプレイデバイスを識別する際に、対象のディスプレイデバイスのネットワーク識別子を決定することを含み得る。対象のディスプレイデバイスのネットワーク識別子を決定することは、対象のディスプレイデバイスの識別情報を使用して、ディスプレイデバイスをネットワーク識別子に関連付けるデータ構造またはデータベースにアクセスし、それによって対象のディスプレイデバイスのネットワーク識別子を取得することを含み得る。他の例では、対象のディスプレイデバイスのネットワーク識別子は、対象のディスプレイデバイスの識別子の符号化または別の単純な変換であり得る。他の例では、対象のディスプレイデバイスのネットワーク識別子を決定することは、物理的ディスプレイデバイスに関連付けられた一意のネットワーク識別子に関する情報を走査すること、調べること、検査すること、または任意の他の方法で受信することを含み得る。ネットワーク識別子は、画像センサ、バーコードリーダ、磁気ストライプリーダ、または識別子を検出することが可能な任意の他のデバイスを使用して決定され得る。例えば、物理的ディスプレイデバイスに関連付けられたネットワーク識別子は、バーコードまたは別の視覚コードに符号化されてもよく、バーコード番号は、バーコード内の平行バーの一意のパターン内の空白によって反射された光の強度を測定するために画像センサを使用することによって決定されてもよい。ネットワーク識別子はまた、識別子をプロセッサまたはウェアラブルエクステンデッドリアリティ機器に送信するように対象のディスプレイデバイスに要求することによって取得され得る。
いくつかの開示される実施形態は、対象のディスプレイデバイスの決定されたネットワーク識別子を使用して、対象のディスプレイデバイスとの通信リンクを確立することを含み得る。通信リンクを確立することは、対象のディスプレイデバイスを少なくとも1つの他のデバイスに接続する通信チャネルを作成することを含み得る。通信チャネルは、有線通信チャネルまたは無線通信チャネルのいずれかであり得る。有線通信チャネルは、同軸ケーブル、イーサネット、または有線接続を介して情報を送信する任意の他のチャネルを利用することができる。無線通信チャネルは、Wi-Fi、Bluetooth(商標)、または有線接続なしに情報を送信する任意の他のチャネルを利用することができる。情報が認識された通信チャネルでのみ通信されることを保証するために、対象のディスプレイデバイスとの通信リンクを確立することが望ましい場合があり、これは、ユーザプライバシーを改善し得る。例えば、対象のディスプレイデバイスとの通信リンクを確立することは、対象のディスプレイデバイスと別のデバイスとが無線で通信し、対象のディスプレイデバイスへの仮想コンテンツの無線転送を可能にし得るように、対象のディスプレイデバイスと別のデバイスとの間にBluetooth(商標)または他の無線通信リンクを作成することを含み得る。このような確立された通信リンクのいくつかの非限定的な例としては、ウェアラブルエクステンデッドリアリティ機器と対象のディスプレイデバイスとの間の通信リンク、ウェアラブルエクステンデッドリアリティ機器に関連付けられたコンピューティングデバイスと対象のディスプレイデバイスとの間の通信リンク、エクステンデッドリアリティ環境を調整するコンピューティングデバイスと対象のディスプレイデバイスとの間の通信リンク、仮想オブジェクトを生成するコンピューティングデバイスと対象のディスプレイデバイスとの間の通信リンク、ウェアラブルエクステンデッドリアリティ機器に提示するためのコンテンツを提供するコンピューティングデバイスと対象のディスプレイデバイスとの間の通信リンクなどのうちの少なくとも1つが挙げられ得る。図28では、ラップトップ2724の決定されたネットワーク識別子「ID 2」2726は、対象のディスプレイデバイス(すなわち、ラップトップ2724)との通信リンク2832を確立するために使用される。
いくつかの実施形態では、通信リンクは、ウェアラブルエクステンデッドリアリティ機器と対象のディスプレイデバイスとの間に確立され得る。2つのデバイス間の直接接続を可能にするために、ウェアラブルエクステンデッドリアリティ機器と対象のディスプレイデバイスとの間の通信リンクを確立することが望ましい場合がある。これにより、ウェアラブルエクステンデッドリアリティ機器に提示される仮想コンテンツと対象のディスプレイデバイスとの間の転送の速度が改善する場合がある。例えば、図28では、無線通信リンク2832が、ウェアラブルエクステンデッドリアリティ機器2712とラップトップ2724の形態での対象のディスプレイデバイスとの間に確立され得る。
いくつかの実施形態では、通信リンクは、ウェアラブルエクステンデッドリアリティ機器に関連付けられたコンピューティングデバイスと対象のディスプレイデバイスとの間に確立され得る。コンピューティングデバイスは、スマートフォン、キーボード、コンピュータ、または入力を受け入れ、入力を処理し、情報を出力するために使用され得る任意の他のデバイスを含み得る。ウェアラブルエクステンデッドリアリティ機器と対象のディスプレイデバイスとの間の既存の通信リンク上の負荷を低減するために、またはコンピューティングデバイスが対象のディスプレイデバイスとの通信リンクを形成するためにより良好に位置しているかまたは装備されている場合、ウェアラブルエクステンデッドリアリティ機器に関連付けられたコンピューティングデバイスと対象のディスプレイデバイスとの間の通信リンクを確立することが望ましい場合がある。例えば、大きい部屋では、ウェアラブルエクステンデッドリアリティ機器は、スマートフォンに接続されてもよく、対象のディスプレイデバイスのWi-Fi範囲を超える距離に位置してもよい。この例では、スマートフォンは、対象のディスプレイデバイスのWi-Fi範囲内の距離に位置し得る。このような場合では、スマートフォンがそのWi-Fiリンクを確立するためにより良好に配置され得るため、ウェアラブルエクステンデッドリアリティ機器に接続されたスマートフォンと対象のディスプレイデバイスとの間にWi-Fi通信リンクが確立され得る。
いくつかの開示される実施形態は、特定の仮想オブジェクトを表すデータを対象のディスプレイデバイスに送信することを含み得、送信されたデータは、対象のディスプレイデバイスが特定の仮想オブジェクトを提示することを可能にする。データを送信することは、確立された通信リンクを使用して対象のディスプレイデバイスにデータを通信することを含み得る。認識された通信チャネルが仮想コンテンツを転送するために使用されることを保証することによってプライバシーを改善するために、確立された通信リンクを使用することが望ましい場合がある。あるいは、データを送信することは、別の通信リンクを使用して対象のディスプレイデバイスにデータを通信することを含み得る。いくつかの種類の通信に対して単一の通信リンク上の負荷を低減することによってシステム効率および速度を改善するために、別の通信リンクを使用することが望ましい場合がある。図28では、仮想カレンダ2716を表すデータは、通信リンク2832を介して対象のディスプレイデバイス2724に送信され、送信されたデータは、対象のディスプレイデバイス2724が仮想カレンダ2716を提示することを可能にする。
いくつかの実施形態では、特定の仮想オブジェクトは、メディアコンテンツを再生する仮想画面であってもよく、データの送信は、メディアコンテンツを対象のディスプレイデバイスを通じて提示させてもよい。一例では、仮想画面(本明細書では「仮想ディスプレイ」または「仮想ディスプレイ画面」とも称される)は、1つまたは複数の仮想オブジェクトを含む矩形ウィンドウなど、任意の境界のある形状または提示エリアを含み得る。他の例については上述している。メディアコンテンツは、画像、データ、テキスト、音声、ビデオ、または出版、芸術、もしくは通信におけるエンドユーザもしくは聴衆に向けられた任意の他の情報もしくは体験のうちの1つまたは複数を含み得る。例えば、特定の仮想オブジェクトは、動画を再生する仮想画面であってもよく、データの送信は、動画を対象のディスプレイデバイスを通じて提示させてもよい。いくつかの実施形態では、特定の仮想オブジェクトは、グラフィカルオペレーティングシステムによって生成されたコンテンツを表示する仮想画面(本明細書では「仮想ディスプレイ」または「仮想ディスプレイ画面」とも称される)であってもよく、データの送信は、グラフィカルオペレーティングシステムによって生成されたコンテンツを対象のディスプレイデバイスを通じて提示させてもよい。一例では、グラフィカルオペレーティングシステムは、物理キーボードとペアリングされてもよく、物理キーボードを使用して入力されたテキストは、オペレーティングシステム上で動作するワードプロセッシングアプリケーションに提示され、(少なくとも以前に)仮想画面に表示されてもよい。この例では、データの送信は、オペレーティングシステム上で動作するワードプロセッシングアプリケーションを対象のディスプレイデバイスに表示させることができ、したがって、物理キーボードを使用して入力されたテキストを対象のディスプレイデバイスに出現させることができる。
いくつかの開示される実施形態は、特定の仮想オブジェクトがプライベートとして分類されると決定することと、対象のディスプレイデバイスを通じて特定の仮想オブジェクトを表示するための許可を要求することと、許可を受信した後にのみ、特定の仮想オブジェクトを表すデータを対象のディスプレイデバイスに送信することとをさらに含み得る。いくつかの開示される実施形態はまた、許可の拒否を受信したことに応答して、情報を送信することを回避することを含み得る。プライベート仮想オブジェクトは、機密の、排他的な、秘密の、目立たない、非公開の、または任意の他の方法で特定の1人または1つのグループの人々のみに属するかまたはその使用のための仮想オブジェクトを含み得る。プライベート仮想オブジェクトに対する許可を受信した後にのみデータを送信することは、ユーザがプライベート仮想オブジェクト(例えば、個人情報)を一般市民と共有することを望まず、ユーザが特定の個人または個人のグループと情報を共有することを受け入れることを保証するためにプライベート仮想オブジェクトに対する各要求を認可することを望み得るときに望ましい場合がある。例えば、特定の仮想オブジェクトは、ウェアラブルエクステンデッドリアリティ機器のユーザの銀行業務アプリケーションであってもよい。この例では、ユーザの財務アドバイザーは、ユーザおよび財務アドバイザーからなるミーティングルームにおいてテレビを通じて銀行業務機器を表示するための許可を要求することができる。財務アドバイザーは、ユーザが銀行業務アプリケーションに提示されたセンシティブかつ機密の財務情報を用いて信頼し得る信頼できる個人であり得るため、ユーザは許可を与え得る。したがって、銀行業務アプリケーションを表すデータはテレビに送信され得る。別の例では、ユーザは、ユーザの財務アドバイザーが到着するのを同じミーティングルームで待っている場合がある。その間に、ユーザが知らない別の個人がテレビを通じて銀行業務アプリケーションを表示するための許可を要求した場合、ユーザはその許可を拒否することができる。この例では、ユーザの財務情報の機密性を保持するために、情報の送信は回避される。
いくつかの開示される実施形態は、特定の仮想オブジェクトがプライベートとして分類されると決定することと、対象のディスプレイデバイスがプライベート情報を提示するために認可されていると決定することと、対象のディスプレイデバイスがプライベート情報を提示するために認可されているという決定に応答して、特定の仮想オブジェクトを表すデータを対象のディスプレイデバイスに送信することとをさらに含み得る。プライベート仮想オブジェクトは、上述したものと同様の仮想オブジェクトを含み得る。対象のディスプレイデバイスがプライベート情報を提示するために認可されていると決定することに応答してデータを送信することは、センシティブまたは機密の情報が、このような情報を表示することが可能であり、このような情報を表示するのに適切であるデバイスにのみ提示されることを保証するために望ましい場合がある。例えば、特定の仮想オブジェクトは、ウェアラブルエクステンデッドリアリティ機器のユーザの銀行業務アプリケーションであってもよい。この例では、対象のディスプレイデバイスは、銀行業務アプリケーションに関連付けられた銀行のミーティングルーム内のテレビであり得る。このような場合、テレビは、銀行業務アプリケーションを提示するために認可されていると決定される場合があり、この決定に応答して、銀行業務アプリケーションを表すデータがテレビに送信される場合があり、その結果、情報のセンシティブ性に適したディスプレイデバイスで財務情報が提示される場合がある。同じ銀行業務アプリケーションを使用する別の例では、対象のディスプレイデバイスは、ユーザが訪問している友人のリビングルーム内のコンピュータであり得る。この例では、コンピュータは、プライベート情報を提示するために許可されていないと決定される場合があり、ユーザが友人に閲覧することを望まない場合があるユーザの財務情報の機密性を保持するために、銀行業務アプリケーションを表すデータのコンピュータへの送信が回避される。
いくつかの開示される実施形態は、特定の仮想オブジェクトがプライベートとして分類されると決定することと、画像データを分析して、対象のディスプレイデバイスに露出されたウェアラブルエクステンデッドリアリティ機器のユーザ以外の個人の存在を決定することと、対象のディスプレイデバイスに露出されたユーザ以外の個人がいないという決定に応答して、特定の仮想オブジェクトを表すデータを対象のディスプレイデバイスに送信することと、2人以上の個人が対象のディスプレイデバイスに露出されているという決定に応答して、対象のディスプレイデバイスへの特定の仮想オブジェクトを表すデータの送信を回避することとをさらに含み得る。プライベート仮想オブジェクトは、上述したものと同様の仮想オブジェクトを含み得る。対象のディスプレイデバイスに露出された個人は、対象のディスプレイデバイスの特定の地理的範囲内の個人、または対象のディスプレイデバイスに表示される情報を閲覧することが可能であり得る個人を含み得る。ウェアラブルエクステンデッドリアリティ機器のユーザ以外の個人の不在に基づいて、対象のディスプレイデバイスに情報を送信することは、ユーザのセンシティブな情報の機密性が、その情報をユーザ以外の個人に提示しないことによって保持されることを確実にするために望ましい場合がある。例えば、特定の仮想オブジェクトは、ユーザが他のユーザと共有することを望まない場合がある秘密情報を含むドキュメントであってもよく、ユーザは、オフィスルーム内に立っていてもよく、そこでは対象のディスプレイデバイスがコンピュータである。この例では、画像データは、他の個人がオフィスルーム内にいるかどうかを決定するために分析され得、オフィスルーム内に他の個人がいないという決定に応答して、ドキュメントを表すデータがコンピュータに送信され得る。あるいは、画像データは、誰か他の人がオフィスルーム内にいると決定するために分析され得、他の個人がその部屋内にいるという決定に応答して、ドキュメント内の情報の機密性を保持するために、ドキュメントを表すデータのコンピュータへの送信が回避され得る。いくつかの例では、機械学習モデルは、ディスプレイデバイスに露出された個人の存在を決定するために、訓練例を使用して訓練され得る。このような訓練例の例としては、サンプルディスプレイデバイスを含むサンプルルームのサンプル画像および/またはサンプルビデオが、サンプルルーム内の個人がサンプルディスプレイデバイスに露出されているかどうかを示すラベルとともに挙げられ得る。訓練された機械学習モデルは、画像データを分析し、対象のディスプレイデバイスに露出されるウェアラブルエクステンデッドリアリティ機器のユーザ以外の個人の存在を決定するために使用され得る。いくつかの例では、画像データは、例えば、視覚的人物検出アルゴリズムおよび視覚的姿勢推定アルゴリズムを使用して、部屋内の人物を検出し、検出された人物の姿勢を決定するために分析され得る。さらに、人物の姿勢および場所は、例えば、(決定された姿勢に基づいて)人物の眼の場所を含むレイキャスティングアルゴリズムを使用して、その人物が対象のディスプレイデバイスに露出されているかどうかを決定するために使用され得る。
いくつかの開示される実施形態は、特定の仮想オブジェクトを表すデータを対象のディスプレイデバイスに送信した後に、ユーザ以外の個人が対象のディスプレイデバイスに露出される可能性が高いと決定することと、ユーザ以外の個人が対象のディスプレイデバイスに露出される可能性が高いという決定に応答して、対象のディスプレイデバイスに特定の仮想オブジェクトの提示を中止させることとをさらに含み得る。対象のディスプレイデバイスに露出される可能性が高い個人は、対象のディスプレイデバイスの特定の地理的範囲または近接内にいる個人、対象のディスプレイデバイスに表示された情報を閲覧することが可能であり得る個人、または、対象のディスプレイデバイスの特定の地理的範囲内にまもなく入り得るか、もしくは対象のディスプレイデバイスに表示された情報を閲覧することが可能であり得る場所にいる個人を含み得る。対象のディスプレイデバイスに特定の仮想オブジェクトの提示を中止させることは、対象のディスプレイデバイスのディスプレイ全体をオフにすること、対象のディスプレイデバイスのディスプレイから特定の仮想オブジェクトを除去すること、または仮想オブジェクトをピクセル化もしくはぼかして、仮想オブジェクトを判読不能にすることを含み得る。ユーザ以外の個人が対象のディスプレイデバイスに露出される可能性が高いという決定に応答して、対象のディスプレイデバイスでの特定の仮想オブジェクトの提示を中止することは、他の個人の不在の初期決定が行われた後でも、センシティブな情報の機密性を継続的に保持するために望ましい場合がある。ドキュメントを表すデータがコンピュータに送信された前の例から続けて、プロセッサは、この送信の後に、ユーザ以外の個人がオフィスルームに入ろうとしていると決定する場合があり、その個人がコンピュータに露出される可能性が高くなる。この例では、オフィスルームにまもなく入る可能性のある個人を考慮してドキュメント内の情報の機密性を保持するために、コンピュータがオフにされ得るか、またはコンピュータに提示された表示からドキュメントが除去され得る。
いくつかの開示される実施形態は、特定の仮想オブジェクトが対象のディスプレイデバイスを通じて提示される時点で、特定の仮想オブジェクトをエクステンデッドリアリティ環境から消失させることをさらに含み得る。特定の仮想オブジェクトを、対象のディスプレイデバイスを通じて提示した後にエクステンデッドリアリティ環境から消失させることは、システム上の処理負荷と、2つの異なるモダリティ(例えば、物理的ディスプレイデバイスおよび1つまたは複数の仮想画面)上に同じ情報を同時に表示する冗長性とを低減するために望ましい場合がある。特定の仮想オブジェクトをエクステンデッドリアリティ環境から消失させることはまた、2つの異なるディスプレイに同じ情報が提示されるときのユーザの視覚的混乱を低減させ、それによって、ユーザが提示された情報により良好に集中することを可能にし得る。例えば、特定の仮想オブジェクトは動画である場合があり、ウェアラブルエクステンデッドリアリティ機器および対象のディスプレイデバイスの両方を通じて動画を提示することは、ユーザに混乱を引き起こす場合があり、ユーザが動画を理解することを可能にしない場合がある。この例では、プロセッサは、ユーザの混乱を回避するために、動画が対象のディスプレイデバイスを通じて提示されると、動画をエクステンデッドリアリティ環境から消失させ得る。
いくつかの開示される実施形態は、特定の仮想オブジェクトが対象のディスプレイデバイスを通じて提示されることを示す仮想インジケータを、ウェアラブルエクステンデッドリアリティ機器を介して表示することをさらに含み得る。仮想インジケータは、対象のディスプレイデバイスを通じて提示される特定の仮想オブジェクトの条件または存在を示す、色、パターン、形状、テキスト、メッセージ、ピクチャ、シンボル、または任意の他のサインを含み得る。ウェアラブルエクステンデッドリアリティ機器のユーザが、対象のディスプレイデバイスを通じて提示される特定の仮想オブジェクトに気付くことができるように、エクステンデッドリアリティ機器を介して仮想インジケータを表示することが望ましい場合がある。これは、特定の仮想オブジェクトが誤って対象のディスプレイデバイスに送信された場合に関連し得る。例えば、図29では、仮想時計2718は、コンピュータ2916の形態での対象のディスプレイデバイスを通じて提示される特定の仮想オブジェクトである。この例では、仮想インジケータは、仮想時計2718がコンピュータ2916を通じて提示されていることをウェアラブルエクステンデッドリアリティ機器のユーザに信号を送るためにウェアラブルエクステンデッドリアリティ機器を介して表示されるグレーアウトされた仮想時計2920であり得る。
いくつかの開示される実施形態は、対象のディスプレイデバイスに関連付けられた仮想コントローラを生成することをさらに含み得、仮想コントローラは、対象のディスプレイデバイスの表示パラメータの修正を可能にする。仮想コントローラは、クリッカ、リモコン、ジョイスティック、ホイール、パッド、ボタン、またはエクステンデッドリアリティディスプレイの任意の聴覚的もしくは視覚的側面を制御するための任意の他の機構を含み得る。対象のディスプレイデバイスに関連付けられた仮想コントローラを生成することは、対象のディスプレイデバイスのサイズ、ボリューム、角度、パースペクティブ、または任意の他の聴覚的もしくは視覚的側面を調整するために望ましい場合がある。例えば、図30では、リモコン3020の形態での仮想コントローラが生成され、リモコン3020は、コンピュータ3016の形態での対象のディスプレイデバイスに関連付けられる。この例では、リモコン3020は、コンピュータ3016に提示された仮想時計2718のサイズを拡大または縮小して、ユーザが仮想時計2718をよりよく閲覧することを可能にするために使用され得る。別の例では、対象のディスプレイデバイスは、音声とともにビデオを提示するテレビであり得る。この例では、ユーザがテレビに提示されたビデオに関連付けられた音をよりよく聞くことができるように、テレビの音量を制御するために仮想リモコンが生成され得る。
対象のディスプレイデバイスが特定の仮想オブジェクトを提示し始めた後、いくつかの開示される実施形態は、追加の入力を受信することと、追加の入力に基づいて対象のディスプレイデバイス上の特定の仮想オブジェクトを修正することとをさらに含み得る。追加の入力は、ユーザまたはプロセッサから受信され得る。追加の入力は、ボタン、キー、キーボード、コンピュータマウス、タッチパッド、タッチスクリーン、ジョイスティック、または入力が受信され得る別の機構などのユーザ入力デバイスとの対話を通じてユーザから受信され得る。加えて、またはあるいは、追加の入力は、対象のディスプレイデバイス上の特定の仮想オブジェクトに適切であり得るさらなる修正の自動化された評価に基づいて、プロセッサから受信され得る。特定の仮想オブジェクトを修正することは、仮想オブジェクトのサイズ、角度、色、位置、向き、パースペクティブ、テキスト、オブジェクト、音声、または任意の他の聴覚的もしくは視覚的側面のうちの1つまたは複数を調整または変更することを含み得る。ユーザが仮想オブジェクトのサイズを調整してそれをより良く見ること、作業タスクを完了するために仮想ドキュメントにテキストを追加すること、または任意の他の方法で仮想オブジェクトを変更してユーザのニーズもしくは要望により良く適合させることを可能にするために、追加の入力に基づいて対象のディスプレイデバイス上の特定の仮想オブジェクトを修正することが望ましい場合がある。例えば、特定の仮想オブジェクトは動画ウィンドウである場合があり、プロセッサは、動画ウィンドウのサイズが大きすぎて対象のテレビディスプレイ内に完全に適合しないと決定する場合がある。この例では、プロセッサは、動画ウィンドウのサイズをテレビの画面内に適合するように縮小するための追加の入力を提供することができる。別の例では、特定の仮想オブジェクトはドキュメントであってもよく、ユーザは、ドキュメントに追加されるテキストをキーボードにタイプすることによって追加の入力を提供してもよい。この例では、プロセッサは、タイプされたテキストをドキュメントに追加するための追加の入力を受信することができる。
対象のディスプレイデバイスが特定の仮想オブジェクトを提示し始めた後、いくつかの開示される実施形態は、対象のディスプレイデバイスを通じて特定の仮想オブジェクトを提示することを停止するためのウェアラブルエクステンデッドリアリティ機器のユーザの要望を示す追加の入力を受信することと、追加の入力を受信することに応答して、対象のディスプレイデバイスに、対象のディスプレイデバイスによる特定の仮想オブジェクトの提示を中止させることとをさらに含み得る。対象のディスプレイデバイスを通じて特定の仮想オブジェクトを提示することを停止するためのウェアラブルエクステンデッドリアリティ機器のユーザの要望を示す追加の入力が、上述したものなどのユーザ入力デバイスとの対話を通じて受信され得る。対象のディスプレイデバイスに、対象のディスプレイデバイスによる特定の仮想オブジェクトの提示を中止させることは、対象のディスプレイデバイスにコンテンツを表示することを停止させるように構成された情報を、物理的ディスプレイを制御するシステムに送信すること、対象のディスプレイデバイスを制御するシステムへのデータの送信を停止すること、または任意の他の方法で、対象のディスプレイデバイス上の特定の仮想オブジェクトの提示を停止することを含み得る。ユーザのこのような要望を示す追加の入力を受信することに応答して、対象のディスプレイデバイスによる特定の仮想オブジェクトの提示を中止することは、ユーザが、他のユーザがセンシティブな情報を閲覧することを防止し得るように、またはユーザがもはや対象のディスプレイデバイス上の情報を閲覧することを望まない場合に望ましい場合がある。例えば、特定の仮想オブジェクトはドキュメントであってもよく、対象のコンピュータがドキュメントを提示した後、ユーザはドキュメントを読み取ることを終了してもよい。この例では、ユーザは、ユーザがもはやコンピュータ上にドキュメントを提示することを望まないことを示す追加の入力を提供するためにボタンをクリックすることができ、この追加の入力を受信したことに応答して、ユーザがドキュメントを読み取ることを終了したため、コンピュータ上のドキュメントの提示を中止するようにコンピュータを制御するシステムにデータが送信され得る。
いくつかの実施形態では、対象のディスプレイデバイスを通じて特定の仮想オブジェクトを提示することを停止するためのウェアラブルエクステンデッドリアリティ機器のユーザの要望を示す追加の入力は、ウェアラブルエクステンデッドリアリティ機器が部屋を出たというインジケーションを含み得る。ウェアラブルエクステンデッドリアリティ機器が部屋を出たというインジケーションは、ユーザ入力またはセンサ入力によって提供され得る。ユーザ入力は、上述したようなユーザ入力デバイスとの対話によって受信され得る。センサ入力は、位置センサ、画像センサ、近接センサ、または部屋内のウェアラブルエクステンデッドリアリティ機器の存在または不在を示す情報を生成し得る任意の他のデバイスからのデータを介して受信され得る。ユーザが閲覧することができない情報を提示することによってプロセッサに負担がかからないように、かつユーザが部屋を出た後に他のユーザが情報を閲覧することができないように、ウェアラブルエクステンデッドリアリティ機器が部屋を出たというインジケーションに基づいて、対象のディスプレイデバイスを通じて特定の仮想オブジェクトを提示することを停止することが望ましい場合がある。例えば、部屋はリビングルームであってもよく、位置センサは、ウェアラブルエクステンデッドリアリティ機器がダイニングルームに移動したことを示す情報を提供してもよい。この例では、ウェアラブルエクステンデッドリアリティ機器がダイニングルームに移動したというインジケーションは、ユーザが提示された情報を閲覧するためにリビングルームにもはやいないため、リビングルーム内の対象のディスプレイデバイスを通じて特定の仮想オブジェクトを提示することを停止するためのウェアラブルエクステンデッドリアリティ機器のユーザの要望を示すことができる。
いくつかの開示される実施形態は、特定の仮想オブジェクトの提示を中止した後に、ウェアラブルエクステンデッドリアリティ機器が部屋に再入室したというインジケーションを受信することと、再入室に応答して、対象のディスプレイデバイスによる特定の仮想オブジェクトの提示を更新させることとをさらに含み得る。ウェアラブルエクステンデッドリアリティ機器が部屋に再入室したというインジケーションは、ユーザ入力またはセンサ入力によって提供され得る。ユーザ入力は、上述したようなユーザ入力デバイスとの対話によって受信され得る。センサ入力は、上述したようなセンサからのデータを介して受信され得る。ウェアラブルエクステンデッドリアリティ機器に関連付けられた入力を受信するステップと、画像センサから画像データを受信するステップと、画像データを分析して対象のディスプレイデバイスを識別するステップと、対象のディスプレイデバイスを識別する際に、対象のディスプレイデバイスのネットワーク識別子を決定するステップと、対象のディスプレイデバイスの決定されたネットワーク識別子を使用して対象のディスプレイデバイスとの通信リンクを確立するステップと、特定の仮想オブジェクトを表すデータを対象のディスプレイデバイスに送信するステップとを繰り返すことを回避することによって処理速度を改善するために、再入室に応答して対象のディスプレイデバイスを通じた特定の仮想オブジェクトの提示を更新することが望ましい場合がある。上記のリビングルームの例から続けて、特定の仮想オブジェクトの提示を中止した後、位置センサは、ウェアラブルエクステンデッドリアリティ機器がリビングルームに再入室したことを示す情報を提供することができる。この例では、対象のディスプレイデバイスによる特定の仮想オブジェクトの提示の更新が、再入室に応答して引き起こされる場合があり、その結果、ユーザは、最初のステップを繰り返す必要なしに、特定の仮想オブジェクトを再び閲覧することができる。
いくつかの開示される実施形態は、ウェアラブルエクステンデッドリアリティ機器を通じて第2のディスプレイデバイスからコンテンツを提示させるための追加の入力を受信することと、画像センサから第2の画像データを受信することであって、第2の画像データが第2のディスプレイデバイスを示す、受信することと、第2の画像データを分析して、第2のディスプレイデバイスを識別することと、第2のディスプレイデバイスを識別した時点で、第2のディスプレイデバイスのネットワーク識別子を決定することと、第2のディスプレイデバイスの決定されたネットワーク識別子を使用して、第2のディスプレイデバイスとの通信リンクを確立することと、第2のディスプレイデバイスからコンテンツを表すデータを受信することと、ウェアラブルエクステンデッドリアリティ機器を通じて、第2のディスプレイデバイスからのコンテンツを表示することとをさらに含み得る。第2のディスプレイデバイスは、上述したもののうちの1つなどの物理的ディスプレイデバイスを含み得る。ユーザが、サイズまたはパースペクティブなどの物理的ディスプレイデバイスの制約によって制限されない仮想空間でコンテンツを閲覧することができるように、ウェアラブルエクステンデッドリアリティ機器を通じて第2のディスプレイデバイスからのコンテンツを表示することが望ましい場合がある。例えば、ユーザは、ボタンを押して、ウェアラブルエクステンデッドリアリティ機器を通じて、電話などの第2のディスプレイデバイスから動画を提示させることができる。この例では、上述した処理ステップは、電話からの動画がウェアラブルエクステンデッドリアリティ機器を通じて表示されるように実行される場合があり、その結果、ユーザは、より良い視認性のために動画のサイズを拡大することができる。
いくつかの実施形態は、仮想コンテンツを物理的ディスプレイデバイスに転送するための方法を含み得る。図31は、本開示のいくつかの実施形態と一貫して関連する、仮想コンテンツ表示をモビリティステータスと調整する例示的な方法3100のフローチャートである。方法3100は、ウェアラブルエクステンデッドリアリティ機器を介して部屋内にエクステンデッドリアリティ環境を提示するステップ3110を含むことができ、ウェアラブルエクステンデッドリアリティ機器は、部屋内に位置する複数のディスプレイデバイスとペアリングされるように構成され、各ディスプレイデバイスは、一意のネットワーク識別子に関連付けられる。方法3100は、ウェアラブルエクステンデッドリアリティ機器に関連付けられた入力を受信して、エクステンデッドリアリティ環境内の特定の仮想オブジェクトを対象のディスプレイデバイス上に提示させるステップ3112を含み得る。方法3100は、ウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサから画像データを受信するステップ3114を含むことができ、画像データは、対象のディスプレイデバイスを示す。方法3100は、画像データを分析して対象のディスプレイデバイスを識別するステップ3116を含み得る。方法3100は、対象のディスプレイデバイスを識別する際に、対象のディスプレイデバイスのネットワーク識別子を決定するステップ3118を含み得る。方法3100は、対象のディスプレイデバイスの決定されたネットワーク識別子を使用して、対象のディスプレイデバイスとの通信リンクを確立するステップ3120を含み得る。方法3100は、特定の仮想オブジェクトを表すデータを対象のディスプレイデバイスに送信するステップ3122を含むことができ、送信されたデータは、対象のディスプレイデバイスが特定の仮想オブジェクトを提示することを可能にする。
いくつかの実施形態は、仮想コンテンツを物理的ディスプレイデバイスに転送するためのシステムであって、このシステムは、少なくとも1つのプロセッサを含み、少なくとも1つのプロセッサが、ウェアラブルエクステンデッドリアリティ機器を介して部屋内のエクステンデッドリアリティ環境を提示することであって、ウェアラブルエクステンデッドリアリティ機器が、部屋内に位置する複数のディスプレイデバイスとペアリングされるように構成され、各ディスプレイデバイスが一意のネットワーク識別子に関連付けられる、提示することと、ウェアラブルエクステンデッドリアリティ機器に関連付けられた入力を受信して、エクステンデッドリアリティ環境内の特定の仮想オブジェクトを対象のディスプレイデバイスに提示させることと、ウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサから画像データを受信することであって、画像データが対象のディスプレイデバイスを示す、受信することと、画像データを分析して、対象のディスプレイデバイスを識別することと、対象のディスプレイデバイスを識別した時点で、対象のディスプレイデバイスのネットワーク識別子を決定することと、対象のディスプレイデバイスの決定されたネットワーク識別子を使用して、対象のディスプレイデバイスとの通信リンクを確立することと、特定の仮想オブジェクトを表すデータを対象のディスプレイデバイスに送信することであって、送信されたデータは、対象のディスプレイデバイスが特定の仮想オブジェクトを提示することを可能にする、送信することとを行うように構成される、システムを含み得る。
物理的に提示された視覚コンテンツについて論じるとき、物理的に提示された視覚コンテンツの部分を、例えば手のジェスチャで視覚的に示すことが有用である。例えばビデオ通話では、仮想的に提示された視覚コンテンツをコンピュータ間で共有するとき、例えば、一方のユーザによって制御され、他方のユーザに見えるマウスカーソルを使用して、仮想的に提示された視覚コンテンツの部分を視覚的に示すことが有用である。しかし、エクステンデッドリアリティ機器間でコンテンツを共有するとき、カーソルを使用してコンテンツの部分を示すことは、エクステンデッドリアリティ機器の使用が必要とする自然な体験を壊すため、逆効果であり得る。すなわち、これは、物理的に提示された視覚コンテンツについて論じる体験を模倣することができない。したがって、自然な手のジェスチャによる第1のユーザによって生成されたコンテンツの一部分の視覚的インジケーションが、遠隔場所にあるエクステンデッドリアリティ機器を使用してコンテンツを閲覧する第2のユーザに視覚的に利用可能であることを可能にすることが望まれる。エクステンデッドリアリティが複合現実または拡張現実であるとき、第1のユーザが手のジェスチャを使用してコンテンツの部分を示す位置は、例えば、2人のユーザの物理的空間の異なるレイアウトに起因して、第2のユーザにとって利用可能ではない場合がある(例えば、第1のユーザは、第2のユーザの物理的空間内の壁に対応するコンテンツに関連する場所に立っている場合がある)。したがって、場合によっては、視覚的インジケーションをユーザの物理的環境に合わせて調整することが望まれる。
方法、システム、装置、および非一時的コンピュータ可読媒体を含む、開示される実施形態は、共有されたコンテンツとのユーザ対話をシミュレートすることに関し得る。共有されたコンテンツが、2つ以上のエンティティ(例えば、ユーザまたはデバイス)の間で通信される任意の情報を含み得る。例えば、共有されたコンテンツは、視覚コンテンツ、テキストコンテンツ、オーディオコンテンツ、グラフィックコンテンツ、仮想ホワイトボード、仮想ディスプレイ画面、2次元コンテンツ、3次元コンテンツ、アニメーション化されたコンテンツ、非アニメーションのコンテンツ、ライブコンテンツ、リアルタイムコンテンツ、インターネットコンテンツ、シネマコンテンツ、テレビコンテンツ、ラジオコンテンツ、スマートフォンコンテンツ、ライブイベント、物理オブジェクト、仮想オブジェクト、または任意の他の種類の情報を含み得る。いくつかの例では、共有されたコンテンツは、2つ以上のウェアラブルエクステンデッドリアリティ機器間で通信され得る。例えば、ウェアラブルエクステンデッドリアリティ機器のユーザによって閲覧されるコンテンツ(物理的または仮想)は、別のユーザに表示するために別のウェアラブルエクステンデッドリアリティ機器に送信されてもよい。
ユーザ対話は、ユーザまたはエンティティに関連付けられた任意のアクションを含み得る。例えば、ユーザ対話は、指のジェスチャ、手のジェスチャ、眼のジェスチャ、口のジェスチャ、顔のジェスチャ、または人物の身体の1つもしくは複数の他の部分のアクションを含み得る。一例として、ユーザ対話は、ドラッグ、ピンチ、スプレッド、スワイプ、タップ、ポインティング、スクロール、回転、フリック、タッチ、ズームイン、ズームアウト、サムアップ、サムダウン、タッチアンドホールド、または指もしくは手の任意の他のアクションなど、任意の指または手の動きを含み得る。別の例として、ユーザ対話は、ユーザの注意(例えば、注視)の場所または動きを含み得る。別の例として、ユーザ対話は、ユーザの音(例えば、声)を含み得る。加えて、またはあるいは、ユーザ対話は、ペン、消しゴム、ポインタスティック、レーザポインタ、カーソル、または任意の他のアイテムなど、オブジェクト(物理的または仮想)を介したアクションを含み得る。
ユーザ対話をシミュレートすることは、例えば、あるユーザと別のユーザとのユーザ対話のインジケーションを生成することを含み得る。いくつかの例では、ユーザは、ユーザ対話(例えば、特定のコンテンツとの)を生じさせることができ、ユーザ対話のインジケーションは、別のユーザへの表示のために送信され得る。シミュレートされたユーザ対話は、ユーザによって開始されたユーザ対話に基づいてもよく、開始されたユーザ対話と同じまたは同様であってもよい。いくつかの例では、シミュレートされたユーザ対話は、開始されたユーザ対話と異なってもよい。一例として、開始されたユーザ対話は、手のジェスチャを含むことができ、シミュレートされたユーザ対話は、手のジェスチャの視覚的表現を含むことができる。別の例として、開始されたユーザ対話は、手のジェスチャを含むことができ、シミュレートされたユーザ対話は、ポインタの視覚的インジケーションを含むことができる。シミュレートされたユーザ対話は、開始されたユーザ対話と同じまたは同様の1つまたは複数の特徴、例えば、対話されたコンテンツに対するユーザ対話の場所、対話されたコンテンツに対するユーザ対話の向き、ユーザ対話の動き、ユーザ対話のテクスチャ、またはユーザ対話の任意の他の特性を有し得る。
いくつかの開示される実施形態は、本明細書でより詳細に説明するように、共有されたコンテンツとのユーザ対話をシミュレートすることに関し得る。ウェアラブルエクステンデッドリアリティ機器のユーザは、共有されたコンテンツとのユーザ対話を自動的に共有することができる。例えば、第1のユーザがホワイトボード(物理的または仮想)の前に立ち、ホワイトボードの特定の部分を指すとき、第2のユーザのウェアラブルエクステンデッドリアリティ機器は、本明細書で説明するように、第1のユーザが指すホワイトボードの特定の部分を識別する仮想インジケータでホワイトボードの仮想表現を表示することができる。
いくつかの開示される実施形態は、第1のウェアラブルエクステンデッドリアリティ機器(WER機器)と少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器との間でコンテンツおよびユーザ対話を共有するための通信チャネルを確立することを含み得る。通信チャネルは、データを送信するための任意の種類の媒体を含み得る。通信チャネルは、例えば、IP(インターネットプロトコル)接続、Wi-Fi接続、WiMAX接続、セルラー接続(例えば、2G、3G、4G、または5G)、Bluetooth接続、近距離無線通信(NFC)接続、低電力広域ネットワーキング(LPWAN)接続、イーサネット接続、電力線通信(PLC)接続、衛星通信接続、モバイルネットワーク接続、地上マイクロ波ネットワーク接続、無線アドホックネットワーク接続、またはネットワークを介した任意の他の種類の接続を含み得る。通信チャネルは、有線または無線であり得る。いくつかの例では、通信チャネルは、パーソナルエリアネットワーク、ローカルエリアネットワーク、メトロポリタンエリアネットワーク、広域ネットワーク、グローバルエリアネットワーク、宇宙ネットワーク、ピアツーピアネットワーク、またはネットワークノード間のデータ接続を使用し得る任意の他の種類のコンピュータネットワークを介するものであり得る。
いくつかの例では、通信チャネルは、第1のウェアラブルエクステンデッドリアリティ機器と少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器との間に確立され得る。例えば、少なくとも1つのプロセッサは、ネットワークアドレス、ポート番号、または他の種類のネットワーキング構成などのネットワーキングリソースを、第1のウェアラブルエクステンデッドリアリティ機器および少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に割り当てさせ得る。いくつかの例では、少なくとも1つのプロセッサは、ネットワークプロトコル(例えば、伝送制御プロトコル(TCP)、ユーザデータグラムプロトコル(UDP)、または任意の他のプロトコル)において指定され得るプロセスを実行することができる。いくつかの例では、通信チャネルは、集中型システムと、第1のウェアラブルエクステンデッドリアリティ機器および少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器の各々との間に確立され得る。すなわち、いくつかの例では、集中型システムを通過しないウェアラブルエクステンデッドリアリティ機器間の通信がない場合がある。このような集中型システムは、1つまたは複数のサーバ、クラウドプラットフォーム、分散コンピューティングシステムなどを含み得る。このような集中型システムのいくつかの非限定的な例としては、エクステンデッドリアリティ環境を制御するシステム、ウェアラブルエクステンデッドリアリティ機器への提示のための仮想コンテンツを提供するシステムなどが挙げられ得る。一例では、通信チャネルを確立することは、第1のウェアラブルエクステンデッドリアリティ機器と少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器との関連付けを、集中型システムによって維持されるデータ構造に追加することを含み得る。他のウェアラブルエクステンデッドリアリティ機器と共有するために第1のウェアラブルエクステンデッドリアリティ機器からデータが受信されると、集中型システムは、データ構造にアクセスして、受信されたデータまたは受信されたデータに基づく情報が少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器と共有される必要があると決定することができ、その逆も同様である。
コンテンツは、通信チャネルを介して共有され得る。共有されたコンテンツは、2つ以上のエンティティ(例えば、ユーザまたはデバイス)の間で通信される任意の情報を含み得る。例えば、共有されたコンテンツは、視覚コンテンツ、テキストコンテンツ、オーディオコンテンツ、グラフィックコンテンツ、2次元コンテンツ、3次元コンテンツ、アニメーション化されたコンテンツ、非アニメーションのコンテンツ、ライブコンテンツ、リアルタイムコンテンツ、インターネットコンテンツ、シネマコンテンツ、テレビコンテンツ、ラジオコンテンツ、スマートフォンコンテンツ、ライブイベント、物理オブジェクト、仮想オブジェクト、または任意の他の種類の情報を含み得る。ユーザ対話は、通信チャネルを介して共有され得る。
図32は、本開示のいくつかの実施形態と一致する、共有されたコンテンツとのユーザ対話をシミュレートするための例示的なプロセス3200を示すフローチャートである。図32を参照すると、ステップ3210では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、第1のウェアラブルエクステンデッドリアリティ機器と少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器との間でコンテンツおよびユーザ対話を共有するための通信チャネルを確立させることができる。
図34、図35、および図36は、本開示のいくつかの実施形態と一致する、共有されたコンテンツとのユーザ対話をシミュレートするための例示的なシステムの様々な使用スナップショットを示す概略図である。図34を参照すると、第1のウェアラブルエクステンデッドリアリティ機器3418を使用する第1のユーザ3414は、第1の場所3410に存在し得、第2のウェアラブルエクステンデッドリアリティ機器3420を使用する第2のユーザ3416は、第2の場所3412に存在し得る。第1のウェアラブルエクステンデッドリアリティ機器3418と第2のウェアラブルエクステンデッドリアリティ機器3420との間に、通信チャネル(例えば、リンク3424、ネットワーク3422、およびリンク3426に基づく)が確立され得る。
いくつかの開示される実施形態は、少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクトを表す第1のデータを送信することを含み得る。第1のデータは、オブジェクトの仮想表現が少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器を通じて表示されることを可能にし得る。第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクトは、ユーザが対話し得る任意のアイテムを含み得る。いくつかの例では、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクトは、ホワイトボード、画面、ランプ、机、テーブル、花瓶、コンテナ、プリンタ、棚、キーボード、マウス、タッチパッド、カップ、電話、モバイルデバイス、機械、車両、ドア、窓、椅子、ボタン、表面、または任意の他の種類の物理アイテムなどの物理オブジェクトであり得る。いくつかの例では、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクトは、仮想ウィジェット、仮想画面、仮想ホワイトボード、仮想キーボード、仮想タッチパッド、仮想ボタン、仮想表面、仮想備品、仮想机、仮想椅子、仮想窓、仮想装飾オブジェクト、仮想花瓶、非アニメーションの仮想オブジェクト、アニメーションの仮想オブジェクト、またはコンピューティングデバイス(例えば、ウェアラブルエクステンデッドリアリティ機器)によってレンダリングされ、アイテムを表すように構成された任意の他の種類の視覚的表現などの仮想オブジェクトであり得る。一例では、第1のデータは、第1のウェアラブルエクステンデッドリアリティ機器から少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に送信され得る。別の例では、第1のデータは、例えば、集中型システムにおいて第1のウェアラブルエクステンデッドリアリティから受信された情報に応答して、集中型システムから少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に送信され得る。第1のデータは、集中型システムにおいて第1のウェアラブルエクステンデッドリアリティから受信された情報と同一であってもよいし、異なっていてもよい。このような集中型システムのいくつかの例について上述している。
第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクトを表す第1のデータは、テキストデータ、画像データ(例えば、2次元)、モデリングデータ(例えば、3次元)、特徴データ、または任意の他の種類の所望の情報など、オブジェクトを記述する任意の情報を含み得る。第1のデータは、オブジェクトの視覚的表現(例えば、ウェアラブルエクステンデッドリアリティ機器による)の表示を有効にし得る。一例として、第1のデータは、オブジェクトの3次元モデルのデータを含み得、ウェアラブルエクステンデッドリアリティ機器がオブジェクトの3次元の視覚的表現を表示することを可能にし得る。別の例として、第1のデータは、オブジェクトの2次元画像のデータを含み得、ウェアラブルエクステンデッドリアリティ機器がオブジェクトの2次元の視覚的表現を表示することを可能にし得る。いくつかの例では、第1のデータは、サイズ、配色、テクスチャ、場所、向き、または任意の他の特性など、オブジェクトの視覚的表現のための1つまたは複数の特徴を示すことができる。視覚的表現のための1つまたは複数の特徴は、オブジェクトの1つまたは複数の特徴と同じまたは同様である場合があり、その結果、オブジェクトの視覚的表現は、サイズ、配色、テクスチャ、場所、向き、または任意の他の特徴に関してオブジェクトと同じまたは同様である場合がある。
少なくとも1つのプロセッサは、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクトを決定する(例えば、識別する)ことができる。いくつかの例では、少なくとも1つのプロセッサは、第1のウェアラブルエクステンデッドリアリティ機器の画像センサによってキャプチャされ得る画像データを受信することができる。画像センサは、第1のウェアラブルエクステンデッドリアリティ機器の一部であってもよく、またはそれとは別個であってもよい。少なくとも1つのプロセッサは、画像データを使用して、オブジェクト(例えば、物理オブジェクト)を識別することができる。画像センサは、画像センサの前の(例えば、視野内の)シーンの画像データをキャプチャすることができる。オブジェクトが画像センサの前に(例えば、視野内に)位置するとき、キャプチャされた画像データはオブジェクトを示すことができる。少なくとも1つのプロセッサは、画像分析アルゴリズムを使用して、オブジェクトを識別し、かつ/またはオブジェクトの特徴(例えば、サイズ、配色、テクスチャ、場所、向き、または任意の他の特性)を決定することができる。画像データに基づいて、少なくとも1つのプロセッサは、オブジェクトを表す第1のデータを生成することができる。例えば、少なくとも1つのプロセッサは、1つまたは複数のキャプチャされた画像を使用して、オブジェクトの3次元モデルを構築することができる。いくつかの例では、3次元モデルの構築は、キャプチャされた画像に基づいてオブジェクトをカテゴリに分類することと、決定されたカテゴリのためのテンプレート3次元モデル(例えば、事前定義されたモデル)に、オブジェクトの抽出された特徴(例えば、サイズ、配色、テクスチャ、場所、向き、または任意の他の特性)を追加することとを含み得る。加えて、またはあるいは、3次元モデルの構築は、第1のウェアラブルエクステンデッドリアリティ機器の3次元走査デバイス(例えば、光検出および測距(Lidar))、深度センサ、または距離画像センサに基づき得る。別の例として、少なくとも1つのプロセッサは、1つまたは複数のキャプチャされた画像を使用して、オブジェクトの2次元表現を決定することができる。例えば、少なくとも1つのプロセッサは、(例えば、特定のパースペクティブからキャプチャされた画像に基づいて)オブジェクトの画像表現を抽出することができる。
いくつかの例では、少なくとも1つのプロセッサは、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクト(例えば、仮想オブジェクト)のデータを受信することができる。オブジェクトは、第1のウェアラブルエクステンデッドリアリティ機器によって表示され得る。例えば、オブジェクトは、第1のウェアラブルエクステンデッドリアリティ機器のディスプレイシステムの視野に表示され得る。少なくとも1つのプロセッサは、オブジェクトの受信されたデータに基づいて第1のデータ(例えば、第1のウェアラブルエクステンデッドリアリティ機器によって表示される)を決定することができる。いくつかの例では、第1のデータは、受信されたデータと同じまたは同様である場合があり、その結果、オブジェクトは、第1のウェアラブルエクステンデッドリアリティ機器、および第1のデータが送信され得る少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器によって同じまたは同様の方法で表示され得る。いくつかの例では、第1のデータは、受信されたデータの変更された(例えば、簡略化または圧縮された)バージョンであり得る。いくつかの例では、オブジェクトは、第1のウェアラブルエクステンデッドリアリティ機器によって仮想的に表示される3次元仮想オブジェクトであってもよく、第1のデータは、少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器を介して、3次元仮想オブジェクトを表示させるように構成されてもよい。いくつかの例では、第1のデータは、第1のエクステンデッドリアリティ機器を介して表示される3次元仮想オブジェクトのサイズに対応するサイズで、少なくとも1つの第2のエクステンデッドリアリティ機器を介して3次元仮想オブジェクトを表示させるように構成され得る。サイズは、例えば、高さ、幅、深さ、または任意の他の測定値を含み得る。いくつかの例では、第1のデータは、第1のエクステンデッドリアリティ機器を介して表示される3次元仮想オブジェクトの特徴に対応する特徴(例えば、配色、テクスチャ、場所、向き、または任意の他の特性)を有する少なくとも1つの第2のエクステンデッドリアリティ機器を介して3次元仮想オブジェクトを表示させるように構成され得る。
いくつかの例では、オブジェクトは、第1のウェアラブルエクステンデッドリアリティ機器によって仮想的に表示される2次元仮想オブジェクトであってもよく、第1のデータは、少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器を介して、2次元仮想オブジェクトを表示させるように構成されてもよい。いくつかの例では、第1のデータは、第1のエクステンデッドリアリティ機器を介して表示される2次元仮想オブジェクトの配色に対応する配色で、少なくとも1つの第2のエクステンデッドリアリティ機器を介して2次元仮想オブジェクトを表示させるように構成され得る。配色は、例えば、スタイルおよび/またはアピールを作成するためのデザインにおいて使用される色の選択、または色の任意の他の選択を含み得る。いくつかの例では、第1のデータは、第1のエクステンデッドリアリティ機器を介して表示される2次元仮想オブジェクトの特徴に対応する特徴(例えば、サイズ、テクスチャ、場所、向き、または任意の他の特性)を有する少なくとも1つの第2のエクステンデッドリアリティ機器を介して2次元仮想オブジェクトを表示させるように構成され得る。
少なくとも1つのプロセッサは、少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に(例えば、確立された通信チャネルを介して)、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクトを表す第1のデータを送信することができる。第1のデータは、オブジェクトの仮想表現が少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器を通じて表示されることを可能にし得る。オブジェクトの仮想表現は、例えば、コンピューティングデバイス(例えば、ウェアラブルエクステンデッドリアリティ機器)によってレンダリングされ、オブジェクトを表すように構成された任意の視覚表示を含み得る。
図32を参照すると、ステップ3212では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクトを表す第1のデータを送信させることができ、第1のデータは、オブジェクトの仮想表現が少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器を通じて表示されることを可能にする。
図34を参照すると、第1のウェアラブルエクステンデッドリアリティ機器3418に関連付けられたオブジェクト3428が、第1の場所3410に存在または提示され得る。オブジェクト3428は、物理オブジェクトまたは仮想オブジェクトを含み得る。一例として、オブジェクト3428は、物理ホワイトボード、または第1のウェアラブルエクステンデッドリアリティ機器3418によって表示される仮想ホワイトボードを含み得る。少なくとも1つのプロセッサ(例えば、第1のウェアラブルエクステンデッドリアリティ機器3418または上述したような集中型システムに関連付けられた)は、オブジェクト3428を表す第1のデータを決定することができ、第1のデータを第2のウェアラブルエクステンデッドリアリティ機器3420に送信することができる。第1のデータの送信は、確立された通信チャネル(例えば、リンク3424、ネットワーク3422、およびリンク3426に基づく)を介したものであり得る。第2のウェアラブルエクステンデッドリアリティ機器3420は、第1のデータを受信することができ、受信された第1のデータに基づいて、オブジェクト3428の仮想表現3430を表示させることができる。例えば、第2のユーザ3416は、第2のウェアラブルエクステンデッドリアリティ機器3420を介して仮想表現3430を閲覧することができる。
いくつかの例では、オブジェクトは、第1のウェアラブルエクステンデッドリアリティ機器に物理的に近接して位置する非アニメーションのオブジェクトである場合があり、第1のデータは、非アニメーションのオブジェクトの表現を含み得る。非アニメーションのオブジェクトは、動きのない(例えば、静止している場合がある)任意の物理アイテムを含み得る。非アニメーションのオブジェクトは、例えば、ホワイトボード、机、テーブル、花瓶、コンテナ、棚、カップ、椅子、表面、または動きのない任意の他の物理アイテムを含み得る。第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクトは、第1のウェアラブルエクステンデッドリアリティ機器に近接して(例えば、0.1メートル、0.5メートル、1メートル、2メートル、3メートル、5メートル、10メートル、または任意の他の所望の距離に)物理的に位置する非アニメーションのオブジェクトであり得る。非アニメーションのオブジェクトの表現は、テキストデータ、画像データ(例えば、2次元)、モデリングデータ(例えば、3次元)、特徴データ、または任意の他の種類の所望の情報など、非アニメーションのオブジェクトを記述する任意の情報を含み得る。
いくつかの例では、第1のデータは、非アニメーションのオブジェクトの実際のサイズに対応するサイズで、非アニメーションのオブジェクトの仮想表現の表示を有効にし得る。少なくとも1つのプロセッサは、例えば、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサによってキャプチャされた画像データに基づいて、非アニメーションのオブジェクトの実際のサイズ(例えば、高さ、幅、深さ、または任意の他の測定値)を測定することができる。いくつかの例では、非アニメーションのオブジェクトの実際のサイズを測定するためのデータ(例えば、距離データ、深度データ、位置データ、向きデータ、パースペクティブデータ、または任意の他の情報)をキャプチャするために、追加または代替のセンサが使用され得る。いくつかの例では、センサによってキャプチャされたデータに基づいて、少なくとも1つのプロセッサは、非アニメーションのオブジェクトの実際のサイズに対応するサイズを有するように非アニメーションのオブジェクトのモデル(例えば、3次元)を構築することができる。第1のデータは、非アニメーションのオブジェクトの決定されたサイズの情報を含み得、非アニメーションのオブジェクトの実際のサイズに対応するサイズで、非アニメーションのオブジェクトの仮想表現の表示を有効し得る。非アニメーションのオブジェクトの仮想表現は、例えば、コンピューティングデバイス(例えば、ウェアラブルエクステンデッドリアリティ機器)によってレンダリングされ、非アニメーションのオブジェクトを表すように構成された任意の視覚表示を含み得る。
いくつかの開示される実施形態は、非アニメーションのオブジェクトに関連付けられた変更を検出することと、変更を表す第3のデータを少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に送信することとを含み得る。第3のデータは、変更の仮想表現が少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器を通じて表示されることを可能にし得る。例えば、少なくとも1つのプロセッサは、周期的または連続的に、非アニメーションのオブジェクトを監視して、非アニメーションのオブジェクトに関連付けられた変更を検出することができる。この監視は、例えば、画像センサによってキャプチャされた画像データおよび/または他のセンサによってキャプチャされたデータに基づいてもよい。例えば、少なくとも1つのプロセッサは、非アニメーションのオブジェクトの現在のキャプチャされた画像を非アニメーションのオブジェクトの以前のキャプチャされた画像と比較することができ、非アニメーションのオブジェクトの現在のキャプチャされた画像と以前のキャプチャされた画像との間の差が閾値を満たす(例えば、満たすか、または超える)場合、非アニメーションのオブジェクトに関連付けられた変更を検出することができる。いくつかの例では、変更はマーキングを含み得る。例えば、非アニメーションのオブジェクトがホワイトボードである場合、変更はホワイトボードへの書き込みを含み得る。
少なくとも1つのプロセッサは、変更を表す第3のデータを少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に送信することができる。第3のデータは、変更を記述するための任意の情報を含み得る。第3のデータは、変更の仮想表現が少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器を通じて表示されることを可能にし得る。変更の仮想表現は、例えば、コンピューティングデバイス(例えば、ウェアラブルエクステンデッドリアリティ機器)によってレンダリングされ、変更を表すように構成された任意の視覚表示を含み得る。いくつかの例では、第3のデータは、非アニメーションのオブジェクトの以前の仮想表現に適用され得る変更を示すことができる。いくつかの例では、第3のデータは、変更を有する非アニメーションのオブジェクトの表現を示すことができ、この表現は、非アニメーションのオブジェクトの以前の仮想表現を置き換えるために表示され得る。
いくつかの開示される実施形態は、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサから画像データを受信することを含み得る。画像センサは、第1のウェアラブルエクステンデッドリアリティ機器の一部であってもよく、またはそれとは別個であってもよい。画像センサは、画像センサの前の(例えば、視野内の)シーンの画像データをキャプチャするように構成され得る。画像センサは、周期的または連続的に、画像をキャプチャし、キャプチャされた画像を少なくとも1つのプロセッサに送信することができる。少なくとも1つのプロセッサは、画像センサから画像データを受信することができる。
図32を参照すると、ステップ3214では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサから画像データを受信させることができる。
いくつかの開示される実施形態は、画像データ内で、オブジェクトに関連付けられた少なくとも1つのユーザ対話を検出することを含み得る。少なくとも1つのユーザ対話は、オブジェクトの特定の部分を指す人間の手を含み得る。オブジェクトに関連付けられた少なくとも1つのユーザ対話は、ユーザまたはオブジェクト(物理的または仮想)に関連付けられた任意のアクションを含み得る。少なくとも1つのユーザ対話は、オブジェクトに向けられ得る。いくつかの例では、少なくとも1つのユーザ対話は、オブジェクトの特定の部分を指す人間の手を含み得る。オブジェクトの特定の部分は、オブジェクトの任意の場所、点、エリア、または空間を含み得る。いくつかの例では、少なくとも1つのユーザ対話は、オブジェクトに向けられた、指のジェスチャ、手のジェスチャ、眼のジェスチャ、口のジェスチャ、顔のジェスチャ、または人物の身体の他の部分のアクションを含み得る。一例として、少なくとも1つのユーザ対話は、ドラッグ、ピンチ、スプレッド、スワイプ、タップ、ポインティング、スクロール、回転、フリック、タッチ、ズームイン、ズームアウト、サムアップ、サムダウン、タッチアンドホールド、または指もしくは手の任意の他のアクションなど、オブジェクトに関連付けられた任意の指または手の動きを含み得る。別の例として、少なくとも1つのユーザ対話は、オブジェクト上のユーザの注意(例えば、注視)の場所または動きを含み得る。別の例示として、少なくとも1つのユーザ対話は、オブジェクトに関連付けられたユーザの音(例えば、声)を含み得る。加えて、またはあるいは、少なくとも1つのユーザ対話は、ペン、消しゴム、ポインタスティック、レーザポインタ、カーソル、または任意の他のアイテムなど、別のオブジェクト(物理的または仮想)を介したオブジェクトとのアクションを含み得る。
少なくとも1つのプロセッサは、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサから受信された画像データ内の少なくとも1つのユーザ対話を検出することができる。例えば、少なくとも1つのプロセッサは、画像データに基づいて画像分析アルゴリズム(例えば、ジェスチャ認識アルゴリズム)を実行して、少なくとも1つのユーザ対話を検出することができる。少なくとも1つのプロセッサは、例えば、構造、形状、姿勢、位置、場所、向き、または人間の手(もしくは他の身体部分)もしくはその一部の任意の他の特徴に基づいて、少なくとも1つのユーザ対話を検出することができる。いくつかの例では、少なくとも1つのユーザ対話の検出は、深度センサ、距離画像センサ、触覚グローブ、ワイヤードグローブ、データグローブ、コンピュータマウス、タッチパッド、または少なくとも1つのユーザ対話を検出するための情報をキャプチャするように構成された任意の他のデバイスなど、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられた(例えば、その機器の一部であるか、またはその機器とは別個の)追加または代替のセンサに基づき得る。少なくとも1つのユーザ対話の検出は、3次元モデルに基づくアルゴリズム、骨格ベースのアルゴリズム、外観ベースのモデル、またはジェスチャを認識するための他の種類のアルゴリズムなど、様々な種類のジェスチャ認識アルゴリズムのうちの1つまたは複数に基づき得る。
いくつかの例では、少なくとも1つのユーザ対話は、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクトの特定の部分を指す人間の手を含み得る。オブジェクトの特定の部分は、オブジェクトの任意の場所、点、エリア、または空間を含み得る。少なくとも1つのプロセッサは、人間の手が指している可能性があるオブジェクトの特定の部分を決定することができる。例えば、人間の手の指差し端部(例えば、人差し指の先端)がオブジェクトに触れている場合、少なくとも1つのプロセッサは、オブジェクトの特定の部分を、人間の手の指差し端部がオブジェクトに触れている場所であると決定することができる。別の例として、人間の手の指差し端部(例えば、人差し指の先端)がオブジェクトに触れていない場合、少なくとも1つのプロセッサは、オブジェクトに向かって延長された人間の手の指差し方向がオブジェクトに達する場所であるように、人間の手の指差し端部がオブジェクト上にマッピングされる場所であるように(例えば、指差し端部のマッピングは、オブジェクトの近くの表面に対して垂直、ほぼ垂直、または任意の他の所望の角度であり得る)、または指差しする人間の手に基づいて決定された任意の他の所望の場所であるように、オブジェクトの特定の部分を決定することができる。加えて、またはあるいは、オブジェクトの特定の部分は、例えば、少なくとも1つのユーザ対話を開始するユーザの眼のアイトラッキングに基づいて決定され得る。例えば、アイトラッキングに基づいて決定されたユーザの注意(例えば、注視)は、オブジェクトの特定の部分の場所を確認または調整するために使用され得る。
図32を参照すると、ステップ3216では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、オブジェクトに関連付けられた少なくとも1つのユーザ対話を画像データ内で検出させることができ、少なくとも1つのユーザ対話は、オブジェクトの特定の部分を指す人間の手を含む。
図35を参照すると、第1のユーザ3414は、オブジェクト3428に関連付けられたユーザ対話3510を開始することができる。ユーザ対話3510は、オブジェクト3428の特定の部分を指す人間の手(例えば、第1のユーザ3414の手)を含み得る。少なくとも1つのプロセッサ(例えば、第1のウェアラブルエクステンデッドリアリティ機器3418または上述したような集中型システムに関連付けられた)は、例えば、第1のウェアラブルエクステンデッドリアリティ機器3418に関連付けられた画像センサからの画像データに基づいて、ユーザ対話3510を検出することができる。
いくつかの開示される実施形態は、画像データ内の少なくとも1つのユーザ対話の検出に基づいて、オブジェクトの特定の部分のエリアを示す第2のデータを少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に送信することを含み得る。オブジェクトの特定の部分のエリアは、例えば、オブジェクトの特定の部分内のエリア、その部分を取り囲むエリア、その部分と重なるエリア、その部分と同一の広がりを持つエリア、その部分を越えて延びるエリア、または他の方法でその部分に関連付けられたエリアを含み得る。いくつかの例では、オブジェクトの特定の部分のエリアは、人間の手が指し得る場所を中心としたエリアを含み得る。オブジェクトの特定の部分のエリアは、任意の所望のサイズ、色、形状、輪郭、視覚効果、アニメーション、または他の特徴を有し得る。第2のデータは、オブジェクトの特定の部分のエリアを記述するための任意の情報を含み得る。少なくとも1つのプロセッサは、例えば、決定されたオブジェクトの特定の部分に基づいて、オブジェクトの特定の部分のエリアを決定することができる。一例では、第2のデータは、第1のウェアラブルエクステンデッドリアリティ機器から少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に送信され得る。別の例では、第2のデータは、例えば、集中型システムにおいて第1のウェアラブルエクステンデッドリアリティから受信された情報に応答して、集中型システムから少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に送信され得る。第2のデータは、集中型システムにおいて第1のウェアラブルエクステンデッドリアリティから受信された情報と同一であってもよいし、異なっていてもよい。このような集中型システムのいくつかの例について上述している。
画像データ内の少なくとも1つのユーザ対話の検出に基づいて、少なくとも1つのプロセッサは、オブジェクトの特定の部分のエリアを示す第2のデータを少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に送信することができる。少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器は、第2のデータを受信することができ、第2のデータに基づいて、オブジェクトの特定の部分のエリアのインジケーションを表示させることができる。エリアのインジケーションは、少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器を介して表示されるオブジェクトの仮想表現に関連して表示され得る。オブジェクトの仮想表現に対する示されたエリアの場所は、オブジェクトに対する特定の部分の場所と同じであるか、または同様であり得る。オブジェクトの仮想表現上のエリアのインジケーションは、オブジェクトとの少なくとも1つのユーザ対話をシミュレートすることができ、少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に関連付けられたユーザに、オブジェクトとの少なくとも1つのユーザ対話を示すことができる。オブジェクトの仮想表現上のエリアのインジケーションは、任意の所望の色でエリアを強調表示すること、エリアを指す仮想手を表示すること、エリアをカバーする特定の形状(例えば、円、正方形、三角形、または任意の他の所望の形状)を表示すること、エリアにカーソルを移動させること、またはエリアのインジケーションを表示するための任意の他の方法など、任意の所望の形態であり得る。
いくつかの開示される実施形態は、第2のデータを複数の第2のウェアラブルエクステンデッドリアリティ機器に送信することを含み得る。いくつかの例では、第2のデータの送信は、複数の第2のウェアラブルエクステンデッドリアリティ機器による種々の仮想インジケータを表示させるように構成され得る。種々の仮想インジケータは、カーソル、仮想手、強調表示、特定の形状、または示すのに役立つ任意の他の形態など、種々の所望の形態であってもよい。少なくとも1つのプロセッサは、第2のデータを複数の第2のウェアラブルエクステンデッドリアリティ機器に送信することができる。複数の第2のウェアラブルエクステンデッドリアリティ機器は、第2のデータを受信することに応答して、種々の仮想インジケータを表示させることができる。種々の仮想インジケータは、オブジェクトの特定の部分のエリアを(例えば、複数の第2のウェアラブルエクステンデッドリアリティ機器を介して仮想的に表示されるように)指しているか、またはそれに向けられ得る。
図32を参照すると、ステップ3218では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、画像データ内の少なくとも1つのユーザ対話の検出に基づいて、オブジェクトの特定の部分のエリアを示す第2のデータを少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に送信させることができる。
図35を参照すると、少なくとも1つのプロセッサ(例えば、第1のウェアラブルエクステンデッドリアリティ機器3418または上述したような集中型システムに関連付けられたもの)は、ユーザ対話3510を検出することに基づいて、第2のウェアラブルエクステンデッドリアリティ機器3420に、ユーザ対話3510の人間の手が指し得るオブジェクト3428の特定の部分のエリアを示す第2のデータを送信することができる。第2のデータの送信は、例えば、確立された通信チャネル(例えば、リンク3424、ネットワーク3422、およびリンク3426に基づく)を介したものであり得る。第2のウェアラブルエクステンデッドリアリティ機器3420は、第2のデータを受信することができ、第2のデータに基づいて、特定の部分のエリアのインジケーション3512を表示させることができる。インジケーション3512は、オブジェクト3428とのユーザ対話3510をシミュレートするために、オブジェクト3428の仮想表現3430に関連して表示され得る。インジケーション3512は、特定の部分のエリアをカバーする円の形態であってもよい。いくつかの例では、インジケーション3512は、特定の部分のエリアを指す仮想手の形態、または任意の他の所望の形態であってもよい。
一実装形態では、検出された少なくとも1つのユーザ対話は、人間の手の動きを含み得る。いくつかの開示される実施形態は、人間の手によって指されたオブジェクトの複数の部分を特定の時間順序で識別することと、少なくとも1つの第2のエクステンデッドリアリティ機器を介して、特定の時間順序で複数の部分の視覚的インジケーションを表示させることとを含み得る。人間の手の動きは、人間の手の任意の動きまたはアクションを含み得る。例えば、人間の手の動きは、オブジェクトの表面に沿って特定のジェスチャ(例えば、指差し)で人間の手を動かすこと、人間の手をあるジェスチャ(例えば、指差し)から別のジェスチャ(例えば、サムアップ)に変えること、または人間の手の任意の他の動きもしくはアクションを含み得る。一例として、人間の手は、指差しのジェスチャである場合があり、オブジェクトの表面に沿って移動してオブジェクトの複数の部分を指す場合がある。少なくとも1つのプロセッサは、例えば、画像センサによってキャプチャされた画像データおよび/または他のセンサによってキャプチャされたデータに基づいて、人間の手によって指されたオブジェクトの複数の部分を特定の時間順序で(例えば、順次に)識別することができる。識別されたオブジェクトの複数の部分は、空間または時間に関して互いの間に任意の所望の間隔を有することができる。例えば、識別された複数の部分は、任意の所望の距離(例えば、0.1cm、0.2cm、0.3cm、0.4cm、0.5cm、0.8cm、1cm、2cm、3cm、5cm、10cm、または任意の他の所望の距離)で順次に離間されてもよい。別の例として、識別された複数の部分は、任意の所望の期間(例えば、0.1秒、0.2秒、0.3秒、0.4秒、0.5秒、0.8秒、1秒、2秒、3秒、または任意の他の所望の時間間隔)で順次に離れ得る時間にキャプチャされてもよい。
少なくとも1つのプロセッサは、少なくとも1つの第2のエクステンデッドリアリティ機器を介して、特定の時間順序で複数の部分の視覚的インジケーションを表示させることができる。例えば、少なくとも1つのプロセッサは、少なくとも1つの第2のエクステンデッドリアリティ機器に、識別されたオブジェクトの複数の部分を示すデータストリームを送信することができる。例えば、少なくとも1つのプロセッサがオブジェクトの複数の部分のうちの特定の部分を識別するため、少なくとも1つのプロセッサは、少なくとも1つの第2のエクステンデッドリアリティ機器に、識別されたオブジェクトの特定の部分を示すデータストリームのデータセグメントを送信することができる。オブジェクトの複数の部分の各々が、少なくとも1つの第2のエクステンデッドリアリティ機器に送信されるデータストリームのデータセグメント内で順次識別されて示され得るため、少なくとも1つの第2のエクステンデッドリアリティ機器は、特定の時間順序で(例えば、表示されたオブジェクトの仮想表現に関連して)複数の部分の視覚的インジケーションを表示させることができる。視覚的インジケーション(例えば、表示されたオブジェクトの仮想表現に対する)は、人間の手の動き(例えば、オブジェクトに対する)をシミュレートすることができる。いくつかの例では、人間の手の動きのシミュレーションは、人間の手の動きに基づいてリアルタイムで更新され得る。
いくつかの開示される実施形態は、最初に、オブジェクトの特定の部分を指す人間の手が第1のウェアラブルエクステンデッドリアリティ機器のユーザに属すると決定し、第1の仮想インジケータにオブジェクトの特定の部分を識別させることと、その後、オブジェクトの特定の部分を指す追加の人間の手が第1のウェアラブルエクステンデッドリアリティ機器のユーザ以外の個人に属すると決定し、第1の仮想インジケータとは異なる第2の仮想インジケータにオブジェクトの特定の部分を識別させることとを含み得る。ハンドソース認識は、いくつかの方法のうちのいずれか1つ、または方法の組み合わせで生じ得る。例えば、手の相対位置に基づいて、本システムは、手が第1のウェアラブルエクステンデッドリアリティ機器のユーザのものであるかどうかを決定することができる。これは、装着者の手が、手が装着者の手であることのテルテールサインとなり得る、視野内の向きを有し得るため、生じ得る。このようなテルテールサインは、画像センサに対する検出された指の向き、または画像センサの一般的な方向に向かって延びる腕の検出を含み得る。同様に、装着者以外の個人の手は、種々の指の向きを有し得るか、または装着者に関連付けられた方向と一致しない方向に延びる腕に関連付けられるものとして検出され得る。このような兆候は、現在の手の画像に対して画像分析を行い、それを、記憶された画像または装着者の手の向きに関連付けられた画像データと比較することによって決定され得る。同様に、装着者以外の人の手は、種々の向きを有する場合があり、手が第1のウェアラブルエクステンデッドリアリティ機器の装着者の手であると決定することと同様に、本システムは、検出された手が装着者以外の人のものであると決定する場合がある。
別の例として、種々の個人の手は異なり得る。本システムは、皮膚または構造の固有の特性を調べることによって、手をエクステンデッドリアリティデバイス装着者(またはさらに特定の個人)の手であると認識することができる。装着者が本システムを使用するにつれて、経時的に、装着者の手の特徴が、データ構造に記憶されてもよく、画像分析が、画像内の現在の手が装着者のものであることを確認するために行われてもよい。同様に、装着者以外の個人の手が認識されてもよく、本システムは、その手の特性に基づいて、複数の個人を区別することが可能になる。この特徴により、固有のユーザ対話シミュレーションが可能になり得る。例えば、複数の個人が同じオブジェクトと対話する場合、ユーザ対話をシミュレートする仮想インジケータは、オブジェクトと対話する人に基づいて変化し得る。
少なくとも1つのプロセッサは、例えば、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサによってキャプチャされた画像データに基づいて、オブジェクトと対話する人間の手が第1のウェアラブルエクステンデッドリアリティ機器のユーザに属するか、または別の個人に属するかを決定することができる。少なくとも1つのプロセッサは、例えば、画像データに基づいて手の特徴を決定し、決定された手の特徴を第1のウェアラブルエクステンデッドリアリティ機器のユーザの手の記憶された特徴と比較することによって、手の識別のために画像データを分析することができる。いくつかの例では、少なくとも1つのプロセッサは、手に関連付けられた特定のオブジェクト(例えば、ユーザの手を識別するための特定のリング)に基づいて手の識別を実行することができる。いくつかの例では、手の識別は、他のセンサによってキャプチャされたデータに基づき得る。少なくとも1つのプロセッサは、最初に、オブジェクトの特定の部分を指す人間の手が第1のウェアラブルエクステンデッドリアリティ機器のユーザに属すると決定し、第1の仮想インジケータにオブジェクトの特定の部分を識別させ、その後、オブジェクトの特定の部分を指す追加の人間の手が第1のウェアラブルエクステンデッドリアリティ機器のユーザ以外の個人に属すると決定し、第1の仮想インジケータとは異なる第2の仮想インジケータにオブジェクトの特定の部分を識別させることができる。第1の仮想インジケータおよび/または第2の仮想インジケータは、例えば、表示されたオブジェクトの仮想表現に関連して、少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器によって表示され得る。第1の仮想インジケータおよび第2の仮想インジケータは、色、形状、テクスチャ、視覚効果、アニメーション、または他の特徴など、様々な態様のうちの1つまたは複数に関して異なり得る。
いくつかの例では、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクトは、第1のウェアラブルエクステンデッドリアリティ機器によって仮想的に表示される3次元仮想オブジェクトであってもよく、第1のデータは、少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器を介して、3次元仮想オブジェクトを表示させるように構成されてもよい。いくつかの開示される実施形態は、画像データ(例えば、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサから受信された)内で、特定のパースペクティブから閲覧するために3次元仮想オブジェクトの向きを変更する追加のユーザ対話を検出することと、少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に、特定のパースペクティブから3次元オブジェクトを表示させることとを含み得る。追加のユーザ対話の検出は、上述したように少なくとも1つのユーザ対話の検出と同様の方法で実行されてもよい。追加のユーザ対話は、回転ジェスチャ、ドラッグジェスチャ、タップジェスチャ(例えば、向きを変更するための機能をアクティブ化するためのジェスチャ)、スプレッドジェスチャ、クリック(例えば、コンピュータマウスまたはタッチパッドを介した)、または向きを変更するための任意の他のアクションなど、3次元仮想オブジェクトの向きを変更し得る任意のアクションを含み得る。特定のパースペクティブは、3次元仮想オブジェクトが閲覧され得る任意の所望の角度を含み得る。3次元仮想オブジェクトの向きは、オイラー角、ヨー、ピッチ、およびロールに基づくシステム、または向きを測定するための任意の他の方法など、向きを表すための任意の所望の方法を使用して測定され得る。少なくとも1つのプロセッサは、3次元仮想オブジェクトの向きの変化の程度を測定することができる。追加のユーザ対話の検出に基づいて、少なくとも1つのプロセッサは、3次元仮想オブジェクトの向きの変化を示すデータを少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に送信することができる。データは、例えば、3次元仮想オブジェクトの向きの変化の測定された程度の情報を含み得る。少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器は、データを受信することができ、測定された向きの変化の程度(例えば、データに含まれる)に基づいて、少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器を介して表示される3次元仮想オブジェクトの向きを調整することができ、その結果、3次元仮想オブジェクトが特定のパースペクティブから少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器を介して表示され得る。
いくつかの開示される実施形態は、オブジェクトの仮想表現との第2のユーザ対話の検出に応答して、少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器から第3のデータを受信することを含み得る。第2のユーザ対話は、オブジェクトの仮想表現の特定の部分を指す第2の人間の手を含み得る。例えば、少なくとも1つのプロセッサ(例えば、少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に関連付けられた)は、オブジェクトの仮想表現との第2のユーザ対話を(例えば、上述したようにオブジェクトに関連付けられた少なくとも1つのユーザ対話の検出と同様の方法で)検出することができ、それに応答して、上述したように第3のデータを第1のウェアラブルエクステンデッドリアリティ機器または集中型システムに送信することができる。第3のデータは、例えば、検出された第2のユーザ対話、および/または第2の人間の手が指すことができるオブジェクトの仮想表現の特定の部分のエリアを示すことができる。少なくとも1つのプロセッサ(例えば、第1のウェアラブルエクステンデッドリアリティ機器または上述したような集中型システムに関連付けられた)は、少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器から第3のデータを受信することができる。
いくつかの開示される実施形態は、第1のウェアラブルエクステンデッドリアリティ機器に、オブジェクトの仮想表現の特定の部分に対応するオブジェクトの特定のエリアの視覚的インジケータを表示させることを含み得る。例えば、受信された第3のデータに基づいて、少なくとも1つのプロセッサ(例えば、第1のウェアラブルエクステンデッドリアリティ機器または上述したような集中型システムに関連付けられた)は、オブジェクトの仮想表現の特定の部分に対応するオブジェクトの特定のエリアの視覚的インジケータを表示させることができる。オブジェクトの特定のエリアは、オブジェクトの仮想表現に対するオブジェクトの仮想表現の特定の部分の場所と同じまたは同様であり得る、オブジェクトに対する場所内にあり得る。視覚的インジケータは、任意の所望の色でオブジェクトの特定のエリアを強調表示すること、オブジェクトの特定のエリアを指す仮想手を表示すること、オブジェクトの特定のエリアをカバーする特定の形状(例えば、円、正方形、三角形、または任意の他の所望の形状)を表示すること、オブジェクトの特定のエリアにカーソルを移動させること、または任意の他の所望の方法など、任意の所望の形態であり得る。
いくつかの例では、オブジェクトの特定のエリアの視覚的インジケータは、オブジェクトの特定のエリアを指す仮想手を含み得る。仮想手は、例えば、コンピューティングデバイス(例えば、ウェアラブルエクステンデッドリアリティ機器)によってレンダリングされ、手を表すように構成された任意の視覚表示を含み得る。いくつかの例では、仮想手の少なくとも1つの視覚特性は、第3のデータに基づいて選択され得る。少なくとも1つの仮想特性は、仮想手の少なくとも一部(指など)のサイズ、仮想手の少なくとも一部の色、仮想手の2つの指のサイズ間の比、仮想手の姿勢、または仮想手の任意の他の特徴を含み得る。いくつかの例では、第3のデータは、第2の人間の手の姿勢を示し得る。少なくとも1つの視覚特性は、第2の人間の手の姿勢に基づき得る。いくつかの例では、仮想手の少なくとも1つの視覚特性は、オブジェクトの仮想表現との第2のユーザ対話における第2の人間の手の1つまたは複数の特徴に基づき得る。いくつかの例では、仮想手は、オブジェクトの仮想表現との第2のユーザ対話における第2の人間の手の外観に視覚的に似ている場合がある。
いくつかの開示される実施形態は、第1のウェアラブルエクステンデッドリアリティ機器に、オブジェクトの特定のエリアを指す仮想手に対応する仮想影を表示させることを含み得る。仮想影は、外形、形状、または輪郭の形態をとることができ、実際の影の外観をシミュレートすることができる。いくつかの例では、仮想影は、陰影付きまたは暗色であり得るエリアまたは形状を含み得る。仮想影は、例えば、実際の手が指している場合に影が実際にどのように現れるかをシミュレートするために、第1のウェアラブルエクステンデッドリアリティ機器を取り囲む環境内の照明条件に基づいて、ある場所に配置され得る。例えば、仮想影は、仮想手が物理的な手である場合に照明条件に基づいて自然な影が現れ得る場所に配置され得る。いくつかの例では、仮想影は、このような自然な影と同じまたは同様であり得る形状、色、または任意の他の特性を有し得る。
いくつかの例では、オブジェクトの特定のエリアの視覚的インジケータは、オブジェクトの特定のエリアの視覚的外観に対する変化を含み得る。例えば、オブジェクトの特定のエリアの視覚的外観に対する変化は、オブジェクトの特定のエリアの配色に対する変化、明るさに対する変化、テクスチャに対する変化、形状に対する変化、または任意の他の特徴に対する変化を含み得る。
図36を参照すると、第2のユーザ3416は、オブジェクト3428の仮想表現3430との第2のユーザ対話3610を開始することができる。第2のユーザ対話3610は、オブジェクト3428の仮想表現3430の特定の部分を指す第2の人間の手(例えば、第2のユーザ3416の手)を含み得る。第2のウェアラブルエクステンデッドリアリティ機器3420は、第2のユーザ対話3610を(例えば、画像センサによってキャプチャされた画像データおよび/または他のセンサによってキャプチャされたデータに基づいて)検出することができ、第3のデータを第1のウェアラブルエクステンデッドリアリティ機器3418に送信することができる。第3のデータの送信は、例えば、確立された通信チャネル(例えば、リンク3424、ネットワーク3422、およびリンク3426に基づく)を介したものであり得る。別の例では、集中型システムは、例えば上述したように、例えば集中型システムにおいて第2のウェアラブルエクステンデッドリアリティ機器3420から受信された情報に基づいて、第3のデータを第1のウェアラブルエクステンデッドリアリティ機器3418に送信することができる。第3のデータは、第2のユーザ対話3610、および/または第2の人間の手が指すことができる仮想表現3430の特定の部分のエリアを示すことができる。第1のウェアラブルエクステンデッドリアリティ機器3418は、第3のデータを受信することができ、それに応答して、仮想表現3430の特定の部分に対応するオブジェクト3428の特定のエリアの視覚的インジケータ3612を表示させることができる。視覚的インジケータ3612は、仮想手を含み得、第1のウェアラブルエクステンデッドリアリティ機器3418を介して第1のユーザ3414に表示され得る。
いくつかの開示される実施形態は、方法、システム、装置、および非一時的コンピュータ可読媒体を含む、共有されたコンテンツとのユーザ対話をシミュレートすることに関し得る。いくつかの開示される実施形態は、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間でコンテンツおよびユーザ対話を共有するための通信チャネルを確立することを含み得る。例えば、少なくとも1つのプロセッサは、本明細書で説明するように、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間でコンテンツおよびユーザ対話を共有するための通信チャネルを確立させることができる。図33は、本開示のいくつかの実施形態と一致する、共有されたコンテンツとのユーザ対話をシミュレートするための例示的なプロセス3300を示すフローチャートである。図33を参照すると、ステップ3310では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間でコンテンツおよびユーザ対話を共有するための通信チャネルを確立させることができる。
いくつかの開示される実施形態は、第1のウェアラブルエクステンデッドリアリティ機器から、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクトを表す第1のデータを受信することを含み得る。第1のデータは、オブジェクトの仮想表現が第2のウェアラブルエクステンデッドリアリティ機器を通じて表示されることを可能にし得る。例えば、少なくとも1つのプロセッサ(例えば、第2のウェアラブルエクステンデッドリアリティ機器または上述したような集中型システムに関連付けられた)は、本明細書に説明するように、第1のウェアラブルエクステンデッドリアリティ機器から、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクトを表す第1のデータを受信することができる。図33を参照すると、ステップ3312では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、第1のウェアラブルエクステンデッドリアリティ機器から、第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクトを表す第1のデータを受信させることができ、第1のデータは、オブジェクトの仮想表現が第2のウェアラブルエクステンデッドリアリティ機器を通じて表示されることを可能にする。
いくつかの開示される実施形態は、第2のウェアラブルエクステンデッドリアリティ機器を介した提示のために、オブジェクトの仮想表現を反映する第1の表示信号を出力することを含み得る。例えば、少なくとも1つのプロセッサ(例えば、第2のウェアラブルエクステンデッドリアリティ機器または上述したような集中型システムに関連付けられた)は、第2のウェアラブルエクステンデッドリアリティ機器を介した提示のために、本明細書に説明するように、オブジェクトの仮想表現を反映する第1の表示信号を出力させることができる。第1の表示信号は、光学ヘッドマウントディスプレイ、単眼ヘッドマウントディスプレイ、両眼ヘッドマウントディスプレイ、シースルーヘッドマウントディスプレイ、ヘルメットマウントディスプレイ、またはユーザに画像を示すように構成された任意の他の種類のデバイスなど、ウェアラブルエクステンデッドリアリティ機器に関連付けられたディスプレイシステムによって出力され得る任意の可視放射を含み得る。いくつかの例では、ディスプレイシステムは、第1の表示信号(例えば、投影された画像)を反射し、ユーザがディスプレイシステムを通じて見ることを可能にし得る。いくつかの例では、第1の表示信号は、導波管技術、回折光学、ホログラフィック光学、偏光光学、反射光学、またはコンピューティングデバイスによって投影された画像と物理オブジェクトから発せられた光学信号とを組み合わせるための他の種類の技術に基づき得る。少なくとも1つのプロセッサ(例えば、第2のウェアラブルエクステンデッドリアリティ機器または上述したような集中型システムに関連付けられた)は、第2のウェアラブルエクステンデッドリアリティ機器を介した提示のために、オブジェクトの仮想表現を反映する第1の表示信号を出力することができる。第1の表示信号の出力は、オブジェクトの仮想表現をユーザに表示させることができる。
図33を参照すると、ステップ3314では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、第2のウェアラブルエクステンデッドリアリティ機器を介した提示のために、オブジェクトの仮想表現を反映する第1の表示信号を出力させることができる。
いくつかの開示される実施形態は、第1のウェアラブルエクステンデッドリアリティ機器から、オブジェクトに関連付けられた少なくとも1つのユーザ対話を表す第2のデータを受信することを含み得る。少なくとも1つのユーザ対話は、オブジェクトの特定の部分を指す人間の手を含み得る。例えば、少なくとも1つのプロセッサ(例えば、第2のウェアラブルエクステンデッドリアリティ機器または上述したような集中型システムに関連付けられた)は、本明細書に説明するように、第1のウェアラブルエクステンデッドリアリティ機器から、オブジェクトに関連付けられた少なくとも1つのユーザ対話を表す第2のデータを受信することができる。図33を参照すると、ステップ3316では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、第1のウェアラブルエクステンデッドリアリティ機器から、オブジェクトに関連付けられた少なくとも1つのユーザ対話を表す第2のデータを受信させることができ、少なくとも1つのユーザ対話は、オブジェクトの特定の部分を指す人間の手を含む。
いくつかの開示される実施形態は、第2のウェアラブルエクステンデッドリアリティ機器を介した提示のために、特定の部分のエリアを視覚的に示す第2の表示信号を出力することを含み得る。例えば、少なくとも1つのプロセッサ(例えば、第2のウェアラブルエクステンデッドリアリティ機器または上述したような集中型システムに関連付けられた)は、第2のウェアラブルエクステンデッドリアリティ機器を介した提示のために、本明細書に説明するように、特定の部分のエリアを視覚的に示す第2の表示信号を出力させることができる。特定の部分のエリアの視覚的インジケータは、本明細書に説明するように、任意の所望の形態であり得る。視覚的インジケータは、表示されたオブジェクトの仮想表現に関連して表示され得る。図33を参照すると、ステップ3318では、非一時的コンピュータ可読媒体に含まれる命令は、プロセッサによって実行されると、プロセッサに、第2のウェアラブルエクステンデッドリアリティ機器を介した提示のために、特定の部分のエリアを視覚的に示す第2の表示信号を出力させることができる。
いくつかの開示される実施形態は、第2のデータの受信後、第1のウェアラブルエクステンデッドリアリティ機器から情報を連続的に受信することと、第2のデータを連続的に更新し、それによって、オブジェクトの特定の部分を指す人間の手を含む少なくとも1つのユーザ対話がもはや検出されないときに、特定の部分のエリアの視覚的表現を中止させることを含み得る。例えば、第1のウェアラブルエクステンデッドリアリティ機器は、少なくとも1つのユーザ対話を周期的または連続的に監視することができ、第2のウェアラブルエクステンデッドリアリティ機器に、監視される少なくとも1つのユーザ対話の更新された状態のデータストリームを送信することができる。第2のウェアラブルエクステンデッドリアリティ機器は、データストリームを受信することができ、データストリームに基づいて、少なくとも1つのユーザ対話(例えば、場所、向き、形状、色、または任意の他の特徴に関して)をシミュレートする視覚的インジケータを更新することができる。少なくとも1つのユーザ対話がもはや検出されないとき、第1のウェアラブルエクステンデッドリアリティ機器は、第2のウェアラブルエクステンデッドリアリティ機器に、少なくとも1つのユーザ対話がもはや検出されないというインジケーションを送信することができる。インジケーションを受信することに基づいて、第2のウェアラブルエクステンデッドリアリティ機器は、特定の部分のエリアの視覚的表現を中止させることができる(例えば、特定の部分のエリアの視覚的表現は、オブジェクトの表示された仮想表現から除去され得る)。
いくつかの例では、第2のデータは、ある期間中にオブジェクトの複数の部分を指す複数の人間の手を反映する場合があり、第2の表示信号は、オブジェクトの複数の部分に対応する複数のエリアを視覚的に示すように構成され得る。複数の人間の手は、1人の人物または複数の人物に属し得る。いくつかの例では、複数の人間の手は、第1のウェアラブルエクステンデッドリアリティ機器のユーザの2つの手を含み得る。いくつかの例では、複数の人間の手は、第1のウェアラブルエクステンデッドリアリティ機器のユーザの手、および/または第1のウェアラブルエクステンデッドリアリティ機器のユーザ以外の人物の手を含み得る。この期間は、0.5秒、1秒、2秒、3秒、5秒、10秒、30秒、60秒、120秒、他の任意の時間間隔など、任意の長さの時間を含み得る。複数のエリアの視覚的インジケータは、表示されたオブジェクトの仮想表現に関連して表示されてもよく、オブジェクトの複数の部分との複数の人間の手の対話をシミュレートするように構成されてもよい。いくつかの実施形態では、第2の表示信号は、複数のエリアの区別されたインジケータを第2のウェアラブルエクステンデッドリアリティ機器を介して表示させるように構成され得る。区別されたインジケータは、色、形状、テクスチャ、視覚効果、アニメーション、または他の特徴など、様々な態様のうちの1つまたは複数に関して異なり得る。
いくつかの実施形態では、第1のデータは、第1のウェアラブルエクステンデッドリアリティ機器のパースペクティブからのオブジェクトの環境に関する情報を含み得る。いくつかの開示される実施形態は、第2のウェアラブルエクステンデッドリアリティ機器を介して、第1のウェアラブルエクステンデッドリアリティ機器のパースペクティブに対応する第1のウェアラブルエクステンデッドリアリティ機器に近接して位置するオブジェクトの提示を生じさせるように第1の表示信号を構成することを含み得る。例えば、第1のウェアラブルエクステンデッドリアリティ機器は、第1のウェアラブルエクステンデッドリアリティ機器に対するオブジェクトの位置および/または向きを測定することができる。この測定は、画像センサ、距離センサ、深度センサ、距離画像センサ、またはオブジェクトの位置および/もしくは向きを測定するための情報をキャプチャするように構成された任意の他のセンサのうちの1つまたは複数によってキャプチャされたデータに基づき得る。測定された位置および/または向きは、第1のデータに含まれてもよく、第2のウェアラブルエクステンデッドリアリティ機器に送信されてもよい。第2のウェアラブルエクステンデッドリアリティ機器は、第1のウェアラブルエクステンデッドリアリティ機器に対するオブジェクトの測定された位置および/または向きに基づいて、第1のウェアラブルエクステンデッドリアリティ機器のパースペクティブと同じまたは同様のパースペクティブからのオブジェクトの仮想表現を表示することができる。いくつかの例では、オブジェクトの環境(例えば、オブジェクトを取り囲む物理的空間または仮想空間)がキャプチャされてもよく、情報は、第2のウェアラブルエクステンデッドリアリティ機器に送信されてもよい。情報を受信したことに基づいて、第2のウェアラブルエクステンデッドリアリティ機器は、オブジェクトの仮想表現を表示させて、オブジェクトの周囲環境とのオブジェクトの関係(例えば、近くの壁、近くの備品、床、または環境内の他のアイテムまでのオブジェクトの距離)と同じまたは同様であり得る、仮想表現の周囲環境との関係を有することができる。
いくつかの開示される実施形態は、第2のウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサから画像データを受信することと、画像データ内で、第1のウェアラブルエクステンデッドリアリティ機器のパースペクティブに対応する方法でオブジェクトの仮想表現を表示することを妨げる構造を検出することと、この構造の検出時に、オブジェクトの仮想表現の代替表示を決定することであって、代替表示が、第1のウェアラブルエクステンデッドリアリティ機器のパースペクティブとは異なるパースペクティブからオブジェクトの仮想表現を提示する、決定することとを含み得る。この構造は、(例えば、第1のウェアラブルエクステンデッドリアリティ機器のパースペクティブと同じまたは同様のパースペクティブから表示されるときに)オブジェクトの表示された仮想表現が位置し得る空間(またはその一部)を(物理的または仮想的に)占有し得る位置および/または向きにあり得る任意のアイテム(物理的または仮想)を含み得る。少なくとも1つのプロセッサは、例えば、画像センサから受信された画像データの分析に基づいて、この構造を識別することができる。いくつかの例では、この構造の識別は、距離センサ、深度センサ、距離画像センサ、または任意の他のセンサのうちの1つまたは複数によってキャプチャされたデータに基づき得る。少なくとも1つのプロセッサは、例えば、第2のウェアラブルエクステンデッドリアリティ機器の環境において、このような妨害構造が存在し得ない場所を識別することによって、またはオブジェクトの仮想表現がその現在の場所に適合することを可能にし得る、オブジェクトの仮想表現の向きを識別することによって、オブジェクトの仮想表現の代替表示を決定することができる。代替表示は、例えば、識別された場所または向きを使用して実施され得る。代替表示は、第1のウェアラブルエクステンデッドリアリティ機器のパースペクティブとは異なるパースペクティブからオブジェクトの仮想表現を提示することができる。
いくつかの開示される実施形態は、代替表示に関連付けられたパースペクティブからオブジェクトの特定の部分を指すように仮想インジケータの表示を調整することを含み得る。例えば、少なくとも1つのプロセッサは、オブジェクトの仮想表現と同様の方法で、仮想インジケータの場所および/または向きを調整することができる。仮想インジケータを調整することは、オブジェクトの仮想表現に対する仮想インジケータの場所および/または向きが、オブジェクトに対する少なくとも1つのユーザ対話の場所および/または向きをシミュレートすることができるようなものであり得る。
いくつかの実施形態では、共有されたコンテンツ上の視覚ポインタをシミュレートするための方法、システム、および非一時的コンピュータ可読媒体が提供され得る。いくつかの例では、第1のユーザおよび第2のユーザが同じコンピュータウィンドウの2つの複製を見ているというインジケーションが受信され得る。さらに、第1のユーザがコンピュータウィンドウの第1の要素を物理的に指しているというインジケーションが受信され得る。さらに、第1の要素を指す視覚ポインタが、第2のユーザに表示されるように引き起こされ得る。一例では、第1のユーザは、物理的ディスプレイ上でコンピュータウィンドウの複製を見ることができ、第2のユーザは、仮想ディスプレイ上でコンピュータウィンドウの複製を見ることができる。別の例では、第1のユーザは、仮想ディスプレイ上でコンピュータウィンドウの複製を見ることができ、第2のユーザは、物理的ディスプレイ上でコンピュータウィンドウの複製を見ることができる。さらに別の例では、両方のユーザが、物理的ディスプレイ上でコンピュータウィンドウの複製を見ることができる。追加の例では、両方のユーザが、仮想ディスプレイ上でコンピュータウィンドウの複製を見ることができる。一例では、このような仮想ディスプレイは、拡張現実環境の一部であってもよい。別の例では、このような仮想ディスプレイは、仮想現実環境の一部であってもよい。
いくつかの例では、第1のユーザがコンピュータウィンドウの第1の要素を物理的に指しているというインジケーションは、第1のユーザの画像(第1のユーザによって使用されるウェアラブルシステムによってキャプチャされた画像、または部屋内に位置決めされた固定カメラによってキャプチャされた画像など)の分析に基づき得る。いくつかの例では、第1のユーザがコンピュータウィンドウの第1の要素を物理的に指しているというインジケーションは、第1のユーザがコンピュータウィンドウの第1の要素を指すためのジェスチャを使用しているというインジケーションであり得る。例えば、ジェスチャは、第1の要素を指すための指を使用することであってもよい。いくつかの例では、第1の要素を指す視覚ポインタは、コンピュータウィンドウのコンテンツ上の2次元オーバーレイであってもよい。いくつかの例では、第1の要素を指す視覚ポインタは、例えば、第2のユーザによって使用される拡張現実システムを使用して、または第2のユーザによって使用される仮想現実システムを使用して、コンピュータウィンドウの外側に表示される2次元視覚ポインタであってもよい。いくつかの例では、第1の要素を指す視覚ポインタは、例えば、第2のユーザによって使用される拡張現実システムを使用して、または第2のユーザによって使用される仮想現実システムを使用して、コンピュータウィンドウの外側に表示される3次元視覚ポインタであってもよい。例えば、3次元視覚ポインタは、手の表現であってもよく、または矢印の表現であってもよい。
共有されたエクステンデッドリアリティ環境内のどこにでも誰でも仮想コンテンツを配置することを可能にすることにより、仮想コンテンツの乱雑さ、および不適切な場所への宣伝コンテンツまたは望ましくないコンテンツの配置などの悪用が生じる可能性がある。以下の本開示の態様は、エクステンデッドリアリティ環境におけるコンテンツ配置を管理するために場所に基づく制限を適用するための方法を説明する。
いくつかの開示される実施形態は、エクステンデッドリアリティ環境におけるコンテンツ配置を管理するために構成されたシステム、方法、および非一時的コンピュータ可読媒体を含み得る。「コンテンツ配置を管理する」という用語は、ユーザがエクステンデッドリアリティ環境内のどこにコンテンツを配置することができるかを規定する1つまたは複数のルールを使用することを指すことがある。これらのルールは、仮想コンテンツをどこに配置するかに関する許可を含む場合があり、時間、場所、サイズ、または仮想コンテンツタイプなどの様々な異なるパラメータに基づく場合がある。いくつかの実施形態では、仮想コンテンツは、データの任意の2次元または3次元表現を含み得る。仮想コンテンツは、非アニメーションまたはアニメーションのものであってもよく、および/またはパブリックまたはプライベートであってもよい。パブリックコンテンツは、特定の共有されたエクステンデッドリアリティ環境に登録されたすべてのウェアラブルエクステンデッドリアリティ機器ユーザに可視であってもよく、プライベートコンテンツは、機器が特定の共有されたエクステンデッドリアリティ環境に登録されている限られた数のユーザにのみ可視であってもよい。
いくつかの実施形態では、コンテンツ配置を管理することは、異なる種類のユーザ間で異なり得るルールを適用することを含み得る。例えば、いくつかのルールは、個々のユーザが仮想コンテンツを提示することができる場所を制限する場合がある。他のルールは、オフィスビル、クライアントオフィス、またはエンティティのサービスに関連付けられた、もしくはエンティティのサービスを広告するパブリックな場所を含む、特定の場所に仮想コンテンツを提示するために、企業エンティティに関連付けられたユーザに対して拡張された自由を可能にすることができる。コンテンツ配置を管理するためのルールはまた、パブリックな場所とプライベートな場所との間で異なる場合があり、すなわち、パブリックな公園、都市の通り、町の広場、小売店、または任意の他のパブリックもしくは半パブリックな空間などのパブリックな場所と比較して、ユーザの自宅またはオフィスなどのプライベートな場所で仮想コンテンツを提示するための異なるルールが存在する場合がある。
いくつかの開示される実施形態は、複数の仮想オブジェクトを含む少なくとも1つの共有されたエクステンデッドリアリティ環境内の特定の地理的場所に仮想コンテンツを配置するための要求をエンティティから受信することを含み得る。「エンティティ」という用語は、個人、人工知能(AI)ソフトウェア、組織、専門的なオフィス、サービスプロバイダ、会社、企業、パートナーシップ、または要求を行うことが可能な他の個人、グループ、もしくは機構を指すことがある。一例では、要求に関連付けられたエンティティは、単一のウェアラブルエクステンデッドリアリティ機器ユーザであり得る。しかし、エンティティは、ウェアラブルエクステンデッドリアリティ機器のユーザに限定されなくてもよく、AIソフトウェアなどの仮想エンティティ、または他の種類のコンピュータ化されたデバイスの人間のユーザを含んでもよい。一実施形態では、エンティティからの要求は、ウェアラブルエクステンデッドリアリティ機器の一部としての非一時的コンピュータ可読媒体に関連付けられた少なくとも1つのプロセッサから送信された信号であってもよい。別の実施形態では、要求信号は、エンティティに関連付けられた少なくとも1つのプロセッサから送信され得る。いくつかの例では、要求を受信することは、メモリユニットから要求を読み取ること、外部デバイスから要求を受信すること、ユーザから(例えば、ユーザインターフェースを介して)要求を受信すること、またはデータ(1つもしくは複数のセンサを使用してキャプチャされたデータ、メモリから読み取られたデータ、および/または外部デバイスから受信されたデータなど)を分析することによって要求を決定することのうちの少なくとも1つを含み得る。
要求において識別される特定の地理的場所は、エンティティによって選択される場合があり、任意の記述子、メトリックまたは特性を利用して識別可能な地球上の物理的ポイントまたは領域を指すことがある。例えば、地理的場所は、経度/緯度、通りの住所、オフィス内の部屋、会議場、コードによって定義されたエリア、または任意の他の識別可能な場所の組み合わせとして表され得る。特定の地理的場所は、仮想コンテンツが提示され得る任意の表面を含み得る。いくつかの例では、特定の地理的場所は、画面、広告板、窓、壁、および/または仮想コンテンツを表示するのに役立つ他の場所を含み得る。特定の地理的場所は、無数の異なる場所に位置し得る。例えば、特定の地理的エリアは、制限を受ける、町の広場、オフィスビルの壁もしくは窓、パブリックな送信エリア、または任意の他のパブリックもしくはプライベートな場所においてコンテンツをホストすることができる。特定の地理的場所は、仮想コンテンツ表示サイズに応じて、一度に2つ以上の仮想オブジェクトに適応することが可能であり得る。本明細書の他の箇所で説明するように、特定の地理的場所はまた、仮想コンテンツの種類、およびオフィスビルの会議室、町の広場もしくは公園、または講堂など、仮想コンテンツが提示される場所に応じて、サイズが異なり得る。例えば、オフィスビルの会議室内の特定の地理的場所は、一度に1つまたは2つの仮想オブジェクトにしか適応することができない場合があるが、パブリックな公園内の特定の地理的場所は、同時に3つまたは4つを超えるオブジェクトに適応することができる場合がある。
上述したように、特定の地理的場所は、パブリックまたはプライベートのいずれかであり得る。パブリックの場合、すべてではないがほとんどのユーザが、提示されたコンテンツを閲覧してアクセスすることができる。例えば、特定の地理的場所は、パブリックな公園、町の広場、公共交通機関の駅、高速道路上の広告板、スーパーマーケットもしくは食料品店、および/または一般に公開されている他の場所であり得る。特定の地理的場所はまた、プライベートな場所、すなわち、一般に公開されていない場所であり得る。例えば、このような特定の地理的場所は、オフィスビル内の会議室、共有された作業空間、および/または学校もしくは大学であり得る。
開示される実施形態と一致して、複数の仮想オブジェクトは、少なくとも1つの共有されたエクステンデッドリアリティ環境に登録された複数のウェアラブルエクステンデッドリアリティ機器によって閲覧可能であり得る。共有されたエクステンデッドリアリティ環境という用語は、共通のコンピュータ生成された知覚環境を指すことがある。共有されたエクステンデッドリアリティ環境は、完全にシミュレートされた仮想環境、または複数のユーザが種々のパースペクティブから(または、いくつかの実施形態では、共通のパースペクティブから)共通のコンテンツを知覚し得る、現実と仮想の組み合わせられた環境であり得る。一例では、複数の共有されたエクステンデッドリアリティ環境が同じ物理的空間内に共存することができ、ウェアラブルエクステンデッドリアリティ機器のユーザは、所望のエクステンデッドリアリティ環境に登録することによって、物理的空間においてどのエクステンデッドリアリティ環境を閲覧して対話するかを選択することができる。一例では、エクステンデッドリアリティ環境に登録された複数のウェアラブルエクステンデッドリアリティ機器ユーザは、エクステンデッドリアリティ環境で利用可能な同じコンテンツを閲覧することができる。いくつかの実施形態では、ウェアラブルエクステンデッドリアリティ機器ユーザは、すべて同様の場所にいる可能性があり、したがって、その体験が共有され得る。ウェアラブルエクステンデッドリアリティ機器ユーザは、機器を複数の共有されたエクステンデッドリアリティ環境に登録することができる。共有されたエクステンデッドリアリティ環境に登録することは、1つまたは複数の共有されたエクステンデッドリアリティ環境、すなわち、パブリックまたはプライベート共有されたエクステンデッドリアリティ環境と最初に対話することを指すことがある。ユーザは、自分の機器を1つまたは複数のエクステンデッドリアリティ環境に登録することができ、ウェアラブルエクステンデッドリアリティ機器上の設定を調整することによって環境間を切り替えることができる。例えば、ユーザは、パブリック共有されたエクステンデッドリアリティ環境に登録することができ、複数のプライベート共有されたエクステンデッドリアリティ環境に登録することもできる。一例では、単一場所、例えば、部屋が、複数の共有されたエクステンデッドリアリティ環境のコンテンツに関連付けられ得る。したがって、第1のウェアラブルエクステンデッドリアリティ機器は、第1のウェアラブルエクステンデッドリアリティ機器が現在登録されている共有されたエクステンデッドリアリティ環境に基づいて第1の仮想オブジェクトのセットを表示することができ、第2のウェアラブルエクステンデッドリアリティ機器は、第2のウェアラブルエクステンデッドリアリティ機器が現在登録されている共有されたエクステンデッドリアリティ環境に基づいて第2の仮想オブジェクトのセット(第1の仮想オブジェクトのセットとは異なり得る)を表示することができる。登録は、エクステンデッドリアリティ機器がエクステンデッドリアリティ環境に関連付けられた場所に近接しているときに自動的に行われ得る。どのように登録されるかにかかわらず、いくつかの実施形態では、エクステンデッドリアリティ環境に関連付けられた場所に戻ることは、エクステンデッドリアリティ機器に、関連付けられたエクステンデッドリアリティ環境を認識させることができる。
一実施形態では、パブリック共有されたエクステンデッドリアリティ環境は、すべてではないがほとんどのユーザに対して無料で開放されているエクステンデッドリアリティ環境であり得る。パブリック共有されたエクステンデッドリアリティ環境は、エンティティが個人の投稿または広告などの仮想コンテンツを配置することができる、公共の通信ネットワークに類似し得る。しかし、ユーザは、オフィス環境、家庭、および/または学校もしくは大学環境(すなわち、教育空間に基づく共有されたエクステンデッドリアリティ環境)など、1つまたは複数のプライベート共有されたエクステンデッドリアリティ環境にアクセスすることを望む場合、パブリック共有されたエクステンデッドリアリティ環境を選択的にオフにすることができる。エクステンデッドリアリティ機器ユーザは、1つの共有されたエクステンデッドリアリティ環境に登録して接続することができ、または複数の共有されたエクステンデッドリアリティ環境に登録することもできる。具体的には、オフィス環境の例では、職場の同僚のみが共有されたエクステンデッドリアリティ環境にアクセスすることができる。家庭の例では、家族のメンバーのみが共有されたエクステンデッドリアリティ環境にアクセスすることができる。教育空間の例では、学生、講師、および関連するスタッフのみが共有されたエクステンデッドリアリティ環境にアクセスすることができる。このような制限は、特定の共有されたエクステンデッドリアリティ環境の管理者によって付与される許可などの許可を通じて実施することができる。
前述したプライベート共有されたエクステンデッドリアリティ空間の例では、仮想コンテンツが提示され得る特定の地理的場所は、オフィス会議室内の壁もしくは窓、個人宅内の壁、テレビ画面、もしくは窓、教室内のホワイトボード、チョークボード、黒板、もしくはプロジェクタ画面、および/またはウェアラブルエクステンデッドリアリティ機器がプライベート共有されたエクステンデッドリアリティ環境に登録されているユーザに可視である他の場所であり得る。
例として、図37Aは、仮想コンテンツが表示され得る特定の地理的場所を示す。図37Aは、仮想コンテンツが他のウェアラブルエクステンデッドリアリティ機器ユーザ3712によって閲覧されるように配置され得る場所3710、ここではオフィスビル内の会議室を示す。図37Aでは、ユーザのうちの1人または複数人が、仮想コンテンツが外部エンティティによって提示され得る、パブリックエクステンデッドリアリティ環境に登録していない可能性がある。図37Bでは、場所3710内のウェアラブルエクステンデッドリアリティ機器3714のユーザは、パブリックエクステンデッドリアリティ環境に登録され得る。したがって、広告3716などの仮想コンテンツは、会議室内のウェアラブルエクステンデッドリアリティ機器3714のユーザおよび他のユーザ3712に可視であり得る。
いくつかの開示される実施形態は、エンティティによって使用されるウェアラブルエクステンデッドリアリティ機器からの入力を使用して、特定の地理的場所を決定することをさらに含み得る。一例では、ウェアラブルエクステンデッドリアリティ機器からの入力は、ウェアラブルエクステンデッドリアリティ環境に含まれる位置決めセンサ(全地球位置決めセンサ、屋外位置決めセンサ、屋内位置決めセンサ、または上述したような任意の他の位置決めセンサなど)を使用してキャプチャされた位置決めデータを含むことができ、特定の地理的場所は、位置決めデータから直ちに決定することができる。一例では、ウェアラブルエクステンデッドリアリティ機器に含まれる画像センサを使用してキャプチャされた画像データが受信され得る。さらに、画像データは、特定の地理的場所を決定するために、エゴ位置決めアルゴリズム、エゴモーションアルゴリズム、または視覚オドメトリアルゴリズムのうちの少なくとも1つを使用して分析され得る。いくつかの例では、ウェアラブルエクステンデッドリアリティ機器のユーザは、例えば、音声コマンド、ジェスチャ、または物理的入力デバイスを通じて情報を提供することができ、特定の地理的場所は、ユーザによって提供された情報に基づいて決定され得る。例えば、ユーザによって提供される情報は、テキスト情報(例えば、キーボードを使用して入力された、および/または音声認識アルゴリズムでオーディオを分析することによって決定された)を含む場合があり、テキスト情報は、特定の地理的場所を決定するために自然言語アルゴリズムを使用して分析され得る。別の例では、ユーザによって提供される情報は、地図上の場所のインジケーション(例えば、手のジェスチャまたは仮想カーソルの使用による)を含む場合があり、特定の地理的場所は、地図上の場所から直ちに決定され得る。
いくつかの開示される実施形態は、要求に関連付けられた情報を取得することを含み得る。取得された情報は、特定の地理的場所に仮想コンテンツを配置するための要求に関連する任意のデータまたは情報を含み得る。例えば、取得された情報は、エンティティ、仮想コンテンツ、特定の地理的場所、少なくとも1つの共有されたエクステンデッドリアリティ環境、複数の仮想オブジェクトのうちの1つもしくは複数の仮想オブジェクト、または少なくとも1つの共有されたエクステンデッドリアリティ環境に登録された複数のウェアラブルエクステンデッドリアリティ機器のうちの1つもしくは複数の機器のうちの少なくとも1つに関する情報を含み得る。例えば、取得される情報は、仮想コンテンツに関する詳細、画像データ(例えば、特定の地理的場所の画像)、ライセンス情報、所有権情報、身元情報、特定の地理的場所がパブリックであるかプライベートであるか、特定の地理的場所とエンティティとの間の所属情報、コンテンツタイプ情報、エンティティの場所情報、時刻情報、仮想空間制約情報、ならびに/または特定の地理的場所、表示されるコンテンツ、および要求を行うエンティティに関連付けられたさらなる詳細を含み得る。いくつかの例では、情報を取得することは、メモリから情報を読み取ること、外部デバイスから情報を受信すること、ユーザから(例えば、ユーザインターフェースを通じて)情報を受信すること、データを分析することによって情報を決定すること、および/または1つまたは複数のセンサを使用して情報をキャプチャすることを含み得る。一実施形態では、第1のエンティティは、仮想コンテンツを提示することを要求することができ、第2のエンティティは、要求側エンティティから提示要求を受信することができる。第2のエンティティは、仮想コンテンツの提示を許可するかどうかを決定することができる。いくつかの実施形態では、第2のエンティティは、特定の地理的場所に関する第1のエンティティからの特定の情報を要求する。
いくつかの開示される実施形態は、エクステンデッドリアリティ環境コンテンツ配置に対する地理的制限を定義する複数のコンテンツ配置ルールにアクセスすることを含み得る。コンテンツ配置ルールは、特定の場所(または場所のカテゴリもしくは種類)に配置するための情報の妥当性を定義する任意の定義であり得る。コンテンツ配置ルールは、地理的制限、コンテンツタイプ制限、時刻制限、および/または共有されたエクステンデッドリアリティ環境(すなわち、パブリックまたはプライベート)制限を課すことができる。例えば、コンテンツ配置ルールは、仮想コンテンツが提示され得る時間、提示される仮想コンテンツのサイズ制限、提示され得るコンテンツの種類、および/または提示される仮想コンテンツを誰が閲覧し得るかを規定することができる。コンテンツ配置ルールの追加の例は、本明細書を通じて説明されている。一実施形態では、コンテンツ配置ルールは、どのコンテンツがどこに、いつ、および/またはどれくらい長く配置され得るかを規制するために、共有されたエクステンデッドリアリティ空間全体にわたって実装され得る。コンテンツを提示するためのエンティティの要求がコンテンツ配置ルールを満たすかどうかは、取得された情報に基づき得る。いくつかの例では、複数のコンテンツ配置ルールにアクセスすることは、複数のコンテンツ配置ルールの少なくとも一部を含むデータ構造にアクセスすること、複数のコンテンツ配置ルールの少なくとも一部を含むデータベースにアクセスすること、複数のコンテンツ配置ルールの少なくとも一部を記憶するメモリユニットにアクセスすること、および/または複数のコンテンツ配置ルールの少なくとも一部を維持する外部デバイスと通信することを含み得る。
いくつかの開示される実施形態は、取得された情報に基づいて、特定の地理的場所に仮想コンテンツを配置するためのエンティティからの要求が、特定のコンテンツ配置ルールに対応すると決定することを含み得る。特定のコンテンツ配置ルールは、コンテンツが特定の地理的場所に表示され得るかどうかを規定することができる。特定のコンテンツルールは、コンテンツタイプ、すなわち、コンテンツの特性、コンテンツが非アニメーションであるかアニメーションのものであるか、コンテンツがパブリックもしくはプライベートに表示されることを意図されているか、および/またはコンテンツが2次元もしくは3次元であるかに関連付けられ得る。他のコンテンツ配置ルールは、コンテンツの実体、すなわち、コンテンツの意味、決定されたまたは予想される視聴者に対するコンテンツの妥当性、コンテンツが配置され得る場所、提示される仮想コンテンツのサイズ、および/またはコンテンツが表示される時間に基づき得る。特定のコンテンツ配置ルールは、コンテンツが配置され得る共有されたエクステンデッドリアリティ環境の種類に基づき得る。例えば、パブリック共有されたエクステンデッドリアリティ環境およびプライベート共有されたエクステンデッドリアリティ環境に対して異なるコンテンツ配置ルールがあり得る。この例では、いくつかのコンテンツ(例えば、広告)は、パブリック環境では許可される場合があるが、プライベート環境では許可されない場合がある。いくつかの例では、複数のコンテンツ配置ルールは、要求関連情報をコンテンツ配置ルールに関連付けるデータ構造に記憶されてもよく、データ構造は、特定のコンテンツ配置ルールを決定するために、取得された情報に基づいてアクセスされてもよい。いくつかの例では、複数の条件が、どのコンテンツ配置ルールがどの要求関連情報に対応するかを選択するために使用されてもよく、取得された情報は、特定のコンテンツ配置ルールを決定するための条件を使用して分析されてもよい。いくつかの例では、機械学習モデルは、要求関連情報記録に基づいてコンテンツ配置ルールを決定するための訓練例を使用して訓練され得る。このような訓練例の例としては、サンプル要求関連情報が、このサンプル要求関連情報に対応するコンテンツ配置ルールを示すラベルとともに挙げられ得る。訓練された機械学習モデルは、取得された情報を分析し、特定のコンテンツ配置ルールを決定するために使用され得る。
いくつかの実施形態では、仮想コンテンツを提示するための要求は、特定のコンテンツ配置ルールに対応することができる。例えば、特定の地理的場所におけるコンテンツ配置ルールに対応するコンテンツ提示要求の特性があり得る。このような特性は、コンテンツタイプ、時刻制限、および/または表示サイズ制限であり得る。例えば、エンティティの仮想コンテンツ要求は、3次元仮想コンテンツを提示することを含む場合があり、特定の地理的場所は、3次元仮想コンテンツに対応するコンテンツ配置ルールを有する場合があり、すなわち、それは許可されるか、または許可されないかのいずれかである。
例として、図37Cは、取得された情報に基づいて特定の地理的場所を選択することを示す。ここで、ウェアラブルエクステンデッドリアリティ機器3718の装着者は、自身がコンテンツを表示することを望む特定の場所に自身の手3720をジェスチャすることができる。図37Cでは、ユーザのウェアラブルエクステンデッドリアリティ機器3718は、パブリックエクステンデッドリアリティ環境に登録されず、むしろ、この機器は、プライベートエクステンデッドリアリティ環境に登録される。したがって、オフィスおよびビジネス関連仮想コンテンツ3724のみが表示され、図37Bに示す広告3716は表示されない。図37Dは、所望の地理的場所に基づいて、コンテンツ配置のための特定の条件が満たされていると決定した後に表示される仮想オブジェクト3726を示す。この例では、コンテンツ配置のための特定の条件は、コンテンツの種類がオフィスまたはビジネス関連であることであり得る。したがって、特定の地理的場所に仮想コンテンツを配置するためのエンティティからの要求が、特定のコンテンツ配置ルールに対応すると決定され得る。
いくつかの開示される実施形態は、特定の地理的場所の決定された特性に基づいて、特定のコンテンツ配置ルールの条件が満たされるかどうかを決定することをさらに含み得る。特定のコンテンツ配置ルールは、無数の入力に基づく場合があり、提示要求を受信するウェアラブルエクステンデッドリアリティ機器ユーザによって構成される場合がある。決定された特性は、特定の地理的場所がパブリックもしくはプライベートであるか、提示される仮想オブジェクトのための十分な空間があるかどうか、および/またはどの種類のコンテンツが特定の地理的場所で許可されるかなど、本明細書で説明する特性のうちのいずれか1つであり得る。例えば、特定のコンテンツ配置ルールは、コンテンツベースであってもよく、すなわち、コンテンツが広告などのパブリックであるか、ビジネスまたは教育に関するコンテンツなどのプライベートであるかに基づいてもよい。特定のコンテンツ配置ルールはまた、複数の地理的場所に適用することができる。例えば、町または近隣は、特定の種類の仮想コンテンツの表示を防止するコンテンツ配置ルールを有し得る。これらのローカルコンテンツ配置ルールは、地方自治体または規制機関によって実施され得る。
いくつかの実施形態では、特定のコンテンツ配置ルールの条件は、特定の地理的場所内でのエンティティによるコンテンツ配置を許可するライセンスがない場合に、特定の地理的場所内でのコンテンツの配置を防止することができる。コンテンツ共有が奨励され得るが、誰かがどこにでもコンテンツを投稿することができる場合、共有されたエクステンデッドリアリティ環境は、コンテンツで乱雑になる可能性がある。その結果、共有されたエクステンデッドリアリティ環境のユーザは、共有されたウェアラブルエクステンデッドリアリティ環境に表示されるコンテンツに無関心であり、共有されたエクステンデッドリアリティ環境全体にわたって様々なエンティティによって配置されたターゲットコンテンツの有効性を損なう場合がある。共有されたウェアラブルエクステンデッドリアリティ環境全体にわたる特定の場所における仮想コンテンツアイテムの混雑を低減するために、不要なコンテンツを低減するためのライセンス付与システムを採用することが望ましい場合がある。このようなライセンスは、例えば、どのコンテンツが特定の時間に特定の地理的場所で提示され得るか、どの種類のコンテンツが提示され得るか(すなわち、パブリックもしくはプライベートコンテンツ、2次元もしくは3次元コンテンツ、および/または非アニメーションもしくはアニメーションのコンテンツ)、および/またはいくつの仮想オブジェクトが特定の時間に提示され得るかを規定することができる。このライセンス付与システムは、プライベート共有されたエクステンデッドリアリティ環境に適合させることもできる。例えば、ライセンスは、一般市民が、自宅、オフィス、店舗、または他のプライベートなビジネスなどのプライベートエリア内で広告を投稿すること、または他のコンテンツを提示することを防止するために利用され得る。ライセンス付与スキームは、パブリック空間では緩和され得るが、時間、場所、およびコンテンツタイプの制限が実装され得る。
エンティティは、コンテンツをプライベート空間に配置するためのライセンスを要求または申請することができ、ライセンスは、エンティティが宣伝することを望む製品、コンテンツが提示される日時、いくつの他の仮想オブジェクトが存在するか、およびコンテンツが配置されるビジネスの種類に基づいて評価され得る。一例では、ウェアラブルエクステンデッドリアリティ機器ユーザのプライバシーの価値が、このユーザが提示側エンティティから受け取り得る利益を上回る可能性があるため、特定の地理的場所に提示するためのライセンスは、個人宅には付与されない場合がある。しかし、別の例では、店舗またはオフィスなどの特定の地理的場所の所有者は、金銭支払いの形態であり得る、要求側エンティティから受け取る利益に基づいて、仮想コンテンツを表示するためのライセンスを付与することができる。
パブリック共有されたエクステンデッドリアリティ環境では、提示されるように要求されたコンテンツの種類に基づいてライセンスが付与または拒否され得る。例えば、要求側エンティティは、タバコまたはアルコールなどの年齢制限のある製品に関連するコンテンツを提示するために特定のライセンスを必要とする場合がある。別の例では、ライセンスは、時刻に基づいて制限され得る。この例では、夜間などの通常の営業時間外にコンテンツを提示するために、または24時間の期間にわたってコンテンツを提示するためにさえ、ライセンスが必要とされ得る。コンテンツ配置制限は、より広範に実装され得る。例えば、単一のウェアラブルエクステンデッドリアリティ機器ユーザではなく、都市または町全体が、コンテンツタイプ、すなわち、パブリックもしくはプライベートコンテンツ、2次元もしくは3次元コンテンツ、および/または非アニメーションもしくはアニメーションのコンテンツに関連し得る、コンテンツ配置制限を実装してもよい。コンテンツ配置制限はまた、本明細書で後に説明するように、時刻に基づいてもよい。
いくつかの実施形態では、複数のコンテンツ配置ルールは、第1のエクステンデッドリアリティ環境および第2のエクステンデッドリアリティ環境を規定することができ、第1のエクステンデッドリアリティ環境の特定の地理的場所での仮想コンテンツの配置を防止することと、第2のエクステンデッドリアリティ環境の特定の地理的場所での仮想コンテンツの配置を許可することとをさらに含むことができる。本明細書の他の箇所で説明するように、ウェアラブルエクステンデッドリアリティ機器ユーザは、複数の共有されたエクステンデッドリアリティ環境に登録することができる。第1のエクステンデッドリアリティ環境は、プライベート共有されたエクステンデッドリアリティ環境であってもよく、第2のエクステンデッドリアリティ環境は、パブリック共有されたエクステンデッドリアリティ環境であってもよい。本明細書の他の箇所で説明するように、プライベートおよびパブリック共有されたエクステンデッドリアリティ環境は、種々のコンテンツ配置制限を有し得る。いくつかの実施形態では、広告などの仮想コンテンツの配置は、第1のプライベート共有されたエクステンデッドリアリティ環境では禁止され得るが、第2のパブリック共有されたエクステンデッドリアリティ環境では表示することを許可され得る。例えば、広告は、オフィスなどのプライベート共有されたエクステンデッドリアリティ環境では表示されるのが防止され得るが、パブリックな公園または公共交通機関の駅などのパブリック共有されたエクステンデッドリアリティ環境では許可され得る。
いくつかの実施形態では、仮想コンテンツ提示要求に関連付けられた取得された情報は、エンティティの身元に関する情報を含み得、エンティティの身元に関する情報に基づいて、特定のコンテンツ配置ルールの条件が満たされるかどうかを決定することをさらに含み得る。要求側エンティティの身元に関する情報は、そのエンティティが一個人であるか企業であるか、そのエンティティが通常どの種類のビジネスに従事しているか、そのエンティティが通常どこで操業しているか、例えば、そのエンティティが通常どこで仮想コンテンツを表示しているか、および/またはそのエンティティが現在いくつの他の仮想オブジェクトを表示しているかを含み得る。特定のコンテンツ配置ルールの条件が満たされるかどうかは、上記の身元情報に基づいてもよい。例えば、大企業は、学校または大学などのより小規模な環境で製品を宣伝することを望む場合がある。エンティティの身元、およびエンティティが仮想コンテンツを配置することを望む場所に基づいて、このような情報は、特定のコンテンツ配置ルールの条件が満たされる場所を決定するのに役立つ場合がある。したがって、例えば、情報がコンテンツの受信者にとって望ましくない詳細を含む場合、コンテンツ提示要求は拒否され得る。このような詳細は、例えば、会社が通常宣伝する製品の種類、または一般的な顧客を含み得る。例えば、不健康な食品またはタバコ製品を販売する会社は、学校または大学のキャンパスで宣伝することを望む場合、特定のコンテンツ配置ルールを満たさない場合がある。
いくつかの実施形態では、コンテンツを提示する要求に関連付けられた取得された情報は、エンティティの物理的場所に関する情報を含む場合があり、動作は、エンティティの物理的場所に関する情報に基づいて、特定のコンテンツ配置ルールの条件が満たされるかどうかを決定することをさらに含み得る。受信側ウェアラブルエクステンデッドリアリティ機器ユーザは、エンティティの物理的場所に基づいてエンティティの提示要求を受諾または拒否することができる。例えば、要求側エンティティが特定の地理的場所の近くに位置する場合、要求は受諾され得る。要求側エンティティが、特定の地理的場所、すなわち、要求側エンティティがコンテンツを提示することを望む場所から離れて位置する場合、提示要求は拒否され得る。
加えて、エンティティの物理的場所は、要求が行われた時間に基づいて異なり得る。種々の時間におけるエンティティの場所は、種々の場所が、要求側エンティティが要求された特定の地理的場所のより近くに移動しているかどうかを示すことができ、これは、提示要求を許可することに有利に働く場合があり、または要求された特定の地理的場所からさらに離れて移動しているかどうかを示すことができ、これは、提示要求を許可することに不利に働く場合があるため、提示要求を許可するかどうかを決定する際に受信側ウェアラブルエクステンデッドリアリティ機器ユーザにとって有用であり得る。例えば、エンティティの物理的場所は、要求の受信時間、要求の受信時間の前の期間、要求の受信時間に至るまで間の物理的場所、および/または要求の受信時間の直後の時間の間の物理的場所であってもよい。エンティティの物理的場所がこれらの時間にどこにあるかに応じて、コンテンツを提示する要求は拒否され得る。
いくつかの実施形態では、エンティティの物理的場所に関する取得された情報が、要求を行った時点で、エンティティが特定の地理的場所から離れた第1の場所に位置することを示す場合、仮想コンテンツの表示が防止され得る。仮想コンテンツは、エンティティの物理的場所が、仮想コンテンツが表示される地理的場所から離れているときに表示されることを防止され得る。表示防止は、要求された特定の地理的場所からの要求側エンティティの距離の関数であり得る。加えて、遠隔性は、時間帯、高度、および/または地形の差異に基づいてもよい。閾値距離、すなわち、要求側エンティティがどれほど離れているかに基づいて提示要求が許可または拒否され得る距離は、構成可能であり得るか、またはシステム設計者による設計選択の問題であり得る。
例えば、要求側エンティティが特定の場所から、例えば、15キロメートル以上離れている場合、このようなエンティティが特定の場所においてコンテンツを表示することを許可することは、パブリック共有されたエクステンデッドリアリティ空間を乱雑にさせ得るため、望ましくない場合がある。例えば、リモートエンティティが、その物理的場所から遠く離れたエリアに仮想コンテンツを提示することを許可された場合、これらのエリアは、仮想コンテンツで過負荷になり得る。
いくつかの開示される実施形態は、例えば、エンティティの物理的場所に関する情報に基づいて仮想コンテンツの表示を防止した後に、エンティティが特定の地理的場所に近接した第2の位置に位置することを示す更新された情報を受信することをさらに含み得る。近接とは、要求側エンティティが特定の地理的場所にどれだけ近いかを指すことがあり、距離、時間帯、および/または高度に基づいて決定され得る。プロセッサは、提示要求が承認され得るかどうかを決定するのに役立つように、近接距離を遠隔距離閾値と比較することができる。この近接距離閾値は、受信側ウェアラブルエクステンデッドリアリティ機器ユーザによって構成され得るか、またはシステム内に設計され得る。エンティティが要求したコンテンツは、エンティティが要求の受信者のより近くに、すなわち、近接距離閾値内に移動したときに自動的に表示され得る。遠隔閾値距離が、要求されたコンテンツが提示され得るか否かを規定することができるが、近接距離閾値は、コンテンツが自動的に提示され得る距離を規定することができる。例えば、仮想コンテンツは、要求側エンティティが特定の地理的場所から1~10キロメートル以内にあるとき、および/または要求側エンティティが1キロメートル以内にあり、かつ特定の地理的場所と同じ高度にあるときに、自動的に提示され得る。
いくつかの開示される実施形態は、更新された情報を受信することに応答して、複数のウェアラブルエクステンデッドリアリティ機器のうちの少なくともいくつかによる、少なくとも1つの共有されたエクステンデッドリアリティ環境内の特定の地理的場所における仮想コンテンツの表示を自動的に可能にすることをさらに含み得る。エンティティが特定の地理的場所から離れており、その場所に関連するコンテンツを表示することを要求するとき、仮想コンテンツを提示することは、要求されたエリアにおける仮想空間を過負荷にし得る。要求されたコンテンツは他のコンテンツ配置制限を満たし得るが、要求側エンティティは、受信側ウェアラブルエクステンデッドリアリティ機器がエンティティの要求を受諾するには遠すぎる場合がある。しかし、要求側エンティティが要求の受信者に近づくと、要求されたコンテンツは自動的に表示され得る。これにより、エンティティはルートに沿った仮想コンテンツの配信を計画することが可能になり得る。コンテンツが自動的に表示される距離は、特定の地理的場所においてウェアラブルエクステンデッドリアリティ機器ユーザによって構成され得る。例えば、近接閾値距離は、特定の地理的場所の10、5、または1キロメートル以内であり得る。近接閾値距離はまた、高度に基づき得る。例えば、コンテンツは、要求側エンティティと特定の地理的場所とが互いに1キロメートル以内にあり、かつ同じ高度に位置するときに自動的に表示されてもよい。
要求に関連付けられた取得された情報は、特定の地理的場所に関連付けられた所有権情報を含み、いくつかの開示される実施形態は、所有権情報に基づいて、特定のコンテンツ配置ルールの条件が満たされるかどうかを決定することをさらに含み得る。特定の地理的場所に関連付けられた所有権情報は、所有者がパブリックユーザまたはプライベートユーザであるかを指すことがある。プライベートユーザの場合、所有権情報は、エンティティの身元(例えば、個人名、会社名、組織、および/またはスポンサー)を含み得る。いくつかの実施形態では、エンティティは、所有する特定の地理的場所に特定の仮想コンテンツを表示することを許可される場合があり、所有しない特定の地理的場所に特定の仮想コンテンツを表示することを禁止される場合がある。場合によっては、要求内の特定の地理的場所は、プライベートな場所またはパブリックな場所であってもよい。プライベートな場所は、同じ共有されたエクステンデッドリアリティ環境内であっても、パブリックな場所よりも多くのコンテンツ配置ルールを有し得る。例えば、プライベートな場所は、どの種類のコンテンツが表示され得るか、コンテンツがいつ配置され得るか、およびコンテンツがどこに配置され得るかに関する制限に関連付けられ得る。この例では、エンティティは、特定の地理的場所がエンティティによって所有されるオフィスビルなどのプライベートな場所にある場合にのみ、オフィスまたはビジネス関連のコンテンツを投稿することが可能であり得る。対照的に、所有権情報が、特定の地理的場所がパブリックな場所にあり、地元の町または都市によって所有されていることを示す場合、エンティティは、より広範なコンテンツを提示することが可能であり得る。
例として、取得された情報は、特定の地理的場所が公園などのパブリックな場所にあるという所有権情報を含み得る。特定の地理的場所の所有者は、より緩和された提示ルールを有し得る地元の町であってもよい。一例では、エンティティは、ソフトドリンクの広告を含む仮想コンテンツを提示することを望む場合がある。このパブリックな環境では、特定のコンテンツ配置ルールは、ソフトドリンクの広告が許可されると記述する場合がある。したがって、この例では、コンテンツ配置ルールが満たされ、エンティティはソフトドリンクの広告を表示することを許可された。別の例では、所有権情報は、特定の地理的場所がプライベートウェアラブルエクステンデッドリアリティ機器ユーザによって所有されるプライベートな場所にあることを示すことができる。前の例のように、エンティティは、ソフトドリンクの広告を含む仮想コンテンツを提示することを望む場合がある。しかし、前の例とは異なり、特定のコンテンツ配置ルールの条件は、外部広告が許可されないと記述する場合がある。したがって、特定のコンテンツ配置ルールが満たされないため、仮想コンテンツを提示するための要求は拒否され得る。別の例では、要求側エンティティは、会社の従業員である場合があり、特定の地理的場所は、会社によって所有され占有される会社の建物である。ここで、取得された所有権情報に基づいて、要求側エンティティの作業場所が特定の地理的場所にあるため、コンテンツ配置ルールが満たされ得る。
一態様と一致して、仮想コンテンツ提示要求に関連付けられた取得された情報は、エンティティと特定の地理的場所とのつながりを反映する所属情報を含み得、いくつかの開示される実施形態は、所属情報に基づいて、特定のコンテンツ配置ルールの条件が満たされるかどうかを決定することをさらに含み得る。所属情報は、要求側エンティティが特定の地理的場所との間に有する任意のつながりを指すことがある。例えば、建物のロビーは、建物内に位置する会社に関連付けられてもよい。スポーツ会場は、会場に所属したホームスポーツチームに関連付けられてもよい。会議室は、会議室が位置するオフィスに所属していてもよい。加えて、またはあるいは、所属情報は、要求側エンティティと特定の地理的場所との間の所有持分、エンティティが特定の地理的場所において仮想コンテンツを提示した以前の事例、および/または特定の地理的場所がパブリックまたはプライベートであるかどうかに関する情報を含み得る。所有持分は、要求側エンティティが特定の地理的場所を所有しているかどうかを指すことがある。例えば、特定の地理的場所とのつながりを反映する所属情報は、要求側エンティティが特定の地理的場所に所属している場合、所属はコンテンツ配置ルールが満たされることを示唆し得るため、コンテンツ配置ルールが満たされるかどうかを決定するのに有用であり得る。加えて、所属は、要求側エンティティが特定の地理的場所において仮想コンテンツを以前に提示したことを示唆する場合がある。所属は、フランチャイザーとフランチャイジーの関係、地主とテナントの関係、雇用者と従業員の関係、および/またはエンティティが以前に特定の地理的場所に関与していたか、もしくは地理的場所に関連付けられたある程度の権限を有することを示唆し得る任意の他のビジネスもしくは他の労働関係であってもよい。例えば、要求側エンティティは、店舗内に広告を提示することを望む店舗の従業員であってもよい。要求側エンティティは、特定の地理的場所に所属しているため、関連付けられた所属情報は、特定のコンテンツ配置ルールの条件が満たされるかどうかを決定するために使用され得る。
別の例では、所属情報は、要求側エンティティが仮想コンテンツを提示することを許可された以前の事例を指すことがある。この所属情報は、パブリック空間とプライベート空間の両方に関連し得る。ここで、所属情報が、要求側エンティティが特定の地理的場所において仮想コンテンツを以前に提示したことを反映する場合、これは、特定のコンテンツ配置ルールが以前に満たされており、現在の時間においても満たされ得ることを示し得る。例えば、非営利エンティティは、パブリック空間に情報を投稿するための許可を与えられている場合があり、過去に与えられた許可は、将来にコンテンツを配置する能力を決定する場合がある。
一態様と一致して、仮想コンテンツ提示要求に関連付けられた取得された情報は、コンテンツタイプに関する情報を含み得、いくつかの開示される実施形態は、コンテンツタイプに関する情報に基づいて、特定のコンテンツ配置ルールの条件が満たされるかどうかを決定することをさらに含み得る。様々な異なる仮想コンテンツタイプが提示され得る。コンテンツタイプは、仮想コンテンツの1つまたは複数の特性またはプロパティを指すことがある。このような特性またはプロパティは、例えば、仮想コンテンツが商業的もしくはパブリックな情報的性質のものであるかどうか、コンテンツがパブリックもしくはプライベートな性質のものであるかどうか、コンテンツがドキュメント、ビデオ、もしくは提示であるかどうか、コンテンツが2次元もしくは3次元であるかどうか、および/またはコンテンツの主題もしくはプロパティに関連する任意の他のプロパティ(例えば、コンテンツの提示者またはコンテンツの受信者に関連付けられた所有権または所属情報)を含み得る。パブリックコンテンツは、パブリックエクステンデッドリアリティ環境に投稿されるコンテンツを指すことがある。パブリックコンテンツは、多くのまたはすべてのウェアラブルエクステンデッドリアリティ機器ユーザに可視であり得る。このようなパブリックコンテンツはまた、広告を含み得る。プライベートコンテンツは、プライベートエクステンデッドリアリティ環境において投稿されるコンテンツを指すことがあり、すなわち、限られた数のユーザが、提示された仮想コンテンツを閲覧することが可能である場合がある。プライベート仮想コンテンツは、ビジネスを行うこと、教育、または家族もしくは友人間で単に共有することに関連するドキュメント、ビデオ、または提示である場合がある。コンテンツタイプを決定することは、コンテンツ配置ルールが満たされるかどうかを決定するのに役立つ場合がある。例えば、コンテンツ配置ルールは、提示されるコンテンツをプライベートドキュメントおよび他のビジネス関連コンテンツに限定することができる。ここで、要求側エンティティがプライベート環境においてパブリックな広告を提示することを望む場合、その要求は、コンテンツ配置ルールが満たされないため、コンテンツタイプに基づくコンテンツ配置ルールに基づいて拒否され得る。この例では、コンテンツ配置ルールは、広告などのパブリックコンテンツの提示を防止することができる。しかし、要求側エンティティが、特定の地理的場所にあるプライベートドキュメントをプライベートユーザに提示することを望む場合、コンテンツ配置ルールが満たされるため、その要求は承認され得る。
一態様と一致して、仮想コンテンツ提示要求に関連付けられた取得された情報は、時刻に関する情報を含み得、いくつかの開示される実施形態は、情報に関する情報に基づいて、特定のコンテンツ配置ルールの条件が満たされるかどうかを決定することをさらに含み得る。時刻情報は、仮想コンテンツを提示するための要求が受信される時刻、および/または仮想コンテンツが表示される時刻を含み得る。例えば、コンテンツ配置ルールは、提示要求を受信することを通常の午前9時から午後5時の営業時間に制限することができる。ここで、受信側ウェアラブルエクステンデッドリアリティ機器ユーザが通常の午前9時から午後5時の営業時間外に提示要求を受信した場合、コンテンツ配置ルールは満たされない場合があり、したがって、提示要求は拒否され得る。仮想コンテンツが表示される時刻は、特定のコンテンツ配置ルールが満たされるかどうかを決定することにも関連する。例えば、コンテンツ配置ルールは、仮想コンテンツを提示することを午前9時から午後5時までの通常の労働時間に制限することができる。ここで、プライベート仮想コンテンツを表示するための要求が午前9時から午後5時までの労働時間外である場合、特定のコンテンツ配置ルールは満たされない場合がある。別の例では、コンテンツ配置ルールは、パブリック空間の営業時間外にコンテンツを提示することを制限することができる。ここで、エンティティは、パブリックな公園に仮想コンテンツを提示することを要求する場合があるが、その公園は、夜明けから夕暮れまでしか開いていない。エンティティがこれらの時間外に仮想コンテンツを提示することを要求した場合、特定のコンテンツ配置ルールが満たされない場合があり、仮想コンテンツを提示するための要求が拒否される場合がある。
いくつかの実施形態では、どの種類のコンテンツがどの時間に提示され得るかを規定する、時刻に基づくコンテンツ配置ルールがあり得る。ここで、ある種類のコンテンツは、第1の時刻に提示され得、第2の種類のコンテンツは、第2の時刻に提示され得る。例えば、特定のルールは、朝のコーヒーおよび朝食、ならびに午後のソフトドリンクおよび昼食に関連する広告の表示を可能にし得る。この例では、要求側エンティティが午後または夕方遅くにコーヒーおよび朝食に関連するコンテンツを提示することを望む場合、コンテンツ配置ルールは満たされない場合がある。したがって、仮想コンテンツを提示するための要求は拒否され得る。
一態様と一致して、仮想コンテンツ表示要求に関連付けられた取得された情報は、特定の地理的場所に関連付けられた仮想空間制約情報を含み得、いくつかの開示される実施形態は、仮想空間制約情報に基づいて、特定のコンテンツ配置ルールの条件が満たされるかどうかを決定することをさらに含み得る。仮想空間制約情報は、特定の地理的場所に配置され得るオブジェクトの数、特定の地理的場所に配置され得るオブジェクトのサイズ、配置のために利用可能な仮想不動産の合計、および/または特定の地理的場所におけるオブジェクトの特定の配置(すなわち、いくつかの仮想コンテンツが他の仮想コンテンツよりも先に提示され得る場合)を指すことがある。仮想空間制約情報はまた、いくつの仮想オブジェクトが特定の地理的場所の近傍にあるかを指すことがある。1つの特定の地理的場所に、または1つの特定の地理的場所の近傍に提示される仮想オブジェクトが多すぎないように、仮想空間制約が存在し得る。仮想空間制約は、単一の地理的場所において提示され得る仮想オブジェクトの数を制限し得、仮想空間のサイズに依存し得る。仮想空間制約はまた、提示されるオブジェクトのサイズに依存する場合があり、仮想空間のサイズにも関連する。仮想空間制約はまた、特定の地理的場所におけるオブジェクトの特定の配置を指すことがある。仮想空間のサイズに応じて、仮想オブジェクトは、仮想空間の重複もしくは過負荷を回避するか、または通行人により可視的であるかのいずれかのために、特定の方法で編成される必要があり得る。
例えば、特定のコンテンツ配置ルールは、4つを超える仮想オブジェクトが仮想空間内に提示されることを防止することができる。コンテンツ配置ルールは、仮想空間にいくつの仮想オブジェクトが存在するかに基づいてもよく、仮想空間内のオブジェクトの表示サイズに基づいてもよい。仮想オブジェクトのうちの1つの表示が別のものよりも大きい場合、より少ない仮想オブジェクトが表示されることが可能であり得る。この例では、エンティティは、特定の地理的場所に仮想コンテンツを提示することを要求することができる。しかし、エンティティが4つの大きい仮想オブジェクトを提示することを要求する場合、エンティティの要求が仮想空間内の仮想オブジェクトの数に関するコンテンツ配置ルールを満たしたとしても、サイズ要件を満たさなかったため、要求は拒否され得、したがって、提示要求は拒否され得る。
別の例では、特定のコンテンツ配置ルールは、仮想コンテンツが特定の方法で配置されない限り、すなわち、2つの小さい仮想オブジェクトが2つのより大きい仮想オブジェクトに隣接して位置しない限り、仮想コンテンツの表示を防止することができる。要求側エンティティが、仮想空間制約を満たさないコンテンツを提示することを望む場合、例えば、要求が、1つのより大きい仮想オブジェクトに隣接して位置する3つの小さい仮想オブジェクトを含む場合、コンテンツ配置ルールは満たされない場合があり、提示要求は拒否され得る。
一例として、図38は、要求側エンティティ、特定の地理的場所、およびコンテンツタイプに関する情報を含む複数の入力パラメータに関連付けられたコンテンツ配置ルール3824を示す図である。入力パラメータは、処理デバイスによって取得された情報を指すことがある。処理デバイスは、リモート処理ユニット208(例えば、処理デバイス560)に含まれるか、XRユニット204(例えば、処理デバイス460)に含まれるか、入力デバイス202(例えば、処理デバイス360)に含まれるか、またはモバイル通信デバイス206に含まれてもよい。入力パラメータ3810は、エンティティの身元に関する情報を表すことができ、入力パラメータ3812は、エンティティの物理的場所に関する情報を表すことができ、入力パラメータ3814は、仮想空間制約情報を表すことができ、入力パラメータ3816は、所有権情報を表すことができ、入力パラメータ3818は、所属情報を表すことができ、入力パラメータ3820は、コンテンツタイプ情報を表すことができ、入力パラメータ3822は、時刻に関する情報を表すことができる。コンテンツ配置ルール3824は、構成可能であってもよく、パブリックもしくはプライベートコンテンツ、時間制限、コンテンツタイプ制限、所有権制限、所属制限、物理的場所制限、表示サイズ制限、および/または仮想オブジェクト数制限に関連するルールを含んでもよい。入力パラメータおよびコンテンツ配置ルール3824に基づいて、処理デバイスは、以下の動作、すなわち、仮想コンテンツの表示を防止する動作3826、仮想コンテンツの表示を有効にする動作3828、表示のために仮想コンテンツを修正する動作3830、および/または仮想コンテンツを表示するための時間制限を適用する動作3832のうちの1つまたは複数を実行することができる。
関連する実施形態は、要求側エンティティのウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサを介して、特定の地理的場所のエリアからキャプチャされた画像データを受信することを含み得る。画像データは、連続的に、または周期的に、すなわち、数秒ごとにキャプチャされ得る。例えば、画像データを取得する画像センサは、正確な画像データをキャプチャするように、レンズ、ブリッジ、またはウェアラブルエクステンデッドリアリティ機器上の任意の他の場所に位置してもよい。キャプチャされた画像データは、色、明るさ、光、および/もしくはテクスチャ情報、場所情報、地理情報、ならびに/または特定の地理的場所に関する高さもしくは深度情報を含み得る。
いくつかの開示される実施形態は、画像データを分析して、特定の地理的場所の特性を決定することをさらに含み得る。例えば、特定の地理的場所の特性は、場所が屋内または屋外であるか、すなわち、オフィス、自宅、通り、公園、または他のパブリックもしくはプライベートな場所であるのかのインジケーションを含み得る。いくつかの例では、地理的場所の特性は、特定の地理的場所に関連付けられた物理的寸法、すなわち、コンテンツが提示される表面の高さ、幅、および深度を含み得る。地理的場所の別の特性は、特定の地理的場所に、またはその近傍に存在する人々の数を含み得る。例えば、特定の地理的場所に存在する人々が多いほど、提示された仮想オブジェクト、例えば広告の閲覧者が多くなり、したがって、宣伝された製品の潜在的な購入者が多くなる。地理的場所のさらなる特性は、特定の地理的場所に、またはその近傍に存在する仮想オブジェクトの数を含み得る。例えば、エンティティが、他のウェアラブルエクステンデッドリアリティ機器ユーザに可視であるように仮想コンテンツを提示することを望む場合、エンティティが分析し得る1つの特性は、いくつの仮想オブジェクトがその特定の地理的場所にすでにあるか、および別の仮想オブジェクトまたは複数の仮想オブジェクトを提示するための空間があるかどうかである。この例では、特定の地理的場所は、高速道路上の広告板である場合があり、2つの仮想オブジェクトがすでに広告板上に存在する場合がある。したがって、エンティティは、他の仮想オブジェクトの存在に基づいて、そこに仮想コンテンツを提示しなくてもよい。別の例では、要求側エンティティは、広告板に近いが、視聴者を乱雑なコンテンツと混乱させるほど近くないエリアに、仮想コンテンツを提示することを選択することができる。いくつかの例では、機械学習モデルは、画像および/またはビデオから地理的場所の特性を決定するために、訓練例を使用して訓練され得る。このような訓練例の例としては、サンプル地理的場所のサンプル画像および/またはサンプルビデオが、サンプル地理的場所の特性を示すラベルとともに挙げられ得る。訓練された機械学習モデルは、画像データを分析して特定の地理的場所の特性を決定するために使用され得る。いくつかの例では、地理的場所の特性は、ユーザから(例えば、ユーザインターフェースを通じて)受信され得、メモリから読み取られ得、外部デバイスから受信され得、および/またはデータベースから取得され得る。
いくつかの開示される実施形態は、特定のコンテンツ配置ルールを実装して、特定のコンテンツ配置ルールの条件が満たされないときに複数のウェアラブルエクステンデッドリアリティ機器のうちの少なくともいくつかによる少なくとも1つの共有されたエクステンデッドリアリティ環境内の特定の地理的場所での仮想コンテンツの表示を防止することを含み得る。各ウェアラブルエクステンデッドリアリティ機器(またはそのユーザ)は、ルールに対してチェックされ得る。ルールを満たす機器またはユーザは、コンテンツを投稿することを許可されてもよく、そうでないものは禁止されてもよい。特定のコンテンツ配置ルールは、複数の共有されたエクステンデッドリアリティ環境に適用することができ、複数の関係者を含み得る。仮想コンテンツを提示する目的に応じて、2つ以上の共有されたエクステンデッドリアリティ環境があり得る。すべてではないが多くのユーザは、様々な種類の仮想コンテンツが表示され得るパブリック共有されたエクステンデッドリアリティ環境へのアクセスを有し得る。しかし、仮想コンテンツが限られた数のユーザ間でのみ共有され得る複数のプライベート共有されたエクステンデッドリアリティ環境もあり得る。例えば、1つのプライベート共有されたエクステンデッドリアリティ環境では、コンテンツは、友人または家族であり得る限られた数のユーザ間でのみ共有され得る。別の例では、同僚または学生である限られた数のユーザ間でコンテンツが共有され得るプライベート共有されたエクステンデッドリアリティ環境があり得る。いくつかの例では、特定のコンテンツ配置ルールを実装して、少なくとも1つの共有されたエクステンデッドリアリティ環境内の特定の地理的場所での仮想コンテンツの表示を防止することは、仮想コンテンツを少なくとも1つの共有されたエクステンデッドリアリティ環境に追加することを、すべてまたは少なくとも特定の地理的場所で回避することを含み得る。
特定の種類のコンテンツは、いくつかの共有されたエクステンデッドリアリティ環境では許可され得るが、このコンテンツは、特定の地理的場所における特定のコンテンツ配置ルールに基づいて、他の共有されたエクステンデッドリアリティ環境では許可されない場合がある。コンテンツ配置ルールは、コンテンツタイプ、時刻、仮想空間制約、および/または特定の地理的場所がパブリックもしくはプライベートであるかに基づき得る。コンテンツ配置ルールが満たされると、仮想コンテンツの表示が有効にされ得る。コンテンツ配置ルールが満たされないとき、仮想コンテンツの表示が防止され得る。例えば、広告は、パブリック共有されたエクステンデッドリアリティ環境では許可される場合があるが、プライベートなオフィス環境またはプライベートな友人もしくは家族の環境では許可されない場合がある。このようなプライベート環境は、ウェアラブルエクステンデッドリアリティ機器ユーザの自宅にある場合もあり、自宅に不要な広告を有さないことが望ましい場合がある。本システムは、コンテンツ配置ルールを使用して、不要なコンテンツを防止することができる。一例では、家庭、オフィス、および家族の環境におけるユーザ、すなわち、異なる共有されたエクステンデッドリアリティ環境における複数のユーザは、ビジネス関連のコンテンツなど、そのユーザが望むコンテンツを提示する能力を妨げる可能性があるため、パブリックコンテンツが提示されるのを防止することができる。この例では、プライベートなオフィス環境においてパブリックな広告を提示することは、従業員の気を散らす可能性がある。コンテンツの表示を防止し得るユーザのグループはまた、地方自治体または規制機関であってもよい。
いくつかの開示される実施形態は、特定のコンテンツ配置ルールを実装して、特定のコンテンツ配置ルールの条件が満たされたときに複数のウェアラブルエクステンデッドリアリティ機器のうちの少なくともいくつかによる少なくとも1つの共有されたエクステンデッドリアリティ環境内の特定の地理的場所での仮想コンテンツの表示を有効にすることを含み得る。いくつかの例では、特定のコンテンツ配置ルールを実装して、少なくとも1つの共有されたエクステンデッドリアリティ環境内の特定の地理的場所での仮想コンテンツの表示を有効にすることは、仮想コンテンツを特定の地理的場所で少なくとも1つの共有されたエクステンデッドリアリティ環境に追加することを含み得る。
いくつかの実施形態では、特定のコンテンツ配置ルールが満たされることを条件として、コンテンツを提示することを可能にすることができる。コンテンツ配置ルールは、コンテンツタイプ、時刻、仮想空間制約、および/または特定の地理的場所がパブリックもしくはプライベートであるかに基づき得る。コンテンツは、コンテンツ配置ルールが満たされたときに提示されてもよく、特定のコンテンツ配置ルールは、2つ以上の共有されたエクステンデッドリアリティ環境、すなわち、パブリックおよびプライベートの両方のエクステンデッドリアリティ環境に適用されてもよい。いくつかの実施形態では、複数のウェアラブルエクステンデッドリアリティ機器ユーザが、コンテンツ配置ルールを実装することができ、その複数のユーザは、どのコンテンツが提示され得、どのコンテンツが提示され得ないかを決定することができる。加えて、この複数のユーザは、仮想コンテンツがプライベートおよびパブリック共有されたエクステンデッドリアリティ環境の両方において提示され得るかどうかを決定することができる。
コンテンツ配置ルールは、すべてのユーザにとって有用で有益であり、かつ/または緊急情報を伝達するコンテンツに適用される場合がある。例えば、コンテンツ配置ルールは、悪天候がそのエリアに近づいているときなどの緊急事態において、ニュースおよび天気予報が表示されることを可能にし得る。一実施形態では、このコンテンツ配置ルールは、提示されることが要求されたパブリックコンテンツがすべてのユーザにとって有益であるとき、すなわち、緊急の気象関連情報を含むときに満たされ得、したがって提示されることが可能にされ得る。
複数のユーザ、すなわち地方自治体または規制機関は、どのパブリックコンテンツがプライベート共有されたエクステンデッドリアリティ環境において表示され得るかを決定することができる。加えて、このコンテンツが提示されることを許可することは、上述したコンテンツ配置ルールを満たすことができ、したがって、少なくともいくつかのプライベート共有されたエクステンデッドリアリティ環境によって提示され得る。各固有のコンテンツ配置ルールは、個々のウェアラブルエクステンデッドリアリティ機器ユーザまたは複数のユーザによって構成され得る。
いくつかの実施形態では、特定のコンテンツ配置ルールを実装して仮想コンテンツ表示を有効にすることは、特定の地理的場所に物理オブジェクトをオーバーレイするように仮想コンテンツを提示することを含み得る。特定の地理的場所に仮想コンテンツをオーバーレイするとき、少なくとも1つの物理オブジェクトおよび少なくとも1つの仮想オブジェクトがあり得る。仮想コンテンツをオーバーレイすることは、物理オブジェクトの上に仮想コンテンツを提示することを指すことがある。物理オブジェクトは、画面、標識、ポスター、壁、窓、または仮想コンテンツが表示され得る任意の他の物理オブジェクトであり得る。例えば、仮想コンテンツ表示を有効にするための特定のコンテンツ配置ルールは、仮想コンテンツが画面または他の平面上に提示されることを必要とし得る。利用可能な画面または他の平面がない場合、仮想コンテンツを提示するための要求は拒否され得る。別の例として、提示された仮想オブジェクトは、物理オブジェクトの上にオーバーレイされる前に別の仮想オブジェクトとドッキングされる場合があり、すなわち、2つの仮想オブジェクトは、画面などの物理オブジェクトの上に提示される前に互いにドッキングされる。例えば、提示された仮想コンテンツは、ビデオコンテンツなどの第1の仮想オブジェクトを含み得る。ビデオコンテンツとドッキングされ得る第2の仮想オブジェクトは、音量調整バーであり得る。特定の地理的場所におけるコンテンツ配置ルールは、コンテンツが物理オブジェクトの上にオーバーレイされ得る前に、第2の仮想オブジェクト、ここでは音量調整バーが仮想コンテンツに関連付けられなければならないことを規定し得る。コンテンツ配置ルールは、コンテンツが物理オブジェクトの上に提示される前に、第1の仮想オブジェクト(ビデオコンテンツ)と第2の仮想オブジェクト(音量バー)とが互いにドッキングされる場合に満たされ得る。この例では、コンテンツ配置ルールが満たされ、提示要求が許可され得る。別の例では、同じコンテンツ配置ルールが適用され、すなわち、コンテンツが物理オブジェクトの上に表示され得る前に、仮想オブジェクトが互いにドッキングされなければならない。この例では、第1の仮想オブジェクト(ビデオコンテンツ)が第2の仮想オブジェクト(音量調整バー)とドッキングされていない場合、コンテンツ配置ルールは満たされず、提示要求は拒否され得る。
いくつかの実施形態では、特定のコンテンツ配置ルールを実装して仮想コンテンツ表示を有効にすることは、仮想コンテンツを特定の地理的場所のエリア内に位置する物理オブジェクトにドッキングすることを含み得る。ドッキングは、仮想オブジェクトと物理オブジェクトとをリンク、テザリング、アタッチ、ペアリング、または何らかの方法で接続するアクションを指すことがある。仮想オブジェクトの例は、仮想画面(本明細書では「仮想ディスプレイ」または「仮想ディスプレイ画面」とも称される)であり、物理オブジェクトの例は、キーボードであり得る。ドッキングされると、仮想オブジェクトおよび物理オブジェクトは、連動して一緒に移動し、場所および/または向きを変更することができる。仮想オブジェクトは、他の仮想オブジェクトとドッキングされてもよい。
一実装形態では、物理オブジェクトは、移動可能である場合があり、いくつかの開示される実施形態は、新しい場所への物理オブジェクトの移動を示す入力を受信することと、新しい場所における仮想コンテンツの表示を有効にすることとをさらに含み得る。移動可能な物理オブジェクトは、そのサイズ、重量、向き、および/または他の特性に基づいて再配置することが可能であるものであり得る。移動可能なオブジェクトは、キーボード、マウス、タッチパッド、ポインティングデバイス、マイクロホン、鉛筆、ペン、スタイラス、ジョイスティック、人物、ロボット、および/またはウェアラブルエクステンデッドリアリティ機器ユーザが仮想オブジェクトとドッキングし得る任意の他のオブジェクトであり得る。
いくつかの実施形態では、物理オブジェクトの動きを示す入力は、物理オブジェクトに含まれるセンサから受信され得る。動きは、オブジェクトの位置に基づいて検出され得る。一例では、センサは、動きセンサ、画像センサ、および/または動きセンサと画像センサとの組み合わせであり得る。他のセンサを使用して物理オブジェクトの動きを決定する他の例は上述している。キャプチャされた動きまたは画像データは、物理オブジェクトが新しい場所に移動したと決定するために使用され得る。センサは、動きセンサが位置および/または向きの変化を正確にキャプチャし得るように、物理オブジェクトの任意の部分に位置することができ、画像センサは、場所の変化を信号伝達するように、色、明るさ、テクスチャ、および/または光の変化をキャプチャすることができる。動きセンサは、キーボードが新しい場所に移動したという信号を非一時的コンピュータ可読媒体に関連付けられたプロセッサに送信する物理オブジェクトに関連付けられてもよい。画像データはまた、例えば、エゴモーションアルゴリズムを使用して画像データを分析することによって、移動可能な物理オブジェクトが新しい場所に移動したと決定するために使用されてもよい。移動可能な物理オブジェクトが再配置されたと決定されると、仮想コンテンツが第2の場所に表示され得る。仮想コンテンツは、仮想オブジェクトが物理オブジェクトにドッキングされているため、第2の場所に表示され得る。
いくつかの開示される実施形態は、新しい地理的場所への物理オブジェクトの移動を示す入力を受信することをさらに含み得る。プロセッサは、例えば、物理オブジェクトから受信されたキャプチャされた画像もしくは動きデータに基づいて、または上述したような他の入力データに基づいて、物理オブジェクトが新しい地理的場所に移動したと決定することができる。例えば、画像データは、物理オブジェクトが新しい地理的場所に移動したと決定するためのエゴモーションアルゴリズムまたはエゴ位置決めアルゴリズムを使用して分析され得る。プロセッサはまた、GPSデータに基づいて物理的場所の変化を決定することができる。この例では、移動可能な物理オブジェクトの一部としてGPSが含まれる。
いくつかの開示される実施形態は、新しい地理的場所に基づいて第2のコンテンツ配置ルールを選択することをさらに含み得る。コンテンツ配置ルールは、2つの異なる地理的場所の間で変更する場合がある。第1の地理的場所はプライベートであってよく、第2の地理的場所はパブリックであってよい。コンテンツ配置ルールはまた、2つのパブリックな地理的場所の間で変更する場合がある。例えば、パブリックな場所の場合、第1の町は、第2の町と比較して異なるパブリックコンテンツ配置ルールを有し得る。いくつかの実施形態では、移動可能な物理オブジェクトは、第1の場所から第2の場所に移動され得る。物理オブジェクトは仮想オブジェクトとドッキングされているため、仮想オブジェクトも第2の場所に移動する。ここで、第2の場所は、第1の場所のコンテンツ配置ルールと比較して異なるコンテンツ配置ルールを有し得る。例えば、第1の場所はパブリックな場所であってもよく、第2の場所はプライベートであってもよい。パブリックな場所は、プライベートな場所と比較して異なるコンテンツ配置ルールを有し得る。例えば、広告は、第1のパブリックな場所では許可されるが、第2のプライベートな場所では許可されない場合がある。
いくつかの開示される実施形態は、第2のコンテンツ配置ルールを実装して、第2のコンテンツ配置ルールの条件が満たされないときに新しい地理的場所における仮想コンテンツの表示を防止することを含み得る。他の開示される実施形態はまた、第2のコンテンツ配置ルールを実装して、第2のコンテンツ配置ルールの条件が満たされたとき新しい地理的場所における仮想コンテンツの表示を有効にすることを含み得る。
いくつかの実施形態では、第1の特定の地理的場所におけるコンテンツ配置ルールが満たされ、コンテンツが提示されることを可能にすることができる。しかし、第2の特定の地理的場所におけるコンテンツ配置ルールが満たされない場合があり、コンテンツを提示するための要求が拒否される場合がある。コンテンツ配置ルールは、仮想コンテンツタイプ、仮想空間制限、時刻制限、および/またはパブリックもしくはプライベート共有されたエクステンデッドリアリティ空間制限を規定することができる。第2の特定の地理的場所は、同じ共有されたエクステンデッドリアリティ空間(すなわち、パブリックまたはプライベート)にある場合があり、異なる共有されたエクステンデッドリアリティ空間にある場合があり、かつ/または第1の特定の地理的場所の近くもしくはそれから離れて位置する場合がある。他の実施形態では、第1の地理的場所におけるコンテンツ配置ルールが満たされない場合があり、したがって、仮想コンテンツが提示されることが防止される。しかし、第2の特定の地理的場所におけるコンテンツ配置ルールが満たされる場合があり、したがって、仮想コンテンツが提示されることを可能にする。
例えば、広告は、第1のパブリックな場所では許可されるが、第2のプライベートな場所では許可されない場合がある。したがって、要求側エンティティは、第2のコンテンツ配置ルールが満たされていないため、第2のプライベートな場所に仮想コンテンツを提示することが防止され得る。上述した例では、要求側エンティティは、第2のコンテンツ配置ルールを満たさなかったため、第2の場所に仮想コンテンツを提示することができなかった。その例では、広告を提示することは、第1のパブリックな場所では許可されたが、第2のプライベートな場所では許可されなかった。しかし、別の例では、提示側エンティティは、パブリックな第1の場所とプライベートな第2の場所の両方において許可されたコンテンツを提示している場合がある。例えば、提示されたコンテンツは、パブリックユーザとプライベートユーザの両方に有益である天気予報であり得る。地方自治体または規制機関は、パブリックおよびプライベート共有されたエクステンデッドリアリティ環境の両方において、どのコンテンツが表示されることを許可されるかを決定することができる。この例では、プライベートな特定の地理的場所におけるコンテンツ配置ルールは、ニュースレポートが提示されることを許可するが、広告コンテンツが提示されることを防止する。したがって、第2の場所のコンテンツ配置ルールが満たされるため、コンテンツが提示され得る。ユーザがこのコンテンツを閲覧することを望まない場合、ユーザは、別の共有されたエクステンデッドリアリティ環境を作成し、ユーザが閲覧することを望まないコンテンツを除外することができる。このユーザは、ユーザが作成した新しいコンテンツ配置制限に基づいて、新しい共有されたエクステンデッドリアリティ環境に他のユーザを追加することができる。
いくつかの実施形態では、特定のコンテンツ配置ルールを実装して仮想コンテンツ表示を有効にすることは、仮想コンテンツに関連付けられたデータを記憶することと、データを特定の地理的場所に関連付けることとを含み得る。記憶されたデータは、表示されたコンテンツのコンテンツタイプ、すなわち、パブリックもしくはプライベートコンテンツ、非アニメーションもしくはアニメーションコンテンツ、すなわち、ビデオもしくはドキュメントコンテンツ、2次元もしくは3次元コンテンツ、および/またはコンテンツの表示サイズを含み得る。データは、非一時的コンピュータ可読媒体に経時的に記憶され得る。このデータは、経時的に、特定の地理的場所に関連付けられ得る。データは、データベースもしくはデータ構造内のレコードに配置されてもよく、かつ/または2つのアイテム(すなわち、要求された仮想コンテンツおよび特定の地理的場所)は、特定の地理的場所に関連付けられるために、データベース(キー値データベースなど)、データ構造、またはルックアップテーブル内でリンクされてもよい。例えば、エンティティは、1年の期間にわたって異なる特定の地理的場所に異なる種類の仮想コンテンツを提示することができる。エンティティは、毎回同じ場所に同じ種類の仮想コンテンツを提示する。したがって、1年の期間にわたって、非一時的コンピュータ可読媒体に関連付けられたプロセッサは、特定の仮想コンテンツをある特定の地理的場所に先取りして関連付けることができ、記憶されたデータに基づいて、コンテンツ表示を有効にするための特定のコンテンツ配置ルールが満たされるかまたは満たされないかを先取りして決定することができる。いくつかの実施形態では、機械学習アルゴリズムもまた、経時的に試験データを記憶するように実装されてもよく、その結果、プロセッサは、どの仮想コンテンツが表示されることを許可され得るか、およびどの仮想コンテンツが表示されることを防止され得るかを先取りして決定することができる。
例えば、エンティティは、パブリック共有された拡張空間内の特定の地理的場所に広告を3回または4回連続して提示することができる。ウェアラブルエクステンデッドリアリティ機器が第5の要求を受信すると、プロセッサは、コンテンツのエンティティの以前の配置に基づいて、コンテンツ配置ルールが満たされると自動的に決定することができる。
いくつかの実施形態では、特定のコンテンツ配置ルールを実装して仮想コンテンツ表示を有効にすることは、特定の地理的場所に仮想コンテンツを表示するための時間制限を決定することをさらに含み得る。時間制限は、特定の仮想コンテンツがどのくらい長く表示され得るかに関する上限を含み得る。時間制限は、表示されたコンテンツのコンテンツタイプ、すなわち、パブリックもしくはプライベートコンテンツ、非アニメーションもしくはアニメーションコンテンツ、2次元もしくは3次元コンテンツ、および/またはコンテンツの表示サイズに基づき得る。パブリックコンテンツは、特定の地理的場所におけるコンテンツ配置ルールに応じて、プライベートコンテンツと比較してより長い時間表示され得る。時間制限はまた、特定の時刻に結び付けられ得る。表示される仮想コンテンツに応じて、時間制限は、1時間または2時間などの設定された期間であってもよく、または朝、午後、夕方、または夜間などの時刻に基づいてもよい。時間制限は、通常の午前9時から午後5時までの労働時間に基づいてもよい。この例では、いくつかの仮想コンテンツは、労働時間内にのみ表示されるように時間制限されてもよく、いくつかの仮想コンテンツは、労働時間外にのみ表示されるように時間制限されてもよい。一例では、表示されるコンテンツは、パブリックであってもよく、町の広場または公園などの交通量の多いエリア内にあってもよい。人々が通勤するときなどのピーク時には、その特定の地理的場所における時間制限が短い場合がある。すなわち、仮想コンテンツは、より低い交通量期間よりもピーク交通量期間においてより短い時間にわたって表示され得る。
時間制限は、時間自体についても存在し得る。例えば、コンテンツは、夜または早朝に特定の地理的場所に表示されることが防止され得る。別の例では、特定の地理的場所におけるコンテンツ配置ルールは、労働時間に関連し得る。ここで、コンテンツ配置ルールは、労働時間外のいくつかのコンテンツを許可し、労働時間内にそのコンテンツを許可しない場合がある。このルール内に存在し得る仮想コンテンツは、バー、クラブ、または他の社交会合空間のためのパブリックな広告を含み得る。労働時間内にこれらの空間に関連する仮想コンテンツを提示することは、生産性を妨げる場合があり、したがって、共有されたエクステンデッドリアリティ環境では許可されない場合がある。
いくつかの実施形態では、特定のコンテンツ配置を実装することは、特定の地理的場所での表示のために仮想コンテンツを修正することを含み得る。コンテンツの表示を修正することは、特定の表示パラメータを低減すること、および/または表示されたコンテンツの主題を変更することを指すことがあり、無数の方法で生じ得る。コンテンツの表示を修正することは、非アニメーションコンテンツの明るさ、強度、または不透明度を低減すること、アニメーションコンテンツのフレームレートを低減すること、表示されたコンテンツの配色を変更すること、および/または仮想コンテンツの表示サイズを低減することを含み得る。コンテンツの表示を修正することはまた、特定の地理的場所における特定のコンテンツ配置制限を満たすために、コンテンツ自体を変更することを含み得る。例えば、コンテンツの表示を修正することは、広告内のキャラクタの性別を男性から女性に修正することを含み得る。
例えば、特定の地理的場所に仮想空間制約がある場合、エンティティは、提示された仮想コンテンツのサイズを修正することができる。エンティティはまた、提示された仮想コンテンツの色を変更して、特定の地理的場所要件を満たすことができる。例えば、オフィスまたは教室は、提示されたコンテンツに所望の配色を有し得る。コンテンツ自体も、場所に関連付けられた制限に基づいて変更され得る。例えば、学校または礼拝所が近くにある場合、コンテンツを提示することを望むエンティティは、提示されたコンテンツが不快でないことを確実にする必要があり得る。別の例では、アニメーション化されたコンテンツは、地理的制限がそれを必要とする場合、非アニメーションコンテンツに変更される必要があり得る。さらに別の例では、3次元コンテンツは、仮想空間制約を満たすように2次元コンテンツとして再構成される必要があり得る。
例として、図39は、コンテンツを表示するかどうかを決定する方法3910を示すフローチャート3910を示す。方法3910は、仮想コンテンツを表示するための要求をエンティティから受信するステップ3912を含み得る。方法3910はまた、エンティティの要求に関連付けられた情報を受信するステップ3914を含み得る。図38で説明するように、このような情報は、エンティティの身元に関する情報、エンティティの物理的場所に関する情報、所有権情報、所属情報、および/またはコンテンツタイプ情報を含み得る。方法3910はまた、特定のコンテンツ配置ルールを識別するステップ3916を含み得る。このようなルールは、エンティティが提示することを望むコンテンツの種類、および/またはそれがパブリックであるかプライベートであるかに基づき得る。方法3910はまた、コンテンツ配置ルールが満たされるかどうかを決定するステップ3918を含み得る。特定のコンテンツ配置ルールに関連付けられた条件が満たされない場合(ステップ3918:いいえ)、方法3910は、仮想コンテンツが特定の地理的場所に表示されることを防止され得る、ステップ3920を含み得る。しかし、方法3910はまた、プロセッサが、時刻情報および仮想空間制約情報などの進行中の情報を受信することができ、それに応じて要求側エンティティのクエリを再評価することができる、ステップ3922を含み得る。特定のコンテンツ配置ルールに関連付けられた条件が満たされた場合(ステップ3918:はい)、方法3910は、特定の地理的場所における仮想コンテンツの表示を有効にすることができる、ステップ3924を含み得る。方法3910はまた、追加情報を受信するステップ3926を含み得る。コンテンツ配置ルールが1つの特定の地理的場所で満たされても、コンテンツ配置ルールは、第2の地理的場所で満たされない場合がある。したがって、処理デバイス360、460、または560(図3、4、および5参照)は、情報を受信し続けるように構成され得る。
例として、図40は、エクステンデッドリアリティ環境におけるコンテンツ配置を管理するための例示的な方法4010を示すフローチャートである。プロセス4010は、入力ユニット202(図3に示すような)、XRユニット204(図4に示すような)、および/またはリモート処理ユニット208(図5に示すような)に関連付けられた1つまたは複数の処理デバイス(例えば、360、460、560)によって実行され得る。開示される方法4010のステップは、ステップを並べ替えること、および/またはステップを挿入もしくは削除することを含む、任意の方法で修正され得る。方法4010は、少なくとも1つの共有されたエクステンデッドリアリティ環境内の特定の地理的場所に仮想コンテンツを配置するための要求をエンティティから受信するステップ4012を含み得る。方法4010はまた、要求に関連付けられた情報を取得するステップ4014を含み得る。仮想コンテンツ配置要求を受信するエクステンデッドリアリティ機器は、エクステンデッドリアリティ環境コンテンツ配置4016(図38に示すような)に対する地理的制限を定義する複数のコンテンツ配置ルールにアクセスすることができる。方法4010はまた、特定の地理的場所に仮想コンテンツを配置するためのエンティティからの要求が、特定のコンテンツ配置値に対応すると決定するステップ4018を含み得る。要求を受信するエクステンデッドリアリティ機器は、特定のコンテンツ配置ルールを実装して、特定のコンテンツ配置ルールの条件が満たされないときに仮想コンテンツの表示を防止することができ(4020)、特定のコンテンツ配置ルールの条件が満たされたときに仮想コンテンツの表示を有効にすることができる。
いくつかの開示される実施形態は、仮想コンテンツを複数の閲覧者に提示することを含み得る。本開示の他の部分でより完全に説明するように、仮想コンテンツは、表示され得る情報の任意の非物理的表現を含み得る。仮想コンテンツは、2次元仮想オブジェクト、3次元仮想オブジェクト、アニメーション化されたコンテンツ、アニメーション化されていないコンテンツ、テキストデータ、または他のグラフィック表現を含み得る。仮想コンテンツは、物理的な部屋または仮想の部屋において物理的閲覧者および/または仮想閲覧者と共有されてもよい。仮想コンテンツの位置および/または向きは、最適なユーザ体験のための1つまたは複数の閲覧者の場所に基づいて決定されてもよい。エクステンデッドリアリティ機器を装着する複数の個人は、例えば、部屋内のすべての閲覧者に対して単一の場所における各閲覧者に表示され得る、仮想画面を提示されてもよく、各閲覧者は、同じコンテンツであるが、異なるパースペクティブから提示される。
いくつかの開示される実施形態は、部屋内に位置する複数のウェアラブルエクステンデッドリアリティ機器を示すセンサデータを受信することを含み得る。センサデータを受信することは、センサから出力されるか、またはセンサから出力された信号から得られる任意の種類のデータを収集すること、取得すること、集めること、または得ることを指すことがある。例えば、センサデータを受信することは、メモリからセンサデータを読み取ること、外部デバイスからセンサデータを受信すること、1つまたは複数のセンサからセンサデータを受信すること、1つまたは複数のセンサを使用してセンサデータをキャプチャすることなどのうちの少なくとも1つを含み得る。センサは、物理的環境または仮想環境からの入力を検出し、かつ/またはそれに応答するデバイスを指すことがある。部屋内に位置する複数のウェアラブルエクステンデッドリアリティ機器を示すセンサデータを提供するために使用され得るセンサの非限定的な例としては、画像センサ、オーディオセンサ、動きセンサ、温度センサ、振動センサ、赤外線センサ、LIDARセンサ、またはウェアラブルエクステンデッドリアリティ機器の存在および/もしくは身元を識別することが可能な任意の他のデバイスが挙げられ得る。位置決めセンサなど、複数のウェアラブルエクステンデッドリアリティ機器が部屋内にあることを示すセンサデータをキャプチャするために使用され得る、他のセンサが、上述されている。例えば、センサデータは、ウェアラブルエクステンデッドリアリティ機器に含まれるセンサを使用してキャプチャされたセンサデータを含んでもよく、サーバ(例えば、サーバ210)内のプロセッサは、ウェアラブルエクステンデッドリアリティ機器内の種々のプロセッサからセンサデータを受信してもよく、またはウェアラブルエクステンデッドリアリティ機器のうちの1つに含まれるプロセッサは、センサデータを受信してもよい。別の例では、センサデータは、部屋内に位置決めされた画像センサなど、いかなるウェアラブルエクステンデッドリアリティ機器にも含まれないセンサを使用してキャプチャされたセンサデータを含み得る。
部屋は、占有され得るか、または仮想コンテンツの表示などのイベントが発生し得る、エリア、場所、宿泊施設、または他の同様の空間を指すことがある。部屋は、仮想部屋、物理的部屋、または仮想空間と物理的空間の組み合わせであってもよい。例えば、例えば、画像センサから種々の時間にキャプチャされた複数の画像の形態におけるデータは、2つ以上のウェアラブルエクステンデッドリアリティ機器が物理的部屋または仮想部屋に物理的または仮想的に位置することを指し示し、表示し、または描写してもよい。例えば、部屋内に2つ、3つ、4つ、または5つのウェアラブルエクステンデッドリアリティ機器があってもよい。いくつかの例では、部屋は完全に仮想的であってもよく、他の例では、部屋は完全に物理的であってもよい。
例として、図41は、部屋4100に位置する複数のウェアラブルエクステンデッドリアリティ機器4102を示す。例えば、部屋4100は物理的な部屋であってもよく、複数のウェアラブルエクステンデッドリアリティ機器4102は2つのウェアラブルエクステンデッドリアリティ機器4102を含んでもよい。図41はまた、ウェアラブルエクステンデッドリアリティ機器4102を介して閲覧するために表示された位置4112における仮想オブジェクト4104を示す。第1のウェアラブルエクステンデッドリアリティ機器は第1の場所4106に位置し、第2のウェアラブルエクステンデッドリアリティ機器は第2の場所4108に位置する。備品4120および物理オブジェクト4124(例えば、花瓶)もこの例において存在する。この例では、センサ4114も存在する。
いくつかの実施形態では、センサデータは、第1のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器、または第3のウェアラブルエクステンデッドリアリティ機器のうちの少なくとも1つから受信され得る。開示される実施形態は、例えば、本明細書で説明する機能を提供するための少なくとも1つのプロセッサを含み得ることが、当業者には明らかなはずである。いくつかの実施形態では、少なくとも1つのプロセッサは、ウェアラブルエクステンデッドリアリティ機器に関連付けられ得る。ウェアラブルエクステンデッドリアリティ機器は、環境から(例えば、ウェアラブルエクステンデッドリアリティ機器に含まれる1つまたは複数のセンサを使用して)センサデータを取得し、センサデータ(またはセンサデータの一部)を例えばリモートサーバに送信するように構成され得る。いくつかの実施形態では、少なくとも1つのプロセッサは、1つまたは複数のウェアラブルエクステンデッドリアリティ機器に関連付けられたセンサからセンサデータを収集するように構成され得る。例えば、3つのエクステンデッドリアリティ機器が互いに近接している場合、それらのうちの1つまたは複数は、オンボードセンサから取得されたデータを送信することができる。例えば、ある機器内のセンサは、近接する他の機器を検出し、それらの存在を識別するデータおよび/またはそれらの特定の身元を反映する情報を送信することができる。各ウェアラブルエクステンデッドリアリティ機器は、1つまたは複数の他の機器を識別して、同じ部屋または共通の物理(または仮想)空間内に位置する機器の集合的なインジケーションを提供することができる。センサデータの送信は、リモートサーバを含んでも含まなくてもよい、1つまたは複数のネットワークを介して生じ得る。少なくとも1つのプロセッサは、ウェアラブルエクステンデッドリアリティ機器に関連付けられたセンサから、またはいくつかの他のセンサからセンサデータを受信することができる。少なくとも1つのプロセッサは、1つもしくは複数のプログラムまたはプログラム命令のセットを使用して、1つまたは複数のセンサから受信されたデータを分析することができる。例えば、センサデータは、第1のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器、または第3のウェアラブルエクステンデッドリアリティ機器からサーバ(例えば、サーバ210)内のプロセッサによって受信され得る。あるいは、センサデータは、第1のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器、および第3のウェアラブルエクステンデッドリアリティ機器からサーバ(例えば、サーバ210)内のプロセッサによって受信され得る。センサデータはまた、複数のウェアラブルエクステンデッドリアリティ機器の組み合わせからサーバ(例えば、サーバ210)内のプロセッサによって受信され得る。例えば、センサデータは、ウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサからの画像の形態であってもよく、またはウェアラブルエクステンデッドリアリティ機器に関連付けられた動きセンサからの動きを表す値の形態であってもよい。
いくつかの実施形態では、センサデータは、第1のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器、および第3のウェアラブルエクステンデッドリアリティ機器から分離されたセンサから受信され得る。センサは、分割されている、リンクされていない、接続されていない、またはそうでなければウェアラブルエクステンデッドリアリティ機器とは別個であるとき、ウェアラブルエクステンデッドリアリティ機器から「分離されている」と見なされ得る。ウェアラブルエクステンデッドリアリティ機器から分離され得るセンサの非限定的な例としては、部屋内に取り付けられたインフラストラクチャセンサ(例えば、物理的な会議室内に画像センサが設置されている場合がある)または部屋内に配置された移動可能なセンサが挙げられ得る。部屋内に配置される移動可能なセンサは、本明細書に開示する実施形態とともに使用するために構成される専用センサであってもよく、またはラップトップ、電話、もしくはウェアラブルエクステンデッドリアリティ機器以外のウェアラブルデバイスのカメラなど、一時的に部屋内にあるセンサであってもよい。
一例として、図42Aは、第1のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器、および第3のウェアラブルエクステンデッドリアリティ機器とは別個のセンサ4114(例えば、2つの異なる壁上の2つの画像センサ)を示す。例えば、物理的な会議室4100は、2つの異なる壁に設置された2つの画像センサ4114の形態のセンサ4114を有することができる。この例に示すように、第3のウェアラブルエクステンデッドリアリティ機器は第3の場所4210にある。この例における第3のウェアラブルエクステンデッドリアリティ機器は、ユーザの身元4218に関連付けられる。
いくつかの実施形態では、センサデータは、画像センサによってキャプチャされた画像データを含み得る。さらに、画像データは、第1のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器、または第3のウェアラブルエクステンデッドリアリティ機器のうちの少なくとも1つが部屋内に物理的に位置し得ると決定するために分析され得る。画像データの分析は、入力を受け取り、入力を処理し、結果を出力デバイスに出力する、一連の記憶された命令(例えば、プログラム)を実行するプロセッサを含み得る。例えば、少なくとも1つのプロセッサは、画像センサによってキャプチャされた画像データを受信することができ、次いで、画像データを分析するためにプログラムを実行することができる。例えば、特定のウェアラブルエクステンデッドリアリティ機器(例えば、第1、第2、または第3のウェアラブルエクステンデッドリアリティ機器)に含まれる画像センサを使用してキャプチャされた画像データは、特定のウェアラブルエクステンデッドリアリティ機器が部屋内にあると決定するための、エゴ位置決めアルゴリズム、エゴモーションアルゴリズム、または視覚オドメトリアルゴリズムを使用して分析され得る。別の例では、いずれのウェアラブルエクステンデッドリアリティ機器にも含まれない画像センサを使用してキャプチャされた画像データが、部屋内の第1、第2、または第3のウェアラブルエクステンデッドリアリティ機器のうちの少なくとも1つを識別するためのオブジェクト認識アルゴリズムを使用して分析され得る。
画像データの非限定的な例としては、部屋全体、部屋の一部、ウェアラブルエクステンデッドリアリティ機器、2つ以上のウェアラブルエクステンデッドリアリティ機器、または部屋内の他の物体もしくは人々の1つまたは複数の画像が挙げられ得る。あるいは、または加えて、センサデータは、オーディオセンサ(例えば、マイクロホン)からのオーディオデータ(例えば、音声信号から得られた情報)を含み得る。オーディオデータは、例えば、音を表してもよく、または音の派生物であってもよい。オーディオデータの非限定的な例としては、wave形式、mp3形式、またはWMA形式のファイルが挙げられ得る。あるいは、オーディオデータは、パターンまたはサウンドシグネチャなどのサウンドファイルから得られる情報であってもよい。マイクロホンは、音波を電気エネルギー変動に変換するための器具を指すことがあり、電気エネルギー変動は、次いで、増幅、送信、または記録され得る。マイクロホンの例としては、ダイナミックマイクロホン、コンデンサマイクロホン、およびリボンマイクロホンが挙げられ得る。このようなマイクロホンまたはマイクロホンから音声信号を受信するプロセッサのいずれかは、音声をデジタル的に処理することができる。例えば、オーディオセンサは、オーディオデータを収集するように構成されてもよく、オーディオデータは、次いで、オーディオセンサに関連付けられたプロセッサによって分析されてもよい。オーディオデータの分析は、音声を認識し、認識された音声を区別して、ウェアラブルエクステンデッドリアリティ機器のうちの少なくとも1つが部屋内に物理的に位置すると決定することができる。
例として、図42Aは、物理的な会議室4100内の2つの異なる壁上の2つの画像センサ4114の形態のセンサ4114を示す。例えば、複数のウェアラブルエクステンデッドリアリティ機器4102(例えば、3つのウェアラブルエクステンデッドリアリティ機器)が物理的な会議室4100内に物理的に位置していると決定するために、2つの画像センサ4114によってキャプチャされた画像のピクセルが互いに比較され得る。
いくつかの実施形態では、センサデータは、第1のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器、または第3のウェアラブルエクステンデッドリアリティ機器のうちの少なくとも1つが部屋内に仮想的に位置し得ると決定するために分析され得、部屋内に仮想的に位置する少なくとも1つのウェアラブルエクステンデッドリアリティ機器の決定された場所は、少なくとも1人のユーザのアバターの場所を反映する。機器は、その機器が部屋内に物理的に位置していないが、その部屋内に物理的に位置しているかのように(表示された情報を通じて)参加している場合、その部屋に仮想的に位置していると見なされ得る。仮想存在は、アバターによって表され得る。アバターは、ユーザを表す2次元または3次元の仮想図形または仮想アイコンを指すことがある。アバターの場所を「反映する」場所は、そのアバターの場所を示す、表現する、提示する、または同様に実証する場所を指すことがある。ユーザは、エクステンデッドリアリティ機器を装着する人物を指すことがある。少なくとも1つのウェアラブルエクステンデッドリアリティ機器の決定された場所は、座標系(例えば、直交座標系)内の位置または場所を指すことがある。例えば、画像センサによってキャプチャされた画像のピクセルは、ウェアラブルエクステンデッドリアリティ機器のうちの少なくとも1つが部屋内に仮想的に位置し得ると決定するために互いに比較され得る。例えば、部屋内に物理的に位置していないユーザは、部屋内の画像センサによって検出されない。これは、画像データを使用して、参加者が部屋内に仮想的に位置していると決定する1つの方法である。このような場合、他の参加者が物理的に部屋内に位置している間、アバターが参加者の代わりに仮想的に現れてもよい。アバターは、ユーザの仮想コピー、キャラクタ、またはユーザを表す任意の他の仮想オブジェクトであってもよい。例えば、アバターは、Yodaのエクステンデッドリアリティ表示であってもよい。少なくとも1つのウェアラブルエクステンデッドリアリティ機器の決定された場所は、少なくとも1人のユーザが異なる場所にいる場所であってもよい。
例として、図43は、物理的な会議室4100を示す。図43は、仮想オブジェクト4104を表示するための位置4112が、4つのウェアラブルエクステンデッドリアリティ機器と、仮想オブジェクト4104のビューを遮断する物理オブジェクト4124とを含む部屋4100に基づいて変更される場合があり、位置4112が変更することを示す。例えば、分離されたセンサ4114によってキャプチャされた画像のピクセルは、第4のウェアラブルエクステンデッドリアリティ機器4326が物理的な会議室4100内に仮想的に位置し、少なくとも1人のユーザのアバター4316の場所を反映すると決定するために互いに比較され得る。
いくつかの開示される実施形態は、仮想オブジェクトを複数のウェアラブルエクステンデッドリアリティ機器と共有するためのコマンドを受信することを含み得る。コマンドは、方向、順序、行為、または同様の要求、または意図もしくは必要性のインジケーションを指すことがある。仮想オブジェクトを共有することは、仮想オブジェクトを配布すること、付与すること、送信すること、提供すること、または同様の表示する行為を指すことがある。仮想オブジェクトは、ウェアラブルエクステンデッドリアリティ機器によってユーザに表示され得る任意の種類のデータ表現を指すことがある。仮想オブジェクトの非限定的な例は、非アニメーションのエクステンデッドリアリティディスプレイ、経時的にもしくはトリガに応答して変化するように構成されたアニメーションのエクステンデッドリアリティディスプレイ、仮想2次元コンテンツ、仮想3次元コンテンツ、物理的環境の一部もしくは物理オブジェクト上の仮想オーバーレイ、物理的環境もしくは物理オブジェクトへの仮想追加、仮想プロモーションコンテンツ、物理オブジェクトの仮想表現、物理的環境の仮想表現、仮想ドキュメント、仮想キャラクタもしくはペルソナ、仮想コンピュータ画面、仮想ウィジェット、または情報を仮想的に表示するための任意の他の形式であってもよい。一実施形態では、仮想オブジェクトは、限定された領域内のコンピュータによってレンダリングされ、特定の種類のオブジェクト(非アニメーションの仮想オブジェクト、アニメーションの仮想オブジェクト、仮想備品、仮想装飾オブジェクト、仮想ウィジェット、または他の仮想表現など)を表すように構成された視覚的提示であり得る。レンダリングされた視覚オブジェクトは、例えば、物理オブジェクトの外観の変化を模倣するように、ステータスオブジェクトに対する変更またはオブジェクトの視野角の変更を反映するように変更することができる。別の実施形態では、仮想オブジェクトは、情報を表示するように構成された仮想コンピュータ画面を含み得る。例えば、コマンドは、センサデータの分析から、または入力デバイスからの入力の分析から決定されてもよい。センサデータは、画像センサを使用してキャプチャされた画像データを含み得、画像のピクセルは、テキストが存在すること、またはユーザが信号に対応する方法でジェスチャしたと決定するために、少なくとも1つのプロセッサによって分析され得る。テキストおよび/または信号は、関連付けられたコマンドを決定するための比較のために、所定のテキストまたは画像に関連付けられ得る。いくつかの実施形態では、ユーザは、仮想オブジェクト(例えば、仮想ディスプレイ画面)を複数のウェアラブルエクステンデッドリアリティ機器と共有するためのコマンドを送信するために、「共有」と言い、キーボードもしくは画面上のキーを押下し、特定の認識可能なパターンで片眼または両眼を瞬きさせ、または頭部を移動させてもよい。仮想コンテンツを共有するためのこのようなコマンドの他の例は、本開示の他の部分で説明している。
例として、図41は、コマンドが受信され得る入力デバイス4128(例えば、物理キーボード)を示す。例えば、ユーザは、入力デバイス4128の1つまたは複数のキーを押して、仮想オブジェクト4104を複数のウェアラブルエクステンデッドリアリティ機器4102と共有するためのコマンドを示すことができる。コマンドは、複数のウェアラブルエクステンデッドリアリティ機器4102のうちのいずれか1つによって受信され、少なくとも1つのプロセッサによって入力デバイス4128から送信され得る。
いくつかの実施形態では、仮想オブジェクトは、入力デバイスを使用して入力されたテキストを提示するように構成された仮想ディスプレイ(本明細書では「仮想画面」または「仮想ディスプレイ画面」とも称される)であり得、仮想ディスプレイを表示するための位置を決定することは、入力デバイスの場所または入力デバイスの向きのうちの少なくとも1つにさらに基づき得る。本開示の他の部分においてより完全に説明するように、入力デバイスは、ボタン、キー、キーボード、コンピュータマウス、タッチパッド、タッチスクリーン、ジョイスティック、または入力が受信され得る任意の他の機構を含み得る。例えば、仮想ディスプレイを表示するための位置は、仮想ディスプレイと入力デバイスとの間の距離が入力デバイスからの選択された距離範囲内にあるように、または入力デバイスの選択された軸と仮想ディスプレイの法線との間の角度が選択された角度範囲内にあるように、入力デバイス(例えば、キーボード)の場所または入力デバイスの向きのうちの少なくとも1つに基づき得る。選択された距離範囲の非限定的な例は、1メートル、2メートル、または5メートルであってもよい。別の例では、仮想ディスプレイを表示するための位置は、入力デバイスがキーボードのユーザと仮想ディスプレイとの間になるように決定され得る。
いくつかの実施形態では、仮想オブジェクトは、入力デバイスを使用して入力されたテキストを提示するように構成された仮想ディスプレイ(本明細書では「仮想画面」または「仮想ディスプレイ画面」とも称される)であり得、入力デバイスは、物理的表面に位置決めされ得、仮想ディスプレイを表示するための位置を決定することは、物理的表面の特性にさらに基づき得る。いくつかの実施形態では、物理的表面は、例えば、物理オブジェクトの外面、上部、側面、外部、外方、または外側部分もしくは最上層を含み得る。物理的表面のいくつかの非限定的な例としては、テーブル、机、ベッド、床、カウンタ、壁、および表面を有する任意の他の物理オブジェクトが挙げられ得る。物理的特性は、特有の、先天的な、固有の、暗示的な、典型的な、または別の特徴もしくは品質である、品質または特質を指すことがある。物理的表面の特性の非限定的な例としては、物理的表面のサイズ、物理的表面の縁部の場所、物理的表面の種類、物理的表面のテクスチャ、物理的表面の形状、または物理的表面の任意の他の識別特徴が挙げられ得る。物理的表面の非限定的な例としては、ダイニングテーブル、机、バー、ベッド、椅子、床、本、または折り畳み式テーブルの表面が挙げられ得る。例えば、仮想オブジェクトは、ユーザがキーボードのキーをクリックしたときにテキスト(例えば、ユーザによってタイプされたテキスト)を提示するように構成された仮想ディスプレイ(本明細書では「仮想画面」または「仮想ディスプレイ画面」とも称される)であり得る。例えば、入力デバイスは、物理的表面(例えば、机)上に位置決められてもよく、仮想ディスプレイを表示するための決定された位置は、ベッドではなく机である物理的表面に基づいてもよい。机を使用するいくつかの例では、仮想ディスプレイは、ユーザから離れた机の端部に位置決めされ得る。このような場合、検出された机の縁部および/または机の側面は、仮想ディスプレイの位置を決定するのに役立ち得る。ベッドの物理的表面を有する他の例では、仮想ディスプレイは、ユーザがベッドに横たわり、上向きに見ることによって仮想ディスプレイを見ることができるように、ベッドの上方に位置決めされてもよい。
例として、図41は、入力デバイス4128(例えば、キーボード)を使用して入力されたテキストを提示するように構成された仮想ディスプレイとしての仮想オブジェクト4104を示す。仮想オブジェクト4104を表示するための位置4112は、仮想オブジェクト4104と入力デバイス4128との間の距離が選択された距離範囲内にあるように、入力デバイス4128の場所または入力デバイス4128の向きのうちの少なくとも1つに基づく。
いくつかの開示される実施形態は、センサデータを分析して、第1のウェアラブルエクステンデッドリアリティ機器の部屋内の第1の場所、第2のウェアラブルエクステンデッドリアリティ機器の部屋内の第2の場所、および第3のウェアラブルエクステンデッドリアリティ機器の部屋内の第3の場所を決定することを含み得る。任意の数(3つなど)のウェアラブルエクステンデッドリアリティ機器が、同じ部屋または共通空間内に共同設置されてもよい。それらの固有の場所に対応するパースペクティブから各々に情報を提示するために、または他の使用のために、それらの場所が決定され得る。この目的のために、前述した種類のセンサからのセンサデータが、各ウェアラブルエクステンデッドリアリティ機器の各場所を識別するために使用され得る。単一のセンサが、すべての機器の場所が決定され得る情報を検出してもよく、または複数のセンサからのデータが、各ウェアラブルエクステンデッドリアリティ機器の場所を決定するために集約されてもよい。場合によっては、ある機器内のセンサからのデータは、別の機器の場所を決定するために使用されてもよく、その逆も同様である。部屋の物理的属性も、場所の決定において使用され得る。例えば、センサデータは、部屋の角または部屋の他の物理的属性を識別するために使用されてもよく、ウェアラブルエクステンデッドリアリティ機器は、それらの物理的属性に対して位置し得る。他のこのような物理的属性の非限定的な例としては、備品または他のオブジェクトの配置が挙げられ得る。したがって、画像センサからの画像のピクセルは、例えば視覚オブジェクト位置特定アルゴリズムを使用して分析されて、第1のウェアラブルエクステンデッドリアリティ機器の部屋内の第1の場所、第2のウェアラブルエクステンデッドリアリティ機器の部屋内の第2の場所、および第3のウェアラブルエクステンデッドリアリティ機器の部屋内の第3の場所を決定することができる。別の例では、第1、第2、または第3のウェアラブルエクステンデッドリアリティ機器の場所は、グローバル座標系、エクステンデッドリアリティ環境の座標系などの座標系において決定され得る。
文脈のために、図42Aは、部屋4100を含み、部屋4100の一部または全体は、開示される実施形態に関して、部屋4100の一部を示すように、1つまたは複数の例で説明され得る。加えて、図42Aは、複数のウェアラブルエクステンデッドリアリティデバイス4102から分離されたセンサ4114を有する部屋4100を示す。具体的には、分離されたセンサ4114は、部屋4100内の2つの異なる壁上に2つの画像センサ4114を含む。例えば、分離されたセンサ4114からの画像のピクセルは、第1のウェアラブルエクステンデッドリアリティデバイスの部屋4100内の第1の場所4106、第2のウェアラブルエクステンデッドリアリティデバイスの部屋4100内の第2の場所4108、および第3のウェアラブルエクステンデッドリアリティデバイスの部屋4100内の第3の場所4210を決定するために分析され得る。
いくつかの開示される実施形態は、決定された第1の場所、決定された第2の場所、および決定された第3の場所に基づいて、部屋内に仮想オブジェクトを表示するための位置を決定することを含み得る。表示位置は、各ウェアラブルエクステンデッドリアリティ機器の場所に基づいて決定され得る。例えば、3つの機器が会議室のテーブルに並んで配置されている場合、プロセッサは、画面を表示するための最良の位置が、テーブルの垂直な側端ではなく、3つの機器の反対側であると決定することができる。このような決定は、各ウェアラブルエクステンデッドリアリティ機器の視野を考慮に入れることができる。場合によっては、決定は、部屋内の物品を考慮に入れてもよい。例えば、ホワイトボードを表示するイーゼルがウェアラブルエクステンデッドリアリティ機器のユーザのすぐ反対側にある場合、決定された配置は、イーゼル上のホワイトボードを遮らないようなものであり得る。決定された場所に基づいて部屋内に仮想オブジェクトを表示するための位置の非限定的な例としては、決定された場所の間の位置、決定された場所の間の交差の位置、決定された場所のうちの1つにより近い位置、決定された場所のうちの2つにより近い位置、決定された場所から最も離れた位置、または決定された場所に最も近い位置が挙げられ得る。例えば、3つの決定された場所が三角形を形成する場合、部屋内に仮想オブジェクトを表示するための位置は、三角形の中央にあり得る。別の例では、3つの決定された場所が単一の行または列を形成するとき、部屋内に仮想オブジェクトを表示するための位置は、その行または列と平行であり、その行または列の前にあり得る。
例として、図42Aは、決定された第1の場所4106、決定された第2の場所4108、および決定された第3の場所4210に基づいて、部屋4100内に仮想オブジェクト4104を表示するための決定された位置4112を示す。例えば、決定された位置4112は、決定された第1の場所4106と、決定された第2の場所4108と、決定された第3の場所4210との間の部屋4100の角にある。
いくつかの実施形態では、仮想オブジェクトを表示するための決定された位置は、部屋内の仮想オブジェクトの決定された向きを含み得、追加のセンサデータは、第1のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器、または第3のウェアラブルエクステンデッドリアリティ機器のうちの少なくとも2つが向きまたは場所を変更したと決定するために分析され得、仮想オブジェクトの決定された向きを調整することは、向きまたは場所の変更に基づき得る。向きは、オブジェクトまたは個人の方向または相対位置を指すことがある。個人は、時間の経過とともに、焦点を移動させたり、体を回転させたり、姿勢を変えたりすることによって、向きを変える傾向がある。それらが行われるとき、変更は仮想提示に影響を与え得る。同様に、個人は、ある地点から別の地点に移動することによって場所を変えることができる。センサデータは、ウェアラブル仮想現実機器のうちの1つまたは複数が向きまたは場所を変更したと決定するために使用されてもよく、例えば、ユーザの身体位置が右に向くようにユーザが椅子で移動し、別のユーザの身体位置が左に移動する場合、向きの動きが検出されてもよく、仮想ディスプレイが新しい位置に適応するように移動し得る。このような向きの変化は、前述したセンサのうちの1つまたは複数からの画像データの分析に基づいて決定されてもよく、仮想オブジェクトは、1人または複数のユーザの向きの変化に適応するように再配向されてもよい。場所変更に対しても同様の調整が行われ得る。例えば、2人のユーザが部屋の一方の側から第3のユーザにより近い別の側に移動した場合、元々部屋の中心にあった仮想ディスプレイは、再配向されたグループの中心に向かって移動し得る。あるいは、グループが仮想オブジェクトを囲み、囲みの中心が変化するようにグループメンバーの一部が移動する場合、仮想オブジェクトは新しい中心に向かって移動し得る。さらに、画像センサからの追加の画像からのピクセルが、第1のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器、または第3のウェアラブルエクステンデッドリアリティ機器(機器を装着している人を含み得る)のうちの少なくとも2つが向きを(例えば、部屋の中心に向くことから部屋のドアに向くことに)変更したと決定するために分析され得る。いくつかの実施形態では、仮想オブジェクトの決定された向きは、仮想オブジェクトが部屋のドアにも向くように、向きの変化に基づいて調整され得る。
例として、図41は、部屋4100内の仮想オブジェクト4104の決定された向き(例えば、2人のユーザに向く)を含み得る、仮想オブジェクト4104を表示するための決定された位置4112を示す。例えば、ウェアラブルエクステンデッドリアリティ機器から分離されたセンサ4114からの追加の画像からの画像のピクセルは、第1のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器、または第3のウェアラブルエクステンデッドリアリティ機器のうちの少なくとも2つが(例えば、2人のユーザに向くことから3人のユーザに向くことに)向きを変更したと決定するために、少なくとも1つのプロセッサによって分析され得る。仮想オブジェクト4104の決定された向きは、仮想オブジェクト4104が依然としてユーザに向くように、向きの変化に基づいて、部屋4100内の3人のユーザに向くように調整され得る。
例として、図41は、部屋4100内の仮想オブジェクト4104の決定された場所(例えば、部屋4100の角)を含む仮想オブジェクト4104を表示するための決定された位置4112を示す。例えば、ウェアラブルエクステンデッドリアリティ機器から分離されたセンサ4114からの追加の画像からのピクセルは、第1のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器、または第3のウェアラブルエクステンデッドリアリティ機器のうちの少なくとも2つが場所を変更した(例えば、第3のユーザが部屋に入った)と決定するために分析され得る。仮想オブジェクト4104の決定された場所は、仮想オブジェクト4104が遮蔽されないように、場所の変更に基づいて部屋4100内で調整され得る。
いくつかの開示される実施形態は、第1のウェアラブルエクステンデッドリアリティ機器を通じて、決定された位置に仮想オブジェクトの第1の表示を生じさせることを含み得、第1の表示は、第1のパースペクティブからレンダリングされる。加えて、他の開示される実施形態は、第2のウェアラブルエクステンデッドリアリティ機器を通じて、決定された位置に仮想オブジェクトの第2の表示を生じさせることを含み得、第2の表示は、第1のパースペクティブとは異なる第2のパースペクティブからレンダリングされる。またさらに、追加の開示される実施形態は、第3のウェアラブルエクステンデッドリアリティ機器を通じて、決定された位置に仮想オブジェクトの第3の表示を生じさせることを含み得、第3の表示は、第1のパースペクティブおよび第2のパースペクティブとは異なる第3のパースペクティブからレンダリングされる。パースペクティブからレンダリングされる表示は、角度、アスペクト、コンテキスト、視座、または同様の視点に起因して、またはそのために、配信され、示され、または提示される表示を指すことがある。いくつかの実施形態では、パースペクティブは、現実世界に現れるように仮想世界でシミュレートされる。現実世界では、同じ部屋の異なる場所に座ってオブジェクトを閲覧している3人の個人は、それぞれの相対位置に応じて、オブジェクトを幾分異なって見ることになる。いくつかの開示される実施形態では、少なくとも1つのプロセッサ上で動作するコンピュータ可読媒体は、センサからデータを収集して、エクステンデッドリアリティ機器の種々の装着者の種々の場所または向きを決定し、それぞれのビューを異なるようにレンダリングして、それぞれの向きから現実のオブジェクトを閲覧した場合に見えるであろうパースペクティブを効果的にシミュレートする。パースペクティブからレンダリングされる表示の非限定的な例としては、ユーザの焦点から左、中央、右、より高い位置、またはより低い位置に位置決めされた表示が挙げられ得る。独自のパースペクティブからレンダリングされた仮想オブジェクトの第1の表示、仮想オブジェクトの第2の表示、および仮想オブジェクトの第3の表示は、それぞれ、同じ表示であり得る。あるいは、独自のパースペクティブからレンダリングされた仮想オブジェクトの第1の表示、仮想オブジェクトの第2の表示、および仮想オブジェクトの第3の表示は、それぞれ、異なるバージョンの表示であり得る。例えば、第1のパースペクティブからレンダリングされた、第1のウェアラブルエクステンデッドリアリティ機器を通じた決定された位置における仮想オブジェクトの第1の表示は、ウェアラブルエクステンデッドリアリティ機器に対してより低い高さに位置決めされた仮想オブジェクトのものであってもよい。別の例として、第2のパースペクティブからレンダリングされた、第2のウェアラブルエクステンデッドリアリティ機器を通じた決定された位置における仮想オブジェクトの第2の表示は、ウェアラブルエクステンデッドリアリティ機器に対してより高く、かつウェアラブルエクステンデッドリアリティ機器の真正面に位置決めされた仮想オブジェクトのものであってもよい。さらに別の例として、第3のパースペクティブからレンダリングされた、第3のウェアラブルエクステンデッドリアリティ機器を通じた決定された位置における仮想オブジェクトの第3の表示は、ウェアラブルエクステンデッドリアリティ機器に対してより高く、かつウェアラブルエクステンデッドリアリティ機器の側面に位置決めされた仮想オブジェクトのものであってもよい。いくつかの例では、第1のパースペクティブ、第2のパースペクティブ、および第3のパースペクティブは、第1、第2、および第3のウェアラブルエクステンデッドリアリティ機器のユーザがすべて、部屋内の同じ第1の位置における仮想オブジェクトの第1の部分、部屋内の同じ第2の位置における仮想オブジェクトの第2の部分、および部屋内の同じ第3の位置における仮想オブジェクトの第3の部分を見ることができるように選択され得る。例えば、第1のパースペクティブ、第2のパースペクティブ、および第3のパースペクティブは、部屋内の種々の位置から(例えば、それぞれ、第1、第2、および第3のウェアラブルエクステンデッドリアリティ機器の位置から)閲覧されるときに、オブジェクトの種々の投影を模倣するように選択されてもよい。
例として、図42Bは、第1のウェアラブルエクステンデッドリアリティ機器を通じた、決定された位置4112における仮想オブジェクト4104の第1の表示を示す。この例では、第1の表示は、仮想オブジェクト4104の左側が右側よりも第1のウェアラブルエクステンデッドリアリティ機器に近い角度に位置決めされた仮想オブジェクト4104の第1のパースペクティブからレンダリングされ得る。例として、図42Bはまた、第2のウェアラブルエクステンデッドリアリティ機器を通じた、決定された位置4112における仮想オブジェクト4104の第2の表示を示す。この例では、第2の表示は、仮想オブジェクト4104の右側が仮想オブジェクト4104の左側とほぼ同じくらい近い仮想オブジェクト4104の第2のパースペクティブからレンダリングされ得る。例として、図42Bは、第3のウェアラブルエクステンデッドリアリティ機器を通じた、決定された位置4112における仮想オブジェクト4104の第3の表示を示す。この例では、第3の表示は、仮想オブジェクト4104の右側が左側よりも第3のウェアラブルエクステンデッドリアリティ機器に近い位置に位置決めされた仮想オブジェクト4104の第3のパースペクティブからレンダリングされ得る。
いくつかの開示される実施形態は、第1のウェアラブルエクステンデッドリアリティ機器のユーザ、第2のウェアラブルエクステンデッドリアリティ機器のユーザ、または第3のウェアラブルエクステンデッドリアリティ機器のユーザのうちの少なくとも1人の身元を決定することを含み得、仮想オブジェクトを表示するための位置を決定することは、少なくとも1人のユーザの身元にさらに基づき得る。各ユーザは、異なる身体特性および異なる選好を有し得る。システムは、それらの特性および選好に関する情報を記憶し、それらに基づいて表示を変更することができる。例えば、一部のユーザは、画面からより遠くに座ることを好む場合がある。他のユーザは、2つの隣接する画面を直線配置ではなく角度を付けて閲覧することを好む場合がある。例えば、特定のユーザを識別することによって、ルックアップが、ユーザの特性/選好のデータ構造内で生じてもよく、仮想ディスプレイは、それに応じてユーザごとに調整されてもよい。
別の例として、少なくとも1人のユーザの身元は、ステータスもしくはタイトルまたは他の分類を指すことがある。同じ仮想部屋内の個人に表示される情報は、クラスに基づいて異なり得る。例えば、上層クラスには、他の人に提示され得ない財務データが提示され得る。身元の非限定的な例としては、上司、管理者、従業員、パートナー、同僚、所有者、非従業員、独立請負業者、ライセンシー、ライセンサー、または親族が挙げられ得る。同じデータが、身元に基づいて異なって提示されてもよい。例えば、ユーザの身元がパートナーの身元である場合、仮想オブジェクトを表示するための位置は、パートナーが仮想オブジェクトの最良のまたは最もクリアなビューを有するように、パートナーの真正面またはより近くにあり得る。
例として、図42Aは、第1のウェアラブルエクステンデッドリアリティ機器のユーザ、第2のウェアラブルエクステンデッドリアリティ機器のユーザ、または第3のウェアラブルエクステンデッドリアリティ機器のユーザのうちの少なくとも1人の身元4218(例えば、パートナー)を示す。例えば、ユーザの決定された身元4218がパートナーであるとき、仮想オブジェクト4104を表示するための位置4112は、パートナーのためのクリアビュー内にあり得る。
いくつかの開示される実施形態は、第1のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器、または第3のウェアラブルエクステンデッドリアリティ機器の少なくとも1人のユーザの身体特性を決定することを含み得、仮想オブジェクトを表示するための位置を決定することは、少なくとも1人のユーザの身体特性にさらに基づき得る。身体特性の非限定的な例としては、少なくとも1人のユーザの身長または少なくとも1人のユーザの障害が挙げられ得る。例えば、ユーザの決定された身体特性が、背が高い(これは、ユーザがより高い視座からオブジェクトを見ることに慣れていることを意味する)場合、仮想オブジェクトは、その背の高いユーザのウェアラブルエクステンデッドリアリティ機器の視野のより低い位置に提示されてもよい。決定された身体特性が、ユーザが近視であることである場合、仮想オブジェクトを表示するための位置は、ユーザが仮想オブジェクトを明確に見ることができるように、そのユーザにより近くてもよい。例えば、決定された身体特性が、少なくとも1人のユーザが聴覚に問題があるというものである場合、仮想オブジェクトを表示するための位置は、仮想オブジェクトに関連付けられた音がユーザにより近くなるように、少なくとも1人のユーザにより近くなり得る。
いくつかの開示される実施形態は、部屋内の備品の1つまたは複数の物理的場所を含み得る部屋のレイアウトを決定することを含み得、仮想オブジェクトを表示するための位置は、部屋のレイアウトに基づいてさらに決定され得る。レイアウトは、部屋が設定される配置、形式、構成、設計、または方法を指すことがある。レイアウトの例としては、4つの椅子、机、およびプレゼンテーションボードが挙げられ得る。備品の非限定的な例としては、1つまたは複数の椅子、机、植物、およびプレゼンテーションボードが挙げられ得る。仮想オブジェクト(例えば、仮想ディスプレイ画面)の位置は、部屋のレイアウトに基づいて決定され得る。4つの椅子がU字形に配置されていると(前述したセンサおよび処理によって)検出された場合、プロセッサは、仮想画面などの仮想オブジェクトがUの開放端の反対側に位置決めされるべきであると決定することができる。一例では、仮想オブジェクトを表示するための位置は、部屋内の備品による仮想オブジェクトの少なくとも一部の遮蔽を回避するように戦略的に配置されてもよい。別の例では、仮想オブジェクトの位置は、壁またはテーブルなどのオブジェクトの表面上にあってもよい。さらに別の例では、部屋に出入りする人物が仮想オブジェクトと衝突することを回避するように仮想オブジェクトを位置決めするときに、部屋へのドアなどの出口が考慮に入れられ得る。
例として、図42Aは、部屋4100内の備品4120の1つまたは複数の物理的場所を含み得る部屋4100のレイアウトを示す。例えば、部屋4100のレイアウトは、2つの椅子、机、および植物の花瓶(物理オブジェクト4124の一例として機能する)を含み得る。さらに、仮想オブジェクト4104を表示するための位置4112が、備品4120の1つまたは複数の物理的場所を含み得る部屋4100のレイアウトに基づいてさらに決定され得る。有利なことに、仮想オブジェクト4104を表示するための位置4112は、部屋4100内の備品4120の1つまたは複数の物理的場所の前にあってもよい。
いくつかの開示される実施形態は、部屋内の照明条件を決定することを含み得、仮想オブジェクトを表示するための位置は、照明条件に基づいてさらに決定され得る。照明条件は、部屋の明るさ、放射輝度、きらめき、白熱、または同様の照明レベルの状態を指すことがある。照明条件の非限定的な例としては、単一の部屋内の2つの頭上照明の照明レベルが挙げられ得る。例えば、グレアを回避するために、仮想オブジェクト(例えば、仮想ディスプレイ画面)を表示するための位置は、表示のための位置がユーザに対する直接光源を回避するように、照明条件に基づき得る。別の例では、部屋内の決定された照明条件は、仮想オブジェクト(例えば、仮想動画画面)を表示するための位置が薄暗さまたは暗さに基づき、部屋内のより暗いエリアに位置決めされるように、薄暗さまたは暗さであり得る。あるいは、別の例では、部屋内の決定された照明条件は、仮想オブジェクト(例えば、テキストドキュメントを有する仮想オブジェクト)を表示するための位置が、明るい条件に基づき、ユーザがテキストをより容易に読むために部屋内のより明るいエリアに位置決めされるように、明るいかまたはよく照らされ得る。さらに別の例では、決定された照明条件は、陰影付きエリアと陰影なしエリアとの間の境界の場所を含み得、仮想オブジェクトを表示するための位置は、仮想オブジェクトが境界を越えないように決定され得る。さらに、別の例では、決定された照明条件は、境界が(例えば、太陽の動きに起因して)移動しようとしているというインジケーションを含み得、仮想オブジェクトを表示するための位置は、仮想オブジェクトが選択された持続時間中に境界を越えないように決定され得る。
例として、図44は、部屋4100内の照明条件4422を示す。照明条件4422は、部屋4100内の2つの張り出し照明によって提供され得る。例えば、仮想オブジェクト4104を表示するための位置4112は、決定された位置4112がウェアラブルエクステンデッドリアリティ機器のユーザに対するグレアまたは直接光源を回避するように、照明条件4422に基づいてさらに決定され得る。
いくつかの開示される実施形態は、仮想オブジェクトの種類を決定することを含み得、仮想オブジェクトを表示するための位置は、仮想オブジェクトの種類に基づいてさらに決定され得る。仮想オブジェクトの種類の非限定的な例としては、アニメーションの仮想オブジェクト、非アニメーションの仮想オブジェクト、2次元仮想オブジェクト、3次元仮想オブジェクト、仮想キャラクタ、仮想環境、仮想ドキュメント、仮想ディスプレイ画面、仮想ウィジェット、または物理的環境もしくは物理オブジェクトの一部もしくは全体の仮想オーバーレイが挙げられ得る。例えば、仮想オブジェクトの決定された種類は、仮想ディスプレイ画面であってもよく、仮想ディスプレイ画面を表示するための位置は、例えば、仮想オブジェクトが仮想2次元仮想ディスプレイ画面であるため、部屋の壁で決定されてもよい。別の例では、仮想オブジェクトの決定された種類は、3次元製品であってもよく、仮想ソーラーシステムを表示するための位置は、3次元仮想閲覧を可能にするように、部屋の中央で決定されてもよい。さらに別の例では、仮想オブジェクトの決定された種類は、仮想雨であってもよく、仮想雨を表示するための位置は、例えば、仮想オブジェクトの種類が雨であるため、部屋の上部から落下または発生し、部屋の地面に落下するものとして決定されてもよい。
例として、図41は、仮想オブジェクト4104の種類(例えば、仮想ディスプレイ画面、2次元仮想オブジェクト、3次元仮想オブジェクトなど)を示しており、仮想オブジェクト4104を表示するための位置4112は、仮想オブジェクト4104の種類に基づいてさらに決定され得る。例えば、仮想オブジェクト4104の決定された種類は仮想ディスプレイ画面であり得、仮想オブジェクト4104を表示するための位置4112は、仮想2次元オブジェクトとして部屋の角に決定され得る。
いくつかの開示される実施形態は、センサデータを分析して、部屋内の物理オブジェクトを識別することを含み得、仮想オブジェクトを表示するための位置は、第1の表示、第2の表示、および第3の表示のいずれも物理オブジェクトによって遮蔽され得ないように決定され得る。レイキャスティングアルゴリズムは、第1の表示、第2の表示、および第3の表示のいずれも物理オブジェクトによって遮蔽されない位置を決定するために使用され得る。遮蔽されたとは、遮断された、防止された、または同様の閉塞を指すことがある。物理オブジェクトの非限定的な例は、ユーザ、備品(例えば、椅子、テーブル、またはドア)、ラップトップ、食品、飲料、プレゼンテーションボードであり得る。例えば、物理オブジェクト(例えば、椅子の列)を識別するために、画像センサからの画像のピクセルが分析され得る。さらに、仮想オブジェクト(例えば、仮想ディスプレイ画面)を表示するための位置は、第1の表示、第2の表示、および第3の表示のいずれも椅子の列によって遮蔽され得ないように、部屋の壁上でより高くなるように決定され得る。別の例では、物理オブジェクト(例えば、プレゼンテーションボード)を識別するために、画像センサからの画像のピクセルが分析され得る。さらに、第1の表示、第2の表示、および第3の表示のいずれもプレゼンテーションボードによって遮蔽されないように、仮想オブジェクトを表示するための位置が少し左に移動されるように決定され得る。
一例として、図43は、分離されたセンサ4114、および物理オブジェクト4124を有する部屋4100を示す。例えば、分離されたセンサ4114からの画像のピクセルは、物理オブジェクト4124を識別するために分析され得る。さらに、仮想オブジェクト4124を表示するための位置4112は、第1の表示、第2の表示、および第3の表示のいずれも物理オブジェクト4124によって遮蔽されないように、物理オブジェクト4124の左に移動されるように決定され得る。
いくつかの開示される実施形態は、センサデータを分析して、部屋内の物理オブジェクトを識別することを含み得、仮想オブジェクトを表示するための位置は、第1の表示、第2の表示、および第3の表示のいずれも物理オブジェクトを遮蔽しないように決定され得る。例えば、物理オブジェクト(例えば、ユーザ、植物、アートワーク、または備品)を識別するために、画像センサからの画像のピクセルが分析され得る。さらに、仮想オブジェクト(例えば、仮想ディスプレイ画面)を表示するための位置は、第1の表示、第2の表示、および第3の表示のいずれもユーザを遮蔽しないように、ユーザから離れるように移行または移動するように決定され得る。レイキャスティングアルゴリズムは、第1の表示、第2の表示、および第3の表示のいずれも物理オブジェクトを遮蔽しない位置を決定するために使用され得る。
一例として、図43は、分離されたセンサ4114、および物理オブジェクト4124を有する部屋4100を示す。例えば、分離されたセンサ4114からの画像のピクセルは、物理オブジェクト4124を識別するために分析され得る。さらに、仮想オブジェクト4124を表示するための位置4112は、第1の表示、第2の表示、および第3の表示のいずれも物理オブジェクト4124を遮蔽しないように、物理オブジェクト4124の左に移動されるように決定され得る。
いくつかの実施形態では、仮想オブジェクトの第1の表示、仮想オブジェクトの第2の表示、および仮想オブジェクトの第3の表示は、仮想オブジェクトの単一のバージョンに関連付けられ得る。加えて、第1のウェアラブルエクステンデッドリアリティ機器のユーザによって仮想オブジェクトに導入された変更が検出され得る。さらに、第2の表示および第3の表示は、第1のウェアラブルエクステンデッドリアリティ機器のユーザによって導入された仮想オブジェクトに対する変更を反映するように更新され得る。表示は、種々のパースペクティブから閲覧した場合であっても、各表示が同じ主題を提示する場合、単一のバージョンに関連付けられ得る。ユーザは、材料を追加し、オブジェクトを仮想的に描画もしくは着色し、オブジェクトを回転もしくは平行移動させ、または他の方法でオブジェクトを修正することができる変更を導入することができる。すべてのユーザに単一のバージョンが提示され、その単一のバージョンが1人のユーザによって変更されるとき、その変更は、各ユーザのウェアラブルエクステンデッドリアリティ機器を通じて他のユーザに表示され得る。例えば、仮想オブジェクト(例えば、仮想ディスプレイ画面)の第1の表示、仮想オブジェクトの第2の表示、および仮想オブジェクトの第3の表示は、1人のユーザが仮想オブジェクトに変更を加えた後でも、各表示が各ユーザと同一であるように、仮想オブジェクトの単一のバージョン(例えば、単一のビュー)に関連付けられ得る。加えて、第1のウェアラブルエクステンデッドリアリティ機器のユーザは、仮想ディスプレイ画面上の仮想スライドショーの仮想スライド間を前進していてもよく、この変化は、第1のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器、および第3のウェアラブルエクステンデッドリアリティ機器のうちの少なくとも1つに接続されたセンサによって検出されてもよい。別の例では、仮想オブジェクトは仮想ディスプレイであり得、変更は、物理キーボードを使用して第1のユーザによって入力されたテキストの提示を含み得る。別の例では、変更はマーキング用具の使用によって導入され得る。さらに、第2の表示および第3の表示は、第1のウェアラブルエクステンデッドリアリティ機器のユーザによって導入された仮想提示の新しい仮想スライドを反映するように更新され得る。
いくつかの実施形態では、仮想オブジェクトの第1の表示、仮想オブジェクトの第2の表示、および仮想オブジェクトの第3の表示は、仮想オブジェクトの種々のバージョンに関連付けられ得る。加えて、第1のウェアラブルエクステンデッドリアリティ機器のユーザに関連付けられたプロファイル、第2のウェアラブルエクステンデッドリアリティ機器のユーザに関連付けられたプロファイル、および第3のウェアラブルエクステンデッドリアリティ機器のユーザに関連付けられたプロファイルが取得され得る。さらに、各ユーザに関連付けられたプロファイルに基づいた仮想オブジェクトのパーソナライズされたバージョンが決定され得る。前述の例では、仮想オブジェクトの単一のバージョンがすべてのユーザに提示された。この例では、各ユーザに、ユーザの選好に応じて固有のバージョンが提示され得る。例えば、一部のユーザは、色の選好を有する場合があり、その選好は、データ構造内のその選好のルックアップを介してそれらの固有の提示に持ち越される場合があり、次いで、データ構造は、それらの選好に対応するように表示を変更させる。他のユーザは、自分の仮想コンテンツを他のユーザとは異なって表示させ得る障害を有する場合がある。例えば、発作のリスクを回避するために、てんかんを有する個人の仮想ディスプレイ上で点滅および閃光が回避され得る。単語間隔は、失読症を有する個人のディスプレイ上で変化する場合がある。これらは、仮想オブジェクトがどのように表示されるかを決定するためにアクセスされるデータ構造に記憶され得るプロファイル情報の単なる例である。
種々のバージョンは、仮想オブジェクトの種々の詳細を指すことがある。言い換えれば、種々のバージョンは、仮想オブジェクトの種々の視点を提示することができる。したがって、表示は、許可レベル(例えば、最高機密)、アクセス可能性の制限(例えば、機密情報)、または配色もしくは障害に対する選好(例えば、色覚異常)のインジケーションを含み得る、プロファイルによって影響され得る。例えば、仮想オブジェクトの第1の表示、仮想オブジェクトの第2の表示、および仮想オブジェクトの第3の表示は、仮想オブジェクトの種々のバージョンに関連付けられ得る。ウェアラブルエクステンデッドリアリティ機器の各ユーザについてのプロファイルが取得され得る。例えば、第1のプロファイルは最高機密の許可レベルであってもよく、第2のプロファイルは非機密情報に制限されてもよく、第3のプロファイルは第3のユーザが色覚異常であることを示してもよい。例えば、仮想オブジェクトのパーソナライズされたバージョンは、各ユーザに関連付けられた決定されたプロファイルに基づいてもよい。有利なことに、第1のプロファイルは、ユーザが最高機密の許可レベルを有するため、提示されたすべての情報を見ることができる。第2のプロファイルは、ユーザが非機密情報に制限されるため、情報のいくつかまたは一部のみを見ることができる。第3のプロファイルは、色覚異常モードのために、異なって仮想オブジェクトを見ることができる。
いくつかの開示される実施形態は、仮想オブジェクトが第1のウェアラブルエクステンデッドリアリティ機器を通じて、および第2のウェアラブルエクステンデッドリアリティ機器を通じて決定された位置に表示されている間に、第3のウェアラブルエクステンデッドリアリティ機器のステータスに対する変化を示す追加のセンサデータを受信することを含み得る。さらに、仮想オブジェクトは、第1のウェアラブルエクステンデッドリアリティ機器の決定された第1の場所と第2のウェアラブルエクステンデッドリアリティ機器の決定された第2の場所とに基づいて再位置決めされ得る。ステータスに対する変更は、部屋を出ること、スイッチをオフにすること、仮想オブジェクトを含まない異なるエクステンデッドリアリティ環境に切り替えること、およびウェアラブルエクステンデッドリアリティ機器に対する同様の変更を含み得る。例えば、仮想オブジェクトが、第1のウェアラブルエクステンデッドリアリティ機器を通じて、および第2のウェアラブルエクステンデッドリアリティ機器を通じて、決定された位置に表示され得る間、第3のウェアラブルエクステンデッドリアリティ機器がオフに切り替えられたことを示す、画像センサからの画像の追加のピクセルが受信され得る。さらに、仮想オブジェクトは、第1のウェアラブルエクステンデッドリアリティ機器の決定された第1の場所と第2のウェアラブルエクステンデッドリアリティ機器の決定された第2の場所とに基づいて再位置決めされ得る。別の例では、ユーザが第3のウェアラブルエクステンデッドリアリティ機器とともに部屋を出たため、第3のウェアラブルエクステンデッドリアリティ機器がもはや部屋にないことを示す、画像センサからの画像の追加のピクセルが受信され得る。さらに別の例では、仮想ユーザ(例えば、アバター)が第3のウェアラブルエクステンデッドリアリティ機器とともに部屋を出たため、第3のウェアラブルエクステンデッドリアリティ機器が部屋内でより長いことを示す、画像センサからの画像の追加のピクセルが受信され得る。
例として、図41は、第1のウェアラブルエクステンデッドリアリティ機器を通じて、および第2のウェアラブルエクステンデッドリアリティ機器を通じて、決定された位置4112に表示された仮想オブジェクト4104を示す。例えば、仮想オブジェクト4104が表示されている間、第3のウェアラブルエクステンデッドリアリティ機器がもはや部屋4100内にないことを示す、複数のウェアラブルエクステンデッドリアリティ機器4102から分離されたセンサ4114からの画像の追加のピクセルが受信され得る。さらに、仮想オブジェクト4104は、第1のウェアラブルエクステンデッドリアリティ機器の決定された第1の場所4106と第2のウェアラブルエクステンデッドリアリティ機器の決定された第2の場所4108とに基づいて再位置決めされ得る。
いくつかの開示される実施形態は、仮想オブジェクトが決定された位置に表示されている間に、第4のウェアラブルエクステンデッドリアリティ機器が部屋内にあり得ることを示す追加のセンサデータを受信することを含み得る。さらに、他の開示される実施形態は、仮想オブジェクトが決定された位置に表示されている間に、第4のウェアラブルエクステンデッドリアリティ機器の第4の場所を決定することを含み得る。さらに、仮想オブジェクトは、決定された第1の場所、決定された第2の場所、決定された第3の場所、および決定された第4の場所に基づいて再位置決めされ得る。例えば、仮想オブジェクトが決定された位置に表示されている間、第4のウェアラブルエクステンデッドリアリティ機器が部屋内にあると決定するために、画像センサからの画像の追加のピクセルが受信されて分析され得る。さらに、第4のウェアラブルエクステンデッドリアリティ機器の第4の場所が決定され得、仮想オブジェクトは、決定された第1の場所、決定された第2の場所、決定された第3の場所、および決定された第4の場所に基づいて、その位置がクリアなビューのためにすべての決定された場所の中間にあるように、部屋内に再位置決めされ得る。
例として、図43は、決定された位置4112に表示された仮想オブジェクト4104を示す。例えば、仮想オブジェクト4104が表示されている間、第4のウェアラブルエクステンデッドリアリティ機器4326が部屋4100内にあると決定するために、分離されたセンサ4114からの画像の追加のピクセルが受信されて分析され得る。さらに、第4のウェアラブルエクステンデッドリアリティ機器4326の第4の場所が決定され得、仮想オブジェクト4104は、決定された第1の場所4106、決定された第2の場所4108、決定された第3の場所4210、および決定された第4の場所に基づいて、位置4112がクリアビューのためにすべての決定された場所の中間にあるように、部屋4100内に再位置決めされ得る。
いくつかの開示される実施形態は、第1のウェアラブルエクステンデッドリアリティ機器によって実行されてもよく、第1の表示を生じさせることは、表示信号を生成することを含んでもよく、第2の表示を生じさせることは、仮想オブジェクトを反映するデータを第2のウェアラブルエクステンデッドリアリティ機器に送信することを含んでもよく、第3の表示を生じさせることは、仮想オブジェクトを反映するデータを第3のウェアラブルエクステンデッドリアリティ機器に送信することを含んでもよい。表示信号は、例えば、ディスプレイデバイスにコンテンツを仮想表現またはデジタル表現の形態で提示させることができるアナログまたはデジタルの電気信号を含み得る。仮想表現またはデジタル表現は、例えば、1つもしくは複数の静止画像もしくは動画像、テキスト、アイコン、ビデオ、またはこれらの任意の組み合わせを含み得る。グラフィカルディスプレイは、2次元、3次元、ホログラフィックであってもよく、または様々な他の種類の視覚特性を含んでもよい。第1のウェアラブルエクステンデッドリアリティ機器は、1つもしくは複数のアナログまたはデジタル信号を生成させるか、またはユーザによる閲覧のためにグラフィカル表示を提示するためのディスプレイデバイスに送信させてもよい。生成するとは、何かを生成すること、または何かを発生もしくは出現させること、または物の任意の他の生成を指すことがある。送信することは、ある場所もしくは物から別の場所もしくは物に何かを通過させること、ある場所もしくは物から別の場所もしくは物に何かをブロードキャストもしくは送出すること、または何かを送信する別の方法を指すことがある。いくつかの実施形態では、ディスプレイデバイスは、ウェアラブルエクステンデッドリアリティ機器を含み得る。例えば、少なくとも1つのプロセッサは、1つまたは複数のアナログ信号またはデジタル信号を生成させ、動画、絵文字、ビデオ、テキスト、またはこれらの任意の組み合わせを提示するために、ディスプレイデバイスに送信させることができる。いくつかの実施形態は、画像信号を処理し、共通の提示を共有するすべてのエクステンデッドウェアラブルリアリティ機器を更新するために中央サーバに依拠することができるが、他の実施形態では、表示信号の処理は、エクステンデッドリアリティ機器のうちの1つに委ねられてもよく、次いで、エクステンデッドリアリティ機器のもう1つに表示信号を送信してもよい。あるいは、複数のウェアラブルエクステンデッドリアリティ機器が、画像信号の処理責任を共有し、更新された表示信号を他の機器に配信してもよい。
本開示の別の実施形態によれば、複数の閲覧者に仮想コンテンツを提示するための方法が提供され得る。いくつかの実施形態では、本方法は、プログラム命令を実行する少なくとも1つのプロセッサによって実装され得る。本方法は、部屋内に位置する複数のウェアラブルエクステンデッドリアリティ機器を示すセンサデータを受信することを含み得る。本方法は、仮想オブジェクトを複数のウェアラブルエクステンデッドリアリティ機器と共有するためのコマンドを受信することをさらに含み得る。本方法は、センサデータを分析して、第1のウェアラブルエクステンデッドリアリティ機器の部屋内の第1の場所、第2のウェアラブルエクステンデッドリアリティ機器の部屋内の第2の場所、および第3のウェアラブルエクステンデッドリアリティ機器の部屋内の第3の場所を決定することをさらに含み得る。本方法は、決定された第1の場所、決定された第2の場所、および決定された第3の場所に基づいて、部屋内に仮想オブジェクトを表示するための位置を決定することを含み得る。本方法はまた、第1のウェアラブルエクステンデッドリアリティ機器を通じて、決定された位置に仮想オブジェクトの第1の表示を生じさせることを含み得、第1の表示は、第1のパースペクティブからレンダリングされ得る。本方法は、第2のウェアラブルエクステンデッドリアリティ機器を通じて、決定された位置に仮想オブジェクトの第2の表示を生じさせることを含み得、第2の表示は、第1のパースペクティブとは異なる第2のパースペクティブからレンダリングされ得る。本方法はまた、第3のウェアラブルエクステンデッドリアリティ機器を通じて、決定された位置に仮想オブジェクトの第3の表示を生じさせることを含み得、第3の表示は、第1のパースペクティブおよび第2のパースペクティブとは異なる第3のパースペクティブからレンダリングされる。
図45は、仮想コンテンツを複数の閲覧者に提示するための例示的な方法4530を示す。方法4530は、入力ユニット202(図3を参照)、XRユニット204(図4を参照)、および/またはリモート処理ユニット208(図5を参照)に関連付けられた1つまたは複数の処理デバイス(例えば、360、460、または560)によって実行され得る。開示される方法4530のステップは、ステップを並べ替えること、および/またはステップを挿入もしくは削除することを含む、任意の方法で修正され得る。
方法4530は、部屋4100内に位置する複数のウェアラブルエクステンデッドリアリティ機器4102を示すセンサデータを受信するステップ4532を含み得る。方法4530は、仮想オブジェクト4104を複数のウェアラブルエクステンデッドリアリティ機器4102と共有するためのコマンドを受信するステップ4534を含み得る。方法4530は、センサデータを分析して、第1のウェアラブルエクステンデッドリアリティ機器の部屋4100内の第1の場所4106、第2のウェアラブルエクステンデッドリアリティ機器の部屋4100内の第2の場所4108、および第3のウェアラブルエクステンデッドリアリティ機器の部屋4100内の第3の場所4210を決定するステップ4536を含み得る。方法4530は、決定された第1の場所4106、決定された第2の場所4108、および決定された第3の場所4210に基づいて、部屋4100内に仮想オブジェクト4104を表示するための位置4112を決定するステップ4538を含み得る。方法4530は、第1のウェアラブルエクステンデッドリアリティ機器を通じて、決定された位置4112に仮想オブジェクト4104の第1の表示を生じさせるステップ4540を含み得、第1の表示は、第1のパースペクティブからレンダリングされ得る。方法4530は、第2のウェアラブルエクステンデッドリアリティ機器を通じて、決定された位置4112に仮想オブジェクト4104の第2の表示を生じさせるステップ4542を含み得、第2の表示は、第1のパースペクティブとは異なる第2のパースペクティブからレンダリングされ得る。方法4530は、第3のウェアラブルエクステンデッドリアリティ機器を通じて、決定された位置4112に仮想オブジェクト4104の第3の表示を生じさせるステップ4544を含み得、第3の表示は、第1のパースペクティブおよび第2のパースペクティブとは異なる第3のパースペクティブからレンダリングされる。
図46は、仮想コンテンツを複数の閲覧者に提示するための別の例示的な方法4630を示す。方法4630は、入力ユニット202(図3を参照)、XRユニット204(図4を参照)、および/またはリモート処理ユニット208(図5を参照)に関連付けられた1つまたは複数の処理デバイス(例えば、360、460、または560)によって実行され得る。開示される方法4630のステップは、ステップを並べ替えること、および/またはステップを挿入もしくは削除することを含む、任意の方法で修正され得る。方法4630は、部屋4100内に位置する複数のウェアラブルエクステンデッドリアリティ機器4102を示すセンサデータを受信するステップ4532を含み得る。方法4630は、センサデータが第1のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器、または第3のウェアラブルエクステンデッドリアリティ機器のうちの少なくとも1つから受信され得るステップ4650を含み得る。
図47は、仮想コンテンツを複数の閲覧者に提示するための別の例示的な方法4730を示す。方法4730は、入力ユニット202(図3を参照)、XRユニット204(図4を参照)、および/またはリモート処理ユニット208(図5を参照)に関連付けられた1つまたは複数の処理デバイス(例えば、360、460、または560)によって実行され得る。開示される方法4730のステップは、ステップを並べ替えること、および/またはステップを挿入もしくは削除することを含む、任意の方法で修正され得る。方法4730は、第3のウェアラブルエクステンデッドリアリティ機器を通じて、決定された位置4112に仮想オブジェクト4104の第3の表示を生じさせるステップ4544を含み得、第3の表示は、第1のパースペクティブおよび第2のパースペクティブとは異なる第3のパースペクティブからレンダリングされる。方法4730は、第1のウェアラブルエクステンデッドリアリティ機器、第2のウェアラブルエクステンデッドリアリティ機器、または第3のウェアラブルエクステンデッドリアリティ機器の少なくとも1人のユーザの身体特性を決定するステップ4752を含み得、仮想オブジェクト4104を表示するための位置4112を決定することは、少なくとも1人のユーザの身体特性にさらに基づき得る。
図48は、仮想コンテンツを複数の閲覧者に提示するための別の例示的な方法4830を示す。方法4830は、入力ユニット202(図3を参照)、XRユニット204(図4を参照)、および/またはリモート処理ユニット208(図5を参照)に関連付けられた1つまたは複数の処理デバイス(例えば、360、460、または560)によって実行され得る。開示される方法4830のステップは、ステップを並べ替えること、および/またはステップを挿入もしくは削除することを含む、任意の方法で修正され得る。方法4830は、第3のウェアラブルエクステンデッドリアリティ機器を通じて、決定された位置4112に仮想オブジェクト4104の第3の表示を生じさせるステップ4544を含み得、第3の表示は、第1のパースペクティブおよび第2のパースペクティブとは異なる第3のパースペクティブからレンダリングされる。方法4830は、仮想オブジェクト4104の第1の表示、仮想オブジェクト4104の第2の表示、仮想オブジェクト4104の第3の表示が仮想オブジェクト4104の単一のバージョンに関連付けられ得るステップ4854を含み得る。さらに、ステップ4854は、第1のウェアラブルエクステンデッドリアリティ機器のユーザによって導入された仮想オブジェクト4104に対する変更を検出することと、第2の表示および第3の表示を更新して、第1のウェアラブルエクステンデッドリアリティ機器のユーザによって導入された仮想オブジェクト4104に対する変更を反映することとを含み得る。方法4830は、仮想オブジェクト4104の第1の表示、仮想オブジェクト4104の第2の表示、仮想オブジェクト4104の第3の表示が仮想オブジェクト4104の種々のバージョンに関連付けられ得るステップ4856を含み得る。さらに、ステップ4856は、第1のウェアラブルエクステンデッドリアリティ機器のユーザに関連付けられたプロファイル、第2のウェアラブルエクステンデッドリアリティ機器のユーザに関連付けられたプロファイル、および第3のウェアラブルエクステンデッドリアリティ機器のユーザに関連付けられたプロファイルを取得することと、各ユーザに関連付けられたプロファイルに基づいて仮想オブジェクト4104のパーソナライズされたバージョンを決定することとを含み得る。
いくつかの開示される実施形態は、オブジェクトに仮想着色マーキングを行うために構成されたシステム、方法、および非一時的コンピュータ可読媒体を含み得る。仮想マーキングは、物理的世界に存在する書き込み/カラーリング/ペインティング用具マーキングをエクステンデッドリアリティ環境においてシミュレートする任意の視覚的表現を広く含み得る。仮想マーキングの種類の例としては、テキストマーキング(例えば、単語、文)、句読点マーキング(例えば、ドット、コンマ)、フォーマットマーキング(例えば、下線、ハイライト)、絵文字マーキング(例えば、スマイリー、シンボル)、描画マーキング(例えば、線、図形、シンボル、またはペン、鉛筆、マーカ、チョーク、もしくは任意の他の筆記具を用いて物理的世界で生じるような任意の他の個々のもしくは一式の可視トレースなどのフリーハンドスケッチ)、カラー化(クレヨン、マーカ、または絵筆を用いて物理的世界で生じ得るような)、テクスチャ化(表面処理の追加など)が挙げられ得る。仮想マーキングは、1つまたは複数のオブジェクトの上にソフトウェアによってレンダリングされ得る1つまたは複数の色に関連付けられ得る。仮想マーキングが描かれるオブジェクトは、観察され得る形態を有する任意の物理的または仮想アイテムを指すことがある。例えば、オブジェクトは、2Dアイテムまたは3Dアイテム(例えば、ドキュメント、画像、ビデオ、仮想モデル、形状、または任意の他の無形オブジェクト)、または物理的アイテム(例えば、食物、備品、壁、風景、または任意の他の有形オブジェクト)のエクステンデッドリアリティ表示であってもよい。
いくつかの開示される実施形態は、オブジェクトのインジケーションを受信することを含み得る。オブジェクトのインジケーションは、オブジェクトの存在の証拠を提供し得る任意のデータを指すことがある。オブジェクトのインジケーションは、オブジェクトの識別を可能にするデータの種類を含み得る。インジケーションは、場所、形態、色、サイズ、距離、材料組成、およびオブジェクトを記述し得る任意の他の属性を含み得る。いくつかの実施形態では、オブジェクトのインジケーションは、オブジェクトの1つまたは複数の画像を含み得る。オブジェクトのインジケーションは、本明細書でより詳細に説明するように、通信ネットワークを介して受信され得る。オブジェクトのインジケーションは、例えば、物理的世界の視野内のオブジェクトを識別する画像センサを介して受信され得る。別の例では、オブジェクトのインジケーションは、仮想オブジェクトを含むエクステンデッドリアリティ空間のレンダリングから、エクステンデッドリアリティ空間内の仮想オブジェクトのデータ構造から、エクステンデッドリアリティ空間を制御する外部デバイスから、などから受信され得る。例として、図5のリモート処理ユニット208は、通信ネットワーク214を介してオブジェクトのインジケーションを受信することができる。オブジェクトのインジケーションは、仮想オブジェクトまたは物理オブジェクトの識別を生成するために、図2に示したリモート処理ユニット208、XRユニット204、または入力ユニット202によって作成された信号であり得る。
いくつかの実施形態では、オブジェクトは、ウェアラブルエクステンデッドリアリティ機器によって提示される仮想オブジェクトであり得る。加えて、またはあるいは、オブジェクトは、例えばウェアラブルエクステンデッドリアリティ機器に含まれる画像センサを使用して、物理的環境からキャプチャされた画像内で検出可能な物理オブジェクトであり得る。例として、図49は、ウェアラブルエクステンデッドリアリティ機器110を通じてユーザ100に提示される仮想オブジェクト4910の例と、物理オブジェクト4911の例とを示す。ユーザ100は、両方のオブジェクトに仮想マーキングを描画することができる。図50は、ウェアラブルエクステンデッドリアリティ機器110を通じてユーザ100によって見られるようなオブジェクト4910のビューを示す。
いくつかの開示される実施形態は、画像センサから、物理的マーキング用具を保持する個人の手の画像を受信することを含み得る。画像センサは、本開示で前述したように、光を画像データに変換することによって視覚情報をキャプチャするように構成された1つまたは複数のセンサを含み得る。物理的マーキング用具は、オブジェクトに仮想着色マーキングを行うための入力を提供するためにユーザによって利用され得る有形の用具を指すことがある。物理的マーキング用具は、ユーザが物理的マーキング用具を用いて動作を実行することによって仮想着色マーキングを行うことを可能にし得る任意の形態をとってもよい。例えば、物理的マーキング用具は、スタイラス、ペン、鉛筆、クレヨン、マーカ、チョーク、ペイントブラシ、またはユーザがオブジェクトに仮想着色マーキングを行うために保持して移動することができる任意の他の用具であってもよく、またはそれらに類似していてもよい。あるいは、物理的マーキング用具は、マウス、キーボード、ジョイスティック、タッチパッドもしくはタッチスクリーンなどの入力デバイス、またはオブジェクトに仮想着色マーキングを行うための入力を提供するために使用され得る任意の他の入力デバイスの形態をとってもよい。例として、処理デバイスは、図3のXRユニット204の画像センサ472から画像5000を受信することができる。図50に示すように、画像5000は、先端4922を有する物理的マーキング用具4920を保持する手5010と、オブジェクト4910とを含み得る。
いくつかの開示される実施形態は、画像内で、マーキング用具に関連付けられた色を検出することを含み得る。マーキング用具に関連付けられた色を画像内で検出することは、画像センサから受信された画像データを分析して、ユーザによって保持されているマーキング用具の少なくとも一部の色を識別することを含み得る。例えば、ユーザが赤いペン(または赤いペンに似るように構成された用具)を保持している場合、プロセッサは赤色を検出することができる。別の例では、マーキング用具は、着色された先端(例えば、青い先端)を有してもよく、画像は、オブジェクト検出アルゴリズムを使用してマーキング用具を検出するように分析されてもよく、先端に対応するマーキング用具の領域は、テンプレートマッチングアルゴリズムを使用して画像内で識別されてもよく、識別された領域内のピクセルの値は、例えば、統計関数またはヒストグラムを使用して分析されて、先端の色(例えば、青)を決定し、それによって、マーキング用具に関連付けられた色が先端の色(例えば、青)であることを検出してもよい。あるいは、マーキング用具は、赤色に関連付けられているものとして識別する固有の形状またはコードをそこに有してもよく、その固有の形状またはコードは、画像処理によって認識され、このような形状またはコードを色に関連付けられたデータ構造で検索してもよい。一例では、マーキング用具に関連付けられた色を検出することは、最初に、マーキング用具を識別することを含んでもよく、これは、例えば、手検出アルゴリズムを使用して、物理的マーキング用具を保持する人間の手の検出によって生じてもよい。いくつかの例では、機械学習モデルは、画像および/またはビデオからマーキング用具に関連付けられた色を検出するために、訓練例を使用して訓練され得る。このような訓練例の例としては、サンプルマーキング用具に関連付けられた色を示すラベルとともに、サンプルマーキング用具のサンプル画像および/またはサンプルビデオが挙げられ得る。訓練された機械学習モデルは、画像を分析し、マーキング用具に関連付けられた色を決定するために使用され得る。例として、処理デバイスは、図50の画像5000から、マーキング用具4920に関連付けられた色、例えば赤色を検出することができる。マーキング用具のいくつかの例を図52に示し、マーキング用具5220、5222、5224、および5226として表している。
いくつかの開示される実施形態は、画像センサから、マーキング用具の先端の動きおよび先端の場所を示す画像データを受信することを含み得る。画像データは、画像センサの出力から受信または得られた信号または情報を指すことがある。画像データは、画像、グレースケール画像、カラー画像、2D画像、3D画像、ビデオ、2Dビデオ、3Dビデオ、フレーム、場面、色識別、および/または前述のいずれかから得られた、もしくはそれに関連付けられたデータを含み得る。マーキング用具の先端は、マーキング用具、例えばマーキングを形成することに関連付けられたマーキング用具(例えば、物理的世界でペン、鉛筆、またはクレヨンの先端、マジックマーカのマーキング要素、またはペイントブラシの毛と称されるもの)の遠位端を指すことがある。非物理的に機能的な仮想マーキング用具(すなわち、物理的な描画を生成することができないオブジェクト)は、仮想マーキングを生じさせることができるという意味で、本開示内のマーキング用具と見なされ得る。したがって、マーキング用具の先端は、画像上の場所と対話するためにユーザによって使用され得る、スタイラスなどのマーキング用具の端部であり得る。いくつかの実施形態では、マーキング用具の先端は、マーキング用具に選択的に着脱され得る別個の要素であってもよい。この例では、種々の先端は種々の色を有することができ、交換可能であり得る。マーキング用具の先端の動きは、空間を通るマーキング用具の先端の任意の動きを指すことがある。このような動きは、視覚オブジェクト追跡アルゴリズムを使用して、画像データの分析によって検出され得る。先端の場所は、先端が空間を通って移動するとき、または先端が静止しているときの空間(物理的空間、エクステンデッドリアリティ空間など)内の先端の1つまたは複数の位置を指すことがある。
いくつかの実施形態では、マーキング用具の先端は、2Dまたは3D空間内で動いていると検出され得る。先端の動きまたは場所を示すデータは、先端の動きまたは場所を決定するために分析され得る、任意のデータを指すことがある。例えば、先端の動きまたは場所を示すデータは、位置、角度、距離、ピクセル場所、向き、スケール、速度、加速度、および2Dまたは3Dにおける先端の動きまたは場所を示し得る先端の任意の他のプロパティを含み得る。一例では、先端の動きまたは場所を示すデータは、先端に関連付けられた場所または動きベクトルの時系列を含み得る。別の例では、先端の動きまたは場所を示すデータは、時間によってソートされていない先端に関連付けられた場所のグループまたは動きベクトルのグループを含み得る。さらに別の例では、先端の動きまたは場所を示すデータは、先端の動きまたは場所に関連付けられた曲線を含み得る。例として、処理デバイスは、図51A~図51Dに示すように、マーキング用具4920の先端4922の動きおよび先端4922の場所を示す画像データを図3の画像センサ472から受信することができる。例えば、処理デバイスは、画像5100における先端4922の場所5102、画像5110における先端4922の場所5112、画像5120における先端4922の場所5122、および画像5130における先端4922の場所5132を受信することができる。処理デバイスはまた、一連のイベントにおける画像5100、5110、5120、および5130の各々の間から画像を受信することができる。加えて、処理デバイスは、画像5100、5110、5120、および5130に基づいて、先端4922の動きを示すデータを受信することができる。
いくつかの開示される実施形態は、先端の場所がオブジェクト上の場所にいつ対応するかを画像データから決定することを含むことができる。いくつかの例では、特定の距離および向きから見たときに、物理的マーキング用具の先端がオブジェクト上の場所の真上に浮いているように見える場合、または物理的マーキング用具の先端の位置がオブジェクト上の点の位置と重なるかまたは一致する場合、先端の場所はオブジェクト上の場所に対応することができる。例えば、仮想オブジェクトは、ウェアラブルエクステンデッドリアリティ機器の視野内に提示されてもよく、装着者は、仮想オブジェクトを仮想的に着色またはマークアップしてもよい。プロセッサは、マーキング用具の先端と仮想オブジェクト上の場所との一致を検出することができる。同様に、物理オブジェクトの場合、プロセッサは、マーキング用具の先端と物理オブジェクトとの一致を同様の方法で検出することができる。いくつかの実施形態では、画像データから、先端の場所がオブジェクト上の場所にいつ対応するかを決定することは、上述した方法のうちのいずれかを使用して、画像データを分析することを含み得る。例として、処理デバイスは、画像データから、先端4922の場所がオブジェクト4910上の場所にいつ対応するかを決定することができる。例えば、図51A~図51Dでは、処理デバイスは、画像5100、5110、5120、および5130から、先端4922の場所5102、5112、および5122がオブジェクト4910上の場所に対応するが、先端4922の場所5132はオブジェクト4910上の場所に対応しないと決定することができる。いくつかの例では、オブジェクト上の場所からの先端の決定された場所の距離は、例えば、画像データ内の距離を測定することによって、オブジェクトの3Dモデルに先端の場所を投影することによって、などによって決定され得る。さらに、距離が選択された閾値を下回る場合、先端の場所がオブジェクト上の場所に対応すると決定されてもよく、距離が選択された閾値を上回る場合、先端の場所がオブジェクト上の場所に対応しないと決定されてもよい。いくつかの例では、機械学習モデルは、マーキング用具の先端の場所がオブジェクト上の場所にいつ対応するかを決定するために、訓練例を使用して訓練され得る。このような訓練例の例としては、サンプルマーキング用具の先端の場所がサンプルオブジェクトの場所に対応するかどうかを示すラベルとともに、サンプルマーキング用具およびサンプルオブジェクトのサンプル画像および/またはサンプルビデオフレームが挙げられ得る。訓練された機械学習モデルは、画像データを分析し、先端の場所がオブジェクト上の場所にいつ対応するかを決定するために使用され得る。
いくつかの開示される実施形態は、検出された色で、対応する場所におけるオブジェクトに仮想マーキングを生成することを含み得る。仮想マーキングは、ユーザが物理的マーキング用具の移動を実行した1つまたは複数の場所でオブジェクトの上にレンダリングされ得る。いくつかの実施形態では、検出された色で仮想マーキングを生成することは、1人または複数のユーザによって観察され得るオブジェクトの仮想ビュー上に、物理的マーキング用具に対応する色で仮想マーキングをレンダリングすることを含み得る。例として、処理デバイスは、検出された色で、対応する場所におけるオブジェクト4910に仮想マーキングを生成することができる。例えば、処理デバイスは、マーキング用具4920に関連付けられた色を赤色で生成することができる。オブジェクト4910上の仮想マーキング5134は、オブジェクト4910上の先端4922の場所5102、5112、および5122に対応することができる。いくつかの例では、検出された色で、対応する位置におけるオブジェクトに仮想マーキングを生成することは、仮想マーキングをエクステンデッドリアリティ環境に、またはエクステンデッドリアリティ環境内の仮想オブジェクトに追加することを含み得る。いくつかの例では、仮想マーキングは、エクステンデッドリアリティ環境内のオブジェクトにドッキングされてもよく、したがって、オブジェクトが移動しているときにオブジェクトとともに移動してもよい。
いくつかの開示される実施形態は、マーキング用具を保持する個人に、ウェアラブルエクステンデッドリアリティ機器を介して仮想マーキングを提示することを含み得る。ウェアラブルエクステンデッドリアリティ機器は、本開示の他の箇所で説明するように、ヘッドマウントデバイス、例えば、スマートグラス、スマートコンタクトレンズ、ヘッドセット、またはエクステンデッドリアリティを人間に提示する目的で人間によって装着される任意の他のデバイスなど、ウェアラブルデバイスであってもよい。ウェアラブルエクステンデッドリアリティ機器を介してマーキング用具を保持する個人に仮想マーキングを提示することは、ウェアラブルエクステンデッドリアリティ機器を通じてオブジェクトを見ている個人が仮想マーキングを見ることができるように、ウェアラブルエクステンデッドリアリティ機器を通じて仮想マーキングを表示することを指すことがある。したがって、ユーザは、ユーザの視野内の仮想オブジェクトまたは物理オブジェクトを仮想的に着色または注釈付けすることができる。物理オブジェクトの着色は、物理オブジェクト上のマーキング用具の先端の動きに対応する着色されたオーバーレイをユーザに提示するための画像操作を含み得る。例として、図51A~図51Dの視覚的マーキング5134は、図49のウェアラブルエクステンデッドリアリティ機器110を介してマーキング用具4920を保持するユーザ100に提示されてもよい。別の例として、視覚的マーキング5534および5536は、ウェアラブルエクステンデッドリアリティ機器110などのウェアラブルエクステンデッドリアリティ機器を介して、マーキング用具4920を保持するユーザ100に対して、エクステンデッドリアリティディスプレイ5500上に表示されてもよい。
いくつかの開示される実施形態は、マーキング用具を保持する個人に近接して位置する第2の個人に、ウェアラブルエクステンデッドリアリティ機器を介して仮想マーキングを提示することを含み得る。近接して位置する第2の個人は、特定の距離または閾値距離によって分離されている2人の個人を指すことがある。一実施形態では、第2の個人は、彼らのウェアラブルエクステンデッドリアリティ機器が互いに通信することができるとき、マーキング用具を保持する個人に近接して位置すると見なされる。例えば、マーキング用具を保持する個人に近接して位置する個人は、マーキング用具を保持する個人から1メートル、2メートル、3メートル、4メートル、5メートル、10メートル、20メートル、50メートル、または任意の他の適切な距離内にあり得る。他の実施形態では、距離は、個人が2つの遠隔場所にいる場合があるように、はるかに大きい場合がある。いずれにしても、ウェアラブルエクステンデッドリアリティ機器が同じ空間を閲覧しており、あるユーザが仮想オブジェクトまたは物理オブジェクトをマークアップするとき、マーキングを行う個人に関連付けられた仮想現実機器の画像センサによって検出されたそれらのマーキングは、同じマーキングが別の個人のディスプレイ上に現れるように、別の個人に送信され得る。例として、図52は、距離5240だけ離間された個人5200およびユーザ100を示す。第2の個人5200は、距離5240が閾値距離(例えば、1メートル)未満であり得るため、ユーザ100に近接していてもよい。一例として、仮想マーキング5234および5236は、ウェアラブルエクステンデッドリアリティ機器110を介してユーザ100に提示されてもよく、ウェアラブルエクステンデッドリアリティ機器5202を介して個人5200に提示されてもよい。
いくつかの実施形態は、第2の個人がオブジェクトの仮想表現を修正するためのアクションを実行したという第2のインジケーションを受信することを含み得る。アクションのインジケーションは、マーキング用具の操作である、アクションが行われた、または行われているという任意の通知を含み得る。例えば、通知は、修正のプロセスにあるオブジェクトを閲覧するグループの一部である個人のディスプレイ上のマーキング用具のミラー表示であってもよい。あるいは、マーキング要素による修正が進行中であるか、または生じたことを示す、アイコンまたは通知などの何らかの他のインジケータが、他のディスプレイ上に現れてもよい。例えば、第2の個人は、新しい仮想マーキングを作成するためにオブジェクト上の場所を指してもよく、またはオブジェクト上の既存の仮想マーキングを消去するために手を振ってもよい。これらのインジケーションは、他者に提示されてもよい。いくつかの実施形態は、受信された第2のインジケーションに応答して、アクションに対応する追加の仮想マーキングをオブジェクト上に生じさせることを含み得る。追加の仮想マーキングは、第2の個人の仮想表現のみに影響を及ぼし得る、またはオブジェクトを閲覧する個人の一部もしくはすべての仮想表現に影響を及ぼし得る、オブジェクトの仮想表現に対する修正であり得る。例として、図52に示すように、仮想マーキング5234は、ウェアラブルエクステンデッドリアリティ機器5202を介して、マーキング用具4920を保持するユーザ100に近接して位置する第2の個人5200に提示され得る。いくつかの実施形態では、第2の個人5200は、オブジェクト4910の視覚的表現を修正するためのアクションを実行し、ネットワークを介して処理デバイスをレムするための第2のインジケーションを送信することができる。第2のインジケーションに応答して、処理デバイスは、実行されたアクションに対応する追加の仮想マーキングをオブジェクト4910に出現させることができる。加えて、またはあるいは、アクションは、処理デバイスに、オブジェクト4910の視覚的表現から仮想マーキング5234などの既存の仮想マーキングを消去させてもよい。
いくつかの開示される実施形態は、マーキング用具を保持する個人から離れて位置する複数の個人に、ウェアラブルエクステンデッドリアリティ機器を介して、オブジェクトの仮想提示とともに仮想マーキングを提示することを含み得る。マーキング用具を保持する個人から離れて位置する複数の個人は、例えば、異なる部屋、建物、都市、国、または同じ部屋であるが物理的な仕切りによって分離された、個人から物理的に分離される2人以上の個人を指すことがある。例えば、複数の個人が、オブジェクトと物理的マーキング用具を保持する個人とは異なる場所にいる間に、仮想マーキングおよびオブジェクトの仮想提示を提示されてもよい。一例として、物理的マーキング用具を保持する個人と複数の個人とは、5メートル、10メートル、100メートル、1キロメートル、10キロメートル、100キロメートル、1000キロメートルの距離、またはマーキング用具を保持する個人と複数の個人とが物理的に分離されることを意味する任意の他の距離だけ分離されてもよい。複数の個人はそれぞれ、ウェアラブルエクステンデッドリアリティ機器を介して、または複数の個人が一緒に閲覧することができる画面を介して、仮想マーキングおよびオブジェクトの仮想提示を閲覧することができる。一例として、大学の教授は、オフィスまたは教室からオブジェクトに仮想マーキングを生成することができ、自宅にいる学生には、オブジェクトの仮想提示とともに仮想マーキングが提示され得る。一例では、オブジェクトは、仮想オブジェクトであってもよく、オブジェクトの仮想提示は、仮想オブジェクトのモデルに基づいてもよい。別の例では、オブジェクトは物理オブジェクトであってもよく、オブジェクトの仮想提示は、画像センサを使用してキャプチャされたオブジェクトの画像に基づいてもよい。
いくつかの開示される実施形態は、複数の個人のうちの少なくとも1人がオブジェクトの仮想表現を修正するためのアクションを実行したという第2のインジケーションを受信することを含み得る。いくつかの実施形態では、上述した複数の個人のうちの1人または複数の個人は、自身のマーキング用具を使用して、オブジェクトに変更を加えることができ、または他の方法で、オブジェクトの仮想表現が修正されることを信号伝達するアクションを取ることができる。例えば、1人または複数の個人は、オブジェクト上の既存の仮想マーキングを消去するために手を振ってもよく、または自身のマーキング用具を使用して、オブジェクトにすでに追加されたマーキングを増強、修正、もしくは消去してもよい。加えて、またはあるいは、1人または複数の個人は、ジェスチャを実行するか、または独自のマーキング用具を使用して、オブジェクトに新しい仮想マーキングを作成してもよい。一例では、第2のインジケーションを受信することは、メモリから第2のインジケーションを読み取ること、外部デバイスから(例えば、複数の個人のうちの少なくとも1人に関連付けられた外部デバイスから、エクステンデッドリアリティ環境を制御する外部デバイスからなど)第2のインジケーションを受信すること、センサデータ(画像センサを使用してキャプチャされた画像データ、触覚グローブを使用してキャプチャされたジェスチャデータなど)を分析することによって第2のインジケーションを決定することなどのうちの少なくとも1つを含み得る。いくつかの実施形態は、受信された第2のインジケーションに応答して、オブジェクト上の仮想マーキングの少なくとも一部を除去させることを含み得る。例えば、オブジェクトの仮想表現に対する修正は、アクションを実行する個人に関連付けられた仮想表現のみに影響を及ぼす場合があり、または物理的マーキング用具を保持する個人を含む、オブジェクトを閲覧する個人の一部またはすべての仮想表現に影響を及ぼす場合がある。
例として、図53の仮想マーキング5134は、ウェアラブルエクステンデッドリアリティ機器5310を介して、マーキング用具4920を保持するユーザ100から離れて位置する複数の個人5300に提示され得る。例えば、ユーザ100は、部屋5320内に位置し得るが、複数の個人5300は、通信ネットワーク214が依然としてウェアラブルエクステンデッドリアリティ機器5310に到達し得る、世界の任意の場所であり得る、異なる部屋5330内に位置する場合がある。一例として、個人5300の中から個人5302が、オブジェクト4910の仮想表現を修正するためのアクションを実行することができ、第2のインジケーションは、ネットワークを介して処理デバイスに送信され得る。第2のインジケーションに応答して、処理デバイスは、オブジェクト4910上の仮想マーキング5134の少なくとも一部を除去させることができる。いくつかの実施形態では、オブジェクト4910の仮想表現に対する修正は、個人5302に関連付けられた仮想表現のみに影響を及ぼす場合があり、一部またはすべての個人5300に関連付けられた視覚的表現に影響を及ぼす場合があり、ユーザ100に関連付けられた視覚的表現に影響を及ぼしてもよく、またはユーザ100に関連付けられた視覚的表現および一部またはすべての個人5300に関連付けられた視覚的表現に影響を及ぼす場合がある。
いくつかの開示される実施形態は、第2の個人が物理オブジェクトの環境内に位置し、かつマーキング用具を保持する個人がもはやオブジェクトの環境内にいない間に、ウェアラブルエクステンデッドリアリティ機器を介して第2の個人に仮想マーキングを提示することを含み得る。一例では、オブジェクトの環境は、オブジェクトが存在し得る空間(例えば、部屋、建物、外部、またはオブジェクトが位置し得る任意の他のエリア)を指すことがある。別の例では、オブジェクトの環境は、オブジェクトの少なくとも一部に対する視線を有するすべての位置を指すことがある。例えば、オブジェクトのビューは、それが位置し得る部屋とは異なる部屋に存在する個人の壁によって部分的に不明瞭にされ得る。しかし、個人は、オブジェクトの少なくとも一部に対する視線を有するため、依然として、オブジェクトの環境内にいると見なされ得る。いくつかの実施形態では、物理的マーキング用具を保持する第1の個人は、オブジェクトに仮想マーキングを行い、その後、オブジェクトの環境を出ることができる。オブジェクトの環境を出ると、第1の個人は、もはやオブジェクトと同じ空間内にいなくなる場合があり、かつ/またはオブジェクトの任意の部分に対する視線を有しない場合がある。第2の個人は、オブジェクトの環境に入る場合があり、以前に第1の個人によって行われた仮想マーキングを依然として閲覧する場合がある。例として、図54に示すように、オブジェクトは、テーブル5410などの物理オブジェクトであってもよい。この例では、ユーザ100は、マーキング用具4920を使用してテーブル5410に仮想マーキング5412を行うことができ、部屋5430を出て、テーブル5410の環境の外側にある部屋5420に行くことができる。次いで、第2の個人5400が部屋5430(ひいてはテーブル5410の環境)に入ることができ、ウェアラブルエクステンデッドリアリティ機器5440を介してテーブル5410上の仮想マーキング5412を閲覧することができる。
いくつかの開示される実施形態は、画像データから、仮想マーキングのうちの少なくともいくつかを削除する個人の意図を決定することと、仮想マーキングのうちの少なくともいくつかをオブジェクトから除去することとを含み得る。仮想マーキングのうちの少なくともいくつかを削除する意図は、受信された画像データを分析して、個人が仮想マーキングを除去することに関連付けられたジェスチャまたはマーキング用具の使用を実行していると決定することによって決定され得る。例えば、個人は、マーキングの除去を合図する特定の方法で(例えば、削除されるマーキングに仮想的に触れることによって、かつ削除を合図する物理的または仮想ボタンを押す前または後のいずれかに)、またはマーキング用具の反対端を仮想消しゴムとして使用することによって、ジェスチャすることができる。画像データは、マーキング用具のどちらの端部が使用中であるか、すなわち先端であるか消しゴムであるかを決定するために分析されてもよく、それによって、使用中の端部に関連付けられた機能が実装されてもよい。これらはほんの数例である。他のアクションまたはアクションの組み合わせは、画像データを分析して削除を生じる少なくとも1つのプロセッサによって認識され得る。例として、処理デバイスは、図51Dの画像5130から、仮想マーキング5134の少なくとも一部を削除するというユーザ100の意図を決定することができる。処理デバイスは、例えば、ユーザ100が所定のアクションを実行するか、またはマーキング用具4920の反対側の端部5138を利用して、ユーザ100が消去することを望む仮想マーキング5134の部分を示すときに、このような意図を決定することができる。次いで、処理デバイスは、示された部分を除去し、仮想マーキング5134の残りの部分のみをレンダリングすることができる。
いくつかの開示される実施形態は、画像データから、仮想マーキングの色を変更する個人の意図を決定することと、マーキング用具を保持する個人に、ウェアラブルエクステンデッドリアリティ機器を介して仮想色パレットを提示することと、仮想色パレットからの代替色の選択を決定することと、選択された代替色でオブジェクト上に追加の仮想マーキングを生成することとを含み得る。色の変化は、画像データ内で検出された種々の色のマーキング用具を使用することによって、上述した削除と同様の方法で生じ得る。または、仮想色パレットが提供される場合があり、個人は、新しい色に対してジェスチャする(例えば、指す)場合があり、それに応答して、マーキング用具の色を変更する場合がある。同様に、仮想消しゴムに向かって指すことにより、マーキング用具の機能をマーカから消しゴムに変更することができる。個人は、手または物理的マーキング用具を用いてジェスチャを実行することによって、仮想マーキングの色を変更する意図を示すことができる。ジェスチャは、ウェアラブルエクステンデッドリアリティ機器によって検出され得る、個人の手の意識的または無意識的な動きを含み得る。例えば、ジェスチャは、エクステンデッドリアリティディスプレイの特定の部分、オブジェクト、またはウェアラブルエクステンデッドリアリティ機器を通じて見える空間に対してアクションを実行する意図で、指すこと、回転させること、スワイプすること、つかむこと、タップすること、または他の方法で手もしくは指を動かすことを含み得る。仮想色パレットは、様々な色の選択を可能にするユーザインターフェースを指すことがある。仮想色パレットは、ウェアラブルエクステンデッドリアリティ機器を介して仮想的に個人に提示され得る。仮想色パレットは、それぞれが異なる範囲または色の色合い表すより小さいエリアを有する境界エリアとして仮想的に提示され得る。仮想色パレットは、ウェアラブルエクステンデッドリアリティ機器を通じて可視であるオブジェクトの上のオーバーレイとして個人に提示され得るか、または個人に提示されるエクステンデッドリアリティディスプレイを介して表示され得る。個人は、仮想色パレットからの代替色の選択を示すために、身体部分または物理的マーキング用具を用いてジェスチャを実行することができる。例えば、スワイプ、タップ、ダブルタップ、選択、ポインティング、または他の適切なジェスチャなどの特定のジェスチャが、代替色の選択として認識され得る。代替色が選択されると、個人によってオブジェクトに行われた任意のさらなる仮想マーキングは、個人が新しい色を選択するまで選択された代替色になる。いくつかの実施形態では、個人は、既存の仮想マーキングの一部またはすべての色を代替色に変更することを選択することができる。例として、処理デバイスは、画像データから、仮想マーキングの色を変更するユーザ100の意図を決定することができる。処理デバイスは次に、ウェアラブルエクステンデッドリアリティ機器110を介して、図55の仮想色パレット5510を、マーキング用具4920を保持するユーザ100に提示することができる。次いで、処理デバイスは、例えば、ユーザ100が代替色を指し得るとき、仮想色パレット5510からの代替色の選択を決定することができる。処理デバイスは、選択された代替色でオブジェクト5520に追加の仮想マーキングを生成することができる。いくつかの実施形態では、ユーザ100は、既存の仮想マーキング5534が色を代替色に変更し得るように、アクション(例えば、上述したように、マーキング用具の動き、またはオブジェクトの仮想表現が修正されることを信号伝達するために第2の個人によって行われる適切なジェスチャ)を実行することができる。
いくつかの開示される実施形態は、マーキング用具の種類を検出することと、マーキング用具の種類およびマーキング用具に関連付けられた対応するマーク特性のリポジトリにアクセスすることと、マーキング用具の検出された種類に対応する特定のマーク特性を有する仮想マーキングを生成することとを含み得る。マーキング用具の種類は、本明細書に記載する方法のいずれかによって、画像データ(すなわち、上述したように、グラフィックデータまたは画像データを表すために使用され得るデータ)を分析することによって検出され得る。例えば、データ構造は、種々のマーキング用具(例えば、ペン、鉛筆、クレヨン、ペイントブラシ、マジックマーカなど)の特性を保持することができる。画像データは、データ構造に記憶された特性と比較されて、マーキング用具の種類(および、おそらく関連する色も)を識別することができる。一致が決定されると、そのマーキング用具に関連付けられたマーキング特性がデータ構造から取り出されて適用され得る。したがって、鉛筆によって描かれた仮想線の可視特性(例えば、品質、一貫性、形状)は、ペイントブラシ、ペン、クレヨンまたはマジックマーカによって描かれた線の特性とは外観が異なり得る。別の例として、マーキング用具の種類は、ユーザによって入力され得る。マーキング用具の種類およびマーキング用具に関連付けられた対応するマーク特性のリポジトリは、異なる種類のマーキング用具およびそれらの対応する特性に関する情報を記憶することができるデータストアを指すことがある。いくつかの実施形態では、マーキング用具の種類は、オブジェクト上の仮想マーキングの種々の幅に関連付けられ得る。例えば、ペンストロークの幅は、ブラシストロークの幅よりも狭い場合がある。他の例として、マーキング用具の種類は、種々のフォント、フォントスタイル、サイズ、下線スタイル、および仮想マーキングの外観に影響を及ぼし得る任意の他の効果に関連付けられ得る。いくつかの実施形態は、マーキング用具の検出された種類の仮想表現を仮想現実で表示することを含み得る。例えば、個人は、マーキング用具の検出された種類が、実際にその個人が保持しているマーキング用具であることを確認することができる場合がある。マーキング用具の検出された種類に対応する特定のマーク特性を有する仮想マーキングを生成することは、仮想マーキングを作成するために使用されるマーキング用具に関連付けられた特性を有する仮想マーキングを、個人に対して提示または他の方法で表示されるように作成することを含み得る。例えば、所定の線幅およびそれに関連付けられた色を有するマーキング用具を用いて作成された仮想マーキングは、所定の線幅および色を有するように生成されてもよい。例として、3つの種類のマーキング用具5222、5224、および5226を図52に示している。いくつかの実施形態では、マーキング用具5222、5224、および5226は、種々の幅、フォント、フォントスタイル、サイズ、下線スタイル、および仮想マーキングの外観に影響を及ぼし得る任意の他の効果を有する仮想マーキングを生成することができる。例えば、処理デバイスは、本明細書で説明する方法のいずれかによって画像5200を分析することによって、画像5200からマーキング用具5222を検出することができる。この例では、処理デバイスは、マーキング用具5222によって生成された仮想マークの幅が「細い」と決定するために、マーキング用具の種類およびマーキング用具に関連付けられた対応するマーク特性のリポジトリにアクセスすることができる。したがって、処理デバイスは、マーキング用具5222に対応する特定のマーク特性(例えば、「細い」)および/または色を有する仮想マーキングを生成することができる。いくつかの実施形態では、ウェアラブルエクステンデッドリアリティ機器110は、マーキング用具の検出された種類の仮想表現5530を仮想現実でユーザ100に表示することができる。
いくつかの開示される実施形態は、マーキング用具の3次元の動きを2次元入力として解釈することを含み得る。ユーザは、マーキング用具を3次元空間で動かすことができるが、アウトは2次元で提示され得る。このような場合、プロセッサは、マーキング用具の3次元の検出された移動を2次元表現に変換する。いくつかの実施形態では、2次元仮想オブジェクトは、ドキュメントを含む場合があり、マーキング用具の3次元の動きは、検出された色でのドキュメント上の手書き仮想マーキングとして解釈される場合がある。例として、処理デバイスは、図55のマーキング用具4920の3次元の動きを2次元入力として解釈して、オブジェクト5520上の手書きを含む仮想マーキング5534を生成することができる。
いくつかの開示される実施形態は、マーキング用具の3次元の動きを3次元入力として解釈することを含み得る。ユーザが3次元オブジェクトにマーキングしている場合、プロセッサは、マーキングの3次元座標を解釈し、その座標をオブジェクトの対応する3次元表現に変換することができる。例えば、3次元仮想オブジェクトは、物理オブジェクトの仮想表現を含んでもよく、仮想マーキングは、物理オブジェクトの仮想表現の2つの横断面上の検出された色でのマーキングを含んでもよい。マーキング用具の3次元の動きは、2つ以上の座標軸を有する空間におけるマーキング用具の動きを解釈することによって、3次元入力として解釈され得る。例えば、物理オブジェクトの仮想表現の2つの横断面は、互いに異なる角度にある2つの平面上にあり得る。すなわち、3次元仮想オブジェクトは、多数の表面を有し得、そのうちのいくつかは、種々の平面上にあり得る。横断面は、マーキング用具の先端が重なる表面であってもよい。例として、図51A~図51Dのオブジェクト4910は、3次元オブジェクトであってもよく、処理デバイスは、マーキング用具4920の3次元の動きを3次元入力として解釈して、オブジェクト4910の仮想表現の2つの異なる表面上にあり得る、仮想マーキング5134および5136を生成してもよい。
いくつかの開示される実施形態は、画像データから、個人が物理的マーキング用具を第2の色に関連付けられた第2の物理的マーキング用具に置き換えたと決定することと、画像データ内で、第2のマーキング用具に関連付けられた第2の色を検出することと、第2の色でオブジェクト上に追加の仮想マーキングを生成することとを含み得る。例えば、第2の色に変更するために、個人は、単に、第2の物理的マーキング用具に切り替えてもよく、これは、本明細書に説明する方法のうちのいずれかを介して、画像データを分析することによって決定されてもよい。第2の物理的マーキング用具の色は、個人が任意の追加のアクションを実行する必要がない場合があるように自動的に検出される場合がある。一実施形態では、第2の物理的マーキング用具は、特定の物理的マーキング用具に関連付けられた特定の色がどれであるかを決定するために、特定の物理的マーキング用具が検出されるとアクセスされ得るリポジトリに記憶されたデータを介して、第2の色に関連付けられ得る。いくつかの実施形態では、第2の色での追加の仮想マーキングは、第1の色に関連付けられた以前の仮想マーキングにオーバーレイすることができる。例として、図55の仮想色パレット5510に関して説明したように新しい色を選択する代わりに、ユーザ100は、図52の画像5200に示すように、第2の物理的マーキング用具5222、5224、または5226に単に切り替えることができる。処理デバイスは、第2の物理的マーキング用具5226に関連付けられた第2の色を検出し、第2の色のオブジェクト5210に追加の仮想マーキング5236を生成することができる。いくつかの実施形態では、第2の色の追加の仮想マーキング5236は、第1の色に関連付けられた仮想マーキング5234にオーバーレイすることができる。
いくつかの開示される実施形態は、画像データから、個人が、物理的マーキング用具に加えて、第2の色に関連付けられた第2の物理的マーキング用具を保持すると決定することと、画像データ内で、第2のマーキング用具に関連付けられた第2の色を検出ことと、画像データから、第2のマーキング用具の先端の場所を決定することと、第2のマーキング用具の先端の決定された場所に基づいて、第2の色でオブジェクト上に追加の仮想マーキングを生成することとを含み得る。いくつかの実施形態では、任意の数の追加の物理的マーキング用具が、個人によって保持され、各物理的マーキング用具によって行われた仮想マーキングが、仮想マーキングを行うためのアクションを実行した物理的マーキング用具の特性を保持するように、本明細書に説明する方法のうちのいずれかを介して画像データを分析することによって検出され得る。例として、処理デバイスは、ユーザ100が、物理的マーキング用具5220に加えて、追加の色に関連付けられた追加の物理的マーキング用具5222、5224、および/または5226を保持し得ると決定することができ、追加の物理的マーキング用具5222、5224、および/または5226に関連付けられた追加の色を検出することができ、追加のマーキング用具5222、5224、および/または5226の先端の場所を決定することができ、追加のマーキング用具5222、5224、および/または5226の先端の決定された場所に基づいて、追加の色のオブジェクト5210に追加の仮想マーキングを生成することができる。
いくつかの例では、選択された期間に対応するコンテキスト環境データが決定され得る。例えば、画像および/またはビデオ(画像データなど)は、選択された期間における1人または複数の追加の人々(例えば、物理的マーキング用具を保持する個人のそばにいる)の存在を決定するために人物検出アルゴリズムを使用して分析されてもよく、1人または複数の追加の人々の身元を決定するために顔認識アルゴリズムを使用して分析されてもよく、選択された期間において1人または複数の追加の人々によって実行される1つまたは複数のアクションを決定するために視覚的アクション認識アルゴリズムを使用して分析されてもよく、選択された期間において発生する1つまたは複数のイベントを検出するために視覚的イベント検出アルゴリズムを使用して分析されてもよく、物理的環境の種類(屋外、屋内、オフィス、ミーティングルーム、自宅など)を決定するためにシーン認識アルゴリズムを使用して分析されてもよい、などである。一例では、選択された期間に対応するコンテキスト環境データは、1人もしくは複数の追加の人々、1人もしくは複数の追加の人々の身元、1つもしくは複数のアクション、1つもしくは複数のイベント、または物理的環境の種類のうちの少なくとも1つを含み得る。別の例では、物理的マーキング用具を保持する個人の環境からキャプチャされたオーディオは、音声認識アルゴリズムを使用して分析されて、選択された期間に行われている会話のトピックを決定することができ、話者ダイアリゼーションアルゴリズムを使用して分析されて、選択された期間における会話への寄与者を識別することなどができる。一例では、選択された期間に対応するコンテキスト環境データは、会話の決定されたトピックまたは識別された寄与者のうちの少なくとも1つを含み得る。いくつかの開示される実施形態は、種々の期間および/または種々のコンテキスト環境データに関連付けられた仮想マーキングの種々の部分に変更または差別化要因を導入することを含み得る。例えば、仮想マーキングの部分の作成に対応する種々の期間に関連付けられた仮想マーキングの部分は、種々の外観(例えば、陰影)を有してもよい。いくつかの例では、データ構造は、仮想マーキングの種々の部分を、仮想マーキングの部分に関連付けられた期間に対応する決定されたコンテキスト環境データに関連付けることができる。一例では、ユーザは、特定のコンテキスト環境データまたは種々のコンテキスト環境データインスタンスのグループを示す入力を(例えば、ユーザインターフェースを介して)提供することができる。他の例では、このような入力は、外部デバイス、メモリユニット、自動化されたプロセスなどから受信され得る。データ構造は、特定のコンテキスト環境データまたは種々のコンテキスト環境データインスタンスのグループに対応する仮想マーキングの部分を識別するために、入力に基づいて検索されてもよい。仮想マーキングの識別された部分は、例えば、入力を提供したユーザに、異なるユーザに、外部デバイスに、メモリユニットに、エクステンデッドリアリティ環境における提示のためになど、提供されてもよい。
図56は、図2に示すようにシステム200の処理デバイスによって実行される、オブジェクトに仮想着色マーキングを行うための例示的な方法5600のフローチャートを提供する。システム200の処理デバイスは、モバイル通信デバイス(例えば、モバイル通信デバイス206)内のプロセッサ、サーバ(例えば、サーバ210)内のプロセッサ、ウェアラブルエクステンデッドリアリティ機器(例えば、ウェアラブルエクステンデッドリアリティ機器110)内のプロセッサ、またはウェアラブルエクステンデッドリアリティ機器110に関連付けられた入力デバイス(例えば、キーボード104)内のプロセッサを含み得る。様々な実装形態が可能であり、例示的な方法を実装するために構成要素またはデバイスの任意の組み合わせが利用され得ることが容易に理解されよう。また、図示された方法は、ステップの順序を変更する、ステップを削除する、または任意選択の実施形態を対象とするステップなどの追加のステップをさらに含むように変更され得ることも容易に理解されよう。
方法5600は、オブジェクトのインジケーションを受信するステップ5602を含み得る。方法5600は、画像センサから、物理的マーキング用具を保持する個人の手の画像を受信するステップ5604をさらに含み得る。方法5600は、マーキング用具に関連付けられた色を画像内で検出するステップ5606をさらに含み得る。方法5600は、画像センサから、マーキング用具の先端の動きおよび先端の場所を示す画像データを受信するステップ5608をさらに含み得る。方法5600は、先端の場所がオブジェクト上の場所にいつ対応するかを画像データから決定するステップ5610をさらに含み得る。方法5600は、検出された色で、対応する場所におけるオブジェクトに仮想マーキングを生成するステップ5612をさらに含み得る。方法5600の種々のステップに関する詳細および例について上述している。
ウェアラブルエクステンデッドリアリティ機器の複数のユーザが仮想オブジェクトを共通に閲覧するために、本開示の態様は、ユーザによって共有され得るオンザフライ座標系をどのように展開するかを説明する。座標系は、モバイルデバイスにコードを表示することによって作成され得る。エクステンデッドリアリティ機器がコードを走査するとき、ウェアラブルエクステンデッドリアリティ機器は、共通の基準点を共有し、その基準点を使用して、共有された共通の座標系を生成することができる。加えて、モバイルデバイスが移動するとき、表示されるコードは、それに応じて変更され得る。
いくつかの開示される実施形態は、ウェアラブルエクステンデッドリアリティ機器が仮想コンテンツを共有することを可能にすることを含み得る。仮想コンテンツを共有することは、ウェアラブルエクステンデッドリアリティ機器の種々のディスプレイにわたるテキスト、写真、ビデオ、リンク、または任意の他の情報の配信を指すことがある。例えば、ウェアラブルエクステンデッドリアリティ機器は、エクステンデッドリアリティ環境において仮想コンテンツを表示することができる。第2のウェアラブルエクステンデッドリアリティ機器は、いかなる仮想コンテンツも表示しない場合がある。第1のウェアラブルエクステンデッドリアリティ機器は、第2のウェアラブルエクステンデッドリアリティ機器が第1のウェアラブルエクステンデッドリアリティ機器と同じコンテンツを表示するために、その仮想コンテンツの表示を第2のウェアラブルエクステンデッドリアリティ機器と共有することができる。いくつかの例では、仮想コンテンツを共有することは、例えば、エクステンデッドリアリティ環境内の同じまたは同様の位置および向きにおける、複数のウェアラブルエクステンデッドリアリティ機器による同じ仮想コンテンツの提示を含み得る。
いくつかの開示される実施形態は、モバイルデバイスの第1の物理的位置を反映する視覚コードを生成することを含み得、視覚コードは、複数のウェアラブルエクステンデッドリアリティ機器によって読み取られるように構成される。「視覚コード」という用語は、例えば、ウェブページのアドレスまたは他の情報を記憶するために典型的に使用される、黒および白の正方形のアレイからなる機械可読コードを含み得る。加えて、またはあるいは、視覚コードは、数字、文字、形状、画像、色、または画像センサによって検出され得る任意の他の識別子のうちの1つまたは複数を含み得る。例えば、視覚コードは、QRコード、データマトリックスコード、バーコード、英数字コード、または任意の他の種類のコードであってもよい。視覚コードは、ウェアラブルエクステンデッドリアリティ機器内に組み込まれるか、またはそれに取り付けられ得る、視覚画像を記録するためのデバイスを使用して、複数のウェアラブルエクステンデッドリアリティ機器によって読み取られ得る。視覚画像を記録するためのデバイスは、カメラ、スキャナ、レコーダ、または任意の他の種類の記録デバイスであってもよい。視覚コードは、携帯電話、タブレット、専用ハードウェア、またはコード表示が可能な任意の他の物理的デバイスなどのモバイルデバイスに表示されてもよい。いくつかの例では、視覚コードに含まれる情報は、物理的空間におけるモバイルデバイスの物理的位置を表すことができる。物理的位置は、アイテムが位置する場所であり得る。いくつかの例では、視覚コードに含まれる情報は、物理的空間内の視覚コードの提示の物理的位置を表すことができる。例えば、モバイルデバイスが物理的空間内の同じ位置および向きにある間の、モバイルデバイスのディスプレイ画面上の第1の位置における視覚コードの第1の提示と、モバイルデバイスのディスプレイ画面上の第2の位置(第1の位置とは異なる)における視覚コードの第2の提示とについて、第1の提示および第2の提示は、物理的空間内の種々の物理的位置を有し得、視覚コードは、それを表すために異なる情報を含み得る。別の例では、ディスプレイ画面上の視覚コードの提示の種々の位置は、視覚コードの提示の物理的位置が同じであるように、モバイルデバイスの種々の位置および/または向きを補償し得、視覚コードは、それを表すために種々の提示に同じ情報を含めることができる。いくつかの例では、視覚コードに含まれる情報は、物理的空間におけるモバイルデバイスの物理的向きを表すことができる。物理的向きは、物理的空間内のアイテムの方向であり得る。いくつかの例では、視覚コードに含まれる情報は、物理的空間内の視覚コードの提示の物理的向きを表すことができる。例えば、モバイルデバイスが物理的空間内の同じ位置および向きにある間の、モバイルデバイスのディスプレイ画面上の第1の向きにおける視覚コードの第1の提示と、モバイルデバイスのディスプレイ画面上の第2の向き(第1の向きとは異なる)における視覚コードの第2の提示とについて、第1の提示および第2の提示は、物理的空間内の種々の物理的向きを有し得、視覚コードは、それを表すために種々の情報を含み得る。別の例では、ディスプレイ画面上の視覚コードの提示の種々の向きは、視覚コードの提示の物理的向きが同じであるように、モバイルデバイスの種々の位置および/または向きを補償し得、視覚コードは、それを表すために種々の提示に同じ情報を含めることができる。モバイルデバイスは、多くの異なる環境に位置し得る。例えば、モバイルデバイスは、オフィス環境、自宅環境、パブリック空間、または任意の他の場所に位置し得る。1つの例示的な使用事例では、携帯電話(例えば、会議テーブル上の)が視覚コードを表示することができ、各々がエクステンデッドリアリティデバイスを装着する個人のグループが視覚コードの画像をキャプチャし、グループに共通の基準点を提供することができる。
いくつかの実施形態では、モバイルデバイスは、複数のウェアラブルエクステンデッドリアリティ機器のうちの1つとペアリングされたスマートフォンであり得る。ペアリングは、コンピューティングデバイス間のリンクを作成して、デバイス間の通信を可能にすることを含み得る。ペアリングされたデバイスは、互いの間で情報を送信することが可能であり得る。例えば、スマートフォンは、スマートフォンとウェアラブルエクステンデッドリアリティ機器との間で情報が共有され得るように、複数のウェアラブルエクステンデッドリアリティ機器のうちの1つとペアリングされ得る。いくつかの実施形態では、モバイルデバイスは、複数のウェアラブルエクステンデッドリアリティ機器のうちの1つとペアリングされ得る。ウェアラブルエクステンデッドリアリティ機器は、スマートグラス、ヘッドマウントディスプレイ、ヘッドアップディスプレイ、仮想現実(VR)ヘッドセット、または任意の他の種類の機器を含み得る。
視覚コードを生成する前に、開示される実施形態のうちのいくつかは、モバイルデバイス内の少なくとも1つの場所センサから受信されたデータに基づいてモバイルデバイスの第1の物理的位置を決定することを含み得る。場所センサは、絶対位置(すなわち、場所)または相対位置(すなわち、位置からの変位)を含み得る物理的位置を検出することができる。例えば、場所センサは、GPS技術、屋外測位システム、または屋内測位システムを使用して、絶対場所または相対場所を決定することができる。別の例として、場所センサは、所定の基準フレームに対する座標場所を提供することができる。別の例として、場所センサは、所定の基準フレームに対する角度位置を提供することができる。加えて、WiFiネットワークなどの無線ネットワークの1つまたは複数のハブが、場所を決定するために使用され得る。モバイルデバイスは、モバイルデバイスの物理的位置を決定する際に使用するために構成された場所センサを含み得る。
いくつかの開示される実施形態は、複数のウェアラブルエクステンデッドリアリティ機器による検出のためにモバイルデバイスのディスプレイに視覚コードを提示し、それによって、視覚コードの検出時に複数のウェアラブルエクステンデッドリアリティ機器が共通の座標系においてコンテンツを共有することを可能にすることを含み得る。ウェアラブルエクステンデッドリアリティ機器による視覚コードの検出は、視覚コードの存在を識別するように構成された機器を含み得る。例えば、上述したように、ウェアラブルエクステンデッドリアリティ機器は、記録、走査、または撮像デバイスを含み得る。記録、走査、または撮像デバイスは、視覚コードを識別および走査することができる。例えば、視覚コードは、QRコードを含んでもよく、ウェアラブルエクステンデッドリアリティ機器に含まれる画像センサを使用してキャプチャされた画像データは、視覚コードを検出するためにQRコード検出アルゴリズムを使用して分析されてもよい。別の例では、視覚コードは、選択された視覚パターンを含み得、ウェアラブルエクステンデッドリアリティ機器に含まれる画像センサを使用してキャプチャされた画像データは、視覚コードを検出するために視覚パターン認識アルゴリズム(テンプレートマッチングアルゴリズムなど)を使用して分析され得る。視覚コードを検出することは、複数のウェアラブルエクステンデッドリアリティ機器が、視覚コードの検出後に共通の座標系においてコンテンツを共有することを可能にし得る。「座標系」という用語は、共通の基準フレームを指す。座標系は、例えば、空間内の点の場所を識別するために使用される基準線または曲線の配置を含み得る。例えば、2次元では、x-y平面(すなわち、特定の原点および軸に対する特定の方向を有する直交座標系)が、空間内の点の場所を識別するために使用され得る。別の例として、2次元では、特定の原点および特定の基準方向を有する極座標系が、空間内の点の場所を識別するために使用され得る。別の例として、3次元では、x-y-z平面(すなわち、特定の原点および軸に対する特定の方向を有する直交座標系)、または特定の原点、特定の天頂方向、および特定の基準面を有する球面座標系が、空間内の点の場所を識別するために使用され得る。物理的空間は、無限数の座標系を含むことができる。視覚コードを検出する前に、各ウェアラブルエクステンデッドリアリティ機器は、独自の座標系を有し得る。視覚コードを検出した後、複数のウェアラブルエクステンデッドリアリティ機器は、共通の座標系(それらの以前の座標系を置き換え得るか、またはそれらの以前の座標系に加えて使用され得る)を共有することができる。一例では、共通の座標系は、各エクステンデッドリアリティ機器の各座標系が位置合わせされ得、基準線または曲線の同じ配置を有し得ることを意味し得る。別の例では、共通の座標系は、種々のウェアラブルエクステンデッドリアリティ機器が同じ物理的場所および/または物理的向きで仮想コンテンツを提示することを可能にし得る。座標系を位置合わせすることは、座標系の原点が一致すること、および各座標系に関連付けられた1つもしくは複数の座標軸が別の座標系の1つもしくは複数の座標軸と重なるかもしくは一致すること、または座標系を定義する他の要素が一致することを確実にすることを含み得る。一例では、座標系を位置合わせすることは、1つの座標系から他の座標系への、およびその逆の、1つまたは複数の変換関数を決定することを含み得る。別の例として、モバイルデバイスによって生成および表示され得る視覚コードは、複数のエクステンデッドリアリティ機器装着者のための共通の基準を定義することができる。それらが共通の基準を共有すると、共有された座標系の詳細は、設計上の選択の問題であり得る。
座標系は、機器装着者には知覚不可能であり得る。例えば、各機器装着者の斜視図が共通の基準点に対する装着者の向きに基づいて異なり得るという事実は別として、装着者は、座標系の任意の特定の視覚化を見ることができない場合がある。座標系が知覚可能である他の実施形態では、各ウェアラブルエクステンデッドリアリティ機器は、共通の基準点を有する線の同じ配置を表示することができる。共通の基準点は、空間内のオブジェクトの位置が表現されることに関する空間内の点であってもよい。例えば、モバイルデバイスは、x軸とy軸とが互いに交差する空間内の点を表し得る。別の例として、モバイルデバイスは、x軸、y軸、およびz軸が互いに交差する空間内の点を表し得る。各ウェアラブルエクステンデッドリアリティ機器の座標系が共通の基準点を共有するとき、共通の座標系が作成され得る。例えば、各ウェアラブルエクステンデッドリアリティ機器は、視覚コードを読み取り、視覚コードに記憶された場所情報に基づいてモバイルデバイスの物理的場所を決定し、モバイルデバイスの物理的場所を各ウェアラブルエクステンデッドリアリティ機器の座標系の原点にし、共通の座標系を作成することができる。コンテンツは、上述したものと同じ方法で共通の座標系において共有され得る。
いくつかの実施形態では、複数のウェアラブルエクステンデッドリアリティ機器のユーザは、物理的空間内の単一の場所で仮想オブジェクトを閲覧することができる。例えば、共通の座標系の前に、ウェアラブルエクステンデッドリアリティ機器は、独自の座標系において仮想オブジェクトを表示することができる。また、第2のウェアラブルエクステンデッドリアリティ機器は、2つの座標系が位置合わせされていない状態で、独自の異なる座標系において同じ仮想オブジェクトを表示することができる。仮想オブジェクトは、2つの異なる座標系において異なる場所に現れ得る。視覚コードを走査し、共通の座標系を形成した後、複数のウェアラブルエクステンデッドリアリティ機器は、共通の座標系における同じ位置に仮想オブジェクトを表示することができる。
例として、図57は、独自の座標系が位置合わせされていない複数のウェアラブルエクステンデッドリアリティ機器の例を示す。例えば、図57に示すように、ユーザ5710およびユーザ5712は、オフィス会議室にいる場合がある。ユーザ5710は、ウェアラブルエクステンデッドリアリティ機器5711を装着している場合がある。ウェアラブルエクステンデッドリアリティ機器5711は、座標系5714に仮想コンテンツ5715を表示することができる。ユーザ5712は、ウェアラブルエクステンデッドリアリティ機器5713を装着している場合がある。ウェアラブルエクステンデッドリアリティ機器5713は、座標系5716に仮想コンテンツ5717を表示することができる。図57に示すように、座標系5714および5716は、位置合わせされない場合があり、結果として、仮想コンテンツ5715および仮想コンテンツ5717は、異なる場所および/または向きで表示される場合がある。
例として、図58は、共通の座標系を有する複数のウェアラブルエクステンデッドリアリティ機器の例を示す。例えば、図58に示すように、ユーザ5810およびユーザ5812は、オフィス会議室にいる場合がある。ユーザ5810は、ウェアラブルエクステンデッドリアリティ機器5811を装着している場合があり、ユーザ5812は、ウェアラブルエクステンデッドリアリティ機器5813を装着している場合がある。モバイルデバイス5817に表示される視覚コード5816は、ウェアラブルエクステンデッドリアリティ機器5811および5813によって読み取られ得る。視覚コード5816を読み取った後、ウェアラブルエクステンデッドリアリティ機器5811および5813は、共通の座標系5814にコンテンツ5815を表示することができる。これにより、ウェアラブルエクステンデッドリアリティ機器5811および5813の両方は、同じ場所および/または向きでコンテンツ5815を提示することができる。
いくつかの開示される実施形態は、視覚コードの提示を生じさせるためのトリガを識別することを含み得る。「トリガ」という用語は、イベントまたは状況を生じさせるアクションを意味し得る。例えば、視覚コードは、アクションの識別に基づいてのみ提示されてもよい。一実施形態では、トリガは、モバイルデバイスとペアリングされたウェアラブルエクステンデッドリアリティ機器から受信された入力に関連付けられ得る。入力は、イベントに基づいて作成され得るデータを含み得る。入力は、視覚コードがモバイルデバイスに提示されるためのトリガを生じさせ得る。例えば、モバイルデバイスおよびウェアラブルエクステンデッドリアリティ機器は、ペアリングし、視覚コードをモバイルデバイスに出現させ得る入力を作成することができる。一例では、ウェアラブルエクステンデッドリアリティ機器は、画像センサを含み得、画像センサを使用してキャプチャされた画像データは、ジェスチャ認識アルゴリズムを使用して分析され得、トリガを識別することは、画像データ内のウェアラブルエクステンデッドリアリティ機器のユーザの特定のジェスチャの検出を含み得る。別の例では、ウェアラブルエクステンデッドリアリティ機器は、オーディオセンサを含み得、オーディオセンサを使用してキャプチャされたオーディオデータは、音声認識アルゴリズムを使用して分析され得、トリガを識別することは、オーディオデータ内の特定の音声コマンドの検出を含み得る。さらに別の例では、ウェアラブルエクステンデッドリアリティ機器は、別のウェアラブルエクステンデッドリアリティ機器の近接性を識別することができ、トリガを識別することは、他のウェアラブルエクステンデッドリアリティ機器の近接性の識別に基づき得る。別の実施形態では、トリガは、モバイルデバイス内の少なくとも1つのセンサからの入力に関連付けられてよく、入力は、モバイルデバイスに接近する追加のウェアラブルエクステンデッドリアリティ機器を示す。センサは、何らかの種類の入力を検出し、それに応答するデバイスであり得る。センサの例としては、位置センサ、圧力センサ、温度センサ、力センサ、または任意の他の種類のセンサが挙げられ得る。センサは、追加のウェアラブルエクステンデッドリアリティ機器がモバイルデバイスの近くにあることを検出することができる。センサは、視覚コードがモバイルデバイスに提示されるためのトリガを生成し得る入力を作成することができる。例えば、ウェアラブルエクステンデッドリアリティ機器は、モバイルデバイスと同じ部屋に現れ得る。モバイルデバイスは、センサを介してウェアラブルエクステンデッドリアリティ機器を検出することができる。検出は、視覚コードをモバイルデバイスに出現させ得る入力を作成することができる。別の実施形態では、モバイルデバイスのユーザから入力が受信され得る。例えば、モバイルデバイスのユーザは、視覚コードの提示を生じさせるために、モバイルデバイス上のセンサを手動で促すことができる。ユーザは、ボタンを押す、アプリケーションを選択する、リンクをダウンロードする、または任意の他の手動手段によって、センサを手動で促すことができる。
例として、図59は、複数のウェアラブルエクステンデッドリアリティ機器を結合する追加のウェアラブルエクステンデッドリアリティ機器の例を示しており、追加の機器は、共通の座標系と位置合わせされていない座標系を有する。例えば、図59に示すように、ユーザ5910、ユーザ5912、およびユーザ5916は、オフィス会議室にいる場合がある。ユーザ5910は、ウェアラブルエクステンデッドリアリティ機器5911を装着している場合があり、ユーザ5912は、ウェアラブルエクステンデッドリアリティ機器5913を装着している場合がある。ウェアラブルエクステンデッドリアリティ機器5911および5913は、共通の座標系5914にコンテンツ5915を表示することができる。ユーザ5916は、ウェアラブルエクステンデッドリアリティ機器5917を装着している場合がある。ウェアラブルエクステンデッドリアリティ機器5917は、座標系5914とは異なり得る座標系5920にコンテンツ5921を表示することができる。図59にも示すように、モバイルデバイス5918は、視覚コード5919を提示することができる。ウェアラブルエクステンデッドリアリティ機器5917は、例えば、図60に関連してさらに説明するように、視覚コード5919を読み取り、座標系5920を座標系5914と位置合わせさせてもよい。
例として、図60は、複数のウェアラブルエクステンデッドリアリティ機器と共通の座標系を有する追加のウェアラブルエクステンデッドリアリティ機器の例を示す。例えば、図60に示すように、ユーザ6010、ユーザ6012、およびユーザ6014は、オフィス会議室にいる場合がある。ユーザ6010は、ウェアラブルエクステンデッドリアリティ機器6011を装着している場合があり、ユーザ6012は、ウェアラブルエクステンデッドリアリティ機器6013を装着している場合があり、ユーザ6014は、ウェアラブルエクステンデッドリアリティ機器6015を装着している場合がある。ウェアラブルエクステンデッドリアリティ機器6011、6013、および6015は、ウェアラブルエクステンデッドリアリティ機器がモバイルデバイスに提示された視覚コードを読み取った後に、共通の座標系6016にコンテンツ6017を表示することができる。
視覚コードの検出時に、いくつかの実施形態では、視覚コードは、プライベートエクステンデッドリアリティ環境へのアクセスを提供するように構成され得る。プライベートエクステンデッドリアリティ環境は、特定の1人または複数のユーザにとってアクセス可能であり得、他のユーザにとってアクセス不可能であり得る環境であり得る。プライベートエクステンデッドリアリティ環境へのアクセスを得るために、1人または複数の他のユーザは、パスワード、許可、ピンコード、または別の種類の認証情報を必要とする場合がある。例えば、プライベートエクステンデッドリアリティ環境へのアクセスを得るために、ウェアラブルエクステンデッドリアリティ機器は、特定の視覚コードを読み取る必要があり得る。視覚コードを読み取ることは、ウェアラブルエクステンデッドリアリティ機器をプライベートエクステンデッドリアリティ環境にアクセスさせることができる。
いくつかの開示される実施形態は、時間的制限の経過後にプライベートエクステンデッドリアリティ環境へのアクセスを防止することを含み得る。時間的制限は、時間の長さに基づく制限であってもよい。時間的制限は、秒、分、時間、日、および/または任意の他の時間の長さで測定され得る。エクステンデッドリアリティ環境は、特定の時間量および/または限定された時間量、または特定の期間にのみアクセス可能であり得る。例えば、ウェアラブルエクステンデッドリアリティ機器は、プライベートエクステンデッドリアリティ環境へのアクセスを提供し得る視覚コードを検出して読み取ることができる。プライベートエクステンデッドリアリティ環境は、所定の時間(例えば、10分、15分、または任意の他の所定の期間)後にアクセスを拒否するように構成されてもよい。所定の時間量の満了後、ウェアラブルエクステンデッドリアリティ機器は、もはやエクステンデッドリアリティ環境を表示することができない場合がある。いくつかの例では、特定の期間内に視覚コードを読み取ることは、ウェアラブルエクステンデッドリアリティ機器にプライベートエクステンデッドリアリティ環境へのアクセスを提供することができる場合があるが、特定の期間が経過した後に同じ視覚コードを読み取ることは、ウェアラブルエクステンデッドリアリティ機器にプライベートエクステンデッドリアリティ環境へのアクセスを提供することができない場合がある。一例では、提供されるアクセスは、特定の期間に限定され得るが、別の例では、アクセスが特定の期間内に提供されると、アクセスは、特定の期間が経過した後、少なくとも選択された時間量の間、保存され得る。一例では、視覚コードは、特定の期間の間、プライベートエクステンデッドリアリティ環境へのアクセスを許可するために有効であり得、これは、視覚コードの悪用(例えば、モバイルデバイスによる視覚コードの提示が停止した後の視覚コードのピクチャの使用)を防止することができる。
いくつかの開示される実施形態は、視覚コードが空間的制限を超えて検出されたときに、プライベートエクステンデッドリアリティ環境へのアクセスを防止することを含み得る。空間的制限は、特定の空間に存在するか、または発生するイベントに基づく制限であってもよい。エクステンデッドリアリティ環境は、ウェアラブルエクステンデッドリアリティ機器が特定の定義された空間内で視覚コードを検出したときにのみアクセス可能であり得る。例えば、空間的制限は、視覚コードがオフィス内の特定の部屋で検出されなければならないことを必要とし得る。別の例では、空間的制限は、視覚コードが別のウェアラブルエクステンデッドリアリティ機器の特定の距離内で検出されなければならないことを必要とし得る。別の例として、空間的制限は、コードがユーザの自宅の特定の部屋で検出されなければならないことであってもよい。視覚コードが制限内で検出されない場合、プライベートエクステンデッドリアリティ環境へのアクセスが拒否され得る。例えば、ウェアラブルエクステンデッドリアリティ機器は、オフィス環境にある間にコードを検出することができ、ウェアラブルエクステンデッドリアリティ機器は、プライベートエクステンデッドリアリティ環境へのアクセスを提供され得る。別の例では、ウェアラブルエクステンデッドリアリティ機器は、パブリック環境(例えば、オフィス外、公園内、パブリックな場所)でコードを検出することができ、ウェアラブルエクステンデッドリアリティ機器は、プライベートエクステンデッドリアリティ環境へのアクセスを拒否され得る。いくつかの例では、空間的制限は、視覚コードが、それを提示するモバイルデバイスの特定の距離内で、または視覚コードを提示するモバイルデバイスが位置する特定の空間内で検出されなければならないことを必要とし得る。これは、視覚コードの悪用(例えば、モバイルデバイスから離れた遠隔場所に送信された視覚コードのピクチャの使用)を防止することができる。
いくつかの開示される実施形態は、第1のプライベートエクステンデッドリアリティ環境へのアクセスを許可するように構成された第1の視覚コードを生成することと、第2のプライベートエクステンデッドリアリティ環境へのアクセスを許可するように構成された第2の視覚コードを生成することとを含み得る。ウェアラブルエクステンデッドリアリティ機器は、単一の場所から複数の異なるプライベートエクステンデッドリアリティ環境へのアクセスを許可され得る。それぞれの異なるプライベートエクステンデッドリアリティ環境は、独自の視覚コードに関連付けられ得る。例えば、ウェアラブルエクステンデッドリアリティ機器は、第1のプライベートエクステンデッドリアリティ環境に関連付けられた第1の視覚コードを検出してもよく、機器は、第1のプライベート環境へのアクセスを許可されてもよい。ウェアラブルエクステンデッドリアリティ機器は、異なるプライベート環境に参加することを望む場合がある。第2のプライベートエクステンデッドリアリティ環境に関連付けられた第2の視覚コードが生成され得る。ウェアラブルエクステンデッドリアリティ機器は、第2の視覚コードを検出し、第2のプライベート環境へのアクセスを許可され得る。
いくつかの開示される実施形態は、第1の物理的位置とは異なる第2の物理的位置へのモバイルデバイスの移動を検出することを含み得る。移動を検出することは、その周囲に対するオブジェクトの位置の変化を検出することを含み得る。移動は、音波、赤外光、可視光、無線周波数エネルギーの変化、または場所の変化に関連付けられた任意の他の変化を監視することによって検出され得る。
いくつかの実施形態では、検出された移動は、モバイルデバイスの場所の変化なしにモバイルデバイスの向きの変化を含み得、提示の変更は、提示された視覚コードの向きを変更して、モバイルデバイスの向きの変化を補償することを含み得る。「向き」という用語は、何かの相対的な方向の決定を含み得る。向きの変化は、何かの相対的な方向の変化を含み得る。例えば、モバイルデバイスは、共通の座標系または別のオブジェクトにおける別の方向に対して特定の方向に提示され得る。モバイルデバイスは、共通の座標系における場所を変更することなしに相対的な方向を変更することができる。例えば、モバイルデバイスの上部は、基本方向を使用している場合がある共通の座標系において北を向いている場合がある。モバイルデバイスは、モバイルデバイスの上部が共通の座標系において南を向いている場合があるように、上下逆さまにされ得る。別の例として、モバイルデバイスは、モバイルデバイスの上部が共通の座標系において西を向いている場合があるように、左に向けられ得る。別の例として、モバイルデバイスは、モバイルデバイスの上部が共通の座標系において東を向いている場合があるように、右に向けられ得る。モバイルデバイスに提示され得る視覚コードはまた、モバイルデバイスとともに向きを変更することができる。例えば、モバイルデバイスは、モバイルデバイスの上部が共通の座標系において南を向いている場合があるように、上下逆さまにされ得る。視覚コードはまた、視覚コードの上部が共通座標系において南を向くことができるように180度回転させることができる。
いくつかの実施形態では、検出された移動は、モバイルデバイスの向きの変化なしにモバイルデバイスの場所の変化を含み得る。モバイルデバイスの場所の変化が選択された閾値よりも小さいとき、提示の変更は、モバイルデバイスのディスプレイに提示された視覚コードの場所を変更して、モバイルデバイスの場所の変化を補償することを含み得る。選択された閾値は、特定の反応、結果、または条件が発生するために超えなければならない量であり得る。閾値は、距離、場所、位置、または任意の他の測定値に基づき得る。一例では、閾値は、予め決定されてもよいし、ユーザによって選択されてもよい。一例では、閾値は、モバイルデバイスの表示サイズに基づいて、モバイルデバイスのディスプレイ画面上の視覚コードの現在の場所に基づいて、などに基づいて選択され得る。閾値が選択され得、モバイルデバイスの場所の変化が閾値よりも小さいとき、モバイルデバイス上の視覚コードの表示も変更され得る。いくつかの実施形態では、ディスプレイは、モバイルデバイスの場所の変化に比例した距離だけ移動され得る。例えば、閾値は5フィートに設定されてもよい。モバイルデバイスの場所の変化は4フィートであってもよい。変化は、閾値よりも小さくてもよく、したがって、視覚コードの提示は、第1の物理的位置から4フィート移動されてもよい。別の実施形態では、閾値は特定の場所に設定され得る。例えば、閾値は、オフィス会議室の場所のみに設定されてもよい。モバイルデバイスの第1の物理的場所は、オフィス会議室にあってもよく、モバイルデバイスの第2の物理的場所もまた、オフィス会議室にあってもよい。第1の物理的場所と第2の物理的場所との間の差異は、閾値を下回り、したがって、視覚コードの提示はまた、モバイルデバイスの場所の変化を補償するために、モバイルデバイスのディスプレイ上で移動され得る。例えば、モバイルデバイスのディスプレイ上の視覚コードの移動は、物理的環境内の視覚コードの位置が同じままであるように、モバイルデバイスの移動と打ち消すことができる。この例では、閾値は、モバイルデバイスのディスプレイ画面が、モバイルデバイスの移動を打ち消すように視覚コードを再配置するのに十分なほど大きくなるように選択され得る。別の例では、ディスプレイ画面上の選択された位置からの視覚コードの各偏差は、モバイルデバイスの移動に対する非線形補正を符号化することができる。
いくつかの実施形態では、検出された移動は、モバイルデバイスの場所の変化およびモバイルデバイスの向きの変化を含み得る。モバイルデバイスの場所の変化が選択された閾値よりも小さいとき、提示の変更は、モバイルデバイスの場所の変化を補償するためにモバイルデバイスのディスプレイ上の提示された視覚コードの場所を変更することと、提示された視覚コードの向きを変更して、モバイルデバイスの向きの変化を補償することとを含み得る。向きの変化は、上述したように生じ得る。加えて、選択された閾値は、上述したように決定され得る。例えば、閾値は5フィートに設定されてもよい。一例として、第1の物理的位置と第2の物理的位置との間のモバイルデバイスの場所の変化は4フィートであってもよく、モバイルデバイスは4度だけ回転されてもよい。変化は、閾値よりも小さい場合があり、したがって、視覚コードの提示は、第1の物理的位置から4フィート移動され、4度だけ回転されてもよい。
いくつかの開示される実施形態は、モバイルデバイスの移動の検出時に、視覚コードがコンテンツ共有での使用に利用不可能であるように、視覚コードの提示を変更することを含み得る。視覚コードの提示を変更することは、コードの視覚的特性を変更することを含み得る。例えば、視覚コードは、消えてもよく、歪められてもよく、または読み取り不能もしくは無効にする任意の方法で変更されてもよい。例えば、視覚コードは、ウェアラブルエクステンデッドリアリティ機器上のカメラがもはや視覚コードを読み取ることができないように消えてもよい。同様に、視覚コードが、それを読み取り不可能にするように歪められるか、または修正されるとき、ウェアラブルエクステンデッドリアリティ機器上のカメラは、もはや視覚コードを読み取ることができない場合がある。ウェアラブルエクステンデッドリアリティ機器は、機器がもはや視覚コードを読み取ることができないとき、共通の座標系においてコンテンツを共有することができない場合がある。他の実施形態では、閾値を超える場所または向きの変化量は、新しい視覚コードの生成をもたらし、ウェアラブル機器ユーザが、共通の仮想現実体験に参加する(または参加し続ける)ために、新しい視覚コードを検出することを要求し得る。
検出された移動が、モバイルデバイスの場所の変化なしにモバイルデバイスの向きの変化を含むとき、開示される実施形態のいくつかは、視覚コードをコンテンツ共有での使用に利用不可能にすることを含み得る。上述したように、モバイルデバイスの向きが変更され得る。このような状況では、前の視覚コードは、上述したように読み取り不能になる場合がある。例えば、モバイルデバイスの上部は、基本方向を使用している場合がある共通の座標系において北を向いている場合がある。モバイルデバイスは、モバイルデバイスの上部が共通の座標系において南を向いている場合があるように回転され得る。向きの変化に基づいて、視覚コードは、ウェアラブルエクステンデッドリアリティ機器によって読み取り不可能であり得、機器は、コンテンツを共有することが不可能であり得る。
一実装形態では、検出された移動は、モバイルデバイスの向きの変化なしにモバイルデバイスの場所の変化を含み得、いくつかの開示される実施形態は、視覚コードをコンテンツ共有での使用に利用不可能にすることを含み得る。上述したように、視覚コードを表示するモバイルデバイスの向きおよび場所が変化するとき、視覚コードは、上述したように読み取り不能になり得る。例えば、モバイルデバイスの第1の物理的位置は、オフィス会議室にあり得る。モバイルデバイスの第2の物理的位置は、オフィスの廊下にあり得る。場所の変化は、オフィス会議室にあるモバイルデバイスと、オフィスの廊下に位置するモバイルデバイスとの間の差異であり得る。視覚コードは、モバイルデバイスがオフィスの廊下に移動したときに消えてもよい。したがって、視覚コードは、ウェアラブルエクステンデッドリアリティ機器によって読み取られるように利用可能ではない場合があり、機器は、既存の共有された座標系においてコンテンツを共有することができない場合がある。
いくつかの実施形態では、提示を変更することは、モバイルデバイスのディスプレイから視覚コードの提示を除去することを含み得る。モバイルデバイスは、物理的空間内の位置を移動した後、もはや視覚コードを表示しない場合がある。別の実施形態では、提示を変更することは、視覚コードの提示を縮小すること、視覚コードの提示を拡大すること、視覚コードの強度を変更すること、視覚コードの配色を変更すること、視覚コードが古くなったことを示す視覚的インジケータを追加すること、視覚コードの提示を歪めること、または視覚コードの視覚的外観に対する任意の他の変更を含み得る。例えば、提示を変更することは、視覚コードを1つまたは複数のウェアラブルエクステンデッドリアリティ機器によって検出不能にし得る。別の例として、提示を変更することは、1つまたは複数のウェアラブルエクステンデッドリアリティ機器が、視覚コードが古くなっていると決定することを可能にし得る。
いくつかの実施形態では、提示の変更は、更新された視覚コードであって、追加のウェアラブルエクステンデッドリアリティ機器による検出のために構成される、更新された視覚コードを、モバイルデバイスのディスプレイ上に提示し、それによって、追加のウェアラブルエクステンデッドリアリティ機器が、更新された視覚コードの検出時に共通の座標系においてコンテンツを共有することを可能にすることを含み得る。いくつかの実施形態では、提示を変更することは、新しい視覚コードを提示することを含み得る。新しい視覚コードは、元の視覚コードと比較して、異なるパターン、異なる種類のコード、異なる着色、または任意の他の種類の差異を含み得る。追加のウェアラブルエクステンデッドリアリティ機器は、物理的空間内に存在してもよく、共通の座標系および共通の座標系に位置する仮想オブジェクトを表示するために、更新されたビジュアルを読み取ってもよい。
いくつかの開示される実施形態は、更新された視覚コードを生成して、モバイルデバイスの第2の物理的位置を反映することを含み得る。いくつかの例では、第2の物理的位置は、共通の座標系のための新しい共通の基準点を反映することができる。更新された視覚コードは、第2の物理的位置を識別する情報を含み得る。例えば、1つまたは複数のウェアラブルエクステンデッドリアリティ機器は、すでに共通の座標系を共有している場合がある。1つまたは複数のウェアラブルエクステンデッドリアリティ機器のユーザは、追加のウェアラブルエクステンデッドリアリティ機器と共通の座標系を共有することを望む場合がある。モバイルデバイスは、物理的空間内の異なる位置に移動され、更新された視覚コードを表示し得る。複数のウェアラブルエクステンデッドリアリティ機器は、更新された視覚コードを走査して、共通の基準点としてモバイルデバイスの第2の物理的位置を有する共通の座標系を可能にし得る。いくつかの例では、第2の物理的位置が第1の物理的位置とは異なるため、更新された視覚コードは、共通の座標系を決定するための補正係数を含み得る。補正係数は、第1の物理的位置と第2の物理的位置との間の変位、モバイルデバイスの方向の変化などに基づき得る。一例では、第1の物理的位置は、共通の座標系の基準点として使用されてもよく、更新された視覚コードは、例えば、2つの物理的位置間の変位を符号化することによって、第2の物理的位置に基づいて、第1の物理的位置の決定を可能にするように構成されてもよい。
いくつかの実施形態では、モバイルデバイスの第2の物理的位置は、視覚コードの少なくとも一部を示し、複数のウェアラブルエクステンデッドリアリティ機器による視覚コードの検出の後に、複数のウェアラブルエクステンデッドリアリティ機器のうちの特定のウェアラブルエクステンデッドリアリティ機器に含まれる画像センサによってキャプチャされた、画像データの分析に基づいて決定され得る。画像センサによってキャプチャされた画像データは、視覚パターン認識アルゴリズムを使用して、画像データ内の視覚コードを位置特定するために分析され得る。画像データ内の視覚コードの場所は、モバイルデバイスが位置を移動した可能性があると決定するために、複数のウェアラブルエクステンデッドリアリティ機器による視覚コードの検出の時点での視覚コードの場所と比較され得る。例えば、モバイルデバイスは、空間内の第1の物理的位置に位置し得る。画像センサは、モバイルデバイスと、第1の場所においてモバイルデバイスに表示されている視覚コードとをキャプチャすることができる。モバイルデバイスは、空間内を左方向に第2の物理的位置まで移動することができる。画像センサは、異なる場所において視覚コードをキャプチャし、モバイルデバイスが空間内の位置を移動したと決定することができる。
いくつかの実施形態では、モバイルデバイスの移動は、画像データ内の視覚コードの位置と、モバイルデバイスの第1の物理的位置に対応する共通の座標系における位置との比較に基づいて検出され得る。いくつかの例では、画像データ内の視覚コードの位置は、共通の座標系における特定の位置に対応することができる。画像データは、視覚パターン認識アルゴリズムを使用して、画像データ内の視覚コードの位置を識別するために分析され得る。画像データ内の視覚コードの位置、画像データ内の視覚コードのサイズ、および/または画像データのキャプチャパラメータ(画像センサの位置、画像センサの向き、画像データのキャプチャに関連付けられたズームまたは他の光学特性など)が、共通の座標系における特定の位置を決定するために使用され得る。共通の座標系における特定の位置は、モバイルデバイスの第1の物理的位置に対応する共通の座標系における位置と比較され得る。共通の座標系における特定の位置がモバイルデバイスの第1の物理的位置に対応する共通の座標系における位置と異なるとき、または共通の座標系における特定の位置とモバイルデバイスの第1の物理的位置に対応する共通の座標系における位置との間の距離が選択された閾値よりも長いとき、モバイルデバイスの移動が検出され得る。
一実装形態では、視覚コードは、モバイルデバイスの検出された移動を示す少なくとも1つの動的マーカを含み得、いくつかの開示される実施形態は、更新された視覚コードを生成するときに少なくとも1つの動的マーカを変更することを含み得る。動的マーカは、変化し得る特性を有するインジケータ、または種々の特性を有する種々のインジケータを含み得る。例えば、動的であるマーカは、提示される情報、彩度、配色、明るさ、または変化の結果として種々の情報を伝達することが可能な任意の他の変化のうちの1つまたは複数において経時的に変化する特性を有してもよい。あるいは、動的マーカは、完全に変化するものであってもよい。例えば、第1の位置では、マーカは、第1のバーコードまたはQRコードを反映してもよく、第2の位置では、マーカは、完全に異なるバーコードまたはQRコードを反映してもよい。更新された視覚コードは、モバイルデバイスの検出された移動に基づくコードの変化を含み得る。例えば、モバイルデバイスは物理的空間内で移動することができる。プロセッサは、モバイルデバイスの移動を検出することができる。移動に基づいて、視覚コードの動的マーカは変化し得る。例えば、英数字情報が変化してもよく、記号、アイコン、もしくは他のグラフィックが変化してもよく、かつ/または彩度、配色、もしくは明るさの変化が生じてもよい。
図61は、仮想コンテンツを共有するための動作を実行するためにプロセッサによって実行され得る例示的な方法6110のフローチャートを示す。方法6110は、モバイルデバイスの第1の物理的位置を反映する視覚コードを生成するステップ6111を含み得る。方法6110はまた、複数のウェアラブルエクステンデッドリアリティ機器による検出のためにモバイルデバイスのディスプレイに視覚コードを提示して、複数のウェアラブルエクステンデッドリアリティ機器が共通の座標系においてコンテンツを共有することを可能にするステップ6112を含み得る。さらに、方法6110は、第1の物理的位置とは異なる第2の物理的位置へのモバイルデバイスの移動を検出するステップ6113を含み得る。方法6110は、視覚コードがコンテンツ共有での使用に利用不可能であるように、視覚コードの提示を変更するステップ6114を含み得る。
別途定義されない限り、本明細書で使用されるすべての技術用語および科学用語は、当業者によって一般的に理解されるものと同じ意味を有する。本明細書に提供される材料、方法、および例は、例示にすぎず、限定することを意図しない。
本開示の方法およびシステムの実装形態は、手動で、自動的に、またはこれらの組み合わせで、特定の選択されたタスクまたはステップを実行または完了することを含み得る。さらに、本開示の方法およびシステムの好ましい実施形態の実際の計装および器具によれば、いくつかの選択されたステップは、ハードウェア(HW)によって、任意のファームウェアの任意のオペレーティングシステム上のソフトウェア(SW)によって、またはこれらの組み合わせによって実装され得る。例えば、ハードウェアとして、本開示の選択されたステップは、チップまたは回路として実装され得る。ソフトウェアまたはアルゴリズムとして、本開示の選択されたステップは、任意の好適なオペレーティングシステムを使用してコンピュータによって実行される複数のソフトウェア命令として実装され得る。いずれの場合も、本開示の方法およびシステムの選択されたステップは、複数の命令を実行するためのコンピューティングデバイスなどのデータプロセッサによって実行されるものとして説明され得る。
本明細書で説明するシステムおよび技術の様々な実装形態は、デジタル電子回路、集積回路、特別に設計されたASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはこれらの組み合わせにおいて実現され得る。これらの様々な実装形態は、記憶システム、少なくとも1つの入力デバイス、および少なくとも1つの出力デバイスからデータおよび命令を受信し、これらにデータおよび命令を送信するように結合された、専用または汎用であり得る少なくとも1つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能および/または解釈可能である1つまたは複数のコンピュータプログラムにおける実装形態を含むことができる。
本明細書で説明するシステムおよび技術は、バックエンド構成要素(例えば、データサーバとして)を含む、もしくはミドルウェア構成要素(例えば、アプリケーションサーバ)を含む、もしくはフロントエンド構成要素(例えば、ユーザが本明細書で説明するシステムおよび技術の実装形態と対話することができるグラフィカルユーザインターフェースまたはウェブブラウザを有するクライアントコンピュータ)を含む、コンピューティングシステム、またはこのようなバックエンド、ミドルウェア、またはフロントエンド構成要素の任意の組み合わせで実装されることができる。システムの構成要素は、デジタルデータ通信の任意の形態または媒体(例えば、通信ネットワーク)によって相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク(「LAN」)、広域ネットワーク(「WAN」)、およびインターネットが挙げられる。コンピューティングシステムは、クライアントおよびサーバを含むことができる。クライアントおよびサーバは、一般に、互いに離れており、通常、通信ネットワークを介して対話する。クライアントとサーバの関係は、それぞれのコンピュータ上で実行していて、互いにクライアントとサーバの関係を有するコンピュータプログラムによって生じる。
記載された実装形態の特定の特徴が本明細書で説明するように示されているが、多くの修正、置換、変更、および均等物が、当業者には思い浮かぶであろう。したがって、添付の特許請求の範囲は、実装形態の範囲内に入るすべてのこのような修正および変更を網羅することが意図されることを理解されたい。これらは、限定ではなく例としてのみ提示されており、形態および詳細の様々な変更が行われ得ることを理解されたい。本明細書に記載される装置および/または方法のいかなる部分も、相互に排他的な組み合わせを除いて、任意の組み合わせで組み合わせられてもよい。本明細書で記載される実装形態は、記載される種々の実装形態の機能、構成要素、および/または特徴の様々な組み合わせおよび/または部分組み合わせを含むことができる。
前述の説明は、例示の目的で提示されている。これは網羅的ではなく、開示される正確な形態または実施形態に限定されない。実施形態の修正および適合は、開示される実施形態の仕様および実践を考慮することから明らかとなるであろう。例えば、記載された実装形態は、ハードウェアおよびソフトウェアを含むが、本開示と一致するシステムおよび方法は、ハードウェアのみとして実装されてもよい。
上述の実施形態は、ハードウェア、もしくはソフトウェア(プログラムコード)、またはハードウェアとソフトウェアとの組み合わせによって実装され得ることが理解される。ソフトウェアによって実装される場合、これは上述のコンピュータ可読媒体に記憶され得る。ソフトウェアは、プロセッサによって実行されると、開示された方法を実行することができる。本開示で記載されるコンピューティングユニットおよび他の機能ユニットは、ハードウェア、もしくはソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実装することができる。当業者であれば、上述のモジュール/ユニットのうちの複数のものを1つのモジュールまたはユニットとして組み合わせることができ、上述のモジュール/ユニットの各々を複数のサブモジュールまたはサブユニットにさらに分割することができることも理解するであろう。
図中のブロック図は、本開示の様々な例示的な実施形態による、システム、方法、およびコンピュータハードウェアまたはソフトウェア製品の可能な実装形態のアーキテクチャ、機能、および動作を示す。この点に関して、フローチャートまたはブロック図内の各ブロックは、指定された論理機能を実施するための1つまたは複数の実行可能命令を含むモジュール、セグメント、またはコードの一部を表すことができる。いくつかの代替の実装形態では、ブロック内に示された機能が、図に示された順序とは異なる順序で行われ得ることを理解されたい。例えば、連続して示される2つのブロックは、実質的に同時に実行または実装されてもよく、また、2つのブロックは、関連する機能に応じて、逆の順序で実行されてもよいこともある。いくつかのブロックは省略されてもよい。ブロック図の各ブロック、およびブロックの組み合わせは、指定された機能または動作を実行する専用ハードウェアベースのシステムによって、または専用ハードウェアとコンピュータ命令との組み合わせによって実装され得ることも理解されたい。
前述の明細書では、実施形態は、実装形態ごとに異なり得る多数の特定の詳細を参照して説明されている。記載された実施形態の特定の適合および修正を行うことができる。他の実施形態は、本明細書に開示される本発明の仕様および実践を考慮することにより、当業者には明らかであり得る。本明細書および実施例は、単なる例として考慮され、本発明の真の範囲および精神は、以下の特許請求の範囲によって示されることが意図される。また、図に示される一連のステップは、例示的な目的のみであり、任意の特定の一連のステップに限定されることを意図しないことも意図される。したがって、当業者は、同じ方法を実施しながら、これらのステップが異なる順序で実行され得ることを理解することができる。
本開示の実施形態は、上述され、添付の図面に示された正確な構成に限定されず、本開示の範囲から逸脱することなく、様々な修正および変更が行われ得ることが理解されよう。また、他の実施形態は、本明細書に開示される開示された実施形態の仕様および実践を考慮することにより、当業者には明らかであろう。本明細書および実施例は、単なる例として考慮され、開示された実施形態の真の範囲および精神は、以下の特許請求の範囲によって示されることが意図される。
さらに、例示的な実施形態が本明細書に記載されているが、本発明の範囲は、本開示に基づく同等の要素、修正、省略、組み合わせ(例えば、様々な実施形態にわたる態様のもの)、適合または変更を有するありとあらゆる実施形態を含む。特許請求の範囲における要素は、特許請求の範囲において使用される文言に基づいて広く解釈されるべきであり、本明細書においてまたは本出願の審査中に記載される例に限定されるべきではない。これらの例は、非排他的であると解釈されるべきである。さらに、開示された方法のステップは、ステップを並べ替えること、またはステップを挿入もしくは削除することを含む、任意の方法で修正され得る。したがって、本明細書および実施例は、単なる例として考慮され、真の範囲および精神は、以下の特許請求の範囲およびその均等物の全範囲によって示されることが意図される。
Claims (180)
- ウェアラブルエクステンデッドリアリティ機器のユーザ間でのコンテンツ共有を可能にするために構成された非一時的コンピュータ可読媒体であって、前記コンピュータ可読媒体は、少なくとも1つのプロセッサによって実行されたときに、前記少なくとも1つのプロセッサに、
第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間のリンクを確立するステップと、
前記第1のウェアラブルエクステンデッドリアリティ機器を通じて、第1の仮想コンテンツを提示するステップと、
前記第2のウェアラブルエクステンデッドリアリティ機器を介して前記第1の仮想コンテンツを表示するための第1のコマンドを取得するステップと、
前記第1のコマンドに応答して、前記第2のウェアラブルエクステンデッドリアリティ機器への表示のために前記第1の仮想コンテンツを送信させるステップと、
前記第2のウェアラブルエクステンデッドリアリティ機器から、前記第1のウェアラブルエクステンデッドリアリティ機器を介した表示のために第2の仮想コンテンツを受信するステップと、
前記第1のウェアラブルエクステンデッドリアリティ機器を介して、前記第2のウェアラブルエクステンデッドリアリティ機器から受信された前記第2の仮想コンテンツを提示するステップと、
を実行させる命令を含む、非一時的コンピュータ可読媒体。 - 前記命令は、前記第1のウェアラブルエクステンデッドリアリティ機器が前記第2のウェアラブルエクステンデッドリアリティ機器に近接して検出されたときに、前記プロセッサに、前記リンクを確立させ、情報交換を可能にさせるように構成される、請求項1に記載の非一時的コンピュータ可読媒体。
- 前記第1のコマンドを取得することは、前記第1のウェアラブルエクステンデッドリアリティ機器によってキャプチャされたデータ内の共有意図を識別することを含む、請求項1に記載の非一時的コンピュータ可読媒体
- 前記共有意図は、キャプチャされた画像データ内で識別される、請求項3に記載の非一時的コンピュータ可読媒体。
- 前記共有意図は、キャプチャされた音声データ内で識別される、請求項3に記載の非一時的コンピュータ可読媒体。
- 前記共有意図は、キャプチャされた位置決めデータ内で識別される、請求項3に記載の非一時的コンピュータ可読媒体。
- 前記第1のコマンドを取得することは、エクステンデッドリアリティ環境で実行されるアクションに関連付けられた共有意図を識別することを含む、請求項1に記載の非一時的コンピュータ可読媒体。
- 前記共有意図を識別することは、前記第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザが、前記第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザに向かって前記第1の仮想コンテンツを提示する仮想画面の向きを変更したと決定することを含む、請求項7に記載の非一時的コンピュータ可読媒体。
- 前記共有意図を識別することは、前記第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザが、前記第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザを取り囲む仮想共有空間に向かって前記第1の仮想コンテンツを移動させたと決定することを含む、請求項7に記載の非一時的コンピュータ可読媒体。
- 前記共有意図を識別することは、前記第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザが、定義された仮想共有空間に向かって前記第1の仮想コンテンツを移動させたと決定することを含む、請求項7に記載の非一時的コンピュータ可読媒体。
- 前記仮想共有空間は、前記リンクが確立されたときに自動的に作成される、請求項10に記載の非一時的コンピュータ可読媒体。
- 前記仮想共有空間の視覚化は、前記第1のウェアラブルエクステンデッドリアリティ機器および前記第2のウェアラブルエクステンデッドリアリティ機器の各々によって提示される、請求項10に記載の非一時的コンピュータ可読媒体。
- 前記仮想共有空間の場所は、前記第1のウェアラブルエクステンデッドリアリティ機器の環境内の物理オブジェクトの場所に基づいて決定される、請求項10に記載の非一時的コンピュータ可読媒体。
- 前記ステップは、前記第1の仮想コンテンツが前記第2のウェアラブルエクステンデッドリアリティ機器を介して提示された時点で、前記第1のウェアラブルエクステンデッドリアリティ機器を介してインジケータを提供することをさらに含む、請求項1に記載の非一時的コンピュータ可読媒体。
- 前記第1の仮想コンテンツは、少なくとも1つのプライベート仮想オブジェクトおよび少なくとも1つのパブリック仮想オブジェクトに関連付けられ、前記第2のウェアラブルエクステンデッドリアリティ機器による表示のために前記第1の仮想コンテンツを送信させることは、前記少なくとも1つのパブリック仮想オブジェクトを送信することと、前記少なくとも1つのプライベート仮想オブジェクトの送信を回避することとを含む、請求項1に記載の非一時的コンピュータ可読媒体。
- 前記第1の仮想コンテンツを前記第2のウェアラブルエクステンデッドリアリティ機器によって表示させることは、前記第2のウェアラブルエクステンデッドリアリティ機器に関連付けられたデフォルト設定に従って前記第1の仮想コンテンツを修正することを含む、請求項1に記載の非一時的コンピュータ可読媒体。
- 前記第1の仮想コンテンツは、2次元仮想オブジェクトを含み、前記第2の仮想コンテンツは、前記2次元仮想オブジェクトの代替バージョンを含む、請求項1に記載の非一時的コンピュータ可読媒体。
- 前記第1の仮想コンテンツは、3次元仮想オブジェクトを含み、前記第2の仮想コンテンツは、前記3次元オブジェクトに関連付けられた2次元仮想オブジェクトを含む、請求項1に記載の非一時的コンピュータ可読媒体。
- ウェアラブルエクステンデッドリアリティ機器のユーザ間でのコンテンツ共有を可能にするための方法であって、前記方法は、
第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間のリンクを確立することと、
前記第1のウェアラブルエクステンデッドリアリティ機器を通じて、第1の仮想コンテンツを提示することと、
前記第2のウェアラブルエクステンデッドリアリティ機器を介して前記第1の仮想コンテンツを表示するための第1のコマンドを取得することと、
前記第1のコマンドに応答して、前記第2のウェアラブルエクステンデッドリアリティ機器への表示のために前記第1の仮想コンテンツを送信させることと、
前記第2のウェアラブルエクステンデッドリアリティ機器から、前記第1のウェアラブルエクステンデッドリアリティ機器を介した表示のために第2の仮想コンテンツを受信することと、
前記第1のウェアラブルエクステンデッドリアリティ機器を介して、前記第2のウェアラブルエクステンデッドリアリティ機器から受信された前記第2の仮想コンテンツを提示することと、
を含む、方法。 - ウェアラブルエクステンデッドリアリティ機器のユーザ間でのコンテンツ共有を可能にするためのシステムであって、前記システムは、
少なくとも1つのプロセッサを備え、前記少なくとも1つのプロセッサは、
第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間のリンクを確立することと、
前記第1のウェアラブルエクステンデッドリアリティ機器を通じて、第1の仮想コンテンツを提示することと、
前記第2のウェアラブルエクステンデッドリアリティ機器を介して前記第1の仮想コンテンツを表示するための第1のコマンドを、前記第1のウェアラブルエクステンデッドリアリティ機器を介して受信することと、
前記第1のコマンドに応答して、前記第2のウェアラブルエクステンデッドリアリティ機器への表示のために前記第1の仮想コンテンツを送信させることと、
前記第2のウェアラブルエクステンデッドリアリティ機器から、前記第1のウェアラブルエクステンデッドリアリティ機器を介した表示のために第2の仮想コンテンツを受信することと、
前記第1のウェアラブルエクステンデッドリアリティ機器を介して、前記第2のウェアラブルエクステンデッドリアリティ機器から受信された前記第2の仮想コンテンツを提示することと、
を行うようにプログラムされる、システム。 - 少なくとも1つのプロセッサによって実行されたときに、前記少なくとも1つのプロセッサに、ウェアラブルエクステンデッドリアリティ機器のユーザに状況認識を提供するための動作を実行させる命令を含む非一時的コンピュータ可読媒体であって、前記動作は、
第1のウェアラブルエクステンデッドリアリティ機器を通じて仮想コンテンツを表示させることと、
前記第1のウェアラブルエクステンデッドリアリティ機器に近接した第2のウェアラブルエクステンデッドリアリティ機器を検出することと、
前記第1のウェアラブルエクステンデッドリアリティ機器と前記第2のウェアラブルエクステンデッドリアリティ機器との間のリンクを確立することと、
前記仮想コンテンツの少なくとも一部分を表すデータを不明瞭化された形態で前記第2のウェアラブルエクステンデッドリアリティ機器に送信することであって、前記不明瞭化された形態が、不明瞭化された形態での前記仮想コンテンツの実体を明らかにすることなく、3次元空間における前記仮想コンテンツの前記少なくとも一部分の位置のインジケーションを提供する、送信することと、
を含む、非一時的コンピュータ可読媒体。 - 前記第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される前記仮想コンテンツは、種々の種類のコンテンツを含み、前記動作は、前記第2のウェアラブルエクステンデッドリアリティ機器を介して、前記コンテンツの実体を明らかにすることなく、前記不明瞭化された情報に関連付けられた種類を提示することをさらに含む、請求項21に記載の非一時的コンピュータ可読媒体。
- 前記第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される前記仮想コンテンツは、複数の仮想画面を含み、前記第2のウェアラブルエクステンデッドリアリティ機器を介して不明瞭化された形態で提示される前記仮想コンテンツは、前記複数の仮想画面に関連付けられたコンテンツの実体を明らかにすることなく、前記複数の仮想画面のサイズおよび向きのインジケーションをさらに提供する、請求項21に記載の非一時的コンピュータ可読媒体。
- 前記第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される前記仮想コンテンツは、1人または複数の参加者との会話を提示するユーザインターフェースを含み、前記不明瞭化された形態は、前記1人または複数の参加者の身元を明らかにすることなく、前記会話の表現をさらに含む、請求項21に記載の非一時的コンピュータ可読媒体。
- 前記第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される前記仮想コンテンツは、仮想3次元オブジェクトを含み、前記不明瞭化された形態は、前記3次元オブジェクトの他の詳細を明らかにすることなく、前記仮想3次元オブジェクトの形状のインジケーションをさらに提供する、請求項21に記載の非一時的コンピュータ可読媒体。
- 前記動作は、
前記仮想コンテンツを共有するための要求を前記第2のウェアラブルエクステンデッドリアリティ機器から受信することと、
前記第1のウェアラブルエクステンデッドリアリティ機器から確認を受信した時点で、前記仮想コンテンツの前記少なくとも一部を表す第2のデータを不明瞭化されていない形態で前記第2のウェアラブルエクステンデッドリアリティ機器に送信することと、
をさらに含む、請求項21に記載の非一時的コンピュータ可読媒体。 - 前記動作は、前記第1のウェアラブルエクステンデッドリアリティ機器に、前記仮想コンテンツの前記少なくとも一部分が前記第2のウェアラブルエクステンデッドリアリティ機器を介して不明瞭化された形態で表示されるというインジケーションを提供することをさらに含む、請求項21に記載の非一時的コンピュータ可読媒体。
- 前記動作は、
前記仮想コンテンツの前記少なくとも一部分を前記第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザと共有するための前記第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザの意図を決定することと、
前記仮想コンテンツの前記少なくとも一部分を表す第2のデータを不明瞭化されていない形態で前記第2のウェアラブルエクステンデッドリアリティ機器に送信することと、
をさらに含む、請求項27に記載の非一時的コンピュータ可読媒体。 - 前記仮想コンテンツの前記少なくとも一部分を前記第2のウェアラブルエクステンデッドリアリティ機器の前記第2のユーザと共有する前記意図は、前記第1のウェアラブルエクステンデッドリアリティ機器によってキャプチャされた画像データから決定される、請求項28に記載の非一時的コンピュータ可読媒体。
- 前記仮想コンテンツの前記少なくとも一部分を前記第2のウェアラブルエクステンデッドリアリティ機器の前記第2のユーザと共有する前記意図は、前記第1のウェアラブルエクステンデッドリアリティ機器の前記ユーザから、前記仮想コンテンツの前記少なくとも一部分を不明瞭化された形態に保つためのインジケーションを受信しないことから決定される、請求項28に記載の非一時的コンピュータ可読媒体。
- 前記第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される前記仮想コンテンツは、プライベートとして分類される第1の部分と、パブリックとして分類される第2の部分とを含み、前記動作はさらに、前記第1の部分を前記第2のウェアラブルエクステンデッドリアリティ機器への送信から除外し、前記第2の部分を不明瞭化された形態で前記第2のウェアラブルエクステンデッドリアリティ機器に送信する、請求項21に記載の非一時的コンピュータ可読媒体。
- 前記第1のウェアラブルエクステンデッドリアリティ機器を通じて表示される前記仮想コンテンツは、プライベートとして分類される第1の部分と、パブリックとして分類される第2の部分とを含み、前記動作は、前記第1の部分を不明瞭化された形態で送信することと、前記第2の部分を非不明瞭化された形態で送信することとをさらに含む、請求項21に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記第1のウェアラブルエクステンデッドリアリティ機器を介して、前記第1の部分がプライベートとして分類されるというインジケーションを受信することをさらに含む、請求項32に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記第1の部分がプライベートとして分類されると自動的に決定することをさらに含む、請求項32に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記第1の部分を閲覧するための許可を有する少なくとも第1の個人と、前記第1の部分を閲覧するための許可を有さない少なくとも第2の個人とを識別することをさらに含み、前記動作は、前記少なくとも第2の個人への前記第1の部分の表示を防止しながら、前記少なくとも第1の個人への前記第1の部分の表示を有効にすることをさらに含む、請求項34に記載の非一時的コンピュータ可読媒体。
- 前記動作は、
第3のウェアラブルエクステンデッドリアリティ機器が前記第1のウェアラブルエクステンデッドリアリティ機器に近接していることを検出することと、
前記第1のウェアラブルエクステンデッドリアリティ機器と前記第3のウェアラブルエクステンデッドリアリティ機器との間の追加のリンクを確立することと、
前記仮想コンテンツの特定の部分が前記第2のウェアラブルエクステンデッドリアリティ機器に不明瞭化された形態で表示されている間に、前記仮想コンテンツの前記特定の部分を表すデータを不明瞭化されていない形態で前記第3のウェアラブルエクステンデッドリアリティ機器に送信することと、
をさらに含む、請求項21に記載の非一時的コンピュータ可読媒体。 - 前記動作は、
前記第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザに関連付けられた第2のユーザ許可データ、および前記第3のウェアラブルエクステンデッドリアリティ機器に関連付けられた第3のユーザ許可データにアクセスすることと、
前記第2のユーザ許可データおよび前記第3のユーザ許可データに基づいて、コンテンツを前記第2のウェアラブルエクステンデッドリアリティ機器および前記第3のウェアラブルエクステンデッドリアリティ機器と選択的に共有することであって、前記第2のウェアラブルエクステンデッドリアリティ機器と共有される前記コンテンツは、前記第3のウェアラブルエクステンデッドリアリティ機器と共有されるコンテンツとは異なる、共有することと、
をさらに含む、請求項36に記載の非一時的コンピュータ可読媒体。 - 前記第2のユーザ許可データおよび前記第3のユーザ許可データは、前記リンクおよび前記追加のリンクの前記確立中にそれぞれ取得される、請求項37に記載の非一時的コンピュータ可読媒体。
- ウェアラブルエクステンデッドリアリティ機器のユーザに状況認識を提供するための方法であって、前記方法は、
第1のウェアラブルエクステンデッドリアリティ機器を通じて、仮想コンテンツを表示させることと、
前記第1のウェアラブルエクステンデッドリアリティ機器に近接した第2のウェアラブルエクステンデッドリアリティ機器を検出することと、
前記第1のウェアラブルエクステンデッドリアリティ機器と前記第2のウェアラブルエクステンデッドリアリティ機器との間のリンクを確立することと、
前記仮想コンテンツの少なくとも一部分を表すデータを不明瞭化された形態で前記第2のウェアラブルエクステンデッドリアリティ機器に送信することであって、前記不明瞭化された形態が、不明瞭化された形態での前記仮想コンテンツの実体を明らかにすることなく、3次元空間における前記仮想コンテンツの前記少なくとも一部分の位置のインジケーションを提供する、送信することと、
を含む、方法。 - ウェアラブルエクステンデッドリアリティ機器のユーザに状況認識を提供するためのシステムであって、前記システムは、
少なくとも1つのプロセッサを備え、前記少なくとも1つのプロセッサは、
第1のウェアラブルエクステンデッドリアリティ機器を通じて、仮想コンテンツを表示させることと、
前記第1のウェアラブルエクステンデッドリアリティ機器に近接した第2のウェアラブルエクステンデッドリアリティ機器を検出することと、
前記第1のウェアラブルエクステンデッドリアリティ機器と前記第2のウェアラブルエクステンデッドリアリティ機器との間のリンクを確立することと、
前記仮想コンテンツの少なくとも一部分を表すデータを不明瞭化された形態で前記第2のウェアラブルエクステンデッドリアリティ機器に送信することであって、前記不明瞭化された形態が、不明瞭化された形態での前記仮想コンテンツの実体を明らかにすることなく、3次元空間における前記仮想コンテンツの前記少なくとも一部分の位置のインジケーションを提供する、送信することと、
を行うように構成される、システム。 - 少なくとも1つのプロセッサによって実行されたときに、前記少なくとも1つのプロセッサに、仮想ホワイトボードを物理的空間に結び付けさせる命令を含む非一時的コンピュータ可読媒体であって、前記命令は、
無線ネットワークを介して、第1のウェアラブルエクステンデッドリアリティ機器の場所のインジケーションを受信することと、
仮想ホワイトボードのリポジトリおよび前記仮想ホワイトボードの場所でルックアップを実行して、前記第1のウェアラブルエクステンデッドリアリティ機器の前記場所が特定の仮想ホワイトボードの場所に対応すると決定することと、
前記第1のウェアラブルエクステンデッドリアリティ機器に、前記特定の仮想ホワイトボードのコンテンツに対応するデータを送信し、それによって、前記第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザが前記特定の仮想ホワイトボードの前記コンテンツを仮想的に閲覧し、仮想コンテンツを前記特定の仮想ホワイトボードに追加することを可能にすることと、
第1の期間中に、前記第1のユーザによって追加された前記仮想コンテンツを受信することと、
前記第1のウェアラブルエクステンデッドリアリティ機器が前記特定の仮想ホワイトボードの前記場所にもはやなくなった後の第2の期間に、前記無線ネットワークを介して、第2のウェアラブルエクステンデッドリアリティ機器が前記特定の仮想ホワイトボードの前記場所にあるというインジケーションを受信することと、
前記第2のウェアラブルエクステンデッドリアリティ機器に、前記特定の仮想ホワイトボードの前記コンテンツおよび前記追加されたコンテンツに対応するデータを送信し、それによって前記第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザが、前記第1のユーザが前記特定の仮想ホワイトボードの前記場所にいない間に、前記コンテンツおよび前記追加されたコンテンツを閲覧することを可能にすることと、
を含む、非一時的コンピュータ可読媒体。 - 前記特定の仮想ホワイトボードの前記コンテンツは、種々のユーザによって寄稿された複数のドキュメントを含む、請求項41に記載の非一時的コンピュータ可読媒体。
- 前記命令は、前記第1の期間および前記第2の期間の両方の間に、前記複数のドキュメントを共通のレイアウト配置で表示させることをさらに含む、請求項42に記載の非一時的コンピュータ可読媒体。
- 前記命令は、メンテナンス期間の満了時に、前記特定の仮想ホワイトボードから前記複数のドキュメントのうちの少なくともいくつかを自動的に消去することをさらに含む、請求項42に記載の非一時的コンピュータ可読媒体。
- 前記命令は、前記追加されたコンテンツを仮想ホワイトボードの前記リポジトリに記憶することをさらに含む、請求項41に記載の非一時的コンピュータ可読媒体。
- 前記第2のウェアラブルエクステンデッドリアリティ機器に送信される前記データは、前記第1のユーザが前記追加されたコンテンツを寄稿したというインジケーションを含む、請求項41に記載の非一時的コンピュータ可読媒体。
- 前記第2のウェアラブルエクステンデッドリアリティ機器に送信される前記データは、前記追加されたコンテンツが前記特定の仮想ホワイトボードにいつ追加されたかのインジケーションを含む、請求項41に記載の非一時的コンピュータ可読媒体。
- 前記命令は、
前記特定の仮想ホワイトボードにコンテンツを追加するための許可にウェアラブルエクステンデッドリアリティ機器のユーザを関連付けるルールにアクセスすることと、
前記アクセスされたルールを使用して、前記第1のユーザが前記特定の仮想ホワイトボード上にコンテンツを追加することができると決定することと、
をさらに含む、請求項41に記載の非一時的コンピュータ可読媒体。 - 前記第1のユーザが前記特定の仮想ホワイトボード上にコンテンツを追加することができるという前記決定は、前記特定の仮想ホワイトボードへの前記第1のユーザのアクセス権に基づく、請求項48に記載の非一時的コンピュータ可読媒体。
- 前記命令は、
前記特定の仮想ホワイトボードからコンテンツを削除するための許可にユーザを関連付けるルールにアクセスすることと、
前記アクセスされたルールを使用して、前記第2のユーザが前記特定の仮想ホワイトボードから前記追加されたコンテンツを削除することを許可されていると決定することと、
をさらに含む、請求項41に記載の非一時的コンピュータ可読媒体。 - 前記命令は、
前記特定の仮想ホワイトボードにコンテンツをアップロードするための許可にコンテンツの種類を関連付けるルールにアクセスすることと、
前記アクセスされたルールを使用して、前記追加されたコンテンツが前記特定の仮想ホワイトボード上に投稿することを許可されていると決定することと、
をさらに含む、請求項41に記載の非一時的コンピュータ可読媒体。 - 前記追加されたコンテンツが前記特定の仮想ホワイトボード上に投稿することを許可されるという前記決定は、前記追加されたコンテンツのコンテンツ分析に基づく、請求項51に記載の非一時的コンピュータ可読媒体。
- 前記命令は、
前記特定の仮想ホワイトボードからコンテンツを閲覧するための許可にウェアラブルエクステンデッドリアリティ機器のユーザを関連付けるルールにアクセスすることと、
前記アクセスされたルールを使用して、前記第2のユーザが前記特定の仮想ホワイトボード上で前記追加されたコンテンツを閲覧することを許可されていると決定することと、
をさらに含む、請求項41に記載の非一時的コンピュータ可読媒体。 - 前記第2のユーザが前記特定の仮想ホワイトボード上で前記追加されたコンテンツを閲覧することを許可されるという前記決定は、前記第2のユーザの年齢に基づく、請求項53に記載の非一時的コンピュータ可読媒体。
- 前記命令は、
前記第2の期間の前の時点で前記無線ネットワークを介して、前記第2のユーザにとって関心のあるコンテンツの少なくとも1つのクラスのインジケーションを受信することと、
前記追加されたコンテンツの第1の部分が前記第2のユーザにとって関心のある前記少なくとも1つのクラスに含まれると決定することと、
前記第2のユーザが前記追加されたコンテンツの前記第1の部分を閲覧することを可能にすることと、
をさらに含む、請求項41に記載の非一時的コンピュータ可読媒体。 - 前記命令は、
前記追加されたコンテンツの第2の部分が前記第2の閲覧者にとって関心のあるコンテンツの前記少なくとも1つのクラスから除外されると決定することと、
前記第2のユーザへの前記追加されたコンテンツの前記第2の部分の表示を不可能にすることと、
をさらに含む、請求項55に記載の非一時的コンピュータ可読媒体。 - 前記追加されたコンテンツは、アニメーション化されたコンテンツを含む、請求項41に記載の非一時的コンピュータ可読媒体。
- 前記追加されたコンテンツは、前記特定の仮想ホワイトボードとの対話を通じて前記第1のユーザによって描かれた描画を含む、請求項41に記載の非一時的コンピュータ可読媒体。
- 仮想ホワイトボードを物理的空間に結び付けるためのシステムであって、前記システムは、
少なくとも1つのプロセッサを備え、前記少なくとも1つのプロセッサは、
無線ネットワークを介して、第1のウェアラブルエクステンデッドリアリティ機器の場所のインジケーションを受信することと、
仮想ホワイトボードのリポジトリおよび前記仮想ホワイトボードの場所でルックアップを実行して、前記第1のウェアラブルエクステンデッドリアリティ機器の前記場所が特定の仮想ホワイトボードの場所に対応すると決定することと、
前記第1のウェアラブルエクステンデッドリアリティ機器に、前記特定の仮想ホワイトボードのコンテンツに対応するデータを送信し、それによって、前記第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザが、前記特定の仮想ホワイトボードの前記コンテンツを仮想的に閲覧し、仮想コンテンツを前記特定の仮想ホワイトボードに追加することを可能にすることと、
第1の期間中に、前記第1のユーザによって追加された前記仮想コンテンツを受信することと、
前記第1のウェアラブルエクステンデッドリアリティ機器が前記特定の仮想ホワイトボードの前記場所にもはやなくなった後の第2の期間に、前記無線ネットワークを介して、第2のウェアラブルエクステンデッドリアリティ機器が前記特定の仮想ホワイトボードの前記場所にあるというインジケーションを受信することと、
前記第2のウェアラブルエクステンデッドリアリティ機器に、前記特定の仮想ホワイトボードの前記コンテンツおよび前記追加されたコンテンツに対応するデータを送信し、それによって前記第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザが、前記第1のユーザが前記特定の仮想ホワイトボードの前記場所にいない間に、前記コンテンツおよび前記追加されたコンテンツを閲覧することを可能にすることと、
を行うように構成される、システム。 - 仮想ホワイトボードを物理的空間に結び付けるための方法であって、前記方法は、
無線ネットワークを介して、第1のウェアラブルエクステンデッドリアリティ機器の場所のインジケーションを受信することと、
仮想ホワイトボードのリポジトリおよび前記仮想ホワイトボードの場所でルックアップを実行して、前記第1のウェアラブルエクステンデッドリアリティ機器の前記場所が特定の仮想ホワイトボードの場所に対応すると決定することと、
前記第1のウェアラブルエクステンデッドリアリティ機器に、前記特定の仮想ホワイトボードのコンテンツに対応するデータを送信し、それによって、前記第1のウェアラブルエクステンデッドリアリティ機器の第1のユーザが、前記特定の仮想ホワイトボードの前記コンテンツを仮想的に閲覧し、仮想コンテンツを前記特定の仮想ホワイトボードに追加することを可能にすることと、
第1の期間中に、前記第1のユーザによって追加された前記仮想コンテンツを受信することと、
前記第1のウェアラブルエクステンデッドリアリティ機器が前記特定の仮想ホワイトボードの前記場所にもはやなくなった後の第2の期間に、前記無線ネットワークを介して、第2のウェアラブルエクステンデッドリアリティ機器が前記特定の仮想ホワイトボードの前記場所にあるというインジケーションを受信することと、
前記第2のウェアラブルエクステンデッドリアリティ機器に、前記特定の仮想ホワイトボードの前記コンテンツおよび前記追加されたコンテンツに対応するデータを送信し、それによって前記第2のウェアラブルエクステンデッドリアリティ機器の第2のユーザが、前記第1のユーザが前記特定の仮想ホワイトボードの前記場所にいない間に、前記コンテンツおよび前記追加されたコンテンツを閲覧することを可能にすることと、
を含む、方法。 - 少なくとも1つのプロセッサによって実行されたときに、前記少なくとも1つのプロセッサに、仮想コンテンツを物理的ディスプレイデバイスに転送するための動作を実行させる命令を含む非一時的コンピュータ可読媒体であって、前記動作は、
ウェアラブルエクステンデッドリアリティ機器を介して部屋内のエクステンデッドリアリティ環境を提示することであって、前記ウェアラブルエクステンデッドリアリティ機器が、前記部屋内に位置する複数のディスプレイデバイスとペアリングされるように構成され、各ディスプレイデバイスが一意のネットワーク識別子に関連付けられる、提示することと、
前記ウェアラブルエクステンデッドリアリティ機器に関連付けられた入力を受信して、前記エクステンデッドリアリティ環境内の特定の仮想オブジェクトを対象のディスプレイデバイスに提示させることと、
前記ウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサから画像データを受信することであって、前記画像データが前記対象のディスプレイデバイスを示す、受信することと、
前記画像データを分析して、前記対象のディスプレイデバイスを識別することと、
前記対象のディスプレイデバイスを識別した時点で、前記対象のディスプレイデバイスのネットワーク識別子を決定することと、
前記対象のディスプレイデバイスの前記決定されたネットワーク識別子を使用して、前記対象のディスプレイデバイスとの通信リンクを確立することと、
前記特定の仮想オブジェクトを表すデータを前記対象のディスプレイデバイスに送信することであって、前記送信されたデータは、前記対象のディスプレイデバイスが前記特定の仮想オブジェクトを提示することを可能にする、送信することと、
を含む、非一時的コンピュータ可読媒体。 - 前記入力は、前記ウェアラブルエクステンデッドリアリティ機器に関連付けられた前記画像センサから受信される、請求項61に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記画像データを分析して、前記特定の仮想オブジェクトと前記対象のディスプレイデバイスとの間の仮想衝突をトリガする前記ウェアラブルエクステンデッドリアリティ機器のユーザによって開始されたジェスチャを識別することをさらに含む、請求項62に記載の非一時的コンピュータ可読媒体。
- 前記入力は、前記ウェアラブルエクステンデッドリアリティ機器に関連付けられたポインティングデバイスから受信される、請求項61に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記画像データを分析して、前記対象のディスプレイデバイスによって表示されたコンテンツを認識し、それによって、前記対象のディスプレイデバイスの身元を決定することをさらに含む、請求項61に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記特定の仮想オブジェクトがプライベートとして分類されると決定することと、前記対象のディスプレイデバイスを通じて前記特定の仮想オブジェクトを表示するための許可を要求することと、前記許可を受信した後にのみ、前記特定の仮想オブジェクトを表す前記データを前記対象のディスプレイデバイスに送信することとをさらに含む、請求項61に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記特定の仮想オブジェクトがプライベートとして分類されると決定することと、前記対象のディスプレイデバイスが前記プライベート情報を提示するために認可されていると決定することと、前記対象のディスプレイデバイスが前記プライベート情報を提示するために認可されているという前記決定に応答して、前記特定の仮想オブジェクトを表す前記データを前記対象のディスプレイデバイスに送信することとをさらに含む、請求項61に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記特定の仮想オブジェクトがプライベートとして分類されると決定することと、前記画像データを分析して、前記対象のディスプレイデバイスに露出された前記ウェアラブルエクステンデッドリアリティ機器のユーザ以外の個人の存在を決定することと、前記対象のディスプレイデバイスに露出された前記ユーザ以外の個人がいないという決定に応答して、前記特定の仮想オブジェクトを表す前記データを前記対象のディスプレイデバイスに送信することと、2人以上の個人が前記対象のディスプレイデバイスに露出されているという決定に応答して、前記対象のディスプレイデバイスへの前記特定の仮想オブジェクトを表す前記データの送信を回避することとをさらに含む、請求項61に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記特定の仮想オブジェクトを表す前記データを前記対象のディスプレイデバイスに送信した後に、前記ユーザ以外の個人が前記対象のディスプレイデバイスに露出される可能性が高いと決定することと、前記ユーザ以外の前記個人が前記対象のディスプレイデバイスに露出される可能性が高いという前記決定に応答して、前記対象のディスプレイデバイスに前記特定の仮想オブジェクトの提示を中止させることとをさらに含む、請求項68に記載の非一時的コンピュータ可読媒体。
- 前記特定の仮想オブジェクトは、メディアコンテンツを再生する仮想画面であり、前記データの前記送信は、前記メディアコンテンツを前記対象のディスプレイデバイスを通じて提示させる、請求項61に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記特定の仮想オブジェクトが前記対象のディスプレイデバイスを通じて提示される時点で、前記特定の仮想オブジェクトを前記エクステンデッドリアリティ環境から消失させることをさらに含む、請求項61に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記特定の仮想オブジェクトが前記対象のディスプレイデバイスを通じて提示されることを示す仮想インジケータを、前記ウェアラブルエクステンデッドリアリティ機器を介して表示することをさらに含む、請求項61に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記対象のディスプレイデバイスに関連付けられた仮想コントローラを生成することをさらに含み、前記仮想コントローラは、前記対象のディスプレイデバイスの表示パラメータの修正を可能にする、請求項61に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記対象のディスプレイデバイスが前記特定の仮想オブジェクトを提示し始めた後に、追加の入力を受信することと、前記追加の入力に基づいて前記対象のディスプレイデバイス上の前記特定の仮想オブジェクトを修正することとをさらに含む、請求項61に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記対象のディスプレイデバイスが前記特定の仮想オブジェクトを提示し始めた後に、前記対象のディスプレイデバイスを通じて前記特定の仮想オブジェクトを提示することを停止するための前記ウェアラブルエクステンデッドリアリティ機器のユーザの要望を示す追加の入力を受信することと、前記追加の入力を受信したことに応答して、前記対象のディスプレイデバイスに、前記対象のディスプレイデバイスによる前記特定の仮想オブジェクトの提示を中止させることとをさらに含む、請求項61に記載の非一時的コンピュータ可読媒体。
- 前記対象のディスプレイデバイスを通じて前記特定の仮想オブジェクトを提示することを停止するための前記ウェアラブルエクステンデッドリアリティ機器の前記ユーザの前記要望を示す前記追加の入力は、前記ウェアラブルエクステンデッドリアリティ機器が前記部屋を出たというインジケーションを含む、請求項75に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記特定の仮想オブジェクトの前記提示を中止した後に、前記ウェアラブルエクステンデッドリアリティ機器が前記部屋に再入室したというインジケーションを受信することと、前記再入室に応答して、前記対象のディスプレイデバイスによる前記特定の仮想オブジェクトの前記提示を更新させることとをさらに含む、請求項76に記載の非一時的コンピュータ可読媒体。
- 前記動作は、
前記ウェアラブルエクステンデッドリアリティ機器を通じて第2のディスプレイデバイスからコンテンツを提示させるための追加の入力を受信することと、
前記画像センサから第2の画像データを受信することであって、前記第2の画像データが前記第2のディスプレイデバイスを示す、受信することと、
前記第2の画像データを分析して、前記第2のディスプレイデバイスを識別することと、
前記第2のディスプレイデバイスを識別した時点で、前記第2のディスプレイデバイスのネットワーク識別子を決定することと、
前記第2のディスプレイデバイスの前記決定されたネットワーク識別子を使用して、前記第2のディスプレイデバイスとの通信リンクを確立することと、
前記第2のディスプレイデバイスから前記コンテンツを表すデータを受信することと、
前記ウェアラブルエクステンデッドリアリティ機器を通じて、前記第2のディスプレイデバイスからの前記コンテンツを表示することと、
をさらに含む、請求項61に記載の非一時的コンピュータ可読媒体。 - 仮想コンテンツを物理的ディスプレイデバイスに転送するための方法であって、前記方法は、
ウェアラブルエクステンデッドリアリティ機器を介して部屋内のエクステンデッドリアリティ環境を提示することであって、前記ウェアラブルエクステンデッドリアリティ機器が、前記部屋内に位置する複数のディスプレイデバイスとペアリングされるように構成され、各ディスプレイデバイスが一意のネットワーク識別子に関連付けられる、提示することと、
前記ウェアラブルエクステンデッドリアリティ機器に関連付けられた入力を受信して、前記エクステンデッドリアリティ環境内の特定の仮想オブジェクトを対象のディスプレイデバイスに提示させることと、
前記ウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサから画像データを受信することであって、前記画像データが前記対象のディスプレイデバイスを示す、受信することと、
前記画像データを分析して、前記対象のディスプレイデバイスを識別することと、
前記対象のディスプレイデバイスを識別した時点で、前記対象のディスプレイデバイスのネットワーク識別子を決定することと、
前記対象のディスプレイデバイスの前記決定されたネットワーク識別子を使用して、前記対象のディスプレイデバイスとの通信リンクを確立することと、
前記特定の仮想オブジェクトを表すデータを前記対象のディスプレイデバイスに送信することであって、前記送信されたデータは、前記対象のディスプレイデバイスが前記特定の仮想オブジェクトを提示することを可能にする、送信することと、
を含む、方法。 - 仮想コンテンツを物理的ディスプレイデバイスに転送するためのシステムであって、前記システムは、
少なくとも1つの処理デバイスを備え、前記少なくとも1つの処理デバイスは、
ウェアラブルエクステンデッドリアリティ機器を介して部屋内のエクステンデッドリアリティ環境を提示することであって、前記ウェアラブルエクステンデッドリアリティ機器が、前記部屋内に位置する複数のディスプレイデバイスとペアリングされるように構成され、各ディスプレイデバイスが一意のネットワーク識別子に関連付けられる、提示することと、
前記ウェアラブルエクステンデッドリアリティ機器に関連付けられた入力を受信して、前記エクステンデッドリアリティ環境内の特定の仮想オブジェクトを対象のディスプレイデバイスに提示させることと、
前記ウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサから画像データを受信することであって、前記画像データが前記対象のディスプレイデバイスを示す、受信することと、
前記画像データを分析して、前記対象のディスプレイデバイスを識別することと、
前記対象のディスプレイデバイスを識別した時点で、前記対象のディスプレイデバイスのネットワーク識別子を決定することと、
前記対象のディスプレイデバイスの前記決定されたネットワーク識別子を使用して、前記対象のディスプレイデバイスとの通信リンクを確立することと、
前記特定の仮想オブジェクトを表すデータを前記対象のディスプレイデバイスに送信することであって、前記送信されたデータは、前記対象のディスプレイデバイスが前記特定の仮想オブジェクトを提示することを可能にする、送信することと、
を行うように構成される、システム。 - 少なくとも1つのプロセッサによって実行されたときに、前記少なくとも1つのプロセッサに、共有されたコンテンツとのユーザ対話をシミュレートするための動作を実行させる命令を含む非一時的コンピュータ可読媒体であって、前記動作は、
第1のウェアラブルエクステンデッドリアリティ機器と少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器との間でコンテンツおよびユーザ対話を共有するための通信チャネルを確立することと、
前記少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に、前記第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクトを表す第1のデータを送信することであって、前記第1のデータは、前記オブジェクトの仮想表現が前記少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器を通じて表示されることを可能にする、送信することと、
前記第1のウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサから画像データを受信することと、
前記画像データ内で、前記オブジェクトに関連付けられた少なくとも1つのユーザ対話を検出することであって、前記少なくとも1つのユーザ対話が、前記オブジェクトの特定の部分を指す人間の手を含む、検出することと、
前記画像データ内の前記少なくとも1つのユーザ対話の前記検出に基づいて、前記オブジェクトの前記特定の部分のエリアを示す第2のデータを前記少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に送信することと、
を含む、非一時的コンピュータ可読媒体。 - 前記オブジェクトは、前記第1のウェアラブルエクステンデッドリアリティ機器に物理的に近接して位置する非アニメーションのオブジェクトであり、前記第1のデータは、前記非アニメーションのオブジェクトの表現を含む、請求項81に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記非アニメーションのオブジェクトに関連付けられた変更を検出することと、前記変更を表す第3のデータを前記少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に送信することであって、前記第3のデータは、前記変更の仮想表現が前記少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器を通じて表示されることを可能にする、送信することとをさらに含む、請求項82に記載の非一時的コンピュータ可読媒体。
- 前記オブジェクトは、前記第1のウェアラブルエクステンデッドリアリティ機器によって仮想的に表示される3次元仮想オブジェクトであり、前記第1のデータは、前記少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器を介して、前記3次元仮想オブジェクトを表示させるように構成される、請求項81に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記画像データ内で、特定のパースペクティブから閲覧するために前記3次元仮想オブジェクトの向きを変更する追加のユーザ対話を検出することと、前記少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に、前記特定のパースペクティブから前記3次元オブジェクトを表示させることとをさらに含む、請求項84に記載の非一時的コンピュータ可読媒体。
- 前記オブジェクトは、前記第1のウェアラブルエクステンデッドリアリティ機器によって仮想的に表示される2次元仮想オブジェクトであり、前記第1のデータは、前記少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器を介して、前記2次元仮想オブジェクトを表示させるように構成される、請求項81に記載の非一時的コンピュータ可読媒体。
- 前記検出された少なくとも1つのユーザ対話は、前記人間の手の動きを含み、前記動作は、前記人間の手によって指された前記オブジェクトの複数の部分を特定の時間順序で識別することと、前記少なくとも1つの第2のエクステンデッドリアリティ機器を介して、前記特定の時間順序で前記複数の部分の視覚的インジケーションを表示させることとをさらに含む、請求項81に記載の非一時的コンピュータ可読媒体。
- 前記動作は、最初に、前記オブジェクトの前記特定の部分を指す前記人間の手が前記第1のウェアラブルエクステンデッドリアリティ機器のユーザに属すると決定し、第1の仮想インジケータに前記オブジェクトの前記特定の部分を識別させることと、その後、前記オブジェクトの前記特定の部分を指す追加の人間の手が前記第1のウェアラブルエクステンデッドリアリティ機器の前記ユーザ以外の個人に属すると決定し、前記第1の仮想インジケータとは異なる第2の仮想インジケータに前記オブジェクトの前記特定の部分を識別させることとをさらに含む、請求項81に記載の非一時的コンピュータ可読媒体。
- 前記動作は、
前記オブジェクトの前記仮想表現との第2のユーザ対話の検出に応答して、前記少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器から第3のデータを受信することであって、前記第2のユーザ対話が、前記オブジェクトの前記仮想表現の特定の部分を指す第2の人間の手を含む、受信することと、
前記第1のウェアラブルエクステンデッドリアリティ機器に、前記オブジェクトの前記仮想表現の前記特定の部分に対応する前記オブジェクトの特定のエリアの視覚的インジケータを表示させることと、
をさらに含む、請求項81に記載の非一時的コンピュータ可読媒体。 - 前記オブジェクトの前記特定のエリアの前記視覚的インジケータは、前記オブジェクトの前記特定のエリアを指す仮想手を含む、請求項89に記載の非一時的コンピュータ可読媒体。
- 前記仮想手の少なくとも1つの視覚特性が、前記第3のデータに基づいて選択される、請求項90に記載の非一時的コンピュータ可読媒体。
- 前記オブジェクトの前記特定のエリアの前記視覚的インジケータは、前記オブジェクトの前記特定のエリアの視覚的外観に対する変更を含む、請求項89に記載の非一時的コンピュータ可読媒体。
- 少なくとも1つのプロセッサによって実行されたときに、前記少なくとも1つのプロセッサに、共有されたコンテンツとのユーザ対話をシミュレートするための動作を実行させる命令を含む非一時的コンピュータ可読媒体であって、前記動作は、
第1のウェアラブルエクステンデッドリアリティ機器と第2のウェアラブルエクステンデッドリアリティ機器との間でコンテンツおよびユーザ対話を共有するための通信チャネルを確立することと、
前記第1のウェアラブルエクステンデッドリアリティ機器から、前記第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクトを表す第1のデータを受信することであって、前記第1のデータは、前記オブジェクトの仮想表現が前記第2のウェアラブルエクステンデッドリアリティ機器を通じて表示されることを可能にする、受信することと、
前記第2のウェアラブルエクステンデッドリアリティ機器を介した提示のために、前記オブジェクトの前記仮想表現を反映する第1の表示信号を出力することと、
前記第1のウェアラブルエクステンデッドリアリティ機器から、前記オブジェクトに関連付けられた少なくとも1つのユーザ対話を表す第2のデータを受信することであって、前記少なくとも1つのユーザ対話が、前記オブジェクトの特定の部分を指す人間の手を含む、受信することと、
前記第2のウェアラブルエクステンデッドリアリティ機器を介した提示のために、前記特定の部分のエリアを視覚的に示す第2の表示信号を出力することと、
を含む、非一時的コンピュータ可読媒体。 - 前記動作は、前記第2のデータの受信後、前記第1のウェアラブルエクステンデッドリアリティ機器から情報を連続的に受信することと、前記第2のデータを連続的に更新し、それによって、前記オブジェクトの前記特定の部分を指す前記人間の手を含む前記少なくとも1つのユーザ対話がもはや検出されないときに、前記特定の部分の前記エリアの視覚的表現を中止させることとをさらに含む、請求項93に記載の非一時的コンピュータ可読媒体。
- 前記第2のデータは、ある期間中に前記オブジェクトの複数の部分を指す複数の人間の手を反映しており、前記第2の表示信号は、前記オブジェクトの前記複数の部分に対応する複数のエリアを視覚的に示すように構成される、請求項93に記載の非一時的コンピュータ可読媒体。
- 前記第2の表示信号は、前記複数のエリアの区別されたインジケータを前記第2のウェアラブルエクステンデッドリアリティ機器を介して表示させるように構成される、請求項95に記載の非一時的コンピュータ可読媒体。
- 前記第1のデータは、前記第1のウェアラブルエクステンデッドリアリティ機器のパースペクティブからの前記オブジェクトの環境に関する情報を含み、前記動作は、前記第2のウェアラブルエクステンデッドリアリティ機器を介して、前記第1のウェアラブルエクステンデッドリアリティ機器の前記パースペクティブに対応する前記第1のウェアラブルエクステンデッドリアリティ機器に近接して位置する前記オブジェクトの提示を生じさせるように前記第1の表示信号を構成することをさらに含む、請求項93に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記第2のウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサから画像データを受信することと、前記画像データ内で、前記第1のウェアラブルエクステンデッドリアリティ機器のパースペクティブに対応する方法で前記オブジェクトの前記仮想表現を表示することを妨げる構造を検出することと、前記構造の検出時に、前記オブジェクトの前記仮想表現の代替表示を決定することであって、前記代替表示が、前記第1のウェアラブルエクステンデッドリアリティ機器の前記パースペクティブとは異なるパースペクティブから前記オブジェクトの前記仮想表現を提示する、決定することとをさらに含む、請求項97に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記代替表示に関連付けられた前記パースペクティブから前記オブジェクトの前記特定の部分を指すように仮想インジケータの表示を調整することをさらに含む、請求項97に記載の非一時的コンピュータ可読媒体。
- 共有されたコンテンツとのユーザ対話をシミュレートするための方法であって、前記方法は、
第1のウェアラブルエクステンデッドリアリティ機器と少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器との間でコンテンツおよびユーザ対話を共有するための通信チャネルを確立することと、
前記少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に、前記第1のウェアラブルエクステンデッドリアリティ機器に関連付けられたオブジェクトを表す第1のデータを送信することであって、前記第1のデータは、前記オブジェクトの仮想表現が前記少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器を通じて表示されることを可能にする、送信することと、
前記第1のウェアラブルエクステンデッドリアリティ機器に関連付けられた画像センサから画像データを受信することと、
前記画像データ内で、前記オブジェクトに関連付けられた少なくとも1つのユーザ対話を検出することであって、前記少なくとも1つのユーザ対話が、前記オブジェクトの特定の部分を指す人間の手を含む、検出することと、
前記画像データ内の前記少なくとも1つのユーザ対話の前記検出に基づいて、前記オブジェクトの前記特定の部分のエリアを示す第2のデータを前記少なくとも1つの第2のウェアラブルエクステンデッドリアリティ機器に送信することと、
を含む、方法。 - 少なくとも1つのプロセッサによって実行されたときに、前記少なくとも1つのプロセッサに、エクステンデッドリアリティ環境におけるコンテンツ配置を管理するための動作を実行させる命令を含む非一時的コンピュータ可読媒体であって、前記動作は、
複数の仮想オブジェクトを含む少なくとも1つの共有されたエクステンデッドリアリティ環境内の特定の地理的場所に仮想コンテンツを配置するための要求をエンティティから受信することであって、前記複数の仮想オブジェクトは、前記少なくとも1つの共有されたエクステンデッドリアリティ環境に登録された複数のウェアラブルエクステンデッドリアリティ機器によって閲覧可能である、受信することと、
前記要求に関連付けられた情報を取得することと、
エクステンデッドリアリティ環境コンテンツ配置に対する地理的制限を定義する複数のコンテンツ配置ルールにアクセスすることと、
前記取得された情報に基づいて、前記特定の地理的場所に前記仮想コンテンツを配置するための前記エンティティからの前記要求が特定のコンテンツ配置ルールに対応すると決定することと、
前記特定のコンテンツ配置ルールを実装して、前記特定のコンテンツ配置ルールの条件が満たされないときに、前記複数のウェアラブルエクステンデッドリアリティ機器のうちの少なくともいくつかによる前記少なくとも1つの共有されたエクステンデッドリアリティ環境内の前記特定の地理的場所での前記仮想コンテンツの表示を防止することと、
前記特定のコンテンツ配置ルールを実装して、前記特定のコンテンツ配置ルールの前記条件が満たされたときに、前記複数のウェアラブルエクステンデッドリアリティ機器のうちの少なくともいくつかによる前記少なくとも1つの共有されたエクステンデッドリアリティ環境内の前記特定の地理的場所での前記仮想コンテンツの前記表示を有効にすることと、
を含む、非一時的コンピュータ可読媒体。 - 前記動作は、前記エンティティによって使用されるウェアラブルエクステンデッドリアリティ機器からの入力を使用して、前記特定の地理的場所を決定することをさらに含む、請求項101に記載の非一時的コンピュータ可読媒体。
- 前記動作は、
前記エンティティによって使用される前記ウェアラブルエクステンデッドリアリティ機器に含まれる画像センサを使用して、前記特定の地理的場所のエリアからキャプチャされた画像データを受信することと、
前記画像データを分析して、前記特定の地理的場所の特性を決定することと、
前記特定の地理的場所の前記決定された特性に基づいて、前記特定のコンテンツ配置ルールの前記条件が満たされるかどうかを決定することと、
をさらに含む、請求項102に記載の非一時的コンピュータ可読媒体。 - 前記特定のコンテンツ配置ルールの前記条件は、前記特定の地理的場所内での前記エンティティによるコンテンツ配置を許可するライセンスがない場合に、前記特定の地理的場所内でのコンテンツの配置を防止するように構成される、請求項101に記載の非一時的コンピュータ可読媒体。
- 前記複数のコンテンツ配置ルールは、第1のエクステンデッドリアリティ環境および第2のエクステンデッドリアリティ環境を規定し、前記プロセッサ動作は、前記第1のエクステンデッドリアリティ環境の前記特定の地理的場所内での前記仮想コンテンツの配置を防止することと、前記第2のエクステンデッドリアリティ環境の前記特定の地理的場所内での前記仮想コンテンツの配置を許可することとをさらに含む、請求項101に記載の非一時的コンピュータ可読媒体。
- 前記要求に関連付けられた前記取得された情報は、前記エンティティの身元に関する情報を含み、前記動作は、前記エンティティの前記身元に関する前記情報に基づいて、前記特定のコンテンツ配置ルールの前記条件が満たされるかどうかを決定することをさらに含む、請求項101に記載の非一時的コンピュータ可読媒体。
- 前記要求に関連付けられた前記取得された情報は、前記エンティティの物理的場所に関する情報を含み、前記動作は、前記エンティティの前記物理的場所に関する前記情報に基づいて、前記特定のコンテンツ配置ルールの前記条件が満たされるかどうかを決定することをさらに含む、請求項101に記載の非一時的コンピュータ可読媒体。
- 前記エンティティの前記物理的場所に関する前記情報は、前記要求を行った時点で、前記エンティティが前記特定の地理的場所から離れた第1の場所に位置することを示し、前記動作は、
前記エンティティの前記物理的場所に関する前記情報に基づいて、前記仮想コンテンツの前記表示を防止することと、
前記エンティティが前記特定の地理的場所に近接した第2の場所に位置することを示す更新された情報を受信することと、
前記受信された更新された情報に応答して、前記複数のウェアラブルエクステンデッドリアリティ機器のうちの少なくともいくつかによる前記少なくとも1つの共有されたエクステンデッドリアリティ環境内の前記特定の地理的場所における前記仮想コンテンツの前記表示を自動的に有効にすることと、
をさらに含む、請求項107に記載の非一時的コンピュータ可読媒体。 - 前記要求に関連付けられた前記取得された情報は、前記特定の地理的場所に関連付けられた所有権情報を含み、前記動作は、前記所有権情報に基づいて、前記特定のコンテンツ配置ルールの前記条件が満たされるかどうかを決定することをさらに含む、請求項101に記載の非一時的コンピュータ可読媒体。
- 前記要求に関連付けられた前記取得された情報は、前記エンティティと前記特定の地理的場所とのつながりを反映する所属情報を含み、前記動作は、前記所属情報に基づいて、前記特定のコンテンツ配置ルールの前記条件が満たされるかどうかを決定することをさらに含む、請求項101に記載の非一時的コンピュータ可読媒体。
- 前記要求に関連付けられた前記取得された情報は、コンテンツタイプに関する情報を含み、前記動作は、前記コンテンツタイプに関する前記情報に基づいて、前記特定のコンテンツ配置ルールの前記条件が満たされるかどうかを決定することをさらに含む、請求項101に記載の非一時的コンピュータ可読媒体。
- 前記要求に関連付けられた前記取得された情報は、前記特定の地理的場所に関連付けられた仮想空間制約情報を含み、前記動作は、前記仮想空間制約情報に基づいて、前記特定のコンテンツ配置ルールの前記条件が満たされるかどうかを決定することをさらに含む、請求項101に記載の非一時的コンピュータ可読媒体。
- 前記特定のコンテンツ配置ルールを実装して前記表示を有効にすることは、前記仮想コンテンツを前記特定の地理的場所のエリアに位置する物理オブジェクトにドッキングすることを含む、請求項101に記載の非一時的コンピュータ可読媒体。
- 前記物理オブジェクトは移動可能であり、前記動作は、新しい場所への前記物理オブジェクトの移動を示す入力を受信することと、前記新しい場所における前記仮想コンテンツの前記表示を有効にすることとをさらに含む、請求項113に記載の非一時的コンピュータ可読媒体。
- 前記動作は、
新しい地理的場所への前記物理オブジェクトの移動を示す入力を受信することと、
前記新しい地理的場所に基づいて、第2のコンテンツ配置ルールを選択することと、
前記第2のコンテンツ配置ルールを実装して、前記第2のコンテンツ配置ルールの条件が満たされないときに前記新しい地理的場所における前記仮想コンテンツの表示を防止することと、
前記第2のコンテンツ配置ルールを実装して、前記第2のコンテンツ配置ルールの前記条件が満たされたときに前記新しい地理的場所における前記仮想コンテンツの前記表示を有効にすることと、
をさらに含む、請求項113に記載の非一時的コンピュータ可読媒体。 - 前記特定のコンテンツ配置ルールを実装して前記表示を有効にすることは、前記仮想コンテンツに関連付けられたデータを記憶することと、前記データを前記特定の地理的場所に関連付けることとを含む、請求項101に記載の非一時的コンピュータ可読媒体。
- 前記特定のコンテンツ配置ルールを実装して前記表示を有効にすることは、前記特定の地理的場所に前記仮想コンテンツを表示するための時間制限を決定することを含む、請求項101に記載の非一時的コンピュータ可読媒体。
- 前記特定のコンテンツ配置ルールを実装して前記表示を有効にすることは、前記特定の地理的場所における表示のために前記仮想コンテンツを修正することを含む、請求項101に記載の非一時的コンピュータ可読媒体。
- エクステンデッドリアリティ環境におけるコンテンツ配置を管理するための方法であって、前記方法は、
複数の仮想オブジェクトを含む少なくとも1つの共有されたエクステンデッドリアリティ環境内の特定の地理的場所に仮想コンテンツを配置するための要求をエンティティから受信することであって、前記複数の仮想オブジェクトは、前記少なくとも1つの共有されたエクステンデッドリアリティ環境に登録された複数のウェアラブルエクステンデッドリアリティ機器によって閲覧可能である、受信することと、
前記要求に関連付けられた情報を取得することと、
エクステンデッドリアリティ環境コンテンツ配置に対する地理的制限を定義する複数のコンテンツ配置ルールにアクセスすることと、
前記取得された情報に基づいて、前記特定の地理的場所に前記仮想コンテンツを配置するための前記エンティティからの前記要求が特定のコンテンツ配置ルールに対応すると決定することと、
前記特定のコンテンツ配置ルールを実装して、前記特定のコンテンツ配置ルールの条件が満たされないときに、前記複数のウェアラブルエクステンデッドリアリティ機器のうちの少なくともいくつかによる前記少なくとも1つの共有されたエクステンデッドリアリティ環境内の前記特定の地理的場所での前記仮想コンテンツの表示を防止することと、
前記特定のコンテンツ配置ルールを実装して、前記特定のコンテンツ配置ルールの前記条件が満たされたときに、前記複数のウェアラブルエクステンデッドリアリティ機器のうちの少なくともいくつかによる前記少なくとも1つの共有されたエクステンデッドリアリティ環境内の前記特定の地理的場所での前記仮想コンテンツの前記表示を有効にすることと、
を含む、方法。 - エクステンデッドリアリティ環境におけるコンテンツ配置を管理するためのシステムであって、前記システムは、
少なくとも1つのプロセッサを備え、前記少なくとも1つのプロセッサは、
複数の仮想オブジェクトを含む少なくとも1つの共有されたエクステンデッドリアリティ環境内の特定の地理的場所に仮想コンテンツを配置するための要求をエンティティから受信することであって、前記複数の仮想オブジェクトが、前記少なくとも1つの共有されたエクステンデッドリアリティ環境に登録された複数のウェアラブルエクステンデッドリアリティ機器によって閲覧可能である、受信することと、
前記要求に関連付けられた情報を取得することと、
エクステンデッドリアリティ環境コンテンツ配置に対する地理的制限を定義する複数のコンテンツ配置ルールにアクセスすることと、
前記取得された情報に基づいて、前記特定の地理的場所に前記仮想コンテンツを配置するための前記エンティティからの前記要求が特定のコンテンツ配置ルールに対応すると決定することと、
前記特定のコンテンツ配置ルールを実装して、前記特定のコンテンツ配置ルールの条件が満たされないときに、前記複数のウェアラブルエクステンデッドリアリティ機器のうちの少なくともいくつかによる前記少なくとも1つの共有されたエクステンデッドリアリティ環境内の前記特定の地理的場所での前記仮想コンテンツの表示を防止することと、
前記特定のコンテンツ配置ルールを実装して、前記特定のコンテンツ配置ルールの前記条件が満たされたときに、前記複数のウェアラブルエクステンデッドリアリティ機器のうちの少なくともいくつかによる前記少なくとも1つの共有されたエクステンデッドリアリティ環境内の前記特定の地理的場所での前記仮想コンテンツの前記表示を有効にすることと、
を行うように構成される、システム。 - 少なくとも1つのプロセッサによって実行されたときに、前記少なくとも1つのプロセッサに、複数の閲覧者に仮想コンテンツを提示するための動作を実行させる命令を含む非一時的コンピュータ可読媒体であって、前記動作は、
部屋内に位置する複数のウェアラブルエクステンデッドリアリティ機器を示すセンサデータを受信することと、
前記複数のウェアラブルエクステンデッドリアリティ機器と仮想オブジェクトを共有するためのコマンドを受信することと、
前記センサデータを分析して、第1のウェアラブルエクステンデッドリアリティ機器の前記部屋内の第1の場所、第2のウェアラブルエクステンデッドリアリティ機器の前記部屋内の第2の場所、および第3のウェアラブルエクステンデッドリアリティ機器の前記部屋内の第3の場所を決定することと、
前記決定された第1の場所、前記決定された第2の場所、および前記決定された第3の場所に基づいて、前記部屋内の前記仮想オブジェクトを表示するための位置を決定することと、
前記第1のウェアラブルエクステンデッドリアリティ機器を通じて前記決定された位置に前記仮想オブジェクトの第1の表示を生じさせることであって、前記第1の表示は第1のパースペクティブからレンダリングされる、生じさせることと、
前記第2のウェアラブルエクステンデッドリアリティ機器を通じて前記決定された位置に前記仮想オブジェクトの第2の表示を生じさせることであって、前記第2の表示は前記第1のパースペクティブとは異なる第2のパースペクティブからレンダリングされる、生じさせることと、
前記第3のウェアラブルエクステンデッドリアリティ機器を通じて前記決定された位置に前記仮想オブジェクトの第3の表示を生じさせることであって、前記第3の表示は前記第1のパースペクティブおよび前記第2のパースペクティブとは異なる第3のパースペクティブからレンダリングされる、生じさせることと、
を含む、非一時的コンピュータ可読媒体。 - 前記動作は、前記センサデータを分析して、前記第1のウェアラブルエクステンデッドリアリティ機器、前記第2のウェアラブルエクステンデッドリアリティ機器、または前記第3のウェアラブルエクステンデッドリアリティ機器のうちの少なくとも1つが前記部屋内に仮想的に位置すると決定することをさらに含み、前記部屋内に仮想的に位置する前記少なくとも1つのウェアラブルエクステンデッドリアリティ機器の前記決定された場所は、少なくとも1人のユーザのアバターの場所を反映する、請求項121に記載の非一時的コンピュータ可読媒体。
- 前記仮想オブジェクトを表示するための前記決定された位置は、前記部屋内の前記仮想オブジェクトの決定された向きを含み、前記動作は、追加のセンサデータを分析して、前記第1のウェアラブルエクステンデッドリアリティ機器、前記第2のウェアラブルエクステンデッドリアリティ機器、または前記第3のウェアラブルエクステンデッドリアリティ機器のうちの少なくとも2つが向きを変更したと決定することをさらに含み、前記仮想オブジェクトの前記決定された向きを調整することは、前記向きの変更に基づく、請求項121に記載の非一時的コンピュータ可読媒体。
- 前記仮想オブジェクトを表示するための前記決定された位置は、前記仮想オブジェクトの決定された場所を含み、前記動作は、追加のセンサデータを分析して、前記第1のウェアラブルエクステンデッドリアリティ機器、前記第2のウェアラブルエクステンデッドリアリティ機器、または前記第3のウェアラブルエクステンデッドリアリティ機器のうちの少なくとも2つが場所を変更したと決定することをさらに含み、前記仮想オブジェクトの前記決定された場所を調整することは、前記場所の変更に基づく、請求項121に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記第1のウェアラブルエクステンデッドリアリティ機器のユーザ、前記第2のウェアラブルエクステンデッドリアリティ機器のユーザ、または前記第3のウェアラブルエクステンデッドリアリティ機器のユーザのうちの少なくとも1人の身元を決定することをさらに含み、前記仮想オブジェクトを表示するための前記位置を決定することは、前記少なくとも1人のユーザの前記身元にさらに基づく、請求項121に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記第1のウェアラブルエクステンデッドリアリティ機器、前記第2のウェアラブルエクステンデッドリアリティ機器、または前記第3のウェアラブルエクステンデッドリアリティ機器の少なくとも1人のユーザの身体特性を決定することをさらに含み、前記仮想オブジェクトを表示するための前記位置を決定することは、前記少なくとも1人のユーザの前記身体特性にさらに基づく、請求項121に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記部屋内の備品の1つまたは複数の物理的場所を含む前記部屋のレイアウトを決定することをさらに含み、前記仮想オブジェクトを表示するための前記位置は、前記部屋の前記レイアウトに基づいてさらに決定される、請求項121に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記部屋内の照明条件を決定することをさらに含み、前記仮想オブジェクトを表示するための前記位置は、前記照明条件に基づいてさらに決定される、請求項121に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記仮想オブジェクトの種類を決定することをさらに含み、前記仮想オブジェクトを表示するための前記位置は、前記仮想オブジェクトの前記種類に基づいてさらに決定される、請求項121に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記センサデータを分析して前記部屋内の物理オブジェクトを識別することをさらに含み、前記仮想オブジェクトを表示するための前記位置は、前記第1の表示、前記第2の表示、および前記第3の表示のいずれも前記物理オブジェクトによって遮蔽されないように決定される、請求項121に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記センサデータを分析して前記部屋内の物理オブジェクトを識別することをさらに含み、前記仮想オブジェクトを表示するための前記位置は、前記第1の表示、前記第2の表示、および前記第3の表示のいずれも前記物理オブジェクトを遮蔽しないように決定される、請求項121に記載の非一時的コンピュータ可読媒体。
- 前記仮想オブジェクトの前記第1の表示、前記仮想オブジェクトの前記第2の表示、および前記仮想オブジェクトの前記第3の表示は、前記仮想オブジェクトの単一のバージョンに関連付けられ、前記動作は、前記第1のウェアラブルエクステンデッドリアリティ機器のユーザによって導入された前記仮想オブジェクトに対する変更を検出することと、前記第2の表示および前記第3の表示を更新して、前記第1のウェアラブルエクステンデッドリアリティ機器の前記ユーザによって導入された前記仮想オブジェクトに対する前記変更を反映することとをさらに含む、請求項121に記載の非一時的コンピュータ可読媒体。
- 前記仮想オブジェクトの前記第1の表示、前記仮想オブジェクトの前記第2の表示、および前記仮想オブジェクトの前記第3の表示は、前記仮想オブジェクトの種々のバージョンに関連付けられ、前記動作は、前記第1のウェアラブルエクステンデッドリアリティ機器のユーザに関連付けられたプロファイル、前記第2のウェアラブルエクステンデッドリアリティ機器のユーザに関連付けられたプロファイル、および前記第3のウェアラブルエクステンデッドリアリティ機器のユーザに関連付けられたプロファイルを取得することと、各ユーザに関連付けられた前記プロファイルに基づいて、前記仮想オブジェクトのパーソナライズされたバージョンを決定することとをさらに含む、請求項121に記載の非一時的コンピュータ可読媒体。
- 前記仮想オブジェクトが前記第1のウェアラブルエクステンデッドリアリティ機器および前記第2のウェアラブルエクステンデッドリアリティ機器を通じて前記決定された位置に表示される間に、前記動作は、前記第3のウェアラブルエクステンデッドリアリティ機器のステータスに対する変更を示す追加のセンサデータを受信することと、前記第1のウェアラブルエクステンデッドリアリティ機器の前記決定された第1の場所および前記第2のウェアラブルエクステンデッドリアリティ機器の前記決定された第2の場所に基づいて前記仮想オブジェクトを再位置決めすることとをさらに含む、請求項121に記載の非一時的コンピュータ可読媒体。
- 前記仮想オブジェクトが前記決定された位置に表示される間、前記動作は、第4のウェアラブルエクステンデッドリアリティ機器が前記部屋内にあることを示す追加のセンサデータを受信することと、前記第4のウェアラブルエクステンデッドリアリティ機器の第4の場所を決定することと、前記決定された第1の場所、前記決定された第2の場所、前記決定された第3の場所、および前記決定された第4の場所に基づいて前記仮想オブジェクトを再位置決めすることとをさらに含む、請求項121に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記第1のウェアラブルエクステンデッドリアリティ機器によって実行され、前記第1の表示を生じさせることは、表示信号を生成することを含み、前記第2の表示を生じさせることは、前記仮想オブジェクトを反映するデータを前記第2のウェアラブルエクステンデッドリアリティ機器に送信することを含み、前記第3の表示を生じさせることは、前記仮想オブジェクトを反映するデータを前記第3のウェアラブルエクステンデッドリアリティ機器に送信することを含む、請求項121に記載の非一時的コンピュータ可読媒体。
- 前記仮想オブジェクトは、入力デバイスを使用して入力されたテキストを提示するように構成された仮想ディスプレイであり、前記仮想ディスプレイを表示するための前記位置を決定することは、前記入力デバイスの場所または前記入力デバイスの向きのうちの少なくとも1つにさらに基づく、請求項121に記載の非一時的コンピュータ可読媒体。
- 前記仮想オブジェクトは、物理キーボードを使用して入力されたテキストを提示するように構成された仮想ディスプレイであり、前記物理キーボードは、物理的表面に位置決めされ、前記仮想ディスプレイを表示するための前記位置を決定することは、前記物理的表面の特性にさらに基づく、請求項121に記載の非一時的コンピュータ可読媒体。
- 複数の閲覧者に仮想コンテンツを提示するための方法であって、前記方法は、
部屋内に位置する複数のウェアラブルエクステンデッドリアリティ機器を示すセンサデータを受信することと、
前記複数のウェアラブルエクステンデッドリアリティ機器と仮想オブジェクトを共有するためのコマンドを受信することと、
前記センサデータを分析して、第1のウェアラブルエクステンデッドリアリティ機器の前記部屋内の第1の場所、第2のウェアラブルエクステンデッドリアリティ機器の前記部屋内の第2の場所、および第3のウェアラブルエクステンデッドリアリティ機器の前記部屋内の第3の場所を決定することと、
前記決定された第1の場所、前記決定された第2の場所、および前記決定された第3の場所に基づいて、前記部屋内の前記仮想オブジェクトを表示するための位置を決定することと、
前記第1のウェアラブルエクステンデッドリアリティ機器を通じて前記決定された位置に前記仮想オブジェクトの第1の表示を生じさせることであって、前記第1の表示は第1のパースペクティブからレンダリングされる、生じさせることと、
前記第2のウェアラブルエクステンデッドリアリティ機器を通じて前記決定された位置に前記仮想オブジェクトの第2の表示を生じさせることであって、前記第2の表示は前記第1のパースペクティブとは異なる第2のパースペクティブからレンダリングされる、生じさせることと、
前記第3のウェアラブルエクステンデッドリアリティ機器を通じて前記決定された位置に前記仮想オブジェクトの第3の表示を生じさせることであって、前記第3の表示は前記第1のパースペクティブおよび前記第2のパースペクティブとは異なる第3のパースペクティブからレンダリングされる、生じさせることと、
を含む、方法。 - 複数の閲覧者に仮想コンテンツを提示するためのシステムであって、前記システムは、
少なくとも1つのプロセッサを備え、前記少なくとも1つのプロセッサは、
部屋内に位置する複数のウェアラブルエクステンデッドリアリティ機器を示すセンサデータを受信することと、
前記複数のウェアラブルエクステンデッドリアリティ機器と仮想オブジェクトを共有するためのコマンドを受信することと、
前記センサデータを分析して、第1のウェアラブルエクステンデッドリアリティ機器の前記部屋内の第1の場所、第2のウェアラブルエクステンデッドリアリティ機器の前記部屋内の第2の場所、および第3のウェアラブルエクステンデッドリアリティ機器の前記部屋内の第3の場所を決定することと、
前記決定された第1の場所、前記決定された第2の場所、および前記決定された第3の場所に基づいて、前記部屋内の前記仮想オブジェクトを表示するための位置を決定することと、
前記第1のウェアラブルエクステンデッドリアリティ機器を通じて前記決定された位置に前記仮想オブジェクトの第1の表示を生じさせることであって、前記第1の表示は第1のパースペクティブからレンダリングされる、生じさせることと、
前記第2のウェアラブルエクステンデッドリアリティ機器を通じて前記決定された位置に前記仮想オブジェクトの第2の表示を生じさせることであって、前記第2の表示は前記第1のパースペクティブとは異なる第2のパースペクティブからレンダリングされる、生じさせることと、
前記第3のウェアラブルエクステンデッドリアリティ機器を通じて前記決定された位置に前記仮想オブジェクトの第3の表示を生じさせることであって、前記第3の表示は前記第1のパースペクティブおよび前記第2のパースペクティブとは異なる第3のパースペクティブからレンダリングされる、生じさせることと、
を行うようにプログラムされる、システム。 - オブジェクトに仮想着色マーキングを行うように構成された動作を実行するための命令を含む非一時的コンピュータ可読媒体であって、前記動作は、
オブジェクトのインジケーションを受信することと、
画像センサから、物理的マーキング用具を保持する個人の手の画像を受信することと、
前記マーキング用具に関連付けられた色を前記画像内で検出することと、
前記画像センサから、前記マーキング用具の先端の移動および前記先端の場所を示す画像データを受信することと、
前記画像データから、前記先端の前記場所が前記オブジェクト上の場所にいつ対応するかを決定することと、
前記検出された色で、前記対応する場所における前記オブジェクトに仮想マーキングを生成することと、
を含む、非一時的コンピュータ可読媒体。 - 前記動作は、前記マーキング用具を保持する前記個人に、ウェアラブルエクステンデッドリアリティ機器を介して前記仮想マーキングを提示することをさらに含む、請求項141に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記マーキング用具を保持する前記個人に近接して位置する第2の個人に、ウェアラブルエクステンデッドリアリティ機器を介して前記仮想マーキングを提示することをさらに含む、請求項141に記載の非一時的コンピュータ可読媒体。
- 前記動作は、
前記第2の個人が前記オブジェクトの仮想表現を修正するためのアクションを実行したという第2のインジケーションを受信することと、
前記受信された第2のインジケーションに応答して、前記アクションに対応する追加の仮想マーキングを前記オブジェクト上に生じさせることと、
をさらに含む、請求項143に記載の非一時的コンピュータ可読媒体。 - 前記動作は、前記マーキング用具を保持する前記個人から離れて位置する複数の個人に、ウェアラブルエクステンデッドリアリティ機器を介して、前記オブジェクトの仮想提示とともに前記仮想マーキングを提示することをさらに含む、請求項141に記載の非一時的コンピュータ可読媒体。
- 前記動作は、
前記複数の個人のうちの少なくとも1人が前記オブジェクトの前記仮想表現を修正するためのアクションを実行したという第2のインジケーションを受信することと、
前記受信された第2のインジケーションに応答して、前記オブジェクト上の前記仮想マーキングの少なくとも一部を除去させることと、
をさらに含む、請求項145に記載の非一時的コンピュータ可読媒体。 - 前記オブジェクトは、物理オブジェクトであり、前記動作は、第2の個人が前記オブジェクトの環境内に位置し、かつ前記マーキング用具を保持する前記個人がもはや前記オブジェクトの前記環境内にいない間に、ウェアラブルエクステンデッドリアリティ機器を介して前記第2の個人に前記仮想マーキングを提示することをさらに含む、請求項141に記載の非一時的コンピュータ可読媒体。
- 前記動作は、
前記画像データから、前記仮想マーキングのうちの少なくともいくつかを削除する前記個人の意図を決定することと、
前記仮想マーキングのうちの前記少なくともいくつかを前記オブジェクトから除去することと、
をさらに含む、請求項141に記載の非一時的コンピュータ可読媒体。 - 前記動作は、
前記画像データから、前記仮想マーキングの前記色を変更する前記個人の意図を決定することと、
前記マーキング用具を保持する前記個人に、ウェアラブルエクステンデッドリアリティ機器を介して仮想色パレットを提示することと、
前記仮想色パレットからの代替色の選択を決定することと、
前記選択された代替色で前記オブジェクト上に追加の仮想マーキングを生成することと、
をさらに含む、請求項141に記載の非一時的コンピュータ可読媒体。 - 前記オブジェクトは、ウェアラブルエクステンデッドリアリティ機器によって提示される仮想オブジェクトである、請求項141に記載の非一時的コンピュータ可読媒体。
- 前記動作は、
前記マーキング用具の種類を検出することと、
マーキング用具の種類および前記マーキング用具に関連付けられた対応するマーク特性のリポジトリにアクセスすることと、
前記マーキング用具の前記検出された種類に対応する特定のマーク特性を有する前記仮想マーキングを生成することと、
をさらに含む、請求項141に記載の非一時的コンピュータ可読媒体。 - 前記オブジェクトは、2次元仮想オブジェクトであり、前記動作は、前記マーキング用具の3次元移動を2次元入力として解釈することをさらに含む、請求項141に記載の非一時的コンピュータ可読媒体。
- 前記2次元仮想オブジェクトは、ドキュメントを含み、前記仮想マーキングは、前記検出された色での前記ドキュメント上の手書きを含む、請求項152の非一時的コンピュータ可読媒体。
- 前記オブジェクトは、3次元仮想オブジェクトであり、前記動作は、前記マーキング用具の3次元移動を3次元入力として解釈することをさらに含む、請求項141に記載の非一時的コンピュータ可読媒体。
- 前記3次元仮想オブジェクトは、物理オブジェクトの仮想表現を含み、前記仮想マーキングは、前記物理オブジェクトの前記仮想表現の2つの横断面上の前記検出された色でのマーキングを含む、請求項154に記載の非一時的コンピュータ可読媒体。
- 前記動作は、
前記画像データから、前記個人が前記物理的マーキング用具を第2の色に関連付けられた第2の物理的マーキング用具に置き換えたと決定することと、
前記画像データ内で、前記第2のマーキング用具に関連付けられた前記第2の色を検出することと、
前記第2の色で前記オブジェクト上に追加の仮想マーキングを生成することと、
をさらに含む、請求項141に記載の非一時的コンピュータ可読媒体。 - 前記第2の色での前記追加の仮想マーキングは、第1の色に関連付けられた前記以前の仮想マーキングにオーバーレイする、請求項156に記載の非一時的コンピュータ可読媒体。
- 前記動作は、
前記画像データから、前記個人が、前記物理的マーキング用具に加えて、第2の色に関連付けられた第2の物理的マーキング用具を保持すると決定することと、
前記画像データ内で、前記第2のマーキング用具に関連付けられた前記第2の色を検出することと、
前記画像データから、前記第2のマーキング用具の先端の場所を決定することと、
前記第2のマーキング用具の前記先端の前記決定された場所に基づいて、前記第2の色で前記オブジェクト上に追加の仮想マーキングを生成することと、
をさらに含む、請求項141に記載の非一時的コンピュータ可読媒体。 - オブジェクトに仮想着色マーキングを行うためのシステムであって、前記システムは、
少なくとも1つのプロセッサを備え、前記少なくとも1つのプロセッサは、
オブジェクトのインジケーションを受信することと、
画像センサから、物理的マーキング用具を保持する個人の手の画像を受信することと、
前記マーキング用具に関連付けられた色を前記画像内で検出することと、
前記画像センサから、前記マーキング用具の先端の移動および前記先端の場所を示す画像データを受信することと、
前記画像データから、前記先端の前記場所が前記オブジェクト上の場所にいつ対応するかを決定することと、
前記検出された色で、前記対応する場所における前記オブジェクトに仮想マーキングを生成することと、
を行うように構成される、システム。 - オブジェクトに仮想着色マーキングを行うための方法であって、前記方法は、
オブジェクトのインジケーションを受信することと、
画像センサから、物理的マーキング用具を保持する個人の手の画像を受信することと、
前記マーキング用具に関連付けられた色を前記画像内で検出することと、
前記画像センサから、前記マーキング用具の先端の移動および前記先端の場所を示す画像データを受信することと、
前記画像データから、前記先端の前記場所が前記オブジェクト上の場所にいつ対応するかを決定することと、
前記検出された色で、前記対応する場所における前記オブジェクトに仮想マーキングを生成することと、
を含む、方法。 - 少なくとも1つのプロセッサによって実行されたときに、前記少なくとも1つのプロセッサに、ウェアラブルエクステンデッドリアリティ機器が仮想コンテンツを共有することを可能にするための動作を実行させる命令を含む非一時的コンピュータ可読媒体であって、前記動作は、
モバイルデバイスの第1の物理的位置を反映する視覚コードを生成することであって、前記視覚コードが、複数のウェアラブルエクステンデッドリアリティ機器によって読み取られるように構成される、生成することと、
前記複数のウェアラブルエクステンデッドリアリティ機器による検出のために前記モバイルデバイスのディスプレイ上に前記視覚コードを提示し、それによって、前記複数のウェアラブルエクステンデッドリアリティ機器が前記視覚コードの前記検出時に共通の座標系においてコンテンツを共有することを可能にすることと、
前記第1の物理的位置とは異なる第2の物理的位置への前記モバイルデバイスの移動を検出することと、
前記モバイルデバイスの移動の検出時に、前記視覚コードがコンテンツ共有での使用に利用不可能であるように、前記視覚コードの前記提示を変更することと、
を含む、非一時的コンピュータ可読媒体。 - 前記提示の前記変更は、前記モバイルデバイスの前記ディスプレイから前記視覚コードの前記提示を除去することを含む、請求項161に記載の非一時的コンピュータ可読媒体。
- 前記提示の前記変更は、更新された視覚コードであって、追加のウェアラブルエクステンデッドリアリティ機器による検出のために構成される、更新された視覚コードを、前記モバイルデバイスの前記ディスプレイ上に提示し、それによって、前記追加のウェアラブルエクステンデッドリアリティ機器が、前記更新された視覚コードの前記検出時に前記共通の座標系においてコンテンツを共有することを可能にすることを含む、請求項161に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記更新された視覚コードを生成して、前記モバイルデバイスの前記第2の物理的位置を反映することをさらに含む、請求項163に記載の非一時的コンピュータ可読媒体。
- 前記モバイルデバイスの前記第2の物理的位置は、前記視覚コードの少なくとも一部を示し、前記複数のウェアラブルエクステンデッドリアリティ機器による前記視覚コードの前記検出の後に、前記複数のウェアラブルエクステンデッドリアリティ機器のうちの特定のウェアラブルエクステンデッドリアリティ機器に含まれる画像センサによってキャプチャされた、画像データの分析に基づいて決定される、請求項164に記載の非一時的コンピュータ可読媒体。
- 前記モバイルデバイスの前記移動は、前記画像データ内の前記視覚コードの位置と、前記モバイルデバイスの前記第1の物理的位置に対応する前記共通の座標系における位置との比較に基づいて検出される、請求項165に記載の非一時的コンピュータ可読媒体。
- 前記視覚コードは、前記モバイルデバイスの検出された移動を示す少なくとも1つの動的マーカを含み、前記動作は、前記更新された視覚コードを生成するときに前記少なくとも1つの動的マーカを変更することをさらに含む、請求項163に記載の非一時的コンピュータ可読媒体。
- 前記検出された移動が前記モバイルデバイスの場所の変化なしに前記モバイルデバイスの向きの変化を含むとき、前記提示の前記変更は、前記提示された視覚コードの向きを変更して、前記モバイルデバイスの前記向きの前記変化を補償することを含む、請求項161に記載の非一時的コンピュータ可読媒体。
- 前記検出された移動が前記モバイルデバイスの向きの変化なしに前記モバイルデバイスの場所の変化を含み、かつ前記モバイルデバイスの前記場所の前記変化が選択された閾値よりも小さいとき、前記提示の前記変更は、前記モバイルデバイスの前記ディスプレイ上の前記提示された視覚コードの場所を変更して、前記モバイルデバイスの前記場所の前記変化を補償することを含む、請求項161に記載の非一時的コンピュータ可読媒体。
- 前記検出された移動が前記モバイルデバイスの場所の変化および前記モバイルデバイスの向きの変化を含み、かつ前記モバイルデバイスの前記場所の前記変化が選択された閾値よりも小さいとき、前記提示の前記変更は、前記モバイルデバイスの前記ディスプレイ上の前記提示された視覚コードの場所を変更して、前記モバイルデバイスの前記場所の前記変化を補償することと、前記提示された視覚コードの向きを変更して、前記モバイルデバイスの前記向きの前記変化を補償することとを含む、請求項161に記載の非一時的コンピュータ可読媒体。
- 前記モバイルデバイスは、前記複数のウェアラブルエクステンデッドリアリティ機器のうちの1つである、請求項161に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記視覚コードの前記提示を生じさせるためのトリガを識別することをさらに含む、請求項161に記載の非一時的コンピュータ可読媒体。
- 前記トリガは、前記モバイルデバイスとペアリングされたウェアラブルエクステンデッドリアリティ機器から受信された入力に関連付けられる、請求項172に記載の非一時的コンピュータ可読媒体。
- 前記トリガは、前記モバイルデバイス内の少なくとも1つのセンサからの入力に関連付けられ、前記入力は、前記モバイルデバイスに接近する追加のウェアラブルエクステンデッドリアリティ機器を示す、請求項172に記載の非一時的コンピュータ可読媒体。
- 前記視覚コードの前記検出時に、前記視覚コードは、プライベートエクステンデッドリアリティ環境へのアクセスを提供するように構成される、請求項161に記載の非一時的コンピュータ可読媒体。
- 前記動作は、時間的制限の経過後に前記プライベートエクステンデッドリアリティ環境へのアクセスを防止することをさらに含む、請求項175に記載の非一時的コンピュータ可読媒体。
- 前記動作は、前記視覚コードが空間的制限を超えて検出されたときに、前記プライベートエクステンデッドリアリティ環境へのアクセスを防止することをさらに含む、請求項175に記載の非一時的コンピュータ可読媒体。
- 前記動作は、第1のプライベートエクステンデッドリアリティ環境へのアクセスを許可するように構成された第1の視覚コードを生成することと、第2のプライベートエクステンデッドリアリティ環境へのアクセスを許可するように構成された第2の視覚コードを生成することとをさらに含む、請求項161に記載の非一時的コンピュータ可読媒体。
- ウェアラブルエクステンデッドリアリティ機器が仮想コンテンツを共有することを可能にするための方法であって、前記方法は、
モバイルデバイスの第1の物理的位置を反映する視覚コードを生成することであって、前記視覚コードが、複数のウェアラブルエクステンデッドリアリティ機器によって読み取られるように構成される、生成することと、
前記複数のウェアラブルエクステンデッドリアリティ機器による検出のために前記モバイルデバイスのディスプレイ上に前記視覚コードを提示し、それによって、前記複数のウェアラブルエクステンデッドリアリティ機器が前記視覚コードの前記検出時に共通の座標系においてコンテンツを共有することを可能にすることと、
前記第1の物理的位置とは異なる第2の物理的位置への前記モバイルデバイスの移動を検出することと、
前記モバイルデバイスの前記移動検出時に、前記視覚コードがコンテンツ共有での使用に利用不可能であるように、前記視覚コードの前記提示を変更することと、
を含む、方法。 - ウェアラブルエクステンデッドリアリティ機器が仮想コンテンツを共有することを可能にするためのモバイルデバイスであって、
少なくとも1つのプロセッサを備え、前記少なくとも1つのプロセッサは、
モバイルデバイスの第1の物理的位置を反映する視覚コードを生成することであって、前記視覚コードが、複数のウェアラブルエクステンデッドリアリティ機器によって読み取られるように構成される、生成することと、
前記複数のウェアラブルエクステンデッドリアリティ機器による検出のために前記モバイルデバイスのディスプレイ上に前記視覚コードを提示し、それによって、前記複数のウェアラブルエクステンデッドリアリティ機器が前記視覚コードの前記検出時に共通の座標系においてコンテンツを共有することを可能にすることと、
前記第1の物理的位置とは異なる第2の物理的位置への前記モバイルデバイスの移動を検出することと、
前記モバイルデバイスの前記移動検出時に、前記視覚コードがコンテンツ共有での使用に利用不可能であるように、前記視覚コードの前記提示を変更することと、
を行うように構成される、モバイルデバイス。
Applications Claiming Priority (23)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163147051P | 2021-02-08 | 2021-02-08 | |
US63/147,051 | 2021-02-08 | ||
US202163157768P | 2021-03-07 | 2021-03-07 | |
US63/157,768 | 2021-03-07 | ||
US202163173095P | 2021-04-09 | 2021-04-09 | |
US63/173,095 | 2021-04-09 | ||
US202163213019P | 2021-06-21 | 2021-06-21 | |
US63/213,019 | 2021-06-21 | ||
US202163215500P | 2021-06-27 | 2021-06-27 | |
US63/215,500 | 2021-06-27 | ||
US202163216335P | 2021-06-29 | 2021-06-29 | |
US63/216,335 | 2021-06-29 | ||
US202163226977P | 2021-07-29 | 2021-07-29 | |
US63/226,977 | 2021-07-29 | ||
US202263300005P | 2022-01-16 | 2022-01-16 | |
US63/300,005 | 2022-01-16 | ||
US202263307203P | 2022-02-07 | 2022-02-07 | |
US202263307217P | 2022-02-07 | 2022-02-07 | |
US202263307207P | 2022-02-07 | 2022-02-07 | |
US63/307,217 | 2022-02-07 | ||
US63/307,203 | 2022-02-07 | ||
US63/307,207 | 2022-02-07 | ||
PCT/US2022/015547 WO2022170222A1 (en) | 2021-02-08 | 2022-02-08 | Content sharing in extended reality |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024507749A true JP2024507749A (ja) | 2024-02-21 |
Family
ID=82704043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023548189A Pending JP2024507749A (ja) | 2021-02-08 | 2022-02-08 | エクステンデッドリアリティにおけるコンテンツ共有 |
Country Status (3)
Country | Link |
---|---|
US (15) | US11480791B2 (ja) |
EP (1) | EP4295314A1 (ja) |
JP (1) | JP2024507749A (ja) |
Families Citing this family (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11182576B1 (en) * | 2019-07-31 | 2021-11-23 | Splunk Inc. | Techniques for using tag placement to determine 3D object orientation |
US11250642B1 (en) * | 2020-04-14 | 2022-02-15 | Worldpay Limited | Methods and systems for displaying virtual objects from an augmented reality environment on a multimedia device |
US20210327308A1 (en) * | 2020-04-17 | 2021-10-21 | Parsons Corporation | Artificial intelligence assisted signal mimicry |
WO2022005946A1 (en) * | 2020-06-29 | 2022-01-06 | Snap Inc. | Augmented reality experiences using social distancing |
US11644330B2 (en) * | 2020-07-08 | 2023-05-09 | Rivian Ip Holdings, Llc | Setting destinations in vehicle navigation systems based on image metadata from portable electronic devices and from captured images using zero click navigation |
CN111833460A (zh) * | 2020-07-10 | 2020-10-27 | 北京字节跳动网络技术有限公司 | 增强现实的图像处理方法、装置、电子设备及存储介质 |
US11670104B1 (en) * | 2020-11-13 | 2023-06-06 | Amazon Technologies, Inc. | System for determining embedding from multiple inputs |
EP4288856A1 (en) | 2021-02-08 | 2023-12-13 | Sightful Computers Ltd | Extended reality for productivity |
US11402964B1 (en) * | 2021-02-08 | 2022-08-02 | Facebook Technologies, Llc | Integrating artificial reality and other computing devices |
JP2024507749A (ja) | 2021-02-08 | 2024-02-21 | サイトフル コンピューターズ リミテッド | エクステンデッドリアリティにおけるコンテンツ共有 |
JP2022122637A (ja) * | 2021-02-10 | 2022-08-23 | シャープ株式会社 | 表示装置、表示方法、及び表示プログラム |
EP4068699A1 (en) * | 2021-03-31 | 2022-10-05 | Sony Group Corporation | Devices and related methods for providing environments |
US20220319124A1 (en) * | 2021-03-31 | 2022-10-06 | Snap Inc. | Auto-filling virtual content |
EP4337148A2 (en) | 2021-05-12 | 2024-03-20 | Accessibe Ltd. | Systems and methods for making websites accessible |
US11908088B2 (en) * | 2021-06-09 | 2024-02-20 | Red Hat, Inc. | Controlling virtual resources from within an augmented reality environment |
WO2023009580A2 (en) | 2021-07-28 | 2023-02-02 | Multinarity Ltd | Using an extended reality appliance for productivity |
US11671271B2 (en) * | 2021-09-24 | 2023-06-06 | International Business Machines Corporation | Mechanism for the management of topic-based multi-group virtual conferences |
US11948263B1 (en) | 2023-03-14 | 2024-04-02 | Sightful Computers Ltd | Recording the complete physical and extended reality environments of a user |
US20230334795A1 (en) | 2022-01-25 | 2023-10-19 | Multinarity Ltd | Dual mode presentation of user interface elements |
US20230350203A1 (en) * | 2022-04-29 | 2023-11-02 | Snap Inc. | Ar/vr enabled contact lens |
JP2023180343A (ja) * | 2022-06-09 | 2023-12-21 | キヤノン株式会社 | 仮想空間管理システムとその方法 |
US20230418062A1 (en) * | 2022-06-23 | 2023-12-28 | Snap Inc. | Color calibration tool for see-through augmented reality environment |
US20240029364A1 (en) * | 2022-07-25 | 2024-01-25 | Bank Of America Corporation | Intelligent data migration via mixed reality |
US20240094822A1 (en) * | 2022-09-19 | 2024-03-21 | Sharon Moll | Ar glasses as iot remote control |
WO2024064036A1 (en) * | 2022-09-23 | 2024-03-28 | Apple Inc. | User interfaces for managing sharing of content in three-dimensional environments |
US11836328B1 (en) * | 2022-10-18 | 2023-12-05 | Dean Olliphant | System to translate a cursor between multiple displays |
CN116382613A (zh) * | 2023-06-05 | 2023-07-04 | 江西格如灵科技股份有限公司 | 虚拟现实环境下的白板同步方法、装置、设备及介质 |
Family Cites Families (327)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5168531A (en) | 1991-06-27 | 1992-12-01 | Digital Equipment Corporation | Real-time recognition of pointing information from video |
DE69432466T2 (de) | 1993-08-12 | 2004-01-15 | Seiko Epson Corp | Am kopf befestigte bildanzeigevorrichtung und damit ausgestattete informationsverarbeitungseinrichtung |
US6127990A (en) | 1995-11-28 | 2000-10-03 | Vega Vista, Inc. | Wearable display and methods for controlling same |
US5880733A (en) | 1996-04-30 | 1999-03-09 | Microsoft Corporation | Display system and method for displaying windows of an operating system to provide a three-dimensional workspace for a computer system |
US6388657B1 (en) | 1997-12-31 | 2002-05-14 | Anthony James Francis Natoli | Virtual reality keyboard system and method |
US6215498B1 (en) | 1998-09-10 | 2001-04-10 | Lionhearth Technologies, Inc. | Virtual command post |
US7119819B1 (en) | 1999-04-06 | 2006-10-10 | Microsoft Corporation | Method and apparatus for supporting two-dimensional windows in a three-dimensional environment |
US7409647B2 (en) | 2000-09-19 | 2008-08-05 | Technion Research & Development Foundation Ltd. | Control of interactions within virtual environments |
US7190378B2 (en) | 2001-08-16 | 2007-03-13 | Siemens Corporate Research, Inc. | User interface for augmented and virtual reality systems |
JP4639559B2 (ja) | 2001-09-07 | 2011-02-23 | ソニー株式会社 | 情報処理装置及び情報処理方法 |
US7225414B1 (en) | 2002-09-10 | 2007-05-29 | Videomining Corporation | Method and system for virtual touch entertainment |
EP1416727A1 (en) | 2002-10-29 | 2004-05-06 | Accenture Global Services GmbH | Moving virtual advertising |
US7142192B2 (en) | 2002-12-12 | 2006-11-28 | Nvidia Corporation | Cursor locator for multi-monitor systems |
GB2404169B (en) | 2003-07-25 | 2005-08-17 | Research In Motion Ltd | Staggered keyboard for a portable device |
US8287373B2 (en) | 2008-12-05 | 2012-10-16 | Sony Computer Entertainment Inc. | Control device for communicating visual information |
US7542040B2 (en) | 2004-08-11 | 2009-06-02 | The United States Of America As Represented By The Secretary Of The Navy | Simulated locomotion method and apparatus |
US7983160B2 (en) | 2004-09-08 | 2011-07-19 | Sony Corporation | Method and apparatus for transmitting a coded video signal |
US7372959B2 (en) | 2005-12-12 | 2008-05-13 | Research In Motion Limited | Handheld electronic device with reconfigurable keypad |
US8793620B2 (en) | 2011-04-21 | 2014-07-29 | Sony Computer Entertainment Inc. | Gaze-assisted computer interface |
US8730156B2 (en) | 2010-03-05 | 2014-05-20 | Sony Computer Entertainment America Llc | Maintaining multiple views on a shared stable virtual space |
JP4725385B2 (ja) | 2006-03-24 | 2011-07-13 | ソニー株式会社 | 携帯型電話機及び電子機器 |
WO2007132451A2 (en) | 2006-05-11 | 2007-11-22 | Prime Sense Ltd. | Modeling of humanoid forms from depth maps |
US20150121287A1 (en) | 2006-07-03 | 2015-04-30 | Yoram Ben-Meir | System for generating and controlling a variably displayable mobile device keypad/virtual keyboard |
US8125510B2 (en) | 2007-01-30 | 2012-02-28 | Ankur Agarwal | Remote workspace sharing |
US8326353B1 (en) | 2007-06-27 | 2012-12-04 | ENORCOM Corporation | Customizable mobile device |
US8692767B2 (en) | 2007-07-13 | 2014-04-08 | Synaptics Incorporated | Input device and method for virtual trackball operation |
US8166421B2 (en) | 2008-01-14 | 2012-04-24 | Primesense Ltd. | Three-dimensional user interface |
US20120204133A1 (en) | 2009-01-13 | 2012-08-09 | Primesense Ltd. | Gesture-Based User Interface |
US20090303984A1 (en) | 2008-06-09 | 2009-12-10 | Clark Jason T | System and method for private conversation in a public space of a virtual world |
US8957914B2 (en) | 2008-07-25 | 2015-02-17 | International Business Machines Corporation | Method for extending a virtual environment through registration |
US20110004481A1 (en) | 2008-09-19 | 2011-01-06 | Dell Products, L.P. | System and method for communicating and interfacing between real and virtual environments |
US20120202569A1 (en) | 2009-01-13 | 2012-08-09 | Primesense Ltd. | Three-Dimensional User Interface for Game Applications |
US20100182340A1 (en) | 2009-01-19 | 2010-07-22 | Bachelder Edward N | Systems and methods for combining virtual and real-time physical environments |
JP5263049B2 (ja) | 2009-07-21 | 2013-08-14 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにプログラム |
US9244533B2 (en) | 2009-12-17 | 2016-01-26 | Microsoft Technology Licensing, Llc | Camera navigation for presentations |
US20130278631A1 (en) | 2010-02-28 | 2013-10-24 | Osterhout Group, Inc. | 3d positioning of augmented reality information |
US20140063055A1 (en) | 2010-02-28 | 2014-03-06 | Osterhout Group, Inc. | Ar glasses specific user interface and control interface based on a connected external device type |
US11275482B2 (en) | 2010-02-28 | 2022-03-15 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
US20120194418A1 (en) | 2010-02-28 | 2012-08-02 | Osterhout Group, Inc. | Ar glasses with user action control and event input based control of eyepiece application |
FR2960986A1 (fr) | 2010-06-04 | 2011-12-09 | Thomson Licensing | Procede de selection d’un objet dans un environnement virtuel |
US10096161B2 (en) | 2010-06-15 | 2018-10-09 | Live Nation Entertainment, Inc. | Generating augmented reality images using sensor and location data |
CN102959616B (zh) | 2010-07-20 | 2015-06-10 | 苹果公司 | 自然交互的交互真实性增强 |
US9201501B2 (en) | 2010-07-20 | 2015-12-01 | Apple Inc. | Adaptive projector |
JP5482535B2 (ja) | 2010-07-23 | 2014-05-07 | コニカミノルタ株式会社 | 画像処理装置及び画像処理方法 |
CN103181149B (zh) | 2010-09-20 | 2016-01-06 | 寇平公司 | 具有扩频叠加的无线视频耳机 |
US9292973B2 (en) | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
US20120162384A1 (en) | 2010-12-22 | 2012-06-28 | Vesely Michael A | Three-Dimensional Collaboration |
US20120192088A1 (en) | 2011-01-20 | 2012-07-26 | Avaya Inc. | Method and system for physical mapping in a virtual world |
CN103347437B (zh) | 2011-02-09 | 2016-06-08 | 苹果公司 | 3d映射环境中的凝视检测 |
US9086798B2 (en) | 2011-03-07 | 2015-07-21 | Ricoh Company, Ltd. | Associating information on a whiteboard with a user |
JP2014509031A (ja) | 2011-03-21 | 2014-04-10 | エヌ−トリグ リミテッド | コンピュータスタイラスによる認証のためのシステム及び方法 |
JP5960796B2 (ja) | 2011-03-29 | 2016-08-02 | クアルコム,インコーポレイテッド | ローカルマルチユーザ共同作業のためのモジュール式のモバイル接続ピコプロジェクタ |
US20120249587A1 (en) | 2011-04-04 | 2012-10-04 | Anderson Glen J | Keyboard avatar for heads up display (hud) |
US9113032B1 (en) | 2011-05-31 | 2015-08-18 | Google Inc. | Selecting participants in a video conference |
JP2014515147A (ja) | 2011-06-21 | 2014-06-26 | エンパイア テクノロジー ディベロップメント エルエルシー | 拡張現実のためのジェスチャベースユーザインターフェース |
US9030487B2 (en) | 2011-08-01 | 2015-05-12 | Lg Electronics Inc. | Electronic device for displaying three-dimensional image and method of using the same |
WO2013028813A1 (en) | 2011-08-23 | 2013-02-28 | Microsoft Corporation | Implicit sharing and privacy control through physical behaviors using sensor-rich devices |
US8941560B2 (en) | 2011-09-21 | 2015-01-27 | Google Inc. | Wearable computer with superimposed controls and instructions for external device |
US9081177B2 (en) | 2011-10-07 | 2015-07-14 | Google Inc. | Wearable computer with nearby object response |
EP3404894B1 (en) | 2011-10-28 | 2020-02-12 | Magic Leap, Inc. | System and method for augmented and virtual reality |
US20130194304A1 (en) | 2012-02-01 | 2013-08-01 | Stephen Latta | Coordinate-system sharing for augmented reality |
US9057884B2 (en) | 2012-02-10 | 2015-06-16 | Mounir Boukli-Hacene | Reading glasses attachable to a keyboard |
US10503373B2 (en) | 2012-03-14 | 2019-12-10 | Sony Interactive Entertainment LLC | Visual feedback for highlight-driven gesture user interfaces |
US8947322B1 (en) | 2012-03-19 | 2015-02-03 | Google Inc. | Context detection and context-based user-interface population |
US8947323B1 (en) | 2012-03-20 | 2015-02-03 | Hayes Solos Raffle | Content display methods |
US8957916B1 (en) | 2012-03-23 | 2015-02-17 | Google Inc. | Display method |
AU2013239179B2 (en) | 2012-03-26 | 2015-08-20 | Apple Inc. | Enhanced virtual touchpad and touchscreen |
US20130260822A1 (en) | 2012-03-30 | 2013-10-03 | Shing-Wai David Wu | Notebook with Mobile Telephone Receptacle |
US9122321B2 (en) | 2012-05-04 | 2015-09-01 | Microsoft Technology Licensing, Llc | Collaboration environment using see through displays |
US8847979B2 (en) | 2012-06-08 | 2014-09-30 | Samuel G. Smith | Peek mode and graphical user interface (GUI) experience |
US20130328925A1 (en) | 2012-06-12 | 2013-12-12 | Stephen G. Latta | Object focus in a mixed reality environment |
US9767720B2 (en) | 2012-06-25 | 2017-09-19 | Microsoft Technology Licensing, Llc | Object-centric mixed reality space |
US9645394B2 (en) | 2012-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Configured virtual environments |
US9035970B2 (en) | 2012-06-29 | 2015-05-19 | Microsoft Technology Licensing, Llc | Constraint based information inference |
US20140035819A1 (en) | 2012-08-03 | 2014-02-06 | Research In Motion Limited | Method and Apparatus Pertaining to an Augmented-Reality Keyboard |
WO2014031899A1 (en) | 2012-08-22 | 2014-02-27 | Goldrun Corporation | Augmented reality virtual content platform apparatuses, methods and systems |
US20140062875A1 (en) | 2012-09-06 | 2014-03-06 | Panasonic Corporation | Mobile device with an inertial measurement unit to adjust state of graphical user interface or a natural language processing unit, and including a hover sensing function |
KR101923723B1 (ko) | 2012-09-17 | 2018-11-29 | 한국전자통신연구원 | 사용자 간 상호작용이 가능한 메타버스 공간을 제공하기 위한 메타버스 클라이언트 단말 및 방법 |
US10168784B2 (en) | 2012-09-20 | 2019-01-01 | Sony Corporation | Information processing apparatus and method, and program |
US9178509B2 (en) | 2012-09-28 | 2015-11-03 | Apple Inc. | Ultra low travel keyboard |
US8799756B2 (en) | 2012-09-28 | 2014-08-05 | Interactive Memories, Inc. | Systems and methods for generating autoflow of content based on image and user analysis as well as use case data for a media-based printable product |
US9007301B1 (en) | 2012-10-11 | 2015-04-14 | Google Inc. | User interface |
US20140123077A1 (en) | 2012-10-29 | 2014-05-01 | Intel Corporation | System and method for user interaction and control of electronic devices |
US9619911B2 (en) | 2012-11-13 | 2017-04-11 | Qualcomm Incorporated | Modifying virtual object display properties |
US9152234B2 (en) | 2012-12-02 | 2015-10-06 | Apple Inc. | Detecting user intent to remove a pluggable peripheral device |
US20140191927A1 (en) | 2013-01-09 | 2014-07-10 | Lg Electronics Inc. | Head mount display device providing eye gaze calibration and control method thereof |
US20140208274A1 (en) | 2013-01-18 | 2014-07-24 | Microsoft Corporation | Controlling a computing-based device using hand gestures |
US20140258942A1 (en) | 2013-03-05 | 2014-09-11 | Intel Corporation | Interaction of multiple perceptual sensing inputs |
US9854014B2 (en) | 2013-03-14 | 2017-12-26 | Google Inc. | Motion data sharing |
US20140272845A1 (en) | 2013-03-15 | 2014-09-18 | Koninklijke Philips N.V. | Method for increasing the likelihood to induce behavior change in a lifestyle management program |
US9779517B2 (en) | 2013-03-15 | 2017-10-03 | Upskill, Inc. | Method and system for representing and interacting with augmented reality content |
CN105473021B (zh) | 2013-03-15 | 2018-01-19 | 智能专利有限责任公司 | 可穿戴设备及相关系统 |
US9939900B2 (en) | 2013-04-26 | 2018-04-10 | Immersion Corporation | System and method for a haptically-enabled deformable surface |
US10430018B2 (en) * | 2013-06-07 | 2019-10-01 | Sony Interactive Entertainment Inc. | Systems and methods for providing user tagging of content within a virtual scene |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US10025378B2 (en) | 2013-06-25 | 2018-07-17 | Microsoft Technology Licensing, Llc | Selecting user interface elements via position signal |
US9952042B2 (en) | 2013-07-12 | 2018-04-24 | Magic Leap, Inc. | Method and system for identifying a user location |
KR20150026336A (ko) | 2013-09-02 | 2015-03-11 | 엘지전자 주식회사 | 웨어러블 디바이스 및 그 컨텐트 출력 방법 |
US9256072B2 (en) | 2013-10-02 | 2016-02-09 | Philip Scott Lyren | Wearable electronic glasses that detect movement of a real object copies movement of a virtual object |
US9996797B1 (en) | 2013-10-31 | 2018-06-12 | Leap Motion, Inc. | Interactions with virtual objects for machine control |
CN103677632A (zh) | 2013-11-19 | 2014-03-26 | 三星电子(中国)研发中心 | 一种虚拟键盘调整方法和移动终端 |
US10209853B2 (en) | 2013-12-20 | 2019-02-19 | Robert Bosch Gmbh | System and method for dialog-enabled context-dependent and user-centric content presentation |
KR101844390B1 (ko) | 2014-01-03 | 2018-04-03 | 인텔 코포레이션 | 사용자 인터페이스 제어를 위한 시스템 및 기법 |
US10001645B2 (en) | 2014-01-17 | 2018-06-19 | Sony Interactive Entertainment America Llc | Using a second screen as a private tracking heads-up display |
US9524588B2 (en) | 2014-01-24 | 2016-12-20 | Avaya Inc. | Enhanced communication between remote participants using augmented and virtual reality |
US10592929B2 (en) | 2014-02-19 | 2020-03-17 | VP Holdings, Inc. | Systems and methods for delivering content |
US10203762B2 (en) | 2014-03-11 | 2019-02-12 | Magic Leap, Inc. | Methods and systems for creating virtual and augmented reality |
US9613448B1 (en) | 2014-03-14 | 2017-04-04 | Google Inc. | Augmented display of information in a device view of a display screen |
EP2921899B1 (en) | 2014-03-21 | 2018-07-04 | Samsung Electronics Co., Ltd | Head-mounted display and method of operating the same |
US9436279B2 (en) | 2014-03-31 | 2016-09-06 | Rovi Guides, Inc. | Systems and methods for controlling user devices based on brain activity |
US10529359B2 (en) | 2014-04-17 | 2020-01-07 | Microsoft Technology Licensing, Llc | Conversation detection |
US9613443B2 (en) | 2014-05-06 | 2017-04-04 | Mitsubishi Electric Research Laboratories, Inc. | Method for generating representations of polylines using piecewise fitted geometric primitives |
US9423836B2 (en) | 2014-05-23 | 2016-08-23 | Woorin Corporation | Super-slim touch keyboard and super-slim cover device for smart keyboard having the same |
US20150379770A1 (en) | 2014-06-27 | 2015-12-31 | David C. Haley, JR. | Digital action in response to object interaction |
US10068373B2 (en) | 2014-07-01 | 2018-09-04 | Samsung Electronics Co., Ltd. | Electronic device for providing map information |
WO2016001909A1 (en) | 2014-07-03 | 2016-01-07 | Imagine Mobile Augmented Reality Ltd | Audiovisual surround augmented reality (asar) |
US9766806B2 (en) | 2014-07-15 | 2017-09-19 | Microsoft Technology Licensing, Llc | Holographic keyboard display |
US9858720B2 (en) | 2014-07-25 | 2018-01-02 | Microsoft Technology Licensing, Llc | Three-dimensional mixed-reality viewport |
US10416760B2 (en) | 2014-07-25 | 2019-09-17 | Microsoft Technology Licensing, Llc | Gaze-based object placement within a virtual reality environment |
US20160027214A1 (en) | 2014-07-25 | 2016-01-28 | Robert Memmott | Mouse sharing between a desktop and a virtual world |
US9424570B2 (en) | 2014-08-13 | 2016-08-23 | Paypal, Inc. | On-screen code stabilization |
EP2996017B1 (en) | 2014-09-11 | 2022-05-11 | Nokia Technologies Oy | Method, apparatus and computer program for displaying an image of a physical keyboard on a head mountable display |
US9818225B2 (en) | 2014-09-30 | 2017-11-14 | Sony Interactive Entertainment Inc. | Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space |
TR201901086T4 (tr) | 2014-10-06 | 2019-02-21 | Koninklijke Philips Nv | Yerleşme sistemi. |
US20180276896A1 (en) | 2014-11-07 | 2018-09-27 | Pcms Holdings, Inc. | System and method for augmented reality annotations |
US20170243403A1 (en) | 2014-11-11 | 2017-08-24 | Bent Image Lab, Llc | Real-time shared augmented reality experience |
US9860308B2 (en) | 2014-11-25 | 2018-01-02 | International Business Machines Corporation | Collaborative creation of annotation training data |
US10353532B1 (en) | 2014-12-18 | 2019-07-16 | Leap Motion, Inc. | User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments |
KR102345911B1 (ko) | 2015-01-16 | 2022-01-03 | 삼성전자주식회사 | 가상 입력 장치 및 이를 이용한 사용자 입력 수신 방법 |
US9696795B2 (en) | 2015-02-13 | 2017-07-04 | Leap Motion, Inc. | Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments |
US9690103B2 (en) | 2015-02-16 | 2017-06-27 | Philip Lyren | Display an image during a communication |
KR102439993B1 (ko) | 2015-02-27 | 2022-09-06 | 삼성전자주식회사 | 방열 장치를 구비한 전자 장치 및 이의 제어 방법 |
US9839101B2 (en) | 2015-03-06 | 2017-12-05 | Lutron Electronics Co., Inc. | Load control adjustment from a wearable wireless device |
US10261482B2 (en) | 2015-03-26 | 2019-04-16 | Ca, Inc. | Initiating actions on wearable devices |
US10156908B2 (en) | 2015-04-15 | 2018-12-18 | Sony Interactive Entertainment Inc. | Pinch and hold gesture navigation on a head-mounted display |
US9804733B2 (en) | 2015-04-21 | 2017-10-31 | Dell Products L.P. | Dynamic cursor focus in a multi-display information handling system environment |
US10438262B1 (en) | 2015-06-15 | 2019-10-08 | Amazon Technologies, Inc. | Method and device for implementing a virtual browsing experience |
US10416835B2 (en) | 2015-06-22 | 2019-09-17 | Samsung Electronics Co., Ltd. | Three-dimensional user interface for head-mountable display |
US9520002B1 (en) | 2015-06-24 | 2016-12-13 | Microsoft Technology Licensing, Llc | Virtual place-located anchor |
US9818228B2 (en) | 2015-08-07 | 2017-11-14 | Microsoft Technology Licensing, Llc | Mixed reality social interaction |
US9740011B2 (en) | 2015-08-19 | 2017-08-22 | Microsoft Technology Licensing, Llc | Mapping input to hologram or two-dimensional display |
WO2017034419A1 (en) | 2015-08-21 | 2017-03-02 | Puteko Limited | A process, system and apparatus for machine colour characterisation of digital media |
JP6598617B2 (ja) | 2015-09-17 | 2019-10-30 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
US10235810B2 (en) | 2015-09-22 | 2019-03-19 | 3D Product Imaging Inc. | Augmented reality e-commerce for in-store retail |
JP6737281B2 (ja) | 2015-09-30 | 2020-08-05 | 日本精機株式会社 | 表示装置 |
TWI556142B (zh) | 2015-10-07 | 2016-11-01 | 原相科技股份有限公司 | 導航軌跡校正方法及其光學導航裝置 |
KR102471977B1 (ko) | 2015-11-06 | 2022-11-30 | 삼성전자 주식회사 | 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치 |
US10956666B2 (en) | 2015-11-09 | 2021-03-23 | Apple Inc. | Unconventional virtual assistant interactions |
JP6414541B2 (ja) | 2015-11-27 | 2018-10-31 | 京セラドキュメントソリューションズ株式会社 | 電子機器、セッション継続判定プログラムおよびデータ送受信システム |
US11010972B2 (en) | 2015-12-11 | 2021-05-18 | Google Llc | Context sensitive user interface activation in an augmented and/or virtual reality environment |
US20170185261A1 (en) | 2015-12-28 | 2017-06-29 | Htc Corporation | Virtual reality device, method for virtual reality |
EP3188075B1 (en) | 2015-12-29 | 2023-02-22 | Samsung Electronics Co., Ltd. | Apparatus and method for recognizing hand gestures in a virtual reality headset |
WO2017120271A1 (en) | 2016-01-04 | 2017-07-13 | Meta Company | Apparatuses, methods and systems for application of forces within a 3d virtual environment |
US10719711B2 (en) | 2016-01-06 | 2020-07-21 | Orcam Technologies Ltd. | Methods and systems for controlling external devices using a wearable apparatus |
US10229541B2 (en) | 2016-01-28 | 2019-03-12 | Sony Interactive Entertainment America Llc | Methods and systems for navigation within virtual reality space using head mounted display |
US10209785B2 (en) | 2016-02-02 | 2019-02-19 | Microsoft Technology Licensing, Llc | Volatility based cursor tethering |
US9939635B2 (en) | 2016-02-29 | 2018-04-10 | Brillio LLC | Method for providing notification in virtual reality device |
US10218968B2 (en) | 2016-03-05 | 2019-02-26 | Maximilian Ralph Peter von und zu Liechtenstein | Gaze-contingent display technique |
US10317989B2 (en) | 2016-03-13 | 2019-06-11 | Logitech Europe S.A. | Transition between virtual and augmented reality |
US10112111B2 (en) | 2016-03-18 | 2018-10-30 | Sony Interactive Entertainment Inc. | Spectator view perspectives in VR environments |
US20170280090A1 (en) | 2016-03-24 | 2017-09-28 | Elsewhere, LLC | Binocular display and method for displaying images |
US10838502B2 (en) | 2016-03-29 | 2020-11-17 | Microsoft Technology Licensing, Llc | Sharing across environments |
US20170287217A1 (en) | 2016-03-30 | 2017-10-05 | Kahyun Kim | Preceding traffic alert system and method |
US10607576B2 (en) | 2016-04-01 | 2020-03-31 | Sharp Kabushiki Kaisha | Display device, and control method for display device |
US9726896B2 (en) | 2016-04-21 | 2017-08-08 | Maximilian Ralph Peter von und zu Liechtenstein | Virtual monitor display technique for augmented reality environments |
TWI695307B (zh) | 2016-04-29 | 2020-06-01 | 姚秉洋 | 螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體 |
TWI698773B (zh) | 2016-04-29 | 2020-07-11 | 姚秉洋 | 螢幕鍵盤之顯示方法及其電腦程式產品與非暫態電腦可讀取媒體 |
KR20170126295A (ko) | 2016-05-09 | 2017-11-17 | 엘지전자 주식회사 | 헤드 마운티드 디스플레이 장치 및 그것의 제어방법 |
US10620437B2 (en) | 2016-05-25 | 2020-04-14 | Lenovo (Singapore) Pte. Ltd. | Systems and methods for presentation of images from camera concurrently with presentation of virtual reality content |
CN105959757B (zh) | 2016-05-27 | 2018-11-23 | 北京小鸟看看科技有限公司 | 一种虚拟现实系统及其工作状态的控制方法 |
CN109416685B (zh) | 2016-06-02 | 2023-09-26 | 柯达阿拉里斯股份有限公司 | 用于与用户主动交互的方法 |
CA2997021A1 (en) | 2016-06-10 | 2017-12-14 | Barrie A. Loberg | Mixed-reality architectural design environment |
US10338392B2 (en) | 2016-06-13 | 2019-07-02 | Microsoft Technology Licensing, Llc | Identification of augmented reality image display position |
US10237509B1 (en) | 2016-08-05 | 2019-03-19 | Apple Inc. | Systems with keyboards and head-mounted displays |
US10627625B2 (en) | 2016-08-11 | 2020-04-21 | Magic Leap, Inc. | Automatic placement of a virtual object in a three-dimensional space |
US20180075657A1 (en) | 2016-09-15 | 2018-03-15 | Microsoft Technology Licensing, Llc | Attribute modification tools for mixed reality |
WO2018057987A1 (en) | 2016-09-23 | 2018-03-29 | Apple Inc. | Augmented reality display |
US10332409B2 (en) | 2016-09-27 | 2019-06-25 | Rockwell Collins, Inc. | Midair collision threat detection and assessment using visual information |
CN107885316A (zh) | 2016-09-29 | 2018-04-06 | 阿里巴巴集团控股有限公司 | 一种基于手势的交互方法及装置 |
US10168798B2 (en) | 2016-09-29 | 2019-01-01 | Tower Spring Global Limited | Head mounted display |
US10735691B2 (en) | 2016-11-08 | 2020-08-04 | Rockwell Automation Technologies, Inc. | Virtual reality and augmented reality for industrial automation |
WO2018089533A1 (en) | 2016-11-08 | 2018-05-17 | PogoTec, Inc. | A smart case for electronic wearable device |
US10754417B2 (en) | 2016-11-14 | 2020-08-25 | Logitech Europe S.A. | Systems and methods for operating an input device in an augmented/virtual reality environment |
JP6754678B2 (ja) | 2016-11-18 | 2020-09-16 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
US20180150997A1 (en) | 2016-11-30 | 2018-05-31 | Microsoft Technology Licensing, Llc | Interaction between a touch-sensitive device and a mixed-reality device |
US10474336B2 (en) | 2016-12-20 | 2019-11-12 | Adobe Inc. | Providing a user experience with virtual reality content and user-selected, real world objects |
CN108885533B (zh) | 2016-12-21 | 2021-05-07 | 杰创科科技有限公司 | 组合虚拟现实和增强现实 |
US10769159B2 (en) | 2016-12-22 | 2020-09-08 | Aon Global Operations Plc, Singapore Branch | Systems and methods for data mining of historic electronic communication exchanges to identify relationships, patterns, and correlations to deal outcomes |
KR102553190B1 (ko) | 2016-12-29 | 2023-07-07 | 매직 립, 인코포레이티드 | 외부 조건들에 기초한 웨어러블 디스플레이 디바이스의 자동 제어 |
EP3568783A4 (en) | 2017-01-11 | 2020-11-11 | Magic Leap, Inc. | MEDICAL ASSISTANT |
KR102635437B1 (ko) | 2017-02-28 | 2024-02-13 | 삼성전자주식회사 | 콘텐츠 공유 방법 및 이를 지원하는 전자 장치 |
US10223057B2 (en) | 2017-03-17 | 2019-03-05 | Dell Products L.P. | Information handling system management of virtual input device interactions |
US20180276891A1 (en) | 2017-03-24 | 2018-09-27 | Pcms Holdings, Inc. | System and method for providing an in-context notification of a real-world event within a virtual reality experience |
KR101916380B1 (ko) | 2017-04-05 | 2019-01-30 | 주식회사 에스큐그리고 | 영상 정보에 기반하여 가상 스피커를 재생하기 위한 음원 재생 장치 |
US10692287B2 (en) | 2017-04-17 | 2020-06-23 | Microsoft Technology Licensing, Llc | Multi-step placement of virtual objects |
CN113608617A (zh) | 2017-04-19 | 2021-11-05 | 奇跃公司 | 可穿戴系统的多模式任务执行和文本编辑 |
EP4141623A1 (en) | 2017-04-27 | 2023-03-01 | Magic Leap, Inc. | Augmented reality system comprising light-emitting user input device |
WO2018204419A1 (en) | 2017-05-01 | 2018-11-08 | Magic Leap, Inc. | Matching content to a spatial 3d environment |
CA3061332A1 (en) | 2017-05-19 | 2018-11-22 | Magic Leap, Inc. | Keyboards for virtual, augmented, and mixed reality display systems |
US10747386B2 (en) | 2017-06-01 | 2020-08-18 | Samsung Electronics Co., Ltd. | Systems and methods for window control in virtual reality environment |
US11132533B2 (en) | 2017-06-07 | 2021-09-28 | David Scott Dreessen | Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion |
US11137824B2 (en) | 2017-07-21 | 2021-10-05 | Hewlett-Packard Development Company, L.P. | Physical input device in virtual reality |
US10290190B2 (en) | 2017-07-31 | 2019-05-14 | Facebook, Inc. | Providing temperature sensation to a user based on content presented to the user |
WO2019028479A1 (en) | 2017-08-04 | 2019-02-07 | Magical Technologies, Llc | SYSTEMS, METHODS AND APPARATUSES FOR DEPLOYING AND TARGETING VIRTUAL OBJECTS SENSITIVE TO CONTEXT AND MODELING BEHAVIOR OF VIRTUAL OBJECTS BASED ON PHYSICAL PRINCIPLES |
US10127731B1 (en) | 2017-08-30 | 2018-11-13 | Daqri, Llc | Directional augmented reality warning system |
US10409444B2 (en) | 2017-09-01 | 2019-09-10 | Microsoft Technology Licensing, Llc | Head-mounted display input translation |
WO2019055703A2 (en) | 2017-09-13 | 2019-03-21 | Magical Technologies, Llc | VIRTUAL DISPLAY PANEL, FACILITATION OF COLLABORATION, AND MESSAGE OBJECTS FOR FACILITATING COMMUNICATION SESSIONS IN AN INCREASED REALITY ENVIRONMENT |
JP6859446B2 (ja) | 2017-09-26 | 2021-04-14 | 株式会社日立国際電気 | 物体捜索システム、物体捜索装置、及び物体捜索方法 |
US11308686B1 (en) | 2017-09-29 | 2022-04-19 | Apple Inc. | Captured image data in a computer-generated reality environment |
US20190107944A1 (en) | 2017-10-06 | 2019-04-11 | Microsoft Technology Licensing, Llc | Multifinger Touch Keyboard |
US10685456B2 (en) * | 2017-10-12 | 2020-06-16 | Microsoft Technology Licensing, Llc | Peer to peer remote localization for devices |
US10997946B2 (en) | 2017-10-18 | 2021-05-04 | Valve Corporation | Display with adjustable duty cycle for individual color channels |
US11176747B2 (en) | 2017-10-30 | 2021-11-16 | Sony Corporation | Information processing apparatus and information processing method |
US10553031B2 (en) | 2017-12-06 | 2020-02-04 | Microsoft Technology Licensing, Llc | Digital project file presentation |
US11112613B2 (en) | 2017-12-18 | 2021-09-07 | Facebook Technologies, Llc | Integrated augmented reality head-mounted display for pupil steering |
WO2019126175A1 (en) | 2017-12-20 | 2019-06-27 | Vuzix Corporation | Augmented reality display system |
US11668927B2 (en) | 2018-01-23 | 2023-06-06 | Google Llc | Wavelength stabilization of laser diodes by temperature control |
US10438414B2 (en) | 2018-01-26 | 2019-10-08 | Microsoft Technology Licensing, Llc | Authoring and presenting 3D presentations in augmented reality |
US10540941B2 (en) | 2018-01-30 | 2020-01-21 | Magic Leap, Inc. | Eclipse cursor for mixed reality displays |
US11614793B2 (en) | 2018-02-28 | 2023-03-28 | Logitech Europe S.A. | Precision tracking of user interaction with a virtual input device |
US11014001B2 (en) | 2018-03-05 | 2021-05-25 | Sony Interactive Entertainment LLC | Building virtual reality (VR) gaming environments using real-world virtual reality maps |
US11182962B2 (en) | 2018-03-20 | 2021-11-23 | Logitech Europe S.A. | Method and system for object segmentation in a mixed reality environment |
US10317505B1 (en) | 2018-03-29 | 2019-06-11 | Microsoft Technology Licensing, Llc | Composite sound output for network connected devices |
US10733698B2 (en) | 2018-04-06 | 2020-08-04 | Groundspeak, Inc. | System and method for rendering perspective adjusted views of a virtual object in a real world environment |
US20190318065A1 (en) | 2018-04-11 | 2019-10-17 | IAS Machine, LLC | Delivery and monitoring use of licensed content in augmented reality |
US10839603B2 (en) | 2018-04-30 | 2020-11-17 | Microsoft Technology Licensing, Llc | Creating interactive zones in virtual environments |
WO2019212823A1 (en) | 2018-04-30 | 2019-11-07 | Breakthrough Performancetech, Llc | Interactive application adapted for use by multiple users via a distributed computer-based system |
US10504290B2 (en) | 2018-05-04 | 2019-12-10 | Facebook Technologies, Llc | User interface security in a virtual reality environment |
JP7341166B2 (ja) | 2018-05-22 | 2023-09-08 | マジック リープ, インコーポレイテッド | ウェアラブルシステムのためのトランスモード入力融合 |
US11307968B2 (en) | 2018-05-24 | 2022-04-19 | The Calany Holding S. À R.L. | System and method for developing, testing and deploying digital reality applications into the real world via a virtual world |
US11875012B2 (en) | 2018-05-25 | 2024-01-16 | Ultrahaptics IP Two Limited | Throwable interface for augmented reality and virtual reality environments |
US10579153B2 (en) | 2018-06-14 | 2020-03-03 | Dell Products, L.P. | One-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications |
US11049322B2 (en) | 2018-06-18 | 2021-06-29 | Ptc Inc. | Transferring graphic objects between non-augmented reality and augmented reality media domains |
EP3584692A1 (en) | 2018-06-19 | 2019-12-25 | InterDigital CE Patent Holdings | Sharing virtual content in a mixed reality scene |
EP3810013A1 (en) | 2018-06-19 | 2021-04-28 | Tornier, Inc. | Neural network for recommendation of shoulder surgery type |
US10712901B2 (en) | 2018-06-27 | 2020-07-14 | Facebook Technologies, Llc | Gesture-based content sharing in artificial reality environments |
US10635895B2 (en) | 2018-06-27 | 2020-04-28 | Facebook Technologies, Llc | Gesture-based casting and manipulation of virtual content in artificial-reality environments |
EP3820343A4 (en) | 2018-07-13 | 2022-06-29 | iRobot Corporation | Mobile robot cleaning system |
US10665206B2 (en) | 2018-07-30 | 2020-05-26 | Honeywell International Inc. | Method and system for user-related multi-screen solution for augmented reality for use in performing maintenance |
US10692299B2 (en) | 2018-07-31 | 2020-06-23 | Splunk Inc. | Precise manipulation of virtual object position in an extended reality environment |
US10916220B2 (en) | 2018-08-07 | 2021-02-09 | Apple Inc. | Detection and display of mixed 2D/3D content |
US11030813B2 (en) | 2018-08-30 | 2021-06-08 | Snap Inc. | Video clip object tracking |
WO2020051111A1 (en) | 2018-09-04 | 2020-03-12 | Ocelot Laboratories Llc | Display device sharing and interactivity in simulated reality (sr) |
EP3860502A1 (en) | 2018-10-04 | 2021-08-11 | Integra LifeSciences Corporation | Head wearable devices and methods |
US10839609B2 (en) | 2018-10-05 | 2020-11-17 | Facebook Technologies, Llc | Apparatus, systems, and methods for display devices including local dimming |
JP2022512600A (ja) | 2018-10-05 | 2022-02-07 | マジック リープ, インコーポレイテッド | 任意の場所における場所特有の仮想コンテンツのレンダリング |
US10776954B2 (en) | 2018-10-08 | 2020-09-15 | Microsoft Technology Licensing, Llc | Real-world anchor in a virtual-reality environment |
US20200111256A1 (en) | 2018-10-08 | 2020-04-09 | Microsoft Technology Licensing, Llc | Real-world anchor in a virtual-reality environment |
US11017217B2 (en) | 2018-10-09 | 2021-05-25 | Midea Group Co., Ltd. | System and method for controlling appliances using motion gestures |
US10838488B2 (en) | 2018-10-10 | 2020-11-17 | Plutovr | Evaluating alignment of inputs and outputs for virtual environments |
US10678323B2 (en) | 2018-10-10 | 2020-06-09 | Plutovr | Reference frames for virtual environments |
US10516853B1 (en) | 2018-10-10 | 2019-12-24 | Plutovr | Aligning virtual representations to inputs and outputs |
US11361510B2 (en) | 2018-10-21 | 2022-06-14 | Oracle International Corporation | Optimizing virtual data views using voice commands and defined perspectives |
US20200125322A1 (en) | 2018-10-22 | 2020-04-23 | Navitaire Llc | Systems and methods for customization of augmented reality user interface |
JP7245631B2 (ja) | 2018-10-26 | 2023-03-24 | Dynabook株式会社 | 電子機器 |
US10867444B2 (en) | 2018-11-29 | 2020-12-15 | Adobe Inc. | Synthetic data generation for training a machine learning model for dynamic object compositing in scenes |
US11137905B2 (en) | 2018-12-03 | 2021-10-05 | Microsoft Technology Licensing, Llc | Modeless augmentations to a virtual trackpad on a multiple screen computing device |
US10854169B2 (en) | 2018-12-14 | 2020-12-01 | Samsung Electronics Co., Ltd. | Systems and methods for virtual displays in virtual, mixed, and augmented reality |
DE102019135676A1 (de) | 2018-12-26 | 2020-07-02 | Htc Corporation | Objektverfolgungssystem und objektverfolgungsverfahren |
US10834445B2 (en) | 2018-12-27 | 2020-11-10 | Oath Inc. | Annotating extended reality presentations |
US11042034B2 (en) | 2018-12-27 | 2021-06-22 | Facebook Technologies, Llc | Head mounted display calibration using portable docking station with calibration target |
KR20200098034A (ko) | 2019-02-11 | 2020-08-20 | 삼성전자주식회사 | 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법 |
US11428933B2 (en) | 2019-05-13 | 2022-08-30 | Light Field Lab, Inc. | Light field display system for performance events |
US11410360B2 (en) | 2019-05-17 | 2022-08-09 | University Of Washington | Techniques for managing multi-user content in augmented reality applications |
US11334212B2 (en) | 2019-06-07 | 2022-05-17 | Facebook Technologies, Llc | Detecting input in artificial reality systems based on a pinch and pull gesture |
US11003307B1 (en) | 2019-06-07 | 2021-05-11 | Facebook Technologies, Llc | Artificial reality systems with drawer simulation gesture for gating user interface elements |
US11210851B1 (en) | 2019-06-14 | 2021-12-28 | State Farm Mutual Automobile Insurance Company | Systems and methods for labeling 3D models using virtual reality and augmented reality |
US11202037B2 (en) | 2019-06-18 | 2021-12-14 | The Calany Holding S. À R.L. | Virtual presence system and method through merged reality |
JP7378232B2 (ja) | 2019-06-24 | 2023-11-13 | キヤノン株式会社 | 画像処理装置およびその制御方法 |
US20210008413A1 (en) | 2019-07-11 | 2021-01-14 | Elo Labs, Inc. | Interactive Personal Training System |
US11340857B1 (en) | 2019-07-19 | 2022-05-24 | Snap Inc. | Shared control of a virtual object by multiple devices |
CN110442245A (zh) | 2019-07-26 | 2019-11-12 | 广东虚拟现实科技有限公司 | 基于物理键盘的显示方法、装置、终端设备及存储介质 |
US20220335673A1 (en) | 2019-09-09 | 2022-10-20 | Wonseok Jang | Document processing system using augmented reality and virtual reality, and method therefor |
US11842449B2 (en) | 2019-09-26 | 2023-12-12 | Apple Inc. | Presenting an environment based on user movement |
WO2021061351A1 (en) | 2019-09-26 | 2021-04-01 | Apple Inc. | Wearable electronic device presenting a computer-generated reality environment |
US11340756B2 (en) | 2019-09-27 | 2022-05-24 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
US20210121136A1 (en) | 2019-10-28 | 2021-04-29 | Google Llc | Screenless Wristband with Virtual Display and Edge Machine Learning |
US11144115B2 (en) | 2019-11-01 | 2021-10-12 | Facebook Technologies, Llc | Porting physical object into virtual reality |
US11743064B2 (en) | 2019-11-04 | 2023-08-29 | Meta Platforms Technologies, Llc | Private collaboration spaces for computing systems |
US11638147B2 (en) | 2019-11-22 | 2023-04-25 | International Business Machines Corporation | Privacy-preserving collaborative whiteboard using augmented reality |
US11158108B2 (en) | 2019-12-04 | 2021-10-26 | Microsoft Technology Licensing, Llc | Systems and methods for providing a mixed-reality pass-through experience |
US10948997B1 (en) | 2019-12-20 | 2021-03-16 | Facebook Technologies, Llc | Artificial reality notification triggers |
US11875013B2 (en) | 2019-12-23 | 2024-01-16 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments |
US20210201581A1 (en) | 2019-12-30 | 2021-07-01 | Intuit Inc. | Methods and systems to create a controller in an augmented reality (ar) environment using any physical object |
US10917613B1 (en) | 2020-01-03 | 2021-02-09 | International Business Machines Corporation | Virtual object placement in augmented reality environments |
US11095855B2 (en) | 2020-01-16 | 2021-08-17 | Microsoft Technology Licensing, Llc | Remote collaborations with volumetric space indications |
US11340695B2 (en) | 2020-01-24 | 2022-05-24 | Magic Leap, Inc. | Converting a 2D positional input into a 3D point in space |
WO2021163373A1 (en) | 2020-02-14 | 2021-08-19 | Magic Leap, Inc. | 3d object annotation |
KR20210103880A (ko) | 2020-02-14 | 2021-08-24 | 엘지전자 주식회사 | 컨텐트 제공 방법 및 디바이스 |
JP2023515886A (ja) | 2020-03-02 | 2023-04-14 | マジック リープ, インコーポレイテッド | 没入型のオーディオプラットフォーム |
US11727650B2 (en) | 2020-03-17 | 2023-08-15 | Apple Inc. | Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments |
EP4133356A1 (en) | 2020-04-06 | 2023-02-15 | Pike Enterprises, LLC | Virtual reality tracking system |
US20220229534A1 (en) | 2020-04-08 | 2022-07-21 | Multinarity Ltd | Coordinating cursor movement between a physical surface and a virtual surface |
US11144759B1 (en) | 2020-05-12 | 2021-10-12 | Lenovo (Singapore) Pte. Ltd. | Presentation of graphical objects on display based on input from rear-facing camera |
US11317060B1 (en) | 2020-05-19 | 2022-04-26 | mmhmm inc. | Individual video conferencing spaces with shared virtual channels and immersive users |
WO2021239223A1 (en) | 2020-05-27 | 2021-12-02 | Telefonaktiebolaget Lm Ericsson (Publ) | Method and device for controlling display of content |
US11340707B2 (en) | 2020-05-29 | 2022-05-24 | Microsoft Technology Licensing, Llc | Hand gesture-based emojis |
CN115735178A (zh) | 2020-06-30 | 2023-03-03 | 美国斯耐普公司 | 具有对话气泡和翻译的增强现实眼戴器 |
US11481931B2 (en) | 2020-07-07 | 2022-10-25 | Qualcomm Incorporated | Virtual private space for extended reality |
CN111782332A (zh) | 2020-07-23 | 2020-10-16 | Oppo广东移动通信有限公司 | 应用界面切换方法、装置、终端及存储介质 |
US11449131B2 (en) | 2020-07-28 | 2022-09-20 | Qualcomm Incorporated | Obfuscated control interfaces for extended reality |
US11106328B1 (en) | 2020-07-28 | 2021-08-31 | Qualcomm Incorporated | Private control interfaces for extended reality |
US11210863B1 (en) | 2020-08-24 | 2021-12-28 | A9.Com, Inc. | Systems and methods for real-time object placement in augmented reality experience |
US11227445B1 (en) | 2020-08-31 | 2022-01-18 | Facebook Technologies, Llc | Artificial reality augments and surfaces |
US11178376B1 (en) | 2020-09-04 | 2021-11-16 | Facebook Technologies, Llc | Metering for display modes in artificial reality |
EP4211661A2 (en) | 2020-09-11 | 2023-07-19 | Apple Inc. | Methods for manipulating objects in an environment |
US11522925B2 (en) | 2020-09-14 | 2022-12-06 | NWR Corporation | Systems and methods for teleconferencing virtual environments |
US11606364B2 (en) | 2020-09-15 | 2023-03-14 | Meta Platforms Technologies, Llc | Artificial reality collaborative working environments |
CN116719452A (zh) | 2020-09-25 | 2023-09-08 | 苹果公司 | 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法 |
AU2021347112B2 (en) | 2020-09-25 | 2023-11-23 | Apple Inc. | Methods for manipulating objects in an environment |
US20220107632A1 (en) | 2020-10-02 | 2022-04-07 | Kohler Co. | Systems and methods for monitoring and controlling a bathroom |
US11380022B2 (en) | 2020-10-22 | 2022-07-05 | Sony Group Corporation | Content modification in a shared session among multiple head-mounted display devices |
US11620780B2 (en) | 2020-11-18 | 2023-04-04 | Microsoft Technology Licensing, Llc | Multiple device sensor input based avatar |
CN114527864B (zh) | 2020-11-19 | 2024-03-15 | 京东方科技集团股份有限公司 | 增强现实文字显示系统、方法、设备及介质 |
US11854230B2 (en) | 2020-12-01 | 2023-12-26 | Meta Platforms Technologies, Llc | Physical keyboard tracking |
US11245871B1 (en) | 2021-01-04 | 2022-02-08 | Servicenow, Inc. | Gesture-based whiteboard |
US11042028B1 (en) * | 2021-01-12 | 2021-06-22 | University Of Central Florida Research Foundation, Inc. | Relative pose data augmentation of tracked devices in virtual environments |
JP2024507749A (ja) | 2021-02-08 | 2024-02-21 | サイトフル コンピューターズ リミテッド | エクステンデッドリアリティにおけるコンテンツ共有 |
US11294475B1 (en) | 2021-02-08 | 2022-04-05 | Facebook Technologies, Llc | Artificial reality multi-modal input switching model |
EP4288856A1 (en) | 2021-02-08 | 2023-12-13 | Sightful Computers Ltd | Extended reality for productivity |
EP4288950A1 (en) | 2021-02-08 | 2023-12-13 | Sightful Computers Ltd | User interactions in extended reality |
US20220253136A1 (en) | 2021-02-11 | 2022-08-11 | Apple Inc. | Methods for presenting and sharing content in an environment |
US11355043B1 (en) | 2021-02-18 | 2022-06-07 | Facebook Technologies, Llc | Dynamically driving multiple portions of display device with different duty cycles |
CN113096252B (zh) | 2021-03-05 | 2021-11-02 | 华中师范大学 | 一种混合增强教学场景中多移动机制融合方法 |
WO2023009580A2 (en) | 2021-07-28 | 2023-02-02 | Multinarity Ltd | Using an extended reality appliance for productivity |
US11843898B2 (en) | 2021-09-10 | 2023-12-12 | Zoom Video Communications, Inc. | User interface tile arrangement based on relative locations of conference participants |
US11874959B2 (en) | 2021-09-15 | 2024-01-16 | Sony Interactive Entertainment Inc. | Dynamic notification surfacing in virtual or augmented reality scenes |
-
2022
- 2022-02-08 JP JP2023548189A patent/JP2024507749A/ja active Pending
- 2022-02-08 EP EP22750557.5A patent/EP4295314A1/en active Pending
- 2022-03-30 US US17/709,147 patent/US11480791B2/en active Active
- 2022-03-31 US US17/710,189 patent/US11516297B2/en active Active
- 2022-04-01 US US17/711,622 patent/US20220254074A1/en not_active Abandoned
- 2022-04-04 US US17/657,790 patent/US20220255995A1/en not_active Abandoned
- 2022-04-04 US US17/712,812 patent/US11496571B2/en active Active
- 2022-04-05 US US17/658,002 patent/US11627172B2/en active Active
- 2022-04-05 US US17/713,387 patent/US11582312B2/en active Active
- 2022-04-05 US US17/713,906 patent/US11481963B2/en active Active
- 2022-04-05 US US17/657,968 patent/US11588897B2/en active Active
- 2022-09-13 US US17/931,753 patent/US11924283B2/en active Active
- 2022-09-15 US US17/932,393 patent/US11811876B2/en active Active
- 2022-09-27 US US17/953,790 patent/US11863311B2/en active Active
-
2023
- 2023-01-04 US US18/149,961 patent/US11882189B2/en active Active
- 2023-01-17 US US18/155,582 patent/US20230156089A1/en active Pending
- 2023-10-18 US US18/489,363 patent/US20240048622A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220255974A1 (en) | 2022-08-11 |
US20220254180A1 (en) | 2022-08-11 |
US11481963B2 (en) | 2022-10-25 |
US11516297B2 (en) | 2022-11-29 |
US20220254096A1 (en) | 2022-08-11 |
US11863311B2 (en) | 2024-01-02 |
US11924283B2 (en) | 2024-03-05 |
US20220255973A1 (en) | 2022-08-11 |
US20220254074A1 (en) | 2022-08-11 |
US11582312B2 (en) | 2023-02-14 |
US20230156088A1 (en) | 2023-05-18 |
US11882189B2 (en) | 2024-01-23 |
US20220255995A1 (en) | 2022-08-11 |
US20220254119A1 (en) | 2022-08-11 |
US20230007085A1 (en) | 2023-01-05 |
US20230156089A1 (en) | 2023-05-18 |
US11480791B2 (en) | 2022-10-25 |
US11627172B2 (en) | 2023-04-11 |
US20220286488A1 (en) | 2022-09-08 |
US20230019607A1 (en) | 2023-01-19 |
US11496571B2 (en) | 2022-11-08 |
US11811876B2 (en) | 2023-11-07 |
US20240048622A1 (en) | 2024-02-08 |
US11588897B2 (en) | 2023-02-21 |
US20220252882A1 (en) | 2022-08-11 |
US20230010796A1 (en) | 2023-01-12 |
EP4295314A1 (en) | 2023-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11811876B2 (en) | Virtual display changes based on positions of viewers | |
US11748056B2 (en) | Tying a virtual speaker to a physical space | |
WO2022170222A1 (en) | Content sharing in extended reality | |
US11877203B2 (en) | Controlled exposure to location-based virtual content | |
US11948263B1 (en) | Recording the complete physical and extended reality environments of a user | |
US20240119682A1 (en) | Recording the complete physical and extended reality environments of a user | |
US20230334792A1 (en) | Interactive reality computing experience using optical lenticular multi-perspective simulation | |
WO2023146837A2 (en) | Extended reality for collaboration |