JP2023542847A - 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース - Google Patents
三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース Download PDFInfo
- Publication number
- JP2023542847A JP2023542847A JP2023515649A JP2023515649A JP2023542847A JP 2023542847 A JP2023542847 A JP 2023542847A JP 2023515649 A JP2023515649 A JP 2023515649A JP 2023515649 A JP2023515649 A JP 2023515649A JP 2023542847 A JP2023542847 A JP 2023542847A
- Authority
- JP
- Japan
- Prior art keywords
- physical
- environment
- user
- content
- computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 205
- 230000000007 visual effect Effects 0.000 claims abstract description 605
- 238000007654 immersion Methods 0.000 claims abstract description 244
- 230000004044 response Effects 0.000 claims abstract description 173
- 230000033001 locomotion Effects 0.000 claims description 295
- 230000008859 change Effects 0.000 claims description 132
- 230000009471 action Effects 0.000 claims description 79
- 230000003190 augmentative effect Effects 0.000 claims description 55
- 238000003860 storage Methods 0.000 claims description 33
- 238000001514 detection method Methods 0.000 claims description 29
- 230000004807 localization Effects 0.000 claims description 27
- 230000008569 process Effects 0.000 claims description 24
- 238000004891 communication Methods 0.000 claims description 19
- 241001465754 Metazoa Species 0.000 claims description 18
- 230000007704 transition Effects 0.000 claims description 17
- 230000003068 static effect Effects 0.000 claims description 9
- 230000010365 information processing Effects 0.000 claims 22
- 230000004075 alteration Effects 0.000 claims 1
- 230000000875 corresponding effect Effects 0.000 description 330
- 230000001976 improved effect Effects 0.000 description 90
- 210000003811 finger Anatomy 0.000 description 80
- 210000003128 head Anatomy 0.000 description 58
- 210000003813 thumb Anatomy 0.000 description 38
- 238000010586 diagram Methods 0.000 description 33
- 230000000694 effects Effects 0.000 description 23
- 230000003993 interaction Effects 0.000 description 23
- 238000012545 processing Methods 0.000 description 20
- 230000006870 function Effects 0.000 description 18
- 238000013459 approach Methods 0.000 description 17
- 230000002093 peripheral effect Effects 0.000 description 15
- 210000000707 wrist Anatomy 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 210000005069 ears Anatomy 0.000 description 10
- 210000004247 hand Anatomy 0.000 description 10
- 238000003384 imaging method Methods 0.000 description 10
- 230000001960 triggered effect Effects 0.000 description 10
- 238000010276 construction Methods 0.000 description 9
- 230000002452 interceptive effect Effects 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 230000001953 sensory effect Effects 0.000 description 9
- 230000001133 acceleration Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 238000010079 rubber tapping Methods 0.000 description 8
- 230000005236 sound signal Effects 0.000 description 8
- 210000001525 retina Anatomy 0.000 description 7
- -1 802.3x Chemical compound 0.000 description 6
- 230000000903 blocking effect Effects 0.000 description 6
- 238000005286 illumination Methods 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 238000002604 ultrasonography Methods 0.000 description 5
- 230000003213 activating effect Effects 0.000 description 4
- 230000000295 complement effect Effects 0.000 description 4
- 238000002955 isolation Methods 0.000 description 4
- 210000002414 leg Anatomy 0.000 description 4
- 230000001902 propagating effect Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000004397 blinking Effects 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 3
- 230000001815 facial effect Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 230000002829 reductive effect Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 241000238631 Hexapoda Species 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 241000269400 Sirenidae Species 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000012512 characterization method Methods 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000003750 conditioning effect Effects 0.000 description 2
- 239000004020 conductor Substances 0.000 description 2
- 239000007799 cork Substances 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000005057 finger movement Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 2
- 230000000284 resting effect Effects 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 230000002459 sustained effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000002772 conduction electron Substances 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007340 echolocation Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000009408 flooring Methods 0.000 description 1
- 230000005021 gait Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 235000019615 sensations Nutrition 0.000 description 1
- 230000007480 spreading Effects 0.000 description 1
- 238000003892 spreading Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 230000026676 system process Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Abstract
コンピュータシステムは、三次元コンピュータ生成環境を表示している間、第１のコンピュータ生成コンテンツを提示する要求に対応する第１のイベントを検出し、これに応じて、コンピュータシステムは、第１のイベントが第１の没入レベルを有する第１のコンピュータ生成コンテンツを提示する個別の要求に対応するという判定に従って、第１の視覚コンテンツを表示し、第１の音声出力モードを使用して第１の音声コンテンツを出力し、第１のイベントが第１のコンピュータ生成コンテンツに第１の没入レベルとは異なる第２の没入レベルを提示するための個別の要求に対応するという判定に従って、コンピュータシステムは、第１の視覚コンテンツを表示し、第１の音声コンテンツの没入レベルを変更する、第１とは異なる第２の音声出力モードを使用して第１の音声コンテンツを出力する。
Description
（関連出願）
本出願は、２０２０年９月２４日出願の米国特許仮出願第６３／０８２，９３３号の優先権を主張する２０２１年９月２３日出願の米国特許出願第１７／４８３，７２２号の継続出願であり、これらの各々は、参照することによってその全体が組み込まれる。
本出願は、２０２０年９月２４日出願の米国特許仮出願第６３／０８２，９３３号の優先権を主張する２０２１年９月２３日出願の米国特許出願第１７／４８３，７２２号の継続出願であり、これらの各々は、参照することによってその全体が組み込まれる。
（技術分野）
本開示は、概して、ディスプレイを介して仮想現実及び複合現実体験を提供する電子デバイスを含むがこれらに限定されない、表示生成構成要素と、コンピュータ生成現実（ＣＧＲ）体験を提供する１つ以上の入力デバイスと、を有するコンピュータシステムに関する。
本開示は、概して、ディスプレイを介して仮想現実及び複合現実体験を提供する電子デバイスを含むがこれらに限定されない、表示生成構成要素と、コンピュータ生成現実（ＣＧＲ）体験を提供する１つ以上の入力デバイスと、を有するコンピュータシステムに関する。
拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は拡張する少なくともいくつかの仮想要素を含む。コンピュータシステム及び他の電子コンピューティングデバイス用のカメラ、コントローラ、ジョイスティック、タッチ感知面、及びタッチスクリーンディスプレイなどの入力デバイスが、仮想／拡張現実環境と相互作用するために使用される。例示的な仮想要素は、デジタル画像、ビデオ、テキスト、アイコン、並びにボタン及びその他のグラフィックなどの仮想オブジェクトを含む。
しかし、少なくともいくつかの仮想要素を含む環境（例えばアプリケーション、拡張現実環境、複合現実環境、及び仮想現実環境）と相互作用する方法及びインタフェースは、煩雑で、非効率で、限定されたものである。例えば、仮想オブジェクトに関連付けられたアクションを実行するのに不十分なフィードバックしか提供しないシステム、拡張現実環境において所望の結果を達成するために一連の入力を必要とするシステム、及び仮想オブジェクトの操作が複雑で、エラーを起こしやすいシステムは、ユーザに対して大きな認知負担を引き起こしし、仮想／拡張現実環境での体験を損なう。加えて、それらの方法は必要以上に時間がかかり、それによってエネルギを浪費する。この後者の考慮事項は、バッテリ動作式デバイスにおいて特に重要である。
したがって、コンピュータシステムとの相互作用をユーザにとってより効率的かつ直感的にするコンピュータ生成体験をユーザに提供するための改善された方法及びインタフェースを有するコンピュータシステムが必要とされている。表示生成構成要素及び１つ以上の入力デバイスを有するコンピュータシステムのためのユーザインタフェースに関連する上記の欠陥及び他の問題は、開示されたシステム、方法、及びユーザインタフェースによって低減又は排除される。そのようなシステム、方法、及びインタフェースは、任意選択的に、コンピュータ生成現実体験をユーザに提供するための従来のシステム、方法、及びユーザインタフェースを補完又は置換する。このような方法及びインタフェースは、提供された入力とその入力に対するデバイス応答との間の接続をユーザが理解することを補助することにより、ユーザからの入力の数、程度及び／又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを生成する。
いくつかの実施形態によれば、方法は、第１の表示生成構成要素、１つ以上の音声出力デバイス、及び１つ以上の入力デバイスと通信するコンピュータシステムで実行され、第１の表示生成構成要素を介して、三次元コンピュータ生成環境を表示することと、三次元コンピュータ生成環境を表示している間、第１のコンピュータ生成コンテンツであって、第１の視覚コンテンツと、第１の視覚コンテンツに対応する第１の音声コンテンツとを含む第１のコンピュータ生成コンテンツを提示する要求に対応する第１のイベントを検出することと、第１のコンピュータ生成コンテンツを提示する要求に対応する第１のイベントの検出に応じて、第１のイベントが第１の没入レベルを有する第１のコンピュータ生成コンテンツであって、第１の没入レベルで提示される第１のコンピュータ生成コンテンツが、三次元コンピュータ生成環境の第１の部分を占有する、第１の没入レベルを有する第１のコンピュータ生成コンテンツを提示する個別の要求に対応するという判定に従って、三次元環境の第１の部分内に第１の視覚コンテンツを表示し、第１の音声出力モードを使用して第１の音声コンテンツを出力することと、第１のイベントが、第１の没入レベルとは異なる第２の没入レベルを有する第１のコンピュータ生成コンテンツであって、第２の没入レベルで提示される第１のコンピュータ生成コンテンツが、三次元環境の第１の部分よりも大きい三次元コンピュータ生成環境の第２の部分を占有する、第２の没入レベルを有する第１のコンピュータ生成コンテンツを提示するための個別の要求に対応するという判定に従って、三次元環境の第２の部分内に第１の視覚コンテンツを表示し、第１の音声出力モードとは異なる第２の音声出力モードを使用して第１の音声コンテンツを出力することと、を含み、第１の音声出力モードの代わりに第２の音声出力モードを使用することが、第１の音声コンテンツの没入レベルを変更する、を含む。
いくつかの実施形態によれば、方法は、表示生成構成要素と通信するコンピュータシステムで実行され、表示生成構成要素を介して、コンピュータ生成環境のビューを表示することと、コンピュータ生成環境を表示している間に、かつコンピュータ生成環境が、ユーザが位置している物理的環境内に存在する第１の物理的オブジェクトの第１の部分の視覚的表現を含まない間に、物理的環境内の第１の物理的オブジェクトの第１の動きを検出することと、物理的環境内の第１の物理的オブジェクトの第１の動きの検出に応じて、ユーザが第１の物理的オブジェクトの第１の部分の閾値距離内にあり、第１の物理的オブジェクトが、ユーザからの第１の物理的オブジェクトの距離以外の第１の物理的オブジェクトの予め設定された特性に関する要件を含む予め設定された基準を満たしているという判定に従って、第１の物理的オブジェクトの第２の部分であって、第１の物理的オブジェクトの第１の部分及び物理的オブジェクトの第２の部分が、双方とも、コンピュータ生成環境に対するユーザの視野に基づいて、ユーザにとって潜在的に見える第１の物理的オブジェクトの範囲の一部である、第２の部分に対応するポジションに表示された仮想コンテンツの一部の外観を変更することなく、第１の物理的オブジェクトの第１の部分の現在のロケーションに対応するポジションに表示された仮想コンテンツの一部の外観を変更することと、ユーザがユーザを取り囲む物理的環境内に存在する第１の物理的オブジェクトの閾値距離内にあり、かつ第１の物理的オブジェクトが予め設定された基準を満たしていないという判定に従って、第１の物理的オブジェクトの第１の部分の現在のロケーションに対応するポジションに表示された仮想コンテンツの一部の外観を変更することを取り止めることと、を含む。
いくつかの実施形態によれば、方法は、第１の表示生成構成要素及び１つ以上の入力デバイスと通信するコンピュータシステムで実行され、第１の表示生成構成要素を介して、物理的環境の表現を含む三次元環境を表示することと、物理的環境の表現を含む三次元環境を表示している間、物理的環境の個別の部分に触れているユーザの手を検出することと、ユーザの手が物理的環境の個別の部分に触れていることの検出に応じて、ユーザの手が物理的環境の第１の部分に触れているという判定に従って、物理的環境の第１の部分のスキャンに基づいて識別された物理的環境の第１の部分に対応する三次元環境内のロケーションに第１の視覚効果を表示することと、ユーザの手が物理的環境の第１の部分とは異なる物理的環境の第２の部分に触れているという判定に従って、物理的環境の第２の部分のスキャンに基づいて識別された物理的環境の第２の部分に対応する三次元環境内のロケーションに第２の視覚効果を表示することと、を含む。
いくつかの実施形態によれば、方法は、第１の表示生成構成要素及び１つ以上の入力デバイスと通信するコンピュータシステムで実行され、第１の表示生成構成要素を介して、第１の物理的表面を含む、物理的環境の第１の部分の表現及び第１の仮想コンテンツであって、第１の仮想コンテンツが、物理的環境の第１の部分内の第１の物理的表面のロケーションに対応する三次元環境内のポジションに表示される第１のユーザインタフェースオブジェクトを含む、第１の仮想コンテンツを同時に含む三次元環境のビューを表示することと、三次元環境のビューを表示している間、物理的環境の第１の部分内の第１のロケーションであって、第１の物理的表面と三次元環境のビューに対応する視点との間にある第１のロケーションにおいてユーザの部分を検出することと、物理的環境の第１の部分内の第１のロケーションにおけるユーザの部分の検出に応じて、ユーザの部分の表現が第１のユーザインタフェースオブジェクトの第１の部分を以前に表示したポジションに見えるように、第１のユーザインタフェースオブジェクトの第２の部分の表示を維持している間、第１のユーザインタフェースオブジェクトの第１の部分の表示を停止することと、三次元環境のビューを表示している間、物理的環境の第１の部分内の第１のロケーションから第２のロケーションであって、第１の物理的表面と三次元環境のビューに対応する視点との間にある第２のロケーションへのユーザの部分の動きを検出することと、ユーザの部分の第１のロケーションから第２のロケーションへの動きの検出に応じて、ユーザの部分の表現が第１のユーザインタフェースオブジェクトの第２の部分を以前に表示したポジションに見えるように、第１のユーザインタフェースオブジェクトの第１の部分の表示を復元し、第１のユーザインタフェースオブジェクトの第２の部分の表示を停止することと、を含む。
いくつかの実施形態によれば、コンピュータシステムは、表示生成構成要素（例えば、ディスプレイ、プロジェクタ、ヘッドマウントディスプレイなど）、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的に、タッチ感知面との接触の強度を検出するための１つ以上のセンサ）、任意選択的に１つ以上の触覚出力ジェネレータ、１つ以上のプロセッサ、及び１つ以上のプログラムを記憶するメモリを含むか、又はそれらと通信し、１つ以上のプログラムは、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、本明細書に記載の方法のうちのいずれかの動作を実行する、又は実行させるための命令を含む。いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が、内部に記憶されている命令を有し、命令は、表示生成構成要素と、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的にタッチ感知面との接触の強度を検出する１つ以上のセンサ）と、任意選択的に１つ以上の触知出力ジェネレータと、を有するコンピュータシステムによって実行されるとき、本明細書で説明される方法のいずれかの動作をデバイスに実行させ、又は動作の実行を行わせる。いくつかの実施形態によれば、表示生成構成要素と、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的にタッチ感知面との接触の強度を検出する１つ以上のセンサ）と、任意選択的に１つ以上の触知出力ジェネレータと、メモリと、メモリに記憶されている１つ以上のプログラムを実行する１つ以上のプロセッサと、を有するコンピュータシステムのグラフィカルユーザインタフェースが、本明細書で説明される方法のいずれかにおいて表示される要素のうちの１つ以上を含み、これらの要素は、本明細書で説明される方法のいずれかで説明されるように、入力に応じて更新される。いくつかの実施形態によれば、コンピュータシステムが、表示生成構成要素と、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的にタッチ感知面との接触の強度を検出する１つ以上のセンサ）と、任意選択的に１つ以上の触知出力ジェネレータと、本明細書で説明される方法のいずれかの動作を実行する、又は実行させる手段と、を含む。いくつかの実施形態によれば、表示生成構成要素と、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ）と、任意選択的に１つ以上の触知出力ジェネレータと、を有するコンピュータシステムで使用するための情報処理装置が、本明細書で説明される方法のいずれかの動作を実行する、又は実行させる手段を含む。
したがって、表示生成構成要素を有するコンピュータシステムには、三次元環境と相互作用し、三次元環境と相互作用するときにコンピュータシステムのユーザの使用を簡易化することによって、そのようなコンピュータシステムの有効性、効率、並びにユーザの安全性及び満足度を高める改善された方法及びインタフェースが提供される。そのような方法及びインタフェースは、三次元環境と相互作用し、三次元環境と相互作用するときにコンピュータシステムのユーザの使用を容易にするための従来の方法を補完又は置換してもよい。
前述の様々な実施形態は、本明細書に記載の任意の他の実施形態と組み合わせることができることに留意されたい。本明細書で説明する機能及び利点は、包括的なものではなく、特に、図面、明細書及び特許請求の範囲を鑑みると、多くの追加の機能及び利点が当業者には明らかになるであろう。更に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を画定又は制限するために選択されたものではないことに留意されたい。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
本開示は、いくつかの実施形態による、コンピュータ生成現実（ＣＧＲ）体験をユーザに提供するユーザインタフェースに関する。
本明細書に記載するシステム、方法、及びＧＵＩは、複数の方法で仮想／拡張現実環境とのユーザインタフェース相互作用を改善する。
いくつかの実施形態では、コンピュータシステムは、映画、仮想オフィス、アプリケーション環境、ゲーム、コンピュータ生成体験（例えば、仮想現実体験、拡張現実体験、又は複合現実体験）などのコンピュータ生成コンテンツを表示する。いくつかの実施形態では、コンピュータ生成コンテンツは、三次元環境に表示される。いくつかの実施形態では、コンピュータシステムは、物理的環境からの視覚入力に対する仮想コンテンツからの視覚入力の様々な強調度に対応する複数の没入レベルを有するコンピュータ生成コンテンツの視覚コンポーネントを表示することができる。いくつかの実施形態では、より高い没入レベルは、物理的環境からの視覚入力よりも仮想コンテンツからの視覚入力をより強調することに対応する。同様に、いくつかの実施形態では、コンピュータ生成コンテンツの視覚コンポーネントに付随及び／又は対応するコンピュータ生成コンテンツの音声コンポーネント（例えば、映画におけるサウンドエフェクト及びサウンドトラック；アプリケーション環境における音声アラート、音声フィードバック、及びシステム音；ゲームにおけるサウンドエフェクト、スピーチ、及び音声フィードバック；及び／又はコンピュータ生成体験におけるサウンドエフェクト及び音声フィードバック）は、複数の没入レベルで出力されることができる。いくつかの実施形態では、複数の没入レベルは、任意選択的に、表示生成構成要素を介して表示される仮想コンテンツ内の仮想音源のポジションと、仮想音源の選択された基準フレーム内の仮想音源の知覚されたロケーションとの間の空間的対応の様々な度合いに対応する。いくつかの実施形態では、個別の仮想音源の選択された基準フレームは、物理的環境に基づいており、コンピュータ生成コンテンツの仮想三次元環境に基づいており、コンピュータ生成コンテンツの三次元環境の現在表示されているビューの視点に基づいており、物理的環境における表示生成構成要素のロケーションに基づいており、又は物理的環境におけるユーザのロケーションに基づいている。いくつかの実施形態では、より高い没入レベルは、コンピュータ生成環境における仮想音源のポジションと、コンピュータ生成コンテンツの音声コンポーネントの選択された基準フレーム（例えば、コンピュータ生成体験に描写された三次元環境に基づく基準フレーム、視点のロケーションに基づく基準フレーム、表示生成構成要素のロケーションに基づく基準フレーム、ユーザのロケーションに基づく基準フレームなど）における仮想音源の知覚されたロケーションとの間のより高いレベルの対応関係に対応する。いくつかの実施形態では、コンピュータ生成環境内の仮想音源のポジションと、コンピュータ生成コンテンツの音声コンポーネントの選択された基準フレーム内の音源の知覚されたロケーションとの間のより低いレベルの対応は、仮想音源の知覚されたロケーションと物理的環境内の音声出力デバイスのロケーションとの間のより高いレベルの対応の結果である（例えば、音声は、コンピュータ生成コンテンツの三次元環境における仮想音源のポジションに関係なく、及び／又は視点のロケーション、表示生成構成要素のロケーション、及び／又はユーザのロケーションなどに関係なく、音声出力デバイスのロケーションから到来するように見える）。いくつかの実施形態では、コンピュータシステムは、第１のコンピュータ生成体験を提示する要求に対応する第１のイベントを検出し、コンピュータシステムは、コンピュータ生成体験の視覚コンポーネントが表示生成構成要素を介して表示される没入レベルに従って、コンピュータ生成体験の音声コンポーネントを出力するための音声出力モードを選択する。第１のコンピュータ生成体験の視覚コンテンツの表示に関連付けられたより高い没入レベルで、コンピュータシステムは、対応するより高い没入レベルを有するコンピュータ生成体験の音声コンテンツを提示する音声出力モードを選択する。いくつかの実施形態では、より高い没入レベルを有する視覚コンテンツを表示することは、三次元環境においてより大きい空間的範囲で視覚コンテンツを表示することを含み、対応するより高い没入レベルを有する音声コンテンツを出力することは、空間音声出力モードで音声コンテンツを出力することを含む。いくつかの実施形態では、２つの異なる没入レベルを有する視覚コンテンツの表示を切り替えるとき（例えば、より高いレベルの没入からより低いレベルの没入、より低いレベルの没入からより高いレベルの没入など）、コンピュータシステムはまた、２つの異なる没入レベルを有する音声コンテンツの出力を切り替える（例えば、空間音声出力モードからステレオ音声出力モード、サラウンドサウンド出力モードからステレオ音声出力モード、ステレオ音声出力モードからサラウンドサウンド出力モード、ステレオ音声出力モードから空間音声出力モードなど）。コンピュータ生成コンテンツの視覚コンテンツが表示される没入レベルに従ってコンピュータ生成コンテンツの音声コンポーネントを出力するための適切な音声出力モードを選択することは、コンピュータシステムが、ユーザの期待とより一致するコンピュータ生成体験を提供することを可能にし、ユーザがコンピュータ生成体験に関与しながらコンピュータ生成環境と相互作用するときに混乱を引き起こすことを回避することを可能にする。これは、ユーザの誤りを低減し、コンピュータシステムとのユーザ相互作用をより効率的にすることができる。
いくつかの実施形態では、三次元環境（例えば、仮想現実環境、拡張現実環境など）で仮想コンテンツを表示するとき、物理的環境のビューの全部又は一部は、仮想コンテンツによってブロック又は置換される。場合によっては、物理的オブジェクトの少なくとも一部が三次元環境のビューで視覚的に表されるように、仮想コンテンツよりも物理的環境内の特定の物理的オブジェクトに表示優先度を与えることが有利である。いくつかの実施形態では、コンピュータシステムは、物理的環境における個別の物理的オブジェクトのロケーションが三次元環境における仮想コンテンツの部分のポジションに対応するときに、個別の物理的オブジェクトの表現が三次元環境において現在表示されている仮想コンテンツの部分を破ることができるように、個別の物理的オブジェクトに表示優先度を与えるべきかどうかを判定するための様々な基準を利用する。いくつかの実施形態では、基準は、物理的オブジェクトの少なくとも一部が、表示生成構成要素のユーザ（例えば、表示生成構成要素を介して仮想コンテンツを視聴しているユーザ、物理的オブジェクトの一部のビューが仮想コンテンツの表示によってブロック又は置換されるユーザなど）を取り囲む閾値空間領域に接近して進入したという要件と、コンピュータシステムが、物理的オブジェクトの高まった重要性をユーザに示す、物理的オブジェクトに関する１つ以上の特性の存在を検出するという追加の要件とを含む。いくつかの実施形態では、ユーザにとって重要性が高められた物理的オブジェクトは、ユーザの友人又は家族、ユーザのチームメンバ又は監督者、ユーザのペットなどであってもよい。いくつかの実施形態では、ユーザにとって重要性が高められた物理的オブジェクトは、緊急事態に対処するためにユーザの注意を必要とする人又はオブジェクトであってもよい。いくつかの実施形態では、ユーザにとってより重要な物理的オブジェクトは、ユーザが逃さない行動をとるためにユーザの注意を必要とする人又はオブジェクトであってもよい。基準は、ユーザのニーズ及び要望に基づいてユーザによって、及び／又はコンテキスト情報（例えば、時間、ロケーション、スケジュールされたイベントなど）に基づいてシステムによって調整可能である。いくつかの実施形態では、仮想コンテンツよりも重要な物理的オブジェクトに表示優先度を与え、三次元環境のビューにおいて物理的オブジェクトの少なくとも一部を視覚的に表現することは、仮想コンテンツの一部の表示を物理的オブジェクトの一部の表現に置換すること、又は物理的オブジェクトの一部の外観に従って仮想コンテンツの一部の外観を変更することを含む。いくつかの実施形態では、物理的オブジェクトの少なくとも一部は、物理的オブジェクトの部分のロケーションに対応するポジションが、表示生成構成要素によって提供される視野内に見える場合であっても（例えば、ポジションは仮想コンテンツによって現在占有されている）、三次元環境のビューに視覚的に表されず、仮想コンテンツの表示によってブロック又は置換されたままである。いくつかの実施形態では、物理的オブジェクトの存在を示すように変更された三次元環境の部分、及び物理的オブジェクトの存在を示すように変更されていない三次元環境の部分（例えば、三次元環境の部分は、コンピュータ生成体験の進行、及び／又は三次元環境とのユーザ相互作用などに基づいて変化し続けることができる）は、仮想オブジェクト又は表面の連続部分上のポジションに対応する。重要な物理的オブジェクトの少なくとも一部が仮想コンテンツの表示を破り、物理的オブジェクトの一部のロケーションに対応するポジションに視覚的に表されることを可能にする一方で、物理的オブジェクトの少なくとも一部が仮想コンテンツによって視覚的に隠されたままで、物理的オブジェクトがユーザにとって重要度が高められた物理的オブジェクトを識別するための予め設定された基準を満たし、物理的オブジェクトがユーザを取り囲む予め設定された空間領域に入ったという判定に従って、ユーザが関与するコンピュータ生成体験を完全に中止することなく、かつユーザにとって重要度がほとんどない物理的オブジェクト（例えば、転がるボール、通行人など）がコンピュータ生成体験を中断することを無差別に可能にすることなく、物理的オブジェクトを知覚し、物理的オブジェクトと相互作用する機会をユーザに提供する。これは、ユーザの体験を改善し、ユーザからの入力の数、程度、及び／又は性質を低減して所望の結果（例えば、物理的に妨害された、又は物理的オブジェクトに触れたときにコンピュータ生成体験を手動で中止すること、不必要に中断された後にコンピュータ生成体験を手動で再起動することなど）を達成し、それによってより効率的なヒューマン－マシンインタフェースを作成する。
いくつかの実施形態では、コンピュータシステムは、物理的環境の表現を含む三次元環境を表示する要求に応じて（例えば、ユーザがヘッドマウントディスプレイを装着したことに応じて、拡張現実環境を開始するユーザの要求に応じて、仮想現実体験を終了するユーザの要求に応じて、ユーザが低電力状態から表示生成構成要素をオンにするかウェイクアップすることに応じてなど）、物理的環境の表現を表示する。いくつかの実施形態では、コンピュータシステムは、物理的環境のスキャンを開始して、物理的環境内のオブジェクト及び表面を識別し、任意選択的に、物理的環境内の識別されたオブジェクト及び表面に基づいて物理的環境の三次元又は擬似三次元モデルを構築する。いくつかの実施形態では、コンピュータシステムは、三次元環境を表示する要求（例えば、物理的環境がコンピュータシステムによって以前にスキャンされ特徴付けられていない場合、又は（例えば、最後のスキャンが閾値時間を超えて前に実行された、物理的環境が変化したなど）満たされている予め設定された再スキャン基準に基づいて再スキャンがユーザ又はシステムによって要求された場合など）を受信したことに応じて、物理的環境のスキャンを開始する。いくつかの実施形態では、コンピュータシステムは、物理的環境の一部（例えば、物理的表面、物理的オブジェクトなど）に触れているユーザの手を検出したことに応じてスキャンを開始する。いくつかの実施形態では、コンピュータシステムは、物理的環境の一部に対応するポジションに向けられたユーザの視線が予め設定された安定性及び／又は持続時間基準を満たすことの検出に応じてスキャンを開始する。いくつかの実施形態では、コンピュータシステムは、スキャンの進捗及び結果に関する視覚フィードバックを表示する（例えば、物理的環境において、物理的オブジェクト及び表面の識別、物理的オブジェクト及び表面の物理的及び空間的特性の決定など）。いくつかの実施形態では、視覚フィードバックは、ユーザの手によって触れられ、物理的環境の一部のスキャンに基づいて識別された物理的環境の一部に対応する三次元環境の個別の部分に個別の視覚効果を表示することを含む。いくつかの実施形態では、視覚効果は、三次元環境の個別の部分から拡張し、及び／又は三次元環境の個別の部分から伝播する動きの表現を含む。いくつかの実施形態では、コンピュータシステムは、物理的環境の個別の部分に触れるユーザの手の検出に応じて視覚効果を表示し、三次元環境は、三次元環境を表示するための以前の要求に応じて、物理的環境のスキャンが完了した後に表示される。いくつかの実施形態では、物理的環境の一部へのユーザのタッチのロケーションに対応するポジションに物理的環境のスキャンの進捗及び結果を示す視覚効果を表示することは、コンピュータが仮想オブジェクト及び仮想表面を表示及び固定するために使用する空間環境をユーザが視覚化するのに役立ち、ユーザと空間環境との間のその後の相互作用を容易にする。これは、相互作用をより効率的にし、入力ミスを減少させ、より効率的なヒューマン－マシンインタフェースを作成する。いくつかの実施形態では、物理的環境の一部とのユーザの接触のロケーションは、物理的環境の三次元モデルを生成し、スキャンに基づいて表面及びオブジェクトの境界を識別するためのより正確な境界条件を提供するためにコンピュータシステムによって利用され、仮想オブジェクトの表示を三次元環境においてより正確かつシームレスにする。
いくつかの実施形態では、コンピュータシステムは、三次元環境で相互作用ユーザインタフェースオブジェクトを表示する。コンピュータシステムはまた、三次元環境内の物理的環境の表現を表示し、相互作用ユーザインタフェースオブジェクトは、物理的環境内の異なるロケーションに対応する三次元環境内の様々なポジションに対する個別の空間的関係を有する。ユーザがタッチ入力及び／又はジェスチャ入力を通じてユーザの手の１本以上の指又は手全体などのユーザの手の一部と三次元環境と相互作用するとき、ユーザの手及び場合によっては手に接続された手首及び腕を含むユーザの部分は、ユーザインタフェースオブジェクトのポジションに対応するロケーション（例えば、物理的オブジェクト又は物理的表面のロケーション、物理的環境内の自由空間内のロケーションなど）と三次元環境の現在表示されているビューの視点に対応するロケーション（例えば、ユーザの目のロケーション、表示生成構成要素のロケーション置、三次元環境に示される物理的環境のビューをキャプチャするカメラのロケーションなど）との間の空間領域に入ることができる。コンピュータシステムは、ユーザの手のロケーションと、ユーザインタフェースオブジェクトのポジションに対応するロケーションと、視点に対応するロケーションとの間の空間的関係に基づいて、ユーザインタフェースオブジェクトのどの部分がユーザの部分によって視覚的にブロックされ、ユーザインタフェースオブジェクトのどの部分が、視点のロケーションからユーザによって見られたときにユーザの部分によって視覚的にブロックされないかを判定する。そして、コンピュータシステムは、（例えば、コンピュータシステムによって判定されるように）ユーザの部分によって視覚的にブロックされるであろうユーザインタフェースオブジェクトの個別の部分の表示を停止し、代わりに、（例えば、コンピュータシステムによって判定されるように）ユーザの部分によって視覚的にブロックされないであろうユーザインタフェースオブジェクトの別の部分の表示を維持しながら、ユーザインタフェースオブジェクトの個別の部分のポジションにおいてユーザの部分の表現を見ることを可能にする。いくつかの実施形態では、（例えば、表示生成構成要素の動き、物理的環境をキャプチャするカメラの動き、ユーザの頭又は胴体の動きなどに起因する）ユーザの部分の動き又は視点の動きの検出に応じて、コンピュータシステムは、ユーザの部分、視点に対応するロケーション、及びユーザインタフェースオブジェクトのポジションに対応するロケーションの間の新たな空間的関係に基づいて、ユーザインタフェースオブジェクトのどの部分がユーザの部分によって視覚的にブロックされ、ユーザインタフェースオブジェクトのどの部分が、ユーザによって視点のロケーションから見たときにユーザの部分によって視覚的にブロックされないかを再評価する。そして、コンピュータシステムは、（例えば、コンピュータシステムによって判定されるように）ユーザの部分によって視覚的にブロックされることになるユーザインタフェースオブジェクトの他の部分の表示を停止し、先に表示されるのが停止されたユーザインタフェースオブジェクトの一部が三次元環境のビューに復元されることを可能にする。ユーザインタフェースオブジェクトを複数の部分に視覚的にセグメント化し、ユーザインタフェースオブジェクトの１つ以上の部分の表示を、ユーザインタフェースオブジェクトのポジションに対応するロケーションと三次元環境の現在表示されているビューの視点に対応するロケーションとの間の空間領域に入ったユーザの部分の表現によって置換することは、ユーザが自分の手に対するユーザインタフェースオブジェクトの配置ロケーションを視覚化及び感知するのに役立ち、三次元環境におけるユーザとユーザインタフェースオブジェクトとの間の相互作用を容易にする。これは、相互作用をより効率的にし、入力ミスを減少させ、より効率的なヒューマン－マシンインタフェースを作成する。
図１～図６は、ＣＧＲ体験をユーザに提供するための例示的なコンピュータシステムを説明する。図７Ａ～図７Ｂは、いくつかの実施形態による、コンピュータ生成コンテンツが提示される没入レベルに従って異なる音声出力モードを選択することを示すブロック図である。図７Ｃ～図７Ｈは、いくつかの実施形態による、重要な物理的オブジェクトが表示生成構成要素又は表示生成構成要素のユーザのロケーションに近付くときに仮想コンテンツの一部の外観を変更することを示すブロック図である。図７Ｉ～図７Ｎは、いくつかの実施形態による、物理的環境の一部のスキャンに基づいて識別された物理的環境の一部に対応する三次元環境内の領域に視覚効果を適用することを示すブロック図である。図７Ｏ～図７Ｑは、いくつかの実施形態による、物理的環境の第１の部分に対応する三次元環境内のポジションに相互作用ユーザインタフェースオブジェクトを表示し、物理的環境の第１の部分と三次元環境の現在表示されているビューの視点に対応するロケーションとの間の空間内を移動するユーザの部分のロケーションに従ってユーザインタフェースオブジェクトの個別の下位部分の表示を選択的に取り止めることを示すブロック図である。図７Ａ～図７Ｑのユーザインタフェースは、図８～図１１のプロセスそれぞれを例示するために使用される。
いくつかの実施形態では、図１に示されるように、ＣＧＲ体験は、コンピュータシステム１０１を含む動作環境１００を介してユーザに提供される。コンピュータシステム１０１は、コントローラ１１０（例えば、ポータブル電子デバイス又はリモートサーバのプロセッサ）と、表示生成構成要素１２０（例えば、ヘッドマウントデバイス（ＨＭＤ）、ディスプレイ、プロジェクタ、タッチスクリーンなど）と、１つ以上の入力デバイス１２５（例えば、アイトラッキングデバイス１３０、ハンドトラッキングデバイス１４０、他の入力デバイス１５０）と、１つ以上の出力デバイス１５５（例えば、スピーカ１６０、触知出力ジェネレータ１７０、及び他の出力デバイス１８０）と、１つ以上のセンサ１９０（例えば、画像センサ、光センサ、深度センサ、触覚センサ、配向センサ、近接センサ、温度センサ、ロケーションセンサ、運動センサ、速度センサなど）と、任意選択的に１つ以上の周辺デバイス１９５（例えば、家電製品、ウェアラブルデバイスなど）と、を含む。いくつかの実施形態では、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び周辺デバイス１９５のうちの１つ以上は、（例えば、ヘッドマウントデバイス又はハンドヘルドデバイス内で）表示生成構成要素１２０と統合される。
ＣＧＲ体験を説明するとき、ユーザが感知する、及び／又は（例えば、ＣＧＲ体験を生成するコンピュータシステムに、ＣＧＲ体験を生成するコンピュータシステム１０１に提供される様々な入力に対応するオーディオ、視覚、及び／又は触覚フィードバックを生成させる、コンピュータシステム１０１によって検出された入力を用いて）ユーザが相互作用することができる、いくつかの関連するが、別個の環境に個別的に言及するために様々な用語が使用される。以下は、これらの用語のサブセットである。
物理的環境：物理的環境とは、人々が電子システムの助けなしに、感知及び／又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び嗅覚などを介して、物理的環境を直接感知し、及び／又はそれと相互作用することができる。
コンピュータ生成現実：対照的に、コンピュータ生成現実（ＣＧＲ）環境とは、人々が電子システムを介して感知及び／又は相互作用する、全体的又は部分的に模倣された環境を指す。ＣＧＲでは、人の身体運動のサブセット又はその表現が追跡され、それに応答して、ＣＧＲ環境内でシミュレートされた１つ以上の仮想オブジェクトの１つ以上の特性が、少なくとも１つの物理学の法則でふるまうように調節される。例えば、ＣＧＲシステムは、人の頭部の回転を検出し、それに応答して、そのようなビュー及び音が物理的環境においてどのように変化するかと同様の方法で、人に提示されるグラフィックコンテンツ及び音場を調節することができる。状況によっては（例えば、アクセス性の理由から）、ＣＧＲ環境における仮想オブジェクト（単数又は複数）の特性（単数又は複数）に対する調節は、身体運動の表現（例えば、音声コマンド）に応答して行われてもよい。人は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか１つを使用して、ＣＧＲオブジェクトを感知し、かつ／又はＣＧＲオブジェクトと相互作用してもよい。例えば、人は、３Ｄ空間において点音源の知覚を提供する、３Ｄ又は空間音声環境を作り出す音声オブジェクトを感知し、かつ／又はそれと相互作用することができる。別の例では、オーディオオブジェクトによって、コンピュータ生成オーディオを含めて、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性が可能になり得る。いくつかのＣＧＲ環境では、人は、オーディオオブジェクトのみを感知し、かつ／又はそれのみと相互作用してもよい。
ＣＧＲの例としては、仮想現実及び複合現実が挙げられる。
仮想現実：仮想現実（ＶＲ）環境とは、１つ以上の感覚について、コンピュータ生成感覚入力に全面的に基づくように設計された模倣環境を指す。ＶＲ環境は、人が感知かつ／又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人は、コンピュータ生成環境内に人が存在することのシミュレーションを通じて、かつ／又はコンピュータ生成環境内での人の身体運動のサブセットのシミュレーションを通じて、ＶＲ環境における仮想オブジェクトを感知し、かつ／又はそれと相互作用することができる。
複合現実：複合現実（ＭＲ）環境とは、コンピュータ生成感覚入力に全面的に基づくように設計されたＶＲ環境とは対照的に、コンピュータ生成感覚入力（例えば、仮想オブジェクト）を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計された模倣環境を指す。仮想の連続体上では、複合現実環境は、一方の端部における完全な物理的環境と、他方の端部における仮想現実環境との間であるがこれらを含まない、任意の場所である。いくつかのＭＲ環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変更に応答し得る。また、ＭＲ環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト（即ち、物理的環境からの物理的物品又はその表現）と相互作用することを可能にするために、物理的環境に対するロケーション及び／又は配向を追跡してもよい。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、動きを考慮することができる。
複合現実の例としては、拡張現実及び拡張仮想が挙げられる。
拡張現実：拡張現実（ＡＲ）環境とは、１つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ねられた模倣環境を指す。例えば、ＡＲ環境を提示するための電子システムは、人が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイに仮想オブジェクトを提示するように構成されていてもよく、それによって、人はシステムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又は動画をキャプチャする１つ以上の撮像センサとを有してもよい。システムは、画像又は動画を仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人はこのシステムを使用して、物理的環境を、物理的環境の画像又は動画によって間接的に見て、物理的環境に重ね合わされた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境の動画は、「パススルービデオ」と呼ばれ、システムが、１つ以上の画像センサ（単数又は複数）を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にＡＲ環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムが仮想オブジェクトを、例えば、ホログラムとして物理的環境の中に、又は物理的表面に投影するプロジェクションシステムを有してもよく、それによって、人はシステムを使用して、物理的環境に重ね合わされた仮想オブジェクトを知覚する。拡張現実環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換されるシミュレーション環境を指す。例えば、パススルービデオを提供する際に、システムは、１つ以上のセンサ画像を、イメージセンサがキャプチャした透視図とは別の選択された透視図（例えば、視点）を面付けするように変形してもよい。別の例として、物理的環境の表現を、その一部分をグラフィカルに変更（例えば、拡大）することによって変形してもよく、それにより、変更された部分を、元のキャプチャ画像を表すが非写実的な、改変版にすることもできる。更なる例として、物理的環境の表現は、その一部分をグラフィカルに除去又は不明瞭化することによって変形されてもよい。
拡張仮想：拡張仮想（ＡＶ）環境とは、仮想環境又はコンピュータ生成環境が物理的環境から１つ以上の感覚入力を組み込んだ模倣環境を指す。感覚入力は、物理的環境の１つ以上の特性の表現であり得る。例えば、ＡＶの公園には仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、１つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽のポジションと一致する影を採用することができる。
ハードウェア：人が様々なＣＧＲ環境を感知し、及び／又はそれと相互作用することを可能にする、多くの異なるタイプの電子システムが存在する。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ（heads-up displays、ＨＵＤ）、統合表示機能を有する車両ウィンドシールド、統合表示機能を有する窓、（例えば、コンタクトレンズと同様に）人の目の上に配置されるように設計されたレンズとして形成されたディスプレイ、ヘッドホン／イヤフォン、スピーカアレイ、入力システム（例えば、触覚フィードバックを有する又は有さない、装着型コントローラ又はハンドヘルドコントローラ）、スマートフォン、タブレット、及びデスクトップ／ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、１つ以上のスピーカ（単数又は複数）及び一体型不透明ディスプレイを有してもよい。あるいは、ヘッドマウントシステムは、外部の不透明ディスプレイ（例えば、スマートフォン）を受容するように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像もしくは動画をキャプチャするための１つ以上の撮像センサ、及び／又は物理的環境のオーディオをキャプチャするための１つ以上のマイクロフォンを組み込んでいてもよい。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、ＯＬＥＤ、ＬＥＤ、ｕＬＥＤ、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィカル画像を人の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、仮想オブジェクトを、例えば、ホログラムとして、又は物理的表面として物理的環境に投影するように構成されてもよい。いくつかの実施形態では、コントローラ１１０は、ユーザのＣＧＲ体験を管理及び調整するように構成される。いくつかの実施形態では、コントローラ１１０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。コントローラ１１０については、図２を参照して以下により詳細に記載する。いくつかの実施形態では、コントローラ１１０は、シーン１０５（例えば、物理的設定／環境）に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ１１０は、シーン１０５内に位置するローカルサーバである。別の例では、コントローラ１１０は、シーン１０５の外側に位置するリモートサーバ（例えば、クラウドサーバ、中央サーバなど）である。いくつかの実施形態では、コントローラ１１０は、１つ以上の有線又は無線通信チャネル１４４（例えば、ＢＬＵＥＴＯＯＴＨ、ＩＥＥＥ８０２．１１ｘ、ＩＥＥＥ８０２．１６ｘ、ＩＥＥＥ８０２．３ｘなど）を介して、表示生成構成要素１２０（例えば、ＨＭＤ、ディスプレイ、プロジェクタ、タッチスクリーンなど）と通信可能に結合される。別の例では、コントローラ１１０は、表示生成構成要素１２０（例えば、ＨＭＤ、又はディスプレイ及び１つ以上のプロセッサなどを含むポータブル電子デバイス）、入力デバイス１２５のうちの１つ以上、出力デバイス１５５のうちの１つ以上、センサ１９０のうちの１つ以上、及び／又は周辺デバイス１９５のうちの１つ以上の筐体（例えば、物理的ハウジング）内に含まれる、又は上記のうちの１つ以上と同じ物理的筐体又は支持構造を共有する。
いくつかの実施形態では、表示生成構成要素１２０は、ＣＧＲ体験（例えば、ＣＧＲ体験の少なくとも視覚的構成要素）をユーザに提供するように構成される。いくつかの実施形態では、表示生成構成要素１２０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。表示生成構成要素１２０について、図３を参照して以下により詳細に説明する。いくつかの実施形態では、コントローラ１１０の機能は、表示生成構成要素１２０によって提供される、及び／又は表示生成構成要素１２０と組み合わされる。
いくつかの実施形態によれば、表示生成構成要素１２０は、ユーザがシーン１０５内に仮想的及び／又は物理的に存在している間に、ＣＧＲ体験をユーザに提供する。
いくつかの実施形態では、表示生成構成要素は、ユーザの身体の一部（例えば、自身の頭部や自身の手など）に装着される。したがって、表示生成構成要素１２０は、ＣＧＲコンテンツを表示するために提供された１つ以上のＣＧＲディスプレイを含む。例えば、様々な実施形態では、表示生成構成要素１２０は、ユーザの視野を包囲する。いくつかの実施形態では、表示生成構成要素１２０は、ＣＧＲコンテンツを提示するように構成されたハンドヘルドデバイス（スマートフォン又はタブレットなど）であり、ユーザは、ユーザの視野に向けられるディスプレイ及びシーン１０５に向けられるカメラを備えたデバイスを保持する。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの頭部に装着された筐体内に配置される。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの前の支持体（例えば、三脚）上に配置される。いくつかの実施形態では、表示生成構成要素１２０は、ユーザが表示生成構成要素１２０を着用又は保持しない状態でＣＧＲコンテンツを提示するように構成されたＣＧＲチャンバ、筐体、又は部屋である。ＣＧＲコンテンツ（例えば、ハンドヘルドデバイス又は三脚上のデバイス）を表示するための１つのタイプのハードウェアを参照して説明される多くのユーザインタフェースは、ＣＧＲコンテンツ（例えば、ＨＭＤ又は他のウェアラブルコンピューティングデバイス）を表示するための別のタイプのハードウェア上に実施され得る。例えば、ハンドヘルド又は三脚搭載デバイスの前の空間内で起こる相互作用に基づいてトリガされるＣＧＲコンテンツとの相互作用を示すユーザインタフェースは、相互作用がＨＭＤの前の空間で発生し、ＣＧＲコンテンツの応答がＨＭＤを介して表示されるＨＭＤと同様に実施され得る。同様に、物理的環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するハンドヘルド又は三脚搭載デバイスの移動に基づいてトリガされたＣＧＲコンテンツとの相互作用を示すユーザインタフェースは、物理的環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するＨＭＤの移動によって引き起こされるＨＭＤと同様に実施され得る。
動作環境１００の関連する特徴が図１に示されているが、当業者は、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないように、簡潔化のための様々な他の特徴が示されていないことを、本開示から理解されよう。
図２は、いくつかの実施形態による、コントローラ１１０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのため、非限定的な例として、いくつかの実施形態では、コントローラ１１０は、１つ以上の処理ユニット２０２（例えば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス２０６、１つ以上の通信インタフェース２０８（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、グローバル移動通信システム（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、グローバル測位システム（ＧＰＳ）、赤外線（ＩＲ）、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース２１０、メモリ２２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス２０４を含む。
いくつかの実施形態では、１つ以上の通信バス２０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス２０６は、キーボード、マウス、タッチパッド、ジョイスティック、１つ以上のマイクロフォン、１つ以上のスピーカ、１つ以上の画像センサ、１つ以上のディスプレイなどのうちの少なくとも１つを含む。
メモリ２２０は、ダイナミックランダムアクセスメモリ（dynamic random-access memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（static random-access memory、ＳＲＡＭ）、ダブルデータレートランダムアクセスメモリ（double-data-rate random-access memory、ＤＤＲＲＡＭ）、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ２２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ２２０は、１つ以上の処理ユニット２０２から遠隔に位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ２２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ２２０、又はメモリ２２０の非一時的コンピュータ可読記憶媒体は、任意選択的なオペレーティングシステム２３０及びＣＧＲ体験モジュール２４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム２３０は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、ＣＧＲ体験モジュール２４０は、１人以上のユーザに対する１つ以上のＣＧＲ体験（例えば、１人以上のユーザに対する単一のＣＧＲ体験、又は１人以上のユーザのそれぞれのグループに対する複数のＣＧＲ体験）を管理及び調整するように構成されている。その目的で、様々な実施形態では、ＣＧＲ体験モジュール２４０は、データ取得ユニット２４２、トラッキングユニット２４４、調整ユニット２４６、及びデータ送信ユニット２４８を含む。
いくつかの実施形態では、データ取得ユニット２４２は、データ（例えば、提示データ、相互作用データ、センサデータ、ロケーションデータなど）を、少なくとも、図１の表示生成構成要素１２０、及び任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上から取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット２４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、トラッキングユニット２４４は、シーン１０５をマッピングし、図１のシーン１０５に対する少なくとも表示生成構成要素１２０、及び任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上のポジション／ロケーションを追跡するように構成される。その目的で、様々な実施形態では、トラッキングユニット２４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実施形態では、トラッキングユニット２４４は、ハンドトラッキングユニット２４５及び／又はアイトラッキングユニット２４３を含む。いくつかの実施形態では、ハンドトラッキングユニット２４５は、図１のシーン１０５に対する、表示生成構成要素１２０に対する、及び／又はユーザの手に対して定義された座標系に対する、ユーザの手の１つ以上の部分のポジション／ロケーション、及び／又はユーザの手の１つ以上の部分の運動を追跡するように構成される。ハンドトラッキングユニット２４５は、図４に関して以下により詳細に説明される。いくつかの実施形態では、アイトラッキングユニット２４３は、シーン１０５に対する（例えば、物理的環境及び／又はユーザ（例えば、ユーザの手）に対する）、又は表示生成構成要素１２０を介して表示されるＣＧＲコンテンツに対する、ユーザの視線（又は、より広範にはユーザの目、顔、又は頭部）のポジション及び動きを追跡するように構成される。アイトラッキングユニット２４３について、図５に関して以下でより詳細に説明する。
いくつかの実施形態では、調整ユニット２４６は、表示生成構成要素１２０によって、及び任意選択的に、出力デバイス１５５及び／又は周辺デバイス１９５のうちの１つ以上によって、ユーザに提示されるＣＧＲ体験を管理及び調整するように構成される。その目的で、様々な実施形態において、調整ユニット２４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット２４８は、データ（例えば、提示データ、ロケーションデータなど）を少なくとも表示生成構成要素１２０、及び任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上に送信するように構成される。その目的で、様々な実施形態では、データ送信ユニット２４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット２４２、トラッキングユニット２４４（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４５を含む）、調整ユニット２４６、及びデータ送信ユニット２４８が、単一のデバイス（例えば、コントローラ１１０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット２４２、トラッキングユニット２４４（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４５を含む）、調整ユニット２４６、及びデータ送信ユニット２４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図２は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図２に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では１つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。
図３は、いくつかの実施形態による、表示生成構成要素１２０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実施形態では、ＨＭＤ１２０には、１つ以上の処理ユニット３０２（例えば、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ、ＣＰＵ、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス及びセンサ３０６、１つ以上の通信インタフェース３０８（例えば、ＵＳＢ、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、ＧＳＭ、ＣＤＭＡ、ＴＤＭＡ、ＧＰＳ、赤外線、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、及び／又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース３１０、１つ以上のＣＧＲディスプレイ３１２、１つ以上の任意選択の内向き及び／又は外向き画像センサ３１４、メモリ３２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス３０４、が含まれる。
いくつかの実施形態では、１つ以上の通信バス３０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス及びセンサ３０６は、慣性測定装置（ＩＭＵ）、加速度計、ジャイロスコープ、温度計、１つ以上の生理的センサ（例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、血糖センサなど）、１つ以上のマイクロフォン、１つ以上のスピーカ、触覚エンジン、１つ以上の深度センサ（例えば、構造化光、飛行時間など）などのうちの少なくとも１つを含む。
いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ユーザにＣＧＲ体験を提供するように構成される。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ホログラフィック、デジタル光処理（ＤＬＰ）、液晶ディスプレイ（ＬＣＤ）、液晶オンシリコン（ＬＣｏＳ）、有機発光電界効果トランジスタ（ＯＬＥＴ）、有機発光ダイオード（ＯＬＥＤ）、表面伝導型電子放射素子ディスプレイ（ＳＥＤ）、電界放射ディスプレイ（ＦＥＤ）、量子ドット発光ダイオード（ＱＤ－ＬＥＤ）、ＭＥＭＳ、及び／又は同様のディスプレイタイプに相当する。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、回折、反射、偏光、ホログラフィックなどの、導波管ディスプレイに相当する。例えば、ＨＭＤ１２０は、単一のＣＧＲディスプレイを含む。別の実施例では、ＨＭＤ１２０は、ユーザの各目用のＣＧＲディスプレイを含む。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。
いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの目を含むユーザの顔の少なくとも一部に対応する画像データを取得するように構成される（及び、アイトラッキングカメラと称する場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの手（単数又は複数）及び任意選択的にユーザの腕（単数又は複数）の少なくとも一部に対応する画像データを取得するように構成される（及び、ハンドトラッキングカメラと称される場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、ＨＭＤ１２０が存在しない場合に、ユーザが視認するシーンに対応する画像データを取得するように前方を向くように構成される（及び、シーンカメラと称される場合がある）。１つ以上の任意選択的な画像センサ３１４は、（例えば、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ若しくは電荷結合デバイス（ＣＣＤ）画像センサを備えた）１つ以上のＲＧＢカメラ、１つ以上の赤外線（ＩＲ）カメラ、１つ以上のイベントベースのカメラ、及び／又は同様のもの、を含むことができる。
メモリ３２０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ３２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３２０は、１つ以上の処理ユニット３０２から遠隔に位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ３２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ３２０、又はメモリ３２０の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム３３０及びＣＧＲ提示モジュール３４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム３３０は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、ＣＧＲ提示モジュール３４０は、１つ以上のＣＧＲディスプレイ３１２を介してＣＧＲコンテンツをユーザに提示するように構成される。その目的で、様々な実施形態では、ＣＧＲ提示モジュール３４０は、データ取得ユニット３４２、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８を含む。
いくつかの実施形態では、データ取得ユニット３４２は、少なくとも図１のコントローラ１１０からデータ（例えば、提示データ、相互作用データ、センサデータ、ロケーションデータなど）を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット３４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、ＣＧＲ提示ユニット３４４は、１つ以上のＣＧＲディスプレイ３１２を介してＣＧＲコンテンツを提示するように構成される。その目的で、様々な実施形態では、ＣＧＲ提示ユニット３４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、ＣＧＲマップ生成ユニット３４６は、メディアコンテンツデータに基づいて、ＣＧＲマップ（例えば、複合現実シーンの３Ｄマップ又はコンピュータ生成オブジェクトを配置することができる物理的環境のマップ）を生成するように構成される。その目的で、様々な実施形態では、ＣＧＲマップ生成ユニット３４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット３４８は、少なくともコントローラ１１０、及び任意選択的に入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上にデータ（例えば、提示データ、ロケーションデータなど）を伝送するように構成される。その目的で、様々な実施形態では、データ送信ユニット３４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット３４２は、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８は、単一のデバイス（例えば、図１の表示生成構成要素１２０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット３４２、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図３は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実装形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図３に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では１つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。
図４は、ハンドトラッキングデバイス１４０の例示的な実施形態の概略図である。いくつかの実施形態では、ハンドトラッキングデバイス１４０（図１）は、ハンドトラッキングユニット２４５（図２）によって制御されて、ユーザの手の１つ以上の部分のポジション／ロケーション、及び／又は図１のシーン１０５に対する（例えば、ユーザを取り囲む物理的環境の部分に対する、表示生成構成要素１２０に対する、又はユーザの部分（例えば、ユーザの顔、目、若しくは頭部）に対する、及び／又はユーザの手に対して定義された座標系に対するユーザの手の１つ以上の部分の動きを追跡する。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成構成要素１２０の一部である（例えば、ヘッドマウントデバイスに埋め込まれる、又はヘッドマウントデバイスに取り付けられる）。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成構成要素１２０とは別個である（例えば、別個のハウジング内に位置する、又は別個の物理的支持構造に取り付けられる）。
いくつかの実施形態では、ハンドトラッキングデバイス１４０は、人間のユーザの少なくとも手４０６を含む三次元シーン情報をキャプチャする画像センサ４０４（例えば、１つ以上のＩＲカメラ、３Ｄカメラ、深度カメラ、及び／又はカラーカメラなど）を含む。画像センサ４０４は、指及びそれらのそれぞれのポジションを区別するのを可能にするのに十分な解像度で手画像をキャプチャする。画像センサ４０４は、典型的には、ユーザの身体の他の部分の画像、又は身体の全ての画像をキャプチャし、ズーム機能又は高倍率を有する専用センサのいずれかを有して、所望の解像度で手の画像をキャプチャすることができる。いくつかの実施形態では、画像センサ４０４はまた、手４０６の２Ｄカラービデオ画像及びシーンの他の要素をキャプチャする。いくつかの実施形態では、画像センサ４０４は、シーン１０５の物理的環境をキャプチャする他の画像センサと併せて使用される、又はシーン１０５の物理的環境をキャプチャする画像センサとして機能する。いくつかの実施形態では、画像センサ４０４は、画像センサ又はその一部の視野が使用されて、画像センサによってキャプチャされた手の移動がコントローラ１１０への入力として処理される相互作用空間を定義するように、ユーザ又はユーザの環境に対して位置決めされる。
いくつかの実施形態では、画像センサ４０４は、３Ｄマップデータ（及び場合によってはカラー画像データ）を含むフレームのシーケンスをコントローラ１１０に出力し、これにより、マップデータから高レベル情報を抽出する。この高レベル情報は、典型的には、アプリケーションプログラムインタフェース（ＡＰＩ）を介して、コントローラ上で実行されるアプリケーションに提供され、それに応じて表示生成構成要素１２０を駆動する。例えば、ユーザは、手４０８を移動させ、手の姿勢を変更することによって、コントローラ１１０上で動作するソフトウェアと相互作用してもよい。
いくつかの実施形態では、画像センサ４０４は、手４０６を含むシーン上にスポットパターンを投射し、投射されたパターンの画像をキャプチャする。いくつかの実施形態では、コントローラ１１０は、パターンのスポットの横方向シフトに基づいて、三角測量によって（ユーザの手の表面上の点を含む）シーン内の点の３Ｄ座標を計算する。このアプローチは、ユーザが任意の種類のビーコン、センサ、又は他のマーカを保持又は着用する必要がないという点で有利である。これは、画像センサ４０４からの特定の距離で、所定の基準面に対するシーン内の点の深度座標を与える。本開示では、画像センサ４０４は、シーン内の点の深度座標が画像センサによって測定されたｚ成分に対応するように、直交する一連のｘ、ｙ、ｚ軸を定義すると想定される。あるいは、ハンドトラッキングデバイス４４０は、単一又は複数のカメラ又は他のタイプのセンサに基づいて、立体撮像又は飛行時間測定などの他の３Ｄマッピング方法を使用することができる。
いくつかの実施形態では、ハンドトラッキングデバイス１４０は、ユーザが手（例えば、手全体又は１本以上の指）を移動させている間、ユーザの手を含む深度マップの時間シーケンスをキャプチャし処理する。画像センサ４０４及び／又はコントローラ１１０内のプロセッサ上で動作するソフトウェアは、３Ｄマップデータを処理して、これらの深度マップ内の手のパッチ記述子を抽出する。ソフトウェアは、各フレームにおける手の姿勢を推定するために、以前の学習プロセスに基づいて、これらの記述子をデータベース４０８に記憶されたパッチ記述子と照合する。姿勢は、典型的には、ユーザの手関節及び指先の３Ｄロケーションを含む。
ソフトウェアはまた、ジェスチャを識別するために、シーケンス内の複数のフレームにわたって手及び／又は指の軌道を解析することができる。本明細書に記載される姿勢推定機能は、運動追跡機能とインターリーブされてもよく、それにより、パッチベースの姿勢推定が２つ（又はそれ以上）のフレーム毎に１回のみ実行される一方、追跡は残りのフレームにわたって発生する姿勢の変化を発見するために使用される。姿勢、運動、及びジェスチャ情報は、上述のＡＰＩを介して、コントローラ１１０上で実行されるアプリケーションプログラムに提供される。このプログラムは、例えば、姿勢及び／又はジェスチャ情報に応答して、表示生成構成要素１２０上に提示された画像を移動させ修正する、又は他の機能を実行することができる。
いくつかの実施形態では、ソフトウェアは、例えばネットワーク上で、コントローラ１１０に電子形態でダウンロードされてもよい、又はその代わりに、光学、磁気、若しくは電子メモリ媒体などの、実体的非一時的媒体に提供されてもよい。いくつかの実施形態では、データベース４０８は、同様に、コントローラ１１０に関連付けられたメモリに記憶される。代替的又は追加的に、コンピュータの記載された機能の一部又は全ては、カスタム又は半カスタム集積回路又はプログラム可能なデジタル信号プロセッサ（ＤＳＰ）などの専用のハードウェアに実装されてもよい。コントローラ１１０は、例として、画像センサ４４０からの別個のユニットとして図４に示されているが、コントローラの処理機能の一部又は全部は、好適なマイクロプロセッサ及びソフトウェアによって、又はハンドトラッキングデバイス４０２のハウジング内の専用回路によって、又は他の方法で画像センサ４０４に関連付けることができる。いくつかの実施形態では、これらの処理機能のうちの少なくともいくつかは、（例えば、テレビセット、ハンドヘルドデバイス、又はヘッドマウントデバイスにおいて）表示生成構成要素１２０と統合された好適なプロセッサによって、又はゲームコンソール又はメディアプレーヤなどの任意の他の適切なコンピュータ化されたデバイスを用いて実行されてもよい。画像センサ４０４の感知機能は、同様に、センサ出力によって制御されるコンピュータ又は他のコンピュータ化された装置に統合することができる。
図４は、いくつかの実施形態による、画像センサ４０４によってキャプチャされた深度マップ４１０の概略図を更に含む。深度マップは、上述したように、それぞれの深度値を有するピクセルのマトリックスを含む。手４０６に対応するピクセル４１２は、このマップで背景及び手首からセグメント化されている。深度マップ４１０内の各ピクセルの輝度は、深度値、例えば、画像センサ４０４からの測定されたｚ距離に反比例し、深度が上昇するにつれて階調が濃くなる。コントローラ１１０は、人間の手の特徴を有する画像の成分（例えば、隣接ピクセル群）を識別及びセグメント化するために、これらの深度値を処理する。これらの特性は、例えば、深度マップのシーケンスの全体サイズ、形状、フレームからフレームへの運動を含むことができる。
図４はまた、いくつかの実施形態による、コントローラ１１０が手４０６の深度マップ４１０から最終的に抽出する手骨格４１４を概略的に示す。図４では、骨格４１４は、元の深度マップからセグメント化された手の背景４１６に重畳される。いくつかの実施形態では、手（例えば、指関節、指先、掌の中心、手首に接続する手の終端など）、及び任意選択的に手に接続された手首又は腕上の主要な特徴点が、手の骨格４１４上で識別され配置される。いくつかの実施形態では、複数の画像フレーム上にわたるこれらの主要な特徴点のロケーション及び移動がコントローラ１１０によって使用されて、いくつかの実施形態により、手によって実行される手ジェスチャ又は手の現在の状態を判定する。
図５は、アイトラッキングデバイス１３０（図１）の例示的な実施形態を示す。いくつかの実施形態では、アイトラッキングデバイス１３０は、アイトラッキングユニット２４３（図２）によって制御されて、シーン１０５に対する、又は表示生成構成要素１２０を介して表示されるＣＧＲコンテンツに対するユーザの視線のポジション及び動きを追跡する。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成構成要素１２０と統合される。例えば、いくつかの実施形態では、表示生成構成要素１２０がヘッドセット、ヘルメット、ゴーグル、又は眼鏡などのヘッドマウントデバイス、又はウェアラブルフレームに配置されたハンドヘルドデバイスである場合、ヘッドマウントデバイスは、ユーザによる視聴のためのＣＧＲコンテンツを生成する構成要素及びＣＧＲコンテンツに対するユーザの視線を追跡するための構成要素の両方を含む。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成構成要素１２０とは別個である。例えば、表示生成構成要素がハンドヘルドデバイス又はＣＧＲチャンバである場合、アイトラッキングデバイス１３０は、任意選択的に、ハンドヘルドデバイス又はＣＧＲチャンバとは別個のデバイスである。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイス又はヘッドマウントデバイスの一部である。いくつかの実施形態では、ヘッドマウントアイトラッキングデバイス１３０は、任意選択的に、頭部に装着されている表示生成構成要素又は頭部に装着されていない表示生成構成要素と共に使用される。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイスではなく、任意選択的に、ヘッドマウント表示生成構成要素と組み合わせて使用される。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイスではなく、任意選択的に、非ヘッドマウント表示生成構成要素の一部である。
いくつかの実施形態では、表示生成構成要素１２０は、ユーザの目の前に左及び右の画像を含むフレームを表示して、３Ｄ仮想ビューをユーザに提供するディスプレイ機構（例えば、左右の目近傍ディスプレイパネル）を使用する。例えば、ヘッドマウント表示生成構成要素は、ディスプレイとユーザの目との間に位置する左右の光学レンズ（本明細書では接眼レンズと称される）を含んでもよい。いくつかの実施形態では、表示生成構成要素は、表示のためにユーザの環境のビデオをキャプチャする１つ以上の外部ビデオカメラを含んでもよい、又はそれに結合されてもよい。いくつかの実施形態では、ヘッドマウント表示生成構成要素は、ユーザが物理的環境を直接視認し、透明又は半透明ディスプレイ上に仮想オブジェクトを表示することができる透明又は半透明のディスプレイを有してもよい。いくつかの実施形態では、表示生成構成要素は、仮想オブジェクトを物理的環境に投影する。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理的環境の上に重ねられた仮想オブジェクトを観察することができる。そのような場合、左右の目のための別個のディスプレイパネル及び画像フレームが必要とされない場合がある。
図５に示すように、いくつかの実施形態では、視線トラッキングデバイス１３０は、少なくとも１つのアイトラッキングカメラ（例えば、赤外線（ＩＲ）又は近ＩＲ（ＮＩＲ）カメラ）、並びに光（例えば、ＩＲ又はＮＩＲ光）をユーザの目に向けて発する照明源（例えば、ＬＥＤのアレイ若しくはリングなどのＩＲ又はＮＩＲ光源）を含む。アイトラッキングカメラは、ユーザの目に向けられて、光源からの反射ＩＲ又はＮＩＲ光を目から直接受信してもよく、又は代替的に、ユーザの目と、視覚的光が通過することを可能にしながら目からアイトラッキングカメラにＩＲ又はＮＩＲ光を反射させるディスプレイパネルとの間に配置される「ホット」ミラーに向けられてもよい。視線トラッキングデバイス１３０は、任意選択的に、ユーザの目の画像を（例えば、１秒当たり６０～１２０フレーム（ｆｐｓ）でキャプチャされるビデオストリームとして）キャプチャし、画像を解析して、視線追跡情報を生成し、視線追跡情報をコントローラ１１０に通信する。いくつかの実施形態では、ユーザの両目は、それぞれのアイトラッキングカメラ及び照明源によって別々に追跡される。いくつかの実施形態では、ユーザの片目のみが、個別のアイトラッキングカメラ及び照明源によって追跡される。
いくつかの実施形態では、アイトラッキングデバイス１３０は、デバイス固有の較正プロセスを使用して較正されて、特定の動作環境１００用のアイトラッキングデバイスのパラメータ、例えば、ＬＥＤ、カメラ、ホットミラー（存在する場合）、接眼レンズ、及びディスプレイスクリーンの３Ｄ幾何学的関係及びパラメータを判定する。デバイス固有の較正プロセスは、ＡＲ／ＶＲ機器のエンドユーザへの配送前に、工場又は別の施設で実行されてもよい。デバイス固有の較正プロセスは、自動較正プロセスであってもよく、又は手動較正プロセスであってもよい。ユーザ固有の較正プロセスは、特定のユーザの目パラメータ、例えば、瞳孔ロケーション、中心視覚ロケーション、光軸、視軸、目間隔などの推定を含んでもよい。いくつかの実施形態によれば、いったんアイトラッキングデバイス１３０についてデバイス固有及びユーザ固有のパラメータが判定されると、アイトラッキングカメラによってキャプチャされた画像は、グリント支援方法を使用して処理され、ディスプレイに対するユーザの現在の視覚軸及び視点を判定することができる。
図５に示すように、アイトラッキングデバイス１３０（例えば、１３０Ａ又は１３０Ｂ）は、接眼レンズ（単数又は複数）５２０と、アイトラッキングが行われるユーザの顔の側に配置された少なくとも１つのアイトラッキングカメラ５４０（例えば、赤外線（ＩＲ）又は近ＩＲ（ＮＩＲ）カメラ）と光（例えば、ＩＲ又はＮＩＲ光）をユーザの目（単数又は複数）５９２に向かって発する照明源５３０（例えば、ＮＩＲ発光ダイオード（ＬＥＤ）のアレイ若しくはリングなどのＩＲ又はＮＩＲ光源）とを含む視線追跡システムと、を含む。アイトラッキングカメラ５４０は、ユーザの目（単数又は複数）５９２とディスプレイ５１０（例えば、ヘッドマウントディスプレイの左若しくは右側のディスプレイパネル、又はハンドヘルドデバイスのディスプレイ、プロジェクタなど）との間に位置し、（例えば、図５の上部に示されるように）可視光を透過させながら、目（単数又は複数）５９２からのＩＲ又はＮＩＲ光を反射するミラー５５０に向けられてもよく、あるいは、（例えば、図５の下部に示されるように）反射されたユーザの目（単数又は複数）５９２からのＩＲ又はＮＩＲ光を受け取るようにユーザの目（単数又は複数）５９２に向けられてもよい。
いくつかの実施形態では、コントローラ１１０は、ＡＲ又はＶＲフレーム５６２（例えば、左及び右のディスプレイパネルの左及び右のフレーム）をレンダリングし、フレーム５６２をディスプレイ５１０に提供する。コントローラ１１０は、様々な目的のために、例えば、表示のためにフレーム５６２を処理する際に、アイトラッキングカメラ５４０からの視線追跡入力５４２を使用する。コントローラ１１０は、任意選択的に、グリント支援方法又は他の適切な方法を使用して、アイトラッキングカメラ５４０から得られた視線追跡入力５４２に基づいて、ディスプレイ５１０上のユーザの視点を推定する。視線追跡入力５４２から推定された視点は、任意選択的に、ユーザが現在見ている方向を判定するために使用される。
以下、ユーザの現在の視線方向のいくつかの可能な使用事例について説明するが、これは限定することを意図するものではない。例示的な使用例として、コントローラ１１０は、判定されたユーザの視線方向に基づいて、仮想コンテンツを異なってレンダリングすることができる。例えば、コントローラ１１０は、周辺領域においてよりもユーザの現在の視線方向から判定された中心視覚領域において、より高い解像度で仮想コンテンツを生成してもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内の仮想コンテンツを位置決め又は移動させてもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内に特定の仮想コンテンツを表示してもよい。ＡＲアプリケーションにおける別の例示的な使用事例として、コントローラ１１０は、ＣＧＲ体験の物理的環境をキャプチャして、判定された方向に焦点を合わせるように外部カメラを方向付けることができる。次いで、外部カメラの自動焦点機構は、ユーザが現在ディスプレイ５１０上で見ている環境内のオブジェクト又は表面に焦点を合わせることができる。別の例示的な使用事例として、接眼レンズ５２０は集束可能なレンズであってもよく、視線追跡情報がコントローラによって使用されて、ユーザが現在見ている仮想オブジェクトが、ユーザの目５９２の収束に一致するために適切な両目連動を有するように接眼レンズ５２０の焦点を調整する。コントローラ１１０は、視線追跡情報を活用して、ユーザが見ている近接オブジェクトが正しい距離で現れるように接眼レンズ５２０を方向付けて焦点を調整することができる。
いくつかの実施形態では、アイトラッキングデバイスは、ウェアラブルハウジングに取り付けられた、ディスプレイ（例えば、ディスプレイ５１０）、２つの接眼レンズ（例えば、接眼レンズ（単数又は複数）５２０）、アイトラッキングカメラ（例えば、アイトラッキングカメラ（単数又は複数）５４０）、及び光源（例えば、光源５３０（例えば、ＩＲ ＬＥＤ又はＮＩＲ ＬＥＤ））を含むヘッドマウントデバイスの一部である。光源は、ユーザの目（単数又は複数）５９２に向かって光（例えば、ＩＲ又はＮＩＲ光）を発する。いくつかの実施形態では、光源は、図５に示されるように、各レンズの周りにリング又は円状に配置されてもよい。いくつかの実施形態では、８つの光源５３０（例えば、ＬＥＤ）が、一例として各レンズ５２０の周りに配置される。しかしながら、より多くの又はより少ない光源５３０が使用されてもよく、光源５３０の他の配置及びロケーションが用いられてもよい。
いくつかの実施形態では、ディスプレイ５１０は、可視光範囲内の光を発し、ＩＲ又はＮＩＲ範囲内の光を発さないため、視線追跡システムにノイズを導入しない。アイトラッキングカメラ（単数又は複数）５４０のロケーション及び角度は、例として与えられ、限定することを意図するものではないことに留意されたい。いくつかの実施形態では、単一のアイトラッキングカメラ５４０がユーザの顔の各側に位置する。いくつかの実施形態では、２つ以上のＮＩＲカメラ５４０をユーザの顔の各側に使用することができる。いくつかの実施形態では、より広い視野（ＦＯＶ）を有するカメラ５４０と狭いＦＯＶを有するカメラ５４０が、ユーザの顔の各側に使用されてもよい。いくつかの実施形態では、１つの波長（例えば、８５０ｎｍ）で動作するカメラ５４０と異なる波長（例えば、９４０ｎｍ）で動作するカメラ５４０とが、ユーザの顔の各側に使用されてもよい。
図５に示すような視線追跡システムの実施形態は、例えば、コンピュータ生成現実（例えば、仮想現実、及び／又は複合現実を含む）アプリケーションに使用されて、コンピュータ生成現実（例えば、仮想現実、拡張現実、及び／又は拡張仮想を含む）の体験をユーザに提供することができる。
図６は、いくつかの実施形態による、グリント支援視線追跡パイプラインを示す。いくつかの実施形態では、視線追跡パイプラインは、グリント支援視線追跡システム（例えば、図１及び図５に示されるようなアイトラッキングデバイス１３０）によって実現される。グリント支援視線追跡システムは、追跡状態を維持することができる。当初、追跡状態はオフ又は「いいえ」である。追跡状態にあるとき、グリント支援視線追跡システムは、現フレームを解析する際に前のフレームからの先行情報を使用して、現フレーム内の瞳孔輪郭及びグリントを追跡する。追跡状態にない場合、グリント支援視線追跡システムは、現フレーム内の瞳孔及びグリントを検出しようとし、それに成功した場合、追跡状態を「はい」に初期化し、追跡状態で次のフレームに続く。
図６に示すように、視線追跡カメラは、ユーザの左目及び右目の左右の画像をキャプチャすることができる。次いで、キャプチャされた画像は、６１０で開始される処理のために視線追跡パイプラインに入力される。要素６００に戻る矢印によって示されるように、視線追跡システムは、例えば、毎秒６０～１２０フレームの速度で、ユーザの目の画像をキャプチャし続けることができる。いくつかの実施形態では、キャプチャされた画像の各セットが、処理のためにパイプラインに入力されてもよい。しかしながら、いくつかの実施形態、又はいくつかの条件下では、全てのキャプチャされたフレームがパイプラインによって処理されるわけではない。
６１０で、現在のキャプチャされた画像について、追跡状態がはいである場合、この方法は要素６４０に進む。６１０で、追跡状態がいいえである場合、６２０に示されるように、画像が解析されて、画像内のユーザの瞳孔及びグリントを検出する。６３０で、瞳孔とグリントが正常に検出される場合、方法は要素６４０に進む。正常に検出されない場合、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。
６４０で、要素４１０から進む場合、前のフレームからの先行情報に部分的に基づいて、現フレームが解析されて、瞳孔及びグリントを追跡する。６４０で、要素６３０から進む場合、現フレーム内の検出された瞳孔及びグリントに基づいて、追跡状態が初期化される。要素６４０での処理の結果は、追跡又は検出の結果が信頼できることを確認するためにチェックされる。例えば、結果は、瞳孔及び視線推定を実行するための十分な数のグリントが現フレームで正常に追跡又は検出されるかどうかを判定するためにチェックすることができる。６５０で、結果が信頼できない場合、追跡状態はいいえに設定され、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。６５０で、結果が信頼できる場合、方法は要素６７０に進む。６７０で、追跡状態ははいに設定され（まだはいではない場合）、瞳孔及びグリント情報が要素６８０に渡されて、ユーザの視点を推定する。
図６は、特定の実施で使用され得るアイトラッキング技術の一例として機能することを意図している。当業者によって認識されるように、現在存在するか、又は将来開発される他のアイトラッキング技術は、様々な実施形態によるＣＧＲ体験をユーザに提供するためにコンピュータシステム１０１において、本明細書に記載されるグリント支援アイトラッキング技術の代わりに、又はそれと組み合わせて使用することができる。
本開示では、コンピュータシステムとの相互作用に関して、様々な入力方法が説明される。一例が１つの入力デバイス又は入力方法を使用して提供され、別の例が別の入力デバイス又は入力方法を使用して提供される場合、各例は、別の例に関して記載された入力デバイス又は入力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な出力方法が、コンピュータシステムとの相互作用に関して説明される。一例が１つの出力デバイス又は出力方法を使用して提供され、別の例が別の出力デバイス又は出力方法を使用して提供される場合、各例は、別の例に関して記載された出力デバイス又は出力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な方法が、コンピュータシステムを介した仮想環境又は複合現実環境との相互作用に関して説明される。実施例が仮想環境との相互作用を使用して提供され、別の例が複合現実環境を使用して提供される場合、各例は、別の例に関して説明された方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。したがって、本開示は、各例示的な実施形態の説明における実施形態の全ての特徴を網羅的に列挙することなく、複数の例の特徴の組み合わせである実施形態を開示する。
ユーザインタフェース及び関連するプロセス
ここで、ユーザインタフェース（「ＵＩ」）の実施形態、及び、表示生成構成要素、１つ以上の入力デバイス、及び（任意選択的に）１つ又は複数のカメラを備えた、ポータブル多機能デバイス又はヘッドマウントデバイスなどのコンピュータシステムにおいて実行され得る関連プロセスに注目する。
ここで、ユーザインタフェース（「ＵＩ」）の実施形態、及び、表示生成構成要素、１つ以上の入力デバイス、及び（任意選択的に）１つ又は複数のカメラを備えた、ポータブル多機能デバイス又はヘッドマウントデバイスなどのコンピュータシステムにおいて実行され得る関連プロセスに注目する。
図７Ａ～図７Ｑは、様々な実施形態による、表示生成構成要素（例えば、表示生成構成要素７１００、表示生成構成要素１２０など）を介して表示される三次元環境、及び三次元環境に対するユーザ入力によって引き起こされる三次元環境において発生する相互作用を示している。いくつかの実施形態では、入力は、仮想オブジェクトのポジションにおいて検出されたユーザの視線、仮想オブジェクトのポジションに対応する物理的環境内のロケーションにおいて実行されるハンドジェスチャ、仮想オブジェクトが入力フォーカスを有する間に仮想オブジェクトのポジションとは無関係な物理的環境内のロケーションにおいて実行されるハンドジェスチャ（例えば、視線によって選択される、ポインタによって選択される、以前のジェスチャ入力によって選択されるなど）によって、三次元環境内の仮想オブジェクトに向けられる。いくつかの実施形態では、入力は、ユーザの手の動き（例えば、手全体の動き、個別の姿勢での手全体の動き、手の別の部分に対する手の１つの部分の動き、２つの手の間の相対的な動きなど）及び／又は物理的オブジェクトに対する操作（例えば、タッチ、スワイプ、タップ、開く、向かって移動する、相対的に移動するなど）による物理的オブジェクト又は物理的オブジェクトに対応する仮想オブジェクトの表現を対象とする。
いくつかの実施形態では、表示生成構成要素を介して表示される三次元環境は、物理的環境の表現なしに三次元環境内の異なる仮想ポジションに仮想オブジェクト及びコンテンツを含む仮想三次元環境である。いくつかの実施形態では、三次元環境は、物理的環境の１つ以上の物理的態様（例えば、壁、床、表面のポジション及び向き、重力の方向、時刻など）によって制約される三次元環境内の異なる仮想ポジションに仮想オブジェクトを表示する複合現実環境である。いくつかの実施形態では、三次元環境は、物理的環境の表現を含む拡張現実環境である。物理的環境の表現は、物理的環境内の異なる物理的オブジェクトと表面との間の空間的関係が三次元環境内の物理的オブジェクトと表面との表現間の空間的関係によって反映されるように、三次元環境内の異なるポジションにある物理的オブジェクトと表面とのそれぞれの表現を含む。仮想オブジェクトが三次元環境内の物理的オブジェクト及び表面の表現のポジションに対して配置されると、それらは、物理的環境内の物理的オブジェクト及び表面と対応する空間的関係を有するように見える。
いくつかの実施形態では、表示生成構成要素は、物理的環境の表現が表示されるパススルー部分を含む。いくつかの実施形態では、パススルー部分は、ユーザ視野を取り囲み、視野内の物理的環境の少なくとも一部を明らかにする表示生成構成要素の透明又は半透明（例えば、シースルー）部分である。例えば、パススルー部分は、半透明（例えば、不透明度の５０％、４０％、３０％、２０％、１５％、１０％、又は５％未満）又は透明にされたヘッドマウントディスプレイ又はヘッドアップディスプレイの一部であり、それによって、ユーザは、ヘッドマウントディスプレイを取り外したり、ヘッドアップディスプレイから離れたりすることなく、それを通してユーザを取り囲む現実世界を見ることができる。いくつかの実施形態では、パススルー部分は、仮想又は複合現実環境を表示するときに半透明又は透明から完全に不透明に徐々に遷移する。いくつかの実施形態では、表示生成構成要素のパススルー部分は、１つ以上のカメラ（例えば、モバイルデバイスの又はヘッドマウントディスプレイと関連付けられた背面カメラ（単数又は複数）、又は画像データを電子デバイスに供給する他のカメラ）によってキャプチャされた物理的環境の少なくとも一部の画像又はビデオのライブフィードを表示する。いくつかの実施形態では、１つ以上のカメラは、直接ユーザの目の前に（例えば、表示生成構成要素の後ろに）ある物理的環境の一部に向けられる。いくつかの実施形態では、１つ以上のカメラは、直接ユーザの目の前にない（例えば、異なる物理的環境にある、又はユーザの側方又は後方にある）物理的環境の一部に向けられる。
いくつかの実施形態では、物理的環境内の１つ以上の物理的オブジェクトのロケーションに対応するポジションに仮想オブジェクトを表示するとき、仮想オブジェクトの少なくともいくつかは、カメラのライブビューの一部（例えば、ライブビューでキャプチャされた物理的環境の一部）の配置に表示される（例えば、その表示を置換する）。いくつかの実施形態では、仮想オブジェクト及びコンテンツの少なくとも一部は、物理的表面又は物理的環境内の空きスペースに投影され、表示生成構成要素のパススルー部分を通して見える（例えば、物理的環境のカメラビューの一部として、又は表示生成構成要素の透明若しくは半透明部分などを通して見ることができる）。いくつかの実施形態では、仮想オブジェクト及びコンテンツの少なくともいくつかは、ディスプレイの一部をオーバーレイするように表示され、表示生成構成要素の透明又は半透明部分を通して見える物理的環境の少なくとも一部のビューをブロックするが、全てではない。いくつかの実施形態では、仮想オブジェクトの少なくともいくつかは、物理的環境の表現の画像に対するポジションにおいてユーザの網膜上に直接投影される（例えば、物理的環境のカメラビューを介して、又は表示生成構成要素の透明部分などを介して見ることができる）。
いくつかの実施形態では、表示生成構成要素は、三次元環境に対する三次元環境の現在表示されているビューの視点の仮想ポジションを変更するユーザ入力又は動きに従って、三次元環境の異なるビューを表示する。いくつかの実施形態では、三次元環境が仮想環境である場合、視点は、物理的環境におけるユーザの頭、胴体、及び／又は表示生成構成要素の動きを必要とすることなく、ナビゲーション又は動き要求（例えば、空中ハンドジェスチャ、手の別の部分に対する手の１つの部分の動きによって実行されるジェスチャなど）に従って移動する。いくつかの実施形態では、物理的環境に対するユーザの頭及び／又は胴体の動き、及び／又はコンピュータシステムの表示生成構成要素又は（例えば、ユーザが表示生成構成要素を保持していること、又はＨＭＤを装着していることなどに起因する）他のロケーション検知要素などの動きは、三次元環境に対する視点の対応する動き（例えば、対応する移動方向、移動距離、移動速度、及び／又は向きの変化など）を引き起こし、その結果、三次元環境の現在表示されているビューに対応する変化をもたらす。いくつかの実施形態では、仮想オブジェクトが視点に対して予め設定された空間的関係を有する場合、三次元環境に対する視点の動きは、視野内の仮想オブジェクトのポジションが維持されている間（例えば、仮想オブジェクトはヘッドロックされていると言われる）、三次元環境に対する仮想オブジェクトの動きを引き起こす。いくつかの実施形態では、仮想オブジェクトは、ユーザに対してボディロックされ、ユーザが物理的環境内で全体として移動する（例えば、コンピュータシステムの表示生成構成要素及び／又は他のロケーション検知構成要素を携帯又は装着する）ときに三次元環境に対して移動するが、ユーザの頭（例えば、物理的環境内のユーザの固定ロケーションの周りを回転するコンピュータシステムの表示生成構成要素及び／又は他のロケーション検知構成要素）の動きに応じて三次元環境内では移動しない。
いくつかの実施形態では、図７Ａ～図７Ｑに示す三次元環境のビューは、ユーザの手（単数又は複数）、腕（単数又は複数）、及び／又は手首（単数又は複数）の表現を含む。いくつかの実施形態では、表現は、表示生成構成要素を介して提供される物理的環境の表現の一部である。いくつかの実施形態では、表現は、物理的環境の表現の一部ではなく、個別にキャプチャされ（例えば、ユーザの手（単数又は複数）、腕（単数又は複数）、及び手首（単数又は複数）に向かう１つ以上のカメラによって）、三次元環境のビューとは無関係に三次元環境に表示される。いくつかの実施形態では、表現は、コンピュータシステム（単数又は複数）の１つ以上のカメラによってキャプチャされたカメラ画像、又は様々なセンサによってキャプチャされた情報に基づく腕、手首、及び／又は手の様式化されたバージョンを含む。いくつかの実施形態では、表現は、物理的環境の表現の一部の表示を置換するか、物理的環境の表現の一部にオーバーレイされるか、又は物理的環境の表現の一部のビューをブロックする。いくつかの実施形態では、表示生成構成要素が物理的環境のビューを提供せず、完全に仮想環境（例えば、カメラ視野又は透明なパススルー部分がない）を提供する場合、ユーザの一方又は双方の腕、手首、及び／又は手のリアルタイム視覚表現（例えば、スタイル化表現又はセグメント化されたカメラ画像）は、依然として仮想環境に表示されてもよい。いくつかの実施形態では、ユーザの手の表現が図に示されているが、対応する説明によって明確にされない限り、ユーザの手の表現は、必ずしも常に表示されるとは限らず、及び／又は三次元環境と相互作用するために必要な入力を提供するときに、ユーザの視野内に表示される必要がない場合があることを理解されたい。
図７Ａ～図７Ｂは、いくつかの実施形態による、コンピュータ生成コンテンツが提示される没入レベルに従って異なる音声出力モードを選択することを示すブロック図である。
いくつかの実施形態では、コンピュータシステムは、映画、仮想オフィス、アプリケーション環境、ゲーム、コンピュータ生成体験（例えば、仮想現実体験、拡張現実体験、複合現実体験など）などのコンピュータ生成コンテンツを表示する。いくつかの実施形態では、コンピュータ生成コンテンツは、三次元環境（例えば、図７Ａ～図７Ｂの環境７１０２、又は別の環境）で表示される。いくつかの実施形態では、コンピュータシステムは、物理的環境からの視覚入力に対する仮想コンテンツからの視覚入力の様々な強調度に対応する複数の没入レベルを有するコンピュータ生成コンテンツ（例えば、視覚コンテンツ７１０６、又は他の視覚コンテンツ）の視覚コンポーネントを表示することができる。いくつかの実施形態では、より高い没入レベルは、物理的環境からの視覚入力よりも仮想コンテンツからの視覚入力をより強調することに対応する。同様に、いくつかの実施形態では、コンピュータ生成コンテンツの視覚コンポーネントに付随及び／又は対応するコンピュータ生成コンテンツの音声コンポーネント（例えば、映画におけるサウンドエフェクト及びサウンドトラック；アプリケーション環境における音声アラート、音声フィードバック、及びシステム音；ゲームにおけるサウンドエフェクト、スピーチ、及び音声フィードバック；及び／又はコンピュータ生成体験におけるサウンドエフェクト及び音声フィードバックなど）は、複数の没入レベルで出力されることができる。いくつかの実施形態では、複数の没入レベルは、任意選択的に、表示生成構成要素を介して表示される仮想コンテンツ内の仮想音源のポジションと、仮想音源の選択された基準フレーム内の仮想音源の知覚されたロケーションとの間の空間的対応の様々な度合いに対応する。いくつかの実施形態では、個別の仮想音源の選択された基準フレームは、物理的環境、コンピュータ生成コンテンツの仮想三次元環境、コンピュータ生成コンテンツの三次元環境の現在表示されているビューの視点、物理的環境における表示生成構成要素のロケーション、又は物理的環境におけるユーザのロケーションなどに基づく。いくつかの実施形態では、より高い没入レベルは、コンピュータ生成環境における仮想音源のポジションと、コンピュータ生成コンテンツの音声コンポーネントの選択された基準フレーム（例えば、コンピュータ生成体験に描写された三次元環境に基づく基準フレーム、視点のロケーションに基づく基準フレーム、表示生成構成要素のロケーションに基づく基準フレーム、ユーザのロケーションに基づく基準フレームなど）における仮想音源の知覚されたロケーションとの間のより高い対応レベルに対応する。いくつかの実施形態では、コンピュータ生成環境内の仮想音源のポジションと、コンピュータ生成コンテンツの音声コンポーネントの選択された基準フレーム内の音源の知覚されたロケーションとの間のより低いレベルの対応は、仮想音源の知覚されたロケーションと物理的環境内の音声出力デバイスのロケーションとの間のより高いレベルの対応の結果である（例えば、音声は、コンピュータ生成コンテンツの三次元環境における仮想音源のポジションに関係なく、及び／又は視点のロケーション、表示生成構成要素のロケーション、及び／又はユーザのロケーションなどに関係なく、音声出力デバイスのロケーションから到来するように見える）。いくつかの実施形態では、コンピュータシステムは、第１のコンピュータ生成体験を提示する要求（例えば、図７Ａ～図７Ｂの要求７１１２、要求７１１４など、又は他の要求など）に対応する第１のイベントを検出し、コンピュータシステムは、コンピュータ生成体験の視覚コンポーネントが表示生成構成要素を介して表示される没入レベルに応じて、コンピュータ生成体験の音声コンポーネントを出力するための音声出力モードを選択する。第１のコンピュータ生成体験の視覚コンテンツの表示に関連付けられたより高い没入レベルで、コンピュータシステムは、対応するより高い没入レベルを有するコンピュータ生成体験の音声コンテンツを提示する音声出力モードを選択する。いくつかの実施形態では、より高い没入レベルを有する視覚コンテンツを表示することは、（例えば、図７Ａとは対照的に、図７Ｂに示すように）三次元環境においてより大きい空間的範囲で視覚コンテンツを表示することを含み、対応するより高い没入レベルを有する音声コンテンツを出力することは、空間音声出力モードで音声コンテンツを出力することを含む。いくつかの実施形態では、２つの異なる没入レベルを有する視覚コンテンツの表示を切り替えるとき（例えば、より高いレベルの没入からより低いレベルの没入、より低いレベルの没入からより高いレベルの没入など）、コンピュータシステムはまた、２つの異なる没入レベルを有する音声コンテンツの出力を切り替える（例えば、空間音声出力モードからステレオ音声出力モード、サラウンドサウンド出力モードからステレオ音声出力モード、ステレオ音声出力モードからサラウンドサウンド出力モード、ステレオ音声出力モードから空間音声出力モードなど）。
本明細書で説明するように、スタンドアロンスピーカ（例えば、サウンドバー、外部スピーカなど）、ディスプレイ又はコンピュータシステムの内蔵音声出力コンポーネント（例えば、ヘッドマウントディスプレイデバイス、タッチスクリーンディスプレイデバイス、ポータブル電子デバイス、又はヘッドアップディスプレイなどの内蔵スピーカ）、ウェアラブル音声出力デバイス（例えば、ヘッドホン、イヤホン、イヤカップ、及びイヤホンなど）を含む音声出力デバイスは、ユーザに音声出力を提供するために広く使用されている。同じ音声コンテンツは、異なる音声出力デバイスを使用して及び／又は同じ音声出力デバイスの異なる出力モードを使用して出力されるとき、音声出力を知覚するユーザに対して音声コンテンツを異なる音にする異なる音声特性を有することができる。このため、コンピュータ生成体験の視覚コンテンツがユーザに提供される没入レベルに基づいて、音声の特性、音源の特性、及び／又は音声出力デバイスの特性を変更することを含む音声出力モードを調整し、コンピュータ生成体験がユーザに提供されているとき、コンピュータ生成体験の音声コンテンツと視覚コンテンツが調和し、よりシームレスに互いに補完することが望ましい。
既存のステレオ及びモノラル音声出力モードは、音声出力デバイスに結び付けられた基準フレームに対する音声を提供する。固定音声出力デバイスの場合、音は、物理的環境におけるユーザの動きに関係なく、かつコンピュータ生成体験の視覚コンテンツの変化（例えば、コンピュータ生成体験の三次元環境における仮想音源の動き及び／又は視点の動きなどによる変化）に関係なく、物理的環境における音声出力デバイスのロケーションに由来するように見える。ユーザの身体の一部（例えば、耳、頭部など）に対して静止したままであるウェアラブル音声出力デバイスの場合、コンピュータ生成体験の三次元環境におけるコンピュータ生成体験の視覚コンテンツの変化（例えば、仮想音源の動きによる変化、視点の動き（例えば、ユーザ又はコンピュータシステムによる動き要求によって引き起こされ、ユーザの身体の一部の動きによって引き起こされず、それに対応しない視点の動きなど）による変化など）に関係なく、音は、ユーザの身体の一部にロックされているように見える。場合によっては、コンピュータシステムの音声出力デバイス及び表示生成構成要素は、別々に収容され、音声出力デバイス及び表示生成構成要素を介したコンピュータ生成コンテンツの提示中に物理的環境内で互いに対して移動してもよい。そのような場合、物理的環境における表示生成構成要素のロケーション、又はコンピュータ生成体験の視覚コンテンツの変化（例えば、コンピュータ生成体験の三次元環境における仮想音源の動き及び／又は視点の動き（例えば、動き要求によって、又は物理的環境におけるユーザ若しくはその一部の動きに応じて、それに従って引き起こされる動きなど）などによる変化）に関係なく、音は、依然として音声出力デバイスから発生しているように見える。このように、ステレオ及びモノラル音声出力モードは、コンピュータ生成体験の音声コンテンツがステレオ音声出力モード又はモノラル音声出力モードを使用してユーザに提供されるとき、空間音声出力モードよりも没入レベルの低い聴取体験及び非現実的な音を提供する。
いくつかの実施形態では、空間音声出力モードは、音声が表示生成構成要素（例えば、拡張現実環境、仮想現実環境、ユーザを取り囲む物理的環境の純粋なパススルービューなど）を介して表示される三次元環境などの別個の基準フレーム内の音源から到来しているように見え、シミュレートされた音源のポジションが物理的環境内の音声出力デバイスのロケーション及び動きから分離される、より現実的な聴取体験をシミュレートする。
いくつかの実施形態では、空間音声出力モード用の基準フレームは、コンピュータ生成体験の三次元環境で表される物理的環境に基づいており、基準フレームは、任意選択的に、物理的環境におけるユーザの動き、音声出力デバイスの動き、及び／又は表示生成構成要素の動きによって変化しない。
いくつかの実施形態では、空間音声出力モードの基準フレームは、コンピュータ生成体験の仮想三次元環境に基づく。いくつかの実施形態では、これらの動きが仮想三次元環境の対応する動きを引き起こさない場合、基準フレームは、任意選択的に、物理的環境におけるユーザの動き、音声出力デバイスの動き、及び／又は表示生成構成要素の動きに起因して変化しない。
いくつかの実施形態では、空間音声出力モードの基準フレームは、三次元環境の現在表示されているビューの視点に関連付けられた三次元環境に基づく。いくつかの実施形態では、これらの動きが三次元環境の現在表示されているビューの視点の対応する動きを引き起こさない場合、基準フレームは、任意選択的に、物理的環境におけるユーザの動き、音声出力デバイスの動き、及び／又は表示生成構成要素の動きに起因して変化しない。
いくつかの実施形態では、空間音声モードにおける音声コンテンツ出力のための基準フレームは、任意選択的に、コンピュータ生成体験における視覚コンテンツのための基準フレームとは異なる。例えば、いくつかの実施形態では、視覚コンテンツは、表示生成構成要素を介して視覚的に提示される物理的環境又は仮想環境に関連付けられた基準フレームに対して表示されるが、仮想音源（例えば、外部ナレータ、内部ダイアログなど）の少なくとも一部は、ユーザの視点に関連付けられた基準フレーム内にある。
いくつかの実施形態では、コンピュータ生成体験の音声コンテンツは、任意選択的に、コンピュータ生成体験の三次元環境内に対応する仮想ポジションを有しない仮想音源の第１の基準フレーム（例えば、システムレベルの音、外部ナレーションなど）、コンピュータ生成体験の三次元環境内に対応する視覚的実施形態を有する仮想音源の第２の基準フレーム（例えば、仮想オブジェクト、仮想表面、仮想光など）、及び任意選択的に、視点から遠く、視野外、隠れているなどの仮想音源の第３の基準フレーム（例えば、波、虫、風、雨、ジャングルなどの音などの周囲のノイズ）などの、異なる基準フレームに結び付けられた音源を含む。いくつかの実施形態では、第１の基準フレームは、ユーザの頭部、表示生成構成要素、及び／又は視点に固定され、任意選択的に移動する。いくつかの実施形態では、第２の基準フレームは、コンピュータ生成体験の三次元環境に結び付けられ、任意選択的に、表示生成構成要素と共に移動する。いくつかの実施形態では、第３の基準フレームは、物理的環境に結び付けられ、任意選択的に、ユーザ、表示生成構成要素、又は視点と共に移動しない。コンピュータシステムは、表示生成構成要素を使用して視覚コンテンツを提供することに関連して、より現実的でより没入型の聴取体験を提供するために、空間音声モードを選択及び構成して、表示生成構成要素を介して提示されている視覚コンテンツに基づいて、物理的環境における音声出力デバイスと表示生成構成要素との間の空間的構成に基づいて、及びユーザ、表示生成構成要素、及び音声出力デバイスとの間の空間的構成に基づいて、音を出力することができる。
いくつかの実施形態では、空間音声出力モードは、コンピュータ生成体験の三次元環境又は物理的環境などの仮想音源に対して選択された個別の基準フレーム内の１つ以上のロケーション（例えば、１つ以上の音源）から音声が到来しているかのように、音声出力デバイス（単数又は複数）から出力される音声が鳴ることを可能にするモードであり、１つ以上のシミュレートされた又は知覚された音源の位置決めは、個別の基準フレームに対する音声出力デバイス（単数又は複数）の動きから分離されるか、又はそれから独立している。典型的には、１つ以上の知覚された音源は、固定されると、音源に関連付けられた個別の基準フレームに対して固定され、移動すると、個別の基準フレームに対して移動する。
いくつかの実施形態では、基準フレームは、コンピュータシステムの表示生成構成要素を介して提供されるコンピュータ生成体験において表される物理的環境に基づく基準フレームである。いくつかの実施形態では、基準フレームが物理的環境に基づく場合（例えば、コンピュータ生成体験が、物理的環境に基づく拡張現実体験、又は物理的環境のパススルービューなどである場合）、１つ以上の知覚された音源は、物理的環境内にそれぞれの空間的ロケーションを有する。例えば、いくつかの実施形態では、コンピュータ生成体験は、物理的環境内のそれぞれの空間的ロケーションに対応するそれぞれのポジションを有する知覚された音源の視覚的対応物（例えば、コンピュータ生成体験において音を生成した仮想オブジェクト）を含む。いくつかの実施形態では、コンピュータ生成体験は、視覚的対応物（例えば、コンピュータ生成体験において音を生成したリモート又は隠れ仮想オブジェクト、仮想風、サウンドエフェクト、外部ナレータなど）を含まない音を含むが、物理的環境内のそれぞれの空間的ロケーションに対応する起源を有する。いくつかの実施形態では、音声出力デバイス（単数又は複数）が物理的環境の周りを移動するとき、音声出力デバイス（単数又は複数）からの音声出力は、音声が物理的環境内のそれぞれの空間的ロケーションにある１つ以上の知覚された音源から到来しているかのように音を発し続けるように調整される。１つ以上の知覚された音源が物理的環境の周りの一連の空間的ロケーションを移動する移動音源である場合、音声出力デバイス（単数又は複数）からの音声出力は、音声が物理的環境内の一連の空間的ロケーションにおいて１つ以上の知覚された音源から到来しているかのように音を発し続けるように調整される。音源を移動させるためのそのような調整はまた、物理的環境に対する音声出力デバイス（単数又は複数）の任意の動きを考慮に入れる（例えば、音声出力デバイス（単数又は複数）が、移動音源との一定の空間的関係を維持するように、移動音源としての類似の経路に沿って物理的環境に対して移動する場合、音声は、音声が音声出力デバイス（単数又は複数）に対して移動しているようには見えないように出力される）。いくつかの実施形態では、音声コンテンツが、コンピュータ生成体験において表された物理的環境に基づいて空間音声出力モード及び基準フレームを使用して出力されるとき、三次元環境の現在表示されているビューの視点は、物理的環境におけるユーザ及び／又は表示生成構成要素の動きに従って変化する。ユーザは、仮想音源の仮想ポジションから到来するものとして音を知覚し、コンピュータ生成体験で表された物理的環境に基づいて同じ基準フレームで三次元環境の視覚コンテンツを体験する。
いくつかの実施形態では、基準フレームは、コンピュータシステムの表示生成構成要素を介して提供されるコンピュータ生成体験の仮想三次元環境に基づく基準フレームである。いくつかの実施形態では、基準フレームが仮想三次元環境（例えば、仮想三次元映画、三次元ゲーム、仮想オフィスなどの環境）に基づく場合、１つ以上の知覚された音源は、仮想三次元環境内のそれぞれの空間的ポジションを有する。いくつかの実施形態では、音声出力デバイス（単数又は複数）が物理的環境の周りを移動するとき、音声出力デバイス（単数又は複数）からの音声出力は、音声が仮想三次元環境のそれぞれの空間的ポジションにある１つ以上の知覚された音源から到来しているかのように音を発し続けるように調整される。１つ以上の知覚された音源が仮想三次元環境の周りの一連の空間的ポジションを通って移動する移動音源である場合、音声出力デバイス（単数又は複数）からの音声出力は、音声が仮想三次元環境の一連の空間的ポジションにおいて１つ以上の知覚された音源から到来しているかのように音を発し続けるように調整される。いくつかの実施形態では、コンピュータ生成体験の三次元環境に基づいて空間音声出力モード及び基準フレームを使用して音声コンテンツが出力されるとき、三次元環境の現在表示されているビューの視点は、物理的環境におけるユーザ及び／又は表示生成構成要素の動きに従って変化する。ユーザは、仮想音源の仮想ポジションから到来するものとして音を知覚し、同じ基準フレーム内の三次元環境の視覚コンテンツを体験する。いくつかの実施形態では、コンピュータ生成体験の三次元環境に基づいて空間音声出力モード及び基準フレームを使用して音声コンテンツが出力されるとき、三次元環境の現在表示されているビューの視点は、ユーザによって提供された移動要求に従って、及び／又は物理的環境におけるユーザ及び／又は表示生成構成要素の動きに従って変化する。ユーザは、仮想音源の仮想ポジションから到来するものとして音を知覚し、ユーザの仮想ポジションを現在表示されているビューの視点に結び付けた状態で、同じ基準フレーム内の三次元環境の視覚コンテンツを体験する。
いくつかの実施形態では、空間音声出力モード用の基準フレームは、音声出力デバイスを介して出力されている音声コンテンツに対応する視覚コンテンツを出力している表示生成構成要素などの電子デバイスに固定される（例えば、音は表示生成構成要素に追従する）。例えば、物理的環境における音声のシミュレートされたソースのロケーションは、物理的環境における表示生成構成要素の移動に対応して移動するが、物理的環境における音声出力デバイスの移動には対応しない。例えば、いくつかの実施形態では、表示生成構成要素は、ヘッドマウントディスプレイで倍す又はハンドヘルドディスプレイデバイスであり、音声出力デバイスは、物理的環境に配置され、ユーザの動きに追従しない。いくつかの実施形態では、空間音声効果の基準フレームは、表示生成構成要素及びユーザが音声出力デバイス（単数又は複数）に対して物理的環境の周りを移動するときに、表示生成構成要素に固定され、ユーザに間接的に固定される。いくつかの実施形態では、コンピュータ生成体験の三次元環境に基づいて空間音声出力モード及び基準フレームを使用して音声コンテンツが出力されるとき、三次元環境の現在表示されているビューの視点は、ユーザによって提供された移動要求に従って、及び／又は物理的環境におけるユーザ及び／又は表示生成構成要素の動きに従って変化する。ユーザは、仮想音源の仮想ポジションから到来するものとして音を知覚し、ユーザの仮想ポジションを現在表示されているビューの視点に結び付けた状態で、同じ基準フレーム内の三次元環境の視覚コンテンツを体験する。
いくつかの実施形態では、空間音声効果の少なくともいくつかの基準フレームは、表示生成構成要素を介して提示される三次元環境の現在表示されているビュー（例えば、拡張現実環境、複合現実環境、仮想現実環境など）の視点に固定される。いくつかの実施形態では、視点は、三次元環境に対して移動して、コンピュータ生成体験中に三次元環境内の異なるポジション又は視点からの三次元環境のビューを提供する。いくつかの実施形態では、視点は、コンピュータ生成体験中に三次元環境で静止したままである。いくつかの実施形態では、三次元環境における視点の動きは、物理的環境における表示生成構成要素の動きによって引き起こされ、これに対応する。いくつかの実施形態では、三次元環境における視点の動きは、物理的環境に対するユーザ全体の動き又はユーザの頭から胴体への動きによって引き起こされ、それに対応する。いくつかの実施形態では、三次元環境における視点の動きは、ユーザによって提供される、及び／又はコンピュータシステムによって生成されるナビゲーション又は移動要求によって引き起こされ、それに対応する。いくつかの実施形態では、１つ以上の知覚された音源は、視点に対して三次元環境内にそれぞれの空間的ロケーションを有する。例えば、いくつかの実施形態では、コンピュータ生成体験は、視点に対して三次元環境内のそれぞれのポジションを有する知覚された音源の視覚的対応物（例えば、コンピュータ生成体験において音を生成した仮想オブジェクト、仮想光、仮想表面など）を含む。いくつかの実施形態では、コンピュータ生成体験は、視覚的対応物（例えば、コンピュータ生成体験において音を生成したリモート又は隠れ仮想オブジェクト、仮想風、サウンドエフェクト、外部ナレータなど）を含まない音を含むが、視点に対する三次元環境のそれぞれのポジションに対応する発生源を有する。いくつかの実施形態では、視点が三次元環境の周りを移動すると、音声出力デバイス（単数又は複数）からの音声出力は、音声が三次元環境のそれぞれのポジションにおいて１つ以上の知覚された音源から到来しているかのように音を発し続けるように調整される。
いくつかの実施形態では、コンピューティングシステムは、２つ以上の没入レベルを有する表示生成構成要素を介してＣＧＲコンテンツの視覚コンポーネントを表示するように構成される。いくつかの実施形態では、コンピュータシステムは、少なくとも第１の没入レベル、第２の没入レベル、及び第３の没入レベルを有するＣＧＲコンテンツの視覚コンポーネントを表示する。いくつかの実施形態では、コンピュータシステムは、少なくとも２つの没入レベルを有するＣＧＲコンテンツの視覚コンポーネントを表示し、互いに対してより没入レベルの低い視覚体験及びより没入レベルの高い視覚体験をそれぞれ提供する。いくつかの実施形態では、コンピューティングシステムは、一連の１つ以上のイベント（例えば、アプリケーション又は体験の自然な進行、ユーザ入力に応じた体験の開始、中止、及び／又は一時停止、ユーザ入力に応じた体験の没入レベルの変更、コンピューティングデバイスの状態の変化、外部環境の変化など）に応じて、表示生成構成要素を介して表示される視覚コンテンツを異なる没入レベル間で遷移させる。いくつかの実施形態では、第１、第２、及び第３の没入レベルは、ＣＧＲ環境に存在する仮想コンテンツの量の増加及び／又はＣＧＲ環境に存在する周囲の物理的環境の表現（例えば、第１の表示生成構成要素の前の物理的環境の部分の表現）の量の減少に対応する。いくつかの実施形態では、第１、第２、及び第３の没入レベルは、コンピュータ生成コンテンツの視覚コンポーネントのための画像忠実度（例えば、ピクセル解像度を上げる、色解像度を上げる、彩度を上げる、輝度を上げる、不透明度を上げる、画像の詳細を増やすなど）及び／又は空間的範囲（例えば、角度範囲、空間的深さなど）の増加、及び／又は周囲の物理的環境の表現のための画像忠実度及び／又は空間的範囲の減少を有するコンテンツ表示の異なるモードに対応する。いくつかの実施形態では、第１の没入レベルは、物理的環境が表示生成構成要素を通して（例えば、物理的環境のカメラビューとして、又は表示生成構成要素の透明又は半透明の部分を介して）ユーザに完全に見えるパススルーモードである。いくつかの実施形態では、パススルーモードで提示される視覚ＣＧＲコンテンツは、物理的環境のビューとして同時に見える最小量の仮想要素を有する、又は物理的環境のユーザのビューの周辺の仮想要素（例えば、ディスプレイの周辺領域に表示されるインジケータ及びコントロール）のみを有する、物理的環境のパススルービューを含む。例えば、物理的環境のビューは、表示生成構成要素によって提供される視野の中央及び大部分の領域を占有し、表示生成構成要素によって提供される視野の周辺領域には、少数のコントロール（例えば、映画のタイトル、プログレスバー、再生コントロール（例えば、再生ボタン）など）しか表示されない。いくつかの実施形態では、第１の没入レベルは、物理的環境が表示生成構成要素を介して（例えば、物理的環境のカメラビューとして、又は表示生成構成要素の透明部分を介して）第１のユーザに完全に見えるパススルーモードであり、視覚的ＣＧＲコンテンツは、物理的環境の表現の一部をオーバーレイし、その表示を置換し、又はそのビューをブロックする仮想ウィンドウ又は仮想フレームに表示される。いくつかの実施形態では、第２の没入レベルは、物理的環境のパススルービューがコンピュータシステムによって生成された仮想要素で拡張された複合現実モードであり、仮想要素は、ユーザの視野の中央領域及び／又は大部分の領域を占有する（例えば、仮想コンテンツは、コンピュータ生成環境のビュー内の物理的環境と統合される）。いくつかの実施形態では、第２の没入レベルは、物理的環境のパススルービューが、物理的環境の表現の一部をオーバーレイする、表示を置換する、又はビューをブロックするなどの仮想ウィンドウ、ビューポート、又はフレームで拡張され、表示生成構成要素が物理的環境に対して移動されるときに明らかにされる追加の深度又は空間範囲を有する複合現実モードである。いくつかの実施形態では、第３の没入レベルは、仮想コンテンツが物理的環境の表現と共に三次元環境に表示され、仮想オブジェクトが物理的環境の異なるロケーションに対応するポジションで三次元環境全体に分散される拡張現実モードである。いくつかの実施形態では、第３の没入レベルは、仮想コンテンツが物理的環境の表現なしで三次元環境に表示される仮想現実モードである。いくつかの実施形態では、上記の異なる没入レベルは、互いに対して没入レベルの増加を表す。
本明細書で説明するように、いくつかの実施形態によれば、コンピュータシステムは、コンピュータ生成体験の視覚コンテンツが表示生成構成要素によって表示されている没入レベルのレベルに従って、コンピュータ生成体験の音声コンテンツ（例えば、アプリケーション、映画、ビデオ、ゲームなど）を出力するための音声出力モードを選択する。いくつかの実施形態では、視覚コンテンツが表示される没入レベルが増加すると（例えば、第１の没入レベルから第２の没入レベルまで、第１の没入レベルから第３の没入レベルまで、又は第２の没入レベルから第３の没入レベルまでなど）、コンピュータシステムは、音声出力モードをより没入レベルの低い出力モードからより没入レベルの高い出力モードに切り替える（例えば、第１の音声出力モードから第２の音声出力モードへ、又は第１の音声出力モードから第３の音声出力モードへ、又は第２の音声出力モードから第３の音声出力モードへなどであり、ここで、第１の音声出力モード、第２の音声出力モード、及び第３の音声出力モードは、没入レベルが増加する音声出力に対応する）。本明細書で説明されるように、空間音声出力モードは、ステレオ音声出力モード及びモノラル音声出力モードよりも高い没入レベルに対応する。空間音声出力モードは、サラウンドサウンド出力モードよりも高い没入レベルに対応する。サラウンド音声出力モードは、ステレオ音声出力モードやモノラル音声出力モードよりも没入レベルが高いモードである。ステレオ音声出力モードは、モノラル音声出力モードよりも高い没入レベルに対応する。いくつかの実施形態では、コンピュータシステムは、表示生成構成要素を介してコンピュータ生成体験の視覚コンテンツが提供されている没入レベルに基づいて、複数の利用可能な音声出力モード、例えば、モノラル音声出力モード、ステレオ音声出力モード、サラウンドサウンド出力モード、空間音声出力モードなどから音声出力モードを選択する。
図７Ａ～図７Ｂは、表示生成構成要素（例えば、ディスプレイ７１００、ヘッドマウントディスプレイなどの別の種類の表示生成構成要素）及び１つ以上の音声出力デバイスと通信するコンピュータシステム（例えば、図１のコンピューティングシステム１０１又は図４のコンピューティングシステム１４０など）によって第１のコンピュータ生成体験が提供される例示的なシナリオを示している。
図７Ａでは、コンピュータ生成体験の視覚コンテンツ（例えば、コンテンツ７１０６、又は他のコンテンツなど）は、コンピュータ生成体験を提供することができる２つ以上の没入レベルのより低い没入レベルである第１の没入レベルで提供される。図７Ｂでは、コンピュータ生成体験の視覚コンテンツ（例えば、コンテンツ７１０６、又は他のコンテンツなど）は、コンピュータ生成体験を提供することができる２つ以上の没入レベルのより高い没入レベルである第２の没入レベルで提供される。
いくつかの実施形態では、図７Ａ及び図７Ｂに示されるシナリオの個別の１つは、他の図に示されるシナリオからの遷移を必要とすることなく（例えば、最初に別の没入レベルを有する視覚コンテンツを表示することを必要とすることなく）、コンピュータ生成体験が開始される時点（例えば、ユーザコマンドに応じて、コンピュータシステムによって生成されたイベントに応じてなど）で発生してもよい。結果として、対応する音声出力モードがコンピュータシステムによって選択され、コンピュータ生成体験の視覚コンテンツが提供されている没入レベルに従ってコンピュータ生成体験の音声コンテンツを出力する。
いくつかの実施形態では、コンピュータシステムは、図７Ａに示すシナリオから図７Ｂに示すシナリオに、又はその逆に遷移する（例えば、ユーザコマンドに応じて、コンピュータシステムによって生成されたイベントに応じて、満たされている予め設定された条件などに従って）。その結果、コンピュータシステムは、コンピュータ生成体験の視覚コンテンツが提供されている没入レベルの変化に応じて、ある音声出力モードから別の音声出力モードに遷移する。
いくつかの実施形態では、コンピュータ生成体験（例えば、三次元映画、仮想現実ゲーム、ビデオ、ユーザインタフェースオブジェクトを含む三次元環境など）は、仮想三次元環境で発生する仮想体験である。いくつかの実施形態では、コンピュータ生成体験は、物理的環境及び仮想コンテンツの表現を含む拡張現実体験である。図７Ａ及び図７Ｂでは、いくつかの実施形態によれば、オブジェクト（例えば、オブジェクト７１０４など）及び表面（例えば、垂直面７００４’及び７００６’、水平面７００８’など）は、仮想三次元環境（例えば、環境７１０２、又は別の仮想環境など）における仮想オブジェクト及び表面を表してもよい。図７Ａ及び図７Ｂでは、三次元環境７１０２はまた、いくつかの実施形態による、仮想オブジェクト及び表面（例えば、オブジェクト７１０４、仮想テーブルの表面など）並びに物理的オブジェクト及び表面（例えば、表現７００４’及び７００６’によって表される垂直壁、表現７００８’によって表される床、テーブル、窓など）の表現を含む拡張現実環境を表してもよい。環境７１０２は、この例では、コンピュータ生成体験の視覚コンテンツ７１０６の表示とは独立して、かつその前に存在することができる環境である。
図７Ａに示すように、表示生成構成要素（例えば、ディスプレイ７１００、又は別の種類のディスプレイなど）とユーザとの間の空間的関係は、ユーザが表示生成構成要素を介して提示された視覚的ＣＧＲコンテンツを見るポジションにいるようなものである。例えば、ユーザは、表示生成構成要素の表示側を向いている。いくつかの実施形態では、表示生成構成要素は、ＨＭＤのディスプレイであり、図７Ａに表される空間的関係は、ＨＭＤのディスプレイ側をユーザの目に向けた状態でＨＭＤを装着又は保持するユーザに対応する。いくつかの実施形態では、ユーザは、ユーザが表示生成構成要素の投影システムによって照明された物理的環境の一部分に面しているときに、表示生成構成要素を介して提示されたＣＧＲコンテンツを閲覧するポジションにいる。例えば、仮想コンテンツは、物理的環境の一部分上に投影され、仮想コンテンツ及び物理的環境の一部分は、ユーザが表示生成構成要素の表示面に面しているときに、物理的環境の一部分のカメラビュー又は表示生成構成要素の透明部分を介してユーザによって見られる。いくつかの実施形態では、表示生成構成要素は、ユーザが表示生成構成要素の表示面に面しているときに、ユーザの網膜上に画像を形成する光を発する。例えば、仮想コンテンツは、ＬＣＤ又はＬＥＤディスプレイによって、ＬＣＤ又はＬＥＤディスプレイによって表示される物理的環境のビューの一部分に重ね合わせて又は置き換えて表示され、ＬＣＤ又はＬＥＤディスプレイの表示面に面するユーザは、物理的環境の一部分のビューと共に仮想コンテンツを見ることができる。いくつかの実施形態では、表示生成構成要素は、ユーザの前の物理的環境のカメラビューを表示し、又は第１のユーザの前の物理的環境の一部分がユーザに見える透明若しくは半透明の部分を含む。
いくつかの実施形態では、コンピュータシステムは、ユーザに音声出力（例えば、表示されているＣＧＲコンテンツの視覚部分に付随するＣＧＲコンテンツの音声部分、ＣＧＲコンテンツの外部にあるシステムレベルの音など）をそれぞれ提供する１つ以上の音声出力デバイスを制御する。いくつかの実施形態では、コンピュータシステムは、音声ＣＧＲコンテンツを出力することができる異なる没入レベルに対応するステレオ音声出力モード、サラウンドサウンド出力モード、及び空間音声出力モードなどのうちの２つ以上を含む音声出力デバイスのそれ個別の音声出力モードを使用して、音声ＣＧＲコンテンツを出力する前に音声出力を生成及び／又は調整する。いくつかの実施形態では、コンピューティングシステムは、任意選択的に、（例えば、１つ以上の能動的又は受動的なノイズ抑制又はキャンセル構成要素を介して）周囲の物理的環境から伝播する音からユーザを部分的又は完全に遮蔽する。いくつかの実施形態では、アクティブ遮音又は音パススルーの量は、表示生成構成要素を介して示されるＣＧＲコンテンツに関連する現在の没入レベルに基づいてコンピューティングシステムによって判定される（例えば、パススルーモードのときは遮音なし、又は複合現実感モードのときは部分遮音、仮想現実感モードのときは完全遮音など）。
いくつかの実施形態では、図７Ａに示すように、コンピューティングシステムは、表示生成構成要素７１００（例えば、フレーム又はビューポートにＣＧＲコンテンツを表示するユーザコマンド７１１２に応じて（例えば、フレーム又は視点７１１０、ウィンドウ、仮想スクリーンなど）、又はより低い没入モードからの遷移、又はより没入モードからの遷移に応じて（例えば、図７Ｂに示すもの）など）を介して視覚的ＣＧＲコンテンツ７１０６を表示する。図７Ａに示される瞬間において、コンピューティングシステムは、映画（例えば、三次元映画、二次元映画、相互作用コンピュータ生成体験など）を表示している。映画は、映画のコンテンツが環境７１０２内の物理的環境の表現と同時に見えるように、フレーム又は視点７１１０で表示される。いくつかの実施形態では、この表示モードは、表示生成構成要素を介して提示されるＣＧＲコンテンツに関連する低レベル又は中間レベルの没入レベルに対応する。
いくつかの実施形態では、三次元環境（例えば、環境７１０２、別の環境など）に示される物理的環境の表現は、ユーザの目が表示生成構成要素（例えば、第１のユーザがＨＭＤを装着していなかった場合、又はＨＭＤを目の前に保持していた場合）の存在によってブロックされなかった場合に第１のユーザの視野内にある物理的環境の部分のカメラビューを含む。図７Ａに示す表示モードでは、ＣＧＲコンテンツ７１０６（例えば、映画、三次元拡張現実環境、ユーザインタフェース、仮想オブジェクトなど）は、物理的環境の表現の全部ではないが一部をオーバーレイ又は置換するように表示される。いくつかの実施形態では、表示生成構成要素は、物理的環境の一部分が第１のユーザに見える、透明部分を含む。いくつかの実施形態では、図７Ａに示す表示モードでは、ＣＧＲコンテンツ７１０６（例えば、映画、三次元拡張現実環境、ユーザインタフェース、仮想オブジェクトなど）は、物理的表面又は物理的環境内の空きスペースに投影され、物理的環境を有する表示生成構成要素の透明部分を通して見えるか、又は第１の表示生成構成要素によって提供される物理的環境のカメラビューを通して見ることができる。いくつかの実施形態では、ＣＧＲコンテンツ７１０６は、ディスプレイの限られた部分をオーバーレイするように表示され、第１の表示生成構成要素の透明又は半透明部分を通して見える物理的環境の全部ではないが限られた部分のビューをブロックする。いくつかの実施形態では、図７Ａに示すように、視覚的ＣＧＲコンテンツは、仮想ウィンドウ７１１０、仮想ビューポート、仮想スクリーン、有限の物理的表面のロケーションに対応するポジションなど、表示生成構成要素によって提供される視野の下位部分に限定され、視野は、三次元環境の他の下位部分（例えば、仮想オブジェクト及び／又は物理的環境の表現など）を同時に含む。
いくつかの実施形態では、図７Ａに示すように、ＣＧＲコンテンツに関連する及び／又はＣＧＲコンテンツに関連しない他のユーザインタフェースオブジェクト（例えば、再生コントロール７１０８、アプリケーションアイコンを有するドックなど）は、任意選択的に、三次元環境において視覚的ＣＧＲコンテンツと同時に表示される。いくつかの実施形態では、視覚的ＣＧＲコンテンツは、任意選択的に三次元コンテンツであり、ウィンドウ７１１０内の三次元コンテンツの現在表示されているビューの視点は、物理的環境における表示生成構成要素又はユーザの頭部のユーザ入力及び／又は動きに応じて移動する。
いくつかの実施形態では、視覚的ＣＧＲコンテンツが限定される（例えば、ウィンドウ７１１０、ビューポートなど）三次元環境の下位部分のロケーションは、視覚的ＣＧＲコンテンツの表示中に移動可能である。例えば、いくつかの実施形態によれば、視覚的ＣＧＲコンテンツを表示するウィンドウ７１１０又はビューポートは、ユーザのピンチアンドドラッグジェスチャに従って移動可能である。いくつかの実施形態では、視覚的ＣＧＲコンテンツを表示するウィンドウ又はビューポートは、ユーザが物理的環境（例えば、ユーザがＨＭＤを装着して物理的環境で歩いているとき、又はハンドヘルドディスプレイを物理的環境で動かすときなど）に対して表示生成構成要素を移動させるとき、表示生成構成要素によって提供される視野の予め設定された部分（例えば、視野の中心、又はユーザによって選択されたポジションなど）に留まる。
この例では、図７Ａに示すように、没入レベルが低い又は中間レベルの視覚的ＣＧＲコンテンツを表示するとき、コンピュータシステムは、物理的環境内の音声出力デバイス（単数又は複数）のロケーションに関連付けられた基準フレームに対する出力音であるステレオ音声出力モードなどの、没入レベルが低い又は中間レベルに対応する音声出力モードを選択する。この例では、いくつかの実施形態によれば、音声出力デバイスは、任意選択的に、物理的環境において表示生成構成要素及び／又はユーザに対して移動可能である。いくつかの実施形態によれば、ステレオ音声出力モードに従って出力される音声ＣＧＲコンテンツは、三次元環境７１０６内の視覚的ＣＧＲコンテンツのウィンドウ７１１０又はビューポートのポジション及び／又は動きを考慮しない。いくつかの実施形態によれば、ステレオ音声出力モードに従って出力される音声ＣＧＲコンテンツは、ウィンドウ７１１０又は視覚ＣＧＲコンテンツのビューポート内の仮想音源（単数又は複数）のポジション及び／又は動きを考慮しない。いくつかの実施形態によれば、ステレオ音声出力モードに従って出力される音声ＣＧＲコンテンツは、三次元環境７１０６内の視覚的ＣＧＲコンテンツの視点のポジション及び／又は動きを考慮しない。いくつかの実施形態によれば、ステレオ音声出力モードに従って出力される音声ＣＧＲコンテンツは、物理的環境における表示生成構成要素のポジション及び／又は動きを考慮しない。いくつかの実施形態によれば、ステレオ音声出力モードに従って出力される音声ＣＧＲコンテンツは、ユーザが表示生成構成要素に対して移動するとき、ユーザの仮想ポジションがＣＧＲコンテンツで表される三次元環境に対して移動するとき（例えば、視点の動きなどを引き起こす）、ウィンドウ７１１０が三次元環境内を移動するとき、及び／又は仮想音源の視覚的実施形態がウィンドウ７１１０内を移動するときなどにも、任意選択的に、ユーザの頭部のロケーションに結び付けられた基準フレームにロックされる。
いくつかの実施形態では、図７Ａに示すように、没入の低レベル又は中間レベルはまた、物理的環境（例えば、第１のユーザを取り囲む物理的環境の部分）から伝播される音の部分的な遮蔽又は部分的なパススルーに対応する。
図７Ｂは、図７Ａに示されたものよりも高い没入レベルを使用して表示生成構成要素（例えば、ディスプレイ７１００、又はＨＭＤなどの別の種類のディスプレイ）によって表示されている視覚的ＣＧＲコンテンツ７１０６の同じ部分を示している。いくつかの実施形態では、没入レベル間の切り替えは、視覚的ＣＧＲコンテンツの提示中にユーザ又はコンピュータシステムによって選択された任意の時点で行うことができる。この時点で、ＣＧＲコンテンツ７１０６は、依然として拡張現実環境７１０２に表示されているが、図７Ａに示すものよりも大きな空間範囲を占有している。例えば、視覚的ＣＧＲコンテンツ７１０６内の仮想オブジェクト７１０６－１、７１０６－２、７１０６－３、及び７１０６－４は、物理的環境内の物理的ロケーションに対応する空間的ポジションで表示され、物理的環境の表現に統合される。いくつかの実施形態では、追加の仮想オブジェクト、例えば、仮想影７１０６－１’、７１０６－４’７１０６－３’などは、三次元環境において仮想オブジェクト７１０６－１、７１０６－４、及び７１０６－３などをサポートするか、又は仮想オブジェクト７１０６－１、７１０６－４、及び７１０６－３などの下方にある物理的ロケーション（例えば、物理的表面のロケーション）に対応するそれぞれの仮想ポジションに追加される。いくつかの実施形態では、物理的環境に対する表示生成構成要素の動きに従って、コンピューティングシステムは、図７Ｂの視覚的ＣＧＲコンテンツ７１０６内の三次元環境７１０２のビュー並びに仮想オブジェクトの視野角及び視距離を更新する。
いくつかの実施形態では、図７Ｂは、任意選択的に、物理的環境の表現を有しない仮想現実モード（例えば、３Ｄ映画、又はゲームの環境など）など、更に高い没入レベルを有するＣＧＲコンテンツ７１０６の表示を表す。いくつかの実施形態では、コンピューティングシステムによって実行される切り替えは、第１のユーザからの要求（例えば、ＣＧＲコンテンツの没入レベルを変更するための予め設定された基準を満たすジェスチャ入力、又は現在のコンテキストに基づいてコンピュータシステムによって生成されたイベントなど）に応答する。
いくつかの実施形態では、図７Ｂに示すように、コンピューティングシステムは、（例えば、物理的環境の表現全体にわたって拡張現実モードでＣＧＲコンテンツ７１０６を表示するユーザコマンド７１１４に応じて、又はより低い没入モード（例えば、図７Ａに示すもの）からの遷移、又はより没入モード（例えば、仮想現実モード）からの遷移などに応じて）表示生成構成要素７１００を介して視覚的ＣＧＲコンテンツ７１０６を表示する。いくつかの実施形態では、図７Ｂに示すように、図７Ａのものと比較してより高い没入レベルを使用してＣＧＲコンテンツ７１０６を表示するとき、視覚的ＣＧＲコンテンツ７１０６は、仮想ウィンドウ７１１０、仮想ビューポート、有限の物理的表面のロケーション、仮想スクリーンなどの表示生成構成要素によって提供される視野の限定された下位部分にもはや限定されず、三次元環境７１０２の異なる部分全体にわたって異なるポジションに分散される。いくつかの実施形態では、ＣＧＲコンテンツに関連する及び／又はＣＧＲコンテンツに関連しない他のユーザインタフェースオブジェクト（例えば、再生コントロール７１０８、アプリケーションアイコンを有するドックなど）は、任意選択的に、三次元環境７１０２内の視覚的ＣＧＲコンテンツ７１０６と同時に表示される（例えば、視野の周辺部分、ユーザによって選択された部分など）。いくつかの実施形態では、視覚的ＣＧＲコンテンツ７１０６が三次元コンテンツである場合、三次元コンテンツの現在表示されているビューの視点は、任意選択的に、物理的環境における表示生成構成要素又はユーザの頭部のユーザ入力及び／又は動きに応じて移動する。
この例では、図７Ｂに示すように、没入レベルが増加した視覚的ＣＧＲコンテンツ７１０６を表示するとき、コンピュータシステムは、物理的環境内の音声出力デバイス（単数又は複数）のロケーションにもはや結び付けられていない基準フレームに対して出力されるサラウンドサウンド音声出力モード又は空間音声出力モードなどの、没入レベルの増加に対応する音声出力モードを選択する。
この例では、いくつかの実施形態によれば、音声出力デバイスは、任意選択的に、物理的環境において表示生成構成要素及び／又はユーザに対して移動可能である。いくつかの実施形態によれば、空間音声出力モードに従って出力される音声ＣＧＲコンテンツは、三次元環境７１０２における仮想音源のポジション及び／又は動きを考慮に入れる。いくつかの実施形態によれば、空間音声出力モードに従って出力される音声ＣＧＲコンテンツは、三次元環境７１０６内の視覚的ＣＧＲコンテンツの視点のポジション及び／又は動きを考慮に入れる。いくつかの実施形態によれば、空間音声出力モードに従って出力される音声ＣＧＲコンテンツは、物理的環境における表示生成構成要素のポジション及び／又は動きを考慮に入れる。
いくつかの実施形態では、より高い没入レベルはまた、物理的環境（例えば、第１のユーザを取り囲む物理的環境の部分）から伝播される音の遮蔽の増加又はパススルーの減少に対応する。
いくつかの実施形態では、表示生成構成要素、ユーザ、音声出力デバイス、視点、及び／又は仮想音源などのそれぞれの環境における動きを考慮する空間音声出力モードで音声ＣＧＲコンテンツを出力するために必要な調整を達成するために、音声出力デバイス（単数又は複数）のロケーションから分離されたそれぞれの基準フレーム（単数又は複数）における音源（単数又は複数）のポジション（単数又は複数）及び／又は動きを反映し続けながら、コンピュータシステムは、任意選択的に、ステレオ音声出力モードで使用されるものと比較して、音声を出力するために１つ以上の追加の音声出力コンポーネントを利用する。いくつかの実施形態では、追加の音声出力コンポーネントは、ステレオ音声出力モードで使用されるものとは異なるロケーションに配置される。いくつかの実施形態では、コンピュータシステムは、より高い没入レベルを有する表示生成構成要素を介して同時に提供されるコンピュータ生成体験の視覚的ＣＧＲコンテンツの対応する部分における仮想音源のポジション及び動きに基づいて、空間音声出力モードで音声ＣＧＲコンテンツの個別の部分を出力するときにアクティブ化される音声出力コンポーネントを動的に選択する。いくつかの実施形態では、空間音声出力モードにおいて音声ＣＧＲコンテンツを出力するために使用される音声出力コンポーネントは、ステレオ音声出力モード及び／又はサラウンドサウンド出力モードにおいて音声ＣＧＲコンテンツを出力するために使用される音声出力コンポーネントのスーパーセットである。いくつかの実施形態では、空間音声出力モードにおいて音声ＣＧＲコンテンツを出力するために使用される音声出力コンポーネントは、ステレオ音声出力モード及び／又はサラウンドサウンド音声出力モードにおいて音声ＣＧＲコンテンツを出力するために使用される音声出力コンポーネントよりも広い空間領域に及ぶ。
いくつかの実施形態では、空間音声出力モードは、視覚コンテンツに基づいて音の定位を提供する一方で、ステレオ音声出力は、ヘッドロック音を提供する。いくつかの実施形態では、表示生成構成要素及び音声出力デバイスは、同じヘッドマウントデバイス内に封入される。いくつかの実施形態では、表示生成構成要素及び音声出力デバイスは、ユーザの頭部に対して別々に配置される（例えば、ユーザから離れた物理的環境における目及び耳など）。いくつかの実施形態では、表示生成構成要素は、ユーザの頭部に対して固定的に位置決めされず、一方、音声出力デバイス（単数又は複数）は、ＣＧＲコンテンツの提示中に、ユーザの耳に対して固定的に位置決めされる。いくつかの実施形態では、表示生成構成要素は、ＣＧＲコンテンツの提示中に、ユーザの頭部に対して固定して位置決めされるが、音声出力デバイス（単数又は複数）は、ユーザに対して固定して位置決めされない。いくつかの実施形態では、コンピュータシステムは、表示生成構成要素、ユーザ、及び音声出力デバイス（単数又は複数）の相対的な動き及び空間的構成に応じて、音声ＣＧＲコンテンツが空間音声出力モードを使用して出力されている間に、音声ＣＧＲコンテンツに対応する音の生成を調整して、視覚コンテンツ（例えば、視点の動き、仮想音源の変更、仮想音源の動きなど）に基づく音の定位を提供する。
いくつかの実施形態では、視覚的ＣＧＲコンテンツ内の仮想音源のポジションに基づいて音の定位を提供するとき、コンピュータシステムは、ＣＧＲコンテンツの三次元環境内の個別の仮想音源の仮想ポジションを決定し、個別の仮想音源に対応する音の適切な基準フレーム（例えば、提示されているＣＧＲコンテンツのタイプに基づいて選択される、物理的環境に基づく、仮想環境に基づく、視点に基づく、などの基準フレーム）を決定し、ＣＧＲコンテンツの三次元環境内の個別の音源の現在のポジションに基づいて、選択された基準フレーム内の仮想音源の個別のポジションを決定し、音声が物理的環境内で、選択された基準フレーム内の個別の音源の個別のポジションから生じると知覚されるように、個別の音源に対応する音を出力するように音声出力デバイス（単数又は複数）の音声出力コンポーネントの動作を制御する。図７Ｂに示す例では、仮想オブジェクト７１０６－１が音声出力（例えば、チャープ音、トレーニングのチャギング音、スピーチ音など）に関連付けられた仮想音源（例えば、仮想鳥、仮想電車、仮想アシスタントなど）である場合、音声ＣＧＲコンテンツが空間音声出力モードを使用して出力されているとき、コンピュータシステムは、任意選択的に、表示生成構成要素の動き、ユーザの動き、及び／又は物理的環境内の音声出力デバイス（単数又は複数）の動きに関係なく、音が、ユーザによって知覚されると、三次元環境７１０２内の仮想オブジェクト７１０６－１の現在の仮想ポジションに対応する物理的ロケーションから発生したように見えるように、仮想音源の出力の音声出力コンポーネントを制御する。同様に、図７Ｂに示す例では、仮想オブジェクト７１０６－３が別の音声出力（例えば、別のチャープ音、口笛音など）に関連付けられた別の仮想音源（例えば、別の仮想鳥、仮想導体など）である場合、音声ＣＧＲコンテンツが空間音声出力モードを使用して出力されているとき、コンピュータシステムは、任意選択的に、表示生成構成要素の動き、ユーザの動き、及び／又は物理的環境内の音声出力デバイス（単数又は複数）の動きに関係なく、音が、ユーザによって知覚されたときに、三次元環境７１０２内の仮想オブジェクト７１０６－３の現在の仮想ポジションに対応する物理的ロケーションから発生したように見えるように、この他の仮想音源の出力の音声出力コンポーネントを制御する。
いくつかの実施形態では、ユーザのポジションに基づいて音の定位を提供するとき、コンピュータシステムは、ＣＧＲコンテンツの三次元環境における個別の仮想音源の仮想ポジションを判定し、ＣＧＲコンテンツの三次元環境に対するユーザのロケーションに関連付けられた基準フレームを判定し、ユーザのロケーションに基づいて基準フレームにおける仮想音源の個別のポジションを判定し、音声が物理的環境においてユーザの現在のロケーションに固定された基準フレームにおける個別の音源の個別のポジションから生じると知覚されるように、個別の音源に対応する音を出力するように音声出力デバイス（単数又は複数）の音声出力コンポーネントの動作を制御する。図７Ｂに示す例では、音声出力に関連付けられた仮想音源（例えば、外部ナレータ、仮想アシスタント、周囲音源など）は、任意選択的に、対応する仮想オブジェクトを有していない。音声ＣＧＲコンテンツが空間音声出力モードを使用して出力されているとき、コンピュータシステムは、任意選択的に、表示生成構成要素の動き、ユーザの動き、及び／又は物理的環境における音声出力デバイス（単数又は複数）の動きに関係なく、ユーザによって知覚されたときに、音声がユーザに対して固定されたロケーション又は領域から発生したように見えるように、仮想音源の音声の出力の音声出力コンポーネントを制御する。いくつかの実施形態によれば、視覚的ＣＧＲコンテンツの視点は、表示生成構成要素の動き及び／又はユーザの動きに従って任意選択的に変化する一方で、仮想音源に対応する音声出力は、ユーザに対して固定されたままである。
図７Ｃ～図７Ｈは、いくつかの実施形態による、重要な物理的オブジェクトが表示生成構成要素又はユーザのロケーションに近付くときの仮想コンテンツの一部の外観の変更（例えば、物理的オブジェクトの一部の表現が仮想コンテンツを破ることを可能にすること、物理的オブジェクトの一部の視覚特性に基づいて仮想コンテンツの１つ以上の視覚特性を変更することなど）を示すブロック図である。
いくつかの実施形態では、三次元環境（例えば、図７Ｃ～図７Ｈの環境７１２６、別の環境など）（例えば、仮想現実環境、拡張現実環境など）で仮想コンテンツを表示するとき、物理的環境のビューの全部又は一部は、仮想コンテンツ（例えば、図７Ｄの仮想オブジェクト７１２８、７１３０など）によってブロック又は置換される。場合によっては、物理的オブジェクト（例えば、図７Ｃの物理的オブジェクト７１２２、ユーザにとって重要な別の物理的オブジェクトなど）の少なくとも一部が（例えば、図７Ｆ及び図７Ｈに示すように）三次元環境のビューで視覚的に表されるように、仮想コンテンツよりも物理的環境（例えば、図７Ｃ、図７Ｅ、及び図７Ｇのシーン１０５）内の特定の物理的オブジェクト（例えば、図７Ｃの物理的オブジェクト７１２２、ユーザにとって重要な別の物理的オブジェクトなど）に表示優先度を与えることが有利である。いくつかの実施形態では、コンピュータシステムは、物理的環境における個別の物理的オブジェクトのロケーションが三次元環境における仮想コンテンツの部分のポジションに対応するときに、個別の物理的オブジェクトの表現が三次元環境において現在表示されている仮想コンテンツの部分を破ることができるように、個別の物理的オブジェクトに表示優先度を与えるべきかどうかを判定するための様々な基準を利用する。いくつかの実施形態では、基準は、物理的オブジェクトの少なくとも一部が、表示生成構成要素のユーザ（例えば、表示生成構成要素を介して仮想コンテンツを見ているユーザ７００２、物理的オブジェクトの部分のビューがブロックされているか、又は仮想コンテンツの表示によって置換されているユーザなど）を取り囲む閾値空間領域（例えば、図７Ｃ、図７Ｅ、及び図７Ｇの空間領域７１２４、別の空間領域など）に接近して進入したという要件と、物理的オブジェクトの高まった重要性をユーザに示す、物理的オブジェクト（例えば、図７Ｃの物理的オブジェクト７１２２、ユーザにとって重要な別の物理的オブジェクトなど）に関する１つ以上の特性の存在をコンピュータシステムが検出するという追加の要件とを含む。いくつかの実施形態では、ユーザにとって重要性が高められた物理的オブジェクトは、（例えば、図７Ｃ～図７Ｈの例に示すように）ユーザの友人又は家族、ユーザのチームメンバ又は監督者、ユーザのペットなどであってもよい。いくつかの実施形態では、ユーザにとって重要性が高められた物理的オブジェクトは、緊急事態に対処するためにユーザの注意を必要とする人又はオブジェクトであってもよい。いくつかの実施形態では、ユーザにとってより重要な物理的オブジェクトは、ユーザが逃さない行動をとるためにユーザの注意を必要とする人又はオブジェクトであってもよい。基準は、ユーザのニーズ及び要望に基づいてユーザによって、及び／又はコンテキスト情報（例えば、時間、ロケーション、スケジュールされたイベントなど）に基づいてシステムによって調整可能である。いくつかの実施形態では、仮想コンテンツよりも重要な物理的オブジェクトに表示優先度を与え、三次元環境のビューにおいて物理的オブジェクトの少なくとも一部を視覚的に表現することは、仮想コンテンツの一部（例えば、図７Ｆの仮想オブジェクト７１３０の一部、図７Ｈの仮想オブジェクト７１２８の一部など）の表示を物理的オブジェクトの一部の表現に置換すること、又は物理的オブジェクトの一部の外観に応じて仮想コンテンツの一部の外観を変更することを含む。いくつかの実施形態では、物理的オブジェクトの部分のロケーションに対応するポジションが、表示生成構成要素（例えば、ポジションは仮想コンテンツによって現在占有されている）によって提供される視野内に見える場合であっても、物理的オブジェクトの少なくとも一部（例えば、図７Ｆのペット７１２２の耳及び身体、図７Ｈのペット７１２２の身体の一部など）は、三次元環境のビューに視覚的に表されず、仮想コンテンツの表示によってブロック又は置換されたままである。いくつかの実施形態では、物理的オブジェクトの存在を示すように変更された三次元環境の部分、及び物理的オブジェクトの存在を示すように変更されていない三次元環境の部分（例えば、三次元環境の部分（例えば、仮想オブジェクト７１２８、仮想オブジェクト７１３０の一部など）は、コンピュータ生成体験の進行、及び／又は三次元環境とのユーザ相互作用などに基づいて変化し続けることができる）は、仮想オブジェクト又は表面の連続部分（例えば、仮想オブジェクト７１２８、仮想オブジェクト７１３０の一部など）上のポジションに対応する。
いくつかの実施形態では、ユーザが表示生成構成要素を介して仮想現実体験又は拡張現実体験などのコンピュータ生成体験に関与しているとき、物理的環境のユーザのビューは、コンピュータ生成体験における仮想コンテンツの存在によってブロック又は不明瞭にされる。いくつかの実施形態では、ユーザが仮想現実体験又は拡張現実体験に関与している間に、ユーザの物理的近傍に接近している重要な物理的オブジェクト（例えば、人、ペットなど）の存在をユーザに明らかにする又は視覚的に示すことが望ましい状況がある。いくつかの実施形態では、重要な物理的オブジェクトはユーザの潜在的な視野内にあるが、表示生成構成要素及びコンピュータ生成体験の仮想コンテンツの存在については（例えば、表示生成構成要素及び／又は仮想コンテンツが存在しない場合、物理的オブジェクトはユーザに見える）、物理的オブジェクトの第１の部分に対応するポジションにある仮想コンテンツの一部は、物理的オブジェクトの第１の部分の外観を反映するために除去又は外観が変更され、物理的オブジェクトの第１の部分に隣接する物理的オブジェクトの別の部分に対応するポジションにある仮想コンテンツの別の部分は、物理的オブジェクトの他の部分の外観を反映するために除去又は変更されない。換言すれば、仮想コンテンツは、潜在的にユーザの視野内にある物理的オブジェクトの全ての部分を示すように突然除去又は変更されるのではなく、コンピュータ生成体験の混乱を容易にするために部分ごとに徐々に除去又は変更される。
様々な実施形態では、重要な物理的オブジェクトは、物理的オブジェクトとユーザとの間の距離と無関係又は独立した少なくとも１つの要件を含む基準に基づいてコンピュータシステムによって識別される。いくつかの実施形態では、コンピュータシステムは、接近する物理的オブジェクトがユーザにとって重要な物理的オブジェクトであるかどうかを判定するときに、ユーザの以前に入力された設定、以前に識別された特性の存在、現在のコンテキスト、物理的オブジェクトに関連付けられたマーカオブジェクト又は信号の存在などの様々な情報を考慮し、コンピュータ生成された体験を視覚的に混乱させることを保証する。
図７Ｃに示すように、ユーザ７００２は、物理的環境（例えば、シーン１０５、又は別の物理的環境など）に存在する。ユーザ７００２は、表示生成構成要素（例えば、表示生成構成要素７１００、ＨＭＤなどの別の種類の表示生成構成要素など）を介して表示されるコンテンツを見るために、表示生成構成要素に対して所定のポジションにいる。ユーザ７００２を囲む予め設定された空間領域７１２４は、図７Ｃにおいて、ユーザ７００２を囲む破線によって示されている。いくつかの実施形態では、予め設定された空間領域７１２４は、ユーザ７００２を取り囲む三次元領域である。いくつかの実施形態では、予め設定された空間領域７１２４は、物理的環境内のユーザ（例えば、ユーザの頭部のロケーション、ユーザの重心のロケーションなど）の特性ロケーションに対する予め設定された閾値距離（例えば、アームの長さ、２メートルなど）によって定義される。いくつかの実施形態では、予め設定された空間領域７１２４は、ユーザの背面（例えば、後頭部、後頭部など）からよりもユーザの前面（例えば、顔、胸など）からの距離が大きい境界面を有する。いくつかの実施形態では、予め設定された空間領域７１２４は、ユーザの一方側からユーザの他の側よりも大きい距離を有する境界面を有する（例えば、ユーザの右側よりもユーザの左側からの距離が大きい、又はその逆である）。いくつかの実施形態では、予め設定された空間領域７１２４は、ユーザの両側で対称である境界面を有する。いくつかの実施形態では、予め設定された空間領域７１２４は、ユーザの身体の下部（例えば、ユーザの足、ユーザの脚など）からよりも、ユーザの身体の上部（例えば、ユーザの頭、ユーザの胸など）からの距離が大きい。いくつかの実施形態では、表示生成構成要素は、ユーザの頭部との固定された空間的関係を有する。いくつかの実施形態では、表示生成構成要素は、ユーザの目を囲み、表示生成構成要素を介して提供されるビューを除いて、物理的環境のユーザのビューをブロックする。
いくつかの実施形態では、図７Ｃに示すように、物理的環境には他の物理的オブジェクト（例えば、物理的オブジェクト７１２０、物理的オブジェクト７１２２など）及び物理的表面（例えば、壁７００４、７００６、床７００８など）が存在する。いくつかの実施形態では、物理的オブジェクトの少なくともいくつかは、物理的環境に対して静止したオブジェクトである。いくつかの実施形態では、物理的オブジェクトの少なくともいくつかは、物理的環境及び／又はユーザに対して移動する。図７Ｃに示す例では、物理的オブジェクト７１２２は、予め設定された基準による評価に基づいて、ユーザ７００２にとって重要な第１の種類の物理的オブジェクトのインスタンスを表す。物理的オブジェクト７１２０は、予め設定された基準による評価に基づいて、ユーザ７００２にとって重要ではない第２の種類の物理的オブジェクトのインスタンスを表す。いくつかの実施形態では、物理的環境は、所与の時間に２つのタイプの物理的オブジェクトのうちの１つのみを含んでもよい。いくつかの実施形態では、ユーザ７００２がコンピュータ生成体験を既に開始した後に、二種類の物理的オブジェクトのうちの個別の物理的オブジェクトが物理的環境に入ることがあり、表示生成構成要素及び／又は表示生成構成要素を介して表示される仮想コンテンツの存在に起因して、物理的オブジェクトが物理的環境に入ることを必ずしも知覚しない。
図７Ｄは、表示生成構成要素が、図７Ｃに示すビューに対応する時間に三次元環境７１２６のビューを表示していることを示している。この例では、三次元環境７１２６は、表示生成構成要素及びユーザを取り囲む物理的環境の表現を含まない仮想三次元環境である。いくつかの実施形態では、仮想三次元環境は、仮想三次元環境７１２６内の様々なポジションに仮想オブジェクト（例えば、仮想オブジェクト７１２８、仮想オブジェクト７１３０、ユーザインタフェースオブジェクト、アイコン、アバターなど）及び仮想表面（例えば、仮想表面７１３２、７１３６、及び７１３８、仮想ウィンドウ、仮想スクリーン、ユーザインタフェースの背景表面など）を含む。いくつかの実施形態では、ユーザ及び／又は表示生成構成要素の動きは、物理的環境におけるユーザ及び／又は表示生成構成要素の動きに応じて、三次元環境７１２６の現在表示されているビューの視点を変化させる。いくつかの実施形態では、コンピュータシステムは、ユーザ入力、コンピュータ生成体験の予めプログラムされた進行、及び／又は予め設定された条件が満たされたことに基づいてコンピュータシステムによって生成されたイベントに従って、三次元環境７１２６の現在表示されているビューの視点を移動又は変更する。いくつかの実施形態では、仮想コンテンツ（例えば、映画、ゲームなど）は、ユーザ入力なしで、コンピュータ生成体験の進行に従って経時的に変化する。
いくつかの実施形態では、図７Ｄに示す三次元環境７１２６は、拡張現実環境を表し、仮想コンテンツ（例えば、仮想表面及び仮想オブジェクト）は、物理的環境の表現（例えば、シーン１０５、又はユーザを取り囲む別の物理的環境など）と同時に表示される。ユーザ（例えば、表示生成構成要素が存在しないか、又は仮想コンテンツを表示していた場合、ユーザに見えるか、又はユーザの視野内にある物理的環境の部分）の前の物理的環境（例えば、物理的環境の１つ以上の連続した（又は連続した）部分、及び／又は不連続で切断された部分）の表現の少なくとも一部は、表示生成構成要素によって表示される仮想コンテンツによってブロックされ、置換され、又は隠される。例えば、いくつかの実施形態では、仮想表面７１３２、７１３６は、物理的環境１０５内の壁７００６及び７００４の表現であり、仮想表面７１３４は、物理的環境１０５内の床７００８の表現であり、仮想オブジェクト７１２８及び７１３０は、物理的環境の表現（例えば、壁７００６及び床７００８の表現の一部、並びに物理的オブジェクト７１２０及び７１２２の表現など）の少なくとも一部をブロック、置換、又はオーバーレイする。
図７Ｃ及び図７Ｄに示すように、物理的オブジェクト７１２２及び７１２０が双方ともユーザ７００２を取り囲む予め設定された空間部分７１２４の外側にあるが、表示生成構成要素７１００の存在なしにユーザの潜在的な視野内にある時点で、三次元環境７１２６の仮想コンテンツ（例えば、仮想オブジェクト７１２８及び７１３０など）は、物理的オブジェクト７１２２及び７１２０の混乱なしに表示生成構成要素７１００を介して表示される。例えば、三次元環境７１２６が仮想環境である場合、物理的オブジェクト７１２２及び７１２０のロケーションに対応するポジションが表示生成構成要素によって提供される視野内にあるにもかかわらず、物理的オブジェクト７１２２及び７１２０のロケーションに対応するそれぞれの仮想ポジションを有する仮想コンテンツの部分は、元のＣＧＲ体験に従って通常表示される。別の例では、三次元環境７１２６が拡張現実環境である場合、物理的オブジェクト７１２２及び７１２０のロケーションに対応するそれぞれの仮想ポジションを有する仮想コンテンツの部分は、物理的オブジェクト７１２２及び７１２０のロケーションに対応するポジションが表示生成構成要素によって提供される視野内にある場合であっても、物理的環境のいくつかの部分（例えば、壁の部分、床、物理的オブジェクト７１２２及び７１２０の部分など）がＣＧＲ体験の仮想コンテンツによって現在占有されていない、又は視覚的にブロックされていない空間内で見える場合であっても、元のＣＧＲ体験に従って通常表示される。
図７Ｅ～図７Ｆは、物理的オブジェクト７１２２及び７１２０が物理的環境１０５内でユーザ７００２の近くに移動したシナリオを示している。このとき、物理的オブジェクト７１２２の全空間的範囲の一部のみが、ユーザ７００２を取り囲む予め設定された空間領域７１２４内にある。同様に、物理的オブジェクト７１２０の全空間範囲の一部のみが、ユーザ７００２を囲む予め設定された空間領域７１２４内にある。いくつかの実施形態では、物理的環境における物理的オブジェクト（例えば、物理的オブジェクト７１２０、物理的オブジェクト７１２２など）の動きの検出に応じて、ユーザが物理的オブジェクトの閾値距離内にあるという判定に従って（例えば、閾値距離は、予め設定された空間領域７１２４の境界面、及びユーザと物理的オブジェクトとの間の個別の相対的な空間的関係、固定された予め設定された閾値距離などに基づいて判定される）、コンピュータシステムは、物理的オブジェクトが予め設定された基準に従ってユーザにとって重要な物理的オブジェクトであるかどうかを判定する。
この例では、物理的オブジェクト７１２２は、ユーザ７００２にとって重要な物理的オブジェクトとして認定するための要件を満たし、したがって、コンピュータシステムは、物理的オブジェクト７１２２の第１の部分の外観に従って、物理的オブジェクト７１２２の第１の部分のロケーションに対応するポジションに表示される仮想コンテンツの外観を変更する。図７Ｆに示すように、物理的オブジェクト７１２２の第１の部分のロケーションに対応するポジションに示されている仮想コンテンツが除去され、物理的オブジェクト７１２２の第１の部分（例えば、ペットの頭部の一部、物理的オブジェクト７１２２の頭部など）の表現７１２２－１’が明らかになる。いくつかの実施形態では、物理的オブジェクト７１２２の第１の部分のロケーションに対応するポジションに示される仮想コンテンツ（例えば、この例では、図７Ｆの仮想オブジェクト７１３０の一部）の視覚特性（例えば、色、シミュレートされた屈折率、透明度、輝度など）は、物理的オブジェクト７１２２の第１の部分の外観に応じて変更される。いくつかの実施形態では、図７Ｆに示すように、予め設定された空間領域７１２４内の物理的オブジェクト７１２２の部分のいくつかの部分のロケーションに対応するポジションの仮想コンテンツは、物理的オブジェクトの部分のそれらの部分（例えば、図７Ｅに示すように、物理的オブジェクト７１２２の頭部の一部、及び物理的オブジェクト７１２２の身体部分の一部）がユーザの閾値距離内にあり、表示生成構成要素が除去された場合、この時点でユーザの自然視野内にあるにもかかわらず、三次元環境７１２６（例えば、図７Ｆの表現７１２２－１’の波状縁の周りの仮想オブジェクト７１３０の部分）のビューで変更されない。いくつかの実施形態では、予め設定された空間領域７１２４内の物理的オブジェクト７１２２の部分の全ての部分のロケーションに対応するポジションの仮想コンテンツは、物理的オブジェクト７１２２の部分が予め設定された空間領域７１２４内に留まる期間の後に、三次元環境７１２６のビューで最終的に除去又は変更されてもよい。
この例では、物理的オブジェクト７１２０は、ユーザ７００２にとって重要な物理的オブジェクトとして認定するための要件を満たしておらず、したがって、コンピュータシステムは、物理的オブジェクト７１２０の第１の部分の外観に従って、物理的オブジェクト７１２０の第１の部分のロケーションに対応するポジションに表示される仮想コンテンツ（例えば、図７Ｆの仮想オブジェクト７１２８）の外観を変更しない。図７Ｆに示すように、物理的オブジェクト７１２０の第１の部分のロケーションに対応するポジションに示されている仮想コンテンツは除去されず、物理的オブジェクト７１２０の第１の部分は、三次元環境７１２６のビューでは見えない。
いくつかの実施形態では、物理的オブジェクト７１２０と物理的オブジェクト７１２２との処理の間のコントラストは、物理的オブジェクト７１２０及び７１２２が評価される予め設定された基準に基づく。例えば、物理的オブジェクト７１２２が重要であるとき、物理的オブジェクト７１２０は、ユーザによって以前に重要としてマークされていない。物理的オブジェクト７１２２が存在しているとき、物理的オブジェクト７１２０は、閾値速度を超えてユーザに向かって移動していない。物理的オブジェクト７１２２が存在しているとき、物理的オブジェクト７１２０は、人又はペットではない。物理的オブジェクト７１２２が人であるが話していないとき、物理的オブジェクト７１２０は、人であるがユーザに近付いているときに話していない。物理的オブジェクト７１２２が存在しているとき、物理的オブジェクト７１２０は、予め設定された識別子オブジェクト（例えば、無線送信されたＩＤ、ＲＦＩＤタグ、色分けされたタグを有するカラーなど）を装着していないなどである。
図７Ｆに示すビューでは、物理的オブジェクト７１２０の第１の部分は、ユーザ７００２の閾値距離内にあり、コンピュータ生成環境７１２６内のその対応するポジションは、コンピュータ生成環境のユーザの視野に基づいてユーザに可視であり、物理的オブジェクト７１２０の第１の部分に対応するポジションは、ユーザの視野から別の物理的オブジェクト又は物理的オブジェクト７１２０の別の部分に対応するポジションによってブロックされず、コンピュータシステムは、物理的オブジェクト７１２０がユーザ７００２にとって重要な物理的オブジェクトであるための予め設定された基準を満たさないため、物理的オブジェクト７１２０の第１の部分に対応するポジションに表示される仮想コンテンツの部分（例えば、図７Ｆの仮想オブジェクト７１２８）の外観を依然として変更しない。例えば、ボールは、第１の物理的オブジェクトが人又はペットであることを必要とする予め設定された基準を満たさない。ボールがユーザに接近して転がるとき、コンピュータシステムは、ユーザに対するボールのロケーションに対応するコンピュータ生成環境内のポジションに表示される仮想コンテンツの外観を変更しない。対照的に、ペットがユーザに近付いた場合、コンピュータシステムは、ペットの他の部分に対応するポジションもユーザの現在の視野内にあるにもかかわらず、ユーザの予め設定された距離に入っていないペットの他の部分に対応するポジションに表示される仮想コンテンツの外観を変更することなく、ユーザの予め設定された距離に入ったペットの部分に対応するポジションに表示される仮想コンテンツの外観を変更する。
図７Ｇ及び図７Ｈは、後に、物理的オブジェクト７１２０及び７１２２の双方がユーザの更に近くに移動し、ユーザを囲む予め設定された空間部分７１２４に完全に入り、表示生成構成要素が除去された場合にユーザの視野内にあることを示している。
図７Ｈに示すように、コンピュータシステムは、物理的オブジェクト７１２２の第２の部分（例えば、物理的オブジェクト７１２２の頭部及び身体部分の少なくとも一部）の外観に応じて、物理的オブジェクト７１２２の第２の部分（例えば、物理的オブジェクト７１２２の第１の部分と、ユーザを取り囲む予め設定された空間領域７１２４に入った物理的オブジェクト７１２２の追加部分とを含む部分）のロケーションに対応するポジションに表示される仮想コンテンツの外観（例えば、仮想オブジェクト７１３０及び仮想オブジェクト７１２８の少なくとも一部など）を変更する。図７Ｈに示すように、物理的オブジェクト７１２２の第２の部分のロケーションに対応するポジションに示されている仮想コンテンツは除去され、物理的オブジェクト７１２２の第２の部分の表現７１２２－２’を明らかにする（例えば、図７Ｆに示す表現７１２２－１’に対応するものよりも物理的オブジェクト７１２２の大部分）。いくつかの実施形態では、物理的オブジェクト７１２２の第２の部分のロケーションに対応するポジションに示される仮想コンテンツの視覚特性（例えば、色、シミュレートされた屈折率、透明度、輝度など）は、物理的オブジェクト７１２２の第２の部分の外観に応じて変更される。いくつかの実施形態では、図７Ｈに示すように、予め設定された空間領域７１２４内の物理的オブジェクト７１２２の部分のいくつかの部分のロケーションに対応するポジションの仮想コンテンツは、物理的オブジェクトの部分のそれらの部分がユーザの閾値距離内にあり、表示生成構成要素が除去された場合にこの時点でユーザの自然視野内にあるにもかかわらず、三次元環境７１２６のビューにおいて変更されない。いくつかの実施形態では、予め設定された空間領域７１２４内の物理的オブジェクト７１２２の部分の全ての部分のロケーションに対応するポジションの仮想コンテンツは、物理的オブジェクト７１２２の部分が予め設定された空間領域７１２４内に留まる期間の後に、三次元環境７１２６のビューで最終的に除去又は変更されてもよい。
この例では、物理的オブジェクト７１２０は、ユーザ７００２にとって重要な物理的オブジェクトとして認定するための要件を満たしておらず、したがって、コンピュータシステムは、物理的オブジェクト７１２０の第２の部分の外観に従って、物理的オブジェクト７１２０の第２の部分のロケーションに対応するポジションに表示される仮想コンテンツの外観を変更しない。図７Ｈに示すように、図７Ｈでは、物理的オブジェクト７１２０の第２の部分のロケーションに対応するポジションに示されている仮想コンテンツは除去されず、物理的オブジェクト７１２０の第２の第１の部分は、三次元環境７１２６のビューでは見えない。
いくつかの実施形態では、三次元環境７１２６のビューで明らかにされる物理的オブジェクト７１２２の部分と、三次元環境のビューでは明らかにされない物理的オブジェクト７１２２の他の部分との間に、第１の物理的オブジェクトの異なる部分に適用される異なる処理の基礎を提供する明確な構造的又は視覚的分割はない。代わりに、違いは、明らかにされる物理的オブジェクト７１２０の部分がユーザの閾値距離又は領域内にある一方で、物理的オブジェクト７１２２の他の部分はユーザの閾値距離又は領域内にないという事実に基づく。例えば、物理的オブジェクト７１２２はペットであり、所与の時点において、仮想コンテンツの除去又は仮想コンテンツの外観の変更によって明らかにされる物理的オブジェクトの部分は、ペットの頭の第１の部分（例えば、鼻、ひげ、顔の一部など）を含み、仮想コンテンツの除去又は変化によって明らかにされない物理的オブジェクトの残りの部分は、ユーザの閾値距離内にないペットの頭（例えば、顔及び耳の残りの部分など）及び頭に接続された胴体の追加部分を含む。
いくつかの実施形態では、予め設定された空間領域７１２４内にある物理的オブジェクト７１２２の一部の存在を明らかにするために変更又は削除される仮想コンテンツの一部は、連続した仮想オブジェクト又は表面の一部であり、連続した仮想オブジェクト又は表面の他の部分は変更なしに表示され続ける。例えば、図７Ｆに示すように、予め設定された空間部分７１２４内にあり、仮想オブジェクト７１３０の一部のポジションに対応するポジションを有するロケーションに物理的オブジェクト７１２２の一部の存在を明らかにするために、仮想オブジェクト７１３０の一部のみが除去されるか又は外観が変更される。
いくつかの実施形態では、物理的オブジェクト７１２２は、コンピュータシステムによって検出され、人と人以外の物理的オブジェクトとを区別する第１の特性に基づいて、ユーザ７００２にとって重要な物理的オブジェクトとして適格である。いくつかの実施形態では、第１の特性は、予め設定された顔の構造（例えば、目の存在及び／又は動き、目、鼻、及び口の相対ロケーションなど）、物理的オブジェクト７１２２上の身体部分（例えば、頭部、身体、及び四肢など）の割合及び相対ポジション）、物理的オブジェクト７１２２の動きに伴う人間の声、人間の歩行又は走行に関連する動きパターン（例えば、腕の振り、歩行など）などを含む。物理的オブジェクト７１２０は、第１の特性が物理的オブジェクト７１２０に存在しないため、ユーザ７００２にとって重要な物理的オブジェクトとしての品質を有しない。
いくつかの実施形態では、物理的オブジェクト７１２２は、コンピュータシステムによって検出され、物理的オブジェクト７１２２がユーザに向かって移動しているときに物理的オブジェクト７１２２から到来する人間の声を示す第２の特性に基づいて、ユーザ７００２にとって重要な物理的オブジェクトとして適格である。いくつかの実施形態では、第２の特性は、物理的オブジェクト７１２２のロケーションに由来する音の予め設定された音声特性（例えば、声紋の存在、人間の言語の発話パターンなど）、物理的オブジェクト７１２２の動きに伴う人間の声の特性、１つ以上の予め設定された単語の発話（例えば、「こんにちは！」「やあ！」「こんにちは！」、「［ユーザ名］」などを含む。物理的オブジェクト７１２０は、第２の特性が物理的オブジェクト７１２０に存在しないため、ユーザ７００２にとって重要な物理的オブジェクトとしての品質を有しない。
いくつかの実施形態では、物理的オブジェクト７１２２は、コンピュータシステムによって検出され、動物を人と人以外の物理的オブジェクトから区別する第３の特性に基づいて、ユーザ７００２にとって重要な物理的オブジェクトとして適格である。いくつかの実施形態では、第３の特性は、予め設定された頭部構造（例えば、目の存在及び／又は動き、目、鼻、耳、ひげ、及び口などの相対ロケーション）、物理的オブジェクト７１２２の身体部分の割合及び相対ポジション（例えば、頭、体、尾、及び肢など）、毛皮の存在、毛の色及び模様など）、物理的オブジェクト７１２２の動きに伴う動物の鳴き声対人間の声の検出、動物の歩行又は走行に関連する動きパターンの検出（例えば、地面上の４本の脚、翼のばたつき、歩行など）などを含む。物理的オブジェクト７１２０は、第３の特性が物理的オブジェクト７１２０に存在しないため、ユーザ７００２にとって重要な物理的オブジェクトとしての品質を有しない。
いくつかの実施形態では、物理的オブジェクト７１２２は、コンピュータシステムによって検出され、予め設定された閾値速度を超える物理的オブジェクト７１２２の特徴的な移動速度に基づく第４の特性に基づいて、ユーザ７００２にとって重要な物理的オブジェクトとして適格である。いくつかの実施形態では、特徴的な移動速度は、物理的オブジェクト又は物理的環境の別の部分に対する物理的オブジェクトの少なくとも一部の移動速度（例えば、人の手を振ること、コルクを弾いてボトルを開けることなど）、又はユーザに向かう物理的オブジェクトの少なくとも一部の移動速度などを含む。物理的オブジェクト７１２０は、その特徴的な移動速度が予め設定された閾値移動速度を満たさなかったため、ユーザ７００２にとって重要な物理的オブジェクトとしての品質を有しない。
いくつかの実施形態では、物理的オブジェクト７１２２は、コンピュータシステムによって検出され、ユーザの即時の注意を必要とするイベント（例えば、緊急事態、危険など）の発生を示す物理的オブジェクト７１２２の第５の特性に基づいて、ユーザ７００２にとって重要な物理的オブジェクトとして適格である。いくつかの実施形態では、第５の特性は、点滅する光、動きパターン（例えば、ドア又は窓の開放、閉鎖など、人が手を振ることなど）、振動（例えば、標識の揺れ、カーテン、落下物など）、叫び、サイレンなどを含む。物理的オブジェクト７１２０は、第５の特性が物理的オブジェクト７１２０に存在しないため、ユーザ７００２にとって重要な物理的オブジェクトとしての品質を有しない。
いくつかの実施形態では、物理的オブジェクト７１２２は、コンピュータシステムによって検出され、物理的オブジェクト上の識別子オブジェクト（例えば、ＲＦＩＤ、バッジ、超音波タグ、シリアル番号、ロゴ、名前など）の存在を示す物理的オブジェクト７１２２の第６の特性に基づいて、ユーザ７００２にとって重要な物理的オブジェクトとして適格である。物理的オブジェクト７１２０は、第６の特性が物理的オブジェクト７１２０に存在しないため、ユーザ７００２にとって重要な物理的オブジェクトとしての品質を有しない。
いくつかの実施形態では、物理的オブジェクト７１２２は、コンピュータシステムによって検出され、物理的オブジェクトの動きパターン（例えば、物理的オブジェクト又は物理的環境の別の部分に対する物理的オブジェクトの少なくとも一部の動きパターン、又はユーザに対する物理的オブジェクトの少なくとも一部の動きパターンなど）に基づく物理的オブジェクト７１２２の第７の特性に基づいて、ユーザ７００２にとって重要な物理的オブジェクトとして適格である。物理的オブジェクト７１２０は、第７の特性が物理的オブジェクト７１２０に存在しないため、ユーザ７００２にとって重要な物理的オブジェクトとしての品質を有しない。
いくつかの実施形態では、物理的オブジェクト７１２２は、コンピュータシステムによって検出され、物理的オブジェクトの認識された識別情報（例えば、配偶者、好きなペット、上司、子供、警察、電車に乗っている車掌など）と第１の予め設定された識別情報（例えば、「重要」、「注意を必要としている」などとして以前に確立されたことを識別する）との間の一致（例えば、検出されたセンサデータ、画像データなどに基づいてコンピュータアルゴリズム又は人工知能（例えば、顔認識、音声認識、音声認識など）によって判定される閾値信頼値を超える一致又は対応する）に基づく物理的オブジェクト７１２２の第８の特性に基づいて、ユーザ７００２にとって重要な物理的オブジェクトとして適格である。物理的オブジェクト７１２０は、第８の特性が物理的オブジェクト７１２０に存在しないため、ユーザ７００２にとって重要な物理的オブジェクトとしての品質を有しない。
図７Ｉ～図７Ｎは、いくつかの実施形態による、物理的環境の一部のスキャンに基づいて識別された（例えば、形状、平面、及び／又は表面などによって特徴付けられた）物理的環境の一部に対応する三次元環境内の領域に視覚効果を適用することを示すブロック図である。
いくつかの実施形態では、コンピュータシステムは、物理的環境（例えば、図７Ｉのシーン１０５、別の物理的環境など）の表現を含む三次元環境を表示する要求に応じて（例えば、ユーザがヘッドマウントディスプレイを装着したことに応じて、拡張現実環境を開始するユーザの要求に応じて、仮想現実体験を終了するユーザの要求に応じて、ユーザが低電力状態から表示生成構成要素をオンにするかウェイクアップすることに応じてなど）、物理的環境の表現を表示する。いくつかの実施形態では、コンピュータシステムは、物理的環境のスキャンを開始して、物理的環境内のオブジェクト及び表面（例えば、壁７００４、７００６、床７００８、オブジェクト７０１４など）を識別し、任意選択的に、物理的環境内の識別されたオブジェクト及び表面に基づいて物理的環境の三次元又は擬似三次元モデルを構築する。いくつかの実施形態では、コンピュータシステムは、三次元環境を表示する要求（例えば、物理的環境がコンピュータシステムによって以前にスキャンされ特徴付けられていない場合、又は（例えば、最後のスキャンが閾値時間を超えて前に実行された、物理的環境が変化したなど）満たされている予め設定された再スキャン基準に基づいて再スキャンがユーザ又はシステムによって要求された場合など）を受信したことに応じて、物理的環境のスキャンを開始する。いくつかの実施形態では、コンピュータシステムは、物理的環境（例えば、物理的表面（例えば、物理的オブジェクト７０１４の上面、壁７００６の表面など）、物理的オブジェクトなど）の一部に触れているユーザの手（例えば、図７Ｋの手７２０２）の検出に応じてスキャンを開始する。いくつかの実施形態では、コンピュータシステムは、物理的環境の一部に対応するポジションに向けられたユーザの視線（例えば、図７Ｊの視線７１４０、別の視線など）が予め設定された安定性及び／又は持続時間基準を満たすことの検出に応じてスキャンを開始する。いくつかの実施形態では、コンピュータシステムは、スキャンの進捗及び結果（例えば、物理的環境において、物理的オブジェクト及び表面の識別、物理的オブジェクト及び表面の物理的及び空間的特性の判定など）に関する視覚フィードバック（例えば、図７Ｋ～図７Ｌの視覚効果７１４４）を表示する。いくつかの実施形態では、視覚フィードバックは、ユーザの手（例えば、物理的オブジェクト７０１４の上面）によって触れられ、物理的環境の一部のスキャンに基づいて識別された物理的環境の一部に対応する三次元環境の個別の部分に個別の視覚効果（例えば、視覚効果７１４４）を表示することを含む。いくつかの実施形態では、図７Ｋ～図７Ｌに示すように、視覚効果（例えば、視覚効果７１４４）は、三次元環境の個別の部分（例えば、手７２０２のタッチロケーションに対応するポジション）から拡大し、及び／又は三次元環境の個別の部分から伝播する動きの表現を含む。いくつかの実施形態では、コンピュータシステムは、物理的環境の個別の部分に触れるユーザの手の検出に応じて視覚効果を表示し、三次元環境は、三次元環境を表示するための以前の要求に応じて、物理的環境のスキャンが完了した後に表示される。
いくつかの実施形態では、複合現実環境（例えば、拡張現実環境、拡張仮想環境など）の生成に備えてコンピュータシステムによって物理的環境のスキャンが実行されるとき、物理的環境のスキャンを固定し、物理的環境内のオブジェクト及び表面を識別するために、関心領域及び／又は明確に定義された表面又は平面の領域を識別するユーザ入力を受信することが役立つことがある。ユーザの入力のロケーションに対応するポジションからの物理的環境のスキャン及び特性評価の進捗及び結果に関する視覚フィードバックをユーザに提供することも有利であり、その結果、ポジションが正しい特性評価をもたらさない場合、ユーザは入力を調整し、物理的環境の異なるロケーション又は表面からスキャンを再開することができる。いくつかの実施形態では、物理的表面がスキャンされ、スキャンに基づいて識別された後、コンピュータシステムは、識別された表面に対応するポジションにアニメーション化された視覚効果を表示し、アニメーション化された視覚効果は、物理的表面とユーザの手との間の接触ロケーションに対応するポジションから開始されて伝播する。いくつかの実施形態では、関心のあるロケーションを更に確認するために、コンピュータシステムは、ユーザが触れている物理的表面のポジションにおいて視線入力が検出されることを必要とする。いくつかの実施形態では、視線のポジションは、双方のポジションが同じ拡張された物理的表面上及び／又は互いに閾値距離内にある限り、ユーザのタッチのロケーションに対応するポジションと重複する必要はない。
図７Ｉに示すように、ユーザ７００２は、物理的環境（例えば、シーン１０５、又は別の物理的環境など）に存在する。ユーザ７００２は、表示生成構成要素（例えば、表示生成構成要素７１００、ＨＭＤなどの別の種類の表示生成構成要素など）を介して表示されるコンテンツを見るために、表示生成構成要素に対して所定のポジションにいる。いくつかの実施形態では、表示生成構成要素は、ユーザの頭部との固定された空間的関係を有する。いくつかの実施形態では、表示生成構成要素は、ユーザの目を囲み、表示生成構成要素を介して提供されるビューを除いて、物理的環境のユーザのビューをブロックする。いくつかの実施形態では、図７Ｃに示すように、物理的環境は、物理的オブジェクト（例えば、物理的オブジェクト７０１４、及び他の物理的オブジェクトなど）及び物理的表面（例えば、壁７００４及び７００６、床７００８など）を含む。ユーザは、表示生成構成要素を介して提供される物理的環境のビューを通じて物理的環境内の異なるロケーションを見ることができ、ユーザの視線のロケーションは、図６に開示されるアイトラッキングデバイスなどのアイトラッキングデバイスによって判定される。この例では、物理的オブジェクト７０１４は、（例えば、水平上面、垂直面、平面、曲面などの）１つ以上の表面を有する。
図７Ｊは、表示生成構成要素を介して表示される物理的環境１０５のビュー７１０３を表示する。いくつかの実施形態によれば、物理的環境のビューは、物理的環境における表示生成構成要素７１００のロケーション（例えば、表示生成構成要素７１００がＨＭＤである場合、ユーザの目又は頭にも対応するロケーション）に対応する視点の視点から見た物理的環境の一部における物理的表面及びオブジェクトの表現を含む。図７Ｊでは、物理的環境のビュー７１０３は、ユーザ及び表示生成構成要素の物理的環境における２つの隣接する壁（例えば、壁７００４及び７００６）の表現７００４’及び７００６’と、床７００８の表現７００８’と、物理的環境における物理的オブジェクト７０１４（例えば、家具、オブジェクト、器具など）の表現７０１４’とを含む。いくつかの実施形態によれば、物理的環境内の物理的表面と物理的オブジェクトとの間の空間的関係は、三次元環境内の物理的表面と物理的オブジェクトとの表現間の空間的関係によって三次元環境内で表される。ユーザが物理的環境に対して表示生成構成要素を移動させると、表示生成構成要素を介して、異なる視点からの物理的環境の異なるビューが表示される。いくつかの実施形態では、物理的環境がコンピュータシステムにとって未知の環境である場合、コンピュータシステムは、環境のスキャンを実行して表面及び平面を識別し、物理的環境の三次元モデルを構築する。スキャン後、コンピュータシステムは、いくつかの実施形態によれば、三次元モデルに対する仮想オブジェクトのポジションを定義することができ、その結果、仮想オブジェクトは、三次元環境内の物理的表面及びオブジェクトの表現に対する様々な空間的関係を有する三次元モデルに基づいて、複合現実環境内に配置されることができる。例えば、仮想オブジェクトは、任意選択的に、三次元モデルに対して直立した向きを与えられ、物理的表面又はオブジェクトの表現との特定の空間的関係（例えば、重ねること、立つこと、平行にすること、垂直にすることなど）をシミュレートするポジション及び／又は向きで表示されてもよい。
いくつかの実施形態では、図７Ｊに示すように、コンピュータシステムは、三次元環境のビュー７０１３内の物理的環境の表現の一部に向けられた視線入力（例えば、この例では視線入力７１４０）を検出する。いくつかの実施形態では、コンピュータシステムは、視線のポジションに視覚的指示（例えば、視覚的指示７１４２）を表示する。いくつかの実施形態では、視線のポジションは、コンピュータシステムのアイトラッキングデバイスによって検出されたユーザの視線及びユーザの目の焦点距離に基づいて判定される。いくつかの実施形態では、物理的環境のスキャンが完了する前に、ユーザの視線の正確なロケーションを高度に確認することは困難である。いくつかの実施形態では、物理的オブジェクトの表現７０１４’によって占有される領域は、物理的環境の三次元スキャンが実行又は完了される前に、二次元画像セグメント化によって識別されることができ、視線のロケーションは、二次元セグメント化によって判定されるように、表現７０１４’によって占有される領域であると判定されることができる。
いくつかの実施形態では、ユーザが物理的環境の周りで表示生成構成要素を移動させ、スキャンを開始するのに適したポジションを探して表示生成構成要素を介して異なる表面又はオブジェクトを見ると、コンピュータは、リアルタイムフィードバックを提供して、表示生成構成要素によって提供される視野内に現在ある物理的環境の部分における視線のロケーションをユーザに示す。
図７Ｋ～図７Ｌでは、ユーザの視線７１４０が物理的オブジェクト７０１４の表現７０１４’に向けられている間、コンピュータシステムは、ユーザの手が物理的環境内で物理的オブジェクト７０１４の上面の第１のロケーションに移動したことを検出し、第１のロケーションにおいて物理的オブジェクト７０１４の上面との接触を維持する。物理的オブジェクト７０１４の上面に接触しているユーザの手７２０２の検出に応じて（例えば、任意選択的に、物理的オブジェクト７０１４の同じ表面上のユーザの視線７１４０の検出などに関連して）、コンピュータシステムは、ユーザの手のロケーションから（例えば、ユーザの手と物理的オブジェクト７０１４の上面との間の接触のロケーションから）物理的環境のスキャンを開始する。いくつかの実施形態では、コンピュータシステムは、任意選択的に、ユーザの手のロケーションでのスキャンに加えて、かつそれと並行して、物理的環境の他の部分でスキャンを実行する。接触ロケーションの近くの物理的オブジェクト７０１４の表面の部分がスキャンされて特徴付けられると（例えば、平面、又は曲面などとして）、コンピュータシステムは、スキャンの結果及び進行を示す視覚フィードバックを表示する。図７Ｋでは、物理的オブジェクト７０１４とのユーザの接触のロケーションに対応するポジション及びその付近の表現７０１４’の一部の外観は、視覚効果によって変更される（例えば、色、明るさ、透明度、及び／又は不透明度などにおいて強調表示され、アニメーション化され、及び／又は変更される）。視覚効果は、物理的オブジェクトとのユーザの接触ロケーション又はその付近の物理的表面の部分におけるスキャンの結果に基づく１つ以上の空間的特性（例えば、ポジション、向き、表面特性、空間的範囲など）を有する。例えば、この場合、コンピュータシステムは、人差し指の先端のロケーションの近くの領域（例えば、ユーザの手７２０２と物理的オブジェクト７０１４との間の接触のロケーション）のスキャンに基づいて、表現７０１４’がユーザの手７２０２の先端のロケーションに対応するポジションで水平方向を有する平面であると判定する。いくつかの実施形態では、ユーザの指の先端は、表面スキャンのためのアンカーロケーションを提供する。いくつかの実施形態では、ユーザの指の先端のロケーションにおける物理的環境の深度データは、ユーザの指先の深度データと相関し、スキャンの精度は、この追加の制約によって改善される。
図７Ｌ～図７Ｍでは、ユーザの手７２０２が物理的環境内の物理的オブジェクト７０１４の上面との接触を維持している間、任意選択的に、物理的オブジェクト７０１４の上面の初期タッチロケーションにおいて、コンピュータシステムは、視覚フィードバック７１４４を適用及び表示し続けて、スキャンの進行及び物理的オブジェクト７０１４の上面の初期タッチロケーションに接続された物理的表面の追加部分の識別を示す。図７Ｍでは、物理的オブジェクト７０１４の上面のスキャン及び識別が完了し、視覚効果は、物理的オブジェクト７０１４の上面の初期タッチロケーションに対応するポジションから広がり、表現７０１４’の上面全体をカバーする。いくつかの実施形態では、物理的表面の境界が識別され、視覚効果が表面全体の表現に適用されると、視覚効果７１４４の拡散が中止される。いくつかの実施形態では、視覚効果７１４４は、その間にスキャンされて特徴付けられた物理的環境の追加部分の表現に広がり続ける。いくつかの実施形態では、コンピュータシステムは、物理的オブジェクト７０１４の上面の他のロケーションに接触点を移動させ、物理的オブジェクトの新たなタッチロケーションから新たなスキャンを開始するか、又は新たなスキャンと並行して前のスキャンを継続するユーザの手７２０２の動きを検出する。いくつかの実施形態では、１つ以上のタッチロケーションからのスキャンが継続するにつれて、対応する視覚効果は、スキャンの結果に基づいてタッチロケーションに対応するポジションから広がる。いくつかの実施形態では、視線７１４０が物理的オブジェクト７０１４の上面上で検出される間、コンピュータシステムは、物理的オブジェクト７０１４の上面上の経路に沿って複数のポジションにわたって移動するユーザの指を検出し、任意選択的に、経路のロケーションからスキャンを実行し、ユーザの手が触れている経路又は領域のロケーションから視覚効果を広げる。いくつかの実施形態によれば、スキャンの制約として上面上のより多くの点における深度データを用いて、単一のタッチ点からよりも高い精度及び速度でスキャンが実行されてもよい。
図７Ｍ～図７Ｎでは、コンピュータシステムによって実行されたスキャンによって識別された物理的表面に従って、物理的オブジェクト７０１４の上面に触れるユーザの手のロケーションに対応するポジションに視覚効果を表示している間、コンピュータシステムは、物理的オブジェクト７０１４の上面からの接触の遮断をもたらすユーザの手の動きを検出する。ユーザの手が物理的オブジェクト７０１４の表面から離れたことの検出に応じて、コンピュータシステムは、図７Ｎに示すように、スキャンに基づいて識別された表面のポジションに視覚効果を表示することを停止する。表現７０１４’は、図７Ｎの視覚効果７１４４の適用前の元の外観に復元される。
いくつかの実施形態では、スキャンが完了し、物理的環境の一部内の物理的オブジェクト及び表面が識別された後、（例えば、ユーザの手７２０２、別の手などによって）コンピュータシステムが物理的表面とのユーザの接触を検出した場合、コンピュータシステムは、任意選択的に、視覚効果７１４４を再表示して、ユーザのタッチのロケーションに対応するポジションから始まる物理的表面の空間的特性を示す。いくつかの実施形態では、視覚効果は、物理的表面上でタッチが検出されるとすぐに、物理的表面全体の表現に適用される。いくつかの実施形態では、視覚効果は、タッチのロケーションに対応するポジションから物理的表面の表現を徐々に横切って拡大及び拡張する。
いくつかの実施形態では、物理的オブジェクト７０１４の表現７０１４’は、物理的環境のカメラビューによって提供され、視覚効果７１４４は、表示生成構成要素を介して表示される三次元環境のビューにおける物理的オブジェクトの表現７０１４’の少なくとも一部の表示を置換する。いくつかの実施形態では、物理的オブジェクト７０１４の表現７０１４’は、物理的環境のカメラビューによって提供され、視覚効果は、物理的オブジェクトの表面に投影され、物理的環境内の物理的オブジェクトの表面の一部を覆い、物理的環境のカメラビューの一部として見られる。いくつかの実施形態では、物理的オブジェクトの表現７０１４’は、表示生成構成要素の透明又は半透明部分を通して見える物理的環境のビューの一部であり、視覚効果は、物理的オブジェクト７０１４の表面の少なくとも一部のビューを遮るポジションに表示生成構成要素によって表示される。いくつかの実施形態では、物理的オブジェクトの表現７０１４’は、表示生成構成要素の透明又は半透明部分を通して見える物理的環境のビューの一部であり、視覚効果は、物理的オブジェクト７０１４の表面に投影され、物理的環境内の物理的オブジェクト７０１４の表面の一部を覆い、表示生成構成要素の透明又は半透明部分を通して物理的環境の一部として見られる。いくつかの実施形態では、視覚効果は、網膜上の物理的オブジェクト７０１４の表面の一部の画像をオーバーレイするユーザの網膜上に直接投影される。
いくつかの実施形態では、ユーザの手７２０２が壁７００６又は床７００８などの物理的環境の異なる部分に触れた場合、コンピュータシステムは、物理的環境の異なる部分に対するユーザのタッチのロケーション又はその近くで識別される表面に対応するポジションに視覚効果を適用する（例えば、視覚効果は、壁の表現７００６’の垂直面、又は床の表現７００８’の水平面などに適用される）。
いくつかの実施形態では、コンピュータシステムが物理的環境の部分におけるスキャンを開始し、及び／又は物理的環境の部分におけるスキャンの結果に従って視覚効果を表示するために、物理的環境の個別の部分における視線及びタッチ入力の検出が同時に必要とされる。いくつかの実施形態では、ユーザの視線が物理的環境の個別の部分から除去された場合、コンピュータシステムは、視覚効果の表示を停止し、ユーザの手のタッチが物理的環境の個別の部分で検出されたままであっても、任意選択的に物理的環境の部分におけるスキャンの継続を停止する。
いくつかの実施形態では、視覚効果７１４４は、それが適用される領域にアニメーション化された視覚的変化を引き起こすアニメーション化された視覚効果である。いくつかの実施形態では、アニメーション化された視覚的変化は、視覚効果が適用される物理的環境のビュー内の領域で経時的に変化する点滅する光及び／又は色の変化を含む。いくつかの実施形態では、アニメーション化された視覚的変化が発生しているとき（例えば、視覚効果は、領域の元のコンテンツに適用された１つ以上のフィルタ又は変更関数を用いて領域の外観に影響を与えるが、コンテンツの視覚的特徴（例えば、形状、サイズ、オブジェクトの種類など）は、視聴者によって認識可能なままである）、視覚効果が適用される領域は変化しない（例えば、領域に表示されるサイズ、形状、及び／又は内容などに関して）。いくつかの実施形態では、視覚的変化が適用される三次元環境内の領域は、アニメーション化された視覚的変化が発生しているときに拡張する。
いくつかの実施形態では、コンピュータシステムは、ユーザの手が触れる表面の異なる部分に異なる視覚効果を適用する。いくつかの実施形態では、ユーザの手によって触れられる表面は、拡張領域に及び、表面特性は、拡張領域の異なる部分について異なってもよい。いくつかの実施形態では、ユーザが延長面の周辺部分にタッチすると、視覚効果は、表面の表現の中央部分に向かうアニメーション化された動きを示し、ユーザが延長面の中央部分にタッチすると、視覚効果は、表面の表現の周辺領域に向かう異なるアニメーション化された動きを示す。いくつかの実施形態では、異なる視覚効果が表面上の同じ拡張領域に適用されると、アニメーション化された動きの異なる開始ロケーション及び伝播方向のために、視覚効果は異なるように見える。いくつかの実施形態では、異なる視覚効果は、同じベースライン視覚効果（例えば、グレーオーバーレイ、点滅する視覚効果、さざ波、拡大するメッシュワイヤなど）に従って生成され、異なる視覚効果間の差は、同じベースライン視覚効果（例えば、異なる形状の境界線を有するベースライン拡大グレーオーバーレイ、仮想光源と下方にある表面との間の異なる空間的関係を使用して修正されたベースラインの点滅する視覚効果、異なる波長及び／又は発生源で修正されたベースラインさざ波、異なる開始ロケーションで修正されたベースラインメッシュワイヤパターンなど）に従って生成された異なるアニメーションを含む。
いくつかの実施形態では、スキャンが完了し、物理的環境内の表面が識別された後、物理的環境のビューで表面が強調表示又は視覚的に表示されることができる。コンピュータシステムが、ユーザの手と、スキャンに基づいて既にスキャンされて特徴付けられた表面との間の接触を検出すると、コンピュータシステムは、タッチのロケーションに対応する表面の表現上のポジションから始まり、スキャンに基づいて判定された表面の空間的特性に従って表面の表現を横切って伝播するアニメーション化された視覚効果を表示する。いくつかの実施形態では、アニメーション化された視覚効果は、接触が表面上で維持される限り持続する。いくつかの実施形態では、コンピュータシステムは、アニメーション化された視覚効果の表示を継続するために、接触のロケーションが実質的に静止したままである（例えば、閾値時間内に閾値未満の移動量を有する、全く移動しないなど）ことを必要とする。いくつかの実施形態では、コンピュータシステムは、アニメーション化された視覚効果の表示を継続するために、接触のロケーションが同じ延長面（例えば、静止している、又は延長された表面内を移動するなど）に留まることを必要とする。いくつかの実施形態では、コンピュータシステムは、表面を横切る接触の動き又は表面から離れる手の動きの検出に応じて、アニメーション化された視覚効果の表示を停止する。いくつかの実施形態では、コンピュータシステムは、表面から離れてもはや表面と接触していないユーザの手の動きを検出したことに応じて、アニメーション化された視覚効果の表示を停止する。いくつかの実施形態では、コンピュータシステムは、表面を横切る接触の動き及び／又は表面から離れる手の動きの検出に応じて、アニメーション化された視覚効果を中止し、視覚効果の静的状態の表示を維持する。いくつかの実施形態では、コンピュータシステムは、表面から離れてもはや表面と接触していないユーザの手の動きの検出に応じて、アニメーション化された視覚効果を中止し、視覚効果の静的状態の表示を維持する。
いくつかの実施形態では、本明細書で説明される視覚効果は、物理的環境の少なくとも一部の空間的表現を生成するプロセス中に、及び任意選択的に、物理的環境の一部の空間的表現が生成された後に、物理的環境の一部に触れているユーザの手の検出に応じて表示される。
いくつかの実施形態では、本明細書に記載の視覚効果の表示は、コンピュータシステムが仮想現実環境の表示から物理的環境及び／又は拡張現実環境の表現の表示に切り替わるときにトリガされる。いくつかの実施形態では、本明細書に記載の視覚効果の表示は、コンピュータシステムが、ユーザが表示生成構成要素を介して物理的環境を見ることを可能にするユーザに対する空間的関係に表示生成構成要素が配置されたことを検出したときにトリガされる（例えば、ＨＭＤがユーザの頭部に置かれたとき、ユーザの目の前に置かれたとき、ユーザの顔の前に保持されたとき、ユーザがヘッドアップディスプレイの前で歩いたり座ったりしたとき、ユーザが表示生成構成要素をオンにして物理的環境のパススルービューを見るときなど）。いくつかの実施形態では、本明細書に記載の視覚効果の表示は、コンピュータシステムが仮想現実環境の表示から物理的環境及び／又は拡張現実環境の表現の表示に切り替わるときに、任意選択的に、物理的環境の一部へのユーザのタッチを必要とすることなくトリガされる（例えば、視覚効果は、物理的環境の部分上の視線の検出に応じて表示されるか、ユーザの視線なしでデフォルトロケーションで任意選択的に開始されるなど）。いくつかの実施形態では、本明細書に記載の視覚効果の表示は、任意選択的に、物理的環境の一部へのユーザのタッチを必要とすることなく、表示生成構成要素を介してユーザが物理的環境を見ることを可能にする、ユーザに対する空間的関係に表示生成構成要素が配置されたことをコンピュータシステムが検出したときにトリガされる（例えば、視覚効果は、物理的環境の部分上の視線の検出に応じて表示されるか、ユーザの視線なしでデフォルトロケーションで任意選択的に開始されるなど）。
図７Ｏ～図７Ｑは、いくつかの実施形態による、物理的環境の第１の部分に対応する三次元環境内のポジション（例えば、物理的表面のロケーション、物理的環境内の自由空間内のロケーションなど）に相互作用ユーザインタフェースオブジェクトを表示し、物理的環境の第１の部分と三次元環境の現在表示されているビューの視点に対応するロケーションとの間の空間内を移動するユーザの部分（例えば、ユーザの指、手など）のロケーションに従って、ユーザインタフェースオブジェクトの個別の下位部分の表示を選択的に取り止めることを示すブロック図である。
いくつかの実施形態では、コンピュータシステムは、三次元環境（例えば、環境７１５１、又は別の環境など）において相互作用ユーザインタフェースオブジェクト（例えば、ユーザインタフェースオブジェクト７１５２、コントロールパネルなどの別のユーザインタフェースオブジェクト、選択可能なオプションを含むユーザインタフェースオブジェクト、一体型コントロールオブジェクトなど）を表示する。コンピュータシステムはまた、三次元環境内の物理的環境（例えば、図７Ｉの環境１０５、別の物理的環境など）の表現を表示し、相互作用ユーザインタフェースオブジェクトは、物理的環境内の異なるロケーションに対応する三次元環境内の様々なポジションに対する個別の空間的関係を有する。ユーザがタッチ入力及び／又はジェスチャ入力を通じてユーザの手の１本以上の指又は手全体などのユーザの手の一部（例えば、手７２０２、手７２０２の指など）と三次元環境と相互作用するとき、ユーザの部分（例えば、ユーザの手の一部、手全体、及び場合によっては手に接続された手首及び腕などを含む）は、ユーザインタフェースオブジェクトのポジションに対応するロケーション（例えば、物理的オブジェクト又は物理的表面のロケーション、物理的環境内の自由空間内のロケーションなど）と三次元環境の現在表示されているビューの視点に対応するロケーション（例えば、ユーザの目のロケーション、表示生成構成要素のロケーション、三次元環境に示される物理的環境のビューをキャプチャするカメラのロケーションなど）との間の空間領域に入ることができる。コンピュータシステムは、ユーザの手のロケーションと、ユーザインタフェースオブジェクトのポジションに対応するロケーションと、視点に対応するロケーションとの間の空間的関係に基づいて、ユーザインタフェースオブジェクトのどの部分がユーザの部分によって視覚的にブロックされ、ユーザインタフェースオブジェクトのどの部分が、視点のロケーションからユーザによって見られたときにユーザの部分によって視覚的にブロックされないかを判定する。次に、コンピュータシステムは、（例えば、コンピュータシステムによって判定されるように）ユーザの部分によって視覚的にブロックされるであろうユーザインタフェースオブジェクトの個別の部分の表示を停止し、代わりに、図７Ｐに示すように、（例えば、コンピュータシステムによって判定されるように）ユーザの部分によって視覚的にブロックされないであろうユーザインタフェースオブジェクトの別の部分の表示を維持しながら、ユーザインタフェースオブジェクトの個別の部分のポジションにおいてユーザの部分の表現が見えるようにする。いくつかの実施形態では、（例えば、表示生成構成要素の動き、物理的環境をキャプチャするカメラの動き、ユーザの頭又は胴体の動きなどに起因する）ユーザの部分の動き又は視点の動きの検出に応じて、コンピュータシステムは、ユーザの部分、視点に対応するロケーション、及びユーザインタフェースオブジェクトのポジションに対応するロケーションの間の新たな空間的関係に基づいて、ユーザインタフェースオブジェクトのどの部分がユーザの部分によって視覚的にブロックされ、ユーザインタフェースオブジェクトのどの部分が、ユーザによって視点のロケーションから見たときにユーザの部分によって視覚的にブロックされないかを再評価する。そして、コンピュータシステムは、（例えば、コンピュータシステムによって判定されるように）ユーザの部分によって視覚的にブロックされることになるユーザインタフェースオブジェクトの他の部分の表示を停止し、図７Ｑに示すように、先に表示されるのが停止されたユーザインタフェースオブジェクトの一部が三次元環境のビューに復元されることを可能にする。
いくつかの実施形態では、ユーザが拡張現実環境又は仮想現実環境においてユーザインタフェースオブジェクト（例えば、ユーザインタフェースオブジェクト７１５２、コントロールパネルなどの別のユーザインタフェースオブジェクト、選択可能なオプションを含むユーザインタフェースオブジェクト、一体型コントロールオブジェクトなど）と相互作用するとき、物理的環境の物理的表面によって提供される触感は、ユーザが拡張現実環境又は仮想現実環境においてユーザの空間的感覚をより良好に方向付けるのに役立ち、その結果、ユーザはユーザインタフェースオブジェクトと相互作用するときにより正確な入力を提供することができる。いくつかの実施形態では、物理的表面は、物理的表面上のユーザのタッチに関するより正確な情報（例えば、タッチロケーション、タッチ持続時間、タッチ強度など）を提供するタッチセンサを含むことができ、これは、ユーザインタフェースオブジェクト又はその一部と相互作用するためのより多様な及び／又は洗練された入力を可能にする。いくつかの実施形態では、物理的表面は、ユーザが表面特徴に対して自分のジェスチャ又はタッチ入力を正確に位置決めするのを助ける表面特性（例えば、バンプ、ボタン、テクスチャなど）を含んでもよく、また、物理的表面上の表面特徴に対応する視覚的特徴（例えば、仮想マーカ、ボタン、テクスチャなど）を有するユーザインタフェースオブジェクトと相互作用するより現実的な体験を得てもよい。
本明細書で説明するように、ユーザインタフェースオブジェクトが、物理的表面の空間的特性に対応する空間的特性を有する物理的表面のロケーションに対応するポジションに表示されると、ユーザインタフェースオブジェクトは、物理的表面の表現又は物理的表面の空間的特性を有する仮想表面をオーバーレイ又は拡張するように見える。ユーザが物理的表面上のタッチ入力を介してユーザインタフェースオブジェクトと相互作用するときに、より現実的で直感的な体験をユーザに提供するために、ユーザインタフェースオブジェクトは、複数の部分に視覚的にセグメント化され、ユーザの手が物理的表面の個別の部分とユーザの目との間にある物理的空間の一部に存在するとき、複数の部分のうちの少なくとも１つの部分は、ユーザの手の表現によって視覚的に隠される。換言すれば、ユーザの手の少なくとも一部（任意選択的に、手と接続されたユーザの他の部分）は、ユーザインタフェースオブジェクトの個別の部分に向けられたユーザの視線と交差してもよく、ユーザインタフェースオブジェクトの個別の部分のユーザの視界を遮る。いくつかの実施形態では、ユーザの手が物理的表面とユーザの目との間の空間内を移動すると、ユーザの手の少なくとも一部（任意選択的に、手と接続されたユーザの他の部分）は、ユーザインタフェースオブジェクトの異なる部分に向けられたユーザの視線と交差してもよく、ユーザインタフェースオブジェクトの異なる部分のユーザのビューをブロックし、ユーザインタフェースオブジェクトの以前にブロックされた部分が再び明らかにされてもよい。
いくつかの実施形態では、物理的表面は、ボタン、スライダ、隆起、円、チェックマーク、スイッチなどの異なる種類のユーザインタフェース要素に対応する空間的輪郭及び表面テクスチャを有する１つ以上の部分を含む。いくつかの実施形態では、個別のユーザインタフェース要素に対応するユーザインタフェースオブジェクトの個別の部分は、任意選択的に複数の下位部分にセグメント化され、下位部分の一部のみが、三次元環境のビューでユーザの手の表現によって視覚的に不明瞭になるが、ユーザインタフェース要素の下位部分の一部は、三次元環境のビューでユーザの手の表現によって視覚的に不明瞭にならない。
図７Ｏ～図７Ｑでは、表示生成構成要素７１００は、三次元環境７１５１のビューを表示する。いくつかの実施形態では、三次元環境７１５１は、三次元環境内の様々な空間的ポジションに仮想オブジェクト及び仮想表面を含む仮想三次元環境である。いくつかの実施形態では、三次元環境７１５１は、物理的環境内のそれぞれのロケーションに対応する様々なポジションに配置された物理的オブジェクト及び表面の表現を有する物理的環境の表現と、三次元環境内の物理的オブジェクト及び表面の表現のポジションに対するポジションを有する仮想コンテンツとを含む拡張現実環境である。いくつかの実施形態では、三次元環境のビューは、第１の物理的表面のロケーションに対応するポジションに少なくとも第１の表面（例えば、仮想表面、又は物理的表面の表現など）を含み、物理的環境における第１の物理的表面の空間的特性（例えば、向き、サイズ、形状、表面プロファイル、表面テクスチャ、空間的範囲、表面プロファイルなど）に対応する空間的特性（例えば、向き、サイズ、形状、表面プロファイル、表面テクスチャ、空間的範囲など）を有する。いくつかの実施形態では、物理的表面は、卓上の表面、壁の表面、ディスプレイデバイスの表面、タッチパッドの表面、ユーザの膝の表面、掌の表面、ボタン及びハードウェアアフォーダンスを有するプロトタイプオブジェクトの表面などである。この例では、物理的オブジェクト７０１４の上面は、ユーザの手が触れる物理的表面の非限定的な例として使用される。
この例では、それぞれの動作に対応する１つ以上の相互作用部分を含む第１のユーザインタフェースオブジェクト（例えば、仮想キーボード７１５２、１つ以上の制御アフォーダンスを有するコントロールパネル、選択可能なオプションを有するメニュー、単一の一体型コントロールオブジェクトなど）は、第１の物理的表面（例えば、表現７０１４’によって表される物理的オブジェクト７０１４の上面、仮想オブジェクト７０１４’のポジションに対応するロケーションにおける物理的オブジェクトの表面など）のポジションに対応する三次元環境７１５１内のロケーションに表示される。第１のユーザインタフェースオブジェクト（例えば、仮想キーボード７１５２、１つ以上の制御アフォーダンスを有するコントロールパネル、選択可能なオプションを含むメニュー、単一の一体型コントロールオブジェクトなど）の空間的特性は、第１の物理的表面の空間的特性に対応する。例えば、第１のユーザインタフェースオブジェクトは平面状であり、第１の物理的表面が平面状である場合、第１の物理的表面の表現と平行に表示される。別の例では、いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、第１の物理的表面の表面プロファイルに対応する表面プロファイルを有し、第１のユーザインタフェースオブジェクト上のトポロジカル特徴（例えば、バンプ、ボタン、テクスチャなど）のポジションは、第１の物理的表面上の対応するトポロジカル特徴のロケーションに対応するポジションと位置合わせされる。いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、第１のユーザインタフェースオブジェクト上のトポロジカル特徴のポジションに対応する第１の物理的表面上のロケーションに存在しないトポロジカル特徴を有する。
図７Ｏに示すように、コンピュータシステムは、表示生成構成要素７１００を介して三次元環境７１５１のビューを表示する。いくつかの実施形態によれば、三次元環境７１５１のビューは、物理的環境における表示生成構成要素７１００のロケーション（例えば、表示生成構成要素７１００がＨＭＤである場合、ユーザの目又は頭にも対応するロケーション）に対応する視点の視点から見た物理的環境の一部における物理的表面（例えば、垂直壁７００４及び７００６の表現７００４’及び７００６’、水平床７００８の表現７００８、物理的オブジェクトの表面の表現など）及びオブジェクトの表現（例えば、物理的オブジェクト７０１４の表現７０１４’、他の物理的オブジェクトの表現など）を含む。いくつかの実施形態によれば、物理的環境１０５内の物理的表面と物理的オブジェクトとの間の空間的関係は、三次元環境７１５１内の物理的表面と物理的オブジェクトとの表現間の空間的関係によって三次元環境内で表される。いくつかの実施形態では、ユーザが物理的環境に対して表示生成構成要素を移動させると、現在表示されているビューの視点が三次元環境内で移動し、異なる視点からの三次元環境７１５１の異なるビューが得られる。いくつかの実施形態では、コンピュータシステムは、表面及び平面を識別するために環境のスキャンを実行し、物理的環境の三次元モデルを構築する。いくつかの実施形態によれば、コンピュータシステムは、三次元モデルに対する仮想オブジェクトのポジションを定義し、その結果、仮想オブジェクトは、三次元環境内の物理的表面及びオブジェクトの表現に対する様々な空間的関係で三次元環境内に配置されることができる。例えば、仮想オブジェクトは、任意選択的に、三次元環境７１５１に対して直立した向きを与えられ、物理的表面又はオブジェクトの表現（例えば、物理的オブジェクト７０１４の表現７０１４’、床７００８の表現７００８’など）との特定の空間的関係（例えば、重ねること、立つこと、平行にすること、垂直にすることなど）をシミュレートするポジション及び／又は向きで表示されてもよい。
図７Ｏ～図７Ｑでは、第１のユーザインタフェースオブジェクト（例えば、この例では仮想キーボード７１５２）は、第１の物理的表面（例えば、表現７０１４’によって表される物理的オブジェクト７０１４の上面、又は仮想オブジェクト７０１４’の上面に対応するポジションに位置する物理的オブジェクトの上面など）のロケーションに対応するロケーションに表示され、第１のユーザインタフェースオブジェクトの空間的特性は、第１の物理的表面の空間的特性に対応する（例えば、第１の物理的表面に平行である、第１の物理的表面の表面プロファイルに適合する、など）。いくつかの実施形態では、コンピュータシステムは、物理的環境における第１の物理的表面の動きに応じて第１のユーザインタフェースオブジェクトを移動させる。例えば、いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、物理的環境における第１の物理的表面の動き中に、三次元環境における第１の物理的表面の表現と同じ空間的関係で表示されたままである。
いくつかの実施形態では、物理的オブジェクト７０１４の表現７０１４’は、物理的環境のカメラビューによって提供され、第１のユーザインタフェースオブジェクトは、表示生成構成要素を介して表示される三次元環境（例えば、環境７１５１、又は別の拡張現実環境など）のビューにおける物理的オブジェクトの表現７１０４’の少なくとも一部の表示を置換する。いくつかの実施形態では、物理的オブジェクトの表現７０１４’は、物理的環境のカメラビューによって提供され、第１のユーザインタフェースオブジェクトは、物理的オブジェクト７０１４の表面上に投影され、物理的環境内の物理的オブジェクト７０１４の表面の一部を覆い、物理的環境のカメラビューの一部として見られる。いくつかの実施形態では、物理的オブジェクト７０１４の表現７０１４’は、表示生成構成要素の透明又は半透明部分を通して見える物理的環境のビューの一部であり、第１のユーザインタフェースオブジェクトは、物理的オブジェクト７０１４の表現７０１４’の少なくとも一部のビューを遮るポジションに表示生成構成要素によって表示される。いくつかの実施形態では、物理的オブジェクト７０１４の表現７０１４’は、表示生成構成要素の透明又は半透明部分を通して見える物理的環境のビューの一部であり、第１の使用インタフェースオブジェクトは、物理的オブジェクト７０１４の表面上に投影され、物理的環境内の物理的オブジェクト７０１４の表面の一部を覆い、表示生成構成要素の透明又は半透明部分を通して物理的環境の一部として見られる。いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、ユーザの網膜上に投影され、物理的オブジェクト７０１４の表面の画像の一部をユーザの網膜上にオーバーレイする画像である（例えば、画像は、表示生成構成要素によって提供される物理的環境のカメラビューの画像、又は表示生成構成要素の透明部分を通る物理的環境のビューの画像など）。
図７Ｏ～図７Ｑの例では、ユーザが第１のユーザインタフェースオブジェクト（例えば、この例では仮想キーボード７１５２）と相互作用する前に、第１のユーザインタフェースオブジェクトは、三次元環境７１５１のビューにおいてユーザの手の表現７２０２’によって視覚的に隠されない。いくつかの実施形態では、ユーザの手の表現７２０２’は、他のユーザインタフェースオブジェクトのポジションとユーザの手７２０２のロケーションに対応するポジション（例えば、三次元環境におけるユーザの手７２０２の表現７２０２’のポジション）との間の空間的関係に応じて、他のユーザインタフェースオブジェクト（例えば、テキスト入力ウィンドウ７１５０、又は他のユーザインタフェースオブジェクトなど）の存在によって視覚的に隠されてもよい。例えば、ユーザの手７２０２の表現７２０２’の仮想ポジションは、環境７１５１内のユーザの視線に沿ったテキスト入力ウィンドウ７１５０よりも環境７１５１の現在表示されているビューの視点から遠くにあるため、手７２０２の表現７２０２’の一部は、図７Ｏのテキスト入力ボックス７１５０によってブロックされる。いくつかの実施形態では、ユーザの手７２０２の表現７２０２’は、物理的環境のカメラビューの一部である。いくつかの実施形態では、ユーザの手７２０２の表現７２０２’は、表示生成構成要素の透明部分を通る手のビューである。いくつかの実施形態では、ユーザの手の表現は、物理的環境における手の形状及びロケーションに関するリアルタイムデータに基づいて作成される様式的表現である。
図７Ｐでは、ユーザの手７２０２は、物理的環境において第１の物理的表面（例えば、この例では、表現７０１４’によって表される物理的オブジェクト７０１４の上面）に向かって移動する。いくつかの実施形態では、手の１本以上の指（例えば、人差し指、親指、人差し指、及び中指など）などの手７２０２の一部は、第１の物理的表面上の第１のロケーションにおいて第１の物理的表面と接触する。いくつかの実施形態では、第１の物理的表面上の第１のロケーションは、第１のユーザインタフェースオブジェクト上の第１のポジションに対応し、第１のユーザインタフェースオブジェクト上の第１のポジションは、第１のユーザインタフェースオブジェクトに関連付けられた第１の動作に対応する。この特定の例では、第１の物理的表面上の第１のロケーションは、仮想キーボード７１５２上の文字キー「Ｉ」（例えば、この例ではキー７１５４）のポジションに対応し、第１のユーザインタフェースオブジェクトに関連付けられた第１の動作は、テキスト入力ウィンドウ７１５０にテキスト文字「Ｉ」（例えば、この例ではキャラクタ７１５６）を入力することである。いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、コントロールパネルであり、第１の物理的表面上の第１のロケーションは、第１のユーザインタフェースオブジェクト内の第１のコントロールオブジェクト（例えば、ボタン、スライダ、スイッチ、チェックボックスなど）のポジションに対応し、第１のユーザインタフェースオブジェクトに関連付けられた第１の動作は、デバイス又は機能のオン／オフ、制御機能の値の調整、機能又は設定のパラメータの選択など、第１のコントロールオブジェクトに関連付けられた動作である。ユーザの手７２０２の接触が第１の物理的表面上の第１のロケーションで検出されると、コンピュータシステムは、第１のユーザインタフェースオブジェクト上の対応するコントロールオブジェクトを識別し、第１の動作を実行し、任意選択的に、第１の動作が実行されたことを示すために第１のコントロールオブジェクト及び／又は環境７１５１の外観を更新する。
いくつかの実施形態では、コンピュータシステムは、第１の物理的表面とユーザの手（例えば、使用者の手の１本以上の指）との間の第１の物理的表面とユーザの手（例えば、形状（例えば、円形、細長いなど）、サイズ（例えば、小さい、大きいなど）、持続時間（例えば、タップ入力の閾値持続時間未満、ロングタップ入力の閾値持続時間よりも長い、タッチホールド入力のリフトオフなしの閾値持続時間よりも長いなど）、移動方向（例えば、上方、下方、左方、右方、時計回り、反時計回りなど）、移動距離（例えば、閾値時間内の閾値移動量未満、閾値時間内の閾値移動量超、閾値並進量超、閾値回転量超など）、移動経路（例えば、直線経路、曲線経路、ジグザグ経路、閾値ポジション／角度と交差する、閾値ポジション／角度と交差しないなど）、接触強度（例えば、閾値強度を上回る、閾値強度を下回るなど）、接触数（例えば、単一の接触、２つの接触など）、繰り返し接触の繰り返し（例えば、ダブルタップ、トリプルタップなど）など）との間の接触の特性、及び上記のうちの２つ以上の組み合わせなどを判定する。接触の特性に基づいて、コンピュータシステムは、第１のユーザインタフェースオブジェクト及び／又は第１のユーザインタフェースオブジェクト内の第１のポジションに関連付けられた複数の動作のうちのどの動作が実行されるべきかを判定する。いくつかの実施形態では、コンピュータシステムは、様々な予め設定された基準に対して接触を評価し、個別の動作に対応する予め設定された基準が接触によって満たされるという判定に従って、コンピュータシステムは、個別の動作を実行する（例えば、接触（例えば、体験の開始、機能のオン／オフなど）の特性に関係なく、接触（例えば、値を調整すること、調整可能なパラメータで連続動作を実行することなど）の特性に従って、など）。
いくつかの実施形態では、図７Ｐに示すように、ユーザの手が視点のポジションに対応するロケーション（例えば、表示生成構成要素のロケーション、ユーザの目のロケーション、ユーザの手の現在のビュー及び環境７１５１のビューに示される物理的環境をキャプチャするカメラのロケーションなど）と第１の物理的表面との間の物理的環境内の空間領域内にある間、コンピュータシステムは、第１のユーザインタフェースオブジェクトの第２の部分の表示を維持している間、第１のユーザインタフェースオブジェクトの第１の部分の表示を取り止めるか又は表示を停止し、その結果、ユーザの手の部分は、第１のユーザインタフェースオブジェクトの第１の部分のポジションにおいて三次元環境７１５１のビューに見える。例えば、図７Ｐに示すように、視点に対応するポジション（例えば、表示生成構成要素のロケーション、ユーザの目、コンピュータシステムのカメラなど）に対してユーザの手７０２０の背後のロケーションに対応するロケーションにある仮想キーボード７１５２の第１の部分（例えば、キー７１５４の一部、キー７１５４の真上の２つのキーの一部、及びキー７１５４の上にあるキーの最上段の２つのキーの一部など）は、三次元環境７１５１のビューに表示されず、ユーザの手７０２０のロケーションの背後にない仮想キーボード７１５２の他の部分は、三次元環境７１５１のビューに表示され続ける。いくつかの実施形態では、第１の物理的表面と接触していないユーザの手の一部は、視点のポジションに対応するロケーション（例えば、表示生成構成要素のロケーション、ユーザの目のロケーション、ユーザの手の現在のビュー及び環境７１５１のビューに示される物理的環境をキャプチャするカメラのロケーションなど）と第１の物理的表面との間の物理的環境内の空間領域に入ることができ、コンピュータシステムは、三次元環境の現在の視点に対応するロケーションから見たときにユーザの手の一部によって視覚的にブロックされるロケーションに対応するポジションにある第１のユーザインタフェースオブジェクトの一部の表示を取り止めるか又は表示を停止する。例えば、視点のロケーションに対してユーザの親指のロケーションの背後にある仮想キーボード７１５２内のポジションのキーの一部もいずれかが表示されない。図７Ｐでは、テキスト入力ウィンドウ７１５０のポジションは、ユーザの手７２０２のロケーションに対応するポジションの前にあるポジションを有するため、テキスト入力ウィンドウ７１５０は、三次元環境７１５１のビューに表示され、ユーザの手７２０２の表現７２０２’の一部のビューをブロックする（又は手の表現７２０２’の一部の表示を置換する）。
図７Ｑは、三次元環境７１５１のビューを表示している間に、コンピュータシステムが物理的環境内の物理的環境におけるユーザの手の動きを検出することを示している。例えば、動きは、物理的オブジェクトの第１の物理的表面上の第１のロケーションから持ち上げられ、物理的オブジェクトの第１の物理的表面上の別のロケーションに移動されることを含む。いくつかの実施形態では、手の１本以上の指（例えば、人差し指、親指、人差し指、及び中指など）などの手７２０２の一部は、第１の物理的表面上の第２のロケーションにおいて第１の物理的表面と接触する。いくつかの実施形態では、第１の物理的表面上の第２のロケーションは、第１のユーザインタフェースオブジェクト上の第２のポジションに対応し、第１のユーザインタフェースオブジェクト上の第２のポジションは、第１のユーザインタフェースオブジェクトに関連付けられた第２の動作に対応する。この特定の例では、第１の物理的表面上の第２のロケーションは、仮想キーボード７１５２上の文字キー「ｐ」（例えば、この例ではキー７１６０）のポジションに対応し、第１のユーザインタフェースオブジェクトに関連付けられた第２の動作は、テキスト入力ウィンドウ７１５０にテキスト文字「ｐ」（例えば、この例ではキャラクタ７１５８）を入力することである。いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、コントロールパネルであり、第１の物理的表面上の第２のロケーションは、第１のユーザインタフェースオブジェクト内の第２のコントロールオブジェクト（例えば、ボタン、スライダ、スイッチ、チェックボックスなど）のポジションに対応し、第１のユーザインタフェースオブジェクトに関連付けられた第２の動作は、デバイス又は機能のオン／オフ、制御機能の値の調整、機能又は設定のパラメータの選択など、第２のコントロールオブジェクトに関連付けられた動作である。ユーザの手の接触が第２のロケーションで検出されると、コンピュータシステムは、第１のユーザインタフェースオブジェクト上の対応するコントロールオブジェクトを識別し、第２の動作を実行し、任意選択的に、第２の動作が実行されたことを示すために第２のコントロールオブジェクト及び／又は環境７１５１の外観を更新する。いくつかの実施形態では、コンピュータシステムは、第１の物理的表面とユーザの手（例えば、使用者の手の１本以上の指）との間の第１の物理的表面とユーザの手（例えば、形状（例えば、円形、細長いなど）、サイズ（例えば、小さい、大きいなど）、持続時間（例えば、タップ入力の閾値持続時間未満、ロングタップ入力の閾値持続時間よりも長い、タッチホールド入力のリフトオフなしの閾値持続時間よりも長いなど）、移動方向（例えば、上方、下方、左方、右方、時計回り、反時計回りなど）、移動距離（例えば、閾値時間内の閾値移動量未満、閾値時間内の閾値移動量超、閾値並進量超、閾値回転量超など）、移動経路（例えば、直線経路、曲線経路、ジグザグ経路、閾値ポジション／角度と交差する、閾値ポジション／角度と交差しないなど）、接触強度（例えば、閾値強度を上回る、閾値強度を下回るなど）、接触数（例えば、単一の接触、２つの接触など）、繰り返し接触の繰り返し（例えば、ダブルタップ、トリプルタップなど）など）との間の接触の特性、及び上記のうちの２つ以上の組み合わせなどを判定する。接触の特性に基づいて、コンピュータシステムは、第１のユーザインタフェースオブジェクト及び／又は第１のユーザインタフェースオブジェクトの第２のポジションに関連付けられた複数の動作のうちのどの動作が実行されるべきかを判定する。いくつかの実施形態では、コンピュータシステムは、様々な予め設定された基準に対して接触を評価し、個別の動作に対応する予め設定された基準が接触によって満たされるという判定に従って、コンピュータシステムは、個別の動作を実行する（例えば、接触の特性に関係なく、接触の特性に従って、など）。
いくつかの実施形態では、図７Ｑに示すように、ユーザの手７２０２が視点のポジションに対応するロケーション（例えば、表示生成構成要素のロケーション、ユーザの目のロケーション、ユーザの手の現在のビュー及び環境７１５１のビューに示される物理的環境をキャプチャするカメラのロケーションなど）と第１の物理的表面との間の物理的環境内の空間領域にある間、コンピュータシステムは、第１のユーザインタフェースオブジェクトの第４の部分の表示を維持している間、第１のユーザインタフェースオブジェクトの第３の部分の表示を取り止めるか又は表示を停止し、その結果、ユーザの手の部分は、第１のユーザインタフェースオブジェクトの第３の部分のポジションにおいて三次元環境７１５１のビューに見える。例えば、図７Ｑに示すように、視点に対応するポジション（例えば、表示生成構成要素のロケーション、ユーザの目、コンピュータシステムのカメラなど）に対してユーザの手７２０２の背後のロケーションに対応するロケーションにある仮想キーボード７１５２の第３の部分（例えば、キー７１６０の一部、キー７１６０の真上の２つのキーの一部、及びキー７１６０の上にあるキーの最上段の２つのキーの一部など）は、三次元環境７１５１のビューに表示されず、ユーザの手７０２０のロケーションの背後にない仮想キーボード７１５２の他の部分は、三次元環境７１５１のビューに表示され続ける。図７Ｑでは、ユーザの手７２０２のロケーションに対応するポジションは、もはやテキスト入力ウィンドウ７１５０のポジションの背後にはないため、三次元環境７１５１のビューに表示されるテキスト入力ウィンドウ７１５０は、もはやユーザの手の表現７２０２’のビューをブロックしない（又は手の表現７２０２’の部分の表示を置換する）。図７Ｑに示すように、手７２０２の表現７２０２’の存在によって以前は隠されていた仮想キーボード７１５２の第１の部分（例えば、キー７１５４、キー７１５４の上の２つのキーなど）はもはや隠されず、三次元環境７１５１のビューに再び表示される。
いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、単一のユーザインタフェースオブジェクト、例えば、単一のボタン、単一のチェックボックス、単一の選択可能なオプションなどであり、第１の物理的表面上の第１のロケーション、第２のロケーション、又は第３のロケーションにおいて検出された予め設定されたユーザ入力は、コンピュータシステムに、第１のユーザインタフェースオブジェクトと関連付けられた同じ動作を実行させ、第１、第２、及び第３のロケーションは、それぞれ、単一のユーザインタフェースオブジェクトの第１の部分、第２の部分、及び第３の部分に対応する。いくつかの実施形態では、物理的環境におけるユーザの手のロケーションに応じて、コンピュータシステムは、ユーザの手が視点のロケーションと物理的環境におけるユーザの手のロケーションとの間にあるという判定に基づいて、一体型ユーザインタフェースオブジェクトの第１の部分、第２の部分、又は第３の部分の個別１つの表示を選択的に停止する。
いくつかの実施形態では、物理的環境内の異なるポジションに対応する三次元環境７１５１内のポジションに表示された複数のユーザインタフェースオブジェクトがあり、視点のロケーションと異なるユーザインタフェースオブジェクトのロケーションに対応するロケーションとの間の物理的環境の空間部分にユーザの手が存在すると、コンピュータシステムに、複数のユーザインタフェースオブジェクトをセグメント化させ、三次元環境７１５１の現在の視点に対応するロケーションから見たときにユーザの手の存在によってブロックされたロケーションに対応するポジションを有する複数のユーザインタフェースオブジェクトのそれぞれの部分の表示を選択的に停止する。いくつかの実施形態では、ユーザの手の表現が同時に第１のユーザインタフェースオブジェクト及び第２のユーザインタフェースオブジェクトの双方の部分を三次元環境のビューから除去させる場合であっても、ユーザの手は、第１のユーザインタフェースオブジェクトと相互作用し、三次元環境の同じビューにおいて第２のユーザインタフェースオブジェクトをアクティブ化しない。例えば、図７Ｐ及び図７Ｑでは、コンピュータシステムが仮想キーボード上の複数のキーの部分の表示を停止したとしても、ユーザのタッチのロケーション又はユーザの手の特定の部分（例えば、人差し指の先端、親指の先端など）のロケーションに対応するポジションにあるキーのみがアクティブ化される。
いくつかの実施形態では、コンピュータシステムは、例えば、ユーザの手の形状及びポジション、並びに三次元環境における仮想光源のロケーションに基づいて、三次元環境７１５１のビューにおけるユーザの手７２０２の表現のシミュレートされた影の形状及びポジションを判定する。コンピュータシステムは、任意選択的にそのポジションにおける第１のユーザインタフェースオブジェクトの部分の外観を変更することによって、又はそのポジションにおける第１のユーザインタフェースオブジェクトの部分の表示を置換することによって、第１のユーザインタフェースオブジェクトの表面上のポジションにシミュレートされた影を表示する。
いくつかの実施形態では、本明細書に記載される各種実施例及び実施形態で使用される入力ジェスチャ（例えば、図７Ａ～図７Ｑ、及び図８～図１１に関する）は、任意選択的に、いくつかの実施形態によると、仮想又は複合現実環境と相互作用するために、ジェスチャの直前又は最中に動作を実行するためにユーザの手全体又は腕をそれらの自然なロケーション（単数又は複数）及び姿勢（単数又は複数）から離れるように大きく移動させることを任意選択的に必要とすることなく、ユーザの指（単数又は複数）を他の指（単数又は複数）又はユーザの手の一部（単数又は複数）に対して移動させることによって実行される離散の小さな運動ジェスチャを含む。
いくつかの実施形態では、入力ジェスチャは、センサシステム（例えば、図１のセンサ１９０、図３の画像センサ３１４）によってキャプチャされるデータ及び信号を解析することによって検出される。いくつかの実施形態では、センサシステムは、１つ以上の撮像センサ（例えば、モーションＲＧＢカメラ、赤外線カメラ、深度カメラなどの１つ以上のカメラ）を含む。例えば、１つ以上の撮像センサは、表示生成構成要素（例えば、図１、図３、及び図４の表示生成構成要素１２０（例えば、ディスプレイ及びタッチ感知面として機能するタッチスクリーンディスプレイ、立体ディスプレイ、パススルー部分を有するディスプレイなど））を含むコンピュータシステム（例えば、図１のコンピュータシステム１０１（例えば、ポータブル電子デバイス７１００又はＨＭＤ））の構成要素である、又は上記コンピュータシステムにデータを提供する。いくつかの実施形態では、１つ以上の撮像センサは、デバイスのディスプレイとは反対側のデバイスの側に１つ以上の後面カメラを含む。いくつかの実施形態では、入力ジェスチャは、ヘッドマウントシステムのセンサシステム（例えば、ユーザの左目の左画像及びユーザの右目の右画像を提供する立体ディスプレイを含むＶＲヘッドセット）によって検出される。例えば、ヘッドマウントシステムのコンポーネントである１つ以上のカメラは、ヘッドマウントシステムの前側及び／又は下側に取り付けられている。いくつかの実施形態では、１つ以上の撮像センサは、撮像センサがヘッドマウントシステム及び／又はヘッドマウントシステムのユーザの画像をキャプチャするように、ヘッドマウントシステムが使用される空間に配置される（例えば、部屋内の様々なロケーションでヘッドマウントシステムの周りに配列される）。いくつかの実施形態では、入力ジェスチャは、ヘッドアップデバイス（例えば、ヘッドアップディスプレイ、グラフィックを表示する能力を有する自動車フロントガラス、グラフィックを表示する能力を有する窓、グラフィックを表示する能力を有するレンズ）のセンサシステムによって検出される。例えば、１つ以上の撮像センサは、自動車の内面に取り付けられる。いくつかの実施形態では、センサシステムは、１つ以上の深度センサ（例えば、センサアレイ）を含む。例えば、１つ以上の深度センサは、１つ以上の光ベースの（例えば、赤外線）センサ及び／又は１つ以上の音響ベースの（例えば、超音波）センサを含む。いくつかの実施形態では、センサシステムは、光エミッタ（例えば、赤外線エミッタ）及び／又は音声エミッタ（例えば、超音波エミッタ）などの１つ以上の信号エミッタを含む。例えば、光（例えば、所定パターンを有する赤外光エミッタアレイからの光）が手（例えば、手７２００）に投射されている間、光の照明下の手の画像が１つ以上のカメラによってキャプチャされ、キャプチャされた画像が手のポジション及び／又は構成を判定するために解析される。タッチ感知面又は他の直接接触機構又は近接ベースの機構の信号を使用することと対照的に、手に向けられた画像センサからの信号を使用して入力ジェスチャを判定することで、ユーザは、特定の入力デバイス又は入力領域によって課せられる制約を経験せずに、手で入力ジェスチャを提供するときに、大きな運動を実行するか、又は相対的に静止状態を保つかを自由に選択することができる。
いくつかの実施形態では、タップ入力は、任意選択的に、ユーザの手の人差し指上の（例えば、親指に隣接する人差し指の側部上の）親指のタップ入力を示す。いくつかの実施形態では、人差し指の側部から親指を持ち上げる必要なく、タップ入力が検出される。いくつかの実施形態では、タップ入力は、親指の下方移動の後に親指の上方移動が続き、親指が閾値時間未満、人差し指の側部と接触しているという判定に従って検出される。いくつかの実施形態では、タップホールド入力は、親指が上昇ポジションからタッチダウンポジションまで移動し、少なくとも第１の閾値時間（例えば、タップ時間閾値又はタップ時間閾値よりも長い別の時間閾値）、タッチダウンポジションに留まるという判定に従って検出される。いくつかの実施形態では、コンピュータシステムは、人差し指上の親指によるタップホールド入力を検出するために、手全体が、少なくとも第１の閾値時間、あるロケーションで実質的に静止したままであることを必要とする。いくつかの実施形態では、タッチホールド入力は、手が実質的に静止したままであることを必要とせずに検出される（例えば、親指が人差し指の側部に置かれている間、手全体が移動することができる）。いくつかの実施形態では、タップホールドラッグ入力は、親指が人差し指の側部にタッチし、親指が人差し指の側部に静止している間に手全体が移動するときに検出される。
いくつかの実施形態では、フリックジェスチャは、任意選択的に、人差し指を横切る親指の移動（例えば、人差し指の掌側から後側への）プッシュ又はフリック入力を示す。いくつかの実施形態では、親指の伸長移動は、例えば、親指による上方フリック入力のように、人差し指の側部から離れる上方移動を伴う。いくつかの実施形態では、人差し指は、親指が前方及び上方に移動する間、親指の方向と反対方向に移動する。いくつかの実施形態では、逆フリック入力は、伸長ポジションから後退ポジションに移動する親指によって実行される。いくつかの実施形態では、人差し指は、親指が後方及び下方に移動する間、親指の方向と反対方向に移動する。
いくつかの実施形態では、スワイプジェスチャは、任意選択的に、人差し指に沿った（例えば、親指に隣接する人差し指の側部又は掌の側部に沿った）親指の移動によるスワイプ入力である。いくつかの実施形態では、人差し指は、任意選択的に、伸長状態（例えば、実質的に直線）又は屈曲状態である。いくつかの実施形態では、人差し指は、スワイプ入力ジェスチャで親指が移動する間、伸張状態と屈曲状態との間を移動する。
いくつかの実施形態では、様々な指の異なる指骨は、異なる入力に対応する。様々な指（例えば、人差し指、中指、薬指、及び任意選択的に小指）の様々な指骨にわたる親指のタップ入力は、任意選択的に、異なる動作にマッピングされる。同様に、いくつかの実施形態では、異なるプッシュ又はクリック入力が、異なる指及び／又は指の異なる部分を横切る親指によって実行されて、個別のユーザインタフェース接触で異なる動作をトリガすることができる。同様に、いくつかの実施形態では、異なる指に沿って、及び／又は異なる方向に（例えば、指の遠位端又は近位端に向かって）親指によって実行される異なるスワイプ入力が、それぞれのユーザインタフェースコンテキストで異なる動作をトリガする。
いくつかの実施形態では、コンピュータシステムは、タップ入力、フリック入力、及びスワイプ入力を、親指の移動のタイプに基づいて異なるタイプの入力として処理する。いくつかの実施形態では、コンピュータシステムは、所与の入力タイプ（例えば、タップ入力タイプ、フリック入力タイプ、スワイプ入力タイプなど）の異なるサブ入力タイプ（例えば、近位、中間、遠位サブタイプ、又は人差し指、中指、薬指、若しくは小指サブタイプ）として親指によってタップ、タッチ、又はスワイプされる異なる指ロケーションを有する入力を処理する。いくつかの実施形態では、移動する指（例えば、親指）によって実行される移動量、及び／又は指の移動に関連付けられる他の移動の尺度（例えば、速度、初期速度、終了速度、持続時間、方向、移動パターンなど）が使用されて、指入力によってトリガされる動作に定量的に影響を与える。
いくつかの実施形態では、コンピュータシステムは、タップスワイプ入力（例えば、親指が他の指へのタッチダウン後に、指の側部に沿ってスワイプする）、タップフリック入力（例えば、親指が他の指へのタッチダウン後に、掌の側部から指の後部まで指を横切ってフリックする）、ダブルタップ入力（例えば、ほぼ同じロケーションでの指の側部上の２連続タップ）などの、親指による一連の移動を組み合わせた組み合わせ入力タイプを認識する。
いくつかの実施形態では、ジェスチャ入力は、親指の代わりに人差し指によって実行される（例えば、人差し指が親指上でタップ又はスワイプを実行するか、又は親指及び人差し指が互いに向かって動いてピンチジェスチャを実行する）。いくつかの実施形態では、手首の移動（例えば、水平方向又は垂直方向での手首のフリック）は、指の移動入力の直前、直後（例えば、閾値時間内）、又は同時に実行されて、手首の移動による修正入力のない指の移動入力と比較して、現在のユーザインタフェースコンテキストで追加の動作、異なる動作、又は修正された動作をトリガする。いくつかの実施形態では、ユーザの顔に面するユーザの掌で実行される指入力ジェスチャは、ユーザの顔と反対に面するユーザの掌で実行される指入力ジェスチャとは異なるタイプのジェスチャとして処理される。例えば、ユーザに面するユーザの掌で実行されるタップジェスチャは、ユーザの顔と反対に面するユーザの掌で実行されるタップジェスチャに応答して実行される動作（例えば、同じ動作）と比較して、プライバシー保護が追加（又は低減）された動作を実行する。
１つのタイプの指入力を使用して、本開示で提供される実施例において動作タイプをトリガすることができるが、他の実施形態では、同じタイプの動作をトリガするために、他のタイプの指入力が任意選択的に使用される。
図７Ａ～図７Ｑに関する追加の説明は、以下の図８～図１１に関して記載された方法８０００、９０００、１００００、及び１１０００を参照して以下に提供される。
図８は、いくつかの実施形態による、コンピュータ生成コンテンツが提示される没入レベルに応じて異なる音声出力モードを選択する方法８０００のフローチャートである。
いくつかの実施形態では、方法８０００は、コンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。表示生成構成要素（例えば、図１、図３、及び図４の表示生成構成要素１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上のカメラ（例えば、カメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））は、ユーザの手又はユーザの頭部から前方に向くカメラである。いくつかの実施形態では、方法８０００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法８０００の一部の動作は、任意選択的に組み合わされ、及び／又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法８０００は、第１の表示生成構成要素（例えば、図１、図３、及び図４の表示生成構成要素１２０、表示生成構成要素７１００など）（例えば、ヘッドアップディスプレイ、ＨＭＤ、ディスプレイ、タッチスクリーン、プロジェクタなど）、１つ以上の音声出力デバイス（例えば、イヤホン、物理的環境に配置されたスピーカ、同じハウジング内のスピーカ、又は第１の表示生成構成要素と同じ支持構造に取り付けられたスピーカ（例えば、ＨＭＤの内蔵スピーカなど））、及び１つ以上の入力デバイス（例えば、カメラ、コントローラ、タッチ感知面、ジョイスティック、ボタン、手袋、時計、モーションセンサ、方位センサなど）と通信するコンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、第１の表示生成構成要素は、ユーザに面するディスプレイコンポーネントであり、ＣＧＲ体験をユーザに提供する。いくつかの実施形態では、コンピュータシステムは、第１の表示生成構成要素、１つ以上の音声出力デバイス、及び１つ以上の入力デバイスの少なくともいくつかと同じハウジングに囲まれた１つ以上のプロセッサ及びメモリを有する統合デバイスである。いくつかの実施形態では、コンピュータシステムは、１つ以上のプロセッサと、表示生成構成要素（例えば、ヘッドアップディスプレイ、タッチスクリーン、スタンドアロンディスプレイなど）、１つ以上の出力デバイス（例えば、イヤホン、外部スピーカなど）、及び１つ以上の入力デバイスのうちの１つ以上とは別個のメモリとを含むコンピューティングコンポーネント（例えば、サーバ、スマートフォン又はタブレットデバイスなどのモバイル電子デバイス、腕時計、リストバンド又はイヤホンなどのウェアラブルデバイス、デスクトップコンピュータ、ラップトップコンピュータなど）を含む。いくつかの実施形態では、表示生成構成要素及び１つ以上の音声出力デバイスは、同じハウジング内に統合され、かつ同じハウジングに囲まれている。
方法８０００では、コンピュータシステムは、第１の表示生成構成要素を介して、三次元コンピュータ生成環境（例えば、図７Ａ～図７Ｂの環境７１０２、又は別の三次元環境など）を表示する（８００２）（例えば、三次元コンピュータ生成環境を表示することは、三次元仮想環境、三次元拡張現実環境、物理的環境の空間的特性に対応する対応するコンピュータ生成三次元モデルを有する物理的環境のパススルービューなどを表示することを含む）。三次元コンピュータ生成環境を表示している間、コンピュータシステムは、第１のコンピュータ生成コンテンツを提示する要求に対応する第１のイベントを検出し（８００４）（例えば、第１のコンピュータ生成コンテンツに対応するアイコンを選択及び／又は起動するユーザ入力を検出すること、ユーザの行動又はコンピュータシステムの他の内部イベントによって満たされている第１のコンピュータ生成コンテンツを開始するためのトリガ条件を検出することなど）、第１のコンピュータ生成コンテンツは、第１の視覚コンテンツ（例えば、ビデオコンテンツ、ゲームコンテンツ、アニメーション、ユーザインタフェース、映画など）と、第１の視覚コンテンツ（例えば、ビデオコンテンツ及び関連する音声データであって、ビデオコンテンツの異なる部分を音声データの異なる部分に関連付けるタイミングデータ（例えば、ビデオ再生タイムライン及び音声再生タイムラインは、タイミングデータによって時間的に相関される））に対応する第１の音声コンテンツ（例えば、サウンドエフェクト、サウンドトラック、音声記録、映画サウンドトラック、ゲームサウンドトラックなど）とを含む。例えば、第１のコンピュータ生成コンテンツは、図７Ａ～図７Ｂの第１の視覚コンテンツ７１０６を含む。第１のコンピュータ生成コンテンツを提示する要求に対応する第１のイベントの検出（８００６）に応じて、第１のイベントが第１の没入レベルであって、第１の没入レベルで提示される第１のコンピュータ生成コンテンツは、三次元コンピュータ生成環境の第１の部分を占有する，第１の没入レベル（例えば、いくつかの利用可能な没入レベルのうちの中間レベルの没入、２つ以上の利用可能な没入レベルのうちの最低レベルの没入、２つ以上の利用可能な没入レベルのうちのより低いレベルの没入など）を有する第１のコンピュータ生成コンテンツを提示する個別の要求に対応するという判定に従って、（例えば、三次元コンピュータ生成環境のためにユーザの視野の一部を占有するウィンドウ内でビデオコンテンツを再生すること、三次元コンピュータ生成環境であって、三次元コンピュータ生成環境が視点から予め設定された閾値角度よりも広い範囲に及ぶ、三次元コンピュータ生成環境の現在のビューに対応する視点から三次元コンピュータ生成環境内の予め設定された閾値角度未満に及ぶ視野を有するビデオコンテンツを再生すること）、コンピュータシステムは、（例えば、任意選択的に、他の仮想コンテンツ及び／又は三次元コンピュータ生成環境の他の部分を占有する物理的環境の表現などと同時に）三次元環境の第１の部分内に第１の視覚コンテンツを表示し（８００８）、コンピュータシステムは、第１の音声出力モード（例えば、ステレオ音声モード、サラウンドサウンドモードなど）（例えば、第１の音声コンテンツについてのいくつかの利用可能な音声出力モードのうちの最小没入音声出力モード、第１の音声コンテンツについてのいくつかの利用可能な音声出力モードのうちの中間レベルの没入を伴う音声モード、第１の音声コンテンツについてのいくつかの利用可能な音声出力モードのうちのより少ない没入音声出力モードなど）を使用して第１の音声コンテンツを出力する。第１のコンピュータ生成コンテンツを提示する要求に対応する第１のイベントの検出（８００６）に応じて、第１のイベントが、第１のコンピュータ生成コンテンツを第１の没入レベルとは異なる第２の没入レベルであって、第２の没入レベルで提示される第１のコンピュータ生成コンテンツは、三次元環境の第１の部分よりも大きい三次元コンピュータ生成環境の第２の部分を占有する（例えば、三次元環境内の二次元ウィンドウを占有する代わりに、コンテンツの表示は、ウィンドウよりも大きな三次元空間のスパンを占有する。三次元環境の一部にまたがる代わりに、視覚コンテンツは三次元環境全体に及ぶなど）、第２の没入レベルで提示する個別の要求に対応するという判定に従って、コンピュータシステムは、（例えば、任意選択的に、他の仮想コンテンツ及び／又は三次元環境の他の部分を占有する物理的環境の表現などと同時に）三次元環境の第２の部分内に第１の視覚コンテンツを表示し（８０１０）、コンピュータシステムは、第１の音声出力モードとは異なる第２の音声出力モード（例えば、サラウンドサウンドモード、第１のコンピュータ生成コンテンツ内の仮想音源のロケーションに基づく音像定位を伴う空間音声モードなど）（例えば、第１の音声コンテンツについてのいくつかの利用可能な音声出力モードのうちのより没入型の音声出力モード、第１の音声コンテンツについてのいくつかの利用可能な音声出力モードのうちの最高レベルの没入を有する音声モード、第１の音声コンテンツについてのいくつかの利用可能な音声出力モードのうちの最も没入型の音声出力モードなど）を使用して第１の音声コンテンツを出力し、第１の音声出力モードの代わりに第２の音声出力モードを使用することは、（例えば、ユーザ入力を必要とすることなく自動的に）第１の音声コンテンツの没入レベルを変更する（例えば、第１の音声コンテンツを多かれ少なかれ没入型にし、多かれ少なかれ空間的拡張型にし、多かれ少なかれ複雑な空間的変化を有し、対応する視覚コンテンツに基づいて多かれ少なかれ方向的に調整可能にするなど）。これは、図７Ａ～図７Ｂに示されており、図７Ａは、第１の没入レベルを使用するコンピュータ生成コンテンツ７１０６の表示を示し、図７Ｂは、第２の没入レベルを使用するコンピュータ生成コンテンツ７１０６の表示を示し、第１の没入レベルで表示されるコンピュータ生成コンテンツは、第２の没入レベルで表示されるコンピュータ生成コンテンツよりも空間的範囲が小さく、コンピュータシステムは、コンピュータ生成コンテンツが表示生成構成要素によって表示される没入レベルに基づいて、コンピュータ生成コンテンツの音声コンテンツを出力するための異なる音声出力モードを選択する。
いくつかの実施形態では、第１の音声出力モードを使用して第１の音声コンテンツを出力することは、物理的環境内のロケーションの第１のセットにそれぞれ位置する音源の第１のセット（例えば、ＨＭＤの両側に位置する２つの音源出力、ユーザの前方に位置する単一の音源など）を使用して第１の音声コンテンツを出力することを含み、第２の音声出力モードを使用して第１の音声コンテンツを出力することは、物理的環境内のロケーションの第２のセットにそれぞれ位置する音源の第２のセットを使用して第１の音声コンテンツを出力することを含み、音源の第２のセットは、音源の第１のセットとは異なる。いくつかの実施形態では、音源の第１のセット及び音源の第２のセットは、同じハウジング（例えば、ＨＭＤのハウジング、同じスピーカ又はサウンドバーのハウジングなど）内に収容される。いくつかの実施形態では、音源の第１のセット及び音源の第２のセットは、それぞれ異なるハウジングに収容される（例えば、音源の第１のセットは、ＨＭＤ又はイヤホンに囲まれ、音源の第２のセットは、ユーザを取り囲む物理的環境内の様々なポジションに配置された外部スピーカの組に囲まれる。音源の第１のセットは、ユーザの周囲の物理的環境に配置された一対のスピーカに囲まれており、音源の第２のセットは、ユーザの周囲の物理的環境に配置された３つ以上のスピーカのセットに囲まれているなど）。いくつかの実施形態では、音源の第１のセット及び音源の第２のセットにおける音源は、音波を生成して振動の要素のロケーションから離れるように伝播する物理的振動の要素を指す。いくつかの実施形態では、個別の音源の物理的振動の特性（例えば、波面の形状、位相、振幅、周波数など）は、出力デバイスによって出力される音声コンテンツに従ってコンピュータシステムによって制御される。いくつかの実施形態では、音源の第１のセット及び／又は音源の第２のセット内の音源の個々のもの又は個々のサブセットは、同じ特性及び異なるロケーションを有する。いくつかの実施形態では、音源の第１のセット及び／又は音源の第２のセット内の音源の個々のもの又は個々のサブセットは、異なる特性及び同じロケーションを有する。いくつかの実施形態では、音源の第１のセット及び／又は音源の第２のセット内の音源の個々のもの又は個々のサブセットは、異なる特性及び異なるロケーションを有する。いくつかの実施形態では、音源の第１のセット及び音源の第２のセットにおける個々の音源又は音源の異なるサブセットの異なる特性は、第１の視覚コンテンツ及び対応する音声コンテンツの現在表示されている部分に基づいてコンピュータシステムによって個別に制御される。いくつかの実施形態では、音源の第１のセット内の音源は、個別に制御されない（例えば、音源は、同じ位相、同じ振幅、同じ波面形状などを有する）。いくつかの実施形態では、音源の第２のセット内の音源は、（例えば、異なる相対位相、異なる伝播方向、異なる振幅、異なる周波数などを有する）第１の視覚コンテンツの現在表示されている部分内のオブジェクトと仮想オブジェクトのアクションとの間の空間的関係に基づいて個別に制御され、その結果、物理的環境の異なるロケーションにおいて得られる音は、第１の視覚コンテンツの現在表示されている部分の変化（例えば、第１の視覚コンテンツの現在表示されている部分内のオブジェクト間の空間的関係の変更、第１の視覚コンテンツの現在表示されている部分内の異なる仮想オブジェクト又は仮想オブジェクトの異なる部分との異なるユーザ相互作用、第１の視覚コンテンツの現在表示されている部分で発生する異なる種類のイベントなど）に基づいて動的に調整される。
物理的環境内のロケーションの第１のセットにそれぞれ配置された音源の第１のセットを使用して第１の音声コンテンツを出力し、物理的環境内のロケーションの第２のセットにそれぞれ配置された音源の第１のセットとは異なる音源の第２のセットを使用して第２の音声コンテンツを出力することは、改善された音声フィードバック（例えば、現在の没入レベルに関する改善された音声フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、音源の第２のセットは、音源の第１のセットと、音源の第１のセットに含まれない１つ以上の追加の音源とを含む。いくつかの実施形態では、第１の視覚コンテンツがより低い没入レベルで表示され、及び／又はより小さい空間範囲（例えば、窓又は固定フレーム内）で表示されるとき、コンピュータシステムに関連付けられた音声出力デバイス（単数又は複数）内の音源（例えば、１つ又は２つの音源、１つ又は２つのロケーションに配置された１つ又は２セットの音源、単一チャネルを生成するために使用される音源、又はステレオ音など）のより小さいサブセットが、第１の音声コンテンツを出力するために使用される。第１の視覚コンテンツがより高い没入レベルで表示され、及び／又はより大きな空間的広がり（例えば、固定窓又は固定フレームなし、ユーザを取り囲む三次元空間にまたがるなど）で表示されるとき、コンピュータシステムと関連付けられた音声出力デバイス（単数又は複数）内の利用可能な音源（例えば、サラウンドサウンド、及び／又は空間的に配置された音などを生成するための３つ以上の音源）のより大きなサブセット又は全てが、第１の音声コンテンツを出力するために使用される。物理的環境内のロケーションの第１のセットにそれぞれ配置された音源の第１のセットを使用して第１の音声コンテンツを出力し、物理的環境内のロケーションの第２のセットにそれぞれ配置された、音源の第１のセット及び音源の第１のセットに含まれない１つ以上の追加の音源を含む音源の第２のセットを使用して第２の音声コンテンツを出力することは、ユーザに改善された音声フィードバック（例えば、現在の没入レベルに関する改善された音声フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ロケーションの第２のセットは、物理的環境内のロケーションの第１のセットよりも広い領域に及ぶ。いくつかの実施形態では、ロケーションの第１のセットは、ユーザの左側及び右側、又はユーザの前に配置される。ロケーションの第２のセットは、ユーザの周りの３つ以上のロケーション（例えば、前、左、右、後、上、下、及び／又は任意選択的に、三次元空間におけるユーザの前向きの方向に対して他の角度で）に配置される。物理的環境内のロケーションの第１のセットにそれぞれ配置された音源の第１のセットを使用して第１の音声コンテンツを出力し、物理的環境内のロケーションの第１のセットよりも広い領域に及ぶ物理的環境内のロケーションの第２のセットにそれぞれ配置された音源の第１のセットとは異なる音源の第２のセットを使用して第２の音声コンテンツを出力することは、ユーザに改善された音声フィードバック（例えば、現在の没入レベルに関する改善された音声フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の音声出力モードを使用して第１の音声コンテンツを出力することは、第１の音声コンテンツと第１の視覚コンテンツとの間の予め設定された対応関係（例えば、音声再生タイムラインとビデオ再生タイムラインとの間の時間的対応、事前に確立されたコンテンツベースの対応（例えば、個別のオブジェクトに関連付けられたサウンドエフェクト、個別のユーザインタフェースイベントに関連付けられたアラートなど）など）に従って第１の音声コンテンツを出力することを含み、予め設定された対応関係は、第１の視覚コンテンツの現在表示されているビュー内の仮想オブジェクトのそれぞれの空間的ロケーションから独立しており（例えば、第１の視覚コンテンツの現在表示されているビュー内の仮想オブジェクトの空間的ロケーションは、任意選択的に、第１の視覚コンテンツに描写された環境内の仮想オブジェクトの動きに従って、及び／又は三次元環境によって描写された環境内の変更された視点などに従って変更される）、第２の音声出力モードを使用して第１の音声コンテンツを出力することは、第１の音声コンテンツと第１の視覚コンテンツとの間の予め設定された対応関係（例えば、音声再生タイムラインとビデオ再生タイムラインとの間の時間的対応、事前に確立されたコンテンツベースの対応（例えば、個別のオブジェクトに関連付けられたサウンドエフェクト、個別のユーザインタフェースイベントに関連付けられたアラートなど）など）に従って、かつ第１の視覚コンテンツの現在表示されているビュー内の仮想オブジェクトのそれぞれの空間的ロケーションに従って、第１の音声コンテンツを出力することを含む。例えば、いくつかの実施形態では、第１の音声出力モードが第１の音声コンテンツを出力するために使用されるとき、音声出力デバイス（単数又は複数）によって生成される音は、第１の視覚コンテンツの現在表示されているビューに対応するユーザの視点間の空間的関係から独立している。いくつかの実施形態では、第１の音声出力モードが第１の音声コンテンツを出力するために使用されるとき、音声出力デバイス（単数又は複数）によって生成される音は、第１の視覚コンテンツの現在表示されているビューにおける仮想オブジェクト間の空間的関係から独立している。いくつかの実施形態では、第１の音声出力モードが第１の音声コンテンツを出力するために使用されるとき、音声出力デバイス（単数又は複数）によって生成される音は、ユーザ入力（例えば、第１の視覚コンテンツ内の音の知覚されたプロデューサである仮想オブジェクトがユーザによって移動されるとき（例えば、ユーザインタフェース、ゲーム、仮想環境などにおいて））によって引き起こされる、第１の視覚コンテンツの現在表示されているビューにおける仮想オブジェクト間の空間的関係の変化から独立している。いくつかの実施形態では、第１の音声出力モードが第１の音声コンテンツを出力するために使用されるとき、音声出力デバイス（単数又は複数）によって生成される音は、コンピュータ生成環境に示される仮想コンテンツに対するユーザの視点又は空間的関係に関係なく、ユーザの頭部にヘッドロックされる（例えば、ユーザが音声出力デバイス（単数又は複数）を含むＨＭＤを装着しているとき）。いくつかの実施形態では、第１の音声出力モードが第１の音声コンテンツを出力するために使用されるとき、音声出力デバイス（単数又は複数）によって生成される音は、ユーザの頭部にヘッドロックされ（例えば、ユーザが音声出力デバイス（単数又は複数）を含むＨＭＤを装着しているとき）、物理的環境におけるユーザの動きから独立している。
第１の音声コンテンツと第１の視覚コンテンツとの間の予め設定された対応関係であって、第１の視覚コンテンツの現在表示されているビュー内の仮想オブジェクトのそれぞれの空間的ロケーションから独立している予め設定された対応関係に従って第１の音声コンテンツを出力すること、及び第１の音声コンテンツと第１の視覚コンテンツとの間の予め設定された対応関係に従って、かつ第１の視覚コンテンツの現在表示されているビュー内の仮想オブジェクトのそれぞれの空間的ロケーションに従って第２の音声コンテンツを出力することは、改善された音声フィードバック（例えば、現在の没入レベルに関する改善された音声フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第２の音声出力モードを使用して第１の音声コンテンツを出力することは、第１の視覚コンテンツの現在表示されているビュー内の第１の仮想オブジェクトが、第１の視覚コンテンツの現在表示されているビューに対応する視点との第１の空間的関係を有するという判定に従って、第１の空間的関係に対応する音像定位を有する第１の視覚コンテンツの現在表示されているビューに対応する第１の音声コンテンツの第１の部分を出力することと、第１の視覚コンテンツの現在表示されているビュー内の第１の仮想オブジェクトが、第１の視覚コンテンツの現在表示されているビューに対応する視点との第２の空間的関係を有するという判定に従って、第１の視覚コンテンツの現在表示されているビューに対応する第１の音声コンテンツの第１の部分を、第２の空間的関係に対応する音像定位によって出力することと、を含み、第１の空間的関係が第２の空間的関係とは異なり、第１の空間的関係に対応する音像定位が第２の空間的関係に対応する音像定位とは異なる。例えば、第１の視覚コンテンツが鳴いている鳥を含み、対応する第１の音声コンテンツが鳥の鳴き声音を含む場合、第２の音声出力モードに応じて出力される音は、現在表示されているビューの視点に対する鳥の知覚距離に基づいて音量が変化するだけでなく、現在表示されているビューの視点に対する鳥のロケーションに応じて知覚される音の発生源も変化するように調整される。いくつかの実施形態では、知覚される音の発生源は、第１の視覚コンテンツの現在表示されているビューの視点に対する第１の視覚コンテンツ内の鳥のロケーションに従って、第２の音声出力モードで音声出力を生成するために使用される音源の相対振幅、位相、及び／又は他の特性を変更することによって調整される。
いくつかの実施形態では、第１の視覚コンテンツは、任意選択的に、第２の没入レベルで異なるズームレベル又は異なる視野角で表示され（例えば、第１の視覚コンテンツは、第１の没入レベルと第２の没入レベルの双方、又は第２の没入レベルのみなどで異なる角度から見ることができる三次元コンテンツである）、第２の音声出力モードで生成された音は、第１の視覚コンテンツの現在の視野角又は視野角に応じて調整される。例えば、ユーザ入力に応じて軌道を旋回させる第２の音声出力モードでは、ユーザから遠ざかるように、ユーザの左前方に移動するように、又はユーザの方向に移動するように、軌道上を走行する模型列車に付随する音声が異なって出力される。いくつかの実施形態では、第２の音声出力モードを使用して音声コンテンツを出力することは、空間音声出力モードを使用して音声コンテンツを出力することを含む。
いくつかの実施形態では、空間音声出力モードは、物理的環境（例えば、サラウンドサウンドエフェクト）などの基準フレーム内の１つ以上のロケーション（例えば、１つ以上の音源）から音声が到来しているかのように、イヤホン又はヘッドホンから出力される音声を鳴らすことができるモードであり、１つ以上のシミュレートされた又は知覚された音源の位置決めは、基準フレームに対するイヤホン又はヘッドホンの動きから独立している。典型的には、１つ以上の知覚された音源は、固定されると、基準フレームに対して固定され、移動すると、基準フレームに対して移動する。例えば、基準フレームが物理的環境である場合、１つ以上の知覚された音源は、物理的環境内にそれぞれの空間的ロケーションを有する。イヤホン又はヘッドホンが物理的環境の周りを移動するとき、イヤホン又はヘッドホンから出力される音声は、音声が物理的環境内のそれぞれの空間的ロケーションにある１つ以上の知覚された音源から到来しているかのように音を発し続けるように調整される。１つ以上の知覚された音源が、物理的環境の周りの一連の空間的ロケーションを移動する移動音源である場合、イヤホン又はヘッドホンからの音声出力は、音声が物理的環境における一連の空間的ロケーションにおいて１つ以上の知覚された音源から到来しているかのように音を発し続けるように調整される。音源を移動させるためのそのような調整はまた、物理的環境に対するイヤホン又はヘッドホンの任意の動きを考慮に入れる（例えば、イヤホン又はヘッドホンが、移動音源との一定の空間的関係を維持するように、移動音源と類似の経路に沿って物理的環境に対して移動する場合、音声は、イヤホン又はヘッドホンに対して移動するように見えないように出力される）。いくつかの実施形態では、空間音声効果のための基準フレームは、コンピュータ生成コンテンツの音声を出力する音声出力デバイスに対して任意選択的に移動する、ユーザによって装着された表示生成構成要素又はＨＭＤなどの電子デバイスに固定される。例えば、物理的環境における音声のシミュレートされたソースのロケーションは、物理的環境における表示生成構成要素の動きに対応して移動する。この特徴は、ユーザが車両又は他の交通手段又は歩行などのモードで移動しており、デバイスがユーザと共に移動しているとき、音声がデバイス及び車両内のユーザと共に移動するとき、又はデバイスが音声出力デバイス（単数又は複数）に対して移動しており、デバイス上で再生される視覚コンテンツに関連付けられている状況では、シミュレートされた音源が、物理的環境の周りを移動するときのデバイスのロケーションに対応する仮想ロケーションに配置されるように、有用であり得る。追従デバイス機能が有効にされていない場合、音声出力は、音声出力デバイスの動きに追従しない。例えば、空間音声は、（例えば、音声出力デバイスが基準フレームに対して移動しても、空間音声が音声出力デバイスの動きに基づいて移動しないように）音声出力デバイスに固定されていない基準フレームに対して位置決めされ、非空間ステレオ又はモノラル音声は、イヤホンのポジションに対して位置決めされ、移動される表示生成構成要素に基づいて移動されない。
いくつかの実施形態では、空間音声出力モードの場合、ユーザ（例えば、平均的なユーザ）が基準フレーム（例えば、ユーザの頭部内のロケーションに限定されない）内の１つ以上のシミュレートされたロケーションから到来する音声出力の音を知覚するように、出力用の音声信号を計算及び調整するために音声信号処理が実行される。いくつかの実施形態では、音声信号の音声信号処理は、電子デバイスによって、１つ以上のウェアラブル音声出力デバイスによって、又は電子デバイスと１つ以上のウェアラブル音声出力デバイス（例えば、部分的には電子デバイスによるものであり、部分的には１つ以上の装着型音声出力デバイスによるものである）との組み合わせによって実行される。いくつかの実施形態では、非空間音声出力モードは、１つ以上の装着可能な音声出力デバイスのセットが基準フレームに対して移動されるときに（例えば、物理的環境に関連して、又はデバイスのディスプレイ若しくは投影されたユーザインタフェースなどの１つ以上の音源に対応する表示されたユーザインタフェースに関連して）（例えば、その結果、１つ以上の音源が基準フレームに対して実質的に固定されたポジションに維持されない）、１つ以上の装着可能な音声出力デバイスのセットの音声が調整されない音声出力モードである。いくつかの実施形態では、非空間音声モードは、ステレオ音声出力モードを含む（例えば、１つ以上の装着可能な音声出力デバイスのセットを介して出力される音声が、１つ以上の装着可能な音声出力デバイスのセットが基準フレームに対して移動するときに調整されない場合、又は、音声が、１つ以上のロケーションから１つ以上の装着可能な音声出力デバイスのセットに対する１つ以上のそれぞれの所定の空間的関係を有するように音に出力され、１つ以上のロケーションと１つ以上の装着可能な音声出力デバイスのセットとの間の相対的な空間的関係（単数又は複数）が、１つ以上の装着可能な音声出力デバイスのセットが移動するときに維持される場合）。いくつかの実施形態では、非空間音声モードは、モノラル音声モードである（例えば、１つ以上の装着可能な音声出力デバイスのセットを介して出力される音声は、１つ以上の装着可能な音声出力デバイスのセットが基準フレームに対して移動するときに調整されず、音声が単一のロケーションから到来しているかのように、及び／又は１つ以上の装着可能な音声出力デバイスのセットの第１の装着可能な音声出力コンポーネントと第２の装着可能な音声出力コンポーネントとの出力音声の間に差がないように、音に出力される）。いくつかの実施形態では、モノラル音声出力モードを使用して出力される音声は、空間又はステレオ音声出力モードを使用して出力される音声とは異なり、空間又はステレオ音声出力モードを使用した音声出力は、１つ以上のウェアラブル音声出力デバイス（例えば、異なる耳の中、上、又は上に装着されたヘッドホンの異なるイヤホン又はイヤカップ）のセットの異なるコンポーネントとの異なる空間的関係を有することができるが、モノラル音声出力モードを使用した音声出力はそうではない。
第１の仮想コンテンツの現在表示されているビュー内の第１の仮想オブジェクトが、第１の視覚コンテンツの現在表示されているビューに対応する視点と第１の空間的関係を有するという判定に従って、第１の空間的関係に対応する音像定位を有する第１の視覚コンテンツの現在表示されているビューに対応する第１の音声コンテンツの第１の部分を出力し、第１の視覚コンテンツの現在表示されているビュー内の第１の仮想オブジェクトが、第１の視覚コンテンツの現在表示されているビューに対応する視点と第１の空間的関係とは異なる第２の空間的関係を有するという判定に従って、第１の空間的関係に対応する音像定位とは異なる音像定位を有する第１の視覚コンテンツの現在表示されているビューに対応する第２の空間的関係を有する第１の音声コンテンツの第１の部分を出力することは、改善された音声フィードバック（例えば、コンピュータシステムが、第１の仮想オブジェクトが、第１の視覚コンテンツの現在表示されているビューに対応する視点との第１の空間的関係又は第２の空間的関係を有すると判定したかどうかに関する改善された音声フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第２の音声出力モードを使用して第１の音声コンテンツを出力することは、第１の視覚コンテンツの現在表示されているビューが第１の視覚コンテンツに描写された三次元環境における第１の視点に対応するという判定に従って、第１の視点に対応する音像定位を有する第１の視覚コンテンツの現在表示されているビューに対応する第１の音声コンテンツの第１の部分を出力することと、第１の視覚コンテンツの現在表示されているビューが第１の視覚コンテンツに描写された三次元環境内の第２の視点に対応するという判定に従って、第２の視点に対応する音像定位を有する第１の視覚コンテンツの現在表示されているビューに対応する第１の音声コンテンツの第１の部分を出力することと、を含み、第１の視点が第２の視点とは異なり、第１の視点に対応する音像定位が第２の視点に対応する音像定位とは異なる、を含む。例えば、いくつかの実施形態では、ユーザが第１の視覚コンテンツの現在表示されているビューに対応する視点の変化を引き起こす物理的環境（例えば、仮想三次元ゲーム世界、仮想三次元環境、ユーザの周囲の物理的環境に基づく拡張現実環境など）内を移動しているとき、第２の音声出力モードで出力される音声は、第１の視覚コンテンツの現在表示されているビューに対応する現在の視点に基づいて変化する。例えば、いくつかの実施形態では、第２の音声出力モードにおける音響出力の品質は、ユーザがその物理的環境（例えば、公園、部屋、ホールなど）の周りを歩くときに表示生成構成要素によって表示される拡張現実環境又は仮想環境における周囲の仮想壁、床、及び／又はウィンドウ（例えば、部屋の実際の床に取って代わる仮想カーペット床又は仮想草、部屋の実際の壁及び／又は窓に取って代わる自然の景色又は仮想窓など）の音響特性に基づいて変化する。
第１の視覚コンテンツに描写された三次元環境において、第１の視覚コンテンツの現在表示されているビューが第１の視点に対応するという判定に従って、第１の視点に対応する音像定位を有する第１の視覚コンテンツの現在表示されているビューに対応する第１の音声コンテンツの第１の部分を出力し、第１の視覚コンテンツに描写された三次元環境において、第１の視覚コンテンツの現在表示されているビューが第１の視点とは異なる第２の視点に対応するという判定に従って、第１の視点に対応する音像定位とは異なる第２の視点に対応する音像定位を有する第１の視覚コンテンツの現在表示されているビューに対応する第１の音声コンテンツの第１の部分を出力することは、改善された音声フィードバック（例えば、コンピュータシステムが、第１の仮想オブジェクトが、第１の視覚コンテンツの現在表示されているビューに対応する視点と第１の空間的関係又は第２の空間的関係を有すると判定したかどうかに関する改善された音声フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の没入レベル（例えば、いくつかの利用可能な没入レベルのうちの中間レベルの没入、２つ以上の利用可能な没入レベルのうちの最低レベルの没入、２つ以上の利用可能な没入レベルのうちのより低いレベルの没入など）を有する第１のコンピュータ生成コンテンツを提示している間、コンピュータシステムは、第２の没入レベル（例えば、第１の没入レベルと比較してより大きな没入レベル）を有する第１のコンピュータ生成コンテンツを提示する要求に対応する第２のイベント（例えば、ユーザがＨＭＤから手を離す、ユーザがカウチに座る、ユーザが第１のコンピュータ生成コンテンツのより没入型の再生モードを開始するための制御を起動する、ユーザがより没入型のモードを起動するためのジェスチャを提供する、など）を検出する。第２の没入レベルを有する第１のコンピュータ生成コンテンツを提示する要求に対応する第２のイベントの検出に応じて、コンピュータシステムは、（例えば、任意選択的に、第１の視覚コンテンツの継続的な再生を維持している間に）三次元環境に表示されている第１の視覚コンテンツの空間的範囲を拡張し（例えば、角度範囲を拡張すること、三次元環境の見ることができる部分を拡張すること、環境の平坦な二次元表現から三次元表現に切り替えることなど）（例えば、第１の視覚コンテンツが第１の没入レベルで表示されたときに以前に表示されなかった三次元環境の追加部分を明らかにすること、第１のコンピュータ生成コンテンツ内の仮想オブジェクトの二次元ビューから三次元ビューに切り替えることなど）、コンピュータシステムは、（例えば、任意選択的に、第１の音声コンテンツの継続的な再生を維持している間に）第１の音声出力モードを使用した第１の音声コンテンツの出力から第２の音声出力モードへ切り替える。
第１のコンピュータ生成コンテンツに第２の没入レベルを提示する要求に対応する第２のイベントの検出に応じて、三次元環境に表示されている第１の視覚コンテンツの空間的範囲を拡張し、第１の音声出力モードを使用して第１の音声コンテンツを出力することから第２の音声出力モードに切り替えることは、改善された視覚及び音声フィードバック（例えば、コンピュータシステムが第２の没入レベルを有する第１のコンピュータ生成コンテンツを提示する要求に対応する第２のイベントを検出したという改善された視覚及び音声フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、第２の没入レベル（例えば、いくつかの利用可能な没入レベルのうちの中間レベルの没入、２つ以上の利用可能な没入レベルのうちの最高レベルの没入、２つ以上の利用可能な没入レベルのうちのより高いレベルの没入など）で第１のコンピュータ生成コンテンツを提示し、コンピュータシステムは、第１の没入レベル（例えば、低没入モード）で第１のコンピュータ生成コンテンツを提示する要求に対応する第３のイベント（例えば、ユーザが立ち上がる及び／又はＨＭＤに手を置くこと、ユーザがコンテンツを一時停止すること、ユーザが第１のコンピュータ生成コンテンツの低没入再生モードを開始するための制御を起動すること、ユーザが低没入モードを起動するためのジェスチャを提供することなど）を検出する。第１の没入レベルを有する第１のコンピュータ生成コンテンツを提示する要求に対応する第３のイベントを検出したことに応じて、コンピュータシステムは、（例えば、任意選択的に、第１の視覚コンテンツの継続的な再生を維持している間に）三次元環境に表示されている第１の視覚コンテンツの空間的範囲を縮小し（例えば、角度範囲の縮小、三次元環境の視認可能な部分の縮小、環境の三次元表現から平坦な二次元表現への切り替えなど）（例えば、第１の視覚コンテンツが第２の没入レベルで表示されたときに以前に表示された三次元環境の部分を隠すこと、第１のコンピュータ生成コンテンツ内の仮想オブジェクトの三次元ビューから二次元ビューに切り替えることなど）、コンピュータシステムは、（例えば、任意選択的に、第１の音声コンテンツの継続的な再生を維持している間に）第２の音声出力モードを使用した第１の音声コンテンツの出力から第１の音声出力モードへ切り替える。いくつかの実施形態では、第２の音声出力モードを使用して第１の音声コンテンツを出力することから第１の音声出力モードに切り替えることは、空間音声出力モードで音声コンテンツを出力することからステレオ音声出力モードを出力することに切り替えることを含む。いくつかの実施形態では、第２の音声出力モードを使用して第１の音声コンテンツを出力することから第１の音声出力モードに切り替えることは、ステレオ音声出力モードで音声コンテンツを出力することから空間音声出力モードを出力することに切り替えることを含む。
第１のコンピュータ生成コンテンツに第１の没入レベルを提示する要求に対応する第３のイベントを検出したことに応じて、三次元環境に表示されている第１の視覚コンテンツの空間的範囲を縮小し、第２の音声出力モードを使用して第１の音声コンテンツを出力することから第１の音声出力モードに切り替えることは、改善された視覚及び音声フィードバック（例えば、第１の没入レベルを有する第１のコンピュータ生成コンテンツを提示する要求に対応する第３のイベントをコンピュータシステムが検出したという改善された視覚及び音声フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の視覚コンテンツは、仮想環境を描写する。いくつかの実施形態では、仮想環境は、仮想ゲーム環境である。いくつかの実施形態では、仮想環境は、コンピュータ生成体験を起動するためのアプリケーションアイコン及びコンピュータシステムのデバイス設定を制御するためのデバイス制御を含む仮想デスクトップ又はコマンドセンタ環境である。いくつかの実施形態では、仮想環境は、映画又はビデオである。いくつかの実施形態では、仮想環境は、様々な基準を満たすユーザ入力に応じて実行される異なるアプリケーション動作に対応するユーザインタフェースオブジェクトを含むアプリケーションユーザインタフェースである。仮想環境を描写する第１の視覚コンテンツを表示することは、改善された視覚フィードバック（例えば、コンピュータシステムがコンピュータ生成コンテンツを提示しているという改善された視覚フィードバック、コンピュータ生成コンテンツの没入レベルに関する改善された視覚フィードバックなど）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の視覚コンテンツは、表示生成構成要素を介して第１の視覚コンテンツと同時に表示される物理的環境内の物理的ロケーションに対応する三次元環境内のそれぞれの空間的ロケーションを有する１つ以上の仮想オブジェクトを描写する。いくつかの実施形態では、第１のコンピュータ生成環境は、物理的環境の表現のそれぞれの部分（例えば、物理的環境のカメラビュー、物理的環境に対応する点群など）の表示をオーバーレイ又は置換して表示される１つ以上の仮想オブジェクトを含む。いくつかの実施形態では、第１のコンピュータ生成環境は、第１の表示生成構成要素の透明部分を通して物理的環境のそれぞれの部分のビューをブロックする１つ以上の仮想オブジェクトを含む。いくつかの実施形態では、第１の視覚コンテンツは、第１の没入レベルで表示されると、物理的環境内の物理的表面（例えば、仮想コンテンツは、壁、実窓、卓上などを覆う）に対応するロケーションにある三次元コンピュータ生成環境内に位置するフレーム又は表示領域に表示されるか、又は空中に浮遊し、第２の没入レベルで表示されると、物理的環境内の複数の物理的表面（例えば、仮想コンテンツは、複数の壁、窓などを覆う）に対応するか、又はユーザの物理的環境内の三次元空間を占有するロケーションにおいて三次元コンピュータ生成環境に表示される。
表示生成構成要素を介して第１の視覚コンテンツと同時に表示される物理的環境内の物理的ロケーションに対応する三次元環境内のそれぞれの空間的ロケーションを有する１つ以上の仮想オブジェクトを描写する第１の仮想コンテンツを表示することは、改善された視覚フィードバック（例えば、コンピュータシステムがコンピュータ生成コンテンツを提示しているという改善された視覚フィードバック、コンピュータ生成コンテンツの没入レベルに関する改善された視覚フィードバックなど）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、三次元環境の第１の部分内に第１の視覚コンテンツを表示することは、三次元環境の第１の部分内の有界表示領域（例えば、ウィンドウ、フレーム、境界線を有する予め設定されたコンテンツ表示領域、単一の壁又は机の表面に対応する領域など）に第１の視覚コンテンツを表示することを含み、第１の音声出力モードを使用して第１の音声コンテンツを出力することは、第１の音声コンテンツを（例えば、ヘッドロック音を有する左音声チャネル及び右音声チャネルなどを有する）ステレオ音声として出力することを含む。第１の視覚コンテンツを三次元環境の第１の部分の有界表示領域に表示し、第１の音声コンテンツをステレオ音声として出力することは、改善された視覚及び音声フィードバック（例えば、コンピュータシステムが第１の没入レベルを有する第１のコンピュータ生成コンテンツを提示している改善された視覚及び音声フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、三次元環境の第２の部分内に第１の視覚コンテンツを表示することは、三次元環境の第２の部分内の有界表示領域を使用することなく三次元環境の第２の部分に第１の視覚コンテンツを表示することを含み（例えば、仮想コンテンツは三次元空間を占有し、複数の物理的表面（例えば、複数の壁及び窓など）に対応する表面を占有する）、第２の音声出力モードを使用して第１の音声コンテンツを出力することは、第１の音声コンテンツを空間音声として出力することを含む（例えば、３つ以上の方向から到来する音、表示されている仮想コンテンツに基づいて変化する空間的局所性を有する音、物理的環境におけるユーザの物理的ロケーション及び／又は動きに基づいて変化する空間的局所性を有する音、現在表示されている仮想コンテンツの量及び／又は種類に基づく異なる音響特性に対応する音など）。いくつかの実施形態では、第２の音声出力モードを使用して音声コンテンツを出力することは、空間音声出力モードを使用して音声コンテンツを出力することを含む。いくつかの実施形態では、空間音声出力モードは、物理的環境（例えば、サラウンドサウンドエフェクト）などの基準フレーム内の１つ以上のロケーション（例えば、１つ以上の音源）から音声が到来しているかのように、イヤホン又はヘッドホンから出力される音声を鳴らすことができるモードであり、１つ以上のシミュレートされた又は知覚された音源の位置決めは、基準フレームに対するイヤホン又はヘッドホンの動きから独立している。典型的には、１つ以上の知覚された音源は、固定されると、基準フレームに対して固定され、移動すると、基準フレームに対して移動する。例えば、基準フレームが物理的環境である場合、１つ以上の知覚された音源は、物理的環境内にそれぞれの空間的ロケーションを有する。イヤホン又はヘッドホンが物理的環境の周りを移動するとき、イヤホン又はヘッドホンから出力される音声は、音声が物理的環境内のそれぞれの空間的ロケーションにある１つ以上の知覚された音源から到来しているかのように音を発し続けるように調整される。１つ以上の知覚された音源が、物理的環境の周りの一連の空間的ロケーションを移動する移動音源である場合、イヤホン又はヘッドホンからの音声出力は、音声が物理的環境における一連の空間的ロケーションにおいて１つ以上の知覚された音源から到来しているかのように音を発し続けるように調整される。音源を移動させるためのそのような調整はまた、物理的環境に対するイヤホン又はヘッドホンの任意の動きを考慮に入れる（例えば、イヤホン又はヘッドホンが、移動音源との一定の空間的関係を維持するように、移動音源と類似の経路に沿って物理的環境に対して移動する場合、音声は、イヤホン又はヘッドホンに対して移動するように見えないように出力される）。
いくつかの実施形態では、空間音声効果の基準フレームは、音声出力デバイスを介して音声を出力している電子デバイスに固定される（例えば、音はデバイスに追従する）。例えば、物理的環境における音声のシミュレートされたソースのロケーションは、物理的環境におけるデバイスの動きに対応して移動する。この特徴は、ユーザが車両又は他の交通手段又は歩行などのモードで移動しており、デバイスがユーザと共に移動しているとき、音声がデバイス及び車両内のユーザと共に移動するとき、又はデバイスが音声出力デバイス（単数又は複数）に対して移動しており、デバイス上で再生される視覚コンテンツに関連付けられている状況では、シミュレートされた音源が、物理的環境の周りを移動するときのデバイスのロケーションに対応する仮想ロケーションに配置されるように、有用であり得る。デバイス追従機能が有効になっていない場合、音声出力は、デバイスの動きに追従しない。例えば、空間音声は、（例えば、デバイスが基準フレームに対して移動しても、空間音声がデバイスの動きに基づいて移動しないように）デバイスに固定されていない基準フレームに対して位置決めされ、非空間ステレオ又はモノラル音声は、イヤホンのポジションに対して位置決めされ、デバイスの動きに基づいて移動されない。
いくつかの実施形態では、空間音声出力モードの場合、ユーザ（例えば、平均的なユーザ）が基準フレーム（例えば、ユーザの頭部内のロケーションに限定されない）内の１つ以上のシミュレートされたロケーションから到来する音声出力の音を知覚するように、出力用の音声信号を計算及び調整するために音声信号処理が実行される。いくつかの実施形態では、音声信号の音声信号処理は、電子デバイスによって、１つ以上のウェアラブル音声出力デバイスによって、又は電子デバイスと１つ以上のウェアラブル音声出力デバイス（例えば、部分的には電子デバイスによるものであり、部分的には１つ以上の装着型音声出力デバイスによるものである）との組み合わせによって実行される。
いくつかの実施形態では、非空間音声出力モードは、１つ以上の装着可能な音声出力デバイスのセットが基準フレームに対して移動されるときに（例えば、物理的環境に関連して、又はデバイスのディスプレイ若しくは投影されたユーザインタフェースなどの１つ以上の音源に対応する表示されたユーザインタフェースに関連して）（例えば、その結果、１つ以上の音源が基準フレームに対して実質的に固定されたポジションに維持されない）、１つ以上の装着可能な音声出力デバイスのセットの音声が調整されない音声出力モードである。いくつかの実施形態では、非空間音声モードは、ステレオ音声出力モードを含む（例えば、１つ以上の装着可能な音声出力デバイスのセットを介して出力される音声が、１つ以上の装着可能な音声出力デバイスのセットが基準フレームに対して移動するときに調整されない場合、又は、音声が、１つ以上のロケーションから１つ以上の装着可能な音声出力デバイスのセットに対する１つ以上のそれぞれの所定の空間的関係を有するように音に出力され、１つ以上のロケーションと１つ以上の装着可能な音声出力デバイスのセットとの間の相対的な空間的関係（単数又は複数）が、１つ以上の装着可能な音声出力デバイスのセットが移動するときに維持される場合）。いくつかの実施形態では、非空間音声モードは、モノラル音声モードである（例えば、１つ以上の装着可能な音声出力デバイスのセットを介して出力される音声は、１つ以上の装着可能な音声出力デバイスのセットが基準フレームに対して移動するときに調整されず、音声が単一のロケーションから到来しているかのように、及び／又は１つ以上の装着可能な音声出力デバイスのセットの第１の装着可能な音声出力コンポーネントと第２の装着可能な音声出力コンポーネントとの出力音声との間に差がないように、音に出力される）。いくつかの実施形態では、モノラル音声出力モードを使用して出力される音声は、空間又はステレオ音声出力モードを使用して出力される音声とは異なり、空間又はステレオ音声出力モードを使用した音声出力は、１つ以上のウェアラブル音声出力デバイス（例えば、異なる耳の中、上、又は上に装着されたヘッドホンの異なるイヤホン又はイヤカップ）のセットの異なるコンポーネントとの異なる空間的関係を有することができるが、モノラル音声出力モードを使用した音声出力はそうではない。
三次元環境の第２の部分の有界表示領域を使用することなく第１の視覚コンテンツを表示し、空間無線として第１の音声コンテンツを出力することは、改善された視覚及び音声フィードバック（例えば、コンピュータシステムが第２の没入レベルを有する第１のコンピュータ生成コンテンツを提示している改善された視覚及び音声フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１及び第２の没入レベルのうちの１つを有する第１のコンピュータ生成コンテンツを提示している間、コンピュータシステムは、第１及び第２の没入レベルのうちの異なる１つを有する第１のコンピュータ生成コンテンツを提示する要求に対応する第４のイベントを検出する。第１及び第２の没入レベルのうちの異なる１つを有する第１のコンピュータ生成コンテンツを提示する要求に対応する第４のイベントの検出に応じて、コンピュータシステムは、表示生成構成要素を介して表示される物理的環境の表現を隠す（例えば、オーバーレイ、表示の置換、ビューのブロックなど）仮想コンテンツの量を変化させる（例えば、増加、減少など）アニメーション化された遷移を表示し（例えば、没入レベルを上げるときに、物理的環境の壁及び／又はウィンドウが仮想コンテンツ（例えば、仮想風景は、壁及び窓などの表面に沿って広がる）に徐々に置換されていることを示すアニメーション化された遷移を表示し、没入レベルを下げたときに仮想コンテンツが徐々に消える（例えば、仮想風景は、壁及び窓などの表面に沿って収縮するか、又は表面上でフェードする）ときに物理的環境の壁及び／又はウィンドウが徐々に見えることを示すアニメーション化された遷移を表示する、など）、アニメーション化された遷移の表示に関連して（例えば、表示と同時に、表示の閾値時間ウィンドウ内など）、コンピュータシステムは、第１及び第２の音声出力モードのうちの１つを使用して第１の音声コンテンツを再生することから、第１及び第２の音声出力モードのうちの異なる１つを使用して音声コンテンツを再生することに切り替える（例えば、没入レベルを上げるときに第１の音声出力モードから第２の音声出力モードに切り替える、没入レベルを下げるなどしたときに、第２の音声出力モードから第１の音声出力モードに切り替える）。
第１及び第２の音声出力モードのうちの一方を使用して第１の音声コンテンツを再生することから、第１及び第２の音声出力モードのうちの異なる一方を使用して音声コンテンツを再生することへの切り替えに関連して、表示生成構成要素を介して表示される物理的環境の表現を隠す仮想コンテンツの量を変化させるアニメーション化された遷移を表示することは、第１及び第２の没入レベルのうちの異なる一方を有する第１のコンピュータ生成コンテンツを提示する要求に対応する第４のイベントの検出に応じて、改善された視覚及び音声フィードバック（例えば、コンピュータシステムが第１の没入レベルから第２の没入レベルに変化している、又はその逆の改善された視覚及び音声フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
図８における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法９０００、１００００、及び１１０００）に関して本明細書で記載した他のプロセスの詳細はまた、図８に関連して上述した方法８０００に類似の方法で適用可能であることに留意されたい。例えば、方法８０００を参照して上述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、制御、動き、基準、三次元環境、表示生成構成要素、表面、物理的オブジェクトの表現、仮想オブジェクト、音声出力モード、基準フレーム、視点、物理的環境、物理的環境の表現、三次元環境のビュー、没入レベル、視覚効果、及び／又はアニメーションは、任意選択的に、本明細書に記載された他の方法（例えば、方法９０００、１００００、及び１１０００）を参照して本明細書に記載されたジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、制御、動き、基準、三次元環境、表示生成構成要素、表面、物理的オブジェクトの表現、仮想オブジェクト、音声出力モード、基準フレーム、視点、物理的環境、物理的環境の表現、三次元環境のビュー、没入レベル、視覚効果、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図９は、いくつかの実施形態による、重要な物理的オブジェクトが表示生成構成要素又はユーザのロケーションに近付くときに仮想コンテンツの一部の外観を変更する方法９０００のフローチャートである。
いくつかの実施形態では、方法９０００は、コンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。表示生成構成要素（例えば、図１、図３、及び図４の表示生成構成要素１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上のカメラ（例えば、カメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））は、ユーザの手又はユーザの頭部から前方に向くカメラである。いくつかの実施形態では、方法９０００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法９０００の一部の動作は、任意選択的に組み合わされ、及び／又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法９０００は、表示生成構成要素（例えば、図１、図３、及び図４の表示生成構成要素１２０、表示生成構成要素７１００など）（例えば、ヘッドアップディスプレイ、ＨＭＤ、ディスプレイ、タッチスクリーン、プロジェクタなど）と通信するコンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、コンピュータシステムは、１つ以上の音声出力デバイス（例えば、イヤホン、物理的環境に配置されたスピーカ、同じハウジング内のスピーカ、又は表示生成構成要素と同じ支持構造に取り付けられたスピーカ（例えば、ＨＭＤの内蔵スピーカなど））、及び１つ以上の入力デバイス（例えば、カメラ、コントローラ、タッチ感知面、ジョイスティック、ボタン、手袋、時計、モーションセンサ、方位センサなど）と更に通信する。いくつかの実施形態では、表示生成構成要素は、ユーザに面するディスプレイコンポーネントであり、ＣＧＲ体験をユーザに提供する。いくつかの実施形態では、コンピュータシステムは、表示生成構成要素、１つ以上の音声出力デバイス、及び１つ以上の入力デバイスの少なくともいくつかと同じハウジングに囲まれた１つ以上のプロセッサ及びメモリを有する統合デバイスである。いくつかの実施形態では、コンピュータシステムは、１つ以上のプロセッサと、表示生成構成要素（例えば、ヘッドアップディスプレイ、タッチスクリーン、スタンドアロンディスプレイなど）、１つ以上の出力デバイス（例えば、イヤホン、外部スピーカなど）、及び１つ以上の入力デバイスのうちの１つ以上とは別個のメモリとを含むコンピューティングコンポーネント（例えば、サーバ、スマートフォン又はタブレットデバイスなどのモバイル電子デバイス、腕時計、リストバンド又はイヤホンなどのウェアラブルデバイス、デスクトップコンピュータ、ラップトップコンピュータなど）を含む。いくつかの実施形態では、表示生成構成要素及び１つ以上の音声出力デバイスは、同じハウジング内に統合され、かつ同じハウジングに囲まれている。
方法９０００では、コンピュータシステムは、表示生成構成要素を介して、コンピュータ生成環境（例えば、図７Ｄの環境７１２６、別のコンピュータ生成環境など）のビューを表示する（９００２）。いくつかの実施形態では、コンピュータ生成環境のビューは、三次元仮想環境、三次元映画、仮想オフィス、仮想デスクトップなど、又は表示生成構成要素（及び／又はユーザ）を囲む物理的環境の表現と同時に表示される仮想コンテンツを含む拡張現実環境などコンピュータ生成環境を表示している間、及びコンピュータ生成環境が、ユーザ（例えば、ユーザが表示生成構成要素を介して表示されるコンテンツを見ることを可能にする表示生成構成要素との空間的関係を有するユーザ）が位置する物理的環境に存在する第１の物理的オブジェクト（例えば、図７Ｃ～図７Ｈの物理的オブジェクト７１２２、図７Ｃの物理的オブジェクト７１２０、別の物理的オブジェクトなど）（例えば、ペット、別の人、椅子、テーブルなど）の第１の部分の視覚的表現を含まない間、コンピュータシステムは、物理的環境内の第１の物理的オブジェクトの第１の動き（例えば、ユーザに向かう他人の動き、ユーザに向かうペットの動き、ユーザに向かう回転ボールの動き、風に吹かれるカーテンの動きなど）を検出する（９００４）。物理的環境内の第１の物理的オブジェクトの第１の動き（例えば、図７Ｃ、図７Ｅ、及び図７Ｇに示す物理的オブジェクト７１２０の動き、物理的オブジェクト７１２２の動きなど）の検出（９００６）に応じて、ユーザが第１の物理的オブジェクトの第１の部分の閾値距離内（例えば、図７Ｃ、図７Ｅ、及び図７Ｇの空間領域７１２４内、ユーザの特徴的なロケーションの閾値距離内など）にあり、第１の物理的オブジェクトが予め設定された基準を満たしているという判定に従って（例えば、図７Ｃ～図７Ｈの例では、物理的オブジェクト７１２２は、予め設定された基準を満たす）、予め設定された基準が、ユーザからの第１の物理的オブジェクトの距離以外の第１の物理的オブジェクトの予め設定された特性（例えば、重要度、識別情報、移動速度、予め設定された動作の存在、動きパターン、物理的オブジェクトのタイプ（例えば、人及びペット対無生物のオブジェクト）、第１の物理的オブジェクト上の識別子オブジェクトの存在など）に関する要件を含み、コンピュータシステムは、第１の物理的オブジェクトの第２の部分に対応するポジションに表示された仮想コンテンツの一部の外観を変更することなく、第１の物理的オブジェクトの第１の部分の現在のロケーションに対応するポジションに表示された仮想コンテンツの一部の外観を変更し（９００８）、第１の物理的オブジェクトの第１の部分（例えば、物理的オブジェクト７１２２の頭部）及び物理的オブジェクトの第２の部分（例えば、物理的オブジェクト７１２２の身体部分）が、双方とも、コンピュータ生成環境についてユーザの視野に基づいてユーザに潜在的に見える第１の物理的オブジェクトの範囲の一部である（例えば、第１の物理的オブジェクトの第１の部分及び第２の部分は、双方ともユーザの視野に入るが、表示生成構成要素（例えば、ＨＭＤ、ヘッドアップディスプレイなど）が存在する場合である）。いくつかの実施形態では、第１の物理的オブジェクトは、重要であるとしてユーザによって以前にマークされており、第１の物理的オブジェクトは、閾値速度を超えてユーザに向かって移動しており、第１の物理的オブジェクトは、無生物又は動物ではなく人であり、第１の物理的オブジェクトは、ユーザに近付くにつれて話す人であり、第１の物理的オブジェクトは、無生物又は他の種類の動物又は昆虫ではなく人又はペットであり、及び／又は第１の物理的オブジェクトは、予め設定された識別子オブジェクト（例えば、無線送信されたＩＤ、ＲＦＩＤタグ、色分けされたタグを有するカラーなど）を装着しているなどのため、第１の物理的オブジェクトは、予め設定された基準を満たす。いくつかの実施形態では、第１の物理的オブジェクトの第１の部分と第１の物理的オブジェクトの第２の部分との間の空間的関係が、コンピュータ生成環境のユーザの視野に基づいてコンピュータ生成環境内のそれらの対応するポジションが双方ともユーザに見えるようなものであり、第１の物理的オブジェクトの第２の部分に対応するポジションがユーザの視点から第１の物理的オブジェクトの第１の部分に対応するポジションによってブロックされない場合、コンピュータシステムは、第１の物理的オブジェクトの第１の部分のみがユーザの閾値距離内にあり、第１の物理的オブジェクトの第２の部分がユーザの閾値距離内にない場合、第１の物理的オブジェクトの第１の部分に対応するポジションに表示される仮想コンテンツの部分の外観を変更するだけであり、第１の物理的オブジェクトの第２の部分に対応するポジションに表示される仮想コンテンツの部分の外観を変更しない。物理的環境内の第１の物理的オブジェクトの第１の動きの検出に応じて、ユーザがユーザを取り囲む物理的環境内に存在する第１の物理的オブジェクトの閾値距離内にあり、第１の物理的オブジェクトが予め設定された基準を満たしていない（例えば、物理的オブジェクト７１２０は、図７Ｃ～図７Ｇに示される例における予め設定された基準を満たさない）という判定に従って、コンピュータシステムは、第１の物理的オブジェクトの第１の部分の現在のロケーションに対応するポジションに表示された仮想コンテンツの一部の外観の変更を取り止める（９０１０）（第１の物理的オブジェクトの第１の部分がユーザの閾値距離内にあり、ユーザに潜在的に見えるが、物理的環境のユーザの視野を遮る表示生成構成要素が存在するために、仮想コンテンツの外観を変更することなく仮想コンテンツを維持する）。これは、図７Ｅ～図７Ｇに示されており、物理的オブジェクト７１２０のロケーションに対応するポジションにある仮想コンテンツは、物理的オブジェクトがユーザを取り囲む空間領域７１２４内に入った後であっても表示されたままである。いくつかの実施形態では、第１の物理的オブジェクトは、重要であるとしてユーザによって以前にマークされておらず、第１の物理的オブジェクトは、閾値速度を超えてユーザに向かって移動しておらず、第１の物理的オブジェクトは、人ではなく、無生物のオブジェクト又は動物であり、第１の物理的オブジェクトは、人であるが、ユーザに近付いているときに話しておらず、第１の物理的オブジェクトは、人又はペットではなく、第１の物理的オブジェクトは、予め設定された識別子オブジェクト（例えば、無線送信されたＩＤ、ＲＦＩＤタグ、色分けされたタグを有するカラーなど）を装着していないなどのため、第１の物理的オブジェクトは、予め設定された基準を満たさない。いくつかの実施形態では、第１の物理的オブジェクトの一部がユーザの閾値距離内に入り、コンピュータ生成環境におけるその対応するポジションが、コンピュータ生成環境のユーザの視野に基づいてユーザに可視であり、第１の物理的オブジェクトの第１の部分に対応するポジションが、ユーザの視野の観点から別の物理的オブジェクト又は第１の物理的オブジェクトの別の部分に対応するポジションによってブロックされていないとき、コンピュータシステムは、第１の物理的オブジェクトが予め設定された基準を満たさない場合、第１の物理的オブジェクトの第１の部分に対応するポジションに表示された仮想コンテンツの部分の外観を変更しない。例えば、ボールは、第１の物理的オブジェクトが人又はペットであることを必要とする予め設定された基準を満たさない。ボールがユーザに接近して転がるとき、コンピュータシステムは、ユーザに対するボールのロケーションに対応するコンピュータ生成環境内のポジションに表示される仮想コンテンツの外観を変更しない。対照的に、ペットがユーザに近付いた場合、コンピュータシステムは、ペットの他の部分に対応するポジションもユーザの現在の視野内にあるにもかかわらず、ユーザの予め設定された距離に入っていないペットの他の部分に対応するポジションに表示される仮想コンテンツの外観を変更することなく、ユーザの予め設定された距離に入ったペットの部分に対応するポジションに表示される仮想コンテンツの外観を変更する。
いくつかの実施形態では、第１の物理的オブジェクトの第１の部分及び第１の物理的オブジェクトの第２の部分は、第１の物理的オブジェクトの連続した部分である（例えば、図７Ｆ及び図７Ｈでは、物理的オブジェクト７１２２の頭部の中央前部及び物理的オブジェクト７１２２の頭部の周辺後部は、物理的オブジェクト７１２２の連続した（又は近接した、又は隣接した）部分であり、物理的オブジェクト７１２２の身体部分の前部及び物理的オブジェクト７１２２の身体部分の後部は、物理的オブジェクト７１２２の連続した（又は近接した、又は隣接した）部分である）。例えば、いくつかの実施形態では、第１の物理的オブジェクトの第１の部分と第１の物理的オブジェクトの第２の部分との間に、第１の物理的オブジェクトの第１の部分及び第２の部分に適用される異なる処理の根拠を提供する明確な構造的又は視覚的分割は存在しない。代わりに、差は、第１の物理的オブジェクトの第１の部分がユーザの閾値距離内にあり、第１の物理的オブジェクトの第２の部分がユーザの閾値距離内にないという事実に基づく。例えば、第１の物理的オブジェクトは、ペットであり、第１の物理的オブジェクトの第１の部分は、ペットの頭の第１の部分（例えば、鼻、ひげ、顔の一部など）を含み、第１の物理的オブジェクトの第２の部分は、ペットの頭（例えば、顔及び耳の残りの部分など）及び頭に接続された胴体の追加部分を含む。
ユーザが第１の物理的オブジェクトの第１の部分の閾値距離内にあり、第１の物理的オブジェクトが予め設定された基準を満たすという判定に従って、第１の物理的オブジェクトの第２の部分であって、第１の物理的オブジェクトの第１の部分及び第１の物理的オブジェクトの第２の部分が、第１の物理的オブジェクトの連続した（又は近接した、又は隣接した）部分でありコンピュータ生成環境に対するユーザの視野に基づいてユーザに潜在的に見える第１の物理的オブジェクトの範囲の双方である、第１の物理的オブジェクトの第２の部分に対応するポジションに表示された仮想コンテンツの一部の外観を変更することなく、第１の物理的オブジェクトの第１の部分の現在のロケーションに対応するポジションに表示された仮想コンテンツの一部の外観変更することは、更なるユーザ入力（例えば、仮想コンテンツの適切な部分の外観を変更するための更なるユーザ入力）を必要とすることなく条件のセットが満たされたときに仮想コンテンツの一部の外観を変更する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の物理的オブジェクトの第１の部分に対応するポジションに表示される仮想コンテンツの部分及び第１の物理的オブジェクトの第２の部分に対応するポジションに表示される仮想コンテンツの部分は、同じ仮想オブジェクトのそれぞれの部分（例えば、ユーザインタフェースオブジェクト、連続的な仮想表面、映画シーンなど）を含む。例えば、いくつかの実施形態では、仮想コンテンツは、任意選択的に、それらのポジションの境界における仮想コンテンツ上の視覚的境界の有無にかかわらず、ユーザの閾値距離内にある物理的オブジェクトの部分（単数又は複数）に対応するポジションにおいて外観が変更される。ユーザが第１の物理的オブジェクトの第１の部分の閾値距離内にあり、第１の物理的オブジェクトが予め設定された基準を満たすという判定に従って、第１の物理的オブジェクトの第２の部分であって、第１の物理的オブジェクトの第１の部分及び第１の物理的オブジェクトの第２の部分が、第１の物理的オブジェクトの連続した（又は近接した、又は隣接した）部分である、第１の物理的オブジェクトの第２の部分に対応するポジションに表示された仮想コンテンツの一部の外観を変更することなく、第１の物理的オブジェクトの第１の部分の現在のロケーションに対応するポジションに表示された仮想コンテンツの一部の外観を変更することは、更なるユーザ入力（例えば、仮想コンテンツの適切な部分の外観を変更するための更なるユーザ入力）を必要とすることなく条件のセットが満たされたときに仮想コンテンツの一部の外観を変更する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の物理的オブジェクトの第２の部分に対応するポジションに表示された仮想コンテンツの部分の外観を変更することなく、第１の物理的オブジェクトの第１の部分の現在のロケーションに対応するポジションに表示された仮想コンテンツの部分の外観を変更することは、仮想コンテンツの表示を維持しながら（例えば、予め設定された進行及び仮想コンテンツの変化に従って（例えば、現在再生されているメディアの予め設定された再生シーケンスに従って、ユーザの手又はコントローラなどを使用して実行されるユーザ相互作用の予め設定された応答に従って））、第１の物理的オブジェクトの第２の部分に対応するポジションに表示された仮想コンテンツの部分に第１の視覚効果を適用することなく、第１の物理的オブジェクトの第１の部分の現在のロケーションに対応するポジションに表示された仮想コンテンツの部分に第１の視覚効果（例えば、透明度レベルを上げること、彩度を下げること、ピクセルにアニメーションを適用すること（例えば、点滅効果を生成する）、シミュレートされた屈折率を変更すること（例えば、ピクセルポジションをオフセットするなど）など）を適用することを含む。いくつかの実施形態では、視覚効果を適用することは、第１の物理的オブジェクトの第１の部分の様々な下位部分の異なる視覚特性にそれぞれ基づいて、第１の物理的オブジェクトの第１の部分の現在のロケーションに対応するポジションに表示された仮想コンテンツの部分の様々な下位部分（例えば、第１の物理的オブジェクトの第１の部分の内部構造、色、形状など）を変更することを含む。したがって、第１の視覚効果は、第１の物理的オブジェクトの第１の部分の様々な下位部分の外観を反映している（例えば、第１の物理的オブジェクトの第１の部分のゴースト像又は影を示し、第１の物理的オブジェクトの第１の部分の外形を示すなど）。いくつかの実施形態では、第１の物理的オブジェクトの第１の部分のロケーションに対応するポジションにおいて仮想コンテンツの部分の外観を変更することは、仮想コンテンツの部分の表示を第１の物理的オブジェクトの第１の部分の視覚的表現（例えば、第１の物理的オブジェクトの第１の部分のカメラビュー又は様式化された表現）に置換することを含む。いくつかの実施形態では、第１の物理的オブジェクトの第１の部分のロケーションに対応するポジションにおいて仮想コンテンツの部分の外観を変更することは、半透明表示生成構成要素を通して第１の物理的オブジェクトの第１の部分が見えるようにするために仮想コンテンツの部分の透明度を増加させることを含む。
ユーザが第１の物理的オブジェクトの第１の部分の閾値距離内にあり、第１の物理的オブジェクトが予め設定された基準を満たすという判定に従って、第１の物理的オブジェクトの第２の部分に対応するポジションに表示された仮想コンテンツの部分に第１の視覚効果を適用することなく、第１の物理的オブジェクトの第１の部分の現在のロケーションに対応するポジションに表示された仮想コンテンツの部分に第１の視覚効果を適用することは、ユーザに改善された視覚フィードバック（例えば、ユーザが物理的オブジェクトの第１の部分の閾値距離内にあり、第１の物理的オブジェクトが予め設定された基準を満たすという改善された視覚フィードバック、第１の物理的オブジェクトの第１の部分及び第２の部分に関する改善された視覚フィードバックなど）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の物理的オブジェクトの予め設定された特性は、人と人以外の物理的オブジェクトとを区別する第１の特性を含み、第１の物理的オブジェクトが予め設定された基準を満たすと判定することは、第１の物理的オブジェクト上の第１の特性（例えば、予め設定された顔の構造（例えば、目の存在及び／又は動き、目、鼻、及び口の相対ロケーションなど）、身体部分（例えば、頭部、身体、及び四肢など）の割合及び相対ポジション）の存在を（例えば、コンピュータシステムなどに結合された１つ以上のカメラを使用して）検出すること、第１の物理的オブジェクトの動きに付随するユーザの音声以外の人間の音声を検出すること、人間の歩行又は走行に関連する第１の物理的オブジェクト上の動きパターン（例えば、腕の振り、歩行など）を検出することなどを含む。例えば、いくつかの実施形態では、第１の物理的オブジェクトがユーザの予め設定された距離内に第１の物理的オブジェクトの少なくとも第１の部分を有することの検出に応じて、第１の物理的オブジェクトが無生物又は非人間動物ではなく人間であることを示す第１の特性を第１の物理的オブジェクトが有するという判定に従って、コンピュータシステムは、第１の物理的オブジェクトが、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガするための予め設定された基準を満たすと判定する。いくつかの実施形態では、第１の物理的オブジェクトがユーザの予め設定された距離内に第１の物理的オブジェクトの少なくとも第１の部分を有することを検出したことに応じて、第１の物理的オブジェクトが無生物又は非人間動物ではなく人間であることを示す第１の特性を第１の物理的オブジェクトが有していないという判定に従って、コンピュータシステムは、第１の物理的オブジェクトが、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガするための予め設定された基準を満たさないと判定し、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガすることを取り止める。
第１の物理的オブジェクトの第２の部分に対応するポジションに表示された仮想コンテンツの部分の外観を変更することなく、第１の物理的オブジェクトの第１の部分の閾値距離内にユーザがあり、第１の物理的オブジェクトの第１の部分が人と人以外の物理的オブジェクトとを区別する第１の特性に関する要件を含む予め設定された基準を満たすという判定に従って、第１の物理的オブジェクトの現在のロケーションに対応するポジションに表示された仮想コンテンツの部分の外観を変更し、更なるユーザ入力（例えば、仮想コンテンツの適切な部分の外観を変更するための更なるユーザ入力）を必要とすることなく条件のセットが満たされたときに仮想コンテンツの部分の外観を変更する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の物理的オブジェクトの予め設定された特性は、第１の物理的オブジェクトがユーザに向かって移動しているときに第１の物理的オブジェクトから到来する人間の音声を示す第２の特性を含み、第１の物理的オブジェクトが予め設定された基準を満たすと判定することは、第１の物理的オブジェクトのロケーションにおける第２の特性（例えば、第１の物理的オブジェクトのロケーションに由来する音の予め設定された音声特性（例えば、声紋の存在、人間の言語の発話パターンなど）、第１の物理的オブジェクトの動きに付随するユーザの音声以外の人間の音声の特性、１つ以上の予め設定された単語の発話（例えば、「こんにちは！」「やあ！」「こんにちは！」、「［ユーザ名］」など）など）を（例えば、コンピュータシステムなどに結合された１つ以上のマイクロフォンを使用して）検出することを含む。例えば、第１の物理的オブジェクトがユーザの予め設定された距離内に第１の物理的オブジェクトの少なくとも第１の部分を有することの検出に応じて、人間の声を示す第２の特性が第１の物理的オブジェクトのロケーションにおいて検出されたという判定に従って、コンピュータシステムは、第１の物理的オブジェクトが、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガするための予め設定された基準を満たすと判定する。いくつかの実施形態では、第１の物理的オブジェクトがユーザの予め設定された距離内に第１の物理的オブジェクトの少なくとも第１の部分を有することの検出に応じて、人間の声を示す第２の特性が第１の物理的オブジェクトのロケーションにおいて検出されないという判定に従って、コンピュータシステムは、第１の物理的オブジェクトがコンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガするための予め設定された基準を満たしていないと判定し、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガすることを取り止める。
第１の物理的オブジェクトの第２の部分に対応するポジションに表示された仮想コンテンツの部分の外観を変更することなく、第１の物理的オブジェクトの第１の部分の閾値距離内にユーザがあり、第１の物理的オブジェクトの第１の部分ｓがユーザに向かって移動しているときに第１の物理的オブジェクトから到来する人間の声を示す第２の特性に関する要件を含む予め設定された基準を第１の物理的オブジェクトが満たしているという判定に従って、第１の物理的オブジェクトの現在のロケーションに対応するポジションに表示された仮想コンテンツの部分の外観を変更し、更なるユーザ入力（例えば、仮想コンテンツの適切な部分の外観を変更するための更なるユーザ入力）を必要とすることなく条件のセットが満たされたときに仮想コンテンツの部分の外観を変更する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の物理的オブジェクトの予め設定された特性は、（例えば、コンピュータシステムによって検出されるように）動物を人と人以外の物理的オブジェクトから区別する第３の特性を含み、第１の物理的オブジェクトが予め設定された基準を満たすと判定することは、第１の物理的オブジェクト上の第３の特性（例えば、予め設定された頭部構造（例えば、目の存在及び／又は動き、目、鼻、耳、ひげ、及び口などの相対ロケーション）、身体部分（例えば、頭、体、尾、及び肢など）の割合及び相対ポジション、毛皮の存在、毛の色及び模様など）の存在を（例えば、コンピュータシステムなどに結合された１つ以上のカメラを使用して）検出すること、第１の物理的オブジェクトの動きに付随する動物の鳴き声対人間の声を検出すること、動物の歩行又は走行に関連する物理的オブジェクト上の動きパターンを検出すること（例えば、地面上の４本の脚、翼のばたつき、歩行など）などを含む。例えば、第１の物理的オブジェクトがユーザの予め設定された距離内に第１の物理的オブジェクトの少なくとも第１の部分を有することの検出に応じて、及び第１の物理的オブジェクトが無生物又は人ではなく動物（例えば、ペット、野生動物など）であることを示す第３の特性を第１の物理的オブジェクトが有するという判定に従って、コンピュータシステムは、第１の物理的オブジェクトが、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガするための予め設定された基準を満たすと判定する。いくつかの実施形態では、第１の物理的オブジェクトがユーザの予め設定された距離内に第１の物理的オブジェクトの少なくとも第１の部分を有することを検出したことに応じて、第１の物理的オブジェクトが、無生物又は人ではなく動物であることを示す第１の特性を有していないという判定に従って、コンピュータシステムは、第１の物理的オブジェクトは、第１の物理的オブジェクトが、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガするための予め設定された基準を満たしていないと判定し、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガすることを取り止める。
ユーザが第１の物理的オブジェクトの第１の部分の閾値距離内にあり、第１の物理的オブジェクトの第１の部分が、動物を人と人以外の物理的オブジェクトから区別する第３の特性に関する要件を含む予め設定された基準を満たすという判定に従って、第１の物理的オブジェクトの第２の部分に対応するポジションに表示された仮想コンテンツの部分の外観を変更することなく、第１の物理的オブジェクトの現在のロケーションに対応するポジションに表示された仮想コンテンツの部分の外観を変更することは、更なるユーザ入力（例えば、仮想コンテンツの適切な部分の外観を変更するための更なるユーザ入力）を必要とすることなく条件のセットが満たされたときに仮想コンテンツの部分の外観を変更する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の物理的オブジェクトの予め設定された特性は、（例えば、コンピュータシステムによって検出されるように）第１の物理的オブジェクトの移動速度に基づく第４の特性（例えば、第１の物理的オブジェクトの別の部分に対する第１の物理的オブジェクトの少なくとも一部の移動速度又は物理的環境（例えば、人の手を振ること、コルクを弾いてボトルを開けることなど）、又はユーザに向かう第１の物理的オブジェクトの少なくとも一部の移動速度など）（例えば、第１の物理的オブジェクトが人であるか、動物であるか、又は無生物であるかにかかわらず；第１の物理的オブジェクトが動物である場合、第１の物理的オブジェクトが人物である場合など）を含み、第１の物理的オブジェクトが予め設定された基準を満たすと判定することは、（例えば、コンピュータシステムなどに結合された１つ以上のカメラを使用して）第１の物理的オブジェクトの第４の特性（例えば、移動速度、移動加速度など）の特性値が予め設定された閾値（例えば、閾値速度、閾値移動加速度など）を超えることを検出することを含む。例えば、いくつかの実施形態では、第１の物理的オブジェクトがユーザの予め設定された距離内に第１の物理的オブジェクトの少なくとも第１の部分を有することの検出に応じて、第１の物理的オブジェクトがユーザの方向に予め設定された閾値速度又は加速度よりも大きい移動速度及び／又は移動加速度を有するという判定に従って、コンピュータシステムは、第１の物理的オブジェクトが、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガするための予め設定された基準を満たすと判定する。いくつかの実施形態では、第１の物理的オブジェクトがユーザの予め設定された距離内に第１の物理的オブジェクトの少なくとも第１の部分を有することの検出に応じて、第１の物理的オブジェクトが予め設定された閾値速度又はユーザの方向の加速度よりも大きい移動速度及び／又は移動加速度を有していないという判定に従って、コンピュータシステムは、第１の物理的オブジェクトが、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガするための予め設定された基準を満たしていないと判定し、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガすることを取り止める。例えば、いくつかの実施形態では、人又はペットが動かずにユーザの近くに座っているとき、仮想コンテンツの外観は、人又はペットの存在によって変更されない。しかしながら、人又はペットが閾値速度又は加速度よりも大きい速度又は加速度で突然動くと、コンピュータシステムは、動いている及び／又はユーザの閾値距離内にある人又はペットの部分（単数又は複数）のロケーション（単数又は複数）に対応するポジション（単数又は複数）における仮想コンテンツの外観を変更する。いくつかの実施形態では、人又はペットがユーザに向かってゆっくりと移動するとき、コンピュータシステムは、人又はペットの部分がユーザの閾値距離内にある場合であっても、人又はペットの部分のロケーションに対応するポジションにおいて仮想コンテンツの外観を変更しない。しかしながら、人又はペット又はその一部がユーザに向かって迅速に移動する（例えば、ユーザに腕を振ること、ユーザに向かって何かを投げることなど）場合、コンピュータシステムは、人又はペットの一部がユーザの閾値距離内にあるとき、人又はペットの一部のロケーションに対応するポジションにおいて仮想コンテンツの外観を変更する。
ユーザが第１の物理的オブジェクトの第１の部分の閾値距離内にあり、第１の物理的オブジェクトが第１の物理的オブジェクトの移動速度に基づく第４の特性に関する要件を含む予め設定された基準を満たすという判定に従って、第１の物理的オブジェクトの第２の部分に対応するポジションに表示された仮想コンテンツの一部の外観を変更することなく、第１の物理的オブジェクトの第１の部分の現在のロケーションに対応するポジションに表示された仮想コンテンツの一部の外観を変更し、更なるユーザ入力（例えば、仮想コンテンツの適切な部分の外観を変更するための更なるユーザ入力）を必要とすることなく、条件のセットが満たされたときに仮想コンテンツの一部の外観を変更する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の物理的オブジェクトの予め設定された特性は、ユーザの即時の注意を必要とするイベント（例えば、緊急事態、危険など）の発生を示す第５の特性を含み、第１の物理的オブジェクトが予め設定された基準を満たすと判定することは、（例えば、コンピュータシステムなどに結合された１つ以上のカメラ、センサ、マイクロフォンなどを使用して）第１の物理的オブジェクト（例えば、モニタ、旗、スイングカーテン、ドア、人、車両など）についての第５の特性（例えば、点滅光、動きパターン（例えば、ドア又は窓の開放、閉鎖など、人が手を振ることなど）、振動（例えば、標識の揺れ、カーテン、落下物など）、叫ぶ、サイレンなど）の存在を検出することを含む。例えば、第１の物理的オブジェクトがユーザの予め設定された距離内に第１の物理的オブジェクトの少なくとも第１の部分を有することの検出に応じて、第１の物理的オブジェクトがユーザの即時の注意を必要とするイベントの発生を示す第５の特性を有するという判定に従って、コンピュータシステムは、第１の物理的オブジェクトが、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガするための予め設定された基準を満たすと判定する。いくつかの実施形態では、第１の物理的オブジェクトがユーザの予め設定された距離内に第１の物理的オブジェクトの少なくとも第１の部分を有することの検出に応じて、及び第１の物理的オブジェクトがユーザの即時の注意を必要とするイベントの発生を示す第５の特性を有していないという判定に従って、コンピュータシステムは、第１の物理的オブジェクトがコンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガするための予め設定された基準を満たしていないと判定し、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガすることを取り止める。
第１の物理的オブジェクトの第２の部分に対応するポジションに表示された仮想コンテンツの部分の外観を変更することなく、第１の物理的オブジェクトの第１の部分の閾値距離内にユーザがあり、第１の物理的オブジェクトの第１の部分が、ユーザの即時の注意を必要とするイベントの発生を示す第５の特性に関する要件を含む予め設定された基準を満たすという判定に従って、第１の物理的オブジェクトの現在のロケーションに対応するポジションに表示された仮想コンテンツの部分の外観を変更することは、更なるユーザ入力（例えば、仮想コンテンツの適切な部分の外観を変更するための更なるユーザ入力）を必要とすることなく、条件のセットが満たされたときに仮想コンテンツの部分の外観を変更する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の物理的オブジェクトの予め設定された特性は、第１の物理的オブジェクト上の識別子オブジェクト（例えば、ＲＦＩＤ、バッジ、超音波タグ、シリアル番号、ロゴ、名前など）の存在を示す第６の特性（例えば、センサ読み取り、検出器信号、画像処理結果など）を含み、第１の物理的オブジェクトが予め設定された基準を満たすと判定することは、（例えば、コンピュータシステムなどに結合された１つ以上のカメラ、センサ、マイクロフォンなどを使用して）第１の物理的オブジェクトに対応するロケーションにおける第６の特性の存在を検出することを含む。例えば、いくつかの実施形態では、第１の物理的オブジェクトがユーザの予め設定された距離内に第１の物理的オブジェクトの少なくとも第１の部分を有することの検出に応じて、（例えば、識別子オブジェクトの１つ以上の検出器からの出力、画像解析結果などに基づいて）第１の物理的オブジェクトが第１の物理的オブジェクトについての識別子オブジェクトを示す第６の特性を有するという判定に従って、コンピュータシステムは、第１の物理的オブジェクトが、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガするための予め設定された基準を満たすと判定する。いくつかの実施形態では、第１の物理的オブジェクトがユーザの予め設定された距離内に第１の物理的オブジェクトの少なくとも第１の部分を有することの検出に応じて、（例えば、識別子オブジェクトの１つ以上の検出器からの出力、画像解析結果などに基づいて）第１の物理的オブジェクトが第１の物理的オブジェクトについての識別子オブジェクトを示す第６の特性を有していないという判定に従って、コンピュータシステムは、第１の物理的オブジェクトがコンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガするための予め設定された基準を満たしていないと判定し、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガすることを取り止める。例えば、ペットの犬の特別なカラーが識別子オブジェクトとして使用されることができ、犬がユーザに近付くと、特別なカラーの存在に起因して仮想コンテンツの外観の変更がトリガされる。一方、特別なカラーを有しない別のペット（例えば、魚、鳥など）がユーザに近付くと、仮想コンテンツの外観の変更はトリガされない（例えば、カラーがペットに存在しないため）。
ユーザが第１の物理的オブジェクトの第１の部分の閾値距離内にあり、第１の物理的オブジェクトが第１の物理的オブジェクト上に識別子オブジェクトが存在することを示す第６の特性に関する要件を含む予め設定された基準を満たすという判定に従って、第１の物理的オブジェクトの第２の部分に対応するポジションに表示された仮想コンテンツの一部の外観を変更することなく、第１の物理的オブジェクトの第１の部分の現在のロケーションに対応するポジションに表示された仮想コンテンツの一部の外観を変更し、更なるユーザ入力（例えば、仮想コンテンツの適切な部分の外観を変更するための更なるユーザ入力）を必要とすることなく、条件のセットが満たされたときに仮想コンテンツの一部の外観を変更する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の物理的オブジェクトの予め設定された特性は、第１の物理的オブジェクトの動きパターン（例えば、第１の物理的オブジェクトの別の部分又は物理的環境に対する第１の物理的オブジェクトの少なくとも一部の動きパターン、又はユーザに対する第１の物理的オブジェクトの少なくとも一部の動きパターンなど）に基づく第７の特性（例えば、第１の物理的オブジェクトが人であるか、動物であるか、又は無生物であるかにかかわらず；第１の物理的オブジェクトが動物である場合、第１の物理的オブジェクトが人である場合、第１の物理的オブジェクトが予め設定された無生物である場合など）を含み、第１の物理的オブジェクトが予め設定された基準を満たすと判定することは、（例えば、コンピュータシステムなどに結合された１つ以上のカメラを使用して）第１の物理的オブジェクトの動きパターンが予め設定された基準を満たすことに基づいて第７の特性（例えば、ユーザのそばを通過すること又はユーザに向かって移動することを区別するための基準、ユーザの注意を引く意図とユーザと相互作用することを望まない意図とを区別するための基準など）を検出することを含む。例えば、第１の物理的オブジェクトがユーザの予め設定された距離内に第１の物理的オブジェクトの少なくとも第１の部分を有することの検出に応じて、第１の物理的オブジェクトが予め設定された基準を満たす動きパターンを有するという判定に従って（例えば、単に通り過ぎるだけではないことを示す、ユーザの注意を引きたいという要望を示す、など）、コンピュータシステムは、第１の物理的オブジェクトが、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガするための予め設定された基準を満たすと判定する。
いくつかの実施形態では、第１の物理的オブジェクトがユーザの予め設定された距離内に第１の物理的オブジェクトの少なくとも第１の部分を有することの検出に応じて、第１の物理的オブジェクトが予め設定された基準を満たす動きパターンを有していないという判定に従って（例えば、単に通り過ぎるだけではないことを示す、ユーザの注意を引きたいという要望を示す、など）、コンピュータシステムは、第１の物理的オブジェクトがコンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガするための予め設定された基準を満たしていないと判定し、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガすることを取り止める。例えば、いくつかの実施形態では、ペット又は別の人がユーザに向かってくるのではなくユーザの前を通過しているとき、仮想コンテンツの外観は、人又はペットの存在によって変更されない。しかしながら、人又はペットがユーザに向かって移動すると、コンピュータシステムは、移動している及び／又はユーザの閾値距離内にある人又はペットの部分（単数又は複数）のロケーション（単数又は複数）に対応するポジション（単数又は複数）における仮想コンテンツの外観を変更する。いくつかの実施形態では、人又はペットが他のジェスチャなしでユーザに向かって移動するとき、コンピュータシステムは、人又はペットの部分がユーザの閾値距離内にある場合であっても、人又はペットの部分のロケーションに対応するポジションにおいて仮想コンテンツの外観を変更しない。しかしながら、人又はペットがユーザに手を振りながら（又はペットの場合にはユーザに尻尾を振る）ユーザに向かって移動すると、コンピュータシステムは、人又はペットの部分がユーザの閾値距離内にあるときに、人又はペットの部分のロケーションに対応するポジションにおいて仮想コンテンツの外観を変更する。
ユーザが第１の物理的オブジェクトの第１の部分の閾値距離内にあり、第１の物理的オブジェクトが第１の物理的オブジェクトの第１の部分の動きパターンに基づく第７の特性に関する要件を含む予め設定された基準を満たすという判定に従って、第１の物理的オブジェクトの第２の部分に対応するポジションに表示された仮想コンテンツの一部の外観を変更することなく、第１の物理的オブジェクトの現在のロケーションに対応するポジションに表示された仮想コンテンツの一部の外観を変更し、更なるユーザ入力（例えば、仮想コンテンツの適切な部分の外観を変更するための更なるユーザ入力）を必要とすることなく、条件のセットが満たされたときに仮想コンテンツの一部の外観を変更する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の物理的オブジェクトの予め設定された特性は、第１の物理的オブジェクトの認識（例えば、顔認識、音声認識、音声認識など）された識別情報（例えば、配偶者、好きなペット、上司、子供、警察、電車に乗っている車掌など）と第１の予め設定された識別情報（例えば、「重要」、「注意を必要としている」などとして以前に確立されたことを識別する）との間の一致（例えば、検出されたセンサデータ、画像データなどに基づいてコンピュータアルゴリズム又は人工知能によって判定される閾値信頼値を超える一致又は対応）に基づく第８の特性を含み、第１の物理的オブジェクトが予め設定された基準を満たすと判定することは、（例えば、コンピュータシステムなどに結合された１つ以上のカメラを使用して）予め設定された基準（例えば、一致の信頼度が予め設定された一致閾値を超える、一致の確率が閾値を超えるなど）を満たす第８の特性を検出することを含む。例えば、いくつかの実施形態では、第１の物理的オブジェクトがユーザの予め設定された距離内に第１の物理的オブジェクトの少なくとも第１の部分を有することの検出に応じて、第１の物理的オブジェクトが予め設定された識別情報のうちの１つを有すると認識されたという判定に従って、コンピュータシステムは、第１の物理的オブジェクトが、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガするための予め設定された基準を満たすと判定する。
いくつかの実施形態では、第１の物理的オブジェクトがユーザの予め設定された距離内に第１の物理的オブジェクトの少なくとも第１の部分を有することの検出に応じて、第１の物理的オブジェクトが予め設定された識別情報のうちの１つを有すると認識されなかったという判定に従って、コンピュータシステムは、第１の物理的オブジェクトがコンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガするための予め設定された基準を満たしていないと判定し、コンピュータ生成環境に表示される仮想コンテンツの外観の変更をトリガすることを取り止める。例えば、いくつかの実施形態では、会議室において、予め設定された識別情報の１つとして認識されない人々は、たとえユーザに近付いても仮想コンテンツの外観の変更をトリガせず、予め設定された識別情報のうちの１つを有すると認識された人は、仮想コンテンツの外観の変更を引き起こす。いくつかの実施形態では、予め設定された識別情報を確立するために、コンピュータシステムは、ユーザにとって重要なオブジェクト及び人物に関連付けられた、及び／又はユーザからの注意を必要とする訓練データ、及び任意選択的に、ネガティブな訓練材料としての仮想コンテンツの外観の変更をトリガすべきではない他のオブジェクト及び人々に関連付けられた訓練データに基づいて、１つ以上の認識又はマッチング計算モデルを確立する。
ユーザが第１の物理的オブジェクトの第１の部分の閾値距離内にあり、第１の物理的オブジェクトが、第１の物理的オブジェクトの第１の部分の認識された識別情報と第１の予め設定された識別情報との間の一致に基づく第８の特性に関する要件を含む予め設定された基準を満たすという判定に従って、第１の物理的オブジェクトの第２の部分に対応するポジションに表示された仮想コンテンツの部分の外観を変更することなく、第１の物理的オブジェクトの現在のロケーションに対応するポジションに表示された仮想コンテンツの部分の外観を変更し、更なるユーザ入力（例えば、仮想コンテンツの適切な部分の外観を変更するための更なるユーザ入力）を必要とすることなく、条件のセットが満たされたときに仮想コンテンツの部分の外観を変更する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータ生成環境は、ユーザを取り囲む物理的環境の表現を同時に含むことなく仮想環境を含む。いくつかの実施形態では、仮想環境は、アプリケーションユーザインタフェースである。いくつかの実施形態では、仮想環境は、仮想デスクトップである。いくつかの実施形態では、仮想環境は、三次元仮想環境である。いくつかの実施形態では、仮想環境は、メディアコンテンツ（例えば、映画、ゲーム、ビデオなど）の再生を含む。いくつかの実施形態では、仮想環境は、三次元ゲーム環境を含む。いくつかの実施形態では、仮想環境は、空間音声コンテンツを有する三次元ビデオを含む。いくつかの実施形態では、仮想環境は、ユーザを取り囲む物理的環境とは異なるシミュレートされた物理的環境を含む。ユーザを取り囲む物理的環境の表現を同時に含むことなく仮想環境を含むコンピュータ生成環境のビューを表示することは、仮想現実設定において本明細書に記載の他の機能の多くを使用することを可能にし、それにより、そのような機能を広範囲のアプリケーションにおいて提供する。
いくつかの実施形態では、コンピュータ生成環境は、仮想コンテンツと同時に表示される物理的環境の表現を含む拡張現実環境を含み、仮想コンテンツの外観の変更は、仮想コンテンツに隣接する領域に表示生成構成要素を介して表示される（例えば、その透明部分によって表示され、及び／又は透明部分を通して見える、など）物理的環境の表現の一部と同時に表示される。例えば、いくつかの実施形態では、仮想コンテンツは、（例えば、カメラビュー又はパススルービューにおいて）物理的環境の表現の少なくとも一部の表示をオーバーレイ、ブロック、又は置換して表示され、第１の物理的オブジェクトの第１の部分がユーザの閾値距離内を移動し、第１の物理的オブジェクトが予め設定された基準を満たすとき、第１の物理的オブジェクトの第１の部分のロケーションに対応するポジションに表示される仮想コンテンツの部分は、第１の物理的オブジェクトの第１の部分の外観に従って外観が変更される（例えば、第１の物理的オブジェクトの第１の部分は、仮想コンテンツの部分によって以前にオーバーレイ、ブロック、及び／又は置換された物理的環境の一部を占有している）。いくつかの実施形態では、第１の物理的オブジェクトの他の部分は、仮想コンテンツによってブロック、置換、又はオーバーレイされていない物理的環境の一部として見ることができる。
仮想コンテンツと同時に表示される物理的環境の表現を含む拡張現実環境を含むコンピュータ生成環境のビューを表示し、仮想コンテンツの外観の変更を表示することは、仮想コンテンツに隣接する領域に表示生成構成要素を介して表示される物理的環境の表現の一部と同時に表示され、ユーザに改善された視覚フィードバック（例えば、コンピュータ生成環境のビューが拡張現実環境であるという改善された視覚フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
図９における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法８０００、１００００、及び１１０００）に関して本明細書で記載した他のプロセスの詳細はまた、図９に関連して上述した方法９０００に類似の方法で適用可能であることに留意されたい。例えば、方法９０００を参照して上述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、制御、動き、基準、三次元環境、表示生成構成要素、表面、物理的オブジェクトの表現、仮想オブジェクト、音声出力モード、基準フレーム、視点、物理的環境、物理的環境の表現、三次元環境のビュー、没入レベル、視覚効果、及び／又はアニメーションは、任意選択的に、本明細書に記載された他の方法（例えば、方法８０００、１００００、及び１１０００）を参照して本明細書に記載されたジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、制御、動き、基準、三次元環境、表示生成構成要素、表面、物理的オブジェクトの表現、仮想オブジェクト、音声出力モード、基準フレーム、視点、物理的環境、物理的環境の表現、三次元環境のビュー、没入レベル、視覚効果、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１０は、いくつかの実施形態による、物理的環境の一部のスキャンに基づいて識別された物理的環境の一部に対応する三次元環境内の領域に視覚効果を適用する方法１００００のフローチャートである。
いくつかの実施形態では、方法１００００は、コンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。表示生成構成要素（例えば、図１、図３、及び図４の表示生成構成要素１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上のカメラ（例えば、カメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））は、ユーザの手又はユーザの頭部から前方に向くカメラである。いくつかの実施形態では、方法１００００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法１００００の一部の動作は、任意選択的に組み合わされ、及び／又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法１００００は、第１の表示生成構成要素（例えば、図１、図３、及び図４の表示生成構成要素１２０、表示生成構成要素７１００など）（例えば、ヘッドアップディスプレイ、ＨＭＤ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上の入力デバイス（例えば、カメラ、コントローラ、タッチ感知面、ジョイスティック、ボタン、手袋、時計、モーションセンサ、方位センサなど）と通信するコンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、第１の表示生成構成要素は、ユーザに面するディスプレイコンポーネントであり、ＣＧＲ体験をユーザに提供する。いくつかの実施形態では、コンピュータシステムは、第１の表示生成構成要素、１つ以上の音声出力デバイス、及び１つ以上の入力デバイスの少なくともいくつかと同じハウジングに囲まれた１つ以上のプロセッサ及びメモリを有する統合デバイスである。いくつかの実施形態では、コンピュータシステムは、コンピュータシステムと通信する表示生成構成要素（例えば、ヘッドアップディスプレイ、タッチスクリーン、スタンドアロンディスプレイなど）、１つ以上の出力デバイス（例えば、イヤホン、外部スピーカなど）、及び／又は１つ以上の入力デバイスのうちの１つ以上とは別個の１つ以上のプロセッサ及びメモリを含むコンピューティングコンポーネント（例えば、サーバ、スマートフォン又はタブレットデバイスなどのモバイル電子デバイス、腕時計、リストバンド又はイヤホンなどのウェアラブルデバイス、デスクトップコンピュータ、ラップトップコンピュータなど）を含む。いくつかの実施形態では、表示生成構成要素及び１つ以上の入力デバイスは、同じハウジング内に統合され、かつ同じハウジングに囲まれている。
方法１００００では、コンピュータシステムは、第１の表示生成構成要素を介して、物理的環境（例えば、三次元拡張現実環境、物理的環境のパススルービューなど）（例えば、図７Ｊに示すように）の表現を含む三次元環境を表示する（１０００２）。物理的環境の表現を含む三次元環境を表示している間、コンピュータシステムは、物理的環境の個別の部分に触れている（例えば、図７Ｋに示すように、ユーザの手７２０２が三次元環境内の表現７０１４’によって表される物理的オブジェクトの上面に触れる）（例えば、接触すること、静止すること、閾値距離内に入ることなど）ユーザの手を検出する（１０００４）。いくつかの実施形態では、コンピュータシステムは、（例えば、１つ以上のカメラ又はタッチセンサなどを使用して）ユーザの手又は指のロケーション及び物理的環境の個別の部分（例えば、卓上の第１の部分、卓上の第２の部分、壁面の第１の部分、壁面の第２の部分、第１の物理的オブジェクト、第２の物理的オブジェクトなど）が互いに閾値距離内にあること（例えば、０又は無視できる距離）を検出する。ユーザの手が物理的環境の個別の部分に触れている（任意選択的に、物理的環境の個別の部分からの閾値量未満の動きによって少なくとも閾値時間の間タッチが持続した後（例えば、タッチは、物理的環境の個別の部分をタッチダウンした後、物理的環境の個別の部分で実質的に静止している））ことの検出（１０００６）に応じて、及びユーザの手が物理的環境の第１の部分に触れている（例えば、接触すること、載置することなど）という判定に従って、コンピュータシステムは、物理的環境の第１の部分のスキャンに基づいて識別された物理的環境の第１の部分に対応する三次元環境内のロケーションに第１の視覚効果（例えば、図７Ｋ及び図７Ｌの視覚効果７１４４）（例えば、点滅する視覚効果、拡大するオーバーレイ、拡大するワイヤメッシュなど）を表示する（１０００８）。いくつかの実施形態では、物理的環境の第１の部分は、物理的環境の第１の部分内の１つ以上の物理的オブジェクトの表面の特性を有する、及び／又は物理的環境の第１の部分に触れているユーザの手の検出に応じて若しくはより早い時間に開始される、表面スキャン（例えば、平面の検出、メッシュの構築など）又は三次元モデルの構築などに基づいて識別される。いくつかの実施形態では、第１の視覚効果は、物理的環境の第１の部分の空間的特性（例えば、表面の向き、サイズ、形状、ロケーションなど）に対応する空間的特性（例えば、表面の向き、サイズ、形状、伝播方向など）を有する。ユーザの手が物理的環境の個別の部分に触れていることの検出に応じて、ユーザの手が物理的環境の第１の部分とは異なる物理的環境の第２の部分に触れている（例えば、接触すること、載置することなど）という判定に従って、コンピュータシステムは、物理的環境の第２の部分のスキャンに基づいて識別された物理的環境の第２の部分に対応する三次元環境内のロケーションに第２の視覚効果（例えば、点滅する視覚効果、拡大するオーバーレイ、拡大するメッシュなど）（例えば、第１の視覚効果、又は第１の視覚効果とは異なり、スキャン結果（例えば、表面の種類、識別されたオブジェクトの種類など）に基づいて選択される視覚効果など）を表示する（１００１０）。いくつかの実施形態では、物理的環境の第２の部分は、物理的環境の第２の部分内の１つ以上の物理的オブジェクトの表面の特性を有する、及び／又はユーザの手が物理的環境の第２の部分に触れたことの検出に応じて若しくはより早い時間に開始される、表面スキャン（例えば、平面の検出、メッシュの構築など）及び／又は三次元モデルの構築などに基づいて識別される。いくつかの実施形態では、第２の視覚効果は、物理的環境の第２の部分の空間的特性（例えば、表面の向き、サイズ、形状、ロケーションなど）に対応する空間的特性（例えば、表面の向き、サイズ、形状、伝播方向など）を有する。
いくつかの実施形態では、物理的環境の個別の部分に向けられた視線入力（例えば、物理的環境（例えば、物理的環境の表現における物理的環境の個別の部分の表現において）の個別の部分のロケーションに対応する三次元環境内のポジションにおいて、予め設定された安定性（例えば、閾値時間内の移動量が閾値未満である、実質的に静止している、など）及び／又は持続時間要件（単数又は複数）を満たす視線を検出すること）（例えば、図７Ｋ及び図７Ｌの視線７１４０）は、物理的環境の個別の部分（例えば、第１の部分、第２の部分など）に触れている（例えば、接触すること、静止すること、閾値距離内に入ることなど）ユーザの手の検出に関連して（例えば、検出と同時に、検出の（例えば、前、後、間など）の閾値時間内になど）検出される。いくつかの実施形態では、物理的環境の個別の部分は、物理的表面、物理的オブジェクトなどを含む。いくつかの実施形態では、物理的環境の個別の部分に触れるユーザの手を検出することは、物理的環境の個別の部分に向けられた視線入力を検出することと併せて、物理的環境の個別の部分に接触し、静止し、物理的環境の個別の部分の閾値距離内に入るなどしたユーザの手を検出することを含む。いくつかの実施形態では、コンピュータシステムは、物理的環境の個別の部分に対応する三次元環境内のロケーションにおいて視覚効果の表示をトリガするために、視線入力のロケーションにおける物理的環境の個別の部分からの閾値量未満の動きで、少なくとも閾値時間の間タッチが持続したことを必要とする（例えば、タッチは、物理的環境の個別の部分をタッチダウンした後、物理的環境の個別の部分で実質的に静止している）。第１の視覚効果は、ユーザの手が物理的環境の第１の部分（例えば、物理的表面の第１の部分、第１の物理的オブジェクトなど）に触れている（例えば、接触すること、静止すること、閾値距離内に入ることなど）という判定に従って、物理的環境の第１の部分に視線入力が向けられている（例えば、三次元環境における物理的表面の第１の部分の表現、第１の物理的オブジェクトの表現などで視線が検出されること）に関連して（例えば、視線入力と同時に、視線入力の（例えば、前、後、間など）の閾値時間内になど）表示され、第２の視覚効果は、ユーザの手が物理的環境の第２の部分（例えば、物理的表面の第２の部分、第２の物理的オブジェクトなど）に触れている（例えば、接触すること、載置すること、接触することなど）という判定に従って、物理的環境の第２の部分に視線入力が向けられている（例えば、三次元環境における物理的表面の第２の部分の表現、第２の物理的オブジェクトの表現などで視線が検出されること）に関連して（例えば、視線入力と同時に、視線入力の（例えば、前、後、間など）の閾値時間内になど）表示される。
いくつかの実施形態では、視線入力が物理的環境の個別の部分に同時に又は閾値時間ウィンドウ内に向けられることなく、ユーザの手が物理的環境の個別の部分に触れているという判定に従って、コンピュータシステムは、物理的環境の個別の部分に対応する三次元環境のビュー内のロケーションに対応する視覚効果（例えば、物理的環境の個別の部分のスキャンに基づいて生成されるアニメーション化及び／又は拡大する視覚効果）を表示しない。いくつかの実施形態では、視線入力が物理的環境の個別の部分に向けられていることに関連して物理的環境の個別の部分にユーザの手が触れたことを検出したことに応じて個別の視覚効果が表示された（例えば、ユーザが触れている物理的環境の個別の部分に対応するロケーションにおいて開始された）後、個別の視覚効果は、手が物理的環境の個別の部分に触れなくなった後、及び／又は視線が物理的環境の個別の部分から離れた後であっても、任意選択的に、物理的環境の個別の部分に隣接する物理的環境の領域のスキャンに基づいて、物理的環境の個別の部分に対応するロケーションから拡大及び拡張し続ける。
ユーザの手が物理的環境の第１の部分に向けられている視線入力と併せて物理的環境の第１の部分に触れているという判定に従って第１の視覚効果を表示し、ユーザの手が物理的環境の第２の部分に向けられている視線入力と併せて物理的環境の第２の部分に触れているという判定に従って第２の視覚効果を表示することは、追加の表示されたコントロール（例えば、第１の視覚効果を表示するか第２の視覚効果を表示するかを判定するための追加の表示されたコントロール）によってユーザインタフェースを雑然とさせることなく、追加のコントロールオプションを提供する。ユーザインタフェースを追加の表示された制御で乱すことなく追加のコントロールオプションを提供することによって、デバイスの操作性を向上させ、更に、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、ユーザの手が物理的環境の個別の部分に触れていることの検出に応じて、ユーザの手が物理的環境の第１の部分に触れている（例えば、接触すること、静止すること、閾値距離内に入ることなど）という判定に従って（例えば、物理的環境の第１の部分のスキャンに基づいて識別された物理的環境の第１の部分に対応する三次元環境内のロケーションに第１の視覚効果を表示した後）、コンピュータシステムは、ユーザの手によって触れられている物理的環境の第１の部分に対応する三次元環境内のロケーションから第１の視覚効果が適用される領域を拡張する（例えば、図７Ｋ～図７Ｌに示すように、視覚効果７１４４は、手７２０２によるタッチのロケーションに対応するポジションから拡張する）。いくつかの実施形態では、第１の視覚効果は、物理的環境の第１の部分に対応するロケーションから、ユーザの手が触れていない物理的環境の第２の部分に対応する領域に後で拡張される（例えば、追加のユーザ入力なしで自動的に拡張されるか、又はユーザの手が物理的環境の第１の部分に触れたままである限り拡張される）。ユーザの手が物理的環境の個別の部分に触れていることの検出に応じて、ユーザの手が物理的環境の第２の部分に触れている（例えば、接触すること、静止すること、閾値距離内に入ることなど）という判定に従って（例えば、物理的環境の第２の部分のスキャンに基づいて識別された物理的環境の第２の部分に対応する三次元環境内のロケーションに第２の視覚効果を表示した後）、コンピュータシステムは、ユーザの手によって触れられている物理的環境の第２の部分に対応する三次元環境内のロケーションから第２の視覚効果が適用される領域を拡張する。
いくつかの実施形態では、第１の視覚効果は、物理的環境の第２の部分に対応するロケーションから、ユーザの手が触れていない物理的環境の第１の部分に対応する領域に後で拡張される（例えば、追加のユーザ入力なしで自動的に拡張されるか、又はユーザの手が物理的環境の第１の部分に触れたままである限り拡張される）。いくつかの実施形態では、物理的環境の個別の部分は、任意選択的に、ユーザの手と物理的環境との間の接触領域、ユーザの手と物理的表面との間の接触領域よりも大きく、それを包含する物理的表面の部分、及び／又はユーザの手と物理的環境との間の接触領域の閾値高さ差内にある物理的表面若しくは物理的オブジェクトの部分などである。いくつかの実施形態では、視覚効果は、物理的環境の個別の部分（例えば、物理的環境内の物理的表面）上の手のタッチダウンロケーションに対応する三次元環境内のロケーションに表示され、そこから外側に拡張し、視覚効果の拡張は、物理的環境の個別の部分及びその周りで識別された物理的表面に適合する。いくつかの実施形態では、視覚効果は、上でのユーザの手のタッチダウンに関連して検出される視線入力のロケーションに表示され、そこから外側に拡張する物理的環境の個別の部分（例えば、手が卓上の中心からオフセットした卓上の一部にタッチダウンしている間に、視線入力が卓上の中心に向けられているという判定に従って、視覚効果は、任意選択的に、ユーザの手のタッチダウンロケーションに対応するロケーションではなく、卓上の中心に対応するロケーションに表示され、そこから拡張する）。いくつかの実施形態では、視覚効果は、物理的環境の個別の部分上でのユーザの手のタッチダウンに関連して視線入力が検出されるが、ユーザの手のタッチダウンロケーションからオフセットされたときに、ユーザの手のタッチダウンロケーションに表示され、そこから外側に拡張する（例えば、手が卓上の中心からオフセットされた卓上の一部にタッチダウンしている間に、視線入力が卓上の中心に向けられているという判定に従って、視覚効果は、任意選択的に、卓上の中心に対応するロケーションではなく、ユーザの手のタッチダウンロケーションに対応するロケーションに表示され、そこから拡張する）。
ユーザの手が物理的環境の第１の部分に触れているという判定に従って、ユーザの手によって触れられている物理的環境の第１の部分に対応する三次元環境内のロケーションから第１の視覚効果が適用される領域を拡張し、ユーザの手が物理的環境の第２の部分に触れているという判定に従って、ユーザの手によって触れられている物理的環境の第２の部分に対応する三次元環境内のロケーションから第２の視覚効果が適用される領域を拡張することは、ユーザに改善された視覚フィードバック（例えば、ユーザの手が触れているロケーションに関する改善された視覚フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の視覚効果は、第１の視覚効果が適用される領域内の第１のアニメーション化された視覚的変化を含み、第２の視覚効果は、第２の視覚効果が適用される領域内の第２のアニメーション化された視覚的変化を含む。いくつかの実施形態では、アニメーション化された視覚的変化は、視覚効果が適用される三次元環境内の領域で経時的に変化する点滅する光及び／又は色の変化を含む。いくつかの実施形態では、アニメーション化された視覚的変化が発生しているとき（例えば、視覚効果は、領域の元のコンテンツに適用された１つ以上のフィルタ又は変更関数を用いて領域の外観に影響を与えるが、コンテンツの視覚的特徴（例えば、形状、サイズ、オブジェクトの種類など）は、視聴者によって認識可能なままである）、視覚効果が適用される領域は変化しない（例えば、領域に表示されるサイズ、形状、及び／又は内容などに関して）。いくつかの実施形態では、視覚的変化が適用される三次元環境内の領域は、アニメーション化された視覚的変化が発生しているときに拡張する。ユーザの手が物理的環境の第１の部分に触れているという判定に従って、物理的環境の第１の部分のスキャンに基づいて識別された物理的環境の第１の部分に対応する三次元環境内のロケーションにおける第１のアニメーション化された視覚的変化を含む第１の視覚効果を表示し、ユーザの手が物理的環境の第１の部分とは異なる物理的環境の第２の部分に触れているという判定に従って、物理的環境の第２の部分のスキャンに基づいて識別された物理的環境の第２の部分に対応する三次元環境内のロケーションにおける第２のアニメーション化された視覚的変化を含む第２の視覚効果を表示することは、改善された視覚フィードバック（例えば、ユーザの手が触れているロケーションにユーザの注意を引くことによる改善された視覚フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、物理的環境の第１の部分及び物理的環境の第２の部分は、拡張された（例えば、連続的、実質的に平坦、不連続性なし（例えば、隙間、亀裂、表面高さの急激な変化など）など）物理的表面（例えば、壁、卓上、ソファの座席、床など）の異なる部分に対応し、第１の視覚効果は、第２の視覚効果とは異なる。いくつかの実施形態では、第１の視覚効果及び第２の視覚効果は、それぞれ適用されると、三次元環境の少なくとも１つの共通領域に適用されるが（例えば、第１の視覚効果と第２の視覚効果によって占有される領域は、共通領域内で部分的に重なり合う）、少なくとも１つの共通領域では領域の外観を異なって変化させる（例えば、第１及び第２の視覚効果の開始ロケーションが異なるため、少なくとも１つの共通領域での視覚効果の適用のタイミングが異なり、共通領域を横切る伝播の方向が異なるなど）。いくつかの実施形態では、第１の視覚効果及び第２の視覚効果は、それぞれ適用される場合、同じ拡張された物理的オブジェクト又は表面の異なる領域に適用され、異なる領域に適用される第１の視覚効果及び第２の視覚効果は、異なる領域の外観を異なるように変化させる（例えば、第１及び第２の視覚効果の開始ロケーションが異なるため、異なる領域の局所的な物理的特性（例えば、テクスチャ、向き、色、パターン、高さの分散など）が異なり、異なる領域にわたる視覚効果の伝播方向が異なるなど）。
ユーザの手が物理的環境の第１の部分に触れているという判定に従って、物理的環境の第１の部分のスキャンに基づいて識別された物理的環境の第１の部分に対応する三次元環境内のロケーションに第１の視覚効果を表示し、ユーザの手が物理的環境の第１の部分とは異なる物理的環境の第２の部分に触れているという判定に従って、物理的環境の第２の部分のスキャンに基づいて識別された物理的環境の第２の部分であって、物理的環境の第１の部分及び物理的環境の第２の部分が拡張された物理的表面の異なる部分に対応する、物理的環境の第２の部分に対応する三次元環境内のロケーションに第１の視覚効果とは異なる第２の視覚効果を表示することは、改善された視覚フィードバックをユーザに提供する（例えば、物理的環境の第１の部分が物理的環境の第２の部分と同じ表面の一部であっても視覚フィードバックを提供する）。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の視覚効果及び第２の視覚効果は、第１のベースライン視覚効果（例えば、グレーオーバーレイ、点滅する視覚効果、さざ波、拡大するメッシュワイヤなど）に従って生成され、第１の視覚効果及び第２の視覚効果は、第１のベースライン視覚効果（例えば、異なる形状の境界線を有するベースライン拡大グレーオーバーレイ、仮想光源と下方にある表面との間の異なる空間的関係を使用して修正されたベースラインの点滅する視覚効果、異なる波長及び／又は発生源で修正されたベースラインさざ波、異なる開始ロケーションで修正されたベースラインメッシュワイヤパターンなど）に従って生成された異なるアニメーションを含む。第１のベースライン視覚効果に従って第１の視覚効果を生成し、第１のベースライン視覚効果に従って、第１の視覚効果とは異なるアニメーションを含む第２の視覚効果を生成することは、改善された視覚フィードバック（例えば、コンピュータシステムがユーザの手が物理的環境の第１の部分又は物理的環境の第２の部分に触れていることを検出するかどうかに関する改善された視覚フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の視覚効果（例えば、第１の静的視覚効果、第１のアニメーション化された視覚的変化など）は、物理的環境の第１の部分の物理的表面上のユーザの手のタッチダウン（例えば、初期接触、少なくとも閾値時間にわたって実質的な動きなしに持続した初期接触など）の検出に応じて表示され（例えば、最初に表示又は開始され、任意選択的に、物理的表面上のユーザの手のタッチダウンロケーションに対応する個別の領域から拡張する；最初に表示又は開始され、任意選択的に、物理的表面上のユーザの手のタッチダウンが検出されたときの物理的表面上の注視ロケーションに対応する個別の領域から拡張するなど）、第２の視覚効果（例えば、第２の静的視覚効果、第２の視覚的変化など）は、物理的環境の第２の部分の物理的表面上のユーザの手のタッチダウン（例えば、初期接触、少なくとも閾値時間にわたって実質的な動きなしに持続した初期接触など）の検出に応じて表示される（例えば、最初に表示又は開始され、任意選択的に、物理的表面上のユーザの手のタッチダウンロケーションに対応する個別の領域から拡張する；最初に表示又は開始され、任意選択的に、物理的表面上のユーザの手のタッチダウンが検出されたときの物理的表面上の注視ロケーションに対応する個別の領域から拡張することなど）。
物理的環境の第１の部分の物理的表面上のユーザの手のタッチダウンの検出に応じて第１の視覚効果を表示し、物理的環境の第２の部分の物理的表面上のユーザの手のタッチダウンの検出に応じて第２の視覚効果を表示することは、ユーザに改善された視覚フィードバック（例えば、ユーザの手が触れているロケーションに関する改善された視覚フィードバック、コンピュータシステムが物理的表面上へのユーザの手のタッチダウンを検出した改善された視覚フィードバックなど）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、（例えば、図７Ｍに示すように）ユーザの手が物理的環境の第１の部分との接触を維持している間、第１の視覚効果の表示を維持する。いくつかの実施形態では、視覚効果は、（例えば、手の初期タッチダウンロケーションから実質的に移動することなく、任意選択的に、移動するがタッチダウンロケーションを含む表面からの接触を中断することなく、など）ユーザの手が物理的環境の第１の部分との接触を維持する限り、（例えば、任意選択的に、定常状態に到達した（例えば、接触した表面、物理的オブジェクトなどの縁部まで拡張された）後に）同じ形状、サイズ、及び／又は外観で維持される。いくつかの実施形態では、視覚効果は、（例えば、手の初期タッチダウンロケーションから実質的に移動することなく、任意選択的に、移動するがタッチダウンロケーションを含む表面からの接触を中断することなく、など）ユーザの手が物理的環境の第１の部分との接触を維持している限り、物理的環境の表現内の表面及び／又は空間にわたって拡大及び拡張し続ける（例えば、形状、サイズ、及び／又は外観が変化する）。ユーザの手が物理的環境の第１の部分との接触を維持している間に第１の視覚効果の表示を維持することは、ユーザに改善された視覚フィードバック（例えば、コンピュータシステムが依然として物理的環境の第１の部分と接触しているユーザの手を検出しているという改善された視覚フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、ユーザの手が物理的環境の第１の部分との接触を停止したことの検出に応じて、（例えば、図７Ｎに示すように）第１の視覚効果の表示を停止する。いくつかの実施形態では、視覚効果は、ユーザの手が物理的環境の第１の部分との接触を断つと（例えば、又は任意選択的に、接触の動きがタッチダウン後に発生した場合、タッチダウンロケーションを含む表面との接触を解除する）、表示されることを停止する（例えば、物理的環境の表現の外観が復元される）。いくつかの実施形態では、視覚効果は、ユーザの手が物理的環境の第１の部分の最初のタッチダウンロケーションから移動すると、表示されることを停止する（例えば、物理的環境の表現の外観が復元される）。いくつかの実施形態では、視覚効果は、視覚効果が既に適用されている領域に表示され続けるが、ユーザの手が物理的環境の第１の部分との接触を断つか、又はタッチダウンロケーションから離れると、物理的環境の表現内の表面及び／又は空間にわたって拡大及び拡張することを停止する。いくつかの実施形態では、コンピュータシステムは、ユーザの手が物理的環境の第２の部分との接触を維持している間、第２の視覚効果の表示を維持し、ユーザの手が物理的環境の第２の部分との接触を停止したことの検出に応じて、第２の視覚効果の表示を停止する。ユーザの手が物理的環境の第１の部分との接触を停止したことの検出に応じて第１の視覚効果の表示を停止することは、ユーザに改善された視覚フィードバック（例えば、コンピュータシステムが物理的環境の第１の部分と接触しているユーザの手をもはや検出しないという改善された視覚フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の視覚効果は、第１のアニメーション化された視覚的変化を含む。コンピュータシステムは、ユーザの手が物理的環境の第１の部分との接触を停止したことの検出に応じて、第１のアニメーション化された変化の表示を停止し、コンピュータシステムは、第１のアニメーション化された変化の表示を停止した後に、第１のアニメーション化された変化の第１の静的表現を表示する。いくつかの実施形態では、第２の視覚効果は、第２のアニメーション化された視覚的変化（例えば、第１のアニメーション化された変化と同じ、１つ以上の点で第１のアニメーション化された変化とは異なる、第１のアニメーション化された変化とは無関係など）を含み、コンピュータシステムは、ユーザの手が物理的環境の第２の部分との接触を停止したことの検出に応じて、第２のアニメーション化された変化の表示を停止し、コンピュータシステムは、第２のアニメーション化された変化の表示を停止した後、第２のアニメーション化された変化の第２の静的表現を表示する。ユーザの手が物理的環境の第１の部分との接触を停止したことの検出に応じて第１のアニメーション化された変化の表示を停止し、第１のアニメーション化された変化の表示を停止した後に第１のアニメーション化された変化の第１の静的表現を表示することは、改善された視覚フィードバック（例えば、コンピュータシステムがもはや物理的環境の第１の部分と接触しているユーザの手を検出せず、コンピュータシステムが以前に第１のアニメーション化された変化を表示したことの改善された視覚フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の視覚効果及び第２の視覚効果は、物理的環境の少なくとも個別の部分の空間的表現を生成するプロセスのアニメーション表現を含む。例えば、いくつかの実施形態では、第１の視覚効果及び第２の視覚効果は、平面、表面、物理的構造、及び／又はサイズ、及び／又は物理的環境に存在する物理的オブジェクトの識別のアニメーション化された視覚的表現、及び／又はセンサデータ（例えば、リアルタイムでキャプチャされ、記憶され、及び／又はストリーミングされる画像データ、深度データ、超音波データ、エコーロケーションデータなど）に基づく物理的環境の仮想データ表現（例えば、平面、メッシュ面、三次元モデルなど）の構築である。物理的環境の少なくとも個別の部分の空間的表現を生成するプロセスのアニメーション表現を含む第１の視覚効果及び第２の視覚効果を表示することは、ユーザに改善された視覚フィードバック（例えば、コンピュータシステムが物理的環境の個別の部分の空間的表現を生成しているという改善された視覚フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の視覚効果は、物理的環境の第１の部分に対応する（例えば、物理的環境の第１の部分は、第１の物理的オブジェクトに対応し、第１の物理的オブジェクトではない他の物理的オブジェクトに対応せず、物理的環境の第１の部分は、拡張された物理的表面に対応し、拡張された物理的表面に切断されているか、又は滑らかに接合されていない表面に対応しないなど）三次元環境内のロケーションから始まり、物理的環境の第１の部分に対応しない三次元環境内の領域まで拡張する。いくつかの実施形態では、第１の視覚効果は、ユーザが触れている物理的表面又はオブジェクトとは異なる物理的オブジェクト又は物理的表面に対応する領域まで拡張される。いくつかの実施形態では、ユーザの手が物理的環境の第１の部分に触れなくなった後であっても、拡張は任意選択的に継続し、ユーザの手がもはや物理的環境の第１の部分などに触れていないときに拡張を中止する。いくつかの実施形態では、第２の視覚効果は、物理的環境の第２の部分内から始まり、物理的環境の第２の部分に対応しない（例えば、物理的環境の第２の部分は、第２の物理的オブジェクトに対応し、第２の物理的オブジェクトではない他の物理的オブジェクトに対応せず、物理的環境の第２の部分は、拡張された物理的表面に対応し、拡張された物理的表面に切断されているか、又は滑らかに接合されていない表面に対応しないなど）三次元環境内の領域まで拡張する（例えば、第２の視覚効果は、ユーザが触れている物理的表面又はオブジェクトとは異なる物理的オブジェクト又は物理的表面に対応する領域まで拡張する）。いくつかの実施形態では、物理的環境の第１の部分及び物理的環境の第２の部分は、任意選択的に互いに接触していない２つの異なる物理的オブジェクトに対応する。いくつかの実施形態では、物理的環境の第１の部分及び物理的環境の第２の部分は、同じ物理的オブジェクト又は同じ拡張物理的表面の２つの異なる部分に対応する。いくつかの実施形態では、第１の視覚効果は、任意選択的に、物理的環境の第２の部分に対応する領域まで拡張してもよく、第２の視覚効果は、任意選択的に、物理的環境の第１の部分に対応する領域まで拡張してもよい（例えば、ユーザの手が、アニメーション化された変化が開始される物理的環境の個別の部分との接触を維持している間に、アニメーション化された変化が継続するとき、又は任意選択的に、ユーザの手が、アニメーション化された変化が開始される物理的環境の個別の部分に触れなくなった後に、アニメーション化された変化が継続するときなど）。
物理的環境の第１の部分に対応する三次元環境内のロケーションから始まり、物理的環境の第１の部分に対応しない三次元環境内の領域まで拡張する第１の視覚効果を表示することは、ユーザに改善された視覚フィードバック（例えば、物理的環境の第１の部分に対応する三次元環境内のロケーションに関する改善された視覚フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、物理的環境の第１の部分のスキャンに基づいて識別された物理的環境の第１の部分に対応する三次元環境内のロケーションに第１の視覚効果を表示することは、物理的環境の第１の部分において識別された第１の表面に対応する仮想表面にわたって仮想照明を移動させることを含む（例えば、第１の表面に対応する仮想表面上の１つのロケーション又は別のロケーションから伝播する仮想光の波面、輝度の局所的な増加が、第１の表面に対応する仮想表面上の１つのロケーションから別のロケーションに移動することなど）。いくつかの実施形態では、仮想照明は、第１の表面に対応する仮想表面を更に超えて、物理的環境において識別される他の表面に対応する仮想表面上に移動する。いくつかの実施形態では、物理的環境の第２の部分のスキャンに基づいて識別された物理的環境の第２の部分に対応する三次元環境内のロケーションに第２の視覚効果を表示することは、物理的環境の第２の部分において識別された第２の表面に対応する仮想表面にわたって仮想照明を移動させることを含む。いくつかの実施形態では、第１の表面及び第２の表面は、物理的環境内の同じ拡張された物理的表面の異なる部分である。いくつかの実施形態では、第１の表面及び第２の表面は、同じ物理的オブジェクトの異なる部分又は異なる物理的オブジェクトに対応する異なる表面である。いくつかの実施形態では、仮想照明は、第２の表面に対応する仮想表面を更に超えて、物理的環境で識別される他の表面に対応する他の仮想表面上に移動する。物理的環境の第１の部分において識別された第１の表面に対応する仮想表面を横切って仮想照明を移動させることは、ユーザに改善された視覚フィードバック（例えば、物理的環境の第１の部分で識別された第１の表面に関する改善された視覚フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の視覚効果又は第２の視覚効果は、第１の表示生成構成要素を介した三次元環境の初期表示の閾値時間（例えば、仮想環境の表示から三次元環境の表示への遷移の閾値時間、第１の表示生成構成要素をオンにする閾値時間、ユーザが第１の表示生成構成要素を頭又は目の前に置いて、第１の表示生成構成要素を通して物理的環境を見る閾値時間など）内にユーザの手が物理的環境の個別の部分に触れているという判定に従って表示される。例えば、いくつかの実施形態では、物理的環境の個別の部分に触れるユーザの手は、三次元環境が最初に表示された後に閾値時間（例えば、仮想環境の表示から三次元環境の表示への遷移の閾値時間、第１の表示生成構成要素をオンにする閾値時間、ユーザが第１の表示生成構成要素を頭又は目の前に置いて、第１の表示生成構成要素を通して物理的環境を見る閾値時間など）が経過した後にタッチが発生した場合、第１及び／又は第２の視覚効果の表示をトリガしない。
第１の表示生成構成要素を介した三次元環境の初期表示の閾値時間内にユーザの手が物理的環境の個別の部分に触れているという判定に従って第１の視覚効果又は第２の視覚効果を表示することは、追加の表示されたコントロール（例えば、第１の視覚効果及び／又は第２の視覚効果の表示を有効又は無効にするための追加の表示されたコントロール）によってユーザインタフェースを雑然とさせることなく、追加のコントロールオプションを提供する。ユーザインタフェースを追加の表示された制御で乱すことなく追加のコントロールオプションを提供することによって、デバイスの操作性を向上させ、更に、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、第１の表示生成構成要素による仮想環境の表示から第１の表示生成構成要素を介した三次元環境の表示への遷移を検出し、仮想環境の表示から三次元環境の表示への遷移の検出に応じて、コンピュータシステムは、物理的環境の第３の部分のスキャンに基づいて識別された物理的環境の第３の部分に対応する三次元環境内のロケーションに第３の視覚効果（例えば、点滅する視覚効果、拡大するオーバーレイ、拡大するワイヤメッシュなど）を表示する。いくつかの実施形態では、物理的環境の第３の部分のスキャンは、物理的環境の第３の部分内の１つ以上の物理的オブジェクトの表面の特性を有する表面スキャン（例えば、平面の検出、メッシュの構築など）又は三次元モデルの構築などである。いくつかの実施形態では、第３の視覚効果は、物理的環境の第３の部分の空間的特性（例えば、表面の向き、サイズ、形状など）に対応する空間的特性（例えば、表面の向き、サイズ、形状など）を有する。仮想環境の表示から三次元環境の表示への遷移の検出に応じて、物理的環境の第３の部分のスキャンに基づいて識別された物理的環境の第３のポジションに対応する三次元環境内のロケーションに第３の視覚効果を表示することは、更なるユーザ入力（例えば、物理的環境の第３の部分に触れるための更なるユーザ入力）を必要とすることなく条件のセットが満たされたときに第３の視覚効果を表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、第１の表示生成構成要素をユーザとの第１の予め設定された空間的関係に配置させる動き（例えば、ディスプレイ側をユーザに向けてユーザの前に配置される、ユーザの頭部に配置されるなど）を検出し、第１の表示生成構成要素をユーザとの第１の予め設定された空間的関係に配置させる動きを検出したことに応じて、コンピュータシステムは、第１の表示生成構成要素を介して、（例えば、物理的環境のパススルービュー、物理的環境のカメラビューなどを表示するとき）物理的環境の第４の部分のスキャンに基づいて識別された物理的環境の第４の部分に対応する三次元環境内のロケーションに第４の視覚効果（例えば、点滅する視覚効果、拡大するオーバーレイ、拡大するワイヤメッシュなど）を表示する。いくつかの実施形態では、物理的環境の第４の部分のスキャンは、物理的環境の第４の部分内の１つ以上の物理的オブジェクトの表面の特性を有する表面スキャン（例えば、平面の検出、メッシュの構築など）又は三次元モデルの構築などである。いくつかの実施形態では、第４の視覚効果は、物理的環境の第４の部分の空間的特性（例えば、表面の向き、サイズ、形状など）に対応する空間的特性（例えば、表面の向き、サイズ、形状など）を有する。物理的環境の第４の部分のスキャンに基づいて識別された物理的環境の第４の部分に対応する三次元環境内のロケーションに第４の視覚効果を表示することは、第１の表示生成構成要素をユーザとの第１の予め設定された空間的関係に配置させる動きの検出に応じて、更なるユーザ入力（例えば、物理的環境の第４の部分に触れるための更なるユーザ入力）を必要とすることなく条件のセットが満たされたときに第４の視覚効果を表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
図１０における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法８０００、９０００、及び１１０００）に関して本明細書で記載した他のプロセスの詳細はまた、図１０に関連して上述した方法１００００に類似の方法で適用可能であることに留意されたい。例えば、方法１００００を参照して上述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、制御、動き、基準、三次元環境、表示生成構成要素、表面、物理的オブジェクトの表現、仮想オブジェクト、音声出力モード、基準フレーム、視点、物理的環境、物理的環境の表現、三次元環境のビュー、没入レベル、視覚効果、及び／又はアニメーションは、任意選択的に、本明細書に記載された他の方法（例えば、方法８０００、９０００、及び１１０００）を参照して本明細書に記載されたジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、制御、動き、基準、三次元環境、表示生成構成要素、表面、物理的オブジェクトの表現、仮想オブジェクト、音声出力モード、基準フレーム、視点、物理的環境、物理的環境の表現、三次元環境のビュー、没入レベル、視覚効果、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１１は、いくつかの実施形態による、物理的環境の第１の部分に対応する三次元環境内のポジションに相互作用ユーザインタフェースオブジェクトを表示し、物理的環境の第１の部分と三次元環境の現在表示されているビューの視点に対応するロケーションとの間の空間内を移動するユーザの部分のロケーションに従ってユーザインタフェースオブジェクトの個別の下位部分の表示を選択的に取り止める方法１１０００のフローチャートである。
いくつかの実施形態では、方法１１０００は、コンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。表示生成構成要素（例えば、図１、図３、及び図４の表示生成構成要素１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上のカメラ（例えば、カメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））は、ユーザの手又はユーザの頭部から前方に向くカメラである。いくつかの実施形態では、方法１１０００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法１１０００の一部の動作は、任意選択的に組み合わされ、及び／又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法１１０００は、第１の表示生成構成要素（例えば、図１、図３、及び図４の表示生成構成要素１２０、表示生成構成要素７１００など）（例えば、ヘッドアップディスプレイ、ＨＭＤ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上の入力デバイス（例えば、カメラ、コントローラ、タッチ感知面、ジョイスティック、ボタン、手袋、時計、モーションセンサ、方位センサなど）と通信するコンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、第１の表示生成構成要素は、ユーザに面するディスプレイコンポーネントであり、ＣＧＲ体験をユーザに提供する。いくつかの実施形態では、コンピュータシステムは、第１の表示生成構成要素、１つ以上の音声出力デバイス、及び１つ以上の入力デバイスの少なくともいくつかと同じハウジングに囲まれた１つ以上のプロセッサ及びメモリを有する統合デバイスである。いくつかの実施形態では、コンピュータシステムは、１つ以上のプロセッサと、表示生成構成要素（例えば、ヘッドアップディスプレイ、タッチスクリーン、スタンドアロンディスプレイなど）、１つ以上の出力デバイス（例えば、イヤホン、外部スピーカなど）、及び１つ以上の入力デバイスのうちの１つ以上とは別個のメモリとを含むコンピューティングコンポーネント（例えば、サーバ、スマートフォン又はタブレットデバイスなどのモバイル電子デバイス、腕時計、リストバンド又はイヤホンなどのウェアラブルデバイス、デスクトップコンピュータ、ラップトップコンピュータなど）を含む。いくつかの実施形態では、表示生成構成要素及び１つ以上の音声出力デバイスは、同じハウジング内に統合され、かつ同じハウジングに囲まれている。
方法１１０００では、コンピュータシステムは、第１の表示生成構成要素を介して、三次元環境（例えば、仮想現実環境、三次元拡張現実環境など）のビューを表示し（１１００２）、三次元環境のビューは、第１の仮想コンテンツ（例えば、仮想現実コンテンツ、拡張現実コンテンツの仮想部分など）と物理的環境の第１の部分（例えば、ＨＭＤなしでユーザの推定視野内にある物理的環境の一部、仮想コンテンツなしのパススルービューで表される物理的環境の一部、ユーザのビューが表示生成構成要素の存在及び／又は表示生成構成要素によって提示される仮想コンテンツによって隠されていない場合にユーザに見えるはずの物理的環境内のユーザとの空間的関係を有する物理的環境の一部など）の表現とを同時に含み、物理的環境の第１の部分は、第１の物理的表面（例えば、テーブル又はカウンタートップの表面などの水平面、壁又は窓の表面などの垂直面、斜面又はスライドの表面などの平面、ユーザの膝の表面又はユーザの掌の表面などの曲面など）を含み、第１の仮想コンテンツは、物理的環境の第１の部分内の第１の物理的表面のロケーションに対応する三次元環境内のポジションに表示される第１のユーザインタフェースオブジェクト（例えば、１つ以上の選択可能及び／又は起動可能なユーザインタフェースオブジェクトを含むユーザインタフェース、仮想キーボード、仮想ゲームボード、マップ、１つ以上のコントロール（例えば、メディア再生コントロール、家庭環境コントロールなど）を有するコントロールパネルなど）を含む。いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、（例えば、第１の物理的表面の部分が、第１のユーザインタフェースオブジェクトが第１の物理的表面の部分のロケーションに対応するポジションに表示されなかった場合、及び／又は表示生成構成要素が物理的環境のユーザの視界を遮らなかった場合などに、透明又は半透明のディスプレイを介してユーザに視認可能である場合）第１の物理的表面の少なくとも一部のビューをブロックするか、又は（例えば、第１の物理的表面の部分が、第１の物理的表面の部分のロケーションに対応するポジションに第１のユーザインタフェースオブジェクトを表示する前に表示生成構成要素によって提示されたカメラビューの一部であった場合など）第１の物理的表面の表現の少なくとも一部の表示を置換する。三次元環境のビュー（例えば、図７Ｏ～図７Ｑの環境７１５１、又は別の環境など）を表示している間、コンピュータシステムは、物理的環境の第１の部分内の第１のロケーションにおいてユーザの部分（例えば、ユーザの手７２０２、ユーザの身体の他の部分など）を検出し（１１００４）、第１のロケーションは、第１の物理的表面（例えば、図７Ｏ～図７Ｑの表現７０１４’によって表される物理的オブジェクトの上面）と三次元環境のビューに対応する視点（例えば、ユーザの顔又は目のロケーション）との間にある。いくつかの実施形態では、ユーザの目、第１のロケーションにあるユーザの部分、及び第１の物理的表面の間の空間的関係は、第１の表示生成構成要素及び／又は第１の仮想コンテンツがユーザの視界を遮らなかった場合、ユーザの部分が第１の物理的表面の第１の部分のユーザの視界を遮るようなものである。物理的環境の第１の部分内の第１のロケーションにおけるユーザの部分の検出に応じて、コンピュータシステムは、ユーザの部分の表現（例えば、ユーザの手７２０２の表現７２０２’）が第１のユーザインタフェースオブジェクトの第１の部分を以前に表示したポジションに見えるように、第１のユーザインタフェースオブジェクトの第２の部分（例えば、図７Ｐの仮想キーボード７１５２内の他のキー）の表示を維持しながら、第１のユーザインタフェースオブジェクトの第１の部分（例えば、図７Ｐのキー７１５４の部分、及びキー７１５４の上の他のキーなど）の表示を停止する（１１００６）。いくつかの実施形態では、表示生成構成要素を通じたビューは、ユーザの部分の表現が第１のユーザインタフェースオブジェクトの第１の部分の表示をブロック又は置換しているが、第１のユーザインタフェースオブジェクトの第２の部分はユーザの部分の表現の存在によってブロック又は置換されていないことを示す。三次元環境のビューを表示している間、コンピュータシステムは、（例えば、図７Ｐの後の図７Ｑに示すように）物理的環境の第１の部分内の第１のロケーションから第２のロケーションへのユーザの部分（例えば、ユーザの手、ユーザの身体の他の部分など）の動きを検出し（１１００８）、第２のロケーションは、第１の物理的表面と三次元環境のビューに対応する視点との間にある。いくつかの実施形態では、ユーザの目、第２のロケーションにあるユーザの部分、及び第１の物理的表面の間の空間的関係は、表示生成構成要素及び／又は第１の仮想コンテンツがユーザの視界を遮らなかった場合、ユーザの部分が第１の物理的表面の第２の部分のユーザの視界を遮るようなものである。ユーザの部分の第１のロケーションから第２のロケーション（例えば、第１のユーザインタフェースオブジェクトの第２の部分に対応するロケーション）への動きの検出に応じて、コンピュータシステムは、第１のユーザインタフェースオブジェクトの第１の部分の表示を復元し（１１０１０）、コンピュータシステムは、第１のユーザインタフェースオブジェクトの第２の部分の表示を停止し、その結果、ユーザの部分の表現は、第１のユーザインタフェースオブジェクトの第２の部分を以前に表示したポジションで見ることができる（例えば、図７Ｑでは、キー７１５４及びキー７１５４より上の他のキーの部分が復元される一方で、仮想キーボード７１５２のキー７１６０は、図７Ｑでは表示されることを停止する）。いくつかの実施形態では、表示生成構成要素を通じたビューは、ユーザの部分の表現が第１のユーザインタフェースオブジェクトの第２の部分の表示をブロック又は置換しているが、第１のユーザインタフェースオブジェクトの第１の部分はもはやユーザの部分の表現の存在によってブロック又は置換されていないことを示す。
いくつかの実施形態では、物理的環境の第１の部分内の第１のロケーションにおいてユーザの部分（例えば、ユーザの手、ユーザの身体の他の部分など）を検出し、第１のユーザインタフェースオブジェクトの第１の部分を表示することなく、第１のユーザインタフェースオブジェクトの第２の部分の表示を維持している間（例えば、表示生成構成要素を通じたビューは、ユーザの部分の表現が第１のユーザインタフェースオブジェクトの第１の部分の表示をブロック又は置換しているが、第１のユーザインタフェースオブジェクトの第２の部分は、ユーザの部分の表現の存在によってブロック又は置換されていないことを示す）、コンピュータシステムは、第１のユーザインタフェースオブジェクトを選択する要求に対応するユーザの部分による第１の入力を検出する（例えば、第１の入力は、第１のユーザインタフェースオブジェクトに対応する予め設定された選択基準、第１のユーザインタフェースオブジェクトに向けられた空中タップジェスチャを検出するための基準、第１の物理的表面の第１の部分上のタップジェスチャ又はスワイプジェスチャを検出するための基準などを満たす）。ユーザの部分による第１の入力の検出に応じて、コンピュータシステムは、第１のユーザインタフェースオブジェクトに対応する第１の動作を実行する（例えば、テキストシンボルを入力するために第１のユーザインタフェースオブジェクトをアクティブ化すること、デバイス機能をアクティブ化することなど）。物理的環境の第１の部分内の第２のロケーションにおいてユーザの部分（例えば、ユーザの手、ユーザの身体の他の部分など）を検出し、第１のユーザインタフェースオブジェクトの第２の部分を表示することなく、第１のユーザインタフェースオブジェクトの第１の部分の表示を維持している間（例えば、表示生成構成要素を通じたビューは、ユーザの部分の表現が第１のユーザインタフェースオブジェクトの第２の部分の表示をブロック又は置換しているが、第１のユーザインタフェースオブジェクトの第１の部分はユーザの部分の表現の存在によってブロック又は置換されていないことを示す）、コンピュータシステムは、第１のユーザインタフェースオブジェクトを選択する要求に対応するユーザの部分による第２の入力を検出する（例えば、第２の入力は、第１のユーザインタフェースオブジェクトに対応する予め設定された選択基準、第１のユーザインタフェースオブジェクトに向けられた空中タップジェスチャを検出するための基準、第１の物理的表面の第２の部分上のタップジェスチャ又はスワイプジェスチャを検出するための基準などを満たす）。ユーザの部分による第２の入力の検出に応じて、コンピュータシステムは、第１のユーザインタフェースオブジェクトに対応する第２の動作（例えば、第１の動作と同じ動作、第１の動作とは異なる動作など）を実行する。例えば、いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、一体型コントロール（例えば、第１のトグルコントロール、第１のチェックボックス、第１のスライダ、再生／一時停止ボタン、第１のメニュー項目、第１の選択可能なオプションなど）であり、物理的環境内の個別のロケーションに（例えば、第１の物理的表面の個別の部分に）ユーザの指が存在することは、コンピュータシステムに、第１の物理的表面の他の部分（単数又は複数）をオーバーレイし、その表示を置換し、又はそのビューをブロックして表示されたコントロールの他の部分（単数又は複数）の表示を維持しながら、第１の物理的表面の個別の部分をオーバーレイし、その表示を置換し、又はビューをブロックして表示されたコントロールの個別の部分の表示を停止させる。
いくつかの実施形態では、第１のユーザインタフェースオブジェクトを選択するための基準を満たす入力がユーザの部分によって提供されるときに第１のユーザインタフェースオブジェクトのどの部分がユーザの部分の存在によって隠されるかにかかわらず、コンピュータシステムは、第１のユーザインタフェースオブジェクトの選択に対応する動作を実行する。いくつかの実施形態では、第１のユーザインタフェースオブジェクトは異なる状態を有し、第１のユーザインタフェースオブジェクトの選択は、選択が行われた時点での第１のユーザインタフェースオブジェクトの現在の状態に応じて異なる動作を実行させる。いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、第１のユーザインタフェースのどの部分が個別の種類の入力を実行したユーザの部分によって隠されていたかにかかわらず、個別の種類の入力に対する単一の動作に対応する。例えば、いくつかの実施形態では、表示生成構成要素によって表示された選択可能なオプションの第１の部分に対応する第１の物理的表面の第１の部分をタップし、表示生成構成要素によって表示された同じ選択可能なオプションの第２の部分に対応する第１の物理的表面の第２の部分をタップすることは、同じ動作を実行させる。いくつかの実施形態では、再生／一時停止ボタンの第１の部分に対応する第１の物理的表面の第１の部分をタップすることは（例えば、再生／一時停止ボタンの第１の部分は隠され、再生／一時停止ボタンの他の部分は表示されたままである）、第１の物理的表面の第１の部分がタップされたときに再生／一時停止ボタンの現在の状態が「一時停止」状態にある場合、現在選択されているメディアが再生を開始させる。再生／一時停止ボタンの第２の部分に対応する第１の物理的表面の第２の部分をタップすることは（例えば、再生／一時停止ボタンの第２の部分は隠され、再生／一時停止ボタンの他の部分は表示されたままである）、第１の物理的表面の第２の部分がタップされたときに再生／一時停止ボタンの現在の状態が「再生中」状態にある場合、現在選択されているメディアの再生を中止させる。物理的環境の第１の部分内の第１のロケーションにおいてユーザの部分を検出している間、かつ第１のユーザインタフェースオブジェクトの第１の部分を表示することなく第１のユーザインタフェースオブジェクトの第２の部分の表示を維持している間、第１のユーザインタフェースオブジェクトに対応する第１の動作を実行し、物理的環境の第１の部分内の第２のロケーションにおいてユーザの部分を検出している間、かつ第１のユーザインタフェースオブジェクトの第２の部分を表示することなく第１のユーザインタフェースオブジェクトの第１の部分の表示を維持している間、第１のユーザインタフェースオブジェクトに対応する第２の動作を実行することは、改善された視覚フィードバック（例えば、第１のユーザインタフェースオブジェクトのどの部分が選択のために利用可能であり、したがって第１又は第２の動作のいずれが利用可能であるかに関する改善された視覚フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、物理的環境の第１の部分内の第１のロケーションにおいてユーザの部分（例えば、ユーザの手、ユーザの身体の他の部分など）を検出し、第１のユーザインタフェースオブジェクトの第１の部分を表示することなく第１のユーザインタフェースオブジェクトの第２の部分の表示を維持している間（例えば、表示生成構成要素を通じたビューは、ユーザの部分の表現が第１のユーザインタフェースオブジェクトの第１の部分の表示をブロック又は置換しているが、第１のユーザインタフェースオブジェクトの第２の部分はユーザの部分の表現の存在によってブロック又は置換されていないことを示す）、コンピュータシステムは、第１のユーザインタフェースオブジェクトの第１の部分を選択する要求に対応するユーザの部分による第１の入力を検出する。例えば、第１の入力は、第１のユーザインタフェースオブジェクトの第１の部分に対応する予め設定された選択基準、第１のユーザインタフェースオブジェクトの第１の部分に向けられた空中タップジェスチャを検出するための基準、又は第１の物理的表面の第１の部分上のタップジェスチャ又はスワイプジェスチャを検出するための基準などを満たすため、第１の入力は、第１のユーザインタフェースオブジェクトの第１の部分を選択する要求に対応する。ユーザの部分による第１の入力の検出に応じて、コンピュータシステムは、第１のユーザインタフェースオブジェクトの第１の部分に対応する第１の動作を実行する。
物理的環境の第１の部分内の第２のロケーションにおいてユーザの部分（例えば、ユーザの手、ユーザの身体の他の部分など）を検出し、第１のユーザインタフェースオブジェクトの第２の部分を表示することなく第１のユーザインタフェースオブジェクトの第１の部分の表示を維持している間（例えば、表示生成構成要素を通じたビューは、ユーザの部分の表現が第１のユーザインタフェースオブジェクトの第２の部分の表示をブロック又は置換しているが、第１のユーザインタフェースオブジェクトの第１の部分はユーザの部分の表現の存在によってブロック又は置換されていないことを示す）、コンピュータシステムは、第１のユーザインタフェースオブジェクトの第２の部分を選択する要求に対応するユーザの部分による第２の入力を検出する。例えば、第２の入力は、第１のユーザインタフェースオブジェクトの第２の部分に対応する予め設定された選択基準、第１のユーザインタフェースオブジェクトの第２の部分に向けられた空中タップジェスチャを検出するための基準、又は第１の物理的表面の第２の部分上のタップジェスチャ又はスワイプジェスチャを検出するための基準などを満たすため、第２の入力は、第１のユーザインタフェースオブジェクトの第２の部分を選択する要求に対応する。ユーザの部分による第２の入力の検出に応じて、コンピュータシステムは、第１のユーザインタフェースオブジェクトの第２の部分に対応する第２の動作を実行し、第２の動作は第１の動作とは異なる。例えば、いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、異なるコントロールに対応する異なる下位部分（例えば、異なるキー、異なる選択可能なオプション、異なるコントロール機能又はコントロールタイプに対応する異なるユーザインタフェースオブジェクトなど）を含み、物理的環境内の個別のロケーションに（例えば、第１の物理的表面の個別の部分に）ユーザの指が存在することは、コンピュータシステムに、第１の物理的表面の個別の部分の表示をオーバーレイし、その表示を置換し、又はビューをブロックして表示された他のコントロールの表示を維持しながら、第１の物理的表面の他の部分（単数又は複数）の表示をオーバーレイし、その表示を置換し、又はビューをブロックして表示された異なるコントロールのそれぞれの少なくとも一部の表示を停止させる。
いくつかの実施形態では、第１のユーザインタフェースオブジェクトの下位部分を選択するための基準を満たす入力がユーザの部分によって提供されるときに第１のユーザインタフェースオブジェクトのどの下位部分がユーザの部分の存在によって隠されるかに応じて、コンピュータシステムは、選択された第１のユーザインタフェースオブジェクトの個別の下位部分に対応する動作を実行する。例えば、いくつかの実施形態では、表示生成構成要素によって表示される仮想キーボードの第１の下位部分に対応する第１の物理的表面の第１の部分をタップし、仮想キーボードの第２の下位部分に対応する第１の物理的表面の第２の部分をタップすることは、仮想キーボードの異なるキーをアクティブ化させる。いくつかの実施形態では、再生／一時停止ボタン（例えば、他の再生コントロールが表示されたままで再生／一時停止ボタンが非表示にされる）に対応する第１の物理的表面の第１の部分をタップすることは、第１の物理的表面の第１の部分がタップされたときに再生／一時停止ボタンの現在の状態が「一時停止」状態にある場合、現在選択されているメディアが再生を開始させる。早送りボタン（例えば、他の再生コントロールが表示されたままで、早送りボタンが不明瞭になる）に対応する第１の物理的表面の第２の部分をタップすることは、現在選択されているメディアを早送りさせる。
物理的環境の第１の部分内の第１のロケーションにおいてユーザの部分を検出している間、かつ第１のユーザインタフェースオブジェクトの第１の部分を表示することなく第１のユーザインタフェースオブジェクトの第２の部分の表示を維持している間、第１のユーザインタフェースオブジェクトに対応する第１の動作を実行し、物理的環境の第１の部分内の第２のロケーションにおいてユーザの部分を検出している間、かつ第１のユーザインタフェースオブジェクトの第２の部分を表示することなく第１のユーザインタフェースオブジェクトの第１の部分の表示を維持している間、第１のユーザインタフェースオブジェクトに対応する第１の動作とは異なる第２の動作を実行することは、改善された視覚フィードバック（例えば、第１のユーザインタフェースオブジェクトのどの部分が選択のために利用可能であり、したがって第１又は第２の動作のいずれが利用可能であるかに関する改善された視覚フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の仮想コンテンツは、物理的環境の第１の部分内の第１の物理的表面のロケーションに対応する三次元環境内のポジションに表示される第２のユーザインタフェースオブジェクト（例えば、第２のユーザインタフェースオブジェクトは、第１の物理的表面の少なくとも一部のビューをブロックするか、又は第１の物理的表面の表現の少なくとも一部の表示を置換する）（例えば、１つ以上の選択可能及び／又は起動可能なユーザインタフェースオブジェクトを含むユーザインタフェース、仮想キーボード、仮想ゲームボード、マップ、１つ以上のコントロール（例えば、メディア再生コントロール、家庭環境コントロールなど）を有するコントロールパネルなど）を含む（例えば、第２のユーザインタフェースオブジェクトは、三次元環境のビューにおいて、他のユーザインタフェースオブジェクトなどによって第１のユーザインタフェースオブジェクトから隔てられて、第１のユーザインタフェースオブジェクトに隣接して表示される）。物理的環境の第１の部分内の第１のロケーションにおけるユーザの部分の検出に応じて、コンピュータシステムは、第２のユーザインタフェースオブジェクトの第２の部分の表示を維持しながら、第２のユーザインタフェースオブジェクトの第１の部分の表示を停止し、その結果、ユーザの部分の表現は、第２のユーザインタフェースオブジェクトの第１の部分を以前に表示したポジションに見ることができる。いくつかの実施形態では、表示生成構成要素を通じたビューは、ユーザの部分の表現が、第１のユーザインタフェースオブジェクトの第１の部分及び第２のユーザインタフェースオブジェクトの第１の部分の表示をブロック又は置換しているが、第１のユーザインタフェースオブジェクトの第２の部分及び第２のユーザインタフェースオブジェクトの第２の部分は、ユーザの部分の表現の存在によってブロック又は置換されていないことを示す。いくつかの実施形態では、ユーザの手の表現は、複数のユーザインタフェースオブジェクトの以前に表示された部分（例えば、ユーザの手によってタッチ又はホバリングされる物理的表面に対応するポジションに表示される仮想キーボード上の第１のキーの一部及び第２のキーの一部）の領域を占有する。
ユーザの部分の表現が第２のユーザインタフェースオブジェクトの第１の部分を以前に表示したポジションに見えるように、第２のユーザインタフェースオブジェクトの第２の部分の表示を維持しながら、第２のユーザインタフェースオブジェクトの第１の部分の表示を停止することは、物理的環境の第１の部分内の第１のロケーションにおいてユーザの部分を検出したことに応じて、第１及び第２のユーザインタフェースオブジェクトの適切な部分を表示するために必要な入力の数を減らす（例えば、ユーザは、第１のユーザインタフェースオブジェクトの部分の表示を停止又は維持するために別個の入力を実行する必要はなく、第２のユーザインタフェースオブジェクトの表示部分を停止又は維持するために別個の入力を実行する必要はない）。動作を実行するために必要な入力の数を低減することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、物理的環境の第１の部分内の第１のロケーションにおいてユーザの部分（例えば、ユーザの手、ユーザの身体の他の部分など）を検出し、第１のユーザインタフェースオブジェクト及び第２のユーザインタフェースオブジェクトの第１の部分を表示することなく、第１のユーザインタフェースオブジェクト及び第２のユーザインタフェースオブジェクトの第２の部分の表示を維持している間（例えば、表示生成構成要素を通じたビューは、ユーザの部分の表現が第１及び第２のユーザインタフェースオブジェクトの第１の部分の表示をブロック又は置換しているが、第１及び第２のユーザインタフェースオブジェクトの第２の部分はユーザの部分の表現の存在によってブロック又は置換されていないことを示す）、コンピュータシステムは、第１のユーザインタフェースオブジェクトを選択する要求に対応するユーザの部分による第３の入力を検出する（例えば、第１の入力は、第１のユーザインタフェースオブジェクトに対応する予め設定された選択基準、第１のユーザインタフェースオブジェクトに向けられた空中タップジェスチャを検出するための基準、第１の物理的表面の第１の部分上のタップジェスチャ又はスワイプジェスチャを検出するための基準などを満たす）（例えば、第１の入力は、第２のユーザインタフェースオブジェクトを選択するための要求に対応しない）。ユーザの部分による第３の入力の検出に応じて、コンピュータシステムは、第２のユーザインタフェースオブジェクトに対応する第４の動作を実行することなく、第１のユーザインタフェースオブジェクトに対応する第３の動作を実行する。いくつかの実施形態では、ユーザの部分によって隠された全てのユーザインタフェースオブジェクトが入力によって選択されるわけではなく、ユーザの部分（例えば、ユーザの手、ユーザの指など）の予め設定された部分（例えば、先端部、頂部、人差し指など）のロケーションに対応するポジションにあるユーザインタフェースオブジェクトのみが、ユーザの部分によって実行される入力によって選択される。
第１のユーザインタフェースオブジェクトを選択する要求に対応するユーザの部分による第３の入力の検出に応じて、第２のユーザインタフェースオブジェクトに対応する第４の動作を実行することなく、第１のユーザインタフェースオブジェクトに対応する第３の動作を実行することは、追加の表示されたコントロール（例えば、第１又は第２のユーザインタフェースオブジェクトを選択するための追加の表示されたコントロール、第３又は第４の動作を実行するための追加の表示されたコントロールなど）によってユーザインタフェースを雑然とさせることなく、追加のコントロールオプションを提供する。ユーザインタフェースを追加の表示された制御で乱すことなく追加のコントロールオプションを提供することによって、デバイスの操作性を向上させ、更に、ユーザがデバイスをより素早くかつ効率的に使用することを可能にすることでデバイスの電力使用量を削減し、バッテリ寿命を改善する。
いくつかの実施形態では、ユーザの部分の第１のロケーションから第２のロケーション（例えば、第１のユーザインタフェースオブジェクトの第２の部分に対応するロケーション）への動きの検出に応じて、コンピュータシステムは、第２のユーザインタフェースオブジェクトの第１の部分の表示を復元し、ユーザの部分の表現が第２のユーザインタフェースオブジェクトの第２の部分を以前に表示したポジションに見えるように、第２のユーザインタフェースオブジェクトの第２の部分の表示を停止する。いくつかの実施形態では、表示生成構成要素を通じたビューは、ユーザの部分の表現が第１及び第２のユーザインタフェースオブジェクトの第２の部分の表示をブロック又は置換している一方で、第１及び第２のユーザインタフェースオブジェクトの第１の部分は、もはやユーザの部分の表現の存在によってブロック又は置換されていないことを示す。
ユーザの部分の表現が第２のユーザインタフェースオブジェクトの第２の部分を以前に表示したポジションに見えるように、第２のユーザインタフェースオブジェクトの第１の部分の表示を復元し、第２のユーザインタフェースオブジェクトの第２の部分の表示を停止することは、第１のロケーションから第２のロケーションへのユーザの部分の動きの検出に応じて、更なるユーザ入力（例えば、ユーザの部分の動き後に第２のユーザインタフェースの第１の部分がもはや見えなくなった場合、第２のユーザインタフェースオブジェクトの第１の部分の表示を復元するための更なるユーザ入力、ユーザインタフェースオブジェクトの第２の部分がユーザの部分の動きによって見えなくなった場合、第２のユーザインタフェースオブジェクトの第２の部分の表示を停止するための更なるユーザ入力など）を必要とすることなく条件のセットが満たされたときに第２のユーザインタフェースオブジェクトの適切な部分を表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ユーザの部分の第１のロケーションから第２のロケーション（例えば、第１のユーザインタフェースオブジェクトの第２の部分に対応するロケーション）への動きの検出に応じて、コンピュータシステムは、ユーザの部分の表現が第２のユーザインタフェースオブジェクトの第１の部分を以前に表示したポジションに見えるように、第２のユーザインタフェースオブジェクトの第１の部分の表示を復元することなく、第２のユーザインタフェースオブジェクトの第２の部分の表示を維持する。いくつかの実施形態では、表示生成構成要素を通じたビューは、ユーザの部分の表現が、第１のユーザインタフェースオブジェクトの第２の部分及び第２のユーザインタフェースオブジェクトの第１の部分の表示をブロック又は置換しているが、第１のユーザインタフェースオブジェクトの第１の部分及び第２のユーザインタフェースオブジェクトの第２の部分は、ユーザの部分の表現の存在によってブロック又は置換されていないことを示す。例えば、いくつかの実施形態では、ユーザの部分の動きは、ユーザの部分によって以前にブロックされた第１の仮想コントロールの第１の部分をブロックすることを停止し、ユーザの部分によって以前にブロックされた第２の仮想コントロールの同じ部分をブロックし続けてもよい。ユーザの部分の表現が第２のユーザインタフェースオブジェクトの第１の部分を以前に表示したポジションに見えるように、第２のユーザインタフェースオブジェクトの第１の部分の表示を復元することなく、第２のユーザインタフェースオブジェクトの第２の部分の表示を維持することは、第１のロケーションから第２のロケーションへのユーザの部分の動きの検出に応じて、更なるユーザ入力（例えば、第２のユーザインタフェースオブジェクトの第２の部分が第１のロケーション又は第２のロケーションにおいてユーザの部分によって隠されていない場合（又は第１のロケーションから第２のロケーションへのユーザの部分の動き中）、第２のユーザインタフェースオブジェクトの第２の部分の表示を維持するための更なるユーザ入力、ユーザの部分が第１のロケーションから第２のロケーションへ移動したにもかかわらず第２のユーザインタフェースオブジェクトの第１の部分が隠されたままである場合、第２のユーザインタフェースオブジェクトの第１の部分の表示の復元を防止するための更なるユーザ入力など）を必要とすることなく条件のセットが満たされたときに第２のユーザインタフェースオブジェクトの適切な部分を表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、物理的環境の第１の部分内の第１のロケーションにおけるユーザの部分の検出に応じて、コンピュータシステムは、第１のユーザインタフェースオブジェクトの第１の部分を以前に表示したポジションからオフセットされた（例えば、所定距離だけ、及び／又は仮想光源のロケーションに基づく方向にオフセットされた）三次元環境のビューの第３のポジションにユーザの部分のシミュレートされた影を表示する（例えば、第１の表示生成構成要素を通じたビューは、ユーザの部分の表現が第１のユーザインタフェースオブジェクトの第１の部分の表示をブロック又は置換している一方で、第１のユーザインタフェースオブジェクトの第２の部分がユーザの部分の表現の存在によってブロック又は置換されておらず、第１のユーザインタフェースオブジェクトの第３の部分（例えば、第１のユーザインタフェースオブジェクトの第２の部分又はその一部、及び／又は第１のユーザインタフェースオブジェクトの第３の部分などを含む）がユーザの部分のシミュレートされた影の結果として暗く及び／又はぼやけていることを示す）。第１のロケーションから第２のロケーション（例えば、第１のユーザインタフェースオブジェクトの第２の部分に対応するロケーション）へのユーザの部分の動きの検出に応じて、コンピュータシステムは、第１のユーザインタフェースオブジェクトの第２の部分を以前に表示したポジションからオフセットされた（例えば、所定距離だけ、及び／又は仮想光源のロケーションに基づく方向にオフセットされた）三次元環境のビューにおける第４のポジションにユーザの部分のシミュレートされた影を表示する。
いくつかの実施形態では、表示生成構成要素を通じたビューは、ユーザの部分の表現が第１のユーザインタフェースオブジェクトの第２の部分の表示をブロック又は置換している一方で、第１のユーザインタフェースオブジェクトの第１の部分がユーザの部分の表現の存在によってブロック又は置換されておらず、第１のユーザインタフェースオブジェクトの第４の部分（例えば、第１のユーザインタフェースオブジェクトの第１の部分又はその一部、及び／又は第１のユーザインタフェースオブジェクトの第５の部分などを含む）がユーザの部分のシミュレートされた影の結果として暗くなっていることを示している。例えば、いくつかの実施形態では、第１の物理的表面の表現をオーバーレイし、表示を置換し、及び／又はブロックして表示されるユーザインタフェースオブジェクトの部分（単数又は複数）を視覚的に隠すユーザの部分の表現は、物理的環境におけるユーザの部分の動きに応じて三次元環境のビューで移動するシミュレートされた影で表示され、シミュレートされた影は、ユーザの部分の表現によって視覚的に隠されているユーザインタフェースオブジェクトの部分からオフセットされたユーザインタフェースオブジェクトのそれぞれの部分の外観を変化させる（例えば、暗くする、はっきりしなくする、減光するなど）。いくつかの実施形態では、シミュレートされた影は、例えば、手が第１のユーザインタフェースオブジェクトのポジションに対応するロケーションに近い場合には、より暗く、ぼやけておらず、及び／又はより明確に定義されており、手が第１のユーザインタフェースオブジェクトのポジションに対応するロケーションから更に離れている場合には、より明るく、よりぼやけており、及び／又はより明確に定義されていないなど、物理的環境に対するユーザの手のロケーションに応じて異なる外観特性を有する。
物理的環境の第１の部分内の第１のロケーションにあるユーザの部分の検出に応じて、第１のユーザインタフェースオブジェクトの第１の部分を以前に表示したポジションからオフセットされている、三次元環境のビュー内の第３のポジションにあるユーザの部分のシミュレートされた影を表示し、第１のロケーションから第２のロケーションへのユーザの部分の動きの検出に応じて、第１のユーザインタフェースオブジェクトの第２の部分を以前に表示したポジションからオフセットされている、三次元環境のビュー内の第４のポジションにあるユーザの部分のシミュレートされた影を表示することは、改善された視覚フィードバックをユーザに提供する（例えば、シミュレートされた影を使用して、ユーザの部分の検出されたロケーションに関する改善された視覚フィードバックを提供する）。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、少なくとも第１のキー（例えば、第１のテキストシンボルを入力するためのキー、第１のデバイス又はアプリケーション機能を起動するためのキーなど）及び第１のキーとは異なる第２のキー（例えば、第２のテキストシンボルを入力するためのキー、第２のデバイス又はアプリケーション機能を起動するためのキーなど）を含む仮想キーボードであり、第１のユーザインタフェースオブジェクトの第１の部分は、第１のキーに対応し（例えば、第１のユーザインタフェースオブジェクトの第１の部分は、第２のキーではなく第１のキーを表示する）、第１のユーザインタフェースオブジェクトの第２の部分は、第２のキーに対応する（例えば、第１のユーザインタフェースオブジェクトの第２の部分は、第１のキーではなく第２のキーを表示する）。いくつかの実施形態では、ユーザの指の表現が第１のユーザインタフェースオブジェクトの第１の部分（及び任意選択的に第３のキーに対応する第１のユーザインタフェースオブジェクトの第３の部分）を視覚的に隠している間に第１のユーザインタフェースオブジェクトの第１の部分を選択することは、第１のキーに関連付けられたキャラクタ又は機能を選択させる（例えば、テキスト入力領域に入力される、実行される、など）。いくつかの実施形態では、ユーザの指の表現が第１のユーザインタフェースオブジェクトの第２の部分（及び任意選択的に第３のキーに対応する第１のユーザインタフェースオブジェクトの第３の部分）を視覚的に隠している間に第１のユーザインタフェースオブジェクトの第２の部分を選択することは、第２のキーに関連付けられたキャラクタ又は機能を選択させる（例えば、テキスト入力領域に入力される、実行される、など）。
物理的環境の第１の部分内の第１のロケーションにおいてユーザの部分を検出したことに応じて、ユーザの部分の表現が第１のユーザインタフェースオブジェクトの第１の部分に以前に表示されたポジションにおいて見えるように、第１のユーザインタフェースオブジェクトの第２の部分の表示を維持しながら、第１のユーザインタフェースオブジェクトの第１の部分の表示を停止し、ユーザの部分の第１のロケーションから第２のロケーションへの動きを検出したことに応じて、ユーザの部分の表現が第１のユーザインタフェースオブジェクトの第２の部分に以前に表示されたポジションにおいて見えるように、第１のユーザインタフェースオブジェクトの第１の部分の表示を復元し、第１のユーザインタフェースオブジェクトの第２の部分の表示を停止し、第１のユーザインタフェースオブジェクトが、少なくとも第１のキー及び第１のキーとは異なる第２のキーを含む仮想キーボードであり、第１のユーザインタフェースオブジェクトの第１の部分が第１のキーに対応し、第１のユーザインタフェースオブジェクトの第２の部分が第２のキーに対応することは、更なるユーザ入力（例えば、ユーザの部分が移動するにつれて仮想キーボードの特定のキーを表示し、表示を回復し、又は表示を停止するための更なるユーザ入力）を必要とすることなく条件のセットが満たされたときに仮想キーボードの適切なキーを表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
図１１における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法８０００、９０００、及び１００００）に関して本明細書で記載した他のプロセスの詳細はまた、図１１に関連して上述した方法１１０００に類似の方法で適用可能であることに留意されたい。例えば、方法１１０００を参照して上述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、制御、動き、基準、三次元環境、表示生成構成要素、表面、物理的オブジェクトの表現、仮想オブジェクト、音声出力モード、基準フレーム、視点、物理的環境、物理的環境の表現、三次元環境のビュー、没入レベル、視覚効果、及び／又はアニメーションは、任意選択的に、本明細書に記載された他の方法（例えば、方法８０００、９０００、及び１００００）を参照して本明細書に記載されたジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、制御、動き、基準、三次元環境、表示生成構成要素、表面、物理的オブジェクトの表現、仮想オブジェクト、音声出力モード、基準フレーム、視点、物理的環境、物理的環境の表現、三次元環境のビュー、没入レベル、視覚効果、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図８、図９、図１０、及び図１１を参照して上述した動作は、任意選択的に、図１～図６に示すコンポーネントにより実施される。いくつかの実施形態では、方法８０００、９０００、１００００、及び１１０００の態様／動作は、これらの方法の間で交換、置換、及び／又は追加されてもよい。簡潔にするために、それらの詳細はここでは繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。
Claims (89)
- 方法であって、
第１の表示生成構成要素、１つ以上の音声出力デバイス、及び１つ以上の入力デバイスと通信するコンピュータシステムにおいて、
前記第１の表示生成構成要素を介して、三次元コンピュータ生成環境を表示することと、
前記三次元コンピュータ生成環境を表示している間、第１のコンピュータ生成コンテンツであって、第１の視覚コンテンツと、前記第１の視覚コンテンツに対応する第１の音声コンテンツとを含む第１のコンピュータ生成コンテンツを提示する要求に対応する第１のイベントを検出することと、
前記第１のコンピュータ生成コンテンツを提示する前記要求に対応する前記第１のイベントの検出に応じて、
前記第１のイベントが第１の没入レベルであって、前記第１の没入レベルで提示される前記第１のコンピュータ生成コンテンツが前記三次元コンピュータ生成環境の第１の部分を占有する、第１の没入レベルを有する前記第１のコンピュータ生成コンテンツを提示するための個別の要求に対応するという判定に従って、前記三次元環境の前記第１の部分内に前記第１の視覚コンテンツを表示し、第１の音声出力モードを使用して前記第１の音声コンテンツを出力することと、
前記第１のイベントが、前記第１の没入レベルとは異なる第２の没入レベルであって、前記第２の没入レベルで提示される前記第１のコンピュータ生成コンテンツが、前記三次元環境の前記第１の部分よりも大きい前記三次元コンピュータ生成環境の第２の部分を占有する、第２の没入レベルを有する前記第１のコンピュータ生成コンテンツを提示するための個別の要求に対応するという判定に従って、前記三次元環境の前記第２の部分内に前記第１の視覚コンテンツを表示し、前記第１の音声出力モードとは異なる第２の音声出力モードを使用して前記第１の音声コンテンツを出力することと、を含み、前記第１の音声出力モードの代わりに前記第２の音声出力モードを使用することが、前記第１の音声コンテンツの没入レベルを変更する、方法。 - 前記第１の音声出力モードを使用して前記第１の音声コンテンツを出力することが、物理的環境内のロケーションの第１のセットにそれぞれ位置する音源の第１のセットを使用して前記第１の音声コンテンツを出力することを含み、
前記第２の音声出力モードを使用して前記第１の音声コンテンツを出力することが、前記物理的環境内のロケーションの第２のセットにそれぞれ位置する音源の第２のセットを使用して前記第１の音声コンテンツを出力することを含み、前記音源の第２のセットが前記音源の第１のセットとは異なる、請求項１に記載の方法。 - 前記音源の第２のセットが、前記音源の第１のセットと、前記音源の第１のセットに含まれない１つ以上の追加の音源とを含む、請求項２に記載の方法。
- 前記ロケーションの第２のセットが、前記物理的環境内の前記ロケーションの第１のセットよりも広い領域に及ぶ、請求項２又は３のに記載の方法。
- 前記第１の音声出力モードを使用して前記第１の音声コンテンツを出力することが、前記第１の音声コンテンツと前記第１の視覚コンテンツとの間の予め設定された対応関係であって、前記第１の視覚コンテンツの現在表示されているビュー内の仮想オブジェクトのそれぞれの空間的ロケーションから独立している予め設定された対応関係に従って前記第１の音声コンテンツを出力することを含み、
前記第２の音声出力モードを使用して前記第１の音声コンテンツを出力することが、前記第１の音声コンテンツと前記第１の視覚コンテンツとの間の前記予め設定された対応関係に従って、かつ前記第１の視覚コンテンツの前記現在表示されているビュー内の前記仮想オブジェクトのそれぞれの空間的ロケーションに従って、前記第１の音声コンテンツを出力することを含む、請求項１から４のいずれか一項に記載の方法。 - 前記第２の音声出力モードを使用して前記第１の音声コンテンツを出力することが、
前記第１の視覚コンテンツの前記現在表示されているビュー内の第１の仮想オブジェクトが、前記第１の視覚コンテンツの前記現在表示されているビューに対応する視点との第１の空間的関係を有するという判定に従って、前記第１の空間的関係に対応する音像定位を有する前記第１の視覚コンテンツの前記現在表示されているビューに対応する前記第１の音声コンテンツの第１の部分を出力することと、
前記第１の視覚コンテンツの前記現在表示されているビュー内の前記第１の仮想オブジェクトが、前記第１の視覚コンテンツの前記現在表示されているビューに対応する前記視点との第２の空間的関係を有するという判定に従って、前記第２の空間的関係に対応する音像定位を有する前記第１の視覚コンテンツの前記現在表示されているビューに対応する前記第１の音声コンテンツの前記第１の部分を出力することと、を含み、前記第１の空間的関係が前記第２の空間的関係とは異なり、前記第１の空間的関係に対応する前記音像定位が前記第２の空間的関係に対応する前記音像定位とは異なる、請求項５に記載の方法。 - 前記第２の音声出力モードを使用して前記第１の音声コンテンツを出力することが、
前記第１の視覚コンテンツの前記現在表示されているビューが前記第１の視覚コンテンツに描写された三次元環境における第１の視点に対応するという判定に従って、前記第１の視点に対応する音像定位を有する前記第１の視覚コンテンツの前記現在表示されているビューに対応する前記第１の音声コンテンツの第１の部分を出力することと、
前記第１の視覚コンテンツの前記現在表示されているビューが前記第１の視覚コンテンツに描写された前記三次元環境内の第２の視点に対応するという判定に従って、前記第２の視点に対応する音像定位を有する前記第１の視覚コンテンツの前記現在表示されているビューに対応する前記第１の音声コンテンツの前記第１の部分を出力することと、を含み、前記第１の視点が前記第２の視点とは異なり、前記第１の視点に対応する前記音像定位が前記第２の視点に対応する前記音像定位とは異なる、請求項５又は６のに記載の方法。 - 前記第１の没入レベルを有する前記第１のコンピュータ生成コンテンツを提示している間、前記第２の没入レベルを有する前記第１のコンピュータ生成コンテンツを提示する要求に対応する第２のイベントを検出することと、
前記第２の没入レベルを有する前記第１のコンピュータ生成コンテンツを提示する前記要求に対応する前記第２のイベントの検出に応じて、前記三次元環境に表示されている前記第１の視覚コンテンツの空間範囲を拡張し、前記第１の音声出力モードを使用した前記第１の音声コンテンツの出力から前記第２の音声出力モードへ切り替えることと、を含む、請求項１から７のいずれか一項に記載の方法。 - 前記第２の没入レベルを有する前記第１のコンピュータ生成コンテンツを提示している間、前記第１の没入レベルを有する前記第１のコンピュータ生成コンテンツを提示する要求に対応する第３のイベントを検出することと、
前記第１の没入レベルを有する前記第１のコンピュータ生成コンテンツを提示する前記要求に対応する前記第３のイベントの検出に応じて、前記三次元環境に表示されている前記第１の視覚コンテンツの空間的範囲を縮小し、前記第２の音声出力モードを使用した前記第１の音声コンテンツの出力から前記第１の音声出力モードに切り替えることと、を含む、請求項１から８のいずれか一項に記載の方法。 - 前記第１の視覚コンテンツが仮想環境を描写する、請求項１から９のいずれか一項に記載の方法。
- 前記第１の視覚コンテンツが、前記表示生成構成要素を介して前記第１の視覚コンテンツと同時に表示される物理的環境内の物理的ロケーションに対応する三次元環境内のそれぞれの空間的ロケーションを有する１つ以上の仮想オブジェクトを描写する、請求項１から９のいずれか一項に記載の方法。
- 前記三次元環境の前記第１の部分内に前記第１の視覚コンテンツを表示することが、前記三次元環境の前記第１の部分内の有界表示領域に前記第１の視覚コンテンツを表示することを含み、
第１の音声出力モードを使用して前記第１の音声コンテンツを出力することが、前記第１の音声コンテンツを空間音声として出力することを含む、請求項１から１１のいずれか一項に記載の方法。 - 前記三次元環境の前記第２の部分内に前記第１の視覚コンテンツを表示することが、前記三次元環境の前記第２の部分内の有界表示領域を使用することなく前記三次元環境の前記第２の部分内に前記第１の視覚コンテンツを表示することを含み、
第２の音声出力モードを使用して前記第１の音声コンテンツを出力することが、前記第１の音声コンテンツを空間音声として出力することを含む、請求項１から１２のいずれか一項に記載の方法。 - 前記第１及び第２の没入レベルのうちの１つを有する前記第１のコンピュータ生成コンテンツを提示している間、前記第１及び第２の没入レベルのうちの異なる１つを有する前記第１のコンピュータ生成コンテンツを提示する要求に対応する第４のイベントを検出することと、
前記第１及び第２の没入レベルのうちの前記異なる１つを有する前記第１のコンピュータ生成コンテンツを提示する前記要求に対応する前記第４のイベントの検出に応じて、
前記表示生成構成要素を介して表示される物理的環境の表現を隠す仮想コンテンツの量を変化させるアニメーション化された遷移を表示することと、
前記アニメーション化された遷移を表示することと関連して、前記第１の音声出力モード及び前記第２の音声出力モードのうちの一方を使用して前記第１の音声コンテンツを再生することから、前記第１の音声出力モード及び前記第２の音声出力モードのうちの異なる一方を使用して前記音声コンテンツを再生することに切り替えることと、を含む、請求項１から１３のいずれか一項に記載の方法。 - コンピュータシステムであって、
第１の表示生成構成要素と、
１以上の音声出力デバイスと、
１つ以上の入力デバイスと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
前記第１の表示生成構成要素を介して、三次元コンピュータ生成環境を表示し、
前記三次元コンピュータ生成環境を表示している間、第１のコンピュータ生成コンテンツであって、第１の視覚コンテンツと、前記第１の視覚コンテンツに対応する第１の音声コンテンツとを含む第１のコンピュータ生成コンテンツを提示する要求に対応する第１のイベントを検出し、
前記第１のコンピュータ生成コンテンツを提示する前記要求に対応する前記第１のイベントの検出に応じて、
前記第１のイベントが第１の没入レベルであって、前記第１の没入レベルで提示される前記第１のコンピュータ生成コンテンツが前記三次元コンピュータ生成環境の第１の部分を占有する、第１の没入レベルを有する前記第１のコンピュータ生成コンテンツを提示するための個別の要求に対応するという判定に従って、前記三次元環境の前記第１の部分内に前記第１の視覚コンテンツを表示し、第１の音声出力モードを使用して前記第１の音声コンテンツを出力し、
前記第１のイベントが、前記第１の没入レベルとは異なる第２の没入レベルであって、前記第２の没入レベルで提示される前記第１のコンピュータ生成コンテンツが、前記三次元環境の前記第１の部分よりも大きい前記三次元コンピュータ生成環境の第２の部分を占有する、第２の没入レベルを有する前記第１のコンピュータ生成コンテンツを提示するための個別の要求に対応するという判定に従って、前記三次元環境の前記第２の部分内に前記第１の視覚コンテンツを表示し、前記第１の音声出力モードとは異なる第２の音声出力モードを使用して前記第１の音声コンテンツを出力する、命令を含み、前記第１の音声出力モードの代わりに前記第２の音声出力モードを使用することが、前記第１の音声コンテンツの没入レベルを変更する、コンピュータシステム。 - １つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、第１の表示生成構成要素、１つ以上の音声デバイス、及び１つ以上の入力デバイスを含むコンピュータシステムによって実行されると、前記コンピュータシステムに、
前記第１の表示生成構成要素を介して、三次元コンピュータ生成環境を表示させ、
前記三次元コンピュータ生成環境を表示している間、第１のコンピュータ生成コンテンツであって、第１の視覚コンテンツと、前記第１の視覚コンテンツに対応する第１の音声コンテンツとを含む第１のコンピュータ生成コンテンツを提示する要求に対応する第１のイベントを検出させ、
前記第１のコンピュータ生成コンテンツを提示する前記要求に対応する前記第１のイベントの検出に応じて、
前記第１のイベントが第１の没入レベルであって、前記第１の没入レベルで提示される前記第１のコンピュータ生成コンテンツが前記三次元コンピュータ生成環境の第１の部分を占有する、第１の没入レベルを有する前記第１のコンピュータ生成コンテンツを提示するための個別の要求に対応するという判定に従って、前記三次元環境の前記第１の部分内に前記第１の視覚コンテンツを表示し、第１の音声出力モードを使用して前記第１の音声コンテンツを出力させ、
前記第１のイベントが、前記第１の没入レベルとは異なる第２の没入レベルであって、前記第２の没入レベルで提示される前記第１のコンピュータ生成コンテンツが、前記三次元環境の前記第１の部分よりも大きい前記三次元コンピュータ生成環境の第２の部分を占有する、第２の没入レベルを有する前記第１のコンピュータ生成コンテンツを提示するための個別の要求に対応するという判定に従って、前記三次元環境の前記第２の部分内に前記第１の視覚コンテンツを表示し、前記第１の音声出力モードとは異なる第２の音声出力モードを使用して前記第１の音声コンテンツを出力させる、命令を含み、前記第１の音声出力モードの代わりに前記第２の音声出力モードを使用することが、前記第１の音声コンテンツの没入レベルを変更する、コンピュータ可読記憶媒体。 - コンピュータシステムであって、
第１の表示生成構成要素と、
１つ以上の音声デバイスと、
１つ以上の入力デバイスと、
前記第１の表示生成構成要素を介して、三次元コンピュータ生成環境を表示する手段と、
前記三次元コンピュータ生成環境を表示している間に可能にされる手段であって、第１のコンピュータ生成コンテンツであって、第１の視覚コンテンツと、前記第１の視覚コンテンツに対応する第１の音声コンテンツとを含む第１のコンピュータ生成コンテンツを提示する要求に対応する第１のイベントを検出する手段と、
前記第１のコンピュータ生成コンテンツを提示する前記要求に対応する前記第１のイベントの検出に応じて、
前記第１のイベントが第１の没入レベルであって、前記第１の没入レベルで提示される前記第１のコンピュータ生成コンテンツが前記三次元コンピュータ生成環境の第１の部分を占有する、第１の没入レベルを有する前記第１のコンピュータ生成コンテンツを提示するための個別の要求に対応するという判定に従って、前記三次元環境の前記第１の部分内に前記第１の視覚コンテンツを表示し、第１の音声出力モードを使用して前記第１の音声コンテンツを出力し、
前記第１のイベントが、前記第１の没入レベルとは異なる第２の没入レベルであって、前記第２の没入レベルで提示される前記第１のコンピュータ生成コンテンツが、前記三次元環境の前記第１の部分よりも大きい前記三次元コンピュータ生成環境の第２の部分を占有する、第２の没入レベルを有する前記第１のコンピュータ生成コンテンツを提示するための個別れの要求に対応するという判定に従って、前記三次元環境の前記第２の部分内に前記第１の視覚コンテンツを表示し、前記第１の音声出力モードとは異なる第２の音声出力モードを使用して前記第１の音声コンテンツを出力する手段と、を備え、前記第１の音声出力モードの代わりに前記第２の音声出力モードを使用することが、前記第１の音声コンテンツの没入レベルを変更する、コンピュータシステム。 - 第１の表示生成構成要素と、１つ以上の音声デバイスと、１つ以上の入力デバイスとを含むコンピュータシステムにおいて使用される情報処理装置であって、
前記第１の表示生成構成要素を介して、三次元コンピュータ生成環境を表示する手段と、
前記三次元コンピュータ生成環境を表示している間に可能にされる手段であって、第１のコンピュータ生成コンテンツであって、第１の視覚コンテンツと、前記第１の視覚コンテンツに対応する第１の音声コンテンツとを含む第１のコンピュータ生成コンテンツを提示する要求に対応する第１のイベントを検出する手段と、
前記第１のコンピュータ生成コンテンツを提示する前記要求に対応する前記第１のイベントの検出に応じて、
前記第１のイベントが第１の没入レベルであって、前記第１の没入レベルで提示される前記第１のコンピュータ生成コンテンツが前記三次元コンピュータ生成環境の第１の部分を占有する、第１の没入レベルを有する前記第１のコンピュータ生成コンテンツを提示するための個別の要求に対応するという判定に従って、前記三次元環境の前記第１の部分内に前記第１の視覚コンテンツを表示し、第１の音声出力モードを使用して前記第１の音声コンテンツを出力し、
前記第１のイベントが、前記第１の没入レベルとは異なる第２の没入レベルであって、前記第２の没入レベルで提示される前記第１のコンピュータ生成コンテンツが、前記三次元環境の前記第１の部分よりも大きい前記三次元コンピュータ生成環境の第２の部分を占有する、第２の没入レベルを有する前記第１のコンピュータ生成コンテンツを提示するための個別の要求に対応するという判定に従って、前記三次元環境の前記第２の部分内に前記第１の視覚コンテンツを表示し、前記第１の音声出力モードとは異なる第２の音声出力モードを使用して前記第１の音声コンテンツを出力する手段と、を備え、前記第１の音声出力モードの代わりに前記第２の音声出力モードを使用することが、前記第１の音声コンテンツの没入レベルを変更する、情報処理装置。 - コンピュータシステムであって、
第１の表示生成構成要素と、
１つ以上の音声デバイスと、
１つ以上の入力デバイスと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１から１４のいずれか一項に記載の方法を実行する命令を含んでいる、コンピュータシステム。 - １つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、第１の表示生成構成要素、１つ以上の音声デバイス、及び１つ以上の入力デバイスを含むコンピュータシステムによって実行されると、前記コンピュータシステムに請求項１から１４のいずれか一項に記載の方法を実行させる命令を含む、コンピュータ可読記憶媒体。
- 第１の表示生成構成要素と、１つ以上の音声デバイスと、１つ以上の入力デバイスと、メモリと、前記メモリに記憶された１つ以上のプログラムを実行するための１つ以上のプロセッサとを含むコンピュータシステム上のグラフィカルユーザインタフェースであって、請求項１から１４のいずれか一項に記載の方法に従って表示されるユーザインタフェースを含む、グラフィカルユーザインタフェース。
- コンピュータシステムであって、
第１の表示生成構成要素と、
１つ以上の音声デバイスと、
１つ以上の入力デバイスと、
請求項１から１４のいずれか一項に記載の方法を実行する手段と、を備える、コンピュータシステム。 - 第１の表示生成構成要素と、１つ以上の音声デバイスと、１つ以上の入力デバイスと、を備えたコンピュータシステムで使用される情報処理装置であって、
請求項１から１４のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。 - 方法であって、
表示生成構成要素と通信するコンピュータシステムにおいて、
前記表示生成構成要素を介して、コンピュータ生成環境のビューを表示することと、
前記コンピュータ生成環境を表示している間に、かつ前記コンピュータ生成環境が、ユーザが位置している物理的環境内に存在する第１の物理的オブジェクトの第１の部分の視覚的表現を含まない間に、前記物理的環境内の前記第１の物理的オブジェクトの第１の動きを検出することと、
前記物理的環境内の前記第１の物理的オブジェクトの前記第１の動きの検出に応じて、
前記ユーザが前記第１の物理的オブジェクトの前記第１の部分の閾値距離内にあり、前記第１の物理的オブジェクトが、前記ユーザからの前記第１の物理的オブジェクトの距離以外の前記第１の物理的オブジェクトの予め設定された特性に関する要件を含む予め設定された基準を満たすという判定に従って、前記第１の物理的オブジェクトの第２の部分であって、前記第１の物理的オブジェクトの前記第１の部分及び前記物理的オブジェクトの前記第２の部分が、双方とも、前記コンピュータ生成環境に対する前記ユーザの視野に基づいて前記ユーザに潜在的に見える前記第１の物理的オブジェクトの範囲の一部である、前記第１の物理的オブジェクトの第２の部分に対応するポジションに表示された前記仮想コンテンツの一部の外観を変更することなく、前記第１の物理的オブジェクトの前記第１の部分の現在のロケーションに対応するポジションに表示された前記仮想コンテンツの一部の外観を変更することと、
前記ユーザが前記ユーザを取り囲む前記物理的環境内に存在する前記第１の物理的オブジェクトの前記閾値距離内にあり、前記第１の物理的オブジェクトが前記予め設定された基準を満たしていないという判定に従って、前記第１の物理的オブジェクトの前記第１の部分の現在のロケーションに対応するポジションに表示された仮想コンテンツの一部の外観を変更することを取り止めることと、を含む、方法。 - 前記第１の物理的オブジェクトの前記第１の部分及び前記第１の物理的オブジェクトの前記第２の部分が、前記第１の物理的オブジェクトの連続部分である、請求項２４に記載の方法。
- 前記第１の物理的オブジェクトの前記第１の部分に対応する前記ポジションに表示された前記仮想コンテンツの前記部分、及び前記第１の物理的オブジェクトの前記第２の部分に対応する前記ポジションに表示された前記仮想コンテンツの前記部分が、前記同じ仮想オブジェクトのそれぞれの部分を含む、請求項２４又は２５に記載の方法。
- 前記第１の物理的オブジェクトの前記第２の部分に対応する前記ポジションに表示された前記仮想コンテンツの部分の前記外観を変更することなく、前記第１の物理的オブジェクトの前記第１の部分の前記現在のロケーションに対応する前記ポジションに表示された前記仮想コンテンツの前記部分の前記外観を変更することが、
前記仮想コンテンツの表示を維持しながら、前記第１の物理的オブジェクトの前記第２の部分に対応する前記ポジションに表示された前記仮想コンテンツの部分に第１の視覚効果を適用することなく、前記第１の物理的オブジェクトの前記第１の部分の前記現在のロケーションに対応する前記ポジションに表示された前記仮想コンテンツの前記部分に前記第１の視覚効果を適用することを含む、請求項２４から２６のいずれか一項に記載の方法。 - 前記第１の物理的オブジェクトの前記予め設定された特性が、人と人以外の物理的オブジェクトとを区別する第１の特性を含み、前記第１の物理的オブジェクトが前記予め設定された基準を満たすと判定することが、前記第１の物理的オブジェクト上の前記第１の特性の存在を検出することを含む、請求項２４から２７のいずれか一項に記載の方法。
- 前記第１の物理的オブジェクトの前記予め設定された特性が、前記第１の物理的オブジェクトが前記ユーザに向かって移動しているときに前記第１の物理的オブジェクトから到来する人間の声を示す第２の特性を含み、前記第１の物理的オブジェクトが前記予め設定された基準を満たすと判定することが、前記第１の物理的オブジェクトの前記ロケーションにおいて前記第２の特性を検出することを含む、請求項２４から２８のいずれか一項に記載の方法。
- 前記第１の物理的オブジェクトの前記予め設定された特性が、動物を人と人以外の物理的オブジェクトと区別する第３の特性を含み、前記第１の物理的オブジェクトが前記予め設定された基準を満たすと判定することが、前記第１の物理的オブジェクト上の前記第３の特性の存在を検出することを含む、請求項２４から２７のいずれか一項に記載の方法。
- 前記第１の物理的オブジェクトの前記予め設定された特性が、前記第１の物理的オブジェクトの移動速度に基づく第４の特性を含み、前記第１の物理的オブジェクトが前記予め設定された基準を満たすと判定することが、前記第１の物理的オブジェクトの前記第４の特性の特性値が予め設定された閾値を超えることを検出することを含む、請求項２４から３０のいずれか一項に記載の方法。
- 前記第１の物理的オブジェクトの前記予め設定された特性が、前記ユーザの即時の注意を必要とするイベントの発生を示す第５の特性を含み、前記第１の物理的オブジェクトが前記予め設定された基準を満たすと判定することが、前記第１の物理的オブジェクト上の前記第５の特性の存在を検出することを含む、請求項２４から３１のいずれか一項に記載の方法。
- 前記第１の物理的オブジェクトの前記予め設定された特性が、前記第１の物理的オブジェクト上の識別子オブジェクトの存在を示す第６の特性を含み、前記第１の物理的オブジェクトが前記予め設定された基準を満たすと判定することが、前記第１の物理的オブジェクトに対応するロケーションにおいて前記第６の特性の存在を検出することを含む、請求項２４から３２のいずれか一項に記載の方法。
- 前記第１の物理的オブジェクトの前記予め設定された特性が、前記第１の物理的オブジェクトの動きパターンに基づく第７の特性を含み、前記第１の物理的オブジェクトが前記予め設定された基準を満たすと判定することが、前記第１の物理的オブジェクトの前記動きパターンが予め設定された基準を満たすことに基づいて前記第７の特性を検出することを含む、請求項２４から３３のいずれか一項に記載の方法。
- 前記第１の物理的オブジェクトの前記予め設定された特性が、前記第１の物理的オブジェクトの認識された識別情報と第１の予め設定された識別情報との間の一致に基づく第８の特性を含み、前記第１の物理的オブジェクトが前記予め設定された基準を満たすと判定することが、予め設定された基準を満たす前記第８の特性を検出することを含む、請求項２４から３４のいずれか一項に記載の方法。
- 前記コンピュータ生成環境が、前記ユーザを取り囲む物理的環境の表現を同時に含むことなく仮想環境を含む、請求項２４から３５のいずれか一項に記載の方法。
- 前記コンピュータ生成環境が、前記仮想コンテンツと同時に表示される前記物理的環境の表現を含む拡張現実環境を含み、前記仮想コンテンツの前記外観の変更が、前記仮想コンテンツに隣接する領域の前記表示生成構成要素を介して表示される前記物理的環境の前記表現の一部と同時に表示される、請求項２４から３５のいずれか一項に記載の方法。
- コンピュータシステムであって、
表示生成構成要素と、
１つ以上の入力デバイスと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
前記表示生成構成要素を介して、コンピュータ生成環境のビューを表示し、
前記コンピュータ生成環境を表示している間に、かつ前記コンピュータ生成環境が、ユーザが位置している物理的環境内に存在する第１の物理的オブジェクトの第１の部分の視覚的表現を含まない間に、前記物理的環境内の前記第１の物理的オブジェクトの第１の動きを検出し、
前記物理的環境内の前記第１の物理的オブジェクトの前記第１の動きの検出に応じて、
前記ユーザが前記第１の物理的オブジェクトの前記第１の部分の閾値距離内にあり、前記第１の物理的オブジェクトが、前記ユーザからの前記第１の物理的オブジェクトの距離以外の前記第１の物理的オブジェクトの予め設定された特性に関する要件を含む予め設定された基準を満たすという判定に従って、前記第１の物理的オブジェクトの第２の部分であって、前記第１の物理的オブジェクトの前記第１の部分及び前記物理的オブジェクトの前記第２の部分が、双方とも、前記コンピュータ生成環境に対する前記ユーザの視野に基づいて前記ユーザに潜在的に見える前記第１の物理的オブジェクトの範囲の一部である、前記第１の物理的オブジェクトの第２の部分に対応するポジションに表示された前記仮想コンテンツの一部の外観を変更することなく、前記第１の物理的オブジェクトの前記第１の部分の現在のロケーションに対応するポジションに表示された前記仮想コンテンツの一部の外観を変更し、
前記ユーザが前記ユーザを取り囲む前記物理的環境内に存在する前記第１の物理的オブジェクトの前記閾値距離内にあり、前記第１の物理的オブジェクトが前記予め設定された基準を満たしていないという判定に従って、前記第１の物理的オブジェクトの前記第１の部分の現在のロケーションに対応するポジションに表示された仮想コンテンツの一部の外観を変更することを取り止める、命令を含む、コンピュータシステム。 - １つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、表示生成構成要素及び１つ以上の入力デバイスを含むコンピュータシステムによって実行されると、前記コンピュータシステムに、
前記表示生成構成要素を介して、コンピュータ生成環境のビューを表示させ、
前記コンピュータ生成環境を表示している間に、かつ前記コンピュータ生成環境が、ユーザが位置している物理的環境内に存在する第１の物理的オブジェクトの第１の部分の視覚的表現を含まない間に、前記物理的環境内の前記第１の物理的オブジェクトの第１の動きを検出させ、
前記物理的環境内の前記第１の物理的オブジェクトの前記第１の動きの検出に応じて、
前記ユーザが前記第１の物理的オブジェクトの前記第１の部分の閾値距離内にあり、前記第１の物理的オブジェクトが、前記ユーザからの前記第１の物理的オブジェクトの距離以外の前記第１の物理的オブジェクトの予め設定された特性に関する要件を含む予め設定された基準を満たすという判定に従って、前記第１の物理的オブジェクトの第２の部分であって、前記第１の物理的オブジェクトの前記第１の部分及び前記物理的オブジェクトの前記第２の部分が、双方とも、前記コンピュータ生成環境に対する前記ユーザの視野に基づいて前記ユーザに潜在的に見える前記第１の物理的オブジェクトの範囲の一部である、前記第１の物理的オブジェクトの第２の部分に対応するポジションに表示された前記仮想コンテンツの一部の外観を変更することなく、前記第１の物理的オブジェクトの前記第１の部分の現在のロケーションに対応するポジションに表示された前記仮想コンテンツの一部の外観を変更させ、
前記ユーザが前記ユーザを取り囲む前記物理的環境内に存在する前記第１の物理的オブジェクトの前記閾値距離内にあり、前記第１の物理的オブジェクトが前記予め設定された基準を満たしていないという判定に従って、前記第１の物理的オブジェクトの前記第１の部分の現在のロケーションに対応するポジションに表示された仮想コンテンツの一部の外観を変更することを取り止めさせる、命令を含む、コンピュータ可読記憶媒体。 - コンピュータシステムであって、
表示生成構成要素と、
１つ以上の入力デバイスと、
前記表示生成構成要素を介して、コンピュータ生成環境のビューを表示する手段と、
前記コンピュータ生成環境を表示している間に、かつ前記コンピュータ生成環境が、ユーザが位置している物理的環境内に存在する第１の物理的オブジェクトの第１の部分の視覚的表現を含まない間に、前記物理的環境内の前記第１の物理的オブジェクトの第１の動きを検出する手段と、
前記物理的環境内の前記第１の物理的オブジェクトの前記第１の動きの検出に応じて、可能にされる手段であって、
前記ユーザが前記第１の物理的オブジェクトの前記第１の部分の閾値距離内にあり、前記第１の物理的オブジェクトが、前記ユーザからの前記第１の物理的オブジェクトの距離以外の前記第１の物理的オブジェクトの予め設定された特性に関する要件を含む予め設定された基準を満たすという判定に従って、前記第１の物理的オブジェクトの第２の部分であって、前記第１の物理的オブジェクトの前記第１の部分及び前記物理的オブジェクトの前記第２の部分が、双方とも、前記コンピュータ生成環境に対する前記ユーザの前記視野に基づいて前記ユーザに潜在的に見える前記第１の物理的オブジェクトの範囲の一部である、前記第１の物理的オブジェクトの第２の部分に対応するポジションに表示された前記仮想コンテンツの一部の外観を変更することなく、前記第１の物理的オブジェクトの前記第１の部分の現在のロケーションに対応するポジションに表示された前記仮想コンテンツの一部の外観を変更し、
前記ユーザが前記ユーザを取り囲む前記物理的環境内に存在する前記第１の物理的オブジェクトの前記閾値距離内にあり、前記第１の物理的オブジェクトが前記予め設定された基準を満たしていないという判定に従って、前記第１の物理的オブジェクトの前記第１の部分の現在のロケーションに対応するポジションに表示された仮想コンテンツの一部の外観を変更することを取り止める、手段と、を備える、コンピュータシステム。 - 表示生成構成要素と１つ以上の入力デバイスとを含むコンピュータシステムにおいて使用される情報処理装置であって、
前記表示生成構成要素を介して、コンピュータ生成環境のビューを表示する手段と、
前記コンピュータ生成環境を表示している間に、かつ前記コンピュータ生成環境が、ユーザが位置している物理的環境内に存在する第１の物理的オブジェクトの第１の部分の視覚的表現を含まない間に、前記物理的環境内の前記第１の物理的オブジェクトの第１の動きを検出する手段と、
前記物理的環境内の前記第１の物理的オブジェクトの前記第１の動きの検出に応じて、可能にされる手段であって、
前記ユーザが前記第１の物理的オブジェクトの前記第１の部分の閾値距離内にあり、前記第１の物理的オブジェクトが、前記ユーザからの前記第１の物理的オブジェクトの距離以外の前記第１の物理的オブジェクトの予め設定された特性に関する要件を含む予め設定された基準を満たすという判定に従って、前記第１の物理的オブジェクトの第２の部分であって、前記第１の物理的オブジェクトの前記第１の部分及び前記物理的オブジェクトの前記第２の部分が、双方とも、前記コンピュータ生成環境に対する前記ユーザの前記視野に基づいて前記ユーザに潜在的に見える前記第１の物理的オブジェクトの範囲の一部である、前記第１の物理的オブジェクトの第２の部分に対応するポジションに表示された前記仮想コンテンツの一部の外観を変更することなく、前記第１の物理的オブジェクトの前記第１の部分の現在のロケーションに対応するポジションに表示された前記仮想コンテンツの一部の外観を変更し、
前記ユーザが前記ユーザを取り囲む前記物理的環境内に存在する前記第１の物理的オブジェクトの前記閾値距離内にあり、前記第１の物理的オブジェクトが前記予め設定された基準を満たしていないという判定に従って、前記第１の物理的オブジェクトの前記第１の部分の現在のロケーションに対応するポジションに表示された仮想コンテンツの一部の外観を変更することを取り止める、手段と、を備える、情報処理装置。 - コンピュータシステムであって、
表示生成構成要素と、
１つ以上の入力デバイスと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項２４から３７のいずれか一項に記載の方法を実行する命令を含んでいる、コンピュータシステム。 - １つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、表示生成構成要素及び１つ以上の入力デバイスを含むコンピュータシステムによって実行されると、前記コンピュータシステムに請求項２４から３７のいずれか一項に記載の方法を実行させる命令を含む、コンピュータ可読記憶媒体。
- 表示生成構成要素と、１つ以上の入力デバイスと、メモリと、前記メモリに記憶された１つ以上のプログラムを実行するための１つ以上のプロセッサとを含むコンピュータシステム上のグラフィカルユーザインタフェースであって、請求項２４から３７のいずれか一項に記載の方法に従って表示されるユーザインタフェースを含む、グラフィカルユーザインタフェース。
- コンピュータシステムであって、
表示生成構成要素と、
１つ以上の入力デバイスと、
請求項２４から３７のいずれか一項に記載の方法を実行する手段と、を備える、コンピュータシステム。 - 表示生成構成要素と１つ以上の入力デバイスとを含むコンピュータシステムにおいて使用される情報処理装置であって、
請求項２４から３７のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。 - 方法であって、
第１の表示生成構成要素、及び１つ以上の入力デバイスと通信するコンピュータシステムにおいて、
前記第１の表示生成構成要素を介して、物理的環境の表現を含む三次元環境を表示することと、
前記物理的環境の前記表現を含む前記三次元環境を表示している間、前記物理的環境の個別の部分に触れているユーザの手を検出することと、
前記ユーザの手が前記物理的環境の前記個別の部分に触れていることの検出に応じて、
前記ユーザの手が前記物理的環境の第１の部分に触れているという判定に従って、前記物理的環境の前記第１の部分のスキャンに基づいて識別された前記物理的環境の前記第１の部分に対応する前記三次元環境内のロケーションに第１の視覚効果を表示することと、
前記ユーザの手が前記物理的環境の前記第１の部分とは異なる前記物理的環境の第２の部分に触れているという判定に従って、前記物理的環境の前記第２の部分のスキャンに基づいて識別された前記物理的環境の前記第２の部分に対応する前記三次元環境内のロケーションに第２の視覚効果を表示することと、を含む、方法。 - 前記第１の視覚効果が、前記ユーザの手が前記物理的環境の前記第１の部分に触れているという判定に従って、前記物理的環境の前記第１の部分に向けられている視線入力と共に表示され、
前記第２の視覚効果が、前記物理的環境の前記第２の部分に向けられている前記視線入力と関連して、前記ユーザの手が前記物理的環境の前記第２の部分に触れているという判定に従って表示される、請求項４７に記載の方法。 - 前記ユーザの手が前記物理的環境の前記個別の部分に触れていることの検出に応じて、
前記ユーザの手が前記物理的環境の前記第１の部分に触れているという判定に従って、前記第１の視覚効果が適用される領域を、前記ユーザの手が触れている前記物理的環境の前記第１の部分に対応する前記三次元環境内の前記ロケーションから拡張することと、
前記ユーザの手が前記物理的環境の前記第２の部分に触れているという判定に従って、前記第２の視覚効果が適用される領域を、前記ユーザの手によって触れられている前記物理的環境の前記第２の部分に対応する前記三次元環境内の前記ロケーションから拡張することと、を含む、請求項４７又は４８に記載の方法。 - 前記第１の視覚効果が、前記第１の視覚効果が適用される領域内の第１のアニメーション化された視覚的変化を含み、前記第２の視覚効果が、前記第２の視覚効果が適用される領域内の第２のアニメーション化された視覚的変化を含む、請求項４７から４９のいずれか一項に記載の方法。
- 前記物理的環境の前記第１の部分及び前記物理的環境の前記第２の部分が、拡張された物理的表面の異なる部分に対応し、前記第１の視覚効果が前記第２の視覚効果とは異なる、請求項４７から５０のいずれか一項に記載の方法。
- 前記第１の視覚効果及び前記第２の視覚効果が、第１のベースライン視覚効果に従って生成され、前記第１の視覚効果及び前記第２の視覚効果が、前記第１のベースライン視覚効果に従って生成された異なるアニメーションを含む、請求項５１に記載の方法。
- 前記第１の視覚効果が、前記物理的環境の前記第１の部分における物理的表面上の前記ユーザの手のタッチダウンの検出に応じて表示され、前記第２の視覚効果が、前記物理的環境の前記第２の部分における物理的表面上の前記ユーザの手のタッチダウンの検出に応じて表示される、請求項４７から５２のいずれか一項に記載の方法。
- 前記ユーザの手が前記物理的環境の前記第１の部分との接触を維持している間、前記第１の視覚効果の表示を維持することを含む、請求項４７から５３のいずれか一項に記載の方法。
- 前記ユーザの手が前記物理的環境の前記第１の部分との接触を停止したことを検出したことに応じて、前記第１の視覚効果の表示を停止することを含む、請求項５４に記載の方法。
- 前記第１の視覚効果が、第１のアニメーション化された視覚的変化を含み、前記方法が、
前記ユーザの手が前記物理的環境の前記第１の部分との接触を停止したことの検出に応じて、前記第１のアニメーション化された変化の表示を停止することと、
前記第１のアニメーション化された変化の表示を停止した後に、前記第１のアニメーション化された変化の第１の静的表現を表示することと、を含む、請求項５４に記載の方法。 - 前記第１の視覚効果及び前記第２の視覚効果が、前記物理的環境の少なくとも前記個別の部分の空間的表現を生成するプロセスのアニメーション表現を含む、請求項４７から５４のいずれか一項に記載の方法。
- 前記第１の視覚効果が、前記物理的環境の前記第１の部分に対応する前記三次元環境内の前記ロケーションから始まり、前記物理的環境の前記第１の部分に対応しない前記三次元環境内の領域まで拡張する、請求項４７から５７のいずれか一項に記載の方法。
- 前記物理的環境の前記第１の部分の前記スキャンに基づいて識別された前記物理的環境の前記第１の部分に対応する前記三次元環境内の前記ロケーションに前記第１の視覚効果を表示することが、前記物理的環境の前記第１の部分において識別された第１の表面に対応する仮想表面にわたって仮想照明を移動させることを含む、請求項４７から５８のいずれか一項に記載の方法。
- 前記第１の視覚効果又は前記第２の視覚効果が、前記第１の表示生成構成要素を介した前記三次元環境の初期表示の閾値時間内に前記ユーザの手が前記物理的環境の前記個別の部分に触れているという判定に従って表示される、請求項４７から５９のいずれか一項に記載の方法。
- 前記第１の表示生成構成要素による仮想環境の表示から前記第１の表示生成構成要素による前記三次元環境の表示への遷移を検出することと、
前記仮想環境の表示から前記三次元環境の表示への前記遷移の検出に応じて、前記物理的環境の第３の部分のスキャンに基づいて識別された前記物理的環境の前記第３の部分に対応する前記三次元環境内のロケーションに第３の視覚効果を表示することと、を含む、請求項４７から６０のいずれか一項に記載の方法。 - 前記第１の表示生成構成要素を前記ユーザとの第１の予め設定された空間的関係に配置させる動きを検出することと、
前記第１の表示生成構成要素を前記ユーザとの前記第１の予め設定された空間的関係に配置させる前記動きの検出に応じて、前記第１の表示生成構成要素を介して、前記物理的環境の第４の部分のスキャンに基づいて識別された前記物理的環境の前記第４の部分に対応する前記三次元環境内のロケーションに第４の視覚効果を表示することと、を含む、請求項４７から６１のいずれか一項に記載の方法。 - コンピュータシステムであって、
第１の表示生成構成要素と、
１つ以上の入力デバイスと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
前記第１の表示生成構成要素を介して、物理的環境の表現を含む三次元環境を表示し、
前記物理的環境の前記表現を含む前記三次元環境を表示している間、前記物理的環境の個別の部分に触れているユーザの手を検出し、
前記ユーザの手が前記物理的環境の前記個別の部分に触れていることの検出に応じて、
前記ユーザの手が前記物理的環境の第１の部分に触れているという判定に従って、前記物理的環境の前記第１の部分のスキャンに基づいて識別された前記物理的環境の前記第１の部分に対応する前記三次元環境内のロケーションに第１の視覚効果を表示し、
前記ユーザの手が前記物理的環境の前記第１の部分とは異なる前記物理的環境の第２の部分に触れているという判定に従って、前記物理的環境の前記第２の部分のスキャンに基づいて識別された前記物理的環境の前記第２の部分に対応する前記三次元環境内のロケーションに第２の視覚効果を表示する、命令を含む、コンピュータシステム。 - １つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、第１の表示生成構成要素及び１つ以上の入力デバイスを含むコンピュータシステムによって実行されると、前記コンピュータシステムに、
前記第１の表示生成構成要素を介して、物理的環境の表現を含む三次元環境を表示させ、
前記物理的環境の前記表現を含む前記三次元環境を表示している間、前記物理的環境の個別の部分に触れているユーザの手を検出させ、
前記ユーザの手が前記物理的環境の前記個別の部分に触れていることの検出に応じて、
前記ユーザの手が前記物理的環境の第１の部分に触れているという判定に従って、前記物理的環境の前記第１の部分のスキャンに基づいて識別された前記物理的環境の前記第１の部分に対応する前記三次元環境内のロケーションに第１の視覚効果を表示させ、
前記ユーザの手が前記物理的環境の前記第１の部分とは異なる前記物理的環境の第２の部分に触れているという判定に従って、前記物理的環境の前記第２の部分のスキャンに基づいて識別された前記物理的環境の前記第２の部分に対応する前記三次元環境内のロケーションに第２の視覚効果を表示させる、命令を含む、コンピュータ可読記憶媒体。 - コンピュータシステムであって、
第１の表示生成構成要素と、
１つ以上の入力デバイスと、
前記第１の表示生成構成要素を介して、物理的環境の表現を含む三次元環境を表示する手段と、
前記物理的環境の前記表現を含む前記三次元環境を表示している間に可能にされる手段であって、前記物理的環境の個別の部分に触れているユーザの手を検出する手段と、
前記ユーザの手が前記物理的環境の前記個別の部分に触れていることの検出に応じて可能にされる手段であって、
前記ユーザの手が前記物理的環境の第１の部分に触れているという判定に従って、前記物理的環境の前記第１の部分のスキャンに基づいて識別された前記物理的環境の前記第１の部分に対応する前記三次元環境内のロケーションに第１の視覚効果を表示し、
前記ユーザの手が前記物理的環境の前記第１の部分とは異なる前記物理的環境の第２の部分に触れているという判定に従って、前記物理的環境の前記第２の部分のスキャンに基づいて識別された前記物理的環境の前記第２の部分に対応する前記三次元環境内のロケーションに第２の視覚効果を表示する、手段と、を備える、コンピュータシステム。 - 第１の表示生成構成要素と１つ以上の入力デバイスとを含むコンピュータシステムにおいて使用される情報処理装置であって、
前記第１の表示生成構成要素を介して、物理的環境の表現を含む三次元環境を表示する手段と、
前記物理的環境の前記表現を含む前記三次元環境を表示している間に可能にされる手段であって、前記物理的環境の個別の部分に触れているユーザの手を検出する手段と、
前記ユーザの手が前記物理的環境の前記個別の部分に触れていることの検出に応じて可能にされる手段であって、
前記ユーザの手が前記物理的環境の第１の部分に触れているという判定に従って、前記物理的環境の前記第１の部分のスキャンに基づいて識別された前記物理的環境の前記第１の部分に対応する前記三次元環境内のロケーションに第１の視覚効果を表示し、
前記ユーザの手が前記物理的環境の前記第１の部分とは異なる前記物理的環境の第２の部分に触れているという判定に従って、前記物理的環境の前記第２の部分のスキャンに基づいて識別された前記物理的環境の前記第２の部分に対応する前記三次元環境内のロケーションに第２の視覚効果を表示する、手段と、を備える、情報処理装置。 - コンピュータシステムであって、
第１の表示生成構成要素と、
１つ以上の入力デバイスと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項４７から６２のいずれか一項に記載の方法を実行する命令を含んでいる、コンピュータシステム。 - １つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、第１の表示生成構成要素及び１つ以上の入力デバイスを含むコンピュータシステムによって実行されると、前記コンピュータシステムに請求項４７から６２のいずれか一項に記載の方法を実行させる命令を含む、コンピュータ可読記憶媒体。
- 第１の表示生成構成要素と、１つ以上の入力デバイスと、メモリと、前記メモリに記憶された１つ以上のプログラムを実行するための１つ以上のプロセッサとを含むコンピュータシステム上のグラフィカルユーザインタフェースであって、請求項４７から６２のいずれか一項に記載の方法に従って表示されるユーザインタフェースを含む、グラフィカルユーザインタフェース。
- コンピュータシステムであって、
第１の表示生成構成要素と、
１つ以上の入力デバイスと、
請求項４７から６２のいずれか一項に記載の方法を実行する手段と、を備える、コンピュータシステム。 - 第１の表示生成構成要素と１つ以上の入力デバイスとを含むコンピュータシステムにおいて使用される情報処理装置であって、
請求項４７から６２のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。 - 方法であって、
第１の表示生成構成要素、及び１つ以上の入力デバイスと通信するコンピュータシステムにおいて、
前記第１の表示生成構成要素を介して、第１の物理的表面を含む、物理的環境の第１の部分の表現と、第１の仮想コンテンツであって、前記第１の仮想コンテンツが、前記物理的環境の前記第１の部分内の前記第１の物理的表面のロケーションに対応する三次元環境内のポジションに表示される第１のユーザインタフェースオブジェクトを含む、第１の仮想コンテンツとを同時に含む前記三次元環境のビューを表示することと、
前記三次元環境のビューを表示している間、前記物理的環境の前記第１の部分内の第１のロケーションであって、前記第１の物理的表面と前記三次元環境の前記ビューに対応する視点との間にある第１のロケーションにおいてユーザの部分を検出することと、
前記物理的環境の前記第１の部分内の前記第１のロケーションにおいて前記ユーザの前記部分を検出したことに応じて、前記ユーザの前記部分の表現が前記第１のユーザインタフェースオブジェクトの第１の部分を以前に表示したポジションに見えるように、前記第１のユーザインタフェースオブジェクトの第２の部分の表示を維持しながら、前記第１のユーザインタフェースオブジェクトの前記第１の部分の表示を停止することと、
前記三次元環境の前記ビューを表示している間、前記物理的環境の前記第１の部分内の前記第１のロケーションから第２のロケーションであって、前記第１の物理的表面と前記三次元環境の前記ビューに対応する前記視点との間にある第２のロケーションへの前記ユーザの前記部分の動きを検出することと、
前記ユーザの前記部分の前記第１のロケーションから前記第２のロケーションへの前記動きの検出に応じて、前記ユーザの前記部分の前記表現が前記第１のユーザインタフェースオブジェクトの前記第２の部分を以前に表示したポジションに見えるように、前記第１のユーザインタフェースオブジェクトの前記第１の部分の表示を復元し、前記第１のユーザインタフェースオブジェクトの前記第２の部分の表示を停止することと、を含む、方法。 - 前記物理的環境の前記第１の部分内の前記第１のロケーションにおいて前記ユーザの前記部分を検出し、前記第１のユーザインタフェースオブジェクトの前記第１の部分を表示することなく前記第１のユーザインタフェースオブジェクトの前記第２の部分の表示を維持しながら、前記第１のユーザインタフェースオブジェクトを選択する要求に対応する前記ユーザの前記部分による第１の入力を検出することと、
前記ユーザの前記部分による前記第１の入力の検出に応じて、前記第１のユーザインタフェースオブジェクトに対応する第１の動作を実行することと、
前記物理的環境の前記第１の部分内の前記第２のロケーションにおいて前記ユーザの前記部分を検出し、前記第１のユーザインタフェースオブジェクトの前記第２の部分を表示することなく前記第１のユーザインタフェースオブジェクトの前記第１の部分の表示を維持しながら、前記第１のユーザインタフェースオブジェクトを選択する前記要求に対応する前記ユーザの前記部分による第２の入力を検出することと、
前記ユーザの前記部分による前記第２の入力の検出に応じて、前記第１のユーザインタフェースオブジェクトに対応する第２の動作を実行することと、を含む、請求項７２に記載の方法。 - 前記物理的環境の前記第１の部分内の前記第１のロケーションにおいて前記ユーザの前記部分を検出し、前記第１のユーザインタフェースの前記第１の部分を表示することなく前記第１のユーザインタフェースオブジェクトの前記第２の部分の表示を維持しながら、前記第１のユーザインタフェースオブジェクトの前記第１の部分を選択する要求に対応する前記ユーザの前記部分による第１の入力を検出することと、
前記ユーザの前記部分による前記第１の入力の検出に応じて、前記第１のユーザインタフェースオブジェクトの前記第１の部分に対応する第１の動作を実行することと、
前記物理的環境の前記第１の部分内の前記第２のロケーションにおいて前記ユーザの前記部分を検出し、前記第１のユーザインタフェースオブジェクトの前記第２の部分を表示することなく前記第１のユーザインタフェースオブジェクトの前記第１の部分の表示を維持しながら、前記第１のユーザインタフェースオブジェクトの前記第２の部分を選択する前記要求に対応する前記ユーザの前記部分による第２の入力を検出することと、
前記ユーザの前記部分による前記第２の入力の検出に応じて、前記第１のユーザインタフェースオブジェクトの前記第２の部分に対応する第２の動作を実行することと、を含み、前記第２の動作が前記第１の動作とは異なる、請求項７２に記載の方法。 - 前記第１の仮想コンテンツが、前記物理的環境の前記第１の部分内の前記第１の物理的表面の前記ロケーションに対応する前記三次元環境内のポジションに表示される第２のユーザインタフェースオブジェクトを含み、前記方法が、
前記物理的環境の前記第１の部分内の前記第１のロケーションにおいて前記ユーザの前記部分を検出したことに応じて、前記ユーザの前記部分の前記表現が前記第２のユーザインタフェースオブジェクトの第１の部分を以前に表示したポジションに見えるように、前記第２のユーザインタフェースオブジェクトの第２の部分の表示を維持しながら、前記第２のユーザインタフェースオブジェクトの前記第１の部分の表示を停止することを含む、請求項７２から７４のいずれか一項に記載の方法。 - 前記物理的環境の前記第１の部分内の前記第１のロケーションにおいて前記ユーザの前記部分を検出し、前記第１のユーザインタフェースオブジェクト及び前記第２のユーザインタフェースオブジェクトの前記第１の部分を表示することなく前記第１のユーザインタフェースオブジェクト及び前記第２のユーザインタフェースオブジェクトの前記第２の部分の表示を維持しながら、前記第１のユーザインタフェースオブジェクトを選択する要求に対応する前記ユーザの前記部分による第３の入力を検出することと、
前記ユーザの前記部分による前記第３の入力の検出に応じて、前記第２のユーザインタフェースオブジェクトに対応する第４の動作を実行することなく、前記第１のユーザインタフェースオブジェクトに対応する第３の動作を実行することと、を含む、請求項７５に記載の方法。 - 前記ユーザの前記部分の前記第１のロケーションから前記第２のロケーションへの前記動きの検出に応じて、前記ユーザの前記部分の前記表現が前記第２のユーザインタフェースオブジェクトの前記第２の部分を以前に表示したポジションに見えるように、前記第２のユーザインタフェースオブジェクトの前記第１の部分の表示を復元し、前記第２のユーザインタフェースオブジェクトの前記第２の部分の表示を停止することを含む、請求項７５又は７６に記載の方法。
- 前記ユーザの前記部分の前記第１のロケーションから前記第２のロケーションへの前記動きの検出に応じて、前記ユーザの前記部分の前記表現が前記第２のユーザインタフェースオブジェクトの前記第１の部分を以前に表示した前記ポジションに見えるように、前記第２のユーザインタフェースオブジェクトの前記第１の部分の表示を復元することなく、前記第２のユーザインタフェースオブジェクトの前記第２の部分の表示を維持することを含む、請求項７５又は７６に記載の方法。
- 前記物理的環境の前記第１の部分内の前記第１のロケーションにおける前記ユーザの前記部分の検出に応じて、前記第１のユーザインタフェースオブジェクトの前記第１の部分を以前に表示した前記ポジションからオフセットされた前記三次元環境の前記ビュー内の第３のポジションに前記ユーザの前記部分のシミュレートされた影を表示することと、
前記第１のロケーションから前記第２のロケーションへの前記ユーザの前記部分の前記動きの検出に応じて、前記第１のユーザインタフェースオブジェクトの前記第２の部分を以前に表示した前記ポジションからオフセットされた前記三次元環境の前記ビュー内の第４のポジションに前記ユーザの前記部分の前記シミュレートされた影を表示することと、を含む、請求項７２から７８のいずれか一項に記載の方法。 - 前記第１のユーザインタフェースオブジェクトが、少なくとも第１のキー及び前記第１のキーとは異なる第２のキーを含む仮想キーボードであり、前記第１のユーザインタフェースオブジェクトの前記第１の部分が前記第１のキーに対応し、前記第１のユーザインタフェースオブジェクトの前記第２の部分が前記第２のキーに対応する、請求項７２から７９のいずれか一項に記載の方法。
- コンピュータシステムであって、
第１の表示生成構成要素と、
１つ以上の入力デバイスと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
前記第１の表示生成構成要素を介して、第１の物理的表面を含む、物理的環境の第１の部分の表現と第１の仮想コンテンツであって、前記第１の仮想コンテンツが、前記物理的環境の前記第１の部分内の前記第１の物理的表面のロケーションに対応する三次元環境内のポジションに表示される第１のユーザインタフェースオブジェクトを含む、第１の仮想コンテンツとを同時に含む前記三次元環境のビューを表示し、
前記三次元環境のビューを表示している間、前記物理的環境の前記第１の部分内の第１のロケーションであって、前記第１の物理的表面と前記三次元環境の前記ビューに対応する視点との間にある第１のロケーションにおいてユーザの部分を検出し、
前記物理的環境の前記第１の部分内の前記第１のロケーションにおいて前記ユーザの前記部分を検出したことに応じて、前記ユーザの前記部分の表現が前記第１のユーザインタフェースオブジェクトの第１の部分を以前に表示したポジションに見えるように、前記第１のユーザインタフェースオブジェクトの第２の部分の表示を維持しながら、前記第１のユーザインタフェースオブジェクトの前記第１の部分の表示を停止し、
前記三次元環境の前記ビューを表示している間、前記物理的環境の前記第１の部分内の前記第１のロケーションから第２のロケーションであって、前記第１の物理的表面と前記三次元環境の前記ビューに対応する前記視点との間にある第２のロケーションへの前記ユーザの前記部分の動きを検出し、
前記ユーザの前記部分の前記第１のロケーションから前記第２のロケーションへの前記動きの検出に応じて、前記ユーザの前記部分の前記表現が前記第１のユーザインタフェースオブジェクトの前記第２の部分を以前に表示したポジションに見えるように、前記第１のユーザインタフェースオブジェクトの前記第１の部分の表示を復元し、前記第１のユーザインタフェースオブジェクトの前記第２の部分の表示を停止する命令を含む、コンピュータシステム。 - １つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、第１の表示生成構成要素及び１つ以上の入力デバイスを含むコンピュータシステムによって実行されると、前記コンピュータシステムに、
前記第１の表示生成構成要素を介して第１の物理的表面を含む、物理的環境の第１の部分の表現と、第１の仮想コンテンツであって、前記第１の仮想コンテンツが、前記物理的環境の前記第１の部分内の前記第１の物理的表面のポジションに対応する三次元環境内のポジションに表示される第１のユーザインタフェースオブジェクトを含む、第１の仮想コンテンツとを同時に含む前記三次元環境のビューを表示させ、
前記三次元環境のビューを表示している間、前記物理的環境の前記第１の部分内の第１のロケーションであって、前記第１の物理的表面と前記三次元環境の前記ビューに対応する視点との間にある第１のロケーションにおいてユーザの部分を検出させ、
前記物理的環境の前記第１の部分内の前記第１のロケーションにおいて前記ユーザの前記部分を検出したことに応じて、前記ユーザの前記部分の表現が前記第１のユーザインタフェースオブジェクトの第１の部分を以前に表示したポジションに見えるように、前記第１のユーザインタフェースオブジェクトの第２の部分の表示を維持しながら、前記第１のユーザインタフェースオブジェクトの前記第１の部分の表示を停止させ、
前記三次元環境の前記ビューを表示している間、前記物理的環境の前記第１の部分内の前記第１のロケーションから第２のロケーションであって、前記第１の物理的表面と前記三次元環境の前記ビューに対応する前記視点との間にある第２のロケーションへの前記ユーザの前記部分の動きを検出させ、
前記ユーザの前記部分の前記第１のロケーションから前記第２のロケーションへの前記動きの検出に応じて、前記ユーザの前記部分の前記表現が前記第１のユーザインタフェースオブジェクトの前記第２の部分を以前に表示したロケーションに見えるように、前記第１のユーザインタフェースオブジェクトの前記第１の部分の表示を復元させ、前記第１のユーザインタフェースオブジェクトの前記第２の部分の表示を停止させる、命令を含む、コンピュータ可読記憶媒体。 - コンピュータシステムであって、
第１の表示生成構成要素と、
１つ以上の入力デバイスと、
前記第１の表示生成構成要素を介して、停止第１の物理的表面を含む、物理的環境の第１の部分の表現と第１の仮想コンテンツであって、前記第１の仮想コンテンツが、前記物理的環境の前記第１の部分内の前記第１の物理的表面のロケーションに対応する三次元環境内のポジションに表示される第１のユーザインタフェースオブジェクトを含む、第１の仮想コンテンツとを同時に含む前記三次元環境のビュー表示する手段と、
前記三次元環境のビューを表示している間に可能にされる手段であって、前記物理的環境の前記第１の部分内の第１のロケーションであって、前記第１の物理的表面と前記三次元環境の前記ビューに対応する視点との間にある第１のロケーションにおいてユーザの部分を検出する手段と、
前記物理的環境の前記第１の部分内の前記第１のロケーションにおいて前記ユーザの前記部分を検出したことに応じて可能にされる手段であって、前記ユーザの前記部分の表現が前記第１のユーザインタフェースオブジェクトの第１の部分を以前に表示したポジションに見えるように、前記第１のユーザインタフェースオブジェクトの第２の部分の表示を維持しながら、前記第１のユーザインタフェースオブジェクトの前記第１の部分の表示をする手段と、
前記三次元環境の前記ビューを表示している間に可能にされる手段であって、前記物理的環境の前記第１の部分内の前記第１のロケーションから第２のロケーションであって、前記第１の物理的表面と前記三次元環境の前記ビューに対応する前記視点との間にある第２のロケーションへの前記ユーザの前記部分の動きを検出する手段と、
前記ユーザの前記部分の前記第１のロケーションから前記第２のロケーションへの前記動きの検出に応じて可能にされる手段であって、前記ユーザの前記部分の前記表現が前記第１のユーザインタフェースオブジェクトの前記第２の部分を以前に表示したポジションに見えるように、前記第１のユーザインタフェースオブジェクトの前記第１の部分の表示を復元し、前記第１のユーザインタフェースオブジェクトの前記第２の部分の表示を停止する手段と、を備える、コンピュータシステム。 - 第１の表示生成構成要素と１つ以上の入力デバイスとを含むコンピュータシステムにおいて使用される情報処理装置であって、
前記第１の表示生成構成要素を介して、第１の物理的表面を含む、物理的環境の第１の部分の表現と第１の仮想コンテンツであって、前記第１の仮想コンテンツが、前記物理的環境の前記第１の部分内の前記第１の物理的表面のロケーションに対応する三次元環境内のポジションに表示される第１のユーザインタフェースオブジェクトを含む、第１の仮想コンテンツとを同時に含む前記三次元環境のビューを表示する手段と、
前記三次元環境のビューを表示している間に可能にされる手段であって、前記物理的環境の前記第１の部分内の第１のロケーションであって、前記第１の物理的表面と前記三次元環境の前記ビューに対応する視点との間にある第１のロケーションにおいてユーザの部分を検出する手段と、
前記物理的環境の前記第１の部分内の前記第１のロケーションにおいて前記ユーザの前記部分を検出したことに応じて可能にされる手段であって、前記ユーザの前記部分の表現が前記第１のユーザインタフェースオブジェクトの第１の部分を以前に表示したポジションに見えるように、前記第１のユーザインタフェースオブジェクトの第２の部分の表示を維持しながら、前記第１のユーザインタフェースオブジェクトの前記第１の部分の表示を停止する手段と、
前記三次元環境の前記ビューを表示している間に可能にされる手段であって、前記物理的環境の前記第１の部分内の前記第１のロケーションから第２のロケーションであって、前記第１の物理的表面と前記三次元環境の前記ビューに対応する前記視点との間にある第２のロケーションへの前記ユーザの前記部分の動きを検出する手段と、
前記ユーザの前記部分の前記第１のロケーションから前記第２のロケーションへの前記動きの検出に応じて可能にされる手段であって、前記ユーザの前記部分の前記表現が前記第１のユーザインタフェースオブジェクトの前記第２の部分を以前に表示したポジションに見えるように、前記第１のユーザインタフェースオブジェクトの前記第１の部分の表示を復元し、前記第１のユーザインタフェースオブジェクトの前記第２の部分の表示を停止する手段と、を備える、情報処理装置。 - コンピュータシステムであって、
第１の表示生成構成要素と、
１つ以上の入力デバイスと、
１つ以上のプロセッサと、
１つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項７２から８０のいずれか一項に記載の方法を実行する命令を含んでいる、コンピュータシステム。 - １つ以上のプログラムを記憶するコンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、第１の表示生成構成要素及び１つ以上の入力デバイスを含むコンピュータシステムによって実行されると、前記コンピュータシステムに請求項７２から８０のいずれか一項に記載の方法を実行させる命令を含む、コンピュータ可読記憶媒体。
- 第１の表示生成構成要素と、１つ以上の入力デバイスと、メモリと、前記メモリに記憶された１つ以上のプログラムを実行するための１つ以上のプロセッサとを含むコンピュータシステム上のグラフィカルユーザインタフェースであって、請求項７２から８０のいずれか一項に記載の方法に従って表示されるユーザインタフェースを含む、グラフィカルユーザインタフェース。
- コンピュータシステムであって、
第１の表示生成構成要素と、
１つ以上の入力デバイスと、
請求項７２から８０のいずれか一項に記載の方法を実行する手段と、を備える、コンピュータシステム。 - 第１の表示生成構成要素と１つ以上の入力デバイスとを含むコンピュータシステムにおいて使用される情報処理装置であって、
請求項７２から８０のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063082933P | 2020-09-24 | 2020-09-24 | |
| US63/082,933 | 2020-09-24 | ||
| US17/483,722 US11615596B2 (en) | 2020-09-24 | 2021-09-23 | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| US17/483,722 | 2021-09-23 | ||
| PCT/US2021/052016 WO2022067075A1 (en) | 2020-09-24 | 2021-09-24 | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023542847A true JP2023542847A (ja) | 2023-10-12 |
Family
ID=80740702
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023515649A Pending JP2023542847A (ja) | 2020-09-24 | 2021-09-24 | 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース |
Country Status (6)
| Country | Link |
|---|---|
| US (2) | US11615596B2 (ja) |
| EP (1) | EP4196867A1 (ja) |
| JP (1) | JP2023542847A (ja) |
| KR (1) | KR20230048554A (ja) |
| CN (2) | CN116348837A (ja) |
| WO (1) | WO2022067075A1 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9332285B1 (en) * | 2014-05-28 | 2016-05-03 | Lucasfilm Entertainment Company Ltd. | Switching modes of a media content item |
| CN113678191A (zh) * | 2019-03-29 | 2021-11-19 | 索尼互动娱乐股份有限公司 | 边界显示控制设备，边界显示控制方法和程序 |
| US11340756B2 (en) | 2019-09-27 | 2022-05-24 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| US11830119B1 (en) * | 2020-05-29 | 2023-11-28 | Apple Inc. | Modifying an environment based on sound |
| US11567625B2 (en) | 2020-09-24 | 2023-01-31 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| KR20220058698A (ko) * | 2020-10-29 | 2022-05-10 | 삼성디스플레이 주식회사 | 전자 장치 |
| US20230113125A1 (en) * | 2021-10-08 | 2023-04-13 | Jpmorgan Chase Bank, N.A. | Systems and methods for dynamic detection and presentation of obscured real-world objects in augmented or mixed reality virtual content |
| JP2024034133A (ja) * | 2022-08-31 | 2024-03-13 | 株式会社Ｊｖｃケンウッド | 提供装置および提供方法 |
| WO2024063786A1 (en) * | 2022-09-21 | 2024-03-28 | Apple Inc. | Devices, methods, and graphical user interfaces for displaying shadow and light effects in three-dimensional environments |
| US20240104843A1 (en) * | 2022-09-23 | 2024-03-28 | Apple Inc. | Methods for depth conflict mitigation in a three-dimensional environment |
Family Cites Families (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5528735A (en) | 1993-03-23 | 1996-06-18 | Silicon Graphics Inc. | Method and apparatus for displaying data within a three-dimensional information landscape |
| US6480210B1 (en) | 1999-06-30 | 2002-11-12 | Koninklijke Philips Electronics N.V. | Video browsing space |
| JP2002073246A (ja) | 2000-08-25 | 2002-03-12 | Minolta Co Ltd | 映像表示システム |
| US20100241525A1 (en) | 2009-03-18 | 2010-09-23 | Microsoft Corporation | Immersive virtual commerce |
| US8405680B1 (en) | 2010-04-19 | 2013-03-26 | YDreams S.A., A Public Limited Liability Company | Various methods and apparatuses for achieving augmented reality |
| US9075434B2 (en) | 2010-08-20 | 2015-07-07 | Microsoft Technology Licensing, Llc | Translating user motion into multiple object responses |
| JP2012155655A (ja) | 2011-01-28 | 2012-08-16 | Sony Corp | 情報処理装置、報知方法及びプログラム |
| KR101896947B1 (ko) | 2011-02-23 | 2018-10-31 | 엘지이노텍 주식회사 | 제스쳐를 이용한 입력 장치 및 방법 |
| US20120254791A1 (en) | 2011-03-31 | 2012-10-04 | Apple Inc. | Interactive menu elements in a virtual three-dimensional space |
| US9323325B2 (en) | 2011-08-30 | 2016-04-26 | Microsoft Technology Licensing, Llc | Enhancing an object of interest in a see-through, mixed reality display device |
| EP2856284B1 (en) | 2012-05-30 | 2017-10-04 | Kopin Corporation | Head-worn computer with improved virtual display function |
| EP2879022A4 (en) | 2012-07-27 | 2016-03-23 | Nec Solution Innovators Ltd | THREE-DIMENSIONAL USER INTERFACE DEVICE AND THREE-DIMENSIONAL OPERATING PROCESS |
| US20140282220A1 (en) | 2013-03-14 | 2014-09-18 | Tim Wantland | Presenting object models in augmented reality images |
| US9741169B1 (en) | 2014-05-20 | 2017-08-22 | Leap Motion, Inc. | Wearable augmented reality devices with object detection and tracking |
| US9690374B2 (en) | 2015-04-27 | 2017-06-27 | Google Inc. | Virtual/augmented reality transition system and method |
| US10620437B2 (en) * | 2016-05-25 | 2020-04-14 | Lenovo (Singapore) Pte. Ltd. | Systems and methods for presentation of images from camera concurrently with presentation of virtual reality content |
| US9906885B2 (en) * | 2016-07-15 | 2018-02-27 | Qualcomm Incorporated | Methods and systems for inserting virtual sounds into an environment |
| US20180095636A1 (en) | 2016-10-04 | 2018-04-05 | Facebook, Inc. | Controls and Interfaces for User Interactions in Virtual Spaces |
| US10262036B2 (en) | 2016-12-29 | 2019-04-16 | Microsoft Technology Licensing, Llc | Replacing pronouns with focus-specific objects in search queries |
| US10261595B1 (en) | 2017-05-19 | 2019-04-16 | Facebook Technologies, Llc | High resolution tracking and response to hand gestures through three dimensions |
| US10304239B2 (en) | 2017-07-20 | 2019-05-28 | Qualcomm Incorporated | Extended reality virtual assistant |
| US10262446B2 (en) * | 2017-07-26 | 2019-04-16 | Lenovo (Singapore) Pte. Ltd. | Systems and methods to alter presentation of virtual rendition based on real world object |
| DK180470B1 (en) | 2017-08-31 | 2021-05-06 | Apple Inc | Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments |
| JP7029526B2 (ja) | 2017-09-29 | 2022-03-03 | アップル インコーポレイテッド | 物理的境界監視器 |
| CN107992814A (zh) | 2017-11-28 | 2018-05-04 | 北京小米移动软件有限公司 | 对象寻找方法及装置 |
| CN112105983B (zh) * | 2018-05-08 | 2023-07-07 | 苹果公司 | 增强的视觉能力 |
| US11709541B2 (en) * | 2018-05-08 | 2023-07-25 | Apple Inc. | Techniques for switching between immersion levels |
| US11494988B2 (en) | 2018-05-22 | 2022-11-08 | Agilent Technologies, Inc. | Method and system for implementing augmented reality (AR)-based assistance within work environment |
| EP3584695B1 (en) * | 2018-06-20 | 2022-08-10 | Nokia Technologies Oy | An apparatus and associated methods for presentation of first and second virtual-or-augmented reality content |
| US10607083B2 (en) * | 2018-07-19 | 2020-03-31 | Microsoft Technology Licensing, Llc | Selectively alerting users of real objects in a virtual environment |
| US10740918B2 (en) | 2018-09-12 | 2020-08-11 | Dell Products, L.P. | Adaptive simultaneous localization and mapping (SLAM) using world-facing cameras in virtual, augmented, and mixed reality (xR) applications |
| US11032532B2 (en) * | 2018-10-04 | 2021-06-08 | Samsung Electronics Co., Ltd. | Electronic device and method for providing virtual device via at least portion of content |
| US10725308B1 (en) * | 2018-10-08 | 2020-07-28 | Facebook Technologies, Llc | Dynamic attenuator for combining real world and virtual content |
| EP3693846A1 (en) * | 2019-02-06 | 2020-08-12 | Nokia Technologies Oy | An apparatus, method or computer program for rendering sound scenes defined by spatial audio content to a user |
| US11086475B1 (en) | 2019-06-07 | 2021-08-10 | Facebook Technologies, Llc | Artificial reality systems with hand gesture-contained content window |
| US11231827B2 (en) * | 2019-08-03 | 2022-01-25 | Qualcomm Incorporated | Computing device and extended reality integration |
| US11340756B2 (en) | 2019-09-27 | 2022-05-24 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
| US11861674B1 (en) | 2019-10-18 | 2024-01-02 | Meta Platforms Technologies, Llc | Method, one or more computer-readable non-transitory storage media, and a system for generating comprehensive information for products of interest by assistant systems |
| US20210233341A1 (en) * | 2020-01-23 | 2021-07-29 | Eric Hayes | Digital identification validation system |
| US11436828B1 (en) | 2020-06-02 | 2022-09-06 | State Farm Mutual Automobile Insurance Company | Insurance inventory and claim generation |
| US11567625B2 (en) | 2020-09-24 | 2023-01-31 | Apple Inc. | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
-
2021
- 2021-09-23 US US17/483,722 patent/US11615596B2/en active Active
- 2021-09-24 EP EP21799406.0A patent/EP4196867A1/en active Pending
- 2021-09-24 KR KR1020237008878A patent/KR20230048554A/ko active Search and Examination
- 2021-09-24 CN CN202180065408.5A patent/CN116348837A/zh active Pending
- 2021-09-24 WO PCT/US2021/052016 patent/WO2022067075A1/en unknown
- 2021-09-24 CN CN202310732253.7A patent/CN117008720A/zh active Pending
- 2021-09-24 JP JP2023515649A patent/JP2023542847A/ja active Pending
-
2023
- 2023-02-08 US US18/107,375 patent/US20230186578A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022067075A1 (en) | 2022-03-31 |
| CN116348837A (zh) | 2023-06-27 |
| US11615596B2 (en) | 2023-03-28 |
| KR20230048554A (ko) | 2023-04-11 |
| CN117008720A (zh) | 2023-11-07 |
| US20230186578A1 (en) | 2023-06-15 |
| EP4196867A1 (en) | 2023-06-21 |
| US20220092862A1 (en) | 2022-03-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11768579B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US11615596B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| AU2020356572B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US11900527B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US11615597B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US11567625B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US11934569B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| US20230343049A1 (en) | Obstructed objects in a three-dimensional environment | |
| US20230092874A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| CN117957581A (en) | Apparatus, method and graphical user interface for interacting with a three-dimensional environment | |
| WO2023049111A1 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230308 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230308 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240325 |