JP2023542234A - ユーザインタフェースに関連付けられた没入感を調整及び／又は制御する方法 - Google Patents
ユーザインタフェースに関連付けられた没入感を調整及び／又は制御する方法 Download PDFInfo
- Publication number
- JP2023542234A JP2023542234A JP2023518857A JP2023518857A JP2023542234A JP 2023542234 A JP2023542234 A JP 2023542234A JP 2023518857 A JP2023518857 A JP 2023518857A JP 2023518857 A JP2023518857 A JP 2023518857A JP 2023542234 A JP2023542234 A JP 2023542234A
- Authority
- JP
- Japan
- Prior art keywords
- user interface
- electronic device
- user
- discrete
- immersion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007654 immersion Methods 0.000 title claims abstract description 875
- 238000000034 method Methods 0.000 title claims description 313
- 230000004044 response Effects 0.000 claims description 124
- 230000003993 interaction Effects 0.000 claims description 87
- 230000033001 locomotion Effects 0.000 claims description 81
- 230000008859 change Effects 0.000 claims description 52
- 238000003860 storage Methods 0.000 claims description 39
- 238000004891 communication Methods 0.000 claims description 36
- 230000000007 visual effect Effects 0.000 claims description 31
- 230000000694 effects Effects 0.000 claims description 20
- 230000001953 sensory effect Effects 0.000 claims description 14
- 230000002829 reductive effect Effects 0.000 claims description 8
- 230000014509 gene expression Effects 0.000 claims description 4
- 230000010365 information processing Effects 0.000 claims 30
- 230000008569 process Effects 0.000 description 21
- 230000003190 augmentative effect Effects 0.000 description 20
- 210000004247 hand Anatomy 0.000 description 20
- 238000012545 processing Methods 0.000 description 19
- 230000007423 decrease Effects 0.000 description 16
- 210000003128 head Anatomy 0.000 description 13
- 238000001514 detection method Methods 0.000 description 12
- 230000003287 optical effect Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 230000007704 transition Effects 0.000 description 9
- 230000003247 decreasing effect Effects 0.000 description 7
- 230000002093 peripheral effect Effects 0.000 description 7
- 230000035807 sensation Effects 0.000 description 7
- 235000019615 sensations Nutrition 0.000 description 7
- -1 802.3x Chemical compound 0.000 description 6
- 210000003811 finger Anatomy 0.000 description 6
- 241000699670 Mus sp. Species 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000005259 measurement Methods 0.000 description 5
- 238000005282 brightening Methods 0.000 description 4
- 238000005034 decoration Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000000670 limiting effect Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 238000003825 pressing Methods 0.000 description 4
- 210000000707 wrist Anatomy 0.000 description 4
- 208000027418 Wounds and injury Diseases 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 230000006378 damage Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 208000014674 injury Diseases 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- UGFAIRIUMAVXCW-UHFFFAOYSA-N Carbon monoxide Chemical compound [O+]#[C-] UGFAIRIUMAVXCW-UHFFFAOYSA-N 0.000 description 2
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 229910002091 carbon monoxide Inorganic materials 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- PEDCQBHIVMGVHV-UHFFFAOYSA-N Glycerine Chemical compound OCC(O)CO PEDCQBHIVMGVHV-UHFFFAOYSA-N 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000008933 bodily movement Effects 0.000 description 1
- 229910052799 carbon Inorganic materials 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 239000002772 conduction electron Substances 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000010255 response to auditory stimulus Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
いくつかの実施形態では、電子デバイスは、ユーザの視線に基づいてユーザインタフェースを強調表示する、及び／又は非強調表示する。いくつかの実施形態では、電子デバイスは、異なるユーザインタフェースの没入感レベルを互いに独立して定義する。いくつかの実施形態では、電子デバイスは、ユーザインタフェースに関連付けられた没入感レベルを（例えば、一時的に）低減した後に、以前に表示された没入感レベルでユーザインタフェースの表示を再開する。いくつかの実施形態では、電子デバイスは、環境のオブジェクト、人々、及び／又は部分が、電子デバイスによって表示されたユーザインタフェースを通して見えるようにする。いくつかの実施形態では、電子デバイスは、電子デバイスの特性及び／又は電子デバイスの物理的環境に基づいて、ユーザインタフェースに関連付けられた没入感レベルを低減する。
Description
本出願は、２０２０年９月２５日出願の米国特許仮出願第６３／０８３，７９２号の利益を主張し、その出願の内容は、その全体があらゆる目的のために参照により本明細書に組み込まれる。
これは、一般に、表示生成コンポーネントと、表示生成コンポーネントを介して、仮想オブジェクトを含む三次元環境を提示する電子デバイスを含むがこれに限定されないグラフィカルユーザインタフェースを提示する１つ以上の入力デバイスと、を有するコンピュータシステムに関する。
拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は強化する少なくともいくつかの仮想要素を含む。コンピュータシステム及び他の電子コンピューティングデバイス用のカメラ、コントローラ、ジョイスティック、タッチ感知面、及びタッチスクリーンディスプレイなどの入力デバイスが、仮想／拡張現実環境と相互作用するために使用される。例示的な仮想要素は、デジタル画像、ビデオ、テキスト、アイコン、並びにボタン及びその他のグラフィックなどの制御要素を含む仮想オブジェクトを含む。
しかし、少なくともいくつかの仮想要素を含む環境（例えばアプリケーション、拡張現実環境、複合現実環境、及び仮想現実環境）と相互作用する方法及びインタフェースは、煩雑で、非効率で、限定されたものである。例えば、仮想オブジェクトに関連付けられたアクションを実行するのに不十分なフィードバックしか提供しないシステム、拡張現実環境において所望の結果を達成するために一連の入力を必要とするシステム、及び仮想オブジェクトの操作が複雑で、エラーを起こしやすいシステムは、ユーザに対して大きな認知負担を引き起こしし、仮想／拡張現実環境での体験を損なう。加えて、それらの方法は必要以上に時間がかかり、それによってエネルギを浪費する。この後者の考慮事項は、バッテリ動作式デバイスにおいて特に重要である。
したがって、コンピュータシステムとの相互作用をユーザにとってより効率的かつ直感的にするコンピュータ生成体験をユーザに提供するための改善された方法及びインタフェースを有するコンピュータシステムが必要とされている。このような方法及びインタフェースは、ユーザにコンピュータ生成現実体験を提供する従来の方法を補完又は置換することができる。このような方法及びインタフェースは、提供された入力とその入力に対するデバイス応答との間の接続をユーザが理解することを補助することにより、ユーザからの入力の数、程度及び／又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを生成する。
表示生成コンポーネント及び１つ以上の入力デバイスを有するコンピュータシステムのためのユーザインタフェースに関連する上記の欠陥及び他の問題は、開示されたシステムによって低減又は排除される。いくつかの実施形態では、コンピュータシステムは、関連付けられたディスプレイを備えたデスクトップコンピュータである。いくつかの実施形態では、コンピュータシステムは、ポータブルデバイスである（例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである）。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス（例えば腕時計やヘッドマウントデバイスなどのウェアラブル電子デバイス）である。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のカメラを有する。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる）を有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のアイトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のハンドトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネントに加えて１つ以上の出力デバイスを有し、出力デバイスは、１つ以上の触知出力ジェネレータ及び１つ以上のオーディオ出力デバイスを含む。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザインタフェース（ＧＵＩ）、１つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された１つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、タッチ感知面上のスタイラス及び／又は指の接触及びジェスチャ、カメラ及び他の移動センサによってキャプチャされたときのＧＵＩ又はユーザの身体に対する空間内のユーザの目及び手の移動、並びに１つ以上のオーディオ入力デバイスによってキャプチャされたときの音声入力を通じてＧＵＩと相互作用する。いくつかの実施形態では、相互作用を通じて実行される機能は、任意選択的に、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、メモ取り、及び／又はデジタルビデオの再生を含む。それらの機能を実行する実行可能命令は任意選択で、非一時的コンピュータ可読記憶媒体又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
ユーザインタフェースに関連付けられた没入感を調整及び／又は制御するための改善された方法及びインタフェースを有する電子デバイスが必要とされている。そのような方法及びインタフェースは、三次元環境でユーザインタフェースを表示するための従来の方法を補完又は置換することができる。そのような方法及びインタフェースは、ユーザからの入力の数、程度、及び／又は種類を削減し、より効率的なヒューマンマシンインタフェースを生成する。
いくつかの実施形態では、電子デバイスは、ユーザの視線に基づいてユーザインタフェースを強調表示する、及び／又は非強調表示する。いくつかの実施形態では、電子デバイスは、異なるユーザインタフェースの没入感レベルを互いに独立して定義する。いくつかの実施形態では、電子デバイスは、ユーザインタフェースに関連付けられた没入感レベルを（例えば、一時的に）低減した後に、以前に表示された没入感レベルでユーザインタフェースの表示を再開する。いくつかの実施形態では、電子デバイスは、環境のオブジェクト、人々、及び／又は部分が、電子デバイスによって表示されたユーザインタフェースを通して見えるようにする。いくつかの実施形態では、電子デバイスは、電子デバイスの特性及び／又は電子デバイスの物理的環境に基づいて、ユーザインタフェースに関連付けられた没入感レベルを低減する。
前述の様々な実施形態は、本明細書に記載の任意の他の実施形態と組み合わせることができることに留意されたい。本明細書で説明する機能及び利点は、包括的なものではなく、特に、図面、明細書及び特許請求の範囲を鑑みると、多くの追加の機能及び利点が当業者には明らかになるであろう。更に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を画定又は制限するために選択されたものではないことに留意されたい。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
本開示は、いくつかの実施形態による、コンピュータ生成現実（ＣＧＲ）体験をユーザに提供するユーザインタフェースに関する。
本明細書で説明するシステム、方法、及びＧＵＩは、電子デバイスがユーザインタフェースに関連付けられた没入感レベルを調整及び／又は制御するための改善された方法を提供する。
いくつかの実施形態では、ユーザの視線が第１のユーザインタフェースに向けられていることを、システムが検出したとき、コンピュータシステムは、第１のユーザインタフェースに対して第２のユーザインタフェースを非強調表示する。いくつかの実施形態では、第１のユーザインタフェースが、アプリケーションの特定のタイプ（例えば、メディアプレーヤアプリケーション）のユーザインタフェースであるとき、システムは、そのような非強調表示を実行する。いくつかの実施形態では、第２のユーザインタフェースは、システムによって、又はシステムの物理的環境の部分によって表示される仮想要素のうちの１つ以上の表現を含む。第２のユーザインタフェースを非強調表示することにより、ユーザは、第１のユーザインタフェースの外側のコンテンツによって気を散らされることなく、第１のユーザインタフェースに集中することができる。
いくつかの実施形態では、コンピュータシステムは、異なるユーザインタフェースに対する没入感レベルを互いに独立して定義する。システムが（例えば、オペレーティングシステムの、第１のアプリケーションの）第１のユーザインタフェースを表示する没入感レベルの変更は、任意選択的に、システムが（例えば、第２のアプリケーションの）第２のユーザインタフェースを表示する没入感レベルに影響を及ぼさない。いくつかの実施形態では、没入感は、コンピュータシステムに関連付けられた機械的入力要素（例えば、回転可能入力要素）の操作を介して制御され、機械的入力要素における入力の方向及び／又は大きさは、没入感レベルの変更の大きさ及び／又は方向を定義する。没入感レベルは、任意選択的に、問題のユーザインタフェース以外のコンテンツ（例えば、システムの物理的環境の表現、ユーザインタフェース外の仮想要素など）がディスプレイを介して見える程度を定義する。独立して制御された没入感レベルを提供すること、並びに／あるいは入力の大きさ及び／又は方向に従ってそれを行うことは、様々なユーザインタフェースのための一貫して予想される表示挙動をユーザに提供し、結果としてそのようなユーザインタフェースとの相互作用のエラーを低減する。
いくつかの実施形態では、コンピュータシステムは、ユーザインタフェースに関連付けられた没入感レベルを（例えば、一時的に）低減した後に、以前に表示された没入感レベルでユーザインタフェースの表示を再開する。コンピュータシステムは、任意選択的に、個別のユーザインタフェースを表示した没入感レベルを低減するためのイベントを検出し、イベントに応答して没入感レベルを低減する。その後、以前に表示された没入感レベルで個別のユーザインタフェースを再表示する要求に対応するイベントを検出したことに応答して、システムは、任意選択的に、以前に表示された没入感レベルで個別のユーザインタフェースの表示を再開する。いくつかの実施形態では、没入感レベルを低減するイベントは、没入感を制御するために使用される機械的入力要素上の押圧入力を検出することを含み、以前の没入感レベルを再開するイベントは、没入感を制御するために使用される機械的入力要素の解放を検出することを含む。その以前の没入感レベルでユーザインタフェースの表示を再開することは、戻るべき特定の没入感レベルを定義するユーザ入力を必要とせずに、以前の有効な没入感レベルに戻る迅速で効率的な方法を提供し、これはまた、戻るべき誤った没入感レベルを定義する誤ったユーザ入力を回避する。
いくつかの実施形態では、コンピュータシステムは、環境のオブジェクト、人々、及び／又は部分が、システムによって表示されたユーザインタフェースを通して見えるようにする。システムの環境内の人々の表現は、任意選択的に、ユーザと人々との距離及び／又は人々の注意（例えば、注意がユーザに向けられているか否か）に基づいて、ユーザインタフェースを通して見えるようにされる。システムの環境内のオブジェクトの表現は、任意選択的に、ユーザとオブジェクトとの距離及び／又はユーザに向かうオブジェクトの判定されたリスクレベル（例えば、オブジェクト（単数又は複数）がユーザにリスクをもたらすか否か）に基づいて、ユーザインタフェースを通して見えるようにされる。システムの物理的環境の表現を、ユーザインタフェースを通して見えるようにすることは、ユーザが物理的環境内の危険を回避するために役立ち、環境内の人々との相互作用を容易にし、それをするためにユーザからの別個の入力を必要としない。
いくつかの実施形態では、コンピュータシステムは、システムの特性及び／又はシステムの物理的環境に基づいて、ユーザインタフェースに関連付けられた没入感レベルを低減する。コンピュータシステムが、速度閾値を上回る速度で移動していると判定した場合、システムは、任意選択的に、システムのユーザがシステムを介して物理的環境を見ることができるように、ユーザインタフェース（単数又は複数）を表示している没入感レベルを低減する。コンピュータシステムが、潜在的な危険に関連付けられた音がシステムの環境内で検出されたと判定した場合、システムのユーザが、システムを介して物理的環境を見ることができるように、システムは、任意選択的に、ユーザインタフェース（単数又は複数）を表示している没入感レベルを低減する。説明したように没入感レベルを低減することは、システムのユーザが物理的環境を見ることを可能にする迅速で効率的な方法を提供し、それをするためにユーザからの別個の入力を必要としない。
図１～図６は、ＣＧＲ体験をユーザに提供するための（方法８００、１０００、１２００、１４００、及び１６００を参照して以下に説明されるような）例示的なコンピュータシステムの説明を提供する。いくつかの実施形態では、図１に示されるように、ＣＧＲ体験は、コンピュータシステム１０１を含む動作環境１００を介してユーザに提供される。コンピュータシステム１０１は、コントローラ１１０（例えば、ポータブル電子デバイス又はリモートサーバのプロセッサ）と、表示生成コンポーネント１２０（例えば、ヘッドマウントデバイス（ＨＭＤ）、ディスプレイ、プロジェクタ、タッチスクリーンなど）と、１つ以上の入力デバイス１２５（例えば、アイトラッキングデバイス１３０、ハンドトラッキングデバイス１４０、他の入力デバイス１５０）と、１つ以上の出力デバイス１５５（例えば、スピーカ１６０、触知出力ジェネレータ１７０、及び他の出力デバイス１８０）と、１つ以上のセンサ１９０（例えば、画像センサ、光センサ、深度センサ、触覚センサ、配向センサ、近接センサ、温度センサ、位置センサ、運動センサ、速度センサなど）と、任意選択的に１つ以上の周辺デバイス１９５（例えば、家電製品、ウェアラブルデバイスなど）と、を含む。いくつかの実施形態では、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び周辺デバイス１９５のうちの１つ以上は、（例えば、ヘッドマウントデバイス又はハンドヘルドデバイス内で）表示生成コンポーネント１２０と統合される。
ＣＧＲ体験を説明するとき、ユーザが感知する、及び／又は（例えば、ＣＧＲ体験を生成するコンピュータシステムに、ＣＧＲ体験を生成するコンピュータシステム１０１に提供される様々な入力に対応するオーディオ、視覚、及び／又は触覚フィードバックを生成させる、コンピュータシステム１０１によって検出された入力を用いて）ユーザが相互作用することができる、いくつかの関連するが、別個の環境に個別的に言及するために様々な用語が使用される。以下は、これらの用語のサブセットである。
物理的環境：物理的環境とは、人々が電子システムの助けなしに、感知及び／又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び嗅覚などを介して、物理的環境を直接感知し、及び／又はそれと相互作用することができる。
コンピュータ生成現実：対照的に、コンピュータ生成現実（ＣＧＲ）環境とは、人々が電子システムを介して感知及び／又は相互作用する、全体的又は部分的に模倣された環境を指す。ＣＧＲでは、人物の身体運動のサブセット又はその表現が追跡され、それに応答して、ＣＧＲ環境内でシミュレートされた１つ以上の仮想オブジェクトの１つ以上の特性が、少なくとも１つの物理学の法則でふるまうように調節される。例えば、ＣＧＲシステムは、人物の頭部の回転を検出し、それに応答して、そのようなビュー及び音が物理的環境においてどのように変化するかと同様の方法で、人物に提示されるグラフィックコンテンツ及び音場を調節することができる。状況によっては（例えば、アクセス性の理由から）、ＣＧＲ環境における仮想オブジェクト（単数又は複数）の特性（単数又は複数）に対する調節は、身体運動の表現（例えば、音声コマンド）に応答して行われてもよい。人物は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか１つを使用して、ＣＧＲオブジェクトを感知し、かつ／又はＣＧＲオブジェクトと相互作用してもよい。例えば、人物は、３Ｄ空間において点音源の知覚を提供する、３Ｄ又は空間的広がりを有するオーディオ環境を作り出すオーディオオブジェクトを感知し、かつ／又はそれと相互作用することができる。別の例では、オーディオオブジェクトによって、コンピュータ生成オーディオを含めて、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性が可能になり得る。いくつかのＣＧＲ環境では、人物は、オーディオオブジェクトのみを感知し、かつ／又はそれと相互作用してもよい。
ＣＧＲの例としては、仮想現実及び複合現実が挙げられる。
仮想現実：仮想現実（ＶＲ）環境とは、１つ以上の感覚について、コンピュータ生成感覚入力に全面的に基づくように設計された模倣環境を指す。ＶＲ環境は、人物が感知かつ／又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人物は、コンピュータ生成環境内に人物が存在することのシミュレーションを通じて、かつ／又はコンピュータ生成環境内での人物の身体運動のサブセットのシミュレーションを通じて、ＶＲ環境における仮想オブジェクトを感知し、かつ／又はそれと相互作用することができる。
複合現実：複合現実（ＭＲ）環境とは、コンピュータ生成感覚入力に全面的に基づくように設計されたＶＲ環境とは対照的に、コンピュータ生成感覚入力（例えば、仮想オブジェクト）を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計された模倣環境を指す。仮想の連続体上では、複合現実環境は、一方の端部における完全な物理的環境と、他方の端部における仮想現実環境との間であるがこれらを含まない、任意の場所である。いくつかのＭＲ環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変更に応答し得る。また、ＭＲ環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト（即ち、物理的環境からの物理的物品又はその表現）と相互作用することを可能にするために、物理的環境に対する位置及び／又は配向を追跡してもよい。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、動きを考慮することができる。
複合現実の例としては、拡張現実及び拡張仮想が挙げられる。
拡張現実：拡張現実（ＡＲ）環境とは、１つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ねられた模倣環境を指す。例えば、ＡＲ環境を提示するための電子システムは、人物が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイに仮想オブジェクトを提示するように構成されていてもよく、それによって、人物はシステムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又はビデオをキャプチャする１つ以上の撮像センサとを有してもよい。システムは、画像又はビデオを仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人物はこのシステムを使用して、物理的環境を、物理的環境の画像又はビデオによって間接的に見て、物理的環境に重ね合わされた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境のビデオは、「パススルービデオ」と呼ばれ、システムが、１つ以上の画像センサ（単数又は複数）を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にＡＲ環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムが仮想オブジェクトを、例えば、ホログラムとして物理的環境の中に、又は物理的表面に投影するプロジェクションシステムを有してもよく、それによって、人物はシステムを使用して、物理的環境に重ね合わされた仮想オブジェクトを知覚する。拡張現実環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換される模倣環境を指す。例えば、パススルービデオを提供する際に、システムは、１つ以上のセンサ画像を、撮像センサがキャプチャした透視図とは別の選択された透視図（例えば、視点）を面付けするように変形してもよい。別の例として、物理的環境の表現を、その一部分をグラフィカルに変更（例えば、拡大）することによって変形してもよく、それにより、変更された部分を、元のキャプチャ画像を表すが非写実的な、改変版にすることもできる。更なる例として、物理的環境の表現は、その一部分をグラフィカルに除去又は不明瞭化することによって変形されてもよい。
拡張仮想：拡張仮想（ＡＶ）環境とは、仮想環境又はコンピュータ生成環境が物理的環境から１つ以上の感覚入力を組み込んだ模倣環境を指す。感覚入力は、物理的環境の１つ以上の特性の表現であり得る。例えば、ＡＶの公園には仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、１つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽の位置と一致する影を採用することができる。
ハードウェア：人物が様々なＣＧＲ環境を感知し、及び／又はそれと相互作用することを可能にする、多くの異なるタイプの電子システムが存在する。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ（heads-up displays、ＨＵＤ）、統合表示機能を有する車両ウィンドシールド、統合表示機能を有する窓、（例えば、コンタクトレンズと同様に）人物の目の上に配置されるように設計されたレンズとして形成されたディスプレイ、ヘッドホン／イヤフォン、スピーカアレイ、入力システム（例えば、触覚フィードバックを有する又は有さない、装着型コントローラ又はハンドヘルドコントローラ）、スマートフォン、タブレット、及びデスクトップ／ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、１つ以上のスピーカ（単数又は複数）及び一体型不透明ディスプレイを有してもよい。あるいは、ヘッドマウントシステムは、外部の不透明ディスプレイ（例えば、スマートフォン）を受容するように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像若しくはビデオをキャプチャするための１つ以上の撮像センサ、及び／又は物理的環境のオーディオをキャプチャするための１つ以上のマイクロフォンを組み込んでいてもよい。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人物の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、ＯＬＥＤ、ＬＥＤ、ｕＬＥＤ、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィカル画像を人物の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、仮想オブジェクトを、例えば、ホログラムとして、又は物理的表面として物理的環境に投影するように構成されてもよい。いくつかの実施形態では、コントローラ１１０は、ユーザのＣＧＲ体験を管理及び調整するように構成される。いくつかの実施形態では、コントローラ１１０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。コントローラ１１０については、図２を参照して以下により詳細に記載する。いくつかの実施形態では、コントローラ１１０は、シーン１０５（例えば、物理的環境）に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ１１０は、シーン１０５内に位置するローカルサーバである。別の例では、コントローラ１１０は、シーン１０５の外側に位置するリモートサーバ（例えば、クラウドサーバ、中央サーバなど）である。いくつかの実施形態では、コントローラ１１０は、１つ以上の有線又は無線通信チャネル１４４（例えば、ＢＬＵＥＴＯＯＴＨ、ＩＥＥＥ８０２．１１ｘ、ＩＥＥＥ８０２．１６ｘ、ＩＥＥＥ８０２．３ｘなど）を介して、表示生成コンポーネント１２０（例えば、ＨＭＤ、ディスプレイ、プロジェクタ、タッチスクリーンなど）と通信可能に結合される。別の例では、コントローラ１１０は、表示生成コンポーネント１２０（例えば、ＨＭＤ、又はディスプレイ及び１つ以上のプロセッサなどを含むポータブル電子デバイス）、入力デバイス１２５のうちの１つ以上、出力デバイス１５５のうちの１つ以上、センサ１９０のうちの１つ以上、及び／又は周辺デバイス１９５のうちの１つ以上の筐体（例えば、物理的ハウジング）内に含まれる、又は上記のうちの１つ以上と同じ物理的筐体又は支持構造を共有する。
いくつかの実施形態では、表示生成コンポーネント１２０は、ＣＧＲ体験（例えば、ＣＧＲ体験の少なくとも視覚的コンポーネント）をユーザに提供するように構成される。いくつかの実施形態では、表示生成コンポーネント１２０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。表示生成コンポーネント１２０について、図３を参照して以下により詳細に説明する。いくつかの実施形態では、コントローラ１１０の機能は、表示生成コンポーネント１２０によって提供される、及び／又は表示生成コンポーネント１２０と組み合わされる。
いくつかの実施形態によれば、表示生成コンポーネント１２０は、ユーザがシーン１０５内に仮想的及び／又は物理的に存在している間に、ＣＧＲ体験をユーザに提供する。
いくつかの実施形態では、表示生成コンポーネントは、ユーザの身体の一部（例えば、自身の頭部や自身の手など）に装着される。したがって、表示生成コンポーネント１２０は、ＣＧＲコンテンツを表示するために提供された１つ以上のＣＧＲディスプレイを含む。例えば、様々な実施形態では、表示生成コンポーネント１２０は、ユーザの視野を包囲する。いくつかの実施形態では、表示生成コンポーネント１２０は、ＣＧＲコンテンツを提示するように構成されたハンドヘルドデバイス（スマートフォン又はタブレットなど）であり、ユーザは、ユーザの視野に向けられるディスプレイ及びシーン１０５に向けられるカメラを備えたデバイスを保持する。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの頭部に装着された筐体内に配置される。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの前の支持体（例えば、三脚）上に配置される。いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザが表示生成コンポーネント１２０を着用又は保持しない状態でＣＧＲコンテンツを提示するように構成されたＣＧＲチャンバ、筐体、又は部屋である。ＣＧＲコンテンツ（例えば、ハンドヘルドデバイス又は三脚上のデバイス）を表示するための１つのタイプのハードウェアを参照して説明される多くのユーザインタフェースは、ＣＧＲコンテンツ（例えば、ＨＭＤ又は他のウェアラブルコンピューティングデバイス）を表示するための別のタイプのハードウェア上に実施され得る。例えば、ハンドヘルド又は三脚搭載デバイスの前の空間内で起こる相互作用に基づいてトリガされるＣＧＲコンテンツとの相互作用を示すユーザインタフェースは、相互作用がＨＭＤの前の空間で発生し、ＣＧＲコンテンツの応答がＨＭＤを介して表示されるＨＭＤと同様に実施され得る。同様に、物理的環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するハンドヘルド又は三脚搭載デバイスの移動に基づいてトリガされたＣＲＧコンテンツとの相互作用を示すユーザインタフェースは、物理的環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するＨＭＤの移動によって引き起こされるＨＭＤと同様に実施され得る。
動作環境１００の関連する特徴が図１に示されているが、当業者は、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないように、簡潔化のための様々な他の特徴が示されていないことを、本開示から理解されよう。
図２は、いくつかの実施形態による、コントローラ１１０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのため、非限定的な例として、いくつかの実施形態では、コントローラ１１０は、１つ以上の処理ユニット２０２（例えば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス２０６、１つ以上の通信インタフェース２０８（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、グローバル移動通信システム（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、グローバル測位システム（ＧＰＳ）、赤外線（ＩＲ）、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース２１０、メモリ２２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス２０４を含む。
いくつかの実施形態では、１つ以上の通信バス２０４は、システムコンポーネント間を相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス２０６は、キーボード、マウス、タッチパッド、ジョイスティック、１つ以上のマイクロフォン、１つ以上のスピーカ、１つ以上の画像センサ、１つ以上のディスプレイなどのうちの少なくとも１つを含む。
メモリ２２０は、ダイナミックランダムアクセスメモリ（dynamic random-access memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（static random-access memory、ＳＲＡＭ）、ダブルデータレートランダムアクセスメモリ（double-data-rate random-access memory、ＤＤＲＲＡＭ）、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ２２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ２２０は、任意選択的に、１つ以上の処理ユニット２０２から遠隔に位置する１つ以上の記憶デバイスを含む。メモリ２２０は、非一時的コンピュータ可読記憶媒体を備える。いくつかの実施形態では、メモリ２２０、又はメモリ２２０の非一時的コンピュータ可読記憶媒体は、任意選択的なオペレーティングシステム２３０及びＣＧＲ体験モジュール２４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム２３０は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、ＣＧＲ体験モジュール２４０は、１人以上のユーザに対する１つ以上のＣＧＲ体験（例えば、１人以上のユーザに対する単一のＣＧＲ体験、又は１人以上のユーザのそれぞれのグループに対する複数のＣＧＲ体験）を管理及び調整するように構成されている。その目的で、様々な実施形態では、ＣＧＲ体験モジュール２４０は、データ取得ユニット２４２と、トラッキングユニット２４４と、調整ユニット２４６と、データ送信ユニット２４８と、を含む。
いくつかの実施形態では、データ取得ユニット２４２は、少なくとも図１の表示生成コンポーネント１２０から、並びに任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上から、データ（例えば、提示データ、相互作用データ、センサデータ、位置データなど）を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット２４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、トラッキングユニット２４４は、シーン１０５をマッピングし、図１のシーン１０５に対する少なくとも表示生成コンポーネント１２０の位置を、並びに任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上の位置を、追跡するように構成される。その目的で、様々な実施形態では、トラッキングユニット２４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実施形態では、トラッキングユニット２４４は、ハンドトラッキングユニット２４３及び／又はアイトラッキングユニット２４５を含む。いくつかの実施形態では、ハンドトラッキングユニット２４３は、図１のシーン１０５に対する、表示生成コンポーネント１２０に対する、及び／又はユーザの手に対して定義された座標系に対する、ユーザの手の１つ以上の部分の位置、及び／又はユーザの手の１つ以上の部分の運動を追跡するように構成される。ハンドトラッキングユニット２４３について、図４に関して以下でより詳細に説明する。いくつかの実施形態では、アイトラッキングユニット２４５は、シーン１０５に対する（例えば、物理的環境及び／又はユーザ（例えば、ユーザの手）に対する）、又は表示生成コンポーネント１２０を介して表示されたＣＧＲコンテンツに対する、ユーザの視線（又は、より広範にはユーザの目、顔、又は頭部）の位置及び移動を追跡するように構成される。アイトラッキングユニット２４５について、図５に関して以下でより詳細に説明する。
いくつかの実施形態では、調整ユニット２４６は、表示生成コンポーネント１２０によって、並びに任意選択的に、出力デバイス１５５及び／又は周辺デバイス１９５のうちの１つ以上によって、ユーザに提示されるＣＧＲ体験を管理及び調整するように構成される。その目的で、様々な実施形態において、調整ユニット２４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット２４８は、データ（例えば、提示データ、位置データなど）を少なくとも表示生成コンポーネント１２０、並びに任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上に送信するように構成される。その目的で、様々な実施形態では、データ送信ユニット２４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット２４２、トラッキングユニット２４４（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４４を含む）、調整ユニット２４６、及びデータ送信ユニット２４８が、単一のデバイス（例えば、コントローラ１１０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット２４２、トラッキングユニット２４４（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４４を含む）、調整ユニット２４６、及びデータ送信ユニット２４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図２は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図２に別々に示されるいくつかの機能モジュールは、単一のモジュール内で実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では１つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。
図３は、いくつかの実施形態による、表示生成コンポーネント１２０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実施形態では、ＨＭＤ１２０には、１つ以上の処理ユニット３０２（例えば、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ、ＣＰＵ、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス及びセンサ３０６、１つ以上の通信インタフェース３０８（例えば、ＵＳＢ、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、ＧＳＭ、ＣＤＭＡ、ＴＤＭＡ、ＧＰＳ、赤外線、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、及び／又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース３１０、１つ以上のＣＧＲディスプレイ３１２、１つ以上の任意の内向き及び／又は外向き画像センサ３１４、メモリ３２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス３０４、が含まれる。
いくつかの実施形態では、１つ以上の通信バス３０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス及びセンサ３０６は、慣性測定装置（ＩＭＵ）、加速度計、ジャイロスコープ、温度計、１つ以上の生理的センサ（例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、血糖センサなど）、１つ以上のマイクロフォン、１つ以上のスピーカ、触覚エンジン、１つ以上の深度センサ（例えば、構造化光、飛行時間など）などのうちの少なくとも１つを含む。
いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ユーザにＣＧＲ体験を提供するように構成される。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ホログラフィック、デジタル光処理（ＤＬＰ）、液晶ディスプレイ（ＬＣＤ）、液晶オンシリコン（ＬＣｏＳ）、有機発光電界効果トランジスタ（ＯＬＥＴ）、有機発光ダイオード（ＯＬＥＤ）、表面伝導型電子放射素子ディスプレイ（ＳＥＤ）、電界放射ディスプレイ（ＦＥＤ）、量子ドット発光ダイオード（ＱＤ－ＬＥＤ）、ＭＥＭＳ、及び／又は同様のディスプレイタイプに相当する。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、回折、反射、偏光、ホログラフィックなどの、導波管ディスプレイに相当する。例えば、ＨＭＤ１２０は、単一のＣＧＲディスプレイを含む。別の実施例では、ＨＭＤ１２０は、ユーザの各目用のＣＧＲディスプレイを含む。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。
いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの目を含むユーザの顔の少なくとも一部分に対応する画像データを取得するように構成される（及び、アイトラッキングカメラと称する場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの手（単数又は複数）及び任意選択的にユーザの腕（単数又は複数）の少なくとも一部分に対応する画像データを取得するように構成される（及び、ハンドトラッキングカメラと称される場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、ＨＭＤ１２０が存在しない場合に、ユーザが視認するシーンに対応する画像データを取得するように前方を向くように構成される（及び、シーンカメラと称される場合がある）。１つ以上の任意選択的な画像センサ３１４は、（例えば、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ若しくは電荷結合デバイス（ＣＣＤ）画像センサを備えた）１つ以上のＲＧＢカメラ、１つ以上の赤外線（ＩＲ）カメラ、１つ以上のイベントベースのカメラ、及び／又は同様のもの、を含むことができる。
メモリ３２０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ３２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３２０は、１つ以上の処理ユニット３０２から遠隔に位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ３２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ３２０、又はメモリ３２０の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム３３０及びＣＧＲ提示モジュール３４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム３３０は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、ＣＧＲ提示モジュール３４０は、１つ以上のＣＧＲディスプレイ３１２を介してＣＧＲコンテンツをユーザに提示するように構成される。その目的で、様々な実施形態では、ＣＧＲ提示モジュール３４０は、データ取得ユニット３４２、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８を含む。
いくつかの実施形態では、データ取得ユニット３４２は、少なくとも図１のコントローラ１１０からデータ（例えば、提示データ、相互作用データ、センサデータ、位置データなど）を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット３４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、ＣＧＲ提示ユニット３４４は、１つ以上のＣＧＲディスプレイ３１２を介してＣＧＲコンテンツを提示するように構成される。その目的で、様々な実施形態では、ＣＧＲ提示ユニット３４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、ＣＧＲマップ生成ユニット３４６は、メディアコンテンツデータに基づいて、ＣＧＲマップ（例えば、複合現実シーンの３Ｄマップ又はコンピュータ生成オブジェクトを配置することができる物理的環境のマップ）を生成するように構成される。その目的で、様々な実施形態では、ＣＧＲマップ生成ユニット３４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット３４８は、少なくともコントローラ１１０、及び任意選択的に入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上にデータ（例えば、提示データ、位置データなど）を伝送するように構成される。その目的で、様々な実施形態では、データ送信ユニット３４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット３４２は、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８は、単一のデバイス（例えば、図１の表示生成コンポーネント１２０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット３４２、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図３は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実装形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図３に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では１つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。
図４は、ハンドトラッキングデバイス１４０の例示的な実施形態の概略図である。いくつかの実施形態では、ハンドトラッキングデバイス１４０（図１）は、図１のシーン１０５に対する（例えば、ユーザを囲む物理的環境の部分に対する、表示生成コンポーネント１２０に対する、又はユーザの部分（例えば、ユーザの顔、目、又は頭部）に対する、及び／又はユーザの手に対して定義された座標系に対する、ユーザの手の１つ以上の部分の位置、及び／又は、ユーザの手の１つ以上の部分の運動を追跡するように、ハンドトラッキングユニット２４３（図２）によって制御される。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成コンポーネント１２０の一部である（例えば、ヘッドマウントデバイスに埋め込まれる、又はヘッドマウントデバイスに取り付けられる）。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成コンポーネント１２０とは別個である（例えば、別個のハウジング内に位置する、又は別個の物理的支持構造に取り付けられる）。
いくつかの実施形態では、ハンドトラッキングデバイス１４０は、人間のユーザの少なくとも手４０６を含む三次元シーン情報をキャプチャする画像センサ４０４（例えば、１つ以上のＩＲカメラ、３Ｄカメラ、深度カメラ、及び／又はカラーカメラなど）を含む。画像センサ４０４は、指及びそれらのそれぞれの位置を区別するのを可能にするのに十分な解像度で手画像をキャプチャする。画像センサ４０４は、典型的には、ユーザの身体の他の部分の画像、又は身体の全ての画像をキャプチャし、ズーム機能又は高倍率を有する専用センサのいずれかを有して、所望の解像度で手の画像をキャプチャすることができる。いくつかの実施形態では、画像センサ４０４はまた、手４０６の２Ｄカラービデオ画像及びシーンの他の要素をキャプチャする。いくつかの実施形態では、画像センサ４０４は、シーン１０５の物理的環境をキャプチャする他の画像センサと併せて使用される、又はシーン１０５の物理的環境をキャプチャする画像センサとして機能する。いくつかの実施形態では、画像センサ４０４は、画像センサ又はその一部分の視野が使用されて、画像センサによってキャプチャされた手の移動がコントローラ１１０への入力として処理される相互作用空間を定義するように、ユーザ又はユーザの環境に対して位置決めされる。
いくつかの実施形態では、画像センサ４０４は、３Ｄマップデータ（及び場合によってはカラー画像データ）を含むフレームのシーケンスをコントローラ１１０に出力し、これにより、マップデータから高レベル情報を抽出する。この高レベル情報は、典型的には、アプリケーションプログラムインタフェース（ＡＰＩ）を介して、コントローラ上で実行されるアプリケーションに提供され、それに応じて表示生成コンポーネント１２０を駆動する。例えば、ユーザは、自身の手４０８を移動させ、自身の手の姿勢を変更することによって、コントローラ１１０上で動作するソフトウェアと相互作用することができる。
いくつかの実施形態では、画像センサ４０４は、手４０６を含むシーン上にスポットパターンを投影し、投影されたパターンの画像をキャプチャする。いくつかの実施形態では、コントローラ１１０は、パターンのスポットの横方向シフトに基づいて、三角測量によって（ユーザの手の表面上の点を含む）シーン内の点の３Ｄ座標を計算する。このアプローチは、ユーザが任意の種類のビーコン、センサ、又は他のマーカを保持又は着用する必要がないという点で有利である。これは、画像センサ４０４からの特定の距離で、所定の基準面に対するシーン内の点の深度座標を与える。本開示では、画像センサ４０４は、シーン内の点の深度座標が画像センサによって測定されたｚ成分に対応するように、直交する一連のｘ、ｙ、ｚ軸を定義すると想定される。あるいは、ハンドトラッキングデバイス４４０は、単一又は複数のカメラ又は他のタイプのセンサに基づいて、立体撮像又は飛行時間測定などの他の３Ｄマッピング方法を使用することができる。
いくつかの実施形態では、ハンドトラッキングデバイス１４０は、ユーザが手（例えば、手全体又は１本以上の指）を移動させている間、ユーザの手を含む深度マップの時間シーケンスをキャプチャし処理する。画像センサ４０４及び／又はコントローラ１１０内のプロセッサ上で動作するソフトウェアは、３Ｄマップデータを処理して、これらの深度マップ内の手のパッチ記述子を抽出する。ソフトウェアは、各フレームにおける手の姿勢を推定するために、以前の学習プロセスに基づいて、これらの記述子をデータベース４０８に記憶されたパッチ記述子と照合する。姿勢は、典型的には、ユーザの手関節及び指先の３Ｄ位置を含む。
ソフトウェアはまた、ジェスチャを識別するために、シーケンス内の複数のフレームにわたって手及び／又は指の軌道を解析することができる。本明細書に記載される姿勢推定機能は、運動追跡機能とインターリーブされてもよく、それにより、パッチベースの姿勢推定が２つ（又はそれ以上）のフレーム毎に１回のみ実行される一方、追跡は残りのフレームにわたって発生する姿勢の変化を発見するために使用される。姿勢、運動、及びジェスチャ情報は、上述のＡＰＩを介して、コントローラ１１０上で実行されるアプリケーションプログラムに提供される。このプログラムは、例えば、姿勢及び／又はジェスチャ情報に応答して、表示生成コンポーネント１２０上に提示された画像を移動させ修正する、又は他の機能を実行することができる。
いくつかの実施形態では、ソフトウェアは、例えばネットワーク上で、コントローラ１１０に電子形態でダウンロードされてもよい、又はその代わりに、光学、磁気、若しくは電子メモリ媒体などの、実体的非一時的媒体に提供されてもよい。いくつかの実施形態では、データベース４０８は、同様に、コントローラ１１０に関連付けられたメモリに記憶される。代替的又は追加的に、コンピュータの記載された機能の一部又は全ては、カスタム又は半カスタム集積回路又はプログラム可能なデジタル信号プロセッサ（ＤＳＰ）などの専用のハードウェアに実装されてもよい。コントローラ１１０は、例として、画像センサ４４０からの別個のユニットとして図４に示されているが、コントローラの処理機能の一部又は全部は、好適なマイクロプロセッサ及びソフトウェアによって、又はハンドトラッキングデバイス４０２のハウジング内の専用回路によって、又は他の方法で画像センサ４０４に関連付けることができる。いくつかの実施形態では、これらの処理機能のうちの少なくともいくつかは、（例えば、テレビセット、ハンドヘルドデバイス、又はヘッドマウントデバイスにおいて）表示生成コンポーネント１２０と統合された好適なプロセッサによって、又はゲームコンソール又はメディアプレーヤなどの任意の他の適切なコンピュータ化されたデバイスを用いて実行されてもよい。画像センサ４０４の感知機能は、同様に、センサ出力によって制御されるコンピュータ又は他のコンピュータ化された装置に統合することができる。
図４は、いくつかの実施形態による、画像センサ４０４によってキャプチャされた深度マップ４１０の概略図を更に含む。深度マップは、上述したように、それぞれの深度値を有するピクセルのマトリックスを含む。手４０６に対応するピクセル４１２は、このマップで背景及び手首からセグメント化されている。深度マップ４１０内の各ピクセルの輝度は、深度値、即ち、画像センサ４０４からの測定されたｚ距離に反比例し、深度が上昇するにつれて階調が濃くなる。コントローラ１１０は、人間の手の特性を有する画像の成分（即ち、隣接ピクセル群）を識別及びセグメント化するために、これらの深度値を処理する。これらの特性は、例えば、深度マップのシーケンスの全体サイズ、形状、フレームからフレームへの運動を含むことができる。
図４はまた、いくつかの実施形態による、コントローラ１１０が手４０６の深度マップ４１０から最終的に抽出する手骨格４１４を概略的に示す。図４では、骨格４１４は、元の深度マップからセグメント化された手の背景４１６に重畳される。いくつかの実施形態では、手（例えば、指関節、指先、掌の中心、手首に接続する手の終端など）、及び任意選択的に手に接続された手首又は腕上の主要な特徴点が、手骨格４１４上で識別され配置される。いくつかの実施形態では、複数の画像フレーム上にわたるこれらの主要な特徴点の位置及び移動がコントローラ１１０によって使用されて、いくつかの実施形態により、手によって実行される手ジェスチャ又は手の現在の状態を判定する。
図５は、アイトラッキングデバイス１３０（図１）の例示的な実施形態を示す。いくつかの実施形態では、アイトラッキングデバイス１３０は、シーン１０５に対する、又は表示生成コンポーネント１２０を介して表示されたＣＧＲコンテンツに対する、ユーザの視線の位置及び移動を追跡するように、アイトラッキングユニット２４５（図２）によって制御される。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成コンポーネント１２０と統合される。例えば、いくつかの実施形態では、表示生成コンポーネント１２０がヘッドセット、ヘルメット、ゴーグル、又は眼鏡などのヘッドマウントデバイス、又はウェアラブルフレームに配置されたハンドヘルドデバイスである場合、ヘッドマウントデバイスは、ユーザによる視聴のためのＣＧＲコンテンツを生成するコンポーネント及びＣＧＲコンテンツに対するユーザの視線を追跡するためのコンポーネントの両方を含む。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成コンポーネント１２０とは別個である。例えば、表示生成コンポーネントがハンドヘルドデバイス又はＣＧＲチャンバである場合、アイトラッキングデバイス１３０は、任意選択的に、ハンドヘルドデバイス又はＣＧＲチャンバとは別個のデバイスである。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイス又はヘッドマウントデバイスの一部である。いくつかの実施形態では、ヘッドマウントアイトラッキングデバイス１３０は、任意選択的に、頭部に装着されている表示生成コンポーネント又は頭部に装着されていない表示生成コンポーネントと共に使用される。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイスではなく、任意選択的に、ヘッドマウント表示生成コンポーネントと組み合わせて使用される。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイスではなく、任意選択的に、非ヘッドマウント表示生成コンポーネントの一部である。
いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザの目の前に左及び右の画像を含むフレームを表示して、３Ｄ仮想ビューをユーザに提供するディスプレイ機構（例えば、左右の目近傍ディスプレイパネル）を使用する。例えば、ヘッドマウント表示生成コンポーネントは、ディスプレイとユーザの目との間に位置する左右の光学レンズ（本明細書では接眼レンズと称される）を含んでもよい。いくつかの実施形態では、表示生成コンポーネントは、表示のためにユーザの環境のビデオをキャプチャする１つ以上の外部ビデオカメラを含んでもよい、又はそれに結合されてもよい。いくつかの実施形態では、ヘッドマウント表示生成コンポーネントは、ユーザが物理的環境を直接視認し、透明又は半透明ディスプレイ上に仮想オブジェクトを表示することができる透明又は半透明のディスプレイを有してもよい。いくつかの実施形態では、表示生成コンポーネントは、仮想オブジェクトを物理的環境に投影する。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理的環境の上に重ねられた仮想オブジェクトを観察することができる。そのような場合、左右の目のための別個のディスプレイパネル及び画像フレームが必要とされない場合がある。
図５に示されるように、いくつかの実施形態では、視線トラッキングデバイス１３０は、少なくとも１つのアイトラッキングカメラ（例えば、赤外線（ＩＲ）又は近ＩＲ（ＮＩＲ）カメラ）、並びに光（例えば、ＩＲ又はＮＩＲ光）をユーザの目に向けて発する照明源（例えば、ＬＥＤのアレイ若しくはリングなどのＩＲ又はＮＩＲ光源）を含む。アイトラッキングカメラは、ユーザの目に向けられて、光源からの反射ＩＲ又はＮＩＲ光を目から直接受信してもよく、又は代替的に、ユーザの目と、視覚的光が通過することを可能にしながら目からアイトラッキングカメラにＩＲ又はＮＩＲ光を反射させるディスプレイパネルとの間に配置される「ホット」ミラーに向けられてもよい。視線トラッキングデバイス１３０は、任意選択的に、ユーザの目の画像を（例えば、１秒当たり６０～１２０フレーム（ｆｐｓ）でキャプチャされるビデオストリームとして）キャプチャし、画像を解析して、視線追跡情報を生成し、視線追跡情報をコントローラ１１０に通信する。いくつかの実施形態では、ユーザの両目は、それぞれのアイトラッキングカメラ及び照明源によって別々に追跡される。いくつかの実施形態では、ユーザの片目のみが、個別のアイトラッキングカメラ及び照明源によって追跡される。
いくつかの実施形態では、アイトラッキングデバイス１３０は、デバイス固有の較正プロセスを使用して較正されて、特定の動作環境１００用のアイトラッキングデバイスのパラメータ、例えば、ＬＥＤ、カメラ、ホットミラー（存在する場合）、接眼レンズ、及びディスプレイスクリーンの３Ｄ幾何学的関係及びパラメータを判定する。デバイス固有の較正プロセスは、ＡＲ／ＶＲ機器のエンドユーザへの配送前に、工場又は別の施設で実行されてもよい。デバイス固有の較正プロセスは、自動較正プロセスであってもよく、又は手動較正プロセスであってもよい。ユーザ固有の較正プロセスは、特定のユーザの目パラメータ、例えば、瞳孔位置、中心視覚位置、光軸、視軸、目間隔などの推定を含んでもよい。いくつかの実施形態によれば、いったんアイトラッキングデバイス１３０についてデバイス固有及びユーザ固有のパラメータが判定されると、アイトラッキングカメラによってキャプチャされた画像は、グリント支援方法を使用して処理され、ディスプレイに対するユーザの現在の視覚軸及び視点を判定することができる。
図５に示されるように、アイトラッキングデバイス１３０（例えば、１３０Ａ又は１３０Ｂ）は、接眼レンズ（単数又は複数）５２０と、アイトラッキングが行われるユーザの顔の側に配置された少なくとも１つのアイトラッキングカメラ５４０（例えば、赤外線（ＩＲ）又は近ＩＲ（ＮＩＲ）カメラ）と光（例えば、ＩＲ又はＮＩＲ光）をユーザの目（単数又は複数）５９２に向かって発する照明源５３０（例えば、ＮＩＲ発光ダイオード（ＬＥＤ）のアレイ若しくはリングなどのＩＲ又はＮＩＲ光源）とを含む視線追跡システムと、を含む。アイトラッキングカメラ５４０は、ユーザの目（単数又は複数）５９２とディスプレイ５１０（例えば、ヘッドマウントディスプレイの左若しくは右側のディスプレイパネル、又はハンドヘルドデバイスのディスプレイ、プロジェクタなど）との間に位置し、（例えば、図５の上部に示されるように）可視光を透過させながら、目（単数又は複数）５９２からのＩＲ又はＮＩＲ光を反射するミラー５５０に向けられてもよく、あるいは、（例えば、図５の下部に示されるように）反射されたユーザの目（単数又は複数）５９２からのＩＲ又はＮＩＲ光を受け取るようにユーザの目（単数又は複数）５９２に向けられてもよい。
いくつかの実施形態では、コントローラ１１０は、ＡＲ又はＶＲフレーム５６２（例えば、左及び右のディスプレイパネルの左及び右のフレーム）をレンダリングし、フレーム５６２をディスプレイ５１０に提供する。コントローラ１１０は、様々な目的のために、例えば、表示のためにフレーム５６２を処理する際に、アイトラッキングカメラ５４０からの視線追跡入力５４２を使用する。コントローラ１１０は、任意選択的に、グリント支援方法又は他の適切な方法を使用して、アイトラッキングカメラ５４０から得られた視線追跡入力５４２に基づいて、ディスプレイ５１０上のユーザの視点を推定する。視線追跡入力５４２から推定された視点は、任意選択的に、ユーザが現在見ている方向を判定するために使用される。
以下、ユーザの現在の視線方向のいくつかの可能な使用事例について説明するが、これは限定することを意図するものではない。例示的な使用例として、コントローラ１１０は、判定されたユーザの視線方向に基づいて、仮想コンテンツを異なってレンダリングすることができる。例えば、コントローラ１１０は、周辺領域においてよりもユーザの現在の視線方向から判定された中心視覚領域において、より高い解像度で仮想コンテンツを生成してもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内の仮想コンテンツを位置決め又は移動させてもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内に特定の仮想コンテンツを表示してもよい。ＡＲアプリケーションにおける別の例示的な使用事例として、コントローラ１１０は、ＣＧＲ体験の物理的環境をキャプチャして、判定された方向に焦点を合わせるように外部カメラを方向付けることができる。次いで、外部カメラの自動焦点機構は、ユーザが現在ディスプレイ５１０上で見ている環境内のオブジェクト又は表面に焦点を合わせることができる。別の例示的な使用事例として、接眼レンズ５２０は集束可能なレンズであってもよく、視線追跡情報がコントローラによって使用されて、ユーザが現在見ている仮想オブジェクトが、ユーザの目５９２の収束に一致するために適切な両目連動を有するように接眼レンズ５２０の焦点を調整する。コントローラ１１０は、視線追跡情報を活用して、ユーザが見ている近接オブジェクトが正しい距離で現れるように接眼レンズ５２０を方向付けて焦点を調整することができる。
いくつかの実施形態では、アイトラッキングデバイスは、ウェアラブルハウジングに取り付けられた、ディスプレイ（例えば、ディスプレイ５１０）、２つの接眼レンズ（例えば、接眼レンズ（単数又は複数）５２０）、アイトラッキングカメラ（例えば、アイトラッキングカメラ（単数又は複数）５４０）、及び光源（例えば、光源５３０（例えば、ＩＲ又はＮＩＲ ＬＥＤ））を含むヘッドマウントデバイスの一部である。光源は、ユーザの目（単数又は複数）５９２に向かって光（例えば、ＩＲ又はＮＩＲ光）を発する。いくつかの実施形態では、光源は、図５に示されるように、各レンズの周りにリング又は円状に配置されてもよい。いくつかの実施形態では、８つの光源５３０（例えば、ＬＥＤ）が、一例として各レンズ５２０の周りに配置される。しかしながら、より多くの又はより少ない光源５３０が使用されてもよく、光源５３０の他の配置及び位置が用いられてもよい。
いくつかの実施形態では、ディスプレイ５１０は、可視光範囲内の光を発し、ＩＲ又はＮＩＲ範囲内の光を発さないため、視線追跡システムにノイズを導入しない。アイトラッキングカメラ（単数又は複数）５４０の位置及び角度は、例として与えられ、限定することを意図するものではないことに留意されたい。いくつかの実施形態では、単一のアイトラッキングカメラ５４０がユーザの顔の各側に位置する。いくつかの実施形態では、２つ以上のＮＩＲカメラ５４０をユーザの顔の各側に使用することができる。いくつかの実施形態では、より広い視野（ＦＯＶ）を有するカメラ５４０と狭いＦＯＶを有するカメラ５４０が、ユーザの顔の各側に使用されてもよい。いくつかの実施形態では、１つの波長（例えば、８５０ｎｍ）で動作するカメラ５４０と異なる波長（例えば、９４０ｎｍ）で動作するカメラ５４０とが、ユーザの顔の各側に使用されてもよい。
図５に示すような視線トラッキングシステムの実施形態は、例えば、コンピュータ生成現実、仮想現実、及び／又は複合現実アプリケーションに使用されて、コンピュータ生成現実、仮想現実、拡張現実、及び／又は拡張仮想の体験をユーザに提供することができる。
図６は、いくつかの実施形態による、グリント支援視線追跡パイプラインを示す。いくつかの実施形態では、視線追跡パイプラインは、グリント支援視線追跡システム（例えば、図１及び図５に示されるようなアイトラッキングデバイス１３０）によって実現される。グリント支援視線追跡システムは、追跡状態を維持することができる。当初、追跡状態はオフ又は「いいえ」である。追跡状態にあるとき、グリント支援視線追跡システムは、現フレームを解析する際に前のフレームからの先行情報を使用して、現フレーム内の瞳孔輪郭及びグリントを追跡する。追跡状態にない場合、グリント支援視線追跡システムは、現フレーム内の瞳孔及びグリントを検出しようとし、それに成功した場合、追跡状態を「はい」に初期化し、追跡状態で次のフレームに続く。
図６に示されるように、視線追跡カメラは、ユーザの左目及び右目の左右の画像をキャプチャすることができる。次いで、キャプチャされた画像は、６１０で開始される処理のために視線追跡パイプラインに入力される。要素６００に戻る矢印によって示されるように、視線追跡システムは、例えば、毎秒６０～１２０フレームの速度で、ユーザの目の画像をキャプチャし続けることができる。いくつかの実施形態では、キャプチャされた画像の各セットが、処理のためにパイプラインに入力されてもよい。しかしながら、いくつかの実施形態、又はいくつかの条件下では、全てのキャプチャされたフレームがパイプラインによって処理されるわけではない。
６１０で、現在のキャプチャされた画像について、追跡状態がはいである場合、この方法は要素６４０に進む。６１０で、追跡状態がいいえである場合、６２０に示されるように、画像が解析されて、画像内のユーザの瞳孔及びグリントを検出する。６３０で、瞳孔とグリントが正常に検出される場合、方法は要素６４０に進む。正常に検出されない場合、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。
６４０で、要素４１０から進む場合、前のフレームからの先行情報に部分的に基づいて、現フレームが解析されて、瞳孔及びグリントを追跡する。６４０で、要素６３０から進む場合、現フレーム内の検出された瞳孔及びグリントに基づいて、追跡状態が初期化される。要素６４０での処理の結果は、追跡又は検出の結果が信頼できることを確認するためにチェックされる。例えば、結果は、瞳孔及び視線推定を実行するための十分な数のグリントが現フレームで正常に追跡又は検出されるかどうかを判定するためにチェックすることができる。６５０で、結果が信頼できない場合、追跡状態はいいえに設定され、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。６５０で、結果が信頼できる場合、方法は要素６７０に進む。６７０で、追跡状態は、はいに設定され（まだはいではない場合）、瞳孔及びグリント情報が要素６８０に渡されて、ユーザの視点を推定する。
図６は、特定の実施で使用され得るアイトラッキング技術の一例として機能することを意図している。当業者によって認識されるように、現在存在するか、又は将来開発される他のアイトラッキング技術は、様々な実施形態によるＣＧＲ体験をユーザに提供するためにコンピュータシステム１０１において、本明細書に記載されるグリント支援アイトラッキング技術の代わりに、又はそれと組み合わせて使用することができる。
したがって、本明細書の説明は、現実世界オブジェクトの表現、及び仮想オブジェクトの表現を含む三次元環境（例えば、ＣＧＲ環境）のいくつかの実施形態を含む。例えば、三次元環境は、任意選択的に、（例えば、電子デバイスのカメラ及びディスプレイを介して能動的に、又は電子デバイスの透明若しくは半透明のディスプレイを介して受動的に）三次元環境内でキャプチャされ、表示される、物理的環境内に存在するテーブルの表現を含む。前述のように、三次元環境は、任意選択的に、三次元環境がデバイスの１つ以上のセンサによってキャプチャされ、表示生成コンポーネントを介して表示される物理的環境に基づく複合現実システムである。複合現実システムとして、物理的環境の部分及び／又はオブジェクトのそれぞれが、電子デバイスによって表示される三次元環境内に存在するかのように見えるように、デバイスは、任意選択的に、物理的環境の部分及び／又はオブジェクトを選択的に表示することができる。同様に、現実世界において、対応する位置を有する三次元環境内のそれぞれの位置に仮想オブジェクトを配置することによって、仮想オブジェクトが現実世界（例えば、物理的環境）内に存在するかのように見えるように、デバイスは、任意選択的に、三次元環境内の仮想オブジェクトを表示することができる。例えば、デバイスは、任意選択的に、現実の花瓶が物理的環境内のテーブルの上に置かれているかのように見えるように、花瓶を表示する。いくつかの実施形態では、三次元環境内の各位置は、物理的環境内で、対応する位置を有する。したがって、デバイスが、物理的オブジェクトに対して個別の位置（例えば、ユーザの手の位置、若しくはその近くの、又は物理的テーブルに、若しくはその近くなど）に、仮想オブジェクトを表示するものとして説明されるとき、デバイスは、仮想オブジェクトが物理的世界内の物理的オブジェクトに、又はその近くにあるかのように見えるように、三次元環境内の特定の位置に仮想オブジェクトを表示する（例えば、仮想オブジェクトが、その特定の位置にある現実のオブジェクトであった場合に、仮想オブジェクトが表示された物理的環境内の位置に対応する三次元環境内の位置に、仮想オブジェクトは表示される）。
いくつかの実施形態では、三次元環境内に表示される物理的環境内に存在する現実世界オブジェクトは、三次元環境内にのみ存在する仮想オブジェクトと相互作用することができる。例えば、三次元環境は、テーブルと、テーブルの上に配置された花瓶と、を含むことができ、テーブルは、物理的環境内の物理的テーブルのビュー（又は表現）であり、花瓶は、仮想オブジェクトである。
同様に、仮想オブジェクトが、物理的環境内の現実のオブジェクトであるかのように、ユーザは、任意選択的に、１つ以上の手を使用して三次元環境内の仮想オブジェクトと相互作用することができる。例えば、上述のように、デバイスの１つ以上のセンサは、任意選択的に、ユーザの手のうちの１つ以上をキャプチャし、三次元環境内のユーザの手の表現を（例えば、上述の三次元環境内の現実世界オブジェクトを表示するのと同様の方法で）表示する、あるいは、いくつかの実施形態では、ユーザインタフェース、又は透明／半透明表面へのユーザインタフェースの投影、又はユーザの目若しくはユーザの目の視野へのユーザインタフェースの投影を表示している表示生成コンポーネントの部分の透明性／半透明性に起因して、ユーザの手は、ユーザインタフェースを通して物理的環境を見る能力によって、表示生成コンポーネントを介して見ることができる。したがって、いくつかの実施形態では、ユーザの手は、三次元環境内の個別の位置に表示され、それらが、物理的環境内の実際の物理的オブジェクトであるかのように、三次元環境内の仮想オブジェクトと相互作用し得る三次元環境内のオブジェクトであるかのように、処理される。いくつかの実施形態では、ユーザは、自身の手を動かして、三次元環境内の手の表現を、ユーザの手の移動と連動して動かすことができる。
以下に説明される実施形態のうちのいくつかでは、例えば、物理的オブジェクトが、仮想オブジェクトと相互作用しているか否か（例えば、手が、仮想オブジェクトを、触れているか、掴んでいるか、保持しているかなど、又は仮想オブジェクトからの閾値距離内にあるか否か）を判定する目的で、デバイスは、任意選択的に、物理的世界内の物理的オブジェクトと三次元環境内の仮想オブジェクトとの間の「有効」距離を判定することができる。例えば、ユーザが仮想オブジェクトと相互作用しているか否か、及び／又はユーザが仮想オブジェクトとどのように相互作用しているかを判定するときに、デバイスは、ユーザの手と仮想オブジェクトとの間の距離を判定する。いくつかの実施形態では、デバイスは、三次元環境内の手の位置と、三次元環境内の対象の仮想オブジェクトの位置との間の距離を判定することによって、ユーザの手と仮想オブジェクトとの間の距離を判定する。例えば、ユーザの１つ以上の手は、物理的世界内の特定の位置に配置され、これは、デバイスが、任意選択的に、三次元環境内の特定の対応する位置（例えば、手が物理的な手ではなく仮想的な手である場合に、手が表示された三次元環境内の位置）において、キャプチャして表示する。三次元環境内の手の位置は、任意選択的に、ユーザの１つ以上の手と仮想オブジェクトとの間の距離を判定するために、三次元環境内の対象の仮想オブジェクトの位置と比較される。いくつかの実施形態では、デバイスは、任意選択的に、（例えば、三次元環境内の位置を比較することとは対照的に）物理的世界内の位置を比較することによって、物理的オブジェクトと仮想オブジェクトとの間の距離を判定する。例えば、ユーザの１つ以上の手と仮想オブジェクトとの間の距離を判定するとき、デバイスは、任意選択的に、仮想オブジェクトの物理的世界内の対応する位置（例えば、仮想オブジェクトが、仮想オブジェクトではなく物理的オブジェクトである場合に、仮想オブジェクトが、物理的世界内に位置する位置）を判定し、次いで、対応する物理的位置とユーザの１つ以上の手との間の距離を判定する。いくつかの実施形態では、任意の物理的オブジェクトと任意の仮想オブジェクトとの間の距離を判定するために、同じ技法が、任意選択的に使用される。したがって、本明細書に説明されるように、物理的オブジェクトが仮想オブジェクトと接触しているか否か、又は物理的オブジェクトが仮想オブジェクトの閾値距離内にあるか否か、を判定するとき、デバイスは、任意選択的に、物理的オブジェクトの位置を三次元環境にマッピングするために、及び／又は仮想オブジェクトの位置を物理的世界にマッピングするために、上述の技術のいずれかを実行する。
いくつかの実施形態では、同じ又は同様の技術を使用して、ユーザの視線が、どこに向けられ、何に向けられているか、及び／又はユーザによって保持された物理的スタイラスが、どこに向けられ、何に向けられているか、を判定する。例えば、ユーザの視線が物理的環境内の特定の位置に向けられている場合、デバイスは、任意選択的に、三次元環境内の対応する位置を判定し、仮想オブジェクトがその対応する仮想位置に位置する場合、デバイスは、任意選択的に、ユーザの視線が、その仮想オブジェクトに向けられていると判定する。同様に、デバイスは、任意選択的に、物理的スタイラスの向きに基づいて、スタイラスが物理的世界のどこを指しているかを判定することができる。いくつかの実施形態では、この判定に基づいて、デバイスは、スタイラスが指している物理的世界内の位置に対応する三次元環境内の対応する仮想位置を判定し、任意選択的に、スタイラスが三次元環境内の対応する仮想位置を指していると判定する。
同様に、本明細書で説明される実施形態は、ユーザ（例えば、デバイスのユーザ）の位置、及び／又は三次元環境内のデバイスの位置を指してもよい。いくつかの実施形態では、デバイスのユーザは、電子デバイスを保持している、装着している、又は他の方法で電子デバイスに位置している、若しくはその近くにある。したがって、いくつかの実施形態では、デバイスの位置は、ユーザの位置の代理として使用される。いくつかの実施形態では、物理的環境内のデバイス及び／又はユーザの位置は、三次元環境内の個別の位置に対応する。いくつかの実施形態では、個別の位置は、三次元環境の「カメラ」又は「ビュー」が延在する位置である。例えば、ユーザが、表示生成コンポーネントによって表示される物理的環境の個別の部分に面する位置に立った場合、デバイスの位置は、ユーザが、物理的環境内のオブジェクトを、オブジェクトがデバイスの表示生成コンポーネントによって表示されたのと同じ位置、向き、及び／又はサイズで（例えば、絶対的に及び／又は互いに対して）見ることになる、物理的環境内の位置（及び三次元環境内のその対応する位置）である。同様に、三次元環境内に表示された仮想オブジェクトが、物理的環境内の物理的オブジェクトであった（例えば、仮想オブジェクトが、三次元環境内と同じ物理的環境内の位置に配置され、三次元環境内と同じ物理的環境内のサイズ及び向きを有する）場合、デバイス及び／又はユーザの位置は、ユーザが、物理的環境内の仮想オブジェクトを、デバイスの表示生成コンポーネントによって表示されたのと同じ位置、向き、及び／又はサイズで（例えば、絶対的に、及び／又は互いに対して、並びに現実世界オブジェクトにおいて）見ることになる位置である。
本開示では、コンピュータシステムとの相互作用に関して、様々な入力方法が説明される。一例が１つの入力デバイス又は入力方法を使用して提供され、別の例が別の入力デバイス又は入力方法を使用して提供される場合、各例は、別の例に関して記載された入力デバイス又は入力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な出力方法が、コンピュータシステムとの相互作用に関して説明される。一例が１つの出力デバイス又は出力方法を使用して提供され、別の例が別の出力デバイス又は出力方法を使用して提供される場合、各例は、別の例に関して記載された出力デバイス又は出力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な方法が、コンピュータシステムを介した仮想環境又は複合現実環境との相互作用に関して説明される。実施例が仮想環境との相互作用を使用して提供され、別の例が複合現実環境を使用して提供される場合、各例は、別の例に関して説明された方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。したがって、本開示は、各例示的な実施形態の説明における実施形態の全ての特徴を網羅的に列挙することなく、複数の例の特徴の組み合わせである実施形態を開示する。
更に、１つ以上のステップが満たされている１つ以上の条件を条件とする本明細書に記載の方法では、記載の方法は、繰り返しの過程にわたって、本方法のステップが条件とする条件の全てが本方法の異なる繰り返しで満たされるように、複数の繰り返しで繰り返されることができることを理解されたい。例えば、ある方法が、条件が満たされた場合に第１のステップを実行し、条件が満たされなかった場合に第２のステップを実行することを必要とする場合、当業者であれば、条件が満たされ、満たされなくなるまで、請求項に記載のステップが、特定の順序で繰り返されることを理解するであろう。したがって、満たされた１つ以上の条件に依存する１つ以上のステップで説明される方法は、方法に記載された各条件が満たされるまで繰り返される方法として書き換えられることができる。しかしながら、これは、システム又はコンピュータ可読媒体が、対応する１つ以上の条件の充足に基づいて条件付き動作を実行するための命令を含み、したがって、方法のステップが条件付きである全ての条件が満たされるまで、方法のステップを明示的に繰り返すことなく偶発性が満たされたか否かを判定することができる、システム又はコンピュータ可読媒体の請求項には必要とされない。当業者はまた、条件付きステップを有する方法と同様に、システム又はコンピュータ可読記憶媒体が、条件付きステップの全てが実行されたことを確実にするために必要な回数だけ方法のステップを繰り返すことができることを理解するであろう。
ユーザインタフェース及び関連するプロセス
ユーザインタフェース及び関連するプロセス
ここで、ユーザインタフェース（「ＵＩ」）の実施形態、及び、表示生成コンポーネント、１つ以上の入力デバイス、及び（任意選択的に）１つ又は複数のカメラを備えた、ポータブル多機能デバイス又はヘッドマウントデバイスなどのコンピュータシステムにおいて実行され得る関連プロセスに注目する。
図７Ａ～７Ｂは、いくつかの実施形態による、電子デバイスがユーザの視線に基づいてユーザインタフェースの部分をどのように強調表示する、及び／又は非強調表示する例を示している。
図７Ａは、表示生成コンポーネント（例えば、図１の表示生成コンポーネント１２０）を介して、ユーザインタフェース内に三次元環境７０１を表示する電子デバイス１０１を示す。図１～図６を参照して上述したように、電子デバイス１０１は、任意選択的に、表示生成コンポーネント（例えば、タッチスクリーン）と、複数の画像センサ（例えば、図３の画像センサ３１４）と、を含む。画像センサは、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又は任意の他のセンサのうちの１つ以上を含み、電子デバイス１０１は、ユーザが電子デバイス１０１と相互作用している間、ユーザ又はユーザの一部の１つ以上の画像をキャプチャするために使用することができる。いくつかの実施形態では、以下に示されるユーザインタフェースはまた、ユーザインタフェースをユーザに表示する表示生成コンポーネントと、物理的環境及び／又はユーザの手の移動（例えば、ユーザから外向きに面する外部センサ）、並びに／あるいはユーザの視線（例えば、ユーザの顔に向かって内向きに面する内部センサ）を検出するためのセンサと、を含む、ヘッドマウントディスプレイ上に実装され得る。
図７Ａに示されるように、デバイス１０１は、デバイス１０１の周囲の物理的環境７００内の１つ以上のオブジェクトを含み、デバイス１０１の周囲の物理的環境７００（例えば、動作環境１００）の１つ以上の画像をキャプチャする。いくつかの実施形態では、デバイス１０１は、三次元環境７０１において物理的環境の表現を表示する。例えば、三次元環境７０１は、木の表現７０２ｂ（例えば、物理的環境７００内の木７０２ａに対応する）と、人物の表現７０４ｂ（例えば、物理的環境７００内の人物７０４ａに対応する）と、を含む。いくつかの実施形態では、デバイス１０１はまた、三次元環境７０１内に１つ以上の仮想オブジェクト（例えば、物理的環境７００内にないオブジェクト）を表示する。例えば、図７Ａでは、デバイス１０１は、木の表現７０２ｂ上に仮想オブジェクト７１０（例えば、装飾）を、人物の表現７０４ｂ上に仮想オブジェクト７０６（例えば、帽子）を、及び太陽の表現７０８を表示している。いくつかの実施形態では、太陽の表現７０８が、三次元環境７０１内の光源として表示され、処理され、太陽の表現７０８から生じる照明効果は、デバイス１０１によって、三次元環境７０１内に表示される物理的オブジェクト及び／又は仮想オブジェクトの表現に適用される。
図７Ａでは、デバイス１０１はまた、三次元環境７０１内のアプリケーション（例えば、アプリＡ）の表現７１２を表示している。表現７１２は、任意選択的に、アプリケーション（例えば、アプリＡ）のユーザインタフェースであり、そのアプリケーションによって表示されているコンテンツ（例えば、映画の再生、写真のコレクションなど）を含む。いくつかの実施形態では、表現７１２は、三次元環境７０１内の物理的オブジェクト及び／又は仮想オブジェクトの１つ以上の表現をオーバーレイする（例えば、物理的環境７００内の人物７０４ａに対応する人物の表現７０４ｂの前にあってその一部をオーバーレイする）ように、三次元環境７０１内の位置に表示される。いくつかの実施形態では、１つ以上の仮想オブジェクトが、表現７１２の前にあってその一部をオーバーレイし、及び／又は物理的オブジェクトの１つ以上の表現が、表現７１２の前にあってその一部をオーバーレイするように、表現７１２は、三次元環境７０１内に配置される。
いくつかの実施形態では、デバイス１０１は、特定の没入感レベルで表示生成コンポーネント１２０を介して表示される三次元環境７０１及び／又はユーザインタフェースを表示する。図９～図１６を参照して後でより詳細に説明するように、没入感レベルは、任意選択的に、電子デバイス１０１によって表示されるコンテンツが、デバイス１０１によって表示されるユーザインタフェース及び／又は仮想オブジェクトの周囲／背後の背景コンテンツ（例えば、表現７０２ｂ及び７０４ｂなどの物理的環境に対応するコンテンツ、又は対象のユーザインタフェース以外のコンテンツ）を曖昧にする関連度を含み、任意選択的に、表示される背景コンテンツのアイテム数、及び背景コンテンツが表示される視覚特性（例えば、色、コントラスト、不透明度）、並びに／又は表示生成コンポーネントを介して表示されるコンテンツの角度範囲（例えば、低い没入感で表示されるコンテンツの６０度、中間没入感で表示されるコンテンツの１２０度、高い没入感で表示されるコンテンツの１８０度）、並びに／又は電子デバイスによって表示されるコンテンツによって消費される表示生成を介して表示される視野の割合（例えば、低い没入感で電子デバイスによって表示されるコンテンツによって消費される視野の３３％、中間没入感で電子デバイスによって表示されるコンテンツによって消費される視野の６６％、高い没入感で電子デバイスによって表示されるコンテンツによって消費される視野の１００％）を含む。様々な没入感レベルでユーザインタフェースを表示することに関する追加の詳細は、図９～図１６を参照して説明される。
図７Ａでは、物理的オブジェクトの表現７０２ｂ及び７０４ｂが表示生成コンポーネント１２０を介して見える特定の没入感レベル７１８（例えば、没入感スケール７１６上に示され、その最左側は没入感なしに対応し、その右モード側は最大没入感に対応する）で、デバイス１０１は、三次元環境７０１を表示している。いくつかの実施形態では、デバイス１０１が三次元環境７０１を表示している没入感レベルを変更しないときであっても、デバイス１０１のユーザの視線に基づいて、デバイス１０１は、三次元環境７０１の様々な部分を強調表示する、及び／又は非強調表示する。例えば、図７Ａでは、デバイス１０１のユーザの視線７１４は、物理的な木の表現７０２ｂに向けられている。しかしながら、図７Ｂでは、デバイス１０１のユーザの視線７１４が、アプリＡの表現７１２に向けられていることを、デバイス１０１は（例えば、センサ３１４を使用して）検出する。アプリＡの表現７１２に向けられたユーザの視線７１４を検出したことに応答して、三次元環境７０１を表示した特定の没入感レベル７１８を変更することなく、デバイス１０１は、任意選択的に、図７Ｂに示されるように、表現７１２に対して、表現７１２の外側の三次元環境の部分を非強調表示する。例えば、デバイス１０１は、任意選択的に、図７Ｂに示されるように、表示生成コンポーネント１２０を介して表示された物理的環境７００の表現（単数又は複数）（例えば、表現７０２ｂ及び７０４ｂ、並びに／又はこれらの表現が表示された物理的環境の表現）の表示を、暗くする、ぼかす、又は他の方法で曖昧にする。デバイス１０１は、追加的又は代替的に、表現７１２以外の仮想オブジェクト（例えば、デバイス１０１のユーザの視線７１４が向けられている仮想オブジェクト）の表示を暗くする、ぼかす、又は他の方法で曖昧にし、例えば、デバイス１０１は、任意選択的に、図７Ｂに示されるように、表現７１０、表現７０８、及び表現７０６の表示を暗くする、ぼかす、又は他の方法で曖昧にする。いくつかの実施形態では、デバイス１０１は、表示生成コンポーネント１２０を介して表示された物理的環境７００の表現（単数又は複数）の表示と、表現７１２以外の仮想オブジェクトの表示との両方を、暗くする、ぼかす、又は他の方法で曖昧にする。このようにして、デバイス１０１のユーザが見ている表現以外の表現によってもたらされる混乱（単数又は複数）を、デバイス１０１は低減することができる。いくつかの実施形態では、ユーザの視線７１４が表現７１２から離れるように向けられていることを、デバイス１０１が検出した場合（例えば、図７Ａのように、表現７１２の外側の三次元環境７０１の部分に向けるように戻った場合）、デバイス１０１は、任意選択的に、図７Ｂで非強調表示される三次元環境７０１の部分を非強調表示することを停止し、図７Ａに示される様々な表現の表示に戻す。前述のように、いくつかの実施形態では、図７Ａ～図７Ｂを参照して説明される非強調表示することは、デバイス１０１が様々なユーザインタフェースを表示する没入感レベルの変更とは別個で独立しており、これについては、図９～図１６を参照してより詳細に説明する。
いくつかの実施形態では、デバイス１０１のユーザが、特定のタイプのオブジェクト（例えば、メディアプレーヤアプリケーションの表現）を見ており、他のタイプのオブジェクト（例えば、他のタイプのアプリケーションの表現）を見ていないときにのみ、デバイス１０１は、上述の非強調表示を実行する。例えば、図７Ａ～７Ｂにおいて、アプリＡは、任意選択的に、メディアプレーヤアプリケーションである（例えば、表現７１２は、映画又はテレビ番組などのメディアを表示している）。ユーザの視線７１４が、代わりに、帽子の表現７０６、又は非メディアプレーヤアプリケーションの表現に向けられていた場合、デバイス１０１は、任意選択的に、ユーザが見ていたもの以外のオブジェクト又は表現を非強調表示していない。
図８Ａ～８Ｄは、いくつかの実施形態による、ユーザの視線に基づいてユーザインタフェースを強調表示する、及び／又は非強調表示する方法８００を示すフローチャートである。いくつかの実施形態では、方法８００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）、及び１つ以上のカメラ（例えば、ユーザの手で下を向くカメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ）、又はユーザの頭部から前方を向くカメラ）を含むコンピュータシステム（例えば、タブレット、スマートフォン、ウェアラブルコンピュータ、又はヘッドマウントデバイスなどの図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、方法８００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって統御される。方法８００の一部の動作は、任意選択的に組み合わされ、及び／又は一部の動作の順序は、任意選択的に変更される。
方法８００において、いくつかの実施形態では、表示生成コンポーネント及び１つ以上の入力デバイス（例えば、モバイルデバイス（例えば、タブレット、スマートフォン、メディアプレーヤ、又はウェアラブルデバイス）、又はコンピュータ）と通信する電子デバイス（例えば、図１のコンピュータシステム１０１）は、１つ以上の入力デバイスを介して、図７Ａのユーザ入力描画２次元描画７０８などの２次元描画に対応するユーザ入力を受信する（８０２）（例えば、ユーザ入力描画を受信する、２次元描画を生成する、挿入する、又は他の方法で２次元描画を表示させる）。
方法８００において、いくつかの実施形態では、表示生成コンポーネント及びアイトラッキングデバイス（例えば、モバイルデバイス（例えば、タブレット、スマートフォン、メディアプレーヤ、又はウェアラブルデバイス）、又はコンピュータ）と通信する電子デバイス（例えば、図１のコンピュータシステム１０１）は、表示生成コンポーネントを介して、図７Ａのユーザインタフェース７１２など、第１のアプリケーションに関連付けられた第１のユーザインタフェース（８０４）と、図７Ａの三次元環境７０１など、第１のユーザインタフェースの少なくとも一部分を囲む第２のユーザインタフェース（８０６）と、を同時に表示する（８０２）。いくつかの実施形態では、電子デバイスは、モバイルデバイス（例えば、タブレット、スマートフォン、メディアプレーヤ、又はウェアラブルデバイス）、又はコンピュータである。いくつかの実施形態では、表示生成コンポーネントは、電子デバイスと統合されたディスプレイ（任意選択的に、タッチスクリーンディスプレイ）、モニタ、プロジェクタ、テレビなどの外部ディスプレイ、又はユーザインタフェースを投影するか、若しくはユーザインタフェースを１人以上のユーザに見えるようにするための（任意選択的に、統合又は外部の）ハードウェアコンポーネントなどである。いくつかの実施形態では、電子デバイスは、ユーザ入力を受信すること（例えば、ユーザ入力をキャプチャする、ユーザ入力を検出するなど）ができる電子デバイス又はコンポーネントを含む１つ以上の入力デバイスと通信し、ユーザ入力に関連する情報を電子デバイスに送信する。入力デバイスの例としては、タッチスクリーン、マウス（例えば、外部）、トラックパッド（任意選択的に、統合又は外部）、タッチパッド（任意選択的に、統合又は外部）、リモート制御デバイス（例えば、外部）、別のモバイルデバイス（例えば、電子デバイスとは別個）、ハンドヘルドデバイス（例えば、外部）、コントローラ（例えば、外部）、カメラ、深度センサ、モーションセンサ（例えば、ハンドトラッキングデバイス、ハンドモーションセンサ）、及び／又はアイトラッキングデバイスなど）を含む。
いくつかの実施形態では、電子デバイスは、アプリケーションウィンドウ内に第１のアプリケーションのコンテンツを表示する。例えば、１つ以上のタイプのコンテンツ（例えば、音楽、歌、テレビエピソード、映画など）を閲覧する、及び／又はコンテンツを再生することができるアプリケーションなど、ビデオコンテンツ再生アプリケーションにおいてビデオを表示する。いくつかの実施形態では、第１のユーザインタフェースが表示される、電子デバイスのオペレーティングシステムのユーザインタフェースなど、第２のユーザインタフェースは、システムユーザインタフェースである。いくつかの実施形態では、第１のユーザインタフェースは、第２のユーザインタフェース上にオーバーレイされる。いくつかの実施形態では、第１のユーザインタフェースは、電子デバイスが第２のユーザインタフェースを表示している間に受信された、第１のユーザインタフェースを表示するための入力に応答して表示される。いくつかの実施形態では、第２のユーザインタフェースは、特に、（例えば、アプリケーションユーザインタフェースではなくオペレーティングシステムユーザインタフェースであるので）いかなる単一のアプリケーションにも関連付けられない。いくつかの実施形態では、第２のユーザインタフェースは、電子デバイスによって生成され、表示され、又は他の方法で視聴可能にされる、仮想現実（ＶＲ）環境、複合現実（ＭＲ）環境、又は拡張現実（ＡＲ）環境などのコンピュータ生成現実（ＣＧＲ）環境内に、第１のユーザインタフェースを表示するなど、第１のユーザインタフェースが表示される三次元環境を、含むか、又はその三次元環境である。
いくつかの実施形態では、第１のユーザインタフェースと、第１のユーザインタフェースの少なくとも一部分を囲む第２のユーザインタフェースの部分と、を同時に表示している間、電子デバイスは、アイトラッキングデバイスを介して、図７Ｂの表現７１２に向けられた視線７１４など、ユーザの視線が第１のユーザインタフェースに向けられていることを検出する（８０８）（例えば、電子デバイスは、アイトラッキングデバイスを介して、ユーザが、第１のユーザインタフェース内のエリア、又は第１のユーザインタフェースを含む第２のユーザインタフェースのエリア／ボリューム内を見ていると判定する。いくつかの実施形態では、ユーザの視線が、第１のユーザインタフェースの閾値距離（例えば、１インチ、６インチ、１フィート、２フィート、１０フィートなど）内にある第２のユーザインタフェース内の位置と一致するとき、ユーザの視線は、第１のユーザインタフェースに向けられる）。
いくつかの実施形態では、ユーザの視線が、第１のユーザインタフェースに向けられていることを検出したことに応答して、１つ以上の基準が満たされたという判定に従って（例えば、第１のアプリケーションが第１のタイプのアプリケーション（例えば、写真、ビデオ、映画などを閲覧する、及び／又は視聴するためのメディアプレーヤアプリケーション）であるときに満たされるが、第１のアプリケーションが第１のタイプのアプリケーションとは異なる第２のタイプのアプリケーション（例えば、ワードプロセッシングアプリケーション）である場合に満たされない基準を、１つ以上の基準は含む。いくつかの実施形態では、１つ以上の基準は、第１のユーザインタフェースに向けられているユーザの視線以外のユーザからの任意の追加の入力なしに満たされる（例えば、第２のユーザインタフェースは、視線入力に応答して第１のユーザインタフェースに対して自動的に非強調表示される）。いくつかの実施形態では、０．５秒、１秒、２秒、５秒、１０秒などの時間閾値よりも長く、ユーザの視線が第１のユーザインタフェースに向けられているときに満たされ、そうでない場合に満たされない基準を、１つ以上の基準は含む。）、電子デバイスは、図７Ａの表現７１２に対して三次元環境７０１のコンテンツを非強調表示するなど、第１のユーザインタフェースに対して第２のユーザインタフェースを非強調表示する（８１０）。例えば、第１のユーザインタフェースは明るくされ、及び／又は第２のユーザインタフェースは暗くされる／減光される。いくつかの実施形態では、第１のユーザインタフェースの個別の視覚特性が、第１の値を有する状態から、第１の値とは異なる第２の値を有する状態に変更するように、第１のユーザインタフェースは更新される。いくつかの実施形態では、第２のユーザインタフェースの個別の視覚特性が、第３の値を有する状態から、第３の値とは異なる第４の値を有する状態に変更するように、第２のユーザインタフェースは更新される。いくつかの実施形態では、第２のユーザインタフェースは、（以前にぼかされていなかった場合に）ぼかされる、又は（以前に既にぼかされていた場合に）よりぼかされる。いくつかの実施形態では、第１のユーザインタフェースは、サイズが拡大され、したがって、第２のユーザインタフェースより多くを占有し、及び／又はより多くをオーバーレイする。いくつかの実施形態では、１つ以上の基準が満たされない場合、第２のユーザインタフェースは、第１のユーザインタフェースに対して非強調表示されない。いくつかの実施形態では、ユーザの視線が第１のユーザインタフェースから第２のユーザインタフェースに移動する場合、第１のユーザインタフェースに対する第２のユーザインタフェースの非強調表示は反転される（例えば、ユーザの視線が第１のユーザインタフェースに向けられる前に存在した相対的な強調表示に戻る）。いくつかの実施形態では、ユーザの視線が第１のユーザインタフェースから第２のユーザインタフェースに移動する場合、第１のユーザインタフェースは、第２のユーザインタフェースに対して（例えば、第１のユーザインタフェースに対して第２のユーザインタフェースを非強調表示することに関して本明細書で説明されるのと同じ又は同様の方法で）非強調表示される。第１のユーザインタフェースに対して第２のユーザインタフェースを非強調表示する上述の方法は、第１のユーザインタフェースが、フォーカスされているユーザインタフェースであることを示す効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、第２のユーザインタフェースによる混乱を回避し、したがって第２のユーザインタフェースとの不必要な相互作用を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第１のアプリケーションが、第１のタイプのアプリケーションであるときに満たされ、第１のアプリケーションが、第１のタイプとは異なる第２のタイプのアプリケーションであるときに満たされない基準を、１つ以上の基準は含む（８１２）（例えば、基準は、コンテンツ又はメディアを閲覧する、及び／又は視聴するためのアプリケーション（例えば、映画、画像、音楽、テレビ番組などが視聴可能なアプリケーション）であるアプリケーションに対して満たされ、コンテンツ又はメディアを視聴するためのアプリケーションではないアプリケーション（例えば、ワードプロセッシングアプリケーション、カレンダーアプリケーション、スプレッドシートアプリケーションなど）に対して満たされない）。いくつかの実施形態では、ユーザの視線が第１のユーザインタフェースに向けられていることを検出したことに応答して、（例えば、第１のアプリケーションがコンテンツ／メディアブラウジング及び／又は視聴アプリケーションではないので）１つ以上の基準が満たされていないという判定に従って、電子デバイスは、第１のユーザインタフェースに対して第２のユーザインタフェースを非強調表示することを控える（８１４）。例えば、第１のユーザインタフェース及び第２のユーザインタフェースの表示は、ユーザの視線が第１のユーザインタフェースに向けられていると検出された前のままであり、任意選択的に、第２のユーザインタフェースに対する第１のユーザインタフェースの相対的な強調表示、及びその逆は、ユーザの視線が第１のユーザインタフェースに向けられていると検出された前のままである。したがって、第２のユーザインタフェースは、任意選択的に、ユーザの視線が第１のユーザインタフェースに向けられていることに応答して、暗くされず、又はぼかされない。いくつかの実施形態では、第２のユーザインタフェースに対する第１のユーザインタフェースの視線ベースの非強調表示は、コンテンツ及び／又はメディア視聴アプリケーション以外のアプリケーションを含む、全てのタイプのアプリケーションに対して行われる（例えば、１つ以上の基準は、上述のアプリケーションタイプ基準を含まない）。ユーザインタフェースに関連付けられたアプリケーションのタイプに基づいて、ユーザインタフェースの視線ベースの非強調表示を実行する上述の方法は、ユーザインタフェースを強調表示／非強調表示するだけの迅速で効率的な方法を、そのような強調表示／非強調表示が望まれる可能性が高い状況において提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースをより効率的にし（例えば、ユーザインタフェースの誤った強調表示／非強調表示を回避することによって、これは、訂正するために追加のユーザ入力を必要とする）、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、ユーザの視線が第１のユーザインタフェースに向けられていることを検出した後に、及び第２のユーザインタフェースを第１のユーザインタフェースに対して非強調表示されたものとして表示している間（例えば、ユーザの視線が第１のユーザインタフェースに向けられていることにより、第２のユーザインタフェースが第１のユーザインタフェースに対して非強調表示された）、図７Ａのように、電子デバイスは、アイトラッキングデバイスを介して、例えば、視線７１４が表現７１２の外側に戻るように移動するように、ユーザの視線が第２のユーザインタフェースに向けられていることを検出する（８１６）（例えば、電子デバイスは、アイトラッキングデバイスを介して、ユーザが第１のユーザインタフェースによって占有されたエリア／ボリュームの外側の第２のユーザインタフェース内のエリアを見ていると判定する。いくつかの実施形態では、ユーザの視線が、第２のユーザインタフェースの閾値距離（例えば、１インチ、６インチ、１フィート、２フィート、１０フィートなど）内にある第１のユーザインタフェース内の位置と一致するとき、ユーザの視線は、第２のユーザインタフェースに向けられている）。いくつかの実施形態では、ユーザの視線が第２のユーザインタフェースに向けられていることを検出したことに応答して、１つ以上の第２の基準が満たされたという判定に従って（いくつかの実施形態では、１つ以上の第２の基準は、第２のユーザインタフェースに向けられているユーザの視線以外のユーザからのいかなる追加の入力もなしに満たされる（例えば、第１のユーザインタフェースは、視線入力に応答して第２のユーザインタフェースに対して自動的に非強調表示される）。いくつかの実施形態では、１つ以上の第２の基準は、ユーザの視線が０．５秒、１秒、２秒、５秒、１０秒などの時間閾値よりも長く第２のユーザインタフェースに向けられている場合に満たされ、そうでない場合に満たされない基準を含む。）、電子デバイスは、図７Ａの表示をもたらすなど、第１のユーザインタフェースに対して第２のユーザインタフェースを強調表示する（８１８）（例えば、及び／又は第２のユーザインタフェースに対して第１のユーザインタフェースを非強調表示する）。
いくつかの実施形態では、第１のユーザインタフェース及び第２のユーザインタフェースの表示は、ユーザの視線が第１のユーザインタフェースに向けられていると検出される前に、２つのユーザインタフェースが（例えば、絶対的な意味で及び／又は互いに対して）表示されていた方法に戻る。いくつかの実施形態では、第２のユーザインタフェースは、明るくされ、及び／又はぼかされず、及び／又は他の方法で余り曖昧にされない。いくつかの実施形態では、第１のユーザインタフェースは、暗くされ、及び／又はぼかされ、及び／又は他の方法でより曖昧にされる。いくつかの実施形態では、第２のユーザインタフェースは、ユーザの視線が第１のユーザインタフェースに向けられる前の第１及び第２のユーザインタフェースの相対表示と比較して、第１のユーザインタフェースに対してより強調表示されるようになる。いくつかの実施形態では、第２のユーザインタフェースは、ユーザの視線が第１のユーザインタフェースに向けられる前の第１及び第２のユーザインタフェースの相対表示と比較して、第１のユーザインタフェースに対して余り強調表示されなくなる。視線に基づいてユーザインタフェースの表示を元に戻す上述の方法は、ユーザインタフェースの以前の表示に戻るより迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、ユーザインタフェースの表示を元に戻すために追加又は異なる種類のユーザ入力を必要としないことによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、ユーザの視線が第１のユーザインタフェースに向けられていることを検出する前に、第１のユーザインタフェース及び第２のユーザインタフェースは、図７Ａの表現７０２ｂ及び７０４ｂなど、電子デバイスの物理的環境の少なくとも一部分の表現と同時に表示される（８２０）（例えば、電子デバイスの物理的環境内の部分及び／又はオブジェクトの表現は、第１のユーザインタフェース及び／又は第２のユーザインタフェースと同時に表示されるように表示生成コンポーネントを介してパススルーされる）。いくつかの実施形態では、パススルーオブジェクトは、（例えば、電子デバイスの１つ以上のセンサを介してキャプチャされ、表示生成コンポーネントを介して表示のために生成されることによって）電子デバイスによって能動的に表示される。いくつかの実施形態では、（例えば、電子デバイスの物理的環境の部分が表示生成コンポーネントを通して見えるようにする透明又は半透明の表示生成コンポーネントの場合）パススルーオブジェクトの表示は、電子デバイスによって曖昧にされない。いくつかの実施形態では、第２のユーザインタフェースは、表示生成コンポーネントを介して見える物理的環境の部分（単数又は複数）を含む。いくつかの実施形態では、第２のユーザインタフェース及び第１のユーザインタフェースは、表示生成コンポーネントを介して見える物理的環境の部分（単数又は複数）を含む、表示生成コンポーネントを介して表示される三次元環境内に表示される。いくつかの実施形態では、物理的環境の部分は、電子デバイスの物理的環境の物理的な床に配置された物理的テーブルである。
いくつかの実施形態では、第１のユーザインタフェースに対して第２のユーザインタフェースを非強調表示することは、図７Ｂに示される表現７０２ｂ及び７０４ｂの非強調表示など、第１のユーザインタフェースに対して電子デバイスの物理的環境の部分の表現を非強調表示することを含む（８２２）。例えば、電子デバイスの物理的環境の部分の表現の表示を暗くする、及び／又はぼかす、及び／又は他の方法で曖昧にする（例えば、物理的テーブルの表現を暗くすること）、並びに／あるいは第１のユーザインタフェースの表示を明るくする、及び／又は他の方法で強調表示する。電子デバイスの物理的環境の部分の表示を第２のユーザインタフェースと同様に処理する上述の方法は、ユーザの視線に対する電子デバイスの応答の一貫性を維持し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、電子デバイスの物理的環境の部分による混乱を回避し、したがって電子デバイスの物理的環境の部分との不要な相互作用を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、ユーザの視線が第１のユーザインタフェースに向けられていることを検出する前に、第１のユーザインタフェース及び第２のユーザインタフェースは、図７Ａの表現７０６、７０８及び７１０など、電子デバイスの物理的環境内にない仮想オブジェクトと同時に表示される（８２４）（例えば、物理的オブジェクト及び／又は電子デバイスの物理的環境の部分の表現ではなく、仮想オブジェクトであるオブジェクト、要素、アプリケーションなどの表現を表示する。いくつかの実施形態では、第２のユーザインタフェースは仮想オブジェクトを含む。いくつかの実施形態では、仮想オブジェクトは、第１及び／又は第２のユーザインタフェースの外側に表示される。例えば、仮想的な（例えば、物理的ではない、現実ではない）花瓶の表現は、電子デバイスの物理的環境の物理的な床に置かれた物理的テーブルに置かれたかのように表示される。いくつかの実施形態では、第１のユーザインタフェースに対して第２のユーザインタフェースを非強調表示することは、図７Ｂに示される表現７０６、７０８、及び７１０の非強調表示など、第１のユーザインタフェースに対して仮想オブジェクトを非強調表示することを含む（８２６）。例えば、第１のユーザインタフェースの表示を明るくする及び／又は他の方法で強調表示する間、仮想オブジェクトの表示を暗くする、及び／又はぼかす、及び／又は他の方法で曖昧にする（例えば、電子デバイスの物理的環境内の物理的テーブルに置かれたかのように表示された仮想花瓶を暗くする）。第２のユーザインタフェースと同様に仮想オブジェクトの表示を処理する上述の方法は、ユーザの視線に対する電子デバイスの応答の一貫性を維持し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、仮想オブジェクトによる混乱を回避し、したがって仮想オブジェクトとの不要な相互作用を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、ユーザの視線が第１のユーザインタフェースに向けられていることを検出する前に、第１のユーザインタフェース及び第２のユーザインタフェースは、図７Ａの表現７０２ｂ及び７０４ｂなど、電子デバイスの物理的環境の少なくとも一部分の表現と同時に表示される（８２８）（例えば、電子デバイスの物理的環境内の部分及び／又はオブジェクトの表現は、第１のユーザインタフェース及び／又は第２のユーザインタフェースと同時に表示されるように表示生成コンポーネントを介してパススルーされる）。いくつかの実施形態では、パススルーオブジェクトは、（例えば、電子デバイスの１つ以上のセンサを介してキャプチャされ、表示生成コンポーネントを介して表示のために生成されることによって）電子デバイスによって能動的に表示される。いくつかの実施形態では、（例えば、電子デバイスの物理的環境の部分が表示生成コンポーネントを通して見えるようにする透明又は半透明の表示生成コンポーネントの場合）パススルーオブジェクトの表示は、電子デバイスによって曖昧にされない。いくつかの実施形態では、第２のユーザインタフェースは、表示生成コンポーネントを介して見える物理的環境の部分（単数又は複数）を含む。いくつかの実施形態では、第２のユーザインタフェース及び第１のユーザインタフェースは、表示生成コンポーネントを介して見える物理的環境の部分（単数又は複数）を含む、表示生成コンポーネントを介して表示される三次元環境内に表示される。いくつかの実施形態では、物理的環境の部分は、電子デバイスの物理的環境の物理的な床に配置された物理的テーブルである。
いくつかの実施形態では、第１のユーザインタフェース及び第２のユーザインタフェースは、図７Ａの表現７０６、７０８及び７１０など、電子デバイスの物理的環境内にない仮想オブジェクトと同時に表示される（８２８）（例えば、物理的オブジェクト、及び／又は電子デバイスの物理的環境の部分の表現ではなく、仮想オブジェクトであるオブジェクト、要素、アプリケーションなどの表現を表示する）。いくつかの実施形態では、第２のユーザインタフェースは仮想オブジェクトを含む。いくつかの実施形態では、仮想オブジェクトは、第１及び／又は第２のユーザインタフェースの外側に表示される。例えば、仮想的な（例えば、物理的ではない、現実ではない）花瓶の表現は、電子デバイスの物理的環境の物理的な床に置かれた物理的テーブルに置かれたかのように表示される。いくつかの実施形態では、第１のユーザインタフェースに対して第２のユーザインタフェースを非強調表示すること（８３０）は、図７Ｂに示されるように、第１のユーザインタフェースに対して電子デバイスの物理的環境の部分の表現を非強調表示すること（８３２）（例えば、第１のユーザインタフェースの表示を明るく及び／又は他の方法で強調表示する間、電子デバイスの物理的環境の部分の表現の表示を暗くする、及び／又はぼかす、並びに／あるいは他の方法で曖昧にすること（例えば、物理的テーブルの表現を暗くすること））と、図７Ｂに示されるように、第１のユーザインタフェースに対して仮想オブジェクトを非強調表示すること（８３４）（例えば、第１のユーザインタフェースの表示を明るく及び／又は他の方法で強調表示する間、仮想オブジェクトの表示を暗くする、及び／又はぼかす、並びに／あるいは他の方法で曖昧にすること（例えば、電子デバイスの物理的環境内の物理的テーブルに置かれたかのように表示された仮想花瓶を暗くすること））と、を含む。電子デバイスの仮想オブジェクト及び物理的環境の部分の表示を第２のユーザインタフェースと同様に処理する上述の方法は、ユーザの視線に対する電子デバイスの応答の一貫性を維持し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、仮想オブジェクト及び物理的環境の部分による混乱を回避し、したがって仮想オブジェクト及び物理的環境の部分との不必要な相互作用を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第２のユーザインタフェースは、図７Ａの表現７０６、７０８及び７１０など、電子デバイスの物理的環境内にない仮想オブジェクトを含む（８３６）。例えば、（例えば、電子デバイスの物理的環境の物理的オブジェクト及び／又は部分の表現と比較して）第２のユーザインタフェース内の仮想オブジェクトであるオブジェクト、要素、アプリケーションなどの表現を表示する。例えば、仮想的な（例えば、物理的ではない、現実ではない）花瓶の表現は、電子デバイスの物理的環境の物理的な床に置かれた物理的テーブルに置かれたかのように第２のユーザインタフェースに表示される。いくつかの実施形態では、第２のユーザインタフェースは、第１のユーザインタフェースがその上に及び／又はその中に表示される背景である（例えば、したがって、第１のユーザインタフェースは、仮想オブジェクトを含むエリア／ボリューム上にオーバーレイされる）。いくつかの実施形態では、仮想オブジェクトはまた、ユーザの視線が第１のユーザインタフェースに向けられていることに応答して、第１のユーザインタフェースに対して（例えば、第２のユーザインタフェースと同様に）非強調表示される。ユーザインタフェースの視線ベースの強調表示／非強調表示を実行する上述の方法は、仮想オブジェクトを含む表示空間内のユーザインタフェースを強調表示／非強調表示する迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、ユーザの視線が第１のユーザインタフェースに向けられていることを検出する前に、第１のユーザインタフェースは、図７Ａの没入感レベル７１８などの第１の没入感レベルで表示され（８３８）（例えば、方法１０００、１２００及び／又は１６００を参照して説明される個別の没入感レベルで表示される）、第１のユーザインタフェースに対して第２のユーザインタフェースを非強調表示することは、図７Ｂの同じ没入感レベル７１８を維持するなど、第１の没入感レベルで第１のユーザインタフェースの表示を維持すること（８４０）を含む（例えば、方法１０００、１２００及び／又は１６００を参照して説明される個別の没入感レベルで表示され続ける）。例えば、方法８００において本明細書で説明される第１のユーザインタフェースに対する第２のユーザインタフェースの視線ベースの非強調表示は、任意選択的に、表示されたユーザインタフェース（単数又は複数）が表示される没入感レベルを変更しない。いくつかの実施形態では、方法８００において本明細書で説明される別のユーザインタフェースに対する１つのユーザインタフェースの非強調表示及び／又は強調表示は、方法１０００、１２００、及び／又は１６００を参照して説明されるように、没入感レベルの変更から生じる表示特性の変更から独立している。いくつかの実施形態では、方法８００において本明細書で説明される、別のユーザインタフェースに対する１つのユーザインタフェースの非強調表示及び／又は強調表示は、方法１０００、１２００、及び／又は１６００を参照して説明されるように、没入感レベルの変更から生じる表示特性の変更に付加的である、及び／又はそれと組み合わせられる（例えば、正又は負の寄与にかかわらず）。ユーザインタフェースの視線ベースの強調表示／非強調表示を実行する上述の方法は、表示されたユーザインタフェースの没入感レベルを変更することなくユーザインタフェースを強調表示／非強調表示する迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、訂正するために追加のユーザ入力を必要とする、表示されたユーザインタフェースの没入感レベルの誤った変更を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第１のユーザインタフェースは、図７Ａの三次元環境７０１のコンテンツ上にオーバーレイされた表現７１２など、第２のユーザインタフェース上にオーバーレイされて表示される（８４２）。例えば、第２のユーザインタフェースは、背景であり、その上、及び／又はその中で、第１のユーザインタフェースが表示されるので、第２のユーザインタフェースの部分（例えば、第１のユーザインタフェースの背後にある第２のユーザインタフェースの部分）は、第１のユーザインタフェースによって曖昧にされ（例えば、見えず）、第２のユーザインタフェースの他の部分（例えば、第１のユーザインタフェースを囲む及び／又は背後にない第２のユーザインタフェースの部分）は、第１のユーザインタフェースによって曖昧にされない（例えば、見える）。別のユーザインタフェース上にオーバーレイされたユーザインタフェースの視線ベースの強調表示／非強調表示を実行する上述の方法は、オーバーレイユーザインタフェースを強調表示／非強調表示する迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、オーバーレイユーザインタフェースの背後の背景による混乱を回避し、したがってオーバーレイユーザインタフェースの背後の背景との不必要な相互作用を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
図９Ａ～図９Ｃは、アプリケーションユーザインタフェースと比較した、オペレーティングシステムユーザインタフェースのための没入感レベルの設定の例を示している。
図９Ａは、表示生成コンポーネント（例えば、図１の表示生成コンポーネント１２０）を介して、ユーザインタフェース内に三次元環境９０１を表示する電子デバイス１０１を示している。図１～図６を参照して上述したように、電子デバイス１０１は、任意選択的に、表示生成コンポーネント（例えば、タッチスクリーン）と、複数の画像センサ（例えば、図３の画像センサ３１４）と、を含む。画像センサは、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又は任意の他のセンサのうちの１つ以上を含み、電子デバイス１０１は、ユーザが電子デバイス１０１と相互作用している間、ユーザ又はユーザの一部の１つ以上の画像をキャプチャするために使用することができる。いくつかの実施形態では、以下に示されるユーザインタフェースはまた、ユーザインタフェースをユーザに表示する表示生成コンポーネントと、物理的環境及び／又はユーザの手の移動（例えば、ユーザから外向きに面する外部センサ）、並びに／あるいはユーザの視線（例えば、ユーザの顔に向かって内向きに面する内部センサ）を検出するためのセンサと、を含む、ヘッドマウントディスプレイ上に実装され得る。
図９Ａに示されるように、デバイス１０１は、デバイス１０１の周囲の物理的環境９００内の１つ以上のオブジェクトを含む、デバイス１０１の周囲の物理的環境９００（例えば、動作環境１００）の１つ以上の画像をキャプチャする。いくつかの実施形態では、デバイス１０１は、三次元環境９０１において物理的環境の表現を表示する。例えば、三次元環境９０１は、（例えば、物理的環境９００における木９０２ａに対応する）木の表現９０２ｂと、（例えば、物理的環境９００における人物９０４ａに対応する）人物の表現９０４ｂと、を含む。いくつかの実施形態では、デバイス１０１はまた、三次元環境９０１内に１つ以上の仮想オブジェクト（例えば、物理的環境９００内にないオブジェクト）を表示する。例えば、図９Ａでは、デバイス１０１は、木の表現９０２ｂ上に仮想オブジェクト９１０（例えば、装飾）を、人物の表現９０４ｂ上に仮想オブジェクト９０６（例えば、帽子）を、及び太陽の表現９０８を表示している。いくつかの実施形態では、太陽の表現９０８は、表示され、三次元環境９０１内の光源として処理され、太陽の表現９０８から生じる照明効果は、デバイス１０１によって、三次元環境９０１内に表示される物理的オブジェクト及び／又は仮想オブジェクトの表現に適用される。
図９Ａでは、デバイス１０１はまた、デバイス１０１のオペレーティングシステムのユーザインタフェース９１２を表示している。ユーザインタフェース９１２は、任意選択的に、デバイス１０１上でアクセス可能な１つ以上のアプリケーションを表示／起動し得る、デバイス１０１のオペレーティングシステムのアプリケーション閲覧ユーザインタフェースである。いくつかの実施形態では、ユーザインタフェース９１２は、（例えば、デバイス１０１上のアプリケーションのユーザインタフェースであることと比較して）デバイス１０１のオペレーティングシステムの任意の他のユーザインタフェースである。図９Ａでは、ユーザインタフェース９１２は、デバイス１０１上でアクセス可能な異なるアプリケーションに対応するアイコン（例えば、アプリＡのアイコン、アプリＢのアイコン、アプリＣのアイコン、及びアプリＤのアイコン）を含み、これらは、デバイス１０１の表示生成コンポーネント１２０を介して個別に選択されたアプリケーションを表示するために選択可能である。いくつかの実施形態では、ユーザインタフェース９１２は、三次元環境９０１内の物理的オブジェクト及び／又は仮想オブジェクトの１つ以上の表現をオーバーレイ（例えば、物理的環境９００内の人物９０４ａに対応する人物の表現９０４ｂの前にあってその一部をオーバーレイ）するように、三次元環境９０１内の位置に表示される。いくつかの実施形態では、１つ以上の仮想オブジェクトが、ユーザインタフェース９１２の前にあってその一部をオーバーレイするように、及び／又は物理的オブジェクトの１つ以上の表現が、ユーザインタフェース９１２の前にあってその一部をオーバーレイするように、ユーザインタフェース９１２は、三次元環境９０１内に配置される。
いくつかの実施形態では、デバイス１０１は、特定の没入感レベルで表示生成コンポーネント１２０を介して表示される三次元環境９０１及び／又はユーザインタフェースを表示する。図９Ａでは、物理的オブジェクトの表現９０２ｂ及び９０４ｂが表示生成コンポーネント１２０を介して見える特定の没入感レベル９１８（例えば、没入感スケール９１６上に示され、その最左側は没入感なしに対応し、その右モード側は最大没入感に対応する）で、デバイス１０１は、三次元環境９０１を表示している。いくつかの実施形態では、没入感レベルは、電子デバイスによって表示されるコンテンツがユーザインタフェース９１２の周囲／背後の背景コンテンツ（例えば、ユーザインタフェース９１２以外のコンテンツ）を曖昧にする関連度を含み、任意選択的に、表示される背景コンテンツのアイテム数と、背景コンテンツが表示される視覚特性（例えば、色、コントラスト、不透明度）と、を含む。いくつかの実施形態では、背景コンテンツは、ユーザインタフェース９１２が表示される背景に含まれる。いくつかの実施形態では、背景コンテンツは、追加のユーザインタフェース（例えば、アプリケーションに対応するデバイス１０１によって生成されたユーザインタフェース、システムユーザインタフェースなど）、ユーザインタフェース９１２に関連しない若しくは含まれない仮想オブジェクト（例えば、デバイス１０１によって生成されたファイル、他のユーザの表現など）、及び／又は現実のオブジェクト（例えば、表示生成コンポーネントを介して見えるようにデバイスによって表示される、電子デバイス１０１の物理的環境内の現実のオブジェクトを表すパススルーオブジェクト）を含む。いくつかの実施形態では、第１の（例えば、低い）没入感レベルにおいて、背景、仮想、及び／又は現実のオブジェクトは、曖昧にされた方法で表示される。例えば、低い没入感レベルを有する個別のユーザインタフェースは、任意選択的に、背景コンテンツと同時に表示され、背景コンテンツは、任意選択的に、完全な輝度、色、及び／又は半透明性で表示される。いくつかの実施形態では、第２の（例えば、高い）没入感レベルにおいて、背景、仮想、及び／又は現実のオブジェクトは、曖昧にされた方法（例えば、減光される、ぼかされる、表示から除去されるなど）で表示される。例えば、高い没入感レベルを有する個別のユーザインタフェースは、背景コンテンツを同時に表示することなく（例えば、フルスクリーン又は完全没入感モードで）表示される。別の例として、中間没入感レベルで表示されたユーザインタフェースは、暗くされた、ぼかされた、又は他の方法で非強調表示された背景コンテンツと同時に表示される。いくつかの実施形態では、背景オブジェクトの視覚特性は、背景オブジェクト間で異なる。例えば、特定の没入感レベルにおいて、１つ以上の第１の背景オブジェクトは、１つ以上の第２の背景オブジェクトよりも視覚的に非強調表示され（例えば、減光され、ぼかされ、透明性が高められて表示され）、１つ以上の第３の背景オブジェクトは表示を停止する。没入感レベルに関する更なる詳細は、方法１２００、１４００、及び１６００を参照することを含めて、本明細書で説明される。
図９Ａにおいて、入力は、デバイス１０１の入力要素９２０上で受信される。入力要素９２０は、任意選択的に、スライダ要素又は回転入力要素など、デバイス１０１によって現在表示されているユーザインタフェース（単数又は複数）の没入感レベルを変更するように操作され得る機械的入力要素であり、没入感の変更の量及び方向（例えば、増加又は減少）は、入力要素９２０の操作の大きさ及び方向（例えば、入力要素９２０の移動の方向及び／若しくは大きさ、又は回転可能入力要素の回転の方向及び／若しくは大きさ）に基づく。いくつかの実施形態では、デバイス１０１及び／又は入力要素９２０は、没入感レベルを変更するにつれて、触覚フィードバック（例えば、没入感段階の増加又は減少毎のマイナーな触知出力、及び最小又は最大没入感に達すると異なるメジャーな触知出力）を生成する。
図９Ａにおいて、入力要素９２０上で受信された入力は、入力要素９２０を上方にスライドさせて、要素９２０の上方への移動量に基づく量だけ、現在表示されているユーザインタフェース（単数又は複数）の没入感レベルを増加させるための入力である。図９Ａの入力に応答して、デバイス１０１は、図９Ｂ及び没入感スケール９１６に示されるように、オペレーティングシステムユーザインタフェース９１２を表示した没入感レベルを、中間没入感レベルに増加させる。特に、いくつかの実施形態では、図９Ｂに示されるように、ユーザインタフェース９１２を表示した没入感レベルを増加させることは、デバイス１０１に、表示生成コンポーネント１２０を介してユーザインタフェースをより大きなサイズで表示させる。更に、前述のように、追加的又は代替的に、ユーザインタフェース９１２の周囲及び／又は背後に表示されたコンテンツ（例えば、物理的オブジェクト９０２ｂ及び９０４ｂ、並びに仮想オブジェクト９１０及び９０６の表現）は、図９Ｂでは暗くされ、及び／又はぼかされるが、ユーザインタフェース９１２は暗くされず、又はぼかされない。いくつかの実施形態では、現在表示されているユーザインタフェース（単数又は複数）を表示する没入感レベルを、増加させることは、追加的又は代替的に、表示生成コンポーネント１２０を介して表示される仮想又は物理的オブジェクトに関連付けられる雰囲気視覚及び／又はオーディオ効果を増加させる。例えば、図９Ｂでは、太陽の表現９０８から放射されている光線は、（例えば、表現９０８から放射されているより多くの仮想光に対応して）長くなっており、木の表現９０２ｂ上の装飾９１０は、結果として輝き始めている。没入感レベルの変更に関連した雰囲気照明、視覚、音声などの効果の追加的又は代替的変更も同様に考えられる。
前述のように、いくつかの実施形態では、異なるユーザインタフェースが表示される没入感レベルは、任意選択的に、互いに独立して設定される。例えば、オペレーティングシステムユーザインタフェースを表示した没入感レベルの変更は、任意選択的に、アプリケーションユーザインタフェースを表示した没入感レベルを変更せず、いくつかの実施形態では、第１のアプリケーションのユーザインタフェースを表示した没入感レベルの変更は、第２のアプリケーションのユーザインタフェースを表示した没入感レベルを変更しない。したがって、いくつかの実施形態では、１つのユーザインタフェースの表示から別のユーザインタフェースの表示に切り替える入力に応答して、デバイス１０１は、任意選択的に、現在表示されているユーザインタフェースに適用された没入感の任意の変更とは無関係に、そのユーザインタフェースが最後に表示された没入感レベルで、切り替えられたユーザインタフェースを表示する。
例えば、図９Ｂでは、デバイス１０１は、ユーザインタフェース９１２内のアプリＣに対応するアイコンを選択する入力を検出する。それに応答して、デバイス１０１は、図９Ｃに示されるように、アプリＣのユーザインタフェース９３４を表示する。アプリＣは、任意選択的に、デバイス１０１を介してアクセス可能な（例えば、デバイスにインストールされた）アプリケーションであり、任意選択的に、任意のタイプのアプリケーション（例えば、コンテンツ視聴アプリケーション、ワードプロセッシングアプリケーションなど）である。アプリＣは、任意選択的に、デバイス１０１のオペレーティングシステムとは異なり、したがって、ユーザインタフェース９３４は、任意選択的に、デバイス１０１のオペレーティングシステムのユーザインタフェースではなく、アプリＣのユーザインタフェースである。
図９Ｃに示されるように、アプリＣを表示するための入力に応答して、デバイス１０１は、デバイス１０１が図９Ｂにおいてユーザインタフェース９１２を表示していた没入感レベル９１８よりも高い没入感レベル９３２でユーザインタフェース９３４を（例えば、アプリＣの没入感スケール９３０によって示されるように）表示している。これは、任意選択的に、前述したように、アプリケーションのための没入感レベルの設定が、デバイス１０１のオペレーティングシステムのための没入感レベルの設定とは独立しているためである。したがって、それは、任意選択的に、デバイス１０１が図９ＣのアプリＣのユーザインタフェース９３４を表示しているより高い没入感レベルは、ユーザインタフェース９３４がデバイス１０１によって最後に表示された没入感レベルである場合である。ユーザインタフェース９３４が、図９Ｂに示されるユーザインタフェース９１２の没入感レベル９１８より、より低い没入感レベルで最後に表示されていた場合、デバイス１０１は、任意選択的に、図９Ｃに示される、より高い没入感レベルではなく、そのより低い没入感レベルで、図９Ｃのユーザインタフェース９３４を表示している。また、図９Ｃには、（図９Ｂのユーザインタフェース９１２のサイズと比較して）表示生成コンポーネント１２０上のユーザインタフェース９３４のサイズの増大、及び（図９Ｂのユーザインタフェース９１２の外側／周囲のコンテンツを暗くすること、及び／又はぼかすことと比較して）ユーザインタフェース９３４の外側／周囲のコンテンツを暗くすること、及び／又はぼかすことの増大が示され、これらの表示特性の変更は、任意選択的に、前述したように、没入感の増大に応答して生じる変更の一部である。前述したようなディスプレイ特性の追加的又は代替的な変更も考えられる。
前述したように、１つのアプリケーション内のユーザインタフェースを表示した没入感の変更は、任意選択的に、他のアプリケーションのユーザインタフェース及び／又はオペレーティングシステムのユーザインタフェースを表示した没入感レベルを変更しない。例えば、デバイス１０１が、図９ＣのアプリＣのユーザインタフェース９３４の没入感レベルを（例えば、入力要素９２０を介して）変更する入力を検出した場合、デバイス１０１は、前述したように、その入力に従ってユーザインタフェース９３４を表示した没入感レベルを変更する。ユーザインタフェース９３４を表示した没入感レベルを変更した後に、ユーザインタフェース９１２を再表示するための入力（例えば、ユーザインタフェース９３４の表示を停止する入力）に応答して、デバイスは、任意選択的に、没入感レベル９１８でユーザインタフェース９１２が表示される図９Ｂの表示に戻り、この没入感レベルは、ユーザインタフェース９１２を最後に表示した没入感レベルであり、ユーザインタフェース９１２を再表示するための入力が検出されたときに、ユーザインタフェース９３４を表示した、変更した没入感レベルから独立している。
いくつかの実施形態では、アプリケーション（例えば、アプリＣ）は、それらのアプリケーションを表示した没入感レベルを変更するために、コントロールを、それらのユーザインタフェース内に含む。例えば、いくつかの実施形態では、アプリＣのユーザインタフェース９３４は、ユーザインタフェース９３４を表示した没入感レベルを増加又は減少させるためのコントロールを含み、アプリＣを表示した没入感は、これらのコントロールとの相互作用に、追加的又は代替的に、入力要素９２０との相互作用に応答してデバイス１０１によって変更される。更に、いくつかの実施形態では、オペレーティングシステムユーザインタフェースの閾値（例えば、最大没入感）を上回る没入感は、入力要素９２０で検出された入力に応答して到達可能である。しかしながら、いくつかの実施形態では、入力要素９２０において検出された入力に応答して、アプリケーションユーザインタフェースのためのその閾値を上回る没入感は、到達可能ではなく、いくつかの実施形態では、アプリケーションユーザインタフェースを表示した没入感は、入力要素を使用してその閾値没入感に到達することしかできず、いったんその閾値に達すると、アプリケーションユーザインタフェースを表示した没入感を、その閾値を超えて増加させるために、異なるタイプの入力が要求される。例えば、図９Ｃでは、ユーザインタフェース９３４を表示した没入感レベル９３２は、任意選択的に、入力要素９２０での入力を介してユーザインタフェース９３４に対して到達し得る最も高い没入感である。没入感レベル９３２を超えて没入感を増加させるために、デバイス１０１は、任意選択的に、ユーザインタフェース９３４に示されるユーザインタフェース要素を選択する入力を必要とする。例えば、図９Ｃにおいて、ユーザインタフェース９３４は、ユーザインタフェース９３４が没入感レベル９３２を超えて表示される没入感を増加させるように選択可能なユーザインタフェース要素９５０を含む（例えば、ユーザインタフェース要素９５０を選択するユーザ入力は、任意選択的に、デバイス１０１が最大没入感で、又はフルスクリーンで、ユーザインタフェース９３４を表示することをもたらし、ここで、ユーザインタフェース９３４を囲むコンテンツは、デバイス１０１によって表示されない）。いくつかの実施形態では、ユーザインタフェース９３４は、ユーザインタフェース９３４を表示した没入感レベルが前述した閾値没入感レベルに達すると、要素９５０のみを含む。いくつかの実施形態では、ユーザインタフェース９３４は、ユーザインタフェース９３４が表示される没入感レベルが前述した閾値没入感レベルに到達したか否かにかかわらず、要素９５０を含む。
図１０Ａ～図１０Ｋは、いくつかの実施形態による、異なるユーザインタフェースの没入感レベルを互いに独立して定義する方法１０００を示すフローチャートである。いくつかの実施形態では、方法１０００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）、及び１つ以上のカメラ（例えば、ユーザの手で下を向くカメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ）、又はユーザの頭部から前方を向くカメラ）を含むコンピュータシステム（例えば、タブレット、スマートフォン、ウェアラブルコンピュータ、又はヘッドマウントデバイスなどの図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、方法１０００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって統御される。方法１０００の一部の動作は、任意選択的に組み合わされ、及び／又は一部の動作の順序は、任意選択的に変更される。
方法１０００において、いくつかの実施形態では、表示生成コンポーネント及び１つ以上の入力デバイス（例えば、モバイルデバイス（例えば、タブレット、スマートフォン、メディアプレーヤ、又はウェアラブルデバイス）、又はコンピュータ）と通信する電子デバイス（例えば、図１のコンピュータシステム１０１）は、図９Ｂのユーザインタフェース９１２など、電子デバイスのオペレーティングシステムの第１の個別のユーザインタフェースを表示する（１００２）。いくつかの実施形態では、電子デバイスは、モバイルデバイス（例えば、タブレット、スマートフォン、メディアプレーヤ、又はウェアラブルデバイス）、又はコンピュータである。いくつかの実施形態では、表示生成コンポーネントは、電子デバイスと統合されたディスプレイ（任意選択的に、タッチスクリーンディスプレイ）、モニタ、プロジェクタ、テレビなどの外部ディスプレイ、又はユーザインタフェースを投影するか、若しくはユーザインタフェースを１人以上のユーザに見えるようにするための（任意選択的に、統合又は外部の）ハードウェアコンポーネントなどである。いくつかの実施形態では、電子デバイスは、ユーザ入力を受信すること（例えば、ユーザ入力をキャプチャする、ユーザ入力を検出するなど）ができる電子デバイス又はコンポーネントを含む１つ以上の入力デバイスと通信し、ユーザ入力に関連する情報を電子デバイスに送信する。入力デバイスの例としては、タッチスクリーン、マウス（例えば、外部）、トラックパッド（任意選択的に、統合又は外部）、タッチパッド（任意選択的に、統合又は外部）、リモート制御デバイス（例えば、外部）、別のモバイルデバイス（例えば、電子デバイスとは別個）、ハンドヘルドデバイス（例えば、外部）、コントローラ（例えば、外部）、カメラ、深度センサ、モーションセンサ（例えば、ハンドトラッキングデバイス、ハンドモーションセンサ）、電子デバイスに含まれる物理的機械的入力要素（例えば、ボタン、回転機械要素、スイッチなど）、及び／又はアイトラッキングデバイスなどを含む。
いくつかの実施形態では、第１の個別のユーザインタフェースは、電子デバイス上の（例えば、インストールされた）アプリケーションによって、ではなく、電子デバイスのオペレーティングシステムによって生成された、及び／又は表示されたユーザインタフェースである。例えば、第１の個別のユーザインタフェースは、任意選択的に、システムユーザインタフェースであるアプリケーションブラウジング及び／又は起動ユーザインタフェースであり、任意選択的に、選択されると、選択されたアプリケーションのユーザインタフェースを電子デバイスに表示させる（例えば、選択されたアプリケーションを起動させる）異なるアプリケーションの複数の選択可能な表現を含む。いくつかの実施形態では、電子デバイスによって生成され、表示され、又は他の方法で視聴可能にされる、仮想現実（ＶＲ）環境、複合現実（ＭＲ）環境、又は拡張現実（ＡＲ）環境などのコンピュータ生成現実（ＣＧＲ）環境内に、第１の個別のユーザインタフェースは表示される。
いくつかの実施形態では、第１の個別のユーザインタフェースは、図９Ｂの没入感レベル９１８などの第１の没入感レベルで表示される（１００４）（例えば、いくつかの実施形態では、没入感レベルは、電子デバイスによって表示されるコンテンツが第１の個別のユーザインタフェースの周囲／背後の背景コンテンツ（例えば、第１の個別のユーザインタフェース以外のコンテンツ）を曖昧にする関連度を含み、任意選択的に、表示される背景コンテンツのアイテム数、及び背景コンテンツが表示される視覚特性（例えば、色、コントラスト、不透明度）、並びに／又は表示生成コンポーネントを介して表示されるコンテンツの角度範囲（例えば、低い没入感で表示されるコンテンツの６０度、中間没入感で表示されるコンテンツの１２０度、高い没入感で表示されるコンテンツの１８０度）、並びに／又は電子デバイスによって表示されるコンテンツによって消費される表示生成を介して表示される視野の割合（例えば、低い没入感で電子デバイスによって表示されるコンテンツによって消費される視野の３３％、中間没入感で電子デバイスによって表示されるコンテンツによって消費される視野の６６％、高い没入感で電子デバイスによって表示されるコンテンツによって消費される視野の１００％）を含む）。いくつかの実施形態では、背景コンテンツは、第１の個別のユーザインタフェースが表示される背景に含まれる。いくつかの実施形態では、背景コンテンツは、追加のユーザインタフェース（例えば、第１の個別のユーザインタフェースのアプリケーション以外のアプリケーションに対応するデバイスによって生成されたユーザインタフェース、システムユーザインタフェース）、第１の個別のユーザインタフェースに関連しない若しくは含まれない仮想オブジェクト（例えば、デバイスによって生成されたファイル、他のユーザの表現など）、及び／又は現実のオブジェクト（例えば、電子デバイスが表示生成コンポーネントを通してオブジェクトの可視性を曖昧にしない／妨げないので、オブジェクトが表示生成コンポーネントを介して見えるように、及び／又は透明若しくは半透明の表示生成コンポーネントを介して見えるように、デバイスによって表示される電子デバイスの物理的環境内の現実のオブジェクトを表すパススルーオブジェクト）を含む。いくつかの実施形態では、第１の（例えば、低い）没入感レベルにおいて、背景、仮想、及び／又は現実のオブジェクトは、曖昧にされた方法で表示される。例えば、低い没入感レベルを有する個別のユーザインタフェースは、任意選択的に、背景コンテンツと同時に表示され、背景コンテンツは、任意選択的に、完全な輝度、色、及び／又は半透明性で表示される。いくつかの実施形態では、没入感なし（又は極めて低い）状態で表示される個別のユーザインタフェースにおいて、仮想ユーザインタフェース要素は表示されず（又はほとんど表示されず）、背景コンテンツのみ（又は大部分のみ）が、任意選択的に、表示生成コンポーネントを介して表示される。いくつかの実施形態では、第２の（例えば、高い）没入感レベルにおいて、背景、仮想、及び／又は現実のオブジェクトは、曖昧にされた方法（例えば、減光される、ぼかされる、表示から除去されるなど）で表示される。例えば、高い没入感レベルを有する個別のユーザインタフェースは、背景コンテンツを同時に表示することなく（例えば、フルスクリーン又は完全没入感モードで）表示される。別の例として、中間没入感レベルで表示されたユーザインタフェースは、暗くされた、ぼかされた、又は他の方法で非強調表示された背景コンテンツと同時に表示される。いくつかの実施形態では、背景オブジェクトの視覚特性は、背景オブジェクト間で異なる。例えば、特定の没入感レベルにおいて、１つ以上の第１の背景オブジェクトは、１つ以上の第２の背景オブジェクトよりも視覚的に非強調表示され（例えば、減光され、ぼかされ、透明性が高められて表示され）、１つ以上の第３の背景オブジェクトは表示を停止する。没入感レベルに関する更なる詳細は、方法１２００、１４００、及び１６００を参照することを含めて、本明細書で説明される。
いくつかの実施形態では、第１の没入感レベルで第１の個別のユーザインタフェースを表示している間、電子デバイスは、１つ以上の入力デバイスを介して、図９ＢのアプリＣのアイコン上の入力など、個別のアプリケーションの第２の個別のユーザインタフェースを表示する要求に対応する第１のユーザ入力を受信する（１００６）（例えば、アプリケーション閲覧ユーザインタフェース内の個別のアプリケーションのアプリケーションアイコンの選択を検出する）。いくつかの実施形態では、第１のユーザ入力は、第１の個別のユーザインタフェースに表示されているか否かにかかわらず、個別のアプリケーションのアイコンを選択することなく、個別のアプリケーションを表示するための音声入力である。いくつかの実施形態では、第１のユーザ入力を受信したことに応答して、電子デバイスは、表示生成コンポーネントを介して、図９Ｃに示されるユーザインタフェース９３４など、個別のアプリケーションの第２の個別のユーザインタフェースを表示し（１００８）（例えば、いくつかの実施形態では、第２の個別のユーザインタフェースは、第１の個別のユーザインタフェース上にオーバーレイされて表示され、これらの両方は、任意選択的に、背景上及び／又は三次元環境内に表示され続ける。いくつかの実施形態では、第２の個別のユーザインタフェースを表示することは、第２の個別のユーザインタフェース（第１の個別のユーザインタフェースではない）が、背景上及び／又は三次元環境内に表示され続けるように、第１の個別のユーザインタフェースの表示を停止することを含む）、個別のアプリケーションの第２の個別のユーザインタフェースは、図９Ｃに示される没入感レベル９３２などの第２の没入感レベル（例えば、オペレーティングシステムユーザインタフェースの没入感レベルとは独立した没入感レベル）で表示される（１０１０）。したがって、いくつかの実施形態では、オペレーティングシステムユーザインタフェースの没入感レベルは、アプリケーションユーザインタフェースの没入感レベルに影響を及ぼさない。いくつかの実施形態では、第２の個別のユーザインタフェースを表示した第２の没入感レベルは、第２の個別のユーザインタフェースを（第２の個別のユーザインタフェースの現在の表示の前に）最後に表示した没入感レベルである。いくつかの実施形態では、オペレーティングシステムユーザインタフェースの没入感レベルは、アプリケーションユーザインタフェースの没入感レベルに影響を及ぼす（例えば、システムユーザインタフェースが第１の没入感レベルに設定されている場合、アプリケーションユーザインタフェースをその後表示することは、アプリケーションユーザインタフェースを異なる没入感レベルで最後に表示した場合であっても、アプリケーションユーザインタフェースをその同じ第１の没入感レベルで表示することを含む）。
いくつかの実施形態では、第２の没入感レベルで第２の個別のユーザインタフェースを表示している間、電子デバイスは、１つ以上の入力デバイスを介して、図９Ｃの入力要素９２０上の入力など、電子デバイスに関連付けられた現在の没入感レベルを変更する要求に対応する第２のユーザ入力を受信する（１０１２）（例えば、音声入力、手ジェスチャ、表示されたユーザインタフェース要素の選択、及び／又は現在表示されているユーザインタフェースの没入感レベルを増加又は減少させる要求に対応する電子デバイスに含まれる機械的入力要素における入力（例えば、回転入力）の検出。いくつかの実施形態では、第２のユーザ入力を受信したことに応答して、電子デバイスは、表示生成コンポーネントを介して、第２の没入感レベルとは異なる第３の没入感レベルで第２の個別のユーザインタフェースを表示する（１０１４）（例えば、第２のユーザ入力に従って第２の個別のユーザインタフェースの没入感レベルを増加又は減少させる）。
いくつかの実施形態では、第３の没入感レベルで第２の個別のユーザインタフェースを表示している間、電子デバイスは、１つ以上の入力デバイスを介して、図９Ｃのユーザインタフェース９３４の表示を停止する入力など（例えば、ユーザインタフェースの没入感レベルを変更する要求に対応する明示的なユーザ入力なしで）（例えば、第２の個別のユーザインタフェースの表示を停止する入力、電子デバイスのナビゲーション階層において逆方向にナビゲートする入力、アプリケーション閲覧ユーザインタフェースを再表示する入力など）、第１の個別のユーザインタフェースを表示する要求に対応する第３のユーザ入力を受信する（１０１６）。いくつかの実施形態では、第３のユーザ入力を受信したことに応答して、電子デバイスは、表示生成コンポーネントを介して、第１の個別のユーザインタフェースを表示し（１０１８）、第１の個別のユーザインタフェースは、図９Ｂの没入感レベル９１８のユーザインタフェース９１２など、第１の没入感レベル（例えば、第１のユーザ入力に応答して、第２の個別のユーザインタフェースが表示されたとき、第１の個別のユーザインタフェースが有していたのと同じ没入感レベル）で表示される（１０２０）。したがって、いくつかの実施形態では、第１の個別のユーザインタフェースの没入感レベルは、第２の個別のユーザインタフェースの没入感レベルの変更の結果として変更しなかった）。したがって、いくつかの実施形態では、アプリケーションのユーザインタフェースの没入感レベルに対する変更は、任意選択的に、システムユーザインタフェースの没入感レベルに対する対応する変更を引き起こさない。いくつかの実施形態では、システムユーザインタフェースの没入感レベルに対する変更は、アプリケーションのユーザインタフェースの没入感レベルに対する変更を引き起こさない。いくつかの実施形態では、アプリケーションのユーザインタフェースの没入感レベルに対する変更は、任意選択的に、システムユーザインタフェースの没入感レベルに対する対応する変更（例えば、没入感レベルが共に増加／減少する）を引き起こし、及び／又はその逆も同様である。いくつかの実施形態では、オペレーティングシステムユーザインタフェースの没入感レベルは、電子デバイスに含まれる機械的入力要素を介して変更可能であるが、アプリケーションユーザインタフェースの没入感レベルは、その機械的入力要素を介して変更可能ではなく、いくつかの実施形態では、アプリケーションユーザインタフェースの没入感レベルは、表示生成コンポーネントを介して表示されるコントロールを介して変更可能である。アプリケーションユーザインタフェースの没入感レベルの変更にかかわらずシステムユーザインタフェースの没入感レベルを維持する上述の方法は、没入感レベルが、異なるユーザインタフェースに対して独立して定義され得る、及び／又は変更され得る柔軟なアーキテクチャを提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、現在のユーザインタフェースにおける没入感レベルの変更の結果として別のユーザインタフェースにおける誤った没入感レベルの変更を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、１つ以上の入力デバイスは、回転可能入力要素を含み、電子デバイスに関連付けられた現在の没入感レベルを変更する要求に対応する第２のユーザ入力を受信することは、入力要素９２０を参照して説明されるように、回転可能入力要素の回転を検出することを含む（１０２２）。例えば、電子デバイスは、電子デバイスに提供される回転ユーザ入力に応答して回転する機械的入力要素を含むか、又はそれと通信し、いくつかの実施形態では、電子デバイスに提供される押下ユーザ入力に応答して押下されてもよい。いくつかの実施形態では、機械的入力要素の回転入力は、表示生成コンポーネントを介して、電子デバイスによって現在表示されているユーザインタフェース（単数又は複数）の現在の没入感レベルを変更する入力に対応する。いくつかの実施形態では、回転の方向（例えば、時計回り又は反時計回り）は、入力が、表示されたユーザインタフェース（単数又は複数）の没入感レベルを増加（例えば、時計回り）又は減少（例えば、反時計回り）させる要求であるか否かを定義する。いくつかの実施形態では、回転の大きさは、表示されたユーザインタフェース（単数又は複数）の没入感レベルが変更される量を定義する。表示されたユーザインタフェース（単数又は複数）の没入感レベルを変更する上述の方法は、表示されたユーザインタフェース（単数又は複数）の没入感レベルを変更する迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、没入感レベルを変更するためのユーザインタフェース要素を表示する必要性を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、回転可能要素の回転を検出している間（１０２４）、現在表示されているユーザインタフェースの現在の没入感レベルが最小没入感レベルであるという判定に従って、電子デバイスは、図９Ａ～図９Ｃを参照して説明されるように、第１の値を有する個別の特性を有する第１の触知出力を、触知出力ジェネレータ（例えば、回転可能入力要素に結合された、及び／又は回転可能入力要素が任意選択的に結合されるデバイスのハウジングに結合されたなど）を介して生成する（１０２６）（例えば、回転入力要素において検出された回転入力に応答して、表示されたユーザインタフェース（単数又は複数）が最小没入感レベル（例えば、没入感なし）に達した場合、電子デバイスは、任意選択的に、表示されたユーザインタフェース（単数又は複数）の利用可能な没入感レベルの範囲の最小に達したことを示すために、回転入力要素において第１のタイプの触知出力（例えば、メジャーな触知出力）を生成する）。第１のタイプの触知出力は、任意選択的に、第１の大きさ、第１のテクスチャ、第１の周波数などを有する。いくつかの実施形態では、電子デバイスは、（例えば、回転可能入力要素において／回転可能入力要素に対して直接ではなく）電子デバイスのハウジングにおいて触知出力を生成する。
いくつかの実施形態では、現在表示されているユーザインタフェースの現在の没入感レベルが最大没入感レベルであるという判定に従って、電子デバイスは、触知出力ジェネレータを介して、図９Ａ～図９Ｃを参照して説明されるように、第１の値を有する個別の特性を有する第２の触知出力を生成する（１０２８）（例えば、回転入力要素において検出された回転入力に応答して、表示されたユーザインタフェース（単数又は複数）が最大没入感レベル（例えば、完全な没入感）に達した場合、電子デバイスは、任意選択的に、表示されたユーザインタフェース（単数又は複数）の利用可能な没入感レベルの範囲の最大値に達したことを示すために、回転入力要素において第１のタイプの触知出力（例えば、メジャーな触知出力）を生成する）。第１のタイプの触知出力は、任意選択的に、第１の大きさ、第１のテクスチャ、第１の周波数などを有する。いくつかの実施形態では、電子デバイスは、（例えば、回転可能入力要素において／回転可能入力要素に対して直接ではなく）電子デバイスのハウジングにおいて触知出力を生成する。
いくつかの実施形態では、現在表示されているユーザインタフェースの現在の没入感レベルが中間没入感レベルであるという判定に従って、電子デバイスは、触知出力ジェネレータを介して、図９Ａ～図９Ｃを参照して説明されるように、第１の値とは異なる第２の値を有する個別の特性を有する第３の触知出力を生成する（１０３０）。例えば、回転入力要素において検出された回転入力に応答して、表示されたユーザインタフェース（単数又は複数）が、既定の中間没入感レベルに到達した（例えば、１つの没入感段階から次の没入感段階に移動した）場合、電子デバイスは、任意選択的に、回転入力要素において第２のタイプの触知出力（例えば、マイナーな触知出力）を生成して、表示されたユーザインタフェース（単数又は複数）の利用可能な没入感レベルの範囲の既定のレベルに到達したことを示す。第２のタイプの触知出力は、任意選択的に、第２の大きさ、第２のテクスチャ、第２の周波数などを有する。いくつかの実施形態では、電子デバイスは、（例えば、回転可能入力要素において／回転可能入力要素に対して直接ではなく）電子デバイスのハウジングにおいて触知出力を生成する。いくつかの実施形態では、異なるアプリケーション及び／又はオペレーティングシステムは、それらのそれぞれのユーザインタフェースに対して異なる最小、最大、及び／又は既定の中間没入感レベルを有し、したがって、いくつかの実施形態では、上述の触知出力は、任意選択的に、どのユーザインタフェースが現在調整されているかに依存して異なる没入感レベルで生成される。いくつかの実施形態では、電子デバイスは、複数の没入感段階（例えば、２～１０００の没入感段階）（例えば、そのうちの１つ）でユーザインタフェース（単数又は複数）を表示することができる。いくつかの実施形態では、没入感段階は、より多くの没入感に向かって単調に進行する（例えば、没入感なしから最大没入感まで）。本明細書に説明されるように、電子デバイスが１つの没入感段階から次の没入感段階に移動するにつれて、電子デバイスは、任意選択的に、表示されたユーザインタフェース（単数又は複数）の１つ以上の部分の表示特性を変更する。例えば、没入感が増加するにつれて、電子デバイスは、ユーザインタフェースに表示される物理的環境の量を低減すること、ユーザインタフェース内に表示される物理的環境の輝度又は彩度をぼかす及び／又は減少すること、１つ以上の仮想オブジェクトによって占有される表示生成コンポーネントの視野の量を増加させること、１つ以上の仮想オブジェクトの輝度又は彩度のぼかしを解除する及び／又はそれを増加させること、あるいは方法１０００、１２００、１４００若しくは１６００を参照して本明細書に説明される他の効果のいずれか、のうちの１つ以上を実行する。いくつかの実施形態では、電子デバイスは、任意選択的に、１つの没入感段階から前の没入感段階へ降順に進むにつれて、反対の変更を行う。いくつかの実施形態では、異なる没入感段階は、電子デバイスが表示するものに対する特性の異なる変更をもたらす。例えば、没入感段階の１つのセット（例えば、より低い没入感段階レベル）において、電子デバイスは、最初に、没入感段階の第１のセットを通って移動するにつれて、表示生成コンポーネントを介して表示される物理的環境の部分をぼかすこと、又は曖昧にすることを増加させる段階を通って移動し、後続の没入感段階の第２のセットにおいて、電子デバイスは、任意選択的に、没入感段階の第２のセットを通って移動するにつれて、表示生成コンポーネントを介して表示される物理的環境の部分を暗くする（例えば、ぼかされた）段階を通って移動し、後続の没入感段階の第３のセットにおいて、電子デバイスは、任意選択的に、没入感段階の第３のセットを通って移動するにつれて、表示生成コンポーネントを介して表示される物理的環境の部分（例えば、ぼかされた及び／又は暗くされた）を仮想オブジェクトで置換する段階を通って移動する。いくつかの実施形態では、電子デバイスは、任意選択的に、没入感段階のセットを降順に進行するにつれて反対の変更を行う。触知出力を生成する上述の方法は、表示されたユーザインタフェース（単数又は複数）の現在の没入感レベルを示す迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、没入感レベルを示すためのユーザインタフェース要素を表示する必要性を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第２のユーザ入力は、第１の部分及び第２の部分（例えば、合計３６０度の時計回りの回転、１８０度の第１の時計回りの回転の後に、１８０度の第２の時計回りの回転）を含む（１０３２）。いくつかの実施形態では、第２のユーザ入力を受信している間（１０３４）、第２のユーザ入力の第１の部分を受信したことに応答して、電子デバイスは、表示生成コンポーネントを介して、図９Ａ～図９Ｃを参照して説明されるように、第２の没入感レベルと第３の没入感レベルとの間にある第４の没入感レベルで第２の個別のユーザインタフェースを表示する（１０３６）（例えば、回転可能入力要素が回転するにつれて、及び／又は第２のユーザ入力の第１の部分における回転可能入力要素の回転量に比例して、没入感レベルを増加させる）。いくつかの実施形態では、第２のユーザ入力の第２の部分を受信したことに応答して、電子デバイスは、表示生成コンポーネントを介して、図９Ａ～図９Ｃを参照して説明されるように、第３の没入感レベルで第２の個別のユーザインタフェースを表示する（１０３８）（例えば、回転可能入力要素が回転するにつれて、及び／又は第２のユーザ入力の第１の部分における回転可能入力要素の回転量に比例して、没入感レベルを更に増加させる）。したがって、いくつかの実施形態では、電子デバイスは、回転可能入力要素が回転されるにつれて、並びに／あるいは回転可能入力要素の回転に比例して及び／又はそれに従って（例えば、ユーザ入力の大きさ及び／又は方向に基づいて）、ディスプレイユーザインタフェース（単数又は複数）の没入感レベルを徐々に変更させる。没入感レベルを変更する上述の方法は、没入感レベルを変更している間、ユーザにリアルタイムフィードバックを提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースをより効率的にし（例えば、誤った没入感レベルへの遷移を回避することによって、これは、没入感レベルの変更の一部又は全部を逆転させるための更なるユーザ入力の必要性を回避する）、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、図９Ａ～図９Ｃを参照して説明されるように、電子デバイスに関連付けられた現在の没入感レベルを変更する要求に対応する第２のユーザ入力を受信すること（１０４０）は、第２の個別のユーザインタフェースが第１のアプリケーションのユーザインタフェースであるという判定に従って、第２の個別のユーザインタフェースと共に表示される第１の個別のコントロールとの相互作用を検出すること（１０４２）と、第２の個別のユーザインタフェースが第１のアプリケーションとは異なる第２のアプリケーションのユーザインタフェースであるという判定に従って、第２のユーザインタフェースと共に表示される、第１の個別のコントロールとは異なる第２の個別のコントロールとの相互作用を検出すること（１０４４）と、を含む。例えば、いくつかの実施形態では、異なるアプリケーションは、アプリケーションのユーザインタフェースの没入感レベルを変更するための異なるコントロールを表示する、及び／又は有する。例えば、第１のアプリケーションのユーザインタフェースは、任意選択的に、５つの没入感段階のステップによってユーザインタフェースの没入感レベルを変更するためのコントロール（例えば、０から１００まで５の増分によって没入感段階をステップアップ／ダウンするためのアップ／ダウンコントロール）を有する。第２のアプリケーションのユーザインタフェースは、任意選択的に、１つの没入感段階のステップによってユーザインタフェースの没入感レベルを変更するためのコントロール（例えば、表示されたダイヤルの回転に従って没入感段階を０から１００まで１段階だけステップアップ／ダウンするためにユーザ入力に応答して回転可能な表示されたダイヤル）を有する。いくつかの実施形態では、一部のアプリケーション及び／又はユーザインタフェースは、没入感レベルを変更するためのコントロールを表示し（例えば、没入感レベルは、表示されたコントロールとの相互作用を介して変更され、任意選択的に、回転可能入力要素の回転を介して変更され得ず、又は任意選択的に、回転可能入力要素の回転を介して変更され得る）、一部のアプリケーション及び／又はユーザインタフェースは、没入感レベルを変更するためのコントロールを表示しない（例えば、没入感レベルは、回転可能入力要素の回転を介してのみ変更され得る）。例えば、いくつかの実施形態では、オペレーティングシステムユーザインタフェースの没入感レベルは、任意選択的に、回転可能入力要素の回転を介して（例えば、表示されたユーザインタフェースコントロールを介さずに）変更可能であるが、電子デバイス上で実行中のアプリケーションの没入感レベルは、任意選択的に、回転可能入力要素の回転を介して、及び／又は表示されたユーザインタフェースコントロールを介して変更可能である。アプリケーションベースの没入感コントロールを有する上述の方法は、表示されたアプリケーション及び／又はユーザインタフェースによく適合する没入感を変更するための手段を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースをより効率的にし（例えば、ユーザインタフェースによく適合しないユーザインタフェースの没入感レベルを変更するための入力を回避することによって、これは、そのような入力を訂正するための更なるユーザ入力の必要性を回避する）、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第２の没入感レベルにおいて、電子デバイスの物理的環境の第１の量が、図９Ａ～図９Ｂに示されるように、表示生成コンポーネントを介して、電子デバイスによって表示される個別のユーザインタフェースと置換され（１０４６）、第３の没入感レベルにおいて、電子デバイスの物理的環境の第１の量とは異なる第２の量が、図９Ｂ～図９Ｃに示されるように、表示生成コンポーネントを介して、電子デバイスによって表示される個別のユーザインタフェースと置換される（１０４８）。例えば、いくつかの実施形態では、電子デバイスは、方法１２００、１４００及び１６００を参照して説明されるように、電子デバイスの物理的環境の表現（単数又は複数）（例えば、物理的環境内のオブジェクト、物理的環境内の表面など）を表示することに加えて、コンテンツ／ユーザインタフェース（単数又は複数）を表示している。いくつかの実施形態では、物理的環境の表現（単数又は複数）は、前述したように、表示生成コンポーネントを介してパススルーされる。いくつかの実施形態では、より低い没入感レベルにおいて、電子デバイスが表示生成コンポーネントを介してコンテンツ／ユーザインタフェース（単数又は複数）を表示している間、物理的環境のより多くの表現（単数又は複数）が、表示生成コンポーネントを介してパススルーされる。いくつかの実施形態では、より高い没入感レベルにおいて、電子デバイスが表示生成コンポーネントを介してコンテンツ／ユーザインタフェース（単数又は複数）を表示している間、少数の物理的環境の表現（単数又は複数）が、表示生成コンポーネントを介してパススルーされる。例えば、第１の没入感レベルにおいて、電子デバイスは、任意選択的に、表示生成コンポーネントを介して物理的環境の表現（単数又は複数）（例えば、物理的オブジェクトの表現）の８０％をパススルーするが、第２の高い没入感レベルにおいて、電子デバイスは、任意選択的に、表示生成コンポーネントを介して物理的環境の表現（単数又は複数）（例えば、物理的オブジェクトの表現）の５０％をパススルーする。いくつかの実施形態では、より低い及びより高い没入感レベルは、任意選択的に、それぞれ、物理的環境の表現（単数又は複数）の多い又は少ないものを、表示生成コンポーネントを介してパススルーさせる。いくつかの実施形態では、（例えば、コンテンツ／ユーザインタフェース（単数又は複数）が表示生成コンポーネントの表示エリアの大きな部分を占めるので）より高い没入感レベルにおいて、物理的環境の多くの表現（単数又は複数）が、電子デバイスによって表示されるコンテンツ／ユーザインタフェース（単数又は複数）によって置換され、（例えば、コンテンツ／ユーザインタフェース（単数又は複数）が表示生成コンポーネントの表示エリアの小さな部分を占めるので）より低い没入感レベルにおいて、物理的環境の少ない表現（単数又は複数）が、電子デバイスによって表示されるコンテンツ／ユーザインタフェースによって置換される。（例えば、電子デバイスによって置換される）パススルーコンテンツの量を変化させる上述の方法は、没入感レベルが増加するにつれて、電子デバイスによって表示されたユーザインタフェース（単数又は複数）と物理的環境との干渉を低減し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、高い没入感レベルで物理的環境をパススルーすることによって引き起こされる混乱を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第２の没入感レベルにおいて、電子デバイスの物理的環境の第１の量が、図９Ａ～図９Ｂに示されるように、電子デバイスによって、表示生成コンポーネントを介して非強調表示され（１０５０）、第３の没入感レベルにおいて、電子デバイスの物理的環境の第１の量とは異なる第２の量が、図９Ｂ～図９Ｃに示されるように、電子デバイスによって、表示生成コンポーネントを介して非強調表示される（１０５２）。例えば、いくつかの実施形態では、電子デバイスは、方法１２００、１４００及び１６００を参照して説明されるように、電子デバイスの物理的環境の表現（単数又は複数）（例えば、物理的環境内のオブジェクト、物理的環境内の表面など）を表示することに加えて、コンテンツ／ユーザインタフェース（単数又は複数）を表示している。いくつかの実施形態では、物理的環境の表現（単数又は複数）は、前述したように、表示生成コンポーネントを介してパススルーされる。いくつかの実施形態では、より低い没入感レベルにおいて、電子デバイスが表示生成コンポーネントを介してコンテンツ／ユーザインタフェース（単数又は複数）を表示している間、物理的環境の表現（単数又は複数）は、表示生成コンポーネントを介して第１の強調表示レベル（例えば、色、明るさ、ぼやけていないなど）で表示される。いくつかの実施形態では、より高い没入感レベルにおいて、電子デバイスが、表示生成コンポーネントを介してコンテンツ／ユーザインタフェース（単数又は複数）を表示している間、物理的環境の表現（単数又は複数）は、表示生成コンポーネントを介して、第１の強調表示レベルよりも低い第２の強調表示レベル（例えば、低い飽和色又はグレースケール、低い輝度、よりぼけたなど）で表示される。例えば、第１の没入感レベルにおいて、電子デバイスは、任意選択的に、表示生成コンポーネントを介して物理的環境の表現（単数又は複数）（例えば、物理的オブジェクトの表現）の色、輝度などの８０％をパススルーするが、第２のより高い没入感レベルにおいて、電子デバイスは、任意選択的に、表示生成コンポーネントを介して物理的環境の表現（単数又は複数）（例えば、物理的オブジェクトの表現）の色、輝度などの５０％をパススルーする。いくつかの実施形態では、より低い及びより高い没入感レベルは、任意選択的に、表示生成コンポーネントを介してパススルーされた物理的環境の表現（単数又は複数）の少ない又は多い非強調表示を、それぞれ引き起こす。パススルーコンテンツの強調表示を変化させる上述の方法は、没入感レベルが増加するにつれて、電子デバイスによって表示されたユーザインタフェース（単数又は複数）と物理的環境との干渉を低減し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、高い没入感レベルで物理的環境をパススルーすることによって引き起こされる混乱を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第２の没入感レベルにおいて、表示生成コンポーネントの表示エリアの第１の量が、電子デバイスによって表示される個別のユーザインタフェースによって占有され（１０５４）、第３の没入感レベルにおいて、図９Ａ～図９Ｂに示されるユーザインタフェース９１２のエリアなど、表示生成コンポーネントの表示エリアの第１の領域とは異なる第２の領域が、電子デバイスによって表示される個別のユーザインタフェースによって占有される（１０５６）。いくつかの実施形態では、方法１２００、１４００、及び１６００を参照して説明されるように、没入感なしにおいて、電子デバイスによって表示されるコンテンツ／ユーザインタフェース（単数又は複数）は、表示生成コンポーネントの表示空間の部分を占有せず、任意選択的に、表示生成コンポーネントの表示空間の全体が、電子デバイスの物理的環境の表現（単数又は複数）（例えば、物理的環境内のオブジェクト、物理的環境内の表面など）によって占有される。いくつかの実施形態では、物理的環境の表現（単数又は複数）は、前述したように、表示生成コンポーネントを介してパススルーされる。いくつかの実施形態では、完全な没入感において、電子デバイスによって表示されるコンテンツ／ユーザインタフェース（単数又は複数）は、表示生成コンポーネントの表示空間の全体を占有し、任意選択的に、方法１２００、１４００及び１６００を参照して説明されるように、表示生成コンポーネントの表示空間のいずれも、電子デバイスの物理的環境の表現（単数又は複数）（例えば、物理的環境内のオブジェクト、物理的環境内の表面など）によって占有されない。いくつかの実施形態では、没入感レベルが没入感なし／低い没入感から完全な没入感／高い没入感に増加するにつれて、表示生成コンポーネントの表示空間は、次第に、電子デバイスによって表示されるコンテンツ／ユーザインタフェース（単数又は複数）によって占有され、表示生成コンポーネントの表示空間は、次第に、電子デバイスの物理的環境の表現（単数又は複数）によって占有されず、逆もまた同様である。電子デバイスによって表示されたコンテンツによって占有される表示空間の量、及び電子デバイスの物理的環境の表現（単数又は複数）を変化させる上述の方法は、没入感レベルが増加するにつれて、電子デバイスによって表示されたユーザインタフェース（単数又は複数）に対する物理的環境の干渉を低減し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、高い没入感レベルで物理的環境をパススルーすることによって引き起こされる混乱を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第２の個別のユーザインタフェースを第２の没入感レベルで表示されている状態から第３の没入感レベルで表示されている状態に変更することは、オブジェクト９０８及び９１０上の図９Ａから図９Ｂへの遷移に示されるように、表示生成コンポーネントを介して表示された雰囲気効果を変更すること（１０５８）を含む。例えば、いくつかの実施形態では、電子デバイスは、方法１２００、１４００及び１６００を参照して説明されるように、電子デバイスの物理的環境（例えば、物理的環境内のオブジェクト、物理的環境内の表面など）の表現（単数又は複数）を表示する。いくつかの実施形態では、物理的環境の表現（単数又は複数）は、前述したように、表示生成コンポーネントを介してパススルーされる。いくつかの実施形態では、電子デバイスは、電子デバイスによって生成された雰囲気効果に対応する１つ以上の視覚効果を有するこれらの表現を表示するように、デバイスの物理的環境のこれらの表現（単数又は複数）の表示を修正する。例えば、いくつかの実施形態では、雰囲気効果は、１日の間の夕暮れの光／音／などの模倣効果である。いくつかの実施形態では、低い没入感／没入感なしにおいて、物理的環境の表現（単数又は複数）は、（例えば、晴れた日の正午に屋外にいるなど、これが電子デバイスにおける場合である場合に）あたかも昼光下で表示されているかのように、表示生成コンポーネントを介して表示される。いくつかの実施形態では、没入感レベルが増加するとき、電子デバイスは、現在時刻が正午ではなく夕暮れであった物理的環境の見た目／雰囲気を模倣するために、太陽、又は太陽光が入射する物理的オブジェクトを潜在的に含む様々なオブジェクトが表示生成コンポーネントを介して表示される輝度を低減することを含めて、表示生成コンポーネントを介して表示される太陽光の輝度を低減するように物理的環境の表現（単数又は複数）の表示を修正する。いくつかの実施形態では、そのような雰囲気効果を変更させることは、（例えば、月、又は太陽は、それが設定されるとすぐに、又はその直後に光を放出する）異なる仮想光源を三次元環境に追加することと、物理的環境の表現（単数又は複数）を、それらがその新しい光源によって照らされた場合に有するであろう外観で表示することと、を含む。いくつかの実施形態では、最大没入感において、物理的環境の表現（単数又は複数）の正午の照明／雰囲気／見た目などは、物理的環境の表現（単数又は複数）の夕暮れ時の光／雰囲気／見た目などによって完全に置換される。物理的環境が表示される雰囲気効果を変化させる上述の方法は、没入感レベルが増加するにつれて、ユーザが仮想体験に引き込まれるレベルを増加させ、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、高い没入感レベルでの物理的環境によって引き起こされる混乱を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第２の個別のユーザインタフェースは、電子デバイスによって表示される個別のユーザインタフェース要素を含み、第２の個別のユーザインタフェースを第２の没入感レベルで表示されている状態から第３の没入感レベルで表示されている状態に変更することは、図９Ａから図９Ｂへの遷移におけるオブジェクト９０６、９０８及び／又は９１０の表示の変更など、個別のユーザインタフェース要素の表示を変更することを含む（１０６０）。前述したように、更に方法１２００、１４００及び１６００を参照して説明されるように、いくつかの実施形態では、電子デバイスは、表示生成コンポーネントを介して１つ以上の仮想オブジェクトを表示する。いくつかの実施形態では、仮想オブジェクト（単数又は複数）は、例えば、アプリケーションのユーザインタフェース／コンテンツである。いくつかの実施形態では、仮想オブジェクトは、電子デバイスの物理的環境における物理的オブジェクトの表現（例えば、物理的テーブルの表現上に表示された仮想の花瓶）と何らかの関係で表示される仮想オブジェクトである。いくつかの実施形態では、仮想オブジェクトは、物理的オブジェクトの表現と関係なく表示される仮想オブジェクト（例えば、スペックにおいてユーザによって描かれた仮想描画）である。いくつかの実施形態では、没入感レベルを変更することにより、任意選択的に、電子デバイスは、表示生成コンポーネントを介してそのような仮想オブジェクトの表示を変更する。例えば、いくつかの実施形態では、没入感レベルを増加させることは、任意選択的に、仮想オブジェクト（単数又は複数）を拡大させ（例えば、表示生成コンポーネントを介してより広い表示空間で表示させ）、より多く強調表示して表示させ（例えば、異なる色、異なる陰影、異なる（例えば、より多い）照明、高い輝度、高い鮮明度、低い半透明性など）、ユーザの視点の近くに表示させるなどである。いくつかの実施形態では、没入感レベルを減少させることは、任意選択的に、仮想オブジェクト（単数又は複数）を縮小させ（例えば、表示生成コンポーネントを介してより狭い表示空間で表示させ）、より少なく強調表示して表示させ（例えば、異なる色、異なる陰影、異なる（例えば、より少ない）照明、低い輝度、低い鮮明度、高い半透明性など）、ユーザの視点から遠くに表示させるなどである。仮想オブジェクトの表示を変化させる上述の方法は、没入感レベルが増加するにつれて、仮想オブジェクトに対するユーザの関与を増加させ、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、高い没入感レベルで物理的オブジェクトなどの他のオブジェクトによって引き起こされる混乱を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第２の個別のユーザインタフェースを第２の没入感レベルで表示されている状態から第３の没入感レベルで表示されている状態に変更することは、電子デバイスによって生成されたオーディオ効果を変更することを含む（１０６２）。いくつかの実施形態では、電子デバイスは、コンテンツ／ユーザインタフェース（単数又は複数）（例えば、雰囲気音響効果、仮想オブジェクト（例えば、アプリケーションのコンテンツ）に対応する（例えば、仮想オブジェクトから放出されるように生成される）音、電子デバイスの物理的環境内の物理的オブジェクトに対応する（例えば、物理的オブジェクトから放出されるように生成される）音など）を表示している間、電子デバイスと通信する１つ以上のスピーカ又はオーディオ出力デバイス（例えば、ヘッドホン）を介して再生するためのオーディオを生成する。いくつかの実施形態では、没入感レベルを変更することは、任意選択的に、電子デバイスによって生成されたオーディオを変更する。例えば、いくつかの実施形態では、没入感レベルを増加させることは、任意選択的に、物理的オブジェクトに対応する音を非強調表示させ（例えば、ボリューム、鮮明度、拡張性などを低減させる）、及び／又は仮想オブジェクトに対応する音を強調表示させる（例えば、ボリューム、鮮明度、拡張性を増加させる）。いくつかの実施形態では、没入感レベルを増加させることは、任意選択的に、雰囲気音響効果（例えば、上述の雰囲気効果に対応する音）を強調表示させ（例えば、ボリューム、鮮明度、拡張性を増加させる）、及び／又は物理的オブジェクトに対応する音を非強調表示させる（例えば、ボリューム、鮮明度、拡張性などを低減させる）。いくつかの実施形態では、高い（例えば、最大）没入感において、物理的オブジェクトに対応する音は、生成されない、又は低いレベル（例えば、最小レベル）に低減され、仮想オブジェクトに対応する音は、高いレベル（例えば、最大レベル）に増加され、いくつかの実施形態では、低い（例えば、最小）没入感では、物理的オブジェクトに対応する音は、高いレベル（例えば、最大レベル）に増加され、仮想オブジェクトに対応する音は、生成されない、又は低いレベル（例えば、最小レベル）に低減される。没入感に基づいてオーディオ効果を変化させる上述の方法は、没入感レベルが増加するにつれて、電子デバイスによって表示されたユーザインタフェース（単数又は複数）と物理的環境との干渉を低減し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、より高い没入感レベルの物理的環境に対応するオーディオによって引き起こされる混乱を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第２の没入感レベルで第２の個別のユーザインタフェースを表示することは、図９Ｃのユーザインタフェース９３４を参照して説明され、図９Ａ～図９Ｂのユーザインタフェース９１２に関して示されるように、表示生成コンポーネントの表示エリアの第１の部分における第１のアプリケーションのコンテンツと、表示生成コンポーネントの表示エリアの第２の部分における電子デバイスの物理的環境の第１の個別の部分の１つ以上の表現と、を同時に表示することを含む（１０６４）（例えば、いくつかの実施形態では、電子デバイスは、方法１２００、１４００及び１６００を参照して説明されるように、電子デバイスの物理的環境の表現（単数又は複数）（例えば、物理的環境内のオブジェクト、物理的環境内の表面など）を表示することに加えて、コンテンツ／ユーザインタフェース（単数又は複数）を表示している）。いくつかの実施形態では、物理的環境の表現（単数又は複数）は、前述したように、表示生成コンポーネントを介してパススルーされる。いくつかの実施形態では、より低い没入感レベルにおいて、コンテンツ／ユーザインタフェース（単数又は複数）は、表示生成コンポーネントの視野のより少ない部分（例えば、視野にない又は視野のごく一部）を占有し、物理的環境の表現（単数又は複数）は、表示生成コンポーネントの視野のより多くの部分（例えば、視野の全て又は視野の大部分）を占有する。いくつかの実施形態では、第３の没入感レベルで第２の個別のユーザインタフェースを表示することは、図９Ｃのユーザインタフェース９３４を参照して説明され、図９Ａ～９Ｂのユーザインタフェース９１２に関して示されるように、表示生成コンポーネントの表示エリアの第１の部分よりも大きい第３の部分における第１のアプリケーションのコンテンツと、表示生成コンポーネントの表示エリアの第２の部分よりも小さい第４の部分における電子デバイスの物理的環境の第１の個別の部分とは異なる第２の個別の部分の１つ以上の表現と、を同時に表示することを含む（１０６６）。いくつかの実施形態では、没入感レベルが増加するにつれて、コンテンツ／ユーザインタフェース（単数又は複数）は、次第に、表示生成コンポーネントの視野の多く（例えば、視野の全て又は大部分）を占有し、物理的環境の表現（単数又は複数）は、次第に、表示生成コンポーネントの視野を占有しない（例えば、視野にない又は視野のごく一部）。いくつかの実施形態では、物理的環境の表現（単数又は複数）が表示される視覚特性（例えば、輝度、鮮明度、色など）は、任意選択的に、没入感レベルが変更しても変更せず、むしろ物理的環境のそれらの表現（単数又は複数）によって占有される表示空間の量が変更する。したがって、いくつかの実施形態では、没入感レベルを変更することは、電子デバイスによって表示されるコンテンツ／ユーザインタフェース（単数又は複数）によって占有される表示生成コンポーネントの視野の量を変更する。電子デバイスによって表示されるコンテンツによって占有される表示空間／視野の量、及び電子デバイスの物理的環境の表現（単数又は複数）を変化させる上述の方法は、没入感レベルが増加するにつれて、電子デバイスによって表示されたユーザインタフェース（単数又は複数）と物理的環境との干渉を低減し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、より高い没入感レベルで物理的環境をパススルーすることによって引き起こされる混乱を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、方法１２００、１４００、及び１６００を参照して説明されるように、図９Ａ～図９Ｃに示されるように、第２の没入感レベルで第２の個別のユーザインタフェースを表示することは、第１のアプリケーションのコンテンツ（例えば、ビデオの再生、写真の表示など）と、物理的環境の１つ以上の表現と、を同時に表示すること（１０６８）を含む（例えば、いくつかの実施形態では、電子デバイスは、電子デバイスの物理的環境の表現（単数又は複数）（例えば、物理的環境内のオブジェクト、物理的環境内の表面など）を表示することに加えて、コンテンツ／ユーザインタフェース（単数又は複数）を表示している。いくつかの実施形態では、物理的環境の表現（単数又は複数）は、前述したように、表示生成コンポーネントを介してパススルーされる。）。いくつかの実施形態では、第３の没入感レベルで第２の個別のユーザインタフェースを表示することは、図９Ｃのユーザインタフェース９３４を参照して説明され、図９Ａ～９Ｂのユーザインタフェース９１２に関して示されるように、第１のアプリケーションのコンテンツと、第２の没入感レベルで表示される物理的環境の１つ以上の表現に対して非強調表示された物理的環境の１つ以上の表現と、を同時に表示すること（１０７０）を含む。いくつかの実施形態では、より低い没入感レベルにおいて、電子デバイスが表示生成コンポーネントを介してコンテンツ／ユーザインタフェース（単数又は複数）を表示している間、物理的環境の表現（単数又は複数）は、表示生成コンポーネントを介して第１の強調表示レベル（例えば、色、明るさ、ぼやけていないなど）で表示される。いくつかの実施形態では、没入感レベルが増加するにつれて、電子デバイスが表示生成コンポーネントを介してコンテンツ／ユーザインタフェース（単数又は複数）を表示している間、物理的環境の表現（単数又は複数）は、表示生成コンポーネントを介して、第１の強調表示レベルよりも低い第２の強調表示レベル（例えば、より低い飽和色、又はグレースケール、より低い輝度、よりぼけたなど）で表示される。例えば、第１の没入感レベルにおいて、電子デバイスは、任意選択的に、表示生成コンポーネントを介して物理的環境の表現（単数又は複数）（例えば、物理的オブジェクトの表現）の色、輝度などの８０％をパススルーするが、第２のより高い没入感レベルにおいて、電子デバイスは、任意選択的に、表示生成コンポーネントを介して物理的環境の表現（単数又は複数）（例えば、物理的オブジェクトの表現）の色、輝度などの５０％をパススルーする。いくつかの実施形態では、より低い及びより高い没入感レベルは、任意選択的に、表示生成コンポーネントを介してパススルーされた物理的環境の表現（単数又は複数）の少ない又は多い非強調表示を、それぞれ引き起こす。いくつかの実施形態では、没入感レベルを増加させることは、第１のアプリケーションのコンテンツの強調表示を増加させ、没入感レベルを減少させることは、第１のアプリケーションのコンテンツの強調表示を減少させる。いくつかの実施形態では、没入感レベルを増加又は減少させることは、第１のアプリケーションのコンテンツに、表示生成コンポーネントの表示空間のより大きい部分又はより小さい部分をそれぞれ占有させない（したがって、任意選択的に、物理的環境の表現（単数又は複数）に、表示生成コンポーネントの表示空間のより大きい部分又はより小さい部分をそれぞれ占有させない）。いくつかの実施形態では、没入感レベルを増加又は減少させることは、第１のアプリケーションのコンテンツに、表示生成コンポーネントの表示空間のより大きい部分又はより小さい部分をそれぞれ占有させる（したがって、任意選択的に、物理的環境の表現（単数又は複数）に、表示生成コンポーネントの表示空間のより小さい部分又はより大きい部分をそれぞれ占有させる）。パススルーコンテンツの強調表示を変化させる上述の方法は、没入感レベルが増加するにつれて、電子デバイスによって表示されたユーザインタフェース（単数又は複数）と物理的環境との干渉を低減し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、高い没入感レベルで物理的環境をパススルーすることによって引き起こされる混乱を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第３の没入感レベルで第２の個別のユーザインタフェースを表示し、第１の没入感レベルで第１の個別のユーザインタフェースを表示した後に、第１の個別のユーザインタフェースの没入感レベルを第１の没入感レベルから変更する入力を受信することなく、第２の個別のユーザインタフェースの没入感レベルを第３の没入感レベルから変更する入力を受信することなく（１０７２）（例えば、第２の個別のユーザインタフェースが表示された最後の没入感レベルが、第３の没入感レベルであり、第１の個別のユーザインタフェースが表示された最後の没入感レベルが、第１の没入感レベルであり、これらのユーザインタフェースをこれらの没入感レベルで表示した後に、これらの没入感レベルを変更するための入力が受信されていない）、電子デバイスは、１つ以上の入力デバイスを介して、個別のアプリケーションとは異なる第２の個別のアプリケーションの第３の個別のユーザインタフェースを表示する要求に対応する第４のユーザ入力を受信する（１０７４）（例えば、第３の没入感レベルで第２の個別のユーザインタフェースを表示している間、第１の没入感レベルで第１の個別のユーザインタフェースを表示している間、又は異なる没入感レベルで異なるユーザインタフェースを表示している間、入力は受信される）。いくつかの実施形態では、第４のユーザ入力は、アプリケーション閲覧ユーザインタフェース内の第２の個別のアプリケーションに対するアプリケーションアイコンの選択を検出することを含む。いくつかの実施形態では、第２のユーザ入力は、第２の個別のアプリケーションのアイコンを選択することなく、第２の個別のアプリケーションを表示するための音声入力である。
いくつかの実施形態では、第４のユーザ入力を受信したことに応答して（１０７６）、電子デバイスは、表示生成コンポーネントを介して、第４の没入感レベルで第３の個別のユーザインタフェースを表示する（例えば、いくつかの実施形態では、第３の個別のユーザインタフェースは、第４のユーザ入力が受信されたときに表示されたユーザインタフェース上にオーバーレイされて表示され、これらの両方は、任意選択的に、背景上及び／又は三次元環境内に引き続き表示される）。いくつかの実施形態では、第３の個別のユーザインタフェースを表示することは、第４のユーザ入力が受信されたときに表示されたユーザインタフェースの表示を停止することを含む。いくつかの実施形態では、第４の没入感レベルは、オペレーティングシステムユーザインタフェース及び／又は個別のアプリケーションのユーザインタフェースの没入感レベルとは無関係である。したがって、いくつかの実施形態では、オペレーティングシステムユーザインタフェース及び／又はアプリケーションの没入感レベルは、他のアプリケーションユーザインタフェースの没入感レベルに影響を及ぼさない（例えば、各アプリケーションは、それ自体の独立した没入感レベルを有する）。いくつかの実施形態では、第３の個別のユーザインタフェースが表示される第４の没入感レベルは、第３の個別のユーザインタフェースが最後に（第３の個別のユーザインタフェースの現在の表示の前に）表示された没入感レベルである。いくつかの実施形態では、オペレーティングシステムユーザインタフェースの没入感レベルは、アプリケーションユーザインタフェースの没入感レベルに影響を及ぼす（例えば、システムユーザインタフェースが第１の没入感レベルに設定されている場合、アプリケーションユーザインタフェースをその後表示することは、アプリケーションユーザインタフェースを異なる没入感レベルで最後に表示した場合であっても、アプリケーションユーザインタフェースをその同じ第１の没入感レベルで表示することを含む）。
いくつかの実施形態では、第４の没入感レベルで第３の個別のユーザインタフェースを表示している間、入力要素９２０における入力（例えば、音声入力、手ジェスチャ、表示されたユーザインタフェース要素の選択、及び／又は現在表示されているユーザインタフェースの没入感レベルを増加又は減少させる要求に対応する電子デバイスに含まれる機械的入力要素における入力（例えば、回転入力）の検出）など、電子デバイスは、１つ以上の入力デバイスを介して、電子デバイスに関連付けられた現在の没入感レベルを変更する要求に対応する第５のユーザ入力を受信する（１０７８）。いくつかの実施形態では、第５のユーザ入力を受信したことに応答して、電子デバイスは、表示生成コンポーネントを介して、第４の没入感レベルとは異なる第５の没入感レベルで第３の個別のユーザインタフェースを表示する（１０８０）（例えば、第５のユーザ入力に従って第３の個別のユーザインタフェースの没入感レベルを増加又は減少させる）。いくつかの実施形態では、第５のユーザ入力を受信した後（１０８２）、電子デバイスは、１つ以上の入力デバイスを介して、第１の個別のユーザインタフェースを表示する要求（例えば、第３の個別のユーザインタフェースの没入感レベルを変更する入力を受信した後に、第１の個別のユーザインタフェースを再表示する要求）に対応する第６のユーザ入力を受信する（１０８４）。いくつかの実施形態では、第６のユーザ入力を受信したことに応答して、電子デバイスは、表示生成コンポーネントを介して、図９Ａに示される没入感レベルなど、第１の没入感レベルで第１の個別のユーザインタフェースを表示する（１０８６）（例えば、第１の個別のユーザインタフェースが最後に表示された没入感レベルで第１の個別のユーザインタフェースを表示する）。いくつかの実施形態では、電子デバイスは、１つ以上の入力デバイスを介して、第２の個別のユーザインタフェースを表示する要求（例えば、第３の個別のユーザインタフェースの没入感レベルを変更する入力を受信した後に、第２の個別のユーザインタフェースを再表示する要求）に対応する第７のユーザ入力を受信する（１０８８）。いくつかの実施形態では、第７のユーザ入力を受信したことに応答して、電子デバイスは、表示生成コンポーネントを介して、図９Ｃに示される没入感レベルなど、第３の没入感レベルで第２の個別のユーザインタフェースを表示する（１０９０）（例えば、第２の個別のユーザインタフェースが最後に表示された没入感レベルで第２の個別のユーザインタフェースを表示する）。したがって、いくつかの実施形態では、第１のアプリケーションのユーザインタフェースの没入感レベルを変更することは、他のアプリケーション及び／又は電子デバイスのオペレーティングシステムのユーザインタフェースの没入感レベルに影響を及ぼさない。異なるアプリケーションに対して独立して没入感を設定する上述の方法は、異なるユーザインタフェースに対して没入感レベルを独立して定義及び／又は変更し得る柔軟なアーキテクチャを提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、現在のユーザインタフェースにおける没入感レベルの変更の結果として別のユーザインタフェースにおける誤った没入感レベルの変更を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第３のユーザ入力を受信した後に、第１の没入感レベルで第１の個別のユーザインタフェースを表示している間、電子デバイスは、１つ以上の入力デバイスを介して、第２の個別のユーザインタフェースを表示する要求に対応する第４のユーザ入力（例えば、アプリケーション閲覧ユーザインタフェースなど、オペレーティングシステムのユーザインタフェースを表示するために個別のアプリケーションの表示を停止した後に、個別のアプリケーションを再表示する入力）を受信する（１０９２）。いくつかの実施形態では、第４のユーザ入力は、アプリケーション閲覧ユーザインタフェースを表示している間に受信される（例えば、個別のアプリケーションに対応するアイコンの選択）。いくつかの実施形態では、第４のユーザ入力を受信したことに応答して、電子デバイスは、表示生成コンポーネントを介して、図９Ｃに示される没入感レベル（例えば、第２の個別のユーザインタフェースが最後に表示された没入感レベル）など、第３の没入感レベルで第２の個別のユーザインタフェースを表示する（１０９４）。例えば、いくつかの実施形態では、オペレーティングシステムを終了した後に、個別のアプリケーションを再表示することは、オペレーティングシステムユーザインタフェースの没入感レベルの任意の変更にかかわらず、個別のアプリケーションが最後に表示された没入感レベルで個別のアプリケーションを表示させる。以前に終了したアプリケーションに対して没入感を維持する上述の方法は、没入感レベルが、異なるユーザインタフェースに対して独立して定義され得る、及び／又は維持され得る柔軟なアーキテクチャを提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、現在のユーザインタフェースにおける没入感レベルの変更の結果としての別のユーザインタフェースにおける誤った没入感レベルの変更を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第２のユーザ入力は、第１のタイプのユーザ入力であり、電子デバイスに関連付けられた現在の没入感レベルを増加させる要求（例えば、アプリケーションのユーザインタフェース（例えば、電子デバイスのオペレーティングシステムのユーザインタフェースではなく）を表示している間、現在表示されているユーザインタフェースの没入感レベルを増加させるための電子デバイスの回転可能入力要素の時計回りの回転）に対応し、第３の没入感レベルは、第２の没入感レベルよりも高い（１０９６）。いくつかの実施形態では、第３の没入感レベルで第２の個別のユーザインタフェースを表示している間、電子デバイスは、１つ以上の入力デバイスを介して、入力要素９２０における入力（例えば、個別のアプリケーションのユーザインタフェースを表示している間、現在表示されているユーザインタフェースの没入感レベルを増加させるための電子デバイスの回転可能入力要素の更なる時計回りの回転）など、電子デバイスに関連付けられた現在の没入感レベルを増加させる要求に対応する第１のタイプの第４のユーザ入力を受信する（１０９８）。いくつかの実施形態では、第１のタイプの第４のユーザ入力を受信したことに応答して、電子デバイスは、図９Ｃのユーザインタフェース９３４を参照して説明されるように、第３の没入感レベルで第２の個別のユーザインタフェースの表示を維持する（１０９７）（例えば、第３の没入感レベルは、任意選択的に、アプリケーションのユーザインタフェースを表示している間、回転可能入力要素の回転を介して到達され得る最高の没入感レベルである）。いくつかの実施形態では、第３の没入感レベルにおいて、個別のアプリケーションのユーザインタフェースは、表示生成コンポーネントの視野の全体を占有せず、及び／又は電子デバイスの物理的環境の少なくともいくつかの表現（単数又は複数）と共に引き続き表示される。いくつかの実施形態では、第３の没入感レベルよりも高い没入感レベルが達成可能であるが、第１のタイプの入力を使用して達成することはできない。いくつかの実施形態では、より高い没入感レベルは、第１のタイプの入力（例えば、回転可能入力要素の回転）を使用して達成することができるが、電子デバイスのオペレーティングシステムのユーザインタフェースに対してのみであり、アプリケーションのユーザインタフェースに対してではない。
いくつかの実施形態では、第３の没入感レベルで第２の個別のユーザインタフェースを表示している間、電子デバイスは、１つ以上の入力デバイスを介して、図９Ｃの要素９５０の選択など、電子デバイスに関連付けられた現在の没入感レベルを増加させる要求に対応する、第１のタイプとは異なる第２のタイプの第５のユーザ入力を受信する（１０９５）（例えば、個別のアプリケーションの没入感レベルを増加させるための第２の個別のユーザインタフェース内の個別のアプリケーションによって表示されたユーザインタフェース要素の選択。例えば、第２の個別のユーザインタフェースにおける「フルスクリーン」ユーザインタフェース要素の選択）。いくつかの実施形態では、第２のタイプの第５のユーザ入力を受信したことに応答して、電子デバイスは、表示生成コンポーネントを介して、図９Ｃのユーザインタフェース９３４を参照して説明されるように、第３の没入感レベルよりも高い第４の没入感レベルで第２の個別のユーザインタフェースを表示（例えば、個別のアプリケーションの完全没入感又はフルスクリーン表示）する（１０９３）。したがって、いくつかの実施形態では、完全没入感、又は少なくとも第３の没入感レベルを上回る没入感レベルは、（例えば、オペレーティングシステムのユーザインタフェースとは対照的に）アプリケーションのユーザインタフェースを表示するときに第１のタイプの入力を介して達成可能ではない。いくつかの実施形態では、異なるタイプの入力（例えば、ユーザインタフェース要素の選択）が、アプリケーションユーザインタフェースの第３の没入感レベルを超えるために必要とされる。アプリケーションのための高い没入感レベルを達成するために異なるタイプの入力を必要とする上述の方法は、ユーザがそのような高い没入感レベルを達成することを望む追加の指示なしに、アプリケーションのための高い没入感が達成され得ないことを確実にし、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、高い没入感レベルでの挙動が未知又は予測不能であり得るアプリケーションのために高い没入感レベルに偶発的に達することを回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
図１１Ａ～図１１Ｂは、いくつかの実施形態による特定のシナリオにおいて、電子デバイスによってユーザインタフェースが表示される没入感レベルを低減し、その後、その没入感レベルからそのユーザインタフェースの表示を再開する例を示している。
図１１Ａは、表示生成コンポーネント（例えば、図１の表示生成コンポーネント１２０）を介して、ユーザインタフェース内に三次元環境１１０１を表示する電子デバイス１０１を示している。図１～図６を参照して上述したように、電子デバイス１０１は、任意選択的に、表示生成コンポーネント（例えば、タッチスクリーン）と、複数の画像センサ（例えば、図３の画像センサ３１４）と、を含む。画像センサは、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又は任意の他のセンサのうちの１つ以上を含み、電子デバイス１０１は、ユーザが電子デバイス１０１と相互作用している間、ユーザ又はユーザの一部の１つ以上の画像をキャプチャするために使用することができる。いくつかの実施形態では、以下に示されるユーザインタフェースはまた、ユーザインタフェースをユーザに表示する表示生成コンポーネントと、物理的環境及び／又はユーザの手の移動（例えば、ユーザから外向きに面する外部センサ）、並びに／あるいはユーザの視線（例えば、ユーザの顔に向かって内向きに面する内部センサ）を検出するためのセンサと、を含む、ヘッドマウントディスプレイ上に実装され得る。
図１１Ａに示されるように、デバイス１０１は、デバイス１０１の周囲の物理的環境１１００内の１つ以上のオブジェクトを含む、デバイス１０１の周囲の物理的環境１１００（例えば、動作環境１００）の１つ以上の画像をキャプチャする。いくつかの実施形態では、デバイス１０１は、三次元環境１１０１において物理的環境の表現を表示する。例えば、三次元環境１１０１は、木の表現１１０２ｂ（例えば、物理的環境１１００における木１１０２ａに対応する）と、人物の表現１１０４ｂ（例えば、物理的環境１１００における人物１１０４ａに対応する）と、を含む。いくつかの実施形態では、デバイス１０１はまた、三次元環境９０１内に１つ以上の仮想オブジェクト（例えば、物理的環境１１００内にないオブジェクト）を表示する。例えば、図１Ａでは、デバイス１０１は、木の表現１１０２ｂ上に仮想オブジェクト１１１０（例えば、装飾）を、人物の表現１１０４ｂ上に仮想オブジェクト１１０６（例えば、帽子）を、及び太陽の表現１１０８を表示している。いくつかの実施形態では、太陽の表現１１０８は、表示され、三次元環境１１０１内の光源として処理され、太陽の表現１１０８から生じる照明効果は、デバイス１０１によって、三次元環境１１０１内に表示される物理的オブジェクト及び／又は仮想オブジェクトの表現に適用される。
図１１Ａでは、デバイス１０１は、アプリケーション（例えば、アプリＣ）のユーザインタフェース１１３４も表示している。ユーザインタフェース１１３４は、任意選択的に、デバイス１０１によって表示される任意のユーザインタフェース（例えば、オペレーティングシステムユーザインタフェース、コンテンツ（例えば、音楽、映画、ビデオ、写真など）閲覧及び／又は視聴閲覧アプリケーションのユーザインタフェースなど）である。いくつかの実施形態では、ユーザインタフェース１１３４は、三次元環境１１０１内の物理的オブジェクト及び／又は仮想オブジェクトの１つ以上の表現をオーバーレイするように（例えば、物理的環境１１００内の人物１１０４ａに対応する人物の表現１１０４ｂの前にあってその一部をオーバーレイし）、三次元環境１１０１内の位置に表示される。いくつかの実施形態では、１つ以上の仮想オブジェクトがユーザインタフェース１１１２の前にあってその一部をオーバーレイし、及び／又は物理的オブジェクトの１つ以上の表現がユーザインタフェース１１１２の前にあってその一部をオーバーレイするように、ユーザインタフェース１１３４は、三次元環境１１０１内に位置する。
いくつかの実施形態では、デバイス１０１は、特定の没入感レベルで表示生成コンポーネント１２０を介して表示される三次元環境１１０１及び／又はユーザインタフェースを表示する。例えば、図１１Ａでは、デバイス１０１は、没入感スケール１１３０上で比較的高い没入感レベル１１３２でユーザインタフェース１１３４を表示される。例えば、図１１Ａの表示は、任意選択的に、デバイス１０１が、図９Ａを参照して説明されるように、デバイス１０１の入力要素１１２０を使用して、ユーザインタフェース１１３４の没入感レベルを没入感レベル１１３２まで増加させる入力を検出した結果である。したがって、いくつかの実施形態では、表示生成コンポーネント１２０によって表示されたユーザインタフェース１１３４を囲むコンテンツ（例えば、物理的環境１１００の表現、及び／又は物理的環境１１００内のオブジェクト、仮想オブジェクトなど）は、（例えば、方法１０００を参照してより詳細に説明されるように）比較的高度に曖昧にされる。いくつかの実施形態では、比較的高い没入感レベル１１３２でユーザインタフェース１１３４を表示することに関する詳細は、方法１０００を参照して説明された通りである。
図９Ａを参照して説明されたものと同様に、入力要素１１２０は、任意選択的に、スライダ要素又は回転入力要素など、デバイス１０１によって現在表示されているユーザインタフェース（単数又は複数）の没入感レベルを変更するように操作され得る機械的入力要素であり、没入感の変更の量及び方向（例えば、増加又は減少）は、入力要素１１２０の操作の大きさ及び方向（例えば、入力要素１１２０の移動の方向及び／若しくは大きさ、又は回転可能入力要素の回転の方向及び／若しくは大きさ）に基づく。いくつかの実施形態では、デバイス１０１及び／又は入力要素１１２０は、没入感レベルを変更するにつれて、触覚フィードバック（例えば、没入感段階の増加又は減少毎のマイナーな触知出力、及び最小又は最大没入感に達すると異なるメジャーな触知出力）を生成する。いくつかの実施形態では、入力要素への押圧入力（例えば、ボタンクリック、圧力閾値よりも高い圧力など）の提供が、デバイス１０１による入力として検出可能であるように、入力要素１１２０はまた、（例えば、移動可能及び／又は回転可能であることに加えて）押下可能及び／又は感圧性である。
いくつかの実施形態では、入力要素１１２０の押下を検出したことに応答して、デバイス１０１は、現在表示されているユーザインタフェース（単数又は複数）を表示した没入感レベルを、所定の没入感レベル（例えば、最小又は比較的低い没入感レベル）に低減し、入力要素１１２０の押下の解放を検出したことに応答して、デバイス１０１は、押下入力が検出されたときに表示されていた没入感レベルでユーザインタフェース（単数又は複数）の表示を再開する。いくつかの実施形態では、デバイス１０１は、低い没入感レベルに遷移する前に、入力要素１１２０の押下が時間閾値（例えば、０．１秒、０．５秒、１秒、５秒、１０秒）よりも長いことを要求する。例えば、図１１Ａでは、デバイス１０１は、入力要素１１２０（「入力１」）の押下を検出する。それに応答して、デバイスは、図１１Ｂに示されるように、没入感レベル１１３２を所定の比較的低い没入感レベル（例えば、没入感なし）まで低減する。図１１Ｂに示されるように、デバイス１０１は、三次元環境１１０１内の全ての仮想オブジェクト（例えば、ユーザインタフェース１１３４、並びに仮想オブジェクト１１１０、１１０８、及び１１０６を含む）の表示を停止しており、物理的環境１１００内のオブジェクト及び／又は物理的環境１１００自体の部分の表現１１０２ｂ及び１１０４ｂの表示を曖昧にすることを停止している（例えば、暗くすること、ぼかすこと、又は他の方法で非強調表示することを停止している）。低い没入感レベル又は没入感レベルなしに遷移するときの仮想オブジェクト及び／又は物理的環境１１００の表示特性に関する追加又は代替の詳細は、任意選択的に、方法１０００を参照して説明された通りである。したがって、いくつかの実施形態では、入力要素１１２０の押下は、デバイス１０１に、三次元環境１１０１内の物理的環境１１００の完全な表示を停止させる、及び／又は三次元環境１１０１内の任意の仮想オブジェクトの表示を完全に停止させる。このようにして、デバイス１０１のユーザは、曖昧でない方法で、物理的環境１１００の視聴を、迅速で容易に遷移することができる。
前述のように、いくつかの実施形態では、入力要素１１２０の解放を検出したことに応答して、デバイス１０１は、任意選択的に、入力要素１１２０の押下が検出されたときにユーザインタフェース（単数又は複数）を表示していた以前の没入感レベルに戻る。例えば、図１１Ｂでは、デバイス１０１は、入力要素１１２０（「入力２」）の解放を検出する。これに応答して、デバイスは、図１１Ａに示される没入感レベル１１３２に戻る。いくつかの実施形態では、入力要素１１２０の解放を検出したことに応答して、以前の没入感レベルに戻ることに追加的又は代替的に、デバイス１０１は、現在の没入感レベルを増加させる要求に対応する入力要素１１２０の移動（例えば、図９Ａを参照して説明された没入感レベルを徐々に変更させるための同じタイプの入力）の検出に応答して、以前の没入感レベルに戻る。いくつかの実施形態では、そのような入力に応答して、デバイス１０１は、（例えば、入力要素１１２０の移動量が、没入感レベルを図１１Ｂのレベルから図１１Ａの以前の没入感レベルまで増加させるために通常十分でない場合であっても）以前の没入感レベルでユーザインタフェース１１３４の表示を直ちに再開するか、又はいくつかの実施形態では、入力要素１１２０の移動が図１１Ａの以前の没入感レベルに十分に達するまで、デバイス１０１は、没入感レベルを（例えば、入力要素１１２０の連続した移動に従って）没入感レベルを徐々に増加させる。デバイス１０１によって検出された特定の手ジェスチャ、デバイス１０１（のセンサ３１４など）によって検出された特定の視線ベースのジェスチャなど、以前の没入感レベルでユーザインタフェース１１３４の表示を再開するための他の入力も考えられる。
図１２Ａ～図１２Ｄは、いくつかの実施形態による、ユーザインタフェースに関連付けられた没入感レベルを（例えば、一時的に）低減した後に、以前に表示された没入感レベルでユーザインタフェースの表示を再開する方法１２００を示すフローチャートである。いくつかの実施形態では、方法１２００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）、及び１つ以上のカメラ（例えば、ユーザの手で下を向くカメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ）、又はユーザの頭部から前方を向くカメラ）を含むコンピュータシステム（例えば、タブレット、スマートフォン、ウェアラブルコンピュータ、又はヘッドマウントデバイスなどの図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、方法１２００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって統御される。方法１２００の一部の動作は、任意選択的に組み合わされ、及び／又は一部の動作の順序は、任意選択的に変更される。
方法１２００において、いくつかの実施形態では、表示生成コンポーネント及び１つ以上の入力デバイス（例えば、モバイルデバイス（例えば、タブレット、スマートフォン、メディアプレーヤ、又はウェアラブルデバイス）、又はコンピュータ）と通信する電子デバイス（例えば、図１のコンピュータシステム１０１）は、第１の没入感レベルで第１のユーザインタフェースを表示している間、１つ以上の入力デバイスを介して、図９Ａを参照して説明された要素９２０上の入力など、電子デバイスに関連付けられた没入感レベルを増加させる要求に対応する第１の入力を検出する（１２０２）。いくつかの実施形態では、電子デバイスは、モバイルデバイス（例えば、タブレット、スマートフォン、メディアプレーヤ、又はウェアラブルデバイス）、又はコンピュータである。いくつかの実施形態では、表示生成コンポーネントは、電子デバイスと統合されたディスプレイ（任意選択的に、タッチスクリーンディスプレイ）、モニタ、プロジェクタ、テレビなどの外部ディスプレイ、又はユーザインタフェースを投影するか、若しくはユーザインタフェースを１人以上のユーザに見えるようにするための（任意選択的に、統合又は外部の）ハードウェアコンポーネントなどである。いくつかの実施形態では、電子デバイスは、ユーザ入力を受信すること（例えば、ユーザ入力をキャプチャする、ユーザ入力を検出するなど）ができる電子デバイス又はコンポーネントを含む１つ以上の入力デバイスと通信し、ユーザ入力に関連する情報を電子デバイスに送信する。入力デバイスの例としては、タッチスクリーン、マウス（例えば、外部）、トラックパッド（任意選択的に、統合又は外部）、タッチパッド（任意選択的に、統合又は外部）、リモート制御デバイス（例えば、外部）、別のモバイルデバイス（例えば、電子デバイスとは別個）、ハンドヘルドデバイス（例えば、外部）、コントローラ（例えば、外部）、カメラ、深度センサ、モーションセンサ（例えば、ハンドトラッキングデバイス、ハンドモーションセンサ）、電子デバイスに含まれる物理的機械的入力要素（例えば、ボタン、回転機械要素、スイッチなど）、及び／又はアイトラッキングデバイスなどを含む。
いくつかの実施形態では、第１のユーザインタフェースの第１の没入感レベルは、任意選択的に、方法１０００、１４００及び１６００を参照して説明された没入感レベルの特性のうちの１つ以上を有する。第１の入力は、任意選択的に、音声入力、手ジェスチャ、表示されたユーザインタフェース要素の選択、及び／又は現在表示されているユーザインタフェースの没入感レベルを増加又は減少させる要求に対応する電子デバイスに含まれる機械的入力要素における入力（例えば、回転入力）の検出など、１つ以上の入力デバイスを介して検出されるユーザ入力である。いくつかの実施形態では、第１のユーザインタフェースは、仮想現実（ＶＲ）環境、複合現実（ＭＲ）環境、又は拡張現実（ＡＲ）環境などのコンピュータ生成現実（ＣＧＲ）環境など、表示生成コンポーネントを介して電子デバイスによって表示される三次元環境内に表示される。いくつかの実施形態では、第１の入力を検出したことに応答して、電子デバイスは、表示生成コンポーネントを介して、図１１Ａの没入感レベル１１３２でユーザインタフェース１１３４を表示する（例えば、第１の入力に従って第１のユーザインタフェースの没入感レベルを増加させる）など、第１の没入感レベルよりも高い個別の没入感レベルで第１のユーザインタフェースを表示する（１２０４）。
いくつかの実施形態では、個別の没入感レベルで第１のユーザインタフェースを表示している間、電子デバイスは、１つ以上の入力デバイスを介して、図１１Ａの入力要素１１２０上の入力１を検出する（例えば、第１の没入感レベルよりも低い、電子デバイスの個別の既定の没入感レベル（例えば、没入感なし又は最小没入感など、電子デバイスの最低没入感レベル）まで下げる要求に対応する入力を検出する）など、第１のイベントの発生を検出する（１２０６）。例えば、入力は、任意選択的に、第１のユーザインタフェースの没入感レベルを増加（又は減少）させるために回転された機械的入力要素の（回転ではなく）押下である。いくつかの実施形態では、第１のイベントは、方法１４００及び／又は１６００を参照して説明されるように、電子デバイスの物理的環境に関連付けられた特性を検出している。いくつかの実施形態では、（例えば、表示生成コンポーネントが、物理的環境のそれらの部分をブロックするか、他の方法で曖昧にするコンテンツを表示していたので）表示生成コンポーネントを介して以前に見えなかった物理的環境の１つ以上の部分が、（例えば、表示生成コンポーネントが、物理的環境のそれらの部分をブロックするか、他の方法で曖昧にするコンテンツをもはや表示しないので）表示生成コンポーネントを介して見えるようになるように、イベントは、電子デバイスにおける（例えば、現在表示されているユーザインタフェース（単数又は複数）の）没入感レベルを減少させるための任意の量及び／又は入力の検出である。したがって、第１のイベントは、任意選択的に、物理的オブジェクト／環境がパススルーし、表示生成コンポーネントを介して表示されることを可能にするイベントに対応する。
いくつかの実施形態では、第１のイベントの発生を検出したことに応答して、電子デバイスは、表示生成コンポーネントを介して表示されたユーザインタフェースの没入感レベルを、図１１Ｂに示される没入感レベル１１３２など、個別の没入感レベルよりも低い第２の没入感レベルに低減する（１２０８）（例えば、いくつかの実施形態では、第２の没入感レベルは没入感なしである（例えば、物理的環境が、表示生成コンポーネントを介してパススルーされることから全く曖昧にされない））。いくつかの実施形態では、物理的環境が表示生成コンポーネントを介してパススルーされることから少なくとも完全に曖昧にされないように、第２の没入感レベルは、個別の没入感レベルよりも単純に低い。いくつかの実施形態では、表示生成コンポーネントによって表示されたユーザインタフェースが、第２の没入感レベルで表示されるとき、第１のユーザインタフェースは、表示を停止される。いくつかの実施形態では、表示生成コンポーネントによって表示されたユーザインタフェースが、第２の没入感レベルで表示されるときに、電子デバイスの物理的環境の表現（単数又は複数）は、表示生成コンポーネントを介して表示される（例えば、第１のユーザインタフェースが第１の没入感レベル及び／又は個別の没入感レベルで表示されたときに、電子デバイスの物理的環境の表現が表示されなかったとき）。いくつかの実施形態では、第１のユーザインタフェースは、表示生成コンポーネントを介して、引き続き表示されるが、より低い没入感レベルである。
いくつかの実施形態では、第２の没入感レベルでユーザインタフェースを表示している間、電子デバイスは、１つ以上の入力デバイスを介して、図１１Ｂの入力要素１１２０における入力２の検出など、第１のユーザインタフェースの表示を再開する要求に対応する第２のイベントの発生を検出する（１２１０）（例えば、第２のイベントは、電子デバイスの特定の没入感レベルを示さない）。例えば、第１のイベントが機械的入力要素の押下の検出である場合、第２のイベントは、任意選択的に、機械的入力要素の解放の検出である。第１のイベントが、電子デバイスの物理的環境に関連付けられた特性の検出である場合、第２のイベントは、任意選択的に、その特性が電子デバイスの物理的環境においてもはや有効でない（例えば、第１のイベントに対応する音が停止した）ことの検出である。いくつかの実施形態では、第２のイベントは、電子デバイスの没入感レベルを特定の没入感レベルまで増加させる要求に対応する入力ではない。例えば、第２のイベントは、任意選択的に、機械的入力要素の回転に従って電子デバイスの没入感レベルを増加（又は減少）させるために、以前に検出された機械的入力要素の回転の検出ではない。
いくつかの実施形態では、第２のイベントの発生を検出したことに応答して、電子デバイスは、図１１Ａのユーザインタフェース１１３４の表示に戻るなど、表示生成コンポーネントを介して第１のユーザインタフェースの表示を再開する（１２１２）。いくつかの実施形態では、個別の没入感レベルが第３の没入感レベルであるという判定に従って、第１のユーザインタフェースは、第３の没入感レベルで表示され（１２１４）、個別の没入感レベルが第１の没入感レベルとは異なる第４の没入感レベルであるという判定に従って、第１のユーザインタフェースは、第４の没入感レベルで表示される（１２１６）。したがって、いくつかの実施形態では、電子デバイスは、第１のイベントが検出されたときに第１のユーザインタフェースが表示されていた没入感レベルでの第１のユーザインタフェースの表示に、そのような没入感レベルを示す入力を検出することなく戻る。いくつかの実施形態では、電子デバイスは、第１のイベントが検出されたときに有効であった没入感レベルを記憶／記録し、第２のイベントが検出されたときにその没入感レベルで再開する。第１のイベントが検出されたときに有効であった没入感レベルで第１のユーザインタフェースの表示を再開する上述の方法は、以前に有効であった没入感レベルに戻る迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースをより効率的にし（例えば、戻るべき特定の没入感レベルを定義するユーザ入力を必要としないことによって、これはまた、戻るべき誤った没入感レベルを定義する誤ったユーザ入力も回避する）、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、図１１Ｂに示されるように、第２の没入感レベルは没入感なしである（１２１８）。例えば、第１のイベントの発生を検出することは、電子デバイスの物理的環境の大部分又は全部が表示生成コンポーネントを介して見ることができ、仮想要素（例えば、電子デバイスによって生成されたユーザインタフェース、電子デバイスによって生成された仮想オブジェクトなど）が表示生成コンポーネントを介してほとんど又は全く表示されない最低又は最小没入感レベルに、電子デバイスを遷移させる。仮想要素又はオブジェクトを含まない電子デバイスの物理的環境を表示する上述の方法は、環境認識をユーザに提供する迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、１つ以上の入力デバイスは、図１１Ａ～図１１Ｂを参照して説明されるように、回転可能入力要素を含む（１２２０）（例えば、電子デバイス上／内に、又は電子デバイスと通信する別のデバイス上に含まれる回転可能入力要素。いくつかの実施形態では、回転可能入力要素は、ユーザ入力を介して回転可能である）。いくつかの実施形態では、第１の没入感レベルで第１のユーザインタフェースを表示している間、電子デバイスは、回転可能入力要素の個別の回転（例えば、ユーザによる回転可能入力要素の時計回り又は反時計回りの回転）を検出する（１２２２）。いくつかの実施形態では、回転可能入力要素の個別の回転を検出したことに応答して（１２２４）、個別の回転が第１の方向（例えば、時計回りの回転）であるという判定に従って、電子デバイスは、表示生成コンポーネントを介して、図１１Ａ～図１１Ｂを参照して説明されるように、第１の没入感レベルよりも高い第５の没入感レベルで第１のユーザインタフェースを表示する（１２２６）（例えば、回転可能入力要素を第１の方向に回転させることは、表示生成コンポーネントを介して表示されたユーザインタフェース（単数又は複数）の没入感レベルを増加させる。没入感レベルを増加させることは、任意選択的に、方法１０００を参照して説明される特性のうちの１つ以上を有する）。いくつかの実施形態では、個別の方向が第１の方向とは異なる第２の方向（例えば、反時計回りの回転）であるという判定に従って、電子デバイスは、表示生成コンポーネントを介して、図１１Ａ～図１１Ｂを参照して説明されるように、第１の没入感レベルよりも低い第６の没入感レベルで第１のユーザインタフェースを表示する（１２２８）（例えば、回転可能入力要素を第２の方向に回転させることは、表示生成コンポーネントを介して表示されたユーザインタフェース（単数又は複数）の没入感レベルを減少させる。没入感レベルを減少させることは、任意選択的に、方法１０００を参照して説明される特性のうちの１つ以上を有する）。電子デバイスの没入感レベルを調整する上述の方法は、それを行う迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第１のイベントの発生を検出することは、図１１Ａの入力要素１１２０上の入力１など、回転可能入力要素の押下を検出すること（１２３０）を含む。例えば、いくつかの実施形態では、回転可能入力要素は、回転ベースの入力を電子デバイスに提供するために回転可能であり、また、押下及び／又は解放ベースの入力を電子デバイスに提供するために押下可能である。いくつかの実施形態では、回転可能入力要素の押下を検出することは、任意選択的に、電子デバイスに、最低又は最小没入感レベルでユーザインタフェース（単数又は複数）を表示させることである。回転可能入力要素の押下に応答する上述の方法は、低い没入感体験を提供する迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第２のイベントの発生を検出することは、図１１Ａ～図１１Ｂを参照して説明されるように、回転可能入力要素の回転を検出すること（１２３２）を含む。いくつかの実施形態では、第２の没入感レベルに遷移した後に、没入感レベルを第２の没入感レベルから個別の没入感レベルに増加させるために通常必要とされる回転量とは異なる場合であっても、回転可能入力要素の任意の回転量を検出することにより、電子デバイスは、個別の没入感レベルに戻るように遷移する。いくつかの実施形態では、没入感レベルを第２の没入感レベルから個別の没入感レベルに増加させるために通常必要とされる回転量は、任意選択的に、電子デバイスが第１のイベントの検出を介してではなく、回転可能入力要素の回転などの異なるタイプの入力の検出を介して、第２の没入感レベルに遷移して、没入感レベルを第２の没入感レベルに徐々に減少させるときに必要とされる回転量である。例えば、第２の没入感レベルが０～１０のスケールで０のレベルであり、個別の没入感レベルが７のレベルであり、検出された回転量が、普通なら没入感レベルを３だけ増加させる量（例えば、１から４、又は２から５など）である場合、電子デバイスが第１のイベントの検出を介して第２の没入感レベルに遷移した場合、検出された回転量は、任意選択的に、第１のユーザインタフェースを没入感レベル７で再開する（例えば、没入感レベルは、回転可能入力要素の回転量に従って第２の没入感レベルから徐々に増加しない）。しかしながら、電子デバイスが第１のイベントの検出を介さずに（例えば、むしろ、回転可能要素の回転を検出して没入感レベルを第２の没入感レベルに減少させることを介して）第２の没入感レベルに遷移した場合、検出された回転量は、任意選択的に、没入感レベル７ではなく没入感レベル３で第１のユーザインタフェースを表示する。個別の没入感レベルで第１のユーザインタフェースを表示させる初期回転量の後に、没入感レベルを増加又は減少させるための更なる回転（時計回り又は反時計回り）は、任意選択的に、個別の没入感レベルからの没入感の増加又は減少を引き起こす。デバイスの以前の没入感レベルを再開する上述の方法は、デバイスの没入感レベルを変更するために通常使用されるのと同じ入力方法を使用する間、以前に有効であった没入感レベルに戻る迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第２の没入感レベルでユーザインタフェースを表示している間、電子デバイスは、第２の個別の回転の第２の部分が続く第１の部分を含む、回転可能入力要素の第２の個別の回転を検出する（１２３４）（例えば、回転可能入力要素の時計回りの回転の第１の部分と、連続してその後に続く回転可能入力要素の時計回りの回転の第２の部分を検出する）。いくつかの実施形態では、（例えば、回転可能入力要素の第２の個別の回転を検出している間）第２の個別の回転の第１の部分を検出したことに応答して、電子デバイスは、表示生成コンポーネントを介して、第２の没入感レベルよりも高いが、個別の没入感レベルよりも低い第７の没入感レベルで第１のユーザインタフェースを表示する（１２３６）（例えば、第２の個別の回転の第１の部分の間、回転可能入力要素の回転量に従って第２の没入感レベルから没入感レベルを徐々に増加させる）。いくつかの実施形態では、（例えば、回転可能入力要素の第２の個別の回転を検出している間）第２の個別の回転の第２の部分を検出したことに応答して、電子デバイスは、第１のユーザインタフェースの没入感レベルを第７の没入感レベルから個別の没入感レベルに増加させる（１２３８）。例えば、第２の個別の回転の第２の部分の間、回転可能入力要素の連続した回転量に従って没入感レベルを増加させ続ける。第２の個別の回転が、没入感レベルを第２の没入感レベルから個別の没入感レベルまで増加させるために十分な総回転量を含む場合、第１のユーザインタフェースは、任意選択的に、個別の没入感レベルで表示される。第２の個別の回転の総回転量が、個別の没入感レベル以外の没入感レベルに対応する場合、第１のユーザインタフェースは、任意選択的に、その他の没入感レベルで表示される。デバイスの以前の没入感レベルに徐々に戻る上述の方法は、回転可能入力要素の回転に対して一貫した応答を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第２のイベントの発生を検出することは、表示生成コンポーネントと通信するハンドトラッキングデバイスを介して、電子デバイスのユーザの手によって実行される個別のジェスチャを検出することを含む（１２４０）（例えば、ユーザの親指及び人差し指など、ユーザの手の２本以上の指の間の特定のピンチジェスチャ。いくつかの実施形態では、ジェスチャは、手のピンチジェスチャを維持する間、手の特定の移動及び／又は回転を含む。いくつかの実施形態では、個別のジェスチャ以外の異なるジェスチャがユーザの手によって実行されていると検出された場合、電子デバイスは、任意選択的に、個別の没入感レベルで第１のユーザインタフェースの表示を再開しない。いくつかの実施形態では、個別の手ジェスチャは、電子デバイスを第２の没入感レベルに遷移させた第１のイベントとは異なる）。デバイスの以前の没入感レベルを再開する上述の方法は、そのような没入への偶発的な戻りを回避する間、以前に有効であった没入感レベルに戻る迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第１のイベントの発生を検出することは、図１１Ａの入力要素１１２０上の入力１と同様に、電子デバイスと通信する機械的入力要素の押下を検出することを含む（１２４２）。いくつかの実施形態では、機械的入力要素は、電子デバイス内／上、又は電子デバイスと通信する別のデバイス上に含まれるボタンである。いくつかの実施形態では、機械的入力要素は、押圧又は解放のみが可能である（例えば、回転されない）。いくつかの実施形態では、機械的入力要素は、（例えば、方法１０００を参照して説明されるように、電子デバイスによって表示されたユーザインタフェース（単数又は複数）の没入感レベルを変更するために）回転されることに加えて、押圧又は解放され得る。いくつかの実施形態では、第１のイベントは、機械的入力要素の押下であり、機械的入力要素のその後の解放を含まない。いくつかの実施形態では、第１のイベントは、機械的入力要素の押下及びその後の解放を含む。いくつかの実施形態では、機械的入力要素は感圧性であり、機械的入力要素の押下を検出することは、（例えば、ボタンの実際の移動に基づく押下を検出することとは対照的に）閾値力又は閾値圧力よりも高い入力要素上の力又は圧力を検出することを含み、機械的入力要素の解放を検出することは、閾値力又は閾値圧力よりも低い力又は圧力（あるいは力又は圧力がないこと）を検出することを含む。入力要素の押下に応答する上述の方法は、低い没入感体験を提供する迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第１のイベントの発生を検出することは、図１１Ａの入力要素１１２０上の入力１と同様に、電子デバイスと通信する機械的入力要素の時間閾値よりも長い押下を検出すること（１２４４）を含む。いくつかの実施形態では、機械的入力要素は、電子デバイス内／上、又は電子デバイスと通信する別のデバイス上に含まれるボタンである。いくつかの実施形態では、機械的入力要素は、押圧又は解放のみが可能である（例えば、回転されない）。いくつかの実施形態では、機械的入力要素は、（例えば、方法１０００を参照して説明されるように、電子デバイスによって表示されたユーザインタフェース（単数又は複数）の没入感レベルを変更するために）回転されることに加えて、押圧又は解放され得る。いくつかの実施形態では、第１のイベントは、時間閾値（例えば、０．１秒、０．５秒、１秒、２秒、５秒、１０秒）よりも長い機械的入力要素の押下であり、機械的入力要素のその後の解放を含まない。いくつかの実施形態では、第１のイベントは、機械的入力要素の押下及びその後の解放を含む。いくつかの実施形態では、機械的入力要素が時間閾値の間押下される前の機械的入力要素の押下及び解放は、第１のイベントに対応せず、電子デバイスを第２の没入感レベルに遷移させない。いくつかの実施形態では、機械的入力要素は感圧性であり、機械的入力要素の押下を検出することは、（例えば、ボタンの実際の移動に基づく押下を検出することとは対照的に）閾値力又は閾値圧力よりも高い入力要素上の力又は圧力を検出することを含み、機械的入力要素の解放を検出することは、閾値力又は閾値圧力よりも低い力又は圧力（あるいは力又は圧力がないこと）を検出することを含む。入力要素の押下に応答する上述の方法は、低い没入感体験への偶発的な遷移を回避する間、低い没入感体験を提供する迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第２のイベントの発生を検出することは、図１１Ｂの入力要素１１２０において検出された入力２など、電子デバイスと通信する機械的入力要素の押下の解放を検出することを含む（１２４６）。いくつかの実施形態では、機械的入力要素は、電子デバイス内／上、又は電子デバイスと通信する別のデバイス上に含まれるボタンである。いくつかの実施形態では、機械的入力要素は、押圧又は解放のみが可能である（例えば、回転されない）。いくつかの実施形態では、機械的入力要素は、（例えば、方法１０００を参照して説明されるように、電子デバイスによって表示されたユーザインタフェース（単数又は複数）の没入感レベルを変更するために）回転されることに加えて、押圧又は解放され得る。いくつかの実施形態では、電子デバイスは、機械的入力要素の押下を検出したことに応答して、第１の没入感レベルでの第１のユーザインタフェースを第２の没入感レベルに遷移し、機械的入力要素のその後の解放を検出したことに応答して、第２の没入感レベルから第１の没入感レベルの第１のユーザインタフェースに戻るように遷移する。いくつかの実施形態では、機械的入力要素は感圧性であり、機械的入力要素の押下を検出することは、（例えば、ボタンの実際の移動に基づく押下を検出することとは対照的に）閾値力又は閾値圧力よりも高い入力要素上の力又は圧力を検出することを含み、機械的入力要素の解放を検出することは、閾値力又は閾値圧力よりも低い力又は圧力（あるいは力又は圧力がないこと）を検出することを含む。回転し、対応する機能を実行するために押下可能である機械的入力要素を使用することは、電子デバイス上のコントロールの数を低減し、デバイスを製造する複雑さを低減する。更に、入力要素の解放に応答する上述の方法は、以前に有効であった没入感レベルに戻る迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
図１３Ａ～図１３Ｃは、いくつかの実施形態による、電子デバイスによって表示されたユーザインタフェース（単数又は複数）を通して、電子デバイスの物理的環境の人々、オブジェクト、及び／又は部分の表現を表示する例を示している。
図１３Ａは、表示生成コンポーネント（例えば、図１の表示生成コンポーネント１２０）を介して、ユーザインタフェース１３３４を表示する電子デバイス１０１を示している。図１～図６を参照して上述したように、電子デバイス１０１は、任意選択的に、表示生成コンポーネント（例えば、タッチスクリーン）と、複数の画像センサ（例えば、図３の画像センサ３１４）と、を含む。画像センサは、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又は任意の他のセンサのうちの１つ以上を含み、電子デバイス１０１は、ユーザが電子デバイス１０１と相互作用している間、ユーザ又はユーザの一部の１つ以上の画像をキャプチャするために使用することができる。いくつかの実施形態では、以下に示されるユーザインタフェースはまた、ユーザインタフェースをユーザに表示する表示生成コンポーネントと、物理的環境及び／又はユーザの手の移動（例えば、ユーザから外向きに面する外部センサ）、並びに／あるいはユーザの視線（例えば、ユーザの顔に向かって内向きに面する内部センサ）を検出するためのセンサと、を含む、ヘッドマウントディスプレイ上に実装され得る。
デバイス１０１は、任意選択的に、デバイス１０１の周囲の物理的環境１３００内の１つ以上のオブジェクトを含む、デバイス１０１の周囲の物理的環境１３００（例えば、動作環境１００）の１つ以上の画像をキャプチャする。例えば、図１３Ａでは、物理的環境１３００は、２つのオブジェクト（例えば、木１３０４ａ及びボール１３０６ａ）と、２人の人々（例えば、人物１３０２ａ及び人物１３０８ａ）と、を含む。凡例１３０３は、物理的環境１３００のトップダウン図を提供し、要素１０１ａは、物理的環境におけるデバイス１０１の位置に対応し、要素１３０２ｃ及び１３０８ｃはそれぞれ、物理的環境１３０における人々１３０２ａ及び１３０８ａの位置に対応し、要素１３０４ｃ及び１３０６ｃはそれぞれ、物理的環境１３００における木１３０４ａ及びボール１３０６ａの位置に対応する。凡例１３０３に示されるように、図１３Ａの人々１３０２ａ及び１３０８ａ並びにオブジェクト１３０４ａ及び１３０６ａの各々は、距離１３４０よりもデバイス１０１から遠い。距離１３４０の関連性については、以下でより詳細に説明する。
図１３Ａでは、デバイス１０１は、没入感スケール１３３０上の比較的高い（例えば、最大）没入感レベル１３３２で、（例えば、アプリケーション アプリＣの）ユーザインタフェース１３３４を表示している。例えば、図１３Ａの表示は、任意選択的に、デバイス１０１の入力要素（例えば、図９Ａを参照して説明されるように、デバイス１０１の入力要素９２０）を使用して、ユーザインタフェース１３３４の没入感レベルを没入感レベル１３３２まで増加させる入力をデバイス１０１が検出した結果である。いくつかの実施形態では、ユーザインタフェース１３３４は、アプリケーションのユーザインタフェースとは対照的に、デバイス１０１のオペレーティングシステムのユーザインタフェースである。図１３Ａにおいてデバイス１０１がユーザインタフェース１３３４を表示している没入感レベル１３３２において、ユーザインタフェース１３３４のコンテンツは、表示生成コンポーネント１２０を介して見えるが、物理的環境１３００の表現（単数又は複数）は、表示生成コンポーネント１２０を介して見えないように、ユーザインタフェース１３３４は、表示生成コンポーネント１２０を介してデバイス１０１の物理的環境１３００（例えば、物理的環境１３００内のオブジェクト、人々など）の表示を曖昧にしている（例えば、完全に曖昧にする）。いくつかの実施形態では、比較的高い（例えば、最大）レベルの没入感レベル１３３２でユーザインタフェース１３３４を表示することに関する詳細は、方法１０００を参照して説明された通りである。図１３Ａ～図１３Ｃの説明は、比較的高い没入感レベル１３３２を有するユーザインタフェース１３３４に関連して提供されるが、デバイス１０１によって表示される仮想要素、オブジェクトなどが、表示生成コンポーネント１２０を介して物理的環境１３００の任意の部分の表示を少なくとも部分的に曖昧にする任意の状況と同様に、図１３Ａ～図１３Ｃの特徴及び方法１４００は、任意選択的に、適用されることが理解される。
いくつかの実施形態では、デバイス１０１は、物理的環境１３００のオブジェクト、人々、１つ以上の部分などの１つ以上の特性を検出することができ、特定の特性の検出に応答して、デバイス１０１は、任意選択的に、物理的環境１３００のそれらのオブジェクト、人々、又は１つ以上の部分のうちの１つ以上の表現が、表示生成コンポーネント１２０を介して見えるように（例えば、それらの特性を検出する前に見えなかったときに）、ユーザインタフェース１３３４を「ブレークスルー」することを可能にする。いくつかの実施形態では、物理的環境１３００のこれらのオブジェクト、人々、又は１つ以上の部分の表現は、物理的環境１３００のこれらのオブジェクト、人々、又は１つ以上の部分の位置に対応するユーザインタフェース１３３４の部分をブレークスルーし、ユーザインタフェース１３３４の残りの部分は、表示生成コンポーネント１２０を介して引き続き表示される。
例えば、図１３Ａでは、人物１３０２ａ及び人物１３０８ａの両方が、デバイス１０１からの閾値距離１３４０（例えば、１、３、５、１０、１５、３０、５０など）よりも遠くにある。これらの距離において、人物の注意がデバイス１０１のユーザに向けられているとデバイス１０１が判定した場合、デバイス１０１は、任意選択的に、その人物にユーザインタフェース１３３４をブレークスルーさせる。例えば、図１３Ａでは、デバイス１０１は、ユーザ１３０２ａの注意がデバイス１０１のユーザに向けられておらず、したがって、人物１３０２ａの表現がユーザインタフェース１３３４を通して見えないと判定している。しかしながら、デバイス１０１は、ユーザ１３０８ａの注意がデバイス１０１のユーザに向けられていると判定している。したがって、デバイス１０１は、ユーザインタフェース１３３４の部分（例えば、本開示で説明されるように、デバイス１０１を含む三次元環境内の人物１３０８ａの位置に対応する表示生成コンポーネント１２０の部分）を通して、表示生成コンポーネント１２０を介して表現１３０８ｂを表示する。このようにして、デバイス１０１のユーザは、物理的環境１３００内の人々がデバイス１０１のユーザに注意を向けているとき、それら人々がデバイス１０１のユーザから遠く離れているときであっても、ユーザインタフェース１３３４を通してその人々を見ることができる。いくつかの実施形態では、デバイス１０１が、物理的環境１３００の人物、オブジェクト、部分などにユーザインタフェース１３３４をブレークスルーさせるとき、デバイス１０１は、ユーザインタフェース１３３４の部分の表示を停止し（例えば、又は半透明性でユーザインタフェース１３３４のその部分を表示し）、ユーザインタフェース１３３４のその部分に、物理的環境１３００のその人物、オブジェクト、部分などの表現を表示する。いくつかの実施形態では、物理的環境１３００のその人物、オブジェクト、部分などの表現を囲むユーザインタフェース１３３４の部分が、物理的環境１３００のその人物、オブジェクト、部分などの表現からの距離に応じて減少する異なる量のぼかしで表示されるように、物理的環境１３００のその人物、オブジェクト、部分などの表現は、可変ぼかし効果で表示される。
デバイス１０１は、任意選択的に、物理的環境１３００の画像、音、及び／又は他の方法で検出特性をキャプチャするデバイス１０１上の１つ以上のセンサを使用して、人物の注意がデバイス１０１のユーザに向けられていることを判定する。例えば、いくつかの実施形態では、人物が、電子デバイスの方、及び／又は電子デバイスのユーザの方を見ている場合、人物の注意は、任意選択的に、電子デバイスのユーザに向けられていると判定される。いくつかの実施形態では、人物が、電子デバイスに向かって、及び／又は電子デバイスのユーザに向かって話している場合、人物の注意は、任意選択的に、電子デバイスのユーザに向けられていると判定される。いくつかの実施形態では、人物に関連付けられた電子デバイスは、その電子デバイスと通信するセンサを使用して、人物の関連する注意を検出し、そのような注意情報をユーザの電子デバイスに送信し、次いで、それに応じて応答する。いくつかの実施形態では、人物の注意の判定は、その人物からのジェスチャ（例えば、デバイス１０１のユーザに向けられたジェスチャ）、その人物からの発話（例えば、デバイス１０１のユーザに向けられた発話、デバイス１０１のユーザの名前を話すことなど）、人物がデバイス１０１のユーザに向かって移動している速度、人物の視線（例えば、デバイス１０１のユーザに向けられた視線）などに基づくことを含む、方法１４００を参照して説明された１つ以上の要因に基づく。
いくつかの実施形態では、物理的環境１３００内の人物の注意についての要因を使用して、その人物にユーザインタフェース１３３４をブレークスルーさせることに追加的又は代替的に、デバイス１０１は、デバイス１０１のユーザと、物理的環境１３００内のその人物との相互作用についての１つ以上の要因を利用して、その人物にユーザインタフェース１３３４をブレークスルーさせる。例えば、いくつかの実施形態では、デバイス１０１のユーザが人物に関与しており（例えば、人物に向かってジェスチャをしている、人物に向かって話している、人物に向かって移動しているなど）、デバイス１０１がユーザと、その人物とのそのような関与を検出した場合、デバイス１０１は、その人物にユーザインタフェース１３３４をブレークスルーさせる。いくつかの実施形態では、デバイス１０１は、その人物の注意、及びデバイス１０１のユーザと、その人物がユーザインタフェース１３３４をブレークスルーするその人物との関与を含む要因の組み合わせを使用する。
いくつかの実施形態では、デバイス１０１からの閾値距離１３４０よりも遠くにあるオブジェクトが高リスクオブジェクトであると、デバイス１０１が判定した場合、デバイス１０１は、同様に、それらのオブジェクトに、ユーザインタフェース１３３４をブレークスルーさせ、したがって、デバイス１０１のユーザが、（例えば、潜在的な危険を回避するために）表示生成コンポーネント１２０を介してそれらのオブジェクトを見ることを可能にする。例えば、デバイス１０１は、任意選択的に、方法１４００を参照して説明された１つ以上の要因に基づいて（例えば、それらのオブジェクトの検出された軌道に基づいて）、オブジェクトが高リスクであると判定し、それは、それらのオブジェクトがデバイス１０１のユーザと衝突するか否かも含んでいる。図１３Ａでは、デバイス１０１は、ボール１３０６ａがデバイス１０１のユーザと衝突する軌道上にあると判定している。結果として、デバイス１０１は、ボール１３０６ａがユーザインタフェース１３３４をブレークスルーすることを可能にし、ユーザインタフェース１３３４を通して人物１３０８ａの表現１３０８ｂを表示することに関して説明されるものと同様の方法で、及び／又は表示生成コンポーネント１２０上の位置において、表示生成コンポーネント１２０を介してボール１３０６ａの表現１３０６ｂを表示する。図１３Ａのデバイス１０１は、逆に、木１３０４ａが高リスクオブジェクトではないと判定しており、したがって、木１３０４ａにユーザインタフェース１３３４をブレークスルーさせない。
図１３Ａに示されるように、物理的環境１３００の人々、オブジェクト、部分などの特定の表現がユーザインタフェース１３３４をブレークスルーすることを可能にするにもかかわらず、いくつかの実施形態では、デバイス１０１は、比較的高い没入感レベル１３３２でユーザインタフェース１３３４の残りの部分を表示し続ける。したがって、いくつかの実施形態では、ユーザインタフェース１３３４を通した物理的環境１３００の人々、オブジェクト、部分などのブレークスルーは、任意選択的に、デバイス１０１がユーザインタフェース（単数又は複数）である、又は通常ユーザインタフェース（単数又は複数）を表示する没入感レベル１３３２を低減させない。
いくつかの実施形態では、（例えば、オブジェクトの場合）オブジェクトが高リスクオブジェクトである、（例えば、人々の場合）人物の注意がデバイス１０１のユーザに向けられている、（例えば、人々の場合）デバイス１０１のユーザが人物に関与しているなどの判定の信頼度に基づいて、デバイス１０１は、物理的環境１３００の人物、オブジェクト、部分などがユーザインタフェース１３３４を様々な程度にブレークスルーすることを可能にする。例えば、いくつかの実施形態では、方法１４００を参照して本明細書に説明されたブレークスルー要因が少ないほど、所与のオブジェクト又は人物が満たす、そのブレークスルーに関連付けられた信頼度は低くなり、方法１４００を参照して本明細書に説明されたブレークスルー要因が多いほど、所与のオブジェクト又は人物が満たす、そのブレークスルーに関連付けられた信頼度は高くなる。いくつかの実施形態では、所与のブレークスルーの信頼度が増加するにつれて、デバイス１０１は、その人物、オブジェクトなどの表現を、ユーザインタフェース１３３４を通して、より低い半透明性、より高い色彩度、より高い輝度などで表示し、及び／又は、その人物、オブジェクトなどの表現がより高い半透明性、より低い色彩度、より低い輝度などで表示されたユーザインタフェース１３３４の部分を表示する。例えば、図１３Ｂでは、デバイス１０１は、人物１３０８ａの注意がデバイス１０１のユーザに向けられていることを比較的高い信頼度で判定しており、したがって、デバイス１０１は、任意選択的に、ユーザインタフェース１３３４を通して、比較的低い半透明性、比較的高い色彩度、比較的高い輝度などで人物１３０８ａの表現１３０８ｂを表示しており、及び／又は表現１３０８ｂが比較的高い半透明性、比較的低い色彩度、比較的低い輝度などで表示されているユーザインタフェース１３３４の部分を表示している。これに対し、図１３Ｂでは、デバイス１０１は、任意選択的に、オブジェクト１３０６ａが高リスクオブジェクトであることを比較的低い信頼度で判定しており、したがって、デバイス１０１は、任意選択的に、ユーザインタフェース１３３４を通して、比較的高い半透明性、比較的低い色彩度、比較的低い輝度などでオブジェクト１３０６ａの表現１３０６ｂを表示しており、及び／又は、表現１３０６ｂが比較的低い半透明性、比較的高い色彩度、比較的高い輝度などで表示されているユーザインタフェース１３３４の部分を表示している。
いくつかの実施形態では、デバイス１０１は、デバイス１０１の閾値距離１３４０内にあるオブジェクト又は人々を、それらのオブジェクトが高リスクであるか否か、それらの人々の注意がデバイス１０１のユーザに向けられているか否か、又はデバイス１０１のユーザがそれらの人々と関与しているか否かにかかわらず、ブレークスルーする。例えば、図１３Ｃにおいて、デバイス１０１は、デバイス１０１の閾値距離１３４０内に木１３０４ａを検出している。木１３０４ａは、任意選択的に、高リスクオブジェクトではない（例えば、本明細書において及び／又は方法１４００を参照して説明された高リスク基準を満たさない）が、木１３０４ａがデバイスの閾値距離１３４０内にあるので、デバイス１０１は、任意選択的に、図１３Ｃに示されるように、ユーザインタフェース１３３４を通して木１３０４ａの表現１３０４ｂを表示する。更に、図１３Ｃでは、デバイス１０１は、ボール１３０６ａが、もはや高リスクオブジェクトではないか、又は高リスクオブジェクトではないと判定しており、したがって、ボール１３０６ａがデバイス１０１からの閾値距離１３４０よりも遠いので、デバイス１０１は、ユーザインタフェース１３３４を通してボール１３０６ａの表現を表示していない。最後に、図１３Ａとは対照的に、図１３Ｃでは、デバイス１０１は、人物１３０２ａの注意が、デバイス１０１のユーザに向けられており、人物１３０８ａの注意が、デバイス１０１のユーザに向けられていないと判定しており、したがって、人々１３０２ａ及び１３０８ａがデバイス１０１からの閾値距離１３４０よりも遠いので、デバイス１０１は、ユーザインタフェース１３３４を通して人物１３０２ａの表現１３０２ｂを表示するが、ユーザインタフェース１３３４を通して人物１３０８ａの表現を表示していない。
図１４Ａ～図１４Ｆは、いくつかの実施形態による、電子デバイスによって表示されたユーザインタフェースを通して、環境のオブジェクト、人々、及び／又は部分が見えるようにする方法１４００を示すフローチャートである。いくつかの実施形態では、方法１４００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）、及び１つ以上のカメラ（例えば、ユーザの手で下を向くカメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ）、又はユーザの頭部から前方を向くカメラ）を含むコンピュータシステム（例えば、タブレット、スマートフォン、ウェアラブルコンピュータ、又はヘッドマウントデバイスなどの図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、方法１４００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって統御される。方法１４００の一部の動作は、任意選択的に組み合わされ、及び／又は一部の動作の順序は、任意選択的に変更される。
方法１４００において、いくつかの実施形態では、表示生成コンポーネント及び１つ以上の入力デバイス（例えば、モバイルデバイス（例えば、タブレット、スマートフォン、メディアプレーヤ、又はウェアラブルデバイス）、又はコンピュータ）と通信する電子デバイス（例えば、図１のコンピュータシステム１０１）は、図１３Ａのユーザインタフェース１３３４など、ユーザインタフェース要素を含むユーザインタフェースを表示する（１４０２）。いくつかの実施形態では、電子デバイスは、モバイルデバイス（例えば、タブレット、スマートフォン、メディアプレーヤ、又はウェアラブルデバイス）、又はコンピュータである。いくつかの実施形態では、表示生成コンポーネントは、電子デバイスと統合されたディスプレイ（任意選択的に、タッチスクリーンディスプレイ）、モニタ、プロジェクタ、テレビなどの外部ディスプレイ、又はユーザインタフェースを投影するか、若しくはユーザインタフェースを１人以上のユーザに見えるようにするための（任意選択的に、統合又は外部の）ハードウェアコンポーネントなどである。いくつかの実施形態では、電子デバイスは、ユーザ入力を受信すること（例えば、ユーザ入力をキャプチャする、ユーザ入力を検出するなど）ができる電子デバイス又はコンポーネントを含む１つ以上の入力デバイスと通信し、ユーザ入力に関連する情報を電子デバイスに送信する。入力デバイスの例としては、タッチスクリーン、マウス（例えば、外部）、トラックパッド（任意選択的に、統合又は外部）、タッチパッド（任意選択的に、統合又は外部）、リモート制御デバイス（例えば、外部）、別のモバイルデバイス（例えば、電子デバイスとは別個）、ハンドヘルドデバイス（例えば、外部）、コントローラ（例えば、外部）、カメラ、深度センサ、モーションセンサ（例えば、ハンドトラッキングデバイス、ハンドモーションセンサ）、電子デバイスに含まれる物理的機械的入力要素（例えば、ボタン、回転機械要素、スイッチなど）、及び／又はアイトラッキングデバイスなどを含む。
いくつかの実施形態では、電子デバイスは、電子デバイスによって生成され、表示され、又は他の方法で視聴可能にされる、仮想現実（ＶＲ）環境、複合現実（ＭＲ）環境、又は拡張現実（ＡＲ）環境などのコンピュータ生成現実（ＣＧＲ）環境などの三次元環境を表示する。いくつかの実施形態では、ユーザインタフェース要素は、仮想要素又はオブジェクト（例えば、電子デバイス上のアプリケーションのユーザインタフェース、三次元環境に表示される仮想オブジェクトなど）である。いくつかの実施形態では、電子デバイスは、三次元環境を表示しているのではなく、表示生成コンポーネントを介してコンテンツ（例えば、ユーザインタフェース要素を有するユーザインタフェース）を単純に表示している。
いくつかの実施形態では、ユーザインタフェース要素は、表示生成コンポーネントを介して、図１３Ａの人々１３０２ａ及び１３０８ａの表示を曖昧にするなど、電子デバイスの物理的環境内の個別の人物の表示を、少なくとも部分的に曖昧にする（１４０４）（例えば、表示生成コンポーネントは、任意選択的に、電子デバイスによって表示された仮想コンテンツが、その物理的環境の部分にオーバーレイされて表示されない程度まで、電子デバイスの物理的環境をパススルーする）。いくつかの実施形態では、電子デバイスによって表示されたユーザインタフェース要素は、電子デバイスの物理的環境内の個別の人物よりも電子デバイスの視点の「前」又は近くに表示される。したがって、ユーザインタフェース要素は、任意選択的に、表示生成コンポーネントを介して個別の人物の表現の表示を曖昧にする／ブロックする（例えば、個別の人物の表現の表示を完全に曖昧にする（例えば、ユーザインタフェース要素が、完全に不透明であり、及び／又は個別の人物の表現を完全に覆う）、又は個別の人物の表現の表示を部分的に曖昧にする（例えば、ユーザインタフェース要素が半透明である、及び／又は個別の人物の表現を完全に覆わない））。いくつかの実施形態では、物理的環境のいずれの部分も表示生成コンポーネントを介して見えないように、ユーザインタフェース及び／又はそのコンテンツは、物理的環境の全体を遮る。いくつかの実施形態では、ユーザインタフェース及び／又はそのコンテンツは、物理的環境の部分が、表示生成コンポーネントを介して見える一方で、他の部分（例えば、個別の人物）が、表示生成コンポーネントを介して見えないように、物理的環境の全体未満を遮る。いくつかの実施形態では、電子デバイスは、方法１０００、１２００、及び１６００を参照して説明されるように、個別の没入感レベルでユーザインタフェースを表示する。
いくつかの実施形態では、ユーザインタフェースを表示している間（１４０６）、図１３Ａの人々１３０２ａ及び１３０８ａなど、個別の人物が物理的環境内の電子デバイスからの閾値距離よりも遠くにあるという判定に従って（例えば、人物が電子デバイスから１フィート、３フィート、５フィート、１０フィート、１５フィート、５０フィート、１００フィートなどよりも遠くにある。いくつかの実施形態では、表示生成コンポーネントを介して見ることができる場合、個別の人物は、三次元環境内の電子デバイスの視点から１フィート、３フィート、５フィート、１０フィート、１５フィート、５０フィート、１００フィートなどよりも遠いものとして、電子デバイスによって表示される三次元環境内に表示される）、及び個別の人物の注意が、図１３Ａの人物１３０８ａなどの電子デバイスのユーザに向けられているという判定に従って（例えば、電子デバイスは、任意選択的に、電子デバイスの物理的環境内の個別の人物の注意状態を検出し得る１つ以上のカメラ、マイクロフォン、又は他のセンサを含む。いくつかの実施形態では、個別の人物が電子デバイスの方を、及び／又は電子デバイスのユーザの方を見ている場合、個別の人物の注意は、電子デバイスのユーザに向けられる。いくつかの実施形態では、個別の人物が電子デバイスに向かって、及び／又は電子デバイスのユーザに向かって話している場合、個別の人物の注意は、電子デバイスのユーザに向けられる。いくつかの実施形態では、個別の人物に関連付けられた１つの電子デバイス（例えば、前述の電子デバイス以外）は、その電子デバイスと通信するセンサを使用して、個別の人物の関連する注意を検出し、そのような注意情報を電子デバイスに送信し、次いで、それに応じて応答する。）、電子デバイスは、図１３Ａの表現１３０８ｂを表示するなど、ユーザインタフェース要素に対応する位置における物理的環境内の個別の人物の存在を示すように、ユーザインタフェース要素の表示を更新する（１４０８）（例えば、ユーザインタフェース要素が表示生成コンポーネントを介して個別の人物の「前」にもはやないように、したがって、電子デバイスの物理的環境内の個別の人物の表現が表示生成コンポーネントを介して見えるように、ユーザインタフェース要素の表示を停止する）。いくつかの実施形態では、個別の人物が、ユーザインタフェース要素を通して見えるように（又はより見えるように）なるように、電子デバイスは、ユーザインタフェース要素の半透明性を増加させる。いくつかの実施形態では、電子デバイスは、ユーザインタフェース要素が電子デバイスの物理的環境内の個別の人物の「前」にもはやないように、ユーザインタフェース内のユーザインタフェース要素を移動する。いくつかの実施形態では、電子デバイスは、ユーザインタフェース要素が表示生成コンポーネントを介して個別の人物の表示を曖昧にする程度を低減させる。いくつかの実施形態では、電子デバイスは、個別の人物の存在及び／又は注意を視覚的に示す。いくつかの実施形態では、電子デバイスは、ユーザインタフェース要素の外観をぼかすか、又は他の方法で変更させる。いくつかの実施形態では、電子デバイスは、上述のように、表示されたユーザインタフェースの全体（例えば、ユーザインタフェースに表示された全て）を更新する。いくつかの実施形態では、電子デバイスは、個別の人物を遮るユーザインタフェースの部分（例えば、ユーザインタフェースのその部分に表示されるオブジェクト）のみを更新し、ユーザインタフェースの残りの表示を修正しない。
いくつかの実施形態では、個別の人物が物理的環境内の電子デバイスからの閾値距離より遠くにあり、個別の人物の注意が電子デバイスのユーザに向けられていない（例えば、個別の人物が電子デバイスの方を見ていない、並びに／又は電子デバイスに向かって話していない、及び／又は電子デバイスのユーザに向かって話していない）という判定に従って、電子デバイスは、図１３Ａのユーザインタフェース１３３４内に人物１３０２ａの表現を表示しないなど、ユーザインタフェース要素の表示を更新することを控える（１４１０）。例えば、ユーザインタフェース、及び／又はユーザインタフェース要素の表示を修正しない。したがって、ユーザインタフェース要素は、任意選択的に、以前と同じ程度まで、表示生成コンポーネントを介して個別の人物の表示を引き続き曖昧にする。注意に基づいてユーザインタフェースの表示を選択的に変更する上述の方法は、個別の人物との相互作用が起こりそうなときのみ、電子デバイスのユーザが表示生成コンポーネントを介して電子デバイスの物理的環境内の人物を見ることを可能にする迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、ユーザインタフェースの表示を不必要に更新せず、したがって、表示されたユーザインタフェースの連続性を維持し、ユーザインタフェースの誤った更新を元に戻すユーザ入力を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、ユーザインタフェースを表示している間（１４１２）、個別の人物が物理的環境内の電子デバイスからの閾値距離（例えば、３、５、１０、１５など）よりも近いという判定に従って、電子デバイスは、ユーザインタフェース要素に対応する位置における物理的環境内の個別の人物の存在を示すように、ユーザインタフェース要素の表示を更新する（１４１４）（例えば、関係する人物の注意が電子デバイスのユーザに向けられているか否か）。したがって、いくつかの実施形態では、電子デバイスは、個別の人物の注意状態に関係なく、個別の人物が近くにあるときに、（例えば、前述したように）個別の人物の存在を示すようにユーザインタフェース要素の表示を更新する。人物が電子デバイスの近くにあるときにユーザインタフェースの表示を変更する上述の方法は、電子デバイスのユーザが、表示生成コンポーネントを介して電子デバイスの物理的環境内の近くの人物を見ることを可能にする迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、物理的環境内の個別の人物の存在を示すために別個のユーザ入力を必要としないことによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、個別の人物の注意が電子デバイスのユーザに向けられていると判定することは、図１３Ａ～図１３Ｃを参照して説明されるように、電子デバイスと通信する１つ以上のセンサ（例えば、個別の人物を含む電子デバイスの物理的環境をキャプチャする１つ以上の光学カメラ又は他のカメラ）によって検出された、個別の人物によって実行された１つ以上のジェスチャに基づく（１４１６）。例えば、電子デバイスは、個別の人物が、例えば、個別の人物の１つ以上の手で、電子デバイスのユーザを指している、振っている、又は他の方法で電子デバイスのユーザに向かってジェスチャしていることを検出した場合（例えば、いくつかの実施形態では、個別の人物がどれだけ長くユーザに向かってジェスチャしているかとは無関係に、及びいくつかの実施形態では、１秒、３秒、５秒、１０秒、２０秒などの時間閾値よりも長くユーザに向かってジェスチャした後に）、電子デバイスは、任意選択的に、個別の人物の注意が電子デバイスのユーザに向けられていると判定する。いくつかの実施形態では、電子デバイスは、本明細書で説明された１つ以上の他の要因（例えば、個別の人物の視線、個別の人物の発話、個別の人物の速度及び／又は移動など）と併せて上述のジェスチャに基づいて、個別の人物の注意が電子デバイスのユーザに向けられていると判定し、更に本明細書で説明された他の要因のうちの１つ以上を検出することなく、上述のジェスチャが検出されたとき、個別の人物の注意が電子デバイスのユーザに向けられていないと判定する。個別の人物からのジェスチャに基づいて個別の人物の注意を判定する上述の方法は、個別の人物との相互作用が起こりそうなとき、電子デバイスのユーザが表示生成コンポーネントを介して電子デバイスの物理的環境内の人物を見ることを可能にする迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、ユーザインタフェースの表示を不必要に更新せず、したがって、表示されたユーザインタフェースの連続性を維持し、ユーザインタフェースの誤った更新を元に戻すユーザ入力を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、個別の人物の注意が電子デバイスのユーザに向けられていると判定することは、図１３Ａ～図１３Ｃを参照して説明されるように、電子デバイスと通信する１つ以上のセンサ（例えば、個別の人物を含む、電子デバイスの物理的環境をキャプチャする１つ以上の光学カメラ又は他のカメラ）によって検出された個別の人物の視線に基づく（１４１８）。例えば、個別の人物が電子デバイスのユーザを見ている、又は電子デバイスのユーザに向かっていることを電子デバイスが検出した場合（例えば、いくつかの実施形態では、個別の人物がどれだけ長くユーザの方を見ているかとは無関係に、いくつかの実施形態では、１秒、３秒、５秒、１０秒、２０秒などの時間閾値よりも長くユーザの方を見た後に）（例えば、電子デバイスのユーザを囲む０．５フィート、１フィート、３フィート、５フィート、１０フィート、２０フィートなどの閾値距離で、又は閾値距離内の位置の範囲内）、電子デバイスは、任意選択的に、個別の人物の注意が電子デバイスのユーザに向けられていると判定する。いくつかの実施形態では、電子デバイスは、本明細書で説明された１つ以上の他の要因（例えば、個別の人物のジェスチャ（単数又は複数）、個別の人物の発話、個別の人物の速度及び／又は移動など）と併せて、上述の視線に基づいて、個別の人物の注意が電子デバイスのユーザに向けられていると判定し、更に本明細書で説明された他の要因のうちの１つ以上を検出することなく、上述の視線が検出されたとき、個別の人物の注意が電子デバイスのユーザに向けられていないと判定する。個別の人物からの視線に基づいて、個別の人物の注意を判定する上述の方法は、個別の人物との相互作用が起こりそうなとき、電子デバイスのユーザが、表示生成コンポーネントを介して電子デバイスの物理的環境内の人物を見ることを可能にする迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、ユーザインタフェースの表示を不必要に更新せず、したがって、表示されたユーザインタフェースの連続性を維持し、ユーザインタフェースの誤った更新を元に戻すユーザ入力を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、個別の人物の注意が電子デバイスのユーザに向けられていると判定することは、図１３Ａ～図１３Ｃを参照して説明されるように、電子デバイスと通信する１つ以上のセンサ（例えば、個別の人物を含む、電子デバイスの物理的環境から音をキャプチャする１つ以上のマイクロフォン）によって検出された個別の人物からの検出された発話に基づく（１４２０）。例えば、電子デバイスが、個別の人物が挨拶（例えば、「みなさん、こんにちは」）を話していること、又は他の方法で電子デバイスのユーザに向かって話していることを検出した場合（例えば、いくつかの実施形態では、個別の人物がどれだけ長くユーザに向かって話しているかとは無関係に、いくつかの実施形態では、１秒、３秒、５秒、１０秒、２０秒などの時間閾値よりも長くユーザに向かって話した後に）、電子デバイスは、任意選択的に、個別の人物の注意が電子デバイスのユーザに向けられていると判定する。いくつかの実施形態では、電子デバイスは、本明細書で説明された１つ以上の他の要因（例えば、個別の人物のジェスチャ（単数又は複数）、個別の人物の視線、個別の人物の速度及び／又は移動など）と併せて上述の発話に基づいて、個別の人物の注意が電子デバイスのユーザに向けられていると判定し、本明細書で説明された他の要因のうちの１つ以上を検出することなく、上述の発話が検出されたとき、個別の人物の注意が電子デバイスのユーザに向けられていないと判定する。個別の人物からの発話に基づいて、個別の人物の注意を判定する上述の方法は、個別の人物との相互作用が起こりそうなとき、電子デバイスのユーザが、表示生成コンポーネントを介して電子デバイスの物理的環境内の人物を見ることを可能にする迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、ユーザインタフェースの表示を不必要に更新せず、したがって、表示されたユーザインタフェースの連続性を維持し、ユーザインタフェースの誤った更新を元に戻すユーザ入力を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、個別の人物の注意が電子デバイスのユーザに向けられていると判定することは、図１３Ａ～図１３Ｃを参照して説明されたように、個別の人物からの発話が電子デバイスのユーザの名前を含むことを、電子デバイスが検出したという判定に基づく（１４２２）。例えば、個別の人物が、ユーザの名前を話した場合、いくつかの実施形態では、任意の文脈で（例えば、「私は、今日、店でＴｏｍ（ユーザ）を見た」などの非挨拶文で）、いくつかの実施形態では、特定の文脈のみで（例えば、「Ｔｏｍ（ユーザ）、こんにちは」などの挨拶文で）、電子デバイスは、任意選択的に、個別の人物の注意が電子デバイスのユーザに向けられていると判定する。いくつかの実施形態では、電子デバイスは、本明細書で説明された１つ以上の他の要因（例えば、個別の人物のジェスチャ（単数又は複数）、個別の人物の視線、個別の人物の速度及び／又は移動など）と併せて、ユーザの名前の上述の発話に基づいて、個別の人物の注意が電子デバイスのユーザに向けられていると判定し、更に本明細書で説明された他の要因のうちの１つ以上を検出することなく、ユーザの名前の上述の発話が検出されたとき、個別の人物の注意が電子デバイスのユーザに向けられていないと判定する。個別の人物からのユーザの名前の発話に基づいて個別の人物の注意を判定する上述の方法は、個別の人物との相互作用が起こりそうなとき、電子デバイスのユーザが、表示生成コンポーネントを介して電子デバイスの物理的環境内の人物を見ることを可能にする迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、ユーザインタフェースの表示を不必要に更新せず、したがって、表示されたユーザインタフェースの連続性を維持し、ユーザインタフェースの誤った更新を元に戻すユーザ入力を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、個別の人物の注意が電子デバイスのユーザに向けられていると判定することは、図１３Ａ～図１３Ｃを参照して説明されるように、電子デバイスと通信する１つ以上のセンサ（例えば、個別の人物を含む、電子デバイスの物理的環境をキャプチャする１つ以上の光学カメラ又は他のカメラ）によって検出される個別の人物の（例えば、電子デバイスのユーザに向かう）移動（例えば、速度）に基づく（１４２４）。例えば、個別の人物が電子デバイスのユーザに向かって移動していることを、電子デバイスが検出した（例えば、個別の人物の現在の移動に基づく個別の人物の軌道が、電子デバイスのユーザから０．５フィート、１フィート、３フィート、５フィート、１０フィート、２０フィートなどの閾値距離未満の距離に個別の人物を導く）場合、電子デバイスは、任意選択的に、個別の人物の注意が電子デバイスのユーザに向けられていると判定する。いくつかの実施形態では、電子デバイスは、任意選択的に、個別の人物が電子デバイスのユーザに向かって移動することに加えて、特定の基準（例えば、０．３ｍ／ｓ、０．５ｍ／ｓ、１ｍ／ｓ、３ｍ／ｓ、５ｍ／ｓ、１０ｍ／ｓ、２０ｍ／ｓなどの閾値よりも高い速度、閾値よりも低い速度など）を満たすために、個別の人物の移動の速度を要求し、その時点で、電子デバイスは、任意選択的に、個別の人物の注意が電子デバイスのユーザに向けられていると判定する（及び、そうでなければ、任意選択的に、そのように判定しない）。いくつかの実施形態では、電子デバイスは、本明細書で説明された１つ以上の他の要因（例えば、個別の人物のジェスチャ（単数又は複数）、個別の人物の視線、個別の人物の発話など）と併せて、個別の人物の上述の速度及び／又は移動に基づいて、個別の人物の注意が電子デバイスのユーザに向けられていると判定し、更に本明細書で説明された他の要因のうちの１つ以上を検出することなく、個別の人物の上述の速度及び／又は移動が検出されたとき、個別の人物の注意が電子デバイスのユーザに向けられていないと判定する。個別の人物の速度及び／又は移動に基づいて、個別の人物の注意を判定する上述の方法は、個別の人物との相互作用が起こりそうなとき、電子デバイスのユーザが表示生成コンポーネントを介して電子デバイスの物理的環境内の人物を見ることを可能にする迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、ユーザインタフェースの表示を不必要に更新せず、したがって、表示されたユーザインタフェースの連続性を維持し、ユーザインタフェースの誤った更新を元に戻すユーザ入力を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、ユーザインタフェースを表示している間、電子デバイスは、電子デバイスのユーザが個別の人物との相互作用に関与していることを検出する（１４２６）。いくつかの実施形態では、電子デバイスのユーザが個別の人物との相互作用に関与していることを検出したことに応答して、電子デバイスは、図１３Ａ～図１３Ｃを参照して説明されるように、ユーザインタフェース要素に対応する位置における物理的環境内の個別の人物の存在を示すように、ユーザインタフェース要素の表示を更新する（１４２８）。例えば、電子デバイスが、１つ以上のセンサ（例えば、電子デバイスのユーザの視線を検出するためのアイトラッキングデバイス、電子デバイスのユーザの手ジェスチャ及び／又は手の移動を検出するためのハンドトラッキングデバイス、電子デバイスのユーザからの発話を検出するためのマイクロフォン、加速度計、ジャイロスコープ並びに／あるいは電子デバイスの移動を検出する他の慣性測定ユニット（ＩＭＵ））を使用して、電子デバイスのユーザが個別の人物に向かってジェスチャを行っている（例えば、前述したように、個別の人物から検出されたジェスチャと同様に）、個別の人物に向かって話している（例えば、前述したように、個別の人物から検出された発話と同様に）、個別の人物に向かって移動している（例えば、前述したように、個別の人物から検出された速度及び／又は移動と同様に）、個別の人物の方を見ている（例えば、前述したように、個別の人物から検出された視線と同様に）などを検出した場合、電子デバイスは、任意選択的に、電子デバイスのユーザが個別の人物に関与していると判定する。いくつかの実施形態では、電子デバイスは、上述の要因（例えば、ジェスチャ、発話、移動、視線）のうちの１つに基づいて、ユーザが個別の人物に関与していると判定する。いくつかの実施形態では、電子デバイスは、上述の要因のうちの２つ以上に基づいて、ユーザが個別の人物に関与していると判定し、上述の要因のうちの１つのみが検出された場合、ユーザが個別の人物に関与していないと判定する。いくつかの実施形態では、電子デバイスは、上述のユーザベースの要因（例えば、ユーザのジェスチャ、発話、移動、視線）のうちの少なくとも１つ、及び少なくとも１つ以上の個別の人物ベースの要因（例えば、個別の人物のジェスチャ（単数又は複数）、個別の人物の視線、個別の人物の速度及び／又は移動、個別の人物からの発話）を要求して、ユーザが個別の人物に関与していると判定し、そうでなければ、ユーザが個別の人物に関与していないと判定する。いくつかの実施形態では、ユーザが個別の人物に関与していないと、電子デバイスが判定した場合、電子デバイスは、任意選択的に、物理的環境内の個別の人物の存在を示すようにユーザインタフェース要素の表示を更新しない（いくつかの実施形態では、前述したように、電子デバイスが個別の人物の注意に基づいて更新しない限り）。ユーザと個別の人物との関与に基づいてユーザインタフェースの表示を変更する上述の方法は、個別の人物との相互作用が起こりそうなときのみ、電子デバイスのユーザが表示生成コンポーネントを介して電子デバイスの物理的環境内の人物を見ることを可能にする迅速で効率的な方法を提供し、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、ユーザインタフェースの表示を不必要に更新せず、したがって、表示されたユーザインタフェースの連続性を維持し、ユーザインタフェースの誤った更新を元に戻すユーザ入力を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、ユーザインタフェース要素に対応する位置における物理的環境内の個別の人物の存在を示すようにユーザインタフェース要素の表示を更新することは、１つ以上の第１の基準が満たされたという判定に従って、ユーザインタフェース要素の表示を第１の量だけ変更することを含む（１４３０）（例えば、複数の上述の要因（例えば、個別の人物のジェスチャ（単数又は複数）、個別の人物の視線、個別の人物の速度及び／又は移動、個別の人物からの発話、ユーザのジェスチャ（単数又は複数）、ユーザの視線、ユーザの速度及び／又は移動、ユーザからの発話）が閾値数（例えば、２、３）未満であることが満たされた場合、電子デバイスは、任意選択的に、ユーザインタフェース要素を第１の量だけ移動させる、ユーザインタフェース要素の透明性を第１の量だけ増加させる、ユーザインタフェース要素を第１の量だけぼかす、ユーザインタフェースの第１の部分を更新するなどの第１の方法で、ユーザインタフェース要素を更新する）。いくつかの実施形態では、ユーザインタフェース要素に対応する位置における物理的環境内の個別の人物の存在を示すようにユーザインタフェース要素の表示を更新すること（１４３２）は、第１の基準とは異なる１つ以上の第２の基準が満たされたという判定に従って、図１３Ａ及び図１３Ｂの表現１３０６ｂの異なる表示など、第１の量とは異なる第２の量だけユーザインタフェース要素の表示を変更すること（１４３４）を含む。例えば、複数の上述の要因（例えば、個別の人物のジェスチャ（単数又は複数）、個別の人物の視線、個別の人物の速度及び／又は移動、個別の人物からの発話、ユーザのジェスチャ（単数又は複数）、ユーザの視線、ユーザの速度及び／又は移動、ユーザからの発話）が閾値数（例えば、２、３）を超えることが満たされた場合、電子デバイスは、任意選択的に、ユーザインタフェース要素を第１の量とは異なる（例えば、より多い）第２の量だけ移動させる、ユーザインタフェース要素の透明性を第１の量とは異なる（例えば、より多い）第２の量だけ増加させる、ユーザインタフェース要素を第１の量とは異なる（例えば、より多い）第２の量だけぼかす、ユーザインタフェースの第１の部分とは異なる（例えば、より大きい）第２の部分を更新するなど、第１の方法とは異なる第２の方法でユーザインタフェース要素を更新する。したがって、いくつかの実施形態では、より多くの個別の人物の注意要因及び／又はユーザの関与要因が電子デバイスによって検出されるにつれて、電子デバイスは、任意選択的に、ユーザインタフェース要素の表示を更新して、例えば、表示生成コンポーネントを介して、個別の人物の表現をより見えるようにする。いくつかの実施形態では、電子デバイスによって検出される、個別の人物の注意要因及び／又はユーザ関与要因が少なくなるにつれて、電子デバイスは、任意選択的に、ユーザインタフェース要素の表示を更新して、例えば、表示生成コンポーネントを介して、個別の人物の表現を見えにくくする。したがって、個別の人物の注意がユーザに向けられている、及び／又はユーザが個別の人物に関与しているという信頼度が高いほど、電子デバイスは、ユーザインタフェース要素の表示をより徹底的に更新し、個別の人物の注意がユーザに向けられている、及び／又はユーザが個別の人物に関与しているという信頼度が低いほど、電子デバイスは、ユーザインタフェースの表示をより徹底的に更新しない。個別の人物の注意が判定される（又は個別の人物との関与が判定される）信頼度に応じて異なる量だけ（例えば、段階的に）ユーザインタフェースの表示を変更する上述の方法は、個別の人物との相互作用が起こり得る程度まで、電子デバイスのユーザが表示生成コンポーネントを介して電子デバイスの物理的環境内の人物を見ることを可能にする迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、ユーザインタフェースの表示を不必要に更新せず、したがって、表示されたユーザインタフェースの連続性を維持し、ユーザインタフェースの誤った更新を元に戻すユーザ入力を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、ユーザインタフェースは、表示生成コンポーネントを介して、図１３Ａ～図１３Ｃのオブジェクト１３０４ａ及び１３０６ａなど、電子デバイスの物理的環境内の個別のオブジェクトの表示を、少なくとも部分的に曖昧にする個別のユーザインタフェース要素を含む（１４３６）（例えば、物理的環境内の天井扇、階段、エレベーションドロップオフ、他のオブジェクトなど。いくつかの実施形態では、オブジェクトは、ユーザと衝突する可能性があるオブジェクトである。いくつかの実施形態では、オブジェクトは、ユーザに傷害を引き起こし得るオブジェクトである）。いくつかの実施形態では、ユーザインタフェースを表示している間（１４３８）、個別のオブジェクトが、図１３Ｂのオブジェクト１３０４ａ及び１３０６ａなど、物理的環境内の電子デバイスから個別の閾値距離よりも遠いという判定に従って（例えば、個別の人物に関連する閾値距離と同じである、又は個別の人物に関連する閾値距離とは異なる（例えば、遠い又は近い））（例えば、オブジェクトは、電子デバイスから、３フィート、５フィート、１０フィート、１５フィート、３０フィート、５０フィートなどよりも遠い。いくつかの実施形態では、オブジェクトは、表示生成コンポーネントを介して見える場合、電子デバイスによって表示される三次元環境において、三次元環境内の電子デバイスの視点から３フィート、５フィート、１０フィート、１５フィート、３０フィート、５０フィートなどを超えるものとして表示され）、及び個別のオブジェクトが、図１３Ａのオブジェクト１３０６ｂなどの１つ以上の第１の基準を満たすという判定に従って（例えば、オブジェクトは、ユーザにとって潜在的に危険なオブジェクトである。例えば、ユーザとの衝突がユーザの負傷を引き起こす可能性が高いような十分な速度（例えば、０．５ｍ／ｓ、１ｍ／ｓ、２ｍ／ｓ、４ｍ／ｓ、１０ｍ／ｓ、２０ｍ／ｓよりも速い）でユーザに向かって移動するオブジェクト。いくつかの実施形態では、追加的又は代替的に、オブジェクトの軌道及び／又は速度がオブジェクトを示す任意のオブジェクトは、ユーザと衝突することになる。いくつかの実施形態では、追加的又は代替的に、ユーザの軌道及び／又は速度がユーザを示すオブジェクトは、オブジェクト（例えば、ユーザがオブジェクトに気付かない場合に転倒する可能性があるテーブル、ドロップオフ又は階段など）と衝突、又はそれに到達することになる）、電子デバイスは、図１３Ａの表現１３０６ｂを表示するなど、個別のユーザインタフェース要素に対応する位置における物理的環境内の個別のオブジェクトの存在を示すように、個別のユーザインタフェース要素の表示を更新する（１４４０）（例えば、ユーザインタフェース要素に対応する位置における物理的環境内の個別の人物の存在を示すようにユーザインタフェース要素の表示を更新することに関して前述したものと同じ又は同様の方法で）。
いくつかの実施形態では、図１３Ａのオブジェクト１３０４ａなど、個別のオブジェクトが物理的環境内の電子デバイスから個別の閾値距離よりも遠くにあり、更に個別のオブジェクトが、１つ以上の第１の基準を満たされていないという判定に従って（例えば、オブジェクトは、ユーザにとって潜在的に危険なオブジェクトではない。例えば、ユーザに向かって低い速度（例えば、０．５ｍ／ｓ、１ｍ／ｓ、２ｍ／ｓ、４ｍ／ｓ、１０ｍ／ｓ、２０ｍ／ｓ未満）で移動するオブジェクトは、ユーザとの衝突がユーザの負傷を引き起こさない可能性が高い。いくつかの実施形態では、追加的又は代替的に、オブジェクトの軌道及び／又は速度がオブジェクトを示すオブジェクトは、ユーザと衝突しないであろう。いくつかの実施形態では、追加的又は代替的に、ユーザの軌道及び／又は速度がユーザを示すオブジェクトが、オブジェクト（例えば、ユーザがオブジェクトに気付かない場合に転倒する可能性があるテーブル、ドロップオフ、又は階段など）と衝突も、それに到達もしないであろう）、電子デバイスは、図１３Ａのユーザインタフェース１３３４内のオブジェクト１３０４ａの表現を表示しないなど、個別のユーザインタフェース要素の表示を更新することを控える（１４４２）（例えば、ユーザインタフェース要素に対応する位置における物理的環境内の個別の人物の存在を示すようにユーザインタフェース要素の表示を更新することを控えることに関して前述したのと同じ又は同様の方法で）。いくつかの実施形態では、個別のオブジェクトが、図１３Ｃのオブジェクト１３０４ａオブジェクトなど、物理的環境内の電子デバイスに対して個別の閾値距離よりも近いという判定（例えば、個別のオブジェクトが１つ以上の第１の基準を満たすか否か）に従って、電子デバイスは、図１３Ｃの表現１３０４ｂを表示するなど、個別のユーザインタフェース要素に対応する位置における物理的環境内の個別のオブジェクトの存在を示すように、個別のユーザインタフェース要素の表示を更新する（１４４４）（例えば、ユーザインタフェース要素に対応する位置における物理的環境内の個別の人物の存在を示すようにユーザインタフェース要素の表示を更新することに関して前述したのと同じ又は同様の方法で）。電子デバイスの物理的環境内のオブジェクトの存在に基づいてユーザインタフェースの表示を選択的に変更する上述の方法は、電子デバイスのユーザが、関連する可能性が高い場合にのみ、表示生成コンポーネントを介して電子デバイスの物理的環境を見ることを可能にする迅速で効率的な方法を提供するが（例えば、電子デバイスを使用する際の安全性のため）、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、電子デバイスの物理的環境内にオブジェクトがないときにユーザインタフェースの表示を不必要に更新せず、したがって、表示されたユーザインタフェースの連続性を維持し、ユーザインタフェースの誤った更新を元に戻すユーザ入力を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、ユーザインタフェース要素に対応する位置における物理的環境内の個別の人物の存在を示すようにユーザインタフェース要素の表示を更新する前に、物理的環境内の個別の人物の位置に対応するユーザインタフェースの第２の個別の部分を囲むユーザインタフェースの第１の個別の部分が、第１の値を有する視覚特性で表示される（１４４６）（例えば、個別の人物の表現がユーザインタフェース要素を通して見えた場合に個別の人物の表現を囲むユーザインタフェース要素の部分は、非ぼかし状態で、第１のカラープロファイルで、第１の輝度で、第１の半透明性などで表示される）。いくつかの実施形態では、ユーザインタフェース要素に対応する位置における物理的環境内の個別の人物の存在を示すようにユーザインタフェース要素の表示を更新した後に、物理的環境内の個別の人物の位置に対応するユーザインタフェースの第２の個別の部分を囲むユーザインタフェースの第１の個別の部分は、第１の値とは異なる第２の値を有する視覚特性で表示される（１４４８）（例えば、ユーザインタフェース要素を通して見える個別の人物の表現を囲むユーザインタフェース要素の部分は、ぼやけた状態で、第１のカラープロファイルとは異なる第２のカラープロファイルで、第１の輝度とは異なる第２の輝度で、第１の半透明性とは異なる第２の半透明性などで表示される）。例えば、いくつかの実施形態では、表示生成コンポーネントを介して見える個別の人物の表現を囲むように表示されたユーザインタフェースの部分は、視覚効果（例えば、ぼかし、より透明など）で表示される。いくつかの実施形態では、個別の人物の表現を囲むユーザインタフェースの部分は、表示生成コンポーネントを介して表示される個別の人物の表現（例えば、その境界）の閾値距離（例えば、０．５フィート、１フィート、３フィート、５フィート、２０フィート）内のユーザインタフェースの部分である。いくつかの実施形態では、個別の人物の表現（例えば、その境界）の閾値距離よりも遠いユーザインタフェースの部分は、視覚効果で表示されない（例えば、個別の人物に基づくユーザインタフェース要素の表示の更新の結果として変更されない、ぼやけずに表示される、透明度が低く表示されるなど）。いくつかの実施形態では、ユーザインタフェースに適用される視覚効果は、個別の人物の表現（例えば、その境界）からの距離に応じて大きさが減少する。個別の人物の表現からの距離に基づいて異なる量だけユーザインタフェースを変更する上述の方法は、ユーザインタフェースにおける視覚的混乱を低減し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、個別のユーザの存在を、ユーザインタフェースのコンテンツから分離しているものとして明確に示すために役立つことによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
図１５Ａ～図１５Ｃは、いくつかの実施形態による、デバイスの特性及び／又はデバイスの環境の特性に基づいてユーザインタフェース（単数又は複数）を表示している没入感レベルを低減する電子デバイスの例を示している。
図１５Ａは、表示生成コンポーネント（例えば、図１の表示生成コンポーネント１２０）を介して、ユーザインタフェース１５３４を表示する電子デバイス１０１を示している。図１～図６を参照して上述したように、電子デバイス１０１は、任意選択的に、表示生成コンポーネント（例えば、タッチスクリーン）と、複数の画像センサ（例えば、図３の画像センサ３１４）と、を含む。画像センサは、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又は任意の他のセンサのうちの１つ以上を含み、電子デバイス１０１は、ユーザが電子デバイス１０１と相互作用している間、ユーザ又はユーザの一部の１つ以上の画像をキャプチャするために使用することができる。いくつかの実施形態では、以下に示されるユーザインタフェースはまた、ユーザインタフェースをユーザに表示する表示生成コンポーネントと、物理的環境及び／又はユーザの手の移動（例えば、ユーザから外向きに面する外部センサ）、並びに／あるいはユーザの視線（例えば、ユーザの顔に向かって内向きに面する内部センサ）を検出するためのセンサと、を含む、ヘッドマウントディスプレイ上に実装され得る。
デバイス１０１は、任意選択的に、デバイス１０１の周囲の物理的環境１５００内の１つ以上のオブジェクトを含む、デバイス１０１の周囲の物理的環境１５００（例えば、動作環境１００）の１つ以上の画像をキャプチャする。例えば、図１５Ａでは、物理的環境１５００は、２つのオブジェクト（例えば、木１５０４ａ及びボール１５０６ａ）と、２人の人々（例えば、人物１５０２ａ及び人物１５０８ａ）と、を含む。図１５Ａでは、デバイス１０１は、没入感スケール１５３０上の比較的高い（例えば、最大）没入感レベル１５３２で、（例えば、アプリケーション アプリＣの）ユーザインタフェース１５３４を表示している。例えば、図１５Ａの表示は、任意選択的に、デバイス１０１の入力要素（例えば、図９Ａを参照して説明されるように、デバイス１０１の入力要素９２０）を使用して、ユーザインタフェース１５３４の没入感レベルを没入感レベル１５３２まで増加させる入力をデバイス１０１が検出した結果である。いくつかの実施形態では、ユーザインタフェース１５３４は、アプリケーションのユーザインタフェースとは対照的に、デバイス１０１のオペレーティングシステムのユーザインタフェースである。図１５Ａにおいてデバイス１０１がユーザインタフェース１５３４を表示している没入感レベル１５３２において、ユーザインタフェース１５３４のコンテンツ（例えば、仮想テーブル上の仮想ボックス）が、表示生成コンポーネント１２０を介して見えるが、物理的環境１５００の表現（単数又は複数）が表示生成コンポーネント１２０を介して見えないように、ユーザインタフェース１５３４は、表示生成コンポーネント１２０を介してデバイス１０１の物理的環境１５００（例えば、物理的環境１５００内のオブジェクト、人々など）の表示を曖昧にする（例えば、完全に曖昧にする）。いくつかの実施形態では、比較的高い（例えば、最大）レベルの没入感レベル１５３２でユーザインタフェース１５３４を表示することに関する詳細は、方法１０００を参照して説明された通りである。図１５Ａ～図１５Ｃの説明は、比較的高い没入感レベル１５３２を有するユーザインタフェース１５３４に関連して提供されるが、図１５Ａ～図１５Ｃの特徴及び方法１６００は、任意選択的に、デバイス１０１によって表示される仮想要素、オブジェクトなどが、表示生成コンポーネント１２０を介して物理的環境１５００の任意の部分の表示を少なくとも部分的に曖昧にする任意の状況に同様に適用されることが理解される。
いくつかの実施形態では、デバイス１０１は、デバイス１０１及び／又は環境１５００の１つ以上の特性を検出することができ、特定の特性を検出したことに応答して、物理的環境１５００のオブジェクト、人々、及び／又は１つ以上の部分が、表示生成コンポーネント１２０を介して少なくとも部分的に見えるようになるように（例えば、それらの特性を検出する前に、それらが見えなかったとき、又は完全に見えなかったとき）、デバイス１０１は、任意選択的に、ユーザインタフェース１５３４を表示する没入感レベル１５３２を低減する。いくつかの実施形態では、デバイス１０１は、（例えば、デバイスが時速０．５マイル、１マイル、３マイル、５マイル、１０マイル、２０マイル、５０マイルなどの速度閾値よりも速く移動している場合）デバイス１０１の移動（例えば、その速度）の特性を（例えば、加速度計、ＧＰＳ位置検出器、及び／又は他の慣性測定ユニット（ＩＭＵ）を使用して）検出したことに応答して、没入感レベル１５３２を低減する。いくつかの実施形態では、デバイス１０１は、（例えば、環境１５００が、ガラス破壊の音又はファームアラームの音など、潜在的に危険な状況に関連付けられた音を含む場合）物理的環境１５００の特性を（例えば、カメラ、マイクロフォンなどを使用して）検出したことに応答して、没入感レベル１５３２を低減する。いくつかの実施形態では、デバイス１０１が環境１５００においてオブジェクト及び／又はハザードを検出した場合にのみ、デバイス１０１は、上述の没入感の低減を実行し、デバイス１０１が環境１５００においてオブジェクト及び／又はハザードを検出しなかった場合、デバイス１０１は、任意選択的に、必要な速度及び／又は音特性がデバイス１０１によって検出されたとしても、上述の速度ベースの／音ベースの没入感の低減を実行しない。いくつかの実施形態では、ユーザインタフェース１５３４の全体の表示が修正されるように、デバイス１０１がユーザインタフェース１５３４を表示している没入感レベルを、デバイス１０１は、所定の比較的低い（例えば、最小）没入感レベルに低減する（例えば、ユーザインタフェース１３３４の一部の表示が修正される一方で、ユーザインタフェース１３３４の他の部分の表示が修正されない、異なる状況に応答して、図１３Ａ～図１３Ｃのデバイス１０１の応答と比較して）。
例えば、図１５Ａにおいて、デバイス１０１の速度１５５２は、速度スケール１５５０上の速度閾値１５５１（例えば、毎時０．５マイル、１マイル、３マイル、５マイル、１０マイル、２０マイル、５０マイル）未満である。したがって、デバイス１０１は、ユーザインタフェース１５３４の没入感レベル１５３２を修正しておらず、物理的環境１５００のオブジェクト、人々、及び／又は部分は、ユーザインタフェース１５３４によって引き続き曖昧にされる。
図１５Ｂにおいて、デバイス１０１は、デバイス１０１の速度１５５２が速度スケール１５５０上の速度閾値１５５１を超えたことを検出する。結果として、デバイス１０１は、任意選択的に、ユーザインタフェース１５３４を表示していた没入感レベル１５３２を修正する。いくつかの実施形態では、デバイス１０１は、車両（例えば、車、飛行機など）で移動していると判定した場合、速度閾値１５５１を上回る速度１５５２を検出したことに応答して、没入感レベル１５３２を修正しない。図１５Ｂでは、ユーザインタフェース１５３４のいずれも表示生成コンポーネント１２０を介して表示されず、物理的環境１５００のオブジェクト（例えば、１５０４ｂ、１５０６ｂ）、人々（例えば、１５０２ｂ、１５０８ｂ）、及び／又は部分の表現が、表示生成コンポーネント１２０を介して完全に見えるように、デバイス１０１は、没入感レベル１５３２を最小没入感レベルに低減している。いくつかの実施形態では、デバイス１０１は、没入感レベル１５３２を最小没入感レベルまで低減させず、比較的低い（例えば、０でない）没入感レベルまで低減させる。比較的低い没入感レベルでユーザインタフェース１５３４及び／又は表現１５０２ｂ、１５０４ｂ、１５０６ｂ及び１５０８ｂの表示に関する詳細は、任意選択的に、方法１０００を参照して説明された通りである。したがって、上述のように、デバイス１０１が、比較的高速で（例えば、速度閾値を超えて）移動しているときに、デバイス１０１は、任意選択的に、デバイス１０１の物理的環境１５００を表示生成コンポーネント１２０を介して見えるようにして、デバイス１０１を使用しているユーザが表示生成コンポーネント１２０を介して物理的環境１５００を見ることができることを確実にし、その速度での移動から生じ得る潜在的に危険な状況を回避することを助ける。
いくつかの実施形態では、デバイス１０１は、デバイス１０１の速度１５５２が速度閾値１５５２を下回ったことを検出したことに応答して、以前の没入感レベル（例えば、図１５Ａに示されるように、没入感低減速度が検出されたときにデバイス１０１がユーザインタフェース１５３４を表示していた没入感レベル）でのユーザインタフェース１５３４の表示に戻る。いくつかの実施形態では、デバイス１０１は、デバイス１０１の速度１５５２が速度閾値１５５２を下回ったことを検出したことに応答して、以前の没入感レベルでのユーザインタフェース１５３４の表示に戻らず、むしろ、いくつかの実施形態では、デバイス１０１は、図１５Ｂを参照して説明されるように、没入感レベル１５３２を低減させた後に、没入感レベルを増加させるために（例えば、図１１Ａ～図１１Ｂを参照して説明されたのと同様に）別個のユーザ入力を必要とする。
図１５Ｃは、デバイス１０１が、物理的環境１５００内の音（単数又は複数）の特定の特性を検出したことに応答して、ユーザインタフェース１５３４を表示している没入感レベル１５３２を低減するシナリオを示している。特に、図１５Ｂでは、デバイス１０１は、環境１５００内の音１５６０を検出する。音１５６０は、任意選択的に、何かが壊れる音、高いストレス値を有する電子デバイスの物理的環境内の人物の声、アラームの音（例えば、煙、火、一酸化炭素、盗難など）などの潜在的に危険な状況に関連付けられた音である。結果として、デバイス１０１の速度１５５２が速度閾値１５５１未満であっても、デバイス１０１は、任意選択的に、ユーザインタフェース１５３４を表示していた没入感レベル１５３２を修正する。図１５Ｃでは、ユーザインタフェース１５３４のいずれも表示生成コンポーネント１２０を介して表示されず、物理的環境１５００のオブジェクト（例えば、１５０４ｂ、１５０６ｂ）、人々（例えば、１５０２ｂ、１５０８ｂ）、及び／又は部分の表現が、表示生成コンポーネント１２０を介して完全に見えるように、デバイス１０１は、没入感レベル１５３２を最小没入感レベルに低減している。いくつかの実施形態では、デバイス１０１は、没入感レベル１５３２を最小没入感レベルまで低減させず、比較的低い（例えば、０でない）没入感レベルまで低減させる。比較的低い没入感レベルでユーザインタフェース１５３４及び／又は表現１５０２ｂ、１５０４ｂ、１５０６ｂ及び１５０８ｂの表示に関する詳細は、任意選択的に、方法１０００を参照して説明された通りである。したがって、上述のように、デバイス１０１が、環境１５００における潜在的に危険な状況に関連付けられた音を検出したときに、デバイス１０１は、任意選択的に、表示生成コンポーネント１２０を介してデバイス１０１の物理的環境１５００を見えるようにして、デバイス１０１を使用しているユーザが表示生成コンポーネント１２０を介して物理的環境１５００を見ることができることを確実にし、環境１５００に存在する可能性がある、又は生じた潜在的に危険な状況を回避することを助ける。
いくつかの実施形態では、音１５６０が、デバイス１０１によってもはや検出されない、及び／又は音基準をもはや満たさないことに応答して（例えば、音１５６０がデバイス１０１によってもはや検出されなくなってから１秒、３秒、５秒、１０秒、３０秒、６０秒後などの時間閾値の間）、デバイス１０１は、以前の没入感レベル（例えば、図１５Ａに示されるように、音１５６０が検出されたときにデバイス１０１がユーザインタフェース１５３４を表示していた没入感レベル）でのユーザインタフェース１５３４の表示に戻る。いくつかの実施形態では、音１５６０が、デバイス１０１によってもはや検出されない、及び／又は音基準をもはや満たさないことに応答して、デバイス１０１は、以前の没入感レベルでのユーザインタフェース１５３４の表示に戻らず、むしろ、いくつかの実施形態では、デバイス１０１は、図１５Ｃを参照して説明されるように、没入感レベルを低減した後に、没入感レベル１５３２を増加させるために別個のユーザ入力を必要とする（例えば、図１１Ａ～図１１Ｂを参照して説明されたのと同様に）。
図１６Ａ～図１６Ｃは、いくつかの実施形態による、電子デバイスの特性及び／又は電子デバイスの物理的環境に基づいて、ユーザインタフェースに関連付けられた没入感レベルを低減する方法１６００を示すフローチャートである。いくつかの実施形態では、方法１６００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）、及び１つ以上のカメラ（例えば、ユーザの手で下を向くカメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ）、又はユーザの頭部から前方を向くカメラ）を含むコンピュータシステム（例えば、タブレット、スマートフォン、ウェアラブルコンピュータ、又はヘッドマウントデバイスなどの図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、方法１６００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって統御される。方法１６００の一部の動作は、任意選択的に組み合わされ、及び／又は一部の動作の順序は、任意選択的に変更される。
方法１６００において、いくつかの実施形態では、表示生成コンポーネント及び１つ以上の入力デバイス（例えば、モバイルデバイス（例えば、タブレット、スマートフォン、メディアプレーヤ、又はウェアラブルデバイス）、又はコンピュータ）と通信する電子デバイス（例えば、図１のコンピュータシステム１０１）は、図１５Ａのユーザインタフェース１５３４など、ユーザインタフェース要素を含むユーザインタフェースを表示する（１６０２）。いくつかの実施形態では、電子デバイスは、モバイルデバイス（例えば、タブレット、スマートフォン、メディアプレーヤ、又はウェアラブルデバイス）、又はコンピュータである。いくつかの実施形態では、表示生成コンポーネントは、電子デバイスと統合されたディスプレイ（任意選択的に、タッチスクリーンディスプレイ）、モニタ、プロジェクタ、テレビなどの外部ディスプレイ、又はユーザインタフェースを投影するか、若しくはユーザインタフェースを１人以上のユーザに見えるようにするための（任意選択的に、統合又は外部の）ハードウェアコンポーネントなどである。いくつかの実施形態では、電子デバイスは、ユーザ入力を受信すること（例えば、ユーザ入力をキャプチャする、ユーザ入力を検出するなど）ができる電子デバイス又はコンポーネントを含む１つ以上の入力デバイスと通信し、ユーザ入力に関連する情報を電子デバイスに送信する。入力デバイスの例としては、タッチスクリーン、マウス（例えば、外部）、トラックパッド（任意選択的に、統合又は外部）、タッチパッド（任意選択的に、統合又は外部）、リモート制御デバイス（例えば、外部）、別のモバイルデバイス（例えば、電子デバイスとは別個）、ハンドヘルドデバイス（例えば、外部）、コントローラ（例えば、外部）、カメラ、深度センサ、モーションセンサ（例えば、ハンドトラッキングデバイス、ハンドモーションセンサ）、電子デバイスに含まれる物理的機械的入力要素（例えば、ボタン、回転機械要素、スイッチなど）、及び／又はアイトラッキングデバイスなどを含む。
いくつかの実施形態では、電子デバイスは、電子デバイスによって生成され、表示され、又は他の方法で視聴可能にされる、仮想現実（ＶＲ）環境、複合現実（ＭＲ）環境、又は拡張現実（ＡＲ）環境などのコンピュータ生成現実（ＣＧＲ）環境などの三次元環境を表示する。いくつかの実施形態では、ユーザインタフェース要素は、仮想要素又はオブジェクト（例えば、電子デバイス上のアプリケーションのユーザインタフェース、三次元環境に表示される仮想オブジェクトなど）である。いくつかの実施形態では、電子デバイスは、三次元環境を表示しているのではなく、表示生成コンポーネントを介してコンテンツ（例えば、ユーザインタフェース要素を有するユーザインタフェース）を単純に表示している。いくつかの実施形態では、ユーザインタフェース要素は、表示生成コンポーネントを介して、図１５Ａの１５０２ａ、１５０４ａ、１５０６ａ、及び１５０８ａの表示を曖昧にするなど、電子デバイスの物理的環境の個別の部分の表示を少なくとも部分的に曖昧にする（１６０４）（例えば、表示生成コンポーネントは、任意選択的に、電子デバイスによって表示される仮想コンテンツが、その物理的環境の部分にオーバーレイされて表示されない程度まで、電子デバイスの物理的環境をパススルーする。いくつかの実施形態では、電子デバイスによって表示されたユーザインタフェース要素は、電子デバイスの物理的環境の個別の部分（例えば、物理的環境内の人物、物理的環境内のオブジェクトなどを含む個別の部分）よりも、電子デバイスの視点の「前」又は電子デバイスの視点の近くに表示される。したがって、ユーザインタフェース要素は、任意選択的に、表示生成コンポーネントを介して物理的環境の個別の部分の表現の表示を曖昧にする／ブロックする（例えば、個別の部分の表現の表示を完全に曖昧にする（例えば、ユーザインタフェース要素が、完全に不透明であり、及び／又は物理的環境の個別の部分の表現を完全に覆う）、又は個別の部分の表現の表示を部分的に曖昧にする（例えば、ユーザインタフェース要素が半透明であり、及び／又は個別の部分の表現を完全に覆わない））。いくつかの実施形態では、物理的環境のいずれの部分も表示生成コンポーネントを介して見えないように、ユーザインタフェース及び／又はそのコンテンツは、物理的環境の全体を遮る。いくつかの実施形態では、ユーザインタフェース及び／又はそのコンテンツは、物理的環境の部分が、表示生成コンポーネントを介して見える一方で、他の部分（例えば、個別の人物）が、表示生成コンポーネントを介して見えないように、物理的環境の全体未満を遮る。いくつかの実施形態では、電子デバイスは、方法１０００、１２００、及び１４００を参照して説明されるように、個別の没入感レベルでユーザインタフェースを表示する。
いくつかの実施形態では、ユーザインタフェースを表示している間（１６０６）、図１５Ｂに示されるように、電子デバイスの移動の速度に基づいて満たされる基準を含む、１つ以上の基準が満たされたという判定に従って（例えば、加速度計、ＧＰＳ位置検出器、及び／又は他の慣性測定ユニット（ＩＭＵ）を介して検出されるような、電子デバイスが移動している速度が、速度閾値（例えば、毎時３マイル、５マイル、１０マイル）よりも高い。例えば、電子デバイスのユーザが、電子デバイスを保持、装着、及び／又は他の方法で使用している間に走っている場合）、電子デバイスは、表現１５０２ｂ、１５０４ｂ、１５０６ｂ、及び／又は１５０８ｂが、図１５Ｂの表示生成コンポーネント１２０を介して見えるように、ユーザインタフェース要素の表示を更新して、図１５Ｂのユーザインタフェース１５３４の表示を低減するなど、ユーザインタフェース要素が表示生成コンポーネントを介して物理的環境の個別の部分の表示を曖昧にする程度を低減する（１６０８）（例えば、ユーザインタフェース要素が、表示生成コンポーネントを介して個別の部分の「前」にもはやないように、したがって電子デバイスの物理的環境内の個別の部分の表現が表示生成コンポーネントを介して見えるように、ユーザインタフェース要素の表示を停止する）。いくつかの実施形態では、個別の部分が、ユーザインタフェース要素を通して見えるように（又はより見えるように）なるように、電子デバイスは、ユーザインタフェース要素の半透明性を増加させる。いくつかの実施形態では、ユーザインタフェース要素が電子デバイスの物理的環境の個別の部分の「前」にもはやないように、電子デバイスは、ユーザインタフェース内のユーザインタフェース要素を移動する。いくつかの実施形態では、電子デバイスは、上述のように、表示されたユーザインタフェースの全体（例えば、ユーザインタフェースに表示された全て）を更新する。いくつかの実施形態では、電子デバイスは、個別の部分を遮るユーザインタフェースの部分（例えば、ユーザインタフェースのその部分に表示されるオブジェクト）のみを更新し、ユーザインタフェースの残りの部分の表示を修正しない。いくつかの実施形態では、電子デバイスは、方法１０００を参照して説明されるように、没入感レベルを低い没入感レベル又は没入感レベルなしに低減する。いくつかの実施形態では、電子デバイスの移動の速度が速いほど、電子デバイスは没入感レベルをより低減する。
いくつかの実施形態では、１つ以上の基準が満たされていないという判定に従って、電子デバイスは、ユーザインタフェース要素の表示の更新を控える（１６１０）。例えば、ユーザインタフェース、及び／又はユーザインタフェース要素の表示を修正しない（例えば、電子デバイスの没入感レベルを維持する）。したがって、ユーザインタフェース要素は、任意選択的に、以前と同じ程度まで、表示生成コンポーネントを介して個別の部分の表示を曖昧にし続ける。電子デバイスの速度に基づいてユーザインタフェースの表示を選択的に変更する上述の方法は、関連する可能性が高い場合にのみ、電子デバイスのユーザが表示生成コンポーネントを介して電子デバイスの物理的環境を見ることを可能にする迅速で効率的な方法を提供し（例えば、電子デバイスを使用する際の安全性のために）、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、ユーザインタフェースの表示を不必要に更新せず、したがって、表示されたユーザインタフェースの連続性を維持し、ユーザインタフェースの誤った更新を元に戻すユーザ入力を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、１つ以上の基準は、電子デバイスが車両（例えば、自動車、飛行機、ボート、列車、バスなど）内に位置しないときに満たされ、電子デバイスが車両内に位置するときに満たされない基準を含む（１６１２）。例えば、電子デバイスが、車両内に位置していると判定した場合、電子デバイスの移動速度が、電子デバイスの移動速度に基づいて満たされる基準を満たす場合であっても、ユーザインタフェース要素が表示生成コンポーネントを介して物理的環境の個別の部分の表示を曖昧にする程度を低減するようにユーザインタフェース要素の表示を更新することは、任意選択的に控えられる。いくつかの実施形態では、上述のようにユーザインタフェース要素の表示の更新を引き起こす電子デバイスの移動の速度は、物理的環境におけるその直近の周囲に対する電子デバイスの移動の速度であり、したがって、いくつかの実施形態では、車両内にある間、電子デバイスの移動の速度に基づいて満たされる基準を満たす速度で車両が移動していても、電子デバイスは、任意選択的に、物理的環境におけるその直近の周囲に対して迅速には移動しておらず（例えば、車両内）、したがって、任意選択的に、上述のようにユーザインタフェース要素の表示を更新しない。いくつかの実施形態では、電子デバイスは、その移動の特性（例えば、ユーザが車両内にいない場合に移動し得るよりも速く移動すること）に基づいて、その周囲の画像認識に基づいて、及び／又は車両内の電子システム（例えば、車両のインフォテインメントシステム）との通信に基づいて、電子デバイスが車両内にあると判定する。いくつかの実施形態では、電子デバイスが、センサの第１のセットを使用して（例えば、ＩＭＵを介して）高速の移動を検出するが、センサの第２のセットを使用して（例えば、光学カメラを介して）物理的環境内のその直近の周囲に対する移動を検出しない場合、センサの第１のセットを介して検出された高速の移動が、本明細書で説明されるようなユーザインタフェース要素の更新を引き起こすべきではない（及び引き起こさない）車両内又は別の位置に、電子デバイスがあると、電子デバイスは判定する。電子デバイスが車両内で移動しているか否かを考慮する上述の方法は、速度が電子デバイスの直近の周囲に対するものではない状況において、速度に基づいてユーザインタフェース要素の表示を不必要に修正することを回避する迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、ユーザインタフェースの表示を不必要に更新せず、したがって、表示されたユーザインタフェースの連続性を維持し、ユーザインタフェースの誤った更新を元に戻すユーザ入力を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、１つ以上の基準は、電子デバイスの物理的環境が１つ以上の検出されたハザード（例えば、ユーザが転倒し得る階段、ユーザが躓き得るオブジェクトなど）を含むときに満たされる基準を含む（１６１４）。いくつかの実施形態では、電子デバイスは、１つ以上のセンサ（例えば、カメラ）を使用して、電子デバイスの物理的環境内の１つ以上のハザードを検出及び／又は識別する。いくつかの実施形態では、電子デバイスは、方法１４００を参照して説明された方法で（例えば、ユーザへの近接性に基づいて、ハザードの移動特性に基づいてなど）、検出されたハザードを検出し、及び／又は検出されたハザードに応答する。電子デバイスの物理的環境におけるハザードの存在に基づいてユーザインタフェースの表示を選択的に変更する上述の方法は、関連する可能性が高い場合にのみ、電子デバイスのユーザが表示生成コンポーネントを介して電子デバイスの物理的環境を見ることを可能にする迅速で効率的な方法を提供し（例えば、電子デバイスを使用する際の安全性のため）、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、電子デバイスの物理的環境内にハザードがないときにユーザインタフェースの表示を不必要に更新せず、したがって、表示されたユーザインタフェースの連続性を維持し、ユーザインタフェースの誤った更新を元に戻すユーザ入力を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、１つ以上の基準は、図１５Ａ～図１５Ｂなどにおいて、電子デバイスの物理的環境の個別の部分が１つ以上の物理的オブジェクトを含むときに満たされる基準を含む（１６１６）。例えば、いくつかの実施形態では、ユーザインタフェース要素によって曖昧にされた物理的環境の部分が、１つ以上の物理的オブジェクト（例えば、方法１６００を参照して本明細書に説明された及び／又は方法１４００を参照して説明されたハザード）を含むと、電子デバイスによって判定された場合にのみ、電子デバイスは、ユーザインタフェース要素の表示のみを修正する。いくつかの実施形態では、ユーザインタフェース要素によって曖昧にされた物理的環境の部分が、１つ以上の物理的オブジェクト（例えば、電子デバイスの物理的環境の異なる部分が１つ以上の物理的オブジェクトを含む場合、例えば、ハザード）を含まないと、電子デバイスによって判定された場合、電子デバイスは、任意選択的に、上述のようにユーザインタフェース要素の表示を修正しない。表示されたユーザインタフェースが電子デバイスのユーザに危険をもたらす可能性がある物理的オブジェクトの表示を実際に遮るか否かに基づいてユーザインタフェースの表示を選択的に変更する上述の方法は、関連する可能性が高いときのみ、電子デバイスのユーザが表示生成コンポーネントを介して電子デバイスの物理的環境を見ることを可能にする迅速で効率的な方法を提供し（例えば、電子デバイスを使用する際の安全のため）、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、電子デバイスによって表示されたユーザインタフェースによって遮られているオブジェクトがないときにユーザインタフェースの表示を不必要に更新せず、したがって表示されたユーザインタフェースの連続性を維持し、ユーザインタフェースの誤った更新を元に戻すユーザ入力を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、ユーザインタフェースを表示している間（１６１８）、図１３Ａ～図１３Ｃを参照して説明されるように、電子デバイスの物理的環境内の１つ以上の物理的オブジェクトの１つ以上の特性に基づいて満たされる基準を含む、１つ以上の第２の基準が満たされたという判定に従って（例えば、方法１４００を参照して説明されるように、及び／又は方法１６００を参照して本明細書で説明されるように、電子デバイスに、それらの物理的オブジェクトの表現を、表示生成コンポーネントを介して、以前よりもよく見えるようにさせる、電子デバイスの物理的環境内の物理的オブジェクトに関する基準。いくつかの実施形態では、１つ以上の第２の基準は、電子デバイスの移動の速度に基づいて満たされない）、電子デバイスは、図１３Ａ～図１３Ｃから図１５Ａ～図１５Ｃと比較するなどして、ユーザインタフェース要素が、表示生成コンポーネントを介して、物理的環境の個別の部分よりも少ない、第２の個別の部分の表示を曖昧にする程度を低減するように、ユーザインタフェース要素の表示を更新する（１６２０）。例えば、いくつかの実施形態では、電子デバイスの物理的環境内の１つ以上の物理的オブジェクトの特性が、電子デバイスに、表示生成コンポーネントを介して表示されたユーザインタフェースの表示を修正させる場合、電子デバイスは、（例えば、表示生成コンポーネントを介してこれらの１つ以上の物理的オブジェクトの表現をより見えるようにするために）表示生成コンポーネントを介してこれらの１つ以上の物理的オブジェクトの表現の表示を曖昧にするユーザインタフェースのこれらの部分の表示のみを修正する。いくつかの実施形態では、電子デバイスは、これらの１つ以上の物理的オブジェクトの表現の表示を曖昧にしないユーザインタフェースの他の部分の表示を維持する（例えば、表示を修正しない）。対照的に、いくつかの実施形態では、電子デバイスの移動の速度が、電子デバイスに、表示生成コンポーネントを介して表示されたユーザインタフェースの表示を修正させるものである場合、電子デバイスは、任意選択的に、表示生成コンポーネントを介して表示されたユーザインタフェースのより大きな部分（又は全て）を修正して、物理的環境の表現のより大きな部分（又は全て）を、表示生成コンポーネントを介して（例えば、いくつかの実施形態では、電子デバイスの物理的環境内の（例えば、任意の）物理的オブジェクトの位置とは無関係に）見えるようにする。何が修正を生じさせるのかに応じてユーザインタフェースの異なる部分の表示を修正する上述の方法は、修正が必要とされる可能性が最も高いユーザインタフェースの部分（単数又は複数）のみを修正する迅速で効率的な方法を提供し（例えば、電子デバイスを使用する際の安全性のために）、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、ユーザインタフェースの過剰な表示を不必要に更新せず、したがって、表示されたユーザインタフェースのより大きな連続性を維持し、ユーザインタフェースの誤った更新を元に戻すユーザ入力を回避することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、ユーザインタフェースを表示している間（１６２２）、図１５Ｃの音１５６０など、電子デバイスの物理的環境内で検出された音に基づいて満たされる基準を含む、１つ以上の第２の基準が満たされたという判定に従って（例えば、電子デバイスが、何かが壊れる音、高いストレス値を有する電子デバイスの物理的環境内の人物の声、アラームの音（例えば、煙、火、一酸化炭素、盗難など）などの潜在的に危険な状況に通常関連付けられる音を、マイクロフォンを介して検出した場合に基準が満たされる。いくつかの実施形態では、１つ以上の第２の基準は、音の発生源が電子デバイスの近くに／近くの物理的環境内にあることを示すために、音のボリュームが閾値レベルより高いときに満たされ、そうでないときは満たされない別の基準を含む。いくつかの実施形態では、１つ以上の第２の基準は、音のボリューム以外の音の特性（例えば、周波数など）が、音の発生源が電子デバイスの近くに／近くの物理的環境内にあることを示すときに満たされ、そうでない場合に満たされない基準を含む）、電子デバイスは、表現１５０２ｂ、１５０４ｂ、１５０６ｂ及び／又は１５０８ｂが図１５Ｃの表示生成コンポーネント１２０を介して見えるように、図１５Ｃのユーザインタフェース１５３４の表示を低減するように、ユーザインタフェース要素が表示生成コンポーネントを介して物理的環境の個別の部分の表示を曖昧にする程度を低減するように、ユーザインタフェース要素の表示を更新する（１６２４）。いくつかの実施形態では、電子デバイスは、１つ以上の第２の基準を満たす音に対して、１つ以上の基準（例えば、速度ベースの基準を含む）が満たされたときに応答するのと同様に（又は同じ方法で）応答する。いくつかの実施形態では、音源が電子デバイスに近いほど、電子デバイスは、没入感レベルを低減する。いくつかの実施形態では、１つ以上の第２の基準が満たされない場合、電子デバイスは、検出された音に基づいて没入感レベルを低減しない。電子デバイスによって検出された音に基づいてユーザインタフェースの表示を選択的に変更する上述の方法は、電子デバイスのユーザが、複数の潜在的に関連するトリガに基づいて表示生成コンポーネントを介して電子デバイスの物理的環境を見ることを可能にする迅速で効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ・デバイスインタフェースを（例えば、電子デバイスが物理的環境をより見えるようにし、したがって物理的環境をより見えるようにするために追加のユーザ入力を必要とすることを回避するより多くの方法を提供することによって）より効率的にし、これは更に、ユーザが電子デバイスをより迅速で効率的に使用することを可能にすることによって、電子デバイスの電力使用量を低減し、バッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、方法８００、１０００、１２００、１４００、及び１６００の態様／動作は、これらの方法の間で交換、置換、及び／又は追加されてもよい。簡潔にするために、それらの詳細はここでは繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。
Claims (92)
- 方法であって、
表示生成コンポーネント及びアイトラッキングデバイスと通信する電子デバイスにおいて、
前記表示生成コンポーネントを介して、
第１のアプリケーションに関連付けられた第１のユーザインタフェース、及び
前記第１のユーザインタフェースの少なくとも一部分を囲む第２のユーザインタフェース
を同時に表示することと、
前記第１のユーザインタフェース、及び前記第１のユーザインタフェースの少なくとも前記一部分を囲む前記第２のユーザインタフェースの前記部分を同時に表示している間、前記アイトラッキングデバイスを介して、ユーザの視線が前記第１のユーザインタフェースに向けられていることを検出することと、
前記ユーザの前記視線が前記第１のユーザインタフェースに向けられていることを検出したことに応答して、
１つ以上の基準が満たされたという判定に従って、前記第１のユーザインタフェースに対して前記第２のユーザインタフェースを非強調表示することと、
を含む、方法。 - 前記１つ以上の基準が、前記第１のアプリケーションが第１のタイプのアプリケーションであるときに満たされ、前記第１のアプリケーションが前記第１のタイプとは異なる第２のタイプのアプリケーションであるときに満たされない基準を含み、前記方法が、
前記ユーザの前記視線が前記第１のユーザインタフェースに向けられていることを検出したことに応答して、
前記１つ以上の基準が満たされていないという判定に従って、前記第１のユーザインタフェースに対して前記第２のユーザインタフェースを非強調表示することを控えること
を更に含む、請求項１に記載の方法。 - 前記ユーザの前記視線が前記第１のユーザインタフェースに向けられていることを検出した後に、及び前記第２のユーザインタフェースを前記第１のユーザインタフェースに対して非強調表示されたものとして表示している間、前記アイトラッキングデバイスを介して、前記ユーザの前記視線が前記第２のユーザインタフェースに向けられていることを検出することと、
前記ユーザの前記視線が前記第２のユーザインタフェースに向けられていることを検出したことに応答して、１つ以上の第２の基準が満たされたという判定に従って、前記第１のユーザインタフェースに対して前記第２のユーザインタフェースを強調表示することと、
を更に含む、請求項１又は２に記載の方法。 - 請求項１から３のいずれか一項に記載の方法であって、
前記ユーザの前記視線が前記第１のユーザインタフェースに向けられていることを検出する前に、前記第１のユーザインタフェース及び前記第２のユーザインタフェースが、前記電子デバイスの物理的環境の少なくとも一部分の表現と同時に表示され、
前記第１のユーザインタフェースに対して前記第２のユーザインタフェースを非強調表示することが、前記第１のユーザインタフェースに対して前記電子デバイスの前記物理的環境の前記一部分の前記表現を非強調表示することを含む、請求項１から３のいずれか一項に記載の方法。 - 前記ユーザの前記視線が前記第１のユーザインタフェースに向けられていることを検出する前に、前記第１のユーザインタフェース及び前記第２のユーザインタフェースが、前記電子デバイスの物理的環境内にない仮想オブジェクトと同時に表示され、
前記第１のユーザインタフェースに対して前記第２のユーザインタフェースを非強調表示することが、前記第１のユーザインタフェースに対して前記仮想オブジェクトを非強調表示すること、
を含む、請求項１から４のいずれか一項に記載の方法。 - 前記ユーザの前記視線が前記第１のユーザインタフェースに向けられていることを検出する前に、前記第１のユーザインタフェース及び前記第２のユーザインタフェースが、前記電子デバイスの物理的環境の少なくとも一部分の表現と、前記電子デバイスの前記物理的環境内にない仮想オブジェクトと、同時に表示され、
前記第１のユーザインタフェースに対して前記第２のユーザインタフェースを非強調表示することが、
前記第１のユーザインタフェースに対して前記電子デバイスの前記物理的環境の前記一部分の前記表現を非強調表示することと、
前記第１のユーザインタフェースに対して前記仮想オブジェクトを非強調表示することと、
を含む、請求項１から５のいずれか一項に記載の方法。 - 前記第２のユーザインタフェースが、前記電子デバイスの物理的環境内にない仮想オブジェクトを含む、請求項１から６のいずれか一項に記載の方法。
- 前記ユーザの前記視線が前記第１のユーザインタフェースに向けられていることを検出する前に、前記第１のユーザインタフェースが、第１の没入感レベルで表示され、
前記第１のユーザインタフェースに対して前記第２のユーザインタフェースを非強調表示することが、前記第１の没入感レベルで前記第１のユーザインタフェースの表示を維持すること、
を含む、請求項１から７のいずれか一項に記載の方法。 - 前記第１のユーザインタフェースが、前記第２のユーザインタフェース上にオーバーレイされて表示される、請求項１から８のいずれか一項に記載の方法。
- １つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、を備える、電子デバイスであって、前記１つ以上のプログラムは前記メモリに記憶され、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムは、
表示生成コンポーネントを介して、
第１のアプリケーションに関連付けられた第１のユーザインタフェース、及び
前記第１のユーザインタフェースの少なくとも一部分を囲む第２のユーザインタフェース
を同時に表示し、
前記第１のユーザインタフェース、及び前記第１のユーザインタフェースの少なくとも前記一部分を囲む前記第２のユーザインタフェースの前記部分を同時に表示している間、アイトラッキングデバイスを介して、ユーザの視線が前記第１のユーザインタフェースに向けられていることを検出し、
前記ユーザの前記視線が前記第１のユーザインタフェースに向けられていることを検出したことに応答して、
１つ以上の基準が満たされたという判定に従って、前記第１のユーザインタフェースに対して前記第２のユーザインタフェースを非強調表示する、命令を含む、電子デバイス。 - １つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの１つ以上のプロセッサによって実行されたときに、前記電子デバイスに、
表示生成コンポーネントを介して、
第１のアプリケーションに関連付けられた第１のユーザインタフェース、及び
前記第１のユーザインタフェースの少なくとも一部分を囲む第２のユーザインタフェース
を同時に表示することと、
前記第１のユーザインタフェース、及び前記第１のユーザインタフェースの少なくとも前記一部分を囲む前記第２のユーザインタフェースの前記部分を同時に表示している間、アイトラッキングデバイスを介して、ユーザの視線が前記第１のユーザインタフェースに向けられていることを検出することと、
前記ユーザの前記視線が前記第１のユーザインタフェースに向けられていることを検出したことに応答して、
１つ以上の基準が満たされたという判定に従って、前記第１のユーザインタフェースに対して前記第２のユーザインタフェースを非強調表示することと、
を含む方法を実行させる、非一時的コンピュータ可読記憶媒体。 - 電子デバイスであって、
１つ以上のプロセッサと、
メモリと、
表示生成コンポーネントを介して、
第１のアプリケーションに関連付けられた第１のユーザインタフェース、及び
前記第１のユーザインタフェースの少なくとも一部分を囲む第２のユーザインタフェース
を同時に表示する手段と、
前記第１のユーザインタフェース、及び前記第１のユーザインタフェースの少なくとも前記一部分を囲む前記第２のユーザインタフェースの前記部分を同時に表示している間、アイトラッキングデバイスを介して、ユーザの視線が前記第１のユーザインタフェースに向けられていることを検出する手段と、
前記ユーザの前記視線が前記第１のユーザインタフェースに向けられていることを検出したことに応答して、
１つ以上の基準が満たされたという判定に従って、前記第１のユーザインタフェースに対して前記第２のユーザインタフェースを非強調表示する手段と、
を備える、電子デバイス。 - 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
表示生成コンポーネントを介して、
第１のアプリケーションに関連付けられた第１のユーザインタフェース、及び
前記第１のユーザインタフェースの少なくとも一部分を囲む第２のユーザインタフェース
を同時に表示する手段と、
前記第１のユーザインタフェース、及び前記第１のユーザインタフェースの少なくとも前記一部分を囲む前記第２のユーザインタフェースの前記部分を同時に表示している間、アイトラッキングデバイスを介して、ユーザの視線が前記第１のユーザインタフェースに向けられていることを検出する手段と、
前記ユーザの前記視線が前記第１のユーザインタフェースに向けられていることを検出したことに応答して、
１つ以上の基準が満たされたという判定に従って、前記第１のユーザインタフェースに対して前記第２のユーザインタフェースを非強調表示する手段と、
を備える、情報処理装置。 - 電子デバイスであって、
１つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、
を備える電子デバイスであって、
前記１つ以上のプログラムが、前記メモリ内に記憶され、前記１つ以上のプロセッサによって実行されるよう構成されており、前記１つ以上のプログラムが、請求項１から９のいずれか一項に記載の方法を実行する、命令を含む、電子デバイス。 - １つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの１つ以上のプロセッサによって実行されたときに、前記電子デバイスに、請求項１から９のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
- １つ以上のプロセッサと、
メモリと、
請求項１から９のいずれか一項に記載の方法を実行する手段と、
を備える、電子デバイス。 - 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
請求項１から９のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。 - 方法であって、
表示生成コンポーネント及び１つ以上の入力デバイスと通信する電子デバイスにおいて、
前記表示生成コンポーネントを介して、前記電子デバイスのオペレーティングシステムの第１の個別のユーザインタフェースであって、前記第１の個別のユーザインタフェースが、第１の没入感レベルで表示される、第１の個別のユーザインタフェースを表示することと、
前記第１の没入感レベルで前記第１の個別のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、個別のアプリケーションの第２の個別のユーザインタフェースを表示する要求に対応する第１のユーザ入力を受信することと、
前記第１のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記個別のアプリケーションの前記第２の個別のユーザインタフェースであって、前記個別のアプリケーションの前記第２の個別のユーザインタフェースが、第２の没入感レベルで表示される、前記個別のアプリケーションの前記第２の個別のユーザインタフェースを表示することと、
前記第２の没入感レベルで前記第２の個別のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記電子デバイスに関連付けられた現在の没入感レベルを変更する要求に対応する第２のユーザ入力を受信することと、
前記第２のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記第２の没入感レベルとは異なる第３の没入感レベルで前記第２の個別のユーザインタフェースを表示することと、
前記第３の没入感レベルで前記第２の個別のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記第１の個別のユーザインタフェースを表示する要求に対応する第３のユーザ入力を受信することと、
前記第３のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記第１の個別のユーザインタフェースであって、前記第１の個別のユーザインタフェースが、前記第１の没入感レベルで表示される、前記第１の個別のユーザインタフェースを表示することと、
を含む、方法。 - 前記１つ以上の入力デバイスが、回転可能入力要素を含み、前記電子デバイスに関連付けられた前記現在の没入感レベルを変更する前記要求に対応する前記第２のユーザ入力を受信することが、前記回転可能入力要素の回転を検出することを含む、請求項１８に記載の方法。
- 前記回転可能要素の前記回転を検出している間、
現在表示されているユーザインタフェースの現在の没入感レベルが最小没入感レベルであるという判定に従って、触知出力ジェネレータを介して、第１の値を有する個別の特性を有する第１の触知出力を生成することと、
前記現在表示されているユーザインタフェースの前記現在の没入感レベルが最大没入感レベルであるという判定に従って、前記触知出力ジェネレータを介して、前記第１の値を有する前記個別の特性を有する第２の触知出力を生成することと、
前記現在表示されているユーザインタフェースの前記現在の没入感レベルが中間没入感レベルであるという判定に従って、前記触知出力ジェネレータを介して、前記第１の値とは異なる第２の値を有する前記個別の特性を有する第３の触知出力を生成することと、
を更に含む、請求項１９に記載の方法。 - 前記第２のユーザ入力が、第１の部分及び第２の部分を含み、前記方法が、
前記第２のユーザ入力を受信している間、
前記第２のユーザ入力の前記第１の部分を受信したことに応答して、前記表示生成コンポーネントを介して、前記第２の没入感レベルと前記第３の没入感レベルとの間にある第４の没入感レベルで前記第２の個別のユーザインタフェースを表示することと、
前記第２のユーザ入力の前記第２の部分を受信したことに応答して、前記表示生成コンポーネントを介して、前記第３の没入感レベルで前記第２の個別のユーザインタフェースを表示することと、
更に含む、請求項１８から２０のいずれか一項に記載の方法。 - 前記電子デバイスに関連付けられた前記現在の没入感レベルを変更する前記要求に対応する前記第２のユーザ入力を受信することが、
前記第２の個別のユーザインタフェースが、第１のアプリケーションのユーザインタフェースであるという判定に従って、前記第２の個別のユーザインタフェースと共に表示される第１の個別のコントロールとの相互作用を検出することと、
前記第２の個別のユーザインタフェースが、前記第１のアプリケーションとは異なる第２のアプリケーションのユーザインタフェースであるという判定に従って、前記第２のユーザインタフェースと共に表示され、前記第１の個別のコントロールとは異なる、第２の個別のコントロールとの相互作用を検出することと、
を含む、請求項１８から２１のいずれか一項に記載の方法。 - 前記第２の没入感レベルにおいて、前記電子デバイスの物理的環境の第１の量が、前記表示生成コンポーネントを介して、前記電子デバイスによって表示される個別のユーザインタフェースと置換され、
前記第３の没入感レベルにおいて、前記電子デバイスの前記物理的環境の前記第１の量とは異なる第２の量が、前記表示生成コンポーネントを介して、前記電子デバイスによって表示される前記個別のユーザインタフェースと置換される、
請求項１８から２２のいずれか一項に記載の方法。 - 前記第２の没入感レベルにおいて、前記電子デバイスの物理的環境の第１の量が、前記表示生成コンポーネントを介して、前記電子デバイスによって非強調表示され、
前記第３の没入感レベルにおいて、前記電子デバイスの前記物理的環境の前記第１の量とは異なる第２の量が、前記表示生成コンポーネントを介して、前記電子デバイスによって非強調表示される、
請求項１８から２３のいずれか一項に記載の方法。 - 前記第２の没入感レベルにおいて、前記表示生成コンポーネントの表示エリアの第１の量が、前記電子デバイスによって表示される個別のユーザインタフェースによって占有され、
前記第３の没入感レベルにおいて、前記表示生成コンポーネントの前記表示エリアの前記第１のエリアとは異なる第２のエリアが、前記電子デバイスによって表示される前記個別のユーザインタフェースによって占有される、
請求項１８から２４のいずれか一項に記載の方法。 - 前記第２の個別のユーザインタフェースを前記第２の没入感レベルで表示されている状態から前記第３の没入感レベルで表示されている状態に変更することが、前記表示生成コンポーネントを介して表示された雰囲気効果を変更することを含む、請求項１８から２５のいずれか一項に記載の方法。
- 前記第２の個別のユーザインタフェースが、前記電子デバイスによって表示される個別のユーザインタフェース要素を含み、前記第２の個別のユーザインタフェースを前記第２の没入感レベルで表示されている状態から前記第３の没入感レベルで表示されている状態に変更することが、前記個別のユーザインタフェース要素の表示を変更することを含む、請求項１８から２６のいずれか一項に記載の方法。
- 前記第２の個別のユーザインタフェースを前記第２の没入感レベルで表示されている状態から前記第３の没入感レベルで表示されている状態に変更することが、前記電子デバイスによって生成されたオーディオ効果を変更することを含む、請求項１８から２７のいずれか一項に記載の方法。
- 前記第２の没入感レベルで前記第２の個別のユーザインタフェースを表示することが、前記表示生成コンポーネントの表示エリアの第１の部分に第１のアプリケーションのコンテンツと、前記表示生成コンポーネントの前記表示エリアの第２の部分に前記電子デバイスの物理的環境の第１の個別の部分の１つ以上の表現と、を同時に表示することを含み、
前記第３の没入感レベルで前記第２の個別のユーザインタフェースを表示することが、前記表示生成コンポーネントの前記表示エリアの前記第１の部分よりも大きい第３の部分に前記第１のアプリケーションの前記コンテンツと、前記表示生成コンポーネントの前記表示エリアの前記第２の部分よりも小さい第４の部分に前記電子デバイスの前記物理的環境の前記第１の個別の部分とは異なる第２の個別の部分の１つ以上の表現と、を同時に表示すること、
を含む、請求項１８から２８のいずれか一項に記載の方法。 - 前記第２の没入感レベルで前記第２の個別のユーザインタフェースを表示することが、第１のアプリケーションのコンテンツと、物理的環境の１つ以上の表現と、を同時に表示することを含み、
前記第３の没入感レベルで前記第２の個別のユーザインタフェースを表示することが、前記第１のアプリケーションの前記コンテンツと、前記第２の没入感レベルで表示される、前記物理的環境の前記１つ以上の表現に対して非強調表示される、前記物理的環境の前記１つ以上の表現と、を同時に表示すること、
を含む、請求項１８から２９のいずれか一項に記載の方法。 - 前記第３の没入感レベルで前記第２の個別のユーザインタフェースを表示し、前記第１の没入感レベルで前記第１の個別のユーザインタフェースを表示した後に、前記第１の個別のユーザインタフェースの前記没入感レベルを前記第１の没入感レベルから変更するための入力を受信することなく、及び前記第２の個別のユーザインタフェースの前記没入感レベルを前記第３の没入感レベルから変更するための入力を受信することなく、
前記１つ以上の入力デバイスを介して、前記個別のアプリケーションとは異なる、第２の個別のアプリケーションの第３の個別のユーザインタフェースを表示する要求に対応する第４のユーザ入力を受信することと、
前記第４のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、第４の没入感レベルで前記第３の個別のユーザインタフェースを表示することと、
前記第４の没入感レベルで前記第３の個別のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記電子デバイスに関連付けられた前記現在の没入感レベルを変更する要求に対応する第５のユーザ入力を受信することと、
前記第５のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記第４の没入感レベルとは異なる第５の没入感レベルで前記第３の個別のユーザインタフェースを表示することと、
前記第５のユーザ入力を受信した後に、
前記１つ以上の入力デバイスを介して、前記第１の個別のユーザインタフェースを表示する要求に対応する第６のユーザ入力を受信することと、
前記第６のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記第１の没入感レベルで前記第１の個別のユーザインタフェースを表示することと、
前記１つ以上の入力デバイスを介して、前記第２の個別のユーザインタフェースを表示する要求に対応する第７のユーザ入力を受信することと、
前記第７のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記第３の没入感レベルで前記第２の個別のユーザインタフェースを表示することと、
を更に含む、請求項１８から３０のいずれか一項に記載の方法。 - 前記第３のユーザ入力を受信した後に、前記第１の没入感レベルで前記第１の個別のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記第２の個別のユーザインタフェースを表示する要求に対応する第４のユーザ入力を受信することと、
前記第４のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記第３の没入感レベルで前記第２の個別のユーザインタフェースを表示することと、
を更に含む、請求項１８から３１のいずれか一項に記載の方法。 - 前記第２のユーザ入力が、第１のタイプのユーザ入力であり、前記電子デバイスに関連付けられた前記現在の没入感レベルを増加させる要求に対応し、前記第３の没入感レベルが、前記第２の没入感レベルよりも高く、前記方法が、
前記第３の没入感レベルで前記第２の個別のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記電子デバイスに関連付けられた前記現在の没入感レベルを増加させる要求に対応する前記第１のタイプの第４のユーザ入力を受信することと、
前記第１のタイプの前記第４のユーザ入力を受信したことに応答して、前記第３の没入感レベルで前記第２の個別のユーザインタフェースの表示を維持することと、
前記第３の没入感レベルで前記第２の個別のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記電子デバイスに関連付けられた前記現在の没入感レベルを増加させる要求に対応する、前記第１のタイプとは異なる第２のタイプの第５のユーザ入力を受信することと、
前記第２のタイプの前記第５のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記第３の没入感レベルよりも高い第４の没入感レベルで前記第２の個別のユーザインタフェースを表示することと、
を更に含む、請求項１８から３２のいずれか一項に記載の方法。 - １つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、を備える、電子デバイスであって、前記１つ以上のプログラムは前記メモリに記憶され、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムは、
表示生成コンポーネントを介して、前記電子デバイスのオペレーティングシステムの第１の個別のユーザインタフェースであって、前記第１の個別のユーザインタフェースが、第１の没入感レベルで表示される、第１の個別のユーザインタフェースを表示し、
前記第１の没入感レベルで前記第１の個別のユーザインタフェースを表示している間、１つ以上の入力デバイスを介して、個別のアプリケーションの第２の個別のユーザインタフェースを表示する要求に対応する第１のユーザ入力を受信し、
前記第１のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記個別のアプリケーションの前記第２の個別のユーザインタフェースであって、前記個別のアプリケーションの前記第２の個別のユーザインタフェースが、第２の没入感レベルで表示される、前記個別のアプリケーションの前記第２の個別のユーザインタフェースを表示し、
前記第２の没入感レベルで前記第２の個別のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記電子デバイスに関連付けられた現在の没入感レベルを変更する要求に対応する第２のユーザ入力を受信し、
前記第２のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記第２の没入感レベルとは異なる第３の没入感レベルで前記第２の個別のユーザインタフェースを表示し、
前記第３の没入感レベルで前記第２の個別のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記第１の個別のユーザインタフェースを表示する要求に対応する第３のユーザ入力を受信し、
前記第３のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記第１の個別のユーザインタフェースであって、前記第１の個別のユーザインタフェースが、前記第１の没入感レベルで表示される、前記第１の個別のユーザインタフェースを表示する、命令を含む、電子デバイス。 - １つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの１つ以上のプロセッサによって実行されたときに、前記電子デバイスに、
表示生成コンポーネントを介して、前記電子デバイスのオペレーティングシステムの第１の個別のユーザインタフェースあって、前記第１の個別のユーザインタフェースが、第１の没入感レベルで表示される、第１の個別のユーザインタフェースを表示することと、
前記第１の没入感レベルで前記第１の個別のユーザインタフェースを表示している間、１つ以上の入力デバイスを介して、個別のアプリケーションの第２の個別のユーザインタフェースを表示する要求に対応する第１のユーザ入力を受信することと、
前記第１のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記個別のアプリケーションの前記第２の個別のユーザインタフェースであって、前記個別のアプリケーションの前記第２の個別のユーザインタフェースが、第２の没入感レベルで表示される、前記個別のアプリケーションの前記第２の個別のユーザインタフェースを表示することと、
前記第２の没入感レベルで前記第２の個別のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記電子デバイスに関連付けられた現在の没入感レベルを変更する要求に対応する第２のユーザ入力を受信することと、
前記第２のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記第２の没入感レベルとは異なる第３の没入感レベルで前記第２の個別のユーザインタフェースを表示することと、
前記第３の没入感レベルで前記第２の個別のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記第１の個別のユーザインタフェースを表示する要求に対応する第３のユーザ入力を受信することと、
前記第３のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記第１の個別のユーザインタフェースであって、前記第１の個別のユーザインタフェースが、前記第１の没入感レベルで表示される、前記第１の個別のユーザインタフェースを表示することと、
を含む方法を実行させる、非一時的コンピュータ可読記憶媒体。 - 電子デバイスであって、
１つ以上のプロセッサと、
メモリと、
表示生成コンポーネントを介して、前記電子デバイスのオペレーティングシステムの第１の個別のユーザインタフェースであって、前記第１の個別のユーザインタフェースが、第１の没入感レベルで表示される、第１の個別のユーザインタフェースを表示する手段と、
前記第１の没入感レベルで前記第１の個別のユーザインタフェースを表示している間、１つ以上の入力デバイスを介して、個別のアプリケーションの第２の個別のユーザインタフェースを表示する要求に対応する第１のユーザ入力を受信する手段と、
前記第１のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記個別のアプリケーションの前記第２の個別のユーザインタフェースであって、前記個別のアプリケーションの前記第２の個別のユーザインタフェースが、第２の没入感レベルで表示される、前記個別のアプリケーションの前記第２の個別のユーザインタフェースを表示する手段と、
前記第２の没入感レベルで前記第２の個別のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記電子デバイスに関連付けられた現在の没入感レベルを変更する要求に対応する第２のユーザ入力を受信する手段と、
前記第２のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記第２の没入感レベルとは異なる第３の没入感レベルで前記第２の個別のユーザインタフェースを表示する手段と、
前記第３の没入感レベルで前記第２の個別のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記第１の個別のユーザインタフェースを表示する要求に対応する第３のユーザ入力を受信する手段と、
前記第３のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記第１の個別のユーザインタフェースであって、前記第１の個別のユーザインタフェースが、前記第１の没入感レベルで表示される、前記第１の個別のユーザインタフェースを表示する手段と、
を備える電子デバイス。 - 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
表示生成コンポーネントを介して、前記電子デバイスのオペレーティングシステムの第１の個別のユーザインタフェースであって、前記第１の個別のユーザインタフェースが、第１の没入感レベルで表示される、第１の個別のユーザインタフェースを表示する手段と、
前記第１の没入感レベルで前記第１の個別のユーザインタフェースを表示している間、１つ以上の入力デバイスを介して、個別のアプリケーションの第２の個別のユーザインタフェースを表示する要求に対応する第１のユーザ入力を受信する手段と、
前記第１のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記個別のアプリケーションの前記第２の個別のユーザインタフェースであって、前記個別のアプリケーションの前記第２の個別のユーザインタフェースが、第２の没入感レベルで表示される、前記個別のアプリケーションの前記第２の個別のユーザインタフェースを表示する手段と、
前記第２の没入感レベルで前記第２の個別のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記電子デバイスに関連付けられた現在の没入感レベルを変更する要求に対応する第２のユーザ入力を受信する手段と、
前記第２のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記第２の没入感レベルとは異なる第３の没入感レベルで前記第２の個別のユーザインタフェースを表示する手段と、
前記第３の没入感レベルで前記第２の個別のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記第１の個別のユーザインタフェースを表示する要求に対応する第３のユーザ入力を受信する手段と、
前記第３のユーザ入力を受信したことに応答して、前記表示生成コンポーネントを介して、前記第１の個別のユーザインタフェースであって、前記第１の個別のユーザインタフェースが、前記第１の没入感レベルで表示される、前記第１の個別のユーザインタフェースを表示する手段と、
を備える、情報処理装置。 - １つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、
を備える電子デバイスであって、
前記１つ以上のプログラムが、前記メモリ内に記憶され、前記１つ以上のプロセッサによって実行されるよう構成されており、前記１つ以上のプログラムが、請求項１８から３３のいずれか一項に記載の方法を実行する、命令を含む、電子デバイス。 - １つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの１つ以上のプロセッサによって実行されたときに、前記電子デバイスに、請求項１８から３３のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
- １つ以上のプロセッサと、
メモリと、
請求項１８から３３のいずれか一項に記載の方法を実行する手段と、
を備える、電子デバイス。 - 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
請求項１８から３３のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。 - 表示生成コンポーネント及び１つ以上の入力デバイスと通信する電子デバイスにおいて、
第１の没入感レベルで第１のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記電子デバイスに関連付けられた没入感レベルを増加させる要求に対応する第１の入力を検出することと、
前記第１の入力を検出したことに応答して、前記表示生成コンポーネントを介して、前記第１の没入感レベルよりも高い個別の没入感レベルで前記第１のユーザインタフェースを表示することと、
前記個別の没入感レベルで前記第１のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、第１のイベントの発生を検出することと、
前記第１のイベントの前記発生を検出したことに応答して、前記表示生成コンポーネントを介して表示されたユーザインタフェースの没入感レベルを、前記個別の没入感レベルよりも低い第２の没入感レベルに低減することと、
前記第２の没入感レベルで前記ユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記第１のユーザインタフェースの表示を再開する要求に対応する第２のイベントの発生を検出することと、
前記第２のイベントの前記発生を検出したことに応答して、前記第１のユーザインタフェースであって、
前記第１のユーザインタフェースが、前記個別の没入感レベルが第３の没入感レベルであるという判定に従って、前記第３の没入感レベルで表示され、
前記第１のユーザインタフェースが、前記個別の没入感レベルが前記第１の没入感レベルとは異なる第４の没入感レベルであるという判定に従って、前記第４の没入感レベルで表示される、前記第１のユーザインタフェースの表示を、前記表示生成コンポーネントを介して再開することと、
を含む、方法。 - 前記第２の没入感レベルが、没入感なしである、請求項４２に記載の方法。
- 前記１つ以上の入力デバイスが、回転可能入力要素を含み、前記方法が、
前記第１の没入感レベルで前記第１のユーザインタフェースを表示している間、前記回転可能入力要素の個別の回転を検出することと、
前記回転可能入力要素の前記個別の回転を検出したことに応答して、
前記個別の回転が第１の方向であるという判定に従って、前記表示生成コンポーネントを介して、前記第１の没入感レベルよりも高い第５の没入感レベルで前記第１のユーザインタフェースを表示することと、
前記個別の方向が前記第１の方向とは異なる、第２の方向であるという判定に従って、前記表示生成コンポーネントを介して、前記第１の没入感レベルよりも低い第６の没入感レベルで前記第１のユーザインタフェースを表示することと、
を更に含む、請求項４２又は４３に記載の方法。 - 前記第１のイベントの前記発生を検出することが、前記回転可能入力要素の押下を検出することを含む、請求項４４に記載の方法。
- 前記第２のイベントの前記発生を検出することが、前記回転可能入力要素の回転を検出することを含む、請求項４４又は４５に記載の方法。
- 前記第２の没入感レベルで前記ユーザインタフェースを表示している間、第２の個別の回転の第２の部分が続く第１の部分を含む、前記回転可能入力要素の前記第２の個別の回転を検出することと、
前記第２の個別の回転の前記第１の部分を検出したことに応答して、前記表示生成コンポーネントを介して、前記第２の没入感レベルよりも高いが、前記個別の没入感レベルよりも低い第７の没入感レベルで前記第１のユーザインタフェースを表示することと、
前記第２の個別の回転の前記第２の部分を検出したことに応答して、前記第１のユーザインタフェースの前記没入感レベルを前記第７の没入感レベルから前記個別の没入感レベルに増加させることと、
を更に含む、請求項４４から４６のいずれか一項に記載の方法。 - 前記第２のイベントの前記発生を検出することが、前記表示生成コンポーネントと通信するハンドトラッキングデバイスを介して、前記電子デバイスのユーザの手によって実行される個別のジェスチャを検出することを含む、請求項４２から４７のいずれか一項に記載の方法。
- 前記第１のイベントの前記発生を検出することが、前記電子デバイスと通信する機械的入力要素の押下を検出することを含む、請求項４２から４８のいずれか一項に記載の方法。
- 前記第１のイベントの前記発生を検出することが、前記電子デバイスと通信する機械的入力要素の時間閾値よりも長い押下を検出することを含む、請求項４２から４９のいずれか一項に記載の方法。
- 前記第２のイベントの前記発生を検出することが、前記電子デバイスと通信する機械的入力要素の押下の解放を検出することを含む、請求項４２から５０のいずれか一項に記載の方法。
- １つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、を備える、電子デバイスであって、前記１つ以上のプログラムは前記メモリに記憶され、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムは、
第１の没入感レベルで第１のユーザインタフェースを表示している間、１つ以上の入力デバイスを介して、前記電子デバイスに関連付けられた没入感レベルを増加させる要求に対応する第１の入力を検出し、
前記第１の入力を検出したことに応答して、表示生成コンポーネントを介して、前記第１の没入感レベルよりも高い個別の没入感レベルで前記第１のユーザインタフェースを表示し、
前記個別の没入感レベルで前記第１のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、第１のイベントの発生を検出し、
前記第１のイベントの前記発生を検出したことに応答して、前記表示生成コンポーネントを介して表示されたユーザインタフェースの没入感レベルを、前記個別の没入感レベルよりも低い第２の没入感レベルに低減し、
前記第２の没入感レベルで前記ユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記第１のユーザインタフェースの表示を再開する要求に対応する第２のイベントの発生を検出し、
前記第２のイベントの前記発生を検出したことに応答して、前記第１のユーザインタフェースであって、
前記第１のユーザインタフェースが、前記個別の没入感レベルが第３の没入感レベルであるという判定に従って、前記第３の没入感レベルで表示され、
前記第１のユーザインタフェースが、前記個別の没入感レベルが前記第１の没入感レベルとは異なる第４の没入感レベルであるという判定に従って、前記第４の没入感レベルで表示される、前記第１のユーザインタフェースの表示を、前記表示生成コンポーネントを介して再開する、命令を含む、電子デバイス。 - １つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの１つ以上のプロセッサによって実行されたときに、前記電子デバイスに、
第１の没入感レベルで第１のユーザインタフェースを表示している間、１つ以上の入力デバイスを介して、前記電子デバイスに関連付けられた没入感レベルを増加させる要求に対応する第１の入力を検出することと、
前記第１の入力を検出したことに応答して、表示生成コンポーネントを介して、前記第１の没入感レベルよりも高い個別の没入感レベルで前記第１のユーザインタフェースを表示することと、
前記個別の没入感レベルで前記第１のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、第１のイベントの発生を検出することと、
前記第１のイベントの前記発生を検出したことに応答して、前記表示生成コンポーネントを介して表示されたユーザインタフェースの没入感レベルを、前記個別の没入感レベルよりも低い第２の没入感レベルに低減することと、
前記第２の没入感レベルで前記ユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記第１のユーザインタフェースの表示を再開する要求に対応する第２のイベントの発生を検出することと、
前記第２のイベントの前記発生を検出したことに応答して、前記第１のユーザインタフェースであって、
前記第１のユーザインタフェースが、前記個別の没入感レベルが第３の没入感レベルであるという判定に従って、前記第３の没入感レベルで表示され、
前記第１のユーザインタフェースが、前記個別の没入感レベルが前記第１の没入感レベルとは異なる第４の没入感レベルであるという判定に従って、前記第４の没入感レベルで表示される、前記第１のユーザインタフェースの表示を、前記表示生成コンポーネントを介して再開することと、
を含む方法を実行させる、非一時的コンピュータ可読記憶媒体。 - 電子デバイスであって、
１つ以上のプロセッサと、
メモリと、
第１の没入感レベルで第１のユーザインタフェースを表示している間、１つ以上の入力デバイスを介して、前記電子デバイスに関連付けられた没入感レベルを増加させる要求に対応する第１の入力を検出する手段と、
前記第１の入力を検出したことに応答して、表示生成コンポーネントを介して、前記第１の没入感レベルよりも高い個別の没入感レベルで前記第１のユーザインタフェースを表示する手段と、
前記個別の没入感レベルで前記第１のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、第１のイベントの発生を検出する手段と、
前記第１のイベントの前記発生を検出したことに応答して、前記表示生成コンポーネントを介して表示されたユーザインタフェースの没入感レベルを、前記個別の没入感レベルよりも低い第２の没入感レベルに低減する手段と、
前記第２の没入感レベルで前記ユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記第１のユーザインタフェースの表示を再開する要求に対応する第２のイベントの発生を検出する手段と、
前記第２のイベントの前記発生を検出したことに応答して、前記第１のユーザインタフェースであって、
前記第１のユーザインタフェースが、前記個別の没入感レベルが第３の没入感レベルであるという判定に従って、前記第３の没入感レベルで表示され、
前記第１のユーザインタフェースが、前記個別の没入感レベルが前記第１の没入感レベルとは異なる第４の没入感レベルであるという判定に従って、前記第４の没入感レベルで表示される、前記第１のユーザインタフェースの表示を、前記表示生成コンポーネントを介して再開する手段と、
を備える、電子デバイス。 - 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
第１の没入感レベルで第１のユーザインタフェースを表示している間、１つ以上の入力デバイスを介して、前記電子デバイスに関連付けられた没入感レベルを増加させる要求に対応する第１の入力を検出する手段と、
前記第１の入力を検出したことに応答して、表示生成コンポーネントを介して、前記第１の没入感レベルよりも高い個別の没入感レベルで前記第１のユーザインタフェースを表示する手段と、
前記個別の没入感レベルで前記第１のユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、第１のイベントの発生を検出する手段と、
前記第１のイベントの前記発生を検出したことに応答して、前記表示生成コンポーネントを介して表示されたユーザインタフェースの没入感レベルを、前記個別の没入感レベルよりも低い第２の没入感レベルに低減する手段と、
前記第２の没入感レベルで前記ユーザインタフェースを表示している間、前記１つ以上の入力デバイスを介して、前記第１のユーザインタフェースの表示を再開する要求に対応する第２のイベントの発生を検出する手段と、
前記第２のイベントの前記発生を検出したことに応答して、前記第１のユーザインタフェースであって、
前記第１のユーザインタフェースが、前記個別の没入感レベルが第３の没入感レベルであるという判定に従って、前記第３の没入感レベルで表示され、
前記第１のユーザインタフェースが、前記個別の没入感レベルが前記第１の没入感レベルとは異なる第４の没入感レベルであるという判定に従って、前記第４の没入感レベルで表示される、前記第１のユーザインタフェースの表示を、前記表示生成コンポーネントを介して再開する手段と、
を備える、情報処理装置。 - １つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、
を備える電子デバイスであって、
前記１つ以上のプログラムが、前記メモリ内に記憶され、前記１つ以上のプロセッサによって実行されるよう構成されており、前記１つ以上のプログラムが、請求項４２から５１のいずれか一項に記載の方法を実行する、命令を含む、電子デバイス。 - １つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの１つ以上のプロセッサによって実行されたときに、前記電子デバイスに、請求項４２から５１のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
- １つ以上のプロセッサと、
メモリと、
請求項４２から５１のいずれか一項に記載の方法を実行する手段と、
を備える、電子デバイス。 - 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
請求項４２から５１のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。 - 表示生成コンポーネント及び１つ以上の入力デバイスと通信する電子デバイスにおいて、
前記表示生成コンポーネントを介して、ユーザインタフェース要素であって、前記ユーザインタフェース要素が、前記表示生成コンポーネントを介して、前記電子デバイスの物理的環境内の個別の人物の表示を少なくとも部分的に曖昧にする、ユーザインタフェース要素を含むユーザインタフェースを表示することと、
前記ユーザインタフェースを表示している間、
前記個別の人物が前記物理的環境内の前記電子デバイスからの閾値距離よりも遠くにあり、前記個別の人物の注意が前記電子デバイスのユーザに向けられているという判定に従って、前記ユーザインタフェース要素に対応する位置における前記物理的環境内の前記個別の人物の存在を示すように前記ユーザインタフェース要素の表示を更新することと、
前記個別の人物が前記物理的環境内の前記電子デバイスからの前記閾値距離よりも遠くにあり、前記個別の人物の前記注意が前記電子デバイスの前記ユーザに向けられていないという判定に従って、前記ユーザインタフェース要素の前記表示を更新することを控えることと、
を含む、方法。 - 前記ユーザインタフェースを表示している間、
前記個別の人物が前記物理的環境内の前記電子デバイスからの前記閾値距離よりも近いという判定に従って、前記ユーザインタフェース要素に対応する前記位置における前記物理的環境内の前記個別の人物の前記存在を示すように前記ユーザインタフェース要素の表示を更新すること、
を更に含む、請求項６０に記載の方法。 - 前記個別の人物の前記注意が前記電子デバイスの前記ユーザに向けられているという判定が、前記電子デバイスと通信する１つ以上のセンサによって検出される前記個別の人物によって実行される１つ以上のジェスチャに基づく、請求項６０又は６１に記載の方法。
- 前記個別の人物の前記注意が前記電子デバイスの前記ユーザに向けられているという判定が、前記電子デバイスと通信する１つ以上のセンサによって検出される前記個別の人物の視線に基づく、請求項６０から６２のいずれか一項に記載の方法。
- 前記個別の人物の前記注意が前記電子デバイスの前記ユーザに向けられているという判定が、前記電子デバイスと通信する１つ以上のセンサによって検出される前記個別の人物からの検出された発話に基づく、請求項６０から６３のいずれか一項に記載の方法。
- 前記個別の人物の前記注意が前記電子デバイスの前記ユーザに向けられているという判定が、前記個別の人物からの前記発話が前記電子デバイスの前記ユーザの名前を含むことを、前記電子デバイスが検出したという判定に基づく、請求項６４に記載の方法。
- 前記個別の人物の前記注意が前記電子デバイスの前記ユーザに向けられているという判定が、前記電子デバイスと通信する１つ以上のセンサによって検出される前記個別の人物の移動に基づく、請求項６０から６５のいずれか一項に記載の方法。
- 前記ユーザインタフェースを表示している間、前記電子デバイスの前記ユーザが前記個別の人物との相互作用に関与していることを検出することと、
前記電子デバイスの前記ユーザが前記個別の人物との前記相互作用に関与していることを検出したことに応答して、前記ユーザインタフェース要素に対応する前記位置における前記物理的環境内の前記個別の人物の前記存在を示すように前記ユーザインタフェース要素の表示を更新することと、
を更に含む、請求項６０から６６のいずれか一項に記載の方法。 - 前記ユーザインタフェース要素に対応する前記位置における前記物理的環境内の前記個別の人物の前記存在を示すように前記ユーザインタフェース要素の表示を更新することが、
１つ以上の第１の基準が満たされたという判定に従って、前記ユーザインタフェース要素の表示を第１の量だけ変更することと、
前記第１の基準とは異なる１つ以上の第２の基準が満たされたという判定に従って、前記ユーザインタフェース要素の表示を、前記第１の量とは異なる第２の量だけ変更することと、
を含む、請求項６０から６７のいずれか一項に記載の方法。 - 前記ユーザインタフェースが、前記表示生成コンポーネントを介して、前記電子デバイスの物理的環境内の個別のオブジェクトの表示を少なくとも部分的に曖昧にする個別のユーザインタフェース要素を含み、前記方法が、
前記ユーザインタフェースを表示している間、
前記個別のオブジェクトが前記物理的環境内の前記電子デバイスから個別の閾値距離よりも遠くにあり、前記個別のオブジェクトが１つ以上の第１の基準を満たしたという判定に従って、前記個別のユーザインタフェース要素に対応する前記位置における前記物理的環境内の前記個別のオブジェクトの前記存在を示すように前記個別のユーザインタフェース要素の表示を更新することと、
前記個別のオブジェクトが前記物理的環境内の前記電子デバイスから前記個別の閾値距離よりも遠くにあり、前記個別のオブジェクトが前記１つ以上の第１の基準を満たしていないという判定に従って、前記個別のユーザインタフェース要素の前記表示を更新することを控えることと、
前記個別のオブジェクトが前記物理的環境内の前記電子デバイスに対して前記個別の閾値距離よりも近いという判定に従って、前記個別のユーザインタフェース要素に対応する前記位置における前記物理的環境内の前記個別のオブジェクトの前記存在を示すように前記個別のユーザインタフェース要素の表示を更新することと、
を更に含む、請求項６０から６８のいずれか一項に記載の方法。 - 前記ユーザインタフェース要素に対応する前記位置における前記物理的環境内の前記個別の人物の前記存在を示すように前記ユーザインタフェース要素の表示を更新する前に、前記物理的環境内の前記個別の人物の前記位置に対応する前記ユーザインタフェースの第２の個別の部分を囲む前記ユーザインタフェースの第１の個別の部分が、第１の値を有する視覚特性で表示され、
前記ユーザインタフェース要素に対応する前記位置における前記物理的環境内の前記個別の人物の前記存在を示すように前記ユーザインタフェース要素の表示を更新した後に、前記物理的環境内の前記個別の人物の前記位置に対応する前記ユーザインタフェースの前記第２の個別の部分を囲む前記ユーザインタフェースの前記第１の個別の部分が、前記第１の値とは異なる第２の値を有する前記視覚特性で表示される、請求項６０から６９のいずれか一項に記載の方法。 - １つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、を備える、電子デバイスであって、前記１つ以上のプログラムは前記メモリに記憶され、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムは、
表示生成コンポーネントを介して、ユーザインタフェース要素であって、前記ユーザインタフェース要素が、前記表示生成コンポーネントを介して、前記電子デバイスの物理的環境内の個別の人物の表示を少なくとも部分的に曖昧にする、ユーザインタフェース要素を含むユーザインタフェースを表示し、
前記ユーザインタフェースを表示している間、
前記個別の人物が前記物理的環境内の前記電子デバイスからの閾値距離よりも遠くにあり、前記個別の人物の注意が前記電子デバイスのユーザに向けられているという判定に従って、前記ユーザインタフェース要素に対応する位置における前記物理的環境内の前記個別の人物の存在を示すように前記ユーザインタフェース要素の表示を更新し、
前記個別の人物が前記物理的環境内の前記電子デバイスからの前記閾値距離よりも遠くにあり、前記個別の人物の前記注意が前記電子デバイスの前記ユーザに向けられていないという判定に従って、前記ユーザインタフェース要素の前記表示を更新することを控える、命令を含む、電子デバイス。 - １つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの１つ以上のプロセッサによって実行されたときに、前記電子デバイスに、
表示生成コンポーネントを介して、ユーザインタフェース要素であって、前記ユーザインタフェース要素が、前記表示生成コンポーネントを介して、前記電子デバイスの物理的環境内の個別の人物の表示を少なくとも部分的に曖昧にする、ユーザインタフェース要素を含むユーザインタフェースを表示することと、
前記ユーザインタフェースを表示している間、
前記個別の人物が前記物理的環境内の前記電子デバイスからの閾値距離よりも遠くにあり、前記個別の人物の注意が前記電子デバイスのユーザに向けられているという判定に従って、前記ユーザインタフェース要素に対応する位置における前記物理的環境内の前記個別の人物の存在を示すように前記ユーザインタフェース要素の表示を更新することと、
前記個別の人物が前記物理的環境において前記電子デバイスからの前記閾値距離よりも遠くにあり、前記個別の人物の前記注意が前記電子デバイスの前記ユーザに向けられていないという判定に従って、前記ユーザインタフェース要素の前記表示を更新することを控えることと、
を含む方法を実行させる、非一時的コンピュータ可読記憶媒体。 - 電子デバイスであって、
１つ以上のプロセッサと、
メモリと、
表示生成コンポーネントを介して、ユーザインタフェース要素であって、前記ユーザインタフェース要素が、前記表示生成コンポーネントを介して、前記電子デバイスの物理的環境内の個別の人物の表示を少なくとも部分的に曖昧にする、ユーザインタフェース要素を含むユーザインタフェースを表示する手段と、
前記ユーザインタフェースを表示している間、
前記個別の人物が前記物理的環境内の前記電子デバイスからの閾値距離よりも遠くにあり、前記個別の人物の注意が前記電子デバイスのユーザに向けられているという判定に従って、前記ユーザインタフェース要素に対応する位置における前記物理的環境内の前記個別の人物の存在を示すように前記ユーザインタフェース要素の表示を更新し、
前記個別の人物が前記物理的環境において前記電子デバイスからの前記閾値距離よりも遠くにあり、前記個別の人物の前記注意が前記電子デバイスの前記ユーザに向けられていないという判定に従って、前記ユーザインタフェース要素の前記表示を更新することを控える手段と、
を備える、電子デバイス。 - 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
表示生成コンポーネントを介して、ユーザインタフェース要素であって、前記ユーザインタフェース要素が、前記表示生成コンポーネントを介して、前記電子デバイスの物理的環境内の個別の人物の表示を少なくとも部分的に曖昧にする、ユーザインタフェース要素を含むユーザインタフェースを表示する手段と、
前記ユーザインタフェースを表示している間、
前記個別の人物が前記物理的環境内の前記電子デバイスからの閾値距離よりも遠くにあり、前記個別の人物の注意が前記電子デバイスのユーザに向けられているという判定に従って、前記ユーザインタフェース要素に対応する位置における前記物理的環境内の前記個別の人物の存在を示すように前記ユーザインタフェース要素の表示を更新し、
前記個別の人物が前記物理的環境において前記電子デバイスからの前記閾値距離よりも遠くにあり、前記個別の人物の前記注意が前記電子デバイスの前記ユーザに向けられていないという判定に従って、前記ユーザインタフェース要素の前記表示を更新することを控える手段と、
を備える、情報処理装置。 - １つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、
を備える電子デバイスであって、
前記１つ以上のプログラムが、前記メモリ内に記憶され、前記１つ以上のプロセッサによって実行されるよう構成されており、前記１つ以上のプログラムが、請求項６０から７０のいずれか一項に記載の方法を実行する、命令を含む、電子デバイス。 - １つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの１つ以上のプロセッサによって実行されたときに、前記電子デバイスに、請求項６０から７０のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
- １つ以上のプロセッサと、
メモリと、
請求項６０から７０のいずれか一項に記載の方法を実行する手段と、
を備える、電子デバイス。 - 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
請求項６０から７０のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。 - 表示生成コンポーネント及び１つ以上の入力デバイスと通信する電子デバイスにおいて、
前記表示生成コンポーネントを介して、ユーザインタフェース要素であって、前記ユーザインタフェース要素が、前記表示生成コンポーネントを介して、前記電子デバイスの物理的環境の個別の部分の表示を少なくとも部分的に曖昧にする、ユーザインタフェース要素を含むユーザインタフェースを表示することと、
前記ユーザインタフェースを表示している間、
前記電子デバイスの移動の速度に基づいて満たされる基準を含む、１つ以上の基準が満たされたという判定に従って、前記ユーザインタフェース要素が、前記表示生成コンポーネントを介して、前記物理的環境の前記個別の部分の表示を曖昧にする程度を低減するように前記ユーザインタフェース要素の表示を更新することと、
前記１つ以上の基準が満たされていないという判定に従って、前記ユーザインタフェース要素の前記表示を更新することを控えることと、
を含む、方法。 - 前記１つ以上の基準が、前記電子デバイスが車両内に位置しないときに満たされ、前記電子デバイスが前記車両内に位置するときに満たされない基準を含む、請求項７９に記載の方法。
- 前記１つ以上の基準が、前記電子デバイスの前記物理的環境が１つ以上の検出されたハザードを含むときに満たされる基準、を含む、請求項７９から８０のいずれか一項に記載の方法。
- 前記１つ以上の基準が、前記電子デバイスの前記物理的環境の前記個別の部分が１つ以上の物理的オブジェクトを含むときに満たされる基準、を含む、請求項７９から８１のいずれか一項に記載の方法。
- 前記ユーザインタフェースを表示している間、
前記電子デバイスの前記物理的環境内の１つ以上の物理的オブジェクトの１つ以上の特性に基づいて満たされる基準を含む、１つ以上の第２の基準が満たされたという判定に従って、前記ユーザインタフェース要素が、前記表示生成コンポーネントを介して、前記物理的環境の前記個別の部分より小さい第２の個別の部分の表示を曖昧にする程度を低減するように前記ユーザインタフェース要素の表示を更新すること、
を更に含む、請求項７９から８２のいずれか一項に記載の方法。 - 前記ユーザインタフェースを表示している間、
前記電子デバイスの前記物理的環境内で検出された音に基づいて満たされる基準を含む、１つ以上の第２の基準が満たされたという判定に従って、前記ユーザインタフェース要素が、前記表示生成コンポーネントを介して、前記物理的環境の前記個別の部分の表示を曖昧にする前記程度を低減するように前記ユーザインタフェース要素の表示を更新すること、
を更に含む、請求項７９から８３のいずれか一項に記載の方法。 - １つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、を備える、電子デバイスであって、前記１つ以上のプログラムは前記メモリに記憶され、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムは、
表示生成コンポーネントを介して、ユーザインタフェース要素であって、前記ユーザインタフェース要素が、前記表示生成コンポーネントを介して、前記電子デバイスの物理的環境の個別の部分の表示を少なくとも部分的に曖昧にする、ユーザインタフェース要素を含むユーザインタフェースを表示し、
前記ユーザインタフェースを表示している間、
前記電子デバイスの移動の速度に基づいて満たされる基準を含む、１つ以上の基準が満たされたという判定に従って、前記ユーザインタフェース要素が、前記表示生成コンポーネントを介して、前記物理的環境の前記個別の部分の表示を曖昧にする程度を低減するように前記ユーザインタフェース要素の表示を更新し、
前記１つ以上の基準が満たされていないという判定に従って、前記ユーザインタフェース要素の前記表示を更新することを控える、命令を含む、電子デバイス。 - １つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの１つ以上のプロセッサによって実行されたときに、前記電子デバイスに、
表示生成コンポーネントを介して、ユーザインタフェース要素であって、前記ユーザインタフェース要素が、前記表示生成コンポーネントを介して、前記電子デバイスの物理的環境の個別の部分の表示を少なくとも部分的に曖昧にする、ユーザインタフェース要素を含むユーザインタフェースを表示することと、
前記ユーザインタフェースを表示している間、
前記電子デバイスの移動の速度に基づいて満たされる基準を含む、１つ以上の基準が満たされたという判定に従って、前記ユーザインタフェース要素が、前記表示生成コンポーネントを介して、前記物理的環境の前記個別の部分の表示を曖昧にする程度を低減するように前記ユーザインタフェース要素の表示を更新することと、
前記１つ以上の基準が満たされていないという判定に従って、前記ユーザインタフェース要素の前記表示を更新することを控えることと、
を含む方法を実行させる、非一時的コンピュータ可読記憶媒体。 - 電子デバイスであって、
１つ以上のプロセッサと、
メモリと、
表示生成コンポーネントを介して、ユーザインタフェース要素であって、前記ユーザインタフェース要素が、前記表示生成コンポーネントを介して、前記電子デバイスの物理的環境の個別の部分の表示を少なくとも部分的に曖昧にする、ユーザインタフェース要素を含むユーザインタフェースを表示する手段と、
前記ユーザインタフェースを表示している間、
前記電子デバイスの移動の速度に基づいて満たされる基準を含む、１つ以上の基準が満たされたという判定に従って、前記ユーザインタフェース要素が、前記表示生成コンポーネントを介して、前記物理的環境の前記個別の部分の表示を曖昧にする程度を低減するように前記ユーザインタフェース要素の表示を更新し、
前記１つ以上の基準が満たされていないという判定に従って、前記ユーザインタフェース要素の前記表示を更新することを控える手段と、
を備える、電子デバイス。 - 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
表示生成コンポーネントを介して、ユーザインタフェース要素であって、前記ユーザインタフェース要素が、前記表示生成コンポーネントを介して、前記電子デバイスの物理的環境の個別の部分の表示を少なくとも部分的に曖昧にする、ユーザインタフェース要素を含むユーザインタフェースを表示する手段と、
前記ユーザインタフェースを表示している間、
前記電子デバイスの移動の速度に基づいて満たされる基準を含む、１つ以上の基準が満たされたという判定に従って、前記ユーザインタフェース要素が、前記表示生成コンポーネントを介して、前記物理的環境の前記個別の部分の表示を曖昧にする程度を低減するように前記ユーザインタフェース要素の表示を更新し、
前記１つ以上の基準が満たされていないという判定に従って、前記ユーザインタフェース要素の前記表示を更新することを控える手段と、
を備える、情報処理装置。 - １つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、
を備える電子デバイスであって、
前記１つ以上のプログラムが、前記メモリ内に記憶され、前記１つ以上のプロセッサによって実行されるよう構成されており、前記１つ以上のプログラムが、請求項７９から８４のいずれか一項に記載の方法を実行する、命令を含む、電子デバイス。 - １つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの１つ以上のプロセッサによって実行されたときに、前記電子デバイスに、
請求項７９から８４のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。 - １つ以上のプロセッサと、
メモリと、
請求項７９から８４のいずれか一項に記載の方法を実行する手段と、
を備える、電子デバイス。 - 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
請求項７９から８４のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202063083792P | 2020-09-25 | 2020-09-25 | |
| US63/083,792 | 2020-09-25 | ||
| PCT/US2021/071596 WO2022067343A2 (en) | 2020-09-25 | 2021-09-25 | Methods for adjusting and/or controlling immersion associated with user interfaces |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2023542234A true JP2023542234A (ja) | 2023-10-05 |
Family
ID=78463999
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023518857A Pending JP2023542234A (ja) | 2020-09-25 | 2021-09-25 | ユーザインタフェースに関連付けられた没入感を調整及び／又は制御する方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (2) | US11520456B2 (ja) |
| EP (1) | EP4200692A2 (ja) |
| JP (1) | JP2023542234A (ja) |
| KR (2) | KR102562285B1 (ja) |
| CN (2) | CN117555417A (ja) |
| AU (2) | AU2021349382B2 (ja) |
| WO (1) | WO2022067343A2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4200692A2 (en) | 2020-09-25 | 2023-06-28 | Apple Inc. | Methods for adjusting and/or controlling immersion associated with user interfaces |
| US11392198B2 (en) | 2020-10-20 | 2022-07-19 | ROVl GUIDES, INC. | Methods and systems of extended reality environment interaction based on eye motions |
| US11747896B2 (en) | 2020-10-20 | 2023-09-05 | Rovi Guides, Inc. | Methods and systems of extended reality environment interaction based on eye motions |
| US11609629B2 (en) * | 2020-10-20 | 2023-03-21 | Rovi Guides, Inc. | Methods and systems of extended reality environment interaction based on eye motions |
| US11914835B2 (en) * | 2020-11-16 | 2024-02-27 | Samsung Electronics Co., Ltd. | Method for displaying user interface and electronic device therefor |
| US11995230B2 (en) | 2021-02-11 | 2024-05-28 | Apple Inc. | Methods for presenting and sharing content in an environment |
| WO2023205362A1 (en) * | 2022-04-20 | 2023-10-26 | Apple Inc. | Obstructed objects in a three-dimensional environment |
| US11809615B1 (en) * | 2022-04-25 | 2023-11-07 | Apple Inc. | User interfaces for facilitating operations |
| US20240061561A1 (en) * | 2022-08-22 | 2024-02-22 | Microsoft Technology Licensing, Llc | Visually-deemphasized effect for computing devices |
| US20240103707A1 (en) * | 2022-09-24 | 2024-03-28 | Apple Inc. | Methods for time of day adjustments for environments and environment presentation during communication sessions |
| WO2024064932A1 (en) * | 2022-09-24 | 2024-03-28 | Apple Inc. | Methods for controlling and interacting with a three-dimensional environment |
Family Cites Families (102)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US3006002A (en) | 1956-08-23 | 1961-10-31 | Frederick De W Pingree | Air-sea-rescue drift buoy |
| US5610828A (en) | 1986-04-14 | 1997-03-11 | National Instruments Corporation | Graphical system for modelling a process and associated method |
| CA2092632C (en) | 1992-05-26 | 2001-10-16 | Richard E. Berry | Display system with imbedded icons in a menu bar |
| US5524195A (en) | 1993-05-24 | 1996-06-04 | Sun Microsystems, Inc. | Graphical user interface for interactive television with an animated agent |
| US5619709A (en) | 1993-09-20 | 1997-04-08 | Hnc, Inc. | System and method of context vector generation and retrieval |
| US5515488A (en) | 1994-08-30 | 1996-05-07 | Xerox Corporation | Method and apparatus for concurrent graphical visualization of a database search and its search history |
| US5740440A (en) | 1995-01-06 | 1998-04-14 | Objective Software Technology | Dynamic object visualization and browsing system |
| US5758122A (en) | 1995-03-16 | 1998-05-26 | The United States Of America As Represented By The Secretary Of The Navy | Immersive visual programming system |
| GB2301216A (en) * | 1995-05-25 | 1996-11-27 | Philips Electronics Uk Ltd | Display headset |
| US5737553A (en) | 1995-07-14 | 1998-04-07 | Novell, Inc. | Colormap system for mapping pixel position and color index to executable functions |
| JP3400193B2 (ja) | 1995-07-31 | 2003-04-28 | 富士通株式会社 | ウィンドウ関係の識別アイコン付木構造一覧表示方法及び装置 |
| US5751287A (en) | 1995-11-06 | 1998-05-12 | Documagix, Inc. | System for organizing document icons with suggestions, folders, drawers, and cabinets |
| US6112015A (en) | 1996-12-06 | 2000-08-29 | Northern Telecom Limited | Network management graphical user interface |
| US6177931B1 (en) | 1996-12-19 | 2001-01-23 | Index Systems, Inc. | Systems and methods for displaying and recording control interface with television programs, video, advertising information and program scheduling information |
| US5877766A (en) | 1997-08-15 | 1999-03-02 | International Business Machines Corporation | Multi-node user interface component and method thereof for use in accessing a plurality of linked records |
| US6108004A (en) | 1997-10-21 | 2000-08-22 | International Business Machines Corporation | GUI guide for data mining |
| US5990886A (en) | 1997-12-01 | 1999-11-23 | Microsoft Corporation | Graphically creating e-mail distribution lists with geographic area selector on map |
| US7844914B2 (en) | 2004-07-30 | 2010-11-30 | Apple Inc. | Activating virtual keys of a touch-screen virtual keyboard |
| US7614008B2 (en) | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
| US7663607B2 (en) | 2004-05-06 | 2010-02-16 | Apple Inc. | Multipoint touchscreen |
| EP1058924B1 (en) | 1998-01-26 | 2012-06-13 | Apple Inc. | Method and apparatus for integrating manual input |
| US8479122B2 (en) | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
| US20060033724A1 (en) | 2004-07-30 | 2006-02-16 | Apple Computer, Inc. | Virtual input device placement on a touch screen user interface |
| US6456296B1 (en) | 1999-05-28 | 2002-09-24 | Sony Corporation | Color scheme for zooming graphical user interface |
| US20010047250A1 (en) | 2000-02-10 | 2001-11-29 | Schuller Joan A. | Interactive decorating system |
| US7445550B2 (en) * | 2000-02-22 | 2008-11-04 | Creative Kingdoms, Llc | Magical wand and interactive play experience |
| US6584465B1 (en) | 2000-02-25 | 2003-06-24 | Eastman Kodak Company | Method and system for search and retrieval of similar patterns |
| US7218226B2 (en) | 2004-03-01 | 2007-05-15 | Apple Inc. | Acceleration-based theft detection system for portable electronic devices |
| US7688306B2 (en) | 2000-10-02 | 2010-03-30 | Apple Inc. | Methods and apparatuses for operating a portable device based on an accelerometer |
| US20020044152A1 (en) * | 2000-10-16 | 2002-04-18 | Abbott Kenneth H. | Dynamic integration of computer generated and real world images |
| US7035903B1 (en) | 2000-11-22 | 2006-04-25 | Xerox Corporation | Systems and methods for the discovery and presentation of electronic messages that are related to an electronic message |
| US6677932B1 (en) | 2001-01-28 | 2004-01-13 | Finger Works, Inc. | System and method for recognizing touch typing under limited tactile feedback conditions |
| US6570557B1 (en) | 2001-02-10 | 2003-05-27 | Finger Works, Inc. | Multi-touch system and method for emulating modifier keys via fingertip chords |
| US20030156752A1 (en) | 2002-02-12 | 2003-08-21 | Turpin Kenneth A. | Color imaging and format system and methods of making and using same |
| US7137074B1 (en) | 2002-05-31 | 2006-11-14 | Unisys Corporation | System and method for displaying alarm status |
| US11275405B2 (en) | 2005-03-04 | 2022-03-15 | Apple Inc. | Multi-functional hand-held device |
| US7334020B2 (en) | 2002-09-20 | 2008-02-19 | Goodcontacts Research Ltd. | Automatic highlighting of new electronic message address |
| US7373602B2 (en) | 2003-05-28 | 2008-05-13 | Microsoft Corporation | Method for reading electronic mail in plain text |
| US7330585B2 (en) | 2003-11-06 | 2008-02-12 | Behr Process Corporation | Color selection and coordination kiosk and system |
| US7230629B2 (en) | 2003-11-06 | 2007-06-12 | Behr Process Corporation | Data-driven color coordinator |
| US8151214B2 (en) | 2003-12-29 | 2012-04-03 | International Business Machines Corporation | System and method for color coding list items |
| US8171426B2 (en) | 2003-12-29 | 2012-05-01 | International Business Machines Corporation | Method for secondary selection highlighting |
| US7409641B2 (en) | 2003-12-29 | 2008-08-05 | International Business Machines Corporation | Method for replying to related messages |
| US7653883B2 (en) | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
| US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
| ES2298940T3 (es) * | 2005-06-16 | 2008-05-16 | Electrolux Home Products Corporation N.V. | 9lavadora de ropa de tipo domestico con recirculacion de agua, con medicion automatica del tipo de carga de lavado y metodo de funcionamiento de la misma. |
| US7633076B2 (en) | 2005-09-30 | 2009-12-15 | Apple Inc. | Automated response to and sensing of user activity in portable devices |
| US7657849B2 (en) | 2005-12-23 | 2010-02-02 | Apple Inc. | Unlocking a device by performing gestures on an unlock image |
| US8279180B2 (en) | 2006-05-02 | 2012-10-02 | Apple Inc. | Multipoint touch surface controller |
| US8006002B2 (en) | 2006-12-12 | 2011-08-23 | Apple Inc. | Methods and systems for automatic configuration of peripherals |
| US7957762B2 (en) | 2007-01-07 | 2011-06-07 | Apple Inc. | Using ambient light sensor to augment proximity sensor output |
| US9933937B2 (en) | 2007-06-20 | 2018-04-03 | Apple Inc. | Portable multifunction device, method, and graphical user interface for playing online videos |
| US9058765B1 (en) | 2008-03-17 | 2015-06-16 | Taaz, Inc. | System and method for creating and sharing personalized virtual makeovers |
| US8319788B2 (en) | 2009-07-22 | 2012-11-27 | Behr Process Corporation | Automated color selection method and apparatus |
| US9563342B2 (en) | 2009-07-22 | 2017-02-07 | Behr Process Corporation | Automated color selection method and apparatus with compact functionality |
| US9639983B2 (en) | 2009-07-22 | 2017-05-02 | Behr Process Corporation | Color selection, coordination and purchase system |
| WO2011044936A1 (en) * | 2009-10-14 | 2011-04-21 | Nokia Corporation | Autostereoscopic rendering and display apparatus |
| US9681112B2 (en) * | 2009-11-05 | 2017-06-13 | Lg Electronics Inc. | Image display apparatus and method for controlling the image display apparatus |
| KR101627214B1 (ko) * | 2009-11-12 | 2016-06-03 | 엘지전자 주식회사 | 영상표시장치 및 그 동작방법 |
| US20110310001A1 (en) * | 2010-06-16 | 2011-12-22 | Visteon Global Technologies, Inc | Display reconfiguration based on face/eye tracking |
| US9851866B2 (en) * | 2010-11-23 | 2017-12-26 | Apple Inc. | Presenting and browsing items in a tilted 3D space |
| KR20140038926A (ko) | 2011-01-04 | 2014-03-31 | 피피지 인더스트리즈 오하이오 인코포레이티드 | 웹 기반 컬러 선택 시스템 |
| KR101852428B1 (ko) * | 2011-03-09 | 2018-04-26 | 엘지전자 주식회사 | 이동 단말기 및 그의 3ｄ객체 제어방법 |
| US9779097B2 (en) | 2011-04-28 | 2017-10-03 | Sony Corporation | Platform agnostic UI/UX and human interaction paradigm |
| KR101851630B1 (ko) * | 2011-08-29 | 2018-06-11 | 엘지전자 주식회사 | 이동 단말기 및 그의 영상 변환 방법 |
| WO2013169849A2 (en) * | 2012-05-09 | 2013-11-14 | Industries Llc Yknots | Device, method, and graphical user interface for displaying user interface objects corresponding to an application |
| US9229621B2 (en) | 2012-05-22 | 2016-01-05 | Paletteapp, Inc. | Electronic palette system |
| JP5580855B2 (ja) | 2012-06-12 | 2014-08-27 | 株式会社ソニー・コンピュータエンタテインメント | 障害物回避装置および障害物回避方法 |
| US9645394B2 (en) | 2012-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Configured virtual environments |
| JP6158947B2 (ja) * | 2012-12-29 | 2017-07-05 | アップル インコーポレイテッド | タッチ入力からディスプレイ出力への関係間を遷移するためのデバイス、方法及びグラフィカルユーザインタフェース |
| US9395543B2 (en) * | 2013-01-12 | 2016-07-19 | Microsoft Technology Licensing, Llc | Wearable behavior-based vision system |
| US9563331B2 (en) * | 2013-06-28 | 2017-02-07 | Microsoft Technology Licensing, Llc | Web-like hierarchical menu display configuration for a near-eye display |
| US20170132822A1 (en) | 2013-11-27 | 2017-05-11 | Larson-Juhl, Inc. | Artificial intelligence in virtualized framing using image metadata |
| US9886087B1 (en) * | 2013-11-30 | 2018-02-06 | Allscripts Software, Llc | Dynamically optimizing user interfaces |
| KR20150069355A (ko) * | 2013-12-13 | 2015-06-23 | 엘지전자 주식회사 | 디스플레이 디바이스 및 그 제어 방법 |
| JP6079614B2 (ja) | 2013-12-19 | 2017-02-15 | ソニー株式会社 | 画像表示装置及び画像表示方法 |
| US10521089B2 (en) | 2014-02-27 | 2019-12-31 | Hunter Douglas Inc. | Apparatus and method for providing a virtual decorating interface |
| KR102004990B1 (ko) * | 2014-05-13 | 2019-07-29 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
| US20150350141A1 (en) * | 2014-05-31 | 2015-12-03 | Apple Inc. | Message user interfaces for capture and transmittal of media and location content |
| US9766702B2 (en) * | 2014-06-19 | 2017-09-19 | Apple Inc. | User detection by a computing device |
| US9798743B2 (en) | 2014-12-11 | 2017-10-24 | Art.Com | Mapping décor accessories to a color palette |
| US9857888B2 (en) | 2015-03-17 | 2018-01-02 | Behr Process Corporation | Paint your place application for optimizing digital painting of an image |
| US20170038837A1 (en) | 2015-08-04 | 2017-02-09 | Google Inc. | Hover behavior for gaze interactions in virtual reality |
| US20170038829A1 (en) | 2015-08-07 | 2017-02-09 | Microsoft Technology Licensing, Llc | Social interaction for remote communication |
| US9298283B1 (en) | 2015-09-10 | 2016-03-29 | Connectivity Labs Inc. | Sedentary virtual reality method and systems |
| US20180300023A1 (en) | 2015-10-30 | 2018-10-18 | Christine Hein | Methods, apparatuses, and systems for material coating selection operations |
| US10706457B2 (en) | 2015-11-06 | 2020-07-07 | Fujifilm North America Corporation | Method, system, and medium for virtual wall art |
| US10048751B2 (en) * | 2016-03-31 | 2018-08-14 | Verizon Patent And Licensing Inc. | Methods and systems for gaze-based control of virtual reality media content |
| CN109313291A (zh) * | 2016-06-30 | 2019-02-05 | 惠普发展公司，有限责任合伙企业 | 智能镜件 |
| CA3033344A1 (en) | 2016-08-11 | 2018-02-15 | Magic Leap, Inc. | Automatic placement of a virtual object in a three-dimensional space |
| US10325407B2 (en) | 2016-09-15 | 2019-06-18 | Microsoft Technology Licensing, Llc | Attribute detection tools for mixed reality |
| US10817126B2 (en) * | 2016-09-20 | 2020-10-27 | Apple Inc. | 3D document editing system |
| US10754416B2 (en) | 2016-11-14 | 2020-08-25 | Logitech Europe S.A. | Systems and methods for a peripheral-centric augmented/virtual reality environment |
| US11138436B2 (en) * | 2016-12-29 | 2021-10-05 | Magic Leap, Inc. | Automatic control of wearable display device based on external conditions |
| US10768693B2 (en) * | 2017-04-19 | 2020-09-08 | Magic Leap, Inc. | Multimodal task execution and text editing for a wearable system |
| EP3631567B1 (en) | 2017-05-31 | 2022-09-21 | Magic Leap, Inc. | Eye tracking calibration techniques |
| WO2019067482A1 (en) * | 2017-09-29 | 2019-04-04 | Zermatt Technologies Llc | DISPLAYING APPLICATIONS IN A SIMULATED REALITY ENVIRONMENT ENVIRONMENT |
| EP4235263A3 (en) * | 2017-09-29 | 2023-11-29 | Apple Inc. | Gaze-based user interactions |
| US10699488B1 (en) | 2018-09-07 | 2020-06-30 | Facebook Technologies, Llc | System and method for generating realistic augmented reality content |
| KR20220062031A (ko) | 2019-09-11 | 2022-05-13 | 사반트 시스템즈, 인크. | 홈 자동화 시스템을 위한 3차원 가상적 룸-기반 사용자 인터페이스 |
| EP4200692A2 (en) | 2020-09-25 | 2023-06-28 | Apple Inc. | Methods for adjusting and/or controlling immersion associated with user interfaces |
| EP4323852A1 (en) | 2021-04-13 | 2024-02-21 | Apple Inc. | Methods for providing an immersive experience in an environment |
-
2021
- 2021-09-25 EP EP21801378.7A patent/EP4200692A2/en active Pending
- 2021-09-25 JP JP2023518857A patent/JP2023542234A/ja active Pending
- 2021-09-25 KR KR1020237010429A patent/KR102562285B1/ko active IP Right Grant
- 2021-09-25 US US17/448,876 patent/US11520456B2/en active Active
- 2021-09-25 AU AU2021349382A patent/AU2021349382B2/en active Active
- 2021-09-25 CN CN202310791788.1A patent/CN117555417A/zh active Pending
- 2021-09-25 CN CN202180065836.8A patent/CN116420130A/zh active Pending
- 2021-09-25 KR KR1020237025845A patent/KR20230117639A/ko active Application Filing
- 2021-09-25 WO PCT/US2021/071596 patent/WO2022067343A2/en active Application Filing
-
2022
- 2022-09-15 US US17/932,655 patent/US11995285B2/en active Active
-
2023
- 2023-09-22 AU AU2023233175A patent/AU2023233175A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| KR102562285B1 (ko) | 2023-08-02 |
| AU2021349382B2 (en) | 2023-06-29 |
| WO2022067343A3 (en) | 2022-05-12 |
| CN117555417A (zh) | 2024-02-13 |
| KR20230048450A (ko) | 2023-04-11 |
| AU2021349382A1 (en) | 2023-05-11 |
| WO2022067343A2 (en) | 2022-03-31 |
| US11995285B2 (en) | 2024-05-28 |
| US11520456B2 (en) | 2022-12-06 |
| AU2023233175A1 (en) | 2023-10-12 |
| US20220155909A1 (en) | 2022-05-19 |
| KR20230117639A (ko) | 2023-08-08 |
| CN116420130A (zh) | 2023-07-11 |
| EP4200692A2 (en) | 2023-06-28 |
| US20230008537A1 (en) | 2023-01-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11768579B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| KR102562285B1 (ko) | 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기 위한 방법 | |
| US20210097776A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| US11853527B2 (en) | Devices, methods, and graphical user interfaces for providing computer-generated experiences | |
| CN116324703A (zh) | 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法 | |
| US11720171B2 (en) | Methods for navigating user interfaces | |
| US11934569B2 (en) | Devices, methods, and graphical user interfaces for interacting with three-dimensional environments | |
| JP7459375B2 (ja) | ユーザの身体に対するデバイスの表示を更新するためのシステム、方法、及びグラフィカルユーザインターフェース | |
| US20230093979A1 (en) | Devices, methods, and graphical user interfaces for content applications | |
| US20230221833A1 (en) | Methods for displaying user interface elements relative to media content | |
| US20230092874A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| US20240184356A1 (en) | Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments | |
| KR20240048522A (ko) | 3차원 환경들과 상호작용하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 | |
| CN117940880A (zh) | 用于与媒体和三维环境交互的设备、方法和图形用户界面 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230323 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230323 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230323 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230818 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240409 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240524 |