JP2024512040A - マップのためのデバイス、方法、及びグラフィカルユーザインタフェース - Google Patents
マップのためのデバイス、方法、及びグラフィカルユーザインタフェース Download PDFInfo
- Publication number
- JP2024512040A JP2024512040A JP2023558415A JP2023558415A JP2024512040A JP 2024512040 A JP2024512040 A JP 2024512040A JP 2023558415 A JP2023558415 A JP 2023558415A JP 2023558415 A JP2023558415 A JP 2023558415A JP 2024512040 A JP2024512040 A JP 2024512040A
- Authority
- JP
- Japan
- Prior art keywords
- user interface
- location
- content
- displaying
- electronic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 203
- 230000000007 visual effect Effects 0.000 claims abstract description 190
- 230000004044 response Effects 0.000 claims abstract description 111
- 230000002829 reductive effect Effects 0.000 claims abstract description 64
- 230000033001 locomotion Effects 0.000 claims description 132
- 238000004891 communication Methods 0.000 claims description 14
- 238000009877 rendering Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 5
- 238000012876 topography Methods 0.000 claims description 4
- 230000010365 information processing Effects 0.000 claims 11
- 210000003811 finger Anatomy 0.000 description 43
- 210000003128 head Anatomy 0.000 description 34
- 210000004247 hand Anatomy 0.000 description 30
- 230000008569 process Effects 0.000 description 22
- 230000003190 augmentative effect Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 16
- 230000003993 interaction Effects 0.000 description 14
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 210000003813 thumb Anatomy 0.000 description 10
- 210000000707 wrist Anatomy 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 230000001953 sensory effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 8
- 241001465754 Metazoa Species 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004091 panning Methods 0.000 description 7
- -1 802.3x Chemical compound 0.000 description 6
- 230000036541 health Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000005562 fading Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 239000002772 conduction electron Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013503 de-identification Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009528 vital sign measurement Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
いくつかの実施形態では、電子デバイスは、指定された個別の物理ロケーションを有するナビゲーションユーザインタフェース要素と、個別の物理ロケーションに対応するコンテンツを含むコンテンツ要素とを同時に提示する。いくつかの実施形態では、電子デバイスは、第２の物理ロケーションに対応するコンテンツを提示する要求に対応する入力に応じて、第１の物理ロケーションから第２の物理ロケーションへのナビゲーションを、コンテンツ要素内の視覚的顕著性を低減して提示する。
Description
（関連出願の相互参照）
本出願は、２０２１年３月２２日に出願された米国特許仮出願第６３／１６４，２９６号の利益を主張し、その出願の内容は、その全体があらゆる目的のために参照により本明細書に組み込まれる。
本出願は、２０２１年３月２２日に出願された米国特許仮出願第６３／１６４，２９６号の利益を主張し、その出願の内容は、その全体があらゆる目的のために参照により本明細書に組み込まれる。
これは、一般に、表示生成コンポーネントと、マップを含む表示生成コンポーネントを介して、グラフィカルユーザインタフェースを提示する電子デバイスを含むがこれに限定されないグラフィカルユーザインタフェースを提示する１つ以上の入力デバイスとを有する、コンピュータシステムに関する。
拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は強化する少なくともいくつかの仮想要素を含む。コンピュータシステム及び他の電子コンピューティングデバイス用のカメラ、コントローラ、ジョイスティック、タッチ感知面、及びタッチスクリーンディスプレイなどの入力デバイスが、仮想／拡張現実環境と相互作用するために使用される。例示的な仮想要素は、デジタル画像、ビデオ、テキスト、アイコン、並びにボタン及びその他のグラフィックなどの制御要素を含む仮想オブジェクトを含む。
少なくともいくつかの仮想要素を含む環境（例えばアプリケーション、拡張現実環境、複合現実環境、及び仮想現実環境）と相互作用するいくつかの方法及びインタフェースは、煩雑で、非効率で、限定されたものである。例えば、仮想オブジェクトに関連付けられたアクションを実行するのに不十分なフィードバックしか提供しないシステム、拡張現実環境において所望の結果を達成するために一連の入力を必要とするシステム、及び仮想オブジェクトの操作が複雑で、エラーを起こしやすいシステムは、ユーザに対して大きな認知負担を引き起こしし、仮想／拡張現実環境での体験を損なう。加えて、それらの方法は必要以上に時間がかかり、それによってエネルギを浪費する。この後者の考慮事項は、バッテリ動作式デバイスにおいて特に重要である。
したがって、コンピュータシステムとの相互作用をユーザにとってより効率的かつ直感的にするコンピュータ生成体験をユーザに提供するための改善された方法及びインタフェースを有するコンピュータシステムが必要とされている。このような方法及びインタフェースは、ユーザに拡張現実体験を提供する従来の方法を任意選択で補完又は置換することができる。このような方法及びインタフェースは、提供された入力とその入力に対するデバイス応答との間の接続をユーザが理解することを補助することにより、ユーザからの入力の数、程度及び／又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを生成する。
コンピュータシステムのユーザインタフェースに関連付けられた上記の欠点及び他の問題は、開示されるシステムによって低減又は解消される。いくつかの実施形態では、コンピュータシステムは、関連付けられたディスプレイを備えたデスクトップコンピュータである。いくつかの実施形態では、コンピュータシステムは、ポータブルデバイスである（例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである）。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス（例えば腕時計やヘッドマウントデバイスなどのウェアラブル電子デバイス）である。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のカメラを有する。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる）を有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のアイトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のハンドトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネントに加えて１つ以上の出力デバイスを有し、出力デバイスは、１つ以上の触知出力ジェネレータ及び１つ以上のオーディオ出力デバイスを含む。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザインタフェース（ＧＵＩ）、１つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された１つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、タッチ感知面上のスタイラス及び／又は指の接触及びジェスチャ、カメラ及び他の移動センサによってキャプチャされたときのＧＵＩ（及び／又はコンピュータシステム）又はユーザの身体に対する空間内のユーザの目及び手の移動、並びに１つ以上のオーディオ入力デバイスによってキャプチャされたときの音声入力を通じてＧＵＩと相互作用する。いくつかの実施形態では、相互作用を通じて実行される機能は、任意選択的に、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、メモ取り、及び／又はデジタルビデオの再生を含む。それらの機能を実行する実行可能命令は任意選択で、一次的コンピュータ可読記憶媒体及び／又は非一時的コンピュータ可読記憶媒体、あるいは１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
ユーザインタフェースをナビゲートするための改善された方法及びインタフェースを有する電子デバイスが必要とされている。そのような方法及びインタフェースは、グラフィカルユーザインタフェースと相互作用するための従来の方法を補完又は置換することができる。そのような方法及びインタフェースは、ユーザからの入力の数、程度、及び／又は種類を削減し、より効率的なヒューマンマシンインタフェースを生成する。
いくつかの実施形態では、電子デバイスは、ユーザインタフェース内の第１のロケーションにおける第１の物理ロケーションに対応するコンテンツと、第１の物理ロケーションのインジケーションを有するナビゲーションユーザインタフェース要素とを同時に提示する。いくつかの実施形態では、第２の物理ロケーションに対応するコンテンツを表示する要求に対応する入力に応じて、電子デバイスは、第１の物理ロケーションから第２の物理ロケーションへのナビゲーションを、低減された視覚的顕著性で表示する。
前述の様々な実施形態は、本明細書に記載の任意の他の実施形態と組み合わせることができることに留意されたい。本明細書で説明する特徴及び利点は、包括的なものではなく、特に、図面、明細書及び特許請求の範囲を鑑みると、多くの追加の特徴及び利点が当業者には明らかになるであろう。更に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を画定又は制限するために選択されたものではないことに留意されたい。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
本開示は、いくつかの実施形態による、コンピュータ生成現実（ＸＲ）体験をユーザに提供するユーザインタフェースに関する。
本明細書で説明されるシステム、方法、及びＧＵＩは、電子デバイスがナビゲーションユーザインタフェース要素内で示される物理ロケーションに対応するコンテンツを提示するための改善された方法を提供する。
いくつかの実施形態では、コンピュータシステムは、三次元環境において、指定された第１の物理ロケーション及び第１の物理ロケーションに対応する第１のコンテンツを伴うナビゲーションユーザインタフェース要素を同時に表示する。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、第１のコンテンツと三次元環境内のユーザの視点との間に表示される。いくつかの実施形態では、第２の物理ロケーションに対応するコンテンツを提示する要求に対応する入力に応じて、電子デバイスは、第１のコンテンツの表示を停止し、第１のコンテンツが表示されていた三次元環境内のロケーションに第２のコンテンツを表示する。第１のコンテンツが表示された三次元環境内の同じロケーションに第２のコンテンツを提示することは、物理ロケーションに対応するコンテンツを閲覧する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって（例えば、ユーザが三次元環境の異なる領域に注意を向ける必要なく、又は同じロケーションにコンテンツを表示し続けるための入力を提供する必要なく）、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、ナビゲーションユーザインタフェース要素と、ナビゲーションユーザインタフェース要素によって表される第１の物理ロケーションに対応するコンテンツを含むコンテンツ要素とを同時に表示する。いくつかの実施形態では、電子デバイスは、第１の視覚的顕著性で第１のコンテンツを表示する。いくつかの実施形態では、第２の物理ロケーションに対応するコンテンツを表示する要求に対応するユーザ入力を検出している間、電子デバイスは、コンテンツ要素内に、第１の視覚的顕著性に対して低減された視覚的顕著性で、第１の物理ロケーションから第２の物理ロケーションへのナビゲーションを表示する。第１の物理ロケーションから第２の物理ロケーションへのナビゲーションを表示した後、電子デバイスは、任意選択的に、第１の視覚的顕著性に対する低減された視覚的顕著性よりも大きい視覚的顕著性を有する第２のコンテンツを表示する。第２のロケーションを指定する要求に対応するユーザ入力を検出している間にコンテンツ要素の視覚的顕著性を減少させることは、第２のロケーションを指定することがコンテンツ要素を更新することになることをユーザに示す効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善し、更なるユーザ入力によって訂正されなければならない使用の誤りを低減し、（例えば、コンテンツに対応するロケーションの視覚的インジケーションが移動されている間）電子デバイスが第１のロケーション及び／又は第１のロケーションと第２のロケーションとの間の中間ロケーションに対応するコンテンツを完全にレンダリングする必要性を低減する。
図１～図６は、ＸＲ体験をユーザに提供するための例示的なコンピュータシステムを説明する。図７Ａ～７Ｉは、いくつかの実施形態による、電子デバイスがユーザの視線の検出に従ってユーザインタフェースのナビゲーションを提供する方法の例を示す。図８～図９は、様々な実施形態による、ユーザの視線の検出に従ってナビゲーションを提供する方法の流れ図である。図７Ａ～図７Ｉのユーザインタフェースはそれぞれ、図８～９のプロセスを示すために使用される。
後述のプロセスは、改善された視覚的なフィードバックをユーザに提供すること、操作を実行するために必要な入力の数を減らすこと、表示される追加のコントロールでユーザインタフェースを雑然とさせることなく追加の制御オプションを提供すること、条件のセットが満たされたときに更なるユーザ入力を必要とせずに操作を実行すること、プライバシー及び／又はセキュリティを改善すること及び／又は、他の技術を含む、様々な技術により、（例えば、ユーザがデバイスを操作／対話する際に適切な入力を行うのを助け、ユーザの誤りを減らすことによって）デバイスの操作性を高め、ユーザとデバイスのインタフェースを効率化するものである。これらの技術はまた、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
更に、１つ以上のステップが満たされている１つ以上の条件を条件とする本明細書に記載の方法では、記載の方法は、繰り返しの過程にわたって、本方法のステップが条件とする条件の全てが本方法の異なる繰り返しで満たされるように、複数の繰り返しで繰り返されることができることを理解されたい。例えば、ある方法が、条件が満たされた場合に第１のステップを実行し、条件が満たされなかった場合に第２のステップを実行することを必要とする場合、当業者であれば、条件が満たされ、満たされなくなるまで、請求項に記載のステップが、特定の順序で繰り返されることを理解するであろう。したがって、満たされた１つ以上の条件に依存する１つ以上のステップで説明される方法は、方法に記載された各条件が満たされるまで繰り返される方法として書き換えられることができる。しかしながら、これは、システム又はコンピュータ可読媒体が、対応する１つ以上の条件の充足に基づいて条件付き動作を実行するための命令を含み、したがって、方法のステップが条件付きである全ての条件が満たされるまで、方法のステップを明示的に繰り返すことなく偶発性が満たされたか否かを判定することができる、システム又はコンピュータ可読媒体の請求項には必要とされない。当業者はまた、条件付きステップを有する方法と同様に、システム又はコンピュータ可読記憶媒体が、条件付きステップの全てが実行されたことを確実にするために必要な回数だけ方法のステップを繰り返すことができることを理解するであろう。
いくつかの実施形態では、図１に示されるように、ＸＲ体験は、コンピュータシステム１０１を含む動作環境１００を介してユーザに提供される。コンピュータシステム１０１は、コントローラ１１０（例えば、ポータブル電子デバイス又はリモートサーバのプロセッサ）と、表示生成コンポーネント１２０（例えば、ヘッドマウントデバイス（ＨＭＤ）、ディスプレイ、プロジェクタ、タッチスクリーンなど）と、１つ以上の入力デバイス１２５（例えば、アイトラッキングデバイス１３０、ハンドトラッキングデバイス１４０、他の入力デバイス１５０）と、１つ以上の出力デバイス１５５（例えば、スピーカ１６０、触知出力ジェネレータ１７０、及び他の出力デバイス１８０）と、１つ以上のセンサ１９０（例えば、画像センサ、光センサ、深度センサ、触覚センサ、配向センサ、近接センサ、温度センサ、ロケーションセンサ、運動センサ、速度センサなど）と、任意選択的に１つ以上の周辺デバイス１９５（例えば、家電製品、ウェアラブルデバイスなど）と、を含む。いくつかの実施形態では、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び周辺デバイス１９５のうちの１つ以上は、（例えば、ヘッドマウントデバイス又はハンドヘルドデバイス内で）表示生成コンポーネント１２０と統合される。
ＸＲ体験を説明するとき、ユーザが感知する、及び／又は（例えば、ＸＲ体験を生成するコンピュータシステムに、ＸＲ体験を生成するコンピュータシステム１０１に提供される様々な入力に対応するオーディオ、視覚、及び／又は触覚フィードバックを生成させる、コンピュータシステム１０１によって検出された入力を用いて）ユーザが相互作用することができる、いくつかの関連するが、別個の環境に個別的に言及するために様々な用語が使用される。以下は、これらの用語のサブセットである。
物理的環境：物理的環境とは、人々が電子システムの助けなしに、感知及び／又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び嗅覚などを介して、物理的環境を直接感知し、及び／又はそれと相互作用することができる。
拡張現実：これと対照的に、拡張現実（extended reality、ＸＲ）環境は、人々が電子システムを介して感知及び／又は対話する、全体的又は部分的に模倣された環境を指す。ＸＲでは、人物の身体運動のサブセット又はその表現が追跡され、それに応じて、ＸＲ環境内でシミュレートされた１つ以上の仮想オブジェクトの１つ以上の特性が、少なくとも１つの物理学の法則でふるまうように調節される。例えば、ＸＲシステムは、人物の頭部の回転を検出し、それに応じて、そのようなビュー及び音が物理的環境においてどのように変化するかと同様の方法で、人物に提示されるグラフィックコンテンツ及び音場を調節することができる。状況によっては（例えば、アクセス性の理由から）、ＸＲ環境における仮想オブジェクト（単数又は複数）の特性（単数又は複数）に対する調節は、身体運動の表現（例えば、音声コマンド）に応じて行われてもよい。人物は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか１つを使用して、ＸＲオブジェクトを感知し、かつ／又はＸＲオブジェクトと相互作用してもよい。例えば、人物は、３Ｄ空間において点音源の知覚を提供する、３Ｄ又は空間的広がりを有するオーディオ環境を作り出すオーディオオブジェクトを感知し、かつ／又はそれと相互作用することができる。別の例では、オーディオオブジェクトによって、コンピュータ生成オーディオを含めて、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性が可能になり得る。いくつかのＸＲ環境では、人物は、オーディオオブジェクトのみを感知し、かつ／又はそれと相互作用してもよい。
ＸＲの例としては、仮想現実及び複合現実が挙げられる。
仮想現実：仮想現実（ＶＲ）環境とは、１つ以上の感覚について、コンピュータ生成感覚入力に全面的に基づくように設計された模倣環境を指す。ＶＲ環境は、人物が感知かつ／又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人物は、コンピュータ生成環境内に人物が存在することのシミュレーションを通じて、かつ／又はコンピュータ生成環境内での人物の物理的移動のサブセットのシミュレーションを通じて、ＶＲ環境における仮想オブジェクトを感知し、かつ／又はそれと相互作用することができる。
複合現実：複合現実（ＭＲ）環境とは、コンピュータ生成感覚入力に全面的に基づくように設計されたＶＲ環境とは対照的に、コンピュータ生成感覚入力（例えば、仮想オブジェクト）を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計された模倣環境を指す。仮想の連続体上では、複合現実環境は、一方の端部における完全な物理的環境と、他方の端部における仮想現実環境との間であるがこれらを含まない、任意の場所である。いくつかのＭＲ環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変化に応じ得る。また、ＭＲ環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト（すなわち、物理的環境からの物理的物品又はその表現）と相互作用することを可能にするために、物理的環境に対するロケーション及び／又は向きを追跡してもよい。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、移動を考慮に入れてもよい。
複合現実の例としては、拡張現実及び拡張仮想が挙げられる。
拡張現実：拡張現実（ＡＲ）環境とは、１つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ね合わされた模倣環境を指す。例えば、ＡＲ環境を提示するための電子システムは、人物が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイに仮想オブジェクトを提示するように構成されていてもよく、それによって、人物はシステムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又はビデオをキャプチャする１つ以上の撮像センサとを有してもよい。システムは、画像又はビデオを仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人物はこのシステムを使用して、物理的環境を、物理的環境の画像又はビデオによって間接的に見て、物理的環境に重ね合わされた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境のビデオは、「パススルービデオ」と呼ばれ、システムが、１つ以上の画像センサ（単数又は複数）を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にＡＲ環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムが仮想オブジェクトを、例えば、ホログラムとして物理的環境の中に、又は物理的表面に投影するプロジェクションシステムを有してもよく、それによって、人物はシステムを使用して、物理的環境に重ね合わされた仮想オブジェクトを知覚する。拡張現実環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換される模倣環境を指す。例えば、パススルービデオを提供する際に、システムは、１つ以上のセンサ画像を、撮像センサがキャプチャした透視図とは別の選択された透視図（例えば、視点）を面付けするように変形してもよい。別の例として、物理的環境の表現を、その一部をグラフィカルに修正（例えば、拡大）することによって変形してもよく、それにより、修正された部分を、元のキャプチャ画像を表すが非写実的な、改変版にすることもできる。更なる例として、物理的環境の表現は、その一部をグラフィカルに除去又は不明瞭化することによって変形されてもよい。
拡張仮想：拡張仮想（ＡＶ）環境とは、仮想環境又はコンピュータ生成環境が物理的環境から１つ以上の感覚入力を組み込んだ模倣環境を指す。感覚入力は、物理的環境の１つ以上の特性の表現であり得る。例えば、ＡＶの公園には仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、１つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽のポジションと一致する影を採用することができる。
視点ロック仮想オブジェクト：ユーザの視点がシフト（例えば、変化）しても、コンピュータシステムが仮想オブジェクトをユーザの視点内の同じロケーション及び／又はポジションに表示するとき、仮想オブジェクトは視点ロックされる。コンピュータシステムがヘッドマウントデバイスである実施形態では、ユーザの視点は、ユーザの頭部の前向き方向にロックされる（例えば、ユーザの視点は、ユーザが真っ直ぐ前を見ているときのユーザの視野の少なくとも一部である）。したがって、ユーザの視点は、ユーザの頭部を動かさずに、ユーザの視線が動いても固定されたままである。コンピュータシステムが、ユーザの頭部に対して再配置され得る表示生成コンポーネント（例えば、表示画面）を有する実施形態では、ユーザの視点は、コンピュータシステムの表示生成コンポーネント上でユーザに提示されている拡張現実ビューである。例えば、ユーザの視点が第１の向きにある（例えば、ユーザの頭部が北を向いている）ときにユーザの視点の左上隅に表示される視点ロック仮想オブジェクトは、ユーザの視点が第２の向きに変化しても（例えば、ユーザの頭部が西を向いている）、ユーザの視点の左上隅に表示され続ける。言い換えれば、視点ロック仮想オブジェクトがユーザの視点において表示されるロケーション及び／又はポジションは、物理的環境におけるユーザのポジション及び／又は向きとは無関係である。コンピュータシステムがヘッドマウントデバイスである実施形態では、ユーザの視点は、仮想オブジェクトが「頭部ロック仮想オブジェクト」とも称されるように、ユーザの頭部の向きにロックされる。
環境ロック仮想オブジェクト：仮想オブジェクトは、コンピュータシステムが、三次元環境（例えば、物理的環境又は仮想環境）内のロケーション及び／又はオブジェクトに基づく（例えば、それを参照して選択される、及び／又はそれに固定される）ユーザの視点内のロケーション及び／又はポジションに仮想オブジェクトを表示するとき、環境ロック（又は、「世界ロック」）される。ユーザの視点がシフトすると、ユーザの視点に対する環境内のロケーション及び／又はオブジェクトが変化し、その結果、環境ロック仮想オブジェクトがユーザの視点内の異なるロケーション及び／又はポジションに表示される。例えば、ユーザの直前にある木にロックされた環境ロック仮想オブジェクトは、ユーザの視点の中心に表示される。ユーザの視点が右にシフトして（例えば、ユーザの頭部が右に向けられて）木がユーザの視点において左寄りになる（例えば、ユーザの視点における木のポジションがシフトする）場合、木にロックされた環境ロック仮想オブジェクトは、ユーザの視点において左寄りに表示される。言い換えれば、環境ロック仮想オブジェクトがユーザの視点において表示されるロケーション及び／又はポジションは、仮想オブジェクトがロックされる環境におけるロケーション及び／又はオブジェクトのポジション及び／又は向きに依存する。いくつかの実施形態では、コンピュータシステムは、ユーザの視点において環境ロック仮想オブジェクトを表示するポジションを決定するために、静止基準フレーム（例えば、物理的環境における固定ロケーション及び／又はオブジェクトに固定される座標系）を使用する。環境ロック仮想オブジェクトは、環境の静止部分（例えば、床、壁、テーブル、又は他の静止オブジェクト）にロックされることができ、又は環境の可動部分（例えば、車両、動物、人、又はユーザの手、手首、腕、足など、ユーザの視点とは無関係に移動するユーザの身体の部分の表現）にロックされることができ、それにより、仮想オブジェクトは、仮想オブジェクトと環境の部分との間の固定された関係を維持するために、視点又は環境の部分が移動するにつれて移動する。
いくつかの実施形態では、環境ロック又は視点ロックされた仮想オブジェクトは、仮想オブジェクトが追従している基準点の移動に対して、環境ロック又は視点ロックされた仮想オブジェクトの動きを低減又は遅延させる遅延追従挙動を示す。いくつかの実施形態では、遅延追従挙動を示すとき、コンピュータシステムは、仮想オブジェクトが追従している基準点（例えば、環境の一部、視点、又は視点から５～３００ｃｍの間にある点等の視点に対して固定された点）の移動を検出すると、仮想オブジェクトの移動を意図的に遅延させる。例えば、基準点（例えば、環境の一部又は視点）が第１の速度で移動するとき、仮想オブジェクトは、基準点にロックされたままであるようにデバイスによって移動されるが、第１の速度よりも遅い第２の速度で移動する（例えば、基準点が移動を停止又は減速するまで、その時点で仮想オブジェクトが基準点に追いつき始める）。いくつかの実施形態では、仮想オブジェクトが遅延追従挙動を示すとき、デバイスは、基準点の少量の移動を無視する（例えば、０～５度の移動又は０～５０ｃｍの移動など、閾値移動量未満である基準点の移動を無視する）。例えば、基準点（例えば、仮想オブジェクトがロックされる環境の部分又は視点）が第１の量だけ移動するとき、基準点と仮想オブジェクトとの間の距離は増加し（例えば、仮想オブジェクトがロックされる基準点とは異なる視点又は環境の部分に対して固定又は実質的に固定されたポジションを維持するように仮想オブジェクトが表示されているので）、基準点（例えば、仮想オブジェクトがロックされる環境の部分又は視点）が第１の量よりも大きい第２の量だけ移動するとき、基準点と仮想オブジェクトとの間の距離は最初に増加し（例えば、仮想オブジェクトがロックされる基準点とは異なる視点又は環境の部分に対して固定又は実質的に固定されたポジションを維持するように仮想オブジェクトが表示されているので）、次いで、仮想オブジェクトが基準点に対して固定又は実質的に固定されたポジションを維持するようにコンピュータシステムによって移動されるので、基準点の移動量が閾値（例えば、「遅延追従」閾値）を超えて増加するにつれて減少する。いくつかの実施形態では、基準点に対して実質的に固定されたポジションを維持する仮想オブジェクトは、仮想オブジェクトが、１つ以上の寸法（例えば、基準点のポジションに対して上／下、左／右、及び／又は前方／後方）において基準点の閾値距離（例えば、１、２、３、５、１５、２０、５０ｃｍ）内に表示されることを含む。
ハードウェア：人物が様々なＸＲ環境を感知し、及び／又はそれと相互作用することを可能にする、多くの異なるタイプの電子システムが存在する。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ（heads-up displays、ＨＵＤ）、統合表示機能を有する車両ウィンドシールド、統合表示機能を有する窓、（例えば、コンタクトレンズと同様に）人物の目の上に配置されるように設計されたレンズとして形成されたディスプレイ、ヘッドホン／イヤフォン、スピーカアレイ、入力システム（例えば、触覚フィードバックを有する又は有さない、装着型コントローラ又はハンドヘルドコントローラ）、スマートフォン、タブレット、及びデスクトップ／ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、１つ以上のスピーカ（単数又は複数）及び一体型不透明ディスプレイを有してもよい。あるいは、ヘッドマウントシステムは、外部の不透明ディスプレイ（例えば、スマートフォン）を受容するように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像若しくはビデオをキャプチャするための１つ以上の撮像センサ、及び／又は物理的環境のオーディオをキャプチャするための１つ以上のマイクロフォンを組み込んでいてもよい。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人物の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、ＯＬＥＤ、ＬＥＤ、ｕＬＥＤ、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィカル画像を人物の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、仮想オブジェクトを、例えば、ホログラムとして、又は物理的表面として物理的環境に投影するように構成されてもよい。いくつかの実施形態では、コントローラ１１０は、ユーザのＸＲ体験を管理及び調整するように構成される。いくつかの実施形態では、コントローラ１１０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。コントローラ１１０については、図２を参照して以下により詳細に記載する。いくつかの実施形態では、コントローラ１１０は、シーン１０５（例えば、物理的環境）に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ１１０は、シーン１０５内に位置するローカルサーバである。別の例では、コントローラ１１０は、シーン１０５の外側に位置するリモートサーバ（例えば、クラウドサーバ、中央サーバなど）である。いくつかの実施形態では、コントローラ１１０は、１つ以上の有線又は無線通信チャネル１４４（例えば、ＢＬＵＥＴＯＯＴＨ、ＩＥＥＥ８０２．１１ｘ、ＩＥＥＥ８０２．１６ｘ、ＩＥＥＥ８０２．３ｘなど）を介して、表示生成コンポーネント１２０（例えば、ＨＭＤ、ディスプレイ、プロジェクタ、タッチスクリーンなど）と通信可能に結合される。別の例では、コントローラ１１０は、表示生成コンポーネント１２０（例えば、ＨＭＤ、又はディスプレイ及び１つ以上のプロセッサなどを含むポータブル電子デバイス）、入力デバイス１２５のうちの１つ以上、出力デバイス１５５のうちの１つ以上、センサ１９０のうちの１つ以上、及び／又は周辺デバイス１９５のうちの１つ以上の筐体（例えば、物理的ハウジング）内に含まれる、又は上記のうちの１つ以上と同じ物理的筐体又は支持構造を共有する。
いくつかの実施形態では、表示生成コンポーネント１２０は、ＸＲ体験（例えば、ＸＲ体験の少なくとも視覚的コンポーネント）をユーザに提供するように構成される。いくつかの実施形態では、表示生成コンポーネント１２０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。表示生成コンポーネント１２０について、図３を参照して以下により詳細に説明する。いくつかの実施形態では、コントローラ１１０の機能は、表示生成コンポーネント１２０によって提供される、及び／又は表示生成コンポーネント１２０と組み合わされる。
いくつかの実施形態によれば、表示生成コンポーネント１２０は、ユーザがシーン１０５内に仮想的及び／又は物理的に存在している間に、ＸＲ体験をユーザに提供する。
いくつかの実施形態では、表示生成コンポーネントは、ユーザの身体の一部（例えば、自身の頭部や自身の手など）に装着される。したがって、表示生成コンポーネント１２０は、ＸＲコンテンツを表示するために提供された１つ以上のＸＲディスプレイを含む。例えば、様々な実施形態では、表示生成コンポーネント１２０は、ユーザの視野を包囲する。いくつかの実施形態では、表示生成コンポーネント１２０は、ＸＲコンテンツを提示するように構成されたハンドヘルドデバイス（スマートフォン又はタブレットなど）であり、ユーザは、ユーザの視野に向けられるディスプレイ及びシーン１０５に向けられるカメラを備えたデバイスを保持する。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの頭部に装着された筐体内に配置される。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの前の支持体（例えば、三脚）上に配置される。いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザが表示生成コンポーネント１２０を着用又は保持しない状態でＸＲコンテンツを提示するように構成されたＸＲチャンバ、筐体、又は部屋である。ＸＲコンテンツ（例えば、ハンドヘルドデバイス又は三脚上のデバイス）を表示するための１つのタイプのハードウェアを参照して説明される多くのユーザインタフェースは、ＸＲコンテンツ（例えば、ＨＭＤ又は他のウェアラブルコンピューティングデバイス）を表示するための別のタイプのハードウェア上に実施され得る。例えば、ハンドヘルド又は三脚搭載デバイスの前の空間内で起こる相互作用に基づいてトリガされるＸＲコンテンツとの相互作用を示すユーザインタフェースは、相互作用がＨＭＤの前の空間で発生し、ＸＲコンテンツの応答がＨＭＤを介して表示されるＨＭＤと同様に実施され得る。同様に、物理的環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するハンドヘルド又は三脚搭載デバイスの移動に基づいてトリガされたＣＲＧコンテンツとの相互作用を示すユーザインタフェースは、物理的環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するＨＭＤの移動によって移動が引き起こされるＨＭＤと同様に実施され得る。
動作環境１００の関連する特徴が図１に示されているが、当業者は、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないように、簡潔化のための様々な他の特徴が示されていないことを、本開示から理解されよう。
図２は、いくつかの実施形態による、コントローラ１１０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのため、非限定的な例として、いくつかの実施形態では、コントローラ１１０は、１つ以上の処理ユニット２０２（例えば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス２０６、１つ以上の通信インタフェース２０８（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、グローバル移動通信システム（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、グローバル測位システム（ＧＰＳ）、赤外線（ＩＲ）、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース２１０、メモリ２２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス２０４を含む。
いくつかの実施形態では、１つ以上の通信バス２０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス２０６は、キーボード、マウス、タッチパッド、ジョイスティック、１つ以上のマイクロフォン、１つ以上のスピーカ、１つ以上の画像センサ、１つ以上のディスプレイなどのうちの少なくとも１つを含む。
メモリ２２０は、ダイナミックランダムアクセスメモリ（dynamic random-access memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（static random-access memory、ＳＲＡＭ）、ダブルデータレートランダムアクセスメモリ（double-data-rate random-access memory、ＤＤＲＲＡＭ）、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ２２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ２２０は、１つ以上の処理ユニット２０２から遠隔に位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ２２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ２２０、又はメモリ２２０の非一時的コンピュータ可読記憶媒体は、任意選択的なオペレーティングシステム２３０及びＸＲ体験モジュール２４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム２３０は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、ＸＲ体験モジュール２４０は、１人以上のユーザに対する１つ以上のＸＲ体験（例えば、１人以上のユーザに対する単一のＸＲ体験、又は１人以上のユーザのそれぞれのグループに対する複数のＸＲ体験）を管理及び調整するように構成されている。その目的で、様々な実施形態では、ＸＲ体験モジュール２４０は、データ取得ユニット２４１と、トラッキングユニット２４２と、調整ユニット２４６と、データ送信ユニット２４８と、を含む。
いくつかの実施形態では、データ取得ユニット２４１は、少なくとも図１の表示生成コンポーネント１２０から、並びに任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上から、データ（例えば、提示データ、対話データ、センサデータ、ロケーションデータなど）を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット２４１は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、トラッキングユニット２４２は、シーン１０５をマッピングし、図１のシーン１０５に対する少なくとも表示生成コンポーネント１２０のロケーション／ポジションを、並びに任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上の位置を、追跡するように構成される。その目的で、様々な実施形態では、トラッキングユニット２４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実施形態では、トラッキングユニット２４２は、ハンドトラッキングユニット２４４及び／又はアイトラッキングユニット２４３を含む。いくつかの実施形態では、ハンドトラッキングユニット２４４は、図１のシーン１０５に対する、表示生成コンポーネント１２０に対する、及び／又はユーザの手に対して定義された座標系に対する、ユーザの手の１つ以上の部分のロケーション／ポジション、及び／又はユーザの手の１つ以上の部分の動きを追跡するように構成される。ハンドトラッキングユニット２４４について、図４に関して以下でより詳細に説明する。いくつかの実施形態では、アイトラッキングユニット２４３は、シーン１０５に対する（例えば、物理的環境及び／又はユーザ（例えば、ユーザの手）に対する）、又は表示生成コンポーネント１２０を介して表示されたＸＲコンテンツに対する、ユーザの視線（又は、より広範にはユーザの目、顔、又は頭部）のポジション及び移動を追跡するように構成される。アイトラッキングユニット２４３について、図５に関して以下でより詳細に説明する。
いくつかの実施形態では、調整ユニット２４６は、表示生成コンポーネント１２０によって、並びに任意選択的に、出力デバイス１５５及び／又は周辺デバイス１９５のうちの１つ以上によって、ユーザに提示されるＸＲ体験を管理及び調整するように構成される。その目的で、様々な実施形態において、調整ユニット２４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット２４８は、データ（例えば、提示データ、ロケーションデータなど）を少なくとも表示生成コンポーネント１２０、並びに任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上に送信するように構成される。その目的で、様々な実施形態では、データ送信ユニット２４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット２４１、トラッキングユニット２４２（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４４を含む）、調整ユニット２４６、及びデータ送信ユニット２４８が、単一のデバイス（例えば、コントローラ１１０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット２４１、トラッキングユニット２４２（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４４を含む）、調整ユニット２４６、及びデータ送信ユニット２４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図２は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図２に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では１つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。
図３は、いくつかの実施形態による、表示生成コンポーネント１２０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実施形態では、表示生成コンポーネント１２０（例えば、ＨＭＤ）には、１つ以上の処理ユニット３０２（例えば、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ、ＣＰＵ、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス及びセンサ３０６、１つ以上の通信インタフェース３０８（例えば、ＵＳＢ、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、ＧＳＭ、ＣＤＭＡ、ＴＤＭＡ、ＧＰＳ、赤外線、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、及び／又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース３１０、１つ以上のＸＲディスプレイ３１２、１つ以上の任意選択の内向き及び／又は外向き画像センサ３１４、メモリ３２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス３０４、が含まれる。
いくつかの実施形態では、１つ以上の通信バス３０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス及びセンサ３０６は、慣性測定装置（ＩＭＵ）、加速度計、ジャイロスコープ、温度計、１つ以上の生理的センサ（例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、血糖センサなど）、１つ以上のマイクロフォン、１つ以上のスピーカ、触覚エンジン、１つ以上の深度センサ（例えば、構造化光、飛行時間など）などのうちの少なくとも１つを含む。
いくつかの実施形態では、１つ以上のＸＲディスプレイ３１２は、ユーザにＸＲ体験を提供するように構成される。いくつかの実施形態では、１つ以上のＸＲディスプレイ３１２は、ホログラフィック、デジタル光処理（ＤＬＰ）、液晶ディスプレイ（ＬＣＤ）、液晶オンシリコン（ＬＣｏＳ）、有機発光電界効果トランジスタ（ＯＬＥＴ）、有機発光ダイオード（ＯＬＥＤ）、表面伝導型電子放射素子ディスプレイ（ＳＥＤ）、電界放射ディスプレイ（ＦＥＤ）、量子ドット発光ダイオード（ＱＤ－ＬＥＤ）、ＭＥＭＳ、及び／又は同様のディスプレイタイプに相当する。いくつかの実施形態では、１つ以上のＸＲディスプレイ３１２は、回折、反射、偏光、ホログラフィックなどの、導波管ディスプレイに相当する。例えば、表示生成コンポーネント１２０（例えば、ＨＭＤ）は、単一のＸＲディスプレイを含む。別の実施例では、表示生成コンポーネント１２０は、ユーザの各目用のＸＲディスプレイを含む。いくつかの実施形態では、１つ以上のＸＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。いくつかの実施形態では、１つ以上のＸＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。
いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの目を含むユーザの顔の少なくとも一部に対応する画像データを取得するように構成される（及び、アイトラッキングカメラと称する場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの手（単数又は複数）及び任意選択的にユーザの腕（単数又は複数）の少なくとも一部に対応する画像データを取得するように構成される（及び、ハンドトラッキングカメラと称される場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、表示生成コンポーネント１２０（例えばＨＭＤ）、が存在しない場合に、ユーザが閲覧するようなシーンに対応する画像データを取得するように前方を向くように構成されている（かつ、シーンカメラと称されることがある）。１つ以上の任意選択的な画像センサ３１４は、（例えば、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ若しくは電荷結合デバイス（ＣＣＤ）画像センサを備えた）１つ以上のＲＧＢカメラ、１つ以上の赤外線（ＩＲ）カメラ、１つ以上のイベントベースのカメラ、及び／又は同様のもの、を含むことができる。
メモリ３２０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ３２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３２０は、１つ以上の処理ユニット３０２から遠隔に位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ３２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ３２０、又はメモリ３２０の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム３３０及びＸＲ提示モジュール３４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム３３０は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、ＸＲ提示モジュール３４０は、１つ以上のＸＲディスプレイ３１２を介してＸＲコンテンツをユーザに提示するように構成される。その目的で、様々な実施形態では、ＸＲ提示モジュール３４０は、データ取得ユニット３４２、ＸＲ提示ユニット３４４、ＸＲマップ生成ユニット３４６、及びデータ送信ユニット３４８を含む。
いくつかの実施形態では、データ取得ユニット３４２は、少なくとも図１のコントローラ１１０からデータ（例えば、提示データ、相互作用データ、センサデータ、ロケーションデータなど）を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット３４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、ＸＲ提示ユニット３４４は、１つ以上のＸＲディスプレイ３１２を介してＸＲコンテンツを提示するように構成される。その目的で、様々な実施形態では、ＸＲ提示ユニット３４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、ＸＲマップ生成ユニット３４６は、メディアコンテンツデータに基づいて、ＸＲマップ（例えば、複合現実シーンの３Ｄマップ又はコンピュータ生成オブジェクトを配置することができる物理的環境のマップ）を生成するように構成される。その目的で、様々な実施形態では、ＸＲマップ生成ユニット３４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット３４８は、少なくともコントローラ１１０、及び任意選択的に入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上にデータ（例えば、提示データ、ロケーションデータなど）を伝送するように構成される。その目的で、様々な実施形態では、データ送信ユニット３４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット３４２は、ＸＲ提示ユニット３４４、ＸＲマップ生成ユニット３４６、及びデータ送信ユニット３４８は、単一のデバイス（例えば、図１の表示生成コンポーネント１２０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット３４２、ＸＲ提示ユニット３４４、ＸＲマップ生成ユニット３４６、及びデータ送信ユニット３４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図３は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実装形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図３に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では１つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。
図４は、ハンドトラッキングデバイス１４０の例示的な実施形態の概略図である。いくつかの実施形態では、ハンドトラッキングデバイス１４０（図１）は、図１のシーン１０５に対する（例えば、ユーザを囲む物理的環境の一部に対する、表示生成コンポーネント１２０に対する、又はユーザの一部（例えば、ユーザの顔、目、又は頭部）に対する、及び／又はユーザの手に対して定義された座標系に対する）ユーザの手の１つ以上の部分のロケーション／ポジション、及び／又は、ユーザの手の１つ以上の部分の動きを追跡するように、ハンドトラッキングユニット２４３（図２）によって制御される。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成コンポーネント１２０の一部である（例えば、ヘッドマウントデバイスに埋め込まれる、又はヘッドマウントデバイスに取り付けられる）。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成コンポーネント１２０とは別個である（例えば、別個のハウジング内に位置する、又は別個の物理的支持構造に取り付けられる）。
いくつかの実施形態では、ハンドトラッキングデバイス１４０は、人間のユーザの少なくとも手４０６を含む三次元シーン情報をキャプチャする画像センサ４０４（例えば、１つ以上のＩＲカメラ、３Ｄカメラ、深度カメラ、及び／又はカラーカメラなど）を含む。画像センサ４０４は、指及びそれらのそれぞれのポジションを区別するのを可能にするのに十分な解像度で手画像をキャプチャする。画像センサ４０４は、典型的には、ユーザの身体の他の部分の画像、又は身体の全ての画像をキャプチャし、ズーム機能又は高倍率を有する専用センサのいずれかを有して、所望の解像度で手の画像をキャプチャすることができる。いくつかの実施形態では、画像センサ４０４はまた、手４０６の２Ｄカラービデオ画像及びシーンの他の要素をキャプチャする。いくつかの実施形態では、画像センサ４０４は、シーン１０５の物理的環境をキャプチャする他の画像センサと併せて使用される、又はシーン１０５の物理的環境をキャプチャする画像センサとして機能する。いくつかの実施形態では、画像センサ４０４は、画像センサ又はその一部の視野が使用されて、画像センサによってキャプチャされた手の移動がコントローラ１１０への入力として処理される相互作用空間を定義するように、ユーザ又はユーザの環境に対して位置決めされる。
いくつかの実施形態では、画像センサ４０４は、３Ｄマップデータ（及び場合によってはカラー画像データも）を含むフレームのシーケンスをコントローラ１１０に出力し、これにより、マップデータから高レベル情報を抽出する。この高レベル情報は、典型的には、アプリケーションプログラムインタフェース（ＡＰＩ）を介して、コントローラ上で実行されるアプリケーションに提供され、それに応じて表示生成コンポーネント１２０を駆動する。例えば、ユーザは、自身の手４０６を移動させ、自身の手の姿勢を変化させることによって、コントローラ１１０上で動作するソフトウェアと対話することができる。
いくつかの実施形態では、画像センサ４０４は、手４０６を含むシーン上にスポットパターンを投影し、投影されたパターンの画像をキャプチャする。いくつかの実施形態では、コントローラ１１０は、パターンのスポットの横方向シフトに基づいて、三角測量によって（ユーザの手の表面上の点を含む）シーン内の点の３Ｄ座標を計算する。このアプローチは、ユーザが任意の種類のビーコン、センサ、又は他のマーカを保持又は着用する必要がないという点で有利である。これは、画像センサ４０４からの特定の距離で、所定の基準面に対するシーン内の点の深度座標を与える。本開示では、画像センサ４０４は、シーン内の点の深度座標が画像センサによって測定されたｚ成分に対応するように、直交する一連のｘ、ｙ、ｚ軸を定義すると想定される。代替的に、画像センサ４０４（例えば、ハンドトラッキングデバイス）は、単一又は複数のカメラ又は他のタイプのセンサに基づいて、立体撮像又は飛行時間測定などの他の３Ｄマッピング方法を使用することができる。
いくつかの実施形態では、ハンドトラッキングデバイス１４０は、ユーザが手（例えば、手全体又は１本以上の指）を移動させている間、ユーザの手を含む深度マップの時間シーケンスをキャプチャし処理する。画像センサ４０４及び／又はコントローラ１１０内のプロセッサ上で動作するソフトウェアは、３Ｄマップデータを処理して、これらの深度マップ内の手のパッチ記述子を抽出する。ソフトウェアは、各フレームにおける手の姿勢を推定するために、以前の学習プロセスに基づいて、これらの記述子をデータベース４０８に記憶されたパッチ記述子と照合する。姿勢は、典型的には、ユーザの手関節及び指先の３Ｄロケーションを含む。
ソフトウェアはまた、ジェスチャを識別するために、シーケンス内の複数のフレームにわたって手及び／又は指の軌道を解析することができる。本明細書に記載される姿勢推定機能は、運動追跡機能とインターリーブされてもよく、それにより、パッチベースの姿勢推定が２つ（又はそれより多く）のフレーム毎に１回のみ実行される一方、追跡は残りのフレームにわたって発生する姿勢の変化を発見するために使用される。姿勢、運動、及びジェスチャ情報は、上述のＡＰＩを介して、コントローラ１１０上で実行されるアプリケーションプログラムに提供される。このプログラムは、例えば、姿勢及び／又はジェスチャ情報に応じて、表示生成コンポーネント１２０上に提示された画像を移動させ修正する、又は他の機能を実行することができる。
いくつかの実施形態では、ジェスチャは、エアジェスチャを含む。エアジェスチャは、ユーザがデバイス（例えば、コンピュータシステム１０１、１つ以上の入力デバイス１２５、及び／又は、ハンドトラッキングデバイス１４０）の一部である入力要素に触れることなく（又はそれとは無関係に）検出されるジェスチャであり、絶対的な基準（例えば、地面に対するユーザの腕の角度、又は地面に対するユーザの手の距離）に対するユーザの身体の動き、ユーザの身体の別の部分（例えば、ユーザの肩に対するユーザの手の移動、ユーザの一方の手のユーザの別の手に対する移動、及び／又はユーザの指の、別の指若しくはユーザの手の一部に対する移動）に対するユーザの身体の動き、及び／又はユーザの身体の一部（例えば、所定の量及び／又は速さによる所定の姿勢での手の移動を含むタップジェスチャ、又は所定の速度又はユーザの身体の一部の回転量を含むシェイクジェスチャ）の絶対的な動きを含む、空中にあるユーザの身体の一部（例えば、頭部、１つ以上の腕、１つ以上の手、１つ以上の指、及び／又は１つ以上の脚）の検出された動きに基づく。
いくつかの実施形態では、本明細書に記載の様々な例及び実施形態で使用される入力ジェスチャは、いくつかの実施形態に係る、ＸＲ環境（例えば、仮想又は複合現実環境）と相互作用するための他の指（単数又は複数）又はユーザの手の部分（単数又は複数）に対するユーザの指（単数又は複数）の移動によって実行されるエアジェスチャを含む。いくつかの実施形態では、エアジェスチャは、ユーザがデバイスの一部である入力要素に触れることなく（又はデバイスの一部である入力要素から独立して）検出されるジェスチャであり、絶対的な基準に対するユーザの身体の動き（例えば、地面に対するユーザの腕の角度、又は地面に対するユーザの手の距離）、ユーザの身体の別の部分に対するユーザの身体の動き（例えば、ユーザの肩に対するユーザの手の動き、ユーザの一方の手に対するユーザの他方の手の移動、及び／又はユーザの手の別の指若しくは部分に対するユーザの指の移動）、及び／又は、ユーザの身体の一部の絶対的な動き（例えば、所定の量及び／又は速さによる所定のポーズでの手の移動を含むタップジェスチャ、又はユーザの身体の一部の所定の速さ又は量の回転を含むシェイクジェスチャ）を含む、ユーザの身体の一部の検出された動きに基づく。
入力ジェスチャがエアジェスチャ（例えば、タッチスクリーン上に表示されたユーザインタフェース要素との接触、又はユーザインタフェース要素にカーソルを移動させるためのマウス又はトラックパッドとの接触など、どのユーザインタフェース要素がユーザ入力のターゲットであるかに関する情報をコンピュータシステムに提供する入力デバイスとの物理的接触がない場合）であるいくつかの実施形態では、ジェスチャは、ユーザ入力のターゲット（例えば、以下で説明するように、直接入力の場合）を決定するためにユーザの注意（例えば、視線）を考慮に入れる。したがって、エアジェスチャを含む実装形態では、入力ジェスチャは、例えば、以下でより詳細に説明するように、ピンチ及び／又はタップ入力を実行するためのユーザの指（単数又は複数）及び／又は手の移動と組み合わせて（例えば、同時）ユーザインタフェース要素に対する検出された注意（例えば、視線）である。
いくつかの実施形態では、ユーザインタフェースオブジェクトに向けられた入力ジェスチャは、ユーザインタフェースオブジェクトを参照して直接的又は間接的に実行される。例えば、ユーザ入力は、三次元環境（例えば、ユーザの現在の視点に基づいて決定されるように、）におけるユーザインタフェースオブジェクトのポジションに対応するポジションでユーザの手で入力ジェスチャを実行したことに応じて、ユーザインタフェースオブジェクトに対して直接実行される。いくつかの実施形態では、入力ジェスチャは、ユーザインタフェースオブジェクトに対するユーザの注意（例えば、視線）を検出しながら、ユーザの手のポジションが三次元環境におけるユーザインタフェースオブジェクトのポジションに対応するポジションにない間に入力ジェスチャを実行するユーザに従って、ユーザインタフェースオブジェクトに対して間接的に実行される。例えば、直接入力ジェスチャの場合、ユーザは、ユーザインタフェースオブジェクトの表示ポジション（例えば、オプションの外縁又はオプションの中央部分から測定して、０．５ｃｍ、１ｃｍ、５ｃｍ、又は０～５ｃｍの距離内）に対応するポジション又はその付近でジェスチャを開始することによって、ユーザの入力をユーザインタフェースオブジェクトに向けることができる。間接的な入力ジェスチャの場合、ユーザは、ユーザインタフェースオブジェクトに注意を払うことによって（例えば、ユーザインタフェースオブジェクトを注視することによって）ユーザの入力をユーザインタフェースオブジェクトに向けることができ、オプションに注意を払いながら、ユーザは、入力ジェスチャを開始する（例えば、コンピュータシステムによって検出可能な任意のポジションで）（例えば、ユーザインタフェースオブジェクトの表示ポジションに対応しないポジションで）。
いくつかの実施形態では、本明細書に記載の様々な例及び実施形態で使用される入力ジェスチャ（例えば、エアジェスチャ）は、いくつかの実施形態に係る、仮想又は複合現実環境と相互作用するためのピンチ入力及びタップ入力を含む。例えば、後述するピンチ入力やタップ入力は、エアジェスチャとして行われる。
いくつかの実施形態では、ピンチ入力は、ピンチジェスチャ、ロングピンチジェスチャ、ピンチアンドドラッグジェスチャ、又はダブルピンチジェスチャのうちの１つ以上を含むエアジェスチャの一部である。例えば、エアジェスチャであるピンチジェスチャは、互いに接触するように手の２本以上の指を動かすこと、すなわち、任意選択的に、互いに接触した直後の（例えば、０～１秒以内）中断を含む。エアジェスチャであるロングピンチジェスチャは、互いに接触している中断を検出する前に、少なくとも閾値時間量（例えば、少なくとも１秒）にわたって互いに接触するように手の２本以上の指を動かすことを含む。例えば、ロングピンチジェスチャは、ユーザがピンチジェスチャ（例えば、２つ以上の指が接触している場合、）を保持することを含み、ロングピンチジェスチャは、２本以上の指の間の接触の中断が検出されるまで継続する。いくつかの実施形態では、エアジェスチャであるダブルピンチジェスチャは、互いに直接（例えば、既定の期間内に）連続して検出される２つ（例えば、又はそれより多く）のピンチ入力（例えば、同じ手で実行される）を含む。例えば、ユーザは、第１のピンチ入力を実行し（例えば、ピンチ入力又はロングピンチ入力）、第１のピンチ入力を解放し（例えば、２つ以上の指の間の接触を破壊する）、第１のピンチ入力を解放した後、既定の期間（例えば、１秒以内又は２秒以内）内に第２のピンチ入力を実行する。
いくつかの実施形態では、エアジェスチャであるピンチアンドドラッグジェスチャは、ユーザの手のポジションを第１のポジション（例えば、ドラッグの開始ポジション）から第２のポジション（例えば、抗力の終了ポジション）に変化させるドラッグ入力に関連して（例えば、その後に）実行されるピンチジェスチャ（例えば、ピンチジェスチャ又はロングピンチジェスチャ）を含む。いくつかの実施形態では、ユーザは、ドラッグ入力を実行しながらピンチジェスチャを維持し、（例えば、第２のポジションにおいて）ドラッグジェスチャを終了するためにピンチジェスチャ（例えば、２本以上の指を開く）を解放する。いくつかの実施形態では、ピンチ入力及びドラッグ入力は、同じ手（例えば、ユーザは、２本以上の指をつまんで互いに接触し、ドラッグジェスチャで空中の第２のポジションに同じ手を移動させる）によって実行される。いくつかの実施形態では、ピンチ入力はユーザの第１の手によって実行され、ドラッグ入力はユーザの第２の手によって実行される（例えば、ユーザの第２の手は、ユーザがユーザの第１の手でピンチ入力を継続する間に空中で第１のポジションから第２のポジションに移動する）。いくつかの実施形態では、エアジェスチャである入力ジェスチャは、ユーザの両手の双方を使用して実行される入力（例えば、ピンチ入力及び／又はタップ入力）を含む。例えば、入力ジェスチャは、互いに関連して（例えば、既定の期間と同時に、又は既定の期間内に）行われる２つ（例えば、又はそれより多く）のピンチ入力を含む。例えば、ユーザの第１の手を使用して実行される第１のピンチジェスチャ（例えば、ピンチ入力、ロングピンチ入力、又はピンチ及びドラッグ入力）と、第１の手を使用してピンチ入力を実行することに関連して、他方の手（例えば、ユーザの両手の第２の手）を使用して第２のピンチ入力を実行する。いくつかの実施形態では、（例えば、ユーザの両手の間の距離又は相対的な向きを増加及び／又は減少させるための）ユーザの両手の間の移動。
いくつかの実施形態では、エアジェスチャとして実行されるタップ入力（例えば、ユーザインタフェース要素に向けられる）は、ユーザインタフェース要素に向かうユーザの指の移動（単数又は複数）、任意選択的にユーザの指（単数又は複数）をユーザインタフェース要素に向かって伸ばした状態でのユーザの手のユーザインタフェース要素に向かう移動、ユーザの指の下方への動き（例えば、マウスクリック動作又はタッチスクリーン上のタップを模倣する）、又はユーザの手の他の既定の移動を含む。いくつかの実施形態では、エアジェスチャとして実行されるタップ入力は、ユーザの視点から離れて、及び／又は移動の終了が続くタップ入力のターゲットであるオブジェクトに向かって指又は手のタップジェスチャの移動を実行する指又は手の移動特性に基づいて検出される。いくつかの実施形態では、タップジェスチャ（例えば、ユーザの視点から離れる、及び／又はタップ入力の対象であるオブジェクトに向かう移動の終了、指又は手の移動方向の反転、及び／又は指又は手の移動の加速方向の反転）を実行する指又は手の移動特性の変化に基づいて、移動の終了が検出される。
いくつかの実施形態では、ユーザの注意は、（任意選択で、他の条件を必要とせずに）三次元環境の一部に向けられた視線の検出に基づいて、三次元環境の一部に向けられていると判定される。いくつかの実施形態では、ユーザの注意が三次元環境の一部に向けられていることをデバイスが判定するために、ユーザの視点が三次元環境の一部から距離閾値内にある間に、少なくとも閾値持続時間（例えば、滞留時間）、視線が三次元環境の一部に向けられていることを必要とすること、及び／又は視線が三次元環境の一部に向けられていることを必要とすることなどの１つ以上の追加の条件を伴う三次元環境の一部に向けられた視線の検出に基づいて、ユーザの注意が三次元環境の一部に向けられていると判定され、追加の条件のうちの１つが満たされていない場合、デバイスは、三次元環境のうちの視線が向けられている部分に注意が向けられていないと判定する（例えば、１つ以上の追加の条件が満たされるまで）。
いくつかの実施形態では、ユーザ又はユーザの一部の準備完了状態構成の検出は、コンピュータシステムによって検出される。手の準備完了状態構成の検出は、ユーザが、手によって実行される１つ以上のエアジェスチャ入力（例えば、ピンチ、タップ、ピンチ及びドラッグ、ダブルピンチ、ロングピンチ、又は本明細書に説明される他のエアジェスチャ）を使用して、コンピュータシステムと対話する準備をしている可能性が高いというインジケーションとして、コンピュータシステムによって使用される。例えば、手の準備完了状態は、手が所定の手形状（例えば、親指と１本以上の指が伸ばされて間隔を空けてピンチ若しくはグラブジェスチャを行う準備ができているプレピンチ形状、又は１本以上の指が伸ばされて手のひらがユーザから離れる方向を向いているプレタップ）を有するか否か、手がユーザの視点に対して所定のポジションにあるか否か（例えば、ユーザの頭部の下、ユーザの腰の上、身体から少なくとも１５ｃｍ、２０ｃｍ、２５ｃｍ、３０ｃｍ、又は５０ｃｍだけ伸ばされている）、及び／又は手が特定の方法で移動したか否か（例えば、ユーザの腰の上、ユーザの頭部の下のユーザの正面の領域に向かって移動したか、又はユーザの身体若しくは脚から離れたか）に基づいて決定される。いくつかの実施形態では、準備完了状態は、ユーザインタフェースの対話要素が注意（例えば、視線）入力に応じるかどうかを判定するために使用される。
いくつかの実施形態では、ソフトウェアは、例えばネットワーク上で、コントローラ１１０に電子形態でダウンロードされてもよい、又はその代わりに、光学、磁気、若しくは電子メモリ媒体などの、実体的非一時的媒体に提供されてもよい。いくつかの実施形態では、データベース４０８は、同様に、コントローラ１１０に関連付けられたメモリに記憶される。代替的又は追加的に、コンピュータの記載された機能の一部又は全ては、カスタム又は半カスタム集積回路又はプログラム可能なデジタル信号プロセッサ（ＤＳＰ）などの専用のハードウェアに実装されてもよい。コントローラ１１０は、例として、画像センサ４４０からの別個のユニットとして図４に示されているが、コントローラの処理機能の一部又は全部は、好適なマイクロプロセッサ及びソフトウェアによって、又はハンドトラッキングデバイス４０２のハウジング内の専用回路によって、又は他の方法で画像センサ４０４に関連付けることができる。いくつかの実施形態では、これらの処理機能のうちの少なくともいくつかは、（例えば、テレビセット、ハンドヘルドデバイス、又はヘッドマウントデバイスにおいて）表示生成コンポーネント１２０と統合された好適なプロセッサによって、又はゲームコンソール又はメディアプレーヤなどの任意の他の適切なコンピュータ化されたデバイスを用いて実行されてもよい。画像センサ４０４の感知機能は、同様に、センサ出力によって制御されるコンピュータ又は他のコンピュータ化された装置に統合することができる。
図４は、いくつかの実施形態による、画像センサ４０４によってキャプチャされた深度マップ４１０の概略図を更に含む。深度マップは、上述したように、それぞれの深度値を有するピクセルのマトリックスを含む。手４０６に対応するピクセル４１２は、このマップで背景及び手首からセグメント化されている。深度マップ４１０内の各ピクセルの輝度は、深度値、すなわち、画像センサ４０４からの測定されたｚ距離に反比例し、深度が上昇するにつれて階調が濃くなる。コントローラ１１０は、人間の手の特性を有する画像の成分（すなわち、隣接ピクセル群）を識別及びセグメント化するために、これらの深度値を処理する。これらの特性は、例えば、深度マップのシーケンスの全体サイズ、形状、フレームからフレームへの動きを含むことができる。
図４はまた、いくつかの実施形態による、コントローラ１１０が手４０６の深度マップ４１０から最終的に抽出する手骨格４１４を概略的に示す。図４では、手の骨格４１４は、元の深度マップからセグメント化された手の背景４１６に重ね合わされる。いくつかの実施形態では、手（例えば、指関節、指先、手のひらの中心、手首に接続する手の終端など）、及び任意選択的に手に接続された手首又は腕上の主要な特徴点が、手骨格４１４上で識別され配置される。いくつかの実施形態では、複数の画像フレーム上にわたるこれらの主要な特徴点のロケーション及び移動がコントローラ１１０によって使用されて、いくつかの実施形態により、手によって実行される手ジェスチャ又は手の現在の状態を判定する。
図５は、アイトラッキングデバイス１３０（図１）の例示的な実施形態を示す。いくつかの実施形態では、アイトラッキングデバイス１３０は、シーン１０５に対する、又は表示生成コンポーネント１２０を介して表示されたＸＲコンテンツに対する、ユーザの視線のポジション及び移動を追跡するように、アイトラッキングユニット２４５（図２）によって制御される。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成コンポーネント１２０と統合される。例えば、いくつかの実施形態では、表示生成コンポーネント１２０がヘッドセット、ヘルメット、ゴーグル、又は眼鏡などのヘッドマウントデバイス、又はウェアラブルフレームに配置されたハンドヘルドデバイスである場合、ヘッドマウントデバイスは、ユーザによる視聴のためのＸＲコンテンツを生成するコンポーネント及びＸＲコンテンツに対するユーザの視線を追跡するためのコンポーネントの両方を含む。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成コンポーネント１２０とは別個である。例えば、表示生成コンポーネントがハンドヘルドデバイス又はＸＲチャンバである場合、アイトラッキングデバイス１３０は、任意選択的に、ハンドヘルドデバイス又はＸＲチャンバとは別個のデバイスである。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイス又はヘッドマウントデバイスの一部である。いくつかの実施形態では、ヘッドマウントアイトラッキングデバイス１３０は、任意選択的に、頭部に装着されている表示生成コンポーネント又は頭部に装着されていない表示生成コンポーネントと共に使用される。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイスではなく、任意選択的に、ヘッドマウント表示生成コンポーネントと組み合わせて使用される。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイスではなく、任意選択的に、非ヘッドマウント表示生成コンポーネントの一部である。
いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザの目の前に左及び右の画像を含むフレームを表示して、３Ｄ仮想ビューをユーザに提供するディスプレイ機構（例えば、左右の目近傍ディスプレイパネル）を使用する。例えば、ヘッドマウント表示生成コンポーネントは、ディスプレイとユーザの目との間に位置する左右の光学レンズ（本明細書では接眼レンズと称される）を含んでもよい。いくつかの実施形態では、表示生成コンポーネントは、表示のためにユーザの環境のビデオをキャプチャする１つ以上の外部ビデオカメラを含んでもよい、又はそれに結合されてもよい。いくつかの実施形態では、ヘッドマウント表示生成コンポーネントは、ユーザが物理的環境を直接視認し、透明又は半透明ディスプレイ上に仮想オブジェクトを表示することができる透明又は半透明のディスプレイを有してもよい。いくつかの実施形態では、表示生成コンポーネントは、仮想オブジェクトを物理的環境に投影する。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを観察することができる。そのような場合、左右の目のための別個のディスプレイパネル及び画像フレームが必要とされない場合がある。
図５に示されるように、いくつかの実施形態では、視線トラッキングデバイス１３０は、少なくとも１つのアイトラッキングカメラ（例えば、赤外線（ＩＲ）又は近ＩＲ（ＮＩＲ）カメラ）、並びに光（例えば、ＩＲ又はＮＩＲ光）をユーザの目に向けて発する照明源（例えば、ＬＥＤのアレイ若しくはリングなどのＩＲ又はＮＩＲ光源）を含む。アイトラッキングカメラは、ユーザの目に向けられて、光源からの反射ＩＲ又はＮＩＲ光を目から直接受信してもよく、又は代替的に、ユーザの目と、視覚的光が通過することを可能にしながら目からアイトラッキングカメラにＩＲ又はＮＩＲ光を反射させるディスプレイパネルとの間に配置される「ホット」ミラーに向けられてもよい。視線トラッキングデバイス１３０は、任意選択的に、ユーザの目の画像を（例えば、１秒当たり６０～１２０フレーム（ｆｐｓ）でキャプチャされるビデオストリームとして）キャプチャし、画像を解析して、視線トラッキング情報を生成し、視線トラッキング情報をコントローラ１１０に通信する。いくつかの実施形態では、ユーザの両目は、それぞれのアイトラッキングカメラ及び照明源によって別々に追跡される。いくつかの実施形態では、ユーザの片目のみが、個別のアイトラッキングカメラ及び照明源によって追跡される。
いくつかの実施形態では、アイトラッキングデバイス１３０は、デバイス固有の較正プロセスを使用して較正されて、特定の動作環境１００用のアイトラッキングデバイスのパラメータ、例えば、ＬＥＤ、カメラ、ホットミラー（存在する場合）、接眼レンズ、及びディスプレイスクリーンの３Ｄ幾何学的関係及びパラメータを判定する。デバイス固有の較正プロセスは、ＡＲ／ＶＲ機器のエンドユーザへの配送前に、工場又は別の施設で実行されてもよい。デバイス固有の較正プロセスは、自動較正プロセスであってもよく、又は手動較正プロセスであってもよい。ユーザ固有の較正プロセスは、特定のユーザの目パラメータ、例えば、瞳孔位置、中心視覚位置、光軸、視軸、目間隔などの推定を含んでもよい。いくつかの実施形態によれば、いったんアイトラッキングデバイス１３０についてデバイス固有及びユーザ固有のパラメータが判定されると、アイトラッキングカメラによってキャプチャされた画像は、グリント支援方法を使用して処理され、ディスプレイに対するユーザの現在の視覚軸及び視点を判定することができる。
図５に示されるように、アイトラッキングデバイス１３０（例えば、１３０Ａ又は１３０Ｂ）は、接眼レンズ（単数又は複数）５２０と、アイトラッキングが行われるユーザの顔の側に配置された少なくとも１つのアイトラッキングカメラ５４０（例えば、赤外線（ＩＲ）又は近ＩＲ（ＮＩＲ）カメラ）と光（例えば、ＩＲ又はＮＩＲ光）をユーザの目（単数又は複数）５９２に向かって発する照明源５３０（例えば、ＮＩＲ発光ダイオード（ＬＥＤ）のアレイ若しくはリングなどのＩＲ又はＮＩＲ光源）とを含む視線トラッキングシステムと、を含む。アイトラッキングカメラ５４０は、ユーザの目（単数又は複数）５９２とディスプレイ５１０（例えば、ヘッドマウントディスプレイの左若しくは右側のディスプレイパネル、又はハンドヘルドデバイスのディスプレイ、プロジェクタなど）との間に位置し、（例えば、図５の上部に示されるように）可視光を透過させながら、目（単数又は複数）５９２からのＩＲ又はＮＩＲ光を反射するミラー５５０に向けられてもよく、あるいは、（例えば、図５の下部に示されるように）反射された目（単数又は複数）５９２からのＩＲ又はＮＩＲ光を受光するようにユーザの目（単数又は複数）５９２に向けられてもよい。
いくつかの実施形態では、コントローラ１１０は、ＡＲ又はＶＲフレーム５６２（例えば、左及び右のディスプレイパネルの左及び右のフレーム）をレンダリングし、フレーム５６２をディスプレイ５１０に提供する。コントローラ１１０は、様々な目的のために、例えば、表示のためにフレーム５６２を処理する際に、アイトラッキングカメラ５４０からの視線トラッキング入力５４２を使用する。コントローラ１１０は、任意選択的に、グリント支援方法又は他の適切な方法を使用して、アイトラッキングカメラ５４０から得られた視線トラッキング入力５４２に基づいて、ディスプレイ５１０上のユーザの視点を推定する。視線トラッキング入力５４２から推定された視点は、任意選択的に、ユーザが現在見ている方向を判定するために使用される。
以下、ユーザの現在の視線方向のいくつかの可能な使用事例について説明するが、これは限定することを意図するものではない。例示的な使用例として、コントローラ１１０は、判定されたユーザの視線方向に基づいて、仮想コンテンツを異なってレンダリングすることができる。例えば、コントローラ１１０は、周辺領域においてよりもユーザの現在の視線方向から判定された中心視覚領域において、より高い解像度で仮想コンテンツを生成してもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内の仮想コンテンツを位置決め又は移動させてもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内に特定の仮想コンテンツを表示してもよい。ＡＲアプリケーションにおける別の例示的な使用事例として、コントローラ１１０は、ＸＲ体験の物理的環境をキャプチャして、判定された方向に焦点を合わせるように外部カメラを方向付けることができる。次いで、外部カメラの自動焦点機構は、ユーザが現在ディスプレイ５１０上で見ている環境内のオブジェクト又は表面に焦点を合わせることができる。別の例示的な使用事例として、接眼レンズ５２０は集束可能なレンズであってもよく、視線トラッキング情報がコントローラによって使用されて、ユーザが現在見ている仮想オブジェクトが、ユーザの目５９２の収束に一致するために適切な両目連動を有するように接眼レンズ５２０の焦点を調整する。コントローラ１１０は、視線トラッキング情報を活用して、ユーザが見ている近接オブジェクトが正しい距離で現れるように接眼レンズ５２０を方向付けて焦点を調整することができる。
いくつかの実施形態では、アイトラッキングデバイスは、ウェアラブルハウジングに取り付けられた、ディスプレイ（例えば、ディスプレイ５１０）、２つの接眼レンズ（例えば、接眼レンズ（単数又は複数）５２０）、アイトラッキングカメラ（例えば、アイトラッキングカメラ（単数又は複数）５４０）、及び光源（例えば、光源５３０（例えば、ＩＲ ＬＥＤ又はＮＩＲ ＬＥＤ））を含むヘッドマウントデバイスの一部である。光源は、ユーザの目（単数又は複数）５９２に向かって光（例えば、ＩＲ光又はＮＩＲ光）を発する。いくつかの実施形態では、光源は、図５に示されるように、各レンズの周りにリング又は円状に配置されてもよい。いくつかの実施形態では、８つの光源５３０（例えば、ＬＥＤ）が、一例として各レンズ５２０の周りに配置される。しかしながら、より多くの又はより少ない光源５３０が使用されてもよく、光源５３０の他の配置及びロケーションが用いられてもよい。
いくつかの実施形態では、ディスプレイ５１０は、可視光範囲内の光を発し、ＩＲ又はＮＩＲ範囲内の光を発さないため、視線トラッキングシステムにノイズを導入しない。アイトラッキングカメラ（単数又は複数）５４０のロケーション及び角度は、例として与えられ、限定することを意図するものではないことに留意されたい。いくつかの実施形態では、単一のアイトラッキングカメラ５４０がユーザの顔の各側に位置する。いくつかの実施形態では、２つ以上のＮＩＲカメラ５４０をユーザの顔の各側に使用することができる。いくつかの実施形態では、より広い視野（ＦＯＶ）を有するカメラ５４０と狭いＦＯＶを有するカメラ５４０が、ユーザの顔の各側に使用されてもよい。いくつかの実施形態では、１つの波長（例えば、８５０ｎｍ）で動作するカメラ５４０と異なる波長（例えば、９４０ｎｍ）で動作するカメラ５４０とが、ユーザの顔の各側に使用されてもよい。
図５に示すような視線トラッキングシステムの実施形態は、例えば、コンピュータ生成現実、仮想現実、及び／又は複合現実アプリケーションに使用されて、コンピュータ生成現実、仮想現実、拡張現実、及び／又は拡張仮想の体験をユーザに提供することができる。
図６Ａは、いくつかの実施形態による、グリント支援視線トラッキングパイプラインを示す。いくつかの実施形態では、視線トラッキングパイプラインは、グリント支援視線トラッキングシステム（例えば、図１及び図５に示されるようなアイトラッキングデバイス１３０）によって実現される。グリント支援視線トラッキングシステムは、追跡状態を維持することができる。当初、追跡状態はオフ又は「いいえ」である。追跡状態にあるとき、グリント支援視線トラッキングシステムは、現フレームを解析する際に前のフレームからの先行情報を使用して、現フレーム内の瞳孔輪郭及びグリントを追跡する。追跡状態にない場合、グリント支援視線トラッキングシステムは、現フレーム内の瞳孔及びグリントを検出しようとし、それに成功した場合、追跡状態を「はい」に初期化し、追跡状態で次のフレームに続く。
図６Ａに示されるように、視線トラッキングカメラは、ユーザの左右の目の左右の画像をキャプチャし得る。次いで、キャプチャされた画像は、６１０で開始される処理のために視線トラッキングパイプラインに入力される。要素６００に戻る矢印によって示されるように、視線トラッキングシステムは、例えば、毎秒６０～１２０フレームの速度で、ユーザの目の画像をキャプチャし続けることができる。いくつかの実施形態では、キャプチャされた画像の各セットが、処理のためにパイプラインに入力されてもよい。しかしながら、いくつかの実施形態、又はいくつかの条件下では、全てのキャプチャされたフレームがパイプラインによって処理されるわけではない。
６１０で、現在のキャプチャされた画像について、追跡状態がはいである場合、この方法は要素６４０に進む。６１０で、追跡状態がいいえである場合、６２０に示されるように、画像が解析されて、画像内のユーザの瞳孔及びグリントを検出する。６３０で、瞳孔とグリントが正常に検出される場合、方法は要素６４０に進む。正常に検出されない場合、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。
６４０で、要素６１０から進む場合、前のフレームからの先行情報に部分的に基づいて、現フレームが解析されて、瞳孔及びグリントを追跡する。６４０で、要素６３０から進む場合、現フレーム内の検出された瞳孔及びグリントに基づいて、追跡状態が初期化される。要素６４０での処理の結果は、追跡又は検出の結果が信頼できることを確認するためにチェックされる。例えば、結果は、瞳孔及び視線推定を実行するための十分な数のグリントが現フレームで正常に追跡又は検出されるかどうかを判定するためにチェックすることができる。６５０で、結果が信頼できない場合、追跡状態は要素６６０でいいえに設定され、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。６５０で、結果が信頼できる場合、方法は要素６７０に進む。６７０で、追跡状態は、はいに設定され（まだはいではない場合）、瞳孔及びグリント情報が要素６８０に渡されて、ユーザの視点を推定する。
図６Ａは、特定の実装形態で使用され得るアイトラッキング技術の一例として機能することを意図している。当業者によって認識されるように、現在存在するか、又は将来開発される他のアイトラッキング技術は、様々な実施形態によるＸＲ体験をユーザに提供するためにコンピュータシステム１０１において、本明細書に記載されるグリント支援アイトラッキング技術の代わりに、又はそれと組み合わせて使用することができる。
いくつかの実施形態では、現実世界環境６０２のキャプチャされた部分は、ＸＲ体験、例えば、１つ以上の仮想オブジェクトが現実世界環境６０２の表現の上に重ね合わされる複合現実環境をユーザに提供するために使用される。
図６Ｂは、いくつかの実施形態による、ＸＲ体験を提供するための電子デバイス１０１の例示的な環境を示す。図６Ｂでは、現実世界環境６０２は、電子デバイス１０１、ユーザ６０８、及び現実世界オブジェクト（例えば、テーブル６０４）を含む。図６Ｂに示されるように、電子デバイス１０１は、ユーザ６０８の１つ以上の手が自由である（例えば、ユーザ６０８が任意選択的に１つ以上の手でデバイス１０１を保持していない）ように、任意選択的に三脚に取り付けられるか、又は他の方法で現実世界環境６０２に固定される。上述したように、デバイス１０１は、任意選択的に、デバイス１０１の異なる側に配置されたセンサの１つ以上のグループを有する。例えば、デバイス１０１は、デバイス１０１の「後」側及び「前」側にそれぞれ位置する（例えば、デバイス１０１のそれぞれの面から情報をキャプチャすることができる）センサ群６１２－１及びセンサ群６１２－２を任意選択的に含む。本明細書で使用される場合、デバイス１０１の前側は、ユーザ６０８に面する側であり、デバイス１０１の後側は、ユーザ６０８から離れて面する側である。
いくつかの実施形態では、センサ群６１２－２は、ユーザの目及び／又は視線を追跡するための１つ以上のセンサを含むアイトラッキングユニット（例えば、図２を参照して上述したアイトラッキングユニット２４５）を含み、アイトラッキングユニットは、ユーザ６０８を「見て」、上述の方法でユーザ６０８の目（単数又は複数）を追跡することができる。いくつかの実施形態では、デバイス１０１のアイトラッキングユニットは、ユーザ６０８の目の移動、向き、及び／又は視線をキャプチャし、移動、向き、及び／又は視線を入力として処理することができる。
いくつかの実施形態では、センサ群６１２－１は、図６Ｂに示すように、デバイス１０１の「後」側に保持されたユーザ６０８の１つ以上の手を追跡することができるハンドトラッキングユニット（例えば、図２を参照して上述したハンドトラッキングユニット２４３）を含む。いくつかの実施形態では、ハンドトラッキングユニットは、デバイス１０１が１つ以上の手のポジションを追跡する間に、ユーザ６０８がデバイス１０１の「前」側に１つ以上の手を追加的に又は代替的に保持することができるように、センサ群６１２－２に任意選択的に含まれる。上述したように、デバイス１０１のハンドトラッキングユニットは、ユーザ６０８の１つ以上の手の移動、ポジション、及び／又はジェスチャをキャプチャし、移動、ポジション、及び／又はジェスチャを入力として処理することができる。
いくつかの実施形態において、センサ群６１２－１は、テーブル６０４を含む現実世界環境６０２の画像をキャプチャするように構成された１つ以上のセンサ（例えば、図４を参照して上述した画像センサ４０４など）を任意選択的に含む。上述したように、デバイス１０１は、現実世界環境６０２の部分（例えば、一部又は全部）の画像をキャプチャし、デバイス１０１の１つ以上の表示生成コンポーネント（例えば、現実世界環境６０２のキャプチャされた部分に面するデバイス１０１の側とは反対の、ユーザに面するデバイス１０１の側に任意選択的に位置するデバイス１０１のディスプレイ）を介して、現実世界環境６０２のキャプチャされた部分をユーザに提示することができる。
いくつかの実施形態では、現実世界環境６０２のキャプチャされた部分は、ＸＲ体験、例えば、１つ以上の仮想オブジェクトが現実世界環境６０２の表現の上に重ね合わされる複合現実環境をユーザに提供するために使用される。
したがって、本明細書の説明は、現実世界オブジェクトの表現及び仮想オブジェクトの表現を含む三次元環境（例えば、ＸＲ環境）のいくつかの実施形態を説明する。例えば、三次元環境は、任意選択的に、（例えば、コンピュータシステムのカメラ及びディスプレイを介して能動的に、又はコンピュータシステムの透明若しくは半透明のディスプレイを介して受動的に）三次元環境内でキャプチャされ、表示される、物理的環境内に存在するテーブルの表現を含む。上述のように、三次元環境は、任意選択的に、三次元環境がコンピュータシステムの１つ以上のセンサによってキャプチャされ、表示生成コンポーネントを介して表示される物理的環境に基づく複合現実システムである。複合現実システムとして、物理的環境の個別の部分及び／又はオブジェクトが、コンピュータシステムによって表示される三次元環境内に存在するかのように見えるように、コンピュータシステムは、任意選択的に、物理的環境の部分及び／又はオブジェクトを選択的に表示することができる。同様に、現実世界において、対応するロケーションを有する三次元環境内のそれぞれのロケーションに仮想オブジェクトを配置することによって、仮想オブジェクトが現実世界（例えば、物理的環境）内に存在するかのように見えるように、コンピュータシステムは、任意選択的に、三次元環境内の仮想オブジェクトを表示することができる。例えば、コンピュータシステムは、任意選択的に、現実の花瓶が物理的環境内のテーブルの上に配置されているかのように見えるように、花瓶を表示する。いくつかの実施形態では、三次元環境内の個別のロケーションは、物理的環境内で、対応するロケーションを有する。したがって、コンピュータシステムが、物理的オブジェクトに対して個別のロケーション（例えば、ユーザの手のロケーション、若しくはその付近の、又は物理的テーブルに、若しくはその付近など）に、仮想オブジェクトを表示するものとして説明されるとき、コンピュータシステムは、仮想オブジェクトが物理的世界内の物理的オブジェクトに、又はその付近にあるかのように見えるように、三次元環境内の特定のロケーションに仮想オブジェクトを表示する（例えば、仮想オブジェクトが、その特定のロケーションにある現実のオブジェクトであった場合に、仮想オブジェクトが表示された物理的環境内のロケーションに対応する三次元環境内のロケーションに、仮想オブジェクトは表示される）。
いくつかの実施形態では、三次元環境内に表示される物理的環境内に存在する現実世界オブジェクト（例えば、及び／又は表示生成コンポーネントを介して見ることができる現実世界オブジェクト）は、三次元環境内にのみ存在する仮想オブジェクトと相互作用することができる。例えば、三次元環境は、テーブルと、テーブルの上に配置された花瓶と、を含むことができ、テーブルは、物理的環境内の物理的テーブルのビュー（又は表現）であり、花瓶は、仮想オブジェクトである。
同様に、仮想オブジェクトが、物理的環境内の現実のオブジェクトであるかのように、ユーザは、任意選択的に、１つ以上の手を使用して三次元環境内の仮想オブジェクトと相互作用することができる。例えば、上述のように、コンピュータシステムの１つ以上のセンサは、任意選択的に、ユーザの手のうちの１つ以上をキャプチャし、三次元環境内のユーザの手の表現を（例えば、上述の三次元環境内の現実世界オブジェクトを表示するのと同様の方法で）表示する、あるいは、いくつかの実施形態では、ユーザインタフェース、又は透明／半透明表面へのユーザインタフェースの投影、又はユーザの目若しくはユーザの目の視野へのユーザインタフェースの投影を表示している表示生成コンポーネントの一部の透明性／半透明性に起因して、ユーザの手は、ユーザインタフェースを通して物理的環境を見る能力によって、表示生成コンポーネントを介して見ることができる。したがって、いくつかの実施形態では、ユーザの手は、三次元環境内の個別のロケーションに表示され、それらが、物理的環境内の実際の物理的オブジェクトであるかのように、三次元環境内の仮想オブジェクトと相互作用できる三次元環境内のオブジェクトであるかのように、処理される。いくつかの実施形態では、コンピュータシステムは、物理的環境におけるユーザの手の移動と併せて、三次元環境におけるユーザの手の表現の表示を更新することができる。
以下に説明される実施形態のうちのいくつかでは、例えば、物理的オブジェクトが、仮想オブジェクトと直接相互作用しているか否か（例えば、手が、仮想オブジェクトを、触れているか、掴んでいるか、保持しているかなど、又は仮想オブジェクトからの閾値距離内にあるか否か）を判定する目的で、コンピュータシステムは、任意選択的に、物理的世界内の物理的オブジェクトと三次元環境内の仮想オブジェクトとの間の「有効」距離を判定することができる。例えば、仮想オブジェクトと直接相互作用する手は、任意選択的に、仮想ボタンを押す手の指、仮想花瓶を掴むユーザの手、一緒になってアプリケーションのユーザインタフェースをピンチする／保持するユーザの手の２本の指、及び本明細書で説明される他のタイプの相互作用のいずれかのうちの１つ以上を含む。例えば、ユーザが仮想オブジェクトと相互作用しているか否か、及び／又はユーザが仮想オブジェクトとどのように相互作用しているかを判定するときに、コンピュータシステムは、任意選択的にユーザの手と仮想オブジェクトとの間の距離を判定する。いくつかの実施形態では、コンピュータシステムは、三次元環境内の手のロケーションと、三次元環境内の対象の仮想オブジェクトのロケーションとの間の距離を判定することによって、ユーザの手と仮想オブジェクトとの間の距離を判定する。例えば、ユーザの１つ以上の手は、物理的世界内の特定のポジションに位置し、これは、コンピュータシステムが、任意選択的に、三次元環境内の特定の対応するポジション（例えば、手が物理的な手ではなく仮想的な手である場合に、手が表示された三次元環境内のポジション）において、キャプチャして表示する。三次元環境内の手のポジションは、任意選択的に、ユーザの１つ以上の手と仮想オブジェクトとの間の距離を判定するために、三次元環境内の対象の仮想オブジェクトのポジションと比較される。いくつかの実施形態では、コンピュータシステムは、任意選択的に、（例えば、三次元環境内のポジションを比較することとは対照的に）物理的世界内のポジションを比較することによって、物理的オブジェクトと仮想オブジェクトとの間の距離を判定する。例えば、ユーザの１つ以上の手と仮想オブジェクトとの間の距離を判定するとき、コンピュータシステムは、任意選択的に、仮想オブジェクトの物理的世界内の対応するロケーション（例えば、仮想オブジェクトが、仮想オブジェクトではなく物理的オブジェクトである場合に、仮想オブジェクトが、物理的世界内に位置するポジション）を判定し、次いで、対応する物理的ポジションとユーザの１つ以上の手との間の距離を判定する。いくつかの実施形態では、任意の物理的オブジェクトと任意の仮想オブジェクトとの間の距離を判定するために、同じ技法が、任意選択的に使用される。したがって、本明細書に説明されるように、物理的オブジェクトが仮想オブジェクトと接触しているか否か、又は物理的オブジェクトが仮想オブジェクトの閾値距離内にあるか否か、を判定するとき、コンピュータシステムは、任意選択的に、物理的オブジェクトのロケーションを三次元環境にマッピングするために、及び／又は仮想オブジェクトのロケーションを物理的環境にマッピングするために、上述の技術のいずれかを実行する。
いくつかの実施形態では、同じ又は同様の技術を使用して、ユーザの視線が、どこに向けられ、何に向けられているか、及び／又はユーザによって保持された物理的スタイラスが、どこに向けられ、何に向けられているか、を判定する。例えば、ユーザの視線が物理的環境内の特定のポジションに向けられている場合、コンピュータシステムは、任意選択的に、三次元環境内の対応するポジション（例えば、視線の仮想ポジション）を判定し、仮想オブジェクトがその対応する仮想ポジションに位置する場合、コンピュータシステムは、任意選択的に、ユーザの視線が、その仮想オブジェクトに向けられていると判定する。同様に、コンピュータシステムは、任意選択的に、物理的スタイラスの向きに基づいて、スタイラスが物理的環境のどこを指しているかを判定することができる。いくつかの実施形態では、この判定に基づいて、コンピュータシステムは、スタイラスが指している物理的環境内のロケーションに対応する三次元環境内の対応する仮想ポジションを判定し、任意選択的に、スタイラスが三次元環境内の対応する仮想ポジションを指していると判定する。
同様に、本明細書で説明される実施形態は、ユーザ（例えば、コンピュータシステムのユーザ）のロケーション、及び／又は三次元環境内のコンピュータシステムのロケーションを指してもよい。いくつかの実施形態では、コンピュータシステムのユーザは、コンピュータシステムを保持している、装着している、又は他の方法でコンピュータシステムに位置している、若しくはその付近にある。したがって、いくつかの実施形態では、コンピュータシステムのロケーションは、ユーザのロケーションのプロキシとして使用される。いくつかの実施形態では、物理的環境内のコンピュータシステム及び／又はユーザのロケーションは、三次元環境内の個別のロケーションに対応する。例えば、ユーザが、表示生成コンポーネントによって表示される物理的環境の個別の部分に面するロケーションに立った場合、コンピュータシステムのロケーションは、ユーザが、物理的環境内のオブジェクトを、オブジェクトが三次元環境内のコンピュータシステムの表示生成コンポーネントによって表示されたのと同じポジション、向き、及び／又はサイズで（例えば、絶対的に及び／又は互いに対して）見ることになる、物理的環境内のロケーション（及び三次元環境内のその対応するロケーション）である。同様に、三次元環境内に表示された仮想オブジェクトが、物理的環境内の物理的オブジェクトであった（例えば、仮想オブジェクトが、三次元環境内と同じ物理的環境内のロケーションに配置され、三次元環境内と同じ物理的環境内のサイズ及び向きを有する）場合、コンピュータシステム及び／又はユーザのロケーションは、ユーザが、物理的環境内の仮想オブジェクトを、三次元環境内のコンピュータシステムの表示生成コンポーネントによって表示されたのと同じポジション、向き、及び／又はサイズで（例えば、絶対的に、及び／又は互いに対して、並びに現実世界オブジェクトにおいて）見ることになるポジションである。
本開示では、コンピュータシステムとの相互作用に関して、様々な入力方法が説明される。一例が１つの入力デバイス又は入力方法を使用して提供され、別の例が別の入力デバイス又は入力方法を使用して提供される場合、各例は、別の例に関して記載された入力デバイス又は入力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な出力方法が、コンピュータシステムとの相互作用に関して説明される。一例が１つの出力デバイス又は出力方法を使用して提供され、別の例が別の出力デバイス又は出力方法を使用して提供される場合、各例は、別の例に関して記載された出力デバイス又は出力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な方法が、コンピュータシステムを介した仮想環境又は複合現実環境との相互作用に関して説明される。一例が仮想環境との相互作用を使用して提供され、別の例が複合現実環境を使用して提供される場合、各例は、別の例に関して説明された方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。したがって、本開示は、各例示的な実施形態の説明における実施形態の全ての特徴を網羅的に列挙することなく、複数の例の特徴の組み合わせである実施形態を開示する。
ユーザインタフェース及び関連するプロセス
ユーザインタフェース及び関連するプロセス
ここで、ユーザインタフェース（「ＵＩ」）の実施形態、及び、表示生成コンポーネント、１つ以上の入力デバイス、及び（任意選択的に）１つ又は複数のカメラを備えた、ポータブル多機能デバイス又はヘッドマウントデバイスなどのコンピュータシステムにおいて実行され得る関連プロセスに注目する。
図７Ａ～図７Ｉは、いくつかの実施形態による、電子デバイスが、指定された個別の物理ロケーションを有するナビゲーションユーザインタフェース要素と、個別の物理ロケーションに対応するコンテンツを含むコンテンツ要素とを同時に提示する方法の例を示す。
図７Ａは、表示生成コンポーネント１２０を介して、三次元環境を表示する電子デバイス１０１を示す。いくつかの実施形態では、電子デバイス１０１は、本開示の範囲から逸脱することなく、二次元環境又はユーザインタフェースにおいて図７Ａ～図７Ｉを参照して説明した１つ以上の技術を利用することを理解されたい。図１～図６を参照して上述したように、電子デバイス１０１は、任意選択的に、表示生成コンポーネント１２０（例えば、タッチスクリーン）及び複数の画像センサ３１４を含む。画像センサは、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又は任意の他のセンサのうちの１つ以上を含み、電子デバイス１０１は、ユーザが電子デバイス１０１と相互作用している間、ユーザ又はユーザの一部の１つ以上の画像をキャプチャするために使用することができる。いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザの手のジェスチャ及び移動を検出することができるタッチスクリーンである。いくつかの実施形態では、以下に示すユーザインタフェースは、ユーザにユーザインタフェースを表示する表示生成コンポーネントと、物理的環境及び／又はユーザの手の移動（例えば、ユーザから外向きに面する外部センサ）、及び／又はユーザの視線（例えば、ユーザの顔に向かって内向きに面する内部センサ）を検出するセンサとを含むヘッドマウントディスプレイに実装することもできる。
図７Ａでは、電子デバイス１０１は、ナビゲーションユーザインタフェース要素７０４ａ及びコンテンツユーザインタフェース要素７０６を含む三次元環境を提示する。三次元環境は、現実のテーブルの表現７０２、床７２２の表現７２２’、及び壁７２４の表現７２４’など、電子デバイス１０１の物理的環境内の現実のオブジェクトの表現を更に含む。電子デバイス１０１の物理的環境は、出入口７２６を更に含む。
上述したように、電子デバイス１０１によって提示される三次元環境は、コンテンツユーザインタフェース要素７０６と三次元環境におけるユーザの視点との間に表示されるナビゲーションユーザインタフェース要素７０４ａを含む。いくつかの実施形態では、ユーザの視点は、三次元環境が電子デバイス１０１によって提示される三次元環境内のロケーションに対応する。ナビゲーションユーザインタフェース要素７０４ａは、物理的オブジェクト（例えば、建物）の表現７１０ａ～ｃと、ナビゲーションユーザインタフェース要素７０４ａによって表される物理的領域内に位置する道路の表現７１４とを含む。いくつかの実施形態では、ナビゲーションユーザインタフェース要素７０４ａは、インフラストラクチャ、ランドマーク、地形、植物などの他の物理的オブジェクトの表現を更に含む。いくつかの実施形態では、ナビゲーションユーザインタフェース要素７０４ａは、マップによって表される物理的領域の（少なくとも部分的な）三次元マップである。
ナビゲーションユーザインタフェース要素７０４ａは、気象のインジケーション７１２（例えば、雲）を更に含む。気象のインジケーション７１２は、ナビゲーションユーザインタフェース要素７０４ａ内のインジケーション７１２のロケーションに対応する物理ロケーションにおいて現在経験されている気象状況を示す。例えば、インジケーション７１２によって表される物理的な雲が移動する場合、電子デバイス１０１は、物理的な雲の移動に従ってインジケーション７１２のポジションを更新する。別の例として、ナビゲーションユーザインタフェース要素７０４ａ内のインジケーション７１２のロケーションに対応する物理ロケーションにおける気象が雨になった場合、電子デバイス１０１は、雨の表現を含むようにインジケーション７１２（又はより一般的にはナビゲーションユーザインタフェース要素７０４ａ）を更新する。図７Ａに示すように、ナビゲーションユーザインタフェース要素７０４ａは、ナビゲーションユーザインタフェース要素７０４ａによって表される物理的領域の地形を（例えば、ナビゲーションユーザインタフェース要素７０４ａの縁部及び／又は内部領域におけるそのような地形（例えば、高度変化など）の断面を表示することによって）示す。
ナビゲーションユーザインタフェース要素７０４ａは、コンテンツユーザインタフェース要素７０６内に提示されたコンテンツ７０８ａに対応する個別のロケーションのインジケーション７１６と、コンテンツ７０８ａに対応する視野を示す視野インジケータ７１８ａとを更に含む。例えば、コンテンツ７０８ａは、視野インジケータ７１８ａに対応する境界を有するナビゲーションユーザインタフェース要素７０４ａ内のインジケーション７１６のロケーションに対応する物理ロケーションからキャプチャされた画像（又はビデオ）である。図７Ａに示すように、電子デバイス１０１は、ナビゲーションユーザインタフェース要素が電子デバイス１０１の物理的環境内の現実のテーブルの表現７０２の表面上に載っているように見えるように、ナビゲーションユーザインタフェース要素７０４ａを提示する。いくつかの実施形態では、電子デバイス１０１は、ナビゲーションユーザインタフェース要素７０４ａが電子デバイス１０１の物理的環境内の表面の表現上に載っているように見えるようにナビゲーションユーザインタフェース要素７０４ａを表示するのではなく、ユーザの視点と三次元環境内の実際の（例えば、水平な）表面の表現のいずれからも離れている（例えば、三次元環境内の空間に浮動しており、三次元環境内の表面に接続されていない）コンテンツユーザインタフェース要素７０６との間の三次元環境内のロケーションにナビゲーションユーザインタフェース要素７０４ａを表示する。
図７Ａに示すように、電子デバイス１０１は、選択されると、電子デバイス１０１に、コンテンツが撮影されたロケーション（又はそのロケーション）を平行移動及び／又は回転させることによってコンテンツユーザインタフェース要素７０６内のコンテンツの視野を調節する選択可能なオプション７２０ａ及び７２０ｂを提示する。いくつかの実施形態では、オプション７２０ａ又は７２０ｂに対する入力に応じて、電子デバイス１０１は、図７Ｃ～図７Ｄを参照して以下でより詳細に説明するように、コンテンツユーザインタフェース要素７０６内のコンテンツを更新し、ナビゲーションユーザインタフェース要素７０４ａ内のインジケーション７１６及び視野インジケータ７１８ａのポジション及び／又は向きを更新する。
いくつかの実施形態では、ナビゲーションユーザインタフェース要素７０４ａは、電子デバイス１０１と通信している１つ以上の他の電子デバイスの物理ロケーション（単数又は複数）の１つ以上のインジケーションを更に含む。例えば、ナビゲーションユーザインタフェース要素７０４ａは、電子デバイス１０１のユーザ以外のユーザに関連付けられた第２の電子デバイスのインジケーション（例えば、電子デバイスのユーザのアドレス帳内の連絡先）を含む。いくつかの実施形態では、第２の電子デバイスのインジケーションの選択を検出したことに応じて、電子デバイス１０１は、コンテンツユーザインタフェース要素７０６内に、第２の電子デバイスによってキャプチャされた画像を提示する。例えば、画像は、第２の電子デバイスと通信するカメラからのライブビデオフィードである。
いくつかの実施形態では、ナビゲーションユーザインタフェース要素７０４ａは、図７Ａに示すナビゲーションユーザインタフェース要素７０４ａと同様の三次元部分に加えて、二次元部分を含む。いくつかの実施形態では、ナビゲーションユーザインタフェース要素の二次元部分７０４ａは、ユーザの視点から見て、ナビゲーションユーザインタフェース要素の三次元部分の後ろに表示される。例えば、ナビゲーションユーザインタフェース要素７０４ａは、ナビゲーションユーザインタフェース要素７０４ａの後部（例えば、コンテンツユーザインタフェース要素７０６により近いナビゲーションユーザインタフェース要素７０４ａの部分）で上向きに折り畳まれ及び／又は湾曲され、それにより、ナビゲーションユーザインタフェース要素７０４ａの二次元部分は、図７Ａにおいてコンテンツユーザインタフェース要素７０６が表示される三次元環境内のロケーションに表示される。いくつかの実施形態において、ナビゲーションユーザインタフェース要素７０４ａの三次元部分によって表される物理ロケーションと、ナビゲーションユーザインタフェース要素７０４ａの二次元部分によって表される物理ロケーションとは、現実世界において互いに隣接している。いくつかの実施形態では、ナビゲーションユーザインタフェース要素７０４ａをパンするためのユーザ入力に応じて、電子デバイスは、１つ以上の表現をナビゲーションユーザインタフェース要素７０４ａの三次元部分からナビゲーションユーザインタフェース要素７０４ａの二次元部分に、及びその逆に適宜移動させることを含めて、ユーザ入力に従ってナビゲーションユーザインタフェース要素７０４ａをパンする。
上述のように、コンテンツユーザインタフェース要素７０６は、ナビゲーションユーザインタフェース要素７０４ａ内のインジケーション７１６によって表される物理ロケーションに対応するコンテンツ７０８ａを含む。いくつかの実施形態では、コンテンツ７０８ａは、インジケーション７１６によって表されるロケーションでキャプチャされた画像であるか、又は追加的／代替的に、インジケーション７１６によって示されるロケーションの画像である。いくつかの実施形態では、コンテンツユーザインタフェース要素７０６の縁部は、三次元環境の残りの部分に対してフェザリングされる。いくつかの実施形態では、コンテンツユーザインタフェース要素の境界は、コンテンツユーザインタフェース要素７０６を囲む三次元環境の残りの部分にぼかされるか、又は混合される。
図７Ｂでは、電子デバイス１０１は、図７Ａで指定された物理ロケーションとは異なる物理ロケーションに対応するコンテンツを提示するようにコンテンツユーザインタフェース要素７０６を更新する要求に対応するユーザ入力を検出する。入力を検出することは、任意選択的に、ナビゲーションユーザインタフェース要素７０４ｂ（例えば、その中のインジケーション７１６）に向けられたユーザの視線７０１ｄを検出することと、ユーザの手７２８ａによって実行される所定のジェスチャを検出することとを同時に含む。いくつかの実施形態では、所定のジェスチャは、ユーザが手７２８ａの親指を手の別の指に移動させるピンチジェスチャである。いくつかの実施形態では、ピンチジェスチャを検出することは、電子デバイス１０１にインジケーション７１６を「ピックアップ」させ、その結果、ユーザは、ユーザが自身の親指を手７２８ａの他方の指に触れ続ける間、手７２８ａの移動に従ってインジケーション７１６を移動させることができる。いくつかの実施形態では、ユーザが自分の親指を手７２８ａの他方の指から離すことを検出したことに応じて、電子デバイス１０１は、ユーザが自分の親指を指から離すことを電子デバイス１０１が検出したときにインジケーション７１６が表示されていたロケーションにインジケーション７１６を「ドロップ」する。
図７Ｂに示す入力を検出している間、電子デバイス１０１は、（例えば、図７Ａにおいて）入力を検出する前にコンテンツユーザインタフェース要素７０６が表示されていた視覚的強調の量に対して、コンテンツユーザインタフェース要素７０６（例えば、コンテンツユーザインタフェース要素７０６内のコンテンツ７０８ｂを含む）を視覚的デエンファシスする。いくつかの実施形態では、コンテンツユーザインタフェース要素７０６を視覚的デエンファシスすることは、コンテンツユーザインタフェース要素７０６をぼかすこと、フェードさせること、暗くすること、及び／又はコンテンツユーザインタフェース要素７０６の半透明性を高めることを含む。いくつかの実施形態では、コンテンツユーザインタフェース要素７０６全体がデエンファシスされる。いくつかの実施形態では、コンテンツユーザインタフェース要素７０６の縁部のみがデエンファシスされ、コンテンツユーザインタフェース要素７０６の中心にあるコンテンツユーザインタフェース要素７０６の一部は視覚的デエンファシスされない。いくつかの実施形態では、入力が検出されている間、電子デバイス１０１は、インジケーション７１６の中間ロケーションに対応する１つ以上の画像を、コンテンツユーザインタフェース要素７０６内の視覚的デエンファシスと共に表示する。
いくつかの実施形態では、図７Ｂの入力が検出されている間、電子デバイス１０１は、ナビゲーションユーザインタフェース要素７０４ｂ内の物理的オブジェクト（例えば、ナビゲーションユーザインタフェース要素７０４ｂによって表される領域内の建物、インフラストラクチャ、植物、他の物理的オブジェクト）の表現（例えば、表現７１０ｃなど）の外観を修正する。ナビゲーションユーザインタフェース要素７０４ｂ内の物理的オブジェクトの表現の外観を修正することは、任意選択的に、三次元表現をフェードさせること、及び／又は表現の高さを低減すること若しくは表現を平坦化することのうちの１つ以上を含む。いくつかの実施形態では、電子デバイス１０１は、ユーザの手７２８ａのロケーション（又は１、２、５、１０、２０インチなどの閾値距離内）で１つ以上の表現の表示をぼかす、フェードする、平坦化する、又は停止する。例えば、図７Ｂでは、電子デバイス１０１は、図７Ａに示される表現７１０ａ及び７１０ｂの表示を停止するが、これは、これらの表現７１０ａ及び７１０ｂが、図７Ｂにおいて手７２８ａが位置する図７Ａのロケーションに表示されたためである。いくつかの実施形態では、電子デバイス１０１は、ユーザが入力を提供し、ナビゲーションユーザインタフェース要素７０４ｂの境界によって交差される物理的オブジェクトの１つ以上の表現（例えば、ナビゲーションユーザインタフェース要素７０４ｂの境界内に「適合」しない表現）の表示を停止する際に、ナビゲーションユーザインタフェース要素７０４ｂをパンする。
図７Ｂに示す入力に応じて、電子デバイス１０１は、図７Ｃに示すように、ナビゲーションユーザインタフェース要素７０４ａ内のインジケーション７１６の更新されたロケーションに対応するコンテンツをコンテンツユーザインタフェース要素７０６内に含むように三次元環境を更新する。図７Ｃでは、インジケーション７１６のロケーション及び視野インジケータ７１３ｃは、図７Ｂに示される入力に従ってナビゲーションユーザインタフェース要素７０４ａ内で更新され、コンテンツユーザインタフェース要素７０６は、ナビゲーションユーザインタフェース要素７０４ａ内のインジケーション７１６のロケーション及び視野インジケータ７１８ｃに対応するコンテンツ７０８ｃを含むように更新される。三次元環境におけるコンテンツユーザインタフェース要素７０６及びナビゲーションユーザインタフェース要素７０４ｂのロケーションは、図７Ｂにおいて入力を検出する前、及び図７Ｃに示されるように図７Ｂにおいて入力を検出した後、図７Ａに示されるのと同じままである。
図７Ｃに示されるように、コンテンツユーザインタフェース要素７０６の視覚的デエンファシスの量は、入力が検出されている間、図７Ｃのコンテンツユーザインタフェース要素７０６のデエンファシスの量に対して低減される。いくつかの実施形態では、図７Ｃに示すように、図７Ｂの入力を受信した後のデエンファシス（又はその欠如）の量は、図７Ｂの入力を検出する前の図７Ａのコンテンツユーザインタフェース７０６のデエンファシスの量と同じである（例えば、視覚的デエンファシスなし）。いくつかの実施形態では、図７Ｂにおける入力を受信する前及び後のデエンファシスの量は異なる。
電子デバイス１０１はまた、入力が検出されている間に図７Ｂにおいてナビゲーションユーザインタフェース要素７０４ａ内の表現が表示された際のデエンファシスの量よりも少ないデエンファシスで、図７Ｃにおいてナビゲーションユーザインタフェース要素７０４ａ内の表現を表示する。例えば、（例えば、建物又は他の物理的構造若しくは特徴の）表現が図７Ｂにおいて平坦化され、ぼかされ、暗くされ、及び／又はフェードされた場合、表現は、図７Ｂにおける入力がもはや検出されなくなった後、図７Ｃにおいてより高く、より明瞭に、及び／又は明るく表示される。いくつかの実施形態では、電子デバイス１０１は、図７Ｂの入力を受信した後の図７Ｃと同じ程度の、図７Ｂの入力を受信する前の図７Ａの視覚的明瞭性／顕著性を有するナビゲーションユーザインタフェース要素７０４ａを表示する。いくつかの実施形態では、図７Ａ及び図７Ｃのナビゲーションユーザインタフェース要素７０４ａの視覚的明瞭性／顕著性の程度は異なる。
図７Ｃでは、電子デバイス１０１は、選択可能なオプション７２０ｂに向けられた入力を検出して、コンテンツユーザインタフェース要素７０６内のコンテンツに対応するロケーションを更新する。入力を検出することは、任意選択的に、選択可能なオプション７２０ｂに向けられたユーザの視線７０１ａを同時に検出することと、ユーザが自分の手７２８ｂでピンチジェスチャ（例えば、親指を動かして手の別の指に触れ、次いで親指を指から離す）を行ったことを検出することとを含む。図７Ｃに示される入力に応じて、電子デバイス１０１は、図７Ｄに示されるように、ナビゲーションユーザインタフェース要素７０４ａ内のインジケーション７１６及び視野インジケータ７１８ｃのロケーションを更新し、インジケーション７１６及び視野インジケータ７１８ｃの更新されたポジション／向きに対応するコンテンツを含むようにコンテンツユーザインタフェース要素７０６を更新する。
図７Ｄは、図７Ｃにおいて検出された入力に応じて更新された三次元環境を示す。電子デバイス１０１は、図７Ｃで検出された入力に従って、ナビゲーションユーザインタフェース要素７０４ａ内の更新されたポジションにインジケーション７１６及び視野インジケータ７１８ｄを表示する。コンテンツユーザインタフェース要素７０６内のコンテンツを右にパンするためのオプション７２０ｂへの図７Ｃの入力が検出されたので、電子デバイス１０１は、ナビゲーションユーザインタフェース要素７０４ａ内のインジケーション７１６及び視野７１８ｄを右に移動させる。電子デバイス１０１はまた、インジケーション７１６及び視野インジケータ７１８ｄの更新されたポジションに対応するコンテンツ７０８ｄを含むようにコンテンツユーザインタフェース要素７０６を更新する。
いくつかの実施形態では、電子デバイス１０１は、図７Ｄに示されるように、少なくとも所定の時間閾値（例えば、０．５、１、２、３、５、１０秒など）の間、コンテンツユーザインタフェース要素７０６に向けられたユーザの視線７０１ｂを検出したことに応じて、図７Ｅに示すように、コンテンツユーザインタフェース要素７０６のサイズを増加させる。追加的に又は代替的に、いくつかの実施形態では、電子デバイス１０１は、図７Ｄに示すように、ユーザ７２８ｃによる電子デバイス１０１の物理ボタン７０３ａの操作に応じて、図７Ｅに示すように、コンテンツユーザインタフェース要素７０６のサイズを増加させる。いくつかの実施形態では、電子デバイス１０１の物理ボタン７０３ａ及び７０３ｂは、三次元環境の仮想コンテンツの没入度を制御する。例えば、比較的高いレベルの没入度で三次元環境を表示している間、電子デバイスは、三次元環境内の仮想オブジェクト（例えば、コンテンツユーザインタフェース要素７０６、ナビゲーションユーザインタフェース要素７０４ａ、コンテンツ、アプリケーションユーザインタフェース要素などの他の仮想オブジェクト）の視覚的顕著性（例えば、サイズ、輝度、明瞭性、不透明度など）を増加させ、三次元環境内の現実のオブジェクトの表現（例えば、壁７２４の表現７２４’、床７２２の表現７２２’、及びテーブルの表現７０２）の視覚的顕著性を減少させる。別の例として、比較的低いレベルの没入度で三次元環境を表示している間、電子デバイスは、三次元環境内の仮想オブジェクト（例えば、コンテンツユーザインタフェース要素７０６、ナビゲーションユーザインタフェース要素７０４ａ、コンテンツ、アプリケーションユーザインタフェース要素などの他の仮想オブジェクト）の視覚的顕著性（例えば、サイズ、輝度、明瞭性、不透明度など）を減少させ、三次元環境内の現実のオブジェクトの表現（例えば、壁７２４の表現７２４’、床７２２の表現７２２’、及びテーブルの表現７０２）の視覚的顕著性を増加させる。
図７Ｅは、図７Ｄに示す入力のうちの１つ以上に応じて更新された三次元環境を示す。図７Ｅに示すように、図７Ｅのコンテンツユーザインタフェース要素７０６のサイズは、コンテンツユーザインタフェース要素７０６を拡大するための入力（単数又は複数）を受信する前に図７Ｄでコンテンツユーザインタフェース要素７０６が表示されていたサイズよりも大きい。図７Ｅのコンテンツユーザインタフェース要素７０６を更新することは、コンテンツユーザインタフェース要素７０６に表示されるインジケータ７１６のロケーションに対応するコンテンツ７０８ｄの量を増加させることを含む。電子デバイス１０１はまた、ナビゲーションユーザインタフェース要素７０４ａ内の視野インジケータ７１８ｅを更新して、コンテンツ７０８ｄ内に示された物理的エリアの更新された幅を反映する。いくつかの実施形態では、表示されるコンテンツの量を増加させる（例えば、視野７１８ｅを更新する）のではなく、電子デバイス１０１は、代わりに、図７Ｄに示されるコンテンツ７０８ｄを拡大し、図７Ｄの入力（単数又は複数）に応じて図７Ｄの同じ視野７１８ｄを維持する。
いくつかの実施形態では、電子デバイス１０１は、電子デバイス１０１及び／又はユーザの頭部の移動に従ってコンテンツユーザインタフェース要素７０６を更新する。例えば、電子デバイス１０１及び／又はユーザの頭部の移動を検出したことに応じて、電子デバイス１０１は、コンテンツユーザインタフェース要素７０６内のコンテンツ７０８ｄが表示される視点をシフトさせる。いくつかの実施形態では、電子デバイスは、視差効果を用いてコンテンツ７０８ｄをシフトする。いくつかの実施形態では、電子デバイスは、電子デバイス１０１の移動に従ってコンテンツユーザインタフェース要素７０６を移動及び／又は拡大する。図７Ｅは、電子デバイス１０１を左に移動させているユーザ７２８ｄを示す。図７Ｆは、電子デバイス１０１が、図７Ｅに示す電子デバイス１０１の移動に応じてコンテンツユーザインタフェース要素７０６を更新する例示的な方法を示す。
図７Ｆにおいて、電子デバイス１０１は、図７Ｅにおける電子デバイス１０１の移動に従って更新されたユーザの視点からの三次元環境を表示する。ユーザ７２８ｄが電子デバイス１０１を図７Ｅにおいて左に移動させたので、電子デバイス１０１は、コンテンツユーザインタフェース要素７０６内のコンテンツ７０８ｄを左に拡大し、コンテンツ７０８ｄの（例えば、より大きい）視野に従って視野インジケータ７１８ｅを更新する（例えば、拡大する）。コンテンツ７０８ｄを拡大することは、現実世界オブジェクトを含むコンテンツを、図７Ｅのコンテンツユーザインタフェース要素７０６に示される現実世界オブジェクトの左側に提示することを含む。いくつかの実施形態では、電子デバイス１０１は、同様に、電子デバイス１０１（及び／又はユーザの頭部）の右、上、及び／又は下への移動をそれぞれ検出したことに応じて、コンテンツユーザインタフェース要素７０６を右、上、及び／又は下に拡大する。いくつかの実施形態では、電子デバイス１０１は、電子デバイス１０１の移動に従ってコンテンツユーザインタフェース要素７０６の幅を拡大する。例えば、電子デバイス１０１の左への移動を検出したことに応じて、電子デバイス１０１は、コンテンツユーザインタフェース要素７０６を（したがってコンテンツユーザインタフェース要素７０６内に表示されたコンテンツ７０８ｄを）三次元環境において左に拡大する。
図７Ｆに示すように、電子デバイス１０１は、もはや電子デバイス１０１の表示生成コンポーネント１２０の視野内にないテーブルの表現７０２の一部分上に提示されたナビゲーションユーザインタフェース要素７０４ａの一部分の表示を停止する。いくつかの実施形態では、電子デバイス１０１は、電子デバイス１０１及び／又はユーザの頭部の移動に応じてコンテンツユーザインタフェース要素７０６を拡大したことに応じて、ナビゲーションユーザインタフェース要素７０４ａのポジションを更新しない。いくつかの実施形態では、電子デバイス１０１及び／又はユーザの頭部の移動が検出される間／後に、ナビゲーションユーザインタフェース要素７０４ａ全体が依然として表示生成コンポーネント１２０の視野内にある場合、電子デバイス１０１は、ナビゲーションユーザインタフェース要素７０４ａ全体の表示を継続する。例えば、テーブルの表現７０２全体が依然として図７Ｆの電子デバイス１０１の表示生成コンポーネント１２０の視野内にあった場合、電子デバイス１０１は、電子デバイス１０１及び／又はユーザの頭部の移動を検出する前にナビゲーションユーザインタフェース要素７０４ａが表示されていた三次元環境内の同じロケーションにナビゲーションユーザインタフェース要素７０４ａ全体を提示し続ける。いくつかの実施形態では、電子デバイス１０１及び／又はユーザの頭部を移動させることは、三次元環境におけるユーザの視点のポジションを更新し、したがって、ナビゲーションユーザインタフェース要素７０４ａを三次元環境における一定のロケーションに表示することは、いくつかの状況においてマップナビゲーションユーザインタフェース要素７０４ａを提示する表示生成コンポーネント１２０の部分を変更することを含む。
いくつかの実施形態では、（例えば、デバイス１０１の移動中に）ユーザが三次元環境内の現実のオブジェクトの表現を見ているという判定に従って、電子デバイス１０１は、コンテンツユーザインタフェース要素７０６の拡大を停止して、ユーザが見ている現実のオブジェクトの表現を覆い隠すことを防止する。図７Ｆでは、電子デバイス１０１は、電子デバイス１０１の物理的環境内の出入口の表現７２６’に向けられたユーザの視線７０１ｃを検出し、それに応じて、コンテンツユーザインタフェース要素７０６を出入口の境界まで拡大するだけであり、出入口の表現７２６’を覆い隠すようにコンテンツユーザインタフェース要素７０６を拡大しない。いくつかの実施形態では、電子デバイス１０１が、（例えば、デバイス１０１の移動中に）出入口の表現７２６’に向けられたユーザの視線７０１ｃを検出しなかった場合、電子デバイス１０１は、出入口の表現７２６’（の少なくとも一部）を覆い隠すようにコンテンツユーザインタフェース要素７０６を拡大している。
いくつかの実施形態では、電子デバイス１０１は、ユーザによって提供された検索クエリに対応する物理ロケーションを検索することを容易にする。例えば、ユーザは、特定のロケーション（例えば、住所、建物の名前、会社、ランドマーク、及び他のロケーション）又はロケーションのタイプ（例えば、会社のタイプ（例えば、コーヒー、ガソリンスタンド、食料品店）、ランドマーク、及び他のロケーション）を検索することができる。図７Ｇは、三次元環境において検索結果を提示する電子デバイス１０１を示す。
図７Ｇでは、電子デバイス１０１は、ユーザが検索クエリ「市役所庁舎」を入力したテキスト入力フィールド７３０（又はより一般的には検索フィールド）を提示する。電子デバイス１０１はまた、検索結果の名前のインジケーション７３２ａと、電子デバイスの現在ロケーションからの検索結果のロケーションの距離と、検索結果の画像７３２ｂとを提示する。加えて、電子デバイス１０１は、検索結果（例えば、検索された市役所庁舎の建物の三次元表現）に対応する物理的オブジェクトの（例えば、三次元）レンダリング７０８ｅを提示する。いくつかの実施形態では、検索結果に対応する物理的オブジェクトのレンダリング７０８ｅは、検索結果に対応する物理的オブジェクトの画像７３２ｂの前に、及び／又は画像７３２ｂがユーザの視点にあるよりもユーザの視点に近い三次元環境内のポジションに提示される。図７Ｇに示すように、電子デバイス１０１は、ユーザの視点とレンダリング７３２ｂとの間にナビゲーションユーザインタフェース要素７０４ｂを提示する。電子デバイス１０１は、ユーザの視点と検索結果に対応する物理的オブジェクトの画像７３２ｂとの間にナビゲーションユーザインタフェース要素を提示する。
図７Ｇでは、検索クエリ（例えば、「市役所庁舎」）を検出したことに応じて、電子デバイス１０１は、検索結果（単数又は複数）を示すようにナビゲーションユーザインタフェース要素７０４ｂを更新する。図７Ｇでは、電子デバイス１０１は、検索クエリに一致しない物理ロケーション／オブジェクト／特徴の表現（例えば、表現７１０ｅ）を低減された視覚的顕著性（例えば、ナビゲーションユーザインタフェース要素７０４ｂ内の物理的オブジェクトの三次元表現を少なくとも部分的に平坦化する）で表示する一方で、検索クエリに一致するオブジェクト（例えば、建物）の表現７１０ｄの視覚的顕著性を維持し、及び／又は他のオブジェクトの表現（例えば、表現７１０ｅを含む）の色とは異なる色で表現７１０ｄを表示する。いくつかの実施形態では、電子デバイス１０１は、検索クエリに一致するオブジェクトの表現７１０ｄの色を更新するか、又は検索クエリに一致しない表現（例えば、表現７１０ｅを含む）の視覚的顕著性を低減するかのいずれかであるが、両方ではない。いくつかの実施形態では、２つ以上のロケーションが検索クエリに一致する場合、電子デバイス１０１は、検索クエリに一致するロケーションの複数の表現を、検索クエリに一致しないロケーションの表現の視覚的区別とは異なる視覚的区別（例えば、色、視覚的顕著性）で表示する。いくつかの実施形態では、検索クエリに対応する物理的オブジェクトの表現７１０ｄは、物理的オブジェクトの三次元表現である。例えば、表現７１０ｄは、レンダリング７０８ｅの視野角とは異なる視野角から提示された物理的オブジェクトの三次元レンダリングである。いくつかの実施形態では、電子デバイス１０１は、物理的オブジェクトのレンダリング７０８ｅ及び表現７１０ｄを同じ視野角からナビゲーションユーザインタフェース要素７０４ｂに提示する。
いくつかの実施形態では、電子デバイス１０１は、三次元環境において、１つの物理ロケーションから別の物理ロケーションへのナビゲーション方向を提示する。いくつかの実施形態では、ナビゲーション方向を提示する要求に応じて、電子デバイス１０１は、選択されると、電子デバイス１０１にナビゲーション方向をナビゲートするアニメーションを提示させる選択可能なオプションを提示する。図７Ｈは、（例えば、選択可能なオプションの選択に応じて）ナビゲーション方向をナビゲートするアニメーションを提示する電子デバイス１０１を示す。
図７Ｈでは、電子デバイス１０１は、ナビゲーション経路に対応する、始点及び終点、経路距離、及び／又は経路持続時間、ナビゲーションユーザインタフェース要素７０４ｃ、並びに１つ以上の画像７０８ｆ（例えば、１つ以上の静止画像、ビデオ、アニメーション）を含むナビゲーション方向のインジケーション７３４を提示する。ナビゲーションユーザインタフェース要素７０４ｃは、ナビゲーション経路のインジケーション７４０、経路の終点７３８のインジケーション、及びコンテンツユーザインタフェース要素７０６に現在提示されている画像７０８ｆに対応するロケーションのインジケーション７３６を含む。いくつかの実施形態では、ナビゲーションユーザインタフェース要素７０４ｃは三次元である。いくつかの実施形態では、ナビゲーションユーザインタフェース要素７０４ｃは二次元である。いくつかの実施形態では、ナビゲーションユーザインタフェース要素７０４ｃは、鳥瞰（例えば、トップダウン）ビューである。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、斜視図から提示される。ナビゲーションユーザインタフェース要素７０４ｃは、ユーザの視点とナビゲーション経路に対応する画像７０８ｆとの間に提示される。ナビゲーションユーザインタフェース要素７０４ｃは、ユーザの視点とナビゲーション方向のインジケーション７３４との間に提示される。いくつかの実施形態では、電子デバイス１０１は、ナビゲーション経路７４０に沿ってナビゲートするインジケーション７３６のアニメーションを提示し、インジケーション７３６が経路７４０に沿って移動するにつれて、電子デバイス１０１は、インジケーション７３６によって表される現在ロケーションに対応する画像７０８ｆ又はビデオ若しくはアニメーションの一部を提示する。例えば、画像７０８ｆは、電子デバイス１０１がナビゲーション経路７４０を横断するインジケーション７３６のアニメーションと同時に提示するナビゲーション経路をナビゲートする一人称ビデオ／ビューである。
いくつかの実施形態では、電子デバイス１０１は、電子デバイス１０１の物理的環境（例えば、その１つ以上の特徴）のサイズに基づいて、ナビゲーションユーザインタフェース要素のサイズを選択する。例えば、図７Ａ～図７Ｅでは、電子デバイス１０１は、電子デバイス１０１の物理的環境において（例えば、デバイス１０１がテーブルの上面にナビゲーションユーザインタフェース要素７０４ａを表示するため）テーブルの上面の表現７０２のエリアに適合するようにナビゲーションユーザインタフェース要素７０４ａを表示する。いくつかの実施形態では、テーブルの上面がより小さい場合、ナビゲーションユーザインタフェース要素７０４ａは、より小さい物理的エリアの表現を含むか、又は同じサイズの物理的エリアの表現を縮小することによって、より小さいサイズで表示される。いくつかの実施形態では、テーブルの上面がより大きい場合、ナビゲーションユーザインタフェース要素７０４ａは、より大きい物理的エリアの表現を含むか、又は同じサイズの物理的エリアの表現を拡大することによって、より大きいサイズで表示される。いくつかの実施形態では、ナビゲーションユーザインタフェース要素が三次元環境内の異なる表面／特徴上に、又は任意の表面／特徴から離れて提示された場合、電子デバイス１０１は、ナビゲーションユーザインタフェース要素が表示された表面／特徴及び／又はエリアに基づいて、ナビゲーションユーザインタフェース要素をサイズ決め（例えば、及び成形）する。
図７Ｉでは、電子デバイス１０１の物理的環境は、図７Ａ～図７Ｅの物理的環境よりも小さい。特に、図７Ｉは、キュービクル７２６内で使用されている電子デバイス１０１を示す。図７Ｉにおいて、ナビゲーションユーザインタフェース要素７０４ｄは、図７Ａ～図７Ｅにおいてナビゲーションユーザインタフェース要素７０４ａが表示されたサイズよりも小さいサイズでキュービクル７２６の表現７２６’内に表示される。なぜならば、キュービクル７２６は、仮想テーブル７０２に対応するテーブルよりも小さいからである。図７Ｉに示すように、電子デバイス１０１は、三次元環境において、ユーザの視点とコンテンツユーザインタフェース要素７０６との間にナビゲーションユーザインタフェース要素７０４ｄを表示する。
図７Ａ～図７Ｉに示される実施形態に関する追加又は代替の詳細は、以下の図８～図９を参照して説明される方法８００～９００の説明において以下に提供される。
図８Ａ～図８Ｊは、いくつかの実施形態による、指定された個別の物理ロケーションを有するナビゲーションユーザインタフェース要素と、個別の物理ロケーションに対応するコンテンツを含むコンテンツ要素とを同時に提示する方法を示すフローチャートである。いくつかの実施形態では、方法８００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）と、１つ以上のカメラ（例えば、ユーザの手において下方を向くカメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ）又はユーザの頭部から前方に向くカメラ）とを含む、コンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、方法８００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって統御される。方法８００の一部の動作は、任意選択的に組み合わされ、及び／又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法８００は、表示生成コンポーネント及び１つ以上の入力デバイス（例えば、モバイルデバイス（例えば、タブレット、スマートフォン、メディアプレーヤ、又はウェアラブルデバイス）、又はコンピュータ）と通信する電子デバイスにおいて実行される。いくつかの実施形態では、表示生成コンポーネントは、電子デバイス（任意選択的にタッチスクリーンディスプレイ）と一体化されたディスプレイ、モニタ、プロジェクタ、テレビなどの外部ディスプレイ、又はユーザインタフェースを投影し１人以上のユーザにユーザインタフェースが可視であるようにするためのハードウェア構成要素（任意選択的に組み込み若しくは外部）などである。いくつかの実施形態では、１つ以上の入力デバイスは、ユーザ入力を受信し（例えば、ユーザ入力をキャプチャし、ユーザ入力を検出する等）、ユーザ入力に関連する情報を電子デバイスに送信することができる電子デバイス又はコンポーネントを含む。入力デバイスの例は、タッチスクリーン、マウス（例えば、外部）、トラックパッド（任意選択で統合又は外部）、タッチパッド（任意選択で統合又は外部）、リモートコントロールデバイス（例えば、外部）、別のモバイルデバイス（例えば、電子デバイスとは別個）、ハンドヘルドデバイス（例えば、外部）、コントローラ（例えば、外部）、カメラ、深度センサ、アイトラッキングデバイス、及び／又はモーションセンサ（例えば、ハンドトラッキングデバイス、ハンドモーションセンサ）などを含む。いくつかの実施形態では、電子デバイスは、ハンドトラッキングデバイス（例えば、１つ以上のカメラ、深度センサ、近接センサ、タッチセンサ（例えば、タッチスクリーン、トラックパッド）と通信する。いくつかの実施形態では、ハンドトラッキングデバイスは、スマートグローブなどのウェアラブルデバイスである。いくつかの実施形態では、ハンドトラッキングデバイスは、リモートコントロール又はスタイラスなどのハンドヘルド入力デバイスである。
図７Ａのようないくつかの実施形態では、電子デバイス（例えば、１０１）は、表示生成コンポーネントを介して、第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツ（例えば、７０８ａ）を含むユーザインタフェースを含む三次元環境を表示し（８０２ａ）、第１の個別のコンテンツ（例えば、７０８ａ）は、三次元環境内の第１の個別のロケーションに表示される（８０２ｂ）。いくつかの実施形態では、第１の個別のコンテンツは、第１の物理ロケーションから撮影された画像及び／又は第１の物理ロケーションの画像（例えば、第１の物理ロケーションからのストリートレベルビュー画像）である。いくつかの実施形態では、第１の個別のコンテンツは、第１の物理ロケーションで記録された（例えば、ライブ）ビデオである。
図７Ａのようないくつかの実施形態では、電子デバイス（例えば、１０１）は、表示生成コンポーネントを介して、指定された第１の物理ロケーションに対応する第１のロケーション（例えば、７１６）を有するナビゲーションユーザインタフェース要素（例えば、７０４ａ）を含むユーザインタフェースを含む三次元環境を表示し（８０２ａ）、ナビゲーションユーザインタフェース要素（例えば、７０４ａ）は、三次元環境において、第１の個別のコンテンツ（例えば、７０８ａ）が表示される第１の個別のロケーションと、三次元環境におけるユーザ（例えば、電子デバイスのユーザ）の視点との間に表示される（８０２ｃ）。いくつかの実施形態では、三次元環境は、ユーザインタフェースを含む仮想オブジェクトの表現と、電子デバイスの物理的環境内の現実のオブジェクトの表現とを含む。三次元環境は、任意選択的に、三次元環境内の個別のロケーション（例えば、電子デバイスのロケーションに対応する）における電子デバイスに関連付けられたユーザの視点からの一人称視点から提示される。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、第１の物理ロケーションに対応する第１のロケーションに視覚的インジケーション（例えば、ピン）を有する物理ロケーションの三次元地形マップを含む。例えば、ナビゲーションユーザインタフェース要素は、都市の住所、ランドマーク、又は座標に対応する第１のロケーションに表示された旗、ピン、又は他の視覚的インジケーションを有する建物、通り、及び他のランドマークの三次元表現を含む都市の三次元地形マップを含む。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、三次元環境内の水平面に沿って向けられるか、又は水平面に沿って浮動し、第１の個別のコンテンツは、垂直に向けられる。いくつかの実施形態では、マップナビゲーション要素は、ユーザの視点と三次元環境内の第１の個別のコンテンツとの間にある。いくつかの実施形態では、ナビゲーションユーザインタフェース要素及び／又は第１の個別のコンテンツは、デバイスによって生成、表示、又はその他の方法で視認可能にされる三次元環境（例えば、仮想現実（ＶＲ）環境、複合現実（ＭＲ）環境、又は拡張現実（ＡＲ）環境などのコンピュータ生成現実（ＸＲ）環境）において表示される。
図７Ｂなどのいくつかの実施形態では、表示生成コンポーネントを介して、ユーザインタフェース及びナビゲーションユーザインタフェース要素（例えば、７０４ｂ）を表示している間に、電子デバイスは、１つ以上の入力デバイスを介して、第２の物理ロケーションに対応する第２のロケーションを指定する要求に対応するユーザ入力を検出する（８０２ｄ）。いくつかの実施形態では、入力は、三次元地形マップ上の第１のロケーションから第２のロケーションに指定されたロケーションのインジケーションを移動させる入力など、ナビゲーションユーザインタフェース要素に向けられる。いくつかの実施形態では、入力は、コンテンツの視点を第１の物理ロケーションから第２の物理ロケーションに変更するための、又は第１の個別のコンテンツの視野を回転させるための入力など、第１の個別のコンテンツに向けられる。
図７Ｃなどのいくつかの実施形態では、ユーザ入力を検出したことに応じて、電子デバイスは、第２の物理ロケーションの第２のビューに対応する第２の個別のコンテンツ（例えば、７０８ｃ）を含むようにユーザインタフェースを更新し（８０２ｅ）、第２の個別のコンテンツ（例えば、７０８ｃ）は、三次元環境内の第１の個別のロケーションに表示される。いくつかの実施形態では、ユーザ入力を検出したことに応じて、電子デバイスは、第２のロケーションに視覚的インジケーション（例えば、ピン）を表示し、第１のロケーションに視覚的インジケーション（例えば、ピン）を表示することを停止するように、ナビゲーションユーザインタフェース要素を更に更新する。いくつかの実施形態では、第２の個別のコンテンツは、第２の物理ロケーションから撮影された画像である。いくつかの実施形態では、第２の個別のコンテンツは、第２の物理ロケーションで記録された（例えば、ライブ）ビデオである。いくつかの実施形態では、電子デバイスは、コンテンツ及びナビゲーションユーザインタフェース要素がユーザ入力に応じて表示される三次元環境内のロケーションを維持する。
第１の個別のコンテンツが表示された三次元環境内の同じロケーションに第２の個別のコンテンツを表示する上述の方法は、物理ロケーションに対応するコンテンツを閲覧する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって（例えば、ユーザが三次元環境の異なる領域に注意を向ける必要なく、又は三次元環境内の第２の個別のロケーションにコンテンツを表示し続けるための入力を提供する必要なく）、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ナビゲーションユーザインタフェース要素のビュー又はスタイルは、ナビゲーションユーザインタフェース要素に適用されるズームのレベルに応じて変化する。例えば、ズームレベルが第１の閾値よりも低い場合、ナビゲーションユーザインタフェース要素は地球である。別の例として、ズームのレベルが第１の閾値と第１の閾値よりも大きい第２の閾値との間にあるとき、ナビゲーションユーザインタフェース要素は、自然特徴（例えば、地形、植物など）を示す領域の地形マップであり、任意選択で、人工の特徴（例えば、建物、インフラストラクチャなど）を示さない。別の例として、ズームのレベルが第２の閾値よりも大きいとき、ナビゲーションユーザインタフェース要素は、自然及び人工の特徴を含む地形マップを含み、電子デバイスは、ナビゲーションユーザインタフェース要素によって示される物理ロケーションからの一人称コンテンツを表示する。いくつかの実施形態では、電子デバイスは、ズームレベルが第２の閾値未満である間、三次元環境内の第１の個別のロケーションに一人称コンテンツを表示することを見合わせる。
図７Ａのようないくつかの実施形態では、三次元環境は、電子デバイスの物理的環境における（例えば、水平な）表面の表現（例えば、７０２）を含む（８０４ａ）。いくつかの実施形態では、表面の表現は、表示生成コンポーネントによって提示される表面の表現（例えば、仮想又はビデオパススルー）である。いくつかの実施形態では、表面の表現は、表示生成コンポーネントの透明部分を通した表面のビュー（例えば、真の又は実際のパススルー）である。例えば、表面は、電子デバイスの環境内のテーブル、棚、カウンタ、又は床である。図７Ａなどのいくつかの実施形態では、ナビゲーションユーザインタフェース要素（例えば、７０４ａ）は、（例えば、水平）面の表現（例えば、７０２）に対応する三次元環境内のロケーション（及び向き）に表示される（８０４ｂ）。いくつかの実施形態では、電子デバイスは、ナビゲーションユーザインタフェース要素が表面上に配置されているか（例えば、置かれているか）のようにナビゲーションユーザインタフェース要素を表示する。例えば、電子デバイスは、三次元環境内の第１の個別のロケーションとユーザの視点との間の電子デバイスの物理的環境内のテーブル、棚、カウンタ、又は床の上に配置されたかのように見えるように、ナビゲーションユーザインタフェース要素を表示する。
表面の表現に対応するロケーションにナビゲーションユーザインタフェース要素を表示する上述の方法は、複合現実環境において必要以上の空間を消費することなく、複合現実環境において仮想オブジェクトを現現実のオブジェクトの表現と統合する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって（例えば、環境において仮想オブジェクトと現実オブジェクトとを統合するために必要な入力の数を低減することによって）、電力使用量を更に削減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、例えば、図７Ａのナビゲーションユーザインタフェース要素７０４ａをテーブルの表現７０２から離して表示するなど、電子デバイスの物理的環境内の表面に対応しない三次元環境内のロケーション（及び／又は向き）に表示される（８０６ａ）。いくつかの実施形態では、表面は、テーブル、棚、カウンタ、又は床など、電子デバイスの物理的環境内の現実のオブジェクトに対応する。いくつかの実施形態では、表面の表現を含む三次元環境を表示している間、電子デバイスは、ナビゲーションユーザインタフェース要素を表面の表現から離れたロケーションに表示する（例えば、空間内に浮動している、物理的又は仮想オブジェクト又は表面に取り付けられていない）。いくつかの実施形態では、三次元環境は、電子デバイスの物理的環境内の表面の表現を含まない（例えば、電子デバイスの物理的環境内にそのような表面が存在しないため、表面が電子デバイスの視野内にないため、三次元環境は、電子デバイスの物理的環境内の１つ以上の現実のオブジェクトの表現を含まない仮想環境であるため）。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、物理的場所、仮想ツアー、及びランドマークのインジケーションを含み、これらは、選択されると、電子デバイスに、選択されたインジケーションに関連付けられたコンテンツを（例えば、ナビゲーションユーザインタフェース要素内及び／又は三次元環境内の第１の個別のロケーションに）提示させる。
電子デバイスの物理的環境内の表面に対応しない三次元環境内のロケーションにナビゲーションユーザインタフェース要素を表示する上述の方法は、ナビゲーションユーザインタフェース要素の配置に柔軟性を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって（例えば、ナビゲーションユーザインタフェース要素を表示するのに必要な入力の数を低減することによって）、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図７Ａのようないくつかの実施形態では、第１の個別のコンテンツ（例えば、７０８ａ）は、電子デバイス（例えば、１０１）の物理的環境の表現（例えば、７２４’）によって囲まれ（例えば、その上にオーバーレイされ）、第１の個別のコンテンツ（例えば、７０８ａ）と電子デバイス（例えば、１０１）の物理的環境の表現（例えば、７２４’）との間の境界は、第１の個別のコンテンツ（例えば、７０８ａ）と電子デバイスの物理的環境の表現（例えば、７２４’）との間の漸進的な視覚的遷移（例えば、フェザリング、漸進的なフェード、混合）を含む（８０８ａ）。いくつかの実施形態では、物理的環境の表現は、表示生成コンポーネントによって提示される物理的環境の表現（例えば、仮想又はビデオパススルー）である。いくつかの実施形態では、物理的環境の表現は、表示生成コンポーネントの透明部分を通した物理的環境のビュー（例えば、真のパススルー又は実際のパススルー）である。いくつかの実施形態では、第１の個別のコンテンツは、仮想環境の表現によって囲まれ（例えば、その上にオーバーレイされ）、第１の個別のコンテンツと仮想環境の表現との間の境界は、第１の個別のコンテンツと仮想環境の表現との間の漸進的な視覚的遷移を含む。いくつかの実施形態では、漸進的な視覚的遷移は、第１の個別のコンテンツと物理的（例えば、又は仮想）環境の表現との間のフェザリング境界、混合境界、及び／又はぼかし境界である。いくつかの実施形態では、電子デバイスは、三次元環境内のユーザの視点と、第１の個別のコンテンツを取り囲む物理的環境の表現の部分を含む物理的環境の表現との間に、第１の個別のコンテンツを表示する。
第１の個別のコンテンツと物理的環境の表現との間の漸進的な視覚的遷移を用いて第１の個別のコンテンツを表示する上述の方法は、ユーザのためのコンテキストを維持し、これは、誤った入力又はユーザが異なるユーザインタフェース間で前後に切り替える必要を回避し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって（例えば、物理的環境の表現及び第１の個別のコンテンツを見るために必要な入力の数を低減することによって）、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図７Ｄなどのいくつかの実施形態では、第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツ（例えば、７０８ｃ）は、電子デバイス（例えば、１０１）の物理的環境の表現（例えば、７２４’）と同時に表示され、表示生成コンポーネント（例えば、１２０）の表示エリアの第１の部分を占有する（８１０ａ）（例えば、表示生成コンポーネントは、第１の個別のコンテンツを第１のサイズで表示する）。いくつかの実施形態では、物理的環境の表現は、表示生成コンポーネントによって提示される物理的環境の表現（例えば、仮想又はビデオパススルー）である。いくつかの実施形態では、物理的環境の表現は、表示生成コンポーネントの透明部分を通した物理的環境のビュー（例えば、真のパススルー又は実際のパススルー）である。いくつかの実施形態では、第１の個別のコンテンツは、物理的環境（例えば、その表現）の一部を覆い隠し、ブロックし、及び／又はその前に表示され、第１の個別のコンテンツを囲むように見える物理的環境（例えば、その表現）の一部を覆い隠し及び／又はブロックしない。図７Ｄのようないくつかの実施形態では、表示生成コンポーネント（例えば、１２０）を介して、表示エリアの第１の部分を占有する第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツ（例えば、７０８ｃ）を物理的環境の表現（例えば、７２４’）と同時に表示している間に、電子デバイス（例えば、１０１）は、１つ以上の入力デバイス（例えば、電子デバイスの物理ボタン（例えば、押下）若しくはダイヤル（例えば、回転）、又は電子デバイスと通信する異なる入力デバイス、表示生成コンポーネントを介して表示される１つ以上のユーザインタフェース要素の選択）を介して、物理的環境の表現（例えば、７２４’）の表示を覆い隠す要求に対応する個別の入力を検出する（８１０ｂ）。いくつかの実施形態では、物理的環境の表現の表示を覆い隠す要求は、電子デバイスによって提示される電子デバイスの物理的環境内の現実のオブジェクトの表現の数を低減する要求に対応する。いくつかの実施形態では、物理的環境の表現の表示を覆い隠す要求は、物理的環境の表現の表示を停止する（例えば、代わりに、ユーザインタフェース、第１の個別のコンテンツ、及びナビゲーションユーザインタフェース要素を仮想環境に表示する）要求に対応する。いくつかの実施形態では、物理的環境の表現の表示を覆い隠す要求は、仮想オブジェクト及び／又はコンテンツ（例えば、第１の個別のコンテンツ）によって占有される表示生成コンポーネントの表示エリアの部分を増加させる要求に対応する。いくつかの実施形態では、物理的環境の表現の表示を覆い隠す要求は、物理的環境（例えば、物理的環境の表現）を暗くする要求に対応する。図７Ｅなどのいくつかの実施形態では、対個別の入力を検出したことに応じて、電子デバイス（例えば、１０１）は、第１の個別のコンテンツ（例えば、７０８ｄ）を、第１の物理ロケーションの第１のビューよりも大きい第２のビューに対応する（８１０ｄ）ように更新すること（例えば、表示生成コンポーネントによって表示される第１の個別のコンテンツの量を増加させること）を含めて、物理的環境の表現（例えば、７２４’）の表示を覆い隠す（８１０ｃ）。図７Ｅなどのいくつかの実施形態では、個別の入力を検出したことに応じて、電子デバイス（例えば、１０１）は、表示生成コンポーネント（例えば、１２０）の表示エリアの第１の部分よりも大きい第２の部分を占有する（８１０ｅ）ように第１の個別のコンテンツを更新すること（例えば、表示生成コンポーネントによって第１の個別のコンテンツが表示されるサイズを増加させること）を含む、物理的環境の表現（例えば、７２４’）の表示を覆い隠す（８１０ｃ）。いくつかの実施形態では、物理的環境の表現及び物理的環境のビューによって占有される表示生成コンポーネントの表示エリアは、個別の入力を検出したことに応じて縮小される。
個別の入力に応じて物理的環境の表現の表示を覆い隠す上述の方法は、第１の物理ロケーションのより大きなビューを提示する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって（例えば、第１の物理ロケーションを見るために必要な入力の数を低減することによって）、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図７Ｅなどのいくつかの実施形態では、第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツ（例えば、７０８ｄ）を表示している間に、電子デバイス（例えば、１０１）は、１つ以上の入力デバイス（例えば、加速度計（単数又は複数）、ジャイロスコープ（単数又は複数））を介して、三次元環境における電子デバイス（例えば、１０１）のユーザの視点の移動（例えば、電子デバイスの移動）（（例えば、電子デバイスが１、２、３、５、１０、３０、５０センチメートル未満など移動する、及び／又は、０．１、０．５、１、２、３、４、５未満など回転する）所定の閾値未満の量）を検出する（８１２ａ）。いくつかの実施形態では、電子デバイスは、電子デバイスの移動を検出する。例えば、電子デバイスは、ウェアラブルデバイス（例えば、ヘッドマウントデバイス、スマートウォッチ）であり、ユーザの既定の部分（例えば、ユーザの頭部、ユーザの手首）の移動は、電子デバイスの移動を引き起こす。いくつかの実施形態では、図７Ｆのように、三次元環境において電子デバイス（例えば、１０１）のユーザの視点の移動を検出したことに応じて、ユーザの視点の移動が検出されたときにユーザの視線（例えば、７０１ｃ）が第１の個別のコンテンツ（例えば、７０８ｄ）に向けられたとの判定に従って、電子デバイスは、ユーザの視点の移動に従って、第１の個別のコンテンツに対応する第１の物理ロケーションの第１のビューの表示をシミュレートされた視差効果で更新する（８１２ｂ）。いくつかの実施形態では、視差効果を用いて第１の物理ロケーションの第１のビューの表示を更新することは、第１の物理ロケーションの第１のビューの背景内のオブジェクト（単数又は複数）がシフトされる距離（単数又は複数）よりも大きい距離（単数又は複数）だけ、第１の物理ロケーションの第１のビューの前景内のオブジェクト（単数又は複数）のロケーションをシフトすることを含む。いくつかの実施形態では、視差効果を用いて第１の物理ロケーションの第１のビューの表示を更新することは、（例えば、第１の個別のコンテンツの他の部分によってブロックされたために）以前に可視でなかった第１の個別のコンテンツの１つ以上の部分を可視にさせる。
視差効果を用いて第１の物理ロケーションの第１のビューを更新する上述の方法は、ユーザの視点の移動に従って第１のコンテンツを更新する直感的な方法を提供し、これは、視点の移動に対応し、移動前に表示されなかった追加コンテンツの表示を可能にし、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にする（例えば、ユーザの視点が移動するときに第１の個別のコンテンツを更新するために必要な入力の数を低減する）ことによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図７Ｅなどのいくつかの実施形態では、第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツ（例えば、７０８ｄ）を表示している間に、電子デバイス（例えば、１０１）は、１つ以上の入力デバイスを介して、電子デバイス（例えば、１０１）の移動（（例えば、１、２、３、５、１０、３０、５０センチメートルなど、及び／又は少なくとも０．１、０．５、１、２、３、４、５など回転する））所定の閾値を超える量）を検出する（８１４ａ）。いくつかの実施形態では、電子デバイスは、ウェアラブルデバイス（例えば、ヘッドマウントデバイス、スマートウォッチ）であり、ユーザの既定の部分（例えば、ユーザの頭部、ユーザの手首）の移動は、電子デバイスの移動を引き起こす。したがって、いくつかの実施形態では、第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツを表示している間に、電子デバイスは、ユーザの既定の部分（例えば、頭部、手、腕、手首）の（例えば、閾値（例えば、１、２、３、５、１０、３０、５０センチメートルなど）を超える移動の速度又は距離などの１つ以上の基準を満たす）移動を検出する。いくつかの実施形態では、図７Ｆのように、電子デバイス（例えば、１０１）の移動を検出したことに応じて（例えば、又はユーザの既定の部分の移動を検出したことに応じて）、電子デバイス（例えば、１０１）の移動（例えば、又はユーザの既定の部分の移動）が１つ以上の基準を満たす（例えば、速度閾値を超える、距離閾値（例えば、１、２、３、５、１０、３０、５０センチメートルなど）を超える、回転閾値（例えば、０．１、０．５、１、２、３、４、５など）を超える）という判定に従って、電子デバイス（例えば、１０１）は、表示生成コンポーネント（例えば、１２０）を介して、第１の物理ロケーションに対応する追加コンテンツ（例えば、７０８ｄ）（例えば、第１の個別のコンテンツの拡張、第１の物理ロケーションに関する追加情報など）を表示する（８１４ｂ）。いくつかの実施形態では、追加情報は、電子デバイスの移動（例えば、又はユーザの既定の部分の移動）に対応するロケーションに表示される。例えば、左への移動を検出したことに応じて、電子デバイスは、第１の個別のコンテンツの左に追加情報を表示する。いくつかの実施形態では、電子デバイスは、電子デバイスが移動する方向に第１の個別のコンテンツのビューを拡大し、第１の個別のコンテンツの視野を増加させ、それに応じて視野のインジケーションを更新する。
電子デバイスの移動の検出に応じて追加情報を表示する上述の方法は、直感的な入力に応じてユーザに追加情報を提示する効率的な方法を提供し、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図７Ｃなどのいくつかの実施形態では、第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツ（例えば、７０８ｃ）を表示している間に、電子デバイス（例えば、１０１）は、１つ以上の入力デバイスを介して、ユーザインタフェースに表示された選択可能なユーザインタフェース要素（例えば、７２０ｂ）に向けられた入力を検出する（８１６ａ）。いくつかの実施形態では、ユーザインタフェース要素は、個別のコンテンツの視点に対応する物理ロケーションをシフトするためのユーザインタフェース要素である。いくつかの実施形態では、ユーザインタフェース要素は、第１の個別のコンテンツに近接して、又はその上にオーバーレイされて表示される。いくつかの実施形態では、ユーザインタフェース要素は、複数の矢印のうちの１つである。いくつかの実施形態では、矢印は、移動矢印（例えば、第１の個別のコンテンツの視点を横方向に移動させるため）又は回転矢印（例えば、第１の個別のコンテンツの視点を回転可能に移動させるため）である。いくつかの実施形態では、電子デバイスは、アイトラッキングデバイスを介して、ユーザの視線がユーザインタフェース要素に向けられていることを検出する一方で、ハンドトラッキングデバイスを介して、ユーザの手の既定のポーズ（例えば、手の親指が手の別の指の閾値距離（例えば、０．１、０．２、０．３、０．５、１、２センチメートルなど）内にあるピンチポーズ）を検出することによって、ユーザインタフェース要素の選択を検出する。いくつかの実施形態では、図７Ｃの選択可能なユーザインタフェース要素（例えば、７２０ｂ）に向けられた入力を検出したことに応じて、電子デバイスは、個別の物理ロケーションの個別のビューに対応する第３の個別のコンテンツ（例えば、７０８ｄ）を表示し（８１６ｂ）、第３の個別のコンテンツ（例えば、７０８ｄ）は、図７Ｄのように、三次元環境内の第１の個別のロケーションに表示される。例えば、個別のコンテンツの視点を左にシフトするオプションの選択を検出したことに応じて、電子デバイスは、第１の物理ロケーションの左の物理ロケーションに対応する第３の個別のコンテンツを表示する。別の例として、個別のコンテンツの視点を左に回転させるオプションの選択を検出したことに応じて、電子デバイスは、ビューが第１の個別のコンテンツのビューから左に回転された状態で、第１の物理ロケーションに対応する第４の個別のコンテンツを表示する。いくつかの実施形態では、電子デバイスは、選択可能なユーザインタフェース要素に向けられた入力に応じて、第１の個別のコンテンツの視野のサイズ（例えば、幅）を維持するが、視野のロケーションは更新される。
第１の個別のコンテンツが表示された三次元環境内の同じロケーションに第３の個別のコンテンツを表示する上述の方法は、物理ロケーションに対応するコンテンツを閲覧する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって（例えば、ユーザが三次元環境の異なる領域に注意を向ける必要なく、又は三次元環境内の第３の個別のロケーションにコンテンツを表示し続けるための入力を提供する必要なく）、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図７Ｅなどのいくつかの実施形態では、第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツ（例えば、７０８ｄ）を表示している間に、電子デバイス（例えば、１０１）は、三次元環境に対する電子デバイス（例えば、１０１）の移動を検出する（８１８ａ）。いくつかの実施形態では、電子デバイスは、ウェアラブルデバイス（例えば、ヘッドマウントデバイス、スマートウォッチ）であり、ユーザの既定の部分（例えば、ユーザの頭部、ユーザの手首）の移動は、電子デバイスの移動を引き起こす。いくつかの実施形態では、第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツを表示している間、電子デバイスは、ユーザの既定の部分（例えば、頭部、手、腕、手首）の移動を検出する。図７Ｆなどのいくつかの実施形態では、三次元環境に対する電子デバイス（例えば、１０１）の移動が１つ以上の基準を満たすとの判定に従って、電子デバイス（例えば、１０１）は、表示生成コンポーネントを介して、第１の物理ロケーションに対応する追加コンテンツ（例えば、第１の個別のコンテンツの拡張、第１の物理ロケーションに関する追加情報など）を表示する（８１８ｂ）。いくつかの実施形態では、１つ以上の基準は、電子デバイス（例えば、又はユーザの既定の部分）の移動が、電子デバイスが、ユーザが注意を向けることを望む可能性がある電子デバイスの物理的環境内の個別の現実オブジェクト（例えば、窓、出入口、表示画面、人物、動物、電子デバイス、器具、車両、建物など）に向けられないように、及び／又はユーザが注意を向けたい三次元環境内の個別の仮想オブジェクト（例えば、コンテンツ、ユーザインタフェースなど）に向けられないように、電子デバイスを位置付けるときに満たされる。いくつかの実施形態では、三次元環境に対する電子デバイスの移動が１つ以上の基準を満たさないとの判定に従って、電子デバイスは、例えば、図７Ｆのコンテンツユーザインタフェース要素７０６の更新を見合わせなど、第１の物理ロケーションに対応する追加コンテンツの表示を（例えば、第１の個別のコンテンツの表示を維持しながら）見合わせる（８１８ｃ）。例えば、空の壁の方に電子デバイスを向ける電子デバイスの移動に応じて、電子デバイスは、空の壁の一部にオーバーレイされた追加コンテンツを表示する。別の例として、ユーザが注意を向けることを望む可能性がある個別の現実オブジェクト（例えば、窓、出入口、表示画面、人物、動物、電子デバイス、器具、車両、建物など）に電子デバイスを向ける電子デバイスの移動に応じて、電子デバイスは、個別のオブジェクト上にオーバーレイされた追加コンテンツを表示することを見合わせる。いくつかの実施形態では、電子デバイスは、第１のコンテンツのビューを拡大して、ユーザが注意を向けることを望む可能性がある個別の現実オブジェクト以外の三次元環境の部分を覆い隠し、第１の個別のコンテンツが個別の現実オブジェクトの距離（（例えば、１、５、１０、２０、３０、４０、５０、１００センチメートルなど）の例えば閾値内）に到達すると停止する。別の例として、ユーザが注意を向けることを望む可能性がある仮想オブジェクト（例えば、コンテンツ、ユーザインタフェース）に電子デバイスを向ける電子デバイスの移動に応じて、電子デバイスは、仮想オブジェクト上にオーバーレイされた追加コンテンツの表示を見合わせる。したがって、いくつかの実施形態では、ユーザは、個別の現実オブジェクト又は個別の仮想オブジェクトが追加コンテンツによって妨害されることなく、個別の現実オブジェクト又は個別の仮想オブジェクトを見ることができる。いくつかの実施形態では、電子デバイスが第１の個別のコンテンツのビューを拡大するとき、電子デバイスは、第１の個別のコンテンツの視野を拡大し、それに応じて視野のインジケーションを更新する。
三次元環境に対する電子デバイスの移動に応じて追加コンテンツを選択的に表示する上述の方法は、コンテンツが三次元環境の部分を覆い隠すことを防止する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって（例えば、他のオブジェクトを見るために追加コンテンツの表示を停止する入力など、追加コンテンツ以外の三次元環境内のオブジェクトを見るために必要な入力の数を低減することによって）、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図７Ｆのようないくつかの実施形態では、１つ以上の基準は、（例えば、三次元環境内の１つ以上のそれぞれのオブジェクトに対する）電子デバイス（例えば、１０１）の向きの変化に基づいて満たされる基準、及び／又はユーザの視線（例えば、７０１ｃ）が三次元環境内の１つ以上のそれぞれのオブジェクトに向けられているかどうかに基づいて満たされる基準を含む（８２０ａ）。いくつかの実施形態では、電子デバイスは、ユーザが注意を向けたい電子デバイスの物理的環境内の個別の現実オブジェクト（例えば、窓、出入口、表示画面、人物、動物、電子デバイス、器具、車両、建物など）及び／又はユーザが注意を向けることを望む可能性がある三次元環境内の個別の仮想オブジェクト（例えば、コンテンツ、ユーザインタフェースなど）に電子デバイスが向けられているとの判定に従って、追加コンテンツの表示を見合わせる。いくつかの実施形態では、電子デバイスは、ユーザが、電子デバイスの物理的環境内の、ユーザが注意を向けたいと望む可能性がある個別の現実オブジェクト（例えば、窓、出入口、表示画面、人物、動物、電子デバイス、器具、車両、建物など）を見ているという判定に従って、及び／又はユーザが注意を向けたいと望む可能性がある三次元環境内の個別の仮想オブジェクト（例えば、コンテンツ、ユーザインタフェースなど）に向かって（例えば、電子デバイスと通信するアイトラッキングデバイスによって判定されるように）、追加コンテンツの表示を見合わせる。いくつかの実施形態では、電子デバイスが、ユーザが注意を向けることを望む電子デバイスの物理的環境内の個別の現実オブジェクト（例えば、窓、出入口、表示画面、人物、動物、電子デバイス、器具、車両、建物など）及び／又はユーザが注意を向けることを望む可能性がある三次元環境内の個別の仮想オブジェクト（例えば、コンテンツ、ユーザインタフェースなど）に向けられていないとの判定に従って、電子デバイスは、電子デバイスの移動に従って追加コンテンツを表示する。いくつかの実施形態では、ユーザの視線が、ユーザが注意を向けることを望む可能性がある電子デバイスの物理的環境内の個別の現実オブジェクト（例えば、窓、出入口、表示画面、人物、動物、電子デバイス、器具、車両、建物など）及び／又はユーザが注意を向けることを望む可能性がある三次元環境内の個別の仮想オブジェクト（例えば、コンテンツ、ユーザインタフェースなど）に向けられていないとの判定に従って、電子デバイスは、電子デバイスの移動に従って追加コンテンツを表示する。したがって、いくつかの実施形態では、電子デバイスは、個別の現実オブジェクト又は個別の仮想オブジェクトを追加コンテンツで覆い隠す。いくつかの実施形態では、電子デバイスは、電子デバイスの移動が検出されている間にユーザの視線が個別の現実又は仮想オブジェクトに向けられていない場合、追加コンテンツを用いて個別の現実又は仮想オブジェクトを覆い隠す。いくつかの実施形態では、電子デバイスの移動が検出されている間にユーザの視線が現実又は仮想オブジェクトに向けられている場合、電子デバイスは、個別の現実又は仮想オブジェクトを覆い隠す三次元環境内のロケーションに追加コンテンツを表示しない。
三次元環境に対する電子デバイスの向きの変化及び／又はユーザの視線に応じて追加コンテンツを選択的に表示する上述の方法は、ユーザが追加コンテンツ以外の三次元環境内のコンテンツの視認性を維持することを可能にする効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にする（例えば、他のオブジェクトを見るために追加コンテンツの表示を停止する入力など、追加コンテンツ以外の三次元環境内のオブジェクトを見るために必要な入力の数を低減する）ことによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図７Ｄなどのいくつかの実施形態では、電子デバイス（例えば、１０１）は、表示生成コンポーネント（例えば、１２０）の表示エリアの第１の部分（例えば、第１の物理ロケーションのビューの第１の個別の部分）を占有する第１の個別のコンテンツ（例えば、７０８ｄ）を表示している間に、アイトラッキングデバイスを介して、ユーザの視線（例えば、７０１ｂ）が所定の時間閾値（例えば、０．０５、０．１、０．２、０．３、０．５、１、２、５、１０秒など）を超える時間量の間、第１の個別のコンテンツ（例えば、７０８ｄ）に向けられたことを検出する（８２２ａ）。図７Ｅなどのいくつかの実施形態では、ユーザの視線（例えば、７０１ｂ）が所定の時間閾値（例えば、０．０５、０．１、０．２、０．３、０．５、１、２、５、１０秒など）を超える時間量にわたって第１の個別のコンテンツ（例えば、７０８ｄ）に向けられたことを検出したことに応じて、電子デバイスは、表示生成コンポーネント（例えば、１２０）の表示エリアの第１の部分よりも大きい第２の部分（例えば、第１の物理ロケーションのビューの第１の個別の部分よりも大きい（例えば、より多くのコンテンツ、オブジェクトなどを含む）第１の物理ロケーションのビューの第２の個別の部分）を占有するように第１の個別のコンテンツ（例えば、７０８ｄ）を更新する（８２２ｂ）。いくつかの実施形態では、所定の時間閾値（例えば、０．０５、０．１、０．２、０．３、０．５、１、２秒など）を超える時間にわたって第１の個別のコンテンツに向けられたユーザの視線を検出したことに応じて、電子デバイスは、第１の個別のコンテンツのサイズを拡大する。いくつかの実施形態では、第１の個別のコンテンツのサイズを拡大したことに応じて、電子デバイスは、（例えば、視野の向きを更新することなく）第１の個別のコンテンツの視野を増加させ、それに応じて（例えば、ナビゲーションユーザインタフェース要素に表示される）視野のインジケーションを更新する。いくつかの実施形態では、第１の個別のコンテンツの表示エリアを増加させることは、第１の個別のコンテンツの視野を拡大せず、むしろ、いくつかの実施形態では、第１の個別のコンテンツは、視野（のサイズ及び向きなど）が同じままである間に拡大される。
所定の閾値を超える時間にわたって第１の個別のコンテンツに向けられたユーザの視線を検出したことに応じて第１の個別のコンテンツのサイズを拡大する上述の方法は、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって（例えば、第１の物理ロケーションを見るために第１の物理ロケーションのビューをパンするための入力の数を低減することによって）、第１の物理ロケーションのビューを増加させる効率的な方法を提供し、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の個別のコンテンツを表示している間、電子デバイスは、ナビゲーションユーザインタフェース要素内に、第１の個別のコンテンツに対応する第１の物理ロケーションの視野のインジケーションを表示する（８２４ａ）。いくつかの実施形態では、視野のインジケーションは、ナビゲーションユーザインタフェース要素に含まれる第１のロケーションの視覚的インジケーションに近接して又は関連して（例えば、近接して又は組み込まれて）表示される。いくつかの実施形態では、視野のインジケーションは、第１の個別のコンテンツ内に表示される第１の物理ロケーションの境界を示す。いくつかの実施形態では、第１の個別のコンテンツが表示生成コンポーネントの表示エリアの第１の部分を占有している間、視野のインジケーションは、第１の視野（例えば、第１の個別のコンテンツが表示エリアの第１の部分を占有している間、第１の個別のコンテンツに含まれる第１の物理ロケーションの境界）を示す（８２４ｂ）。いくつかの実施形態では、第１の個別のコンテンツが表示生成コンポーネントの表示エリアの第２の部分を占有する間、視野のインジケーションは、第１の視野よりも大きい第２の視野（例えば、第１の個別のコンテンツが表示エリアの第２の部分を占有する間、第１の個別のコンテンツに含まれる第１の物理ロケーションの境界）を示す（８２４ｃ）。いくつかの実施形態では、表示エリアの第２の部分は、表示エリアの第１の部分よりも大きく、及び／又は第２の視野は、第１の視野よりも大きい。
第１の個別のコンテンツによって占有される表示エリアに従って視野のインジケーションを表示する上述の方法は、第１の個別のコンテンツによって表される第１の物理ロケーションの部分を示す効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図７Ｅなどのいくつかの実施形態では、第１の個別のコンテンツ（例えば、７０８ｄ）は、（例えば、第１の物理ロケーションに対して）第１の向きを有する第１の視野（例えば、７１８ｅ）に対応する（８２６ａ）。図７Ｅなどのいくつかの実施形態では、第１の個別のコンテンツ（例えば、７０８ｄ）を表示し、ナビゲーションユーザインタフェース要素（例えば、７０４ａ）内に第１の視野（例えば、７１８ｅ）のインジケーションを表示している間に、電子デバイス（例えば、１０１）は、１つ以上の入力デバイスを介して、第２の向きを有する第２の視野に対応する第３の個別のコンテンツを表示する要求に対応する入力を検出する（８２６ｂ）。いくつかの実施形態では、第３の個別のコンテンツ及び第１の個別のコンテンツは、同じ物理ロケーションからキャプチャされた画像であるが、向きが異なる（例えば、同じロケーションにいる間に異なる方向を向いている）。いくつかの実施形態では、第３の個別のコンテンツ及び第１の個別のコンテンツは、異なる物理ロケーション（例えば、異なる向き）からキャプチャされた画像である。いくつかの実施形態では、第１の視野及び第２の視野の幅は同じである。いくつかの実施形態では、第１の視野及び第２の視野の幅は異なる。いくつかの実施形態では、第３の個別のコンテンツを表示する要求に対応する入力は、視点を第１の個別のコンテンツの視点から第３の個別のコンテンツの視点に回転させる要求である。いくつかの実施形態では、入力は、第１の個別のコンテンツを１つ以上の（例えば、横方向）方向に拡大する要求に対応する。いくつかの実施形態では、入力は、第３の物理ロケーション（例えば、第１のロケーションに対する横方向の移動）に対応する第３の個別のコンテンツを表示する要求に対応する。図７Ｆなどのいくつかの実施形態では、電子デバイス（例えば、１０１）は、第２の向きを有する第２の視野（例えば、７１８ｅ）に対応する（例えば、第１の物理ロケーションに対応する又は第３の物理ロケーションに対応する）第３の個別のコンテンツ（例えば、７０８ｄ）を表示する要求に対応する入力を検出したことに応じて（８２６ｃ）、表示生成コンポーネント（例えば、１２０）を介して、第３の個別のコンテンツ（例えば、７０８ｄ）を（例えば、三次元環境内の第１の個別のロケーションに）表示する（８２６ｄ）。図７Ｆなどのいくつかの実施形態では、第２の向きを有する第２の視野（例えば、７１８）に対応する第３の個別のコンテンツ（例えば、７０８ｄ）を表示する要求に対応する入力を検出したことに応じて（８２６ｃ）、電子デバイス（例えば、１０１）は、ナビゲーションユーザインタフェース要素（例えば、７０４ａ）において、第１の視野のインジケーションを第２の視野（例えば、７１８ｅ）のインジケーションとなるように更新する（８２６ｅ）。いくつかの実施形態では、視野のインジケーションは、ナビゲーションユーザインタフェース要素に含まれる第３の個別のコンテンツに対応する物理ロケーションの視覚的インジケーションに近接して又は関連して（例えば、近接して又は組み込まれて）表示される。いくつかの実施形態では、第２の視野のインジケーションは、第３の個別のコンテンツ内に表示される物理ロケーションの境界を示す。
第３の個別のコンテンツに従って視野のインジケーションを表示する上述の方法は、第３の個別のコンテンツによって表される個別の物理ロケーションの部分を示す効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図７Ａなどのいくつかの実施形態では、電子デバイス（例えば、１０１）の物理的環境が、電子デバイス（例えば、１０１）の物理的環境内の電子デバイス（例えば、１０１）の周囲の遮られていない空間の量（例えば、１つ以上の方向で０．５、１、２、３、４、５メートルなど）に基づいて満たされる基準を含む、１つ以上の基準を満たすという判定に従って、電子デバイス（例えば、１０１）は、三次元環境内で第１のサイズでナビゲーションユーザインタフェース要素（例えば、７０４ａ）を表示する（８２８ａ）。いくつかの実施形態では、電子デバイスは、三次元環境内の物理的オブジェクトのロケーションとオーバーレイ又は交差しない三次元環境内のロケーションにナビゲーションユーザインタフェース要素を表示する。いくつかの実施形態では、ナビゲーションユーザインタフェース要素が表示されるサイズは、電子デバイスの物理的環境内の電子デバイスの周囲の遮られていない空間の量に依存する。図７Ｉのようないくつかの実施形態では、電子デバイス（例えば、１０１）の物理的環境が１つ以上の基準を満たさないという判定に従って、電子デバイス（例えば、１０１）は、三次元環境において、第１のサイズとは異なる（例えば、より小さい）第２のサイズでナビゲーションユーザインタフェース要素（例えば、７０４ｄ）を表示する（８２８ｂ）。例えば、電子デバイスは、ダイニングルームのテーブルの上に空き空間がある部屋（例えば、電子デバイスの周りの複数の方向に約２メートルの遮られていない空間）にナビゲーションユーザインタフェース要素を表示するとき、電子デバイスがオフィスキュービクル（例えば、電子デバイスの周りの複数の方向に約０．５～１メートルの遮られていない空間）にナビゲーションユーザインタフェース要素を表示するサイズよりも大きいサイズでナビゲーションユーザインタフェース要素を表示する。
電子デバイスの物理的環境内の電子デバイスの周りの遮られていない空間の量に対応するサイズでナビゲーションユーザインタフェース要素を表示する上述の方法は、ユーザの物理的環境内のオブジェクトの表現をナビゲーションユーザインタフェース要素と同時に提示する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって（例えば、ナビゲーションユーザインタフェース要素の表示と電子デバイスの物理的環境内のオブジェクトの表現とを切り替えるのに必要な入力の数を低減することによって）、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ナビゲーション要素（例えば、図７Ａの７０４ａ）は、三次元環境において三次元で表示される第１の個別の部分（例えば、ナビゲーションユーザインタフェース要素によって示される物理ロケーションにおける物理的オブジェクト（例えば、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴）の三次元表現を含む）と、三次元環境において二次元で表示される第２の個別の部分（例えば、ナビゲーションユーザインタフェース要素によって示される物理ロケーションにおける物理的オブジェクト（例えば、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴）の二次元表現を含む）とを含み、第１の個別の部分は、第２の個別の部分よりもユーザの視点により近い（例えば、閾値距離（例えば、０．５、１、２、３、４、５メートルなど）（８３０ａ）。いくつかの実施形態では、ナビゲーションユーザインタフェース要素の第２の個別の部分（に含まれる物理的オブジェクトの表現）をユーザの近くに（例えば、ナビゲーションユーザインタフェース要素の第１のそれぞれの部分と第２のそれぞれの部分との間の境界を定義したユーザの閾値距離内に）移動させる要求に対応する入力に応じて、電子デバイスは、ナビゲーションユーザインタフェース要素の第２の個別の部分内の物理的オブジェクトの表現を三次元で表示する。いくつかの実施形態では、ナビゲーションユーザインタフェース要素の第１の個別の部分（に含まれる物理的オブジェクトの表現）をユーザから更に遠くに（例えば、ナビゲーションユーザインタフェース要素の第１のそれぞれの部分と第２のそれぞれの部分との間の境界を定義するユーザの閾値距離の外側に）移動させる要求に対応する入力に応じて、電子デバイスは、ナビゲーションユーザインタフェース要素の第１の個別の部分内の物理的オブジェクトの表現を二次元で表示する。いくつかの実施形態では、ナビゲーションユーザインタフェース要素の第１の個別の部分は、三次元環境内の水平面（例えば、現実又は仮想表面、仮想平面）に沿って向けられ、ナビゲーションユーザインタフェース要素の第２の個別の部分は、ナビゲーションユーザインタフェース要素の第１の個別の部分の垂直後方に表示される（例えば、水平面から上方に湾曲される）。いくつかの実施形態では、ナビゲーションユーザインタフェース要素の第１の個別の部分及び第２の個別の部分は、ナビゲーションユーザインタフェース要素の湾曲部分によって接合される。
ナビゲーションユーザインタフェース要素の第１の個別の部分を三次元で表示し、ナビゲーションユーザインタフェース要素の第２の個別の部分を二次元で表示する上述の方法は、ユーザが同時に見ることができるナビゲーションユーザインタフェース要素のエリアを増加させる効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図７Ａなどのいくつかの実施形態では、第１の個別のコンテンツ（例えば、７０８ａ）を表示している間（８３２ａ）、ナビゲーションユーザインタフェース要素（例えば、７０４ａ）は、第１の物理ロケーションを含む第１の物理的領域に対応する（８３２ｂ）。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴などの表現を含む、第１の物理的領域内の他の物理ロケーションの表現を含む。図７Ａなどのいくつかの実施形態では、第１の個別のコンテンツ（例えば、７０８ａ）を表示している間（８３２ａ）、ナビゲーションユーザインタフェース要素（例えば、７０４ａ）は、第１の物理的領域の地形のインジケーションを含む（８３２ｃ）。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、三次元で表示され、第１の物理的領域の（例えば、地面の）地形の三次元レンダリングを含む。例えば、第１の物理的領域が丘を含む場合、ナビゲーションユーザインタフェース要素は、丘の三次元レンダリングを含む。いくつかの実施形態では、ナビゲーションユーザインタフェース要素の縁部は、ナビゲーションユーザインタフェース要素の縁部に対応する物理ロケーションの地形の断面を示す。
ナビゲーションユーザインタフェース要素内に第１の物理的領域の地形のインジケーションを表示する上述の方法は、第１の物理ロケーションにおけるオブジェクトだけでなく、第１の物理ロケーションの地形も表す効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図７Ａのようないくつかの実施形態では、ナビゲーションユーザインタフェース要素（例えば、７０４ａ）は、三次元で表示される個別のコンテンツ（例えば、７１０ａ、７１０ｂ）（例えば、ナビゲーションユーザインタフェース要素に対応する物理的領域内の物理的オブジェクト（例えば、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴）の三次元表現）を含む（８３４ａ）。図７Ｂなどのいくつかの実施形態では、電子デバイス（例えば、１０１）は、三次元で表示された個別のコンテンツを含むナビゲーションユーザインタフェース要素（例えば、７０４ｂ）を表示している間に、１つ以上の入力デバイス（例えば、１つ以上のカメラ、距離センサ、ハンドトラッキングデバイス、アイトラッキングデバイス）を介して、ユーザの既定の部分（例えば、７２８ａ）（例えば、手、腕、頭部など）の移動を検出する（８３４ｂ）。図７Ｂなどのいくつかの実施形態では、ユーザの既定の部分（例えば、７２８ａ）の移動を検出したことに応じて（８３４ｃ）、ユーザの既定の部分（例えば、７２８ａ）がナビゲーションユーザインタフェース要素（例えば、７０４ｂ）内に三次元で表示された個別のコンテンツに対応するロケーションにある（例えば、三次元環境内のユーザの既定の部分のロケーションが、三次元環境内の個別のコンテンツのロケーションの閾値距離（例えば、０．１、０．２、０．３、０．５、１、２、３、４、５、１０センチメートルなど）と交差するか、又はその範囲内にある）という判定に従って、電子デバイス（例えば、１０１）は、ナビゲーションユーザインタフェース要素（例えば、７０４ｂ）を更新して（８３４ｄ）、図７Ｂのように、三次元で表示された個別のコンテンツを視覚的デエンファシスする（（例えば、もはや含まない）例えば、個別のコンテンツの表示を停止するか、又は表示をデエンファシスする（例えば、より透明にする、より不透明でなくする）か、又は個別のコンテンツを二次元で表示する）。いくつかの実施形態では、電子デバイスは、ユーザの既定の部分に対応するロケーションにあるコンテンツの三次元表示を停止し、ユーザの既定の部分のロケーションに対応しないロケーションにおけるナビゲーションユーザインタフェース要素の他のコンテンツの三次元表示を維持する。いくつかの実施形態では、電子デバイスは、ユーザの既定の部分の表現を提示する。いくつかの実施形態では、ユーザの既定の部分の表現は、表示生成コンポーネントによって提示されるユーザの既定の部分の表現（例えば、仮想又はビデオパススルー）である。いくつかの実施形態では、ユーザの既定の部分の表現は、表示生成コンポーネントの透明部分を通したユーザの既定の部分のビューである（例えば、真の又は実際のパススルー）。
個別のコンテンツに対応するロケーションへのユーザの既定の部分の移動の検出に応じて、個別のコンテンツの三次元表示を停止する上述の方法は、ユーザの既定の部分の表現の視認性を維持する効率的な方法を提供し、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、電子デバイスは、図７Ａのナビゲーションユーザインタフェース要素７０４ａに第２の電子デバイスのインジケーションを表示するなど、第２の電子デバイスの個別の物理ロケーションに対応するナビゲーションユーザインタフェース要素内の個別のロケーションに表示された第２の電子デバイス（例えば、電子デバイスのユーザとは異なるユーザに関連付けられた）のインジケーションをナビゲーションユーザインタフェース要素内に表示する（８３６ａ）。いくつかの実施形態では、電子デバイスは、第２の電子デバイスのロケーションのインジケーションを（例えば、第２の電子デバイスから、サーバから）受信する。例えば、電子デバイスのユーザ及び第２の電子デバイスの第２のユーザは、第２の電子デバイスのロケーションを電子デバイスに提示し、電子デバイスのロケーションを第２の電子デバイスに提示するサービスを介して接続される。いくつかの実施形態では、ナビゲーションユーザインタフェース要素内に第２の電子デバイスのインジケーションを表示している間に、電子デバイスは、１つ以上の入力デバイスを介して、図７Ｃのオプション７２０ｂの選択を検出するのと同様の方法で、第２の電子デバイスのインジケーションの選択を検出する（８３６ｂ）。いくつかの実施形態では、インジケーションの選択を検出することは、アイトラッキングデバイスを介して、ユーザの視線が第２の電子デバイスのインジケーションに向けられていることを検出することと、ハンドトラッキングデバイスを介して、ユーザが所定のジェスチャ（例えば、ユーザが親指を手の別の指の閾値距離（例えば、０．０５、０．１、０．５、１、２センチメートルなど）内で動かすピンチジェスチャ）を実行することを検出することとを含む。いくつかの実施形態では、インジケーションの選択を検出することは、ハンドトラッキングデバイスを介して、ユーザの所定の部分（例えば、手）が第２の電子デバイスのインジケーションに対応するロケーションの閾値距離（例えば、１、２、３、５、１０、２０センチメートルなど）内にある間、ユーザが所定のジェスチャ（例えば、ユーザが手の別の指の閾値距離（例えば、０．０５、０．１、０．５、１、２センチメートルなど）内で親指を移動させるピンチジェスチャ）を行うことを検出することを含む。いくつかの実施形態では、第２の電子デバイスのインジケーションの選択を検出したことに応じて、電子デバイスは、表示生成コンポーネントを介して（例えば、三次元環境内の第１の個別のロケーションにおいて）、第２の電子デバイスの個別の物理ロケーションの第２の電子デバイスによってキャプチャされたコンテンツを、電子デバイスが図７Ａのインジケーション７１６に対応するコンテンツ７０８ａを提示する方法と同様の方法で表示する（８３６ｃ）。例えば、コンテンツは、第２の電子デバイス（例えば、それと通信している１つ以上のカメラ及び／又はマイクロフォン）によってキャプチャされたライブビデオである。いくつかの実施形態では、コンテンツは、第２の電子デバイスの物理ロケーションに関連付けられた１つ以上の画像及び／又はビデオコンテンツである（例えば、第２の電子デバイスによってキャプチャされた、又はキャプチャされていない）。
第２の電子デバイスのロケーションに対応するナビゲーションユーザインタフェース要素内のロケーションに表示された第２の電子デバイスのインジケーションの選択を検出したことに応じて、第２の電子デバイスによってキャプチャされたコンテンツを提示する上述の方法は、第２の電子デバイスのロケーションに対応するコンテンツを閲覧する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図７Ｇなどのいくつかの実施形態では、第１の個別のコンテンツは、第１の物理ロケーションに位置する（又はそこから見える）オブジェクト（例えば、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴）の二次元表現（例えば、７３２ｂ）を含む（８３８ａ）。図７Ｇなどのいくつかの実施形態では、電子デバイス（例えば、１０１）は、オブジェクトの二次元表現（例えば、７３２ｂ）とオブジェクトの三次元表現（例えば、７０８ｅ）（例えば、第１の個別のコンテンツの前に表示される）とを含む第１の個別のコンテンツを同時に表示する（８３８ｂ）。いくつかの実施形態では、オブジェクトの二次元表現及び三次元表現を表示している間、電子デバイスは、ナビゲーションユーザインタフェース要素の表示を維持する。いくつかの実施形態では、オブジェクトの三次元表現は、三次元環境の第１の個別のロケーション（例えば、第１の個別のコンテンツ内、第１の個別のコンテンツに近接する、第１の個別のコンテンツにオーバーレイされるなど）に表示されたユーザインタフェース要素の選択を検出したことに応じて表示される。いくつかの実施形態では、オブジェクトの三次元表現は、オブジェクトの二次元表現の選択の検出に応じて表示される。いくつかの実施形態では、オブジェクトの三次元表現は、ユーザの視点とオブジェクトの二次元表現との間に表示される。
オブジェクトの二次元表現及び三次元表現を同時に表示する上述の方法は、オブジェクトに関するより多くの情報（例えば、オブジェクトの異なるビュー）を見る効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図９Ａ～９Ｈは、いくつかの実施形態による、第２の物理ロケーションに対応するコンテンツを提示する要求に対応する入力に応じて、コンテンツ要素内の低減された視覚的顕著性を伴って、第１の物理ロケーションから第２の物理ロケーションへのナビゲーションを提示する方法を示すフローチャートである。いくつかの実施形態では、方法９００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）と、１つ以上のカメラ（例えば、ユーザノン手に置いて下方を向くカメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ）又はユーザの頭部から前方に向くカメラ）とを含む、コンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、方法９００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって統御される。方法９００の一部の動作は、任意選択的に組み合わされ、及び／又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法９００は、表示生成コンポーネント及び１つ以上の入力デバイス（例えば、モバイルデバイス（例えば、タブレット、スマートフォン、メディアプレーヤ、又はウェアラブルデバイス）、又はコンピュータ）と通信する電子デバイス（例えば、１０１）において実行される。いくつかの実施形態では、表示生成コンポーネントは、電子デバイス（任意選択的にタッチスクリーンディスプレイ）と一体化されたディスプレイ、モニタ、プロジェクタ、テレビなどの外部ディスプレイ、又はユーザインタフェースを投影し１人以上のユーザにユーザインタフェースが可視であるようにするためのハードウェア構成要素（任意選択的に組み込み若しくは外部）などである。いくつかの実施形態では、１つ以上の入力デバイスは、ユーザ入力（例えば、ユーザ入力をキャプチャし、ユーザ入力を検出する等）を受信し、ユーザ入力に関連する情報を電子デバイスに送信することができる電子デバイス又はコンポーネントを含む。入力デバイスの例は、タッチスクリーン、マウス（例えば、外部）、トラックパッド（任意選択で統合又は外部）、タッチパッド（任意選択で統合又は外部）、リモートコントロールデバイス（例えば、外部）、別のモバイルデバイス（例えば、電子デバイスとは別個）、ハンドヘルドデバイス（例えば、外部）、コントローラ（例えば、外部）、カメラ、深度センサ、アイトラッキングデバイス、及び／又はモーションセンサ（例えば、ハンドトラッキングデバイス、ハンドモーションセンサ）などを含む。いくつかの実施形態では、電子デバイスは、ハンドトラッキングデバイス（例えば、１つ以上のカメラ、深度センサ、近接センサ、タッチセンサ（例えば、タッチスクリーン、トラックパッド）と通信する。いくつかの実施形態では、ハンドトラッキングデバイスは、スマートグローブなどのウェアラブルデバイスである。いくつかの実施形態では、ハンドトラッキングデバイスは、リモートコントロール又はスタイラスなどのハンドヘルド入力デバイスである。
図７Ａなどのいくつかの実施形態では、電子デバイス（例えば、１０１）は、表示生成コンポーネント（例えば、１２０）を介して、第１の物理ロケーションに対応する第１のロケーション（９０２ｂ）（例えば、７１６）を有するナビゲーションユーザインタフェース要素（例えば、７０４ａ）を含むユーザインタフェースを表示する（９０２ａ）。いくつかの実施形態では、ユーザインタフェースは、ユーザインタフェースを含む仮想オブジェクトの表現と、電子デバイスの物理的環境内の現実のオブジェクトの表現とを含む三次元環境を含む。三次元環境は、任意選択的に、三次元環境内の個別のロケーション（例えば、電子デバイスのロケーションに対応する）における電子デバイスに関連付けられたユーザの視点からの一人称視点から提示される。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、方法８００を参照して説明したように、第１の物理ロケーションに対応する第１のロケーションに視覚的インジケーション（例えば、ピン）を有する物理ロケーションの三次元地形マップを含む。例えば、ナビゲーションユーザインタフェース要素は、都市の住所、ランドマーク、又は座標に対応する第１のロケーションに表示された旗、ピン、又は他の視覚的インジケーションを有する建物、通り、及び他のランドマークの三次元表現を含む都市の三次元地形マップを含む。いくつかの実施形態では、電子デバイスは、指定された第１の物理ロケーションに対応する第１のロケーションを有するナビゲーションユーザインタフェース要素を表示する。
図７Ａなどのいくつかの実施形態では、電子デバイス（例えば、１０１）は、表示生成コンポーネント（例えば、１２０）を介して、第１の物理ロケーション（例えば、７１６）の第１のビューに対応する第１の（例えば、７０８ａ個別のコンテンツ）を含むコンテンツ要素（例えば、７０６）を含むユーザインタフェースを表示し（９０２ａ）、コンテンツ要素（例えば、７０６）は、第１の視覚的顕著性で表示される（９０２ｃ）。いくつかの実施形態では、第１の個別のコンテンツは、第１の物理ロケーションから撮影された画像及び／又は第１の物理ロケーションの画像（例えば、第１の物理ロケーションからのストリートレベルビュー画像）である。いくつかの実施形態では、第１の個別のコンテンツは、第１の物理ロケーションで記録された（例えば、ライブ）ビデオである。いくつかの実施形態では、第１の個別のコンテンツは、方法８００を参照して説明した第１の個別のコンテンツの１つ以上の特性を有する。いくつかの実施形態では、視覚的顕著性の度合いは、コンテンツ要素及び／又はコンテンツ要素に含まれる第１の個別のコンテンツに適用されるぼかしの量であり、第１の視覚的顕著性の度合いでコンテンツ要素を表示することは、コンテンツ要素及び／又はコンテンツ要素に含まれる第１の個別のコンテンツをぼかしなし（又は比較的低い）で表示することである。いくつかの実施形態では、視覚的顕著性の程度は、ユーザインタフェース内の透明性（例えば、比較的低い透明性）、コントラスト（例えば、比較的高いコントラスト）、色（例えば、比較的高い色又は明るい色）、サイズ（例えば、比較的大きいサイズ）、及び／又はポジション（例えば、比較的顕著な／中心ポジション）の量である。いくつかの実施形態では、ナビゲーションユーザインタフェース要素及び／又はコンテンツ要素及び／又は第１の個別のコンテンツは、デバイスによって生成、表示、又はその他の方法で視認可能にされる三次元環境（例えば、仮想現実（ＶＲ）環境、複合現実（ＭＲ）環境、又は拡張現実（ＡＲ）環境などのコンピュータ生成現実（ＸＲ）環境）において表示される。
図７Ｂのようないくつかの実施形態では、表示生成コンポーネント（例えば、１２０）を介して、第１の視覚的顕著性を有するコンテンツ要素（例えば、７０６）を表示している間に、電子デバイス（例えば、１０１）は、１つ以上の入力デバイスを介して、第２の物理ロケーションに対応する第２のロケーションを指定する要求に対応するユーザ入力（又は一連の複数のユーザ入力）を検出する（９０２ｄ）。いくつかの実施形態では、入力は、指定されたロケーションのインジケーションを地形マップ上の第１のロケーションから第２のロケーションに移動させる入力など、ナビゲーションユーザインタフェース要素に向けられる。いくつかの実施形態では、入力は、コンテンツの視点を第１の物理ロケーションから第２の物理ロケーションに変更するための、又は第１の個別のコンテンツの視野を回転させるための入力など、第１の個別のコンテンツに向けられる。いくつかの実施形態では、ユーザ入力は、方法８００を参照して説明した第２の物理ロケーションに対応する第２のロケーションを指定する要求に対応するユーザ入力の１つ以上の特性を有する。
図７Ｂなどのいくつかの実施形態では、ユーザ入力を検出したことに応じて（例えば、検出している間に）、電子デバイス（例えば、１０１）は、コンテンツ要素（例えば、７０６）内に、第１のロケーションから第２のロケーションへのナビゲーションを表示し（９０２ｅ）、これは、第１のロケーションと第２のロケーションとの間の１つ以上のロケーションの表現を、第１の視覚的顕著性に対して低減された視覚的顕著性で表示することを含む。いくつかの実施形態では、視覚的顕著性の程度は、ユーザインタフェース内の半透明性（例えば、比較的高い半透明性）、コントラスト（例えば、比較的低いコントラスト）、色（例えば、比較的低い色又は暗い色）、サイズ（例えば、比較的小さいサイズ）、及び／又はポジション（例えば、比較的微妙な／周辺ポジション）のうちの１つ以上の程度である。いくつかの実施形態では、ユーザ入力が提供されている間、電子デバイスは、コンテンツ要素及び／又はコンテンツ要素に含まれるコンテンツを、ぼかされた（例えば、比較的高いぼやけ）外観で表示する。いくつかの実施形態では、入力は、ユーザが、個別の物理ロケーションに対応する個別のロケーションの視覚的インジケーション（例えば、ピン）をナビゲーションユーザインタフェース要素内の１つのロケーションからナビゲーションユーザインタフェース要素内の異なるロケーションに移動させることである。例えば、ユーザは、第１のロケーションから視覚的インジケーションをピックアップし、それをナビゲーションユーザインタフェース要素内の第２のロケーションに配置し、ユーザが視覚的インジケーションを移動させている間、電子デバイスはコンテンツ要素をぼかす。いくつかの実施形態では、ユーザ入力（又は複数のユーザ入力のシーケンス）を検出している間、コンテンツ要素は、低減された視覚的顕著性（例えば、比較的高い量のぼかし）を有する第１の個別のコンテンツを含む。いくつかの実施形態では、ユーザ入力（又は複数のユーザ入力のシーケンス）を検出している間、コンテンツ要素は、低減された視覚的顕著性（例えば、比較的高い量のぼかし）で表示されるマップナビゲーション要素内の個別のロケーションの視覚的インジケーションの現在のポジションに対応する個別のコンテンツを含むように更新する。
図７Ｃなどのいくつかの実施形態では、電子デバイス（例えば、１０１）は、第１のロケーションから第２のロケーションへのナビゲーションを表示した後（及びユーザ入力を検出したことに応じて）、第２の物理ロケーション（例えば、７１６）の第２のビューに対応する第２の個別のコンテンツ（例えば、７０８ｃ）（例えば、方法８００を参照して説明したものなど）を、第１の視覚的顕著性に対して低減された視覚的顕著性よりも大きい視覚的顕著性でコンテンツ要素（例えば、７０６）に表示する（９０２ｆ）。いくつかの実施形態では、ユーザが第２のロケーションを指定するための１つ以上の入力を提供し終えた後、電子デバイスは、第２の個別のコンテンツを含むようにコンテンツ要素を更新し、第２の物理ロケーションの指定の視覚的インジケーション（例えば、ピン）を含むようにナビゲーションユーザインタフェースを更新する。いくつかの実施形態では、第２の個別のコンテンツは、第２の物理ロケーションから撮影された画像である。いくつかの実施形態では、第１の個別のコンテンツは、第２の物理ロケーションで記録された（例えば、ライブ）ビデオである。いくつかの実施形態では、電子デバイスは、コンテンツ及びナビゲーションユーザインタフェース要素がユーザ入力に応じて表示される三次元環境内のロケーションを維持する。いくつかの実施形態では、入力を検出したことに応じて、及び／又は入力が検出された後、電子デバイスは、ぼかしのない第２の個別のコンテンツ（及び／又は上述のように、第１の視覚的顕著性に対応する視覚的顕著性の他の特性）を表示する。いくつかの実施形態では、低減された視覚的顕著性よりも大きい視覚的顕著性は、入力を検出する前にユーザインタフェースが表示される第１の視覚的顕著性と同じである。いくつかの実施形態では、低減された視覚的顕著性よりも大きい視覚的顕著性は、入力を検出する前にユーザインタフェースが表示される第１の視覚的顕著性よりも視覚的に顕著である。いくつかの実施形態では、低減された視覚的顕著性よりも大きい視覚的顕著性は、入力を検出する前にユーザインタフェースが表示される第１の視覚的顕著性よりも視覚的に目立たない。
第２のロケーションを指定する要求に対応するユーザ入力を検出しながらコンテンツ要素の視覚特性を更新する上述の方法は、第２のロケーションを指定することがコンテンツ要素を更新することになることをユーザに示す効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善し、更なるユーザ入力によって訂正されなければならない使用の誤りを低減し、（例えば、コンテンツに対応するロケーションの視覚的インジケーションが移動されている間）電子デバイスが第１のロケーション及び／又は第１のロケーションと第２のロケーションとの間の中間ロケーションに対応するコンテンツを完全にレンダリングする必要性を低減する。
図７Ｂなどのいくつかの実施形態では、低減された視覚的顕著性を伴ってコンテンツ要素（例えば、７０６）を表示することは、低減された視覚的顕著性（例えば、コンテンツ要素の全エリアをぼかし、フェード、暗くするなど）を伴ってコンテンツ要素（例えば、７０６）の全体を表示することを含む（９０４ａ）。いくつかの実施形態では、低減された視覚的顕著性を有するコンテンツ要素全体を表示することは、低減された視覚的顕著性を有するコンテンツ要素に含まれる個別のコンテンツ全体を表示することを含む。
視覚的顕著性の程度が低減されたコンテンツ要素の全体を表示する上述の方法は、第２のロケーションを指定することがコンテンツ要素を更新することになることをユーザに示す効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善し、更なるユーザ入力によって訂正されなければならない使用の誤りを低減し、（例えば、コンテンツに対応するロケーションの視覚的インジケーションが移動されている間）電子デバイスが第１のロケーション及び／又は第１のロケーションと第２のロケーションとの間の中間ロケーションに対応するコンテンツを完全にレンダリングする必要性を低減する。
いくつかの実施形態では、低減された視覚的顕著性を有するコンテンツ要素を表示することは、低減された視覚的顕著性（例えば、ぼかし、フェード、暗化など）を有するコンテンツ要素の第２の領域（例えば、コンテンツ要素の縁部）を（例えば、少なくとも部分的に）囲むコンテンツ要素の第１の領域を表示することと、低減された視覚的顕著性を有さずに（例えば、ぼかされずに、フェードされずに、暗くされずに）図７Ｂのコンテンツユーザインタフェース要素７０４ｂの中央部分を表示することなど、第１の視覚的顕著性を有するコンテンツ要素の第２の領域を表示することとを含む（９０６ａ）。いくつかの実施形態では、低減された視覚的顕著性を有するコンテンツ要素の第１の領域を表示することは、低減された視覚的顕著性を有するコンテンツ要素の第１の領域に含まれる個別のコンテンツの部分を表示することを含む。いくつかの実施形態では、縁部を有する電子デバイスコンテンツ要素は、ぼかされ、フェードされ、及び／又は暗くされる。
視覚的顕著性の程度が低減されたコンテンツ要素の第１の領域を表示する上述の方法は、第２のロケーションを指定することがコンテンツ要素を更新することになることをユーザに示す効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善し、更なるユーザ入力によって訂正されなければならない使用の誤りを低減し、（例えば、コンテンツに対応するロケーションの視覚的インジケーションが移動されている間）電子デバイスが第１のロケーション及び／又は第１のロケーションと第２のロケーションとの間の中間ロケーションに対応するコンテンツを完全にレンダリングする必要性を低減する。
図７Ａなどのいくつかの実施形態では、電子デバイス（例えば、１０１）は、コンテンツ要素（例えば、７０６）を第１の視覚的顕著性で表示している間、かつ第２の物理ロケーションに対応する第２のロケーションを指定する要求に対応するユーザ入力を検出する前に、ナビゲーションユーザインタフェース要素（例えば、７０４ａ）の少なくとも一部を第２の視覚的顕著性で（例えば、三次元で、フルカラーで）表示する（９０８ａ）。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、第１のロケーションを含む領域の三次元マップである。例えば、ナビゲーションユーザインタフェース要素は、領域内の建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴などの三次元表現を含む。いくつかの実施形態では、電子デバイスは、ナビゲーションユーザインタフェース要素（の少なくとも一部）を第２の視覚的顕著性で表示している間、ナビゲーションユーザインタフェース要素内の表現の全て（又は少なくとも一部）を三次元でフルカラー、半透明などで表示する。図７Ｂなどのいくつかの実施形態では、ユーザ入力を検出している間、及びコンテンツ要素（例えば、７０６）を第１の視覚的顕著性に対して低減された視覚的顕著性で表示している間、電子デバイス（例えば、１０１）は、ナビゲーションユーザインタフェース要素（例えば、７０４ｂ）の少なくとも一部を第２の視覚的顕著性に対して低減された視覚的顕著性で（例えば、二次元で、フェードされた／暗くされた色で、半透明性が高く）表示する（９０８ｂ）。いくつかの実施形態では、電子デバイスは、ユーザ入力を検出している間に、ナビゲーションユーザインタフェース要素によって表される領域内のオブジェクトのうちの１つ以上の二次元表現、並びに／又は暗くされた表現、フェードされた表現、及び／若しくは半透明の表現を含むように、ナビゲーションユーザインタフェース要素を更新する。いくつかの実施形態では、電子デバイスは、ユーザ入力を検出している間、低減された視覚的顕著性を有するナビゲーションユーザインタフェース要素全体を表示する。いくつかの実施形態では、電子デバイスは、ユーザ入力を検出している間、ナビゲーションユーザインタフェース要素の少なくとも一部（例えば、縁部、ユーザの既定の部分（例えば、手、腕、頭部、指）に対応するロケーションにある部分）を低減された視覚的顕著性で表示する。
ユーザ入力を検出している間にナビゲーションユーザインタフェース要素の少なくとも一部を低減された視覚的顕著性で表示する上述の方法は、入力が検出されている間に電子デバイスがナビゲーションユーザインタフェース要素を完全にレンダリングする必要性を低減し、これは、電子デバイスによって実行されている動作の数及び／又は複雑さを低減することによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する。
図７Ｃなどのいくつかの実施形態では、電子デバイス（例えば、１０１）は、第１のロケーションから第２のロケーションへのナビゲーションを表示した後、第１の視覚的顕著性に対する低減された視覚的顕著性よりも大きい視覚的顕著性でコンテンツ要素（例えば、７０６）を表示している間に、第２の視覚的顕著性に対する低減された視覚的顕著性よりも大きい視覚的顕著性で（例えば、第２の視覚的顕著性で、第２の視覚的顕著性とは異なる視覚的顕著性で）ナビゲーションユーザインタフェース要素（例えば、７０４ａ）を表示する（９１０ａ）。いくつかの実施形態では、第１のロケーションから第２のロケーションへのナビゲーションを表示した後、電子デバイスは、三次元の物理的オブジェクト（例えば、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴）の１つ以上の表現を有し、及び／又は表現の色に対して彩度がより高く、半透明性がより低く、ぼかしがより少ない色を有するナビゲーションユーザインタフェース要素を表示しながら、第２の視覚的顕著性に対して低減された視覚的顕著性でナビゲーションユーザインタフェース要素を表示する。いくつかの実施形態では、第１のロケーションから第２のロケーションへのナビゲーションを表示している間、電子デバイスは、低減された視覚的顕著性を有するナビゲーションユーザインタフェース要素を表示し、第１のロケーションから第２のロケーションへのナビゲーションを表示した後、電子デバイスは、ナビゲーションユーザインタフェース要素の視覚的顕著性を増大させる。
第１のロケーションから第２のロケーションへのナビゲーションを表示した後にナビゲーションユーザインタフェース要素が表示される視覚的顕著性を増加させる上述の方法は、ナビゲーションユーザインタフェース要素の視認性を自動的に改善する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって（例えば、第１のロケーションから第２のロケーションへのナビゲーションを表示した後にナビゲーションユーザインタフェース要素を見るために必要な入力の数を低減することによって）、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図７Ｂなどのいくつかの実施形態では、第２のロケーションを指定する要求に対応するユーザ入力を検出することは、アイトラッキングデバイスを介して、電子デバイス（例えば、１０１）のユーザの視線（例えば、７０１ｄ）がナビゲーションユーザインタフェース要素（例えば、７０４ｂ）に向けられていることを検出する（９１２ｂ）ことを含む（９１２ａ）。いくつかの実施形態では、電子デバイスは、ユーザの視線が（例えば、ナビゲーションユーザインタフェース要素内の第１のロケーションに表示された）第１の物理ロケーションの指定の視覚的インジケーションに向けられていることを検出する。いくつかの実施形態では、電子デバイスは、ユーザの視線が第２の物理ロケーションに対応するナビゲーションユーザインタフェース要素の第２のロケーションに向けられていることを検出する。図７Ｂのようないくつかの実施形態では、第２のロケーションを指定する要求に対応するユーザ入力を検出することは、１つ以上の入力デバイス（例えば、ハンドトラッキングデバイス）を介して、電子デバイス（例えば、１０１）のユーザの既定の部分（例えば、７２８ａ）（例えば、指（単数又は複数）、手、腕、頭部など）のジェスチャが１つ以上の基準を満たすことを検出する（９１２ｃ）ことを含む（９１２ａ）。いくつかの実施形態において、既定のジェスチャは、ユーザが自分の手の親指を動かして手の別の指に触れるピンチジェスチャに対応する。いくつかの実施形態では、電子デバイスは、指定を「ピックアップ」するための１つ以上の基準を満たすジェスチャを行いながら、ユーザが第１のロケーションの指定の視覚的インジケーションを見ていることを検出して、指定を移動させるプロセスを（例えば、ユーザの既定の部分の移動に従って）開始する。いくつかの実施形態では、電子デバイスは、指定を第２のロケーションに移動させるための１つ以上の基準を満たすジェスチャを行っている間に、ユーザが第２のロケーションを見ていることを検出する。
ユーザの視線及びユーザによって実行されるジェスチャの検出に応じて第１のロケーションから第２のロケーションにナビゲートする上述の方法は、ユーザインタフェースをナビゲートする直感的な方法を提供し（例えば、触知入力デバイスを操作することなく）、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図７Ｂのようないくつかの実施形態では、コンテンツ要素（例えば、７０６）において第１のロケーションから第２のロケーションへのナビゲーションを表示している間に、電子デバイス（例えば、１０１）は、ナビゲーションユーザインタフェース要素（例えば、７０４ｂ）において第１のロケーションから第２のロケーションへのナビゲーションの対応するアニメーションを表示する（９１４ａ）。いくつかの実施形態では、ナビゲーションユーザインタフェース要素における第１のロケーションから第２のロケーションへのナビゲーションの対応するアニメーションは、ナビゲーションユーザインタフェース要素をパン及び／又はズームすることを含む。いくつかの実施形態では、ナビゲーションユーザインタフェース要素内の第１のロケーションから第２のロケーションへのナビゲーションの対応するアニメーションは、ナビゲーションユーザインタフェース要素内の第１のロケーションから第２のロケーションへ指定されたロケーションの視覚的インジケーション（例えば、旗、ピンなど）を移動させるアニメーションを表示することを含む。
ナビゲーションユーザインタフェース要素において第１のロケーションから第２のロケーションへのナビゲーションのアニメーションを表示する上述の方法は、第２のロケーションを指定することがユーザインタフェースを更新することになることをユーザに示す効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善し、更なるユーザ入力によって訂正されなければならない使用の誤りを低減する。
いくつかの実施形態では、電子デバイスは、ユーザインタフェース内に、第１の個別の物理ロケーションから第２の個別の物理ロケーションまでのナビゲーション経路のプレビュー（例えば、図７Ｈのナビゲーション経路のプレビューなど）を表示するために選択可能な選択可能なオプションを表示する（９１６ａ）。いくつかの実施形態では、選択可能なオプションは、第１の個別の物理ロケーションから第２の個別の物理ロケーションまでのナビゲーション経路を提示する要求に応じて表示される。いくつかの実施形態では、選択可能なオプションは、第１の個別の物理ロケーションから第２の個別の物理ロケーションまでのナビゲーション経路のインジケーションと同時に表示される。図７Ｈなどのいくつかの実施形態では、選択可能なオプションの選択を検出したことに応じて（９１６ｂ）、電子デバイス（例えば、１０１）は、ナビゲーション経路をナビゲートすることに対応するビューのアニメーション（例えば、７０８ｆ）をコンテンツ要素（例えば、７０６）内に表示する（９１６ｃ）。いくつかの実施形態では、ナビゲーション経路をナビゲートすることに対応するビューのアニメーションは、ナビゲーション経路をナビゲートする誰かの視点からのビデオコンテンツ及び／又は一連の画像である。図７Ｈのようないくつかの実施形態では、選択可能なオプションの選択を検出したことに応じて（９１６ｂ）、電子デバイス（例えば、１０１）は、ナビゲーションユーザインタフェース要素（例えば、７０４ｃ）内に、ナビゲーション経路（例えば、７４０）をナビゲートする対応するインジケーション（例えば、７３６）を表示する（９１６ｄ）。いくつかの実施形態では、ナビゲーションユーザインタフェース要素内に表示される対応するインジケーションは、ナビゲーション経路（例えば、ナビゲーションユーザインタフェース要素上にオーバーレイされたナビゲーションパス）の視覚的インジケーションと、コンテンツ要素内に表示されるアニメーションの部分に対応する個別の物理ロケーションのインジケーションとを含む。いくつかの実施形態では、コンテンツ要素内のアニメーションが進行するにつれて、コンテンツ要素内に表示されるアニメーションの部分に対応する個別の物理ロケーションのインジケーションは、ナビゲーションユーザインタフェース要素内のインジケーションが、コンテンツ要素内に表示されるアニメーションと同期される様式で移動するように移動する。いくつかの実施形態では、ナビゲーション経路の視覚的インジケーションは、ナビゲーション経路に沿っていないナビゲーションユーザインタフェース要素に含まれる他の道路の視覚特性とは異なる視覚特性（例えば、色、厚さなど）で表示されるナビゲーション経路の表現である。
コンテンツ要素にアニメーションを表示し、ナビゲーションユーザインタフェース要素に対応するインジケーションを表示する上述の方法は、アニメーションをアニメーションの現在表示されている部分に対応する個別の物理ロケーションのインジケーションと同時に提示する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって（例えば、アニメーションの部分に対応する物理ロケーションを判定するために必要な入力の数を低減することによって）、電力使用量を更に削減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図７Ｂに示す入力を検出している間などに、ナビゲーションユーザインタフェース要素（例えば、７０４ｂ）は、ナビゲーションユーザインタフェース要素（例えば、７０４ｂ）に対応するそれぞれの物理ロケーションに位置するそれぞれのオブジェクト（例えば、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴）の１つ以上の（例えば、三次元、二次元）表現（例えば、７１０ｃ）を含む（９１８ａ）。いくつかの実施形態において、ナビゲーションユーザインタフェース要素は、ナビゲーションユーザインタフェース要素に表示された領域に対応する個別の物理的領域に位置する物理的オブジェクトの三次元表現を含む。いくつかの実施形態では、ナビゲーションユーザインタフェース要素（例えば、図７Ｂの７０４ｂ）を表示している間（９１８ｂ）、ナビゲーションユーザインタフェース要素（例えば、７０４ｂ）の境界がそれぞれのオブジェクトの１つ以上の表現（例えば、７１０ｃ）のうちの個別の１つと一致するという判定に従って、電子デバイス（例えば、１０１）は、ナビゲーションユーザインタフェース要素におけるそれぞれのオブジェクトの１つ以上の表現のうちの個別の１つの表示を見合わせる（９１８ｃ）。いくつかの実施形態では、ナビゲーションユーザインタフェース要素を表示している間、それぞれのオブジェクトの１つ以上の表現のうちの個別の１つがナビゲーションユーザインタフェース要素の境界内にあるという判定に従って、電子デバイスは、ナビゲーションユーザインタフェース要素内のそれぞれのオブジェクトの１つ以上の表現の個別の１つの表示を維持する。いくつかの実施形態では、電子デバイスは、ナビゲーションユーザインタフェース要素の境界内に完全にあるオブジェクトの表現を表示する。いくつかの実施形態では、ナビゲーションユーザインタフェース要素をパンしたことに応じて、電子デバイスは、ナビゲーションユーザインタフェース要素を更新して、ナビゲーションユーザインタフェース要素のパンに起因してナビゲーションユーザインタフェース要素の境界（例えば、ナビゲーションユーザインタフェース要素と、ナビゲーションユーザインタフェース要素を囲むように表示されるデバイスの物理的環境の表現との間の境界）に対応するロケーションに現在表示されているオブジェクトの表現の表示を停止する。いくつかの実施形態では、ナビゲーションユーザインタフェース要素をパンしたことに応じて、電子デバイスは、ナビゲーションユーザインタフェース要素を更新して、ナビゲーションユーザインタフェース要素のパンに起因してナビゲーションユーザインタフェース要素の境界内のロケーションに完全に表示されているオブジェクトの表現の表示を開始する。いくつかの実施形態では、電子デバイスは、ナビゲーションユーザインタフェース要素の境界に対応するロケーションに位置する第１のタイプのオブジェクト（例えば、建物、植物）の表現の表示を見合わせ、ナビゲーションユーザインタフェース要素の境界に対応するロケーションに位置する第２のタイプのオブジェクト（例えば、道路、地理的特徴、水域）の表現の一部を表示する。
ナビゲーションユーザインタフェース要素の境界と一致するオブジェクトの表現の表示を偽造する上述の方法は、表示生成コンポーネントを介して電子デバイスによって表示されるコンテンツの量を低減し、これは、（例えば、より少ない表現をレンダリングすることによって）電力使用量を低減し、電子デバイスのバッテリ寿命を改善する。
図７Ａのようないくつかの実施形態では、ナビゲーションユーザインタフェース要素（例えば、７０４ａ）を表示している間、ナビゲーションユーザインタフェース要素（例えば、７０４ａ）は、第１の物理ロケーションに位置する第１の（例えば、物理的）オブジェクトの第１の表現（例えば、７１０ａ）と、第２の物理ロケーションに位置する第２の（例えば、物理的）オブジェクトの第２の表現（例えば、７１０ｂ）とを含み、第１のオブジェクトの第１の表現（例えば、７１０ａ）及び第２のオブジェクトの第２の表現（例えば、７１０ｂ）は、ナビゲーションユーザインタフェース要素（例えば、７０４ａ）において三次元で表示され、電子デバイス（例えば、１０１）は、１つ以上の入力デバイスを介して、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素（例えば、７０４ａ）によって表される情報に対応する検索を実行する要求に対応する入力を検出する（９２０ａ）。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、個別の物理的領域内に位置する物理的オブジェクト（例えば、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴）の三次元表現を含む。いくつかの実施形態では、個別の検索クエリは、個別の物理ロケーション、個別のランドマーク、個別の住所などに対応する。いくつかの実施形態では、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素を検索する要求に対応する入力を検出したことに応じて（９２０ｂ）、個別の検索クエリが第１のオブジェクトに対応し、第２のオブジェクトに対応しない（例えば、第１のオブジェクトがクエリに一致し、第２のオブジェクトがクエリに一致しない）という判定に従って、電子デバイス（例えば、１０１）は、図７Ｇのように、ナビゲーションユーザインタフェース要素（例えば、７０４ｂ）内に第１のオブジェクトの第１の表現（例えば、７１０ｄ）を三次元でナビゲーションユーザインタフェース要素（例えば、７０４ｂ）内に表示し（９２０ｃ）、第２のオブジェクトの第２の表現の少なくとも一部（例えば、又は全て）を三次元でナビゲーションユーザインタフェース要素（例えば、７０４ｂ）内に表示することを見合わせる（９２０ｃ）。いくつかの実施形態では、第２のオブジェクトの第２の表現（及び個別の検索クエリに対応しない他のオブジェクトの表現）は、二次元で表示される。いくつかの実施形態では、電子デバイスは、第２のオブジェクトの第２の表現（及び個別の検索クエリに対応しない他のオブジェクトの表現）の表示を停止する。いくつかの実施形態では、電子デバイスは、第２のオブジェクトの第２の表現（及び個別の検索クエリに対応しない他のオブジェクトの表現）の高さを減少させ、及び／又は第２のオブジェクトの第２の表現（及び個別の検索クエリに対応しない他のオブジェクトの表現）が三次元で表示される程度を低減する。いくつかの実施形態では、電子デバイス（例えば、１０１）は、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素（例えば、７０４ｂ）を検索する要求に対応する入力を検出したことに応じて（９２０ｂ）、個別の検索クエリが第２のオブジェクトに対応し、第１のオブジェクトに対応しない（例えば、第２のオブジェクトがクエリに一致し、第１のオブジェクトがクエリに一致しない）という判定に従って、図７Ｇのように、ナビゲーションユーザインタフェース要素（例えば、７０４ｂ）内に第２のオブジェクトの第２の表現（例えば、７１０ｄ）をナビゲーションユーザインタフェース要素内に三次元で表示し（９２０ｄ）、ナビゲーションユーザインタフェース要素（例えば、７０４ｂ）内に第１のオブジェクトの第１の表現の少なくとも一部（又は全て）を三次元で表示することを見合わせる（９２０ｄ）。いくつかの実施形態では、第１のオブジェクトの第１の表現（及び個別の検索クエリに対応しない他のオブジェクトの表現）は、二次元で表示される。いくつかの実施形態では、電子デバイスは、第１のオブジェクトの第１の表現（及び個別の検索クエリに対応しない他のオブジェクトの表現）の表示を停止する。いくつかの実施形態では、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素を検索する要求に対応する入力を検出する前に、ナビゲーションユーザインタフェース要素内のオブジェクトの表現は二次元で表示され、検索クエリに応じて、電子デバイスは、検索クエリに一致するオブジェクトの表現を三次元で表示するようにナビゲーションユーザインタフェース要素を更新する（例えば、検索クエリに一致しないオブジェクトの表現の表示を二次元で維持する）。いくつかの実施形態では、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素を検索する要求に対応する入力を検出する前に、ナビゲーションユーザインタフェース要素内のオブジェクトの表現は三次元で表示され、検索クエリに応じて、電子デバイスは、検索クエリに一致するオブジェクトの表示表現を三次元で維持する（例えば、検索クエリに一致しないオブジェクトの表現を二次元で表示するようにナビゲーションユーザインタフェース要素を更新する）。
検索クエリに対応するオブジェクトを三次元で表示し、ナビゲーションユーザインタフェース要素において検索クエリに対応しないオブジェクトの三次元表現の表示を停止する上述の方法は、個別の検索クエリに一致するオブジェクトの表現を強調表示する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって（例えば、どのオブジェクトが検索クエリに対応し、どのオブジェクトが対応しないかを判定するために必要な入力の数を低減することによって）、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図７Ａのようないくつかの実施形態では、ナビゲーションユーザインタフェース要素（例えば、７０４ａ）を表示している間、ナビゲーションユーザインタフェース要素（例えば、７０４ａ）は、第１の物理ロケーションに位置する第１の（例えば、物理的）オブジェクトの第１の表現（例えば、７１０ａ）と、第２の物理ロケーションに位置する第２の（例えば、物理的）オブジェクトの第２の表現（例えば、７１０ｂ）とを含み、第１のオブジェクトの第１の表現（例えば、７１０ａ）及び第２のオブジェクトの第２の表現（例えば、７１０ｂ）は、第１の値を有する視覚特性（例えば、色、配色、半透明性、輝度、彩度）で表示され、電子デバイス（例えば、１０１）は、１つ以上の入力デバイスを介して、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素によって表される情報に対応する検索を実行する要求に対応する入力を検出する（９２２ａ）。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、第１の色（単数又は複数）で表示される個別の物理的領域内に位置する物理的オブジェクト（例えば、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴）の表現を含む。例えば、表現は、表現に対応するオブジェクトのタイプに対応する色（例えば、第１の色の建物、第２の色の道路、第３の色の植物）で表示される。別の例として、表現は、表現に対応するオブジェクトの色に対応するフルカラーで表示される。いくつかの実施形態では、個別の検索クエリは、個別の物理ロケーション、個別のランドマーク、個別の住所などに対応する。いくつかの実施形態では、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素を検索する要求に対応する入力を検出したことに応じて（９２２ｂ）、個別の検索クエリが第１のオブジェクトに対応し、第２のオブジェクトに対応しない（例えば、第１のオブジェクトがクエリに一致し、第２のオブジェクトがクエリに一致しない）という判定に従って、電子デバイス（例えば、１０１）は、図７Ｇのように、ナビゲーションユーザインタフェース要素（例えば、７０４ｂ）に、第２の値（例えば、第１の値と同じ又は異なる値）を有する視覚特性を有する第１のオブジェクトの第１の表現（例えば、７１０ｄ）の少なくとも一部（又は全て）を、ナビゲーションユーザインタフェース要素（例えば、７０４ｂ）内に表示し（９２２ｃ）、ナビゲーションユーザインタフェース要素（例えば、７０４ｂ）に、第２の値とは異なる第３の値（例えば、第１の値と同じ又は異なる値）を有する視覚特性を有する第２のオブジェクトの第２の表現（例えば、７１０ｅ）の少なくとも一部（又は全て）を表示する（９２２ｃ）。いくつかの実施形態では、第２のオブジェクトの第２の表現（及び個別の検索クエリに対応しない他のオブジェクトの表現）は、個別の検索クエリに対応する第１のオブジェクトの第１の表現とは異なる色、異なる配色又は設定などで表示される。いくつかの実施形態では、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素を検索する要求に対応する入力を検出したことに応じて（９２２ｂ）、個別の検索クエリが第１のオブジェクトではなく第２のオブジェクトに対応する（例えば、第２のオブジェクトがクエリに一致し、第１のオブジェクトがクエリに一致しない）という判定に従って、電子デバイス（例えば、１０１）は、ナビゲーションユーザインタフェース要素（例えば、７０４ｂ）内に、第２の値（例えば、第１の値と同じか又は異なる）を有する視覚特性を有する第２のオブジェクトの第２の表現（例えば、７１０ｄ）の少なくとも一部（又は全て）を、ナビゲーションユーザインタフェース要素（例えば、７０４ｂ）に表示し（９２２ｄ）、ナビゲーションユーザインタフェース要素（例えば、７０４ｂ）内に、第３の値（例えば、第１の値と同じか又は異なる）を有する視覚特性を有する第１のオブジェクトの第１の表現（例えば、７１０ｅ）の少なくとも一部（又は全て）を表示する（９２２ｄ）。いくつかの実施形態では、第１のオブジェクトの第１の表現（及び個別の検索クエリに対応しない他のオブジェクトの表現）は、個別の検索クエリに対応する第２のオブジェクトの第２の表現とは異なる色、異なる配色又は設定などで表示される。いくつかの実施形態では、電子デバイスは、検索クエリに対応するオブジェクトの表現の色、配色、又は設定などを維持し、検索クエリに対応しないオブジェクトの表現の色、配色、又は設定などを修正する。例えば、電子デバイスは、検索クエリに対応しない表現の彩度又はコントラストを低減するか、又は検索クエリに対応しない表現を所定の色で表示する。いくつかの実施形態では、電子デバイスは、検索クエリに対応しないオブジェクトの表現の色、配色、又は設定などを維持し、検索クエリに対応するオブジェクトの表現の色、配色、又は設定などを修正する。例えば、電子デバイスは、検索クエリに対応するオブジェクトの表現に対して、所定の色を強調する、明るくする、又は使用する。いくつかの実施形態では、電子デバイスは、検索クエリに対応するオブジェクトの表現を、第１の色で、又は検索要求を検出する前にオブジェクトの表現が表示された方法とは異なる第１の配色若しくは設定で表示し、検索クエリに対応しないオブジェクトの表現を、第２の色で、又は検索要求を検出する前にオブジェクトの表現が表示された方法とは異なる第２の配色若しくは設定で表示する。
検索クエリに対応するオブジェクトと検索クエリに対応しないオブジェクトとを異なる値を有する視覚特性を用いてナビゲーションユーザインタフェース要素に表示する上述の方法は、個別の検索クエリに一致するオブジェクトの表現を区別する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にする（例えば、どのオブジェクトが検索クエリに対応し、どのオブジェクトが対応しないかを判定するために必要な入力の数を低減する）ことによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ナビゲーションユーザインタフェース要素（例えば、図７Ａのナビゲーションユーザインタフェース要素７０４ａ）を表示している間、電子デバイス（例えば、１０１）は、１つ以上の入力デバイスを介して、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素（例えば、７０４ａ）によって表される情報に対応する検索を実行する要求に対応する入力を検出する（９２４ａ）。いくつかの実施形態では、個別の検索クエリは、個別の物理ロケーション、個別のランドマーク、個別の住所などに対応する。図７Ｇなどのいくつかの実施形態では、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素（例えば、７０４ｂ）を検索する要求に対応する入力を検出したことに応じて（９２４ｂ）、電子デバイス（例えば、１０１）は、表示生成コンポーネント（例えば、１２０）を介して、検索クエリ（例えば、コンテンツ要素内）に対応する物理的オブジェクト（例えば、及び／又はロケーション）の三次元表現（例えば、７０８ｅ）を表示する（９２４ｃ）。いくつかの実施形態では、三次元表現は、表現が対応する物理的オブジェクトに対して実際の縮尺である。いくつかの実施形態では、電子デバイスは、物理的オブジェクトの三次元表現と同時に、ナビゲーションユーザインタフェース要素内に物理的オブジェクトのロケーションのインジケーションを表示する。いくつかの実施形態では、電子デバイスは、物理的オブジェクトの三次元表現と同時に物理的オブジェクトに関する情報を表示する。いくつかの実施形態では、電子デバイスは、コンテンツ要素内又はナビゲーションユーザインタフェース要素内のオブジェクトの表現の選択を検出したことに応じて、物理的オブジェクトの三次元表現を表示する。いくつかの実施形態では、三次元表現は、方法８００の１つ以上のステップに従って表示される。
検索クエリに対応する物理的オブジェクトの三次元表現を表示する上述の方法は、検索クエリに対応するオブジェクトを識別する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図７Ａなどのいくつかの実施形態では、ナビゲーションユーザインタフェース要素（例えば、７０４ａ）は、（例えば、三次元で表示された）個別のコンテンツ（例えば、７１０ａ、７１０ｂ）を含む（９２６ａ）。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、物理的領域内の物理的オブジェクト（例えば、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴）の表現を含む。図７Ｂなどのいくつかの実施形態では、表示される個別のコンテンツを含むナビゲーションユーザインタフェース要素（例えば、７０４ｂ）を表示している間に、電子デバイスは、１つ以上の入力デバイスを介して、ユーザの既定の部分（例えば、７２８ａ）（例えば、指、手、腕、頭など）の移動を検出する（９２６ｂ）。いくつかの実施形態では、電子デバイスは、ユーザインタフェースを含む三次元環境においてユーザの既定の部分の表現を提示する。いくつかの実施形態では、表現は、電子デバイスの表示生成コンポーネントを介して表示されるユーザの既定の部分の写実的な表現（例えば、ビデオ又は仮想パススルー）である。いくつかの実施形態では、表現は、表示生成コンポーネントの透明部分を通して可視のユーザの既定の部分のビューである（例えば、実際の又は真のパススルー）。図７Ｂなどのいくつかの実施形態では、ユーザの既定の部分（例えば、７２８ａ）の移動を検出したことに応じて（９２６ｃ）、ユーザの既定の部分（例えば、７２８ａ）がナビゲーションユーザインタフェース要素（例えば、７０４ｂ）内の個別のコンテンツに対応するロケーションにある（例えば、三次元環境内のユーザの既定の部分のロケーションが、三次元環境内の個別のコンテンツのロケーションの閾値距離（例えば、０．１、０．２、０．３、０．５、１、２、３、４、５、１０センチメートルなど）と交差するか、又はその範囲内にある）という判定に従って、電子デバイス（例えば、１０１）は、ナビゲーションユーザインタフェース要素（例えば、７０４ｂ）内の個別のコンテンツを視覚的デエンファシスする（例えば、表示を停止する、平坦化する、ぼかす、半透明性を増加させる）（９２６ｄ）。例えば、電子デバイスは、ユーザの既定の部分がコンテンツナビゲーションユーザインタフェース要素内の個別のコンテンツに対応するロケーションにあるという判定に従って、個別のコンテンツを二次元で表示する一方で、ナビゲーションユーザインタフェース要素内の他のコンテンツの三次元での表示を維持する。いくつかの実施形態では、電子デバイスは、方法８００の１つ以上のステップに従って、個別のコンテンツに対応するロケーションでユーザの既定の部分を検出したことに応じて、個別のコンテンツを視覚的デエンファシスする。
ユーザの既定の部分がナビゲーションユーザインタフェース要素内の個別のコンテンツに対応するロケーションにあるという判定に従って個別のコンテンツを視覚的デエンファシスする上述の方法は、ユーザの既定の部分の表現の視認性を維持する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって（例えば、ユーザの既定の部分を使用して電子デバイスに入力を提供しながら、ユーザの既定の部分の視覚的なフィードバックをユーザに提供することによって）、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図７Ａなどのいくつかの実施形態では、ナビゲーション要素（例えば、７０４ａ）は、ナビゲーションユーザインタフェース要素（例えば、７０４ａ）によって表される（例えば、気象状況が発生している、発生した、又は発生すると予測される）個別の物理ロケーションにおける気象状況（例えば、降水、雲、日照、風、霧、霞）のインジケーション（例えば、７１２）を含み、個別の物理ロケーションにおける気象状況の三次元ロケーションのインジケーション（例えば、７１２）を含む（９２８ａ）。いくつかの実施形態では、インジケーションは、ナビゲーションユーザインタフェース要素内のあるロケーションに表示される気象状況の画像表現である。例えば、個別の物理ロケーションが雨を経験している場合、電子デバイスは、雨を経験している個別の三次元物理ロケーションに対応するナビゲーションユーザインタフェース要素内の三次元ロケーションに、雨雲及び雨の表現を表示する。別の例として、電子デバイスは、雲の三次元物理ロケーションに対応する三次元ロケーションに雲の三次元表現を表示する。例えば、高高度雲の表現は、ナビゲーションユーザインタフェース要素に対応する物理ロケーションの上方の比較的高い高度に対応するポジションに表示された雲の画像であり、低高度雲の表現は、ナビゲーションユーザインタフェース要素に対応する物理ロケーションの上方の比較的低い高度に対応するポジションに表示された雲の画像である。いくつかの実施形態では、ナビゲーションユーザインタフェース要素内の個別の三次元ロケーションにおける個別の気象状況のインジケーションは、気象状況のインジケーション及び物理ロケーションにおける気象状況の三次元ロケーションのインジケーションである。例えば、ナビゲーションユーザインタフェース要素内の第１のロケーションにおける雲のインジケーションは、曇天のインジケーション及び曇天を経験する物理ロケーションのインジケーションであり、ナビゲーションユーザインタフェース要素内の第２のロケーションにおけるスモッグのインジケーションは、スモッグのインジケーション及びスモッグを経験する物理ロケーションのインジケーションである。ナビゲーションユーザインタフェース要素に気象状況のインジケーションを表示する上述の方法は、ナビゲーションユーザインタフェース要素によって表される１つ以上の物理ロケーションにおける気象状況を提示する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって（例えば、複数のロケーションにおける気象状況を同時に見るために必要な入力の数を低減することによって）、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、方法８００及び９００の態様及び／又は動作は、これらの方法の間で交換、置換、及び／又は追加されてもよい。簡潔にするために、それらの詳細はここでは繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。
上述したように、本技術の一態様は、ユーザのＸＲ体験を改善するために、様々なソースから入手可能なデータを収集及び使用することである。本開示は、いくつかの場合には、この収集されたデータが、特定の人を一意に識別する個人情報データ、又は特定の人に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを考察する。そのような個人情報データとしては、人口統計データ、ロケーションベースのデータ、電話番号、電子メールアドレス、ツイッターＩＤ、自宅の住所、ユーザの健康若しくはフィットネスのレベルに関するデータ若しくは記録（例えば、バイタルサイン測定値、投薬情報、運動情報）、生年月日、又は任意の他の識別情報若しくは個人情報を挙げることができる。
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データは、ユーザのＸＲ体験を向上させるために使用することができる。更に、ユーザに利益をもたらす個人情報データに関する他の使用も本開示によって意図されている。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスについての洞察を提供するために使用することができ、又は、ウェルネスの目標を追求する技術を使用している個人への、積極的なフィードバックとして使用することもできる。
本開示は、そのような個人情報データの収集、分析、開示、送信、記憶、又は他の使用に関与するエンティティが、確固たるプライバシーポリシー及び／又はプライバシー慣行を遵守するものとなることを想到する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能とするべきであり、データの収集及び／又は使用が変更されるにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更には、そのような収集／共有は、ユーザに告知して同意を得た後に実施されるべきである。その上、そのようなエンティティは、そのような個人情報データへのアクセスを保護及び安全化し、個人情報データへのアクセス権を有する他者が、それらのプライバシーポリシー及び手順を忠実に守ることを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更に、そのようなエンティティは、広く受け入れられているプライバシーポリシー及び慣行に対する自身の遵守を証明するために、サードパーティによる評価を自らが受けることができる。更には、ポリシー及び慣行は、収集及び／又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はそれへのアクセスは、医療保険の相互運用性と説明責任に関する法律（ＨＩＰＡＡ）などの、連邦法及び／又は州法に準拠し得る。その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国において、異なる個人データのタイプに関して異なるプライバシー慣行が保たれるべきである。
前述のことがらにも関わらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するために、ハードウェア要素及び／又はソフトウェア要素が提供され得ることを意図している。例えば、ＸＲ体験の場合において、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択できるように構成され得る。「オプトイン」及び「オプトアウト」のオプションを提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを意図している。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに知らされ、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
更には、本開示の意図は、個人情報データを、非意図的若しくは許可のないアクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなると削除することにより、リスクを最小化することができる。追加的に、特定の健康関連アプリケーションにおいて適用可能な場合、ユーザのプライバシーを保護するために、データの匿名化を使用することができる。非特定化は、適切な場合には、特定の識別子（例えば、生年月日など）を除去すること、記憶されたデータの量又は特異性を制御すること（例えば、ロケーションデータを住所レベルよりも都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、データをユーザ全体にわたって集約すること）及び／又は他の方法によって、容易にすることができる。
それゆえ、本開示は、１つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものであるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することも可能であることを想到する。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部が欠如することにより、動作不可能にされるものではない。例えば、ユーザに関連付けられたデバイスによって要求されているコンテンツなどの非個人情報データ若しくは必要最小量の個人情報、サービスに利用可能な他の非個人情報、又は公的に入手可能な情報に基づき嗜好を推測することによって、ＸＲ体験を生成できる。
Claims (49)
- 方法であって、
表示生成コンポーネント及び１つ以上の入力デバイスと通信する電子デバイスにおいて、
前記表示生成コンポーネントを介して、ユーザインタフェースであって、
第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツであって、三次元環境内の第１の個別のロケーションに表示される、第１の個別のコンテンツと、
前記第１の物理ロケーションに対応する第１のロケーションが指定されたナビゲーションユーザインタフェース要素であって、前記第１の個別のコンテンツが表示される前記第１の個別のロケーションと前記三次元環境内のユーザの視点との間で前記三次元環境内に表示される、ナビゲーションユーザインタフェース要素と、を含む、ユーザインタフェースを含む前記三次元環境を表示することと、
前記表示生成コンポーネントを介して、前記ユーザインタフェース及び前記ナビゲーションユーザインタフェース要素を表示している間に、前記１つ以上の入力デバイスを介して、第２の物理ロケーションに対応する第２のロケーションを指定する要求に対応するユーザ入力を検出することと、
前記ユーザ入力を検出したことに応じて、前記第２の物理ロケーションの第２のビューに対応する第２の個別のコンテンツを含むように前記ユーザインタフェースを更新することと、を含む、方法であって、前記第２の個別のコンテンツは、前記三次元環境内の前記第１の個別のロケーションに表示される、方法。 - 前記三次元環境が、前記電子デバイスの物理的環境における表面の表現を含み、
前記ナビゲーションユーザインタフェース要素が、前記表面の前記表現に対応する前記三次元環境内のロケーションに表示される、請求項１に記載の方法。 - 前記ナビゲーションユーザインタフェース要素が、前記電子デバイスの物理的環境内の表面に対応しない前記三次元環境内のロケーションに表示される、請求項１又は２に記載の方法。
- 前記第１の個別のコンテンツが、前記電子デバイスの物理的環境の表現によって囲まれ、前記第１の個別のコンテンツと前記電子デバイスの前記物理的環境の前記表現との間の境界が、前記第１の個別のコンテンツと前記電子デバイスの前記物理的環境の前記表現との間の漸進的な視覚的遷移を含む、請求項１から３のいずれか一項に記載の方法。
- 前記第１の物理ロケーションの前記第１のビューに対応する前記第１の個別のコンテンツが、前記電子デバイスの物理的環境の表現と同時に表示され、前記表示生成コンポーネントの表示エリアの第１の部分を占有し、前記方法が、
前記表示生成コンポーネントを介して、前記物理的環境の前記表現と同時に前記表示エリアの前記第１の部分を占有する前記第１の物理ロケーションの前記第１のビューに対応する前記第１の個別のコンテンツを表示している間に、前記１つ以上の入力デバイスを介して、前記物理的環境の前記表現の表示を覆い隠す要求に対応する個別の入力を検出することと、
前記個別の入力を検出したことに応じて、前記物理的環境の前記表現の表示を覆い隠すことと、を更に含み、覆い隠すことは、
前記第１の物理ロケーションの前記第１のビューよりも大きい第２のビューに対応し、
前記表示生成コンポーネントの前記表示エリアの、前記第１の部分よりも大きい第２の部分を占有するように、前記第１の個別のコンテンツを更新することを含む、請求項１から４のいずれか一項に記載の方法。 - 前記第１の物理ロケーションの前記第１のビューに対応する前記第１の個別のコンテンツを表示している間に、前記１つ以上の入力デバイスを介して、前記三次元環境における前記電子デバイスの前記ユーザの前記視点の移動を検出することと、
前記三次元環境における前記電子デバイスの前記ユーザの前記視点の前記移動を検出したことに応じて、前記ユーザの前記視点の前記移動が検出されたときに前記ユーザの視線が前記第１の個別のコンテンツに向けられたという判定に従って、前記ユーザの前記視点の前記移動に従って、前記第１の個別のコンテンツに対応する前記第１の物理ロケーションの前記第１のビューの表示を、シミュレートされた視差効果で更新することと、を更に含む、請求項１から５のいずれか一項に記載の方法。 - 前記第１の物理ロケーションの前記第１のビューに対応する前記第１の個別のコンテンツを表示している間に、前記１つ以上の入力デバイスを介して、前記電子デバイスの移動を検出することと、
前記電子デバイスの前記移動を検出したことに応じて、前記電子デバイスの前記移動が１つ以上の基準を満たすという判定に従って、前記表示生成コンポーネントを介して、前記第１の物理ロケーションに対応する追加コンテンツを表示することと、を更に含む、請求項１から６のいずれか一項に記載の方法。 - 前記第１の物理ロケーションの前記第１のビューに対応する前記第１の個別のコンテンツを表示している間に、前記１つ以上の入力デバイスを介して、前記ユーザインタフェース内に表示された選択可能なユーザインタフェース要素に向けられた入力を検出することと、
前記選択可能なユーザインタフェース要素に向けられた前記入力を検出したことに応じて、個別の物理ロケーションの個別のビューに対応する第３の個別のコンテンツを表示することと、を更に含み、前記第３の個別のコンテンツは、前記三次元環境内の前記第１の個別のロケーションに表示される、請求項１から７のいずれか一項に記載の方法。 - 前記第１の物理ロケーションの前記第１のビューに対応する前記第１の個別のコンテンツを表示している間に、前記三次元環境に対する前記電子デバイスの移動を検出することと、
前記三次元環境に対する前記電子デバイスの前記移動が１つ以上の基準を満たすという判定に従って、前記表示生成コンポーネントを介して、前記第１の物理ロケーションに対応する追加コンテンツを表示することと、
前記三次元環境に対する前記電子デバイスの前記移動が前記１つ以上の基準を満たさないという判定に従って、前記第１の物理ロケーションに対応する前記追加コンテンツの表示を見合わせることと、を更に含む、請求項１から８のいずれか一項に記載の方法。 - 前記１つ以上の基準が、前記電子デバイスの向きの変化に基づいて満たされる基準、及び／又は前記ユーザの視線が前記三次元環境内の１つ以上のそれぞれのオブジェクトに向けられているかどうかに基づいて満たされる基準を含む、請求項９に記載の方法。
- 前記表示生成コンポーネントの表示エリアの第１の部分を占有する前記第１の個別のコンテンツを表示している間に、アイトラッキングデバイスを介して、所定の時間閾値を超える時間量の間、前記ユーザの視線が前記第１の個別のコンテンツに向けられたことを検出することと、
前記ユーザの前記視線が所定の時間閾値を超える時間量にわたって前記第１の個別のコンテンツに向けられたことを検出したことに応じて、前記表示生成コンポーネントの前記表示エリアの、前記第１の部分よりも大きい第２の部分を占有するように前記第１の個別のコンテンツを更新することと、を更に含む、請求項１から１０のいずれか一項に記載の方法。 - 前記第１の個別のコンテンツを表示している間に、前記ナビゲーションユーザインタフェース要素内に、前記第１の個別のコンテンツに対応する前記第１の物理ロケーションの視野のインジケーションを表示することを更に含み、
前記第１の個別のコンテンツが前記表示生成コンポーネントの前記表示エリアの前記第１の部分を占有している間、前記視野の前記インジケーションが第１の視野を示し、
前記第１の個別のコンテンツが前記表示生成コンポーネントの前記表示エリアの前記第２の部分を占有している間、前記視野の前記インジケーションは、前記第１の視野よりも大きい第２の視野を示す、請求項１１に記載の方法。 - 前記第１の個別のコンテンツが、第１の向きを有する第１の視野に対応し、前記方法が、
前記第１の個別のコンテンツを表示し、前記ナビゲーションユーザインタフェース要素において前記第１の視野のインジケーションを表示している間に、前記１つ以上の入力デバイスを介して、第２の向きを有する第２の視野に対応する第３の個別のコンテンツを表示する要求に対応する入力を検出することと、
前記第２の向きを有する前記第２の視野に対応する前記第３の個別のコンテンツを表示するための前記要求に対応する前記入力の検出に応じて、
前記表示生成コンポーネントを介して、前記第３の個別のコンテンツを表示することと、
前記ナビゲーションユーザインタフェース要素において、前記第１の視野の前記インジケーションを前記第２の視野のインジケーションとなるように更新することと、を更に含む、請求項１から１２のいずれか一項に記載の方法。 - 前記電子デバイスの物理的環境が、前記電子デバイスの前記物理的環境内の前記電子デバイスの周囲の遮られていない空間の量に基づいて満たされる基準を含む１つ以上の基準を満たすという判定に従って、前記ナビゲーションユーザインタフェース要素を前記三次元環境内に第１のサイズで表示することと、
前記電子デバイスの前記物理的環境が前記１つ以上の基準を満たさないという判定に従って、前記三次元環境において、前記第１のサイズとは異なる第２のサイズで前記ナビゲーションユーザインタフェース要素を表示することと、を更に含む、請求項１から１３のいずれか一項に記載の方法。 - 前記ナビゲーション要素が、前記三次元環境において三次元で表示される第１の個別の部分と、前記三次元環境において二次元で表示される第２の個別の部分とを含み、前記第１の個別の部分が、前記第２の個別の部分よりも前記ユーザの前記視点に近い、請求項１から１４のいずれか一項に記載の方法。
- 前記第１の個別のコンテンツを表示する間に、
前記ナビゲーションユーザインタフェース要素が、前記第１の物理ロケーションを含む第１の物理的領域に対応し、
前記ナビゲーションユーザインタフェース要素が、前記第１の物理的領域の地形のインジケーションを含む、請求項１から１５のいずれか一項に記載の方法。 - 前記ナビゲーションユーザインタフェース要素は、三次元で表示される個別のコンテンツを含み、前記方法が、
三次元で表示された前記個別のコンテンツを含む前記ナビゲーションユーザインタフェース要素を表示している間に、前記１つ以上の入力デバイスを介して、前記ユーザの既定の部分の移動を検出することと、
前記ユーザの前記既定の部分の前記移動の検出に応じて、
前記ユーザの前記既定の部分が、前記ナビゲーションユーザインタフェース要素内に三次元で表示された前記個別のコンテンツに対応するロケーションにあるという判定に従って、三次元で表示された前記個別のコンテンツを視覚的デエンファシス するように前記ナビゲーションユーザインタフェース要素を更新することと、を更に含む、請求項１から１６のいずれか一項に記載の方法。 - 前記ナビゲーションユーザインタフェース要素内に、第２の電子デバイスの個別の物理ロケーションに対応する前記ナビゲーションユーザインタフェース要素内の個別のロケーションに表示された前記第２の電子デバイスのインジケーションを表示することと、
前記第２の電子デバイスの前記インジケーションを前記ナビゲーションユーザインタフェース要素に表示している間に、前記１つ以上の入力デバイスを介して、前記第２の電子デバイスの前記インジケーションの選択を検出することと、
前記第２の電子デバイスの前記インジケーションの前記選択を検出したことに応じて、前記表示生成コンポーネントを介して、前記第２の電子デバイスの前記個別の物理ロケーションの前記第２の電子デバイスによってキャプチャされたコンテンツを表示することと、を更に含む、請求項１から１７のいずれか一項に記載の方法。 - 前記第１の個別のコンテンツが、前記第１の物理ロケーションに位置するオブジェクトの二次元表現を含み、前記方法が、
前記オブジェクトの前記二次元表現と前記オブジェクトの三次元表現とを含む前記第１の個別のコンテンツを同時に表示することを更に含む、請求項１から１８のいずれか一項に記載の方法。 - 電子デバイスであって、
１つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、を備える、電子デバイスであって、前記１つ以上のプログラムは前記メモリに記憶され、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムは、
表示生成コンポーネントを介して、ユーザインタフェースであって、
第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツであって、三次元環境内の第１の個別のロケーションに表示される、第１の個別のコンテンツと、
前記第１の物理ロケーションに対応する第１のロケーションが指定されたナビゲーションユーザインタフェース要素であって、前記第１の個別のコンテンツが表示される前記第１の個別のロケーションと前記三次元環境内のユーザの視点との間で前記三次元環境内に表示される、ナビゲーションユーザインタフェース要素と、を含む、ユーザインタフェースを含む前記三次元環境を表示し、
前記表示生成コンポーネントを介して、前記ユーザインタフェース及び前記ナビゲーションユーザインタフェース要素を表示している間に、１つ以上の入力デバイスを介して、第２の物理ロケーションに対応する第２のロケーションを指定する要求に対応するユーザ入力を検出し、
前記ユーザ入力を検出したことに応じて、前記第２の物理ロケーションの第２のビューに対応する第２の個別のコンテンツを含むように前記ユーザインタフェースを更新する、命令を含む、電子デバイスであって、前記第２の個別のコンテンツが、前記三次元環境内の前記第１の個別のロケーションに表示される、電子デバイス。 - １つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの１つ以上のプロセッサによって実行されると、前記電子デバイスに、
表示生成コンポーネントを介して、ユーザインタフェースであって、
第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツであって、三次元環境内の第１の個別のロケーションに表示される、第１の個別のコンテンツと、
前記第１の物理ロケーションに対応する第１のロケーションが指定されたナビゲーションユーザインタフェース要素であって、前記第１の個別のコンテンツが表示される前記第１の個別のロケーションと前記三次元環境内のユーザの視点との間で前記三次元環境内に表示される、ナビゲーションユーザインタフェース要素と、を含む、ユーザインタフェースを含む前記三次元環境を表示することと、
前記表示生成コンポーネントを介して、前記ユーザインタフェース及び前記ナビゲーションユーザインタフェース要素を表示している間に、１つ以上の入力デバイスを介して、第２の物理ロケーションに対応する第２のロケーションを指定する要求に対応するユーザ入力を検出することと、
前記ユーザ入力を検出したことに応じて、前記第２の物理ロケーションの第２のビューに対応する第２の個別のコンテンツを含むように前記ユーザインタフェースを更新することと、を含む、命令を実行させる、非一時的コンピュータ可読記憶媒体であって、前記第２の個別のコンテンツは、前記三次元環境内の前記第１の個別のロケーションに表示される、非一時的コンピュータ可読記憶媒体。 - 電子デバイスであって、
１つ以上のプロセッサと、
メモリと、
表示生成コンポーネントを介して、ユーザインタフェースであって、
第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツであって、三次元環境内の第１の個別のロケーションに表示される、第１の個別のコンテンツと、
前記第１の物理ロケーションに対応する第１のロケーションが指定されたナビゲーションユーザインタフェース要素であって、前記第１の個別のコンテンツが表示される前記第１の個別のロケーションと前記三次元環境内のユーザの視点との間で前記三次元環境内に表示される、ナビゲーションユーザインタフェース要素と、を含む、ユーザインタフェースを含む前記三次元環境を表示する表示する手段と、
前記表示生成コンポーネントを介して、前記ユーザインタフェース及び前記ナビゲーションユーザインタフェース要素を表示している間に、１つ以上の入力デバイスを介して、第２の物理ロケーションに対応する第２のロケーションを指定する要求に対応するユーザ入力を検出する手段と、
前記ユーザ入力を検出したことに応じて、前記第２の物理ロケーションの第２のビューに対応する第２の個別のコンテンツを含むように前記ユーザインタフェースを更新する手段と、を備える、電子デバイスであって、前記第２の個別のコンテンツは、前記三次元環境内の前記第１の個別のロケーションに表示される、電子デバイス。 - 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
表示生成コンポーネントを介して、ユーザインタフェースをであって、
第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツであって、三次元環境内の第１の個別のロケーションに表示される、第１の個別のコンテンツと、
前記第１の物理ロケーションに対応する第１のロケーションが指定されたナビゲーションユーザインタフェース要素であって、前記第１の個別のコンテンツが表示される前記第１の個別のロケーションと前記三次元環境内のユーザの視点との間で前記三次元環境内に表示される、ナビゲーションユーザインタフェース要素と、を含む、ユーザインタフェースを含む前記三次元環境を表示する手段と、
前記表示生成コンポーネントを介して、前記ユーザインタフェース及び前記ナビゲーションユーザインタフェース要素を表示している間に、１つ以上の入力デバイスを介して、第２の物理ロケーションに対応する第２のロケーションを指定する要求に対応するユーザ入力を検出する手段と、
前記ユーザ入力を検出したことに応じて、前記第２の物理ロケーションの第２のビューに対応する第２の個別のコンテンツを含むように前記ユーザインタフェースを更新する手段と、を備える、情報処理装置であって、前記第２の個別のコンテンツは、前記三次元環境内の前記第１の個別のロケーションに表示される、情報処理装置。 - 電子デバイスであって、
１つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、を備え、前記１つ以上のプログラムが、前記メモリに記憶され、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１から１９のいずれか一項に記載の方法を実行する、命令を含む、電子デバイス。 - １つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの１つ以上のプロセッサによって実行されると、前記電子デバイスに、請求項１から１９のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
- 電子デバイスであって、
１つ以上のプロセッサと、
メモリと、
請求項１から１９のいずれか一項に記載の方法を実行する手段と、を備える、電子デバイス。 - 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
請求項１から１９のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。 - 方法であって、
表示生成コンポーネント及び１つ以上の入力デバイスと通信する電子デバイスにおいて、
前記表示生成コンポーネントを介して、ユーザインタフェースであって、
第１の物理ロケーションに対応する第１のロケーションを有するナビゲーションユーザインタフェース要素と、
前記第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツを含むコンテンツ要素であって、第１の視覚的顕著性で表示されるコンテンツ要素と、を含む、ユーザインタフェースを表示することと、
前記表示生成コンポーネントを介して、前記第１の視覚的顕著性を有する前記コンテンツ要素を表示している間に、前記１つ以上の入力デバイスを介して、第２の物理ロケーションに対応する第２のロケーションを指定する要求に対応するユーザ入力を検出することと、
前記ユーザ入力を検出したことに応じて、前記コンテンツ要素において、前記第１のロケーションと前記第２のロケーションとの間の１つ以上のロケーションの表現を、前記第１の視覚的顕著性に対して低減された視覚的顕著性で表示することを含む、前記第１のロケーションから前記第２のロケーションへのナビゲーションを表示することと、
前記第１のロケーションから前記第２のロケーションへのナビゲーションを表示した後に、前記第１の視覚的顕著性に対する前記低減された視覚的顕著性よりも大きい視覚的顕著性で、前記コンテンツ要素内の前記第２の物理ロケーションの第２のビューに対応する第２の個別のコンテンツを表示することと、を含む、方法。 - 前記低減された視覚的顕著性を有する前記コンテンツ要素を表示することが、前記低減された視覚的顕著性を有する前記コンテンツ要素の全体を表示することを含む、請求項２８に記載の方法。
- 前記低減された視覚的顕著性を有する前記コンテンツ要素を表示することが、前記低減された視覚的顕著性を有する前記コンテンツ要素の第２の領域を囲む前記コンテンツ要素の第１の領域を表示することと、前記第１の視覚的顕著性を有する前記コンテンツ要素の前記第２の領域を表示することと、を含む、請求項２８に記載の方法。
- 前記第１の視覚的顕著性で前記コンテンツ要素を表示している間で、かつ前記第２の物理ロケーションに対応する前記第２のロケーションを指定するための前記要求に対応する前記ユーザ入力を検出する前に、第２の視覚的顕著性で前記ナビゲーションユーザインタフェース要素の少なくとも一部を表示することと、
前記ユーザ入力を検出する間、及び前記第１の視覚的顕著性に対して低減された視覚的顕著性で前記コンテンツ要素を表示する間に、前記第２の視覚的顕著性に対して前記低減された視覚的顕著性で前記ナビゲーションユーザインタフェース要素の前記少なくとも一部を表示することと、を更に含む、請求項２８から３０のいずれか一項に記載の方法。 - 前記第１のロケーションから前記第２のロケーションへの前記ナビゲーションを表示した後、かつ前記第１の視覚的顕著性に対する前記低減された視覚的顕著性よりも大きい前記視覚的顕著性で前記コンテンツ要素を表示している間に、前記第２の視覚的顕著性に対する前記低減された視覚的顕著性よりも大きい視覚的顕著性で前記ナビゲーションユーザインタフェース要素を表示することを更に含む、請求項３１に記載の方法。
- 前記第２のロケーションを指定するための前記要求に対応する前記ユーザ入力を検出することが、
アイトラッキングデバイスを介して、前記電子デバイスのユーザの視線が前記ナビゲーションユーザインタフェース要素に向けられていることを検出することと、
前記１つ以上の入力デバイスを介して、前記電子デバイスの前記ユーザの既定の部分のジェスチャが１つ以上の基準を満たすことを検出することと、を含む、請求項２８から３２のいずれか一項に記載の方法。 - 前記第１のロケーションから前記第２のロケーションへの前記ナビゲーションを前記コンテンツ要素内に表示している間に、前記第１のロケーションから前記第２のロケーションへのナビゲーションの対応するアニメーションを前記ナビゲーションユーザインタフェース要素内に表示することを更に含む、請求項２８から３３のいずれか一項に記載の方法。
- 前記ユーザインタフェースに、第１の個別の物理ロケーションから第２の個別の物理ロケーションへのナビゲーション経路のプレビューを表示するために選択可能な選択可能なオプションを表示することと、
前記選択可能なオプションの選択の検出に応じて、
前記コンテンツ要素において、前記ナビゲーション経路をナビゲートすることに対応するビューのアニメーションを表示することと、
前記ナビゲーションユーザインタフェース要素において、前記ナビゲーション経路をナビゲートすることの対応するインジケーションを表示することと、を更に含む、請求項２８から３４のいずれか一項に記載の方法。 - 前記ナビゲーションユーザインタフェース要素が、前記ナビゲーションユーザインタフェース要素に対応するそれぞれの物理ロケーションに位置するそれぞれのオブジェクトの１つ以上の表現を含み、前記方法が、
前記ナビゲーションユーザインタフェース要素を表示している間に、
前記ナビゲーションユーザインタフェース要素の境界が前記それぞれのオブジェクトの前記１つ以上の表現のうちの個別の１つと一致するとの判定に従って、前記ナビゲーションユーザインタフェース要素における前記それぞれのオブジェクトの前記１つ以上の表現のうちの前記個別の１つの表示を見合わせることを更に含む、請求項２８から３５のいずれか一項に記載の方法。 - 前記ナビゲーションユーザインタフェース要素を表示している間に、前記ナビゲーションユーザインタフェース要素が、第１の物理ロケーションに位置する第１のオブジェクトの第１の表現と、第２の物理ロケーションに位置する第２のオブジェクトの第２の表現と、を含み、前記第１のオブジェクトの前記第１の表現及び前記第２のオブジェクトの前記第２の表現が、前記ナビゲーションユーザインタフェース要素において三次元で表示され、前記１つ以上の入力デバイスを介して、個別の検索クエリに基づいて前記ナビゲーションユーザインタフェース要素によって表される情報に対応する検索を実行する要求に対応する入力を検出することと、
個別の検索クエリに基づいて前記ナビゲーションユーザインタフェース要素を検索する前記要求に対応する前記入力を検出したことに応じて、
前記個別の検索クエリが前記第１のオブジェクトに対応し、前記第２のオブジェクトに対応しないという判定に従って、前記ナビゲーションユーザインタフェース要素内に、前記第１のオブジェクトの前記第１の表現を前記ナビゲーションユーザインタフェース要素内に三次元で表示し、前記第２のオブジェクトの前記第２の表現の少なくとも一部を前記ナビゲーションユーザインタフェース要素内に三次元で表示することを見合わせることと、
前記個別の検索クエリが前記第２のオブジェクトに対応し、前記第１のオブジェクトに対応しないという判定に従って、前記ナビゲーションユーザインタフェース要素内に、前記第２のオブジェクトの前記第２の表現を前記ナビゲーションユーザインタフェース要素内に三次元で表示し、前記第１のオブジェクトの前記第１の表現の少なくとも一部を前記ナビゲーションユーザインタフェース要素内に三次元で表示することを見合わせることと、を更に含む、請求項２８から３６のいずれか一項に記載の方法。 - 前記ナビゲーションユーザインタフェース要素を表示している間に、前記ナビゲーションユーザインタフェース要素が、第１の物理ロケーションに位置する第１のオブジェクトの第１の表現と、第２の物理ロケーションに位置する第２のオブジェクトの第２の表現と、を含み、前記第１のオブジェクトの前記第１の表現及び前記第２のオブジェクトの前記第２の表現が、第１の値を有する視覚特性で表示され、前記１つ以上の入力デバイスを介して、個別の検索クエリに基づいて前記ナビゲーションユーザインタフェース要素によって表される情報に対応する検索を実行する要求に対応する入力を検出することと、
個別の検索クエリに基づいて前記ナビゲーションユーザインタフェース要素を検索する前記要求に対応する前記入力を検出したことに応じて、
前記個別の検索クエリが前記第１のオブジェクトに対応し、前記第２のオブジェクトに対応しないという判定に従って、前記ナビゲーションユーザインタフェース要素において、第２の値を有する前記視覚特性を有する前記第１のオブジェクトの前記第１の表現の少なくとも一部を前記ナビゲーションユーザインタフェース要素に表示し、前記第２の値とは異なる第３の値を有する前記視覚特性を有する前記第２のオブジェクトの前記第２の表現の少なくとも一部を前記ナビゲーションユーザインタフェース要素に表示することと、
前記個別の検索クエリが前記第１のオブジェクトではなく前記第２のオブジェクトに対応するという判定に従って、前記ナビゲーションユーザインタフェース要素内に、前記第２の値を有する前記視覚特性を有する前記第２のオブジェクトの前記第２の表現の少なくとも一部を前記ナビゲーションユーザインタフェース要素内に表示し、前記第３の値を有する前記視覚特性を有する前記第１のオブジェクトの前記第１の表現の少なくとも一部を前記ナビゲーションユーザインタフェース要素内に表示することと、を更に含む、請求項２８から３７のいずれか一項に記載の方法。 - 前記ナビゲーションユーザインタフェース要素を表示している間に、前記１つ以上の入力デバイスを介して、個別の検索クエリに基づいて前記ナビゲーションユーザインタフェース要素によって表される情報に対応する検索を実行する要求に対応する入力を検出することと、
前記個別の検索クエリに基づいて前記ナビゲーションユーザインタフェース要素を検索する前記要求に対応する前記入力を検出したことに応じて、
前記表示生成コンポーネントを介して、前記検索クエリに対応する物理的オブジェクトの三次元表現を表示することと、を更に含む、請求項２８から３８のいずれか一項に記載の方法。 - 前記ナビゲーションユーザインタフェース要素が個別のコンテンツを含み、前記方法が、
前記表示された個別のコンテンツを含む前記ナビゲーションユーザインタフェース要素を表示している間に、前記１つ以上の入力デバイスを介して、前記ユーザの既定の部分の移動を検出することと、
前記ユーザの前記既定の部分の前記移動の検出に応じて、
前記ユーザの前記既定の部分が前記ナビゲーションユーザインタフェース要素内の前記個別のコンテンツに対応するロケーションにあるという判定に従って、前記ナビゲーションユーザインタフェース要素内の前記個別のコンテンツを視覚的デエンファシスすることと、を更に含む、請求項２８から３９のいずれか一項に記載の方法。 - 前記ナビゲーション要素が、前記ナビゲーションユーザインタフェース要素によって表される個別の物理ロケーションにおける気象状況のインジケーションを含み、前記個別の物理ロケーションにおける前記気象状況の三次元ロケーションのインジケーションを含む、請求項２８から４０のいずれか一項に記載の方法。
- 電子デバイスであって、
１つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、を備える、電子デバイスであって、前記１つ以上のプログラムは前記メモリに記憶され、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムは、
表示生成コンポーネントを介して、ユーザインタフェースであって、
第１の物理ロケーションに対応する第１のロケーションを有するナビゲーションユーザインタフェース要素と、
前記第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツを含むコンテンツ要素であって、第１の視覚的顕著性で表示されるコンテンツ要素と、を含む、ユーザインタフェースを表示することと、
前記表示生成コンポーネントを介して、前記第１の視覚的顕著性を有する前記コンテンツ要素を表示している間に、１つ以上の入力デバイスを介して、第２の物理ロケーションに対応する第２のロケーションを指定する要求に対応するユーザ入力を検出し、
前記ユーザ入力を検出したことに応じて、前記コンテンツ要素において、前記第１のロケーションと前記第２のロケーションとの間の１つ以上のロケーションの表現を、前記第１の視覚的顕著性に対して低減された視覚的顕著性で表示することを含む、前記第１のロケーションから前記第２のロケーションへのナビゲーションを表示すし、
前記第１のロケーションから前記第２のロケーションへのナビゲーションを表示した後に、前記第１の視覚的顕著性に対する前記低減された視覚的顕著性よりも大きい視覚的顕著性で、前記コンテンツ要素内の前記第２の物理ロケーションの第２のビューに対応する第２の個別のコンテンツを表示する、命令を含む、電子デバイス。 - １つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの１つ以上のプロセッサによって実行されると、前記電子デバイスに、
表示生成コンポーネントを介して、ユーザインタフェースであって、
第１の物理ロケーションに対応する第１のロケーションを有するナビゲーションユーザインタフェース要素と、
前記第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツを含むコンテンツ要素であって、第１の視覚的顕著性で表示されるコンテンツ要素と、を含む、ユーザインタフェースを表示することと、
前記表示生成コンポーネントを介して、前記第１の視覚的顕著性を有する前記コンテンツ要素を表示している間に、１つ以上の入力デバイスを介して、第２の物理ロケーションに対応する第２のロケーションを指定する要求に対応するユーザ入力を検出することと、
前記ユーザ入力を検出したことに応じて、前記コンテンツ要素において、前記第１のロケーションと前記第２のロケーションとの間の１つ以上のロケーションの表現を、前記第１の視覚的顕著性に対して低減された視覚的顕著性で表示することを含む、前記第１のロケーションから前記第２のロケーションへのナビゲーションを表示することと、
前記第１のロケーションから前記第２のロケーションへのナビゲーションを表示した後に、前記第１の視覚的顕著性に対する前記低減された視覚的顕著性よりも大きい視覚的顕著性で、前記コンテンツ要素内の前記第２の物理ロケーションの第２のビューに対応する第２の個別のコンテンツを表示することと、を含む方法を実行させる、非一時的コンピュータ可読記憶媒体。 - 電子デバイスであって、
１つ以上のプロセッサと、
メモリと、
表示生成コンポーネントを介して、ユーザインタフェースであって、
第１の物理ロケーションに対応する第１のロケーションを有するナビゲーションユーザインタフェース要素と、
前記第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツを含むコンテンツ要素であって、第１の視覚的顕著性で表示されるコンテンツ要素と、を含む、ユーザインタフェースを表示する手段と、
前記表示生成コンポーネントを介して、前記第１の視覚的顕著性を有する前記コンテンツ要素を表示している間に、１つ以上の入力デバイスを介して、第２の物理ロケーションに対応する第２のロケーションを指定する要求に対応するユーザ入力を検出する手段と、
前記ユーザ入力を検出したことに応じて、前記コンテンツ要素において、前記第１のロケーションと前記第２のロケーションとの間の１つ以上のロケーションの表現を、前記第１の視覚的顕著性に対して低減された視覚的顕著性で表示する、前記第１のロケーションから前記第２のロケーションへのナビゲーションを表示し、
前記第１のロケーションから前記第２のロケーションへのナビゲーションを表示した後に、前記第１の視覚的顕著性に対する前記低減された視覚的顕著性よりも大きい視覚的顕著性で、前記コンテンツ要素内の前記第２の物理ロケーションの第２のビューに対応する第２の個別のコンテンツを表示する、手段と、を備ええる、電子デバイス。 - 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
表示生成コンポーネントを介して、ユーザインタフェースであって、
第１の物理ロケーションに対応する第１のロケーションを有するナビゲーションユーザインタフェース要素と、
前記第１の物理ロケーションの第１のビューに対応する第１の個別のコンテンツを含むコンテンツ要素であって、第１の視覚的顕著性で表示されるコンテンツ要素と、を含む、ユーザインタフェースを表示する手段と、
前記表示生成コンポーネントを介して、前記第１の視覚的顕著性を有する前記コンテンツ要素を表示している間に、１つ以上の入力デバイスを介して、第２の物理ロケーションに対応する第２のロケーションを指定する要求に対応するユーザ入力を検出することと、
前記ユーザ入力を検出したことに応じて、前記コンテンツ要素において、前記第１のロケーションと前記第２のロケーションとの間の１つ以上のロケーションの表現を、前記第１の視覚的顕著性に対して低減された視覚的顕著性で表示することを含む、前記第１のロケーションから前記第２のロケーションへのナビゲーションを表示し、
前記第１のロケーションから前記第２のロケーションへのナビゲーションを表示した後に、前記第１の視覚的顕著性に対する前記低減された視覚的顕著性よりも大きい視覚的顕著性で、前記コンテンツ要素内の前記第２の物理ロケーションの第２のビューに対応する第２の個別のコンテンツを表示することと、を備える、情報処理装置。 - 電子デバイスであって、
１つ以上のプロセッサと、
メモリと、
１つ以上のプログラムと、を備え、前記１つ以上のプログラムが、前記メモリに記憶され、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項２８から４１のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。 - １つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの１つ以上のプロセッサによって実行されると、前記電子デバイスに、請求項２８から４１のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
- 電子デバイスであって、
１つ以上のプロセッサと、
メモリと、
請求項２８から４１のいずれか一項に記載の方法を実行する手段と、を備える、電子デバイス。 - 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
請求項２８から４１のいずれか一項に記載の方法を実行する手段を含む、情報処理装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US202163164296P | 2021-03-22 | 2021-03-22 | |
| US63/164,296 | 2021-03-22 | ||
| PCT/US2022/071228 WO2022204664A1 (en) | 2021-03-22 | 2022-03-18 | Devices, methods, and graphical user interfaces for maps |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2024512040A true JP2024512040A (ja) | 2024-03-18 |
Family
ID=81308040
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2023558415A Pending JP2024512040A (ja) | 2021-03-22 | 2022-03-18 | マップのためのデバイス、方法、及びグラフィカルユーザインタフェース |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20220301264A1 (ja) |
| EP (1) | EP4295219A1 (ja) |
| JP (1) | JP2024512040A (ja) |
| KR (1) | KR20230158505A (ja) |
| CN (1) | CN117043722A (ja) |
| WO (1) | WO2022204664A1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2024512040A (ja) * | 2021-03-22 | 2024-03-18 | アップル インコーポレイテッド | マップのためのデバイス、方法、及びグラフィカルユーザインタフェース |
| US20220345591A1 (en) * | 2021-04-22 | 2022-10-27 | David Shau | Underwater Camera Operations |
Family Cites Families (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2669409C (en) * | 2006-11-13 | 2019-09-17 | Everyscape, Inc. | Method for scripting inter-scene transitions |
| WO2008153599A1 (en) * | 2006-12-07 | 2008-12-18 | Adapx, Inc. | Systems and methods for data annotation, recordation, and communication |
| US9164975B2 (en) * | 2008-06-24 | 2015-10-20 | Monmouth University | System and method for viewing and marking maps |
| US8400548B2 (en) * | 2010-01-05 | 2013-03-19 | Apple Inc. | Synchronized, interactive augmented reality displays for multifunction devices |
| US8436872B2 (en) * | 2010-02-03 | 2013-05-07 | Oculus Info Inc. | System and method for creating and displaying map projections related to real-time images |
| US20130263016A1 (en) * | 2012-03-27 | 2013-10-03 | Nokia Corporation | Method and apparatus for location tagged user interface for media sharing |
| US9135751B2 (en) * | 2012-06-05 | 2015-09-15 | Apple Inc. | Displaying location preview |
| US9886795B2 (en) * | 2012-09-05 | 2018-02-06 | Here Global B.V. | Method and apparatus for transitioning from a partial map view to an augmented reality view |
| US9437047B2 (en) * | 2014-01-15 | 2016-09-06 | Htc Corporation | Method, electronic apparatus, and computer-readable medium for retrieving map |
| US10061486B2 (en) * | 2014-11-05 | 2018-08-28 | Northrop Grumman Systems Corporation | Area monitoring system implementing a virtual environment |
| CN107735794B (zh) * | 2015-08-06 | 2021-06-04 | 埃森哲环球服务有限公司 | 使用图像处理的状况检测 |
| KR20170059760A (ko) * | 2015-11-23 | 2017-05-31 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
| US10768421B1 (en) * | 2016-07-18 | 2020-09-08 | Knowledge Initiatives LLC | Virtual monocle interface for information visualization |
| WO2018090056A2 (en) * | 2016-11-14 | 2018-05-17 | Taqtile | Cross-platform multi-modal virtual collaboration and holographic maps |
| US10777007B2 (en) * | 2017-09-29 | 2020-09-15 | Apple Inc. | Cooperative augmented reality map interface |
| US11861136B1 (en) * | 2017-09-29 | 2024-01-02 | Apple Inc. | Systems, methods, and graphical user interfaces for interacting with virtual reality environments |
| US20190325654A1 (en) * | 2018-04-24 | 2019-10-24 | Bae Systems Information And Electronic Systems Integration Inc. | Augmented reality common operating picture |
| CN112189203A (zh) * | 2018-06-01 | 2021-01-05 | 苹果公司 | 用于在合成现实布景中在查看矢量之间切换的方法和设备 |
| US11181862B2 (en) * | 2018-10-31 | 2021-11-23 | Doubleme, Inc. | Real-world object holographic transport and communication room system |
| US11645819B2 (en) * | 2021-03-11 | 2023-05-09 | Quintar, Inc. | Augmented reality system for viewing an event with mode based on crowd sourced images |
| US20220295032A1 (en) * | 2021-03-11 | 2022-09-15 | Quintar, Inc. | Augmented reality system for remote presentation for viewing an event |
| US12003806B2 (en) * | 2021-03-11 | 2024-06-04 | Quintar, Inc. | Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model |
| US11657578B2 (en) * | 2021-03-11 | 2023-05-23 | Quintar, Inc. | Registration for augmented reality system for viewing an event |
| US20230260240A1 (en) * | 2021-03-11 | 2023-08-17 | Quintar, Inc. | Alignment of 3d graphics extending beyond frame in augmented reality system with remote presentation |
| US11527047B2 (en) * | 2021-03-11 | 2022-12-13 | Quintar, Inc. | Augmented reality system for viewing an event with distributed computing |
| JP2024512040A (ja) * | 2021-03-22 | 2024-03-18 | アップル インコーポレイテッド | マップのためのデバイス、方法、及びグラフィカルユーザインタフェース |
-
2022
- 2022-03-18 JP JP2023558415A patent/JP2024512040A/ja active Pending
- 2022-03-18 CN CN202280023598.9A patent/CN117043722A/zh active Pending
- 2022-03-18 US US17/655,521 patent/US20220301264A1/en active Pending
- 2022-03-18 WO PCT/US2022/071228 patent/WO2022204664A1/en active Application Filing
- 2022-03-18 KR KR1020237032394A patent/KR20230158505A/ko unknown
- 2022-03-18 EP EP22716801.0A patent/EP4295219A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| WO2022204664A1 (en) | 2022-09-29 |
| KR20230158505A (ko) | 2023-11-20 |
| US20220301264A1 (en) | 2022-09-22 |
| CN117043722A (zh) | 2023-11-10 |
| EP4295219A1 (en) | 2023-12-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11557102B2 (en) | Methods for manipulating objects in an environment | |
| JP6967043B2 (ja) | ３次元コンテンツ内の場所に基づく仮想要素モダリティ | |
| US11995230B2 (en) | Methods for presenting and sharing content in an environment | |
| US20230336865A1 (en) | Device, methods, and graphical user interfaces for capturing and displaying media | |
| US20220326837A1 (en) | Methods for providing an immersive experience in an environment | |
| JP2024512040A (ja) | マップのためのデバイス、方法、及びグラフィカルユーザインタフェース | |
| US20230384907A1 (en) | Methods for relative manipulation of a three-dimensional environment | |
| US20240028177A1 (en) | Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments | |
| US20230343049A1 (en) | Obstructed objects in a three-dimensional environment | |
| US20230221833A1 (en) | Methods for displaying user interface elements relative to media content | |
| US20240103614A1 (en) | Devices, methods, for interacting with graphical user interfaces | |
| US20240104849A1 (en) | User interfaces that include representations of the environment | |
| US20230350539A1 (en) | Representations of messages in a three-dimensional environment | |
| US20230334808A1 (en) | Methods for displaying, selecting and moving objects and containers in an environment | |
| US20240104871A1 (en) | User interfaces for capturing media and manipulating virtual objects | |
| US20240103684A1 (en) | Methods for displaying objects relative to virtual surfaces | |
| US20230206572A1 (en) | Methods for sharing content and interacting with physical devices in a three-dimensional environment | |
| US20230152935A1 (en) | Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments | |
| KR20240091221A (ko) | 미디어를 캡처 및 디스플레이하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 | |
| WO2024064180A1 (en) | User interfaces that include representations of the environment | |
| CN117480472A (zh) | 用于在环境中提供沉浸式体验的方法 | |
| WO2023049418A2 (en) | Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments | |
| WO2024064388A1 (en) | Devices, methods, for interacting with graphical user interfaces | |
| WO2024020061A1 (en) | Devices, methods, and graphical user interfaces for providing inputs in three-dimensional environments | |
| KR20240091224A (ko) | 사용자의 표현을 생성 및 디스플레이하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 |