JP2024512040A - マップのためのデバイス、方法、及びグラフィカルユーザインタフェース - Google Patents
マップのためのデバイス、方法、及びグラフィカルユーザインタフェース Download PDFInfo
- Publication number
- JP2024512040A JP2024512040A JP2023558415A JP2023558415A JP2024512040A JP 2024512040 A JP2024512040 A JP 2024512040A JP 2023558415 A JP2023558415 A JP 2023558415A JP 2023558415 A JP2023558415 A JP 2023558415A JP 2024512040 A JP2024512040 A JP 2024512040A
- Authority
- JP
- Japan
- Prior art keywords
- user interface
- location
- content
- displaying
- electronic device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 203
- 230000000007 visual effect Effects 0.000 claims abstract description 190
- 230000004044 response Effects 0.000 claims abstract description 111
- 230000002829 reductive effect Effects 0.000 claims abstract description 64
- 230000033001 locomotion Effects 0.000 claims description 132
- 238000004891 communication Methods 0.000 claims description 14
- 238000009877 rendering Methods 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 6
- 230000007704 transition Effects 0.000 claims description 5
- 238000012876 topography Methods 0.000 claims description 4
- 230000010365 information processing Effects 0.000 claims 11
- 210000003811 finger Anatomy 0.000 description 43
- 210000003128 head Anatomy 0.000 description 34
- 210000004247 hand Anatomy 0.000 description 30
- 230000008569 process Effects 0.000 description 22
- 230000003190 augmentative effect Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 16
- 230000003993 interaction Effects 0.000 description 14
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 210000003813 thumb Anatomy 0.000 description 10
- 210000000707 wrist Anatomy 0.000 description 10
- 238000001514 detection method Methods 0.000 description 9
- 210000001747 pupil Anatomy 0.000 description 9
- 230000001953 sensory effect Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 8
- 230000002093 peripheral effect Effects 0.000 description 8
- 241001465754 Metazoa Species 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004091 panning Methods 0.000 description 7
- -1 802.3x Chemical compound 0.000 description 6
- 230000036541 health Effects 0.000 description 6
- 230000008901 benefit Effects 0.000 description 5
- 239000003086 colorant Substances 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 230000000670 limiting effect Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 4
- 238000005562 fading Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 230000000295 complement effect Effects 0.000 description 3
- 238000013480 data collection Methods 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 2
- 241001422033 Thestylus Species 0.000 description 2
- 239000002131 composite material Substances 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000007667 floating Methods 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- APTZNLHMIGJTEW-UHFFFAOYSA-N pyraflufen-ethyl Chemical compound C1=C(Cl)C(OCC(=O)OCC)=CC(C=2C(=C(OC(F)F)N(C)N=2)Cl)=C1F APTZNLHMIGJTEW-UHFFFAOYSA-N 0.000 description 2
- 229910052710 silicon Inorganic materials 0.000 description 2
- 239000010703 silicon Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241000473391 Archosargus rhomboidalis Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 239000002772 conduction electron Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013503 de-identification Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000005669 field effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 210000002414 leg Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 239000002096 quantum dot Substances 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000004270 retinal projection Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000007493 shaping process Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009528 vital sign measurement Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3664—Details of the user input interface, e.g. buttons, knobs or sliders, including those provided on a touch screen; remote controllers; input using gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Automation & Control Theory (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
いくつかの実施形態では、電子デバイスは、指定された個別の物理ロケーションを有するナビゲーションユーザインタフェース要素と、個別の物理ロケーションに対応するコンテンツを含むコンテンツ要素とを同時に提示する。いくつかの実施形態では、電子デバイスは、第2の物理ロケーションに対応するコンテンツを提示する要求に対応する入力に応じて、第1の物理ロケーションから第2の物理ロケーションへのナビゲーションを、コンテンツ要素内の視覚的顕著性を低減して提示する。
Description
(関連出願の相互参照)
本出願は、2021年3月22日に出願された米国特許仮出願第63/164,296号の利益を主張し、その出願の内容は、その全体があらゆる目的のために参照により本明細書に組み込まれる。
本出願は、2021年3月22日に出願された米国特許仮出願第63/164,296号の利益を主張し、その出願の内容は、その全体があらゆる目的のために参照により本明細書に組み込まれる。
これは、一般に、表示生成コンポーネントと、マップを含む表示生成コンポーネントを介して、グラフィカルユーザインタフェースを提示する電子デバイスを含むがこれに限定されないグラフィカルユーザインタフェースを提示する1つ以上の入力デバイスとを有する、コンピュータシステムに関する。
拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は強化する少なくともいくつかの仮想要素を含む。コンピュータシステム及び他の電子コンピューティングデバイス用のカメラ、コントローラ、ジョイスティック、タッチ感知面、及びタッチスクリーンディスプレイなどの入力デバイスが、仮想/拡張現実環境と相互作用するために使用される。例示的な仮想要素は、デジタル画像、ビデオ、テキスト、アイコン、並びにボタン及びその他のグラフィックなどの制御要素を含む仮想オブジェクトを含む。
少なくともいくつかの仮想要素を含む環境(例えばアプリケーション、拡張現実環境、複合現実環境、及び仮想現実環境)と相互作用するいくつかの方法及びインタフェースは、煩雑で、非効率で、限定されたものである。例えば、仮想オブジェクトに関連付けられたアクションを実行するのに不十分なフィードバックしか提供しないシステム、拡張現実環境において所望の結果を達成するために一連の入力を必要とするシステム、及び仮想オブジェクトの操作が複雑で、エラーを起こしやすいシステムは、ユーザに対して大きな認知負担を引き起こしし、仮想/拡張現実環境での体験を損なう。加えて、それらの方法は必要以上に時間がかかり、それによってエネルギを浪費する。この後者の考慮事項は、バッテリ動作式デバイスにおいて特に重要である。
したがって、コンピュータシステムとの相互作用をユーザにとってより効率的かつ直感的にするコンピュータ生成体験をユーザに提供するための改善された方法及びインタフェースを有するコンピュータシステムが必要とされている。このような方法及びインタフェースは、ユーザに拡張現実体験を提供する従来の方法を任意選択で補完又は置換することができる。このような方法及びインタフェースは、提供された入力とその入力に対するデバイス応答との間の接続をユーザが理解することを補助することにより、ユーザからの入力の数、程度及び/又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを生成する。
コンピュータシステムのユーザインタフェースに関連付けられた上記の欠点及び他の問題は、開示されるシステムによって低減又は解消される。いくつかの実施形態では、コンピュータシステムは、関連付けられたディスプレイを備えたデスクトップコンピュータである。いくつかの実施形態では、コンピュータシステムは、ポータブルデバイスである(例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである)。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス(例えば腕時計やヘッドマウントデバイスなどのウェアラブル電子デバイス)である。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する。いくつかの実施形態では、コンピュータシステムは、1つ以上のカメラを有する。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ(「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる)を有する。いくつかの実施形態では、コンピュータシステムは、1つ以上のアイトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、1つ以上のハンドトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネントに加えて1つ以上の出力デバイスを有し、出力デバイスは、1つ以上の触知出力ジェネレータ及び1つ以上のオーディオ出力デバイスを含む。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザインタフェース(GUI)、1つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された1つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、タッチ感知面上のスタイラス及び/又は指の接触及びジェスチャ、カメラ及び他の移動センサによってキャプチャされたときのGUI(及び/又はコンピュータシステム)又はユーザの身体に対する空間内のユーザの目及び手の移動、並びに1つ以上のオーディオ入力デバイスによってキャプチャされたときの音声入力を通じてGUIと相互作用する。いくつかの実施形態では、相互作用を通じて実行される機能は、任意選択的に、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、メモ取り、及び/又はデジタルビデオの再生を含む。それらの機能を実行する実行可能命令は任意選択で、一次的コンピュータ可読記憶媒体及び/又は非一時的コンピュータ可読記憶媒体、あるいは1つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
ユーザインタフェースをナビゲートするための改善された方法及びインタフェースを有する電子デバイスが必要とされている。そのような方法及びインタフェースは、グラフィカルユーザインタフェースと相互作用するための従来の方法を補完又は置換することができる。そのような方法及びインタフェースは、ユーザからの入力の数、程度、及び/又は種類を削減し、より効率的なヒューマンマシンインタフェースを生成する。
いくつかの実施形態では、電子デバイスは、ユーザインタフェース内の第1のロケーションにおける第1の物理ロケーションに対応するコンテンツと、第1の物理ロケーションのインジケーションを有するナビゲーションユーザインタフェース要素とを同時に提示する。いくつかの実施形態では、第2の物理ロケーションに対応するコンテンツを表示する要求に対応する入力に応じて、電子デバイスは、第1の物理ロケーションから第2の物理ロケーションへのナビゲーションを、低減された視覚的顕著性で表示する。
前述の様々な実施形態は、本明細書に記載の任意の他の実施形態と組み合わせることができることに留意されたい。本明細書で説明する特徴及び利点は、包括的なものではなく、特に、図面、明細書及び特許請求の範囲を鑑みると、多くの追加の特徴及び利点が当業者には明らかになるであろう。更に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を画定又は制限するために選択されたものではないことに留意されたい。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
本開示は、いくつかの実施形態による、コンピュータ生成現実(XR)体験をユーザに提供するユーザインタフェースに関する。
本明細書で説明されるシステム、方法、及びGUIは、電子デバイスがナビゲーションユーザインタフェース要素内で示される物理ロケーションに対応するコンテンツを提示するための改善された方法を提供する。
いくつかの実施形態では、コンピュータシステムは、三次元環境において、指定された第1の物理ロケーション及び第1の物理ロケーションに対応する第1のコンテンツを伴うナビゲーションユーザインタフェース要素を同時に表示する。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、第1のコンテンツと三次元環境内のユーザの視点との間に表示される。いくつかの実施形態では、第2の物理ロケーションに対応するコンテンツを提示する要求に対応する入力に応じて、電子デバイスは、第1のコンテンツの表示を停止し、第1のコンテンツが表示されていた三次元環境内のロケーションに第2のコンテンツを表示する。第1のコンテンツが表示された三次元環境内の同じロケーションに第2のコンテンツを提示することは、物理ロケーションに対応するコンテンツを閲覧する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって(例えば、ユーザが三次元環境の異なる領域に注意を向ける必要なく、又は同じロケーションにコンテンツを表示し続けるための入力を提供する必要なく)、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、ナビゲーションユーザインタフェース要素と、ナビゲーションユーザインタフェース要素によって表される第1の物理ロケーションに対応するコンテンツを含むコンテンツ要素とを同時に表示する。いくつかの実施形態では、電子デバイスは、第1の視覚的顕著性で第1のコンテンツを表示する。いくつかの実施形態では、第2の物理ロケーションに対応するコンテンツを表示する要求に対応するユーザ入力を検出している間、電子デバイスは、コンテンツ要素内に、第1の視覚的顕著性に対して低減された視覚的顕著性で、第1の物理ロケーションから第2の物理ロケーションへのナビゲーションを表示する。第1の物理ロケーションから第2の物理ロケーションへのナビゲーションを表示した後、電子デバイスは、任意選択的に、第1の視覚的顕著性に対する低減された視覚的顕著性よりも大きい視覚的顕著性を有する第2のコンテンツを表示する。第2のロケーションを指定する要求に対応するユーザ入力を検出している間にコンテンツ要素の視覚的顕著性を減少させることは、第2のロケーションを指定することがコンテンツ要素を更新することになることをユーザに示す効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善し、更なるユーザ入力によって訂正されなければならない使用の誤りを低減し、(例えば、コンテンツに対応するロケーションの視覚的インジケーションが移動されている間)電子デバイスが第1のロケーション及び/又は第1のロケーションと第2のロケーションとの間の中間ロケーションに対応するコンテンツを完全にレンダリングする必要性を低減する。
図1~図6は、XR体験をユーザに提供するための例示的なコンピュータシステムを説明する。図7A~7Iは、いくつかの実施形態による、電子デバイスがユーザの視線の検出に従ってユーザインタフェースのナビゲーションを提供する方法の例を示す。図8~図9は、様々な実施形態による、ユーザの視線の検出に従ってナビゲーションを提供する方法の流れ図である。図7A~図7Iのユーザインタフェースはそれぞれ、図8~9のプロセスを示すために使用される。
後述のプロセスは、改善された視覚的なフィードバックをユーザに提供すること、操作を実行するために必要な入力の数を減らすこと、表示される追加のコントロールでユーザインタフェースを雑然とさせることなく追加の制御オプションを提供すること、条件のセットが満たされたときに更なるユーザ入力を必要とせずに操作を実行すること、プライバシー及び/又はセキュリティを改善すること及び/又は、他の技術を含む、様々な技術により、(例えば、ユーザがデバイスを操作/対話する際に適切な入力を行うのを助け、ユーザの誤りを減らすことによって)デバイスの操作性を高め、ユーザとデバイスのインタフェースを効率化するものである。これらの技術はまた、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
更に、1つ以上のステップが満たされている1つ以上の条件を条件とする本明細書に記載の方法では、記載の方法は、繰り返しの過程にわたって、本方法のステップが条件とする条件の全てが本方法の異なる繰り返しで満たされるように、複数の繰り返しで繰り返されることができることを理解されたい。例えば、ある方法が、条件が満たされた場合に第1のステップを実行し、条件が満たされなかった場合に第2のステップを実行することを必要とする場合、当業者であれば、条件が満たされ、満たされなくなるまで、請求項に記載のステップが、特定の順序で繰り返されることを理解するであろう。したがって、満たされた1つ以上の条件に依存する1つ以上のステップで説明される方法は、方法に記載された各条件が満たされるまで繰り返される方法として書き換えられることができる。しかしながら、これは、システム又はコンピュータ可読媒体が、対応する1つ以上の条件の充足に基づいて条件付き動作を実行するための命令を含み、したがって、方法のステップが条件付きである全ての条件が満たされるまで、方法のステップを明示的に繰り返すことなく偶発性が満たされたか否かを判定することができる、システム又はコンピュータ可読媒体の請求項には必要とされない。当業者はまた、条件付きステップを有する方法と同様に、システム又はコンピュータ可読記憶媒体が、条件付きステップの全てが実行されたことを確実にするために必要な回数だけ方法のステップを繰り返すことができることを理解するであろう。
いくつかの実施形態では、図1に示されるように、XR体験は、コンピュータシステム101を含む動作環境100を介してユーザに提供される。コンピュータシステム101は、コントローラ110(例えば、ポータブル電子デバイス又はリモートサーバのプロセッサ)と、表示生成コンポーネント120(例えば、ヘッドマウントデバイス(HMD)、ディスプレイ、プロジェクタ、タッチスクリーンなど)と、1つ以上の入力デバイス125(例えば、アイトラッキングデバイス130、ハンドトラッキングデバイス140、他の入力デバイス150)と、1つ以上の出力デバイス155(例えば、スピーカ160、触知出力ジェネレータ170、及び他の出力デバイス180)と、1つ以上のセンサ190(例えば、画像センサ、光センサ、深度センサ、触覚センサ、配向センサ、近接センサ、温度センサ、ロケーションセンサ、運動センサ、速度センサなど)と、任意選択的に1つ以上の周辺デバイス195(例えば、家電製品、ウェアラブルデバイスなど)と、を含む。いくつかの実施形態では、入力デバイス125、出力デバイス155、センサ190、及び周辺デバイス195のうちの1つ以上は、(例えば、ヘッドマウントデバイス又はハンドヘルドデバイス内で)表示生成コンポーネント120と統合される。
XR体験を説明するとき、ユーザが感知する、及び/又は(例えば、XR体験を生成するコンピュータシステムに、XR体験を生成するコンピュータシステム101に提供される様々な入力に対応するオーディオ、視覚、及び/又は触覚フィードバックを生成させる、コンピュータシステム101によって検出された入力を用いて)ユーザが相互作用することができる、いくつかの関連するが、別個の環境に個別的に言及するために様々な用語が使用される。以下は、これらの用語のサブセットである。
物理的環境:物理的環境とは、人々が電子システムの助けなしに、感知及び/又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び嗅覚などを介して、物理的環境を直接感知し、及び/又はそれと相互作用することができる。
拡張現実:これと対照的に、拡張現実(extended reality、XR)環境は、人々が電子システムを介して感知及び/又は対話する、全体的又は部分的に模倣された環境を指す。XRでは、人物の身体運動のサブセット又はその表現が追跡され、それに応じて、XR環境内でシミュレートされた1つ以上の仮想オブジェクトの1つ以上の特性が、少なくとも1つの物理学の法則でふるまうように調節される。例えば、XRシステムは、人物の頭部の回転を検出し、それに応じて、そのようなビュー及び音が物理的環境においてどのように変化するかと同様の方法で、人物に提示されるグラフィックコンテンツ及び音場を調節することができる。状況によっては(例えば、アクセス性の理由から)、XR環境における仮想オブジェクト(単数又は複数)の特性(単数又は複数)に対する調節は、身体運動の表現(例えば、音声コマンド)に応じて行われてもよい。人物は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか1つを使用して、XRオブジェクトを感知し、かつ/又はXRオブジェクトと相互作用してもよい。例えば、人物は、3D空間において点音源の知覚を提供する、3D又は空間的広がりを有するオーディオ環境を作り出すオーディオオブジェクトを感知し、かつ/又はそれと相互作用することができる。別の例では、オーディオオブジェクトによって、コンピュータ生成オーディオを含めて、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性が可能になり得る。いくつかのXR環境では、人物は、オーディオオブジェクトのみを感知し、かつ/又はそれと相互作用してもよい。
XRの例としては、仮想現実及び複合現実が挙げられる。
仮想現実:仮想現実(VR)環境とは、1つ以上の感覚について、コンピュータ生成感覚入力に全面的に基づくように設計された模倣環境を指す。VR環境は、人物が感知かつ/又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人物は、コンピュータ生成環境内に人物が存在することのシミュレーションを通じて、かつ/又はコンピュータ生成環境内での人物の物理的移動のサブセットのシミュレーションを通じて、VR環境における仮想オブジェクトを感知し、かつ/又はそれと相互作用することができる。
複合現実:複合現実(MR)環境とは、コンピュータ生成感覚入力に全面的に基づくように設計されたVR環境とは対照的に、コンピュータ生成感覚入力(例えば、仮想オブジェクト)を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計された模倣環境を指す。仮想の連続体上では、複合現実環境は、一方の端部における完全な物理的環境と、他方の端部における仮想現実環境との間であるがこれらを含まない、任意の場所である。いくつかのMR環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変化に応じ得る。また、MR環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト(すなわち、物理的環境からの物理的物品又はその表現)と相互作用することを可能にするために、物理的環境に対するロケーション及び/又は向きを追跡してもよい。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、移動を考慮に入れてもよい。
複合現実の例としては、拡張現実及び拡張仮想が挙げられる。
拡張現実:拡張現実(AR)環境とは、1つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ね合わされた模倣環境を指す。例えば、AR環境を提示するための電子システムは、人物が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイに仮想オブジェクトを提示するように構成されていてもよく、それによって、人物はシステムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又はビデオをキャプチャする1つ以上の撮像センサとを有してもよい。システムは、画像又はビデオを仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人物はこのシステムを使用して、物理的環境を、物理的環境の画像又はビデオによって間接的に見て、物理的環境に重ね合わされた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境のビデオは、「パススルービデオ」と呼ばれ、システムが、1つ以上の画像センサ(単数又は複数)を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にAR環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムが仮想オブジェクトを、例えば、ホログラムとして物理的環境の中に、又は物理的表面に投影するプロジェクションシステムを有してもよく、それによって、人物はシステムを使用して、物理的環境に重ね合わされた仮想オブジェクトを知覚する。拡張現実環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換される模倣環境を指す。例えば、パススルービデオを提供する際に、システムは、1つ以上のセンサ画像を、撮像センサがキャプチャした透視図とは別の選択された透視図(例えば、視点)を面付けするように変形してもよい。別の例として、物理的環境の表現を、その一部をグラフィカルに修正(例えば、拡大)することによって変形してもよく、それにより、修正された部分を、元のキャプチャ画像を表すが非写実的な、改変版にすることもできる。更なる例として、物理的環境の表現は、その一部をグラフィカルに除去又は不明瞭化することによって変形されてもよい。
拡張仮想:拡張仮想(AV)環境とは、仮想環境又はコンピュータ生成環境が物理的環境から1つ以上の感覚入力を組み込んだ模倣環境を指す。感覚入力は、物理的環境の1つ以上の特性の表現であり得る。例えば、AVの公園には仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、1つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽のポジションと一致する影を採用することができる。
視点ロック仮想オブジェクト:ユーザの視点がシフト(例えば、変化)しても、コンピュータシステムが仮想オブジェクトをユーザの視点内の同じロケーション及び/又はポジションに表示するとき、仮想オブジェクトは視点ロックされる。コンピュータシステムがヘッドマウントデバイスである実施形態では、ユーザの視点は、ユーザの頭部の前向き方向にロックされる(例えば、ユーザの視点は、ユーザが真っ直ぐ前を見ているときのユーザの視野の少なくとも一部である)。したがって、ユーザの視点は、ユーザの頭部を動かさずに、ユーザの視線が動いても固定されたままである。コンピュータシステムが、ユーザの頭部に対して再配置され得る表示生成コンポーネント(例えば、表示画面)を有する実施形態では、ユーザの視点は、コンピュータシステムの表示生成コンポーネント上でユーザに提示されている拡張現実ビューである。例えば、ユーザの視点が第1の向きにある(例えば、ユーザの頭部が北を向いている)ときにユーザの視点の左上隅に表示される視点ロック仮想オブジェクトは、ユーザの視点が第2の向きに変化しても(例えば、ユーザの頭部が西を向いている)、ユーザの視点の左上隅に表示され続ける。言い換えれば、視点ロック仮想オブジェクトがユーザの視点において表示されるロケーション及び/又はポジションは、物理的環境におけるユーザのポジション及び/又は向きとは無関係である。コンピュータシステムがヘッドマウントデバイスである実施形態では、ユーザの視点は、仮想オブジェクトが「頭部ロック仮想オブジェクト」とも称されるように、ユーザの頭部の向きにロックされる。
環境ロック仮想オブジェクト:仮想オブジェクトは、コンピュータシステムが、三次元環境(例えば、物理的環境又は仮想環境)内のロケーション及び/又はオブジェクトに基づく(例えば、それを参照して選択される、及び/又はそれに固定される)ユーザの視点内のロケーション及び/又はポジションに仮想オブジェクトを表示するとき、環境ロック(又は、「世界ロック」)される。ユーザの視点がシフトすると、ユーザの視点に対する環境内のロケーション及び/又はオブジェクトが変化し、その結果、環境ロック仮想オブジェクトがユーザの視点内の異なるロケーション及び/又はポジションに表示される。例えば、ユーザの直前にある木にロックされた環境ロック仮想オブジェクトは、ユーザの視点の中心に表示される。ユーザの視点が右にシフトして(例えば、ユーザの頭部が右に向けられて)木がユーザの視点において左寄りになる(例えば、ユーザの視点における木のポジションがシフトする)場合、木にロックされた環境ロック仮想オブジェクトは、ユーザの視点において左寄りに表示される。言い換えれば、環境ロック仮想オブジェクトがユーザの視点において表示されるロケーション及び/又はポジションは、仮想オブジェクトがロックされる環境におけるロケーション及び/又はオブジェクトのポジション及び/又は向きに依存する。いくつかの実施形態では、コンピュータシステムは、ユーザの視点において環境ロック仮想オブジェクトを表示するポジションを決定するために、静止基準フレーム(例えば、物理的環境における固定ロケーション及び/又はオブジェクトに固定される座標系)を使用する。環境ロック仮想オブジェクトは、環境の静止部分(例えば、床、壁、テーブル、又は他の静止オブジェクト)にロックされることができ、又は環境の可動部分(例えば、車両、動物、人、又はユーザの手、手首、腕、足など、ユーザの視点とは無関係に移動するユーザの身体の部分の表現)にロックされることができ、それにより、仮想オブジェクトは、仮想オブジェクトと環境の部分との間の固定された関係を維持するために、視点又は環境の部分が移動するにつれて移動する。
いくつかの実施形態では、環境ロック又は視点ロックされた仮想オブジェクトは、仮想オブジェクトが追従している基準点の移動に対して、環境ロック又は視点ロックされた仮想オブジェクトの動きを低減又は遅延させる遅延追従挙動を示す。いくつかの実施形態では、遅延追従挙動を示すとき、コンピュータシステムは、仮想オブジェクトが追従している基準点(例えば、環境の一部、視点、又は視点から5~300cmの間にある点等の視点に対して固定された点)の移動を検出すると、仮想オブジェクトの移動を意図的に遅延させる。例えば、基準点(例えば、環境の一部又は視点)が第1の速度で移動するとき、仮想オブジェクトは、基準点にロックされたままであるようにデバイスによって移動されるが、第1の速度よりも遅い第2の速度で移動する(例えば、基準点が移動を停止又は減速するまで、その時点で仮想オブジェクトが基準点に追いつき始める)。いくつかの実施形態では、仮想オブジェクトが遅延追従挙動を示すとき、デバイスは、基準点の少量の移動を無視する(例えば、0~5度の移動又は0~50cmの移動など、閾値移動量未満である基準点の移動を無視する)。例えば、基準点(例えば、仮想オブジェクトがロックされる環境の部分又は視点)が第1の量だけ移動するとき、基準点と仮想オブジェクトとの間の距離は増加し(例えば、仮想オブジェクトがロックされる基準点とは異なる視点又は環境の部分に対して固定又は実質的に固定されたポジションを維持するように仮想オブジェクトが表示されているので)、基準点(例えば、仮想オブジェクトがロックされる環境の部分又は視点)が第1の量よりも大きい第2の量だけ移動するとき、基準点と仮想オブジェクトとの間の距離は最初に増加し(例えば、仮想オブジェクトがロックされる基準点とは異なる視点又は環境の部分に対して固定又は実質的に固定されたポジションを維持するように仮想オブジェクトが表示されているので)、次いで、仮想オブジェクトが基準点に対して固定又は実質的に固定されたポジションを維持するようにコンピュータシステムによって移動されるので、基準点の移動量が閾値(例えば、「遅延追従」閾値)を超えて増加するにつれて減少する。いくつかの実施形態では、基準点に対して実質的に固定されたポジションを維持する仮想オブジェクトは、仮想オブジェクトが、1つ以上の寸法(例えば、基準点のポジションに対して上/下、左/右、及び/又は前方/後方)において基準点の閾値距離(例えば、1、2、3、5、15、20、50cm)内に表示されることを含む。
ハードウェア:人物が様々なXR環境を感知し、及び/又はそれと相互作用することを可能にする、多くの異なるタイプの電子システムが存在する。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ(heads-up displays、HUD)、統合表示機能を有する車両ウィンドシールド、統合表示機能を有する窓、(例えば、コンタクトレンズと同様に)人物の目の上に配置されるように設計されたレンズとして形成されたディスプレイ、ヘッドホン/イヤフォン、スピーカアレイ、入力システム(例えば、触覚フィードバックを有する又は有さない、装着型コントローラ又はハンドヘルドコントローラ)、スマートフォン、タブレット、及びデスクトップ/ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、1つ以上のスピーカ(単数又は複数)及び一体型不透明ディスプレイを有してもよい。あるいは、ヘッドマウントシステムは、外部の不透明ディスプレイ(例えば、スマートフォン)を受容するように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像若しくはビデオをキャプチャするための1つ以上の撮像センサ、及び/又は物理的環境のオーディオをキャプチャするための1つ以上のマイクロフォンを組み込んでいてもよい。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人物の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、OLED、LED、uLED、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィカル画像を人物の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、仮想オブジェクトを、例えば、ホログラムとして、又は物理的表面として物理的環境に投影するように構成されてもよい。いくつかの実施形態では、コントローラ110は、ユーザのXR体験を管理及び調整するように構成される。いくつかの実施形態では、コントローラ110は、ソフトウェア、ファームウェア、及び/又はハードウェアの好適な組み合わせを含む。コントローラ110については、図2を参照して以下により詳細に記載する。いくつかの実施形態では、コントローラ110は、シーン105(例えば、物理的環境)に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ110は、シーン105内に位置するローカルサーバである。別の例では、コントローラ110は、シーン105の外側に位置するリモートサーバ(例えば、クラウドサーバ、中央サーバなど)である。いくつかの実施形態では、コントローラ110は、1つ以上の有線又は無線通信チャネル144(例えば、BLUETOOTH、IEEE802.11x、IEEE802.16x、IEEE802.3xなど)を介して、表示生成コンポーネント120(例えば、HMD、ディスプレイ、プロジェクタ、タッチスクリーンなど)と通信可能に結合される。別の例では、コントローラ110は、表示生成コンポーネント120(例えば、HMD、又はディスプレイ及び1つ以上のプロセッサなどを含むポータブル電子デバイス)、入力デバイス125のうちの1つ以上、出力デバイス155のうちの1つ以上、センサ190のうちの1つ以上、及び/又は周辺デバイス195のうちの1つ以上の筐体(例えば、物理的ハウジング)内に含まれる、又は上記のうちの1つ以上と同じ物理的筐体又は支持構造を共有する。
いくつかの実施形態では、表示生成コンポーネント120は、XR体験(例えば、XR体験の少なくとも視覚的コンポーネント)をユーザに提供するように構成される。いくつかの実施形態では、表示生成コンポーネント120は、ソフトウェア、ファームウェア、及び/又はハードウェアの好適な組み合わせを含む。表示生成コンポーネント120について、図3を参照して以下により詳細に説明する。いくつかの実施形態では、コントローラ110の機能は、表示生成コンポーネント120によって提供される、及び/又は表示生成コンポーネント120と組み合わされる。
いくつかの実施形態によれば、表示生成コンポーネント120は、ユーザがシーン105内に仮想的及び/又は物理的に存在している間に、XR体験をユーザに提供する。
いくつかの実施形態では、表示生成コンポーネントは、ユーザの身体の一部(例えば、自身の頭部や自身の手など)に装着される。したがって、表示生成コンポーネント120は、XRコンテンツを表示するために提供された1つ以上のXRディスプレイを含む。例えば、様々な実施形態では、表示生成コンポーネント120は、ユーザの視野を包囲する。いくつかの実施形態では、表示生成コンポーネント120は、XRコンテンツを提示するように構成されたハンドヘルドデバイス(スマートフォン又はタブレットなど)であり、ユーザは、ユーザの視野に向けられるディスプレイ及びシーン105に向けられるカメラを備えたデバイスを保持する。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの頭部に装着された筐体内に配置される。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの前の支持体(例えば、三脚)上に配置される。いくつかの実施形態では、表示生成コンポーネント120は、ユーザが表示生成コンポーネント120を着用又は保持しない状態でXRコンテンツを提示するように構成されたXRチャンバ、筐体、又は部屋である。XRコンテンツ(例えば、ハンドヘルドデバイス又は三脚上のデバイス)を表示するための1つのタイプのハードウェアを参照して説明される多くのユーザインタフェースは、XRコンテンツ(例えば、HMD又は他のウェアラブルコンピューティングデバイス)を表示するための別のタイプのハードウェア上に実施され得る。例えば、ハンドヘルド又は三脚搭載デバイスの前の空間内で起こる相互作用に基づいてトリガされるXRコンテンツとの相互作用を示すユーザインタフェースは、相互作用がHMDの前の空間で発生し、XRコンテンツの応答がHMDを介して表示されるHMDと同様に実施され得る。同様に、物理的環境(例えば、シーン105又はユーザの身体の一部(例えば、ユーザの目(単数又は複数)、頭部、又は手))に対するハンドヘルド又は三脚搭載デバイスの移動に基づいてトリガされたCRGコンテンツとの相互作用を示すユーザインタフェースは、物理的環境(例えば、シーン105又はユーザの身体の一部(例えば、ユーザの目(単数又は複数)、頭部、又は手))に対するHMDの移動によって移動が引き起こされるHMDと同様に実施され得る。
動作環境100の関連する特徴が図1に示されているが、当業者は、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないように、簡潔化のための様々な他の特徴が示されていないことを、本開示から理解されよう。
図2は、いくつかの実施形態による、コントローラ110の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのため、非限定的な例として、いくつかの実施形態では、コントローラ110は、1つ以上の処理ユニット202(例えば、マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、グラフィック処理ユニット(GPU)、中央処理ユニット(CPU)、処理コアなど)、1つ以上の入出力(I/O)デバイス206、1つ以上の通信インタフェース208(例えば、ユニバーサルシリアルバス(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、グローバル移動通信システム(GSM)、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、グローバル測位システム(GPS)、赤外線(IR)、BLUETOOTH、ZIGBEE、又は同様のタイプのインタフェース)、1つ以上のプログラミング(例えば、I/O)インタフェース210、メモリ220、並びにこれら及び様々な他のコンポーネントを相互接続するための1つ以上の通信バス204を含む。
いくつかの実施形態では、1つ以上の通信バス204は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、1つ以上のI/Oデバイス206は、キーボード、マウス、タッチパッド、ジョイスティック、1つ以上のマイクロフォン、1つ以上のスピーカ、1つ以上の画像センサ、1つ以上のディスプレイなどのうちの少なくとも1つを含む。
メモリ220は、ダイナミックランダムアクセスメモリ(dynamic random-access memory、DRAM)、スタティックランダムアクセスメモリ(static random-access memory、SRAM)、ダブルデータレートランダムアクセスメモリ(double-data-rate random-access memory、DDRRAM)、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ220は、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ220は、1つ以上の処理ユニット202から遠隔に位置する1つ以上の記憶デバイスを任意選択的に含む。メモリ220は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ220、又はメモリ220の非一時的コンピュータ可読記憶媒体は、任意選択的なオペレーティングシステム230及びXR体験モジュール240を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム230は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、XR体験モジュール240は、1人以上のユーザに対する1つ以上のXR体験(例えば、1人以上のユーザに対する単一のXR体験、又は1人以上のユーザのそれぞれのグループに対する複数のXR体験)を管理及び調整するように構成されている。その目的で、様々な実施形態では、XR体験モジュール240は、データ取得ユニット241と、トラッキングユニット242と、調整ユニット246と、データ送信ユニット248と、を含む。
いくつかの実施形態では、データ取得ユニット241は、少なくとも図1の表示生成コンポーネント120から、並びに任意選択的に、入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上から、データ(例えば、提示データ、対話データ、センサデータ、ロケーションデータなど)を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット241は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、トラッキングユニット242は、シーン105をマッピングし、図1のシーン105に対する少なくとも表示生成コンポーネント120のロケーション/ポジションを、並びに任意選択的に、入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上の位置を、追跡するように構成される。その目的で、様々な実施形態では、トラッキングユニット242は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実施形態では、トラッキングユニット242は、ハンドトラッキングユニット244及び/又はアイトラッキングユニット243を含む。いくつかの実施形態では、ハンドトラッキングユニット244は、図1のシーン105に対する、表示生成コンポーネント120に対する、及び/又はユーザの手に対して定義された座標系に対する、ユーザの手の1つ以上の部分のロケーション/ポジション、及び/又はユーザの手の1つ以上の部分の動きを追跡するように構成される。ハンドトラッキングユニット244について、図4に関して以下でより詳細に説明する。いくつかの実施形態では、アイトラッキングユニット243は、シーン105に対する(例えば、物理的環境及び/又はユーザ(例えば、ユーザの手)に対する)、又は表示生成コンポーネント120を介して表示されたXRコンテンツに対する、ユーザの視線(又は、より広範にはユーザの目、顔、又は頭部)のポジション及び移動を追跡するように構成される。アイトラッキングユニット243について、図5に関して以下でより詳細に説明する。
いくつかの実施形態では、調整ユニット246は、表示生成コンポーネント120によって、並びに任意選択的に、出力デバイス155及び/又は周辺デバイス195のうちの1つ以上によって、ユーザに提示されるXR体験を管理及び調整するように構成される。その目的で、様々な実施形態において、調整ユニット246は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット248は、データ(例えば、提示データ、ロケーションデータなど)を少なくとも表示生成コンポーネント120、並びに任意選択的に、入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上に送信するように構成される。その目的で、様々な実施形態では、データ送信ユニット248は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット241、トラッキングユニット242(例えば、アイトラッキングユニット243及びハンドトラッキングユニット244を含む)、調整ユニット246、及びデータ送信ユニット248が、単一のデバイス(例えば、コントローラ110)上に存在するものとして示されているが、他の実施形態では、データ取得ユニット241、トラッキングユニット242(例えば、アイトラッキングユニット243及びハンドトラッキングユニット244を含む)、調整ユニット246、及びデータ送信ユニット248の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図2は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図2に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では1つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び/又はファームウェアの特定の組み合わせに部分的に依存する。
図3は、いくつかの実施形態による、表示生成コンポーネント120の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実施形態では、表示生成コンポーネント120(例えば、HMD)には、1つ以上の処理ユニット302(例えば、マイクロプロセッサ、ASIC、FPGA、GPU、CPU、処理コアなど)、1つ以上の入出力(I/O)デバイス及びセンサ306、1つ以上の通信インタフェース308(例えば、USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、赤外線、BLUETOOTH、ZIGBEE、及び/又は同様のタイプのインタフェース)、1つ以上のプログラミング(例えば、I/O)インタフェース310、1つ以上のXRディスプレイ312、1つ以上の任意選択の内向き及び/又は外向き画像センサ314、メモリ320、並びにこれら及び様々な他のコンポーネントを相互接続するための1つ以上の通信バス304、が含まれる。
いくつかの実施形態では、1つ以上の通信バス304は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、1つ以上のI/Oデバイス及びセンサ306は、慣性測定装置(IMU)、加速度計、ジャイロスコープ、温度計、1つ以上の生理的センサ(例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、血糖センサなど)、1つ以上のマイクロフォン、1つ以上のスピーカ、触覚エンジン、1つ以上の深度センサ(例えば、構造化光、飛行時間など)などのうちの少なくとも1つを含む。
いくつかの実施形態では、1つ以上のXRディスプレイ312は、ユーザにXR体験を提供するように構成される。いくつかの実施形態では、1つ以上のXRディスプレイ312は、ホログラフィック、デジタル光処理(DLP)、液晶ディスプレイ(LCD)、液晶オンシリコン(LCoS)、有機発光電界効果トランジスタ(OLET)、有機発光ダイオード(OLED)、表面伝導型電子放射素子ディスプレイ(SED)、電界放射ディスプレイ(FED)、量子ドット発光ダイオード(QD-LED)、MEMS、及び/又は同様のディスプレイタイプに相当する。いくつかの実施形態では、1つ以上のXRディスプレイ312は、回折、反射、偏光、ホログラフィックなどの、導波管ディスプレイに相当する。例えば、表示生成コンポーネント120(例えば、HMD)は、単一のXRディスプレイを含む。別の実施例では、表示生成コンポーネント120は、ユーザの各目用のXRディスプレイを含む。いくつかの実施形態では、1つ以上のXRディスプレイ312は、MR又はVRコンテンツを提示することができる。いくつかの実施形態では、1つ以上のXRディスプレイ312は、MR又はVRコンテンツを提示することができる。
いくつかの実施形態では、1つ以上の画像センサ314は、ユーザの目を含むユーザの顔の少なくとも一部に対応する画像データを取得するように構成される(及び、アイトラッキングカメラと称する場合がある)。いくつかの実施形態では、1つ以上の画像センサ314は、ユーザの手(単数又は複数)及び任意選択的にユーザの腕(単数又は複数)の少なくとも一部に対応する画像データを取得するように構成される(及び、ハンドトラッキングカメラと称される場合がある)。いくつかの実施形態では、1つ以上の画像センサ314は、表示生成コンポーネント120(例えばHMD)、が存在しない場合に、ユーザが閲覧するようなシーンに対応する画像データを取得するように前方を向くように構成されている(かつ、シーンカメラと称されることがある)。1つ以上の任意選択的な画像センサ314は、(例えば、相補型金属酸化膜半導体(CMOS)画像センサ若しくは電荷結合デバイス(CCD)画像センサを備えた)1つ以上のRGBカメラ、1つ以上の赤外線(IR)カメラ、1つ以上のイベントベースのカメラ、及び/又は同様のもの、を含むことができる。
メモリ320は、DRAM、SRAM、DDR RAM、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ320は、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ320は、1つ以上の処理ユニット302から遠隔に位置する1つ以上の記憶デバイスを任意選択的に含む。メモリ320は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ320、又はメモリ320の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム330及びXR提示モジュール340を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム330は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、XR提示モジュール340は、1つ以上のXRディスプレイ312を介してXRコンテンツをユーザに提示するように構成される。その目的で、様々な実施形態では、XR提示モジュール340は、データ取得ユニット342、XR提示ユニット344、XRマップ生成ユニット346、及びデータ送信ユニット348を含む。
いくつかの実施形態では、データ取得ユニット342は、少なくとも図1のコントローラ110からデータ(例えば、提示データ、相互作用データ、センサデータ、ロケーションデータなど)を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット342は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、XR提示ユニット344は、1つ以上のXRディスプレイ312を介してXRコンテンツを提示するように構成される。その目的で、様々な実施形態では、XR提示ユニット344は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、XRマップ生成ユニット346は、メディアコンテンツデータに基づいて、XRマップ(例えば、複合現実シーンの3Dマップ又はコンピュータ生成オブジェクトを配置することができる物理的環境のマップ)を生成するように構成される。その目的で、様々な実施形態では、XRマップ生成ユニット346は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット348は、少なくともコントローラ110、及び任意選択的に入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上にデータ(例えば、提示データ、ロケーションデータなど)を伝送するように構成される。その目的で、様々な実施形態では、データ送信ユニット348は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット342は、XR提示ユニット344、XRマップ生成ユニット346、及びデータ送信ユニット348は、単一のデバイス(例えば、図1の表示生成コンポーネント120)上に存在するものとして示されているが、他の実施形態では、データ取得ユニット342、XR提示ユニット344、XRマップ生成ユニット346、及びデータ送信ユニット348の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図3は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実装形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図3に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では1つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び/又はファームウェアの特定の組み合わせに部分的に依存する。
図4は、ハンドトラッキングデバイス140の例示的な実施形態の概略図である。いくつかの実施形態では、ハンドトラッキングデバイス140(図1)は、図1のシーン105に対する(例えば、ユーザを囲む物理的環境の一部に対する、表示生成コンポーネント120に対する、又はユーザの一部(例えば、ユーザの顔、目、又は頭部)に対する、及び/又はユーザの手に対して定義された座標系に対する)ユーザの手の1つ以上の部分のロケーション/ポジション、及び/又は、ユーザの手の1つ以上の部分の動きを追跡するように、ハンドトラッキングユニット243(図2)によって制御される。いくつかの実施形態では、ハンドトラッキングデバイス140は、表示生成コンポーネント120の一部である(例えば、ヘッドマウントデバイスに埋め込まれる、又はヘッドマウントデバイスに取り付けられる)。いくつかの実施形態では、ハンドトラッキングデバイス140は、表示生成コンポーネント120とは別個である(例えば、別個のハウジング内に位置する、又は別個の物理的支持構造に取り付けられる)。
いくつかの実施形態では、ハンドトラッキングデバイス140は、人間のユーザの少なくとも手406を含む三次元シーン情報をキャプチャする画像センサ404(例えば、1つ以上のIRカメラ、3Dカメラ、深度カメラ、及び/又はカラーカメラなど)を含む。画像センサ404は、指及びそれらのそれぞれのポジションを区別するのを可能にするのに十分な解像度で手画像をキャプチャする。画像センサ404は、典型的には、ユーザの身体の他の部分の画像、又は身体の全ての画像をキャプチャし、ズーム機能又は高倍率を有する専用センサのいずれかを有して、所望の解像度で手の画像をキャプチャすることができる。いくつかの実施形態では、画像センサ404はまた、手406の2Dカラービデオ画像及びシーンの他の要素をキャプチャする。いくつかの実施形態では、画像センサ404は、シーン105の物理的環境をキャプチャする他の画像センサと併せて使用される、又はシーン105の物理的環境をキャプチャする画像センサとして機能する。いくつかの実施形態では、画像センサ404は、画像センサ又はその一部の視野が使用されて、画像センサによってキャプチャされた手の移動がコントローラ110への入力として処理される相互作用空間を定義するように、ユーザ又はユーザの環境に対して位置決めされる。
いくつかの実施形態では、画像センサ404は、3Dマップデータ(及び場合によってはカラー画像データも)を含むフレームのシーケンスをコントローラ110に出力し、これにより、マップデータから高レベル情報を抽出する。この高レベル情報は、典型的には、アプリケーションプログラムインタフェース(API)を介して、コントローラ上で実行されるアプリケーションに提供され、それに応じて表示生成コンポーネント120を駆動する。例えば、ユーザは、自身の手406を移動させ、自身の手の姿勢を変化させることによって、コントローラ110上で動作するソフトウェアと対話することができる。
いくつかの実施形態では、画像センサ404は、手406を含むシーン上にスポットパターンを投影し、投影されたパターンの画像をキャプチャする。いくつかの実施形態では、コントローラ110は、パターンのスポットの横方向シフトに基づいて、三角測量によって(ユーザの手の表面上の点を含む)シーン内の点の3D座標を計算する。このアプローチは、ユーザが任意の種類のビーコン、センサ、又は他のマーカを保持又は着用する必要がないという点で有利である。これは、画像センサ404からの特定の距離で、所定の基準面に対するシーン内の点の深度座標を与える。本開示では、画像センサ404は、シーン内の点の深度座標が画像センサによって測定されたz成分に対応するように、直交する一連のx、y、z軸を定義すると想定される。代替的に、画像センサ404(例えば、ハンドトラッキングデバイス)は、単一又は複数のカメラ又は他のタイプのセンサに基づいて、立体撮像又は飛行時間測定などの他の3Dマッピング方法を使用することができる。
いくつかの実施形態では、ハンドトラッキングデバイス140は、ユーザが手(例えば、手全体又は1本以上の指)を移動させている間、ユーザの手を含む深度マップの時間シーケンスをキャプチャし処理する。画像センサ404及び/又はコントローラ110内のプロセッサ上で動作するソフトウェアは、3Dマップデータを処理して、これらの深度マップ内の手のパッチ記述子を抽出する。ソフトウェアは、各フレームにおける手の姿勢を推定するために、以前の学習プロセスに基づいて、これらの記述子をデータベース408に記憶されたパッチ記述子と照合する。姿勢は、典型的には、ユーザの手関節及び指先の3Dロケーションを含む。
ソフトウェアはまた、ジェスチャを識別するために、シーケンス内の複数のフレームにわたって手及び/又は指の軌道を解析することができる。本明細書に記載される姿勢推定機能は、運動追跡機能とインターリーブされてもよく、それにより、パッチベースの姿勢推定が2つ(又はそれより多く)のフレーム毎に1回のみ実行される一方、追跡は残りのフレームにわたって発生する姿勢の変化を発見するために使用される。姿勢、運動、及びジェスチャ情報は、上述のAPIを介して、コントローラ110上で実行されるアプリケーションプログラムに提供される。このプログラムは、例えば、姿勢及び/又はジェスチャ情報に応じて、表示生成コンポーネント120上に提示された画像を移動させ修正する、又は他の機能を実行することができる。
いくつかの実施形態では、ジェスチャは、エアジェスチャを含む。エアジェスチャは、ユーザがデバイス(例えば、コンピュータシステム101、1つ以上の入力デバイス125、及び/又は、ハンドトラッキングデバイス140)の一部である入力要素に触れることなく(又はそれとは無関係に)検出されるジェスチャであり、絶対的な基準(例えば、地面に対するユーザの腕の角度、又は地面に対するユーザの手の距離)に対するユーザの身体の動き、ユーザの身体の別の部分(例えば、ユーザの肩に対するユーザの手の移動、ユーザの一方の手のユーザの別の手に対する移動、及び/又はユーザの指の、別の指若しくはユーザの手の一部に対する移動)に対するユーザの身体の動き、及び/又はユーザの身体の一部(例えば、所定の量及び/又は速さによる所定の姿勢での手の移動を含むタップジェスチャ、又は所定の速度又はユーザの身体の一部の回転量を含むシェイクジェスチャ)の絶対的な動きを含む、空中にあるユーザの身体の一部(例えば、頭部、1つ以上の腕、1つ以上の手、1つ以上の指、及び/又は1つ以上の脚)の検出された動きに基づく。
いくつかの実施形態では、本明細書に記載の様々な例及び実施形態で使用される入力ジェスチャは、いくつかの実施形態に係る、XR環境(例えば、仮想又は複合現実環境)と相互作用するための他の指(単数又は複数)又はユーザの手の部分(単数又は複数)に対するユーザの指(単数又は複数)の移動によって実行されるエアジェスチャを含む。いくつかの実施形態では、エアジェスチャは、ユーザがデバイスの一部である入力要素に触れることなく(又はデバイスの一部である入力要素から独立して)検出されるジェスチャであり、絶対的な基準に対するユーザの身体の動き(例えば、地面に対するユーザの腕の角度、又は地面に対するユーザの手の距離)、ユーザの身体の別の部分に対するユーザの身体の動き(例えば、ユーザの肩に対するユーザの手の動き、ユーザの一方の手に対するユーザの他方の手の移動、及び/又はユーザの手の別の指若しくは部分に対するユーザの指の移動)、及び/又は、ユーザの身体の一部の絶対的な動き(例えば、所定の量及び/又は速さによる所定のポーズでの手の移動を含むタップジェスチャ、又はユーザの身体の一部の所定の速さ又は量の回転を含むシェイクジェスチャ)を含む、ユーザの身体の一部の検出された動きに基づく。
入力ジェスチャがエアジェスチャ(例えば、タッチスクリーン上に表示されたユーザインタフェース要素との接触、又はユーザインタフェース要素にカーソルを移動させるためのマウス又はトラックパッドとの接触など、どのユーザインタフェース要素がユーザ入力のターゲットであるかに関する情報をコンピュータシステムに提供する入力デバイスとの物理的接触がない場合)であるいくつかの実施形態では、ジェスチャは、ユーザ入力のターゲット(例えば、以下で説明するように、直接入力の場合)を決定するためにユーザの注意(例えば、視線)を考慮に入れる。したがって、エアジェスチャを含む実装形態では、入力ジェスチャは、例えば、以下でより詳細に説明するように、ピンチ及び/又はタップ入力を実行するためのユーザの指(単数又は複数)及び/又は手の移動と組み合わせて(例えば、同時)ユーザインタフェース要素に対する検出された注意(例えば、視線)である。
いくつかの実施形態では、ユーザインタフェースオブジェクトに向けられた入力ジェスチャは、ユーザインタフェースオブジェクトを参照して直接的又は間接的に実行される。例えば、ユーザ入力は、三次元環境(例えば、ユーザの現在の視点に基づいて決定されるように、)におけるユーザインタフェースオブジェクトのポジションに対応するポジションでユーザの手で入力ジェスチャを実行したことに応じて、ユーザインタフェースオブジェクトに対して直接実行される。いくつかの実施形態では、入力ジェスチャは、ユーザインタフェースオブジェクトに対するユーザの注意(例えば、視線)を検出しながら、ユーザの手のポジションが三次元環境におけるユーザインタフェースオブジェクトのポジションに対応するポジションにない間に入力ジェスチャを実行するユーザに従って、ユーザインタフェースオブジェクトに対して間接的に実行される。例えば、直接入力ジェスチャの場合、ユーザは、ユーザインタフェースオブジェクトの表示ポジション(例えば、オプションの外縁又はオプションの中央部分から測定して、0.5cm、1cm、5cm、又は0~5cmの距離内)に対応するポジション又はその付近でジェスチャを開始することによって、ユーザの入力をユーザインタフェースオブジェクトに向けることができる。間接的な入力ジェスチャの場合、ユーザは、ユーザインタフェースオブジェクトに注意を払うことによって(例えば、ユーザインタフェースオブジェクトを注視することによって)ユーザの入力をユーザインタフェースオブジェクトに向けることができ、オプションに注意を払いながら、ユーザは、入力ジェスチャを開始する(例えば、コンピュータシステムによって検出可能な任意のポジションで)(例えば、ユーザインタフェースオブジェクトの表示ポジションに対応しないポジションで)。
いくつかの実施形態では、本明細書に記載の様々な例及び実施形態で使用される入力ジェスチャ(例えば、エアジェスチャ)は、いくつかの実施形態に係る、仮想又は複合現実環境と相互作用するためのピンチ入力及びタップ入力を含む。例えば、後述するピンチ入力やタップ入力は、エアジェスチャとして行われる。
いくつかの実施形態では、ピンチ入力は、ピンチジェスチャ、ロングピンチジェスチャ、ピンチアンドドラッグジェスチャ、又はダブルピンチジェスチャのうちの1つ以上を含むエアジェスチャの一部である。例えば、エアジェスチャであるピンチジェスチャは、互いに接触するように手の2本以上の指を動かすこと、すなわち、任意選択的に、互いに接触した直後の(例えば、0~1秒以内)中断を含む。エアジェスチャであるロングピンチジェスチャは、互いに接触している中断を検出する前に、少なくとも閾値時間量(例えば、少なくとも1秒)にわたって互いに接触するように手の2本以上の指を動かすことを含む。例えば、ロングピンチジェスチャは、ユーザがピンチジェスチャ(例えば、2つ以上の指が接触している場合、)を保持することを含み、ロングピンチジェスチャは、2本以上の指の間の接触の中断が検出されるまで継続する。いくつかの実施形態では、エアジェスチャであるダブルピンチジェスチャは、互いに直接(例えば、既定の期間内に)連続して検出される2つ(例えば、又はそれより多く)のピンチ入力(例えば、同じ手で実行される)を含む。例えば、ユーザは、第1のピンチ入力を実行し(例えば、ピンチ入力又はロングピンチ入力)、第1のピンチ入力を解放し(例えば、2つ以上の指の間の接触を破壊する)、第1のピンチ入力を解放した後、既定の期間(例えば、1秒以内又は2秒以内)内に第2のピンチ入力を実行する。
いくつかの実施形態では、エアジェスチャであるピンチアンドドラッグジェスチャは、ユーザの手のポジションを第1のポジション(例えば、ドラッグの開始ポジション)から第2のポジション(例えば、抗力の終了ポジション)に変化させるドラッグ入力に関連して(例えば、その後に)実行されるピンチジェスチャ(例えば、ピンチジェスチャ又はロングピンチジェスチャ)を含む。いくつかの実施形態では、ユーザは、ドラッグ入力を実行しながらピンチジェスチャを維持し、(例えば、第2のポジションにおいて)ドラッグジェスチャを終了するためにピンチジェスチャ(例えば、2本以上の指を開く)を解放する。いくつかの実施形態では、ピンチ入力及びドラッグ入力は、同じ手(例えば、ユーザは、2本以上の指をつまんで互いに接触し、ドラッグジェスチャで空中の第2のポジションに同じ手を移動させる)によって実行される。いくつかの実施形態では、ピンチ入力はユーザの第1の手によって実行され、ドラッグ入力はユーザの第2の手によって実行される(例えば、ユーザの第2の手は、ユーザがユーザの第1の手でピンチ入力を継続する間に空中で第1のポジションから第2のポジションに移動する)。いくつかの実施形態では、エアジェスチャである入力ジェスチャは、ユーザの両手の双方を使用して実行される入力(例えば、ピンチ入力及び/又はタップ入力)を含む。例えば、入力ジェスチャは、互いに関連して(例えば、既定の期間と同時に、又は既定の期間内に)行われる2つ(例えば、又はそれより多く)のピンチ入力を含む。例えば、ユーザの第1の手を使用して実行される第1のピンチジェスチャ(例えば、ピンチ入力、ロングピンチ入力、又はピンチ及びドラッグ入力)と、第1の手を使用してピンチ入力を実行することに関連して、他方の手(例えば、ユーザの両手の第2の手)を使用して第2のピンチ入力を実行する。いくつかの実施形態では、(例えば、ユーザの両手の間の距離又は相対的な向きを増加及び/又は減少させるための)ユーザの両手の間の移動。
いくつかの実施形態では、エアジェスチャとして実行されるタップ入力(例えば、ユーザインタフェース要素に向けられる)は、ユーザインタフェース要素に向かうユーザの指の移動(単数又は複数)、任意選択的にユーザの指(単数又は複数)をユーザインタフェース要素に向かって伸ばした状態でのユーザの手のユーザインタフェース要素に向かう移動、ユーザの指の下方への動き(例えば、マウスクリック動作又はタッチスクリーン上のタップを模倣する)、又はユーザの手の他の既定の移動を含む。いくつかの実施形態では、エアジェスチャとして実行されるタップ入力は、ユーザの視点から離れて、及び/又は移動の終了が続くタップ入力のターゲットであるオブジェクトに向かって指又は手のタップジェスチャの移動を実行する指又は手の移動特性に基づいて検出される。いくつかの実施形態では、タップジェスチャ(例えば、ユーザの視点から離れる、及び/又はタップ入力の対象であるオブジェクトに向かう移動の終了、指又は手の移動方向の反転、及び/又は指又は手の移動の加速方向の反転)を実行する指又は手の移動特性の変化に基づいて、移動の終了が検出される。
いくつかの実施形態では、ユーザの注意は、(任意選択で、他の条件を必要とせずに)三次元環境の一部に向けられた視線の検出に基づいて、三次元環境の一部に向けられていると判定される。いくつかの実施形態では、ユーザの注意が三次元環境の一部に向けられていることをデバイスが判定するために、ユーザの視点が三次元環境の一部から距離閾値内にある間に、少なくとも閾値持続時間(例えば、滞留時間)、視線が三次元環境の一部に向けられていることを必要とすること、及び/又は視線が三次元環境の一部に向けられていることを必要とすることなどの1つ以上の追加の条件を伴う三次元環境の一部に向けられた視線の検出に基づいて、ユーザの注意が三次元環境の一部に向けられていると判定され、追加の条件のうちの1つが満たされていない場合、デバイスは、三次元環境のうちの視線が向けられている部分に注意が向けられていないと判定する(例えば、1つ以上の追加の条件が満たされるまで)。
いくつかの実施形態では、ユーザ又はユーザの一部の準備完了状態構成の検出は、コンピュータシステムによって検出される。手の準備完了状態構成の検出は、ユーザが、手によって実行される1つ以上のエアジェスチャ入力(例えば、ピンチ、タップ、ピンチ及びドラッグ、ダブルピンチ、ロングピンチ、又は本明細書に説明される他のエアジェスチャ)を使用して、コンピュータシステムと対話する準備をしている可能性が高いというインジケーションとして、コンピュータシステムによって使用される。例えば、手の準備完了状態は、手が所定の手形状(例えば、親指と1本以上の指が伸ばされて間隔を空けてピンチ若しくはグラブジェスチャを行う準備ができているプレピンチ形状、又は1本以上の指が伸ばされて手のひらがユーザから離れる方向を向いているプレタップ)を有するか否か、手がユーザの視点に対して所定のポジションにあるか否か(例えば、ユーザの頭部の下、ユーザの腰の上、身体から少なくとも15cm、20cm、25cm、30cm、又は50cmだけ伸ばされている)、及び/又は手が特定の方法で移動したか否か(例えば、ユーザの腰の上、ユーザの頭部の下のユーザの正面の領域に向かって移動したか、又はユーザの身体若しくは脚から離れたか)に基づいて決定される。いくつかの実施形態では、準備完了状態は、ユーザインタフェースの対話要素が注意(例えば、視線)入力に応じるかどうかを判定するために使用される。
いくつかの実施形態では、ソフトウェアは、例えばネットワーク上で、コントローラ110に電子形態でダウンロードされてもよい、又はその代わりに、光学、磁気、若しくは電子メモリ媒体などの、実体的非一時的媒体に提供されてもよい。いくつかの実施形態では、データベース408は、同様に、コントローラ110に関連付けられたメモリに記憶される。代替的又は追加的に、コンピュータの記載された機能の一部又は全ては、カスタム又は半カスタム集積回路又はプログラム可能なデジタル信号プロセッサ(DSP)などの専用のハードウェアに実装されてもよい。コントローラ110は、例として、画像センサ440からの別個のユニットとして図4に示されているが、コントローラの処理機能の一部又は全部は、好適なマイクロプロセッサ及びソフトウェアによって、又はハンドトラッキングデバイス402のハウジング内の専用回路によって、又は他の方法で画像センサ404に関連付けることができる。いくつかの実施形態では、これらの処理機能のうちの少なくともいくつかは、(例えば、テレビセット、ハンドヘルドデバイス、又はヘッドマウントデバイスにおいて)表示生成コンポーネント120と統合された好適なプロセッサによって、又はゲームコンソール又はメディアプレーヤなどの任意の他の適切なコンピュータ化されたデバイスを用いて実行されてもよい。画像センサ404の感知機能は、同様に、センサ出力によって制御されるコンピュータ又は他のコンピュータ化された装置に統合することができる。
図4は、いくつかの実施形態による、画像センサ404によってキャプチャされた深度マップ410の概略図を更に含む。深度マップは、上述したように、それぞれの深度値を有するピクセルのマトリックスを含む。手406に対応するピクセル412は、このマップで背景及び手首からセグメント化されている。深度マップ410内の各ピクセルの輝度は、深度値、すなわち、画像センサ404からの測定されたz距離に反比例し、深度が上昇するにつれて階調が濃くなる。コントローラ110は、人間の手の特性を有する画像の成分(すなわち、隣接ピクセル群)を識別及びセグメント化するために、これらの深度値を処理する。これらの特性は、例えば、深度マップのシーケンスの全体サイズ、形状、フレームからフレームへの動きを含むことができる。
図4はまた、いくつかの実施形態による、コントローラ110が手406の深度マップ410から最終的に抽出する手骨格414を概略的に示す。図4では、手の骨格414は、元の深度マップからセグメント化された手の背景416に重ね合わされる。いくつかの実施形態では、手(例えば、指関節、指先、手のひらの中心、手首に接続する手の終端など)、及び任意選択的に手に接続された手首又は腕上の主要な特徴点が、手骨格414上で識別され配置される。いくつかの実施形態では、複数の画像フレーム上にわたるこれらの主要な特徴点のロケーション及び移動がコントローラ110によって使用されて、いくつかの実施形態により、手によって実行される手ジェスチャ又は手の現在の状態を判定する。
図5は、アイトラッキングデバイス130(図1)の例示的な実施形態を示す。いくつかの実施形態では、アイトラッキングデバイス130は、シーン105に対する、又は表示生成コンポーネント120を介して表示されたXRコンテンツに対する、ユーザの視線のポジション及び移動を追跡するように、アイトラッキングユニット245(図2)によって制御される。いくつかの実施形態では、アイトラッキングデバイス130は、表示生成コンポーネント120と統合される。例えば、いくつかの実施形態では、表示生成コンポーネント120がヘッドセット、ヘルメット、ゴーグル、又は眼鏡などのヘッドマウントデバイス、又はウェアラブルフレームに配置されたハンドヘルドデバイスである場合、ヘッドマウントデバイスは、ユーザによる視聴のためのXRコンテンツを生成するコンポーネント及びXRコンテンツに対するユーザの視線を追跡するためのコンポーネントの両方を含む。いくつかの実施形態では、アイトラッキングデバイス130は、表示生成コンポーネント120とは別個である。例えば、表示生成コンポーネントがハンドヘルドデバイス又はXRチャンバである場合、アイトラッキングデバイス130は、任意選択的に、ハンドヘルドデバイス又はXRチャンバとは別個のデバイスである。いくつかの実施形態では、アイトラッキングデバイス130は、ヘッドマウントデバイス又はヘッドマウントデバイスの一部である。いくつかの実施形態では、ヘッドマウントアイトラッキングデバイス130は、任意選択的に、頭部に装着されている表示生成コンポーネント又は頭部に装着されていない表示生成コンポーネントと共に使用される。いくつかの実施形態では、アイトラッキングデバイス130は、ヘッドマウントデバイスではなく、任意選択的に、ヘッドマウント表示生成コンポーネントと組み合わせて使用される。いくつかの実施形態では、アイトラッキングデバイス130は、ヘッドマウントデバイスではなく、任意選択的に、非ヘッドマウント表示生成コンポーネントの一部である。
いくつかの実施形態では、表示生成コンポーネント120は、ユーザの目の前に左及び右の画像を含むフレームを表示して、3D仮想ビューをユーザに提供するディスプレイ機構(例えば、左右の目近傍ディスプレイパネル)を使用する。例えば、ヘッドマウント表示生成コンポーネントは、ディスプレイとユーザの目との間に位置する左右の光学レンズ(本明細書では接眼レンズと称される)を含んでもよい。いくつかの実施形態では、表示生成コンポーネントは、表示のためにユーザの環境のビデオをキャプチャする1つ以上の外部ビデオカメラを含んでもよい、又はそれに結合されてもよい。いくつかの実施形態では、ヘッドマウント表示生成コンポーネントは、ユーザが物理的環境を直接視認し、透明又は半透明ディスプレイ上に仮想オブジェクトを表示することができる透明又は半透明のディスプレイを有してもよい。いくつかの実施形態では、表示生成コンポーネントは、仮想オブジェクトを物理的環境に投影する。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを観察することができる。そのような場合、左右の目のための別個のディスプレイパネル及び画像フレームが必要とされない場合がある。
図5に示されるように、いくつかの実施形態では、視線トラッキングデバイス130は、少なくとも1つのアイトラッキングカメラ(例えば、赤外線(IR)又は近IR(NIR)カメラ)、並びに光(例えば、IR又はNIR光)をユーザの目に向けて発する照明源(例えば、LEDのアレイ若しくはリングなどのIR又はNIR光源)を含む。アイトラッキングカメラは、ユーザの目に向けられて、光源からの反射IR又はNIR光を目から直接受信してもよく、又は代替的に、ユーザの目と、視覚的光が通過することを可能にしながら目からアイトラッキングカメラにIR又はNIR光を反射させるディスプレイパネルとの間に配置される「ホット」ミラーに向けられてもよい。視線トラッキングデバイス130は、任意選択的に、ユーザの目の画像を(例えば、1秒当たり60~120フレーム(fps)でキャプチャされるビデオストリームとして)キャプチャし、画像を解析して、視線トラッキング情報を生成し、視線トラッキング情報をコントローラ110に通信する。いくつかの実施形態では、ユーザの両目は、それぞれのアイトラッキングカメラ及び照明源によって別々に追跡される。いくつかの実施形態では、ユーザの片目のみが、個別のアイトラッキングカメラ及び照明源によって追跡される。
いくつかの実施形態では、アイトラッキングデバイス130は、デバイス固有の較正プロセスを使用して較正されて、特定の動作環境100用のアイトラッキングデバイスのパラメータ、例えば、LED、カメラ、ホットミラー(存在する場合)、接眼レンズ、及びディスプレイスクリーンの3D幾何学的関係及びパラメータを判定する。デバイス固有の較正プロセスは、AR/VR機器のエンドユーザへの配送前に、工場又は別の施設で実行されてもよい。デバイス固有の較正プロセスは、自動較正プロセスであってもよく、又は手動較正プロセスであってもよい。ユーザ固有の較正プロセスは、特定のユーザの目パラメータ、例えば、瞳孔位置、中心視覚位置、光軸、視軸、目間隔などの推定を含んでもよい。いくつかの実施形態によれば、いったんアイトラッキングデバイス130についてデバイス固有及びユーザ固有のパラメータが判定されると、アイトラッキングカメラによってキャプチャされた画像は、グリント支援方法を使用して処理され、ディスプレイに対するユーザの現在の視覚軸及び視点を判定することができる。
図5に示されるように、アイトラッキングデバイス130(例えば、130A又は130B)は、接眼レンズ(単数又は複数)520と、アイトラッキングが行われるユーザの顔の側に配置された少なくとも1つのアイトラッキングカメラ540(例えば、赤外線(IR)又は近IR(NIR)カメラ)と光(例えば、IR又はNIR光)をユーザの目(単数又は複数)592に向かって発する照明源530(例えば、NIR発光ダイオード(LED)のアレイ若しくはリングなどのIR又はNIR光源)とを含む視線トラッキングシステムと、を含む。アイトラッキングカメラ540は、ユーザの目(単数又は複数)592とディスプレイ510(例えば、ヘッドマウントディスプレイの左若しくは右側のディスプレイパネル、又はハンドヘルドデバイスのディスプレイ、プロジェクタなど)との間に位置し、(例えば、図5の上部に示されるように)可視光を透過させながら、目(単数又は複数)592からのIR又はNIR光を反射するミラー550に向けられてもよく、あるいは、(例えば、図5の下部に示されるように)反射された目(単数又は複数)592からのIR又はNIR光を受光するようにユーザの目(単数又は複数)592に向けられてもよい。
いくつかの実施形態では、コントローラ110は、AR又はVRフレーム562(例えば、左及び右のディスプレイパネルの左及び右のフレーム)をレンダリングし、フレーム562をディスプレイ510に提供する。コントローラ110は、様々な目的のために、例えば、表示のためにフレーム562を処理する際に、アイトラッキングカメラ540からの視線トラッキング入力542を使用する。コントローラ110は、任意選択的に、グリント支援方法又は他の適切な方法を使用して、アイトラッキングカメラ540から得られた視線トラッキング入力542に基づいて、ディスプレイ510上のユーザの視点を推定する。視線トラッキング入力542から推定された視点は、任意選択的に、ユーザが現在見ている方向を判定するために使用される。
以下、ユーザの現在の視線方向のいくつかの可能な使用事例について説明するが、これは限定することを意図するものではない。例示的な使用例として、コントローラ110は、判定されたユーザの視線方向に基づいて、仮想コンテンツを異なってレンダリングすることができる。例えば、コントローラ110は、周辺領域においてよりもユーザの現在の視線方向から判定された中心視覚領域において、より高い解像度で仮想コンテンツを生成してもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内の仮想コンテンツを位置決め又は移動させてもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内に特定の仮想コンテンツを表示してもよい。ARアプリケーションにおける別の例示的な使用事例として、コントローラ110は、XR体験の物理的環境をキャプチャして、判定された方向に焦点を合わせるように外部カメラを方向付けることができる。次いで、外部カメラの自動焦点機構は、ユーザが現在ディスプレイ510上で見ている環境内のオブジェクト又は表面に焦点を合わせることができる。別の例示的な使用事例として、接眼レンズ520は集束可能なレンズであってもよく、視線トラッキング情報がコントローラによって使用されて、ユーザが現在見ている仮想オブジェクトが、ユーザの目592の収束に一致するために適切な両目連動を有するように接眼レンズ520の焦点を調整する。コントローラ110は、視線トラッキング情報を活用して、ユーザが見ている近接オブジェクトが正しい距離で現れるように接眼レンズ520を方向付けて焦点を調整することができる。
いくつかの実施形態では、アイトラッキングデバイスは、ウェアラブルハウジングに取り付けられた、ディスプレイ(例えば、ディスプレイ510)、2つの接眼レンズ(例えば、接眼レンズ(単数又は複数)520)、アイトラッキングカメラ(例えば、アイトラッキングカメラ(単数又は複数)540)、及び光源(例えば、光源530(例えば、IR LED又はNIR LED))を含むヘッドマウントデバイスの一部である。光源は、ユーザの目(単数又は複数)592に向かって光(例えば、IR光又はNIR光)を発する。いくつかの実施形態では、光源は、図5に示されるように、各レンズの周りにリング又は円状に配置されてもよい。いくつかの実施形態では、8つの光源530(例えば、LED)が、一例として各レンズ520の周りに配置される。しかしながら、より多くの又はより少ない光源530が使用されてもよく、光源530の他の配置及びロケーションが用いられてもよい。
いくつかの実施形態では、ディスプレイ510は、可視光範囲内の光を発し、IR又はNIR範囲内の光を発さないため、視線トラッキングシステムにノイズを導入しない。アイトラッキングカメラ(単数又は複数)540のロケーション及び角度は、例として与えられ、限定することを意図するものではないことに留意されたい。いくつかの実施形態では、単一のアイトラッキングカメラ540がユーザの顔の各側に位置する。いくつかの実施形態では、2つ以上のNIRカメラ540をユーザの顔の各側に使用することができる。いくつかの実施形態では、より広い視野(FOV)を有するカメラ540と狭いFOVを有するカメラ540が、ユーザの顔の各側に使用されてもよい。いくつかの実施形態では、1つの波長(例えば、850nm)で動作するカメラ540と異なる波長(例えば、940nm)で動作するカメラ540とが、ユーザの顔の各側に使用されてもよい。
図5に示すような視線トラッキングシステムの実施形態は、例えば、コンピュータ生成現実、仮想現実、及び/又は複合現実アプリケーションに使用されて、コンピュータ生成現実、仮想現実、拡張現実、及び/又は拡張仮想の体験をユーザに提供することができる。
図6Aは、いくつかの実施形態による、グリント支援視線トラッキングパイプラインを示す。いくつかの実施形態では、視線トラッキングパイプラインは、グリント支援視線トラッキングシステム(例えば、図1及び図5に示されるようなアイトラッキングデバイス130)によって実現される。グリント支援視線トラッキングシステムは、追跡状態を維持することができる。当初、追跡状態はオフ又は「いいえ」である。追跡状態にあるとき、グリント支援視線トラッキングシステムは、現フレームを解析する際に前のフレームからの先行情報を使用して、現フレーム内の瞳孔輪郭及びグリントを追跡する。追跡状態にない場合、グリント支援視線トラッキングシステムは、現フレーム内の瞳孔及びグリントを検出しようとし、それに成功した場合、追跡状態を「はい」に初期化し、追跡状態で次のフレームに続く。
図6Aに示されるように、視線トラッキングカメラは、ユーザの左右の目の左右の画像をキャプチャし得る。次いで、キャプチャされた画像は、610で開始される処理のために視線トラッキングパイプラインに入力される。要素600に戻る矢印によって示されるように、視線トラッキングシステムは、例えば、毎秒60~120フレームの速度で、ユーザの目の画像をキャプチャし続けることができる。いくつかの実施形態では、キャプチャされた画像の各セットが、処理のためにパイプラインに入力されてもよい。しかしながら、いくつかの実施形態、又はいくつかの条件下では、全てのキャプチャされたフレームがパイプラインによって処理されるわけではない。
610で、現在のキャプチャされた画像について、追跡状態がはいである場合、この方法は要素640に進む。610で、追跡状態がいいえである場合、620に示されるように、画像が解析されて、画像内のユーザの瞳孔及びグリントを検出する。630で、瞳孔とグリントが正常に検出される場合、方法は要素640に進む。正常に検出されない場合、方法は要素610に戻り、ユーザの目の次の画像を処理する。
640で、要素610から進む場合、前のフレームからの先行情報に部分的に基づいて、現フレームが解析されて、瞳孔及びグリントを追跡する。640で、要素630から進む場合、現フレーム内の検出された瞳孔及びグリントに基づいて、追跡状態が初期化される。要素640での処理の結果は、追跡又は検出の結果が信頼できることを確認するためにチェックされる。例えば、結果は、瞳孔及び視線推定を実行するための十分な数のグリントが現フレームで正常に追跡又は検出されるかどうかを判定するためにチェックすることができる。650で、結果が信頼できない場合、追跡状態は要素660でいいえに設定され、方法は要素610に戻り、ユーザの目の次の画像を処理する。650で、結果が信頼できる場合、方法は要素670に進む。670で、追跡状態は、はいに設定され(まだはいではない場合)、瞳孔及びグリント情報が要素680に渡されて、ユーザの視点を推定する。
図6Aは、特定の実装形態で使用され得るアイトラッキング技術の一例として機能することを意図している。当業者によって認識されるように、現在存在するか、又は将来開発される他のアイトラッキング技術は、様々な実施形態によるXR体験をユーザに提供するためにコンピュータシステム101において、本明細書に記載されるグリント支援アイトラッキング技術の代わりに、又はそれと組み合わせて使用することができる。
いくつかの実施形態では、現実世界環境602のキャプチャされた部分は、XR体験、例えば、1つ以上の仮想オブジェクトが現実世界環境602の表現の上に重ね合わされる複合現実環境をユーザに提供するために使用される。
図6Bは、いくつかの実施形態による、XR体験を提供するための電子デバイス101の例示的な環境を示す。図6Bでは、現実世界環境602は、電子デバイス101、ユーザ608、及び現実世界オブジェクト(例えば、テーブル604)を含む。図6Bに示されるように、電子デバイス101は、ユーザ608の1つ以上の手が自由である(例えば、ユーザ608が任意選択的に1つ以上の手でデバイス101を保持していない)ように、任意選択的に三脚に取り付けられるか、又は他の方法で現実世界環境602に固定される。上述したように、デバイス101は、任意選択的に、デバイス101の異なる側に配置されたセンサの1つ以上のグループを有する。例えば、デバイス101は、デバイス101の「後」側及び「前」側にそれぞれ位置する(例えば、デバイス101のそれぞれの面から情報をキャプチャすることができる)センサ群612-1及びセンサ群612-2を任意選択的に含む。本明細書で使用される場合、デバイス101の前側は、ユーザ608に面する側であり、デバイス101の後側は、ユーザ608から離れて面する側である。
いくつかの実施形態では、センサ群612-2は、ユーザの目及び/又は視線を追跡するための1つ以上のセンサを含むアイトラッキングユニット(例えば、図2を参照して上述したアイトラッキングユニット245)を含み、アイトラッキングユニットは、ユーザ608を「見て」、上述の方法でユーザ608の目(単数又は複数)を追跡することができる。いくつかの実施形態では、デバイス101のアイトラッキングユニットは、ユーザ608の目の移動、向き、及び/又は視線をキャプチャし、移動、向き、及び/又は視線を入力として処理することができる。
いくつかの実施形態では、センサ群612-1は、図6Bに示すように、デバイス101の「後」側に保持されたユーザ608の1つ以上の手を追跡することができるハンドトラッキングユニット(例えば、図2を参照して上述したハンドトラッキングユニット243)を含む。いくつかの実施形態では、ハンドトラッキングユニットは、デバイス101が1つ以上の手のポジションを追跡する間に、ユーザ608がデバイス101の「前」側に1つ以上の手を追加的に又は代替的に保持することができるように、センサ群612-2に任意選択的に含まれる。上述したように、デバイス101のハンドトラッキングユニットは、ユーザ608の1つ以上の手の移動、ポジション、及び/又はジェスチャをキャプチャし、移動、ポジション、及び/又はジェスチャを入力として処理することができる。
いくつかの実施形態において、センサ群612-1は、テーブル604を含む現実世界環境602の画像をキャプチャするように構成された1つ以上のセンサ(例えば、図4を参照して上述した画像センサ404など)を任意選択的に含む。上述したように、デバイス101は、現実世界環境602の部分(例えば、一部又は全部)の画像をキャプチャし、デバイス101の1つ以上の表示生成コンポーネント(例えば、現実世界環境602のキャプチャされた部分に面するデバイス101の側とは反対の、ユーザに面するデバイス101の側に任意選択的に位置するデバイス101のディスプレイ)を介して、現実世界環境602のキャプチャされた部分をユーザに提示することができる。
いくつかの実施形態では、現実世界環境602のキャプチャされた部分は、XR体験、例えば、1つ以上の仮想オブジェクトが現実世界環境602の表現の上に重ね合わされる複合現実環境をユーザに提供するために使用される。
したがって、本明細書の説明は、現実世界オブジェクトの表現及び仮想オブジェクトの表現を含む三次元環境(例えば、XR環境)のいくつかの実施形態を説明する。例えば、三次元環境は、任意選択的に、(例えば、コンピュータシステムのカメラ及びディスプレイを介して能動的に、又はコンピュータシステムの透明若しくは半透明のディスプレイを介して受動的に)三次元環境内でキャプチャされ、表示される、物理的環境内に存在するテーブルの表現を含む。上述のように、三次元環境は、任意選択的に、三次元環境がコンピュータシステムの1つ以上のセンサによってキャプチャされ、表示生成コンポーネントを介して表示される物理的環境に基づく複合現実システムである。複合現実システムとして、物理的環境の個別の部分及び/又はオブジェクトが、コンピュータシステムによって表示される三次元環境内に存在するかのように見えるように、コンピュータシステムは、任意選択的に、物理的環境の部分及び/又はオブジェクトを選択的に表示することができる。同様に、現実世界において、対応するロケーションを有する三次元環境内のそれぞれのロケーションに仮想オブジェクトを配置することによって、仮想オブジェクトが現実世界(例えば、物理的環境)内に存在するかのように見えるように、コンピュータシステムは、任意選択的に、三次元環境内の仮想オブジェクトを表示することができる。例えば、コンピュータシステムは、任意選択的に、現実の花瓶が物理的環境内のテーブルの上に配置されているかのように見えるように、花瓶を表示する。いくつかの実施形態では、三次元環境内の個別のロケーションは、物理的環境内で、対応するロケーションを有する。したがって、コンピュータシステムが、物理的オブジェクトに対して個別のロケーション(例えば、ユーザの手のロケーション、若しくはその付近の、又は物理的テーブルに、若しくはその付近など)に、仮想オブジェクトを表示するものとして説明されるとき、コンピュータシステムは、仮想オブジェクトが物理的世界内の物理的オブジェクトに、又はその付近にあるかのように見えるように、三次元環境内の特定のロケーションに仮想オブジェクトを表示する(例えば、仮想オブジェクトが、その特定のロケーションにある現実のオブジェクトであった場合に、仮想オブジェクトが表示された物理的環境内のロケーションに対応する三次元環境内のロケーションに、仮想オブジェクトは表示される)。
いくつかの実施形態では、三次元環境内に表示される物理的環境内に存在する現実世界オブジェクト(例えば、及び/又は表示生成コンポーネントを介して見ることができる現実世界オブジェクト)は、三次元環境内にのみ存在する仮想オブジェクトと相互作用することができる。例えば、三次元環境は、テーブルと、テーブルの上に配置された花瓶と、を含むことができ、テーブルは、物理的環境内の物理的テーブルのビュー(又は表現)であり、花瓶は、仮想オブジェクトである。
同様に、仮想オブジェクトが、物理的環境内の現実のオブジェクトであるかのように、ユーザは、任意選択的に、1つ以上の手を使用して三次元環境内の仮想オブジェクトと相互作用することができる。例えば、上述のように、コンピュータシステムの1つ以上のセンサは、任意選択的に、ユーザの手のうちの1つ以上をキャプチャし、三次元環境内のユーザの手の表現を(例えば、上述の三次元環境内の現実世界オブジェクトを表示するのと同様の方法で)表示する、あるいは、いくつかの実施形態では、ユーザインタフェース、又は透明/半透明表面へのユーザインタフェースの投影、又はユーザの目若しくはユーザの目の視野へのユーザインタフェースの投影を表示している表示生成コンポーネントの一部の透明性/半透明性に起因して、ユーザの手は、ユーザインタフェースを通して物理的環境を見る能力によって、表示生成コンポーネントを介して見ることができる。したがって、いくつかの実施形態では、ユーザの手は、三次元環境内の個別のロケーションに表示され、それらが、物理的環境内の実際の物理的オブジェクトであるかのように、三次元環境内の仮想オブジェクトと相互作用できる三次元環境内のオブジェクトであるかのように、処理される。いくつかの実施形態では、コンピュータシステムは、物理的環境におけるユーザの手の移動と併せて、三次元環境におけるユーザの手の表現の表示を更新することができる。
以下に説明される実施形態のうちのいくつかでは、例えば、物理的オブジェクトが、仮想オブジェクトと直接相互作用しているか否か(例えば、手が、仮想オブジェクトを、触れているか、掴んでいるか、保持しているかなど、又は仮想オブジェクトからの閾値距離内にあるか否か)を判定する目的で、コンピュータシステムは、任意選択的に、物理的世界内の物理的オブジェクトと三次元環境内の仮想オブジェクトとの間の「有効」距離を判定することができる。例えば、仮想オブジェクトと直接相互作用する手は、任意選択的に、仮想ボタンを押す手の指、仮想花瓶を掴むユーザの手、一緒になってアプリケーションのユーザインタフェースをピンチする/保持するユーザの手の2本の指、及び本明細書で説明される他のタイプの相互作用のいずれかのうちの1つ以上を含む。例えば、ユーザが仮想オブジェクトと相互作用しているか否か、及び/又はユーザが仮想オブジェクトとどのように相互作用しているかを判定するときに、コンピュータシステムは、任意選択的にユーザの手と仮想オブジェクトとの間の距離を判定する。いくつかの実施形態では、コンピュータシステムは、三次元環境内の手のロケーションと、三次元環境内の対象の仮想オブジェクトのロケーションとの間の距離を判定することによって、ユーザの手と仮想オブジェクトとの間の距離を判定する。例えば、ユーザの1つ以上の手は、物理的世界内の特定のポジションに位置し、これは、コンピュータシステムが、任意選択的に、三次元環境内の特定の対応するポジション(例えば、手が物理的な手ではなく仮想的な手である場合に、手が表示された三次元環境内のポジション)において、キャプチャして表示する。三次元環境内の手のポジションは、任意選択的に、ユーザの1つ以上の手と仮想オブジェクトとの間の距離を判定するために、三次元環境内の対象の仮想オブジェクトのポジションと比較される。いくつかの実施形態では、コンピュータシステムは、任意選択的に、(例えば、三次元環境内のポジションを比較することとは対照的に)物理的世界内のポジションを比較することによって、物理的オブジェクトと仮想オブジェクトとの間の距離を判定する。例えば、ユーザの1つ以上の手と仮想オブジェクトとの間の距離を判定するとき、コンピュータシステムは、任意選択的に、仮想オブジェクトの物理的世界内の対応するロケーション(例えば、仮想オブジェクトが、仮想オブジェクトではなく物理的オブジェクトである場合に、仮想オブジェクトが、物理的世界内に位置するポジション)を判定し、次いで、対応する物理的ポジションとユーザの1つ以上の手との間の距離を判定する。いくつかの実施形態では、任意の物理的オブジェクトと任意の仮想オブジェクトとの間の距離を判定するために、同じ技法が、任意選択的に使用される。したがって、本明細書に説明されるように、物理的オブジェクトが仮想オブジェクトと接触しているか否か、又は物理的オブジェクトが仮想オブジェクトの閾値距離内にあるか否か、を判定するとき、コンピュータシステムは、任意選択的に、物理的オブジェクトのロケーションを三次元環境にマッピングするために、及び/又は仮想オブジェクトのロケーションを物理的環境にマッピングするために、上述の技術のいずれかを実行する。
いくつかの実施形態では、同じ又は同様の技術を使用して、ユーザの視線が、どこに向けられ、何に向けられているか、及び/又はユーザによって保持された物理的スタイラスが、どこに向けられ、何に向けられているか、を判定する。例えば、ユーザの視線が物理的環境内の特定のポジションに向けられている場合、コンピュータシステムは、任意選択的に、三次元環境内の対応するポジション(例えば、視線の仮想ポジション)を判定し、仮想オブジェクトがその対応する仮想ポジションに位置する場合、コンピュータシステムは、任意選択的に、ユーザの視線が、その仮想オブジェクトに向けられていると判定する。同様に、コンピュータシステムは、任意選択的に、物理的スタイラスの向きに基づいて、スタイラスが物理的環境のどこを指しているかを判定することができる。いくつかの実施形態では、この判定に基づいて、コンピュータシステムは、スタイラスが指している物理的環境内のロケーションに対応する三次元環境内の対応する仮想ポジションを判定し、任意選択的に、スタイラスが三次元環境内の対応する仮想ポジションを指していると判定する。
同様に、本明細書で説明される実施形態は、ユーザ(例えば、コンピュータシステムのユーザ)のロケーション、及び/又は三次元環境内のコンピュータシステムのロケーションを指してもよい。いくつかの実施形態では、コンピュータシステムのユーザは、コンピュータシステムを保持している、装着している、又は他の方法でコンピュータシステムに位置している、若しくはその付近にある。したがって、いくつかの実施形態では、コンピュータシステムのロケーションは、ユーザのロケーションのプロキシとして使用される。いくつかの実施形態では、物理的環境内のコンピュータシステム及び/又はユーザのロケーションは、三次元環境内の個別のロケーションに対応する。例えば、ユーザが、表示生成コンポーネントによって表示される物理的環境の個別の部分に面するロケーションに立った場合、コンピュータシステムのロケーションは、ユーザが、物理的環境内のオブジェクトを、オブジェクトが三次元環境内のコンピュータシステムの表示生成コンポーネントによって表示されたのと同じポジション、向き、及び/又はサイズで(例えば、絶対的に及び/又は互いに対して)見ることになる、物理的環境内のロケーション(及び三次元環境内のその対応するロケーション)である。同様に、三次元環境内に表示された仮想オブジェクトが、物理的環境内の物理的オブジェクトであった(例えば、仮想オブジェクトが、三次元環境内と同じ物理的環境内のロケーションに配置され、三次元環境内と同じ物理的環境内のサイズ及び向きを有する)場合、コンピュータシステム及び/又はユーザのロケーションは、ユーザが、物理的環境内の仮想オブジェクトを、三次元環境内のコンピュータシステムの表示生成コンポーネントによって表示されたのと同じポジション、向き、及び/又はサイズで(例えば、絶対的に、及び/又は互いに対して、並びに現実世界オブジェクトにおいて)見ることになるポジションである。
本開示では、コンピュータシステムとの相互作用に関して、様々な入力方法が説明される。一例が1つの入力デバイス又は入力方法を使用して提供され、別の例が別の入力デバイス又は入力方法を使用して提供される場合、各例は、別の例に関して記載された入力デバイス又は入力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な出力方法が、コンピュータシステムとの相互作用に関して説明される。一例が1つの出力デバイス又は出力方法を使用して提供され、別の例が別の出力デバイス又は出力方法を使用して提供される場合、各例は、別の例に関して記載された出力デバイス又は出力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な方法が、コンピュータシステムを介した仮想環境又は複合現実環境との相互作用に関して説明される。一例が仮想環境との相互作用を使用して提供され、別の例が複合現実環境を使用して提供される場合、各例は、別の例に関して説明された方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。したがって、本開示は、各例示的な実施形態の説明における実施形態の全ての特徴を網羅的に列挙することなく、複数の例の特徴の組み合わせである実施形態を開示する。
ユーザインタフェース及び関連するプロセス
ユーザインタフェース及び関連するプロセス
ここで、ユーザインタフェース(「UI」)の実施形態、及び、表示生成コンポーネント、1つ以上の入力デバイス、及び(任意選択的に)1つ又は複数のカメラを備えた、ポータブル多機能デバイス又はヘッドマウントデバイスなどのコンピュータシステムにおいて実行され得る関連プロセスに注目する。
図7A~図7Iは、いくつかの実施形態による、電子デバイスが、指定された個別の物理ロケーションを有するナビゲーションユーザインタフェース要素と、個別の物理ロケーションに対応するコンテンツを含むコンテンツ要素とを同時に提示する方法の例を示す。
図7Aは、表示生成コンポーネント120を介して、三次元環境を表示する電子デバイス101を示す。いくつかの実施形態では、電子デバイス101は、本開示の範囲から逸脱することなく、二次元環境又はユーザインタフェースにおいて図7A~図7Iを参照して説明した1つ以上の技術を利用することを理解されたい。図1~図6を参照して上述したように、電子デバイス101は、任意選択的に、表示生成コンポーネント120(例えば、タッチスクリーン)及び複数の画像センサ314を含む。画像センサは、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又は任意の他のセンサのうちの1つ以上を含み、電子デバイス101は、ユーザが電子デバイス101と相互作用している間、ユーザ又はユーザの一部の1つ以上の画像をキャプチャするために使用することができる。いくつかの実施形態では、表示生成コンポーネント120は、ユーザの手のジェスチャ及び移動を検出することができるタッチスクリーンである。いくつかの実施形態では、以下に示すユーザインタフェースは、ユーザにユーザインタフェースを表示する表示生成コンポーネントと、物理的環境及び/又はユーザの手の移動(例えば、ユーザから外向きに面する外部センサ)、及び/又はユーザの視線(例えば、ユーザの顔に向かって内向きに面する内部センサ)を検出するセンサとを含むヘッドマウントディスプレイに実装することもできる。
図7Aでは、電子デバイス101は、ナビゲーションユーザインタフェース要素704a及びコンテンツユーザインタフェース要素706を含む三次元環境を提示する。三次元環境は、現実のテーブルの表現702、床722の表現722’、及び壁724の表現724’など、電子デバイス101の物理的環境内の現実のオブジェクトの表現を更に含む。電子デバイス101の物理的環境は、出入口726を更に含む。
上述したように、電子デバイス101によって提示される三次元環境は、コンテンツユーザインタフェース要素706と三次元環境におけるユーザの視点との間に表示されるナビゲーションユーザインタフェース要素704aを含む。いくつかの実施形態では、ユーザの視点は、三次元環境が電子デバイス101によって提示される三次元環境内のロケーションに対応する。ナビゲーションユーザインタフェース要素704aは、物理的オブジェクト(例えば、建物)の表現710a~cと、ナビゲーションユーザインタフェース要素704aによって表される物理的領域内に位置する道路の表現714とを含む。いくつかの実施形態では、ナビゲーションユーザインタフェース要素704aは、インフラストラクチャ、ランドマーク、地形、植物などの他の物理的オブジェクトの表現を更に含む。いくつかの実施形態では、ナビゲーションユーザインタフェース要素704aは、マップによって表される物理的領域の(少なくとも部分的な)三次元マップである。
ナビゲーションユーザインタフェース要素704aは、気象のインジケーション712(例えば、雲)を更に含む。気象のインジケーション712は、ナビゲーションユーザインタフェース要素704a内のインジケーション712のロケーションに対応する物理ロケーションにおいて現在経験されている気象状況を示す。例えば、インジケーション712によって表される物理的な雲が移動する場合、電子デバイス101は、物理的な雲の移動に従ってインジケーション712のポジションを更新する。別の例として、ナビゲーションユーザインタフェース要素704a内のインジケーション712のロケーションに対応する物理ロケーションにおける気象が雨になった場合、電子デバイス101は、雨の表現を含むようにインジケーション712(又はより一般的にはナビゲーションユーザインタフェース要素704a)を更新する。図7Aに示すように、ナビゲーションユーザインタフェース要素704aは、ナビゲーションユーザインタフェース要素704aによって表される物理的領域の地形を(例えば、ナビゲーションユーザインタフェース要素704aの縁部及び/又は内部領域におけるそのような地形(例えば、高度変化など)の断面を表示することによって)示す。
ナビゲーションユーザインタフェース要素704aは、コンテンツユーザインタフェース要素706内に提示されたコンテンツ708aに対応する個別のロケーションのインジケーション716と、コンテンツ708aに対応する視野を示す視野インジケータ718aとを更に含む。例えば、コンテンツ708aは、視野インジケータ718aに対応する境界を有するナビゲーションユーザインタフェース要素704a内のインジケーション716のロケーションに対応する物理ロケーションからキャプチャされた画像(又はビデオ)である。図7Aに示すように、電子デバイス101は、ナビゲーションユーザインタフェース要素が電子デバイス101の物理的環境内の現実のテーブルの表現702の表面上に載っているように見えるように、ナビゲーションユーザインタフェース要素704aを提示する。いくつかの実施形態では、電子デバイス101は、ナビゲーションユーザインタフェース要素704aが電子デバイス101の物理的環境内の表面の表現上に載っているように見えるようにナビゲーションユーザインタフェース要素704aを表示するのではなく、ユーザの視点と三次元環境内の実際の(例えば、水平な)表面の表現のいずれからも離れている(例えば、三次元環境内の空間に浮動しており、三次元環境内の表面に接続されていない)コンテンツユーザインタフェース要素706との間の三次元環境内のロケーションにナビゲーションユーザインタフェース要素704aを表示する。
図7Aに示すように、電子デバイス101は、選択されると、電子デバイス101に、コンテンツが撮影されたロケーション(又はそのロケーション)を平行移動及び/又は回転させることによってコンテンツユーザインタフェース要素706内のコンテンツの視野を調節する選択可能なオプション720a及び720bを提示する。いくつかの実施形態では、オプション720a又は720bに対する入力に応じて、電子デバイス101は、図7C~図7Dを参照して以下でより詳細に説明するように、コンテンツユーザインタフェース要素706内のコンテンツを更新し、ナビゲーションユーザインタフェース要素704a内のインジケーション716及び視野インジケータ718aのポジション及び/又は向きを更新する。
いくつかの実施形態では、ナビゲーションユーザインタフェース要素704aは、電子デバイス101と通信している1つ以上の他の電子デバイスの物理ロケーション(単数又は複数)の1つ以上のインジケーションを更に含む。例えば、ナビゲーションユーザインタフェース要素704aは、電子デバイス101のユーザ以外のユーザに関連付けられた第2の電子デバイスのインジケーション(例えば、電子デバイスのユーザのアドレス帳内の連絡先)を含む。いくつかの実施形態では、第2の電子デバイスのインジケーションの選択を検出したことに応じて、電子デバイス101は、コンテンツユーザインタフェース要素706内に、第2の電子デバイスによってキャプチャされた画像を提示する。例えば、画像は、第2の電子デバイスと通信するカメラからのライブビデオフィードである。
いくつかの実施形態では、ナビゲーションユーザインタフェース要素704aは、図7Aに示すナビゲーションユーザインタフェース要素704aと同様の三次元部分に加えて、二次元部分を含む。いくつかの実施形態では、ナビゲーションユーザインタフェース要素の二次元部分704aは、ユーザの視点から見て、ナビゲーションユーザインタフェース要素の三次元部分の後ろに表示される。例えば、ナビゲーションユーザインタフェース要素704aは、ナビゲーションユーザインタフェース要素704aの後部(例えば、コンテンツユーザインタフェース要素706により近いナビゲーションユーザインタフェース要素704aの部分)で上向きに折り畳まれ及び/又は湾曲され、それにより、ナビゲーションユーザインタフェース要素704aの二次元部分は、図7Aにおいてコンテンツユーザインタフェース要素706が表示される三次元環境内のロケーションに表示される。いくつかの実施形態において、ナビゲーションユーザインタフェース要素704aの三次元部分によって表される物理ロケーションと、ナビゲーションユーザインタフェース要素704aの二次元部分によって表される物理ロケーションとは、現実世界において互いに隣接している。いくつかの実施形態では、ナビゲーションユーザインタフェース要素704aをパンするためのユーザ入力に応じて、電子デバイスは、1つ以上の表現をナビゲーションユーザインタフェース要素704aの三次元部分からナビゲーションユーザインタフェース要素704aの二次元部分に、及びその逆に適宜移動させることを含めて、ユーザ入力に従ってナビゲーションユーザインタフェース要素704aをパンする。
上述のように、コンテンツユーザインタフェース要素706は、ナビゲーションユーザインタフェース要素704a内のインジケーション716によって表される物理ロケーションに対応するコンテンツ708aを含む。いくつかの実施形態では、コンテンツ708aは、インジケーション716によって表されるロケーションでキャプチャされた画像であるか、又は追加的/代替的に、インジケーション716によって示されるロケーションの画像である。いくつかの実施形態では、コンテンツユーザインタフェース要素706の縁部は、三次元環境の残りの部分に対してフェザリングされる。いくつかの実施形態では、コンテンツユーザインタフェース要素の境界は、コンテンツユーザインタフェース要素706を囲む三次元環境の残りの部分にぼかされるか、又は混合される。
図7Bでは、電子デバイス101は、図7Aで指定された物理ロケーションとは異なる物理ロケーションに対応するコンテンツを提示するようにコンテンツユーザインタフェース要素706を更新する要求に対応するユーザ入力を検出する。入力を検出することは、任意選択的に、ナビゲーションユーザインタフェース要素704b(例えば、その中のインジケーション716)に向けられたユーザの視線701dを検出することと、ユーザの手728aによって実行される所定のジェスチャを検出することとを同時に含む。いくつかの実施形態では、所定のジェスチャは、ユーザが手728aの親指を手の別の指に移動させるピンチジェスチャである。いくつかの実施形態では、ピンチジェスチャを検出することは、電子デバイス101にインジケーション716を「ピックアップ」させ、その結果、ユーザは、ユーザが自身の親指を手728aの他方の指に触れ続ける間、手728aの移動に従ってインジケーション716を移動させることができる。いくつかの実施形態では、ユーザが自分の親指を手728aの他方の指から離すことを検出したことに応じて、電子デバイス101は、ユーザが自分の親指を指から離すことを電子デバイス101が検出したときにインジケーション716が表示されていたロケーションにインジケーション716を「ドロップ」する。
図7Bに示す入力を検出している間、電子デバイス101は、(例えば、図7Aにおいて)入力を検出する前にコンテンツユーザインタフェース要素706が表示されていた視覚的強調の量に対して、コンテンツユーザインタフェース要素706(例えば、コンテンツユーザインタフェース要素706内のコンテンツ708bを含む)を視覚的デエンファシスする。いくつかの実施形態では、コンテンツユーザインタフェース要素706を視覚的デエンファシスすることは、コンテンツユーザインタフェース要素706をぼかすこと、フェードさせること、暗くすること、及び/又はコンテンツユーザインタフェース要素706の半透明性を高めることを含む。いくつかの実施形態では、コンテンツユーザインタフェース要素706全体がデエンファシスされる。いくつかの実施形態では、コンテンツユーザインタフェース要素706の縁部のみがデエンファシスされ、コンテンツユーザインタフェース要素706の中心にあるコンテンツユーザインタフェース要素706の一部は視覚的デエンファシスされない。いくつかの実施形態では、入力が検出されている間、電子デバイス101は、インジケーション716の中間ロケーションに対応する1つ以上の画像を、コンテンツユーザインタフェース要素706内の視覚的デエンファシスと共に表示する。
いくつかの実施形態では、図7Bの入力が検出されている間、電子デバイス101は、ナビゲーションユーザインタフェース要素704b内の物理的オブジェクト(例えば、ナビゲーションユーザインタフェース要素704bによって表される領域内の建物、インフラストラクチャ、植物、他の物理的オブジェクト)の表現(例えば、表現710cなど)の外観を修正する。ナビゲーションユーザインタフェース要素704b内の物理的オブジェクトの表現の外観を修正することは、任意選択的に、三次元表現をフェードさせること、及び/又は表現の高さを低減すること若しくは表現を平坦化することのうちの1つ以上を含む。いくつかの実施形態では、電子デバイス101は、ユーザの手728aのロケーション(又は1、2、5、10、20インチなどの閾値距離内)で1つ以上の表現の表示をぼかす、フェードする、平坦化する、又は停止する。例えば、図7Bでは、電子デバイス101は、図7Aに示される表現710a及び710bの表示を停止するが、これは、これらの表現710a及び710bが、図7Bにおいて手728aが位置する図7Aのロケーションに表示されたためである。いくつかの実施形態では、電子デバイス101は、ユーザが入力を提供し、ナビゲーションユーザインタフェース要素704bの境界によって交差される物理的オブジェクトの1つ以上の表現(例えば、ナビゲーションユーザインタフェース要素704bの境界内に「適合」しない表現)の表示を停止する際に、ナビゲーションユーザインタフェース要素704bをパンする。
図7Bに示す入力に応じて、電子デバイス101は、図7Cに示すように、ナビゲーションユーザインタフェース要素704a内のインジケーション716の更新されたロケーションに対応するコンテンツをコンテンツユーザインタフェース要素706内に含むように三次元環境を更新する。図7Cでは、インジケーション716のロケーション及び視野インジケータ713cは、図7Bに示される入力に従ってナビゲーションユーザインタフェース要素704a内で更新され、コンテンツユーザインタフェース要素706は、ナビゲーションユーザインタフェース要素704a内のインジケーション716のロケーション及び視野インジケータ718cに対応するコンテンツ708cを含むように更新される。三次元環境におけるコンテンツユーザインタフェース要素706及びナビゲーションユーザインタフェース要素704bのロケーションは、図7Bにおいて入力を検出する前、及び図7Cに示されるように図7Bにおいて入力を検出した後、図7Aに示されるのと同じままである。
図7Cに示されるように、コンテンツユーザインタフェース要素706の視覚的デエンファシスの量は、入力が検出されている間、図7Cのコンテンツユーザインタフェース要素706のデエンファシスの量に対して低減される。いくつかの実施形態では、図7Cに示すように、図7Bの入力を受信した後のデエンファシス(又はその欠如)の量は、図7Bの入力を検出する前の図7Aのコンテンツユーザインタフェース706のデエンファシスの量と同じである(例えば、視覚的デエンファシスなし)。いくつかの実施形態では、図7Bにおける入力を受信する前及び後のデエンファシスの量は異なる。
電子デバイス101はまた、入力が検出されている間に図7Bにおいてナビゲーションユーザインタフェース要素704a内の表現が表示された際のデエンファシスの量よりも少ないデエンファシスで、図7Cにおいてナビゲーションユーザインタフェース要素704a内の表現を表示する。例えば、(例えば、建物又は他の物理的構造若しくは特徴の)表現が図7Bにおいて平坦化され、ぼかされ、暗くされ、及び/又はフェードされた場合、表現は、図7Bにおける入力がもはや検出されなくなった後、図7Cにおいてより高く、より明瞭に、及び/又は明るく表示される。いくつかの実施形態では、電子デバイス101は、図7Bの入力を受信した後の図7Cと同じ程度の、図7Bの入力を受信する前の図7Aの視覚的明瞭性/顕著性を有するナビゲーションユーザインタフェース要素704aを表示する。いくつかの実施形態では、図7A及び図7Cのナビゲーションユーザインタフェース要素704aの視覚的明瞭性/顕著性の程度は異なる。
図7Cでは、電子デバイス101は、選択可能なオプション720bに向けられた入力を検出して、コンテンツユーザインタフェース要素706内のコンテンツに対応するロケーションを更新する。入力を検出することは、任意選択的に、選択可能なオプション720bに向けられたユーザの視線701aを同時に検出することと、ユーザが自分の手728bでピンチジェスチャ(例えば、親指を動かして手の別の指に触れ、次いで親指を指から離す)を行ったことを検出することとを含む。図7Cに示される入力に応じて、電子デバイス101は、図7Dに示されるように、ナビゲーションユーザインタフェース要素704a内のインジケーション716及び視野インジケータ718cのロケーションを更新し、インジケーション716及び視野インジケータ718cの更新されたポジション/向きに対応するコンテンツを含むようにコンテンツユーザインタフェース要素706を更新する。
図7Dは、図7Cにおいて検出された入力に応じて更新された三次元環境を示す。電子デバイス101は、図7Cで検出された入力に従って、ナビゲーションユーザインタフェース要素704a内の更新されたポジションにインジケーション716及び視野インジケータ718dを表示する。コンテンツユーザインタフェース要素706内のコンテンツを右にパンするためのオプション720bへの図7Cの入力が検出されたので、電子デバイス101は、ナビゲーションユーザインタフェース要素704a内のインジケーション716及び視野718dを右に移動させる。電子デバイス101はまた、インジケーション716及び視野インジケータ718dの更新されたポジションに対応するコンテンツ708dを含むようにコンテンツユーザインタフェース要素706を更新する。
いくつかの実施形態では、電子デバイス101は、図7Dに示されるように、少なくとも所定の時間閾値(例えば、0.5、1、2、3、5、10秒など)の間、コンテンツユーザインタフェース要素706に向けられたユーザの視線701bを検出したことに応じて、図7Eに示すように、コンテンツユーザインタフェース要素706のサイズを増加させる。追加的に又は代替的に、いくつかの実施形態では、電子デバイス101は、図7Dに示すように、ユーザ728cによる電子デバイス101の物理ボタン703aの操作に応じて、図7Eに示すように、コンテンツユーザインタフェース要素706のサイズを増加させる。いくつかの実施形態では、電子デバイス101の物理ボタン703a及び703bは、三次元環境の仮想コンテンツの没入度を制御する。例えば、比較的高いレベルの没入度で三次元環境を表示している間、電子デバイスは、三次元環境内の仮想オブジェクト(例えば、コンテンツユーザインタフェース要素706、ナビゲーションユーザインタフェース要素704a、コンテンツ、アプリケーションユーザインタフェース要素などの他の仮想オブジェクト)の視覚的顕著性(例えば、サイズ、輝度、明瞭性、不透明度など)を増加させ、三次元環境内の現実のオブジェクトの表現(例えば、壁724の表現724’、床722の表現722’、及びテーブルの表現702)の視覚的顕著性を減少させる。別の例として、比較的低いレベルの没入度で三次元環境を表示している間、電子デバイスは、三次元環境内の仮想オブジェクト(例えば、コンテンツユーザインタフェース要素706、ナビゲーションユーザインタフェース要素704a、コンテンツ、アプリケーションユーザインタフェース要素などの他の仮想オブジェクト)の視覚的顕著性(例えば、サイズ、輝度、明瞭性、不透明度など)を減少させ、三次元環境内の現実のオブジェクトの表現(例えば、壁724の表現724’、床722の表現722’、及びテーブルの表現702)の視覚的顕著性を増加させる。
図7Eは、図7Dに示す入力のうちの1つ以上に応じて更新された三次元環境を示す。図7Eに示すように、図7Eのコンテンツユーザインタフェース要素706のサイズは、コンテンツユーザインタフェース要素706を拡大するための入力(単数又は複数)を受信する前に図7Dでコンテンツユーザインタフェース要素706が表示されていたサイズよりも大きい。図7Eのコンテンツユーザインタフェース要素706を更新することは、コンテンツユーザインタフェース要素706に表示されるインジケータ716のロケーションに対応するコンテンツ708dの量を増加させることを含む。電子デバイス101はまた、ナビゲーションユーザインタフェース要素704a内の視野インジケータ718eを更新して、コンテンツ708d内に示された物理的エリアの更新された幅を反映する。いくつかの実施形態では、表示されるコンテンツの量を増加させる(例えば、視野718eを更新する)のではなく、電子デバイス101は、代わりに、図7Dに示されるコンテンツ708dを拡大し、図7Dの入力(単数又は複数)に応じて図7Dの同じ視野718dを維持する。
いくつかの実施形態では、電子デバイス101は、電子デバイス101及び/又はユーザの頭部の移動に従ってコンテンツユーザインタフェース要素706を更新する。例えば、電子デバイス101及び/又はユーザの頭部の移動を検出したことに応じて、電子デバイス101は、コンテンツユーザインタフェース要素706内のコンテンツ708dが表示される視点をシフトさせる。いくつかの実施形態では、電子デバイスは、視差効果を用いてコンテンツ708dをシフトする。いくつかの実施形態では、電子デバイスは、電子デバイス101の移動に従ってコンテンツユーザインタフェース要素706を移動及び/又は拡大する。図7Eは、電子デバイス101を左に移動させているユーザ728dを示す。図7Fは、電子デバイス101が、図7Eに示す電子デバイス101の移動に応じてコンテンツユーザインタフェース要素706を更新する例示的な方法を示す。
図7Fにおいて、電子デバイス101は、図7Eにおける電子デバイス101の移動に従って更新されたユーザの視点からの三次元環境を表示する。ユーザ728dが電子デバイス101を図7Eにおいて左に移動させたので、電子デバイス101は、コンテンツユーザインタフェース要素706内のコンテンツ708dを左に拡大し、コンテンツ708dの(例えば、より大きい)視野に従って視野インジケータ718eを更新する(例えば、拡大する)。コンテンツ708dを拡大することは、現実世界オブジェクトを含むコンテンツを、図7Eのコンテンツユーザインタフェース要素706に示される現実世界オブジェクトの左側に提示することを含む。いくつかの実施形態では、電子デバイス101は、同様に、電子デバイス101(及び/又はユーザの頭部)の右、上、及び/又は下への移動をそれぞれ検出したことに応じて、コンテンツユーザインタフェース要素706を右、上、及び/又は下に拡大する。いくつかの実施形態では、電子デバイス101は、電子デバイス101の移動に従ってコンテンツユーザインタフェース要素706の幅を拡大する。例えば、電子デバイス101の左への移動を検出したことに応じて、電子デバイス101は、コンテンツユーザインタフェース要素706を(したがってコンテンツユーザインタフェース要素706内に表示されたコンテンツ708dを)三次元環境において左に拡大する。
図7Fに示すように、電子デバイス101は、もはや電子デバイス101の表示生成コンポーネント120の視野内にないテーブルの表現702の一部分上に提示されたナビゲーションユーザインタフェース要素704aの一部分の表示を停止する。いくつかの実施形態では、電子デバイス101は、電子デバイス101及び/又はユーザの頭部の移動に応じてコンテンツユーザインタフェース要素706を拡大したことに応じて、ナビゲーションユーザインタフェース要素704aのポジションを更新しない。いくつかの実施形態では、電子デバイス101及び/又はユーザの頭部の移動が検出される間/後に、ナビゲーションユーザインタフェース要素704a全体が依然として表示生成コンポーネント120の視野内にある場合、電子デバイス101は、ナビゲーションユーザインタフェース要素704a全体の表示を継続する。例えば、テーブルの表現702全体が依然として図7Fの電子デバイス101の表示生成コンポーネント120の視野内にあった場合、電子デバイス101は、電子デバイス101及び/又はユーザの頭部の移動を検出する前にナビゲーションユーザインタフェース要素704aが表示されていた三次元環境内の同じロケーションにナビゲーションユーザインタフェース要素704a全体を提示し続ける。いくつかの実施形態では、電子デバイス101及び/又はユーザの頭部を移動させることは、三次元環境におけるユーザの視点のポジションを更新し、したがって、ナビゲーションユーザインタフェース要素704aを三次元環境における一定のロケーションに表示することは、いくつかの状況においてマップナビゲーションユーザインタフェース要素704aを提示する表示生成コンポーネント120の部分を変更することを含む。
いくつかの実施形態では、(例えば、デバイス101の移動中に)ユーザが三次元環境内の現実のオブジェクトの表現を見ているという判定に従って、電子デバイス101は、コンテンツユーザインタフェース要素706の拡大を停止して、ユーザが見ている現実のオブジェクトの表現を覆い隠すことを防止する。図7Fでは、電子デバイス101は、電子デバイス101の物理的環境内の出入口の表現726’に向けられたユーザの視線701cを検出し、それに応じて、コンテンツユーザインタフェース要素706を出入口の境界まで拡大するだけであり、出入口の表現726’を覆い隠すようにコンテンツユーザインタフェース要素706を拡大しない。いくつかの実施形態では、電子デバイス101が、(例えば、デバイス101の移動中に)出入口の表現726’に向けられたユーザの視線701cを検出しなかった場合、電子デバイス101は、出入口の表現726’(の少なくとも一部)を覆い隠すようにコンテンツユーザインタフェース要素706を拡大している。
いくつかの実施形態では、電子デバイス101は、ユーザによって提供された検索クエリに対応する物理ロケーションを検索することを容易にする。例えば、ユーザは、特定のロケーション(例えば、住所、建物の名前、会社、ランドマーク、及び他のロケーション)又はロケーションのタイプ(例えば、会社のタイプ(例えば、コーヒー、ガソリンスタンド、食料品店)、ランドマーク、及び他のロケーション)を検索することができる。図7Gは、三次元環境において検索結果を提示する電子デバイス101を示す。
図7Gでは、電子デバイス101は、ユーザが検索クエリ「市役所庁舎」を入力したテキスト入力フィールド730(又はより一般的には検索フィールド)を提示する。電子デバイス101はまた、検索結果の名前のインジケーション732aと、電子デバイスの現在ロケーションからの検索結果のロケーションの距離と、検索結果の画像732bとを提示する。加えて、電子デバイス101は、検索結果(例えば、検索された市役所庁舎の建物の三次元表現)に対応する物理的オブジェクトの(例えば、三次元)レンダリング708eを提示する。いくつかの実施形態では、検索結果に対応する物理的オブジェクトのレンダリング708eは、検索結果に対応する物理的オブジェクトの画像732bの前に、及び/又は画像732bがユーザの視点にあるよりもユーザの視点に近い三次元環境内のポジションに提示される。図7Gに示すように、電子デバイス101は、ユーザの視点とレンダリング732bとの間にナビゲーションユーザインタフェース要素704bを提示する。電子デバイス101は、ユーザの視点と検索結果に対応する物理的オブジェクトの画像732bとの間にナビゲーションユーザインタフェース要素を提示する。
図7Gでは、検索クエリ(例えば、「市役所庁舎」)を検出したことに応じて、電子デバイス101は、検索結果(単数又は複数)を示すようにナビゲーションユーザインタフェース要素704bを更新する。図7Gでは、電子デバイス101は、検索クエリに一致しない物理ロケーション/オブジェクト/特徴の表現(例えば、表現710e)を低減された視覚的顕著性(例えば、ナビゲーションユーザインタフェース要素704b内の物理的オブジェクトの三次元表現を少なくとも部分的に平坦化する)で表示する一方で、検索クエリに一致するオブジェクト(例えば、建物)の表現710dの視覚的顕著性を維持し、及び/又は他のオブジェクトの表現(例えば、表現710eを含む)の色とは異なる色で表現710dを表示する。いくつかの実施形態では、電子デバイス101は、検索クエリに一致するオブジェクトの表現710dの色を更新するか、又は検索クエリに一致しない表現(例えば、表現710eを含む)の視覚的顕著性を低減するかのいずれかであるが、両方ではない。いくつかの実施形態では、2つ以上のロケーションが検索クエリに一致する場合、電子デバイス101は、検索クエリに一致するロケーションの複数の表現を、検索クエリに一致しないロケーションの表現の視覚的区別とは異なる視覚的区別(例えば、色、視覚的顕著性)で表示する。いくつかの実施形態では、検索クエリに対応する物理的オブジェクトの表現710dは、物理的オブジェクトの三次元表現である。例えば、表現710dは、レンダリング708eの視野角とは異なる視野角から提示された物理的オブジェクトの三次元レンダリングである。いくつかの実施形態では、電子デバイス101は、物理的オブジェクトのレンダリング708e及び表現710dを同じ視野角からナビゲーションユーザインタフェース要素704bに提示する。
いくつかの実施形態では、電子デバイス101は、三次元環境において、1つの物理ロケーションから別の物理ロケーションへのナビゲーション方向を提示する。いくつかの実施形態では、ナビゲーション方向を提示する要求に応じて、電子デバイス101は、選択されると、電子デバイス101にナビゲーション方向をナビゲートするアニメーションを提示させる選択可能なオプションを提示する。図7Hは、(例えば、選択可能なオプションの選択に応じて)ナビゲーション方向をナビゲートするアニメーションを提示する電子デバイス101を示す。
図7Hでは、電子デバイス101は、ナビゲーション経路に対応する、始点及び終点、経路距離、及び/又は経路持続時間、ナビゲーションユーザインタフェース要素704c、並びに1つ以上の画像708f(例えば、1つ以上の静止画像、ビデオ、アニメーション)を含むナビゲーション方向のインジケーション734を提示する。ナビゲーションユーザインタフェース要素704cは、ナビゲーション経路のインジケーション740、経路の終点738のインジケーション、及びコンテンツユーザインタフェース要素706に現在提示されている画像708fに対応するロケーションのインジケーション736を含む。いくつかの実施形態では、ナビゲーションユーザインタフェース要素704cは三次元である。いくつかの実施形態では、ナビゲーションユーザインタフェース要素704cは二次元である。いくつかの実施形態では、ナビゲーションユーザインタフェース要素704cは、鳥瞰(例えば、トップダウン)ビューである。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、斜視図から提示される。ナビゲーションユーザインタフェース要素704cは、ユーザの視点とナビゲーション経路に対応する画像708fとの間に提示される。ナビゲーションユーザインタフェース要素704cは、ユーザの視点とナビゲーション方向のインジケーション734との間に提示される。いくつかの実施形態では、電子デバイス101は、ナビゲーション経路740に沿ってナビゲートするインジケーション736のアニメーションを提示し、インジケーション736が経路740に沿って移動するにつれて、電子デバイス101は、インジケーション736によって表される現在ロケーションに対応する画像708f又はビデオ若しくはアニメーションの一部を提示する。例えば、画像708fは、電子デバイス101がナビゲーション経路740を横断するインジケーション736のアニメーションと同時に提示するナビゲーション経路をナビゲートする一人称ビデオ/ビューである。
いくつかの実施形態では、電子デバイス101は、電子デバイス101の物理的環境(例えば、その1つ以上の特徴)のサイズに基づいて、ナビゲーションユーザインタフェース要素のサイズを選択する。例えば、図7A~図7Eでは、電子デバイス101は、電子デバイス101の物理的環境において(例えば、デバイス101がテーブルの上面にナビゲーションユーザインタフェース要素704aを表示するため)テーブルの上面の表現702のエリアに適合するようにナビゲーションユーザインタフェース要素704aを表示する。いくつかの実施形態では、テーブルの上面がより小さい場合、ナビゲーションユーザインタフェース要素704aは、より小さい物理的エリアの表現を含むか、又は同じサイズの物理的エリアの表現を縮小することによって、より小さいサイズで表示される。いくつかの実施形態では、テーブルの上面がより大きい場合、ナビゲーションユーザインタフェース要素704aは、より大きい物理的エリアの表現を含むか、又は同じサイズの物理的エリアの表現を拡大することによって、より大きいサイズで表示される。いくつかの実施形態では、ナビゲーションユーザインタフェース要素が三次元環境内の異なる表面/特徴上に、又は任意の表面/特徴から離れて提示された場合、電子デバイス101は、ナビゲーションユーザインタフェース要素が表示された表面/特徴及び/又はエリアに基づいて、ナビゲーションユーザインタフェース要素をサイズ決め(例えば、及び成形)する。
図7Iでは、電子デバイス101の物理的環境は、図7A~図7Eの物理的環境よりも小さい。特に、図7Iは、キュービクル726内で使用されている電子デバイス101を示す。図7Iにおいて、ナビゲーションユーザインタフェース要素704dは、図7A~図7Eにおいてナビゲーションユーザインタフェース要素704aが表示されたサイズよりも小さいサイズでキュービクル726の表現726’内に表示される。なぜならば、キュービクル726は、仮想テーブル702に対応するテーブルよりも小さいからである。図7Iに示すように、電子デバイス101は、三次元環境において、ユーザの視点とコンテンツユーザインタフェース要素706との間にナビゲーションユーザインタフェース要素704dを表示する。
図7A~図7Iに示される実施形態に関する追加又は代替の詳細は、以下の図8~図9を参照して説明される方法800~900の説明において以下に提供される。
図8A~図8Jは、いくつかの実施形態による、指定された個別の物理ロケーションを有するナビゲーションユーザインタフェース要素と、個別の物理ロケーションに対応するコンテンツを含むコンテンツ要素とを同時に提示する方法を示すフローチャートである。いくつかの実施形態では、方法800は、表示生成コンポーネント(例えば、図1、図3、及び図4の表示生成コンポーネント120)(例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど)と、1つ以上のカメラ(例えば、ユーザの手において下方を向くカメラ(例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ)又はユーザの頭部から前方に向くカメラ)とを含む、コンピュータシステム(例えば、図1のコンピュータシステム101)で実行される。いくつかの実施形態では、方法800は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1Aの制御ユニット110)など、コンピュータシステムの1つ以上のプロセッサによって実行される命令によって統御される。方法800の一部の動作は、任意選択的に組み合わされ、及び/又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法800は、表示生成コンポーネント及び1つ以上の入力デバイス(例えば、モバイルデバイス(例えば、タブレット、スマートフォン、メディアプレーヤ、又はウェアラブルデバイス)、又はコンピュータ)と通信する電子デバイスにおいて実行される。いくつかの実施形態では、表示生成コンポーネントは、電子デバイス(任意選択的にタッチスクリーンディスプレイ)と一体化されたディスプレイ、モニタ、プロジェクタ、テレビなどの外部ディスプレイ、又はユーザインタフェースを投影し1人以上のユーザにユーザインタフェースが可視であるようにするためのハードウェア構成要素(任意選択的に組み込み若しくは外部)などである。いくつかの実施形態では、1つ以上の入力デバイスは、ユーザ入力を受信し(例えば、ユーザ入力をキャプチャし、ユーザ入力を検出する等)、ユーザ入力に関連する情報を電子デバイスに送信することができる電子デバイス又はコンポーネントを含む。入力デバイスの例は、タッチスクリーン、マウス(例えば、外部)、トラックパッド(任意選択で統合又は外部)、タッチパッド(任意選択で統合又は外部)、リモートコントロールデバイス(例えば、外部)、別のモバイルデバイス(例えば、電子デバイスとは別個)、ハンドヘルドデバイス(例えば、外部)、コントローラ(例えば、外部)、カメラ、深度センサ、アイトラッキングデバイス、及び/又はモーションセンサ(例えば、ハンドトラッキングデバイス、ハンドモーションセンサ)などを含む。いくつかの実施形態では、電子デバイスは、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、タッチセンサ(例えば、タッチスクリーン、トラックパッド)と通信する。いくつかの実施形態では、ハンドトラッキングデバイスは、スマートグローブなどのウェアラブルデバイスである。いくつかの実施形態では、ハンドトラッキングデバイスは、リモートコントロール又はスタイラスなどのハンドヘルド入力デバイスである。
図7Aのようないくつかの実施形態では、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツ(例えば、708a)を含むユーザインタフェースを含む三次元環境を表示し(802a)、第1の個別のコンテンツ(例えば、708a)は、三次元環境内の第1の個別のロケーションに表示される(802b)。いくつかの実施形態では、第1の個別のコンテンツは、第1の物理ロケーションから撮影された画像及び/又は第1の物理ロケーションの画像(例えば、第1の物理ロケーションからのストリートレベルビュー画像)である。いくつかの実施形態では、第1の個別のコンテンツは、第1の物理ロケーションで記録された(例えば、ライブ)ビデオである。
図7Aのようないくつかの実施形態では、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、指定された第1の物理ロケーションに対応する第1のロケーション(例えば、716)を有するナビゲーションユーザインタフェース要素(例えば、704a)を含むユーザインタフェースを含む三次元環境を表示し(802a)、ナビゲーションユーザインタフェース要素(例えば、704a)は、三次元環境において、第1の個別のコンテンツ(例えば、708a)が表示される第1の個別のロケーションと、三次元環境におけるユーザ(例えば、電子デバイスのユーザ)の視点との間に表示される(802c)。いくつかの実施形態では、三次元環境は、ユーザインタフェースを含む仮想オブジェクトの表現と、電子デバイスの物理的環境内の現実のオブジェクトの表現とを含む。三次元環境は、任意選択的に、三次元環境内の個別のロケーション(例えば、電子デバイスのロケーションに対応する)における電子デバイスに関連付けられたユーザの視点からの一人称視点から提示される。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、第1の物理ロケーションに対応する第1のロケーションに視覚的インジケーション(例えば、ピン)を有する物理ロケーションの三次元地形マップを含む。例えば、ナビゲーションユーザインタフェース要素は、都市の住所、ランドマーク、又は座標に対応する第1のロケーションに表示された旗、ピン、又は他の視覚的インジケーションを有する建物、通り、及び他のランドマークの三次元表現を含む都市の三次元地形マップを含む。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、三次元環境内の水平面に沿って向けられるか、又は水平面に沿って浮動し、第1の個別のコンテンツは、垂直に向けられる。いくつかの実施形態では、マップナビゲーション要素は、ユーザの視点と三次元環境内の第1の個別のコンテンツとの間にある。いくつかの実施形態では、ナビゲーションユーザインタフェース要素及び/又は第1の個別のコンテンツは、デバイスによって生成、表示、又はその他の方法で視認可能にされる三次元環境(例えば、仮想現実(VR)環境、複合現実(MR)環境、又は拡張現実(AR)環境などのコンピュータ生成現実(XR)環境)において表示される。
図7Bなどのいくつかの実施形態では、表示生成コンポーネントを介して、ユーザインタフェース及びナビゲーションユーザインタフェース要素(例えば、704b)を表示している間に、電子デバイスは、1つ以上の入力デバイスを介して、第2の物理ロケーションに対応する第2のロケーションを指定する要求に対応するユーザ入力を検出する(802d)。いくつかの実施形態では、入力は、三次元地形マップ上の第1のロケーションから第2のロケーションに指定されたロケーションのインジケーションを移動させる入力など、ナビゲーションユーザインタフェース要素に向けられる。いくつかの実施形態では、入力は、コンテンツの視点を第1の物理ロケーションから第2の物理ロケーションに変更するための、又は第1の個別のコンテンツの視野を回転させるための入力など、第1の個別のコンテンツに向けられる。
図7Cなどのいくつかの実施形態では、ユーザ入力を検出したことに応じて、電子デバイスは、第2の物理ロケーションの第2のビューに対応する第2の個別のコンテンツ(例えば、708c)を含むようにユーザインタフェースを更新し(802e)、第2の個別のコンテンツ(例えば、708c)は、三次元環境内の第1の個別のロケーションに表示される。いくつかの実施形態では、ユーザ入力を検出したことに応じて、電子デバイスは、第2のロケーションに視覚的インジケーション(例えば、ピン)を表示し、第1のロケーションに視覚的インジケーション(例えば、ピン)を表示することを停止するように、ナビゲーションユーザインタフェース要素を更に更新する。いくつかの実施形態では、第2の個別のコンテンツは、第2の物理ロケーションから撮影された画像である。いくつかの実施形態では、第2の個別のコンテンツは、第2の物理ロケーションで記録された(例えば、ライブ)ビデオである。いくつかの実施形態では、電子デバイスは、コンテンツ及びナビゲーションユーザインタフェース要素がユーザ入力に応じて表示される三次元環境内のロケーションを維持する。
第1の個別のコンテンツが表示された三次元環境内の同じロケーションに第2の個別のコンテンツを表示する上述の方法は、物理ロケーションに対応するコンテンツを閲覧する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって(例えば、ユーザが三次元環境の異なる領域に注意を向ける必要なく、又は三次元環境内の第2の個別のロケーションにコンテンツを表示し続けるための入力を提供する必要なく)、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ナビゲーションユーザインタフェース要素のビュー又はスタイルは、ナビゲーションユーザインタフェース要素に適用されるズームのレベルに応じて変化する。例えば、ズームレベルが第1の閾値よりも低い場合、ナビゲーションユーザインタフェース要素は地球である。別の例として、ズームのレベルが第1の閾値と第1の閾値よりも大きい第2の閾値との間にあるとき、ナビゲーションユーザインタフェース要素は、自然特徴(例えば、地形、植物など)を示す領域の地形マップであり、任意選択で、人工の特徴(例えば、建物、インフラストラクチャなど)を示さない。別の例として、ズームのレベルが第2の閾値よりも大きいとき、ナビゲーションユーザインタフェース要素は、自然及び人工の特徴を含む地形マップを含み、電子デバイスは、ナビゲーションユーザインタフェース要素によって示される物理ロケーションからの一人称コンテンツを表示する。いくつかの実施形態では、電子デバイスは、ズームレベルが第2の閾値未満である間、三次元環境内の第1の個別のロケーションに一人称コンテンツを表示することを見合わせる。
図7Aのようないくつかの実施形態では、三次元環境は、電子デバイスの物理的環境における(例えば、水平な)表面の表現(例えば、702)を含む(804a)。いくつかの実施形態では、表面の表現は、表示生成コンポーネントによって提示される表面の表現(例えば、仮想又はビデオパススルー)である。いくつかの実施形態では、表面の表現は、表示生成コンポーネントの透明部分を通した表面のビュー(例えば、真の又は実際のパススルー)である。例えば、表面は、電子デバイスの環境内のテーブル、棚、カウンタ、又は床である。図7Aなどのいくつかの実施形態では、ナビゲーションユーザインタフェース要素(例えば、704a)は、(例えば、水平)面の表現(例えば、702)に対応する三次元環境内のロケーション(及び向き)に表示される(804b)。いくつかの実施形態では、電子デバイスは、ナビゲーションユーザインタフェース要素が表面上に配置されているか(例えば、置かれているか)のようにナビゲーションユーザインタフェース要素を表示する。例えば、電子デバイスは、三次元環境内の第1の個別のロケーションとユーザの視点との間の電子デバイスの物理的環境内のテーブル、棚、カウンタ、又は床の上に配置されたかのように見えるように、ナビゲーションユーザインタフェース要素を表示する。
表面の表現に対応するロケーションにナビゲーションユーザインタフェース要素を表示する上述の方法は、複合現実環境において必要以上の空間を消費することなく、複合現実環境において仮想オブジェクトを現現実のオブジェクトの表現と統合する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって(例えば、環境において仮想オブジェクトと現実オブジェクトとを統合するために必要な入力の数を低減することによって)、電力使用量を更に削減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、例えば、図7Aのナビゲーションユーザインタフェース要素704aをテーブルの表現702から離して表示するなど、電子デバイスの物理的環境内の表面に対応しない三次元環境内のロケーション(及び/又は向き)に表示される(806a)。いくつかの実施形態では、表面は、テーブル、棚、カウンタ、又は床など、電子デバイスの物理的環境内の現実のオブジェクトに対応する。いくつかの実施形態では、表面の表現を含む三次元環境を表示している間、電子デバイスは、ナビゲーションユーザインタフェース要素を表面の表現から離れたロケーションに表示する(例えば、空間内に浮動している、物理的又は仮想オブジェクト又は表面に取り付けられていない)。いくつかの実施形態では、三次元環境は、電子デバイスの物理的環境内の表面の表現を含まない(例えば、電子デバイスの物理的環境内にそのような表面が存在しないため、表面が電子デバイスの視野内にないため、三次元環境は、電子デバイスの物理的環境内の1つ以上の現実のオブジェクトの表現を含まない仮想環境であるため)。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、物理的場所、仮想ツアー、及びランドマークのインジケーションを含み、これらは、選択されると、電子デバイスに、選択されたインジケーションに関連付けられたコンテンツを(例えば、ナビゲーションユーザインタフェース要素内及び/又は三次元環境内の第1の個別のロケーションに)提示させる。
電子デバイスの物理的環境内の表面に対応しない三次元環境内のロケーションにナビゲーションユーザインタフェース要素を表示する上述の方法は、ナビゲーションユーザインタフェース要素の配置に柔軟性を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって(例えば、ナビゲーションユーザインタフェース要素を表示するのに必要な入力の数を低減することによって)、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図7Aのようないくつかの実施形態では、第1の個別のコンテンツ(例えば、708a)は、電子デバイス(例えば、101)の物理的環境の表現(例えば、724’)によって囲まれ(例えば、その上にオーバーレイされ)、第1の個別のコンテンツ(例えば、708a)と電子デバイス(例えば、101)の物理的環境の表現(例えば、724’)との間の境界は、第1の個別のコンテンツ(例えば、708a)と電子デバイスの物理的環境の表現(例えば、724’)との間の漸進的な視覚的遷移(例えば、フェザリング、漸進的なフェード、混合)を含む(808a)。いくつかの実施形態では、物理的環境の表現は、表示生成コンポーネントによって提示される物理的環境の表現(例えば、仮想又はビデオパススルー)である。いくつかの実施形態では、物理的環境の表現は、表示生成コンポーネントの透明部分を通した物理的環境のビュー(例えば、真のパススルー又は実際のパススルー)である。いくつかの実施形態では、第1の個別のコンテンツは、仮想環境の表現によって囲まれ(例えば、その上にオーバーレイされ)、第1の個別のコンテンツと仮想環境の表現との間の境界は、第1の個別のコンテンツと仮想環境の表現との間の漸進的な視覚的遷移を含む。いくつかの実施形態では、漸進的な視覚的遷移は、第1の個別のコンテンツと物理的(例えば、又は仮想)環境の表現との間のフェザリング境界、混合境界、及び/又はぼかし境界である。いくつかの実施形態では、電子デバイスは、三次元環境内のユーザの視点と、第1の個別のコンテンツを取り囲む物理的環境の表現の部分を含む物理的環境の表現との間に、第1の個別のコンテンツを表示する。
第1の個別のコンテンツと物理的環境の表現との間の漸進的な視覚的遷移を用いて第1の個別のコンテンツを表示する上述の方法は、ユーザのためのコンテキストを維持し、これは、誤った入力又はユーザが異なるユーザインタフェース間で前後に切り替える必要を回避し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって(例えば、物理的環境の表現及び第1の個別のコンテンツを見るために必要な入力の数を低減することによって)、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図7Dなどのいくつかの実施形態では、第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツ(例えば、708c)は、電子デバイス(例えば、101)の物理的環境の表現(例えば、724’)と同時に表示され、表示生成コンポーネント(例えば、120)の表示エリアの第1の部分を占有する(810a)(例えば、表示生成コンポーネントは、第1の個別のコンテンツを第1のサイズで表示する)。いくつかの実施形態では、物理的環境の表現は、表示生成コンポーネントによって提示される物理的環境の表現(例えば、仮想又はビデオパススルー)である。いくつかの実施形態では、物理的環境の表現は、表示生成コンポーネントの透明部分を通した物理的環境のビュー(例えば、真のパススルー又は実際のパススルー)である。いくつかの実施形態では、第1の個別のコンテンツは、物理的環境(例えば、その表現)の一部を覆い隠し、ブロックし、及び/又はその前に表示され、第1の個別のコンテンツを囲むように見える物理的環境(例えば、その表現)の一部を覆い隠し及び/又はブロックしない。図7Dのようないくつかの実施形態では、表示生成コンポーネント(例えば、120)を介して、表示エリアの第1の部分を占有する第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツ(例えば、708c)を物理的環境の表現(例えば、724’)と同時に表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイス(例えば、電子デバイスの物理ボタン(例えば、押下)若しくはダイヤル(例えば、回転)、又は電子デバイスと通信する異なる入力デバイス、表示生成コンポーネントを介して表示される1つ以上のユーザインタフェース要素の選択)を介して、物理的環境の表現(例えば、724’)の表示を覆い隠す要求に対応する個別の入力を検出する(810b)。いくつかの実施形態では、物理的環境の表現の表示を覆い隠す要求は、電子デバイスによって提示される電子デバイスの物理的環境内の現実のオブジェクトの表現の数を低減する要求に対応する。いくつかの実施形態では、物理的環境の表現の表示を覆い隠す要求は、物理的環境の表現の表示を停止する(例えば、代わりに、ユーザインタフェース、第1の個別のコンテンツ、及びナビゲーションユーザインタフェース要素を仮想環境に表示する)要求に対応する。いくつかの実施形態では、物理的環境の表現の表示を覆い隠す要求は、仮想オブジェクト及び/又はコンテンツ(例えば、第1の個別のコンテンツ)によって占有される表示生成コンポーネントの表示エリアの部分を増加させる要求に対応する。いくつかの実施形態では、物理的環境の表現の表示を覆い隠す要求は、物理的環境(例えば、物理的環境の表現)を暗くする要求に対応する。図7Eなどのいくつかの実施形態では、対個別の入力を検出したことに応じて、電子デバイス(例えば、101)は、第1の個別のコンテンツ(例えば、708d)を、第1の物理ロケーションの第1のビューよりも大きい第2のビューに対応する(810d)ように更新すること(例えば、表示生成コンポーネントによって表示される第1の個別のコンテンツの量を増加させること)を含めて、物理的環境の表現(例えば、724’)の表示を覆い隠す(810c)。図7Eなどのいくつかの実施形態では、個別の入力を検出したことに応じて、電子デバイス(例えば、101)は、表示生成コンポーネント(例えば、120)の表示エリアの第1の部分よりも大きい第2の部分を占有する(810e)ように第1の個別のコンテンツを更新すること(例えば、表示生成コンポーネントによって第1の個別のコンテンツが表示されるサイズを増加させること)を含む、物理的環境の表現(例えば、724’)の表示を覆い隠す(810c)。いくつかの実施形態では、物理的環境の表現及び物理的環境のビューによって占有される表示生成コンポーネントの表示エリアは、個別の入力を検出したことに応じて縮小される。
個別の入力に応じて物理的環境の表現の表示を覆い隠す上述の方法は、第1の物理ロケーションのより大きなビューを提示する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって(例えば、第1の物理ロケーションを見るために必要な入力の数を低減することによって)、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図7Eなどのいくつかの実施形態では、第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツ(例えば、708d)を表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイス(例えば、加速度計(単数又は複数)、ジャイロスコープ(単数又は複数))を介して、三次元環境における電子デバイス(例えば、101)のユーザの視点の移動(例えば、電子デバイスの移動)((例えば、電子デバイスが1、2、3、5、10、30、50センチメートル未満など移動する、及び/又は、0.1、0.5、1、2、3、4、5未満など回転する)所定の閾値未満の量)を検出する(812a)。いくつかの実施形態では、電子デバイスは、電子デバイスの移動を検出する。例えば、電子デバイスは、ウェアラブルデバイス(例えば、ヘッドマウントデバイス、スマートウォッチ)であり、ユーザの既定の部分(例えば、ユーザの頭部、ユーザの手首)の移動は、電子デバイスの移動を引き起こす。いくつかの実施形態では、図7Fのように、三次元環境において電子デバイス(例えば、101)のユーザの視点の移動を検出したことに応じて、ユーザの視点の移動が検出されたときにユーザの視線(例えば、701c)が第1の個別のコンテンツ(例えば、708d)に向けられたとの判定に従って、電子デバイスは、ユーザの視点の移動に従って、第1の個別のコンテンツに対応する第1の物理ロケーションの第1のビューの表示をシミュレートされた視差効果で更新する(812b)。いくつかの実施形態では、視差効果を用いて第1の物理ロケーションの第1のビューの表示を更新することは、第1の物理ロケーションの第1のビューの背景内のオブジェクト(単数又は複数)がシフトされる距離(単数又は複数)よりも大きい距離(単数又は複数)だけ、第1の物理ロケーションの第1のビューの前景内のオブジェクト(単数又は複数)のロケーションをシフトすることを含む。いくつかの実施形態では、視差効果を用いて第1の物理ロケーションの第1のビューの表示を更新することは、(例えば、第1の個別のコンテンツの他の部分によってブロックされたために)以前に可視でなかった第1の個別のコンテンツの1つ以上の部分を可視にさせる。
視差効果を用いて第1の物理ロケーションの第1のビューを更新する上述の方法は、ユーザの視点の移動に従って第1のコンテンツを更新する直感的な方法を提供し、これは、視点の移動に対応し、移動前に表示されなかった追加コンテンツの表示を可能にし、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にする(例えば、ユーザの視点が移動するときに第1の個別のコンテンツを更新するために必要な入力の数を低減する)ことによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図7Eなどのいくつかの実施形態では、第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツ(例えば、708d)を表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、電子デバイス(例えば、101)の移動((例えば、1、2、3、5、10、30、50センチメートルなど、及び/又は少なくとも0.1、0.5、1、2、3、4、5など回転する))所定の閾値を超える量)を検出する(814a)。いくつかの実施形態では、電子デバイスは、ウェアラブルデバイス(例えば、ヘッドマウントデバイス、スマートウォッチ)であり、ユーザの既定の部分(例えば、ユーザの頭部、ユーザの手首)の移動は、電子デバイスの移動を引き起こす。したがって、いくつかの実施形態では、第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツを表示している間に、電子デバイスは、ユーザの既定の部分(例えば、頭部、手、腕、手首)の(例えば、閾値(例えば、1、2、3、5、10、30、50センチメートルなど)を超える移動の速度又は距離などの1つ以上の基準を満たす)移動を検出する。いくつかの実施形態では、図7Fのように、電子デバイス(例えば、101)の移動を検出したことに応じて(例えば、又はユーザの既定の部分の移動を検出したことに応じて)、電子デバイス(例えば、101)の移動(例えば、又はユーザの既定の部分の移動)が1つ以上の基準を満たす(例えば、速度閾値を超える、距離閾値(例えば、1、2、3、5、10、30、50センチメートルなど)を超える、回転閾値(例えば、0.1、0.5、1、2、3、4、5など)を超える)という判定に従って、電子デバイス(例えば、101)は、表示生成コンポーネント(例えば、120)を介して、第1の物理ロケーションに対応する追加コンテンツ(例えば、708d)(例えば、第1の個別のコンテンツの拡張、第1の物理ロケーションに関する追加情報など)を表示する(814b)。いくつかの実施形態では、追加情報は、電子デバイスの移動(例えば、又はユーザの既定の部分の移動)に対応するロケーションに表示される。例えば、左への移動を検出したことに応じて、電子デバイスは、第1の個別のコンテンツの左に追加情報を表示する。いくつかの実施形態では、電子デバイスは、電子デバイスが移動する方向に第1の個別のコンテンツのビューを拡大し、第1の個別のコンテンツの視野を増加させ、それに応じて視野のインジケーションを更新する。
電子デバイスの移動の検出に応じて追加情報を表示する上述の方法は、直感的な入力に応じてユーザに追加情報を提示する効率的な方法を提供し、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図7Cなどのいくつかの実施形態では、第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツ(例えば、708c)を表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、ユーザインタフェースに表示された選択可能なユーザインタフェース要素(例えば、720b)に向けられた入力を検出する(816a)。いくつかの実施形態では、ユーザインタフェース要素は、個別のコンテンツの視点に対応する物理ロケーションをシフトするためのユーザインタフェース要素である。いくつかの実施形態では、ユーザインタフェース要素は、第1の個別のコンテンツに近接して、又はその上にオーバーレイされて表示される。いくつかの実施形態では、ユーザインタフェース要素は、複数の矢印のうちの1つである。いくつかの実施形態では、矢印は、移動矢印(例えば、第1の個別のコンテンツの視点を横方向に移動させるため)又は回転矢印(例えば、第1の個別のコンテンツの視点を回転可能に移動させるため)である。いくつかの実施形態では、電子デバイスは、アイトラッキングデバイスを介して、ユーザの視線がユーザインタフェース要素に向けられていることを検出する一方で、ハンドトラッキングデバイスを介して、ユーザの手の既定のポーズ(例えば、手の親指が手の別の指の閾値距離(例えば、0.1、0.2、0.3、0.5、1、2センチメートルなど)内にあるピンチポーズ)を検出することによって、ユーザインタフェース要素の選択を検出する。いくつかの実施形態では、図7Cの選択可能なユーザインタフェース要素(例えば、720b)に向けられた入力を検出したことに応じて、電子デバイスは、個別の物理ロケーションの個別のビューに対応する第3の個別のコンテンツ(例えば、708d)を表示し(816b)、第3の個別のコンテンツ(例えば、708d)は、図7Dのように、三次元環境内の第1の個別のロケーションに表示される。例えば、個別のコンテンツの視点を左にシフトするオプションの選択を検出したことに応じて、電子デバイスは、第1の物理ロケーションの左の物理ロケーションに対応する第3の個別のコンテンツを表示する。別の例として、個別のコンテンツの視点を左に回転させるオプションの選択を検出したことに応じて、電子デバイスは、ビューが第1の個別のコンテンツのビューから左に回転された状態で、第1の物理ロケーションに対応する第4の個別のコンテンツを表示する。いくつかの実施形態では、電子デバイスは、選択可能なユーザインタフェース要素に向けられた入力に応じて、第1の個別のコンテンツの視野のサイズ(例えば、幅)を維持するが、視野のロケーションは更新される。
第1の個別のコンテンツが表示された三次元環境内の同じロケーションに第3の個別のコンテンツを表示する上述の方法は、物理ロケーションに対応するコンテンツを閲覧する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって(例えば、ユーザが三次元環境の異なる領域に注意を向ける必要なく、又は三次元環境内の第3の個別のロケーションにコンテンツを表示し続けるための入力を提供する必要なく)、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図7Eなどのいくつかの実施形態では、第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツ(例えば、708d)を表示している間に、電子デバイス(例えば、101)は、三次元環境に対する電子デバイス(例えば、101)の移動を検出する(818a)。いくつかの実施形態では、電子デバイスは、ウェアラブルデバイス(例えば、ヘッドマウントデバイス、スマートウォッチ)であり、ユーザの既定の部分(例えば、ユーザの頭部、ユーザの手首)の移動は、電子デバイスの移動を引き起こす。いくつかの実施形態では、第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツを表示している間、電子デバイスは、ユーザの既定の部分(例えば、頭部、手、腕、手首)の移動を検出する。図7Fなどのいくつかの実施形態では、三次元環境に対する電子デバイス(例えば、101)の移動が1つ以上の基準を満たすとの判定に従って、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、第1の物理ロケーションに対応する追加コンテンツ(例えば、第1の個別のコンテンツの拡張、第1の物理ロケーションに関する追加情報など)を表示する(818b)。いくつかの実施形態では、1つ以上の基準は、電子デバイス(例えば、又はユーザの既定の部分)の移動が、電子デバイスが、ユーザが注意を向けることを望む可能性がある電子デバイスの物理的環境内の個別の現実オブジェクト(例えば、窓、出入口、表示画面、人物、動物、電子デバイス、器具、車両、建物など)に向けられないように、及び/又はユーザが注意を向けたい三次元環境内の個別の仮想オブジェクト(例えば、コンテンツ、ユーザインタフェースなど)に向けられないように、電子デバイスを位置付けるときに満たされる。いくつかの実施形態では、三次元環境に対する電子デバイスの移動が1つ以上の基準を満たさないとの判定に従って、電子デバイスは、例えば、図7Fのコンテンツユーザインタフェース要素706の更新を見合わせなど、第1の物理ロケーションに対応する追加コンテンツの表示を(例えば、第1の個別のコンテンツの表示を維持しながら)見合わせる(818c)。例えば、空の壁の方に電子デバイスを向ける電子デバイスの移動に応じて、電子デバイスは、空の壁の一部にオーバーレイされた追加コンテンツを表示する。別の例として、ユーザが注意を向けることを望む可能性がある個別の現実オブジェクト(例えば、窓、出入口、表示画面、人物、動物、電子デバイス、器具、車両、建物など)に電子デバイスを向ける電子デバイスの移動に応じて、電子デバイスは、個別のオブジェクト上にオーバーレイされた追加コンテンツを表示することを見合わせる。いくつかの実施形態では、電子デバイスは、第1のコンテンツのビューを拡大して、ユーザが注意を向けることを望む可能性がある個別の現実オブジェクト以外の三次元環境の部分を覆い隠し、第1の個別のコンテンツが個別の現実オブジェクトの距離((例えば、1、5、10、20、30、40、50、100センチメートルなど)の例えば閾値内)に到達すると停止する。別の例として、ユーザが注意を向けることを望む可能性がある仮想オブジェクト(例えば、コンテンツ、ユーザインタフェース)に電子デバイスを向ける電子デバイスの移動に応じて、電子デバイスは、仮想オブジェクト上にオーバーレイされた追加コンテンツの表示を見合わせる。したがって、いくつかの実施形態では、ユーザは、個別の現実オブジェクト又は個別の仮想オブジェクトが追加コンテンツによって妨害されることなく、個別の現実オブジェクト又は個別の仮想オブジェクトを見ることができる。いくつかの実施形態では、電子デバイスが第1の個別のコンテンツのビューを拡大するとき、電子デバイスは、第1の個別のコンテンツの視野を拡大し、それに応じて視野のインジケーションを更新する。
三次元環境に対する電子デバイスの移動に応じて追加コンテンツを選択的に表示する上述の方法は、コンテンツが三次元環境の部分を覆い隠すことを防止する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって(例えば、他のオブジェクトを見るために追加コンテンツの表示を停止する入力など、追加コンテンツ以外の三次元環境内のオブジェクトを見るために必要な入力の数を低減することによって)、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図7Fのようないくつかの実施形態では、1つ以上の基準は、(例えば、三次元環境内の1つ以上のそれぞれのオブジェクトに対する)電子デバイス(例えば、101)の向きの変化に基づいて満たされる基準、及び/又はユーザの視線(例えば、701c)が三次元環境内の1つ以上のそれぞれのオブジェクトに向けられているかどうかに基づいて満たされる基準を含む(820a)。いくつかの実施形態では、電子デバイスは、ユーザが注意を向けたい電子デバイスの物理的環境内の個別の現実オブジェクト(例えば、窓、出入口、表示画面、人物、動物、電子デバイス、器具、車両、建物など)及び/又はユーザが注意を向けることを望む可能性がある三次元環境内の個別の仮想オブジェクト(例えば、コンテンツ、ユーザインタフェースなど)に電子デバイスが向けられているとの判定に従って、追加コンテンツの表示を見合わせる。いくつかの実施形態では、電子デバイスは、ユーザが、電子デバイスの物理的環境内の、ユーザが注意を向けたいと望む可能性がある個別の現実オブジェクト(例えば、窓、出入口、表示画面、人物、動物、電子デバイス、器具、車両、建物など)を見ているという判定に従って、及び/又はユーザが注意を向けたいと望む可能性がある三次元環境内の個別の仮想オブジェクト(例えば、コンテンツ、ユーザインタフェースなど)に向かって(例えば、電子デバイスと通信するアイトラッキングデバイスによって判定されるように)、追加コンテンツの表示を見合わせる。いくつかの実施形態では、電子デバイスが、ユーザが注意を向けることを望む電子デバイスの物理的環境内の個別の現実オブジェクト(例えば、窓、出入口、表示画面、人物、動物、電子デバイス、器具、車両、建物など)及び/又はユーザが注意を向けることを望む可能性がある三次元環境内の個別の仮想オブジェクト(例えば、コンテンツ、ユーザインタフェースなど)に向けられていないとの判定に従って、電子デバイスは、電子デバイスの移動に従って追加コンテンツを表示する。いくつかの実施形態では、ユーザの視線が、ユーザが注意を向けることを望む可能性がある電子デバイスの物理的環境内の個別の現実オブジェクト(例えば、窓、出入口、表示画面、人物、動物、電子デバイス、器具、車両、建物など)及び/又はユーザが注意を向けることを望む可能性がある三次元環境内の個別の仮想オブジェクト(例えば、コンテンツ、ユーザインタフェースなど)に向けられていないとの判定に従って、電子デバイスは、電子デバイスの移動に従って追加コンテンツを表示する。したがって、いくつかの実施形態では、電子デバイスは、個別の現実オブジェクト又は個別の仮想オブジェクトを追加コンテンツで覆い隠す。いくつかの実施形態では、電子デバイスは、電子デバイスの移動が検出されている間にユーザの視線が個別の現実又は仮想オブジェクトに向けられていない場合、追加コンテンツを用いて個別の現実又は仮想オブジェクトを覆い隠す。いくつかの実施形態では、電子デバイスの移動が検出されている間にユーザの視線が現実又は仮想オブジェクトに向けられている場合、電子デバイスは、個別の現実又は仮想オブジェクトを覆い隠す三次元環境内のロケーションに追加コンテンツを表示しない。
三次元環境に対する電子デバイスの向きの変化及び/又はユーザの視線に応じて追加コンテンツを選択的に表示する上述の方法は、ユーザが追加コンテンツ以外の三次元環境内のコンテンツの視認性を維持することを可能にする効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にする(例えば、他のオブジェクトを見るために追加コンテンツの表示を停止する入力など、追加コンテンツ以外の三次元環境内のオブジェクトを見るために必要な入力の数を低減する)ことによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図7Dなどのいくつかの実施形態では、電子デバイス(例えば、101)は、表示生成コンポーネント(例えば、120)の表示エリアの第1の部分(例えば、第1の物理ロケーションのビューの第1の個別の部分)を占有する第1の個別のコンテンツ(例えば、708d)を表示している間に、アイトラッキングデバイスを介して、ユーザの視線(例えば、701b)が所定の時間閾値(例えば、0.05、0.1、0.2、0.3、0.5、1、2、5、10秒など)を超える時間量の間、第1の個別のコンテンツ(例えば、708d)に向けられたことを検出する(822a)。図7Eなどのいくつかの実施形態では、ユーザの視線(例えば、701b)が所定の時間閾値(例えば、0.05、0.1、0.2、0.3、0.5、1、2、5、10秒など)を超える時間量にわたって第1の個別のコンテンツ(例えば、708d)に向けられたことを検出したことに応じて、電子デバイスは、表示生成コンポーネント(例えば、120)の表示エリアの第1の部分よりも大きい第2の部分(例えば、第1の物理ロケーションのビューの第1の個別の部分よりも大きい(例えば、より多くのコンテンツ、オブジェクトなどを含む)第1の物理ロケーションのビューの第2の個別の部分)を占有するように第1の個別のコンテンツ(例えば、708d)を更新する(822b)。いくつかの実施形態では、所定の時間閾値(例えば、0.05、0.1、0.2、0.3、0.5、1、2秒など)を超える時間にわたって第1の個別のコンテンツに向けられたユーザの視線を検出したことに応じて、電子デバイスは、第1の個別のコンテンツのサイズを拡大する。いくつかの実施形態では、第1の個別のコンテンツのサイズを拡大したことに応じて、電子デバイスは、(例えば、視野の向きを更新することなく)第1の個別のコンテンツの視野を増加させ、それに応じて(例えば、ナビゲーションユーザインタフェース要素に表示される)視野のインジケーションを更新する。いくつかの実施形態では、第1の個別のコンテンツの表示エリアを増加させることは、第1の個別のコンテンツの視野を拡大せず、むしろ、いくつかの実施形態では、第1の個別のコンテンツは、視野(のサイズ及び向きなど)が同じままである間に拡大される。
所定の閾値を超える時間にわたって第1の個別のコンテンツに向けられたユーザの視線を検出したことに応じて第1の個別のコンテンツのサイズを拡大する上述の方法は、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって(例えば、第1の物理ロケーションを見るために第1の物理ロケーションのビューをパンするための入力の数を低減することによって)、第1の物理ロケーションのビューを増加させる効率的な方法を提供し、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第1の個別のコンテンツを表示している間、電子デバイスは、ナビゲーションユーザインタフェース要素内に、第1の個別のコンテンツに対応する第1の物理ロケーションの視野のインジケーションを表示する(824a)。いくつかの実施形態では、視野のインジケーションは、ナビゲーションユーザインタフェース要素に含まれる第1のロケーションの視覚的インジケーションに近接して又は関連して(例えば、近接して又は組み込まれて)表示される。いくつかの実施形態では、視野のインジケーションは、第1の個別のコンテンツ内に表示される第1の物理ロケーションの境界を示す。いくつかの実施形態では、第1の個別のコンテンツが表示生成コンポーネントの表示エリアの第1の部分を占有している間、視野のインジケーションは、第1の視野(例えば、第1の個別のコンテンツが表示エリアの第1の部分を占有している間、第1の個別のコンテンツに含まれる第1の物理ロケーションの境界)を示す(824b)。いくつかの実施形態では、第1の個別のコンテンツが表示生成コンポーネントの表示エリアの第2の部分を占有する間、視野のインジケーションは、第1の視野よりも大きい第2の視野(例えば、第1の個別のコンテンツが表示エリアの第2の部分を占有する間、第1の個別のコンテンツに含まれる第1の物理ロケーションの境界)を示す(824c)。いくつかの実施形態では、表示エリアの第2の部分は、表示エリアの第1の部分よりも大きく、及び/又は第2の視野は、第1の視野よりも大きい。
第1の個別のコンテンツによって占有される表示エリアに従って視野のインジケーションを表示する上述の方法は、第1の個別のコンテンツによって表される第1の物理ロケーションの部分を示す効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図7Eなどのいくつかの実施形態では、第1の個別のコンテンツ(例えば、708d)は、(例えば、第1の物理ロケーションに対して)第1の向きを有する第1の視野(例えば、718e)に対応する(826a)。図7Eなどのいくつかの実施形態では、第1の個別のコンテンツ(例えば、708d)を表示し、ナビゲーションユーザインタフェース要素(例えば、704a)内に第1の視野(例えば、718e)のインジケーションを表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、第2の向きを有する第2の視野に対応する第3の個別のコンテンツを表示する要求に対応する入力を検出する(826b)。いくつかの実施形態では、第3の個別のコンテンツ及び第1の個別のコンテンツは、同じ物理ロケーションからキャプチャされた画像であるが、向きが異なる(例えば、同じロケーションにいる間に異なる方向を向いている)。いくつかの実施形態では、第3の個別のコンテンツ及び第1の個別のコンテンツは、異なる物理ロケーション(例えば、異なる向き)からキャプチャされた画像である。いくつかの実施形態では、第1の視野及び第2の視野の幅は同じである。いくつかの実施形態では、第1の視野及び第2の視野の幅は異なる。いくつかの実施形態では、第3の個別のコンテンツを表示する要求に対応する入力は、視点を第1の個別のコンテンツの視点から第3の個別のコンテンツの視点に回転させる要求である。いくつかの実施形態では、入力は、第1の個別のコンテンツを1つ以上の(例えば、横方向)方向に拡大する要求に対応する。いくつかの実施形態では、入力は、第3の物理ロケーション(例えば、第1のロケーションに対する横方向の移動)に対応する第3の個別のコンテンツを表示する要求に対応する。図7Fなどのいくつかの実施形態では、電子デバイス(例えば、101)は、第2の向きを有する第2の視野(例えば、718e)に対応する(例えば、第1の物理ロケーションに対応する又は第3の物理ロケーションに対応する)第3の個別のコンテンツ(例えば、708d)を表示する要求に対応する入力を検出したことに応じて(826c)、表示生成コンポーネント(例えば、120)を介して、第3の個別のコンテンツ(例えば、708d)を(例えば、三次元環境内の第1の個別のロケーションに)表示する(826d)。図7Fなどのいくつかの実施形態では、第2の向きを有する第2の視野(例えば、718)に対応する第3の個別のコンテンツ(例えば、708d)を表示する要求に対応する入力を検出したことに応じて(826c)、電子デバイス(例えば、101)は、ナビゲーションユーザインタフェース要素(例えば、704a)において、第1の視野のインジケーションを第2の視野(例えば、718e)のインジケーションとなるように更新する(826e)。いくつかの実施形態では、視野のインジケーションは、ナビゲーションユーザインタフェース要素に含まれる第3の個別のコンテンツに対応する物理ロケーションの視覚的インジケーションに近接して又は関連して(例えば、近接して又は組み込まれて)表示される。いくつかの実施形態では、第2の視野のインジケーションは、第3の個別のコンテンツ内に表示される物理ロケーションの境界を示す。
第3の個別のコンテンツに従って視野のインジケーションを表示する上述の方法は、第3の個別のコンテンツによって表される個別の物理ロケーションの部分を示す効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図7Aなどのいくつかの実施形態では、電子デバイス(例えば、101)の物理的環境が、電子デバイス(例えば、101)の物理的環境内の電子デバイス(例えば、101)の周囲の遮られていない空間の量(例えば、1つ以上の方向で0.5、1、2、3、4、5メートルなど)に基づいて満たされる基準を含む、1つ以上の基準を満たすという判定に従って、電子デバイス(例えば、101)は、三次元環境内で第1のサイズでナビゲーションユーザインタフェース要素(例えば、704a)を表示する(828a)。いくつかの実施形態では、電子デバイスは、三次元環境内の物理的オブジェクトのロケーションとオーバーレイ又は交差しない三次元環境内のロケーションにナビゲーションユーザインタフェース要素を表示する。いくつかの実施形態では、ナビゲーションユーザインタフェース要素が表示されるサイズは、電子デバイスの物理的環境内の電子デバイスの周囲の遮られていない空間の量に依存する。図7Iのようないくつかの実施形態では、電子デバイス(例えば、101)の物理的環境が1つ以上の基準を満たさないという判定に従って、電子デバイス(例えば、101)は、三次元環境において、第1のサイズとは異なる(例えば、より小さい)第2のサイズでナビゲーションユーザインタフェース要素(例えば、704d)を表示する(828b)。例えば、電子デバイスは、ダイニングルームのテーブルの上に空き空間がある部屋(例えば、電子デバイスの周りの複数の方向に約2メートルの遮られていない空間)にナビゲーションユーザインタフェース要素を表示するとき、電子デバイスがオフィスキュービクル(例えば、電子デバイスの周りの複数の方向に約0.5~1メートルの遮られていない空間)にナビゲーションユーザインタフェース要素を表示するサイズよりも大きいサイズでナビゲーションユーザインタフェース要素を表示する。
電子デバイスの物理的環境内の電子デバイスの周りの遮られていない空間の量に対応するサイズでナビゲーションユーザインタフェース要素を表示する上述の方法は、ユーザの物理的環境内のオブジェクトの表現をナビゲーションユーザインタフェース要素と同時に提示する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって(例えば、ナビゲーションユーザインタフェース要素の表示と電子デバイスの物理的環境内のオブジェクトの表現とを切り替えるのに必要な入力の数を低減することによって)、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ナビゲーション要素(例えば、図7Aの704a)は、三次元環境において三次元で表示される第1の個別の部分(例えば、ナビゲーションユーザインタフェース要素によって示される物理ロケーションにおける物理的オブジェクト(例えば、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴)の三次元表現を含む)と、三次元環境において二次元で表示される第2の個別の部分(例えば、ナビゲーションユーザインタフェース要素によって示される物理ロケーションにおける物理的オブジェクト(例えば、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴)の二次元表現を含む)とを含み、第1の個別の部分は、第2の個別の部分よりもユーザの視点により近い(例えば、閾値距離(例えば、0.5、1、2、3、4、5メートルなど)(830a)。いくつかの実施形態では、ナビゲーションユーザインタフェース要素の第2の個別の部分(に含まれる物理的オブジェクトの表現)をユーザの近くに(例えば、ナビゲーションユーザインタフェース要素の第1のそれぞれの部分と第2のそれぞれの部分との間の境界を定義したユーザの閾値距離内に)移動させる要求に対応する入力に応じて、電子デバイスは、ナビゲーションユーザインタフェース要素の第2の個別の部分内の物理的オブジェクトの表現を三次元で表示する。いくつかの実施形態では、ナビゲーションユーザインタフェース要素の第1の個別の部分(に含まれる物理的オブジェクトの表現)をユーザから更に遠くに(例えば、ナビゲーションユーザインタフェース要素の第1のそれぞれの部分と第2のそれぞれの部分との間の境界を定義するユーザの閾値距離の外側に)移動させる要求に対応する入力に応じて、電子デバイスは、ナビゲーションユーザインタフェース要素の第1の個別の部分内の物理的オブジェクトの表現を二次元で表示する。いくつかの実施形態では、ナビゲーションユーザインタフェース要素の第1の個別の部分は、三次元環境内の水平面(例えば、現実又は仮想表面、仮想平面)に沿って向けられ、ナビゲーションユーザインタフェース要素の第2の個別の部分は、ナビゲーションユーザインタフェース要素の第1の個別の部分の垂直後方に表示される(例えば、水平面から上方に湾曲される)。いくつかの実施形態では、ナビゲーションユーザインタフェース要素の第1の個別の部分及び第2の個別の部分は、ナビゲーションユーザインタフェース要素の湾曲部分によって接合される。
ナビゲーションユーザインタフェース要素の第1の個別の部分を三次元で表示し、ナビゲーションユーザインタフェース要素の第2の個別の部分を二次元で表示する上述の方法は、ユーザが同時に見ることができるナビゲーションユーザインタフェース要素のエリアを増加させる効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図7Aなどのいくつかの実施形態では、第1の個別のコンテンツ(例えば、708a)を表示している間(832a)、ナビゲーションユーザインタフェース要素(例えば、704a)は、第1の物理ロケーションを含む第1の物理的領域に対応する(832b)。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴などの表現を含む、第1の物理的領域内の他の物理ロケーションの表現を含む。図7Aなどのいくつかの実施形態では、第1の個別のコンテンツ(例えば、708a)を表示している間(832a)、ナビゲーションユーザインタフェース要素(例えば、704a)は、第1の物理的領域の地形のインジケーションを含む(832c)。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、三次元で表示され、第1の物理的領域の(例えば、地面の)地形の三次元レンダリングを含む。例えば、第1の物理的領域が丘を含む場合、ナビゲーションユーザインタフェース要素は、丘の三次元レンダリングを含む。いくつかの実施形態では、ナビゲーションユーザインタフェース要素の縁部は、ナビゲーションユーザインタフェース要素の縁部に対応する物理ロケーションの地形の断面を示す。
ナビゲーションユーザインタフェース要素内に第1の物理的領域の地形のインジケーションを表示する上述の方法は、第1の物理ロケーションにおけるオブジェクトだけでなく、第1の物理ロケーションの地形も表す効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図7Aのようないくつかの実施形態では、ナビゲーションユーザインタフェース要素(例えば、704a)は、三次元で表示される個別のコンテンツ(例えば、710a、710b)(例えば、ナビゲーションユーザインタフェース要素に対応する物理的領域内の物理的オブジェクト(例えば、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴)の三次元表現)を含む(834a)。図7Bなどのいくつかの実施形態では、電子デバイス(例えば、101)は、三次元で表示された個別のコンテンツを含むナビゲーションユーザインタフェース要素(例えば、704b)を表示している間に、1つ以上の入力デバイス(例えば、1つ以上のカメラ、距離センサ、ハンドトラッキングデバイス、アイトラッキングデバイス)を介して、ユーザの既定の部分(例えば、728a)(例えば、手、腕、頭部など)の移動を検出する(834b)。図7Bなどのいくつかの実施形態では、ユーザの既定の部分(例えば、728a)の移動を検出したことに応じて(834c)、ユーザの既定の部分(例えば、728a)がナビゲーションユーザインタフェース要素(例えば、704b)内に三次元で表示された個別のコンテンツに対応するロケーションにある(例えば、三次元環境内のユーザの既定の部分のロケーションが、三次元環境内の個別のコンテンツのロケーションの閾値距離(例えば、0.1、0.2、0.3、0.5、1、2、3、4、5、10センチメートルなど)と交差するか、又はその範囲内にある)という判定に従って、電子デバイス(例えば、101)は、ナビゲーションユーザインタフェース要素(例えば、704b)を更新して(834d)、図7Bのように、三次元で表示された個別のコンテンツを視覚的デエンファシスする((例えば、もはや含まない)例えば、個別のコンテンツの表示を停止するか、又は表示をデエンファシスする(例えば、より透明にする、より不透明でなくする)か、又は個別のコンテンツを二次元で表示する)。いくつかの実施形態では、電子デバイスは、ユーザの既定の部分に対応するロケーションにあるコンテンツの三次元表示を停止し、ユーザの既定の部分のロケーションに対応しないロケーションにおけるナビゲーションユーザインタフェース要素の他のコンテンツの三次元表示を維持する。いくつかの実施形態では、電子デバイスは、ユーザの既定の部分の表現を提示する。いくつかの実施形態では、ユーザの既定の部分の表現は、表示生成コンポーネントによって提示されるユーザの既定の部分の表現(例えば、仮想又はビデオパススルー)である。いくつかの実施形態では、ユーザの既定の部分の表現は、表示生成コンポーネントの透明部分を通したユーザの既定の部分のビューである(例えば、真の又は実際のパススルー)。
個別のコンテンツに対応するロケーションへのユーザの既定の部分の移動の検出に応じて、個別のコンテンツの三次元表示を停止する上述の方法は、ユーザの既定の部分の表現の視認性を維持する効率的な方法を提供し、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、電子デバイスは、図7Aのナビゲーションユーザインタフェース要素704aに第2の電子デバイスのインジケーションを表示するなど、第2の電子デバイスの個別の物理ロケーションに対応するナビゲーションユーザインタフェース要素内の個別のロケーションに表示された第2の電子デバイス(例えば、電子デバイスのユーザとは異なるユーザに関連付けられた)のインジケーションをナビゲーションユーザインタフェース要素内に表示する(836a)。いくつかの実施形態では、電子デバイスは、第2の電子デバイスのロケーションのインジケーションを(例えば、第2の電子デバイスから、サーバから)受信する。例えば、電子デバイスのユーザ及び第2の電子デバイスの第2のユーザは、第2の電子デバイスのロケーションを電子デバイスに提示し、電子デバイスのロケーションを第2の電子デバイスに提示するサービスを介して接続される。いくつかの実施形態では、ナビゲーションユーザインタフェース要素内に第2の電子デバイスのインジケーションを表示している間に、電子デバイスは、1つ以上の入力デバイスを介して、図7Cのオプション720bの選択を検出するのと同様の方法で、第2の電子デバイスのインジケーションの選択を検出する(836b)。いくつかの実施形態では、インジケーションの選択を検出することは、アイトラッキングデバイスを介して、ユーザの視線が第2の電子デバイスのインジケーションに向けられていることを検出することと、ハンドトラッキングデバイスを介して、ユーザが所定のジェスチャ(例えば、ユーザが親指を手の別の指の閾値距離(例えば、0.05、0.1、0.5、1、2センチメートルなど)内で動かすピンチジェスチャ)を実行することを検出することとを含む。いくつかの実施形態では、インジケーションの選択を検出することは、ハンドトラッキングデバイスを介して、ユーザの所定の部分(例えば、手)が第2の電子デバイスのインジケーションに対応するロケーションの閾値距離(例えば、1、2、3、5、10、20センチメートルなど)内にある間、ユーザが所定のジェスチャ(例えば、ユーザが手の別の指の閾値距離(例えば、0.05、0.1、0.5、1、2センチメートルなど)内で親指を移動させるピンチジェスチャ)を行うことを検出することを含む。いくつかの実施形態では、第2の電子デバイスのインジケーションの選択を検出したことに応じて、電子デバイスは、表示生成コンポーネントを介して(例えば、三次元環境内の第1の個別のロケーションにおいて)、第2の電子デバイスの個別の物理ロケーションの第2の電子デバイスによってキャプチャされたコンテンツを、電子デバイスが図7Aのインジケーション716に対応するコンテンツ708aを提示する方法と同様の方法で表示する(836c)。例えば、コンテンツは、第2の電子デバイス(例えば、それと通信している1つ以上のカメラ及び/又はマイクロフォン)によってキャプチャされたライブビデオである。いくつかの実施形態では、コンテンツは、第2の電子デバイスの物理ロケーションに関連付けられた1つ以上の画像及び/又はビデオコンテンツである(例えば、第2の電子デバイスによってキャプチャされた、又はキャプチャされていない)。
第2の電子デバイスのロケーションに対応するナビゲーションユーザインタフェース要素内のロケーションに表示された第2の電子デバイスのインジケーションの選択を検出したことに応じて、第2の電子デバイスによってキャプチャされたコンテンツを提示する上述の方法は、第2の電子デバイスのロケーションに対応するコンテンツを閲覧する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図7Gなどのいくつかの実施形態では、第1の個別のコンテンツは、第1の物理ロケーションに位置する(又はそこから見える)オブジェクト(例えば、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴)の二次元表現(例えば、732b)を含む(838a)。図7Gなどのいくつかの実施形態では、電子デバイス(例えば、101)は、オブジェクトの二次元表現(例えば、732b)とオブジェクトの三次元表現(例えば、708e)(例えば、第1の個別のコンテンツの前に表示される)とを含む第1の個別のコンテンツを同時に表示する(838b)。いくつかの実施形態では、オブジェクトの二次元表現及び三次元表現を表示している間、電子デバイスは、ナビゲーションユーザインタフェース要素の表示を維持する。いくつかの実施形態では、オブジェクトの三次元表現は、三次元環境の第1の個別のロケーション(例えば、第1の個別のコンテンツ内、第1の個別のコンテンツに近接する、第1の個別のコンテンツにオーバーレイされるなど)に表示されたユーザインタフェース要素の選択を検出したことに応じて表示される。いくつかの実施形態では、オブジェクトの三次元表現は、オブジェクトの二次元表現の選択の検出に応じて表示される。いくつかの実施形態では、オブジェクトの三次元表現は、ユーザの視点とオブジェクトの二次元表現との間に表示される。
オブジェクトの二次元表現及び三次元表現を同時に表示する上述の方法は、オブジェクトに関するより多くの情報(例えば、オブジェクトの異なるビュー)を見る効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図9A~9Hは、いくつかの実施形態による、第2の物理ロケーションに対応するコンテンツを提示する要求に対応する入力に応じて、コンテンツ要素内の低減された視覚的顕著性を伴って、第1の物理ロケーションから第2の物理ロケーションへのナビゲーションを提示する方法を示すフローチャートである。いくつかの実施形態では、方法900は、表示生成コンポーネント(例えば、図1、図3、及び図4の表示生成コンポーネント120)(例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど)と、1つ以上のカメラ(例えば、ユーザノン手に置いて下方を向くカメラ(例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ)又はユーザの頭部から前方に向くカメラ)とを含む、コンピュータシステム(例えば、図1のコンピュータシステム101)で実行される。いくつかの実施形態では、方法900は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1Aの制御ユニット110)など、コンピュータシステムの1つ以上のプロセッサによって実行される命令によって統御される。方法900の一部の動作は、任意選択的に組み合わされ、及び/又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法900は、表示生成コンポーネント及び1つ以上の入力デバイス(例えば、モバイルデバイス(例えば、タブレット、スマートフォン、メディアプレーヤ、又はウェアラブルデバイス)、又はコンピュータ)と通信する電子デバイス(例えば、101)において実行される。いくつかの実施形態では、表示生成コンポーネントは、電子デバイス(任意選択的にタッチスクリーンディスプレイ)と一体化されたディスプレイ、モニタ、プロジェクタ、テレビなどの外部ディスプレイ、又はユーザインタフェースを投影し1人以上のユーザにユーザインタフェースが可視であるようにするためのハードウェア構成要素(任意選択的に組み込み若しくは外部)などである。いくつかの実施形態では、1つ以上の入力デバイスは、ユーザ入力(例えば、ユーザ入力をキャプチャし、ユーザ入力を検出する等)を受信し、ユーザ入力に関連する情報を電子デバイスに送信することができる電子デバイス又はコンポーネントを含む。入力デバイスの例は、タッチスクリーン、マウス(例えば、外部)、トラックパッド(任意選択で統合又は外部)、タッチパッド(任意選択で統合又は外部)、リモートコントロールデバイス(例えば、外部)、別のモバイルデバイス(例えば、電子デバイスとは別個)、ハンドヘルドデバイス(例えば、外部)、コントローラ(例えば、外部)、カメラ、深度センサ、アイトラッキングデバイス、及び/又はモーションセンサ(例えば、ハンドトラッキングデバイス、ハンドモーションセンサ)などを含む。いくつかの実施形態では、電子デバイスは、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、タッチセンサ(例えば、タッチスクリーン、トラックパッド)と通信する。いくつかの実施形態では、ハンドトラッキングデバイスは、スマートグローブなどのウェアラブルデバイスである。いくつかの実施形態では、ハンドトラッキングデバイスは、リモートコントロール又はスタイラスなどのハンドヘルド入力デバイスである。
図7Aなどのいくつかの実施形態では、電子デバイス(例えば、101)は、表示生成コンポーネント(例えば、120)を介して、第1の物理ロケーションに対応する第1のロケーション(902b)(例えば、716)を有するナビゲーションユーザインタフェース要素(例えば、704a)を含むユーザインタフェースを表示する(902a)。いくつかの実施形態では、ユーザインタフェースは、ユーザインタフェースを含む仮想オブジェクトの表現と、電子デバイスの物理的環境内の現実のオブジェクトの表現とを含む三次元環境を含む。三次元環境は、任意選択的に、三次元環境内の個別のロケーション(例えば、電子デバイスのロケーションに対応する)における電子デバイスに関連付けられたユーザの視点からの一人称視点から提示される。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、方法800を参照して説明したように、第1の物理ロケーションに対応する第1のロケーションに視覚的インジケーション(例えば、ピン)を有する物理ロケーションの三次元地形マップを含む。例えば、ナビゲーションユーザインタフェース要素は、都市の住所、ランドマーク、又は座標に対応する第1のロケーションに表示された旗、ピン、又は他の視覚的インジケーションを有する建物、通り、及び他のランドマークの三次元表現を含む都市の三次元地形マップを含む。いくつかの実施形態では、電子デバイスは、指定された第1の物理ロケーションに対応する第1のロケーションを有するナビゲーションユーザインタフェース要素を表示する。
図7Aなどのいくつかの実施形態では、電子デバイス(例えば、101)は、表示生成コンポーネント(例えば、120)を介して、第1の物理ロケーション(例えば、716)の第1のビューに対応する第1の(例えば、708a個別のコンテンツ)を含むコンテンツ要素(例えば、706)を含むユーザインタフェースを表示し(902a)、コンテンツ要素(例えば、706)は、第1の視覚的顕著性で表示される(902c)。いくつかの実施形態では、第1の個別のコンテンツは、第1の物理ロケーションから撮影された画像及び/又は第1の物理ロケーションの画像(例えば、第1の物理ロケーションからのストリートレベルビュー画像)である。いくつかの実施形態では、第1の個別のコンテンツは、第1の物理ロケーションで記録された(例えば、ライブ)ビデオである。いくつかの実施形態では、第1の個別のコンテンツは、方法800を参照して説明した第1の個別のコンテンツの1つ以上の特性を有する。いくつかの実施形態では、視覚的顕著性の度合いは、コンテンツ要素及び/又はコンテンツ要素に含まれる第1の個別のコンテンツに適用されるぼかしの量であり、第1の視覚的顕著性の度合いでコンテンツ要素を表示することは、コンテンツ要素及び/又はコンテンツ要素に含まれる第1の個別のコンテンツをぼかしなし(又は比較的低い)で表示することである。いくつかの実施形態では、視覚的顕著性の程度は、ユーザインタフェース内の透明性(例えば、比較的低い透明性)、コントラスト(例えば、比較的高いコントラスト)、色(例えば、比較的高い色又は明るい色)、サイズ(例えば、比較的大きいサイズ)、及び/又はポジション(例えば、比較的顕著な/中心ポジション)の量である。いくつかの実施形態では、ナビゲーションユーザインタフェース要素及び/又はコンテンツ要素及び/又は第1の個別のコンテンツは、デバイスによって生成、表示、又はその他の方法で視認可能にされる三次元環境(例えば、仮想現実(VR)環境、複合現実(MR)環境、又は拡張現実(AR)環境などのコンピュータ生成現実(XR)環境)において表示される。
図7Bのようないくつかの実施形態では、表示生成コンポーネント(例えば、120)を介して、第1の視覚的顕著性を有するコンテンツ要素(例えば、706)を表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、第2の物理ロケーションに対応する第2のロケーションを指定する要求に対応するユーザ入力(又は一連の複数のユーザ入力)を検出する(902d)。いくつかの実施形態では、入力は、指定されたロケーションのインジケーションを地形マップ上の第1のロケーションから第2のロケーションに移動させる入力など、ナビゲーションユーザインタフェース要素に向けられる。いくつかの実施形態では、入力は、コンテンツの視点を第1の物理ロケーションから第2の物理ロケーションに変更するための、又は第1の個別のコンテンツの視野を回転させるための入力など、第1の個別のコンテンツに向けられる。いくつかの実施形態では、ユーザ入力は、方法800を参照して説明した第2の物理ロケーションに対応する第2のロケーションを指定する要求に対応するユーザ入力の1つ以上の特性を有する。
図7Bなどのいくつかの実施形態では、ユーザ入力を検出したことに応じて(例えば、検出している間に)、電子デバイス(例えば、101)は、コンテンツ要素(例えば、706)内に、第1のロケーションから第2のロケーションへのナビゲーションを表示し(902e)、これは、第1のロケーションと第2のロケーションとの間の1つ以上のロケーションの表現を、第1の視覚的顕著性に対して低減された視覚的顕著性で表示することを含む。いくつかの実施形態では、視覚的顕著性の程度は、ユーザインタフェース内の半透明性(例えば、比較的高い半透明性)、コントラスト(例えば、比較的低いコントラスト)、色(例えば、比較的低い色又は暗い色)、サイズ(例えば、比較的小さいサイズ)、及び/又はポジション(例えば、比較的微妙な/周辺ポジション)のうちの1つ以上の程度である。いくつかの実施形態では、ユーザ入力が提供されている間、電子デバイスは、コンテンツ要素及び/又はコンテンツ要素に含まれるコンテンツを、ぼかされた(例えば、比較的高いぼやけ)外観で表示する。いくつかの実施形態では、入力は、ユーザが、個別の物理ロケーションに対応する個別のロケーションの視覚的インジケーション(例えば、ピン)をナビゲーションユーザインタフェース要素内の1つのロケーションからナビゲーションユーザインタフェース要素内の異なるロケーションに移動させることである。例えば、ユーザは、第1のロケーションから視覚的インジケーションをピックアップし、それをナビゲーションユーザインタフェース要素内の第2のロケーションに配置し、ユーザが視覚的インジケーションを移動させている間、電子デバイスはコンテンツ要素をぼかす。いくつかの実施形態では、ユーザ入力(又は複数のユーザ入力のシーケンス)を検出している間、コンテンツ要素は、低減された視覚的顕著性(例えば、比較的高い量のぼかし)を有する第1の個別のコンテンツを含む。いくつかの実施形態では、ユーザ入力(又は複数のユーザ入力のシーケンス)を検出している間、コンテンツ要素は、低減された視覚的顕著性(例えば、比較的高い量のぼかし)で表示されるマップナビゲーション要素内の個別のロケーションの視覚的インジケーションの現在のポジションに対応する個別のコンテンツを含むように更新する。
図7Cなどのいくつかの実施形態では、電子デバイス(例えば、101)は、第1のロケーションから第2のロケーションへのナビゲーションを表示した後(及びユーザ入力を検出したことに応じて)、第2の物理ロケーション(例えば、716)の第2のビューに対応する第2の個別のコンテンツ(例えば、708c)(例えば、方法800を参照して説明したものなど)を、第1の視覚的顕著性に対して低減された視覚的顕著性よりも大きい視覚的顕著性でコンテンツ要素(例えば、706)に表示する(902f)。いくつかの実施形態では、ユーザが第2のロケーションを指定するための1つ以上の入力を提供し終えた後、電子デバイスは、第2の個別のコンテンツを含むようにコンテンツ要素を更新し、第2の物理ロケーションの指定の視覚的インジケーション(例えば、ピン)を含むようにナビゲーションユーザインタフェースを更新する。いくつかの実施形態では、第2の個別のコンテンツは、第2の物理ロケーションから撮影された画像である。いくつかの実施形態では、第1の個別のコンテンツは、第2の物理ロケーションで記録された(例えば、ライブ)ビデオである。いくつかの実施形態では、電子デバイスは、コンテンツ及びナビゲーションユーザインタフェース要素がユーザ入力に応じて表示される三次元環境内のロケーションを維持する。いくつかの実施形態では、入力を検出したことに応じて、及び/又は入力が検出された後、電子デバイスは、ぼかしのない第2の個別のコンテンツ(及び/又は上述のように、第1の視覚的顕著性に対応する視覚的顕著性の他の特性)を表示する。いくつかの実施形態では、低減された視覚的顕著性よりも大きい視覚的顕著性は、入力を検出する前にユーザインタフェースが表示される第1の視覚的顕著性と同じである。いくつかの実施形態では、低減された視覚的顕著性よりも大きい視覚的顕著性は、入力を検出する前にユーザインタフェースが表示される第1の視覚的顕著性よりも視覚的に顕著である。いくつかの実施形態では、低減された視覚的顕著性よりも大きい視覚的顕著性は、入力を検出する前にユーザインタフェースが表示される第1の視覚的顕著性よりも視覚的に目立たない。
第2のロケーションを指定する要求に対応するユーザ入力を検出しながらコンテンツ要素の視覚特性を更新する上述の方法は、第2のロケーションを指定することがコンテンツ要素を更新することになることをユーザに示す効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善し、更なるユーザ入力によって訂正されなければならない使用の誤りを低減し、(例えば、コンテンツに対応するロケーションの視覚的インジケーションが移動されている間)電子デバイスが第1のロケーション及び/又は第1のロケーションと第2のロケーションとの間の中間ロケーションに対応するコンテンツを完全にレンダリングする必要性を低減する。
図7Bなどのいくつかの実施形態では、低減された視覚的顕著性を伴ってコンテンツ要素(例えば、706)を表示することは、低減された視覚的顕著性(例えば、コンテンツ要素の全エリアをぼかし、フェード、暗くするなど)を伴ってコンテンツ要素(例えば、706)の全体を表示することを含む(904a)。いくつかの実施形態では、低減された視覚的顕著性を有するコンテンツ要素全体を表示することは、低減された視覚的顕著性を有するコンテンツ要素に含まれる個別のコンテンツ全体を表示することを含む。
視覚的顕著性の程度が低減されたコンテンツ要素の全体を表示する上述の方法は、第2のロケーションを指定することがコンテンツ要素を更新することになることをユーザに示す効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善し、更なるユーザ入力によって訂正されなければならない使用の誤りを低減し、(例えば、コンテンツに対応するロケーションの視覚的インジケーションが移動されている間)電子デバイスが第1のロケーション及び/又は第1のロケーションと第2のロケーションとの間の中間ロケーションに対応するコンテンツを完全にレンダリングする必要性を低減する。
いくつかの実施形態では、低減された視覚的顕著性を有するコンテンツ要素を表示することは、低減された視覚的顕著性(例えば、ぼかし、フェード、暗化など)を有するコンテンツ要素の第2の領域(例えば、コンテンツ要素の縁部)を(例えば、少なくとも部分的に)囲むコンテンツ要素の第1の領域を表示することと、低減された視覚的顕著性を有さずに(例えば、ぼかされずに、フェードされずに、暗くされずに)図7Bのコンテンツユーザインタフェース要素704bの中央部分を表示することなど、第1の視覚的顕著性を有するコンテンツ要素の第2の領域を表示することとを含む(906a)。いくつかの実施形態では、低減された視覚的顕著性を有するコンテンツ要素の第1の領域を表示することは、低減された視覚的顕著性を有するコンテンツ要素の第1の領域に含まれる個別のコンテンツの部分を表示することを含む。いくつかの実施形態では、縁部を有する電子デバイスコンテンツ要素は、ぼかされ、フェードされ、及び/又は暗くされる。
視覚的顕著性の程度が低減されたコンテンツ要素の第1の領域を表示する上述の方法は、第2のロケーションを指定することがコンテンツ要素を更新することになることをユーザに示す効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善し、更なるユーザ入力によって訂正されなければならない使用の誤りを低減し、(例えば、コンテンツに対応するロケーションの視覚的インジケーションが移動されている間)電子デバイスが第1のロケーション及び/又は第1のロケーションと第2のロケーションとの間の中間ロケーションに対応するコンテンツを完全にレンダリングする必要性を低減する。
図7Aなどのいくつかの実施形態では、電子デバイス(例えば、101)は、コンテンツ要素(例えば、706)を第1の視覚的顕著性で表示している間、かつ第2の物理ロケーションに対応する第2のロケーションを指定する要求に対応するユーザ入力を検出する前に、ナビゲーションユーザインタフェース要素(例えば、704a)の少なくとも一部を第2の視覚的顕著性で(例えば、三次元で、フルカラーで)表示する(908a)。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、第1のロケーションを含む領域の三次元マップである。例えば、ナビゲーションユーザインタフェース要素は、領域内の建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴などの三次元表現を含む。いくつかの実施形態では、電子デバイスは、ナビゲーションユーザインタフェース要素(の少なくとも一部)を第2の視覚的顕著性で表示している間、ナビゲーションユーザインタフェース要素内の表現の全て(又は少なくとも一部)を三次元でフルカラー、半透明などで表示する。図7Bなどのいくつかの実施形態では、ユーザ入力を検出している間、及びコンテンツ要素(例えば、706)を第1の視覚的顕著性に対して低減された視覚的顕著性で表示している間、電子デバイス(例えば、101)は、ナビゲーションユーザインタフェース要素(例えば、704b)の少なくとも一部を第2の視覚的顕著性に対して低減された視覚的顕著性で(例えば、二次元で、フェードされた/暗くされた色で、半透明性が高く)表示する(908b)。いくつかの実施形態では、電子デバイスは、ユーザ入力を検出している間に、ナビゲーションユーザインタフェース要素によって表される領域内のオブジェクトのうちの1つ以上の二次元表現、並びに/又は暗くされた表現、フェードされた表現、及び/若しくは半透明の表現を含むように、ナビゲーションユーザインタフェース要素を更新する。いくつかの実施形態では、電子デバイスは、ユーザ入力を検出している間、低減された視覚的顕著性を有するナビゲーションユーザインタフェース要素全体を表示する。いくつかの実施形態では、電子デバイスは、ユーザ入力を検出している間、ナビゲーションユーザインタフェース要素の少なくとも一部(例えば、縁部、ユーザの既定の部分(例えば、手、腕、頭部、指)に対応するロケーションにある部分)を低減された視覚的顕著性で表示する。
ユーザ入力を検出している間にナビゲーションユーザインタフェース要素の少なくとも一部を低減された視覚的顕著性で表示する上述の方法は、入力が検出されている間に電子デバイスがナビゲーションユーザインタフェース要素を完全にレンダリングする必要性を低減し、これは、電子デバイスによって実行されている動作の数及び/又は複雑さを低減することによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する。
図7Cなどのいくつかの実施形態では、電子デバイス(例えば、101)は、第1のロケーションから第2のロケーションへのナビゲーションを表示した後、第1の視覚的顕著性に対する低減された視覚的顕著性よりも大きい視覚的顕著性でコンテンツ要素(例えば、706)を表示している間に、第2の視覚的顕著性に対する低減された視覚的顕著性よりも大きい視覚的顕著性で(例えば、第2の視覚的顕著性で、第2の視覚的顕著性とは異なる視覚的顕著性で)ナビゲーションユーザインタフェース要素(例えば、704a)を表示する(910a)。いくつかの実施形態では、第1のロケーションから第2のロケーションへのナビゲーションを表示した後、電子デバイスは、三次元の物理的オブジェクト(例えば、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴)の1つ以上の表現を有し、及び/又は表現の色に対して彩度がより高く、半透明性がより低く、ぼかしがより少ない色を有するナビゲーションユーザインタフェース要素を表示しながら、第2の視覚的顕著性に対して低減された視覚的顕著性でナビゲーションユーザインタフェース要素を表示する。いくつかの実施形態では、第1のロケーションから第2のロケーションへのナビゲーションを表示している間、電子デバイスは、低減された視覚的顕著性を有するナビゲーションユーザインタフェース要素を表示し、第1のロケーションから第2のロケーションへのナビゲーションを表示した後、電子デバイスは、ナビゲーションユーザインタフェース要素の視覚的顕著性を増大させる。
第1のロケーションから第2のロケーションへのナビゲーションを表示した後にナビゲーションユーザインタフェース要素が表示される視覚的顕著性を増加させる上述の方法は、ナビゲーションユーザインタフェース要素の視認性を自動的に改善する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって(例えば、第1のロケーションから第2のロケーションへのナビゲーションを表示した後にナビゲーションユーザインタフェース要素を見るために必要な入力の数を低減することによって)、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図7Bなどのいくつかの実施形態では、第2のロケーションを指定する要求に対応するユーザ入力を検出することは、アイトラッキングデバイスを介して、電子デバイス(例えば、101)のユーザの視線(例えば、701d)がナビゲーションユーザインタフェース要素(例えば、704b)に向けられていることを検出する(912b)ことを含む(912a)。いくつかの実施形態では、電子デバイスは、ユーザの視線が(例えば、ナビゲーションユーザインタフェース要素内の第1のロケーションに表示された)第1の物理ロケーションの指定の視覚的インジケーションに向けられていることを検出する。いくつかの実施形態では、電子デバイスは、ユーザの視線が第2の物理ロケーションに対応するナビゲーションユーザインタフェース要素の第2のロケーションに向けられていることを検出する。図7Bのようないくつかの実施形態では、第2のロケーションを指定する要求に対応するユーザ入力を検出することは、1つ以上の入力デバイス(例えば、ハンドトラッキングデバイス)を介して、電子デバイス(例えば、101)のユーザの既定の部分(例えば、728a)(例えば、指(単数又は複数)、手、腕、頭部など)のジェスチャが1つ以上の基準を満たすことを検出する(912c)ことを含む(912a)。いくつかの実施形態において、既定のジェスチャは、ユーザが自分の手の親指を動かして手の別の指に触れるピンチジェスチャに対応する。いくつかの実施形態では、電子デバイスは、指定を「ピックアップ」するための1つ以上の基準を満たすジェスチャを行いながら、ユーザが第1のロケーションの指定の視覚的インジケーションを見ていることを検出して、指定を移動させるプロセスを(例えば、ユーザの既定の部分の移動に従って)開始する。いくつかの実施形態では、電子デバイスは、指定を第2のロケーションに移動させるための1つ以上の基準を満たすジェスチャを行っている間に、ユーザが第2のロケーションを見ていることを検出する。
ユーザの視線及びユーザによって実行されるジェスチャの検出に応じて第1のロケーションから第2のロケーションにナビゲートする上述の方法は、ユーザインタフェースをナビゲートする直感的な方法を提供し(例えば、触知入力デバイスを操作することなく)、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図7Bのようないくつかの実施形態では、コンテンツ要素(例えば、706)において第1のロケーションから第2のロケーションへのナビゲーションを表示している間に、電子デバイス(例えば、101)は、ナビゲーションユーザインタフェース要素(例えば、704b)において第1のロケーションから第2のロケーションへのナビゲーションの対応するアニメーションを表示する(914a)。いくつかの実施形態では、ナビゲーションユーザインタフェース要素における第1のロケーションから第2のロケーションへのナビゲーションの対応するアニメーションは、ナビゲーションユーザインタフェース要素をパン及び/又はズームすることを含む。いくつかの実施形態では、ナビゲーションユーザインタフェース要素内の第1のロケーションから第2のロケーションへのナビゲーションの対応するアニメーションは、ナビゲーションユーザインタフェース要素内の第1のロケーションから第2のロケーションへ指定されたロケーションの視覚的インジケーション(例えば、旗、ピンなど)を移動させるアニメーションを表示することを含む。
ナビゲーションユーザインタフェース要素において第1のロケーションから第2のロケーションへのナビゲーションのアニメーションを表示する上述の方法は、第2のロケーションを指定することがユーザインタフェースを更新することになることをユーザに示す効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善し、更なるユーザ入力によって訂正されなければならない使用の誤りを低減する。
いくつかの実施形態では、電子デバイスは、ユーザインタフェース内に、第1の個別の物理ロケーションから第2の個別の物理ロケーションまでのナビゲーション経路のプレビュー(例えば、図7Hのナビゲーション経路のプレビューなど)を表示するために選択可能な選択可能なオプションを表示する(916a)。いくつかの実施形態では、選択可能なオプションは、第1の個別の物理ロケーションから第2の個別の物理ロケーションまでのナビゲーション経路を提示する要求に応じて表示される。いくつかの実施形態では、選択可能なオプションは、第1の個別の物理ロケーションから第2の個別の物理ロケーションまでのナビゲーション経路のインジケーションと同時に表示される。図7Hなどのいくつかの実施形態では、選択可能なオプションの選択を検出したことに応じて(916b)、電子デバイス(例えば、101)は、ナビゲーション経路をナビゲートすることに対応するビューのアニメーション(例えば、708f)をコンテンツ要素(例えば、706)内に表示する(916c)。いくつかの実施形態では、ナビゲーション経路をナビゲートすることに対応するビューのアニメーションは、ナビゲーション経路をナビゲートする誰かの視点からのビデオコンテンツ及び/又は一連の画像である。図7Hのようないくつかの実施形態では、選択可能なオプションの選択を検出したことに応じて(916b)、電子デバイス(例えば、101)は、ナビゲーションユーザインタフェース要素(例えば、704c)内に、ナビゲーション経路(例えば、740)をナビゲートする対応するインジケーション(例えば、736)を表示する(916d)。いくつかの実施形態では、ナビゲーションユーザインタフェース要素内に表示される対応するインジケーションは、ナビゲーション経路(例えば、ナビゲーションユーザインタフェース要素上にオーバーレイされたナビゲーションパス)の視覚的インジケーションと、コンテンツ要素内に表示されるアニメーションの部分に対応する個別の物理ロケーションのインジケーションとを含む。いくつかの実施形態では、コンテンツ要素内のアニメーションが進行するにつれて、コンテンツ要素内に表示されるアニメーションの部分に対応する個別の物理ロケーションのインジケーションは、ナビゲーションユーザインタフェース要素内のインジケーションが、コンテンツ要素内に表示されるアニメーションと同期される様式で移動するように移動する。いくつかの実施形態では、ナビゲーション経路の視覚的インジケーションは、ナビゲーション経路に沿っていないナビゲーションユーザインタフェース要素に含まれる他の道路の視覚特性とは異なる視覚特性(例えば、色、厚さなど)で表示されるナビゲーション経路の表現である。
コンテンツ要素にアニメーションを表示し、ナビゲーションユーザインタフェース要素に対応するインジケーションを表示する上述の方法は、アニメーションをアニメーションの現在表示されている部分に対応する個別の物理ロケーションのインジケーションと同時に提示する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって(例えば、アニメーションの部分に対応する物理ロケーションを判定するために必要な入力の数を低減することによって)、電力使用量を更に削減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、図7Bに示す入力を検出している間などに、ナビゲーションユーザインタフェース要素(例えば、704b)は、ナビゲーションユーザインタフェース要素(例えば、704b)に対応するそれぞれの物理ロケーションに位置するそれぞれのオブジェクト(例えば、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴)の1つ以上の(例えば、三次元、二次元)表現(例えば、710c)を含む(918a)。いくつかの実施形態において、ナビゲーションユーザインタフェース要素は、ナビゲーションユーザインタフェース要素に表示された領域に対応する個別の物理的領域に位置する物理的オブジェクトの三次元表現を含む。いくつかの実施形態では、ナビゲーションユーザインタフェース要素(例えば、図7Bの704b)を表示している間(918b)、ナビゲーションユーザインタフェース要素(例えば、704b)の境界がそれぞれのオブジェクトの1つ以上の表現(例えば、710c)のうちの個別の1つと一致するという判定に従って、電子デバイス(例えば、101)は、ナビゲーションユーザインタフェース要素におけるそれぞれのオブジェクトの1つ以上の表現のうちの個別の1つの表示を見合わせる(918c)。いくつかの実施形態では、ナビゲーションユーザインタフェース要素を表示している間、それぞれのオブジェクトの1つ以上の表現のうちの個別の1つがナビゲーションユーザインタフェース要素の境界内にあるという判定に従って、電子デバイスは、ナビゲーションユーザインタフェース要素内のそれぞれのオブジェクトの1つ以上の表現の個別の1つの表示を維持する。いくつかの実施形態では、電子デバイスは、ナビゲーションユーザインタフェース要素の境界内に完全にあるオブジェクトの表現を表示する。いくつかの実施形態では、ナビゲーションユーザインタフェース要素をパンしたことに応じて、電子デバイスは、ナビゲーションユーザインタフェース要素を更新して、ナビゲーションユーザインタフェース要素のパンに起因してナビゲーションユーザインタフェース要素の境界(例えば、ナビゲーションユーザインタフェース要素と、ナビゲーションユーザインタフェース要素を囲むように表示されるデバイスの物理的環境の表現との間の境界)に対応するロケーションに現在表示されているオブジェクトの表現の表示を停止する。いくつかの実施形態では、ナビゲーションユーザインタフェース要素をパンしたことに応じて、電子デバイスは、ナビゲーションユーザインタフェース要素を更新して、ナビゲーションユーザインタフェース要素のパンに起因してナビゲーションユーザインタフェース要素の境界内のロケーションに完全に表示されているオブジェクトの表現の表示を開始する。いくつかの実施形態では、電子デバイスは、ナビゲーションユーザインタフェース要素の境界に対応するロケーションに位置する第1のタイプのオブジェクト(例えば、建物、植物)の表現の表示を見合わせ、ナビゲーションユーザインタフェース要素の境界に対応するロケーションに位置する第2のタイプのオブジェクト(例えば、道路、地理的特徴、水域)の表現の一部を表示する。
ナビゲーションユーザインタフェース要素の境界と一致するオブジェクトの表現の表示を偽造する上述の方法は、表示生成コンポーネントを介して電子デバイスによって表示されるコンテンツの量を低減し、これは、(例えば、より少ない表現をレンダリングすることによって)電力使用量を低減し、電子デバイスのバッテリ寿命を改善する。
図7Aのようないくつかの実施形態では、ナビゲーションユーザインタフェース要素(例えば、704a)を表示している間、ナビゲーションユーザインタフェース要素(例えば、704a)は、第1の物理ロケーションに位置する第1の(例えば、物理的)オブジェクトの第1の表現(例えば、710a)と、第2の物理ロケーションに位置する第2の(例えば、物理的)オブジェクトの第2の表現(例えば、710b)とを含み、第1のオブジェクトの第1の表現(例えば、710a)及び第2のオブジェクトの第2の表現(例えば、710b)は、ナビゲーションユーザインタフェース要素(例えば、704a)において三次元で表示され、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素(例えば、704a)によって表される情報に対応する検索を実行する要求に対応する入力を検出する(920a)。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、個別の物理的領域内に位置する物理的オブジェクト(例えば、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴)の三次元表現を含む。いくつかの実施形態では、個別の検索クエリは、個別の物理ロケーション、個別のランドマーク、個別の住所などに対応する。いくつかの実施形態では、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素を検索する要求に対応する入力を検出したことに応じて(920b)、個別の検索クエリが第1のオブジェクトに対応し、第2のオブジェクトに対応しない(例えば、第1のオブジェクトがクエリに一致し、第2のオブジェクトがクエリに一致しない)という判定に従って、電子デバイス(例えば、101)は、図7Gのように、ナビゲーションユーザインタフェース要素(例えば、704b)内に第1のオブジェクトの第1の表現(例えば、710d)を三次元でナビゲーションユーザインタフェース要素(例えば、704b)内に表示し(920c)、第2のオブジェクトの第2の表現の少なくとも一部(例えば、又は全て)を三次元でナビゲーションユーザインタフェース要素(例えば、704b)内に表示することを見合わせる(920c)。いくつかの実施形態では、第2のオブジェクトの第2の表現(及び個別の検索クエリに対応しない他のオブジェクトの表現)は、二次元で表示される。いくつかの実施形態では、電子デバイスは、第2のオブジェクトの第2の表現(及び個別の検索クエリに対応しない他のオブジェクトの表現)の表示を停止する。いくつかの実施形態では、電子デバイスは、第2のオブジェクトの第2の表現(及び個別の検索クエリに対応しない他のオブジェクトの表現)の高さを減少させ、及び/又は第2のオブジェクトの第2の表現(及び個別の検索クエリに対応しない他のオブジェクトの表現)が三次元で表示される程度を低減する。いくつかの実施形態では、電子デバイス(例えば、101)は、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素(例えば、704b)を検索する要求に対応する入力を検出したことに応じて(920b)、個別の検索クエリが第2のオブジェクトに対応し、第1のオブジェクトに対応しない(例えば、第2のオブジェクトがクエリに一致し、第1のオブジェクトがクエリに一致しない)という判定に従って、図7Gのように、ナビゲーションユーザインタフェース要素(例えば、704b)内に第2のオブジェクトの第2の表現(例えば、710d)をナビゲーションユーザインタフェース要素内に三次元で表示し(920d)、ナビゲーションユーザインタフェース要素(例えば、704b)内に第1のオブジェクトの第1の表現の少なくとも一部(又は全て)を三次元で表示することを見合わせる(920d)。いくつかの実施形態では、第1のオブジェクトの第1の表現(及び個別の検索クエリに対応しない他のオブジェクトの表現)は、二次元で表示される。いくつかの実施形態では、電子デバイスは、第1のオブジェクトの第1の表現(及び個別の検索クエリに対応しない他のオブジェクトの表現)の表示を停止する。いくつかの実施形態では、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素を検索する要求に対応する入力を検出する前に、ナビゲーションユーザインタフェース要素内のオブジェクトの表現は二次元で表示され、検索クエリに応じて、電子デバイスは、検索クエリに一致するオブジェクトの表現を三次元で表示するようにナビゲーションユーザインタフェース要素を更新する(例えば、検索クエリに一致しないオブジェクトの表現の表示を二次元で維持する)。いくつかの実施形態では、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素を検索する要求に対応する入力を検出する前に、ナビゲーションユーザインタフェース要素内のオブジェクトの表現は三次元で表示され、検索クエリに応じて、電子デバイスは、検索クエリに一致するオブジェクトの表示表現を三次元で維持する(例えば、検索クエリに一致しないオブジェクトの表現を二次元で表示するようにナビゲーションユーザインタフェース要素を更新する)。
検索クエリに対応するオブジェクトを三次元で表示し、ナビゲーションユーザインタフェース要素において検索クエリに対応しないオブジェクトの三次元表現の表示を停止する上述の方法は、個別の検索クエリに一致するオブジェクトの表現を強調表示する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって(例えば、どのオブジェクトが検索クエリに対応し、どのオブジェクトが対応しないかを判定するために必要な入力の数を低減することによって)、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図7Aのようないくつかの実施形態では、ナビゲーションユーザインタフェース要素(例えば、704a)を表示している間、ナビゲーションユーザインタフェース要素(例えば、704a)は、第1の物理ロケーションに位置する第1の(例えば、物理的)オブジェクトの第1の表現(例えば、710a)と、第2の物理ロケーションに位置する第2の(例えば、物理的)オブジェクトの第2の表現(例えば、710b)とを含み、第1のオブジェクトの第1の表現(例えば、710a)及び第2のオブジェクトの第2の表現(例えば、710b)は、第1の値を有する視覚特性(例えば、色、配色、半透明性、輝度、彩度)で表示され、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素によって表される情報に対応する検索を実行する要求に対応する入力を検出する(922a)。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、第1の色(単数又は複数)で表示される個別の物理的領域内に位置する物理的オブジェクト(例えば、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴)の表現を含む。例えば、表現は、表現に対応するオブジェクトのタイプに対応する色(例えば、第1の色の建物、第2の色の道路、第3の色の植物)で表示される。別の例として、表現は、表現に対応するオブジェクトの色に対応するフルカラーで表示される。いくつかの実施形態では、個別の検索クエリは、個別の物理ロケーション、個別のランドマーク、個別の住所などに対応する。いくつかの実施形態では、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素を検索する要求に対応する入力を検出したことに応じて(922b)、個別の検索クエリが第1のオブジェクトに対応し、第2のオブジェクトに対応しない(例えば、第1のオブジェクトがクエリに一致し、第2のオブジェクトがクエリに一致しない)という判定に従って、電子デバイス(例えば、101)は、図7Gのように、ナビゲーションユーザインタフェース要素(例えば、704b)に、第2の値(例えば、第1の値と同じ又は異なる値)を有する視覚特性を有する第1のオブジェクトの第1の表現(例えば、710d)の少なくとも一部(又は全て)を、ナビゲーションユーザインタフェース要素(例えば、704b)内に表示し(922c)、ナビゲーションユーザインタフェース要素(例えば、704b)に、第2の値とは異なる第3の値(例えば、第1の値と同じ又は異なる値)を有する視覚特性を有する第2のオブジェクトの第2の表現(例えば、710e)の少なくとも一部(又は全て)を表示する(922c)。いくつかの実施形態では、第2のオブジェクトの第2の表現(及び個別の検索クエリに対応しない他のオブジェクトの表現)は、個別の検索クエリに対応する第1のオブジェクトの第1の表現とは異なる色、異なる配色又は設定などで表示される。いくつかの実施形態では、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素を検索する要求に対応する入力を検出したことに応じて(922b)、個別の検索クエリが第1のオブジェクトではなく第2のオブジェクトに対応する(例えば、第2のオブジェクトがクエリに一致し、第1のオブジェクトがクエリに一致しない)という判定に従って、電子デバイス(例えば、101)は、ナビゲーションユーザインタフェース要素(例えば、704b)内に、第2の値(例えば、第1の値と同じか又は異なる)を有する視覚特性を有する第2のオブジェクトの第2の表現(例えば、710d)の少なくとも一部(又は全て)を、ナビゲーションユーザインタフェース要素(例えば、704b)に表示し(922d)、ナビゲーションユーザインタフェース要素(例えば、704b)内に、第3の値(例えば、第1の値と同じか又は異なる)を有する視覚特性を有する第1のオブジェクトの第1の表現(例えば、710e)の少なくとも一部(又は全て)を表示する(922d)。いくつかの実施形態では、第1のオブジェクトの第1の表現(及び個別の検索クエリに対応しない他のオブジェクトの表現)は、個別の検索クエリに対応する第2のオブジェクトの第2の表現とは異なる色、異なる配色又は設定などで表示される。いくつかの実施形態では、電子デバイスは、検索クエリに対応するオブジェクトの表現の色、配色、又は設定などを維持し、検索クエリに対応しないオブジェクトの表現の色、配色、又は設定などを修正する。例えば、電子デバイスは、検索クエリに対応しない表現の彩度又はコントラストを低減するか、又は検索クエリに対応しない表現を所定の色で表示する。いくつかの実施形態では、電子デバイスは、検索クエリに対応しないオブジェクトの表現の色、配色、又は設定などを維持し、検索クエリに対応するオブジェクトの表現の色、配色、又は設定などを修正する。例えば、電子デバイスは、検索クエリに対応するオブジェクトの表現に対して、所定の色を強調する、明るくする、又は使用する。いくつかの実施形態では、電子デバイスは、検索クエリに対応するオブジェクトの表現を、第1の色で、又は検索要求を検出する前にオブジェクトの表現が表示された方法とは異なる第1の配色若しくは設定で表示し、検索クエリに対応しないオブジェクトの表現を、第2の色で、又は検索要求を検出する前にオブジェクトの表現が表示された方法とは異なる第2の配色若しくは設定で表示する。
検索クエリに対応するオブジェクトと検索クエリに対応しないオブジェクトとを異なる値を有する視覚特性を用いてナビゲーションユーザインタフェース要素に表示する上述の方法は、個別の検索クエリに一致するオブジェクトの表現を区別する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にする(例えば、どのオブジェクトが検索クエリに対応し、どのオブジェクトが対応しないかを判定するために必要な入力の数を低減する)ことによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、ナビゲーションユーザインタフェース要素(例えば、図7Aのナビゲーションユーザインタフェース要素704a)を表示している間、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素(例えば、704a)によって表される情報に対応する検索を実行する要求に対応する入力を検出する(924a)。いくつかの実施形態では、個別の検索クエリは、個別の物理ロケーション、個別のランドマーク、個別の住所などに対応する。図7Gなどのいくつかの実施形態では、個別の検索クエリに基づいてナビゲーションユーザインタフェース要素(例えば、704b)を検索する要求に対応する入力を検出したことに応じて(924b)、電子デバイス(例えば、101)は、表示生成コンポーネント(例えば、120)を介して、検索クエリ(例えば、コンテンツ要素内)に対応する物理的オブジェクト(例えば、及び/又はロケーション)の三次元表現(例えば、708e)を表示する(924c)。いくつかの実施形態では、三次元表現は、表現が対応する物理的オブジェクトに対して実際の縮尺である。いくつかの実施形態では、電子デバイスは、物理的オブジェクトの三次元表現と同時に、ナビゲーションユーザインタフェース要素内に物理的オブジェクトのロケーションのインジケーションを表示する。いくつかの実施形態では、電子デバイスは、物理的オブジェクトの三次元表現と同時に物理的オブジェクトに関する情報を表示する。いくつかの実施形態では、電子デバイスは、コンテンツ要素内又はナビゲーションユーザインタフェース要素内のオブジェクトの表現の選択を検出したことに応じて、物理的オブジェクトの三次元表現を表示する。いくつかの実施形態では、三次元表現は、方法800の1つ以上のステップに従って表示される。
検索クエリに対応する物理的オブジェクトの三次元表現を表示する上述の方法は、検索クエリに対応するオブジェクトを識別する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図7Aなどのいくつかの実施形態では、ナビゲーションユーザインタフェース要素(例えば、704a)は、(例えば、三次元で表示された)個別のコンテンツ(例えば、710a、710b)を含む(926a)。いくつかの実施形態では、ナビゲーションユーザインタフェース要素は、物理的領域内の物理的オブジェクト(例えば、建物、ランドマーク、道路、インフラストラクチャ、地理的特徴、地形、水域、植物、自然特徴)の表現を含む。図7Bなどのいくつかの実施形態では、表示される個別のコンテンツを含むナビゲーションユーザインタフェース要素(例えば、704b)を表示している間に、電子デバイスは、1つ以上の入力デバイスを介して、ユーザの既定の部分(例えば、728a)(例えば、指、手、腕、頭など)の移動を検出する(926b)。いくつかの実施形態では、電子デバイスは、ユーザインタフェースを含む三次元環境においてユーザの既定の部分の表現を提示する。いくつかの実施形態では、表現は、電子デバイスの表示生成コンポーネントを介して表示されるユーザの既定の部分の写実的な表現(例えば、ビデオ又は仮想パススルー)である。いくつかの実施形態では、表現は、表示生成コンポーネントの透明部分を通して可視のユーザの既定の部分のビューである(例えば、実際の又は真のパススルー)。図7Bなどのいくつかの実施形態では、ユーザの既定の部分(例えば、728a)の移動を検出したことに応じて(926c)、ユーザの既定の部分(例えば、728a)がナビゲーションユーザインタフェース要素(例えば、704b)内の個別のコンテンツに対応するロケーションにある(例えば、三次元環境内のユーザの既定の部分のロケーションが、三次元環境内の個別のコンテンツのロケーションの閾値距離(例えば、0.1、0.2、0.3、0.5、1、2、3、4、5、10センチメートルなど)と交差するか、又はその範囲内にある)という判定に従って、電子デバイス(例えば、101)は、ナビゲーションユーザインタフェース要素(例えば、704b)内の個別のコンテンツを視覚的デエンファシスする(例えば、表示を停止する、平坦化する、ぼかす、半透明性を増加させる)(926d)。例えば、電子デバイスは、ユーザの既定の部分がコンテンツナビゲーションユーザインタフェース要素内の個別のコンテンツに対応するロケーションにあるという判定に従って、個別のコンテンツを二次元で表示する一方で、ナビゲーションユーザインタフェース要素内の他のコンテンツの三次元での表示を維持する。いくつかの実施形態では、電子デバイスは、方法800の1つ以上のステップに従って、個別のコンテンツに対応するロケーションでユーザの既定の部分を検出したことに応じて、個別のコンテンツを視覚的デエンファシスする。
ユーザの既定の部分がナビゲーションユーザインタフェース要素内の個別のコンテンツに対応するロケーションにあるという判定に従って個別のコンテンツを視覚的デエンファシスする上述の方法は、ユーザの既定の部分の表現の視認性を維持する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって(例えば、ユーザの既定の部分を使用して電子デバイスに入力を提供しながら、ユーザの既定の部分の視覚的なフィードバックをユーザに提供することによって)、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
図7Aなどのいくつかの実施形態では、ナビゲーション要素(例えば、704a)は、ナビゲーションユーザインタフェース要素(例えば、704a)によって表される(例えば、気象状況が発生している、発生した、又は発生すると予測される)個別の物理ロケーションにおける気象状況(例えば、降水、雲、日照、風、霧、霞)のインジケーション(例えば、712)を含み、個別の物理ロケーションにおける気象状況の三次元ロケーションのインジケーション(例えば、712)を含む(928a)。いくつかの実施形態では、インジケーションは、ナビゲーションユーザインタフェース要素内のあるロケーションに表示される気象状況の画像表現である。例えば、個別の物理ロケーションが雨を経験している場合、電子デバイスは、雨を経験している個別の三次元物理ロケーションに対応するナビゲーションユーザインタフェース要素内の三次元ロケーションに、雨雲及び雨の表現を表示する。別の例として、電子デバイスは、雲の三次元物理ロケーションに対応する三次元ロケーションに雲の三次元表現を表示する。例えば、高高度雲の表現は、ナビゲーションユーザインタフェース要素に対応する物理ロケーションの上方の比較的高い高度に対応するポジションに表示された雲の画像であり、低高度雲の表現は、ナビゲーションユーザインタフェース要素に対応する物理ロケーションの上方の比較的低い高度に対応するポジションに表示された雲の画像である。いくつかの実施形態では、ナビゲーションユーザインタフェース要素内の個別の三次元ロケーションにおける個別の気象状況のインジケーションは、気象状況のインジケーション及び物理ロケーションにおける気象状況の三次元ロケーションのインジケーションである。例えば、ナビゲーションユーザインタフェース要素内の第1のロケーションにおける雲のインジケーションは、曇天のインジケーション及び曇天を経験する物理ロケーションのインジケーションであり、ナビゲーションユーザインタフェース要素内の第2のロケーションにおけるスモッグのインジケーションは、スモッグのインジケーション及びスモッグを経験する物理ロケーションのインジケーションである。ナビゲーションユーザインタフェース要素に気象状況のインジケーションを表示する上述の方法は、ナビゲーションユーザインタフェース要素によって表される1つ以上の物理ロケーションにおける気象状況を提示する効率的な方法を提供し、これは、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって(例えば、複数のロケーションにおける気象状況を同時に見るために必要な入力の数を低減することによって)、電力使用量を更に低減し、電子デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、方法800及び900の態様及び/又は動作は、これらの方法の間で交換、置換、及び/又は追加されてもよい。簡潔にするために、それらの詳細はここでは繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。
上述したように、本技術の一態様は、ユーザのXR体験を改善するために、様々なソースから入手可能なデータを収集及び使用することである。本開示は、いくつかの場合には、この収集されたデータが、特定の人を一意に識別する個人情報データ、又は特定の人に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを考察する。そのような個人情報データとしては、人口統計データ、ロケーションベースのデータ、電話番号、電子メールアドレス、ツイッターID、自宅の住所、ユーザの健康若しくはフィットネスのレベルに関するデータ若しくは記録(例えば、バイタルサイン測定値、投薬情報、運動情報)、生年月日、又は任意の他の識別情報若しくは個人情報を挙げることができる。
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データは、ユーザのXR体験を向上させるために使用することができる。更に、ユーザに利益をもたらす個人情報データに関する他の使用も本開示によって意図されている。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスについての洞察を提供するために使用することができ、又は、ウェルネスの目標を追求する技術を使用している個人への、積極的なフィードバックとして使用することもできる。
本開示は、そのような個人情報データの収集、分析、開示、送信、記憶、又は他の使用に関与するエンティティが、確固たるプライバシーポリシー及び/又はプライバシー慣行を遵守するものとなることを想到する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能とするべきであり、データの収集及び/又は使用が変更されるにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更には、そのような収集/共有は、ユーザに告知して同意を得た後に実施されるべきである。その上、そのようなエンティティは、そのような個人情報データへのアクセスを保護及び安全化し、個人情報データへのアクセス権を有する他者が、それらのプライバシーポリシー及び手順を忠実に守ることを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更に、そのようなエンティティは、広く受け入れられているプライバシーポリシー及び慣行に対する自身の遵守を証明するために、サードパーティによる評価を自らが受けることができる。更には、ポリシー及び慣行は、収集及び/又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はそれへのアクセスは、医療保険の相互運用性と説明責任に関する法律(HIPAA)などの、連邦法及び/又は州法に準拠し得る。その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国において、異なる個人データのタイプに関して異なるプライバシー慣行が保たれるべきである。
前述のことがらにも関わらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するために、ハードウェア要素及び/又はソフトウェア要素が提供され得ることを意図している。例えば、XR体験の場合において、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択できるように構成され得る。「オプトイン」及び「オプトアウト」のオプションを提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを意図している。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに知らされ、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
更には、本開示の意図は、個人情報データを、非意図的若しくは許可のないアクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなると削除することにより、リスクを最小化することができる。追加的に、特定の健康関連アプリケーションにおいて適用可能な場合、ユーザのプライバシーを保護するために、データの匿名化を使用することができる。非特定化は、適切な場合には、特定の識別子(例えば、生年月日など)を除去すること、記憶されたデータの量又は特異性を制御すること(例えば、ロケーションデータを住所レベルよりも都市レベルで収集すること)、データがどのように記憶されるかを制御すること(例えば、データをユーザ全体にわたって集約すること)及び/又は他の方法によって、容易にすることができる。
それゆえ、本開示は、1つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものであるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することも可能であることを想到する。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部が欠如することにより、動作不可能にされるものではない。例えば、ユーザに関連付けられたデバイスによって要求されているコンテンツなどの非個人情報データ若しくは必要最小量の個人情報、サービスに利用可能な他の非個人情報、又は公的に入手可能な情報に基づき嗜好を推測することによって、XR体験を生成できる。
Claims (49)
- 方法であって、
表示生成コンポーネント及び1つ以上の入力デバイスと通信する電子デバイスにおいて、
前記表示生成コンポーネントを介して、ユーザインタフェースであって、
第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツであって、三次元環境内の第1の個別のロケーションに表示される、第1の個別のコンテンツと、
前記第1の物理ロケーションに対応する第1のロケーションが指定されたナビゲーションユーザインタフェース要素であって、前記第1の個別のコンテンツが表示される前記第1の個別のロケーションと前記三次元環境内のユーザの視点との間で前記三次元環境内に表示される、ナビゲーションユーザインタフェース要素と、を含む、ユーザインタフェースを含む前記三次元環境を表示することと、
前記表示生成コンポーネントを介して、前記ユーザインタフェース及び前記ナビゲーションユーザインタフェース要素を表示している間に、前記1つ以上の入力デバイスを介して、第2の物理ロケーションに対応する第2のロケーションを指定する要求に対応するユーザ入力を検出することと、
前記ユーザ入力を検出したことに応じて、前記第2の物理ロケーションの第2のビューに対応する第2の個別のコンテンツを含むように前記ユーザインタフェースを更新することと、を含む、方法であって、前記第2の個別のコンテンツは、前記三次元環境内の前記第1の個別のロケーションに表示される、方法。 - 前記三次元環境が、前記電子デバイスの物理的環境における表面の表現を含み、
前記ナビゲーションユーザインタフェース要素が、前記表面の前記表現に対応する前記三次元環境内のロケーションに表示される、請求項1に記載の方法。 - 前記ナビゲーションユーザインタフェース要素が、前記電子デバイスの物理的環境内の表面に対応しない前記三次元環境内のロケーションに表示される、請求項1又は2に記載の方法。
- 前記第1の個別のコンテンツが、前記電子デバイスの物理的環境の表現によって囲まれ、前記第1の個別のコンテンツと前記電子デバイスの前記物理的環境の前記表現との間の境界が、前記第1の個別のコンテンツと前記電子デバイスの前記物理的環境の前記表現との間の漸進的な視覚的遷移を含む、請求項1から3のいずれか一項に記載の方法。
- 前記第1の物理ロケーションの前記第1のビューに対応する前記第1の個別のコンテンツが、前記電子デバイスの物理的環境の表現と同時に表示され、前記表示生成コンポーネントの表示エリアの第1の部分を占有し、前記方法が、
前記表示生成コンポーネントを介して、前記物理的環境の前記表現と同時に前記表示エリアの前記第1の部分を占有する前記第1の物理ロケーションの前記第1のビューに対応する前記第1の個別のコンテンツを表示している間に、前記1つ以上の入力デバイスを介して、前記物理的環境の前記表現の表示を覆い隠す要求に対応する個別の入力を検出することと、
前記個別の入力を検出したことに応じて、前記物理的環境の前記表現の表示を覆い隠すことと、を更に含み、覆い隠すことは、
前記第1の物理ロケーションの前記第1のビューよりも大きい第2のビューに対応し、
前記表示生成コンポーネントの前記表示エリアの、前記第1の部分よりも大きい第2の部分を占有するように、前記第1の個別のコンテンツを更新することを含む、請求項1から4のいずれか一項に記載の方法。 - 前記第1の物理ロケーションの前記第1のビューに対応する前記第1の個別のコンテンツを表示している間に、前記1つ以上の入力デバイスを介して、前記三次元環境における前記電子デバイスの前記ユーザの前記視点の移動を検出することと、
前記三次元環境における前記電子デバイスの前記ユーザの前記視点の前記移動を検出したことに応じて、前記ユーザの前記視点の前記移動が検出されたときに前記ユーザの視線が前記第1の個別のコンテンツに向けられたという判定に従って、前記ユーザの前記視点の前記移動に従って、前記第1の個別のコンテンツに対応する前記第1の物理ロケーションの前記第1のビューの表示を、シミュレートされた視差効果で更新することと、を更に含む、請求項1から5のいずれか一項に記載の方法。 - 前記第1の物理ロケーションの前記第1のビューに対応する前記第1の個別のコンテンツを表示している間に、前記1つ以上の入力デバイスを介して、前記電子デバイスの移動を検出することと、
前記電子デバイスの前記移動を検出したことに応じて、前記電子デバイスの前記移動が1つ以上の基準を満たすという判定に従って、前記表示生成コンポーネントを介して、前記第1の物理ロケーションに対応する追加コンテンツを表示することと、を更に含む、請求項1から6のいずれか一項に記載の方法。 - 前記第1の物理ロケーションの前記第1のビューに対応する前記第1の個別のコンテンツを表示している間に、前記1つ以上の入力デバイスを介して、前記ユーザインタフェース内に表示された選択可能なユーザインタフェース要素に向けられた入力を検出することと、
前記選択可能なユーザインタフェース要素に向けられた前記入力を検出したことに応じて、個別の物理ロケーションの個別のビューに対応する第3の個別のコンテンツを表示することと、を更に含み、前記第3の個別のコンテンツは、前記三次元環境内の前記第1の個別のロケーションに表示される、請求項1から7のいずれか一項に記載の方法。 - 前記第1の物理ロケーションの前記第1のビューに対応する前記第1の個別のコンテンツを表示している間に、前記三次元環境に対する前記電子デバイスの移動を検出することと、
前記三次元環境に対する前記電子デバイスの前記移動が1つ以上の基準を満たすという判定に従って、前記表示生成コンポーネントを介して、前記第1の物理ロケーションに対応する追加コンテンツを表示することと、
前記三次元環境に対する前記電子デバイスの前記移動が前記1つ以上の基準を満たさないという判定に従って、前記第1の物理ロケーションに対応する前記追加コンテンツの表示を見合わせることと、を更に含む、請求項1から8のいずれか一項に記載の方法。 - 前記1つ以上の基準が、前記電子デバイスの向きの変化に基づいて満たされる基準、及び/又は前記ユーザの視線が前記三次元環境内の1つ以上のそれぞれのオブジェクトに向けられているかどうかに基づいて満たされる基準を含む、請求項9に記載の方法。
- 前記表示生成コンポーネントの表示エリアの第1の部分を占有する前記第1の個別のコンテンツを表示している間に、アイトラッキングデバイスを介して、所定の時間閾値を超える時間量の間、前記ユーザの視線が前記第1の個別のコンテンツに向けられたことを検出することと、
前記ユーザの前記視線が所定の時間閾値を超える時間量にわたって前記第1の個別のコンテンツに向けられたことを検出したことに応じて、前記表示生成コンポーネントの前記表示エリアの、前記第1の部分よりも大きい第2の部分を占有するように前記第1の個別のコンテンツを更新することと、を更に含む、請求項1から10のいずれか一項に記載の方法。 - 前記第1の個別のコンテンツを表示している間に、前記ナビゲーションユーザインタフェース要素内に、前記第1の個別のコンテンツに対応する前記第1の物理ロケーションの視野のインジケーションを表示することを更に含み、
前記第1の個別のコンテンツが前記表示生成コンポーネントの前記表示エリアの前記第1の部分を占有している間、前記視野の前記インジケーションが第1の視野を示し、
前記第1の個別のコンテンツが前記表示生成コンポーネントの前記表示エリアの前記第2の部分を占有している間、前記視野の前記インジケーションは、前記第1の視野よりも大きい第2の視野を示す、請求項11に記載の方法。 - 前記第1の個別のコンテンツが、第1の向きを有する第1の視野に対応し、前記方法が、
前記第1の個別のコンテンツを表示し、前記ナビゲーションユーザインタフェース要素において前記第1の視野のインジケーションを表示している間に、前記1つ以上の入力デバイスを介して、第2の向きを有する第2の視野に対応する第3の個別のコンテンツを表示する要求に対応する入力を検出することと、
前記第2の向きを有する前記第2の視野に対応する前記第3の個別のコンテンツを表示するための前記要求に対応する前記入力の検出に応じて、
前記表示生成コンポーネントを介して、前記第3の個別のコンテンツを表示することと、
前記ナビゲーションユーザインタフェース要素において、前記第1の視野の前記インジケーションを前記第2の視野のインジケーションとなるように更新することと、を更に含む、請求項1から12のいずれか一項に記載の方法。 - 前記電子デバイスの物理的環境が、前記電子デバイスの前記物理的環境内の前記電子デバイスの周囲の遮られていない空間の量に基づいて満たされる基準を含む1つ以上の基準を満たすという判定に従って、前記ナビゲーションユーザインタフェース要素を前記三次元環境内に第1のサイズで表示することと、
前記電子デバイスの前記物理的環境が前記1つ以上の基準を満たさないという判定に従って、前記三次元環境において、前記第1のサイズとは異なる第2のサイズで前記ナビゲーションユーザインタフェース要素を表示することと、を更に含む、請求項1から13のいずれか一項に記載の方法。 - 前記ナビゲーション要素が、前記三次元環境において三次元で表示される第1の個別の部分と、前記三次元環境において二次元で表示される第2の個別の部分とを含み、前記第1の個別の部分が、前記第2の個別の部分よりも前記ユーザの前記視点に近い、請求項1から14のいずれか一項に記載の方法。
- 前記第1の個別のコンテンツを表示する間に、
前記ナビゲーションユーザインタフェース要素が、前記第1の物理ロケーションを含む第1の物理的領域に対応し、
前記ナビゲーションユーザインタフェース要素が、前記第1の物理的領域の地形のインジケーションを含む、請求項1から15のいずれか一項に記載の方法。 - 前記ナビゲーションユーザインタフェース要素は、三次元で表示される個別のコンテンツを含み、前記方法が、
三次元で表示された前記個別のコンテンツを含む前記ナビゲーションユーザインタフェース要素を表示している間に、前記1つ以上の入力デバイスを介して、前記ユーザの既定の部分の移動を検出することと、
前記ユーザの前記既定の部分の前記移動の検出に応じて、
前記ユーザの前記既定の部分が、前記ナビゲーションユーザインタフェース要素内に三次元で表示された前記個別のコンテンツに対応するロケーションにあるという判定に従って、三次元で表示された前記個別のコンテンツを視覚的デエンファシス するように前記ナビゲーションユーザインタフェース要素を更新することと、を更に含む、請求項1から16のいずれか一項に記載の方法。 - 前記ナビゲーションユーザインタフェース要素内に、第2の電子デバイスの個別の物理ロケーションに対応する前記ナビゲーションユーザインタフェース要素内の個別のロケーションに表示された前記第2の電子デバイスのインジケーションを表示することと、
前記第2の電子デバイスの前記インジケーションを前記ナビゲーションユーザインタフェース要素に表示している間に、前記1つ以上の入力デバイスを介して、前記第2の電子デバイスの前記インジケーションの選択を検出することと、
前記第2の電子デバイスの前記インジケーションの前記選択を検出したことに応じて、前記表示生成コンポーネントを介して、前記第2の電子デバイスの前記個別の物理ロケーションの前記第2の電子デバイスによってキャプチャされたコンテンツを表示することと、を更に含む、請求項1から17のいずれか一項に記載の方法。 - 前記第1の個別のコンテンツが、前記第1の物理ロケーションに位置するオブジェクトの二次元表現を含み、前記方法が、
前記オブジェクトの前記二次元表現と前記オブジェクトの三次元表現とを含む前記第1の個別のコンテンツを同時に表示することを更に含む、請求項1から18のいずれか一項に記載の方法。 - 電子デバイスであって、
1つ以上のプロセッサと、
メモリと、
1つ以上のプログラムと、を備える、電子デバイスであって、前記1つ以上のプログラムは前記メモリに記憶され、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムは、
表示生成コンポーネントを介して、ユーザインタフェースであって、
第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツであって、三次元環境内の第1の個別のロケーションに表示される、第1の個別のコンテンツと、
前記第1の物理ロケーションに対応する第1のロケーションが指定されたナビゲーションユーザインタフェース要素であって、前記第1の個別のコンテンツが表示される前記第1の個別のロケーションと前記三次元環境内のユーザの視点との間で前記三次元環境内に表示される、ナビゲーションユーザインタフェース要素と、を含む、ユーザインタフェースを含む前記三次元環境を表示し、
前記表示生成コンポーネントを介して、前記ユーザインタフェース及び前記ナビゲーションユーザインタフェース要素を表示している間に、1つ以上の入力デバイスを介して、第2の物理ロケーションに対応する第2のロケーションを指定する要求に対応するユーザ入力を検出し、
前記ユーザ入力を検出したことに応じて、前記第2の物理ロケーションの第2のビューに対応する第2の個別のコンテンツを含むように前記ユーザインタフェースを更新する、命令を含む、電子デバイスであって、前記第2の個別のコンテンツが、前記三次元環境内の前記第1の個別のロケーションに表示される、電子デバイス。 - 1つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの1つ以上のプロセッサによって実行されると、前記電子デバイスに、
表示生成コンポーネントを介して、ユーザインタフェースであって、
第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツであって、三次元環境内の第1の個別のロケーションに表示される、第1の個別のコンテンツと、
前記第1の物理ロケーションに対応する第1のロケーションが指定されたナビゲーションユーザインタフェース要素であって、前記第1の個別のコンテンツが表示される前記第1の個別のロケーションと前記三次元環境内のユーザの視点との間で前記三次元環境内に表示される、ナビゲーションユーザインタフェース要素と、を含む、ユーザインタフェースを含む前記三次元環境を表示することと、
前記表示生成コンポーネントを介して、前記ユーザインタフェース及び前記ナビゲーションユーザインタフェース要素を表示している間に、1つ以上の入力デバイスを介して、第2の物理ロケーションに対応する第2のロケーションを指定する要求に対応するユーザ入力を検出することと、
前記ユーザ入力を検出したことに応じて、前記第2の物理ロケーションの第2のビューに対応する第2の個別のコンテンツを含むように前記ユーザインタフェースを更新することと、を含む、命令を実行させる、非一時的コンピュータ可読記憶媒体であって、前記第2の個別のコンテンツは、前記三次元環境内の前記第1の個別のロケーションに表示される、非一時的コンピュータ可読記憶媒体。 - 電子デバイスであって、
1つ以上のプロセッサと、
メモリと、
表示生成コンポーネントを介して、ユーザインタフェースであって、
第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツであって、三次元環境内の第1の個別のロケーションに表示される、第1の個別のコンテンツと、
前記第1の物理ロケーションに対応する第1のロケーションが指定されたナビゲーションユーザインタフェース要素であって、前記第1の個別のコンテンツが表示される前記第1の個別のロケーションと前記三次元環境内のユーザの視点との間で前記三次元環境内に表示される、ナビゲーションユーザインタフェース要素と、を含む、ユーザインタフェースを含む前記三次元環境を表示する表示する手段と、
前記表示生成コンポーネントを介して、前記ユーザインタフェース及び前記ナビゲーションユーザインタフェース要素を表示している間に、1つ以上の入力デバイスを介して、第2の物理ロケーションに対応する第2のロケーションを指定する要求に対応するユーザ入力を検出する手段と、
前記ユーザ入力を検出したことに応じて、前記第2の物理ロケーションの第2のビューに対応する第2の個別のコンテンツを含むように前記ユーザインタフェースを更新する手段と、を備える、電子デバイスであって、前記第2の個別のコンテンツは、前記三次元環境内の前記第1の個別のロケーションに表示される、電子デバイス。 - 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
表示生成コンポーネントを介して、ユーザインタフェースをであって、
第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツであって、三次元環境内の第1の個別のロケーションに表示される、第1の個別のコンテンツと、
前記第1の物理ロケーションに対応する第1のロケーションが指定されたナビゲーションユーザインタフェース要素であって、前記第1の個別のコンテンツが表示される前記第1の個別のロケーションと前記三次元環境内のユーザの視点との間で前記三次元環境内に表示される、ナビゲーションユーザインタフェース要素と、を含む、ユーザインタフェースを含む前記三次元環境を表示する手段と、
前記表示生成コンポーネントを介して、前記ユーザインタフェース及び前記ナビゲーションユーザインタフェース要素を表示している間に、1つ以上の入力デバイスを介して、第2の物理ロケーションに対応する第2のロケーションを指定する要求に対応するユーザ入力を検出する手段と、
前記ユーザ入力を検出したことに応じて、前記第2の物理ロケーションの第2のビューに対応する第2の個別のコンテンツを含むように前記ユーザインタフェースを更新する手段と、を備える、情報処理装置であって、前記第2の個別のコンテンツは、前記三次元環境内の前記第1の個別のロケーションに表示される、情報処理装置。 - 電子デバイスであって、
1つ以上のプロセッサと、
メモリと、
1つ以上のプログラムと、を備え、前記1つ以上のプログラムが、前記メモリに記憶され、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、請求項1から19のいずれか一項に記載の方法を実行する、命令を含む、電子デバイス。 - 1つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの1つ以上のプロセッサによって実行されると、前記電子デバイスに、請求項1から19のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
- 電子デバイスであって、
1つ以上のプロセッサと、
メモリと、
請求項1から19のいずれか一項に記載の方法を実行する手段と、を備える、電子デバイス。 - 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
請求項1から19のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。 - 方法であって、
表示生成コンポーネント及び1つ以上の入力デバイスと通信する電子デバイスにおいて、
前記表示生成コンポーネントを介して、ユーザインタフェースであって、
第1の物理ロケーションに対応する第1のロケーションを有するナビゲーションユーザインタフェース要素と、
前記第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツを含むコンテンツ要素であって、第1の視覚的顕著性で表示されるコンテンツ要素と、を含む、ユーザインタフェースを表示することと、
前記表示生成コンポーネントを介して、前記第1の視覚的顕著性を有する前記コンテンツ要素を表示している間に、前記1つ以上の入力デバイスを介して、第2の物理ロケーションに対応する第2のロケーションを指定する要求に対応するユーザ入力を検出することと、
前記ユーザ入力を検出したことに応じて、前記コンテンツ要素において、前記第1のロケーションと前記第2のロケーションとの間の1つ以上のロケーションの表現を、前記第1の視覚的顕著性に対して低減された視覚的顕著性で表示することを含む、前記第1のロケーションから前記第2のロケーションへのナビゲーションを表示することと、
前記第1のロケーションから前記第2のロケーションへのナビゲーションを表示した後に、前記第1の視覚的顕著性に対する前記低減された視覚的顕著性よりも大きい視覚的顕著性で、前記コンテンツ要素内の前記第2の物理ロケーションの第2のビューに対応する第2の個別のコンテンツを表示することと、を含む、方法。 - 前記低減された視覚的顕著性を有する前記コンテンツ要素を表示することが、前記低減された視覚的顕著性を有する前記コンテンツ要素の全体を表示することを含む、請求項28に記載の方法。
- 前記低減された視覚的顕著性を有する前記コンテンツ要素を表示することが、前記低減された視覚的顕著性を有する前記コンテンツ要素の第2の領域を囲む前記コンテンツ要素の第1の領域を表示することと、前記第1の視覚的顕著性を有する前記コンテンツ要素の前記第2の領域を表示することと、を含む、請求項28に記載の方法。
- 前記第1の視覚的顕著性で前記コンテンツ要素を表示している間で、かつ前記第2の物理ロケーションに対応する前記第2のロケーションを指定するための前記要求に対応する前記ユーザ入力を検出する前に、第2の視覚的顕著性で前記ナビゲーションユーザインタフェース要素の少なくとも一部を表示することと、
前記ユーザ入力を検出する間、及び前記第1の視覚的顕著性に対して低減された視覚的顕著性で前記コンテンツ要素を表示する間に、前記第2の視覚的顕著性に対して前記低減された視覚的顕著性で前記ナビゲーションユーザインタフェース要素の前記少なくとも一部を表示することと、を更に含む、請求項28から30のいずれか一項に記載の方法。 - 前記第1のロケーションから前記第2のロケーションへの前記ナビゲーションを表示した後、かつ前記第1の視覚的顕著性に対する前記低減された視覚的顕著性よりも大きい前記視覚的顕著性で前記コンテンツ要素を表示している間に、前記第2の視覚的顕著性に対する前記低減された視覚的顕著性よりも大きい視覚的顕著性で前記ナビゲーションユーザインタフェース要素を表示することを更に含む、請求項31に記載の方法。
- 前記第2のロケーションを指定するための前記要求に対応する前記ユーザ入力を検出することが、
アイトラッキングデバイスを介して、前記電子デバイスのユーザの視線が前記ナビゲーションユーザインタフェース要素に向けられていることを検出することと、
前記1つ以上の入力デバイスを介して、前記電子デバイスの前記ユーザの既定の部分のジェスチャが1つ以上の基準を満たすことを検出することと、を含む、請求項28から32のいずれか一項に記載の方法。 - 前記第1のロケーションから前記第2のロケーションへの前記ナビゲーションを前記コンテンツ要素内に表示している間に、前記第1のロケーションから前記第2のロケーションへのナビゲーションの対応するアニメーションを前記ナビゲーションユーザインタフェース要素内に表示することを更に含む、請求項28から33のいずれか一項に記載の方法。
- 前記ユーザインタフェースに、第1の個別の物理ロケーションから第2の個別の物理ロケーションへのナビゲーション経路のプレビューを表示するために選択可能な選択可能なオプションを表示することと、
前記選択可能なオプションの選択の検出に応じて、
前記コンテンツ要素において、前記ナビゲーション経路をナビゲートすることに対応するビューのアニメーションを表示することと、
前記ナビゲーションユーザインタフェース要素において、前記ナビゲーション経路をナビゲートすることの対応するインジケーションを表示することと、を更に含む、請求項28から34のいずれか一項に記載の方法。 - 前記ナビゲーションユーザインタフェース要素が、前記ナビゲーションユーザインタフェース要素に対応するそれぞれの物理ロケーションに位置するそれぞれのオブジェクトの1つ以上の表現を含み、前記方法が、
前記ナビゲーションユーザインタフェース要素を表示している間に、
前記ナビゲーションユーザインタフェース要素の境界が前記それぞれのオブジェクトの前記1つ以上の表現のうちの個別の1つと一致するとの判定に従って、前記ナビゲーションユーザインタフェース要素における前記それぞれのオブジェクトの前記1つ以上の表現のうちの前記個別の1つの表示を見合わせることを更に含む、請求項28から35のいずれか一項に記載の方法。 - 前記ナビゲーションユーザインタフェース要素を表示している間に、前記ナビゲーションユーザインタフェース要素が、第1の物理ロケーションに位置する第1のオブジェクトの第1の表現と、第2の物理ロケーションに位置する第2のオブジェクトの第2の表現と、を含み、前記第1のオブジェクトの前記第1の表現及び前記第2のオブジェクトの前記第2の表現が、前記ナビゲーションユーザインタフェース要素において三次元で表示され、前記1つ以上の入力デバイスを介して、個別の検索クエリに基づいて前記ナビゲーションユーザインタフェース要素によって表される情報に対応する検索を実行する要求に対応する入力を検出することと、
個別の検索クエリに基づいて前記ナビゲーションユーザインタフェース要素を検索する前記要求に対応する前記入力を検出したことに応じて、
前記個別の検索クエリが前記第1のオブジェクトに対応し、前記第2のオブジェクトに対応しないという判定に従って、前記ナビゲーションユーザインタフェース要素内に、前記第1のオブジェクトの前記第1の表現を前記ナビゲーションユーザインタフェース要素内に三次元で表示し、前記第2のオブジェクトの前記第2の表現の少なくとも一部を前記ナビゲーションユーザインタフェース要素内に三次元で表示することを見合わせることと、
前記個別の検索クエリが前記第2のオブジェクトに対応し、前記第1のオブジェクトに対応しないという判定に従って、前記ナビゲーションユーザインタフェース要素内に、前記第2のオブジェクトの前記第2の表現を前記ナビゲーションユーザインタフェース要素内に三次元で表示し、前記第1のオブジェクトの前記第1の表現の少なくとも一部を前記ナビゲーションユーザインタフェース要素内に三次元で表示することを見合わせることと、を更に含む、請求項28から36のいずれか一項に記載の方法。 - 前記ナビゲーションユーザインタフェース要素を表示している間に、前記ナビゲーションユーザインタフェース要素が、第1の物理ロケーションに位置する第1のオブジェクトの第1の表現と、第2の物理ロケーションに位置する第2のオブジェクトの第2の表現と、を含み、前記第1のオブジェクトの前記第1の表現及び前記第2のオブジェクトの前記第2の表現が、第1の値を有する視覚特性で表示され、前記1つ以上の入力デバイスを介して、個別の検索クエリに基づいて前記ナビゲーションユーザインタフェース要素によって表される情報に対応する検索を実行する要求に対応する入力を検出することと、
個別の検索クエリに基づいて前記ナビゲーションユーザインタフェース要素を検索する前記要求に対応する前記入力を検出したことに応じて、
前記個別の検索クエリが前記第1のオブジェクトに対応し、前記第2のオブジェクトに対応しないという判定に従って、前記ナビゲーションユーザインタフェース要素において、第2の値を有する前記視覚特性を有する前記第1のオブジェクトの前記第1の表現の少なくとも一部を前記ナビゲーションユーザインタフェース要素に表示し、前記第2の値とは異なる第3の値を有する前記視覚特性を有する前記第2のオブジェクトの前記第2の表現の少なくとも一部を前記ナビゲーションユーザインタフェース要素に表示することと、
前記個別の検索クエリが前記第1のオブジェクトではなく前記第2のオブジェクトに対応するという判定に従って、前記ナビゲーションユーザインタフェース要素内に、前記第2の値を有する前記視覚特性を有する前記第2のオブジェクトの前記第2の表現の少なくとも一部を前記ナビゲーションユーザインタフェース要素内に表示し、前記第3の値を有する前記視覚特性を有する前記第1のオブジェクトの前記第1の表現の少なくとも一部を前記ナビゲーションユーザインタフェース要素内に表示することと、を更に含む、請求項28から37のいずれか一項に記載の方法。 - 前記ナビゲーションユーザインタフェース要素を表示している間に、前記1つ以上の入力デバイスを介して、個別の検索クエリに基づいて前記ナビゲーションユーザインタフェース要素によって表される情報に対応する検索を実行する要求に対応する入力を検出することと、
前記個別の検索クエリに基づいて前記ナビゲーションユーザインタフェース要素を検索する前記要求に対応する前記入力を検出したことに応じて、
前記表示生成コンポーネントを介して、前記検索クエリに対応する物理的オブジェクトの三次元表現を表示することと、を更に含む、請求項28から38のいずれか一項に記載の方法。 - 前記ナビゲーションユーザインタフェース要素が個別のコンテンツを含み、前記方法が、
前記表示された個別のコンテンツを含む前記ナビゲーションユーザインタフェース要素を表示している間に、前記1つ以上の入力デバイスを介して、前記ユーザの既定の部分の移動を検出することと、
前記ユーザの前記既定の部分の前記移動の検出に応じて、
前記ユーザの前記既定の部分が前記ナビゲーションユーザインタフェース要素内の前記個別のコンテンツに対応するロケーションにあるという判定に従って、前記ナビゲーションユーザインタフェース要素内の前記個別のコンテンツを視覚的デエンファシスすることと、を更に含む、請求項28から39のいずれか一項に記載の方法。 - 前記ナビゲーション要素が、前記ナビゲーションユーザインタフェース要素によって表される個別の物理ロケーションにおける気象状況のインジケーションを含み、前記個別の物理ロケーションにおける前記気象状況の三次元ロケーションのインジケーションを含む、請求項28から40のいずれか一項に記載の方法。
- 電子デバイスであって、
1つ以上のプロセッサと、
メモリと、
1つ以上のプログラムと、を備える、電子デバイスであって、前記1つ以上のプログラムは前記メモリに記憶され、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムは、
表示生成コンポーネントを介して、ユーザインタフェースであって、
第1の物理ロケーションに対応する第1のロケーションを有するナビゲーションユーザインタフェース要素と、
前記第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツを含むコンテンツ要素であって、第1の視覚的顕著性で表示されるコンテンツ要素と、を含む、ユーザインタフェースを表示することと、
前記表示生成コンポーネントを介して、前記第1の視覚的顕著性を有する前記コンテンツ要素を表示している間に、1つ以上の入力デバイスを介して、第2の物理ロケーションに対応する第2のロケーションを指定する要求に対応するユーザ入力を検出し、
前記ユーザ入力を検出したことに応じて、前記コンテンツ要素において、前記第1のロケーションと前記第2のロケーションとの間の1つ以上のロケーションの表現を、前記第1の視覚的顕著性に対して低減された視覚的顕著性で表示することを含む、前記第1のロケーションから前記第2のロケーションへのナビゲーションを表示すし、
前記第1のロケーションから前記第2のロケーションへのナビゲーションを表示した後に、前記第1の視覚的顕著性に対する前記低減された視覚的顕著性よりも大きい視覚的顕著性で、前記コンテンツ要素内の前記第2の物理ロケーションの第2のビューに対応する第2の個別のコンテンツを表示する、命令を含む、電子デバイス。 - 1つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの1つ以上のプロセッサによって実行されると、前記電子デバイスに、
表示生成コンポーネントを介して、ユーザインタフェースであって、
第1の物理ロケーションに対応する第1のロケーションを有するナビゲーションユーザインタフェース要素と、
前記第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツを含むコンテンツ要素であって、第1の視覚的顕著性で表示されるコンテンツ要素と、を含む、ユーザインタフェースを表示することと、
前記表示生成コンポーネントを介して、前記第1の視覚的顕著性を有する前記コンテンツ要素を表示している間に、1つ以上の入力デバイスを介して、第2の物理ロケーションに対応する第2のロケーションを指定する要求に対応するユーザ入力を検出することと、
前記ユーザ入力を検出したことに応じて、前記コンテンツ要素において、前記第1のロケーションと前記第2のロケーションとの間の1つ以上のロケーションの表現を、前記第1の視覚的顕著性に対して低減された視覚的顕著性で表示することを含む、前記第1のロケーションから前記第2のロケーションへのナビゲーションを表示することと、
前記第1のロケーションから前記第2のロケーションへのナビゲーションを表示した後に、前記第1の視覚的顕著性に対する前記低減された視覚的顕著性よりも大きい視覚的顕著性で、前記コンテンツ要素内の前記第2の物理ロケーションの第2のビューに対応する第2の個別のコンテンツを表示することと、を含む方法を実行させる、非一時的コンピュータ可読記憶媒体。 - 電子デバイスであって、
1つ以上のプロセッサと、
メモリと、
表示生成コンポーネントを介して、ユーザインタフェースであって、
第1の物理ロケーションに対応する第1のロケーションを有するナビゲーションユーザインタフェース要素と、
前記第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツを含むコンテンツ要素であって、第1の視覚的顕著性で表示されるコンテンツ要素と、を含む、ユーザインタフェースを表示する手段と、
前記表示生成コンポーネントを介して、前記第1の視覚的顕著性を有する前記コンテンツ要素を表示している間に、1つ以上の入力デバイスを介して、第2の物理ロケーションに対応する第2のロケーションを指定する要求に対応するユーザ入力を検出する手段と、
前記ユーザ入力を検出したことに応じて、前記コンテンツ要素において、前記第1のロケーションと前記第2のロケーションとの間の1つ以上のロケーションの表現を、前記第1の視覚的顕著性に対して低減された視覚的顕著性で表示する、前記第1のロケーションから前記第2のロケーションへのナビゲーションを表示し、
前記第1のロケーションから前記第2のロケーションへのナビゲーションを表示した後に、前記第1の視覚的顕著性に対する前記低減された視覚的顕著性よりも大きい視覚的顕著性で、前記コンテンツ要素内の前記第2の物理ロケーションの第2のビューに対応する第2の個別のコンテンツを表示する、手段と、を備ええる、電子デバイス。 - 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
表示生成コンポーネントを介して、ユーザインタフェースであって、
第1の物理ロケーションに対応する第1のロケーションを有するナビゲーションユーザインタフェース要素と、
前記第1の物理ロケーションの第1のビューに対応する第1の個別のコンテンツを含むコンテンツ要素であって、第1の視覚的顕著性で表示されるコンテンツ要素と、を含む、ユーザインタフェースを表示する手段と、
前記表示生成コンポーネントを介して、前記第1の視覚的顕著性を有する前記コンテンツ要素を表示している間に、1つ以上の入力デバイスを介して、第2の物理ロケーションに対応する第2のロケーションを指定する要求に対応するユーザ入力を検出することと、
前記ユーザ入力を検出したことに応じて、前記コンテンツ要素において、前記第1のロケーションと前記第2のロケーションとの間の1つ以上のロケーションの表現を、前記第1の視覚的顕著性に対して低減された視覚的顕著性で表示することを含む、前記第1のロケーションから前記第2のロケーションへのナビゲーションを表示し、
前記第1のロケーションから前記第2のロケーションへのナビゲーションを表示した後に、前記第1の視覚的顕著性に対する前記低減された視覚的顕著性よりも大きい視覚的顕著性で、前記コンテンツ要素内の前記第2の物理ロケーションの第2のビューに対応する第2の個別のコンテンツを表示することと、を備える、情報処理装置。 - 電子デバイスであって、
1つ以上のプロセッサと、
メモリと、
1つ以上のプログラムと、を備え、前記1つ以上のプログラムが、前記メモリに記憶され、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、請求項28から41のいずれか一項に記載の方法を実行する命令を含む、電子デバイス。 - 1つ以上のプログラムを記憶している非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの1つ以上のプロセッサによって実行されると、前記電子デバイスに、請求項28から41のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
- 電子デバイスであって、
1つ以上のプロセッサと、
メモリと、
請求項28から41のいずれか一項に記載の方法を実行する手段と、を備える、電子デバイス。 - 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
請求項28から41のいずれか一項に記載の方法を実行する手段を含む、情報処理装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202163164296P | 2021-03-22 | 2021-03-22 | |
US63/164,296 | 2021-03-22 | ||
PCT/US2022/071228 WO2022204664A1 (en) | 2021-03-22 | 2022-03-18 | Devices, methods, and graphical user interfaces for maps |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024512040A true JP2024512040A (ja) | 2024-03-18 |
Family
ID=81308040
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023558415A Pending JP2024512040A (ja) | 2021-03-22 | 2022-03-18 | マップのためのデバイス、方法、及びグラフィカルユーザインタフェース |
Country Status (6)
Country | Link |
---|---|
US (1) | US20220301264A1 (ja) |
EP (1) | EP4295219A1 (ja) |
JP (1) | JP2024512040A (ja) |
KR (1) | KR20230158505A (ja) |
CN (2) | CN118519521A (ja) |
WO (1) | WO2022204664A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230158505A (ko) * | 2021-03-22 | 2023-11-20 | 애플 인크. | 맵들을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 |
US20220345591A1 (en) * | 2021-04-22 | 2022-10-27 | David Shau | Underwater Camera Operations |
Family Cites Families (27)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA2669409C (en) * | 2006-11-13 | 2019-09-17 | Everyscape, Inc. | Method for scripting inter-scene transitions |
JP2010512693A (ja) * | 2006-12-07 | 2010-04-22 | アダックス,インク. | データの付加、記録および通信のためのシステムと方法 |
US9164975B2 (en) * | 2008-06-24 | 2015-10-20 | Monmouth University | System and method for viewing and marking maps |
US8400548B2 (en) * | 2010-01-05 | 2013-03-19 | Apple Inc. | Synchronized, interactive augmented reality displays for multifunction devices |
US8436872B2 (en) * | 2010-02-03 | 2013-05-07 | Oculus Info Inc. | System and method for creating and displaying map projections related to real-time images |
US20130263016A1 (en) * | 2012-03-27 | 2013-10-03 | Nokia Corporation | Method and apparatus for location tagged user interface for media sharing |
US9135751B2 (en) * | 2012-06-05 | 2015-09-15 | Apple Inc. | Displaying location preview |
US9886795B2 (en) * | 2012-09-05 | 2018-02-06 | Here Global B.V. | Method and apparatus for transitioning from a partial map view to an augmented reality view |
US9437047B2 (en) * | 2014-01-15 | 2016-09-06 | Htc Corporation | Method, electronic apparatus, and computer-readable medium for retrieving map |
US10061486B2 (en) * | 2014-11-05 | 2018-08-28 | Northrop Grumman Systems Corporation | Area monitoring system implementing a virtual environment |
CA2994511C (en) * | 2015-08-06 | 2020-01-21 | Accenture Global Services Limited | Condition detection using image processing |
KR20170059760A (ko) * | 2015-11-23 | 2017-05-31 | 엘지전자 주식회사 | 이동단말기 및 그 제어방법 |
US10768421B1 (en) * | 2016-07-18 | 2020-09-08 | Knowledge Initiatives LLC | Virtual monocle interface for information visualization |
WO2018090056A2 (en) * | 2016-11-14 | 2018-05-17 | Taqtile | Cross-platform multi-modal virtual collaboration and holographic maps |
US10777007B2 (en) * | 2017-09-29 | 2020-09-15 | Apple Inc. | Cooperative augmented reality map interface |
US11861136B1 (en) * | 2017-09-29 | 2024-01-02 | Apple Inc. | Systems, methods, and graphical user interfaces for interacting with virtual reality environments |
US20190325654A1 (en) * | 2018-04-24 | 2019-10-24 | Bae Systems Information And Electronic Systems Integration Inc. | Augmented reality common operating picture |
EP3803702A1 (en) * | 2018-06-01 | 2021-04-14 | Apple Inc. | Method and devices for switching between viewing vectors in a synthesized reality setting |
US11181862B2 (en) * | 2018-10-31 | 2021-11-23 | Doubleme, Inc. | Real-world object holographic transport and communication room system |
US11657578B2 (en) * | 2021-03-11 | 2023-05-23 | Quintar, Inc. | Registration for augmented reality system for viewing an event |
US11645819B2 (en) * | 2021-03-11 | 2023-05-09 | Quintar, Inc. | Augmented reality system for viewing an event with mode based on crowd sourced images |
US12003806B2 (en) * | 2021-03-11 | 2024-06-04 | Quintar, Inc. | Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model |
US20230260240A1 (en) * | 2021-03-11 | 2023-08-17 | Quintar, Inc. | Alignment of 3d graphics extending beyond frame in augmented reality system with remote presentation |
US20220295032A1 (en) * | 2021-03-11 | 2022-09-15 | Quintar, Inc. | Augmented reality system for remote presentation for viewing an event |
US12028507B2 (en) * | 2021-03-11 | 2024-07-02 | Quintar, Inc. | Augmented reality system with remote presentation including 3D graphics extending beyond frame |
US11527047B2 (en) * | 2021-03-11 | 2022-12-13 | Quintar, Inc. | Augmented reality system for viewing an event with distributed computing |
KR20230158505A (ko) * | 2021-03-22 | 2023-11-20 | 애플 인크. | 맵들을 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 |
-
2022
- 2022-03-18 KR KR1020237032394A patent/KR20230158505A/ko unknown
- 2022-03-18 CN CN202410498835.8A patent/CN118519521A/zh active Pending
- 2022-03-18 EP EP22716801.0A patent/EP4295219A1/en active Pending
- 2022-03-18 CN CN202280023598.9A patent/CN117043722A/zh active Pending
- 2022-03-18 JP JP2023558415A patent/JP2024512040A/ja active Pending
- 2022-03-18 WO PCT/US2022/071228 patent/WO2022204664A1/en active Application Filing
- 2022-03-18 US US17/655,521 patent/US20220301264A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20220301264A1 (en) | 2022-09-22 |
KR20230158505A (ko) | 2023-11-20 |
WO2022204664A1 (en) | 2022-09-29 |
CN117043722A (zh) | 2023-11-10 |
EP4295219A1 (en) | 2023-12-27 |
CN118519521A (zh) | 2024-08-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11557102B2 (en) | Methods for manipulating objects in an environment | |
US11995230B2 (en) | Methods for presenting and sharing content in an environment | |
JP6967043B2 (ja) | 3次元コンテンツ内の場所に基づく仮想要素モダリティ | |
US20230336865A1 (en) | Device, methods, and graphical user interfaces for capturing and displaying media | |
US20220326837A1 (en) | Methods for providing an immersive experience in an environment | |
JP2024512040A (ja) | マップのためのデバイス、方法、及びグラフィカルユーザインタフェース | |
US20230384907A1 (en) | Methods for relative manipulation of a three-dimensional environment | |
KR20240091224A (ko) | 사용자의 표현을 생성 및 디스플레이하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들 | |
US20240028177A1 (en) | Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments | |
CN112987914B (zh) | 用于内容放置的方法和设备 | |
US20230343049A1 (en) | Obstructed objects in a three-dimensional environment | |
US20230334808A1 (en) | Methods for displaying, selecting and moving objects and containers in an environment | |
US20230221833A1 (en) | Methods for displaying user interface elements relative to media content | |
US20230152935A1 (en) | Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments | |
US20240103614A1 (en) | Devices, methods, for interacting with graphical user interfaces | |
US20240104849A1 (en) | User interfaces that include representations of the environment | |
US20230350539A1 (en) | Representations of messages in a three-dimensional environment | |
US20240104871A1 (en) | User interfaces for capturing media and manipulating virtual objects | |
US20240281108A1 (en) | Methods for displaying a user interface object in a three-dimensional environment | |
US20240103684A1 (en) | Methods for displaying objects relative to virtual surfaces | |
US20230206572A1 (en) | Methods for sharing content and interacting with physical devices in a three-dimensional environment | |
WO2024064180A1 (en) | User interfaces that include representations of the environment | |
CN117480472A (zh) | 用于在环境中提供沉浸式体验的方法 | |
WO2023049418A2 (en) | Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments | |
WO2024064388A1 (en) | Devices, methods, for interacting with graphical user interfaces |