JP2023543799A - ユーザインタフェースをナビゲートする方法 - Google Patents

ユーザインタフェースをナビゲートする方法 Download PDF

Info

Publication number
JP2023543799A
JP2023543799A JP2023519047A JP2023519047A JP2023543799A JP 2023543799 A JP2023543799 A JP 2023543799A JP 2023519047 A JP2023519047 A JP 2023519047A JP 2023519047 A JP2023519047 A JP 2023519047A JP 2023543799 A JP2023543799 A JP 2023543799A
Authority
JP
Japan
Prior art keywords
user interface
discrete
input
displaying
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023519047A
Other languages
English (en)
Inventor
ヴィンセント, イスラエル パストラナ
ジェイ ムーン,
ジェシー チャンド,
ジョナサン アール. ダスコラ,
ジェフリー, エム. フォークナー,
アイ コネサ, ポル プラ
ウィリアム エー., サード ソレンティーノ,
スティーブン, オー. ルメイ,
クリスティ, イー. バウアリー,
マタン ストウバー,
ドリアン ディー. ダーガン,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2023543799A publication Critical patent/JP2023543799A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements

Abstract

いくつかの実施形態では、電子デバイスは、ユーザの視線を検出することに少なくとも基づいて、ユーザインタフェース間をナビゲートする。いくつかの実施形態では、電子デバイスは、ユーザインタフェースの制御要素との相互作用を強化する。いくつかの実施形態では、電子デバイスは、カテゴリ及びサブカテゴリの表現を協調的にスクロールする。いくつかの実施形態では、電子デバイスは、異なる方法で異なる没入度を有するユーザインタフェースから戻るようにナビゲートする。

Description

(関連出願の相互参照)
本出願は、2020年9月25日出願の米国特許仮出願第63/083,804号の利益を主張し、その出願の内容は、その全体があらゆる目的のために参照により本明細書に組み込まれる。
これは、一般に、表示生成コンポーネントと、仮想オブジェクトを含む、表示生成コンポーネントを介して3次元環境を提示する電子デバイスを含むがこれに限定されない、グラフィカルユーザインタフェースを提示する1つ以上の入力デバイスとを有するコンピュータシステムに関する。
拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は強化する少なくともいくつかの仮想要素を含む。コンピュータシステム及び他の電子コンピューティングデバイス用のカメラ、コントローラ、ジョイスティック、タッチ感知面、及びタッチスクリーンディスプレイなどの入力デバイスが、仮想/拡張現実環境と相互作用するために使用される。例示的な仮想要素は、デジタル画像、ビデオ、テキスト、アイコン、並びにボタン及びその他のグラフィックなどの制御要素を含む仮想オブジェクトを含む。
しかし、少なくともいくつかの仮想要素を含む環境(例えばアプリケーション、拡張現実環境、複合現実環境、及び仮想現実環境)と相互作用する方法及びインタフェースは、煩雑で、非効率で、限定されたものである。例えば、仮想オブジェクトに関連付けられたアクションを実行するのに不十分なフィードバックしか提供しないシステム、拡張現実環境において所望の結果を達成するために一連の入力を必要とするシステム、及び仮想オブジェクトの操作が複雑で、エラーを起こしやすいシステムは、ユーザに対して大きな認知負担を引き起こしし、仮想/拡張現実環境での体験を損なう。加えて、それらの方法は必要以上に時間がかかり、それによってエネルギを浪費する。この後者の考慮事項は、バッテリ動作式デバイスにおいて特に重要である。
したがって、コンピュータシステムとの相互作用をユーザにとってより効率的かつ直感的にするコンピュータ生成体験をユーザに提供するための改善された方法及びインタフェースを有するコンピュータシステムが必要とされている。このような方法及びインタフェースは、ユーザにコンピュータ生成現実体験を提供する従来の方法を補完又は置換することができる。このような方法及びインタフェースは、提供された入力とその入力に対するデバイス応答との間の接続をユーザが理解することを補助することにより、ユーザからの入力の数、程度及び/又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを生成する。
表示生成コンポーネント及び1つ以上の入力デバイスを有するコンピュータシステムのためのユーザインタフェースに関連する上記の欠陥及び他の問題は、開示されたシステムによって低減又は排除される。いくつかの実施形態では、コンピュータシステムは、関連付けられたディスプレイを備えたデスクトップコンピュータである。いくつかの実施形態では、コンピュータシステムは、ポータブルデバイスである(例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである)。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス(例えば腕時計やヘッドマウントデバイスなどのウェアラブル電子デバイス)である。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する。いくつかの実施形態では、コンピュータシステムは、1つ以上のカメラを有する。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ(「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる)を有する。いくつかの実施形態では、コンピュータシステムは、1つ以上のアイトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、1つ以上のハンドトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネントに加えて1つ以上の出力デバイスを有し、出力デバイスは、1つ以上の触知出力ジェネレータ及び1つ以上のオーディオ出力デバイスを含む。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザインタフェース(GUI)、1つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された1つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、タッチ感知面上のスタイラス及び/又は指の接触及びジェスチャ、カメラ及び他の移動センサによってキャプチャされたときのGUI又はユーザの身体に対する空間内のユーザの目及び手の移動、並びに1つ以上のオーディオ入力デバイスによってキャプチャされたときの音声入力を通じてGUIと相互作用する。いくつかの実施形態では、相互作用を通じて実行される機能は、任意選択的に、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、メモ取り、及び/又はデジタルビデオの再生を含む。それらの機能を実行する実行可能命令は任意選択で、非一時的コンピュータ可読記憶媒体又は1つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
ユーザインタフェースをナビゲートし、相互作用するための改善された方法及びインタフェースを有する電子デバイスが必要とされている。そのような方法及びインタフェースは、3次元環境においてユーザインタフェースと相互作用するための従来の方法を補完又は置換することができる。そのような方法及びインタフェースは、ユーザからの入力の数、程度、及び/又は種類を削減し、より効率的なヒューマンマシンインタフェースを生成する。
いくつかの実施形態では、電子デバイスは、ユーザの視線を検出することに少なくとも基づいて、ユーザインタフェース間をナビゲートする。いくつかの実施形態では、電子デバイスは、ユーザインタフェースの制御要素との相互作用を強化する。いくつかの実施形態では、電子デバイスは、カテゴリ及びサブカテゴリの表現を協調的にスクロールする。いくつかの実施形態では、電子デバイスは、異なる方法で異なる没入度を有するユーザインタフェースから戻るようにナビゲートする。
前述の様々な実施形態は、本明細書に記載の任意の他の実施形態と組み合わせることができることに留意されたい。本明細書で説明する機能及び利点は、包括的なものではなく、特に、図面、明細書及び特許請求の範囲を鑑みると、多くの追加の機能及び利点が当業者には明らかになるであろう。更に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を画定又は制限するために選択されたものではないことに留意されたい。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
いくつかの実施形態による、CGR体験を提供するためのコンピュータシステムの動作環境を示すブロック図である。
いくつかの実施形態による、ユーザのCGR体験を管理及び調整するように構成されたコンピュータシステムのコントローラを示すブロック図である。
いくつかの実施形態による、CGR体験の視覚的コンポーネントをユーザに提供するように構成されたコンピュータシステムの表示生成コンポーネントを示すブロック図である。
いくつかの実施形態による、ユーザのジェスチャ入力をキャプチャするように構成されたコンピュータシステムのハンドトラッキングユニットを示すブロック図である。
いくつかの実施形態による、ユーザの視線入力をキャプチャするように構成されたコンピュータシステムのアイトラッキングユニットを示すブロック図である。
いくつかの実施形態による、グリント支援視線追跡パイプラインを示すフローチャートである。
いくつかの実施形態による、ユーザの視線を検出することに少なくとも基づいて、電子デバイスがユーザインタフェース間をナビゲートする方法の例を示す。 いくつかの実施形態による、ユーザの視線を検出することに少なくとも基づいて、電子デバイスがユーザインタフェース間をナビゲートする方法の例を示す。 いくつかの実施形態による、ユーザの視線を検出することに少なくとも基づいて、電子デバイスがユーザインタフェース間をナビゲートする方法の例を示す。
いくつかの実施形態による、ユーザの視線を検出することに少なくとも基づいてユーザインタフェース間をナビゲートする方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視線を検出することに少なくとも基づいてユーザインタフェース間をナビゲートする方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視線を検出することに少なくとも基づいてユーザインタフェース間をナビゲートする方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視線を検出することに少なくとも基づいてユーザインタフェース間をナビゲートする方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視線を検出することに少なくとも基づいてユーザインタフェース間をナビゲートする方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視線を検出することに少なくとも基づいてユーザインタフェース間をナビゲートする方法を示すフローチャートである。
いくつかの実施形態による、電子デバイスがユーザインタフェースの制御要素との相互作用をどのように強化するかの例を示す。 いくつかの実施形態による、電子デバイスがユーザインタフェースの制御要素との相互作用をどのように強化するかの例を示す。 いくつかの実施形態による、電子デバイスがユーザインタフェースの制御要素との相互作用をどのように強化するかの例を示す。 いくつかの実施形態による、電子デバイスがユーザインタフェースの制御要素との相互作用をどのように強化するかの例を示す。
いくつかの実施形態による、ユーザインタフェースの制御要素との相互作用を強化する方法を示すフローチャートである。 いくつかの実施形態による、ユーザインタフェースの制御要素との相互作用を強化する方法を示すフローチャートである。 いくつかの実施形態による、ユーザインタフェースの制御要素との相互作用を強化する方法を示すフローチャートである。 いくつかの実施形態による、ユーザインタフェースの制御要素との相互作用を強化する方法を示すフローチャートである。 いくつかの実施形態による、ユーザインタフェースの制御要素との相互作用を強化する方法を示すフローチャートである。 いくつかの実施形態による、ユーザインタフェースの制御要素との相互作用を強化する方法を示すフローチャートである。 いくつかの実施形態による、ユーザインタフェースの制御要素との相互作用を強化する方法を示すフローチャートである。 いくつかの実施形態による、ユーザインタフェースの制御要素との相互作用を強化する方法を示すフローチャートである。 いくつかの実施形態による、ユーザインタフェースの制御要素との相互作用を強化する方法を示すフローチャートである。 いくつかの実施形態による、ユーザインタフェースの制御要素との相互作用を強化する方法を示すフローチャートである。 いくつかの実施形態による、ユーザインタフェースの制御要素との相互作用を強化する方法を示すフローチャートである。
いくつかの実施形態による、電子デバイスがカテゴリ及びサブカテゴリの表現を協調的にスクロールする方法の例を示す。 いくつかの実施形態による、電子デバイスがカテゴリ及びサブカテゴリの表現を協調的にスクロールする方法の例を示す。 いくつかの実施形態による、電子デバイスがカテゴリ及びサブカテゴリの表現を協調的にスクロールする方法の例を示す。 いくつかの実施形態による、電子デバイスがカテゴリ及びサブカテゴリの表現を協調的にスクロールする方法の例を示す。
いくつかの実施形態による、カテゴリ及びサブカテゴリの表現を協調的にスクロールする方法を示すフローチャートである。 いくつかの実施形態による、カテゴリ及びサブカテゴリの表現を協調的にスクロールする方法を示すフローチャートである。 いくつかの実施形態による、カテゴリ及びサブカテゴリの表現を協調的にスクロールする方法を示すフローチャートである。 いくつかの実施形態による、カテゴリ及びサブカテゴリの表現を協調的にスクロールする方法を示すフローチャートである。 いくつかの実施形態による、カテゴリ及びサブカテゴリの表現を協調的にスクロールする方法を示すフローチャートである。 いくつかの実施形態による、カテゴリ及びサブカテゴリの表現を協調的にスクロールする方法を示すフローチャートである。 いくつかの実施形態による、カテゴリ及びサブカテゴリの表現を協調的にスクロールする方法を示すフローチャートである。 いくつかの実施形態による、カテゴリ及びサブカテゴリの表現を協調的にスクロールする方法を示すフローチャートである。 いくつかの実施形態による、カテゴリ及びサブカテゴリの表現を協調的にスクロールする方法を示すフローチャートである。 いくつかの実施形態による、カテゴリ及びサブカテゴリの表現を協調的にスクロールする方法を示すフローチャートである。
いくつかの実施形態による、異なる方法で異なる没入度を有するユーザインタフェースから電子デバイスがどのようにナビゲートして戻るかの例を示す。 いくつかの実施形態による、異なる方法で異なる没入度を有するユーザインタフェースから電子デバイスがどのようにナビゲートして戻るかの例を示す。 いくつかの実施形態による、異なる方法で異なる没入度を有するユーザインタフェースから電子デバイスがどのようにナビゲートして戻るかの例を示す。 いくつかの実施形態による、異なる方法で異なる没入度を有するユーザインタフェースから電子デバイスがどのようにナビゲートして戻るかの例を示す。
いくつかの実施形態による、異なる方法で異なる没入度を有するユーザインタフェースからナビゲートして戻る方法を示すフローチャートである。 いくつかの実施形態による、異なる方法で異なる没入度を有するユーザインタフェースからナビゲートして戻る方法を示すフローチャートである。 いくつかの実施形態による、異なる方法で異なる没入度を有するユーザインタフェースからナビゲートして戻る方法を示すフローチャートである。 いくつかの実施形態による、異なる方法で異なる没入度を有するユーザインタフェースからナビゲートして戻る方法を示すフローチャートである。 いくつかの実施形態による、異なる方法で異なる没入度を有するユーザインタフェースからナビゲートして戻る方法を示すフローチャートである。 いくつかの実施形態による、異なる方法で異なる没入度を有するユーザインタフェースからナビゲートして戻る方法を示すフローチャートである。 いくつかの実施形態による、異なる方法で異なる没入度を有するユーザインタフェースからナビゲートして戻る方法を示すフローチャートである。 いくつかの実施形態による、異なる方法で異なる没入度を有するユーザインタフェースからナビゲートして戻る方法を示すフローチャートである。 いくつかの実施形態による、異なる方法で異なる没入度を有するユーザインタフェースからナビゲートして戻る方法を示すフローチャートである。 いくつかの実施形態による、異なる方法で異なる没入度を有するユーザインタフェースからナビゲートして戻る方法を示すフローチャートである。 いくつかの実施形態による、異なる方法で異なる没入度を有するユーザインタフェースからナビゲートして戻る方法を示すフローチャートである。 いくつかの実施形態による、異なる方法で異なる没入度を有するユーザインタフェースからナビゲートして戻る方法を示すフローチャートである。 いくつかの実施形態による、異なる方法で異なる没入度を有するユーザインタフェースからナビゲートして戻る方法を示すフローチャートである。
本開示は、いくつかの実施形態による、コンピュータ生成現実(CGR)体験をユーザに提供するユーザインタフェースに関する。
本明細書で説明されるシステム、方法、及びGUIは、電子デバイスが3次元環境においてオブジェクトと相互作用し、オブジェクトを操作するための改善された方法を提供する。3次元環境は、任意選択的に、1つ以上の仮想オブジェクト、電子デバイスの物理的環境内にある実オブジェクトの1つ以上の表現(例えば、実オブジェクトの写実的な(例えば、「パススルー」)表現として表示されるか、又は表示生成コンポーネントの透明部分を通してユーザに見える)、及び/又は3次元環境内のユーザの表現を含む。
いくつかの実施形態では、電子デバイスは、ユーザの視線を検出することに少なくとも基づいて、ユーザインタフェース間をナビゲートする。いくつかの実施形態では、電子デバイスは、所定の時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)の間、個別のユーザインタフェース要素に向けられたユーザの視線を検出したことに応じて、個別のユーザインタフェース要素に関連付けられたユーザインタフェースにナビゲートする。いくつかの実施形態では、ユーザの視線が個別のユーザインタフェース要素に向けられている間に、ユーザがユーザの手でジェスチャを実行した(例えば、親指を親指と同じ手の別の指(例えば、人差し指、中指、薬指、小指)に接触させる)ことを検出したことに応じて、電子デバイスは、所定の時間閾値未満の時間でユーザインタフェースにナビゲートする。視線のみに応じてユーザインタフェースにナビゲートすること、又はユーザの視線及び手のジェスチャに応じてより迅速にユーザインタフェースをナビゲートすることは、より少ない入力又はより短い時間でユーザインタフェースにナビゲートする効率的な方法を提供する。
いくつかの実施形態では、電子デバイスは、ユーザインタフェースの制御要素との相互作用を強化する。いくつかの実施形態では、制御要素は、選択されると、電子デバイスに、制御要素を含むユーザインタフェースにおける動作を実行させる選択可能オプションを含む。例えば、制御要素は、ユーザインタフェースの異なるページにナビゲートするための選択可能オプションを含むナビゲーションバーを含む。いくつかの実施形態では、制御要素に対するユーザの視線を検出したことに応じて、電子デバイスは、制御要素の外観を更新する(例えば、拡大する、拡張する、制御要素に詳細を追加する)。このように制御要素の外観を更新することは、制御要素と相互作用する効率的な方法と、制御要素と相互作用しないときの視覚クラッタを低減してユーザインタフェースと相互作用する方法とが提供される。
いくつかの実施形態では、電子デバイスは、カテゴリ及びサブカテゴリの表現を協調的にスクロールする。いくつかの実施形態では、電子デバイスは、(例えば、コンテンツ、ファイル、ユーザインタフェース、アプリケーションなどの)カテゴリの表現と、カテゴリのうちの1つ以上内のサブカテゴリの表現とを同時に表示する。いくつかの実施形態では、カテゴリの表現をスクロールする入力に応じて、電子デバイスは、カテゴリの表現及びサブカテゴリの表現をスクロールする。いくつかの実施形態では、サブカテゴリの表現をスクロールする入力に応じて、電子デバイスは、(例えば、カテゴリの表現をスクロールして、又はスクロールすることなく)サブカテゴリの表現をスクロールする。カテゴリ及びサブカテゴリの表現を協調的にスクロールすることは、カテゴリ及びサブカテゴリを同時閲覧する効率的な方法を提供する。
いくつかの実施形態では、電子デバイスは、異なる方法で異なる没入度を有するユーザインタフェースから戻るようにナビゲートする。いくつかの実施形態では、ユーザインタフェースの没入度は、オブジェクト(例えば、仮想オブジェクト、実オブジェクトの表現)の数、及びユーザインタフェースと同時に表示されるユーザインタフェース以外のオブジェクトの視認性の程度に対応する。いくつかの実施形態では、電子デバイスは、個別の入力に応じて(例えば、閾値時間量の間の前のユーザインタフェースの表現に対するユーザの視線を検出して)、第1の没入度を有するユーザインタフェースから離れるようにナビゲートする。いくつかの実施形態では、電子デバイスは、個別の入力に応じて、第2のより高い没入度を有するユーザインタフェースから離れるようにナビゲートすることを取り止める。個別の入力に応じて第1の没入度を有するユーザインタフェースから離れるようにナビゲートし、個別の入力に応じて第2のより高い没入度を有するユーザインタフェースから離れるようにナビゲートすることを控えることは、第1の没入度を有するユーザインタフェースにおける利便性を提供し、第2のより高い没入度を有するユーザインタフェースにおける混乱を低減し、ユーザが電子デバイスを迅速かつ効率的に使用することを可能にする。
図1~図6は、(方法800、1000、1200、及び1400に関して以下で説明されるような)CGR体験をユーザに提供するための例示的なコンピュータシステムの説明を提供する。いくつかの実施形態では、図1に示されるように、CGR体験は、コンピュータシステム101を含む動作環境100を介してユーザに提供される。コンピュータシステム101は、コントローラ110(例えば、ポータブル電子デバイス又はリモートサーバのプロセッサ)と、表示生成コンポーネント120(例えば、ヘッドマウントデバイス(HMD)、ディスプレイ、プロジェクタ、タッチスクリーンなど)と、1つ以上の入力デバイス125(例えば、アイトラッキングデバイス130、ハンドトラッキングデバイス140、他の入力デバイス150)と、1つ以上の出力デバイス155(例えば、スピーカ160、触知出力ジェネレータ170、及び他の出力デバイス180)と、1つ以上のセンサ190(例えば、画像センサ、光センサ、深度センサ、触覚センサ、配向センサ、近接センサ、温度センサ、位置センサ、運動センサ、速度センサなど)と、任意選択的に1つ以上の周辺デバイス195(例えば、家電製品、ウェアラブルデバイスなど)と、を含む。いくつかの実施形態では、入力デバイス125、出力デバイス155、センサ190、及び周辺デバイス195のうちの1つ以上は、(例えば、ヘッドマウントデバイス又はハンドヘルドデバイス内で)表示生成コンポーネント120と統合される。
CGR体験を説明するとき、ユーザが感知する、及び/又は(例えば、CGR体験を生成するコンピュータシステムに、CGR体験を生成するコンピュータシステム101に提供される様々な入力に対応するオーディオ、視覚、及び/又は触覚フィードバックを生成させる、コンピュータシステム101によって検出された入力を用いて)ユーザが相互作用することができる、いくつかの関連するが、別個の環境に個別的に言及するために様々な用語が使用される。以下は、これらの用語のサブセットである。
物理的環境:物理的環境とは、人々が電子システムの助けなしに、感知及び/又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び嗅覚などを介して、物理的環境を直接感知し、及び/又はそれと相互作用することができる。
コンピュータ生成現実:対照的に、コンピュータ生成現実(CGR)環境とは、人々が電子システムを介して感知及び/又は相互作用する、全体的又は部分的に模倣された環境を指す。CGRでは、人の身体運動のサブセット又はその表現が追跡され、それに応じて、CGR環境内でシミュレートされた1つ以上の仮想オブジェクトの1つ以上の特性が、少なくとも1つの物理学の法則でふるまうように調節される。例えば、CGRシステムは、人の頭部の回転を検出し、それに応じて、そのようなビュー及び音が物理的環境においてどのように変化するかと同様の方法で、人に提示されるグラフィックコンテンツ及び音場を調節することができる。状況によっては(例えば、アクセス性の理由から)、CGR環境における仮想オブジェクト(単数又は複数)の特性(単数又は複数)に対する調節は、身体運動の表現(例えば、音声コマンド)に応じて行われてもよい。人は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか1つを使用して、CGRオブジェクトを感知し、かつ/又はCGRオブジェクトと相互作用してもよい。例えば、人は、3D空間において点音源の知覚を提供する、3D又は空間的広がりを有するオーディオ環境を作り出す音声オブジェクトを感知し、かつ/又はそれと相互作用することができる。別の例では、オーディオオブジェクトによって、コンピュータ生成オーディオを含めて、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性が可能になり得る。いくつかのCGR環境では、人は、オーディオオブジェクトのみを感知し、かつ/又はそれと相互作用してもよい。
CGRの例としては、仮想現実及び複合現実が挙げられる。
仮想現実:仮想現実(VR)環境とは、1つ以上の感覚について、コンピュータ生成感覚入力に全面的に基づくように設計された模倣環境を指す。VR環境は、人が感知かつ/又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人は、コンピュータ生成環境内に人が存在することのシミュレーションを通じて、かつ/又はコンピュータ生成環境内での人の身体運動のサブセットのシミュレーションを通じて、VR環境における仮想オブジェクトを感知し、かつ/又はそれと相互作用することができる。
複合現実:複合現実(MR)環境とは、コンピュータ生成感覚入力に全面的に基づくように設計されたVR環境とは対照的に、コンピュータ生成感覚入力(例えば、仮想オブジェクト)を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計された模倣環境を指す。仮想の連続体上では、複合現実環境は、一方の端部における完全な物理的環境と、他方の端部における仮想現実環境との間であるがこれらを含まない、任意の場所である。いくつかのMR環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変更に応答し得る。また、MR環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト(即ち、物理的環境からの物理的物品又はその表現)と相互作用することを可能にするために、物理的環境に対する位置及び/又は配向を追跡してもよい。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、動きを考慮することができる。
複合現実の例としては、拡張現実及び拡張仮想が挙げられる。
拡張現実:拡張現実(AR)環境とは、1つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ねられた模倣環境を指す。例えば、AR環境を提示するための電子システムは、人が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイに仮想オブジェクトを提示するように構成されていてもよく、それによって、人はシステムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又は動画をキャプチャする1つ以上の撮像センサとを有してもよい。システムは、画像又は動画を仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人はこのシステムを使用して、物理的環境を、物理的環境の画像又は動画によって間接的に見て、物理的環境に重ね合わされた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境の動画は、「パススルービデオ」と呼ばれ、システムが、1つ以上の画像センサ(単数又は複数)を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にAR環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムが仮想オブジェクトを、例えば、ホログラムとして物理的環境の中に、又は物理的表面に投影するプロジェクションシステムを有してもよく、それによって、人はシステムを使用して、物理的環境に重ね合わされた仮想オブジェクトを知覚する。拡張現実環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換されるシミュレーション環境を指す。例えば、パススルービデオを提供する際に、システムは、1つ以上のセンサ画像を、イメージセンサがキャプチャした透視図とは別の選択された透視図(例えば、視点)を面付けするように変形してもよい。別の例として、物理的環境の表現を、その一部分をグラフィカルに変更(例えば、拡大)することによって変形してもよく、それにより、変更された部分を、元のキャプチャ画像を表すが非写実的な、改変版にすることもできる。更なる例として、物理的環境の表現は、その一部分をグラフィカルに除去又は不明瞭化することによって変形されてもよい。
拡張仮想:拡張仮想(AV)環境とは、仮想環境又はコンピュータ生成環境が物理的環境から1つ以上の感覚入力を組み込んだ模倣環境を指す。感覚入力は、物理的環境の1つ以上の特性の表現であり得る。例えば、AVの公園には仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、1つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽の位置と一致する影を採用することができる。
ハードウェア:人が様々なCGR環境を感知し、及び/又はそれと相互作用することを可能にする、多くの異なるタイプの電子システムが存在する。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ(heads-up displays、HUD)、統合表示機能を有する車両ウィンドシールド、統合表示機能を有する窓、(例えば、コンタクトレンズと同様に)人の目の上に配置されるように設計されたレンズとして形成されたディスプレイ、ヘッドホン/イヤフォン、スピーカアレイ、入力システム(例えば、触覚フィードバックを有する又は有さない、装着型コントローラ又はハンドヘルドコントローラ)、スマートフォン、タブレット、及びデスクトップ/ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、1つ以上のスピーカ(単数又は複数)及び一体型不透明ディスプレイを有してもよい。あるいは、ヘッドマウントシステムは、外部の不透明ディスプレイ(例えば、スマートフォン)を受容するように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像若しくは動画をキャプチャするための1つ以上の撮像センサ、及び/又は物理的環境のオーディオをキャプチャするための1つ以上のマイクロフォンを組み込んでいてもよい。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、OLED、LED、uLED、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィカル画像を人の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、仮想オブジェクトを、例えば、ホログラムとして、又は物理的表面として物理的環境に投影するように構成されてもよい。いくつかの実施形態では、コントローラ110は、ユーザのCGR体験を管理及び調整するように構成される。いくつかの実施形態では、コントローラ110は、ソフトウェア、ファームウェア、及び/又はハードウェアの好適な組み合わせを含む。コントローラ110については、図2を参照して以下により詳細に記載する。いくつかの実施形態では、コントローラ110は、シーン105(例えば、物理的環境)に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ110は、シーン105内に位置するローカルサーバである。別の例では、コントローラ110は、シーン105の外側に位置するリモートサーバ(例えば、クラウドサーバ、中央サーバなど)である。いくつかの実施形態では、コントローラ110は、1つ以上の有線又は無線通信チャネル144(例えば、BLUETOOTH、IEEE802.11x、IEEE802.16x、IEEE802.3xなど)を介して、表示生成コンポーネント120(例えば、HMD、ディスプレイ、プロジェクタ、タッチスクリーンなど)と通信可能に結合される。別の例では、コントローラ110は、表示生成コンポーネント120(例えば、HMD、又はディスプレイ及び1つ以上のプロセッサなどを含むポータブル電子デバイス)、入力デバイス125のうちの1つ以上、出力デバイス155のうちの1つ以上、センサ190のうちの1つ以上、及び/又は周辺デバイス195のうちの1つ以上の筐体(例えば、物理的ハウジング)内に含まれる、又は上記のうちの1つ以上と同じ物理的筐体又は支持構造を共有する。
いくつかの実施形態では、表示生成コンポーネント120は、CGR体験(例えば、CGR体験の少なくとも視覚的コンポーネント)をユーザに提供するように構成される。いくつかの実施形態では、表示生成コンポーネント120は、ソフトウェア、ファームウェア、及び/又はハードウェアの好適な組み合わせを含む。表示生成コンポーネント120について、図3を参照して以下により詳細に説明する。いくつかの実施形態では、コントローラ110の機能は、表示生成コンポーネント120によって提供される、及び/又は表示生成コンポーネント120と組み合わされる。
いくつかの実施形態によれば、表示生成コンポーネント120は、ユーザがシーン105内に仮想的及び/又は物理的に存在している間に、CGR体験をユーザに提供する。
いくつかの実施形態では、表示生成コンポーネントは、ユーザの身体の一部(例えば、自身の頭部や自身の手など)に装着される。したがって、表示生成コンポーネント120は、CGRコンテンツを表示するために提供された1つ以上のCGRディスプレイを含む。例えば、様々な実施形態では、表示生成コンポーネント120は、ユーザの視野を包囲する。いくつかの実施形態では、表示生成コンポーネント120は、CGRコンテンツを提示するように構成されたハンドヘルドデバイス(スマートフォン又はタブレットなど)であり、ユーザは、ユーザの視野に向けられるディスプレイ及びシーン105に向けられるカメラを備えたデバイスを保持する。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの頭部に装着された筐体内に配置される。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの前の支持体(例えば、三脚)上に配置される。いくつかの実施形態では、表示生成コンポーネント120は、ユーザが表示生成コンポーネント120を着用又は保持しない状態でCGRコンテンツを提示するように構成されたCGRチャンバ、筐体、又は部屋である。CGRコンテンツ(例えば、ハンドヘルドデバイス又は三脚上のデバイス)を表示するための1つのタイプのハードウェアを参照して説明される多くのユーザインタフェースは、CGRコンテンツ(例えば、HMD又は他のウェアラブルコンピューティングデバイス)を表示するための別のタイプのハードウェア上に実施され得る。例えば、ハンドヘルド又は三脚搭載デバイスの前の空間内で起こる相互作用に基づいてトリガされるCGRコンテンツとの相互作用を示すユーザインタフェースは、相互作用がHMDの前の空間で発生し、CGRコンテンツの応答がHMDを介して表示されるHMDと同様に実施され得る。同様に、物理的環境(例えば、シーン105又はユーザの身体の一部(例えば、ユーザの目(単数又は複数)、頭部、又は手))に対するハンドヘルド又は三脚搭載デバイスの移動に基づいてトリガされたCRGコンテンツとの相互作用を示すユーザインタフェースは、物理的環境(例えば、シーン105又はユーザの身体の一部(例えば、ユーザの目(単数又は複数)、頭部、又は手))に対するHMDの移動によって引き起こされるHMDと同様に実施され得る。
動作環境100の関連する特徴が図1に示されているが、当業者は、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないように、簡潔化のための様々な他の特徴が示されていないことを、本開示から理解されよう。
図2は、いくつかの実施形態による、コントローラ110の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのため、非限定的な例として、いくつかの実施形態では、コントローラ110は、1つ以上の処理ユニット202(例えば、マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、グラフィック処理ユニット(GPU)、中央処理ユニット(CPU)、処理コアなど)、1つ以上の入出力(I/O)デバイス206、1つ以上の通信インタフェース208(例えば、ユニバーサルシリアルバス(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、グローバル移動通信システム(GSM)、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、グローバル測位システム(GPS)、赤外線(IR)、BLUETOOTH、ZIGBEE、又は同様のタイプのインタフェース)、1つ以上のプログラミング(例えば、I/O)インタフェース210、メモリ220、並びにこれら及び様々な他のコンポーネントを相互接続するための1つ以上の通信バス204を含む。
いくつかの実施形態では、1つ以上の通信バス204は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、1つ以上のI/Oデバイス206は、キーボード、マウス、タッチパッド、ジョイスティック、1つ以上のマイクロフォン、1つ以上のスピーカ、1つ以上の画像センサ、1つ以上のディスプレイなどのうちの少なくとも1つを含む。
メモリ220は、ダイナミックランダムアクセスメモリ(dynamic random-access memory、DRAM)、スタティックランダムアクセスメモリ(static random-access memory、SRAM)、ダブルデータレートランダムアクセスメモリ(double-data-rate random-access memory、DDRRAM)、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ220は、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ220は、1つ以上の処理ユニット202から遠隔に位置する1つ以上の記憶デバイスを任意選択的に含む。メモリ220は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ220、又はメモリ220の非一時的コンピュータ可読記憶媒体は、任意選択的なオペレーティングシステム230及びCGR体験モジュール240を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム230は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、CGR体験モジュール240は、1人以上のユーザに対する1つ以上のCGR体験(例えば、1人以上のユーザに対する単一のCGR体験、又は1人以上のユーザのそれぞれのグループに対する複数のCGR体験)を管理及び調整するように構成されている。その目的で、様々な実施形態では、CGR体験モジュール240は、データ取得ユニット242、トラッキングユニット244、調整ユニット246、及びデータ送信ユニット248を含む。
いくつかの実施形態では、データ取得ユニット242は、データ(例えば、提示データ、相互作用データ、センサデータ、場所データなど)を、少なくとも、図1の表示生成コンポーネント120、及び任意選択的に、入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上から取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット242は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、トラッキングユニット244は、シーン105をマッピングし、図1のシーン105に対する少なくとも表示生成コンポーネント120、及び任意選択的に、入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上の位置を追跡するように構成される。その目的で、様々な実施形態では、トラッキングユニット244は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実施形態では、トラッキングユニット244は、ハンドトラッキングユニット243及び/又はアイトラッキングユニット245を含む。いくつかの実施形態では、ハンドトラッキングユニット243は、図1のシーン105に対する、表示生成コンポーネント120に対する、及び/又はユーザの手に対して定義された座標系に対する、ユーザの手の1つ以上の部分の位置、及び/又はユーザの手の1つ以上の部分の運動を追跡するように構成される。ハンドトラッキングユニット243について、図4に関して以下でより詳細に説明する。いくつかの実施形態では、アイトラッキングユニット245は、シーン105に対する(例えば、物理的環境及び/又はユーザ(例えば、ユーザの手)に対する)、又は表示生成コンポーネント120を介して表示されるCGRコンテンツに対する、ユーザの視線(又は、より広範にはユーザの目、顔、又は頭部)の位置及び動きを追跡するように構成される。アイトラッキングユニット245について、図5に関して以下でより詳細に説明する。
いくつかの実施形態では、調整ユニット246は、表示生成コンポーネント120によって、及び任意選択的に、出力デバイス155及び/又は周辺デバイス195のうちの1つ以上によって、ユーザに提示されるCGR体験を管理及び調整するように構成される。その目的で、様々な実施形態において、調整ユニット246は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット248は、データ(例えば、提示データ、位置データなど)を少なくとも表示生成コンポーネント120、及び任意選択的に、入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上に送信するように構成される。その目的で、様々な実施形態では、データ送信ユニット248は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット242、トラッキングユニット244(例えば、アイトラッキングユニット243及びハンドトラッキングユニット244を含む)、調整ユニット246、及びデータ送信ユニット248が、単一のデバイス(例えば、コントローラ110)上に存在するものとして示されているが、他の実施形態では、データ取得ユニット242、トラッキングユニット244(例えば、アイトラッキングユニット243及びハンドトラッキングユニット244を含む)、調整ユニット246、及びデータ送信ユニット248の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図2は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図2に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では1つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び/又はファームウェアの特定の組み合わせに部分的に依存する。
図3は、いくつかの実施形態による、表示生成コンポーネント120の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実施形態では、HMD120には、1つ以上の処理ユニット302(例えば、マイクロプロセッサ、ASIC、FPGA、GPU、CPU、処理コアなど)、1つ以上の入出力(I/O)デバイス及びセンサ306、1つ以上の通信インタフェース308(例えば、USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、赤外線、BLUETOOTH、ZIGBEE、及び/又は同様のタイプのインタフェース)、1つ以上のプログラミング(例えば、I/O)インタフェース310、1つ以上のCGRディスプレイ312、1つ以上の任意の内向き及び/又は外向き画像センサ314、メモリ320、並びにこれら及び様々な他のコンポーネントを相互接続するための1つ以上の通信バス304、が含まれる。
いくつかの実施形態では、1つ以上の通信バス304は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、1つ以上のI/Oデバイス及びセンサ306は、慣性測定装置(IMU)、加速度計、ジャイロスコープ、温度計、1つ以上の生理的センサ(例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、血糖センサなど)、1つ以上のマイクロフォン、1つ以上のスピーカ、触覚エンジン、1つ以上の深度センサ(例えば、構造化光、飛行時間など)などのうちの少なくとも1つを含む。
いくつかの実施形態では、1つ以上のCGRディスプレイ312は、ユーザにCGR体験を提供するように構成される。いくつかの実施形態では、1つ以上のCGRディスプレイ312は、ホログラフィック、デジタル光処理(DLP)、液晶ディスプレイ(LCD)、液晶オンシリコン(LCoS)、有機発光電界効果トランジスタ(OLET)、有機発光ダイオード(OLED)、表面伝導型電子放射素子ディスプレイ(SED)、電界放射ディスプレイ(FED)、量子ドット発光ダイオード(QD-LED)、MEMS、及び/又は同様のディスプレイタイプに相当する。いくつかの実施形態では、1つ以上のCGRディスプレイ312は、回折、反射、偏光、ホログラフィックなどの、導波管ディスプレイに相当する。例えば、HMD120は、単一のCGRディスプレイを含む。別の実施例では、HMD120は、ユーザの各目用のCGRディスプレイを含む。いくつかの実施形態では、1つ以上のCGRディスプレイ312は、MR又はVRコンテンツを提示することができる。いくつかの実施形態では、1つ以上のCGRディスプレイ312は、MR又はVRコンテンツを提示することができる。
いくつかの実施形態では、1つ以上の画像センサ314は、ユーザの目を含むユーザの顔の少なくとも一部に対応する画像データを取得するように構成される(及び、アイトラッキングカメラと称する場合がある)。いくつかの実施形態では、1つ以上の画像センサ314は、ユーザの手(単数又は複数)及び任意選択的にユーザの腕(単数又は複数)の少なくとも一部に対応する画像データを取得するように構成される(及び、ハンドトラッキングカメラと称される場合がある)。いくつかの実施形態では、1つ以上の画像センサ314は、HMD120が存在しない場合に、ユーザが視認するシーンに対応する画像データを取得するように前方を向くように構成される(及び、シーンカメラと称される場合がある)。1つ以上の任意選択的な画像センサ314は、(例えば、相補型金属酸化膜半導体(CMOS)画像センサ若しくは電荷結合デバイス(CCD)画像センサを備えた)1つ以上のRGBカメラ、1つ以上の赤外線(IR)カメラ、1つ以上のイベントベースのカメラ、及び/又は同様のもの、を含むことができる。
メモリ320は、DRAM、SRAM、DDR RAM、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ320は、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ320は、1つ以上の処理ユニット302から遠隔に位置する1つ以上の記憶デバイスを任意選択的に含む。メモリ320は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ320、又はメモリ320の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム330及びCGR提示モジュール340を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム330は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、CGR提示モジュール340は、1つ以上のCGRディスプレイ312を介してCGRコンテンツをユーザに提示するように構成される。その目的で、様々な実施形態では、CGR提示モジュール340は、データ取得ユニット342、CGR提示ユニット344、CGRマップ生成ユニット346、及びデータ送信ユニット348を含む。
いくつかの実施形態では、データ取得ユニット342は、少なくとも図1のコントローラ110からデータ(例えば、提示データ、相互作用データ、センサデータ、位置データなど)を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット342は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、CGR提示ユニット344は、1つ以上のCGRディスプレイ312を介してCGRコンテンツを提示するように構成される。その目的で、様々な実施形態では、CGR提示ユニット344は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、CGRマップ生成ユニット346は、メディアコンテンツデータに基づいて、CGRマップ(例えば、複合現実シーンの3Dマップ又はコンピュータ生成オブジェクトを配置することができる物理的環境のマップ)を生成するように構成される。その目的で、様々な実施形態では、CGRマップ生成ユニット346は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット348は、少なくともコントローラ110、及び任意選択的に入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上にデータ(例えば、提示データ、位置データなど)を伝送するように構成される。その目的で、様々な実施形態では、データ送信ユニット348は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット342は、CGR提示ユニット344、CGRマップ生成ユニット346、及びデータ送信ユニット348は、単一のデバイス(例えば、図1の表示生成コンポーネント120)上に存在するものとして示されているが、他の実施形態では、データ取得ユニット342、CGR提示ユニット344、CGRマップ生成ユニット346、及びデータ送信ユニット348の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図3は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実装形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図3に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では1つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び/又はファームウェアの特定の組み合わせに部分的に依存する。
図4は、ハンドトラッキングデバイス140の例示的な実施形態の概略図である。いくつかの実施形態では、ハンドトラッキングデバイス140(図1)は、ハンドトラッキングユニット243(図2)によって制御されて、ユーザの手の1つ以上の部分の位置、及び/又は図1のシーン105に対する(例えば、ユーザを取り囲む物理的環境の一部に対する、表示生成コンポーネント120に対する、又はユーザの一部(例えば、ユーザの顔、目、若しくは頭部)に対する、及び/又はユーザの手に対して定義された座標系に対するユーザの手の1つ以上の部分の移動を追跡する。いくつかの実施形態では、ハンドトラッキングデバイス140は、表示生成コンポーネント120の一部である(例えば、ヘッドマウントデバイスに埋め込まれる、又はヘッドマウントデバイスに取り付けられる)。いくつかの実施形態では、ハンドトラッキングデバイス140は、表示生成コンポーネント120とは別個である(例えば、別個のハウジング内に位置する、又は別個の物理的支持構造に取り付けられる)。
いくつかの実施形態では、ハンドトラッキングデバイス140は、人間のユーザの少なくとも手406を含む3次元シーン情報をキャプチャする画像センサ404(例えば、1つ以上のIRカメラ、3Dカメラ、深度カメラ、及び/又はカラーカメラなど)を含む。画像センサ404は、指及びそれらのそれぞれの位置を区別するのを可能にするのに十分な解像度で手画像をキャプチャする。画像センサ404は、典型的には、ユーザの身体の他の部分の画像、又は身体の全ての画像をキャプチャし、ズーム機能又は高倍率を有する専用センサのいずれかを有して、所望の解像度で手の画像をキャプチャすることができる。いくつかの実施形態では、画像センサ404はまた、手406の2Dカラービデオ画像及びシーンの他の要素をキャプチャする。いくつかの実施形態では、画像センサ404は、シーン105の物理的環境をキャプチャする他の画像センサと併せて使用される、又はシーン105の物理的環境をキャプチャする画像センサとして機能する。いくつかの実施形態では、画像センサ404は、画像センサ又はその一部の視野が使用されて、画像センサによってキャプチャされた手の移動がコントローラ110への入力として処理される相互作用空間を定義するように、ユーザ又はユーザの環境に対して位置決めされる。
いくつかの実施形態では、画像センサ404は、3Dマップデータ(及び場合によってはカラー画像データ)を含むフレームのシーケンスをコントローラ110に出力し、これにより、マップデータから高レベル情報を抽出する。この高レベル情報は、典型的には、アプリケーションプログラムインタフェース(API)を介して、コントローラ上で実行されるアプリケーションに提供され、それに応じて表示生成コンポーネント120を駆動する。例えば、ユーザは、手408を移動させ、手の姿勢を変更することによって、コントローラ110上で動作するソフトウェアと相互作用することができる。
いくつかの実施形態では、画像センサ404は、手406を含むシーン上にスポットパターンを投射し、投射されたパターンの画像をキャプチャする。いくつかの実施形態では、コントローラ110は、パターンのスポットの横方向シフトに基づいて、三角測量によって(ユーザの手の表面上の点を含む)シーン内の点の3D座標を計算する。このアプローチは、ユーザが任意の種類のビーコン、センサ、又は他のマーカを保持又は着用する必要がないという点で有利である。これは、画像センサ404からの特定の距離で、所定の基準面に対するシーン内の点の深度座標を与える。本開示では、画像センサ404は、シーン内の点の深度座標が画像センサによって測定されたz成分に対応するように、直交する一連のx、y、z軸を定義すると想定される。あるいは、ハンドトラッキングデバイス440は、単一又は複数のカメラ又は他のタイプのセンサに基づいて、立体撮像又は飛行時間測定などの他の3Dマッピング方法を使用することができる。
いくつかの実施形態では、ハンドトラッキングデバイス140は、ユーザが手(例えば、手全体又は1本以上の指)を移動させている間、ユーザの手を含む深度マップの時間シーケンスをキャプチャし処理する。画像センサ404及び/又はコントローラ110内のプロセッサ上で動作するソフトウェアは、3Dマップデータを処理して、これらの深度マップ内の手のパッチ記述子を抽出する。ソフトウェアは、各フレームにおける手の姿勢を推定するために、以前の学習プロセスに基づいて、これらの記述子をデータベース408に記憶されたパッチ記述子と照合する。姿勢は、典型的には、ユーザの手関節及び指先の3D位置を含む。
ソフトウェアはまた、ジェスチャを識別するために、シーケンス内の複数のフレームにわたって手及び/又は指の軌道を解析することができる。本明細書に記載される姿勢推定機能は、運動追跡機能とインターリーブされてもよく、それにより、パッチベースの姿勢推定が2つ(又はそれ以上)のフレーム毎に1回のみ実行される一方、追跡は残りのフレームにわたって発生する姿勢の変化を発見するために使用される。姿勢、運動、及びジェスチャ情報は、上述のAPIを介して、コントローラ110上で実行されるアプリケーションプログラムに提供される。このプログラムは、例えば、姿勢及び/又はジェスチャ情報に応じて、表示生成コンポーネント120上に提示された画像を移動させ修正する、又は他の機能を実行することができる。
いくつかの実施形態では、ソフトウェアは、例えばネットワーク上で、コントローラ110に電子形態でダウンロードされてもよい、又はその代わりに、光学、磁気、若しくは電子メモリ媒体などの、実体的非一時的媒体に提供されてもよい。いくつかの実施形態では、データベース408は、同様に、コントローラ110に関連付けられたメモリに記憶される。代替的又は追加的に、コンピュータの記載された機能の一部又は全ては、カスタム又は半カスタム集積回路又はプログラム可能なデジタル信号プロセッサ(DSP)などの専用のハードウェアに実装されてもよい。コントローラ110は、例として、画像センサ440からの別個のユニットとして図4に示されているが、コントローラの処理機能の一部又は全部は、好適なマイクロプロセッサ及びソフトウェアによって、又はハンドトラッキングデバイス402のハウジング内の専用回路によって、又は他の方法で画像センサ404に関連付けることができる。いくつかの実施形態では、これらの処理機能のうちの少なくともいくつかは、(例えば、テレビセット、ハンドヘルドデバイス、又はヘッドマウントデバイスにおいて)表示生成コンポーネント120と統合された好適なプロセッサによって、又はゲームコンソール又はメディアプレーヤなどの任意の他の適切なコンピュータ化されたデバイスを用いて実行されてもよい。画像センサ404の感知機能は、同様に、センサ出力によって制御されるコンピュータ又は他のコンピュータ化された装置に統合することができる。
図4は、いくつかの実施形態による、画像センサ404によってキャプチャされた深度マップ410の概略図を更に含む。深度マップは、上述したように、それぞれの深度値を有するピクセルのマトリックスを含む。手406に対応するピクセル412は、このマップで背景及び手首からセグメント化されている。深度マップ410内の各ピクセルの輝度は、深度値、即ち、画像センサ404からの測定されたz距離に反比例し、深度が上昇するにつれて階調が濃くなる。コントローラ110は、人間の手の特徴を有する画像の成分(即ち、隣接ピクセル群)を識別及びセグメント化するために、これらの深度値を処理する。これらの特性は、例えば、深度マップのシーケンスの全体サイズ、形状、フレームからフレームへの運動を含むことができる。
図4はまた、いくつかの実施形態による、コントローラ110が手406の深度マップ410から最終的に抽出する手骨格414を概略的に示す。図4では、骨格414は、元の深度マップからセグメント化された手の背景416に重畳される。いくつかの実施形態では、手(例えば、指関節、指先、手のひらの中心、手首に接続する手の終端など)、及び任意選択的に手に接続された手首又は腕上の主要な特徴点が、手の骨格414上で識別され配置される。いくつかの実施形態では、複数の画像フレーム上にわたるこれらの主要な特徴点の位置及び移動がコントローラ110によって使用されて、いくつかの実施形態により、手によって実行される手ジェスチャ又は手の現在の状態を判定する。
図5は、アイトラッキングデバイス130(図1)の例示的な実施形態を示す。いくつかの実施形態では、アイトラッキングデバイス130は、アイトラッキングユニット245(図2)によって制御されて、シーン105に対する、又は表示生成コンポーネント120を介して表示されるCGRコンテンツに対するユーザの視線の位置及び動きを追跡する。いくつかの実施形態では、アイトラッキングデバイス130は、表示生成コンポーネント120と統合される。例えば、いくつかの実施形態では、表示生成コンポーネント120がヘッドセット、ヘルメット、ゴーグル、又は眼鏡などのヘッドマウントデバイス、又はウェアラブルフレームに配置されたハンドヘルドデバイスである場合、ヘッドマウントデバイスは、ユーザによる視聴のためのCGRコンテンツを生成するコンポーネント及びCGRコンテンツに対するユーザの視線を追跡するためのコンポーネントの両方を含む。いくつかの実施形態では、アイトラッキングデバイス130は、表示生成コンポーネント120とは別個である。例えば、表示生成コンポーネントがハンドヘルドデバイス又はCGRチャンバである場合、アイトラッキングデバイス130は、任意選択的に、ハンドヘルドデバイス又はCGRチャンバとは別個のデバイスである。いくつかの実施形態では、アイトラッキングデバイス130は、ヘッドマウントデバイス又はヘッドマウントデバイスの一部である。いくつかの実施形態では、ヘッドマウントアイトラッキングデバイス130は、任意選択的に、頭部に装着されている表示生成コンポーネント又は頭部に装着されていない表示生成コンポーネントと共に使用される。いくつかの実施形態では、アイトラッキングデバイス130は、ヘッドマウントデバイスではなく、任意選択的に、ヘッドマウント表示生成コンポーネントと組み合わせて使用される。いくつかの実施形態では、アイトラッキングデバイス130は、ヘッドマウントデバイスではなく、任意選択的に、非ヘッドマウント表示生成コンポーネントの一部である。
いくつかの実施形態では、表示生成コンポーネント120は、ユーザの目の前に左及び右の画像を含むフレームを表示して、3D仮想ビューをユーザに提供するディスプレイ機構(例えば、左右の目近傍ディスプレイパネル)を使用する。例えば、ヘッドマウント表示生成コンポーネントは、ディスプレイとユーザの目との間に位置する左右の光学レンズ(本明細書では接眼レンズと称される)を含んでもよい。いくつかの実施形態では、表示生成コンポーネントは、表示のためにユーザの環境のビデオをキャプチャする1つ以上の外部ビデオカメラを含んでもよい、又はそれに結合されてもよい。いくつかの実施形態では、ヘッドマウント表示生成コンポーネントは、ユーザが物理的環境を直接視認し、透明又は半透明ディスプレイ上に仮想オブジェクトを表示することができる透明又は半透明のディスプレイを有してもよい。いくつかの実施形態では、表示生成コンポーネントは、仮想オブジェクトを物理的環境に投影する。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理的環境の上に重ねられた仮想オブジェクトを観察することができる。そのような場合、左右の目のための別個のディスプレイパネル及び画像フレームが必要とされない場合がある。
図5に示すように、いくつかの実施形態では、視線トラッキングデバイス130は、少なくとも1つのアイトラッキングカメラ(例えば、赤外線(IR)又は近IR(NIR)カメラ)、並びに光(例えば、IR又はNIR光)をユーザの目に向けて発する照明源(例えば、LEDのアレイ若しくはリングなどのIR又はNIR光源)を含む。アイトラッキングカメラは、ユーザの目に向けられて、光源からの反射IR又はNIR光を目から直接受信してもよく、又は代替的に、ユーザの目と、視覚的光が通過することを可能にしながら目からアイトラッキングカメラにIR又はNIR光を反射させるディスプレイパネルとの間に配置される「ホット」ミラーに向けられてもよい。視線トラッキングデバイス130は、任意選択的に、ユーザの目の画像を(例えば、1秒当たり60~120フレーム(fps)でキャプチャされるビデオストリームとして)キャプチャし、画像を解析して、視線追跡情報を生成し、視線追跡情報をコントローラ110に通信する。いくつかの実施形態では、ユーザの両目は、それぞれのアイトラッキングカメラ及び照明源によって別々に追跡される。いくつかの実施形態では、ユーザの片目のみが、個別のアイトラッキングカメラ及び照明源によって追跡される。
いくつかの実施形態では、アイトラッキングデバイス130は、デバイス固有の較正プロセスを使用して較正されて、特定の動作環境100用のアイトラッキングデバイスのパラメータ、例えば、LED、カメラ、ホットミラー(存在する場合)、接眼レンズ、及びディスプレイスクリーンの3D幾何学的関係及びパラメータを判定する。デバイス固有の較正プロセスは、AR/VR機器のエンドユーザへの配送前に、工場又は別の施設で実行されてもよい。デバイス固有の較正プロセスは、自動較正プロセスであってもよく、又は手動較正プロセスであってもよい。ユーザ固有の較正プロセスは、特定のユーザの目パラメータ、例えば、瞳孔位置、中心視覚位置、光軸、視軸、目間隔などの推定を含んでもよい。いくつかの実施形態によれば、いったんアイトラッキングデバイス130についてデバイス固有及びユーザ固有のパラメータが判定されると、アイトラッキングカメラによってキャプチャされた画像は、グリント支援方法を使用して処理され、ディスプレイに対するユーザの現在の視覚軸及び視点を判定することができる。
図5に示すように、アイトラッキングデバイス130(例えば、130A又は130B)は、接眼レンズ(単数又は複数)520と、アイトラッキングが行われるユーザの顔の側に配置された少なくとも1つのアイトラッキングカメラ540(例えば、赤外線(IR)又は近IR(NIR)カメラ)と光(例えば、IR又はNIR光)をユーザの目(単数又は複数)592に向かって発する照明源530(例えば、NIR発光ダイオード(LED)のアレイ若しくはリングなどのIR又はNIR光源)とを含む視線追跡システムと、を含む。アイトラッキングカメラ540は、ユーザの目(単数又は複数)592とディスプレイ510(例えば、ヘッドマウントディスプレイの左若しくは右側のディスプレイパネル、又はハンドヘルドデバイスのディスプレイ、プロジェクタなど)との間に位置し、(例えば、図5の上部に示されるように)可視光を透過させながら、目(単数又は複数)592からのIR又はNIR光を反射するミラー550に向けられてもよく、あるいは、(例えば、図5の下部に示されるように)反射されたユーザの目(単数又は複数)592からのIR又はNIR光を受け取るようにユーザの目(単数又は複数)592に向けられてもよい。
いくつかの実施形態では、コントローラ110は、AR又はVRフレーム562(例えば、左及び右のディスプレイパネルの左及び右のフレーム)をレンダリングし、フレーム562をディスプレイ510に提供する。コントローラ110は、様々な目的のために、例えば、表示のためにフレーム562を処理する際に、アイトラッキングカメラ540からの視線追跡入力542を使用する。コントローラ110は、任意選択的に、グリント支援方法又は他の適切な方法を使用して、アイトラッキングカメラ540から得られた視線追跡入力542に基づいて、ディスプレイ510上のユーザの視点を推定する。視線追跡入力542から推定された視点は、任意選択的に、ユーザが現在見ている方向を判定するために使用される。
以下、ユーザの現在の視線方向のいくつかの可能な使用事例について説明するが、これは限定することを意図するものではない。例示的な使用例として、コントローラ110は、判定されたユーザの視線方向に基づいて、仮想コンテンツを異なってレンダリングすることができる。例えば、コントローラ110は、周辺領域においてよりもユーザの現在の視線方向から判定された中心視覚領域において、より高い解像度で仮想コンテンツを生成してもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内の仮想コンテンツを位置決め又は移動させてもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内に特定の仮想コンテンツを表示してもよい。ARアプリケーションにおける別の例示的な使用事例として、コントローラ110は、CGR体験の物理的環境をキャプチャして、判定された方向に焦点を合わせるように外部カメラを方向付けることができる。次いで、外部カメラの自動焦点機構は、ユーザが現在ディスプレイ510上で見ている環境内のオブジェクト又は表面に焦点を合わせることができる。別の例示的な使用事例として、接眼レンズ520は集束可能なレンズであってもよく、視線追跡情報がコントローラによって使用されて、ユーザが現在見ている仮想オブジェクトが、ユーザの目592の収束に一致するために適切な両目連動を有するように接眼レンズ520の焦点を調整する。コントローラ110は、視線追跡情報を活用して、ユーザが見ている近接オブジェクトが正しい距離で現れるように接眼レンズ520を方向付けて焦点を調整することができる。
いくつかの実施形態では、アイトラッキングデバイスは、ウェアラブルハウジングに取り付けられた、ディスプレイ(例えば、ディスプレイ510)、2つの接眼レンズ(例えば、接眼レンズ(単数又は複数)520)、アイトラッキングカメラ(例えば、アイトラッキングカメラ(単数又は複数)540)、及び光源(例えば、光源530(例えば、IR LED又はNIR LED))を含むヘッドマウントデバイスの一部である。光源は、ユーザの目(単数又は複数)592に向かって光(例えば、IR又はNIR光)を発する。いくつかの実施形態では、光源は、図5に示すように、各レンズの周りにリング又は円状に配置されてもよい。いくつかの実施形態では、8つの光源530(例えば、LED)が、一例として各レンズ520の周りに配置される。しかしながら、より多くの又はより少ない光源530が使用されてもよく、光源530の他の配置及び位置が用いられてもよい。
いくつかの実施形態では、ディスプレイ510は、可視光範囲内の光を発し、IR又はNIR範囲内の光を発さないため、視線追跡システムにノイズを導入しない。アイトラッキングカメラ(単数又は複数)540の位置及び角度は、例として与えられ、限定することを意図するものではないことに留意されたい。いくつかの実施形態では、単一のアイトラッキングカメラ540がユーザの顔の各側に位置する。いくつかの実施形態では、2つ以上のNIRカメラ540をユーザの顔の各側に使用することができる。いくつかの実施形態では、より広い視野(FOV)を有するカメラ540と狭いFOVを有するカメラ540が、ユーザの顔の各側に使用されてもよい。いくつかの実施形態では、1つの波長(例えば、850nm)で動作するカメラ540と異なる波長(例えば、940nm)で動作するカメラ540とが、ユーザの顔の各側に使用されてもよい。
図5に示すような視線トラッキングシステムの実施形態は、例えば、コンピュータ生成現実、仮想現実、及び/又は複合現実アプリケーションに使用されて、コンピュータ生成現実、仮想現実、拡張現実、及び/又は拡張仮想の体験をユーザに提供することができる。
図6は、いくつかの実施形態による、グリント支援視線追跡パイプラインを示す。いくつかの実施形態では、視線追跡パイプラインは、グリント支援視線追跡システム(例えば、図1及び図5に示されるようなアイトラッキングデバイス130)によって実現される。グリント支援視線追跡システムは、追跡状態を維持することができる。当初、追跡状態はオフ又は「いいえ」である。追跡状態にあるとき、グリント支援視線追跡システムは、現フレームを解析する際に前のフレームからの先行情報を使用して、現フレーム内の瞳孔輪郭及びグリントを追跡する。追跡状態にない場合、グリント支援視線追跡システムは、現フレーム内の瞳孔及びグリントを検出しようとし、それに成功した場合、追跡状態を「はい」に初期化し、追跡状態で次のフレームに続く。
図6に示すように、視線追跡カメラは、ユーザの左目及び右目の左右の画像をキャプチャすることができる。次いで、キャプチャされた画像は、610で開始される処理のために視線追跡パイプラインに入力される。要素600に戻る矢印によって示されるように、視線追跡システムは、例えば、1秒当たり60~120フレームの速度で、ユーザの目の画像をキャプチャし続けることができる。いくつかの実施形態では、キャプチャされた画像の各セットが、処理のためにパイプラインに入力されてもよい。しかしながら、いくつかの実施形態、又はいくつかの条件下では、全てのキャプチャされたフレームがパイプラインによって処理されるわけではない。
610で、現在のキャプチャされた画像について、追跡状態がはいである場合、この方法は要素640に進む。610で、追跡状態がいいえである場合、620に示されるように、画像が解析されて、画像内のユーザの瞳孔及びグリントを検出する。630で、瞳孔とグリントが正常に検出される場合、方法は要素640に進む。正常に検出されない場合、方法は要素610に戻り、ユーザの目の次の画像を処理する。
640で、要素410から進む場合、前のフレームからの先行情報に部分的に基づいて、現フレームが解析されて、瞳孔及びグリントを追跡する。640で、要素630から進む場合、現フレーム内の検出された瞳孔及びグリントに基づいて、追跡状態が初期化される。要素640での処理の結果は、追跡又は検出の結果が信頼できることを確認するためにチェックされる。例えば、結果は、瞳孔及び視線推定を実行するための十分な数のグリントが現フレームで正常に追跡又は検出されるかどうかを判定するためにチェックすることができる。650で、結果が信頼できない場合、追跡状態はいいえに設定され、方法は要素610に戻り、ユーザの目の次の画像を処理する。650で、結果が信頼できる場合、方法は要素670に進む。670で、追跡状態は、はいに設定され(まだはいではない場合)、瞳孔及びグリント情報が要素680に渡されて、ユーザの視点を推定する。
図6は、特定の実施で使用され得るアイトラッキング技術の一例として機能することを意図している。当業者によって認識されるように、現在存在するか、又は将来開発される他のアイトラッキング技術は、様々な実施形態によるCGR体験をユーザに提供するためにコンピュータシステム101において、本明細書に記載されるグリント支援アイトラッキング技術の代わりに、又はそれと組み合わせて使用することができる。
したがって、本明細書の説明は、現実世界オブジェクトの表現及び仮想オブジェクトの表現を含む3次元環境(例えば、CGR環境)のいくつかの実施形態を説明する。例えば、3次元環境は、(例えば、電子デバイスのカメラ及びディスプレイを介して能動的に、又は電子デバイスの透明若しくは半透明のディスプレイを介して受動的に)3次元環境においてキャプチャ及び表示される、物理的環境に存在するテーブルの表現を任意選択的に含む。前述のように、3次元環境は、任意選択的に、3次元環境が、デバイスの1つ以上のセンサによって取り込まれ、表示生成コンポーネントを介して表示される物理的環境に基づく複合現実感システムである。複合現実感システムとして、デバイスは、任意選択的に、物理的環境のそれぞれの部分及び/又はオブジェクトが、電子デバイスによって表示される3次元環境内に存在するかのように見えるように、物理的環境のそれぞれの部分及び/又はオブジェクトを選択的に表示することができる。同様に、デバイスは、任意選択的に、現実世界において対応する位置を有する3次元環境におけるそれぞれの位置に仮想オブジェクトを配置することによって、仮想オブジェクトが現実世界(例えば、物理的環境)に存在するかのように見えるように、3次元環境に仮想オブジェクトを表示することができる。例えば、デバイスは、任意選択的に、現実の花瓶が物理的環境内のテーブルの上に置かれているかのように見えるように、花瓶を表示する。いくつかの実施形態では、3次元環境内の各位置は、物理的環境内に対応する位置を有する。したがって、デバイスが、物理オブジェクトに対して個別の位置(例えば、ユーザの手若しくはその近くの位置、又は物理的なテーブル若しくはその近くの位置など)に仮想オブジェクトを表示するものとして説明されるとき、デバイスは、仮想オブジェクトが物理的世界内の物理オブジェクト又はその近くにあるかのように見えるように、3次元環境内の特定の位置に仮想オブジェクトを表示する(例えば、仮想オブジェクトは、仮想オブジェクトがその特定の位置にある現実のブジェクトであった場合に仮想オブジェクトが表示される物理的環境内の位置に対応する3次元環境内の位置に表示される)。
いくつかの実施形態では、3次元環境に表示される物理的環境に存在する実世界オブジェクトは、3次元環境にのみ存在する仮想オブジェクトと相互作用することができる。例えば、3次元環境は、テーブルと、テーブルの上に配置された花瓶とを含むことができ、テーブルは、物理的環境内の物理テーブルのビュー(又は表現)であり、花瓶は、仮想オブジェクトである。
同様に、ユーザは、任意選択的に、仮想オブジェクトが物理的環境内の実オブジェクトであるかのように、1つ以上の手を使用して3次元環境内の仮想オブジェクトと相互作用することができる。例えば、上述のように、デバイスの1つ以上のセンサは、任意選択的に、ユーザの手のうちの1つ以上をキャプチャし、3次元環境にユーザの手の表現を表示する(例えば、上述の3次元環境に現実世界オブジェクトを表示するのと同様の方法で)か、又はいくつかの実施形態では、ユーザの手は、ユーザインタフェースを表示している表示生成コンポーネントの一部の透明/半透明性、又は透明/半透明面へのユーザインタフェースの投影、又はユーザの目若しくはユーザの目の視野へのユーザインタフェースの投影のために、ユーザインタフェースを介して物理的環境を見る能力によって表示生成コンポーネントを介して見ることができる。したがって、いくつかの実施形態では、ユーザの手は、3次元環境内の個別の位置に表示され、物理的環境内の実際の物理オブジェクトであるかのように、3次元環境内の仮想オブジェクトと相互作用することができる3次元環境内のオブジェクトであるかのように扱われる。いくつかの実施形態では、ユーザは、自分の手を動かして、3次元環境における手の表現をユーザの手の動きと連動して動かすことができる。
以下に説明する実施形態のうちのいくつかでは、デバイスは、任意選択的に、例えば、物理オブジェクトが仮想オブジェクトと相互作用しているかどうか(例えば、仮想オブジェクトに対して手が触れているか、掴んでいるか、保持しているかなど、又は仮想オブジェクトから閾値距離内か)を判定する目的で、物理的世界内の物理オブジェクトと3次元環境内の仮想オブジェクトとの間の「有効」距離を判定することができる。例えば、デバイスは、ユーザが仮想オブジェクトと相互作用しているかどうか、及び/又はユーザが仮想オブジェクトとどのように相互作用しているかを決定する際に、ユーザの手と仮想オブジェクトとの間の距離を決定する。いくつかの実施形態では、デバイスは、3次元環境内の手の位置と、3次元環境内の対象の仮想オブジェクトの位置との間の距離を決定することによって、ユーザの手と仮想オブジェクトとの間の距離を決定する。例えば、ユーザの1つ以上の手は、物理的世界内の特定の位置に位置付けられ、デバイスは、任意選択的に、これをキャプチャして3次元環境内の特定の対応する位置(例えば、手が物理的な手ではなく仮想的な手である場合に手が表示される3次元環境内の位置)に表示する。3次元環境における手の位置は、任意選択的に、ユーザの1つ以上の手と仮想オブジェクトとの間の距離を決定するために、3次元環境における対象の仮想オブジェクトの位置と比較される。いくつかの実施形態では、デバイスは、任意選択的に、(例えば、3次元環境における位置を比較することとは対照的に)物理的世界における位置を比較することによって、物理オブジェクトと仮想オブジェクトとの間の距離を決定する。例えば、ユーザの1つ以上の手と仮想オブジェクトとの間の距離を決定するとき、デバイスは、任意選択的に、仮想オブジェクトの物理的世界内の対応する位置(例えば、仮想オブジェクトが仮想オブジェクトではなく物理オブジェクトである場合に仮想オブジェクトが物理的世界内に位置する位置)を決定し、次いで、対応する物理的位置とユーザの1つ以上の手との間の距離を決定する。いくつかの実施形態では、任意の物理オブジェクトと任意の仮想オブジェクトとの間の距離を決定するために、同じ技法が任意選択的に使用される。したがって、本明細書に記載されるように、物理オブジェクトが仮想オブジェクトと接触しているかどうか、又は物理オブジェクトが仮想オブジェクトの閾値距離内にあるかどうかを決定するとき、デバイスは、物理オブジェクトの位置を3次元環境にマッピングする、及び/又は仮想オブジェクトの位置を物理的世界にマッピングするために、上述の技術のいずれかを任意選択的に実行する。
いくつかの実施形態では、同じ又は同様の技術を使用して、ユーザの視線がどこに向けられているか、及び/又はユーザによって保持された物理的スタイラスがどこに向けられているかを決定する。例えば、ユーザの視線が物理的環境内の特定の位置に向けられている場合、デバイスは、任意選択的に、3次元環境内の対応する位置を決定し、仮想オブジェクトがその対応する仮想位置に位置する場合、デバイスは、任意選択的に、ユーザの視線がその仮想オブジェクトに向けられていると決定する。同様に、デバイスは、任意選択的に物理スタイラスの向きに基づいて、スタイラスが物理的世界のどこを指しているかを決定することができる。いくつかの実施形態では、この判定に基づいて、デバイスは、スタイラスが指している物理的世界内の位置に対応する3次元環境内の対応する仮想位置を決定し、任意選択的に、スタイラスが3次元環境内の対応する仮想位置を指していると決定する。
同様に、本明細書で説明される実施形態は、ユーザ(例えば、デバイスのユーザ)の位置及び/又は3次元環境内のデバイスの位置を指し得る。いくつかの実施形態では、デバイスのユーザは、電子デバイスを保持しているか、装着しているか、又はそうでなければ電子デバイスに若しくはその近くに位置している。したがって、いくつかの実施形態では、デバイスの位置は、ユーザの位置のプロキシとして使用される。いくつかの実施形態では、物理的環境内のデバイス及び/又はユーザの位置は、3次元環境内の個別の位置に対応する。いくつかの実施形態では、個別の位置は、3次元環境の「カメラ」又は「ビュー」がそこから延在する位置である。例えば、デバイスの位置は、物理的環境内の位置(及び3次元環境内のその対応する位置)であり、そこから、ユーザが、表示生成コンポーネントによって表示される物理的環境の個別の部分に面してその位置に立った場合、ユーザは、物理的環境内のオブジェクトを、それらがデバイスの表示生成コンポーネントによって表示されるのと同じ位置、向き、及び/又はサイズで(例えば、絶対的に及び/又は互いに対して)見ることになる。同様に、3次元環境内に表示された仮想オブジェクトが物理的環境内の物理オブジェクトであった場合(例えば、3次元環境内と同じ物理的環境内の位置に配置され、3次元環境内と同じ物理的環境内のサイズ及び向きを有する)、デバイス及び/又はユーザの位置は、デバイスの表示生成コンポーネントによって表示されるのと同じ位置、向き、及び/又はサイズで(例えば、絶対的に、及び/又は互いに対して、及び現実世界のオブジェクトに対して)物理的環境内の仮想オブジェクトをユーザが見る位置である。
本開示では、コンピュータシステムとの相互作用に関して、様々な入力方法が説明される。一実施例が1つの入力デバイス又は入力方法を使用して提供され、別の例が別の入力デバイス又は入力方法を使用して提供される場合、各例は、別の例に関して記載された入力デバイス又は入力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な出力方法が、コンピュータシステムとの相互作用に関して説明される。一実施例が1つの出力デバイス又は出力方法を使用して提供され、別の例が別の出力デバイス又は出力方法を使用して提供される場合、各例は、別の例に関して記載された出力デバイス又は出力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な方法が、コンピュータシステムを介した仮想環境又は複合現実環境との相互作用に関して説明される。一実施例が仮想環境との相互作用を使用して提供され、別の例が複合現実環境を使用して提供される場合、各例は、別の例に関して説明された方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。したがって、本開示は、各例示的な実施形態の説明における実施形態の全ての特徴を網羅的に列挙することなく、複数の例の特徴の組み合わせである実施形態を開示する。
更に、1つ以上のステップが満たされている1つ以上の条件を条件とする本明細書に記載の方法では、記載の方法は、繰り返しの過程にわたって、本方法のステップが条件とする条件の全てが本方法の異なる繰り返しで満たされるように、複数の繰り返しで繰り返されることができることを理解されたい。例えば、ある方法が、条件が満たされた場合に第1のステップを実行し、条件が満たされなかった場合に第2のステップを実行することを必要とする場合、当業者であれば、条件が満たされ、満たされなくなるまで、請求項に記載のステップが、特定の順序で繰り返されることを理解するであろう。したがって、満たされた1つ以上の条件に依存する1つ以上のステップで説明される方法は、方法に記載された各条件が満たされるまで繰り返される方法として書き換えられることができる。しかしながら、これは、システム又はコンピュータ可読媒体が、対応する1つ以上の条件の充足に基づいて条件付き動作を実行するための命令を含み、したがって、方法のステップが条件付きである全ての条件が満たされるまで、方法のステップを明示的に繰り返すことなく偶発性が満たされたか否かを判定することができる、システム又はコンピュータ可読媒体の請求項には必要とされない。当業者はまた、条件付きステップを有する方法と同様に、システム又はコンピュータ可読記憶媒体が、条件付きステップの全てが実行されたことを確実にするために必要な回数だけ方法のステップを繰り返すことができることを理解するであろう。
ユーザインタフェース及び関連するプロセス
ここで、ユーザインタフェース(「UI」)の実施形態、及び、表示生成コンポーネント、1つ以上の入力デバイス、及び(任意選択的に)1つ又は複数のカメラを備えた、ポータブル多機能デバイス又はヘッドマウントデバイスなどのコンピュータシステムにおいて実行され得る関連プロセスに注目する。
図7A~7Cは、いくつかの実施形態による、ユーザの視線を検出することに少なくとも基づいて、電子デバイスがユーザインタフェース間をナビゲートする方法の例を示す。
図7Aは、表示生成コンポーネント120を介して、ユーザインタフェース上に3次元環境710を表示する電子デバイス101を示す。しかしながら、3次元環境以外のユーザインタフェースにおいて、図7A~図7Cを参照して本明細書で開示される技法のうちの1つ以上を実装することが可能であり、本開示の範囲から逸脱しないことを理解されたい。図1~図6を参照して上述したように、電子デバイス101は、任意選択的に、表示生成コンポーネント120(例えば、タッチスクリーン)及び複数の画像センサ314を含む。画像センサは、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又は任意の他のセンサのうちの1つ以上を含み、電子デバイス101は、ユーザが電子デバイス101と相互作用している間、ユーザ又はユーザの一部の1つ以上の画像をキャプチャするために使用することができる。いくつかの実施形態では、表示生成コンポーネント120は、ユーザの手のジェスチャ及び動きを検出することができるタッチスクリーンである。いくつかの実施形態では、以下に示すユーザインタフェースは、ユーザにユーザインタフェースを表示する表示生成コンポーネントと、物理的環境及び/又はユーザの手の動き(例えば、ユーザから外向きに面する外部センサ)、及び/又はユーザの視線(例えば、ユーザの顔に向かって内向きに面する内部センサ)を検出するセンサとを含むヘッドマウントディスプレイに実装することもできる。
図7Aにおいて、電子デバイス101は、複数のオブジェクト704a~704f及びナビゲーションバー706を含むユーザインタフェースを3次元環境710に表示する。いくつかの実施形態では、ナビゲーションバー706は、図9A~図10Kを参照して以下で説明する制御要素と同様に挙動する。
いくつかの実施形態では、図7Aに示すユーザインタフェースは、コンテンツを閲覧するためのユーザインタフェースであり、オブジェクト704a~704fは、選択されると、電子デバイス101に個別のコンテンツアイテムを3次元環境710に提示させるコンテンツアイテムの表現である。例えば、ユーザインタフェースは写真閲覧アプリケーションであり、表現704a~704fは、選択されると、電子デバイス101に選択されたサムネイルのより大きなバージョンを3次元環境710に提示させる写真のサムネイルである。別の例として、ユーザインタフェースはビデオコンテンツアプリケーションであり、表現704a~704fは、選択されると、電子デバイス101に、選択されたオブジェクトに対応するビデオコンテンツを提示させるビデオコンテンツのサムネイルである。いくつかの実施形態では、ユーザインタフェースは、選択されると、電子デバイス101に異なるユーザインタフェースを表示させるオブジェクト704a~fを含む任意のユーザインタフェースである。
いくつかの実施形態では、電子デバイス101は、ユーザの視線を検出することを含むユーザ入力に応じて、図7Aに示すユーザインタフェースから、オブジェクト704a~704fのうちの選択された1つに関連付けられたユーザインタフェース(例えば、選択されたオブジェクトに関連付けられたコンテンツのアイテムを含むユーザインタフェース)に移行する。いくつかの実施形態では、入力は視線のみを含む。いくつかの実施形態では、入力は、ユーザの視線を検出しながら、手708でジェスチャを実行するユーザを検出することを含む。
例えば、図7Aに示すように、電子デバイス101は、オブジェクトB 704bに向けられたユーザの視線702aを検出する。ユーザの手708で実行されているジェスチャなどの追加の入力を検出することなくユーザの視線702aを検出したことに応じて、電子デバイス101は、オブジェクトB 704bに対応するユーザインタフェースに移行するためのアニメーションを提示する。いくつかの実施形態では、アニメーションは、ユーザの視線702aがオブジェクトB 704bに向けられたままであるときに徐々に展開するオブジェクトB 704bのアニメーションを表示することを含む。アニメーションは、任意選択的に、オブジェクトB 704bに対応するコンテンツのアイテム(例えば、オブジェクトB 704bのより大きなバージョン)など、オブジェクトB 704bがオブジェクトB 704Bに対応するユーザインタフェースに展開し終わるまで、視線702aがオブジェクトB 704bに向けられたまま閾値時間(例えば、0.5、1秒など)だけ進行する。図7Bは、図7Aに示すユーザインタフェースから図7Cに示すユーザインタフェース(例えば、オブジェクトB 704bに関連付けられたユーザインタフェース)へのアニメーション化された移行のアニメーションの中間フレームを示す。
図7Bに示すように、アニメーションが進行している間、電子デバイス101は、図7AにおいてオブジェクトB 704bが表示されていたサイズよりも大きいサイズでオブジェクトB 704bを表示する。いくつかの実施形態では、電子デバイス101は、オブジェクトB 704bに対するユーザの視線702bを検出し続けることに応じて、アニメーションが進行するにつれて、オブジェクトB 704bのサイズを徐々に増加させ続ける。いくつかの実施形態では、オブジェクトB 704bのサイズを徐々に増加させることは、オブジェクトB 704bに含まれる画像(単数又は複数)を拡大することを含む。例えば、オブジェクトB 704bが画像である場合、電子デバイス101は、表示生成コンポーネント120上の画像のサイズを増加させる。別の例として、オブジェクトB 704bが図7Cに示すユーザインタフェースの画像である場合、電子デバイス101は、ユーザインタフェースの画像を図7Cに示すユーザインタフェースのフルサイズに拡大する。例えば、図7Cのユーザインタフェースが複数のユーザインタフェース要素を含む場合、ユーザインタフェース要素のサイズ及び間隔は、電子デバイス101がアニメーションを表示するにつれて増加する。
いくつかの実施形態では、アニメーションは、オブジェクト704a~f及びナビゲーションバー706以外の3次元環境710の部分を修正することを含む。例えば、図7Bはまた、アニメーションが進行するにつれて、オブジェクトB 704bに対応しない3次元環境710の部分を暗くする(例えば、ユーザインタフェースの背景を暗くする)電子デバイス101を示す。いくつかの実施形態では、電子デバイスはまた、オブジェクト704a及び704c~f並びにナビゲーションバー706をぼかす及び/又は暗くする。いくつかの実施形態では、電子デバイス101は、オブジェクトB 704bに対するユーザの視線702bを検出し続けることに応じて、アニメーションが進行するにつれて、オブジェクトB 704bに対応しない3次元環境710の部分を徐々に暗くし続ける。いくつかの実施形態では、図7Bに示すアニメーションは、オブジェクトB 704bに対応しない3次元環境710の部分を更に修正することを含む。いくつかの実施形態では、電子デバイス101は、オブジェクトB 704bに含まれない3次元環境710の部分をぼかす。例えば、追加の仮想オブジェクトが図7A~図7Bに示す3次元環境710内に表示された場合、オブジェクトは、アニメーションが進行するにつれて徐々にぼける。いくつかの実施形態では、アニメーションは、3次元環境710において雰囲気照明効果を徐々に表示することを更に含む。いくつかの実施形態では、雰囲気照明効果は、仮想照明効果を作成するために、3次元環境710内の仮想オブジェクトの輝度、色バランス、コントラストなどを修正することを含む。いくつかの実施形態では、図7Aの照明効果は、明るい中間色の照明効果であり、アニメーションが進行するにつれて、照明効果は、オブジェクトB 714B以外のユーザインタフェースの部分を暗くすることを含むスポットライト照明効果に移行する。
いくつかの実施形態では、図7Bに示すアニメーションが進行する間に、電子デバイス101は、オブジェクトB 704bに関連付けられたビデオコンテンツの再生を開始する。例えば、オブジェクトB 704bがビデオコンテンツの表現である場合、(例えば、ビデオコンテンツを再生するために図7Cのユーザインタフェースの表示を待つ代わりに)、アニメーションが始まるとビデオコンテンツは再生を開始する。いくつかの実施形態では、オブジェクトB 704bは、ビデオシーケンスに含まれる画像の表現であり、ビデオシーケンスは、(例えば、図7Cに示すユーザインタフェースの表示を待つ代わりに)、アニメーションが始まると再生を開始する。
いくつかの実施形態では、図7Bに示すアニメーションを表示することは、オブジェクトB 704bとユーザインタフェースの残り(例えば、ナビゲーションバー706並びにオブジェクト704a及び704c~f)との間の距離及び/又は間隔を増加させることを含む。例えば、アニメーションは、3次元環境710においてユーザの視点に近づくようにオブジェクトB 704bをアニメーション化することを含む。別の例として、アニメーションは、3次元環境710においてユーザの視点から離れるように移動するユーザインタフェースの残り(例えば、ナビゲーションバー706並びにオブジェクト704a及び704c~f)を含む。いくつかの実施形態では、3次元環境におけるユーザの視点は、3次元環境710における電子デバイス101のユーザに関連付けられた位置及び向きである。電子デバイス101は、任意選択的に、ユーザの視点から3次元環境710を表示する。
いくつかの実施形態では、アニメーションが提示されている間及びアニメーションが完了する前に、ユーザの視線702bがオブジェクトB 704bから離れた(例えば、オブジェクトB 704bの外側の3次元環境710の一部に向けられた)ことを検出したことに応じて、電子デバイス101は、アニメーションの表示を中止し、図7Aに示すユーザインタフェースを表示する。いくつかの実施形態では、電子デバイス101は、図7Aに示すユーザインタフェースに戻るために、図7Bに示すアニメーションを逆に表示する。いくつかの実施形態では、オブジェクトB 714Bに向けられたユーザの視線702bを検出し続けることに応じて、電子デバイス101は、アニメーションを完了するまで(例えば、閾値時間量(例えば、0.5、1、5、10秒など))アニメーションを進行し続け、図7Cに示すユーザインタフェースを表示する。
したがって、図7A~図7Bを参照して上述したように、電子デバイス101は、閾値時間量(例えば、0.5、1、5、10、秒など)の間オブジェクトB 714Bに向けられたユーザの視線702a~702bを検出したことに応じて、図7Cに示すオブジェクトB 714Bに対応するユーザインタフェースを表示する。いくつかの実施形態では、電子デバイス101は、視線が検出されている間の閾値期間の持続時間の間、図7Aに示すユーザインタフェースと図7Cに示すユーザインタフェースとの間の移行のアニメーションを表示する。
いくつかの実施形態では、電子デバイス101は、ユーザの視線がオブジェクトB 704bに向けられている間に(例えば、デバイス101の1つ以上のカメラ又はセンサを使用して)ユーザが自分の手708で所定のジェスチャを実行していることを検出したことに応じて、閾値時間量未満で図7Cに示すユーザインタフェースにナビゲートする。いくつかの実施形態では、所定のジェスチャは、ユーザが親指と同じ手の別の指(例えば、人差し指、中指、薬指、小指)に親指で触れることを含む。図7Aに戻ると、ユーザが自分の手708でジェスチャを実行していることを検出している間に、オブジェクトB 704bに対するユーザの視線702aを検出したことに応じて、電子デバイス101は、所定の時間閾値にわたってアニメーション全体を表示することなく、図7Cに移行する。いくつかの実施形態では、電子デバイス101は、より短い時間でより速い速度でアニメーションを表示するか、又はアニメーションの表示を取り止める。
いくつかの実施形態では、電子デバイス101は、ジェスチャが検出される前にアニメーションの表示を開始する。図7Bは、アニメーションが表示されている間にユーザが自分の手708でジェスチャを実行していることを検出する電子デバイス101を示す。ユーザの視線702bが図7BのオブジェクトB 704bに向けられている間にユーザが手708でジェスチャを実行していることを検出したことに応じて、電子デバイス101は、閾値時間量未満(例えば、ジェスチャのアニメーションを表示するのにかかる時間が検出されない)で図7Cに示すユーザインタフェースに移行する。いくつかの実施形態では、電子デバイス101は、ジェスチャに応じてアニメーションの速度を増加させるか、又はジェスチャに応じて図7Cに示すユーザインタフェースを表示するためにアニメーションの表示を中止する。
図7Cは、オブジェクトB 704bに関連付けられたユーザインタフェースを示す。図7A~図7Bを参照して上述したように、電子デバイス101は、ユーザが自分の手で所定のジェスチャを実行していることを検出して又は検出することなく、オブジェクトB 704bに対するユーザの視線を検出したことに応じて、図7Cに示すユーザインタフェースを表示する。図7Cに示すように、ユーザインタフェースは、オブジェクトB 704bの拡大バージョンを含む。いくつかの実施形態では、オブジェクトB 704bは画像(例えば、写真)である。いくつかの実施形態では、オブジェクトB 704bはビデオコンテンツを含み、電子デバイス101は、図7Cに示すユーザインタフェースを表示している間にユーザからの追加の入力を検出することなく、図7Aで検出された入力に応じてビデオコンテンツを再生する。いくつかの実施形態では、電子デバイス101は、図7Bに示すアニメーションを表示しながら、ビデオコンテンツの再生を開始する。いくつかの実施形態では、オブジェクトB 704bは、図7A及び図7Bよりもより大きなサイズで、かつ増加した間隔で図7Cに表示される複数のユーザインタフェース要素を含むユーザインタフェースである。
図7Cに示すように、ユーザインタフェースを表示することは、オブジェクト704a、704c、704d、704f及びナビゲーションバー706を含む、3次元環境710内の他のオブジェクトの表示を修正することを含む。いくつかの実施形態では、電子デバイス101は、オブジェクト704a、704c、704d、704f及びナビゲーションバー706、並びにオブジェクトB 704b以外の3次元環境710に表示された任意の他のコンテンツをぼかす。いくつかの実施形態では、図7Cに示すユーザインタフェースは、オブジェクトB 704b上のスポットライトなどの雰囲気照明効果を含む。いくつかの実施形態では、雰囲気照明効果は、オブジェクトB 704bが、3次元環境710内の他のオブジェクトのぼかされたバージョン及び/又は暗くされたバージョンから反射する光を放出しているかのように見えるように、3次元環境710を表示することを含む。いくつかの実施形態では、オブジェクトB 704bとオブジェクト704a、704c、704d、及び704f並びにナビゲーションバー706との間の間隔量は、図7A及び図7Bよりも図7Cの方が大きい。例えば、電子デバイス101は、3次元環境710においてオブジェクトB 704bをユーザの視点に向かって移動させるか、又は3次元環境710においてオブジェクト704a、704c、704d、及び704f並びにナビゲーションバー706をユーザから離れるように移動させる。
いくつかの実施形態では、電子デバイス101は、図7Cに示すユーザインタフェースから、オブジェクト704a又は704c~fのうちの異なる1つに関連付けられたユーザインタフェースにナビゲートする。例えば、オブジェクト704a~fは、画像又は写真であり、電子デバイス101は、図7CにおいてオブジェクトB 704bによって表される写真を表示することから、同様に別の写真を表示することに移行する。いくつかの実施形態では、電子デバイス101は、ユーザが上記で説明した所定のジェスチャを実行し、その手のジェスチャを維持しながら、及び/又はオブジェクトB 704bを見ながら、ユーザの手を左又は右に動かしたことを検出したことに応じて、オブジェクト704a又は704c~fのうちの異なる1つに関連付けられたユーザインタフェースを表示することに移行する。例えば、電子デバイス101は、第1の方向(例えば、右)への手の動きを含む入力を検出したことに応じて、図7Aに示すユーザインタフェースを表示することなく、オブジェクトA 704aによって表される写真を表示するように移行し、又は第2の方向(例えば、左)への手の動きを含む入力を検出したことに応じて、図7Aに示すユーザインタフェースを表示することなく、オブジェクトC 704cによって表される写真を表示するように移行する。いくつかの実施形態では、オブジェクト704a~fに対応するユーザインタフェース間で移行している間、電子デバイス101は、3次元環境710の残りの部分の視覚効果(例えば、ぼかし、暗化、間隔の増加、雰囲気照明)を維持する。いくつかの実施形態では、電子デバイス101は、所定の時間閾値(例えば、0.2、0.5、1、2秒など)の間のオブジェクトB 704b以外のユーザインタフェースの領域に対するユーザの視線を検出したことに応じて、及び/又はユーザが自分の手で所定のジェスチャ(例えば、ピンチジェスチャ)を実行していることを検出している間に、図7Cに示すユーザインタフェースを表示することから図7Aに示すユーザインタフェースに移行する。
したがって、図7A~図7Cは、電子デバイスがユーザの視線を検出することに少なくとも基づいて、ユーザインタフェース間をナビゲートする方法を示す。視線のみを含む入力を検出したことに応じて、電子デバイス101は、所定の持続時間の間、ユーザインタフェース間のアニメーション移行を表示する。視線に加えて入力(例えば、手ジェスチャ)を検出したことに応じて、電子デバイス101は、アニメーションをスキップするか又はアニメーションをより速い速度で表示することなどによって、所定の持続時間よりも速くユーザインタフェース間を移行する。図7A~図7Cは、オブジェクトB 704bに対応するユーザインタフェースを表示する電子デバイス101を示すが、入力が代わりに他のオブジェクト704a又は704b~fのうちの1つに向けられた場合、電子デバイス101は同様に挙動することを理解されたい。
図8A~図8Fは、いくつかの実施形態による、ユーザの視線を検出することに少なくとも基づいてユーザインタフェース間をナビゲートする方法を示すフローチャートである。いくつかの実施形態では、方法800は、コンピュータシステム(例えば、タブレット、スマートフォン、ウェアラブルコンピュータ、又はヘッドマウントデバイスなどの図1のコンピュータシステム101)で実行される。表示生成コンポーネント(例えば、図1、図3、及び図4の表示生成コンポーネント120)を含む(例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど)及び1つ以上のカメラ(例えば、カメラ(例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ))は、ユーザの手又はユーザの頭部から前方に向くカメラである。いくつかの実施形態では、方法800は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1Aの制御ユニット110)など、コンピュータシステムの1つ以上のプロセッサによって実行される命令によって実行される。方法800の一部の動作は、任意選択的に組み合わされ、及び/又は一部の動作の順序は、任意選択的に変更される。
図7Aなどのいくつかの実施形態では、方法800は、表示生成コンポーネント及びアイトラッキングデバイスを含む1つ以上の入力デバイス(例えば、モバイルデバイス(例えば、タブレット、スマートフォン、メディアプレーヤ、若しくはウェアラブルデバイス)、又はコンピュータ)と通信する電子デバイスにおいて実行される。いくつかの実施形態では、表示生成コンポーネントは、電子デバイス(任意選択的にタッチスクリーンディスプレイ)と一体化されたディスプレイ、モニタ、プロジェクタ、テレビなどの外部ディスプレイ、又はユーザインタフェースを投影し1人以上のユーザにユーザインタフェースが可視であるようにするためのハードウェア構成要素(任意選択的に組み込み若しくは外部)などである。いくつかの実施形態では、1つ以上の入力デバイスは、表示データを受信し(例えば、ユーザ入力をキャプチャし、ユーザ入力を検出するなど)、ユーザ入力に関連する情報を電子デバイスに送信することができる電子デバイス又はコンポーネントを含む。入力デバイスの例としては、タッチスクリーン、マウス(例えば、外部)、トラックパッド(任意選択的に統合又は外部)、タッチパッド(任意選択的に統合又は外部)、リモートコントロールデバイス(例えば、外部)、別のモバイルデバイス(例えば、電子デバイスとは別個)、ハンドヘルドデバイス(例えば、外部)、コントローラ(例えば、外部)、カメラ、深度センサ、アイトラッキングデバイス、及び/又は動きセンサ(例えば、ハンドトラッキングデバイス、手動きセンサ)などが挙げられる。
図7Aなどのいくつかの実施形態では、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、第2のユーザインタフェースに関連付けられた個別のユーザインタフェース要素(例えば、704b)を含む第1のユーザインタフェースを表示する(802a)。いくつかの実施形態では、第1のユーザインタフェースは、デバイス(例えば、仮想現実(VR)環境、複合現実(MR)環境、又は拡張現実(AR)環境などのコンピュータ生成現実(CGR)環境)によって生成、表示、又はその他の方法で閲覧可能にされる3次元環境で表示される。いくつかの実施形態では、個別のユーザインタフェース要素の選択の検出に応じて、電子デバイスは第2のユーザインタフェースを提示する。例えば、第1のユーザインタフェースは、複数の写真のサムネイルを含む写真閲覧ユーザインタフェースであり、選択されると、電子デバイスに、選択されたサムネイルに対応する写真のより大きなバージョンを有するユーザインタフェースを表示させる。
図7Aなどのいくつかの実施形態では、第1のユーザインタフェースを表示している間に、電子デバイス(例えば、101)は、アイトラッキングデバイスを介して、ユーザの視線(例えば、702a)が個別のユーザインタフェース要素(例えば、704b)に向けられていることを検出する(802b)。
いくつかの実施形態では、図7Bのように、個別のユーザインタフェース要素(例えば、704b)に向けられたユーザの視線(例えば、702b)を含む入力を検出したことに応じて(802c)、ユーザの視線(例えば、702b)が時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、0.75、0.1秒、0.5、1、2、3秒など)よりも長く個別のユーザインタフェース要素(例えば、704b)に向けられ続けているという判定に従って、電子デバイス(例えば、101)は、図7Cのように、第2のユーザインタフェース(例えば、704b)にナビゲートする(802d)。いくつかの実施形態では、電子デバイスは、ユーザの視線が時間閾値の間、個別のユーザインタフェース要素に向けられ続けている間に、第2のユーザインタフェースにナビゲートするアニメーションを表示する。いくつかの実施形態では、アニメーションは、時間閾値に等しい持続時間を有する。いくつかの実施形態では、第2のユーザインタフェースを表示することは、第1のユーザインタフェースの表示を中止することを含む。いくつかの実施形態では、電子デバイスは、第1のユーザインタフェース上にオーバーレイされた第2のユーザインタフェースを表示し(例えば、第1のユーザインタフェースは、第2のユーザインタフェースの背後の背景として表示される)、第2のユーザインタフェースによってオーバーレイされていない第1のユーザインタフェースの少なくとも一部が重ならないように表示し続ける。例えば、アイトラッキングデバイスを介して、所定の時間閾値の間、ユーザの視線が写真ユーザインタフェース内のサムネイルに向けられていることを検出したことに応じて、電子デバイスは、複数のサムネイルを有する写真ユーザインタフェースの代わりに、又は写真ユーザインタフェース上にオーバーレイされて、サムネイルに対応する写真のより大きいバージョンを表示する。
いくつかの実施形態では、図7Bのように、個別のユーザインタフェース要素(例えば、704b)に向けられたユーザの視線(例えば、702b)を含む入力を検出したこと(802c)に応じて、ユーザの視線が時間閾値よりも短い間、個別のユーザインタフェース要素に向けられたときに1つ以上の入力デバイスを介して選択入力が検出されたという判定に従って、電子デバイス(例えば、101)は、図7Cのように、視線が時間閾値よりも長い間、個別のユーザインタフェース要素に向けられ続けるのを待つことなく、第2のユーザインタフェース(例えば、704b)にナビゲートする(802e)。いくつかの実施形態では、選択入力を検出することは、ハンドトラッキングデバイスを介して、所定のジェスチャ(例えば、指(例えば、人差し指、中指、薬指、小指)を親指にタップすること、個別のユーザインタフェース要素の位置に対応する位置に向かって1本の指を伸ばすこと)の実行を検出することを含む。いくつかの実施形態では、選択入力を検出することは、タッチ感知面(例えば、タッチスクリーン、トラックパッドなど)、キーボード、又はマウスを介して入力を検出することを含む。いくつかの実施形態では、電子デバイスは、電子デバイスが選択入力を検出することなく(例えば、視線のみに基づいて)第2のユーザインタフェースにナビゲートする時間閾値よりも短い時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、0.75秒など)の間の個別のユーザインタフェース要素に対するユーザの視線を検出している間に選択入力を検出したことに応じて、第2のユーザインタフェースにナビゲートする。いくつかの実施形態では、電子デバイスは、ユーザの視線が個別のユーザインタフェース要素に向けられている期間に関係なく、選択入力を検出すると同時に、個別のユーザインタフェース要素に向けられたユーザの視線を検出したことに応じて、第2のユーザインタフェースにナビゲートする。例えば、ハンドトラッキングデバイスを介して、ユーザが親指と人差し指を一緒にタップしたことを検出し、一方、アイトラッキングデバイスを介して、ユーザの視線が複数の写真を含む写真ユーザインタフェース内のサムネイルに向けられたことを検出したことに応じて、電子デバイスは、複数のサムネイルを有する写真ユーザインタフェースの代わりに、又は写真ユーザインタフェース上に重ねて、サムネイルに対応する写真のより大きいバージョンを表示する。いくつかの実施形態では、閾値期間の間の個別のユーザインタフェース要素上のユーザの視線の検出に応じて、又は閾値時間未満の間の個別のユーザインタフェースに対するユーザの視線の検出と個別のユーザインタフェース要素の選択との同時検出に応じて、電子デバイスは、個別のユーザインタフェース要素に関連付けられた第2のユーザインタフェースにナビゲートする。いくつかの実施形態では、選択入力を検出することなく時間閾値が経過する前に、ユーザの視線が個別のユーザインタフェース要素から離れたという判定に従って、電子デバイスは、第2のユーザインタフェースへのナビゲートを取り止め、第1のユーザインタフェースを表示し続ける。
閾値期間にわたって個別のユーザインタフェース要素に向けられたユーザの視線を検出すること、又は閾値期間よりも短い期間にわたって個別のユーザインタフェース要素に向けられたユーザの視線を検出している間に個別のユーザインタフェース要素の選択を検出することのいずれかに応じて、第2のユーザインタフェースにナビゲートする上述の方法は、より短い時間又はより少ない入力で第2のユーザインタフェースにナビゲートする効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって電力使用を低減し、電子デバイスのバッテリ寿命を改善し、使用時のエラーを低減する。
図7Bなどのいくつかの実施形態では、選択入力は、電子デバイスと通信しているハンドトラッキングデバイスによって検出される(804a)、ユーザの手(例えば、708)によって実行される個別のジェスチャを含む。いくつかの実施形態では、ハンドトラッキングデバイスは、1つ以上のカメラ、深度センサ、近接センサ、及び/又はタッチセンサ(例えば、タッチスクリーンに組み込まれる)を含む。ジェスチャを検出することは、任意選択的に、ユーザが自分の親指で親指と同じ手の他の指(例えば、人差し指、中指、薬指、小指)のうちの1つに触れていることを検出することを含む。
選択入力として手のジェスチャを検出する上述の方法は、ユーザがユーザインタフェースにおいて選択を行うことができる効率的な機構を提供し、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって(例えば、ボタン、キーなどの触覚入力デバイスを使用するのに必要な時間を短縮することによって)、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図7Aなどのいくつかの実施形態では、個別のユーザインタフェース要素(例えば、704b)は第1のサイズで表示され、第2のユーザインタフェース(例えば、704b)にナビゲートすることは、図7Cのように、第1のサイズ(804b)よりも大きい第2のサイズで第2のユーザインタフェースを表示することを含む。いくつかの実施形態では、第2のユーザインタフェースは、個別のユーザインタフェース要素のサイズよりも大きいサイズの個別のユーザインタフェース要素のコンテンツを含む。例えば、個別のユーザインタフェース要素は画像のサムネイルであり、第2のユーザインタフェースは、サムネイルよりも大きい画像のバージョンであるか、又はそれを含む。いくつかの実施形態では、個別のユーザインタフェース要素は、第2のユーザインタフェースのトリミングバージョンである。いくつかの実施形態では、個別のユーザインタフェース要素は、第2のユーザインタフェースのトリミングされ、縮小されたバージョンである(例えば、個別のユーザインタフェース要素は、第2のユーザインタフェースに含まれる画像の一部であり、第2のユーザインタフェースは、個別のユーザインタフェース要素のサイズよりも大きいサイズの画像の部分を含む)。いくつかの実施形態では、第2のユーザインタフェースは、個別のユーザインタフェース要素のコンテンツを含まない。例えば、個別のユーザインタフェース要素は、画像のコレクション(例えば、写真アルバム)の表現であり、第2のユーザインタフェースは、画像のコレクションに含まれる複数の画像を含む。いくつかの実施形態では、複数の画像の各画像は、個別の表現よりも大きい。いくつかの実施形態では、複数の画像の各画像は、個別の表現と同じサイズであるか、又はそれよりも小さい。
個別のユーザインタフェース要素よりも大きいサイズで第2のユーザインタフェースを表示する上述の方法は、個別のユーザインタフェース要素のより大きい、任意選択でより読みやすいバージョンを見る効率的な方法を提供し、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図7Aなどのいくつかの実施形態では、個別のユーザインタフェース要素(例えば、704b)に向けられたユーザの視線(例えば、702a)を含む入力を検出する前に、個別のユーザインタフェース要素は、第1の値を有する視覚特性(例えば、色、輝度、コントラスト、半透明性)で背景上に表示され、第2のユーザインタフェース(例えば、704b)にナビゲートすることは、図7Cのように、第1の値(804c)とは異なる第2の値を有する視覚特性(例えば、色、輝度、コントラスト、半透明性)で第2のユーザインタフェース(例えば、704b)を背景上に表示することを含む。いくつかの実施形態では、第2のユーザインタフェースの背景は、第1のユーザインタフェースの背景よりも暗い及び/又はぼやけている。いくつかの実施形態では、背景は第1のユーザインタフェースの一部である。いくつかの実施形態では、第1のユーザインタフェースは背景の上に表示される。いくつかの実施形態では、第1のユーザインタフェースの視覚特性も、背景の視覚特性のように変化する。
第2のユーザインタフェースにナビゲートするときに背景の視覚特性を更新する上述の方法は、視覚クラッタが低減された第2のユーザインタフェースのビューを提供し、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって(例えば、ユーザが第2のユーザインタフェースに集中することをより容易にし、認知的負担を低減することによって)、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第2のユーザインタフェース(例えば、704b)にナビゲートすることは、図7Cのように、表示生成コンポーネント(804d)を介して表示される1つ以上の他の表現(例えば、704c~f)に影響を与える照明効果を用いて第2のユーザインタフェース(例えば、704b)を表示することを含む。いくつかの実施形態では、電子デバイスは、アプリケーション、他のユーザインタフェース、ファイル、コンテンツ、仮想オブジェクト、及び/又は実オブジェクト(例えば、電子デバイスの物理的環境における物理オブジェクトの写実的な表現を含み、ユーザが表示生成コンポーネントの透明部分を通して実オブジェクトを見ることを可能にする方法で3次元環境を表示するパススルービデオ)の表現などのオブジェクトを含む3次元環境に第1及び第2のユーザインタフェースを表示する。いくつかの実施形態では、照明効果は、3次元環境内のオブジェクトの色及び/又は影を修正する。いくつかの実施形態では、電子デバイスは、第2のユーザインタフェースを表示しながら3次元環境が表示される照明効果とは異なる照明効果で、第1のユーザインタフェースを表示しながら3次元環境を表示する。いくつかの実施形態では、電子デバイスは、第2のユーザインタフェースからの「グロー」をシミュレートし、第2のユーザインタフェースからのグローをシミュレートする照明効果で3次元環境内の他のオブジェクトを表示する。例えば、電子デバイスは、第2のユーザインタフェースの背後から見える第1のユーザインタフェースの部分を、第2のユーザインタフェースからのグローの反射と共に表示する。照明効果を有する第2のユーザインタフェースを表示する上述の方法は、第2のユーザインタフェースを表示しながら1つ以上の他の表現の視覚クラッタを低減する効率的な方法を提供し、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって(例えば、ユーザが第2のユーザインタフェースに集中することをより容易にし、ユーザの認知的負担を低減することによって)、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、図7Bのように、ユーザの視線(例えば、702b)が個別のユーザインタフェース要素(例えば、704b)に向けられている間、及びユーザの視線(例えば、702b)が時間閾値よりも長い間、個別のユーザインタフェース要素(例えば、704b)に向けられる前、及び第2のユーザインタフェース(例えば、704b)にナビゲートする前に、電子デバイス(例えば、101)は、アイトラッキングデバイスを介して、ユーザの視線がもはや個別のユーザインタフェース要素(例えば、704b)に向けられていないことを検出する(806a)。いくつかの実施形態では、ユーザの視線は、時間閾値未満の期間、個別のユーザインタフェースに向けられる。いくつかの実施形態では、ユーザの視線は、電子デバイスによって表示される3次元環境内の異なるユーザインタフェース要素、異なるユーザインタフェース又はオブジェクトに向けられるか、又はユーザの視線は、表示生成コンポーネントから離れるように向けられる。いくつかの実施形態では、視線は、第1のユーザインタフェース及び/又は第1のユーザインタフェースに表示されている要素(例えば、第2のユーザインタフェースによってオーバーレイ及び/又は置換される過程にある)に向けて戻される。いくつかの実施形態では、ユーザの視線(例えば、702a)がもはや個別のユーザインタフェース要素(例えば、704b)に向けられていないことを検出したことに応じて、電子デバイス(例えば、101)は、図7Aのように、第2のユーザインタフェースへのナビゲートを取り止める(806b)。いくつかの実施形態では、電子デバイスは、ユーザの視線が個別のユーザインタフェース要素に向けられている間、第2のユーザインタフェースにナビゲートするアニメーションを表示する。いくつかの実施形態では、時間閾値に達する前に、個別のユーザインタフェース要素から離れたユーザの視線を検出したことに応じて、電子デバイスは、アニメーションの表示を中止し、アニメーションの表示を開始する前に第1のユーザインタフェースが表示されていたのと同じ方法で第1のユーザインタフェースを表示する。いくつかの実施形態では、電子デバイスは、アニメーションを逆に(例えば、アニメーションが提示された速度と同じ速度、より速い速度、又はより遅い速度で)提示することによって、アニメーションの表示から第1のユーザインタフェースの表示に移行する。
個別のユーザインタフェース要素から離れたユーザの視線を検出したことに応じて第2のユーザインタフェースへのナビゲートを取り止める上述の方法は、第1のユーザインタフェースの表示を元に戻す効率的な方法を提供し(例えば、ユーザが第2のユーザインタフェースへのナビゲートについて考えを変えた場合)、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって(例えば、第2のユーザインタフェースへナビゲートするプロセスが開始された後であるが、第2のユーザインタフェースへナビゲートするプロセスが完了する前に第1のユーザインタフェースを表示するのに必要な入力を減らすことによって)、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図7Bなどのいくつかの実施形態では、ユーザの視線(例えば、702b)が個別のユーザインタフェース要素(例えば、704b)に向けられている間、及びユーザの視線(例えば、702b)が時間閾値よりも長い間、個別のユーザインタフェース要素(例えば、704b)に向けられる前、及び第2のユーザインタフェース(例えば、704b)にナビゲートする前に、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、個別のユーザインタフェース要素(例えば、704b)に向けられた継続的な視線が第2のユーザインタフェースへのナビゲーションを引き起こすという視覚表示を表示する(806c)。いくつかの実施形態では、個別の表現は、ユーザの視線が個別のユーザインタフェース要素に維持されるにつれて(例えば、第2のユーザインタフェースへのナビゲーションが完了するまで)、サイズが徐々に増大する。いくつかの実施形態では、視覚表示は、個別のユーザインタフェース要素に含まれないコンテンツを含む視覚表示である。例えば、電子デバイスは、より大きく成長して第2のユーザインタフェースになるように拡張する個別のユーザインタフェース要素のアニメーションを表示し、第2のユーザインタフェースは、個別のユーザインタフェース要素に含まれないコンテンツを含む。
個別のユーザインタフェース要素に向けられた継続的な視線が第2のユーザインタフェースへのナビゲーションを引き起こすという視覚表示を表示する上述の方法は、第2のユーザインタフェースへのナビゲーション方法をユーザに示す効率的な方法を提供し、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図7Bなどのいくつかの実施形態では、視覚表示は、第2のユーザインタフェースに拡張する個別のユーザインタフェース要素(例えば、704b)のアニメーションを含む(806d)。いくつかの実施形態では、個別のユーザインタフェース要素は、ユーザの視線が個別のユーザインタフェース要素に維持されるにつれて(例えば、第2のユーザインタフェースへのナビゲーションが完了するまで)、サイズが徐々に増大する。いくつかの実施形態では、個別のユーザインタフェース要素は、第2のユーザインタフェースのユーザインタフェース要素の表現を含み、ユーザインタフェース要素は、ユーザの視線が個別のユーザインタフェース要素に維持されるにつれて、サイズが増大し、及び/又は互いからの距離が増大する。例えば、個別のユーザインタフェース要素は、画像のコレクション(例えば、アルバム)を表し、第2のユーザインタフェースは、コレクションに含まれる複数の画像を含む。この例では、個別のユーザインタフェース要素/第2のユーザインタフェースに維持されているユーザの視線に応じて、個別のユーザインタフェース要素はサイズが増大し、第2のユーザインタフェースに変化する。いくつかの実施形態では、個別のユーザインタフェース要素は、第2のユーザインタフェースに最初に表示される画像を含む。いくつかの実施形態では、個別のユーザインタフェース要素は、第2のユーザインタフェースに最初に表示されない1つ以上の画像を含む。
個別のユーザインタフェース要素を第2のユーザインタフェースに拡張する上述の方法は、第1のユーザインタフェースを表示しながら第2のユーザインタフェースのプレビューを提供する効率的な方法を提供し、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって(例えば、ユーザが第2のユーザインタフェースにナビゲートし続けるかどうかを決定することを可能にすることによって)、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図7Bなどのいくつかの実施形態では、視覚表示を表示することは、第2のユーザインタフェース(例えば、704b)でコンテンツのアニメーションを開始することを含む(808a)。いくつかの実施形態では、個別のユーザインタフェース要素及び/又は第2のユーザインタフェースは、アニメーション及び/又はビデオコンテンツを含む。いくつかの実施形態では、個別のユーザインタフェース要素へのユーザの視線を検出する前に、電子デバイスは、アニメーション及び/又はビデオコンテンツの表示を取り止める。例えば、電子デバイスは、個別のユーザインタフェース要素へのユーザの視線を検出する前に、アニメーション及び/又はビデオコンテンツからの静止画像を個別のユーザインタフェースに表示する。いくつかの実施形態では、個別のユーザインタフェース要素へのユーザの視線を検出したことに応じて、及び第1のユーザインタフェースの表示から第2のユーザインタフェースの表示に移行している間に、電子デバイスは、(例えば、第2のユーザインタフェース及び/又は個別のユーザインタフェース要素の拡張において)アニメーション及び/又はビデオコンテンツの再生を開始する。いくつかの実施形態では、電子デバイスは、個別のユーザインタフェース要素を第2のユーザインタフェースに拡張しながら、アニメーション及び/又はビデオコンテンツを提示する。
電子デバイスが第2のユーザインタフェースにナビゲートしていることを示すものとして第2のユーザインタフェース内のコンテンツのアニメーションを開始する上述の方法は、第2のユーザインタフェースを妨げることなく第2のユーザインタフェースにナビゲートするためのユーザの入力を確認する効率的な方法を提供し、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図7Bなどのいくつかの実施形態では、第1のユーザインタフェースは、個別のユーザインタフェース要素(例えば、704b)が表示される背景を含み、視覚表示は、背景(808b)の表示を不明瞭にすることを含む。いくつかの実施形態では、第1のユーザインタフェースは、仮想風景と、アプリケーション、コンテンツアイテム、ファイル、及び他の仮想オブジェクトの表現などの他の仮想オブジェクト、並びに表示生成コンポーネントの透明部分を通して見える電子デバイスの物理的環境内の実オブジェクト及び/又は電子デバイスの物理的環境内の実オブジェクトの写実的な「パススルー」ビデオなどの実オブジェクトを含む3次元環境で表示される。いくつかの実施形態では、第2のユーザインタフェースは、3次元環境を表示することなく、又は3次元環境の修正されたバージョン(例えば、3次元環境のぼかした、暗くした、半透明の、及び/又は低コントラストのバージョン)を表示しながら、表示される。
第2のユーザインタフェースを表示している間に背景を不明瞭にする上述の方法は、他のオブジェクトの表示を不明瞭にすることによって、第2のユーザインタフェースを見ている間のユーザの認知的負担を低減する方法を提供し、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図7Cなどのいくつかの実施形態では、第2のユーザインタフェース(例えば、704b)にナビゲートすることは、第1のユーザインタフェース(例えば、704b)と第2のユーザインタフェースとの間の相対的なシミュレートされた深度を変更すること(808c)(例えば、第1のユーザインタフェースをユーザの視点に向かって移動させること、及び/又は第2のユーザインタフェースをユーザの視点から離れるように移動させること)を含む。いくつかの実施形態では、第1及び第2のユーザインタフェースは、3次元環境内のユーザの視点から3次元環境内に表示される。いくつかの実施形態では、第2のユーザインタフェースは、第1のユーザインタフェースが表示される位置よりも3次元環境におけるユーザの視点に近い位置に表示される。いくつかの実施形態では、第1のユーザインタフェースは、3次元環境におけるユーザの視点に対して第1の深度で表示され、第2のユーザインタフェースは、第1の深度よりも3次元環境におけるユーザの視点に近い第2の深度で表示される。いくつかの実施形態では、第2のユーザインタフェースは、第1のユーザインタフェースのぼかされた及び/又は暗くされたバージョン上にオーバーレイされて表示される。いくつかの実施形態では、第2のユーザインタフェースにナビゲートする入力に応じて、電子デバイスは、第2のユーザインタフェースにナビゲートする入力を検出する前に第1のユーザインタフェースが表示されていた深度よりも深い深度で、第1のユーザインタフェースのぼかし及び/又は暗化バージョンを表示する。いくつかの実施形態では、第2のユーザインタフェースは、第2のユーザインタフェースへナビゲートする入力を検出する前に第1のユーザインタフェースが表示されていた深度で表示される。
第1のユーザインタフェースに対して非ゼロの深度で第2のユーザインタフェースを表示する上述の方法は、ユーザが第1のユーザインタフェースに焦点を合わせることなく第2のユーザインタフェースに焦点を合わせるのを助けることによって、第2のユーザインタフェースを見ている間のユーザの認知的負担を低減する効率的な方法を提供し、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図7Aなどのいくつかの実施形態では、個別のユーザインタフェース要素(例えば、704b)に向けられた入力を検出する前に、第1のユーザインタフェースは、第1の値を有する視覚特性(例えば、半透明性、明瞭度、透明度、色、コントラスト、輝度)で表示される(810a)。図7Cなどのいくつかの実施形態では、第2のユーザインタフェース(例えば、704b)にナビゲートした後、第2のユーザインタフェースは、第1の値とは異なる第2の値を有する視覚特性(例えば、半透明性、明瞭度、透明度、色、コントラスト、輝度)で表示された第1のユーザインタフェースの上に表示される(810b)。いくつかの実施形態では、第2のユーザインタフェースは、第1のユーザインタフェースのぼかされた及び/又は暗くされたバージョン上にオーバーレイされて表示される。いくつかの実施形態では、第1のユーザインタフェースは、図7Aのように、第3のユーザインタフェース(704a)に関連付けられた第2の個別のユーザインタフェース要素を含む(例えば、810c)。いくつかの実施形態では、第1のユーザインタフェースは、画像閲覧ユーザインタフェースであり、個別のユーザインタフェース要素及び第2のそれぞれのユーザインタフェース要素は、画像のサムネイルであり、第2のユーザインタフェース及び第3のユーザインタフェースは、個別のユーザインタフェース要素及び第2の個別のユーザインタフェース要素のそれぞれの拡大バージョンである。図7Cなどのいくつかの実施形態では、第2の値を有する視覚特性で表示された第1のユーザインタフェース上に第2のユーザインタフェース(例えば、704b)を表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、第2のユーザインタフェースから第3のユーザインタフェースにナビゲートする(例えば、第1のユーザインタフェースに戻ることなく)入力を受信する(810d)。いくつかの実施形態では、第2のユーザインタフェースから第3のユーザインタフェースにナビゲートする入力は、水平方向入力(例えば、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、距離センサ、深度センサ、近接センサ、タッチセンサ(例えば、タッチスクリーン又はトラックパッド))によって検出されるユーザの手又は指の水平スワイプ、水平矢印キーの押下など)を含む。いくつかの実施形態では、第2のユーザインタフェースから第3のユーザインタフェースにナビゲートする入力を検出することは、アイトラッキングデバイスを介して、ユーザが第2のユーザインタフェースを見ていることを検出することと、ハンドトラッキングデバイスを介して、ユーザが手でジェスチャ及び/又は動きを実行することを検出することとを含む。いくつかの実施形態では、ジェスチャ及び/又は動きを検出することは、ユーザが自分の親指で親指と同じ手の別の指(例えば、人差し指、中指、薬指、小指)に触れていることと、親指で指に触れながら自分の手を水平に動かすことと、指及び親指に触れることを止めることとを検出することを含む。いくつかの実施形態では、第2又は第3のユーザインタフェースを表示している間に、ユーザが親指及び他の指に触れ、手を下に動かし、親指及び他の指を一緒に触れることを中止したことを検出したことに応じて、電子デバイスは、第1のユーザインタフェースを表示し、第2又は第3のユーザインタフェースの表示を中止する。いくつかの実施形態では、図7Cの第2のユーザインタフェース(例えば、704b)から第3のユーザインタフェースにナビゲートする入力を受信したことに応じて、電子デバイス(例えば、101)は、第2の値を有する視覚特性での第1のユーザインタフェースの表示を維持しながら、第1のユーザインタフェース上への第2のユーザインタフェース(例えば、704b)の表示を中止し(810d)、電子デバイス(例えば、101)は、第1のユーザインタフェース上に第3のユーザインタフェースを表示する(810e)。いくつかの実施形態では、第3のユーザインタフェースは、電子デバイスによって表示される3次元環境内の、電子デバイスが以前に第2のユーザインタフェースを表示した位置と同じ位置に表示される。いくつかの実施形態では、第3のユーザインタフェースは、第1のユーザインタフェースからアクセス可能である。例えば、所定の時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)の間、第2の個別のユーザインタフェース要素へのユーザの視線を検出したことに応じて、又は非視線入力を検出している間に第2のユーザインタフェース要素へのユーザの視線を検出したことに応じて、電子デバイスは、第2のユーザインタフェースを提示することなく第3のユーザインタフェースを提示する。
第1のユーザインタフェースの表示を維持しながら第2のユーザインタフェースから第3のユーザインタフェースにナビゲートする上述の方法は、ユーザが(例えば、第1のユーザインタフェースを選択することによって)第1又は第2のユーザインタフェースのいずれかから第1のユーザインタフェースに戻ってナビゲートする効率的な方法を提供し、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図7Aなどのいくつかの実施形態では、ユーザの視線(例えば、702a)が個別のユーザインタフェース要素(例えば、704b)に向けられていることを検出したことに応じて、電子デバイス(例えば、101)は、第2のユーザインタフェースへのナビゲートに対応するアニメーションを開始する(812a)。いくつかの実施形態では、アニメーションは、第2のユーザインタフェースになるように個別のユーザインタフェース要素を拡張することを含む。いくつかの実施形態では、図7Aのように、個別のユーザインタフェース要素(例えば、704b)に向けられたユーザの視線(例えば、702a)を含む入力を検出したこと(812b)に応じて、ユーザの視線(例えば、702a)が時間閾値よりも長い間、個別のユーザインタフェース要素(例えば、704b)に向けられ続けているという判定に従って、電子デバイス(例えば、101)は、図7Cに示すように、時間閾値にわたって、第2のユーザインタフェース(例えば、704b)にナビゲートすることに対応するアニメーションを完了し(812c)、第2のユーザインタフェース(例えば、704b)にナビゲートする。いくつかの実施形態では、選択入力を検出することなく、時間閾値の間、個別のユーザインタフェース要素へのユーザの視線を検出したことに応じて、アニメーションは、所定の速度で進み、第2のユーザインタフェースがナビゲート及び/又は表示されるまで、所定の時間閾値の間継続する。いくつかの実施形態では、図7Aのように、個別のユーザインタフェース要素(例えば、704b)に向けられたユーザの視線(例えば、702a)を含む入力を検出したこと(812b)に応じて、ユーザの視線(例えば、702a)が時間閾値よりも短く個別のユーザインタフェース要素(例えば、704b)に向けられたときに1つ以上の入力デバイスを介して選択入力が検出されたという判定に従って、電子デバイス(例えば、101)は、図7Cのように、第2のユーザインタフェース(例えば、704b)にナビゲートすることに対応するアニメーションを時間閾値にわたって完了することなく、第2のユーザインタフェース(例えば、704b)にナビゲートする(812d)。いくつかの実施形態では、電子デバイスは、選択入力が受信されない場合に電子デバイスがアニメーションを表示する第1の速度よりも速い第2の速度でアニメーション全体を再生する。いくつかの実施形態では、選択入力が検出されるまで、及び個別のユーザインタフェース要素へのユーザの視線が検出されている間、電子デバイスは、第1の速度でアニメーションを提示する。いくつかの実施形態では、ユーザの視線が個別のユーザインタフェース要素に向けられ、電子デバイスが第1の速度でアニメーションを提示している間に選択入力を検出したことに応じて、電子デバイスは、第2の速度でアニメーションを継続する。いくつかの実施形態では、電子デバイスは、選択入力が検出されたときにアニメーションの提示を中止し、直ちに第2のユーザインタフェースを表示する。
選択入力を検出することなく時間閾値の間個別のユーザインタフェース要素へのユーザの視線を検出したことに応じて時間閾値にわたってアニメーションを表示するか、又は選択入力を検出したことに応じて所定の期間にわたってアニメーションを完了することなく第2のユーザインタフェースにナビゲートする上述の方法は、より少ない時間又はより少ない入力で第2のユーザインタフェースにナビゲートする効率的な方法を提供し、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図9A~図9Dは、いくつかの実施形態による、電子デバイスがユーザインタフェースの制御要素との相互作用をどのように強化するかの例を示す。制御要素の例は、ナビゲーションバー(例えば、図9A~図9Bに示すナビゲーションバー906)及び選択可能オプション(例えば、図9C~図9Dに示すオプションA 920a)を含む。
図9Aは、表示生成コンポーネント120を介して、ユーザインタフェース上に3次元環境910を表示する電子デバイス101を示す。しかしながら、3次元環境以外のユーザインタフェースにおいて、図9A~図9Dを参照して本明細書で開示される技法のうちの1つ以上を実装することが可能であり、本開示の範囲から逸脱しないことを理解されたい。図1~図6を参照して上述したように、電子デバイス101は、任意選択的に、表示生成コンポーネント120(例えば、タッチスクリーン)及び複数の画像センサ314を含む。画像センサ314は、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又は任意の他のセンサのうちの1つ以上を含み、電子デバイス101は、ユーザが電子デバイス101と相互作用している間、ユーザ又はユーザの一部の1つ以上の画像をキャプチャするために使用することができる。いくつかの実施形態では、表示生成コンポーネント120は、ユーザの手のジェスチャ及び動きを検出することができるタッチスクリーンである。いくつかの実施形態では、以下に示すユーザインタフェースは、ユーザにユーザインタフェースを表示する表示生成コンポーネントと、物理的環境及び/又はユーザの手の動き(例えば、ユーザから外向きに面する外部センサ)、及び/又はユーザの視線(例えば、ユーザの顔に向かって内向きに面する内部センサ)を検出するセンサとを含むヘッドマウントディスプレイに実装することもできる。
図9Aにおいて、電子デバイス101は、複数のオブジェクト904a~904f及びナビゲーションバー906を含むユーザインタフェースを3次元環境910に表示する。ユーザインタフェースは、別のユーザインタフェース912を含む3次元環境910に表示される。いくつかの実施形態では、ユーザインタフェース912は、そこから電子デバイス101が複数のオブジェクト904a~904f及びナビゲーションバー906を含むユーザインタフェースにナビゲートするユーザインタフェースであり、ユーザインタフェース912は、現在のユーザインタフェースの背後に(例えば、背後の背景に)表示される。いくつかの実施形態では、複数のオブジェクト904a~904f及びナビゲーションバー906を含むユーザインタフェース以外の3次元環境910内のオブジェクトは、ぼかされる及び/又は暗くされる。いくつかの実施形態では、電子デバイス101は、図13A~図14Mを参照して以下に説明する方法のうちの1つでユーザインタフェース912に戻るようにナビゲートする。
いくつかの実施形態では、図9Aに示すユーザインタフェースは、コンテンツを閲覧するためのユーザインタフェースであり、オブジェクト904a~904fは、コンテンツのアイテムの表現である。例えば、ユーザインタフェースは写真閲覧アプリケーションであり、表現904a~904fは写真のサムネイルである。別の例として、ユーザインタフェースはビデオコンテンツアプリケーションであり、表現904a~904fはビデオコンテンツのサムネイルである。他のユーザインタフェースも可能である。いくつかの実施形態では、図9Aに示すユーザインタフェースは、図9A-10Kを参照して本明細書に開示される技法を実装する、任意のユーザインタフェースである。いくつかの実施形態では、オブジェクト904a~904fは、図7A~図8Fを参照して上述したオブジェクトB 704bと同様に挙動する。
図9Aに示すユーザインタフェースは、ナビゲーションバー906を更に含む。ナビゲーションバー906は、複数の選択可能オプション914a~dを含む。いくつかの実施形態では、選択可能オプション914a~dは、ユーザインタフェース内の異なるページに関連付けられ、電子デバイス101は、選択可能オプション914a~dのうちの1つの選択に応じてページ間をナビゲートする。
図9Aに示すように、電子デバイス101は、ナビゲーションバー906に含まれるオプション914aのうちの1つに向けられたユーザの視線902aを検出する。いくつかの実施形態では、所定の時間閾値(例えば、0.1、0.3、0.5、1秒など)の間オプション914aに向けられたユーザの視線902aを検出したことに応じて、電子デバイス101は、図9Bに示すように3次元環境910の表示を更新する。いくつかの実施形態では、ナビゲーションバー906に含まれるオプション914aのうちの1つに向けられたユーザの視線902aを検出しながら、電子デバイス101は、ユーザが自分の手908で所定のジェスチャ(例えば、親指を親指と同じ手の別の指(例えば、人差し指、中指、薬指、小指)に触れること)を実行していることを検出する。いくつかの実施形態では、ユーザの手908で実行されたジェスチャを検出しながら、オプション914aに向けられたユーザの視線902aを検出したことに応じて、電子デバイス101は、視線902aが検出された持続時間に関係なく(例えば、視線902aが閾値時間未満にわたって検出される場合であっても)、図9Bに示すように3次元環境910の表示を更新する。いくつかの実施形態では、オプション914aに対するユーザの視線902aを検出している間にジェスチャを検出したことに応じて、電子デバイス101は、図9Bに示すユーザインタフェースを提示する代わりに、オプション914aに従ってユーザインタフェースをナビゲートする。いくつかの実施形態では、電子デバイス101は、オプション914a~dのうちの1つに対応しないナビゲーションバー906の領域(例えば、オプション914a~dのうちの2つの間のナビゲーションバー906の領域)に向けられたユーザの視線を検出したことに応じて、図9Bに示すユーザインタフェースを表示する。
図9Bは、図9Aを参照して上述した入力のうちの1つに応じて3次元環境910を表示する電子デバイス101を示す。図9Bに示すように、ナビゲーションバー906は、オブジェクト904a及び904d上にオーバーレイされた選択可能オプション914a~914dのテキスト記述916a~916dを含むように拡張される。いくつかの実施形態では、拡張されたナビゲーションバー906のサイズが異なる(例えば、より広い、より狭い)場合、又はユーザインタフェースの残りのレイアウトが異なる場合、拡張されたナビゲーションバー906は、オブジェクト904a及び904dの異なる部分に重なるか、又はユーザインタフェース内の追加若しくは異なるオブジェクトに重なり得ることを理解されたい。例えば、拡張されたナビゲーションバー906の幅がオブジェクト904b及び904eに達する場合、拡大されたナビゲーションバー906は、オブジェクト904a、904b、904d、及び904eにオーバーレイされて表示される。
図9Bに示すように、電子デバイス101は、オブジェクト904a、904b、904d、及び904eの少なくとも一部を含むユーザインタフェースの部分932及び930をぼかす。いくつかの実施形態では、電子デバイス101は、比較的大きい量のぼかしを用いて、拡張されたナビゲーションバー906の境界の第1の閾値(例えば、1、5、10、15センチメートルなど)内にあるユーザインタフェースの第1の部分930をぼかす。いくつかの実施形態では、電子デバイス101は、比較的小さい量のぼかしを用いて、拡張されたナビゲーションバー906の境界の第1の閾値と第2の閾値(例えば、2、5、10、15、20、30センチメートルなど)との間にあるユーザインタフェースの第2の部分932をぼかす。いくつかの実施形態では、2つの領域930及び932を2つの離散的なぼかしレベルでぼかすのではなく、電子デバイス101は、拡張されたナビゲーションバーの境界(例えば、図9Bに示す領域932の境界)から第2の閾値距離までの、拡張されたナビゲーションバーの境界からの距離の関数としてぼかしレベルを連続的に変化させる。いくつかの実施形態では、拡張されたナビゲーションバー906の境界により近い領域は、拡張されたナビゲーションバー906の境界からより遠い領域よりもぼやかされ、ぼやけのレベル間でフェザリング移行が使用される。図9Bに示すように、いくつかの実施形態では、電子デバイス101は、部分932を超えるユーザインタフェースの一部(例えば、オブジェクトC 904c及びオブジェクトF 904fなどの、拡張ナビゲーションバー906の境界から第2の閾値よりも大きいユーザインタフェースの部分)をぼかさない。いくつかの実施形態では、図9Dを参照して以下に説明する方法と同様の方法で、拡張されたナビゲーションバー906を除いて、ユーザインタフェース全体がぼかされる。
いくつかの実施形態では、電子デバイス101は、拡張ナビゲーションバー906をユーザインタフェースの残りの部分からz方向に(例えば、表示生成コンポーネント120を介して表示される視点に向かって)分離することによって、拡張ナビゲーションバー906をユーザインタフェースの残りの部分から更に視覚的に区別する。いくつかの実施形態では、図9Bに示すユーザインタフェースを表示しながら、電子デバイス101は、図9Aにおいてオブジェクト904a~fが表示された距離よりも3次元環境910内のユーザの視点から遠い距離にオブジェクト704a~fのうちの1つ以上を表示するようにユーザインタフェースを更新する。いくつかの実施形態では、図9Bに示すユーザインタフェースを表示しながら、電子デバイス101は、図9Aにおいてナビゲーションバー906が表示されていた距離よりも3次元環境904内のユーザの視点に近い距離に拡張ナビゲーションバー906を表示する。いくつかの実施形態では、3次元環境におけるユーザの視点は、3次元環境910における電子デバイス101のユーザに関連付けられた位置及び向きである。電子デバイス101は、任意選択的に、ユーザの視点から3次元環境910を表示する。
図9Cは、表示生成コンポーネント120を介して、ユーザインタフェース上に3次元環境922を表示する電子デバイス101を示す。しかしながら、3次元環境以外のユーザインタフェースにおいて、図9A~図9Dを参照して本明細書で開示される技法のうちの1つ以上を実装することが可能であり、本開示の範囲から逸脱しないことを理解されたい。
図9Cは、複数の選択可能オプション920a~920iを含む別のユーザインタフェースを示す。例えば、図9Cに示すユーザインタフェースは、設定ユーザインタフェースであり、各オプション920a~920iは、デバイス101に関連する設定を制御するための複数の設定メニューのうちの1つに対応する。この例では、設定メニューの少なくともいくつかは、オプション920a~920iのうちの1つに対応するカテゴリ内の設定(例えば、ディスプレイ設定、プライバシー設定、電力設定、ユーザアカウント設定、アクセシビリティオプション、ネットワーク設定、電子デバイス101にアクセス可能な1つ以上のアプリケーションに関連する設定など)を調整するための複数のオプションを含む。以下及び図9Dでより詳細に説明するように、電子デバイス101は、任意選択的に、例えば、オプションA 920Aの選択を検出したことに応じて、設定ユーザインタフェースを更新する。電子デバイス101は、他のオプション920b~920iのうちの1つの選択を検出したことに応じて、同様にユーザインタフェースを任意選択的に更新することを理解されたい。いくつかの実施形態では、図9C~図9Dにおいて電子デバイス101がユーザインタフェースを更新する方法は、図7A~図8Fを参照して上述したように電子デバイス101がユーザインタフェースを更新する方法と同様である。
以下でより詳細に説明するように、図9Cは、オプションA 920aに向けられたユーザの視線902cを検出したことに応じて、オプションA 920aが、オプション920b~iに対して3次元環境722内のユーザの視点により近いz高さで拡大及び/又は表示されたユーザインタフェースの表示を示す。いくつかの実施形態では、オプションA 920aへのユーザの視線902cを検出する前に、電子デバイス101は、ユーザインタフェース内の他のオプション920b~iと同じサイズ及び/又はz高さでオプションA 920aを表示する。
図9Cに示すように、電子デバイス101は、オプションA 920aに向けられたユーザの視線902cを検出する。いくつかの実施形態では、追加の入力を検出することなくオプションA 920aに向けられたユーザの視線902cを検出したことに応じて、電子デバイス101は、ユーザの視線902cがオプションA 920aに維持されている間、オプションA 920aのサイズを徐々に増加させ、及び/又はユーザインタフェース内のオプションA 920aと他のオプション920b~920iとの間のz間隔を増加させる。いくつかの実施形態では、オプションA 920aと他のオプション920b~920iとの間のz間隔を増加させることは、3次元環境922においてユーザの視点のより近くに表示されるようにオプションA 920aを更新すること、及び/又は3次元環境922においてユーザの視点からより遠くに表示されるように他のオプション920b~920iを更新することのうちの1つ以上を含む。いくつかの実施形態では、電子デバイス101は、閾値時間(例えば、0.1、0.2、0.5、1、5、10秒など)に達するまで追加の入力を検出することなくユーザの視線920aがオプションA 920aに維持されている間、オプションA 920aのサイズを徐々に増加させ続けるか、又はオプションA 920aとオプション920b~920iとの間のz間隔を増加させ続ける。ユーザの視線がオプションA 920aに維持されている間に閾値時間に達すると、電子デバイス101は、図9Dに示すユーザインタフェースを任意選択的に表示する。
いくつかの実施形態では、視線と組み合わせた手のジェスチャを使用して、デバイス101に図9Dに示すユーザインタフェースを表示させることができる。例えば、図9Cに示すように、電子デバイス101は、ユーザが自分の手908でジェスチャを行っていることを検出する。いくつかの実施形態では、ジェスチャは、親指と同じ手の別の指(例えば、人差し指、中指、薬指、小指)に親指で触れること(例えば、ピンチジェスチャ)を含む。いくつかの実施形態では、オプションA 920aに向けられたユーザの視線902cを検出している間にピンチジェスチャを検出したことに応じて、電子デバイス101は、ユーザの視線902cがオプションA 920aに維持されている持続時間に関係なく、図9Dに示すユーザインタフェースを表示する。したがって、いくつかの実施形態では、電子デバイス101は、ユーザの視線902aがオプションA 920aに維持されている間にピンチジェスチャを検出したことに応じて、閾値時間量未満で図9Dに示すユーザインタフェースにナビゲートすることができる。いくつかの実施形態では、電子デバイス101は、視線902cがオプションA 920aで検出されている間、オプションA 920aがオプション920b~920iから離れ、及び/又はオプションA 920aのサイズが大きくなるアニメーションを提示し、ピンチジェスチャに応じて、アニメーションの残りをスキップするか、又はアニメーションの速度を増加させる。いくつかの実施形態では、親指で他の指に触れた後、オプションA 920aを見ながら親指を他の指に留めている場合、ユーザが視線902dをオプションE 920eに向けるなど、ユーザが視線をオプションA 920aから離す場合、親指と指が互いから離れるように移動していることを検出したことに応じて、電子デバイス101は、オプションE 920eに関連付けられた同様のユーザインタフェースにナビゲートする代わりに、オプション920aに関連付けられた図9Dに示すユーザインタフェースにナビゲートする。
いくつかの実施形態では、閾値時間が経過する前にユーザの視線が選択肢A 920aから離れるように向けられ、電子デバイス101がピンチジェスチャを検出しない場合、電子デバイス101は、図9Dに示すユーザインタフェースへのナビゲートを取り止める。例えば、ユーザは、手908でピンチジェスチャを実行することなく閾値時間が経過する前に、視線902cをオプションE 920eに向ける。いくつかの実施形態では、電子デバイス101は、オプションA 920aのサイズ及び/又は他のオプション920b~920iからのオプションA 920aのz間隔を減少させ、電子デバイス101がオプションA 920aへのユーザの視線902cを検出する前にユーザインタフェースを表示する方法と同様の方法で、他のオプション920b~920iと同じサイズ及び同じz高さでオプションA 920aを表示する。
図9Dは、図9Cを参照して説明した入力のうちの1つに応じてデバイス101によって表示されるユーザインタフェースを示す。図9Dに示すように、電子デバイス101は、ユーザインタフェース内のオプション920b~iの表示をぼかし及び/又は暗くし、オプションA 924aに関連付けられた複数のオプション920a~cを(例えば、オプションA 920a自体に加えて)オプション920b~iにオーバーレイして又はその前に表示する。例えば、オプションA 920aは、電子デバイスのバッテリ設定を見るためのオプションであり、オプション1A 924aは、電子デバイス101の低電力モードに入るために選択可能であり、オプション2B 924bは、電子デバイス101のバッテリの健全性のステータスを見るためのオプションであり、オプション924cは、バッテリ充電及び使用統計を見るためのオプションである。いくつかの実施形態では、オプションA 920a及びオプション924a~924c以外のユーザインタフェースの残り全体をぼかす及び/又は暗くする代わりに、電子デバイス101は、図9Bを参照して上述した方法と同様に、ユーザインタフェースの一部(例えば、オプションA 920a及びオプション924a~cの集合の閾値距離内のユーザインタフェースの部分)をぼかす。いくつかの実施形態では、オプション924a~cのうちの1つ以上又は各々は、オプションA 920aに関連付けられた電子デバイス101の設定を変更するプロセスを開始するために、又は何らかの他のアクションを実行するために選択可能である。いくつかの実施形態では、電子デバイス101は、ユーザが自分の手で所定のジェスチャ(例えば、ピンチジェスチャ)を実行していることを検出している間に、個別のオプション924a~cに向けられたユーザの視線を検出したことに応じて、オプション924a~cのうちの1つの選択を検出する。いくつかの実施形態では、オプションA 920a及びオプション924a~cは、図9Bを参照して上述したように、ユーザインタフェースの残りの部分よりも3次元環境922内のユーザの視点に近いz高さで表示される。
いくつかの実施形態では、電子デバイス101は、オプションA 924a(又はオプション920a~cのうちの1つ)に向けられたユーザの視線902eを検出したことに応じて、図9Dに示すユーザインタフェースを表示し続ける。いくつかの実施形態では、所定の時間閾値(例えば、0.2、0.5、1、2秒など)の間、ユーザインタフェース内の別の位置(例えば、オプション920b~c又は920e~iのうちの1つ)へのユーザの視線を検出したことに応じて、及び/又はユーザが所定のジェスチャ(例えば、ピンチジェスチャ)を実行していることを検出しながら、電子デバイス101は、図9Cに示すユーザインタフェースに戻る。いくつかの実施形態では、図9Cのユーザインタフェースに戻るようにナビゲートすることは、図9Cとは異なり、任意選択的に全てのオプション920a~iが同じサイズ及びz高さで表示された状態で、(例えば、図9Cに示すように)ぼかされたり暗くされたりすることなく、オプション920a~iの全てを表示するようにユーザインタフェースを更新することと、オプション924a~cの表示を中止することとを含む。
いくつかの実施形態では、電子デバイス101は、図9A~図9Dを参照して上述した特徴を、本明細書に開示される他の特徴と組み合わせる。例えば、図9A~図9Dに示すユーザインタフェースのうちの1つ以上は、(例えば、コンテンツ、設定、ユーザインタフェースなどの)カテゴリのスクロール可能な表現と、図11A~図12Jを参照して以下に説明するユーザインタフェースと同様のカテゴリのサブカテゴリのスクロール可能な表現とを含む。例えば、図9Cを参照すると、オプション920a~iは任意選択的にカテゴリであり、オプション924a~c(及びオプション920a~iの他のものに対応する同様のオプション)は任意選択的にオプション920a~iのカテゴリに対応するサブカテゴリである。電子デバイス101は、任意選択的に、図11Aのように、カテゴリの表現に少なくとも部分的にオーバーレイされたサブカテゴリの表現を表示する。いくつかの実施形態では、図11A~図12Jを参照して以下で説明するように、カテゴリの表現をスクロールしながら、電子デバイス101は、カテゴリがスクロールされる速度とは異なるスクロール速度でサブカテゴリの表現をスクロールする。いくつかの実施形態では、サブカテゴリの表現をスクロールしながら、電子デバイスは、図11A~図12Jを参照して後述するように、カテゴリの表現のスクロールを取り止めるか、又はサブカテゴリとは異なる速度でカテゴリをスクロールする。電子デバイスはまた、図9A~図10Kを参照して説明する実施形態を、図7A~図8F及び図13A~図14Mを参照して説明する実施形態と組み合わせることができることを理解されたい。
図10A~図10Kは、いくつかの実施形態による、ユーザインタフェースの制御要素との相互作用を強化する方法を示すフローチャートである。いくつかの実施形態では、方法1000は、コンピュータシステム(例えば、タブレット、スマートフォン、ウェアラブルコンピュータ、又はヘッドマウントデバイスなどの図1のコンピュータシステム101)で実行される。表示生成コンポーネント(例えば、図1、図3、及び図4の表示生成コンポーネント120)を含む(例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど)及び1つ以上のカメラ(例えば、カメラ(例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ))は、ユーザの手又はユーザの頭部から前方に向くカメラである。いくつかの実施形態では、方法1000は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1Aの制御ユニット110)など、コンピュータシステムの1つ以上のプロセッサによって実行される命令によって実行される。方法1000の一部の動作は、任意選択的に組み合わされ、及び/又は一部の動作の順序は、任意選択的に変更される。
図9Aなどのいくつかの実施形態では、方法1000は、表示生成コンポーネント及びアイトラッキングデバイス(例えば、モバイルデバイス(例えば、タブレット、スマートフォン、メディアプレーヤ、若しくはウェアラブルデバイス)、又はコンピュータ)と通信する電子デバイス(例えば、101)において実行される。いくつかの実施形態では、表示生成コンポーネントは、電子デバイス(任意選択的にタッチスクリーンディスプレイ)と一体化されたディスプレイ、モニタ、プロジェクタ、テレビなどの外部ディスプレイ、又はユーザインタフェースを投影し1人以上のユーザにユーザインタフェースが可視であるようにするためのハードウェア構成要素(任意選択的に組み込み若しくは外部)などである。いくつかの実施形態では、1つ以上の入力デバイスは、表示データを受信し(例えば、ユーザ入力をキャプチャし、ユーザ入力を検出するなど)、ユーザ入力に関連する情報を電子デバイスに送信することができる電子デバイス又はコンポーネントを含む。入力デバイスの例としては、タッチスクリーン、マウス(例えば、外部)、トラックパッド(任意選択的に統合又は外部)、タッチパッド(任意選択的に統合又は外部)、リモートコントロールデバイス(例えば、外部)、別のモバイルデバイス(例えば、電子デバイスとは別個)、ハンドヘルドデバイス(例えば、外部)、コントローラ(例えば、外部)、カメラ、深度センサ、アイトラッキングデバイス、及び/又は動きセンサ(例えば、ハンドトラッキングデバイス、手動きセンサ)などが挙げられる。
図9Aなどのいくつかの実施形態では、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、第1の動作を実行するように選択可能な第1の制御要素(例えば、906)を含むユーザインタフェースを表示し(1002a)、第1の制御要素(例えば、906)は、第1の外観で表示される(1002b)。いくつかの実施形態では、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、図9Aのように、第1の値を有する(1002c)個別の視覚特性で表示される個別のユーザインタフェース要素(例えば、906)の個別の部分を含む個別のユーザインタフェース要素(例えば、904a)(例えば、アプリコンテンツ)を含む(1002a)ユーザインタフェースを表示する。いくつかの実施形態では、ユーザインタフェースは、デバイス(例えば、仮想現実(VR)環境、複合現実(MR)環境、又は拡張現実(AR)環境などのコンピュータ生成現実(CGR)環境)によって生成、表示、又はその他の方法で閲覧可能にされる3次元環境で表示される。いくつかの実施形態では、第1の制御要素の選択を検出したことに応じて、電子デバイスは第1の動作を実行する。いくつかの実施形態では、第1の外観を有する第1の制御要素を表示することは、第1の色、サイズ、及び/若しくは半透明性で第1の制御要素を表示すること、並びに/又はユーザインタフェースの第1の仮想レイヤに第1の制御要素を表示すること及び/若しくはユーザインタフェースの個別のレイヤ内の第1の位置に第1の制御要素を表示することを含む、ユーザインタフェース内の第1の位置に第1の制御要素を表示することを含む。例えば、個別の制御要素は、任意選択的に、選択されると、電子デバイスに、選択されたオプションに対応する個別のアプリケーションのユーザインタフェースを表示させる複数のオプションを含むナビゲーション要素であってもよい。いくつかの実施形態では、個別の視覚特性は、個別のユーザインタフェース要素の個別の部分が表示されるユーザインタフェースの仮想層、ユーザインタフェースの他の仮想層に対する個別のユーザインタフェース要素の位置、色、サイズ、及び/又は半透明性などである。いくつかの実施形態では、個別のユーザインタフェース要素全体の第2の部分(例えば、個別のユーザインタフェース要素全体)は、第1の値を有する個別の視覚特性で表示される。図9Aなどのいくつかの実施形態では、ユーザインタフェースを表示しながら、電子デバイス(例えば、101)は、アイトラッキングデバイスを介して、ユーザの視線(例えば、902a)が第1の制御要素(例えば、906)に向けられていることを検出する(1002d)。いくつかの実施形態では、図9Aのように、ユーザの視線(例えば、902a)が第1の制御要素(例えば、906)に向けられている(1002e)ことを検出したことに応じて、電子デバイス(例えば、101)は、第1の外観とは異なる第2の外観を有するように第1の制御要素(例えば、906)を更新し(1002f)、図9Bのように、第2の外観を有する第1の制御要素(例えば、906)の個別の部分が、個別のユーザインタフェース要素(例えば、904a)の個別の部分(例えば、930)の一部にオーバーレイされて表示されるようにする。いくつかの実施形態では、第2の外観を有するように第1の制御要素を更新することは、第1の制御要素が表示されるサイズ、色、半透明性など、第1の制御要素が表示される仮想レイヤ(例えば、第1の制御要素をユーザインタフェースの最上レイヤに向かって前方に移動させる)、及び/又は第1の制御要素が表示される仮想レイヤ内の位置を変更することを含む。いくつかの実施形態では、第1の制御要素を更新した結果として、第1の制御要素の一部が、個別のユーザインタフェース要素の一部をオーバーレイする。いくつかの実施形態では、図9Aのように、ユーザの視線(例えば、902a)が第1の制御要素(例えば、906)に向けられている(1002e)ことを検出したことに応じて、電子デバイス(例えば、101)は、図9Bのように、第1の値とは異なる第2の値を有する個別の視覚特性で個別のユーザインタフェース要素(例えば、904a)の個別の部分(例えば、930)を表示する(1002g)。いくつかの実施形態では、第2の値を有する個別の視覚特性で個別のユーザインタフェース要素の個別の部分を表示することは、個別のユーザインタフェース要素の個別の部分が表示される色、サイズ、半透明性、ぼかしの量などを変更すること、個別のユーザインタフェース要素の個別の部分が表示される仮想レイヤを変更すること、及び/又は個別のユーザインタフェース要素の個別の部分が表示される仮想レイヤ内の位置を変更することを含む。いくつかの実施形態では、電子デバイスは、ユーザの視線が所定の期間(例えば、0.1、0.2、0.3、0.4、0.5、0.75、1秒など)の間制御要素に向けられていることをアイトラッキングデバイスを介して検出したことに応じて、第1の制御要素を更新し、第2の値を有する個別の視覚特性で個別のユーザインタフェース要素の個別の部分を表示する。いくつかの実施形態では、電子デバイスは、視線の持続時間を閾値と比較することなく、ユーザの視線が制御要素に向けられていることをアイトラッキングデバイスを介して検出したことに応じて、第1の制御要素を更新し、第2の値を有する個別の視覚特性で個別のユーザインタフェース要素の個別の部分を表示する。例えば、ユーザの視線がアプリケーションのユーザインタフェースと共に表示されるナビゲーションバーに向けられていることを検出したことに応じて、電子デバイスは、アプリケーションのユーザインタフェースにオーバーレイされて表示されるようにナビゲーションバーを更新し、ナビゲーションバーに隣接する(例えば、ナビゲーションバーによってオーバーレイされる)ユーザインタフェースの一部をぼかし、ユーザインタフェースの残りの部分をぼかさない。
第1の制御要素へのユーザの視線の検出に応じて、第2の外観を有し、個別のユーザインタフェース要素の部分にオーバーレイされるように第1の制御要素を更新し、第2の値を有する個別の視覚特性で個別のユーザインタフェース要素の個別の部分を表示する上述の方法は、ユーザが制御要素内で制御要素の表示空間の選択を行うことを可能にする効率的な方法を提供し(例えば、制御要素に向けられた視線が検出されるまで制御要素を拡張しないことによって)、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図9Aなどのいくつかの実施形態では、個別のユーザインタフェース要素(例えば、904b)は、第2の個別の部分(1004a)を含む。いくつかの実施形態では、個別のユーザインタフェース要素の第2の個別の部分は、第1の制御要素の境界から数センチメートル離れている閾値距離(例えば、1、2、3、4、5、7、10、15、20、30、40センチメートルなど)である。図9Aなどのいくつかの実施形態では、ユーザの視線(例えば、902a)が第1の制御要素(例えば、906)に向けられていることを検出する前に、第2の個別の部分が、第1の値を有する個別の視覚特性で表示される(1004b)。いくつかの実施形態では、個別の視覚特性は、個別のユーザインタフェース要素の個別の部分が表示されるユーザインタフェースの仮想層、ユーザインタフェースの他の仮想層に対する個別のユーザインタフェース要素の位置、色、サイズ、及び/又は半透明性などである。図9Bなどのいくつかの実施形態では、ユーザの視線(例えば、902b)が第1の制御要素(例えば、906)に向けられていることを検出したことに応じて、個別のユーザインタフェース要素(例えば、904b)の第2の個別の部分は、第1の値を有する個別の視覚特性で表示され続ける(1004c)。いくつかの実施形態では、電子デバイスは、第1の制御要素に向けられたユーザの視線を検出したことに応じて、個別のユーザインタフェース要素の第2の部分の外観を変更しない。いくつかの実施形態では、第1の制御要素へのユーザの視線に応じて、電子デバイスは、第1の制御要素に最も近い個別のユーザインタフェース要素の一部をぼかし、第1の制御要素の境界から閾値距離を超えた個別のユーザインタフェース要素の1つ以上の追加部分をぼかさない。
個別のユーザインタフェース要素の第2の個別の部分の視覚特性を変更することを取り止める上述の方法は、ユーザが、更新された第1の制御要素を見ながら、個別のユーザインタフェース要素の第2の個別の部分を見続けることを可能にする効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図9Bなどのいくつかの実施形態では、個別のユーザインタフェース要素(例えば、904b)は、個別の部分(例えば、930)と第2の個別の部分との間に第3の個別の部分(例えば、932)を含む(1006a)。いくつかの実施形態では、第1の個別の部分と第3の個別の部分との間の境界は、第1の制御要素の境界からの第1の閾値距離(例えば、0.5、1、2、3、4、5、7、10、15、20、30、40センチメートルなど)であり、第3の個別の部分と第2の個別の部分との間の境界は、第1の制御要素の境界からの第2の閾値距離(例えば、1、2、3、4、5、7、10、15、20、30、40、50センチメートルなど)である。図9Aなどのいくつかの実施形態では、ユーザの視線(例えば、902a)が第1の制御要素(例えば、906)に向けられていることを検出する前に、第3の個別の部分(例えば、932)(図9B)が、第1の値を有する個別の視覚特性で表示される(1006b)。いくつかの実施形態では、個別の視覚特性は、個別のユーザインタフェース要素の個別の部分が表示されるユーザインタフェースの仮想層、ユーザインタフェースの他の仮想層に対する個別のユーザインタフェース要素の位置、色、サイズ、及び/又は半透明性などである。図9Bなどのいくつかの実施形態では、ユーザの視線(例えば、902b)が第1の制御要素(例えば、906)に向けられていることを検出したことに応じて、個別のユーザインタフェース要素の第3の個別の部分(例えば、932)が、第1の値と第2の値との間の第3の値を有する個別の視覚特性で表示される(1006c)。例えば、個別の特性が半透明性である場合、第1の制御要素に向けられたユーザの視線を検出したことに応じて、電子デバイスは、個別のユーザインタフェース要素の第3の部分よりも高い半透明性で個別のユーザインタフェース要素の第1の部分を表示し、第1の制御要素に向けられたユーザの視線を検出する前に個別のユーザインタフェース要素の第2の部分が表示されていたのと同じレベルの半透明性で個別のユーザインタフェース要素の第2の部分を表示する。いくつかの実施形態では、電子デバイスが個別のユーザインタフェース要素の個別の部分の半透明性及び/又はぼかしを増加させる程度は、第1の制御要素の境界からの個別の部分の距離に依存する。いくつかの実施形態では、個別のユーザインタフェース要素の個別の部分が第1の制御要素の境界に近いほど、電子デバイスはその個別の部分をよりぼかして表示する。
第1の値と第2の値との間の第3の値を有する視覚特性で個別のユーザインタフェース要素の第3の個別の部分を表示する上述の方法は、ユーザが、更新された第1の制御要素を見ながら、個別のユーザインタフェース要素の第2の個別の部分を見続けることを可能にする効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図9Bなどのいくつかの実施形態では、第2の外観を有するように第1の制御要素(例えば、906)を更新することは、第1の制御要素に関連付けられたテキスト記述(例えば、916a)~dを表示することを含み、第1の制御要素(例えば、906)に関連付けられたテキスト記述(例えば、916a)~dは、ユーザの視線(例えば、902b)が第1の制御要素(例えば、906)に向けられたことを検出する前には表示されなかった(1008a)。いくつかの実施形態では、第1の制御要素に向けられたユーザの視線を検出する前に、第1の制御要素は、1つ以上の画像を含み、各画像に関連付けられた個別のテキストを含まない。いくつかの実施形態では、第1の制御要素に向けられたユーザの視線を検出したことに応じて、電子デバイスは、1つ以上の画像に関連付けられた個別のテキストを表示する。いくつかの実施形態では、個別のテキストは、第1の制御要素へのユーザの視線を検出する前に個別のユーザインタフェース要素の1つ以上の部分が表示されていた3次元環境の位置に表示される。いくつかの実施形態では、個別のテキストは、第1の制御要素へのユーザの視線を検出する前に表示された個別のユーザインタフェース要素の1つ以上の部分にオーバーレイされて表示される。
ユーザの視線が第1の制御要素に向けられたことに応じて第1の制御要素のテキストを表示する上述の方法は、第1の制御要素へのユーザの視線を検出する前に(例えば、個別のユーザインタフェース要素を表示するための)表示領域を保存する効率的な方法と、第1の制御要素へのユーザの視線の検出に応じて第1の制御要素の様々な領域と相互作用することによって引き起こされるアクションをユーザに通信する効率的な方法とを提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図9Aなどのいくつかの実施形態では、第1の制御要素(例えば、906)に向けられたユーザの視線(例えば、902a)が検出されると、第1の制御要素(例えば、906)及び個別のユーザインタフェース要素(例えば、904a)は、第2の値を有する個別の視覚特性で表示された第3のユーザインタフェース(例えば、912)上に表示される(1008b)。いくつかの実施形態では、電子デバイスは、第1の制御要素に向けられたユーザの視線を検出する前に、第1の値を有する個別の視覚特性で表示された第3のユーザインタフェース上に第1の制御要素及び個別のユーザインタフェース要素を表示する。例えば、第1の制御要素及び個別のユーザインタフェース要素は、第3のユーザインタフェースのぼかされたバージョンにオーバーレイされて表示される。いくつかの実施形態では、第3のユーザインタフェースは、そこから電子デバイスが個別のユーザインタフェース要素にナビゲートするユーザインタフェースである。いくつかの実施形態では、第3のユーザインタフェース、個別のユーザインタフェース要素、及び第1の制御要素は、同じ個別のアプリケーションに関連付けられる。いくつかの実施形態では、第3のユーザインタフェース、個別のユーザインタフェース要素、及び第1の制御要素のうちの2つは、第1のアプリケーションに関連付けられ、第3のユーザインタフェース、個別のユーザインタフェース要素、及び第1の制御要素のうちの1つは、第2のアプリケーションに関連付けられる。例えば、第3のユーザインタフェースは第1のアプリケーションに関連付けられ、個別のユーザインタフェース要素及び第1の制御要素は第2のアプリケーションに関連付けられる。いくつかの実施形態では、第3のユーザインタフェース、個別のユーザインタフェース要素、及び第1の制御要素は各々、異なるアプリケーションに関連付けられる。いくつかの実施形態では、電子デバイスは、第1の値を有する視覚特性の第3のユーザインタフェースと同時に第1の制御要素を表示する(例えば、個別のユーザインタフェース要素を表示する前に、第3のユーザインタフェースに戻る入力に応じて、など)。
第2の値を有する個別の視覚特性で表示される第3のユーザインタフェース上に第1の制御要素及び個別のユーザインタフェース要素を表示する上述の方法は、個別のユーザインタフェース要素を見ながら、視覚クラッタを低減し、ユーザの認知的負担を低減しながら、第3のユーザインタフェースを表示し続ける効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図9Cなどのいくつかの実施形態では、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、第1の個別の制御要素(例えば、920a)及び第2の個別の制御要素(例えば、920b)を含む第2のユーザインタフェースを表示し(1010a)、第2のユーザインタフェースの一部は、第1の値を有する個別の視覚特性で表示される。いくつかの実施形態では、第1の個別の制御要素は、1つ以上の第1の選択可能オプションに関連付けられ、第2の個別の制御要素は、1つ以上の第2の選択可能オプションに関連付けられる。例えば、第1及び第2の個別の制御要素は、個別のカテゴリ内の複数のデバイス設定に関連付けられた複数の個別の制御要素を含む設定ユーザインタフェースに表示される。この例では、個別の制御要素のうちの1つへのユーザの視線を検出したことに応じて、電子デバイスは、個別の制御要素に関連付けられた複数の個別の選択可能オプションを表示する。図9Cなどのいくつかの実施形態では、第2のユーザインタフェースを表示しながら、電子デバイス(例えば、101)は、アイトラッキングデバイスを介して、ユーザの視線(例えば、902c)が第1の個別の制御要素(例えば、920a)に向けられていることを検出する(1010b)。いくつかの実施形態では、ユーザの視線(例えば、920a)が第1の個別の制御要素(例えば、920a)に向けられていることを検出したことに応じて、電子デバイス(例えば、101)は、図9Cのように、第2の個別の制御要素(例えば、920b)に対して第1の個別の制御要素(例えば、920)を視覚的に強調する(1010c)(例えば、第1の個別の制御要素のサイズを増加させる、3次元環境におけるユーザの視点と第2の個別の制御要素が表示される仮想レイヤとの間にある3次元環境の仮想レイヤに第1の個別の制御要素を表示する(例えば、第1の個別の制御要素を3次元環境におけるユーザの視点に向かって移動させること、及び/又は第2の個別の制御要素を3次元環境におけるユーザの視点から離れるように移動させることによって)、第1及び/又は第2の個別の制御要素の色、半透明性、又は他の視覚特性を修正するなど)。いくつかの実施形態では、ユーザの視線は、電子デバイスが第2の個別の制御要素に対して第1の個別の制御要素を視覚的に強調する前に、閾値時間(例えば、0.1、0.2、0.3、0.5秒など)の間、第1の個別の制御要素上で検出される。いくつかの実施形態では、電子デバイスは、第1の個別の制御要素へのユーザの視線を検出したことに直ちに応じて、第2の個別の制御要素に対して第1の個別の制御要素を視覚的に強調する。図9Cなどのいくつかの実施形態では、ユーザの視線(例えば、902c)が第1の個別の制御要素(例えば、920a)に向けられている間、及び第1の個別の制御要素(例えば、920a)が第2の個別の制御要素(例えば、920b)に対して視覚的に強調されている間、電子デバイス(例えば、101)は、電子デバイスと通信しているハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、及び/又はタッチセンサ(例えば、タッチスクリーン又は他のタッチ感知面))を介して、ユーザの手(例えば、908)によって実行される個別のジェスチャを検出する(1010d)。いくつかの実施形態では、ジェスチャを検出することは、ハンドトラッキングデバイスを介して、ユーザが親指と同じ手の指(例えば、人差し指、中指、薬指、小指)に親指で触れていることを検出することを含む。いくつかの実施形態では、図9Cのようにユーザの手(例えば、908)によって実行される個別のジェスチャを検出したことに応じて(1010e)、個別のジェスチャが第1の個別の制御要素(例えば、920a)に関連付けられた1つ以上の選択可能オプションを表示する要求に対応する(例えば、ユーザの視線が第1の個別の制御要素上にあり、及び/又は1つ以上の追加基準が満たされている間にジェスチャが検出される)という判定に従って、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、第1の個別の制御要素(例えば、920a)に関連付けられた1つ以上の選択可能オプション(例えば、924a~c)を第2のユーザインタフェースの部分にオーバーレイして表示し(1010f)、第2のユーザインタフェースの部分は、図9Dのように、第2の値を有する個別の視覚特性で表示される。いくつかの実施形態では、第2のユーザインタフェースの一部は、第1の個別の制御要素の閾値距離(例えば、0.5、1、2、3、4、5、7、10、15、20、30、40センチメートルなど)内の第2のユーザインタフェースの一部であり、第2の個別のユーザインタフェースは、第1の値を有する視覚特性で表示される第2の部分(閾値距離の外側)を含み、第2のユーザインタフェースの部分は、第2の値を有する視覚特性で表示される。いくつかの実施形態では、第1の個別の制御要素に関連付けられた1つ以上の選択可能オプションをユーザインタフェースの部分にオーバーレイして表示しながら、電子デバイスは、第2の値を有する視覚特性で第2のユーザインタフェースの残り(例えば、全て)を表示する。いくつかの実施形態では、個別のジェスチャが第1の個別の制御要素に関連付けられた1つ以上の選択可能オプションを表示する要求に対応しないという判定に従って、電子デバイスは、第2のユーザインタフェースの一部にオーバーレイされた1つ以上の選択可能オプションを表示すること、及び第2の値を有する個別の視覚特性で第2のユーザインタフェースを表示することを取り止める。いくつかの実施形態では、ジェスチャが第1の個別の制御要素に関連付けられた1つ以上の選択可能オプションを表示すること以外の個別のアクションを実行する要求に対応するという判定に従って、電子デバイスは、個別のジェスチャに応じて個別のアクションを実行する。
第1の制御要素に関連付けられた1つ以上の選択可能オプションを表示しながら、第2の値を有する視覚特性で第2のユーザインタフェースの部分を表示する上述の方法は、第1の制御要素に関連付けられた1つ以上の選択可能オプションを視覚クラッタを低減して表示する効率的な方法を提供し、これは、ユーザの認知的負担を低減し、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、図9Aのように、第1の制御要素(例えば、914a~d)は、アプリケーションの異なるユーザインタフェースを表示するために選択可能な複数の制御要素(例えば、914a~d)のうちの1つの制御要素である(1012a)。いくつかの実施形態では、第1の制御要素は、個別のアプリケーションの第1のユーザインタフェースを表示するために選択可能であり、電子デバイスは、個別のアプリケーションの第2のユーザインタフェースを表示するために選択可能な第2の制御要素を複数の制御要素に表示する。いくつかの実施形態では、第1の制御要素は、アプリケーションのナビゲーションバーに含まれる。いくつかの実施形態では、図9Aのように、個別のユーザインタフェース要素は、アプリケーションのユーザインタフェースである(1012b)。いくつかの実施形態では、個別のユーザインタフェースは、複数の制御要素のうちの1つに関連付けられる。いくつかの実施形態では、第1の制御要素へのユーザの視線を検出する前に、電子デバイスは、第1の外観を有する複数の制御要素を表示する(例えば、テキストなしの画像として、個別のユーザインタフェース要素からの間隔なしに、第1のサイズでなど)。いくつかの実施形態では、第1の制御要素へのユーザの視線を検出したことに応じて、電子デバイスは、第2の外観を有する第1の制御要素を表示する(例えば、テキストを有する、個別のユーザインタフェース要素からの間隔が大きくなっている、第2のサイズでなど)。いくつかの実施形態では、第1の制御要素へのユーザの視線の検出に応じて、電子デバイスは、第2の外観を有する複数の制御要素(の全て又は一部)を表示する。
アプリケーションの異なるユーザインタフェースを表示するために選択可能な複数の制御要素を表示する上述の方法は、アプリケーションのユーザインタフェース間をナビゲートする効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、図9Aのように、ユーザの視線(例えば、902a)が第1の制御要素(例えば、906)に向けられていることを検出する前に、第1の制御要素(例えば、906)は、個別のユーザインタフェースに対して3次元環境の第1の深度で表示される(1012c)。いくつかの実施形態では、第1の深度は、第1の制御要素及び個別のユーザインタフェースが表示される3次元環境におけるユーザの視点からの個別の距離である。いくつかの実施形態では、第1の深度は、第1の制御要素及び個別のユーザインタフェースが3次元環境内のユーザの視点に対して同じ深度で表示されることに対応する。いくつかの実施形態では、図9Bのように、ユーザの視線(例えば、902b)が第1の制御要素(例えば、906)に向けられていることを検出したことに応じて、第1の制御要素(例えば、906)は、個別のユーザインタフェースに対して3次元環境の第1の深度とは異なる第2の深度で表示される(1012d)。いくつかの実施形態では、第2の深度は、第1の制御要素及び個別のユーザインタフェースが3次元環境内のユーザの視点に対して異なる深度で表示されることに対応する。いくつかの実施形態では、個別のユーザインタフェースは、ユーザの視線が第1の制御要素に向けられていることを検出したことに応じて、3次元環境内のユーザの視点からの深度が増加して表示されるように更新される。いくつかの実施形態では、第1の制御要素は、ユーザの視線が第1の制御要素に向けられていることを検出したことに応じて、3次元環境内のユーザの視点からの深度が減少して表示されるように更新される。
ユーザの視線が第1の制御要素に向けられていることに応じて、個別のユーザインタフェースに対する第1の制御要素の深度を変更する上述の方法は、第1の制御要素を見ている間の視覚クラッタを低減する効率的な方法を提供し、ユーザの認知的負担を低減し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図9Aなどのいくつかの実施形態では、ユーザの視線(例えば、902a)が第1の制御要素(例えば、906)に向けられている間、電子デバイス(例えば、101)は、電子デバイスと通信しているハンドトラッキングデバイス(例えば、深度センサ、1つ以上のカメラ、タッチセンサ(例えば、タッチスクリーン、トラックパッド)など)を介して、選択入力の第1の部分(例えば、タッチ感知面(例えば、トラックパッド、タッチスクリーンなど)への接触のタッチダウン、マウスボタン又は他の物理ボタンの解放を伴わないマウスのクリック、ユーザが親指から指を解放することなく親指の手の他の指(例えば、人差し指、中指、薬指、小指)のうちの1つに親指をタップするなどの手ジェスチャの第1の部分)を検出する(1014a)。図9Aなどのいくつかの実施形態では、選択入力の第1の部分を検出した後、電子デバイス(例えば、101)は、ハンドトラッキングデバイスを介して、選択入力の第2の部分(例えば、タッチ感知面上の接触のリフトオフ、マウスボタン又は他の物理ボタンのクリックの解放、ユーザが親指を親指が触れていた指から離すなどのジェスチャの第2の部分)を検出する(1014b)。いくつかの実施形態では、選択入力の第2の部分を検出したことに応じて(1014c)、選択入力の第2の部分が検出されたときにユーザの視線がもはや第1の制御要素(例えば、906)に向けられていない(例えば、第2の部分が検出されたときに第2の制御要素に向けられている)という判定に従って、電子デバイス(例えば、101)は、第1の制御要素に関連付けられた動作を開始する(1014d)(例えば、第2の制御要素に関連付けられた動作を開始しない)。いくつかの実施形態では、選択入力の第2の部分を検出している間にユーザの視線が第1の制御要素に向けられているという判定に従って、電子デバイスは、第1の制御要素に関連付けられた動作を開始する。いくつかの実施形態では、選択入力の第1の部分が検出された後に選択入力の第2の部分が検出されている間に第1の制御要素に対するユーザの視線を検出したことに応じて、電子デバイスは、選択入力の第2の部分が検出されている間にユーザの視線が第1の制御要素に向けられているかどうかに関わらず、第1の制御要素に関連付けられた動作を実行する。
選択入力の第1の部分が検出されている間にユーザの視線が第1の制御要素上にあり、セクション入力の第2の部分が受信されている間にユーザの視線が第1の制御要素以外のどこかにある場合に、第1の制御要素に関連付けられた動作を開始する上述の方法は、選択入力に影響を与えることなく選択入力を提供しながらユーザが第1の制御要素から目をそらすことを可能にする効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、個別のユーザインタフェース要素は、図9Aの第1の選択可能オブジェクト(例えば、904a)と、第2の個別の部分とを含み、第2の個別の部分は、(例えば、第1の選択可能オブジェクトの選択を検出する前に)第1の値を有する個別の視覚特性で表示される(1016a)。いくつかの実施形態では、第1の選択可能オブジェクトの選択を検出したことに応じて、電子デバイスは、第1の選択可能オブジェクトに関連付けられた動作を実行する。いくつかの実施形態では、図9Aの第1の選択可能オブジェクト(例えば、904a)を含む個別のユーザインタフェース要素を表示している間に、電子デバイス(例えば、101)は、第1の選択可能オブジェクト(例えば、904a)の選択を検出する(1016b)。いくつかの実施形態では、第1の選択可能オブジェクトの選択を検出することは、アイトラッキングデバイスを介して、ユーザの視線が第1の選択可能オブジェクトに向けられていることを検出することと、ハンドトラッキングデバイスを介して、ユーザが手で個別のジェスチャを実行することを検出することとを含む。いくつかの実施形態では、第1の選択可能オブジェクト(例えば、904a)の選択の検出に応じて(1016c)、電子デバイス(例えば、101)は、個別のユーザインタフェース要素の第2の個別の部分にオーバーレイされた第1の選択可能オブジェクト(例えば、904a)の表現(例えば、第1の選択可能オブジェクトに関連付けられたオブジェクト、ユーザインタフェース、コンテンツなど)を表示し(1016d)、個別のユーザインタフェース要素の第2の個別の部分は、第1の値とは異なる第2の値を有する個別の視覚特性で表示される。いくつかの実施形態では、第1の選択可能オブジェクトの選択を検出したことに応じて、電子デバイスは、個別のユーザインタフェース要素を表示することなく、第1の選択可能オブジェクト(例えば、第1の選択可能オブジェクトに関連付けられたオブジェクト、ユーザインタフェース、コンテンツなど)の表現を表示する。いくつかの実施形態では、電子デバイスは、表示生成コンポーネントによって提示される3次元環境に他のオブジェクト又はユーザインタフェースを表示することなく、第1の選択可能オブジェクトの表現(例えば、第1の選択可能オブジェクトに関連付けられたオブジェクト、ユーザインタフェース、コンテンツなど)を表示する。例えば、電子デバイスは、フルスクリーンモード又は没入モードで表現を表示する。いくつかの実施形態では、ユーザインタフェースは、画像を閲覧するためのユーザインタフェース(例えば、写真アプリケーション)であり、第1の選択可能オブジェクトは、ユーザインタフェース内の画像のうちの1つの表現である。いくつかの実施形態では、画像の表現の選択を検出したことに応じて、電子デバイスは、画像をより大きなサイズで表示し、画像を閲覧するためのユーザインタフェースの残りの部分の少なくとも一部をぼかす。
第2の値を有する視覚特性を有する個別のユーザインタフェース要素の第2の個別の部分にオーバーレイされた第1の選択可能オブジェクトの表現を表示する上述の方法は、第1の選択可能オブジェクトの表現を表示しながら視覚クラッタを低減する効率的な方法を提供し、これは、ユーザの認知的負担を低減し、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、個別のユーザインタフェース要素(例えば、904a)は、第2の個別の部分を取り囲む第3の個別の部分を含む(1018a)。いくつかの実施形態では、第3の個別の部分は、個別のユーザインタフェース要素の第2の個別の部分と第1の個別の部分との間にある。いくつかの実施形態では、第1の選択可能オブジェクト(例えば、904a)の選択を検出したことに応じて、個別のユーザインタフェース要素(例えば、904a)の第2の個別の部分は、第2の値を有する個別の視覚特性で表示され、個別のユーザインタフェース要素の第3の個別の部分は、第1の値と第2の値との間の第3の値を有する個別の視覚特性で表示される(1018b)。いくつかの実施形態では、第1の選択可能オプションの選択を検出したことに応じて、電子デバイスは、第1の値を有する個別の視覚特性で個別のユーザインタフェース要素の第1の部分を表示する。例えば、いくつかの実施形態では、電子デバイスは、第1の選択可能オブジェクトの選択に応じて表示される第1の選択可能オブジェクト(例えば、第1の選択可能オブジェクトに関連付けられたオブジェクト、ユーザインタフェース、コンテンツなど)の表現に最も近い部分に適用されるぼかしを増加させながら、個別のユーザインタフェース要素にぼかし効果を適用する。この例では、個別のユーザインタフェース要素の一部が、第1の選択可能オブジェクト(例えば、第1の選択可能オブジェクトに関連付けられたオブジェクト、ユーザインタフェース、コンテンツなど)の表現に近いほど、その部分がよりぼかされる。この例では、電子デバイスは、任意選択的に、個別のユーザインタフェース要素の第1の部分をぼかしなしで表示する。いくつかの実施形態では、ユーザインタフェースは、画像を閲覧するためのユーザインタフェース(例えば、写真アプリケーション)であり、第1の選択可能オブジェクトは、ユーザインタフェース内の画像のうちの1つの表現である。いくつかの実施形態では、画像の表現の選択を検出したことに応じて、電子デバイスは、画像をより大きなサイズで表示し、画像の境界に最も近いユーザインタフェースの部分に適用されるぼかしを増加させながら、画像を閲覧するためのユーザインタフェースの残りの部分の少なくとも一部をぼかす。
第2の値を有する個別の視覚特性を有する個別のユーザインタフェース要素の第2の個別の部分と、第3の値を有する個別のユーザインタフェース要素の第3の個別の部分とを表示する上述の方法は、個別のユーザインタフェース要素の1つ以上の部分の見やすさを維持しながら、第1の選択可能オプションの表現の近くの視覚クラッタを低減する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図11Aなどのいくつかの実施形態では、個別のユーザインタフェース要素は、複数のカテゴリ(例えば、オブジェクト、コンテンツ、情報、ユーザインタフェースなど)に対応する第1の複数の表現(例えば、1104a)と、複数のカテゴリのサブカテゴリ(例えば、オブジェクト、コンテンツ、情報、ユーザインタフェースなど)に対応する第2の複数の表現(例えば、1108a-c)及び(例えば、1110a)とを含む(1020a)。いくつかの実施形態では、個別のカテゴリの表現の選択を検出したことに応じて、電子デバイスは、コンテンツ、オブジェクト、ユーザインタフェース、情報など、及び/又は個別のカテゴリに関連付けられたサブカテゴリの表現を提示する。いくつかの実施形態では、個別のサブカテゴリの表現の選択を検出したことに応じて、電子デバイスは、個別のサブカテゴリに関連付けられたコンテンツ、オブジェクト、ユーザインタフェース、情報などを提示する。例えば、写真閲覧アプリケーションは、年の表現にオーバーレイされたアルバムの表現を含む。いくつかの実施形態では、年の表現の選択を検出したことに応じて、電子デバイスは、個別の年に作成された写真及び/又はアルバムを表示する。いくつかの実施形態では、アルバムの表現の選択を検出したことに応じて、電子デバイスは、アルバムに含まれる写真を表示する。図11Aなどのいくつかの実施形態では、電子デバイス(例えば、101)は、個別のユーザインタフェース要素を表示している間に、1つ以上の入力デバイスを介してスクロール入力を受信する(1020b)。いくつかの実施形態では、スクロール入力を受信したことに応じて(1020c)、スクロール入力が第1の複数の表現(例えば、1104a)に向けられているという判定(例えば、アイトラッキングデバイスを介して、ユーザの視線が第1の複数の表現に向けられていることを検出すること)に従って、電子デバイス(例えば、101)は、スクロール入力に従って第1の複数の表現(例えば、1104a)を第1の速度でスクロールし、第2の複数の表現(例えば、1108a~c)及び(例えば、1110a)を第2の速度でスクロールする。いくつかの実施形態では、第1の複数の表現は、スクロール入力の特性(例えば、スクロール入力の速度、スクロール入力の動きの大きさ)に比例した速度でスクロールし、第2の複数の表現は、第1の表現がスクロールする速度に従ってスクロールする。例えば、第1の量だけ移動するように第1の表現をスクロールしたことに応じて、電子デバイスは、第2の表現を第1の速度でスクロールして、第1の表現のそれぞれに関連付けられた第2の表現の第1のセットを表示し、第2の量だけ移動するように第1の表現をスクロールしたことに応じて、電子デバイスは、第2の表現を第2の速度でスクロールして、第1の表現のそれぞれに関連付けられた第2の表現の第2のセットを表示する。例えば、アルバム(例えば、サブカテゴリ)及び年(例えば、カテゴリ)の表現を含む写真閲覧アプリケーションにおいて、電子デバイスは、年の表現をスクロールするための入力を検出し、入力に応じて、スクロール入力に従って年の表現をスクロールし、年がスクロールする速度に従ってアルバムの表現をスクロールする。例えば、電子デバイスが第1の年にスクロールする場合、電子デバイスは、アルバムをスクロールして第1の年からのアルバムを表示し、電子デバイスが第2の年にスクロールする場合、電子デバイスは、アルバムをスクロールして第2の年からのアルバムを表示する。いくつかの実施形態では、スクロール入力を受信したことに応じて(1020c)、図11Aのように、スクロール入力が第2の複数の表現(例えば、1108a~c)及び(例えば、1110a)に向けられているという判定(例えば、アイトラッキングデバイスを介して、ユーザの視線が第1の複数の表現に向けられていることを検出すること)に従って、電子デバイス(例えば、101)は、スクロール入力に従って、第2の速度とは異なる第3の速度で第2の複数の表現(例えば、1108a~c)及び(例えば、1110a)をスクロールする(1020e)。いくつかの実施形態では、第2の複数の表現をスクロールする入力を検出したことに応じて、電子デバイスは、スクロール入力の特性(例えば、スクロール入力の速度、スクロール入力の動きの大きさ)に比例した速度で第2の複数の表現をスクロールする。いくつかの実施形態では、第1の複数の表現は、第2の表現がスクロールされる速度に関連する速度でスクロールする。いくつかの実施形態では、電子デバイスは、第2の表現をスクロールする入力に応じて、第1の表現をスクロールしない。例えば、アルバム(例えば、サブカテゴリ)及び年(例えば、カテゴリ)の表現を含む写真閲覧アプリケーションにおいて、電子デバイスは、アルバムの表現をスクロールするための入力を検出し、入力に応じて、スクロール入力に従ってアルバムの表現をスクロールし、アルバムがスクロールする速度に従って年の表現をスクロールする。例えば、電子デバイスが第1の年に関連付けられた1つ以上のアルバムにスクロールする場合、電子デバイスは、年をスクロールして第1の年の表現を表示し、電子デバイスが第2の年に関連付けられた1つ以上のアルバムにスクロールする場合、電子デバイスは、年をスクロールして第2の年の表現を表示する。
スクロール入力が第1の表現又は第2の表現に向けられているかどうかに応じて異なる速度で第2の表現をスクロールする上述の方法は、カテゴリをスクロールしている間に見えるカテゴリに対応するサブカテゴリを提示する効率的な方法と、カテゴリから独立してサブカテゴリをスクロールする方法とを提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図11Aなどのいくつかの実施形態では、個別のユーザインタフェース要素は、(例えば、コンテンツ、オブジェクト、ユーザインタフェースなどの)複数のカテゴリに対応する第1の複数の表現(例えば、1104a)を含む(1022a)。いくつかの実施形態では、個別のカテゴリの表現の選択を検出したことに応じて、電子デバイスは、コンテンツ、オブジェクト、ユーザインタフェース、情報など、及び/又は個別のカテゴリに関連付けられたサブカテゴリの表現を提示する。例えば、写真閲覧アプリケーションでは、カテゴリは、各々が個別の年からの写真及びアルバムを含む年であり、サブカテゴリはアルバムである(例えば、各アルバムは個別の年に関連付けられている)。別の例として、ビデオコンテンツ閲覧アプリケーションでは、カテゴリはコンテンツアイテムの集合(例えば、複数の一連のエピソードコンテンツを含む)であり、サブカテゴリは一連のエピソードコンテンツである。図11Aなどのいくつかの実施形態では、個別のユーザインタフェース要素は、複数のカテゴリのサブカテゴリに対応する第2の複数の表現(例えば、1108a~c)及び(例えば、1110a)を含む(1022b)。いくつかの実施形態では、個別のサブカテゴリの表現の選択を検出したことに応じて、電子デバイスは、個別のサブカテゴリに関連付けられたコンテンツ、オブジェクト、ユーザインタフェース、情報などを提示する。例えば、写真閲覧アプリケーションでは、カテゴリは、各々が個別の年からの写真及びアルバムを含む年であり、サブカテゴリはアルバムである(例えば、各アルバムは個別の年に関連付けられている)。別の例として、ビデオコンテンツ閲覧アプリケーションでは、カテゴリはコンテンツアイテムの集合(例えば、複数の一連のエピソードコンテンツを含む)であり、サブカテゴリは一連のエピソードコンテンツである。いくつかの実施形態では、第2の複数の表現(例えば、1108a~c)及び(例えば、1110a)は、第1の複数の表現(例えば、1104a~b)にオーバーレイされる(1022c)。いくつかの実施形態では、電子デバイスが、カテゴリの表現にオーバーレイされたサブカテゴリの表現を表示している間、カテゴリの表現の一部は可視である。いくつかの実施形態では、サブカテゴリの表現は、カテゴリの表現の各々の個別の部分に(例えば、カテゴリの表現の下端に沿って)オーバーレイされる。いくつかの実施形態では、カテゴリの表現及びサブカテゴリの表現は、同じ軸に沿って配置される(例えば、カテゴリの表現及びサブカテゴリの表現は、水平にスクロール可能であるなど、同じ次元でスクロール可能である)。いくつかの実施形態では、個別のカテゴリのサブカテゴリの表現は、個別のカテゴリの表現の境界内に含まれる(例えば、サブカテゴリの表現は、サブカテゴリが属するカテゴリの表現の水平境界を越えて水平に延在しない)。いくつかの実施形態では、個別のカテゴリのサブカテゴリの表現は、個別のカテゴリの境界を越えて延在する(例えば、サブカテゴリの表現は、サブカテゴリが属するカテゴリの表現の水平境界を越えて水平に延在する)。カテゴリの表現にオーバーレイされたサブカテゴリの表現を表示する上述の方法は、各サブカテゴリが関連付けられたカテゴリを示す効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図11A~図11Dは、いくつかの実施形態による、電子デバイスがカテゴリ及びサブカテゴリの表現を協調的にスクロールする方法の例を示す。
図11Aは、表示生成コンポーネント120を介して、ユーザインタフェース上に3次元環境1124を表示する電子デバイス101を示す。しかしながら、3次元環境以外のユーザインタフェースにおいて、図11A~図11Dを参照して本明細書で開示される技法のうちの1つ以上を実装することが可能であり、本開示の範囲から逸脱しないことを理解されたい。図1~図6を参照して上述したように、電子デバイス101は、任意選択的に、表示生成コンポーネント120(例えば、タッチスクリーン)及び複数の画像センサ314を含む。画像センサ314は、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又は任意の他のセンサのうちの1つ以上を含み、電子デバイス101は、ユーザが電子デバイス101と相互作用している間、ユーザ又はユーザの一部の1つ以上の画像をキャプチャするために使用することができる。いくつかの実施形態では、表示生成コンポーネント120は、ユーザの手のジェスチャ及び動きを検出することができるタッチスクリーンである。いくつかの実施形態では、以下に示すユーザインタフェースは、ユーザにユーザインタフェースを表示する表示生成コンポーネントと、物理的環境及び/又はユーザの手の動き(例えば、ユーザから外向きに面する外部センサ)、及び/又はユーザの視線(例えば、ユーザの顔に向かって内向きに面する内部センサ)を検出するセンサとを含むヘッドマウントディスプレイに実装することもできる。図11Aに示すように、ユーザインタフェースは、ナビゲーションバー1106を更に含む。いくつかの実施形態では、ナビゲーションバー1106は、図9A~図10Kを参照して上述した制御要素と同様に挙動する。
図11Aは、3次元環境1124にユーザインタフェースを表示する電子デバイス101を示す。ユーザインタフェースは、カテゴリAの表現1104a、カテゴリBの表現1104b、カテゴリA 1104aのサブカテゴリの表現1108a~1108c、及びカテゴリB 1104bのサブカテゴリの表現1110aを含む。図11Aに示すように、サブカテゴリの表現1108a~c及び1110aは、カテゴリの表現1104a~bに少なくとも部分的にオーバーレイされて表示される。いくつかの実施形態では、カテゴリは、コンテンツ、アプリケーション、設定などのカテゴリであり、選択されたカテゴリ又はサブカテゴリのコンテンツ、アプリケーション、設定などに関連するユーザインタフェースを提示するために選択可能である。例えば、写真閲覧アプリケーションでは、カテゴリは年に対応し、個別の年に撮影された写真を含み、サブカテゴリはフォトアルバムに対応し、各フォトアルバムは1つ以上の年に関連付けられている(例えば、カテゴリに対応する)。この例では、年(例えば、カテゴリ)の表現1104a又は1104bのうちの1つの選択を検出したことに応じて、電子デバイス101は、選択された年(例えば、カテゴリ)における写真及び/又はアルムの表現(例えば、サブカテゴリ)を表示する。別の例として、アルバム(例えば、カテゴリ)の表現1108a~c又は1110aのうちの1つの選択を検出したことに応じて、電子デバイス101は、アルバム(例えば、サブカテゴリ)内の写真を表示する。いくつかの実施形態では、電子デバイス101は、ユーザの視線が個別の選択可能要素上にある間にユーザの手による所定のジェスチャ(例えば、ピンチジェスチャ)を検出することによって選択を検出する。いくつかの実施形態では、カテゴリの表現1104a及び1104b並びに/又はサブカテゴリの表現1108a~c及び1110aは、2次元でスクロール可能なカードユーザインタフェース要素である。
いくつかの実施形態では、カテゴリの表現1104a及び1104b並びにサブカテゴリの表現1108a~c及び1110aは、デバイス101のユーザの視線に少なくとも部分的に基づいて、図11Aに示されていない追加のカテゴリ及び/又はサブカテゴリを表示するために、水平方向にスクロール可能である。例えば、いくつかの実施形態では、電子デバイス101は、ユーザが所定のジェスチャを実行しながら自分の手1112を動かしていることを検出しながら、カテゴリAの表現1104a(又はカテゴリBの表現1104b)に向けられたユーザの視線1102aを検出する。いくつかの実施形態では、所定のジェスチャは、親指と同じ手の別の指(例えば、人差し指、中指、薬指、小指)に親指で触れること(例えば、ピンチジェスチャ)を含む。いくつかの実施形態では、ユーザの視線1102aがカテゴリAの表現1104aに向けられている間にジェスチャを実行している間に手1112の動きを検出したことに応じて、電子デバイス101は、ユーザの手1112の動きに従ってカテゴリの表現1104a及び1104bをスクロールする。例えば、図11Aに示すように、ユーザが手1112を右に動かしたことの検出に応じて、電子デバイス101は、表現1104a及び1104bを右にスクロールする。いくつかの実施形態では、電子デバイス101は、ユーザが所定のジェスチャの実行を中止した(例えば、親指と指を互いに離すように移動させる)ことを検出したことに応じて、ユーザの手の動きに応じてカテゴリの表現1104a及び1104bのスクロールを中止する。
いくつかの実施形態では、上述の入力に応じてカテゴリの表現1104a及び1104bをスクロールする間に、電子デバイス101は、カテゴリの表現1104a~bのスクロールに従ってサブカテゴリの表現1108a~c及び1110aをスクロールする。いくつかの実施形態では、サブカテゴリの表現1108a~c及び1110aがスクロールする速度は、カテゴリの表現1104a~bがスクロールする速度に比例し、サブカテゴリの表現1108a~c及び1110aがスクロールする方向は、カテゴリの表現1104a~bがスクロールする方向と同じである。いくつかの実施形態では、サブカテゴリの表現1108a~c及び1110aは、カテゴリの表現1104a~bよりも速い速度でスクロールする。いくつかの実施形態では、サブカテゴリの表現1108a~c及び1110aは、電子デバイス101によって現在表示されているカテゴリの表現1104a~bに従ってスクロールする。例えば、カテゴリの表現1104a~bがスクロールして第3のカテゴリ(図11Aには図示せず)を表示すると、サブカテゴリの表現1108a~c及び1110aもスクロールして(例えば、適切な速度で)、第3のカテゴリの少なくとも1つのサブカテゴリの表現を表示する。別の例として、カテゴリB 1104bの表現がユーザインタフェース内で左揃えになるようにカテゴリ1104a~bの表現をスクロールしたことに応じて、電子デバイス101は、カテゴリB 1104bの第1のサブカテゴリであるサブカテゴリB11110aも、カテゴリBの表現1104bにオーバーレイされてユーザインタフェース内で左揃えになるように、表現1108a~c及び1110aをスクロールする。
同様に、いくつかの実施形態では、電子デバイス101は、ユーザが手1112で所定のジェスチャを実行している間にユーザの手1112の動きを検出しながら、サブカテゴリA2の表現1108bへのユーザの視線1102bを検出する。いくつかの実施形態では、ユーザがジェスチャを実行して表現1108b(又はサブカテゴリの別の表現1108a、1108c、又は1110a)を見ている間に手1112の動きを検出したことに応じて、電子デバイス101は、サブカテゴリ1108a~c及び1110aの表現をスクロールする。いくつかの実施形態では、サブカテゴリ1108a~c及び1110aの表現をスクロールしている間、電子デバイス101は、カテゴリの表現1104a~bのスクロールを取り止める。いくつかの実施形態では、電子デバイス101は、サブカテゴリの表現1104a~c及び1110aのスクロールに比例した速度で、かつ同じ方向に、カテゴリの表現1108a~bをスクロールする。いくつかの実施形態では、カテゴリの表現1104a~bは、サブカテゴリの表現1108a~c及び1110aよりも遅い速度でスクロールする。いくつかの実施形態では、カテゴリの表現1104a~bは、電子デバイス101によって現在表示されているサブカテゴリの表現1108a~c及び1110aに従ってスクロールする。例えば、サブカテゴリの表現1108a~c及び1110aがスクロールして第3のカテゴリ(図11Aには図示せず)のサブカテゴリを表示すると、カテゴリの表現1104a~bはスクロールして(例えば、適切な速度で)、第3のカテゴリの表現を表示する。
したがって、図11Aは、電子デバイス101が協調してスクロールするカテゴリの表現1104a~bとサブカテゴリの表現1108a~c及び1110aとを含むユーザインタフェースを示す。
図11Bは、カテゴリの表現1116a及び1116b、並びにカテゴリA 1116aのサブカテゴリの表現1118a~dを有するユーザインタフェースを含む別の3次元環境1126を表示する電子デバイス101を示す。電子デバイス101が、本開示の範囲から逸脱することなく、2次元ユーザインタフェースにおいて図11B~図11Dを参照して説明した技法のうちの1つ以上を実装することが可能であることを理解されたい。いくつかの実施形態では、カテゴリ及びサブカテゴリは、コンテンツ、設定、アプリケーションなどのカテゴリ及びサブカテゴリである。例えば、図11Bに示すユーザインタフェースは、一連のエピソードコンテンツのカテゴリを含むビデオコンテンツ閲覧ユーザインタフェースである(例えば、一連のエピソードコンテンツは、カテゴリのサブカテゴリであり、ビデオコンテンツのエピソードを含む)。例示的なカテゴリは、新しいコンテンツ、人気のあるコンテンツ、ユーザの以前のコンテンツ消費履歴に基づく推奨、コンテンツの精選されたコレクションなどを含む。いくつかの実施形態では、カテゴリAの表現1116aは、カテゴリAの特定のサブカテゴリに関連付けられることなく、カテゴリAに関連付けられた画像を含み、カテゴリAに関連付けられたユーザインタフェースを表示するために選択可能である。いくつかの実施形態では、カテゴリAの表現1116aは、カテゴリAのサブカテゴリのうちの1つ(例えば、表現1118a~dに対応しないサブカテゴリ)に対応し、カテゴリAのサブカテゴリに関連付けられたユーザインタフェースを表示するために選択可能である。再び図11Bを参照すると、いくつかの実施形態では、ユーザインタフェースは、図9A~図10Kを参照して上述した制御要素と同様に挙動するナビゲーションバー1114を更に含む。
図11Bでは、電子デバイス101は、カテゴリAの表現1116aに向けられたユーザの視線1102cと、ユーザが所定のジェスチャを実行しながら自分の手1112を動かしたこととを検出する。いくつかの実施形態では、所定のジェスチャは、親指と同じ手の別の指(例えば、人差し指、中指、薬指、小指)に親指で触れること(例えば、ピンチジェスチャ)を含む。ユーザがピンチジェスチャを維持しながら手1112を動かしている間にカテゴリAの表現1116a上でユーザの視線1102cを検出したことに応じて、電子デバイス101は、図11Cに示すように、カテゴリの表現をスクロールしてカテゴリBの表現1116bを表示する。いくつかの実施形態では、サブカテゴリの表現1118a~dは同様にスクロール可能であることを理解されたい。例えば、電子デバイス101は、ピンチジェスチャを維持しながら動くユーザの手1112を検出しながら、表現1118a~dのうちの1つに向けられたユーザの視線を検出したことに応じて、サブカテゴリの表現1118a~dをスクロールする。いくつかの実施形態では、電子デバイス101は、カテゴリの表現1116a~bをスクロールすることなく、サブカテゴリの表現1118a~dをスクロールする。
図11Cは、図11Bにおいて検出された入力に応じたユーザインタフェースを示す。図11Cに示すように、電子デバイス101は、カテゴリの表現1116a~cをスクロールして、カテゴリBの完全な表現1116b及びカテゴリCの表現1116cの一部を表示し、カテゴリAの表現1116aの一部のみを表示している。カテゴリの表現をカテゴリBの表現1116bにスクロールしたことに応じて、電子デバイス101は、図11Bに示すカテゴリAのサブカテゴリの表現1118a~dの表示を中止し、カテゴリBのサブカテゴリの表現1120a~dを表示する。図11B~図11Cに示すように、いくつかの実施形態では、カテゴリの表現1116a~1116cのスクロールを検出したことに応じて、電子デバイス101は、サブカテゴリの表現1118a~d及び1120a~dもスクロールして、カテゴリをスクロールすることによって表示されたカテゴリの表現1116bに対応するサブカテゴリの表現11120a~dを表示する。
前述のように、いくつかの実施形態では、表現1116、1118、及び/又は1120は、選択された表現に関連するコンテンツの表示を開始するために選択可能である。例えば、図11Cに示すように、電子デバイス101は、ユーザが自分の手1112でピンチジェスチャを実行していることを検出している間に、カテゴリBの表現1116b上のユーザの視線1102dを検出する。入力を検出したことに応じて、電子デバイス101は、カテゴリBに関連付けられた図11Dに示すユーザインタフェースを表示する。いくつかの実施形態では、電子デバイス101は、ユーザが手1112でピンチジェスチャを実行していることを検出することなく、所定の閾値時間(例えば、0.2、0.5、1、2秒など)の間、表現1116bへのユーザの視線1102dを検出したことに応じて、図11Dに示すユーザインタフェースを表示する。いくつかの実施形態では、異なるカテゴリの表現(例えば、表現1116a又は1116c)の選択を検出したことに応じて、電子デバイス101は、選択されたカテゴリに対応する図11Dに示すユーザインタフェースと同様のユーザインタフェースを表示する。
図11Dは、図11Cに示す入力の選択を検出したことに応じて表示される、カテゴリBに関連付けられたユーザインタフェースを示す。いくつかの実施形態では、ユーザインタフェースは、カテゴリBの表現1116bと、カテゴリBのサブカテゴリの表現1120a~dとを含む。いくつかの実施形態では、カテゴリBのサブカテゴリの表現1120a~dは、前述と同様に、ユーザの視線を検出することと、手ジェスチャ(例えば、ピンチジェスチャ)を実行している間のユーザの手の動きを検出することとを含む入力に応じて、水平にスクロール可能である。いくつかの実施形態では、表現1120b~dは、図11Cのユーザインタフェースが図11Dの背景にあるように、図11Dに示すユーザインタフェースの背景に表示される。いくつかの実施形態では、電子デバイス101は、図11Dに示すユーザインタフェースにサブカテゴリの表現1120a~dを表示しない。
上述したように、いくつかの実施形態では、カテゴリBの表現1116bは、カテゴリBの特定のサブカテゴリに関連付けられていないカテゴリの表現である。いくつかの実施形態では、表現1116bは、コンテンツ(例えば、ビデオコンテンツ)、画像(例えば、写真、ビデオ)、又はユーザインタフェースを含む。いくつかの実施形態では、カテゴリB 1116bの表現1116bは、カテゴリBのサブカテゴリのうちの1つの表現である。例えば、ビデオコンテンツ閲覧アプリケーションでは、カテゴリBの表現1116bは、カテゴリB内の一連のエピソードコンテンツ(例えば、サブカテゴリのうちの1つ)に関連付けられている。
図11Dに示すように、電子デバイス101は、図11Cに示すユーザインタフェース上にオーバーレイされた、カテゴリBに関連付けられたユーザインタフェースを表示する。図11Dでは、図11Cに示すユーザインタフェースは、ぼかされ、及び/又は暗くされている。いくつかの実施形態では、図11Cのユーザインタフェースのコンテンツ(例えば、カテゴリAの表現1116a及びカテゴリBの表現1116bを含む)は、カテゴリBの表現1116b及びカテゴリBのサブカテゴリの表現1120a~dからz方向に(例えば、表示生成コンポーネント120を介して示される視点に向かう方向に)視覚的に分離されている。例えば、図11Cのユーザインタフェースの表示から図11Dのユーザインタフェースに移行するとき、電子デバイス101は、図11Cのユーザインタフェースのコンテンツを3次元環境1126内のユーザの視点から離れるように移動させ、及び/又はカテゴリBの表現1116b及びカテゴリBのサブカテゴリの表現1120a~dを3次元環境1126内のユーザの視点に向かって移動させる。いくつかの実施形態では、3次元環境1126におけるユーザの視点は、3次元環境1126における電子デバイス101のユーザに関連付けられた位置及び向きである。電子デバイス101は、任意選択的に、ユーザの視点から3次元環境1126を表示する。
上述したように、いくつかの実施形態では、カテゴリBの表現1116bは、コンテンツ(例えば、ビデオコンテンツ、オーディオコンテンツ)に関連付けられている。いくつかの実施形態では、表現1116bに含まれるオプションの選択を検出したことに応じて(又は表現1116b自体の選択を検出したことに応じて)、電子デバイス101は、表示生成コンポーネント120を介してコンテンツを表示するなど、オプション(又は表現1116b自体)に関連付けられたコンテンツを再生する。いくつかの実施形態では、電子デバイス101は、図7A~図8Fを参照して上述したように、視線及び/又は手ジェスチャに基づいて選択を検出する。いくつかの実施形態では、表現1116bに含まれるオプションの選択又は表現1116b自体の選択に応じてビデオコンテンツを提示しながら、電子デバイス101は、図7Cを参照して上述した技術と同様に、コンテンツ以外の3次元環境1126の部分のぼかし及び暗化を増加させ、及び/又はコンテンツ上のスポットライトなどの雰囲気照明効果を導入する。
いくつかの実施形態では、電子デバイス101は、サブカテゴリの表現の選択(例えば、視線又は手ジェスチャを介して)を検出したことに応じて、カテゴリの個別のサブカテゴリに関連付けられた、図11Dに示すユーザインタフェースと同様のユーザインタフェースを表示する。例えば、図11C又は図11DにおけるサブカテゴリB1の表現1120aの選択を検出したことに応じて、電子デバイス101は、図11Dに示すユーザインタフェースと同様のユーザインタフェースを表示する。いくつかの実施形態では、ユーザインタフェースは、図11DのカテゴリBの表現1116bの代わりにサブカテゴリB1の表現を含む。いくつかの実施形態では、サブカテゴリB1に関連付けられたユーザインタフェース内のサブカテゴリB1の表現は、選択されると、電子デバイス101に、上述した方法と同様の方法でサブカテゴリB1に関連付けられたコンテンツの再生を開始させる(又はサブカテゴリB1の表現はコンテンツを再生するために選択可能である)選択可能オプションを含む。いくつかの実施形態では、サブカテゴリB1に関連付けられたユーザインタフェースは、カテゴリB内の他のサブカテゴリの表現1120b~dを含む。いくつかの実施形態では、表現1120b~dは、図11Dに示す位置に表示される。いくつかの実施形態では、表現1120b~dは、図11Cのユーザインタフェースが図11Dの背景にあるように、図11Dに示すユーザインタフェースの背景に表示される。いくつかの実施形態では、電子デバイス101は、サブカテゴリB1に関連付けられたユーザインタフェース内にカテゴリBの他のサブカテゴリの表現を表示しない。
したがって、図11A~図11Dを参照して上述したように、いくつかの実施形態では、電子デバイス101は、カテゴリ及びサブカテゴリの表現を表示する。いくつかの実施形態では、電子デバイス101は、カテゴリ及びサブカテゴリの表現を協調的にスクロールする。いくつかの実施形態では、電子デバイスは、個別のカテゴリ及びサブカテゴリに関連付けられたユーザインタフェースを表示しながら、カテゴリ及びサブカテゴリの表現の表示を更新する。
図12A~12Jは、いくつかの実施形態による、カテゴリ及びサブカテゴリの表現を協調的にスクロールする方法を示すフローチャートである。いくつかの実施形態では、方法1200は、コンピュータシステム(例えば、タブレット、スマートフォン、ウェアラブルコンピュータ、又はヘッドマウントデバイスなどの図1のコンピュータシステム101)で実行される。表示生成コンポーネント(例えば、図1、図3、及び図4の表示生成コンポーネント120)を含む(例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど)及び1つ以上のカメラ(例えば、カメラ(例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ))は、ユーザの手又はユーザの頭部から前方に向くカメラである。いくつかの実施形態では、方法1200は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1Aの制御ユニット110)など、コンピュータシステムの1つ以上のプロセッサによって実行される命令によって実行される。方法1200の一部の動作は、任意選択的に組み合わされ、及び/又は一部の動作の順序は、任意選択的に変更される。
図11Aなどのいくつかの実施形態では、方法1200は、表示生成コンポーネント120及びアイトラッキングデバイスを含む1つ以上の入力デバイス(例えば、モバイルデバイス(例えば、タブレット、スマートフォン、メディアプレーヤ、若しくはウェアラブルデバイス)、又はコンピュータ)と通信する電子デバイス(例えば、101)において実行される。いくつかの実施形態では、表示生成コンポーネントは、電子デバイス(任意選択的にタッチスクリーンディスプレイ)と一体化されたディスプレイ、モニタ、プロジェクタ、テレビなどの外部ディスプレイ、又はユーザインタフェースを投影し1人以上のユーザにユーザインタフェースが可視であるようにするためのハードウェア構成要素(任意選択的に組み込み若しくは外部)などである。いくつかの実施形態では、1つ以上の入力デバイスは、表示データを受信し(例えば、ユーザ入力をキャプチャし、ユーザ入力を検出するなど)、ユーザ入力に関連する情報を電子デバイスに送信することができる電子デバイス又はコンポーネントを含む。入力デバイスの例としては、タッチスクリーン、マウス(例えば、外部)、トラックパッド(任意選択的に統合又は外部)、タッチパッド(任意選択的に統合又は外部)、リモートコントロールデバイス(例えば、外部)、別のモバイルデバイス(例えば、電子デバイスとは別個)、ハンドヘルドデバイス(例えば、外部)、コントローラ(例えば、外部)、カメラ、深度センサ、アイトラッキングデバイス、及び/又は動きセンサ(例えば、ハンドトラッキングデバイス、手動きセンサ)などが挙げられる。
図11Aなどのいくつかの実施形態では、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、複数のカテゴリ(1202b)のうちの第1のカテゴリの第1の表現(例えば、1104a)を含むユーザインタフェースを表示する(1202a)。いくつかの実施形態では、カテゴリの表現は、個別のカテゴリに適合するか又は個別のカテゴリに含まれる(例えば、その一部である)複数のオブジェクト(例えば、ファイル、アプリケーションなど)に任意選択的に関連付けられる。例えば、2019年に撮影された複数の写真は、2019年カテゴリに含まれる。いくつかの実施形態では、各カテゴリに含まれるオブジェクトは、カテゴリのサブカテゴリに含まれる。例えば、2019年に撮影された写真の複数のコレクションは、2019年カテゴリのサブカテゴリであり、任意選択的に個別のサブカテゴリ及び2019年カテゴリに属する写真を含むことができる。いくつかの実施形態では、カテゴリの表現の選択を検出したことに応じて、電子デバイスは、カテゴリ内のサブカテゴリの表現及び/又はカテゴリに含まれるオブジェクトの表現を表示する。いくつかの実施形態では、ユーザインタフェースは、ユーザがカテゴリを閲覧してコンテンツのコレクションをナビゲートすることを可能にする。いくつかの実施形態では、ユーザインタフェースは、デバイス(例えば、仮想現実(VR)環境、複合現実(MR)環境、又は拡張現実(AR)環境などのコンピュータ生成現実(CGR)環境)によって生成、表示、又はその他の方法で閲覧可能にされる3次元環境で表示される。
図11Aなどのいくつかの実施形態では、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、第1のカテゴリ(1202c)の第1の複数のサブカテゴリのうちの第1のサブカテゴリの第1の個別の表現(例えば、1108a)を含むユーザインタフェースを表示する(1202a)。いくつかの実施形態では、第1のサブカテゴリは、任意選択的に、第1のサブカテゴリに適合するか又は含まれる(例えば、その一部である)第1のカテゴリに属する複数のオブジェクト(例えば、ファイル、アプリケーションなど)に関連付けられる。例えば、2019年に撮影された休暇の写真アルバムに含まれる複数の写真は、休暇アルバムサブカテゴリ及び2019年カテゴリに適合する。いくつかの実施形態では、第1のサブカテゴリの表現の選択を検出したことに応じて、電子デバイスは、サブカテゴリに含まれるオブジェクトの表現を表示する。いくつかの実施形態では、ユーザインタフェースは、ユーザがサブカテゴリを閲覧してオブジェクトのコレクションをナビゲートすることを可能にする。
図11Aなどのいくつかの実施形態では、ユーザインタフェースを表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、スクロール入力を検出する(1202d)。いくつかの実施形態では、スクロール入力を検出することは、任意選択的に、アイトラッキングデバイスを介して、ユーザの視線がスクロールに関連付けられたユーザインタフェースの領域上にあることを検出することを含む。いくつかの実施形態では、スクロール入力を検出することは、アイトラッキングデバイスを介して、スクロール可能なユーザインタフェース要素へのユーザの視線を検出することと、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、及び/又はタッチセンサ(例えば、タッチスクリーン又はトラックパッド))を介して、ユーザがスクロールに関連付けられたジェスチャ(例えば、親指と指(例えば、人差し指、中指、薬指、又は小指)を一緒にタップ又はピンチし、ユーザインタフェースがスクロール可能な方向に手を動かすこと)を実行することを検出することとを含む。いくつかの実施形態では、サブカテゴリの表現は、サブカテゴリが属するカテゴリの表現上にオーバーレイされて、又はそれに近接して表示される。
いくつかの実施形態では、スクロール入力を受信したことに応じて(1202e)、スクロール入力が検出された(1202f)ときにユーザの視線が第1のカテゴリの第1の表現に向けられたという判定に従って、電子デバイス(例えば、101)は、複数のカテゴリのうちの第2のカテゴリの第2の表現にナビゲートする。いくつかの実施形態では、電子デバイスは、第1のカテゴリの表現の表示を中止し、第2のカテゴリの表現の表示を開始する。いくつかの実施形態では、スクロール入力を受信する前に、電子デバイスは、現在のナビゲーション位置に対応するユーザインタフェース内の個別の位置に第1のカテゴリの表現を表示し、第2のカテゴリの表現の少なくとも一部を表示する。いくつかの実施形態では、スクロール入力を受信したことに応じて、電子デバイスは、現在のナビゲーション位置に対応するユーザインタフェース内の個別の位置に第2のカテゴリの表現を含むようにユーザインタフェースを更新し、第1のカテゴリの表現を前のナビゲーション位置に対応するユーザインタフェース内の位置に移動させる。
いくつかの実施形態では、図11Aのスクロール入力(1202e)を受信したことに応じて、スクロール入力が検出されたとき(1202f)にユーザの視線(例えば、1102a)が第1のカテゴリの第1の表現(例えば、1104a)に向けられたという判定に従って、電子デバイス(例えば、101)は、ユーザインタフェース内に、第2のカテゴリの第2の複数のサブカテゴリのうちの第1のサブカテゴリの第1の個別の表現(例えば、1110a)を表示する(1202h)。いくつかの実施形態では、電子デバイスは、第1のカテゴリのサブカテゴリの表現の表示を中止する。いくつかの実施形態では、スクロール入力を受信する前に、電子デバイスは、ユーザインタフェースの現在のナビゲーション位置に対応するユーザインタフェース内の個別の位置に第1のカテゴリのサブカテゴリの表現を表示し、第1のカテゴリの第2のカテゴリのサブカテゴリの表現の少なくとも一部を表示する。いくつかの実施形態では、スクロール入力に応じて、電子デバイスは、ユーザインタフェースの現在のナビゲーション位置に対応するユーザインタフェースの個別の部分に第2のカテゴリのサブカテゴリの表現を含むようにユーザインタフェースを更新する。いくつかの実施形態では、スクロール入力を受信したことに応じて、及びスクロール入力が受信されたときにユーザの視線が第1のカテゴリの第1の表現に向けられたという判定に従って、電子デバイスは、第2のカテゴリの表現にナビゲートし、第2のカテゴリのサブカテゴリ(又は複数のサブカテゴリ)の表現(又は複数の表現)を表示する。例えば、コンテンツアイテムのカテゴリの表現及び第1のカテゴリに含まれる一連のエピソードコンテンツの表現(例えば、第1のカテゴリのサブカテゴリの表現)を表示している間に、スクロール入力及びコンテンツアイテムのカテゴリの表現へのユーザの視線を検出したことに応じて、電子デバイスは、コンテンツアイテムの第2のカテゴリの表現及びコンテンツアイテムの第2のカテゴリに含まれる一連のエピソードコンテンツの表現(例えば、第2のカテゴリのサブカテゴリの表現)を含むようにユーザインタフェースを更新する。
いくつかの実施形態では、図11Aのスクロール入力(1202e)を受信したことに応じて、スクロール入力が検出された(1202i)ときにユーザの視線(例えば、1102b)が第1のサブカテゴリの第1の個別の表現(例えば、1108b)に向けられたという判定に従って、電子デバイス(例えば、101)は、第2のカテゴリの第2の表現(例えば、1104b)にナビゲートすることなく、第1の複数のサブカテゴリの第2のサブカテゴリの第2の個別の表現(例えば、1108c)にナビゲートする(1202j)。いくつかの実施形態では、電子デバイスは、第1のカテゴリの表現を表示し続ける。いくつかの実施形態では、電子デバイスは、第1のカテゴリの第1及び第2のサブカテゴリの表現の位置を更新することを含めて、第1のカテゴリのサブカテゴリの表現をスクロールする。いくつかの実施形態では、サブカテゴリの表現をスクロールすることは、スクロール入力を受信する前に表示されなかったサブカテゴリの1つ以上の表現(例えば、第2のサブカテゴリの表現)の表示を開始することと、サブカテゴリの1つ以上の表現(例えば、第1のサブカテゴリの表現)の表示を中止することとを含む。いくつかの実施形態では、スクロール入力を受信している間に第1のカテゴリのサブカテゴリの表現へのユーザの視線を検出したことに応じて、電子デバイスは、サブカテゴリの表現をスクロールする。例えば、コンテンツアイテムの第1のカテゴリの表現及びコンテンツの第1のカテゴリに含まれる一連のエピソードコンテンツの表現(例えば、コンテンツアイテムのカテゴリのサブカテゴリの表現)を含むユーザインタフェースを表示しながら、電子デバイスは、スクロール入力及び第1のカテゴリに含まれる一連のエピソードコンテンツのうちの1つの表現へのユーザの視線を検出し、スクロール入力に応じて、電子デバイスは、(例えば、表示されたカテゴリをスクロールすることなく)一連のエピソードコンテンツの表現をスクロールする。いくつかの実施形態では、電子デバイスは、スクロール入力が受信されている間に第1のカテゴリの表現へのユーザの視線を検出したことに応じて第2のカテゴリのサブカテゴリの表現を表示することを含む、カテゴリの表現をスクロールし、スクロール入力が受信されている間に第1のカテゴリのサブカテゴリの表現へのユーザの視線を検出したことに応じて第2のカテゴリのサブカテゴリの表現を表示することなく第1のサブカテゴリの表現をスクロールする。
ユーザの視線に基づいてカテゴリ又はサブカテゴリをナビゲートする上述の方法は、カテゴリをナビゲートしながらカテゴリのサブカテゴリを閲覧し、カテゴリをナビゲートすることなくカテゴリのサブカテゴリをナビゲートする効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図11Cなどのいくつかの実施形態では、第1のカテゴリの第1の表現(例えば、1116b)及び第1のサブカテゴリの第1の個別の表現(例えば、1120a)を表示している間に、第1のカテゴリの第1の表現(例えば、1116b)は、第1のサブカテゴリの第1の個別の表現に対して第1の深度で表示され、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、第1のサブカテゴリの第1の個別の表現(例えば、1120a)を選択する入力を検出する(1204a)。いくつかの実施形態では、第1のカテゴリの第1の表現の深度は、3次元環境におけるユーザの視点に対する深度である。いくつかの実施形態では、第1のサブカテゴリの第1の個別の表現の選択を検出することは、アイトラッキングデバイスを介して、ユーザの視線が第1のサブカテゴリの第1の個別の表現に向けられていることと、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、タッチセンサ(例えば、トラックパッド、タッチスクリーン))を介して、ユーザが自分の手でジェスチャを実行していること(例えば、自分の親指を親指の手の他の指(例えば、人差し指、中指、薬指、小指)のうちの1つに触れること)とを同時に検出することを含む。いくつかの実施形態では、第1のサブカテゴリの第1の個別の表現の選択を検出することは、アイトラッキングデバイスを介して、所定の時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)の間、ユーザの視線が第1の個別の表現に向けられていることを検出することを含む。いくつかの実施形態では、カテゴリの表現(例えば、第1のカテゴリの表現)が代わりに選択される。いくつかの実施形態では、第1のサブカテゴリの第1の個別の表現(例えば、1120a)を選択する入力を検出したことに応じて、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、図11Dのユーザインタフェースと同様の第1のサブカテゴリの第1の個別の表現に関連付けられた第2のユーザインタフェースを表示し(1204b)、第1のカテゴリの第1の表現は、第2のユーザインタフェースに対して、第1の深度よりも深い第2の深度で表示される。いくつかの実施形態では、第2の深度は、第1の深度よりもユーザの視点から遠い(例えば、電子デバイスは、第1のカテゴリの第1の個別の表現の深度を、ユーザの視点から遠くなるように更新する)。いくつかの実施形態では、電子デバイスは、第1のサブカテゴリの第1の個別の表現が表示された深度よりもユーザに近い深度で第2のユーザインタフェースを表示する。いくつかの実施形態では、第2のユーザインタフェースの深度は、ユーザの視点に対する第1のサブカテゴリの第1の個別の表現の深度と同じである。いくつかの実施形態では、カテゴリの表現が代わりに選択された場合、カテゴリの残りの表現(単数又は複数)は、同様に、カテゴリの表現の選択に応じて表示されるユーザインタフェースよりもユーザの視点から深いところに表示される。
第2のユーザインタフェースを表示しながら第1のカテゴリの第1の表現を第2の深度で表示する上述の方法は、第2のユーザインタフェースを表示しながら視覚クラッタを低減し、ユーザの認知的負担を低減する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図11Aなどのいくつかの実施形態では、第1のカテゴリの第1の表現(例えば、1104a)は、第1のカテゴリに対応するカード(例えば、2次元ユーザインタフェースオブジェクト)を含み、第2のカテゴリの第2の表現(例えば、1108b)は、第2のカテゴリ(1204c)に対応するカードを含む。いくつかの実施形態では、カードは、個別のユーザインタフェース内に表示される2次元ユーザインタフェースオブジェクトである。いくつかの実施形態では、カードは、正方形又は長方形又は別の形状である。いくつかの実施形態では、カードは、カテゴリの表現をスクロールする要求に応じて移動する。いくつかの実施形態では、サブカテゴリもカードによって表され、カテゴリカード及びサブカテゴリカードは、同じ次元(例えば、水平方向、垂直方向、斜め方向)にスクロール可能である。いくつかの実施形態では、カードは、カードが対応する個別のカテゴリに対応するテキスト及び/又は画像を含む。
カテゴリの表現をカードとして表示する上述の方法は、ユーザインタフェース内でカテゴリを表現する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図11Cなどのいくつかの実施形態では、第1のカテゴリの第1の表現(例えば、1116b)及び第2のカテゴリの第2の表現(例えば、1116c)を表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、第1のカテゴリの第1の表現(例えば、1116b)を選択する入力を検出する(1206a)。いくつかの実施形態では、第1のカテゴリの第1の表現の選択を検出することは、アイトラッキングデバイスを介して、ユーザの視線が第1のカテゴリの第1の表現に向けられていることと、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、タッチセンサ(例えば、トラックパッド、タッチスクリーン))を介して、ユーザが自分の手でジェスチャを実行していること(例えば、自分の親指を親指の手の他の指(例えば、人差し指、中指、薬指、小指)のうちの1つに触れること)とを同時に検出することを含む。いくつかの実施形態では、第1のカテゴリの第1の表現の選択を検出することは、アイトラッキングデバイスを介して、所定の時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)の間、ユーザの視線が第1のカテゴリの第1の表現に向けられていることを検出することを含む。いくつかの実施形態では、図11Cの第1のカテゴリ(1206b)の第1の表現(例えば、1116b)を選択する入力を検出したことに応じて、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、図11Dのように、第1のカテゴリの第1の表現に関連付けられた第2のユーザインタフェース(例えば、第1のカテゴリに属するコンテンツ、オプション、サブカテゴリの表現などを含むユーザインタフェース)を表示する(1206c)。いくつかの実施形態では、図11Cのように、第1のカテゴリ(1206b)の第1の表現(例えば、1116b)を選択する入力を検出したことに応じて、電子デバイス(例えば、101)は、図11Dのように、第2のカテゴリの第2の表現(例えば、1116c)の表示の強調を解除する。いくつかの実施形態では、第2のユーザインタフェースは、第1のカテゴリ、第2のカテゴリ、及び第1のサブカテゴリの表現を含むユーザインタフェースの修正バージョンにオーバーレイされる。いくつかの実施形態では、ユーザインタフェースを修正することは、ぼかし又は半透明性を増加させ、サイズ又はコントラストを減少させ、ユーザからの深度を増加させ(例えば、ユーザからの第2のユーザインタフェースの深度よりも深い)、及び/又は異なる色でユーザインタフェースを表示することを含む。
第2のユーザインタフェースを表示し、第1のカテゴリの第1の表現を選択する入力を検出したことに応じて第2のカテゴリの第2の表現の表示の強調を解除する上述の方法は、第2のユーザインタフェースを表示しながら第2のカテゴリの表現を表示し続け、視覚クラッタを低減し、ユーザの認知的負担を低減する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図11Cなどのいくつかの実施形態では、第1のカテゴリの第1の表現(例えば、1116b)及び第1のサブカテゴリの第1の個別の表現(例えば、1120b)を表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、第1のカテゴリの第1の表現(例えば、1116b)を選択する入力を検出する(1208a)。いくつかの実施形態では、第1のカテゴリの第1の表現の選択を検出することは、アイトラッキングデバイスを介して、ユーザの視線が第1のカテゴリの第1の表現に向けられていることと、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、タッチセンサ(例えば、トラックパッド、タッチスクリーン))を介して、ユーザが自分の手でジェスチャを実行していること(例えば、自分の親指を親指の手の他の指(例えば、人差し指、中指、薬指、小指)のうちの1つに触れること)とを同時に検出することを含む。いくつかの実施形態では、第1のカテゴリの第1の表現の選択を検出することは、視線トラッキングデバイスを介して、ユーザの視線が所定の時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)の間、第1の表現に向けられていることを検出することを含む。いくつかの実施形態では、図11Cのように、第1のカテゴリ(1208b)の第1の表現(例えば、1116b)を選択する入力を検出したことに応じて、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、図11Dのように、第1のサブカテゴリの第1の個別の表現(例えば、1120b)の表示を維持しながら、第1のカテゴリの第1の表現(例えば、1116b)に関連付けられた第2のユーザインタフェース(例えば、第1のカテゴリに属するコンテンツ、オプション、サブカテゴリの表現などを含むユーザインタフェース)を表示する(1208c)。いくつかの実施形態では、第2のユーザインタフェースは、第1のカテゴリに関連するコンテンツ及び/若しくはオプション、並びに/又は第1のカテゴリ内のサブカテゴリの表現を含む。いくつかの実施形態では、第1のサブカテゴリの第1の個別の表現の位置は、電子デバイスが第2のユーザインタフェースにナビゲートするときに同じままである。いくつかの実施形態では、電子デバイスが第2のユーザインタフェースにナビゲートすると、第1のサブカテゴリの第1の個別の表現の位置が変化する。いくつかの実施形態では、選択入力を検出する前に、電子デバイスは、第1のサブカテゴリを含むサブカテゴリの複数の表現を表示し、選択入力を検出した後、電子デバイスは、サブカテゴリの複数の表現を表示し続ける。
第1のカテゴリの第1の表現を選択する入力に応じて第2のユーザインタフェースを表示しながら、第1のサブカテゴリの第1の個別の表現の表示を維持する上述の方法は、第1のカテゴリに関連するユーザインタフェースにナビゲートすることと、カテゴリに関連するサブカテゴリの1つ以上の表現を提示することとを同時に行う効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、(例えば、第2のユーザインタフェースを表示しながら第1のカテゴリのサブカテゴリにナビゲートするために必要な入力を低減することによって)ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図11Cなどのいくつかの実施形態では、第1のカテゴリの第1の表現(例えば、1116b)を表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、第1のカテゴリの第1の表現(例えば、1116b)を選択する入力を検出する(1210a)。いくつかの実施形態では、第1のカテゴリの第1の表現の選択を検出することは、アイトラッキングデバイスを介して、ユーザの視線が第1のカテゴリの第1の表現に向けられていることと、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、タッチセンサ(例えば、トラックパッド、タッチスクリーン))を介して、ユーザが自分の手でジェスチャを実行していること(例えば、自分の親指を親指の手の他の指(例えば、人差し指、中指、薬指、小指)のうちの1つに触れること)とを同時に検出することを含む。いくつかの実施形態では、第1のカテゴリの第1の表現の選択を検出することは、視線トラッキングデバイスを介して、ユーザの視線が所定の時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)の間、第1の表現に向けられていることを検出することを含む。いくつかの実施形態では、図11Cのように、第1のカテゴリ(1210b)の第1の表現(例えば、1116b)を選択する入力を検出したことに応じて、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、第1のカテゴリの第1の表現(例えば、1116b)に関連付けられた第2のユーザインタフェース(例えば、第1のカテゴリに属するコンテンツ、オプション、サブカテゴリの表現などを含むユーザインタフェース)を表示し(1210c)、第2のユーザインタフェースは、第1のカテゴリの第2の表現(例えば、1116b)及び第1のカテゴリに関連付けられたコンテンツの1つ以上の表現を含む。いくつかの実施形態では、第1のカテゴリの第2の表現は、第1のカテゴリの第1の表現と同じである。いくつかの実施形態では、第1のカテゴリの第2の表現は、第1のカテゴリの第1の表現と(例えば、サイズ、コンテンツ、位置などにおいて)異なる。いくつかの実施形態では、コンテンツの表現は、表現に対応するコンテンツを表示(例えば、再生)するために選択可能又は相互作用可能である。
第1のカテゴリの第1の表現を選択する入力に応じて、第1のカテゴリに関連付けられたコンテンツの表現を第2のユーザインタフェースに表示する上述の方法は、第1のカテゴリのコンテンツアイテムを閲覧及び選択する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図11C~図11Dなどのいくつかの実施形態では、第1のカテゴリの第1の表現(例えば、1116b)を選択する入力は、第1のサブカテゴリの第1の個別の表現(例えば、1120b)を表示している間に受信され、第2のユーザインタフェースは、第1のサブカテゴリ(1212a)の第1の個別の表現(例えば、1120b)を含む。いくつかの実施形態では、第2のユーザインタフェースは、第1のカテゴリの他のサブカテゴリの表現を含む。いくつかの実施形態では、電子デバイスは、電子デバイスが第2のユーザインタフェースを表示するときに、第1のサブカテゴリの第1の個別の表現の位置を更新する。いくつかの実施形態では、第1のサブカテゴリの第1の個別の表現の位置は、第2のユーザインタフェースの前に表示されるユーザインタフェースと第2のユーザインタフェースとで同じである。いくつかの実施形態では、図11Dに示す第2のユーザインタフェースを表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、第1のサブカテゴリの第1の個別の表現(例えば、1120b)に向けられた第2のスクロール入力を検出する(1212b)。いくつかの実施形態では、第2のスクロール入力を検出することは、アイトラッキングデバイスを介して、第1のサブカテゴリの第1の個別の表現上のユーザの視線を検出することと、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、及び/又はタッチセンサ(例えば、タッチスクリーン又はトラックパッド))を介して、ユーザがスクロールに関連付けられたジェスチャ(例えば、親指と指(例えば、人差し指、中指、薬指、又は小指)を一緒にタップ又はピンチし、ユーザインタフェースがスクロール可能な方向に手を動かすこと)を実行することを検出することとを含む。いくつかの実施形態では、第2のスクロール入力を検出したことに応じて、電子デバイス(例えば、101)は、第1の複数のサブカテゴリのうちの第2のサブカテゴリの第2の個別の表現にナビゲートする(1212c)。いくつかの実施形態では、第2のスクロール入力は、第1の複数のサブカテゴリのうちの第2のサブカテゴリの第2の個別の表現を表示する。いくつかの実施形態では、第2のスクロール入力は、第2のサブカテゴリ及び第1のサブカテゴリに加えて、サブカテゴリの表現を表示する。例えば、電子デバイスは、第2のユーザインタフェースが表示された時点でサブカテゴリの複数(例えば、2つ、3つ、4つ、5つ、6つなど)の表現(例えば、第1のサブカテゴリの表現及び第2のサブカテゴリの表現)を同時に表示し、サブカテゴリをスクロールすると、電子デバイスは、1つ以上のサブカテゴリの表示を中止し、1つ以上の他のサブカテゴリの表示を開始する。いくつかの実施形態では、スクロール入力は、入力フォーカスを第1のサブカテゴリの第1の個別の表現から第2のサブカテゴリの第2の個別の表現に移動させる。
第2のユーザインタフェースにおいてサブカテゴリをスクロールする上述の方法は、第1のカテゴリに関連するユーザインタフェースにおいて第1のカテゴリのサブカテゴリを閲覧する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、図11Dのように、第2のユーザインタフェースを表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイス(例えば、アイトラッキングデバイス及び/又はハンドトラッキングデバイス)を介して、第1のカテゴリに関連付けられた個別のコンテンツの個別の表現に向けられた個別の入力を検出する(1214a)。いくつかの実施形態では、個別の入力を検出したことに応じて(1214b)、個別の入力が、1つ以上の第1の基準(例えば、視線が、所定の時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)の間、個別の表現に維持される)を満たす、アイトラッキングデバイスを介して検出された視線入力を含むという判定に従って、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、個別のコンテンツを表示する(1214c)(例えば、いくつかの実施形態では、コンテンツは、第1のカテゴリに関連付けられたコンテンツの表現内で再生される(例えば、インプレース))。いくつかの実施形態では、コンテンツは、コンテンツの表現以外のユーザインタフェースオブジェクトで再生される(例えば、新しいウィンドウ、新しいユーザインタフェースなどで)。いくつかの実施形態では、個別の入力を検出したこと(1214b)に応じて、個別の入力が、電子デバイスと通信しているハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、タッチセンサ(例えば、トラックパッド、タッチスクリーン))を介して検出されたユーザの手からの入力を含み、ユーザの手からの入力が1つ以上の第2の基準(例えば、ユーザが手(単数又は複数)で所定のジェスチャを実行する)を満たしているという判定に従って、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、個別のコンテンツを表示する(1214d)。いくつかの実施形態では、所定のジェスチャは、ユーザが親指で親指の手の別の指(例えば、人差し指、中指、薬指、小指)に触れることである。いくつかの実施形態では、1つ以上の第2の基準は、電子デバイスが、アイトラッキングデバイスを介して、ユーザがジェスチャを実行しながら個別の表現を見ていることを検出したときに満たされる基準を含む。いくつかの実施形態では、コンテンツアイテムは、ユーザの視線が所定の時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)の間、個別のコンテンツの個別の表現に向けられていることを視線トラッキングデバイスを介して検出したことに応じて再生される。いくつかの実施形態では、ユーザが所定の時間閾値の間、個別の表現を見ていることを検出したこと、又はユーザが個別の表現を見ながら手のジェスチャを実行することを検出したことに応じて、電子デバイスは、個別のコンテンツを再生する。いくつかの実施形態では、電子デバイスは、第2のユーザインタフェースで個別のコンテンツを再生する。いくつかの実施形態では、電子デバイスは、第2のユーザインタフェースにオーバーレイされた第3のユーザインタフェースで個別のコンテンツを再生する。いくつかの実施形態では、電子デバイスは、第3のユーザインタフェースで個別のコンテンツを再生し、第2のユーザインタフェースの表示を中止する。いくつかの実施形態では、個別の入力を検出したことに応じて(1214b)、個別の入力が、1つ以上の第1の基準を満たさない、アイトラッキングデバイスを介して検出された視線入力を含むという判定に従って、電子デバイス(例えば、101)は、表示生成コンポーネントを介して個別のコンテンツを表示することを取り止める(1214e)。(例えば、個別の表現への視線は、閾値時間(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)未満の間維持されるか、又はユーザの視線は、個別の表現以外のユーザインタフェース要素に向けられる)。いくつかの実施形態では、所定の時間閾値の間別のユーザインタフェース要素に向けられた視線を含む入力を検出したことに応じて、電子デバイスは、入力に応じて、個別のコンテンツを表示する以外のアクション、他のユーザインタフェース要素に関連付けられたアクションを実行する。いくつかの実施形態では、個別の入力を検出したことに応じて(1214b)、個別の入力が、1つ以上の第2の基準を満たさない、ハンドトラッキングデバイスを介して検出されたユーザの手からの入力を含むという判定に従って、電子デバイス(例えば、101)は、表示生成コンポーネント(1214f)を介して個別のコンテンツを表示することを取り止める(例えば、手は所定のジェスチャを実行しない、ジェスチャが検出されている間、ユーザの視線は個別の表現に向けられない)。いくつかの実施形態では、1つ以上の第2の基準を満たさない入力に応じて、電子デバイスは、入力に関連付けられた個別のコンテンツを表示すること以外のアクションを実行する。
アイトラッキングデバイス及び/又はハンドトラッキングデバイスを介して検出された入力に応じて個別のコンテンツを再生する上述の方法は、コンテンツを再生するための2つ以上のタイプの入力を受け入れる効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、図11Dなどの第2のユーザインタフェースを表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、第1のカテゴリに関連付けられた個別のコンテンツの個別の表現を選択する個別の入力を検出する(1216a)。いくつかの実施形態では、第1のカテゴリに関連付けられた個別のコンテンツの個別の表現の選択を検出することは、アイトラッキングデバイスを介して、ユーザの視線が第1のカテゴリに関連付けられた個別のコンテンツの個別の表現に向けられていることと、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、タッチセンサ(例えば、トラックパッド、タッチスクリーン))を介して、ユーザが自分の手でジェスチャを実行していること(例えば、自分の親指を親指の手の他の指(例えば、人差し指、中指、薬指、小指)のうちの1つに触れること)とを同時に検出することを含む。いくつかの実施形態では、第1のカテゴリに関連付けられた個別のコンテンツの個別の表現の選択を検出することは、アイトラッキングデバイスを介して、ユーザの視線が所定の時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)の間、第1のカテゴリに関連付けられた個別のコンテンツの個別の表現に向けられていることを検出することを含む。いくつかの実施形態では、個別の入力を検出したことに応じて、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、個別のコンテンツを表示する(1216b)。いくつかの実施形態では、電子デバイスは、第2のユーザインタフェースで個別のコンテンツを再生する。いくつかの実施形態では、電子デバイスは、第2のユーザインタフェースにオーバーレイされた第3のユーザインタフェースで個別のコンテンツを再生する。いくつかの実施形態では、電子デバイスは、第3のユーザインタフェースで個別のコンテンツを再生し、第2のユーザインタフェースの表示を中止する。
個別のコンテンツの個別の表現の選択に応じて個別のコンテンツを再生する上述の方法は、第1のカテゴリに関連するコンテンツを閲覧しながらコンテンツを再生する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図11Dなどのいくつかの実施形態では、第1の値を有する視覚特性(例えば、輝度、色、コントラスト、第2のユーザインタフェース以外の仮想オブジェクトの数及び顕著性、半透明性、仮想照明効果)を有する環境によって取り囲まれた第2のユーザインタフェースを表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、第1のカテゴリに関連付けられた個別のコンテンツの個別の表現を選択する個別の入力を検出する(1216c)。いくつかの実施形態では、第1のカテゴリに関連付けられた個別のコンテンツの個別の表現の選択を検出することは、アイトラッキングデバイスを介して、ユーザの視線が第1のカテゴリに関連付けられた個別のコンテンツの個別の表現に向けられていることと、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、タッチセンサ(例えば、トラックパッド、タッチスクリーン))を介して、ユーザが自分の手でジェスチャを実行していること(例えば、自分の親指を親指の手の他の指(例えば、人差し指、中指、薬指、小指)のうちの1つに触れること)とを同時に検出することを含む。いくつかの実施形態では、第1のカテゴリに関連付けられた個別のコンテンツの個別の表現の選択を検出することは、アイトラッキングデバイスを介して、ユーザの視線が所定の時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)の間、第1のカテゴリに関連付けられた個別のコンテンツの個別の表現に向けられていることを検出することを含む。いくつかの実施形態では、個別の入力を検出したことに応じて、電子デバイス(例えば、101)は、図11Dの第2のユーザインタフェースを取り囲む環境の表示を、第1の値とは異なる第2の値を有する視覚特性を有するように更新する(1216d)。いくつかの実施形態では、第2のユーザインタフェースは、第1のカテゴリに関連付けられた個別のコンテンツの個別の表現の選択を検出する前に、第1の照明効果(例えば、輝度、コントラスト、色調)を有する環境に表示され、選択入力に応じて、電子デバイスは、第1の照明効果よりも暗い、低いコントラスト、及び/又は異なる色調である第2の照明効果を有するように環境を更新し、コンテンツを再生する。
選択入力に応じて環境の視覚特性を更新する上述の方法は、コンテンツが表示される際の視覚クラッタを低減する効率的な方法を提供し(例えば、そうするための追加の入力なしに)、ユーザの認知的負担を低減し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、図11Cのように、第1のサブカテゴリの第1の個別の表現(例えば、1116b)及び第2のサブカテゴリの第2の個別の表現(例えば、1120b)を表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、第1のサブカテゴリの第1の個別の表現(例えば、1120a)を選択する入力を検出する(1218a)。いくつかの実施形態では、第1のサブカテゴリの第1の個別の表現の選択を検出することは、アイトラッキングデバイスを介して、ユーザの視線が第1のサブカテゴリの第1の個別の表現に向けられていることと、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、タッチセンサ(例えば、トラックパッド、タッチスクリーン))を介して、ユーザが自分の手でジェスチャを実行していること(例えば、自分の親指を親指の手の他の指(例えば、人差し指、中指、薬指、小指)のうちの1つに触れること)とを同時に検出することを含む。いくつかの実施形態では、第1のサブカテゴリの第1の個別の表現の選択を検出することは、アイトラッキングデバイスを介して、所定の時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)の間、ユーザの視線が第1のサブカテゴリの第1の個別の表現に向けられていることを検出することを含む。いくつかの実施形態では、第1のサブカテゴリの第1の個別の表現(例えば、1120a)を選択する入力を検出したことに応じて、電子デバイス(例えば、101)は、第2のサブカテゴリの第2の個別の表現の表示(例えば、サイズ、位置、視覚特性(例えば、色、コントラスト、半透明性))を変更する(1218b)。いくつかの実施形態では、第1のサブカテゴリの第1の個別の表現の選択を検出したことに応じて、電子デバイスは、第1のサブカテゴリに関連するコンテンツを含む第3のユーザインタフェースを表示し、第1のサブカテゴリの表現の選択を検出する前に第2のサブカテゴリの表現が表示されていた位置とは異なる位置に、第2のサブカテゴリの表現を表示する。第1のサブカテゴリの第1の個別の表現の選択に応じて第2のカテゴリの第2の個別の表現の表示を変更する上述の方法は、第1のサブカテゴリを選択した後に他のサブカテゴリを閲覧及び/又は選択する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、図11Cの第1のサブカテゴリの第1の個別の表現(例えば、1120a)を選択する入力を検出する前に、第2のサブカテゴリの第2の個別の表現(例えば、1120b)は、ユーザインタフェース内の第1の位置に表示されており、第2のサブカテゴリの第2の個別の表現(例えば、1120b)の表示を変更することは、ユーザインタフェース(1218c)内の第1の位置とは異なる第2の位置に、第2のサブカテゴリの第2の個別の表現(例えば、1120b)を表示することを含む。いくつかの実施形態では、第2のサブカテゴリの表現の更新された位置は、ユーザの視点に対して異なる深度である。いくつかの実施形態では、第2のサブカテゴリの表現の更新された位置は、ユーザの視点に対して同じ個別の深度における異なる場所である。
第1のサブカテゴリの選択を検出したことに応じてユーザインタフェース内の第2のサブカテゴリの表現の位置を変更する上述の方法は、第1のサブカテゴリを選択した後に他のサブカテゴリを閲覧及び/又は選択する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、図11Cの第1のサブカテゴリの第1の個別の表現(例えば、1120a)を選択する入力を検出する前に、第2のサブカテゴリの第2の個別の表現(例えば、1120b)は、表示生成コンポーネントを介して表示される前景に表示されており、第2のサブカテゴリの第2の個別の表現(例えば、1120b)の表示を変更することは、表示生成コンポーネント(1218d)を介して表示される背景に第2のサブカテゴリの第2の個別の表現(例えば、1120b)を表示することを含む。いくつかの実施形態では、ユーザインタフェースの前景は、ユーザの視点から第1の深度であり、ユーザインタフェースの背景は、ユーザの視点から第2の更なる深度である。いくつかの実施形態では、前景は背景にオーバーレイされる。いくつかの実施形態では、前景は背景にオーバーレイされ、前景及び背景は、ユーザの視点に対して同じ深度で表示される。例えば、コンテンツ閲覧ユーザインタフェースは、ユーザインタフェースの前景における個別のカテゴリ内の一連のエピソードコンテンツ(例えば、サブカテゴリ)の複数の表現を含む。この例では、第1の一連のエピソードコンテンツの第1の個別の表現の選択を検出したことに応じて、電子デバイスは、第1の一連のエピソードコンテンツに関連付けられたユーザインタフェースを前景に表示し、カテゴリ内の他の一連のエピソードコンテンツの表現をユーザインタフェースの背景に表示し続ける。
第1のサブカテゴリを選択する入力を検出したことに応じて第2のサブカテゴリの表現を背景に表示する上述の方法は、第1のサブカテゴリを選択した後に他のサブカテゴリを閲覧及び/又は選択する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、第2のサブカテゴリの第2の個別の表現(例えば、1120b)の表示を変更することは、第2のサブカテゴリ(1220a)の第2の個別の表現(例えば、1120b)の表示を中止することを含む。いくつかの実施形態では、第1のサブカテゴリの表現の選択を検出したことに応じて、電子デバイスは、第1のサブカテゴリに関連するユーザインタフェース(例えば、コンテンツを含む)を表示する。例えば、コンテンツ閲覧ユーザインタフェースは、個別のカテゴリ内の一連のエピソードコンテンツ(例えば、サブカテゴリ)の複数の表現を含む。この例では、第1の一連のエピソードコンテンツの第1の個別の表現の選択を検出したことに応じて、電子デバイスは、第1の一連のエピソードコンテンツに関連付けられたユーザインタフェースを表示し、カテゴリ内の他の一連のエピソードコンテンツの表現の表示を中止する。
第1のサブカテゴリの選択を検出したことに応じて第2のサブカテゴリの表示を中止する上述の方法は、第1のサブカテゴリに関連するユーザインタフェースを見ている間の視覚クラッタを低減し、ユーザの認知的負担を低減する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、複数のカテゴリのうちの第2のカテゴリの第2の表現(例えば、1116b)にナビゲートすることは、図11B~図11Cのように、複数のカテゴリの表現(例えば、1116ac)を第1の速度でスクロールすることと、第1の複数のサブカテゴリの表現(例えば、1118ad)及び(例えば、1120ad)を第2の速度(1220b)でスクロールすることとを含む。いくつかの実施形態では、カテゴリの表現は、スクロール入力の特性(例えば、スクロール入力の速度、スクロール入力の動きの大きさ)に比例した速度でスクロールし、サブカテゴリの表現は、カテゴリの表現がスクロールする速度に従ってスクロールする。例えば、第1の量だけ移動するようにカテゴリの表現をスクロールしたことに応じて、電子デバイスは、サブカテゴリの表現を第1の速度でスクロールして、カテゴリのそれぞれに関連付けられたサブカテゴリの第1のセットを表示し、第2の量だけ移動するようにカテゴリの表現をスクロールしたことに応じて、電子デバイスは、サブカテゴリの表現を第2の速度でスクロールして、カテゴリのそれぞれに関連付けられたサブカテゴリの第2のセットを表示する。例えば、アルバム(例えば、サブカテゴリ)及び年(例えば、カテゴリ)の表現を含む写真閲覧アプリケーションにおいて、電子デバイスは、年の表現をスクロールするための入力を検出し、入力に応じて、スクロール入力に従って年の表現をスクロールし、年がスクロールする速度に従ってアルバムの表現をスクロールする。例えば、電子デバイスが第1の年にスクロールする場合、電子デバイスは、アルバムをスクロールして第1の年からのアルバムを表示し、電子デバイスが第2の年にスクロールする場合、電子デバイスは、アルバムをスクロールして第2の年からのアルバムを表示する。いくつかの実施形態では、図11Cの第1の複数のサブカテゴリの第2のサブカテゴリの第2の個別の表現(例えば、1120b)にナビゲートすることは、第1の複数のサブカテゴリ(例えば、1120b)の表現を、第2の速度(1220c)とは異なる第3の速度でスクロールすることを含む。いくつかの実施形態では、サブカテゴリの表現をスクロールする入力を検出したことに応じて、電子デバイスは、スクロール入力の特性(例えば、スクロール入力の速度、スクロール入力の動きの大きさ)に比例した速度でサブカテゴリの表現をスクロールする。いくつかの実施形態では、カテゴリの表現は、サブカテゴリの表現がスクロールされる速度に関連する速度でスクロールする。いくつかの実施形態では、電子デバイスは、サブカテゴリの表現をスクロールする入力に応じて、カテゴリの表現をスクロールしない。例えば、アルバム(例えば、サブカテゴリ)及び年(例えば、カテゴリ)の表現を含む写真閲覧アプリケーションにおいて、電子デバイスは、アルバムの表現をスクロールするための入力を検出し、入力に応じて、スクロール入力に従ってアルバムの表現をスクロールし、アルバムがスクロールする速度に従って年の表現をスクロールする。例えば、電子デバイスが第1の年に関連付けられた1つ以上のアルバムにスクロールする場合、電子デバイスは、年をスクロールして第1の年の表現を表示し、電子デバイスが第2の年に関連付けられた1つ以上のアルバムにスクロールする場合、電子デバイスは、年をスクロールして第2の年の表現を表示する。
カテゴリをスクロールしながらサブカテゴリをスクロールする上述の方法は、カテゴリを閲覧しながらサブカテゴリを閲覧する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図11Aなどのいくつかの実施形態では、第1の複数のサブカテゴリのうちの第1のサブカテゴリの第1の個別の表現(例えば、1108a)及び第1の複数のサブカテゴリのうちの第2のサブカテゴリの第2の個別の表現(例えば、1108b)は、第1のカテゴリの第1の表現(例えば、1104a)及び第2のカテゴリの第2の表現(1220d)上にオーバーレイされる。いくつかの実施形態では、サブカテゴリの全ての表現の全てが、カテゴリの全ての表現の全ての上にオーバーレイされる。いくつかの実施形態では、サブカテゴリの表現は、各サブカテゴリが属するカテゴリの表現上にオーバーレイされる(例えば、第1のカテゴリのサブカテゴリの表現は、第1のカテゴリの表現上にオーバーレイされ、第2のカテゴリのサブカテゴリの表現は、第2のカテゴリの表現上にオーバーレイされる)。いくつかの実施形態では、サブカテゴリは、サブカテゴリが属するカテゴリから独立した位置でカテゴリ上にオーバーレイされる(例えば、第1のカテゴリのサブカテゴリの表現は、第1のカテゴリ及び第2のカテゴリの表現上にオーバーレイされ、及び/又は第2のカテゴリのサブカテゴリの表現は、第1のカテゴリ及び第2のカテゴリの表現上にオーバーレイされる)。例えば、写真閲覧アプリケーションでは、カテゴリは、各々が個別の年からの写真及びアルバムを含む年であり、サブカテゴリはアルバムである(例えば、各アルバムは個別の年に関連付けられている)。別の例として、ビデオコンテンツ閲覧アプリケーションでは、カテゴリはコンテンツアイテムの集合(例えば、複数の一連のエピソードコンテンツを含む)であり、サブカテゴリは一連のエピソードコンテンツである。いくつかの実施形態では、サブカテゴリの表現は、カテゴリの表現の各々の個別の部分に(例えば、カテゴリの表現の下端に沿って)オーバーレイされる。いくつかの実施形態では、カテゴリの表現及びサブカテゴリの表現は、同じ軸に沿って配置される(例えば、カテゴリの表現及びサブカテゴリの表現は、水平にスクロール可能であるなど、同じ次元でスクロール可能である)。いくつかの実施形態では、個別のカテゴリのサブカテゴリの表現は、個別のカテゴリの表現の境界内に含まれる(例えば、サブカテゴリの表現は、サブカテゴリが属するカテゴリの表現の水平境界を越えて水平に延在しない)。いくつかの実施形態では、個別のカテゴリのサブカテゴリの表現は、個別のカテゴリの境界を越えて延在する(例えば、サブカテゴリの表現は、サブカテゴリが属するカテゴリの表現の水平境界を越えて水平に延在する)。
カテゴリ上にオーバーレイされたサブカテゴリを表示する上述の方法は、カテゴリ及びサブカテゴリを同時に表示する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図13A~図13Cは、いくつかの実施形態による、異なる方法で異なる没入度で表示されたユーザインタフェースから電子デバイスがどのようにナビゲートして戻るかの例を示す。
いくつかの実施形態では、ユーザインタフェースが表示される没入度は、以下で参照されるように、電子デバイスが個別のユーザインタフェースの周囲/背後に背景コンテンツ(例えば、個別のユーザインタフェース以外のコンテンツ)を表示する関連度を含み、任意選択的に、表示される背景コンテンツのアイテム数及び背景コンテンツが表示される視覚特性(例えば、色、コントラスト、不透明度)を含む。いくつかの実施形態では、背景コンテンツは、個別のユーザインタフェースがその上に表示される背景に含まれる。いくつかの実施形態では、背景コンテンツは、追加のユーザインタフェース(例えば、個別のユーザインタフェースのアプリケーション以外のアプリケーションに対応するデバイスによって生成されたユーザインタフェース、システムユーザインタフェース)、個別のユーザインタフェースに関連付けられていない、又は含まれていない仮想オブジェクト(例えば、デバイスによって生成されたファイル、他のユーザの表現など)、及び実オブジェクト(例えば、表示生成コンポーネントを介して見えるようにデバイスによって表示される電子デバイスの物理的環境内の実オブジェクトを表すパススルーオブジェクト)を含む。いくつかの実施形態では、第1の(例えば、低い)没入度において、背景、仮想、及び/又は実オブジェクトは、不明瞭にされずに表示される。例えば、没入度が低い個別のユーザインタフェースは、背景コンテンツと同時に表示され、背景コンテンツは、完全な輝度、色、及び/又は半透明性で表示される。いくつかの実施形態では、第2の(例えば、高い)没入度において、背景、仮想及び/又は実オブジェクトは、不明瞭にされて表示される(例えば、減光される、ぼかされる、ディスプレイから除去されるなど)。例えば、没入度が高い個別のユーザインタフェースは、背景コンテンツを同時に表示することなく(例えば、フルスクリーン又は完全没入モードで)表示される。別の例として、中間の没入度で表示されるユーザインタフェースは、暗くされた、ぼかされた、又は他の方法で強調されていない背景コンテンツと同時に表示される。いくつかの実施形態では、背景オブジェクトの視覚特性は、背景オブジェクト間で異なる。例えば、特定の没入度では、1つ以上の第1の背景オブジェクトは視覚的に強調されず(例えば、暗くされ、ぼかされ、透明度を上げて表示され)、2つ以上の第2の背景オブジェクト及び1つ以上の第3の背景オブジェクトが表示されなくなる。いくつかの実施形態では、没入度は、電子デバイスが、追加のユーザインタフェース(例えば、個別のユーザインタフェースのアプリケーション以外のアプリケーションに対応するユーザインタフェース、システムユーザインタフェース)、個別のユーザインタフェースに関連付けられていない又は含まれていない仮想オブジェクト(例えば、ファイル、他のユーザの表現)、及び実オブジェクト(例えば、電子デバイスの物理的環境内の実オブジェクトを表すパススルーオブジェクト)を含む、個別のユーザインタフェース以外のコンテンツを表示する関連度を含む。例えば、没入度が低い個別のユーザインタフェースは、個別のユーザインタフェースに関連付けられたアプリケーション以外のアプリケーションの実オブジェクト及びユーザインタフェースの表現と同時に表示されるが、没入度が高い個別のユーザインタフェースは、他のオブジェクト又はユーザインタフェースを同時に表示することなく(例えば、フルスクリーン又は完全没入型モードで)表示される。
図13Aは、表示生成コンポーネント120を介して、ユーザインタフェース上に3次元環境1312を表示する電子デバイス101を示す。図1~図6を参照して上述したように、電子デバイス101は、任意選択的に、表示生成コンポーネント120(例えば、タッチスクリーン)及び複数の画像センサ314を含む。画像センサ314は、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又は任意の他のセンサのうちの1つ以上を含み、電子デバイス101は、ユーザが電子デバイス101と相互作用している間、ユーザ又はユーザの一部の1つ以上の画像をキャプチャするために使用することができる。いくつかの実施形態では、表示生成コンポーネント120は、ユーザの手のジェスチャ及び動きを検出することができるタッチスクリーンである。いくつかの実施形態では、以下に示すユーザインタフェースは、ユーザにユーザインタフェースを表示する表示生成コンポーネントと、物理的環境及び/又はユーザの手の動き(例えば、ユーザから外向きに面する外部センサ)、及び/又はユーザの視線(例えば、ユーザの顔に向かって内向きに面する内部センサ)を検出するセンサとを含むヘッドマウントディスプレイに実装することもできる。
図13Aにおいて、電子デバイス101は、3次元環境1312にユーザインタフェースを表示する。いくつかの実施形態では、ユーザインタフェースは、代わりに2次元環境に表示される。ユーザインタフェースは、没入コンテンツに関連付けられたオブジェクト1308と、複数のオプション1306a~1306f(例えば、メニュー内)と、選択されると電子デバイス101にオプション1306a~1306fに加えて選択可能オプションを表示させる選択可能オプション1310と、電子デバイス101のステータス(例えば、時間、日付、ネットワーク接続、バッテリ寿命)の表示を含むヘッダ領域1314とを含む。いくつかの実施形態では、ユーザインタフェースはコンテンツユーザインタフェースであり、オプション1306a~1306f又はユーザインタフェース要素1308のうちの1つの選択を検出したことに応じて、電子デバイス101は、選択された要素又はオプションに関連付けられたコンテンツのアイテムを表示する。例えば、ユーザインタフェースは、ウェルネスアプリケーションのユーザインタフェースであり、コンテンツは、ガイド付きの瞑想、ワークアウトビデオ、並びに他のビデオ及び/又はオーディオコンテンツを含む。いくつかの実施形態では、電子デバイス101が図13Aに示すユーザインタフェースの表示から要素1308及び/又はオプション1306a~1306fに関連付けられたコンテンツの表示に移行する方法は、図7A~図8Fを参照して上述した1つ以上の技術と同様である。
図13Aに示すように、電子デバイス101は、ユーザインタフェース要素1308に向けられたユーザの視線1302aを検出する。いくつかの実施形態では、追加の入力(例えば、ユーザの手1304a又は1304bによって提供される)を検出することなく、所定の時間閾値(例えば、0.1、0.2、0.5、1、5、10秒など)の間にユーザインタフェース要素1308に向けられたユーザの視線1302aを検出したことに応じて、電子デバイス101は、図13C~図13Dを参照して以下に説明するユーザインタフェースを表示する。図13Aの手1304a及び1304bは、同じ手によって実行される交互のジェスチャを示しており、同時に存在しないことを理解されたい。いくつかの実施形態では、電子デバイス101は、図13C~図13Dのユーザインタフェースが現れるにつれて、図13Aのユーザインタフェースのアニメーションを次第に消えるように表示することのみによって、視線入力に応じて、図13Aのユーザインタフェースから図13C~図13Dのユーザインタフェースに移行する。いくつかの実施形態では、ユーザの視線1302aが閾値時間未満の間ユーザインタフェース要素1308に向けられている間に、電子デバイス101が、ユーザが自分の手1304aで所定のジェスチャを実行していることを検出した場合、電子デバイス101は、図13C~図13Dのユーザインタフェースを(例えば、閾値時間未満で)表示する。いくつかの実施形態では、ジェスチャは、ユーザが親指と同じ手の別の指(例えば、人差し指、中指、薬指、小指)に親指で触れること(例えば、ピンチジェスチャ)を含む。したがって、いくつかの実施形態では、電子デバイス101は、図7A~図8Fを参照して上述した技法のうちの1つ以上に従って、ユーザインタフェース要素1308に関連付けられたユーザインタフェースを表示する。
図13Aはまた、オプション1310上のユーザの視線1302bを検出する電子デバイス101を示す。図13Aにおけるユーザの視線の表示1302a及び1302bは、ユーザの視線が向けられ、同時に存在しない代替位置を示すことを理解されたい。いくつかの実施形態では、電子デバイス101は、ピンチジェスチャを維持しながらユーザが自分の手1304bを(例えば、上方に)動かしたことを検出する間に、オプション1310上でユーザの視線1302bを検出したことに応じて、図13Bに示すユーザインタフェースを表示する。いくつかの実施形態では、電子デバイス101は、閾値時間の間、オプション1310へのユーザの視線1302bを検出したことに応じて、及び/又はユーザの視線1302bがオプション1310に向けられている間にユーザが(手1304bの動きなしに)ピンチジェスチャを実行したことを検出したことに応じて、図13Bに示すユーザインタフェースを表示する。
以下で説明するように、図13Bのユーザインタフェースは、図13C~図13Dに示すユーザインタフェースよりも低い没入度で表示される。したがって、いくつかの実施形態では、これらのユーザインタフェースが表示される方法に違いがあり、電子デバイス101がこれらのユーザインタフェースから図13Aに示すユーザインタフェースに戻るようにナビゲートする方法に違いがある。これらの例は、図13B~図13Dを参照して本明細書に更に記載される。図13B~図13Dは、単一のアプリケーションのユーザインタフェースとの相互作用を含むが、電子デバイス101上の様々な没入度の特性及び特徴は、デバイス101の異なるアプリケーション及び/又はオペレーティングシステムに関連付けられた異なる没入度を有するユーザインタフェース間をナビゲートすることを含めて、電子デバイス101にアクセス可能な複数のアプリケーションのユーザインタフェースに適用されることを理解されたい。
図13Bは、オプション1310に向けられた図13Aに示す入力に応じて電子デバイス101によって表示されるユーザインタフェースを示す。ユーザインタフェースは、図13Aに示すユーザインタフェースに表示されたオプション1306a~1306fと、追加のオプション1306g~1306lとを含む。図13Bに示すように、オプション1306a~fは、図13Aのユーザインタフェースにおいて表示されていた位置から上方に動かされる。いくつかの実施形態では、オプション1306a~1306lはコンテンツアイテムに関連付けられ、オプション1306a~1306lのうちの1つの選択を検出したことに応じて、電子デバイス101は、選択されたオプションに関連付けられたコンテンツアイテム(例えば、オーディオコンテンツ、ビデオコンテンツ)の再生を開始する(例えば、表示生成コンポーネントを介してコンテンツアイテムを表示する)。ユーザインタフェースはまた、以下で説明されるように、図13Bにおけるユーザインタフェースの没入度に起因して、ヘッダ領域1314を含む。図13Bに示すユーザインタフェースは、図13Aに示すユーザインタフェースの一部(例えば、ユーザインタフェース要素1308を含む)上にオーバーレイされている。いくつかの実施形態では、前のユーザインタフェースの要素は、ぼかされた/暗くされた態様で、及び/又はz方向においてオプション1306a~1306lから分離されて表示される。例えば、電子デバイス101は、図13Aよりも図13Bの3次元環境1312においてユーザの視点から遠い距離に要素1308を表示し、及び/又は図13Aの3次元環境1312においてユーザインタフェースがユーザの視点から表示された距離よりも図13Bの3次元環境1312においてユーザの視点に近い距離にオプション1306a~1306lを表示する。いくつかの実施形態では、3次元環境1312におけるユーザの視点は、3次元環境1312における電子デバイス101のユーザに関連付けられた位置及び向きである。電子デバイス101は、任意選択的に、ユーザの視点から3次元環境1312を表示する。
上述したように、図13Bに示すユーザインタフェースは、図13C~図13Dを参照して説明するユーザインタフェースよりも低い没入度を有する。いくつかの実施形態では、図13Bに示すユーザインタフェースは、図13Aに示すユーザインタフェースの没入度よりも高い没入度を有するが、それは、図13Bのオプション1306a~1306lは、ぼかされた及び/又は暗くされた背景上に表示されるのに対して、図13Aに示すユーザインタフェースの背景はぼかされない及び/又は暗くされないからである。いくつかの実施形態では、図13Bに示すユーザインタフェースは、図13Aに示すユーザインタフェースの没入度よりも低い没入度を有するが、それは、図13Bのオプション1306a~1306lが前のユーザインタフェースにオーバーレイされているのに対して、図13Aのユーザインタフェースは背景に全く表示されないからである。いくつかの実施形態では、図13Bのユーザインタフェースの没入度は、電子デバイス101が、図13Bに示すユーザインタフェースに固有ではない電子デバイス101のステータスインジケータを含むヘッダ領域1314を表示し続けるのに十分に低い(例えば、ヘッダ領域1314は、オペレーティングシステムオブジェクトである)。
いくつかの実施形態では、図13Bに示すユーザインタフェースから図13Aに示すユーザインタフェースに戻るナビゲーションは、視線を使用して可能である。例えば、図13Bでは、電子デバイス101は、オプション1306a~lの背景に表示された要素1308へのユーザ1302cの視線を検出する。いくつかの実施形態では、追加の入力(例えば、手1304cから)を検出することなく、少なくとも閾値時間(例えば、0.1、0.2、0.5、1秒など)の間、要素1308(又は図13Bの背景における前のユーザインタフェースの任意の他の部分)へのユーザの視線1302cを検出したことに応じて、電子デバイス101は、図13Aに示すユーザインタフェースに戻る。いくつかの実施形態では、任意の持続時間(例えば、閾値時間未満)の間の要素1308(又は前のユーザインタフェースの任意の他の部分)へのユーザの視線1302cを検出しながら、ユーザが自分の手1304cで所定のジェスチャを実行したことを検出したことに応じて、電子デバイス101は、図13Aに示すユーザインタフェースに戻るようにナビゲートする。いくつかの実施形態では、所定のジェスチャは、親指と同じ手の別の指(例えば、人差し指、中指、薬指、小指)に親指で触れること(例えば、ピンチジェスチャ)である。
いくつかの実施形態では、所定の時間の間、要素1308へのユーザの視線1302cを検出したことに応じて、図13Bに示すユーザインタフェースに戻る前に、電子デバイス101は、電子デバイス101のナビゲーション履歴の一部を表示する。例えば、電子デバイス101は、図13Aに示すユーザインタフェースの一部にオーバーレイされた図13Bに示すユーザインタフェースを表示し、このユーザインタフェースは、電子デバイス101がそこから図13Aのユーザインタフェースにナビゲートしたユーザインタフェースの一部にオーバーレイされ、以下同様である。いくつかの実施形態では、電子デバイス101のナビゲーション履歴に対応するユーザインタフェースの部分を表示している間に、所定の閾値時間の間、個別のユーザインタフェースの一部へのユーザの視線を検出したことに応じて、電子デバイス101は、個別のユーザインタフェースにナビゲートする。例えば、所定の閾値時間の間、図13Aに示すユーザインタフェースの部分へのユーザの視線を検出したことに応じて、電子デバイス101は、図13Aに示すユーザインタフェースに戻るようにナビゲートする。別の例として、電子デバイスが所定の閾値時間の間、そこから図13Aに示すユーザインタフェースにナビゲートしたユーザインタフェースの部分へのユーザの視線を検出したことに応じて、電子デバイス101は、電子デバイス101がそこから図13Aに示すユーザインタフェースにナビゲートしたユーザインタフェースに戻るようにナビゲートする。
したがって、いくつかの実施形態では、電子デバイス101は、追加の(例えば、非視線)入力の検出を必要とすることなく、視線入力に応じて、図13Bに示すユーザインタフェースから戻るようにナビゲートする。いくつかの実施形態では、電子デバイス101は、同じ又は同様の方法で、図13Bに示すユーザインタフェースと同じ没入度又はそれよりも低い没入度を有する(例えば、他のアプリケーションの)他のユーザインタフェースから戻るようにナビゲートする。いくつかの実施形態では、電子デバイス101は、同じ又は同様の方法で、図13Bに示すユーザインタフェースの没入度と図13C~図13Dに示すユーザインタフェースの没入度との間の没入度を有する(例えば、他のアプリケーションの)他のユーザインタフェースから戻るようにナビゲートする。
図13Cは、図13Aを参照して上述した要素1308に向けられた入力に応じて表示されるユーザインタフェース1316を示す。いくつかの実施形態では、ユーザインタフェース1316は、ビデオコンテンツ及び/又はオーディオコンテンツを含む。例えば、ユーザインタフェース1316は、周囲アニメーション(例えば、ユーザの呼吸をガイドするリズミカルなアニメーション)を用いたガイド付きの瞑想を含む。図13Cに示すように、ユーザインタフェース1316は、図13Aに示すユーザインタフェースのいかなる部分も、図13A~図13Bに示すヘッダ領域1314も含まない。いくつかの実施形態では、ユーザインタフェース1316の没入度は、他のユーザインタフェース若しくはオペレーティングシステムオブジェクトの部分(例えば、ヘッダ領域1314)又はデバイス101の物理的環境の部分を含まないため、図13A~図13Bに示すユーザインタフェースの没入度よりも高い。ユーザインタフェース1316は、図13Aに示す前のユーザインタフェースの部分を含まないので、電子デバイス101は、図13Bの場合のように、所定の時間閾値の間の図13Aに示すユーザインタフェースの一部へのユーザの視線を検出したことに応じて(例えば、追加の入力を検出することなく)、図13Aに示すユーザインタフェースに戻ることができない。代わりに、図13Cに示すようなユーザインタフェースから後方へのナビゲートは、図13Dを参照して説明するように、ユーザインタフェースに表示される1つ以上の制御を使用して達成される。
図13Dは、複数の選択可能オプション1318及び1320a~cが追加されたユーザインタフェース1316を示す。いくつかの実施形態では、オプション1318及び1320a~cは、所定の位置(例えば、ユーザの側面から持ち上げられた)及び/又はデバイス101に対する所定の相対位置(例えば、デバイス101の物理的環境をキャプチャするデバイス101の1つ以上のカメラの視野に隣接するように持ち上げられた、又はその視野内に配置された)にあるユーザの手1304dの検出に応じて表示される。いくつかの実施形態では、電子デバイス101は、ユーザの手1304dの位置に対応するユーザインタフェース1316内の位置にオプション1320a~c及び1318を表示する。図13Dに示すように、ユーザの手1304dは、表示生成コンポーネント120の右下領域(例えば、デバイス101の物理的環境をキャプチャするデバイス101の1つ以上のカメラの視野の右下領域)に向いているので、オプション1318及び1320a~cは、表示生成コンポーネント120の右下領域に表示される。別の例として、ユーザの手が、表示生成コンポーネント120の左上領域(例えば、デバイス101の物理的環境をキャプチャするデバイス101の1つ以上のカメラの視野の左上領域)に近接しているなど、表示生成コンポーネント120の異なる領域に近接している場合、電子デバイス101は、表示生成コンポーネント120の他の領域(例えば、左上領域)にオプション1318及び1320a~cを表示する。いくつかの実施形態では、ユーザが自分の手1304dを動かした場合、電子デバイス101は、手の動きに追従するようにオプション1318及び1320a~cの位置を更新する。いくつかの実施形態では、タッチスクリーンを介してユーザインタフェース1316を表示するのではなく、電子デバイス101は、ヘッドマウントディスプレイを使用してユーザインタフェース1316を表示し、ユーザが自分の手1304dを持ち上げたことに応じて、電子デバイス101は、ヘッドマウントディスプレイを介して、ユーザの手1304dの表現にオーバーレイされたオプション1318及び1320a~cを表示する。いくつかの実施形態では、ユーザの手1304dの表現は、手1304dの写実的な表現(例えば、パススルービデオ)、又は表示生成コンポーネント(例えば、ヘッドマウントデバイス)の透明部分を通したユーザの手1304dのビューである。
選択可能オプション1320a~cは、任意選択的に、ユーザインタフェース1316に含まれるメディアコンテンツの再生制御である。例えば、オプション1320aの選択を検出したことに応じて、電子デバイス101は、コンテンツの再生位置を15秒戻す。別の例として、オプション1320bの選択を検出したことに応じて、電子デバイス101は、メディアコンテンツの再生を一時停止する。別の例として、オプション1320cの選択を検出したことに応じて、電子デバイス101は、コンテンツの再生位置を30秒進める。オプション1318の選択を検出したことに応じて、電子デバイス101は、図13Aに示すユーザインタフェースに戻るようにナビゲートする。いくつかの実施形態では、電子デバイス101は、ユーザの視線が個別のオプション1318又は1320a~cに向けられている間にユーザが(例えば、手1304d以外の手で)ピンチジェスチャを実行したことを検出したことに応じて、オプションの選択を検出する。いくつかの実施形態では、電子デバイス101は、ユーザがオプション1318又は1320a~cのうちの1つに対応する(例えば、閾値距離(例えば、1、2、5、10センチメートルなど)内で)3次元環境1316の領域に触れている(例えば、手1304d以外の手の指で)ことの検出に応じて、選択を検出する。
したがって、いくつかの実施形態では、電子デバイス101は、ユーザの視線を検出すること以外の入力を含む入力に応じて、ユーザインタフェース1316から離れるようにナビゲートする。いくつかの実施形態では、電子デバイス101は、同様の方法で、ユーザインタフェース1316の同じ没入度を有する(例えば、別のアプリケーションの)別のユーザインタフェースから戻るようにナビゲートする。いくつかの実施形態では、電子デバイス101は、異なる方法で、ユーザインタフェース1316の同じ没入度を有する(例えば、別のアプリケーションの)別のユーザインタフェースから戻るようにナビゲートする。いくつかの実施形態では、ユーザインタフェース1316と同じ没入度を有するユーザインタフェースから戻るようにナビゲートする方法は、アプリケーション毎に異なる。
図14A~図14Mは、いくつかの実施形態による、異なる方法で異なる没入度を有するユーザインタフェースからナビゲートして戻る方法を示すフローチャートである。いくつかの実施形態では、方法1400は、コンピュータシステム(例えば、タブレット、スマートフォン、ウェアラブルコンピュータ、又はヘッドマウントデバイスなどの図1のコンピュータシステム101)で実行される。表示生成コンポーネント(例えば、図1、図3、及び図4の表示生成コンポーネント120)を含む(例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど)及び1つ以上のカメラ(例えば、カメラ(例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ))は、ユーザの手又はユーザの頭部から前方に向くカメラである。いくつかの実施形態では、方法1400は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1Aの制御ユニット110)など、コンピュータシステムの1つ以上のプロセッサによって実行される命令によって実行される。方法1400の一部の動作は、任意選択的に組み合わされ、及び/又は一部の動作の順序は、任意選択的に変更される。
図13Aなどのいくつかの実施形態では、方法1400は、表示生成コンポーネント120及びアイトラッキングデバイスを含む1つ以上の入力デバイス(例えば、モバイルデバイス(例えば、タブレット、スマートフォン、メディアプレーヤ、若しくはウェアラブルデバイス)、又はコンピュータ)と通信する電子デバイス(例えば、101)において実行される。いくつかの実施形態では、表示生成コンポーネントは、電子デバイス(任意選択的にタッチスクリーンディスプレイ)と一体化されたディスプレイ、モニタ、プロジェクタ、テレビなどの外部ディスプレイ、又はユーザインタフェースを投影し1人以上のユーザにユーザインタフェースが可視であるようにするためのハードウェア構成要素(任意選択的に組み込み若しくは外部)などである。いくつかの実施形態では、1つ以上の入力デバイスは、表示データを受信し(例えば、ユーザ入力をキャプチャし、ユーザ入力を検出するなど)、ユーザ入力に関連する情報を電子デバイスに送信することができる電子デバイス又はコンポーネントを含む。入力デバイスの例としては、タッチスクリーン、マウス(例えば、外部)、トラックパッド(任意選択的に統合又は外部)、タッチパッド(任意選択的に統合又は外部)、リモートコントロールデバイス(例えば、外部)、別のモバイルデバイス(例えば、電子デバイスとは別個)、ハンドヘルドデバイス(例えば、外部)、コントローラ(例えば、外部)、カメラ、深度センサ、アイトラッキングデバイス、及び/又は動きセンサ(例えば、ハンドトラッキングデバイス、手動きセンサ)などが挙げられる。
図13Aのようないくつかの実施形態では、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、第1の個別のユーザインタフェースを表示する(1401a)。いくつかの実施形態では、第1の個別のユーザインタフェースは、デバイス(例えば、仮想現実(VR)環境、複合現実(MR)環境、又は拡張現実(AR)環境などのコンピュータ生成現実(CGR)環境)によって生成、表示、又はその他の方法で閲覧可能にされる3次元環境で表示される。
図13Aなどのいくつかの実施形態では、第1の個別のユーザインタフェースを表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、第1の個別のユーザインタフェースから第2の個別のユーザインタフェースにナビゲートする要求に対応する入力を受信する(1401b)。いくつかの実施形態では、第1の個別のユーザインタフェースから第2の個別のユーザインタフェースへナビゲートする要求は、第2の個別のユーザインタフェースに関連付けられた第1の個別のユーザインタフェース内のユーザインタフェース要素の選択を含む。いくつかの実施形態では、電子デバイスは、方法800の1つ以上のステップに従って、第1の個別のユーザインタフェースから第2の個別のユーザインタフェースにナビゲートする。
いくつかの実施形態では、図13Aの第1の個別のユーザインタフェースから第2の個別のユーザインタフェースにナビゲートする要求に対応する入力を受信したことに応じて、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、第2の個別のユーザインタフェースを表示し(1401c)、第2の個別のユーザインタフェースは、図13Bのように、第1の没入度で表示される。したがって、いくつかの実施形態では、第2の個別のユーザインタフェースは、任意選択的に、電子デバイスに関連付けられたナビゲーション階層内の現在のレベルにあり、第1の個別のユーザインタフェースは、任意選択的に、電子デバイスに関連付けられたナビゲーション階層内の前のレベルにあり、それにより、ナビゲーション階層内を後方に移動する入力は、任意選択的に、第1の個別のユーザインタフェースの表示をもたらす。いくつかの実施形態では、没入度は、電子デバイスが個別のユーザインタフェースの周囲/背後に背景コンテンツ(例えば、個別のユーザインタフェース以外のコンテンツ)を表示する関連度を含み、任意選択的に、表示される背景コンテンツのアイテム数及び背景コンテンツが表示される視覚特性(例えば、色、コントラスト、不透明度)を含む。いくつかの実施形態では、背景コンテンツは、個別のユーザインタフェースがその上に表示される背景に含まれる。いくつかの実施形態では、背景コンテンツは、追加のユーザインタフェース(例えば、個別のユーザインタフェースのアプリケーション以外のアプリケーションに対応するデバイスによって生成されたユーザインタフェース、オペレーティングシステムユーザインタフェース)、個別のユーザインタフェースに関連付けられていない、又は含まれていない仮想オブジェクト(例えば、デバイスによって生成されたファイル、他のユーザの表現など)、及び実オブジェクト(例えば、表示生成コンポーネントを介して見えるようにデバイスによって表示される電子デバイスの物理的環境内の実オブジェクトを表すパススルーオブジェクト)を含む。いくつかの実施形態では、第1の(例えば、低い)没入度において、背景、仮想、及び/又は実オブジェクトは、不明瞭にされずに表示される。例えば、没入度が低い個別のユーザインタフェースは、背景コンテンツと同時に表示され、背景コンテンツは、完全な輝度、色、及び/又は半透明性で表示される。いくつかの実施形態では、第2の(例えば、高い)没入度において、背景、仮想及び/又は実オブジェクトは、不明瞭にされて表示される(例えば、減光される、ぼかされる、ディスプレイから除去されるなど)。例えば、没入度が高い個別のユーザインタフェースは、背景コンテンツを同時に表示することなく(例えば、フルスクリーン又は完全没入モードで)表示される。別の例として、中間の没入度で表示されるユーザインタフェースは、暗くされた、ぼかされた、又は他の方法で強調されていない背景コンテンツと同時に表示される。いくつかの実施形態では、背景オブジェクトの視覚特性は、背景オブジェクト間で異なる。例えば、特定の没入度では、1つ以上の第1の背景オブジェクトは視覚的に強調されず(例えば、暗くされ、ぼかされ、透明度を上げて表示され)、2つ以上の第2の背景オブジェクト及び1つ以上の第3の背景オブジェクトが表示されなくなる。いくつかの実施形態では、没入度は、電子デバイスが、追加のユーザインタフェース(例えば、個別のユーザインタフェースのアプリケーション以外のアプリケーションに対応するユーザインタフェース、オペレーティングシステムユーザインタフェース)、個別のユーザインタフェースに関連付けられていない又は含まれていない仮想オブジェクト(例えば、ファイル、他のユーザの表現)、及び実オブジェクト(例えば、電子デバイスの物理的環境内の実オブジェクトを表すパススルーオブジェクト)を含む、個別のユーザインタフェース以外のコンテンツを表示する関連度を含む。例えば、没入度が低い個別のユーザインタフェースは、個別のユーザインタフェースに関連付けられたアプリケーション以外のアプリケーションの実オブジェクト及びユーザインタフェースの表現と同時に表示されるが、没入度が高い個別のユーザインタフェースは、他のオブジェクト又はユーザインタフェースを同時に表示することなく(例えば、フルスクリーン又は完全没入型モードで)表示される。
図13Bなどのいくつかの実施形態では、第1の没入度で表示される第2の個別のユーザインタフェースを表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、第1の入力(例えば、視線入力、手追跡入力、視線及び手追跡入力の組み合わせなど)を検出する(1401d)。いくつかの実施形態では、第1の没入度を有する第2の個別のユーザインタフェースを表示することは、第1の個別のユーザインタフェース上にオーバーレイされた第2の個別のユーザインタフェースを表示することを含む。いくつかの実施形態では、第1の没入度で第2の個別のユーザインタフェースを表示することは、表示生成コンポーネントを介して渡された電子デバイスの物理的環境内の1つ以上のオブジェクトを有する第2の個別のユーザインタフェースを表示することを含む。いくつかの実施形態では、第1の個別のユーザインタフェース及び第2の個別のユーザインタフェースは、同じアプリケーションのユーザインタフェースである。いくつかの実施形態では、第1の個別のユーザインタフェース及び第2の個別のユーザインタフェースは、異なるアプリケーションのユーザインタフェースである。
いくつかの実施形態では、第1の入力を検出したことに応じて、第1の入力が1つ以上の基準の第1のセットを満たすという判定に従って、電子デバイス(例えば、101)は、図13Bの第2の個別のユーザインタフェースの表示を中止し(1401e)、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、図13Aの第1の個別のユーザインタフェースを表示する(1400e)。いくつかの実施形態では、第1の入力は、電子デバイスに関連付けられたナビゲーション階層を後方に移動するための入力など、第2のユーザインタフェースから、そこから電子デバイスが第2のユーザインタフェースにナビゲートした第1のユーザインタフェースへ、ユーザインタフェース内を戻るようにナビゲートする要求に対応する。いくつかの実施形態では、アイトラッキングデバイスを介して検出された入力を検出することは、アイトラッキングデバイスを介して、第2の個別のユーザインタフェースと同時に表示された第1の個別のユーザインタフェースの一部に向けられたユーザの視線を検出することを含む。いくつかの実施形態では、アイトラッキングデバイスを介して、第1の個別のユーザインタフェースの部分に向けられたユーザの視線を検出したことに応じて、電子デバイスは、第1の個別のユーザインタフェースに戻るようにナビゲートする。したがって、いくつかの実施形態では、第2の関連ユーザインタフェースが第1の没入度で表示されているときに第1の関連ユーザインタフェースに戻るようにナビゲートすることは、視線入力のみで可能であり、別の入力デバイスを介して検出される入力(例えば、手追跡入力)を必要としない。いくつかの実施形態では、1つ以上の基準の第1のセットは、ユーザの視線が所定の時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、0.75、1秒)の間、第1のユーザインタフェースの一部に向けられたときに満たされる基準を更に含む。いくつかの実施形態では、1つ以上の基準の第1のセットは、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、及び/又はタッチセンサ(例えば、トラックパッド、タッチスクリーン))を介して、ユーザが所定のジェスチャ(例えば、親指と同じ手の指(例えば、人差し指、薬指、中指、小指)に親指で触れること)を実行することを検出しながら、第1の個別のユーザインタフェースへのユーザの視線を検出したことに応じて満たされる。
いくつかの実施形態では、図13Bの第2の個別のユーザインタフェースの表示を中止した後、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、図13C~図13Dのように、第1の没入度よりも高い第2の没入度で第3の個別のユーザインタフェースを表示する(1401f)。いくつかの実施形態では、第3の個別のユーザインタフェースは、第1の個別のユーザインタフェースにナビゲートされる。いくつかの実施形態では、第2の没入度は、第1の個別のユーザインタフェースのいずれの部分も表示することを含まない。例えば、第2の没入度は、任意選択的に、全画面没入度であり、電子デバイスは、表示生成コンポーネントを介して、オブジェクト及び第2の個別のユーザインタフェース以外のユーザインタフェースを表示することなく(例えば、電子デバイスの物理的環境から表示生成コンポーネントを介して渡されたオブジェクトを表示することなく)、第2の個別のユーザインタフェースを表示する。したがって、いくつかの実施形態では、第2の没入度は、第1の没入度よりも高い。
いくつかの実施形態では、図13Dのように、第2の没入度で第3の個別のユーザインタフェースを表示している間に、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、第2の入力(例えば、アイトラッキングデバイス、ハンドトラッキングデバイス、又は電子デバイスと通信している別の入力デバイスを介して検出された入力)を受信する(1401g)。いくつかの実施形態では、第2の入力は、第3の個別のユーザインタフェースの表示を中止する要求である。いくつかの実施形態では、第2の入力は、そこから電子デバイスが第3のユーザインタフェースにナビゲートした第1のユーザインタフェースに戻るようにナビゲートする要求である。
いくつかの実施形態では、第2の入力(1401h)を検出したことに応じて、第2の入力が1つ以上の基準の第1のセットを満たすという判定に従って、電子デバイス(例えば、101)は、図13Dの第3のユーザインタフェースの表示(1401i)を維持する(及び任意選択的に、第2の入力に従って第3の個別のユーザインタフェース内で動作を実行する)。例えば、第1の個別のユーザインタフェースが以前に表示された第3の個別のユーザインタフェース内の位置へのユーザの視線を検出したことに応じて、及び視線が1つ以上の基準の第1のセットに関連付けられた所定の期間にわたって維持されているという判定に従って、電子デバイスは、第1の個別のユーザインタフェースにナビゲートする代わりに第3の個別のユーザインタフェースを表示し続けるが、それは、第3の個別のユーザインタフェースの没入度が、第1の没入度ではなく第2の没入度であるからである。
いくつかの実施形態では、第2の入力を検出したことに応じて(1401j)、第2の入力が1つ以上の基準の第2のセットを満たすという判定に従って、電子デバイス(例えば、101)は、図13Dの第3のユーザインタフェースの表示を中止する(1401j)。いくつかの実施形態では、1つ以上の基準の第2のセットは、個別の入力がアイトラッキングデバイス以外の入力デバイスを介して検出された入力を含むときにのみ満たされる基準を含む。いくつかの実施形態では、第2の没入度において、第2の個別のユーザインタフェースは、選択されると、アイトラッキングデバイス以外の入力デバイスを介して(例えば、手追跡入力を介して)、電子デバイスを第1の個別のユーザインタフェースにナビゲートさせる選択可能オプションを含む。例えば、電子デバイスは、アイトラッキングデバイスを介して、ユーザが選択可能オプションを見ていることを検出する一方で、ハンドトラッキングデバイスを介して、ユーザが所定のジェスチャ(例えば、親指と同じ手の指(例えば、人差し指、中指、薬指、小指)に親指で触れること)を実行していることを検出する。いくつかの実施形態では、個別のユーザインタフェースの没入度が第1の個別の没入度である場合、電子デバイスは、アイトラッキングデバイスのみを介して検出された入力に応じて、個別のユーザインタフェースの表示を中止し(及び任意選択的に、電子デバイスがそこから個別のユーザインタフェースにナビゲートしたユーザインタフェースに戻るようにナビゲートし)、個別のユーザインタフェースの没入度が第2の個別の没入度である場合、電子デバイスは、アイトラッキングデバイス以外の入力デバイスを介して少なくとも検出された入力(例えば、及び任意選択的に、アイトラッキングデバイスを介して検出された入力を含む)に応じて、個別のユーザインタフェースの表示を中止する(及び任意選択的に、電子デバイスがそこから個別のユーザインタフェースにナビゲートしたユーザインタフェースに戻るようにナビゲートする)。
アイトラッキングデバイスのみを介して検出された入力に応じて第1の没入度を有する第2の個別のユーザインタフェースの表示を中止し、アイトラッキングデバイス以外の入力デバイスを介して検出された入力に応じて第2の没入度を有する第3の個別のユーザインタフェースの表示を中止する上述の方法は、第1の没入度を有するユーザインタフェースからナビゲートする効率的な方法と、第2の没入度を有するユーザインタフェースを表示している間に誤って後方にナビゲートすることを回避する方法とを提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、1つ以上の基準の第1のセットは、図13Bのように、非視線ユーザ入力なしで視線ユーザ入力に基づいて満たされ(例えば、非視線ユーザ入力を必要としない)、1つ以上の基準の第2のセットは、図13Dのように、非視線ユーザ入力を必要とする(1402a)。いくつかの実施形態では、非視線入力は、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、タッチセンサ(例えば、タッチスクリーン、トラックパッド))又は電子デバイスと通信している別の入力デバイスを介して検出される入力を含む。いくつかの実施形態では、1つ以上の基準の第2のセットは、ハンドトラッキングデバイスを介して、ユーザが所定のジェスチャ(例えば、親指を親指と同じ手の別の指(例えば、人差し指、中指、薬指、小指)に触れること)を自分の手で実行したことを検出したことに応じて満たされる基準を含む。いくつかの実施形態では、1つ以上の基準の第2のセットは、ユーザが1つ以上の基準を満たす頭の動き(例えば、頭を前方に動かすこと)を実行したという判定に従って満たされる基準を含む。いくつかの実施形態では、1つ以上の基準の第2のセットは、コントローラ又は物理的なボタン、スイッチ、ノブなどを有する他の入力デバイスとの相互作用に応じて満たされる基準を含む。いくつかの実施形態では、1つ以上の基準の第1のセットは、非視線ユーザ入力が検出されたときに満たされることを排除されない。
視線のみに基づいて1つ以上の基準の第1のセットを満たし、視線及び非視線入力に基づいて1つ以上の基準の第2のセットを満たす上述の方法は、いくつかの状況において視線のみに基づいてナビゲートする効率的な方法、及び他の状況において誤ってナビゲートすることを防止する方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図13Bなどのいくつかの実施形態では、第2の個別のユーザインタフェースは、第1のアプリケーションのユーザインタフェースである(1402b)。いくつかの実施形態では、第1の個別のユーザインタフェースも、第1のアプリケーションのユーザインタフェースである。いくつかの実施形態では、第1の個別のユーザインタフェースは、第1のアプリケーション以外のアプリケーションのユーザインタフェース(例えば、電子デバイスのオペレーティングシステムのユーザインタフェース)である。いくつかの実施形態では、第1のアプリケーションとは異なる第2のアプリケーションの第4の個別のユーザインタフェースを第1の没入度で表示している間に、第4の個別のユーザインタフェースは、第5の個別のユーザインタフェースにナビゲートされ、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、第3の入力を検出する(1402c)。いくつかの実施形態では、第3の入力は、第4の個別のユーザインタフェースから第5の個別のユーザインタフェースに戻るようにナビゲートする要求に対応する。いくつかの実施形態では、第5のユーザインタフェースは、第2のアプリケーションのユーザインタフェースである。いくつかの実施形態では、第5のユーザインタフェースは、第2のアプリケーション以外のアプリケーションのユーザインタフェース(例えば、電子デバイスのオペレーティングシステムのユーザインタフェース)である。いくつかの実施形態では、電子デバイスは、方法800の1つ以上のステップに従って、第5のユーザインタフェースから第4のユーザインタフェースにナビゲートする。いくつかの実施形態では、第3の入力を検出したことに応じて、第3の入力が1つ以上の基準(例えば、異なる入力デバイスで非視線入力を検出することなく、アイトラッキングデバイスを介して検出された入力に基づいて満たされる基準)の第1のセットを満たすという判定に従って、電子デバイス(例えば、101)は、第4の個別のユーザインタフェースの表示を中止し(1402d)、表示生成コンポーネントを介して、第5の個別のユーザインタフェースを表示する。例えば、第4のユーザインタフェースがオーバーレイされている第5の個別の使用インタフェースの一部へのユーザの視線を検出したことに応じて、及び視線が所定の時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、0.75、1秒)の間維持されているという判定に従って、電子デバイスは、第4のユーザインタフェースの表示を中止し、第5のユーザインタフェースを表示する。いくつかの実施形態では、第4の個別のユーザインタフェースが第2の没入度で表示されているという判定に従って、電子デバイスは、第3の入力に応じて第5のユーザインタフェースにナビゲートすることを取り止める。したがって、いくつかの実施形態では、電子デバイスは、第1の没入度で表示されたユーザインタフェースに関連付けられたアプリケーションに関係なく、1つ以上の基準の第1のセットを満たす入力に応じて、第1の没入度で表示された1つ以上の(例えば、任意の)ユーザインタフェースの表示を中止する。
個別のアプリケーションに関連付けられたアプリケーションに関係なく、1つ以上の基準の第1のセットを満たす入力に応じて、第1の没入度で表示された個別のユーザインタフェースの表示を中止する上述の方法は、ユーザインタフェースを視線のみでナビゲートする効率的かつ一貫した方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図13Bなどのいくつかの実施形態では、第2の個別のユーザインタフェースは、第1のアプリケーションのユーザインタフェースである(1404a)。いくつかの実施形態では、第1の個別のユーザインタフェースも、第1のアプリケーションのユーザインタフェースである。いくつかの実施形態では、第1の個別のユーザインタフェースは、第1のアプリケーション以外のアプリケーションのユーザインタフェースである。いくつかの実施形態では、第1のアプリケーションとは異なる第2のアプリケーションの第4の個別のユーザインタフェースを第1の没入度よりも低い第3の没入度で表示している間に、第4の個別のユーザインタフェースは、第5の個別のユーザインタフェース(例えば、第5のユーザインタフェースは、第2のアプリケーションのユーザインタフェース又は第2のアプリケーション以外のアプリケーションのユーザインタフェースである)からナビゲートされ、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、第3の入力を検出する(1404b)。いくつかの実施形態では、第3の没入度は、(例えば、パススルービデオを介して、又はユーザが表示生成コンポーネントの透明部分を通して実オブジェクトを見ることを可能にすることによって)第1の没入度よりも多くの実オブジェクトを電子デバイスの物理的環境内に表示することを含む。いくつかの実施形態では、第3没入度は、第1没入度よりも少ない仮想照明効果を含む。いくつかの実施形態では、第3の没入度は、第1の没入度よりも少ない仮想風景(例えば、コンテンツ以外の仮想オブジェクト、アプリケーションの表現、相互作用可能要素など)を含む。いくつかの実施形態では、第3の入力は、第4の個別のユーザインタフェースの表示を中止し、第5の個別のユーザインタフェースを表示する要求に対応する。いくつかの実施形態では、電子デバイスは、方法800の1つ以上のステップに従って、第5のユーザインタフェースから第4のユーザインタフェースにナビゲートする。いくつかの実施形態では、第3の入力を検出したことに応じて、第3の入力が1つ以上の基準(例えば、異なる入力デバイスで非視線入力を検出することなく、アイトラッキングデバイスを介して検出された入力に基づいて満たされる基準)の第1のセットを満たすという判定に従って、電子デバイス(例えば、101)は、第4の個別のユーザインタフェースの表示を中止し(1404c)、表示生成コンポーネントを介して、第5の個別のユーザインタフェースを表示する。例えば、第4のユーザインタフェースがオーバーレイされている第5の個別の使用インタフェースの一部へのユーザの視線を検出したことに応じて、及び視線が所定の時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、0.75、1秒)の間維持されているという判定に従って、電子デバイスは、第4のユーザインタフェースの表示を中止し、第5のユーザインタフェースを表示する。したがって、いくつかの実施形態では、電子デバイスは、1つ以上の基準の第1のセットを満たす入力に応じて、第1の没入度以下の没入度で表示された1つ以上の(例えば、任意の)ユーザインタフェースの表示を中止する。
1つ以上の基準の第1のセットを満たす入力に応じて、第1の没入度以下の没入度で表示された個別のユーザインタフェースの表示を中止する上述の方法は、ユーザインタフェースを視線のみでナビゲートする効率的かつ一貫した方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図13Bなどのいくつかの実施形態では、第2の個別のユーザインタフェースは、第1のアプリケーションのユーザインタフェースである(1406a)。いくつかの実施形態では、第1の個別のユーザインタフェースも、第1のアプリケーションのユーザインタフェースである。いくつかの実施形態では、第1の個別のユーザインタフェースは、第1のアプリケーション以外のアプリケーションのユーザインタフェース(例えば、電子デバイスのオペレーティングシステムのユーザインタフェース)である。いくつかの実施形態では、第1のアプリケーションとは異なる第2のアプリケーションの第4の個別のユーザインタフェースを第1の没入度よりも高く、第2の没入度より低い第3の没入度で表示している間に、第4の個別のユーザインタフェースは、第5の個別のユーザインタフェース(例えば、第5のユーザインタフェースは、第2のアプリケーションのユーザインタフェース又は第2のアプリケーション以外のアプリケーションのユーザインタフェースである)からナビゲートされ、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、第3の入力を検出する(1406b)。いくつかの実施形態では、第3の没入度は、(例えば、パススルービデオを介して、又はユーザが表示生成コンポーネントの透明部分を通して実オブジェクトを見ることを可能にすることによって)、第2の没入度よりも多くの実オブジェクトを電子デバイスの物理的環境内に表示することと、第1の没入度よりも少ない実オブジェクトを電子デバイスの物理的環境内に表示することとを含む。いくつかの実施形態では、第3の没入度は、第1の没入度よりも多くの仮想照明効果と、第2の没入度よりも少ない仮想照明効果を含む。いくつかの実施形態では、第3の没入度は、第2の没入度よりも少ない仮想風景(例えば、コンテンツ以外の仮想オブジェクト、アプリケーションの表現、相互作用可能要素など)を含む。いくつかの実施形態では、第3の入力は、第4の個別のユーザインタフェースの表示を中止し、第5の個別のユーザインタフェースを表示する要求に対応する。いくつかの実施形態では、第3の入力を検出したことに応じて、第3の入力が1つ以上の基準(例えば、異なる入力デバイスで非視線入力を検出することなく、アイトラッキングデバイスを介して検出された入力に基づいて満たされる基準)の第1のセットを満たすという判定に従って、電子デバイスは、第4の個別のユーザインタフェースの表示を中止し(1406c)、表示生成コンポーネントを介して、第5の個別のユーザインタフェースを表示する。例えば、第4のユーザインタフェースがオーバーレイされている第5の個別の使用インタフェースの一部へのユーザの視線を検出したことに応じて、及び視線が所定の時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、0.75、1秒)の間維持されているという判定に従って、電子デバイスは、第4のユーザインタフェースの表示を中止し、第5のユーザインタフェースを表示する。いくつかの実施形態では、電子デバイスは、1つ以上の基準の第1のセットを満たす入力に応じて、第1の没入度と第2の没入度との間にある没入度で表示された1つ以上の(例えば、任意の)ユーザインタフェースの表示を中止する。したがって、いくつかの実施形態では、電子デバイスは、1つ以上の基準の第1のセットを満たす入力に応じて、第2の没入度よりも低い没入度で表示された1つ以上の(例えば、任意の)ユーザインタフェースの表示を中止する。
1つ以上の基準の第1のセットを満たす入力に応じて、第1の没入度以下の没入度で表示された個別のユーザインタフェースの表示を中止する上述の方法は、ユーザインタフェースを視線のみでナビゲートする効率的かつ一貫した方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図13Bなどのいくつかの実施形態では、第2の個別のユーザインタフェースは、第1のアプリケーションのユーザインタフェースである(1408a)。いくつかの実施形態では、電子デバイスは、第1のアプリケーションの別のユーザインタフェースから第2の個別のユーザインタフェースにナビゲートする。いくつかの実施形態では、電子デバイスは、第1のアプリケーション以外のアプリケーションのユーザインタフェース(例えば、電子デバイスのオペレーティングシステムのユーザインタフェース)から第2の個別のユーザインタフェースにナビゲートする。いくつかの実施形態では、第1のアプリケーションとは異なる第2のアプリケーションの第4の個別のユーザインタフェースを第2の没入度で表示している間に、第4の個別のユーザインタフェースは、第5の個別のユーザインタフェースにナビゲートされ、電子デバイス(例えば、101)は、1つ以上の入力デバイスを介して、第3の入力を検出する(1408b)。いくつかの実施形態では、第3の入力は、第4の個別のユーザインタフェースの表示を中止し、第5の個別のユーザインタフェースを表示する要求に対応する。いくつかの実施形態では、第3の入力を検出したことに応じて(1408c)、第3の入力が1つ以上の基準の第1のセットを満たす(例えば、1つ以上の基準の第2のセットを満たすことなく)という判定に従って、電子デバイス(例えば、101)は、第4の個別のユーザインタフェースの表示を維持する(1408d)(及び任意選択的に、第2の入力に従って第4の個別のユーザインタフェース内で動作を実行する)。いくつかの実施形態では、1つ以上の基準の第1のセットは、第5の個別のユーザインタフェースが所定の時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、0.75、1秒)の間、以前に表示された表示生成コンポーネントの領域にユーザの視線が向けられたときに満たされる基準を含む。いくつかの実施形態では、入力が1つ以上の基準(例えば、アイトラッキングデバイスを介した入力の検出及び視線トラッキングデバイス以外の入力デバイス(例えば、ハンドトラッキングデバイス)を介した入力の検出に応じて満たされる基準)の第2のセットを満たすという判定に従って、電子デバイスは、第4の個別のユーザインタフェースの表示を中止し、第5の個別のユーザインタフェースを表示する。
1つ以上の基準の第1のセットを満たす入力に応じて、第2の没入度で無効にされた第4の個別のユーザインタフェースの表示を維持する上述の方法は、第2の没入度で表示されたユーザインタフェースを見ている間の意図しないナビゲーションを防止する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、図13C~図13Dの第3の個別のユーザインタフェースが第1のアプリケーションのユーザインタフェースであるという判定に従って、1つ以上の基準の第2のセットは、第1の1つ以上の基準(1410a)である。いくつかの実施形態では、第1の1つ以上の基準は、入力が第3のユーザインタフェースに表示された個別のユーザインタフェース要素に向けられた(例えば、電子デバイスが個別のユーザインタフェース要素の選択を検出した)ときに満たされる基準を含む。いくつかの実施形態では、第1の1つ以上の基準は、アイトラッキングデバイス以外のどの入力デバイスが入力を受信するかに関する基準を含む。いくつかの実施形態では、第1の1つ以上の基準は、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、タッチセンサ)を介して、個別の手ジェスチャの実行を検出することに関する基準を含む。いくつかの実施形態では、図13C~図13Dの第3の個別のユーザインタフェースが第1のアプリケーションとは異なる第2のアプリケーションのユーザインタフェースであるという判定に従って、1つ以上の基準の第2のセットは、第1の1つ以上の基準とは異なる第2の1つ以上の基準(1410b)である。いくつかの実施形態では、第2の1つ以上の基準は、入力が、第1の1つ以上の基準に関連付けられた個別のユーザインタフェース要素とは異なる、第3のユーザインタフェースに表示された個別のユーザインタフェース要素に向けられた(例えば、電子デバイスが個別のユーザインタフェース要素の選択を検出した)ときに満たされる基準を含む。いくつかの実施形態では、第2の1つ以上の基準は、アイトラッキングデバイス以外のどの入力デバイスが、第2の1つ以上の基準に関連付けられたアイトラッキングデバイス以外の入力デバイスとは異なる入力を受信するかに関する基準を含む。いくつかの実施形態では、第2の1つ以上の基準は、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、タッチセンサ)を介して、第1の1つ以上の基準に関連付けられた手ジェスチャとは異なる個別の手ジェスチャの実行を検出することに関する基準を含む。いくつかの実施形態では、1つ以上の第1の基準及び1つ以上の第2の基準における基準のタイプは異なる。例えば、1つ以上の第1の基準は、ユーザが第1の個別のジェスチャを実行している間に個別のユーザインタフェース要素を見ていることを検出したことに応じて満たされる基準を含み、第2の1つ以上の基準は、電子デバイスと通信しているボタン又はスイッチを介した入力を検出したことに応じて満たされる基準を含む。
表示されるユーザインタフェースのアプリケーションに応じて1つ以上の基準の異なる第2のセットに対して入力を評価する上述の方法は、ユーザインタフェースにおいて異なる機能を実行しない入力に応じてユーザインタフェースの表示を中止する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、図13Cの第3の個別のユーザインタフェースは、1つ以上の入力デバイスを介して、視線ユーザ入力を含みかつ非視線ユーザ入力を含まない第3の入力を検出したことに応じて表示される(1410c)。いくつかの実施形態では、視線入力を検出することは、アイトラッキングデバイスを介して、所定の時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)の間、ユーザの視線が個別のユーザインタフェース要素(例えば、第3の個別のユーザインタフェースに関連付けられたユーザインタフェース要素)に向けられていることを検出することを含む。いくつかの実施形態では、個別のユーザインタフェース要素へのユーザの視線を検出したことに応じて、電子デバイスは、ユーザの視線が維持されている間に個別のユーザインタフェース要素を拡大し、拡大している個別のユーザインタフェース要素を第3の対応するユーザインタフェースにモーフィングするようにアニメーション化する。
視線入力のみを含む入力に応じて第3のユーザの個別のユーザインタフェースにナビゲートする上述の方法は、1つの入力デバイスで受信された入力に基づいて第3のユーザインタフェースにナビゲートする効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、図13Cの第3の個別のユーザインタフェースは、1つ以上の入力デバイスを介して、視線ユーザ入力及び非視線ユーザ入力を含む第3の入力を検出したことに応じて表示される(1410d)。いくつかの実施形態では、第3の入力を検出することは、別の入力デバイスを介して別の入力を検出している間に、アイトラッキングデバイスを介して、ユーザの視線が個別のユーザインタフェース要素(例えば、第3の個別のユーザインタフェースに関連付けられたユーザインタフェース要素)に向けられていることを検出することを含む。例えば、他の入力デバイスを介して検出される他の入力は、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、タッチセンサ)を介して検出される手ジェスチャ(例えば、ユーザが、親指と同じ手の指(例えば、人差し指、中指、薬指、小指)に親指で触れる)である。いくつかの実施形態では、個別のユーザインタフェース要素へのユーザの視線の検出に応じて、電子デバイスは、拡大する個別のユーザインタフェース要素のアニメーションの表示を開始し、非視線ユーザ入力に応じて、電子デバイスは、残りのアニメーションをスキップし、アニメーションが完了するのにかかる時間よりも短い時間で第3の個別のユーザインタフェースを表示する。いくつかの実施形態では、非視線入力に応じて、電子デバイスは、第3の個別のユーザインタフェースを表示するためにアニメーションの速度を上げる。
視線入力及び非視線入力を含む入力に応じて第3のユーザインタフェースを表示する上述の方法は、第3の個別のユーザインタフェースに誤ってナビゲートするのを防止する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、図13Aのように、第1の個別のユーザインタフェースを表示している間、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、個別のユーザインタフェース要素(例えば、1314)(例えば、オペレーティングシステムユーザインタフェース要素、別のユーザインタフェース、コンテンツアイテム、仮想オブジェクト、実オブジェクト(例えば、電子デバイスの物理的環境内のオブジェクトの写実的な表現を含む、又はユーザが表示生成コンポーネントの透明部分を通して電子デバイスの物理的環境内の実オブジェクトを見ることを可能にするパススルービデオ)など)を表示する(1412a)。いくつかの実施形態では、個別のユーザインタフェース要素は、第1のアプリケーションの要素である。いくつかの実施形態では、個別のユーザインタフェース要素は、異なるアプリケーション又はオペレーティングシステムの要素である。図13Cなどのいくつかの実施形態では、第2の没入度で第3の個別のユーザインタフェースを表示している間、電子デバイス(例えば、101)は、個別のユーザインタフェース要素の表示を不明瞭にする(1412b)。いくつかの実施形態では、第3のユーザインタフェースが表示される表示生成コンポーネントの領域は、個別のユーザインタフェース要素が以前に表示されていた表示生成コンポーネントの領域を含む。いくつかの実施形態では、電子デバイスは、第3の個別のユーザインタフェースを表示している間、いかなる他のユーザインタフェース又はオブジェクトも表示しない。いくつかの実施形態では、個別のユーザインタフェース要素の表示を不明瞭にすることは、第3の個別のユーザインタフェースを暗くすること、個別のユーザインタフェース要素を表示生成コンポーネントの表示領域の側部に移動させること、及び/又は第3の個別のユーザインタフェースを個別のユーザインタフェース要素上に少なくとも部分的にオーバーレイして表示することを含む。
第3の個別のユーザインタフェースを表示しながら個別のユーザインタフェース要素の表示を不明瞭にする上述の方法は、同時に表示される第3の個別のユーザインタフェースのコンテンツの量を増加させる効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、図13Aのように、第1の個別のユーザインタフェースを表示している間、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、個別のユーザインタフェース要素(例えば、1314)(例えば、オペレーティングシステムユーザインタフェース要素、別のユーザインタフェース、コンテンツアイテム、仮想オブジェクト、実オブジェクト(例えば、電子デバイスの物理的環境内のオブジェクトの写実的な表現を含む、又はユーザが表示生成コンポーネントの透明部分を通して電子デバイスの物理的環境内の実オブジェクトを見ることを可能にするパススルービデオ)など)を表示する(1412c)。いくつかの実施形態では、個別のユーザインタフェース要素は、第1のアプリケーションの要素である。いくつかの実施形態では、個別のユーザインタフェース要素は、異なるアプリケーション又はオペレーティングシステムの要素である。図13Bなどのいくつかの実施形態では、第1の没入度で第2の個別のユーザインタフェースを表示している間、電子デバイス(例えば、101)は、個別のユーザインタフェース要素(例えば、1314)の表示を維持する(1412d)。いくつかの実施形態では、電子デバイスは、個別のユーザインタフェース要素を更新することなく、個別のユーザインタフェース要素の表示を維持する。いくつかの実施形態では、電子デバイスは、第2の個別のユーザインタフェースを表示しながら、個別のユーザインタフェース要素を更新する(例えば、サイズ、位置、視覚特性(透明性、半透明性、色))。いくつかの実施形態では、個別のユーザインタフェース要素は、第2の個別のユーザインタフェースの背景において可視でありながら、ぼかされ、半透明であり、及び/又は異なる色で(例えば、白黒又はグレースケールで)表示される。
第2の個別のユーザインタフェースを表示しながら個別のユーザインタフェース要素の表示を維持する上述の方法は、第2の個別のユーザインタフェースが表示されている間にユーザが個別のユーザインタフェース要素を見る及び/又はナビゲートすることを可能にする効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図13C~図13Dなどのいくつかの実施形態では、第3の個別のユーザインタフェースは、健康関連アプリケーション(1414a)のユーザインタフェースである。いくつかの実施形態では、健康関連アプリケーションは、ガイド付きの瞑想などのマインドフルネスコンテンツを含む。いくつかの実施形態では、健康関連アプリケーションは、活動データ、身体測定、健康記録、心拍数データなどのユーザの健康データを含む。
第2の没入度で健康関連アプリケーションのユーザインタフェースを表示する上述の方法は、ユーザが健康関連アプリケーションに集中することを可能にする効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図13Bなどのいくつかの実施形態では、第2の個別のユーザインタフェースは、コンテンツ消費アプリケーション(1414b)(例えば、写真、ビデオ、音楽、又は他のコンテンツを提示するためのアプリケーション)のユーザインタフェースである。いくつかの実施形態では、第2の個別のユーザインタフェースのコンテンツは、第2の個別のユーザインタフェースの全体を包含する。いくつかの実施形態では、第2の個別のユーザインタフェースのコンテンツは、第2の個別のユーザインタフェースの一部を包含する。
第2の没入度でコンテンツ消費アプリケーションを提示する上述の方法は、ユーザが電子デバイスによって表示される他のオブジェクトと相互作用しながらコンテンツと相互作用することを可能にする効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、図13C~図13Dの第3の個別のユーザインタフェースは、図13Aのように、第1の個別のユーザインタフェースからナビゲートし、第2の没入度で第3の個別のユーザインタフェースを表示することは、第1の個別のユーザインタフェースの表示を中止することを含む(1414c)。いくつかの実施形態では、電子デバイスは、第3の個別のユーザインタフェースを表示している間、第3の個別のユーザインタフェース以外のいかなるコンテンツ、オブジェクト、又はユーザインタフェースも表示しない。いくつかの実施形態では、第1の個別のユーザインタフェース及び第3の個別のユーザインタフェースは、同じアプリケーションのユーザインタフェースである。いくつかの実施形態では、第1の個別のユーザインタフェース及び第3の個別のユーザインタフェースは、異なるアプリケーションのユーザインタフェースである。
第3の個別のユーザインタフェースを表示しながら第1の個別のユーザインタフェースの表示を中止する上述の方法は、視覚クラッタを低減して第3の個別のユーザインタフェースを表示する効率的な方法を提供し、ユーザの認知的負担を低減し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図13Bなどのいくつかの実施形態では、第1の没入度で第2の個別のユーザインタフェースを表示することは、第1の個別のユーザインタフェース(1414d)の少なくとも部分(例えば、1308)の表示を維持することを含む。いくつかの実施形態では、第2の個別のユーザインタフェースは、第1の個別のユーザインタフェースのぼかされた及び/又は暗くされたバージョン上にオーバーレイされる。いくつかの実施形態では、電子デバイスは、第2の個別のユーザインタフェースの後ろに第1の個別のユーザインタフェースのヘッダ領域を表示する。いくつかの実施形態では、1つ以上の基準の第1のセットは、第2のユーザインタフェースが閾値期間(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)表示されている間に、ユーザが第1のユーザインタフェースの可視部分を見ているという判定に従って満たされる基準を含む。いくつかの実施形態では、電子デバイスは、方法800の1つ以上のステップに従って、第1の個別のユーザインタフェースから第2の個別のユーザインタフェースにナビゲートする。いくつかの実施形態では、第1の個別のユーザインタフェースの部分への視線ベースの入力のみを検出したことに応じて、又は第1の個別のユーザインタフェースの部分への視線入力及び非視線入力を検出したことに応じて、電子デバイスは、第1の個別のユーザインタフェースに戻るようにナビゲートする。
第2の個別のユーザインタフェースを表示しながら第1の個別のユーザインタフェースの少なくとも一部の表示を維持する上述の方法は、視線のみに基づいて第1の個別のユーザインタフェースにナビゲートして戻る効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図13Dなどのいくつかの実施形態では、第3の個別のユーザインタフェースは、1つ以上の制御要素(例えば、1318)を含み、第2の入力が、第3の個別のユーザインタフェース(1414e)から離れるようにナビゲートするための1つ以上の制御要素の個別の制御(例えば、1318)に向けられるとき、1つ以上の基準の第2のセットが満たされる。いくつかの実施形態では、1つ以上の制御要素は、1つ以上の制御要素がまだ表示されていない間に受信された入力に応じて表示される。例えば、電子デバイスは、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、タッチセンサ(例えば、タッチスクリーン、トラックパッド)を介して、ユーザが手を上げたことを検出したことに応じて、ユーザの手に対応する位置(例えば、上オーバーレイされている、近接しているなど)に1つ以上の制御要素を表示する。いくつかの実施形態では、第2の入力は、第3の個別のユーザインタフェースの表示の中止に関連付けられた制御要素のうちの1つの選択を検出することを含む。いくつかの実施形態では、個別の要素の選択を検出することは、アイトラッキングデバイスを介して、ユーザの視線が個別のユーザインタフェース要素に向けられていることを検出する一方で、ハンドトラッキングデバイスを介して、ユーザが所定のジェスチャ(例えば、親指で親指と同じ手の別の指(例えば、人差し指、中指、薬指、小指)に触れること)を実行することを検出することを含む。
個別の制御要素に向けられた入力に応じて第3の個別のユーザインタフェースの表示を中止する上述の方法は、第3の個別のユーザインタフェースから不注意に離れるようにナビゲートすることを回避する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図13Dなどのいくつかの実施形態では、ユーザの手(例えば、1304d)が、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、タッチセンサ(例えば、タッチスクリーン、トラックパッド))を介して第1の位置で検出されたという判定に従って、1つ以上の制御要素(例えば、1318)は、第3の個別のユーザインタフェース(1416a)の第1の個別の位置に表示される。いくつかの実施形態では、第1の個別の位置は、ユーザの手の表現上にオーバーレイされる。いくつかの実施形態では、第1の個別の位置は、ユーザの手に近接している。例えば、ユーザの手が表示生成コンポーネントの右側に向いている場合、電子デバイスは、表示生成コンポーネントの右側に制御要素を表示する。いくつかの実施形態では、ユーザの手(例えば、1304d)が、ハンドトラッキングデバイスを介して、図13Dの第1の位置とは異なる第2の位置で検出されたという判定に従って、1つ以上の制御要素(例えば、1318)は、第3の個別のユーザインタフェース(1416b)の、第1の個別の位置とは異なる第2の個別の位置に表示される。例えば、ユーザの手が表示生成コンポーネントの左側に向いている場合、電子デバイスは、表示生成コンポーネントの左側に制御要素を表示する。いくつかの実施形態では、ユーザの手の動きを検出したことに応じて、電子デバイスは、ユーザの手の動きに従って1つ以上の制御要素を動かす。例えば、ユーザの手の左への動きを検出したことに応じて、電子デバイスは、1つ以上の制御要素を左に動かす。いくつかの実施形態では、電子デバイスは、表示生成コンポーネントを介して、ユーザの手の表現を表示し(又はユーザの手は、表示生成コンポーネントの透明部分を通して見える)、1つ以上の制御要素を、あたかもユーザの手の表現上に(又は表示生成コンポーネントを通して見えるユーザの手の上に)表示されているかのように表示する。例えば、ユーザの手のひらがユーザに向いていることを検出したことに応じて、電子デバイスは、1つ以上の制御要素をユーザの手のひらに現れるように表示する。
ユーザの手の位置に基づいて個別の位置にコントロールを表示する上述の方法は、ユーザが容易に届く位置にコントロールを表示する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図13Dなどのいくつかの実施形態では、1つ以上の制御は、第3の個別のユーザインタフェース(1416c)から離れるようにナビゲートすること以外の動作を実行するための第2の個別の制御(例えば、1320a)を含む。例えば、第3の個別のユーザインタフェースは、ビデオ及び/又はオーディオコンテンツを含み、1つ以上の制御は、ビデオ及び/又はオーディオコンテンツの再生(例えば、再生/一時停止、早送り、巻き戻し)を制御するための再生制御を含む。
第3の個別のユーザインタフェースから離れるようにナビゲートすること以外の動作を実行するための第2の個別の制御を表示する上述の方法は、ユーザインタフェースの同じ領域に複数の制御を表示する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図13Bなどのいくつかの実施形態では、第1の没入度で第2の個別のユーザインタフェースを表示している間に、電子デバイス(例えば、101)は、アイトラッキングデバイスを介して、第2の個別のユーザインタフェースの所定の部分(例えば、1308)(例えば、ユーザインタフェースの上部に沿ったヘッダ領域など、第2の個別のユーザインタフェースの周辺の領域)に向けられた視線(例えば、1302c)を含む個別の入力を検出する(1418a)。いくつかの実施形態では、ヘッダ領域は、第3のユーザインタフェースに関連付けられたアプリケーションの名前を含む。いくつかの実施形態では、個別の入力(1418b)を検出したことに応じて、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、図13Aの第1の個別のユーザインタフェースの表現及び図13Bの第2の個別のユーザインタフェースの表現を階層的配置で表示する(1418c)。いくつかの実施形態では、第2の個別のユーザインタフェースの表現は、第1の個別のユーザインタフェースの表現にオーバーレイされて表示される。いくつかの実施形態では、電子デバイスは、電子デバイスがそこから第1の個別のユーザインタフェースにナビゲートしたユーザインタフェースの1つ以上の追加の表現を更に表示する。いくつかの実施形態では、第2の個別のユーザインタフェースは、電子デバイスがそこから第2の個別のユーザインタフェースにナビゲートした、電子デバイスによって以前に表示されたユーザインタフェース上にオーバーレイされて表示される。いくつかの実施形態では、第1の個別のユーザインタフェースのコンテンツは非表示であり、第1の個別のユーザインタフェースの表現は、第1の個別のユーザインタフェースのフレーム(例えば、第2の個別のユーザインタフェースが表示されるフレームと同様)である。いくつかの実施形態では、電子デバイスは、個別の入力を検出するまで、第1の個別のユーザインタフェースの表現(又は他の以前のユーザインタフェースの他の表現)を表示しなかった。いくつかの実施形態では、電子デバイスは、個別の入力を検出する前に、第1の個別のユーザインタフェースの表現(及び他の以前のユーザインタフェースの他の表現)を表示し、個別の入力に応じて表現(単数又は複数)の表示を更新する。表現の表示を更新することは、任意選択的に、表現のサイズ、色、位置、不透明度、半透明性、又は他の視覚特性を更新することのうちの1つ以上を含む。
第1の個別のユーザインタフェースの表現及び第2の個別のユーザインタフェースの表現を階層的配置で表示する上述の方法は、ユーザインタフェース間をナビゲートする効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、図13Aの第1の個別のユーザインタフェースの表現及び図13Bの第2の個別のユーザインタフェースの表現を階層的配置で表示している間に、電子デバイス(例えば、101)は、アイトラッキングデバイスを介して、第1の個別のユーザインタフェースの表現に向けられた視線を含む第2の個別の入力を検出する(1418d)。いくつかの実施形態では、視線は、所定の閾値期間(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)の間検出される。いくつかの実施形態では、第2の個別の入力を検出したことに応じて(例えば、所定の閾値期間(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)の間、視線が維持されているという判定に従って)、電子デバイス(例えば、101)は、第2の個別のユーザインタフェースの表示を中止し(1418e)、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、図13Aの第1の個別のユーザインタフェースを表示する(1418e)。いくつかの実施形態では、ユーザの視線が(例えば、所定の期間の間)追加のユーザインタフェースの追加の表現に向けられているという判定に従って、電子デバイスは、第2の個別のユーザインタフェースの表示を中止し、個別のユーザインタフェースを表示する。いくつかの実施形態では、第2の個別の入力を検出する前に、第1の個別のユーザインタフェースのコンテンツは非表示にされ、第1の個別のユーザインタフェースの表現は、第2の個別のユーザインタフェースのフレーム(例えば、第2の個別のユーザインタフェースが表示されるフレームと同様)であり、第2の個別の入力を検出したことに応じて、電子デバイスは、第1の個別のユーザインタフェースのコンテンツを(例えば、フレームと共に、又はフレームなしで)表示する。いくつかの実施形態では、電子デバイスは、第1の個別のユーザインタフェースの表現へのユーザの視線による非視線入力を検出したことに応じて、所定の閾値期間よりも短い時間で第1の個別のユーザインタフェースに戻るようにナビゲートする。
第1のユーザインタフェースの表現へのユーザの視線の検出に応じて第1の個別のユーザインタフェースにナビゲートする上述の方法は、ユーザインタフェース間をナビゲートする効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図13Aなどのいくつかの実施形態では、第1の個別のユーザインタフェースは、個別のユーザインタフェース要素(例えば、1308)を含む(1420a)。図13Aなどのいくつかの実施形態では、第1の個別のユーザインタフェースを表示している間に、電子デバイス(例えば、101)は、アイトラッキングデバイスを介して、第1の個別のユーザインタフェースに表示された個別のユーザインタフェース要素(例えば、1308)(例えば、第3の個別のユーザインタフェースに関連付けられたユーザインタフェース要素)に向けられた電子デバイスのユーザの視線(例えば、1302a)を検出する(1420b)。いくつかの実施形態では、図13Aの個別のユーザインタフェース要素(例えば、1308)に向けられたユーザの視線(例えば、1302a)を検出している間、及びユーザの視線(例えば、1302a)が時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)よりも長く個別のユーザインタフェース要素に向けられる前に、電子デバイス(例えば、101)は、第1の個別のユーザインタフェースのコンテンツの表示を徐々に不明瞭にする(1420c)(例えば、経時的に、ユーザの視線が個別のユーザインタフェース要素に維持されるにつれてなど)。いくつかの実施形態では、電子デバイスは、ユーザによって(例えば、ユーザの手で、ユーザの頭で)実行される動き又はジェスチャに基づいて、第1の個別のユーザインタフェースのコンテンツの表示を徐々に不明瞭にする。いくつかの実施形態では、第1の個別のユーザインタフェースのコンテンツの表示を徐々に不明瞭にすることは、例えば、第1の個別のユーザインタフェースの半透明性を増加させること、第1の個別のユーザインタフェースの輝度を減少させること、第1の個別のユーザインタフェースのサイズを縮小すること、表示生成コンポーネントのフレームの外に移動する第1の個別のユーザインタフェースのアニメーションを表示すること、第1の個別のユーザインタフェースをぼかすことなどによって、第1の個別のユーザインタフェースの表示の中止をアニメーション化することを含む。いくつかの実施形態では、時間閾値(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)よりも長い間、個別のユーザインタフェース要素(例えば、1308)に向けられたユーザの視線(例えば、1302a)を検出したことに応じて、電子デバイス(例えば、101)は、図13Aのように、第1の個別のユーザインタフェースのコンテンツの表示を中止し(1420d)、電子デバイス(例えば、101)は、表示生成コンポーネントを介して、図13Cのように、第2の没入度で第3の個別のユーザインタフェースを表示する(1420d)。いくつかの実施形態では、電子デバイスは、個別のユーザインタフェース要素に向けられたユーザからの継続した視線を検出したことに応じて、第3の個別のユーザインタフェースを徐々に表示する。いくつかの実施形態では、電子デバイスは、第3の個別のユーザインタフェースの半透明性を減少させること、第3の個別のユーザインタフェースの輝度を増加させること、第3の個別のユーザインタフェースのサイズを増加させること、表示生成コンポーネントのフレーム内に移動する第3の個別のユーザインタフェースのアニメーションを表示することなどによって、第3の個別のユーザインタフェースの表示の開始をアニメーション化する。いくつかの例では、電子デバイスは、視線入力のみを検出したことに応じて、あるユーザインタフェースから別のユーザインタフェースにナビゲートし、没入度を増加させる。
第3の個別のユーザインタフェースを表示する前に第1の個別のユーザインタフェースを徐々に不明瞭にする上述の方法は、個別のユーザインタフェース要素を見続けることによって電子デバイスが第1の個別のユーザインタフェースから離れるようにナビゲートすることになることをユーザに示す効率的な方法を提供し、それにより、ユーザが誤って第1の個別のユーザインタフェースから離れるようにナビゲートすることを回避し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
図13A~図13Bなどのいくつかの実施形態では、図13Aの第1の個別のユーザインタフェースから図13Bの第2の個別のユーザインタフェースにナビゲートする要求に対応する入力は、ユーザの手(例えば、1304b)によって実行される個別のジェスチャ(例えば、ユーザが親指で親指の手の他の指(例えば、人差し指、中指、薬指、小指)のうちの1つに触れる)と、それに続く、電子デバイス(1422a)と通信している手追跡(例えば、1つ以上のカメラ、深度センサ、近接センサ、タッチセンサ)デバイスによって検出された、手によって実行される個別のジェスチャを維持しながらの個別の方向への手(例えば、1304b)の動きとを含む。いくつかの実施形態では、電子デバイスは、第2の個別のユーザインタフェースに関連付けられた個別のユーザインタフェース要素を第1のユーザインタフェースの縁部に表示し、個別の方向は、個別のユーザインタフェース要素が表示される第1のユーザインタフェースの縁部から離れる方向である。例えば、個別のユーザインタフェース要素は、第1のユーザインタフェースの下部に沿って表示され、個別の方向は、第2の個別のユーザインタフェースを引き上げる(例えば、第1の個別のユーザインタフェース上にオーバーレイされて表示される)ために上である。いくつかの実施形態では、電子デバイスは、方法800の1つ以上のステップに従って、視線入力(例えば、所定の閾値(例えば、0.1、0.2、0.3、0.4、0.5、1秒など)の間の第1の個別のユーザインタフェースへのユーザの視線)のみを検出したことに応じて、又は視線入力及び非視線入力(例えば、ハンドトラッキングデバイスを介して検出された選択入力)を検出したことに応じて、第1の個別のユーザインタフェースに戻るようにナビゲートする。
個別のジェスチャに応じて第2の個別のユーザインタフェースにナビゲートする上述の方法は、第2の個別のユーザインタフェースに誤ってナビゲートすることを回避する効率的な方法を提供し、これは、ユーザと電子デバイスとの間の相互作用を単純化し、電子デバイスの操作性を向上させ、ユーザ-デバイスインタフェースをより効率的にし、これは更に、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、電子デバイスのバッテリ寿命を改善する一方で、使用時のエラーを低減する。
いくつかの実施形態では、方法800、1000、1200、及び1400の態様/動作は、これらの方法の間で交換、置換、及び/又は追加され得る。簡潔にするために、それらの詳細はここでは繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。

Claims (96)

  1. 方法であって、
    表示生成コンポーネントとアイトラッキングデバイスを含む1つ以上の入力デバイスと通信する電子デバイスにおいて、
    前記表示生成コンポーネントを介して、第2のユーザインタフェースに関連付けられた個別のユーザインタフェース要素を含む第1のユーザインタフェースを表示することと、
    前記第1のユーザインタフェースを表示している間に、前記アイトラッキングデバイスを介して、ユーザの視線が前記個別のユーザインタフェース要素に向けられていることを検出することと、
    前記個別のユーザインタフェース要素に向けられた前記ユーザの前記視線を含む入力を検出したことに応じて、
    前記ユーザの前記視線が時間閾値よりも長い間、前記個別のユーザインタフェース要素に向けられ続けているという判定に従って、前記第2のユーザインタフェースにナビゲートすることと、
    前記ユーザの前記視線が前記時間閾値よりも短い間、前記個別のユーザインタフェース要素に向けられたときに前記1つ以上の入力デバイスを介して選択入力が検出されたという判定に従って、前記視線が前記時間閾値よりも長い間、前記個別のユーザインタフェース要素に向けられ続けるのを待つことなく、前記第2のユーザインタフェースにナビゲートすることと、を含む、方法。
  2. 前記選択入力は、前記電子デバイスと通信しているハンドトラッキングデバイスによって検出される、前記ユーザの手によって実行される個別のジェスチャを含む、請求項1に記載の方法。
  3. 前記個別のユーザインタフェース要素は第1のサイズで表示され、前記第2のユーザインタフェースにナビゲートすることは、前記第1のサイズよりも大きい第2のサイズで前記第2のユーザインタフェースを表示することを含む、請求項1又は2に記載の方法。
  4. 前記個別のユーザインタフェース要素に向けられた前記ユーザの前記視線を含む前記入力を検出する前に、前記個別のユーザインタフェース要素は、第1の値を有する視覚特性で背景上に表示され、前記第2のユーザインタフェースにナビゲートすることは、前記第1の値とは異なる第2の値を有する前記視覚特性で前記第2のユーザインタフェースを前記背景上に表示することを含む、請求項1~3のいずれか一項に記載の方法。
  5. 前記第2のユーザインタフェースにナビゲートすることは、前記表示生成コンポーネントを介して表示される1つ以上の他の表現に影響を与える照明効果を用いて前記第2のユーザインタフェースを表示することを含む、請求項1~4のいずれか一項に記載の方法。
  6. 前記ユーザの前記視線が前記個別のユーザインタフェース要素に向けられている間、及び前記ユーザの前記視線が前記時間閾値よりも長い間、前記個別のユーザインタフェース要素に向けられる前、及び前記第2のユーザインタフェースにナビゲートする前に、前記アイトラッキングデバイスを介して、前記ユーザの前記視線がもはや前記個別のユーザインタフェース要素に向けられていないことを検出することと、
    前記ユーザの前記視線がもはや前記個別のユーザインタフェース要素に向けられていないことを検出したことに応じて、前記第2のユーザインタフェースにナビゲートすることを取り止めることと、
    を更に含む、請求項1~5のいずれか一項に記載の方法。
  7. 前記ユーザの前記視線が前記個別のユーザインタフェース要素に向けられている間、及び前記ユーザの前記視線が前記時間閾値よりも長い間、前記個別のユーザインタフェース要素に向けられる前、及び前記第2のユーザインタフェースにナビゲートする前に、前記表示生成コンポーネントを介して、前記個別のユーザインタフェース要素に向けられた継続的な視線が前記第2のユーザインタフェースへのナビゲーションを引き起こすという視覚表示を表示すること、
    を更に含む、請求項1~6のいずれか一項に記載の方法。
  8. 前記視覚表示は、前記第2のユーザインタフェースに拡張する前記個別のユーザインタフェース要素のアニメーションを含む、請求項7に記載の方法。
  9. 前記視覚表示を表示することは、前記第2のユーザインタフェースのコンテンツのアニメーションを開始することを含む、請求項7又は8に記載の方法。
  10. 前記第1のユーザインタフェースは、前記個別のユーザインタフェース要素が表示される背景を含み、前記視覚表示は、前記背景の表示を不明瞭にすることを含む、請求項7~9のいずれか一項に記載の方法。
  11. 前記第2のユーザインタフェースにナビゲートすることは、前記第1のユーザインタフェースと前記第2のユーザインタフェースとの間の相対的なシミュレートされた深度を変更することを含む、請求項1~10のいずれか一項に記載の方法。
  12. 前記個別のユーザインタフェース要素に向けられた前記入力を検出する前に、前記第1のユーザインタフェースは、第1の値を有する視覚特性で表示され、
    前記第2のユーザインタフェースにナビゲートした後、前記第2のユーザインタフェースは、前記第1の値とは異なる第2の値を有する前記視覚特性で表示された前記第1のユーザインタフェースの上に表示され、
    前記第1のユーザインタフェースは、第3のユーザインタフェースに関連付けられた第2の個別のユーザインタフェース要素を含み、前記方法は、
    前記第2の値を有する前記視覚特性で表示された前記第1のユーザインタフェース上に前記第2のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、前記第2のユーザインタフェースから前記第3のユーザインタフェースにナビゲートする入力を受信することと、
    前記第2のユーザインタフェースから前記第3のユーザインタフェースにナビゲートする前記入力を受信したことに応じて、前記第2の値を有する前記視覚特性で前記第1のユーザインタフェースの表示を維持しながら、前記第1のユーザインタフェース上への前記第2のユーザインタフェースの表示を中止し、前記第1のユーザインタフェース上に前記第3のユーザインタフェースを表示することと、を更に含む、
    請求項1~11のいずれか一項に記載の方法。
  13. 前記ユーザの前記視線が前記個別のユーザインタフェース要素に向けられていることを検出したことに応じて、前記第2のユーザインタフェースへのナビゲートに対応するアニメーションを開始することと、
    前記個別のユーザインタフェース要素に向けられた前記ユーザの前記視線を含む前記入力を検出したことに応じて、
    前記ユーザの前記視線が前記時間閾値よりも長い間、前記個別のユーザインタフェース要素に向けられ続けているという前記判定に従って、前記時間閾値にわたって、前記第2のユーザインタフェースへのナビゲート及び前記第2のユーザインタフェースへのナビゲートに対応する前記アニメーションを完了することと、
    前記ユーザの前記視線が前記時間閾値よりも短い間、前記個別のユーザインタフェース要素に向けられたときに前記1つ以上の入力デバイスを介して前記選択入力が検出されたという前記判定に従って、前記時間閾値にわたって、前記第2のユーザインタフェースへのナビゲートに対応する前記アニメーションを完了することなく、前記第2のユーザインタフェースにナビゲートすることと、
    を更に含む、請求項1~12のいずれか一項に記載の方法。
  14. 1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備える、電子デバイスであって、前記1つ以上のプログラムは前記メモリに記憶され、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムは、
    前記表示生成コンポーネントを介して、第2のユーザインタフェースに関連付けられた個別のユーザインタフェース要素を含む第1のユーザインタフェースを表示し、
    前記第1のユーザインタフェースを表示している間に、前記アイトラッキングデバイスを介して、ユーザの視線が前記個別のユーザインタフェース要素に向けられていることを検出し、
    前記個別のユーザインタフェース要素に向けられた前記ユーザの前記視線を含む入力を検出したことに応じて、
    前記ユーザの前記視線が時間閾値よりも長い間、前記個別のユーザインタフェース要素に向けられ続けているという判定に従って、前記第2のユーザインタフェースにナビゲートし、
    前記ユーザの前記視線が前記時間閾値よりも短い間、前記個別のユーザインタフェース要素に向けられたときに前記1つ以上の入力デバイスを介して選択入力が検出されたという判定に従って、前記視線が前記時間閾値よりも長い間、前記個別のユーザインタフェース要素に向けられ続けるのを待つことなく、前記第2のユーザインタフェースにナビゲートする、命令を含む、電子デバイス。
  15. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが命令を含み、前記命令は、電子デバイスの1つ以上のプロセッサによって実行されると、前記電子デバイスに、
    前記表示生成コンポーネントを介して、第2のユーザインタフェースに関連付けられた個別のユーザインタフェース要素を含む第1のユーザインタフェースを表示させ、
    前記第1のユーザインタフェースを表示している間に、前記アイトラッキングデバイスを介して、ユーザの視線が前記個別のユーザインタフェース要素に向けられていることを検出させ、
    前記個別のユーザインタフェース要素に向けられた前記ユーザの前記視線を含む入力を検出したことに応じて:
    前記ユーザの前記視線が時間閾値よりも長い間、前記個別のユーザインタフェース要素に向けられ続けているという判定に従って、前記第2のユーザインタフェースにナビゲートさせ、
    前記ユーザの前記視線が前記時間閾値よりも短い間、前記個別のユーザインタフェース要素に向けられたときに前記1つ以上の入力デバイスを介して選択入力が検出されたという判定に従って、前記視線が前記時間閾値よりも長い間、前記個別のユーザインタフェース要素に向けられ続けるのを待つことなく、前記第2のユーザインタフェースにナビゲートさせる、非一時的コンピュータ可読記憶媒体。
  16. 1つ以上のプロセッサと、
    メモリと、
    前記表示生成コンポーネントを介して、第2のユーザインタフェースに関連付けられた個別のユーザインタフェース要素を含む第1のユーザインタフェースを表示するための手段と、
    前記第1のユーザインタフェースを表示している間に、前記アイトラッキングデバイスを介して、ユーザの視線が前記個別のユーザインタフェース要素に向けられていることを検出するための手段と、
    前記個別のユーザインタフェース要素に向けられた前記ユーザの前記視線を含む入力を検出したことに応じて、
    前記ユーザの前記視線が時間閾値よりも長い間、前記個別のユーザインタフェース要素に向けられ続けているという判定に従って、前記第2のユーザインタフェースにナビゲートするための手段と、
    前記ユーザの前記視線が前記時間閾値よりも短い間、前記個別のユーザインタフェース要素に向けられたときに前記1つ以上の入力デバイスを介して選択入力が検出されたという判定に従って、前記視線が前記時間閾値よりも長い間、前記個別のユーザインタフェース要素に向けられ続けるのを待つことなく、前記第2のユーザインタフェースにナビゲートするための手段と、
    を含む、電子デバイス。
  17. 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
    前記表示生成コンポーネントを介して、第2のユーザインタフェースに関連付けられた個別のユーザインタフェース要素を含む第1のユーザインタフェースを表示するための手段と、
    前記第1のユーザインタフェースを表示している間に、前記アイトラッキングデバイスを介して、ユーザの視線が前記個別のユーザインタフェース要素に向けられていることを検出するための手段と、
    前記個別のユーザインタフェース要素に向けられた前記ユーザの前記視線を含む入力を検出したことに応じて、
    前記ユーザの前記視線が時間閾値よりも長い間、前記個別のユーザインタフェース要素に向けられ続けているという判定に従って、前記第2のユーザインタフェースにナビゲートするための手段と、
    前記ユーザの前記視線が前記時間閾値よりも短い間、前記個別のユーザインタフェース要素に向けられたときに前記1つ以上の入力デバイスを介して選択入力が検出されたという判定に従って、前記視線が前記時間閾値よりも長い間、前記個別のユーザインタフェース要素に向けられ続けるのを待つことなく、前記第2のユーザインタフェースにナビゲートするための手段と、を含む、情報処理装置。
  18. 1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備え、前記1つ以上のプログラムが、前記メモリに記憶され、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、請求項1~13のいずれか一項に記載の方法のいずれか1つを実行する、命令を含む、
    電子デバイス。
  19. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの1つ以上のプロセッサによって実行されると、前記電子デバイスに、請求項1~13のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
  20. 1つ以上のプロセッサと、
    メモリと、
    請求項1~13のいずれか一項に記載の方法を実行する手段と、
    を備える、電子デバイス。
  21. 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
    請求項1~13のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。
  22. 方法であって、
    表示生成コンポーネント及びアイトラッキングデバイスと通信する電子デバイスにおいて、
    前記表示生成コンポーネントを介して、ユーザインタフェースであって、
    第1の外観で表示される、第1の動作を実行するために選択可能な第1の制御要素と、
    第1の値を有する個別の視覚特性で表示される個別のユーザインタフェース要素の個別の部分を含む個別のユーザインタフェース要素と、を含む、ユーザインタフェースを表示することと、
    前記ユーザインタフェースを表示している間に、前記アイトラッキングデバイスを介して、ユーザの視線が前記第1の制御要素に向けられていることを検出することと、
    前記ユーザの前記視線が前記第1の制御要素に向けられていることを検出したことに応じて、
    前記第2の外観を有する前記第1の制御要素の個別の部分が、前記個別のユーザインタフェース要素の前記個別の部分の一部にオーバーレイされて表示されるように、前記第1の外観とは異なる第2の外観を有するように前記第1の制御要素を更新することと、
    前記第1の値とは異なる第2の値を有する前記個別の視覚特性で前記個別のユーザインタフェース要素の前記個別の部分を表示することと、を含む、方法。
  23. 前記個別のユーザインタフェース要素は、第2の個別の部分を含み、
    前記ユーザの前記視線が前記第1の制御要素に向けられていることを検出する前に、前記第2の個別の部分は、前記第1の値を有する前記個別の視覚特性で表示され、
    前記ユーザの前記視線が前記第1の制御要素に向けられていることを検出したことに応じて、前記個別のユーザインタフェース要素の前記第2の個別の部分は、前記第1の値を有する前記個別の視覚特性で表示され続ける、
    請求項22に記載の方法。
  24. 個別のユーザインタフェース要素は、前記個別の部分と前記第2の個別の部分との間に第3の個別の部分を含み、
    前記ユーザの前記視線が前記第1の制御要素に向けられていることを検出する前に、前記第3の個別の部分は、前記第1の値を有する前記個別の視覚特性で表示され、
    前記ユーザの前記視線が前記第1の制御要素に向けられていることを検出したことに応じて、前記個別のユーザインタフェース要素の前記第3の個別の部分は、前記第1の値と前記第2の値との間の第3の値を有する前記個別の視覚特性で表示される、請求項23に記載の方法。
  25. 前記第2の外観を有するように前記第1の制御要素を更新することは、前記第1の制御要素に関連付けられたテキスト記述を表示することを含み、前記第1の制御要素に関連付けられた前記テキスト記述は、前記ユーザの前記視線が前記第1の制御要素に向けられたことを検出する前には表示されなかった、請求項22~24のいずれか一項に記載の方法。
  26. 前記第1の制御要素に向けられた前記ユーザの前記視線が検出されると、前記第1の制御要素及び前記個別のユーザインタフェース要素は、前記第2の値を有する前記個別の視覚特性で表示された第3のユーザインタフェース上に表示される、請求項22~25のいずれか一項に記載の方法。
  27. 前記表示生成コンポーネントを介して、第1の個別の制御要素及び第2の個別の制御要素を含む第2のユーザインタフェースであって、前記第2のユーザインタフェースの一部は、前記第1の値を有する前記個別の視覚特性で表示される、第2のユーザインタフェースを表示することと、
    前記第2のユーザインタフェースを表示している間に、前記アイトラッキングデバイスを介して、前記ユーザの前記視線が前記第1の個別の制御要素に向けられていることを検出することと、
    前記ユーザの前記視線が前記第1の個別の制御要素に向けられていることを検出したことに応じて、前記第2の個別の制御要素に対して前記第1の個別の制御要素を視覚的に強調することと、
    前記ユーザの前記視線が前記第1の個別の制御要素に向けられている間、及び前記第1の個別の制御要素が前記第2の個別の制御要素に対して視覚的に強調されている間に、前記電子デバイスと通信しているハンドトラッキングデバイスを介して、前記ユーザの前記手によって実行される個別のジェスチャを検出することと、
    前記ユーザの前記手によって実行された前記個別のジェスチャを検出したことに応じて、
    前記個別のジェスチャが、前記第1の個別の制御要素に関連付けられた1つ以上の選択可能オプションを表示する要求に対応するという判定に従って、前記表示生成コンポーネントを介して、前記第2の値を有する前記個別の視覚特性で表示される前記第2のユーザインタフェースの前記部分にオーバーレイされた前記第1の個別の制御要素に関連付けられた前記1つ以上の選択可能オプションを表示することと、
    を更に含む、請求項22~26のいずれか一項に記載の方法。
  28. 前記第1の制御要素は、アプリケーションの異なるユーザインタフェースを表示するために選択可能な複数の制御要素のうちの1つの制御要素であり、
    前記個別のユーザインタフェースは、前記アプリケーションのユーザインタフェースである、
    請求項22~27のいずれか一項に記載の方法。
  29. 前記ユーザの前記視線が前記第1の制御要素に向けられていることを検出する前に、前記第1の制御要素は、前記個別のユーザインタフェースに対して3次元環境の第1の深度で表示され、
    前記ユーザの前記視線が前記第1の制御要素に向けられていることを検出したことに応じて、前記第1の制御要素は、前記個別のユーザインタフェースに対して前記3次元環境の前記第1の深度とは異なる第2の深度で表示される、
    請求項22~28のいずれか一項に記載の方法。
  30. 前記ユーザの前記視線が前記第1の制御要素に向けられている間に、前記電子デバイスと通信しているハンドトラッキングデバイスを介して、選択入力の第1の部分を検出することと、
    前記選択入力の前記第1の部分を検出した後、前記ハンドトラッキングデバイスを介して、前記選択入力の第2の部分を検出することと、
    前記選択入力の前記第2の部分を検出したことに応じて:
    前記選択入力の前記第2の部分が検出されたときに前記ユーザの前記視線がもはや前記第1の制御要素に向けられていないという判定に従って、前記第1の制御要素に関連付けられた動作を開始することと、
    を更に含む、請求項22~29のいずれか一項に記載の方法。
  31. 前記個別のユーザインタフェース要素は、第1の選択可能オブジェクト及び第2の個別の部分を含み、前記第2の個別の部分は、前記第1の値を有する前記個別の視覚特性で表示され、前記方法は、
    前記第1の選択可能オブジェクトを含む前記個別のユーザインタフェース要素を表示している間に、前記第1の選択可能オブジェクトの選択を検出することと、
    前記第1の選択可能オブジェクトの前記選択を検出したことに応じて:
    前記第1の値とは異なる前記第2の値を有する前記個別の視覚特性で表示される前記個別のユーザインタフェース要素の前記第2の個別の部分上にオーバーレイされた前記第1の選択可能オブジェクトの表現を表示することと、を更に含む、請求項22~30のいずれか一項に記載の方法。
  32. 前記個別のユーザインタフェース要素は、前記第2の個別の部分を取り囲む第3の個別の部分を含み、
    前記第1の選択可能オブジェクトの前記選択を検出したことに応じて、前記個別のユーザインタフェース要素の前記第2の個別の部分は、前記第2の値を有する前記個別の視覚特性で表示され、前記個別のユーザインタフェース要素の前記第3の個別の部分は、前記第1の値と前記第2の値との間の第3の値を有する前記個別の視覚特性で表示される、
    請求項31に記載の方法。
  33. 前記個別のユーザインタフェース要素は、複数のカテゴリに対応する第1の複数の表現と、前記複数のカテゴリのサブカテゴリに対応する第2の複数の表現とを含み、前記方法は、
    前記個別のユーザインタフェース要素を表示している間に、1つ以上の入力デバイスを介して、スクロール入力を受信することと、
    前記スクロール入力を受信することに応じて、
    前記スクロール入力が前記第1の複数の表現に向けられているという判定に従って、前記スクロール入力に従って前記第1の複数の表現を第1の速度でスクロールし、前記第2の複数の表現を第2の速度でスクロールすることと、
    前記スクロール入力が前記第2の複数の表現に向けられているという判定に従って、前記スクロール入力に従って、前記第2の複数の表現を前記第2の速度とは異なる第3の速度でスクロールすることと、を更に含む、請求項22~32のいずれか一項に記載の方法。
  34. 前記個別のユーザインタフェース要素は、複数のカテゴリに対応する第1の複数の表現を含み、
    第2の複数の表現は、前記複数のカテゴリのサブカテゴリに対応し、
    前記第2の複数の表現は、前記第1の複数の表現の上にオーバーレイされる、
    請求項22~33のいずれか一項に記載の方法。
  35. 1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備える、電子デバイスであって、前記1つ以上のプログラムは前記メモリに記憶され、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムは、
    前記表示生成コンポーネントを介して、ユーザインタフェースであって、
    第1の外観で表示される、第1の動作を実行するために選択可能な第1の制御要素と、
    第1の値を有する個別の視覚特性で表示される個別のユーザインタフェース要素の個別の部分を含む個別のユーザインタフェース要素と、を含む、ユーザインタフェースを表示し、
    前記ユーザインタフェースを表示している間に、前記アイトラッキングデバイスを介して、ユーザの視線が前記第1の制御要素に向けられていることを検出し、
    前記ユーザの前記視線が前記第1の制御要素に向けられていることを検出したことに応じて、
    前記第2の外観を有する前記第1の制御要素の個別の部分が、前記個別のユーザインタフェース要素の前記個別の部分の一部にオーバーレイされて表示されるように、前記第1の外観とは異なる第2の外観を有するように前記第1の制御要素を更新し、
    前記第1の値とは異なる第2の値を有する前記個別の視覚特性で前記個別のユーザインタフェース要素の前記個別の部分を表示する、命令を含む、電子デバイス。
  36. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが命令を含み、前記命令は、電子デバイスの1つ以上のプロセッサによって実行されると、前記電子デバイスに、
    前記表示生成コンポーネントを介して、ユーザインタフェースであって、
    第1の外観で表示される、第1の動作を実行するために選択可能な第1の制御要素と、
    第1の値を有する個別の視覚特性で表示される個別のユーザインタフェース要素の個別の部分を含む個別のユーザインタフェース要素と、を含む、ユーザインタフェースを表示させ、
    前記ユーザインタフェースを表示している間に、前記アイトラッキングデバイスを介して、ユーザの視線が前記第1の制御要素に向けられていることを検出させ、
    前記ユーザの前記視線が前記第1の制御要素に向けられていることを検出したことに応じて、
    前記第2の外観を有する前記第1の制御要素の個別の部分が、前記個別のユーザインタフェース要素の前記個別の部分の一部にオーバーレイされて表示されるように、前記第1の外観とは異なる第2の外観を有するように第1の制御要素を更新させ、
    前記第1の値とは異なる第2の値を有する前記個別の視覚特性で前記個別のユーザインタフェース要素の前記個別の部分を表示させる、非一時的コンピュータ可読記憶媒体。
  37. 1つ以上のプロセッサと、
    メモリと、
    前記表示生成コンポーネントを介して、ユーザインタフェースであって、
    第1の外観で表示される、第1の動作を実行するために選択可能な第1の制御要素と、
    第1の値を有する個別の視覚特性で表示される個別のユーザインタフェース要素の個別の部分を含む個別のユーザインタフェース要素と、を含む、ユーザインタフェースを表示するための手段と、
    前記ユーザインタフェースを表示している間に、前記アイトラッキングデバイスを介して、ユーザの視線が前記第1の制御要素に向けられていることを検出するための手段と、
    前記ユーザの前記視線が前記第1の制御要素に向けられていることを検出したことに応じて、
    前記第2の外観を有する前記第1の制御要素の個別の部分が、前記個別のユーザインタフェース要素の前記個別の部分の一部にオーバーレイされて表示されるように、前記第1の外観とは異なる第2の外観を有するように前記第1の制御要素を更新するための手段と、
    前記第1の値とは異なる第2の値を有する前記個別の視覚特性で前記個別のユーザインタフェース要素の前記個別の部分を表示するための手段と、
    を含む、電子デバイス。
  38. 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
    前記表示生成コンポーネントを介して、ユーザインタフェースであって、
    第1の外観で表示される、第1の動作を実行するために選択可能な第1の制御要素と、
    第1の値を有する個別の視覚特性で表示される個別のユーザインタフェース要素の個別の部分を含む個別のユーザインタフェース要素と、を含む、ユーザインタフェースを表示するための手段と、
    前記ユーザインタフェースを表示している間に、前記アイトラッキングデバイスを介して、ユーザの視線が前記第1の制御要素に向けられていることを検出するための手段と、
    前記ユーザの前記視線が前記第1の制御要素に向けられていることを検出したことに応じて、
    前記第2の外観を有する前記第1の制御要素の個別の部分が、前記個別のユーザインタフェース要素の前記個別の部分の一部にオーバーレイされて表示されるように、前記第1の外観とは異なる第2の外観を有するように前記第1の制御要素を更新するための手段と、
    前記第1の値とは異なる第2の値を有する前記個別の視覚特性で前記個別のユーザインタフェース要素の前記個別の部分を表示するための手段と、を含む、情報処理装置。
  39. 1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備え、前記1つ以上のプログラムが、前記メモリに記憶され、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、請求項22~34のいずれか一項に記載の方法のいずれか1つを実行する、命令を含む、
    電子デバイス。
  40. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの1つ以上のプロセッサによって実行されると、前記電子デバイスに、請求項22~34のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
  41. 1つ以上のプロセッサと、
    メモリと、
    請求項22~34のいずれか一項に記載の方法を実行する手段と、
    を備える、電子デバイス。
  42. 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
    請求項22~34のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。
  43. 方法であって、
    表示生成コンポーネントとアイトラッキングデバイスを含む1つ以上の入力デバイスと通信する電子デバイスにおいて、
    前記表示生成コンポーネントを介して、ユーザインタフェースであって、
    複数のカテゴリのうちの第1のカテゴリの第1の表現と、
    前記第1のカテゴリの第1の複数のサブカテゴリのうちの第1のサブカテゴリの第1の個別の表現と、を含む、ユーザインタフェースを表示することと、
    前記ユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、スクロール入力を検出することと、
    前記スクロール入力を受信することに応じて、
    前記スクロール入力が検出されたときに、ユーザの視線が前記第1のカテゴリの前記第1の表現に向けられたという判定に従って、
    前記複数のカテゴリのうちの第2のカテゴリの第2の表現にナビゲートすることと、
    前記第2のカテゴリの第2の複数のサブカテゴリのうちの第1のサブカテゴリの第1の個別の表現を前記ユーザインタフェースに表示することと、
    前記スクロール入力が検出されたときに、前記ユーザの前記視線が前記第1のサブカテゴリの前記第1の個別の表現に向けられたという判定に従って、
    前記第2のカテゴリの前記第2の表現にナビゲートすることなく、前記第1の複数のサブカテゴリのうちの第2のサブカテゴリの第2の個別の表現にナビゲートすることと、を更に含む、方法。
  44. 前記第1のカテゴリの前記第1の表現及び前記第1のサブカテゴリの前記第1の個別の表現を表示している間に、前記第1のカテゴリの前記第1の表現が前記第1のサブカテゴリの前記第1の個別の表現に対して第1の深度で表示され、前記1つ以上の入力デバイスを介して、前記第1のサブカテゴリの前記第1の個別の表現を選択する入力を検出することと、
    前記第1のサブカテゴリの前記第1の個別の表現を選択する前記入力を検出したことに応じて、前記表示生成コンポーネントを介して、前記第1のサブカテゴリの前記第1の個別の表現であって、前記第2のユーザインタフェースに対して、前記第1の深度よりも深い第2の深度で表示される、前記第1のカテゴリの前記第1の個別の表現に関連付けられた第2のユーザインタフェースを表示することと、
    を更に含む、請求項43に記載の方法。
  45. 前記第1のカテゴリの前記第1の表現は、前記第1のカテゴリに対応するカードを含み、前記第2のカテゴリの前記第2の表現は、前記第2のカテゴリに対応するカードを含む、請求項43又は44に記載の方法。
  46. 前記第1のカテゴリの前記第1の表現及び前記第2のカテゴリの前記第2の表現を表示している間に、前記1つ以上の入力デバイスを介して、前記第1のカテゴリの前記第1の表現を選択する入力を検出することと、
    前記第1のカテゴリの前記第1の表現を選択する前記入力を検出したことに応じて、
    前記表示生成コンポーネントを介して、前記第1のカテゴリの前記第1の表現に関連付けられた第2のユーザインタフェースを表示することと、
    前記第2のカテゴリの前記第2の表現の表示の強調を解除することと、
    を更に含む、請求項43~45のいずれか一項に記載の方法。
  47. 前記第1のカテゴリの前記第1の表現及び前記第1のサブカテゴリの前記第1の個別の表現を表示している間に、前記1つ以上の入力デバイスを介して、前記第1のカテゴリの前記第1の表現を選択する入力を検出することと、
    前記第1のカテゴリの前記第1の表現を選択する前記入力を検出したことに応じて:
    前記第1のサブカテゴリの前記第1の個別の表現の表示を維持しながら、前記表示生成コンポーネントを介して、前記第1のカテゴリの前記第1の表現に関連付けられた第2のユーザインタフェースを表示することと、
    を更に含む、請求項43~46のいずれか一項に記載の方法。
  48. 前記第1のカテゴリの前記第1の表現を表示している間に、前記1つ以上の入力デバイスを介して、前記第1のカテゴリの前記第1の表現を選択する入力を検出することと、
    前記第1のカテゴリの前記第1の表現を選択する前記入力を検出したことに応じて:
    前記表示生成コンポーネントを介して、前記第1のカテゴリの前記第1の表現に関連付けられた第2のユーザインタフェースであって、前記第1のカテゴリの第2の表現と、前記第1のカテゴリに関連付けられたコンテンツの1つ以上の表現と、を含む、前記第2のユーザインタフェースを表示することと、
    を更に含む、請求項43~47のいずれか一項に記載の方法。
  49. 前記第1のカテゴリの前記第1の表現を選択する前記入力は、前記第1のサブカテゴリの前記第1の個別の表現を表示している間に受信され、前記第2のユーザインタフェースは、前記第1のサブカテゴリの前記第1の個別の表現を含み、前記方法は、
    前記第2のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、前記第1のサブカテゴリの前記第1の個別の表現に向けられた第2のスクロール入力を検出することと、
    前記第2のスクロール入力を検出したことに応じて、前記第1の複数のサブカテゴリのうちの前記第2のサブカテゴリの前記第2の個別の表現にナビゲートすることと、を更に含む、請求項48に記載の方法。
  50. 前記第2のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、前記第1のカテゴリに関連付けられた個別のコンテンツの個別の表現に向けられた個別の入力を検出することと、
    前記それぞれの入力を検出したことに応じて、
    前記個別の入力が、前記アイトラッキングデバイスを介して検出された、1つ以上の第1の基準を満たす視線入力を含むという判定に従って、前記表示生成コンポーネントを介して、前記個別のコンテンツを表示することと、
    前記個別の入力が、前記電子デバイスと通信しているハンドトラッキングデバイスを介して検出された前記ユーザの手からの入力を含み、前記ユーザの前記手からの前記入力が1つ以上の第2の基準を満たすという判定に従って、前記表示生成コンポーネントを介して前記個別のコンテンツを表示することと、前記個別の入力が、前記1つ以上の第1の基準を満たさない、前記アイトラッキングデバイスを介して検出された視線入力を含むという判定に従って、前記表示生成コンポーネントを介して前記個別のコンテンツを表示することを取り止めることと、
    前記個別の入力が、前記ハンドトラッキングデバイスを介して検出された、前記1つ以上の第2の基準を満たさない、前記ユーザの前記手からの入力を含むという判定に従って、前記表示生成コンポーネントを介して前記個別のコンテンツを表示することを取り止めることと、
    を更に含む、請求項48又は49に記載の方法。
  51. 前記第2のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、前記第1のカテゴリに関連付けられた個別のコンテンツの個別の表現を選択する個別の入力を検出することと、
    前記個別の入力を検出したことに応じて、前記表示生成コンポーネントを介して、前記個別のコンテンツを表示することと、
    を更に含む、請求項48~50のいずれか一項に記載の方法。
  52. 第1の値を有する視覚特性を有する環境によって取り囲まれた前記第2のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、前記第1のカテゴリに関連付けられた個別のコンテンツの個別の表現を選択する個別の入力を検出することと、
    前記個別の入力を検出したことに応じて、前記第1の値とは異なる第2の値を有する前記視覚特性を有するように、前記第2のユーザインタフェースを取り囲む前記環境の表示を更新することと、
    を更に含む、請求項48~51のいずれか一項に記載の方法。
  53. 前記第1のサブカテゴリの前記第1の個別の表現及び前記第2のサブカテゴリの前記第2の個別の表現を表示している間に、前記1つ以上の入力デバイスを介して、前記第1のサブカテゴリの前記第1の個別の表現を選択する入力を検出することと、
    前記第1のサブカテゴリの前記第1の個別の表現を選択する前記入力を検出したことに応じて、前記第2のサブカテゴリの前記第2の個別の表現の表示を変更することと、
    を更に含む、請求項43~52のいずれか一項に記載の方法。
  54. 前記第1のサブカテゴリの前記第1の個別の表現を選択する前記入力を検出する前に、前記第2のサブカテゴリの前記第2の個別の表現は、前記ユーザインタフェース内の第1の位置に表示されており、前記第2のサブカテゴリの前記第2の個別の表現の前記表示を変更することは、前記ユーザインタフェース内の前記第1の位置とは異なる第2の位置に、前記第2のサブカテゴリの前記第2の個別の表現を表示することを含む、請求項53に記載の方法。
  55. 前記第1のサブカテゴリの前記第1の個別の表現を選択する前記入力を検出する前に、前記第2のサブカテゴリの前記第2の個別の表現は、前記表示生成コンポーネントを介して表示される前景に表示されており、前記第2のサブカテゴリの前記第2の個別の表現の表示を変更することは、前記表示生成コンポーネントを介して表示される背景に前記第2のサブカテゴリの前記第2の個別の表現を表示することを含む、請求項53又は54に記載の方法。
  56. 前記第2のサブカテゴリの前記第2の個別の表現の表示を変更することは、前記第2のサブカテゴリの前記第2の個別の表現の表示を中止することを含む、請求項53~55のいずれか一項に記載の方法。
  57. 前記複数のカテゴリのうちの前記第2のカテゴリの前記第2の表現にナビゲートすることは、前記複数のカテゴリの表現を第1の速度でスクロールすることと、前記第1の複数のサブカテゴリの表現を第2の速度でスクロールすることとを含み、
    前記第1の複数のサブカテゴリのうちの前記第2のサブカテゴリの前記第2の個別の表現にナビゲートすることは、前記第1の複数のサブカテゴリの前記表現を、前記第2の速度とは異なる第3の速度でスクロールすること、
    を含む、請求項43~56のいずれか一項に記載の方法。
  58. 前記第1の複数のサブカテゴリのうちの前記第1のサブカテゴリの前記第1の個別の表現及び前記第1の複数のサブカテゴリのうちの前記第2のサブカテゴリの前記第2の個別の表現は、前記第1のカテゴリの前記第1の表現及び前記第2のカテゴリの前記第2の表現にオーバーレイされる、請求項43~57のいずれか一項に記載の方法。
  59. 1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備える、電子デバイスであって、前記1つ以上のプログラムは前記メモリに記憶され、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムは、
    前記表示生成コンポーネントを介して、ユーザインタフェースであって、
    複数のカテゴリのうちの第1のカテゴリの第1の表現と、
    前記第1のカテゴリの第1の複数のサブカテゴリのうちの第1のサブカテゴリの第1の個別の表現と、を含む、ユーザインタフェースを表示し、
    前記ユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、スクロール入力を検出し、
    前記スクロール入力を受信することに応じて、
    前記スクロール入力が検出されたときに、ユーザの視線が前記第1のカテゴリの前記第1の表現に向けられたという判定に従って、
    前記複数のカテゴリのうちの第2のカテゴリの第2の表現にナビゲートし、
    前記第2のカテゴリの第2の複数のサブカテゴリのうちの第1のサブカテゴリの第1の個別の表現を前記ユーザインタフェースに表示し、
    前記スクロール入力が検出されたときに、前記ユーザの前記視線が前記第1のサブカテゴリの前記第1の個別の表現に向けられたという判定に従って、
    前記第2のカテゴリの前記第2の表現にナビゲートすることなく、前記第1の複数のサブカテゴリのうちの第2のサブカテゴリの第2の個別の表現にナビゲートする、命令を含む、電子デバイス。
  60. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが命令を含み、前記命令は、電子デバイスの1つ以上のプロセッサによって実行されると、前記電子デバイスに、
    前記表示生成コンポーネントを介して、ユーザインタフェースであって、
    複数のカテゴリのうちの第1のカテゴリの第1の表現と、
    前記第1のカテゴリの第1の複数のサブカテゴリのうちの第1のサブカテゴリの第1の個別の表現と、を含む、ユーザインタフェースを表示させ、
    前記ユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、スクロール入力を検出させ、
    前記スクロール入力を受信することに応じて、
    前記スクロール入力が検出されたときに、ユーザの視線が前記第1のカテゴリの前記第1の表現に向けられたという判定に従って:
    前記複数のカテゴリのうちの第2のカテゴリの第2の表現にナビゲートさせ、
    前記第2のカテゴリの第2の複数のサブカテゴリのうちの第1のサブカテゴリの第1の個別の表現を前記ユーザインタフェースに表示させ、
    前記スクロール入力が検出されたときに、前記ユーザの前記視線が前記第1のサブカテゴリの前記第1の個別の表現に向けられたという判定に従って:
    前記第2のカテゴリの前記第2の表現にナビゲートすることなく、前記第1の複数のサブカテゴリのうちの第2のサブカテゴリの第2の個別の表現にナビゲートさせる、非一時的コンピュータ可読記憶媒体。
  61. 1つ以上のプロセッサと、
    メモリと、
    前記表示生成コンポーネントを介して、ユーザインタフェースであって、
    複数のカテゴリのうちの第1のカテゴリの第1の表現と、
    前記第1のカテゴリの第1の複数のサブカテゴリのうちの第1のサブカテゴリの第1の個別の表現と、を含む、ユーザインタフェースを表示するための手段と、
    前記ユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、スクロール入力を検出するための手段と、
    前記スクロール入力を受信することに応じて、
    前記スクロール入力が検出されたときに、ユーザの視線が前記第1のカテゴリの前記第1の表現に向けられたという判定に従って、
    前記複数のカテゴリのうちの第2のカテゴリの第2の表現にナビゲートするための手段と、
    前記第2のカテゴリの第2の複数のサブカテゴリのうちの第1のサブカテゴリの第1の個別の表現を前記ユーザインタフェースに表示するための手段と、
    前記スクロール入力が検出されたときに、前記ユーザの前記視線が前記第1のサブカテゴリの前記第1の個別の表現に向けられたという判定に従って、
    前記第2のカテゴリの前記第2の表現にナビゲートすることなく、前記第1の複数のサブカテゴリのうちの第2のサブカテゴリの第2の個別の表現にナビゲートするための手段と、
    を含む、電子デバイス。
  62. 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
    前記表示生成コンポーネントを介して、ユーザインタフェースであって、
    複数のカテゴリのうちの第1のカテゴリの第1の表現と、
    前記第1のカテゴリの第1の複数のサブカテゴリのうちの第1のサブカテゴリの第1の個別の表現と、を含む、ユーザインタフェースを表示するための手段と、
    前記ユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、スクロール入力を検出するための手段と、
    前記スクロール入力を受信することに応じて、
    前記スクロール入力が検出されたときに、ユーザの視線が前記第1のカテゴリの前記第1の表現に向けられたという判定に従って、
    前記複数のカテゴリのうちの第2のカテゴリの第2の表現にナビゲートするための手段と、
    前記第2のカテゴリの第2の複数のサブカテゴリのうちの第1のサブカテゴリの第1の個別の表現を前記ユーザインタフェースに表示するための手段と、
    前記スクロール入力が検出されたときに、前記ユーザの前記視線が前記第1のサブカテゴリの前記第1の個別の表現に向けられたという判定に従って、
    前記第2のカテゴリの前記第2の表現にナビゲートすることなく、前記第1の複数のサブカテゴリのうちの第2のサブカテゴリの第2の個別の表現にナビゲートするための手段と、を含む、情報処理装置。
  63. 1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備え、前記1つ以上のプログラムが、前記メモリに記憶され、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、請求項43~58のいずれか一項に記載の方法のいずれか1つを実行する、命令を含む、
    電子デバイス。
  64. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの1つ以上のプロセッサによって実行されると、前記電子デバイスに、請求項43~58のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
  65. 1つ以上のプロセッサと、
    メモリと、
    請求項43~58のいずれか一項に記載の方法を実行する手段と、
    を備える、電子デバイス。
  66. 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
    請求項43~58のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。
  67. 表示生成コンポーネントとアイトラッキングデバイスを含む1つ以上の入力デバイスと通信する電子デバイスにおいて:
    前記表示生成コンポーネントを介して、第1の個別のユーザインタフェースであって、
    前記第1の個別のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、前記第1の個別のユーザインタフェースから第2の個別のユーザインタフェースにナビゲートする要求に対応する入力を受信することと、
    前記第1の個別のユーザインタフェースから前記第2の個別のユーザインタフェースにナビゲートする前記要求に対応する前記入力を受信したことに応じて、前記表示生成コンポーネントを介して、前記第2の個別のユーザインタフェースであって、第1の没入度で表示される、前記第2の個別のユーザインタフェースを表示することと、
    前記第1の没入度で表示される前記第2の個別のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、第1の入力を検出することと、
    前記第1の入力を検出したことに応じて、前記第1の入力が1つ以上の基準の第1のセットを満たすという判定に従って、前記第2の個別のユーザインタフェースの表示を中止し、前記表示生成コンポーネントを介して、前記第1の個別のユーザインタフェースを表示することと、
    前記第2の個別のユーザインタフェースの表示を中止した後に、前記表示生成コンポーネントを介して、前記第1の没入度よりも高い第2の没入度で第3の個別のユーザインタフェースを表示することと、
    前記第2の没入度で前記第3の個別のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、第2の入力を受信することと、
    第2の入力を検出したことに応じて、
    前記第2の入力が1つ以上の基準の前記第1のセットを満たすという判定に従って、前記第3のユーザインタフェースの表示を維持することと、
    前記第2の入力が1つ以上の基準の第2のセットを満たすという判定に従って、前記第3のユーザインタフェースの表示を中止することと、
    を含む、方法。
  68. 1つ以上の基準の前記第1のセットは、非視線ユーザ入力なしに視線ユーザ入力に基づいて満たされ、1つ以上の基準の前記第2のセットは、非視線ユーザ入力を必要とする、請求項67に記載の方法。
  69. 前記第2の個別のユーザインタフェースは、第1のアプリケーションのユーザインタフェースであり、前記方法は、
    前記第1のアプリケーションとは異なる第2のアプリケーションの第4の個別のユーザインタフェースを前記第1の没入度で表示している間に、前記第4の個別のユーザインタフェースは、第5の個別のユーザインタフェースにナビゲートされ、前記1つ以上の入力デバイスを介して、第3の入力を検出することと、
    前記第3の入力を検出したことに応じて、前記第3の入力が1つ以上の基準の前記第1のセットを満たすという判定に従って、前記第4の個別のユーザインタフェースの表示を中止し、前記表示生成コンポーネントを介して、前記第5の個別のユーザインタフェースを表示することと、を更に含む、請求項67又は68に記載の方法。
  70. 前記第2の個別のユーザインタフェースは、第1のアプリケーションのユーザインタフェースであり、前記方法は、
    前記第1のアプリケーションとは異なる第2のアプリケーションの第4の個別のユーザインタフェースを、前記第1の没入度よりも低い第3の没入度で表示している間に、前記第4の個別のユーザインタフェースは、第5の個別のユーザインタフェースからナビゲートされ、前記1つ以上の入力デバイスを介して、第3の入力を検出することと、
    前記第3の入力を検出したことに応じて、前記第3の入力が1つ以上の基準の前記第1のセットを満たすという判定に従って、前記第4の個別のユーザインタフェースの表示を中止し、前記表示生成コンポーネントを介して、前記第5の個別のユーザインタフェースを表示することと、を更に含む、請求項67~69のいずれか一項に記載の方法。
  71. 前記第2の個別のユーザインタフェースは、第1のアプリケーションのユーザインタフェースであり、前記方法は、
    前記第1のアプリケーションとは異なる第2のアプリケーションの第4の個別のユーザインタフェースを、前記第1の没入度よりも高く前記第2の没入度よりも低い第3の没入度で表示している間に、前記第4の個別のユーザインタフェースは、第5の個別のユーザインタフェースにナビゲートされ、前記1つ以上の入力デバイスを介して、第3の入力を検出することと、
    前記第3の入力を検出したことに応じて、前記第3の入力が1つ以上の基準の前記第1のセットを満たすという判定に従って、前記第4の個別のユーザインタフェースの表示を中止し、前記表示生成コンポーネントを介して、前記第5の個別のユーザインタフェースを表示することと、を更に含む、請求項67~70のいずれか一項に記載の方法。
  72. 前記第2の個別のユーザインタフェースは、第1のアプリケーションのユーザインタフェースであり、前記方法は、
    前記第1のアプリケーションとは異なる第2のアプリケーションの第4の個別のユーザインタフェースを前記第2の没入度で表示している間に、前記第4の個別のユーザインタフェースは、第5の個別のユーザインタフェースにナビゲートされ、前記1つ以上の入力デバイスを介して、第3の入力を検出することと、
    第3の入力を検出したことに応じて、
    前記第3の入力が1つ以上の基準の前記第1のセットを満たすという判定に従って、前記第4の個別のユーザインタフェースの表示を維持することと、を更に含む、請求項67~71のいずれか一項に記載の方法。
  73. 前記第3の個別のユーザインタフェースが第1のアプリケーションのユーザインタフェースであるという判定に従って、1つ以上の基準の前記第2のセットは、第1の1つ以上の基準であり、
    前記第3の個別のユーザインタフェースが、前記第1のアプリケーションとは異なる第2のアプリケーションのユーザインタフェースであるという判定に従って、前記1つ以上の基準の第2のセットは、前記第1の1つ以上の基準とは異なる第2の1つ以上の基準である、
    請求項67~71のいずれか一項に記載の方法。
  74. 前記第3の個別のユーザインタフェースは、前記1つ以上の入力デバイスを介して、視線ユーザ入力を含み非視線ユーザ入力を含まない第3の入力を検出したことに応じて表示される、請求項67~73のいずれか一項に記載の方法。
  75. 前記第3の個別のユーザインタフェースは、前記1つ以上の入力デバイスを介して、視線ユーザ入力及び非視線ユーザ入力を含む第3の入力を検出したことに応じて表示される、請求項67~74のいずれか一項に記載の方法。
  76. 前記第1の個別のユーザインタフェースを表示しながら、前記表示生成コンポーネントを介して、個別のユーザインタフェース要素を表示することと、
    前記第2の没入度で前記第3の個別のユーザインタフェースを表示している間に、前記個別のユーザインタフェース要素の表示を不明瞭にすることと、
    を更に含む、請求項67~74のいずれか一項に記載の方法。
  77. 前記第1の個別のユーザインタフェースを表示しながら、前記表示生成コンポーネントを介して、個別のユーザインタフェース要素を表示することと、
    前記第1の没入度で前記第2の個別のユーザインタフェースを表示しながら、前記個別のユーザインタフェース要素の表示を維持することと、
    を更に含む、請求項67~76のいずれか一項に記載の方法。
  78. 前記第3の個別のユーザインタフェースは、健康関連アプリケーションのユーザインタフェースである、請求項67~77のいずれか一項に記載の方法。
  79. 前記第2の個別のユーザインタフェースは、コンテンツ消費アプリケーションのユーザインタフェースである、請求項67~78のいずれか一項に記載の方法。
  80. 前記第3の個別のユーザインタフェースは、前記第1の個別のユーザインタフェースからナビゲートされ、前記第2の没入度で前記第3の個別のユーザインタフェースを表示することは、前記第1の個別のユーザインタフェースの表示を中止することを含む、請求項67~79のいずれか一項に記載の方法。
  81. 前記第1の没入度で前記第2の個別のユーザインタフェースを表示することは、前記第1の個別のユーザインタフェースの少なくとも一部の表示を維持することを含む、請求項67~80のいずれか一項に記載の方法。
  82. 前記第3の個別のユーザインタフェースは、1つ以上の制御要素を含み、前記第2の入力が、前記第3の個別のユーザインタフェースから離れるようにナビゲートするための前記1つ以上の制御要素の個別の制御に向けられるとき、1つ以上の基準の前記第2のセットが満たされる、請求項67~81のいずれか一項に記載の方法。
  83. ユーザの手が、ハンドトラッキングデバイスを介して、第1の位置で検出されたという判定に従って、前記1つ以上の制御要素は、前記第3の個別のユーザインタフェースの第1の個別の位置に表示され、
    前記ユーザの前記手が、前記ハンドトラッキングデバイスを介して、前記第1の位置とは異なる第2の位置で検出されたという判定に従って、前記1つ以上の制御要素は、前記第3の個別のユーザインタフェースの、前記第1の個別の位置とは異なる第2の個別の位置に表示される、
    請求項82に記載の方法。
  84. 前記1つ以上の制御は、前記第3の個別のユーザインタフェースから離れるようにナビゲートすること以外の動作を実行するための第2の個別の制御を含む、請求項82又は83に記載の方法。
  85. 前記第1の没入度で前記第2の個別のユーザインタフェースで表示している間に、前記アイトラッキングデバイスを介して、前記第2の個別のユーザインタフェースの所定の部分に向けられた視線を含む個別の入力を検出することと、
    前記それぞれの入力を検出したことに応じて、
    前記表示生成コンポーネントを介して、前記第1の個別のユーザインタフェースの表現及び前記第2の個別のユーザインタフェースの表現を階層的配置で表示することと、
    を更に含む、請求項67~84のいずれか一項に記載の方法。
  86. 前記第1の個別のユーザインタフェースの前記表現及び前記第2の個別のユーザインタフェースの前記表現を前記階層的配置で表示している間に、前記アイトラッキングデバイスを介して、前記第1の個別のユーザインタフェースの前記表現に向けられた視線を含む第2の個別の入力を検出することと、
    前記第2の個別の入力を検出したことに応じて、前記第2の個別のユーザインタフェースの表示を中止し、前記表示生成コンポーネントを介して、前記第1の個別のユーザインタフェースを表示することと、
    を更に含む、請求項85に記載の方法。
  87. 前記第1の個別のユーザインタフェースは個別のユーザインタフェース要素を含み、前記方法は、
    前記第1の個別のユーザインタフェースを表示している間に、前記アイトラッキングデバイスを介して、前記第1の個別のユーザインタフェースに表示された前記個別のユーザインタフェース要素に向けられた前記電子デバイスのユーザの視線を検出することと、
    前記個別のユーザインタフェース要素に向けられた前記ユーザの前記視線を検出している間、及び前記ユーザの前記視線が時間閾値よりも長く前記個別のユーザインタフェース要素に向けられる前に、前記第1の個別のユーザインタフェースのコンテンツの表示を徐々に不明瞭にすることと、
    前記時間閾値よりも長い間、前記個別のユーザインタフェース要素に向けられた前記ユーザの前記視線を検出したことに応じて、前記第1の個別のユーザインタフェースの前記コンテンツの表示を中止し、前記表示生成コンポーネントを介して、前記第2の没入度で前記第3の個別のユーザインタフェースを表示することと、を更に含む、請求項67~86のいずれか一項に記載の方法。
  88. 前記第1の個別のユーザインタフェースから前記第2の個別のユーザインタフェースにナビゲートする前記要求に対応する前記入力は、前記ユーザの手によって実行される個別のジェスチャと、それに続く、前記電子デバイスと通信しているハンドトラッキングデバイスによって検出された、前記手によって実行される前記個別のジェスチャを維持しながらの個別の方向への前記手の動きとを含む、請求項67~87のいずれか一項に記載の方法。
  89. 1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備える、電子デバイスであって、前記1つ以上のプログラムは前記メモリに記憶され、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムは、
    前記表示生成コンポーネントを介して、第1の個別のユーザインタフェースであって、
    前記第1の個別のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、前記第1の個別のユーザインタフェースから第2の個別のユーザインタフェースにナビゲートする要求に対応する入力を受信し、
    前記第1の個別のユーザインタフェースから前記第2の個別のユーザインタフェースにナビゲートする前記要求に対応する前記入力を受信したことに応じて、前記表示生成コンポーネントを介して、前記第2の個別のユーザインタフェースであって、第1の没入度で表示される、前記第2の個別のユーザインタフェースを表示し、
    前記第1の没入度で表示される前記第2の個別のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、第1の入力を検出し、
    前記第1の入力を検出したことに応じて、前記第1の入力が1つ以上の基準の第1のセットを満たすという判定に従って、前記第2の個別のユーザインタフェースの表示を中止し、前記表示生成コンポーネントを介して、前記第1の個別のユーザインタフェースを表示し、
    前記第2の個別のユーザインタフェースの表示を中止した後に、前記表示生成コンポーネントを介して、前記第1の没入度よりも高い第2の没入度で第3の個別のユーザインタフェースを表示し、
    前記第2の没入度で前記第3の個別のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、第2の入力を受信し、
    第2の入力を検出したことに応じて、
    前記第2の入力が1つ以上の基準の前記第1のセットを満たすという判定に従って、前記第3のユーザインタフェースの表示を維持し、
    前記第2の入力が1つ以上の基準の第2のセットを満たすという判定に従って、前記第3のユーザインタフェースの表示を中止する、命令を含む、電子デバイス。
  90. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが命令を含み、前記命令は、電子デバイスの1つ以上のプロセッサによって実行されると、前記電子デバイスに、
    前記表示生成コンポーネントを介して、第1の個別のユーザインタフェースを表示させ、
    前記第1の個別のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、前記第1の個別のユーザインタフェースから第2の個別のユーザインタフェースにナビゲートする要求に対応する入力を受信させ、
    前記第1の個別のユーザインタフェースから前記第2の個別のユーザインタフェースにナビゲートする前記要求に対応する前記入力を受信したことに応じて、前記表示生成コンポーネントを介して、前記第2の個別のユーザインタフェースであって、第1の没入度で表示される、前記第2の個別のユーザインタフェースを表示させ、
    前記第1の没入度で表示される前記第2の個別のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、第1の入力を検出させ、
    前記第1の入力を検出したことに応じて、前記第1の入力が1つ以上の基準の第1のセットを満たすという判定に従って、前記第2の個別のユーザインタフェースの表示を中止させ、前記表示生成コンポーネントを介して、前記第1の個別のユーザインタフェースを表示させ、
    前記第2の個別のユーザインタフェースの表示を中止した後に、前記表示生成コンポーネントを介して、前記第1の没入度よりも高い第2の没入度で第3の個別のユーザインタフェースを表示させ、
    前記第2の没入度で前記第3の個別のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、第2の入力を受信させ、
    第2の入力を検出したことに応じて、
    前記第2の入力が1つ以上の基準の前記第1のセットを満たすという判定に従って、前記第3のユーザインタフェースの表示を維持させ、
    前記第2の入力が1つ以上の基準の第2のセットを満たすという判定に従って、前記第3のユーザインタフェースの表示を中止させる、非一時的コンピュータ可読記憶媒体。
  91. 1つ以上のプロセッサと、
    メモリと、
    前記表示生成コンポーネントを介して、第1の個別のユーザインタフェースを表示する手段と、
    前記第1の個別のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、前記第1の個別のユーザインタフェースから第2の個別のユーザインタフェースにナビゲートする要求に対応する入力を受信するための手段と、
    前記第1の個別のユーザインタフェースから前記第2の個別のユーザインタフェースにナビゲートする前記要求に対応する前記入力を受信したことに応じて、前記表示生成コンポーネントを介して、前記第2の個別のユーザインタフェースであって、第1の没入度で表示される、前記第2の個別のユーザインタフェースを表示するための手段と、
    前記第1の没入度で表示される前記第2の個別のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、第1の入力を検出するための手段と、
    前記第1の入力を検出したことに応じて、前記第1の入力が1つ以上の基準の第1のセットを満たすという判定に従って、前記第2の個別のユーザインタフェースの表示を中止し、前記表示生成コンポーネントを介して、前記第1の個別のユーザインタフェースを表示するための手段と、
    前記第2の個別のユーザインタフェースの表示を中止した後に、前記表示生成コンポーネントを介して、前記第1の没入度よりも高い第2の没入度で第3の個別のユーザインタフェースを表示するための手段と、
    前記第2の没入度で前記第3の個別のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、第2の入力を受信するための手段と、
    前記第2の入力を検出したことに応じて、
    前記第2の入力が1つ以上の基準の前記第1のセットを満たすという判定に従って、前記第3のユーザインタフェースの表示を維持するための手段と、
    前記第2の入力が1つ以上の基準の第2のセットを満たすという判定に従って、前記第3のユーザインタフェースの表示を中止するための手段と、
    を含む、電子デバイス。
  92. 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
    前記表示生成コンポーネントを介して、第1の個別のユーザインタフェースを表示するための手段と、
    前記第1の個別のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、前記第1の個別のユーザインタフェースから第2の個別のユーザインタフェースにナビゲートする要求に対応する入力を受信するための手段と、
    前記第1の個別のユーザインタフェースから前記第2の個別のユーザインタフェースにナビゲートする前記要求に対応する前記入力を受信したことに応じて、前記表示生成コンポーネントを介して、前記第2の個別のユーザインタフェースであって、第1の没入度で表示される、前記第2の個別のユーザインタフェースを表示するための手段と、
    前記第1の没入度で表示される前記第2の個別のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、第1の入力を検出するための手段と、
    前記第1の入力を検出したことに応じて、前記第1の入力が1つ以上の基準の第1のセットを満たすという判定に従って、前記第2の個別のユーザインタフェースの表示を中止し、前記表示生成コンポーネントを介して、前記第1の個別のユーザインタフェースを表示するための手段と、
    前記第2の個別のユーザインタフェースの表示を中止した後に、前記表示生成コンポーネントを介して、前記第1の没入度よりも高い第2の没入度で第3の個別のユーザインタフェースを表示するための手段と、
    前記第2の没入度で前記第3の個別のユーザインタフェースを表示している間に、前記1つ以上の入力デバイスを介して、第2の入力を受信するための手段と、
    前記第2の入力を検出したことに応じて、
    前記第2の入力が1つ以上の基準の前記第1のセットを満たすという判定に従って、前記第3のユーザインタフェースの表示を維持するための手段と、
    前記第2の入力が1つ以上の基準の第2のセットを満たすという判定に従って、前記第3のユーザインタフェースの表示を中止するための手段と、を含む、情報処理装置。
  93. 1つ以上のプロセッサと、
    メモリと、
    1つ以上のプログラムと、を備え、前記1つ以上のプログラムが、前記メモリに記憶され、前記1つ以上のプロセッサによって実行されるように構成されており、前記1つ以上のプログラムが、請求項67~88のいずれか一項に記載の方法のいずれか1つを実行する、命令を含む、
    電子デバイス。
  94. 1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムが、命令を含み、前記命令が、電子デバイスの1つ以上のプロセッサによって実行されると、前記電子デバイスに、請求項67~88のいずれか一項に記載の方法を実行させる、非一時的コンピュータ可読記憶媒体。
  95. 1つ以上のプロセッサと、
    メモリと、
    請求項67~88のいずれか一項に記載の方法を実行する手段と、
    を備える、電子デバイス。
  96. 電子デバイスで使用するための情報処理装置であって、前記情報処理装置が、
    請求項67~88のいずれか一項に記載の方法を実行する手段を備える、情報処理装置。
JP2023519047A 2020-09-25 2021-09-20 ユーザインタフェースをナビゲートする方法 Pending JP2023543799A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US202063083804P 2020-09-25 2020-09-25
US63/083,804 2020-09-25
PCT/US2021/071518 WO2022067302A1 (en) 2020-09-25 2021-09-20 Methods for navigating user interfaces

Publications (1)

Publication Number Publication Date
JP2023543799A true JP2023543799A (ja) 2023-10-18

Family

ID=78372134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023519047A Pending JP2023543799A (ja) 2020-09-25 2021-09-20 ユーザインタフェースをナビゲートする方法

Country Status (6)

Country Link
US (2) US11720171B2 (ja)
EP (1) EP4200691A1 (ja)
JP (1) JP2023543799A (ja)
KR (1) KR20230050466A (ja)
CN (2) CN116209974A (ja)
WO (1) WO2022067302A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3985486B1 (en) * 2020-10-13 2024-04-17 Hiroyuki Ikeda Glasses-type terminal
US20220286741A1 (en) * 2021-03-04 2022-09-08 Arris Enterprises Llc Providing enhanced viewing experience using user gaze detection and video casting

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295236A (ja) * 2005-04-05 2006-10-26 Sony Corp 記録再生装置、コンテンツ管理装置、コンテンツ管理方法および撮像装置
JP2014059840A (ja) * 2012-09-19 2014-04-03 Research Organization Of Information & Systems 視線インタフェースを用いた対話的情報探索装置
JP2014099184A (ja) * 2008-03-04 2014-05-29 Qualcomm Inc 改良されたジェスチャに基づく画像操作
JP2016096513A (ja) * 2014-11-17 2016-05-26 株式会社ゼンリンデータコム 情報処理システム、情報処理方法及びプログラム
JP2019175449A (ja) * 2018-03-28 2019-10-10 株式会社リコー 情報処理装置、情報処理システム、移動体、情報処理方法、及びプログラム

Family Cites Families (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5880411A (en) 1992-06-08 1999-03-09 Synaptics, Incorporated Object position detector with edge motion feature and gesture recognition
US5488204A (en) 1992-06-08 1996-01-30 Synaptics, Incorporated Paintbrush stylus for capacitive touch sensor pad
US5825352A (en) 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US5835079A (en) 1996-06-13 1998-11-10 International Business Machines Corporation Virtual pointing device for touchscreens
US5731805A (en) 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US6078310A (en) 1996-06-26 2000-06-20 Sun Microsystems, Inc. Eyetracked alert messages
US6310610B1 (en) 1997-12-04 2001-10-30 Nortel Networks Limited Intelligent touch display
US20060033724A1 (en) 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
EP1717681B1 (en) 1998-01-26 2015-04-29 Apple Inc. Method for integrating manual input
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US6188391B1 (en) 1998-07-09 2001-02-13 Synaptics, Inc. Two-layer capacitive touchpad and method of making same
JP4542637B2 (ja) 1998-11-25 2010-09-15 セイコーエプソン株式会社 携帯情報機器及び情報記憶媒体
US7134130B1 (en) 1998-12-15 2006-11-07 Gateway Inc. Apparatus and method for user-based control of television content
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US20020065778A1 (en) 2000-11-30 2002-05-30 Stephane Bouet Mehtod of and a system for distributing electronic content
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
JP3800984B2 (ja) 2001-05-21 2006-07-26 ソニー株式会社 ユーザ入力装置
US20030038754A1 (en) 2001-08-22 2003-02-27 Mikael Goldstein Method and apparatus for gaze responsive text presentation in RSVP display
JP2003173237A (ja) 2001-09-28 2003-06-20 Ricoh Co Ltd 情報入出力システム、プログラム及び記憶媒体
US6690387B2 (en) 2001-12-28 2004-02-10 Koninklijke Philips Electronics N.V. Touch-screen image scrolling system and method
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
JP2004080382A (ja) 2002-08-19 2004-03-11 Sony Corp 電子機器制御装置および電子機器制御方法
KR100538948B1 (ko) 2003-08-11 2005-12-27 삼성전자주식회사 적응적 이미지의 표시가 가능한 휴대용 단말기의디스플레이 장치
US20050097595A1 (en) 2003-11-05 2005-05-05 Matti Lipsanen Method and system for controlling access to content
CA2545202C (en) 2003-11-14 2014-01-14 Queen's University At Kingston Method and apparatus for calibration-free eye tracking
US8684839B2 (en) 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
WO2006012677A1 (en) 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Electronic stylus
US8341541B2 (en) 2005-01-18 2012-12-25 Microsoft Corporation System and method for visually browsing of open windows
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7429108B2 (en) 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US8296684B2 (en) 2008-05-23 2012-10-23 Hewlett-Packard Development Company, L.P. Navigating among activities in a computing device
US8279180B2 (en) 2006-05-02 2012-10-02 Apple Inc. Multipoint touch surface controller
US8006002B2 (en) 2006-12-12 2011-08-23 Apple Inc. Methods and systems for automatic configuration of peripherals
US7706579B2 (en) 2006-12-21 2010-04-27 Sony Ericsson Communications Ab Image orientation for display
US7957762B2 (en) 2007-01-07 2011-06-07 Apple Inc. Using ambient light sensor to augment proximity sensor output
US20080181502A1 (en) 2007-01-31 2008-07-31 Hsin-Ming Yang Pattern recognition for during orientation of a display device
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
US8299889B2 (en) 2007-12-07 2012-10-30 Cisco Technology, Inc. Home entertainment system providing presence and mobility via remote control authentication
WO2010030985A1 (en) 2008-09-12 2010-03-18 Gesturetek, Inc. Orienting displayed elements relative to a user
US8446376B2 (en) 2009-01-13 2013-05-21 Microsoft Corporation Visual response to touch inputs
WO2010150505A1 (ja) 2009-06-26 2010-12-29 パナソニック株式会社 通信装置
US20110016492A1 (en) 2009-07-16 2011-01-20 Gemstar Development Corporation Systems and methods for forwarding media asset events
EP2278780A1 (en) 2009-07-23 2011-01-26 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Common audio event determination
US8175617B2 (en) 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
JP5440334B2 (ja) 2010-04-05 2014-03-12 船井電機株式会社 携帯情報表示端末
US8593558B2 (en) 2010-09-08 2013-11-26 Apple Inc. Camera-based orientation fix from portrait to landscape
JP5564384B2 (ja) 2010-09-28 2014-07-30 任天堂株式会社 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法
KR101731346B1 (ko) 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
US8793753B2 (en) 2010-11-22 2014-07-29 International Business Machines Corporation Transferring a broadcast transmission to a remote device
JP2014077814A (ja) 2011-02-14 2014-05-01 Panasonic Corp 表示制御装置および表示制御方法
US20130028443A1 (en) 2011-07-28 2013-01-31 Apple Inc. Devices with enhanced audio
US9479568B2 (en) 2011-12-28 2016-10-25 Nokia Technologies Oy Application switcher
US8863042B2 (en) 2012-01-24 2014-10-14 Charles J. Kulas Handheld device with touch controls that reconfigure in response to the way a user operates the device
AU2013205535B2 (en) 2012-05-02 2018-03-15 Samsung Electronics Co., Ltd. Apparatus and method of controlling mobile terminal based on analysis of user's face
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US9746916B2 (en) 2012-05-11 2017-08-29 Qualcomm Incorporated Audio user interaction recognition and application interface
US10082863B2 (en) 2012-05-11 2018-09-25 Umoove Services Ltd. Gaze-based automatic scrolling
US20140049462A1 (en) 2012-08-20 2014-02-20 Google Inc. User interface element focus based on user's gaze
US9699485B2 (en) 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
JP2014092940A (ja) 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US9239627B2 (en) 2012-11-07 2016-01-19 Panasonic Intellectual Property Corporation Of America SmartLight interaction system
WO2014093931A1 (en) 2012-12-14 2014-06-19 Biscotti Inc. Video capture, processing and distribution system
AU2013368443B2 (en) 2012-12-29 2016-03-24 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
US9189611B2 (en) 2013-02-07 2015-11-17 Sony Corporation Adapting content and monitoring user behavior based on facial recognition
WO2014134623A1 (en) 2013-03-01 2014-09-04 Tobii Technology Ab Delay warp gaze interaction
EP2974304A1 (en) 2013-03-14 2016-01-20 Brainlab AG 3d-volume viewing by controlling sight depth
GB2500823B (en) 2013-03-28 2014-02-26 Paycasso Verify Ltd Method, system and computer program for comparing images
US10592064B2 (en) 2013-09-17 2020-03-17 Amazon Technologies, Inc. Approaches for three-dimensional object display used in content navigation
US9442631B1 (en) 2014-01-27 2016-09-13 Google Inc. Methods and systems for hands-free browsing in a wearable computing device
US9552060B2 (en) 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
US20150331240A1 (en) 2014-05-15 2015-11-19 Adam G. Poulos Assisted Viewing Of Web-Based Resources
US9766702B2 (en) 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
US9619519B1 (en) 2014-06-23 2017-04-11 Amazon Technologies, Inc. Determining user interest from non-explicit cues
US9829708B1 (en) 2014-08-19 2017-11-28 Boston Incubator Center, LLC Method and apparatus of wearable eye pointing system
US10732721B1 (en) * 2015-02-28 2020-08-04 sigmund lindsay clements Mixed reality glasses used to operate a device touch freely
US10169922B2 (en) * 2016-02-16 2019-01-01 Microsoft Technology Licensing, Llc Reality mixer for mixed reality
EP3249497A1 (en) 2016-05-24 2017-11-29 Harman Becker Automotive Systems GmbH Eye tracking
EP3316117A1 (en) 2016-10-31 2018-05-02 Nokia Technologies OY Controlling content displayed in a display
CN109804220B (zh) 2016-12-06 2021-01-26 美国景书公司 用于跟踪头部运动的装置和方法
US10521020B2 (en) * 2017-07-12 2019-12-31 Unity IPR ApS Methods and systems for displaying UI elements in mixed reality environments
US10565448B2 (en) 2017-08-16 2020-02-18 International Business Machines Corporation Read confirmation of electronic messages
CN114995644A (zh) 2017-09-29 2022-09-02 苹果公司 基于注视的用户交互
US11145096B2 (en) * 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
EP3797345A4 (en) * 2018-05-22 2022-03-09 Magic Leap, Inc. TRANSMODAL INPUT FUSION FOR A BODY WEARABLE SYSTEM
US10795435B2 (en) * 2018-07-19 2020-10-06 Samsung Electronics Co., Ltd. System and method for hybrid eye tracker
US20200371673A1 (en) * 2019-05-22 2020-11-26 Microsoft Technology Licensing, Llc Adaptive interaction models based on eye gaze gestures
CN115315681A (zh) 2020-03-27 2022-11-08 苹果公司 用于基于注视的导航的设备、方法和图形用户界面

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006295236A (ja) * 2005-04-05 2006-10-26 Sony Corp 記録再生装置、コンテンツ管理装置、コンテンツ管理方法および撮像装置
JP2014099184A (ja) * 2008-03-04 2014-05-29 Qualcomm Inc 改良されたジェスチャに基づく画像操作
JP2014059840A (ja) * 2012-09-19 2014-04-03 Research Organization Of Information & Systems 視線インタフェースを用いた対話的情報探索装置
JP2016096513A (ja) * 2014-11-17 2016-05-26 株式会社ゼンリンデータコム 情報処理システム、情報処理方法及びプログラム
JP2019175449A (ja) * 2018-03-28 2019-10-10 株式会社リコー 情報処理装置、情報処理システム、移動体、情報処理方法、及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Simple Modal Window With Background Blur Effect", [ONLINE], vol. [検索日 2023.08.15], JPN6023037587, 13 March 2016 (2016-03-13), ISSN: 0005152971 *
山田 祥寛: "[ASP.NET AJAX]ModalPopupコントロールでモーダル・ウィンドウを生成するには?[2.0のみ、C#、VB]", [ONLINE], vol. [検索日 2023.08.22], JPN6023037588, 20 September 2021 (2021-09-20), ISSN: 0005152970 *

Also Published As

Publication number Publication date
CN117008731A (zh) 2023-11-07
US11720171B2 (en) 2023-08-08
CN116209974A (zh) 2023-06-02
EP4200691A1 (en) 2023-06-28
US20230333646A1 (en) 2023-10-19
KR20230050466A (ko) 2023-04-14
US20220100270A1 (en) 2022-03-31
WO2022067302A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
US11768579B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
AU2021349381B2 (en) Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
US11875013B2 (en) Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
KR102562285B1 (ko) 사용자 인터페이스와 연관된 몰입을 조정 및/또는 제어하기 위한 방법
JP2024503899A (ja) 環境内のオブジェクトと相互作用するための方法
US20230333646A1 (en) Methods for navigating user interfaces
US20230106627A1 (en) Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments
WO2023049705A1 (en) Devices, methods, and graphical user interfaces for content applications
JP2024512040A (ja) マップのためのデバイス、方法、及びグラフィカルユーザインタフェース
US20240028177A1 (en) Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments
US20240103614A1 (en) Devices, methods, for interacting with graphical user interfaces
US20230336865A1 (en) Device, methods, and graphical user interfaces for capturing and displaying media
US20240094862A1 (en) Devices, Methods, and Graphical User Interfaces for Displaying Shadow and Light Effects in Three-Dimensional Environments
US20230092874A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
KR20240047458A (ko) 미디어 및 3차원 환경들과의 상호작용을 위한 디바이스들, 방법들 및 그래픽 사용자 인터페이스들
CN117940880A (en) Device, method and graphical user interface for interacting with media and three-dimensional environments
AU2022352756A1 (en) Devices, methods, and graphical user interfaces for interacting with media and three-dimensional environments
WO2024064388A1 (en) Devices, methods, for interacting with graphical user interfaces
WO2024063786A1 (en) Devices, methods, and graphical user interfaces for displaying shadow and light effects in three-dimensional environments

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230324

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230324

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20230324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231130

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240213