JP7389270B2 - 視線ベースのナビゲーションのためのデバイス、方法、及びグラフィカルユーザインタフェース - Google Patents

視線ベースのナビゲーションのためのデバイス、方法、及びグラフィカルユーザインタフェース Download PDF

Info

Publication number
JP7389270B2
JP7389270B2 JP2022557936A JP2022557936A JP7389270B2 JP 7389270 B2 JP7389270 B2 JP 7389270B2 JP 2022557936 A JP2022557936 A JP 2022557936A JP 2022557936 A JP2022557936 A JP 2022557936A JP 7389270 B2 JP7389270 B2 JP 7389270B2
Authority
JP
Japan
Prior art keywords
user
text
content
electronic device
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022557936A
Other languages
English (en)
Other versions
JP2023520345A (ja
Inventor
アイ コネサ， ポル プラ
バス オーディング，
ステファン オー． ルメイ，
クリスティ イー． バワリー，
シー－サング チウ，
ジョナサン ラヴァスズ，
イヴジェニー クリヴォルチコ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2023520345A publication Critical patent/JP2023520345A/ja
Priority to JP2023195265A priority Critical patent/JP2024026103A/ja
Application granted granted Critical
Publication of JP7389270B2 publication Critical patent/JP7389270B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Description

（関連出願の相互参照）
本出願は、参照によりその全体が本明細書に組み込まれる２０２０年３月２７日に出願された米国特許仮出願第６３／００１，２１０号及び２０２０年１２月２９日に出願された米国特許仮出願第６３／１３１，７５４号の優先権を主張する。
これは、一般に、表示生成コンポーネントと、視線ベースのナビゲーションを実装する、表示生成コンポーネントを介してグラフィカルユーザインタフェースを提示する電子デバイスを含むがこれに限定されない、グラフィカルユーザインタフェースを提示する１つ以上の入力デバイスとを有するコンピュータシステムに関する。
拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は強化する少なくともいくつかの仮想要素を含む。コンピュータシステム及び他の電子コンピューティングデバイス用のカメラ、コントローラ、ジョイスティック、タッチ感知面、及びタッチスクリーンディスプレイなどの入力デバイスが、仮想／拡張現実環境と相互作用するために使用される。例示的な仮想要素は、デジタル画像、ビデオ、テキスト、アイコン、並びにボタン及びその他のグラフィックなどの仮想オブジェクトを含む。
しかし、少なくともいくつかの仮想要素を含む環境（例えばアプリケーション、拡張現実環境、複合現実環境、及び仮想現実環境）と相互作用する方法及びインタフェースは、煩雑で、非効率で、限定されたものである。例えば、仮想オブジェクトに関連付けられたアクションを実行するのに不十分なフィードバックしか提供しないシステム、拡張現実環境において所望の結果を達成するために一連の入力を必要とするシステム、及び仮想オブジェクトの操作が複雑で、エラーを起こしやすいシステムは、ユーザに対して大きな認知負担を引き起こしし、仮想／拡張現実環境での体験を損なう。加えて、それらの方法は必要以上に時間がかかり、それによってエネルギを浪費する。この後者の考慮事項は、バッテリ動作式デバイスにおいて特に重要である。
したがって、コンピュータシステムとの相互作用をユーザにとってより効率的かつ直感的にするコンピュータ生成体験をユーザに提供するための改善された方法及びインタフェースを有するコンピュータシステムが必要とされている。このような方法及びインタフェースは、ユーザにコンピュータ生成現実体験を提供する従来の方法を補完又は置換することができる。このような方法及びインタフェースは、提供された入力とその入力に対するデバイス応答との間の接続をユーザが理解することを補助することにより、ユーザからの入力の数、程度及び／又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを生成する。
表示生成コンポーネント及び１つ以上の入力デバイスを有するコンピュータシステムのためのユーザインタフェースに関連する上記の欠陥及び他の問題は、開示されたシステムによって低減又は排除される。いくつかの実施形態では、コンピュータシステムは、関連付けられたディスプレイを備えたデスクトップコンピュータである。いくつかの実施形態では、コンピュータシステムは、ポータブルデバイスである（例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである）。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス（例えば腕時計やヘッドマウントデバイスなどのウェアラブル電子デバイス）である。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のカメラを有する。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる）を有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のアイトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のハンドトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネントに加えて１つ以上の出力デバイスを有し、出力デバイスは、１つ以上の触知出力ジェネレータ及び１つ以上のオーディオ出力デバイスを含む。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザインタフェース（ＧＵＩ）、１つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された１つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、タッチ感知面上のスタイラス及び／又は指の接触及びジェスチャ、カメラ及び他の移動センサによってキャプチャされたときのＧＵＩ又はユーザの身体に対する空間内のユーザの目及び手の移動、並びに１つ以上のオーディオ入力デバイスによってキャプチャされたときの音声入力を通じてＧＵＩと相互作用する。いくつかの実施形態では、相互作用を通じて実行される機能は、任意選択的に、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、メモ取り、及び／又はデジタルビデオの再生を含む。それらの機能を実行する実行可能命令は任意選択で、非一時的コンピュータ可読記憶媒体又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
ユーザインタフェースをナビゲートするための改善された方法及びインタフェースを有する電子デバイスが必要とされている。そのような方法及びインタフェースは、グラフィカルユーザインタフェースと相互作用するための従来の方法を補完又は置換することができる。そのような方法及びインタフェースは、ユーザからの入力の数、程度、及び／又は種類を削減し、より効率的なヒューマンマシンインタフェースを生成する。
いくつかの実施形態では、電子デバイスは、ユーザの視線の検出に従ってコンテンツのアイテムを拡張する。いくつかの実施形態では、電子デバイスは、ユーザがコンテンツアイテムを読んでいるという判定に従って、コンテンツアイテムのテキストをスクロールする。いくつかの実施形態では、電子デバイスは、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってユーザインタフェース間をナビゲートする。いくつかの実施形態では、電子デバイスは、ユーザの頭部の動きの検出及びユーザの視線の検出に従って、コンテンツの部分に関連する拡張コンテンツを表示する。
前述の様々な実施形態は、本明細書に記載の任意の他の実施形態と組み合わせることができることに留意されたい。本明細書で説明する機能及び利点は、包括的なものではなく、特に、図面、明細書及び特許請求の範囲を鑑みると、多くの追加の機能及び利点が当業者には明らかになるであろう。更に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を画定又は制限するために選択されたものではないことに留意されたい。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
いくつかの実施形態による、ＣＧＲ体験を提供するためのコンピュータシステムの動作環境を示すブロック図である。
いくつかの実施形態による、ユーザのＣＧＲ体験を管理及び調整するように構成されたコンピュータシステムのコントローラを示すブロック図である。
いくつかの実施形態による、ＣＧＲ体験の視覚的コンポーネントをユーザに提供するように構成されたコンピュータシステムの表示生成コンポーネントを示すブロック図である。
いくつかの実施形態による、ユーザのジェスチャ入力をキャプチャするように構成されたコンピュータシステムのハンドトラッキングユニットを示すブロック図である。
いくつかの実施形態による、ユーザの視線入力をキャプチャするように構成されたコンピュータシステムのアイトラッキングユニットを示すブロック図である。
いくつかの実施形態による、グリント支援視線トラッキングパイプラインを示すフローチャートである。
いくつかの実施形態による、電子デバイスがユーザの視線の検出に従ってユーザインタフェースのナビゲーションをどのように提供するかの例を示す図である。 いくつかの実施形態による、電子デバイスがユーザの視線の検出に従ってユーザインタフェースのナビゲーションをどのように提供するかの例を示す図である。 いくつかの実施形態による、電子デバイスがユーザの視線の検出に従ってユーザインタフェースのナビゲーションをどのように提供するかの例を示す図である。 いくつかの実施形態による、電子デバイスがユーザの視線の検出に従ってユーザインタフェースのナビゲーションをどのように提供するかの例を示す図である。 いくつかの実施形態による、電子デバイスがユーザの視線の検出に従ってユーザインタフェースのナビゲーションをどのように提供するかの例を示す図である。 いくつかの実施形態による、電子デバイスがユーザの視線の検出に従ってユーザインタフェースのナビゲーションをどのように提供するかの例を示す図である。 いくつかの実施形態による、電子デバイスがユーザの視線の検出に従ってユーザインタフェースのナビゲーションをどのように提供するかの例を示す図である。 いくつかの実施形態による、電子デバイスがユーザの視線の検出に従ってユーザインタフェースのナビゲーションをどのように提供するかの例を示す図である。 いくつかの実施形態による、電子デバイスがユーザの視線の検出に従ってユーザインタフェースのナビゲーションをどのように提供するかの例を示す図である。 いくつかの実施形態による、電子デバイスがユーザの視線の検出に従ってユーザインタフェースのナビゲーションをどのように提供するかの例を示す図である。 いくつかの実施形態による、電子デバイスがユーザの視線の検出に従ってユーザインタフェースのナビゲーションをどのように提供するかの例を示す図である。
いくつかの実施形態による、ユーザの視線の検出に従ってコンテンツのアイテムを拡張する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視線の検出に従ってコンテンツのアイテムを拡張する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視線の検出に従ってコンテンツのアイテムを拡張する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視線の検出に従ってコンテンツのアイテムを拡張する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視線の検出に従ってコンテンツのアイテムを拡張する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視線の検出に従ってコンテンツのアイテムを拡張する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視線の検出に従ってコンテンツのアイテムを拡張する方法を示すフローチャートである。
いくつかの実施形態による、ユーザがコンテンツアイテムを読んでいるという判定に従ってコンテンツアイテムのテキストをスクロールする方法を示すフローチャートである。 いくつかの実施形態による、ユーザがコンテンツアイテムを読んでいるという判定に従ってコンテンツアイテムのテキストをスクロールする方法を示すフローチャートである。 いくつかの実施形態による、ユーザがコンテンツアイテムを読んでいるという判定に従ってコンテンツアイテムのテキストをスクロールする方法を示すフローチャートである。 いくつかの実施形態による、ユーザがコンテンツアイテムを読んでいるという判定に従ってコンテンツアイテムのテキストをスクロールする方法を示すフローチャートである。 いくつかの実施形態による、ユーザがコンテンツアイテムを読んでいるという判定に従ってコンテンツアイテムのテキストをスクロールする方法を示すフローチャートである。 いくつかの実施形態による、ユーザがコンテンツアイテムを読んでいるという判定に従ってコンテンツアイテムのテキストをスクロールする方法を示すフローチャートである。 いくつかの実施形態による、ユーザがコンテンツアイテムを読んでいるという判定に従ってコンテンツアイテムのテキストをスクロールする方法を示すフローチャートである。 いくつかの実施形態による、ユーザがコンテンツアイテムを読んでいるという判定に従ってコンテンツアイテムのテキストをスクロールする方法を示すフローチャートである。 いくつかの実施形態による、ユーザがコンテンツアイテムを読んでいるという判定に従ってコンテンツアイテムのテキストをスクロールする方法を示すフローチャートである。 いくつかの実施形態による、ユーザがコンテンツアイテムを読んでいるという判定に従ってコンテンツアイテムのテキストをスクロールする方法を示すフローチャートである。 いくつかの実施形態による、ユーザがコンテンツアイテムを読んでいるという判定に従ってコンテンツアイテムのテキストをスクロールする方法を示すフローチャートである。 いくつかの実施形態による、ユーザがコンテンツアイテムを読んでいるという判定に従ってコンテンツアイテムのテキストをスクロールする方法を示すフローチャートである。
いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってユーザインタフェース間をナビゲートする方法を示すフローチャートである。 いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってユーザインタフェース間をナビゲートする方法を示すフローチャートである。 いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってユーザインタフェース間をナビゲートする方法を示すフローチャートである。 いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってユーザインタフェース間をナビゲートする方法を示すフローチャートである。 いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってユーザインタフェース間をナビゲートする方法を示すフローチャートである。 いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってユーザインタフェース間をナビゲートする方法を示すフローチャートである。 いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってユーザインタフェース間をナビゲートする方法を示すフローチャートである。
いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってコンテンツの部分に関連する拡張コンテンツを表示する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってコンテンツの部分に関連する拡張コンテンツを表示する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってコンテンツの部分に関連する拡張コンテンツを表示する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってコンテンツの部分に関連する拡張コンテンツを表示する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってコンテンツの部分に関連する拡張コンテンツを表示する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってコンテンツの部分に関連する拡張コンテンツを表示する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってコンテンツの部分に関連する拡張コンテンツを表示する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってコンテンツの部分に関連する拡張コンテンツを表示する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってコンテンツの部分に関連する拡張コンテンツを表示する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってコンテンツの部分に関連する拡張コンテンツを表示する方法を示すフローチャートである。
本開示は、いくつかの実施形態による、コンピュータ生成現実（ＣＧＲ）体験をユーザに提供するユーザインタフェースに関する。
本明細書に記載のシステム、方法、及びＧＵＩは、電子デバイスがユーザの視線及び／又はユーザの頭部の動きに基づいてナビゲーションを提供するための改善された方法を提供する。
いくつかの実施形態では、コンピュータシステムは、コンピュータシステムと通信する視線トラッキングデバイスを介して、ユーザの視線がユーザがコンテンツのアイテムを読んでいることを示すことを検出することに基づいて、コンテンツのアイテムを拡張する。ユーザの視線は、例えば、タッチ感知面又は他の物理的コントローラとは対照的に、カメラ（例えば、頭部装着型デバイスと一体化されたカメラ、ユーザから離れて設置されたカメラ（例えば、ＣＧＲルーム内）、又はユーザが表示生成コンポーネント（例えば、表示画面又はタッチスクリーンの上方に取り付けられたカメラのアレイ）によって提示される画像を見ているときにユーザに向かって設置されたカメラ）を使用して検出される。コンピューティングシステムは、任意選択的に、検出された視線位置に基づいて、ユーザがコンテンツの複数の表示されたアイテムのうちのコンテンツのどのアイテムを読んでいるかを判定し、ユーザが読んでいるコンテンツのアイテムを拡張する。ユーザがコンテンツの個別のアイテムを読んでいることを検出したことに応じてコンテンツの個別のアイテムを拡張することにより、ユーザは、視線トラッキングデバイス以外の入力デバイスを使用せずにコンテンツアイテムを読み続けることができ、コンテンツの個別のアイテムを拡張することを要求する入力を提供することができ、これにより、ユーザは、より自然かつ効率的に、拡張されたコンテンツにアクセスすることができる。更に、視線ベースのナビゲーションは、ユーザの目及び／又は頭部の動きのみを必要とし、運動制御が損なわれている人々にとってコンピューティングシステムをアクセス可能にする。
いくつかの実施形態では、コンピュータシステムは、コンピュータシステムと通信する視線トラッキングデバイスを介して、ユーザの視線がユーザがコンテンツのアイテムの個別の部分を読み終えたことを示すことを検出することに基づいて、コンテンツのアイテムをスクロールする。ユーザの視線は、例えば、タッチ感知面又は他の物理的コントローラとは対照的に、カメラ（例えば、頭部装着型デバイスと一体化されたカメラ、ユーザから離れて設置されたカメラ（例えば、ＣＧＲルーム内）、又はユーザが表示生成コンポーネント（例えば、表示画面又はタッチスクリーンの上方に取り付けられたカメラのアレイ）によって提示される画像を見ているときにユーザに向かって設置されたカメラ）を使用して検出される。コンピューティングシステムは、任意選択的に、検出された視線位置に基づいて、ユーザがコンテンツのテキストの個別の行などのコンテンツの部分を読み終えたことを判定する。ユーザの視線を検出したことに応じてコンテンツの個別のアイテムをスクロールすることにより、ユーザは、視線トラッキングデバイス以外の入力デバイスを使用せずにコンテンツアイテムを読み続けることができ、コンテンツのアイテムをスクロールすることを要求する入力を提供することができ、これにより、ユーザは、より自然かつ効率的に、コンテンツを読むことができる。更に、視線ベースのスクロールは、ユーザの目及び／又は頭部の動きのみを必要とし、運動制御が損なわれている人々にとってコンピューティングシステムをアクセス可能にする。
いくつかの実施形態では、コンピュータシステムは、コンピュータシステムと通信する１つ以上の画像センサを介して、ユーザの視線及び／又は頭部の動きを検出することに基づいてユーザインタフェースをナビゲートする。ユーザの視線及び頭部の動きは、例えば、タッチ感知面又は他の物理的コントローラとは対照的に、カメラ（例えば、頭部装着型デバイスと一体化されたカメラ、ユーザから離れて設置されたカメラ（例えば、ＣＧＲルーム内）、又はユーザが表示生成コンポーネント（例えば、表示画面又はタッチスクリーンの上方に取り付けられたカメラのアレイ）によって提示される画像を見ているときにユーザに向かって設置されたカメラ）を使用して検出される。コンピューティングシステムは、任意選択的に、１つ以上の画像センサに基づいて、ユーザが現在のナビゲーション位置以外のナビゲーション位置に対応するユーザインタフェースの個別の部分を見ていること、及び／又はユーザがユーザインタフェースの個別の部分に頭部を傾けているか又は向けていることを判定する。ユーザインタフェースの個別の部分に向けられたユーザの視線及び頭部の動きを検出したことに応じて、電子デバイスは、任意選択的に、ユーザインタフェースの個別の部分にナビゲートする。ユーザの視線及び／又は頭部の動きを検出したことに応じてユーザインタフェースをナビゲートすることにより、ユーザは、視線トラッキングデバイス以外の入力デバイスを使用せずにユーザインタフェースをナビゲートして、コンテンツの個別のアイテムを拡張するように要求する入力を提供することができ、これにより、ユーザは、より自然かつ効率的にユーザインタフェースと対話することができる。更に、視線ベースのナビゲーションは、ユーザの目及び／又は頭部の動きのみを必要とし、運動制御が損なわれている人々にとってコンピューティングシステムをアクセス可能にする。
いくつかの実施形態では、コンピュータシステムは、コンピュータシステムと通信する１つ以上の画像センサを介して、ユーザの視線及び／又は頭部の動きがコンテンツの部分に向けられていることを検出することに基づいて、コンテンツのアイテムの部分（例えば、単語、画像など）に関連付けられた拡張コンテンツを提示する。ユーザの視線及び／又は頭部の動きは、例えば、タッチ感知面又は他の物理的コントローラとは対照的に、カメラ（例えば、頭部装着型デバイスと一体化されたカメラ、ユーザから離れて設置されたカメラ（例えば、ＣＧＲルーム内）、又はユーザが表示生成コンポーネント（例えば、表示画面又はタッチスクリーンの上方に取り付けられたカメラのアレイ）によって提示される画像を見ているときにユーザに向かって設置されたカメラ）を使用して検出される。コンピューティングシステムは、任意選択的に、１つ以上の画像センサを使用して、ユーザの視線がコンテンツの部分に向けられていること、及びユーザの頭部がユーザの身体に対して前方に移動していることを判定する。ユーザの視線及び／又は頭部の動きに応じて、電子デバイスは、コンテンツの部分に関連付けられた拡張コンテンツ（例えば、定義、拡張画像、ウェブサイトプレビュー）を表示する。ユーザの視線及び／又は頭部の動きを検出したことに応じて拡張コンテンツを提示することにより、ユーザは、拡張コンテンツを提示することを要求する入力を提供するために視線トラッキングデバイス以外の入力デバイスを使用することなく拡張コンテンツを見ることができ、これにより、ユーザは、より自然かつ効率的に拡張コンテンツにアクセスすることができる。更に、ユーザの視線及び／又は頭部の動きを検出したことに応じて拡張コンテンツを提示することは、ユーザの目及び／又は頭部の動きのみを必要とし、運動制御が損なわれている人々にとってコンピューティングシステムをアクセス可能にする。
図１～６は、ＣＧＲ体験をユーザに提供するための例示的なコンピュータシステムを説明する。図７Ａ～７Ｋは、いくつかの実施形態による、電子デバイスがユーザの視線の検出に従ってユーザインタフェースのナビゲーションをどのように提供するかの例を示す図である。図８～図１１は、様々な実施形態による、ユーザの視線の検出に従ってナビゲーションを提供する方法の流れ図である。図７Ａ～図７Ｋのユーザインタフェースは、図８～１１のプロセスを説明するために使用される。
いくつかの実施形態では、図１に示されるように、ＣＧＲ体験は、コンピュータシステム１０１を含む動作環境１００を介してユーザに提供される。コンピュータシステム１０１は、コントローラ１１０（例えば、ポータブル電子デバイス又はリモートサーバのプロセッサ）と、表示生成コンポーネント１２０（例えば、ヘッドマウントデバイス（ＨＭＤ）、ディスプレイ、プロジェクタ、タッチスクリーンなど）と、１つ以上の入力デバイス１２５（例えば、アイトラッキングデバイス１３０、ハンドトラッキングデバイス１４０、他の入力デバイス１５０）と、１つ以上の出力デバイス１５５（例えば、スピーカ１６０、触知出力ジェネレータ１７０、及び他の出力デバイス１８０）と、１つ以上のセンサ１９０（例えば、画像センサ、光センサ、深度センサ、触覚センサ、配向センサ、近接センサ、温度センサ、位置センサ、運動センサ、速度センサなど）と、任意選択的に１つ以上の周辺デバイス１９５（例えば、家電製品、ウェアラブルデバイスなど）と、を含む。いくつかの実施形態では、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び周辺デバイス１９５のうちの１つ以上は、（例えば、ヘッドマウントデバイス又はハンドヘルドデバイス内で）表示生成コンポーネント１２０と統合される。
ＣＧＲ体験を説明するとき、ユーザが感知する、及び／又は（例えば、ＣＧＲ体験を生成するコンピュータシステムに、ＣＧＲ体験を生成するコンピュータシステム１０１に提供される様々な入力に対応するオーディオ、視覚、及び／又は触覚フィードバックを生成させる、コンピュータシステム１０１によって検出された入力を用いて）ユーザが相互作用することができる、いくつかの関連するが、別個の環境に個別的に言及するために様々な用語が使用される。以下は、これらの用語のサブセットである。
物理的環境：物理的環境とは、人々が電子システムの助け無しに、感知及び／又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び臭覚などを介して、物理的環境を直接感知し、及び／又はそれと相互作用することができる。
コンピュータ生成現実：対照的に、コンピュータ生成現実（ＣＧＲ）環境とは、人々が電子システムを介して感知及び／又は相互作用する、全体的又は部分的に模倣された環境を指す。ＣＧＲでは、人の身体運動のサブセット又はその表現が追跡され、それに応答して、ＣＧＲ環境内でシミュレートされた１つ以上の仮想オブジェクトの１つ以上の特性が、少なくとも１つの物理学の法則でふるまうように調節される。例えば、ＣＧＲシステムは、人の頭部の回転を検出し、それに応答して、そのようなビュー及び音が物理的環境においてどのように変化するかと同様の方法で、人に提示されるグラフィックコンテンツ及び音場を調節することができる。状況によっては（例えば、アクセス性の理由から）、ＣＧＲ環境における仮想オブジェクト（単数又は複数）の特性（単数又は複数）に対する調節は、身体運動の表現（例えば、音声コマンド）に応答して行われてもよい。人は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか１つを使用して、ＣＧＲオブジェクトを感知し、かつ／又はＣＧＲオブジェクトと相互作用してもよい。例えば、人は、３Ｄ空間において点音源の知覚を提供する、３Ｄ又は空間的広がりを有するオーディオ環境を作り出すオーディオオブジェクトを感知し、かつ／又はそれと相互作用することができる。別の例では、オーディオオブジェクトによって、コンピュータ生成オーディオを含めて、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性が可能になり得る。いくつかのＣＧＲ環境では、人は、オーディオオブジェクトのみを感知し、かつ／又はそれと相互作用してもよい。
ＣＧＲの例としては、仮想現実及び複合現実が挙げられる。
仮想現実：仮想現実（ＶＲ）環境とは、１つ以上の感覚について、コンピュータ生成感覚入力に全面的に基づくように設計された模倣環境を指す。ＶＲ環境は、人が感知かつ／又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人は、コンピュータ生成環境内に人が存在することのシミュレーションを通じて、かつ／又はコンピュータ生成環境内での人の身体運動のサブセットのシミュレーションを通じて、ＶＲ環境における仮想オブジェクトを感知し、かつ／又はそれと相互作用することができる。
複合現実：複合現実（ＭＲ）環境とは、コンピュータ生成感覚入力に全面的に基づくように設計されたＶＲ環境とは対照的に、コンピュータ生成感覚入力（例えば、仮想オブジェクト）を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計された模倣環境を指す。仮想の連続体上では、複合現実環境は、一方の端部における完全な物理的環境と、他方の端部における仮想現実環境との間であるがこれらを含まない、任意の場所である。いくつかのＭＲ環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変更に応答し得る。また、ＭＲ環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト（即ち、物理的環境からの物理的物品又はその表現）と相互作用することを可能にするために、物理的環境に対する位置及び／又は配向を追跡してもよい。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、動きを考慮することができる。
複合現実の例としては、拡張現実及び拡張仮想が挙げられる。
拡張現実：拡張現実（ＡＲ）環境とは、１つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ねられた模倣環境を指す。例えば、ＡＲ環境を提示するための電子システムは、人が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイに仮想オブジェクトを提示するように構成されていてもよく、それによって、人はシステムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又は動画をキャプチャする１つ以上の撮像センサとを有してもよい。システムは、画像又は動画を仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人はこのシステムを使用して、物理的環境を、物理的環境の画像又は動画によって間接的に見て、物理的環境に重ね合わされた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境の動画は、「パススルービデオ」と呼ばれ、システムが、１つ以上の画像センサ（単数又は複数）を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にＡＲ環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムが仮想オブジェクトを、例えば、ホログラムとして物理的環境の中に、又は物理的表面に投影するプロジェクションシステムを有してもよく、それによって、人はシステムを使用して、物理的環境に重ね合わされた仮想オブジェクトを知覚する。拡張現実環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換されるシミュレーション環境を指す。例えば、パススルービデオを提供する際に、システムは、１つ以上のセンサ画像を、イメージセンサがキャプチャした透視図とは別の選択された透視図（例えば、視点）を面付けするように変形してもよい。別の例として、物理的環境の表現を、その部分をグラフィカルに変更（例えば、拡大）することによって変形してもよく、それにより、変更された部分を、元のキャプチャ画像を表すが非写実的な、改変版にすることもできる。更なる例として、物理的環境の表現は、その部分をグラフィカルに除去又は不明瞭化することによって変形されてもよい。
拡張仮想：拡張仮想（ＡＶ）環境とは、仮想環境又はコンピュータ生成環境が物理的環境から１つ以上の感覚入力を組み込んだ模倣環境を指す。感覚入力は、物理的環境の１つ以上の特性の表現であり得る。例えば、ＡＶの公園には仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、１つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽の位置と一致する影を採用することができる。
ハードウェア：人が様々なＣＧＲ環境を感知し、及び／又はそれと相互作用することを可能にする、多くの異なるタイプの電子システムが存在する。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ（heads-up displays、ＨＵＤ）、統合表示機能を有する車両ウィンドシールド、統合表示機能を有する窓、（例えば、コンタクトレンズと同様に）人の目の上に配置されるように設計されたレンズとして形成されたディスプレイ、ヘッドホン／イヤフォン、スピーカアレイ、入力システム（例えば、触覚フィードバックを有する又は有さない、装着型コントローラ又はハンドヘルドコントローラ）、スマートフォン、タブレット、及びデスクトップ／ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、１つ以上のスピーカ（単数又は複数）及び一体型不透明ディスプレイを有してもよい。あるいは、ヘッドマウントシステムは、外部の不透明ディスプレイ（例えば、スマートフォン）を受容するように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像若しくは動画をキャプチャするための１つ以上の撮像センサ、及び／又は物理的環境のオーディオをキャプチャするための１つ以上のマイクロフォンを組み込んでいてもよい。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、ＯＬＥＤ、ＬＥＤ、ｕＬＥＤ、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィカル画像を人の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、仮想オブジェクトを、例えば、ホログラムとして、又は物理的表面として物理的環境に投影するように構成されてもよい。いくつかの実施形態では、コントローラ１１０は、ユーザのＣＧＲ体験を管理及び調整するように構成される。いくつかの実施形態では、コントローラ１１０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。コントローラ１１０については、図２を参照して以下より詳細に記載する。いくつかの実施形態では、コントローラ１１０は、シーン１０５（例えば、物理的環境）に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ１１０は、シーン１０５内に位置するローカルサーバである。別の例では、コントローラ１１０は、シーン１０５の外側に位置するリモートサーバ（例えば、クラウドサーバ、中央サーバなど）である。いくつかの実施形態では、コントローラ１１０は、１つ以上の有線又は無線通信チャネル１４４（例えば、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＩＥＥＥ８０２．１１ｘ、ＩＥＥＥ８０２．１６ｘ、ＩＥＥＥ８０２．３ｘなど）を介して、表示生成コンポーネント１２０（例えば、ＨＭＤ、ディスプレイ、プロジェクタ、タッチスクリーンなど）と通信可能に結合される。別の例では、コントローラ１１０は、表示生成コンポーネント１２０（例えば、ＨＭＤ、又はディスプレイ及び１つ以上のプロセッサなどを含むポータブル電子デバイス）、入力デバイス１２５のうちの１つ以上、出力デバイス１５５のうちの１つ以上、センサ１９０のうちの１つ以上、及び／又は周辺デバイス１９５のうちの１つ以上の筐体（例えば、物理的ハウジング）内に含まれる、又は上記のうちの１つ以上と同じ物理的筐体又は支持構造を共有する。
いくつかの実施形態では、表示生成コンポーネント１２０は、ＣＧＲ体験（例えば、ＣＧＲ体験の少なくとも視覚的コンポーネント）をユーザに提供するように構成される。いくつかの実施形態では、表示生成コンポーネント１２０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。表示生成コンポーネント１２０について、図３を参照して以下より詳細に説明する。いくつかの実施形態では、コントローラ１１０の機能は、表示生成コンポーネント１２０によって提供される、及び／又は表示生成コンポーネント１２０と組み合わされる。
いくつかの実施形態によれば、表示生成コンポーネント１２０は、ユーザがシーン１０５内に仮想的及び／又は物理的に存在している間に、ＣＧＲ体験をユーザに提供する。
いくつかの実施形態では、表示生成コンポーネントは、ユーザの身体の一部（例えば、頭部や手など）に装着される。したがって、表示生成コンポーネント１２０は、ＣＧＲコンテンツを表示するために提供された１つ以上のＣＧＲディスプレイを含む。例えば、表示生成コンポーネント１２０は、ユーザの視野を包囲する。いくつかの実施形態では、表示生成コンポーネント１２０は、ＣＧＲコンテンツを提示するように構成されたハンドヘルドデバイス（スマートフォン又はタブレットなど）であり、ユーザは、ユーザの視野に向けられるディスプレイ及びシーン１０５に向けられるカメラを備えたデバイスを保持する。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの頭部に装着された筐体内に配置される。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの前の支持体（例えば、三脚）上に配置される。いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザが表示生成コンポーネント１２０を着用又は保持しない状態でＣＧＲコンテンツを提示するように構成されたＣＧＲチャンバ、筐体、又は部屋である。ＣＧＲコンテンツ（例えば、ハンドヘルドデバイス又は三脚上のデバイス）を表示するための１つのタイプのハードウェアを参照して説明される多くのユーザインタフェースは、ＣＧＲコンテンツ（例えば、ＨＭＤ又は他のウェアラブルコンピューティングデバイス）を表示するための別のタイプのハードウェア上に実装され得る。例えば、ハンドヘルド又は三脚実装デバイスの前の空間内で起こる相互作用に基づいてトリガされるＣＧＲコンテンツとの相互作用を示すユーザインタフェースは、相互作用がＨＭＤの前の空間で発生し、ＣＧＲコンテンツの応答がＨＭＤを介して表示されるＨＭＤと同様に実装され得る。同様に、物理的環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するハンドヘルド又は三脚実装デバイスの移動に基づいてトリガされたＣＲＧコンテンツとの相互作用を示すユーザインタフェースは、物理的環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するＨＭＤの移動によって引き起こされるＨＭＤと同様に実装され得る。
動作環境１００の関連する特徴が図１に示されているが、当業者は、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないように、簡潔化のための様々な他の特徴が示されていないことを、本開示から理解されよう。
図２は、いくつかの実施形態による、コントローラ１１０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのため、非限定的な例として、いくつかの実施形態では、コントローラ１１０は、１つ以上の処理ユニット２０２（例えば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス２０６、１つ以上の通信インタフェース２０８（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）、ＴＨＵＮＤＥＲＢＯＬＴ（登録商標）、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、グローバル移動通信システム（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、グローバル測位システム（ＧＰＳ）、赤外線（ＩＲ）、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ（登録商標）、又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース２１０、メモリ２２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス２０４を含む。
いくつかの実施形態では、１つ以上の通信バス２０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス２０６は、キーボード、マウス、タッチパッド、ジョイスティック、１つ以上のマイクロフォン、１つ以上のスピーカ、１つ以上の画像センサ、１つ以上のディスプレイなどのうちの少なくとも１つを含む。
メモリ２２０は、ダイナミックランダムアクセスメモリ（dynamic random-access memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（static random-access memory、ＳＲＡＭ）、ダブルデータレートランダムアクセスメモリ（double-data-rate random-access memory、ＤＤＲＲＡＭ）、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ２２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性記憶デバイスなどの不揮発性メモリを含む。メモリ２２０は、１つ以上の処理ユニット２０２から遠隔に位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ２２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ２２０、又はメモリ２２０の非一時的コンピュータ可読記憶媒体は、任意選択的なオペレーティングシステム２３０及びＣＧＲ体験モジュール２４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム２３０は、様々な基本システムサービスを処理するための手順、及びハードウェア依存タスクを実行するための手順を含む。いくつかの実施形態では、ＣＧＲ体験モジュール２４０は、１人以上のユーザに対する１つ以上のＣＧＲ体験（例えば、１人以上のユーザに対する単一のＣＧＲ体験、又は１人以上のユーザの各グループに対する複数のＣＧＲ体験）を管理及び調整するように構成されている。その目的で、様々な実施形態では、ＣＧＲ体験モジュール２４０は、データ取得ユニット２４２、トラッキングユニット２４４、調整ユニット２４６、及びデータ送信ユニット２４８を含む。
いくつかの実施形態では、データ取得ユニット２４２は、図１の少なくとも表示生成コンポーネント１２０、及び任意選択的に入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上からデータ（例えば、提示データ、相互作用データ、センサデータ、位置データなど）を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット２４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、トラッキングユニット２４４は、シーン１０５をマッピングし、図１のシーン１０５に対する少なくとも表示生成コンポーネント１２０し、任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上の位置を追跡するように構成される。その目的で、様々な実施形態において、トラッキングユニット２４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実施形態では、処理ユニット２４４は、ハンドトラッキングユニット２４３及び／又はアイトラッキングユニット２４５を含む。いくつかの実施形態では、ハンドトラッキングユニット２４３は、図１のシーン１０５に対する、表示生成コンポーネント１２０に対する、及び／又はユーザの手に対して定義された座標系に対する、ユーザの手の１つ以上の部分の位置、及び／又はユーザの手の１つ以上の部分の運動を追跡するように構成される。ハンドトラッキングユニット２４３について、図４を参照して以下でより詳細に説明する。いくつかの実施形態では、アイトラッキングユニット２４５は、シーン１０５に対する（例えば、物理的環境及び／又はユーザ（例えば、ユーザの手）に対する）、又は表示生成コンポーネント１２０を介して表示されるＣＧＲコンテンツに対する、ユーザの視線（又は、より広範にはユーザの目、顔、又は頭部）の位置及び移動を追跡するように構成される。アイトラッキングユニット２４５について、図５を参照して以下でより詳細に説明する。
いくつかの実施形態では、調整ユニット２４６は、表示生成コンポーネント１２０によって、及び任意選択的に、出力デバイス１５５及び／又は周辺デバイス１９５のうちの１つ以上によって、ユーザに提示されるＣＧＲ体験を管理及び調整するように構成される。その目的で、様々な実施形態において、調整ユニット２４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット２４８は、データ（例えば、提示データ、位置データなど）を少なくとも表示生成コンポーネント１２０、及び任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上に送信するように構成される。その目的で、様々な実施形態では、データ送信ユニット２４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット２４２、トラッキングユニット２４４（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４４を含む）、調整ユニット２４６、及びデータ送信ユニット２４８が、単一のデバイス（例えば、コントローラ１１０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット２４２、トラッキングユニット２４４（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４４を含む）、調整ユニット２４６、及びデータ送信ユニット２４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図２は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図２に別々に示すいくつかの機能モジュールは、単一のモジュール内に実装することができ、単一の機能ブロックの様々な機能は、様々な実施形態において１つ以上の機能ブロックによって実装することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実施形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。
図３は、いくつかの実施形態による、表示生成コンポーネント１２０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実施形態では、ＨＭＤ１２０には、１つ以上の処理ユニット３０２（例えば、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ、ＣＰＵ、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス及びセンサ３０６、１つ以上の通信インタフェース３０８（例えば、ＵＳＢ、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、ＧＳＭ、ＣＤＭＡ、ＴＤＭＡ、ＧＰＳ、赤外線、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、及び／又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース３１０、１つ以上のＣＧＲディスプレイ３１２、１つ以上の任意の内向き及び／又は外向き画像センサ３１４、メモリ３２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス３０４、が含まれる。
いくつかの実施形態では、１つ以上の通信バス３０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス及びセンサ３０６は、慣性測定装置（ＩＭＵ）、加速度計、磁力計、ジャイロスコープ、温度計、１つ以上の生理的センサ（例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、血糖センサなど）、１つ以上のマイクロフォン、１つ以上のスピーカ、触覚エンジン、１つ以上の深度センサ（例えば、構造化光、飛行時間など）などのうちの少なくとも１つを含む。
いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ユーザにＣＧＲ体験を提供するように構成される。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ホログラフィック、デジタル光処理（ＤＬＰ）、液晶ディスプレイ（ＬＣＤ）、液晶オンシリコン（ＬＣｏＳ）、有機発光電界効果トランジスタ（ＯＬＥＴ）、有機発光ダイオード（ＯＬＥＤ）、表面伝導型電子放射素子ディスプレイ（ＳＥＤ）、電界放射ディスプレイ（ＦＥＤ）、量子ドット発光ダイオード（ＱＤ－ＬＥＤ）、ＭＥＭＳ、及び／又は同様のディスプレイタイプに相当する。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、回折、反射、偏光、ホログラフィックなどの、導波管ディスプレイに相当する。例えば、ＨＭＤ１２０は、単一のＣＧＲディスプレイを含む。別の実施例では、ＨＭＤ１２０は、ユーザの各目用のＣＧＲディスプレイを含む。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。
いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの目を含むユーザの顔の少なくとも部分に対応する画像データを取得するように構成される（及び、アイトラッキングカメラと称する場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの手（単数又は複数）及び任意選択的にユーザの腕（単数又は複数）の少なくとも部分に対応する画像データを取得するように構成される（及び、ハンドトラッキングカメラと称される場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、ＨＭＤ１２０が存在しない場合に、ユーザが視認するシーンに対応する画像データを取得するように前方を向くように構成される（及び、シーンカメラと称される場合がある）。１つ以上の任意選択的な画像センサ３１４は、（例えば、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ若しくは電荷結合デバイス（ＣＣＤ）画像センサを備えた）１つ以上のＲＧＢカメラ、１つ以上の赤外線（ＩＲ）カメラ、１つ以上のイベントベースのカメラ、及び／又は同様のもの、を含むことができる。
メモリ３２０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ３２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性記憶デバイスなどの不揮発性メモリを含む。メモリ３２０は、１つ以上の処理ユニット３０２から遠隔に位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ３２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ３２０、又はメモリ３２０の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム３３０及びＣＧＲ提示モジュール３４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム３３０は、様々な基本システムサービスを処理するための手順、及びハードウェア依存タスクを実行するための命令を含む。いくつかの実施形態では、ＣＧＲ提示モジュール３４０は、１つ以上のＣＧＲディスプレイ３１２を介してＣＧＲコンテンツをユーザに提示するように構成される。そのため、様々な実施形態では、ＣＧＲ提示モジュール３４０は、データ取得ユニット３４２、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８を含む。
いくつかの実施形態では、データ取得ユニット３４２は、少なくとも図１のコントローラ１１０からデータ（例えば、提示データ、相互作用データ、センサデータ、位置データなど）を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット３４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、ＣＧＲ提示ユニット３４４は、１つ以上のＣＧＲディスプレイ３１２を介してＣＧＲコンテンツを提示するように構成される。その目的で、様々な実施形態では、ＣＧＲ提示ユニット３４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、ＣＧＲマップ生成ユニット３４６は、メディアコンテンツデータに基づいて、ＣＧＲマップ（例えば、複合現実シーンの３Ｄマップ又はコンピュータ生成オブジェクトを配置することができる物理的環境のマップ）を生成するように構成される。その目的で、様々な実施形態では、ＣＧＲマップ生成ユニット３４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット３４８は、少なくともコントローラ１１０、及び任意選択的に入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上にデータ（例えば、提示データ、位置データなど）を伝送するように構成される。その目的で、様々な実施形態では、データ送信ユニット３４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット３４２は、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８は、単一のデバイス（例えば、図１の表示生成コンポーネント１２０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット３４２、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図３は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図３に別々に示すいくつかの機能モジュールは、単一のモジュール内に実装することができ、単一の機能ブロックの様々な機能は、様々な実施形態において１つ以上の機能ブロックによって実装することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実施形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。
図４は、ハンドトラッキングデバイス１４０の例示的な実施形態の概略図である。いくつかの実施形態では、ハンドトラッキングデバイス１４０（図１）は、ハンドトラッキングユニット２４３（図２）によって制御されて、ユーザの手の１つ以上の部分の位置、及び／又は図１のシーン１０５に対する（例えば、ユーザを取り囲む物理的環境の部分に対する、表示生成コンポーネント１２０に対する、又はユーザの部分（例えば、ユーザの顔、目、若しくは頭部）に対する、及び／又はユーザの手に対して定義された座標系に対する）ユーザの手の１つ以上の部分の移動を追跡する。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成コンポーネント１２０の一部である（例えば、ヘッドマウントデバイスに埋め込まれる、又はヘッドマウントデバイスに取り付けられる）。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成コンポーネント１２０とは別個である（例えば、別個のハウジング内に位置する、又は別個の物理的支持構造に取り付けられる）。
いくつかの実施形態では、ハンドトラッキングデバイス１４０は、人間のユーザの少なくとも手４０６を含む三次元シーン情報をキャプチャする画像センサ４０４（例えば、１つ以上のＩＲカメラ、３Ｄカメラ、深度カメラ、及び／又はカラーカメラなど）を含む。画像センサ４０４は、指及びそれらのそれぞれの位置を区別するのを可能にするのに十分な解像度で手画像をキャプチャする。画像センサ４０４は、典型的には、ユーザの身体の他の部分の画像、又は身体の全ての画像をキャプチャし、ズーム機能又は高倍率を有する専用センサのいずれかを有して、所望の解像度で手の画像をキャプチャすることができる。いくつかの実施形態では、画像センサ４０４はまた、手４０６の２Ｄカラービデオ画像及びシーンの他の要素をキャプチャする。いくつかの実施形態では、画像センサ４０４は、シーン１０５の物理的環境をキャプチャする他の画像センサと併せて使用される、又はシーン１０５の物理的環境をキャプチャする画像センサとして機能する。いくつかの実施形態では、画像センサ４０４は、画像センサ又はその視野の部分が使用されて、画像センサによってキャプチャされた手の移動がコントローラ１１０への入力として処理される相互作用空間を定義するように、ユーザ又はユーザの環境に対して位置決めされる。
いくつかの実施形態では、画像センサ４０４は、３Ｄマップデータ（及び場合によってはカラー画像データ）を含むフレームのシーケンスをコントローラ１１０に出力し、これにより、マップデータから高レベル情報を抽出する。この高レベル情報は、典型的には、アプリケーションプログラムインタフェース（ＡＰＩ）を介して、コントローラ上で実行されるアプリケーションに提供され、それに応じて表示生成コンポーネント１２０を駆動する。例えば、ユーザは、手４０８を移動させ、手の姿勢を変化させることによって、コントローラ１１０上で動作するソフトウェアと相互作用することができる。
いくつかの実施形態では、画像センサ４０４は、手４０６を含むシーン上にスポットパターンを投射し、投射されたパターンの画像をキャプチャする。いくつかの実施形態では、コントローラ１１０は、パターンのスポットの横方向シフトに基づいて、三角測量によって（ユーザの手の表面上の点を含む）シーン内の点の３Ｄ座標を計算する。このアプローチは、ユーザが任意の種類のビーコン、センサ、又は他のマーカを保持又は着用する必要がないという点で有利である。これは、画像センサ４０４からの特定の距離で、所定の基準面に対するシーン内の点の深度座標を与える。本開示では、画像センサ４０４は、シーン内の点の深度座標が画像センサによって測定されたｚ成分に対応するように、ｘ、ｙ、ｚ軸の直交セットを定義すると想定される。あるいは、ハンドトラッキングデバイス４４０は、単一又は複数のカメラ又は他のタイプのセンサに基づいて、立体撮像又は飛行時間測定などの他の３Ｄマッピング方法を使用することができる。
いくつかの実施形態では、ハンドトラッキングデバイス１４０は、ユーザが手（例えば、手全体又は１つ以上の指）を移動させている間、ユーザの手を含む深度マップの時間シーケンスをキャプチャし処理する。画像センサ４０４及び／又はコントローラ１１０内のプロセッサ上で動作するソフトウェアは、３Ｄマップデータを処理して、これらの深度マップ内の手のパッチ記述子を抽出する。ソフトウェアは、各フレームにおける手の姿勢を推定するために、以前の学習プロセスに基づいて、これらの記述子をデータベース４０８に記憶されたパッチ記述子と照合する。姿勢は、典型的には、ユーザの手関節及び指先の３Ｄ位置を含む。
ソフトウェアはまた、ジェスチャを識別するために、シーケンス内の複数のフレームにわたって手及び／又は指の軌道を解析することができる。本明細書に記載される姿勢推定機能は、運動追跡機能とインターリーブされてもよく、それにより、パッチベースの姿勢推定が２つ（又はそれより多く）のフレーム毎に１回のみ実行される一方、追跡は残りのフレームにわたって発生する姿勢の変化を発見するために使用される。姿勢、運動、及びジェスチャ情報は、上述のＡＰＩを介して、コントローラ１１０上で実行されるアプリケーションプログラムに提供される。このプログラムは、例えば、姿勢及び／又はジェスチャ情報に応答して、表示生成コンポーネント１２０上に提示された画像を移動させ修正する、又は他の機能を実行することができる。
いくつかの実施形態では、ソフトウェアは、例えばネットワーク上で、コントローラ１１０に電子形態でダウンロードされてもよい、又はその代わりに、光学、磁気、若しくは電子メモリ媒体などの、実体的非一時的媒体に提供されてもよい。いくつかの実施形態では、データベース４０８は、同様に、コントローラ１１０に関連付けられたメモリに記憶される。代替的又は追加的に、コンピュータの記載された機能の一部又は全ては、カスタム又は半カスタム集積回路又はプログラム可能なデジタル信号プロセッサ（ＤＳＰ）などの専用のハードウェアに実装されてもよい。コントローラ１１０は、例として、画像センサ４４０からの別個のユニットとして図４に示されているが、コントローラの処理機能の一部又は全部は、好適なマイクロプロセッサ及びソフトウェアによって、又はハンドトラッキングデバイス４０２のハウジング内の専用回路によって、又は他の方法で画像センサ４０４に関連付けることができる。いくつかの実施形態では、これらの処理機能のうちの少なくともいくつかは、（例えば、テレビセット、ハンドヘルドデバイス、又はヘッドマウントデバイスにおいて）表示生成コンポーネント１２０と統合された好適なプロセッサによって、又はゲームコンソール又はメディアプレーヤなどの任意の他の適切なコンピュータ化されたデバイスを用いて実行されてもよい。画像センサ４０４の感知機能は、同様に、センサ出力によって制御されるコンピュータ又は他のコンピュータ化された装置に統合することができる。
図４は、いくつかの実施形態による、画像センサ４０４によってキャプチャされた深度マップ４１０の概略図を更に含む。深度マップは、上述したように、それぞれの深度値を有するピクセルのマトリックスを含む。手４０６に対応するピクセル４１２は、このマップで背景及び手首からセグメント化されている。深度マップ４１０内の各ピクセルの輝度は、深度値、即ち、画像センサ４０４からの測定されたｚ距離に反比例し、深度が上昇するにつれて階調が濃くなる。コントローラ１１０は、人間の手の特徴を有する画像の成分（即ち、隣接ピクセル群）を識別及びセグメント化するために、これらの深度値を処理する。これらの特性は、例えば、深度マップのシーケンスの全体サイズ、形状、フレームからフレームへの運動を含むことができる。
図４はまた、いくつかの実施形態による、コントローラ１１０が手４０６の深度マップ４１０から最終的に抽出する手骨格４１４を概略的に示す。図４では、骨格４１４は、元の深度マップからセグメント化された手の背景４１６に重畳される。いくつかの実施形態では、手（例えば、指関節、指先、掌の中心、手首に接続する手の終端など）、及び任意選択的に手に接続された手首又は腕上の主要な特徴点が、手の骨格４１４上で識別され配置される。いくつかの実施形態では、複数の画像フレーム上にわたるこれらの主要な特徴点の位置及び移動がコントローラ１１０によって使用されて、いくつかの実施形態により、手によって実行される手ジェスチャ又は手の現在の状態を判定する。
図５は、アイトラッキングデバイス１３０の例示的な実施形態を示す（図１）。いくつかの実施形態では、アイトラッキングデバイス１３０は、アイトラッキングユニット２４５によって制御されて（図２）、シーン１０５に対する、又は表示生成コンポーネント１２０を介して表示されるＣＧＲコンテンツに対するユーザの視線の位置及び移動を追跡する。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成コンポーネント１２０と統合される。例えば、いくつかの実施形態では、表示生成コンポーネント１２０がヘッドセット、ヘルメット、ゴーグル、又は眼鏡などのヘッドマウントデバイス、又はウェアラブルフレームに配置されたハンドヘルドデバイスである場合、ヘッドマウントデバイスは、ユーザによる視聴のためのＣＧＲコンテンツを生成するコンポーネント及びＣＧＲコンテンツに対するユーザの視線を追跡するためのコンポーネントの両方を含む。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成コンポーネント１２０とは別個である。例えば、表示生成コンポーネントがハンドヘルドデバイス又はＣＧＲチャンバである場合、アイトラッキングデバイス１３０は、任意選択的に、ハンドヘルドデバイス又はＣＧＲチャンバとは別個のデバイスである。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイス又はヘッドマウントデバイスの一部である。いくつかの実施形態では、ヘッドマウントアイトラッキングデバイス１３０は、任意選択的に、頭部に装着されている表示生成コンポーネント又は頭部に装着されていない表示生成コンポーネントと共に使用される。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイスではなく、任意選択的に、ヘッドマウント表示生成コンポーネントと組み合わせて使用される。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイスではなく、任意選択的に、非ヘッドマウント表示生成コンポーネントの一部である。
いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザの目の前に左及び右の画像を含むフレームを表示して、３Ｄ仮想ビューをユーザに提供するディスプレイ機構（例えば、左右の目近傍ディスプレイパネル）を使用する。例えば、ヘッドマウント表示生成コンポーネントは、ディスプレイとユーザの目との間に位置する左右の光学レンズ（本明細書では接眼レンズと称される）を含んでもよい。いくつかの実施形態では、表示生成コンポーネントは、表示のためにユーザの環境のビデオをキャプチャする１つ以上の外部ビデオカメラを含んでもよい、又はそれに結合されてもよい。いくつかの実施形態では、ヘッドマウント表示生成コンポーネントは、ユーザが物理的環境を直接視認し、透明又は半透明ディスプレイ上に仮想オブジェクトを表示することができる透明又は半透明のディスプレイを有してもよい。いくつかの実施形態では、表示生成コンポーネントは、仮想オブジェクトを物理的環境に投影する。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理的環境の上に重ねられた仮想オブジェクトを観察することができる。そのような場合、左右の目のための別個のディスプレイパネル及び画像フレームが必要とされない場合がある。
図５に示すように、いくつかの実施形態では、視線トラッキングデバイス１３０は、少なくとも１つのアイトラッキングカメラ（例えば、赤外線（ＩＲ）又は近ＩＲ（ＮＩＲ）カメラ）、並びに光（例えば、ＩＲ又はＮＩＲ光）をユーザの目に向けて発する照明源（例えば、ＬＥＤのアレイ若しくはリングなどのＩＲ又はＮＩＲ光源）を含む。アイトラッキングカメラは、ユーザの目に向けられて、光源からの反射ＩＲ又はＮＩＲ光を目から直接受信してもよく、又は代替的に、ユーザの目と、視覚的光が通過することを可能にしながら目からアイトラッキングカメラにＩＲ又はＮＩＲ光を反射させるディスプレイパネルとの間に配置される「ホット」ミラーに向けられてもよい。視線トラッキングデバイス１３０は、任意選択的に、ユーザの目の画像を（例えば、１秒当たり６０～１２０フレーム（ｆｐｓ）でキャプチャされるビデオストリームとして）キャプチャし、画像を解析して、視線トラッキング情報を生成し、視線トラッキング情報をコントローラ１１０に通信する。いくつかの実施形態では、ユーザの両目は、それぞれのアイトラッキングカメラ及び照明源によって別々に追跡される。いくつかの実施形態では、ユーザの片目のみが、対応するアイトラッキングカメラ及び照明源によって追跡される。
いくつかの実施形態では、アイトラッキングデバイス１３０は、デバイス固有の較正プロセスを使用して較正されて、特定の動作環境１００用のアイトラッキングデバイスのパラメータ、例えば、ＬＥＤ、カメラ、ホットミラー（存在する場合）、接眼レンズ、及びディスプレイスクリーンの３Ｄ幾何学的関係及びパラメータを判定する。デバイス固有の較正プロセスは、ＡＲ／ＶＲ機器のエンドユーザへの配送前に、工場又は別の施設で実行されてもよい。デバイス固有の較正プロセスは、自動較正プロセスであってもよく、又は手動較正プロセスであってもよい。ユーザ固有の較正プロセスは、特定のユーザの目パラメータ、例えば、瞳孔位置、中心視覚位置、光軸、視軸、目間隔などの推定を含んでもよい。いくつかの実施形態によれば、一旦アイトラッキングデバイス１３０についてデバイス固有及びユーザ固有のパラメータが判定されると、アイトラッキングカメラによってキャプチャされた画像は、グリント支援方法を使用して処理され、ディスプレイに対するユーザの現在の視覚軸及び視点を判定することができる。
図５に示すように、アイトラッキングデバイス１３０（例えば、１３０Ａ又は１３０Ｂ）は、接眼レンズ（単数又は複数）５２０と、アイトラッキングが行われるユーザの顔の側に配置された少なくとも１つのアイトラッキングカメラ５４０（例えば、赤外線（ＩＲ）又は近ＩＲ（ＮＩＲ）カメラ）と光（例えば、ＩＲ又はＮＩＲ光）をユーザの目（単数又は複数）５９２に向かって発する照明源５３０（例えば、ＮＩＲ発光ダイオード（ＬＥＤ）のアレイ若しくはリングなどのＩＲ又はＮＩＲ光源）とを含む視線トラッキングシステムと、を含む。アイトラッキングカメラ５４０は、ユーザの目（単数又は複数）５９２とディスプレイ５１０（例えば、ヘッドマウントディスプレイの左若しくは右側のディスプレイパネル、又はハンドヘルドデバイスのディスプレイ、プロジェクタなど）との間に位置し、（例えば、図５の上部に示されるように）可視光を透過させながら、目（単数又は複数）５９２からのＩＲ又はＮＩＲ光を反射するミラー５５０に向けられてもよく、あるいは、（例えば、図５の下部に示されるように）反射されたユーザの目５９２（単数又は複数）からのＩＲ又はＮＩＲ光を受け取るようにユーザの目（単数又は複数）５９２に向けられてもよい。
いくつかの実施形態では、コントローラ１１０は、ＡＲ又はＶＲフレーム５６２（例えば、左及び右のディスプレイパネルの左及び右のフレーム）をレンダリングし、フレーム５６２をディスプレイ５１０に提供する。コントローラ１１０は、様々な目的のために、例えば、表示のためにフレーム５６２を処理する際に、アイトラッキングカメラ５４０からの視線トラッキング入力５４２を使用する。コントローラ１１０は、任意選択的に、グリント支援方法又は他の適切な方法を使用して、アイトラッキングカメラ５４０から得られた視線トラッキング入力５４２に基づいて、ディスプレイ５１０上のユーザの視点を推定する。視線トラッキング入力５４２から推定された視点は、任意選択的に、ユーザが現在見ている方向を判定するために使用される。
以下、ユーザの現在の視線方向のいくつかの可能な使用事例について説明するが、これは限定することを意図するものではない。例示的な使用例として、コントローラ１１０は、判定されたユーザの視線方向に基づいて、仮想コンテンツを異なってレンダリングすることができる。例えば、コントローラ１１０は、周辺領域よりもユーザの現在の視線方向から判定された中心視覚領域において、より高い解像度で仮想コンテンツを生成してもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内の仮想コンテンツを位置決め又は移動させてもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内に特定の仮想コンテンツを表示してもよい。ＡＲアプリケーションにおける別の例示的な使用事例として、コントローラ１１０は、ＣＧＲ体験の物理的環境をキャプチャして、判定された方向に焦点を合わせるように外部カメラを方向付けることができる。次いで、外部カメラの自動焦点機構は、ユーザが現在ディスプレイ５１０上で見ている環境内のオブジェクト又は表面に焦点を合わせることができる。別の例示的な使用事例として、接眼レンズ５２０は集束可能なレンズであってもよく、視線トラッキング情報がコントローラによって使用されて、ユーザが現在見ている仮想オブジェクトが、ユーザの目５９２の収束に一致するために適切な両目連動を有するように接眼レンズ５２０の焦点を調整する。コントローラ１１０は、視線トラッキング情報を活用して、ユーザが見ている近接オブジェクトが正しい距離で現れるように接眼レンズ５２０を方向付けて焦点を調整することができる。
いくつかの実施形態では、アイトラッキングデバイスは、ディスプレイ（例えば、ディスプレイ５１０）、２つの接眼レンズ（例えば、接眼レンズ（単数又は複数）５２０）、アイトラッキングカメラ（例えば、アイトラッキングカメラ（単数又は複数）５４０）、及びウェアラブルハウジングに取り付けられた光源（例えば、光源５３０（例えば、ＩＲ又はＮＩＲＬＥＤ））を含むヘッドマウントデバイスの一部である。光源は、ユーザの目（単数又は複数）５９２に向かって光（例えば、ＩＲ又はＮＩＲ光）を発する。いくつかの実施形態では、光源は、図５に示されるように、各レンズの周りにリング又は円状に配置されてもよい。いくつかの実施形態では、８つの光源５３０（例えば、ＬＥＤ）が、一例として各レンズ５２０の周りに配置される。しかしながら、より多くの又はより少ない光源５３０が使用されてもよく、光源５３０の他の配置及び位置が用いられてもよい。
いくつかの実施形態では、ディスプレイ５１０は、可視光範囲内の光を発し、ＩＲ又はＮＩＲ範囲内の光を発さないため、視線トラッキングシステムにノイズを導入しない。アイトラッキングカメラ（単数又は複数）５４０の位置及び角度は、例として与えられ、限定することを意図するものではないことに留意されたい。いくつかの実施形態では、単一のアイトラッキングカメラ５４０がユーザの顔の各側に位置する。いくつかの実施形態では、２つ以上のＮＩＲカメラ５４０をユーザの顔の各側に使用することができる。いくつかの実施形態では、広い視野（ＦＯＶ）を有するカメラ５４０と狭いＦＯＶを有するカメラ５４０が、ユーザの顔の各側に使用されてもよい。いくつかの実施形態では、１つの波長（例えば、８５０ｎｍ）で動作するカメラ５４０と異なる波長（例えば、９４０ｎｍ）で動作するカメラ５４０とが、ユーザの顔の各側に使用されてもよい。
図５に示すような視線トラッキングシステムの実施形態は、例えば、コンピュータ生成現実、仮想現実、及び／又は複合現実アプリケーションに使用されて、コンピュータ生成現実、仮想現実、拡張現実、及び／又は拡張仮想の体験をユーザに提供することができる。
図６は、いくつかの実施形態による、グリント支援視線トラッキングパイプラインを示す。いくつかの実施形態では、視線トラッキングパイプラインは、グリント支援視線トラッキングシステム（例えば、図１及び図５に示されるようなアイトラッキングデバイス１３０）によって実現される。グリント支援視線トラッキングシステムは、追跡状態を維持することができる。当初、追跡状態はオフ又は「いいえ」である。追跡状態にあるとき、グリント支援視線トラッキングシステムは、現フレームを解析する際に前のフレームからの先行情報を使用して、現フレーム内の瞳孔輪郭及びグリントを追跡する。追跡状態にない場合、グリント支援視線トラッキングシステムは、現フレーム内の瞳孔及びグリントを検出しようとし、それに成功した場合、追跡状態を「はい」に初期化し、追跡状態で次のフレームに続く。
図６に示すように、視線トラッキングカメラは、ユーザの左目及び右目の左右の画像をキャプチャすることができる。次いで、キャプチャされた画像は、６１０で開始される処理のために視線トラッキングパイプラインに入力される。要素６００に戻る矢印によって示されるように、視線トラッキングシステムは、例えば、毎秒６０～１２０フレームの速度で、ユーザの目の画像をキャプチャし続けることができる。いくつかの実施形態では、キャプチャされた画像の各セットが、処理のためにパイプラインに入力されてもよい。しかしながら、いくつかの実施形態、又はいくつかの条件下では、全てのキャプチャされたフレームがパイプラインによって処理されるわけではない。
６１０で、現在のキャプチャされた画像について、追跡状態がはいである場合、この方法は要素６４０に進む。６１０で、追跡状態がいいえである場合、６２０に示されるように、画像が解析されて、画像内のユーザの瞳孔及びグリントを検出する。６３０で、瞳孔とグリントが正常に検出される場合、方法は要素６４０に進む。正常に検出されない場合、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。
６４０で、要素４１０から進む場合、前のフレームからの先行情報に部分的に基づいて、現フレームが解析されて、瞳孔及びグリントを追跡する。６４０で、要素６３０から進む場合、現フレーム内の検出された瞳孔及びグリントに基づいて、追跡状態が初期化される。要素６４０での処理の結果は、追跡又は検出の結果が信頼できることを確認するためにチェックされる。例えば、結果は、瞳孔及び視線推定を実行するための十分な数のグリントが現フレームで正常に追跡又は検出されるかどうかを判定するためにチェックすることができる。６５０で、結果が信頼できない場合、追跡状態はいいえに設定され、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。６５０で、結果が信頼できる場合、方法は要素６７０に進む。６７０で、追跡状態ははいに設定され（まだはいではない場合）、瞳孔及びグリント情報が要素６８０に渡されて、ユーザの視点を推定する。
図６は、特定の実装で使用され得るアイトラッキング技術の一例として機能することを意図している。当業者によって認識されるように、現在存在するか、又は将来開発される他のアイトラッキング技術は、様々な実施形態によるＣＧＲ体験をユーザに提供するためにコンピュータシステム１０１において、本明細書に記載されるグリント支援アイトラッキング技術の代わりに、又はそれと組み合わせて使用することができる。
本開示では、コンピュータシステムとの相互作用に関して、様々な入力方法が説明される。一例が１つの入力デバイス又は入力方法を使用して提供され、別の例が別の入力デバイス又は入力方法を使用して提供される場合、各例は、別の例に関して記載された入力デバイス又は入力方法と互換性があり、任意選択的に利用され得ることを理解されたい。同様に、様々な出力方法が、コンピュータシステムとの相互作用に関して説明される。一例が１つの出力デバイス又は出力方法を使用して提供され、別の例が別の出力デバイス又は出力方法を使用して提供される場合、各例は、別の例に関して記載された出力デバイス又は出力方法と互換性があり、任意選択的に利用され得ることを理解されたい。同様に、様々な方法が、コンピュータシステムを介した仮想環境又は複合現実環境との相互作用に関して説明される。実施例が仮想環境との相互作用を使用して提供され、別の例が複合現実環境を使用して提供される場合、各例は、別の例に関して説明された方法と互換性があり、任意選択的に利用され得ることを理解されたい。したがって、本開示は、各実施形態の説明における実施形態の全ての特徴を網羅的に列挙することなく、複数の例の特徴の組み合わせである実施形態を開示する。
ユーザインタフェース及び関連するプロセス
ここで、ユーザインタフェース（「ＵＩ」）の実施形態、及び、表示生成コンポーネント、１つ以上の入力デバイス、及び（任意選択的に）１つ又は複数のカメラを備えた、ポータブル多機能デバイス又はヘッドマウントデバイスなどのコンピュータシステムにおいて実行され得る関連プロセスに注目する。
図７Ａ～７Ｋは、いくつかの実施形態による、電子デバイスがユーザの視線の検出に従ってユーザインタフェースのナビゲーションをどのように提供するかの例を示す図である。
図７Ａは、表示生成コンポーネント１２０を介して、コンテンツ閲覧ユーザインタフェースを表示する電子デバイス１０１を示す。図１～図６を参照して上述したように、電子デバイス１０１は、任意選択的に、表示生成コンポーネント１２０（例えば、タッチスクリーン）及び複数の画像センサ３１４を含む。画像センサ３１４は、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又は任意の他のセンサのうちの１つ以上を含み、電子デバイス１０１は、ユーザが電子デバイス１０１と相互作用している間、ユーザ又はユーザの一部の１つ以上の画像をキャプチャするために使用することができる。
図７Ａに示すように、ユーザインタフェースは、コンテンツ閲覧領域７００を含む。コンテンツ閲覧領域７００は、各アイテムに関連付けられた画像７０２ａ～ｄ及びテキスト７０４ａ～ｄの部分を含む、複数のコンテンツアイテムの表現を含む。図７Ａはまた、電子デバイスで受信されたイベントのインジケーション７０８と、それに応じて表示されるイベントの視覚的インジケーション７０６とを含む。例えば、イベントのインジケーションは、別の電子デバイス又は別の電子デバイスのユーザアカウントからの着信メッセージのインジケーションなど、電子デバイス１０１にアクセス可能なアプリケーションによって生成されたインジケーションである。通知７０６の視覚的インジケーションは、任意選択的に、電子デバイス１０１で受信したメッセージのテキストと、メッセージを送信したユーザアカウントに関連付けられた画像などの、イベントに関連付けられたテキスト及び／又は画像を含む。したがって、いくつかの実施形態では、後述する例外がない場合、デバイス１０１は、通知生成イベントのインジケーションの受信に応じて、表示生成コンポーネント１２０を介して通知の視覚的インジケーション７０６を表示する（例えば、インジケーション７０８）。
図７Ｂは、コンテンツ閲覧領域７００を表示する表示生成コンポーネント１２０を示す。図７Ｂでは、電子デバイス１０１は、ユーザの視線７１６ｐを（例えば、１つ以上の画像センサ３１４を使用して）検出し（例えば、ユーザの視線位置は、テキスト７０４ａと一致している）、ユーザの視線が、ユーザがコンテンツのアイテムのうちの１つのテキスト７０４ａを読んでいることを示していると判定する。いくつかの実施形態では、電子デバイス１０１は、ユーザの視線の動きを追跡し、読み取りと一致する目の動きと動きが一致するかどうかを判定することによって、ユーザが読書しているかどうかを判定する。例えば、人々が読むとき、視線は、任意選択的に、テキストの行を読んでいる間に、関連する言語（例えば、図７Ｂに示すように、ラテン語の場合は左から右に）のテキストの方向にテキストの行に沿って徐々に移動し、ユーザがテキストの行を読んだ後、視線は、任意選択的に、次の行を見る前に、ちょうど読んだ行に沿って反対方向（例えば、右から左）に移動する。電子デバイス１０１は、任意選択的に、検出されたユーザの視線の動きをこのパターンと比較して、ユーザが読書しているか否かを判定する。
図７Ｂに示すように、ユーザがコンテンツアイテムのテキスト７０４ａを読んでいることを検出したことに応じて、電子デバイス１０１は、図７Ｃに示すようにユーザインタフェースを更新する。図７Ｃに示すように、電子デバイス１０１は、元のコンテンツ閲覧ユーザインタフェース７００）に重ね合わされた拡張コンテンツ領域７１４内に、コンテンツのテキストの追加部分７１０ａ及びコンテンツに含まれる別の画像７１２ａと共に、コンテンツのアイテムの画像７０２ａ及びテキスト７０４ａを表示する。したがって、いくつかの実施形態では、拡張コンテンツ領域７１４は、コンテンツ閲覧ユーザインタフェース７００では見えなかったコンテンツの部分（例えば、テキスト７１０ａ、画像７１２ａ）を含む。デバイス１０１は、任意選択的に、表示されたユーザインタフェースを他の方法で変更し、これは、以下で更に詳細に説明される。
上述したように、電子デバイス１０１は、画像センサ３１４を使用して、図７Ｂに示すようにテキスト７０４ａを見ている間のユーザの目の動きがユーザの読書に対応するか否かを判定することができる。いくつかの実施形態では、電子デバイス１０１が、ユーザがコンテンツアイテムのテキスト７０４ａを読むことなく単に見ている、又はそれを読むことなくテキストをざっと読んで／流し読みしていることを検出した場合、電子デバイス１０１は、図７Ｃに示すユーザインタフェースを表示するようにディスプレイを更新する代わりに、図７Ｂに示すユーザインタフェースを表示し続ける。しかしながら、いくつかの実施形態では、電子デバイス１０１は、テキスト７０４ａを読むことなく見ているユーザを検出したことに応じてユーザインタフェースの更新を取り止め、ユーザがテキスト７０４ａをざっと読む又は流し読みしていることを検出したことに応じて、図７Ｃに示すようにユーザインタフェースを更新する。
図７Ｂに示されるように、ユーザインタフェースのコンテンツ閲覧領域７００は、第１のコンテンツアイテムの画像７０２ａ及びテキスト７０４ａ、並びに別のコンテンツアイテムの画像７０２ｂ及びテキスト７０４ｂなどのコンテンツの複数のアイテムの表現を含む。図７Ｃに示されるように、電子デバイス１０１が第１のコンテンツアイテムの追加部分を有する他の領域７１４を含むようにユーザインタフェースを更新するとき、他のコンテンツアイテム（例えば、ユーザが読んでいると判定されなかったコンテンツアイテム）は拡張されない（例えば、電子デバイス１０１は、他のコンテンツアイテムの追加部分を表示しない）。
同様に、図７Ｂにおいて、ユーザが第１のコンテンツアイテムのテキスト７０４ａを読む代わりに第２のコンテンツアイテムのテキスト７０４ｂを読むことを開始した場合、電子デバイス１０１は、図７Ｃに示される第１のコンテンツアイテムの追加領域７１４を電子デバイス１０１が表示する方法と同様の方法で、第２のコンテンツアイテムの追加部分を有するユーザインタフェース領域を含むようにユーザインタフェースを更新する。電子デバイス１０１は、任意選択的に、図７Ｂに示すコンテンツ閲覧ユーザインタフェース７００を表示している間に、（任意選択的にコンテンツの他のアイテムを拡張せずに）ユーザが読み始めようとする任意のコンテンツの他のアイテムを同様に拡張する。
図７Ｃに示すように、ユーザインタフェースの拡張コンテンツ領域７１４にコンテンツの第１のアイテムを表示している間に、電子デバイス１０１は、ユーザインタフェースのコンテンツ閲覧領域７００（及びコンテンツ閲覧領域７００内のコンテンツの他のアイテム）を表示し続ける。コンテンツ閲覧領域７００（及びそこに表示されるコンテンツのアイテム）は、拡張コンテンツ領域７１４内の第１のコンテンツアイテムの追加部分７１０ａ及び７１２ａを表示している間に、強調解除された外観で表示される。例えば、図７Ｃに示すように、コンテンツ閲覧領域７００（及びその中に表示されたコンテンツアイテム）は、図７Ｂに示すように、第１のコンテンツアイテムを拡張する前にコンテンツ閲覧領域７００が表示された方法と比較して、暗い色及びより小さいサイズで表示される。いくつかの実施形態では、電子デバイス１０１は、拡張コンテンツ領域７１４を表示する前にコンテンツ閲覧領域７００（及びそこに表示されるコンテンツアイテム）が表示された方法と比較して、拡張コンテンツ領域７１４を表示している間に、コンテンツ閲覧領域７００（及びそこに表示されるコンテンツアイテム）を増加した透明度で表示する。
また、図７Ｃに示されるように、第１のコンテンツアイテムを含む拡張コンテンツ領域７１４は、ユーザインタフェースのコンテンツ閲覧領域７００に重ねて表示される。いくつかの実施形態では、ユーザインタフェース内の拡張コンテンツ領域７１４のｚ高さは、拡張コンテンツ領域７１４が表示される前のコンテンツ閲覧領域７００のｚ高さと同じである（例えば、図７Ｂのコンテンツ閲覧領域７００のｚ高さ）。いくつかの実施形態では、図７Ｂに示すユーザインタフェースから図７Ｃに示すユーザインタフェースにユーザインタフェースを更新するとき、電子デバイス１０１は、任意選択的に、コンテンツ閲覧領域７００をユーザインタフェース内のより低いｚ高さに移動する。
図７Ｃに示すように、いくつかの実施形態では、電子デバイス１０１は、図７Ｂに示すように、コンテンツアイテムがコンテンツ閲覧ユーザインタフェース７００に表示されたユーザインタフェースと同じ位置（例えば、表示領域内の同じ水平及び／又は垂直位置）で、ユーザインタフェースの拡張コンテンツ領域７１４にコンテンツアイテムを表示する（例えば、画像７０２ａ及びテキスト７０４ａは、図７Ｂ及び図７Ｃの表示領域内の同じ水平及び／又は垂直位置に表示される）。また、図７Ｃに示すように、コンテンツアイテムの幅は任意選択的に同じであり、コンテンツアイテムは、コンテンツアイテムが図７Ｂに示すコンテンツ閲覧領域７００に表示されたときのように拡張コンテンツ領域７１４に表示される。図７Ｃに示されるように、コンテンツの高さは、拡張コンテンツ領域７１４に表示されるときにコンテンツの追加部分７１０ａ及び７１２ａを明らかにするように変化する。いくつかの実施形態では、コンテンツの高さは、図７Ｂと図７Ｃとの間で同じままである。いくつかの実施形態では、コンテンツアイテムのテキストのサイズは、図７Ｂと図７Ｃとの間で同じままであり、これにより、いくつかの状況では、ユーザの注意を逸らし得るテキストの不快な動き又はサイズ変更が回避される。
いくつかの実施形態では、図７Ｂのユーザインタフェースから図７Ｃのユーザインタフェースに遷移するときにユーザインタフェース内の同じ位置にコンテンツを表示するのではなく、電子デバイス１０１は、表示生成コンポーネント１２０の表示領域の中央（又は他の所定の位置）の拡張コンテンツ領域７１４にコンテンツを表示する。いくつかの実施形態では、電子デバイス１０１は、図７Ｂのコンテンツ閲覧領域７００にコンテンツアイテムが表示されたのと同じ位置で拡張コンテンツ領域７１４にコンテンツを最初に表示し、ユーザが拡張コンテンツ領域７１４のコンテンツアイテムを読み続けると、拡張コンテンツ領域７１４のコンテンツ、及び拡張コンテンツ領域自体７１４を表示領域の中心（又は他の所定の位置）に徐々に移動させる（例えば、ユーザが拡張コンテンツ領域内のコンテンツをますます読むにつれて、拡張コンテンツ領域をますます移動させる）。
図７Ｂのユーザインタフェースを図７Ｃのユーザインタフェースに更新するとき、電子デバイス１０１はまた、任意選択的に、コンテンツの第１のアイテムを表示するためのユーザインタフェースの部分を増加させる。例えば、図７Ｂの第１のコンテンツアイテムのコンテンツを表示するための表示領域の量は、任意選択的に、図７Ｃの第１のコンテンツアイテムのコンテンツを表示するための表示領域の量よりも小さい。その結果、コンテンツ閲覧領域７００に表示されたよりも多くの第１のコンテンツアイテムを拡張コンテンツ領域７１４に表示することができる。
いくつかの実施形態では、電子デバイス１０１は、図７Ｂに示すユーザインタフェースから図７Ｃに示すユーザインタフェースへの遷移を徐々にアニメーション化する。電子デバイスは、任意選択的に、ユーザがコンテンツアイテムのテキスト７０４ａを読む速度に比例する速度でアニメーションを進行させる（例えば、ユーザがより多くのテキスト７０４ａを読むと、図７Ｃへのより多くの遷移が完了する）。例えば、ユーザが図７Ｂに示されるコンテンツアイテムのテキスト７０４ａの部分を読む場合、電子デバイスは任意選択的にアニメーションの部分を表示する。別の例として、ユーザがコンテンツアイテムのテキスト７０４ａの大部分を読む場合、電子デバイス１０１はアニメーションの大部分を表示する。
図７Ｃに戻ると、ユーザがコンテンツアイテムのテキスト７０４ａ又は７１０ａの読み取りを停止し、コンテンツアイテムから目を離す（例えば、ユーザインタフェース内の位置７１６ｃを見る）場合、電子デバイス１０１は、任意選択的に、ユーザインタフェースを図７Ｂに示すユーザインタフェースに戻す。いくつかの実施形態では、電子デバイス１０１は、代わりに、以下に説明する方法１０００の１つ以上のステップに従って、図７Ｂ及び図７Ｃに表示されたユーザインタフェース間をナビゲートする。いくつかの実施形態では、電子デバイス１０１は、（例えば、画像センサ３１４を使用して）ユーザがコンテンツアイテムのテキスト７０４ａ及び／又は７１０ａの読み取りを停止したことを検出したことに応じて、図７Ｃに示すユーザインタフェースから図７Ｂに示すユーザインタフェースにユーザインタフェースを戻す。更に、いくつかの実施形態では、電子デバイス１０１が図７Ｂに示すユーザインタフェースから図７Ｃに示すユーザインタフェースにユーザインタフェースを更新するアニメーションを表示している間に、ユーザがコンテンツアイテムから（例えば、位置７１６ｃへ）目を離すと、電子デバイスは、ユーザインタフェースを図７Ｂに示すユーザインタフェースに戻す。
いくつかの実施形態では、電子デバイス１０１は、ユーザがユーザインタフェースに表示されたコンテンツのアイテムを読んでいる間、イベントのインジケーションの表示又は生成７０６を取り止める（例えば、拡張コンテンツ領域７１４、又はコンテンツ閲覧領域７００において）。例えば、図７Ａに示すように、ユーザがコンテンツ閲覧領域７００のコンテンツアイテムのいずれも読んでいない間に、イベントのインジケーション７０８を検出したことに応じて、電子デバイス１０１は、イベントの通知の視覚的インジケーション７０６を表示する。図７Ｃに示すように、電子デバイス１０１がコンテンツアイテムの部分７０４ａを読んでいるユーザの視線７１６ｂを検出している間に、イベントのインジケーション７０８の受信に応じて、電子デバイス１０１は、図７Ａに表示された通知７０６の視覚的インジケーションの表示を取り止める。いくつかの実施形態では、ユーザがコンテンツアイテムを読むことを停止し、ユーザが他のコンテンツアイテムを読んでいない間に、電子デバイス１０１は、ユーザが読んでいた間に検出されたイベントのインジケーション７０６を表示する。いくつかの実施形態では、電子デバイス１０１は、ユーザがユーザインタフェース内のコンテンツの読み取りを停止したとデバイス１０１が判定した場合でも、イベントの視覚的インジケーション７０６を表示しない。
いくつかの実施形態では、電子デバイス１０１は、コンテンツアイテムのユーザの読み取りに従ってコンテンツアイテムのテキストをスクロールする。図７Ｃでは、電子デバイス１０１は、ユーザインタフェース内の第１の位置７２２ａ（例えば、画像７０２ａの真下）にコンテンツアイテムのテキストの第１の行７２４ａを表示する。電子デバイス１０１はまた、ユーザインタフェースの第２の位置７２２ｂ（例えば、位置７２２ａの真下）にテキストの第２の行７２４ｂを表示する。
ユーザがテキストの第１の行７１６ｂを読み終えたことを示すユーザの視線７２４ａを検出したことに応じて、電子デバイス１０１は、図７Ｄに示すようにテキストをスクロールする。図７Ｄに示すように、スクロールの結果として、テキストの第２の行７２４ｂが第１の位置７２２ａに表示され、テキストの第２の行７２４ｂの後のテキストの第３の行７２４ｃが第２の位置７２２ｂに表示される。電子デバイス１０１はまた、テキスト７１０ａ及び画像７１２ａなどのコンテンツアイテムの残りの部分を上にスクロールする。いくつかの実施形態では、位置７２２ａ及び７２２ｂは、ユーザインタフェースの残りの部分に対して固定されている。いくつかの実施形態では、テキストの第２の行７２４ｂをユーザインタフェースの位置７２２ａにスクロールした後、電子デバイスはテキストの第１の行７２４ａの表示を停止する。いくつかの実施形態では、画像７１２ａはスクロールしない。
図７Ｃに戻ると、いくつかの実施形態では、電子デバイス１０１は、ユーザがテキストの行７２４ａを読み終えたことを電子デバイスが検出するまでコンテンツをスクロールしない。ユーザがテキストの行を読み終わらずにテキストの行７２４ａを読んでいることを検出している間に、電子デバイス１０１は、ユーザインタフェースにおいてコンテンツの現在のスクロール状態を維持する（例えば、コンテンツのスクロールを取り止める）。更に、電子デバイス１０１は、ユーザが読むことなくコンテンツアイテムを見たり、ユーザインタフェースの他の場所を見たり、ユーザインタフェースから目を離したりしたことを検出したことに応じて、任意選択的にコンテンツのスクロールを取り止める。いくつかの実施形態では、ユーザがテキスト７２４ａを完全に読むのではなく、テキスト７２４ａを流し読み又はざっと読んでいることを検出したことに応じて、電子デバイス１０１はまた、コンテンツアイテムのスクロールを取り止める。いくつかの実施形態では、電子デバイス１０１は、ユーザがテキストをざっと読む又は流し読みしている間にテキストをスクロールする。例えば、画像センサ３１４を使用して、ユーザがコンテンツアイテムをざっと読み又は流し読みしていることを検出している間に、ユーザがテキストの第１の行７２４ａをざっと読み又は流し読みし終えたことを検出したことに応じて、電子デバイス１０１は、任意選択的に、図７Ｄに示される位置までテキストをスクロールする。要約すると、いくつかの実施形態では、ユーザの視線がユーザがテキストの行７２４ａを読み終えることに対応しない場合、電子デバイス１０１はコンテンツアイテムのスクロールを取り止める。
いくつかの実施形態では、電子デバイス１０１は、ユーザが今読んだ行７２４ａに沿って逆方向に（例えば、図示されているように、ラテン語の場合は右から左へ）移動するユーザの視線７１６ｂを検出することを含む、ユーザがテキストの第１の行７２４ａを読み終えたことを検出したことに応じてテキストをスクロールする。いくつかの実施形態では、ユーザは、次の行７２４ａを見る前に、ちょうど読んだ行に沿って逆方向を見る－したがって、テキストの行７２４ａに沿って逆方向に移動するユーザの視線７１６ｂを検出することは、ユーザがテキストの次の行７２４ｂを読もうとしていることを示す。いくつかの実施形態では、電子デバイス１０１は、ユーザの視線７１６ｂが第１の位置７２２ａの開始に移動するのと同時（例えば、０．１、０．３、０．５秒などの時間閾値内）に、図７Ｄに示すように、テキストの第２の行７２４ｂが第１の位置７２２ａに移動するように、テキストのスクロール７０４ａのタイミングをとる。このようにして、ユーザは、ユーザインタフェース内の第２の位置７２２ａを見るために視線を下に動かすことなく、ユーザが読んだテキストの第１の行７２４ａと同じ位置７２２ａでテキストの第２の行７２４ｂを読むことができる。
いくつかの実施形態では、ユーザは、コンテンツを読んでいる間に１つ以上のテキストの行をスキップする。例えば、ユーザがテキストの第１の行７２４ａを読み終わり、テキストの第２の行７２４ｂの読み始めようとする代わりに、ユーザはコンテンツアイテムのテキストの部分７１０ａの読み始めようとすると仮定する。ユーザの視線を使用して、ユーザがコンテンツアイテムのテキストの部分７１０ａを読んでいることを検出したことに応じて、電子デバイス１０１は、任意選択的に、部分７１０ａを位置７２２ａまでスクロールする。いくつかの実施形態では、電子デバイス１０１がテキストの部分７１０ａを位置７２２ａまでスクロールする速度は、（例えば、ユーザがテキストの第１の行７２４ａを読み終えたことを検出したことに応じて）電子デバイス１０１が行７２４ｂを位置７２２ａまでスクロールする速度と同じ又はそれより遅い。いくつかの実施形態では、ユーザが部分７１０ａからコンテンツアイテムを読み続けると、ユーザインタフェース内のユーザの現在の読み取り位置は、ユーザインタフェース内の位置７２２ａに徐々に移動する（例えば、部分７１０ａ内のテキストの第１の行を読んだ後の途中の一部、部分７１０ａ内のテキストの第２の行を読んだ後の途中の別の一部など）。
いくつかの実施形態では、電子デバイス１０１は、画像上のユーザの視線を検出したことに応じてコンテンツアイテムの画像をスクロールする。図７Ｄは、コンテンツアイテムの画像７１２ａに向けられたユーザの視線７１６ｄの検出を示す。図７Ｄに示すように画像７１２ａに向けられたユーザの視線７１６ｄを検出したことに応じて、電子デバイス１０１は、図７Ｅに示すように、コンテンツをスクロールして、位置７２２ａに画像７１２ａ（例えば、画像７１２の垂直中心又は他の所定の部分）を表示する。
画像７１２ａを位置７２２ａに表示している間に、電子デバイスは、図７Ｅに示すように、画像７１２ａの下に表示されたコンテンツアイテムのテキスト７１６ｅの部分に向けられたユーザの視線７１０ｂを検出する。それに応じて、電子デバイス１０１は、図７Ｆに示すように、テキスト７１０ｂを画像７１２ａに重なるまでスクロールする（例えば、ユーザインタフェース内で画像７１２ａをスクロールすることなく）。いくつかの実施形態では、デバイス１０１は、ユーザの視線が向けられたテキスト７１０ｂの部分がユーザインタフェース内の位置７２２ａに表示されるように、テキスト７１０ｂをスクロールする。いくつかの実施形態では、デバイスは、ユーザの視線が向けられたテキスト７１０ｂの部分が、画像７１２ａに重ね合わされたユーザインタフェース内の別のスクロール位置に表示されるように、テキスト７１０ｂをスクロールする。いくつかの実施形態では、図７Ｅに示すように、ユーザがテキスト７１０ｂを見ているのを検出したことに応じて、テキスト７１０ｂを図７Ｆを参照して説明した位置までスクロールするのではなく、電子デバイス１０１は、図７Ｅに示すように画像７１２ａを位置７２２ａまでスクロールしてから所定の時間の量が経過したことを検出したことに応じて、又はユーザが単にテキスト７１０ｂを見ているのではなく、読んでいることを検出したことに応じてなど、異なる基準に応じて、テキスト７１０ｂを図７Ｆを参照して説明した位置までスクロールする。
いくつかの実施形態では、図７Ｆに示すユーザインタフェースを表示している間に、電子デバイス１０１は、ユーザの視線を使用して、ユーザが画像７１０ｂに重ね合わされたテキストの部分７１２ａを読んでいることを検出する。ユーザが画像７１０ｂ上に重ね合わされたテキストの部分７１２ａを読んでいることを検出したことに応じて、電子デバイス１０１は、任意選択的に、テキスト７１０ｂがもはや画像上に重ね合わされないように、画像７１２ａを上にスクロールする。任意選択的に、電子デバイス１０１はまた、画像７１２ａを上にスクロールするときと同様に、テキスト７０４ａ及び７１０ａを上にスクロールする（また任意選択的に、テキスト７０４ａ及び７１０ａの一部又は全部を表示することを停止する）。コンテンツアイテムのスクロールは、任意選択的に、図７Ｃ～図７Ｆを参照して説明したように、ユーザの視線に基づいて継続する。
図７Ｃ～図７Ｆに示すように、いくつかの実施形態では、電子デバイス１０１は、テキストを垂直にスクロールする。いくつかの実施形態では、電子デバイス１０１は、ユーザがテキストを読むときにテキストを水平方向にスクロールする。更に、いくつかの実施形態では、電子デバイス１０１は、ユーザの頭部の動き及び／又は視線に「追従」するように（例えば、ユーザの視線と一致し続けるために）テキスト（及び／又はコンテンツアイテムが表示される領域７１４全体）を移動させる。このようにして、例えば、電子デバイス１０１は、ユーザインタフェースの中央などのユーザインタフェース内の所定の位置、図７Ａに示すようにコンテンツアイテムがコンテンツ閲覧領域７００に表示された位置、又は別の所定の位置にコンテンツを表示することができる。
いくつかの実施形態では、コンテンツをスクロールする他の方法が可能である。スクロール方向は、任意選択的に、テキストの垂直スクロール及び水平スクロールの両方を含む。例えば、ユーザが電子コミック本を読んでいる場合、コミック本のパネルは、任意選択的に、必要に応じて垂直及び水平にスクロールして、ユーザが現在ユーザインタフェース内の所定の位置で読んでいるパネルを表示する。いくつかの実施形態では、電子コミック本を表示している間、電子デバイス１０１は、任意選択的に、ユーザがコミックの現在表示されている吹き出しを読むことを終了するまで、電子コミック本の吹き出し及び／又は１つ以上の画像を表示しない（例えば、ユーザが電子コミック本の先行部分を読んでいることに応じて表示される電子コミック本の隠し部分のすぐ前又は他の様態で先行する電子コミック本の吹き出し又は他の部分）。
いくつかの実施形態では、電子デバイス１０１は、音楽、効果音、及び／又は読み上げられているテキストの記録など、コンテンツアイテムのテキスト及び／又は画像に関連付けられたオーディオコンテンツを提示する。電子デバイス１０１は、任意選択的に、ユーザがコンテンツを読む速度と調整された速度でオーディオコンテンツを再生する。
また、いくつかの実施形態では、電子デバイス１０１は、ユーザが読んでいるコンテンツのインジケーション及び／又はユーザがコンテンツを読んでいたタイムスタンプを保存することができる。後に、ユーザが個別の時間に読んでいたコンテンツのアイテムのインジケーションを提示する要求に応じて、電子デバイス１０１は、任意選択的に、ユーザが個別の時間に読んでいたコンテンツアイテムのインジケーションを提示することができる。いくつかの実施形態では、電子デバイス１０１はまた、コンテンツのアイテムのユーザの読み取り進捗を記憶することができ、ユーザがコンテンツのアイテムに戻ると、電子デバイス１０１は、任意選択的に、ユーザが最後に読んだコンテンツの部分のインジケーションを提示する及び／又はユーザが最後に読んだ部分にコンテンツをスクロールする。
いくつかの実施形態では、拡張コンテンツ領域７１４にコンテンツアイテムを表示し、ユーザの視線に従ってコンテンツをスクロールしながら、画像センサ３１４を使用して、ユーザが所定の時間量（例えば、０．５秒、１秒、２秒）目を閉じたことを検出したことに応じて、電子デバイスは、図７Ｃに示すコンテンツアイテムの状態など、コンテンツアイテムを先頭までスクロールする。
いくつかの実施形態では、コンテンツアイテムを流し読み又はざっと読むユーザを検出したことに応じて、電子デバイス１０１は、任意選択的に、コンテンツアイテムの残りの部分とは異なる視覚特性でコンテンツアイテムの１つ以上のキーワードを表示する。例えば、キーワードは、太字及び／又はテキストの残りの部分とは異なる色及び／又はサイズで表示される。
図７Ｃ～図７Ｆを参照して説明したように、電子デバイス１０１は、ユーザがテキストを読んでいることを検出したことに応じて、テキストを下方にスクロールする。いくつかの実施形態では、テキストを上方にスクロールするために視線検出以外の入力が必要である（例えば、デバイス１０１は、任意選択的に、視線入力に応じてコンテンツアイテムを上にスクロールしない）。例えば、電子デバイスは、任意選択的に、タッチスクリーン、マウス、キーボード、動きセンサ、又はユーザインタフェース内でコンテンツアイテムを上方にスクロールするための他の入力デバイスで検出された方向入力など、画像センサ３１４以外の入力デバイスからの入力を検出したことに応じて、テキストを上方にスクロールする。このようにして、デバイス１０１は、上方及び下方の両方のスクロールが視線に基づいて実行された場合に発生する可能性がある、煩雑で不必要な前後方向のスクロールを回避することができる。
図７Ａ～図７Ｃを参照して上述したように、電子デバイス１０１は、ユーザがコンテンツアイテムの部分７０４ａを読んでいることを検出したことに応じて、コンテンツ閲覧領域７００上に重ね合わされた領域７１４を表示する。図７Ｃに示すように、領域７１４は、ユーザが領域７１４を見ている間にコンテンツ閲覧領域７００に対して視覚的に強調され、例えば、領域７１４を領域７００に重ねて表示し、及び／又は領域７１４を完全な色、明瞭性（例えば、ぼやけがない）、及び／又はサイズで表示し、一方でコンテンツ閲覧領域７００をくすんだ色（例えば、低下した飽和）、減少された明瞭性（例えば、ぼやけている）、及び／又は低彩度で表示する。
いくつかの実施形態では、電子デバイス１０１は、ユーザの視線及び／又は頭部の動きに従って、ユーザインタフェースのコンテンツ閲覧領域７００とユーザインタフェースの領域７１４との間をナビゲートする。図７Ｃに戻ると、コンテンツ閲覧領域７００に重ね合わされた領域７１４内にコンテンツアイテムを表示している間に、電子デバイス１０１は、コンテンツ閲覧領域７００上のユーザの視線７１６ｃを検出する。いくつかの実施形態では、電子デバイス１０１はまた、（ユーザの身体に対して）前方及び／又はコンテンツ閲覧領域７００に向かうユーザの頭部の動き（例えば、右に傾いたり、向いたりする）など、１つ以上の基準を満たすユーザの頭部の動きを検出する。ユーザの視線７１６ｃ及び頭部の動きを検出したことに応じて、電子デバイス１０１は、以下でより詳細に説明するように、図７Ａ及び／又は図７Ｂに示すコンテンツ閲覧ユーザインタフェースに戻り始める。
電子デバイス１０１は、任意選択的に、図７Ｃに示すようにコンテンツ閲覧領域７００上に重ね合わされた領域７１４を表示することと、図７Ｂに示すようにコンテンツ閲覧領域を表示することとの間の遷移をアニメーション化する。いくつかの実施形態では、アニメーションは、前方及び／又はコンテンツ閲覧領域７００に向かう頭部の動きの量及び／又は持続時間及び／又はコンテンツ閲覧領域７００上のユーザの視線の持続時間に比例する速度で進行する。図７Ｇ及び図７Ｈは、アニメーションの中間フレームを示す。図７Ｃの前方及び／又はコンテンツ閲覧領域７００に向かうユーザの頭部の動き及びユーザの視線７１６ｃを検出したことに応じて、電子デバイス１０１は、図７Ｇに示されるユーザインタフェースを表示することを含むアニメーションを開始する。図７Ｇに示すように、電子デバイス１０１は、領域７１４の強調を解除（例えば、暗化及び／又はぼやけさせる）し、及び／又はコンテンツ閲覧領域７００を強調（例えば、明るくする及び／又は明瞭性を増加）し始める。いくつかの実施形態では、電子デバイス１０１は、透明度、輝度、飽和度、及び／又はサイズなどの領域７１４及び７００の他の特性を変更する。
図７Ｇに示すように前方及び／又はコンテンツ閲覧領域７００に向かう頭部の動き及びコンテンツ閲覧領域７００上のユーザの視線７１６ｇの検出の継続に応じて、電子デバイス１０１は、図７Ｈに示されるユーザインタフェースを表示することを含むアニメーションを進行させる。図７Ｈに示すように、電子デバイス１０１は、領域７１４の強調を解除（例えば、暗化及び／又はぼやけさせる）し、及び／又はコンテンツ閲覧領域７００の強調表示（例えば、明るくする及び／又は明瞭性を増加）を継続する。また、電子デバイス１０１は、図７Ｇに示すように、領域７１４を縮小されたサイズで表示し、領域７１４及び７００がアニメーションで前に表示されたサイズと比較して増大したサイズでコンテンツ閲覧領域７００を表示する。いくつかの実施形態では、電子デバイス１０１は、透明度、輝度、飽和度、及び／又はサイズなどの領域７１４及び７００の他の特性を変更する。いくつかの実施形態では、（図７Ｃに示すように）コンテンツ閲覧領域７００に向けられたユーザの視線７１６ｃを検出したことに応じて、前方及び／又はコンテンツ閲覧領域７００に向かう頭部の動きを検出することなく、電子デバイス１０１は、図７Ｇ及び図７Ｈに示すアニメーションの表示を開始する。しかしながら、電子デバイスは、任意選択的に、コンテンツ閲覧領域７００に向けられたユーザの視線７１６ｃと基準を満たす頭部の動きの両方が検出されない限り、図７Ｂに示すようにコンテンツ閲覧領域７００に戻るようにナビゲートしない。いくつかの実施形態では、領域７００と７１４との間のナビゲーションを開始するために任意選択で必要とされる対応する頭部の動きなしに、領域７００と７１４との間を前後移動するユーザの視線を検出したことに応じて、デバイス１０１は、２つの領域のサイズ及び／又は動きの変化を表示又はアニメーション化することなく、２つの領域のサイズ以外の１つ以上の視覚特性のみを変更する。例えば、ユーザの視線が領域７１４に向けられている間、領域７１４は完全な明瞭性、色などで表示され、領域７００はより低い明瞭性（例えば、ぼやけている）、色（例えば、グレースケールなどの減少された彩度）などで表示され、ユーザの視線が対応する頭部の動きなしに領域７００に向けられたことに応じて、デバイス１０１は、完全な明瞭性、色などで領域７００を表示し、領域７１４は、より低い明瞭性（例えば、ぼやけている）、色（例えば、グレースケール）などで表示され、逆もまた同様である。
図７Ｈに示すように、前方及び／又はコンテンツ閲覧領域７００に向かう頭部の動き及びコンテンツ閲覧領域７００上のユーザの視線７１６ｈを検出し続けることに応じて（例えば、ユーザの視線及び頭部の動きが１つ以上の所定の基準を満たすことを検出したことに応じて）、電子デバイス１０１は、図７Ｂに示すように、コンテンツ閲覧領域７００を表示するためにアニメーションを進行し続け、拡張コンテンツ領域７１４の表示を停止する。図７Ｂに示すように、コンテンツ閲覧領域７００は、完全なサイズ、完全な色、完全な明瞭性、及び／又は最小の透明度で表示され、領域７１４はもはや表示されない。したがって、ユーザの前方及び／又はコンテンツ閲覧領域７００に向かう頭部の動き及びコンテンツ閲覧ユーザインタフェース７００上のユーザの視線を検出したことに応じて、電子デバイス１０１は、領域７１４からコンテンツ閲覧領域７００に戻るようにナビゲートする。
図７Ｃに戻ると、領域７００に戻るためのナビゲーション基準を満たさないユーザの頭部の動きを検出したこと、又は頭部の動きを全く検出しなかったことに応じて、電子デバイス１０１は、コンテンツ閲覧領域７００に重ね合わされた領域７１４を表示し続ける。また、頭部の動きを検出せずにコンテンツ閲覧領域７００上のユーザ７１６ｃの視線を検出したことに応じて、電子デバイス１０１は、コンテンツ閲覧領域７００に戻るナビゲーションを取り止める。更に、ユーザがナビゲーション基準（例えば、コンテンツ閲覧領域７００への前進又は移動）を満たす頭部の動きを行ったが、コンテンツ閲覧領域７００を見る代わりに領域７１４を見続けた場合、電子デバイス１０１は、コンテンツ閲覧領域７００に戻るナビゲーションを取り止める。
いくつかの実施形態では、電子デバイス１０１は、アニメーションが表示されている間にユーザが領域７１４を見た場合、領域７１４から領域７００にナビゲートするアニメーションを反転させ、コンテンツ閲覧領域７００に戻るナビゲーションを取り止める。図７Ｇに示すように、電子デバイス１０１は、領域７１６ｆからコンテンツ閲覧領域７１４へナビゲートするアニメーションを表示している間に、領域７１４上のユーザの視線７００を検出する。ユーザの視線７１６ｆを検出したことに応じて、電子デバイス１０１は、任意選択的に、コンテンツ閲覧領域７００に戻るナビゲートを停止し、図７Ｃに示すユーザインタフェースを表示する。図７Ｃに示すように、領域７１４は、完全な色、明瞭性、及び／又はサイズ及び／又は最小の透明度で表示され、コンテンツ閲覧領域７００は、図７Ｇに示す領域７１４及び７００の外観と比較して、縮小されたサイズで、より暗い色、より大きいぼやけ、及び／又はより大きい透明度で表示される。
したがって、図７Ａ～図７Ｈを参照して上述したように、電子デバイスは、ユーザの視線及び／又は頭部の動きに従って、ユーザインタフェースの領域間をナビゲートすることができ、テキストの表示を停止することを含む。いくつかの実施形態では、いくつかのテキスト（例えば、通知７０６の視覚的インジケーション、拡張コンテンツ領域７１４に表示されるテキストなど）は、最初に読まれない限り、破棄することができない。例えば、通知及び／又は条項及び条件の視覚的インジケーション７０６は、ユーザがこれらのアイテムのコンテンツを読んだことを電子デバイス１０１が（例えば、画像センサ３１４を用いて）検出するまで表示される。いくつかの実施形態では、ユーザが通知７０６のインジケーションを読んだことを検出したことに応じて、電子デバイスは、通知に関連付けられたアプリケーションを表示する。
いくつかの実施形態では、電子デバイス１０１は、ユーザがコンテンツアイテムの部分を見ており、頭部を前方（例えば、ユーザの身体に対して）に動かしたことを検出したことに応じて、コンテンツアイテムの部分に関連する拡張コンテンツを表示する。例えば、拡張コンテンツは、コンテンツアイテムに含まれる単語の定義、ハイパーリンクのプレビュー、又は画像の拡大（例えば、拡大又は非クロップ）バージョンである。
例えば、図７Ｃを参照すると、電子デバイス１０１は、ユーザが頭部を前方に動かしている間にユーザの視線７１６ａを検出する。図７Ｃに示すように、ユーザの視線７１６ａは、コンテンツアイテムの個別の単語７１８ａ「Ｌｏｒｅｍ」の位置にある。所定の時間量にわたる個別の単語７１８ａに対するユーザの視線７１６ａの検出及び／又は、ユーザの視線７１６ａが個別の単語７１８ａ上にある間、所定の時間量及び／又は所定の距離にわたるユーザの頭部の動きに応じて、電子デバイス１０１は、図７Ｉに示すように単語７１８ａを太字の書体で表示するなど、修正された外観で単語７１８ａを表示する。
図７Ｉに示すように、単語７１８ａ上のユーザの視線７１６ｉ及び前方への頭部の動きを検出し続けることに応じて、電子デバイス１０１は、図７Ｊに示すように、単語７１８ａに関連付けられた拡張コンテンツ７２０ａを表示する。したがって、ユーザの視線及び頭部の動きに応じて、電子デバイス１０１は、最初に、電子デバイス１０１が拡張コンテンツ７２０を表示しようとしているというインジケーションを表示し（例えば、視線が向けられた単語の外観を変更する）、次いで、頭部の動きが維持又は継続され、視線が単語７１８ａに保持されている場合、電子デバイス１０１は拡張コンテンツ７２０ａを表示する。
いくつかの実施形態では、電子デバイス１０１は、図７Ｉに示すユーザインタフェースと図７Ｊに示すユーザインタフェースとの間の遷移をアニメーション化する。アニメーションの進行は、任意選択的に、ユーザの視線が単語７１８ａ上にある持続時間、ユーザが頭部を前方に保持している持続時間、又はユーザが頭部を前方に動かす距離及び／又は速度に比例する。
ユーザが頭部を前方に動かしている間であるが、単語７１８ａの拡張コンテンツを表示する前に、コンテンツアイテムの異なる単語又は画像を見る場合、電子デバイス１０１は、任意選択的に、異なる単語又は画像に関連する拡張コンテンツを表示し、拡張コンテンツが表示されようとしているという視覚的インジケーションを最初に表示し（例えば、他の単語を太字にする）、次いで、頭部の動きが継続又は維持され、視線が保持されている場合に拡張コンテンツを表示することを含む。例えば、図７Ｋに示すように、単語７１８ｂに対するユーザの視線７１６ｎ及び頭部の動きを検出したことに応じて、電子デバイス１０１は、単語７１８ｂに関連する拡張コンテンツ７２０ｂを表示する。
いくつかの実施形態では、電子デバイス１０１は、ユーザが頭部の動きを行わずにコンテンツアイテムの部分を単に見る場合、コンテンツアイテムの部分に関連する拡張コンテンツを表示しない。更に、電子デバイス１０１はまた、ユーザがコンテンツの部分を見ている間に頭部の動きが検出されない限り、電子デバイス１０１が拡張コンテンツ（例えば、単語又はコンテンツの部分を太字にする）を表示しようとしているというインジケーションの表示を取り止める。例えば、図７Ｃを参照すると、頭部の動きを検出せずに単語７１８ａ上のユーザの視線７１６ａを検出したことに応じて、電子デバイス１０１は、図７Ｉのユーザインタフェースを表示する代わりに図７Ｃのユーザインタフェースを表示し続ける。
また、いくつかの実施形態では、電子デバイス１０１が図７Ｉのユーザインタフェースを表示している間にユーザがコンテンツアイテムの異なる部分を見る場合、電子デバイス１０１は、単語７１８ａに関連付けられた拡張コンテンツの表示を取り止める。代わりに、いくつかの実施形態では、電子デバイス１０１は、ユーザが見ているコンテンツアイテムの他の部分に関連付けられた拡張コンテンツ（例えば、コンテンツアイテムの他の部分を太字にすること）が表示されようとしているというインジケーションを最初に表示し、次いで、ユーザが頭部の動きを維持又は継続しながらコンテンツアイテムのその部分を見続ける場合、電子デバイス１０１は、コンテンツアイテムの他の部分に関連付けられた拡張コンテンツを表示する。
例えば、ユーザが頭部を前方に動かしながら単語７１８ａを見ていることを検出したことに応じて、図７Ｉに示すユーザインタフェースを表示している間に、電子デバイスは、任意選択的に、ユーザが単語７１８ｂを見ていることを検出する。ユーザが単語７１８ｂを見ていることを検出したことに応じて、電子デバイス１０１は、任意選択的に、単語７１８ａを太字で表示することを停止し、代わりに単語７１８ｂを太字で表示する。次に、この例では、ユーザが単語７１８ｂを見続け、頭部の前方への移動を継続又は維持する場合、電子デバイス１０１は、図７Ｋに示すように、単語７１８ｂに関連付けられた拡張コンテンツ７２０ｂを表示する。
いくつかの実施形態では、図７Ｊ及び図７Ｋに示すように、電子デバイスは、拡張コンテンツ領域７１４内に拡張コンテンツ７２０を表示する。いくつかの実施形態では、拡張コンテンツ７２０は、拡張コンテンツ７２０が対応する単語の上又は近くに重ねて表示される。図７Ｊ及び図７Ｋは、コンテンツのテキスト又は画像（単数又は複数）に重ね合わされずに拡張コンテンツ領域７１４に表示された拡張コンテンツ７２０ａを示しているが、いくつかの実施形態では、拡張コンテンツ７１４は、拡張コンテンツ領域７１４に表示されたコンテンツアイテムに重ね合わされる。
しかしながら、いくつかの実施形態では、個別の単語に対応する拡張コンテンツが表示されると、異なる単語を見ても、電子デバイス１０１は、他の単語を太字の書体で及び／又はその他の単語の拡張コンテンツを表示しない。例えば、図７Ｊを参照すると、単語７１８ａに関連付けられた拡張コンテンツ７２０ａが表示されている間にユーザが単語７１８ｂを見る場合、電子デバイス１０１は、単語７１８ｂを太字の書体で表示するようにユーザインタフェースを更新しない。いくつかの実施形態では、ユーザは、拡張コンテンツが表示される前には、拡張コンテンツが表示されるコンテンツの部分を変更することができるが、後には変更することができない。
図７Ｉに戻ると、電子デバイス１０１が単語７１８ａに関連付けられた拡張コンテンツを表示しようとしていることを示すために単語７１８ａを太字で表示している間に、電子デバイス１０１がユーザが頭部を後方に動かしたことを検出した場合、電子デバイス１０１は拡張コンテンツを表示するプロセスを停止する。頭部の後方への動きを検出したことに応じて、電子デバイス１０１は、単語７１８ａの太字表示を停止し、ユーザインタフェースを図７Ｃに示すユーザインタフェースに戻す。
図７Ｊに戻ると、いくつかの実施形態では、電子デバイス１０１が拡張コンテンツ７２０ａを表示している間、電子デバイス１０１は、拡張コンテンツ７２０ａの表示を停止するための１つ以上の基準を任意選択的に検出する。例えば、電子デバイス１０１は、拡張コンテンツ上のユーザの視線７１６ｌを検出したことに応じて拡張コンテンツ７２０ａの表示を任意選択的に停止し、続いてユーザインタフェース内の異なる位置でユーザの視線を検出する（例えば、位置７１６ｊ）。別の例として、電子デバイス１０１がユーザが拡張コンテンツ７２０ａを見ていることを検出し、次いでコンテンツアイテムのテキスト７０４ａ又は７１０ａの読み取りを再開した場合、電子デバイス１０１は拡張コンテンツ７２０ａの表示を停止する。ユーザが拡張コンテンツ７２０ａを見ていないが、画像７０２ａ上の位置７１６ｊを見ているなど、ユーザインタフェースの異なる位置を見ている場合、電子デバイス１０１は任意選択的に拡張コンテンツ７２０ａを表示し続け、ユーザは後でそれを見ることができる。
しかしながら、いくつかの実施形態では、ユーザが拡張コンテンツ７２０ａを見たか否かにかかわらず、電子デバイス１０１がユーザがコンテンツ（例えば、テキスト７０４ａ又は７１０ａ）を読んでいることを検出した場合、電子デバイス１０１は拡張コンテンツ７２０ａの表示を停止する。また、いくつかの実施形態では、ユーザが典型的な瞬きよりも長い所定の時間（例えば、０．５秒、１秒、２秒など）目を閉じていることを検出したことに応じて、電子デバイス１０１は拡張コンテンツ７２０ａの表示を停止する。電子デバイス１０１は、任意選択的に、次第に消える又は遠ざかる拡張コンテンツ７２０ａのアニメーションによって拡張コンテンツ７２０ａの表示を停止する。いくつかの実施形態では、次第に消える又は遠ざかっているが、完全に表示されなくなる前に、ユーザが拡張コンテンツ７２０ａを見る場合、電子デバイス１０１は、図７Ｊに示すように拡張コンテンツ７２０ａを表示するためにユーザインタフェースを元に戻す。
図７Ａ～図７Ｋに関する追加の説明は、以下の図８～１１に関して記載された方法８００～１１００を参照して以下に提供される。
図８Ａ～図８Ｇは、いくつかの実施形態による、ユーザの視線の検出に従ってコンテンツのアイテムを拡張する方法８００を示すフローチャートである。いくつかの実施形態では、方法８００は、コンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上のカメラ（例えば、カメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））は、ユーザの手又はユーザの頭部から前方に向くカメラである。いくつかの実施形態では、方法８００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法８００の一部の動作が任意選択的に組み合わされ、及び／又はいくつかの動作の順序が任意選択的に変更される。
方法８００では、いくつかの実施形態では、表示生成コンポーネント及び視線トラッキングデバイス（例えば、３１４）（例えば、モバイルデバイス（例えば、タブレット、スマートフォン、メディアプレーヤ）、コンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータ）、又はウェアラブルデバイス（例えば、ウォッチ、頭部装着型デバイス）と通信する電子デバイス（例えば、図１のコンピュータシステム１０１）は、表示生成コンポーネント（例えば、１２０）を介して、第１のコンテンツ領域（例えば、７００）を含むユーザインタフェースを表示し（８０２）、第１のコンテンツ領域は、図７Ａに示すように、コンテンツアイテムの第１の部分（例えば、７０４ａ）を含む（例えば、コンテンツアイテムはテキストコンテンツを含み、コンテンツアイテムの第１の部分はテキストコンテンツの第１の部分である）。
いくつかの実施形態では、ユーザインタフェースを表示している間に、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）を介して、図７Ｂのように、電子デバイスのユーザの視線（例えば、７１６ｐ）がコンテンツアイテムの第１の部分（例えば、７０４ａ）に向けられていると判定する（８０４）（例えば、視線トラッキングデバイスは、図６を参照してより詳細に上述したように、ユーザの目の１つ以上の画像を任意選択的にキャプチャし、キャプチャされた１つ以上の画像内の瞳孔及びグリントを検出してユーザの視線を追跡する）。
いくつかの実施形態では、ユーザの視線（例えば、７１６ｐ）が、図７Ｂなどのコンテンツアイテムの第１の部分（例えば、７０４ａ）に向けられているという判定に応じて（８０６）、ユーザの視線（例えば、７１６ｐ）の動きが、ユーザがコンテンツアイテムの第１の部分（例えば、７０４ａ）を読んでいることを示すという判定に従って（８０８）（例えば、電子デバイスは、ユーザの目の検出された動きに基づいて、ユーザが単にコンテンツアイテムの第１の部分を見ているかどうか、又はユーザが実際にコンテンツアイテムの第１の部分を読んでいるかどうかを判定することができる）、電子デバイス（例えば、１０１）は、図７Ｃなどの、第２のコンテンツ領域（例えば、７１４）であって、第２のコンテンツ領域は、コンテンツアイテムの第１の部分（例えば、７０４ａ）と、第１のコンテンツ領域（例えば、７００）に表示されなかったコンテンツアイテムの第２の部分（例えば、７１０ａ）とを含む、第２のコンテンツ領域（例えば、７１４）を含むようにユーザインタフェースを更新する（８１０）（例えば、コンテンツアイテムが表示されるユーザインタフェースの領域を拡張する）。
いくつかの実施形態では、図７Ｂに示される、ユーザがコンテンツアイテムの第１の部分（例えば、７０４ａ）を読んでいることを示すように移動することなく、ユーザの視線（例えば、７１６ｐ）がコンテンツアイテムの第１の部分（例えば、７０４ａ）に向けられているという判定に従って（８１２）（例えば、電子デバイスは、ユーザの目の１つ以上の画像に基づいて、ユーザの目の動きが読み取りと一致する目の動きと一致しないと判定する）、電子デバイス（例えば、１０１）は、図７Ｃに示される第２のコンテンツ領域（例えば、７１４）を含むようにユーザインタフェースを更新することを取り止める（例えば、電子デバイスは、第１のコンテンツ領域と共にユーザインタフェースを表示し続ける）。
いくつかの実施形態では、表示生成コンポーネントは、電子デバイス（任意選択的にタッチスクリーン）及び／又はモニタ、プロジェクタ、テレビなどの外部ディスプレイと統合されたディスプレイである。いくつかの実施形態では、視線トラッキングデバイスは、１つ以上のカメラ（単数又は複数）（例えば、ＩＲカメラ、ＮＩＲカメラ、可視光カメラなど）を含む。
いくつかの実施形態では、ユーザインタフェースは、複数のコンテンツアイテムの部分を含む。例えば、ユーザインタフェースは、デジタル新聞の記事見出し及び／又は１つ以上の記事の部分を含むデジタル新聞ユーザインタフェースである。別の例として、ユーザインタフェースは、電子メールインボックスユーザインタフェースであり、コンテンツアイテムは、電子メールの送信者のインジケーション、電子メールの件名のインジケーション、及び／又は電子メールメッセージのテキストのプレビューを含む電子メールのプレビューである。いくつかの実施形態では、コンテンツアイテムは、１つ以上の画像など、テキスト以外のコンテンツを含む。
電子デバイスは、任意選択的に、ユーザの目の１つ以上のキャプチャ画像を比較して、ユーザの目の動きが読み取りと一致する動きと一致するかどうかを判定する。
例えば、ユーザが記事のテキストの第１の部分を読んでいることを検出したことに応じて、電子デバイスは、記事のテキストの第２の部分の表示を開始する。いくつかの実施形態では、コンテンツアイテムの第１及び第２の部分は、第１のコンテンツ領域を含むユーザインタフェース上に重ねて表示される。いくつかの実施形態では、第２のコンテンツ領域を表示する前に、ユーザがコンテンツの第１の部分を読んでいることを検出したことに応じて、電子デバイスは、第２のコンテンツ領域の緩やかな表示をアニメーション化し始める。例えば、電子デバイスは、コンテンツの第２の部分の一部の表示を開始するか、又は徐々に不透明になる透明な外観で最初にユーザインタフェース上に重ね合わされたコンテンツの第２の部分を表示する。第２のコンテンツ領域の段階的な表示をアニメーション化している間、ユーザが第１のコンテンツアイテムから目を離すのを検出したことに応じて、電子デバイスは、任意選択的に、コンテンツの第２の部分の表示を停止し、第１のコンテンツ領域の表示を再開する。いくつかの実施形態では、ユーザがコンテンツアイテムを読み続けていることを検出したことに応じて、電子デバイスは、コンテンツアイテムの第２の部分の全体の部分を表示すること、又は完全に不透明な第２のコンテンツ領域を表示することなどによって、コンテンツアイテムの第１及び第２の部分を含む第２のコンテンツ領域の表示に完全に遷移する。いくつかの実施形態では、ユーザインタフェースの更新は、電子デバイスと通信する別の入力デバイスから追加の入力を受信することなく、視線トラッキングコンポーネントによって収集されたデータに応じて実行される。
ユーザがコンテンツアイテムの第１の部分を読んでいることを検出したことに応じて、第２のコンテンツ領域をコンテンツアイテムの第１の部分及び第２の部分と共に表示する上記の方法は、ユーザの視線を追跡することを超えてユーザ入力を必要とせずに電子デバイスがコンテンツアイテムを拡張することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがコンテンツを実際に読んでいる場合にのみコンテンツを拡張することによって）、ユーザエラーの低減などにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
図７Ｂのようないくつかの実施形態では、ユーザインタフェースは、第３のコンテンツ領域を更に含み、第３のコンテンツ領域は、第２のコンテンツアイテムの第１の部分（例えば、７０４ｂ）を含む（８１６）（例えば、いくつかの実施形態では、第２のコンテンツアイテムは、テキストコンテンツを含む）。第２のコンテンツアイテムは、任意選択的に、第１のコンテンツアイテムとは異なる。例えば、第１のコンテンツアイテム及び第２のコンテンツアイテムは、デジタル新聞内の記事である。
いくつかの実施形態では、ユーザインタフェースを表示している間に、電子デバイスは、視線トラッキングデバイス（例えば、３１４）を介して、電子デバイスのユーザの視線が第２のコンテンツアイテムの第１の部分（例えば、７０４ｂ）に向けられていると判定する（８１８）（例えば、視線トラッキングデバイスは、図６を参照してより詳細に説明するように、ユーザの目の１つ以上の画像を任意選択的にキャプチャし、キャプチャされた１つ以上の画像内の瞳孔及びグリントを検出してユーザの視線を追跡する）。
いくつかの実施形態では、ユーザの視線が第２のコンテンツアイテムの第１の部分（例えば、７０４ｂ）に向けられていると判定したことに応じて（８２０）、ユーザの視線の動きが、ユーザが第２のコンテンツアイテムの第１の部分（例えば、７０４ｂ）を読んでいることを示しているという判定に従って（８２２）（例えば、電子デバイスは、ユーザが第２のコンテンツアイテムの第１の部分を見ている間のユーザの目の動き（単数又は複数）に基づいて、ユーザが第２のコンテンツアイテムの第１の部分を読んでいると判定することができる）、電子デバイス（例えば、１０１）は、図７Ｃに示すように、電子デバイス（例えば、１０１）がコンテンツ領域（例えば、７１４）を表示する方法と同様の方法で第２のコンテンツ領域を表示することなく、第２のコンテンツアイテムの第１の部分（例えば、７０４ｂ）と第３のコンテンツ領域に表示されなかった第２のコンテンツアイテムの第２の部分とを含む第４のコンテンツ領域を含むようにユーザインタフェースを更新する（８２４）。
いくつかの実施形態では、ユーザが第３のコンテンツ領域に表示された第２のコンテンツアイテムの第１の部分を読んでいることを検出したことに応じて、電子デバイスは、第２のコンテンツアイテムの追加部分を表示する。したがって、電子デバイスが複数のコンテンツアイテム（例えば、第１のコンテンツアイテム及び第２のコンテンツアイテム）を表示している間、電子デバイスは、ユーザがコンテンツアイテムのうちの１つを読み始めたことを検出し、それに応じて、ユーザが読んでいないコンテンツアイテムを拡張することなく、ユーザが読んでいるコンテンツアイテムを拡張する。いくつかの実施形態では、ユーザが第１のコンテンツアイテム又は第２のコンテンツアイテム（又は第１のコンテンツ領域に表示された任意の他のコンテンツアイテム）を見ていないという判定に従って、電子デバイスは、個別のコンテンツアイテムの追加部分（単数又は複数）を有する個別の領域を含むようにユーザインタフェースを更新することを取り止める。
ユーザが第２のコンテンツアイテムを読んでいることを検出したことに応じて第２のコンテンツアイテムの第２の部分を表示し、ユーザが第１のコンテンツアイテムを読んでいることを検出したことに応じて第１のコンテンツアイテムの第２の部分を表示する上記の方法は、電子デバイスが、ユーザが読んでいるコンテンツアイテムの追加部分を提示する効率的な方法を提供することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、コンテンツを拡張するために追加の入力を必要とする代わりに、コンテンツアイテムを拡張するための入力としてユーザ読み取りの検出を受け入れることによって）、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、電子デバイス（例えば、１０１）のユーザの視線（例えば、７１６ｐ）がコンテンツアイテムの第１の部分（例えば、７０４ａ）に向けられていると判定する前に、電子デバイス（例えば、１０１）は、表示生成コンポーネント１２０を介して、図７Ｂ（例えば、電子デバイスは、第１のコンテンツ領域に第１のコンテンツアイテムの第１の部分を表示している間に、コンテンツアイテムの複数の部分を表示する）のように、第１の値を有する視覚特性で１つ以上の他のコンテンツアイテムを表示する（８２６）。
いくつかの実施形態では、ユーザの視線（例えば、７１６ｐ）の動きが、ユーザがコンテンツアイテムの第１の部分（例えば、７０４ａ）を読んでいることを示しているという判定に従って（８２８）、図７Ｃのように、ユーザの視線（例えば、７１６ｐ）がコンテンツアイテムの第１の部分（例えば、７０４ｂ）に向けられていると判定したことに応じて（８３０）、電子デバイス（例えば、１０１）は、図７Ｃのように、第１の値とは異なる第２の値を有する視覚特性で１つ以上の他のコンテンツアイテムを表示するようにユーザインタフェースを更新する（８３２）。いくつかの実施形態では、第２のコンテンツ領域内に第１のコンテンツアイテムを表示している間、電子デバイスは、縮小されたサイズ、減少された不透明度、より暗い、又はより低いコントラスト又は飽和色、及び／又は減少された明瞭性（例えば、より大きいぼやけ）を有する他の（例えば、拡張されていない）コンテンツアイテムを表示する。
電子デバイスは、ユーザが読んでいるコンテンツアイテムを拡張する前に、完全なサイズ、完全な不透明度、完全な色、及び／又は完全な明瞭性を有する複数のコンテンツアイテムを任意選択で表示する。第２のコンテンツ領域の第１のコンテンツアイテムは、任意選択的に、完全な不透明度、完全な色、及び／又は完全な明瞭性で表示される。いくつかの実施形態では、ユーザがコンテンツアイテムの第１の部分を読んでいない及び／又はユーザがコンテンツアイテムの第１の部分を見ていないという判定に従って、電子デバイスは、第１の値を有する視覚特性で１つ以上のコンテンツアイテムを表示し続ける。
ユーザがコンテンツアイテムを読んでいることを検出したことに応じて、１つ以上の他のコンテンツアイテムが表示される視覚特性の値を変更する上記の方法は、ユーザが第２のコンテンツ領域内のコンテンツアイテムを読んでいる間に電子デバイスが視覚的クラッタを低減することを可能にし、拡張されたコンテンツアイテムを読むために気が散ることを低減し、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
図７Ｂ～７Ｃなどのいくつかの実施形態では、視覚特性は、透明度（例えば、不透明度及び／又は明瞭性）であり、第１の値は、第２の値よりも低い透明度に対応する（８３４）。いくつかの実施形態では、電子デバイスが第２のコンテンツ領域に第１のコンテンツアイテムを表示している間、他のコンテンツアイテムの不明瞭性及び／又は明瞭性は減少される（例えば、ぼやけている）。
ユーザがコンテンツアイテムを読んでいることを検出したことに応じて１つ以上の他のコンテンツアイテムの透明度を高める上述の方法は、ユーザが読んでいるコンテンツアイテムから注意を逸らさない方法で電子デバイスが他のコンテンツアイテムを表示し続けることを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザが第２のコンテンツ領域を破棄することなく他のコンテンツアイテムを見ることを可能にすることによって）、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
図７Ｂ～図７Ｃなどのいくつかの実施形態では、視覚特性はサイズであり、第１の値は第２の値よりも大きいサイズに対応する（８３６）。いくつかの実施形態では、電子デバイスは、電子デバイスが第１のコンテンツアイテムを第２のコンテンツ領域に表示している間に、他のコンテンツアイテムのサイズを縮小する。いくつかの実施形態では、第２のコンテンツ領域内のコンテンツは、第１のコンテンツ領域内の元のコンテンツと同じサイズで表示される。
ユーザがコンテンツアイテムを読んでいることを検出したことに応じて他のコンテンツアイテムのサイズを縮小する上記の方法は、ユーザがコンテンツアイテムを読んでいる間、電子デバイスが他のコンテンツアイテムをユーザの気を散らしにくい方法で表示し続けることを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、コンテンツをより速く読むことと、ユーザが第２のコンテンツ領域から離れるようにナビゲートすることなく、他のコンテンツアイテムを見ることとを可能にすることによって）、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、ユーザインタフェースは、図７Ｂに示すように、第３のコンテンツ領域を更に含み、第３のコンテンツ領域は、第２のコンテンツアイテムの第１の部分（例えば、７０４ｂ）を含む（８３８）（例えば、第３のコンテンツ領域は第１のコンテンツ領域と同時に表示される）。第２のコンテンツアイテムは、任意選択的に、テキストコンテンツを含む。
図７Ｃのようないくつかの実施形態では、第２のコンテンツ領域（例えば、７１４）を含むようにユーザインタフェースを更新することは、第３のコンテンツ領域上に重ね合わされた第２のコンテンツ領域（例えば、７１４）を表示することを含む（８４０）。いくつかの実施形態では、第２のコンテンツ領域を表示する前に、電子デバイスは、第１のコンテンツアイテムの第１の部分及び第２のコンテンツアイテムの第１の部分を含む複数のコンテンツアイテムの部分を含むコンテンツ閲覧ユーザインタフェースを表示する。電子デバイスは、コンテンツ閲覧ユーザインタフェース上に重ね合わされた第１のコンテンツアイテムの第１及び第２の部分を含む第２のコンテンツ領域を任意選択で表示する。
第３のコンテンツ領域に重ね合わされた第２のコンテンツ領域を表示する上述の方法は、ユーザがコンテンツアイテムを読んでいる間、電子デバイスが、視覚的にユーザの気を散らしにくい方法で第３のコンテンツ領域を表示し続けることを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがコンテンツアイテムをより迅速に読むことを可能にすると同時に、第２のコンテンツ領域から離れるようにナビゲートすることなく第３のコンテンツ領域を見続けることによって）、これにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、ユーザの視線の動きが、電子デバイスのユーザはコンテンツアイテムの第１の部分（例えば、７０４ａ）を読んでいることを示すと判定する前に、図７Ｂのように、第１のコンテンツ領域（例えば、７００）及び第３のコンテンツ領域は、ユーザインタフェース内の第１のｚ高さに表示され（例えば、他のコンテンツが第１及び第３のコンテンツ領域上に重ならないような上部高さ）、第２のコンテンツ領域（例えば、７１４）を含むようにユーザインタフェースを更新することは、図７Ｃのように、第２のコンテンツ領域（例えば、７１４）をユーザインタフェース内の第１のｚ高さに表示することと、第３のコンテンツ領域のｚ高さをユーザインタフェース内の第２のｚ高さに変更することとを含む（８４２）。いくつかの実施形態では、第２のｚ高さは、第１のｚ高さよりも低い（例えば、ユーザインタフェースに更に戻って）。電子デバイスは、任意選択的に、ユーザがコンテンツを読んでいることを検出したことに応じて、第３のコンテンツ領域に重ね合わされ、第１のコンテンツ領域が表示されたのと同じｚ高さに第２のコンテンツ領域を表示する。いくつかの実施形態では、電子デバイスはまた、第１のコンテンツ領域上に重ね合わされた第２のコンテンツ領域を表示し、第１のコンテンツ領域をより低いｚ高さに移動させる。
ユーザがコンテンツアイテムを読んでいることを検出したことに応じて、第１のコンテンツ領域を第３のコンテンツ領域と同じｚレベルで表示し、第２のコンテンツ領域を第３のコンテンツ領域よりも高いｚレベルで表示する上述の方法は、ユーザがコンテンツアイテムを読んでいる間、電子デバイスが、視覚的にユーザの気を散らしにくい方法で第３のコンテンツ領域を表示し続けることを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがコンテンツアイテムをより迅速に読むことを可能にすると同時に、第２のコンテンツ領域から離れるようにナビゲートすることなく第３のコンテンツ領域を見続けることによって）、これにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
図７Ｃのようないくつかの実施形態では、第２のコンテンツ領域（例えば、７１４）を含むようにユーザインタフェースを更新することは、第２のコンテンツ領域（例えば、７１４）になるように第１のコンテンツ領域のサイズを拡張することを含む（８４４）。いくつかの実施形態では、コンテンツ領域は、１つ以上の寸法で拡張する。例えば、第２のコンテンツ領域は第１のコンテンツ領域よりも長く、電子デバイスが第１のコンテンツ領域よりも第２のコンテンツ領域に多くの第１のコンテンツアイテムを表示することを可能にする。いくつかの実施形態では、コンテンツ領域の高さ及び幅が拡張される。いくつかの実施形態では、第２のコンテンツ領域は、第１のコンテンツ領域が表示されたユーザインタフェース内の同じｚレベルに表示される。
第１のコンテンツ領域を第２のコンテンツ領域になるように拡張する上述の方法は、電子デバイスが視覚的連続性を維持しながら第２のコンテンツ領域にコンテンツアイテムの追加部分を表示することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、第１のコンテンツ領域と第２のコンテンツ領域との間の明確なナビゲーション連続性を提供することによって）、これにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、第２のコンテンツ領域（例えば、７１４）を含むようにユーザインタフェースを更新することは、ユーザがコンテンツアイテムの第１の部分（例えば、７０４ａ）を読み続けている間に、第１のコンテンツ領域を徐々にアニメーション化して第２のコンテンツ領域（例えば、７１４）に変化させることを含む（８４６）。いくつかの実施形態では、アニメーションの進行は、ユーザが第１のコンテンツアイテムを連続的に読んでいる時間量に比例する。例えば、ユーザは、第１のコンテンツアイテムの第１の部分を読み始め、アニメーションが開始し、ユーザが読み続けると、アニメーションは進行し続ける。いくつかの実施形態では、アニメーションは、開始後に所定の持続時間を有する。第２のコンテンツ領域に変化する第１のコンテンツ領域をアニメーション化することは、任意選択的に、第１のコンテンツ領域と第２のコンテンツ領域との間の１つ以上の差の進行をアニメーション化することを含む。例えば、第１のコンテンツ領域のサイズは、第１のコンテンツ領域よりも大きい第２のコンテンツ領域になるように徐々に拡大する。いくつかの実施形態では、ユーザがコンテンツアイテムの読み取りを停止すると、アニメーションは停止又は反転する。
ユーザがコンテンツアイテムを読み続けると、第２のコンテンツ領域に変化する第１のコンテンツ領域を徐々にアニメーション化する上記の方法は、電子デバイスが、コンテンツアイテムの第１の部分を読むと第１のコンテンツ領域が第２のコンテンツ領域に変化するというフィードバックをユーザに提供することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、コンテンツアイテムの読み取りを停止すること、及び／又はコンテンツアイテムから目を離すことによって、例えばユーザに遷移を停止する機会を与えることによって）、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、第２のコンテンツ領域（例えば、７１４）を含むようにユーザインタフェースを更新している間又は後に、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）を介して、図７Ｃのように、電子デバイスのユーザの視線（例えば、７１６ｃ）がもはやコンテンツアイテムに向けられていないと判定する（８４８）（例えば、電子デバイスは、ユーザがコンテンツアイテムを含まないユーザインタフェースの部分（例えば、第２のコンテンツ領域以外の領域）を見ていること、又はユーザがユーザインタフェースから目を離していることを検出する）。例えば、ユーザは、第１のコンテンツアイテムが重ね合わされた異なるコンテンツアイテムを見ている。
いくつかの実施形態では、図７Ｃのように、電子デバイス（例えば、１０１）のユーザの視線（た、７１６ｃ）がもはやコンテンツアイテムに向けられていないと判定したことに応じて、電子デバイス（例えば、１０１）は、図７Ｂのように、第２のコンテンツ領域（例えば、７１４）を表示することなく、第１のコンテンツ領域（例えば、７００）を含むユーザインタフェースを表示する（８５０）。
例えば、第１のコンテンツ領域は、コンテンツアイテムの第１の部分に加えて他のコンテンツアイテムの部分を含むコンテンツ閲覧ユーザインタフェースに表示され、コンテンツアイテムから目を離すユーザを検出したことに応じて、電子デバイスは、その初期サイズ、ｚレベル、及び／又は外観でコンテンツ閲覧ユーザインタフェースを再び表示する。したがって、電子デバイスは、任意選択的に、コンテンツアイテムの大部分を第２の領域に表示する代わりに、コンテンツアイテムの部分を第１のコンテンツ領域（例えば、コンテンツアイテムの第１の部分、又はユーザがコンテンツアイテムから目を離す前に最後に読んだコンテンツアイテムの部分）に表示する。
ユーザがもはやコンテンツアイテムを見ていないことを検出したことに応じて、第２のコンテンツ領域を表示せずに第１のコンテンツ領域を含むようにユーザインタフェースを戻す上記の方法は、ユーザの視線に応じて電子デバイスが追加の入力なしに第１のコンテンツ領域に戻ることを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、第１のコンテンツ領域を再度閲覧するように要求するためにユーザが必要とする入力の数を減らすことによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、第２のコンテンツ領域（例えば、３１４）を含むようにユーザインタフェースを更新している間又は後に、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）を介して、図７Ｃのように、ユーザの視線の動きが、電子デバイスのユーザがコンテンツアイテムを読んでいることをもはや示していないと判定する（８５２）（例えば、いくつかの実施形態では、ユーザは、コンテンツアイテムを見続けたり、ユーザは、ユーザインタフェースの異なる領域（例えば、第２のコンテンツ領域以外の領域）を見たり、ユーザインタフェースから目を離すなど、コンテンツアイテムから目を離したりする）。
いくつかの実施形態では、ユーザの視線の動きが、電子デバイス（例えば、１０１）のユーザがコンテンツアイテムを読んでいることをもはや示していないと判定したことに応じて、電子デバイス（例えば、１０１）は、図７Ｂのように、第２のコンテンツ領域を表示することなく、第１のコンテンツ領域（例えば、７００）を含むようにユーザインタフェースを元に戻す（８５４）。例えば、第１のコンテンツ領域は、コンテンツアイテムの第１の部分に加えて他のコンテンツアイテムの部分を含むコンテンツ閲覧ユーザインタフェースに表示され、ユーザがコンテンツアイテムをもはや読んでいないことを検出したことに応じて、電子デバイスは、その初期サイズ、ｚレベル、及び／又は外観でコンテンツ閲覧ユーザインタフェースを再び表示する。したがって、電子デバイスは、任意選択的に、コンテンツアイテムの大部分を第２の領域に表示する代わりに、コンテンツアイテムの部分を第１のコンテンツ領域（例えば、コンテンツアイテムの第１の部分、又はユーザがコンテンツアイテムを読むことを停止する前に最後に読んだコンテンツアイテムの部分）に表示する。
ユーザがもはやコンテンツアイテムを読んでいないことを検出したことに応じて、第２のコンテンツ領域を表示せずに第１のコンテンツ領域を含むようにユーザインタフェースを戻す上記の方法は、ユーザの視線に応じて電子デバイスが追加の入力なしに第１のコンテンツ領域に戻ることを可能にし、それにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、第１のコンテンツ領域を再度閲覧するように要求するためにユーザが必要とする入力の数を減らすことによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｂのように、ユーザの視線（例えば、７１６ｐ）の動きが、ユーザがコンテンツアイテムの第１の部分（例えば、７０４ａ）を読んでいることを示しているという判定は、視線トラッキングデバイス（例えば、３１４）を用いて、テキストを読んでいることに対応するユーザの目の動きを検出することに基づく（８５６）。いくつかの実施形態では、電子デバイスは、ユーザの視線がテキストの言語を読む方向にテキストの行に沿って移動し（例えば、英語の場合は左から右、ヘブライ語の場合は右から左など）、次いで、次の行へ下を見る前にユーザがちょうど読んだ行に沿って反対方向に素早く（例えば、テキストの言語の方向よりも速く）移動するのを検出することによって、ユーザがコンテンツを読んでいることを検出する。任意選択的に、電子デバイスは、ユーザがテキストの行の全ての単語又は全ての文字を直接見なくても、人が任意選択的に、テキストの行の各文字又は更には各単語を直接見ないで読むので、ユーザが読んでいることを検出する。いくつかの実施形態では、電子デバイスは、ユーザがちょうど読んでいたテキストラインに沿った逆方向へのユーザの視線の動きを検出することによって、ユーザがテキストの行を読み終わったことを検出することができる。
ユーザの目の動きに基づいてユーザがコンテンツを読んでいることを検出する上記の方法は、電子デバイスが、他の入力なしに、ユーザが読んでいるという判定を使用してユーザインタフェースをナビゲートすることを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザインタフェースをナビゲートするのに必要な入力を低減することによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、電子デバイス（例えば、１０１）は、図７Ａに示すように、電子デバイス（例えば、１０１）で、通知イベントのインジケーション（例えば、７０８）を検出する（８５８）（例えば、電子デバイスにアクセス可能なアプリケーションによって生成された警告）。例えば、電子デバイスに関連付けられたユーザアカウント以外のユーザアカウントからのメッセージの受信は、通知イベントの１つのタイプ、電話又はビデオ通話の受信などである。
図７Ａなどのいくつかの実施形態では、通知イベントのインジケーション（例えば、７０８）を検出したことに応じて（８６０）、ユーザの視線の動きが、ユーザがユーザインタフェース内のコンテンツアイテムを読んでいないことを示しているという判定に従って（例えば、電子デバイスは、視線トラッキングデバイスを使用して、ユーザが表示生成コンポーネントによって提示されたコンテンツのいずれも読んでいないと判定する。いくつかの実施形態では、ユーザはそのコンテンツを読むことなく単にユーザインタフェース内のコンテンツを見ており）、電子デバイス（例えば、１０１）は、電子デバイス（例えば、１０１）で、通知イベント（例えば、インジケーションは、通知イベントに関連付けられたテキスト、サウンド、及び／又は触覚フィードバックを含む画像を含む）のインジケーション（例えば、７０６）（例えば、オーディオ、ビジュアルなど）を生成する（８６２）。
図７Ｃなどのいくつかの実施形態では、ユーザの視線の動き（例えば、７１６ｂ）が、ユーザがユーザインタフェース内のコンテンツアイテムを読んでいることを示しているという判定に従って、電子デバイス（例えば、１０１）は、通知イベントのインジケーションの生成を取り止める（８６４）。いくつかの実施形態では、ユーザが読んでいる間、通知イベントのインジケーションは提示されない。ユーザが読み取りを停止したことの検出（例えば、視線トラッキングコンポーネントを介して）に応じて、電子デバイスは、任意選択的に、ユーザが読んでいる間に検出された通知イベントのインジケーション（例えば、以前に抑制された全てのインジケーション、以前に抑制された最後のインジケーションなど）を提示する。
気が散ることなく電子デバイスがコンテンツを提供するために、ユーザがコンテンツを読んでいる間に通知のインジケーションを提示することを取り止める上記の方法により、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがコンテンツをより短い時間で読むことを可能にすることによって）、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、ユーザの視線がコンテンツアイテム の第１の部分（例えば、７０４ａ）に向けられている（例えば、視線トラッキングデバイスを介して）との判定に応じて（８６６）、図７Ｂ（例えば、視線トラッキングデバイスを介して）のように、ユーザの視線（例えば、７１６ｐ）の動きが、ユーザがコンテンツアイテムの第１の部分を読んでいることを示しているという判定に従って（８６８）、電子デバイス（例えば、１０１）は、ユーザがコンテンツアイテムを読み続けると、第２のコンテンツ領域の所定の部分をユーザインタフェースの第１の位置からユーザインタフェースの第２の位置に移動させる（８７０）。
いくつかの実施形態では、電子デバイスは、第２のコンテンツ領域（例えば、第２のコンテンツ領域の垂直及び／又は水平中心）を表示生成コンポーネントの表示領域の中心（例えば、垂直中心及び／又は水平中心）に移動させる。第２のコンテンツ領域の所定の部分は、任意選択的に、コンテンツアイテムのテキスト、画像、又は他のコンテンツを含む。したがって、いくつかの実施形態では、第１のコンテンツ領域は、ユーザインタフェース内の第２の位置以外の位置（例えば、ユーザインタフェース内の第１の位置に表示される）に表示され、第２のコンテンツ領域は、ユーザインタフェース内の第１の位置における第１のコンテンツ領域の拡張を介して表示され、ユーザがコンテンツアイテムを読み続けると、デバイスは、第２のコンテンツ領域がユーザインタフェース内の第２の位置に移動するようにユーザインタフェース／ディスプレイをシフトする。いくつかの実施形態では、ユーザがコンテンツアイテムの第１の部分を読むことなく、コンテンツアイテムの第１の部分を見ているという判定に従って、電子デバイスは、第２のコンテンツ領域の移動を取り止める。
ユーザがコンテンツアイテムを読み続けるときに第２のコンテンツ領域の所定の部分をユーザインタフェース内の第２の位置に移動させる上述の方法は、電子デバイスがユーザインタフェース内の人間工学的な位置にコンテンツアイテムを表示することを可能にし、ユーザがコンテンツを読むことをより容易にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがコンテンツをより速く読むことを可能にすることによって）、これにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、第２のコンテンツ領域をユーザインタフェース内の第１の位置からユーザインタフェース内の第２の位置に移動させることは（８７２）、ユーザがコンテンツアイテムの第１の部分を読んだことを検出したことに応じて、第２のコンテンツ領域を第１の位置から第２の位置への移動の第１の部分に移動させること（８７４）（例えば、ユーザがコンテンツアイテムの第１の部分の第１の部分を読んだことを検出したことに応じて、第２のコンテンツ領域を第１の量だけ最初に移動させる）と、第２のコンテンツ領域を第１の位置から第２の位置への移動の第１の部分に移動させた後、ユーザがコンテンツアイテムの第２の部分を読んだことを検出したことに応じて、第２のコンテンツ領域を第１の位置から第２の位置への移動の第２の部分に移動させること（例えば、ユーザがコンテンツアイテムの第１の部分の第２の部分を読んだことを検出したことに応じて、第２のコンテンツ領域を第２の量だけ移動させること）と（８７６）を含む。
いくつかの実施形態では、電子デバイスは、ユーザが読んだ第１のコンテンツアイテムの量又はユーザが第１のコンテンツアイテムの第１の部分を読むのに費やした時間の量に比例する量だけ第２のコンテンツ領域を移動させる。いくつかの実施形態では、コンテンツ領域を移動させることは、コンテンツ領域の境界を移動させることを含む。いくつかの実施形態では、コンテンツ領域を移動させることは、コンテンツ領域自体の境界を移動させることなく、コンテンツ領域内でコンテンツを移動させることを含む。
ユーザが読んだコンテンツの量に比例する量だけ第２のコンテンツ領域をユーザインタフェース内の第２の位置に移動させる上述の方法は、電子デバイスが視覚的連続性を伴って第２のコンテンツ領域を効率的に移動させることを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、入力を減らすことによって、ユーザは、ユーザインタフェース内の第２の位置への第２のコンテンツ領域の移動を引き起こすように試みることができる）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、ユーザの視線がコンテンツアイテムの第１の部分に向けられている間、かつ第２のコンテンツ領域が表示される前に、コンテンツアイテムの第１の部分はユーザインタフェース内の第１の位置に表示され、第２のコンテンツ領域を含むようにユーザインタフェースを更新することは、ユーザインタフェース内の第１の位置で、第２のコンテンツ領域内のコンテンツアイテムの第１の部分の表示を維持することを含む（８７８）。いくつかの実施形態では、第２のコンテンツ領域の位置は、コンテンツアイテムの第１の部分が移動しないような外観を与えるように選択される。コンテンツアイテムの第１の部分は、任意選択的に、表示生成コンポーネントの同じ位置に表示されるか、又は任意選択的に、ユーザの頭部の動き又は視線に追従するように表示される。
コンテンツアイテムの第１の部分を第１のコンテンツ領域及び第２のコンテンツ領域内のユーザインタフェース内の同じ位置に表示する上述の方法は、電子デバイスが、コンテンツアイテムの第１の部分を移動させることなくコンテンツアイテムの第１の部分を表示することを可能にし、したがって視覚的連続性を維持し、コンテンツアイテムをユーザにとってより読みやすくし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがコンテンツアイテムをより速く読むことを可能にすることによって）、更に、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｂなどのように、第１のコンテンツ領域（例えば、７００）内のコンテンツアイテムの第１の部分は、第１のサイズを有するユーザインタフェースのエリアを占有し、図７Ｃなどのように、第２のコンテンツ領域（例えば、７１４）内のコンテンツアイテムの第１の部分は、第１のサイズを有するユーザインタフェースのエリアを占有する（８８０）。いくつかの実施形態では、コンテンツのサイズは、第１のコンテンツ領域の表示から第２のコンテンツ領域に遷移するときに同じままである。いくつかの実施形態では、コンテンツの幅は同じままであり、長さは変化する（例えば、より多くのコンテンツを縦に表示するために）。例えば、コンテンツの第２の部分は、コンテンツの第１の部分の下に表示され、コンテンツをより長くする。いくつかの実施形態では、コンテンツの幅及び長さは、第１のコンテンツ領域に表示されている状態から第２のコンテンツ領域に表示されている状態に遷移するときに変化する。
第１のコンテンツ領域及び第２のコンテンツ領域において同じサイズで第１のコンテンツアイテムの第１の部分を表示する上述の方法は、電子デバイスが、第１のコンテンツ領域を含むことから第２のコンテンツ領域を表示することへユーザインタフェースを遷移させている間に、ユーザにとって読みやすい方法でコンテンツアイテムの第１の部分を表示し続けることを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがコンテンツをより速く読むことを可能にすることによって）、更に、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
図９Ａ～図９Ｌは、いくつかの実施形態による、ユーザがコンテンツアイテムを読んでいるという判定に従ってコンテンツアイテムのテキストをスクロールする方法９００を示すフローチャートである。いくつかの実施形態では、方法９００は、コンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上のカメラ（例えば、カメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））は、ユーザの手又はユーザの頭部から前方に向くカメラである。いくつかの実施形態では、方法９００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法９００の一部の動作が任意選択的に組み合わされ、及び／又はいくつかの動作の順序が任意選択的に変更される。
方法９００では、いくつかの実施形態では、表示生成コンポーネント（例えば、１２０）及び視線トラッキングデバイス（例えば、３１４）（例えば、モバイルデバイス（例えば、タブレット、スマートフォン、メディアプレーヤ）、コンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータ）、又はウェアラブルデバイス（例えば、ウォッチ、頭部装着型デバイス）と通信する電子デバイス（例えば、１０１）（例えば、コンピューティングシステム（例えば、１０１））は、表示生成コンポーネント（例えば、１２０）を介して、図７Ｃのように、コンテンツアイテムのテキストの第１の部分（例えば、７２４ａ）及びコンテンツアイテムのテキストの第２の部分（例えば、７２４ｂ）を含むユーザインタフェースを表示し（９０２）、テキストの第１の部分（例えば、７２４ａ）は、ユーザインタフェースの第１の位置（例えば、７２２ａ）に表示され、テキストの第２の部分（例えば、７２４ｂ）は、ユーザインタフェースの第２の位置（例えば、７２２ｂ）に表示される（例えば、テキストの第１の部分はテキストの第１の行であり、テキストの第２の部分はテキストの第１の行の下のテキストの第２の行である）。
いくつかの実施形態では、ユーザインタフェースを表示している間に、電子デバイスは、視線トラッキングデバイスを介して、ユーザの視線の動きが、ユーザがテキストの第１の部分を読んでいることを示していると判定する（例えば、視線トラッキングデバイスは、図６を参照してより詳細に上述したように、ユーザの目の１以上の画像を任意選択的にキャプチャし、キャプチャされた１つ以上の画像内の瞳孔及びグリントを検出して、ユーザの視線の位置を判定する）（９０４）。
いくつかの実施形態では、ユーザの視線（例えば、７１６ｂ）の動きが、ユーザがテキストの第１の部分（例えば、７２４ａ）を読んでいることを示している間（９０６）（例えば、電子デバイスが、テキストの第１の部分の読み取りと一致する目の動きを検出し続けている間）に、図７Ｃのように（例えば、ユーザがテキストの第１の部分の最後まで読んでおり、テキストの第２の部分を見始めていることを検出すること）、ユーザの視線（例えば、７１６ｂ）の動きが、ユーザがテキストの第１の部分（例えば、７２４ａ）を読み終わったことを示すという判定に従って、電子デバイス（例えば、１０１）は、図７Ｄのように、テキストの第２の部分（例えば、７２４ｂ）が第１の方向に移動するようにテキストをスクロールする（９１０）（例えば、ユーザの視線が向けられる位置に向かって、テキストの第１の部分によって以前に占有された位置に向かって、又はユーザインタフェースの中心などのユーザインタフェースの所定の部分に向かって）（例えば、ユーザインタフェース内の現在のスクロール位置になるようにテキストの第２の部分をスクロールする）。
いくつかの実施形態では、ユーザの視線の動きが、ユーザが、図７Ｃのテキストの第１の部分（例えば、７２４ａ）を読み終わっていないことを示すという判定に従って（例えば、ユーザは依然としてテキストの第１の部分を読んでいるか、又はテキストの第１の部分を終了せずにテキストの第１の部分から目を離している）、電子デバイス（例えば、１０１）は、図７Ｃのように、テキストの第１の部分（例えば、７２４ａ）を第１の位置（例えば、７２２ａ）に維持する（９１４）（例えば、ユーザインタフェースのスクロールを取り止める）。
いくつかの実施形態では、表示生成コンポーネントは、電子デバイス（任意選択的にタッチスクリーン）及び／又はモニタ、プロジェクタ、テレビなどの外部ディスプレイと統合されたディスプレイである。いくつかの実施形態では、視線トラッキングデバイスは、１つ以上のカメラ（単数又は複数）（例えば、ＩＲカメラ、ＮＩＲカメラ、可視光カメラなど）を含む。
例えば、テキストは、垂直にスクロール可能である。いくつかの実施形態では、テキストの第１の部分は、テキストの行の第１のセクションであり、テキストの第２の部分は、テキストの行の第１のセクションの右（例えば、左から右に読む言語の場合）又は左（例えば、右から左に読む言語の場合）に表示されるテキストの行の第２のセクションであり、テキストは水平方向にスクロール可能である。ユーザインタフェース内の現在のスクロール位置は、任意選択的に、ユーザインタフェースの残りの部分に対して固定されたユーザインタフェース内の位置である（例えば、ユーザインタフェースのウィンドウ内の固定位置）。いくつかの実施形態では、現在のスクロール位置は、ユーザが正面を見ることによって見ることができる位置（例えば、首を曲げずに、目を中立的な高さで真っ直ぐ前を見ることを可能にしながら）など、人間工学的に使いやすいように選択される。いくつかの実施形態では、電子デバイスは、ユーザインタフェースに対するユーザの頭部の動きを検出したことに応じて、現在のスクロール位置の位置を変更する。例えば、ユーザがデスクトップコンピュータに結合されたモニタ上のコンテンツを読んでおり、モニタに対して頭部（又は胴体又は身体を動かして、頭部を動かす）を動かす場合、現在のスクロール位置は、任意選択的に、ユーザの頭部の動きと共に動く。いくつかの実施形態では、テキストの第１の部分の位置は、ユーザの頭部の位置及び向きの検出に基づいて、ユーザにとって人間工学的に使いやすいように選択される。例えば、テキストの第１の部分は、頭部及び／又は目が中立位置にある間にユーザが見ることができる位置に表示される。
更に、いくつかの実施形態では、電子デバイスは、ユーザの目の検出された動きに基づいて、ユーザが単にテキストの第１の部分を見ているかどうか、又はユーザがテキストアイテムの第１の部分を読んでいるかどうかを検出することができる。電子デバイスは、任意選択的に、ユーザの目の１つ以上のキャプチャ画像を比較して、ユーザの目の動きが読み取りと一致する動きと一致するかどうかを判定する。
例えば、ユーザがテキストの行全体を読んでおり、第２のテキストの行の先頭を見るために目を動かしていることを検出する。
例えば、電子デバイスは、テキストの第１の部分が以前に表示された高さでテキストの第２の部分を表示するために、テキストを垂直にスクロールする。別の例として、電子デバイスは、テキストの第１の部分が以前に表示されていた水平位置にテキストの第２の部分を表示するために、テキストを水平方向にスクロールする。テキストの第２の部分の第２のスクロール位置を更新することは、任意選択的に、テキストの第１の部分の位置を更新すること（例えば、テキストの第２の部分のための空間を作るために、テキストの第１の部分を垂直又は水平に移動させる）、又はテキストの第１の部分の表示を停止することを含む。いくつかの実施形態では、ユーザスクロール位置の更新は、電子デバイスと通信する別の入力デバイスから追加の入力を受信することなく、視線トラッキングコンポーネントによって収集されたデータに応じて実行される。
いくつかの実施形態では、電子デバイスは、ユーザインタフェース内のそれぞれの位置にテキストの第１及び第２の部分を表示し続ける。
ユーザがテキストの第１の部分を読み終えたことを検出したことに応じてコンテンツアイテムのスクロール位置を更新する上記の方法は、ユーザが視線トラッキングデバイス以外の入力デバイスからの入力を受信することなく、電子デバイスがユーザが読んでいる速度でスクロールすることを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、スクロールの量の多すぎ又は少なすぎることにおけるユーザエラーを低減し、他の入力デバイスからの入力の必要性を回避することによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって及び／又はユーザ入力エラーを削減することによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、ユーザインタフェースを表示している間に、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）を介して、ユーザの視線が図７Ｃに示すテキストの第１の部分（例えば、７２４ａ）又はテキストの第２の部分（例えば、７２４ｂ）に向けられているが、ユーザの視線の動きが、ユーザがテキストの第１の部分又はテキストの第２の部分を読んでいないことを示すと判定する（９１６）（例えば、ユーザの目の動きが読み取りを示す目の動きに対応していない）。
いくつかの実施形態では、ユーザの視線がテキストの第１の部分（例えば、７２４ａ）又はテキストの第２の部分（例えば、７２４ｂ）に向けられているが、ユーザの視線の動きが、ユーザが図７Ｃに示されるテキストの第１の部分又はテキストの第２の部分を読んでいないことを示すと判定したことに応じて、電子デバイス（例えば、１０１）は、テキストのスクロールを取り止める（９１８）。いくつかの実施形態では、ユーザがテキストを読んでいることを検出したことに応じて、電子デバイスは、テキストをスクロールし、ユーザがテキストを読むことなくテキストを見ていることを検出したことに応じて、電子デバイスは、テキストのスクロールを取り止める（例えば、テキストは、ユーザインタフェース内の現在の位置に留まる）。
ユーザがテキストを読まずにテキストを見ていることを検出したことに応じてテキストのスクロールを取り止める上記の方法は、電子デバイスが不要なスクロールを回避することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、不要なスクロールを元に戻す入力の必要性を低減することによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、ユーザインタフェースを表示している間に、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）を介して、ユーザの視線がもはや図７Ｃに示すテキスト（例えば、７２４ａ）の第１の部分（例えば、７２４ａ）に向けられていないと判定する（９２０）（例えば、ユーザは、テキストの第２の部分を見始めるか、又はユーザインタフェースの任意の他の部分を見るか、又はユーザインタフェースから目を離したりするなど、ユーザインタフェースの異なる部分を見る）。
いくつかの実施形態では、ユーザの視線がもはや図７Ｃに示されるテキストの第１の部分（例えば、７２４ａ）に向けられていないとの判定に応じて（９２２）、ユーザがテキストの第１の部分（例えば、７２４ａ）を読むことなくテキストの第１の部分（例えば、７２４ａ）をざっと読むテキストの第１の部分上のユーザの視線の動きに基づいて検出された判定に従って、電子デバイス（例えば、１０１）は、テキストのスクロールを取り止める（９２４）（例えば、ユーザインタフェース内の同じ位置にテキストの第１の部分及び第２の部分を表示し続ける）。いくつかの実施形態では、ユーザがテキストをざっと読んでいる（又は流し読み）間、ユーザの目の動きは、一般に人々がテキストを読むのとは異なる方法でテキストを流し読みするので、テキストを読むことを示す動きに対応しない。
いくつかの実施形態では、図７Ｃのように、ユーザがテキストの第１の部分（例えば、７２４ａ）を読んだテキストの第１の部分（例えば、７２４ａ）上のユーザの視線（例えば、７１６ｂ）の動きに基づいて検出された判定に従って、電子デバイス（例えば、１０１）は、テキストの第２の部分（例えば、７２４ｂ）が第１の方向に移動するようにテキストをスクロールする（９２６）。いくつかの実施形態では、電子デバイスは、ユーザがテキストを読んでいることを検出したことに応じてテキストをスクロールし、ユーザがテキストをざっと読み又は流し読みしていることを検出したことに応じてテキストをスクロールするのを取り止める。
ユーザがテキストをざっと読んでいることを検出したことに応じてテキストをスクロールすることを取り止める上記の方法は、電子デバイスが、ユーザがテキストをざっと読んでいる間は不規則であり得る、ユーザがテキストのスクロール速度を制御することを可能にすることを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、スクロールエラー及びエラーを修正するのに必要な入力を減らすために、異なる状況でテキストをスクロールする直感的な方法を提供することによって）、更に、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）を介して、図７Ｃに示す検出されたテキストの第１の部分（例えば、７２４ａ）上のユーザの視線の動きに基づいて、ユーザがテキストの第１の部分（例えば、７２４ａ）をざっと読んでいると判定する（９２８）（例えば、ユーザがテキストをざっと読んでいる間、ユーザの視線はテキストを横切って移動するが、読むことを示す目の動きパターンと一致しない）。
いくつかの実施形態では、ユーザがテキストの第１の部分（例えば、７２４ａ）をざっと読むことを終了したという判定に従って、電子デバイス（例えば、１０１）は、図７Ｃ～図７Ｄのように、テキストの第２の部分（例えば、７２４ｂ）が第１の方向に移動するようにテキストをスクロールする（９３０）。いくつかの実施形態では、電子デバイスは、ユーザがテキストを読むか又はざっと読むかのいずれかであることを検出したことに応じて、テキストをスクロールする。いくつかの実施形態では、ユーザがテキストの第１の部分をまだざっと読んでいないという判定に従って、電子デバイスはテキストをスクロールすることを取り止める。
読む又はざっと読むことに応じてテキストをスクロールする上記の方法は、ユーザが視線位置以外のユーザ入力を必要とせずにざっと読んでいるときに電子デバイスがテキストを効率的にスクロールすることを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、テキストをスクロールするのに必要な入力を減らすことによって）、更に、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｃに示されるテキストの第２の部分（例えば、７２４ｂ）が第１の方向に移動するようにテキストをスクロールすることは、ユーザがテキストの第１の部分（例えば、７２４ａ）の終わりに到達し、テキストの第２の部分（例えば、７２４ｂ）の先頭に向かう方向に目を動かしていることを検出したことに応じている（９３２）。
例えば、テキストの第２の部分の先頭は、テキストの（例えば、次）行の最初の単語である。いくつかの実施形態では、電子デバイスは、テキストを読んでいるユーザに対応する目の動きを検出する。読み取りに対応する目の動きは、任意選択的に、ユーザがテキストの行を読むときに単語又は単語の一部を見ているテキストの方向（例えば、英語の場合は左から右）への目の動き、続いて、ユーザがちょうど読んだ行に沿ってテキストの反対方向（例えば、英語の場合は右から左）へ、次いで、次の行の先頭へ下がる目の動きを含む。いくつかの実施形態では、スクロールは、ユーザがちょうど読んだ行に沿ったテキストの反対方向へのユーザの目の動きを検出したことに応じて、及び／又はテキストの次の行の先頭へ下がるユーザの目の動きを検出したことに応じて実行される。
テキストの第２の部分の先頭に向かう目の動きを検出したことに応じてテキストをスクロールする上述の方法は、ユーザがテキストの１つ以上の単語を能動的に読んでいない間に電子デバイスがテキストを一度にスクロールすることを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザを混乱させないように、又はコンテンツ内の自分の位置を失わせないようにスクロールすることによって）、それにより、ユーザがコンテンツをより迅速に読むことを可能にするなど、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｃに示されるテキストの第２の部分（例えば、７２４ｂ）が第１の方向に移動するようにテキストをスクロールすることは、ユーザがテキストの第２の部分（例えば、７２４ｂ）の先頭に向かう方向に目を移動させている間に発生する（９３４）。
例えば、テキストの第２の部分の先頭は、テキストの行の最初の単語である。いくつかの実施形態では、電子デバイスは、テキストを読んでいるユーザに対応する目の動きを検出する。読み取りに対応する目の動きは、任意選択的に、ユーザがテキストの行を読むときに単語又は単語の一部を見ているテキストの方向（例えば、英語の場合は左から右）への目の動き、続いて、ユーザがちょうど読んだ行に沿ってテキストの反対方向（例えば、英語の場合は右から左）への目の動きを含む。いくつかの実施形態では、スクロールは、ユーザがテキストの標準的な読み取り方向の反対方向にちょうど読んだ行に沿ったユーザの目の動きを検出したことに応じて、かつユーザがテキストの反対方向にちょうど読んだ行に沿ってユーザが目を動かしている間に実行される。
ユーザの目がテキストの第２の部分の先頭に向かって移動している間にテキストをスクロールする上記の方法は、ユーザの目がテキストの行の先頭に戻った時点までに、次の行のテキストの先頭がその位置に表示されるように、電子デバイスがテキストを一度にスクロールすることを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザを混乱させないように、又はコンテンツ内の自分の位置を失わせないようにスクロールすることによって）、それにより、ユーザがコンテンツをより迅速に読むことを可能にするなどによって、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｃに示されるテキストの第２の部分（例えば、７２４ｂ）が第１の方向に移動するようにテキストをスクロールすることにより、テキストの第２の部分（例えば、７２４ｂ）は、ユーザが目をテキストの第２の部分（例えば、７２４ｂ）の先頭に向かう方向に動かす間に見るユーザインタフェース内の位置に表示される（９３６）。
例えば、テキストの第２の部分の先頭は、テキストの行の最初の単語である。いくつかの実施形態では、電子デバイスは、テキストを読んでいるユーザに対応する目の動きを検出する。読み取りに対応する目の動きは、任意選択的に、ユーザがテキストの行を読むときに単語又は単語の一部を見ているテキストの方向（例えば、英語の場合は左から右、アラビア語の場合は右から左）への目の動き、続いて、ユーザがちょうど読んだ行に沿ってテキストの反対方向（例えば、英語の場合は右から左、アラビア語の場合は左から右）への目の動きを含む。いくつかの実施形態では、スクロールは、ユーザがテキストの第１の部分に沿って目を逆方向に動かしている間に、テキストの第２の部分がテキストの第１の部分が以前に表示された位置に移動するように実行される。例えば、スクロールは、テキストの第２の部分がユーザが見ている位置に移動されるように時間調整される。例えば、ユーザがテキストの第１の部分の先頭の隣のユーザインタフェース内の位置を見ている間、電子デバイスは、テキストをスクロールし、ユーザが見ているテキストの第２の部分を表示する。したがって、テキストの第２の部分は、ユーザがテキストの第１の部分に沿って逆方向を見終えるときにユーザの視線に「出会う」。
ユーザがテキストの第２の部分の先頭に向かって目を動かしながら見ている位置にテキストの第２の部分が表示されるようにテキストをスクロールする上述の方法は、ユーザがテキストの第２の部分を読もうとしている可能性があるときにテキストがスクロールを終了するように電子デバイスがテキストをスクロールすることを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがテキストをより速く読むことを可能にすることによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される
いくつかの実施形態では、ユーザインタフェースは、図７Ｃのように、ユーザインタフェース内の第１の位置（例えば、７２２ａ）にあるテキストの第１の部分（例えば、７２４ａ）と、ユーザインタフェース内の第２の位置（例えば、７２２ｂ）にあるテキストの第２の部分（例えば、７２４ｂ）と、ユーザインタフェース内の第３の位置にあるコンテンツアイテムのテキストの第３の部分（例えば、７１０ａ）とを含む（例えば、テキストの第１の部分、第２の部分、及び第３の部分は、任意選択的にテキストの行である）（９３８）。例えば、テキストの第２の部分は、テキストの行でもあるテキストの第１の部分の直後のテキストの行であり、テキストの第３の部分は、テキストの第２の行の後のテキストの行である。いくつかの実施形態では、テキストの第３の部分は、テキストの第２の部分の直後に続き、いくつかの実施形態では、テキストの第３の部分とテキストの第２の部分との間に１つ以上の他のテキストの行がある。
いくつかの実施形態では、図７Ｃのように、ユーザの視線（例えば、７１６ｂ）の動きが、ユーザがテキストの第１の部分（例えば、７２４ａ）を読んでいることを示している間に、ユーザの視線（例えば、７１６ｂ）の動きが、ユーザがテキストの第１の部分（例えば、７２４ａ）を読み終わり、テキストの第２の部分（例えば、７２４ｂ）を読み始めていることを示すという判定に従って、電子デバイス（例えば、１０１）は、テキストの第２の部分（例えば、７２４ｂ）が第１の量だけ第１の方向に移動するようにテキストをスクロールする（例えば、テキストの第２の部分は、ユーザがテキストの第１の部分を読んでいた間にテキストの第１の部分が表示されたユーザインタフェース内の位置に移動する）（９４０）。
いくつかの実施形態では、ユーザの視線の動きが、ユーザが図７Ｃに示されるテキストの第１の部分（例えば、７２４ａ）を読み終わり、テキストの第３の部分（例えば、７１０ａ）を読み始めようとしていることを示すという判定に従って、電子デバイス１０は、テキストの第３の部分（例えば、７１０ａ）が第１の量より大きい第２の量だけ第１の方向に移動するように、テキストをスクロールする（９４２）。
いくつかの実施形態では、テキストの第２の部分は、テキストの行である、テキストの第１の部分のすぐ下のテキストの行であり、テキストの第２の部分は、１行の高さだけ上方に進む。いくつかの実施形態では、ユーザがテキストの第１の部分をまだ読み終わっていないという判定に従って、電子デバイスはテキストをスクロールすることを取り止める。
いくつかの実施形態では、テキストの第３の部分は、テキストの第２の部分とテキストの第１の部分との間の距離よりもテキストの第１の部分から遠いテキストの行である。ユーザがテキストの第３の部分を読んでいることを検出したことに応じて、電子デバイスは、任意選択的に、ユーザがテキストの第１の部分を読んでいる間にテキストの第１の部分が表示されたユーザインタフェース内の位置までテキストの第３の部分をスクロールする。したがって、いくつかの実施形態では、ユーザが読んでいるテキストの部分を、テキストの第１の部分が表示されていたユーザインタフェース内の位置に表示するために、テキストの第３の部分は、テキストの第２の部分がスクロールされるよりも長い距離だけスクロールされる。いくつかの実施形態では、テキストの第３の部分は、テキストの第１の部分が表示された位置まで直ちにスクロールされるのではなく、その位置まで途中までスクロールされ、ユーザがより多くのテキストを読むにつれて、最終的に、ユーザが現在読んでいるテキストの部分は、テキストの第１の部分が表示された位置と一致するようにスクロールされる。いくつかの実施形態では、テキストの現在読まれている部分が最終的にユーザインタフェース内のテキストの第１の部分の元の位置に追いつくことができるように、ユーザが単に次のテキストの行に移動する場合よりも、ユーザが複数のテキストの行をスキップする場合の方が、テキストがより多くスクロールされる。
ユーザがテキストの第２の部分を読んでいることを検出したことに応じてテキストの第２の部分を第１の量だけスクロールし、ユーザがテキストの第３の部分を読んでいることを検出したことに応じてテキストの第３の部分を第３の量だけスクロールする上述の方法は、電子デバイスが、ユーザが読んでいるテキストの部分をユーザインタフェース内の一定の位置で表示するように動作することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがコンテンツをより迅速に読むことを可能にすることによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｃに示すテキストの第２の部分（例えば、７２４ｂ）が第１の方向に移動するようにテキストをスクロールすることにより、ユーザインタフェースの第３の領域（例えば、いくつかの実施形態では、画像はコンテンツアイテムの一部であり、コンテンツアイテム内のテキストの第２の部分の後に配置される）に画像（例えば、７１２ａ）が表示される（９４４）。例えば、ユーザインタフェースの第３の領域は、テキストの第２の部分の下にあり、任意選択的に、テキストの第２の部分と画像との間のテキストの他の部分を有する。
いくつかの実施形態では、テキストの第２の部分（例えば、７２４ｂ）が第１の方向に移動するようにテキストをスクロールした後（９４６）、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）を介して、図７Ｄのように、ユーザの視線（例えば、７１６ｄ）が画像（例えば、７１２ａ）に向けられていると判定し（９４８）、ユーザの視線（例えば、７１６ｄ）が画像（例えば、７１２ａ）に向けられていると判定したことに応じて、電子デバイス（例えば、１０１）は、図７Ｅのように、ユーザインタフェース内の第１の位置（例えば、７２２ａ）に画像（例えば、７１２ａ）を表示するために、テキスト及び画像（例えば、７１２ａ）を第１の方向にスクロールする（９５０）。
いくつかの実施形態では、画像は、ユーザがテキストの第１の部分を読んでいた間にテキストの第１の部分が表示されたユーザインタフェース内の位置に表示される。テキスト及び画像をスクロールすることは、任意選択的に、画像の後に表示される追加のテキストを明らかにすることを含む。いくつかの実施形態では、ユーザの視線が画像に向けられていないという判定に従って、電子デバイスは、ユーザインタフェース内の第１の位置に画像を表示するために、テキスト及び画像を第１の方向にスクロールすることを取り止める。
ユーザが画像を見ていることを検出したことに応じてユーザインタフェース内の第１の位置に画像を表示する上記の方法は、電子デバイスが、視線以外の入力を必要とせずに、ユーザにとって快適な閲覧位置に画像を移動させることを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、画像を表示するのに必要な入力の数を減らすことによって）、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、画像（例えば、７１２ａ）をユーザインタフェース内の第１の位置（例えば、７２２ａ）に表示している間に、コンテンツアイテムのテキスト（例えば、テキストの行）の第３の部分（例えば、７１０ｂ）を画像の下に表示する（９５２）。
いくつかの実施形態では、画像（例えば、７１２ａ）をユーザインタフェースの第１の位置（例えば、７２２ａ）に表示し、テキストの第３の部分（例えば、７１０ｂ）を画像（例えば、７１２ａ）の下に表示している間に、電子デバイス（例えば、１０１）は、図７Ｅのように、１つ以上の基準が満たされたと判定する（９５４）（例えば、１つ以上の基準は、ユーザがテキストの第３の部分を読み始めるときに満たされる基準を含む（例えば、ユーザは、テキストの所定の部分（例えば、１単語、２単語、３単語）を読んだか、又は所定の時間の量（例えば、１秒、２秒など）テキストを読んでおり、ユーザがテキストの第３の部分を見るときに満たされる基準、及び／又はユーザが画像から目を離すときに満たされる基準）。
いくつかの実施形態では、１つ以上の基準が満たされたとの判定に応じて、電子デバイス（例えば、１０１）は、図７Ｆなどの画像（例えば、７１２ａ）に重ね合わされるようにテキストの第３の部分（例えば、７１０ｂ）を移動するようにユーザインタフェースを更新する（９５６）。
いくつかの実施形態では、コンテンツは、テキストの第３の部分がユーザインタフェース内の第１の位置に表示されるようにスクロールされる。画像は、任意選択的に、ユーザインタフェース内の第１の位置の上方に延在し、任意選択的に、テキストの第３の部分よりも大きい幅を有する。いくつかの実施形態では、テキストは、テキストとのコントラストが高い背景で表示される。例えば、テキストの第３の部分は、画像上に重ね合わされる白い長方形上に重ね合わされた黒いテキストで表示される。いくつかの実施形態では、画像上に重ね合わされた背景はなく、代わりに、テキストと画像とのコントラストを作成するために、画像のテキスト色及び／又は透明度が変更される。いくつかの実施形態では、テキストの追加部分もまた画像上に重ね合わされる。例えば、テキストの第３の部分はテキストの行であり、追加のテキストの行が画像に重ねて表示される。いくつかの実施形態では、１つ以上の基準が満たされていないという判定に従って、電子デバイスは、画像に重ね合わされるようにテキストの第３の部分を移動するためにユーザインタフェースを更新することを取り止める。
画像上に重ね合わされたテキストの第３の部分を表示する上述の方法は、電子デバイスが、画像の視覚的連続性を維持しながら、現在の関心のあるテキストを現在の読み取り位置に迅速かつ効率的にもたらすことを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザが画像を見て、一緒にコンテンツを読むのにかかる時間を短縮することによって）、これにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｆのように、画像（例えば、７１２ａ）に重ねられたテキストの第３の部分（例えば、７１０ｂ）を表示している間、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）を介して、ユーザの視線の動きが、ユーザがテキストの第３の部分（例：７１０ａ）を読んでいることを示すことを検出する（９５８）（例えば、電子デバイスは、読書と一致する動きに一致するユーザの目の動きを検出する）。
いくつかの実施形態では、ユーザの視線の動きが図７Ｆに示されるテキストの第３の部分（例えば、７１０ｂ）をユーザが読んでいることを示すと判定したことに応じて、電子デバイス（例えば、１０１）は、テキストの第３の部分（例えば、７１０ｂ）がもはや画像（例えば、７１２ａ）上に重ね合わされないように、画像（例えば、７１２ａ）を第１の方向にスクロールする（９６０）。
いくつかの実施形態では、テキストの第３の部分は、ユーザインタフェース内の第１の位置に表示され続け、画像は、ユーザインタフェース内の第１の位置と重ならない位置に表示されるように移動する。例えば、画像は、テキストの第３の部分の上に表示される。いくつかの実施形態では、ユーザがテキストの第３の部分を読んでいないという判定に従って、電子デバイスは、テキストの第３の部分がもはや画像上に重ならないように、画像を第１の方向にスクロールすることを取り止める。
ユーザがコンテンツの第３の部分を読んでいることを検出したことに応じて、テキストの第３の部分がもはや画像上に重ならないように画像をスクロールする上記の方法は、ユーザがコンテンツの第３の部分を読んでいる間に、電子デバイスがテキストの第３の部分の周りの視覚的クラッタを低減することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがコンテンツを迅速に読むことを可能にすることによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、コンテンツアイテムを含むユーザインタフェースを表示している間に、電子デバイスは、視線トラッキングデバイス（例えば、３１４）を介して、ユーザの頭部の水平方向の動きを検出する（例えば、ユーザインタフェースの水平方向に沿った頭部の動き（例えば、左から右））（９６２）。
いくつかの実施形態では、ユーザの頭部の水平方向の動きを検出したことに応じて、電子デバイス（例えば、１０１）は、コンテンツアイテムをユーザの視野の中心の位置に表示するようにユーザインタフェースを更新する（９６４）。
例えば、ユーザが頭部を右に移動させることを検出したことに応じて、電子デバイスは、コンテンツを右に移動させる。したがって、いくつかの実施形態では、電子デバイスは、ユーザが頭部を移動させた後でも、ユーザの視野の（例えば、水平及び／又は垂直）中心にコンテンツを表示する。いくつかの実施形態では、電子デバイスがユーザの頭部の水平方向の動きを検出しない場合、電子デバイスはユーザインタフェースを更新しない。
ユーザの頭部の水平方向の動きを検出したことに応じてコンテンツアイテムを移動させる上記の方法は、電子デバイスが、ユーザが効率的に読むことができる位置にコンテンツアイテムを表示することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがコンテンツをより迅速に読むことを可能にすることによって）、更に、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、第１の方向は、図７Ｃ～図７Ｄなどの、ユーザインタフェース内で垂直である方向である（９６６）。任意選択的に、コンテンツは、複数行のテキストなど、垂直方向にスクロール可能なテキストを含む。いくつかの実施形態では、電子デバイスは、ユーザがテキストの各行を読むにつれて、コンテンツをスクロールする。電子デバイスは、任意選択的に、視線トラッキングデバイス以外の入力デバイスで受信した入力に応じてコンテンツを下方にスクロールし（例えば、ユーザは、コンテンツを上にスクロールする要求に対応する異なる入力デバイスを介して入力を供給する）、ユーザは、任意選択的に、視線ベースの入力のみを提供したことに応じて、コンテンツを下方にスクロールすることができない。
テキストを垂直方向にスクロールする上述の方法は、電子デバイスが、ユーザが既に見ているユーザインタフェース内の垂直位置にテキストを自動的に表示することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがコンテンツをより迅速に読むことを可能にすることによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、第１の方向は、ユーザインタフェースにおいて水平である方向である（９６８）。いくつかの実施形態では、テキストは、水平方向にスクロール可能なテキストの（例えば、単一）行である。例えば、テキストが左から右に読む英語又は別の言語である場合、電子デバイスは、ユーザがテキストを読むと、テキストを左にスクロールする。電子デバイスは、任意選択的に、視線トラッキングコンポーネント以外の入力デバイス（例えば、ユーザは、コンテンツを戻る方向にスクロールする要求に対応する異なる入力デバイスを介して入力を供給する）を介して入力を受信したことに応じて、テキストを逆方向にスクロールすることができ、ユーザは、任意選択的に、視線ベースの入力のみを提供したことに応じて、コンテンツを反対方向にスクロールすることができない。
テキストを水平方向にスクロールする上述の方法は、電子デバイスが、ユーザが既に見ているユーザインタフェース内の水平位置にテキストを自動的に表示することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがコンテンツをより迅速に読むことを可能にすることによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、第１の方向は、ユーザインタフェース内の垂直成分及び水平成分を有する（９７０）。いくつかの実施形態では、コンテンツは、グリッド又は別の二次元アレイに配置される。例えば、コンテンツは、マルチパネルのコミックである。いくつかの実施形態では、ユーザがパネルのコミックのコンテンツを読み終わった後、電子デバイスは、ユーザインタフェースの第１の位置に次のパネルを表示し、したがって、ユーザがユーザインタフェース内の１つの位置で次から次のパネルにコミックを読み続けることを可能にする。
テキストを水平方向及び垂直方向にスクロールする上述の方法は、電子デバイスが、ユーザが既に見ているユーザインタフェース内の位置にテキストを自動的に表示することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがコンテンツをより迅速に読むことを可能にすることによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、電子デバイス（例えば、１０１）は、図７Ｃのように、検出されたテキストの第１の部分（例えば、７２４ａ）上のユーザの視線（例えば、７１６ｂ）の動きに基づいて、ユーザがテキストの第１の部分（例えば、７２４ａ）を読み終わったことを検出する（９７２）。
いくつかの実施形態では、ユーザがテキストの第１の部分（例えば、７２４ａ）を読み終わったことを検出したことに応じて、電子デバイス（例えば、１０１）は、ユーザインタフェース内に、ユーザがテキストの第１の部分（例えば、７２４ａ）を読み終わったと判定する前には表示されていなかったコンテンツアイテムのテキストの第３の部分を表示する（９７４）。
いくつかの実施形態では、電子デバイスは、ユーザが表示されているコンテンツの部分を読み終わると、コンテンツの後続部分の表示を開始する（例えば、ユーザがテキストの第１の部分を読み終わった後にテキストの第２の部分を表示し、ユーザがテキストの第１の部分を読み終わる前にテキストの第２の部分が可視であった／表示されていた場合、テキストの第２の部分は、ユーザがテキストの第１の部分を読み終わる前にユーザインタフェース内で可視である／表示される）。いくつかの実施形態では、ユーザがテキストの第１の部分を読み取っていないという判定に従って、電子デバイスは、コンテンツアイテムのテキストの第３の部分を表示することを取り止める。
ユーザがコンテンツの表示された部分を読み終えるときにコンテンツの後続の部分の表示を開始する上述の方法は、電子デバイスが、ユーザが現在読んでいるコンテンツの部分を、視覚的に気を散らすことなく提供することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがコンテンツをより迅速に読むことを可能にすることによって）、更に、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｃのように、ユーザの視線（例えば、７１６ｂ）の動きが、ユーザがテキストの第１の部分（例えば、７２４ａ）を読んでいることを示していると判定したことに応じて、電子デバイス（例えば、１０１）は、テキストの第１の部分に関連付けられた第１のオーディオを生成する（９７６）（例えば、第１のオーディオは任意選択的に音楽、音響効果、又はテキストの第１の部分のテキストのオーディオ（例えば、テキストの第１の部分のオーディオが読み上げられる）を含む）。
いくつかの実施形態では、図７Ｄに示されるテキストの第２の部分（例えば、７２４ｂ）が第１の方向に移動するようにテキストをスクロールした後、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）を介して、ユーザの視線の動きが、ユーザがテキストの第２の部分（例えば、７２４ｂ）を読んでいることを示していると判定する（９７８）（例えば、電子デバイスは、ユーザがテキストの第２の部分を見ている間に、読み取りと一致するユーザの目の動きを検出する）。
いくつかの実施形態では、ユーザの視線の動きが、ユーザがテキストの図７Ｄに示される第２の部分（例えば、７２４ｂ）を読んでいることを示しているとの判定に応じて、電子デバイス（例えば、１０１）は、テキストの第２の部分に関連付けられた第２のオーディオを判定する（９８０）。例えば、第２のオーディオは、任意選択的に、音楽、サウンドエフェクト、又はテキストの第２の部分のテキストのオーディオ（例えば、テキストの第２の部分のオーディオが読み上げられる）を含む。いくつかの実施形態では、ユーザがテキストの読み取りを停止すると、電子デバイスは、テキストに関連付けられたオーディオの１つ以上の部分の提示を停止する。
ユーザが読んでいる間にユーザが現在読んでいるテキストの部分に対応するオーディオを生成する上記の方法は、ユーザの視線の検出以外の入力を受信することなく電子デバイスがオーディオを再生することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、電子デバイスにコンテンツアイテムと調整されたオーディオを再生させるためにユーザが必要とする入力を減らすことによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｃに示されるテキストの第１の部分（例えば、７２４ａ）に関連する第１のオーディオの進行は、ユーザがテキストの第１の部分（例えば、７２４ａ）を読んでいる速度に対応し、テキストの第２の部分（例えば、７２４ｂ）に関連する第２のオーディオ（例えば、７２４ｂ）の進行は、ユーザがテキストの第２の部分を読んでいる速度に対応する（９８２）。
いくつかの実施形態では、ユーザがテキストを速く読むほど、対応するオーディオコンテンツが速く再生される。同様に、いくつかの実施形態では、ユーザがテキストを読むのが遅いほど、対応するオーディオコンテンツがより遅く再生される。例えば、オーディオコンテンツは、読み上げられているテキストの録音であり、オーディオは、読み上げられているフレーズ及び／又は単語が、ユーザによって現在読まれているフレーズ／単語と同期されるような速度で再生される。
ユーザがテキストを読んでいる速度に対応する速度でオーディオを生成する上記の方法は、ユーザの視線の検出以外の入力を受信することなく、電子デバイスがユーザの読み取り速度と調整されたオーディオを再生することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザの読み取り速度に合わせて調整されたオーディオを電子デバイスに再生させるためにユーザが必要とする入力を低減することによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、ユーザの視線の動きが、ユーザがそれぞれのコンテンツアイテムを読んでいることを示している間に、電子デバイスは、それらのそれぞれのコンテンツアイテムを、ユーザがそれらのそれぞれのコンテンツアイテムを読んでいたそれぞれの時間に関連付ける（例えば、ユーザがコンテンツアイテムを読んでいる間、電子デバイスは、ユーザがコンテンツアイテムを読んでいる時間のタイムスタンプに関連してコンテンツアイテムのインジケーション（又はコンテンツアイテムの特定の部分のインジケーション）を記憶する（９８４）。例えば、ユーザがニュース記事を読んでいる間、電子デバイスは、ニュース記事のインジケーションと、ユーザがニュース記事を読んでいる時間とを記憶する。別の例として、ユーザが電子書籍の個別の章を読んでいる間、電子デバイスは、ユーザが章、ページ、行、及び／又は単語を読んでいる時間のタイムスタンプに関連して、個別の章、ページ、行、及び／又は単語のインジケーションを記憶する。
いくつかの実施形態では、ユーザの視線の動きが、ユーザがそれぞれのコンテンツアイテムを読み終わったことを示した後（９８６）、電子デバイス（例えば、１０１）は、１つ以上の入力デバイスを介して、ユーザが第１の個別の時間に読んでいたコンテンツアイテムに関する情報を提示する要求を受信する（９８８）（例えば、ユーザは、ユーザが第１の個別の時間に読んでいたコンテンツアイテムのインジケーションを提示するように電子デバイスに要求する入力を入力する）。例えば、ユーザは、電子デバイスの仮想アシスタントに「昨日の午後３時に何を読んでいたか？」と尋ね、それに応じて、電子デバイスは、ユーザが前日の午後３時に読んでいたコンテンツアイテム（例えば、章、ページ、行及び／又は単語）のインジケーションを提示する。いくつかの実施形態では、キーボード又はソフトキーボードを介してテキスト入力を提供するなど、他の形態の入力が可能である。
いくつかの実施形態では、ユーザが第１の個別の時間に読んでいたコンテンツアイテムに関する情報を表示する要求の受信に応じて（９９０）、第１の個別の時間が第１の時間であるという判定に従って、電子デバイス（例えば、１０１）は、第１の個別のコンテンツアイテムに関する情報を提示する（９９２）（例えば、ユーザが前日の午前１０時に読んでいたコンテンツに関する情報を要求する場合、電子デバイスは、ユーザが前日の午前１０時に読んでいたコンテンツアイテム又はコンテンツアイテムの部分のインジケーションを提示する）。
いくつかの実施形態では、第１の個別の時間が第２の時間であるという判定に従って、電子デバイス（例えば、１０１）は、第２の個別のコンテンツアイテムに関する情報を提示する（９９４）。例えば、ユーザが、月曜日の午後２時に読んでいたコンテンツアイテムに関する情報を要求した場合、電子デバイスは、ユーザが月曜日の午後２時に読んでいたコンテンツアイテム又はコンテンツアイテムの部分のインジケーションを提示する。いくつかの実施形態では、ユーザは、電子デバイスが記憶された個別の読み取りコンテンツアイテムを有していないときに何を読んでいたかに関する情報を要求する。要求に応じて、電子デバイスは、任意選択的に、ユーザが指示された時間に何も読んでいなかったことを示し、及び／又は関連するコンテンツアイテムが記憶されている要求された時間に最も近い時間にユーザが読んでいたコンテンツアイテムのインジケーションを提示する。いくつかの実施形態では、ユーザが個別の時間にコンテンツアイテムを読んでいなかったという判定に従って、電子デバイスは、ユーザが個別の時間に読んでいなかったというインジケーションを提示する。
ユーザが読んでいるコンテンツアイテムのインジケーションを現在時間に関連して記憶し、個別の時間に読まれていたコンテンツアイテムに関する情報を提示する要求に応じて、個別の時間に読まれていたコンテンツアイテムのインジケーションを提示する上述の方法は、電子デバイスが、コンテンツアイテムに関するタイトル又は他の識別情報を提供されることなく、コンテンツアイテムに効率的にナビゲートすることを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザが以前に見たコンテンツを迅速に想起して見ることを可能にすることによって）、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、コンテンツアイテムを表示している間、電子デバイス（例えば、１０１）は、１つ以上の入力デバイスを介して、コンテンツアイテムの表示を停止する要求を受信し（９９６）、コンテンツアイテムの表示を停止する要求の受信に応じて、コンテンツアイテムの表示を停止する（例えば、１つ以上の基準を満たす頭部の動きを実行している間に、コンテンツアイテムが表示されている表示エリアとは異なる表示エリアを見ているユーザを検出したことに応じて、電子デバイスは、コンテンツアイテムの表示を停止するか、又は以下でより詳細に説明する方法１０００の１つ以上のステップに従って、コンテンツ閲覧ユーザインタフェースにコンテンツアイテムの所定の部分のみを表示する）。電子デバイスは、視線トラッキングデバイス以外の入力デバイスで検出されたユーザ入力に応じて、コンテンツアイテムの表示を任意選択的に停止する。いくつかの実施形態では、電子デバイスは、異なるコンテンツアイテムを表示する要求に対応するユーザ入力、又はコンテンツアイテムを提示するアプリケーションとは異なるアプリケーションのユーザインタフェースに応じて、コンテンツアイテムの表示を停止する。
いくつかの実施形態では、コンテンツアイテムの表示を停止した後、電子デバイス（例えば、１０１）は、１つ以上の入力デバイスを介して、コンテンツアイテムを表示する要求を受信する（例えば、コンテンツアイテムを表示する要求は、任意選択的に、比較的短い時間（例えば、５分～１時間）が経過した後に、又は、より長い時間（例えば、１日以上）が経過した後に受信される）（９９８）。
いくつかの実施形態では、コンテンツアイテムを表示する要求の受信に応じて（９９８－２）、電子デバイスは、個別のコンテンツアイテムを表示する（例えば、いくつかの実施形態では、コンテンツアイテムは、上述したプロセス８００の１つ以上のステップに従って、コンテンツ閲覧ユーザインタフェース上に重ね合わせて表示される）（９９８－４）。
いくつかの実施形態では、コンテンツアイテムの表示が停止される前に、ユーザがコンテンツアイテムのテキストの第１の部分を最後に読んだという判定に従って、電子デバイス（例えば、１０１）は、コンテンツアイテムのテキストの第１の部分のインジケーションを提供する（例えば、コンテンツアイテムのテキストの第１の部分のインジケーションを表示することは、視覚的インジケーションと共にコンテンツアイテムのテキストの第１の部分を表示することを含む）（９９８－６）。
いくつかの実施形態では、コンテンツアイテムの表示が停止される前に、ユーザがコンテンツアイテムのテキストの第２の部分を最後に読んだという判定に従って、電子デバイス（例えば、１０１）は、コンテンツアイテムのテキストの第２の部分のインジケーションを提供する（９９８－８）。
例えば、コンテンツアイテムのテキストの第１の部分がコンテンツアイテムの先頭でない場合でも、コンテンツアイテムは、コンテンツアイテムの第１の部分にスクロールして表示される。いくつかの実施形態では、コンテンツアイテムの先頭は、コンテンツアイテムの第１の部分を含まない場合であっても、コンテンツアイテムの第１の部分のインジケーションと同時に表示される。コンテンツアイテムの第１の部分のインジケーションの選択を検出したことに応じて、電子デバイスは、任意選択的に、コンテンツアイテムをコンテンツアイテムの第１の部分にスクロールする。いくつかの実施形態では、インジケーションは、オーディオ又は視覚的インジケーションのうちの１つ以上である。
いくつかの実施形態では、コンテンツアイテムのテキストの第２の部分のインジケーションを表示することは、視覚的インジケーションと共にコンテンツアイテムのテキストの第２の部分を表示することを含む。例えば、コンテンツアイテムのテキストの第２の部分がコンテンツアイテムの先頭でない場合でも、コンテンツアイテムは、コンテンツアイテムの第２の部分にスクロールして表示される。いくつかの実施形態では、コンテンツアイテムの先頭は、コンテンツアイテムの第２の部分を含まない場合であっても、コンテンツアイテムの第２の部分のインジケーションと同時に表示される。コンテンツアイテムの第２の部分のインジケーションの選択を検出したことに応じて、電子デバイスは、任意選択的に、コンテンツアイテムをコンテンツアイテムの第２の部分にスクロールする。いくつかの実施形態では、インジケーションは、オーディオ又はビデオインジケーションのうちの１つ以上である。
コンテンツアイテムの表示を停止する前にユーザが最後に読んだコンテンツアイテムの部分のインジケーションを表示する上述の方法は、電子デバイスが、ユーザが以前に読んでいたコンテンツアイテムの部分を迅速に提示することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがコンテンツから離れてナビゲートした後にコンテンツの読み取りを再開するのにかかる時間を短縮することによって）、これにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、ユーザインタフェースを表示している間に、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）を介して、所定のタイミング基準でユーザの目が閉じてから開かれたという判定を含めて、ユーザが瞬きをしたと判定する（例えば、ユーザの目は、時間閾値（例えば、０．０５、０．１、０．２、０．５秒、１秒、２秒など）よりも長く閉じられ、その後再び開かれる）（９９８－１０）。いくつかの実施形態では、閾値は、ユーザがユーザインタフェースを見ている間又はコンテンツを読んでいる間にユーザが通常瞬きする時間よりも長い。
いくつかの実施形態では、ユーザが瞬きしたと判定したことに応じて、電子デバイス（例えば、１０１）は、第１の方向とは異なる第２の方向にテキストをスクロール（９９８－１２）して、コンテンツアイテムの前の部分をユーザインタフェース内の第１の位置（例えば、７２２ａ）に表示させる。例えば、電子デバイスは、ユーザが読んでいるときにテキストを下にスクロールし、所定の閾値時間の量よりも長く続くユーザの瞬きを検出したことに応じて、電子デバイスはコンテンツを上にスクロールする。いくつかの実施形態では、コンテンツアイテムの第１の部分は、コンテンツアイテムの先頭である。いくつかの実施形態では、長い瞬きは、コンテンツアイテムをコンテンツアイテムの先頭に戻すようにスクロールさせる。いくつかの実施形態では、長い瞬きは、コンテンツアイテムを増分的に戻してスクロールさせる（各瞬きは逆方向へのスクロールのインクリメントを引き起こす）。いくつかの実施形態では、ユーザの目が所定のタイミング基準で閉じてから開かなかったという判定に従って、電子デバイスは、第２の方向へのテキストのスクロールを取り止める。
所定の閾値時間よりも長く続く瞬きを検出したことに応じてコンテンツアイテムを逆方向にスクロールする上述の方法は、電子デバイスがコンテンツアイテムの以前の部分に効率的にナビゲートすることを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、以前の部分からコンテンツアイテムを読み始めるのに必要な時間を短縮することによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、ユーザインタフェースを表示している間に、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）を介して、ユーザがコンテンツアイテムを流し読みしていると判定する（例えば、テキストを流し読みすることに関連付けられた目の動きは、テキストを読むことに関連付けられた目の動きとは異なる）（９９８－１４）。電子デバイスは、任意選択的に、視線トラッキングデバイスを介して、ユーザがコンテンツを流し読みしていると判定することができる。
いくつかの実施形態では、ユーザがコンテンツアイテムを流し読みしていると判定したことに応じて、電子デバイス（例えば、１０１）は、第１の値を有する視覚特性で、コンテンツアイテムの１つ以上の第１の単語を提示し、第１の値とは異なる第２の値を有する視覚特性で、コンテンツアイテムの第１の単語とは異なるコンテンツアイテムの１つ以上の第２の単語を提示する（９９８－１６）
視覚特性は、任意選択的に、色、不透明度、サイズ、強調表示、又はテキストスタイル（例えば、太字、下線、斜体）のうちの１つ以上である。いくつかの実施形態では、電子デバイスは、任意選択的に、読みやすい外観（例えば、より高いコントラスト色、より高い不透明度、より大きなサイズ、強調表示されている、又は太字、斜体、若しくは下線付きの書体で提示されている）を有するコンテンツアイテムにとって重要であると考えられる１つ以上の所定の単語と、流し読みしやすい外観（例えば、より低いコントラスト色、より低い不透明度、より小さいサイズ、強調表示されていない、又は他の単語が提示されるテキストスタイルで提示されない）を有するコンテンツアイテムの残りの単語とを提示する。例えば、電子デバイスは、白の背景にコンテンツアイテムを表示し、キーワードは黒のテキストで表示され、他の単語はグレーのテキストで表示される。いくつかの実施形態では、ユーザがコンテンツアイテムを流し読みしていないと判定することに従って、電子デバイスは、第１の値を有する視覚特性でコンテンツアイテムの１つ以上の第１の単語を提示すること、及び第１の値とは異なる第２の値を有する視覚特性で、コンテンツアイテムの第１の単語とは異なるコンテンツアイテムの１つ以上の第２の単語を提示することを取り止める。
ユーザがコンテンツを流し読みしていることを検出したことに応じて、異なる視覚特性で第１の単語及び第２の単語を上記のように表示することにより、電子デバイスは、流し読みしやすいようにコンテンツを表示することができ、これにより、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがテキストを流し読みするのにかかる時間を短縮することによって）、これにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｃのように、ユーザの視線（例えば、７１６ｂ）の動きが、ユーザがテキストの第１の部分（例えば、７２４ａ）を読み終えたことを示しているという判定に応じて、テキストの第２の部分（例えば、７２４ｂ）が第１の方向に移動するようにテキストをスクロールした後、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）以外の電子デバイス（例えば、１０１）と通信する１つ以上の入力デバイス（例えば、キーボード、マウス、タッチスクリーン、タッチセンシティブ面、トラックパッド、音声コマンドなどである）を介して、第１の方向とは反対の第２の方向にテキストをスクロールする要求に対応する入力を受信する（９９８－１８）。
いくつかの実施形態では、１つ以上の入力の受信に応じて、電子デバイス（例えば、１０１）は、第２の方向にテキストをスクロールする（９９８－２０）。いくつかの実施形態では、視線トラッキングデバイス以外の入力デバイスで受信した、コンテンツを逆方向にスクロールする要求に応じて、電子デバイスはコンテンツを逆方向にスクロールする。例えば、電子デバイスは、ユーザがコンテンツを読むと自動的にコンテンツを下にスクロールし、コンテンツを上にスクロールする要求に対応するトラックパッドで受信した入力に応じて、電子デバイスはコンテンツを上にスクロールする。いくつかの実施形態では、電子デバイスは、視線トラッキングデバイスを介して検出された入力に応じてコンテンツを逆方向にスクロールしない。例えば、電子デバイスは、ユーザがコンテンツを読むときにコンテンツを下にスクロールし、ユーザが読んでいるコンテンツの個別の部分の上のディスプレイの領域をユーザが見ていることを検出する。この例では、電子デバイスは、単にユーザの視線を検出したことに応じてコンテンツを上にスクロールしない。
視線に応じて第１の方向に、及び視線トラッキングデバイス以外の入力デバイスに応じて第２の方向にコンテンツをスクロールする上述の方法は、電子デバイスが視線に応じて第２の方向にコンテンツをスクロールすることを取り止めることを可能にし、したがって、ユーザがテキストを誤って戻る方向にスクロールすることなくユーザインタフェースを自由に見回すことを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザエラーの可能性を低減し、ユーザエラーを訂正するのに必要な入力を低減することによって）、更に、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
図１０Ａ～図１０Ｇは、いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってユーザインタフェース間をナビゲートする方法１０００を示すフローチャートである。いくつかの実施形態では、方法１０００は、コンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上のカメラ（例えば、カメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））は、ユーザの手又はユーザの頭部から前方に向くカメラである。いくつかの実施形態では、方法１０００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法１０００の一部の動作が任意選択的に組み合わされ、及び／又はいくつかの動作の順序が任意選択的に変更される。
方法１０００では、いくつかの実施形態では、表示生成コンポーネント（例えば、１２０）及び視線トラッキングデバイス（例えば、３１４）と通信する電子デバイス（例えば、コンピュータシステム（例えば、１０１））（例えば、モバイルデバイス（例えば、タブレット、スマートフォン、メディアプレーヤ）、コンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータ）、又はウェアラブルデバイス（例えば、ウォッチ、頭部装着型デバイス）は、表示生成コンポーネント（例えば、１２０）を介して、図７Ｂに示すようにディスプレイに第１のユーザインタフェース（例えば、７００）を表示している間に、第１のユーザインタフェース（例えば、７００）から第２のユーザインタフェース（例えば、７１４）（例えば、第１のユーザインタフェースは、選択されると、電子デバイスに異なるユーザインタフェースにナビゲートさせる１つ以上のオプションを含むナビゲーションユーザインタフェースであってもよい）にナビゲートする要求を検出する（１００２）。
いくつかの実施形態では、第１のユーザインタフェース（例えば、７００）から第２のユーザインタフェース（例えば、７１４）にナビゲートする要求に応じて、電子デバイス（例えば、１０１）は、第２のユーザインタフェース（例えば、電子デバイスは、第２のユーザインタフェースにナビゲートする要求を検出したことに応じて、コンテンツのアイテムを含むコンテンツユーザインタフェースなどの第２のユーザインタフェースを表示する）にナビゲートする（１００４）。
いくつかの実施形態では、図７Ｃに示すように、表示生成コンポーネント（例えば、１２０）を介して第２のユーザインタフェース（例えば、７１４）を表示している間に、電子デバイス（例えば、１０１）は、ユーザの頭部の動きを検出する（例えば、頭部の動きは、ユーザの頭部の動きが所定の頭部の動きと一致することを示す１つ以上の基準を満たす）（１００６）。
いくつかの実施形態では、ユーザの頭部の動きを検出したことに応じて（１００８）、頭部の動きが第１の基準（例えば、側方への移動、次いで前方への移動）を満たし、ユーザの視線（例えば、７１６ｃ）がユーザインタフェース（例えば、７００）の個別の部分（例えば、コンテンツ領域の外側にあり、任意選択的に、コンテンツ領域の左側などのコンテンツ領域から第１の方向にある部分）に向けられているという判定に従って、電子デバイス（例えば、１０１）は、図７Ｂに示すように、第２のユーザインタフェース（例えば、７１４）から第１のユーザインタフェース（例えば、７００）に戻るようにナビゲートする（例えば、電子デバイスは、任意選択的に、第２のユーザインタフェースの表示を停止し、第１のユーザインタフェースを表示する）（１０１０）。
いくつかの実施形態では、頭部の動きが第１の基準を満たさないという判定に従って、電子デバイス（例えば、１０１）は、第２のユーザインタフェース（例えば、７１４）から第１のユーザインタフェース（例えば、７００）に戻るナビゲーションを取り止める（例えば、電子デバイスは、任意選択的に、第２のユーザインタフェースを表示し続ける）（１０１２）。
いくつかの実施形態では、頭部の動きが第１の基準を満たし、ユーザの視線がユーザインタフェースの個別の部分（例えば、７００）に向けられていないという判定に従って、電子デバイス（例えば、１０１）は、第２のユーザインタフェース（例えば、７１４）から第１のユーザインタフェース（例えば、７００）に戻るナビゲーションを取り止める（１０１４）。
いくつかの実施形態では、表示生成コンポーネントは、電子デバイス（任意選択的にタッチスクリーン）及び／又はモニタ、プロジェクタ、テレビなどの外部ディスプレイと統合されたディスプレイである。いくつかの実施形態では、視線トラッキングデバイスは、１つ以上のカメラ（単数又は複数）（例えば、ＩＲカメラ、ＮＩＲカメラ、可視光カメラなど）を含む。
例えば、第１のユーザインタフェースは、コンテンツのアイテムの１つ以上の表現を含むコンテンツ閲覧ユーザインタフェースである。方法８００の１つ以上のステップなどに従って、コンテンツのアイテムのうちのいずれかを閲覧する要求を検出したことに応じて、電子デバイスは、任意選択的に、要求されたコンテンツのアイテムを第２のユーザインタフェースに表示する。したがって、いくつかの実施形態では、第２のユーザインタフェースは、コンテンツのアイテム（例えば、テキストコンテンツ、写真コンテンツ、及び／又はビデオコンテンツ）を含むコンテンツ視聴ユーザインタフェースである。
いくつかの実施形態では、方法８００の１つ以上のステップなどに従って、第２のユーザインタフェースは第１のユーザインタフェース上に重ねて表示され、電子デバイスが第２のユーザインタフェースを表示している間、第１のユーザインタフェースの部分は可視のままである。
例えば、頭部の動きは、前方移動（例えば、表示生成コンポーネント及び／又は視線トラッキングデバイスの方向に、及び／又はそうでなければ仮想環境におけるユーザインタフェースに向かって）及び／又は第１のユーザインタフェースの部分が表示される（例えば、仮想環境における）ユーザインタフェースの側方へ移動若しくは回転のうちの１つ以上を含む。例えば、第１のユーザインタフェースの部分が第２のユーザインタフェースの左に見える場合、頭部の動きは、左に向かう移動及び／又は回転を検出することを含む。
第２のユーザインタフェースが第１のユーザインタフェース上に重ね合わされるいくつかの実施形態では、電子デバイスは、ユーザが第１のユーザインタフェースの部分を見ていることを検出する。
いくつかの実施形態では、第１の基準を満たす頭部の動きは、第１のユーザインタフェースの部分が表示されるユーザインタフェースの側面に向かう頭部の動きを含む。例えば、第１のユーザインタフェースの部分が第２のユーザインタフェースの右に見える場合、第１の基準を満たす頭部の動きは、頭部の右への動きを含む。いくつかの実施形態では、ユーザの視線の位置は、視線トラッキングデバイスを使用して検出される。視線トラッキングデバイスは、任意選択的に、図６を参照してより詳細に上述したように、ユーザの目の１つ以上の画像をキャプチャし、キャプチャされた１つ以上の画像内の瞳孔及びグリントを検出してユーザの視線を追跡する。いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、第２のユーザインタフェースオブジェクト上に部分的に重ね合わされ、第２のユーザインタフェースオブジェクトの一部は見える。電子デバイスは、任意選択的に、ユーザが第２のユーザインタフェースオブジェクトの可視部分を見ていることを検出する。
いくつかの実施形態では、頭部運動の方向、大きさ、又は持続時間の１つ以上が所定の範囲外であるか、又は所定のパターンと一致しない場合、頭部運動は第１の基準を満たさない。
いくつかの実施形態では、電子デバイスは、頭部の動きが第１の基準を満たし、かつユーザの視線がユーザインタフェースの個別の部分に向けられていると判定されない限り、第１のユーザインタフェースに戻るようにナビゲートしない。電子デバイスは、任意選択的に、頭部の動きが第１の基準を満たし、ユーザの視線がユーザインタフェースの個別の部分に向けられていないという判定に従って、第２のユーザインタフェースを表示し続ける。
ユーザの視線及び頭部の動きを検出したことに応じて第１のユーザインタフェースに戻るようにナビゲートする上記の方法は、電子デバイスが視線及び頭部の動きを超えてユーザ入力なしにユーザインタフェースオブジェクト間をナビゲートすることを可能にするが、頭部及び視線の二重要件による誤った逆方向ナビゲーションも回避することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがナビゲーション入力を入力するのにかかる時間を短縮し、誤ったナビゲーション結果を低減することによって）、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｃ のように、第２のユーザインタフェース（例えば、７１４）は、第１のユーザインタフェース（例えば、７００）の少なくとも部分が表示されている間に表示される（例えば、第２のユーザインタフェースは、第１のユーザインタフェース上に重ね合わされ、第１のユーザインタフェースの部分は、第２のユーザインタフェースの境界の隣に見ることができる）（１０１６）。例えば、第１のユーザインタフェースは、コンテンツ閲覧ユーザインタフェースであり、第２のユーザインタフェースは、ユーザが第１のユーザインタフェースからナビゲートしたコンテンツのアイテムを含む。
いくつかの実施形態では、第２のユーザインタフェース（例えば、７１４）及び第１のユーザインタフェース（例えば、７００）であって、第１のユーザインタフェース（例えば、７００）は第２のユーザインタフェース（例えば、７１４）に対して視覚的に強調解除され、第１のユーザインタフェースの少なくとも部分を表示している間に、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）を介して、図７Ｃのように、ユーザの視線（例えば、７１６ｃ）が第２のユーザインタフェース（例えば、７１４）から第１のユーザインタフェース（例えば、７００）に移動したと判定する（１０１８）（例えば、第１のユーザインタフェースは、任意選択的に、第２のユーザインタフェースよりも高い透明度で表示され、第１のユーザインタフェースは、第２のユーザインタフェースよりも高いぼかし度で表示され、第１のユーザインタフェースは、第２のユーザインタフェースよりも低い輝度又はコントラストで表示され、第１のユーザインタフェースは、縮小されたサイズで表示され、第２のユーザインタフェースは、ユーザが第２のユーザインタフェースを見ている間にフルサイズで表示されるなどである）。
いくつかの実施形態では、図７Ｃに示すように、ユーザの視線（例えば、７１６ｃ）が第２のユーザインタフェース（例えば、７１４）から第１のユーザインタフェース（例えば、７００）に移動したと判定したことに応じて、電子デバイス（例えば、１０１）は、図７Ｇに示すように、第２のユーザインタフェース（例えば、７００）に対する第１のユーザインタフェース（例えば、７１４）の視覚的強調解除の量を減少させる（１０２０）（例えば、第１の値とは異なる第３の値を有する視覚特性で第２のユーザインタフェースを表示する（例えば、透明度の増加、ぼやけの増加、輝度又はコントラストの減少、サイズの縮小など）、及び／又は第２の値とは異なる第４の値を有する視覚特性で第１のユーザインタフェースの少なくとも部分を表示する）（例えば、減少した透明度、減少したぼやけ、増大した輝度又はコントラスト、増大したサイズなど）。
いくつかの実施形態では、ユーザが第２のユーザインタフェースを見ている間、第２のユーザインタフェースは、完全なカラー、コントラスト、又は輝度、完全な明瞭性、及び透明度で表示され、第１のユーザインタフェースは、縮小されたサイズ、ミュート色、低コントラスト、及び／又は輝度、減少された明瞭性、及び／又はより高い透明度で表示される。第１のユーザインタフェースを見ているユーザを検出したことに応じて、電子デバイスは、任意選択的に、第２のユーザインタフェースのサイズ、色、コントラスト、輝度、及び／又は明瞭性を減少させ、及び／又は透明度を増加させ、第１のユーザインタフェースのサイズ、コントラスト、輝度、及び／又は明瞭性を増加させ、色を明るくし、及び／又は透明度を減少させる。
ユーザの視線が第２のユーザインタフェースから第１のユーザインタフェースに移動するのを検出したことに応じて第１及び第２のユーザインタフェースの視覚特性を変更する上述の方法は、電子デバイスが、ユーザが現在見ているユーザインタフェースを効率的に視覚的に強調することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがコンテンツをより迅速に読むことを可能にすることによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｇに示すように、ユーザの視線が第１のユーザインタフェース（例えば、７００）に向けられている間、かつ第２のユーザインタフェース（例えば、７１４）に対する第１のユーザインタフェース（例えば、７００）の減少された量の視覚的強調解除で第１のユーザインタフェース（例えば、７００）及び第２のユーザインタフェース（例えば、７１４）を表示している間、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）を介して、ユーザの視線（例えば、７１６ｆ）が第１のユーザインタフェース（例えば、７００）から第２のユーザインタフェース（例えば、７１４）に移動したことを判定する（１０２２）（例えば、ユーザが第１のユーザインタフェースを見ている間、第１のユーザインタフェースは、増大されたサイズ、コントラスト、明瞭性、及び／又は、輝度、明るい色、及び／又は、減少された透明度で表示され、第２のユーザインタフェースは、ユーザが第１のユーザインタフェースを見ている間、第１のユーザインタフェースの提示と比較して減少されたサイズ、コントラスト、明瞭性、及び／又は、輝度、くすんだ色、及び／又は、増大された透明度で表示される）。
いくつかの実施形態では、図７Ｇに示すように、ユーザの視線（例えば、７１６ｆ）が第１のユーザインタフェース（例えば、７００）から第２のユーザインタフェース（例えば、７１４）に移動したという判定に応じて（１０２４）、電子デバイス（例えば、１０１）は、第１のユーザインタフェース（例えば、７００）及び第２のユーザインタフェース（例えば、７１４）を、図７Ｃに示すように、第１のユーザインタフェース（例えば、７００）を第２のユーザインタフェース（例えば、７１４）に対して視覚的に強調解除して表示する（１０２６）（例えば、第１のユーザインタフェースを見ているユーザを検出する前に、視覚的強調解除のレベルを強調解除の量と同じになるように復元する）。
いくつかの実施形態では、第２のユーザインタフェースは、減少された透明度、減少されたぼやけ、増大された輝度又はコントラスト、増大されたサイズなどで表示され、第１のユーザインタフェースは、増大された透明度、増大されたぼやけ、減少された輝度又はコントラスト、減少されたサイズなどで表示される。いくつかの実施形態では、第２のユーザインタフェースを見ているユーザを検出したことに応じて、電子デバイスは、ユーザが第２のユーザインタフェースを見ている間に、第１及び第２のユーザインタフェースの提示と比較して、増大されたサイズ、コントラスト、明瞭性、及び／又は輝度、明るい色、及び／又は減少された透明度で第２のユーザインタフェースを表示し、減少されたサイズ、コントラスト、明瞭性、及び／又は輝度、くすんだ色、及び／又は増大された透明度で第１のユーザインタフェースを表示する。
第２のユーザインタフェースを見ているユーザを検出したことに応じて第１及び第２のユーザインタフェースの視覚特性を変更する上述の方法は、電子デバイスが、ユーザが見ているユーザインタフェースを視覚的クラッタを低減して効率的に表示することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザが見ているユーザインタフェースをより迅速に演出できるようにすることによって）、これにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、ユーザの頭部の動きを検出したことに応じて（１０２８）、頭部の動きが第１の基準（例えば、側方への移動、次いで前方への移動）を満たし、ユーザの視線がユーザインタフェースの個別の部分（例えば、コンテンツ領域の外側にあり、任意選択的に、コンテンツ領域の左側などのコンテンツ領域から第１の方向にある部分）に向けられているという判定に従って、電子質問は、図７Ｇ～図７Ｈのように、第２のユーザインタフェースから第１のユーザインタフェースに戻るようにナビゲートしながら、第２のユーザインタフェースと第１のユーザインタフェースとの間のアニメーション化された遷移を表示する（１０３０）。第２のユーザインタフェースが第１のユーザインタフェース上に重ね合わされるいくつかの実施形態では、電子デバイスは、ユーザが第１のユーザインタフェースの部分を見ていることを検出する。
いくつかの実施形態では、頭部の動きが第１の基準を満たさず、ユーザの視線がユーザインタフェースの個別の部分に向けられているという判定に従って、電子デバイス（例えば、１０１）は、第２のユーザインタフェースと間の完全なアニメーション化された遷移を表示することなく、図７Ｇのような、第２のユーザインタフェースと第１のユーザインタフェースとの間に、アニメーション化された遷移の第１の部分を表示する（１０３２）。
いくつかの実施形態では、電子デバイスは、ユーザがユーザインタフェースのどちらを見ているかに応じて変化する第１及び第２のユーザインタフェースの視覚特性のアニメーションを表示する。例えば、ユーザが第２のユーザインタフェースから第１のユーザインタフェースに視線を移動させたことを検出したことに応じて、電子デバイスは、第１のユーザインタフェースが大きくなり、より鮮明になり、第２のユーザインタフェースが小さくなり、あまり鮮明でなくなるアニメーションを表示する。いくつかの実施形態では、アニメーションの進行は、ユーザの頭部がどれだけ動いたかに比例する。いくつかの実施形態では、ユーザが頭部をより大きな量だけ動かすと、アニメーションはより大きな量だけ進行する。
ユーザが頭部を動かすと、ユーザインタフェースの視覚特性の変化をアニメーション化する上述の方法は、電子デバイスが、頭部の動きがユーザインタフェース間のナビゲーションを引き起こすことを示す効率的な視覚フィードバックをユーザに提供することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザが頭部の動きによってユーザインタフェース間をより迅速にナビゲートすることを可能にすることによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、アニメーション化された遷移の第１の部分の大きさは、頭部の移動量に依存する（１０３４）。例えば、ユーザが頭部を第１の量だけ動かす場合、アニメーションは第１の量だけ進行し、ユーザが頭部をより大きな量だけ動かす場合、アニメーションはより大きな量だけ進行する。
ユーザが頭部を動かす量に応じた量だけユーザインタフェースの視覚特性の変化をアニメーション化する上記の方法は、電子デバイスが、頭部の動きがユーザインタフェース間のナビゲーションを引き起こすことを示す効率的な視覚フィードバックをユーザに提供することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザが頭部の動きによってユーザインタフェース間をより迅速にナビゲートすることを可能にすることによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、アニメーション化された遷移の第１の部分は、頭部の移動速度及び／又は移動方向（前方及び／又は後方への移動を含む）に基づいて決定された速度及び／又は方向で進行する（１０３６）。いくつかの実施形態では、電子デバイスは、ユーザの頭部の比較的遅い動きを検出したことに応じて、比較的遅い速度でアニメーションを進行させ、ユーザの頭部の比較的速い動きを検出したことに応じて、比較的速い速度でアニメーションを進行させる。電子デバイスは、任意選択的に、第１の方向へのユーザの頭部の動きを検出したことに応じてアニメーションを前に進行させ、任意選択的に、第１の方向とは反対の第２の方向へのユーザの頭部の動きを検出したことに応じてアニメーションを逆に進行させる。
頭部の動きの速度又は方向に基づく速度又は方向でユーザインタフェースの視覚特性の変化をアニメーション化する上述の方法は、電子デバイスが、頭部の動きがユーザインタフェース間のナビゲーションを引き起こすことを示す効率的な視覚フィードバックをユーザに提供することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザが頭部の動きによってユーザインタフェース間をより迅速にナビゲートすることを可能にすることによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、頭部の動きが第１の基準を満たさずに頭部の動きの終了（例えば、頭部のジェスチャの終了又は視線の終了）を検出したことに応じて、電子デバイス（例えば、１０１）は、図７Ｃに示すように、第２のユーザインタフェース（例えば、７１４）に対して視覚的に強調解除された第１のユーザインタフェース（例えば、７００）に戻るアニメーション化された遷移を表示する（１０３８）（例えば、アニメーション化された遷移の第１の部分を反転させる）。いくつかの実施形態では、頭部の動きの終了は、ユーザが頭部の動きを停止するか、又は頭部が頭部の動きの開始前のように位置決めされるように、頭部の動きを反転させることを検出することに対応する。
第２のユーザインタフェースに対して視覚的に強調解除された第１のユーザインタフェースに戻るアニメーション化された遷移は、任意選択的に、逆に再生される第２のユーザインタフェースに対して第１のユーザインタフェースの強調解除の量を減少するアニメーション化された遷移である。いくつかの実施形態では、電子デバイスは、第１のユーザインタフェースから目を離すユーザを検出したことに応じて、第２のユーザインタフェースに対して視覚的に強調解除された第１のユーザインタフェースに戻るアニメーション化された遷移を表示する。第２のユーザインタフェースに対して視覚的に強調解除された第１のユーザインタフェースに戻るアニメーション化された遷移を表示する上述の方法は、電子デバイスが、頭部の動きがユーザインタフェース間のナビゲーションを引き起こすことを示す効率的な視覚フィードバックをユーザに提供することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザが頭部の動きによってユーザインタフェース間をより迅速にナビゲートすることを可能にすることによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、第１の基準は、ユーザの頭部を横に傾ける動きを必要とする基準を含む（１０４０）。いくつかの実施形態では、基準は、ユーザが頭部を左又は右に傾ける場合に満たされ、基準は、ユーザが頭部を左に傾ける場合に満たされ、又は基準は、ユーザが頭部を右に傾ける場合に満たされる。電子デバイスは、任意選択的に、第１のユーザインタフェース上に重ね合わされた第２のユーザインタフェースを表示し、第１のユーザインタフェースの部分が見える。例えば、第２のユーザインタフェースは、第１のユーザインタフェースの左側に重ねて表示され、第１のユーザインタフェースの部分は、第２のユーザインタフェースの右側に表示されたままであり、少なくともユーザの頭部の右への移動を検出したことに応じて、電子デバイスは、第１のユーザインタフェースに戻るようにナビゲートする。
少なくともユーザの頭部の横への動きを検出したことに応じて第１のユーザインタフェースに戻るようにナビゲートする上記の方法は、電子デバイスが、第２のユーザインタフェースから第１のユーザインタフェースにナビゲートする効率的で直感的な方法を提供することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがユーザインタフェース間をナビゲートするのにかかる時間を短縮することによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、第１の基準は、ユーザのユーザの前方移動を必要とする基準を含む（例えば、ユーザの身体に対して）（１０４２）。いくつかの実施形態では、少なくともユーザの身体に対する前方方向へのユーザの頭部の動きを検出したことに応じて、電子デバイスは、第２のユーザインタフェースから第１のユーザインタフェースにナビゲートする。
少なくともユーザの頭部の前方への動きを検出したことに応じて第１のユーザインタフェースに戻るようにナビゲートする上記の方法は、電子デバイスが、第２のユーザインタフェースから第１のユーザインタフェースにナビゲートする効率的で直感的な方法を提供することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがユーザインタフェース間をナビゲートするのにかかる時間を短縮することによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｃに示すように、第１のユーザインタフェース（例えば、７００）から第２のユーザインタフェース（例えば、７１４）にナビゲートすることは、第１のユーザインタフェース（例えば、７００）に重ね合わされた第２のユーザ（例えば、７１４）インタフェースを表示することを含む（１０４４）。いくつかの実施形態では、第２のユーザインタフェースは、第２のユーザインタフェースが表示されている間に第１のユーザインタフェースの部分が見えるように、第１のユーザインタフェースの部分に重ね合わされる。例えば、第２のユーザインタフェースは、第１のユーザインタフェースの左部分に重ね合わされ、第１のユーザインタフェースの右部分は、第２のユーザインタフェースの右に見える。
第１のユーザインタフェース上に重ね合わされた第２のユーザインタフェースを表示する上述の方法は、電子デバイスが第２のユーザインタフェースと第１のユーザインタフェースの部分とを同時に表示することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザが第１のユーザインタフェースの部分を見ることを可能にすることによって、第１のユーザインタフェースに戻るようにナビゲートする要求を入力する前に、ユーザが第１のユーザインタフェースに戻ることを望むか否かをユーザが知ることができる）、これにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、第１のユーザインタフェースから第２のユーザインタフェースにナビゲートすることは、第１のユーザインタフェースを強調解除することと、ユーザの視線が第２のユーザインタフェースに向けられているという判定に従って、第２のユーザインタフェースを強調表示することとを含む（１０４６）。いくつかの実施形態では、第１のユーザインタフェースを強調解除することは、第１のユーザインタフェースのサイズ、コントラスト、輝度、不透明度、及び／又は明瞭性を減少することのうちの１つ以上を含み、第２のユーザインタフェースを強調表示することは、第２のユーザインタフェースのサイズ、コントラスト、輝度、不透明度、及び／又は明瞭性を増大させることのうちの１つ以上を含む。
第１のユーザインタフェースから第２のユーザインタフェースへのナビゲートの一部として第１のユーザインタフェースを強調解除し、第２のユーザインタフェースを強調表示する上述の方法は、ユーザが第２のユーザインタフェースを見ている間に、電子デバイスが視覚的クラッタを低減してユーザインタフェースを効率的に表示することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザが第２のユーザインタフェースをより迅速に理解できるようにし、第２のユーザインタフェースから第１のユーザインタフェースに戻る効率的なナビゲーション方法を提供することによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、第２のユーザインタフェース（例えば、７１４）を表示している間（例えば、第２のユーザインタフェースにナビゲートしている間に）、ユーザの視線の特性（例えば、時間の長さ）が第２の基準を満たしていない間、又はユーザの頭部の動きが第１の基準を満たしていない間（例えば、頭部運動の時間の長さ、頭部運動の距離、及び／又は頭部運動の速度が１つ以上の基準を満たさない、及び／又は視線の位置、持続時間、及び／又は他の特性が１つ以上の基準を満たさない）、電子デバイス（例えば、１０１）は、図７Ｇのように、ユーザの視線又はユーザの頭部の動きに基づいて、第２のユーザインタフェース（例えば、７１４）の外観（例えば、又は第１のユーザインタフェースの外観）を変更しながら第２のユーザインタフェース（例えば、７１４）の表示を継続する（１０４８）（例えば、第１のユーザインタフェース上のユーザの視線及びユーザの頭部の動きを検出する前に、第１のユーザインタフェース及び第２のユーザインタフェースの外観を比較して、コントラスト、輝度、サイズ、不透明度、及び／又は、明瞭性が増加した状態で第１のユーザインタフェースを表示し、コントラスト、輝度、サイズ、不透明度、及び／又は、明瞭性が減少した状態で第２のユーザインタフェースを表示する）。
いくつかの実施形態では、ユーザの視線の特性が第２の基準を満たし、ユーザの頭部の動きが第１の基準を満たすという判定に従って、電子デバイス（例えば、１０１）は、図７Ｂのように、第２のユーザインタフェース（例えば、７１４）から第１のユーザインタフェース（例えば、７００）に戻るようにナビゲートする（１０５０）。
いくつかの実施形態では、第２のユーザインタフェースにナビゲートし続けることは、第２のユーザインタフェースの表示を継続すること（例えば、第１のユーザインタフェース上に重ね合わされる）を含む。更に、電子デバイスが第２のユーザインタフェースにナビゲートされている間に、ユーザが第１及び第２のユーザインタフェースの両方から目を離す（例えば、電子デバイスのシステムユーザインタフェース又はシステムユーザインタフェース要素を見たり、表示生成コンポーネントの表示領域から目を離したりする）場合、電子デバイスは、ユーザが第２のユーザインタフェースを見ている間に表示されていた方法で第１及び第２のユーザインタフェースを表示することに戻る。
いくつかの実施形態では、第２のユーザインタフェースから第１のユーザインタフェースに戻るナビゲーションは、第２のユーザインタフェースの表示を停止することを含む。更に、電子デバイスが一旦第１のユーザインタフェースに戻ると、上述したようにユーザが第１のユーザインタフェースから目を離す場合、電子デバイスは、第２のユーザインタフェースを表示せずに第１のユーザインタフェースを表示し続ける。
ユーザの視線及びユーザの頭部の動きが所定の基準を満たしていることを検出したことに応じて第１のユーザインタフェースに戻るが、第１のユーザインタフェースに戻るのに十分ではない頭部／視線入力に基づいて、第１及び第２のユーザインタフェースの両方の外観を変更する上記の方法は、電子デバイスが、頭部の動きを実行し続け、第１のユーザインタフェースを見続けることによって第１のユーザインタフェースにナビゲーションを戻すフィードバックをユーザに効率的に提供することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがそうしようとするときに、ユーザが第１のユーザインタフェースへとより迅速に戻ることを可能にすることによって）、これにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｇ（例えば、第２のユーザインタフェースにナビゲートし、第１のユーザインタフェースの少なくとも部分を表示している間に）のように、第２のユーザインタフェース（例えば、７１４）の外観が変更された第２のユーザインタフェース（例えば、７１４）を表示している間に、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）を介して、ユーザの視線（例えば、７１６ｆ）が第２のユーザインタフェース（例えば、７１４）に向けられていると判定する（１０５２）（例えば、又は第１のユーザインタフェース）。
いくつかの実施形態では、ユーザの視線（例えば、７１６ｆ）が第２のユーザインタフェース（例えば、７１４）に向けられていると判定したことに応じて、図７Ｇに示すように、電子デバイス（例えば、１０１）は、図７Ｃのように、第２のユーザインタフェース（例えば、７１４）の外観を初期外観に戻す（１０５４）。
いくつかの実施形態では、変化した外観は、ユーザが第１のユーザインタフェースを見て頭部の動きを実行する前に第２のユーザインタフェースを見ていた間の第２のユーザインタフェースの初期外観と比較して縮小されたサイズ、コントラスト、明瞭性、及び／又は不透明度のうちの１つ以上を含む。
いくつかの実施形態では、第２のユーザインタフェースの外観を初期外観に戻すことは、第１のユーザインタフェースにナビゲートして戻ることを取り止めることを含む。電子デバイスはまた、任意選択的に、頭部の動きを実行しながら第１のユーザインタフェースを見ているユーザを検出したことに応じて、第１のユーザインタフェースの外観と比較してサイズ、コントラスト、明瞭性、及び／又は不透明度が減少した初期外観に第１のユーザインタフェースを戻す。
ユーザが第２のユーザインタフェースを見ていることを検出したことに応じて第２のユーザインタフェースの外観を初期外観に戻す上記の方法は、電子デバイスが、第１のユーザインタフェースにナビゲートして戻るプロセスを停止し、第２のユーザインタフェースを見続けるための効率的な方法をユーザに提供することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、初期外観を有する第２のユーザインタフェースの表示を再開する迅速かつ効率的な方法を提供することによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、電子デバイス（例えば、１０１）は、ユーザインタフェースに、テキストコンテンツを表示する（例えば、テキストコンテンツは、第１及び第２のユーザインタフェース上に重ね合わされるか、又は第１又は第２のユーザインタフェースに表示される）（１０５６）。
いくつかの実施形態では、テキストコンテンツを表示している間に、電子デバイス（例えば、１０１）は、テキストコンテンツの表示を停止する要求（例えば、視線検出デバイス以外の電子デバイスと通信する入力デバイスのうちの１つで受信されたユーザ入力）を検出する（１０５８）。
いくつかの実施形態では、テキストコンテンツの表示を停止する要求を検出したことに応じて（１０６０）、テキストコンテンツが１つ以上の基準を満たさないという判定に従って、電子デバイス（例えば、１０１）は、テキストコンテンツ（例えば、１つ以上の基準は、重要な警告、ユーザ又はシステムによって重要であると示されたアプリケーションによって生成された通知、又はテキスト作成者によって重要であると示されたテキストなどの所定の通知イベントに関連付けられる）の表示を停止する（１０６２）。
いくつかの実施形態では、テキストコンテンツが１つ以上の基準を満たすという判定に従って（１０６４）（例えば、１つ以上の基準は、重要な警告、ユーザ又はシステムによって重要であると示されたアプリケーションによって生成された通知、又はテキスト作成者によって重要であると示されたテキストなどの所定の通知イベントに関連付けられる）、ユーザがテキストコンテンツを読んだという判定（例えば、視線トラッキングデバイスを介して）に従って、電子デバイス（例えば、１０１）は、テキストコンテンツの表示を停止する（例えば、電子デバイスは、視線トラッキングコンポーネントによってキャプチャされたデータに基づいて、ユーザの目の動きがテキストコンテンツの読み取りと一致すると判定する）（１０６６）。
いくつかの実施形態では、ユーザがテキストコンテンツを読んでいないという判定（例えば、視線トラッキングデバイスを介して）に従って、電子デバイス（例えば、１０１）は、テキストコンテンツの表示を維持する（１０６８）。
テキストコンテンツは、任意選択的に、通知イベントのインジケーションに関連付けられたテキストを含む。例えば、テキストコンテンツは、電子デバイスで受信されたメッセージのメッセージプレビューであり、メッセージプレビューは、メッセージの受信を示す通知インジケーションで表示される。いくつかの実施形態では、テキストは、ソフトウェア製品又は電子デバイスサービスに関連する条項及び条件テキストである。
いくつかの実施形態では、入力は、上述したように、例えば第２のユーザインタフェースから離れるようにナビゲートするための視線入力である。
例えば、入力は、キーボードのキーの押下、タッチスクリーン、トラックパッド、マウスなどを介して行われたテキストの表示を停止するオプションの選択、又は音声コマンドのうちの１つである。
テキストが基準を満たさないという判定に従って、電子デバイスは、ユーザ要求に応じてテキストの表示を停止する（例えば、テキストコンテンツが第２のユーザインタフェースに含まれている例では、第２のユーザインタフェースから離れてナビゲートし、第２のユーザインタフェースの表示を中止する）。
テキストの表示を停止する要求に対応する入力を検出したことに応じて、ユーザがテキストを読んだという判定に従って、電子デバイスは、テキストの表示を停止する（例えば、テキストコンテンツが第２のユーザインタフェースに含まれる実施例では、第２のユーザインタフェースから離れるようにナビゲートし、その表示を中止する）。
いくつかの実施形態では、テキストが１つ以上の基準を満たす場合、ユーザは、テキストの表示を停止する要求に対応するユーザ入力に応じて、テキストを破棄するためにテキストを読まなければならない。
ユーザがテキストを読んだことを検出したことに応じて、及びテキストの表示を停止するように要求する入力に応じてのみ、１つ以上の基準を満たすテキストを破棄する上記の方法は、ユーザによって読まれるまで電子デバイスが重要なテキストを効率的に表示し続けることを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、テキストを読むためにテキストにアクセスするためにユーザが必要とする入力を減らすことによって）、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、電子デバイス（例えば、１０１）は、ユーザインタフェース内に、個別のアプリケーションに関連付けられた通知（例えば、７０６）を表示する（例えば、通知は、電子デバイスで検出された通知イベントを示すテキスト又は画像を含む）（１０７０）。例えば、通知イベントはメッセージの受信であり、通知はメッセージのテキスト及びメッセージが受信されたユーザアカウントのインジケーションを含む。メッセージの通知は、任意選択的にメッセージングアプリケーションに関連付けられる。
いくつかの実施形態では、個別のアプリケーションに関連付けられた通知（例えば、７０６）を表示している間に、電子デバイス（例えば、１０１）は、視線トラッキングデバイスを介して、ユーザが通知（例えば、７０６）を読んだと判定する（１０７２）（例えば、通知を見ている間のユーザの目の動きは、読み取りと一致する）。いくつかの実施形態では、電子デバイスは、ユーザが通知に含まれる全てのテキストを読んだと判定する。
いくつかの実施形態では、ユーザが通知（例えば、７０６）を読んだという判定に応じて（例えば、ユーザが通知の読み取りを完了したという判定）、電子デバイス（例えば、１０１）は、表示生成コンポーネント（例えば、１２０）を介して、個別のアプリケーションのユーザインタフェースを表示する（１０７４）。例えば、通知はメッセージの通知であり、ユーザが通知を読んだことを検出したことに応じて、電子デバイスはメッセージングアプリケーションを表示する。いくつかの実施形態では、ユーザが通知を読み終えていないという判定に従って、電子デバイスは、個別のアプリケーションのユーザインタフェースの表示を取り止める。
ユーザが読んだ通知に関連付けられたアプリケーションのユーザインタフェースを表示する上述の方法は、電子デバイスが通知に関連付けられた追加情報を効率的な方法で提示することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザが読んだ通知に関連付けられたアプリケーションを開くのに必要な入力を減らすことによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、視線トラッキングデバイス（例えば、３１４）を介して、ユーザの視線が第２のユーザインタフェース（例えば、７１４）に向けられていると判定している間に（１０７６）、ユーザの頭部が第１の位置にあるという判定に従って、電子デバイス（例えば、１０１）は、第１のテキストスタイル（例えば、第１のスタイルは、フォント、テキストサイズ、及び／又は太字、斜体、若しくは下線などのテキストスタイリングを含む）で第２のユーザインタフェース（例えば、７１４）のテキストコンテンツを表示する（１０７８）。
いくつかの実施形態では、ユーザの頭部が第１の位置とは異なる第２の位置にあるという判定に従って、電子デバイス（例えば、１０１）は、第２のユーザインタフェース（例えば、７１４）のテキストコンテンツを第１のテキストスタイルとは異なる第２のテキストスタイルで表示する（１０８０）。例えば、ユーザが自分の身体の残りの部分に対して及び／又は頭部の初期位置に対して頭部を前方に動かす場合、電子デバイスは、任意選択的に、ユーザが頭部を動かす前に表示されたフォントよりも大きいサイズ又は異なるフォント（例えば、より高い解像度（ＤＰＩ）を有するが同じサイズのフォント、又は、任意選択的に、より長い距離からより読みやすい、元の表示のフォントよりも短い距離からより読みやすいフォント）でテキストを表示する。
ユーザの頭部の動きを検出したことに応じてテキストスタイルを変更する上記の方法は、電子デバイスが、テキストの装飾のサイズ又はレベルなどの、異なる頭部／目の距離でのテキスト表示を最適化するためにテキストのスタイルを変更する効率的な方法を提供することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、テキストをより読みやすくする、又は審美的に満足させるのに必要な入力を減らすことによって）、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
図１１は、いくつかの実施形態による、ユーザの頭部の動きの検出及びユーザの視線の検出に従ってコンテンツの部分に関連する拡張コンテンツを表示する方法１１００を示すフローチャートである。いくつかの実施形態では、方法１１００は、コンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上のカメラ（例えば、カメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））は、ユーザの手又はユーザの頭部から前方に向くカメラである。いくつかの実施形態では、方法１１００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法１１００の一部の動作が任意選択的に組み合わされ、及び／又はいくつかの動作の順序が任意選択的に変更される。
方法１１００では、いくつかの実施形態では、表示生成コンポーネント（例えば、１２０）及び視線トラッキングデバイス（例えば、３１４）（例えば、モバイルデバイス（例えば、タブレット、スマートフォン、メディアプレーヤ）、コンピュータ（例えば、デスクトップコンピュータ、ラップトップコンピュータ）、又はウェアラブルデバイス（例えば、ウォッチ、頭部装着型デバイス）と通信する電子デバイス（例えば、コンピューティングシステム（例えば、１０１））は、表示生成コンポーネント（例えば、１２０）を介して、第１の拡張コンテンツに関連付けられた第１の部分（例えば、７１８ａ）と、図７Ｉのような第２の拡張コンテンツ（例えば、テキストコンテンツ）に関連付けられた第２の部分（例えば、７１８ｂ）とを含む第１のコンテンツを含むユーザインタフェースを表示する（１１０２）。いくつかの実施形態では、コンテンツアイテムは、テキスト及び／又は画像を含む）。
いくつかの実施形態では、ユーザインタフェースを表示している間に、電子デバイス（例えば、１０１）は、ユーザの頭部の動き（例えば、ユーザの身体に対するユーザの頭部の前方への動き）を検出する（１１０４）。
いくつかの実施形態では、ユーザの頭部の動きを検出したことに応じて（１１０６）、ユーザの視線（例えば、７１６ｉ）が第１のコンテンツ（例えば、視線トラッキングデバイスは、図６を参照してより詳細に上述したように、ユーザの目の１つ以上の画像を任意選択的に捕捉し、１つ以上の捕捉された画像内の瞳孔及びグリントを検出してユーザの視線を追跡する）の第１の部分（例えば、７１８ａ）に向けられているという判定と、ユーザの視線（例えば、７１６ｉ）が、図７Ｉなどの第１のコンテンツアイテムの第１の部分に向けられている間のユーザの頭部の動きが第１の基準を満たすという判定とに従って（例えば、頭部の前方への移動（例えば、仮想環境内の個別の部分に向かって））、電子デバイス（例えば、１０１）は、図７Ｊなどの、第１のコンテンツの第２の部分に関連付けられた第２の拡張コンテンツを含むようにユーザインタフェースを更新することなく、第１のコンテンツの第１の部分（例えば、７１８ａ）に関連付けられた第１の拡張コンテンツ（例えば、７２０ａ）を含むようにユーザインタフェースを更新する（例えば、拡張コンテンツは、追加のテキスト及び／又は画像のうちの１つ以上を含む）（１１０８）。
いくつかの実施形態では、ユーザの視線（例えば、７１６ｎ）が第１のコンテンツアイテムの第２の部分に向けられている間のユーザの頭部の動きが第１の基準を満たすという判定に従って、電子デバイス（例えば、１０１）は、図７Ｋなどの、第１のコンテンツの第１の部分に関連付けられた第１の拡張コンテンツを含むようにユーザインタフェースを更新することなく、第１のコンテンツの第２の部分（例えば、７１８ｂ）（例えば、７１８ｂ）に関連付けられた第２の拡張コンテンツ（例えば、７２０ｂ）（例えば、１つ以上の基準を満たす頭部の動きを実行しながら、ユーザが第１のコンテンツアイテムの個別の部分を見ていることを検出したことに応じて表示される拡張コンテンツは、ユーザが第１のコンテンツアイテムのどの部分を見ているかに応じて異なる）を含むようにユーザインタフェースを更新する（１１１０）。
いくつかの実施形態では、ユーザの頭部の動きが第１の基準を満たさなかったという判定に従って、電子デバイス（例えば、１０１）は、第１の拡張コンテンツを含むようにユーザインタフェースを更新することを取り止め、第２の拡張コンテンツを含むようにユーザインタフェースを更新することを取り止める（１１１２）。
いくつかの実施形態では、表示生成コンポーネントは、電子デバイス（任意選択的にタッチスクリーン）及び／又はモニタ、プロジェクタ、テレビなどの外部ディスプレイと統合されたディスプレイである。いくつかの実施形態では、視線トラッキングデバイスは、１つ以上のカメラ（単数又は複数）（例えば、ＩＲカメラ、ＮＩＲカメラ、可視光カメラなど）を含む。
例えば、コンテンツアイテムは、記事、メッセージ、電子書籍、又はテキストを含む他のコンテンツである。いくつかの実施形態では、第１の部分は、テキストコンテンツの第１の単語であり、第２の部分は、テキストコンテンツの第２の単語である。
いくつかの実施形態では、ユーザが頭部を前方に動かしていることを検出することは、ユーザが見ている方向及び／又は表示生成コンポーネント及び／又は視線トラッキングデバイスの方向に頭部を動かしていることを検出することを含む。１つ以上の基準は、任意選択的に、少なくとも所定の時間量にわたって頭部の動きを実行すること、少なくとも所定の距離だけ頭部を動かすこと、及び／又は所定の範囲内の速度で頭部を動かすことなどの、時間及び距離に基づく基準を更に含む。
例えば、第１のコンテンツアイテムの第１の部分は単語であり、拡張コンテンツは単語の定義である。別の例として、第１のコンテンツアイテムの第１の部分はウェブサイトへのハイパーリンクであり、第１の拡張コンテンツはウェブサイトのプレビューである。別の例として、拡張コンテンツは、第１のコンテンツアイテムの第１の部分の拡大バージョンである。例えば、第１のコンテンツアイテムの第１の部分は画像の一部であり、拡張コンテンツは完全な画像である。別の例として、拡張コンテンツは、第１のコンテンツアイテムの第１の部分と同じであるが、より大きなサイズで表示される。いくつかの実施形態では、拡張コンテンツは、第１のコンテンツアイテムを補足する第１のコンテンツアイテムの第１の部分に関連する。拡張コンテンツは、任意選択的に、第１のコンテンツアイテムに含まれない。いくつかの実施形態では、拡張コンテンツの表示は、電子デバイスと通信する別の入力デバイスから追加の入力を受信することなく、ユーザの視線及び頭部の動きを検出したことに応じて実行される。
いくつかの実施形態では、拡張コンテンツのコンテンツのタイプは、ユーザが第１のコンテンツアイテムのどの部分を見るかに応じて変化する。例えば、第１のコンテンツアイテムの第１の部分が単語である場合、第１の拡張コンテンツは定義であり、第１のコンテンツアイテムの第２の部分がウェブサイトリンクである場合、第２の拡張コンテンツはウェブサイトのプレビューであり、拡張コンテンツの第２の部分が画像である場合、第２の拡張コンテンツは別の画像である。いくつかの実施形態では、拡張コンテンツの表示は、電子デバイスと通信する別の入力デバイスから追加の入力を受信することなく、ユーザの視線及び頭部の動きを検出したことに応じて実行される。
いくつかの実施形態では、ユーザが１つ以上の基準を満たす頭部の動きを実行しなかったと判定することは、ユーザは頭部を動かしていない、又は１つ以上の基準を満たさない方法で頭部を動かしていると判定することを含む。例えば、ユーザが誤った頭部の動きを実行した場合（例えば、前方に動かすのではなく、右又は左に動かす又は旋回する）、誤った方向に動かした場合（例えば、前方ではなく後方に動かす）、上述した時間又は距離に基づく基準を満たさない方法で動かす場合、又はコンテンツの個別の部分を見ている間に全く頭部を動かさない場合、電子デバイスは、コンテンツのその個別の部分に対応する拡張コンテンツを含むようにユーザインタフェースを更新することを取り止める。
ユーザの視線及び頭部の動きに応じて拡張コンテンツを表示する上述の方法は、電子デバイスが、ユーザの視線及び頭部の動きのみに応じてユーザが見ているコンテンツアイテムの部分に関連する拡張コンテンツを迅速に表示することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザが拡張コンテンツを要求する入力を提供するのにかかる時間を短縮し、拡張コンテンツの誤った表示を低減することによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｊのような第１の拡張コンテンツ（例えば、７２０ａ）は、第１のコンテンツの第１の部分（例えば、７１８ａ）の定義、第１のコンテンツの第１の部分（例えば、７１８ａ）のウェブサイトプレビュー、又は図７Ｋのような第１のコンテンツの第１の部分（例えば、７１８ａ）及び第２の拡張コンテンツ（例えば、７２０ｂ）の拡大バージョンのうちの１つであり、第１のコンテンツの第２の部分（例えば、７１８ｂ）の定義、第１のコンテンツの第２の部分（例えば、７１８ｂ）のウェブサイトプレビュー、又は第１のコンテンツの第２の部分（例えば、７１８ｂ）の拡大バージョンのうちの１つである（１１１４）。
例えば、コンテンツの個別の部分は単語であり、拡張コンテンツは単語の定義である。別の例として、コンテンツの個別の部分は画像（又は画像の部分）であり、拡張コンテンツは画像の拡大バージョン（又は画像の全体）である。別の例として、コンテンツの個別の部分はハイパーリンクであり、拡張コンテンツはハイパーリンクのコンテンツのプレビューである。
定義、画像、又はウェブサイトプレビューを表示する上記の方法は、コンテンツアイテムを表示し続けながら、電子デバイスがコンテンツの部分に追加のコンテキストを迅速かつ効率的に提供することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがコンテンツアイテムの個別の部分に関連付けられた定義、画像、又はウェブサイトプレビューを見るのにかかる時間を短縮することによって）、更に、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｊに示される第１の拡張コンテンツ（例えば、７２０ａ）又は図７Ｋに示される第２の拡張コンテンツ（例えば、７２０ｂ）を表示する前に（１１１６）、ユーザの頭部の動きを検出する前に、電子デバイス（例えば、１０１）は、図７Ｃのように、第１の値を有する視覚特性で第１のコンテンツの第１の部分（例えば、７１８ａ）及び第１のコンテンツの第２の部分（例えば、７１８ｂ）を表示する（１１１８）（例えば、視覚特性は、サイズ、色、太さ、又は強調表示（又はそれらの欠如）のうちの１つ以上である）。
いくつかの実施形態では、ユーザの頭部の動きの少なくとも部分（例えば、電子デバイスは、閾値時間の量、距離、又は何らかの他の基準を超えるユーザの頭部の動きを検出したことに応じて拡張コンテンツを表示する）を検出したことに応じて（１１２０）、ユーザの視線（例えば、７１６ｉ）が第１のコンテンツの第１の部分（例えば、７１８ａ）に向けられているという判定と、ユーザの視線（例えば、７１６ｉ）がコンテンツの第１の部分（例えば、７１８ａ）に向けられている間に、ユーザの頭部の動きの少なくとも部分が第１の基準を満たす方向への進行であることを必要とする基準を含む、１つ以上の第２の基準が満たされているという判定とに従って、電子デバイス（例えば、１０１）は、図７Ｉのように、第１の値を有する視覚特性で第１のコンテンツの第２の部分（例えば、７１８ａ）を維持している間に、第１の値とは異なる第２の値を有する視覚特性で第１のコンテンツの第１の部分（例えば、７１８ｂ）を表示するようにユーザインタフェースを更新する（１１２２）（例えば、１つ以上の第２の基準は、任意選択的に１つ以上の第１の基準と同様であるが、１つ以上の第１の基準を満たすことなく１つ以上の第２の基準を満たすことが可能である）。
いくつかの実施形態では、ユーザの頭部の動きの部分は、閾値時間若しくは距離を超えないか、又は拡張コンテンツを表示するための他の基準を満たさない。
例えば、１つ以上の第１の基準は、ユーザが頭部を所定量（例えば、２ｃｍ、３ｃｍ、４ｃｍなど）動かし、所定の時間量（例えば、１秒）動かし続けた場合に満たされ、１つ以上の第２の基準は、ユーザが頭部をより小さい量及び／又はより短い時間動かした場合に満たされる。第２の値を有する視覚特性でコンテンツの第１の部分を表示することは、任意選択的に、第１の値を有する視覚特性でコンテンツの第１の部分の提示と比較して、コンテンツの第１の部分をより大きなサイズで、強調表示して、追加の輪郭を用いて、又は追加のテキストスタイリング（例えば、太字、下線、斜体）を用いて表示することを含む。一方、いくつかの実施形態では、コンテンツアイテムの第２の部分は、任意選択的に、ユーザの頭部の動きを検出する前と同じ視覚的外観で表示され続ける。いくつかの実施形態では、１つ以上の第１の基準が満たされないという判定に従って、電子デバイスは、第２の値を有する視覚特性で第１のコンテンツの第１の部分を表示するために、ユーザインタフェースを更新することを取り止める。
いくつかの実施形態では、ユーザの視線（例えば、７１６ｎ）が第１のコンテンツの第２の部分（例えば、７１８ｂ）に向けられているという判定、及びユーザの視線（例えば、７１６ｎ）がコンテンツの第２の部分（例えば、７１８ｂ）に向けられている間に、１つ以上の第２の基準が満たされるという判定に従って、電子デバイス（例えば、１０１）は、図７Ｋのように、第１の値を有する視覚特性で第１のコンテンツの第１の部分（例えば、７１８ｂ）を維持している間に、第２の値を有する視覚特性で第１のコンテンツの第２の部分（例えば、７１８ａ）を表示するようにユーザインタフェースを更新する（１１２４）。
第２の値を有する視覚特性でコンテンツの第１の部分を表示することは、任意選択的に、第２の値を有する視覚特性でコンテンツの第２の部分の提示と比較して、コンテンツの第２の部分をより大きなサイズで、強調表示して、追加の輪郭を用いて、又は追加のテキストスタイリング（例えば、太字、下線、斜体）を用いて表示することを含む。一方、いくつかの実施形態では、コンテンツアイテムの第１の部分は、任意選択的に、ユーザの頭部の動きを検出する前と同じ視覚的外観で表示され続ける。いくつかの実施形態では、１つ以上の第２の基準が満たされないという判定に従って、電子デバイスは、第２の値を有する視覚特性で第１のコンテンツの第２の部分を表示するために、ユーザインタフェースを更新することを取り止める。
１つ以上の第２の基準を満たす頭部の動きを実行しながら、ユーザが見ているコンテンツアイテムの部分の視覚的外観を更新する上述の方法は、拡張コンテンツを表示する前に、拡張コンテンツの表示のためにコンテンツのどの部分が選択されるかについてのフィードバックを電子デバイスがユーザに効率的に提供することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザがコンテンツの所望の部分について拡張コンテンツを正確に要求できるようにすることによって）、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、１つ以上の第２の基準は、ユーザが時間閾値（例えば、０．２秒、０．３秒、０．４秒、０．５秒など）よりも長く図７Ｉに示される第１のコンテンツの第１の部分（例えば、７１８ａ）又は第１のコンテンツの第２の部分（例えば、７１８ｂ）を見ることを必要とする基準を含む（１１２６）。
いくつかの実施形態では、１つ以上の第１の基準はまた、第２の基準に関連付けられた時間閾値よりも大きい時間閾値よりも長くユーザがコンテンツの個別の部分を見るときに満たされる基準を含む。例えば、１つ以上の第１の基準に関連する時間閾値は、任意選択的に、０．５秒、０．６秒、０．７秒、０．８秒、０．９秒、又は１秒である。
ユーザが少なくとも閾値時間にわたって個別の部分を見たと判定したことに応じて、ユーザが見ているコンテンツアイテムの個別の部分の外観を更新する上記の方法は、拡張コンテンツを見ようとせずに、ユーザがコンテンツを見ているときに電子デバイスが一貫した方法でコンテンツを表示することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、視覚クラッタを低減し、それによってユーザがコンテンツをより迅速に見ることを可能にすることによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、ユーザの頭部の動きの少なくとも部分を検出したことに応じて（１１２８）、ユーザの頭部の動きの少なくとも部分が第１の基準を満たす方向への進行ではないという判定に従って、電子デバイス（例えば、１０１）は、図７Ｃのように、第１の値を有する視覚特性で第１のコンテンツの第１の部分（例えば、７１８ａ）及び第１のコンテンツの第２の部分（例えば、７１８ｂ）の表示を維持する（１１３０）。
いくつかの実施形態では、ユーザが１つ以上の第１の基準を満たす移動方向とは異なる方向に頭部を移動させるか、又は第１の基準を満たす方向に頭部を移動させながら追加の頭部の移動を行う場合、電子デバイスは、コンテンツの個別の部分の視覚特性の更新を取り止める。例えば、第１の基準に関連する頭部の動きは、ユーザの身体に対して前方への頭部の動きである。この例では、前方へ移動しない後方への頭部の移動、又は左又は右への頭部の移動は、電子デバイスにコンテンツアイテムの部分の視覚特性を更新させない。また、この例では、頭部の上下又は側方への回転を含む頭部の前方への移動は、第１の基準が追加の移動を除外する場合、電子デバイスにコンテンツアイテムの個別の部分の表示を更新させない。いくつかの実施形態では、頭部運動基準が満たされることなく、視線基準の時間閾値が満たされたとしても、第１のコンテンツの第１／第２の部分は、更新された視覚特性で表示されない。
頭部の動きが第１の基準を満たす方向への進行ではないことを検出したことに応じて、コンテンツアイテムの個別の部分の視覚特性を更新することを取り止める上記の方法は、ユーザが第１の基準に関連付けられた動きとは異なる方法で頭部を動かしたときに電子デバイスが視覚クラッタを低減してコンテンツを表示することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、頭部が静止していない場合でも、ユーザがコンテンツをより迅速に読み取ることを可能にすることによって）、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｊに示される第１の拡張コンテンツ（例えば、７２０ａ）又は図７Ｋに示される第２の拡張コンテンツ（例えば、７２０ｂ）を表示する前に、１つ以上の第２の基準が満たされている間（１１３２）（例えば、ユーザは、第１のコンテンツの第１又は第２の部分を見ており、１つ以上の第２の基準を満たすが、１つ以上の第１の基準を満たさない頭部の動きを実行する）に、図７Ｉのように、第２の値を有する視覚特性で第１のコンテンツの第１の部分（例えば、７１８ａ）を表示し、第１の値を有する視覚特性で第１のコンテンツの第２の部分（例えば、７１８ｂ）を表示している間に、電子デバイス（例えば、１０１）は、図７Ｋ（例えば、第１のコンテンツの第１の部分は、ユーザが第１のコンテンツの第１の部分を見ていることを検出したことに応じて、第２の値を有する視覚特性で表示される）のように、ユーザの視線（例えば、７１６ｎ）が第１のコンテンツの第１の部分（例えば、７１８ａ）に向けられている状態から第１のコンテンツの第２の部分（例えば、７１８ｂ）に向けられている状態に変化することを検出する（１１３４）。
いくつかの実施形態では、ユーザの視線（例えば、７１６ｎ）が第１のコンテンツの第１の部分（例えば、７１８ａ）に向けられている状態から、第１のコンテンツの第２の部分（例えば、７１８ｂ）に向けられている状態に変化することを検出したことに応じて（１１３６）、電子デバイス（例えば、１０１）は、図７Ｋに示すように、第１の値を有する視覚特性で第１のコンテンツの第１の部分（例えば、７１８ａ）を表示し、第２の値を有する視覚特性で第１のコンテンツの第２の部分（例えば、７１８ｂ）を表示するようにユーザインタフェースを更新する（１１３８）。
同様に、第２の基準が満たされている間にユーザがコンテンツの第２の部分を見ている場合、電子デバイスは、任意選択的に、第２の値を有する視覚特性でコンテンツの第２の部分を表示し、第１の値を有する視覚特性でコンテンツの第１の部分を表示する。
いくつかの実施形態では、１つ以上の第２の基準が満たされている間にユーザがコンテンツの第２の部分を見ており、次いでコンテンツの第１の部分を見る場合、電子デバイスは、ユーザの視線がコンテンツの第２の部分から第１の部分に移動するのに応じて、第２の値を有する視覚特性でコンテンツの第１の部分を表示し、第１の値を有する視覚特性でコンテンツの第２の部分を表示する。いくつかの実施形態では、電子デバイスが、コンテンツの第１の部分に向けられている状態から第１のコンテンツの第２の部分に向けられている状態に変化するユーザの視線を検出しない場合、電子デバイスは、任意選択的に、第１の値を有する視覚特性で第１のコンテンツの第１の部分を表示し、第２の値を有する視覚特性で第１のコンテンツの第２の部分を表示するようにユーザインタフェースを更新することを取り止める。
コンテンツの第２の部分の第１の部分からのユーザの視線の動きを検出したことに応じてコンテンツの第１の部分及び第２の部分の視覚特性を更新する上述の方法は、電子デバイスが、表示される拡張コンテンツがコンテンツのどの部分に対応するかに関するフィードバック、及び拡張コンテンツがコンテンツのどの部分に対応するかを変更する能力をユーザに迅速かつ効率的に提供することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、拡張コンテンツが表示されるコンテンツの部分をユーザが正確に選択するのにかかる時間及び入力を低減することによって）、更に、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｋに示す第２の拡張コンテンツ（例えば、７２０ｂ）を表示している間に（例えば、第１のコンテンツの第２の部分に関連付けられた拡張コンテンツ）、図７Ｋのように、第１の値を有する視覚特性で第１のコンテンツの第１の部分（例えば、７１８ａ）を、第２の値を有する視覚特性で第１のコンテンツの第２の部分（例えば、７１８ｂ）を表示している間に、電子デバイス（例えば、１０１）は、ユーザの視線が第１のコンテンツの第２の部分（例えば、７１８ｂ）に向けられている状態から第１のコンテンツの第１の部分（例えば、７１８ａ）に向けられている状態に変化することを検出する（１１４０）。
いくつかの実施形態では、図７Ｋに示すように、ユーザの視線が第１のコンテンツの第２の部分（例えば、７１８ｂ）に向けられている状態から第１のコンテンツの第１の部分（例えば、７１８ａ）に向けられている状態に移動することを検出したことに応じて、電子デバイス（例えば、１０１）は、第１の値を有する視覚特性で第１のコンテンツの第１の部分（例えば、７１８ａ）と、第２の値を有する視覚特性で第１のコンテンツの第２の部分（例えば、７１８ｂ）との表示を継続する（１１４２）。
いくつかの実施形態では、拡張コンテンツが表示されると、第１のコンテンツのある部分から別の部分へのユーザの視線の移動は、拡張コンテンツが関連付けられている第１のコンテンツの部分を変更しない。第２の拡張コンテンツは、任意選択的に、第１のコンテンツの第２の部分から第１のコンテンツの第１の部分へのユーザの視線の動きを検出したことに応じて表示され続ける。いくつかの実施形態では、第２の拡張コンテンツを表示する前に、第２の値を有する視覚特性でコンテンツの第１の部分を表示し、第１の値を有する視覚特性でコンテンツの第２の部分を表示している間に、基準を満たすユーザの頭部の動きを検出したことに応じて、電子デバイスは、第１の部分に対応する拡張コンテンツを表示する。任意選択で、コンテンツアイテムの第１の部分に対応する第１の拡張コンテンツを表示している間に、ユーザがコンテンツアイテムの第２の部分を見ていることを検出したことに応じて、電子デバイスは、第１の拡張コンテンツを表示し続け、第２の値を有する視覚特性でコンテンツアイテムの第１の部分と、第１の値を有する視覚特性で第２のコンテンツアイテムの第２の部分とを表示する。
第２の拡張コンテンツを表示している間に、第１のコンテンツの第２の部分から第１のコンテンツの第１の部分に移動するユーザの視線を検出した後に、第２の値を有する視覚特性で第１のコンテンツの第２の部分を表示し続ける上述の方法は、電子デバイスが不要なユーザインタフェースの変更（例えば、コンテンツアイテムの第１の部分及び第２の部分の視覚特性が変化するなど）を回避することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザが拡張コンテンツをより迅速に検討することを可能にすることによって）、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｊに示される第１の拡張コンテンツ（例えば、７２０ａ）又は図７Ｋに示される第２の拡張コンテンツ（例えば、７２０ｂ）を表示する前に、図７Ｉのように、第２の値を有する視覚特性で第１のコンテンツの第１の部分（例えば、７１８ａ）を表示している間に（１１４４）、電子デバイス（例えば、１０１）は、ユーザの頭部の第２の動きが第１の基準を満たすことから離れる進行であることを必要とする基準を含む、１つ以上の第３の基準を満たすユーザの頭部の第２の動きを検出する（例えば、ユーザの身体に対するユーザの頭部の前方への動きは、第１及び第２の基準を満たし、ユーザの頭部の後方への動き（例えば、中立位置まで）は、第３の基準を満たす）（１１４６）。
いくつかの実施形態では、１つ以上の第３の基準を満たすユーザの頭部の第２の動きを検出したことに応じて、電子デバイス（例えば、１０１）は、図７Ｃのように、第１の値を有する視覚特性で第１のコンテンツの第１の部分（例えば、７１８ａ）を表示するようにユーザインタフェースを更新する（１１４８）。
例えば、電子デバイスは、ユーザの頭部の前方移動を検出したことに応じて、第２の値を有する視覚特性で第１のコンテンツの第１の部分を表示し、電子デバイスは、ユーザの頭部の後方移動を検出したことに応じて、第１の値を有する視覚特性で第１のコンテンツの第１の部分を表示する。
第３の基準を満たす頭部の動きを検出したことに応じて、第１の視覚特性で表示される第１のコンテンツの第１の部分を表示するためにユーザインタフェースを元に戻す上記の方法は、ユーザが頭部の動きを逆にしたことに応じて、拡張コンテンツを表示することから後退する迅速かつ効率的な方法を提供し、これにより、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、拡張コンテンツの表示をキャンセルする効率的な方法を提供することによって）、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｊに示すように、第１の拡張コンテンツ（例えば、７２０ａ）を含むようにユーザインタフェースを更新することは、第１の拡張コンテンツ（例えば、７２０ａ）の表示をアニメーション化することを含み、アニメーションは、ユーザの頭部の動きに基づいて１つ以上の第１の基準を満たすように進行する量及び／又は方向に基づいて決定された量及び／又は方向だけ進行する（例えば、いくつかの実施形態では、少なくとも閾値量の頭部の動きは、１つ以上の基準を満たす）（１１５０）。
いくつかの実施形態では、図７Ｋに示す第２の拡張コンテンツ（例えば、７２０ｂ）を含むようにユーザインタフェースを更新することは、第２の拡張コンテンツ（例えば、７２０ｂ）の表示をアニメーション化することを含み、アニメーションは、ユーザの頭部の動きに基づいて１つ以上の第１の基準を満たすように進行する量及び／又は方向に基づいて決定された量及び／又は方向だけ進行する（１１５２）。
ユーザが閾値量未満の量だけ頭部を動かしたことを検出したことに応じて、電子デバイスは、任意選択的に、表示されている拡張コンテンツのアニメーションの部分を開始し、任意選択的に、ユーザが閾値量に頭部を近づけ続けるにつれてアニメーションを進行し続ける。
いくつかの実施形態では、電子デバイスは、ユーザが見ている第１のコンテンツの部分にかかわらず、ユーザの頭部の動きの進行に比例する速度で拡張コンテンツの表示をアニメーション化する。
ユーザの頭部の動きの進行に比例する速度で拡張コンテンツの表示をアニメーション化する上記の方法は、電子デバイスが、頭部の動きによって拡張コンテンツが完全に表示されることの効率的なフィードバックをユーザに提供することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザが電子デバイスに拡張コンテンツをより迅速に表示させること、又は拡張コンテンツの提示から後退させることを可能にすることによって）、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｊに示す第１の拡張コンテンツ７２０ａを表示している間に、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）を介して、ユーザの視線（例えば、７１６ｌ）が第１の拡張コンテンツ（例えば、７２０ａ）に向けられていることを検出する（１１５４）。
いくつかの実施形態では、図７Ｊのように、ユーザの視線（例えば、７１６ｌ）が第１の拡張コンテンツ（例えば、７２０ａ）に向けられていることを検出した後に、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）を介して、ユーザの視線がもはや第１の拡張コンテンツに向けられていないことを検出する（例えば、ユーザは、ユーザインタフェース内の異なる位置を見たり、ユーザインタフェースから目を離したりする）（１１５６）。
いくつかの実施形態では、ユーザの視線がもはや第１の拡張コンテンツ（例えば、７２０ａ）に向けられていないことを検出したことに応じて、電子デバイス（例えば、１０１）は、第１の拡張コンテンツ（例えば、７２０ａ）の表示を停止する（１１５８）。
いくつかの実施形態では、電子デバイスは、ユーザが拡張コンテンツを見てから目を離すまで拡張コンテンツを表示する。例えば、ユーザが拡張コンテンツ又は電子デバイスを表示するアプリケーションとの対話を停止する前に拡張コンテンツを見ていない場合、拡張コンテンツは、ユーザがアプリケーション及び／又は電子デバイスとの対話を再開したときに依然として表示される。しかしながら、ユーザが拡張コンテンツを既に見た後に他のコンテンツとの対話を開始した場合、電子デバイスは任意選択的に拡張コンテンツの表示を停止する（例えば、いくつかの実施形態では、拡張された基準を破棄するための他の基準がある場合、それが満たされている限り）。いくつかの実施形態では、ユーザが拡張コンテンツを見ておらず、電子デバイスとの対話を停止し、後で戻ってきた場合でも、拡張コンテンツは依然として任意選択で表示される。
ユーザが拡張コンテンツを見ていた後に目を離したことを検出したことに応じて拡張コンテンツの表示を停止する上記の方法は、ユーザがそれを見たときにのみ、電子デバイスが拡張コンテンツを効率的に破棄することを可能にするが、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザインタフェースの異なる部分と対話する前に拡張コンテンツの表示を停止するのに必要な入力を減らすことによって）、それは更に、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｊに示す第１の拡張コンテンツ（例えば、７２０ａ）を表示している間に、第１の拡張コンテンツ（例えば、７２０ａ）に向けられたユーザの視線（例えば、７１６ｌ）を検出する前に、電子デバイスは、視線トラッキングデバイス（例えば、３１４）を介して、ユーザの視線が第１の拡張コンテンツ（例えば、７２０ａ）以外のユーザインタフェース内の位置に向けられていることを検出する（例えば、ユーザは、拡張コンテンツではない第１のコンテンツを見続け、又は第１のコンテンツ若しくは拡張コンテンツ以外のコンテンツを含むユーザインタフェースの部分を見続ける）（１１６０）。
いくつかの実施形態では、ユーザの視線が第１の拡張コンテンツ（例えば、７２０ａ）に向けられておらず、ユーザの視線が第１の拡張コンテンツ（例えば、７２０ａ）以外のユーザインタフェース内の位置に向けられていることを検出したことに応じて、電子デバイス（例えば、１０１）は、図７Ｊに示すように、第１の拡張コンテンツ（例えば、７２０ａ）を表示し続ける（１１６２）。
いくつかの実施形態では、電子デバイスは、ユーザが拡張コンテンツを見てから目を離すまで、又は拡張コンテンツを破棄するための他の基準が満たされるまで、拡張コンテンツを表示し続ける。任意選択で、拡張コンテンツを破棄するための他の基準も可能である。いくつかの実施形態では、拡張コンテンツ以外のユーザインタフェースの位置を単に見ることは、それ自体では破棄基準を満たさないが、そのような実施形態では、拡張コンテンツを見ることは、任意選択的に、破棄されるべき拡張コンテンツに対する少なくとも１つの要件である。
拡張コンテンツを見ることなく、ユーザが拡張コンテンツを見ていない間に拡張コンテンツを表示し続ける上記の方法は、拡張コンテンツを誤って破棄することを回避し、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、誤って破棄された場合に拡張コンテンツを再表示するのに必要な入力及び時間を削減することによって）、更に、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｊに示す第１の拡張コンテンツ（例えば、７２０ａ）を表示している間に、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）を介して、ユーザの視線の動きが、ユーザが第１のコンテンツを読んでいることを示すことを検出する（例えば、電子デバイスは、視線トラッキングデバイスを用いて、読み取りと一致するユーザの目の動きを検出する）（１１６４）。
いくつかの実施形態では、ユーザの視線の動きが、ユーザが第１のコンテンツを読んでいることを示すことを検出したことに応じて、電子デバイス（例えば、１０１）は、第１の拡張コンテンツ（例えば、７２０ａ）の表示を停止する（１１６６）。
いくつかの実施形態では、電子デバイスは、ユーザが拡張コンテンツを見る前に第１のコンテンツの読み取りを検出する。いくつかの実施形態では、ユーザが拡張コンテンツを見た後に読み取り値が検出される。
いくつかの実施形態では、電子デバイスは、ユーザが第１のコンテンツを読んでいることを検出したことに応じて拡張コンテンツの表示を停止し、いくつかの実施形態では、ユーザが拡張コンテンツを見ていない場合であっても、他の実施形態では、電子デバイスは、拡張コンテンツを破棄することができる前に、ユーザが拡張コンテンツを見たことを依然として必要とする。いくつかの実施形態では、ユーザが第１のコンテンツを読むことなく単に第１のコンテンツを見ている場合、拡張コンテンツは電子デバイスによって表示され続ける。したがって、いくつかの実施形態では、拡張コンテンツが破棄されるために、第１のコンテンツの読み取りが必要とされる。
ユーザが第１のコンテンツを読んでいることを検出したことに応じて拡張コンテンツの表示を停止する上記の方法は、ユーザが第１のコンテンツを読んでいる間、電子デバイスが拡張コンテンツを効率的に破棄して視覚的クラッタを低減することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、代わりに第１のコンテンツに焦点を合わせるために拡張コンテンツの表示を停止するのに必要な入力を減らすことによって）、これにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｊに示される第１の拡張コンテンツ（例えば、７２０ａ）を表示している間に、電子デバイス（例えば、１０１）は、第１の拡張コンテンツ以外のユーザインタフェースの領域（例えば、７２０ａ）に向けられた入力を検出する（例えば、ユーザは、第１の拡張コンテンツ以外の領域に表示されたコンテンツを読むか、又は方法１０００で説明したような逆方向ナビゲーション入力などの異なる入力を実行する）（１１６８）。
いくつかの実施形態では、入力を検出したことに応じて、電子デバイス（例えば、１０１）は、第１の拡張コンテンツ（例えば、７２０ａ）の表示を停止するアニメーションを開始する（１１７０）（例えば、拡張コンテンツは、表示領域からフェードアウト及び／又は収縮及び／又は移動し始める）。
いくつかの実施形態では、第１の拡張コンテンツ（例えば、７２０ａ）の停止表示をアニメーション化している間であるが、第１の拡張コンテンツ（例えば、７２０ａ）の表示を停止する前に（１１７２）、ユーザの視線（例えば、７１６ｌ）が図７Ｊに示される第１の拡張コンテンツ（例えば、７２０ａ）に向けられているという判定に従って、電子デバイス（例えば、１０１）は、第１の拡張コンテンツ（例えば、７２０ａ）のアニメーションを停止し、第１の拡張コンテンツ（例えば、７２０ａ）の表示を図７Ｊに示される初期状態に（例えば、拡張コンテンツを見ているユーザを検出したことに応じて、電子デバイスは任意選択的に拡張コンテンツの表示を元に戻す）に戻す（１１７４）。
いくつかの実施形態では、ユーザの視線が第１の拡張コンテンツ（例えば、７２０ａ）に向けられていないという判定に従って、電子デバイス（例えば、１０１）は、第１の拡張コンテンツ（例えば、７２０ａ）の表示の停止のアニメーションを継続する（１１７６）（例えば、第１の拡張コンテンツが表示されなくなるまで）。
拡張コンテンツを見ているユーザを検出したことに応じて拡張コンテンツの表示を停止するアニメーションを停止する上記の方法は、電子デバイスが、ユーザがそれを見たい場合には拡張コンテンツを迅速かつ効率的に表示し続け、ユーザがそれを見たくない場合には拡張コンテンツを破棄することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、拡張コンテンツを破棄し、拡張コンテンツの偶発的な破棄を防止する効率的な方法を提供することによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、図７Ｊに示す第１の拡張コンテンツ（例えば、７２０ａ）を表示している間に、電子デバイス（例えば、１０１）は、視線トラッキングデバイス（例えば、３１４）を介して、１つ以上の第２の基準（例えば、瞬きの持続時間は、潜在意識下の瞬きと一致する閾値時間量を超える）を満たすユーザの目の瞬きを判定する（１１７８）。例えば、ユーザの目は、少なくとも０．５秒間、０．６秒間、０．７秒間、０．８秒間、０．９秒間、又は１秒間閉じたままである。
いくつかの実施形態では、ユーザの目の瞬きが１つ以上の第２の基準を満たすと判定したことに応じて、電子デバイス（例えば、１０１）は、第１の拡張コンテンツ（例えば、７２０ａ）の表示を停止する（１１８０）。いくつかの実施形態では、瞬きが１つ以上の基準を満たさない場合（例えば、ユーザの目は、所定の閾値未満の期間閉じている）、拡張コンテンツは表示され続ける。
１つ以上の基準を満たす瞬きに応じて拡張コンテンツの表示を停止する上記の方法は、電子デバイスが、ユーザが電子デバイスに拡張コンテンツの表示を中止させるための効率的な方法を提供することを可能にし、これにより、ユーザと電子デバイスとの間の対話が単純化され、電子デバイスの操作性が向上し、ユーザデバイスインタフェースがより効率的になり（例えば、ユーザが拡張コンテンツを破棄するのにかかる時間を短縮することによって）、それにより、ユーザが電子デバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量が更に削減され、電子デバイスのバッテリ寿命が改善される。
いくつかの実施形態では、方法８００、９００、１０００、及び１１００の態様／動作は、これらの方法の間で交換、置換、及び／又は追加され得る。簡潔にするために、それらの詳細はここでは繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。

Claims (25)

  1. 方法であって、
    表示生成コンポーネント及び視線トラッキングデバイスと通信する電子デバイスにおいて、
    前記表示生成コンポーネントを介して、コンテンツアイテムのテキストの第１の部分と前記コンテンツアイテムのテキストの第２の部分とを含むユーザインタフェースであって、前記テキストの第１の部分は前記ユーザインタフェース内の第１の位置に表示され、前記テキストの第２の部分は前記ユーザインタフェース内の第２の位置に表示される、ユーザインタフェースを表示することと、
    前記ユーザインタフェースを表示している間に、前記視線トラッキングデバイスを介して、ユーザの視線の動きが、前記ユーザが前記テキストの第１の部分を読んでいることを示していると判定することと、
    前記ユーザの前記視線の前記動きが、前記ユーザが前記テキストの第１の部分を読んでいることを示している間に、
    前記ユーザの前記視線の前記動きが、前記ユーザが前記テキストの第１の部分を読み終わったことを示すという判定に従って、
    前記テキストの第２の部分が第１の方向に移動するように前記テキストをスクロールすることと、
    前記ユーザの前記視線の前記動きが、前記ユーザが前記テキストの第１の部分を読み終わっていないことを示すという判定に従って、
    前記テキストの第１の部分を前記第１の位置に維持することと、
    を含む、方法。
  2. 前記ユーザインタフェースを表示している間に、前記視線トラッキングデバイスを介して、前記ユーザの視線が前記テキストの第１の部分又は前記テキストの第２の部分に向けられているが、前記ユーザの前記視線の前記動きが、前記ユーザが前記テキストの第１の部分又は前記テキストの第２の部分を読んでいないことを示すと判定することと、
    前記ユーザの前記視線が前記テキストの第１の部分又は前記テキストの第２の部分に向けられているが、前記ユーザの前記視線の動きが、前記ユーザが前記テキストの第１の部分又は前記テキストの第２の部分を読んでいないことを示すと判定したことに応じて、前記テキストのスクロールを取り止めることと、
    を更に含む、請求項１に記載の方法。
  3. 前記ユーザインタフェースを表示している間に、前記視線トラッキングデバイスを介して、前記ユーザの視線がもはや前記テキストの第１の部分に向けられていないと判定することと、
    前記ユーザの前記視線がもはや前記テキストの第１の部分に向けられていないという判定に応じて、
    前記ユーザが前記テキストの第１の部分を読むことなく、前記テキストの第１の部分をざっと読んだことの、前記テキストの第１の部分上の前記ユーザの視線の検出された動きに基づく判定に従って、前記テキストのスクロールを取り止めることと、
    前記ユーザが前記テキストの第１の部分を読んだことの、前記テキストの第１の部分上の前記ユーザの視線の検出された動きに基づく判定に従って、前記テキストの第２の部分が前記第１の方向に移動するように前記テキストをスクロールすることと、を更に含む、請求項１又は２に記載の方法。
  4. 前記視線トラッキングデバイスを介して、前記テキストの第１の部分上の前記ユーザの視線の検出された動きに基づいて、前記ユーザが前記テキストの第１の部分をざっと読んでいると判定することと、
    前記ユーザが前記テキストの第１の部分のざっと読みを終了したという判定に従って、前記テキストの第２の部分が前記第１の方向に移動するように前記テキストをスクロールすることと、を更に含む、請求項１又は２に記載の方法。
  5. 前記テキストの第２の部分が前記第１の方向に移動するように前記テキストをスクロールすることは、前記ユーザが前記テキストの第１の部分の終わりに到達し、前記テキストの第２の部分の先頭に向かう方向に目を動かしていることを検出したことに応じている、請求項１から４のいずれか一項に記載の方法。
  6. 前記テキストの第２の部分が前記第１の方向に移動するように前記テキストをスクロールすることは、前記ユーザが前記テキストの第２の部分の先頭に向かう前記方向に目を動かしている間に発生する、請求項５に記載の方法。
  7. 前記テキストの第２の部分が前記第１の方向に移動するように前記テキストをスクロールすることにより、前記テキストの第２の部分が、前記ユーザが目を前記テキストの第２の部分の前記先頭に向かう前記方向に動かす間に見る前記ユーザインタフェース内の位置に表示される、請求項６に記載の方法。
  8. 前記ユーザインタフェースは、前記ユーザインタフェース内の前記第１の位置にある前記テキストの第１の部分と、前記ユーザインタフェース内の前記第２の位置にある前記テキストの第２の部分と、前記ユーザインタフェース内の第３の位置にある前記コンテンツアイテムのテキストの第３の部分とを含み、前記方法は、
    前記ユーザの前記視線の前記動きが、前記ユーザが前記テキストの第１の部分を読んでいることを示している間に、
    前記ユーザの前記視線の前記動きが、前記ユーザが前記テキストの第１の部分を読み終わり、前記テキストの第２の部分を読み始めようとしていることを示すという判定に従って、前記テキストの第２の部分が第１の量だけ前記第１の方向に移動するように前記テキストをスクロールすることと、
    前記ユーザの前記視線の前記動きが、前記ユーザが前記テキストの第１の部分を読み終わり、前記テキストの第３の部分を読み始めようとしていることを示すという判定に従って、前記テキストの第３の部分が前記第１の量より大きい第２の量だけ前記第１の方向に移動するように前記テキストをスクロールすることと、
    を更に含む、請求項１から７のいずれか一項に記載の方法。
  9. 前記テキストの第２の部分が前記第１の方向に移動するように前記テキストをスクロールすることにより、前記ユーザインタフェースの第３の領域に画像が表示され、前記方法は、
    前記テキストの第２の部分が前記第１の方向に移動するように前記テキストをスクロールした後に、
    前記視線トラッキングデバイスを介して、前記ユーザの視線が前記画像に向けられていると判定することと、
    前記ユーザの前記視線が前記画像に向けられていると判定したことに応じて、前記ユーザインタフェース内の前記第１の位置に前記画像を表示するために、前記テキスト及び前記画像を前記第１の方向にスクロールすることと、
    を更に含む、請求項１から８のいずれか一項に記載の方法。
  10. 前記画像を前記ユーザインタフェース内の前記第１の位置に表示している間に、前記コンテンツアイテムのテキストの第３の部分を前記画像の下に表示することと、
    前記画像を前記ユーザインタフェース内の前記第１の位置に表示し、前記テキストの第３の部分を前記画像の下に表示している間に、１つ以上の基準が満たされたと判定することと、
    前記１つ以上の基準が満たされたとの判定に応じて、前記画像上に重ね合わされるように前記テキストの第３の部分を移動するように前記ユーザインタフェースを更新することと、
    を更に含む、請求項９に記載の方法。
  11. 前記画像上に重ね合わされた前記テキストの第３の部分を表示している間に、前記視線トラッキングデバイスを介して、前記ユーザの前記視線の前記動きが、前記ユーザが前記テキストの第３の部分を読んでいることを示すことを検出することと、
    前記ユーザの前記視線の前記動きが、前記ユーザが前記テキストの第３の部分を読んでいることを示していると判定したことに応じて、前記テキストの第３の部分がもはや前記画像上に重ならないように、前記画像を前記第１の方向にスクロールすることと、
    を更に含む、請求項１０に記載の方法。
  12. 前記コンテンツアイテムを含む前記ユーザインタフェースを表示している間に、前記視線トラッキングデバイスを介して、前記ユーザの頭部の水平方向の動きを検出することと、
    前記ユーザの前記頭部の前記水平方向の動きを検出したことに応じて、前記コンテンツアイテムを前記ユーザの視野の中心の位置に表示するように前記ユーザインタフェースを更新することと
    を更に含む、請求項１から１１のいずれか一項に記載の方法。
  13. 前記第１の方向は、前記ユーザインタフェースにおいて垂直な方向である、請求項１から１２のいずれか一項に記載の方法。
  14. 前記第１の方向は、前記ユーザインタフェースにおいて水平な方向である、請求項１から１２のいずれか一項に記載の方法。
  15. 前記第１の方向は、前記ユーザインタフェース内の垂直成分及び水平成分を有する、請求項１から１４のいずれか一項に記載の方法。
  16. 前記テキストの第１の部分上の前記ユーザの視線の検出された動きに基づいて、前記ユーザが前記テキストの第１の部分を読み終わったことを検出することと、
    前記ユーザが前記テキストの第１の部分を読み終わったことを検出したことに応じて、前記ユーザインタフェース内に、前記ユーザが前記テキストの第１の部分を読み終わったと判定する前には表示されていなかった前記コンテンツアイテムのテキストの第３の部分を表示することと、
    を含む、請求項１から１５のいずれか一項に記載の方法。
  17. 前記ユーザの前記視線の前記動きが、前記ユーザが前記テキストの第１の部分を読んでいることを示していると判定したことに応じて、前記テキストの第１の部分に関連付けられた第１のオーディオを生成することと、
    前記テキストの第２の部分が前記第１の方向に移動するように前記テキストをスクロールした後に、前記視線トラッキングデバイスを介して、前記ユーザの前記視線の前記動きが、前記ユーザが前記テキストの第２の部分を読んでいることを示していると判定することと、
    前記ユーザの前記視線の前記動きが、前記ユーザが前記テキストの第２の部分を読んでいることを示していると判定したことに応じて、前記テキストの第２の部分に関連付けられた第２のオーディオを生成することと、
    を更に含む、請求項１から１６のいずれか一項に記載の方法。
  18. 前記テキストの第１の部分に関連する前記第１のオーディオの進行は、前記ユーザが前記テキストの第１の部分を読んでいる速度に対応し、前記テキストの第２の部分に関連する前記第２のオーディオの進行は、前記ユーザが前記テキストの第２の部分を読んでいる速度に対応する、請求項１７に記載の方法。
  19. 前記ユーザの前記視線の前記動きが、前記ユーザが個別のコンテンツアイテムを読んでいることを示している間に、それらの個別のコンテンツアイテムを、前記ユーザがそれらの個別のコンテンツアイテムを読んでいた個別の時間に関連付けることと、
    前記ユーザの前記視線の前記動きが、前記ユーザが前記個別のコンテンツアイテムを読み終えたことを示した後に、
    １つ以上の入力デバイスを介して、前記ユーザが第１の個別の時間に読んでいたコンテンツアイテムに関する情報を提示する要求を受信することと、
    前記ユーザが前記第１の個別の時間に読んでいた前記コンテンツアイテムに関する前記情報を表示する前記要求の受信に応じて、
    前記第１の個別の時間は第１の時間であるという判定に従って、第１の個別のコンテンツアイテムに関する情報を提示することと、
    前記第１の個別の時間は第２の時間であるという判定に従って、第２の個別のコンテンツアイテムに関する情報を提示することと、
    を更に含む、請求項１から１８のいずれか一項に記載の方法。
  20. 前記コンテンツアイテムを表示している間に、１つ以上の入力デバイスを介して、前記コンテンツアイテムの表示を停止する要求を受信し、前記コンテンツアイテムの表示を停止する前記要求の受信に応じて、前記コンテンツアイテムの表示を停止することと、
    前記コンテンツアイテムの表示を停止した後に、前記１つ以上の入力デバイスを介して、前記コンテンツアイテムを表示する要求を受信することと、
    前記コンテンツアイテムを表示する前記要求の前記受信に応じて、
    前記コンテンツアイテムを表示することと、
    前記コンテンツアイテムの表示が停止される前に、前記ユーザが前記コンテンツアイテムの前記テキストの第１の部分を最後に読んだという判定に従って、前記コンテンツアイテムの前記テキストの第１の部分のインジケーションを提供することと、
    前記コンテンツアイテムの表示が停止される前に、前記ユーザが前記コンテンツアイテムの前記テキストの第２の部分を最後に読んだという判定に従って、前記コンテンツアイテムの前記テキストの第２の部分のインジケーションを提供することと、
    を更に含む、請求項１から１９のいずれか一項に記載の方法。
  21. 前記ユーザインタフェースを表示している間に、前記視線トラッキングデバイスを介して、所定のタイミング基準で前記ユーザの目が閉じてから開かれたという判定を含めて、前記ユーザが瞬きをしたと判定することと、
    前記ユーザが瞬きしたと判定したことに応じて、前記第１の方向とは異なる第２の方向に前記テキストをスクロールして、前記コンテンツアイテムの前の部分を前記ユーザインタフェース内の前記第１の位置に表示させることと、
    を更に含む、請求項１から２０のいずれか一項に記載の方法。
  22. 前記ユーザインタフェースを表示している間に、前記視線トラッキングデバイスを介して、前記ユーザが前記コンテンツアイテムを流し読みしていると判定することと、
    前記ユーザが前記コンテンツアイテムを流し読みしていると判定したことに応じて、第１の値を有する視覚特性で前記コンテンツアイテムの１つ以上の第１の単語を提示し、前記第１の値とは異なる第２の値を有する前記視覚特性で、前記コンテンツアイテムの前記第１の単語とは異なる前記コンテンツアイテムの１つ以上の第２の単語を提示することと、
    を更に含む、請求項１から２１のいずれか一項に記載の方法。
  23. 前記ユーザの前記視線の前記動きが、前記ユーザが前記テキストの第１の部分を読み終わったことを示すという前記判定に応じて、前記テキストの前記第２の部分が前記第１の方向に移動するように前記テキストをスクロールした後、前記視線トラッキングデバイス以外の前記電子デバイスと通信する１つ以上の入力デバイスを介して、前記第１の方向とは反対の第２の方向に前記テキストをスクロールする要求に対応する入力を受信することと、
    前記入力の受信に応じて、前記テキストを前記第２の方向にスクロールすることと、
    を更に含む、請求項１から２２のいずれか一項に記載の方法。
  24. 電子デバイスであって、
    １つ以上のプロセッサと、
    メモリと、
    １つ以上のプログラムと、を備え、前記１つ以上のプログラムが、前記メモリに記憶され、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、請求項１から２３のいずれか一項に記載の方法を実行する命令を含む、
    電子デバイス。
  25. 電子デバイスの１つ以上のプロセッサによって実行されると、前記電子デバイスに、請求項１から２３のいずれか一項に記載の方法を実行させる命令を含むプログラム。
JP2022557936A 2020-03-27 2021-03-15 視線ベースのナビゲーションのためのデバイス、方法、及びグラフィカルユーザインタフェース Active JP7389270B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023195265A JP2024026103A (ja) 2020-03-27 2023-11-16 視線ベースのナビゲーションのためのデバイス、方法、及びグラフィカルユーザインタフェース

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063001210P 2020-03-27 2020-03-27
US63/001,210 2020-03-27
US202063131754P 2020-12-29 2020-12-29
US63/131,754 2020-12-29
PCT/US2021/022413 WO2021194790A1 (en) 2020-03-27 2021-03-15 Devices, methods, and graphical user interfaces for gaze-based navigation

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023195265A Division JP2024026103A (ja) 2020-03-27 2023-11-16 視線ベースのナビゲーションのためのデバイス、方法、及びグラフィカルユーザインタフェース

Publications (2)

Publication Number Publication Date
JP2023520345A JP2023520345A (ja) 2023-05-17
JP7389270B2 true JP7389270B2 (ja) 2023-11-29

Family

ID=75439494

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022557936A Active JP7389270B2 (ja) 2020-03-27 2021-03-15 視線ベースのナビゲーションのためのデバイス、方法、及びグラフィカルユーザインタフェース
JP2023195265A Pending JP2024026103A (ja) 2020-03-27 2023-11-16 視線ベースのナビゲーションのためのデバイス、方法、及びグラフィカルユーザインタフェース

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2023195265A Pending JP2024026103A (ja) 2020-03-27 2023-11-16 視線ベースのナビゲーションのためのデバイス、方法、及びグラフィカルユーザインタフェース

Country Status (7)

Country Link
US (1) US20210303107A1 (ja)
EP (1) EP4127869A1 (ja)
JP (2) JP7389270B2 (ja)
KR (1) KR20220137770A (ja)
CN (2) CN115657848A (ja)
AU (1) AU2021242208A1 (ja)
WO (1) WO2021194790A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11705232B2 (en) * 2021-02-11 2023-07-18 Nuance Communications, Inc. Communication system and method
US9766702B2 (en) 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
US11333902B2 (en) * 2017-12-12 2022-05-17 RaayonNova LLC Smart contact lens with embedded display and image focusing system
JP2023543799A (ja) 2020-09-25 2023-10-18 アップル インコーポレイテッド ユーザインタフェースをナビゲートする方法
US11874959B2 (en) * 2021-09-15 2024-01-16 Sony Interactive Entertainment Inc. Dynamic notification surfacing in virtual or augmented reality scenes

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006107048A (ja) 2004-10-04 2006-04-20 Matsushita Electric Ind Co Ltd 視線対応制御装置および視線対応制御方法
JP2011203880A (ja) 2010-03-25 2011-10-13 Nomura Research Institute Ltd 既読判定装置および既読判定方法
US20120066638A1 (en) 2010-09-09 2012-03-15 Microsoft Corporation Multi-dimensional auto-scrolling
JP2014021565A (ja) 2012-07-12 2014-02-03 Canon Inc 電子機器及びその制御方法
WO2014203301A1 (ja) 2013-06-17 2014-12-24 日立マクセル株式会社 情報表示端末
JP2015056173A (ja) 2013-09-13 2015-03-23 富士通株式会社 情報処理装置、方法及びプログラム
JP2018041477A (ja) 2012-06-25 2018-03-15 アマゾン・テクノロジーズ、インコーポレイテッド 注視決定とデバイス入力との使用
JP2019040333A (ja) 2017-08-24 2019-03-14 大日本印刷株式会社 情報処理装置、情報処理方法、コンピュータプログラム及び表示制御用の時系列データ
JP2019536131A (ja) 2016-10-04 2019-12-12 フェイスブック，インク． 仮想空間におけるユーザ・インタラクションのためのコントロールおよびインタフェース

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731805A (en) * 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US6078310A (en) * 1996-06-26 2000-06-20 Sun Microsystems, Inc. Eyetracked alert messages
US8341541B2 (en) * 2005-01-18 2012-12-25 Microsoft Corporation System and method for visually browsing of open windows
US8296684B2 (en) * 2008-05-23 2012-10-23 Hewlett-Packard Development Company, L.P. Navigating among activities in a computing device
US9316827B2 (en) * 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US20140049462A1 (en) * 2012-08-20 2014-02-20 Google Inc. User interface element focus based on user's gaze
US9864498B2 (en) * 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
US9442631B1 (en) * 2014-01-27 2016-09-13 Google Inc. Methods and systems for hands-free browsing in a wearable computing device
US9552060B2 (en) * 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
US9619519B1 (en) * 2014-06-23 2017-04-11 Amazon Technologies, Inc. Determining user interest from non-explicit cues
US9829708B1 (en) * 2014-08-19 2017-11-28 Boston Incubator Center, LLC Method and apparatus of wearable eye pointing system
EP3316117A1 (en) * 2016-10-31 2018-05-02 Nokia Technologies OY Controlling content displayed in a display
CN112578911A (zh) * 2016-12-06 2021-03-30 美国景书公司 跟踪头部和眼睛的运动的装置和方法
US10565448B2 (en) * 2017-08-16 2020-02-18 International Business Machines Corporation Read confirmation of electronic messages

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006107048A (ja) 2004-10-04 2006-04-20 Matsushita Electric Ind Co Ltd 視線対応制御装置および視線対応制御方法
JP2011203880A (ja) 2010-03-25 2011-10-13 Nomura Research Institute Ltd 既読判定装置および既読判定方法
US20120066638A1 (en) 2010-09-09 2012-03-15 Microsoft Corporation Multi-dimensional auto-scrolling
JP2018041477A (ja) 2012-06-25 2018-03-15 アマゾン・テクノロジーズ、インコーポレイテッド 注視決定とデバイス入力との使用
JP2014021565A (ja) 2012-07-12 2014-02-03 Canon Inc 電子機器及びその制御方法
WO2014203301A1 (ja) 2013-06-17 2014-12-24 日立マクセル株式会社 情報表示端末
JP2015056173A (ja) 2013-09-13 2015-03-23 富士通株式会社 情報処理装置、方法及びプログラム
JP2019536131A (ja) 2016-10-04 2019-12-12 フェイスブック，インク． 仮想空間におけるユーザ・インタラクションのためのコントロールおよびインタフェース
JP2019040333A (ja) 2017-08-24 2019-03-14 大日本印刷株式会社 情報処理装置、情報処理方法、コンピュータプログラム及び表示制御用の時系列データ

Also Published As

Publication number Publication date
US20210303107A1 (en) 2021-09-30
EP4127869A1 (en) 2023-02-08
JP2024026103A (ja) 2024-02-28
CN115315681A (zh) 2022-11-08
JP2023520345A (ja) 2023-05-17
KR20220137770A (ko) 2022-10-12
WO2021194790A1 (en) 2021-09-30
CN115657848A (zh) 2023-01-31
AU2021242208A1 (en) 2022-10-13

Similar Documents

Publication Publication Date Title
US11768579B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11875013B2 (en) Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
US20220091722A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
JP7389270B2 (ja) 視線ベースのナビゲーションのためのデバイス、方法、及びグラフィカルユーザインタフェース
JP2022547930A (ja) 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
US11520456B2 (en) Methods for adjusting and/or controlling immersion associated with user interfaces
US20220092862A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US11567625B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20230333646A1 (en) Methods for navigating user interfaces
US20230092874A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
US20230152935A1 (en) Devices, methods, and graphical user interfaces for presenting virtual objects in virtual environments
US20240103803A1 (en) Methods for interacting with user interfaces based on attention
US20240094862A1 (en) Devices, Methods, and Graphical User Interfaces for Displaying Shadow and Light Effects in Three-Dimensional Environments
WO2023049111A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
CN117957581A (en) Apparatus, method and graphical user interface for interacting with a three-dimensional environment

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220922

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220922

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231020

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231116

R150 Certificate of patent or registration of utility model

Ref document number: 7389270

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150