JP7843357B2 - 環境内にオブジェクトを表示及び再位置決めするための方法 - Google Patents

環境内にオブジェクトを表示及び再位置決めするための方法

Info

Publication number
JP7843357B2
JP7843357B2 JP2024543255A JP2024543255A JP7843357B2 JP 7843357 B2 JP7843357 B2 JP 7843357B2 JP 2024543255 A JP2024543255 A JP 2024543255A JP 2024543255 A JP2024543255 A JP 2024543255A JP 7843357 B2 JP7843357 B2 JP 7843357B2
Authority
JP
Japan
Prior art keywords
virtual object
user
computer system
viewpoint
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024543255A
Other languages
English (en)
Other versions
JP2025508658A (ja
Inventor
シー-サン チウ,
ベンジャミン エイチ. ベーゼル,
ジョナサン ペロン,
ステファン オー. レメイ,
クリストファー ディー. マッケンジー,
ドリアン ディー. ダーガン,
ジョナサン ラヴァスズ,
アール エム. オルソン,
ロドリゲス, ミケル エスタニー
ウェンディ エフ. エデュアルテ,
サード, ウィリアム エー. ソレンティーノ
ヴィセンテ, イスラエル パストラーナ
ベンジャミン ハイラック,
ネイサン ギッター,
ジェームス ジェイ. オーウェン,
ゾーイ シー. テイラー,
コナー エー. スミス,
ケヴィン リー,
クリスティ, イー. バウアリー,
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2025508658A publication Critical patent/JP2025508658A/ja
Application granted granted Critical
Publication of JP7843357B2 publication Critical patent/JP7843357B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00Three-dimensional [3D] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

(関連出願の相互参照)
本出願は、2022年1月19日に出願された米国仮特許出願第63/301,020号、2022年9月23日に出願された米国特許出願第63/377,002号、及び2023年1月18日に出願された米国仮特許出願第63/480,494号の利益を主張し、その内容は全ての目的のためにその全体が参照により本明細書に組み込まれる。
(技術分野)
これは、概して、限定はしないが、ディスプレイを介して仮想現実及び複合現実体験を提供する電子デバイスを含む、コンピュータ生成体験を提供するコンピュータシステムに関する。
拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は強化する少なくともいくつかの仮想的要素を含む。コンピュータシステム及び他の電子コンピューティングデバイス用のカメラ、コントローラ、ジョイスティック、タッチ感知面、及びタッチスクリーンディスプレイなどの入力デバイスが、仮想/拡張現実環境と相互作用するために使用される。例示的な仮想的要素は、デジタル画像などの仮想オブジェクト、ビデオ、テキスト、アイコン、並びにボタン及び他のグラフィックなど制御要素を含む。
少なくともいくつかの仮想的要素を含む環境(例えばアプリケーション、拡張現実環境、複合現実環境、及び仮想現実環境)と相互作用するいくつかの方法及びインタフェースは、煩雑で、非効率で、限定されたものである。例えば、仮想オブジェクトに関連付けられたアクションを実行するのに不十分なフィードバックしか提供しないシステム、拡張現実環境において所望の結果を達成するために一連の入力を必要とするシステム、及び仮想オブジェクトの操作が複雑で、エラーを起こしやすいシステムは、ユーザに対して大きな認知負担を引き起こし、仮想/拡張現実環境での体験を損なう。加えて、それらの方法は必要以上に時間がかかり、それによって、コンピュータシステムのエネルギを浪費する。この後者の考慮事項は、バッテリ動作式デバイスにおいて特に重要である。
したがって、コンピュータシステムとの相互作用をユーザにとってより効率的かつ直感的にするコンピュータ生成体験をユーザに提供するための改善された方法及びインタフェースを有するコンピュータシステムが必要とされている。このような方法及びインタフェースは、ユーザにエクステンデッドリアリティ体験を提供する従来の方法を任意選択で補完又は置換することができる。このような方法及びインタフェースは、提供された入力とその入力に対するデバイス応答との間の接続をユーザが理解することを補助することにより、ユーザからの入力の数、程度及び/又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを生成する。
コンピュータシステムのユーザインタフェースに関連付けられた上記の欠点及び他の問題は、開示されるシステムによって低減又は解消される。いくつかの実施形態では、コンピュータシステムは、関連付けられたディスプレイを備えたデスクトップコンピュータである。いくつかの実施形態では、コンピュータシステムは、ポータブルデバイスである(例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである)。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス(例えば腕時計やヘッドマウントデバイスなどのウェアラブル電子デバイス)である。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する。いくつかの実施形態では、コンピュータシステムは、1つ以上のカメラを有する。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ(「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる)を有する。いくつかの実施形態では、コンピュータシステムは、1つ以上のアイトラッキング構成要素を有する。いくつかの実施形態では、コンピュータシステムは、1つ以上のハンドトラッキング構成要素を有する。いくつかの実施形態では、コンピュータシステムは、表示生成構成要素に加えて1つ以上の出力デバイスを有し、出力デバイスは、1つ以上の触知出力ジェネレータ及び/又は1つ以上のオーディオ出力デバイスを含む。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザインタフェース(GUI)、1つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された1つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、タッチ感知面上のスタイラス及び/又は指の接触及びジェスチャ、カメラ及び他の移動センサによってキャプチャされたときのGUI(及び/又はコンピュータシステム)又はユーザの身体に対する空間内のユーザの目及び手の移動、及び/又は1つ以上のオーディオ入力デバイスによってキャプチャされたときの音声入力を通じてGUIと相互作用する。いくつかの実施形態では、相互作用を通じて実行される機能は、任意選択的に、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、メモ取り、及び/又はデジタルビデオの再生を含む。それらの機能を実行する実行可能命令は任意選択で、一次的コンピュータ可読記憶媒体及び/又は非一時的コンピュータ可読記憶媒体、あるいは1つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
三次元環境内のコンテンツと相互作用するための改善された方法及びインタフェースを備えた電子デバイスが必要とされている。そのような方法及びインタフェースは、三次元環境内のコンテンツと相互作用するための従来の方法を補完又は置換することができる。そのような方法及びインタフェースは、ユーザからの入力の数、程度、及び/又は種類を削減し、より効率的なヒューマンマシンインタフェースを生成する。バッテリ動作式コンピューティングデバイスの場合、そのような方法及びインタフェースは、電力を節約し、バッテリ充電の間隔を長くする。
いくつかの実施形態では、コンピュータシステムは、仮想コンテンツをユーザの視点に選択的に再中心化する。いくつかの実施形態では、コンピュータシステムは、物理的又は仮想障害物の存在下で1つ以上の仮想オブジェクトを再中心化する。いくつかの実施形態では、コンピュータシステムは、表示生成構成要素が状態を変更したことに応じて、1つ以上の仮想オブジェクトを選択的に自動的に再中心化する。いくつかの実施形態では、コンピュータシステムは、コンピュータシステムにおいて検出された入力に応じて、複数のユーザ間の通信セッションに関連付けられたコンテンツを選択的に再中心化する。いくつかの実施形態では、コンピュータシステムは、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する。いくつかの実施形態では、コンピュータシステムは、検出されたユーザの注意に基づいて、1つ以上の仮想オブジェクトの視覚的顕著性を変更する。いくつかの実施形態では、コンピュータシステムは、1つ以上の仮想オブジェクトの視覚的顕著性を変更し、1つ以上の仮想オブジェクトの明白な不明瞭化を解決する。いくつかの実施形態では、コンピュータシステムは、ユーザの視点が三次元環境の異なる領域に対応するという判定に従って、1つ以上の仮想オブジェクトの視覚的顕著性を徐々に変更する。いくつかの実施形態では、コンピュータシステムは、ユーザの視点が仮想オブジェクトに近接しているとき、仮想オブジェクトの1つ以上の部分の視覚的顕著性を変更する。いくつかの実施形態では、コンピュータシステムは、1つ以上の同時タイプのユーザ相互作用が検出されると、仮想オブジェクトの視覚的顕著性を変更する。いくつかの実施形態では、コンピュータシステムは、三次元環境内の異なる要素にシフトする入力(単数又は複数)(例えば、ユーザの注意)を検出したことに応じて、仮想コンテンツが表示される三次元環境に対する環境効果の視覚的影響の量を変更する。
前述の様々な実施形態は、本明細書に記載の任意の他の実施形態と組み合わせることができることに留意されたい。本明細書で説明する特徴及び利点は、包括的なものではなく、特に、図面、明細書及び特許請求の範囲を鑑みると、多くの追加の特徴及び利点が当業者には明らかになるであろう。更に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を画定又は制限するために選択されたものではないことに留意されたい。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
いくつかの実施形態による、XR体験を提供するためのコンピュータシステムの動作環境を示すブロック図である。
いくつかの実施形態による、ユーザのXR体験を管理及び調整するように構成されたコンピュータシステムのコントローラを示すブロック図である。
いくつかの実施形態による、XR体験の視覚的構成要素をユーザに提供するように構成されたコンピュータシステムの表示生成構成要素を示すブロック図である。
いくつかの実施形態による、ユーザのジェスチャ入力をキャプチャするように構成されたコンピュータシステムのハンドトラッキングユニットを示すブロック図である。
いくつかの実施形態による、ユーザの視線入力をキャプチャするように構成されたコンピュータシステムのアイトラッキングユニットを示すブロック図である。
いくつかの実施形態による、グリント支援視線追跡パイプラインを示すフローチャートである。
いくつかの実施形態による、ユーザの視点に仮想コンテンツを選択的に再中心化するコンピュータシステムの例を示す。 いくつかの実施形態による、ユーザの視点に仮想コンテンツを選択的に再中心化するコンピュータシステムの例を示す。 いくつかの実施形態による、ユーザの視点に仮想コンテンツを選択的に再中心化するコンピュータシステムの例を示す。 いくつかの実施形態による、ユーザの視点に仮想コンテンツを選択的に再中心化するコンピュータシステムの例を示す。 いくつかの実施形態による、ユーザの視点に仮想コンテンツを選択的に再中心化するコンピュータシステムの例を示す。 いくつかの実施形態による、ユーザの視点に仮想コンテンツを選択的に再中心化するコンピュータシステムの例を示す。
いくつかの実施形態による、仮想コンテンツをユーザの視点に選択的に再中心化する例示的な方法を示すフローチャートである。 いくつかの実施形態による、仮想コンテンツをユーザの視点に選択的に再中心化する例示的な方法を示すフローチャートである。 いくつかの実施形態による、仮想コンテンツをユーザの視点に選択的に再中心化する例示的な方法を示すフローチャートである。 いくつかの実施形態による、仮想コンテンツをユーザの視点に選択的に再中心化する例示的な方法を示すフローチャートである。 いくつかの実施形態による、仮想コンテンツをユーザの視点に選択的に再中心化する例示的な方法を示すフローチャートである。 いくつかの実施形態による、仮想コンテンツをユーザの視点に選択的に再中心化する例示的な方法を示すフローチャートである。 いくつかの実施形態による、仮想コンテンツをユーザの視点に選択的に再中心化する例示的な方法を示すフローチャートである。 いくつかの実施形態による、仮想コンテンツをユーザの視点に選択的に再中心化する例示的な方法を示すフローチャートである。 いくつかの実施形態による、仮想コンテンツをユーザの視点に選択的に再中心化する例示的な方法を示すフローチャートである。
いくつかの実施形態による、物理的又は仮想障害物の存在下で1つ以上の仮想オブジェクトを再中心化するコンピュータシステムの実施例を示す。 いくつかの実施形態による、物理的又は仮想障害物の存在下で1つ以上の仮想オブジェクトを再中心化するコンピュータシステムの実施例を示す。 いくつかの実施形態による、物理的又は仮想障害物の存在下で1つ以上の仮想オブジェクトを再中心化するコンピュータシステムの実施例を示す。
いくつかの実施形態による、物理的又は仮想障害物の存在下で1つ以上の仮想オブジェクトを再中心化する方法を図示するフローチャートである。 いくつかの実施形態による、物理的又は仮想障害物の存在下で1つ以上の仮想オブジェクトを再中心化する方法を図示するフローチャートである。 いくつかの実施形態による、物理的又は仮想障害物の存在下で1つ以上の仮想オブジェクトを再中心化する方法を図示するフローチャートである。 いくつかの実施形態による、物理的又は仮想障害物の存在下で1つ以上の仮想オブジェクトを再中心化する方法を図示するフローチャートである。 いくつかの実施形態による、物理的又は仮想障害物の存在下で1つ以上の仮想オブジェクトを再中心化する方法を図示するフローチャートである。 いくつかの実施形態による、物理的又は仮想障害物の存在下で1つ以上の仮想オブジェクトを再中心化する方法を図示するフローチャートである。 いくつかの実施形態による、物理的又は仮想障害物の存在下で1つ以上の仮想オブジェクトを再中心化する方法を図示するフローチャートである。
いくつかの実施形態による、表示生成構成要素が状態を変更したことに応じて、1つ以上の仮想オブジェクトを選択的に自動的に再中心化するコンピュータシステムの実施例を示す。 いくつかの実施形態による、表示生成構成要素が状態を変更したことに応じて、1つ以上の仮想オブジェクトを選択的に自動的に再中心化するコンピュータシステムの実施例を示す。 いくつかの実施形態による、表示生成構成要素が状態を変更したことに応じて、1つ以上の仮想オブジェクトを選択的に自動的に再中心化するコンピュータシステムの実施例を示す。 いくつかの実施形態による、表示生成構成要素が状態を変更したことに応じて、1つ以上の仮想オブジェクトを選択的に自動的に再中心化するコンピュータシステムの実施例を示す。 いくつかの実施形態による、表示生成構成要素が状態を変更したことに応じて、1つ以上の仮想オブジェクトを選択的に自動的に再中心化するコンピュータシステムの実施例を示す。
いくつかの実施形態による、表示生成構成要素が状態を変更したことに応じて、1つ以上の仮想オブジェクトを選択的に自動的に再中心化する方法を示すフローチャートである。 いくつかの実施形態による、表示生成構成要素が状態を変更したことに応じて、1つ以上の仮想オブジェクトを選択的に自動的に再中心化する方法を示すフローチャートである。 いくつかの実施形態による、表示生成構成要素が状態を変更したことに応じて、1つ以上の仮想オブジェクトを選択的に自動的に再中心化する方法を示すフローチャートである。 いくつかの実施形態による、表示生成構成要素が状態を変更したことに応じて、1つ以上の仮想オブジェクトを選択的に自動的に再中心化する方法を示すフローチャートである。 いくつかの実施形態による、表示生成構成要素が状態を変更したことに応じて、1つ以上の仮想オブジェクトを選択的に自動的に再中心化する方法を示すフローチャートである。
いくつかの実施形態による、コンピュータシステムにおいて検出された入力に応じて、複数のユーザ間の通信セッションに関連付けられたコンテンツを選択的に再中心化するコンピュータシステムの実施例を示す。 いくつかの実施形態による、コンピュータシステムにおいて検出された入力に応じて、複数のユーザ間の通信セッションに関連付けられたコンテンツを選択的に再中心化するコンピュータシステムの実施例を示す。 いくつかの実施形態による、コンピュータシステムにおいて検出された入力に応じて、複数のユーザ間の通信セッションに関連付けられたコンテンツを選択的に再中心化するコンピュータシステムの実施例を示す。
いくつかの実施形態による、コンピュータシステムにおいて検出された入力に応じて、複数のユーザ間の通信セッションに関連付けられたコンテンツを選択的に再中心化する方法を示すフローチャートである。 いくつかの実施形態による、コンピュータシステムにおいて検出された入力に応じて、複数のユーザ間の通信セッションに関連付けられたコンテンツを選択的に再中心化する方法を示すフローチャートである。 いくつかの実施形態による、コンピュータシステムにおいて検出された入力に応じて、複数のユーザ間の通信セッションに関連付けられたコンテンツを選択的に再中心化する方法を示すフローチャートである。 いくつかの実施形態による、コンピュータシステムにおいて検出された入力に応じて、複数のユーザ間の通信セッションに関連付けられたコンテンツを選択的に再中心化する方法を示すフローチャートである。 いくつかの実施形態による、コンピュータシステムにおいて検出された入力に応じて、複数のユーザ間の通信セッションに関連付けられたコンテンツを選択的に再中心化する方法を示すフローチャートである。
いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。
いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する方法を示すフローチャートである。
いくつかの実施形態による、コンピュータシステムのユーザの注意に基づいて、仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、コンピュータシステムのユーザの注意に基づいて、仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、コンピュータシステムのユーザの注意に基づいて、仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、コンピュータシステムのユーザの注意に基づいて、仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、コンピュータシステムのユーザの注意に基づいて、仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。
いくつかの実施形態による、ユーザの注意に基づいて仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの注意に基づいて仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの注意に基づいて仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの注意に基づいて仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの注意に基づいて仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの注意に基づいて仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの注意に基づいて仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの注意に基づいて仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの注意に基づいて仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの注意に基づいて仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの注意に基づいて仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。
いくつかの実施形態による、仮想コンテンツによるそれぞれの仮想オブジェクトの見かけ上の不明瞭化を変更するために、それぞれの仮想オブジェクトの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、仮想コンテンツによるそれぞれの仮想オブジェクトの見かけ上の不明瞭化を変更するために、それぞれの仮想オブジェクトの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、仮想コンテンツによるそれぞれの仮想オブジェクトの見かけ上の不明瞭化を変更するために、それぞれの仮想オブジェクトの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、仮想コンテンツによるそれぞれの仮想オブジェクトの見かけ上の不明瞭化を変更するために、それぞれの仮想オブジェクトの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、仮想コンテンツによるそれぞれの仮想オブジェクトの見かけ上の不明瞭化を変更するために、それぞれの仮想オブジェクトの視覚的顕著性を変更するコンピュータシステムの実施例を示す。
いくつかの実施形態による、仮想コンテンツによるそれぞれの仮想オブジェクトの見かけ上の不明瞭化を変更するために、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、仮想コンテンツによるそれぞれの仮想オブジェクトの見かけ上の不明瞭化を変更するために、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、仮想コンテンツによるそれぞれの仮想オブジェクトの見かけ上の不明瞭化を変更するために、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、仮想コンテンツによるそれぞれの仮想オブジェクトの見かけ上の不明瞭化を変更するために、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、仮想コンテンツによるそれぞれの仮想オブジェクトの見かけ上の不明瞭化を変更するために、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、仮想コンテンツによるそれぞれの仮想オブジェクトの見かけ上の不明瞭化を変更するために、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。
いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更するコンピュータシステムの実施例を示す。
いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更する方法を示すフローチャートである。 いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更する方法を示すフローチャートである。
いくつかの実施形態による、それぞれの仮想オブジェクトへのユーザの近接度に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、それぞれの仮想オブジェクトへのユーザの近接度に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、それぞれの仮想オブジェクトへのユーザの近接度に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、それぞれの仮想オブジェクトへのユーザの近接度に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、それぞれの仮想オブジェクトへのユーザの近接度に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更するコンピュータシステムの実施例を示す。
いくつかの実施形態による、それぞれの仮想オブジェクトへのユーザの近接度に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、それぞれの仮想オブジェクトへのユーザの近接度に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、それぞれの仮想オブジェクトへのユーザの近接度に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、それぞれの仮想オブジェクトへのユーザの近接度に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、それぞれの仮想オブジェクトへのユーザの近接度に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、それぞれの仮想オブジェクトへのユーザの近接度に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。
いくつかの実施形態による、1つ以上の同時タイプのユーザ相互作用に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、1つ以上の同時タイプのユーザ相互作用に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更するコンピュータシステムの実施例を示す。 いくつかの実施形態による、1つ以上の同時タイプのユーザ相互作用に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更するコンピュータシステムの実施例を示す。
いくつかの実施形態による、1つ以上の同時タイプのユーザ相互作用に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、1つ以上の同時タイプのユーザ相互作用に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、1つ以上の同時タイプのユーザ相互作用に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。 いくつかの実施形態による、1つ以上の同時タイプのユーザ相互作用に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。
いくつかの実施形態による、コンピュータシステムが三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて、仮想コンテンツと、三次元環境に対する異なる量の視覚的影響を伴う環境効果とを同時に表示するコンピュータシステムの実施例を示す。 いくつかの実施形態による、コンピュータシステムが三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて、仮想コンテンツと、三次元環境に対する異なる量の視覚的影響を伴う環境効果とを同時に表示するコンピュータシステムの実施例を示す。 いくつかの実施形態による、コンピュータシステムが三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて、仮想コンテンツと、三次元環境に対する異なる量の視覚的影響を伴う環境効果とを同時に表示するコンピュータシステムの実施例を示す。 いくつかの実施形態による、コンピュータシステムが三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて、仮想コンテンツと、三次元環境に対する異なる量の視覚的影響を伴う環境効果とを同時に表示するコンピュータシステムの実施例を示す。 いくつかの実施形態による、コンピュータシステムが三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて、仮想コンテンツと、三次元環境に対する異なる量の視覚的影響を伴う環境効果とを同時に表示するコンピュータシステムの実施例を示す。 いくつかの実施形態による、コンピュータシステムが三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて、仮想コンテンツと、三次元環境に対する異なる量の視覚的影響を伴う環境効果とを同時に表示するコンピュータシステムの実施例を示す。 いくつかの実施形態による、コンピュータシステムが三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて、仮想コンテンツと、三次元環境に対する異なる量の視覚的影響を伴う環境効果とを同時に表示するコンピュータシステムの実施例を示す。 いくつかの実施形態による、コンピュータシステムが三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて、仮想コンテンツと、三次元環境に対する異なる量の視覚的影響を伴う環境効果とを同時に表示するコンピュータシステムの実施例を示す。 いくつかの実施形態による、コンピュータシステムが三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて、仮想コンテンツと、三次元環境に対する異なる量の視覚的影響を伴う環境効果とを同時に表示するコンピュータシステムの実施例を示す。 いくつかの実施形態による、コンピュータシステムが三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて、仮想コンテンツと、三次元環境に対する異なる量の視覚的影響を伴う環境効果とを同時に表示するコンピュータシステムの実施例を示す。
いくつかの実施形態による、三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて仮想コンテンツが表示される三次元環境の外観に対する異なる量の視覚的影響を伴う環境効果を動的に表示する方法を示すフローチャートである。 いくつかの実施形態による、三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて仮想コンテンツが表示される三次元環境の外観に対する異なる量の視覚的影響を伴う環境効果を動的に表示する方法を示すフローチャートである。 いくつかの実施形態による、三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて仮想コンテンツが表示される三次元環境の外観に対する異なる量の視覚的影響を伴う環境効果を動的に表示する方法を示すフローチャートである。 いくつかの実施形態による、三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて仮想コンテンツが表示される三次元環境の外観に対する異なる量の視覚的影響を伴う環境効果を動的に表示する方法を示すフローチャートである。 いくつかの実施形態による、三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて仮想コンテンツが表示される三次元環境の外観に対する異なる量の視覚的影響を伴う環境効果を動的に表示する方法を示すフローチャートである。 いくつかの実施形態による、三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて仮想コンテンツが表示される三次元環境の外観に対する異なる量の視覚的影響を伴う環境効果を動的に表示する方法を示すフローチャートである。 いくつかの実施形態による、三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて仮想コンテンツが表示される三次元環境の外観に対する異なる量の視覚的影響を伴う環境効果を動的に表示する方法を示すフローチャートである。 いくつかの実施形態による、三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて仮想コンテンツが表示される三次元環境の外観に対する異なる量の視覚的影響を伴う環境効果を動的に表示する方法を示すフローチャートである。 いくつかの実施形態による、三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて仮想コンテンツが表示される三次元環境の外観に対する異なる量の視覚的影響を伴う環境効果を動的に表示する方法を示すフローチャートである。
本開示は、いくつかの実施形態による、エクステンデッドリアリティ(XR)体験をユーザに提供するユーザインタフェースに関する。
本明細書に記載されるシステム、方法、かつGUIは、電子デバイスが三次元環境内のオブジェクトとの相互作用を容易にし、オブジェクトを操作するための改善された方法を提供する。
いくつかの実施形態では、コンピュータシステムは、環境内の仮想オブジェクトを表示する。いくつかの実施形態では、仮想オブジェクトをユーザの視点に再中心化する入力に応じて、コンピュータシステムは、ある基準を満たす仮想オブジェクトを再中心化し、そのような基準を満たさない仮想オブジェクトを再中心化しない。いくつかの実施形態では、物理的環境の部分にスナップ留めされた仮想オブジェクトは、再中心化されない。いくつかの実施形態では、ユーザの現在の視点から環境内に最後に配置又は移動された仮想オブジェクトは、再中心化されない。
いくつかの実施形態では、コンピュータシステムは、環境内の仮想オブジェクトを表示する。いくつかの実施形態では、仮想オブジェクトをユーザの視点に再中心化する入力に応じて、コンピュータシステムは、それらの仮想オブジェクトを再中心化するときに物理的オブジェクトを回避する。いくつかの実施形態では、コンピュータシステムは、他の仮想オブジェクトを再中心化するときに仮想オブジェクトを回避する。
いくつかの実施形態では、コンピュータシステムは、第1の視点から環境内に仮想オブジェクトを表示する。いくつかの実施形態では、コンピュータシステムの状態が(例えば、オンからオフに、次いで再びオンに)変化すると、コンピュータシステムは、新しい視点の1つ以上の特性に応じて、仮想オブジェクトを新しい視点に自動的に再中心化する。いくつかの実施形態では、コンピュータシステムは、仮想オブジェクトを新しい視点に自動的に再中心化しない。
いくつかの実施形態では、コンピュータシステムは、仮想オブジェクトが複数のコンピュータシステムにアクセス可能である環境に仮想オブジェクトを表示する。いくつかの実施形態では、仮想オブジェクトをユーザの視点に再中心化する入力に応じて、コンピュータシステムは、複数のコンピュータシステムにアクセス可能な仮想オブジェクトの空間配置を、それらの複数のコンピュータシステムに関連付けられた視点に対して変更しない。いくつかの実施形態では、コンピュータシステムは、他のコンピュータシステムにアクセス可能でない仮想オブジェクトの空間配置を、本コンピュータシステムに関連付けられた視点に対して変更する。
いくつかの実施形態では、コンピュータシステムは、環境内のコンテンツを含む仮想オブジェクトを表示する。いくつかの実施形態では、コンピュータシステムは、コンテンツがユーザの現在の視点から可視である角度に応じて、異なる視覚的顕著性を伴ってコンテンツを表示する。いくつかの実施形態では、視覚的顕著性は、角度が正面に近いほど大きく、視覚的顕著性は、角度が正面から遠いほど小さい。いくつかの実施形態では、コンピュータシステムは、検出されたユーザの注意に基づいて、1つ以上の仮想オブジェクトの視覚的顕著性を変更する。いくつかの実施形態では、コンピュータシステムは、1つ以上の仮想オブジェクトの視覚的顕著性を変更し、1つ以上の仮想オブジェクトの明白な不明瞭化を解決する。
図1~図6は、(方法800、1000、1200、1400、1600、1800、及び/又は2000に関して以下で説明されるような)XR体験をユーザに提供するための例示的なコンピュータシステムの説明を提供する。図7A~図7Fは、いくつかの実施形態による、ユーザの視点に仮想コンテンツを選択的に再中心化するコンピュータシステムの例を示す。図8A~図8Iは、いくつかの実施形態による、仮想コンテンツをユーザの視点に選択的に再中心化する例示的な方法を示すフローチャートである。図7A~図7Fのユーザインタフェースは、図8A~図8Iの処理を説明するために使用される。図9A~図9Cは、いくつかの実施形態による、物理的又は仮想障害物の存在下で1つ以上の仮想オブジェクトを再中心化するコンピュータシステムの実施例を示す。図10A~図10Gは、いくつかの実施形態による、物理的又は仮想障害物の存在下で1つ以上の仮想オブジェクトを再中心化する方法を図示するフローチャートである。図9A~図9Cのユーザインタフェースは、図10A~図10Gの処理を説明するために使用される。図11A~図11Eは、いくつかの実施形態による、表示生成構成要素が状態を変更したことに応じて、1つ以上の仮想オブジェクトを選択的に自動的に再中心化するコンピュータシステムの実施例を示す。図12A~図12Eは、いくつかの実施形態による、表示生成構成要素が状態を変更したことに応じて、1つ以上の仮想オブジェクトを選択的に自動的に再中心化する方法を示すフローチャートである。図11A~図11Eのユーザインタフェースは、図12A~図12Eの処理を説明するために使用される。図13A~図13Cは、いくつかの実施形態による、コンピュータシステムにおいて検出された入力に応じて、複数のユーザ間の通信セッションに関連付けられたコンテンツを選択的に再中心化するコンピュータシステムの実施例を示す。図14A~図14Eは、いくつかの実施形態による、コンピュータシステムにおいて検出された入力に応じて、複数のユーザ間の通信セッションに関連付けられたコンテンツを選択的に再中心化する方法を示すフローチャートである。図13A~図13Cのユーザインタフェースは、図14A~図14Eの処理を説明するために使用される。図15A~図15Jは、いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。図16A~図16Pは、いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する方法を示すフローチャートである。図15A~15Jのユーザインタフェースは、図16A~図16Pの処理を説明するために使用される。図17A~図17Eは、いくつかの実施形態による、コンピュータシステムのユーザの注意に基づいて、仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。図18A~図18Kは、いくつかの実施形態による、ユーザの注意に基づいて仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。図17A~図17Eのユーザインタフェースは、図18A~図18Kの処理を説明するために使用される。図19A~図19Eは、いくつかの実施形態による、仮想コンテンツによるそれぞれの仮想オブジェクトの明白な不明瞭化を変更するために、それぞれの仮想オブジェクトの視覚的顕著性を変更するコンピュータシステムの実施例を示す。図20A~図20Fは、いくつかの実施形態による、仮想コンテンツによるそれぞれの仮想オブジェクトの明白な不明瞭化を変更するために、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。図19A~図19Eのユーザインタフェースは、図20A~図20Fの処理を説明するために使用される。図21A~図21Lは、いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更するコンピュータシステムの実施例を示す。図22A~図22Jは、いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更する方法を示すフローチャートである。図21A~図21Lのユーザインタフェースは、図22A~図22Jの処理を説明するために使用される。図23A~図23Eは、いくつかの実施形態による、それぞれの仮想オブジェクトへのユーザの近接度に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更するコンピュータシステムの実施例を示す。図24A~図24Fは、いくつかの実施形態による、それぞれの仮想オブジェクトへのユーザの近接度に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。図23A~図23Eのユーザインタフェースは、図24A~図24Fの処理を説明するために使用される。図25A~図25Cは、いくつかの実施形態による、1つ以上の同時タイプのユーザ相互作用に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更するコンピュータシステムの実施例を示す。図26A~図26Dは、いくつかの実施形態による、1つ以上の同時タイプのユーザ相互作用に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。図25A~図25Cのユーザインタフェースは、図26A~図26Dの処理を説明するために使用される。図27A~図27Jは、いくつかの実施形態による、第1の仮想コンテンツからシフトして離れたユーザの注意、及び/又は第1の仮想コンテンツとは異なる要素に向けられたユーザの注意とは異なる他の入力などの入力を検出したことに応じて、第1の仮想コンテンツが表示される三次元環境の外観に対する環境効果の視覚的影響の量を変更するコンピュータシステムの実施例を示す。図28A~図28Iは、いくつかの実施形態による、三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて仮想コンテンツが表示される三次元環境の外観に対する異なる量の視覚的影響を伴う環境効果を動的に表示する方法を示すフローチャートである。図27A~図27Jのユーザインタフェースは、図28A~図28Iの処理を説明するために使用される。
後述の処理は、改善された視覚的フィードバックをユーザに提供すること、動作を実行するために必要な入力の数を減らすこと、表示される追加のコントロールでユーザインタフェースを雑然とさせることなく追加の制御オプションを提供すること、条件のセットが満たされたときに更なるユーザ入力を必要とせずに動作を実行すること、プライバシー及び/又はセキュリティを改善すること及び/又は、他の技術を含む、様々な技術により、(例えば、ユーザがデバイスを操作/対話する際に適切な入力を行うのを助け、ユーザの誤りを減らすことによって)デバイスの操作性を高め、ユーザとデバイスのインタフェースを効率化するものである。これらの技術はまた、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
更に、1つ以上のステップが満たされている1つ以上の条件を条件とする本明細書に記載の方法では、記載の方法は、繰り返しの過程にわたって、本方法のステップが条件とする条件の全てが本方法の異なる繰り返しで満たされるように、複数の繰り返しで繰り返されることができることを理解されたい。例えば、ある方法が、条件が満たされた場合に第1のステップを実行し、条件が満たされなかった場合に第2のステップを実行することを必要とする場合、当業者であれば、条件が満たされ、満たされなくなるまで、請求項に記載のステップが、特定の順序で繰り返されることを理解するであろう。したがって、満たされた1つ以上の条件に依存する1つ以上のステップで説明される方法は、方法に記載された各条件が満たされるまで繰り返される方法として書き換えられることができる。しかしながら、これは、システム又はコンピュータ可読媒体が、対応する1つ以上の条件の充足に基づいて条件付き動作を実行するための命令を含み、したがって、方法のステップが条件付きである全ての条件が満たされるまで、方法のステップを明示的に繰り返すことなく偶発性が満たされたか否かを判定することができる、システム又はコンピュータ可読媒体の請求項には必要とされない。当業者はまた、条件付きステップを有する方法と同様に、システム又はコンピュータ可読記憶媒体が、条件付きステップの全てが実行されたことを確実にするために必要な回数だけ方法のステップを繰り返すことができることを理解するであろう。
いくつかの実施形態では、図1に示されるように、XR体験は、コンピュータシステム101を含む動作環境100を介してユーザに提供される。コンピュータシステム101は、コントローラ110(例えば、ポータブル電子デバイス又はリモートサーバのプロセッサ)と、表示生成構成要素120(例えば、ヘッドマウントデバイス(HMD)、ディスプレイ、プロジェクタ、又はタッチスクリーン)と、1つ以上の入力デバイス125(例えば、アイトラッキングデバイス130、ハンドトラッキングデバイス140、他の入力デバイス150)と、1つ以上の出力デバイス155(例えば、スピーカ160、触知出力ジェネレータ170、及び他の出力デバイス180)と、1つ以上のセンサ190(例えば、画像センサ、光センサ、深度センサ、触覚センサ、向きセンサ、近接センサ、温度センサ、ロケーションセンサ、運動センサ、又は速度センサ)と、任意選択的に1つ以上の周辺デバイス195(例えば、家電製品又はウェアラブルデバイス)と、を含む。いくつかの実施形態では、入力デバイス125、出力デバイス155、センサ190、及び周辺デバイス195のうちの1つ以上は、(例えば、ヘッドマウントデバイス又はハンドヘルドデバイス内で)表示生成構成要素120と統合される。
XR体験を説明するとき、ユーザが感知する、及び/又は(例えば、XR体験を生成するコンピュータシステムに、XR体験を生成するコンピュータシステム101に提供される様々な入力に対応するオーディオ、視覚、及び/又は触覚フィードバックを生成させる、コンピュータシステム101によって検出された入力を用いて)ユーザが相互作用することができる、いくつかの関連するが、別個の環境に個別的に言及するために様々な用語が使用される。以下は、これらの用語のサブセットである。
物理的環境:物理的環境とは、人々が電子システムの助けなしに、感知及び/又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び嗅覚などを介して、物理的環境を直接感知し、及び/又はそれと相互作用することができる。
エクステンデッドリアリティ:これと対照的に、エクステンデッドリアリティ(extended reality、XR)環境は、人々が電子システムを介して感知及び/又は対話する、全体的又は部分的にシミュレートされた環境を指す。XRでは、人物の身体運動のサブセット又はその表現が追跡され、それに応じて、XR環境内でシミュレートされた1つ以上の仮想オブジェクトの1つ以上の特性が、少なくとも1つの物理学の法則でふるまうように調節される。例えば、XRシステムは、人物の頭部の回転を検出し、それに応じて、そのようなビュー及び音が物理的環境においてどのように変化するかと同様の方法で、人物に提示されるグラフィックコンテンツ及び音場を調節することができる。状況によっては(例えば、アクセス性の理由から)、XR環境における仮想オブジェクト(単数又は複数)の特性(単数又は複数)に対する調節は、身体運動の表現(例えば、音声コマンド)に応じて行われてもよい。人物は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか1つを使用して、XRオブジェクトを感知し、かつ/又はXRオブジェクトと相互作用してもよい。例えば、人は、3D空間内のポイントオーディオソースの知覚を提供する、3D又は空間オーディオ環境を作り出すオーディオオブジェクトを感知し、及び/又はそれと対話することができる。別の例では、オーディオオブジェクトによって、コンピュータ生成オーディオを含めて、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性が可能になり得る。いくつかのXR環境では、人物は、オーディオオブジェクトのみを感知し、かつ/又はそれと相互作用してもよい。
XRの例としては、仮想現実及び複合現実が挙げられる。
仮想現実:仮想現実(VR)環境とは、1つ以上の感覚について、コンピュータ生成感覚入力に全面的に基づくように設計されたシミュレートされた環境を指す。VR環境は、人物が感知かつ/又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人物は、コンピュータ生成環境内に人物が存在することのシミュレーションを通じて、かつ/又はコンピュータ生成環境内での人物の物理的移動のサブセットのシミュレーションを通じて、VR環境における仮想オブジェクトを感知し、かつ/又はそれと相互作用することができる。
複合現実:複合現実(MR)環境とは、コンピュータ生成感覚入力に全面的に基づくように設計されたVR環境とは対照的に、コンピュータ生成感覚入力(例えば、仮想オブジェクト)を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計されたシミュレートされた環境を指す。仮想の連続体上では、複合現実環境は、一方の端部における完全な物理的環境と、他方の端部における仮想現実環境との間であるがこれらを含まない、任意の場所である。いくつかのMR環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変化に応じ得る。また、MR環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト(すなわち、物理的環境からの物理的物品又はその表現)と相互作用することを可能にするために、物理的環境に対するロケーション及び/又は向きを追跡してもよい。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、移動を考慮に入れてもよい。
複合現実の例としては、拡張現実及び拡張仮想が挙げられる。
エクステンデッドリアリティ:拡張現実(AR)環境とは、1つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ね合わされたシミュレートされた環境を指す。例えば、AR環境を提示するための電子システムは、人物が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイに仮想オブジェクトを提示するように構成されていてもよく、それによって、人物はシステムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又はビデオをキャプチャする1つ以上の撮像センサとを有してもよい。システムは、画像又はビデオを仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人物はこのシステムを使用して、物理的環境を、物理的環境の画像又はビデオによって間接的に見て、物理的環境に重ね合わされた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境のビデオは、「パススルービデオ」と呼ばれ、システムが、1つ以上の画像センサ(単数又は複数)を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にAR環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムが仮想オブジェクトを、例えば、ホログラムとして物理的環境の中に、又は物理的表面に投影するプロジェクションシステムを有してもよく、それによって、人物はシステムを使用して、物理的環境に重ね合わされた仮想オブジェクトを知覚する。拡張現実環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換されるシミュレートされた環境を指す。例えば、パススルービデオを提供する際に、システムは、1つ以上のセンサ画像を、撮像センサがキャプチャした透視図とは別の選択された透視図(例えば、視点)を面付けするように変形してもよい。別の例として、物理的環境の表現を、その一部をグラフィカルに修正(例えば、拡大)することによって変形してもよく、それにより、修正された部分を、元のキャプチャ画像を表すが非写実的な、改変版にすることもできる。更なる例として、物理的環境の表現は、その一部をグラフィカルに除去又は不明瞭化することによって変形されてもよい。
拡張仮想:拡張仮想(augmented virtuality、AV)環境とは、仮想環境又はコンピュータ生成環境が物理的環境から1つ以上の感覚入力を組み込んだシミュレートされた環境を指す。感覚入力は、物理的環境の1つ以上の特性の表現であり得る。例えば、AVの公園には仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、1つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽のポジションと一致する影を採用することができる。
視点ロック仮想オブジェクト:ユーザの視点がシフト(例えば、変化)しても、コンピュータシステムが仮想オブジェクトをユーザの視点内の同じロケーション及び/又はポジションに表示するとき、仮想オブジェクトは視点ロックされる。コンピュータシステムがヘッドマウントデバイスである実施形態では、ユーザの視点は、ユーザの頭部の前向き方向にロックされる(例えば、ユーザの視点は、ユーザが真っ直ぐ前を見ているときのユーザの視野の少なくとも一部である)。したがって、ユーザの視点は、ユーザの頭部を動かさずに、ユーザの視線が動いても固定されたままである。コンピュータシステムが、ユーザの頭部に対して再配置され得る表示生成構成要素(例えば、表示画面)を有する実施形態では、ユーザの視点は、コンピュータシステムの表示生成構成要素上でユーザに提示されている拡張現実ビューである。例えば、ユーザの視点が第1の向きにある(例えば、ユーザの頭部が北を向いている)ときにユーザの視点の左上隅に表示される視点ロック仮想オブジェクトは、ユーザの視点が第2の向きに変化しても(例えば、ユーザの頭部が西を向いている)、ユーザの視点の左上隅に表示され続ける。言い換えれば、視点ロック仮想オブジェクトがユーザの視点において表示されるロケーション及び/又はポジションは、物理的環境におけるユーザのポジション及び/又は向きとは無関係である。コンピュータシステムがヘッドマウントデバイスである実施形態では、ユーザの視点は、仮想オブジェクトが「頭部ロック仮想オブジェクト」とも称されるように、ユーザの頭部の向きにロックされる。
環境ロック仮想オブジェクト:仮想オブジェクトは、コンピュータシステムが、三次元環境(例えば、物理的環境又は仮想環境)内のロケーション及び/又はオブジェクトに基づく(例えば、それを参照して選択される、及び/又はそれに固定される)ユーザの視点内のロケーション及び/又はポジションに仮想オブジェクトを表示するとき、環境ロック(又は、「世界ロック」)される。ユーザの視点がシフトすると、ユーザの視点に対する環境内のロケーション及び/又はオブジェクトが変化し、その結果、環境ロック仮想オブジェクトがユーザの視点内の異なるロケーション及び/又はポジションに表示される。例えば、ユーザの直前にある木にロックされた環境ロック仮想オブジェクトは、ユーザの視点の中心に表示される。ユーザの視点が右にシフトして(例えば、ユーザの頭部が右に向けられて)木がユーザの視点において左寄りになる(例えば、ユーザの視点における木のポジションがシフトする)場合、木にロックされた環境ロック仮想オブジェクトは、ユーザの視点において左寄りに表示される。言い換えれば、環境ロック仮想オブジェクトがユーザの視点において表示されるロケーション及び/又はポジションは、仮想オブジェクトがロックされる環境におけるロケーション及び/又はオブジェクトのポジション及び/又は向きに依存する。いくつかの実施形態では、コンピュータシステムは、ユーザの視点において環境ロック仮想オブジェクトを表示するポジションを決定するために、静止基準フレーム(例えば、物理的環境における固定ロケーション及び/又はオブジェクトに固定される座標系)を使用する。環境ロック仮想オブジェクトは、環境の静止部分(例えば、床、壁、テーブル、又は他の静止オブジェクト)にロックされることができ、又は環境の可動部分(例えば、車両、動物、人、又はユーザの手、手首、腕、足など、ユーザの視点とは無関係に移動するユーザの身体の部分の表現)にロックされることができ、それにより、仮想オブジェクトは、仮想オブジェクトと環境の部分との間の固定された関係を維持するために、視点又は環境の部分が移動するにつれて移動する。
いくつかの実施形態では、環境ロック又は視点ロックされた仮想オブジェクトは、仮想オブジェクトが追従している基準点の移動に対して、環境ロック又は視点ロックされた仮想オブジェクトの動きを低減又は遅延させる遅延追従挙動を示す。いくつかの実施形態では、遅延追従挙動を示すとき、コンピュータシステムは、仮想オブジェクトが追従している基準点(例えば、環境の一部、視点、又は視点から5~300cmの間にある点等の視点に対して固定された点)の移動を検出すると、仮想オブジェクトの移動を意図的に遅延させる。例えば、基準点(例えば、環境の一部又は視点)が第1の速度で移動するとき、仮想オブジェクトは、基準点にロックされたままであるようにデバイスによって移動されるが、第1の速度よりも遅い第2の速度で移動する(例えば、基準点が移動を停止又は減速するまで、その時点で仮想オブジェクトが基準点に追いつき始める)。いくつかの実施形態では、仮想オブジェクトが遅延追従挙動を示すとき、デバイスは、基準点の少量の移動を無視する(例えば、0~5度の移動又は0~50cmの移動など、閾値移動量未満である基準点の移動を無視する)。例えば、基準点(例えば、仮想オブジェクトがロックされる環境の部分又は視点)が第1の量だけ移動するとき、基準点と仮想オブジェクトとの間の距離は増加し(例えば、仮想オブジェクトがロックされる基準点とは異なる視点又は環境の部分に対して固定又は実質的に固定されたポジションを維持するように仮想オブジェクトが表示されているので)、基準点(例えば、仮想オブジェクトがロックされる環境の部分又は視点)が第1の量よりも大きい第2の量だけ移動するとき、基準点と仮想オブジェクトとの間の距離は最初に増加し(例えば、仮想オブジェクトがロックされる基準点とは異なる視点又は環境の部分に対して固定又は実質的に固定されたポジションを維持するように仮想オブジェクトが表示されているので)、次いで、仮想オブジェクトが基準点に対して固定又は実質的に固定されたポジションを維持するようにコンピュータシステムによって移動されるので、基準点の移動量が閾値(例えば、「遅延追従」閾値)を超えて増加するにつれて減少する。いくつかの実施形態では、基準点に対して実質的に固定されたポジションを維持する仮想オブジェクトは、仮想オブジェクトが、1つ以上の寸法(例えば、基準点のポジションに対して上/下、左/右、及び/又は前方/後方)において基準点の閾値距離(例えば、1、2、3、5、15、20、50cm)内に表示されることを含む。
ハードウェア:人物が様々なXR環境を感知し、及び/又はそれと相互作用することを可能にする、多くの異なるタイプの電子システムが存在する。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ(HUD)、統合表示機能を有する車両フロントガラス、統合表示機能を有する窓、人の目の上に配置されるように設計されたレンズとして形成されたディスプレイ(例えば、コンタクトレンズ類)、ヘッドホン/イヤフォン、スピーカアレイ、入力システム(例えば、触覚フィードバックを有する又は有さない、ウェアラブルコントローラ又はハンドヘルドコントローラ)、スマートフォン、タブレット、及びデスクトップ/ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、1つ以上のスピーカ(単数又は複数)及び一体型不透明ディスプレイを有してもよい。代替的に、ヘッドマウントシステムは、外部の不透明ディスプレイ(例えば、スマートフォン)を受け入れるように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像若しくはビデオをキャプチャするための1つ以上の撮像センサ、及び/又は物理的環境の音声をキャプチャするための1つ以上のマイクロフォンを組み込んでいてもよい。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人物の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、OLED、LED、uLED、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィカル画像を人物の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、例えば、ホログラムとして、又は物理的表面上に、仮想オブジェクトを物理的環境内に投影するように構成されていてもよい。いくつかの実施形態では、コントローラ110は、ユーザに対するXR体験を管理及び調整するように構成されている。いくつかの実施形態では、コントローラ110は、ソフトウェア、ファームウェア、及び/又はハードウェアの好適な組み合わせを含む。コントローラ110については、図2を参照して以下により詳細に記載する。いくつかの実施形態では、コントローラ110は、シーン105(例えば、物理的環境)に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ110は、シーン105内に位置するローカルサーバである。別の例では、コントローラ110は、シーン105の外側に位置するリモートサーバ(例えば、クラウドサーバ又は中央サーバ)である。いくつかの実施形態では、コントローラ110は、1つ以上の有線又は無線通信チャネル144(例えば、BLUETOOTH、IEEE802.11x、IEEE802.16x、又はIEEE802.3x)を介して、表示生成構成要素120(例えば、HMD、ディスプレイ、プロジェクタ、又はタッチスクリーン)と通信可能に結合される。別の例では、コントローラ110は、表示生成構成要素120(例えば、HMD、又はディスプレイ及び1つ以上のプロセッサを含むポータブル電子デバイス)、入力デバイス125のうちの1つ以上、出力デバイス155のうちの1つ以上、センサ190のうちの1つ以上、及び/又は周辺デバイス195のうちの1つ以上のハウジング(例えば、物理的ハウジング)内に含まれる、又は上記のうちの1つ以上と同じ物理的ハウジング又は支持構造を共有する。
いくつかの実施形態では、表示生成構成要素120は、XR体験(例えば、XR体験の少なくとも視覚的構成要素)をユーザに提供するように構成される。いくつかの実施形態では、表示生成構成要素120は、ソフトウェア、ファームウェア、及び/又はハードウェアの好適な組み合わせを含む。表示生成構成要素120について、図3を参照して以下により詳細に説明する。いくつかの実施形態では、コントローラ110の機能は、表示生成構成要素120によって提供される、及び/又は表示生成構成要素120と組み合わされる。
いくつかの実施形態によれば、表示生成構成要素120は、ユーザがシーン105内に仮想的及び/又は物理的に存在している間に、XR体験をユーザに提供する。
いくつかの実施形態では、表示生成構成要素は、ユーザの身体の一部(例えば、自身の頭部又は自身の手)に装着される。したがって、表示生成構成要素120は、XRコンテンツを表示するために提供された1つ以上のXRディスプレイを含む。例えば、様々な実施形態では、表示生成構成要素120は、ユーザの視野を包囲する。いくつかの実施形態では、表示生成構成要素120は、XRコンテンツを提示するように構成されたハンドヘルドデバイス(スマートフォン又はタブレットなど)であり、ユーザは、ユーザの視野に向けられるディスプレイ及びシーン105に向けられるカメラを備えたデバイスを保持する。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの頭部に装着された筐体内に配置される。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの前の支持体(例えば、三脚)上に配置される。いくつかの実施形態では、表示生成構成要素120は、ユーザが表示生成構成要素120を着用又は保持しない状態でXRコンテンツを提示するように構成されたXRチャンバ、筐体、又は部屋である。XRコンテンツ(例えば、ハンドヘルドデバイス又は三脚上のデバイス)を表示するための1つのタイプのハードウェアを参照して説明される多くのユーザインタフェースは、XRコンテンツ(例えば、HMD又は他のウェアラブルコンピューティングデバイス)を表示するための別のタイプのハードウェア上に実施され得る。例えば、ハンドヘルド又は三脚搭載デバイスの前の空間内で起こる相互作用に基づいてトリガされるXRコンテンツとの相互作用を示すユーザインタフェースは、相互作用がHMDの前の空間で発生し、XRコンテンツの応答がHMDを介して表示されるHMDと同様に実施され得る。同様に、物理的環境(例えば、シーン105又はユーザの身体の一部(例えば、ユーザの目(単数又は複数)、頭部、又は手))に対するハンドヘルド又は三脚搭載デバイスの移動に基づいてトリガされたXRコンテンツとの相互作用を示すユーザインタフェースは、物理的環境(例えば、シーン105又はユーザの身体の一部(例えば、ユーザの目(単数又は複数)、頭部、又は手))に対するHMDの移動によって移動が引き起こされるHMDと同様に実施され得る。
動作環境100の関連する特徴が図1に示されているが、当業者は、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないように、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。
図2は、いくつかの実施形態による、コントローラ110の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのため、非限定的な例として、いくつかの実施形態では、コントローラ110は、1つ以上の処理ユニット202(例えば、マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)、グラフィック処理ユニット(GPU)、中央処理ユニット(CPU)、処理コアなど)、1つ以上の入出力(I/O)デバイス206、1つ以上の通信インタフェース208(例えば、ユニバーサルシリアルバス(USB)、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、グローバル移動通信システム(GSM)、符号分割多元接続(CDMA)、時分割多元接続(TDMA)、グローバル測位システム(GPS)、赤外線(IR)、BLUETOOTH、ZIGBEE、又は同様のタイプのインタフェース)、1つ以上のプログラミング(例えば、I/O)インタフェース210、メモリ220、並びにこれら及び様々な他の構成要素を相互接続するための1つ以上の通信バス204を含む。
いくつかの実施形態では、1つ以上の通信バス204は、システム構成要素間の通信を相互接続及び制御する回路構成を含む。いくつかの実施形態では、1つ以上のI/Oデバイス206は、キーボード、マウス、タッチパッド、ジョイスティック、1つ以上のマイクロフォン、1つ以上のスピーカ、1つ以上の画像センサ、1つ以上のディスプレイなどのうちの少なくとも1つを含む。
メモリ220は、ダイナミックランダムアクセスメモリ(dynamic random-access memory、DRAM)、スタティックランダムアクセスメモリ(static random-access memory、SRAM)、ダブルデータレートランダムアクセスメモリ(double-data-rate random-access memory、DDRRAM)、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ220は、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ220は、1つ以上の処理ユニット202から遠隔に位置する1つ以上の記憶デバイスを任意選択的に含む。メモリ220は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ220、又はメモリ220の非一時的コンピュータ可読記憶媒体は、任意選択的なオペレーティングシステム230及びXR体験モジュール240を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム230は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、XR体験モジュール240は、1人以上のユーザに対する1つ以上のXR体験(例えば、1人以上のユーザに対する単一のXR体験、又は1人以上のユーザのそれぞれのグループに対する複数のXR体験)を管理及び調整するように構成されている。そのために、様々な実施形態では、XR体験モジュール240は、データ取得ユニット241と、トラッキングユニット242と、調整ユニット246と、データ伝信ユニット248と、を含む。
いくつかの実施形態では、データ取得ユニット241は、少なくとも図1の表示生成構成要素120、並びに任意選択的に入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上からデータ(例えば、提示データ、相互作用データ、センサデータ、又はロケーションデータ)を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット241は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、トラッキングユニット242は、シーン105をマッピングし、図1のシーン105に対して、かつ任意選択的に、入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上に対して、少なくとも表示生成構成要素120のポジション/ロケーションを追跡するように構成される。そのために、様々な実施形態では、トラッキングユニット242は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実施形態では、トラッキングユニット242は、ハンドトラッキングユニット244及び/又はアイトラッキングユニット243を含む。いくつかの実施形態では、ハンドトラッキングユニット244は、図1のシーン105に対する、表示生成構成要素120に対する、かつ/又はユーザの手に対して定義された座標系に対する、ユーザの手の1つ以上の部分のポジション/ロケーション、及び/又はユーザの手の1つ以上の部分の運動を追跡するように構成される。ハンドトラッキングユニット244は、図4に関して以下でより詳細に説明される。いくつかの実施形態では、アイトラッキングユニット243は、シーン105に対する(例えば、物理的環境及び/又はユーザ(例えば、ユーザの手)に対する)、又は表示生成構成要素120を介して表示されたXRコンテンツに対する、ユーザの視線(又は、より広範にはユーザの目、顔、又は頭部)のポジション及び移動を追跡するように構成される。アイトラッキングユニット243は、図5に関して以下でより詳細に説明される。
いくつかの実施形態では、調整ユニット246は、表示生成構成要素120によって、並びに任意選択的に、出力デバイス155及び/又は周辺デバイス195のうちの1つ以上によって、ユーザに提示されるXR体験を管理及び調整するように構成される。その目的で、様々な実施形態において、調整ユニット246は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ伝信ユニット248は、データ(例えば、提示データ、又はロケーションデータ)を少なくとも表示生成構成要素120、並びに任意選択的に、入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上に送信するように構成される。その目的で、様々な実施形態では、データ伝信ユニット248は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット241、トラッキングユニット242(例えば、アイトラッキングユニット243及びハンドトラッキングユニット244を含む)、調整ユニット246、及びデータ伝信ユニット248が、単一のデバイス(例えば、コントローラ110)上に存在するものとして示されているが、他の実施形態では、データ取得ユニット241、トラッキングユニット242(例えば、アイトラッキングユニット243及びハンドトラッキングユニット244を含む)、調整ユニット246、及びデータ伝信ユニット248の任意の組み合わせが、別個のコンピューティングデバイス内に位置することができることを理解されたい。
更に、図2は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図2に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では1つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び/又はファームウェアの特定の組み合わせに部分的に依存する。
図3は、いくつかの実施形態による、表示生成構成要素120の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実施形態では、表示生成構成要素120(例えば、HMD)には、1つ以上の処理ユニット302(例えば、マイクロプロセッサ、ASIC、FPGA、GPU、CPU、処理コアなど)、1つ以上の入出力(I/O)デバイス及びセンサ306、1つ以上の通信インタフェース308(例えば、USB、FIREWIRE、THUNDERBOLT、IEEE 802.3x、IEEE 802.11x、IEEE 802.16x、GSM、CDMA、TDMA、GPS、赤外線、BLUETOOTH、ZIGBEE、及び/又は同様のタイプのインタフェース)、1つ以上のプログラミング(例えば、I/O)インタフェース310、1つ以上のXRディスプレイ312、1つ以上の任意選択の内向き及び/又は外向き画像センサ314、メモリ320、並びにこれら及び様々な他の構成要素を相互接続するための1つ以上の通信バス304、が含まれる。
いくつかの実施形態では、1つ以上の通信バス304は、システム構成要素間の通信を相互接続及び制御する回路構成を含む。いくつかの実施形態では、1つ以上のI/Oデバイス及びセンサ306は、慣性測定装置(IMU)、加速度計、ジャイロスコープ、温度計、1つ以上の生理的センサ(例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、又は血糖センサ)、1つ以上のマイクロフォン、1つ以上のスピーカ、触覚エンジン、1つ以上の深度センサ(例えば、構造化光、飛行時間など)などのうちの少なくとも1つを含む。
いくつかの実施形態では、1つ以上のXRディスプレイ312は、ユーザにXR体験を提供するように構成される。いくつかの実施形態では、1つ以上のXRディスプレイ312は、ホログラフィック、デジタル光処理(DLP)、液晶ディスプレイ(LCD)、液晶オンシリコン(LCoS)、有機発光電界効果トランジスタ(OLET)、有機発光ダイオード(OLED)、表面伝導型電子放射素子ディスプレイ(SED)、電界放射ディスプレイ(FED)、量子ドット発光ダイオード(QD-LED)、MEMS、及び/又は同様のディスプレイタイプに相当する。いくつかの実施形態では、1つ以上のXRディスプレイ312は、回折、反射、偏光、及び/又はホログラフィック導波管ディスプレイに相当する。例えば、表示生成構成要素120(例えば、HMD)は、単一のXRディスプレイを含む。別の実施例では、表示生成構成要素120は、ユーザの各目用のXRディスプレイを含む。いくつかの実施形態では、1つ以上のXRディスプレイ312は、MR又はVRコンテンツを提示することができる。いくつかの実施形態では、1つ以上のXRディスプレイ312は、MR又はVRコンテンツを提示することができる。
いくつかの実施形態では、1つ以上の画像センサ314は、ユーザの目を含むユーザの顔の少なくとも一部に対応する画像データを取得するように構成される(及び、アイトラッキングカメラと称する場合がある)。いくつかの実施形態では、1つ以上の画像センサ314は、ユーザの手(単数又は複数)及び任意選択的にユーザの腕(単数又は複数)の少なくとも一部に対応する画像データを取得するように構成される(及び、ハンドトラッキングカメラと称される場合がある)。いくつかの実施形態では、1つ以上の画像センサ314は、表示生成構成要素120(例えばHMD)、が存在しない場合に、ユーザが閲覧するようなシーンに対応する画像データを取得するように前方を向くように構成されている(かつ、シーンカメラと称されることがある)。1つ以上の任意選択的な画像センサ314は、(例えば、相補型金属酸化膜半導体(CMOS)画像センサ若しくは電荷結合デバイス(CCD)画像センサを備えた)1つ以上のRGBカメラ、1つ以上の赤外線(IR)カメラ、1つ以上のイベントベースのカメラ、及び/又は同様のもの、を含むことができる。
メモリ320は、DRAM、SRAM、DDR RAM、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ320は、1つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ320は、1つ以上の処理ユニット302から遠隔に位置する1つ以上の記憶デバイスを任意選択的に含む。メモリ320は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ320、又はメモリ320の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム330及びXR提示モジュール340を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム330は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、XR提示モジュール340は、1つ以上のXRディスプレイ312を介してXRコンテンツをユーザに提示するように構成される。その目的で、様々な実施形態では、XR提示モジュール340は、データ取得ユニット342、XR提示ユニット344、XRマップ生成ユニット346、及びデータ伝信ユニット348を含む。
いくつかの実施形態では、データ取得ユニット342は、少なくとも図1のコントローラ110からデータ(例えば、提示データ、相互作用データ、センサデータ、又はロケーションデータ)を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット342は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、XR提示ユニット344は、1つ以上のXRディスプレイ312を介してXRコンテンツを提示するように構成される。その目的で、様々な実施形態では、XR提示ユニット344は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、XRマップ生成ユニット346は、メディアコンテンツデータに基づいて、XRマップ(例えば、複合現実シーンの3Dマップ又はコンピュータ生成オブジェクトを配置してエクステンデッドリアリティを生成することができる物理的環境のマップ)を生成するように構成されている。その目的で、様々な実施形態では、XRマップ生成ユニット346は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ伝信ユニット348は、少なくともコントローラ110、及び任意選択的に入力デバイス125、出力デバイス155、センサ190、及び/又は周辺デバイス195のうちの1つ以上にデータ(例えば、提示データ、又はロケーションデータ)を伝送するように構成される。その目的で、様々な実施形態では、データ伝信ユニット348は、そのための命令及び/又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット342は、XR提示ユニット344、XRマップ生成ユニット346、及びデータ伝信ユニット348は、単一のデバイス(例えば、図1の表示生成構成要素120)上に存在するものとして示されているが、他の実施形態では、データ取得ユニット342、XR提示ユニット344、XRマップ生成ユニット346、及びデータ伝信ユニット348の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図3は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実装形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図3に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では1つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び/又はファームウェアの特定の組み合わせに部分的に依存する。
図4は、ハンドトラッキングデバイス140の例示的な実施形態の概略図である。いくつかの実施形態では、ハンドトラッキングデバイス140(図1)は、図1のシーン105に対する(例えば、ユーザを囲む物理的環境の一部に対する、表示生成構成要素120に対する、又はユーザの一部(例えば、ユーザの顔、目、又は頭部)に対する、及び/又はユーザの手に対して定義された座標系に対する)ユーザの手の1つ以上の部分のポジション/ロケーション、及び/又は、ユーザの手の1つ以上の部分の動きを追跡するように、ハンドトラッキングユニット244(図2)によって制御される。いくつかの実施形態では、ハンドトラッキングデバイス140は、表示生成構成要素120の一部である(例えば、ヘッドマウントデバイスに埋め込まれる、又はヘッドマウントデバイスに取り付けられる)。いくつかの実施形態では、ハンドトラッキングデバイス140は、表示生成構成要素120とは別個である(例えば、別個のハウジング内に位置する、又は別個の物理的支持構造に取り付けられる)。
いくつかの実施形態では、ハンドトラッキングデバイス140は、人間のユーザの少なくとも手406を含む三次元シーン情報をキャプチャする画像センサ404(例えば、1つ以上のIRカメラ、3Dカメラ、深度カメラ、及び/又はカラーカメラ)を含む。画像センサ404は、指及びそれらのそれぞれのポジションを区別するのを可能にするのに十分な解像度で手画像をキャプチャする。画像センサ404は、典型的には、ユーザの身体の他の部分の画像、又は身体の全ての画像をキャプチャし、ズーム機能又は高倍率を有する専用センサのいずれかを有して、所望の解像度で手の画像をキャプチャすることができる。いくつかの実施形態では、画像センサ404はまた、手406の2Dカラービデオ画像及びシーンの他の要素をキャプチャする。いくつかの実施形態では、画像センサ404は、シーン105の物理的環境をキャプチャする他の画像センサと併せて使用される、又はシーン105の物理的環境をキャプチャする画像センサとして機能する。いくつかの実施形態では、画像センサ404は、画像センサ又はその一部の視野が使用されて、画像センサによってキャプチャされた手の移動がコントローラ110への入力として処理される相互作用空間を画定するように、ユーザ又はユーザの環境に対して位置決めされる。
いくつかの実施形態では、画像センサ404は、3Dマップデータ(及び場合によってはカラー画像データも)を含むフレームのシーケンスをコントローラ110に出力し、これにより、マップデータから高レベル情報を抽出する。この高レベル情報は、典型的には、アプリケーションプログラムインタフェース(API)を介して、コントローラ上で実行されるアプリケーションに提供され、それに応じて表示生成構成要素120を駆動する。例えば、ユーザは、自分の手406を移動させて自分の手の姿勢を変化させることによって、コントローラ110上で実行されるソフトウェアと対話することができる。
いくつかの実施形態では、画像センサ404は、手406を含むシーン上にスポットパターンを投影し、投影されたパターンの画像をキャプチャする。いくつかの実施形態では、コントローラ110は、パターンのスポットの横方向シフトに基づいて、三角測量によって(ユーザの手の表面上の点を含む)シーン内の点の3D座標を計算する。このアプローチは、ユーザが任意の種類のビーコン、センサ、又は他のマーカを保持又は着用する必要がないという点で有利である。これは、画像センサ404からの特定の距離で、所定の基準面に対するシーン内の点の深度座標を与える。本開示では、画像センサ404は、シーン内の点の深度座標が画像センサによって測定されたz構成要素に対応するように、直交する一連のx、y、z軸を画定すると想定される。代替的に、画像センサ404(例えば、ハンドトラッキングデバイス)は、単一又は複数のカメラ又は他のタイプのセンサに基づいて、立体撮像又は飛行時間測定などの他の3Dマッピング方法を使用することができる。
いくつかの実施形態では、ハンドトラッキングデバイス140は、ユーザが手(例えば、手全体又は1本以上の指)を移動させている間、ユーザの手を含む深度マップの時間シーケンスをキャプチャし処理する。画像センサ404及び/又はコントローラ110内のプロセッサ上で動作するソフトウェアは、3Dマップデータを処理して、これらの深度マップ内の手のパッチ記述子を抽出する。ソフトウェアは、各フレームにおける手の姿勢を推定するために、以前の学習処理に基づいて、これらの記述子をデータベース408に記憶されたパッチ記述子と照合する。姿勢は、典型的には、ユーザの手関節及び指先の3Dロケーションを含む。
ソフトウェアはまた、ジェスチャを識別するために、シーケンス内の複数のフレームにわたって手及び/又は指の軌道を解析することができる。本明細書に記載される姿勢推定機能は、運動追跡機能とインターリーブされてもよく、それにより、パッチベースの姿勢推定が2つ(又はそれより多く)のフレーム毎に1回のみ実行される一方、追跡は残りのフレームにわたって発生する姿勢の変化を発見するために使用される。姿勢、運動、及びジェスチャ情報は、上述のAPIを介して、コントローラ110上で実行されるアプリケーションプログラムに提供される。このプログラムは、例えば、姿勢及び/又はジェスチャ情報に応じて、表示生成構成要素120上に提示された画像を移動させ修正する、又は他の機能を実行することができる。
いくつかの実施形態では、ジェスチャは、エアジェスチャを含む。エアジェスチャは、ユーザがデバイス(例えば、コンピュータシステム101、1つ以上の入力デバイス125、及び/又は、ハンドトラッキングデバイス140)の一部である入力要素に触れることなく(又はそれとは無関係に)検出されるジェスチャであり、絶対的な基準(例えば、地面に対するユーザの腕の角度、又は地面に対するユーザの手の距離)に対するユーザの身体の動き、ユーザの身体の別の部分(例えば、ユーザの肩に対するユーザの手の移動、ユーザの一方の手のユーザの別の手に対する移動、及び/又はユーザの指の、別の指若しくはユーザの手の一部に対する移動)に対するユーザの身体の動き、及び/又はユーザの身体の一部(例えば、所定の量及び/又は速さによる所定の姿勢での手の移動を含むタップジェスチャ、又は所定の速度又はユーザの身体の一部の回転量を含むシェイクジェスチャ)の絶対的な動きを含む、空中にあるユーザの身体の一部(例えば、頭部、1つ以上の腕、1つ以上の手、1つ以上の指、及び/又は1つ以上の脚)の検出された動きに基づく。
いくつかの実施形態では、本明細書に記載の様々な例及び実施形態で使用される入力ジェスチャは、いくつかの実施形態に係る、XR環境(例えば、仮想又は複合現実環境)と相互作用するための他の指(単数又は複数)又はユーザの手の部分(単数又は複数)に対するユーザの指(単数又は複数)の移動によって実行されるエアジェスチャを含む。いくつかの実施形態では、エアジェスチャは、ユーザがデバイスの一部である入力要素に触れることなく(又はデバイスの一部である入力要素から独立して)検出されるジェスチャであり、絶対的な基準に対するユーザの身体の動き(例えば、地面に対するユーザの腕の角度、又は地面に対するユーザの手の距離)、ユーザの身体の別の部分に対するユーザの身体の動き(例えば、ユーザの肩に対するユーザの手の動き、ユーザの一方の手に対するユーザの他方の手の移動、及び/又はユーザの手の別の指若しくは部分に対するユーザの指の移動)、及び/又は、ユーザの身体の一部の絶対的な動き(例えば、所定の量及び/又は速さによる所定のポーズでの手の移動を含むタップジェスチャ、又はユーザの身体の一部の所定の速さ又は量の回転を含むシェイクジェスチャ)を含む、空中にあるユーザの身体の一部の検出された動きに基づく。
入力ジェスチャがエアジェスチャ(例えば、タッチスクリーン上に表示されたユーザインタフェース要素との接触、又はユーザインタフェース要素にカーソルを移動させるためのマウス又はトラックパッドとの接触など、どのユーザインタフェース要素がユーザ入力のターゲットであるかに関する情報をコンピュータシステムに提供する入力デバイスとの物理的接触がない場合)であるいくつかの実施形態では、ジェスチャは、ユーザ入力のターゲット(例えば、以下で説明するように、直接入力の場合)を決定するためにユーザの注意(例えば、視線)を考慮に入れる。したがって、エアジェスチャを含む実装形態では、入力ジェスチャは、例えば、以下でより詳細に説明するように、ピンチ及び/又はタップ入力を実行するためのユーザの指(単数又は複数)及び/又は手の移動と組み合わせて(例えば、同時)ユーザインタフェース要素に対する検出された注意(例えば、視線)である。
いくつかの実施形態では、ユーザインタフェースオブジェクトに向けられた入力ジェスチャは、ユーザインタフェースオブジェクトを参照して直接的又は間接的に実行される。例えば、ユーザ入力は、三次元環境(例えば、ユーザの現在の視点に基づいて決定されるように、)におけるユーザインタフェースオブジェクトのポジションに対応するポジションでユーザの手で入力ジェスチャを実行したことに応じて、ユーザインタフェースオブジェクトに対して直接実行される。いくつかの実施形態では、入力ジェスチャは、ユーザインタフェースオブジェクトに対するユーザの注意(例えば、視線)を検出しながら、ユーザの手のポジションが三次元環境におけるユーザインタフェースオブジェクトのポジションに対応するポジションにない間に入力ジェスチャを実行するユーザに従って、ユーザインタフェースオブジェクトに対して間接的に実行される。例えば、直接入力ジェスチャの場合、ユーザは、ユーザインタフェースオブジェクトの表示ポジション(例えば、オプションの外縁又はオプションの中央部分から測定して、0.5cm、1cm、5cm、又は0~5cmの距離内)に対応するポジション又はその付近でジェスチャを開始することによって、ユーザの入力をユーザインタフェースオブジェクトに向けることができる。間接的な入力ジェスチャの場合、ユーザは、ユーザインタフェースオブジェクトに注意を払うことによって(例えば、ユーザインタフェースオブジェクトを注視することによって)ユーザの入力をユーザインタフェースオブジェクトに向けることができ、オプションに注意を払いながら、ユーザは、入力ジェスチャを開始する(例えば、コンピュータシステムによって検出可能な任意のポジションで)(例えば、ユーザインタフェースオブジェクトの表示ポジションに対応しないポジションで)。
いくつかの実施形態では、本明細書に記載の様々な例及び実施形態で使用される入力ジェスチャ(例えば、エアジェスチャ)は、いくつかの実施形態に係る、仮想又は複合現実環境と相互作用するためのピンチ入力及びタップ入力を含む。例えば、後述するピンチ入力やタップ入力は、エアジェスチャとして行われる。
いくつかの実施形態では、ピンチ入力は、ピンチジェスチャ、ロングピンチジェスチャ、ピンチアンドドラッグジェスチャ、又はダブルピンチジェスチャのうちの1つ以上を含むエアジェスチャの一部である。例えば、エアジェスチャであるピンチジェスチャは、互いに接触するように手の2本以上の指を動かすこと、すなわち、任意選択的に、互いに接触した直後の(例えば、0~1秒以内)中断を含む。エアジェスチャであるロングピンチジェスチャは、互いに接触している中断を検出する前に、少なくとも閾値時間量(例えば、少なくとも1秒)にわたって互いに接触するように手の2本以上の指を動かすことを含む。例えば、ロングピンチジェスチャは、ユーザがピンチジェスチャ(例えば、2つ以上の指が接触している場合、)を保持することを含み、ロングピンチジェスチャは、2本以上の指の間の接触の中断が検出されるまで継続する。いくつかの実施形態では、エアジェスチャであるダブルピンチジェスチャは、互いに直接(例えば、既定の期間内に)連続して検出される2つ(例えば、又はそれより多く)のピンチ入力(例えば、同じ手で実行される)を含む。例えば、ユーザは、第1のピンチ入力を実行し(例えば、ピンチ入力又はロングピンチ入力)、第1のピンチ入力を解放し(例えば、2つ以上の指の間の接触を破壊する)、第1のピンチ入力を解放した後、既定の期間(例えば、1秒以内又は2秒以内)内に第2のピンチ入力を実行する。
いくつかの実施形態では、エアジェスチャであるピンチアンドドラッグジェスチャは、ユーザの手のポジションを第1のポジション(例えば、ドラッグの開始ポジション)から第2のポジション(例えば、抗力の終了ポジション)に変化させるドラッグ入力に関連して(例えば、その後に)実行されるピンチジェスチャ(例えば、ピンチジェスチャ又はロングピンチジェスチャ)を含む。いくつかの実施形態では、ユーザは、ドラッグ入力を実行しながらピンチジェスチャを維持し、(例えば、第2のポジションにおいて)ドラッグジェスチャを終了するためにピンチジェスチャ(例えば、2本以上の指を開く)を解放する。いくつかの実施形態では、ピンチ入力及びドラッグ入力は、同じ手(例えば、ユーザは、2本以上の指をつまんで互いに接触し、ドラッグジェスチャで空中の第2のポジションに同じ手を移動させる)によって実行される。いくつかの実施形態では、ピンチ入力はユーザの第1の手によって実行され、ドラッグ入力はユーザの第2の手によって実行される(例えば、ユーザの第2の手は、ユーザがユーザの第1の手でピンチ入力を継続する間に空中で第1のポジションから第2のポジションに移動する)。いくつかの実施形態では、エアジェスチャである入力ジェスチャは、ユーザの両手の双方を使用して実行される入力(例えば、ピンチ入力及び/又はタップ入力)を含む。例えば、入力ジェスチャは、互いに関連して(例えば、既定の期間と同時に、又は既定の期間内に)行われる2つ(例えば、又はそれより多く)のピンチ入力を含む。例えば、ユーザの第1の手を使用して実行される第1のピンチジェスチャ(例えば、ピンチ入力、ロングピンチ入力、又はピンチ及びドラッグ入力)と、第1の手を使用してピンチ入力を実行することに関連して、他方の手(例えば、ユーザの両手の第2の手)を使用して第2のピンチ入力を実行する。いくつかの実施形態では、(例えば、ユーザの両手の間の距離又は相対的な向きを増加及び/又は減少させるための)ユーザの両手の間の移動。
いくつかの実施形態では、エアジェスチャとして実行されるタップ入力(例えば、ユーザインタフェース要素に向けられる)は、ユーザインタフェース要素に向かうユーザの指の移動(単数又は複数)、任意選択的にユーザの指(単数又は複数)をユーザインタフェース要素に向かって伸ばした状態でのユーザの手のユーザインタフェース要素に向かう移動、ユーザの指の下方への動き(例えば、マウスクリック動作又はタッチスクリーン上のタップを模倣する)、又はユーザの手の他の既定の移動を含む。いくつかの実施形態では、エアジェスチャとして実行されるタップ入力は、ユーザの視点から離れて、及び/又は移動の終了が続くタップ入力のターゲットであるオブジェクトに向かって指又は手のタップジェスチャの移動を実行する指又は手の移動特性に基づいて検出される。いくつかの実施形態では、タップジェスチャ(例えば、ユーザの視点から離れる、及び/又はタップ入力の対象であるオブジェクトに向かう移動の終了、指又は手の移動方向の反転、及び/又は指又は手の移動の加速方向の反転)を実行する指又は手の移動特性の変化に基づいて、移動の終了が検出される。
いくつかの実施形態では、ユーザの注意は、(任意選択で、他の条件を必要とせずに)三次元環境の一部に向けられた視線の検出に基づいて、三次元環境の一部に向けられていると判定される。いくつかの実施形態では、ユーザの注意が三次元環境の一部に向けられていることをデバイスが判定するために、ユーザの視点が三次元環境の一部から距離閾値内にある間に、少なくとも閾値持続時間(例えば、滞留時間)、視線が三次元環境の一部に向けられていることを必要とすること、及び/又は視線が三次元環境の一部に向けられていることを必要とすることなどの1つ以上の追加の条件を伴う三次元環境の一部に向けられた視線の検出に基づいて、ユーザの注意が三次元環境の一部に向けられていると判定され、追加の条件のうちの1つが満たされていない場合、デバイスは、三次元環境のうちの視線が向けられている部分に注意が向けられていないと判定する(例えば、1つ以上の追加の条件が満たされるまで)。
いくつかの実施形態では、ユーザ又はユーザの一部の準備完了状態構成の検出は、コンピュータシステムによって検出される。手の準備完了状態構成の検出は、ユーザが、手によって実行される1つ以上のエアジェスチャ入力(例えば、ピンチ、タップ、ピンチ及びドラッグ、ダブルピンチ、ロングピンチ、又は本明細書に説明される他のエアジェスチャ)を使用して、コンピュータシステムと対話する準備をしている可能性が高いというインジケーションとして、コンピュータシステムによって使用される。例えば、手の準備完了状態は、手が所定の手形状(例えば、親指と1本以上の指が伸ばされて間隔を空けてピンチ若しくはグラブジェスチャを行う準備ができているプレピンチ形状、又は1本以上の指が伸ばされて掌がユーザから離れる方向を向いているプレタップ)を有するか否か、手がユーザの視点に対して所定のポジションにあるか否か(例えば、ユーザの頭部の下、ユーザの腰の上、身体から少なくとも15cm、20cm、25cm、30cm、又は50cmだけ伸ばされている)、及び/又は手が特定の方法で移動したか否か(例えば、ユーザの腰の上、ユーザの頭部の下のユーザの正面の領域に向かって移動したか、又はユーザの身体若しくは脚から離れたか)に基づいて決定される。いくつかの実施形態では、準備完了状態は、ユーザインタフェースの対話要素が注意(例えば、視線)入力に応じるかどうかを判定するために使用される。
いくつかの実施形態では、ソフトウェアは、例えばネットワーク上で、コントローラ110に電子形態でダウンロードされてもよい、又はその代わりに、光学、磁気、若しくは電子メモリ媒体などの、実体的非一時的媒体に提供されてもよい。いくつかの実施形態では、データベース408は、同様に、コントローラ110に関連付けられたメモリに記憶される。代替的又は追加的に、コンピュータの記載された機能の一部又は全ては、カスタム又は半カスタム集積回路又はプログラム可能なデジタル信号プロセッサ(DSP)などの専用のハードウェアに実装されてもよい。コントローラ110は、例として、画像センサ404とは別個のユニットとして図4に示されているが、コントローラの処理機能の一部又は全部は、好適なマイクロプロセッサ及びソフトウェアによって、又は画像センサ404(例えば、ハンドトラッキングデバイス)のハウジング内の専用回路構成によって、又は他の方法で画像センサ404に関連付けることができる。いくつかの実施形態では、これらの処理機能のうちの少なくともいくつかは、(例えば、テレビセット、ハンドヘルドデバイス、又はヘッドマウントデバイスにおいて)表示生成構成要素120と統合された好適なプロセッサによって、又はゲームコンソール又はメディアプレーヤなどの任意の他の適切なコンピュータ化されたデバイスを用いて実行されてもよい。画像センサ404の感知機能は、同様に、センサ出力によって制御されるコンピュータ又は他のコンピュータ化された装置に統合することができる。
図4は、いくつかの実施形態による、画像センサ404によってキャプチャされた深度マップ410の概略図を更に含む。深度マップは、上述したように、それぞれの深度値を有するピクセルのマトリックスを含む。手406に対応するピクセル412は、このマップで背景及び手首からセグメント化されている。深度マップ410内の各ピクセルの輝度は、深度値、すなわち、画像センサ404からの測定されたz距離に反比例し、深さが上昇するにつれて階調が濃くなる。コントローラ110は、人間の手の特性を有する画像の構成要素(すなわち、隣接ピクセル群)を識別及びセグメント化するために、これらの深度値を処理する。これらの特性は、例えば、深度マップのシーケンスの全体サイズ、形状、フレームからフレームへの動きを含むことができる。
図4はまた、いくつかの実施形態による、コントローラ110が手406の深度マップ410から最終的に抽出する手骨格414を概略的に示す。図4では、手の骨格414は、元の深度マップからセグメント化された手の背景416に重ね合わされる。いくつかの実施形態では、手(例えば、指関節、指先、掌の中心、又は手首に接続する手の終端)、及び任意選択的に手に接続された手首又は腕上の主要な特徴点が、手骨格414上で識別され配置される。いくつかの実施形態では、複数の画像フレーム上にわたるこれらの主要な特徴点のロケーション及び移動がコントローラ110によって使用されて、いくつかの実施形態により、手によって実行される手ジェスチャ又は手の現在の状態を判定する。
図5は、アイトラッキングデバイス130(図1)の例示的な実施形態を示す。いくつかの実施形態では、アイトラッキングデバイス130は、シーン105に対する、又は表示生成構成要素120を介して表示されたXRコンテンツに対する、ユーザの視線のポジション及び移動を追跡するように、アイトラッキングユニット243(図2)によって制御される。いくつかの実施形態では、アイトラッキングデバイス130は、表示生成構成要素120と統合される。例えば、いくつかの実施形態では、表示生成構成要素120がヘッドセット、ヘルメット、ゴーグル、又は眼鏡などのヘッドマウントデバイス、又はウェアラブルフレームに配置されたハンドヘルドデバイスである場合、ヘッドマウントデバイスは、ユーザによる視聴のためのXRコンテンツを生成する構成要素及びXRコンテンツに対するユーザの視線を追跡するための構成要素の両方を含む。いくつかの実施形態では、アイトラッキングデバイス130は、表示生成構成要素120とは別個である。例えば、表示生成構成要素がハンドヘルドデバイス又はXRチャンバである場合、アイトラッキングデバイス130は、任意選択的に、ハンドヘルドデバイス又はXRチャンバとは別個のデバイスである。いくつかの実施形態では、アイトラッキングデバイス130は、ヘッドマウントデバイス又はヘッドマウントデバイスの一部である。いくつかの実施形態では、ヘッドマウントアイトラッキングデバイス130は、任意選択的に、頭部に装着されている表示生成構成要素又は頭部に装着されていない表示生成構成要素とともに使用される。いくつかの実施形態では、アイトラッキングデバイス130は、ヘッドマウントデバイスではなく、任意選択的に、ヘッドマウント表示生成構成要素と組み合わせて使用される。いくつかの実施形態では、アイトラッキングデバイス130は、ヘッドマウントデバイスではなく、任意選択的に、非ヘッドマウント表示生成構成要素の一部である。
いくつかの実施形態では、表示生成構成要素120は、ユーザの目の前に左及び右の画像を含むフレームを表示して、3D仮想ビューをユーザに提供するディスプレイ機構(例えば、左右の目近傍ディスプレイパネル)を使用する。例えば、ヘッドマウント表示生成構成要素は、ディスプレイとユーザの目との間に位置する左右の光学レンズ(本明細書では接眼レンズと称される)を含んでもよい。いくつかの実施形態では、表示生成構成要素は、表示のためにユーザの環境のビデオをキャプチャする1つ以上の外部ビデオカメラを含んでもよい、又はそれに結合されてもよい。いくつかの実施形態では、ヘッドマウント表示生成構成要素は、ユーザが物理的環境を直接視認し、透明又は半透明ディスプレイ上に仮想オブジェクトを表示することができる透明又は半透明のディスプレイを有してもよい。いくつかの実施形態では、表示生成構成要素は、仮想オブジェクトを物理的環境に投影する。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを観察することができる。そのような場合、左右の目のための別個のディスプレイパネル及び画像フレームが必要とされない場合がある。
図5に示すように、いくつかの実施形態では、アイトラッキングデバイス130(例えば、視線トラッキングデバイス)は、少なくとも1つのアイトラッキングカメラ(例えば、赤外線(IR)カメラ又は近IR(NIR)カメラ)、並びに光(例えば、IR光又はNIR光)をユーザの目に向けて発する照明源(例えば、LEDのアレイ若しくはリングなどのIR光源又はNIR光源)を含む。アイトラッキングカメラは、ユーザの目に向けられて、光源からの反射IR又はNIR光を目から直接受信してもよく、又は代替的に、ユーザの目と、可視光が通過することを可能にしながら目からアイトラッキングカメラにIR又はNIR光を反射させるディスプレイパネルとの間に配置される「ホット」ミラーに向けられてもよい。アイトラッキングデバイス130は、任意選択的に、ユーザの目の画像を(例えば、60~120フレーム/秒(fps)でキャプチャされるビデオストリームとして)キャプチャし、画像を解析して、視線追跡情報を生成し、視線追跡情報をコントローラ110に通信する。いくつかの実施形態では、ユーザの両目は、それぞれのアイトラッキングカメラ及び照明源によって別々に追跡される。いくつかの実施形態では、ユーザの片目のみが、個別のアイトラッキングカメラ及び照明源によって追跡される。
いくつかの実施形態では、アイトラッキングデバイス130は、デバイス固有の較正処理を使用して較正されて、特定の動作環境100用のアイトラッキングデバイスのパラメータ、例えば、LED、カメラ、ホットミラー(存在する場合)、接眼レンズ、及びディスプレイスクリーンの3D幾何学的関係及びパラメータを判定する。デバイス固有の較正処理は、AR/VR機器のエンドユーザへの配送前に、工場又は別の施設で実行されてもよい。デバイス固有の較正処理は、自動較正処理であってもよく、又は手動較正処理であってもよい。ユーザ固有の較正処理は、特定のユーザの目パラメータ、例えば、瞳孔ロケーション、中心窩ロケーション、光軸、視軸、及び/又は目間隔の推定を含んでもよい。一旦アイトラッキングデバイス130についてデバイス固有及びユーザ固有のパラメータが判定されると、いくつかの実施形態により、アイトラッキングカメラによってキャプチャされた画像は、グリント支援方法を使用して処理され、ディスプレイに対するユーザの現在の視軸及び視点を判定することができる。
図5に示されるように、アイトラッキングデバイス130(例えば、130A又は130B)は、接眼レンズ(単数又は複数)520と、アイトラッキングが行われるユーザの顔の側に配置された少なくとも1つのアイトラッキングカメラ540(例えば、赤外線(IR)又は近IR(NIR)カメラ)と光(例えば、IR又はNIR光)をユーザの目(単数又は複数)592に向かって発する照明源530(例えば、NIR発光ダイオード(LED)のアレイ若しくはリングなどのIR又はNIR光源)とを含む視線トラッキングシステムと、を含む。アイトラッキングカメラ540は、ユーザの目(単数又は複数)592とディスプレイ510(例えば、ヘッドマウントディスプレイの左若しくは右側のディスプレイパネル、又はハンドヘルドデバイスのディスプレイ、又はプロジェクタ)との間に位置し、(例えば、図5の上部に示すように)可視光を透過させながら、目(単数又は複数)592からのIR又はNIR光を反射するミラー550に向けられてもよく、あるいは、(例えば、図5の下部に示すように)反射された目(単数又は複数)592からのIR又はNIR光を受光するようにユーザの目(単数又は複数)592に向けられてもよい。
いくつかの実施形態では、コントローラ110は、AR又はVRフレーム562(例えば、左及び右のディスプレイパネルの左及び右のフレーム)をレンダリングし、フレーム562をディスプレイ510に提供する。コントローラ110は、様々な目的のために、例えば、表示のためにフレーム562を処理する際に、アイトラッキングカメラ540からの視線トラッキング入力542を使用する。コントローラ110は、任意選択的に、グリント支援方法又は他の適切な方法を使用して、アイトラッキングカメラ540から得られた視線トラッキング入力542に基づいて、ディスプレイ510上のユーザの視点を推定する。視線トラッキング入力542から推定された視点は、任意選択的に、ユーザが現在見ている方向を判定するために使用される。
以下、ユーザの現在の視線方向のいくつかの可能な使用事例について説明するが、これは限定することを意図するものではない。例示的な使用例として、コントローラ110は、判定されたユーザの視線方向に基づいて、仮想コンテンツを異なってレンダリングすることができる。例えば、コントローラ110は、周辺領域においてよりもユーザの現在の視線方向から判定された中心視覚領域において、より高い解像度で仮想コンテンツを生成してもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内の仮想コンテンツを位置決め又は移動させてもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内に特定の仮想コンテンツを表示してもよい。ARアプリケーションにおける別の例示的な使用事例として、コントローラ110は、XR体験の物理的環境をキャプチャして、判定された方向に焦点を合わせるように外部カメラを方向付けることができる。次いで、外部カメラの自動焦点機構は、ユーザが現在ディスプレイ510上で見ている環境内のオブジェクト又は表面に焦点を合わせることができる。別の例示的な使用事例として、接眼レンズ520は集束可能なレンズであってもよく、視線トラッキング情報がコントローラによって使用されて、ユーザが現在見ている仮想オブジェクトが、ユーザの目592の収束に一致するために適切な両目連動を有するように接眼レンズ520の焦点を調整する。コントローラ110は、視線トラッキング情報を活用して、ユーザが見ている近接オブジェクトが正しい距離で現れるように接眼レンズ520を方向付けて焦点を調整することができる。
いくつかの実施形態では、アイトラッキングデバイスは、ウェアラブルハウジングに取り付けられた、ディスプレイ(例えば、ディスプレイ510)、2つの接眼レンズ(例えば、接眼レンズ(単数又は複数)520)、アイトラッキングカメラ(例えば、アイトラッキングカメラ(単数又は複数)540)、及び光源(例えば、光源530(例えば、IR LED又はNIR LED))を含むヘッドマウントデバイスの一部である。光源は、ユーザの目(単数又は複数)592に向かって光(例えば、IR光又はNIR光)を発する。いくつかの実施形態では、光源は、図5に示されるように、各レンズの周りにリング又は円状に配置されてもよい。いくつかの実施形態では、8つの光源530(例えば、LED)が、一例として各レンズ520の周りに配置される。しかしながら、より多くの又はより少ない光源530が使用されてもよく、光源530の他の配置及びロケーションが用いられてもよい。
いくつかの実施形態では、ディスプレイ510は、可視光範囲内の光を発し、IR又はNIR範囲内の光を発さないため、視線トラッキングシステムにノイズを導入しない。アイトラッキングカメラ(単数又は複数)540のロケーション及び角度は、例として与えられ、限定することを意図するものではないことに留意されたい。いくつかの実施形態では、単一のアイトラッキングカメラ540がユーザの顔の各側に位置する。いくつかの実施形態では、2つ以上のNIRカメラ540をユーザの顔の各側に使用することができる。いくつかの実施形態では、より広い視野(FOV)を有するカメラ540と狭いFOVを有するカメラ540が、ユーザの顔の各側に使用されてもよい。いくつかの実施形態では、1つの波長(例えば、850nm)で動作するカメラ540と異なる波長(例えば、940nm)で動作するカメラ540とが、ユーザの顔の各側に使用されてもよい。
図5に示すような視線トラッキングシステムの実施形態は、例えば、コンピュータ生成現実、仮想現実、及び/又は複合現実アプリケーションに使用されて、コンピュータ生成現実、仮想現実、拡張現実、及び/又は拡張仮想の体験をユーザに提供することができる。
図6は、いくつかの実施形態による、グリント支援視線追跡パイプラインを示す。いくつかの実施形態では、視線トラッキングパイプラインは、グリント支援視線トラッキングシステム(例えば、図1及び図5に示されるようなアイトラッキングデバイス130)によって実現される。グリント支援視線トラッキングシステムは、追跡状態を維持することができる。当初、追跡状態はオフ又は「いいえ」である。追跡状態にあるとき、グリント支援視線トラッキングシステムは、現フレームを解析する際に前のフレームからの先行情報を使用して、現フレーム内の瞳孔輪郭及びグリントを追跡する。追跡状態にない場合、グリント支援視線トラッキングシステムは、現フレーム内の瞳孔及びグリントを検出しようとし、それに成功した場合、追跡状態を「はい」に初期化し、追跡状態で次のフレームに続く。
図6に示されるように、視線追跡カメラは、ユーザの左目及び右目の左右の画像をキャプチャすることができる。次いで、キャプチャされた画像は、610で開始される処理のために視線トラッキングパイプラインに入力される。要素600に戻る矢印によって示されるように、視線トラッキングシステムは、例えば、毎秒60~120フレームの速度で、ユーザの目の画像をキャプチャし続けることができる。いくつかの実施形態では、キャプチャされた画像の各セットが、処理のためにパイプラインに入力されてもよい。しかしながら、いくつかの実施形態、又はいくつかの条件下では、全てのキャプチャされたフレームがパイプラインによって処理されるわけではない。
610で、現在のキャプチャされた画像について、追跡状態がはいである場合、この方法は要素640に進む。610で、追跡状態がいいえである場合、620に示されるように、画像が解析されて、画像内のユーザの瞳孔及びグリントを検出する。630で、瞳孔とグリントが正常に検出される場合、方法は要素640に進む。正常に検出されない場合、方法は要素610に戻り、ユーザの目の次の画像を処理する。
640において、要素610から進む場合、以前のフレームからの前の情報に部分的に基づいて瞳孔及びグリントを追跡するために、現在のフレームが分析される。640で、要素630から進む場合、現フレーム内の検出された瞳孔及びグリントに基づいて、追跡状態が初期化される。要素640での処理の結果は、追跡又は検出の結果が信頼できることを確認するためにチェックされる。例えば、結果は、瞳孔及び視線推定を実行するための十分な数のグリントが現フレームで正常に追跡又は検出されるかどうかを判定するためにチェックすることができる。650で、結果が信頼できない場合、追跡状態は要素660でいいえに設定され、方法は要素610に戻り、ユーザの目の次の画像を処理する。650で、結果が信頼できる場合、方法は要素670に進む。670で、追跡状態は、はいに設定され(まだはいではない場合)、瞳孔及びグリント情報が要素680に渡されて、ユーザの視点を推定する。
図6は、特定の実施で使用され得るアイトラッキング技術の一例として機能することを意図している。当業者によって認識されるように、現在存在するか、又は将来開発される他のアイトラッキング技術は、様々な実施形態によるXR体験をユーザに提供するためにコンピュータシステム101において、本明細書に記載されるグリント支援アイトラッキング技術の代わりに、又はそれと組み合わせて使用することができる。
いくつかの実施形態では、現実世界環境602のキャプチャされた部分は、XR体験、例えば、1つ以上の仮想オブジェクトが現実世界環境602の表現の上に重ね合わされる複合現実環境をユーザに提供するために使用される。
したがって、本明細書の説明は、現実世界オブジェクトの表現及び仮想オブジェクトの表現を含む三次元環境(例えば、XR環境)のいくつかの実施形態を説明する。例えば、三次元環境は、任意選択的に、(例えば、コンピュータシステムのカメラ及びディスプレイを介して能動的に、又はコンピュータシステムの透明若しくは半透明のディスプレイを介して受動的に)三次元環境内でキャプチャされ、表示される、物理的環境内に存在するテーブルの表現を含む。上述のように、三次元環境は、任意選択的に、三次元環境がコンピュータシステムの1つ以上のセンサによってキャプチャされ、表示生成構成要素を介して表示される物理的環境に基づく複合現実システムである。複合現実システムとして、物理的環境のそれぞれの部分及び/又はオブジェクトが、コンピュータシステムによって表示される三次元環境内に存在するかのように見えるように、コンピュータシステムは、任意選択的に、物理的環境の部分及び/又はオブジェクトを選択的に表示することができる。同様に、現実世界において、対応するロケーションを有する三次元環境内のそれぞれのロケーションに仮想オブジェクトを配置することによって、仮想オブジェクトが現実世界(例えば、物理的環境)内に存在するかのように見えるように、コンピュータシステムは、任意選択的に、三次元環境内の仮想オブジェクトを表示することができる。例えば、コンピュータシステムは、任意選択的に、現実の花瓶が物理的環境内のテーブルの上に配置されているかのように見えるように、花瓶を表示する。いくつかの実施形態では、三次元環境内の個別のロケーションは、物理的環境内で、対応するロケーションを有する。したがって、コンピュータシステムが、物理的オブジェクトに対して個別のロケーション(例えば、ユーザの手のロケーション、若しくはその付近の、又は物理的テーブルに、若しくはその付近など)に、仮想オブジェクトを表示するものとして説明されるとき、コンピュータシステムは、仮想オブジェクトが物理的世界内の物理的オブジェクトに、又はその付近にあるかのように見えるように、三次元環境内の特定のロケーションに仮想オブジェクトを表示する(例えば、仮想オブジェクトが、その特定のロケーションにある現実のオブジェクトであるとする場合に、仮想オブジェクトが表示されたであろう物理的環境内のロケーションに対応する三次元環境内のロケーションに、仮想オブジェクトは表示される)。
いくつかの実施形態では、三次元環境内に表示される物理的環境内に存在する現実世界オブジェクト(例えば、及び/又は表示生成構成要素を介して可視である現実世界オブジェクト)は、三次元環境内にのみ存在する仮想オブジェクトと相互作用することができる。例えば、三次元環境は、テーブルと、テーブルの上に配置された花瓶と、を含むことができ、テーブルは、物理的環境内の物理的テーブルのビュー(又は表現)であり、花瓶は、仮想オブジェクトである。
同様に、仮想オブジェクトが、物理的環境内の現実のオブジェクトであるかのように、ユーザは、任意選択的に、1つ以上の手を使用して三次元環境内の仮想オブジェクトと相互作用することができる。例えば、上述のように、コンピュータシステムの1つ以上のセンサは、任意選択的に、ユーザの手のうちの1つ以上をキャプチャし、三次元環境内のユーザの手の表現を(例えば、上述の三次元環境内の現実世界オブジェクトを表示するのと同様の方法で)表示する、あるいは、いくつかの実施形態では、ユーザインタフェース、又は透明/半透明表面へのユーザインタフェースの投影、又はユーザの目若しくはユーザの目の視野へのユーザインタフェースの投影を表示している表示生成構成要素の一部の透明性/半透明性に起因して、ユーザの手は、ユーザインタフェースを通して物理的環境を見る能力によって、表示生成構成要素を介して可視である。したがって、いくつかの実施形態では、ユーザの手は、三次元環境内の個別のロケーションに表示され、それらが、物理的環境内の実際の物理的オブジェクトであるかのように、三次元環境内の仮想オブジェクトと相互作用できる三次元環境内のオブジェクトであるかのように、処理される。いくつかの実施形態では、コンピュータシステムは、物理的環境におけるユーザの手の移動と併せて、三次元環境におけるユーザの手の表現の表示を更新することができる。
以下に説明される実施形態のうちのいくつかでは、例えば、物理的オブジェクトが、仮想オブジェクトと直接相互作用しているかどうか(例えば、手が、仮想オブジェクトを、触れているか、掴んでいるか、又は保持しているか、又は仮想オブジェクトからの閾値距離内にあるかどうか)を判定する目的で、コンピュータシステムは、任意選択的に、物理的世界内の物理的オブジェクトと三次元環境内の仮想オブジェクトとの間の「有効」距離を判定することができる。例えば、仮想オブジェクトと直接相互作用する手は、任意選択的に、仮想ボタンを押す手の指、仮想花瓶を掴むユーザの手、一緒になってアプリケーションのユーザインタフェースをピンチする/保持するユーザの手の2本の指、及び本明細書で説明される他のタイプの相互作用のいずれかのうちの1つ以上を含む。例えば、ユーザが仮想オブジェクトと相互作用しているか否か、及び/又はユーザが仮想オブジェクトとどのように相互作用しているかを判定するときに、コンピュータシステムは、任意選択的にユーザの手と仮想オブジェクトとの間の距離を判定する。いくつかの実施形態では、コンピュータシステムは、三次元環境内の手のロケーションと、三次元環境内の対象の仮想オブジェクトのロケーションとの間の距離を判定することによって、ユーザの手と仮想オブジェクトとの間の距離を判定する。例えば、ユーザの1つ以上の手は、物理的世界内の特定のポジションに位置し、これは、コンピュータシステムが、任意選択的に、三次元環境内の特定の対応するポジション(例えば、手が物理的な手ではなく仮想的な手である場合に、手が表示された三次元環境内のポジション)において、キャプチャして表示する。三次元環境内の手のポジションは、任意選択的に、ユーザの1つ以上の手と仮想オブジェクトとの間の距離を判定するために、三次元環境内の対象の仮想オブジェクトのポジションと比較される。いくつかの実施形態では、コンピュータシステムは、任意選択的に、(例えば、三次元環境内のポジションを比較することとは対照的に)物理的世界内のポジションを比較することによって、物理的オブジェクトと仮想オブジェクトとの間の距離を判定する。例えば、ユーザの1つ以上の手と仮想オブジェクトとの間の距離を判定するとき、コンピュータシステムは、任意選択的に、仮想オブジェクトの物理的世界内の対応するロケーション(例えば、仮想オブジェクトが、仮想オブジェクトではなく物理的オブジェクトであるとする場合に、仮想オブジェクトが、物理的世界内に位置するであろうポジション)を判定し、次いで、対応する物理的ポジションとユーザの1つ以上の手との間の距離を判定する。いくつかの実施形態では、任意の物理的オブジェクトと任意の仮想オブジェクトとの間の距離を判定するために、同じ技法が、任意選択的に使用される。したがって、本明細書に説明されるように、物理的オブジェクトが仮想オブジェクトと接触しているか否か、又は物理的オブジェクトが仮想オブジェクトの閾値距離内にあるか否か、を判定するとき、コンピュータシステムは、任意選択的に、物理的オブジェクトのロケーションを三次元環境にマッピングするために、及び/又は仮想オブジェクトのロケーションを物理的環境にマッピングするために、上述の技術のいずれかを実行する。
いくつかの実施形態では、同じ又は同様の技術を使用して、ユーザの視線が、どこに向けられ、何に向けられているか、及び/又はユーザによって保持された物理的スタイラスが、どこに向けられ、何に向けられているか、を判定する。例えば、ユーザの視線が物理的環境内の特定のポジションに向けられている場合、コンピュータシステムは、任意選択的に、三次元環境内の対応するポジション(例えば、視線の仮想ポジション)を判定し、仮想オブジェクトがその対応する仮想ポジションに位置する場合、コンピュータシステムは、任意選択的に、ユーザの視線が、その仮想オブジェクトに向けられていると判定する。同様に、コンピュータシステムは、任意選択的に、物理的スタイラスの向きに基づいて、スタイラスが物理的環境のどこを指しているかを判定することができる。いくつかの実施形態では、この判定に基づいて、コンピュータシステムは、スタイラスが指している物理的環境内のロケーションに対応する三次元環境内の対応する仮想ポジションを判定し、任意選択的に、スタイラスが三次元環境内の対応する仮想ポジションを指していると判定する。
同様に、本明細書で説明される実施形態は、ユーザ(例えば、コンピュータシステムのユーザ)のロケーション、及び/又は三次元環境内のコンピュータシステムのロケーションを指してもよい。いくつかの実施形態では、コンピュータシステムのユーザは、コンピュータシステムを保持している、装着している、又は他の方法でコンピュータシステムに位置している、若しくはその付近にある。したがって、いくつかの実施形態では、コンピュータシステムのロケーションは、ユーザのロケーションのプロキシとして使用される。いくつかの実施形態では、物理的環境内のコンピュータシステム及び/又はユーザのロケーションは、三次元環境内の個別のロケーションに対応する。例えば、ユーザが、表示生成構成要素を介して可視である物理的環境の個別の部分に面するロケーションに立った場合、コンピュータシステムのロケーションは、ユーザが、物理的環境内のオブジェクトを、オブジェクトが三次元環境内のコンピュータシステムの表示生成構成要素を介して可視であるのと同じポジション、向き、及び/又はサイズで(例えば、絶対的に及び/又は互いに対して)見ることになる、物理的環境内のロケーション(及び三次元環境内のその対応するロケーション)である。同様に、三次元環境内に表示された仮想オブジェクトが、物理的環境内の物理的オブジェクトであった(例えば、仮想オブジェクトが、三次元環境内と同じ物理的環境内のロケーションに配置され、三次元環境内と同じ物理的環境内のサイズ及び向きを有する)場合、コンピュータシステム及び/又はユーザのロケーションは、ユーザが、物理的環境内の仮想オブジェクトを、三次元環境内のコンピュータシステムの表示生成構成要素によって表示されたのと同じポジション、向き、及び/又はサイズで(例えば、絶対的に、及び/又は互いに対して、並びに現実世界オブジェクトにおいて)見ることになるポジションである。
本開示では、コンピュータシステムとの相互作用に関して、様々な入力方法が説明される。一例が1つの入力デバイス又は入力方法を使用して提供され、別の例が別の入力デバイス又は入力方法を使用して提供される場合、各例は、別の例に関して記載された入力デバイス又は入力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な出力方法が、コンピュータシステムとの相互作用に関して説明される。一例が1つの出力デバイス又は出力方法を使用して提供され、別の例が別の出力デバイス又は出力方法を使用して提供される場合、各例は、別の例に関して記載された出力デバイス又は出力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な方法が、コンピュータシステムを介した仮想環境又は複合現実環境との相互作用に関して説明される。一例が仮想環境との相互作用を使用して提供され、別の例が複合現実環境を使用して提供される場合、各例は、別の例に関して説明された方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。したがって、本開示は、各例示的な実施形態の説明における実施形態の全ての特徴を網羅的に列挙することなく、複数の例の特徴の組み合わせである実施形態を開示する。
ユーザインタフェース及び関連する処理
ここで、ユーザインタフェース(「UI」)の実施形態、及び、表示生成構成要素、1つ以上の入力デバイス、及び(任意選択的に)1つ又は複数のカメラを備えた、ポータブル多機能デバイス又はヘッドマウントデバイスなどのコンピュータシステムにおいて実行され得る関連処理に注目する。
図7A~図7Fは、いくつかの実施形態による、ユーザの視点に仮想コンテンツを選択的に再中心化するコンピュータシステムの例を示す。
図7Aは、コンピュータシステム101の表示生成構成要素(例えば、図1の表示生成構成要素120)を介して可視である三次元環境702を示し、三次元環境702は、(例えば、コンピュータシステム101が位置する物理的環境の後壁に面し、物理的環境の左下隅の近くの)俯瞰図に示すユーザの視点726aから可視である。図1~図6を参照して上述したように、コンピュータシステム101は、任意選択的に、表示生成構成要素(例えば、タッチスクリーン)と、複数の画像センサ(例えば、図3の画像センサ314)と、を含む。画像センサは、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又はユーザがコンピュータシステム101と相互作用する間にユーザ若しくはユーザの一部(例えば、ユーザの1つ以上の手)の1つ以上の画像をキャプチャするためにコンピュータシステム101が使用することができるであろう任意の他のセンサのうちの1つ以上を含む。いくつかの実施形態では、以下に図示及び説明されるユーザインタフェースはまた、ユーザインタフェース又は三次元環境をユーザに表示する表示生成構成要素と、物理的環境及び/又はユーザの手の移動(例えば、ユーザから外向きに面する外部センサ)、かつ/又はユーザの視線(例えば、ユーザの顔に向かって内向きに面する内部センサ)を検出するためのセンサとを含む、ヘッドマウントディスプレイ上に実現され得る。
図7Aに示すように、コンピュータシステム101は、コンピュータシステム101の周囲の物理的環境内の1つ以上のオブジェクトを含む、コンピュータシステム101の周囲の物理的環境(例えば、動作環境100)の1つ以上の画像をキャプチャする。いくつかの実施形態では、コンピュータシステム101は、三次元環境702内の物理的環境の表現を表示し、及び/又は物理的環境は、表示生成構成要素120を介して三次元環境702内で可視である。例えば、表示生成構成要素120を介して可視である三次元環境702は、コンピュータシステム101が配置されている部屋の物理的な床並びに後壁及び側壁の表現を含む。三次元環境702は、図7Aのユーザの視点726aから表示生成構成要素120を介して不可視であるソファ724b(俯瞰図に示す)も含む。
図7Aでは、三次元環境702はまた、視点726aから可視である仮想オブジェクト712a(俯瞰図内のオブジェクト712bに対応する)及び714a(俯瞰図内のオブジェクト714bに対応する)を含む。三次元環境702はまた、図7Aのユーザの視点726aから表示生成構成要素120を介して不可視である仮想オブジェクト710b(俯瞰図に示す)を含む。図7Aにおいて、オブジェクト712a、714a及び710bは二次元オブジェクトである。本開示の例は、任意選択的に、三次元オブジェクトに等しく適用されることが理解される。仮想オブジェクト712a、714a及び710bは、任意選択的に、アプリケーションのユーザインタフェース(例えば、メッセージングユーザインタフェース、又はコンテンツブラウジングユーザインタフェース)、三次元オブジェクト(例えば、仮想時計、仮想ボール、又は仮想車)、又はコンピュータシステム101の物理的環境に含まれないコンピュータシステム101によって表示される任意の他の要素のうちの1つ以上である。
いくつかの実施形態では、ユーザの特定の以前の視点(又は複数の以前の視点)から最後に配置又は再配置された仮想オブジェクトは、以下でより詳細に説明されるように、ユーザの新しい現在の視点に再中心化され得る。例えば、図7Aでは、仮想オブジェクト712a、714a、及び710aは、ユーザの視点726aからの俯瞰図に反映されるように、三次元環境702内のそれらの現在のロケーション及び/又は向きに配置及び/又は位置付けられた。更に、仮想オブジェクト712aは、図7Aに示すように、物理的環境の後壁にスナップ留め又は固定されている。方法800を参照してより詳細に説明されるように、仮想オブジェクトは、任意選択的に、ユーザ入力に応じて、三次元環境702内の物理的オブジェクトの閾値距離(例えば、0.1、0.3、0.5、1、3、5、10、20、50、又は100cm)内のロケーションに移動されたことに応じて、物理的オブジェクトにスナップ留め又は固定される。更に、いくつかの実施形態では、コンピュータシステム101は、仮想オブジェクトが物理的オブジェクトにスナップ留め又は固定されていることを示す視覚的インジケーションを三次元環境702に表示する。例えば、図7Aでは、コンピュータシステム101は、仮想オブジェクト712a(例えば、物理的オブジェクトにスナップ留め又は固定された仮想オブジェクト)によって生成されたかのように、物理的環境の部屋の後壁上に仮想ドロップシャドウ713を表示している。いくつかの実施形態では、コンピュータシステム101は、仮想オブジェクト714aのためのそのような視覚的インジケーションを表示しないが、それは、任意選択的に、物理的オブジェクトにスナップ留めされないか、又は固定されないためである。
図7Bでは、三次元環境702内のユーザの視点726aは、俯瞰図に示すように物理的環境の部屋の後壁及び左壁から更に離れ、部屋の中心により近づくように変化している。俯瞰図における視点726bは、図7Aに示すユーザの以前の視点に対応する。ユーザの視点726aは、任意選択的に、ユーザの物理的環境内でユーザが物理的環境内の部屋の中心に向かって移動することを含めて、方法800を参照して説明される方法で変化する。図7Bのユーザの視点726aは、依然として部屋の後壁の方に向けられている。
図7Bに示す視点726aから、(図7Aを参照して説明されるように、視点726bから三次元環境702内に最後に配置又は位置付けられた)仮想オブジェクト710a、712a、及び714aは、視点726aからより遠い距離から、三次元環境702内のそれらの同じロケーション及び/又は向きで表示される。更に、ユーザは、図7Bの視点726aから三次元環境702内に仮想オブジェクト706a(俯瞰図内の706bに対応する)及び708a(俯瞰図内の708bに対応する)を配置又は位置付けている。
図7Bでは、コンピュータシステム101は、方法800を参照してより詳細に説明されるように、1つ以上の仮想オブジェクトをユーザの視点726aに再中心化する入力(例えば、コンピュータシステム101の物理的ボタンの選択)を検出する。いくつかの実施形態では、仮想オブジェクト706a及び708aは、それらの仮想オブジェクトがユーザの現在の視点726aから三次元環境内に最後に配置又は再配置されたので、入力に応じて三次元環境702内で移動しない。しかしながら、ユーザの以前の視点(単数又は複数)(例えば、視点726b)から三次元環境702内に最後に配置又は再配置された1つ以上の仮想オブジェクトは、以下で説明され、方法800を参照してより詳細に説明されるように、任意選択的に、視点726aに再中心化される。
例えば、図7Cは、図7Bに示す入力の例示的な結果を示す。図7Cでは、オブジェクト706a及び708aは、再中心化入力に応じて、三次元環境702内のそれらのロケーション及び/又は向きに留まっている。オブジェクト712aは、以前の視点726bから三次元環境702内に最後に配置又は再配置されているにもかかわらず、オブジェクト712aがコンピュータシステム101の物理的環境の後壁にスナップ留め又は固定されているので、やはり再中心化入力に応じて三次元環境702内のそのロケーション及び/又は向きに留まっている。
対照的に、オブジェクト710b及び714aは、ユーザの視点726aに再中心化されている。いくつかの実施形態では、視点726aに対するオブジェクト710b及び714aの相対ロケーション及び/又は向きは、視点726bに対するオブジェクト710b及び714aの相対ロケーション及び/又は向きと同じである。例えば、オブジェクト714aは、任意選択的に、図7Cの視点726aに対して図7Aの場合と同じロケーションに表示される。更に、オブジェクト710bは、任意選択的に、図7Aでそうであったように、図7Cの視点726aから不可視である。更に、オブジェクト710b及び714aの互いに対する空間配置も、任意選択的に、再中心化入力の前後で維持される。再中心化入力に応答したオブジェクト710b及び714aの移動についての更なる詳細は、方法800を参照して説明される。このようにして、ユーザの以前の視点に関連付けられた仮想オブジェクトは、それらの仮想オブジェクトとの相互作用及び/又はそれらの仮想オブジェクトの可視性を促進するために、ユーザの現在の視点に容易に移動されることができる。
いくつかの実施形態では、シミュレートされた環境はまた、仮想オブジェクトがそのような視点に再中心化される方法と同様の方法で、ユーザの新しい現在の視点に再中心化されることができる。例えば、図7Dにおいて、ユーザの視点726aは、俯瞰図に示す通りである。ユーザは、図7Dに示すように、視点726aから三次元環境702内の現在のポジション及び/又は向きに仮想オブジェクト706a及び708aを配置又は再配置するための入力を提供している。更に、ユーザは、コンピュータシステムに視点726aからシミュレートされた環境703を表示させるための入力を提供している。シミュレートされた環境703は、任意選択的に、俯瞰図に示すように、三次元環境702の一部を消費する。シミュレートされた環境703についての更なる詳細は、方法800を参照して説明される。
図7Eでは、視点726aは、俯瞰図に示すものに変化している(例えば、物理的環境において、下に移動し、後壁ではなく左壁に向けられている)。視点726aは、任意選択的に、以前に説明されたように及び/又は方法800を参照して説明されるように移動する。仮想オブジェクト706a及び708aは、もはや表示生成構成要素120を介して不可視である。更に、いくつかの実施形態では、コンピュータシステム101は、俯瞰図に示すように、ユーザの視点726aの移動に応じて、シミュレートされた環境703を三次元環境702から除去する。いくつかの実施形態では、コンピュータシステム101は、ユーザの視点726aの移動に応じて、シミュレートされた環境703を三次元環境702内に維持するが、シミュレートされた環境703は、もはやユーザの現在の視点726aからの三次元環境702の視野内にはない。図7Eでは、仮想オブジェクト706b及び708bも、ユーザの現在の視点726aからの三次元環境702の視野内にない。
図7Eにおいて、コンピュータシステム101は、少なくとも2つの異なる入力を検出することができる。すなわち1)再中心化入力(例えば、前述のような)、又は2)三次元環境702が表示される没入レベルを上げるための入力。没入及び没入レベルは、方法800を参照してより詳細に説明される。再中心化入力は、任意選択的に、入力要素(例えば、以下で説明するように、回転可能でもある押し下げ可能なダイヤル)の押し下げである。没入レベルを増加させるための入力は、任意選択的に、特定の方向への入力要素の回転である。上記の入力に関する追加の詳細は、方法800を参照して提供される。コンピュータシステム101は、以下で説明するように、任意選択的に、上記の2つの入力に対して異なって応答する。
図7Fは、先に図7Eを参照して説明される再中心化入力の続きを示している。図7Fでは、オブジェクト706a及び708aは、ユーザの視点726aに再中心化されている。いくつかの実施形態では、図7Fの視点726aに対するオブジェクト706a及び708aの相対ロケーション及び/又は向きは、図7Dの視点726aに対するオブジェクト706a及び708aの相対ロケーション及び/又は向きと同じである。例えば、オブジェクト706aは、任意選択的に、図7Fの視点726aに対して、図7Dの場合と同じロケーションに表示される。更に、オブジェクト706a及び708aの互いに対する相対的な空間配置も、任意選択的に、再中心化入力の前後で維持される。再中心化入力に応答したオブジェクト706a及び708aの移動についての更なる詳細は、方法800を参照して説明される。
再中心化入力に応じてオブジェクト706a及び708aが図7Fの視点726aに再中心化されることに加えて、コンピュータシステム101は、シミュレートされた環境703を三次元環境702に再表示する。図7Fに示すように、コンピュータシステム101は、図7Dとは異なる三次元環境702内のポジションにシミュレートされた環境703を配置している(例えば、三次元環境702の異なる部分を占有している)。いくつかの実施形態では、シミュレートされた環境703のポジション及び/又は向きは、図7Fの視点726aのロケーション及び/又は向きに基づく。例えば、シミュレートされた環境703は、任意選択的に、図7Dの視点726aからの距離と同じ図7Fの視点726aからの距離に配置される。追加的又は代替的に、シミュレートされた環境703は、任意選択的に、図7Fの視点726aを中心とし、及び/又は図7Fの視点726aに向けられる(例えば、視点726aの向きはシミュレートされた環境703の中心に向けられ、及び/又はシミュレートされた環境703の向きは視点726aに向けられる)。再中心化入力に応答したシミュレートされた環境703の表示に関する更なる詳細は、方法800を参照して提供される。
再中心化入力とは対照的に、図7Eのコンピュータシステム101が、コンピュータシステムが三次元環境702を表示していた没入レベルを増加させる入力を検出した場合、コンピュータシステム101は、上述した方法でシミュレートされた環境703を任意選択的に再表示するが、仮想オブジェクト706a及び708aは、任意選択的に、図7Fの視点726aに再中心化されない。例えば、オブジェクト706a及び708aは、任意選択的に、図7Eに示す三次元環境におけるそれらのポジション及び/又は向きに留まっている。三次元環境702の没入レベルを増加させるためのそのような入力の検出に対するコンピュータシステム101の応答の更なる詳細は、方法800を参照して提供される。
図8A~図8Iは、いくつかの実施形態による、仮想コンテンツをユーザの視点に選択的に再中心化する例示的な方法を示すフローチャートである。いくつかの実施形態では、方法800は、表示生成構成要素(例えば、図1、図3、かつ図4の表示生成構成要素120)(例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、又はプロジェクタ)と、1つ以上のカメラ(例えば、ユーザの手の下方を指すカメラ(例えば、カラーセンサ、赤外線センサ、かつ他の深度感知カメラ)又はユーザの頭部から前方を指すカメラ)とを含むコンピュータシステム(例えば、タブレット、スマートフォン、ウェアラブルコンピュータ、又はヘッドマウントデバイスなどの図1のコンピュータシステム101)で実行される。いくつかの実施形態では、方法800は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1Aの制御ユニット110)など、コンピュータシステムの1つ以上のプロセッサによって実行される命令によって実行される。方法800の一部の動作は、任意選択的に組み合わされ、及び/又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法800は、表示生成構成要素及び1つ以上の入力デバイスと通信するコンピュータシステム(例えば、101)において実行される。例えば、モバイルデバイス(例えば、タブレット、スマートフォン、メディアプレーヤ、又はウェアラブルデバイス)、又はコンピュータ又は他の電子デバイスである。いくつかの実施形態では、表示生成構成要素は、電子デバイスと一体のディスプレイ(任意選択的にタッチスクリーンディスプレイ)、ユーザインタフェースを投影するための、又はユーザインタフェースを1人以上のユーザに可視であるようにするための、モニタ、プロジェクタ、テレビ、又はハードウェア構成要素(任意選択的に一体型又は外付け)などの外部ディスプレイである。いくつかの実施形態では、1つ以上の入力デバイスは、ユーザ入力を受容する(例えば、ユーザ入力をキャプチャする、又はユーザ入力を検出する)ことができ、ユーザ入力に関連付けられた情報をコンピュータシステムに送信することができる電子デバイス又は構成要素を含む。入力デバイスの例としては、タッチスクリーン、マウス(例えば、外部)、トラックパッド(任意選択的に統合又は外部)、タッチパッド(任意選択的に統合又は外部)、リモートコントロールデバイス(例えば、外部)、別のモバイルデバイス(例えば、コンピュータシステムとは別個)、ハンドヘルドデバイス(例えば、外部)、コントローラ(例えば、外部)、カメラ、深度センサ、アイトラッキングデバイス、及び/又は動きセンサ(例えば、ハンドトラッキングデバイス、手の動きセンサ)が挙げられる。いくつかの実施形態では、コンピュータシステムは、ハンドトラッキングデバイス(例えば、1つ以上のカメラ、深度センサ、近接センサ、タッチセンサ(タッチスクリーン、トラックパッド))と通信する。いくつかの実施形態では、ハンドトラッキングデバイスは、スマートグローブなどのウェアラブルデバイスである。いくつかの実施形態では、ハンドトラッキングデバイスは、リモートコントロール又はスタイラスなどのハンドヘルド入力デバイスである。
いくつかの実施形態では、三次元環境(例えば、702)は、表示生成構成要素を介して見ることができる(例えば、三次元環境は、コンピュータシステム(例えば、仮想現実(VR)環境、複合現実(MR)環境、又は拡張現実(AR)環境などのコンピュータ生成現実(CGR)環境)によって生成され、表示され、又は他の方法で可視であるようにされる)が、三次元環境は、図7Bの視点726aに対するオブジェクト706a~714aなど、コンピュータシステムのユーザの現在の視点である三次元環境のユーザの第1の視点に対して第1の空間配置を有する第1の仮想オブジェクトを含む(例えば、第1の仮想オブジェクトは、ユーザの現在の視点からある距離にあり、ユーザの現在の視点に対してある向き(例えば、ユーザの現在の視点の上方及び右)である。いくつかの実施形態では、第1の仮想オブジェクトは、ユーザの視点がユーザの現在の視点であったかユーザの以前の視点であったかにかかわらず、コンピュータシステムのユーザによって三次元環境内のその現在のロケーションに配置された。いくつかの実施形態では、ユーザの第1の視点は、ユーザ、コンピュータシステム、及び/又は表示生成構成要素の物理的環境におけるユーザの現在のロケーション及び/又は向きに対応し、コンピュータシステムは、物理的環境におけるユーザの現在のロケーション及び/又は向きに対応する視点から三次元環境の少なくともいくつかの部分を表示する。いくつかの実施形態では、第1の仮想オブジェクトは、アプリケーションのユーザインタフェース、コンテンツの表現(例えば、画像、ビデオ、オーディオ、若しくは音楽)、オブジェクト(例えば、テント、建物、又は車)の三次元レンダリング、又はユーザの物理的環境内に存在しない任意の他のオブジェクト)であり、コンピュータシステム(例えば、101)は、1つ以上の入力デバイスを介して、図7Bで検出される入力(例えば、以下でより詳細に説明されるような「再中心化」入力、及び/又は方法1000及び/若しくは1400)などにおいて、ユーザの第1の視点に対する1つ以上の仮想オブジェクトの距離の範囲又は向きの範囲を規定する1つ以上の基準の第1のセットを満たすように、ユーザの第1の視点に対する1つ以上の仮想オブジェクトの空間配置を更新する要求に対応する第1の入力を受信する(802a)。いくつかの実施形態では、三次元環境は、アプリケーションウィンドウ、オペレーティングシステム要素、他のユーザの表現、及び/又はコンテンツアイテムなどの1つ以上の仮想オブジェクト(例えば、第1の仮想オブジェクト)を含む。いくつかの実施形態では、三次元環境は、コンピュータシステムの物理的環境における物理的オブジェクトの表現を含む。いくつかの実施形態では、物理的オブジェクトの表現は、表示生成構成要素(例えば、仮想パススルー又はビデオパススルー)を介して三次元環境に表示される。いくつかの実施形態では、物理的オブジェクトの表現は、表示生成構成要素の透明部分(例えば、真のパススルー又は実際のパススルー)を通して可視であるコンピュータシステムの物理的環境内の物理的オブジェクトのビューである。いくつかの実施形態では、コンピュータシステムは、コンピュータシステム、ユーザ、及び/又はコンピュータシステムの物理的環境内の表示生成構成要素の物理的ロケーションに対応する三次元環境内のロケーションに、ユーザの視点からの三次元環境を表示する。いくつかの実施形態では、第1の1つ以上の基準を満たすためにユーザの視点に対するオブジェクトの空間配置を更新するための要求に対応する入力は、コンピュータシステムと通信している(例えば、コンピュータシステムに組み込まれた)ハードウェアボタン、又はスイッチに向けられた入力である。いくつかの実施形態では、第1の入力は、表示生成構成要素を介して表示される選択可能オプションに向けられた入力である。いくつかの実施形態では、第1の1つ以上の基準は、仮想オブジェクトの相互作用型部分がユーザの視点に向かって方向決めされる、仮想オブジェクトがユーザの視点からの他の仮想オブジェクトのビューを妨害しない、仮想オブジェクトがユーザの視点の閾値距離(例えば、10、20、30、40、50、100、200、300、400、500、1000、又は2000センチメートル)内にある、及び/又は仮想オブジェクトが互いの閾値距離(例えば、1、5、10、20、30、40、50、100、200、300、400、500、1000、又は2000センチメートル)内にある、などのときに満たされる基準を含む。いくつかの実施形態では、第1の入力は、三次元環境内のオブジェクトを手動で移動させるための入力などの、(例えば、ユーザの視点に対する)三次元環境内の1つ以上のオブジェクトのポジションを更新することを要求する入力とは異なる。
いくつかの実施形態では、第1の入力の受信に応じて(802b)、図7Bのオブジェクト714a及び710aなどの第1の仮想オブジェクトが1つ以上の基準の第2のセットを満たすという判定に従って(例えば、以下でより詳細に説明されるように、第2の1つ以上の基準は、ユーザの視点が第1の視点とは異なる視点である間に第1の仮想オブジェクトが三次元環境において最後に配置又は移動されたとき、及び/又は第1の仮想オブジェクトが三次元環境において最後に配置又は移動された以前の視点が閾値距離(例えば、第1の視点から1、3、5、10、20、30、50、100、200、500又は1000cm)よりも大きいときに任意選択的に満たされる)、コンピュータシステム(例えば、101)は、三次元環境において、ユーザの第1の視点に対して第1の空間配置とは異なる第2の空間配置を有する第1の仮想オブジェクトを表示し、第1の仮想オブジェクトの第2の空間配置は、図7Cのオブジェクト714a及び710aなどの1つ以上の基準の第1のセットを満たす(802c)。いくつかの実施形態では、第1の仮想オブジェクトを第2の空間配置で表示することは、ユーザの第1の視点を三次元環境内の一定のロケーションに維持しながら、第1の仮想オブジェクトのロケーション(例えば、及び/又は姿勢)を更新することを含む。いくつかの実施形態では、第1の入力に応じて、コンピュータシステムは、第1の仮想オブジェクトのポジションを、必ずしもユーザの第1の視点の周りに向けられていないロケーションから、ユーザの第1の視点の周りに向けられたロケーションに更新する。
いくつかの実施形態では、第1の入力の受信に応じて(802b)、図7Bのオブジェクト706a及び708aなどの第1の仮想オブジェクトが1つ以上の基準の第2のセットを満たさないという判定に従って、コンピュータシステム(例えば、101)は、図7Cのオブジェクト706a及び708aで示されるように、ユーザの第1の視点に対する三次元環境における第1の仮想オブジェクトの第1の空間配置を維持する(802d)(例えば、三次元環境における第1の仮想オブジェクトのロケーションを変更しない)。いくつかの実施形態では、第1の仮想オブジェクトは、ユーザの現在の視点から表示生成構成要素を介して可視である。いくつかの実施形態では、第1の仮想オブジェクトは、ユーザの現在の視点から表示生成構成要素を介して不可視である。いくつかの実施形態では、コンピュータシステムは、第1の入力に応じて、三次元環境内の他の仮想オブジェクトのロケーションを同様に変更する(又は変更しない)。いくつかの実施形態では、方法800を参照して説明される入力は、エアジェスチャ入力であるか、又はエアジェスチャ入力を含む。第1の入力に応じて三次元環境内の全てではないがいくつかのオブジェクトのロケーションを変更することは、第1の入力に応じてユーザの視点に対してオブジェクトを適切に配置するのに必要な入力の数を減少させる。
いくつかの実施形態では、第1の入力が検出されると、三次元環境は、それぞれ、図7Bのオブジェクト714a及び706aなどの第1の仮想オブジェクト及び第2の仮想オブジェクトを含み(例えば、第1の仮想オブジェクトの1つ以上の特性を有する)、第2の仮想オブジェクトは、ユーザの第1の視点に対して第3の空間配置を有する(例えば、第2の仮想オブジェクトは、ユーザの現在の視点からある距離にあり、ユーザの現在の視点に対してある向きである)(804a)。
いくつかの実施形態では、第1の入力の受信に応じて、図7Cのオブジェクト714a及び706aで示されるように、第1の仮想オブジェクトはユーザの第1の視点に対して第2の空間配置を有し、第2の仮想オブジェクトはユーザに対して第3の空間配置を有する(804b)。いくつかの実施形態では、第1の仮想オブジェクトは、上述のように第1の入力に応じて再中心化されるが、第2の仮想オブジェクトは、第1の入力に応じて再中心化されない(例えば、ユーザの第1の視点に対する現在のロケーション及び/又は向きに留まる)。いくつかの実施形態では、第2の仮想オブジェクトは、その現在のロケーション及び/又は向きが1つ以上の基準の第1のセットを既に満たしているため、再中心化されない。いくつかの実施形態では、第2の仮想オブジェクトは、ユーザの第1の視点から三次元環境内に最後に配置若しくは位置付けられたか、又は物理的オブジェクトに固定されたので再中心化されず、その両方は、以下でより詳細に説明される。第1の入力に応じて三次元環境内の全てではないがいくつかのオブジェクトのロケーションを変更することは、第1の入力に応じてユーザの視点に対してオブジェクトを適切に配置するのに必要な入力の数を減少させる。
いくつかの実施形態では、1つ以上の基準の第2のセットは、(例えば、ユーザの物理的環境におけるユーザの現在の物理的ポジション又は向きに対応する)図7Bの視点726aから環境702内に最後に配置又は移動されているオブジェクト706a及び708aなどの第1の仮想オブジェクトが、ユーザの第1の視点に対する1つ以上の基準の第3のセットを満たす視点から三次元環境内に最後に配置又は移動されたときに満たされない基準を含む(806)。いくつかの実施形態では、ユーザの現在の視点(例えば、現在の視点のロケーション及び/又は向き)は、ユーザの物理的環境におけるユーザの現在のロケーション及び/又は向き(例えば、ユーザの頭部又は胴体)に対応する。いくつかの実施形態では、ユーザの第1の視点から三次元環境内(例えば、以下により詳細に説明されるように、ユーザの現在の視点の閾値距離内及び/又は閾値配向内)に最後に配置又は位置付けられた仮想オブジェクトは、第1の入力に応じて再中心化されないが、ユーザの第1の視点とは異なる視点から三次元環境内に最後に配置又は位置付けられた(又はユーザの第1の視点からロケーション及び/又は向きが十分に異なる)仮想オブジェクトは、第1の入力に応じて再中心化される。第1の入力に応じて三次元環境においてユーザの以前の視点から最後に配置又は位置付けられたオブジェクトのロケーションを変更することは、第1の入力に応じてユーザの視点に対してオブジェクトを適切に配置するために必要とされる入力の数を減少させる。
いくつかの実施形態では、1つ以上の基準の第3のセットは、オブジェクト706a及び708aが、図7Bの視点726aの閾値距離内の視点から環境702内に最後に配置又は移動された場合など、視点が第1の視点(808)の閾値距離(例えば、3、5、50、100、1000、5000、又は10000cm)内にあるときに満たされる基準を含む。したがって、いくつかの実施形態では、第1の仮想オブジェクトが三次元環境において最後に配置又は位置付けられた視点が、ユーザの現在の視点からの閾値距離よりも遠い場合、基準は満たされず、第1の仮想オブジェクトが三次元環境において最後に配置又は位置付けられた視点が、ユーザの現在の視点からの閾値距離よりも近い場合、基準は満たされる。第1の入力に応じて、三次元環境において現在の視点から比較的遠いユーザの以前の視点から最後に配置又は位置付けられたオブジェクトのロケーションを変更することは、第1の入力に応じてユーザの視点に対してオブジェクトを適切に配置するために必要とされる入力の数を減少させる。
いくつかの実施形態では、1つ以上の基準の第3のセットは、オブジェクト706a及び708aが、図7Bの視点726aの閾値配向内の視点から環境702内に最後に配置又は移動された場合など、視点が、三次元環境内の第1の視点(810)の向きの閾値配向内(例えば、1、3、5、10、20、30、45、又は90度内)である三次元環境内の向きを有するときに満たされる基準を含む。したがって、いくつかの実施形態では、第1の仮想オブジェクトが三次元環境において最後に配置又は位置付けられた視点の向きが、ユーザの現在の視点の向きから離れた閾値配向よりも大きい場合、基準は満たされず、第1の仮想オブジェクトが三次元環境において最後に配置又は位置付けられた視点の向きが、ユーザの現在の視点の向きから離れた閾値配向よりも小さい場合、基準は満たされる。第1の入力に応じて、三次元環境において現在の視点に対して相対的にオフアングルであるユーザの以前の視点から最後に配置又は位置付けられたオブジェクトのロケーションを変更することは、第1の入力に応じてユーザの視点に対してオブジェクトを適切に配置するために必要とされる入力の数を減少させる。
いくつかの実施形態では、1つ以上の基準の第2のセットは、オブジェクト712aが図7Bの部屋の後壁に固定される(例えば、壁面又はテーブル表面などのユーザの物理的環境内の物理的オブジェクトの表面に固定される)など、第1の仮想オブジェクトがユーザの物理的環境の一部に固定されるときに満たされない基準を含む(812)。いくつかの実施形態では、第1の仮想オブジェクトは、物理的オブジェクトの一部の閾値距離(例えば、0.1、0.3、0.5、1、3、5、10、20、30、又は50cm)内に第1の仮想オブジェクトを移動させるための入力をコンピュータシステムが検出したことに応じて、物理的オブジェクトの一部(例えば、表面)に固定され、これは、任意選択的に、第1の仮想オブジェクトを物理的オブジェクトの一部のロケーション及び/又は向きにスナップ留めさせる。このようにして物理的オブジェクトに固定されたオブジェクトは、任意選択的に、第1の入力に応じて再中心化されない。いくつかの実施形態では、基準は、第1の仮想オブジェクトが物理的オブジェクトに固定されていない場合に満たされる。第1の入力に応じて三次元環境内の物理的オブジェクトに固定されていないオブジェクトのロケーションを変更することは、第1の入力に応じてユーザの視点に対してオブジェクトを適切に配置するのに必要な入力の数を減少させる。
いくつかの実施形態では、三次元環境内に第1の仮想オブジェクトを表示している間(814a)、第1の仮想オブジェクトがユーザの物理的環境の一部に固定されているという判定に従って、コンピュータシステム(例えば、101)は、三次元環境内に、図7A~図7Bの仮想ドロップシャドウ713などの、第1の仮想オブジェクトが物理的環境の一部に固定されているという視覚的インジケーション(例えば、ドロップシャドウが第1の仮想オブジェクトによって物理的環境の一部に投じられたかのように物理的環境の一部に表示された第1の仮想オブジェクトの仮想ドロップシャドウ、及び/又は第1の仮想オブジェクトが物理的環境の一部に固定又はピン留めされていることを示す第1の仮想オブジェクトに関連して表示されたアイコン(例えば、ピンアイコン))を表示する(814b)。
いくつかの実施形態では、三次元環境内に第1の仮想オブジェクトを表示している間(814a)、第1の仮想オブジェクトがユーザの物理的環境の一部に固定されていないという判定に従って、コンピュータシステム(例えば、101)は、三次元環境内に、図7A~図7Bの仮想ドロップシャドウなしにオブジェクト714aを表示するなど、視覚的インジケーションを表示せずに第1の仮想オブジェクトを表示する(814c)(例えば、ドロップシャドウ及び/又はアイコンは、第1の仮想オブジェクトが物理的環境の一部に固定されない限り、又は固定されるまで表示されない)。第1の仮想オブジェクトの固定ステータスを示すことは、第1の仮想オブジェクトの状態に関するフィードバックを提供する。
いくつかの実施形態では、第1の仮想オブジェクトは、図7Bのオブジェクト710a及び714aの集合などの、1つ以上の基準の第2のセットを満たす三次元環境内の複数の仮想オブジェクトの集合の一部である(例えば、複数の仮想オブジェクトは、ユーザの同じ以前の視点から三次元環境内に最後に配置又は位置付けられた)(816a)。
いくつかの実施形態では、集合は、図7Bの視点726aに対するオブジェクト710a及び714aの集合の空間配置など、第1の入力が受信されたとき、第1の視点に対する第1の個別の空間配置を有する(816b)。
いくつかの実施形態では、第1の入力の受信に応じて、集合は、図7Cの視点726aに対するオブジェクト710a及び714aの集合の空間配置など、第1の視点に対する第1の個別の空間配置とは異なる第2の個別の空間配置で表示され(例えば、複数の仮想オブジェクトの集合は、第1の入力に応じてグループとして再中心化され(例えば、移動及び/又は再配向され))、第1の入力が受信された後の第1の視点に対する集合内の複数の仮想オブジェクトの空間配置は、1つ以上の基準の第1のセットを満たす(例えば、集合内の仮想オブジェクトは、1つ以上の基準の第1のセットを満たすポジション及び/又は向きに再中心化される)(816c)。いくつかの実施形態では、仮想オブジェクトは、再中心化入力に応じて、グループ内で、又はグループに基づいて再中心化される。ユーザの同じ以前の視点から三次元環境内に最後に配置又は位置付けられた仮想オブジェクトのグループは、任意選択的に、グループとして一緒に第1の視点に再中心化される(例えば、仮想オブジェクトは、それらの更新されたロケーション及び/又は向きに一緒に移動される)。いくつかの実施形態では、三次元環境は、ユーザの異なる共有された以前の視点から三次元環境内に最後に配置又は位置付けられ、第1の入力に応じて仮想オブジェクトのグループとして同時に再中心化された仮想オブジェクトの複数の異なる集合を含む。いくつかの実施形態では、三次元環境は、ユーザの第1の視点から三次元環境内に最後に配置又は位置付けられた仮想オブジェクトの集合を含み、したがって、第1の入力に応じてグループとして再中心化されない。オブジェクトのグループとして仮想オブジェクトを再中心化することは、第1の入力に応じてユーザの視点に対してオブジェクトを適切に配置するために必要とされる入力の数を減少させる。
いくつかの実施形態では、第1の入力を受信する前に、集合が第1の視点に対して第1の個別の空間配置を有する間、集合内の複数の仮想オブジェクトは、図7Bのオブジェクト710aと714aとの間の位置配置など、互いに対して個別の位置配置を有する(例えば、集合内の仮想オブジェクトは、正方形配置の頂点に配置された4つの仮想オブジェクトなど、互いに対して特定のポジションを有する)(818a)。
いくつかの実施形態では、第1の入力を受信した後、集合が第1の視点に対して第2の個別の空間配置を有する間、集合内の複数の仮想オブジェクトは、図7Cのオブジェクト710aと714aとの間の位置配置など、互いに対して個別の位置配置を有する(818b)。例えば、仮想オブジェクトの集合内の仮想オブジェクトの相対ポジションは、仮想オブジェクトの集合が第1の入力に応じて三次元環境内で再配置及び/又は再配向されても、第1の入力に応じて維持される(例えば、正方形配置は三次元環境内で異なるポジション及び/又は向きを有するが、4つの仮想オブジェクトは、第1の入力に応じて同じ正方形配置の頂点に配置されたままである)。集合内の仮想オブジェクトの位置配置を維持することは、第1の入力に応じてユーザの視点に対してオブジェクトを適切に配置するために必要とされる入力の数を減少させる。
いくつかの実施形態では、第1の入力を受信する前に、集合が第1の視点に対して第1の個別の空間配置を有する間、集合内の複数の仮想オブジェクトは、図7Bのオブジェクト710aと714aとの間の配向配置など、互いに対して個別の配向配置を有する(例えば、集合内の仮想オブジェクトは、仮想オブジェクトが互いに平行になるように配向されている4つの仮想オブジェクトなど、互いに対して特定の向きを有する)(820a)。
いくつかの実施形態では、第1の入力を受信した後、集合が第1の視点に対して第2の個別の空間配置を有する間、集合内の複数の仮想オブジェクトは、図7Cのオブジェクト710aと714aとの間の配向配置など、互いに対して個別の配向配置を有する(820b)。例えば、仮想オブジェクトの集合が第1の入力に応じて三次元環境内で再配置及び/又は再配向されても、仮想オブジェクトの集合内の仮想オブジェクトの相対向きは第1の入力に応じて維持される(例えば、仮想オブジェクトは三次元環境内で新しいポジション及び/又は向きを有するが、4つの仮想オブジェクトは互いに平行のままである)。集合内の仮想オブジェクトの配向配置を維持することは、第1の入力に応じてユーザの視点に対してオブジェクトを適切に配置するために必要とされる入力の数を減少させる。
いくつかの実施形態では、集合内の複数の仮想オブジェクトは、第1の入力が受信される前に、図7Aの視点726a又は図7Bの視点726bなど、ユーザの第1の視点とは異なるユーザの第2の視点から三次元環境内に最後に配置又は移動された(例えば、第2の視点は、前述のように、第1の入力に応じて再中心化される仮想オブジェクトの集合をもたらすのに十分に第1の視点とは異なる)(822a)。
いくつかの実施形態では、集合が第1の視点に対する第1の個別の空間配置を有する間の第2の視点に対する複数の仮想オブジェクトの平均的な向きは、図7Aの視点726aに対するオブジェクト714a及び710aの平均的な向きなどの個別の向き(822b)である。例えば、仮想オブジェクトの集合は、ユーザの第2の視点に対してそれら自体のそれぞれの向きを有する3つの仮想オブジェクトを含む(例えば、オブジェクトのうちの第1のオブジェクトは、第2の視点の中心に相対的に正面にあり、及び/又は中心にあり、オブジェクトのうちの第2のオブジェクトは、第2の視点の中心の右に約45度であり、オブジェクトのうちの第3のオブジェクトは、第2の視点の中心の右に約60度であった)。それぞれの仮想オブジェクトの相対的な向きは、任意選択的に、ユーザが最後に第2の視点からそれぞれの仮想オブジェクトを配置又は位置付けられたときのユーザの肩、頭部、及び/又は胸の向きに対するものであり、及び/又はそれに対応する。いくつかの実施形態では、上記の向きの平均は、上述の3つの仮想オブジェクトの向きの平均である。
いくつかの実施形態では、集合は、第1の入力を受信したことに応じて、第1の視点に対する第2の個別の空間配置を有する間、集合は、図7Cの視点726aに対するオブジェクト714a及び710aの平均的な向きなど、ユーザの第1の視点に対する個別の向きを有する(822c)。例えば、第1の入力に応じて第1の視点に再中心化された仮想オブジェクトのグループ又は集合は、(例えば、それらのオブジェクトが三次元環境内に最後に配置又は位置付けられたとき)第2の視点に対する仮想オブジェクトの集合内の仮想オブジェクトの相対向きの平均に対応する第1の視点に対する向きで三次元環境内に配置される。したがって、第2の視点に対する仮想オブジェクトの平均的な向きが、第2の視点の中心線の右に30度であった場合、仮想オブジェクトの集合は、任意選択的に、第1の視点の中心線の右に30度に配向/配置される(例えば、集合内の仮想オブジェクトの相対ポジション及び/又は向きは、不変のままである)。第1の視点に対して平均的な向きで仮想オブジェクトの集合を配置することは、第1の入力に応じてユーザの視点に対してオブジェクトを適切に配置するために必要とされる入力の数を減少させる。
いくつかの実施形態では、第1の仮想オブジェクトは、第1の入力が受信される前に、図7Aの視点726a又は図7Bの視点726bなど、ユーザの第1の視点とは異なるユーザの第2の視点から三次元環境内に最後に配置又は移動された(例えば、第2の視点は、前述のように、第1の入力に応じて再中心化される仮想オブジェクトの集合をもたらすのに十分に第1の視点とは異なる)(824a)。
いくつかの実施形態では、第1の仮想オブジェクトは、ユーザの第1の視点に対して第1の空間配置を有するが、第1の仮想オブジェクトは、図7Aの視点726aからのオブジェクト714aの距離などの、第2の視点からの第1の距離(例えば、第1の視点からの異なる距離)である(824b)。
いくつかの実施形態では、第1の仮想オブジェクトは、ユーザの第1の視点に対して第2の空間配置を有するが、第1の仮想オブジェクトは、図7Cの視点726aからのオブジェクト714aの距離などの、第1の視点からの第1の距離(例えば、第2の視点からの異なる距離)である(824c)。したがって、いくつかの実施形態では、仮想オブジェクトが再中心化されると、ユーザの現在の視点からのそれらの距離(単数又は複数)は、それらの仮想オブジェクトが三次元環境において最後に配置又は位置付けられたユーザの以前の視点からのそれらの距離(単数又は複数)に基づく(例えば、同じである)。ユーザの以前の視点からの以前の距離に対応する視点からの距離に再中心化された仮想オブジェクトを配置することは、第1の入力に応じてユーザの視点に対してオブジェクトを適切に配置するために必要とされる入力の数を減少させる。
いくつかの実施形態では、第1の入力が受信される前に、第1の仮想オブジェクトは、図7Bのオブジェクト714aのロケーションなどの三次元環境内の第1のロケーションに位置し、第1の仮想オブジェクトは、三次元環境内に第1の仮想オブジェクトを再位置決めするための入力が受信されるまで、三次元環境内の第1のロケーションに留まる(826)。いくつかの実施形態では、第1の仮想オブジェクトは、再中心化のための入力が受信されるまで、又は三次元環境において第1の仮想オブジェクトを移動させるための入力(例えば、再中心化入力とは別個に、個別に)が受信されるまで、三次元環境におけるそのロケーションに留まる(例えば、再中心化されない)。いくつかの実施形態では、ユーザの視点を変更するための入力などの他の入力は、第1の仮想オブジェクトに三次元環境内のそのロケーションを変更させない。再中心化入力が受信されない場合、三次元環境における第1の仮想オブジェクトのポジション及び/又は向きを維持することは、第1の入力に応じてユーザの視点に対してオブジェクトを適切に配置するために必要とされる入力の数を減少させる。
いくつかの実施形態では、第1の入力を受信する前に、図7Dの視点726aから配置されたオブジェクト708aなど第1の仮想オブジェクトは、ユーザの第1の視点とは異なるユーザの第2の視点から三次元環境内に最後に配置又は移動された(828a)。
いくつかの実施形態では、第1の入力を受信する前に(828b)、三次元環境がユーザの第2の視点から表示生成構成要素を介して可視であった間に、コンピュータシステム(例えば、101)は、表示生成構成要素を介して、図7Dのシミュレートされた環境703などのシミュレートされた環境及び第1の仮想オブジェクトを表示する(828c)。例えば、ユーザの視点が第2の視点であった間に、ユーザは、ユーザの第2の視点から可視である三次元環境にシミュレートされた環境を表示するためにコンピュータシステムに入力を提供した。いくつかの実施形態では、シミュレートされた環境は、表示生成構成要素を介して可視である三次元環境の一部を占有する。
いくつかの実施形態では、第1の入力を受信する前に(828b)、三次元環境にシミュレートされた環境を表示している間に、コンピュータシステム(例えば、101)は、図7Dから図7Eなどの第2の視点から第1の視点へのユーザの視点の移動(例えば、第2の視点から第1の視点へのユーザの視点の移動に対応するユーザの物理的環境におけるユーザの移動及び/又は向きの変化)を検出する(828d)。
いくつかの実施形態では、第1の入力を受信する前に(828b)、第2の視点から第1の視点へのユーザの視点の移動を検出したことに応じて、コンピュータシステム(例えば、101)は、図7Eの俯瞰図に示すように、第1の仮想オブジェクトを三次元環境に維持し(例えば、三次元環境における第1の仮想オブジェクトのロケーション及び/又は向きを維持し)、図7Eの俯瞰図においてシミュレートされた環境703が存在しない状態で示されるように、シミュレートされた環境の少なくとも一部(又は全部)を三次元環境に含めることを停止する(828e)(例えば、シミュレートされた環境は三次元環境に存在しなくなる)。いくつかの実施形態では、第2の視点から第1の視点への視点の変化は、(例えば、1つ以上の基準の第3のセットに関して前述したように)コンピュータシステムがユーザの視点の変化に応じてシミュレートされた環境を三次元環境に含めることを停止するのに十分に大きくなければならない。いくつかの実施形態では、シミュレートされた環境は、ユーザの視点の変化に応じて三次元環境内に留まるが、(例えば、シミュレートされた環境がユーザの視野外にあるため)もはや表示生成構成要素を介して不可視である。シミュレートされた環境の包含を停止することは、コンピュータシステムに、三次元環境におけるリソース使用量及びクラッタを自動的に減少させる。
いくつかの実施形態では、図7Eのようにユーザの視点が第1の視点である間に第1の入力を受信したことに応じて、コンピュータシステム(例えば、101)は、図7Fのように(例えば、任意選択的に、以下で説明するように、三次元環境の没入レベルを変更することなく)、三次元環境内の第1の視点からシミュレートされた環境を表示する(830)。いくつかの実施形態では、シミュレートされた環境は、三次元環境内の第1の視点に再表示及び/又は再中心化される(例えば、シミュレートされた環境が三次元環境に表示される新しいロケーション及び/又は向きは、シミュレートされた環境がユーザの第2の視点から最後に表示された三次元環境内のロケーション及び/又は向きとは異なる)。例えば、シミュレートされた環境が、ユーザの物理的な部屋の第1の壁に面し、三次元環境の第1の部分を占有して最後に表示された場合、シミュレートされた環境が第1の視点から再表示されるとき、シミュレートされた環境は、ユーザの物理的な部屋の第2の壁(第1の壁とは異なる)に面し、三次元環境の第2の部分(第1の部分とは異なる)を占有している。シミュレートされた環境は、任意選択的に、ユーザの第1の視点に面し、ユーザの第1の視点を中心とするように再表示される。シミュレートされた環境は、任意選択的に、前述したように、第1の仮想オブジェクトの再中心化とともに再表示及び/又は再中心化される。第1の入力に応じてシミュレートされた環境を再表示することは、三次元環境においてシミュレートされた環境を見るために必要とされる入力の数を減少させる。
いくつかの実施形態では、ユーザの視点が第1の視点である間、かつ第1の入力を受信する前に、コンピュータシステム(例えば、101)は、1つ以上の入力デバイスを介して、図7Eにおける没入度を増加させる入力を受信するなど、三次元環境の没入レベルを増加させる要求に対応する第2の入力を検出する(832a)。いくつかの実施形態では、第2の入力は、コンピュータシステムと一体化された及び/又はコンピュータシステムと通信する回転可能な機械的入力要素の回転を含む。いくつかの実施形態では、回転可能な機械的入力要素を第1の方向に回転させることは、三次元環境が表示生成構成要素を介して可視である没入レベルを増加させるための入力である。いくつかの実施形態では、回転可能な機械的入力要素を反対方向に回転させることは、三次元環境が表示生成構成要素を介して可視である没入レベルを減少させるための入力である。
いくつかの実施形態では、没入レベルは、コンピュータシステム(例えば、「仮想コンテンツ」とも呼ばれるシミュレートされた環境又は仮想オブジェクト)によって可視であるコンテンツが、仮想コンテンツの周囲/背後の背景コンテンツ(例えば、仮想コンテンツ以外のコンテンツ)を覆い隠す関連度を含み、任意選択的に、可視である背景コンテンツの項目数、及び背景コンテンツが表示される視覚的特性(例えば、色、コントラスト、不透明度)、及び/又は表示生成構成要素を介して可視であるコンテンツの角度範囲(例えば、低没入感で表示されるコンテンツの60度、中間没入感で表示されるコンテンツの120度、高没入感で表示されるコンテンツの180度)、及び/又は仮想コンテンツによって占有された表示生成構成要素を介して表示される視野の割合(例えば、低没入感で仮想コンテンツによって占有される視野の33%、中没入感で仮想コンテンツによって占有される視野の66%、高没入感で仮想コンテンツによって占有される視野の100%)を含む。いくつかの実施形態では、背景コンテンツは、仮想コンテンツが表示される背景に含まれる。いくつかの実施形態では、背景コンテンツは、ユーザインタフェース(例えば、アプリケーションに対応するコンピュータシステムによって生成されたユーザインタフェース)、仮想オブジェクト(例えば、コンピュータシステムによって生成された他のユーザのファイル又は表現)、及び/又は実オブジェクト(例えば、コンピュータシステムが表示生成構成要素を通してそれらの可視性を不明瞭化しない/妨げないため、表示生成構成要素を介して可視である、及び/又は透明若しくは半透明の表示生成構成要素を介して可視である、ユーザの視点の周囲の物理的環境内の実オブジェクトに対応するパススルーオブジェクト)を含む。いくつかの実施形態では、第1の(例えば、低い)没入レベルにおいて、背景、仮想、及び/又は現実のオブジェクトは、不明瞭化されずに可視である。例えば、没入レベルが低いシミュレートされた環境は、任意選択的に、背景コンテンツと同時に可視であり、背景コンテンツは、任意選択的に、完全な輝度、色、及び/又は半透明性で可視である。いくつかの実施形態では、第2の(例えば、高い)没入レベルにおいて、背景、仮想、及び/又は現実のオブジェクトは、不明瞭化されて(例えば、減光される、ぼかされる、又は表示から除去される)可視である。例えば、高没入レベルを有する個別のシミュレートされた環境は、背景コンテンツを同時に可視でなく(例えば、フルスクリーン又は完全没入モードで)表示される。別の例として、中間没入レベルで表示されるシミュレートされた環境は、暗くされた、ぼかされた、又は他の方法で非強調表示された背景コンテンツと同時に可視である。いくつかの実施形態では、背景オブジェクトの視覚的特性は、背景オブジェクト間で異なる。例えば、特定の没入レベルにおいて、1つ以上の第1の背景オブジェクトは、1つ以上の第2の背景オブジェクトよりも視覚的に非強調表示され(例えば、減光され、ぼかされ、透明性が増加されて可視である)、1つ以上の第3の背景オブジェクトは可視でなくなる。
いくつかの実施形態では、第2の入力を受信したことに応じて、コンピュータシステム(例えば、101)は、図7Fに示すように、三次元環境内の第1の視点からシミュレートされた環境を表示する(例えば、任意選択的に、第2の入力が受信される前よりも高い没入レベルで三次元環境を表示する)(832b)。したがって、いくつかの実施形態では、第2の入力に応じて、シミュレートされた環境は、第1の入力に応じてシミュレートされた環境を再表示及び/又は再中心化することに関して上述したのと同じ又は同様の方法で、ユーザの第1の視点に再表示及び/又は再中心化される。第2の入力に応じてシミュレートされた環境を再表示することは、三次元環境においてシミュレートされた環境を見るために必要とされる入力の数を減少させる。
一部の実施形態では、第2の入力を受信したことに応じて、電子デバイスは、図7Fのオブジェクト706a及び708aが代わりに図7Eの環境702内のそれらのロケーションに留まっていた場合(例えば、第1の仮想オブジェクトは、第2の入力に応じて三次元環境内で移動又は再配向されない)など、ユーザの第1の視点に対する三次元環境内の第1の仮想オブジェクトの第1の空間配置を維持する(834)。第2の入力に応じて第1の仮想オブジェクトを再中心化しないことは、三次元環境において仮想的要素を適切に位置決めするために必要とされる入力の数を減少させる。
いくつかの実施形態では、三次元環境は、図7Bのオブジェクト710a及び714aなど、第1の視点に対する空間配置が第1の入力の受信に応じて変更される1つ以上の仮想オブジェクトの第1のセット(例えば、これらの仮想オブジェクトは、1つ以上の基準の第3のセットを参照して説明されるように、ユーザの第1の視点とは十分に異なるユーザの以前の視点から三次元環境に最後に配置又は位置付けられたため)と、図7Bのオブジェクト706a及び708aなど、第1の視点に対する空間配置が第1の入力の受信に応じて変更されない1つ以上の仮想オブジェクトの第2のセット(例えば、これらの仮想オブジェクトは、1つ以上の基準の第3のセットを参照して説明されるように、第1の視点又はユーザの第1の視点とは十分に異ならないユーザの以前の視点から三次元環境に最後に配置又は位置付けられたため)とを含む(836a)。
いくつかの実施形態では、第1の入力を受信した後(例えば、上述した方法で仮想オブジェクトの第1のセットを再中心化した後、仮想オブジェクトの第2のセットを再中心化せず、仮想オブジェクトの第1のセット及び第2のセットが第1の入力から生じるそれらの結果として生じるロケーション及び/又は向きにある間)、コンピュータシステム(例えば、101)は、三次元環境における第1の視点から第1の視点とは異なる第2の視点(例えば、第2の視点は、任意選択的に、再中心化を可能にするためにユーザの第1の視点と十分に異なる)へのユーザの視点の移動(例えば、ユーザの物理的環境におけるユーザの向き及び/又はポジションの変化に対応する)を検出し(836b)、ユーザの視点の移動を検出したことに応じて、三次元環境は、ユーザの第2の視点から表示生成構成要素を介して可視であり、コンピュータシステム101が図7Cのように環境702を表示した後の図7Cのロケーションから離れた視点726aの移動など、三次元環境における1つ以上の仮想オブジェクトの第1のセット及び第2のセットのポジション又は向きは変更されない。
いくつかの実施形態では、三次元環境がユーザの第2の視点から表示生成構成要素を介して可視である間、コンピュータシステム(例えば、101)は、1つ以上の入力デバイスを介して、ユーザの第2の視点に対する1つ以上の仮想オブジェクトの空間配置を更新して、ユーザの第2の視点に対する1つ以上の仮想オブジェクトの距離の範囲又は向きの範囲を指定する1つ以上の基準の第1のセットを満たす要求に対応する第2の入力、例えば、図7Bの入力と同様又は同じ入力(例えば、前述の再中心化入力に続く再中心化入力)を受信する(836c)。
いくつかの実施形態では、第2の入力を受信したことに応じて、第2の入力に応じて706a、708a、710a、及び714aを再中心化する(例えば、前述の方法のうちの1つ以上で後続の再中心化入力に応じて仮想オブジェクトの第1及び第2のセットの両方を再中心化する)など、1つ以上の仮想オブジェクトの第1及び第2のセットの更新されたポジション及び向きがユーザの第2の視点に対する1つ以上の基準の第1のセットを満たすように、三次元環境内の1つ以上の仮想オブジェクトの第1及び第2のセットのポジション又は向きを変更する(836d)。したがって、仮想オブジェクトの2つの異なるグループ又は集合(例えば、前述のような)は、任意選択的に、第1の再中心化入力に応じて別々に処理される(例えば、1つの集合は再中心化されるが、第2の集合は再中心化されない)が、第1の再中心化入力に応じて、2つの集合は任意選択的に組み合わされ、(例えば、前述の集合ルールに従って)先に進む単一の集合として処理される。したがって、後続の再中心化入力に応じて、仮想オブジェクトの組み合わされた集合内の仮想オブジェクトは、任意選択的に、前述の再中心化のための様々な条件に従って一緒に再中心化される。更なる再中心化入力に応じて仮想オブジェクトのグループを一緒に再中心化することは、三次元環境において仮想的要素を適切に位置決めするために必要とされる入力の数を減少させる。
方法800における動作が説明された特定の順序は、例示的なものにすぎず、説明された順序が、動作が実行され得る唯一の順序であることを示すものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。
図9A~図9Cは、いくつかの実施形態による、物理的又は仮想障害物の存在下で1つ以上の仮想オブジェクトを再中心化するコンピュータシステムの実施例を示す。
図9Aは、コンピュータシステム101の表示生成構成要素(例えば、図1の表示生成構成要素120)を介して可視である三次元環境902を示し、三次元環境902は、(例えば、コンピュータシステム101が位置する物理的環境の左壁に面して)俯瞰図に示すユーザの視点926aから可視である。図1~図6を参照して上述したように、コンピュータシステム101は、任意選択的に、表示生成構成要素(例えば、タッチスクリーン)と、複数の画像センサ(例えば、図3の画像センサ314)と、を含む。画像センサは、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又はユーザがコンピュータシステム101と相互作用する間にユーザ若しくはユーザの一部(例えば、ユーザの1つ以上の手)の1つ以上の画像をキャプチャするためにコンピュータシステム101が使用することができるであろう任意の他のセンサのうちの1つ以上を含む。いくつかの実施形態では、以下に図示及び説明されるユーザインタフェースはまた、ユーザインタフェース又は三次元環境をユーザに表示する表示生成構成要素と、物理的環境及び/又はユーザの手の移動(例えば、ユーザから外向きに面する外部センサ)、かつ/又はユーザの視線(例えば、ユーザの顔に向かって内向きに面する内部センサ)を検出するためのセンサとを含む、ヘッドマウントディスプレイ上に実現され得る。
図9Aに示すように、コンピュータシステム101は、コンピュータシステム101の周囲の物理的環境内の1つ以上のオブジェクトを含む、コンピュータシステム101の周囲の物理的環境(例えば、動作環境100)の1つ以上の画像をキャプチャする。いくつかの実施形態では、コンピュータシステム101は、三次元環境902内の物理的環境の表現を表示し、及び/又は物理的環境は、表示生成構成要素120を介して三次元環境902内で可視である。例えば、表示生成構成要素120を介して可視である三次元環境902は、コンピュータシステム101が配置されている部屋の物理的な床並びに後壁及び側壁の表現を含む。三次元環境902はまた、図9Aの視点926aから表示生成構成要素120を介して可視であるテーブル922a(俯瞰図の922bに対応する)と、図9Aのユーザの視点926aから表示生成構成要素120を介して不可視であるソファ924b(俯瞰図に示す)とを含む。
図9Aでは、三次元環境902はまた、視点926aから可視である仮想オブジェクト906a(俯瞰図内のオブジェクト906bに対応する)、908a(俯瞰図内のオブジェクト908bに対応する)、910a(俯瞰図内のオブジェクト910bに対応する)を含む。三次元環境902はまた、図9Aのユーザの視点926aから表示生成構成要素120を介して不可視である仮想オブジェクト912b、914b、916b、918b、及び920b(俯瞰図に示す)を含む。仮想オブジェクト912b、914b、916b、918b及び920bは、任意選択的に、図7A~7F及び/又は方法800を参照して説明されるものと同様に、視点926b(例えば、ユーザの以前の視点)から三次元環境902内に最後に配置又は位置付けられた仮想オブジェクトである。図9Aでは、オブジェクト906a、908a、910a、912b、914b、916b、918b、及び920bは、二次元オブジェクトであるが、本開示の例は、任意選択的に、三次元オブジェクトに等しく適用される。仮想オブジェクト906a、908a、910a、912b、914b、916b、918bかつ920bは、任意選択的に、アプリケーションのユーザインタフェース(例えば、メッセージングユーザインタフェース、又はコンテンツブラウジングユーザインタフェース)、三次元オブジェクト(例えば、仮想時計、仮想ボール、又は仮想車)、又はコンピュータシステム101の物理的環境に含まれないコンピュータシステム101によって表示される任意の他の要素のうちの1つ以上である。
図7A~7F及び/又は方法800を参照して説明されるように、いくつかの実施形態では、ユーザの特定の以前の視点(又は複数の以前の視点)から最後に配置又は再配置された仮想オブジェクトは、ユーザの新しい現在の視点に再中心化され得る。しかしながら、いくつかの状況では、現在の視点においてそれらの仮想オブジェクトが別様に再中心化されるであろうロケーションは、現在の視点において他のオブジェクト(仮想又は物理的)によって既に占有されている場合がある。したがって、コンピュータシステム101は、方法1000を参照して以下でより詳細に説明するように、上述の仮想オブジェクトが再中心化されるロケーションを調整又はシフトする必要があり得る。
例えば、図9Aでは、コンピュータシステム101は、(例えば、方法1000を参照してより詳細に説明されるように)再中心化入力を検出する。いくつかの実施形態では、そのような再中心化入力に応じて、コンピュータシステム101は、図9B~図9Cに示すように、再中心化されている仮想オブジェクトが再中心化のためにそれらの初期ターゲットロケーションに移動し、次いで、それらの初期ターゲットロケーションがオブジェクトによって既に占有されている場合、それらの初期ターゲットロケーションから最終ターゲットロケーションにシフトするアニメーションを表示する。いくつかの実施形態では、コンピュータシステム101は、代わりに、(例えば、図9Bに示されるように)それらの初期ターゲットロケーションに移動する仮想オブジェクトを表示することなく、(例えば、図9Cに示されるように)それらの最終ターゲットロケーションに移動する再中心化されている仮想オブジェクト(のアニメーション)を単に表示する。
図9Bを参照すると、いくつかの実施形態では、コンピュータシステム101は、図9Aの再中心化入力に応じて、再中心化されている仮想オブジェクトをそれらの初期ターゲットロケーションに移動させて表示する。例えば、仮想オブジェクト912a、914a、916a、918a及び920aは、図9Bにおいて、それらの初期ロケーション(例えば、仮想オブジェクト又は物理的オブジェクトによってまだ占有されていない場合にオブジェクトが再中心化されるロケーション)及び/又は再中心化のための最終ターゲットロケーションに示されている。例えば、仮想オブジェクト912aは、任意選択的に、図9Aの再中心化入力に応じて、図9Aのそのロケーションから図9Bのそのロケーションに移動するようにアニメーション化された。図9Bに示される仮想オブジェクト912aのロケーション及び/又は向きは、任意選択的に、方法800を参照して説明される方法のうちの1つ以上において、コンピュータシステム101によって決定される。図9Bの仮想オブジェクト912aのロケーションは、任意選択的に、その最終ターゲットロケーションである。なぜなら、そのロケーションは、仮想であるか物理的であるかにかかわらず、別のオブジェクトによって占有されていないからである。
仮想オブジェクト920aは、任意選択的に、図9Aの再中心化入力に応じて、図9Aのロケーションから図9Bのロケーションに移動するようにアニメーション化された。図9Bに示される仮想オブジェクト920aのロケーション所及び/又は向きは、任意選択的に、方法800を参照して説明される方法のうちの1つ以上において、コンピュータシステム101によって決定される。図9Bの仮想オブジェクト920aのロケーションは、任意選択的に、その最終ターゲットロケーションである。なぜなら、そのロケーションは、仮想であるか物理的であるかにかかわらず、別のオブジェクトによって占有されていないからである。
仮想オブジェクト914a、916a、及び918aは、任意選択的に、図9Aの再中心化入力に応じて、図9Aのそれらのロケーションから図9Bのそれらのロケーションに移動するようにアニメーション化された。図9Bに示される仮想オブジェクト914a、916a、及び918aのロケーション及び/又は向きは、任意選択的に、方法800を参照して説明される方法のうちの1つ以上において、コンピュータシステム101によって決定される。図9Bの仮想オブジェクト914a、916a及び918aのロケーションは、任意選択的に、それらの初期ターゲットロケーションであり、それらの最終ターゲットロケーションではない。なぜなら、ロケーションは、仮想であるか物理的であるかにかかわらず、他のオブジェクトによって占有されているからである。例えば、仮想オブジェクト914aは、任意選択的に、方法800の1つ以上の特徴に従って、コンピュータシステム101の物理的環境の左壁の内部及び/又は背後並びに/又は左壁によって占有されるロケーションに再中心化されている。仮想オブジェクト916aは、任意選択的に、方法800の1つ以上の特徴に従って、テーブル922a内にある、及び/又はテーブルによって占有されるロケーションに再中心化されている。最後に、仮想オブジェクト918aは、任意選択的に、方法800の1つ以上の特徴に従って、仮想オブジェクト910a内にある、及び/又は仮想オブジェクト910aによって占有されるロケーションに再中心化されている。
更に、いくつかの実施形態では、現在の視点926aから三次元環境902内に最後に配置又は再位置決めされた仮想オブジェクトであって、それらの仮想オブジェクトのうちの他の仮想オブジェクトと重複及び/又は衝突しない仮想オブジェクトは、再中心化入力に応じて移動しない仮想オブジェクト910aによって反映されるなど、再中心化入力に応じて三次元環境902内で移動されない。しかしながら、いくつかの実施形態では、現在の視点926aから三次元環境902内に最後に配置又は再位置決めされた仮想オブジェクトであって、それらの仮想オブジェクトのうちの他の仮想オブジェクトと重複及び/又は衝突している仮想オブジェクトは、仮想オブジェクト906a及び908aによって反映されるなど、再中心化入力に応じて三次元環境902内で移動される。例えば、図9Aにおいて、仮想オブジェクト908aは、視点926aから仮想オブジェクト906aを不明瞭化していた。したがって、再中心化入力に応じて、コンピュータシステム101は、仮想オブジェクト908aによる仮想オブジェクト906aの妨害を低減及び/又は排除するように、仮想オブジェクト906a及び908bを離して移動させている。コンピュータシステム101が、そのような重複又は衝突する仮想オブジェクトをどのようにシフトするかについての更なる詳細は、方法800を参照して提供される。
いくつかの実施形態では、再中心化入力の受信に応じて、及び/又は再中心化入力に応答した仮想オブジェクトの移動中に、コンピュータシステム101は、図9Bのコンピュータシステム101によって表示される1つ以上の仮想オブジェクトのクロスハッチパターンによって反映されるように、再中心化が行われる、行われている、及び/又は行われたことを示すように、仮想オブジェクトの表示を変更する。例えば、コンピュータシステム101は、任意選択的に、コンピュータシステム101によって表示されている1つ以上の仮想オブジェクトの不透明度を減少させ、輝度を減少させ、色彩度を減少させ、ぼかしを増やし、及び/又は他の方法で視覚的顕著性を減少させる。いくつかの実施形態では、コンピュータシステム101は、それらの仮想オブジェクトが再中心化入力に応じて移動されているかどうかにかかわらず、上述の視覚的変更をコンピュータシステム101によって表示される全ての仮想オブジェクトに適用する。いくつかの実施形態では、コンピュータシステム101は、再中心化入力に応じて移動されている仮想オブジェクトに、それらの仮想オブジェクトが現在の視点926a又は以前の視点926bから三次元環境902内に最後に配置又は位置付けられたかどうかにかかわらず、上述の視覚的変更を適用するが、再中心化入力に応じて移動されていない仮想オブジェクトには適用しない。いくつかの実施形態では、コンピュータシステム101は、以前の視点926bから三次元環境902に最後に配置又は位置付けられた仮想オブジェクト(例えば、視点926aに再中心化されている仮想オブジェクト)に上述の視覚的変更を適用するが、現在の視点926aから三次元環境902に最後に配置又は位置付けられた仮想オブジェクト(例えば、仮想オブジェクト906a及び/又は908a)が再中心化入力に応じて移動している場合であっても、そのような仮想オブジェクトには適用しない。
いくつかの実施形態では、前述のように、コンピュータシステム101は、方法1000を参照してより詳細に説明されるように、別のオブジェクトを含む初期ターゲットロケーションに再中心化された仮想オブジェクトを最終ターゲットロケーションにシフトし、それらの再中心化された仮想オブジェクトとそれらの初期ターゲットロケーションを占有するオブジェクトとの衝突(単数又は複数)/又は排除する。コンピュータシステム101は、任意選択的に、再中心化された仮想オブジェクトが衝突しているオブジェクトのタイプに応じて、再中心化された仮想オブジェクトを異なるようにシフトする。例えば、図9Bに示す仮想オブジェクト914aの初期ターゲットロケーションは、コンピュータシステム101の物理的環境内の物理的な壁によって占有される。したがって、コンピュータシステム101は、任意選択的に、図9Cに示すように、仮想オブジェクト914aを(任意選択的に、視点926aに対して上、下、左及び/又は右ではなく)視点926aに向かって、物理的な壁から離れた最終ターゲットロケーションに移動させる。
対照的に、図9Bに示す仮想オブジェクト916aの初期ターゲットロケーションは、物理的なテーブル922aによって占有される。したがって、コンピュータシステム101は、任意選択的に、図9Cに示すように、仮想オブジェクト916aを(任意選択的に視点926aに向かってではなく)視点926aに対して上、下、左、及び/又は右に、物理的なテーブル922aから離れた最終ターゲットロケーションに移動させる。いくつかの実施形態では、コンピュータシステム101は、衝突オブジェクトを回避するために仮想オブジェクトの移動量が最小限で済む、上記の方向のうちの1つ以上に仮想オブジェクトを移動させる。例えば、図9Bから図9Cでは、コンピュータシステム101は、仮想オブジェクト916aがもはや物理的なテーブル922aと衝突していない最終ターゲットロケーションまで仮想オブジェクト916aを移動させている。
最後の例として、図9Bに示す仮想オブジェクト918aの初期ターゲットロケーションは、仮想オブジェクト910aによって占有される。したがって、コンピュータシステム101は、任意選択的に、図9Cに示すように、仮想オブジェクト918aを視点926aに対して上、下、左、及び/又は右に、並びに/又はそれに向かって、若しくはそれから離れて、仮想オブジェクト910aから離れた最終ターゲットロケーションに移動させる。いくつかの実施形態では、コンピュータシステム101は、衝突オブジェクトを回避するために仮想オブジェクトの移動量が最小限で済む、上記の方向のうちの1つ以上に仮想オブジェクトを移動させる。例えば、図9Bから図9Cでは、コンピュータシステム101は、仮想オブジェクト918aがもはや仮想オブジェクト910aと衝突していない最終ターゲットロケーションまで仮想オブジェクト918aを左に移動させている。
上述したように、図9Bから図9Cでは、仮想オブジェクト914a、916a及び918a以外の仮想オブジェクトは、任意選択的に、コンピュータシステム101によって移動されない。コンピュータシステム101は、任意選択的に、仮想オブジェクトがその最終ターゲットロケーションに到達したことに応じて、図9Bを参照して説明される所与の仮想オブジェクトの視覚的変更を少なくとも部分的に又は完全に反転させる。いくつかの実施形態では、コンピュータシステム101は、各仮想オブジェクトがそれらの最終ターゲットロケーションに到達したことに応じて、図9Bを参照して説明される仮想オブジェクトの視覚的変更を少なくとも部分的又は完全に逆転させる。図9Bを参照して説明される仮想オブジェクトの視覚的変更の部分的又は完全な反転は、任意選択的に、表示された仮想オブジェクトにおけるクロスハッチパターンの欠如によって図9Cに反映される。
図10A~図10Gは、いくつかの実施形態による、物理的又は仮想障害物の存在下で1つ以上の仮想オブジェクトを再中心化する方法を図示するフローチャートである。いくつかの実施形態では、方法1000は、表示生成構成要素(例えば、図1、図3、かつ図4の表示生成構成要素120)(例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、又はプロジェクタ)と、1つ以上のカメラ(例えば、ユーザの手の下方を指すカメラ(例えば、カラーセンサ、赤外線センサ、かつ他の深度感知カメラ)又はユーザの頭部から前方を指すカメラ)とを含むコンピュータシステム(例えば、タブレット、スマートフォン、ウェアラブルコンピュータ、又はヘッドマウントデバイスなどの図1のコンピュータシステム101)で実行される。いくつかの実施形態では、方法1000は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1Aのコントローラ110)など、コンピュータシステムの1つ以上のプロセッサによって実行される命令によって実行される。方法1000の一部の動作は、任意選択的に組み合わされ、及び/又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法1000は、表示生成構成要素及び1つ以上の入力デバイスと通信するコンピュータシステム(例えば、101)において実行される。いくつかの実施形態では、コンピュータシステムは、方法800のコンピュータシステムの1つ以上の特性を有する。いくつかの実施形態では、表示生成構成要素は、方法800の表示生成構成要素の1つ以上の特性を有する。いくつかの実施形態では、1つ以上の入力デバイスは、方法800の1つ以上の入力デバイスの特性のうちの1つ以上を有する。
いくつかの実施形態では、三次元環境(例えば、902)(例えば、三次元環境は、任意選択的に、方法800の三次元環境の1つ以上の特性を有する)は、図9Aの視点926aなどのユーザの第1の視点(例えば、方法800を参照して説明されるような)から表示生成構成要素を介して可視であるが、三次元環境は、図9Aのオブジェクト916aなどの三次元環境内の第1のロケーションに第1の仮想オブジェクトを含む(例えば、第1の仮想オブジェクトは、任意選択的に、方法800における第1の仮想オブジェクトの1つ以上の特性を有する。いくつかの実施形態では、第1の仮想オブジェクトは、ユーザの視点が第1の視点の前の視点であった間に、コンピュータシステムのユーザによって三次元環境内の第1のロケーションに配置され、最後に再配向され、又は最後に移動された)場合、コンピュータシステム(例えば、101)は、1つ以上の入力デバイスを介して、図9Aにおける入力など(例えば、方法800を参照して説明されるものなど)の、ユーザの第1の視点に対する仮想オブジェクトの距離の範囲又は向きの範囲を指定する1つ以上の基準の第1のセットを満たすように、ユーザの第1の視点に対する第1の仮想オブジェクトの空間配置を更新する要求に対応する第1の入力を受信する(1002a)。第1の入力は、任意選択的に、方法800及び/又は1400を参照して説明される第1の入力(例えば、再中心化入力)の特性のうちの1つ以上を有する。
いくつかの実施形態では、第1の入力を受信したことに応じて(1002b)、1つ以上の基準の第1のセットを満たす三次元環境内の第2のロケーション(例えば、方法800の1つ以上の態様によるなど、第2のロケーションにオブジェクトが既に存在しない場合にコンピュータシステムが第1の仮想オブジェクトを移動させるロケーション)が、図9Bにオブジェクト912aが示されるロケーションなどのオブジェクトによって占有されていない(例えば、仮想又は物理にかかわらず個別のオブジェクトを含まない、個別のタイプの仮想又は物理的オブジェクトを含まない、又は仮想又は物理的オブジェクトを含まない)という判定に従って、ユーザの第1の視点に対する第2のロケーションの空間配置は、方法800を参照して説明されるように、1つ以上の基準の第1のセットを満たす(例えば、ユーザの第1の視点に対する第2のロケーションの距離及び/又は向きは、第1の1つ以上の基準を満たす)。いくつかの実施形態では、第1の視点に対する第2のロケーションの空間配置は、第1の仮想オブジェクトが最後に配置又は移動されたユーザの以前の視点に対する第1のロケーションの空間配置に対応し(例えば、同じである)、コンピュータシステム(例えば、101)は、オブジェクト912aが図9Cに示されるロケーションなどの三次元環境内の第2のロケーションに第1の仮想オブジェクトを表示する(例えば、第1の仮想オブジェクトを移動させる)(1002c)。いくつかの実施形態では、第1の視点に対する第2のロケーションにおける第1の仮想オブジェクトの向きは、第1の仮想オブジェクトが最後に配置又は移動されたユーザの以前の視点に対する第1の入力が受信されたときの第1のロケーションにおける第1の仮想オブジェクトの向きに対応する(例えば、同じである)。
いくつかの実施形態では、第1の入力を受信したことに応じて(1002b)、図9Bにオブジェクト916aが示されているロケーションなどの、1つ以上の基準の第1のセットを満たす三次元環境内の第2のロケーションが占有されている(例えば、物理又は仮想にかかわらず少なくとも1つの個別のオブジェクトを含む、又は個別のタイプの1つ以上の仮想又は物理的オブジェクトを含む)という判定に従って、コンピュータシステム(例えば、101)は、図9Cにオブジェクト916aが示されているロケーションなどの、三次元環境内の第2のロケーションから離間している、1つ以上の基準の第1のセットを満たす三次元環境内の第3のロケーションに第1の仮想オブジェクトを表示する(例えば、第1の仮想オブジェクトを移動させる)(1002d)。いくつかの実施形態では、第1の視点に対する第3のロケーションにおける第1の仮想オブジェクトの向きは、第1の仮想オブジェクトが最後に配置又は移動されたユーザの以前の視点に対する第1の入力が受信されたときの第1のロケーションにおける第1の仮想オブジェクトの向きに対応する(例えば、同じである)。いくつかの実施形態では、第1の視点に対する第3のロケーションにおける第1の仮想オブジェクトの向きは、第1の仮想オブジェクトが最後に配置又は移動されたユーザの以前の視点に対する第1の入力が受信されたときの第1のロケーションにおける第1の仮想オブジェクトの向きとは異なる。いくつかの実施形態では、第1の視点に対する第3のロケーションの空間配置は、第1の仮想オブジェクトが最後に配置又は移動されたユーザの以前の視点に対する第1のロケーションの空間配置とは異なる。いくつかの実施形態では、ユーザの第1の視点に対する第3のロケーションの距離及び/又は向きは、方法800を参照して説明されるような、第1の1つ以上の基準を満たす。いくつかの実施形態では、コンピュータシステムは、以下でより詳細に説明されるように、第3のロケーションにおける第1の仮想オブジェクトが、第2のロケーションにおける個別のオブジェクトによっても占有される三次元環境の任意の体積を占有しないように、第2のロケーションから十分に遠くなるように第3のロケーションを選択する。いくつかの実施形態では、方法1000を参照して説明される入力は、エアジェスチャ入力であるか、又はエアジェスチャ入力を含む。仮想オブジェクトが再中心化されるロケーションをシフトすることにより、コンピュータシステムは、三次元環境内のオブジェクト間の衝突を自動的に回避する。
いくつかの実施形態では、第2のロケーションは、オブジェクト918aが図9Bに示すロケーションなどの仮想オブジェクトを含み、オブジェクト910a(例えば、本明細書に説明される他の仮想オブジェクト及び/又は方法800、1200、1400、及び/又は1600の特性のうちの1つ以上を有する仮想オブジェクト)によって占有されるとき、占有されていると判定される(1004)。いくつかの実施形態では、第1の仮想オブジェクトが、第2のロケーションに表示されて、仮想オブジェクト(の任意の部分)と衝突する場合、第2のロケーションは占有されていると判定される。いくつかの実施形態では、第1の仮想オブジェクトが仮想オブジェクトと衝突するかどうかにかかわらず、第1の仮想オブジェクトが、第2のロケーションに表示されて、仮想オブジェクト(の任意の部分)を覆い隠すか、又は仮想オブジェクトによって(少なくとも部分的に)覆い隠される場合、第2のロケーションは占有されていると判定される。したがって、いくつかの実施形態では、再中心化された仮想オブジェクトは、第2のロケーションにおける既存の仮想オブジェクトとの衝突を回避するようにシフトされるであろう。仮想オブジェクトが再中心化されるロケーションをシフトすることにより、コンピュータシステムは、三次元環境内の仮想オブジェクト間の衝突を自動的に回避する。
いくつかの実施形態では、第2のロケーションが、図9Bにオブジェクト916aが示されているロケーションなど、ユーザの物理的環境内の物理的オブジェクトのロケーションに対応し、テーブル922a(例えば、壁又はテーブル)によって占有されているとき、第2のロケーションは占有されていると判定される(1006)。いくつかの実施形態では、第1の仮想オブジェクトが、第2のロケーションに表示されて、物理的オブジェクト(の任意の部分)と衝突する場合、第2のロケーションは占有されていると判定される。物理的オブジェクトは、任意選択的に、第2のロケーションにおいて表示生成構成要素を介して可視であり、及び/又は物理的オブジェクトの表現は、第2のロケーションにおいて表示生成構成要素を介して表示される。いくつかの実施形態では、第1の仮想オブジェクトが仮想オブジェクトと衝突するかどうかにかかわらず、第1の仮想オブジェクトが、第2のロケーションに表示されて、物理的オブジェクト(の任意の部分)を覆い隠すか、又は物理的オブジェクトによって(少なくとも部分的に)覆い隠される場合、第2のロケーションは占有されていると判定される。したがって、いくつかの実施形態では、再中心化された仮想オブジェクトは、第2のロケーションにおける既存の物理的オブジェクトとの衝突を回避するようにシフトされるであろう。仮想オブジェクトが再中心化されるロケーションをシフトすることにより、コンピュータシステムは、三次元環境内の仮想オブジェクトと物理的オブジェクトとの衝突を自動的に回避する。
いくつかの実施形態では、第2のロケーションが、オブジェクト914aが図9Bに示されるロケーションなど、ユーザの物理的環境内の物理的な壁の内部又は背後のロケーションに対応する(例えば、第1の仮想オブジェクトが、第2のロケーションに表示される場合、三次元環境内の物理的な壁の内部又は背後に表示されるように、ユーザの視点に面する壁の表面が、第2のロケーションよりユーザの視点に近い)という判定に従って、第3のロケーションは、第2のロケーションよりユーザの第1の視点に近く、第3のロケーションは、オブジェクト914aが図9Cに示されるロケーションなど、ユーザの第1の視点に対して物理的な壁の前にある(1008)。いくつかの実施形態では、再中心化された仮想オブジェクトが、三次元環境において物理的な壁と衝突する、及び/又は物理的な壁の背後にある場合、コンピュータシステムは、再中心化された仮想オブジェクトのロケーションをユーザの視点のより近くにシフトする(例えば、再中心化された仮想オブジェクトのロケーションをユーザの視点に対して横方向にシフトしない)ことによって、衝突を回避する。コンピュータシステムは、壁状オブジェクトであるが壁ではない他の物理的オブジェクト(例えば、ユーザの視点に対して相対的に垂直であり、垂直及び/又は水平に0.2、0.5、1、3、5、若しくは10メートル、及び/又は0.04、0.25、1、9、25、又は100平方メートルなどの閾値サイズ又は面積を上回るサイズ又は面積を有するオブジェクト)の場合に、任意選択的に追加的に上記を実行する。壁の場合に仮想オブジェクトが再中心化されるロケーションをユーザの視点に向かってシフトすることは、仮想オブジェクトのロケーションの横方向シフトが仮想オブジェクトと壁との衝突を解決しない可能性が高いので、三次元環境における仮想オブジェクトの可視性及び/又は仮想オブジェクトとの相互作用可能性を保証するために必要とされる入力の数を減少させる。
いくつかの実施形態では、第1の入力に応じて、第2のロケーションが、オブジェクト916aが図9Bに示されているロケーションなどの物理的な壁以外の個別の物理的オブジェクトに対応し、テーブル922aによって占有されている(例えば、第2のロケーションにおける第1の仮想オブジェクトは、テーブル、机、椅子、又は壁若しくは壁状の物理的オブジェクト以外の他の物理的オブジェクトと衝突する)という判定に従って、第3のロケーションは、ユーザの第1の視点から第2のロケーションと同じ距離にあり、第3のロケーションは、オブジェクト916aが図9Cに示されているロケーションなど、第1の視点に対して第2のロケーションから横方向に離れている(1010)。いくつかの実施形態では、再中心化された仮想オブジェクトが三次元環境内の壁以外の物理的オブジェクトと衝突する場合、コンピュータシステムは、再中心化された仮想オブジェクトのロケーションをユーザの視点に対して横方向に(例えば、上、下、左、及び/又は右に)シフトすることによって(例えば、再中心化された仮想オブジェクトのロケーションをユーザの視点に向かって又はそこから離れてシフトしないことによって)、衝突を回避する。壁ではないオブジェクトの場合、仮想オブジェクトが再中心化されるロケーションをユーザの視点に対して横方向にシフトすることは、三次元環境内の仮想オブジェクトの可視性及び/又は仮想オブジェクトとの相互作用可能性を保証するために必要とされる入力の数を減少させる。
いくつかの実施形態では、第1の入力が受信されると、三次元環境は、図9Aのオブジェクト906a及び908aなどの第1の仮想オブジェクトと重複する第2の仮想オブジェクトを更に含む(例えば、第1及び第2の仮想オブジェクトが少なくとも部分的に互いに衝突する、及び/又は第1の仮想オブジェクトが第1の視点から第2の仮想オブジェクトを少なくとも部分的に覆い隠す、又は第2の仮想オブジェクトが第1の視点から第1の仮想オブジェクトを少なくとも部分的に覆い隠す)(1012a)。
いくつかの実施形態では、第1の入力を受信したことに応じて、コンピュータシステム(例えば、101)は、オブジェクト906a及び908aに関して図9Cに示すように、第1及び第2の仮想オブジェクト間の重複を低減又は排除するように、第1及び第2の仮想オブジェクトを互いから分離する(例えば、第1の視点に対して横方向に、及び/又は第1の視点に向かって、若しくはそこから離れるように)(1012b)。いくつかの実施形態では、両方の仮想オブジェクトが、上記の分離を達成するために移動される。いくつかの実施形態では、仮想オブジェクトのうちの1つのみが、上記の分離を達成するために移動される。いくつかの実施形態では、第1及び第2の仮想オブジェクトは両方とも、第1の入力に応じて再中心化され、処理において、上記の分離を達成するために互いに対して分離される。重複する仮想オブジェクトを分離することは、三次元環境内の仮想オブジェクトの可視性及び/又は相互作用可能性を確実にするために必要とされる入力の数を減少させる。
いくつかの実施形態では、第1の入力に応じて、及び第2のロケーションが個別のオブジェクト(例えば、壁若しくは壁ではないオブジェクトなどの物理的オブジェクト、又は仮想オブジェクト)によって占有されているという判定に従って(1014a)、第1の仮想オブジェクトが第2のロケーションで個別のオブジェクトを回避するのに必要な第1の方向における第2のロケーションからの分離量が、第1の仮想オブジェクトが第2のロケーションで個別のオブジェクトを回避するのに必要な第1の方向とは異なる第2の方向における第2のロケーションからの分離量よりも小さいという判定に従って、オブジェクト916aが図9Bに示されているロケーションから下方ではなく上方にオブジェクト916aをシフトするなど、第3のロケーションは第1の方向において第2のロケーションから分離される(1014b)。例えば、第1の仮想オブジェクトのロケーションを第1の方向(例えば、右、左、上、下、視点から離れる方向若しくは視点に向かう方向、又はこれらの方向の任意の組み合わせ)にシフトして、第1の仮想オブジェクトと個別のオブジェクトとの衝突又は重複を回避することが、第1の仮想オブジェクトのロケーションを第2の方向(例えば、右、左、上、下、視点から離れる方向若しくは視点に向かう方向、又はこれらの方向の任意の組み合わせ)にシフトして、第1の仮想オブジェクトと個別のオブジェクトとの衝突又は重複を回避することよりも小さい大きさのシフトを必要とする場合、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトのロケーションを第1の方向に(例えば、より小さい大きさだけ)シフトする。
いくつかの実施形態では、第1の入力に応じて、及び第2のロケーションが個別のオブジェクト(例えば、壁若しくは壁ではないオブジェクトなどの物理的オブジェクト、又は仮想オブジェクト)によって占有されているという判定に従って(1014a)、第1の仮想オブジェクトが第2のロケーションで個別のオブジェクトを回避するのに必要な第2の方向における第2のロケーションからの分離量が、第1の仮想オブジェクトが第2のロケーションで個別のオブジェクトを回避するのに必要な第1の方向における第2のロケーションからの分離量よりも少ないという判定に従って、オブジェクト916aが図9Bに示されているロケーションから上方ではなく下方にオブジェクト916aをシフトすることにより、オブジェクト916aの移動が少なくテーブル922aが回避される場合などに、第3のロケーションは第2のロケーションから第2の方向に分離される(1014c)。例えば、第1の仮想オブジェクトと個別のオブジェクトとの衝突又は重複を回避するために第1の仮想オブジェクトのロケーションを第2の方向にシフトすることが、第1の仮想オブジェクトと個別のオブジェクトとの衝突又は重複を回避するために第1の仮想オブジェクトのロケーションを第1の方向にシフトすることよりも小さい大きさのシフトを必要とする場合、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトのロケーションを第2の方向に(例えば、より小さい大きさだけ)シフトする。したがって、いくつかの実施形態では、コンピュータシステムは、第1の仮想オブジェクトと個別のオブジェクトとの衝突又は重複を回避するために、第1の仮想オブジェクトのロケーションのより少ない(例えば、最小)量のシフトを必要とする方向に、第1の仮想オブジェクトのロケーションをシフトする。より少ないシフトを必要とする方向に第1の仮想オブジェクトをシフトすることは、自動的に、コンピュータシステムに、第1の仮想オブジェクトをその初期ターゲットロケーションのより近く(例えば、可能な限り近く)に維持しながら、衝突を回避するように第1の仮想オブジェクトを適切に配置させる。
いくつかの実施形態では、第3のロケーションに第1の仮想オブジェクトを表示することは、表示生成構成要素を介して、図9Bに示すロケーションに移動するオブジェクト916aのアニメーション、次いで、図9Cに示すロケーションに移動するオブジェクト916aのアニメーションなどの、第2のロケーションに移動する第1の仮想オブジェクトの表現のアニメーション、続いて、第2のロケーションから第3のロケーションに移動する第1の仮想オブジェクトの表現のアニメーションを表示することを含む(1016)。いくつかの実施形態では、コンピュータシステムは、第1の入力に応じて三次元環境内の第2のロケーションに最初に移動する第1の仮想オブジェクトのアニメーション(例えば、第1の仮想オブジェクトのフェードした、視覚的に強調を抑えた、より暗い、ぼかされた、彩度がない、及び/又はより半透明の表現)を表示し、その後、三次元環境内の第2のロケーションから第3のロケーションに移動する第1の仮想オブジェクトのアニメーション(例えば、第1の仮想オブジェクトの色あせた、視覚的に強調を抑えた、より暗い、ぼやけた、彩度がない、及び/又はより半透明の表現)を表示する。いくつかの実施形態では、第1及び第2のアニメーションは、更なる入力が検出されることなく、第1の入力の後に(例えば、第1の入力に応じて)発生する。いくつかの実施形態では、第1の仮想オブジェクトが第3のロケーションに到達すると、コンピュータシステムは、第1の仮想オブジェクトを、色あせしていない、もはや視覚的に強調が抑えられていない、より明るく、ぼかしが少なく、彩度が上がり、及び/又は半透明性が低いもの(例えば、第1の入力が受信されたときに第1の仮想オブジェクトが有していた視覚的外観)として表示する。第1の仮想オブジェクトが最初に第2のロケーションに移動し、次に第3のロケーションに移動するアニメーションを表示することにより、第1の仮想オブジェクトの元の再中心化ロケーションに関するフィードバックが提供される。
いくつかの実施形態では、第3のロケーションは、ユーザの第1の視点からの距離、ユーザの第1の視点に対する水平距離、又はユーザの第1の視点に対する垂直距離のうちの1つ以上によって、第2のロケーションから分離される(1018)。例えば、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトのロケーションを、第2のロケーションから任意の方向に、例えば、ユーザの視点に向かって、ユーザの視点から離れて、視点若しくはユーザに対して水平に、ユーザの視点に対して垂直に、又は上記の任意の組み合わせでシフトする。第1の仮想オブジェクトのロケーションを上記の方向にシフトすることは、第1の仮想オブジェクトを三次元環境内に適切に配置するために必要とされる入力の数を減少させる。
いくつかの実施形態では、第1の仮想オブジェクトは、ユーザの第1の視点とは異なる、ユーザの第2の視点から(例えば、方法800を参照してより詳細に説明されるように、ユーザの現在の視点とは十分に異なる視点からなど)、三次元環境内の第1のロケーションに最後に配置又は位置付けられた(1020a)。
いくつかの実施形態では、第2の視点に対する第1のロケーションの空間配置が第1の空間配置であるという判定に従って、第2のロケーションは、図9Cのオブジェクト920aなどの第1の個別のロケーションである(1020b)。例えば、第2の視点(例えば、第1の仮想オブジェクトが三次元環境において最後に配置又は位置付けられた視点)に対する第1の仮想オブジェクトのロケーション及び/又は向きが、第1の仮想オブジェクトが第2の視点に対して右及び上向きであるようなものであった場合、コンピュータシステムは、第1の視点に対する第2のロケーションにおける第1の仮想オブジェクトのロケーション及び/又は向きもまた、第1の視点に対して右及び上向き(例えば、同じ相対ロケーション及び/又は向き)であるように、第2のロケーションを選択する。いくつかの実施形態では、第1の視点に対する第2のロケーションの相対ロケーション及び/又は向きの大きさは、第2の視点に対する第1のロケーションの相対ロケーション及び/又は向きに対しても維持される。
いくつかの実施形態では、第2の視点に対する第1のロケーションの空間配置が第1の空間配置とは異なる第2の空間配置であるという判定に従って、第2のロケーションは、第1の個別のロケーションとは異なる第2の個別のロケーションであり(1020c)、例えば、オブジェクト920aが図9Aの視点926bに対して異なる空間配置を有していた場合、オブジェクト920aは、任意選択的に、図9Cの視点926aに対してその異なる空間配置を有することになる。例えば、第2の視点に対する第1の仮想オブジェクトのロケーション及び/又は向きが、第1の仮想オブジェクトが第2の視点に対して左及び下方にあるようなものであった場合、コンピュータシステムは、第1の視点に対する第2のロケーションにおける第1の仮想オブジェクトのロケーション及び/又は向きもまた、第1の視点に対して左及び下方(例えば、同じ相対場ロケーション及び/又は向き)にあるように、第2のロケーションを選択する。いくつかの実施形態では、第1の視点に対する第2のロケーションのロケーション及び/又は向きの大きさはまた、第2の視点に対する第1のロケーションの相対ロケーション及び/又は向きに対して維持される。仮想オブジェクトが三次元環境内に最後に位置付けられたときのユーザの以前の視点に対する仮想オブジェクトのロケーションに基づく、再中心化された仮想オブジェクトのためのターゲットロケーションを設定することは、コンピュータシステムに、仮想オブジェクトのために以前に提供された相対ロケーションに仮想オブジェクトを自動的に配置させる。
いくつかの実施形態では、第1の仮想オブジェクトは、第1の視点とは異なるユーザの第2の視点から(例えば、方法800を参照してより詳細に説明されるように、ユーザの現在の視点とは十分に異なる視点からなど)三次元環境内に最後に配置又は位置付けられ、第1の入力が受信されると、三次元環境は、ユーザの第1の視点(又は方法800を参照してより詳細に説明されるように、ユーザの現在の視点とは十分に異ならないユーザの視点)から三次元環境内に最後に配置又は位置付けられた第2の仮想オブジェクト及び第3の仮想オブジェクトを更に含み、第2及び第3の仮想オブジェクトは、図9Aのオブジェクト906a、908a、及び/又は910a並びに図9Aの視点926aに対するそれらの空間配置など、第1の視点に対する第1の個別の空間配置を有する(1022a)。
いくつかの実施形態では、第1の入力を受信したことに応じて(1022b)、図9Aのオブジェクト906a及び908aが重なっている(例えば、三次元環境において互いに少なくとも部分的に衝突している、及び/又はユーザの第1の視点から互いを少なくとも部分的に覆い隠している)など、第2及び第3の仮想オブジェクトが重なっているという判定に従って、コンピュータシステム(例えば、101)は、第2及び第3の仮想オブジェクトの空間配置を第1の視点に対する第2の個別の空間配置に更新して(1022c)、図9B及び図9Cのオブジェクト906a及び908aで示すように、第2及び第3の仮想オブジェクト間の重なりを低減又は排除する(例えば、第1の視点に対するオブジェクト間の(例えば、水平、垂直及び/又は深さ)距離が増加して、2つのオブジェクト間の衝突及び/又は2つのオブジェクトの不明瞭化を低減又は排除するように、第1、第2又は第1及び第2の仮想オブジェクトの両方を移動させる及び/又は向きを変更する)。
いくつかの実施形態では、第1の入力を受信したことに応じて(1022b)、図9Aのオブジェクト906a及び908aが重なっていなかった(例えば、三次元環境において互いに少なくとも部分的に衝突していない、及び/又はユーザの第1の視点から互いを少なくとも部分的に覆い隠していない)場合など、第2及び第3の仮想オブジェクトが重なっていないという判定に従って、コンピュータシステム(例えば、101)は、図9Aの入力に応じてオブジェクト906a及び/又は908aを移動させない(例えば、三次元環境において第1及び第2の仮想オブジェクトの向きを移動又は変化させない)など、第1の視点に対して第1の個別の空間配置を有する第2及び第3の仮想オブジェクトを維持する(1022d)。したがって、いくつかの実施形態では、ユーザの現在の視点から三次元環境内に最後に配置又は位置付けられた仮想オブジェクトは、それらが三次元環境内で重複しない限り、第1の入力に応答しない。第1及び/又は第2の仮想オブジェクトが重複している場合にのみ第1及び/又は第2の仮想オブジェクトをシフトすることは、第1及び第2の仮想オブジェクトを三次元環境内に適切に配置するために必要とされる入力の数を減少させる。
いくつかの実施形態では、第1の入力の受信に応じて、コンピュータシステム(例えば、101)は、表示生成構成要素を介して、オブジェクト906a、908a及び/又は910aの視覚的外観の図9Aから図9Bへの変更などの、第1の入力が受信されたことを示す視覚的インジケーションを表示する(1024)。いくつかの実施形態では、視覚的インジケーションは、第1の入力が受信された後、所定の時間量(例えば、0.3、0.5、1、2、3、5又は10秒)にわたって表示される。いくつかの実施形態では、視覚的インジケーションは、第1の入力に応じて三次元環境内の仮想オブジェクト(単数又は複数)の移動の持続時間にわたって表示され、その移動の終了に応じて表示を停止する。いくつかの実施形態では、視覚的インジケーションは、第1の入力が受信されたときに三次元環境に含まれていた1つ以上の要素の視覚的外観の変更(例えば、以下でより詳細に説明されるように、第1の入力が受信されたときに三次元環境に含まれていた仮想オブジェクトのうちの1つ以上の視覚的外観の変更)であるか、又はそれを含む。いくつかの実施形態では、視覚的インジケーションは、第1の入力が受信されたときに三次元環境に表示されなかったか又は含まれなかった要素(例えば、通知)の表示であるか又はそれを含む。第1の入力のインジケーションを表示することは、三次元環境において1つ以上の仮想オブジェクトを再中心化する際に、コンピュータシステムの現在のステータスに関するフィードバックを提供する。
いくつかの実施形態では、第1の入力が受信されると、第1の仮想オブジェクトは、第1の値を有する(例えば、第1の輝度を有する、第1の不透明度を有する、第1のぼかしを有する、及び/又は第1の色彩度を有する)視覚的特性を有し(例えば、それとともに表示され)、第1の入力が受信されたことを示す視覚的インジケーションは、図9Bのオブジェクト916aの視覚的外観など、第1の値とは異なる第2の値を有する視覚的特性(例えば、第1の輝度より低い第2の輝度、第1の不透明度より低い第2の不透明度、第1のぼかしより高い第2のぼかし、及び/又は第1の色彩度より低い第2の色彩度)を有するように第1の仮想オブジェクトを一時的に更新(及び/又は表示)し、その後、図9Cのオブジェクト916aの視覚的外観など、第1の値を有する視覚的特性で第1の仮想オブジェクトを表示する(例えば、第1の仮想オブジェクトをその初期の視覚的外観を有するように戻す)ことを含む(1026)。いくつかの実施形態では、第1の入力に応じて、第1の仮想オブジェクトは、(例えば、三次元環境の残りの部分に対して、及び/又は第1の入力に応じてポジション及び/又は向きを変更していない三次元環境の部分に対して)三次元環境において一時的に視覚的に強調が抑えられる。いくつかの実施形態では、上述の第1の仮想オブジェクトの視覚的外観の変化は、第1の入力に応答した三次元環境における仮想オブジェクト(単数又は複数)の移動の持続時間にわたって維持され、その移動の終了に応じて元に戻される。いくつかの実施形態では、視覚的外観の上記の変化は、追加的又は代替的に、第1の入力に応じて三次元環境内で移動/再配向される他の仮想オブジェクトに適用される。いくつかの実施形態では、視覚的外観の上記の変化は、追加的又は代替的に、第1の入力に応じて三次元環境内で移動/再配向されない仮想オブジェクトに適用される。いくつかの実施形態では、視覚的外観が変化する仮想オブジェクトは、上述のように色あせがなくなるまで、第1の入力に応じて三次元環境で部分的又は完全に色あせている。第1の入力に応じて仮想オブジェクト(単数又は複数)の視覚的外観を調整することは、三次元環境において1つ以上の仮想オブジェクトを再中心化する際に、コンピュータシステムの現在のステータスに関するフィードバックを提供する。
いくつかの実施形態では、第1の入力が受信されると、三次元環境は、三次元環境内の第4のロケーションに第2の仮想オブジェクトを更に含み(例えば、第2の仮想オブジェクトは、第1の入力に応じて第1の仮想オブジェクトとともに三次元環境内で再中心化されるオブジェクトである)、第1の仮想オブジェクト及び第2の仮想オブジェクトは、互いに対して空間配置を有する図9Aのオブジェクト912a及び920aなど、互いに対して第1の個別の空間配置を有する(1028a)。
いくつかの実施形態では、第1の入力を受信したことに応じて(1028b)、第2のロケーションがオブジェクトによって占有されていないという判定に従って、コンピュータシステム(例えば、101)は、第1の仮想オブジェクトを第2のロケーションに、第2の仮想オブジェクトを第4のロケーションとは異なる第5のロケーションに表示し、これは1つ以上の基準の第1のセットを満たし(例えば、前述したように、及び/又は方法800を参照して説明されるように、第1の入力に応じて第1及び第2の仮想オブジェクトの両方を三次元環境内で移動及び/又は再配向させる)、ここで、第2及び第5のロケーションにおける第1の仮想オブジェクト及び第2の仮想オブジェクトは、それぞれ、図9Aでのように図9Cにおいて互いに対して同じ空間配置を有するオブジェクト912a及び920aなど、互いに対して第1の個別の空間配置を有する(1028c)(例えば、方法800を参照してより詳細に説明されるように、第1及び第2の仮想オブジェクトの相対的な向き及び/又はポジションは、これらの仮想オブジェクトの再中心化に応じて維持される)。
いくつかの実施形態では、第1の入力を受信したことに応じて(1028b)、図9Bのオブジェクト918aなどに関して第2のロケーションが占有されているという判定に従って、コンピュータシステム(例えば、101)は、第1の仮想オブジェクトを第3のロケーションに、第2の仮想オブジェクトを第4のロケーションとは異なる(例えば、任意選択的に第5のロケーションと同じ又は異なる)第6のロケーションに表示し、これは1つ以上の基準の第1のセットを満たし(前述したように、それらのオブジェクト(単数又は複数)のターゲットロケーション(単数又は複数)が他のオブジェクトによって占有されているため、例えば、前述したように、及び/又は方法800を参照して説明されるように、第1の仮想オブジェクト及び任意選択的に第2の仮想オブジェクトのロケーションがコンピュータシステムによってシフトされていることを除いて、第1の入力に応じて三次元環境内で第1及び第2の仮想オブジェクトの両方を移動及び/又は再配向する)、第3及び第6のロケーションにある第1の仮想オブジェクト及び第2の仮想オブジェクトは、それぞれ、図9Aとは異なる図9Cの互いに対して異なる空間配置を有するオブジェクト918a及び920aなど、第1の個別の空間配置とは異なる、互いに対して第2の個別の空間配置を有する(1028d)(例えば、第1の入力が受信されたときに仮想オブジェクト(単数又は複数)のターゲットロケーション(単数又は複数)が占有されている場合、仮想オブジェクトは、任意選択的に、それらの仮想オブジェクトを再入力することに応じてそれらの相対的な向き及び/又はポジションを維持しない)。可能であれば、再中心化された仮想オブジェクトの相対的空間配置を維持することは、第1の入力に応じてユーザの視点に対してオブジェクトを適切に配置するために必要とされる入力の数を減少させる。
いくつかの実施形態では、第1の入力が受信されると、三次元環境は、三次元環境内の第1の個別のロケーションにある第1の個別の仮想オブジェクト(例えば、第1の仮想オブジェクト又は異なる仮想オブジェクト)と、三次元環境内の第2の個別のロケーションにある第2の個別の仮想オブジェクトとを含む(例えば、第1の個別の仮想オブジェクトは、第1の入力に応じて再中心化されており、第2の個別の仮想オブジェクトは、任意選択的に第1の入力に応じて再中心化されているか、又は任意選択的に第1の入力に応じて再中心化されていない)(1030a)。
いくつかの実施形態では、第1の入力を受信したことに応じて(1030b)、コンピュータシステム(例えば、101)は、第2の個別の仮想オブジェクトを三次元環境内の第3の個別のロケーション(例えば、第2の個別の仮想オブジェクトが第1の入力に応じて再中心化される場合は第2の個別のロケーションとは異なる、又は第2の個別の仮想オブジェクトが第1の入力に応じて再中心化されない場合は第2の個別のロケーションと同じ)に表示する(1030c)。
いくつかの実施形態では、第1の入力を受信したことに応じて(1030b)、ユーザの第1の視点からの第4の個別のロケーションと第3の個別のロケーションとの間の距離の差が閾値距離(例えば、ユーザの第1の視点から0.1、0.3、0.5、1、3、5、10、20、50、100、500、1000又は5000cmの距離の差)よりも大きいという判定に従って、第4の個別のロケーションは第3の個別のロケーションよりもユーザの第1の視点から遠く、1つ以上の基準の第1のセットを満たし(例えば、第4の個別のロケーションは、上述した方法及び/又は方法800を参照して第1の入力に応じて第1の個別の仮想オブジェクトの初期ターゲットロケーションである)、コンピュータシステム(例えば、101)は、第4の個別のロケーションに第1の仮想オブジェクトを表示し、第3の個別のロケーションにある第2の個別の仮想オブジェクトは、オブジェクト918aがオブジェクト910aの背後のロケーションに再中心化されてそこに留まり、図9Bのオブジェクト910aによって覆い隠され、オブジェクト910aの背後のロケーションがオブジェクト910aから少なくとも閾値距離だけ離れている(任意選択的に、第1及び第2のそれぞれの仮想オブジェクトは、それぞれ第4の個別のロケーション及び第3の個別のロケーションに表示されたときに三次元環境内で衝突しない)ために、ユーザの第1の視点から第4の個別のロケーションにある第1の個別の仮想オブジェクトを少なくとも部分的に覆い隠す(1030d)。例えば、コンピュータシステムは、第2の個別の仮想オブジェクトがユーザの第1の視点から第1の個別の仮想オブジェクトを少なくとも部分的に覆い隠している場合であっても、第1の個別の仮想オブジェクトを第4の個別のロケーションに再中心化する。したがって、いくつかの実施形態では、コンピュータシステムは、仮想オブジェクトが他の仮想オブジェクトと衝突する場合、第1の入力に応じて仮想オブジェクトのターゲットロケーションをシフトするが、2つのオブジェクトがユーザの視点に対して深さが互いに十分に離れている場合、ユーザの視点から他の仮想オブジェクトを覆い隠す(が衝突しない)仮想オブジェクトに基づいて(又はその逆)、第1の入力に応じて仮想オブジェクトのターゲットロケーションをシフトしない。
いくつかの実施形態では、第1の入力を受信したことに応じて(1030b)、ユーザの第1の視点からの第4の個別のロケーションと第3の個別のロケーションとの間の距離の差が閾値距離(例えば、ユーザの第1の視点から0.1、0.3、0.5、1、3、5、10、20、50、100、500、1000又は5000cmの距離の差)未満であるという判定に従って、コンピュータシステム(例えば、101)は、第4の個別のロケーションとは異なる第5の個別のロケーションに第1の個別の仮想オブジェクトを表示し、第5の個別のロケーションは、第3の個別のロケーションよりもユーザの第1の視点から遠く、1つ以上の基準の第1のセットを満たし(例えば、第5の個別のロケーションは、上述の方法及び/又は方法800を参照して、第1の入力に応じて第1の個別の仮想オブジェクトのシフトされたターゲットロケーションである)、オブジェクト918aが図9Bのオブジェクト910aの背後のロケーションに再中心化されたが、オブジェクト910aの背後のそのロケーションが少なくとも閾値距離だけオブジェクト910aから分離されておらず、したがってコンピュータシステム101がオブジェクト918aのロケーションをオブジェクト910aによって覆い隠されないように変更した場合などに、第3の個別のロケーションにある第2のそれぞれの仮想オブジェクトは、ユーザの第1の視点から第5の個別のロケーションにある第1の個別の仮想オブジェクトを少なくとも部分的に覆い隠さない(1030e)(及び任意選択的に、第1及び第2の個別の仮想オブジェクトは、それぞれ第5の個別のロケーション及び第3の個別のロケーションに表示されたときに三次元環境内で衝突しない)。例えば、コンピュータシステムは、第2の個別の仮想オブジェクトがユーザの視点から第1の個別の仮想オブジェクトを部分的にさえ覆い隠さないように、コンピュータシステムによって選択された第5の個別のロケーションに第1の個別の仮想オブジェクトを再中心化する。したがって、いくつかの実施形態では、コンピュータシステムは、仮想オブジェクトが他の仮想オブジェクトと衝突する場合、及び/又は2つのオブジェクトがユーザの視点に対して深さ方向に互いに十分に分離されていない場合にユーザの視点から他の仮想オブジェクトを覆い隠す場合(又はその逆)、第1の入力に応じて仮想オブジェクトのターゲットロケーションをシフトする。再中心化に応じて仮想オブジェクトの(深さにおける)分離に応じて、衝突又は見通し線の妨害に基づいて再中心化ロケーションをシフトすることは、第1の入力に応じてユーザの視点に対してオブジェクトを適切に配置するために必要とされる入力の数を減少させる。
方法1000における動作が説明された特定の順序は、例示的なものにすぎず、説明された順序が、動作が実行され得る唯一の順序であることを示すものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。
図11A~図11Eは、いくつかの実施形態による、表示生成構成要素が状態を変更したことに応じて、1つ以上の仮想オブジェクトを選択的に自動的に再中心化するコンピュータシステムの実施例を示す。
図11Aは、コンピュータシステム101の表示生成構成要素(例えば、図1の表示生成構成要素120)を介して可視である三次元環境1102を示し、三次元環境1102は、(例えば、コンピュータシステム101が位置する物理的環境内の第1の部屋1103aの左壁に面して)俯瞰図に示すユーザの視点1126から不可視である。図1~図6を参照して上述したように、コンピュータシステム101は、任意選択的に、表示生成構成要素(例えば、タッチスクリーン)と、複数の画像センサ(例えば、図3の画像センサ314)と、を含む。画像センサは、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又はユーザがコンピュータシステム101と相互作用する間にユーザ若しくはユーザの一部(例えば、ユーザの1つ以上の手)の1つ以上の画像をキャプチャするためにコンピュータシステム101が使用することができるであろう任意の他のセンサのうちの1つ以上を含む。いくつかの実施形態では、以下に図示及び説明されるユーザインタフェースはまた、ユーザインタフェース又は三次元環境をユーザに表示する表示生成構成要素と、物理的環境及び/又はユーザの手の移動(例えば、ユーザから外向きに面する外部センサ)、かつ/又はユーザの視線(例えば、ユーザの顔に向かって内向きに面する内部センサ)を検出するためのセンサとを含む、ヘッドマウントディスプレイ上に実現され得る。
図11Aに示すように、コンピュータシステム101は、コンピュータシステム101の周囲の物理的環境内の1つ以上のオブジェクトを含む、コンピュータシステム101の周囲の物理的環境(例えば、動作環境100)の1つ以上の画像をキャプチャする。いくつかの実施形態では、コンピュータシステム101は、三次元環境1102内の物理的環境の表現を表示し、及び/又は物理的環境は、表示生成構成要素120を介して三次元環境1102内で可視である。例えば、表示生成構成要素120を介して可視である三次元環境1102は、コンピュータシステム101が配置されている部屋1103aの物理的な床並びに後壁及び側壁の表現を含む。三次元環境1102はまた、図11Aの視点1126から表示生成構成要素120を介して可視であるテーブル1122a(俯瞰図の1122bに対応する)と、図11Aのユーザの視点1126から表示生成構成要素120を介して不可視である物理的環境内の第2の部屋1103b内のソファ1124b(俯瞰図に示す)とを含む。
図11Aでは、三次元環境1102はまた、視点1126から可視である仮想オブジェクト1106a(俯瞰図内のオブジェクト1106bに対応する)、1108a(俯瞰図内のオブジェクト1108bに対応する)、1110a(俯瞰図内のオブジェクト1110bに対応する)を含む。仮想オブジェクト1106a、1108a、及び1110aは、任意選択的に、図7A~図7F及び/又は方法800を参照して説明されるものと同様に、図11Aの視点1126から三次元環境1102内に最後に配置又は位置付けられた仮想オブジェクトである。図11Aでは、オブジェクト1106a、1108a及び1110aは、二次元オブジェクトであるが、本開示の例は、任意選択的に、三次元オブジェクトに等しく適用される。仮想オブジェクト1106a、1108a及び1110aは、任意選択的に、アプリケーションのユーザインタフェース(例えば、メッセージングユーザインタフェース、又はコンテンツブラウジングユーザインタフェース)、三次元オブジェクト(例えば、仮想時計、仮想ボール、又は仮想車)、又はコンピュータシステム101の物理的環境に含まれないコンピュータシステム101によって表示される任意の他の要素のうちの1つ以上である。
図7A~7F及び/又は方法800を参照して説明されるように、いくつかの実施形態では、ユーザの特定の以前の視点(又は複数の以前の視点)から最後に配置又は再配置された仮想オブジェクトは、ユーザの新しい現在の視点に再中心化され得る。したがって、いくつかの実施形態では、ユーザの視点が図11Aに示すものから変化し、コンピュータシステム101が再中心化入力を検出した場合、コンピュータシステム101は、図7A~7F及び/又は方法800を参照して説明されるように、仮想オブジェクト1106a、1108a、及び1110aをその変化した視点に再中心化する。しかしながら、いくつかの実施形態では、コンピュータシステム101は、ユーザの変更された視点がユーザの以前の視点と(例えば、方法1200を参照してより詳細に説明されるように、ロケーション及び/又は向きにおいて)十分に異なる場合、仮想オブジェクト1106a、1108a、及び1110aをユーザの変更された視点に自動的に再中心化する。更に、いくつかの実施形態では、コンピュータシステム101は、方法1200を参照して以下でより詳細に説明するように、表示生成構成要素120が第2の状態(例えば、表示生成構成要素120を介して三次元環境1102を不可視である電源オフ又はオフ状態)から第1の状態(例えば、表示生成構成要素120を介して三次元環境1102を可視である電源オン又はオン状態)に遷移したことに応じて、そのような自動再中心化を実行する(又は実行しない)。ウェアラブルデバイス(例えば、ヘッドマウントデバイス)の場合、表示生成構成要素は、任意選択的に、デバイスがユーザの頭部に装着されている間第1の状態にあり、表示生成構成要素は、任意選択的に、デバイスがユーザの頭部から取り外されたことを検出したことに応じて第2の状態に遷移し、表示生成構成要素は、任意選択的に、デバイスがユーザの頭部に配置されて装着されていることを検出したことに応じて、第1の状態に戻る(及び任意選択的に、第1の状態のままである)。
例えば、図11Aから図11Bでは、表示生成構成要素120は、第1の状態から第2の状態に遷移しており、ユーザは、図11Aと比較して、ユーザの物理的環境内の新しいロケーション(例えば、新しいロケーション及び/又は新しい向き)に移動している。例えば、図11Bでは、ユーザは、物理的環境内の第1の部屋1103a内の新しい視点1126に対応する新しいロケーションに移動しており、その部屋1103aの左後壁に面している。三次元環境1102は、コンピュータシステム101が任意選択的にオフ状態にあり、及び/又はユーザの頭部に装着されていないので、コンピュータシステム101を介して不可視であり、表示することもできない。したがって、図11Bには仮想オブジェクトは示されていない。
図11Bから図11Cでは、表示生成構成要素120は、ユーザが図11B(及び図11C)に示す物理的環境内のロケーションにいる間に、第2の状態から第1の状態に遷移している。図11Cに示すように、三次元環境1102は、コンピュータシステム101の表示生成構成要素120を介して再び可視である。更に、三次元環境1102におけるユーザの視点は、物理的環境におけるユーザの更新されたロケーション及び/又は向きに対応する。図11Cでは、物理的環境内のユーザの更新されたロケーション及び/又は向き、及び/又は図11B及び図11Cの三次元環境1102内のユーザの視点は、任意選択的に、図11Aのものとは十分に異なっておらず、したがって、コンピュータシステム101は、表示生成構成要素120が第2の状態から第1の状態に遷移したことに応じて、仮想オブジェクト1106a、1108a、及び1110aをユーザの更新された視点に自動的に再中心化していない。例えば、ユーザは、図11Aのような物理的環境内の同じ部屋1103aに留まっているので、コンピュータシステム101は、任意選択的に、仮想オブジェクト1106a、1108a、及び1110aをユーザの更新された視点に自動的に再中心化していない。仮想オブジェクト1106a、1108a、及び1110aをユーザの更新された視点に自動的に再中心化するための追加又は代替の基準は、方法1200を参照して説明される。その結果、図11Cでは、三次元環境1102は、任意選択的に、図11Cの異なる視点に再中心化されるのではなく、図11Aとは異なる視点からのみ可視である。
図11B及び図11Cとは対照的に、図11Dでは、表示生成構成要素120は、第1の状態から第2の状態に遷移しており、ユーザは、図11A又は図11Cと比較して、ユーザの物理的環境内の新しいロケーション(例えば、新しいロケーション及び/又は新しい向き)に移動している。例えば、図11Dでは、ユーザは、物理的環境内の第2の部屋1103b内の新しい視点1126に対応する新しいロケーションに移動しており、その部屋1103bの後壁に面している。三次元環境1102は、コンピュータシステム101が任意選択的にオフ状態にあり、及び/又はユーザの頭部に装着されていないので、コンピュータシステム101を介して不可視であり、表示することもできない。したがって、図11Dには仮想オブジェクトは示されていない。
図11Dから図11Eでは、表示生成構成要素120は、ユーザが図11D(及び図11E)に示す物理的環境内のロケーションにいる間に、第2の状態から第1の状態に遷移している。図11Eに示すように、三次元環境1102は、コンピュータシステム101の表示生成構成要素120を介して再び可視である。更に、三次元環境1102におけるユーザの視点は、物理的環境におけるユーザの更新されたロケーション及び/又は向きに対応する。図11Eでは、物理的環境内のユーザの更新されたロケーション及び/又は向き、及び/又は図11D及び図11Eの三次元環境1102内のユーザの視点は、任意選択的に、図11A(及び/又は図11C)のものとは十分に異なっておらず、したがって、コンピュータシステム101は、表示生成構成要素120が第2の状態から第1の状態に遷移したことに応じて、仮想オブジェクト1106a、1108a、及び1110aをユーザの更新された視点に自動的に再中心化していない。例えば、ユーザが物理的環境内の第2の部屋1103bに移動したので、コンピュータシステム101は、任意選択的に、図11Eに示すように、仮想オブジェクト1106a、1108a、及び1110aをユーザの更新された視点に自動的に再中心化している。仮想オブジェクト1106a、1108a、及び1110aがユーザの更新された視点にどのように再中心化されるかについての詳細は、方法800及び/又は1000を参照して提供される。仮想オブジェクト1106a、1108a、及び1110aをユーザの更新された視点に自動的に再中心化するための追加又は代替の基準は、方法1200を参照して説明される。その結果、図11Eでは、三次元環境1102は、任意選択的に、図11A(及び/又は図11C)とは異なる視点に再中心化され、そこから可視である。
いくつかの実施形態では、コンピュータシステム101は、ユーザが更新されたロケーション及び/又は視点にいる間(任意選択的に、第1の状態から第2の状態に遷移した後)に、表示生成構成要素が第2の状態から第1の状態に遷移しない限り、仮想オブジェクト及び/又は三次元環境をユーザの更新された視点に自動的に再中心化しない。例えば、表示生成構成要素120が第1の状態のままである間に、ユーザが図11Aに示すロケーション及び/又は視点から図11Eに示すロケーション及び/又は視点に移動した場合、コンピュータシステム101は、任意選択的に、仮想オブジェクト1106a、1108a及び1110aをユーザの更新された視点に自動的に再中心化せず、代わりに、仮想オブジェクト1106a、1108a及び1110aが図11Aに示す三次元環境1102内のそれらのロケーションに留まっている間に、三次元環境1102は、任意選択的に、ユーザの更新された視点から可視であるだけである。したがって、いくつかの実施形態では、三次元環境及び/又は仮想オブジェクトをユーザの更新された視点に自動的に再中心化するために必要とされる条件は、ユーザが、自動再中心化基準を満たす(例えば、方法1200を参照してより詳細に説明されるように、ユーザの以前の視点から十分に異なる)ロケーション及び/又は視点にいる間に、表示生成構成要素が第2の状態から第1の状態に遷移することである。
図12A~図12Eは、いくつかの実施形態による、表示生成構成要素が状態を変更したことに応じて、1つ以上の仮想オブジェクトを選択的に自動的に再中心化する方法を示すフローチャートである。いくつかの実施形態では、方法1200は、表示生成構成要素(例えば、図1、図3、かつ図4の表示生成構成要素120)(例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、又はプロジェクタ)と、1つ以上のカメラ(例えば、ユーザの手の下方を指すカメラ(例えば、カラーセンサ、赤外線センサ、かつ他の深度感知カメラ)又はユーザの頭部から前方を指すカメラ)とを含むコンピュータシステム(例えば、タブレット、スマートフォン、ウェアラブルコンピュータ、又はヘッドマウントデバイスなどの図1のコンピュータシステム101)で実行される。いくつかの実施形態では、方法1200は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1Aのコントローラ110)など、コンピュータシステムの1つ以上のプロセッサによって実行される命令によって実行される。方法1200の一部の動作は、任意選択的に組み合わされ、及び/又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法1200は、表示生成構成要素及び1つ以上の入力デバイスと通信するコンピュータシステム(例えば、101)において実行される。いくつかの実施形態では、コンピュータシステムは、方法800及び/又は1000のコンピュータシステムの1つ以上の特性を有する。いくつかの実施形態では、表示生成構成要素は、方法800及び/又は1000の表示生成構成要素の1つ以上の特性を有する。いくつかの実施形態では、1つ以上の入力デバイスは、方法800及び/又は1000の1つ以上の入力デバイスの特性のうちの1つ以上を有する。
いくつかの実施形態では、表示生成構成要素が第1の状態(例えば、表示生成構成要素がアクティブ及び/又はオンである状態)で動作している間、三次元環境(例えば、1102)(例えば、三次元環境は、任意選択的に、方法800及び/又は1000の三次元環境の1つ以上の特性を有し、任意選択的に、コンピュータシステムのユーザの物理的環境の少なくとも一部を含む。いくつかの実施形態では、物理的環境(の一部)は、表示生成構成要素(例えば、仮想パススルー又はビデオパススルー)を介して三次元環境に表示される。いくつかの実施形態では、物理的環境(の一部)は、表示生成構成要素の透明部分を通して可視であるコンピュータシステムの物理的環境(の一部)のビューである(例えば、真又は実際のパススルー))は、ユーザの第1の視点から可視であり(例えば、方法800及び/又は1000を参照して説明されるように)、ユーザの第1の視点は、図11Aのように、三次元環境に対するユーザの第1の個別の空間配置に関連付けられ(例えば、三次元環境が表示される及び/又は可視である視点は、ユーザの三次元環境及び/又は物理的環境におけるユーザのロケーション及び/又は向きに対応し、ユーザが頭部及び/又は胴体を回転させ及び/又は三次元環境及び/又は物理的環境において移動した場合、三次元環境の対応する異なる部分が表示生成構成要素を介して表示される及び/又は可視であるようになる)、コンピュータシステム(例えば、101)は、三次元環境において、表示生成構成要素を介して、図11Aのオブジェクト1106a、1108a及び/又は1110aのような、ユーザの第1の視点に対する第1の空間配置及び三次元環境に対する第2の空間配置を有する第1の仮想オブジェクトを表示する(1202a)。第1の仮想オブジェクトは、任意選択的に、方法800及び/又は1000における第1の仮想オブジェクトの1つ以上の特性を有する。第1の空間配置は、任意選択的に、三次元環境内のユーザの第1の視点に対する第1の仮想オブジェクトの相対ロケーション及び/又は相対向き(任意選択的に第1の仮想オブジェクト自体の向きを含む)に対応する(例えば、第1の視点から10フィート、第1の視点の中心線の右に30度)。第2の空間配置は、任意選択的に、ユーザの三次元環境及び/又は物理的環境における基準点(例えば、物理的環境におけるユーザのロケーション、三次元環境におけるユーザの頭部及び/又は胴体の向き、ユーザが位置する部屋の中心、又は三次元環境におけるユーザの視点のロケーション)に対する第1のオブジェクトの相対ロケーション及び/又は相対向き(任意選択的に第1の仮想オブジェクト自体の向きを含む)に対応する(例えば、部屋の中心から10フィート、部屋の中心から部屋の後壁までの線の右に30度、部屋の後壁に垂直)。したがって、いくつかの実施形態では、ユーザの視点に対する三次元環境内の相対ロケーションを有する第1の仮想オブジェクトはまた、任意選択的に、表示生成構成要素を介して可視である、物理的環境に対する相対ロケーションを有する。いくつかの実施形態では、第1の空間配置は、ユーザの視点に対する仮想オブジェクトの距離の範囲又は向きの範囲を指定する、方法800及び/又は1000の1つ以上の基準を満たす。いくつかの実施形態では、第1の空間配置は、方法800及び/又は1000の1つ以上の基準を満たさない。
いくつかの実施形態では、ユーザの第1の視点に対する第1の空間配置及び三次元環境に対する第2の空間配置で第1の仮想オブジェクトを表示している間に、コンピュータシステム(例えば、101)は、第1の状態とは異なる第2の状態(例えば、表示生成構成要素が非アクティブ又はオフである状態)への表示生成構成要素の状態の変化に対応する第1のイベントを検出し、表示生成構成要素が第2の状態にある間、図11Aから図11Bへのようにコンピュータシステム101をオフにするなど、三次元環境は表示生成構成要素を介して不可視である(1202b)。例えば、第2の状態は、任意選択的に、コンピュータシステムによって検出された入力(例えば、第1のイベント)に応じてアクティブ化されて、三次元環境の表示を停止及び/又は終了する(例えば、表示された選択可能オプションの選択、又はコンピュータシステムに含まれるハードウェアボタンの選択)。いくつかの実施形態では、表示生成構成要素は、ユーザの頭部に装着されるヘッドマウントデバイス内に含まれ、ユーザの頭部に装着されると、表示生成構成要素は、第1の状態にあり、ユーザは、表示生成構成要素を介して可視である三次元環境を見ることができる。いくつかの実施形態では、例えば、ヘッドマウントデバイスがユーザの頭部から取り外された(例えば、もはやユーザによって装着されていない)という第1のイベントを検出したことに応じて、コンピュータシステムは、表示生成構成要素を第2の状態に遷移させる。
いくつかの実施形態では、第1の状態から第2の状態への表示生成構成要素の状態の変化の後(例えば、第1の状態から第2の状態への表示生成構成要素の状態の変化の後、ユーザが向きを変えた後、及び/又は物理的環境内の異なるロケーションに移動した後)(1202c)、コンピュータシステム(例えば、101)は、第2の状態から表示生成構成要素を介して三次元環境を可視である第1の状態への表示生成構成要素の状態の変化に対応する第2のイベントを検出し、第2のイベントの検出後に表示生成構成要素が第1の状態にある間、三次元環境は、表示生成構成要素を介して、ユーザの第1の視点とは異なる第2の視点(例えば、物理的環境内のユーザの変化した向き及び/又はロケーションに対応する)から可視であり、第2の視点は、図11Cの視点1126などの三次元環境に対するユーザの第2の個別の空間配置に関連付けられる(1202d)。例えば、第2のイベントは、任意選択的に、三次元環境を再表示及び/又は入力するためにコンピュータシステムによって検出される入力(例えば、表示された選択可能オプションの選択、又はコンピュータシステムに含まれるハードウェアボタンの選択)である。いくつかの実施形態では、第2のイベントは、ヘッドマウントデバイスがユーザの頭部上に配置された(例えば、ユーザによって再び装着されている)ことを検出することである。例えば、コンピュータシステムは、ここで、ユーザの更新された視点(例えば、ユーザの物理的環境におけるユーザの新しいロケーション及び/又は向きに対応する、三次元環境における更新されたロケーション及び/又は向きを有する)からの三次元環境を表示する。
いくつかの実施形態では、第1の状態から第2の状態への表示生成構成要素の状態の変化の後(例えば、第1の状態から第2の状態への表示生成構成要素の状態の変化の後にユーザが向きを変えた後、及び/又は物理的環境内の異なるロケーションに移動した後)(1202c)、第2のイベントを検出したことに応じて、三次元環境が第2の視点から可視である間(例えば、コンピュータシステムが第2のイベントを検出したことに応じて表示生成構成要素を第1の状態に遷移させる)、コンピュータシステムは、表示生成構成要素を介して第1の仮想オブジェクトを三次元環境に表示し(1202e)、これは、1つ以上の基準(例えば、第1の仮想オブジェクトを含む方法800及び/又は1000を参照して説明されるような、三次元環境をユーザの更新された視点に再中心化するための1つ以上の基準。1つ以上の基準は、以下でより詳細に説明される)が満たされたという判定に従って、三次元環境において、ユーザの第2の視点に対する第1の空間配置と、図11Eのオブジェクト1106a、1108a及び/又は1110aなどの三次元環境に対する第2の空間配置とは異なる第3の空間配置とで第1の仮想オブジェクトを表示する(1202f)ことを含む。例えば、1つ以上の基準が満たされるので、コンピュータシステムは、三次元環境が最後に表示された第1の視点に対して第1の仮想オブジェクトが表示されたときと同じ第2の視点に対する相対ロケーション及び/又は向きで(例えば、三次元環境において以前とは異なるロケーション及び/又は異なる向きで)第1の仮想オブジェクトを表示する。いくつかの実施形態では、ユーザは現在、三次元環境及び/又は物理的環境において異なる向き及び/又はロケーションにあるため(例えば、第2の視点は、異なる向き及び/又はロケーションに対応する)、そして第1の仮想オブジェクトは、第2の視点に対して以前と同じ第1の空間配置で表示されるため、第1の仮想オブジェクトは、現在、以前の三次元環境及び/又は物理的環境に対して異なる空間配置で表示される(例えば、第1の仮想オブジェクトは、もはや物理的環境内の物理的なテーブル上に表示されないが、現在、物理的環境内の物理的なソファ上に表示される)。
いくつかの実施形態では、第1の状態から第2の状態への表示生成構成要素の状態の変化の後(例えば、第1の状態から第2の状態への表示生成構成要素の状態の変化の後にユーザが向きを変えた後、及び/又は物理的環境内の異なるロケーションに移動した後)(1202c)、第2のイベントを検出したことに応じて、三次元環境が第2の視点から可視である間(例えば、コンピュータシステムが、第2のイベントを検出したことに応じて表示生成構成要素を第1の状態に遷移させる)、コンピュータシステムは、表示生成構成要素を介して、第1の仮想オブジェクトを三次元環境内に表示し(1202e)、これは、1つ以上の基準が満たされないという判定に従って、ユーザの第2の視点に対する第1の空間配置とは異なる第4の空間配置と、図11Cのオブジェクト1110aなどの三次元環境に対する第2の空間配置とで第1の仮想オブジェクトを三次元環境内に表示すること(1202g)を含む。例えば、1つ以上の基準が満たされないので、コンピュータシステムは、三次元環境が最後に表示された第1の視点に対して第1の仮想オブジェクトが表示されたときとは異なる、第2の視点に対する相対ロケーション及び/又は向きで(例えば、以前と同じ三次元環境内のロケーション及び/又は向きで)第1の仮想オブジェクトを表示する。したがって、第1の仮想オブジェクトは三次元環境内に再配置されないので、第1の仮想オブジェクトは、任意選択的に、三次元環境及び/又は物理的環境に対して以前と同じ第2の空間配置で表示される(例えば、第1の仮想オブジェクトは、物理的環境内の物理的なテーブル上に依然として表示される)。いくつかの実施形態では、方法1200を参照して説明される入力は、エアジェスチャ入力であるか、又はエアジェスチャ入力を含む。ユーザの更新された視点に基づいてオブジェクトを選択的に再中心化することは、三次元環境の表示を開始するときにユーザがオブジェクトをアクセス可能にするのに必要な入力の数を減少させる。
いくつかの実施形態では、1つ以上の基準は、図11Aと11D/Eとの間など、第1のイベントと第2のイベントとの間の持続時間が時間閾値(例えば、5分、30分、1時間、3時間、6時間、12時間、24時間、48時間、96時間、又は192時間)を上回るときに満たされ、図11Aと11B/Cとの間など、第1のイベントと第2のイベントとの間の持続時間が時間閾値未満であるときには満たされない(1204)。例えば、コンピュータシステムは、任意選択的に、第1のイベントを検出してからの時間が時間閾値未満であった場合、第2のイベントを検出したことに応じて三次元環境をユーザの新しい視点に自動的に再中心化せず、任意選択的に、第1のイベントを検出してからの時間が時間閾値より大きい場合、第2のイベントを検出したことに応じて三次元環境をユーザの新しい視点に自動的に再中心化する。時間に基づいてユーザの更新された視点にオブジェクトを選択的に再中心化することは、追加のコントロールを表示することなく適切なときに再中心化が実行されることを可能にする。
いくつかの実施形態では、1つ以上の基準は、ユーザの第2の視点が、図11Aと図11D/Eとの間など、三次元環境内のユーザの第1の視点からの閾値距離(例えば、0.1、0.5、1、3、5、10、20、50、100、又は300メートル)を上回るときに満たされ、ユーザの第2の視点が、図11Aと図11B/Cとの間など、三次元環境内のユーザの第1の視点からの閾値距離未満であるときには満たされない(1206)。例えば、ユーザが、第1のイベントが検出されたユーザの物理的環境内のロケーションから閾値距離を超えて離れて移動した場合に第2のイベントが検出されると、コンピュータシステムは、任意選択的に、第2のイベントを検出したことに応じて、三次元環境をユーザの新しい視点に自動的に再中心化する。一方、ユーザが、第1のイベントが検出されたユーザの物理的環境内のロケーションから閾値距離を超えて離れて移動していない場合に第2のイベントが検出されると、コンピュータシステムは、任意選択的に、第2のイベントを検出したことに応じて、三次元環境をユーザの新しい視点に自動的に再中心化しない。距離に基づいてユーザの更新された視点にオブジェクトを選択的に再中心化することは、追加のコントロールを表示することなく適切なときに再中心化が実行されることを可能にする。
いくつかの実施形態では、1つ以上の基準は、図11Aと図11D/Eとの間など、三次元環境におけるユーザの第1の視点と第2の視点との間の向きの差が閾値より大きい(例えば、第2の視点の向きが、第1の視点の向きに対して5、10、20、30、45、90、120、又は150度を超えて回転される)ときに満たされ、図11Aと図11B/Cとの間など、三次元環境におけるユーザの第1の視点と第2の視点との間の向きの差が閾値未満であるときには満たされない(1208)。例えば、ユーザが、第1のイベントが検出されたユーザの物理的環境内のユーザ(例えば、ユーザの頭部、身体、肩、及び/又は胴体)の向きから閾値配向を超えて頭部、身体、肩、及び/又は胴体を移動及び/又は再配向させた場合に第2のイベントが検出されると、コンピュータシステムは、任意選択的に、第2のイベントを検出したことに応じて、三次元環境をユーザの新しい視点に自動的に再中心化する。一方、ユーザが、第1のイベントが検出されたユーザの物理的環境内のユーザ(例えば、ユーザの頭部、身体、肩、及び/又は胴体)の向きから閾値配向を超えて頭部、身体、肩、及び/又は胴体を移動及び/又は再配向させていない場合に第2のイベントが検出されると、コンピュータシステムは、任意選択的に、第2のイベントを検出したことに応じて、三次元環境をユーザの新しい視点に自動的に再中心化しない。向きに基づいてユーザの更新された視点にオブジェクトを選択的に再中心化することは、追加のコントロールを表示することなく適切なときに再中心化が実行されることを可能にする。
いくつかの実施形態では、1つ以上の基準は、図11Aと図11D/Eとの間など、ユーザの第1の視点が三次元環境における第1の部屋の中のロケーションに対応し、ユーザの第2の視点が三次元環境における第1の部屋とは異なる第2の部屋の中のロケーションに対応する場合(例えば、ユーザの視点が第1の視点であった場合、ユーザはユーザの物理的環境の第1の部屋に位置し、ユーザの視点が第2の視点であった場合、ユーザはユーザの物理的環境の第2の部屋に位置する)に満たされ、図11Aと図11B/Cとの間など、ユーザの第1の視点及びユーザの第2の視点が三次元環境内の同じ部屋の中のロケーションに対応する場合には満たされない(1210)。いくつかの実施形態では、1つ以上の基準は、追加的又は代替的に、第1の視点に対応するユーザのロケーションが、ユーザの物理的環境内の少なくとも1つの壁によって、第2の視点に対応するユーザのロケーションから分離されるときに満たされる。例えば、ユーザが、第1のイベントが検出されたユーザの物理的環境内のロケーションを含む部屋とは異なる部屋に移動した場合に第2のイベントが検出されると、コンピュータシステムは、任意選択的に、第2のイベントを検出したことに応じて、三次元環境をユーザの新しい視点に自動的に再中心化する。一方、ユーザが、第1のイベントが検出されたユーザの物理的環境内のロケーションを含む部屋とは異なる部屋に移動していない場合に第2のイベントが検出されると、コンピュータシステムは、任意選択的に、第2のイベントを検出したことに応じて、三次元環境をユーザの新しい視点に自動的に再中心化しない。異なる部屋へのユーザの移動に基づいてユーザの更新された視点にオブジェクトを選択的に再中心化することは、追加のコントロールを表示することなく適切なときに再中心化が実行されることを可能にする。
いくつかの実施形態では、三次元環境がユーザの第2の視点から可視である間に、図11Cのように、表示生成構成要素を介して、1つ以上の基準が満たされていない(例えば、三次元環境が第2のイベントを検出したことに応じてユーザの第2の視点に自動的に再中心化されなかった)という判定に従って、ユーザの第2の視点に対する第4の空間配置及び三次元環境に対する第2の空間配置で第1の仮想オブジェクトを表示している間に、コンピュータシステム(例えば、101)は、1つ以上の入力デバイスを介して、図11Cで検出されている入力など、ユーザの第2の視点に対する仮想オブジェクトの距離の範囲又は向きの範囲を指定する1つ以上の基準の第1のセットを満たすように、ユーザの第2の視点に対する第1の仮想オブジェクトの空間配置を更新する要求に対応する入力を、1つ以上の入力デバイスを介して検出する(例えば、方法800を参照して説明されるように)(1012a)。入力は、任意選択的に、方法800、1000、及び/又は1400を参照して説明される第1の入力(例えば、再中心化入力)の特性のうちの1つ以上を有する。
いくつかの実施形態では、入力を検出したことに応じて、コンピュータシステム(例えば、101)は、オブジェクト1106a、1108a及び/又は1110aが、図11Aの視点1126に対して有していた図11Cの視点1126に対する空間配置で図11Cに表示された場合など、ユーザの第2の視点に対する第1の空間配置及び三次元環境に対する第3の空間配置で第1の仮想オブジェクトを三次元環境に表示する(1012b)。したがって、いくつかの実施形態では、コンピュータシステムが、第2のイベントを検出したことに応じて三次元環境をユーザの第2の視点に自動的に再中心化しなかったとしても、ユーザは、その後、そうするための入力を提供することによって、三次元環境を手動で再中心化することができる。いくつかの実施形態では、第2のイベントに応答した再中心化及びユーザ入力に応答した再中心化の結果は同じである。手動再中心化を提供することにより、仮想オブジェクトを三次元環境内の適切なポジションに配置する効率的な方法が提供される。
いくつかの実施形態では、1つ以上の基準の第1のセットを満たすようにユーザの第2の視点に対する第1の仮想オブジェクトの空間配置を更新する要求に対応する入力は、図7Bを参照して説明される入力などの、コンピュータシステムの物理的ボタンの選択を含む(1014)。いくつかの実施形態では、表示生成構成要素は、物理的押下可能ボタンを含むデバイス(例えば、物理的デバイス)に含まれる。いくつかの実施形態では、ボタンはまた、(例えば、方法800を参照して説明されるように、コンピュータシステムが三次元環境を表示している没入レベルを増加させる又は低下させるために)回転可能である。いくつかの実施形態では、デバイスは、仮想又は拡張現実ヘッドセットなどのヘッドマウントデバイスである。いくつかの実施形態では、入力は、ボタンの押下であるか、又はボタンの押下を含む(ボタンの回転は含まない)。物理的ボタンの起動を介して手動再中心化を提供することにより、仮想オブジェクトを三次元環境内の適切なポジションに配置する効率的な方法が提供される。
いくつかの実施形態では、表示生成構成要素は、ユーザによって装着可能であるウェアラブルデバイス(例えば、仮想又は拡張現実ヘッドセット又は眼鏡などのヘッドマウントデバイス)内に含まれ、第1のイベントを検出することは、ユーザがもはやウェアラブルデバイスを装着していないことを検出すること(例えば、ユーザが頭部からヘッドマウントデバイスを取り外したことを検出すること、及び/又はヘッドマウントデバイスがもはやユーザの頭部上にないことを検出すること)を含む(1016)。スマートウォッチなどの他のウェアラブルデバイスも企図される。いくつかの実施形態では、第2のイベントを検出することは、ユーザがヘッドマウントデバイスを自分の頭部に配置したことを検出すること、及び/又はヘッドマウントデバイスがユーザによって再び装着されていることを検出することを含む。ユーザがデバイスを装着しているかどうかに基づいて表示生成構成要素の第2の状態に遷移することは、第2の状態に遷移するために必要とされる入力の数を減少させる。
いくつかの実施形態では、第1のイベントを検出することは、表示生成構成要素を介して三次元環境の可視性を停止する要求に対応する入力を検出することを含む(1018)。例えば、入力は、コンピュータシステムによって提示されている仮想又は拡張現実体験を閉じるための入力である。いくつかの実施形態では、仮想又は拡張現実体験は、コンピュータシステムによって実行されているアプリケーションによって提供されており、入力は、そのアプリケーションを閉じるための入力である。いくつかの実施形態では、入力は、仮想又は拡張現実体験のフルスクリーンモードを終了するための入力である。いくつかの実施形態では、入力は、方法800を参照して説明されるように、コンピュータシステムが三次元環境を表示している没入レベルを(例えば、前述の物理的ボタンを第1の方向に回転させることによって)減少させるための入力である。いくつかの実施形態では、第2のイベントは、仮想又は拡張現実体験を開く又は開始するための入力である。いくつかの実施形態では、第2のイベントは、仮想又は拡張現実体験を提供するアプリケーションを開く又は起動するための入力である。いくつかの実施形態では、第2のイベントは、方法800を参照して説明されるように、コンピュータシステムが(例えば、第1の方向とは異なる第2の方向に前述の物理的ボタンを回転させることによって)三次元環境を表示している没入レベルを(例えば、閾値没入レベル以上に)増加させる入力である。ユーザ入力に基づいて表示生成構成要素の第2の状態に遷移することは、第2の状態に遷移する効率的な方法を提供する。
いくつかの実施形態では、第1のイベントを検出することは、表示生成構成要素を低電力状態にする要求に対応する入力を検出することを含む(1020)。例えば、いくつかの実施形態では、表示生成構成要素は、デバイス(例えば、ヘッドマウントデバイス)内に含まれ、入力は、デバイスへの電力をオフにする、又はデバイスをスリープ若しくは低電力モードにするための入力である。いくつかの実施形態では、第2のイベントは、デバイスへの電力をオンにするための、又はデバイスを通常電力モードにするための(例えば、スリープ又は低電力モードから出るための)入力である。ユーザがデバイスを装着しているかどうかに基づいて表示生成構成要素の第2の状態に遷移することは、第2の状態に遷移するために必要とされる入力の数を減少させる。
方法1200における動作が説明された特定の順序は、例示的なものにすぎず、説明された順序が、動作が実行され得る唯一の順序であることを示すものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。
図13A~図13Cは、いくつかの実施形態による、コンピュータシステムにおいて検出された入力に応じて、複数のユーザ間の通信セッションに関連付けられたコンテンツを選択的に再中心化するコンピュータシステムの実施例を示す。
図13Aは、コンピュータシステム101a及び101bのそれぞれの表示生成構成要素120a及び120b(例えば、図1の表示生成構成要素120)を介して可視である2つの三次元環境1302a及び1302bを示す。コンピュータシステム101aは、任意選択的に、第1の物理的環境内に配置され、三次元環境1302aは、任意選択的に、その表示生成構成要素120aを介して可視であり、コンピュータシステム101bは、任意選択的に、第2の物理的環境内に配置され、三次元環境1302bは、任意選択的に、その表示生成構成要素120bを介して可視である。三次元環境1302aは、俯瞰図に示すユーザの視点1328cから可視である(例えば、コンピュータシステム101aが位置する部屋の壁に面している)。三次元環境1302bは、俯瞰図に示すユーザの視点1330cから可視である(例えば、コンピュータシステム101bが位置する部屋の壁に面している)。俯瞰図は、任意選択的に、コンピュータシステム101aを介して可視である三次元環境1302a内の様々な仮想オブジェクト及び/又はユーザの表現(両方とも後でより詳細に説明する)の互いに対するレイアウトに対応する。コンピュータシステム101bを介して可視である三次元環境1302bの俯瞰図は、任意選択的に、対応する要素を含み、及び/又は対応する相対的なレイアウトを反映する。コンピュータシステム101a及び101bは、以下で方法1400を参照してより詳細に説明するように、コンピュータシステム101a及び101bによって表示されるそれぞれの三次元環境におけるユーザ及び共有仮想オブジェクトの表現の互いに対する相対ロケーションが一貫している及び/又は同じであるように、通信セッションに任意選択的に参加している。
図1~図6を参照して上述したように、コンピュータシステム101a及び101bは、任意選択的に、表示生成構成要素(例えば、タッチスクリーン)と、複数の画像センサ314a及び314b(例えば、図3の画像センサ314)と、を含む。画像センサは、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又はユーザがコンピュータシステム101a又は101bと相互作用する間にユーザ若しくはユーザの一部(例えば、ユーザの1つ以上の手)の1つ以上の画像をキャプチャするためにコンピュータシステム101及び101bが使用することができるであろう任意の他のセンサのうちの1つ以上を含む。いくつかの実施形態では、以下に図示及び説明されるユーザインタフェースはまた、ユーザインタフェース又は三次元環境をユーザに表示する表示生成構成要素と、物理的環境及び/又はユーザの手の移動(例えば、ユーザから外向きに面する外部センサ)、かつ/又はユーザの視線(例えば、ユーザの顔に向かって内向きに面する内部センサ)を検出するためのセンサとを含む、ヘッドマウントディスプレイ上に実現され得る。
図13Aに示すように、コンピュータシステム101aは、コンピュータシステム101aの周囲の物理的環境内の1つ以上のオブジェクトを含む、コンピュータシステム101aの周囲の物理的環境(例えば、動作環境100)の1つ以上の画像をキャプチャする。いくつかの実施形態では、コンピュータシステム101aは、三次元環境1302a内の物理的環境の表現を表示し、及び/又は物理的環境は、表示生成構成要素120aを介して三次元環境1302a内で可視である。例えば、表示生成構成要素120aを介して可視である三次元環境1302aは、コンピュータシステム101aが配置されている部屋の物理的な床並びに後壁及び側壁の表現を含む。三次元環境1302aはまた、図13Aの視点1328cから表示生成構成要素を介して可視であるテーブル1322aを含む。
コンピュータシステム101bは、任意選択的に、コンピュータシステム101bの周囲の物理的環境内の1つ以上のオブジェクトを含む、コンピュータシステム101bの周囲の物理的環境(例えば、動作環境100)の1つ以上の画像を同様にキャプチャする。いくつかの実施形態では、コンピュータシステム101bは、三次元環境1302b内の物理的環境の表現を表示し、及び/又は物理的環境は、表示生成構成要素120bを介して三次元環境1302b内で可視である。例えば、表示生成構成要素120bを介して可視である三次元環境1302bは、コンピュータシステム101bが配置されている部屋の物理的な床並びに後壁及び側壁の表現を含む。三次元環境1302bはまた、図13Aの視点1330cから表示生成構成要素を介して可視であるソファ1324aを含む。
図13Aでは、三次元環境1302aはまた、視点1328cから可視である仮想オブジェクト1306a(俯瞰図内のオブジェクト1306cに対応する)、1308a(俯瞰図内のオブジェクト1308cに対応する)、1310a(俯瞰図内のオブジェクト1310cに対応する)を含む。図13Aでは、オブジェクト1306a、1308a及び1310aは、二次元オブジェクトであるが、本開示の例は、任意選択的に、三次元オブジェクトに等しく適用される。三次元環境1302aはまた、図13Aのコンピュータシステム101aのユーザの視点1328cから三次元環境1302aにおいて現在不可視である仮想オブジェクト1312cを含む。仮想オブジェクト1306a、1308a、1310a及び1312cは、任意選択的に、アプリケーションのユーザインタフェース(例えば、メッセージングユーザインタフェース、又はコンテンツブラウジングユーザインタフェース)、三次元オブジェクト(例えば、仮想時計、仮想ボール、又は仮想車)、又はコンピュータシステム101aの物理的環境に含まれないコンピュータシステム101aによって表示される任意の他の要素のうちの1つ以上である。三次元環境1302aはまた、コンピュータシステム101bのユーザの表現1330aと、やはり通信セッションに関与する別のコンピュータシステムのユーザの表現1332aとを含む。本明細書で説明されるユーザの表現は、任意選択的に、対応するユーザのアバター又は他の視覚表現である。ユーザのそのような表現についての追加又は代替の詳細は、方法1400を参照して提供される。
コンピュータシステム101bを介して可視である三次元環境1302bはまた、通信セッションにやはり関与する他のコンピュータシステム(コンピュータシステム101a及び101a以外)のユーザの仮想オブジェクト1308b(仮想オブジェクト1308a及び1308cに対応する)、仮想オブジェクト1310b(仮想オブジェクト1310a及び1310cに対応する)、及び表現1332b(表現1332aに対応する)を含む。しかしながら、仮想オブジェクト1308b及び1310b、並びに表現1332bは、俯瞰図に示すように、コンピュータシステム101bのユーザの異なる視点1330cに対応する、コンピュータシステム101aを介したものとは異なる視点から可視である。コンピュータシステム101bを介して可視である三次元環境1302bはまた、コンピュータシステム101bのユーザの視点1330cから可視である、コンピュータシステム101aのユーザの表現1328bを含む。
三次元環境1302aに戻ると、仮想オブジェクト1308a及び1310aは、任意選択的に、共有仮想オブジェクトである(図13A~図13Cのテキスト「共有」によって示されるように)。共有仮想オブジェクトは、任意選択的に、それぞれの三次元環境において共有されるユーザ及び/又はコンピュータシステムからアクセス可能及び/又は可視である。例えば、三次元環境1302bは、仮想オブジェクト1308a及び1310aが任意選択的にコンピュータシステム101bと共有されるので、図13Aに示すように、それらの共有仮想オブジェクト1308b及び1310bを含む。対照的に、仮想オブジェクト1306aは、任意選択的に、コンピュータシステム101aに対してプライベートである(図13A-13Cにおいてテキスト「プライベート」によって示されるように)。仮想オブジェクト1312cも、任意選択的に、コンピュータシステム101aに対してプライベートである。プライベート仮想オブジェクトは、任意選択的に、プライベートであるユーザ及び/又はコンピュータシステムからアクセス可能及び/又は可視であり、プライベートでないユーザ及び/又はコンピュータシステムからアクセス可能及び/又は可視ではない。例えば、三次元環境1302bは、仮想オブジェクト1306aの表現を含まない。なぜなら、仮想オブジェクト1306aは、任意選択的に、コンピュータシステム101bではなくコンピュータシステム101aに対してプライベートだからである。共有及びプライベート仮想オブジェクトについての追加又は代替の詳細は、方法1400を参照して説明される。
いくつかの実施形態では、共有仮想オブジェクト及び/又はユーザの表現は、通信セッションに関与する複数のユーザ及び/又はコンピュータシステムによってアクセス可能及び/又は可視であるため、通信セッション内の所与のユーザの視点に対してそのような共有仮想オブジェクト及び/又はユーザの表現を移動させるための入力は、任意選択的に、好ましくは、通信セッション内の他のユーザの視点に対してそれらの共有仮想オブジェクトを移動させることを回避する。更に、プライベート仮想オブジェクトは、共有仮想オブジェクト及び/又はユーザの表現との衝突を回避するために任意選択的にシフトされる(例えば、方法1000及び/又は1400を参照して説明されるように)。以下、その例を説明する。
図13Aでは、コンピュータシステム101bは、三次元環境1302bにおいて共有仮想オブジェクト1308bを移動させるためのコンピュータシステム101bのユーザの手1303bからの入力(例えば、方法1400を参照して説明されるようなエアジェスチャ入力)を検出する。それに応じて、コンピュータシステム101bは、図13Bに示すように、手1303bからの入力に従って、仮想オブジェクト1308bを三次元環境1302b内のユーザの視点1330cから離れるように移動させる。結果として、三次元環境1302a内の仮想オブジェクト1308a(仮想オブジェクト1308bに対応する)は、それに対応して、俯瞰図を含む図13Bに示すように、コンピュータシステム101aによって三次元環境1302a内で左方向に移動される。
図13Bでは、コンピュータシステム101aは、共有仮想オブジェクト1308a及び1310a並びに/又は表現1330a及び1332aを視点1328cに対して再配置及び/又は再配向するための入力を検出する。例えば、入力は、任意選択的に、(例えば、方法800、1000、1200及び/又は1400を参照して説明するように)基準の1つ以上のセットを満たすために、視点1328cに対する仮想オブジェクト1306a、1308a、1310a及び/又は1312a並びに/又は表現1330及び/又は1332aの相対ロケーション及び/又は向きを更新するための、(例えば、方法800、1000、1200及び/又は1400を参照して説明するように)コンピュータシステム101aにおいて検出される再中心化入力である。
それに応じて、コンピュータシステム101aは、図13Cに示すように、視点1328cに対する共有仮想オブジェクト及びユーザの表現の相対ロケーション及び/又は向きを更新する。例えば、仮想オブジェクト1308a及び1310aは、通信セッションにおいて複数のユーザ間で共有されるので、コンピュータシステム101aは、任意選択的に、コンピュータシステム101aのユーザ以外のユーザの視点(例えば、視点1330c及び1332c)に対する仮想オブジェクト1308a及び1310aの相対ロケーション及び/又は向きを変更しない。むしろ、コンピュータシステム101aは、図13Cに示すように、仮想オブジェクト1308a及び1310aが視点1328cに対して移動する(例えば、視点1328cにより近くなる)ように、視点1328cを移動させる。視点1328cの移動はまた、任意選択的に、視点1330c及び1332c並びに表現1330a(ここでは視点1328cからのユーザの視野の外にある)及び1332aに対して同様に行われる。結果として、視点1328cから、仮想オブジェクト1308a及び1310a並びに表現1330a及び1332aは、三次元環境1302aにおいて移動しているが、仮想オブジェクト1308b及び1310b並びに表現1332bは、三次元環境1302bにおいて移動していない。仮想オブジェクト1308a及び1310aに対する、並びに視点1330c及び1332cに対する図13Cの視点1328cの相対移動はまた、図13Cに示すように、三次元環境1302b内の表現1328bをそれに応じて移動させる。
更に、コンピュータシステム101aは、任意選択的に、(例えば、それらが共有仮想オブジェクトであるので)視点1330c及び1332cに対する仮想オブジェクト1308a及び1310aの相対ポジションを変更しないので、仮想オブジェクト1308a及び1310aは、三次元環境1302a内の物理的オブジェクト(例えば、テーブル1322a)と衝突しても、図13Cにおけるそれらのそれぞれのロケーション及び/又は向きに留まる。例えば、図13Cでは、仮想オブジェクト1310aは、図13Bで検出された入力に応じて、そのターゲットロケーションでテーブル1322aと衝突している(例えば、交差している)。しかしながら、コンピュータシステム101aは、任意選択的に、テーブル1322aとの衝突を回避するために、仮想オブジェクト1310aのロケーション及び/又は向きに関して動作を実行しない(例えば、仮想オブジェクト1308a及び1310aに対する視点1328cの移動は、三次元環境1302a内の物理的オブジェクトから独立している、及び/又は物理的オブジェクトを考慮しない)。
共有仮想オブジェクトとは対照的に、コンピュータシステム101aは、任意選択的に、図13Bにおいて検出された入力に応じて、他の仮想オブジェクト又は物理的オブジェクトとの衝突を回避するために、プライベート仮想オブジェクトのロケーション及び/又は向きを変更する動作を実行するが、これは、プライベート仮想オブジェクトのロケーション及び/又は向きを変更することは、通信セッションに参加している他のコンピュータシステムによって表示される三次元環境に影響を及ぼさないからである(例えば、それらのプライベート仮想オブジェクトは、それらの他のコンピュータシステムからアクセス可能ではないからである)。例えば、図13Cでは、コンピュータシステム101aは、図13Bで検出された入力に応じて、図13Bで検出された入力から生じる仮想オブジェクト1308aとの衝突を回避するために、仮想オブジェクト1306aを図13Bのそのロケーションから(例えば、右方向に)シフトしている。更に、仮想オブジェクト1312aに関して、図13Bにおける入力に応答したそのロケーションは、任意選択的に、俯瞰図において1312c’によって示される通りであったはずであるが、そのロケーションでは、任意選択的に、テーブル1322aと衝突したはずである。結果として、コンピュータシステム101aは、テーブル1322aとの衝突を回避するために、仮想オブジェクト1312aを(例えば、視点1328cから離れるように)シフトしている。衝突を回避するためのオブジェクトのシフトは、前に説明された方法1000の1つ以上の態様に従って任意選択的に実行される。
図14A~図14Eは、いくつかの実施形態による、コンピュータシステムにおいて検出された入力に応じて、複数のユーザ間の通信セッションに関連付けられたコンテンツを選択的に再中心化する方法を示すフローチャートである。いくつかの実施形態では、方法1400は、表示生成構成要素(例えば、図1、図3、かつ図4の表示生成構成要素120)(例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、又はプロジェクタ)と、1つ以上のカメラ(例えば、ユーザの手の下方を指すカメラ(例えば、カラーセンサ、赤外線センサ、かつ他の深度感知カメラ)又はユーザの頭部から前方を指すカメラ)とを含むコンピュータシステム(例えば、タブレット、スマートフォン、ウェアラブルコンピュータ、又はヘッドマウントデバイスなどの図1のコンピュータシステム101)で実行される。いくつかの実施形態では、方法1400は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1Aのコントローラ110)など、コンピュータシステムの1つ以上のプロセッサによって実行される命令によって実行される。方法1400の一部の動作は、任意選択的に組み合わされ、及び/又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法1400は、表示生成構成要素(例えば、120a)及び1つ以上の入力デバイスと通信する第1のコンピュータシステム(例えば、101a)において実施される。いくつかの実施形態では、コンピュータシステムは、方法800、1000及び/又は1200のコンピュータシステムの1つ以上の特性を有する。いくつかの実施形態では、表示生成構成要素は、方法800、1000及び/又は1200の表示生成構成要素の1つ以上の特性を有する。いくつかの実施形態では、1つ以上の入力デバイスは、方法800、1000及び/又は1200の1つ以上の入力デバイスの特性のうちの1つ以上を有する。
いくつかの実施形態では、図13Aのコンピュータシステム101a及び101bなどに関して、第1のコンピュータシステムの第1のユーザと第2のコンピュータシステムの第2のユーザとの間の通信セッションが進行中であり、図13Aの三次元環境1302aなどの三次元環境(例えば、方法800、1000及び/又は1200の三次元環境の1つ以上の特性を任意選択的に有する三次元環境)が、表示生成構成要素を介して第1のユーザの第1の視点から可視である間(例えば、方法800、1000及び/又は1200を参照して説明されるように)、コンピュータシステムは、表示生成構成要素を介して、図13Aのオブジェクト1308a及び1310aなどの第1の仮想オブジェクト及び第2の仮想オブジェクトを含む複数の仮想オブジェクトを三次元環境内に表示する(1402a)。いくつかの実施形態では、図13Aのオブジェクト1308a及び/又は1310aなどの複数の仮想オブジェクトのうちの第1の仮想オブジェクトは、第1のコンピュータシステム及び第2のコンピュータシステム(並びに任意選択的に、付加的コンピュータシステム)からアクセス可能である(1402b)。例えば、三次元環境内のオブジェクト及び/又は三次元環境は、第1のコンピュータシステム及び第2のコンピュータシステムの両方によって同時に表示されているが、それぞれのユーザに関連付けられた異なる視点から表示されている。第1のコンピュータシステムは、任意選択的に第1のユーザに関連付けられ、第2のコンピュータシステムは、任意選択的に第1のユーザとは異なる第2のユーザに関連付けられている。いくつかの実施形態では、第1及び第2のコンピュータシステムは、同じ物理的環境内にある(例えば、同じ部屋の異なるロケーションにある)。いくつかの実施形態では、第1及び第2のコンピュータシステムは、異なる物理的環境(例えば、異なる都市、異なる部屋、異なる州、及び/又は異なる国)に位置する。いくつかの実施形態では、第1及び第2のコンピュータシステムは、三次元環境内のオブジェクト及び/又は2つのコンピュータシステムによる三次元環境の表示が調整される(例えば、第1のコンピュータシステムの第1のユーザからの入力に応じて行われた三次元環境内のオブジェクト及び/又は三次元環境に対する変更が、第2のコンピュータシステムによる三次元環境内のオブジェクト及び/又は三次元環境の表示に反映される)ように、互いに通信する。
いくつかの実施形態では、三次元環境は、図13Aの表現1330a及び/又は1332aなどの、三次元環境内の第1のロケーションにおける第2のコンピュータシステムの第2のユーザの表現(1402d)を含む(1402c)(例えば、第2のコンピュータシステムのユーザに対応するアバター、及び/又は第2のコンピュータシステムのユーザのユーザの漫画若しくは現実的(三次元)モデル、いくつかの実施形態では、第1のロケーションは、第2のコンピュータシステムが三次元環境を表示している視点のロケーションに対応し、任意選択的に、第2のコンピュータシステムのユーザの物理的環境内の物理的なロケーションに対応する)。いくつかの実施形態では、第1のコンピュータシステムによってアクセス可能である第1の仮想オブジェクト(例えば、第1の仮想オブジェクトは、任意選択的に、方法800、1000、1200、及び/又は1600における仮想オブジェクト(単数又は複数)の1つ以上の特性を有する)は、図13Aにおけるオブジェクト1308a及び/又は1310aのように三次元環境内の第2のロケーションに表示され、第1の仮想オブジェクトは、第2のコンピュータシステムによってアクセス可能である(1402e)。いくつかの実施形態では、第1のコンピュータシステムによってアクセス可能な第2の仮想オブジェクト(例えば、第2の仮想オブジェクトは、任意選択的に、方法800、1000、1200、及び/又は1600における仮想オブジェクト(単数又は複数)の1つ以上の特性を有する)は、三次元環境内の第3のロケーションに表示され、第2の仮想オブジェクトは、図13Aにおけるオブジェクト1306aのように第2のコンピュータシステムによってアクセス可能ではない(1402f)。いくつかの実施形態では、第1の仮想オブジェクトは、共有仮想オブジェクトである(例えば、第1のコンピュータシステムのユーザによって第2のコンピュータシステムのユーザと共有される、又はその逆である)。共有仮想オブジェクトは、任意選択的に、それが共有されるコンピュータシステムによって表示される三次元環境に表示される。したがって、第1の仮想オブジェクトは、任意選択的に、第1及び第2のコンピュータシステムの両方によって、それらのそれぞれの三次元環境内の第2のロケーションに表示される。更に、共有仮想オブジェクトが共有されるコンピュータシステムのユーザは、任意選択的に、共有仮想オブジェクトと相互作用する(例えば、共有仮想オブジェクトに入力を提供する、又は三次元環境内(単数又は複数)で共有仮想オブジェクトを移動させる)ことができる。いくつかの実施形態では、第2の仮想オブジェクトは、プライベート仮想オブジェクト(例えば、第1のコンピュータシステムのユーザにとってプライベート)である。プライベート仮想オブジェクトは、それがプライベートであるコンピュータシステムによってのみ三次元環境において任意選択的に表示される。したがって、第2の仮想オブジェクトは、任意選択的に、第1のコンピュータシステムによって三次元環境内の第3のロケーションに表示されるが、第2のコンピュータシステムによっては表示されない。いくつかの実施形態では、第2のコンピュータシステムは、第2の仮想オブジェクトのコンテンツを三次元環境内に表示することなく、第2のコンピュータシステムによって表示される三次元環境内の第3のロケーションに第2の仮想オブジェクトの輪郭又は他のインジケーションを表示し、一方、第1のコンピュータシステムは、第1のコンピュータシステムによって表示される三次元環境内に第2の仮想オブジェクトのコンテンツを表示する。更に、いくつかの実施形態では、プライベート仮想オブジェクトがプライベートである対象のコンピュータシステムのユーザのみが、プライベート仮想オブジェクトと相互作用する(例えば、プライベート仮想オブジェクトに入力を提供する、三次元環境内(単数又は複数)でプライベート仮想オブジェクトを移動させる)ことができる。
いくつかの実施形態では、第2のユーザの表現は、図13Aのオブジェクト1308aに対する1332aの空間配置などの、第1の仮想オブジェクトに対する第1の空間配置を有する(1402g)。例えば、第1の仮想オブジェクトの向きに対する第2のユーザの表現の向きは特定の相対向きであり、第2のユーザの表現と第1の仮想オブジェクトとの間の距離は特定の距離であり、三次元環境における第1の仮想オブジェクトのロケーションに対する第2のユーザの表現のロケーションは特定の相対ロケーションであり、及び/又は第2のユーザの表現と三次元環境における第1の仮想オブジェクトとの相対高さは特定の相対高さである。いくつかの実施形態では、第2の仮想オブジェクトは、図13Aのオブジェクト1308a及び表現1332aに対するオブジェクト1306aの空間配置など、第1の仮想オブジェクト及び第2のユーザの表現に対する第2の空間配置を有する(1402h)。例えば、第1の仮想オブジェクトの向きに対する第2の仮想オブジェクトの向き及び/又は第2のユーザの表現は、特定の相対向きであり、第2の仮想オブジェクトと第1の仮想オブジェクトとの間の距離及び/又は第2のユーザの表現は、特定の距離であり、三次元環境における第1の仮想オブジェクトのロケーションに対する第2の仮想オブジェクトのロケーション及び/又は第2のユーザの表現は、特定の相対ロケーションであり、及び/又は三次元環境における第2の仮想オブジェクト及び第1の仮想オブジェクトの相対高さ及び/又は第2のユーザの表現は、特定の相対高さである。
いくつかの実施形態では、三次元環境において複数の仮想オブジェクトを表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、図13Bのコンピュータシステム101aにおける入力(例えば、方法800、1000、及び/又は1200を参照して説明されるものなど)などの、第1のユーザの現在の視点に対する1つ以上の仮想オブジェクトの空間配置を更新する要求に対応する第1の入力を受信する(1402i)。第1の入力は、任意選択的に、方法800及び/又は1000を参照して説明される第1の入力(例えば、再中心化入力)の特性のうちの1つ以上を有する。いくつかの実施形態では、第1の入力を受信したことに応じて(1402j)、コンピュータシステムは、図13Cに示すように、三次元環境に対して第1のユーザと第2のユーザとの間で第2のユーザの表現及び通信セッションに関連付けられたコンテンツ(例えば、通信セッションにおけるユーザの表現又は第1の仮想オブジェクトなどの通信セッションにおいて共有される仮想オブジェクト)を移動させる(例えば、第2の仮想オブジェクトは、第1の仮想オブジェクト及び第2のユーザの表現に対して、第2の空間配置とは異なる第3の空間配置を有する)。いくつかの実施形態では、第1のユーザと第2のユーザとの間の通信セッションに関連付けられたコンテンツの少なくとも一部が、第2の仮想オブジェクトの閾値距離(例えば、0.1、0.3、0.5、1、3、5、10、20、30、50、100、250、又は500cm)内にある三次元環境内のロケーションに移動されたという判定に従って、コンピュータシステムは、コンピュータシステム101aが、図13Bと図13Cとの間のオブジェクト1308aの移動に起因して、図13Bと図13Cとの間で仮想オブジェクト1306aをどのように移動させるか(例えば、第2の仮想オブジェクトを第3のロケーションから離れるように移動させる)など、三次元環境に対して第2の仮想オブジェクトを移動させる(1402l)。例えば、プライベート仮想オブジェクトである第2の仮想オブジェクトは、方法1000を参照して説明されるものと同様に、三次元環境における第2のユーザの表現及び/又は第1の仮想オブジェクト及び/又は別のオブジェクト(例えば、仮想又は物理的)との衝突を回避するために、第2のユーザの表現及び/又は第1の仮想オブジェクト及び/又は第1のユーザの現在の視点に対してシフトされている。
いくつかの実施形態では、第1のユーザと第2のユーザとの間の通信セッションに関連付けられたコンテンツが、第2の仮想オブジェクトの閾値距離内にある三次元環境内のロケーションにないという判定に従って、コンピュータシステムは、オブジェクト1308aが図13Bと図13Cとの間でオブジェクト1306aの閾値距離内に移動しなかった場合など、三次元環境に対する第2の仮想オブジェクトのポジション(例えば、第3のロケーション)を維持し(1402m)、これは、任意選択的に、オブジェクト1306aが三次元環境1302aに対するそのポジションを維持することになる(例えば、ユーザの表現のいずれも、又は共有仮想オブジェクトのいずれもなど、コンテンツのいずれも、又は特定のタイプのコンテンツのいずれも、第1の入力に応じて第2の仮想オブジェクトの閾値距離又は閾値距離内にない)。いくつかの実施形態では、第1のユーザの現在の視点に対する第2のユーザの表現及び/又は第1の仮想オブジェクトの空間配置は、第1のユーザの現在の視点に対する1つ以上の仮想オブジェクト及び/又はユーザの表現の距離の範囲又は向きの範囲を指定する第1の1つ以上の基準を満たす(例えば、方法800、1000、及び/又は1200を参照して説明されるように)。いくつかの実施形態では、第1の仮想オブジェクトに対する第2のユーザの表現の第1の空間配置は、第1の入力に応じて維持される(例えば、第2のユーザの表現と第1の仮想オブジェクトとの互いに対する相対ロケーション及び/又は向きは、第1の入力が受信される前と同じであり、したがって、共有仮想オブジェクト及び/又は第1のコンピュータシステムのユーザ以外のユーザの表現の空間配置は、任意選択的に、共有仮想オブジェクト及び/又は他のユーザの表現に対するユーザの視点の空間配置が任意選択的に変化したとしても、第1の入力の受信に応じて維持される)。したがって、いくつかの実施形態では、プライベート仮想オブジェクトは、共有アイテム(例えば、ユーザの表現又は共有オブジェクト)との衝突を回避するために三次元環境内でシフトされるが、共有アイテムは、プライベートアイテムとの衝突を回避するために三次元環境内でシフトされない。いくつかの実施形態では、方法1400を参照して説明される入力は、エアジェスチャ入力であるか、又はエアジェスチャ入力を含む。再中心化入力に応じてプライベート仮想オブジェクトをシフトすることにより、コンピュータシステムは、共有仮想オブジェクトとプライベート仮想オブジェクトとの間の衝突を自動的に回避する。
いくつかの実施形態では、第1の入力を受信したことに応じて(1404a)、第2のコンピュータシステムによってアクセス可能でない(例えば、テーブルと衝突する、椅子と衝突する、又は物理的環境内の第1のユーザの現在ロケーションに対して壁の内部若しくは背後にある)第2の仮想オブジェクト(例えば、第2の仮想オブジェクトは第1のコンピュータシステムに対してプライベートである)が、図13Cのテーブル1322aに対するオブジェクト1312aなど、第1のユーザの物理的環境内の物理的オブジェクトに対応するロケーションの閾値距離内にあるという判定に従って、コンピュータシステムは、図13Cのテーブル1322aから離れるオブジェクト1312aの移動に関して示すように、第2の仮想オブジェクトを三次元環境に対して移動させる(1404b)(例えば、第1の入力を受信したことに応じて、第1のコンピュータシステムは、任意選択的に、方法1000を参照して説明されるように、物理的オブジェクトとの衝突を回避するために、プライベート仮想オブジェクトを三次元環境内のそれらの現在ロケーションから離れるように移動させる)。いくつかの実施形態では、第2の仮想オブジェクトが物理的オブジェクトに対応するロケーションの閾値距離内にない(及び/又は任意の物理的オブジェクトに対応するロケーションの閾値距離内にない)という判定に従って、コンピュータシステムは、図13Bで検出された入力に応じてオブジェクト1312aがテーブル1322aの閾値距離内になかった場合など、三次元環境に対する第2の仮想オブジェクトのポジションを維持し(1404c)、したがって、図13Cにおけるオブジェクト1312aのロケーションを維持する。いくつかの実施形態では、第2の仮想オブジェクトが、第1のユーザの物理的環境内の(又は任意の)物理的オブジェクトと衝突していない場合、第1のコンピュータシステムは、第2の仮想オブジェクトを三次元環境内のその現在ロケーションから離れて移動させない。物理的オブジェクトと衝突するプライベート仮想オブジェクトをシフトすることにより、コンピュータシステムは、プライベート仮想オブジェクトと物理的オブジェクトとの間の衝突を自動的に回避する。
いくつかの実施形態では、第1の入力の受信に応じて(1406a)、コンテンツ(例えば、第1の仮想オブジェクト)を三次元環境に対して移動させることは、コンテンツが、テーブル1322aと衝突する図13Cのオブジェクト1310aで示されるように、第1のユーザの物理的環境内の物理的オブジェクトに対応するロケーションの閾値距離内にあるかどうかにかかわらない(1406b)。したがって、いくつかの実施形態では、第1のコンピュータシステムは、第1の入力に応じて共有仮想オブジェクトを三次元環境内に配置及び/又は移動させるとき、物理的オブジェクトを考慮しない。第1のユーザの環境内の物理的オブジェクトに関係なく共有仮想オブジェクトを配置又は移動させることにより、複数のコンピュータシステムにわたる共有仮想オブジェクトとの相互作用の一貫性が保証される。
いくつかの実施形態では、第1のコンピュータシステムの第1のユーザと第2のコンピュータシステムの第2のユーザとの間の通信セッションが進行中であり、第1の視点とは異なるユーザの第2の視点から表示生成構成要素を介して、複数の仮想オブジェクトを含む三次元環境が可視である間(例えば、第1のユーザが物理的環境内で移動して、第1のユーザの物理的環境内の第1のユーザの変化したロケーション及び/又は向きに対応して第1のユーザの視点を三次元環境内に変化させている)コンピュータシステムは、1つ以上の入力デバイスを介して、(例えば、方法800、1000、及び/又は1200を参照して説明されるように)第1のユーザの現在の視点に対する1つ以上の仮想オブジェクトの距離の範囲又は向きの範囲を指定する第1の1つ以上の基準を満たすために、第1のユーザの現在の視点に対する1つ以上の仮想オブジェクトの空間配置を更新する要求に対応する第2の入力を受信する(1408a)。第1の入力は、任意選択的に、方法800及び/又は1000を参照して説明される第1の入力(例えば、再中心化入力)の特性のうちの1つ以上を有する。いくつかの実施形態では、第2の入力の受信に応じて、コンピュータシステムは、第2の仮想オブジェクトを三次元環境に対して三次元環境内の第4のロケーションに移動させ、第4のロケーションは、図13Bから図13Cへのオブジェクト1312aの移動など、第1の1つ以上の基準を満たす(1408b)(例えば、方法800、1000及び/又は1200を参照して説明されるように、第1のユーザの第2の視点に対する第2の仮想オブジェクトのロケーション及び/又は向きは、第1の1つ以上の基準を満たす)。例えば、方法800、1000及び/又は1200を参照して説明されるように、第1のコンピュータシステムにプライベートなプライベート仮想オブジェクトである第2の仮想オブジェクトを第1のユーザの第2の視点に再中心化する。いくつかの実施形態では、第1の仮想オブジェクト及び/又は第2のユーザの表現もまた、第1の入力に関して前述したものと同様の方法などで、第2の入力に応じて三次元環境に対して移動される。1つ以上のオブジェクトを第1のユーザの更新された視点に再中心化することは、第1のユーザの三次元環境にオブジェクトを適切に配置するために必要とされる入力の数を減少させる。
いくつかの実施形態では、第1の仮想オブジェクトは、コンピュータシステム101bのユーザによって図13Aから13Bに移動されているオブジェクト1308aで示すように、第2のコンピュータシステムにおける第2のユーザによって第1の仮想オブジェクトに向けられた移動入力に基づいて、三次元環境に対して移動可能である(1410)。例えば、第2のコンピュータシステムによって表示される三次元環境において第1の仮想オブジェクト(例えば、共有仮想オブジェクト)を任意選択的に表示する第2のコンピュータシステムの第2のユーザは、第2のコンピュータシステムに入力を提供して、第2のコンピュータシステムによって表示される三次元環境において第1の仮想オブジェクトを移動させることができる(例えば、第1の仮想オブジェクトに向けられた第2のユーザの視線、第2のユーザの親指と人差し指が近づいて触れあうことによって実行されるピンチジェスチャ、及び第2のユーザの親指と人差し指が触れあっている間(「ピンチハンド形状」)のユーザの手の動きを含む入力)。いくつかの実施形態では、第1の仮想オブジェクトは、第2のユーザの手の移動に従って、第2のコンピュータシステムによって表示される三次元環境内で移動され、第1の仮想オブジェクトは、それに対応して、第1のコンピュータシステムによって表示される三次元環境内で移動される。共有コンテンツが共有ユーザによって移動可能であることは、第1のコンピュータシステムに、複数のコンピュータシステムにわたる共有コンテンツの配置を自動的に調整させる。
いくつかの実施形態では、通信セッションは、第1のユーザと、第2のユーザと、第3のコンピュータシステムの第3のユーザ(例えば、第2のユーザ及び/又は第2のコンピュータシステムと同様の追加のユーザ及び/又はコンピュータシステム)との間で行われ、第3のユーザの表現(例えば、三次元環境内の第3のユーザの視点のロケーションに対応する第1のコンピュータシステムによって表示される三次元環境内のロケーションで三次元環境内に表示される、第3のユーザに対応するアバターなどの第2のユーザの表現と同様のもの)及び第2のユーザの表現は、図13Bから図13Cの表現1330a及び1332aの両方の移動など、第1の入力の受信に応じて三次元環境に対して(例えば、同時に)移動される(1412)(例えば、第2のユーザの表現及び第3のユーザの表現は両方とも、第1の入力に応答した第2のユーザの表現の移動と同様に、第1の入力に応じて三次元環境内で移動する)。いくつかの実施形態では、第1のユーザの表現及び第2のユーザの表現の互いに対する相対的な空間配置は、第1の入力の前後で同じままである。いくつかの実施形態では、三次元環境に対する第1及び第2のユーザの表現の移動(例えば、移動の量又は方向)は、第1の入力に応じて同じである。第1の入力に応じて他のユーザの両方(又は全て)の表現を移動させると、第1のコンピュータシステムは、第1の入力に応じてユーザの表現の適切な配置を自動的に維持する。
いくつかの実施形態では、三次元環境は、第1のコンピュータシステム及び第2のコンピュータシステムによってアクセス可能な第3の仮想オブジェクト(例えば、第1の仮想オブジェクトに類似する追加の共有仮想オブジェクト)を更に含み、第1の入力の受信に応じて移動される通信セッションに関連付けられたコンテンツは、図13Bから図13Cのオブジェクト1308a及び1310aの両方の移動など、第1の仮想オブジェクト及び第3の仮想オブジェクトを含む(1414)(例えば、第1の仮想オブジェクト及び第3の仮想オブジェクトは両方とも、第1の入力に応答した第1の仮想オブジェクトの移動に類似して、第1の入力に応じて三次元環境内で(例えば、同時に)移動する)。いくつかの実施形態では、第1の仮想オブジェクト及び第3の仮想オブジェクトの互いに対する相対的空間配置は、第1の入力の前後で同じままである。いくつかの実施形態では、三次元環境に対する第1及び第3の仮想オブジェクトの移動(例えば、移動の量又は方向)は、第1の入力に応じて同じである。第1の入力に応じて両方(又は全て)の共有仮想オブジェクトを移動させると、第1のコンピュータシステムは、第1の入力に応じて共有仮想オブジェクトの適切な配置を自動的に維持する。
いくつかの実施形態では、第2のコンピュータシステムは、図13A-13Cの三次元環境1302b内の表現1328bなどの第1のユーザの表現を含む第2の三次元環境を表示する(例えば、第2のコンピュータシステムによって表示される三次元環境は、第1のコンピュータシステムによって表示される共有仮想オブジェクトと、第2のユーザ以外のユーザ(単数又は複数)の表現(単数又は複数)とを含む)。いくつかの実施形態では、それらの共有仮想オブジェクト及び/又はユーザ(単数又は複数)の表現(単数又は複数)の互いに対する相対的空間配置は、第1のコンピュータシステムによって表示される三次元環境及び第2のコンピュータシステムによって表示される三次元環境の両方において同じである。いくつかの実施形態では、第1のユーザの表現は、第2の三次元環境の第1のユーザの視点のロケーションに対応する第2の三次元環境内のロケーションに表示され、第1のコンピュータシステムが第1の入力を受信したことに応じて、第1のユーザの表現は、図13Bから図13Cへの表現1328bの移動など、第2の三次元環境に対して移動される(1416)(例えば、第1のユーザの表現が、第2のコンピュータシステムによって表示される三次元環境及び/又は第1のコンピュータシステム以外の他のコンピュータシステムによって表示される三次元環境内(単数又は複数)で移動しているように見えるように)。いくつかの実施形態では、第2の三次元環境に対する第1のユーザの表現の移動は、第1の入力に応じて第1のコンピュータシステムによって表示される三次元環境に対する第2のユーザの表現及び通信セッションに関連付けられたコンテンツの移動に対応する(例えば、第1の入力に応じて第1のコンピュータシステムによって表示される三次元環境に対する第2のユーザの表現及び通信セッションに関連付けられたコンテンツの移動の方向及び/又は大きさに基づく方向及び/又は大きさを有する)。第1の入力に応じて第2の三次元環境内で第1のユーザの表現を移動させると、コンピュータシステム(単数又は複数)は、第1の入力に応じて共有仮想オブジェクトに対する第1のユーザの表現の適切な配置を自動的に維持する。
方法1400における動作が説明された特定の順序は、例示的なものにすぎず、説明された順序が、動作が実行され得る唯一の順序であることを示すものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。
図15A~図15Jは、いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。
図15Aは、コンピュータシステム101の表示生成構成要素(例えば、図1の表示生成構成要素120)を介して可視である三次元環境1502を示し、三次元環境1502は、(例えば、コンピュータシステム101が位置する物理的環境の左壁に面して)俯瞰図に示すユーザの視点1526から可視である。図1~図6を参照して上述したように、コンピュータシステム101は、任意選択的に、表示生成構成要素(例えば、タッチスクリーン)と、複数の画像センサ(例えば、図3の画像センサ314)と、を含む。画像センサは、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又はユーザがコンピュータシステム101と相互作用する間にユーザ若しくはユーザの一部(例えば、ユーザの1つ以上の手)の1つ以上の画像をキャプチャするためにコンピュータシステム101が使用することができるであろう任意の他のセンサのうちの1つ以上を含む。いくつかの実施形態では、以下に図示及び説明されるユーザインタフェースはまた、ユーザインタフェース又は三次元環境をユーザに表示する表示生成構成要素と、物理的環境及び/又はユーザの手の移動(例えば、ユーザから外向きに面する外部センサ)、かつ/又はユーザの視線(例えば、ユーザの顔に向かって内向きに面する内部センサ)を検出するためのセンサとを含む、ヘッドマウントディスプレイ上に実現され得る。
図15Aに示すように、コンピュータシステム101は、コンピュータシステム101の周囲の物理的環境内の1つ以上のオブジェクトを含む、コンピュータシステム101の周囲の物理的環境(例えば、動作環境100)の1つ以上の画像をキャプチャする。いくつかの実施形態では、コンピュータシステム101は、三次元環境1502内の物理的環境の表現を表示し、及び/又は物理的環境は、表示生成構成要素120を介して三次元環境1502内で可視である。例えば、表示生成構成要素120を介して可視である三次元環境1502は、コンピュータシステム101が配置されている部屋の物理的な床並びに後壁及び側壁の表現を含む。三次元環境1502はまた、図15Aの視点1526から表示生成構成要素を介して可視である物理的オブジェクト1522a(俯瞰図の1522bに対応する)を含む。
図15Aでは、三次元環境1502はまた、視点1526から可視である仮想オブジェクト1506a(俯瞰図内のオブジェクト1506bに対応する)、1508a(俯瞰図内のオブジェクト1508bに対応する)、1510a(俯瞰図内のオブジェクト1510bに対応する)を含む。図15Aでは、オブジェクト1506a、1508a及び1510aは、二次元オブジェクトであるが、本開示の例は、任意選択的に、三次元オブジェクトに等しく適用される。仮想オブジェクト1506a、1508a及び1510aは、任意選択的に、アプリケーションのユーザインタフェース(例えば、メッセージングユーザインタフェース、又はコンテンツブラウジングユーザインタフェース)、三次元オブジェクト(例えば、仮想時計、仮想ボール、又は仮想車)、又はコンピュータシステム101の物理的環境に含まれないコンピュータシステム101によって表示される任意の他の要素のうちの1つ以上である。
図15Aにおいて、オブジェクト1506a、1508a、及び1510aは、任意選択的に、それらの表面から延びる矢印で俯瞰図に示されているそれらの表面上に様々なコンテンツを含む。例えば、オブジェクト1506aは、テキストコンテンツ1507a及びコンテンツ1507b(例えば、コンピュータシステム101に動作を実行させるために選択可能な選択可能オプション)を含む。オブジェクト1508aは、入力フィールド1509a(例えば、ユーザ入力に応じてテキストなどのコンテンツが入力される入力フィールド)及び画像コンテンツ1509bを含む。オブジェクト1510aは、コンテンツ1511aを含む。いくつかの実施形態では、オブジェクト1506a、1508a、及び/又は1510aに含まれるコンテンツは、追加的又は代替的に、方法1600を参照して説明される他のタイプのコンテンツである。
所与の仮想オブジェクトの前向き面が、正面角度(例えば、前向き面に対して垂直)から視点1526から見られるとき、コンピュータシステム101は、任意選択的に、完全な(又は比較的高い)視覚的顕著性(例えば、完全若しくは比較的高い色、完全若しくは比較的高い不透明度、及び/又はぼかし無し若しくは比較的低いぼかし)でそのコンテンツを表示する。コンピュータシステム101が仮想オブジェクトを表示する角度が変化するようにユーザの視点1526が変化するにつれて、及びその角度が前向き面の法線からより逸脱するにつれて、コンピュータシステム101は、任意選択的に、その前向き面に含まれるコンテンツを、より少ない視覚的顕著性(例えば、より少ない色、より高い透明度、及び/又はより多いぼかし)で表示する。仮想オブジェクトの前向き面上のコンテンツの視覚的顕著性の変化に加えて、又は代替として、コンピュータシステム101は、任意選択的に、コンピュータシステム101が仮想オブジェクトを表示している角度に基づいて、仮想オブジェクト自体(例えば、オブジェクトの表面及び/又はコンテンツの背後の背景)を視覚的顕著性レベルも変化させて表示する。このようにして、コンピュータシステム101は、仮想オブジェクトと相互作用する適切な角度に関する情報をユーザに伝達する。
例えば、図15Aでは、コンピュータシステム101は、視点1526から三次元環境1502を表示しており、そこから、オブジェクト1506a及び1508aの前向き面が、正面角度で表示される。結果として、コンテンツ1507a、1507b、1509a、及び1509bは、任意選択的に、比較的高い視覚的顕著性で表示される。更に、オブジェクト1506a及び1508a及び/又はこれらのオブジェクトの前向き面は、任意選択的に、比較的高い視覚的顕著性(例えば、完全若しくは比較的高い色、完全若しくは比較的高い不透明度、及び/又はぼかし無し若しくは比較的低いぼかし)で表示される。
オブジェクト1506a及び1508aとは対照的に、オブジェクト1510aの前向き面は、図15Aにおいて視点1526から垂直から比較的外れた角度で表示される。結果として、コンピュータシステム101は、任意選択的に、コンテンツ1507a、1507b、1509a、及び1509bと比較して相対的に低い視覚的顕著性でオブジェクト1510aに含まれるコンテンツ1511aを表示し、オブジェクト1506a及び1508aと比較して相対的に低い視覚的顕著性でオブジェクト1510a及び/又はオブジェクト1510aの前向き面を表示する。更に、いくつかの実施形態では、オブジェクト1510aなどのオブジェクトの前向き面が表示される角度が、方法1600を参照して説明されるように、閾値角度を上回る、又は閾値角度を上回る特定の角度範囲内であるとき、コンピュータシステム101はまた、オブジェクトをアイコン1511b又はオブジェクト1510aに対応する他の表現とオーバーレイする(例えば、オブジェクト1510aがアプリケーションのユーザインタフェースである場合、アイコン1511bは、アプリケーションを識別する、アプリケーションに対応するアイコンである)。アイコン1511bは、任意選択的に、コンテンツ1511a及び/又はオブジェクト1510aの少なくとも一部を視点1526から覆い隠す。
図15Bでは、視点1526は、(例えば、物理的環境におけるユーザの対応する移動に応じて)俯瞰図に示すように移動しており、結果として、コンピュータシステム101は、更新された視点から三次元環境1502を表示している。図15Bの視点1526から、オブジェクト1506a及び1508aの前向き面は、図15Aよりも垂直から外れた角度で表示される。結果として、コンピュータシステム101は、図15Aと比較して、コンテンツ1507a、1507b、1509a、及び1509bの視覚的顕著性を低減しており、図15Aと比較して、オブジェクト1506a及び1508aの視覚的顕著性を低減している。例えば、オブジェクト1506a及び1506bは、図15Aにおけるよりも高い半透明性で表示される。更に、コンピュータシステム101は、オブジェクト1506aに関連付けられたアプリケーションに対応するオブジェクト1506aをオーバーレイするアイコン1507cと、オブジェクト1508aに関連付けられたアプリケーション(例えば、オブジェクト1506aに関連付けられたものとは異なるアプリケーション)に対応するオブジェクト1508aをオーバーレイするアイコン1509cとを表示する。アイコン1507cは、任意選択的に、視点1526からのコンテンツ1507a及び/又は1507bの少なくとも一部を覆い隠し、アイコン1509cは、任意選択的に、視点1526からのコンテンツ1509a及び/又は1509bの少なくとも一部を覆い隠す。
図15Bでは、コンピュータシステム101は、視点1526から三次元環境1502を表示しており、そこから、オブジェクト1510aの前向き面が正面から表示される(例えば、コンピュータシステム101は、方法1600を参照してより詳細に説明されるように、図15Aと図15Bとの間で図15Bにおけるそのロケーション/向きにオブジェクト1510aを移動させるために、手1503などから入力を受信した)。しかしながら、オブジェクト1510aは、任意選択的に、図15Bの視点1526からの閾値距離(例えば、1、3、5、10、20、50、又は100メートル)よりも離れている。いくつかの実施形態では、コンピュータシステム101は、視点からの閾値距離よりも離れているオブジェクト及び/又はそれらのオブジェクトのコンテンツを、コンピュータシステム101がオフアングルオブジェクト又はコンテンツを表示するのと同じ又は同様の低減された視覚的顕著性で表示する。したがって、図15Bでは、コンピュータシステム101は、オブジェクト1510a及び/又はそのコンテンツを低減された視覚的顕著性で表示し、アイコン1511bをオブジェクト1510aの少なくとも一部にオーバーレイさせて表示する。
図15Cでは、視点1526は、(例えば、物理的環境におけるユーザの対応する移動に応じて)俯瞰図に示すように移動しており、結果として、コンピュータシステム101は、更新された視点から三次元環境1502を表示している。図15Cの視点1526から、コンピュータシステムは、オブジェクト1506a及び1508aをそれらの後ろ向き面から表示している(例えば、オブジェクト1506a及び1508aの前向き面は、視点1526から離れて配向されている)。コンピュータシステム101がオブジェクト1506a及び1508aを背後から表示しているとき、背面がコンピュータシステム101を介して可視である角度にかかわらず、コンピュータシステム101は、任意選択的に、オブジェクト1506a及び1508aの前向き面に含まれるコンテンツ(例えば、コンテンツ1507a、1507b、1509a及び1509b)の表示を停止し、図15Cに示すように、低減された視覚的顕著性(例えば、半透明性)でオブジェクト1506a及び1508aを表示し続ける。いくつかの実施形態では、コンテンツ1507a、1507b、1509a、及び1509bのインジケーションは表示されず、コンピュータシステム101は、任意選択的に、オブジェクト1506a及び1508aを、それらが、単にそれらの前向き面上にコンテンツを含まない半透明性を伴うオブジェクトであるかのように表示する。したがって、いくつかの実施形態では、コンテンツ1507a、1507b、1509a及び1509bを含むオブジェクト1506a及び1508aの前向き面の部分に対向するオブジェクト1506a及び1508aの背面の部分は、図15Cにおいてコンテンツ1507a、1507b、1509a及び1509bを含まないオブジェクト1506a及び1508aの前向き面の部分に対向するオブジェクト1506a及び1508aの背面の部分と同じ視覚的外観を有する。コンピュータシステム101は、任意選択的に、オブジェクト1506a及び1508aをオーバーレイするアイコンを表示しないが、これらのオブジェクトを背後から表示する。
図15Cでは、コンピュータシステム101は、手1503からの入力を検出して、オブジェクト1508aと相互作用し、及び/又はそれを移動させる。例えば、コンピュータシステム101は、ユーザの視線がオブジェクト1508aに向けられている間に、手1503がエアピンチジェスチャを実行すること(例えば、手1503の親指と人差し指が近づいて触れあうこと)を検出する。方法1600でより詳細に説明するように、ピンチハンド形状(例えば、親指及び人差し指が接触したままである)を維持しながら手1503の後続の移動は、任意選択的に、コンピュータシステム101に、手1503の移動の大きさ及び/又は方向に従ってオブジェクト1508aを移動させる。図15Cにおける入力に応じて、コンピュータシステム101は、図15Dに示すように、オブジェクト1508aの前向き面が視点1526に向けられるように、オブジェクト1508aを自動的に(例えば、手1503からの配向制御入力を伴わずに)再配向する。コンピュータシステム101は、現在、正面からオブジェクト1508aを表示しているので、コンピュータシステム101は、オブジェクト1508aの視覚的顕著性を増加させ、増加された視覚的顕著性でコンテンツ1509a及び1509bを再表示する。コンピュータシステム101がオブジェクト1508a並びに/又はコンテンツ1509a及び1509bを表示している視覚的顕著性は、任意選択的に、図15Aと同じである。
コンピュータシステム101がそれらのオブジェクト/コンテンツを表示している角度に基づく異なる視覚的顕著性におけるオブジェクト及び/又はコンテンツの上述の表示は、任意選択的に、オブジェクト/コンテンツが複数のコンピュータシステムからアクセス可能である状況にも適用される。図15Eは、コンピュータシステム101a及び101bのそれぞれの表示生成構成要素120a及び120b(例えば、図1の表示生成構成要素120)を介して可視である2つの三次元環境1502a及び1502bを示す。コンピュータシステム101aは、任意選択的に、第1の物理的環境(例えば、図15A~図15Dの物理的環境)内に配置され、三次元環境1502aは、任意選択的に、その表示生成構成要素120aを介して可視であり、コンピュータシステム101bは、任意選択的に、第2の物理的環境内に配置され、三次元環境1502bは、任意選択的に、その表示生成構成要素120bを介して可視である。三次元環境1502aは、俯瞰図に示すユーザの視点1526aから可視である(例えば、コンピュータシステム101aが位置する部屋の壁に面している)。三次元環境1502bは、俯瞰図に示すユーザの視点1526bから可視である(例えば、コンピュータシステム101bが位置する部屋の壁に面している)。三次元環境1502a及び1502bの両方は、任意選択的に、仮想オブジェクト1506a、1508a、及び1510a(並びにそれらの個別のコンテンツ)を含み、これらは任意選択的に、コンピュータシステム101a及びコンピュータシステム101bの両方からアクセス可能である。コンピュータシステム101a及び101bは、任意選択的に、異なる角度でそれらのオブジェクト/コンテンツを表示する。俯瞰図は、任意選択的に、三次元環境1502a及び1502bにおける様々な仮想オブジェクト及び/又は視点の互いに対するレイアウトに対応する。方法1400及び/又は1600を参照してより詳細に説明されるように、コンピュータシステム101a及び101bは、コンピュータシステム101a及び101bによって表示されるそれぞれの三次元環境におけるオブジェクト1506a、1508a及び1510aの互いに対する相対ロケーション及び/又は向きが一貫している及び/又は同じであるように、通信セッションに任意選択的に参加している。
図15Eでは、コンピュータシステム101aは、オブジェクト1506a、1508a、及び1510a、並びにそれらの個別のコンテンツを、図15Aを参照して説明される角度で及び視覚的顕著性並びに/又は外観で表示している。コンピュータシステム101bは、図15Bを参照して説明されるように、オブジェクト1506a及び1508aを、それらのオブジェクトの前向き面の法線に対して軸外角度で表示しており、結果として、コンピュータシステム101bは、オブジェクト1506a及び1508a並びにそれらの個別のコンテンツを、オブジェクト1506a及び1508a並びにそれらのコンテンツにそれぞれオーバーレイするアイコン1507c及び1509cを表示することを含めて、図15Bを参照して説明されるような視覚的顕著性及び/又は外観で表示している。対照的に、コンピュータシステム101bは、正面からオブジェクト1510aを表示しており、したがって、コンピュータシステム101bは、オブジェクト1510a及びそのコンテンツ1511aを、増加された視覚的顕著性で、アイコン1511bがオブジェクト1510a及び/又はコンテンツ1511aにオーバーレイすることなく表示している。コンピュータシステム101bがオブジェクト1510a及び/又はそのコンテンツ1511aを表示している視覚的顕著性は、任意選択的に、コンピュータシステム101aがオブジェクト1506a及び1508a並びにそれらの個別のコンテンツを表示している視覚的顕著性と同じである。
図15Eでは、コンピュータシステム101bは、手1503bからの入力を検出して、オブジェクト1508aと相互作用し、及び/又はそれを移動させる。例えば、コンピュータシステム101は、ユーザの視線がオブジェクト1508aに向けられている間に、手1503bがエアピンチジェスチャを実行すること(例えば、手1503bの親指と人差し指が触れあうこと)を検出する。方法1600でより詳細に説明するように、ピンチハンド形状(例えば、親指及び人差し指が接触したままである)を維持しながら手1503bの後続の移動は、任意選択的に、コンピュータシステム101bに、手1503bの移動の大きさ及び/又は方向に従ってオブジェクト1508aを移動させる。図15Eにおける入力に応じて、コンピュータシステム101bは、図15F示すように、オブジェクト1508aの前向き面が視点1526bに向けられるように、オブジェクト1508aを自動的に(例えば、手1503bからの配向制御入力を伴わずに)再配向する。コンピュータシステム101bは、現在、正面からオブジェクト1508aを表示しているので、コンピュータシステム101bは、オブジェクト1508a並びにコンテンツ1509a及び1509bの視覚的顕著性を増加させ、オブジェクト1508aにオーバーレイするアイコン1509cの表示を停止する。コンピュータシステム101bがオブジェクト1508a並びに/又はコンテンツ1509a及び1509bを表示している視覚的顕著性は、任意選択的に、コンピュータシステム101bがオブジェクト1510a及びコンテンツ1511aを表示している視覚的顕著性、並びに/又はコンピュータシステム101aがオブジェクト1506a並びにコンテンツ1507a及び1507bを表示している視覚的顕著性と同じである。
図15Fでは、コンピュータシステム101bで検出された、オブジェクト1508aの前向き面を視点1526bに向けた図15Eの入力の結果として、オブジェクト1508aの前向き面は、もはや視点1526aに対して正対しておらず、コンピュータシステム101bに関して図15B又は図15Eを参照して説明されるように、コンピュータシステム101aによってその前向き面の法線に対して軸外角度で表示されている。その結果、コンピュータシステム101aは、オブジェクト1508a及びそのコンテンツにオーバーレイするアイコン1509cを表示することを含む、コンピュータシステム101bに関して図15B及び/又は図15Eを参照して説明されるような視覚的顕著性及び/又は外観などの低減された視覚的顕著性及び/又は外観で、オブジェクト1508a並びにコンテンツ1509a及び1509bを表示している。
図15G~15Hは、本開示の実施形態による、仮想コンテンツの可視性を改善するために仮想コンテンツの視覚的顕著性を変更する実施例を図示する。
図15Gでは、三次元環境1502は、視点1526aから可視である仮想オブジェクト1508a(俯瞰図のオブジェクト1508bに対応する)、1514a(俯瞰図のオブジェクト1514bに対応する)、1516a(俯瞰図のオブジェクト1516bに対応する)、1518a(俯瞰図のオブジェクト1518bに対応する)を含む。図15Gでは、オブジェクト1508a、1514a及び1516a、並びに1518aは、二次元オブジェクトであるが、本開示の例は、任意選択的に、三次元オブジェクトに等しく適用される。仮想オブジェクト1508a、1514a及び1516a、並びに1518aは、任意選択的に、アプリケーションのユーザインタフェース(例えば、メッセージングユーザインタフェース、コンテンツブラウジングユーザインタフェース、又は、他のアプリケーションユーザインタフェース)、三次元オブジェクト(例えば、仮想時計、仮想ボール、仮想自動車、又は他のシミュレートされた三次元オブジェクト)、又はコンピュータシステム101の物理的環境に含まれないコンピュータシステム101によって表示される任意の他の要素のうちの1つ以上である。
いくつかの実施形態では、オブジェクト1508a、1514a及び1516a、並びに1518aは、個別のオブジェクトに含まれる個別の仮想コンテンツを見るために任意選択的に準最適である、視点1526aに対する1つ以上の角度及び/又はポジションで表示される。例えば、オブジェクト1508a及び1516aはユーザには可視であるが、ユーザの視点1526から比較的離れた、環境1502内のロケーションに表示される。比較的遠い距離に起因して、オブジェクト1508a及び1516aは、任意選択的に、見ることが困難であり、並びに/若しくは選択及び/又は相互作用することがより困難である。別の例として、オブジェクト1514aは、任意選択的に、視点1526aに比較的近い。その結果、オブジェクト1514aに含まれる個別の仮想コンテンツは、任意選択的に、視点1526aに対する個別の仮想コンテンツの誇張された寸法のために見ることが困難である。
いくつかの実施形態では、オブジェクト1518aは、個別の仮想コンテンツを含むオブジェクト1581aの第1の表面(例えば、前面)が、任意選択的に、視点1526から不可視である、又は見ることが困難であるような向きで表示される。例えば、上面図に見られるように、オブジェクト1518bの前面に対して垂直に延びる矢印は、そのような個別のコンテンツを含む表面がユーザの視点から離れるように角度付けられていることを示し、したがって、コンピュータシステム101は、オブジェクト1518aの背面上にオーバーレイされたオブジェクト1518aに対応するアプリケーション(例えば、オブジェクト1518aを表示しているアプリケーション)の記述子などの情報を任意選択的に表示する。いくつかの実施形態では、コンピュータシステム101は、視点1526がオブジェクト1518aに対する視野角の範囲外にある場合、個別の仮想コンテンツを含む視覚的外観でオブジェクト1518aを表示する。例えば、コンピュータシステムは、任意選択的に、オブジェクト1518bの上面図から延びて表示された矢印によって示されるように、視点1526とオブジェクト1518aの前面から垂直に延びるベクトルとの間の角度の差が閾値量(例えば、0、5、10、15、20、25、45、50、60、70、又は80度)を超えると判定し、任意選択的に、オブジェクト1518aの表示を変更する。表示の変更は、任意選択的に、視点1526が視野角の範囲内にある間は可視であるオブジェクト1518a内(例えば、オブジェクト1518aの前面内)の個別の仮想コンテンツの表示を停止することを含む。
追加的又は代替的に、任意選択的に、オブジェクト1518aの変更された表示の一部として、コンピュータシステム101は、オブジェクト1518aの個別の仮想コンテンツを記述する情報を表示する。例えば、オブジェクト1518aは、ユーザが個別の仮想コンテンツ自体を見ることができない(例えば、ウェブブラウザのコンテンツを見ることができない)にもかかわらずオブジェクト1518aに関連付けられた個別の仮想コンテンツを認識するように、オブジェクト1518aがウェブブラウジングインタフェース(例えば、「ブラウザ」)を含むことを指定するテキストを任意選択的に含む。いくつかの実施形態では、表示された情報は、追加的又は代替的に、オブジェクト1518aに関連付けられたアイコン(例えば、オブジェクト1518aであるアプリケーションユーザインタフェース)などのオブジェクト1518aの仮想コンテンツのグラフィカルインジケーションを含む。いくつかの実施形態では、オブジェクト1518aの変更された視覚的外観は、視点1526aからのオブジェクト1518aの表面が大部分又は完全に不透明に見えるように、オブジェクト1518aの表面の不透明度を増加させることを含む。いくつかの実施形態では、オブジェクト1518aの個別の仮想コンテンツを記述する情報の少なくとも一部は、オブジェクト1518aの視野角にかかわらず表示される。例えば、コンピュータシステム101は、任意選択的に、オブジェクト1518aの視野角、向き、及び/又は他の空間特性とは無関係に、オブジェクト1518aに関連付けられたアプリケーションの永続的な名称を表示する。
いくつかの実施形態では、情報を含む視覚的外観は、オブジェクト1518aがユーザの視点から離れるように角度付けられていることを任意選択的に示唆し、オブジェクト1518aが視点1526に向かって任意選択的に角度付けられている間に、オブジェクト1518aとの相互作用がオブジェクト1518aとの相互作用とは異なる1つ以上の動作に任意選択的に影響を及ぼすことをコンピュータシステム101のユーザに任意選択的に示す。例えば、視点1526に向けられている間にオブジェクト1518aに向けられた入力は、任意選択的に、テキストの強調表示、メッセージの通信、及び/又はメディア再生の開始など、オブジェクト1518aに関連付けられた1つ以上の機能を実行する処理を開始する。しかしながら、同じ入力が受信されたときにオブジェクト1518aが視点1526から離れて配向されている場合、コンピュータシステム101は、任意選択的に、そのような1つ以上の機能の実行を見合わせる。したがって、オブジェクト1518aの変更された視覚的外観は、任意選択的に、オブジェクト1518aに向けられた入力の機能の欠如及び/又は変更された機能を伝達する。
いくつかの実施形態では、コンピュータシステム101は、個別の仮想オブジェクトに向けられた入力を検出し、視点1526に対する個別の仮想オブジェクトのロケーション及び/又は向きに基づいて、仮想オブジェクトに対する1つ以上の動作を開始する。例えば、コンピュータシステム101は、任意選択的に、個別の仮想オブジェクトに向けられた入力を検出し、コンピュータシステム101のユーザが個別の仮想オブジェクト内に含まれる個別のコンテンツをより容易に見るように、個別の仮想オブジェクトをスケーリング、移動、及び/又は回転させる処理を開始する。例えば、コンピュータシステム101は、任意選択的に、ユーザの注意が仮想オブジェクトに向けられている間に、手1503bがエアピンチジェスチャ、エアポインティングジェスチャ、及び/又はエアウェービングジェスチャなどのエアジェスチャを行うことを検出する。同時の注意及びエアジェスチャの検出に応じて、コンピュータシステム101は、任意選択的に、仮想オブジェクトの移動、仮想オブジェクトの視覚的顕著性の増加、及び/又は仮想オブジェクトに関連付けられた別の動作を開始する。
図15Hは、本開示の例による、仮想オブジェクトに含まれるコンテンツの可視性の向上を示す。例えば、図15Gのオブジェクト1508aに向けられた入力に応じて、前述のように、コンピュータシステム101は、任意選択的に、オブジェクト1508a及び/又はオブジェクト1508aに含まれる個別のコンテンツのスケーリングを開始する。いくつかの実施形態では、オブジェクト1514a及び/又は1516aの移動は、個別のオブジェクトに向けられた入力の開始に応じて生じる。例えば、コンピュータシステム101は、任意選択的に、個別のオブジェクトに向けられたユーザの注意と同時にエアピンチジェスチャを検出し、任意選択的に、ほぼ瞬間的に及び/又はアニメーションで移動を実行する。いくつかの実施形態では、個別のオブジェクトに向けられた初期入力に応じて、コンピュータシステム101は、任意選択的に、ユーザが潜在的な移動の候補を選択したことを示す視覚的インジケーションを表示し、移動を確認する後続の入力に応じて、前述の移動を実行する。いくつかの実施形態では、個別のオブジェクトに向けられた入力は、個別のオブジェクトに含まれる個別の仮想コンテンツと相互作用するための入力を含む。例えば、入力は、任意選択的に、テキスト入力フィールドの選択、ブラウザのリフレッシュボタンなどの選択可能オプションの選択、仮想コンテンツに関連付けられたコントロールパネルの起動、及び/又は個別の仮想コンテンツの別の好適な機能であり、入力に応じて、コンピュータシステム101は、任意選択的に、入力に関連付けられた1つ以上の機能を実行し(例えば、テキスト挿入カーソルを挿入し、テキスト入力フィールドのためのキーボードを表示し、ウェブブラウザをリフレッシュし、仮想コンテンツに関連付けられた設定を変更するためのユーザインタフェースを起動する)、及び任意選択的に、個別の仮想オブジェクトの記載された移動(単数又は複数)を開始する。したがって、いくつかの実施形態では、コンピュータシステム101は、仮想コンテンツ及びオブジェクトを、個別の仮想コンテンツの改善された閲覧を有利に可能にするエリアに移動させるための効率的な手法を容易にし、いくつかの実施形態では、個別の仮想コンテンツとの相互作用を開始させ、同時に仮想コンテンツ及び/又はオブジェクトを移動させる。
例えば、コンピュータシステム101は、任意選択的に、オブジェクト1508が閾値1532よりも遠い間にオブジェクト1508aに向けられた入力を検出し、入力に応じて、仮想オブジェクトが閾値1532よりも遠いという判定に基づいて、オブジェクト1508aを拡大する。いくつかの実施形態では、入力が検出され、入力に応じてオブジェクト1508が拡大され、入力は、追加的又は代替的に、オブジェクト1508に含まれる個別のコンテンツとの相互作用(例えば、オブジェクト1508をスケーリングする入力ではなく)の開始に対応する。いくつかの実施形態では、オブジェクト1508aの個別のロケーションは、図15Hと比較して、図15Gに図示される上面図におけるオブジェクト1508b間の差異に示すように、三次元環境1502において維持される。いくつかの実施形態では、スケーリングの量は、視点1526から、オブジェクト1508bが所定のサイズに対応する更新されたサイズをとるような量である。例えば、コンピュータシステム101は、任意選択的に、オブジェクト1508aが閾値1530及び1532内で移動されたかのようにオブジェクト1508aが任意選択的に大きく見えるように、オブジェクト1508aをスケーリングする。いくつかの実施形態では、オブジェクト1508aに含まれる個別の仮想コンテンツ(例えば、メディア、テキスト、システムユーザインタフェースオブジェクト、及び/又は他の仮想コンテンツ)は、同様にスケーリングされる。例えば、オブジェクト1508aの1つ以上の寸法に沿ったスケーリングの個別の量は、オブジェクト1508aに含まれるピクチャに同様に適用される。いくつかの実施形態では、オブジェクト1508aは、スケーリングが視覚的交差をもたらす場合、オブジェクト1508が、ユーザの環境内の物理的オブジェクト1522aなどの物理的オブジェクト間のそのような交差を提示するようにスケーリングされる。視覚的交差は、任意選択的に、ユーザの環境内の物理的オブジェクトと、環境内の仮想オブジェクトのサイズ及び/又はポジションを有する物理的オブジェクトとの間の交差の外観を模倣するために、ユーザの環境内の物理的オブジェクトと仮想オブジェクトとの間でコンピュータシステム101によって表示される見かけ上の交差を指すことが理解される。したがって、図15Hに示すように、物理的オブジェクト1522aは、任意選択的に、ユーザの視点1526aからオブジェクト1508aの中に突出する。
いくつかの実施形態では、仮想オブジェクト1516aは、図15Gを参照して説明される入力に応じて、新しいロケーションに移動及び/又は表示される。例えば、コンピュータシステム101は、任意選択的に、図15Gに示すようなものから図15Hに示すようなもののように、上面図におけるオブジェクト1516bの右方向の移動によって示されるように、オブジェクト1516aを視点1526に向かって移動させている。いくつかの実施形態では、コンピュータシステム101は、上面図における破線の間のオブジェクト1516bの移動によって反映されるように、仮想オブジェクト1516aを改善された表示エリア(例えば、閾値1530と閾値1532との間)に移動させる。いくつかの実施形態では、移動は、改善された表示エリアの中点などの三次元環境1502内の個別のロケーションへのものである。いくつかの実施形態では、移動は、ユーザの視点1526aに対して画定された個別のロケーションへのものである。例えば、コンピュータシステム101は、任意選択的に、視点1526aのポジションからオブジェクト1516aの個別の部分(例えば、中心)に向かって延びるベクトルを検出し、任意選択的に、オブジェクト1516aをそのベクトルに沿って改善された表示エリア内の個別のロケーション(例えば、閾値1530と閾値1532との間)に移動させる。いくつかの実施形態では、オブジェクト1516aの移動は、オブジェクト1516aが他の仮想オブジェクトを覆い隠さないようなものである。例えば、コンピュータシステム101は、前述のベクトルに沿ってオブジェクト1516aを移動させるが、任意選択的に、別の仮想オブジェクトとの明白な視覚的重複を回避することを想定しないであろうポジションまでオブジェクト1516aを横方向にシフトさせる。いくつかの実施形態では、オブジェクト1516aの移動は、ユーザが三次元環境1502を移動するオブジェクト1516aを見ることができるように、任意選択的にアニメーション化される。いくつかの実施形態では、オブジェクト1516aの移動は、その初期ポジションにおけるオブジェクト1516aのフェードアウト(例えば、不透明度の増加)と、それに続く、その更新されたポジションにおけるオブジェクト1516aのフェードイン(例えば、不透明度の増加とともに表示)とを含む。
いくつかの実施形態では、仮想オブジェクト1514aは、図15Gを参照して説明される入力に応じて、閾値1530と閾値1532との間で、視点1526aに対して更新されたロケーションに移動及び/又は表示される。例えば、コンピュータシステム101は、任意選択的に、図15Gに示すようなものから図15Hに示すようなもののように、上面図におけるオブジェクト1514bの左方向への移動によって示されるように、オブジェクト1514aを視点1526aから離して移動させている。いくつかの実施形態では、コンピュータシステム101は、上面図におけるオブジェクト1514bの移動によって反映されるように、仮想オブジェクト1514bを改善された表示エリア(例えば、閾値1530と閾値1532との間)に移動させる。いくつかの実施形態では、移動は、改善された表示エリアの中点(例えば、閾値1530及び閾値1532の中点)などの三次元環境1502内の個別のロケーションへのものである。いくつかの実施形態では、移動は、ユーザの視点に対して画定された個別のロケーションへのものである。例えば、コンピュータシステム101は、任意選択的に、視点1526aのポジションからオブジェクト1514aの個別の部分(例えば、中心)に向かって延びるベクトルを検出し、任意選択的に、オブジェクト1514aをそのベクトルに沿って改善された表示エリア内の個別のロケーション(例えば、改善された表示エリアの境界の中点)に移動させる。いくつかの実施形態では、オブジェクト1514aの移動は、オブジェクト1514aが他の仮想オブジェクトを覆い隠さないようなものである。例えば、コンピュータシステム101は、前述のベクトルに沿ってオブジェクト1514aを移動させるが、任意選択的に、別の仮想オブジェクト間の明白な視覚的重複を回避することを想定しないであろうポジションまでオブジェクト1514aを横方向にシフトさせる。いくつかの実施形態では、オブジェクト1514aの移動は、ユーザが三次元環境1502を移動するオブジェクト1514aを見ることができるように、任意選択的にアニメーション化される。いくつかの実施形態では、オブジェクト1514aの移動は、その初期ポジションにおけるオブジェクト1514aのフェードアウト(例えば、不透明度の増加)と、それに続く、その更新されたポジションにおけるオブジェクト1514aのフェードイン(例えば、不透明度の増加とともに表示)とを含む。したがって、オブジェクト1514a及び1516aの両方は、任意選択的に、三次元環境1502内のポジションに移動されて、オブジェクト及び/又はオブジェクトに含まれる個別の仮想コンテンツの可視性を改善する。
閾値1530及び1532は、コンピュータシステム101の幅に平行に延びる一対の破線として示されているが、そのような図は、そのような閾値距離の任意の適切な定義の一実施形態にすぎないことが理解される。例えば、閾値距離は、任意選択的に、外側境界(例えば、視点1526aから閾値1532まで引かれた半径を有する)及び内側境界(例えば、視点1526aから閾値1530まで引かれた半径を有する)を有する円形領域であり、この領域は、任意選択的に、コンピュータシステム101の個別の部分及び/又はコンピュータシステム101のユーザの個別の部分を中心とする。追加的又は代替的に、改善された領域は、任意選択的に、ウェッジの一部であり、ウェッジは、視点1526aから真っ直ぐ前方に延びる視点ベクトルの原点を共有し、かつ視点ベクトルに対して対称的に角度付けられた第1のベクトルによって画定され、ウェッジの遠い境界を画定する第1のベクトルと交差する外側円弧(例えば、視点1526aから閾値1532まで延びる)と、ウェッジの近い境界を画定する第1のベクトルと交差する内側円弧(例えば、視点1526aから閾値1532まで延びる)とを有する。
いくつかの実施形態では、コンピュータシステム101は、オブジェクト1518aに含まれる個別の仮想コンテンツの可視性を改善するために、視点1526aに対するオブジェクト1518aの角度を含む向きを変更する。例えば、コンピュータシステム101は、任意選択的に、図15Gを参照して説明されるように、オブジェクト1518aに向けられた入力を検出する。いくつかの実施形態では、入力に応じて、コンピュータシステム101は、オブジェクト1518aの前面が任意選択的にユーザの視点1526に向けられるように、オブジェクト1518aを更新された向きまで回転させる。例えば、上面図においてオブジェクト1518bの前面から垂直に延びるベクトルによって示されるように、オブジェクト1518aは、オブジェクト1518bに含まれる個別のコンテンツの視野角が任意選択的に改善され及び/又は最適に可視であるように、更新された向きまで任意選択的に回転される。一例として、オブジェクト1518aは、任意選択的に、オブジェクト1518aの中心から延びる法線ベクトルがコンピュータシステム101のロケーション及び/又はコンピュータシステム101のユーザの個別の部分に向けられるように、入力に応じて回転される。そのような回転は、任意選択的に、テレビのディスプレイが完全にユーザの方に向けられるように、回転軸を中心にフラットパネルテレビを回転させることに類似している。いくつかの実施形態では、回転は、第1の軸に沿った回転を含む。例えば、任意選択的に示すオブジェクト1518aは、環境1502の床に垂直な平面内に位置する二次元オブジェクトである。いくつかの実施形態では、オブジェクト1518aの回転軸は、仮想オブジェクト1518aの中心と交差する平面を通って延びる。例えば、フラットパネルテレビがテレビの背面の中心に固定されたポールに取り付けられた場合、回転軸は任意選択的にポールに対応する。追加的又は代替的に、コンピュータシステム101は、任意選択的に、オブジェクト1518aを別の軸に沿って回転させる。例えば、コンピュータシステム101は、任意選択的に、オブジェクト1518aを更新された向きに回転させて、ユーザの視点1526に対してオブジェクト1518aの表面を下向き又は上向きに傾ける。より具体的な例として、オブジェクト1518aがコンピュータシステム101の上に表示される(例えば、コンピュータシステムのユーザの頭上に表示される)場合、オブジェクト1518aに向けられた入力に応じて、コンピュータシステム101は、任意選択的に、オブジェクト1518aを下方に回転させ、オブジェクト1518aの前面を視点1526に向かって下方に向くように傾ける。同様に、オブジェクト1518aが少なくとも部分的に視点1526の下に表示される場合、コンピュータシステム101は、任意選択的に、オブジェクト1518aを上向きに回転させ、したがって、オブジェクト1518aの前面を視点1526に向かって上向きに傾ける。
いくつかの実施形態では、コンピュータシステム101は、個別のオブジェクトが移動されている間、それぞれの仮想オブジェクトを連続的に回転させる。例えば、コンピュータシステム101は、任意選択的に、個別の仮想オブジェクトを移動させる要求を含む入力を検出し、任意選択的に、前述したように、三次元環境1502に対する個別の仮想オブジェクトの初期配向を、視点1526に向けられた更新された向きに変更する。いくつかの実施形態では、入力は、個別のオブジェクトを移動させるための継続要求を含み、個別のオブジェクトの個別の向きは、任意選択的に、個別のオブジェクトが視点1526aの方に向けられ続ける(例えば、オブジェクトの前面が視点1526の方に向けられ続ける)ように、関連するオブジェクトの継続移動に従って更新される。例えば、コンピュータシステム101が、維持されているオブジェクト1518aを移動させる要求に対応するエアピンチジェスチャを検出している間、コンピュータシステム101は、任意選択的に、ユーザの視点の左端からユーザの視点の右端への移動など、エアピンチジェスチャを実行する手の移動に従ってオブジェクト1518aを移動させ続ける。オブジェクト1518aを左から右に移動させている間、コンピュータシステム101は、任意選択的に、オブジェクト1518aの向きを連続的に更新して、オブジェクト1518aの前面が可視であり続け、視点1526に連続的に向けられるようにする。
いくつかの実施形態では、コンピュータシステム101は、個別の仮想オブジェクトの向きに基づいて、個別の仮想オブジェクトの回転がどのように表示されるかを変更する。例えば、オブジェクト1518aが視点1526に対して第1の向きの範囲内にある場合、コンピュータシステム101は、第1のアニメーションを含むオブジェクト1518aの向きの回転をアニメーション化し、任意選択的に、視点1526に向けられた更新された向きへのオブジェクト1518aの連続的な回転を明示的に示す。オブジェクト1518aが向きの範囲の第1の範囲内にない(例えば、オブジェクト1518aの背面が視点1526aに向けられている、及び/又はオブジェクト1528が主に視点1526から離れる向きにある)場合、コンピュータシステム101は、任意選択的に、第1のアニメーションとは異なる第2のアニメーションを含む回転をアニメーション化する。第1のアニメーションは、例えば、任意選択的に、オブジェクト1518aが視点1526に向けられたその更新された向きで提示されるまで、オブジェクト1518aが回転軸の周りを回転する物理的オブジェクトであるかのように、オブジェクト1518a全体を回転させることを含む。第2のアニメーションは、例えば、任意選択的に、オブジェクト1518aのフェードアウト(例えば、オブジェクトがもはや不可視になるまで半透明性を増加させる)と、それに続く、ユーザの視点1526に向けられた更新された向きでのオブジェクト1518aのフェードインとを含む。したがって、個別の仮想オブジェクトの向きが極端な角度にあり、仮想オブジェクトの回転をアニメーション化することが、任意選択的に、計算コストが高く、時間がかかり、及び/又は気が散るものになる場合、コンピュータシステム101は、任意選択的に、仮想オブジェクトの回転を代替アニメーションでアニメーション化する。
図15Iは、それぞれの仮想オブジェクトとユーザの現在の視点1526との間の視野角に基づく視覚的顕著性レベルでそれぞれ表示された、ユーザの三次元環境1502内に表示された複数の仮想オブジェクトを示す。例えば、仮想オブジェクト1506aは、任意選択的に、ユーザの現在の視点1526に対する改善された視野角の範囲のうちの1つに対応する第1の視覚的顕著性レベルで表示される。例えば、俯瞰図内の視点1526の中心に平行なベクトルは、仮想オブジェクト1506bの表面(例えば、視点1526に面する表面)に垂直なベクトルに平行、又はほぼ平行である。したがって、コンピュータシステム101は、任意選択的に、視野角が仮想オブジェクト1506aに含まれる個別のコンテンツの大部分を見るのに適していると判定し、任意選択的に、仮想オブジェクト1506aを第1の視覚的顕著性レベルで表示する。仮想オブジェクト1508a及び1510aは、方法1600を参照して更に説明されるように、仮想オブジェクトに関連付けられたそれぞれの視野角が平行に近くない、又は視点1526の中心に対して平行の閾値角度内にないので、互いに同じ又は異なるが、任意選択的に第1の視覚的顕著性レベル未満である、それぞれの視覚的顕著性レベルで同様に表示される。仮想オブジェクト1508a及び1510aを塗りつぶすパターンによって図示されるように、コンピュータシステム101は、任意選択的に、仮想オブジェクトに対する視野角が好ましくない(例えば、仮想オブジェクトに平行でない、又はほぼ平行でない)とき、それぞれの仮想オブジェクトの視覚的顕著性レベルを減少させる。前述のように、それぞれの仮想オブジェクトの視覚的顕著性レベルは、以下で更に説明される、それぞれの仮想オブジェクトに関連付けられた視覚的特性のそれぞれのレベルに対応する。
いくつかの実施形態では、個別の仮想オブジェクトの1つ以上の部分を囲む仮想エッジ及び/又は境界の視覚的顕著性レベル-又は表示-は、任意選択的に、個別の仮想オブジェクトの視覚的顕著性レベルを示す。例えば、コンピュータシステム101は、任意選択的に、第1の視覚的顕著性レベルで仮想オブジェクト1506aを表示し(図15I~図15Jでは、比較的厚く暗い境界を有する仮想オブジェクト1506aを示すことによって示されるが、本明細書でより詳細に説明されるように、他の形態の視覚的顕著性が使用され得る)、第2の(例えば、より低い)視覚的顕著性レベル(例えば、比較的薄い及び/又はより明るい境界を有する)に対応するオブジェクト1508aを表示する。追加の例として、第2の視覚的顕著性レベルは、任意選択的に、コンピュータシステム101のユーザが好ましくない(又は好ましい)視野角にいることを示す。例えば、仮想オブジェクト1506aは、任意選択的に、図15Iに示すように、視点1526に向けられたときに、相対的に低減された視覚的顕著性レベル(例えば、境界なし)で表示され、仮想オブジェクト1508aは、任意選択的に、視点1526に向けられたときに、相対的に増加された視覚的顕著性レベル(例えば、境界あり)で表示される。いくつかの実施形態では、それぞれの仮想オブジェクトは、仮想オブジェクトの1つ以上の部分をオーバーレイするパターンフィルで表示される。例えば、仮想オブジェクト1508a及び/又は1510aのクロスハッチングフィルは、コンピュータシステム101によって任意選択的に表示され、不透明度、彩度、及び/又は輝度のそれぞれのレベルは、個別の仮想オブジェクトと視点1526との間の視野角にも基づく。視覚的顕著性レベルは、方法1600を参照して更に説明される。
追加的又は代替的に、コンピュータシステム101は、任意選択的に、個別の仮想オブジェクトと同時に及び/又は個別の仮想オブジェクトに関連付けられたポジションに表示される仮想影のそれぞれの視覚的顕著性レベルを表示及び/又は変更する。例えば、仮想影1536は、任意選択的に、仮想オブジェクト(単数又は複数)を参照して説明される視覚的顕著性レベルのうちの1つ以上の特性を有する第3の視覚的顕著性レベルで表示され、仮想影1538及び1540は、任意選択的に、それぞれの第4(及び/又は第5)の視覚的顕著性レベルで表示される。図15Iの仮想影1536、1538及び1540は、三次元環境1502の床に仮想的に投影される。いくつかの実施形態では、仮想影の視覚的顕著性レベルは、影の不透明度、影の輝度、及び/又は影のエッジの鮮明度を含む、仮想影の1つ以上の視覚的特性で示され、及び/又はそれに対応する。例えば、コンピュータシステム101は、任意選択的に、影を投じるシミュレートされた光源が対応する仮想オブジェクトに比較的近いかのように、仮想影を、第1のサイズ及び/又は第1の形状を有する、比較的暗く、より不透明な、鋭いエッジの影として表示することによって、第3の視覚的顕著性レベル(例えば、比較的高い視覚的顕著性レベル)で個別の仮想影を表示し、コンピュータシステム101は、任意選択的に、仮想影を、第1のサイズよりも小さい第2のサイズ及び/又は第1の形状よりも小さい又は異なる第2の形状を有する、比較的明るく、より半透明な、拡散エッジの影として表示することによって、第4の比較的低い視覚的顕著性レベルで個別の仮想影を表示する。仮想影の視覚的特性は、方法1600を参照して更に説明される。いくつかの実施形態では、仮想影の視覚的顕著性レベルは、仮想オブジェクトの視覚的顕著性レベルを参照して説明されるものと同様に、仮想オブジェクトの視覚的顕著性レベルを決定するために使用される要因(例えば、視点1526と仮想オブジェクト1506a~1510aとの間の視野角)に基づく。例えば、影の視覚的顕著性レベルは、任意選択的に、その関連付けられた仮想オブジェクトにおける視覚的顕著性レベルの増加に比例して、又はそれと同じ量だけ増加し、及び/又はその関連付けられた仮想オブジェクトの視覚的顕著性レベルの減少に比例して、又はそれと同じ量だけ減少する。いくつかの実施形態では、仮想影のポジション、形状、サイズ、及び/又は向きは、ユーザの現在の視点1526のポジション、現在の視点1526及び/又は三次元環境1502に対する仮想オブジェクトのポジション、及び/又は三次元環境に対するシミュレートされた光源(単数又は複数)並びに/若しくは現実世界光源のポジション(単数又は複数)に基づく。例えば、仮想オブジェクト1506a~1510aは、視点1526に対してそれぞれの仮想オブジェクトの上及び後ろの1つ以上のシミュレートされた光源に基づいて、仮想影1536~1540をそれぞれ投じる。仮想影は、方法1600を参照して更に説明される。
いくつかの実施形態では、上記で簡単に説明したように、視覚的顕著性レベルを変更することは、仮想オブジェクト(単数又は複数)及び/又は仮想影(単数又は複数)などの個別の仮想コンテンツの1つ以上の視覚的特性を変更することを含む。例えば、仮想オブジェクト及び/又は影の視覚的顕著性レベルは、任意選択的に、方法1600を参照して更に説明される、仮想コンテンツに含まれるコンテンツの輝度のレベル、仮想コンテンツの不透明度のレベル、仮想コンテンツの彩度のレベル、仮想コンテンツに適用されるぼかし技法の程度、ぼかし技法を受ける仮想コンテンツの部分のサイズ、及び/又はコンテンツの他の好適な視覚的変更(例えば、視覚的顕著性レベルが相対的に高まると、より明るく、より不透明に、より彩度が上がり、よりぼかしが少なく、及び/又はより小さいサイズのぼかし効果(例えば、より拡散しない)を有し、視覚的顕著性レベルが相対的に減少すると、より暗く、より半透明に、より彩度が低く、よりぼかしが多く、及び/又はより大きいサイズのぼかし効果(例えば、より拡散する)を有する)を含む。いくつかの実施形態では、そのような視覚的特性は、オブジェクトに含まれる1つ以上の部分(例えば、アプリケーションユーザインタフェースのコンテンツの中心)に対して変更される。いくつかの実施形態では、そのような視覚的特性は、仮想オブジェクト全体に対して変更される。
いくつかの実施形態では、コンピュータシステムは、仮想オブジェクトに向けられた1つ以上の入力を検出し、1つ以上の入力のうちのターゲット仮想オブジェクトが低減された視覚的顕著性レベルで表示されているという判定に従って、1つ以上の入力に基づく1つ以上の動作の実行を見合わせる。例えば、図15Iでは、カーソル1528-1は、任意選択的に、仮想オブジェクト1510aに含まれる検索バーなどの仮想コンテンツ1509aに向けられた選択入力(方法1600を参照して本明細書で説明される)を示す。選択入力は、任意選択的に、テキスト入力モードを開始して、仮想コンテンツ1509aに検索クエリを投入するように動作するが、方法1600を参照して更に説明されるように、仮想オブジェクト1510aは、方法1600を参照して以下で更に説明されるように、視点1526に対して好ましい視野角及び/又は向きで表示されないため、1つ以上の動作は、コンピュータシステム101によって実行されない。
図15Iから図15Jに、コンピュータシステム101のユーザの視点1526が変化する。変更された視点を検出したことに応じて、コンピュータシステムは、三次元環境1502内に表示される仮想オブジェクト1506a~1510aの視覚的顕著性レベルを変更する。例えば、視点1526に対するそれぞれの仮想ウィンドウの向きは、変更された視点に従って(例えば、変更された視点の距離及び/又は角度の変化に基づいて)変更される。例えば、オブジェクト1506a及び1510aのそれぞれの視覚的顕著性レベルは、図15Iに示すものと比較して、図15Jに示すように、それぞれのオブジェクトと視点1526との間に形成される視野角の増加に起因して、任意選択的に減少される。一方、オブジェクト1508aは、任意選択的に、視覚的顕著性レベルが増加される。前述のように、コンピュータシステムは、任意選択的に、仮想オブジェクトの視覚的顕著性レベルを変化させながら、それぞれの仮想影の視覚的顕著性レベルを同時に変化させる。例えば、仮想影1536及び仮想影1540は、任意選択的に、現在の視点1526が仮想オブジェクト1506b及びオブジェクト1510aからそれぞれ延びる法線から離れるように移動したことに応じて、視覚的顕著性が低減される(例えば、より明るく、より拡散し、より彩度が低く、及び/又はより不透明でない)。仮想オブジェクト1508aから延びる法線が視点1526に対して平行により近いので、仮想影1538は、視点1526の変化に応じて視覚的顕著性が任意選択的に増大される(例えば、より暗くなる、拡散が少なくなる、より彩度が上がる、及び/又はより不透明になる)。したがって、図15Jでは、それぞれの仮想影の視覚的顕著性レベルは、図15Iに示すものに対して変更される。前述のように、仮想コンテンツ1509aに向けられた選択入力は、仮想オブジェクト1510aが相対的に低減された視覚的顕著性レベルで表示されている間に入力が受信されたので、テキスト入力モードを開始しなかった。個別の仮想オブジェクトの視覚的顕著性レベルに基づく、入力(単数又は複数)に応答したオブジェクト、仮想影の視覚的顕著性レベルの変更、及び動作(単数又は複数)の見合わせは、方法1600を参照して更に説明される。
図16A~図16Pは、いくつかの実施形態による、視点に基づいて仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更する方法を示すフローチャートである。いくつかの実施形態では、方法1600は、表示生成構成要素(例えば、図1、図3、かつ図4の表示生成構成要素120)(例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、又はプロジェクタ)と、1つ以上のカメラ(例えば、ユーザの手の下方を指すカメラ(例えば、カラーセンサ、赤外線センサ、かつ他の深度感知カメラ)又はユーザの頭部から前方を指すカメラ)とを含むコンピュータシステム(例えば、タブレット、スマートフォン、ウェアラブルコンピュータ、又はヘッドマウントデバイスなどの図1のコンピュータシステム101)で実行される。いくつかの実施形態では、方法1600は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1Aのコントローラ110)など、コンピュータシステムの1つ以上のプロセッサによって実行される命令によって実行される。方法1600の一部の動作は、任意選択的に組み合わされ、及び/又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法1600は、表示生成構成要素(例えば、120)及び1つ以上の入力デバイスと通信するコンピュータシステム(例えば、101)において実行される。いくつかの実施形態では、コンピュータシステムは、方法800、1000、1200、1400、及び/又は1600のコンピュータシステムの1つ以上の特性を有する。いくつかの実施形態では、表示生成構成要素は、方法800、1000、1200、1400、及び/又は1600の表示生成構成要素の1つ以上の特性を有する。いくつかの実施形態では、1つ以上の入力デバイスは、方法800、1000、1200、1400及び/又は1600の1つ以上の入力デバイスの特性のうちの1つ以上を有する。
いくつかの実施形態では、三次元環境(例えば、1502)が、図15Aの視点1526などのコンピュータシステムのユーザの第1の視点(例えば、方法800、1000、1200、1400及び/又は1600を参照して説明されるような)から表示生成構成要素を介して可視である間(例えば、三次元環境は、任意選択的に、方法800、1000、1200、1400及び/又は1600の三次元環境の1つ以上の特性を有する)、コンピュータシステムは、表示生成構成要素を介して、図15Aのオブジェクト1506a並びにコンテンツ1507a及び1507bなどの第1の視点からの第1のコンテンツを含む第1の仮想オブジェクトを表示する(1602a)(例えば、第1の仮想オブジェクトは、ウェブブラウジング又はコンテンツブラウジングアプリケーションなどのアプリケーションのユーザインタフェース又はアプリケーションウィンドウであり、第1の仮想オブジェクトは、テキストコンテンツ、画像コンテンツ、ビデオコンテンツ、1つ以上の選択可能ボタン、又は1つ以上の入力フィールドを含む)。第1の仮想オブジェクトは、任意選択的に、方法800、1000、1200、1400、及び/又は1600に記載されるオブジェクトの1つ以上の特性に対応するか、又はそれを有する。いくつかの実施形態では、第1の仮想オブジェクトは、三次元環境に対して第1のサイズ及び第1の形状を有する(1602b)。いくつかの実施形態では、第1の仮想オブジェクトは、第1の視点から第1の角度から可視である(1602c)。いくつかの実施形態では、第1の仮想オブジェクトが第1の視点から第1の角度で視認される間、第1のコンテンツの個別の視覚的特性は、図13Aのオブジェクト1506a並びにコンテンツ1507a及び1507bとともに示すように、三次元環境における第1のコンテンツの第1の視覚的顕著性レベルに対応する第1の値を有する(1602d)。
いくつかの実施形態では、表示生成構成要素を介して、第1の視点から三次元環境内の第1の仮想オブジェクトを表示している間に、コンピュータシステムは、図15Aから図15Bへの視点1526の移動など、第1の視点から第1の視点とは異なる第2の視点へのユーザの現在の視点の移動を検出する(1602e)。例えば、ユーザの第1の視点は、第1のコンテンツ及び/又は第1のコンテンツを含む第1の仮想オブジェクトの第1の側面に向けられる。例えば、第1の仮想オブジェクトの第1の側面は、第1の視点に面しており、第1の仮想オブジェクトの第2の反対側面は、第1の視点とは反対の方向を向いている。いくつかの実施形態では、第1の視点及び/又は第1の角度は、第1の仮想オブジェクトの第1の側面の法線の90度以内に配向される。個別の視覚的特性は、任意選択的に、第1のコンテンツの透明度、第1のコンテンツのぼかし、及び/又は第1のコンテンツの輝度であり、第1の値は、任意選択的に、それらの視覚的特性(単数又は複数)の個別(それぞれ)のレベルに対応する。視点の移動は、任意選択的に、方法800、1000、1200及び/又は1400を参照して説明される視点(単数又は複数)の移動の1つ以上の特性を有する。
いくつかの実施形態では、第1の視点から第2の視点へのユーザの現在の視点の移動を検出したことに応じて、コンピュータシステムは、三次元環境において、三次元環境がユーザの第2の視点から可視である間に(例えば、三次元環境は、第2の視点に対応する異なる視点から可視であり、第1の仮想オブジェクト及び/又は第1の仮想オブジェクトに含まれる第1のコンテンツを第2の視点に対応する異なる視点から表示することを含む)、図15Bのオブジェクト1506aの表示など、第2の視点からの第1の仮想オブジェクトを表示する(1602f)。いくつかの実施形態では、第1の仮想オブジェクトは、三次元環境に対する第1のサイズ及び第1の形状を維持する(1602g)(例えば、ユーザの視点の移動は、三次元環境に対する第1の仮想オブジェクトのサイズ及び/又は形状及び/又は配置を変化させない)。いくつかの実施形態では、第1の仮想オブジェクト及び/又は第1のコンテンツを可視である視点及び/又は角度の移動は、第1の仮想オブジェクトまでの距離の変化及び/又は第1の仮想オブジェクトが表示されている角度の変化に基づいて、第1の仮想オブジェクト及び/又は第1のコンテンツがユーザの視野をより多く又はより少なく占有することに起因して、第1の仮想オブジェクト及び/又は第1のコンテンツの角度又は表示サイズを変化させる。
いくつかの実施形態では、第1の仮想オブジェクトは、図15Bのオブジェクト1506aで示されるように、第2の視点から第2の角度で可視であり、第2の角度は、第1の角度とは異なる(1602h)。いくつかの実施形態では、第1の仮想オブジェクトが第2の視点から第2の角度で視認される間、第1のコンテンツの個別の視覚的特性は、三次元環境における第1のコンテンツの第2の視覚的顕著性レベルに対応する第2の値を有し(例えば、第2の値は、第1の値とは異なる、第1のコンテンツの透明度レベル、第1のコンテンツのぼかし、及び/又は第1のコンテンツの輝度に対応する)、第1のコンテンツの第2の視覚的顕著性レベルは、図15Aと図15Bのコンテンツ1507a及び1507との間の視覚的顕著性の差で示されるように、第1の視覚的顕著性レベルとは異なる(1602j)。例えば、第2の角度は、第1の角度よりも第1の仮想オブジェクト及び/又は第1のコンテンツの第1の側面の法線から離れている。いくつかの実施形態では、ユーザの視点からの第1の仮想オブジェクトの視野角が、第1の仮想オブジェクト及び/又は第1のコンテンツの第1の側面の法線から移動するほど、コンピュータシステムは、第1のコンテンツの視覚的顕著性を減少させる(例えば、第1のコンテンツのぼかしを増やし、第1のコンテンツの輝度を低減させ、及び/又は第1のコンテンツの透明度を増加させる)。いくつかの実施形態では、第2の角度は、依然として、第1の仮想オブジェクト及び/又は第1のコンテンツの第1の側面の法線の90度以内に配向される。いくつかの実施形態では、第1の仮想オブジェクトの視覚的顕著性は、低減されない(例えば、第1の仮想オブジェクトの境界は、ユーザの視点が第1の視点から第2の視点に移動し、したがって、第1の仮想オブジェクトの視野角が第1の角度から第2の角度に移動したことに応じて、低減された視覚的顕著性で表示されない)。いくつかの実施形態では、第1の仮想オブジェクトの視野角が第1の仮想オブジェクト及び/又は第1のコンテンツの第1の側面の法線のより近くに配向されるように移動すると、第1のコンテンツの視覚的顕著性が高まる。いくつかの実施形態では、第1のコンテンツの低減又は増加された視覚的顕著性は、ユーザの視点の変化に応じて、第1のコンテンツが視認又は表示されている角度を変化させることから生じる、第1のコンテンツの角度又は表示サイズの変化とは異なる、又は別個である、及び/又はそれに加えたものである。いくつかの実施形態では、方法1600を参照して説明される入力は、エアジェスチャ入力であるか、又はエアジェスチャ入力を含む。ユーザに対する第1の仮想オブジェクトの視野角に基づいてオブジェクトのコンテンツの顕著性レベルを変更することは、オブジェクトの相対ロケーション及びユーザの視点及び/又は第1の仮想オブジェクトの視野角に関するフィードバックを提供する。
いくつかの実施形態では、第1の視点から第2の視点へのユーザの現在の視点の移動を検出することは、図15Aから15Bに示す部屋内の移動などの、ユーザの物理的環境におけるユーザの移動を検出すること(1604)を含む。例えば、ユーザの頭部、胴体、肩、及び/又は身体が、ユーザの物理的環境におけるロケーションを変化させ、及び/又はユーザの物理的環境における向きを変化させることは、任意選択的に、三次元環境における現在の視点の移動に対応する(例えば、ユーザの物理的な移動の大きさ、方向、及び/又はタイプに対応する)。コンピュータシステムは、任意選択的に、ユーザのそのような移動を検出し、それに応じて、三次元環境におけるユーザの現在の視点を移動させる。物理的環境におけるユーザのポジション及び/又は向きの変化に基づいてユーザの視点を変化させることにより、追加のコントロールを表示することなく視点更新を実行することが可能になる。
いくつかの実施形態では、三次元環境は、コンピュータシステムのユーザと第2のコンピュータシステムの第2のユーザとの間の通信セッション中にユーザの第1の視点及び第2の視点から可視であり、第1の仮想オブジェクトは、(例えば、方法1400を参照して説明されるように)オブジェクト1506a、1508a、及び1510aがコンピュータシステム101a及び101bによってアクセス可能である図15E-15Fにおけるコンピュータシステム101aと101bとの間の通信セッションなど、コンピュータシステム及び第2のコンピュータシステムによってアクセス可能である(1606a)。いくつかの実施形態では、第1の視点から第2の視点へのユーザの現在の視点の移動を検出することは、図15Eから15Fへのオブジェクト1508aの移動などの、ユーザの現在の視点に対する第1の仮想オブジェクトの移動を検出すること(1606b)を含む(例えば、方法1400を参照して説明されるように、三次元環境における1つ以上の仮想オブジェクト(第1の仮想オブジェクトを含む)及び/又は他のユーザの表現が、ユーザの現在の視点に対して移動され、したがって、ユーザの視点並びに1つ以上の仮想オブジェクト及び/又は他のユーザの表現の相対的空間配置を変化させる)。いくつかの実施形態では、1つ以上の仮想オブジェクト及び/又は他のユーザの表現のそのような移動は、方法1400を参照して説明される第1の入力などの再中心化入力に応答する。いくつかの実施形態では、1つ以上の仮想オブジェクト及び/又は他のユーザの表現のそのような移動は、第1の仮想オブジェクトにアクセス可能である別のユーザによる入力(例えば、本出願を通して説明されるような、視線、ピンチ、及び移動入力を使用する)に応じて、第1の仮想オブジェクトを移動させる。第1の仮想オブジェクトが複数のユーザにアクセス可能であるときにユーザの視点に対する第1の仮想オブジェクトのロケーションを更新することは、複数のユーザの視点に対する第1の仮想オブジェクトの適切な配置を自動的に保証する。
いくつかの実施形態では、図15Cの視点1526からのオブジェクト1508aを表示するなど、第2の視点からの第1の仮想オブジェクトであって、第1の仮想オブジェクトはユーザの第2の視点に対して第1の向きを有する(例えば、ユーザの第2の視点からの法線に対して特定の角度を有するか、又は三次元環境における基準に対して特定の角度を有する)、第1の仮想オブジェクトを表示している間、コンピュータシステムは、図15Cの手1503からの入力(例えば、方法1400を参照して説明されるような、視線、ピンチ及びユーザからのピンチ入力中の手の動き、いくつかの実施形態では、三次元環境内の第1の仮想オブジェクトのポジションは、ピンチハンド形状にある間のユーザの手の動きの大きさ及び/又は方向に対応して変化する)など、ユーザの第2の視点に対して第1の仮想オブジェクトを移動させる要求に対応する個別の入力を、1つ以上の入力デバイスを介して検出する(1608a)。いくつかの実施形態では、ピンチハンド形状の終了(例えば、ユーザの手の親指及び人差し指が離れるように移動する)を検出したことに応じて、コンピュータシステムは、三次元環境内で第1の仮想オブジェクトを移動させることを停止し、第1の仮想オブジェクトは、三次元環境内のその最後のロケーションに留まる。
いくつかの実施形態では、個別の入力を検出したことに応じて、コンピュータシステムは、個別の入力に従って(例えば、ユーザの手の移動の方向及び/又は大きさに基づいて)三次元環境内のユーザの第2の視点に対して第1の仮想オブジェクトを移動させ、これは、ユーザの第2の視点に対して第1の仮想オブジェクトを移動させながら、ユーザの第2の視点に対する第1の向きとは異なる(例えば、ユーザの第2の視点に対する1つ以上の第2の向き(例えば、ユーザの第2の視点に垂直)で第1の仮想オブジェクトを表示することを含み、1つ以上の第2の向きは、図15Cと図15Dとの間のオブジェクト1508aで示すように、ユーザの第2の視点に対する第1の仮想オブジェクトの相対ロケーションに基づく(1608b)。いくつかの実施形態では、ユーザによって移動されている間、コンピュータシステムは、三次元環境内の基準に対する第1の仮想オブジェクトの向きが、三次元環境内のその現在ロケーションに基づいて変化するように、ユーザの視点に向かって(例えば、垂直に)配向されるように第1の仮想オブジェクトを自動的に再配向する。いくつかの実施形態では、コンピュータシステムは、個別の入力の開始を検出したこと(例えば、ピンチハンド形状のユーザの手の移動を検出する前に、ユーザの親指及び人差し指が近づいて触れあったことを検出したこと)に応じて、第1の仮想オブジェクトをユーザの第2の視点に対して垂直になるように自動的に再配向する。移動入力中に第1の仮想オブジェクトを再配向すると、コンピュータシステムは、第1の仮想オブジェクトをユーザの視点に対して適切に自動的に配向する。
いくつかの実施形態では、第1のコンテンツの第2の視覚的顕著性レベルは、第1のコンテンツの第1の視覚的顕著性レベル未満であり、第1のコンテンツの視覚的顕著性を第1のレベルから第2のレベルに減少させることは、図15Aから図15Bのコンテンツ1507a、1507b、1509a、及び1509bで示されるように、三次元環境における第1のコンテンツの表示をフェードすること(例えば、第1のコンテンツの輝度を減少させること、及び/又は第1のコンテンツの(色)彩度を減少させること)を含む(1610)。(例えば、第1のコンテンツの視野角が第1のコンテンツに対して垂直に近づくことに応じて)第1のコンテンツの視覚的顕著性レベルを増加させることは、任意選択的に、第1のコンテンツの輝度及び/又は(色)彩度を増加させることを含む。ユーザに対する第1の仮想オブジェクトの視野角に基づいて第1のコンテンツの表示をフェードすることは、オブジェクトと視点との相対ロケーション及び/又は第1の仮想オブジェクトの視野角に関するフィードバックを提供する。
いくつかの実施形態では、第1のコンテンツの第2の視覚的顕著性レベルは、第1のコンテンツの第1の視覚的顕著性レベル未満であり、第1のコンテンツの視覚的顕著性を第1のレベルから第2のレベルに減少させることは、図15Aから図15Bのコンテンツ1507a、1507b、1509a、及び1509bで示されるように、三次元環境における第1のコンテンツの表示をぼかすこと(例えば、鮮明度を減少させること)を含む(1612)。(例えば、第1のコンテンツの視野角が第1のコンテンツに対して垂直に近づくことに応じて)第1のコンテンツの視覚的顕著性レベルを増加させることは、任意選択的に、第1のコンテンツの鮮明度を増加させること及び/又はぼかしを減少させることを含む。ユーザに対する第1の仮想オブジェクトの視野角に基づいて第1のコンテンツのぼかしを増やすことは、オブジェクトと視点との相対ロケーション及び/又は第1の仮想オブジェクトの視野角に関するフィードバックを提供する。
いくつかの実施形態では、第1のコンテンツの第2の視覚的顕著性レベルは、第1のコンテンツの第1の視覚的顕著性レベル未満であり、第1のコンテンツの視覚的顕著性を第1のレベルから第2のレベルに減少させることは、図15Aから図15Bのコンテンツ1507a、1507b、1509a、及び1509bで示されるように、三次元環境における第1のコンテンツの不透明度を減少させる(例えば、透明度を増加させる)ことを含む(1614)。(例えば、第1のコンテンツの視野角が第1のコンテンツに対して垂直に近づくことに応じて)第1のコンテンツの視覚的顕著性レベルを増加させることは、任意選択的に、第1のコンテンツの不透明度を増加させること及び/又は透明度を減少させることを含む。ユーザに対する第1の仮想オブジェクトの視野角に基づいて第1のコンテンツの不透明度を減少させることは、オブジェクトと視点との相対ロケーション及び/又は第1の仮想オブジェクトの視野角に関するフィードバックを提供する。
いくつかの実施形態では、第1のコンテンツは、第1の仮想オブジェクトの第1の側面上に表示され(例えば、第1の仮想オブジェクトは、2つの対向する側面を有する二次元オブジェクト、又は1つ以上の側面を有する三次元オブジェクトであり、第1のコンテンツは、仮想オブジェクトの第1の側面上に表示される)、第2の角度は、図15Cのオブジェクト1506a及び1508aに関して示されるように、第1の仮想オブジェクトの第1の側面と異なる第2の側面に向けられる(1616a)(例えば、第1の仮想オブジェクトの視野角は、第1のコンテンツが表示される側面の背後からである)。いくつかの実施形態では、第1の角度は、第1の側面に向けられる)。いくつかの実施形態では、第2の視点から第1の仮想オブジェクトを表示することは、図15Cのオブジェクト1506a及び1508aで示されるように、第1のコンテンツを表示することなく半透明に第1の仮想オブジェクトを表示すること(1616c)を含む(1616b)。例えば、第1のコンテンツを含まない第1の仮想オブジェクトの第1の側面の対向する部分である第1の仮想オブジェクトの第2の側面の部分は、任意選択的に半透明である。第1のコンテンツを含む第1の仮想オブジェクトの第1の側面の対向する部分である第1の仮想オブジェクトの第2の側面の部分は、任意選択的に、同様に半透明である。いくつかの実施形態では、第1のコンテンツのインジケーション又は部分は、第1の仮想オブジェクトの第2の視野角で表示又は可視ではなく、第1の仮想オブジェクトの第2の側面を通したビューは、任意選択的に、第1の仮想オブジェクトの第1の側面上にコンテンツが存在しない又は存在しなかったかのようなものである。ユーザに対する第1の仮想オブジェクトの視野角に基づいて第1のコンテンツの表示を隠すことは、オブジェクトと視点との相対ロケーション及び/又は第1の仮想オブジェクトの視野角に関するフィードバックを提供する。
いくつかの実施形態では、第1の視点から第1の仮想オブジェクトを表示することは、図15Aのオブジェクト1506aが、オブジェクト1506aを移動させるために選択可能である、オブジェクト1506aの下、隣、又は上のバー又はハンドル要素とともに表示された場合など、三次元環境に対して第1の仮想オブジェクトを移動させるためのユーザインタフェース要素に関連付けて第1の仮想オブジェクトを表示することを含む(1618a)。例えば、ユーザインタフェース要素は、任意選択的に、第1の仮想オブジェクトが三次元環境内で移動可能であることを示すために、第1の仮想オブジェクトに関連付けられて(例えば、下及び/又は隣に)コンピュータシステムによって表示される選択可能なユーザインタフェース要素(例えば、「グラバーバー」)である。いくつかの実施形態では、(例えば、前述の移動入力と同様の)グラバーバーの選択及びその後の移動は、コンピュータシステムに、移動入力に従って三次元環境内で第1の仮想オブジェクトを移動させる。いくつかの実施形態では、第1の仮想オブジェクトは、(例えば、グラバーではなく)第1の仮想オブジェクトに向けられている選択及び移動入力に応じて、更に移動可能である。
いくつかの実施形態では、第2の視点から第1の仮想オブジェクトを表示することは、図15B及び/又は15Cのオブジェクト1506aがグラバーとともに表示された場合など、三次元環境に対して第1の仮想オブジェクトを移動させるためのユーザインタフェース要素に関連付けて第1の仮想オブジェクトを表示することを含む(1618b)。例えば、コンピュータシステムは、ユーザの視点が変化するにつれて、第1の仮想オブジェクト内のコンテンツの視覚的顕著性を任意選択的に低減しているとしても、ユーザの異なる視点からグラバーバーの表示を隠さない。いくつかの実施形態では、グラバーバーは、(例えば、第1の仮想オブジェクトを参照して本明細書で説明されるように)第2の視点からの低減された又は異なる視覚的顕著性で表示される。いくつかの実施形態では、グラバーバーは、第2の視点からの同じ視覚的顕著性で表示される。第1の仮想オブジェクトの異なる視野角からグラバーバーの表示を維持することは、第1の仮想オブジェクトが三次元環境内で動くことができるオブジェクトのままであるというフィードバックを提供する。
いくつかの実施形態では、第2の視点からの第1の仮想オブジェクトと、三次元環境における第1のコンテンツの第2の視覚的顕著性レベルに対応する第2の値を有する個別の視覚的特性を有する第1のコンテンツであって、第1のコンテンツの第2の視覚的顕著性レベルは、図15Eでコンピュータシステム101bのオブジェクト1508aで示すように、第1のコンテンツの第1の視覚的顕著性レベルよりも低く、第1のコンテンツとを表示している間,コンピュータシステムは、1つ以上の入力デバイスを介して、オブジェクト1508aに向けられた図15Eの手1503bからの入力(例えば、第1の仮想オブジェクトを移動させるための前述のような視線、ピンチ、及び移動入力)のような、ユーザの第2の視点に対して第1の仮想オブジェクトを移動させる要求に対応する個別の入力を検出する(1620a)。いくつかの実施形態では、個別の入力を検出したことに応じて(1620b)、コンピュータシステムは、手1503bからの入力に基づいて図15Fのオブジェクト1508aを移動させる(例えば、ユーザの手の移動の方向及び/又は大きさに基づいて第1の仮想オブジェクトのロケーションを変更する)など、個別の入力に従って三次元環境においてユーザの第2の視点に対して第1の仮想オブジェクトを移動させる(1620c)。いくつかの実施形態では、コンピュータシステムは、図15Fのコンテンツ1509a/1509bの増加された視覚的顕著性(例えば、個別の入力に応じて第1のコンテンツの視覚的顕著性レベルを増加させる)などの、第1のコンテンツの第2の視覚的顕著性レベルよりも高い、第1のコンテンツの第3の視覚的顕著性レベルに対応する第3の値を有する個別の視覚的特性で第1の仮想オブジェクト内に第1のコンテンツを表示する(1620d)。いくつかの実施形態では、視覚的顕著性レベルの増加は、個別の入力の開始を検出したことに応じて(例えば、ピンチハンド形状のユーザの手の後続の移動を検出する前に、ユーザの親指及び人差し指が近づいて触れあったことを検出したことに応じて)行われる。移動入力に応じて第1のコンテンツの視覚的顕著性を増加させることは、三次元環境における第1の仮想オブジェクトの適切な配置を容易にするために、移動入力中の第1の仮想オブジェクトのコンテンツに関するフィードバックを提供する。
いくつかの実施形態では、個別の入力を検出する前に、かつ第2の視点からの第1の仮想オブジェクトと、三次元環境における第1のコンテンツの第2の視覚的顕著性レベルに対応する第2の値を有する個別の視覚的特性で第1のコンテンツとを表示している間に、第1の仮想オブジェクトは、ユーザの第2の視点に対して(及び/又は三次元環境における基準に対して)、図15Eのコンピュータシステム101bの視点から離れるように向けられたオブジェクト1508aの向きなど、第2の視点から離れるように向けられた第1の向きを有する(1622a)(例えば、第1の仮想オブジェクトは、第1のコンテンツの法線が、第2の視点に向けられることから第1の角度だけ離れるように向けられる)。いくつかの実施形態では、個別の入力を検出したことに応じて(1622b)、コンピュータシステムは、三次元環境において、ユーザの第2の視点に対して(及び/又は三次元環境における基準に対して)第1の向きとは異なる第2の向きを有する第1の仮想オブジェクトを表示し、第2の向きは、図15Fにおけるコンピュータシステム101bの視点に向けられたオブジェクト1508aの向きなど、第2の視点に向けられる(1622c)(例えば、第1の仮想オブジェクトは、第1のコンテンツの法線が、第2の視点に向けられることから第1の角度よりも小さい第2の角度だけ離れるように向けられる)。いくつかの実施形態では、第1のコンテンツの法線は、第2の視点に向けられる)。前述のように、いくつかの実施形態では、第1の仮想オブジェクトは、個別の入力の移動部分を検出する前に、個別の入力の開始を検出したことに応じて再配向される。いくつかの実施形態では、個別の入力は、第1の仮想オブジェクト及び/又は第1のコンテンツを、よりユーザの第2の視点に向け、したがって、第1のコンテンツの視覚的顕著性増加させる。移動入力に応じて第1の仮想オブジェクトを第2の視点に向けて自動的に配向することは、三次元環境における第1の仮想オブジェクトの適切な配置を容易にするために、移動入力中の第1の仮想オブジェクトのコンテンツに関するフィードバックを提供する。
いくつかの実施形態では、第1の仮想オブジェクトを表示することは、第1の仮想オブジェクトが、第1の角度を含む第1の角度範囲(例えば、正面から第1のコンテンツを見ることに対応する角度など、法線に対して0度から法線に対して90度までを含む、第1のコンテンツの法線に対する角度範囲)から可視であることを含む(1624a)。いくつかの実施形態では、第1の角度範囲は、0~10、0~20、0~30、0~45、0~60、0~75、又は0~90(任意選択的に、0.1度などの少量だけ低減される)度であり、図15Aのオブジェクト1506aの外観などの第1の外観で第1の仮想オブジェクトを表示する(1624b)(例えば、第1のコンテンツを含む第1の仮想オブジェクトを表示し、第1のコンテンツは、比較的高い視覚的顕著性で表示される)。
いくつかの実施形態では、第1の仮想オブジェクトは、第2の角度を含む、第1の角度範囲とは異なる第2の角度範囲(例えば、第1のコンテンツを側面から見ることに対応する角度などの、第1のコンテンツの法線に対する角度の範囲)から可視である。いくつかの実施形態では、第2の角度範囲は、10~90(任意選択的に0.1度などの少量だけ低減される)、20~90、30~90、45~90、60~90、又は75~90度であり、第1の仮想オブジェクトは、図15Bのオブジェクト1506aの外観など、第1の外観とは異なる第2の外観で表示される(1624c)(例えば、第1のコンテンツを含む第1の仮想オブジェクトを表示し、第1のコンテンツは比較的低い視覚的顕著性で表示され、及び/又は第1の仮想オブジェクトは、ユーザの視点から第1の仮想オブジェクト上にオーバーレイされて表示されるアプリケーションアイコン(例えば、第1の仮想オブジェクトに対応する)とともに表示される)。ユーザに対する第1の仮想オブジェクトの視野角に基づいて異なる視覚的外観で第1の仮想オブジェクトを表示することは、オブジェクトと視点との相対ロケーション及び/又は第1の仮想オブジェクトの視野角に関するフィードバックを提供する。
いくつかの実施形態では、第1の仮想オブジェクトを表示することは、第1の仮想オブジェクトが第1の角度範囲及び第2の角度範囲とは異なる第3の角度範囲(例えば、第1のコンテンツを背後から見ることに対応する角度など、第1のコンテンツの法線に対する角度範囲)から可視である間に、第1の仮想オブジェクトを表示することを含む(1626a)。いくつかの実施形態では、第3の角度範囲は、90~(任意選択的に、0.1度などの少量だけ増加される)180度であり、図15Cのオブジェクト1506aの外観など、第1の外観及び第2の外観とは異なる第3の外観で第1の仮想オブジェクトを表示する(1626b)(例えば、前述のように、第1のコンテンツを表示せずに半透明で第1の仮想オブジェクトを表示する)。ユーザに対する第1の仮想オブジェクトの視野角に基づいて異なる視覚的外観で第1の仮想オブジェクトを表示することは、オブジェクトと視点との相対ロケーション及び/又は第1の仮想オブジェクトの視野角に関するフィードバックを提供する。
いくつかの実施形態では、表示生成構成要素を介して、第1の視点から三次元環境内に第1の仮想オブジェクトであって、第1のコンテンツの個別の視覚的特性は、三次元環境内の第1のコンテンツの第1の視覚的顕著性レベルに対応する第1の値を有し、第1の仮想オブジェクトは、図15Aのオブジェクト1506a及び1508aのコンテンツの外観などの第1の視点から閾値距離(例えば、1、3、5、10、20、50、100、500、1,000、5,000、又は10,000cm)未満の第1の距離である、第1の仮想オブジェクトを表示している間、コンピュータシステムは、1つ以上の入力デバイスを介して、図15Aの視点1526から第2の距離にオブジェクト1506aを移動させるための入力など、ユーザの第1の視点から第1の距離とは異なる第2の距離であるロケーションに第1の仮想オブジェクトを移動させる要求に対応する個別の入力を検出する(1628a)(例えば、個別の入力は、任意選択的に、三次元環境内で仮想オブジェクトを移動させるための前述の入力の特性のうちの1つ以上を有する)。いくつかの実施形態では、個別の入力を受信したことに応じて(1628b)、コンピュータシステムは、個別の入力に従って、ユーザの第1の視点から第2の距離にあるロケーションに第1の仮想オブジェクトを移動させる(1628c)。
いくつかの実施形態では、第2の距離がユーザの第1の視点からの閾値距離(例えば、1、3、5、10、20、50、100、500、1,000、5,000、又は10,000cm)よりも大きいという判定に従って、コンピュータシステムは、三次元環境における第1のコンテンツの第3の視覚的顕著性レベルに対応する第3の値を有する個別の視覚的特性で第1の仮想オブジェクト内の第1のコンテンツを表示し、第1のコンテンツの第3の視覚的顕著性レベルは、オブジェクト1510aのコンテンツが図15Bに表示される視覚的顕著性などの第1のコンテンツの第1の視覚的顕著性レベルよりも低い(1628d)。いくつかの実施形態では、第3の値及び第3の視覚的顕著性レベルは、それぞれ、第2の値及び第2の視覚的顕著性レベルと同じである。いくつかの実施形態では、ユーザの視点からの第1の仮想オブジェクトの距離は、第1の仮想オブジェクトがユーザの視点からの閾値距離より遠くなるまで、第1のコンテンツの視覚的顕著性に影響を及ぼさない。いくつかの実施形態では、閾値距離より大きい距離に対して、第1のコンテンツの視覚的顕著性は、第1の仮想オブジェクトがユーザの視点から更に移動するにつれて減少する。いくつかの実施形態では、閾値距離よりも大きい距離について、第1のコンテンツの視覚的顕著性は、視点からの距離とは無関係に、第3の視覚的顕著性レベルのままである。ユーザの視点からの第1の仮想オブジェクトの距離に基づいて異なる視覚的外観で第1のコンテンツを表示することは、第1の仮想オブジェクトと視点との相対ロケーションに関するフィードバックを提供する。
いくつかの実施形態では、表示生成構成要素を介して、第1の視点から三次元環境内に第1の仮想オブジェクトを表示している間に、コンピュータシステムは、三次元環境内に、第1の視点からの第2のコンテンツを含む第2の仮想オブジェクトを表示し(例えば、第2の仮想オブジェクトは、第1の仮想オブジェクトの特性のうちの1つ以上を任意選択的に有し、三次元環境内で第1の仮想オブジェクトと任意選択的に同時に表示される)、第2のコンテンツの個別の視覚的特性は、図15Aのオブジェクト1508a内のコンテンツ1509a/1509bの視覚的顕著性など、三次元環境内の第2のコンテンツの第3の視覚的顕著性レベルに対応する第3の値を有する(1630a)(例えば、前述のように、視野角及び/又は第1の視点からの距離に基づく)。いくつかの実施形態では、第3の視覚的顕著性レベルは、第1の視覚的顕著性レベルとは異なる。いくつかの実施形態では、第3の視覚的顕著性レベルは、第1の視覚的顕著性レベルと同じである。
いくつかの実施形態では、表示生成構成要素を介して、第2の視点から三次元環境内に第1の仮想オブジェクトを表示している間に、コンピュータシステムは、三次元環境内に第2の視点から第2の仮想オブジェクトを表示し、第2のコンテンツの個別の視覚的特性は、三次元環境内の第2のコンテンツの第4の視覚的顕著性レベルに対応する第4の値を有し、第4の視覚的顕著性レベルは、図15Bのオブジェクト1508a内のコンテンツ1509a/1509bの視覚的顕著性などの第3の視覚的顕著性レベルとは異なる(1630b)(例えば、前述のように、視野角及び/又は第2の視点からの距離に基づく)。いくつかの実施形態では、第4の視覚的顕著性レベルは、第2の視覚的顕著性レベルとは異なる。いくつかの実施形態では、第4の視覚的顕著性レベルは、第2の視覚的顕著性レベルと同じである。したがって、いくつかの実施形態では、コンピュータシステムは、角度及び/又は距離ベースの視覚的顕著性調整を、ユーザの視点から同時に可視である複数の仮想オブジェクトに同時に適用する。ユーザに対するオブジェクトの視野角に基づいて複数のオブジェクトのコンテンツの顕著性のレベルを変更することは、オブジェクトの相対ロケーション及びユーザの視点及び/又はオブジェクトの視野角についてのフィードバックを提供する。
いくつかの実施形態では、環境1502などの三次元環境は、図15Gの視点1526などのユーザの第1の視点から表示生成構成要素を介して可視であり、第1の仮想オブジェクトは、図15Hのオブジェクト1518aなどのユーザの第1の視点に対する第1の向きであって、第1の向きはユーザの第1の視点に向けられている、第1の向きと、環境1502などの三次元環境に対する第2の向きとを有している間、コンピュータシステムは、1つ以上の入力デバイスを介して、オブジェクト1518aの移動などの、図15Hの手1503bによる入力などの三次元環境に対して第1のロケーションから第2のロケーションへ第1の仮想オブジェクトを移動させる要求に対応する個別の入力を検出する(1632a)。例えば、第1の仮想オブジェクトは、任意選択的に、ウィンドウが三次元環境内のユーザのポジションに向けられる(例えば、仮想オブジェクトの前面の法線がユーザの視点に向けられる)ように配向されたアプリケーションユーザインタフェースに対応するウィンドウである。いくつかの実施形態では、第1の仮想オブジェクトは、三次元環境内のユーザのポジション、又はユーザの個別の部分(例えば、ユーザの頭部)に向かって指向される、視認平面(例えば、湾曲したコンピューティングモニタ及び/又はフラットパネルテレビなどの現実世界ディスプレイに対応する)を含む。例えば、第1の仮想オブジェクトから直交して延びるベクトルは、ユーザ及び/又はユーザの視点の方に向けられる。ユーザに対する第1の向きに加えて、第1の仮想オブジェクトは、任意選択的に、三次元環境に対する第2の向きも有する。例えば、三次元環境は、任意選択的に、複合現実又は仮想現実環境であり、環境内に表示される第1の仮想オブジェクトは、任意選択的に、環境の次元に対して特定のポジション及び/又は角度で配置される(例えば、三次元環境の垂直軸に概ね平行に配向され、垂直軸は、ユーザの身長に平行に及び/又は床に垂直に延びる)。いくつかの実施形態では、第1の仮想オブジェクトがユーザに向けられている間、コンピュータシステムは、ユーザの個別の部分(例えば、手)のエアジェスチャなどの、第1の仮想オブジェクトを移動させるための入力を検出する。例えば、コンピュータシステムは、任意選択的に、ユーザの手のエアピンチジェスチャを検出し、ユーザが第1の仮想オブジェクトを選択することを意図している(例えば、コンピュータシステムが、ユーザの注意が第1の仮想オブジェクトに向けられているか、又は以前に向けられていたことを検出する)という判定に従って、第1の仮想オブジェクトを移動させる処理を開始する。例えば、エアピンチジェスチャに応じて、コンピュータシステムは、任意選択的に、ユーザの手がピンチハンド形状のままである(例えば、親指及び人差し指が触れている)間にユーザの手の更なる移動を追跡し、手の更なる移動に基づいて(例えば、手の移動の方向及び/又は大きさに基づく方向及び/又は大きさで)第1の仮想オブジェクトを移動させる。いくつかの実施形態では、個別の入力は、コンピュータシステムと通信するトラックパッドデバイス上のジェスチャなどの入力を含む。いくつかの実施形態では、個別の入力は、物理及び/又は仮想ボタンの作動を含む。
いくつかの実施形態では、個別の入力に応じて、コンピュータシステムは、表示生成構成要素を介して、図15Hのオブジェクト1516aのロケーションなどの三次元環境内の第2のロケーションに第1の仮想オブジェクトを表示し、第1の仮想オブジェクトは、ユーザの第1の視点に対する第1の向きと、三次元環境に対する第2の向きとは異なる、オブジェクト1518aに対する図15Hのオブジェクト1516aの向きなどの第3の向きとを有する(1632b)。例えば、第1の仮想オブジェクトを移動させている間、ユーザの第1の視点に対する第1の仮想オブジェクトの角度配向は、任意選択的に維持される。前述のウィンドウを移動させている間、例えば、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトのポジションが三次元環境内で変化しても、第1の仮想オブジェクトのコンテンツが完全に可視であり、及び/又はユーザの視点に向けられるように、三次元環境内でウィンドウを回転させる。したがって、第1の仮想オブジェクトは、任意選択的に、三次元環境に対して新しい第3の向きに移動されるが、ユーザの第1の視点に対する第1の向きを維持する。いくつかの実施形態では、個別の入力は、物理又は仮想ボタンの作動を任意選択的に含み、作動に応じて、コンピュータシステムは、第1の仮想オブジェクトを移動させ始める。例えば、第1の仮想オブジェクトの上向きの移動に応じて、コンピュータシステムは、任意選択的に、上向きの動きに従って第1の仮想オブジェクトを下向きに傾ける。追加的又は代替的に、いくつかの実施形態では、ユーザの視点に対する個別の方向への横方向の移動に応じて、第1の仮想オブジェクトは、横方向の動きに対抗するように任意選択的に回転される(例えば、第1の仮想オブジェクトの右方向の移動に応じて左方向に回転される)。ユーザの第1の視点に対する第1の向き及び三次元環境に対する第3の向きで第1の仮想オブジェクトを表示することは、第1の仮想オブジェクトの空間的配向を変更した後にユーザの視点に対して第1の仮想オブジェクトを配向する必要性を減少させる。
いくつかの実施形態では、オブジェクト1514aなどの第1の仮想オブジェクトであって、第1の仮想オブジェクトが、図15Gのオブジェクト1514aなど、三次元環境内の第1のポジションにある、第1の仮想オブジェクトが第2の視点から可視である間、コンピュータシステムは、1つ以上の入力デバイスを介して、手1503bを使用する入力などの第1の仮想オブジェクトを選択する入力のインジケーションを検出する(1634a)。例えば、第1の仮想オブジェクトが任意選択的にユーザの視野内にある間に、コンピュータシステムは、任意選択的に、ユーザの注意が第1の仮想オブジェクトに向けられている間に検出されるユーザの手によるエアピンチジェスチャ(例えば、近づいて触れあっている親指と人差し指の先端)などの第1の仮想オブジェクトを選択する入力、例えば、ステップ(単数又は複数)1632を参照して説明される個別の入力を検出する。
いくつかの実施形態では、第1の仮想オブジェクトを選択する入力のインジケーションに応じて(例えば、もしあれば、第1の仮想オブジェクトを選択する入力の移動成分を検出する前に、及び/又は互いから離れるように移動するユーザの人差し指及び親指を検出する前に)、第1の仮想オブジェクトの第1のポジションが、第1のポジションがユーザの第2の視点から図15Gの閾値1530などの閾値距離(例えば、0.1、0.25、0.5、1、2.5、5、又は10メートル)未満であるときに満たされる基準を含む1つ以上の基準を満たすという判定に従って、コンピュータシステムは、第1の仮想オブジェクトを、三次元環境内の第1のポジションから、ユーザの第2の視点からの閾値距離より大きい、図15Hのオブジェクト1514aのポジションなどの三次元環境内の第2のポジションに移動させる(1634b)。例えば、エアピンチジェスチャが第1の仮想オブジェクトを選択したことに応じて、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトとコンピュータシステムのユーザの視点との間の相対的な空間関係を決定する。いくつかの実施形態では、コンピュータシステムは、第1の仮想オブジェクトを選択する入力を検出する前に、相対的空間関係を認識している。いくつかの実施形態では、第1の仮想オブジェクトがコンピュータシステムのユーザの視点からの閾値距離内にあるという判定に従って、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトをコンピュータシステムのユーザから更に離して三次元環境内の第2のポジションに移動させて、任意選択的に第1の仮想オブジェクトの可視性を向上させる。いくつかの実施形態では、選択入力に応答した第1の仮想オブジェクトの移動は、ユーザの個別の部分の移動量を含む入力とは無関係である。例えば、第1の仮想オブジェクトを選択する入力に応じて、任意選択的に、第1の仮想オブジェクトを移動させる要求に対応する入力(単数又は複数)が受信されない及び/又は無視される間(例えば、任意選択的にピンチなどのエアジェスチャを維持しながらのユーザの既定の部分の移動)、コンピュータシステムは、任意選択的に、ユーザの手又は腕の移動の考慮を見合わせ、任意選択的に、第1の仮想オブジェクトを第2のポジションへ、ユーザ視点から所定の及び/又は計算された距離だけ移動させる。いくつかの実施形態では、第2のポジションは、ユーザから所定の距離(例えば、閾値距離の2%、5%、10%、15%、25%、50%、又は75%)離れている。いくつかの実施形態では、第2のポジションは、三次元環境又は他の仮想及び/若しくは現実世界オブジェクトの寸法に従って決定される。例えば、第1の仮想オブジェクトが、三次元環境の現実世界オブジェクト(例えば、壁)又は仮想壁の(例えば、ユーザの視点に対して)前にある場合、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトを現実世界オブジェクト及び/又は壁よりも遠くに移動させない。追加的又は代替的に、第1の仮想オブジェクトは、任意選択的に、コンピュータシステムのユーザの第2の視点からの三次元環境内の物理的及び/又は仮想オブジェクトとの空間的及び/又は視線の衝突を防止するために移動される。第1の仮想オブジェクトの選択のインジケーションに応じて、閾値距離よりも遠い第2のポジションに第1の仮想オブジェクトを移動させることは、ユーザの視点から適切な距離に第1の仮想オブジェクトを手動で位置付けるための1つ以上の入力の必要性を減少させる。
いくつかの実施形態では、図15Gに示すオブジェクト1516aなどの第1の仮想オブジェクトであって、第1の仮想オブジェクトが、図15Gに示すポジションオブジェクト1516aなど、三次元環境内の第1のポジションにある、第1の仮想オブジェクトが第2の視点から可視である間、コンピュータシステムは、1つ以上の入力デバイスを介して、手1503bによる入力などの第1の仮想オブジェクトを選択する入力のインジケーションを検出する(1636a)。第1の仮想オブジェクトを選択する入力は、任意選択的に、ステップ(単数又は複数)1634を参照して説明される入力の特性のうちの1つ以上を有する。
いくつかの実施形態では、第1の仮想オブジェクトを選択する入力のインジケーションに応じて、第1の仮想オブジェクトの第1のポジションが、第1のポジションが図15Gに示す閾値1532などのユーザの第2の視点からの閾値距離より遠いときに満たされる基準を含む、1つ以上の基準を満たすという判定に従って、コンピュータシステムは、図15Hに示すオブジェクト1516aの顕著性などの、三次元環境に対する第1の仮想オブジェクトの顕著性(例えば、視覚的顕著性)を増加させる(1636b)。例えば、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトがユーザから遠すぎる(例えば、0.1、0.25、0.5、1、2.5、5、又は10メートルなどの閾値距離より遠い)ことを検出し、ステップ(単数又は複数)1638~1640を参照して以下でより詳細に説明されるように、エアピンチジェスチャに応じて、第1の仮想オブジェクト及び/又は第1の仮想オブジェクト内のコンテンツの顕著性を増加させる。いくつかの実施形態では、第1の仮想オブジェクトの顕著性を増加させることは、第1の仮想オブジェクト及び/又はそのコンテンツの可視性を増加させることを含む。いくつかの実施形態では、可視性のそのような増加は、第1の仮想オブジェクトを不透明化する。いくつかの実施形態では、第1の仮想オブジェクトは、ハロー/グローなどの追加の視覚効果とともに表示されるか、追加及び/又は変更された境界(例えば、鏡面ハイライトを含む境界)とともに表示されるか、三次元環境及び/又は他の仮想オブジェクトから視覚的に区別される。いくつかの実施形態では、第1の仮想オブジェクトを選択する入力は、第1の仮想オブジェクトの視覚的顕著性を明示的に増加させる入力とは別個である。例えば、入力のインジケーションに応じて、及び入力が第1の仮想オブジェクトを選択する要求に対応するという判定に従って、コンピュータシステムは、任意選択的に、視覚的顕著性の所定の又は計算された増加に従って、第1の仮想オブジェクトの視覚的顕著性を増加させる。入力のインジケーションに応じて、かつ入力が第1の仮想オブジェクトの視覚的顕著性を明示的に(例えば、手動で)増加させる要求に対応するという判定に従って、コンピュータシステムは、任意選択的に、入力に従って(例えば、個別の部分との姿勢を維持しながら、ユーザの個別の部分の移動に基づいて比例的に)第1の仮想オブジェクトの視覚的顕著性を変更し、任意選択的に、選択及び/又は視覚的顕著性の所定若しくは計算された増加を見合わせる。第1の仮想オブジェクトを選択する入力のインジケーションに応じて第1の仮想オブジェクトの顕著性を増加させることは、第1の仮想オブジェクトの顕著性を手動で増加させるために第1の仮想オブジェクト及び/又は三次元環境の他の側面を操作するユーザ入力の必要性を減少させる。
いくつかの実施形態では、第1の仮想オブジェクトの顕著性を増加させることは、図15Gに示すものと比較して、図15Hに示すようなオブジェクト1508 aのスケールなど、三次元環境内の第1の仮想オブジェクトのサイズを増加させることを含む(1638)。例えば、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトのサイズを増加させるために第1の仮想オブジェクトを選択する入力のインジケーションに応じて、第1の仮想オブジェクトをスケーリングする。いくつかの実施形態では、第1の仮想オブジェクト内に含まれるコンテンツ(例えば、テキスト及び/又はビデオ)は、増加したサイズに従って、同様にスケーリング又はリサイズされる。第1の仮想オブジェクトの顕著性を増加させるときに第1の仮想オブジェクトのサイズを増加させることは、第1の仮想オブジェクトのサイズを増加させるための追加の入力の必要性を減少させる。
いくつかの実施形態では、第1の仮想オブジェクトの顕著性を増加させることは、図15Gに示すものと比較して図15Hに示すようなオブジェクト1516aのポジションなどの、ユーザの第2の視点から閾値距離未満である三次元環境内の第2のポジションに第1の仮想オブジェクトを移動させることを含む(1640a)。例えば、コンピュータシステムは、任意選択的に、三次元環境内の第1のポジションよりも第2の視点に近い(例えば、ユーザの0.1、0.25、0.5、1、2.5、5、又は10メートル以内の)第2のポジションから第1の仮想オブジェクトを移動させる。第1の仮想オブジェクトの顕著性を増加させるときにユーザの視点の閾値距離内で第1の仮想オブジェクトを移動させることは、第1の仮想オブジェクトを移動させるための追加の入力の必要性を減少させる。
いくつかの実施形態では、図15Gに示すようなオブジェクト1518aなど第1の視点からの第1の仮想オブジェクトを表示することは、オブジェクト1518aに関連付けられたグラバーなどの第3の視覚的顕著性レベルに対応する第3の値を有する第2の個別の視覚的特性でユーザインタフェース要素を表示することを含む(1642a)。例えば、第2の個別の視覚的特性は、ユーザインタフェース要素に適用されるサイズ、半透明性、照明効果、及び/又は他の視覚効果を任意選択的に含み、第2の個別の視覚的特性の第3の値は、ユーザインタフェース要素の顕著性又は現在の選択(例えば、ユーザがユーザインタフェース要素を選択した後、任意選択的にユーザの個別の部分のポーズ(例えば、エアピンチの手の形状)が維持されている間)を任意選択的に示す。
いくつかの実施形態では、第2の視点から第1の仮想オブジェクトを表示することは、オブジェクト1518aに関連付けられたグラバーの低下した視覚的顕著性などの、第3の視覚的顕著性レベルとは異なる第4の視覚的顕著性レベルに対応する、第3の値とは異なる第4の値を有する第2の個別の視覚的特性でユーザインタフェース要素を表示することを含む(1642b)。例えば、コンピュータシステムは、任意選択的に、コンピュータシステムのユーザが任意選択的に第2の向きで第1の仮想オブジェクトを見ていることを検出し、それに応じて、任意選択的に、第2の個別の視覚的特性の第3の値と比較して、より小さいサイズ、より高い半透明性、及び/又は比較的小さい視覚効果などの第4の値を有する第2の個別の視覚的特性でユーザインタフェース要素を表示して、低減された視覚的顕著性レベルを示す。いくつかの実施形態では、第3の値は、相対的により低い視覚的顕著性に対応し、第4の値は、相対的により高い視覚的顕著性に対応する。いくつかの実施形態では、ユーザインタフェース要素は、第4の値を有する第2の個別の視覚的特性で表示されている間、第1の仮想オブジェクトを移動させるように依然として相互作用可能である。いくつかの実施形態では、ユーザインタフェース要素は、第4の値を有する第2の個別の視覚的特性で表示されている間、もはや第1の仮想オブジェクトを移動させるように相互作用可能ではない。第1の仮想オブジェクトを第1の視点から可視である間に第3の値で、第1の仮想オブジェクトを第2の視点から可視である間に第4の値を有する第2の個別の視覚的特性でユーザインタフェース要素を表示することは、ユーザの視点に対して第1の仮想オブジェクトが表示されている向きに関する視覚フィードバックを提供し、第1の仮想オブジェクトに誤って向けられる入力を減少させる。
いくつかの実施形態では、図15Gの手1503bからの入力などの個別の入力を検出したことに応じて、ユーザの第2の視点に対する第2の向きを有する図15Gに示すオブジェクト1518A(例えば、アプリケーションユーザインタフェースに対応するウィンドウ)などの第1の仮想オブジェクトを三次元環境に表示することは、第2の視点に対する第1の仮想オブジェクトの第1の向きが図15Gのオブジェクト1518aの向きなどの第1の向きの範囲内にある(例えば、仮想オブジェクトの表面に垂直に延びるベクトルに対して0.1、0.5、1、5、10、15、30、45、若しくは60度、及び/又は第1の仮想オブジェクトから0.025、0.1、0.5、1、2.5、5、若しくは10メートル離れている)という判定に従って、図15Hに示すようなオブジェクト1518aの向きへの回転のアニメーションなどの、第2の視点に対して第1の向きから第2の向きに回転する第1の仮想オブジェクトのアニメーションを三次元環境に表示すること(1644b)を含む(1644a)。例えば、第1の向きの範囲は、任意選択的に、第2の視点からのユーザの視野角の第1の範囲を含む。本明細書で言及される場合、個別の「視野角」は、任意選択的に、ユーザの現在の視点と、第1の仮想オブジェクトの第1の表面に対して垂直に及び/又は直交して延びるベクトルとの間の角度及び/又は向きの差に対応する。例えば、直方体に類似した形状又は輪郭を任意選択的に有する第1の仮想オブジェクトは、第1の面(例えば、比較的大きな長方形面)から延びる法線を任意選択的に有し、視野角は、ユーザの視点と法線との間で任意選択的に測定される。いくつかの実施形態では、第1の仮想オブジェクトは、比較的平坦な表面を含まず、視野角は、第1の仮想オブジェクトの個別の部分から(例えば、第1の仮想オブジェクトの中心から、及び/又は第1の仮想オブジェクトの比較的平坦な部分から離れて)延びる、法線及び/又は直交ベクトル以外の別のベクトルに対して測定される。いくつかの実施形態では、コンピュータシステムは、ユーザに向かって徐々に回転する第1の仮想オブジェクトをアニメーション化する。いくつかの実施形態では、第1の仮想オブジェクトの回転をアニメーション化する間、第1の向きから第2の向きへの第1の仮想オブジェクトのクロスフェードは表示されない。
いくつかの実施形態では、手1503bによる入力などの個別の入力を検出したことに応じて、三次元環境において、図15Gのオブジェクト1518aの向きなどの、ユーザの第2の視点に対する第2の向きを有する第1の仮想オブジェクトを表示することは、第2の視点に対する第1の仮想オブジェクトの第1の向きが、第1の向きの範囲とは異なる第2の向きの範囲内にある(例えば、仮想オブジェクトの表面に垂直に延びるベクトルに対して0.5、1、5、10、15、30、45、60、又は75度、及び/又は第1の仮想オブジェクトから0.1、0.5、1、2.5、5、10、又は15メートル離れている)という判定に従って、三次元環境において、図15Gのオブジェクト1518aの向きへのクロスフェードなどの、第2の視点に対する第1の向きから第2の向きへの第1の仮想オブジェクトのクロスフェードを表示すること(1644c)を含む。例えば、第2の向きの範囲は、任意選択的に、第1の視野角の範囲よりも大きい1つ以上の視野角を含む。いくつかの実施形態では、第1の仮想オブジェクトをクロスフェードしている間、第1の仮想オブジェクトを第1の向きから第2の向きに回転させるアニメーションは表示されない。いくつかの実施形態では、クロスフェードは、第1の仮想オブジェクトがもはや不可視になるか、又はほとんど不可視になるまで(例えば、0%及び/又は5%の不透明度で表示される)、第1の仮想オブジェクトの視覚的顕著性レベルを徐々に低下させて第1の仮想オブジェクトを表示することを含む。上記の不透明度及び/又は半透明性で第1の仮想オブジェクトを表示したことに応じて、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトが、任意選択的に(例えば、クロスフェード前の)第1の向きで表示されたときの第1の仮想オブジェクトの不透明度に対応する最終レベルの不透明度(例えば、100%)で表示されるまで、第2の向きで徐々に高まるレベルの不透明度で第1の仮想オブジェクトを表示し始める。第1の向きが向きの第1の範囲又は第2の範囲内にあるという判定に従ってアニメーション又はクロスフェード効果を伴って第1の仮想オブジェクトを表示することは、第1の仮想オブジェクトの比較的大きい回転をアニメーション化するために必要とされる計算の複雑さ及び電力消費を減少させる。
いくつかの実施形態では、オブジェクト1518aなどの第1の仮想オブジェクトが第3の角度範囲から可視である間、第3の外観は、図15Gに示すように、オブジェクト1518上のテキストなどの第1の仮想オブジェクトの個別の識別子の表示を含む(1646a)。例えば、第1の仮想オブジェクトは、任意選択的に、コンピュータシステムのユーザの視点から第3の視野角範囲内で可視であるアプリケーションユーザインタフェースに対応するウィンドウであり、第3の外観は、任意選択的に、第1の仮想オブジェクトを識別するテキスト及び/又はグラフィカルインジケータを含む。そのような識別子は、第1の仮想オブジェクトに関連付けられたコンテンツ(例えば、メディアコンテンツ)に基づく1つ以上の色を任意選択的に含むグラフィカルアプリケーションアイコンを任意選択的に含む。いくつかの実施形態では、テキスト及び/又はグラフィカルインジケータは、第1の仮想オブジェクトがユーザインタフェースであるアプリケーションを識別する。いくつかの実施形態では、第3の角度範囲は、第1の仮想オブジェクトの後部に対応する視野角の範囲に対応する。例えば、コンピュータシステムは、任意選択的に、コンピュータシステムが第1の仮想オブジェクトの正面を表示している間は識別子を表示しないが、三次元環境内のユーザの視点が第1の仮想オブジェクトの背面に向かって変化するにつれて、第1の仮想オブジェクトの外観は、識別子を含むように変更される。いくつかの実施形態では、個別の識別子は、ユーザの視点が第1の仮想オブジェクトの比較的後方及び/又は側方にある間、第1の仮想オブジェクトの上方、前方、及び/又は近傍に表示され、ユーザの視点が第1の仮想オブジェクトの比較的前方にある間、表示されない。いくつかの実施形態では、個別の識別子は、ステップ(単数又は複数)1624に関連してより詳細に説明されるように、第1の仮想オブジェクトが第2の外観(例えば、アイコンなどの視覚表現を含む)で表示されている間同時に表示される。
いくつかの実施形態では、第1の視覚オブジェクトが第1の角度範囲(及び/又は第2の角度範囲)から可視である間、第1の外観は、第1の仮想オブジェクトの個別の識別子の表示を含まない(1646b)。例えば、第1及び/又は第2の角度範囲から第1の仮想オブジェクトを表示している間、第1の仮想オブジェクトの外観は、前述の識別子を含まない。いくつかの実施形態では、第1の外観は、前述の識別子を含む。第1の仮想オブジェクトが第3の角度範囲から可視である間に個別の識別子を表示することは、第1の仮想オブジェクトに対するユーザ視点の向きに関するフィードバックを提供し、したがって、そのようなユーザ入力が検出されない可能性があるときに仮想オブジェクトに向けられた誤ったユーザ入力の入力を低減し、また、第1の仮想オブジェクトのコンテンツが任意選択的にフェードされ、したがってそれ自体がそのようなフィードバックを提供しないときに、第1の仮想オブジェクトに関するフィードバックを提供する。
いくつかの実施形態では、オブジェクト1518aなどの第1の仮想オブジェクトを三次元環境内に表示している間、コンピュータシステムは、1つ以上の入力デバイスを介して、手1503bからの入力などの第1の仮想オブジェクトに向けられた入力のインジケーションを検出する(1648a)。いくつかの実施形態では、入力のインジケーションは、ステップ(単数又は複数)1632に関してより詳細に説明される個別の入力の1つ以上の特性を有する。いくつかの実施形態では、第1の仮想オブジェクトに向けられた入力のインジケーションの検出に応じて(1648b)、第1の仮想オブジェクトが、第2の視点からの第2の角度とは異なる、図15Gの視点1526などのユーザの第2の視点に対して、図15Hに示すオブジェクト1518aなどの第3の角度にある(及び/又は第1の角度範囲内にある、及び/又は第1の向きである)という判定に従って、コンピュータシステムは、図15Hのオブジェクト1518Gに対する動作などの、第1の仮想オブジェクトに向けられた入力のインジケーションに基づいて1つ以上の動作を開始する(1648c)。例えば、コンピュータシステムは、任意選択的に、コンピュータシステムのユーザが第1の仮想オブジェクトに対して相対的に内側の第3の角度にいることを検出し、入力を検出したことに応じて、入力に従って1つ以上の動作を実行する処理を開始する。入力は、任意選択的に、第1の仮想オブジェクト内に含まれるテキストフィールドにテキストを入力する入力、第1の仮想オブジェクトの外観及び/若しくは向きを変更する入力、並びに/又は第1の仮想オブジェクト内に含まれるコンテンツを選択する入力(例えば、ボタンを選択する入力及び/若しくはメディアの表現を選択する入力)である。いくつかの実施形態では、入力に応じて、コンピュータシステムは、テキストフィールドへのテキスト入力を開始し、第1の仮想オブジェクトの変更(例えば、スケーリング、回転、及び/又は不透明度の変更)を開始し、及び/又はコンテンツを選択する(例えば、セクションに対応するメディアの再生を開始し、及び/又はメディアを拡大する)。いくつかの実施形態では、ユーザの視点が第1の仮想オブジェクトの個別の部分(例えば、部分の中心及び/又は法線)の閾値角度(例えば、1、5、10、30、45、又は60度)内にあるという判定に従って、コンピュータシステムは、第1の仮想オブジェクトに向けられた入力のインジケーションを検出したことに応じて、1つ以上の動作を開始する。
いくつかの実施形態では、第1の仮想オブジェクトに向けられた入力のインジケーションを検出したことに応じて、第1の仮想オブジェクトが、図15Gに示すようなオブジェクト1518aと視点1526aとの間の角度など、第1の角度とは異なるユーザの第2の視点に対して第2の角度にある(及び/又は第1の角度範囲とは異なる第2の角度範囲内にある)という判定に従って、コンピュータシステムは、第1の仮想オブジェクトに向けられた入力のインジケーションに基づく1つ以上の動作の開始を見合わせる(1648d)。例えば、第2の角度は、任意選択的に、第1の角度と比較して第1の仮想オブジェクトに対して相対的に横方向の角度に対応し、したがって、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトが任意選択的にユーザの第2の視点に対して第2の角度になった後に受信される相互作用を変更及び/又は防止する。いくつかの実施形態では、コンピュータシステムは、第2のユーザ視点が第1の仮想オブジェクトに対して閾値角度(例えば、0.5、1、5、10、15、30、45、60、又は75度)外にあるときに入力が受信されたという判定に従って、入力(例えば、ボタンの選択)に応じて1つ以上の動作を実行することを見合わせる。第1の仮想オブジェクトがユーザの第2の視点に対して第2の角度にあるという判定に従って1つ以上の動作を見合わせることは、ユーザが第1の仮想オブジェクトとの相互作用のために適切な角度にない間の第1の仮想オブジェクトとの意図しない相互作用を防止する。
いくつかの実施形態では、表示生成構成要素120などの表示生成構成要素を介して、第1の視点から三次元環境1502などの三次元環境内のオブジェクト1506aなどの第1の仮想オブジェクトを表示している間、コンピュータシステム101などのコンピュータシステムは、図15Iに示す視点1526などの第1の視点から図15Jに示す視点1526などの第3の視点へのユーザの現在の視点の移動を検出し、第1の視点から第3の視点への現在の視点の移動は、第1の仮想オブジェクトの前面に対して(例えば、ユーザの視点に面する第1の仮想オブジェクトの表面などの第1の仮想オブジェクトの前面の法線に対して)第1の角度から可視である第1の仮想オブジェクトから、第1の仮想オブジェクトの前面に対して第3の角度から可視である第1の仮想オブジェクトへの遷移に対応し、第3の角度は第1の角度より大きい(1650a)。例えば、方法2200を参照して閾値を参照して説明されるように、コンピュータシステムは、任意選択的に、ユーザが第1の仮想オブジェクトに対して現在の視点を変更している間のユーザ相互作用の一貫性及び/又は第1の仮想オブジェクトの外観を改善するために、ヒステリシスを有する1つ以上の閾値を決定する。本明細書に記載される角度(例えば、第3の角度、第4の角度)で可視であることと、本明細書に記載される視点(例えば、第3の視点、第4の視点)で可視であることとの間の第1の仮想オブジェクトの遷移は、方法2200を参照して説明される領域(単数又は複数)、基準(単数又は複数)、視点(単数又は複数)、及び/又は視覚的顕著性レベルの変化の1つ以上の特性を任意選択的に有する。第1の仮想オブジェクトの前面は、任意選択的に、ユーザが物理的な車及び/又は物理的なディスプレイ(例えば、テレビ)などの物理的オブジェクトの周囲のポジション及び/又は向きに移動して物理的オブジェクトの表面(単数又は複数)を見ることができるのと同様に、コンピュータシステムのユーザが任意選択的に現在の視点を変更して第1の仮想オブジェクトの部分(単数又は複数)を見るポジション及び/又は向きの範囲に対応する。
いくつかの実施形態では、第1の視点から第3の視点へのユーザの現在の視点の移動の検出に応じて(及び/又はその間に)(1650b)、第3の角度が第1の閾値角度(例えば、5、10、15、20、25、30、35、40、45、50、55、60、65、70、又は75度)よりも大きいという判定に従って、コンピュータシステムは、三次元環境における第1のコンテンツの第3の視覚的顕著性レベル、例えば、第1の視覚的顕著性レベルよりも低い図15Jに示すオブジェクト1506aの視覚的顕著性レベルに対応する第3の値を有する第1のコンテンツの個別の視覚的特性で第1の仮想オブジェクトを表示する(1650c)。例えば、第1の閾値角度は、任意選択的に、閾値に対応し、この閾値を超えると、コンピュータシステムは、第1の仮想オブジェクトのオフアングルビューを悪化させる現在の視点の更なる変化(例えば、第1の仮想オブジェクトからの法線から離れる)に従って、第1の仮想オブジェクトの視覚的顕著性を任意選択的に減少させる。同様に、コンピュータシステムは、任意選択的に、第1のコンテンツ及び/又は第1の仮想オブジェクトに対する閾値距離(例えば、0.001、0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、又は500m)を確立し、現在の視点が第1の仮想オブジェクトに対する閾値距離を超えた個別の距離に変化すると、第3の値(又は第4の異なる値)を有する第1のコンテンツの個別の視覚的特性を表示する。
いくつかの実施形態では、第3の角度が第1の閾値角度未満であるという判定に従って、コンピュータシステムは、三次元環境における第1のコンテンツの第1の視覚的顕著性レベル、例えば、図15Iに示すようなオブジェクト1506aの視覚的顕著性レベルに対応する第1の値を有する第1のコンテンツの個別の視覚的特性で第1の仮想オブジェクトの表示を維持する(1650d)。例えば、現在の視点が第1の閾値角度未満であるとき、個別の視覚的特性は、その現在の視覚的顕著性レベルに維持される。
いくつかの実施形態では、(第1の視点から第3の視点へのユーザの現在の視点の移動を検出した後に)表示生成構成要素を介して、第3の視点からの三次元環境内の第1の仮想オブジェクトを表示している間に、コンピュータシステムは、第3の視点から第4の視点へのユーザの現在の視点の移動を検出し、第3の視点から第4の視点への現在の視点の移動は、第1の仮想オブジェクトの前面に対して第3の角度から可視である第1の仮想オブジェクトから、第1の仮想オブジェクトの前面に対して第4の角度(例えば、第1の角度と同じ又は同様)から可視である第1の仮想オブジェクトに遷移することに対応し、第4の角度は、図15Iに示す視点1526によって再び示されるように、第3の角度未満である(1650e)。例えば、第4の視点は、任意選択的に、第1の視野角に向かって戻る移動に対応し、それによって、任意選択的に、第1の閾値角度未満であるが第2の閾値角度(例えば、視覚的顕著性を変化させるときにヒステリシスを有する閾値を導入するための、第1の閾値角度よりも比較的小さい閾値角度)よりも大きい視野角に戻る。
いくつかの実施形態では、第3の視点から第4の視点へのユーザの現在の視点の移動を検出したことに応じて(及び/又はその間に)(1650f)、第4の角度が第2の閾値角度未満(例えば、第1の閾値角度未満)であるという判定に従って、コンピュータシステムは、三次元環境における第1のコンテンツの第4の視覚的顕著性レベルに対応する第4の値を有する第1のコンテンツの個別の視覚的特性で第1の仮想オブジェクトを表示し、第4の視覚的顕著性レベルは、第3の視覚的顕著性レベルよりも大きい(1650g)。
いくつかの実施形態では、第4の角度が第2の閾値角度よりも大きい(しかし、任意選択的に第1の閾値角度よりも小さい)という判定に従って、コンピュータシステムは、三次元環境における第1のコンテンツの第3の視覚的顕著性レベルに対応する第3の値を有する第1のコンテンツの個別の視覚的特性で第1の仮想オブジェクトの表示を維持する(1650h)。例えば、第4の角度が第2の閾値角度未満であるとき、コンピュータシステムは、ユーザ入力(例えば、現在の視点の移動)が、第1の仮想オブジェクトの視覚的顕著性レベルの増加を開始するための明示的要求に任意選択的に対応すると判定する。したがって、コンピュータシステムは、任意選択的に、個別の特性の第4の値を有するように個別の視覚的特性を増加させる(例えば、輝度、彩度、及び/又は不透明度を増加させる)。対照的に、第4の角度が第2の閾値角度よりも大きい場合、コンピュータシステムは、ユーザ入力が、ユーザが個別の視覚的特性の変化を望むかどうかに関する曖昧さに任意選択的に対応すると決定する。したがって、コンピュータシステムは、任意選択的に、第3の値で個別の視覚的特性を維持する。同様の説明が、第1の仮想オブジェクト及び/又は第1のコンテンツに対する閾値距離(単数又は複数)に任意選択的に適用される。例えば、コンピュータシステムは、任意選択的に、現在の視点が第1の閾値距離で第1の仮想オブジェクトから離れるように移動するとき、コンテンツの視覚的顕著性を減少させ、現在の視点が第1の閾値距離を過ぎて(例えば、より近くに、及び/又は内側に)移動するとき、現在の視点が第2の相対的により小さい閾値距離内に移動するまで、コンテンツの視覚的顕著性を増加しない。個別のコンテンツの視覚的顕著性レベルの変更に関連付けられたヒステリシスを有する1つ以上の閾値を提供することは、ユーザが個別のコンテンツの視覚的顕著性レベルを不注意に変更する可能性を低減し、それによって、視覚的顕著性のそのような不注意な変更を補正するための不必要な入力を防止し、そのような不注意な変更を表示するために消費される電力を減少させる。
いくつかの実施形態では、第1の仮想オブジェクトを表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、カーソル1528-1によって示されるような第1の仮想オブジェクトに向けられた入力(例えば、ユーザ入力又は相互作用入力)を検出する(1652a)。相互作用入力は、例えば、任意選択的に、第1の仮想オブジェクトに含まれる仮想ボタンの選択、第1の仮想オブジェクトに含まれる仮想コンテンツのスクロール、第1の仮想オブジェクトに含まれるメディア(例えば、写真、ビデオ、及び/又はテキスト)を参照したコピー動作、並びに/又は第1の仮想オブジェクトの1つ以上の寸法の変更(例えば、オブジェクトのスケーリング)である。例えば、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトに含まれるコンテンツを選択する1つ以上の入力、例えばエアジェスチャ(例えば、コンピュータシステムのユーザの手の人差し指と親指との間の接触、手の指を広げること、及び/又は手の1本以上の指を丸めることを含むエアピンチジェスチャ)、コンピュータシステムに含まれる及び/又はコンピュータシステムと通信するタッチ感知面との間の接触、及び/又はコンテンツの選択を切り替えるコンピュータシステムのユーザによって実行される瞬きを、任意選択的に個別のコンテンツに対応するカーソルが表示されている間、かつ/又はユーザの注意が個別のコンテンツに向けられている間に、検出する。エアジェスチャ(例えば、人差し指と親指との間の接触)、接触、及び/又は選択モードが維持されている間、コンピュータシステムは、ユーザの身体の1つ以上の動き、コンピュータシステムと通信する第2のコンピュータシステム(例えば、スタイラス及び/又はポインティングデバイス)、及び/又はタッチ感知面とユーザの指との間の接触を任意選択的に検出し、その動きに基づいて個別のコンテンツを更新されたポジション(例えば、第2のポジション)に移動させる。例えば、第2のポジションは、任意選択的に、動きの大きさ及び/又は動きの方向に基づく。
いくつかの実施形態では、現在の視点が第1の視点に対応するという判定に従って相互作用入力を検出したことに応じて(1652b)、コンピュータシステムは、入力に従って第1の仮想オブジェクトに関連付けられた1つ以上の動作を実行する(1652c)。例えば、コンピュータシステムは、任意選択的に、現在の視点が第1の視点である(例えば、第1の仮想オブジェクトに対する許可された相互作用の領域に対応する)とき、仮想ボタンを選択し、コンテンツをスクロールし、メディアをコピーし、及び/又は第1の仮想オブジェクトをスケーリングする。
いくつかの実施形態では、現在の視点が第2の視点に対応するという判定に従って、コンピュータシステムは、図15Iにおいてテキスト入力モードを開始しない仮想コンテンツ1509aを参照して説明される1つ以上の動作など、入力に従って第1の仮想オブジェクトに関連付けられた1つ以上の動作の開始を見合わせる(1652d)。例えば、第2の視点が第1の仮想オブジェクトに対してより限定された範囲の相互作用に関連付けられるとき、コンピュータシステムは、任意選択的に、1つ以上の動作を見合わせる(例えば、ボタンを選択せず、コンテンツをスクロールせず、メディアをコピーせず、及び/又はオブジェクトをスケーリングしない)。いくつかの実施形態では、現在の視点が第1の視点に対応する間に相互作用入力が受信されたときに実行される動作の第1のセットは、現在の視点が第2の視点に対応するときは相互作用入力に応じて実行されない。いくつかの実施形態では、現在の視点が第1の視点及び第2の視点に対応するとき、相互作用入力に応じて動作の第2のセットが実行される。したがって、現在の視点が第2の視点に対応する間、第1の仮想オブジェクトは、任意選択的に、全てではないがいくつかの入力に応答する。現在の視点が第2の視点であるとき、1つ以上の入力を無視することは、コンピュータシステムのユーザが、視聴ポジション及び/又は向きのための指定された動作パラメータの外側である、第1の仮想オブジェクトに対する準最適視聴ポジション及び/又は向きに基づいて、第1の仮想オブジェクトに含まれるコンテンツと誤って相互作用する可能性を減少させる。
いくつかの実施形態では、第2の視覚的顕著性レベルで第1の仮想オブジェクトを表示することは、(例えば、第1の視覚的顕著性レベルで第1の仮想オブジェクトを表示している間には不可視であった及び/又は表示されなかった)図15I及び/又は図15Jのオブジェクト1506aを囲むエッジなどの1つ以上の仮想的要素を第1の仮想オブジェクトと同時に表示することを含む(1654)。例えば、1つ以上の仮想的要素は、任意選択的に、第1の仮想オブジェクトを囲む1つ以上のエッジ、1つ以上の現実世界及び/若しくはシミュレートされた光源に基づいて第1の仮想オブジェクトの下に投じられる仮想影、並びに/又は第1の仮想オブジェクトの部分(単数又は複数)を覆うパターンを含む。そのような1つ以上の仮想的要素は、任意選択的に、第1の仮想オブジェクトの抽象化された形態を提示するために同時に表示される。抽象化された形態は、任意選択的に、第1の仮想オブジェクトをより彩度の低い外観で(例えば、より目立たない又は鮮やかではない色で)表示すること、第1の仮想オブジェクトを、追加の仮想的要素(例えば、以前には不可視であった境界)を含む低減された視覚的顕著性レベルで表示すること、及び/又は第1の仮想オブジェクトの1つ以上の部分の不透明度を減少させることを含む。そのような1つ以上の仮想的要素の更なる説明は、方法2200を参照して行われる。第3の視覚的顕著性レベルで第1の仮想オブジェクトを表示するときに仮想的要素(単数又は複数)を追加することは、仮想オブジェクトの視覚的顕著性レベルを強化し、それによって、仮想オブジェクトの相互作用性についての誤った仮定に基づいてユーザが入力を誤って仮想オブジェクトに向け、仮想オブジェクトの相互作用性を変更する(例えば、改善する)ための更なる入力を示す可能性を減少させる。
いくつかの実施形態では、1つ以上の仮想的要素は、図15I及び/又は15Jにおけるオブジェクト1506aを囲むエッジなどの、第3の視覚的顕著性レベルを有する第1の仮想オブジェクトを囲む仮想境界を含む(1656)。例えば、仮想境界は、方法2200を参照して説明される境界(単数又は複数)及び/又はエッジ(単数又は複数)の1つ以上の特性を有する。境界を表示することは、任意選択的に、第1の仮想オブジェクトの寸法を囲む無地又はパターンフィルの1つ以上の部分、例えば、第1の仮想オブジェクトの輪郭を示すために第1の仮想オブジェクトの一部又は全部を囲む白色及び/又はわずかに半透明の線を更に表示することを含む。いくつかの実施形態では、仮想境界及び/又はエッジは、第1の仮想オブジェクトが第3の視覚的顕著性レベルを有する前は不可視であるることができない。いくつかの実施形態では、仮想境界は、第1の仮想オブジェクトが第3の視覚的顕著性レベルを有する前に(例えば、第1の仮想オブジェクトが第1及び/又は第2の視覚的顕著性レベルで表示されている間に)可視であるが、より低い視覚的顕著性レベルである。境界を追加することは、対応する仮想オブジェクトの視覚的顕著性レベルを強化し、それによって、仮想オブジェクトの相互作用性についての誤った仮定に基づいてユーザが入力を誤って仮想オブジェクトに向け、仮想オブジェクトの相互作用性を変更する(例えば、改善する)ための更なる入力を示す可能性を減少させる。
いくつかの実施形態では、1つ以上の仮想的要素は、図15Iのオブジェクト1508aなどの第1の仮想オブジェクト(1658)の上にオーバーレイされるフィルパターンを含む。例えば、フィルパターンは、方法2200を参照して説明されるパターン(単数又は複数)の1つ以上の特性を有する。フィルパターンは、任意選択的に、無地色であり、及び/又は任意選択的に、格子縞、斜め縞、及び/又はドットフィルパターンなどの1つ以上の色のパターンを有する。フィルパターンを変更することは、対応する仮想オブジェクトの視覚的顕著性レベルを強化し、それによって、仮想オブジェクトの相互作用性についての誤った仮定に基づいてユーザが入力を誤って仮想オブジェクトに向け、仮想オブジェクトの相互作用性を変更する(例えば、改善する)ための更なる入力を示す可能性を減少させる。
いくつかの実施形態では、第1の視覚的顕著性レベルで第1の仮想オブジェクトを表示することは、図15Iに示す仮想影1536、1358、及び/又は1540などの第3の視覚的顕著性レベルで第1の仮想オブジェクトに関連付けられた仮想影を表示することを含み(1660a)(例えば、仮想影は、方法2200を参照して説明される仮想影(単数又は複数)の1つ以上の特性を有する)、第2の視覚的顕著性レベルで第1の仮想オブジェクトを表示することは、第3の視覚的顕著性レベルよりも低い第4の視覚的顕著性レベルで第1の仮想オブジェクトに関連付けられた仮想影を表示すること(1660b)を含む。例えば、仮想影の彩度、輝度、及び/又は不透明度は、方法2200を参照して更に説明される個別の視覚的顕著性レベルに従って、任意選択的に変更される。仮想影の視覚的顕著性レベルを変更することは、対応する仮想オブジェクトの視覚的顕著性レベルを強化し、それによって、仮想オブジェクトの相互作用性についての誤った仮定に基づいてユーザが入力を誤って仮想オブジェクトに向け、仮想オブジェクトの相互作用性を変更する(例えば、改善する)ための更なる入力を示す可能性を減少させる。
方法1600における動作が説明された特定の順序は、例示的なものにすぎず、説明された順序が、動作が実行され得る唯一の順序であることを示すものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。
図17A~図17Eは、いくつかの実施形態による、コンピュータシステムのユーザの注意に基づいて、仮想オブジェクトに含まれるコンテンツの視覚的顕著性を変更するコンピュータシステムの実施例を示す。
図17Aは、コンピュータシステム101の表示生成構成要素(例えば、図1の表示生成構成要素120)を介して可視である三次元環境1702を示し、三次元環境1702は、(例えば、コンピュータシステム101が位置する物理的環境の左壁に面して)俯瞰図に示すユーザの視点1726aから可視である。図1~図6を参照して上述したように、コンピュータシステム101は、任意選択的に、表示生成構成要素(例えば、タッチスクリーン)と、複数の画像センサ(例えば、図3の画像センサ314)と、を含む。画像センサは、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又はユーザがコンピュータシステム101と相互作用する間にユーザ若しくはユーザの一部(例えば、ユーザの1つ以上の手)の1つ以上の画像をキャプチャするためにコンピュータシステム101が使用することができるであろう任意の他のセンサのうちの1つ以上を含む。いくつかの実施形態では、以下に図示及び説明されるユーザインタフェースはまた、ユーザインタフェース又は三次元環境をユーザに表示する表示生成構成要素と、物理的環境及び/又はユーザの手の移動(例えば、ユーザから外向きに面する外部センサ)、かつ/又はユーザの視線(例えば、ユーザの表面に向かって内向きに面する内部センサ)を検出するためのセンサとを含む、ヘッドマウントディスプレイ上に実現され得る。
図17Aに示すように、コンピュータシステム101は、コンピュータシステム101の周囲の物理的環境内の1つ以上のオブジェクトを含む、コンピュータシステム101の周囲の物理的環境(例えば、動作環境100)の1つ以上の画像をキャプチャする。いくつかの実施形態では、コンピュータシステム101は、三次元環境1702内の物理的環境の表現を表示し、及び/又は物理的環境は、表示生成構成要素120を介して三次元環境1702内で可視である。例えば、表示生成構成要素120を介して可視である三次元環境1702は、コンピュータシステム101が配置されている部屋の物理的な床並びに後壁及び側壁の表現を含む。三次元環境1702はまた、図17Aの視点1726aから表示生成構成要素120を介して可視であるテーブル1722a(俯瞰図の1722bに対応する)を含む。
図17Aでは、三次元環境1702はまた、視点1726aから可視である仮想オブジェクト1708a(俯瞰図のオブジェクト1708bに対応する)、1712a(俯瞰図のオブジェクト1712bに対応する)、1714a(俯瞰図のオブジェクト1714bに対応する)、1716a(俯瞰図のオブジェクト1716bに対応する)を含む。図17Aでは、オブジェクト1708a、1712a、1714a、及び1716aは、二次元オブジェクトであるが、本開示の例は、任意選択的に、三次元オブジェクトに等しく適用される。仮想オブジェクト1708a、1712a、1714a、及び1716aは、任意選択的に、アプリケーションのユーザインタフェース(例えば、メッセージングユーザインタフェース、及び/又はコンテンツブラウジングユーザインタフェース)、三次元オブジェクト(例えば、仮想時計、仮想ボール、及び/又は仮想車)、又はコンピュータシステム101の物理的環境に含まれないコンピュータシステム101によって表示される任意の他の要素のうちの1つ以上である。
いくつかの実施形態では、コンピュータシステム101は、コンピュータシステム101のユーザの注意が個別のオブジェクトに向かってシフトすることを検出したことに応じて、オブジェクト1708a、1712a、1714a、及び1716aなどの仮想コンテンツの視覚的顕著性を変更する。図17Aに示す前に、コンピュータシステム101は、任意選択的に、注意1704-1がオブジェクト1708aに向かって移動することを検出し、任意選択的に、注意1704-1が閾値期間(例えば、時間1723aにおける破線として示される)よりも長い期間1723aにわたってオブジェクト1708a上に留まることを検出する。閾値期間を過ぎた注意1704-1の滞留に応じて、コンピュータシステム101は、任意選択的に、オブジェクト1708aの視覚的顕著性(例えば、サイズ、半透明性のレベル、及び/又は方法1800を参照して説明される1つ以上の他の視覚的特性)を変更する。
本明細書で言及される場合、仮想コンテンツの視覚的顕著性は、任意選択的に、仮想コンテンツが、コンピュータシステムのユーザによって知覚されるように、三次元に対して任意選択的に別個及び/又は可視であるように、1つ以上の視覚的特性での仮想コンテンツの1つ以上の部分の表示を指す。いくつかの実施形態では、仮想コンテンツの視覚的顕著性は、没入閾値より高い及び/又は低い没入レベルで仮想コンテンツを表示することに関連して説明される1つ以上の特性を有する。例えば、コンピュータシステムは、任意選択的に、ある不透明度及び/又は輝度のレベルで表示される仮想コンテンツなどの、それぞれの値を有する1つ以上の視覚的特性で個別の仮想コンテンツを表示する。不透明度のレベルは、例えば、任意選択的に、0%の不透明度(例えば、不可視である及び/又は完全に半透明な仮想コンテンツに対応する)、100%の不透明度(例えば、完全に可視である及び/又は半透明でない仮想コンテンツに対応する)、及び/又は0%~100%の不透明度レベルの離散的及び/又は連続的な範囲に対応する不透明度の他のそれぞれのパーセンテージである。仮想コンテンツの一部の視覚的顕著性を減少させることは、例えば、仮想コンテンツの一部の1つ以上の部分の不透明度を0%の不透明度まで、又は現在の不透明度値よりも低い不透明度値まで減少させることを任意選択的に含む。仮想コンテンツの一部の視覚的顕著性を増加させることは、例えば、仮想コンテンツの一部の1つ以上の部分の不透明度を100%まで、又は現在の不透明度値よりも高い不透明度値まで増加させることを任意選択的に含む。同様に、仮想コンテンツの視覚的顕著性を減少させることは、任意選択的に、仮想コンテンツの1つ以上の部分の輝度レベルを(例えば、0%の輝度レベル又は現在の輝度レベルよりも低い別の輝度値で完全に減光された視覚的外観に向かって)減少させることを含み、仮想コンテンツの視覚的顕著性を増加させることは、任意選択的に、輝度レベルを(例えば、100%の輝度レベル又は現在の輝度レベルよりも高い別の輝度値で完全に明るくされた視覚的外観に向かって)増加させることを含む。追加の又は代替の視覚的特性が、視覚的顕著性の変更に任意選択的に含まれることが理解される(例えば、彩度の増加が視覚的顕著性を増加させ、彩度の減少が視覚的顕著性を減少させる彩度、ぼかし半径の増加が視覚的顕著性を減少させ、ぼかし半径の減少が視覚的顕著性を増加させるぼかし半径、コントラスト値の増加が視覚的顕著性を増加させ、コントラスト値の減少が視覚的顕著性を減少させるコントラスト)。オブジェクトの視覚的顕著性を変更することは、複数の異なる視覚的特性(例えば、不透明度、輝度、彩度、ぼかし半径、及び/又はコントラスト)を変更することを含むことができる。更に、第1のオブジェクトの視覚的顕著性が第2のオブジェクトの視覚的顕著性に対して増加されるとき、視覚的顕著性の変化は、第1のオブジェクトの視覚的顕著性を増加させること、又は第2のオブジェクトの視覚的顕著性を減少させること、第1のオブジェクトを第2のオブジェクトよりも増加させながら両方のオブジェクトの視覚的顕著性を増加させること、又は第1のオブジェクトを第2のオブジェクトよりも減少させずに両方のオブジェクトの視覚的顕著性を減少させることによって生成され得る。
いくつかの実施形態では、閾値期間未満の期間にわたって仮想オブジェクトに注意が向けられた場合、コンピュータシステム101は、オブジェクトの視覚的顕著性を変更しない。例えば、注意1704-2は、時間1723Aを参照して説明する閾値期間よりも短い期間1723bの間、オブジェクト1714aに向けられる。したがって、コンピュータシステム101は、オブジェクト1714aの視覚的顕著性の変更をまだ開始していない。
同様に、いくつかの実施形態では、コンピュータシステム101は、ユーザの注意のターゲットではないオブジェクトの視覚的顕著性を減少させる。例えば、オブジェクト1716aが表示されており、ユーザはオブジェクト1716aに注意を向けていない。したがって、コンピュータシステムは、任意選択的に、ユーザの注意のターゲットではないオブジェクトを、ユーザの注意のターゲットであるが、1つ以上の基準(例えば、時間ベースの基準)をまだ満たさないオブジェクトと同様に扱うので、オブジェクト1716aの視覚的顕著性は、任意選択的に、オブジェクト1714aと同様又は同じである。いくつかの実施形態では、個別の仮想オブジェクトの変更されていない視覚的顕著性は、相対的に低下した視覚的顕著性レベルに対応する。例えば、オブジェクト1714a及び1716aは、ユーザの焦点が誤ってオブジェクト1714a及び/又は1716aに向けられないように、80%の半透明性などの半透明性のレベルで任意選択的に表示される。追加的又は代替的に、任意選択的に、低下したレベルの半透明性でオブジェクトを表示するための潜在的な根拠は、それぞれのオブジェクトに含まれる個別の仮想コンテンツが、任意選択的に、コンピュータシステムのユーザにとってあまり関心がなく、及び/又はユーザが常に見ることを必然的に望む情報を含まないことである。
対照的に、いくつかの実施形態では、ユーザの注意のターゲットではないオブジェクトは、ユーザの注意がオブジェクトから離れるように向けられている間、任意選択的にユーザが関心を持つ比較的高い視覚的顕著性レベルで表示される。例えば、オブジェクト1712aは、任意選択的に、コンピュータシステムのオペレーティングシステムの1つ以上の特性を示す及び/又は制御する第1のタイプの仮想オブジェクトに対応する。例えば、1つ以上の特性は、コンピュータシステム及び/又はコンピュータシステムと通信する1つ以上のデバイスのバッテリレベル、コンピュータシステムのメモリに記憶された個別(それぞれ)のアプリケーションからの通知、及び/又は表示された仮想コンテンツの輝度、無線通信プロトコル(例えば、WiFi又はBluetooth)のトグル、及び/又はコンピュータシステム101の通知抑制モードなどのコンピュータシステムの特性を変更する1つ以上の制御を任意選択的に含む。そのような1つ以上の特性に関する情報は、任意選択的に、コンピュータシステム101の状態に関してユーザに知らせるのに有用であり、したがって、任意選択的に、比較的高い視覚的顕著性レベルで表示される。いくつかの実施形態では、オブジェクト1712aは、たとえ注意がオブジェクト1712aにシフトしても(例えば、注意がオブジェクト1712aに向けられていなくても)、その個別の視覚的顕著性を維持する。例えば、コンピュータシステム101は、任意選択的に、ユーザが注意をオブジェクト1712aにシフトし、そうでなければ視覚的顕著性(例えば、オブジェクト1712aに向けられた注意1704-1)を変更するようなある時間量にわたってオブジェクト1712a上に留まることを検出するが、任意選択的に、少なくともオブジェクト1708aが既に視覚的に顕著であるため、オブジェクト1712aの視覚的顕著性を増加させることを見合わせる。
注意インジケータ1704-1、1704-2、及び以下で更に説明する他の注意インジケータは、パーソナルコンピュータに結合されたコンピューティングマウスのカーソルと同様のグラフィカルオブジェクトとして示されているが、任意選択的に、視線ベースの注意のインジケーションなど、ユーザの注意のインジケーションに対応することが理解される。追加的又は代替的に、コンピュータシステムは、任意選択的に、トラックパッド1705上の手1703の接触及び/又は移動に基づいてユーザの注意を判定する。例えば、注意1704-1及び1704-2は、任意選択的に、トラックパッド1705の表面上の手1703のポジション及び/又は移動に基づくカーソルの表示ポジションに対応する。いくつかの実施形態では、注意インジケータ1704-1及び/又は1704-2は、三次元環境1702に表示されない。
図17Bでは、コンピュータシステム101は、以前はユーザの注意のターゲットではなかったそれぞれのオブジェクトへのユーザの注意シフトを検出し、それに応じて、環境1702内のそれらのオブジェクトの視覚的顕著性を変更する。例えば、コンピュータシステム101は、任意選択的に、注意1704-2が閾値時間量よりも長くオブジェクト1714a上に留まっていることを決定し、任意選択的に、図17Aに示すように、オブジェクト1708aの同様又は同じ視覚的顕著性レベルまでオブジェクト1714aの視覚的顕著性を増加させる。したがって、いくつかの実施形態では、コンピュータシステム101は、ユーザの注意のターゲットである任意の個別の仮想オブジェクトに適用される視覚的顕著性レベルでそれぞれの仮想オブジェクトを表示する(例えば、閾値期間を上回る期間の間)。いくつかの実施形態では、コンピュータシステム101は、図17Aに示す注意1704-1がもはやオブジェクト1708aに向けられていないことを検出し、それに応じてオブジェクト1708aの視覚的顕著性を減少させる。例えば、注意1704-1は、ここで、オブジェクト1716aに向けられ、時間1723aが、オブジェクト1716aの視覚的顕著性を増加させるために必要とされる閾値時間量に到達しないにもかかわらず、コンピュータシステム101は、オブジェクト1708aの視覚的顕著性を減少させる。したがって、いくつかの実施形態では、コンピュータシステム101は、ユーザの注意が個別の仮想オブジェクトから離れたことを検出したことに応じて、個別の仮想オブジェクトの視覚的顕著性を減少させる。
いくつかの実施形態では、オブジェクト1704-1の視覚的顕著性の減少は、コンピュータシステム101が別の個別のオブジェクトの視覚的顕著性を増加させるまで行われない。例えば、オブジェクト1708aは、任意選択的に、図17Aに示すように、相対的に増加された視覚的顕著性レベルで表示されるが、ユーザの注意は、任意選択的に、オブジェクト1714aにシフトし、コンピュータシステム101は、任意選択的に、閾値時間量を上回る時間量の間、オブジェクト1714a上に留まるユーザの注意を検出する。閾値時間量を過ぎてオブジェクト1714a上に注意が留まっていることを検出したことに応じて、コンピュータシステム101は、任意選択的に、オブジェクト1704aの視覚的顕著性を減少させ、任意選択的に、オブジェクト1714aの視覚的顕著性を増加させる。したがって、いくつかの実施形態では、コンピュータシステム101は、(例えば、閾値時間量を上回る時間量の間)ユーザの注意が第1のそれぞれの仮想オブジェクトに向けられる場合、第1のそれぞれの仮想オブジェクトのみを、相対的に増加された視覚的顕著性で表示し、第1のそれぞれの仮想オブジェクトの視覚的顕著性の増加に応じて、コンピュータシステム101は、ユーザの注意のターゲットではない第2のそれぞれの仮想オブジェクトを、相対的に減少した視覚的顕著性で表示する。いくつかの実施形態では、ユーザの注意が、個別のオブジェクトの第1の個別の部分に対応する第1のロケーションから、同じ個別のオブジェクトの第2の個別の部分に対応する第2のロケーションに移動する場合、コンピュータシステム101は、方法1800を参照して更に説明されるように、任意選択的に、個別の仮想オブジェクトの視覚的顕著性の任意の変更を見合わせる。
図17Cは、三次元環境1702内のそれぞれのロケーションへのユーザの注意のシフト、及びそのような注意のシフトに基づくオブジェクトの視覚的顕著性の変更の実施例を図示する。いくつかの実施形態では、コンピュータシステム101は、図17Bを参照して説明される時間閾値を上回る時間量の間、オブジェクト上に留まるユーザの注意を待つことを検出することなく、オブジェクトの視覚的顕著性を変更するための入力を検出する。例えば、図17Bから図17Cへと、注意1704-1が任意選択的にオブジェクト1716aに向けられたままである間に、コンピュータシステム101は、任意選択的に、手1703によって実行されるエアピンチジェスチャなどの入力を検出し、入力に応じて、オブジェクト1716aの視覚的顕著性を増加させる。したがって、注意1704-1が任意選択的に、時間閾値よりも長い期間の間オブジェクト1716aに向けられたままではないという事実にもかかわらず、コンピュータシステム101は、任意選択的に、視覚的顕著性を増加させるための明示的入力に起因して、オブジェクト1716aの視覚的顕著性を増加させる。いくつかの実施形態では、入力に応答した視覚的顕著性の増加は、コンピュータシステム101が、閾値時間量よりも長い時間量の間オブジェクト1716aに向けられたままである注意1704-1を検出した場合と同じであるか、又はほぼ同じである。
いくつかの実施形態では、コンピュータシステム101は、それぞれのオブジェクトのグループの視覚的顕著性を変更する、及び/又は変更を見合わせる。例えば、コンピュータシステムは、任意選択的に、グループ1732がオブジェクト1714a及びオブジェクト1716aを含むことを認識し、任意選択的に、コンピュータシステム101がグループ内の個別のオブジェクトの視覚的顕著性を変更するための入力を検出した場合、一方又は両方のオブジェクトの視覚的顕著性を変更する。グループ1732は、任意選択的に、共有テキスト文書に対応する複数のオブジェクトなど、関連する複数のオブジェクトに対応し、任意選択的に、コンピュータシステムのユーザによって任意選択的に定義されたグループに対応し、及び/又は複数のオブジェクトを関連付ける別の関連付けを有する。いくつかの実施形態では、コンピュータシステム101は、個々のオブジェクトに関して説明したのと同様の方法で、複数のオブジェクトの視覚的顕著性を一緒に変更する。例えば、グループ1732に含まれる個別のオブジェクト(例えば、オブジェクト1714a)へのユーザシフトの注意を任意選択的に検出したことに応じて、コンピュータシステム101は、任意選択的に、複数のオブジェクト(例えば、オブジェクト1714a及び1716a)を、増加された視覚的顕著性レベルで表示する。同様に、複数のオブジェクト内の個別のオブジェクトから離れるユーザの注意を任意選択的に検出したことに応じて、コンピュータシステム101は、複数のオブジェクトの視覚的顕著性レベルを任意選択的に減少させる。したがって、第2のオブジェクト(例えば、オブジェクト1714a)が比較的高い視覚的顕著性で表示されている間に、コンピュータシステム101がグループ1732の第1のオブジェクト(例えば、オブジェクト1716a)に向かうユーザの注意のシフトを検出した場合、ユーザの注意が単にオブジェクトのグループ1732内でシフトしているだけなので、コンピュータシステム101は、第2のオブジェクトの視覚的顕著性の変更を任意選択的に見合わせる(例えば、表示された視覚的顕著性を減少させることを見合わせる)。前述のように、コンピュータシステム101は、任意選択的に入力(例えば、エアピンチジェスチャ)に応じて、オブジェクト1716aの第1の視覚的顕著性を任意選択的に変更して、視覚的顕著性のそのような変更を開始する。更に、オブジェクト1716aの視覚的顕著性を変更するための入力に応じて、コンピュータシステム101は、任意選択的に、オブジェクト1714aの視覚的顕著性も変更する。同様に、いくつかの実施形態では、注意がオブジェクト1714a又はオブジェクト1716aに向けられていないと判定したことに応じて、コンピュータシステム101は、任意選択的に、両方のオブジェクトの視覚的顕著性を、任意選択的に同時に減少させる。
いくつかの実施形態では、コンピュータシステム101は、三次元環境1702内の個別のロケーションへのユーザの注意のシフトを検出し、三次元環境1702内のそれぞれのオブジェクトの視覚的顕著性を維持する。例えば、注意1704-4は、仮想オブジェクト及び/又はコンテンツに対応しない三次元環境1702内の個別のロケーションに任意選択的に対応する。仮想オブジェクトに対応しない個別のロケーションへの注意1704-4のシフトに応じて、コンピュータシステム101は、任意選択的に、三次元環境内の1つ以上のオブジェクトの個別の視覚的顕著性を維持する。例えば、オブジェクト1716aが、注意1704-4によって示される個別のロケーションに注意がシフトする前に、相対的に増加された視覚的顕著性レベルで表示される場合、コンピュータシステムは、任意選択的に、閾値時間量を上回る時間量1723dの間、注意1704-4が個別のロケーションに維持されたとしても、相対的に増加された視覚的顕著性レベルでオブジェクト1716aの表示を維持する。
いくつかの実施形態では、コンピュータシステム101は、特定のタイプの個別の仮想オブジェクトに向かって注意がシフトしたことに応じて、1つ以上の仮想オブジェクトの視覚的顕著性を維持する。例えば、第1のタイプの仮想オブジェクト1712aは、任意選択的に、非相互作用可能タイプのオブジェクト、制御ユーザインタフェースタイプの仮想オブジェクト、又は方法1800を参照して更に詳細に説明される別のタイプの仮想オブジェクトである。例えば、オブジェクト1712aは、任意選択的に、コンピュータシステム101のバッテリレベルのインジケーションである。いくつかの実施形態では、第1のタイプのオブジェクトにシフトするためのユーザの注意を検出したことに応じて、コンピュータシステム101は、相対的に増加された視覚的顕著性を有する別のオブジェクトの視覚的顕著性の変更を見合わせる。例えば、オブジェクト1716a及び/又はオブジェクト1714aが、前述のように相対的に増加された視覚的顕著性レベルで表示され、ユーザの注意が、注意1704-5によって示されるように、オブジェクト1712aに向かってシフトする場合、コンピュータシステム101は、(例えば、オブジェクト1712aが、第1のタイプとは異なるアプリケーションのユーザインタフェースなどの第2のタイプの仮想オブジェクトである場合)さもなければオブジェクト1712aの視覚的顕著性を増加させる要求として任意選択的に解釈される閾値時間量よりも長い時間1723eの間、注意1704-5がオブジェクト1712aに向けられたとしても、オブジェクト1716a及び/又はオブジェクト1714aの視覚的顕著性を任意選択的に維持する。したがって、いくつかの実施形態では、コンピュータシステム101は、個別の仮想オブジェクトから注意がシフトして離れても、それぞれの仮想オブジェクトの視覚的顕著性を維持する。
図17Dは、オブジェクトとの現在の相互作用に起因してオブジェクトの視覚的顕著性を維持する実施例を図示する。注意1704-2がオブジェクト1714aに向かってシフトし、閾値時間量よりも長い期間1732bの間その上に留まることを検出したことに応じて、コンピュータシステム101は、任意選択的に、オブジェクト1714aの視覚的顕著性を増加させ、相対的に増加された程度の視覚的顕著性で任意選択的に現在表示されているオブジェクト1714a以外の個別の仮想オブジェクトの視覚的顕著性を任意選択的に減少させる。しかしながら、いくつかの実施形態では、コンピュータシステム101が、期間1723bが閾値を超えたときに、コンピュータシステム101のユーザが個別の仮想オブジェクトに含まれる個別の仮想コンテンツ及び/又は個別の仮想オブジェクト自体と現在相互作用していることを検出した場合、コンピュータシステム101は、任意選択的に、ユーザが現在相互作用しているオブジェクト1714a及び/又は個別の仮想オブジェクトの視覚的顕著性の変更を見合わせる。
例えば、図17Dでは、コンピュータシステム101は、時間1723bがオブジェクト1714aに向けられている注意1704-2の閾値時間量を超えたときに、オブジェクト1716a内の個別のコンテンツに向けられた進行中の入力を検出し、任意選択的に、前述のようにオブジェクト1714a及び/又は1716aの視覚的顕著性の変更を見合わせる。そのような入力は、方法1800を参照して更に詳細に説明されるが、示されるように、手1703のトラックパッド1705との接触と、接触を移動させる手1703の移動とを含む。入力は、例えば、ウェブブラウジングアプリケーションのスクロールバーなど、オブジェクト1716a内の個別のコンテンツを任意選択的にスクロールする視覚要素1734(例えば、スクロールバー)の選択及び移動に対応する。コンピュータシステム101が、時間1723bが閾値を超えたときにスクロール移動1703-1が進行中であることを検出した場合、コンピュータシステム101は、任意選択的に、進行中のスクロール動作がなければ実行されるであろうオブジェクト1716aの視覚的顕著性を減少させることを見合わせる。同様に、オブジェクト1716aに含まれるコンテンツ1730は、任意選択的に、スクロール動作を参照して説明されるものと同様に、手1703及びトラックパッド1705によって実行される「ドラッグアンドドロップ」動作のターゲットである。例えば、コンピュータシステム101は、カーソルがコンテンツ1730に向けられている間に選択入力(例えば、トラックパッド1705上での手1703の接触)を任意選択的に検出し、選択が維持されている間(例えば、手1703の接触が維持されている間)、コンピュータシステム101は、選択入力の移動に基づいて、移動1703-2によって示されるように、オブジェクト1716a内でコンテンツ1730を任意選択的に移動させる。いくつかの実施形態では、コンピュータシステム101は、時間1723bが閾値時間量を超えたときにドラッグアンドドロップ動作が進行中であることを検出するので、コンピュータシステム101は、任意選択的に、前述したのと同様に、オブジェクト1716aの視覚的顕著性の変更を見合わせる。
いくつかの実施形態では、コンピュータシステム101は、第1の仮想オブジェクトを移動させるために選択可能である視覚要素に向けられた入力を検出し、入力に応じて、相対的に増加された視覚的顕著性で現在表示されている第2の仮想オブジェクトの視覚的顕著性の変更を見合わせる。例えば、視覚要素1718は、任意選択的に、オブジェクト1708aが三次元環境1702内で移動可能であることを示すために、相対的に減少した視覚的顕著性レベルで現在表示されているオブジェクト1708aに関連して(例えば、その下に及び/又は隣接して)コンピュータシステム101によって表示されるユーザインタフェース要素(例えば、「グラバー」)である。グラバーの選択及びその後の移動(前述した他の選択及び移動と同様)に応じて、コンピュータシステム101は、任意選択的に、移動入力に従って三次元環境内でオブジェクト1708aの移動を引き起こす。いくつかの実施形態では、コンピュータシステム101は、オブジェクト1708a以外のオブジェクトが相対的に増加された視覚的顕著性で表示されている間に、視覚要素1718に向けられた入力(例えば、ユーザの注意が視覚要素1718に向かってシフトすること、及びユーザの手からのエアピンチジェスチャなどの同時選択)を検出する。例えば、オブジェクト1716aが相対的に増加された視覚的顕著性レベルで表示されている間、コンピュータシステム101は、任意選択的に、視覚要素1718に向けられた入力を検出し、入力に応じて、オブジェクト1716aの相対的に増加された視覚的顕著性レベルを任意選択的に維持する。更に、いくつかの実施形態では、コンピュータシステム101は、ユーザが個別の仮想オブジェクト自体ではなく、個別の仮想オブジェクトに関連付けられた個別のグラバーと相互作用しているという判定に従って、個別の仮想オブジェクトの視覚的顕著性を変更する(例えば、増加させる)ことを見合わせるので、コンピュータシステム101は、任意選択的に、オブジェクト1708aの相対的に減少した視覚的顕著性レベルを維持する。したがって、いくつかの実施形態では、ぞれぞれの仮想オブジェクトに関連付けられた個別(それぞれ)の視覚要素との相互作用は、相対的に増加した度合いの視覚的顕著性で現在表示されている別の個別の仮想オブジェクトの視覚的顕著性の変更を引き起こさない。
いくつかの実施形態では、コンピュータシステム101は、視覚要素1718に向けられた入力と同様又は同じであるが、代わりにオブジェクト1708aに向けられた第2の入力を検出し、第2の入力に応じてオブジェクト1708aの視覚的顕著性を増加させ、オブジェクト1716aの視覚的顕著性を減少させる。そのような第2の入力は、任意選択的に、図17Cを参照して(ただし、図17Cに示すようなオブジェクト1716aの代わりにオブジェクト1708aの視覚的顕著性を増加させることに関して)説明される1つ以上の特性を有し、コンピュータシステム101は、手1703によって行われるエアピンチジェスチャなどの入力を検出し、入力に応じて、任意選択的に、オブジェクト1716aの視覚的顕著性を増加させ、及び/又は任意選択的に入力のターゲットではないそれぞれの1つ以上の仮想オブジェクトの視覚的顕著性を減少させる。したがって、いくつかの実施形態では、コンピュータシステム101は、個別の仮想オブジェクトに関連付けられた入力のターゲットが仮想オブジェクト自体であるか、又は仮想オブジェクトに関連付けられたグラバーであるという判定に従って、個別の仮想オブジェクトの視覚的顕著性を変更するか、又は変更を見合わせる。いくつかの実施形態では、コンピュータシステム101は、注意1704-5がオブジェクト1712aに向けられ、閾値時間量よりも長い時間1723eにわたってオブジェクト1712a上に留まることを検出する。
図17Eでは、コンピュータシステム101は、注意1704-5がオブジェクト1712aから離れて移動することを検出するが、オブジェクト1712aの視覚的顕著性を減少させない。いくつかの実施形態では、オブジェクト1712aは、システム又は制御ユーザインタフェース、別のコンピュータシステムのユーザのアバター、メディアプレーヤ、及び/又は通信アプリケーション(例えば、電子メール、メッセージング、及び/又はビデオを含むリアルタイム通信)などの第1のタイプのオブジェクトである。いくつかの実施形態では、コンピュータシステム101は、そのような第1のタイプのオブジェクトの個別の視覚的顕著性を維持する。なぜなら、そのような第1のタイプのオブジェクトは、それらの注意のターゲットにかかわらず、ユーザにとって潜在的な関心があるからである。例えば、コンピュータシステム101のユーザは、任意選択的に、自分が見ているメディアのフルビュー、及び/又は自分が参加しているリアルタイムビデオ会議アプリケーションを望む。したがって、コンピュータシステム101が、オブジェクト1712aに向かうユーザの注意のシフト、オブジェクト1712aから離れるユーザの注意のシフト、及び/又は閾値時間量よりも長い時間1723eの間注意1704-5の滞留を検出したかどうかにかかわらず、コンピュータシステム101は、任意選択的に、オブジェクト1712aの個別の視覚的顕著性を維持する。
図18A~図18Kは、いくつかの実施形態による、ユーザの注意に基づいて仮想オブジェクトの視覚的顕著性を変更する方法1800を示すフローチャートである。いくつかの実施形態では、方法1800は、表示生成構成要素(例えば、図1、図3、かつ図4の表示生成構成要素120)(例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、又はプロジェクタ)と、1つ以上のカメラ(例えば、ユーザの手の下方を指すカメラ(例えば、カラーセンサ、赤外線センサ、かつ他の深度感知カメラ)又はユーザの頭部から前方を指すカメラ)とを含むコンピュータシステム(例えば、タブレット、スマートフォン、ウェアラブルコンピュータ、又はヘッドマウントデバイスなどの図1のコンピュータシステム101)で実行される。いくつかの実施形態では、方法1800は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1Aのコントローラ110)など、コンピュータシステムの1つ以上のプロセッサによって実行される命令によって実行される。方法1800の一部の動作は、任意選択的に組み合わされ、及び/又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法1800は、表示生成構成要素及び1つ以上の入力デバイスと通信するコンピュータシステムにおいて実行される。いくつかの実施形態では、コンピュータシステムは、方法800、1000、1200、1400、及び/又は1600のコンピュータシステムの1つ以上の特性を有する。いくつかの実施形態では、表示生成構成要素は、方法800、1000、1200、1400、及び/又は1600の表示生成構成要素の1つ以上の特性を有する。いくつかの実施形態では、1つ以上の入力デバイスは、方法800、1000、1200、1400及び/又は1600の1つ以上の入力デバイスの特性のうちの1つ以上を有する。
いくつかの実施形態では、表示生成構成要素を介して、図17Aに示すオブジェクト1708aなどの第1の仮想オブジェクトを三次元環境内に表示している間、かつ注意1704-1などのユーザの注意が第1の視覚オブジェクトに向けられている間、コンピュータシステムは、図17Aのオブジェクト1708aの視覚的顕著性などの三次元環境に対する第1の視覚的顕著性レベルで第1の仮想オブジェクトを表示する(1802a)。例えば、第1の仮想オブジェクトは、任意選択的に、複合現実(XR)、仮想現実(VR)、拡張現実(AR)、又は視覚パススルー(例えば、レンズ及び/又はカメラ)を介して可視である現実世界環境などの三次元環境において提示される1つ以上のアプリケーションに対応するウィンドウ又は他のユーザインタフェースである。いくつかの実施形態では、第1の仮想オブジェクトは、方法800、1000、1200、1400、1600及び/又は2000の三次元環境の特性のうちの1つ以上を有する。いくつかの実施形態では、三次元環境は、方法800、1000、1200、1400、1600及び/又は2000の三次元環境の特性のうちの1つ以上を有する。いくつかの実施形態では、第1の仮想環境は、任意選択的に物理的環境の表現の代わりに(例えば、完全没入)、又は任意選択的に物理的環境の表現と同時に(例えば、部分的没入)、三次元環境に表示される模倣された三次元環境である。仮想環境のいくつかの例は、湖環境、山環境、夕焼けシーン、日の出シーン、夜間環境、草地環境、及び/又はコンサートシーンなどを含む。いくつかの実施形態では、仮想環境は、博物館及び/又は水族館などの実際の物理的ロケーションに基づく。いくつかの実施形態では、仮想環境は、アーティストが設計したロケーションである。したがって、三次元環境内に仮想環境を表示することは、任意選択的に、ユーザが仮想環境内に物理的に位置しているかのような仮想体験をユーザに提供する。いくつかの実施形態では、第1の仮想オブジェクトは、メディア(例えば、ビデオ及び/又はオーディオ及び/又は画像)ブラウジング及び/又は再生アプリケーション、ウェブブラウザアプリケーション、電子メールアプリケーション、又はメッセージングアプリケーションなどのアプリケーションのユーザインタフェースである。いくつかの実施形態では、コンピュータシステムと通信する、及び/又はコンピュータシステムに含まれる1つ以上のアイトラッキングセンサは、本開示で説明されるように、ユーザの注意のインジケーションを判定及び監視するように構成される。いくつかの実施形態では、第1の仮想オブジェクトは、第2のコンピュータシステム又はコンピュータシステムと通信する他のデバイスのユーザを表すアバター(例えば、コンピュータシステム及び第2のコンピュータシステムが、三次元環境の少なくとも一部又は全部がコンピュータシステムと第2のコンピュータシステムとの間で共有される通信セッションにある間)、仮想オブジェクトの表現(例えば、車、テント、又はボールなどのオブジェクトの三次元モデル)、キャラクタの表現、生物又は無生物、又は相互作用可能視覚要素(例えば、選択可能ボタンなどの対応する動作を開始するために選択可能である視覚要素)である。ユーザの注意が第1の仮想オブジェクトに向けられているという判定に応じて、コンピュータシステムは、任意選択的に、ユーザの注意が第1の仮想オブジェクトに向けられていることを示すための第1の視覚的顕著性レベル及び/又は強調を任意選択的に含む第1の視覚的外観で第1の仮想オブジェクトを表示する。そのような第1の視覚的顕著性は、任意選択的に、第1の仮想オブジェクトを囲む境界及び/又は輪郭の表示を含み、任意選択的に、特定の視覚的特性で第1の仮想オブジェクトを表示(例えば、第1のレベルの半透明性、第1のレベルの輝度、第1の彩度、及び/又は、第1の発光効果で表示)することを含み、及び/又は任意選択的に、第1の仮想オブジェクトを第1のサイズ(例えば、三次元環境におけるサイズ)で表示することを含む。いくつかの実施形態では、環境内の仮想オブジェクト(単数又は複数)は、仮想オブジェクト(単数又は複数)が現在選択されている(例えば、ユーザの注意の対象であった)場合、第1の視覚的顕著性レベルで表示される。いくつかの実施形態では、コンピュータシステムは、ユーザの注意が第1の仮想オブジェクトに対応すること、及び第1の仮想オブジェクトが複数の仮想オブジェクト(例えば、同じアプリケーション又は関連するアプリケーションに対応するオブジェクト)のグループに対応することを判定し、そのような判定に応じて、仮想オブジェクトのグループに含まれる仮想オブジェクトのうちのいくつか又は全てを第1の視覚的顕著性レベルで表示する。いくつかの実施形態では、三次元環境に対する第1の視覚的顕著性レベルは、第1の仮想オブジェクトの第1の外観に対応する。例えば、第1の仮想オブジェクトは、任意選択的に、第1のレベルの透明度及び/又はぼかし効果で表示され、三次元環境の残りの部分及び/又は環境内の他のオブジェクトは、第2の異なるレベルの透明度及び/又はぼかし効果で表示される。いくつかの実施形態では、第1の仮想オブジェクト内に含まれる1つ以上のアプリケーションなどの第1の仮想オブジェクト内に含まれるコンテンツは、第1のレベルの透明度及び/又はぼかし効果で表示され、三次元環境の残りの部分及び/又は環境内の他のオブジェクトは、第2の異なるレベルの透明度及び/又はぼかし効果で表示される。いくつかの実施形態では、第1のレベルの透明度は、任意選択的に、完全な又は大部分が不透明な外観(例えば、100%、95%、85%、75%又は50%不透明)に対応し、第2のレベルの透明度は、任意選択的に、大部分が半透明な外観(例えば、70%、60%、50%、30%、20%、10%、5%又は0%不透明)に対応する。
いくつかの実施形態では、表示生成構成要素を介して、第1の視覚的顕著性レベルで第1の仮想オブジェクトを表示している間、コンピュータシステムは、図17Bに示すような注意1704-1などの、コンピュータシステムのユーザの注意が第1の仮想オブジェクトから離れることを検出する(1802b)。例えば、ユーザの注意は、任意選択的に、仮想オブジェクトに対応しない三次元環境内のポジションに(例えば、いずれの仮想オブジェクトにも対応しない、又はいずれの仮想オブジェクトも含まないポジションに)移動し、又は任意選択的に、別の仮想オブジェクトに対応するポジションに(例えば、他の仮想オブジェクトを含むポジションに)移動する。いくつかの実施形態では、コンピュータシステムは、ユーザの注意が少なくとも閾値時間量(例えば、0.1、0.5、1、3、5、7、10、又は15秒)の間第1の仮想オブジェクトに対応しない三次元環境内の個別のポジションに留まるという判定に従って、ユーザの注意が第1の仮想オブジェクトからシフトして離れたと判定する。いくつかの実施形態では、第1の視覚的顕著性レベルで第1の仮想オブジェクトを表示した後、第1の視覚的外観(例えば、顕著性)は、ユーザの注意が別の仮想オブジェクトに向けられているとコンピュータシステムが判定するまで、ユーザの注意が第1の仮想オブジェクトに向けられていない間、維持される。
いくつかの実施形態では、コンピュータシステムのユーザの注意が第1の仮想オブジェクトから離れることを検出したことに応じて(1802c)、第2の仮想オブジェクトが三次元環境に対して、図17Aに示すオブジェクト1716aなどの第1の視覚的顕著性レベルよりも低い第2の視覚的顕著性レベルで現在表示されている間(例えば、ユーザの注意が第1の仮想オブジェクトから離れたときに第2の視覚的顕著性レベルで表示されていた)、ユーザの注意が図17Aに示すオブジェクト1716aの視覚的顕著性などの第2の仮想オブジェクトに向けられているという判定に従って(1802d)、コンピュータシステムは、表示生成構成要素を介して、第1の仮想オブジェクトが図17Bに示すオブジェクト1708aの視覚的顕著性などの第1の視覚的顕著性レベルよりも低い第4の視覚的顕著性レベル(例えば、第4の視覚的顕著性レベルは、第2の視覚的顕著性レベルとは異なるか、同じか、実質的に同じである)で表示されている間、図17Bに示すオブジェクト1716aの視覚的顕著性などの第2の視覚的顕著性レベルよりも高い第3の視覚的顕著性レベル(例えば、第3の視覚的顕著性レベルは、第1の視覚的顕著性レベルとは異なるか、同じか、実質的に同じである)で第2の仮想オブジェクトを表示する(1802e)。例えば、第2の仮想オブジェクトは、任意選択的に、第1のアプリケーション(例えば、メディア(例えば、ビデオ及び/又はオーディオ及び/又は画像)ブラウジング及び/又は再生アプリケーション、ウェブブラウザアプリケーション、電子メールアプリケーション、又はメッセージングアプリケーション)とは異なる第2のアプリケーションに対応する別のウィンドウ又はユーザインタフェースである。いくつかの実施形態では、第2の仮想オブジェクトは、第1の仮想オブジェクトの1つ以上の特性を有する。いくつかの実施形態では、三次元環境内のそれぞれの仮想オブジェクト(第2の仮想オブジェクトを含む)は、ユーザの注意がそれぞれの仮想オブジェクトに向けられていないという判定に従って、第2の異なる視覚的顕著性レベルで表示される。第2の視覚的顕著性レベルは、任意選択的に、第1の視覚的顕著性レベルに関連付けられた特定の視覚的特性とは異なる特定の視覚的特性(例えば、第2レベルの半透明性、第2のレベルの輝度、第2の彩度、及び/又は第2のグロー効果)で第2の仮想オブジェクトを表示することを含み、及び/又は、任意選択的に、三次元環境に第2のサイズで第2の仮想オブジェクトを表示することを含む。第2の仮想オブジェクト(及び/又は第2の視覚的顕著性レベル)に関して説明される視覚的特性は、任意選択的に、三次元環境内の仮想オブジェクトの相対的顕著性を視覚的に区別するように、第1の仮想オブジェクト(及び/又は第1の視覚的顕著性レベル)に関して説明される視覚的特性と異なることを理解されたい。例えば、コンピュータシステムが、ユーザが第2の仮想オブジェクトに注意を払っていないと任意選択的に判断したことを示すために、第2の視覚的顕著性レベルを有する第2の仮想オブジェクトは、任意選択的に、第1の視覚的顕著性レベルを有する第1の仮想オブジェクトよりもより半透明な外観で表示され、任意選択的に境界又は輪郭が欠け、及び/又はより小さいサイズで表示される。しかしながら、ユーザの注意が第2の仮想オブジェクトにシフトすると判定したことに応じて、コンピュータシステムは、任意選択的に、以下で説明するように、第2の仮想オブジェクトの表示を変更する。例えば、コンピュータシステムは、ユーザが第2の仮想オブジェクトに注意を払っていることを示すために、より不透明な外観、境界効果、及び/又は異なる(例えば、より大きい)サイズなどの第1の視覚的顕著性レベルに関連付けられた特定の視覚的特性(単数又は複数)で第2の仮想オブジェクトを任意選択的に表示する。ユーザの注意が仮想オブジェクトに向けられているという判定に従って第1の視覚的顕著性で仮想オブジェクトを表示することは、どのオブジェクト(単数又は複数)がユーザによる相互作用のターゲットになるかについてのフィードバックを提供し、したがって、ユーザが相互作用することを意図しないオブジェクトに誤って向けられるユーザ入力を減少させ、視覚的混乱を減少させる。
いくつかの実施形態では、第2の仮想オブジェクトが、図17Aに示すようなオブジェクト1716aなどの三次元環境に対して第2の視覚的顕著性レベルで現在表示されている間に、ユーザの注意が第2の仮想オブジェクトに向けられているという判定に従って、コンピュータシステムは、表示生成構成要素を介して、図17Bに示すようなオブジェクト1708aの視覚的顕著性などの第2の視覚的顕著性レベルで第1の仮想オブジェクトを表示する(1804)。例えば、コンピュータシステムは、任意選択的に、ユーザがもはや第1の仮想オブジェクトに注意を払っていないことを示すために、任意選択的により半透明な外観、境界なし、より低い輝度、より低い彩度、及び/又はより小さいサイズなど、第2の視覚的顕著性レベルに関連付けられた特定の視覚的特性(単数又は複数)で第1の仮想オブジェクトを任意選択的に表示する。いくつかの実施形態では、コンピュータシステムは、第4の視覚的顕著性レベルで第1の仮想オブジェクトを表示する前に、注意が、ある期間(例えば、0.1、0.5、1、5、10、又は100秒)の間、第1の仮想オブジェクトから最近シフトして離れたことを示す、第2の視覚的顕著性レベルに対して相対的により高いレベルの第5の視覚的顕著性レベルで第1の仮想オブジェクトを表示する。注意が第1の仮想オブジェクトから離れるように向けられている間に第2の視覚的顕著性レベルで第1の仮想オブジェクトを表示することは、ユーザを第1の仮想オブジェクトと誤って相互作用しないように誘導し、したがって、不必要なユーザ入力を減少させる。
いくつかの実施形態では、第1の視覚的顕著性レベルは、図17Aに示すようなオブジェクト1708aの半透明性などの第1のレベルの半透明性に対応し、第2の視覚的顕著性レベルは、図17Bに示すようなオブジェクト1708aの半透明性などの第1のレベルの半透明性より高い第2のレベルの半透明性に対応する(1806)。例えば、コンピュータシステムは、任意選択的に、第1のアプリケーションの第1のユーザインタフェース(例えば、第1の仮想オブジェクト)を主に不透明(例えば、第1のレベルの半透明性を有する)として表示して、第1の視覚的顕著性レベルに対応してユーザインタフェースのコンテンツが容易に可視であるようにすると同時に、第2のアプリケーションの第2のユーザインタフェース(例えば、第2の仮想オブジェクト)を主に半透明(例えば、第1のレベルの半透明性とは異なる第2のレベルの半透明性を有する)として表示して、第2のユーザインタフェースのコンテンツがフェード及び/又はシースルーになるようにする。いくつかの実施形態では、それぞれの仮想オブジェクトは、異なるレベルの透明度で表示され、第1の個別の仮想オブジェクトは、大部分が不透明ではない。いくつかの実施形態では、個別の半透明性レベルで個別のオブジェクトを表示することは、個別のオブジェクトの背後の仮想コンテンツ及び/又は物理的オブジェクトの視認を容易にすることを理解されたい。例えば、第1のレベルの半透明性で表示された個別の仮想オブジェクトの背後に任意選択的に配置された物理的オブジェクトは、任意選択的に、コンピュータシステムがより高い半透明度で個別の仮想オブジェクトを任意選択的に表示する場合、より可視になり、物理的オブジェクトは、任意選択的に、コンピュータシステムが比較的より低い半透明度で個別の仮想オブジェクトを表示する場合、より不可視になる。ユーザの注意に基づいてそれぞれのレベルの半透明度で仮想オブジェクトを表示することは、ユーザの注意の対象と相互作用するようにユーザを視覚的に誘導し、したがって、ユーザが相互作用することを望まない仮想オブジェクトに向けられる誤った入力を低減し、視覚的混乱を低減し、及び/又はユーザが潜在的に関心のある三次元環境の他の態様を見ることを可能にする。
いくつかの実施形態では、第1の視覚的顕著性レベルで第1の仮想オブジェクトを表示することは、表示生成構成要素を介して、図17Aに示すようなオブジェクト1708aの一部の半透明度などの第3のレベルの半透明度で第1の仮想オブジェクトの第1の部分を表示すること(1808a)と、表示生成構成要素を介して、図17Aに示すようなオブジェクト1708aの第2の部分の半透明度などの第3のレベルの半透明度とは異なる第4のレベルの半透明度で第1の仮想オブジェクトの第2の部分を表示することとを含む。例えば、コンピュータシステムは、任意選択的に、(例えば、メディア再生、インターネットブラウザ、及び/又はテキストベース)アプリケーションの第1のユーザインタフェースに対応する第1のウィンドウを、任意選択的に均一又は不均一なレベルの不透明度で表示する。いくつかの実施形態では、不均一なレベルの不透明度は、任意選択的に、第3のレベルの半透明度で表示される第1の仮想オブジェクトの第1の部分と、第4のレベルの半透明度で表示される第1の仮想オブジェクトの第2の部分とを含む。いくつかの実施形態では、第1の仮想オブジェクトの個別の部分(例えば、中央部分)は、第1の仮想オブジェクトの第2の個別の部分(例えば、第1の仮想オブジェクトの中央部分と境界との間)よりも比較的透明である。
いくつかの実施形態では、コンピュータシステムのユーザの注意が第1の仮想オブジェクトから離れることを検出したことに応じて、第3の視覚的顕著性レベルで第2の仮想オブジェクトを表示することは、図17Bに示すようにオブジェクト1708aの一部の半透明度を変化させるなど、第2の仮想オブジェクトの第1の部分の半透明度を第1の量だけ変化させることと、図17Bに示すようにオブジェクト1708aの一部の半透明度を変化させるなど、第2の仮想オブジェクトの第2の部分の半透明度を第1の量とは異なる第2の量だけ変化させること(1808b)とを含む。例えば、コンピュータシステムは、任意選択的に、ユーザの注意が第1の仮想オブジェクトから離れることを検出したことに応じて、より高いレベルの不透明度で第2の仮想オブジェクトを表示する。例えば、コンピュータシステムのユーザの視点に対する第2の仮想オブジェクトの中心部分の不透明度は、任意選択的に、第1の量(例えば、0.1、0.5、1、5、10、15、50、又は75%)だけ増加又は減少され、コンピュータシステムのユーザの視点に対する第2の仮想オブジェクトのエッジ部分は、第2の量(例えば、0.1、0.5、1、5、10、15、50、又は75%)だけ増加又は減少される。いくつかの実施形態では、第2の仮想オブジェクトのそれぞれの部分の不透明度レベルは、同じ量だけ増加又は減少される。半透明度のそれぞれのレベルで仮想オブジェクトのそれぞれの部分を表示することは、任意選択的に、ユーザの注意及び/又は入力を仮想オブジェクトのそのようなそれぞれの部分に向けて及び/又はそこから離れるように誘導し、それによって、入力が仮想オブジェクト(及びそれらのそれぞれの部分)に意図せずに向けられる可能性を減少させる。
いくつかの実施形態では、第1の仮想オブジェクトから離れるユーザの注意を検出することは、図17Bの注意1704-1によって示されるように、図17Bに示す時間の破線1723aなどの閾値時間量の間、三次元環境内の個別のポジションに向けられたユーザの視線を検出することを含む(1810)。例えば、コンピュータシステムは、任意選択的に、コンピュータシステムのユーザの視線を検出し、ユーザの視線が閾値時間量(例えば、0.05、0.1、0.5、1、5、10、又は15秒)の間、第1の仮想オブジェクトを含む個別のエリア以外の三次元環境内のエリアに任意選択的に向けられているという判定に従って、コンピュータシステムは、任意選択的に、ユーザの注意が第1の仮想オブジェクトから離れたと判定する。いくつかの実施形態では、第1の仮想オブジェクトを含む個別のエリアは、ユーザの視点からの第1の仮想オブジェクトを視覚的に含む三次元環境の一部に対応する。例えば、個別のエリアは、任意選択的に、ユーザの視点に対して第1の仮想オブジェクトが占有する空間を含み、任意選択的に、第1の仮想オブジェクトを囲む追加のエリア(単数又は複数)(例えば、第1の仮想オブジェクトのエッジ(単数又は複数)又は境界から0.05、0.1、0.5、1、5、10、50、100、又は1000cm延びる)を含む。いくつかの実施形態では、ユーザの視線が、閾値時間量の間、三次元環境内の個別のポジションに対応すると判定される前に、ユーザの注意は、第1の仮想オブジェクトに対応すると判定される。第1の仮想オブジェクトから離れて移動するユーザの注意を検出することの一部として視線を検出し、視線が閾値時間量の間離れて移動したことを必要とすることは、そのような注意の移動を示すための入力の必要性を低減し、注意が第1の仮想オブジェクトから離れて移動したという誤った判定を低減し、したがって、ヒューマンコンピュータ相互作用効率を改善する。
いくつかの実施形態では、第1の仮想オブジェクトから離れるユーザの注意を検出することは、図17Bの注意1704-1によって示されるような、三次元環境内の個別のポジションに向けられたユーザの視線を検出すること(1812b)を含む(1812a)。例えば、コンピュータシステムは、任意選択的に、ユーザの視線が、第1の仮想オブジェクト、個別の仮想オブジェクト、第2の仮想オブジェクト、及び/又は別の個別の仮想オブジェクトを含まない三次元環境の領域に向けられているか、又は方向付けられていることを検出する。いくつかの実施形態では、ユーザの視線が三次元環境内の個別のポジションに向けられている間に、コンピュータシステムは、図17Cの手1703によって実行されるエアジェスチャなど、コンピュータシステムのユーザの個別の部分によって実行されるジェスチャを検出する(1812c)。例えば、コンピュータシステムは、任意選択的に、ユーザの視線が現在個別の部分に向けられていること、又は閾値時間量(例えば、0.001、0.0025、0.01、0.05、0.1、0.5、1、2.5、又は5秒)内に以前に個別の部分(例えば、第1の仮想オブジェクト、個別の仮想オブジェクト、第2の仮想オブジェクト、及び/又は別の個別の仮想オブジェクトを含まない三次元環境の領域)に向けられていたことを検出する。コンピュータシステムは、任意選択的に、ユーザの視線が個別の部分に向けられているか、又は以前に向けられていたことを検出するが、コンピュータシステムは、任意選択的に、ユーザの1つ以上の手、指、腕、足、又は脚などのユーザの個別の部分の動き、姿勢、及び/又はそれらの何らかの組み合わせ、例えば、エアピンチジェスチャ(例えば、親指及び人差し指の先端が近づいて触れあう)、エアポインティングジェスチャ(例えば、1つ以上の指内で)、及び/又はエアスクイーズジェスチャ(例えば、1つ以上の指が任意選択的に同時に曲がる)などを検出する。視線とユーザによって実行されるジェスチャとの組み合わせに基づいて注意のシフトを判定することは、ユーザが誤って注意を第1の仮想オブジェクトから離れるようにシフトさせる可能性を低減し、それによってヒューマンコンピュータ相互作用効率を改善する。
いくつかの実施形態では、第1の仮想オブジェクトから離れるユーザの注意を検出することは、図17Bの注意1704-1によって表されるような、三次元環境内の個別のポジションに向けられたユーザの視線を検出すること(1814b)を含む(1814a)。いくつかの実施形態では、ユーザの視線を検出することは、ステップ(単数又は複数)1812に関して説明される同様の検出の1つ以上の特性を有する。いくつかの実施形態では、ユーザの視線が三次元環境内の個別のポジションに向けられている間、かつ第2の仮想オブジェクトが、図17Bのオブジェクト1714aなどの三次元環境に対して第2の視覚的顕著性レベルで表示されている間(例えば、任意選択的に、ステップ(単数又は複数)1812に関して説明したように)、例えば、図17Bに示す破線1723bなどの閾値時間量の間ユーザの視線が第2の仮想オブジェクトに向けられているときに満たされる基準を含む1つ以上の第1の基準が満たされているという判定に従って、ユーザの個別の部分からの選択入力を検出することなく、コンピュータシステムは、表示生成構成要素を介して、図17Bに示すオブジェクト1714aの視覚的顕著性などの第2の視覚的顕著性レベルよりも高い第3の視覚的顕著性レベルで第2の仮想オブジェクトを表示する(1814d)。例えば、コンピュータシステムが、ユーザの手によって行われるエアピンチジェスチャ(例えば、ステップ(単数又は複数)1812に関して説明したような)などの選択入力が、第2の仮想オブジェクトに向けられているユーザの視線の閾値時間量(例えば、0.05、0.1、0.5、1、5、10、又は15秒)内に検出されないことを任意選択的に検出した場合、コンピュータシステムは、任意選択的に、三次元環境に対して相対的に高い第3の視覚的顕著性で第2の仮想オブジェクトを表示する。したがって、いくつかの実施形態では、コンピュータシステムは、閾値時間量の間、個別の仮想オブジェクト上に留まる視線に従って、個別の仮想オブジェクトの視覚的顕著性を増加させる。
いくつかの実施形態では、図17Cに示すような手1703からの入力などのユーザの個別の部分からの選択入力が、オブジェクト1716aに向けられた注意1704-1の時間1723Aなどの閾値時間量の間ユーザの視線が第2の仮想オブジェクトに向けられる前に検出されるときに満たされる基準を含む、1つ以上の第2の基準が満たされたという判定に従って、コンピュータシステムは、表示生成構成要素を介して、図17Cに示すようなオブジェクト1716aの視覚的顕著性などの第2の視覚的顕著性レベルよりも高い第3の視覚的顕著性レベルで第2の仮想オブジェクトを表示する(1814e)。例えば、コンピュータシステムは、任意選択的に、前述の閾値時間量が経過する前に、エアピンチジェスチャ、仮想若しくは物理的ボタンの作動、及び/又は第1の仮想オブジェクトに向けられたエアポインティングジェスチャなどの選択入力がユーザによって実行されたことを検出する。いくつかの実施形態では、コンピュータシステムは、ユーザの視線が第2の仮想オブジェクトに向けられている間に選択入力を検出する。いくつかの実施形態では、コンピュータシステムは、ユーザの視線が第2の仮想オブジェクトに向けられていない間に選択入力を検出する。したがって、いくつかの実施形態では、コンピュータシステムは、閾値時間量に達していない場合であっても、個別の仮想オブジェクトに向けられた選択入力に応じて、個別の仮想オブジェクトの視覚的顕著性を増加させ、そのような選択入力が閾値時間量内に受信されず、ユーザの視線が閾値時間量の間、個別の仮想オブジェクト上に留まる場合、コンピュータシステムは、同様に、個別の仮想オブジェクトの視覚的顕著性を増加させる。延長された視線及び/又は選択入力に応じて視覚的顕著性を変更することは、ユーザの柔軟性が個別の仮想オブジェクトの視覚的顕著性を増加させ、したがって、そのような増加を引き起こす相互作用の効率を改善することを可能にする。
いくつかの実施形態では、1つ以上の第2の基準が満たされているという判定に従って、図17Cのオブジェクト1716aなどの第2の仮想オブジェクトに含まれる個別のコンテンツは、手1703からの入力などのユーザの個別の部分からの選択入力を検出したことに応じて選択されない(1816)。例えば、コンピュータシステムのユーザの視線が、第2の仮想オブジェクト内に含まれる仮想ボタンに向けられている間、ステップ(単数又は複数)1814に記載される閾値時間量の間、ユーザの視線が第2の仮想オブジェクトに向けられる前にユーザの個別の部分(例えば、手)によって実行されるエアピンチジェスチャなどの選択入力に応じて、コンピュータシステムは、任意選択的に、第2の仮想オブジェクトの視覚的顕著性を増加させ、第1の仮想ボタンを作動させない。仮想ボタンは、例えば、任意選択的に、第2の仮想オブジェクト内に含まれるウェブブラウジングアプリケーションのユーザインタフェースの「リフレッシュ」機能などの、第2の仮想オブジェクトに関連付けられた機能に対応する。したがって、コンピュータシステムは、任意選択的に、選択入力が、第2の仮想オブジェクト内に含まれるコンテンツと相互作用するのではなく、第2の仮想オブジェクトの視覚的顕著性を増加させるように機能したので、任意選択的に、仮想ボタンの関連機能を実行しない。いくつかの実施形態では、第2の仮想オブジェクトが第3の視覚的顕著性レベルで表示されている(例えば、現在顕著なウィンドウである)間、コンピュータシステムは、前述と同じ選択入力などの第2の仮想オブジェクト(例えば、仮想ボタン)内のコンテンツとの相互作用に対応する入力を検出し、入力を検出したことに応じて、第2の仮想オブジェクトに関連付けられた1つ以上の機能を実行する(例えば、ウェブブラウジングアプリケーションをリフレッシュする)。第2の1つ以上の基準が満たされているという判定に従って選択入力に応じて仮想オブジェクト内のコンテンツを選択しないことは、ユーザが相互作用及び/又は選択することを望まないコンテンツに入力が誤って向けられる可能性を減少させる。
いくつかの実施形態では、表示生成構成要素を介して、図17Aのオブジェクト1708aなどの第1の仮想オブジェクトを、図17Aのオブジェクト1708aの視覚的顕著性などの第1の視覚的顕著性レベルで表示している間に、かつコンピュータシステムの図17Aの注意1704-1などのユーザの注意が第1の仮想オブジェクトに向けられている間に、コンピュータシステムは、オブジェクト17A内の注意1704-1の移動などの第1の仮想オブジェクト内で移動するユーザの注意を検出する(1818a)。例えば、第1の仮想オブジェクトは、任意選択的に、第1のアプリケーションの第1のユーザインタフェースを含み、コンピュータシステムは、第1のユーザインタフェース内の第1の要素などの第1のユーザインタフェースの第1の個別の部分から、第1のユーザインタフェース内の第2の要素などの第1のユーザインタフェースの第2の、任意選択的に異なる個別の部分への注意のシフトを任意選択的に検出する。いくつかの実施形態では、コンピュータシステムは、注意(例えば、視線)が第1の仮想オブジェクトの外側に逸れているにもかかわらず、ユーザの注意が第1の仮想オブジェクトに対応し続けると判定する。例えば、コンピュータシステムは、任意選択的に、ユーザの視線が第1の仮想オブジェクトから離れるように一時的にシフトするが、閾値時間量(例えば、0.05、0.1、0.5、1、5、10、又は15秒)内に第1の仮想オブジェクトに戻ると判定する。いくつかの実施形態では、ユーザの注意がそのような短時間第1の仮想オブジェクトから離れて逸れたにもかかわらず、コンピュータシステムは、ユーザの注意が第1の仮想オブジェクト内に効果的に残っていると判定する。いくつかの実施形態では、コンピュータシステムは、任意選択的に、第1の仮想オブジェクト内で移動するユーザの注意の1つ以上のシフトを検出する。
いくつかの実施形態では、第1の仮想オブジェクト内で移動するユーザの注意を検出したことに応じて、コンピュータシステムは、図17Aのオブジェクト1708aの視覚的顕著性を維持するなど、第1の視覚的顕著性レベルで第1の仮想オブジェクトの表示を維持する(1818b)。例えば、コンピュータシステムは、任意選択的に、注意が第1のユーザインタフェース内の第2の要素にシフトしたことを検出し、それに応じて、第1の仮想オブジェクトの表示されている視覚的顕著性レベルを変更することを見合わせる。ユーザの注意が仮想オブジェクト内でシフトしている間に仮想オブジェクトの視覚的顕著性を維持することは、ユーザが第2の異なる仮想オブジェクトに意図せずに又は誤って向けられる可能性を低減し、ユーザの注意を集中させ、それによって相互作用効率を向上させる。
いくつかの実施形態では、コンピュータシステムのユーザの注意が、図17Aに示すようなものから図17Bに示すようなものへ移動する注意1704-1など、第1の仮想オブジェクトから離れるように移動することを検出したことに応じて、ユーザの注意が、図17Cの注意1704-4のポジション(例えば、三次元環境内の空き空間)など、個別の仮想オブジェクトに対応しない三次元環境内のポジションに向けられているという判定に従って、コンピュータシステムは、表示生成構成要素を介して、図17Cのオブジェクト1716Aの視覚的顕著性など、三次元環境に対して第1の視覚的顕著性レベルで第1の仮想オブジェクトの表示を維持する(1820)。例えば、コンピュータシステムは、任意選択的に、個別の仮想オブジェクトを任意選択的に含まない及び/又はいずれの仮想オブジェクトも含まない三次元内の領域へのユーザの注意の移動を検出し、それに応じて、第1の仮想オブジェクトの現在表示されている視覚的顕著性レベル(例えば、第1の視覚的顕著性レベル)の変更を見合わせる。いくつかの実施形態では、コンピュータシステムは、固定の視覚的顕著性レベルを有する、及び/又は非相互作用可能オブジェクトとして指定される仮想オブジェクト(例えば、コンピュータシステムのバッテリレベルなどのコンピュータシステムの特性又はステータスの視覚表現)へのユーザの注意のシフトを検出し、同様に、第1の仮想オブジェクトの現在表示されている視覚的顕著性レベルの変更を見合わせる。仮想オブジェクトに対応しない三次元環境の領域へのユーザの注意シフトを検出したことに応じて、第1の仮想オブジェクトの視覚的顕著性レベルを維持することは、ユーザの注意が入力を受信することができる要素に向けられていないことをユーザに明確に伝え、それによって、不必要な入力を低減し、相互作用効率を向上させる。
いくつかの実施形態では、コンピュータシステムのユーザの注意が、図17Aに示すような注意1704-1から図17Cに示すような注意1704-5のポジションに移動するなど、第1の仮想オブジェクトから離れて移動することを検出したことに応じて、ユーザの注意が図17Cのオブジェクト1712aなどの相互作用不可能仮想オブジェクトに向けられているという判定に従って、コンピュータシステムは、表示生成構成要素を介して、図17Aに示すようなオブジェクト1708aの視覚的顕著性を維持するなど、三次元環境に対して第1の視覚的顕著性レベルで第1の仮想オブジェクトの表示を維持する(1822)。例えば、相互作用不可能仮想オブジェクトは、任意選択的に、コンピュータシステムのステータス(例えば、ネットワーク接続、バッテリレベル、時間、及び/又は日付)の視覚表現に対応する。いくつかの実施形態では、相互作用不可能仮想オブジェクトは、三次元環境内に表示されるテキスト(例えば、「フォースとともにあらんことを」)、又はレースカー若しくはテントなどの現実世界オブジェクトの仮想表現である。相互作用不可能仮想オブジェクトへのユーザの注意のシフトを検出したことに応じて、第1の仮想オブジェクトの視覚的顕著性を維持することは、第1の仮想オブジェクトが後続の相互作用の受信者であり続けることを示し、それによって、ユーザが相互作用不可能仮想オブジェクトに入力を向ける可能性を減少させる。
いくつかの実施形態では、第1の仮想オブジェクト及び第3の仮想オブジェクトは、図17Cに示すようなグループ1732などの仮想オブジェクトのグループに関連付けられる(1824a)。例えば、コンピュータシステムは、任意選択的に、第1の仮想オブジェクト及び第3の仮想オブジェクトを一緒にグループ化するユーザ入力を以前に検出している。追加的又は代替的に、第1の仮想オブジェクト及び第3の仮想オブジェクトは、任意選択的に、仮想オブジェクトが互いに関連付けられているという判定に従って、任意選択的にユーザ入力にかかわらず、コンピュータシステムによって事前対応的にグループ化される。例えば、第1の仮想オブジェクト及び第3の仮想オブジェクトは、任意選択的に、同じテキスト編集アプリケーションのユーザインタフェースであり、それぞれのユーザインタフェースは、任意選択的に、同じ文書を編集するためのものである。いくつかの実施形態では、異なるアプリケーションのユーザインタフェースである仮想オブジェクト、又は任意選択的にユーザによって一緒にグループ化されない及び/若しくは同じアプリケーションのユーザインタフェースでない仮想オブジェクトは、任意選択的に、仮想オブジェクトのグループとして関連付けられない。
いくつかの実施形態では、コンピュータシステムのユーザの注意が、オブジェクト1716Aから移動する図17Cに示す注意1704-3などの第1の仮想オブジェクトから離れるように移動することを検出したことに応じて、ユーザの注意が、図17Cにおけるオブジェクト1716Aなどの第3の仮想オブジェクトに向けられているという判定に従って、コンピュータシステムは、表示生成構成要素を介して、図17Cにおけるオブジェクト1714aの視覚的顕著性を維持するなど、三次元環境に対して第1の視覚的顕著性レベルで第1の仮想オブジェクトの表示を維持する(1824b)。例えば、ステップ(単数又は複数)1822に関して説明したように、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトと任意選択的にグループ化されるものとしてコンピュータシステムが理解する個別の仮想オブジェクトなどの特定の仮想オブジェクトへのユーザの注意のシフトを検出したことに応じて、第1の仮想オブジェクトの視覚的顕著性を任意選択的に維持する。いくつかの実施形態では、グループ化された第1の仮想オブジェクト及び第3の仮想オブジェクトが第1の視覚的顕著性レベルで表示されている間、コンピュータシステムは、ユーザの注意が第1及び/又は第3の仮想オブジェクトから離れることを検出し、注意がグループに関連付けられていない個別の仮想オブジェクトに向けられていないという判定に従って、第1の仮想オブジェクト及び第3の仮想オブジェクトの視覚的顕著性を維持する。いくつかの実施形態では、第3の仮想オブジェクトは、第1の視覚的顕著性レベルで表示され、コンピュータシステムは、ユーザの注意が第3の仮想オブジェクトに向けられている間、かつ/又はユーザの注意が第3の仮想オブジェクトから離れてシフトした後、前述のように注意が第3の仮想オブジェクトにシフトする前に、第1の視覚的顕著性レベルを維持する。第3の仮想オブジェクトへのユーザの注意のシフトを検出したことに応じて第1の仮想オブジェクトの視覚的顕著性を維持することは、第1の仮想オブジェクトと第3の仮想オブジェクトとの間の関係に関してユーザに視覚的に知らせ、したがって、グループに向けられた入力を促し、グループ、第1の仮想オブジェクト、及び/又は第3の仮想オブジェクトに向けられていない入力を抑止する。
いくつかの実施形態では、コンピュータシステムのユーザの注意が、図17Dに示すようにオブジェクト1716aから離れて注意1704-2のポジションにシフトするなど、第1の仮想オブジェクトから離れて移動することを検出したことに応じて、ユーザが現在第1の仮想オブジェクトと相互作用している(例えば、ユーザの注意が第1の仮想オブジェクトから離れるとき、ユーザの1つ以上の手などのユーザの1つ以上のそれぞれの部分がジェスチャ入力、任意選択的に第1の仮想オブジェクトに向けられたエアジェスチャ入力を提供している)という判定に従って、コンピュータシステムは、表示生成構成要素を介して、図17Dのオブジェクト1716aの視覚的顕著性を維持するなど、三次元環境に対して第1の視覚的顕著性レベルで第1の仮想オブジェクトの表示を維持する(1826)。例えば、コンピュータシステムは、ユーザが第1の仮想オブジェクトと相互作用していることを任意選択的に検出する一方で、コンピュータシステムは、第1の仮想オブジェクトの視覚的顕著性の変更を任意選択的に見合わせる。そのような相互作用は、任意選択的に、ステップ(単数又は複数)s 1828~1832に関してより詳細に説明されるように、第1の仮想オブジェクトを移動させること、第1の仮想オブジェクト内のコンテンツと相互作用すること、及び/又は第1の仮想オブジェクトを選択することを含む。いくつかの実施形態では、ユーザが第1の仮想オブジェクトと相互作用している間、視覚的顕著性を維持及び/又は変更する説明は、同様に、第1の仮想オブジェクト内に含まれるコンテンツに適用される。いくつかの実施形態では、コンピュータシステムは、第1の仮想オブジェクトに向けられた1つ以上の入力に基づいて、ユーザが現在相互作用していると判定する。1つ以上の入力は、任意選択的に、1つ以上のエアジェスチャ、ポーズ、物理的及び/若しくは仮想オブジェクトの作動(単数又は複数)、表面(例えば、タッチ感知面)上の接触(単数又は複数)、並びに/又は表面にわたるそのような接触の移動を含む。例えば、コンピュータシステムは、任意選択的に、ユーザの注意が第1の仮想オブジェクトに向けられている間に(又は、いくつかの実施形態では、第1の仮想オブジェクトが増加された視覚的顕著性で表示されている間、第1の仮想オブジェクトに向けられていない間に)エアピンチジェスチャを検出し、エアピンチ(例えば、手の人差し指と親指との間の接触)が維持されている間に、コンピュータシステムは、ユーザが現在仮想オブジェクトと相互作用し続けていると任意選択的に判定する。いくつかの実施形態では、コンピュータシステムは、ユーザの手の複数の指の広がり又は閉鎖を検出し、複数の指が互いからの相対空間距離のままである間、コンピュータシステムは、ユーザが現在第1の仮想オブジェクトと相互作用していると判定する。いくつかの実施形態では、指を広げることに応じて、第1の仮想オブジェクト内の個別のコンテンツは、ユーザが個別のコンテンツの異なる部分を同時に、任意選択的に視覚的重複なしに(例えば、ウェブブラウジングアプリケーションの等間隔のブラウザウィンドウ)見ることを可能にするように構成される。いくつかの実施形態では、ユーザの手の1つ以上の指を閉じるエアジェスチャに応じて、コンピュータシステムは、第1の仮想オブジェクトに関連付けられた相互作用モード(例えば、移動モード)を開始し、コンピュータシステムが第2のエアジェスチャ(例えば、1つ以上の指の第2の閉鎖)を判定するまで、コンピュータシステムは、ユーザが現在第1の仮想オブジェクトと相互作用していると判定する。更に、いくつかの実施形態では、相互作用モードを維持している間、第1の仮想オブジェクトは、ユーザの一部(例えば、手)の動きの個別の方向及び/又は大きさに従った方向及び/又は大きさで動かされる。いくつかの実施形態では、表面(例えば、タッチ感知面)上の接触が維持されている間、コンピュータシステムは、ユーザが第1の仮想オブジェクトと相互作用し続けると判定する。ユーザが現在第1の仮想オブジェクトと相互作用しているという判定に従って、第1の仮想オブジェクトの視覚的顕著性の表示を維持することは、そのような相互作用が完了するまで、注意のシフトが、第1の仮想オブジェクト及び/又は第1の仮想オブジェクト内のコンテンツの可視性を望ましくなく妨げない可能性を低減し、それによって、第1の仮想オブジェクトとの相互作用におけるエラーを減少させる。
いくつかの実施形態では、第1の仮想オブジェクトとの現在の相互作用は、図17Dに示すように、オブジェクト1708aを移動させるなど、第1の仮想オブジェクトを移動させることを含む(1828)。例えば、コンピュータシステムは、任意選択的に、第1の仮想オブジェクト(任意選択的に、その移動に関連付けられた視覚要素)に向けられたユーザの一部(例えば、ユーザの手)によって行われるエアジェスチャなどの第1の仮想オブジェクトの移動を開始する入力のインジケーション、及びユーザの一部の移動を検出し、第1の仮想オブジェクトの移動の大きさ及び/又は方向は、任意選択的に、ユーザの一部の移動の大きさ及び/又は方向に対応する。いくつかの実施形態では、現在の相互作用は、現在の相互作用の1つ以上の特性と、ステップ(単数又は複数)1826に関して説明した1つ以上の入力とを有する。
いくつかの実施形態では、図17Dのオブジェクト1708aなどの第1の仮想オブジェクトとの現在の相互作用の一部として第1の仮想オブジェクトを移動させている間、コンピュータシステムは、表示生成構成要素を介して、図17Dの視覚要素1718などの第1の仮想オブジェクトの移動に関連付けられた視覚的インジケーションを表示する(1828b)。例えば、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトの移動を示す入力の受信に応じて、「+」などの視覚表現を表示する。いくつかの実施形態では、視覚的インジケーションは、第1の仮想オブジェクトの上にオーバーレイされる。いくつかの環境では、視覚的インジケーションは、ユーザの視点に対して第1の仮想オブジェクトに近接して表示される。いくつかの実施形態では、視覚的インジケーションは、三次元環境内の1つ以上の任意選択的に可視であり任意選択的に仮想である光源に基づいて第1の仮想オブジェクト上に表示される輝度、ハロー効果、グロー効果、彩度、半透明性、及び/又は鏡面ハイライトなどの視覚効果を含む。視覚的インジケーションを表示することは、仮想オブジェクトの現在の動きを伝え、したがって、第1の仮想オブジェクトの現在の動きに関連付けられていないユーザ入力の受信を減少させる。
いくつかの実施形態では、第1の仮想オブジェクトとの現在の相互作用は、図17Dのオブジェクト1716aなどの第1の仮想オブジェクトからの第1のコンテンツを選択し、図17Dのオブジェクト1714aなどの第1の仮想オブジェクト以外の個別の仮想オブジェクトに移動させることを含む(1830)。例えば、第1の仮想オブジェクトは、任意選択的に、テキスト編集アプリケーションなどの第1のアプリケーションのユーザインタフェースに対応する。コンピュータシステムは、任意選択的に、第1のコンテンツ(例えば、テキスト)の選択、及び第1の仮想オブジェクトから三次元環境内で可視である第2の個別の仮想オブジェクトへの移動を示す入力を受信する。例えば、コンピュータシステムは、個別のコンテンツに向けられたユーザの一部(例えば、手)によって実行される第1のエアジェスチャ(例えば、ピンチ)を検出することを任意選択的に含むドラッグアンドドロップ動作を任意選択的に実行し、第1のエアジェスチャ(例えば、ピンチ)に対応する姿勢が維持されている間、ユーザの第1の部分の動きの個別の大きさ及び/又は方向に対応する(例えば、正比例又は反比例する)大きさ及び/又は方向で第1の仮想オブジェクトを移動させる。いくつかの実施形態では、コンピュータシステムは、選択されたコンテンツを移動、変更、又は別様に使用し、第2の個別の仮想オブジェクトを変更する。例えば、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトから第2の個別の仮想オブジェクトへのテキストの選択及び移動に応じて、第2の個別の仮想オブジェクトにテキストを挿入する。いくつかの実施形態では、現在の相互作用は、現在の相互作用の1つ以上の特性と、ステップ(単数又は複数)1826に関して説明した1つ以上の入力とを有する。第1の仮想オブジェクト内の第1のコンテンツの選択及び移動を現在の相互作用として解釈して、そのような相互作用中に第1の仮想オブジェクトの視覚的顕著性が維持されるようにすると、第1の仮想オブジェクトが視覚的に強調され、したがって、相互作用がどのように動作し得るかについてのユーザの理解が改善され、それによって、入力が第1の仮想オブジェクトから望ましくなく離れることが防止される。
いくつかの実施形態では、第1の仮想オブジェクトとの現在の相互作用は、図17Dに示すようなコンテンツ1730の移動1703-2など、第1の仮想オブジェクト内の第1のコンテンツを移動させることを含む(1832)。例えば、コンテンツは、任意選択的に、仮想の第1の仮想オブジェクトに含まれるコンテンツを通じてユーザの進行状況の視覚表現である。例えば、第1の仮想オブジェクトは、任意選択的に、ウェブブラウジングインタフェースのアプリケーションであり、第1の仮想オブジェクト内のコンテンツの選択及び移動は、任意選択的に、ウェブブラウジングインタフェースをスクロールする。いくつかの実施形態では、コンテンツの選択及び移動は、要素をスクロールすること、及び/又は個別のコンテンツを第1の仮想オブジェクト内の第1のポジションから第1の仮想オブジェクト内の第2のポジションに移動させること、例えば、第1の仮想オブジェクト内にアイコンを配置することに対応する。いくつかの実施形態では、現在の相互作用は、ステップ(単数又は複数)1830に関して説明したドラッグアンドドロップ動作に関して説明したように、第1の仮想オブジェクト内の個別のコンテンツの選択及び移動を含む。例えば、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトに含まれる第1の入力フィールド内に表示されたテキストの選択(例えば、エアピンチジェスチャ)、ユーザの第1の部分(例えば、手)に従ったテキストの移動を検出し、選択の取り消し(例えば、エアピンチジェスチャ姿勢の解放)に応じて、ユーザの部分のポジションが第2の入力フィールドに対応するという判定に従って(例えば、移動に基づいて)、テキストを第2の入力フィールドに任意選択的に挿入する。いくつかの実施形態では、現在の相互作用は、現在の相互作用の1つ以上の特性と、ステップ(単数又は複数)1826に関して説明した1つ以上の入力とを有する。第1の仮想オブジェクト内でコンテンツを移動させている間、第1の仮想オブジェクトの視覚的顕著性を維持することは、ユーザの焦点がユーザの現在の注意とは無関係に仮想オブジェクトに向けられるように、相互作用を視覚的に集中させ、それによって、ユーザが不適切に相互作用する、又はコンテンツの移動の基準点を失う可能性を減少させる。
いくつかの実施形態では、第2の視覚的顕著性レベルは、図17Bに示すようなオブジェクト1708aの半透明性などの、第1の視覚的顕著性レベルに対応する第1レベルの半透明性よりも高い、第2のレベルの半透明性に対応する(1834a)。例えば、コンピュータシステムは、任意選択的に、ユーザの現在の注意を有する第1の仮想オブジェクトを第1のレベルの半透明性で表示し、第2の仮想オブジェクトを第2の相対的に高いレベルの半透明性で表示して、第2の仮想オブジェクトがより透明に見えるようにし、したがって、相対的に低い程度の視覚的顕著性を示す。
いくつかの実施形態では、第3の視覚的顕著性レベルは、図17Aに示すようなオブジェクト1708aの半透明性などの第2のレベルの半透明性よりも低い第3のレベルの半透明性に対応する(1834a)。いくつかの実施形態では、第3の視覚的顕著性レベルは、ステップ(単数又は複数)1802に関して説明した第3の視覚的顕著性レベルの1つ以上の特性を有する。例えば、コンピュータシステムは、任意選択的に、第2の半透明性レベルよりも低い(例えば、より不透明な)第3の半透明性レベルで第2の仮想オブジェクトを表示する。視覚的顕著性レベルを対応する半透明性のレベルで示すことは、相互作用のターゲットをユーザに伝え、したがって、ユーザが相互作用することを望まない仮想オブジェクトに誤って入力が向けられる可能性を減少させる。
いくつかの実施形態では、第2の視覚的顕著性レベルは、図17Bに示すようなオブジェクト1708aのぼかしなどの、第1の視覚的顕著性レベルに対応する第1のぼかし度よりも高い、第2のぼかし度に対応する(1836a)。例えば、コンピュータシステムは、任意選択的に、ユーザの現在の注意を有する第1の仮想オブジェクトを第1のレベルのぼかし効果で表示し、第2の仮想オブジェクトを第2の相対的に高いレベルのぼかし効果で表示して、第2の仮想オブジェクトがよりぼやけて見えるようにし、したがって、比較的より低い程度の視覚的顕著性を示す。いくつかの実施形態では、ぼかし効果は、ユーザの視点からそれぞれの仮想オブジェクトの個別(それぞれ)の部分にわたって均一又は不均一に適用される。
いくつかの実施形態では、第3の視覚的顕著性レベルは、図17A(1836b)に示すようなオブジェクト1708aのぼかしなどの第2のぼかし度合いよりも低い第3のぼかしレベルに対応する。いくつかの実施形態では、第3の視覚的顕著性レベルは、ステップ(単数又は複数)1802に関して説明した第3の視覚的顕著性レベルの1つ以上の特性を有する。例えば、コンピュータシステムは、任意選択的に、ぼかし効果の第2のレベルよりも低い(例えば、ぼかしが少ない)第3のぼかし効果で第2の仮想オブジェクトを表示する。いくつかの実施形態では、ぼかし効果及びそれぞれのぼかし度は、個別の仮想オブジェクトに含まれるコンテンツのぼかし、及び/又はユーザの視点に対する個別の仮想オブジェクトを通して可視であるコンテンツのぼかしに対応する。視覚的顕著性レベルを対応するぼかし効果のレベルで示すことは、相互作用のターゲットをユーザに伝え、したがって、ユーザが相互作用することを望まない仮想オブジェクトに誤って入力が向けられる可能性を減少させる。
いくつかの実施形態では、第1の仮想オブジェクトは、視点1726aなどのユーザの視点に対して、ユーザの環境1702などの物理的環境の視覚表現の前に表示される(1838)。例えば、第1の仮想オブジェクトは、任意選択的に、ウェブブラウザなどのアプリケーションのユーザインタフェースであり、ステップ(単数又は複数)1800に関して説明した三次元環境は、任意選択的に、複合現実感(XR)環境に対応する。いくつかの実施形態では、物理的環境の表現は、ステップ(単数又は複数)1800に関して説明したような視覚的パススルーを少なくとも部分的に含む。いくつかの実施形態では、パススルーは、パッシブ(例えば、1つ以上のレンズ及び/又はパッシブ透明光学材料を含む)及び/又はデジタル(カメラなどの1つ以上の画像センサを含む)である。いくつかの実施形態では、第1のオブジェクトは、少なくとも部分的に完全に透明ではなく、及び/又は少なくとも部分的に完全に不透明ではなく、物理的環境の個別の部分は、ユーザの視点に対して第1の仮想オブジェクトを通して可視である。物理的環境の表現とユーザの視点との間に第1の仮想オブジェクトを表示することは、第1の仮想オブジェクトの空間配置を伝達し、したがって、第1の仮想オブジェクトに向かって、又はそこから離れて、それらの入力を視覚的に誘導する。
いくつかの実施形態では、第1の仮想オブジェクトは、図17Aに示すような視点1726aなどのユーザの視点に対して、環境1702などの仮想環境の前に表示される(1840)。いくつかの実施形態では、三次元環境は仮想環境を含み、仮想環境は、ステップ(単数又は複数)1800を参照して説明される仮想環境の特性のうちの1つ以上を有する。仮想環境は、任意選択的に、キャンプ場、空、宇宙のシーン、及び/又は他の適切な仮想シーンなどの、完全に又は部分的に没入型の視覚シーンを含む。いくつかの実施形態では、第1の仮想オブジェクトは、仮想オブジェクトがユーザの視点から可視であるように、そのような仮想環境内に位置付けられ、いくつかの実施形態では、仮想オブジェクトは、ユーザの視点に対して三次元環境内の仮想環境の前に位置付けられる。いくつかの実施形態では、第1の仮想オブジェクトは、ユーザの視点から第1の仮想オブジェクトを通した仮想環境の可視性が、ユーザの物理的環境に対する可視性と同様であるように、ステップ(単数又は複数)1838に関して説明されるような1つ以上の特性を有する。仮想環境とユーザの視点との間に第1の仮想オブジェクトを表示することは、第1の仮想オブジェクトの空間配置を伝達し、したがって、第1の仮想オブジェクトに向かって、又はそこから離れて、それらの入力を視覚的に誘導する。
いくつかの実施形態では、第1の仮想オブジェクトは、図17Aに示すオブジェクト1708aのアプリケーションなどの第1のアプリケーションに関連付けられ、第2の仮想オブジェクトは、図17Aに示すオブジェクト1716aのアプリケーションなどの、第1のアプリケーションと異なる第2のアプリケーションに関連付けられる(1842)。例えば、第1の仮想オブジェクトは、任意選択的に、第1のアプリケーションの第1のユーザインタフェースであり、第2の仮想オブジェクトは、任意選択的に、第1のアプリケーションとは異なる第2のアプリケーションの第2のユーザインタフェースである。いくつかの実施形態では、コンピュータシステムが第1及び第2の仮想オブジェクトを同時に表示している間に、コンピュータシステムは、個別のアプリケーションの1つ以上の機能を開始する要求に対応する入力を検出し、入力に応じて、入力が第1の仮想オブジェクトに向けられているという判定に従って、第1の仮想オブジェクトに関連付けられた第1の1つ以上の機能を開始し、第2の仮想オブジェクトに関連付けられた第2の1つ以上の機能の開始を見合わせ、入力が第2の仮想オブジェクトに向けられているという判定に従って、第2の仮想オブジェクトに関連付けられた第2の1つ以上の機能を開始し、第1の1つ以上の機能の開始を見合わせる。いくつかの実施形態では、それぞれの仮想オブジェクトは、同じアプリケーションの異なるインスタンスである。それぞれの仮想オブジェクトを異なるそれぞれのアプリケーションに関連付けることは、異なるそれぞれのアプリケーションにナビゲートし、それらと相互作用するために必要とされるユーザ入力を減少させる。
いくつかの実施形態では、図17Dに示すオブジェクト1712aなどの第2の仮想オブジェクトは、図17Dに示すコンピュータシステム101のオペレーティングシステムなどのコンピュータシステムのオペレーティングシステムに関連付けられた制御ユーザインタフェースである(1844)。例えば、第2の仮想オブジェクトは、任意選択的に、制御センタなどのコンピュータのオペレーティングシステムに関連付けられたユーザインタフェース、コンピュータシステムに関連付けられた通知、アプリケーション起動ユーザインタフェース、ディスプレイ輝度、ネットワーク接続性、周辺デバイス通信を変更するためのインタフェース、メディア再生、データ転送、第2の表示生成構成要素によるスクリーンミラーリング、又はコンピュータシステム及び/若しくはコンピュータシステムと通信するデバイスのバッテリインジケータである。例えば、制御ユーザインタフェースは、コンピュータシステムの特性を変更する(例えば、輝度を増加させる、ネットワーク接続を変更する、アプリケーションを起動する、及び/又は通知サイレントモードを設定する)ための1つ以上の相互作用可能オプションを含む、ユーザインタフェースの領域に対応する制御センタである。いくつかの実施形態では、制御ユーザインタフェースは、受信メッセージの通知、新しいオペレーティングシステム更新の通知、及び/又はアプリケーションからの通知などの通知(例えば、グラフィカル及び/又はテキスト)を含む。いくつかの実施形態では、アプリケーション起動ユーザインタフェースは、個別のアプリケーションを起動するために個々に選択可能な複数のアプリケーションの複数の表現を含む。制御ユーザインタフェースは、コンピュータシステムのオペレーティングシステムに関連付けられた特性にアクセスし、それを変更するために必要とされるユーザ入力を減少させる。
いくつかの実施形態では、表示生成構成要素を介して、図17Dに示すオブジェクト1708aの視覚的顕著性などの三次元環境に対する第2の視覚的顕著性レベルで第2の仮想オブジェクトを表示している間、コンピュータシステムは、表示生成構成要素を介して、視覚要素1718の視覚的顕著性レベルなどの第5の視覚的顕著性レベルで第2の仮想オブジェクトの移動に関連付けられた視覚要素1718などの個別の選択可能要素を表示する(1846a)。いくつかの実施形態では、1つ以上のそれぞれの仮想オブジェクトは、対応する個別の仮想オブジェクトを移動させるために任意選択的に選択可能である、本明細書では「グラバー」と称される、付随する選択可能要素とともに表示される。例えば、グラバーは、任意選択的に、対応する第2の仮想オブジェクトの視覚的顕著性レベルに任意選択的に対応するか、又は任意選択的に対応しない視覚的顕著性レベルで任意選択的に表示される錠剤形状の視覚表現である。いくつかの実施形態では、第5の視覚的顕著性レベルは、第2の視覚的顕著性レベルと同じである。いくつかの実施形態では、第5の視覚的顕著性レベルは、第2の視覚的顕著性レベルとは異なる。いくつかの実施形態では、グラバーは、個別の仮想オブジェクトに近接して(例えば、個別の仮想オブジェクトの下及び中心に)表示される。
いくつかの実施形態では、図17Dに示すような個別の視覚的顕著性でオブジェクト1708aを表示するなど、第2の視覚的顕著性レベルで第2の仮想オブジェクトと、第5の視覚的顕著性レベルで視覚要素1718などの個別の選択可能要素とを表示する間、コンピュータシステムは、1つ以上の入力デバイスを介して、図17Dにおいてトラックパッド1715に接触している手1703などの個別の選択可能要素に向けられた第1の入力を受信する(1846b)。例えば、コンピュータシステムは、任意選択的に、コンピュータシステムのユーザの個別の部分(例えば、手)の動き、エアジェスチャ(例えば、エアピンチジェスチャ)、及び/又は姿勢(例えば、ステップ(単数又は複数)1832に関して説明したような)が、任意選択的に、第2の仮想オブジェクトに関連付けられた個別の選択可能要素(例えば、グラバー)に向けられていることを検出する。
いくつかの実施形態では、第1の入力を検出したことに応じて、コンピュータシステムは、図17Eに示すポジションへのオブジェクト1708aの移動など、第1の入力に従って三次元環境内の第2の仮想オブジェクトを移動させる(1846c)。例えば、任意選択的に、ユーザの注意が個別の視覚要素に向けられている間に任意選択的にエアピンチジェスチャを検出したことに応じて、コンピュータシステムは任意選択的に、第2の仮想オブジェクトを移動させる処理を開始する。いくつかの実施形態では、ユーザの個別の部分(例えば、手)の特定の姿勢が維持される間、コンピュータシステムは、オブジェクト移動モードのままである。例えば、ユーザの手によって行われたピンチポーズが維持されている間、コンピュータシステムは、任意選択的に、ユーザの手の動きを検出し、任意選択的に、動きの大きさ及び/又は方向に従った大きさ及び/又は方向で第2の仮想オブジェクトのポジションを移動させる(例えば、三次元環境内のユーザの視点に対して、上方向、下方向、左方向、右方向、ユーザに近づく方向、及び/又はユーザから遠ざかる方向)。いくつかの実施形態では、第1の入力は、物理又は仮想ボタンの作動を含み、そのような作動に応じて、コンピュータシステムは、1つ以上のそれぞれの仮想オブジェクトを配置する。例えば、コンピュータシステムは、任意選択的に、第1の入力に応じて、ユーザの視野の左半分など、ユーザの視点の画定された部分を消費するように1つ以上の第1のオブジェクトを配置する。第2の仮想オブジェクトを移動させるために選択可能な個別の仮想オブジェクトに対応する個別の選択可能要素を表示することは、第2の仮想オブジェクトが低減された視覚的顕著性で表示されているにもかかわらず移動され得ることを示し、それによって、ユーザが第1の仮想オブジェクトを移動させるために第2の仮想オブジェクトに不必要に注意をシフトさせることを防止する。
いくつかの実施形態では、表示生成構成要素を介して、第4の視覚的顕著性レベルで第1の仮想オブジェクトを表示している間、コンピュータシステムは、表示生成構成要素を介して、オブジェクト1708aに関連付けられた図17Dに示すような視覚要素1718などの、第1の仮想オブジェクトの移動に関連付けられた個別の選択可能要素を表示する(1848a)。例えば、コンピュータシステムは、任意選択的に、ステップ(単数又は複数)1802に関して説明されるように、第4の視覚的顕著性レベルで第1の仮想オブジェクトを表示し、任意選択的に、ユーザの注意が第1の仮想オブジェクトに向けられていない間、かつ/又は第1の仮想オブジェクトの選択を検出する前に、第4の視覚的顕著性レベルを維持する。いくつかの実施形態では、個別の要素は、ステップ(単数又は複数)1826に関して説明した個別(それぞれ)の選択可能要素の1つ以上の特性を有する。
いくつかの実施形態では、表示生成構成要素を介して、第4の視覚的顕著性レベルで第1の仮想オブジェクトと、第1の仮想オブジェクトを移動させることに関連付けられた個別の選択可能要素とを表示している間、コンピュータシステムは、第1の仮想オブジェクトに関連付けられた個別の要素に向けられた、図17Dのトラックパッド1705に接触する手1703などの入力を検出する(1848b)。例えば、コンピュータシステムは、任意選択的に、ユーザの注意が第1の仮想オブジェクトに関連付けられた第1の個別の要素(例えば、グラバー)に向けられていることを検出するか、又はユーザの注意が第1の仮想オブジェクト内に含まれ、第1の仮想オブジェクトに関連付けられた第2の個別の要素(本体及び/又はコンテンツ)に向けられていることを検出する。
いくつかの実施形態では、第1の仮想オブジェクトに関連付けられた個別の要素に向けられた入力を検出したことに応じて(1848c)、個別の要素が図17Dの視覚要素1718などの個別の選択可能要素であるという判定に従って(例えば、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトに関連付けられたグラバーを選択する入力を検出する。いくつかの実施形態では、個別の要素(例えば、グラバー)に向けられた入力は、ステップ(単数又は複数)1826に関して説明した個別(それぞれ)の選択可能要素に向けられた第1の入力など、入力(単数又は複数)の1つ以上の特性を有し、コンピュータシステムは、オブジェクト1708aを図17Eに示すロケーションに移動させるなど、入力に従って第1の仮想オブジェクトを移動させる処理を開始する(1848d)。いくつかの実施形態では、第1の仮想オブジェクトを移動させる処理は、ステップ(単数又は複数)1826に関して説明された個別(それぞれ)の仮想オブジェクトの移動の1つ以上の特性を有する。
いくつかの実施形態では、個別の要素が、図17Dのオブジェクト1708a内などの第1の仮想オブジェクト内に含まれる個別のコンテンツに対応するという判定に従って、コンピュータシステムは、表示生成構成要素を介して、図17Dと比較して図17Eに示すオブジェクト1708aの移動なしに、図17Eに示すオブジェクト1708aの視覚的顕著性など、入力に従う個別のコンテンツに関連付けられた動作を実行することなく、第4の視覚的顕著性レベルよりも高い第5の視覚的顕著性レベルで第1の仮想オブジェクトを表示する(1848e)。例えば、コンピュータシステムは、任意選択的に、ユーザの注意が第1の仮想オブジェクトに含まれるコンテンツ又は第1の仮想オブジェクトの輪郭若しくは本体に向けられていることを検出し、任意選択的に、ユーザの手によって実行されるエアピンチを検出する。注意及びピンチに応じて、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトの増加された視覚的顕著性レベルに任意選択的に対応する第5の視覚的顕著性レベルで第1の仮想オブジェクトを表示するが、個別のコンテンツに関連付けられた動作を実行しない。いくつかの実施形態では、第5の視覚的顕著性レベルで第1の仮想オブジェクトを表示する間、コンピュータシステムは、個別の要素への入力を検出し、個別の要素が第1の仮想オブジェクト内に含まれる個別のコンテンツに対応するという判定に従って、第1の仮想オブジェクトの1つ以上の動作の実行を開始する。例えば、入力は、任意選択的に、ウェブブラウザをリフレッシュするための仮想ボタンの選択に対応し、1つ以上の動作は、ウェブブラウザの現在のウェブページのリフレッシュ及び/又はリロード動作を含む。追加的又は代替的に、入力は、任意選択的に、コンテンツ入力モードの開始に対応し、1つ以上の動作は、コンテンツ入力モード(例えば、テキストフィールドへのテキストの入力、及び/又はユーザの個別の部分の動きが描画の表現によって追跡される仮想描画モードの入力)の開始を含む。ユーザ入力が第1の仮想オブジェクトに関連付けられた対応する要素に向けられているという判定に従って、コンテンツに関連付けられた動作を実行することなく、第1の仮想オブジェクトの移動を開始すること、又は視覚的顕著性を増加させることは、三次元環境において仮想オブジェクトを再配置する能力を制限することなく、ユーザがコンテンツに関連付けられた動作を誤って開始する可能性を減少させる。
いくつかの実施形態では、第1の仮想オブジェクトは、図17Aのオブジェクト1708a内で再生されているメディアコンテンツなどの、現在再生中のメディアコンテンツを含む(1850a)。例えば、第1の仮想オブジェクトは、現在再生中のメディアコンテンツ(例えば、オーディオ、ビデオ、及び/又はこれら2つの何らかの組み合わせ)を任意選択的に含むメディアプレーヤを任意選択的に含む。
いくつかの実施形態では、表示生成構成要素を介して、図17Bに示すようなオブジェクト1714a及びその視覚的顕著性などの三次元環境に対する第3の視覚的顕著性レベルで第2の仮想オブジェクトを表示したことに応じて、コンピュータシステムは、図17Bに示すようなオブジェクト1708a内のメディアのメディア再生を維持するなど、第4の視覚的顕著性レベルで表示されている第1の仮想オブジェクト内に含まれるメディアコンテンツの再生を維持する(1850b)。例えば、コンピュータシステムは、第1の仮想オブジェクトが第4の任意選択的に低減された視覚的顕著性レベルで任意選択的に表示されている間、メディアコンテンツが可聴及び/又は可視であり続けるように、メディアコンテンツの再生を任意選択的に継続する。いくつかの実施形態では、第2の仮想オブジェクトが比較的顕著であり、第1の仮想オブジェクトが比較的顕著でない間、メディアは、視覚的に不明瞭である(例えば、透明及び/又はぼやけている)が、再生され続ける。低減された視覚的顕著性で第1の仮想オブジェクトを表示しながら、第1の仮想オブジェクト内に含まれるメディアコンテンツの再生を継続することは、第2の仮想オブジェクトが比較的高い視覚的顕著性レベルを有する間、ユーザがそのような再生を継続するため、及び/又は所望の再生ポジションに対応するように再生ポジションを更新するために必要とされる入力を減少させる。
いくつかの実施形態では、第1の仮想オブジェクトは、図17Cに示すタイプのオブジェクト1852aなどの第1のタイプのオブジェクトである(1708a)。例えば、第1のタイプの第1の仮想オブジェクトは、任意選択的に、ウェブブラウジング及び/又はメディア再生アプリケーションなどのアプリケーションのユーザインタフェースに対応する。いくつかの実施形態では、第1のタイプのオブジェクトは、個別の仮想オブジェクトからの個別のコンテンツ(例えば、ステップ(単数又は複数)1830に関して説明されるように、個別の仮想オブジェクトの外側の三次元環境内のポジションにドラッグアンドドロップされた写真)を含む。例えば、個別のコンテンツは、任意選択的に、コンピュータシステムと通信している別のデバイスのユーザからの通信(例えば、テキストメッセージ)の表現である。
いくつかの実施形態では、表示生成構成要素を介して、第1のタイプのオブジェクトとは異なる、図17Cに示すタイプのオブジェクト1712Aなどの第2のタイプのオブジェクトであり、ユーザの注意が第3の仮想オブジェクトに向けられている第3の仮想オブジェクトを三次元環境に対して第5の視覚的顕著性レベルで三次元環境に表示している間に、コンピュータシステムは、図17Cに示すようなポジションへの注意の移動1704-1のシフトを検出するなど、コンピュータシステムのユーザの注意が第3の仮想オブジェクトから離れるように移動することを検出する(1852b)。例えば、第2のタイプの仮想オブジェクトは、ステップ(単数又は複数)1844に関して説明されるような制御又はシステムユーザインタフェース仮想オブジェクト、アバター仮想オブジェクト、及び/又は仮想ランドマークの表現に対応する。いくつかの実施形態では、第2のタイプの仮想オブジェクトは、コンピュータシステムのユーザが別の仮想オブジェクトに向けられた現在の注意を有するとき、又は代替仮想オブジェクトの視覚的顕著性を増加させる明示的要求を行うとき、視覚的顕著性レベルを維持する、仮想オブジェクトのタイプに対応する(仮想オブジェクトが相互作用可能であるかどうかにかかわらず)。
いくつかの実施形態では、コンピュータシステムのユーザの注意が第3の仮想オブジェクトから離れるように移動することを検出したことに応じて、かつユーザの注意が図17Bのオブジェクト1714aなどの三次元環境内の第4の仮想オブジェクトに向けられているという判定に従って、コンピュータシステムは、図17Dに示すようなオブジェクト1712aの視覚的顕著性の維持など、三次元環境に対して第5の視覚的顕著性レベルで第3の仮想オブジェクトの表示を維持する(1852c)。例えば、ユーザの注意がコンピュータシステムのオペレーティングシステムに関連付けられた制御ユーザインタフェースから離れるように移動することを検出したことに応じて、コンピュータシステムは、任意選択的に、制御ユーザインタフェースの視覚的顕著性レベルを維持する。第3の仮想オブジェクトの視覚的顕著性を維持することは、第3の仮想オブジェクトの特性(例えば、コンピュータシステムの相互作用性及び/又は設定の制御)を示し、第3の仮想オブジェクトのタイプを視覚的に伝達し、したがって、コンピュータシステムが第3の仮想オブジェクトと相互作用することを可能にする潜在的なタイプの相互作用又は入力をユーザに示し、第3の仮想オブジェクトが相互作用可能なままであることを示し、それによって、環境に向けられる誤入力を減少させる。
いくつかの実施形態では、第2のタイプのオブジェクトは、図17Cに示すタイプのオブジェクト1712aなど、コンピュータシステムに関連付けられた個別のユーザの表現である(1854)。例えば、第2のタイプのオブジェクトは、任意選択的に、コンピュータシステムの現在のユーザのアバター、コンピュータシステムの別のユーザ、コンピュータシステムと通信している(例えば、通信セッションの一部として)第2のコンピュータシステムのユーザ、及び/又はそれぞれのコンピュータシステムの複数のユーザに対応する仮想ヘルプデスク担当者の表現を含む。コンピュータシステムを含む通信セッション(例えば、第1の通信システム)及び第2の任意選択的に異なるコンピュータシステムを含む通信セッションは、任意選択的に、関与する様々なコンピュータシステムのユーザのオーディオ及び/又はビデオが通信セッション内の他のコンピュータシステム/ユーザにアクセス可能である通信セッションである。いくつかの実施形態では、通信セッション中に、通信セッションに参加している所与のコンピュータシステムは、通信セッションに参加している1人以上の他のユーザの1つ以上のアバターを表示し、アバターは、対応するコンピュータシステムによって通信セッションに送信されたオーディオ(例えば、音声オーディオ)に対応する方法で任意選択的にアニメーション化される。いくつかの実施形態では、通信セッション中、第1のコンピュータシステムは、通信セッションに参加している1人以上の他のユーザの1つ以上のアバターを、第1のコンピュータシステムによって表示されている仮想環境に表示し、第2のコンピュータシステムは、通信セッションに参加している1人以上の他のユーザの1つ以上のアバターを、第2のコンピュータシステムによって表示されている仮想環境に表示する。ユーザの表現の視覚的顕著性を維持することは、コンピュータシステムがユーザの表現で可能にする相互作用のタイプに関してユーザをガイドし、個別のユーザが環境内でアクティブであることを示す。
いくつかの実施形態では、第2のタイプのオブジェクトは、図17Cに示すタイプのオブジェクト1712aなどのメディア再生アプリケーションのユーザインタフェースである(1856)。例えば、第2のタイプのオブジェクトは、任意選択的に、読み上げアプリケーション及び/又はウェブビデオブラウジングアプリケーションなどのテキスト、オーディオ、及び/又はビデオ再生アプリケーションのユーザインタフェースである。視覚的顕著性を維持するメディアアプリケーションを提供することは、コンピュータシステムがメディア再生アプリケーションで可能にする相互作用のタイプに関してユーザをガイドし、メディア再生アプリケーションが環境内でアクティブであることを示す。
いくつかの実施形態では、第2のタイプのオブジェクトは、図17Cに示すタイプのオブジェクト1712aなどのコンピュータシステムのステータスユーザインタフェースである(1858)。例えば、第2のタイプのオブジェクトは、任意選択的に、コンピュータシステムのステータス、コンピュータシステム内に含まれる1つ以上のそれぞれの構成要素、コンピュータシステムと通信する第2のコンピュータシステムのステータス、及び/又は第2のコンピュータシステムに関連付けられた1つ以上の第2のそれぞれの構成要素に関する情報を含む。例えば、ネットワーク接続のステータス、コンピュータシステム及び/又はコンピュータシステムと通信している別のデバイスの1つ以上のバッテリのステータス、コンピュータシステム内に含まれるか又はコンピュータシステムと通信している個別の回路構成(例えば、カメラ、マイクロフォン、及び/又はロケーションセンサ(単数又は複数))へのアクセスのインジケーションである。視覚的顕著性を維持するステータスユーザインタフェースアプリケーションを提供することは、ユーザがコンピュータシステムの個別の構成要素の現在のステータスと衝突する入力を提供しないように、コンピュータシステムの1つ以上の構成要素の可視のそれぞれのステータスを連続的に提供する。
いくつかの実施形態では、第2のタイプのオブジェクトは、図17Cに示すタイプのオブジェクト1712aなどの通信アプリケーションのユーザインタフェースである(1860)。例えば、第2のタイプのオブジェクトは、任意選択的に、メッセージングアプリケーション、電子メールアプリケーション、音声及び/若しくはビデオアプリケーション、テレビ会議若しくはビデオチャットアプリケーション、写真交換アプリケーション、並びに/又はリアルタイム通信アプリケーションのユーザインタフェースである。視覚的顕著性を維持する通信アプリケーションに対応するタイプの仮想オブジェクトを提供することは、コンピュータシステムが通信アプリケーションで可能にする相互作用のタイプに関してユーザをガイドし、そのような通信の可視性を維持し、そのような通信を見るために必要とされる入力を減少させる。
方法1800における動作が説明された特定の順序は、例示的なものにすぎず、説明された順序が、動作が実行され得る唯一の順序であることを示すものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。
図19A~図19Eは、いくつかの実施形態による、仮想コンテンツによるそれぞれの仮想オブジェクトの見かけ上の不明瞭化を変更するために、それぞれの仮想オブジェクトの視覚的顕著性を変更するコンピュータシステムの実施例を示す。
図19Aは、コンピュータシステム101の表示生成構成要素(例えば、図1の表示生成構成要素120)を介して可視である三次元環境1902を示し、三次元環境1902は、(例えば、コンピュータシステム101が位置する物理的環境の左壁に面して)俯瞰図に示すユーザの視点1926aから可視である。図1~図6を参照して上述したように、コンピュータシステム101は、任意選択的に、表示生成構成要素(例えば、タッチスクリーン)と、複数の画像センサ(例えば、図3の画像センサ314)と、を含む。画像センサは、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又はユーザがコンピュータシステム101と相互作用する間にユーザ若しくはユーザの一部(例えば、ユーザの1つ以上の手)の1つ以上の画像をキャプチャするためにコンピュータシステム101が使用することができるであろう任意の他のセンサのうちの1つ以上を含む。いくつかの実施形態では、以下に図示及び説明されるユーザインタフェースはまた、ユーザインタフェース又は三次元環境をユーザに表示する表示生成構成要素と、物理的環境及び/又はユーザの手の移動(例えば、ユーザから外向きに面する外部センサ)、かつ/又はユーザの視線(例えば、ユーザの顔に向かって内向きに面する内部センサ)を検出するためのセンサとを含む、ヘッドマウントディスプレイ上に実現され得る。
図19Aに示すように、コンピュータシステム101は、コンピュータシステム101の周囲の物理的環境内の1つ以上のオブジェクトを含む、コンピュータシステム101の周囲の物理的環境(例えば、動作環境100)の1つ以上の画像をキャプチャする。いくつかの実施形態では、コンピュータシステム101は、三次元環境1902内の物理的環境の表現を表示し、及び/又は物理的環境は、表示生成構成要素120を介して三次元環境1902内で可視である。例えば、表示生成構成要素120を介して可視である三次元環境1902は、コンピュータシステム101が配置されている部屋の物理的な床並びに後壁及び側壁の表現を含む。三次元環境1902はまた、図19Aの視点1926aから表示生成構成要素を介して可視であるテーブル1922aを含む。
図19Aでは、三次元環境1902はまた、視点1926aから可視である仮想オブジェクト1914a(俯瞰図内のオブジェクト1914bに対応する)及び1916a(俯瞰図内のオブジェクト1916bに対応する)を含む。図19Dにおいて、三次元環境1902はまた、仮想オブジェクト1918a(俯瞰図におけるオブジェクト1918bに対応する)を含む。図19A及び図19Dでは、オブジェクト1914a、1916a、及び1918aは、二次元オブジェクトであるが、本開示の例は、任意選択的に、三次元オブジェクトに等しく適用される。仮想オブジェクト1914a、1916a、及び1918aは、任意選択的に、アプリケーションのユーザインタフェース(例えば、メッセージングユーザインタフェース、及び/又はコンテンツブラウジングユーザインタフェース)、三次元オブジェクト(例えば、仮想時計、仮想ボール、及び/又は仮想車)、又はコンピュータシステム101の物理的環境に含まれないコンピュータシステム101によって表示される任意の他の要素のうちの1つ以上である。
図19Aでは、オブジェクト1914aの一部がオブジェクト1916aの一部を部分的に覆い隠している。例えば、上面図に示すオブジェクト1914bは、視点1926aに対するオブジェクト1916bの第2のポジションよりもユーザの視点1926aに相対的に近い三次元環境1902内の第1のポジションに表示される。そのような構成では、オブジェクト1914aのサイズ及び/又は寸法を有する第1のロケーションに配置された第1の物理的オブジェクトは、オブジェクト1916aのサイズ及び/又は寸法を有する第2のロケーションに配置された第2の物理的オブジェクトを任意選択的に視覚的に覆い隠す。したがって、いくつかの実施形態では、コンピュータシステム101は、そのような配置を反映するようにオブジェクト1914a及びオブジェクト1916aを表示するが、仮想コンテンツに関してである。
図19Aに示す前に、コンピュータシステム101は、以前にオブジェクト1914aに向けられていたユーザの注意を以前に検出しており、その以前に検出された注意に応じて、第1の顕著性(例えば、100%の不透明度などの第1のレベルの不透明度)でオブジェクト1914aを表示している。同様に、コンピュータシステムは、オブジェクト1916aに向けられた注意を検出しなかったので、コンピュータシステム101は、任意選択的に表示され、第2の視覚的顕著性レベル(例えば、60%の不透明度などの第2のレベルの不透明度)でオブジェクト1916aを表示し続ける。図19Aでは、コンピュータシステム101は、オブジェクト1916aに向けられた注意1904-1を検出するが、1つ以上の基準をまだ満たしていない(例えば、閾値時間量よりも長い期間の間オブジェクト1916a上にまだ留まっていない)。いくつかの実施形態では、注意1904-1は、コンピュータシステムによって表示されない。
いくつかの実施形態では、コンピュータシステム101は、第2の仮想オブジェクト(例えば、オブジェクト1916a)の第1の部分を覆い隠している第1の仮想オブジェクト(例えば、オブジェクト1914a)の個別の部分の視覚的外観を変更する。前述のように、そのような不明瞭化は、コンピュータシステム101がそれぞれのオブジェクトを表示する方法によって引き起こされる明らかな不明瞭化であることが理解される。例えば、コンピュータシステム101は、任意選択的に、効果領域1906内にオブジェクト1914aの複数の部分を表示し、その中で、コンピュータシステム101は、任意選択的に、第1の部分が三次元環境1902において任意選択的に視覚的に目立つように、第1の視覚的顕著性レベル(例えば、100%不透明度などの第1のレベルの不透明度)で、オブジェクト1916aの部分と重なる領域内にあるオブジェクト1914aの第1の部分を表示する。いくつかの実施形態では、コンピュータシステム101は、効果領域1906内のオブジェクト1914aの第1の部分以外の、オブジェクト1916aにより近い第2の部分を、第2の視覚的顕著性レベル(例えば、10%の不透明度などの第2のレベルの不透明度)で表示する。いくつかの実施形態では、第1の部分は、オブジェクト1914aの中心により近い部分を含み、第2の部分は、オブジェクト1916aのエッジにより近いオブジェクト1914aの部分を含み、それにより、オブジェクト1914aのエッジに最も近いオブジェクト1914aの部分は、任意選択的に、より半透明であり、したがって、オブジェクト1914aに含まれる個別のコンテンツからオブジェクト1916aに含まれる個別のコンテンツへの段階的視覚遷移を生成する。いくつかの実施形態では、オブジェクト1914aの第1及び第2の部分は、オブジェクト1914aと1916aとの間の重複領域1912に含まれる。
いくつかの実施形態では、重複領域1912は、前述のように、オブジェクト1914a及び1916aが仮想交点を有する、視点1926aに対するエリアを含み、オブジェクト1914aの第1及び第2の部分の視覚的顕著性がコンピュータシステム101によって変更される、効果領域1906を含む。効果領域1906内で、コンピュータシステム101は、任意選択的に、オブジェクト1914aの視覚的顕著性における段階的な遷移を表示する。例えば、効果領域1906に含まれるサブ領域1908a(及びサブ領域1908aに対応するサブ領域の対応する拡大図1908b)は、任意選択的に、不透明度の勾配を伴って表示される。例えば、個別の不透明度の2つの別個の部分を伴って効果領域1906を表示するのではなく、コンピュータシステム101は、オブジェクト1914aの中心に対する効果領域1906の1つ以上の内側エッジから開始し、オブジェクト1914aの中心に対する効果領域1906の1つ以上の外側エッジに向かって延びる、不透明度の段階的な増加及び/又は減少を表示する。いくつかの実施形態では、効果領域1906は、オブジェクト1914aとオブジェクト1916aとの間の交差及び/又は重複の寸法に基づく。例えば、コンピュータシステム101は、任意選択的に、オブジェクト1916aとオブジェクト1916aとの間の重複領域1912のエリアを検出し、任意選択的に低減された視覚的顕著性で表示されるオブジェクト1914aに最も近い交差エリアの1つ以上のエッジに沿って視覚的顕著性を任意選択的に変更する。いくつかの実施形態では、重複領域1912及び/又は効果領域1906は、長方形以外の形状であり、コンピュータシステム101は、それぞれの仮想オブジェクト間(例えば、楕円形の重複領域内)の交差及び/又は重複領域の視覚的顕著性を変更する。
いくつかの実施形態では、コンピュータシステム101は、図19Aのオブジェクト1916aに向けられた入力を検出する。例えば、カーソルがオブジェクト1916aに向けられている間に、手1903がトラックパッド1905に接触する。追加的又は代替的に、入力は、ユーザの身体の1つ以上の部分によって実行される注意ベースの入力及び/又はエアジェスチャを任意選択的に含む。例えば、コンピュータシステム101は、任意選択的に、オブジェクト1916aに向けられたユーザの視線及び/又は注意を検出し、任意選択的に、同時エアジェスチャ(例えば、ユーザの手のそれぞれの指の接触、ユーザの手のエアスワイプ、複数の指の握り込み、複数の指の広がり及び/若しくは開き、並びに/又は別のエアジェスチャを含むエアピンチジェスチャ)を検出する。入力に応じて、コンピュータシステム101は、任意選択的に、図19Bに示すように、オブジェクト1914a及び/又はオブジェクト1916aの視覚的顕著性を変更する処理を開始する。
図19Bでは、図19Aで前述した入力に応じて、コンピュータシステム101は、任意選択的に、増加された視覚的顕著性(例えば、第1の視覚的顕著性レベル)でオブジェクト1916aを表示し、任意選択的に、減少した視覚的顕著性(例えば、第2の視覚的顕著性レベル)でオブジェクト1914aを表示し、任意選択的に、第3の程度の視覚的顕著性(例えば、0%の不透明度)でオブジェクト1914aの個別の部分を表示して、ユーザがオブジェクト1914aの個別の部分を通してオブジェクト1916aを見ることを可能にする。いくつかの実施形態では、コンピュータシステム101は、入力に応じてそれぞれのオブジェクトを移動させない。いくつかの実施形態では、コンピュータシステム101は、図19Aのオブジェクト1914aを参照して説明されるものと同様又は同一である、効果領域1906内のオブジェクト1916aと1914aとの間の重複を示すために、オブジェクト1916aの1つ以上の部分に視覚効果(例えば、視覚的顕著性の低減)を適用する。例えば、コンピュータシステム101は、任意選択的に、相対的に増加された視覚的顕著性レベルでオブジェクト1916aを表示し、効果領域1906内のオブジェクト1916aに含まれる個別のコンテンツの個別の視覚的顕著性を減少させる。いくつかの実施形態では、効果領域1906の境界は、オブジェクト1916aのエッジによって少なくとも部分的に境界付けられる。いくつかの実施形態では、効果領域1906は、オブジェクト1914a及び/又は1916aの少なくとも一部を含む。いくつかの実施形態では、効果領域1906は、1916aのエッジに対応する境界の外側にある。コンピュータシステム101は、追加的又は代替的に、オブジェクト1916aの中心により近い効果領域1906内のオブジェクト1916aの部分が、任意選択的に、比較的高いレベルの不透明度で表示され、オブジェクト1914a及び/又は1916aの間の重複領域1912のエッジにより近いオブジェクト1916aの部分が、任意選択的に、比較的低いレベルの不透明度で表示されるように、勾配効果を伴って効果領域を表示する。いくつかの実施形態では、効果領域1906がオブジェクト1916aの境界を越えて延びるとき、コンピュータシステム101は、視覚効果(単数又は複数)(例えば、不透明度レベルの勾配)を伴って表示されるオブジェクト1906aの部分を参照して説明される1つ以上の特性を有する視覚効果を伴って、追加の仮想コンテンツの部分(例えば、オブジェクト1914aの部分)を表示する。
図19Bでは、注意1904-2は、コンピュータシステム101によって検出され、重複領域1912内にあるオブジェクト1916aに含まれるコンテンツに向けられる入力に対応する。例えば、入力は、任意選択的に、仮想ボタンの選択、コンピュータシステムの設定の切り替え、及び/又は重複領域1912内の仮想コンテンツによって表される通知の選択など、重複領域1912内のオブジェクト1916aの個別の仮想コンテンツとの相互作用に対応する。オブジェクト1916aは、任意選択的に、相対的に増加された視覚的顕著性レベルで表示されるので、コンピュータシステム101は、任意選択的に、オブジェクト1914aが相対的に増加された視覚的顕著性レベルで表示された場合に見合わせられるであろう個別の仮想コンテンツとの相互作用を可能にする。したがって、図19Aを参照して説明されるオブジェクト1916aの表示への以前の入力(単数又は複数)は、そうでなければ可視及び/又は相互作用可能ではなかったであろう個別の仮想コンテンツとのユーザ相互作用を可能にしている。いくつかの実施形態では、コンピュータシステム101は、注意1904-1がオブジェクト1916aから1914aにシフトして戻ったことを検出し、入力に応じて、図19Aを参照して説明されるのと同様又は同じ方法でそれぞれのオブジェクトを表示する。
図19C-19Eは、方法2000を参照して更に詳細に説明される、オブジェクトに対するユーザの視点の向きに基づいて、オブジェクトの視覚的顕著性を変更する実施例を図示する。いくつかの実施形態では、以下に説明される実施形態は、図19A~図19Bを参照して説明される実施形態に追加的又は代替的に適用されることが理解される。いくつかの実施形態では、コンピュータシステム101は、視点1926aに対するそれぞれの向きを有する1つ以上のオブジェクトに向けられた入力を検出する。いくつかの実施形態では、入力は、1つ以上のオブジェクトを単に移動及び/又は再配向させるための明示的入力ではなく、1つ以上のオブジェクトの個別のコンテンツとの相互作用に対応する。いくつかの実施形態では、入力を検出したことに応じて、コンピュータシステム101は、任意選択的に、個別の仮想コンテンツとの相互作用(例えば、仮想ボタンの作動、メディアコンテンツの再生、及び/又は個別のオブジェクトに含まれるウェブベースのコンテンツのロード)を開始し、同時に又はほぼ同時に処理を開始して、視点1926aに対する1つ以上のオブジェクトのそれぞれの向きを変更し、個別の仮想コンテンツのユーザとの可視性及び/又は相互作用性を改善する。例えば、視点1926aから遠く離れた個別のオブジェクト内のテキスト入力フィールドに向けられたテキスト入力を開始するための入力を検出したことに応じて、コンピュータシステム101は、テキスト入力を任意選択的に開始し、個別のオブジェクトを移動及び/又はスケーリングして、テキスト入力フィールドに向けられた更なる相互作用(例えば、テキスト入力)を容易にする。
図19Cでは、オブジェクト1914a及び1916aは、任意選択的に、ユーザの視点1926aの閾値距離(閾値1910によって示される)内にある。いくつかの実施形態では、1つ以上のオブジェクトが視点1926aの閾値距離内にある場合、コンピュータシステム101は、1つ以上のオブジェクトをそれぞれ第1の視覚的顕著性レベル(例えば、100%の不透明度及び/又は100%の輝度)で表示する。いくつかの実施形態では、1つ以上のオブジェクトが視点1926aの閾値距離内にない場合、コンピュータシステム101は、1つ以上のオブジェクトをそれぞれ第1のレベルよりも低い第2の視覚的顕著性レベル(例えば、10%の不透明度及び/又は10%の輝度)で表示する。例えば、オブジェクト1914a及び/又は1916aが閾値1910の外側にあった場合、コンピュータシステム101は、オブジェクト1914a及び/又は1916aをそれぞれ第2の視覚的顕著性レベルで表示する。いくつかの実施形態では、コンピュータシステム101は、それぞれの仮想オブジェクトと視点1926aとの間の角度関係に基づいて、視覚的顕著性を変更する。例えば、上面図に示すようなオブジェクト1916bに関連付けられたゾーン1928は、オブジェクト1916aが任意選択的に第1の視覚的顕著性レベルで表示される環境1902の領域を示す。視点1926aは、図19Cのオブジェクト1916bに対してゾーン1928によって示される角度内にあるので、コンピュータシステム101は、任意選択的に、第1の視覚的顕著性レベルでオブジェクト1916aを表示する。
図19Cから図19Dまで、コンピュータシステム101は、オブジェクト1914a及び/又は1916aを移動させ、オブジェクト1918aの表示を開始するための1つ以上の入力を検出する。図19Dでは、オブジェクト1914aは、視点1926aの閾値1910の外側にあり、したがって、コンピュータシステム101は、第1の視覚的顕著性レベルよりも低い第2の視覚的顕著性レベルでオブジェクト1914aを表示する。いくつかの実施形態では、コンピュータシステム101は、視点1926aが上面図に示すオブジェクト1916bに関連付けられたゾーン1928内にあり、オブジェクト1916bが視点1926aの閾値1910内にあるので、オブジェクト1916aを第1の視覚的顕著性レベルで表示する。同様に、コンピュータシステム101は、視点1926aがオブジェクト1918aに関連付けられたゾーン1930内にあり、オブジェクト1918aの閾値1910内にあるので、オブジェクト1918aを第1の視覚的顕著性レベルで表示する。
図19Dから図19Eまで、コンピュータシステム101は、オブジェクト1914a及びオブジェクト1918aが視点1926aの閾値距離内にあり、視点1926aがオブジェクト1916aに関連付けられたゾーン1930の外側にあるように、視点1926aのシフトを検出する。したがって、コンピュータシステム101は、任意選択的に、視点1926aがオブジェクト1916aに対する許容可能な視野角の範囲外にあるため、第1の視覚的顕著性レベルよりも低い第2の視覚的顕著性レベルでオブジェクト1916aを表示する。図19Eでは、コンピュータシステム101は、環境1902に対するそれぞれのポジションでオブジェクト1914a及び1918aの表示を維持する。いくつかの実施形態では、それぞれのポジションが両方とも視点1926aの閾値距離内にあり、視点1926aがオブジェクト1914a及び1918aのゾーン1930及び1932内にあるので、コンピュータシステム101は、第1の視覚的顕著性レベルに対応するようにオブジェクト1914aの視覚的顕著性を変更し、第1の視覚的顕著性レベルで1918aの表示を維持する。
図20A~図20Fは、いくつかの実施形態による、仮想コンテンツによるそれぞれの仮想オブジェクトの明白な不明瞭化を変更するために、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法2000を示すフローチャートである。いくつかの実施形態では、方法2000は、表示生成構成要素(例えば、図1、図3、かつ図4の表示生成構成要素120)(例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、又はプロジェクタ)と、1つ以上のカメラ(例えば、ユーザの手の下方を指すカメラ(例えば、カラーセンサ、赤外線センサ、かつ他の深度感知カメラ)又はユーザの頭部から前方を指すカメラ)とを含むコンピュータシステム(例えば、タブレット、スマートフォン、ウェアラブルコンピュータ、又はヘッドマウントデバイスなどの図1のコンピュータシステム101)で実行される。いくつかの実施形態では、方法2000は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1Aのコントローラ110)など、コンピュータシステムの1つ以上のプロセッサによって実行される命令によって実行される。方法1200の一部の動作は、任意選択的に組み合わされ、及び/又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法2000は、図19Aに示す表示生成構成要素120などの表示生成構成要素、及び図19Aに示すトラックパッド1905などの1つ以上の入力デバイスと通信する、図19Aのコンピュータシステム101などのコンピュータシステムにおいて実行される。いくつかの実施形態では、コンピュータシステムは、方法800、1000、1200、1400、1600、及び/又は1800のコンピュータシステムの1つ以上の特性を有する。いくつかの実施形態では、表示生成構成要素は、方法800、1000、1200、1400、1600、及び/又は1800の表示生成構成要素の1つ以上の特性を有する。いくつかの実施形態では、1つ以上の入力デバイスは、方法800、1000、1200、1400、1600、及び/又は1800の1つ以上の入力デバイスの特性のうちの1つ以上を有する。
いくつかの実施形態では、表示生成構成要素を介して、図19Aに示すオブジェクト1914aなどの第1の仮想オブジェクトを、図19Aに示すオブジェクト1914aのポジションなどの三次元環境内の第1のポジションに表示し、図19Aに示すオブジェクト1916aなどの第2の仮想オブジェクトをであって、三次元環境は、図19Aに示すコンピュータシステム視点1926aなどのコンピュータシステムのユーザの第1の視点から可視であり、第1の仮想オブジェクトの少なくとも一部は、図19Aに示す重複領域1912などの電子デバイスのユーザの第1の視点からの第2の仮想オブジェクトの個別の部分を少なくとも部分的に覆い隠す(例えば、第1の仮想オブジェクトの部分は、10%、20%、50%又は100%など0%を超える不透明度を有する)、第2の仮想オブジェクトを、三次元環境内の第2のポジションに表示する間(例えば、第1及び/又は第2の仮想オブジェクトは、任意選択的に、方法800、1000、1200、1400、1600及び/又は1800の仮想オブジェクトの特性の1つ以上を有する)、コンピュータシステムは、(例えば、三次元環境におけるユーザの視点、第1の仮想オブジェクト及び第2の仮想オブジェクトのポジション及び/又は向き及び/又は相対空間配置の変化を検出することなく)図19Aに示す注意1904-1などのコンピュータシステムのユーザの注意の変化を検出する(2002a)。いくつかの実施形態では、ユーザの注意は、第1の仮想オブジェクトに向けられる。いくつかの実施形態では、三次元環境は、方法800、1000、1200、1400、1600及び/又は1800の三次元環境の特性のうちの1つ以上を有する。例えば、第1の仮想オブジェクト及び第2の仮想オブジェクトは、任意選択的に、第1の仮想オブジェクトが三次元環境において第2の仮想オブジェクトとユーザとの間に配置され、第1の仮想オブジェクトの一部がユーザの現在の視点からの第2の仮想オブジェクトの一部を覆い隠すように、三次元環境(方法1800に関して説明したXR、AR、又はVR)に配置された個別のコンテンツ(例えば、方法1800に関して説明した第1のユーザインタフェースオブジェクト及び/又は第2のユーザインタフェースオブジェクトに関して説明したような)を含むそれぞれのアプリケーションのユーザインタフェースである。したがって、ユーザの視点から、第1の仮想オブジェクトの部分は、それぞれの仮想オブジェクトの不透明度レベルに任意選択的に依存して、第2の仮想オブジェクトの部分の閲覧を任意選択的に視覚的にブロックする。いくつかの実施形態では、第2の仮想オブジェクトの部分を視覚的にブロックする第1の仮想オブジェクトの部分は、第1の領域が第2の仮想オブジェクトの部分を視覚的に遮断し、第2の領域が第2の仮想オブジェクトの部分を視覚的に遮断しないように、第1の領域及び第2の領域を含む。例えば、第1の仮想オブジェクトの部分は、任意選択的に、フェザリング視覚効果で表示され、第1の視覚オブジェクトの部分のエッジは、任意選択的に、第1の仮想オブジェクトの中心に比較的近い第1の仮想オブジェクトの部分の領域よりも半透明度が高い/低い。視覚的なブロックは、第2の仮想オブジェクトに対応する第2の物理的オブジェクトを視覚的にブロックするであろう、第1の仮想オブジェクトに対応する第1の物理的オブジェクトの外観を模倣するためにコンピュータシステムによって表示されるシミュレートされた効果であることが理解される。模倣されたブロックは、例えば、ユーザの視点に対して、第1の仮想オブジェクトが第2の仮想オブジェクトの個別の部分の前にあるように見えるように、ある程度の半透明性で第2の仮想オブジェクトの個別の部分を表示することを任意選択的に含む。いくつかの実施形態では、ユーザの注意が第2の仮想オブジェクトにシフトしたことを検出したことに応じて、コンピュータシステムは、以下に説明されるように、環境内のそれぞれの仮想オブジェクトの相対的空間配置を維持しながら、第2の仮想オブジェクト内の覆い隠されたコンテンツを提示する(例えば、その妨害を低減又は排除する)処理を任意選択的に開始する。
いくつかの実施形態では、コンピュータシステムのユーザの注意の変化を検出したことに応じて、図19Aに示すように、第1の仮想オブジェクトが三次元環境の第1のポジションに留まり、第2の仮想オブジェクトが三次元環境の第2のポジションに留まる間(2002b)(例えば、ユーザの視点、第1の仮想オブジェクト及び第2の仮想オブジェクトは、三次元環境におけるそれらのポジション/向き、及び/又はそれらの相対的な空間配置を維持する)、図19Aに示す仮想オブジェクト1916aのように、ユーザの注意が第2の仮想オブジェクトに向けられているという判定に従って(2002c)(例えば、コンピュータシステムは、任意選択的に、少なくとも閾値時間量(例えば、0.1、0.5、1、3、5、7、10、又は15秒)の間、ユーザの注意が第2の仮想オブジェクトに向けられていると判定する)、コンピュータシステムは、第2の仮想オブジェクトの個別の部分が、図19Bに示すように、オブジェクト1916bの部分など、ユーザの第1の視点から(例えば、第1の仮想オブジェクトの個別の部分によって占有された、及び/又は占有された三次元環境の部分を介して)より可視であるように、図19Bに示す効果領域1906内の視覚的顕著性の減少(例えば、方法1800を参照して説明されるように、三次元環境の1つ以上の他の部分及び/又は三次元環境内の他のオブジェクトの視覚的顕著性を維持しながら)など、第1の仮想オブジェクトの個別の部分の視覚的顕著性を減少させる(2002d)(例えば、方法1800を参照して説明されるように、不透明度を減少させる、サイズを減少させる、表示を停止する、及び/又は視覚的顕著性を減少させる方法のうちの1つ以上)。いくつかの実施形態では、第1の仮想オブジェクト及び第2の仮想オブジェクトは、ユーザの注意の変化が検出されたときに必ずしも静的ではない。例えば、それぞれの仮想オブジェクトの個別の(相対的な)ポジションは、任意選択的に一般的に維持されるが、任意選択的にアニメーション化(例えば、微妙な拡大、縮小、及び/又は環境内での上方又は下方へのスライド)を受けて、ユーザの第1の視点からの第1の仮想オブジェクトによる第2の仮想オブジェクトの少なくとも部分的な妨害を維持しながら、注意のシフトを強調する。いくつかの実施形態では、ユーザの注意が第2の仮想オブジェクトに向けられていることを検出したことに応じて、コンピュータシステムは、そうでなければ第2の仮想オブジェクトの少なくとも一部をより高い半透明度(例えば、100%、80%、50%、又は30%の不透明度から90%、60%、20%、10%、又は0%の不透明度に減少するなどのより低い不透明度)で覆い隠すであろう第1の仮想オブジェクトのそれぞれの1つ以上の部分を任意選択的に表示するか、又はそれぞれの1つ以上の部分の表示を任意選択的に停止する。このようにして、第1の仮想オブジェクトのそれぞれの1つ以上の部分は、任意選択的に、仮想オブジェクトの空間配置が維持されている間に、第2の仮想オブジェクトの全体(又は少なくとも、ユーザの注意が第2の仮想オブジェクトに向けられる前よりも大きい第2の仮想オブジェクトの部分)がユーザの視点から可視であるように、視覚的パススルーとして機能する。ユーザの注意に基づいて第2の仮想オブジェクトの個別の部分を覆い隠す第1の仮想オブジェクトの個別の部分の視覚的顕著性を減少させることは、第2の仮想オブジェクトの個別の部分をユーザの視点から可視であるようにするための別個の入力の必要性を減少させる。
いくつかの実施形態では、図19Bに示す注意1904-2など、コンピュータシステムのユーザの注意(例えば、視線)の変化を検出したことに応じて、図19Bに示すオブジェクト1914a及び1916aなど、第1の仮想オブジェクトが三次元環境内の第1のポジションにあり、第2の仮想オブジェクトが三次元環境内の第2のポジションにある間(例えば、ステップ2002(単数又は複数)に関して説明したように)、図19Bに示す注意1904-2など、ユーザの注意が第1の仮想オブジェクトに向けられている(例えば、ユーザの注意が、第1の仮想オブジェクトから三次元環境の別のオブジェクト又は部分に移動するのではなく、第1の仮想オブジェクト内で移動した)という判定に従って(2004a)、コンピュータシステムは、第1の仮想オブジェクトの個別の部分の視覚的顕著性を維持し、第1の仮想オブジェクトの少なくとも一部は、図19Bに示すように効果領域1906内で視覚的顕著性を維持するなど、第2の仮想オブジェクトの個別の部分を少なくとも部分的に覆い隠す(2004b)。いくつかの実施形態では、コンピュータシステムは、ユーザの注意が第1の仮想オブジェクト(例えば、第1の仮想オブジェクトの個別の部分、又は第1の仮想オブジェクトの第2の、任意選択的に異なる個別の部分)に向けられていることを検出し、第1の仮想オブジェクトの第1の個別の部分及び/又は第2の仮想オブジェクトの第2の個別の部分の視覚的顕著性の変更を見合わせる。ユーザの注意が第1の仮想オブジェクトに向けられている間、第1の仮想オブジェクトの個別の部分の視覚的顕著性を維持することは、それらの入力が提供されるとき、第1の仮想オブジェクトがユーザからの入力を受信するという継続的なフィードバックを提供し、誤った入力がコンピュータシステムに提供される可能性を減少させる。
いくつかの実施形態では、図19Bに示すようなオブジェクト1914aに対応する重複領域1912など、第2の仮想オブジェクトの個別の部分がユーザの第1の視点からより可視であるように、第1の仮想オブジェクトの個別の部分の視覚的顕著性が低減されるが、図19Aに示すような効果領域1906内などの第1の仮想オブジェクトの個別の部分の第1の領域は、少なくとも部分的に可視であるままであり、ユーザの第1の視点からの第2の仮想オブジェクトの少なくとも一部と重複している(2006)。例えば、第1の仮想オブジェクトの領域内に含まれ、第2の仮想オブジェクトの一部と重複する、第1の仮想オブジェクトのエッジの視覚的顕著性は、任意選択的に、第1の仮想オブジェクトの個別の部分の本体(又は残部)と比較して、比較的低い透明度で表示される。いくつかの実施形態では、本明細書で第2の仮想オブジェクトの「第2の重複部分」と称される、第2の仮想オブジェクトの個別の部分と視覚的に衝突する、本明細書で第1の仮想オブジェクトの「第1の重複部分」と称される、第1の仮想オブジェクトの個別の部分は、任意選択的に、コンピュータシステムのユーザの視点から可視であるままである、第1の仮想オブジェクトの第1の領域(例えば、1つ以上のエッジ)を含むが、第1の仮想オブジェクトの重複部分の第2の異なる領域は、任意選択的に、第1の仮想オブジェクトの1つ以上のエッジと比較して低減された視覚的顕著性で表示される。いくつかの実施形態では、第1の仮想オブジェクトの第1の重複部分内に含まれる第1の領域の視覚的顕著性は、第1の低減された視覚的顕著性レベルで表示され、第1の仮想オブジェクトの第1の重複部分内に含まれる第2の領域(例えば、エッジではない)の視覚的顕著性は、任意選択的に、第1の低減された視覚的顕著性レベルよりも低減された(例えば、より透明である)第2の低減された視覚的顕著性レベルで表示される。いくつかの実施形態では、第1の仮想オブジェクトの第1の重複部分内の第2の領域は、完全に透明であり、及び/又はユーザの第1の視点から不可視である。いくつかの実施形態では、第1の仮想オブジェクトの第1の重複部分内に含まれない第1の仮想オブジェクトの第1の個別(それぞれ)の領域の視覚的顕著性は、ユーザの注意が第2の仮想オブジェクトにシフトしたことに応じて維持される。第1の仮想オブジェクトの部分の第1の領域の可視性を維持することは、第1の仮想オブジェクトと第2の仮想オブジェクトとの間の視覚的重複の量を示し、したがって、そのような重複を減少させるために必要とされる再配向及び/又は仮想オブジェクト移動の量のユーザ理解を向上させ、それによって、ユーザの視点を再配向するとき、及び/又は仮想オブジェクトを移動させるとき、相互作用効率を向上させる。
いくつかの実施形態では、第1の仮想オブジェクトの第1の領域は、図19Aに示すようなオブジェクト1914aのエッジなどの第1の仮想オブジェクトの第1のエッジを含む(2008)。例えば、コンピュータシステムは、ユーザの注意が第2の仮想オブジェクトに向けられている間、第1の仮想オブジェクトの第1の重複部分(例えば、ステップ(単数又は複数)2006に関して説明される)の1つ以上のエッジの1つ以上の部分を、比較的増加された(例えば、第3のレベルの)視覚的顕著性で任意選択的に表示し、第1の重複部分の第2の領域は、減少された(例えば、第4のレベルの)視覚的顕著性で任意選択的に表示される。いくつかの実施形態では、1つ以上の部分は、第1の領域の第1の個別のエッジの第1の1つ以上の部分を含む。いくつかの実施形態では、1つ以上の部分は、第2の個別のオブジェクトの可視部分から1つ以上の部分を視覚的に区別するために、三次元環境内の1つ以上の任意選択的に可視である光源に基づいて、輝度、ハロー効果、グロー効果、彩度、半透明性、及び/又は鏡面ハイライト効果などの視覚効果を伴って表示される。例えば、1つ以上の部分は、任意選択的に、ユーザの視点及び第1の仮想オブジェクトの上方に、任意選択的に第1の仮想オブジェクトの個別のポジションとユーザの視点との間の深さに配置された光源の効果をシミュレートする視覚的外観で表示される。少なくとも部分的に可視である第1の仮想オブジェクトの領域内にエッジを含むことは、重複エリアの境界を示し、したがって、視覚的クラッタを減少させる。
いくつかの実施形態では、図19Bに示すようなオブジェクト1914aの視覚的顕著性などの第1の仮想オブジェクトの個別の部分の視覚的顕著性は、図19Bに示すようなオブジェクト1916aの個別の部分などの第2の仮想オブジェクトの個別の部分がユーザの第1の視点からより可視であるように低減されるが、第1の仮想オブジェクトの個別の部分の第1の領域は、図19Bに示すような効果領域1906内の部分的な半透明性などの部分的な半透明性で表示される(2010)。例えば、第1の仮想オブジェクトの個別の部分の第1の領域は、第1の領域が第1の仮想オブジェクトの個別の部分の第1の領域と視覚領域を共有する第2の仮想オブジェクトの可視の個別の部分から逸れないように、任意選択的に半透明(例えば、5%、10%、15%、20%、25%、30%、又は40%半透明)である。いくつかの実施形態では、半透明性は、ステップ(単数又は複数)2012を参照してより詳細に説明するように、領域内で不均一である(例えば、勾配を含む)。部分的な半透明性を伴って第1の領域を表示することは、第2の仮想オブジェクトの個別の部分内に含まれる個別のコンテンツの可視性を向上させ、したがって、ユーザが領域に向かって又は領域から離れて入力を誤って方向付ける可能性を低減し、第2の仮想オブジェクトの個別の部分のコンテンツが正確に表示される及び/又は可視であることを確実にする。
いくつかの実施形態では、図19Bに示すようなオブジェクト1916aの効果領域1906の視覚的顕著性など、第2の仮想オブジェクトの個別の部分がユーザの第1の視点からより可視であるように、第1の仮想オブジェクトの個別の部分の視覚的顕著性が低減される一方で、第1の仮想オブジェクトの個別の部分の第1の領域は、図19Aに示すようなサブ領域1908b内の半透明効果など、第1の仮想オブジェクトの寸法に対して個別の方向に大きさが変化する半透明効果を伴って表示される(2012)。例えば、コンピュータシステムは、任意選択的に、半透明性の勾配及び/又は徐々に増加する半透明度を伴って第1の仮想オブジェクトの重複部分を表示する。いくつかの実施形態では、半透明性は、第2の仮想オブジェクトの1つ以上の部分に最も近い(例えば、衝突する)1つ以上のエッジに向かって相対的に大きい。例えば、第1の仮想オブジェクトの第1の重複部分のエッジ(ステップ(単数又は複数)2006に関して説明される)は、任意選択的に、第1の透明度で表示され、エッジ以外の(例えば、第1の仮想オブジェクトの中心に向かう)第1の仮想オブジェクトの第1の重複部分の領域は、任意選択的に、第2の比較的低い半透明度で表示される。いくつかの実施形態では、半透明性は、第1の仮想オブジェクトの第1の重複部分の縁エッジに向かって比較的低くなる。例えば、第1の仮想オブジェクトの第1の重複部分のエッジは、任意選択的に、第3の透明度で表示され、第1の仮想オブジェクトのエッジから離れた(例えば、中心に向かう)第1の重複部分の領域は、第4の相対的に高い半透明度で表示される。例えば、長方形又は半長方形の第1の仮想オブジェクトの角領域は、任意選択的に、第2の長方形又は半長方形の第2の仮想オブジェクトの角領域と重複し、コンピュータシステムは、任意選択的に、角領域のエッジから更に離れた角領域のエリアよりも相対的に高い半透明度で、角領域を境界付けるエッジに垂直及び/又は横方向に近接した角領域のエリアを表示する。いくつかの実施形態では、コンピュータシステムは、第2の仮想オブジェクトにより近いエリアを、第2の仮想オブジェクトから更に離れたエリアよりも高い不透明度で表示する。いくつかの実施形態では、半透明性の勾配は、ユーザの視点に対して、第1の仮想オブジェクトの中心に向かって、及び/又はエッジから離れて、高さ、幅などの第1の仮想オブジェクトの寸法に沿って大きさが増加又は減少する。徐々に増加する半透明度を表示することは、重複の方向を示し、したがって、それぞれの仮想オブジェクト間の重複の向きを示し、それによって、ユーザ焦点をそれぞれの仮想オブジェクトのそれぞれの部分(例えば、中心)に誘導し、それによって、重複配置の理解を得るためのユーザの認知負担を低減し、重複配置を低減又は解決するための適切な入力を促進する。
いくつかの実施形態では、第1の仮想オブジェクトの個別の部分の第1の領域は、図19Aに示すようなオブジェクト1914aに対する表示生成構成要素120の視野などの、第1の仮想オブジェクトに対応する表示生成構成要素の視野の第1の部分に対応する(2014)。いくつかの実施形態では、本明細書では「ブレークスルー領域」と呼ばれる第1の領域は、ステップ(単数又は複数)2006に関して説明したように、第1の仮想オブジェクトの個別の部分が低減された顕著性で表示されている間、少なくとも部分的に可視である。いくつかの実施形態では、ブレークスルー領域の少なくとも相対サイズ又は実際のサイズは、コンピュータシステムの表示生成構成要素の視野に基づく。例えば、ブレークスルー領域は、任意選択的に、表示生成構成要素の光学視野の0.01、0.05、0.1、0.5、1、5、10、15、又は30度を消費し、及び/又はそれに対応する。いくつかの実施形態では、ブレークスルー領域は、表示生成構成要素の光学視野に基づき、第2の仮想オブジェクトに視覚的に重複する第1の仮想オブジェクトの個別の部分(例えば、エッジ)から測定され、任意選択的に第1の仮想オブジェクトの第2の個別の部分(例えば、中心)に向かって延びるエリアを消費する/エリアに対応する。いくつかの実施形態では、ブレークスルー領域の相対サイズ及び/又は実際のサイズは、表示生成構成要素の光学視野の割合に基づく。例えば、ブレークスルー領域は、任意選択的に、表示生成構成要素の光学視野の0.01%、0.05%、0.1%、0.5%、1%、5%、10%、15%、又は30%を消費し、及び/又はそれに対応する。したがって、いくつかの実施形態では、ブレークスルー領域は、ユーザが第1の仮想オブジェクトにより近い場合、ユーザ視点からより小さく(例えば、ブレークスルー領域は、ユーザの視野のより多くの量を消費する)、ブレークスルー領域は、ユーザが第1の仮想オブジェクトから更に離れている場合、ユーザ視点からより大きい(例えば、ブレークスルー領域は、ユーザの視野のより少ない量を消費する)。表示生成構成要素の視野の一部に基づいて第1の仮想オブジェクトのそれぞれの部分の第1の領域を表示することは、それぞれのオブジェクトの視覚的に矛盾する部分に視覚的一貫性を与え、したがって、それぞれの仮想オブジェクトの個別の部分にユーザの注意を誘導し、相互作用の効率を改善する。
いくつかの実施形態では、表示生成構成要素を介して、図19Aに示すようなオブジェクト1914aの第1のポジション及びオブジェクト1916aの第2のポジションなどの三次元環境内の第1のポジションにおける第1の仮想オブジェクト及び三次元環境内の第2のポジションにおける第2の仮想オブジェクト、並びに図19Aに示すような重複領域1912などのユーザの第1の視点からの第2の仮想オブジェクトの個別の部分を少なくとも部分的に覆い隠す第1の仮想オブジェクトの少なくとも一部を表示する間、コンピュータシステムは、図19Aにおける視点19126aのシフトなどの、第1の仮想オブジェクト及び第2の仮想オブジェクトに対するユーザの視点の変化を検出する(2016a)。例えば、コンピュータシステムは、任意選択的に、三次元環境内の新しいポジションへのユーザの視点の移動(例えば、物理的環境内でのユーザの移動による)、及び/又はコンピュータシステムのユーザの視点の再配向(例えば、ユーザの頭部の移動による)を検出する。いくつかの実施形態では、ユーザの視点の変化は、ユーザの1つ以上の手によって提供される入力から生じる(例えば、ユーザの1つ以上の手が、親指及び人差し指の先端が近づいて触れあい、その後、人差し指及び親指が触れあったままで1つ以上の手の移動が続くエアピンチジェスチャを行い、視点の変化の方向及び/又は大きさは、任意選択的に、1つ以上の手の移動の方向及び/又は大きさに対応する)。
いくつかの実施形態では、ユーザの視点の変化の検出に応じて(2016b)、コンピュータシステムは、表示生成構成要素を介して、図19Aに示すようにオブジェクト1914aの部分にそれぞれ適用される個別の視差効果など、ユーザの視点に対して第2の仮想オブジェクトの個別の部分の前にある第1の仮想オブジェクトの少なくとも一部に対応する第1の視差効果を伴って、第1の仮想オブジェクトの少なくとも一部を表示する(2016c)。いくつかの実施形態では、コンピュータシステムは、それぞれの視差効果を仮想オブジェクトのそれぞれの部分に適用する。例えば、ユーザが第1の仮想オブジェクトと第2の仮想オブジェクトとの間の中心点から半径方向に歩く間、コンピュータシステムは、任意選択的に、第1の視差量を伴って第1の仮想オブジェクトのブレークスルー領域を表示する。いくつかの実施形態では、ユーザの視点が変更される間に個別の仮想オブジェクトに適用される視差のレベルは、ユーザと個別の仮想オブジェクトとの間の相対距離に基づく。例えば、ユーザの視点の検出された変化に応じて、コンピュータシステムは、任意選択的に、第2の仮想オブジェクトの個別の部分と比較して相対的に少ない量で第1の仮想オブジェクトの個別の部分を視覚的に動かして、任意選択的に、第1及び第2の仮想オブジェクトと同様の配置で対応する現実世界オブジェクトの視覚的外観を模倣する。
いくつかの実施形態では、コンピュータシステムは、表示生成構成要素を介して、図19Aに示すオブジェクト1916aなどの第2の仮想オブジェクトの個別の部分を、図19Aに示すオブジェクト1916aの部分に適用される視差効果などの、ユーザの視点に対して第1の仮想オブジェクトの少なくとも一部の背後にある第2の仮想オブジェクトの個別の部分に対応する第2の視差効果を伴って表示する(2016d)。いくつかの実施形態では、コンピュータシステムは、第2の視差効果に対応する第2の、任意選択的により小さい又は任意選択的により大きいレベルの視差を第2の仮想オブジェクトの個別の部分に適用する。例えば、コンピュータシステムは、任意選択的に、第2の仮想オブジェクトの個別の部分が、任意選択的に、第1の仮想オブジェクトの個別の部分と比較して、ユーザに対して相対的により遠く離れていると判定する。したがって、任意選択的に、ユーザの視点の変化を検出したことに応じて、コンピュータシステムは、任意選択的に、比較的少ない量の視差を伴って第2の仮想オブジェクトの個別の部分を表示する。仮想オブジェクトの部分とユーザの視点との間の相対深度に基づいてそれぞれの視差効果を表示することは、仮想オブジェクトの空間配置の直観及び知覚を改善し、したがって、ユーザ視点を変更する間及び変更した後に仮想オブジェクトに視覚的に集中するユーザの能力を改善する。
いくつかの実施形態では、図19Bに示すオブジェクト1914a及び1916aなどの第1の仮想オブジェクトが三次元環境内の第1のポジションに留まっており、第2の仮想オブジェクトは三次元環境内の第2のポジションに留まっており、図19Bに示す注意1904-2などのユーザの注意は第2の仮想オブジェクトに向けられ、第1の仮想オブジェクトの個別の部分は、図19Aに示すオブジェクト1914aなどの低減された視覚的顕著性で表示されている間、コンピュータシステムは、図19Bに示す注意1904-1などの第2の仮想オブジェクトから離れるユーザの注意の第2の変化を検出する(2018a)。いくつかの実施形態では、ユーザの注意の第2の変化の検出は、ステップ(単数又は複数)2002に関して説明されるユーザの注意の変化を検出する1つ以上の特性を有する。
いくつかの実施形態では、ユーザの注意の第2の変化を検出したことに応じて、第1の仮想オブジェクトが三次元環境内の第1のポジションに留まり、第2の仮想オブジェクトが三次元環境内の第2のポジションに留まる間に、ユーザの注意が第1の仮想オブジェクトに向けられているという判定に従って、コンピュータシステムは、図19Aに示すオブジェクト1914aの視覚的顕著性など、第1の仮想オブジェクトの個別の部分がユーザの第1の視点からより可視になるように、第1の仮想オブジェクトの個別の部分の視覚的顕著性を増加させる(2018b)。例えば、ユーザの注意は以前に第1の仮想オブジェクトからシフトして離れており、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトに戻るユーザの注意の第2のシフトを検出する。いくつかの実施形態では、ユーザの視点及び/又はそれぞれの仮想オブジェクトの空間配置は、注意のシフトの最初の検出と注意のシフトの第2の検出との間で変更されない。いくつかの実施形態では、注意の第2のシフトを検出したことに応じて、第1の仮想オブジェクトの個別の部分の視覚的顕著性は、ステップ(単数又は複数)2002に関して説明される第2の仮想オブジェクトの個別の部分の増加と同様に、及び/又はステップ(単数又は複数)2002に関して説明される第1の仮想オブジェクトの個別の部分の視覚的顕著性の低減とは反対に、増加される。いくつかの実施形態では、第1の仮想オブジェクトの視覚的顕著性の増加は、第2の仮想オブジェクトの顕著性の増加と異なる(例えば、相対的により小さい又はより大きい)。いくつかの実施形態では、視覚的顕著性の増加は、第2の仮想オブジェクトの個別の部分の第2の視覚的顕著性に対するものである。いくつかの実施形態では、第2の仮想オブジェクトの個別の部分の視覚的顕著性は、ステップ(単数又は複数)2002を参照して説明される第1の仮想オブジェクトの視覚的顕著性の低減を参照して説明されるように、及び/又はステップ(単数又は複数)2002を参照して説明される第2の仮想オブジェクトの視覚的顕著性の増加とは反対に、注意の第2のシフトに応じて低減される。第1の仮想オブジェクトの個別の部分の視覚的顕著性の増加は、ユーザ焦点が第1の仮想オブジェクトにシフトして戻ったことを示し、個別の部分内に含まれるコンテンツのユーザのより良好な可視性を可能にし、したがって、ユーザ入力をユーザの注意の対象に誘導する。
いくつかの実施形態では、表示生成構成要素を介して、三次元環境内の1つ以上のそれぞれの仮想オブジェクト(例えば、第1の仮想オブジェクト、第2の仮想オブジェクト、及び/又は1つ以上の他の仮想オブジェクト)を表示している間、かつ三次元環境が図19Aに示すオブジェクト1914a及び1916aなどのコンピュータシステムのユーザの第1の視点から可視である間、ユーザの注意が第1の個別の仮想オブジェクトであって、第1の個別の仮想オブジェクトが図19Aに示すオブジェクト1916aなどの第1の個別のコンテンツを含む、第1の個別の仮想オブジェクトに向けられていないという判定に従って、コンピュータシステムは、図19Aに示すオブジェクト1916aに含まれるコンテンツなどの第1の個別の仮想オブジェクトに含まれる第1の個別のコンテンツの視覚的顕著性を減少させる(2020)。いくつかの実施形態では、コンピュータシステムは、ユーザの注意が1つ以上のそれぞれの仮想オブジェクトに向けられていないと判定したことに応じて、1つ以上のそれぞれの仮想オブジェクト及び/又は1つ以上のそれぞれの仮想オブジェクト内に含まれるコンテンツを視覚的に強調解除する。例えば、XR環境が表示生成構成要素を介して任意選択的に可視である間、コンピュータシステムは、任意選択的に、環境内の空きスペース、環境内の非相互作用可能オブジェクト、及び/又は環境内の第1のアプリケーションのユーザインタフェースを含む第1のウィンドウなどの環境内の領域に向けられたユーザの注意を検出する。ユーザの注意が領域に向けられている(例えば、第1のウィンドウではない1つ以上のそれぞれのウィンドウには向けられていない)ことを検出したことに応じて、コンピュータシステムは、任意選択的に、1つ以上のそれぞれのウィンドウ及び/又はそれぞれのウィンドウのコンテンツを低減された視覚的顕著性で表示する。例えば、三次元環境内の(例えば、前述の第1のウィンドウから離れた)領域への(例えば、それぞれの1つ以上の仮想オブジェクトの第2のウィンドウへの)ユーザの注意のシフトを検出したことに応じて、コンピュータシステムは、同様に低減された視覚的顕著性でそれぞれの1つ以上のオブジェクト内に含まれる個別のコンテンツ(例えば、第1のウィンドウ内の個別のコンテンツ)を任意選択的に表示する。同様に、ステップ(単数又は複数)2002に関連して説明されるように、いくつかの実施形態では、第2の仮想オブジェクト内のコンテンツは、ユーザの注意が第1の仮想オブジェクトに向けられている間、低減された視覚的顕著性で表示される。いくつかの実施形態では、低減された視覚的顕著性は、ステップ(単数又は複数)2002において第1の仮想オブジェクトに関して説明される視覚的顕著性の低減の1つ以上の特性を有する。低減された視覚的顕著性でユーザの注意の対象ではないそれぞれの仮想オブジェクト及び/又はコンテンツを表示することは、ユーザの注意のターゲットに入力を向けるようにユーザを視覚的に誘導し、それによって、ユーザの注意の対象ではない仮想オブジェクト及び/又はコンテンツに誤って向けられる入力を減少させる。
いくつかの実施形態では、第1の仮想オブジェクトは、第1のコンテンツ(例えば、ステップ(単数又は複数)2010及び2020に関して説明される個別のコンテンツに対応する)を含む(2022a)。いくつかの実施形態では、表示生成構成要素を介して、視点1926aからの図19Cに示すようなオブジェクト1914aなどの、ユーザの個別の視点からの第1の仮想オブジェクトを表示している間(2022b)(例えば、ユーザの個別の視点は、ユーザの現在の視点であり、ステップ(単数又は複数)2002に関して説明される第1の仮想オブジェクト及び第2の仮想オブジェクトは、任意選択的に可視である)、ユーザの個別の視点が、第1の仮想オブジェクトに対する相対ポジションの範囲内にあるという判定に従って、コンピュータシステムは、表示生成構成要素を介して、図19Aに示すようなオブジェクト1914aに含まれるコンテンツなどの、三次元環境に対する第1の視覚的顕著性レベルで第1の仮想オブジェクトに含まれる第1のコンテンツを表示する(2022c)。いくつかの実施形態では、ユーザ視点が第1の仮想オブジェクトに対する相対ポジションの範囲内にあるという判定に従って、個別(それぞれ)の仮想オブジェクト(単数又は複数)に含まれる個別のコンテンツの視覚的顕著性を表示及び/又は変更することは、方法1600に関して説明したようなそれぞれの仮想オブジェクトの視覚的顕著性の表示に関して説明したものと同様又は同じである。
いくつかの実施形態では、ユーザの個別の視点が、図19Eに示すようなゾーン1928の外側及び/又は図19Eに示すような閾値1910の外側など、第1の仮想オブジェクトに対する相対ポジションの範囲外にあるという判定に従って、コンピュータシステムは、表示生成構成要素を介して、図19Eに示すようなオブジェクト1916aなどの、第1の視覚的顕著性レベルよりも低い、三次元環境に対する第2の視覚的顕著性レベルで第1のコンテンツを表示する(2022d)。いくつかの実施形態では、ユーザ視点が第1の仮想オブジェクトに対する相対ポジションの範囲外にあるという判定に従って、個別(それぞれ)の仮想オブジェクトに含まれる個別のコンテンツの視覚的顕著性を表示及び/又は変更することは、方法1600に関して説明したようなそれぞれの仮想オブジェクトの視覚的顕著性の表示に関して説明したものと同様又は同じである。ユーザの視点に基づいて、第1の仮想オブジェクト内のコンテンツの視覚的顕著性を変更することは、ユーザが、第1の仮想オブジェクト及び/又はコンテンツと相互作用する前に、コンテンツを適切に視認することができる可能性を向上させ、それによって、ユーザが、コンテンツの十分な可視性を伴わずに、第1の仮想オブジェクト及び/又はコンテンツと望ましくなく相互作用する可能性を減少させる。
いくつかの実施形態では、表示生成構成要素を、第1の仮想オブジェクトを三次元環境内の第1のポジションに、及び第2の仮想オブジェクトを三次元環境内の第2のポジションに表示しており、第1の仮想オブジェクトの個別の部分は図19Bに示すようなオブジェクト1914a及び1916aなど、減少した視覚的顕著性(例えばステップ(単数又は複数)2002に関して説明されるように)で表示されている間、ユーザの注意が第2の仮想オブジェクトに向けられているという判定に従って、コンピュータシステムは、1つ以上の入力デバイスを介して、注意1904-2が図19Bに示すような重複領域1912内のオブジェクト1916aの部分に向けられている間に(任意選択的に第1の仮想オブジェクトの個別の部分を通して)トラックパッド1905に向けられた手1903からの入力など、第1の仮想オブジェクトの個別の部分及び第2の仮想オブジェクトの個別の部分を含む三次元環境の個別の領域に向けられた入力を検出する(2024a)。例えば、コンピュータシステムは、任意選択的に、ユーザの注意(例えば、視線)が第2の仮想オブジェクトの個別の部分に向けられていることを検出し、任意選択的に、第2の仮想オブジェクトの個別の部分に向けられた同時入力を検出する。入力は、任意選択的に、仮想ボタンの選択、テキスト入力の開始、並びに/又はポジション及び/若しくはスケールにおける第2の仮想オブジェクトの操作など、第2の仮想オブジェクト及び/又は第2の仮想オブジェクト内のコンテンツとの任意の方式の相互作用を含む。いくつかの実施形態では、三次元環境の個別の領域は、ユーザの現在の視点に対する長方形、楕円形、又は円形の領域を含む。いくつかの実施形態では、個別の領域は、深さを更に含む(例えば、個別の領域は、直方体と同様に成形される)。いくつかの実施形態では、個別の領域のプロファイルは、第1の仮想オブジェクト及び/又は第2の仮想オブジェクトのそれぞれの部分の1つ以上の寸法に基づく。例えば、個別の領域は、個別の領域に向けられた入力が任意選択的に受信されたときに、ユーザの現在の視点に対して、第1の仮想オブジェクトの個別の部分及び第2の仮想オブジェクトの個別の部分の横方向及び/又は垂直方向の中心に任意選択的に中心化される。いくつかの実施形態では、第2の仮想オブジェクトの個別の部分に向けられた入力は、方法1800を参照して説明される入力(単数又は複数)の特性のうちの1つ以上を有する。
いくつかの実施形態では、三次元環境内の個別の領域に向けられた入力を検出したことに応じて、コンピュータシステムは、図19Bに示すようなオブジェクト1916aに関連付けられた1つ以上の動作など、入力に従って第2の仮想オブジェクトの個別の部分に関連付けられた1つ以上の動作を開始し、一方、図19Bに示すように、オブジェクト1914a及び1916aの視覚的顕著性を維持するなど、第1の仮想オブジェクトの個別の部分に関連付けられた1つ以上の動作を開始することなく、第1の仮想オブジェクトの個別の部分の低減された視覚的顕著性を維持する(2024b)。例えば、入力を検出したことに応じて、コンピュータシステムは、任意選択的に、ウェブブラウジングアプリケーションのリフレッシュ、テキスト入力の開始、第2の仮想オブジェクトのスケーリング、及び/又は第2の仮想オブジェクトの移動など、仮想ボタンに関連付けられた1つ以上の動作を実行する。したがって、いくつかの実施形態では、第1の仮想オブジェクトの個別の部分は、第2の仮想オブジェクトの個別の部分の間にあり、ユーザの視点に対して第2の仮想オブジェクトの個別の部分と視覚的に重複するが、そうでなければ第1の仮想オブジェクト(例えば、仮想ボタンなどの第1の仮想オブジェクト内のコンテンツ)と相互作用するであろう領域に向けられたユーザ入力は、代わりに、第1の仮想オブジェクトの個別の部分の相対的に低減された顕著性によって示されるように、第2の仮想オブジェクト(例えば、第2の仮想オブジェクト内のコンテンツ)と相互作用し、それによって、第1の仮想オブジェクトの重複部分を効果的に回避する。いくつかの実施形態では、第1の仮想オブジェクトが相対的に増加された(例えば、低減されていない)視覚的顕著性で表示される(例えば、ユーザの注意の対象である)間に、入力が任意選択的に同じ領域及び/又は同じポジションに向けられる場合、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトに関連付けられた1つ以上の機能を開始し(例えば、第1の仮想オブジェクトの個別の領域内の仮想ボタンを作動させ)、第2の仮想オブジェクトに関連付けられた1つ以上の機能の開始を見合わせる。いくつかの実施形態では、入力が、第2の仮想オブジェクトの個別の部分が第1の仮想オブジェクトの個別の部分よりもユーザの視点に相対的に近くなるような第2の仮想オブジェクトの移動を含む場合、コンピュータシステムは、任意選択的に、第1の仮想オブジェクト及び/又は第2の仮想オブジェクトの視覚的顕著性を変更する。例えば、第1の仮想オブジェクト及び第2の仮想オブジェクトは、任意選択的に、ステップ(単数又は複数)2002に関して説明されるように個別の視覚的顕著性で表示されるが、第2の仮想オブジェクトは、任意選択的に、ユーザ視点と第1の仮想オブジェクトとの「間」にあり、第1の仮想オブジェクトを少なくとも部分的に覆い隠す(例えば、ステップ(単数又は複数)2002を参照して説明されるように、方法のうちの1つ以上において、及び/又は第1の仮想オブジェクトの特性のうちの1つ以上を有する)。ステップ(単数又は複数)2018に関して説明されるように、いくつかの実施形態では、ユーザの注意が第1の仮想オブジェクトにシフトして戻り、第1の仮想オブジェクトの個別の部分の視覚的顕著性が増加される。いくつかの実施形態では、表示生成構成要素を介して、三次元環境内の第1のポジションに第1の仮想オブジェクト、及び三次元環境内の第2のポジションに第2の仮想オブジェクトを表示しており、第1の仮想オブジェクトの個別の部分は、増加された視覚的顕著性で表示され(例えば、低減されない)ている間、ユーザの注意が第1の仮想オブジェクトに向けられているという判定に従って、コンピュータシステムは、1つ以上の入力デバイスを介して、第1の仮想オブジェクトの個別の部分に向けられた入力を検出し、第1の仮想オブジェクトの個別の部分に向けられた入力を検出したことに応じて、第1の仮想オブジェクトの個別の部分の視覚的顕著性を維持しながら、かつ第2の仮想オブジェクトの個別の部分に関連付けられた1つ以上の動作を開始せずに、入力に従って第1の仮想オブジェクトの個別の部分に関連付けられた1つ以上の動作を開始する。第1の仮想オブジェクトの個別の部分の背後にある第2の仮想オブジェクトの個別の部分に向けられた入力に応じて動作を開始することは、そうでなければ第2の仮想オブジェクトの個別の部分と相互作用するために必要とされるであろう、仮想オブジェクトを再配置する、及び/又はユーザ視点を更新するために必要とされるユーザ入力を減少させる。
方法2000における動作が説明された特定の順序は、例示的なものにすぎず、説明された順序が、動作が実行され得る唯一の順序であることを示すものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。
いくつかの実施形態では、コンピュータシステム101は、仮想オブジェクトの1つ以上の部分の視覚的顕著性レベルを変更又は維持することに関連付けられた仮想オブジェクトに対する三次元環境2102の1つ以上の領域を決定する。視覚的顕著性レベルは、任意選択的に、コンピュータシステム101のユーザの現在の視点と仮想オブジェクトとの間の空間的及び/又は視覚的関係を示し、任意選択的に、ユーザが現在の視点に位置付けられ及び/又は方向付けられている間にユーザが仮想オブジェクトと利用可能な相互作用のレベルを更に示す。
いくつかの実施形態では、1つ以上の第1の領域は、1つ以上の第1の領域の個別の領域内のユーザの現在の視点の移動を検出したことに応じて、視覚的顕著性レベル(単数又は複数)を維持することに関連付けられる。いくつかの実施形態では、1つ以上の第2の領域は、1つ以上の第2の領域の個別の領域内の仮想オブジェクトに対するユーザの視野角(以下で更に説明される)の変化を含む、現在の視点の移動を検出したことに応じて、視覚的顕著性レベル(単数又は複数)を変化させることに関連付けられる。いくつかの実施形態では、1つ以上の第3の領域は、1つ以上の第3の領域の個別の領域内の仮想オブジェクトに対するユーザの距離の変化を含む、現在の視点の移動を検出したことに応じて、視覚的顕著性レベル(単数又は複数)を変化させることに関連付けられる。いくつかの実施形態では、1つ以上の第4の領域は、1つ以上の第2の領域の個別の領域内の仮想オブジェクトに対するユーザの視野角及び/又は距離の変化を含む、現在の視点の移動を検出したことに応じて、視覚的顕著性レベル(単数又は複数)を変化させることに関連付けられる。いくつかの実施形態では、1つ以上の第1、第2、第3、及び/又は第4の領域以外の1つ以上の第5の領域は、仮想オブジェクトを表示することと、仮想オブジェクトを比較的低減された視覚的顕著性レベルで維持することとに関連付けられる。
いくつかの実施形態では、本明細書に説明される種々の1つ以上の領域は、現在の視点と仮想オブジェクトとの間の視野角及び/又は距離における1つ以上の閾値にそれぞれ関連付けられる。いくつかの実施形態では、仮想オブジェクトとの相互作用性のレベルは、現在の視点が第1、第2、第3、第4、及び/又は第5の1つ以上の領域に対応する間にユーザ入力が検出されたという判定に基づく。
図21A~図21Lは、コンピュータシステム101のユーザの現在の視点の変化を検出したことに応じて、1つ以上の仮想オブジェクトの視覚的顕著性レベルを変更又は維持する、コンピュータシステム101の実施例を図示する。
図21Aは、コンピュータシステム101の表示生成構成要素(例えば、図1の表示生成構成要素120)を介して可視である三次元環境2102を示し、三次元環境2102は、(例えば、コンピュータシステム101が位置する物理的環境の後壁に面して)俯瞰図に示すユーザの視点2126から可視である。図1~図6を参照して上述したように、コンピュータシステム101は、任意選択的に、表示生成構成要素(例えば、タッチスクリーン)と、複数の画像センサ(例えば、図3の画像センサ314)と、を含む。画像センサは、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又はユーザがコンピュータシステム101と相互作用する間にユーザ若しくはユーザの一部(例えば、ユーザの1つ以上の手)の1つ以上の画像をキャプチャするためにコンピュータシステム101が使用することができるであろう任意の他のセンサのうちの1つ以上を含む。いくつかの実施形態では、以下に図示及び説明されるユーザインタフェースはまた、ユーザインタフェース又は三次元環境をユーザに表示する表示生成構成要素と、物理的環境及び/又はユーザの手の移動(例えば、ユーザから外向きに面する外部センサ)、かつ/又はユーザの視線(例えば、ユーザの顔に向かって内向きに面する内部センサ)を検出するためのセンサとを含む、ヘッドマウントディスプレイ上に実現され得る。
図21Aに示すように、コンピュータシステム101は、コンピュータシステム101の周囲の物理的環境内の1つ以上のオブジェクトを含む、コンピュータシステム101の周囲の物理的環境(例えば、動作環境100)の1つ以上の画像をキャプチャする。いくつかの実施形態では、コンピュータシステム101は、三次元環境2102内の物理的環境の表現を表示し、及び/又は物理的環境は、表示生成構成要素120を介して三次元環境2102内で可視である。例えば、表示生成構成要素120を介して可視である三次元環境2102は、コンピュータシステム101が配置されている部屋の物理的な床並びに後壁の表現を含む。
図21Aでは、三次元環境2102はまた、仮想オブジェクト2106a(俯瞰図内のオブジェクト2106bに対応する)、2108a(俯瞰図内のオブジェクト2108bに対応する)、2150a(俯瞰図にはまだ示されていないオブジェクト2150bに対応する)、及び2140を含む。いくつかの実施形態では、オブジェクトは互いに関連付けられる。例えば、オブジェクト2106aは、仮想コンテンツを任意選択的に含み、オブジェクト2140は、オブジェクト2106aに含まれるコンテンツと相互作用する(例えば、共有する、閉じる、コピーする、及び/又はスケーリングする)ための1つ以上の選択可能オプションを任意選択的に含む。図21Aでは、可視仮想オブジェクトは二次元オブジェクトである。本開示の例は、任意選択的に、三次元オブジェクトに等しく適用されることが理解される。可視仮想オブジェクトは、任意選択的に、アプリケーションのユーザインタフェース(例えば、メッセージングユーザインタフェース、又はコンテンツブラウジングユーザインタフェース)、三次元オブジェクト(例えば、仮想時計、仮想ボール、又は仮想車)、又はコンピュータシステム101 101の物理的環境に含まれないコンピュータシステム101によって表示される任意の他の要素のうちの1つ以上である。
オブジェクト2106aは、任意選択的に、コンテンツ2107a及びコンテンツ2109aなどの仮想コンテンツを含む仮想オブジェクトである。そのようなコンテンツは、任意選択的に、アプリケーションの1つ以上のユーザインタフェース、インターネットブラウジングアプリケーションの1つ以上の仮想ウィンドウ、及び/又はメディアの1つ以上のインスタンスである。オブジェクト2106aは、オブジェクト2140などの1つ以上の仮想オブジェクトに関連付けられる(例えば、オブジェクト2140は、任意選択的に、オブジェクト2106aに含まれるコンテンツ及び/又はオブジェクト2106aとの他の相互作用を変更及び/又は相互作用する動作を開始するために選択可能な選択可能オプションのメニューを含む)。オブジェクト2150は、任意選択的に、1つ以上のユーザ構成可能な設定を含み、任意選択的に、コンピュータシステム101のオペレーティングシステムに関連付けられる。オブジェクト2150aは、任意選択的に、追加的又は代替的に、コンピュータシステム101のオペレーティングシステム及び/又はコンピュータシステム101に含まれる及び/又はコンピュータシステム101と通信する他のソフトウェアアプリケーションに関連付けられた1つ以上の通知を含む。オブジェクト2108aは、任意選択的に、オブジェクト2108aが現在の視点2126から閾値距離(例えば、0.01、0.1、1、10、100、又は1000m)を超えているので、三次元環境2102に対して相対的に低減された視覚的顕著性レベル(例えば、低減された不透明度、輝度、彩度、ぼかし効果による不明瞭化、及び/又は別の好適な視覚的変更)で表示される、個別の仮想コンテンツを含む仮想オブジェクトである。
オブジェクト2106aは、任意選択的に、オブジェクト2106aの視覚的顕著性レベルの変更に関連付けられた三次元環境2102の1つ以上の領域に関連付けられる。例えば、視認領域2130-1は、複数のそのような領域を含み、エクステンデッドリアリティ環境の俯瞰図上にオーバーレイされた俯瞰図(例えば、視認領域2130-1の左側インスタンス)内に示され、視覚的明瞭性のために再現される(例えば、視認領域2130-1の右側インスタンス)。図21Aに示すように、視点2126は、一次領域2132に対応する(例えば、その中に位置する)。コンピュータシステム101のユーザの現在の視点が一次領域2132内に留まっている間、コンピュータシステム101は、任意選択的に、コンピュータシステム101のユーザがオブジェクト2106aの比較的改善されたビューを有すること、及び/又はオブジェクト2106aを見るための及び/又はそれと相互作用するための1つ以上の動作パラメータ内にいることを決定する。したがって、コンピュータシステム101は、オブジェクト2108aの相対的に低減された視覚的顕著性レベルとは対照的に、第1の視覚的顕著性レベル(例えば、100%又はほぼ100%レベルの輝度、不透明度、彩度、及び/又はぼかし効果を含まない)でオブジェクト2106aを任意選択的に表示する。ユーザの現在の視点が一次領域2132内で変化する間、コンピュータシステム101は、任意選択的に、第1の視覚的顕著性レベルを維持する。図示されていないが、いくつかの実施形態では、(例えば、方法2200を参照して更に説明されるように、現在の視点がオブジェクト2108aの閾値距離内で移動する場合)一次領域2132の追加のサブ領域は、減少する視覚的顕著性に関連付けられる。本明細書に提示される1つ以上の領域の説明は、任意選択的に他のオブジェクト(例えば、オブジェクト2108a)に適用されることが理解される。三次元環境のオブジェクト(単数又は複数)及び領域(単数又は複数)に関連付けられ、オブジェクトに対するユーザ視点に基づいて視覚的顕著性レベルの変化を説明する実施形態は、方法2200を参照して説明される。
図21Bでは、コンピュータシステム101のユーザの現在の視点は、一次領域内で移動する。例えば、視点2126は、俯瞰図においてオブジェクト2106bのより近くに移動し、第1の視覚的顕著性レベルは、オブジェクト2106a、コンテンツ2107a、及びコンテンツ2109aによって示されるように維持される。方法2200を参照して更に説明されるように、オブジェクト2106a及びその個別のコンテンツを第1の視覚的顕著性レベルで表示している間、ユーザは、個別のコンテンツと相互作用し、個別のコンテンツ及び/又はオブジェクト2106aに関連付けられた1つ以上の動作を開始することができる。例えば、コンピュータシステム101は、コンテンツ2107aに向けられた1つ以上のテキストエントリ入力を任意選択的に検出し、それに応じて、1つ以上のテキストエントリ入力(単数又は複数)に基づいてテキストを任意選択的に表示する。追加的又は代替的に、コンピュータシステム101は、コンテンツ2109aに含まれるメディアのメディア再生を開始する1つ以上の入力を任意選択的に検出し、それに応じて、メディアの再生を開始する。同様に、オブジェクト2140は、オブジェクト2106aに含まれる個別のコンテンツの1つ以上のインスタンスを閉じること、並びに/あるいはオブジェクト2106a及び/又はその個別のコンテンツを別のコンピュータシステム101の別のユーザと共有することなど、オブジェクト2106aに対する1つ以上の動作を実行するための1つ以上の選択可能オプションを含む。
図25Cでは、ユーザの現在の視点は、一次領域の外側のオフアングル領域に移動する。例えば、視点2126は、視認領域2134-2に含まれるオフアングル領域2130-1に任意選択的に対応する第1のオフアングル領域内で、一次領域2132と個別のオフアングル領域との間の視野角境界を画定する初期閾値角度を任意選択的に過ぎて移動する。方法2200を参照して説明されるように、現在の視点が個別のオフアングル領域(例えば、領域2134-2及び/又は2134-1)内で視野角を変化させている間、コンピュータシステム101は、任意選択的に、視野角の変化に従ってオブジェクト2106aの視覚的顕著性レベルを変更する。
本明細書で説明するように、コンピュータシステム101は、任意選択的に、オブジェクトの個別の部分(例えば、中心及び/又は第1の側)から延びるベクトル(任意選択的に表示されない)と、ユーザの現在の視点の個別の部分(例えば、中心)から延び、任意選択的に三次元環境2102に関連付けられた平面上に投影されるベクトル(任意選択的に表示されない)との間に形成される角度に基づいて、視野角を決定する。例えば、コンピュータシステム101は、図21Cに示すように、オブジェクト2106aの前面及びユーザの視点の中心から延び、三次元環境2102の床に平行及び/又はオブジェクト2106aの最下縁に接する平面上に投影される法線ベクトルに基づいて、視野角を決定する。
そのような視野角を減少させる現在の視点の変化に応じて、コンピュータシステム101は、任意選択的に、オブジェクト2106aの視覚的顕著性レベルを増加させる。そのような視野角を増大させる現在の視点の変化に応じて、コンピュータシステム101は、任意選択的に、オブジェクト2106aの視覚的顕著性レベルを減少させる。したがって、一次領域2132に向かう、又はそこから離れる現在の視点の変化は、任意選択的に、オブジェクト2106bの視覚的顕著性レベルの増加又は減少を要求する入力であるように、及び/又はそれに対応するように決定される。いくつかの実施形態では、現在の視点2126の視野角が第2の閾値を超える(例えば、一次領域2132及びオフアングル領域2134-2からの遷移を定義する閾値より大きい)とき、コンピュータシステム101は、方法2200を参照して以下で更に説明されるように、視覚的顕著性レベルを更に減少させ、及び/又はオブジェクト2106aとの相互作用を更に制限する。
いくつかの実施形態では、コンピュータシステム101は、それぞれのオブジェクトと現在の視点との間に形成されるそれぞれの視野角の変化に基づいて、オブジェクト2140及び/又はオブジェクト2150aなどのオブジェクト2106aに関連付けられた他のオブジェクトの視覚的顕著性レベルを同時に変化させる。いくつかの実施形態では、コンピュータシステム101は、オブジェクト2150aなどのオブジェクトの視覚的顕著性を維持する。例えば、1つ以上のシステム設定は、そのコンテンツが少なくとも部分的に可視である(例えば、仮想ボタンが可視である)ことを条件として、任意選択的に視点2126とオブジェクト2150aとの間の距離及び/又は視野角とは無関係に任意選択的に常に相互作用可能であるため、オブジェクト2150aは、第1の視覚的顕著性レベルに維持される。
いくつかの実施形態では、コンピュータシステム101は、現在の視点がオフアングル領域2134-1及び/又は2134-2に対応する間に、オブジェクト2106aに含まれるコンテンツに向けられた1つ以上の入力を検出する。現在の視点が個別のオフアングル領域に対応する間、コンピュータシステム101は、任意選択的に、コンテンツに向けられたユーザ入力に応答する。例えば、カーソル2144は、コンテンツ2107aに向けられた移動(例えば、スクロール)動作を任意選択的に示す。いくつかの実施形態では、コンピュータシステム101のユーザの手2103は、表面2105に接触し、接触の検出された移動に基づいて、コンピュータシステム101は、それに応じてコンテンツ2107aを移動させる(例えば、スクロールする)。いくつかの実施形態では、表面2105は、コンピュータシステム101、及び/又はコンピュータシステム101と通信する別のコンピュータシステム101に含まれる。
カーソル2146は、コンテンツ2109aに関連付けられた選択可能オプションの選択を任意選択的に示す。例えば、カーソル2146は、ウェブブラウジングページのキューを進めるため、現在再生中のメディアアイテムを変更するため、及び/又はコンテンツ2109aに含まれるメディアコンテンツのキューを進めるための選択可能オプションを任意選択的に選択する。カーソル2146によって示される入力(単数又は複数)は、カーソル2144を参照して説明されるものと同様に、手2103と表面2105との間の入力に基づいて任意選択的に実行される。方法2200を参照して更に説明するように、追加又は代替の入力(例えば、エアジェスチャ、他のスタイラス若しくはポインティングデバイス、マウスデバイス、及び/又はユーザの注意)を任意選択的に使用して、そのような1つ以上の動作を実行することができることが理解される。
図21Dにおいて、視点2126は、図21Cにおいて開始されたスクロールが継続している間に、閾値角度を超えて、オフアングル領域2134-2内に更にオフアングルで移動する。検出された変化が視野角を増大させることに応じて、コンピュータシステム101は、任意選択的に、オブジェクト2106a、オブジェクト2108a、及び/又はオブジェクト2140の視覚的顕著性レベルを更に減少させる。図21Cで受信された以前のスクロール入力に応じて、コンテンツ2107aは、任意選択的に移動される(例えば、スクロールされる)。追加的又は代替的に、図21Cのカーソル2146によって示される以前の選択入力に応じて、コンテンツ2109aは、新しいコンテンツを含むように変更される。追加的又は代替的に、コンピュータシステム101は、任意選択的に、オブジェクト2140に対する変更と任意選択的に同時に、オブジェクト2106aの視覚的顕著性のレベルを更に減少させる。
上述したように、コンピュータシステム101は、任意選択的に、カーソル2144(例えば、連続スクロール)及びカーソル2146(例えば、選択可能オプションの新たな離散的選択)によって入力が示されたときに、ユーザの現在の視点が視野角を超えたと判定する。以下で更に説明するように、コンピュータシステム101は、任意選択的に、閾値視野角を超える前に開始された進行中の入力(例えば、カーソル2144)を継続するが、閾値を超えた後に検出された新しい入力(例えば、カーソル2146)を無視する。
図21Eでは、図21Dのカーソル2144に対応する入力に応じて、コンテンツ2107aが移動される(例えば、スクロールされる)。図21Dのカーソル2146に対応する入力に応じて、コンテンツ2109aは変更されないが、コンテンツ2107aの移動は継続する。いくつかの実施形態では、コンピュータシステム101は、現在の視点が個別のオフアングル領域に対応する間(例えば、図21B及び/又は図21Cを参照して説明されるものと同様に)入力に応答したままであり、図21G及び方法2200を参照して更に説明するように、現在の視点がオフアングル領域の上限閾値を超えるまで、相互作用(例えば、選択可能オプションの選択などの新たに検出された入力の考慮)を制限しない。いくつかの実施形態では、オブジェクト2106aの視覚的顕著性レベルは、現在の視点とオブジェクト2106aとの間の距離から独立しており、現在の視点は、個別のオフアングル領域に対応する。
図21Fにおいて、コンピュータシステム101は、コンピュータシステム101のユーザの現在の視点が三次元環境2102のハイブリッドオフアングル及び距離ベースの領域に移動することを検出する。例えば、視点2126は、任意選択的に、俯瞰図に示すようなハイブリッド領域2138-2に対応する(例えば、その中に位置する)。いくつかの実施形態では、コンピュータシステム101は、上記で説明される視野角に基づいて、加えて、オブジェクト2106aからの視認距離の変化に基づいて、オブジェクト2106aの視覚的顕著性レベルを減少させる。視認距離は、任意選択的に、仮想オブジェクト(例えば、オブジェクト2106a)の一部からコンピュータシステム101の一部及び/又はコンピュータシステム101のユーザ(例えば、コンピュータシステム101及び/又はユーザの身体)まで延びる距離に対応する。例えば、図21Eから図21Fまで、視点2126の視野角は維持されるが、オブジェクト2106aと視点2126との間の距離は増加する。現在の視点のそのような移動の間、現在の視点がオフアングル領域2134-2内にある(例えば、まだハイブリッド領域2138-2内にない)間、オブジェクト2106aの視覚的顕著性レベルは任意選択的に維持される。視点2126が閾値距離を超えているという判定、及び現在の視点がオフアングル領域2134-2を参照して説明される閾値視野角を既に超えているという判定に従って、コンピュータシステム101は、視点2126とオブジェクト2106aとの間の視野距離の継続的な増加に基づいて、オブジェクト2106aの視覚的顕著性レベルを減少させ始める。例えば、図21Fに示すようなオブジェクト2106aは、図21Eに示すものと比較して、相対的により透明であり、より薄暗い、及び/又はより彩度が低い。
視点2126がハイブリッド領域2134-2内で移動する間、コンピュータシステム101は、任意選択的に、視点2126とオブジェクト2106aとの間の視認距離の増加を検出したことに応じて視覚的顕著性レベルを減少させ、視認距離の減少を検出したことに応じて視覚的顕著性レベルを任意選択的に増加させ、先にオフアングル領域2134-2を参照して説明されるのと同様の方法で、視野角の変化に応じて視覚的顕著性レベルを任意選択的に変化させる。いくつかの実施形態では、オブジェクト2106aの視覚的顕著性レベルに対する正味の影響は、(例えば、以下で更に説明される、距離領域2136内で視認距離を変化させている間の)視認距離の同等の変化と、(例えば、視認領域2134-2内で視野角を変化させている間の)視野角の変化との合計と同じである。いくつかの実施形態では、視覚的顕著性レベルに対する正味の影響は、方法2200を参照して更に説明される、そのような同等の変化の合計よりも大きいか又は小さい。ハイブリッド領域2138-2の同様の説明がハイブリッド領域2138-1に適用される。
図21Gでは、ユーザの現在の視点は、オフアングル領域、ハイブリッド領域、及び距離ベース領域(単数又は複数)の外側で、抽象化領域にシフトする。例えば、視点2126は、オフアングル領域2134-2に関連付けられた上限閾値視野角を超えている。視野角に関連する抽象化領域の同様の説明が、追加的又は代替的に、オブジェクト2106aからの視野距離に適用されることが理解される。いくつかの実施形態では、コンピュータシステム101は、仮想オブジェクトとの相互作用性が厳しく制限され、及び/又は視覚的顕著性レベルが著しく変更されるように、現在の視点が仮想オブジェクトからかなりオフアングルである、かなり離れている、及び/又は近くにあると判定する。
図21Gに示すように、コンピュータシステム101は、方法2200を参照して更に説明されるように、任意選択的に、オブジェクト2106a上に色又はパターンフィルを適用し、任意選択的に、追加の視覚要素(例えば、境界及び/又はエッジ)を追加し、及び/又はオブジェクト2106aの不透明度、輝度、及び/又は彩度を変更し、及び/又はオブジェクト2106aに含まれるコンテンツの表示を停止する。したがって、コンピュータシステム101は、任意選択的に、オブジェクト2106aの抽象化された形態を提示して、オブジェクトが現在の視点における相互作用のために最適化されていないことを示し、かつ/又はオブジェクト及びその仮想コンテンツとの相互作用(例えば、ボタンの選択、メディアの表示、及び/又はコンテンツの移動)を制限する。いくつかの実施形態では、現在の視点が抽象化領域に入る前に以前に再生されていたオーディオなどのメディア再生が継続する。
図21Hでは、ユーザの現在の視点は、オブジェクト2106aに対する好ましくない視認距離の範囲に対応する距離ベースの領域にシフトする。例えば、コンピュータシステム101は、任意選択的に、オブジェクト2106aに対する1つ以上の視認距離閾値(任意選択的に、隣接するハイブリッド領域2138-1及び2138-2に関連付けられた視野角閾値によって境界付けられる)を決定する。ユーザの現在の視点が距離領域2136内で変化する間、コンピュータシステム101は、任意選択的に、任意選択的に視野角の変化とは独立して、視認距離の変化に従ってオブジェクト2106a(及び/又はオブジェクト2140)の視覚的顕著性レベルを減少させる。
図21Iにおいて、ユーザの現在の視点は、第2の視認距離閾値(例えば、距離領域2136の視認距離の上限)を超えて変化し、したがって、前述の抽象化領域に入る。視点2126の変化に応じて、コンピュータシステム101は、方法2200を参照して更に説明されるように、オブジェクト2106a及び/又はオブジェクト2140の視覚的顕著性レベルを任意選択的に減少させ、及び/又はそのようなオブジェクトに含まれるコンテンツとの相互作用を任意選択的に制限する。追加的又は代替的に、いくつかの実施形態では、いくつかの仮想オブジェクトは、ユーザの現在の視点の変化に応じて、更新されたポジションに表示される。例えば、オブジェクト2150aは、図21Aに示すものと同様又は同じ配置を有する視点2126の更新されたポジションにより近い、現在の視点の変化に続く更新されたポジションに表示される。
図21Iにおいて、コンピュータシステム101は、グラバー2145に向けられたカーソル2146によって示されるように、オブジェクト2106aの1つ以上の寸法をスケーリングする(例えば、拡大又は縮小する)ための入力を検出する。グラバー2145は、(例えば、選択入力(単数又は複数)を参照して前述したように)選択されたときに、手2103と表面2105との間の接触の移動などの1つ以上の入力に従ってオブジェクト2106aの1つ以上の寸法を任意選択的にスケーリングする、任意選択的に表示される、又は表示されない仮想的要素である。
図21Jにおいて、オブジェクト2106a及びその関連付けられた視認領域2130-1は、オブジェクト2106aをスケーリングするための1つ以上の入力に応じて移動される。例えば、コンピュータシステム101は、視点2126が一次領域2132に対応するように、視認領域2130-1をスケーリングする。いくつかの実施形態では、コンピュータシステム101は、それに応じて、オブジェクト及び/又はその個別のコンテンツの視覚的顕著性レベルを増加させる。いくつかの実施形態では、視認領域2130-1に含まれるそれぞれの領域のスケーリングの量は、異なる量又は同じ量だけスケーリングされる。いくつかの実施形態では、オブジェクト2106aのスケーリングに応じて、視認領域2130-1内の領域の対応するサイズが変化する。例えば、オブジェクト2106aのスケールを増加させることは、視認領域2130-1のそれぞれの領域のスケールを増加させ、オブジェクト2106aのスケールを減少させることは、任意選択的にオブジェクト2106aのスケーリングに比例して、又は別様に基づいて、個別の領域のスケールを減少させる。
図21Kにおいて、視点2126は、抽象化領域内で移動し(例えば、視認閾値距離(単数又は複数)及び/又は角度(単数又は複数)を超えて)、再び、抽象化領域との現在の視点の対応(例えば、その中におけるロケーション)を示す、著しく低減された視覚的顕著性レベルで表示される。移動された現在の視点に応じて、コンピュータシステム101は、任意選択的に、前述のように、現在の視点に「追従する」オブジェクト2150aを表示する。
図21Kにおいて、コンピュータシステム101は、オブジェクト2106aを移動させる要求に対応する1つ以上の入力を検出し、それに応じて、図21Jを参照して説明されるのと同様に、オブジェクト2106aを更新されたポジションに移動させる(例えば、平行移動させる)。例えば、図21Kにおいて、カーソル2146は、任意選択的に、前述のエアジェスチャ(単数又は複数)及び表面との接触(単数又は複数)と同様に、表面との維持された接触、維持されたエアジェスチャ、及び/又はオブジェクト2106に向けられたポインティングデバイスの移動などの、三次元環境2102内でのオブジェクト2106aの移動動作(例えば、平行移動)の開始に対応する。
図21Lにおいて、オブジェクト2106aの移動を要求する1つ以上の入力に応じて、コンピュータシステム101は、任意選択的に、視点2126が再び一次領域2132に対応するように、オブジェクト2106a及び/又はオブジェクト2140を表示する。オブジェクト2140は、オブジェクト2106aと任意選択的に関連付けられる(例えば、選択可能オプションを有するメニュー)ので、オブジェクト2140は、オブジェクト2106aの移動と同時に任意選択的に移動される。同様に、オブジェクト2106aの移動を要求する1つ以上の入力に応じて、コンピュータシステム101は、移動の要求が受信されたときの三次元環境2102に対する視点2126のポジション及び/又は向きに基づいて、視認領域2130-1の移動されたポジション及び向きを決定する。例えば、移動を要求する1つ以上の入力(単数又は複数)に応じて、コンピュータシステム101は、視点2126が一次領域2132内にあるように、視認領域2130-1を移動及び/又は回転させる。例えば、視点2126は、任意選択的にオブジェクト2106bの中心と位置合わせされ、それに応じて回転される。
いくつかの実施形態では、移動動作の開始に応じて、ただしオブジェクト2106aを移動させる前に(例えば、表面2105に接触する手2103の移動に従ってオブジェクトを移動させる前に)、コンピュータシステム101は、任意選択的に、オブジェクト2106a及び2140aの移動の前及び/又は移動の間にコンテンツ2107a及び/又は2109a(前述のようにオブジェクト2106aに含まれる)の改善された可視性を提供するために、図21Lに示すように、増加された視覚的顕著性でオブジェクト2106aを表示する。いくつかの実施形態では、コンピュータシステム101は、異なる入力を検出したことに応じて、視認領域2130-1のポジション及び/又は向きを同様に又は同じに更新する。例えば、図21Dで検出されたスケーリング入力(単数又は複数)に応じて、及び/又は図21Kで検出された移動入力(単数又は複数)に応じて、コンピュータシステム101は、任意選択的に、視点2126が一次領域2130内で相対的に中心に置かれるように(例えば、オブジェクト2106aに対して深さ方向及び/又は横方向に中心に置かれるように)、視認領域2130-1の更新されたポジション及び/又は寸法を決定する。
図22A~図22Jは、いくつかの実施形態による、ユーザの視点の変化に従って、それぞれの仮想オブジェクトの視覚的顕著性を徐々に変更する方法を示すフローチャートである。いくつかの実施形態では、方法2200は、1つ以上の入力デバイス及び表示生成構成要素120などの表示生成構成要素と通信するコンピュータシステム101などのコンピュータシステムにおいて実行される。いくつかの実施形態では、コンピュータシステムは、方法800、1000、1200、1400、1600、1800、及び/又は2000のコンピュータシステムの1つ以上の特性を有する。いくつかの実施形態では、表示生成構成要素は、方法800、1000、1200、1400、1600、1800、及び/又は2000の表示生成構成要素の1つ以上の特性を有する。いくつかの実施形態では、1つ以上の入力デバイスは、方法800、1000、1200、1400、1600、1800、及び/又は2000の1つ以上の入力デバイスの特性のうちの1つ以上を有する。
いくつかの実施形態では、コンピュータシステムは、表示生成構成要素を介して、コンピュータシステムのユーザの第1の視点に対して、視点2126に対する俯瞰図内のオブジェクト2106bなど、三次元環境2102などの三次元環境内の第1のポジションに、オブジェクト2106aなどの個別のコンテンツを表示し、個別のコンテンツは、(例えば、三次元環境内の1つ以上の他の現実又は仮想オブジェクトに対する)図21Aのオブジェクト2106aの顕著性などの第1の視覚的顕著性レベルで表示される(2202a)。例えば、個別のコンテンツは、任意選択的に、複合現実(XR)、仮想現実(VR)、拡張現実(AR)、又は視覚パススルー(例えば、1つ以上のレンズ及び/又は1つ以上のカメラ)を介して可視である現実世界環境などの三次元環境において提示される1つ以上のアプリケーションに対応する仮想ウィンドウ又は他のユーザインタフェースである。いくつかの実施形態では、個別のコンテンツ及び/又は三次元環境は、方法800、1000、1200、1400、1600、1800、及び/又は2000を参照して説明される仮想オブジェクト及び/又は三次元環境の1つ以上の特性を有する。いくつかの実施形態では、個別のコンテンツは、メディアブラウジング及び/若しくは再生アプリケーション、ウェブブラウジングアプリケーション、電子メールアプリケーション、並びに/又はメッセージングアプリケーションなどのアプリケーションのユーザインタフェースを含む。いくつかの実施形態では、個別のコンテンツは、ユーザの第1の視点に対して第1のポジションに表示される。例えば、個別のコンテンツは、任意選択的に、ユーザの現在の視点(例えば、ユーザの第1の視点)から第1のポジション及び/又は向きで、ユーザのXR環境内の第1のポジション(例えば、ワールドロックポジション)に表示される。第1のポジションは、例えば、任意選択的に、三次元環境内のロケーションである。いくつかの実施形態では、コンピュータシステムは、ユーザの第1の視点が、個別のコンテンツに対するポジション及び/又は向きの第1の範囲を任意選択的に含む第1の領域内にあるという判定に従って、第1の視覚的顕著性レベルで個別のコンテンツを表示する。いくつかの実施形態では、方法1800を参照して更に説明するように、ユーザの三次元環境に対して個別の(例えば、第1の)視覚的顕著性レベルで個別のコンテンツを表示することは、第1のレベルの不透明度、輝度、彩度、及び/又はぼかし効果などの視覚効果を伴って個別のコンテンツの1つ以上の部分を表示することを含む。
いくつかの実施形態では、表示生成構成要素を介して、ユーザの第1の視点に対して三次元環境内の第1のポジションに個別のコンテンツを表示している間に、コンピュータシステムは、1つ以上の入力デバイスを介して、図21A~21B及び/又は図21B~21Cからの視点2126の変化など、第1の視点から第1の視点とは異なる第2の視点へのユーザの現在の視点の変化を検出する(2202b)。例えば、コンピュータシステムは、任意選択的に、個別のコンテンツ(例えば、長方形又は半長方形の仮想ウィンドウ)の第1の部分(例えば、第1の表面)に任意選択的に垂直な第1の視点から、個別のコンテンツの第1の部分の法線から任意選択的に斜めの、並びに/又は個別のコンテンツの第1の部分から更に離れた、及び/若しくはより近い第2の視点への、ユーザの現在の視点の変化を任意選択的に検出する。一例として、第1の視点は、任意選択的に、個別のコンテンツの法線に対する第1の角度(例えば、1、3、5、7、又は10度などの閾値角度未満)に対応し、第2の向きは、任意選択的に、法線に対する第2の角度(例えば、1、3、5、7、10、30、又は60度などの閾値角度を超える)に対応する。追加的又は代替的に、コンピュータシステムは、現在の視点と個別のコンテンツとの間の角度が任意選択的に維持されている間に、個別のコンテンツに対する第1の距離(例えば、深さ)から、個別のコンテンツに対する第1の距離とは異なる第2の距離へのユーザの現在の視点の変化を任意選択的に検出する。
ユーザの現在の視点の第2の視点への変化(例えば、コンピュータシステムは、現在の視点が第1の視点から第2の視点に変化するときに、ユーザの現在の視点の変化を任意選択的に連続的に及び/又は迅速に連続的に検出する)を1つ以上の入力デバイスを介して検出する間(例えば、それに応じて)(2202c)、いくつかの実施形態では、ユーザの現在の視点(例えば、第1の視点と第2の視点との間の中間視点(例えば、個別のコンテンツに対する中間の向き及び/又は個別のコンテンツからの中間距離)など、視点が第1の視点から第2の視点に変化しているときの現在の視点)が1つ以上の第1の基準を満たすという判定に従って、コンピュータシステムは、表示生成構成要素を介して、第1の視覚的顕著性レベルとは異なる、図21Cに示すようなオブジェクト2106aの視覚的顕著性レベルなどの第2の視覚的顕著性レベルで個別のコンテンツを表示し、第2の視覚的顕著性レベルは、ユーザの現在の視点が(例えば、複数の中間顕著性値を介して)変化するにつれて(例えば、複数の中間視点ポジションを介して)変化する(2202d)。例えば、コンピュータシステムは、任意選択的に、ユーザの現在の視点が個別のコンテンツに対して第2の範囲のポジション及び/又は向きに任意選択的に対応する(例えば、第2の領域及び/又は領域のセットに対応する)ことを検出し、任意選択的に、個別のコンテンツを第2の視覚的顕著性レベルで表示し、これは、個別のコンテンツを異なる(例えば、比較的低い)度合いの不透明度、輝度、彩度、コントラストの度合い、及び/又は異なる(例えば、比較的高い)度合いのぼかし効果(例えば、比較的大きい効果半径を有するぼかし効果)で表示することを任意選択的に含む。いくつかの実施形態では、コンピュータシステムが、ユーザの現在の視点が第1の視点から第2の視点に向かって移動することを検出する間、コンピュータシステムは、第1の視覚的顕著性レベルと第2の視点に対応する更新された視覚的顕著性レベルとの中間の1つ以上のそれぞれの視覚的顕著性レベルで、個別のコンテンツを徐々に表示する。例えば、コンピュータシステムは、ユーザの現在の視点が第1の視点から第2の視点に徐々に変化するにつれて、個別のコンテンツの不透明度を第1のレベルの不透明度から一連の中間(例えば、1つ以上)の比較的低いレベルの不透明度に徐々に減少させ、それにより、コンピュータシステムは、任意選択的に、現在の視点が第2の視点に到達したことに応じて、個別のコンテンツを第2のレベルの不透明度(例えば、第1及び中間レベルの不透明度より低い)で表示する。いくつかの実施形態では、1つ以上の基準は、個別のコンテンツに対して画定された三次元環境の1つ以上の領域に対する第2の視点のポジションに基づいて満たされる基準を含む。例えば、以下で更に説明するように、ユーザの現在の視点が第1の領域内(例えば、個別のコンテンツに対する第1のポジション範囲及び/又は第1の向きの範囲内)にある個別の視点に変化したことをコンピュータシステムが検出した場合に、コンピュータシステムは、個別のコンテンツの視覚的顕著性が任意選択的に維持される三次元環境の第1の領域を任意選択的に決定する。本明細書で言及される三次元環境の「領域」は、任意選択的に、個別のコンテンツに対するユーザの視点のポジション及び/又は向きの1つ以上の範囲に対応することが理解される。更に、コンピュータシステムは、任意選択的に、個別のコンテンツに対して第1の領域とは異なる第2の領域を決定し、そのなかでコンピュータシステムは、ユーザの現在の視点に対する検出された変化に従って、第1の視覚的顕著性レベルに対する個別のコンテンツの視覚的顕著性を任意選択的に変更する(例えば、減少及び/又は増加させる)。いくつかの実施形態では、コンピュータシステムは、(任意選択的に第2の領域内にある)現在の視点が第1の領域に近づくにつれて個別のコンテンツの視覚的顕著性を増加させ、(任意選択的に第2の領域内にある)現在の視点が第1の領域から更に離れるにつれて個別のコンテンツの視覚的顕著性を減少させる。例えば、コンピュータシステムは、個別のコンテンツの視聴が任意選択的に準最適であるユーザの視点のポジション及び/又は向きの第2の範囲に任意選択的に対応する、第1の領域とは異なる三次元環境の第2の領域を任意選択的に画定する。例えば、個別のコンテンツの個別の部分(例えば、中心)から垂直に延びる第1のベクトルと、個別のコンテンツの個別の部分からユーザの視点(例えば、ユーザの視野、ユーザの頭部の中心、及び/又はコンピュータシステムの中心)に向かって延びる第2の異なるベクトルとから任意選択的に形成される視野角は、任意選択的に、コンピュータシステムによって判定される。ユーザの視点からのそのような角度(本明細書では、ユーザの視点と個別のコンテンツとの間の「視野角」と呼ぶ)が、任意選択的に、コンテンツの法線に対して第1の角度範囲(例えば、5、10、15、20、25、30、35、40、45、50、55、60、65、70、又は75度)外にあり、任意選択的に、コンテンツの法線に対して第2の角度範囲(例えば、5、10、15、20、25、30、35、40、45、50、55、60、65、70、又は75度)内にあるという判定に従って、コンピュータシステムは、任意選択的に、個別のコンテンツを異なる(例えば、比較的低い)度合いの視覚的顕著性で表示する。追加的又は代替的に、視野角がコンテンツの法線に対して第1及び第2の角度範囲の外側にあるという判定に従って、コンピュータシステムは、任意選択的に、異なる(例えば、相対的により高い又はより低い)度合いの視覚的顕著性で個別のコンテンツを更に表示する。いくつかの実施形態では、ユーザの現在の視点が第2の角度範囲内で移動する間、コンピュータシステムは、第1の視野角範囲の上限に向かう移動を検出したことに応じて、視覚的顕著性を徐々に増加させる。例えば、第1の角度範囲は、任意選択的に、個別のコンテンツのベクトル法線より0度からベクトル法線より15度に及び、コンピュータシステムは、任意選択的に、第1の視野角(例えば、法線より20、25、30、35、40、45、50、55、60、65、70、又は75度)から第2の相対的に小さい視野角(例えば、17、20、25、30、35、40、45、50、55、60、65、又は70度)への移動を検出したことに応じて、視覚的顕著性を徐々に増加させる。そのような移動は、任意選択的に、現在の視点と個別のコンテンツとの間の距離が第1の視野角からの移動を通して維持されるように、個別のコンテンツによって範囲が定められた弧に沿っている。対照的に、ユーザの現在の視点が第2の角度範囲内で移動する間、コンピュータシステムは、任意選択的に、第1の視野角範囲の上限から離れる移動を検出したことに応じて、個別のコンテンツの視覚的顕著性を徐々に減少させる。例えば、コンピュータシステムは、任意選択的に、第1の視野角(例えば、法線より20、25、30、35、40、45、50、55、60、65、70、又は75度)から第2の比較的大きい視野角(例えば、法線より25、30、35、40、45、50、55、60、65、70、又は75度)への現在の視点のシフトを検出し、それに応じて、任意選択的に、個別のコンテンツの視覚的顕著性を徐々に減少させる。いくつかの実施形態では、第1及び第2の視野角範囲を超える視野角を検出したことに応じて、コンピュータシステムは、著しく低減された視覚的顕著性で(例えば、個別のコンテンツを遮蔽するためのパターンフィル及び/又はマスクを伴って、低度の不透明度を伴って、及び/又は個別のコンテンツに含まれる仮想オブジェクトのシルエットの詳細なしに)個別のコンテンツを表示する。ユーザの現在の視点が視野角の第1及び第2の範囲の更に外側に移動することを検出したことに応じて、コンピュータシステムは、任意選択的に、個別のコンテンツの著しく低減された視覚的顕著性を維持する(例えば、視野角の第1及び第2の範囲の外側への現在の視点のシフトを検出したことに応じて、個別のコンテンツの視覚的顕著性の更なる低減を見合わせる)。追加的又は代替的に、ユーザの視点と個別のコンテンツ(例えば、個別のコンテンツの個別の部分)との間の距離が、個別のコンテンツに対して、第1の距離範囲(例えば、0.001、0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、又は500m)より大きい第2の距離範囲(例えば、0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、500、又は1000m)内にあるという判定に従って、コンピュータシステムは、任意選択的に、異なる(例えば、比較的低い)視覚的顕著性で個別のコンテンツを表示する。いくつかの実施形態では、コンピュータシステムは、前述のように、三次元環境の第2の領域内のユーザの現在の視点の検出された変化に従って、個別のコンテンツの視覚的顕著性を徐々に変更する。いくつかの実施形態では、コンピュータシステムは、互いに対称に配置された個別のコンテンツに対する1つ以上の第2の領域を画定する。例えば、1つ以上の第2の領域のうちの個別の第1の領域は、任意選択的に、個別のコンテンツの左への準最適角度の範囲に対応し、1つ以上の第2の領域のうちの個別の第2の領域は、任意選択的に、個別のコンテンツの右への準最適角度の範囲に対応する。いくつかの実施形態では、個別のコンテンツの視覚的顕著性は、個別の第1の領域及び個別の第2の領域内で対称的に、又はほぼ対称的に変更される。例えば、コンピュータシステムは、任意選択的に、個別のコンテンツに対して第1の深さに位置し、第1の個別の領域の境界(例えば、個別のコンテンツの左側の領域の右端の境界)に位置するユーザの現在の視点が、第1の方向に第1の距離だけ(例えば、左に0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、500、又は1000mだけ)変化することを検出し、仮想コンテンツが第2の視覚的顕著性レベルで表示されるまで、個別の仮想コンテンツの視覚的顕著性を徐々に変更する。追加的又は代替的に、コンピュータシステムは、ユーザの現在の視点が、任意選択的に、個別のコンテンツに対して第1の深さに位置し、第2の個別の領域の境界(例えば、個別のコンテンツの右側の領域の左端の境界)が、第1の距離だけ変化するが、第1の方向とは異なる第2の方向(例えば、0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、500、又は1000mだけ右方向)にあることを検出し、任意選択的に、仮想コンテンツが第2の視覚的顕著性レベルで表示されるまで、個別の仮想コンテンツの視覚的顕著性を徐々に変更する。したがって、いくつかの実施形態では、コンピュータシステムは、視野角の変化の極性(例えば、個別のコンテンツから延びる法線から30度又は-30度)とは無関係に、視野角の変化に従って個別のコンテンツの視覚的顕著性を変更する。いくつかの実施形態では、コンピュータシステムは、ユーザの現在の視点における検出された変化に従って、個別のコンテンツの視覚的顕著性を徐々に増加させる。例えば、コンピュータシステムは、任意選択的に、ユーザの現在の視点が、第1の領域(例えば、改善された視認領域)の外側にある第2の視点から第1の領域に向かって(例えば、個別のコンテンツにより近く)移動することを検出し、視点の変化に従って個別のコンテンツの視覚的顕著性を徐々に増加させる。いくつかの実施形態では、現在の視点が1つ以上の第2の領域の個別の領域内で移動する間に、視野角を改善する検出された変化(例えば、個別のコンテンツから延びる法線により近い視野角に向かう現在の視点の移動)に対して同様の処理が行われる。例えば、1つ以上の第2の領域のうちの個別の領域内にある間、
コンピュータシステムは、任意選択的に、第1の領域及び/又は個別のコンテンツから延びるベクトル法線に向かうユーザの移動を検出し、任意選択的に、現在の視点における検出された変化に従って、個別のコンテンツの視覚的顕著性を徐々に増加させる。第2の視点が1つ以上の基準を満たすという判定に従って、個別のコンテンツの表示された視覚的顕著性を第1の視覚的顕著性レベルから第2の視覚的顕著性レベルに徐々に変化させることは、個別のコンテンツに対するユーザポジションに関する視覚的フィードバックを改善し、それによって、後続の変化が個別のコンテンツの可視性及び相互作用可能性にどのように影響を及ぼし得るかについてユーザに知らせ、個別のコンテンツの視認性を改善することができる視点の更なる変化を示し、視覚的クラッタを減少させ、入力が個別のコンテンツに誤って向けられる可能性を減少させる。
いくつかの実施形態では、オブジェクト2106aのサイズ及び/又は形状などの個別のコンテンツのサイズ及び形状は、図21Bから図21Cへのオブジェクト2106aの視覚的顕著性レベルの変化など、ユーザの現在の視点が変化するにつれて、第2の視覚的顕著性レベルで個別のコンテンツを表示しながら、三次元環境に対して維持される(2204)。例えば、個別のコンテンツは、任意選択的に、個別のコンテンツの視覚的顕著性が変更及び/又は維持される間、三次元環境に対して維持されるサイズ(例えば、スケール)で三次元環境に表示された長方形、楕円形、正方形、円形、及び/又は別の同様の形状のウィンドウ内に表示されるアプリケーションのユーザインタフェースを含む。一例として、ステップ(単数又は複数)2202を参照して説明されるように、現在の視点が第1の視点から第2の視点に変化するとき、ユーザの現在の視点が変化するにつれて第2の視覚的顕著性レベルが変化しても、三次元環境に対する個別のコンテンツのサイズ、三次元環境に対する個別のコンテンツの向き、及び/又は三次元環境に対する個別のコンテンツの形状は、現在の視点の変化に応じて、第1及び/又は第2の視覚的顕著性レベルで個別のコンテンツを表示しながら、任意選択的に維持される。いくつかの実施形態では、第2の視覚的顕著性レベルは、個別のコンテンツに対する現在の視点のポジション及び/又は視野角の変化量に比例して、反比例して、及び/又は別様に基づいて変化する。例えば、コンピュータシステムは、任意選択的に、第1の視点と第2の視点との間で移動した距離に基づいて、個別のコンテンツの視覚的顕著性を減少させる。三次元環境に対する個別のコンテンツのサイズ及び形状を維持することは、現在の視点と個別のコンテンツとの間の向き、及び三次元環境における個別のコンテンツの相対ポジションに関する視覚的フィードバックを提供し、それによって、個別のコンテンツと相互作用する(又は相互作用しない)ように個別のコンテンツ及び将来の視点の視覚的顕著性を更に変更するように将来の入力を誘導する。
いくつかの実施形態では、第2の視覚的顕著性レベルは、図21Fに示すようなハイブリッド領域2138-1及び2138-2内の視点2126の変化、並びにオブジェクト2106aの視覚的顕著性レベルの対応する変化など、現在の視点と個別のコンテンツとの間の角度の変化、及び現在の視点と個別のコンテンツとの間の距離の変化に基づいて変化する(2206)。例えば、コンピュータシステムは、任意選択的に、ステップ2202(単数又は複数)を参照して説明される視野角に基づいて、第2の視覚的顕著性レベルを変更し、追加的又は代替的に、現在の視点と個別のコンテンツとの間(例えば、アプリケーションユーザインタフェースを含むウィンドウの面の中心などの個別のコンテンツの個別の部分間)の距離に基づいて、第2の視覚的顕著性レベルを変更する。いくつかの実施形態では、コンピュータシステムは、現在の視点と個別のコンテンツとの間の視野角の変化を検出したことに応じて、第1の量だけ第2の視覚的顕著性レベルを増加又は減少させ、現在の視点と個別のコンテンツとの間の距離の変化を検出したことに応じて、第2の量だけ第2の視覚的顕著性レベルを増加又は減少させる。例えば、ステップ(単数又は複数)2204を参照して説明されるのと同様に、コンピュータシステムは、任意選択的に、個別のコンテンツに対して移動した距離(例えば、より遠くに又はより近くに)及び/又は視野角の変化(例えば、個別のコンテンツから延びる法線から離れる又はそれに向かう)に基づいて、個別のコンテンツの視覚的顕著性を減少及び/又は増加させる。現在の視点と個別のコンテンツとの間の角度及び距離の変化に基づいて第2の視覚的顕著性レベルを変化させることは、個別のコンテンツの可視性及び/又は相互作用可能性に関する視覚的フィードバックを提供し、それによって、個別のコンテンツの可視性を改善し、及び/又は相互作用可能性を変化させるように現在の視点を変化させる際にユーザを誘導する。
いくつかの実施形態では、視点2126が図21Bから図21Cに変化するなど、ユーザの現在の視点が変化するにつれて、オブジェクト2106aなどの個別のコンテンツを第2の視覚的顕著性レベルで表示することは、現在の視点が、オフアングル領域2134-1及び/又は2134-2など、個別のコンテンツに対する三次元環境の第1の1つ以上の領域内にあるという判定に従って、図21Bから図21Cへの視点2126の変化及びオブジェクト2106aの視覚的顕著性レベルの対応する変化(任意選択的に、現在の視点と個別のコンテンツとの間の距離の変化とは無関係に)など、現在の視点と個別のコンテンツとの間の角度に従って第2の視覚的顕著性レベルを変化させること(2208b)を含む(2208a)。いくつかの実施形態では、第1の1つ以上の領域は、ステップ(単数又は複数)2202を参照して説明される1つ以上の領域の1つ以上の特性を有する。例えば、第1の1つ以上の領域は、任意選択的に、三次元環境の第1及び/又は第2の領域を含み、その中で、コンピュータシステムは、任意選択的に、個別のコンテンツの個別の部分に対する視野角(任意選択的に、ステップ(単数又は複数)2202を参照して説明される視野角の1つ以上の特性を有する)に基づいて、第2の視覚的顕著性レベルを変更する。いくつかの実施形態では、視覚的顕著性は、視野角の増加とともに単調に変化する。例えば、コンピュータシステムが、第1の視野角(例えば、5、10、15、20、25、30、35、40、45、50、55、60、65、70、又は75度)から第1の視野角よりも大きい第2の視野角への現在の視点のシフトを任意選択的に検出すると、コンピュータシステムは、第2の視覚的顕著性レベルを任意選択的に変化させる(例えば、減少及び/又は増加させる)。ステップ(単数又は複数)2202を参照して説明されるように、いくつかの実施形態では、三次元環境の第1の領域及び第2の領域は、個別のコンテンツに対して対称的に、又はほぼ対称的に配置され、第2の視覚的顕著性レベルは、個別のコンテンツに対する視野角の大きさの変化に基づいて変更される。いくつかの実施形態では、第1及び第2の領域は対称ではないが、コンピュータシステムが第1の領域内にある間の視野角の対応する変化は、コンピュータシステムが第2の領域内にある間の視野角の同様の変化をコンピュータシステムが検出する間、個別のコンテンツの視覚的顕著性の同様又は同じ変化に影響を及ぼす。例えば、第1の視野角(例えば、-5、-10、-15、-20、-25、-30、-35、-40、-45、-50、-55、-60、-65、-70、又は-75度)からより大きい大きさ(例えば、-10、-15、-20、-25、-30、-35、-40、-45、-50、-55、-60、-65、-70、-75、又は-80度)の第2の視野角への第1の領域内の現在の視点のシフトを検出したことに応じて、コンピュータシステムは、任意選択的に、第2の視覚的顕著性レベルを第1の量だけ変更する。個別のコンテンツから延びるベクトル(例えば、個別のコンテンツの中心などの個別の部分に垂直であり、任意選択的に物理的環境の物理的フロアに平行である)に対して第1の視野角に対称な第3の視野角から、第2の視野角に対称な第4の視野角への第2の領域内の現在の視点のシフトを検出したことに応じて、コンピュータシステムは、任意選択的に、第2の視覚的顕著性レベルを第1の量だけ変更する。いくつかの実施形態では、現在の視点が第1及び/又は第2の領域内でシフトするときに視野角の大きさの減少を検出したことに応じて、コンピュータシステムは、視野角の大きさの増加に基づく視覚的顕著性の変更に対抗して、個別のコンテンツの視覚的顕著性を徐々に変更する。例えば、コンピュータシステムは、任意選択的に、視野角の大きさが増加したことを検出したことに応じて、個別のコンテンツの視覚的顕著性を減少させ、任意選択的に、視野角の大きさが減少したことを検出したことに応じて、個別のコンテンツの視覚的顕著性を増加させる。いくつかの実施形態では、現在の視点が第1及び/又は第2の領域に対応する間、コンピュータシステムは、視野角が維持されている間、個別のコンテンツと現在の視点との間の距離の増加又は減少を検出したことに応じて、個別のコンテンツの視覚的顕著性を維持する(例えば、視覚的顕著性の変更を見合わせる)。現在の視点と個別のコンテンツとの間の角度に基づいて第2の視覚的顕著性レベルを変更することは、個別のコンテンツに対するコンピュータシステムの向きに関する視覚的フィードバックを提供し、それによって、現在の視点がユーザ入力に基づいて動作を開始するのに不適切である間に、動作しない誤ったユーザ入力を低減し、更に、個別のコンテンツとの相互作用性を改善するために更なるユーザ入力(例えば、移動)を示す。
いくつかの実施形態では、ユーザの現在の視点が変化するにつれて、オブジェクト2106aなどの個別のコンテンツを、図21Iのオブジェクト2106aの視覚的顕著性レベルなどの第2の視覚的顕著性レベルで表示することは、現在の視点が、図21Hに示すような距離領域2136などの、第1の1つ以上の領域とは異なる、個別のコンテンツに対する三次元環境の第2の1つ以上の領域内にあるという判定に従って、距離領域2136内を移動する視点2126に応答したオブジェクト2106aへの変化など、現在の視点と個別のコンテンツとの間の距離に応じて、(任意選択的に、現在の視点と個別のコンテンツとの間の角度の変化とは無関係に)第2の視覚的顕著性レベルを変化させること(2210b)を含む(2210a)。いくつかの実施形態では、第1の1つ以上の領域は、ステップ(単数又は複数)2202を参照して説明される1つ以上の領域の1つ以上の特性を有する。例えば、第1の1つ以上の領域は、ステップ(単数又は複数)2208を参照して説明される第1及び第2の領域に加えて、又はその代わりに、三次元環境の第3の領域を任意選択的に含み、その中で、コンピュータシステムは、現在の視点と個別のコンテンツとの間の距離に基づいて、第2の視覚的顕著性レベルを任意選択的に変更する。距離は、例えば、任意選択的に、個別のコンテンツの個別の部分(例えば、個別のコンテンツの中心)と、コンピュータシステムの個別の部分及び/又はコンピュータシステムのユーザの身体の個別の部分(例えば、ユーザの頭の中心、ユーザの目の中心、及び/又はコンピュータシステムの表示生成構成要素の中心)との間の距離に基づく。いくつかの実施形態では、個別のコンテンツと現在の視点との間の距離が第1の距離だけ減少したことを検出したことに応じて、コンピュータシステムは、対応する量だけ第2の視覚的顕著性レベルを変更(例えば、増加及び/又は減少)し、第1の距離だけ距離が増加したことを検出したことに応じて、コンピュータシステムは、任意選択的に、対応する量だけ第2の視覚的顕著性レベルを変更(例えば、減少及び/又は増加)する。したがって、コンピュータシステムは、任意選択的に、個別のコンテンツが現在の視点から更に離れていることを検出したことに応じて、個別のコンテンツの視覚的顕著性を減少(又は増加)させ、任意選択的に、個別のコンテンツが現在の視点により近いことを検出したことに応じて、個別のコンテンツの視覚的顕著性を増加(又は減少)させる。いくつかの実施形態では、個別のコンテンツと現在の視点との間の視野角が変更され、個別のコンテンツと現在の視点との間の距離が維持されている間、個別のコンテンツの視覚的顕著性は維持される(例えば、視覚的顕著性の変更は見合わされる)。現在の視点と個別のコンテンツとの間の距離に基づいて第2の視覚的顕著性レベルを変更することは、個別のコンテンツの可視性に関する視覚的フィードバックを提供し、それによって、現在の視点がユーザ入力に基づいて動作を開始するのに不適切である間に、動作しない誤ったユーザ入力を低減し、更に、個別のコンテンツとの相互作用性を改善するために更なるユーザ入力(例えば、移動)を示す。
いくつかの実施形態では、ユーザの現在の視点が変化するにつれて、オブジェクト2106aなどの個別のコンテンツを第2の視覚的顕著性レベルで表示することは、図21Fに示すように、現在の視点が、図21Fに示すようなハイブリッド領域2138-1及び2138-2内の視点2126の変化などの個別のコンテンツに対して、第1の1つ以上の領域及び第2の1つ以上の領域とは異なる三次元環境の第3の1つ以上の領域内にあるという判定に従って、オブジェクト2106aと視点2126との間の距離及び角度などの現在の視点と個別のコンテンツとの間の角度の変化及び現在の視点と個別のコンテンツとの間の距離の変化(2212b)に従って、第2の視覚的顕著性レベルを変化させることを含む(2212a)。いくつかの実施形態では、ステップ(単数又は複数)2202、ステップ(単数又は複数)2208、及び/又はステップ(単数又は複数)2210を参照して説明される1つ以上の領域に加えて、又はその代わりに、コンピュータシステムは、第3の1つ以上の領域内で現在の視点の変化を検出したことに応じて、個別のコンテンツと現在の視点との間の視野角及び距離に基づいて視覚的顕著性を変更する。例えば、個別のコンテンツと現在の視点との間の距離を維持しながら、視野角の変化を含む、第3の1つ以上の領域の個別の領域内の視点の第1の変化を検出したことに応じて、コンピュータシステムは、任意選択的に、視野角の変化に基づいて、個別のコンテンツの視覚的顕著性レベルを第1の量だけ変更する。追加的又は代替的に、視野角を維持しながら、個別のコンテンツと現在の視点との間の距離の変化を含む個別の領域内の視点の第2の変化を検出したことに応じて、コンピュータシステムは、任意選択的に、距離の変化に基づいて、任意選択的に第1の量と同じ第2の量だけ視覚的顕著性レベルを変更する。視点の第1の変化及び視点の第2の変化を含む(例えば、視野角の変化を含み、距離の変化を含む)視点の変化を検出したことに応じて、コンピュータシステムは、任意選択的に、第1及び第2の量の両方に基づく量だけ視覚的顕著性レベルを変更する。したがって、いくつかの実施形態では、第2の視覚的顕著性レベルの段階的変化は、(例えば、視野角の変化による)第1の変化率と(例えば、距離の変化による)第2の変化率との複合効果に基づく。いくつかの実施形態では、コンピュータシステムは、個別のコンテンツに対して複数の第3の1つ以上の領域を画定する。例えば、コンピュータシステムは、任意選択的に、第3の1つ以上の領域のうちの個別の第1及び第2の領域内のステップ(単数又は複数)2208の第1の視野角及び第2の視野角を参照して説明されるように、視野角の変化に基づいて、第2の視覚的顕著性レベルを変更する。現在の視点が個別の第1又は第2の領域に対応する間に視野角変化の大きさを検出したことに応じて、コンピュータシステムは、任意選択的に、視野角の変化の大きさに基づいて第2の視覚的顕著性レベルを対称的に変化させる。いくつかの実施形態では、本明細書に記載され、ステップ(単数又は複数)2202、ステップ(単数又は複数)2208、及び/又はステップ(単数又は複数)2210を参照するそれぞれの領域は、連続しており、重複していない。現在の視点と個別のコンテンツとの間の距離及び視野角に基づいて第2の視覚的顕著性レベルを変更することは、個別のコンテンツの可視性に関する視覚的フィードバックを提供し、それによって、現在の視点がユーザ入力に基づいて動作を開始するのに不適切である間に、動作しない誤ったユーザ入力を低減し、更に、個別のコンテンツとの相互作用性を改善するために更なるユーザ入力(例えば、移動)を示す。
いくつかの実施形態では、1つ以上の入力デバイスを介して、図21Aから図21Bへの視点2126の変化など、ユーザの現在の視点の第2の視点への変化を検出している間(2214a)(例えば、それに応じて)、現在の視点が1つ以上の第1の基準を満たさないという判定に従って、コンピュータシステムは、図21Aから図21Bに示され維持されるオブジェクト2106aの視覚的顕著性レベルなど、ユーザの現在の視点が変化するにつれて、個別のコンテンツの表示を第1の視覚的顕著性レベルで維持する(2214b)。例えば、ステップ(単数又は複数)2202を参照して説明されるように、1つ以上の第1の基準は、コンピュータシステムが、視点の変化を検出したことに応じて視覚的顕著性が任意選択的に維持される(例えば、視覚的顕著性レベルの変更が見合わせられる)三次元環境の第1の領域に対応しない(例えば、その中にない)視点への現在の視点の変化を検出したときに満たされる基準を含む。1つ以上の基準が満たされない場合に個別のコンテンツの視覚的顕著性を維持することは、個別のコンテンツの可視性及び/又は相互作用可能性を維持する視野角及び/又はポジションにおける柔軟性を提供する。
いくつかの実施形態では、1つ以上の第1の基準は、視点2126などの現在の視点が、図21Iの視認領域2130-1などの、(例えば、ステップ2202(単数又は複数)を参照して説明されるような)個別のコンテンツの視覚的顕著性の変化に関連付けられた三次元環境の1つ以上の領域の個別の領域内にあるときに満たされる基準を含み(2216a)、個別のコンテンツのサイズが三次元環境における第1のサイズであるという判定に従って、個別の領域のサイズは、図21Iのオブジェクト2106aのサイズ及び図21Aの視認領域2130-1の対応するサイズなどの、三次元環境における第2のサイズである(2216b)。例えば、個別の領域のサイズは、任意選択的に、仮想ウィンドウの高さ及び幅など、三次元環境に対する個別のコンテンツの1つ以上の寸法に対応する。サイズは、追加的又は代替的に、任意選択的に、個別のコンテンツの深さを含む(例えば、個別のコンテンツが三次元仮想オブジェクトを含む場合)。前述のように、三次元環境の1つ以上の領域は、任意選択的に、ユーザの現在の視点のポジション及び/又は向きの範囲に対応する。いくつかの実施形態では、ポジション及び/又は向きの範囲は、個別のコンテンツのサイズに基づく。
いくつかの実施形態では、個別のコンテンツのサイズが第1のサイズとは異なる第3のサイズであるという判定に従って、三次元環境において、個別の領域のサイズは、図21Jのオブジェクト2106aのサイズ及び図21Jの視認領域2130-1の対応するサイズなどの、第2のサイズとは異なる第4のサイズである(2216c)。例えば、個別の第1の仮想コンテンツ及び個別の第2の仮想コンテンツが、異なるそれぞれのサイズで任意選択的に表示される場合、個別の第1の仮想コンテンツの変化する視覚的顕著性に関連付けられた第1の領域の第1のサイズは、個別の第2の仮想コンテンツの変化する視覚的顕著性に関連付けられた第2の領域の第2のサイズと任意選択的に異なる(例えば、より大きい又はより小さい)。いくつかの実施形態では、1つ以上の領域のうちの個別の領域のサイズは、ポジション及び/又は向きの範囲に対応する。例えば、個別のコンテンツを第1のサイズで表示している間、個別のコンテンツに関連付けられた個別の領域の第2のサイズは、任意選択的に、ステップ(単数又は複数)2202を参照して説明されるように、個別の仮想コンテンツに対するポジションの第1の範囲(例えば、個別の仮想コンテンツから0.001、0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、又は500m以上、及び、例えば、0.01、0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、500、又は1000m以下)、及び個別のコンテンツに対する視野角の第1の範囲に対応する。同様に、個別のコンテンツを第3のサイズで表示している間、個別の領域の第4のサイズは、任意選択的に、個別の仮想コンテンツに対するポジションの第2の範囲(例えば、個別の仮想コンテンツから0.01、0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、500、又は1000m以上、及び、0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、500、1000、又は5000m以下)、及び個別のコンテンツに対する視野角の第2の異なる範囲に対応する。いくつかの実施形態では、コンピュータシステムは、コンテンツのサイズを変更するための1つ以上の入力を検出し、1つ以上のサイズ変更入力に応じて、サイズ変更入力に従って個別の領域のサイズを変更する。例えば、コンピュータシステムは、任意選択的に、個別のコンテンツの1つ以上の寸法を第1のサイズから第3又は第4のサイズにスケーリングする入力を検出し、1つ以上の寸法をスケーリングする入力に応じて、個別の領域のサイズを変更する(例えば、減少又は増加させる)。一例として、コンピュータシステムは、任意選択的に、個別のコンテンツの拡大に従って個別の領域のサイズを増加させ、逆に、個別のコンテンツの縮小に従って個別の領域のサイズを減少させる。いくつかの実施形態では、個別の領域のサイズ変更の大きさ及び/又は寸法は、個別のコンテンツのサイズ変更の大きさ及び/又は寸法に基づく。例えば、コンピュータシステムは、任意選択的に、個別のコンテンツの角に向けられたエアピンチジェスチャ(例えば、ユーザの人差し指と親指との接触)を検出し、エアピンチジェスチャ(例えば、接触)が維持されている間、コンピュータシステムは、三次元環境の床に向かって下方への、かつ個別のコンテンツの右端から離れて右向きへの移動を検出する。コンピュータシステムは、任意選択的に、下向きの移動の大きさに基づいて個別の領域の長さ(例えば、ユーザの現在の視点から個別のコンテンツに向かって延びる)をスケーリングし、任意選択的に、右向きの移動の大きさに基づいて個別の領域の幅(例えば、個別の領域の左端から個別の領域の右端に向かって延びる)をスケーリングする。同様に、コンピュータシステムは、任意選択的に、エアピンチジェスチャの上方への移動に基づいて個別の領域の長さを減少させ、及び/又はエアピンチジェスチャの左への移動に基づいて個別の領域の幅を減少させる。そのようなエアピンチジェスチャの移動の異なる組み合わせは、任意選択的に、個別の領域の寸法の異なる変化に影響を及ぼすことが理解される。いくつかの実施形態では、コンピュータシステムは、エアピンチジェスチャに従って、個別のコンテンツの視覚的顕著性の変更に関連付けられた複数の1つ以上の領域の寸法を同時に変更する。いくつかの実施形態では、コンピュータシステムは、ユーザの身体とコンピュータシステムと通信する表面(例えば、タッチ感知面)との間の接触及び移動、並びに/又はコンピュータシステムと通信するスタイラス及び/若しくはポインティングデバイスの移動に従うなど、個別のコンテンツ及び/又は個別(それぞれ)の領域の寸法の変化を引き起こす他の入力を検出する。いくつかの実施形態では、ステップ(単数又は複数)2218を参照して更に説明されるように、個別(それぞれ)の領域及び/又はコンテンツは、現在の視点と個別のコンテンツとの間の距離の変化に従って、任意選択的に、その距離を増加又は減少させる。個別のコンテンツを、個別のコンテンツのサイズに基づくサイズを有する三次元環境の1つ以上の領域に関連付けることは、個別のコンテンツに対する最適な視聴ポジション及び/又は向きの範囲に関する視覚的フィードバックを提供し、それによって、ユーザが誤る可能性を減少させる。
いくつかの実施形態では、1つ以上の第1の基準は、視点2126などの現在の視点が、視認領域2130-1などの個別のコンテンツの視覚的顕著性の変化に関連付けられた三次元環境の1つ以上の領域のうちの個別の領域内にあるときに満たされる基準を含み(2218a)、現在の視点に対するオブジェクト2106aなどの個別のコンテンツの距離が第1の距離であるという判定に従って、個別の領域のサイズは、図21Kの視認領域2130-1のサイズなどの三次元環境に対する第2のサイズである(2218b)。例えば、コンピュータシステムは、任意選択的に、三次元環境に対して第1の(例えば、ワールドロックされた)ポジションに個別のコンテンツを任意選択的に表示し、個別のコンテンツと現在の視点との間の第1の距離に基づいて、個別の領域のサイズ(例えば、第2のサイズ、及び/又はステップ(単数又は複数)2216を参照して説明される個別の領域の1つ以上の特性を有する)を決定する。いくつかの実施形態では、現在の視点と個別のコンテンツとの距離の変化を検出したことに応じて(例えば、個別のコンテンツの1つ以上の移動動作に応じて)、コンピュータシステムは、三次元環境の1つ以上の領域のうちの個別の領域のサイズ及び/又は1つ以上の領域のそれぞれのサイズを変更する(例えば、増加又は減少させる)。
いくつかの実施形態では、現在の視点に対する個別のコンテンツの距離が第1の距離とは異なる第2の距離であるという判定に従って、個別の領域のサイズは、図21Lの拡大された視認領域2130-1などの、第2のサイズとは異なる三次元環境に対する第3のサイズである(2218c)。例えば、コンピュータシステムは、任意選択的に、三次元環境に対して第2の(例えば、ワールドロックされた)ポジションに個別のコンテンツを表示し、個別のコンテンツと現在の視点との間の第2の距離に基づいて、個別の領域のサイズ(例えば、第3のサイズ、及び/又はステップ(単数又は複数)2216を参照して説明される個別の領域の1つ以上の特性を有する)を決定する。したがって、コンピュータシステムは、任意選択的に、個別のコンテンツと現在の視点との間の距離に基づいて、個別の領域の個別のサイズを決定する。いくつかの実施形態では、個別の距離は、個別のコンテンツの個別の部分(例えば、中心、角、及び/又は境界)と現在の視点との間の距離に基づく。いくつかの実施形態では、個別のコンテンツとユーザの現在の視点との間の距離は、個別のコンテンツを移動させる入力(単数又は複数)及び/又はユーザの現在の視点を変更する入力に応じて変更される。例えば、個別のコンテンツ間の決定された距離は、任意選択的に、個別のコンテンツをユーザの現在の視点の近くに移動させる1つ以上の入力に応じて減少し、それに応じて、コンピュータシステムは、任意選択的に、個別の領域のサイズを減少又は増加させる。対照的に、個別のコンテンツを現在の視点から更に移動させる1つ以上の入力に応じて、コンピュータシステムは、任意選択的に、個別の領域のサイズを増加又は減少させる。同様に、個別のコンテンツと現在の視点との間の距離が増加するように現在の視点変更を決定したことに応じて、コンピュータシステムは、任意選択的に、個別の領域のサイズを減少又は増加させる。距離が減少するように現在の視点変更を決定したことに応じて、コンピュータシステムは、任意選択的に、個別の領域のサイズを増加又は減少させる。個別のコンテンツと現在の視点との距離に従って個別の領域のサイズを割り当てることは、個別のコンテンツが現在の視点から相対的により遠く離れている(又はより近い)とき、個別のコンテンツとの相互作用可能性を改善し、したがって、現在の視点の移動が、現在の視点から様々な距離で表示される様々な仮想コンテンツに対して仮想コンテンツの視覚的顕著性をどのように変更するかに関するユーザフィードバックの一貫性を改善する。
いくつかの実施形態では、表示生成構成要素を介して、図21Kのオブジェクト2106aなどの個別のコンテンツを三次元環境内の第1のポジションに第1のサイズで表示している間、かつ個別のコンテンツの距離がユーザの現在の視点に対して第1の距離である間、コンピュータシステムは、1つ以上の入力デバイスを介して、個別のコンテンツを図21Kに示すカーソル2146などの第1のポジションとは異なる三次元環境内の第2のポジションに移動させる要求を含む入力を検出し、個別のコンテンツは、第2のポジションに表示されている間、ユーザの現在の視点から第2の距離だけ離れている(2220a)。例えば、コンピュータシステムは、任意選択的に、個別のコンテンツを選択する1つ以上の入力、例えばエアジェスチャ(例えば、コンピュータシステムのユーザの手の人差し指と親指との間の接触、手の指を広げること、及び/又は手の1本以上の指を丸めることを含むエアピンチジェスチャ)、コンピュータシステムに含まれる及び/又はコンピュータシステムと通信するタッチ感知面との間の接触、及び/又は個別のコンテンツの選択を切り替えるコンピュータシステムのユーザによって実行される瞬きを、任意選択的に個別のコンテンツに対応するカーソルが表示されている間、かつ/又はユーザの注意が個別のコンテンツに向けられている間に、検出する。エアジェスチャ(例えば、人差し指と親指との間の接触)、接触、及び/又は選択モードが維持されている間、コンピュータシステムは、ユーザの身体の1つ以上の動き、コンピュータシステムと通信する第2のコンピュータシステム(例えば、スタイラス及び/又はポインティングデバイス)、及び/又はタッチ感知面とユーザの指との間の接触を任意選択的に検出し、その動きに基づいて個別のコンテンツを更新されたポジション(例えば、第2のポジション)に移動させる。例えば、第2のポジションは、任意選択的に、動きの大きさ及び/又は動きの方向に基づく。
いくつかの実施形態では、個別のコンテンツを三次元環境内の第2のポジションに移動させる要求を含む入力を検出したことに応じて(2220b)、コンピュータシステムは、表示生成構成要素を介して、図21Lのオブジェクト2106aのサイズ及びポジションなど、第1のサイズ、第2のサイズ、及び第3のサイズとは異なる第4のサイズで、三次元環境内の第2のポジションに個別のコンテンツを表示する(2220c)。いくつかの実施形態では、コンピュータシステムは、個別のコンテンツと現在の視点との間の個別の距離(例えば、ステップ(単数又は複数)2218を参照して説明される距離(単数又は複数)の1つ以上の特性を有する)に基づいて、個別のコンテンツのサイズ(例えば、スケール)を変更する。変更された第4のサイズは、任意選択的に、個別のコンテンツの相対的により大きい又はより小さいスケールに対応し、それによって、個別のコンテンツによって引き起こされる可視性を改善するか、又は遮蔽を減少させる。いくつかの実施形態では、個別のコンテンツのサイズは、ステップ(単数又は複数)2218を参照して更に説明されるように、個別のコンテンツと現在の視点との間の距離に関係し、及び/又は比例する。個別のコンテンツと現在の視点との間の距離に基づく個別のサイズで個別のコンテンツを表示することは、個別のコンテンツの可視性を改善し、それによって、入力が個別のコンテンツに誤って向けられる可能性を減少させる。
いくつかの実施形態では、1つ以上の第1の基準は、ユーザの視点2126などの現在の視点が、図21Bから図21Cへの変化など、第1の視点から第2の視点に変化する際に、ユーザの現在の視点が、三次元環境の一次領域2132などの第1の領域内にあるときに満たされる基準を含む(2222a)。例えば、第1の領域は、任意選択的に、個別のコンテンツの好ましい視認領域に対応する。そのような好ましい領域は、任意選択的に、個別のコンテンツが、表示生成構成要素を介してフルスクリーン又はほぼフルスクリーンで表示される仮想ウィンドウに類似しているかのように、ユーザが個別のコンテンツ内のほとんど又は全ての仮想コンテンツを見ることを可能にする。
いくつかの実施形態では、図21Cに示すように、ユーザの現在の視点が第2の視点であり、個別のコンテンツの視覚的顕著性が第3の視覚的顕著性レベルである間、コンピュータシステムは、1つ以上の入力デバイスを介して、図21Cから図21Bへの視点の変化などの、第2の視点から第1の視点へのユーザの現在の視点の変化を検出する(2222b)。例えば、第3の視覚的顕著性レベルは、任意選択的に、第1の視覚的顕著性レベルよりも小さい。なぜなら、第2の視点は、任意選択的に、好ましくない視認配向(単数又は複数)及びポジション(単数又は複数)の範囲に対応する三次元環境の第2の領域内にあるからである。いくつかの実施形態では、第2の視点から第1の視点への現在の視点の変化は、ステップ(単数又は複数)2202を参照して第1の視点から第2の視点へ視点を変化させることに関して説明した、反対の1つ以上の方向における同じ量(又は異なる量)の移動に対応する。例えば、第1の視点から第2の視点への変化は、任意選択的に、ある距離だけ左に移動することであり、第2の視点から第1の視点への変化は、任意選択的に、同じ(又は異なる)距離だけ右に移動することである。いくつかの実施形態では、以下で更に説明されるように、コンピュータシステムは、現在の視点が視点間で変化する間の視覚フィードバックを改善するために、ヒステリシスを有する1つ以上の閾値を確立する。
いくつかの実施形態では、1つ以上の入力デバイスを介して、ユーザの現在の視点の第1の視点への変化を検出しながら(2222c)(例えば、第2の視点から第1の視点に移動している間)、ユーザの現在の視点が第1の基準とは異なる1つ以上の第2の基準であって、1つ以上の第2の基準は、ユーザの現在の視点が第2の視点から第1の視点に変化する際に、ユーザの現在の視点がオフアングル領域2134-2などの三次元環境の第1の領域とは異なる第2の領域内にある場合に満たされる基準を含む(例えば、上述したように)、1つ以上の第2の基準を満たすという判定に従って、コンピュータシステムは、表示生成構成要素を介して、第3の視覚的顕著性レベルとは異なる(例えば、より高い)第4の視覚的顕著性レベルで個別のコンテンツを表示し、第4の視覚的顕著性レベルは、1つ以上の第2の基準が満たされている間にユーザの現在の視点が変化するにつれて変化し(2222d)、例えば、オブジェクト2106aの視覚的顕著性は、図21Bと図21Cとの間に示す顕著性の中間である。例えば、コンピュータシステムは、任意選択的に、現在の視点が第1の視点から第2の視点に変化する間に、現在の視点が個別のコンテンツに対して第1の閾値(例えば、閾値ポジション及び/又は閾値角度)に達すると、第2の視覚的顕著性レベルで個別のコンテンツの表示を開始し、コンピュータシステムは、任意選択的に、現在の視点が第1の閾値とは異なる第2の閾値に達すると、第4の視覚的顕著性レベルで個別のコンテンツの表示を開始する。例えば、第2の閾値は、任意選択的に、個別のコンテンツからの第2の閾値距離(例えば、0.001、0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、又は500m)に対応し、第1の閾値は、任意選択的に、第1の閾値とは異なる(例えば、より大きい)第1の閾値距離(例えば、0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、500、又は1000m)に対応する。したがって、第1の方向(例えば、後方又は左方向)に移動するとき、コンピュータシステムは、任意選択的に、第1の方向とは反対の第2の方向(例えば、前方又は右方向)に同じ量だけ移動するときと比較して、ポジションの相対的に小さい又は大きい変化に応じて、個別のコンテンツの視覚的顕著性レベルを変更し始める。同様の実施形態は、異なる閾値角度(例えば、5、10、15、20、25、30、35、40、45、50、55、60、65、70、又は75度)、及び/又は個別のコンテンツに対する閾値距離及び/又は角度の組み合わせに関して任意選択的に適用可能である。個別のコンテンツの視覚的顕著性レベルの変更に関連付けられたヒステリシスを有する1つ以上の閾値を提供することは、ユーザが個別のコンテンツの視覚的顕著性レベルを不注意に変更する可能性を低減し、それによって、視覚的顕著性のそのような不注意な変更を補正するための不必要な入力を防止する。
いくつかの実施形態では、表示生成構成要素を介して、三次元環境内の第1のポジションにオブジェクト2106aなどの個別のコンテンツを表示している間、かつユーザの現在の視点が、図21Dの視点2126などの1つ以上の第1の基準を満たす間(例えば、現在の視点が、個別のコンテンツの視覚的顕著性レベルの変更に関連付けられた三次元環境の1つ以上の領域のうちの個別の領域内にある間)、コンピュータシステムは、1つ以上の入力デバイスを介して、図21Dのカーソル2146によって示されるような、個別のコンテンツに関連付けられた1つ以上の動作を開始するための第1の要求に対応する、個別のコンテンツに向けられた第1の入力を検出する(2224a)。第1の入力は、任意選択的に、ステップ(単数又は複数)2218を参照して説明される個別のコンテンツの選択及び/又は移動を参照して説明される入力方式(例えば、エアジェスチャ、タッチ感知面との接触、及び/又はユーザの注意)の1つ以上の特性を有し、任意選択的に、異なる1つ以上の動作(例えば、個別のコンテンツの選択及び/又は移動とは異なる)に関連付けられる。例えば、第1の入力は、テキスト及び/若しくは画像を対象とするスクロール動作、個別のコンテンツに含まれる1つ以上の仮想ボタンの選択、個別のコンテンツに含まれるメディアのコピー、並びに/又は個別のコンテンツに含まれるリンクの選択を任意選択的に含む。
いくつかの実施形態では、現在の視点が1つ以上の第1の基準とは異なる1つ以上の第2の基準を満たすという判定に従って、個別のコンテンツに向けられた第1の入力を検出したことに応じて(2224b)、コンピュータシステムは、図21Eに示すように、個別のコンテンツに関連付けられた1つ以上の動作の開始を見合わせる(2224c)。例えば、1つ以上の第2の基準は、現在の視点が、個別のコンテンツの視覚的顕著性レベルの変更に関連付けられた三次元環境の1つ以上の領域のうちの個別の領域内のポジション及び/又は向きに対応するときに満たされる基準を任意選択的に含む。追加の例として、現在の視点が個別の領域内のより「極端な」ポジションに(例えば、個別のコンテンツから比較的大きい視野角及び/又は比較的大きい距離で)変化する間、コンピュータシステムは、任意選択的に、前述のスクロール動作、ボタンの選択、メディアのコピー、及び/又はリンクの選択などの、個別のコンテンツを対象とする第1の入力に関連付けられた1つ以上の動作の開始を見合わせる。いくつかの実施形態では、現在の視点が1つ以上の第2の基準を満たすという判定に従って、コンピュータシステムは、図21Cから図21Dのコンテンツ2109aによって示されるように、個別のコンテンツに関連付けられた1つ以上の動作を開始する(2224d)。例えば、現在の視点が、個別のコンテンツ(例えば、「好ましい視野角」に対応する)から閾値視野角(例えば、5、10、15、20、25、30、35、40、45、50、55、60、65、70、又は75)未満、及び/又は閾値距離(例えば、0.001、0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、又は500m)未満の視野角で個別の領域内の向きに対応する場合、コンピュータシステムは、任意選択的に、前述の1つ以上の動作を開始する。いくつかの実施形態では、コンピュータシステムは、現在の視点が環境の1つ以上の領域のうちの好ましい視認領域に対応するとき、第1の入力と同様又は同じ第2の入力を検出し、個別のコンテンツに関連付けられた1つ以上の動作を開始する。好ましい視認領域は、任意選択的に、個別のコンテンツの可視性を維持する(例えば、個別のコンテンツに対して遠すぎたり近すぎたりしない、及び/又は個別のコンテンツから延びる法線から大きく外れすぎる角度でない)、個別のコンテンツに対する向きの範囲に対応する。例えば、第1及び第2の入力は、任意選択的に、第1の量のテキストのスクロール動作に対応し、第1及び第2の入力に応じて表示されるスクロールの量は、任意選択的に、現在の視点が個別のコンテンツに対して準最適な視認領域内にある間に第1の入力が検出され、現在の視点が個別のコンテンツに対して最適な視認領域内にある間に第2の入力が検出されるにもかかわらず、同じである。いくつかの実施形態では、コンピュータシステムは、ユーザの現在の視点が変化しており、個別のコンテンツの視覚的顕著性が現在の視点の変化に起因して減少しているという判定に従って、1つ以上の動作の開始を見合わせる。例えば、三次元環境内の第1のポジションに個別のコンテンツを表示している間、かつ現在の視点が1つ以上の第1の基準を満たす間、コンピュータシステムは、任意選択的に、第1の入力を検出する。第1の入力を検出したことに応じて、現在の視点が第1の視点から第2の視点に変化しているときに満たされる基準を含む1つ以上の第3の基準を現在の視点が満たすという判定、及び現在の視点の変化により個別のコンテンツの視覚的顕著性が(例えば、完全な視覚的顕著性から)減少しているという判定に従って、コンピュータシステムは、第1の入力に従って1つ以上の動作の開始を見合わせる。現在の視点が1つ以上の第3の基準を満たさない(例えば、個別のコンテンツの視覚的顕著性が減少していない(例えば、依然としてより高い視覚的顕著性レベルにある)ため)という判定に従って、コンピュータシステムは、任意選択的に、1つ以上の動作を実行する。1つ以上の第2の基準が満たされるとき、又は満たされないとき、個別のコンテンツに関連付けられた1つ以上の動作を開始すること、又は開始を見合わせることは、現在の視点が相互作用に対して準最適である間に、個別のコンテンツに誤って向けられるユーザ入力を減少させる。
いくつかの実施形態では、1つ以上の第2の基準は、視点2126などの現在の視点が、図21Cのオブジェクト2106aの中心に対して内側のオフアングル領域2134-2の閾値などの、個別のコンテンツに対して第1の閾値角度よりも大きい角度に配向されるときに満たされる基準を含む。第1の入力は、現在の視点が、個別のコンテンツに対して第1の閾値角度よりも大きい第1の角度に配向されるときに検出され、第1の入力は、個別のコンテンツの視覚的顕著性が、図21Cのカーソル2146によって示されるような(例えば、第2の視覚的顕著性レベルと異なる、又は同じ)第3の視覚的顕著性レベルである間に検出される(2226a)。例えば、基準は、現在の視点が第1の閾値角度(例えば、5、10、15、20、25、30、35、40、45、50、55、60、65、70、又は75度)よりも大きく、及び/又は第2の閾値角度(例えば、10、15、20、25、30、35、40、45、50、55、60、65、70、75、又は80度)よりも小さい間に第1の入力が検出されたときに、任意選択的に満たされる。追加的又は代替的に、1つ以上の第2の基準は、個別のコンテンツが第3の視覚的顕著性レベル(例えば、第1の視覚的顕著性レベルよりも低い又は高い)で表示されている間に第1の入力が検出されたときに満たされる基準を任意選択的に含む。いくつかの実施形態では、第3の視覚的顕著性レベルは、変更されたレベルの輝度、不透明度、ぼかし効果、ぼかし効果の半径、色、及び/又はパターンフィルが個別のコンテンツの部分(単数又は複数)又は全体に適用された状態で、個別のコンテンツの1つ以上の部分又は全部を表示することを含む。例えば、コンピュータシステムは、任意選択的に、現在の視点がステップ(単数又は複数)2224を参照して説明される三次元環境の好ましい視認領域内にある間、ぼかし効果なしに完全に不透明及び100%の輝度で個別のコンテンツを表示し、任意選択的に、現在の視点が1つ以上の第2の基準を満たす間、部分的に半透明でより薄暗い外観でぼかし効果を含んで個別のコンテンツを表示する。
いくつかの実施形態では、ユーザの現在の視点が1つ以上の第2の基準を満たす間、かつ現在の視点が、個別のコンテンツに対して第1の角度で配向されている状態から、図21Cのオブジェクト2109aの中心に対して横方向のオフアングル領域2134-2の閾値などの、個別のコンテンツに対して第1の角度よりも大きい第2の角度で配向される状態に変化している間、コンピュータシステムは、個別のコンテンツの視覚的顕著性を、第3の視覚的顕著性から、図21Dのオブジェクト2106aの視覚的顕著性などの、第3の視覚的顕著性レベルよりも低い第4の視覚的顕著性レベルに減少させる(2226b)。例えば、コンピュータシステムは、任意選択的に、現在の視点が上述の第2の閾値角度を超えるにつれて、個別のコンテンツの視覚的顕著性レベルを上述の第3の視覚的顕著性レベルから第4の視覚的顕著性レベルに徐々に減少させ(例えば、視覚的顕著性を減少させ)、任意選択的に、ぼかし効果及び/又はぼかし効果の半径を増加させ、個別のコンテンツに適用される色及び/又はパターンフィルの不透明度を増加させ、及び/又は個別のコンテンツの1つ以上の部分の輝度及び/又は不透明度を減少させる。いくつかの実施形態では、個別のコンテンツの視覚的顕著性を第3の視覚的顕著性レベルから第4のレベルに減少させることに応じて及び/若しくは減少させている間、並びに/又は第1の入力を受信している間、コンピュータシステムは、任意選択的に、第1の入力に従って1つ以上の動作を実行し続ける(例えば、スクロールし続ける、仮想コンテンツを移動し続ける、及び/又は仮想コンテンツをスケーリングし続ける)。そのような継続動作は、コンピュータシステムが、第3の視覚的顕著性レベルで個別のコンテンツを表示している間に第1の入力の開始を検出し、第4の視覚的顕著性レベルで個別のコンテンツを表示している間に受信した場合は第1の入力を無視することになるので、任意選択的に可能である。いくつかの実施形態では、第4の視覚的顕著性レベルは、表示を停止すること、及び/又は個別のコンテンツの部分を(例えば、パターンフィルを用いて)覆い隠すことを含む。第1の入力が継続されるとき、第4の視覚的顕著性レベルで個別のコンテンツを表示している間であっても、コンピュータシステムは、第1の入力に従って1つ以上の動作を実行し続ける。したがって、第1の入力の停止を検出した後、及び/又は第1の入力が進行中である間に、個別のコンテンツの視覚的顕著性が再び増加するような視点の変化を検出したことに応じて、コンピュータシステムは、任意選択的に、コンピュータシステムが第4の視覚的顕著性レベルで個別のコンテンツを表示している間に実行された以前に進行中であった第1の入力の結果を表示する。いくつかの実施形態では、第3及び第4の視覚的顕著性レベルは、個別のコンテンツに適用される異なるそれぞれのレベルの視覚的特性(例えば、輝度、不透明度、ぼかし効果、ぼかし効果の半径、並びに/又は色及び/若しくはパターンフィルのレベル)に対応する。いくつかの実施形態では、第3の視覚的顕著性レベルは、それぞれのレベルを有する複数のそのような視覚的特性を含み、第4の視覚的顕著性レベルは、それぞれのレベルのうちの1つ以上を変更すること(例えば、増加又は減少させること)を含む。例えば、コンピュータシステムは、任意選択的に、第3のレベルのぼかし効果で個別のコンテンツを表示し、任意選択的に、第4のレベルのより大きな程度のぼかし効果及び低減された不透明度で個別のコンテンツを表示する。いくつかの実施形態では、第2の角度は、第1の角度と同じ三次元環境の個別の領域に対応する。いくつかの実施形態では、第4の視覚的顕著性レベルで個別のコンテンツを表示することは、個別のコンテンツに含まれる1つ以上の視覚要素の表示を中止することを含む。例えば、コンピュータシステムは、任意選択的に、写真ユーザインタフェースに含まれるメディア及び/又は個別のコンテンツに含まれるテキストの表示を停止する。第1の入力が第1の閾値角度を超えて受信されたときに第1の入力に基づいて1つ以上の動作を実行することは、個別のコンテンツの視覚的顕著性レベルの変更を開始するにもかかわらず、継続したユーザ相互作用を可能にし、それによって、個別のコンテンツとのユーザ相互作用の速度及び容易さを改善する。
いくつかの実施形態では、1つ以上の第2の基準は、視点2126などの現在の視点が、個別のコンテンツに対して第1の閾値角度を上回って(例えば、5、10、15、20、25、30、35、40、45、50、55、60、65、70、又は75度)配向されるときに満たされる基準を含み、図21Cにおいてカーソル2144によって示される入力を検出するときの視点2126に基づく角度などの第1の入力は、現在の視点が、個別のコンテンツに対して第1の閾値角度を上回る第1の角度で配向されるときに検出され、第1の角度は、(例えば、ステップ(単数又は複数)2226を参照して説明されるように)個別のコンテンツに対して第2の閾値角度(例えば、5、10、15、20、25、30、35、40、45、50、55、60、65、70、又は75度)未満である。
いくつかの実施形態では、コンピュータシステムは、1つ以上の入力デバイスを介して、カーソル2146によって示されるような第1の入力とは異なる第2の入力を検出し、第2の入力は、現在の視点が、図21Dのカーソル2146によって示される入力を検出するときの視点2126に基づく角度などの第1の角度とは異なり、個別のコンテンツに対して第1の閾値角度未満である第2の角度に向けられている間に検出される(2228b)(2228a)。いくつかの実施形態では、第2の入力は、前述の第1の入力と同様であるが、別個である。例えば、第1の入力は、テキストのスクロール動作、視覚要素の移動、及び/又は1つ以上のボタンの選択を任意選択的に含み、第2の入力は、個別のコンテンツの異なる部分(単数又は複数)及び/又は視覚要素に関して同様の動作(単数又は複数)を任意選択的に含む。いくつかの実施形態では、第1及び第2の入力は、個別のコンテンツに関連付けられた異なる動作に対応する。例えば、第1の入力は任意選択的にスクロール動作であり、第2の入力は任意選択的に視覚要素の移動である。
いくつかの実施形態では、第2の入力を検出しながら(2228c)(例えば、スクロール動作が進行中である間、個別のコンテンツの一部の移動動作が進行中である間、手書きをシミュレートする入力が個別のコンテンツに向けられている間、かつ/又はフォントベースのテキストを入力する入力が進行中である間)、コンピュータシステムは、1つ以上の入力デバイスを介して、図21Cから図21Dへの視点2126の変化など、第1の視点及び第2の視点とは異なる第3の視点への現在の視点の変化を検出し(2228d)、現在の視点の変化を検出したことに応じて(2228e)、現在の視点が1つ以上の第2の基準を満たすという判定に従って、コンピュータシステムは、図21Dのコンテンツ2107aのスクロールなど、第2の入力に従って1つ以上の動作を実行する(2228f)。例えば、スクロール及び/又は選択入力が進行中である間に第3の視点が1つ以上の第2の基準を満たす場合、コンピュータシステムは、任意選択的に、個別のコンテンツの少なくとも一部をスクロール及び/又は選択し続ける。いくつかの実施形態では、1つ以上の第2の基準は、現在の視点が、個別のコンテンツとのユーザ相互作用を可能にする三次元環境の個別の領域に対応するときに満たされる基準を含む。例えば、コンピュータシステムは、任意選択的に、コンピュータシステムのユーザの人差し指と親指との間の連続的又はほぼ連続的な接触など、現在の視点が変化している間にエアジェスチャが維持されていることを検出する。
いくつかの実施形態では、現在の視点が1つ以上の第2の基準を満たさないという判定に従って、コンピュータシステムは、コンテンツ2109aに対する変更の欠如などの第2の入力に従った1つ以上の動作の実行を見合わせる(2228g)。例えば、現在の視点が、個別のコンテンツの視覚的顕著性の変更に関連付けられた第1の閾値角度とは異なる(例えば、より大きい)第2の閾値角度を超える視野角に変化するとき、1つ以上の第2の基準は、任意選択的に満たされない。いくつかの実施形態では、現在の視点が、個別のコンテンツの視覚的顕著性の変更に関連付けられた第1の閾値距離とは異なる(例えば、より大きい)第2の閾値距離よりも大きい個別のコンテンツからの距離に変化するとき、1つ以上の第2の基準は、任意選択的に満たされない。そのような閾値は、任意選択的に、少なくともステップ(単数又は複数)2224及び/又はステップ(単数又は複数)2226を参照して説明される閾値距離及び/又は角度の1つ以上の特性を有する。いくつかの実施形態では、現在の視点が第2の閾値角度及び/又は第2の閾値距離を超えている間に入力が最初に検出された場合、コンピュータシステムは、1つ以上の動作の実行を見合わせる。いくつかの実施形態では、現在の視点が1つ以上の第2の基準を満たさない個別の視点に変化する間に入力が進行中である場合、コンピュータシステムは、任意選択的に、1つ以上の動作を停止し、追加的又は代替的に、現在の視点が1つ以上の第2の基準を再び満たすまで更なる入力に応答しない。1つ以上の第2の基準が満たされているという判定に従って動作を実行する又は実行を見合わせることは、現在の視点が個別のコンテンツと相互作用するのに不適切である間にユーザ入力が誤って個別のコンテンツに向けられる可能性を低減し、及び/又は現在の視点が相互作用に十分である場合にユーザが進行中の前の入力を継続することを可能にする。
いくつかの実施形態では、オブジェクト2106aなどの個別のコンテンツを第2の視覚的顕著性レベルで表示することは、表示生成構成要素を介して、個別のコンテンツに関連付けられた1つ以上の仮想的要素を表示することを含み、1つ以上の仮想的要素は、個別のコンテンツがオブジェクト2106aを囲む境界など第1の視覚的顕著性レベルで表示されたときには表示されなかった(2320)。例えば、コンピュータシステムは、任意選択的に、1つ以上のメニュー項目、個別のコンテンツを囲む境界の1つ以上の部分、個別のコンテンツに関連付けられた照明効果、個別のコンテンツ上のパターン化された及び/若しくは無地のフィルのオーバーレイ、並びに/又は個別のコンテンツを囲む境界に関連付けられた照明効果などの仮想コンテンツ(例えば、1つ以上の仮想的要素)を表示する。いくつかの実施形態では、1つ以上のメニュー項目は、個別のコンテンツの表示を停止し、個別のコンテンツを共有し、個別のコンテンツを移動させ、個別のコンテンツを最小化し、及び/又は個別のコンテンツに関連付けられた1つ以上の他の動作を行うための1つ以上の選択可能なアイコンなどの個別のコンテンツに関連付けられる。例えば、1つ以上の仮想的要素は、選択可能オプションを選択したときのユーザの現在の視点に基づいて個別のコンテンツを再中心化するための選択可能オプションを任意選択的に含む。照明効果は、任意選択的に、個別のコンテンツ及び/又は境界に向かって光る現実世界の光源の外観を模倣するシミュレートされた1つ以上の光源を含む。いくつかの実施形態では、コンピュータシステムは、第2の視覚的顕著性レベルで個別のコンテンツを表示するときに、第1の視覚的顕著性レベルで以前に表示されたエッジ及び/又は境界の視覚的顕著性レベルを変更する。いくつかの実施形態では、1つ以上の仮想的要素は、テキストラベル、グラフィカルアイコン、及び/又は個別のコンテンツ上のオーバーレイ(例えば、前述の視覚表現を含む)などの、アプリケーション及び/又は個別のコンテンツの視覚表現を含む。1つ以上の仮想的要素を表示することは、個別のコンテンツが第1の視覚的顕著性レベルで表示されている間に望ましくない可能性がある相互作用性を提供し、個別のコンテンツに対するユーザの現在の視点に関する視覚的フィードバックを提供し、それによって、第1の視覚的顕著性レベルで表示されているときに個別のコンテンツに誤って向けられる誤った入力を防止し、第1の視覚的顕著性レベルで個別のコンテンツを表示している間に追加の相互作用性を提供する。
いくつかの実施形態では、個別のコンテンツに関連付けられた1つ以上の仮想的要素を表示することは、図21Cから図21Dへの視点2126の変化など、ユーザの視点が変化するにつれて、第2の顕著性レベルの変化と同時に、オブジェクト2140などの1つ以上の仮想的要素のそれぞれの視覚的顕著性を変化させることを含む(2232)。例えば、コンピュータシステムは、任意選択的に、個別のコンテンツを、仮想境界(例えば、個別のコンテンツの部分(単数又は複数)を囲む色、半透明性、及び/又は輝度の量を有する線)などの1つ以上の仮想的要素を伴って徐々に、第2の視覚的顕著性レベルの変化と同時に表示する。そのような段階的な変化は、任意選択的に、個別のコンテンツの輝度及び/又は不透明度が減少する一方で、境界の輝度及び/又は不透明度を増加させることを含む。1つ以上の仮想的要素のそのような段階的変化は、仮想境界を参照して説明されるが、ステップ(単数又は複数)2230を参照して説明される1つ以上の仮想的要素は、任意選択的に、仮想境界と同様に又は同じように徐々に変化されることが理解される。追加的又は代替的に、1つ以上の仮想的要素は、任意選択的に、個別のコンテンツの視覚的顕著性の段階的変化に応じて共有量だけ変化する輝度及び/又は不透明度のレベルを共有する。個別のコンテンツの視覚的顕著性レベルの変化と同時に個別のコンテンツの視覚的顕著性を変化させることは、個別のコンテンツに対するユーザの視点の変化に関する追加の視覚的フィードバックを提供し、それによって、現在の視点が変化及び/又は確定するときに、1つ以上の視覚要素及び/又は個別のコンテンツに向けられる誤った入力を防止する。
いくつかの実施形態では、第2の視覚的顕著性レベルで個別のコンテンツを表示することは、個別のコンテンツの1つ以上の部分を囲む仮想境界(及び/又はエッジ)を第3の視覚的顕著性レベルで表示することを含み(2334a)、第1の視覚的顕著性レベルで個別のコンテンツを表示することは、個別のコンテンツの1つ以上の部分を囲む仮想境界を第3の視覚的顕著性レベルで表示することを含まない(2334b)。例えば、仮想境界は、ステップ(単数又は複数)2230及びステップ(単数又は複数)2232を参照して説明される境界(単数又は複数)の1つ以上の特性を有する。いくつかの実施形態では、コンピュータシステムは、個別のコンテンツが第1の視覚的顕著性レベルで表示されている間、仮想境界を表示しない。いくつかの実施形態では、仮想境界及び個別のコンテンツは、異なるそれぞれの視覚的顕著性レベルで表示される。いくつかの実施形態では、仮想境界に関連付けられた第3の視覚的顕著性レベルは、個別のコンテンツの視覚的顕著性レベルの変化に対抗する。例えば、コンピュータシステムは、任意選択的に、個別のコンテンツをフェードアウトすると同時に、仮想境界を(例えば、輝度及び/又は不透明度において)フェードインする。第3の視覚的顕著性レベルで仮想境界を表示することは、個別のコンテンツに対するユーザの向きを伝え、それによって、ユーザの現在の視点が変化するときの個別のコンテンツとの誤った相互作用を減少させる。
いくつかの実施形態では、第2の視覚的顕著性レベルで個別のコンテンツを表示することは、図21Cのオブジェクト2106aのパターンフィルなどのパターンフィルで個別のコンテンツを表示すること(2336)を含む。例えば、ステップ(単数又は複数)2230及び/又はステップ(単数又は複数)2232を参照して説明されるように。パターンフィルは、任意選択的に、無地色及び/又は1つ以上のパターン(例えば、クロスハッチング、ドット、垂直/水平/対角線、グラデーションフィル、及び/又は別の同様のパターン)である。いくつかの実施形態では、パターンフィルは、第1の視覚的顕著性レベルで個別のコンテンツを表示するときに、異なる(例えば、より低い)視覚的顕著性レベルで任意選択的に表示されるか、又は第1の視覚的顕著性レベルで個別のコンテンツを表示するときに表示されない。パターンフィルで個別のコンテンツを表示することは、個別のコンテンツに対するユーザの向きを伝え、それによって、ユーザの現在の視点が変化するときの個別のコンテンツとの誤った相互作用を減少させる。
いくつかの実施形態では、図21Aのオブジェクト2106aなどの個別のコンテンツを第1の視覚的顕著性レベルで表示することは、図21Aのオブジェクト2106aの下に投じられた影などの第3の視覚的顕著性レベルで個別のコンテンツに対応する仮想影を表示すること(2338a)を含み、図21Bのオブジェクト2106aなどの第2の視覚的顕著性レベルで個別のコンテンツを表示することは、第3の視覚的顕著性レベルとは異なる(例えば、より低い)第4の視覚的顕著性レベルで仮想影を表示することを含み、第4の視覚的顕著性レベルは、図21Bのオブジェクト2106aの下に投じられた影など、ユーザの現在の視点が変化するにつれて変化する(2338b)。例えば、コンピュータシステムは、任意選択的に、コンテンツに向けられた現実世界の光源によって投じられる影に類似した外観を伴って、個別のコンテンツの下に投じられる仮想影を表示する。いくつかの実施形態では、コンピュータシステムは、1つ以上の仮想光源(例えば、三次元環境の床に対して個別のコンテンツの上方に配置される)及び/又は1つ以上の物理的光源(例えば、ユーザの物理的環境内)に基づいて、仮想影を表示する。そのような1つ以上の仮想光源は、任意選択的に、個別のコンテンツに対して異なる角度で配置され、いくつかの実施形態では、仮想コンテンツの1つ以上のインスタンス(例えば、1つ以上の仮想ウィンドウ)は、仮想コンテンツの1つ以上のインスタンスに対して異なる角度(単数又は複数)で位置付けられた1つ以上の光源をそれぞれ有する。例えば、第1の仮想ウィンドウ(例えば、個別のコンテンツ及び/又は個別のコンテンツを含む)は、任意選択的に、第1の仮想ウィンドウの真上に配置された第1の仮想ライトを伴って表示され、第1の仮想ウィンドウの下に第1の仮想影を生成し、第2の仮想ウィンドウは、任意選択的に、第2の仮想ウィンドウの真上に配置された第2の仮想ライトを伴って表示され、第2の仮想ウィンドウの下に第2の仮想影を生成する。いくつかの実施形態では、仮想影の形状及び/又はサイズは、仮想コンテンツと異なるか、又は同じであり、いくつかの実施形態では、個別のコンテンツのサイズ及び/又は形状に基づく。例えば、平坦又はほぼ平坦な仮想ウィンドウは、仮想影の可視性を改善するために、楕円形状を有する仮想影に任意選択的に関連付けられる。いくつかの実施形態では、視覚的顕著性レベルが変化する及び/又はユーザの現在の視点が変化する(例えば、増加又は減少する)と、影の視覚的顕著性が変化する(例えば、増加又は減少する)。個別のコンテンツに関連付けられた仮想影を表示することは、個別のコンテンツに対するユーザの向きに関する視覚的フィードバックを提供し、それによって、個別のコンテンツとの誤った相互作用の可能性を減少させる。
いくつかの実施形態では、個別のコンテンツを第1の視覚的顕著性レベルで表示することは、表示生成構成要素を介して、1つ以上の仮想的要素を個別のコンテンツと同時に表示することを含み、1つ以上の仮想的要素は、(例えば、ステップ(単数又は複数)2230を参照して説明されるように)図21Aのオブジェクト2140などの第3の視覚的顕著性レベルで表示される(2240a)。いくつかの実施形態では、1つ以上の仮想的要素は、個別のコンテンツに関連付けられた1つ以上の選択可能オプション(例えば、メニュー)を含む。いくつかの実施形態では、個別の選択可能オプションは、表示された個別のコンテンツを少なくとも部分的に変更し、メディアの再生を開始し、現在再生中のメディアの断片を変更し、及び/又は追加のメディアを再生させるために選択可能である。いくつかの実施形態では、三次元環境内で個別のコンテンツを移動させる入力に応じて、コンピュータシステムは更に、それに対応して、三次元環境内で1つ以上の仮想的要素を(例えば、個別のコンテンツの移動の方向及び/又は大きさに)移動させる。
いくつかの実施形態では、1つ以上の入力デバイスを介して、図21Bから図21Cへの視点2126の変化など、ユーザの現在の視点の第2の視点への変化を検出する間(例えば、それに応じて)(2240b)、ユーザの現在の視点が1つ以上の第1の基準を満たすという判定に従って、コンピュータシステムは、表示生成構成要素を介して、第3の視覚的顕著性レベルとは異なる(例えば、より低い)第4の視覚的顕著性レベルで1つ以上の仮想的要素を表示し、第4の視覚的顕著性レベルは、図21Bに示すものに対する図21Cのオブジェクト2140の視覚的顕著性レベルの変化など、ユーザの現在の視点が変化するにつれて変化する(2240c)。例えば、コンピュータシステムは、任意選択的に、現在の視点が変化する(例えば、増加又は減少する)と同時に変化するそれぞれの視覚的顕著性レベル(例えば、任意選択的に、共有視覚的顕著性レベル)で1つ以上の仮想的要素を表示する。そのような変化は、任意選択的に、個別のコンテンツの視覚的顕著性レベル変化に従うか、又はそれに対抗する。例えば、コンピュータシステムは、任意選択的に、1つ以上の第1の基準が満たされるとき、個別のコンテンツの視覚的顕著性レベルを減少させ、任意選択的に、1つ以上の第1の基準が満たされるとき、1つ以上の仮想的要素の視覚的顕著性レベル(単数又は複数)を増加させる。それぞれの視覚的顕著性レベルで1つ以上の仮想的要素を表示することは、個別のコンテンツに対するユーザの現在の視点の視覚的フィードバックを提供し、それによって、ユーザが誤って個別のコンテンツと相互作用する可能性を低減し、個別のコンテンツの視覚的顕著性レベルを変更する(例えば、増加させる)ようにユーザを誘導する。
いくつかの実施形態では、三次元環境内の第1のポジションに第1の視覚的顕著性レベルで図21Bのオブジェクト2106aなどの個別のコンテンツを表示している間、コンピュータシステムは、表示生成構成要素を介して、三次元環境内の第2のポジションにオブジェクト2150aなどの第2の個別のコンテンツを表示し、個別のコンテンツは、第1のタイプのコンテンツであり、第2の個別のコンテンツは、第1のタイプのコンテンツとは異なる第2のタイプのコンテンツである(2242a)。例えば、コンピュータシステムは、任意選択的に、1つ以上のメニューを含むタイプ、コンピュータシステムのオペレーティングシステムに関連付けられたシステムユーザインタフェースに関連付けられたタイプ、実体的な仮想コンテンツ(例えば、メディアユーザインタフェース、ウェブブラウジングユーザインタフェース、マルチウィンドウコンテンツユーザインタフェース)に関連付けられたタイプ、及び/又は三次元環境内に表示された個別の仮想コンテンツに関連付けられた三次元仮想オブジェクト(例えば、球、車、及び/又はアイコン)を含むタイプなどの仮想コンテンツのタイプを分類する。個別のコンテンツは、例えば、任意選択的に第1のタイプ(例えば、メディア再生ユーザインタフェース)であり、第2の個別のコンテンツは、任意選択的に第2の異なるタイプの仮想コンテンツ(例えば、ステップ(単数又は複数)2230を参照して説明される1つ以上の特性を有する1つ以上の選択可能なメニューアイコン)である。いくつかの実施形態では、個別のコンテンツ及び第2の個別のコンテンツのタイプの違いに起因して、コンピュータシステムは、以下で更に説明されるように、個別のコンテンツ及び/又は第2の個別のコンテンツの視覚的顕著性レベルを異なるように変更する。いくつかの実施形態では、第1のタイプの仮想オブジェクトは、ユーザインタフェースのオペレーティングシステムの態様を変更するように動作しない(例えば、第1のタイプの仮想オブジェクトは、アプリケーションユーザインタフェースであるなど、非システム又は非オペレーティングシステムユーザインタフェースである)。いくつかの実施形態では、第2のタイプの仮想オブジェクトは、システム又はオペレーティングシステムユーザインタフェース(例えば、コンピュータシステム上のアプリケーションのユーザインタフェースではなく、コンピュータシステムのオペレーティングシステムのユーザインタフェース)である。
いくつかの実施形態では、図21Hから図21Iへの視点2126など、第1の視点から第2の視点へのユーザの現在の視点の変化を検出したことに応じて(2242b)、コンピュータシステムは、三次元環境内の第1のポジションに、第1の視覚的顕著性レベルとは異なる第3の視覚的顕著性レベルで個別のコンテンツを表示し(2242c)、三次元環境内の第2のポジションに第2の個別のコンテンツを表示することを停止し(2242d)、表示生成構成要素を介して、図21aのオブジェクト2150aなど、三次元環境内の第1及び第2のポジションとは異なる三次元環境内の第3のポジションに第2の個別のコンテンツを表示し(2242e)、表示生成構成要素を介して、三次元環境内の第1及び第2のポジションとは異なる三次元環境内の第3のポジションに第2の個別のコンテンツを表示する(2242f)。例えば、コンピュータシステムは、任意選択的に、現在の視点の変化に応じて、第3の視覚的顕著性レベル(例えば、減少又は増加した視覚的顕著性)で個別のコンテンツを表示し、任意選択的に、三次元環境に対する個別のコンテンツのポジションを維持する(例えば、ステップ(単数又は複数)2202を参照して更に説明されるように)。例えば、コンピュータシステムは、任意選択的に、現在の視点の変化に応じて、第2のポジションにおける第2の個別のコンテンツの表示をフェードアウト及び/又は急停止する。例えば、コンピュータシステムは、第2の個別のコンテンツが任意選択的に第2のタイプの仮想コンテンツであるため、現在の視点の変化に応じて任意選択的に変化したユーザ視点に基づいて、第3のポジションで第2の個別のコンテンツを任意選択的にフェードインする。第2の個別の仮想コンテンツは、例えば、個別のコンテンツを閉じる(例えば、個別のコンテンツに関連付けられた表示を中止する及び/又は処理を終了する)ための選択可能オプションなど、個別のコンテンツのポジション及び/又は向きとは無関係に、ユーザが任意選択的に相互作用する個別のコンテンツに関連付けられた1つ以上のシステムユーザインタフェース及び/又は1つ以上の選択可能なメニュー項目を任意選択的に含む。いくつかの実施形態では、第2の個別のコンテンツのポジション及び/又は向きは、コンピュータシステムの現在の視点の変化を検出する前と後で同じである。いくつかの実施形態では、第2の個別のコンテンツは、視覚的顕著性において同じように(又は全く)変化しない。例えば、複数の通知を含むメニューは、現在の視点のポジションの変化にかかわらず、輝度、不透明度、及び/又は彩度のレベルで任意選択的に維持される。第2の視点への現在の視点の変化を検出したことに応じて、三次元環境内の第3のポジションに第2の個別のコンテンツを表示することは、第2の個別のコンテンツへの一定又はほぼ一定のアクセス可能性を提供し、それによって、第2の個別のコンテンツを表示させるための移動などのユーザ入力を減少させる。
いくつかの実施形態では、1つ以上の入力デバイスを介して、ユーザの視点2126などの現在の視点の、図21Aから図21Bなどの第2の視点への変化を検出している間(2244a)(例えば、それに応じて)、ユーザの現在の視点が1つ以上の第1の基準を満たさないという判定に従って、コンピュータシステムは、図21Bのオブジェクト2106aの視覚的顕著性などの第1の視覚的顕著性レベルで個別のコンテンツの表示を維持する(2244b)。いくつかの実施形態では、コンピュータシステムは、現在の視点が、個別のコンテンツを好適に視聴することに関連付けられた視認領域内のそれぞれのポジション間で(例えば、ステップ(単数又は複数)2222を参照して説明される1つ以上の閾値角度及び/又は距離内で)変化したと判定する。視認領域内の現在の視点の変化を検出したことに応じて、コンピュータシステムは、任意選択的に、個別のコンテンツの視覚的顕著性レベルの変更を見合わせる(例えば、第1の視覚的顕著性レベルの表示を維持する)。1つ以上の第1の基準が満たされないときに第1の視覚的顕著性レベルを維持することは、ユーザが個別のコンテンツとの相互作用を任意選択的に継続することができるというフィードバックを提供し、それによって、ユーザが、そのような相互作用を可能にするために個別のコンテンツの現在の視点及び/又は向きを不必要に変更する可能性を減少させる。
方法2200における動作が説明された特定の順序は、例示的なものにすぎず、説明された順序が、動作が実行され得る唯一の順序であることを示すものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。
図23A~図23Eは、コンピュータシステムのユーザの現在の視点の変化を検出したことに応じて、1つ以上の仮想オブジェクトの1つ以上の部分の視覚的顕著性レベルを変更又は維持する、コンピュータシステムの実施例を図示する。
図23Aは、コンピュータシステム101の表示生成構成要素(例えば、図1の表示生成構成要素120)を介して可視である三次元環境2302を示し、三次元環境2302は、(例えば、コンピュータシステム101が位置する物理的環境の後壁に面して)俯瞰図に示すユーザの視点2326から可視である。図1~図6を参照して上述したように、コンピュータシステム101は、任意選択的に、表示生成構成要素(例えば、タッチスクリーン)と、複数の画像センサ(例えば、図3の画像センサ314)と、を含む。画像センサは、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又はユーザがコンピュータシステム101と相互作用する間にユーザ若しくはユーザの一部(例えば、ユーザの1つ以上の手)の1つ以上の画像をキャプチャするためにコンピュータシステム101が使用することができるであろう任意の他のセンサのうちの1つ以上を含む。いくつかの実施形態では、以下に図示及び説明されるユーザインタフェースはまた、ユーザインタフェース又は三次元環境をユーザに表示する表示生成構成要素と、物理的環境及び/又はユーザの手の移動(例えば、ユーザから外向きに面する外部センサ)、かつ/又はユーザの視線(例えば、ユーザの顔に向かって内向きに面する内部センサ)を検出するためのセンサとを含む、ヘッドマウントディスプレイ上に実現され得る。
図23Aに示すように、コンピュータシステム101は、コンピュータシステム101の周囲の物理的環境内の1つ以上のオブジェクトを含む、コンピュータシステム101の周囲の物理的環境(例えば、動作環境100)の1つ以上の画像をキャプチャする。いくつかの実施形態では、コンピュータシステム101は、三次元環境2302内の物理的環境の表現を表示し、及び/又は物理的環境は、表示生成構成要素120を介して三次元環境2302内で可視である。例えば、表示生成構成要素120を介して可視である三次元環境2302は、コンピュータシステム101が配置されている部屋の物理的な床並びに後壁の表現を含む。
図23Aでは、三次元環境2302はまた、仮想オブジェクト2306a(俯瞰図内のオブジェクト2306bに対応する)、2308a(俯瞰図内のオブジェクト2308bに対応する)、2310a(俯瞰図内のオブジェクト2310bに対応する)、2350a(俯瞰図にはまだ示されていないオブジェクト2350bに対応する)、及び2340を含む。図23Aでは、可視仮想オブジェクトは、二次元オブジェクトである(例えば、任意選択的に、2310aを除く)。いくつかの実施形態では、オブジェクト2340は、コンテンツ及び/又はオブジェクト2306a自体に任意選択的に関連付けられる(例えば、選択可能なメニューオプションを含む)。本開示の例は、任意選択的に、三次元オブジェクトに等しく適用されることが理解される。可視仮想オブジェクトは、任意選択的に、アプリケーションのユーザインタフェース(例えば、メッセージングユーザインタフェース、又はコンテンツブラウジングユーザインタフェース)、三次元オブジェクト(例えば、仮想時計、仮想ボール、又は仮想車)、又はコンピュータシステム101の物理的環境に含まれないコンピュータシステム101によって表示される任意の他の要素のうちの1つ以上である。三次元環境2302は、仮想オブジェクト2310aを含み、これは、任意選択的に、同様のサイズ及び/又は寸法を有する同等の物理的オブジェクトと同様の三次元仮想オブジェクトである。そのような三次元仮想オブジェクトは、任意選択的に、幾何学的形状、角柱、同等の物理的オブジェクトの芸術的レンダリング、三次元グラフィカルアイコン、及び/又は仮想環境の表現のうちの1つ以上である。
オブジェクト2306aは、任意選択的に、コンテンツ2307a及びコンテンツ2309aなどの仮想コンテンツを含む仮想オブジェクトである。そのようなコンテンツは、任意選択的に、アプリケーションの1つ以上のユーザインタフェース、インターネットブラウジングアプリケーションの1つ以上の仮想ウィンドウ、及び/又はメディアの1つ以上のインスタンスである。オブジェクト2308aは、任意選択的に、オブジェクト2308aが方法2200を参照して説明される視点2326から閾値距離(例えば、0.01、0.1、1、10、100、又は1000m)を超えているので、三次元環境に対して相対的に低減された視覚的顕著性レベル(例えば、低減された不透明度、輝度、彩度、ぼかし効果による不明瞭化、及び/又は別の好適な視覚的変更)で表示される、個別の仮想コンテンツを含む仮想オブジェクトである。オブジェクト2308aは、任意選択的に、同様の物理的オブジェクトが視点2326に対するオブジェクト2306aと同様に別の物理的オブジェクトを覆い隠すようなポジションに表示される。そのような不明瞭化を模倣するために、コンピュータシステムは、任意選択的に、1つ以上の部分の不透明度を減少させるなど、オブジェクト2306aの1つ以上の部分の視覚的顕著性レベルを減少させる。
いくつかの実施形態では、オブジェクト2306a、オブジェクト2308a、及び/又はオブジェクト2340の1つ以上の部分はそれぞれ、コンピュータシステムのユーザの現在の視点2326が、以下で更に説明される個別のオブジェクトの閾値2330(例えば、距離)内で移動するという判定に従って、視覚的顕著性レベルを変化させる。オブジェクト2310aは、任意選択的に、二次元オブジェクト(例えば、個別の仮想オブジェクトを含む)と同様又は同じである1つ以上の特性を有する三次元オブジェクトである仮想オブジェクトであり、任意選択的に、後述するように、視点2326がオブジェクト2310aの閾値距離内で移動するかどうかに依存しない個別の視覚的顕著性レベルで表示される。
いくつかの実施形態では、コンピュータシステム101は、オブジェクト2306bを見る及び/又はオブジェクト2306bと相互作用するための動作パラメータの外側にある、オブジェクト2306bに対するポジション及び/又は向きの範囲を決定する。したがって、コンピュータシステムは、任意選択的に、オブジェクト2306bとの誤った相互作用を減少させるために、オブジェクト2306bの1つ以上の部分の視覚的顕著性レベルを低減し(例えば、1つ以上の部分の不透明度、輝度、及び/又は彩度を低減し)、視点2326は、動作パラメータの外側のそのようなポジションに対応し、コンピュータシステムのユーザが、オブジェクト2308aの部分などの三次元環境2302の他の部分、及び/又は物理的環境の後壁などのユーザの物理的環境の表現を見ることを可能にする。ポジション及び/又は向きの範囲は、任意選択的に、俯瞰図においてオブジェクト2306bを囲む楕円形の境界として示される閾値2330によって表される。
図21A-21Lを参照して説明されるように、コンピュータシステムは、任意選択的に、オブジェクト2306aの視覚的顕著性レベルを変化させることに関連付けられる視認領域2330-1を決定する。視認領域2330-1は、視認領域2130-1などの方法2200及びその対応する図(例えば、図21A-21L)を参照して説明される仮想オブジェクトの視覚的顕著性レベルを変化させることに関連付けられる、三次元環境の領域(単数又は複数)の1つ以上の特性を有することを理解されたい。そのような視認領域(単数又は複数)の説明は、簡潔にするためにここでは省略される。
図23Bにおいて、コンピュータシステム101は、仮想オブジェクトに関連付けられた閾値内へのユーザの現在の視点2326の移動を検出する。例えば、俯瞰図における視点2326は、オブジェクト2306bに関連付けられた閾値2330内のポジションまで、オブジェクト2306bのより近くに移動する。移動を検出したことに応じて、コンピュータシステムは、任意選択的に、パンチスルー領域2320を伴ってオブジェクト2306aを表示する(任意選択的に急激に、オブジェクト2306aが瞬時に、又はほぼ瞬時にパンチスルー領域2320を含んで表示されるように)。パンチスルー領域2320は、任意選択的に、前述の低減された視覚的顕著性レベルで表示されたオブジェクト2306bの1つ以上の部分に対応する。例えば、パンチスルー領域2320に含まれるオブジェクト2306aの部分内で、コンピュータシステム101は、任意選択的に、個別のコンテンツ及び/又はオブジェクト2306aの不透明度を減少させ(例えば、その部分が透明又はほぼ透明になるように)、個別のコンテンツ及び/又はオブジェクト2306aの輝度を減少させ、個別のコンテンツ及び/又はオブジェクト2306aの彩度を減少させ、並びに/あるいは個別のコンテンツ及び/又はオブジェクト2306aの視覚的顕著性レベルの不均一な変更(例えば、パンチスルー領域2320のエッジに向かって延びる透明度、輝度、及び/又は彩度の減少の勾配)を適用する。
パンチスルー領域2320の視覚的顕著性(本明細書では「パンチスルー領域顕著性」と呼ぶ)レベルの低下により、コンピュータシステムは、任意選択的に、図23Bの俯瞰図に示すように、ユーザがパンチスルー領域2320によって境界付けられた部分(単数又は複数)に対応する透明な物理的ウィンドウを通して、視点2326に対してオブジェクト2308aの背後にあり続けるオブジェクト2308aを見ることができるかのように、オブジェクト2306aの一部のビューをパンチスルー領域2320を通して提示する。いくつかの実施形態では、閾値2330は、オブジェクト2306aのサイズ及び/又は形状など、オブジェクト2306aの1つ以上の特性に基づいて決定される。いくつかの実施形態では、コンピュータシステム101は、パンチスルー領域2320に含まれないオブジェクト2306aの部分の視覚的顕著性レベルを維持する。
いくつかの実施形態では、パンチスルー領域顕著性が低減されたためにオブジェクト2308aを可視である間、コンピュータシステム101は、オブジェクト2308aに向けられたユーザ入力を検出し、パンチスルー領域顕著性が低減されなかった場合にオブジェクト2308aを対象とするであろう、オブジェクト2306aに関連付けられた1つ以上の動作を開始する。例えば、方法2400を参照して更に説明されるように、図23Bにおいて、コンピュータシステム101は、三次元環境の領域2321においてオブジェクト2308aに向けられたカーソル2312によって表される1つ以上の入力を任意選択的に検出する。そのような1つ以上の入力は、任意選択的に、領域2321に向けられたユーザの注意を検出すると同時に手2303からのエアジェスチャ(例えば、ユーザの手の親指及び人差し指によるつまむこと)を検出すること、領域2321に向けられた注意を検出しながら仮想ボタン又は物理的ボタンに向けられた選択入力を検出すること、及び/又はコンピュータシステム101と通信するマウスなどのポインティングデバイスが領域2321に向けられている間に選択入力を検出することを含む。
オブジェクト2306a及びオブジェクト2308aが図23Bに示すように表示されている間の入力に応じて、コンピュータシステム101は、メディア再生の開始、仮想ボタンなどの選択可能オプションの選択、オブジェクト2308aに含まれるテキスト及び/若しくはハイパーリンクの選択、並びに/又はオブジェクト2308aのポジション、向き、及び/若しくはサイズの変更など、オブジェクト2308aに関連付けられた1つ以上の動作を任意選択的に開始する(オブジェクト2306aに関連付けられた動作は開始しない)。オブジェクト2306aがパンチスルー領域2320を含まない場合(例えば、図23Aに示すように、視点2326が閾値2330内にないために、又は、図23Bに示すポジションにある間に視点2326が閾値2330内にないように閾値2330が異なる大きさを有する場合)、コンピュータシステム101は、(例えば、図23Bのカーソル2312によって示されるものと同様のオブジェクト2306aの左上部分への)同等及び/又は同じ入力を任意選択的に検出し、コンピュータシステムは、オブジェクト2306aに含まれるコンテンツの選択、及び/又はオブジェクト2308aに関連付けられているがオブジェクト2306aのコンテンツに基づくものとして説明される1つ以上の動作など、オブジェクト2308aに関連付けられた1つ以上の動作の代わりに、オブジェクト2306aに対する1つ以上の動作を任意選択的に開始する。
いくつかの実施形態では、コンピュータシステム101は、図23Bのカーソル2314によって表されるオブジェクト2310aに向けられた1つ以上の入力を検出する。1つ以上の入力は、任意選択的に、俯瞰図に示すオブジェクト2310bのポジションを更新されたポジションに平行移動させる要求に対応する。例えば、1つ以上の入力は、前述の手2303からのエアピンチジェスチャを任意選択的に含み、(例えば、親指及び人差し指が触れあったままである間の)ユーザの手の動きを任意選択的に含む。平行移動の方向及び大きさは、任意選択的に、手の動きの方向及び大きさに基づく。例えば、オブジェクト2310aは、任意選択的に、ユーザの身体のより近くに移動するエアピンチに従って、及び/又はオブジェクトの動きの大きさが手の動きに比例するか、反比例するか、又は別様に基づくように、ユーザの現在の視点2326のより近くに移動する。
図23Cにおいて、図23Bのオブジェクト2308aに向けられた1つ以上の入力に応じて、コンピュータシステム101は、方法2000を参照して説明される三次元環境2302内のオブジェクト2306a及び2308aの相対ポジションを維持しながら、オブジェクト2308aの視覚的顕著性レベルを増加させ、オブジェクト2306aの1つ以上の部分の視覚的顕著性レベルを減少させる。
いくつかの実施形態では、オブジェクト2306aの1つ以上の部分の1つ以上の視覚的顕著性レベルは、ユーザの現在の視点がオブジェクト2306aに関連付けられた閾値を入力したことに応じて維持される。例えば、コンピュータシステム101は、任意選択的に、前述のパンチスルー領域の顕著性を減少させるが、パンチスルー領域2320内にないオブジェクト2306aの部分(単数又は複数)の不透明度、輝度、及び/又は彩度を維持する。いくつかの実施形態では、オブジェクト2340は任意選択的にオブジェクト2340(前述)に関連付けられているため、オブジェクト2340の視覚的顕著性レベルは、パンチスルー領域顕著性としての対応する(例えば、同じ又は同様の)変化量及び/又は変化方向だけ、オブジェクト2306aの視覚的顕著性レベルの変化と同時に変化する。例えば、オブジェクト2340は、任意選択的に、パンチスルー領域顕著性に対する同様の変更に従って、より透明/より暗く/より彩度が低い。
図23Cでは、コンピュータシステム101は、任意選択的に、図23Cのオブジェクト2310bによる俯瞰図に示すように、図23Bのオブジェクト2310aを平行移動させる1つ以上の入力に応じて、オブジェクト2310aも移動させる。閾値2330を参照して説明される1つ以上の特性を有する閾値2328は、任意選択的に、オブジェクトのサイズ、形状、及び/又はタイプなどのオブジェクト2310aの特性に基づいて決定される。例えば、オブジェクト2310aはオブジェクト2306aよりも相対的に小さいので、閾値2328は、任意選択的に、閾値2330よりも比例的に相対的に小さい。いくつかの実施形態では、閾値2328及び/又は閾値2330は、それぞれの仮想オブジェクトの中心又は個別の部分(例えば、最外点)から測定された閾値距離(例えば、半径)に基づく。いくつかの実施形態では、オブジェクト2310aが三次元仮想オブジェクトであるため、コンピュータシステム101は、任意選択的に、オブジェクト2310aが第1のタイプの仮想オブジェクトであると判定する(オブジェクト2306aが二次元であり、したがって第2の異なるタイプの仮想オブジェクトであることとは対照的に)。
図23Cにおいて、コンピュータシステム101は、図23Bを参照して説明される1つ以上の入力と同様の、視点2326に向かうオブジェクト2310aの平行移動を要求する追加の1つ以上の入力を検出する。しかしながら、いくつかの実施形態では、コンピュータシステム101は、ユーザの視点2326から閾値距離より近くにオブジェクト(例えば、仮想オブジェクト)を移動させない。
例えば、図23Dでは、図23Cのオブジェクト2310aを平行移動させる追加の要求に応じて、図23C及び図23Dの俯瞰図に示すように、視点2326がオブジェクト2310bからの閾値2328にあるので、コンピュータシステムはオブジェクト2310aを移動させない。前述したように、コンピュータシステム101は、任意選択的に、オブジェクト2310aの寸法など、オブジェクト2310aの特性及び/又はオブジェクトのタイプに基づいて閾値2328の特性を決定する。例えば、コンピュータシステム101は、任意選択的に、視点2326とオブジェクト2310aとの間の最小近接度(例えば、閾値2328)を含む特性を決定するが、追加又は代替の特性がオブジェクト2310aにそのタイプに基づいて割り当てられることが理解される。
図23Eにおいて、コンピュータシステム101は、俯瞰図に示すオブジェクト2310bの閾値2328内の視点2326の移動を検出するが、第1のタイプの仮想オブジェクト(例えば、二次元ではなく三次元)であるため、オブジェクト2310の1つ以上の部分の視覚的顕著性レベルの変更を見合わせる。例えば、図32Eに示すように、視点2326は、オブジェクト2310aがユーザの現在の視点2326のすぐ前にあるように変更されるが、コンピュータシステム101は、オブジェクト2310aの視覚的顕著性を変更しておらず(例えば、不透明度、輝度、及び/又は彩度を減少させていない)、物理的環境の後壁が可視である対応するパンチスルー領域を表示していない。
本明細書で説明される仮想オブジェクトタイプの分類は単に例示的なものであり、決して限定するものではないことが理解される。例えば、オペレーティングシステム(例えば、コンピュータシステム101の輝度、無線接続ステータス、及び/又はバッテリ消費モードを変更するためのコントロール)に関連付けられた仮想オブジェクトは、任意選択的に、第1のタイプの仮想オブジェクトであり、サードパーティアプリケーション開発者(例えば、メディアストリーミング再生アプリケーション及び/又はサードパーティ開発ビデオゲーム)に関連付けられた別の仮想オブジェクトは、第2のタイプの仮想オブジェクトである。
いくつかの実施形態では、閾値2330は、図23A-23Eに示す楕円形状ではなく、異なる形状を有し、及び/又は1つ以上の離散領域からなる。例えば、方法2400を参照して更に説明されるように、閾値2330は、任意選択的に、半円の平坦なエッジがオブジェクト2306bの平面に平行であるような半円形状領域などのオブジェクト2306bの側面に対応する。一例として、オブジェクト2306bは、任意選択的に、メディア再生及びストリーミングアプリケーションなどのアプリケーションのユーザインタフェースに対応し、及び/又はそれを含む。オブジェクト2306bの右側から延びる矢印は、任意選択的に、メディア再生及びストリーミングアプリケーションのメディアが可視である表面など、オブジェクトの第1の側面に対応する。視点2326が半円閾値(例えば、オブジェクト2306bのメディア側に対応する)内で任意選択的に移動するとき、コンピュータシステム101は、メディアの1つ以上の部分の視覚的顕著性レベルを任意選択的に変更する。視点2326は、半円閾値の外側のオブジェクト2306bの反対側に対応するが、メディアは、任意選択的に全く表示されず、したがって、視点2326の変化は、非表示メディアの1つ以上の部分の視覚的顕著性レベルを変化させない。いくつかの実施形態では、オブジェクト2340の視覚的顕著性レベルは、オブジェクト2306aの視覚的顕著性レベルの変化と同時に、対応する量だけ変化する。
図24A~図24Fは、いくつかの実施形態による、それぞれの仮想オブジェクトへのユーザの近接度に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。いくつかの実施形態では、方法2400は、1つ以上の入力デバイス及び表示生成構成要素120などの表示生成構成要素と通信するコンピュータシステム101などのコンピュータシステムにおいて実行される。いくつかの実施形態では、コンピュータシステムは、方法800、1000、1200、1400、1600、1800、2000、及び/又は2200のコンピュータシステムの特性のうちの1つ以上を有する。いくつかの実施形態では、表示生成構成要素は、方法800、1000、1200、1400、1600、1800、2000、及び/又は2200の表示生成構成要素の1つ以上の特性を有する。いくつかの実施形態では、1つ以上の入力デバイスは、方法800、1000、1200、1400、1600、1800、2000、及び/又は2200の1つ以上の入力デバイスの特性のうちの1つ以上を有する。
いくつかの実施形態では、コンピュータシステムは、表示生成構成要素を介して、視点2326などのコンピュータシステムのユーザの第1の視点に対して、三次元環境2302内のオブジェクト2306aなどの三次元環境内の第1のポジションに第1の仮想オブジェクトを表示し、第1の仮想オブジェクトは、図23Aのオブジェクト2306aの視覚的顕著性レベルなどの三次元環境に対する第1の視覚的顕著性レベル(例えば、方法1800を参照して説明される視覚的顕著性の1つ以上の特性及びそれぞれの視覚的顕著性レベルを有する)で表示され、ユーザの第1の視点は、閾値2330内又は外のポジションの範囲などの第1の仮想オブジェクトの個別の部分に対する個別のポジション範囲内にある(2402a)。例えば、仮想オブジェクトは、方法2200を参照して説明される個別のコンテンツの1つ以上の特性、並びに/又は方法1600、1800、2000、2200、及び2400を参照して説明される仮想コンテンツ及び/若しくは仮想オブジェクトの1つ以上の特性を有する。いくつかの実施形態では、第1のポジションは、任意選択的に第1のポジションに配置される同様のサイズ及び/又は形状の物理的オブジェクトの外観と同様に、仮想オブジェクトが第1のポジション及び/又は向きに表示されるように、三次元環境に対してワールドロックされる。いくつかの実施形態では、仮想オブジェクトは、仮想オブジェクトの1つ以上の部分がコンピュータシステムのユーザによって容易に可視であるように、第1の視覚的顕著性レベルに対応する第1のレベルの不透明度、輝度、コントラスト、及び/又は彩度で表示される。いくつかの実施形態では、仮想オブジェクトの個別の部分に対するポジションの個別の範囲(例えば、第1のセット)は、仮想オブジェクトに対する三次元環境の第1の領域に含まれる。例えば、コンピュータシステムは、任意選択的に、長方形、半長方形、又は直方体形状の仮想オブジェクトの第1の表面などの仮想オブジェクトの個別の部分を決定し、任意選択的に、仮想オブジェクトの個別の部分に対する三次元環境内の1つ以上のポジションの個別の範囲(例えば、第1のセット)を決定し、それにより、コンピュータシステムが、ポジションの個別の範囲(例えば、第1のセット)内の個別のポジションへのユーザの現在の視点の変化を検出した場合、コンピュータシステムは、任意選択的に、仮想オブジェクトの少なくとも個別の部分を第1の視覚的顕著性レベルで表示する。個別の部分は、例えば、仮想オブジェクトの第1の表面を任意選択的に含む。第1の表面は、任意選択的に、最大量の表面積を有する仮想オブジェクトの個別の表面、及び/又は仮想コンテンツに関連付けられた個別のコンテンツ(例えば、仮想ボタン、テキスト、メディア、及び/又は追加の仮想オブジェクト)が任意選択的にコンピュータシステムによって表示される表面である。例えば、仮想オブジェクトは、任意選択的に、ウェブブラウジングアプリケーションのユーザインタフェースを含む半長方形の仮想ウィンドウであり、ウェブブラウザのコンテンツは、任意選択的に、ウィンドウの第1の表面(例えば、ウィンドウの前面)に表示され、ウィンドウの反対側の第2の表面(例えば、ウィンドウの背面)には表示されない。いくつかの実施形態では、コンピュータシステムは、そのような第1の表面に対するポジションの個別の範囲(例えば、第1のセット)を画定して、ユーザが、第1の視覚的顕著性レベルが維持されている間に向かって、及び/又は間を移動することができるポジションの範囲を提供する。例えば、コンピュータシステムは、任意選択的に、第1の表面が、ユーザが相互作用する可能性が高い個別のコンテンツに対応すると判定し、したがって、コンピュータシステムが、個別の範囲(例えば、第1のセット)及び/又はポジションの範囲内の個別の視点に対するユーザの現在の視点の変化を検出したことに応じて、仮想オブジェクトの1つ以上の部分の視覚的顕著性の変更を見合わせるように、前述の仮想ウィンドウの第1の表面に対する個別の範囲(例えば、第1のセット)及び/又はポジションの範囲を画定する。例えば、ユーザの現在の視点が、個別の範囲(例えば、第1のセット)及び/又はポジションの範囲内の第1のポジションから、個別の範囲(例えば、第1のセット)及び/又はポジションの範囲内の第2のポジションに移動することを検出したことに応じて、コンピュータシステムは、任意選択的に、視覚的顕著性の表示を維持する(例えば、仮想オブジェクトの視覚的顕著性の変更を見合わせる)。いくつかの実施形態では、ポジションの個別の範囲(例えば、第1のセット)は、仮想オブジェクトの個別の部分(例えば、仮想オブジェクトの左端及び/又は右端)から延びる1つ以上のベクトルによって少なくとも部分的に境界付けられる。例えば、ポジションの個別の範囲(例えば、第1のセット)は、任意選択的に、第1の表面のベクトル法線から斜めになった仮想オブジェクトの第1の表面の左端から45度で延びるベクトルによって境界付けられ、任意選択的に、第1の表面のベクトル法線から斜めになった仮想オブジェクトの第1の表面の右端から45度で延びる第2のベクトルによって境界付けられる。更に、ポジションの個別の範囲(例えば、第1のセット)は、任意選択的に、以下で更に説明される閾値距離によって境界付けられる。追加の例として、いくつかの実施形態では、コンピュータシステムは、ユーザの現在の視点がポジションの第2のセット内の個別のポジションにシフトしたことをコンピュータシステムが検出した場合、コンピュータシステムが仮想オブジェクトの1つ以上の部分の視覚的顕著性を減少させるように、仮想オブジェクトに対するポジションの第2のセットを(例えば、前述の境界を超えて)決定する。したがって、いくつかの実施形態では、コンピュータシステムは、任意選択的に、仮想オブジェクト(例えば、前述の仮想ウィンドウの表面に対するポジションの個別の範囲(例えば、第1のセット))の「側面」を決定し、仮想オブジェクトの「側面」に対するポジションの個別の範囲(例えば、第1のセット)を決定して、コンピュータシステムが仮想オブジェクトとの相互作用を検出することを期待する個別のポジションにおいてユーザが仮想オブジェクトに対して適切に位置決め及び/又は配向されているという感覚を伝達する。他の形状を有する他の仮想オブジェクトは、任意選択的に、長方形及び/又は半長方形の仮想オブジェクト(例えば、仮想オブジェクトの個別のコンテンツを見るための曲面を有する平坦な又はほぼ平坦な仮想オブジェクト)を参照して説明されるのと同様に又は同じに扱われることが理解される。更に、三次元仮想オブジェクト(例えば、立方体、球体、及び/又はトラックなどの物理的オブジェクトの表現)は、任意選択的に、長方形及び/又は半長方形の仮想オブジェクトを参照して説明されるのと同様に又は同じに扱われることが理解される。例えば、三次元仮想オブジェクトの寸法を境界付ける直方体の第1及び/又は第2の表面は、任意選択的に、コンピュータシステムによって決定され、ポジションの個別の範囲(例えば、第1のセット)は、任意選択的に、直方体の第1及び/又は第2の表面に基づいて決定される。
いくつかの実施形態では、図23Aに示すように、表示生成構成要素を介して、ユーザの第1の視点に対する三次元環境内の第1のポジションに第1の仮想オブジェクトを表示している間、コンピュータシステムは、1つ以上の入力デバイスを介して、第1の視点から第1の視点とは異なる第2の視点へのユーザの現在の視点の変化を検出し、ユーザの第2の視点は、図23Bに示す閾値2330内への視点2326の移動など、第1の仮想オブジェクトの個別の部分に対する個別のポジション範囲内にある(2402b)。例えば、コンピュータシステムは、任意選択的に、ユーザの現在の視点が、ポジションの個別の範囲(例えば、第1のセット)内又は外にある個別のポジションに移動することを検出する。いくつかの実施形態では、コンピュータシステムは、仮想オブジェクトの中心、仮想オブジェクトのエッジ、及び/又は仮想オブジェクトの本体内の点などの仮想オブジェクトの個別の部分に対する第1の視点から第2の視点への現在の視点の変化を検出する。いくつかの実施形態では、第2の視点は、個別のポジション範囲内にある(例えば、仮想オブジェクトの第1の側面に対応する)。
いくつかの実施形態では、1つ以上の入力デバイスを介して、第1の視点から第2の視点へのユーザの現在の視点の変化を検出したことに応じて、ユーザの第2の視点が第1の仮想オブジェクトの個別の部分に対する個別のポジション範囲内にある間に(2402c)、第2の視点が閾値2330などの第1の仮想オブジェクトの閾値距離(例えば、0.001、0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、500、1000、又は5000cm)内にあるときに満たされる第1の基準を含む1つ以上の第1の基準を第2の視点が満たすという判定に従って、コンピュータシステムは、パンチスルー領域2320などの第1の仮想オブジェクトの個別の部分の視覚的顕著性を、図23Bに示すように、第1の視覚的顕著性レベルよりも低い第2の視覚的顕著性レベルに減少させる(2402d)(例えば、仮想オブジェクトの個別の部分の透明度を増加させる、及び/又は表示を停止する)。例えば、コンピュータシステムは、任意選択的に、第2の視点が仮想オブジェクトの個別のコンテンツ及び/又は視覚的態様を容易に見るには仮想オブジェクトの個別の部分に近すぎる(例えば、閾値距離内にある)という判定に従って、仮想オブジェクトの1つ以上の部分又は全体を第2の視覚的顕著性レベル(例えば、低減されたレベルの不透明度、輝度、コントラスト、彩度、及び/又は方法2200を参照して更に説明されるより大きな程度のぼかし効果)で表示する。したがって、いくつかの実施形態では、コンピュータシステムは、1つ以上の第1の基準が満たされる場合、仮想オブジェクトの視覚的顕著性を減少させる。いくつかの実施形態では、第2の視覚的顕著性レベルは、仮想オブジェクトの個別の部分の表示を停止することを含む。いくつかの実施形態では、1つ以上の部分は、コンピュータシステムのユーザ及び/又はコンピュータシステム自体の1つ以上のそれぞれの部分に対応する。例えば、仮想オブジェクトの1つ以上の部分は、ユーザの個別の部分(例えば、ユーザの頭部)の形状に対応する、及び/又はコンピュータシステムの寸法に対応する仮想オブジェクトの楕円形領域など、ユーザ、ユーザの視点、及び/又はコンピュータシステムの閾値距離内にある仮想オブジェクトの個別の部分を任意選択的に含む。したがって、いくつかの実施形態では、コンピュータシステムは、変更された(例えば、増加又は減少された)視覚的顕著性で仮想オブジェクトの1つ以上の部分を表示しながら、ユーザの視点及び/又は頭部の閾値距離内にない仮想オブジェクトの1つ以上の第2の部分の視覚的顕著性の変更を見合わせる。例えば、コンピュータシステムは、任意選択的に、ユーザ及び/又はコンピュータシステムに対応する仮想オブジェクトの楕円形又は円形の領域を低減された視覚的顕著性で表示し、そうでなければ、仮想オブジェクトの残りの1つ以上の部分を変更しない。いくつかの実施形態では、1つ以上の部分は、ユーザの身体のそれぞれの部分に対応する。例えば、コンピュータシステムは、同時に、第1及び第2の手が仮想オブジェクトのそれぞれの部分又は仮想オブジェクトの同じ部分の閾値距離内にあるという判定に従って、任意選択的に、ユーザの第1の手に対応する仮想オブジェクトの第1の部分の視覚的顕著性を低減し、任意選択的に、ユーザの第2の異なる手に対応する仮想オブジェクトの第2の部分の視覚的顕著性を、任意選択的に、低減された視覚的顕著性と同じレベルまで減少させる。したがって、コンピュータシステムは、ユーザが他の仮想コンテンツ(例えば、仮想オブジェクト)及び/又はユーザの物理的環境(例えば、ユーザがいる部屋)の表現をより良く見ることを可能にするために、仮想オブジェクトの視覚的顕著性を第2の視覚的顕著性レベルまで任意選択的に減少させる。いくつかの実施形態では、第1の視覚的顕著性レベルから第2の視覚的顕著性レベルへの遷移は、現在のユーザ視点の変化に従って緩やかである(例えば、遷移は、方法2200を参照して説明される徐々に変化する視覚的顕著性の1つ以上の特性を有する)。いくつかの実施形態では、第1の視覚的顕著性レベルから第2の視覚的顕著性レベルへの移行は急激であり、その結果、第2の視点に対応するユーザの現在の視点がポジションの個別の範囲(例えば、第1のセット)外にあり、及び/又は仮想オブジェクトの閾値距離内にあると判定したことに応じて遷移が迅速に行われる(例えば、ユーザの視点が仮想オブジェクトの閾値距離内にある場合、遷移は任意選択的にユーザの視点の移動とは無関係である)。いくつかの実施形態では、コンピュータシステムは、検出したことに応じて、かつユーザの現在の視点が仮想オブジェクトの閾値距離未満であるという判定に従って、第2の視覚的顕著性レベルで1つ以上の部分を表示する。例えば、コンピュータシステムは、任意選択的に、現在の視点が、オブジェクトの閾値距離内の仮想オブジェクトから延びるベクトル法線と位置合わせされた個別の視点に対応することを検出したことに応じて、第2の視覚的顕著性レベルで仮想オブジェクトを表示し、任意選択的に、現在の視点が、ベクトル法線から離れて角度を付けられ、かつ同様に又は同じ方法でオブジェクトの閾値距離内にある個別の視点に対応することを検出したことに応じて、仮想オブジェクトを表示する。
いくつかの実施形態では、図23Aの視点2326などの第2の視点が第1の仮想オブジェクトの閾値距離内にないため、第2の視点が1つ以上の第1の基準を満たさないという判定に従って、コンピュータシステムは、図23Aに示すように、第1の仮想オブジェクトの個別の部分の視覚的顕著性を第2の視覚的顕著性レベルに減少させることを見合わせる(2402e)。例えば、ユーザの現在の視点が、任意選択的に、仮想オブジェクトに対するポジションの個別の範囲(例えば、第1のセット)内になく、及び/又は仮想オブジェクトからの閾値距離(例えば、0.001、0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、500、1000、又は5000m)よりも遠いので、コンピュータシステムは、任意選択的に、第2の視覚的顕著性レベルで仮想オブジェクトの個別の部分を表示することを見合わせる(例えば、仮想オブジェクトの個別の部分の視覚的顕著性を維持する)。したがって、いくつかの実施形態では、コンピュータシステムは、第2の視点が仮想オブジェクトからの閾値距離(例えば、0.001、0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、500、1000、又は5000m)より遠く、仮想オブジェクトに対して第2のセットのポジション(例えば、前述の個別のポジション範囲とは異なる第2の個別の範囲)内にある(例えば、個別のポジションの範囲(例えば、第1のセット)内にない)ことを検出し、それに応じて、第2の視覚的顕著性レベルで仮想オブジェクトの個別の部分を表示することを見合わせる(例えば、仮想オブジェクトの視覚的顕著性を減少させることを見合わせる)。したがって、コンピュータシステムは、任意選択的に、第2の視点が閾値距離内にあり、ポジションの個別の範囲(例えば、第1のセット)内にある(例えば、仮想オブジェクト及び/又は仮想オブジェクトに含まれる個別の仮想コンテンツの可視性を改善するために、仮想オブジェクトの第1の側面のポジションのセット内にある)場合、第1の視覚的顕著性レベルで仮想オブジェクトの表示を維持する。いくつかの実施形態では、コンピュータシステムは、第2の視点が前述の閾値距離内にないと判定し、したがって、第2の視覚的顕著性レベルで仮想オブジェクトの個別の部分を表示することを見合わせ、第1の視覚的顕著性レベルを維持する。ユーザの第2の視点が1つ以上の基準を満たすという判定に従って、第2の視覚的顕著性レベルで仮想オブジェクトの個別の部分を表示することは、視覚的顕著性のそのような変化を引き起こすための入力の必要性を低減し、仮想オブジェクト以外の仮想オブジェクトを含むユーザの環境の可視性を改善する。
いくつかの実施形態では、ユーザの現在の視点のロケーションは、図23Aの視点2326に対応するユーザの目などのユーザの身体の1つ以上の目のロケーションに基づく(2404)。例えば、ユーザの現在の視点のロケーションは、任意選択的に、ユーザの目の間の中心点など、ユーザの目の検出されたポジションに基づいて決定される。いくつかの実施形態では、コンピュータシステムは、目と交差し、床に垂直な決定された平面又は軸のロケーションに基づいて、ロケーションを決定する。いくつかの実施形態では、ロケーションは、ユーザの眉、並びに/又は目の最も外側及び/若しくは内側の部分など、ユーザの目に関連付けられた1つ以上の顔の特徴に基づく。ユーザの身体の1つ以上の目のロケーションに基づいて現在の視点のロケーションを判定することは、仮想コンテンツの配置とユーザの視野との間の視覚的一貫性を改善し、それによって、仮想コンテンツの配置を変更するための入力の必要性を低減し、好ましくないポジション及び/又は向きで表示される仮想コンテンツに向けられる誤った入力を減少させる。
いくつかの実施形態では、ユーザの現在の視点のロケーションは、図23Aの視点2326に対応するユーザの頭部などのユーザの頭部の個別の部分のロケーションに基づく(2406)。例えば、コンピュータシステムは、任意選択的に、ユーザの頭部の中心、ユーザの頭部内の内部ポジションに対応するポジション、又はユーザの頭部の周辺に沿ったポジションに対応する現在の視点のロケーションを決定する。いくつかの実施形態では、現在の視点のロケーションは、ユーザの頭部の中心であり、かつ三次元環境の床に垂直な軸に沿っており、コンピュータシステムは、現在の視点のロケーションがユーザの頭部の回転に応じて変化すると判定しない。例えば、ユーザの頭部が第1のポジションにある間、コンピュータシステムは、任意選択的に、左又は右に向かって回転するユーザの頭部の移動(例えば、回転)を検出し、現在の視点のロケーションが、検出された移動に応じて維持されると判定する。いくつかの実施形態では、ユーザの頭部の個別の部分は、三次元環境に対するユーザロケーションの推定を改善するために使用される。ユーザの頭部の個別の部分のロケーションに基づいて現在の視点のロケーションを判定することは、仮想コンテンツの配置とユーザの視野及び三次元環境との間の視覚的一貫性を改善し、それによって、仮想コンテンツの配置を変更するための入力の必要性を低減し、好ましくないポジション及び/又は向きで表示される仮想コンテンツに向けられる誤った入力を減少させる。
いくつかの実施形態では、ユーザの頭部の個別の部分は、図23Aの視点2326に対応するユーザの目など、ユーザの1つ以上の目に対応する(2408)。例えば、コンピュータシステムは、任意選択的に、ユーザの1つ以上の目のロケーションに基づいて現在の視点のロケーションを推定する(例えば、ステップ(単数又は複数)2404を参照して説明されるものと同様に)。いくつかの実施形態では、コンピュータシステムは、1つ以上の目の検出されたポジションから外挿することによって、現在の視点のロケーションを推定する。例えば、コンピュータシステムは、任意選択的に、ユーザの目(単数又は複数)のポジションに対するコンピュータシステムのポジションに基づいて頭部の中心を決定する。外挿は、任意選択的に、目のポジションからユーザの頭部の個別の部分に向かって測定された所定の距離に基づく、及び/又はステップ(単数又は複数)2410を参照して説明される更なるバイオメトリック情報に基づいて決定された距離である。ユーザの頭部の個別の部分のロケーションに基づいて現在の視点のロケーションを決定することは、仮想コンテンツの配置とユーザの視野との間の視覚的一貫性を改善し、それによって、仮想コンテンツの配置を変更するための入力の必要性を低減し、好ましくないポジション及び/又は向きで表示される仮想コンテンツに向けられる誤った入力を減少させる。
いくつかの実施形態では、現在の視点のロケーションは、図23Aの視点2326に対応するユーザのバイオメトリック情報など、ユーザに関連付けられたバイオメトリック情報に更に基づく(2410)。例えば、現在の視点のロケーションは、任意選択的に、ユーザの目の瞳孔間距離(IPD)に基づく。コンピュータシステムは、例えば、任意選択的に、目のIPDを決定し、IPDの中点においてユーザの瞳孔間に延びる線の中心を貫通する光線(任意選択的に、表示されない)を投影し、ユーザの頭部の中心の判定を向上させる。追加的又は代替的に、バイオメトリック情報は、ユーザの顔の1つ以上の顔の特徴の配置及び相対ポジションを任意選択的に含む。例えば、コンピュータシステムは、任意選択的に、ユーザの眉、目、口、頬、頬骨、鼻孔、鼻、及び/又は顎のポジションを決定し、そのような顔の特徴を使用して、ユーザの顔及び/又は頭の配置の理解を決定する。ユーザの顔の決定された配置に基づいて、コンピュータシステムは、任意選択的に、コンピュータシステムから延び、かつ種々のターゲット(例えば、ユーザの頭部の推定中心)と交差する、1つ以上の光線に基づいて、現在の視点のロケーションを決定する。いくつかの実施形態では、バイオメトリック情報は、コンピュータシステムのユーザによって入力される。いくつかの実施形態では、バイオメトリック情報は、コンピュータシステム及び/又はコンピュータシステムと通信する第2のコンピュータシステムによって収集される。例えば、コンピュータシステムは、任意選択的に、1つ以上の画像センサ(例えば、カメラ)、容量センサ、音響センサ、及び/又は生理学的センサからの情報を使用して、バイオメトリック情報を決定する。現在の視点のロケーションを決定するためにバイオメトリック情報を使用することは、三次元環境及びコンピュータシステムに対するユーザの頭部の検出を改善し、それによって、仮想コンテンツが、ユーザの視野(例えば、頭部及び/又は目)に対する視認及び相互作用にとって好ましくない、好ましくないポジションに表示される可能性を低減し、更に、ユーザが、好ましくない視認ポジションに起因して、仮想コンテンツと誤って相互作用する可能性を減少させる。
いくつかの実施形態では、現在の視点のロケーションは、図23Aの視点2326に対応するユーザの物理的特性など、コンピュータシステムの1つ以上の物理的特性に更に基づく(2412)。例えば、現在の視点のロケーションは、任意選択的に、コンピュータシステムのハウジング、ライトシール、ヘッドバンド、及び/又は時計バンドの特性など、コンピュータシステムの物理的特性に基づく。物理的特性は、任意選択的に、ヘッドバンド又は時計バンドのサイズ、ハウジング及び/若しくはライトシールの相対ポジション、並びに/又はユーザの頭部及び/若しくは顔の特徴に対するヘッドバンドを含む。現在の視点のロケーションを決定するためにコンピュータシステムの特性を使用することは、三次元環境及び/又はユーザの身体に対するコンピュータシステムのロケーションを決定する際の一貫性を改善し、それによって、仮想コンテンツが視認及び相互作用にとって好ましくないポジションに表示される可能性を低減し、更に、好ましくない視認ポジションに起因して、ユーザが誤って仮想コンテンツと相互作用する可能性を減少させる。
いくつかの実施形態では、1つ以上の特性は、図23Aの視点2326に対応するコンピュータシステムの構成要素のサイズなどの、コンピュータシステムをユーザの頭部に結合する構成要素のサイズを含む(2414)。例えば、コンピュータシステムは、任意選択的に、ユーザの頭部に巻き付くように構成された、コンピュータシステムのハウジングに機械的に結合されたヘッドバンドの長さを決定する。いくつかの実施形態では、コンピュータシステムは、ヘッドバンドのサイズを使用して、ユーザの頭部の個別の部分(例えば、中心)の判定されたポジションに基づいて、現在の視点のロケーションを判定する。例えば、コンピュータシステムは、任意選択的に、三次元環境に対するコンピュータシステムのロケーションを決定し、ユーザの頭部の周りを包むヘッドバンドの長さを決定し、コンピュータシステムとヘッドバンドの更なる部分との間の中点(例えば、ユーザの頭部の後ろの点)に基づいてユーザの頭部の中心を決定する。例えば、比較的大きいヘッドバンドは、ユーザの頭部が比較的大きいことを示し、したがって、コンピュータシステムは、任意選択的に、ユーザの目から比較的離れている現在の視点のロケーション及び/又はコンピュータシステムのポジションを決定し、ユーザの比較的大きい頭部を考慮に入れる。追加的又は代替的に、ヘッドバンドの中心は、任意選択的に、ユーザの頭部の中心を示す。したがって、コンピュータシステムは、任意選択的に、ユーザの頭部の中心に対応するように、ユーザの頭部の周りに巻き付けられたヘッドバンドによって形成される楕円の中心を決定する(例えば、三次元環境に対するユーザのロケーションの改善された推定)。コンピュータシステムをユーザの頭部に結合する構成要素のサイズを使用することは、ユーザの身体に対するコンピュータシステムのロケーションを決定する際の一貫性を改善し、それによって、仮想コンテンツが視認及び相互作用にとって好ましくないポジションに表示される可能性を低減し、更に、好ましくない視認ポジションに起因して、ユーザが誤って仮想コンテンツと相互作用する可能性を減少させる。
いくつかの実施形態では、1つ以上の特性は、図23Aの視点2326に対応する表示生成構成要素に干渉する外光を減少させるように構成される構成要素のサイズなどの、表示生成構成要素の可視性に干渉する外光の量を減少させるように構成される構成要素のサイズを含む(2416)。例えば、コンピュータシステムは、任意選択的に、電子デバイスのハウジングに結合された及び/又はそれに含まれるライトシールのサイズを決定し、任意選択的に、コンピュータシステムの相対ポジション、ライトシールの相対ポジション、及びライトシールのサイズに基づいて、ユーザの頭部の個別の部分(例えば、頭部の中心)のロケーションを推定する。いくつかの実施形態では、ライトシールのサイズは、ユーザの頭部の寸法に適応するように選択される。例えば、ライトシールの高さは、任意選択的に、目の高さなど、ユーザの頭部の一部の中心に対するコンピュータシステムの高さを示す。追加的又は代替的に、コンピュータシステムからユーザの後頭部に向かって延びるライトシールの長さは、任意選択的に、コンピュータシステムに対するユーザの頭部の深さを示し、それによって、ユーザの頭部の中心のロケーションを示す。表示生成構成要素とユーザの頭部との間の光透過を減少させるように構成される構成要素のサイズの特性は、任意選択的に、コンピュータシステム及び三次元環境に対するユーザの頭部などのユーザの身体の1つ以上の部分のサイズ及び/又はポジションを示し、それによって、仮想コンテンツが視認及び相互作用にとって好ましくないポジションに表示される可能性を低減し、更に、好ましくない閲覧ポジションに起因してユーザが誤って仮想コンテンツと相互作用する可能性を減少させる。
いくつかの実施形態では、表示生成構成要素を介して、図23Aの視点2326などのユーザの第1の視点に対して三次元環境内の第1のポジションに第1の仮想オブジェクトであって、第1の仮想オブジェクトは、図23Aのオブジェクト2306aの視覚的顕著性レベルなどの第3の視覚的顕著性レベルで表示されるコンテンツを含む、第1の仮想オブジェクトを表示している間、コンピュータシステムは、1つ以上の入力デバイスを介して、図23Aに示すオブジェクト2306aよりも遠い視点2326の変化など、第1の視点から第1の視点及び第2の視点とは異なる第3の視点へのユーザの現在の視点の変化を検出する(2418a)。例えば、仮想オブジェクトは、任意選択的に、メディア再生アプリケーション、ウェブブラウジングアプリケーション、及び/又はシミュレートされた描画アプリケーションのためのユーザインタフェースなどのコンテンツを含む。
いくつかの実施形態では、、第1の視点から第3の視点へのユーザの現在の視点の変化を検出することに応じて(2418b)、第3の視点が、1つ以上の基準とは異なる1つ以上の第2の基準であって、1つ以上の第2の基準は、第3の視点が、視認領域2130-1に含まれる閾値などの第1の仮想オブジェクトからの閾値距離よりも大きいときに満たされる基準を含む、第2の基準を満たすという判定に従ってコンピュータシステムは、三次元環境内の第1のポジションに第1の仮想オブジェクトを表示し、これは、図23Aのオブジェクト2308aの視覚的顕著性レベルなどの第3の視覚的顕著性レベルよりも低い第4の視覚的顕著性レベルでコンテンツを表示することを含む(2418c)。いくつかの実施形態では、コンピュータシステムは、方法1600を参照して更に説明されるように、コンテンツ及び/又は仮想オブジェクトが遠すぎるという判定に従って、コンテンツの視覚的顕著性レベルを減少させる。三次元環境内の第1のポジションに第1の仮想オブジェクトの表示を維持することは、仮想オブジェクトとの可視性及び相互作用性を改善するために、将来の入力のための視覚フィードバックを提供する。
いくつかの実施形態では、第1の視点から第3の視点へのユーザの視点2326などの現在の視点の変化を検出しながら、1つ以上の第2の基準が満たされているという判定に従って、第3の視覚的顕著性レベルから第4の視覚的顕著性レベルへのコンテンツの表示は、オブジェクト2306aの視覚的顕著性レベルの段階的な変化など、現在の視点の変化に従って徐々に行われる(2420)。例えば、コンピュータシステムは、方法1600を参照して更に説明されるように、現在の視点が仮想オブジェクトから徐々に遠くに移動するにつれて、コンテンツの輝度、不透明度、及び/又は彩度を徐々に減少させる。コンピュータシステムのユーザの現在の視点の変化の視覚的顕著性を徐々に減少させることは、仮想オブジェクトとの可視性及び相互作用性を改善するために、将来の入力のための視覚的フィードバックを提供する。
いくつかの実施形態では、視認領域2330-1に含まれるような閾値距離は、図23Bに示すように、現在の視点に対する第1の仮想オブジェクトに含まれるオブジェクト2306aに含まれるコンテンツ2307aなどの個別のコンテンツの深さに基づく(2422)。例えば、閾値距離は、任意選択的に、ユーザの現在の視点に対する個別の仮想オブジェクト及び/又は仮想オブジェクトに含まれるコンテンツの相対深度に基づく。例えば、仮想車は、任意選択的に、第1の閾値距離に関連付けられ、はるかに小さい仮想ソーダ缶は、任意選択的に、第1の閾値距離とは異なる(例えば、第1の閾値距離より大きい又は小さい)第2の閾値距離に関連付けられる。いくつかの実施形態では、第1の仮想オブジェクトに含まれる三次元仮想オブジェクトの深さは、任意選択的に、閾値距離に影響を及ぼす(例えば、三次元仮想プッシュボタン、潜在的購入のための製品の三次元レンダリング、及び/又は第1の仮想オブジェクトに含まれるCADアプリケーションユーザインタフェースと関連付けられるコンピュータ支援設計(CAD)モデル)。例えば、コンピュータシステムは、任意選択的に、現在の視点に対してCADアプリケーションユーザインタフェースを含む仮想ウィンドウの前に表示された歯車のCAD(又は他の三次元)モデルが、ユーザの現在の視点から第1の深さ(例えば、距離)だけ離れていると判定し、第1の深さに基づいて閾値距離を決定する。第1の深さは、例えば、任意選択的に、現在の視点に対するCADモデルの最も近接した点及び/又はCADモデルの最も近接していない点に基づく。個別の仮想オブジェクトに含まれる個別のコンテンツの深さに基づいて、個別の仮想オブジェクトに関連付けられた閾値距離を割り当てることは、入力(例えば、移動)が、ユーザの現在の視点に対して、より大きい、より小さい、及び/又はより深いオブジェクトの視覚的顕著性レベルをどのように変更することができるかに関する視覚的直観を改善し、それによって、現在の視点の個別の仮想オブジェクトから遠すぎる、又は十分に離れていない移動などの誤った入力を減少させる。
いくつかの実施形態では、表示生成構成要素を介して、三次元環境内の第1のポジションに第1の仮想オブジェクトを表示している間、かつユーザの現在の視点が図23B、23C、及び/又は23Dのオブジェクト2310aなどの第1の視点である間、コンピュータシステムは、1つ以上の入力デバイスを介して、カーソル2314によって示されるように、第1の仮想オブジェクトを三次元環境内のユーザの現在の視点に向かって移動させる要求に対応する入力を検出する(2424a)。例えば、コンピュータシステムは、任意選択的に、仮想オブジェクトに向けられたエアジェスチャ(例えば、人差し指及び親指に触れるエアピンチ、手の指を広げること、1つ以上の指を握り込むこと、及び/又は1つ以上の指を指し示すこと)、カーソル及び/又はユーザの注意が仮想オブジェクトに向けられている間の表面(例えば、タッチ感知面)上の接触、仮想オブジェクトの選択を示す音声コマンド、及び/又は閾値期間(例えば、0.001、0.005、0.01、0.05、0.1、0.5、1、5、10、50、100、500、又は1000秒)を超える時間にわたる仮想オブジェクトへの注意の持続などの仮想オブジェクトの選択を検出する。いくつかの実施形態では、選択が維持されている間、コンピュータシステムは、そのような移動を要求する1つ以上の入力に従って、仮想オブジェクトを移動させる。例えば、コンピュータシステムは、任意選択的に、エアピンチ中の親指と人差し指との間の維持された接触、指の広がりの維持された姿勢、及び/又は1つ以上の指の握り込み、及び/又は仮想オブジェクトに向けられた指(単数又は複数)の維持されたポインティングなどのエアジェスチャが維持されていることを検出し、エアジェスチャを維持している手の動きに従って仮想オブジェクトを移動させる。追加的又は代替的に、表面間の接触が維持されている間、コンピュータシステムは、任意選択的に、表面に沿った接触の移動に基づいて仮想オブジェクトを移動させる。いくつかの実施形態では、音声コマンド及び/又は注意の滞留は、仮想オブジェクトの移動モードを開始し、コンピュータシステムは、第2の音声コマンド及び/又は別の仮想オブジェクトへの注意の滞留など、移動モードを終了させる1つ以上の入力が受信されるまで、ユーザの身体の一部(例えば、ユーザの手(単数又は複数))の移動に従って、仮想オブジェクトを移動させる。
いくつかの実施形態では、第1の仮想オブジェクトを移動させる要求に対応する入力を検出したことに応じて(2424b)、第1の仮想オブジェクトをユーザの現在の視点に向かって移動させる入力が、第1の仮想オブジェクトを閾値2328などのユーザの現在の視点の第2の閾値距離(例えば、0.001、0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、500、1000、又は5000cm、第1の閾値距離と同様、異なる、又は同じ)内に移動させる要求に対応するという判定に従って、コンピュータシステムは、図23Bに対して図23Dに示すように、第1の仮想オブジェクトを、ユーザの現在の視点の第2の閾値距離外にある三次元環境内の第2のポジションに移動させる(2424c)。例えば、仮想オブジェクトを移動させる要求は、任意選択的に、ユーザにとって仮想オブジェクトに含まれる仮想コンテンツの好ましいビューに近すぎる、仮想オブジェクトの配置に対応する。したがって、コンピュータシステムは、要求に基づいて(例えば、要求された移動と同じ方向に)仮想オブジェクトを移動させるが、コンピュータシステムは、仮想オブジェクトがユーザの現在の視点の第2の閾値距離内で移動することを任意選択的に防止する。いくつかの実施形態では、仮想オブジェクトの移動を要求する入力(単数又は複数)が進行中である間、コンピュータシステムは、任意選択的に、仮想オブジェクトの一部が第2の閾値にあるという判定に従って、仮想オブジェクトの移動を停止する。例えば、コンピュータシステムは、任意選択的に、仮想ウィンドウの移動を要求するエアピンチジェスチャを維持する手の動きを検出し、仮想ウィンドウの角が第2の閾値に達するまで、手の動きの方向及び大きさに基づく方向及び大きさで仮想ウィンドウを移動させる。仮想ウィンドウを現在の視点のより近くに移動することを要求する更なる移動を検出したことに応じて、コンピュータシステムは、仮想ウィンドウの移動を見合わせる。
いくつかの実施形態では、ユーザの現在の視点に向かって第1の仮想オブジェクトを移動させる入力が、ユーザの現在の視点の第2の閾値距離の外側に第1の仮想オブジェクトを移動させる要求に対応するという判定に従って、コンピュータシステムは、図23Bに対して図23Cに示すように、第1の仮想オブジェクトを移動させる入力に従って、ユーザの現在の視点の第2の閾値距離の外側にある三次元環境内の第3のポジションに第1の仮想オブジェクトを移動させる(2424d)。例えば、前述の仮想ウィンドウに向けられたエアピンチジェスチャと同様又は同じ移動を検出したが、仮想ウィンドウをあるポジション(例えば、第3のポジション)に移動することを要求したことに応じて、コンピュータシステムは、任意選択的に、仮想ウィンドウのいずれの部分(例えば、角)も第2の閾値距離に到達しないとき、要求に従って仮想ウィンドウを移動させる。仮想オブジェクトが第2の閾値距離内にあるという判定に基づいて仮想オブジェクトを第3のポジションに移動させること又は移動させないことは、ユーザ入力が、仮想オブジェクトを、好ましい視認及び/又は相互作用にとって近すぎるポジションに望ましくなく移動させる可能性を減少させる。
いくつかの実施形態では、コンピュータシステムは、図23C、23D、及び23Eに示すように、表示生成構成要素を介して、第1の仮想オブジェクトとは異なるオブジェクト2310aなどの第2の仮想オブジェクトを、第1のポジションとは異なる三次元環境内の第2のポジションに、第3の視覚的顕著性レベルで表示する(2426a)。例えば、第2の仮想オブジェクトは、任意選択的に、第1の仮想オブジェクトの1つ以上の特性を有し、それぞれ任意選択的に、アプリケーションのためのユーザインタフェース(例えば、メディア再生、ウェブブラウジング、及び/又はテキスト編集ユーザインタフェース)を含む。第3の視覚的顕著性レベルは、任意選択的に、第1の視覚的顕著性レベルと同様又は同じである。いくつかの実施形態では、第1及び第2の仮想オブジェクトは、追加的又は代替的に、三次元環境及びユーザの現在の視点に対して同様の深さに位置付けられ、追加的に又は代替的に、同時に表示される。
いくつかの実施形態では、表示生成構成要素を介して、第3の視覚的顕著性レベルで三次元環境内の第2のポジションに第2の仮想オブジェクトを表示している間、コンピュータシステムは、1つ以上の入力デバイスを介して、三次元環境に対する三次元環境に対する第3の視点に対する視点2326などのコンピュータシステムのユーザの現在の視点の第2の変化(例えば、ステップ2402(単数又は複数)を参照して説明される第2の視線に対する現在の視点の変化と同様であるが、第2の仮想オブジェクトに関して)を検出し、ユーザの第3の視点は、図23Dから図23Dへの移動など、第2の仮想オブジェクトの個別の部分に対する個別のポジション範囲内にある(2426b)。いくつかの実施形態では、コンピュータシステムは、ユーザの現在の視点が、ステップ(単数又は複数)2402を参照して説明される個別の仮想オブジェクトの閾値距離内に移動するとき、個別の仮想オブジェクトの1つ以上の部分の表示を停止しない。例えば、第2の仮想オブジェクトを表示している間、コンピュータシステムは、任意選択的に、コンピュータシステムのユーザの現在の視点が第2の仮想オブジェクトの閾値距離内の第3の視点に変化したことを検出する。第3の視点への変化を検出したことに応じて、コンピュータシステムは、任意選択的に、第2の仮想オブジェクトの一部又は全部の表示を維持する。したがって、いくつかの実施形態では、第1の仮想オブジェクトの部分(単数又は複数)の視覚的顕著性レベルは、ユーザが第1の仮想オブジェクトとの改善された視認及び相互作用のために近づきすぎるときに減少されるが、第2の仮想オブジェクトの部分(単数又は複数)の視覚的顕著性は、ユーザが第2の仮想オブジェクトに同様又は同じくらい近くに移動するときには維持される。いくつかの実施形態では、第3の視点は、ステップ(単数又は複数)2402を参照して説明される第1の仮想オブジェクトの個別の部分に対する個別のポジション範囲と同様に、第2の仮想オブジェクトの個別の部分に対する第2の個別のポジション範囲に対応する(例えば、その範囲内にある)。
いくつかの実施形態では、1つ以上の入力デバイスを介して、第1の視点から第3の視点へのコンピュータシステムのユーザの現在の視点の第2の変化を検出したことに応じて(2426c)、第3の視点が1つ以上の第1の基準を満たすという判定に従って、コンピュータシステムは、表示生成構成要素を介して、三次元環境内の第2のポジションにおける第2の仮想オブジェクトの個別の部分の表示を第2の視覚的顕著性レベルで維持し(2426d)、例えば、図23Dから図23Eのオブジェクト2310の視覚的顕著性レベルを維持する。例えば、ステップ(単数又は複数)2428及びステップ(単数又は複数)2430を参照して更に説明するように、コンピュータシステムは、第3の視点が1つ以上の基準を満たすにもかかわらず、現在の視点が第3の視点に任意選択的に変化したことを検出したことに応じて、第2の仮想オブジェクトの1つ以上の部分の輝度、不透明度、及び/又は彩度を減少させることを任意選択的に見合わせる。いくつかの実施形態では、同様又は同じサイズ及び/又は形状を伴う別の仮想オブジェクトが、三次元環境内の第2のポジションに配置された場合(例えば、第1の仮想オブジェクト及び/又は任意選択的に第1の仮想オブジェクトと同時に表示される別の仮想オブジェクト)、コンピュータシステムは、第3の視点への現在の視点変化を検出したことに応じて、他の仮想オブジェクトの一部の視覚的顕著性レベルを減少させる。第2の仮想オブジェクトの個別の部分の視覚的顕著性レベルを維持することは、第2の仮想オブジェクトの個別の部分の可視性を改善し、それによって、コンピュータシステムのユーザが第2の仮想オブジェクトの個別の部分と誤って相互作用する可能性を低減し、第2の仮想オブジェクトの個別の部分の視覚的顕著性レベルを変更する(例えば、増加させる)ために必要とされるユーザ入力を減少させる。
いくつかの実施形態では、第1のアプリケーションに関連付けられるオブジェクト2310a及び第2のアプリケーションに関連付けられるオブジェクト2306aのように、第1の仮想オブジェクトは、有効化される第1の設定に関連付けられる第1のアプリケーションに関連付けられ、第2の仮想オブジェクトは、無効化される第1の設定に関連付けられる、第1のアプリケーションと異なる第2のアプリケーションに関連付けられる(2428)。例えば、第1の仮想オブジェクト及び第2の仮想オブジェクトは、コンピュータシステムに含まれるメモリ上のアプリケーション、及び/又はコンピュータシステムの表示生成構成要素を介して任意選択的に表示され、コンピュータシステムと通信する第2のコンピュータシステム(例えば、サーバ)によって提供されるアプリケーションユーザインタフェースなど、コンピュータシステムのオペレーティングシステムによって少なくとも部分的に実行されているアプリケーションに任意選択的に関連付けられる。いくつかの実施形態では、第1の設定は、個別の仮想オブジェクトへのユーザ近接度にそれぞれに基づいて(例えば、ユーザが仮想オブジェクトに近すぎるとき)、部分(単数又は複数)の視覚的顕著性の変更の有効化又は無効化に対応する。いくつかの実施形態では、第1の仮想オブジェクト及び第2の仮想オブジェクトはそれぞれ、第1のアプリケーション及び/又は第2のアプリケーションのためのユーザインタフェースを含む。例えば、第1のアプリケーションは、任意選択的にメディア再生アプリケーションであり、第2のアプリケーションは、任意選択的にシミュレートされた拡大鏡アプリケーションである。そのような例では、アプリケーション開発者及び/又はコンピュータシステムのユーザは、任意選択的に、ユーザの視点が第1の仮想オブジェクトの閾値距離内にあるとき、第1のアプリケーションユーザインタフェースの1つ以上の部分の視覚的顕著性を減少させるために、近接性-顕著性設定を有効にする。そのような構成は、任意選択的に、コンピュータシステムのユーザが、第1の仮想オブジェクトを移動させ、及び/又は第1の仮想オブジェクトの視覚的顕著性を減少させるためのユーザ入力を必要とせずに、三次元環境の1つ以上の部分をより容易に見ることを可能にする(例えば、メディア再生アプリケーションユーザインタフェースの部分(単数又は複数)の視覚的顕著性を減少させる)ために有益である。一方、シミュレートされた拡大鏡アプリケーションは、任意選択的に、第2の仮想オブジェクトへのユーザ近接度に従って三次元環境の表現を拡大するように構成され、したがって、第2の仮想オブジェクトへのユーザ近接度は、任意選択的に予想され、所望される。したがって、アプリケーション開発者及び/又はユーザは、任意選択的に、第2の仮想オブジェクトの近接性-顕著性設定を無効にする。第1及び/又は第2の仮想オブジェクトの視覚的顕著性の変更を有効化又は無効化するための第1の設定を提供することは、種々の仮想オブジェクトとのユーザ相互作用の柔軟性を向上させ、それによって、それぞれの仮想オブジェクトへのユーザ近接度に基づく視覚的顕著性の変更が全体的に均一であった場合、第1及び/又は第2の仮想オブジェクトの視覚的顕著性を変化させるために必要とされるユーザ入力を減少させる。
いくつかの実施形態では、第1の仮想オブジェクトは、オブジェクト2306aなどの二次元仮想オブジェクトであり、第2の仮想オブジェクトは、オブジェクト2310aなどの三次元仮想オブジェクトである(2430)。例えば、第1の仮想オブジェクトは、任意選択的に、メディア再生アプリケーションのためのユーザインタフェースを含み、任意選択的に、ほぼ無限のフラットパネルテレビディスプレイと同様に、三次元環境に対して深さが完全に欠如しているか、又はほぼ欠如している。対照的に、第2の仮想オブジェクトは、任意選択的に、三次元仮想車、本、及び/又はグラフィカルアイコンである。ステップ(単数又は複数)2426を参照して前述したように、いくつかの実施形態では、コンピュータシステムは、三次元環境(例えば、物理的環境及び/又はオブジェクト)の1つ以上の部分が1つ以上の部分を通して可視であるように、部分的又は完全に透明な外観で第1の仮想オブジェクトの1つ以上の部分を表示する。第2の仮想オブジェクトが第1の仮想オブジェクトの背後にあるポジションに対応するとき、コンピュータシステムは、三次元環境に対する仮想コンテンツの深さをシミュレートするために、第1の仮想オブジェクトの1つ以上の透明又は部分的に透明な部分において、第2の仮想オブジェクトの1つ以上の部分を任意選択的に表示する。一例として、コンピュータシステムは、ユーザが第1の仮想オブジェクトの近くに移動したことを検出したことに応じて、第1の仮想オブジェクトを透明な楕円で任意選択的に表示するが、ユーザが三次元オブジェクトの詳細のより近いビューを潜在的に望むので、任意選択的に、第2の仮想オブジェクトを同様の透明な楕円で表示しない。更に、中実で不透明な物理的オブジェクトを模倣するように意図された三次元仮想オブジェクトを通して透明な穴を見ることは、任意選択的に視覚的に混乱が生じる。いくつかの実施形態では、コンピュータシステムは、個別の仮想オブジェクトの寸法に基づいて視覚的顕著性の部分の変化を厳密に指示するのではなく、むしろ仮想オブジェクトのタイプに基づいて指示する。例えば、メディア再生ユーザインタフェースは、任意選択的に、完全に「平坦な」仮想オブジェクトではなく、任意選択的に、湾曲したコンピュータモニタディスプレイと同様の曲線を含み、及び/又は相対深度を有する。そのような例では、コンピュータシステムは、任意選択的に、二次元仮想オブジェクトに関して説明したように、ユーザがユーザインタフェースに近づきすぎると、メディア再生ユーザインタフェースの1つ以上の部分の視覚的顕著性を減少させる。仮想オブジェクトの寸法に基づいて仮想オブジェクトの視覚的顕著性を変更することは、仮想オブジェクトの寸法を調査するための移動などのユーザ入力を必要とせずに、仮想オブジェクトの寸法を示す。
いくつかの実施形態では、第1の仮想オブジェクトは、オブジェクト2306a内のコンテンツ2307aなどのコンテンツを含み、第1の仮想オブジェクトを表示することは(2432a)、視点2326の視野角の変化に基づくコンテンツ2307aの視覚的顕著性レベルなどの、仮想オブジェクトに対するユーザの現在の視点の個別の角度及び個別の距離に基づく視覚的顕著性を伴ってコンテンツを表示すること(2432b)を含む。例えば、方法2200を参照して説明されるように。現在の視点と仮想オブジェクトとの間の角度及び/又は距離に基づく視覚的顕著性レベルでコンテンツを表示することは、仮想オブジェクトに対するユーザ向きについてのフィードバックを提供し、それによって、コンテンツが相互作用可能でないときに入力が誤って仮想オブジェクトに向けられることを防止し、及び/又はコンテンツの可視性及び/若しくはコンテンツとの相互作用を改善するための移動などの入力を提案する。
いくつかの実施形態では、第1の仮想オブジェクトの個別の部分が、図23Bのパンチスルー領域2320などの第2の視覚的顕著性レベルを有する間、第2の視点が1つ以上の第1の基準を満たすという判定に従って、かつユーザの現在の視点が第2の視点である間、コンピュータシステムは、表示生成構成要素を介して、第1の仮想オブジェクトとは異なる図23Cのオブジェクト2308Aなどの第2の仮想オブジェクトを、第1のポジションとは異なる三次元環境内の第2のポジションに、第3の視覚的顕著性レベルで表示する(2434a)。いくつかの実施形態では、第2の仮想オブジェクトは、第1の仮想オブジェクトの1つ以上の特性を有し、第2のポジションは、三次元環境内の第1のポジションと同様又は同じ1つ以上の特性を有し、第3の視覚的顕著性レベルは、第1及び/又は第2の視覚的顕著性レベルと同様又は同じ1つ以上の特性を有する。ステップ(単数又は複数)2426及び/又はステップ(単数又は複数)2430を参照して説明されるように、いくつかの実施形態では、第2の仮想オブジェクトは、第1の仮想オブジェクトの背後のポジションに表示される。本明細書で説明されるように、いくつかの実施形態では、コンピュータシステムは、変更された仮想オブジェクトの「背後」にあるように見える三次元環境との相互作用を可能にするように、仮想オブジェクトの部分(単数又は複数)の視覚的顕著性を変更する。いくつかの実施形態では、コンピュータシステムは、したがって、三次元オブジェクト(例えば、物理的及び/又は仮想オブジェクト)の他の態様の見かけ上の不明瞭さを呈するオブジェクトを「通して」相互作用する方法を提供する。
いくつかの実施形態では、表示生成構成要素を介して、三次元環境内の第1のポジションに第1の仮想オブジェクトを表示している間、三次元環境内の第2のポジションに第2の仮想オブジェクトを表示している間、かつユーザの現在の視点が第2の視点にある間(2434b)、コンピュータシステムは、カーソル2312によって示されるように、(例えば、第1の仮想オブジェクトから、又は三次元環境内の別のロケーションから)第2の仮想オブジェクトに向かってシフトするユーザの注意を検出する(2434c)。例えば、コンピュータシステムは、任意選択的に、コンピュータシステムのユーザの視線が、第2の仮想オブジェクト及び/又は第2の仮想オブジェクトの閾値距離(例えば、0.001、0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、500、1000、又は5000cm)内の三次元環境内のポジションに向かってシフトすることを検出する。いくつかの実施形態では、第1の仮想オブジェクトが第1の視覚的顕著性レベルで表示されるとき、注意のターゲットのロケーションは、別様に、第2の仮想オブジェクトの代わりに第1の仮想オブジェクトに対応するであろう。いくつかの実施形態では、第1の仮想オブジェクトの部分が第2の視覚的顕著性レベルで表示されるので、注意のターゲットは、表示される第2の仮想オブジェクトの個別の部分にシフトする。例えば、第1及び第2の仮想オブジェクトは、任意選択的に、ユーザの現在の視点からほぼ長方形であり、第2の仮想オブジェクトは、任意選択的に、現在の視点に対して第1の仮想オブジェクトの中心と一致する左下角を有する第1の仮想オブジェクトの「背後」にあるように見える。そのような例では、第1の仮想オブジェクトの部分(単数又は複数)が視覚的に目立つ間に、コンピュータシステムが第1の仮想オブジェクトの右上及び内側部分への注意のシフトを検出すると、コンピュータシステムは、注意が第1の仮想オブジェクトに向けられていると決定する。しかしながら、第1の仮想オブジェクトの右上及び内側部分が部分的に半透明である(例えば、第2の視覚的顕著性レベルで表示される)とき、コンピュータシステムは、第2の仮想オブジェクトの左下部分を同時に表示し、注意のシフトに応じて、第2の仮想オブジェクトが第2の仮想オブジェクトに向けられていると判定する。別の例として、第1の仮想オブジェクトの個別の部分は、任意選択的に、方法2000を参照して説明されるように、明らかな視覚的衝突を解決するために、低減された視覚的顕著性のレベルで(例えば、低減された不透明度及び/又は輝度で)表示される。本明細書で言及される見かけ上の視覚的衝突は、方法2000を参照して更に説明されるように、第2の物理的オブジェクト(例えば、第2の仮想オブジェクトに対応する)の少なくとも一部のビューを覆い隠す(例えば、ブロックする)第1の物理的オブジェクト(例えば、第1の仮想オブジェクトに対応する)の外観を模倣するように構成される仮想オブジェクトの配置を説明する。
いくつかの実施形態では、ユーザの注意が第2の仮想オブジェクトにシフトしたことを検出したことに応じて、コンピュータシステムは、表示生成構成要素を介して、図23Cのオブジェクト2308aなどの第3の視覚的顕著性レベルよりも高い第4の視覚的顕著性レベルで第2の仮想オブジェクトを表示する(2434d)。例えば、コンピュータシステムは、任意選択的に、方法1800を参照して更に説明されるように、第2の仮想オブジェクトに向けられたユーザの視線を検出したことに応じて、第2の仮想オブジェクトの視覚的顕著性レベルを変更する(例えば、増加又は減少させる)。いくつかの実施形態では、コンピュータシステムは、第1の仮想オブジェクトの個別の部分が第1の視覚的顕著性レベルで表示されるとき、第2の仮想オブジェクトの視覚的顕著性のそのような変更を見合わせる。例えば、コンピュータシステムは、任意選択的に、第1の仮想オブジェクトが第2の仮想オブジェクトとの見かけ上の視覚的衝突を呈する場所に注意が向けられるとき、第4の視覚的顕著性レベルで第2の仮想オブジェクトを表示することを見合わせる。いくつかの実施形態では、現在の視点が第2の視点であり、第2の仮想オブジェクトが三次元環境内の第2のポジションに表示されている間に第2の仮想オブジェクトに向けられた相互作用入力を検出したことに応じて、コンピュータシステムは、第1の仮想オブジェクトの代わりに第2の仮想オブジェクトに向けられた相互作用入力に従って1つ以上の動作を開始し(例えば、前述のように第1の仮想オブジェクトを「通して」)、第1の仮想オブジェクトに対する相互作用入力に従って1つ以上の動作を実行することを見合わせる。第2の仮想オブジェクトへの注意のシフトを検出したことに応じて第2の仮想オブジェクトの視覚的顕著性レベルを変更することは、第1の仮想オブジェクトの視覚的顕著性レベルを手動で移動及び/又は変更するための1つ以上の入力を必要とせずに、第2の仮想オブジェクトとより良好に相互作用する機会を提供する。
方法2400における動作が説明された特定の順序は、例示的なものにすぎず、説明された順序が、動作が実行され得る唯一の順序であることを示すものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。
図25A~図25Cは、1つ以上のタイプの任意選択的に同時のユーザ相互作用に対応する1つ以上のイベントを検出したことに応じて、1つ以上の仮想オブジェクトの視覚的顕著性レベルを変更又は維持する、コンピュータシステム101の例を図示する。
図25Aは、コンピュータシステム101の表示生成構成要素(例えば、図1の表示生成構成要素120)を介して可視である三次元環境2502を示し、三次元環境2502は、(例えば、コンピュータシステム101が位置する物理的環境の後壁に面して)俯瞰図に示すユーザの視点2526から可視である。図1~図6を参照して上述したように、コンピュータシステム101は、任意選択的に、表示生成構成要素(例えば、タッチスクリーン)と、複数の画像センサ(例えば、図3の画像センサ314)と、を含む。画像センサは、任意選択的に、可視光カメラ、赤外線カメラ、深度センサ、又はユーザがコンピュータシステム101と相互作用する間にユーザ若しくはユーザの一部(例えば、ユーザの1つ以上の手)の1つ以上の画像をキャプチャするためにコンピュータシステム101が使用することができるであろう任意の他のセンサのうちの1つ以上を含む。いくつかの実施形態では、以下に図示及び説明されるユーザインタフェースはまた、ユーザインタフェース又は三次元環境2502をユーザに表示する表示生成構成要素と、物理的環境及び/又はユーザの手の移動(例えば、ユーザから外向きに面する外部センサ)、かつ/又はユーザの視線(例えば、ユーザの顔に向かって内向きに面する内部センサ)を検出するためのセンサとを含む、ヘッドマウントディスプレイ上に実現され得る。
図25Aに示すように、コンピュータシステム101は、コンピュータシステム101の周囲の物理的環境内の1つ以上のオブジェクトを含む、コンピュータシステム101の周囲の物理的環境(例えば、動作環境100)の1つ以上の画像をキャプチャする。いくつかの実施形態では、コンピュータシステム101は、三次元環境2502内の物理的環境の表現を表示し、及び/又は物理的環境は、表示生成構成要素120を介して三次元環境2502内で可視である。例えば、表示生成構成要素120を介して可視である三次元環境2502は、コンピュータシステム101が配置されている部屋の物理的な床並びに後壁の表現を含む。三次元環境2502はまた、表示生成構成要素120を介して可視であるテーブル2522aに対応するテーブル2522b(俯瞰図に示す)を含む。
図25Aでは、三次元環境2502はまた、視点2526から可視である仮想オブジェクト2510a(俯瞰図のオブジェクト2510bに対応する)、2512a(俯瞰図のオブジェクト2512bに対応する)、2514a(俯瞰図のオブジェクト2514bに対応する)、2516a(俯瞰図のオブジェクト2516bに対応する)、2518a(俯瞰図のオブジェクト2518bに対応する)、及び2520a(俯瞰図のオブジェクト2520bに対応する)を含む(本明細書では、簡潔にするために「可視仮想オブジェクト」と総称する)。図25Aでは、可視仮想オブジェクトは二次元オブジェクトである。本開示の例は、任意選択的に、三次元オブジェクトに等しく適用されることが理解される。可視s仮想オブジェクトは、任意選択的に、アプリケーションのユーザインタフェース(例えば、メッセージングユーザインタフェース、又はコンテンツブラウジングユーザインタフェース)、三次元オブジェクト(例えば、仮想時計、仮想ボール、又は仮想車)、又はコンピュータシステム101の物理的環境に含まれないコンピュータシステム101によって表示される任意の他の要素のうちの1つ以上である。
いくつかの実施形態では、上述したように、コンピュータシステム101は、オブジェクトがユーザの注意のターゲットであるかどうか(例えば、方法1800を参照して上述したように)、近すぎる場合(例えば、方法2400を参照して上述したように)、遠すぎる場合(例えば、方法2200を参照して上述したように)、オフアングルすぎる場合(例えば、方法1600及び/又は方法2200を参照して上述したように)、他のオブジェクトとの見かけ上の視覚的及び/又は空間的衝突を呈する場合(例えば、方法2000を参照して上述したように)、及び/又は方法800~2200を参照して説明される1つ以上の他の基準を満たす場合、オブジェクトの視覚的顕著性レベルを変更する。コンピュータシステム101は、任意選択的に、そのような1つ以上の基準を満たす1つ以上のイベント(例えば、オブジェクトが比較的遠くにあり、ユーザの注意のターゲットである、及び/又はオブジェクトがオフアングルであり、ユーザの注意のターゲットではない)に基づいて、それぞれのオブジェクトの視覚的顕著性レベルの1つ以上の変更を、任意選択的に同時に適用する。
図25Aに示すような三次元環境2502の状態の前に、コンピュータシステム101は、任意選択的に、三次元環境及び/又はコンピュータシステム101との1つ以上のタイプのユーザ相互作用を含む1つ以上のイベントを検出する。そのような1つ以上のイベントは、任意選択的に、仮想オブジェクトの表示を開始するため、仮想オブジェクトを平行移動させるため、仮想オブジェクトを配置するため、仮想オブジェクトを選択するため、仮想オブジェクトに対する視点2526を変更するため、及び/又は仮想オブジェクトに向かう若しくは仮想オブジェクトから離れる注意のシフトを示すための1つ以上の入力を検出することを含む。仮想オブジェクト2510aは、例えば、仮想オブジェクト2512aとの見かけ上の視覚的衝突を伴って表示され、仮想オブジェクト2510aが仮想オブジェクト2512aよりも視点2526に近く、見かけ上の視覚的衝突を被らず、及び/又は注意2544-1(注意2544-2、2544-3、2544-4、及び/又は2544-5に加えて又はその代わりである第1の注意のインジケーション)によって示されるようにユーザの注意のターゲットであるので、比較的視覚的により目立つ。見かけ上の視覚的衝突は、方法2600を参照して更に説明され、任意選択的に、同様の又は同じサイズ、形状、及びポジションの2つの物理的オブジェクトが第1及び第2のオブジェクトの代わりに挿入されたかのように、第1のオブジェクト(例えば、仮想オブジェクト2512a)が第2のオブジェクト(例えば、仮想オブジェクト2510a)の物理的遮蔽を任意選択的に模倣するように、仮想コンテンツ(例えば、オブジェクト)の表示を指し、第1の物理的オブジェクトは、第2のオブジェクトの1つ以上の部分を覆い隠す及び/又はブロックする。したがって、コンピュータシステム101は、任意選択的に、仮想オブジェクト2510aの1つ以上の部分を、三次元環境に対して低減された視覚的顕著性レベルで表示し、任意選択的に、仮想オブジェクト2512aを、見かけ上の視覚的衝突に起因して比較的高い視覚的顕著性レベルで表示する。仮想オブジェクト2510aは、視覚的顕著性レベルを示す均一なフィルパターンで示されているが、仮想オブジェクトの1つ以上の部分のそれぞれの視覚的顕著性レベルは、任意選択的に変化することが理解される。例えば、仮想オブジェクト2512aによって見かけ上覆い隠された仮想オブジェクト2510aの部分は、任意選択的に、低い不透明度(例えば、ほぼ0%、又は0%の不透明度)で表示される。
より視覚的に目立つオブジェクト2510aに戻ると、注意2544-1は、現在の視点2526に比較的近いことに加えて、仮想オブジェクト2512aに向けられる。したがって、現在の視点に比較的近い仮想オブジェクト2510aを表示する要求(例えば、視覚的顕著性レベルを比較的増加させる)、仮想オブジェクトが見かけ上の視覚的衝突を受けない(例えば、視覚的顕著性レベルを維持する)、及び/又はユーザの注意によってターゲット化される(例えば、視覚的顕著性レベルを比較的増加させる)と判定すること)ことを含むイベントに応じて、任意選択的に、ある組み合わせで同時に、コンピュータシステム101は、オブジェクト2510aの視覚的顕著性レベルをオブジェクト2512aの視覚的顕著性レベルと比較して相対的に増加させ、任意選択的に、方法2600を参照して更に説明されるように、いくつかの組み合わせで視覚的顕著性レベルを変更する。あるいは、ユーザの注意が注意2544-5によって示されるように仮想オブジェクト2510aに向けられるとき(例えば、注意2544-1の効果の代替として)、コンピュータシステム101は、方法2600を参照して更に説明されるように、見かけ上の視覚的衝突によるそれぞれの視覚的顕著性レベルの変化と同時に、仮想オブジェクト2510aの視覚的顕著性レベルを増加させ、及び/又は仮想オブジェクト2152aの視覚的顕著性レベルを減少させる。
図25Aにおいて、仮想オブジェクト2514aは、注意タイプの相互作用及び/又は見かけ上の衝突タイプの相互作用を含むイベントに起因して、個別の相対的に低減された視覚的顕著性レベルで表示される。例えば、仮想オブジェクト2514aは、任意選択的に、ユーザの注意のターゲットではなく、したがって、コンピュータシステム101によって視覚的顕著性が相対的に低減される。追加的又は代替的に、仮想オブジェクト2514aは、テーブル2522aとの見かけ上の空間的衝突を呈して表示されるため、コンピュータシステム101は、仮想オブジェクト2514aの1つ以上の部分(例えば、一部又は全て)の視覚的顕著性レベルを減少させる。見かけ上の空間的衝突は、任意選択的に、同等のサイズ及び形状の物理的オブジェクトが仮想コンテンツで置き換えられた場合に別のオブジェクト(例えば、現実又は仮想オブジェクト)と衝突及び/又は交差するポジションにおける仮想コンテンツの配置を指す。したがって、コンピュータシステム101は、方法2600を参照して説明されるように、見かけ上の空間的衝突を強調するために、仮想オブジェクト2514aの交差部分2517の視覚的顕著性を任意選択的に減少させる。
前述のように、コンピュータシステム101は、任意選択的に、ユーザの注意が仮想オブジェクトに向けられていない間に(例えば、仮想オブジェクトが見かけ上の空間的衝突を呈している間に注意が仮想オブジェクトから離れるようにシフトしたことに応じて)見かけ上の空間的衝突を伴って仮想オブジェクトを表示することを含むイベントを検出し、それに応じて、そのようなタイプのユーザ相互作用に基づいて(任意選択的に同時に)、仮想オブジェクト2514aの視覚的顕著性レベルを何らかの組み合わせで変更する。
図25Aにおいて、仮想オブジェクト2516aは、三次元環境2502及び/又は仮想オブジェクトとのオフアングルタイプの相互作用を含むイベントに起因して、個別の相対的に低減された視覚的顕著性レベルで表示される。例えば、仮想オブジェクト2516aは、任意選択的に、仮想オブジェクト2516aの表面に垂直なベクトルが視点2526の中心に平行なベクトルに対して閾値角度を超えるように(例えば、方法1600を参照して説明される)表示される。したがって、コンピュータシステム101は、任意選択的に、仮想オブジェクト2516aの視覚的顕著性が低減されるべきであると決定する。一方、注意2544-4は、仮想オブジェクト2516aのオフアングル表示と同時に仮想オブジェクト2516aに向けられ、それによって、仮想オブジェクト2516aの視覚的顕著性レベルを増加させる。したがって、コンピュータシステム101は、任意選択的に、ユーザの現在の視点に対してオフアングルで仮想オブジェクト2516aを表示すること(例えば、視覚的顕著性レベルを減少させること)と、仮想オブジェクトをターゲットとするユーザの注意(例えば、視覚的顕著性レベルを増加させること)との同時要求を含むイベントを検出し、任意選択的に、方法2600を参照して更に説明されるように、何らかの組み合わせで視覚的顕著性レベルを変更する。
仮想オブジェクト2518aは、任意選択的に、仮想オブジェクト2516aと同様である。例えば、仮想オブジェクト2518aは、任意選択的に視点2526の中心からオフアングルであり、任意選択的に代替の注意2544-3のターゲットである。したがって、コンピュータシステム101は、任意選択的に、仮想オブジェクト2516aを参照して説明されるのと同様であるが、視点2526に対する仮想オブジェクト2518aの個別の角度に基づくイベントを検出し、任意選択的に、方法2600を参照して更に説明されるように、何らかの組み合わせで仮想オブジェクト2518aの視覚的顕著性レベルを変更する。
仮想オブジェクト2520aは三次元環境との近接タイプの相互作用を含むイベントに起因して、個別の相対的に低減された視覚的顕著性レベルで表示される、(例えば、方法2200及び/又は2400を参照して説明される)。例えば、仮想オブジェクト2520aは、視点2526から閾値距離の外にあり(例えば、閾値は図示せず、仮想オブジェクト2520aの視覚的顕著性レベルの減少に対応する)、ユーザの現在の視点と相対的に位置合わせされ(例えば、方法1600を参照して説明される視覚的顕著性レベルを維持する)、注意のターゲット2544-2である(例えば、方法1800を参照して説明される仮想オブジェクト2520aの視覚的顕著性レベルの増加に対応する)。したがって、コンピュータシステム101は、任意選択的に、視点2526から閾値距離を超えて仮想オブジェクト2520aを表示する要求に対応する1つ以上の入力と、仮想オブジェクト2520aをターゲットとするユーザの注意とを含むイベントを検出し、任意選択的に、方法2600を参照して更に説明されるように、仮想オブジェクト2520aの視覚的顕著性レベルを何らかの組み合わせで変更する。
図25Aに示すように、注意2544-1、2544-2、2544-3、2544-4、2544-5は、任意選択的に、それぞれの仮想オブジェクトから離れて、環境の他の部分(例えば、別の仮想オブジェクト、物理的オブジェクト、並びに/又は物理的環境及び/若しくはオブジェクトを含まない仮想環境の表現)に対応する三次元環境2502内のポジションに移動する。そのような注意の移動は、トラックパッド2505に接触する手2503によって表され、これは、任意選択的に、コンピュータシステム101と通信している及び/又はそれによって検出される表面(例えば、タッチ感知面)に接触する手の指、並びに接触の移動に対応する。ユーザの身体によって実行される1つ以上のエアジェスチャ(例えば、空中を移動する手の親指及び指が接触するエアピンチ)、コンピュータシステム101又はスタイラス及び/若しくはポインティングデバイスなどのコンピュータシステム101と通信するデバイスの移動、マウス周辺機器の移動、並びに/又はコンピュータシステム101のユーザの視線のターゲットの変更など、注意を変更する追加的又は代替的な方法が任意選択的に適用されることが理解される。
図25Aから図25Bにかけて、可視仮想オブジェクトに対する上述の注意の変化を含む1つ以上のイベントが検出される。例えば、オブジェクト仮想2510aは、見かけ上の視覚的衝突の対象であり、注意2544-5が仮想オブジェクト2510aから離れてシフトするので、任意選択的に、図25Aに示すものに対して視覚的顕著性が減少する。同様に、仮想オブジェクト2512a、2516a、2518a、及び2520aは、それぞれの仮想オブジェクトから離れてシフトする注意2544-1、2544-4、2544-3、及び2544-2に起因して、任意選択的に、図25Aに示すものに対して視覚的顕著性が減少する。コンピュータシステム101は、仮想オブジェクト2514aをターゲットとする注意を検出したことに応じて、仮想オブジェクト2514aの視覚的顕著性を任意選択的に増加させる。図25Bに示すイベントは、図25Aを参照して説明されるイベントを参照して説明される1つ以上の特性を有するが、図25Bに示す注意の変化に関連することが理解される。
図25Bから図25Cまで、コンピュータシステム101のユーザの視点2526は、俯瞰図に示す三次元環境2502に対して左方向にシフトし、右方向に回転するように変化する。図25Cにおける現在の視点の変更を含むイベントを検出したことに応じて、コンピュータシステム101は、任意選択的に、図25Bに示すものに対して、可視仮想オブジェクトのそれぞれの視覚的顕著性レベルを変更する。例えば、現在の視点がそれぞれの仮想オブジェクトに対応する閾値角度の外側にあるので、コンピュータシステム101は、任意選択的に、仮想オブジェクト2510a、2512a、2514a、2518a、及び2520aのそれぞれの視覚的顕著性レベルを減少させる。対照的に、コンピュータシステム101は、視点2526が仮想オブジェクト2516aに関連付けられた個別の閾値角度内に変化したことを検出し、それに応じて、仮想オブジェクト2516aの視覚的顕著性レベルを相対的に増加させる。
いくつかの実施形態では、視覚的顕著性レベルの変化は、三次元環境との検出されたユーザ相互作用のタイプの何らかの組み合わせに基づく。そのような変化は、視覚的顕著性レベルの変化の2つの定量的尺度の加算又は減算を任意選択的に含む(例えば、閾値角度の外側に移動することは、オブジェクトの不透明度が10%減少するが、オブジェクトに注意をシフトすることで、不透明度が50%増加し、したがって、コンピュータシステム101は、オブジェクトの不透明度を40%増加させる)。いくつかの実施形態では、そのような変化は、正又は負の相乗効果をもたらす。例えば、オブジェクトへの注意のシフトは、任意選択的に、オブジェクトの視覚的顕著性レベルを第1の量だけ増加させ、オブジェクトに向かう現在の視点の同時移動は、任意選択的に、視覚的顕著性レベルを第2の量だけ増加させ、全体的視覚的顕著性レベルは、第1及び第2の量の合計よりも大きい第3の量だけ高まる。同様に、第1のタイプの相互作用に基づいて視覚的顕著性レベルを第1の量だけ減少させ、第2のタイプの相互作用に基づいて視覚的顕著性レベルを第2の量だけ減少させると、任意選択的に、コンピュータシステム101は、視覚的顕著性レベルを、組み合わされた第1及び第2の量よりも大きさが大きい第3の量だけ減少させる。
いくつかの実施形態では、コンピュータシステム101は、競合するタイプのユーザ相互作用に基づいて、個別の仮想オブジェクトの視覚的顕著性レベルを変更する。例えば、第1のタイプの相互作用は、任意選択的に、視覚的顕著性レベルを増加させる一方で、第2のタイプの相互作用は、視覚的顕著性レベルを減少させ、コンピュータシステム101は、任意選択的に、視覚的顕著性レベルの正味の変化に基づいて、仮想オブジェクトの視覚的顕著性レベルを変更する。
いくつかの実施形態では、複数のタイプのユーザ相互作用がイベント中に検出され、それに応じて、コンピュータシステム101は、イベントに含まれるそれぞれのタイプのユーザ相互作用の正味の効果又は正味の効果のサブセットに基づいて、関連付けられた仮想オブジェクトの視覚的顕著性レベルを変更する。例えば、コンピュータシステム101は、任意選択的に、2つ、3つ、4つ、5つ、6つ、7つ、又はそれより多くのタイプの同時のユーザ相互作用を検出し、それぞれのタイプの同時相互作用の寄与に基づいて視覚的顕著性レベルの正味の変化を決定する(任意選択的に、それぞれのタイプのユーザ相互作用の1つ以上の寄与の考慮を無視する)。
図26A~図26Dは、いくつかの実施形態による、1つ以上の同時タイプのユーザ相互作用に基づいて、それぞれの仮想オブジェクトの視覚的顕著性を変更する方法を示すフローチャートである。いくつかの実施形態では、方法2600は、1つ以上の入力デバイス及び表示生成構成要素120などの表示生成構成要素と通信するコンピュータシステム101などのコンピュータシステムにおいて実行される。いくつかの実施形態では、コンピュータシステムは、方法800、1000、1200、1400、1600、1800、2000、2200、及び/又は2400のコンピュータシステムの1つ以上の特性を有する。いくつかの実施形態では、表示生成構成要素は、方法800、1000、1200、1400、1600、1800、2000、2200、及び/又は2400の表示生成構成要素の1つ以上の特性を有する。いくつかの実施形態では、1つ以上の入力デバイスは、方法800、1000、1200、1400、1600、1800、2000、2200、及び/又は2400の1つ以上の入力デバイスの特性のうちの1つ以上を有する。
いくつかの実施形態では、コンピュータシステムは、表示生成構成要素を介して、三次元環境2502内のオブジェクト2512Aなどの三次元環境内の仮想オブジェクトを表示し(2602a)、仮想オブジェクトは、図25Aのオブジェクト2512aなどの第1の視覚的外観を有する。いくつかの実施形態では、仮想オブジェクトは、方法800、1000、1200、1400、1600、1800、200、2200、及び/又は2400を参照して説明される仮想オブジェクトの特性のうちの1つ以上を有する。いくつかの実施形態では、三次元環境は、方法800、1000、1200、1400、1600、1800、200、2200、及び/又は2400を参照して説明される三次元環境の特性のうちの1つ以上を有する。例えば、コンピュータシステムは、任意選択的に、アプリケーション(例えば、メッセージングアプリケーション、メディア再生アプリケーション、及び/又はリアルタイムビデオ通信アプリケーション)のユーザインタフェースを含む仮想ウィンドウである仮想オブジェクトを表示する。いくつかの実施形態では、コンピュータシステムは、1つ以上のそれぞれの値を有する仮想オブジェクトの1つ以上の視覚的特性を表示することを含む視覚的外観(例えば、第1の視覚的外観)で仮想オブジェクトを表示する。例えば、コンピュータシステムは、任意選択的に、第1の不透明度で仮想オブジェクトを表示する(例えば、0%の不透明度は完全に透明な外観に対応し、100%の不透明度は完全に不透明な視覚的外観に対応し、中間の不透明度は部分的に不透明な及び/又は部分的に半透明な外観に対応する)。いくつかの実施形態では、仮想オブジェクトの個別の部分(例えば、境界、1つ以上の角、仮想オブジェクトの本体の1つ以上の部分、及び/又は境界の1つ以上の部分)は、第1の値を有する第1の視覚的特性で表示される。例えば、第1の視覚的外観は、半透明の境界(例えば、0%の不透明度)で仮想オブジェクトを表示することと、著しく高い(例えば、90又は100%の)不透明度で仮想オブジェクトの1つ以上の部分を表示することとを任意選択的に含む。追加的又は代替的に、コンピュータシステムは、任意選択的に、追加の視覚的特性がそれぞれの値を有するように、第1の視覚的外観で仮想オブジェクトを表示する。例えば、第1の視覚的外観は、任意選択的に、ある程度の不透明度(例えば、100%の不透明度)で仮想オブジェクトを表示することを含み、更に任意選択的に、第1の程度の輝度(例えば、100%の輝度)で仮想効果を表示することを含む。輝度、彩度、コントラスト、及び/又はぼかし効果の程度などの他の視覚的特性が、仮想オブジェクトの個別の視覚的外観(例えば、第1の視覚的外観及び/又は後述する他の視覚的外観)を定義する際に任意選択的に含まれることが理解される。いくつかの実施形態では、仮想オブジェクトは、第1の値に対応する第1の視覚的特性(例えば、不透明度)及び第2の値に対応する第2の視覚的特性(例えば、輝度)を含む第1の視覚的外観で表示される。いくつかの実施形態では、第1及び第2の視覚的特性は、方法1600、1800、2000、2200、及び/又は2400を参照して説明される仮想コンテンツ及び/又はオブジェクトの視覚的特性などの任意の視覚的特性(例えば、不透明度、輝度、サイズ、色、彩度、明瞭性又は不明瞭性、仮想影、仮想照明効果、及び/又はエッジ外観)のうちの1つ以上である。いくつかの実施形態では、第1及び第2の視覚的特性は、異なる視覚的特性である。
いくつかの実施形態では、表示生成構成要素を介して、第1の視覚的外観で仮想オブジェクトを表示している間に、コンピュータシステムは、図25Aに示す注意2544-1の変化などの、コンピュータシステムのユーザと三次元環境との相互作用に対応するイベントを検出する(2602b)。例えば、コンピュータシステムは、任意選択的に、コンピュータシステムのユーザ及び/又はコンピュータシステムと通信している第2のコンピュータシステムから受信した1つ以上の入力の検出を含むイベントを検出する。いくつかの実施形態では、1つ以上の入力は、ユーザの個別の部分のコンピュータシステムによって検出される移動(例えば、ユーザの手の移動、三次元環境内の更新されたポジションへのユーザの身体の移動、及び/又はユーザの頭部の移動)を含む。いくつかの実施形態では、イベントは、仮想又は物理的ボタンの選択入力を含む。例えば、コンピュータシステムは、ユーザの注意が仮想ボタンに任意選択的に向けられている間に、ユーザの個別の部分で実行されるエアジェスチャ(例えば、ユーザの手、1本以上の指、腕、及び/又はそのような部分の何らかの組み合わせによって実行されるエアピンチジェスチャ、エアスワイプジェスチャ、エアスクイーズジェスチャ、エアポインティングジェスチャ、及び/又は別の好適なエアジェスチャ)を含むイベントを任意選択的に検出する。いくつかの実施形態では、イベントは、仮想オブジェクトの閾値距離(例えば、0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、500、1000、又は5000 m)内又は外側のポジションへのユーザの移動などのイベントを含む。いくつかの実施形態では、コンピュータシステムは、仮想オブジェクトからの、仮想オブジェクトに向かう、仮想オブジェクトから離れる、及び/又は仮想オブジェクト内での注意のシフトを含むイベントを検出する。例えば、コンピュータシステムは、任意選択的に、個別の仮想オブジェクトから仮想オブジェクトへの注意のシフトを含むイベントを検出し、及び/又は任意選択的に、仮想オブジェクトから個別の仮想オブジェクトへの注意のシフトを含むイベントを検出する。いくつかの実施形態では、イベントは、以下で更に説明するように、1つ以上のそれぞれの基準を任意選択的に満たす、三次元環境とのユーザ相互作用のタイプに対応する。いくつかの実施形態では、イベント及び/又は三次元環境とのユーザ相互作用のタイプは、方法1600、1800、2000、2200、及び/又は2400を参照して説明される実施形態の1つ以上の特性を有し、例えば、それは、仮想コンテンツの視覚的顕著性の変更、仮想コンテンツに対する入力、及び/又は変更又は維持された視覚的顕著性による仮想コンテンツの表示に影響を与える1つ以上の基準の充足に関する。
いくつかの実施形態では、ユーザと三次元環境との相互作用に対応するイベントを検出したことに応じて(2602c)、イベントが三次元環境との第1のタイプのユーザ相互作用を含むという判定に従って、コンピュータシステムは、図25Aに対する図25Bに示すオブジェクト2512aの変更など、三次元環境との第1のタイプのユーザ相互作用に基づいて仮想オブジェクトの視覚的外観を変更する(2602d)(任意選択的に、後述するようにイベントが三次元環境との第2のタイプのユーザ相互作用を含まないという判定に従って、三次元環境との第2のタイプのユーザ相互作用に基づいて仮想オブジェクトの視覚的外観を変更することなく)。例えば、コンピュータシステムは、任意選択的に、イベントが第1のタイプのユーザ相互作用を含むという判定に従って、第1の値から第3の値への第1の視覚的特性の第1の変化度を任意選択的に含んで、仮想オブジェクトの視覚的外観を第1の視覚的外観から第2の視覚的外観に変更する。本明細書で言及されるように、ユーザ相互作用のタイプは、任意選択的に、ユーザの視点(例えば、ポジション及び/又は向き)の移動、ユーザの注意の変化、個別(それぞれ)の仮想オブジェクト及び/若しくは他の仮想及び/若しくは物理的オブジェクト間の見かけ上の空間的衝突、並びに/又は個別(それぞれ)の仮想オブジェクト間及び/若しくはそれぞれの仮想オブジェクトと物理的オブジェクトとの間の見かけ上の視覚的衝突を含む。いくつかの実施形態では、コンピュータシステムは、第1のタイプのユーザ相互作用を含むイベントに基づいて、仮想オブジェクトの視覚的外観を変更する。第1のタイプのユーザ相互作用を含むイベントに基づくそのような変更は、任意選択的に、第1の方式で仮想オブジェクトを変更することと呼ばれる。いくつかの実施形態では、第1の方式で仮想オブジェクトを変更することは、第2の視覚的特性の値を(例えば、第2の値に)維持することを含む。例えば、第1の方式は、仮想オブジェクトの輝度が任意選択的に(例えば、第2の値で)維持されている間に、仮想オブジェクトの不透明度を初期値(例えば、第1の値)から更新値(例えば、第3の値)に変更することを任意選択的に含む。いくつかの実施形態では、第1の方式で仮想オブジェクトを変更することは、第2の視覚的特性を第2の値から第2の値とは異なる第4の値に変更することを含む。前述のように、方法1600~2400を参照して変化するものとして説明される仮想コンテンツ及び/又はオブジェクトの視覚的特性など、任意の好適な視覚的特性(例えば、不透明度、輝度、サイズ、色、彩度、鮮明度又は不明瞭度、仮想影、仮想照明効果、及び/又はエッジ外観)は、任意選択的に、同様に変更されることを理解されたい。いくつかの実施形態では、仮想オブジェクトを変更することは、第1及び第2の視覚的特性以外の付加的視覚的特性を初期値から更新値に変更することを更に含む。1つ又は第1の基準の説明、仮想オブジェクトなどの仮想コンテンツの視覚的外観の変更、第1の視覚的外観及び/又は別の視覚的外観でのそのような仮想コンテンツの表示、仮想コンテンツの視覚的特性(単数又は複数)、及び/又は視覚的特性(単数又は複数)の値(単数又は複数)は、任意選択的に、方法1600、1800、2000、2200、及び/又は2400を参照して更に詳細に説明される1つ以上の特性を有する。
いくつかの実施形態では、図25Bから図25Cへの視点2526の移動など、三次元環境との第1のタイプのユーザ相互作用とは異なる三次元環境との第2のタイプのユーザ相互作用をイベントが含むという判定に従って、コンピュータシステムは、図25Bに対する図25Cに示すオブジェクト2512aの変更など、三次元環境との第2のタイプのユーザ相互作用に基づいて第1の仮想オブジェクトの視覚的外観を変更する(2602e)(任意選択的に、イベントが三次元環境との第1のタイプのユーザ相互作用を含まないという判定に従って上述したように、三次元環境との第1のタイプのユーザ相互作用に基づいて仮想オブジェクトの視覚的外観を変更することなく)。例えば、第2のタイプのユーザ相互作用は、任意選択的に、第1のタイプのユーザ相互作用を参照して説明される1つ以上のタイプのユーザ相互作用に対応する。一例として、第1のタイプのユーザ相互作用は、仮想オブジェクトからの第1の距離から、仮想オブジェクトの個別の部分(例えば、中心)とユーザの視点との間の固定された角度を維持しているときの仮想オブジェクトからの第2の(例えば、より大きい又はより小さい)距離へのユーザ視点変化の変化を検出することに任意選択的に対応し、第2のタイプのユーザ相互作用は、第1の視野角から、仮想オブジェクトの個別の部分とユーザの視点との間の固定された距離を維持しているときの第2の異なる視野角への視野角の変化に任意選択的に対応する。いくつかの実施形態では、三次元環境との第1及び第2のタイプのユーザ相互作用は、相互作用の異なるモードに対応する。例えば、第1のタイプのユーザ相互作用は、任意選択的に、ユーザの視点の移動(例えば、仮想オブジェクトからの距離の変化、仮想オブジェクトに対する角度の変化、及び/又はこれらの何らかの組み合わせ)を含み、第2のタイプのユーザ相互作用は、任意選択的に、仮想オブジェクトと物理的オブジェクト及び/又は仮想オブジェクト以外の仮想コンテンツとの間の見かけ上の空間的衝突を含む。見かけ上の空間的衝突は、任意選択的に、仮想オブジェクトを第1のポジション(例えば、見かけ上の空間的衝突なし)から第2のポジション(例えば、見かけ上の空間的衝突を含む)に移動させる入力を含む。第1の方式を参照して説明されるのと同様に、コンピュータシステムは、任意選択的に、三次元環境との第2のタイプのユーザ相互作用を含むイベントを検出し、任意選択的に、第2の方式で、第2のタイプのユーザ相互作用に基づいて仮想オブジェクトの視覚的顕著性を変更する。第2の方式で仮想オブジェクトを変更することは、方法1600~2400を参照して説明される視覚的特性の変更など、第1の方式で仮想オブジェクトを変更することに関して説明されるものと同様又は同じ1つ以上の特性を任意選択的に有する。例えば、第1の方式で仮想オブジェクトの視覚的外観を操作することが仮想オブジェクトの不透明度を変更することを含む場合、第2の方式で仮想オブジェクトの視覚的外観を操作することは、仮想オブジェクトの輝度を変更することを任意選択的に含む。いくつかの実施形態では、第1の方式で仮想オブジェクトを変更することは、第1の視覚的特性を第1の値から第2の値に(例えば、第1の量又は程度の変化だけ)変更することを含み、第2の方式で仮想オブジェクトを変更することは、第1の視覚的特性を第1の値から第2の値とは異なる第3の値に(例えば、第1の量とは異なる第2の量だけ)変更することを含む。いくつかの実施形態では、第1の方式で仮想オブジェクトの視覚的外観を変更することは、第2の方式で仮想オブジェクトを変更することと同様又は同一である。したがって、いくつかの実施形態では、コンピュータシステムは、第1の1つ以上の基準の充足に従って、又は第2の1つ以上の基準の充足に従って、それぞれ、第1の程度又は第2の程度の変化だけ第1の視覚的特性を変更する。
いくつかの実施形態では、イベントが三次元環境との第1のタイプのユーザ相互作用と三次元環境との第2のタイプのユーザ相互作用の両方を含むという判定に従って、コンピュータシステムは、図25Cに示すオブジェクト2512aの視覚的顕著性レベルの同時変更など、三次元環境との第1のタイプのユーザ相互作用と三次元環境との第2のタイプのユーザ相互作用の両方に基づいて仮想オブジェクトの第1の視覚的外観を同時に変更する(2602f)。例えば、コンピュータシステムは、任意選択的に、第1及び第2の方式で仮想オブジェクトを同時に変更して、任意選択的に、第1のタイプのユーザ相互作用及び第2のタイプのユーザ相互作用に基づく視覚的外観で仮想オブジェクトを表示する。前述したように、第1の方式で仮想オブジェクトを変更することは、任意選択的に、三次元環境との第1のタイプのユーザ相互作用に基づき、第2の方式で仮想オブジェクトを変更することは、任意選択的に、三次元環境との第2のタイプのユーザ相互作用に基づく。前述したように、例えば、第1の方式は、任意選択的に、変更された不透明度で仮想オブジェクトを表示することに対応し、第2の方式は、任意選択的に、変更された輝度で仮想オブジェクトを表示することに対応する。別の例として、第1のタイプのユーザ相互作用を同時に変更することは、任意選択的に、方法2400を参照して説明されるような仮想オブジェクトに近すぎるポジションへのコンピュータシステムの移動に対応し、第2のタイプのユーザ相互作用は、任意選択的に、個別の仮想オブジェクトから仮想オブジェクトへの、及び/又は仮想オブジェクトから個別の仮想オブジェクトへの注意の変化に対応する。前述した三次元環境との任意の適切なタイプのユーザ相互作用が、第1及び/又は第2のタイプのユーザ相互作用として任意選択的に適用されることが理解される。視覚的外観に関して、コンピュータシステムは、任意選択的に、ユーザが第1のポジションで仮想オブジェクトに十分に近く、第1の向きで仮想オブジェクトに向かって方向付けられている間、100%の不透明度(例えば、第1の値での第1の視覚的特性)及び100%レベルの輝度(例えば、第2の値での第2の視覚的特性)で仮想オブジェクトを表示する。仮想オブジェクトから第2のポジションへの移動(例えば、1つ以上の第1の基準を満たす移動及び/又は第2のポジション)、並びに仮想オブジェクトから第2の向きへのコンピュータシステム及び/又はコンピュータシステムのユーザの回転(例えば、1つ以上の第2の基準を満たす回転及び/又は第2の向き)を検出したことに応じて、コンピュータシステムは、任意選択的に、低減された不透明度(例えば、第1の変更方式に対応する第3の値での第1の特性)及び低減された輝度(例えば、第2の変更方式に対応する第4の値での第2の特性)で仮想オブジェクトを表示する。したがって、第1のポジションから第2のポジションへの移動は、任意選択的に、三次元環境との第1のタイプの相互作用に対応し、第1の向きから第2の向きへの回転は、任意選択的に、三次元環境との第2のタイプの相互作用に対応する。独立して、コンピュータシステムが第1のポジションから第2のポジションへの移動を検出した場合、コンピュータシステムは、任意選択的に、低減された不透明度(例えば、第3の値での第1の特性)で仮想オブジェクトを表示し、及び/又はコンピュータシステムが第1の向きから第2の向きへの移動を検出した場合、コンピュータシステムは、任意選択的に、低減された輝度(例えば、第4の値での第2の特性)で仮想オブジェクトを表示する。したがって、第1及び第2のタイプのユーザ相互作用に基づく視覚的外観の変化は、任意選択的に、協調して動作する第1及び第2の方式における仮想オブジェクトの変更に基づく。いくつかの実施形態では、仮想オブジェクトを第1の方式及び第2の方式で(例えば、第1及び第2の方式を含む第3の方式で)変更することは、第1及び第2の方式に基づいて、第1又は第2の視覚的特性を相乗的又は相反的に変更することを含む。例えば、仮想オブジェクトにより近づくユーザ視点の変化(例えば、第1のタイプのユーザ相互作用に対応する)を検出したことに応じて、コンピュータシステムは、任意選択的に、仮想オブジェクトの不透明度を第1の量だけ増加させ、仮想オブジェクトに向かって回転するユーザ視点の変化(例えば、第2のタイプのユーザ相互作用に対応する)を検出したことに応じて、任意選択的に、不透明度を第2の量だけ増加させる。仮想オブジェクトに近づいて回転するユーザ視点の変化を同時に検出したことに応じて、コンピュータシステムは、任意選択的に、第1及び第2の量の不透明度の変更を合成する。仮想オブジェクトに向かって回転しながら仮想オブジェクトから更に離れる視点の変化を同時に検出したことに応じて、コンピュータシステムは、任意選択的に、不透明度を第1の量だけ減少させ、任意選択的に、不透明度を第2の量だけ増加させる。同様に、仮想オブジェクトから離れて回転しながら仮想オブジェクトに向かってより近くに移動する視点の変化を検出したことに応じて、コンピュータシステムは、任意選択的に、不透明度を第1の量だけ増加させ、任意選択的に、不透明度を第2の量だけ減少させる。仮想オブジェクトから離れるように移動及び回転する視点の変化を検出したことに応じて、コンピュータシステムは、任意選択的に、不透明度を第1及び第2の量だけ減少させる。不透明度の変化は、任意選択的に、厳密に加法的又は減法的ではなく、任意選択的に、様々な程度の変更、並びに/又は共有される視覚的特性の値の全体的な増加及び/若しくは減少に従う変更を含むことが理解される。例えば、視点の変化は、任意選択的に、視覚的顕著性の対数的及び/又は指数的変化を引き起こす1つ以上の要因のうちの1つである。それぞれの基準の充足に従って、第1の方式、第2の方式、又は第1及び第2の方式の組み合わせで仮想オブジェクトの視覚的外観を変更することは、仮想オブジェクトの相互作用性など、仮想オブジェクトとのユーザ相互作用に関連する仮想オブジェクトの状態を視覚的に示し、第1及び/又は第2の基準を充足させる要因のうちの1つ以上を解決するなど、状態を変更するための視覚的フィードバックを提供する。
いくつかの実施形態では、コンピュータシステムが、三次元環境との第1のタイプ(及び/又は第2のタイプ)のユーザ相互作用に基づいて、オブジェクト2512aなどの仮想オブジェクトの視覚的外観を変更すること(2604)は、仮想オブジェクトに対するユーザの視点2526などの現在の視点間の角度、又は図25Bから図25Cへの視点2526の角度などのユーザの現在の視点と仮想オブジェクトとの間の距離に基づいて、仮想オブジェクトの視覚的外観を変更することを含む。例えば、方法1600を参照して説明されるように、第1のタイプ(及び/又は第2のタイプ)のユーザ相互作用は、任意選択的に、コンピュータシステムのユーザの現在の視点の移動を検出することと、検出された移動に応じて、移動に従って、任意選択的に現在の視点と仮想オブジェクトとの間の距離に従って、仮想オブジェクトの視覚的顕著性レベルを変更することとを含む。いくつかの実施形態では、視覚的外観の変更は、現在の視点と仮想オブジェクトとの間の角度及び/又は距離に基づく。三次元環境とのユーザ相互作用のタイプに基づいて仮想オブジェクトの視覚的顕著性を変更することは、仮想オブジェクトに対するユーザの向きについての視覚的フィードバックを提供し、それによって、仮想オブジェクトの可視性及び/又は相互作用可能性を改善するために必要とされる入力を示し、相互作用可能性が制限されるか、又はユーザ予想と異なるとき、仮想オブジェクトに誤って向けられるユーザ入力を減少させる。
いくつかの実施形態では、三次元環境との第1のタイプ(及び/又は第2のタイプ)のユーザ相互作用に基づいて仮想オブジェクトの視覚的外観を変更することは、コンピュータシステムのユーザの注意が図25Aの注意2544-1などの仮想オブジェクトに向けられているかどうかに基づいて、オブジェクト2512aなどの仮想オブジェクトの視覚的外観を変更することを含む(2606)。例えば、方法1800を参照して説明されるように、コンピュータシステムは、任意選択的に、仮想オブジェクトをターゲットとするユーザの注意を検出したことに応じて、仮想オブジェクトの視覚的顕著性レベルを増加させ、任意選択的に、別の仮想オブジェクト及び/又は三次元環境の部分をターゲットとするユーザの注意を検出したことに応じて、視覚的顕著性レベルを減少させる。ユーザの注意に基づいて仮想オブジェクトの視覚的顕著性を変更することは、コンピュータシステムのユーザ入力のターゲットへの理解に関する視覚的フィードバックを提供し、それによって、仮想オブジェクトの可視性及び/又は相互作用可能性を改善するために必要とされる入力を示し、相互作用可能性が制限されるか、又はユーザ予想と異なるとき、仮想オブジェクトに誤って向けられるユーザ入力を減少させる。
いくつかの実施形態では、三次元環境との第1のタイプ(及び/又は第2のタイプ)のユーザ相互作用に基づいて、オブジェクト2514aなどの仮想オブジェクトの視覚的外観を変更することは、オブジェクト2514aとテーブル2522aとの間の衝突など、仮想オブジェクトと仮想オブジェクトとは異なる第2のオブジェクトとの間の空間的衝突に基づいて、仮想オブジェクトの視覚的外観を変更することを含む(2608)。いくつかの実施形態では、コンピュータシステムは、方法2000を参照して説明されるように、仮想オブジェクトと別の物理的又は仮想オブジェクトとの間の見かけ上の空間的衝突を呈する三次元環境内のポジションに仮想オブジェクトを表示する。いくつかの実施形態では、コンピュータシステムのユーザと三次元環境との相互作用に対応するイベントは、見かけ上の空間的衝突を呈するポジションへの仮想オブジェクトの移動を要求する1つ以上の入力など、イベントの前に存在しなかった見かけ上の空間的衝突を引き起こす三次元環境内のオブジェクトの変化を含む。例えば、コンピュータシステムは、仮想オブジェクトをそのポジションに移動させる1つ以上の要求(例えば、現在の視点に対して1つ以上のウィンドウを中心化する仮想又は物理的ボタンの選択)に応じて、同様又は同じ寸法の物理的オブジェクトを他の物理的又は仮想オブジェクトと衝突及び/又は交差させるであろうポジションに、仮想ウィンドウを任意選択的に表示する。そのような見かけ上の衝突を解決するために、コンピュータシステムは、他のオブジェクトとの見かけ上の交差を呈する、及び/又は見かけ上の交差の閾値距離(例えば、0.01、0.025、0.05、0.1、0.25、0.5、1、2.5、5、10、15、25、50、100、250、500、1000、又は5000m)内にある仮想オブジェクトの1つ以上の部分を任意選択的に変更する。別の例として、ベン図に含まれる2つの仮想円が別個の仮想オブジェクトに任意選択的に対応するとき、2つの仮想円の交差部分は、仮想環境に対して変更された(例えば、増加又は減少された)視覚的顕著性で任意選択的に表示される。いくつかの実施形態では、コンピュータシステムは、仮想オブジェクトの第2の部分(例えば、衝突していない部分)に対して、及び/又はオブジェクトを囲む三次元環境の他の部分に対して、仮想オブジェクトの第1の部分を視覚的に強調しない。いくつかの実施形態では、コンピュータシステムは、入力に応じて仮想オブジェクトの第1の部分が他のオブジェクトの第1の部分と接触又は交差するときに、オブジェクトの第1の部分をユーザの視点に対して可視であるようにするアニメーション効果を用いて仮想オブジェクトの第1の部分を表示する。例えば、以下で説明するように、アニメーション効果は、オブジェクトの第1の部分が他のオブジェクトの第1の部分と接触しているときに、他のオブジェクトの第1の部分を個別の量だけ(例えば、及び/又は個別の遮蔽の速度若しくは即時性及び/又は深度衝突を有するオブジェクトの第1の部分から離れる個別の拡張で)隠す(例えば、遮蔽する又は部分的に遮蔽する)フェザリング効果を含む。いくつかの実施形態では、第2の視覚的特性の特性は、オブジェクトのサイズ、オブジェクトの照明、オブジェクトに関連付けられた影(例えば、他のオブジェクトによってオブジェクト上に投影される)、又はユーザの視点に対する三次元環境内のオブジェクトの相対配置の変化に基づいて自動的に及び/若しくは別様に変化する他の視覚的特性を含まず、及び/又はそれらとは異なる。いくつかの実施形態では、コンピュータシステムは、オブジェクトの第1の部分が他のオブジェクトの第1の部分と接触したままである間に、第2の視覚的特性でオブジェクトの第1の部分を表示する。例えば、コンピュータシステムが、オブジェクトの第1の部分が他のオブジェクトの第1の部分又は他のオブジェクトの部分と同じ三次元環境の部分をもはや占有しないようにする、三次元環境内の第3のロケーションへのオブジェクトの移動を検出した場合、コンピュータシステムは、第1の視覚的特性でオブジェクトの第1の部分を再表示する。いくつかの実施形態では、コンピュータシステムが、オブジェクトの第1の部分と他のオブジェクトの第1の部分との間の深度衝突を検出したことに応じて、第2の視覚的特性でオブジェクトの第1の部分を表示するとき、コンピュータシステムは、第2の視覚的特性で三次元環境の他の部分(例えば、オブジェクト又は物理的環境の部分を囲むオブジェクト)を表示せず、及び/又は三次元環境の他の部分の視覚的特性を変更しない。第2の仮想オブジェクトとの空間的衝突に基づいて仮想オブジェクトの視覚的外観を変更することは、仮想オブジェクトの配置に関する視覚的フィードバックを提供し、したがって、空間的衝突を解決するために必要とされるユーザ入力を示し、曖昧な又は予想外の挙動を呈する空間的衝突の領域に誤ってユーザ相互作用が向けられるのを防止する。
いくつかの実施形態では、第2のオブジェクトは、図25Aのテーブル2522aなど、コンピュータシステムのユーザの物理的環境内の物理的オブジェクトである(2610)。例えば、第2のオブジェクトは、任意選択的に、コンピュータシステムのユーザの物理的環境における物理的な棚、ソファ、及び/又は机である。仮想オブジェクトが物理的オブジェクトと衝突するときにユーザ相互作用のタイプに基づいて視覚的外観を変更することは、ユーザの物理的環境のユーザ認識を増加させ、見かけ上の衝突に関連する視覚的不快感を低減し、空間的衝突の性質を視覚的に示し、それによって、仮想コンテンツとの空間的衝突の解決とは異なる空間的衝突を解決するためのユーザ入力を示す。
いくつかの実施形態では、第2のオブジェクトは、図25Aのオブジェクト2510aなどの三次元環境内の仮想オブジェクトと同時に表示される個別の仮想オブジェクトである(2612)。例えば、第2のオブジェクトは、任意選択的に、コンピュータシステムのユーザのエクステンデッドリアリティ(XR)環境における仮想棚、仮想ソファ、及び/又は仮想机である。仮想オブジェクトが仮想オブジェクトと衝突するときにユーザ相互作用のタイプに基づいて視覚的外観を変更することは、空間的衝突の性質を視覚的に示し、それによって、物理的オブジェクトとの空間的衝突の解決とは異なる見かけ上の空間的衝突を解決するためのユーザ入力を示す。
いくつかの実施形態では、三次元環境との第1のタイプ(及び/又は第2のタイプ)のユーザ相互作用に基づいて仮想オブジェクトの視覚的外観を変更することは、ユーザの視点2526などの現在の視点が、図25Aのオブジェクト2512aに関連付けられた閾値などの仮想オブジェクトの閾値距離内にあるという判定に基づいて、仮想オブジェクトの視覚的外観を変更することを含む(2614)。例えば、方法2200を参照して更に説明するように、第1の(及び/又は第2の)タイプのユーザ相互作用は、任意選択的に、仮想オブジェクトのすぐ前のポジションへの移動など、仮想オブジェクトの閾値距離内へのコンピュータのユーザの現在の視点の移動を含む。イベントに応じて、コンピュータシステムは、仮想オブジェクトの1つ以上の部分の視覚的顕著性レベルを任意選択的に変更する(例えば、減少又は増加させる)。現在の視点が仮想オブジェクトの閾値距離内に変化したという判定に基づいて仮想オブジェクトの視覚的外観を変更することは、仮想オブジェクトの準最適な可視性及び/又は相互作用性に起因してユーザ入力が誤って仮想オブジェクトに向けられる可能性を減少させる。
いくつかの実施形態では、イベントが、三次元環境との第1のタイプの相互作用及び第2のタイプの相互作用とは異なる、三次元環境との第3のタイプのユーザ相互作用を含むという判定に従って、ユーザと三次元環境との相互作用に対応するイベントを検出したことに応じて(2616a)、コンピュータシステムは、図25Bに対する図25Cの視点2526の変化など、三次元環境との第3のタイプのユーザ相互作用に基づいて仮想オブジェクトの視覚的外観を変更する(2616b)。第3のタイプのユーザ相互作用は、任意選択的に、三次元環境との第1のタイプ及び/又は第2のタイプのユーザ相互作用の1つ以上の特性を有する。例えば、方法2600のステップ2602を参照して説明されるように、コンピュータシステムは、任意選択的に、第1の方式で(例えば、三次元環境との第1のタイプのユーザ相互作用に基づいて)、第2の方式で(例えば、三次元環境との第2のタイプのユーザ相互作用に基づいて)、及び/又は更に第3の方式で(例えば、三次元環境との第3のタイプのユーザ相互作用に基づいて)、仮想オブジェクトの視覚的外観を変更する。第1の方式は、ユーザの現在の視点と仮想オブジェクトとの間の減少した距離に基づいて仮想オブジェクトの視覚的外観を変更することを任意選択的に含み、第2の方式は、現在の視点と仮想オブジェクトとの間の角度の変化に基づいて仮想オブジェクトの視覚的外観を変更することを任意選択的に含み、第3の方式は、仮想オブジェクトと別のオブジェクトとの間の見かけ上の空間的衝突に基づいて仮想オブジェクトの視覚的外観を変更することを任意選択的に含む。一部の実施形態では、第3のタイプのユーザ相互作用及び/又は仮想オブジェクトの視覚的外観を変更する第3の方式は、方法1600~2400を参照して説明される第1及び/又は第2のタイプのユーザ相互作用の1つ以上の特性を有する。コンピュータシステムは、任意選択的に、複数のタイプのユーザ相互作用(例えば、第1、第2、第3、第4、第5、及び/又は第6のタイプのユーザ相互作用、任意選択的に何らかの組み合わせで同時に)を含むイベント(単数又は複数)を検出し、本明細書の方法2600を参照して説明されるユーザ相互作用のタイプの組み合わせとして説明されるのと同様に、そのようなイベント(単数又は複数)に基づいて仮想オブジェクトの視覚的外観を変更することが理解される。第3のタイプのユーザ相互作用に基づいて仮想オブジェクトの視覚的外観を変更することは、追加のタイプのユーザ相互作用についてのフィードバックを提供し、それによって、仮想オブジェクトの可視性及び/又は相互作用可能性を改善するために必要とされるユーザ入力を示す。
いくつかの実施形態では、ユーザと三次元環境との相互作用に対応するイベントを検出したことに応じて(2618a)、イベントが三次元環境との第1のタイプのユーザ相互作用及び三次元環境との第3のタイプのユーザ相互作用の両方を含むという判定に従って、コンピュータシステムは、図25A~図25Bに対する図25Cのオブジェクト2512aの視覚的顕著性レベルの変更など、三次元環境との第1のタイプのユーザ相互作用及び三次元環境との第3のタイプのユーザ相互作用の両方に基づいて、仮想オブジェクトの第1の視覚的外観を同時に変更する(2618b)。例えば、三次元環境との第1のタイプ及び第2のタイプのユーザ相互作用に基づくが、第1のタイプ及び第3のタイプのユーザ相互作用に基づく仮想オブジェクトの視覚的外観の同時変更と同様又は同じである。いくつかの実施形態では、イベントが第1及び第3のタイプのユーザ相互作用の両方を含むとき、コンピュータシステムは、イベントが第1のタイプのユーザ相互作用及び/又は第2のタイプのユーザ相互作用を含むときとは異なるように視覚的外観を変更する。例えば、第1及び第2のタイプのユーザ相互作用は、任意選択的に、仮想オブジェクトに対する注意の変化及び仮想オブジェクトに対するユーザのオフアングルの移動を検出することを含み、任意選択的に、仮想オブジェクトの視覚的外観における個別の第1の変化をもたらし、第1及び第3のタイプのユーザ相互作用は、任意選択的に、仮想オブジェクトにより近いユーザの注意の変化及び移動の同様の検出を含み、任意選択的に、仮想オブジェクトの視覚的外観における個別の第2の変化をもたらす。第1のタイプ及び第3のタイプのユーザ相互作用に基づいて仮想オブジェクトの視覚的外観を変更することは、追加のタイプのユーザ相互作用についてのフィードバックを提供し、それによって、仮想オブジェクトの可視性及び/又は相互作用可能性を改善するために必要とされるユーザ入力を示す。
いくつかの実施形態では、ユーザと三次元環境との相互作用に対応するイベントを検出したことに応じて(2620a)、イベントが三次元環境との第2のタイプのユーザ相互作用及び三次元環境との第3のタイプのユーザ相互作用の両方を含むという判定に従って、コンピュータシステムは、図25A~図25Bに対する図25Cのオブジェクト2512aの視覚的顕著性レベルの変更など、三次元環境との第2のタイプのユーザ相互作用及び三次元環境との第3のタイプのユーザ相互作用の両方に基づいて、仮想オブジェクトの第1の視覚的外観を同時に変更する(2620b)。例えば、三次元環境との第1のタイプ及び第2のタイプのユーザ相互作用に基づくが、第2のタイプ及び第3のタイプのユーザ相互作用に基づく仮想オブジェクトの視覚的外観の同時変更と同様又は同じである。ステップ(単数又は複数)2618を参照して説明されるのと同様に、第2及び第3のタイプのユーザ相互作用を含むイベントは、任意選択的に、他のイベント(例えば、第1、第2及び/若しくは第3のタイプのユーザ相互作用スタンドアロン、並びに/又は第2及び第3のタイプのユーザ相互作用以外の第1、第2及び/若しくは第3のタイプのユーザ相互作用の組み合わせを含む)に対する視覚的外観の異なる変更をもたらす。第2のタイプ及び第3のタイプのユーザ相互作用に基づいて仮想オブジェクトの視覚的外観を変更することは、追加のタイプのユーザ相互作用についてのフィードバックを提供し、それによって、仮想オブジェクトの可視性及び/又は相互作用可能性を改善するために必要とされるユーザ入力を示す。
いくつかの実施形態では、ユーザと三次元環境との相互作用に対応するイベントを検出したことに応じて(2622a)、イベントが三次元環境との第1のタイプのユーザ相互作用、三次元環境との第2のタイプのユーザ相互作用、及び三次元環境との第3のタイプのユーザ相互作用を含むという判定に従って、コンピュータシステムは、図25A~図25Bに対する図25Cのオブジェクト2512aの視覚的顕著性レベルの変更など、三次元環境との第1のタイプのユーザ相互作用、三次元環境との第2のタイプのユーザ相互作用、及び三次元環境との第3のタイプのユーザ相互作用に基づいて、仮想オブジェクトの第1の視覚的外観を同時に変更する(2622b)。例えば、三次元環境との第1のタイプ及び第2のタイプのユーザ相互作用に基づくが、第1のタイプ、第2のタイプ、及び第3のタイプのユーザ相互作用に基づく仮想オブジェクトの視覚的外観の同時変更と同様又は同じである。ステップ(単数又は複数)2618を参照して説明されるのと同様に、第1、第2、及び第3のタイプのユーザ相互作用を含むイベントは、任意選択的に、他のイベント(例えば、第1、第2、及び/若しくは第3のタイプのユーザ相互作用スタンドアロン、並びに/又は3つ全てのタイプのユーザ相互作用以外の第1、第2、及び/若しくは第3のタイプのユーザ相互作用の組み合わせを含む)に対する視覚的外観の異なる変更をもたらす。ユーザ相互作用の第1のタイプ、第2のタイプ、及び第3のタイプに基づいて仮想オブジェクトの視覚的外観を変更することは、追加のタイプのユーザ相互作用についてのフィードバックを提供し、それによって、仮想オブジェクトの可視性及び/又は相互作用可能性を改善するために必要とされるユーザ入力を示す。
いくつかの実施形態では、第1のタイプのユーザ相互作用に基づいて仮想オブジェクトの視覚的外観を変更することと、第2のタイプのユーザ相互作用に基づいて仮想オブジェクトの視覚的外観を変更することとの両方が、図25Aのオブジェクト2512aの視覚的顕著性レベルなどの、三次元環境に対する仮想オブジェクトの視覚的顕著性を増加させることを含む(2624)。例えば、ユーザの現在の視点が、仮想オブジェクトの可視性を改善するために相対的に遠すぎるポジションから、仮想オブジェクトの可視性のために改善されたより小さい距離のポジションへシフトしたことを検出したことに応じて、コンピュータシステムは、任意選択的に、仮想オブジェクトに含まれるコンテンツの輝度、半透明性、及び/又は彩度を増加させる。更に、仮想オブジェクトから延びる法線と整合するように、準最適視野角から仮想オブジェクトの側面に向かう現在の視点シフトを検出したことに応じて、コンピュータシステムは、任意選択的に、仮想オブジェクト内に含まれるコンテンツの輝度、半透明性、及び/又は彩度を増加させる。いくつかの実施形態では、仮想オブジェクトの視覚的顕著性レベルの増加の組み合わせ量は、(例えば、第1のタイプ又は第2のタイプのユーザ相互作用のみに基づく)視覚的顕著性レベルの増加のそれぞれの構成量よりも大きい。第1のタイプのユーザ相互作用及び第2のタイプのユーザ相互作用に基づいて仮想オブジェクトの視覚的顕著性を増加させることは、視覚的顕著性のそのような増加を引き起こすための明示的入力を伴わずに、仮想オブジェクトとの相互作用を容易にする。
いくつかの実施形態では、第1のタイプのユーザ相互作用に基づいて仮想オブジェクトの視覚的外観を変更することと、第2のタイプのユーザ相互作用に基づいて仮想オブジェクトの視覚的外観を変更することとの両方は、図25A-Bに対する図25Cのオブジェクト2512aの視覚的顕著性レベルの変更など、三次元環境に対する仮想オブジェクトの視覚的顕著性を減少させることを含む(2626)。例えば、ユーザの注意が仮想オブジェクトから離れることを検出し、同時に、現在の視点が仮想オブジェクトから比較的離れたポジションに移動することを検出したことに応じて、コンピュータシステムは、任意選択的に、仮想オブジェクトに含まれるコンテンツの輝度、半透明性、及び/又は彩度を減少させる。更に、仮想オブジェクトから仮想オブジェクトの側面に向かう視野角まで延びる法線との整合からの現在の視点のシフトを検出したことに応じて、コンピュータシステムは、任意選択的に、仮想オブジェクト内に含まれるコンテンツの輝度、半透明性、及び/又は彩度を減少させる。いくつかの実施形態では、仮想オブジェクトの視覚的顕著性レベルの減少の合計量は、(例えば、第1のタイプ又は第2のタイプのユーザ相互作用のみに基づく)視覚的顕著性レベルの減少のそれぞれの構成量よりも大きさが大きい。第1のタイプのユーザ相互作用及び第2のタイプのユーザ相互作用に基づいて仮想オブジェクトの視覚的顕著性を減少させることは、視覚的顕著性のそのような増加を引き起こすための明示的入力を伴わずに、仮想オブジェクトとの相互作用を容易にする。
いくつかの実施形態では、第1のタイプのユーザ相互作用に基づいて仮想オブジェクトの視覚的外観を変更することは、三次元環境に対する仮想オブジェクトの視覚的顕著性を減少させることを含み、第2のタイプのユーザ相互作用に基づいて仮想オブジェクトの視覚的外観を変更することは、三次元環境に対する仮想オブジェクトの視覚的顕著性を増加させることを含み(2628)、これは、図25A-Bに対する図25Cのオブジェクト2514aの視覚的顕著性レベルの変更などと同様である。例えば、方法2600のステップ2602を参照して説明されるように、コンピュータシステムは、任意選択的に、第1のタイプのユーザ相互作用に基づいて、仮想オブジェクトの視覚的顕著性を増加させ、任意選択的に、第2のタイプのユーザ相互作用に基づいて、仮想オブジェクトの視覚的顕著性を減少させる(任意選択的に、同時に)。仮想オブジェクトの視覚的顕著性レベルの反対の変化を引き起こすユーザ相互作用を含むイベントを検出したことに応じて、コンピュータシステムは、視覚的顕著性レベルの正味の変化に従って、仮想オブジェクトの視覚的顕著性レベルを任意選択的に変更する。同様に、第1のタイプのユーザ相互作用が、第2のタイプのユーザ相互作用に対応する視覚的顕著性レベルの増加を上回る視覚的顕著性レベルの減少に対応する場合、コンピュータシステムは、任意選択的に、仮想オブジェクトの視覚的顕著性レベルを減少させる。方法2600のステップ2602を参照して説明されるように、コンピュータシステムは、任意選択的に、仮想オブジェクトの視覚的顕著性レベルのそれぞれの変化の間の差異に基づいて(例えば、減算的方式で、及び/又は視覚的顕著性レベルのそれぞれの変化の厳密な減算ではない何らかの組み合わせに基づいて)、視覚的顕著性レベルを変化させる。例えば、第1のタイプのユーザ相互作用(例えば、視覚的顕著性レベルを増加させること)は、任意選択的に、第2のタイプのユーザ相互作用(例えば、視覚的顕著性レベルを減少させること)よりも大きさが小さい。したがって、コンピュータシステムは、任意選択的に、仮想オブジェクトの視覚的顕著性レベルを増加させる(例えば、増加した視覚的顕著性の程度が減少した視覚的顕著性の程度よりも大きいため)。いくつかの実施形態では、視覚的顕著性レベルの正味の変化は、ほぼ等しく、仮想オブジェクトの仮想外観の変更は、見合わせられる。ユーザ相互作用のタイプに基づいて三次元環境に対する仮想オブジェクトの視覚的顕著性を増加又は減少させることは、視覚的顕著性の変化を指示するレジームに関する視覚的フィードバックを提供し、それによって、仮想オブジェクトの視覚的顕著性を増加(又は減少)させるための潜在的な入力に関する視覚的フィードバックを提供する。
方法2600における動作が説明された特定の順序は、例示的なものにすぎず、説明された順序が、動作が実行され得る唯一の順序であることを示すものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。
図27A~図27Jは、本開示のいくつかの実施形態による、コンピュータシステム101が三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて、仮想コンテンツを表示し、三次元環境に対する異なる量の視覚的影響を伴う環境効果を動的に表示するコンピュータシステム101の例を概略的に示す。
図27Aは、三次元環境2702内の異なるポジションにある仮想及び物理的オブジェクトを含む三次元環境2702を示す。特に、三次元環境2702は、仮想コンテンツ2704a~2704cを含む。仮想コンテンツ2704a~2704cは、それぞれ異なるアプリケーションのユーザインタフェースである。例えば、仮想コンテンツ2704aは、任意選択的に、ゲームアプリケーションに関連付けられたユーザインタフェースであり、仮想コンテンツ2704bは、任意選択的に、メッセージングアプリケーションに関連付けられ、仮想コンテンツ2704cは、任意選択的に、インターネットブラウジングアプリケーションに関連付けられる。仮想コンテンツの更なる例は、方法2800を参照して説明される。図27Aの三次元環境2702はまた、パススルーなどを介して可視である物理的なテーブル2706aを含む。いくつかの実施形態では、物理的なテーブル2706aは、図27Aの三次元環境では不可視であるが、表示から完全に隠されている。俯瞰図2711に示すように、コンピュータシステム101のユーザ2701の視点は物理的な部屋の中にあり、三次元環境2702はコンピュータシステム101を介して可視である。
図27Aでは、三次元環境2702はまた、仮想コンテンツ2704a~2704cとは異なる、垂直バーパターンによって表される環境効果2713(例えば、仮想コンテンツ2704a、仮想コンテンツ2704b、及び/又は仮想コンテンツ2704cが表示される環境の視覚効果又は視覚的特性)を含む。図27Aにおいて、ユーザの注意2708aが仮想コンテンツ2704aに向けられている間に、コンピュータシステム101は、仮想コンテンツ2704a及び環境効果2713を同時に表示する。図27Aにおいて、環境効果2713は、三次元環境2702の外観に対する視覚的影響を有する。環境効果2713及び三次元環境2702の外観に対する視覚的影響のその量(例えば、大きさ)は、任意選択的に、仮想コンテンツ2704a、コンピュータシステム101のオペレーティングシステム、又はこれらの組み合わせに関連付けられる(及び/又はこれらによって定義される)。例えば、仮想コンテンツ2704aは、ユーザの注意2708aが仮想コンテンツ2704aに向けられている間に、コンピュータシステム101が三次元環境2702の外観に対する特定量の視覚的影響を伴って環境効果2713を表示して、コンピュータシステム101が三次元環境2702の外観に対する特定量の視覚的影響を伴う環境効果2713と仮想コンテンツ2704aの両方を同時に表示することを任意選択的に要求する。別の例として、コンピュータシステム101のオペレーティングシステムは、任意選択的に、仮想コンテンツ2704aがユーザの注意の対象であるという判定に従って、かつ仮想コンテンツ2704aが第1のタイプのコンテンツ(例えば、ビデオコンテンツ)であるという判定に従って、三次元環境2702の外観に対する特定量の視覚的影響を伴って環境効果を表示することをデフォルトにする。図27Aの環境効果2713は、ユーザの注意2708aが仮想コンテンツ2704aに向けられている間に仮想コンテンツ2704aの視覚的顕著性を増加させるために、三次元環境2702を視覚的に暗くすることを任意選択的に含む。例えば、仮想コンテンツ2704aがビデオコンテンツである場合、コンピュータシステム101は、ユーザの注意2708aが仮想コンテンツ2704aに向けられている間に特定の量で視覚的な暗化を同時に表示して、ユーザの注意2708aが仮想コンテンツ2704aに向けられている間に仮想コンテンツ2704aのフォーカス及び/又は視覚的顕著性を任意選択的に増加させ、これは、方法2800を参照して更に説明するものの中でも特に、仮想コンテンツ2704aとの相互作用の向上を最適にもたらす。図27Aにおいて、コンピュータシステム101は、仮想コンテンツ2704aを視覚的に強調する(任意選択的に仮想コンテンツ2704b及び仮想コンテンツ2704cを含む三次元環境2702の他の部分に対する仮想コンテンツ2704aの太線の境界によって表されるように)。いくつかの実施形態では、仮想コンテンツ2704b及び2704cは、ユーザの注意2708aが仮想コンテンツ2704aに向けられている間、三次元環境2702の外観に対してその特定の視覚的影響を有する環境効果2713に起因して部分的に隠される(及び/又はそれに基づいて視覚的外観に影響を受ける)。
図27Aでは、ユーザの注意2708b~2708eは、それぞれ、仮想コンテンツ2704b、2704c、物理的なテーブル2706a、及び三次元環境2702の別の背景部分(例えば、パススルー部分)に交互に向けられ、ユーザ2701の手2710からの入力は、仮想コンテンツ2704bに向けられる。コンピュータシステム101は、任意選択的に、これらの異なる例示的な入力に応じて、より一般的には、図27B~図27Jを参照して詳細に説明されるように、これらの要素へのユーザの注意及び/又は他のユーザ入力のシフトを検出したことに応じて、三次元環境2702の外観に対する1つ以上の環境効果の視覚的影響の量を変更する。
図27Aはまた、ユーザの注意2708aが仮想コンテンツ2704aに向けられている間にコンピュータシステム101が表示する仮想コンテンツ2704a~2704cによる三次元環境2702の外観に対する環境効果の視覚的影響のそれぞれの量をそれぞれ詳細に示す凡例2712a~2712cを含む。特に、図27Aの凡例2712aは、仮想コンテンツ2704aに起因する三次元環境2702の外観に対する環境効果2713の視覚的影響の量が、第1のレベル(例えば、値100によって示される、仮想コンテンツ2704aに関連付けられた視覚的影響のレベルに対する、及び/又はシステム最大レベルに対する最大レベル)にあることを示し、凡例2712bは、仮想コンテンツ2704bに起因する三次元環境2702の外観に対する別の環境効果の視覚的影響の量が、(例えば、仮想コンテンツ2704bに関連付けられた視覚的影響のレベルに対して、及び/又は値0によって示されるシステム最小レベルに対して)最小レベルであることを示し、図27Aの記号2712cは、仮想コンテンツ2704cに起因する三次元環境2702の外観に対する、環境効果2713とは異なる別の環境効果(図27Hを参照して後述する)の視覚的影響の量が、(例えば、仮想コンテンツ2704cに関連付けられた視覚的影響のレベルに対して、及び/又は値0によって示されるシステム最小レベルに対して)最小レベルであることを示す。
図27B~図27Dは、図27Aの仮想コンテンツ2704aから図27Aの仮想コンテンツ2704bへの(例えば、図27Aのユーザの注意2708aから図27Aのユーザの注意2708bへの)ユーザの注意のシフト及び/又は仮想コンテンツ2704bに向けられたユーザの注意とは異なる他の入力(単数又は複数)を検出したことに応じて、かつ仮想コンテンツ2704bが同じ環境効果2713に関連付けられているが、図27Aの三次元環境2702の外観に対する視覚的影響の量とは異なる三次元環境2702の外観に対する視覚的影響の量であるという判定に従って、仮想コンテンツ2704a及び仮想コンテンツ2704bに起因する三次元環境2702の外観に対する環境効果2713の視覚的影響の量を変更するコンピュータシステム101を示す。
図27Bは、コンピュータシステム101が、図27Aの仮想コンテンツ2704aから図27Aの仮想コンテンツ2704bへの(例えば、図27Aのユーザの注意2708aから図27Aのユーザの注意2708bへの)ユーザの注意のシフトを検出したことに応じて、かつ仮想コンテンツ2704bが同じ環境効果2713に関連付けられているという判定に従って、仮想コンテンツ2704a及び仮想コンテンツ2704bに起因する三次元環境2702の外観に対して環境効果2713が有する視覚的影響の量を変更することを示す。例えば、コンピュータシステム101は、ユーザの注意2708aが図27Aの仮想コンテンツ2704aに向けられている間に仮想コンテンツ2704b、オペレーティングシステム、又はそれらの組み合わせによって要求される量と比較して、ユーザの注意2708bが仮想コンテンツ2704bに向けられている間に仮想コンテンツ2704b、オペレーティングシステム、又はそれらの組み合わせが三次元環境2702の外観に対する環境効果2713の異なる量の視覚的影響を要求するので、任意選択的に量を変更する。例えば、仮想コンテンツ2704bは、ユーザの注意2708bが仮想コンテンツ2704bに向けられている間に、コンピュータシステム101が仮想コンテンツ2704aによって要求されるよりも視覚的に暗くならないように環境効果を表示することを任意選択的に要求する。仮想コンテンツ2704a及び仮想コンテンツ2704bにそれぞれ関連付けられた図27Bの凡例2712a及び2712bに示すように、図27Aの仮想コンテンツ2704aから図27Bの仮想コンテンツ2704bへのユーザの注意シフトを検出したことに応じて、コンピュータシステム101は、仮想コンテンツ2704aによる三次元環境2702の外観に対する環境効果2713の視覚的影響の量を、図27Aの凡例2712aの量と比較して減少させ、コンピュータシステム101は、仮想コンテンツ2704bによる三次元環境2702の外観に対する環境効果2713の視覚的影響の量を、図27Aの凡例2712bの量と比較して増加させる。
更に、図27Bは、コンピュータシステム101が仮想コンテンツ2704a及び仮想コンテンツ2704bに起因して三次元環境2702の外観に対する環境効果2713の視覚的影響の量を変化させる、三次元環境2702の外観に対する環境効果2713の視覚的影響の量の個別の変化率にそれぞれ関連付けられる凡例2714a及び2714bを示す。特に、凡例2714aは、仮想コンテンツ2704aによる三次元環境2702の外観に対する環境効果2713の視覚的影響の量の変化率が-15%/sであることを示す。したがって、図27Bの例では、コンピュータシステム101は、仮想コンテンツ2704aによる三次元環境2702の外観に対する環境効果2713の視覚的影響の量を-15%/sの割合で減少させて、図27Bの凡例2712aに示す視覚的影響の量に到達させる。凡例2714bは、仮想コンテンツ2704bによる三次元環境2702の外観に対する環境効果2713の視覚的影響の量の変化率が+20%/sであることを示す。したがって、図27Bの例では、コンピュータシステム101は、仮想コンテンツ2704bによる三次元環境2702の外観に対する環境効果2713の視覚的影響の量を+20%/sの速度で増加させて、図27Bの凡例2712bに示す視覚的影響の量に到達させる。
図27Cは、コンピュータシステム101が、仮想コンテンツ2704bに向けられた図27Aの手2710からの入力と、図27Aの仮想コンテンツ2704aから図27Cの仮想コンテンツ2704bへの(例えば、図27Aのユーザの注意2708aから図27Cのユーザの注意2708bへの)ユーザの注意のシフトとを検出したことに応じて、環境効果2713が三次元環境2702の外観に与える視覚的影響の量を変更することを示す。例えば、ユーザは、任意選択的に、仮想コンテンツ2704bに向けられた手2710によるエアピンチジェスチャなど、方法2800で説明されるような手2710によるエアジェスチャを実行することに加えて、ユーザの視線を仮想コンテンツ2704aから離して仮想コンテンツ2704bにシフトさせる。
図27Cでは、仮想コンテンツ2704bに向けられた手2710からの入力及び(例えば、図27Aのユーザの注意2708aから)仮想コンテンツ2704bに向けられたユーザの注意2708bを検出したことに応じて、コンピュータシステム101は、環境効果2713が三次元環境2702の外観に及ぼす視覚的影響の量を、図27Bに示す変化率よりも大きい変化率で変化させ(これは、コンピュータシステム101が、手2710からの入力なしで図27Aの仮想コンテンツ2704aから図27Aの仮想コンテンツ2704bへのユーザの注意のシフトを検出した結果として実行され、コンピュータシステム101が仮想コンテンツ2704bへの入力を検出したときに表示されたのと同じ環境効果2713に仮想コンテンツ2704bが関連付けられているという判定に従って実行された)、これは、例えば、-15%/sを示す図27Bの凡例2714aよりも大きい変化率(例えば、絶対値がより大きい変化率)である、-20%/sの値を示す図27Cの凡例2714aによって示される。また、図27Cにおいて、凡例2714bは、仮想コンテンツ2704bによる三次元環境2702の外観に対する環境効果2713の視覚的影響量の20%/sの正の変化率を示す。図27Cでは、仮想コンテンツ2704a及び仮想コンテンツ2704bによる三次元環境2702の外観に対する環境効果2713の視覚的影響の結果として生じる変化量は、図27B及び図27Cの凡例2712a及び2712bによって示されるように、図27Bと同じであるが、変化率は、図27B及び図27Cの凡例2714a及び2714bによって示されるように異なる。しかしながら、いくつかの実施形態では、仮想コンテンツ2704a及び/又は仮想コンテンツ2704bによる三次元環境2702の外観に対する環境効果2713の視覚的影響の量の変化率の差に加えて、結果として生じる変化量は異なる。したがって、いくつかの実施形態では、ユーザの注意以外のユーザの手2710又は別の部分からの入力を検出するコンピュータシステム101は、コンピュータシステム101が三次元環境の外観に対する環境効果の視覚的影響を変化させる速度を加速する。
図27Dは、コンピュータシステム101が、仮想コンテンツ2704bに向けられた視線と、図27Aの仮想コンテンツ2704aの法線から離れて図27Aの仮想コンテンツ2704bの法線への図27Aのユーザ2701の視点の回転(例えば、視線とは異なるユーザの既定の部分からの入力)とを検出したことに応じて、環境効果2713が三次元環境2702の外観に与える視覚的影響の量を変更することを示す。例えば、図27Dでは、ユーザは、ユーザの頭部及び視線を仮想コンテンツ2704aから離して仮想コンテンツ2704bに移動させている。それに応じて、図27Dにおいて、コンピュータシステム101は、図27Bの凡例2714aよりも大きい変化率(例えば、絶対値がより大きい変化率)を示す図27Cの凡例2714aによって示されるように、(図27Aのユーザ2701の視点の回転を検出することなく、コンピュータシステムが図27Aの仮想コンテンツ2704aから図27Aの仮想コンテンツ2704bへのユーザの注意のシフトを検出した結果として実行された)図27Bに示す変化率と比較してより大きい変化率で、環境効果2713が三次元環境2702の外観に与える視覚的影響の量を変更する。また、図27Dでは、凡例2714bは、仮想コンテンツ2704bによる三次元環境2702の外観に対する環境効果2713の視覚的影響の量の30%/sの正の変化率を示す。更に、図27Dでは、仮想コンテンツ2704a及び仮想コンテンツ2704bによる三次元環境2702の外観に対する環境効果2713の視覚的影響の結果として生じる変化量は、図27C及び図27Dの凡例2712a及び2712bによって示されるように、図27Cと同じであるが、変化率は、図27C及び図27Dの凡例2714a及び2714bによって示されるように異なる。しかしながら、いくつかの実施形態では、仮想コンテンツ2704a及び/又は仮想コンテンツ2704bによる三次元環境2702の外観に対する環境効果2713の視覚的影響の量の変化率の差に加えて、結果として生じる変化量は異なる。したがって、いくつかの実施形態では、異なる仮想コンテンツに対するユーザの注意以外のユーザの部分からの入力を検出するコンピュータシステム101は、コンピュータシステム101が三次元環境の外観に対する環境効果の視覚的影響を変化させる速度を加速する。
図27E及び27Fは、コンピュータシステム101が、図27Aの仮想コンテンツ2704aから図27Aの仮想コンテンツ2704bへの(例えば、図27Aのユーザの注意2708aから図27Eのユーザの注意2708bへの)ユーザの注意のシフト及び/又は仮想コンテンツ2704bに向けられた、ユーザの注意とは異なる入力を検出したことに応じて、かつ仮想コンテンツ2704bが環境効果に関連付けられていないという判定に従って、仮想コンテンツ2704aに起因する三次元環境2702の外観に対する環境効果2713の視覚的影響の量を変更することを示す。例えば、図27E及び図27Fでは、仮想コンテンツ2704bは、任意選択的に、図27A~図27Dの環境効果2713に関連付けられていない(例えば、仮想コンテンツ2704bは、ユーザの注意2708bがそれに向けられたときに環境効果の表示を必要としない)が、図27B~図27Dの仮想コンテンツ2704bは、任意選択的に、環境効果2713に関連付けられている。
図27Eは、コンピュータシステム101が、図27Aの仮想コンテンツ2704aから図27Eの仮想コンテンツ2704bへの(例えば、図27Aのユーザの注意2708aから図27Eのユーザの注意2708bへの)ユーザの注意のシフトを検出したことに応じて、かつ仮想コンテンツ2704bがいずれの環境効果にも関連付けられていないという判定に従って、仮想コンテンツ2704aに起因する三次元環境2702の外観に対する環境効果2713の視覚的影響の量を変更することを示す。仮想コンテンツ2704aに関連付けられた図27Eの凡例2712aに示すように、図27Aの仮想コンテンツ2704aから図27Eの仮想コンテンツ2704bへのユーザの注意のシフトを検出したことに応じて、コンピュータシステム101は、仮想コンテンツ2704aによる三次元環境2702の外観に対する環境効果2713の視覚的影響の量を、図27Aの凡例2712aの量と比較して0の値まで減少させる。
また、図27Eでは、図27Aの仮想コンテンツ2704aから図27Eの仮想コンテンツ2704bへのユーザの注意のシフトを検出したことに応じて、かつ仮想コンテンツ2704bがいずれの環境効果にも関連付けられていないという判定に従って、コンピュータシステム101は、図27Bの凡例2714aよりも遅い変化率(例えば、絶対値がより低い変化率)を示す図27Eの凡例2714aによって示されるように、環境効果2713が三次元環境2702の外観に与える視覚的影響の量を、図27Bに示す変化率よりも遅い変化率で変化させる(これは、コンピュータシステム101が図27Aの仮想コンテンツ2704aから図27Bの仮想コンテンツ2704bへのユーザの注意のシフトを検出した結果として、かつ仮想コンテンツ2704bが環境効果に関連付けられているという判定に従って実行される)。したがって、いくつかの実施形態では、いずれの環境効果にも関連付けられていない特定の仮想コンテンツに向けられた入力、又は入力が特定の仮想コンテンツにシフトしたことをコンピュータシステムが検出したときに表示されたのと同じ環境効果2713を検出したことに応じて、コンピュータシステム101は、環境効果に関連付けられた仮想コンテンツに向けられた入力、又は入力が特定の仮想コンテンツにシフトしたことをコンピュータシステムが検出したときに表示されたのと同じ環境効果をコンピュータシステム101が検出した場合よりも遅い割合で、三次元環境の外観に対する環境効果の視覚的影響を変更する。
図27Fは、コンピュータシステム101が、図27Aの仮想コンテンツ2704aから仮想コンテンツ2704bへのユーザの注意のシフト、及び図27Aの仮想コンテンツ2704aの法線から図27Fの仮想コンテンツ2704bの法線への図27Aのユーザ2701の視点の回転(例えば、ユーザの部分の回転)を検出したことに応じて、かつ仮想コンテンツ2704bが環境効果に関連付けられていないという判定に従って、環境効果2713が三次元環境2702の外観に与える視覚的影響の量を変更することを示す。例えば、図27Fでは、ユーザは、ユーザの頭部及び視線を仮想コンテンツ2704aから離して仮想コンテンツ2704bに移動させている。それに応じて、図27Fにおいて、コンピュータシステム101は、図27Eの凡例2714aによって示される-3%/sの値よりも大きい変化率(例えば、絶対値がより大きい変化率)である-10%/sの値を示す図27Fの凡例2714aによって示されるように、(ユーザ2701の視点の回転を検出することなく、コンピュータシステム101が図27Aの仮想コンテンツ2704aから図27Eの仮想コンテンツ2704bへのユーザの注意のシフトを検出した結果として実行された)図27Eに示す変化率と比較してより大きい変化率で、環境効果2713が三次元環境2702の外観に与える視覚的影響の量を変更する。また、図27Fでは、仮想コンテンツ2704aによる三次元環境2702の外観に対する環境効果2713の視覚的影響の結果として生じる変化量は、0の値を示す図27E及び図27Fの凡例2712aによって示されるように、図27Eと同じであるが、変化率は、図27E及び図27Fの凡例2714aによって示されるように異なる。しかしながら、いくつかの実施形態では、仮想コンテンツ2704aによる三次元環境2702の外観に対する環境効果2713の視覚的影響の量の変化率の差に加えて、結果として生じる変化量は異なる。したがって、いくつかの実施形態では、異なる仮想コンテンツに対する頭部の回転などのユーザの注意とは異なる入力を検出するコンピュータシステム101は、コンピュータシステム101が三次元環境の外観に対する環境効果の視覚的影響を変化させる速度を加速する。
本明細書で説明するように、コンピュータシステム101は、任意選択的に、三次元環境2702の外観に対する環境効果2713の視覚的影響の量を、任意選択的にユーザ観察可能な変化率で徐々に変化させる。図27Gは、コンピュータシステム101が、三次元環境2702の外観に対する環境効果2713の視覚的影響の大きさの変化を介して受けた変化の少なくとも一部又は全部を反対方向に効果的に変化させ、及び/又は相殺した結果を示す。例えば、図27Gでは、ユーザの視線又はユーザの注意2708fは、図27Bの仮想コンテンツ2704bに向けられた後、かつコンピュータシステムが図27Bの凡例2712a及び2712bによって示される量で環境効果2713を表示する前に、仮想コンテンツ2704aにシフトして戻る。図27Gでは、仮想コンテンツ2704aに戻るユーザの注意2708fを検出したことに応じて、かつ三次元環境の外観に対する環境効果2713の視覚的影響の量を図27Bの凡例2712a及び2712b内の特定の量に変更する前に、コンピュータシステム101は、コンピュータシステム101が仮想コンテンツ2704bから仮想コンテンツ2704aに戻るユーザの注意を検出したときに進行中であった変更の方向と反対の方向に、三次元環境の外観に対する環境効果の視覚的影響の量を変更する。図27Gの図示の実施形態では、コンピュータシステムは、仮想コンテンツ2704aによる三次元環境2702の外観に対する環境効果2713の視覚的影響の変更を正の40%/sの割合で実行し、仮想コンテンツ2704bによる三次元環境2702の外観に対する環境効果2713の視覚的影響の変更を負の20%/sの割合で実行する。したがって、コンピュータシステム101は、任意選択的に、ユーザの注意が仮想コンテンツ2704bから仮想コンテンツ2704aに戻ったことをコンピュータシステムが検出したときに進行中であったか又は既に生じた変更のうちの少なくとも一部を元に戻す。
図27Hは、コンピュータシステム101が、図27Aの仮想コンテンツ2704aから仮想コンテンツ2704cへのユーザの注意のシフトを検出したことに応じて、かつ仮想コンテンツ2704cが図27Aの環境効果2713ではなく環境効果2715に関連付けられているという判定に従って、図27Aの環境効果2713が図27Aの三次元環境2702の外観に対して有する視覚的影響の量を変化することを示す。図27Hの環境効果2715は、仮想コンテンツ2704cの光が、図27Hの物理的なテーブル2706上に表示されている環境効果2715など、背景に表示されている仮想コンテンツ2704cの光のグレア及び/又は別の照明効果など、三次元環境2702内の仮想コンテンツを越えて1つ以上のエリアを汚染するように、仮想コンテンツの外側の仮想コンテンツ2704cの光の三次元環境2702の他の部分への発散のシミュレーションを任意選択的に含む。
図27Hでは、図27Aの仮想コンテンツ2704aから図27Hの仮想コンテンツ2704cへのユーザの注意のシフトを検出したことに応じて、かつ仮想コンテンツ2704cが図27Aの環境効果2713ではなく環境効果2715に関連付けられているという判断に従って、コンピュータシステム101は、環境効果2713が三次元環境2702の外観に与える視覚的影響の量を、環境効果2713の変化率(例えば、絶対値がより大きい変化率)が図27Bの凡例2714aよりも大きいことを示す図27Hの凡例2714aによって示されるように、図27Bに示す変化率と比較して、より大きな変化率で変更する(これは、コンピュータシステム101が、図27Aの仮想コンテンツ2704aから図27Bの仮想コンテンツ2704bへのユーザの注意のシフトを検出した結果として実行され、仮想コンテンツ2704bが、コンピュータシステムが入力が仮想コンテンツ2704aから仮想コンテンツ2704bにシフトしたことを検出したときに表示されたのと同じ環境効果2713に関連付けられているという判定に従って実行される)。したがって、コンピュータシステム101が仮想コンテンツに向けられた入力を検出したときに表示されない環境効果に仮想コンテンツが関連付けられているとき、及びコンピュータシステム101が仮想コンテンツに向けられた入力を検出したときに表示された環境効果とは異なる環境効果をコンピュータシステム101が表示するとき、コンピュータシステム101は、異なる環境効果の視覚的影響の変化率を加速させる。更に、図27Hでは、コンピュータシステム101は、図27Hの凡例2714cによって示されるように、20%/sの正の変化率で、図27A及び27Hの凡例2712cにおける環境効果2715の視覚的影響の量から示される増加によって示されるように、環境効果2715の視覚的影響の量を増加させる。
いくつかの実施形態では、仮想コンテンツは、図27Aの環境効果2713及び図27Hの環境効果2715の両方などの複数の環境効果に関連付けられ、コンピュータシステム101は、仮想コンテンツに向けられたユーザの注意を検出しながら、複数の環境効果及び仮想コンテンツを同時に表示する。異なる要素(例えば、異なる仮想又は物理的オブジェクト)に向けられたユーザの注意を検出したことに応じて、コンピュータシステムは、任意選択的に、異なる要素がそれぞれの複数の環境効果に関連付けられているかどうかにそれぞれ従う同様の量又は異なる量だけ、複数の環境効果の視覚的影響を変更する。したがって、いくつかの実施形態では、方法2800の動作は、仮想コンテンツが複数の環境効果に関連付けられているときにコンピュータシステム101によって実行される。
図27Iは、ユーザの注意が仮想コンテンツ2704aから離れて、パススルーを介して三次元環境2702内で任意選択的に可視である図27Aの物理的なテーブル2706aにシフトしたことを検出したことに応じて、図27Aの環境効果2713が図27Aの三次元環境2702の外観に与える視覚的影響の量を変更するコンピュータシステム101を示す。図27Aでは、コンピュータシステム101は、他の場所の中でも特に、物理的なテーブル2706aのパススルーと同じロケーションに環境効果2713を表示する。図27Iでは、ユーザの注意のロケーション2708dは、ユーザの注意のロケーション2708bと図27Bの仮想コンテンツ2704aとの間の距離として、図27Aの仮想コンテンツ2704aから等距離のロケーションを表す。ユーザの注意が仮想コンテンツ2704aから離れて、パススルーを介して三次元環境において任意選択的に可視である図27Iの物理的なテーブル2706aにシフトしたことを検出したことに応じて、コンピュータシステム101は、図27Bの凡例2712aによって示されるような環境効果2713の視覚的影響の低減よりも少ない、図27Hの凡例2712aによって示されるような量に、環境効果2713の視覚的影響の量を減少させる。したがって、いくつかの実施形態では、コンピュータシステムは、仮想コンテンツと比較して、パススルーへのユーザの注意のシフトを検出するとき、環境効果をあまり変化させない。更に、図27Iでは、コンピュータシステム101は、図27Bの凡例2714aによって示される変化率よりも遅い環境効果2713の変化率(例えば、絶対値がより小さい変化率)である負の2%/sを示す図27Iの凡例2714aによって示されるように、(コンピュータシステム101が図27Aの仮想コンテンツ2704aから図27Bの仮想コンテンツ2704bへのユーザの注意のシフトを検出した結果として実行された)図27Bに示す変化率と比較してより遅い変化率で、環境効果2713が三次元環境2702の外観に与える視覚的影響の量を変更する。
図27Jは、ユーザの注意が仮想コンテンツ2704aから更に離れて、図27Iにおけるユーザの注意2708dと仮想コンテンツ2704aとの間の距離よりも仮想コンテンツ2704aからの距離が大きいパススルーを含むロケーションにシフトしたことを検出したことに応じて、コンピュータシステム101が、図27Aの環境効果2713が図27Aの三次元環境2702の外観に与える視覚的影響の量を変更することを示す。ユーザの注意が、ユーザの注意2708dよりも仮想コンテンツ2704aから更にシフトして離れたことを検出したことに応じて、コンピュータシステム101は、図27Jの凡例2712aによって示されるように、図27Iの凡例2712aによって示されるような環境効果2713の視覚的影響の低減よりも大きい、図27Jの凡例2714aによって示されるような量に、10%/sの負の割合で、環境効果2713の視覚的影響の量を減少させる。したがって、いくつかの実施形態では、コンピュータシステムは、ユーザの注意と仮想コンテンツ2704aとの間の距離に更に基づいて、環境効果を変更する。
本開示の実施形態の他の特徴に加えて、図27A~27Jに示す特徴に関する更なる詳細は、方法2800を参照して説明される。
図28A~図28Iは、いくつかの実施形態による、三次元環境内の異なる要素にシフトする入力(例えば、ユーザの注意)を検出したことに応じて仮想コンテンツが表示される三次元環境の外観に対する異なる量の視覚的影響を伴う環境効果を動的に表示する方法2800を示すフローチャートである。いくつかの実施形態では、方法2800は、表示生成構成要素(例えば、図1、図3、かつ図4の表示生成構成要素120)(例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、又はプロジェクタ)と、1つ以上のカメラ(例えば、ユーザの手の下方を指すカメラ(例えば、カラーセンサ、赤外線センサ、かつ他の深度感知カメラ)又はユーザの頭部から前方を指すカメラ)とを含むコンピュータシステム(例えば、タブレット、スマートフォン、ウェアラブルコンピュータ、又はヘッドマウントデバイスなどの図1のコンピュータシステム101)で実行される。いくつかの実施形態では、方法2800は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム101の1つ以上のプロセッサ202(例えば、図1Aのコントローラ110)など、コンピュータシステムの1つ以上のプロセッサによって実行される命令によって実行される。方法2800の一部の動作は、任意選択的に組み合わされ、及び/又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法2800は、表示生成構成要素及び1つ以上の入力デバイスと通信するコンピュータシステムにおいて実行される。いくつかの実施形態では、コンピュータシステムは、方法800、1000、1200、1400、1600、1800、2000、2200、2400、及び/又は2600のコンピュータシステムの1つ以上の特性を有する。いくつかの実施形態では、表示生成構成要素は、方法800、1000、1200、1400、1600、1800、2000、2200、2400、及び/又は2600の表示生成構成要素の1つ以上の特性を有する。いくつかの実施形態では、1つ以上の入力デバイスは、方法800、1000、1200、1400、1600、1800、2000、2200、2400、及び/又は2600の1つ以上の入力デバイスの特性のうちの1つ以上を有する。
いくつかの実施形態では、コンピュータシステムは、図27Aの三次元環境2702などの三次元環境内の表示生成構成要素を介して、図27Aの仮想コンテンツ2704aなどの第1の仮想コンテンツ(2802b)と、図27Aの環境効果2713などの第1の仮想コンテンツが表示される三次元環境の外観に第1の大きさの視覚的影響を有する第1の環境効果とを同時に表示し(2802a)、第1の仮想コンテンツ及び第1の環境効果は、第1の環境効果と同時に表示される第1の仮想コンテンツにユーザの注意が向けられている間に表示される(2802c)。第1の仮想コンテンツ及び/又は第1の環境効果は、任意選択的にワールドロックされる。第1の仮想コンテンツは、任意選択的に、複合現実(XR)、仮想現実(VR)、拡張現実(AR)、又は光パススルー(例えば、1つ以上のレンズ及び/又は1つ以上のカメラ)を介して可視である現実世界環境などの三次元環境において提示される1つ以上のアプリケーションに対応する仮想ウィンドウ又は他のユーザインタフェースである。いくつかの実施形態では、第1の仮想コンテンツ及び/又は三次元環境は、方法800、1000、1200、1400、1600、1800、2000、2200、2400、及び/又は2600を参照して説明される仮想オブジェクト及び/又は三次元環境の1つ以上の特性を有する。いくつかの実施形態では、第1の仮想コンテンツは、ゲームアプリケーション、写真ビューアアプリケーション、メディアブラウジングアプリケーション、オーディオ又はビデオ再生アプリケーション、ウェブブラウジングアプリケーション、電子メールアプリケーション、及び/又はメッセージングアプリケーションなどのアプリケーションのユーザインタフェースを含む。いくつかの実施形態では、第1の環境効果は、システム環境効果(例えば、コンピュータシステムのオペレーティングシステムによって制御される環境効果)であり、第1の仮想コンテンツは、現在のユーザ入力の有無にかかわらず、第1の仮想コンテンツが表示される三次元環境の外観に対する第1の大きさの視覚的影響を有するシステム環境効果を表示するようにコンピュータシステムに要求する。第1の環境効果は、任意選択的に、第1の仮想コンテンツ以外の三次元環境のエリア(例えば、第1の仮想コンテンツとは異なる三次元環境の1つ以上の部分)からの注意散漫を増加又は減少させるために、第1の仮想コンテンツの境界(例えば、一次元、二次元、又は三次元境界)の外側の三次元環境に適用される視覚効果である。いくつかの実施形態では、第1の仮想コンテンツの外側の三次元環境の1つ以上の部分は、上述した第1の仮想コンテンツと同様であるが第1の仮想コンテンツとは異なる1つ以上の特性を任意選択的に有する他の仮想コンテンツ、仮想又は光パススルーコンテンツ、及び/又はオブジェクトを含み、並びに/又は三次元環境で可視である物理的オブジェクト(単数又は複数)を含む。いくつかの実施形態では、第1の環境効果は、明るさ(又は薄暗さ)レベル、不透明度、透明度、ぼかし度、彩度、及び/又は別の照明設定である。いくつかの実施形態では、第1の環境効果を表示するコンピュータシステムは、コンピュータシステムが環境効果の表示を取り止めるときに表示生成構成要素を介して表示されるか又は表示生成構成要素を介して可視である第1の仮想コンテンツ以外の三次元環境内の第1の仮想コンテンツの対応する視覚的特性及び/又は三次元環境の対応する視覚的特性と比較して、低減された若しくは最小の輝度レベル、不透明度レベル、鮮明度レベル、彩度レベル、及び/若しくは照明レベル、並びに/又は増加されたぼかし度レベルを有する、第1の仮想コンテンツ以外の三次元環境を含む。コンピュータシステムは、任意選択的に、1つ以上の入力デバイスを介して、第1の仮想コンテンツに向けられたユーザの注意を検出し、第1の仮想コンテンツに向けられたユーザの注意に応じて、コンピュータシステムは、現在第1の仮想コンテンツとともに第1の環境効果を表示する処理を開始する。
いくつかの実施形態では、第1の仮想コンテンツと、第1の仮想コンテンツが表示される三次元環境の外観に対する第1の大きさの視覚的影響を有する第1の環境効果とを同時に表示している間に(及び/又は任意選択的に、第1の仮想コンテンツに向けられたユーザの注意を検出した後に)、コンピュータシステムは、1つ以上の入力デバイスを介して、図27Aのユーザの注意2708aからシフトして離れるなど、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出する(2802d)。いくつかの実施形態では、第1の仮想コンテンツから離れたユーザの注意は、第1の環境効果を含む三次元環境の一部に対するユーザの注意である。いくつかの実施形態では、第1の仮想コンテンツから離れたユーザの注意は、ユーザの注意が三次元環境のいずれかに向けられることを止めること(例えば、まぶたの閉鎖による視線の停止、及び第1の仮想コンテンツから離れたまぶたの再開放)を含む。いくつかの実施形態では、ユーザの注意は、本明細書で議論されるユーザの注意が、例えば、0.5秒、1秒、5秒、10秒、又は別の時間閾値などの閾値時間量の間、三次元環境の第1の仮想コンテンツから離れるように向けられるときに満たされる基準を含む、1つ以上の基準を満たす。
いくつかの実施形態では、ユーザの注意が三次元環境内の第1の仮想コンテンツから離れて移動したことを検出したことに応じて(2802e)(及び任意選択的に、三次元環境の外観に対する第1の大きさの視覚的影響を有する第1の環境効果を含む三次元環境の部分に向かって、かつ任意選択的に注意が1つ以上の基準を満たすという判定に従って)、図27Bの仮想コンテンツ2704bに向けられたユーザの注意2708bなど、ユーザの注意が三次元環境内で可視である第1の要素(例えば、第1の物理的及び/又は仮想オブジェクト)に向けられているという判定に従って、コンピュータシステムは、図27A及び図27Bの凡例2712aによって示される量の差によって示されるように、第1の仮想コンテンツが表示される三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第1の量だけ変更する(例えば、増加又は減少させる)(2802f)。第1の要素は、任意選択的に、第1の仮想コンテンツとは異なる三次元環境内のポジションに配置される。第1の要素は、任意選択的に、第1の環境効果の第1のポジションに対応する三次元環境内のポジションに配置され、及び/又はそこに可視である。いくつかの実施形態では、コンピュータシステムは、三次元環境の外観に対する第1の大きさの視覚的影響を有する環境効果を表示することによって、第1の要素を、三次元環境内の表示生成構成要素を介した表示から、又は三次元環境内の表示生成構成要素を通した可視性から部分的又は完全に覆い隠し(例えば、1つ以上の第1の特性を用いて部分的に表示する、又は表示を見合わせる)、ユーザの注意が第1の要素に向けられていることを検出したことに応じて、コンピュータシステムは、第1の要素を、三次元環境内の表示生成構成要素を介した表示から、又は三次元環境内の表示生成構成要素を通した可視性から覆い隠すことを部分的又は完全に第1の量だけ減少させる(例えば、1つ以上の第1の特性及び追加の特性を表示する、又は可視性を増加させる)。いくつかの実施形態では、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第1の量だけ変化させることは、第1の仮想コンテンツが表示される三次元環境の外観の輝度、不透明度、透明度、ぼかし度、彩度、及び/又は別の照明設定のうちの1つ以上を第1の量だけ変化させることを含む。例えば、コンピュータシステムは、任意選択的に、第1の仮想コンテンツが表示される三次元環境の外観の輝度レベルを増加させ、及び/又はぼかしレベルを減少させて、任意選択的に、第1の要素の表示の鮮明度又は可視性を増加させる。第1の量は、任意選択的に、三次元環境の外観に対する視覚的影響の第1の大きさを有する第1の環境効果の表示に対する第1のパーセンテージ(0.5、0.9、1.2、5、8、15、30、45、60、100、又は別のパーセンテージ)によって表される。第1の量は、任意選択的に、正の量又は負の量である。
いくつかの実施形態では、ユーザの注意が三次元環境内の第1の仮想コンテンツから離れて移動したことを検出したことに応じて(2802e)(及び任意選択的に、三次元環境の外観に対する第1の大きさの視覚的影響を有する第1の環境効果を含む三次元環境の部分に向かって、かつ任意選択的に注意が1つ以上の基準を満たすという判定に従って)、図27Iの物理的なテーブル2706aに向けられたユーザの注意2708dなど、ユーザの注意が三次元環境内で可視である第1の要素とは異なる第2の要素(例えば、上述のような第2の物理的オブジェクト及び/又は仮想オブジェクト)に向けられているという判定に従って、コンピュータシステムは、図27A及び図27Iの凡例2712aによって示される量の差によって示されるように、第1の仮想コンテンツが表示される三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを、第1の量よりも少ない第2の量だけ変更する(例えば、増加又は減少させる)(2802g)。第2の要素は、任意選択的に、第1の仮想コンテンツとは異なる三次元環境内のポジションに配置される。第2の要素は、任意選択的に、第1の環境効果の第2のポジションに対応する三次元環境内のポジションに配置され、及び/又はそこに可視である。いくつかの実施形態では、コンピュータシステムは、三次元環境の外観に対する第1の大きさの視覚的影響を有する第1の環境効果を表示することによって、第2の要素を、三次元環境内の表示生成構成要素を介した表示から、又は三次元環境内の表示生成構成要素を通した可視性から、部分的又は完全に覆い隠し(例えば、1つ以上の第1の特性を用いて部分的に表示する、又は表示を見合わせる)、ユーザの注意が第2の要素に向けられている(例えば、シフトした)ことを検出したことに応じて、コンピュータシステムは、第2の要素を、三次元環境内の表示生成構成要素を介した表示から、又は三次元環境内の表示生成構成要素を通した可視性から覆い隠すことを部分的又は完全に、第1の量未満である第2の量だけ減少させる(例えば、1つ以上の第1の特性及び追加の特性を表示する、又は可視性を増加させる)。いくつかの実施形態では、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第2の量だけ変化させることは、第1の仮想コンテンツが表示される三次元環境の外観の輝度、不透明度、透明度、ぼかし度、彩度、及び/又は別の照明設定のうちの1つ以上を第2の量だけ変化させることを含む。例えば、コンピュータシステムは、任意選択的に、第1の仮想コンテンツが表示される三次元環境の外観の輝度レベルを増加させ、及び/又はぼかしレベルを減少させて、任意選択的に、第2の要素の表示の鮮明度又は可視性を増加させる。いくつかの実施形態では、コンピュータシステムは、方法800、1000、1200、1400、1600、1800、2000、2200、2400、及び/又は2600を参照して説明される視覚効果、処置、及び/又は変化のうちの1つ以上を適用することと同時に、第1の仮想コンテンツが表示される三次元環境に対する第1の環境効果の視覚的影響の大きさを制御する。第2の量は、任意選択的に、三次元環境の外観に対する視覚的影響の第1の大きさを有する第1の環境効果の表示に対する第2のパーセンテージ(0.5、0.9、1.2、5、8、15、30、45、60、90、又は別のパーセンテージ)によって表される。異なる要素に向けられたユーザの注意を検出したことに応じて、第1の仮想コンテンツが表示される三次元環境に対する環境効果の視覚的影響の大きさを異なる量だけ変更することは、特定の環境効果構成をユーザの注意の特定のオブジェクトに対応させ、コンピュータシステムとの相互作用中のユーザの注意に対するコンピュータシステムの応答性を向上させ、環境効果を異なる要素に対して別々に制御するための特殊なユーザ入力の関与を減少させる。
いくつかの実施形態では、第1の環境効果は、図27Hの環境効果2715によって示されるように、第1の仮想コンテンツに関連付けられた光が、第1の仮想コンテンツによって、1つ以上の仮想オブジェクト又は物理的オブジェクトの表現上に仮想的に投射される、シミュレートされた照明効果を含む(2804)。いくつかの実施形態では、照明効果は、第1の仮想コンテンツの外側の第1の仮想コンテンツの光の三次元環境の他の部分への発散をシミュレートすることを含み、それにより、コンピュータシステムは、グレアなど、三次元環境内の第1の仮想コンテンツを超える1つ以上のエリアを汚染する第1の仮想コンテンツの光をシミュレートする。異なる要素に向けられたユーザの注意を検出したことに応じて、第1の仮想コンテンツによって仮想的に投じられるシミュレートされた照明効果の視覚的影響の第1の大きさを異なる量だけ変更することは、特定のシミュレートされた照明効果構成をユーザの注意の特定の要素に対応させ、シミュレートされた照明効果を異なる要素に対して別々に制御するためのユーザ入力の関与を減少させる。
いくつかの実施形態では、第1の環境効果は、図27Aの環境効果2713によって示されるように、第1の仮想コンテンツが表示される三次元環境の外観の視覚的な暗化を含み(2806)、例えば、第1の仮想コンテンツ以外の三次元環境に適用される着色、影、及び/又は暗い色相を含み、三次元環境の他の部分に対する第1の仮想コンテンツの視覚的顕著性を任意選択的に増加させる。異なる要素に向けられたユーザの注意を検出したことに応じて、第1の仮想コンテンツが表示される三次元環境の外観の視覚的な暗化の視覚的影響の第1の大きさを異なる量だけ変化させることは、特定の視覚的暗化構成をユーザの注意の特定の要素に対応させ、異なる要素について異なるように視覚的暗化値を制御するためのユーザ入力の関与を減少させる。
いくつかの実施形態では、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出したことに応じて(2808a)、第1の要素が第1のタイプの要素であるという判定に従って、コンピュータシステムは、図27Bの凡例2714aによって示されるように、第1の仮想コンテンツが表示される三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを、第1の変化率で第1の量だけ変化させる(2808b)。いくつかの実施形態では、第1のタイプの要素は、第1のタイプの物理的又は仮想オブジェクトである。第1のタイプの要素は、任意選択的に、コンピュータシステムのオペレーティングシステムの現在のインストールに含まれるデフォルトアプリケーションなどのコンピュータシステムのオペレーティングシステムとの関連付けを有する(例えば、デフォルトアプリケーションを特にインストールする手動インストールを伴わない)。三次元環境の外観に対する環境効果の視覚的影響の第1の大きさを第1の量だけ変更することは、任意選択的に、三次元環境の外観に対する環境効果の視覚的影響の第1の大きさを、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさよりも20%低いといった第1のパーセンテージ(又は三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさに対する別のパーセンテージ)だけ変更することを含む。この例では、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを20%減少させることは、任意選択的に、コンピュータシステムが、外観三次元環境に対する環境効果の視覚的影響の大きさが第1の大きさよりも20%小さい第1の環境効果を表示するまで、0.5%/s、1%/s、2%/s、6%/s、10%/s、19%/s、27%/s、30%/s、50%/s、60%/s、70%/s、又は単位時間にわたる別のパーセンテージなどの第1の変化率で実行される。
いくつかの実施形態では、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出したことに応じて(2808a)、第1の要素が第1のタイプの要素とは異なる第2のタイプの要素であるという判定に従って、コンピュータシステムは、図27Hの凡例2714aによって示されるように、第1の仮想コンテンツが表示される三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを、第1の変化率とは異なる第2の変化率で第1の量だけ変化させる(2808c)。いくつかの実施形態では、第2のタイプの要素は、第2のタイプの物理的又は仮想オブジェクトである。第2のタイプの要素は、任意選択的に、コンピュータシステムのオペレーティングシステムとの関連付けを含まないが、ユーザ選択又は選好によってダウンロード又はインストールされたコンテンツ又はアプリケーションと任意選択的に関連付けられる。例えば、外観三次元環境に対する環境効果の視覚的影響の第1の大きさを第1の量だけ変更することは、任意選択的に、三次元環境の外観に対する環境効果の視覚的影響の第1の大きさを、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさよりも20%低いといった第1のパーセンテージ(又は三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさに対する別のパーセンテージ)だけ変更することを含む。この例では、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを20%減少させることは、任意選択的に、コンピュータシステムが、外観三次元環境に対する環境効果の視覚的影響の大きさが第1の大きさよりも20%小さい第1の環境効果を表示するまで、0.5%/s、1%/s、2%/s、6%/s、10%/s、19%/s、27%/s、30%/s、50%/s、60%/s、70%/s、又は第1の変化率とは異なる単位時間にわたる別のパーセンテージなどの第2の変化率で実行される。いくつかの実施形態では、ステップ(単数又は複数)2808は、追加的又は代替的に、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出したことに応じて、第2の要素が第1のタイプの要素であるという判定に従って、第1の仮想コンテンツが表示される三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第3の変化率で第2の量だけ変化させ、第2の要素が第1のタイプの要素とは異なる第2のタイプの要素であるという判定に従って、第1の仮想コンテンツが表示される三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを、第3の変化率とは異なる第4の変化率で第2の量だけ変化させることを含む。異なる要素に向けられたユーザの注意を検出したことに応じて、異なるタイプの要素に対して異なる速度で第1の仮想コンテンツが表示される三次元環境に対する環境効果の視覚的影響の大きさを変化させることは、ユーザの注意の特定の要素に対する特定の変化率に対応し、三次元環境に対する環境効果の視覚的影響の大きさの変化率を異なる要素に対して別々に制御するためのユーザ入力の関与を減少させる。
いくつかの実施形態では、第1の要素は、第1の仮想コンテンツとは異なる三次元環境の背景であり、第1の仮想コンテンツは、図27Jのユーザの注意2708fが向けられる左壁によって示されるように、背景の前に表示される(2810)。背景は、任意選択的に、物理的パススルー(例えば、ユーザの物理的環境)及び/又は仮想環境背景である。背景は、任意選択的に、三次元環境において可視であるユーザの物理的環境における物理的オブジェクトであるか、又はコンピュータシステムが表示する仮想コンテンツである。三次元環境の背景に向けられたユーザの注意を検出したことに応じて、三次元環境に対する第1の環境効果の視覚的影響の大きさを変化させることは、特定の環境効果を背景に対応させ、ユーザの注意が背景に向けられているときに環境効果を異なるように制御するための特定のユーザ入力の関与を低減し、注意散漫を減少させて、ユーザの注意が背景に向けられているときにコンピュータシステムとの相互作用におけるエラーの低減を最適にもたらす。
いくつかの実施形態では、図27Aの仮想コンテンツ2704a及び2704bによって示されるように、第1の仮想コンテンツは、第1のアプリケーションの第1のユーザインタフェースであり(任意選択的にその中に表示され)、第2の要素は、第1のアプリケーションとは異なる第2のアプリケーションの第2のユーザインタフェースである(2812)。いくつかの実施形態では、ユーザの注意が第1の仮想コンテンツに向けられている間、コンピュータシステムは、第1の仮想コンテンツ、第1の環境効果、及び第2の要素の少なくとも輪郭を同時に表示する。例えば、コンピュータシステムは、任意選択的に、ステップ(単数又は複数)2802を参照して説明されるように、第1の仮想コンテンツ及び環境効果を同時に表示しながら、第2のアプリケーションの第2のユーザインタフェースの少なくとも輪郭を表示する。いくつかの実施形態では、ユーザの注意が第1の仮想コンテンツに向けられている間、コンピュータシステムは、任意選択的に、第1の仮想コンテンツ、環境効果、及び第2の要素の少なくとも輪郭を、任意選択的にステップ(単数又は複数)2810を参照して説明される背景とともに同時に表示する。したがって、コンピュータシステムは、任意選択的に、ユーザの注意が向けられている要素のタイプを検出し、そのような検出に基づいて三次元環境に対する第1の環境効果の視覚的影響の大きさを変更することを対象とするステップ(単数又は複数)2802を実行する。三次元環境の背景又は第1の仮想コンテンツとは異なるアプリケーションのユーザインタフェースに向けられたユーザの注意を検出したことに応じて、三次元環境に対する第1の環境効果の視覚的影響の大きさを変化させることは、特定の環境効果をアプリケーションの背景及びユーザインタフェースに対応させ、ユーザの注意がアプリケーションの背景又はユーザインタフェースに向けられているときに環境効果を異なるように制御するための特定のユーザ入力の関与を低減し、注意散漫を減少させて、ユーザの注意がアプリケーションの背景又はユーザインタフェースに向けられているときにコンピュータシステムとの相互作用におけるエラーの低減を最適にもたらす。
いくつかの実施形態では、図27Aの仮想コンテンツ2704b及び2704cによって示されるように、第1の要素は、第1のアプリケーションのユーザインタフェースであり、第2の要素は、第1のアプリケーションとは異なる第2のアプリケーションのユーザインタフェースである(2814)。いくつかの実施形態では、ユーザの注意が第1の仮想コンテンツに向けられている間、1つ以上の基準が満たされているという判定に従って、コンピュータシステムは、第1の仮想コンテンツ、環境効果、第1の要素の少なくとも輪郭、及び/又は第2の要素の少なくとも輪郭を同時に表示する。例えば、コンピュータシステムは、任意選択的に、ステップ(単数又は複数)2802を参照して説明されるように、第1の仮想コンテンツ及び環境効果を同時に表示しながら、第1及び第2のユーザインタフェースの少なくとも輪郭を表示する。1つ以上の基準は、任意選択的に、ユーザの注意が第1の仮想コンテンツに向けられている間に第1の要素がユーザの視野内にあるときに満たされる第1の基準を含む。いくつかの実施形態では、ユーザの注意が第1の仮想コンテンツに向けられている間、少なくとも第1の基準が満たされているという判定に従って、コンピュータシステムは、第1の仮想コンテンツ、環境効果、及び第1の要素の少なくとも輪郭を同時に表示する。更に、1つ以上の基準は、任意選択的に、ユーザの注意が第1の仮想コンテンツに向けられている間に第2の要素がユーザの視野内にあるときに満たされる第2の基準を含む。いくつかの実施形態では、ユーザの注意が第1の仮想コンテンツに向けられている間、少なくとも第2の基準が満たされているという判定に従って、コンピュータシステムは、第1の仮想コンテンツ、環境効果、及び第2の要素の少なくとも輪郭を同時に表示する。したがって、コンピュータシステムは、任意選択的に、ユーザの注意が向けられているアプリケーションのタイプを検出し、そそのような検出に基づいて三次元環境に対する第1の環境効果の視覚的影響の大きさを変更することを対象とするステップ(単数又は複数)2802を実行する。異なるアプリケーションに向けられたユーザの注意を検出したことに応じて、三次元環境に対する第1の環境効果の視覚的影響の大きさを異なる量だけ変化させることは、特定の環境効果構成を特定のアプリケーションに対応させ、異なるアプリケーションに対して環境効果を異なるように制御するための特定のユーザ入力の関与を低減し、注意散漫を減少させて、ユーザの注意が特定のアプリケーションの特定のユーザインタフェースに向けられている場合にコンピュータシステムとの相互作用におけるエラーの低減を最適にもたらす。
いくつかの実施形態では、三次元環境の外観に対する視覚的影響の第1の大きさを有する第1の環境効果を表示することは、第1の仮想コンテンツが第1のタイプのコンテンツであるという判定に従って、(例えば、コンテンツを表示しているアプリケーションによって定義されるのとは対照的に)コンピュータシステムのオペレーティングシステムによって定義された第1の値(例えば、第1のコントラスト量、第1の輝度量、三次元環境の他の部分に対する第1の視覚的強調量、第1の彩度量、又は第1の量の不透明度)を有する視覚的特性(例えば、コントラスト、輝度、視覚的強調レベル、彩度、不透明度、又は別の視覚的特性)で第1の環境効果を表示すること(2816b)を含む(2816a)。例えば、図27Aの仮想コンテンツ2704aが第1のタイプのコンテンツであるという判定に従って、コンピュータシステム101は、図27Aの凡例2712aによって示される量で環境効果2713を表示する。例えば、第1の仮想コンテンツが(例えば、ビデオ再生アプリケーションによって表示される)ビデオコンテンツであり、ユーザの注意がビデオコンテンツに向けられている場合、コンピュータシステムは、任意選択的に、第1の個別の値を有する視覚的特性を有する第1の環境効果を、任意選択的に、ビデオコンテンツを含むユーザインタフェースをホストするアプリケーション(例えば、TVアプリケーション、インターネットアプリケーション、写真アプリケーション、音楽アプリケーション、又は別のアプリケーション)に関係なく、表示する。例えば、コンピュータシステムは、第1のアプリケーションの第1のユーザインタフェースが第1のタイプのコンテンツを含むとき、第1の値を有する視覚的特性を有する第1の環境効果を表示し、コンピュータシステムは、第2のアプリケーションの第2のユーザインタフェースが第1のタイプのコンテンツを含むとき、第1の値を有する視覚的特性を有する第1の環境効果を表示する。第1のタイプのコンテンツの他の例は、テキストコンテンツ、オーディオコンテンツ、背景コンテンツ、又は別のタイプのコンテンツを任意選択的に含む。ユーザの注意が第1の仮想コンテンツに向けられている間に、コンピュータシステムのオペレーティングシステムによって定義される第1の値を有する視覚的特性で第1の環境効果を表示することは、特定のタイプのコンテンツの異なるアイテムにわたる視覚効果の外観の一貫性を提供し、それによって、相互作用におけるエラーの可能性を減少させる。
いくつかの実施形態では、三次元環境の外観に対する視覚的影響の第1の大きさを有する第1の環境効果を表示することは、第1の仮想コンテンツが第1のタイプのコンテンツとは異なる第2のタイプのコンテンツであるという判定に従って、(例えば、コンピュータシステムのオペレーティングシステムによって定義されるのとは対照的に)第1の仮想コンテンツに関連付けられたアプリケーションによって定義される、第1の値とは異なる第2の値(例えば、第2のコントラスト量、第2の輝度量、三次元環境の他の部分に対する第2の視覚的強調量、第2の彩度量、又は第2の量の不透明度)を有する視覚的特性で第1の環境効果を表示すること(2818b)を含む(2818a)。例えば、図27Aの仮想コンテンツ2704aが第2のタイプのコンテンツであるという判定に従って、コンピュータシステム101は、図27Bの凡例2712aによって示される量で環境効果2713を表示する。例えば、第1の仮想コンテンツがビデオコンテンツとは異なり、ユーザの注意が第1の仮想コンテンツに向けられている場合、コンピュータシステムは、任意選択的に、第2のタイプのコンテンツをホストするアプリケーション(例えば、インターネットアプリケーション、写真ビューアアプリケーション、メッセージングアプリケーション、プレゼンテーションアプリケーション、又は別のアプリケーション)に関連付けられた設定に任意選択的に従って、第2の値を有する視覚的特性を有する第1の環境効果を任意選択的に表示する。例えば、コンピュータシステムは、第1のアプリケーションの第1のユーザインタフェースが第2のタイプのコンテンツを含むとき、第2の値を有する視覚的特性を有する第1の環境効果を表示し、コンピュータシステムは、第2のアプリケーションの第2のユーザインタフェースが第2のタイプのコンテンツを含むとき、第2の値を有する視覚的特性を有する第1の環境効果を表示する。第2のタイプのコンテンツの他の例は、健康関連コンテンツ、メッセージングアプリケーションのメッセージ効果、プレゼンタービュー及び/又はオーディエンスビュー、他のテキストコンテンツ、オーディオコンテンツ、背景コンテンツ、又は第1のタイプのコンテンツとは異なる別のタイプのコンテンツを任意選択的に含む。ユーザの注意が第1の仮想コンテンツに向けられている間に、第1の仮想コンテンツに関連付けられたアプリケーションによって定義された第2の値を有する視覚的特性で第1の環境効果を表示することは、異なるアプリケーションが異なる環境効果の外観を提供するための柔軟性/カスタマイズ可能性を提供する。
いくつかの実施形態では、第1の仮想コンテンツが表示される三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第1の量又は第2の量だけ変化させることは、図27Bの凡例2714bによって示されるように、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出することに応じて、経時的に(例えば、0.5、1、2、3、5、10、20、若しくは30秒、又は別の期間にわたって)徐々に実行される(2820)。コンピュータシステムは、任意選択的に、第1の環境効果の視覚的影響の第1の大きさを徐々に変化させることによって、コンピュータシステムのユーザが経験する不快感を減少させる。ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出したことに応じて、三次元環境に対する環境効果の視覚的影響の大きさを徐々に変化させることは、コンピュータシステムとの相互作用中のユーザの安全性を増加させ、必要に応じて変化に対抗するための後続のユーザ入力のための時間を提供する表示の変化に関するフィードバックを提供する。
いくつかの実施形態では、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出した後、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第1の量又は第2の量だけ徐々に変化させながら(三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさへの変化の第1の量又は第2の量に達する前に)、コンピュータシステムは、図27Gのユーザの注意2708fによって示されるように、ユーザの注意が第1の仮想コンテンツにシフトして戻ったことを検出する(2822a)。
いくつかの実施形態では、ユーザの注意が第1の仮想コンテンツにシフトして戻ったことを検出したことに応じて、コンピュータシステムは、図27Bの凡例2714a及び2714bによって示される方向とは反対の変化率を示す図27Gの凡例2714a及び2714bによってそれぞれ示される、ユーザの注意が第1の要素に向けられたことを検出したことに応じて生じた三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさの変化の方向とは反対の方向に、三次元環境の外観に対する第1の環境効果の視覚的影響の大きさを変化させる(2822b)。コンピュータシステムが、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第1の量又は第2の量だけ変更することを実行する前に、ユーザの注意が第1の仮想コンテンツに戻る場合、コンピュータシステムは、任意選択的に、三次元環境の外観に対する第1の環境効果の視覚的影響の大きさに対する少なくともいくつかの変更を少なくとも部分的に効果的に相殺又は元に戻す。したがって、ユーザの注意が第1の仮想コンテンツに戻ったことを検出したことに応じて、コンピュータシステムは、第1の仮想コンテンツと、三次元環境の外観に対する視覚的影響の第1の大きさとは異なる三次元環境の外観に対する視覚的影響の第2の大きさを有する第1の環境効果とを同時に表示する。三次元環境の外観に対する第1の環境効果の視覚的影響の第2の大きさは、任意選択的に、視覚的影響の第1の大きさよりも小さいか、等しいか、又は大きい(例えば、0.3%、1%、2%、6%、10%、19%、27%、30%、50%、60%、70%、90%、又は三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさよりも小さいか、等しいか、又は大きい、別のパーセンテージ)。実行された三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさに対する少なくともいくつかの変更を少なくとも部分的に取り消すことは、コンピュータシステムとの相互作用中のユーザの注意に対するコンピュータシステムの応答性を増加させ、ユーザの注意の対象が変化するにつれて環境効果を異なるように制御するための特定のユーザ入力の関与を減少させる。
いくつかの実施形態では、第1の量又は第2の量だけ、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを変化させることは、ステップ(単数又は複数)2808を参照して説明されるように、図27Bの凡例2714aによって示されるように、第1の変化率で、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第1の量又は第2の量だけ減少させることを含む(2824a)。いくつかの実施形態では、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出した後、ユーザの注意が第1の要素又は第2の要素にシフトしたことを検出した後、第1の仮想コンテンツが表示される三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第1の量又は第2の量だけ変化させることの少なくとも一部を実行した後(2824b)、ユーザの注意が第1の仮想コンテンツ、又は第1の要素若しくは第2の要素のいずれかであるか若しくは第1の要素及び第2の要素の両方とは異なる第3の要素にシフトしたことを検出したことに応じて、コンピュータシステムは、三次元環境の外観に対する第1の環境効果の視覚的影響の大きさを、第1の量又は第2の量のいずれかであるか又は第1の量及び第2の量の両方とは異なる第3の量だけ変化させ、三次元環境の外観に対する第1の環境効果の視覚的影響の大きさを第3の量だけ変化させることは、図27Gの凡例2714aによって示されるように、三次元環境の外観に対する第1の環境効果の視覚的影響の大きさを、第1の変化率よりも絶対値がより大きい第2の変化率で増加させることを含む(2824c)。例えば、コンピュータシステムは、任意選択的に、ステップ(単数又は複数)2808を参照して説明されるように、外観三次元環境に対する環境効果の視覚的影響の第1の大きさを第1の変化率で第1のパーセンテージだけ低減し、コンピュータシステムは、任意選択的に、第1の変化率よりも速い第2の変化率で三次元環境の外観に対する第1の環境効果の視覚的影響の大きさを第3の量だけ増加させる。したがって、コンピュータシステムは、任意選択的に、三次元環境の外観に対する第1の環境効果の視覚的影響の大きさを、負の割合よりも速い正の割合で変化させる。したがって、コンピュータシステムは、任意選択的に、三次元環境の外観に対する第1の環境効果の視覚的影響の大きさを、三次元環境の外観に対する第1の環境効果の視覚的影響の大きさの減少速度よりも速い速度で増加させる。三次元環境に対する環境効果の視覚的影響の大きさを、負の割合よりも速い正の割合で変化させる(例えば、正の割合は負の割合よりも絶対値がより大きい)ことにより、三次元環境に対する特定の大きさの視覚的影響を有する環境効果の表示の時間遅延が低減される一方で、第1の環境効果を大幅に減少させることなく三次元環境においてユーザの注意が変化する機会が提供される。
いくつかの実施形態では、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出したことに応じて、ユーザの注意が第1の要素に向けられているという判定に従って(2826a)、かつユーザの注意が第1の要素に向けられている間に第1の要素が第1の要素との個別の環境効果(任意選択的に第1の環境効果とは異なる)の同時表示に関連付けられている(例えば、第1の要素は、第1の要素に注意が向けられている間にコンピュータシステムによって表示されるべきそれ自体の環境効果-個別の環境効果-を有する)という判定に従って、コンピュータシステムは、図27Bの凡例2714aによって示されるように、第1の変化率(ステップ(単数又は複数)2824を参照して説明される第2の変化率など)で三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第1の量だけ変化させる(2826b)。第1の要素は、任意選択的に、コンピュータシステムが、第1の大きさの視覚的影響とは異なる第2の大きさの視覚的影響を有する個別の環境効果を三次元環境に表示することを要求するアプリケーションに関連付けられる。いくつかの実施形態では、本開示で使用される「ユーザの注意が向けられている間」は、「ユーザの注意が向けられていることを検出しながら」を含む。
いくつかの実施形態では、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出したことに応じて、ユーザの注意が第1の要素に向けられているという判定に従って(2826a)、かつユーザの注意が第1の要素に向けられている間に第1の要素が第1の要素との個別の環境効果の同時表示に関連付けられていない(例えば、注意が第1の要素に向けられている間に第1の要素がコンピュータシステムによって表示されるべきそれ自体の環境効果を有していない)という判定に従って、コンピュータシステムは、図27Eの凡例2714aによって示されるように、第1の変化率よりも小さい第2の変化率(ステップ(単数又は複数)2824を参照して説明される第1の変化率など)で、第1の仮想コンテンツが表示される三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを、第1の量だけ変化させる(2826c)。例えば、第1の要素は、任意選択的に、コンピュータシステムが三次元環境に対する第2、第3、又は任意の大きさの視覚的影響を有する個別の環境効果を表示することを要求するアプリケーションに関連付けられない。いくつかの実施形態では、ステップ(単数又は複数)2826は、追加的又は代替的に、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出したことに応じて、ユーザの注意が第2の要素に向けられているという判定に従って、ユーザの注意が第2の要素に向けられている間に第2の要素が第2の要素との個別の環境効果の同時表示に関連付けられているという判定に従って、第3の変化率で三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第2の量だけ変化させるステップと、ユーザの注意が第2の要素に向けられている間に第2の要素が第2の要素との個別の環境効果の同時表示に関連付けられていないという判定に従って、第3の変化率未満の第4の変化率で、第1の仮想コンテンツが表示される三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第2の量だけ変化させるステップと、を含む。いくつかの実施形態では、第2の要素は、コンピュータシステムが、第1の大きさの視覚的影響とは異なる第2の大きさの視覚的影響を有する個別の環境効果を三次元環境に表示することを要求するアプリケーションに関連付けられる。いくつかの実施形態では、第2の要素は、任意選択的に、コンピュータシステムが三次元環境に対する第2、第3、又は任意の大きさの視覚的影響を有する個別の環境効果を表示することを要求するアプリケーションに関連付けられない。したがって、ユーザの注意がユーザの注意の特定のオブジェクトに向けられている間に、ユーザの注意の特定のオブジェクトがユーザの注意の特定のオブジェクトとの環境効果の同時表示に関連付けられるとき、コンピュータシステムは、ユーザの注意がユーザの注意のオブジェクトに向けられている間に、ユーザの注意の特定のオブジェクトがユーザの注意の特定のオブジェクトとの環境効果の同時表示に関連付けられないときと比較して、より速い変化率で三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを任意選択的に変化させる。ユーザの注意が個別の環境効果の同時表示に関連付けられたオブジェクトにシフトしたことを検出したことに応じて、オブジェクトが個別の環境効果の同時表示に関連付けられていないときよりも速い速度で三次元環境に対する環境効果の視覚的影響の大きさを変化させることは、コンピュータシステムとの相互作用中のユーザの注意に対するコンピュータシステムの応答性を増加させ、オブジェクトが個別の環境効果の同時表示に関連付けられているかどうかに基づいて環境効果変化のそれぞれの速度を制御するためのユーザ入力の関与を低減し、異なる要素に対する個別の環境効果間の切り替え(例えば、完全な切り替え)に関与する時間量を減少させる。
いくつかの実施形態では、第1の仮想コンテンツと、三次元環境の外観に対する第1の大きさの視覚的影響を有する第1の環境効果とを同時に表示している間に、第1の仮想コンテンツは、三次元環境において第2の大きさの視覚的顕著性を有し(2828a)、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出したことに応じて、コンピュータシステムは、図27A及び27Dにおける仮想コンテンツ2704aの外観の差によって示されるように、三次元環境内の第1の仮想コンテンツの第2の大きさの視覚的顕著性を第3の量だけ減少させる(2828b)。第3の量は、任意選択的に、三次元環境内の第1の仮想コンテンツの視覚的顕著性の第2の大きさに対する第3の割合(0.5%、0.9%、1.2%、5%、8%、15%、30%、45%、60%、100%、又は別の割合)によって表される。したがって、コンピュータシステムは、任意選択的に、三次元環境内の第1の仮想コンテンツの視覚的顕著性を減少させる。いくつかの実施形態では、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出することは、視線及び/又は頭部角度(例えば、視点角度)が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出することを含む。いくつかの実施形態では、ステップ(単数又は複数)2828は、追加的又は代替的に、ユーザの注意が第1の仮想コンテンツに向けられているという判定に従って、ユーザの注意が第1の仮想コンテンツに対する第1の角度に関連付けられ、ユーザの注意が第1の要素に向けられているという判定に従って、ユーザの注意が第1の角度とは異なる、第1の仮想コンテンツに対する第2の角度に関連付けられ、更に、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出したことに応じて、ユーザの注意が第1の要素に向けられているという判定に従って、第1の角度と第2の角度との間の角距離が第1の角距離であるという判定に従って、三次元環境内の第1の仮想コンテンツの視覚的顕著性の第2の大きさを第3の量だけ減少させ、第1の角度と第2の角度との間の角距離が、第1の角距離よりも大きい第2の角距離であるという判定に従って、三次元環境内の第1の仮想コンテンツの視覚的顕著性の第2の大きさを、第3の量よりも大きい第4の量だけ減少させることを含む。同様の動作が、第1の要素の代わりに第2の要素に関して任意選択的に実行される。いくつかの実施形態では、ステップ(単数又は複数)2828は、追加的又は代替的に、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出したことに応じて、ユーザの注意が第1の要素に向けられているという判定に従って、第1の仮想コンテンツと第1の要素との間の角距離が第1の角距離であるという判定に従って、三次元環境内の第1の仮想コンテンツの視覚的顕著性の第2の大きさを第3の量だけ低減し、第1の角度と第2の角度との間の角距離が、第1の角距離よりも大きい第2の角距離であるという判定に従って、三次元環境内の第1の仮想コンテンツの視覚的顕著性の第2の大きさを第3の量よりも大きい第4の量だけ減少させることを含む。同様の動作が、第1の要素の代わりに第2の要素に関して任意選択的に実行される。ユーザの注意が第1の仮想コンテンツからシフトして離れたことを検出したことに応じて第1の仮想コンテンツの視覚的顕著性を減少させることは、第1の仮想コンテンツがユーザの注意の対象であるかどうかに基づいて第1の仮想コンテンツの特定の視覚的顕著性に対応し、コンピュータシステムと相互作用するときのユーザエラーを減少させる。
いくつかの実施形態では、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出したことに応じて(2830a)、ユーザの注意と第1の仮想コンテンツとの間の角距離が第1の角距離であるという判定に従って、コンピュータシステムは、図27A及び27Iの凡例2712a内の量の差によって示されるように、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第3の量だけ変化させる(2830b)。第3の量は、任意選択的に、三次元環境の外観に対する第1の環境効果の視覚的顕著性の第1の大きさに対する第3の割合(0.5%、0.9%、1.2%、5%、8%、15%、30%、45%、60%、88%、又は別の割合)によって表される。
いくつかの実施形態では、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出したことに応じて(2830a)、ユーザの注意と第1の仮想コンテンツとの間の角距離が第1の角距離よりも大きい第2の角距離であるという判定に従って、コンピュータシステムは、図27A及び図27Jの凡例2712aにおける量の差によって示されるように、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを、第3の量よりも大きい第4の量だけ変化させる(2830c)。第4の量は、任意選択的に、三次元環境の外観に対する第1の環境効果の視覚的顕著性の第1の大きさに対する第4の割合(0.5%、0.9%、1.3%、5%、10%、15%、30%、50%、60%、89%、100%、又は別の割合)によって表される。例えば、第1の仮想コンテンツにおけるユーザの注意の間の角距離が増加するにつれて、コンピュータシステムは、任意選択的に、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさが減少する量を増加させる。したがって、コンピュータシステムは、任意選択的に、第1の仮想コンテンツとユーザの注意の対象との間の視野角に基づいて、三次元環境の外観に対する第1の環境効果の視覚的影響の大きさを減少させる。ユーザの注意が第1の仮想コンテンツからシフトして離れたことを検出したことに応じて、ユーザの注意と第1の仮想コンテンツとの間の角距離の関数として、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを減少させることは、三次元環境の外観に対する第1の環境効果の視覚的影響の特定の大きさを特定の角距離に対応させ、ユーザの注意と第1の仮想コンテンツとの間の角距離の関数として、第1の仮想コンテンツから注意散漫を減少させ、したがって、コンピュータシステムと相互作用するときのユーザエラーを減少させる。
いくつかの実施形態では、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出したことに応じて、ユーザの注意が第1の要素に向けられているという判定に従って(2832a)、図27Cの仮想コンテンツ2704bに向けられた手2710からの入力によって示されるように、第1の要素に向けられたユーザの注意以外の入力がコンピュータシステムによって検出されたという判定に従って、コンピュータシステムは、ステップ(単数又は複数)2808、ステップ(単数又は複数)2824、及び/又はステップ(単数又は複数)2826を参照して説明される変化率など、図27Cの凡例2714aによって示されるような第1の変化率で、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第1の量だけ変化させる(2832b)。ユーザの注意以外の入力は、任意選択的に、本開示内で説明されるエアジェスチャ(例えば、エアピンチ入力(例えば、互いに接触するための手の2本以上の指の動きを含むエアジェスチャであって、任意選択的に、その後に、互いからの接触を即時に(例えば、0~1秒以内に)中断するエアジェスチャ)、又は別のタイプのエアピンチ、タップ入力(三次元環境内の第1の要素に向けられた)任意選択的に第1の要素に向かうユーザの指(単数又は複数)の動き、任意選択的に第1の要素に向かってユーザの指(単数又は複数)を伸ばした状態での第1の要素に向かうユーザの手の動き、ユーザの指の動き(例えば、画面上のタップを模倣する)、又はユーザの手の別の既定の動きを含むエアジェスチャとして実行される)、エアピンチ及びドラッグジェスチャ(例えば、エアジェスチャは、ユーザの手のポジションを第1のポジション(例えば、ドラッグの開始ポジション)から第2のポジション(例えば、ドラッグの終了ポジション)に変化させるドラッグ入力と併せて実行されるエアピンチジェスチャ(例えば、エアピンチジェスチャ又はロングエアピンチジェスチャ)、又は別のタイプのエアジェスチャを含む)を含む。
いくつかの実施形態では、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出したことに応じて、ユーザの注意が第1の要素に向けられているという判定に従って(2832a)、第1の要素に向けられたユーザの注意以外の入力がコンピュータシステムによって検出されないという判定に従って、コンピュータシステムは、図27Bの凡例2714aによって示されるように、第1の変化率よりも小さい、ステップ(単数又は複数)2808、ステップ(単数又は複数)2824、及び/又はステップ(単数又は複数)2826を参照して説明される変化率などの第2の変化率で、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第1の量だけ変化させる(2832c)。例えば、コンピュータシステムが、第1の仮想コンテンツとは異なる、アプリケーションのユーザインタフェースに向けられたユーザの注意以外の入力を検出することは、任意選択的に、コンピュータシステムが、第2の変化率よりも大きい第1の変化率で、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第1の量だけ変化させることをもたらす。したがって、コンピュータシステムがユーザの注意以外の入力を検出するという判定に従って、コンピュータシステムは、コンピュータシステムがユーザの注意以外の入力を検出しないという判定に従って、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさの変化に第1の量だけ関連付けられた、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさの変化率よりも速い第1の変化率で、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを変化させる。いくつかの実施形態では、ステップ(単数又は複数)2832は、追加的又は代替的に、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出したことに応じて、ユーザの注意が第2の要素に向けられているという判定に従って、第2の要素に向けられたユーザの注意以外の入力がコンピュータシステムによって検出されたという判定に従って、ステップ(単数又は複数)2808、ステップ(単数又は複数)2824、及び/又はステップ(単数又は複数)2826を参照して説明される変化率などの第3の変化率で、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第2の量だけ変化させるステップと、ユーザの注意以外の第2の要素に向けられた入力がコンピュータシステムによって検出されないという判定に従って、ステップ(単数又は複数)2808、ステップ(単数又は複数)2824、及び/又はステップ(単数又は複数)2826を参照して説明される変化率などの、第3の変化率未満の第4の変化率で、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第2の量だけ変化させるステップとを含む。コンピュータシステムがユーザの注意以外の入力を検出したという判定に従って、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを変化させることを加速することは、三次元環境に対する特定の大きさの視覚的影響を有する環境効果の表示の時間遅延を減少させる。
いくつかの実施形態では、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出したことに応じて、及びユーザの注意が第1の要素に向けられているという判定に従って、コンピュータシステムは、第1の仮想コンテンツの視覚的外観を変更し、及び/又は第1の環境効果が三次元環境の外観に及ぼす視覚的影響の第1の大きさを第1の量だけ変更することとは異なる1つ以上の方式で第1の要素の視覚的外観を変更し(2834)、これは、任意選択的に、第1の環境効果が三次元環境の外観に及ぼす視覚的影響の第1の大きさを第1の量だけ変更することと同時に行われ、これは、例えば図27A及び27Bの仮想コンテンツ2704aの外観の変更、及び/又は図27A及び27Bの仮想コンテンツ2704bの境界幅の変更によって示され、仮想コンテンツ2704bの外観に対する変更を表しており、非限定的である。いくつかの実施形態では、ステップ(単数又は複数)2834は、追加的又は代替的に、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことを検出したことに応じて、及びユーザの注意が第2の要素に向けられているという判定に従って、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第1の量だけ変化させることとは異なる1つ以上の方式で、第1の仮想コンテンツの視覚的外観を変化させること、及び/又は第2の要素の視覚的外観を変化させることを含み、任意選択的に、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第2の量だけ変化させることと同時に行う。いくつかの実施形態では、コンピュータシステムは、方法1600、1800、2000、2200、2400及び/又は2600を参照して説明される1つ以上の方式で、注意、視点移動、空間的及び/若しくは視覚的衝突、並びに/又は他の要因に基づいて、第1の仮想コンテンツの視覚的外観、第1の要素の視覚的外観、及び/又は第2の要素の視覚的外観を変更する。したがって、コンピュータシステムは、方法1600、1800、2000、2200、2400及び/又は2600の1つ以上のステップとともに、方法2800の1つ以上のステップを任意選択的に実行する。異なる要因による視覚的外観の変化を組み合わせることは、それらの複数の要因の状態に関する同時フィードバックをユーザに提供し、それらの要因を変化させるための入力をどのように提供するかをユーザに示す。
いくつかの実施形態では、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことの検出に応じて(2836a)、第1の仮想コンテンツが表示される三次元環境の外観に対する第1の環境効果の、図27Aの凡例2714a内の量によって示されるような第1の大きさの視覚的影響を第1の量だけ変更することは、27Jの凡例2714a内の量によって示されるように、第1の仮想コンテンツが表示される三次元環境の外観に対する第1の大きさの視覚的影響よりも小さい第2の大きさの視覚的影響(三次元環境の外観に対する第1の環境効果の第1の大きさの視覚的影響よりも0.3%、1%、2%、6%、10%、19%、27%、30%、50%、60%、70%、90%、又は他の割合など)を有する第1の環境効果を表示することを含む(2836b)。いくつかの実施形態では、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことの検出に応じて(2836a)、第1の仮想コンテンツが表示される三次元環境の外観に対する、図27Aの凡例2714a内の量によって示されるような第1の環境効果の第1の大きさの視覚的影響を、第1の量より小さい第2の量だけ変更することは、27Iの凡例2714a内の量によって示されるような、第1の仮想コンテンツが表示される三次元環境の外観に対する、第1の大きさの視覚的影響より小さいが第2の大きさの視覚的影響より大きい第3の大きさの視覚的影響(三次元環境の外観に対する第1の環境効果の第1の大きさの視覚的影響より2%、6%、10%、19%、27%、30%、50%、60%、70%、90%、若しくは95%、又は三次元環境の外観に対する第1の環境効果の第1の大きさの視覚的影響より小さく、三次元環境の外観に対する第1の環境効果の第2の大きさの視覚的影響より大きいなど)を有する第1の環境効果を表示することを含む(2836c)。どの要素にユーザの注意が向けられるかに基づいて、三次元環境効果の外観に対する第1の環境の視覚的影響の大きさの異なる量を維持することは、特定の環境効果構成をユーザの注意の特定のオブジェクトに対応させ、ユーザの注意が異なる要素に向けられるときに、環境効果を異なる要素に対して異なるように制御するためのユーザ入力の関与を減少させる。
いくつかの実施形態では、ユーザの注意が三次元環境内の第1の仮想コンテンツからシフトして離れたことの検出に応じて(2838a)、第1の仮想コンテンツが表示される三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを第1の量だけ変化させることは、図27Eの凡例2712aによって示されるように、第1の環境効果の表示を停止すること(2838b)を含み、第1の仮想コンテンツが表示される三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを、第1の量のよりも小さい第2の量だけ変更することは、図27Iの凡例2712aによって示される量によって示されるように、第1の仮想コンテンツが表示される三次元環境の外観に対する視覚的影響の第1の大きさよりも小さい視覚的影響の第2の大きさ(例えば、0.3%、1%、2%、6%、10%、19%、27%、30%、50%、60%、70%、90%、又は三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさよりも小さい別の割合)を有する第1の環境効果を表示すること(2838c)を含む。三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさを変化させることによって第1の環境効果を表示することを停止し、三次元環境の外観に対する視覚的影響の第1の大きさよりも小さい視覚的影響の第2の大きさを有する第1の環境効果を表示することは、特定の環境効果構成をユーザの注意の特定のオブジェクトに対応させ、ユーザの注意が異なる要素に向けられているときに異なる要素に対して環境効果を異なるように制御するためのユーザ入力の関与を減少させる。
いくつかの実施形態では、第1の要素は、図27Aの仮想コンテンツ2704bなどの仮想コンテンツ(2840a)であり、第2の要素は、図27Aの物理的なテーブル2706aなどの三次元環境(2840b)内で可視であるユーザの物理的環境内の物理的オブジェクトである。いくつかの実施形態では、コンピュータシステムは、ユーザの注意のオブジェクトが仮想コンテンツであるときと比較して、ユーザの注意のオブジェクトが三次元環境において可視であるユーザの物理的環境における物理的オブジェクト(例えば、物理的テーブル、椅子、鉛筆、又は別の物理的オブジェクト若しくはユーザの物理的環境の一部)であるとき、三次元環境の外観に対する第1の環境効果の視覚的影響の第1の大きさをより大きい量だけ変化させる。第2の要素に向けられたユーザの注意を検出したことに応じて三次元環境に対する第1の環境効果の視覚的影響の大きさを、第2の要素に向けられたユーザの注意を検出したことに応じて三次元環境に対する第1の環境効果の視覚的影響の変化量よりも少ない量だけ変化させることは、異なる要素に異なる量向けられたユーザの注意を検出したことに応じて、ユーザの注意のオブジェクトがパススルーであるか仮想コンテンツであるかをユーザに示し、ユーザの注意のオブジェクトが仮想コンテンツであるか物理的オブジェクトであるかに基づいて特定の環境効果構成をユーザの注意の特定のオブジェクトに対応させ、コンピュータシステムとの相互作用中のユーザ安全性を増加させ、仮想オブジェクトと物理的オブジェクトとの間で環境効果を異なるように制御するための特定のユーザ入力の関与を減少させる。
方法2800における動作が説明された特定の順序は、例示的なものにすぎず、説明された順序が、動作が実行され得る唯一の順序であることを示すものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。
いくつかの実施形態では、方法800、1000、1200、1400、1600、1800、2000、2200、2400、2600、及び2800の態様/動作は、これらの方法の間で交換、置換、及び/又は追加され得る。例えば、方法800、1000、1200、1400、1600、1800、2000、2200、2400、2600及び/又は2800の仮想オブジェクト、方法800、1000、1200、1400、1600、1800、2000、2200、2400、2600及び/又は2800の環境、方法800、1000、1200、1400、1600、1800、及び/又は2000の仮想オブジェクトを再位置決めするための入力、方法800、1000、1200、1400、1600、1800、2000、2200、2400、2600、及び/又は2800の視点、並びに/又は方法800、1000、1200、1400、1600、1800、2000、2200、2400、2600及び/又は2800の通信セッション、並びに/又は方法800、1000、1200、1400、1600、1800、2000、2200、2400、2600及び/又は2800の仮想オブジェクトの視覚的外観の変更は、これらの方法の間で任意選択的に交換、置換、及び/又は追加される。簡潔にするために、それらの詳細はここでは繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。
上述したように、本技術の一態様は、ユーザのXR体験を改善するために、様々なソースから入手可能なデータを収集及び使用することである。本開示は、いくつかの場合には、この収集されたデータが、特定の人を一意に識別する個人情報データ、又は特定の人に連絡する若しくはその所在を突き止めるために使用できる個人情報データを含み得ることを考察する。そのような個人情報データとしては、人口統計データ、ロケーションベースのデータ、電話番号、電子メールアドレス、ツイッターID、自宅の住所、ユーザの健康若しくはフィットネスのレベルに関するデータ若しくは記録(例えば、バイタルサイン測定値、投薬情報、運動情報)、生年月日、又は任意の他の識別情報若しくは個人情報を挙げることができる。
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データは、ユーザのXR体験を向上させるために使用することができる。更に、ユーザに利益をもたらす個人情報データに関する他の使用も本開示によって意図されている。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスについての洞察を提供するために使用することができ、又は、ウェルネスの目標を追求する技術を使用している個人への、積極的なフィードバックとして使用することもできる。
本開示は、そのような個人情報データの収集、分析、開示、送信、記憶、又は他の使用に関与するエンティティが、確固たるプライバシーポリシー及び/又はプライバシー慣行を遵守するものとなることを想到する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能とするべきであり、データの収集及び/又は使用が変更されるにつれて更新されるべきである。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更には、そのような収集/共有は、ユーザに告知して同意を得た後に実施されるべきである。その上、そのようなエンティティは、そのような個人情報データへのアクセスを保護及び安全化し、個人情報データへのアクセス権を有する他者が、それらのプライバシーポリシー及び手順を忠実に守ることを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更に、そのようなエンティティは、広く受け入れられているプライバシーポリシー及び慣行に対する自身の遵守を証明するために、サードパーティによる評価を自らが受けることができる。更には、ポリシー及び慣行は、収集及び/又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令及び規格に適合されるべきである。例えば、アメリカ合衆国では、特定の健康データの収集又はそれへのアクセスは、医療保険の相互運用性と説明責任に関する法律(HIPAA)などの、連邦法及び/又は州法に準拠し得る。その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国において、異なる個人データのタイプに関して異なるプライバシー慣行が保たれるべきである。
前述のことがらにもかかわらず、本開示はまた、個人情報データの使用又は個人情報データへのアクセスを、ユーザが選択的に阻止する実施形態も想到する。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するために、ハードウェア要素及び/又はソフトウェア要素が提供され得ることを意図している。例えば、XR体験の場合において、本技術は、ユーザが、サービスの登録中又はその後のいつでも、個人情報データの収集への参加の「オプトイン」又は「オプトアウト」を選択できるように構成され得る。「オプトイン」及び「オプトアウト」のオプションを提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを意図している。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
更には、本開示の意図は、個人情報データを、非意図的若しくは許可のないアクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなると削除することにより、リスクを最小化することができる。加えて、特定の健康関連アプリケーションにおいて適用可能な場合、ユーザのプライバシーを保護するために、データの匿名化を使用することができる。非特定化は、適切な場合には、特定の識別子(例えば、生年月日)を除去すること、記憶されたデータの量又は特異性を制御すること(例えば、位置データを住所レベルよりも都市レベルで収集すること)、データがどのように記憶されるかを制御すること(例えば、データをユーザ全体にわたって情報集約すること)及び/又は他の方法によって、容易にすることができる。
それゆえ、本開示は、1つ以上の様々な開示された実施形態を実施するための、個人情報データの使用を広範に網羅するものであるが、本開示はまた、そのような個人情報データにアクセスすることを必要とせずに、それらの様々な実施形態を実施することも可能であることを想到する。すなわち、本技術の様々な実施形態は、そのような個人情報データの全て又は一部が欠如することにより、動作不可能にされるものではない。例えば、ユーザに関連付けられたデバイスによって要求されているコンテンツなどの非個人情報データ若しくは必要最小量の個人情報、サービスに利用可能な他の非個人情報、又は公的に入手可能な情報に基づき嗜好を推測することによって、XR体験を生成できる。

Claims (32)

  1. 方法であって、
    表示生成構成要素及び1つ以上の入力デバイスと通信しているコンピュータシステムにおいて、
    前記表示生成構成要素を介して、三次元環境において第2の仮想オブジェクトの個別の部分に少なくとも部分的に重なる第1の仮想オブジェクトを前記三次元環境において表示している間に、かつ前記コンピュータシステムのユーザの注意が前記第1の仮想オブジェクトに向けられている間に、前記三次元環境に対して第1の視覚的顕著性レベルで前記第1の仮想オブジェクトを表示することと、
    前記表示生成構成要素を介して、前記第1の視覚的顕著性レベルを有する前記第1の仮想オブジェクトを表示している間に、前記コンピュータシステムの前記ユーザの前記注意が前記第1の仮想オブジェクトから離れることを検出することと、
    前記コンピュータシステムの前記ユーザの前記注意が前記第1の仮想オブジェクトから離れることを前記検出したことに応じて、
    前記第2の仮想オブジェクトが、前記第1の視覚的顕著性レベルよりも低い、前記三次元環境に対する第2の視覚的顕著性レベルで現在表示されている間に、前記ユーザの前記注意が前記第2の仮想オブジェクトに向けられているという判定に従って、
    前記第1の仮想オブジェクトが、前記第1の視覚的顕著性レベルよりも低い第4の視覚的顕著性レベルで表示されている間に、前記表示生成構成要素を介して、前記第2の視覚的顕著性レベルよりも高い第3の視覚的顕著性レベルで前記第2の仮想オブジェクトを表示することであって、前記第3の視覚的顕著性レベルで前記第2の仮想オブジェクトを表示し前記第4の視覚的顕著性レベルで前記第1の仮想オブジェクトを表示することは、前記第1の仮想オブジェクトが重なる前記第2の仮想オブジェクトの前記個別の部分の可視性の程度を増加させる、ことと、
    を含む、方法。
  2. 前記第2の仮想オブジェクトが前記三次元環境に対して前記第2の視覚的顕著性レベルで現在表示されている間に前記ユーザの前記注意が前記第2の仮想オブジェクトに向けられているという前記判定に従って、前記表示生成構成要素を介して、前記第2の視覚的顕著性レベルで前記第1の仮想オブジェクトを表示することを更に含む、請求項1に記載の方法。
  3. 前記第1の視覚的顕著性レベルは、第1のレベルの半透明性に対応し、前記第2の視覚的顕著性レベルは、前記第1のレベルの半透明性よりも高い第2のレベルの半透明性に対応する、請求項1に記載の方法。
  4. 前記第1の視覚的顕著性レベルで前記第1の仮想オブジェクトを表示することは、前記表示生成構成要素を介して、第3のレベルの半透明性を有する前記第1の仮想オブジェクトの第1の部分を表示することと、前記表示生成構成要素を介して、前記第3のレベルの半透明性とは異なる第4のレベルの半透明性を有する前記第1の仮想オブジェクトの第2の部分を表示することを含み、
    前記コンピュータシステムの前記ユーザの前記注意が前記第1の仮想オブジェクトから離れることを検出したことに応じて、前記第3の視覚的顕著性レベルを有する前記第2の仮想オブジェクトを表示することは、前記第2の仮想オブジェクトの第1の部分の半透明性を第1の量だけ変化させることと、前記第2の仮想オブジェクトの第2の部分の半透明性を、前記第1の量とは異なる第2の量だけ変化させることと、を含む、請求項3に記載の方法。
  5. 前記ユーザの前記注意が前記第1の仮想オブジェクトから離れることを前記検出することは、閾値時間量の間、前記三次元環境内の個別のポジションに向けられた前記ユーザの視線を検出することを含む、請求項1に記載の方法。
  6. 前記ユーザの前記注意が前記第1の仮想オブジェクトから離れることを前記検出することは、
    前記三次元環境内の個別のポジションに向けられた前記ユーザの視線を検出することと、前記ユーザの前記視線が前記三次元環境内の前記個別のポジションに向けられている間に、前記コンピュータシステムの前記ユーザの個別の部分によって実行されるジェスチャを検出することと、を含む、請求項1に記載の方法。
  7. 前記ユーザの前記注意が前記第1の仮想オブジェクトから離れることを前記検出することは、
    前記三次元環境内の個別のポジションに向けられた前記ユーザの視線を検出することと、
    前記ユーザの前記視線が前記三次元環境内の前記個別のポジションに向けられている間、かつ前記第2の仮想オブジェクトが前記三次元環境に対して前記第2の視覚的顕著性レベルで表示されている間、
    前記ユーザの個別の部分からの選択入力を検出することなく、閾値時間量の間、前記ユーザの前記視線が前記第2の仮想オブジェクトに向けられるときに満たされる基準を含む、1つ以上の第1の基準が満たされたという判定に従って、前記表示生成構成要素を介して、前記第2の視覚的顕著性レベルよりも高い前記第3の視覚的顕著性レベルで前記第2の仮想オブジェクトを表示することと、
    前記ユーザの前記視線が前記閾値時間量の間、前記第2の仮想オブジェクトに向けられる前に前記ユーザの前記個別の部分からの前記選択入力が検出されたときに満たされる基準を含む、1つ以上の第2の基準が満たされたという判定に従って、前記表示生成構成要素を介して、前記第2の視覚的顕著性レベルよりも高い前記第3の視覚的顕著性レベルで前記第2の仮想オブジェクトを表示することと、を含む、請求項1に記載の方法。
  8. 前記1つ以上の第2の基準が満たされたという前記判定に従って、前記第2の仮想オブジェクトに含まれる個別のコンテンツは、前記ユーザの前記個別の部分からの前記選択入力を検出したことに応じて選択されない、請求項7に記載の方法。
  9. 前記表示生成構成要素を介して、前記第1の視覚的顕著性レベルを有する前記第1の仮想オブジェクトを表示している間に、かつ前記コンピュータシステムの前記ユーザの前記注意が前記第1の仮想オブジェクトに向けられている間に、前記第1の仮想オブジェクト内で移動する前記ユーザの前記注意を検出することと、
    前記第1の仮想オブジェクト内で移動する前記ユーザの前記注意を検出したことに応じて、前記第1の視覚的顕著性レベルで前記第1の仮想オブジェクトの表示を維持することと、を更に含む、請求項1に記載の方法。
  10. 前記コンピュータシステムの前記ユーザの前記注意が前記第1の仮想オブジェクトから離れることを検出したことに応じて、前記ユーザの前記注意が個別の仮想オブジェクトに対応しない前記三次元環境内のポジションに向けられているという判定に従って、前記表示生成構成要素を介して、前記三次元環境に対して前記第1の視覚的顕著性レベルで前記第1の仮想オブジェクトの前記表示を維持することを更に含む、請求項1に記載の方法。
  11. 前記コンピュータシステムの前記ユーザの前記注意が前記第1の仮想オブジェクトから離れることを前記検出したことに応じて、前記ユーザの前記注意が相互作用不可能仮想オブジェクトに向けられているという判定に従って、前記表示生成構成要素を介して、前記三次元環境に対して前記第1の視覚的顕著性レベルで前記第1の仮想オブジェクトの前記表示を維持することを更に含む、請求項1に記載の方法。
  12. 前記第1の仮想オブジェクト及び第3の仮想オブジェクトは、仮想オブジェクトのグループに関連付けられ、前記方法は、
    前記コンピュータシステムの前記ユーザの前記注意が前記第1の仮想オブジェクトから離れることを前記検出したことに応じて、前記ユーザの前記注意が前記第3の仮想オブジェクトに向けられているという前記判定に従って、前記表示生成構成要素を介して、前記三次元環境に対して前記第1の視覚的顕著性レベルで前記第1の仮想オブジェクトの前記表示を維持することを更に含む、請求項1に記載の方法。
  13. 前記コンピュータシステムの前記ユーザの前記注意が前記第1の仮想オブジェクトから離れることを検出したことに応じて、前記ユーザが現在前記第1の仮想オブジェクトと相互作用しているという判定に従って、前記表示生成構成要素を介して、前記三次元環境に対して前記第1の視覚的顕著性レベルで前記第1の仮想オブジェクトの前記表示を維持することを更に含む、請求項1に記載の方法。
  14. 前記第1の仮想オブジェクトとの前記現在の相互作用が、前記第1の仮想オブジェクトを移動させることを含み、前記方法は、
    前記第1の仮想オブジェクトとの前記現在の相互作用の一部として前記第1の仮想オブジェクトを移動させている間に、前記表示生成構成要素を介して、前記第1の仮想オブジェクトの移動に関連付けられた視覚的インジケーションを表示することを更に含む、請求項13に記載の方法。
  15. 前記第1の仮想オブジェクトとの前記現在の相互作用は、第1のコンテンツを選択し、前記第1の仮想オブジェクトから前記第1の仮想オブジェクト以外の個別の仮想オブジェクトに移動させることを含む、請求項13に記載の方法。
  16. 前記第1の仮想オブジェクトとの前記現在の相互作用は、前記第1の仮想オブジェクト内で第1のコンテンツを移動させることを含む、請求項13に記載の方法。
  17. 前記第2の視覚的顕著性レベルは、前記第1の視覚的顕著性レベルに対応する第1のレベルの半透明性よりも高い第2のレベルの半透明性に対応し、
    前記第3の視覚的顕著性レベルは、前記第2のレベルの半透明性よりも低い第3のレベルの半透明性に対応する、請求項1に記載の方法。
  18. 前記第2の視覚的顕著性レベルは、前記第1の視覚的顕著性レベルに対応する第1のぼかし度よりも大きい第2のぼかし度に対応し、
    前記第3の視覚的顕著性レベルは、前記第2のぼかし度よりも低い第3のぼかしレベルに対応する、請求項1に記載の方法。
  19. 前記第1の仮想オブジェクトが、前記ユーザの視点に対して前記ユーザの物理的環境の視覚表現の前に表示される、請求項1に記載の方法。
  20. 前記第1の仮想オブジェクトは、前記ユーザの視点に対して仮想環境の前に表示される、請求項1に記載の方法。
  21. 前記第1の仮想オブジェクトが第1のアプリケーションに関連付けられ、前記第2の仮想オブジェクトが前記第1のアプリケーションとは異なる第2のアプリケーションに関連付けられる、請求項1に記載の方法。
  22. 前記第2の仮想オブジェクトが、前記コンピュータシステムのオペレーティングシステムに関連付けられた制御ユーザインタフェースである、請求項1に記載の方法。
  23. 前記表示生成構成要素を介して、前記三次元環境に対して前記第2の視覚的顕著性レベルで前記第2の仮想オブジェクトを表示している間に、前記表示生成構成要素を介して、第5の視覚的顕著性レベルで前記第2の仮想オブジェクトの移動に関連付けられた個別の選択可能要素を表示することと、
    前記第2の視覚的顕著性レベルで前記第2の仮想オブジェクトを、及び前記第5の視覚的顕著性レベルで前記個別の選択可能要素を表示している間に、前記1つ以上の入力デバイスを介して、前記個別の選択可能要素に向けられた第1の入力を受信することと、
    前記第1の入力を検出したことに応じて、前記第1の入力に従って前記三次元環境内で前記第2の仮想オブジェクトを移動させることと、を更に含む、請求項1に記載の方法。
  24. 前記表示生成構成要素を介して、前記第4の視覚的顕著性レベルで前記第1の仮想オブジェクトを表示している間に、前記表示生成構成要素を介して、前記第1の仮想オブジェクトの移動に関連付けられた個別の選択可能要素を表示することと、
    前記表示生成構成要素を介して、前記第4の視覚的顕著性レベルで前記第1の仮想オブジェクトと、前記第1の仮想オブジェクトを移動させることに関連付けられた前記個別の選択可能要素とを表示している間に、前記第1の仮想オブジェクトに関連付けられた個別の要素に向けられた入力を検出することと、
    前記第1の仮想オブジェクトに関連付けられた前記個別の要素に向けられた前記入力を検出したことに応じて、
    前記個別の要素が前記個別の選択可能要素であるという判定に従って、
    前記入力に応じて前記第1の仮想オブジェクトを移動させる処理を開始することと、
    前記個別の要素が前記第1の仮想オブジェクト内に含まれる個別のコンテンツに対応するという判定に従って、前記表示生成構成要素を介して、前記入力に従って前記個別のコンテンツに関連付けられた動作を実行することなく、前記第4の視覚的顕著性レベルよりも高い第5の視覚的顕著性レベルで前記第1の仮想オブジェクトを表示することと、を更に含む、請求項1に記載の方法。
  25. 前記第1の仮想オブジェクトがメディアコンテンツを現在再生していることを含み、前記方法が、
    前記表示生成構成要素を介して、前記三次元環境に対して前記第3の視覚的顕著性レベルで前記第2の仮想オブジェクトを表示したことに応じて、前記第4の視覚的顕著性レベルで表示されている前記第1の仮想オブジェクト内に含まれる前記メディアコンテンツの再生を維持することを更に含む、請求項1に記載の方法。
  26. 前記第1の仮想オブジェクトが第1のタイプのオブジェクトであり、前記方法は、
    前記表示生成構成要素を介して、前記三次元環境に対する第5の視覚的顕著性レベルで前記三次元環境内の第3の仮想オブジェクトであって、前記第3の仮想オブジェクトは、前記第1のタイプのオブジェクトとは異なる第2のタイプのオブジェクトであり、前記ユーザの前記注意は前記第3の仮想オブジェクトに向けられている、第3の仮想オブジェクトを表示する間に、前記コンピュータシステムの前記ユーザの前記注意が前記第3の仮想オブジェクトから離れることを検出することと、
    前記コンピュータシステムの前記ユーザの前記注意が前記第3の仮想オブジェクトから離れることを検出したことに応じて、前記ユーザの前記注意が前記三次元環境内の第4の仮想オブジェクトに向けられているという判定に従って、前記三次元環境に対して前記第5の視覚的顕著性レベルで前記第3の仮想オブジェクトの表示を維持することと、を更に含む、請求項1に記載の方法。
  27. 前記第2のタイプのオブジェクトは、前記コンピュータシステムに関連付けられた個別のユーザの表現である、請求項26に記載の方法。
  28. 前記第2のタイプのオブジェクトは、メディア再生アプリケーションのユーザインタフェースである、請求項26に記載の方法。
  29. 前記オブジェクトの前記第2のタイプは、前記コンピュータシステムのステータスユーザインタフェースである、請求項26に記載の方法。
  30. 前記第2のタイプのオブジェクトは、通信アプリケーションのユーザインタフェースである、請求項27に記載の方法。
  31. 表示生成構成要素及び1つ以上の入力デバイスと通信しているコンピュータシステムの1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記1つ以上のプログラムは、請求項1から30に記載の方法のいずれか1つを実行する命令を含む、非一時的コンピュータ可読記憶媒体。
  32. 表示生成構成要素及び1つ以上の入力デバイスと通信しているコンピュータシステムであって、前記コンピュータシステムは、
    1つ以上のプロセッサと、
    前記1つ以上のプロセッサによって実行されるように構成された1つ以上のプログラムを記憶するメモリと、を備え、前記1つ以上のプログラムは、請求項1から30に記載の方法のいずれか1つを実行する命令を含む、コンピュータシステム。
JP2024543255A 2022-01-19 2023-01-19 環境内にオブジェクトを表示及び再位置決めするための方法 Active JP7843357B2 (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US202263301020P 2022-01-19 2022-01-19
US63/301,020 2022-01-19
US202263377002P 2022-09-23 2022-09-23
US63/377,002 2022-09-23
US202363480494P 2023-01-18 2023-01-18
US63/480,494 2023-01-18
PCT/US2023/060943 WO2023141535A1 (en) 2022-01-19 2023-01-19 Methods for displaying and repositioning objects in an environment

Publications (2)

Publication Number Publication Date
JP2025508658A JP2025508658A (ja) 2025-04-10
JP7843357B2 true JP7843357B2 (ja) 2026-04-09

Family

ID=85278057

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024543255A Active JP7843357B2 (ja) 2022-01-19 2023-01-19 環境内にオブジェクトを表示及び再位置決めするための方法

Country Status (7)

Country Link
US (2) US12475635B2 (ja)
EP (1) EP4466593A1 (ja)
JP (1) JP7843357B2 (ja)
KR (1) KR20240134030A (ja)
CN (1) CN119473001A (ja)
AU (1) AU2023209446A1 (ja)
WO (1) WO2023141535A1 (ja)

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USD1066508S1 (en) * 2013-03-11 2025-03-11 King Show Games, Inc. Gaming apparatus having display screen with graphical user interface
JP7077405B2 (ja) * 2018-07-04 2022-05-30 マクセル株式会社 ヘッドマウントディスプレイおよび設定方法
US11520456B2 (en) 2020-09-25 2022-12-06 Apple Inc. Methods for adjusting and/or controlling immersion associated with user interfaces
WO2022067342A2 (en) 2020-09-25 2022-03-31 Apple Inc. Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
EP4718404A2 (en) 2020-09-25 2026-04-01 Apple Inc. Methods for manipulating objects in an environment
CN116670627A (zh) 2020-12-31 2023-08-29 苹果公司 对环境中的用户界面进行分组的方法
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
KR20230169331A (ko) 2021-04-13 2023-12-15 애플 인크. 환경에 몰입형 경험을 제공하기 위한 방법
KR20260006060A (ko) 2021-09-25 2026-01-12 애플 인크. 가상 환경들에서 가상 객체들을 제시하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
US12456271B1 (en) 2021-11-19 2025-10-28 Apple Inc. System and method of three-dimensional object cleanup and text annotation
EP4463754A1 (en) 2022-01-12 2024-11-20 Apple Inc. Methods for displaying, selecting and moving objects and containers in an environment
JP7843357B2 (ja) 2022-01-19 2026-04-09 アップル インコーポレイテッド 環境内にオブジェクトを表示及び再位置決めするための方法
US12541280B2 (en) 2022-02-28 2026-02-03 Apple Inc. System and method of three-dimensional placement and refinement in multi-user communication sessions
US12272005B2 (en) 2022-02-28 2025-04-08 Apple Inc. System and method of three-dimensional immersive applications in multi-user communication sessions
TWI851973B (zh) * 2022-03-11 2024-08-11 緯創資通股份有限公司 虛擬視窗配置裝置、虛擬視窗配置方法及虛擬視窗配置系統
US12321666B2 (en) 2022-04-04 2025-06-03 Apple Inc. Methods for quick message response and dictation in a three-dimensional environment
CN119404170A (zh) 2022-04-20 2025-02-07 苹果公司 三维环境中的被遮蔽对象
CN119987551A (zh) 2022-04-21 2025-05-13 苹果公司 消息在三维环境中的表示
US12394167B1 (en) 2022-06-30 2025-08-19 Apple Inc. Window resizing and virtual object rearrangement in 3D environments
JP2025534239A (ja) * 2022-09-14 2025-10-15 アップル インコーポレイテッド 三次元環境内の深度競合軽減のための方法
US12148078B2 (en) 2022-09-16 2024-11-19 Apple Inc. System and method of spatial groups in multi-user communication sessions
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
US12099653B2 (en) 2022-09-22 2024-09-24 Apple Inc. User interface response based on gaze-holding event assessment
US12405704B1 (en) 2022-09-23 2025-09-02 Apple Inc. Interpreting user movement as direct touch user interface interactions
CN119923616A (zh) * 2022-09-23 2025-05-02 苹果公司 用于操纵虚拟对象的方法
US20240233288A1 (en) 2022-09-24 2024-07-11 Apple Inc. Methods for controlling and interacting with a three-dimensional environment
WO2024064950A1 (en) 2022-09-24 2024-03-28 Apple Inc. Methods for time of day adjustments for environments and environment presentation during communication sessions
US20240103704A1 (en) 2022-09-24 2024-03-28 Apple Inc. Methods for interacting with user interfaces based on attention
CN120813918A (zh) 2023-01-30 2025-10-17 苹果公司 用于响应于注视和/或手势输入来显示多组控件的设备、方法和图形用户界面
US12108012B2 (en) 2023-02-27 2024-10-01 Apple Inc. System and method of managing spatial states and display modes in multi-user communication sessions
JP2024163628A (ja) * 2023-05-12 2024-11-22 キヤノン株式会社 情報処理システム
US12118200B1 (en) 2023-06-02 2024-10-15 Apple Inc. Fuzzy hit testing
US12443286B2 (en) 2023-06-02 2025-10-14 Apple Inc. Input recognition based on distinguishing direct and indirect user interactions
WO2024254096A1 (en) 2023-06-04 2024-12-12 Apple Inc. Methods for managing overlapping windows and applying visual effects
US12099695B1 (en) 2023-06-04 2024-09-24 Apple Inc. Systems and methods of managing spatial groups in multi-user communication sessions
US20250054227A1 (en) * 2023-08-09 2025-02-13 Meta Platforms, Inc. Multi-layer and fine-grained input routing for extended reality environments
US20250069328A1 (en) * 2023-08-25 2025-02-27 Apple Inc. Methods for managing spatially conflicting virtual objects and applying visual effects
KR102886278B1 (ko) * 2023-12-22 2025-11-17 주식회사 아름담다 3d 책 생성 및 제어시스템
US12488734B2 (en) * 2024-01-05 2025-12-02 International Business Machines Corporation Contextual conservation of energy in running applications
US20250377719A1 (en) 2024-06-09 2025-12-11 Apple Inc. Methods of interacting with content in a virtual environment
US20260039784A1 (en) * 2024-07-31 2026-02-05 Microchip Technology Incorporated Line of sight display for augmented reality

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130326364A1 (en) 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US20140361971A1 (en) 2013-06-06 2014-12-11 Pablo Luis Sala Visual enhancements based on eye tracking
JP2017126009A (ja) 2016-01-15 2017-07-20 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
JP2018088118A (ja) 2016-11-29 2018-06-07 パイオニア株式会社 表示制御装置、制御方法、プログラム及び記憶媒体
US20190346678A1 (en) 2015-12-30 2019-11-14 Elbit Systems Ltd. Managing displayed information according to user gaze directions
JP2020086913A (ja) 2018-11-26 2020-06-04 株式会社デンソー ジェスチャ検出装置、およびジェスチャ検出方法
WO2020121483A1 (ja) 2018-12-13 2020-06-18 マクセル株式会社 表示端末、表示制御システムおよび表示制御方法

Family Cites Families (967)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1173824A (en) 1914-09-15 1916-02-29 Frank A Mckee Drag-saw machine.
US5422812A (en) 1985-05-30 1995-06-06 Robert Bosch Gmbh Enroute vehicle guidance system with heads up display
US5610828A (en) 1986-04-14 1997-03-11 National Instruments Corporation Graphical system for modelling a process and associated method
US5015188A (en) 1988-05-03 1991-05-14 The United States Of America As Represented By The Secretary Of The Air Force Three dimensional tactical element situation (3DTES) display
CA2092632C (en) 1992-05-26 2001-10-16 Richard E. Berry Display system with imbedded icons in a menu bar
JPH064596A (ja) 1992-06-24 1994-01-14 Brother Ind Ltd 電子読書装置
US5524195A (en) 1993-05-24 1996-06-04 Sun Microsystems, Inc. Graphical user interface for interactive television with an animated agent
US5619709A (en) 1993-09-20 1997-04-08 Hnc, Inc. System and method of context vector generation and retrieval
DE69426919T2 (de) 1993-12-30 2001-06-28 Xerox Corp Gerät und Verfahren zur Ausführung von vielen verkettenden Befehlsgesten in einen System mit Gestenbenutzerschnittstelle
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
US5515488A (en) 1994-08-30 1996-05-07 Xerox Corporation Method and apparatus for concurrent graphical visualization of a database search and its search history
US5740440A (en) 1995-01-06 1998-04-14 Objective Software Technology Dynamic object visualization and browsing system
US5758122A (en) 1995-03-16 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy Immersive visual programming system
GB2301216A (en) 1995-05-25 1996-11-27 Philips Electronics Uk Ltd Display headset
US5737553A (en) 1995-07-14 1998-04-07 Novell, Inc. Colormap system for mapping pixel position and color index to executable functions
JP3400193B2 (ja) 1995-07-31 2003-04-28 富士通株式会社 ウィンドウ関係の識別アイコン付木構造一覧表示方法及び装置
US5751287A (en) 1995-11-06 1998-05-12 Documagix, Inc. System for organizing document icons with suggestions, folders, drawers, and cabinets
US5731805A (en) 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US6078310A (en) 1996-06-26 2000-06-20 Sun Microsystems, Inc. Eyetracked alert messages
JP3558104B2 (ja) 1996-08-05 2004-08-25 ソニー株式会社 3次元仮想物体表示装置および方法
US6112015A (en) 1996-12-06 2000-08-29 Northern Telecom Limited Network management graphical user interface
US6177931B1 (en) 1996-12-19 2001-01-23 Index Systems, Inc. Systems and methods for displaying and recording control interface with television programs, video, advertising information and program scheduling information
US6426745B1 (en) 1997-04-28 2002-07-30 Computer Associates Think, Inc. Manipulating graphic objects in 3D scenes
US5995102A (en) 1997-06-25 1999-11-30 Comet Systems, Inc. Server system and method for modifying a cursor image
JP2001512261A (ja) 1997-08-01 2001-08-21 ミューズ・テクノロジーズ・インコーポレイテッド 多次元合成環境用の共有複数ユーザー・インターフェース
US5877766A (en) 1997-08-15 1999-03-02 International Business Machines Corporation Multi-node user interface component and method thereof for use in accessing a plurality of linked records
US6108004A (en) 1997-10-21 2000-08-22 International Business Machines Corporation GUI guide for data mining
US5990886A (en) 1997-12-01 1999-11-23 Microsoft Corporation Graphically creating e-mail distribution lists with geographic area selector on map
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US20060033724A1 (en) 2004-07-30 2006-02-16 Apple Computer, Inc. Virtual input device placement on a touch screen user interface
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
KR100595922B1 (ko) 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
JPH11289555A (ja) 1998-04-02 1999-10-19 Toshiba Corp 立体映像表示装置
US6421048B1 (en) 1998-07-17 2002-07-16 Sensable Technologies, Inc. Systems and methods for interacting with virtual objects in a haptic virtual reality environment
US6295069B1 (en) 1998-08-18 2001-09-25 Alventive, Inc. Three dimensional computer graphics tool facilitating movement of displayed object
US6154559A (en) 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
US7134130B1 (en) 1998-12-15 2006-11-07 Gateway Inc. Apparatus and method for user-based control of television content
US6456296B1 (en) 1999-05-28 2002-09-24 Sony Corporation Color scheme for zooming graphical user interface
US6757068B2 (en) 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
US20010047250A1 (en) 2000-02-10 2001-11-29 Schuller Joan A. Interactive decorating system
US7445550B2 (en) 2000-02-22 2008-11-04 Creative Kingdoms, Llc Magical wand and interactive play experience
US6584465B1 (en) 2000-02-25 2003-06-24 Eastman Kodak Company Method and system for search and retrieval of similar patterns
US7502034B2 (en) 2003-11-20 2009-03-10 Phillips Solid-State Lighting Solutions, Inc. Light system manager
US6750873B1 (en) 2000-06-27 2004-06-15 International Business Machines Corporation High quality texture reconstruction from multiple scans
EP1189171A2 (de) 2000-09-08 2002-03-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Erzeugen eines Bildes in einem virtuellen Studio
US7688306B2 (en) 2000-10-02 2010-03-30 Apple Inc. Methods and apparatuses for operating a portable device based on an accelerometer
US7218226B2 (en) 2004-03-01 2007-05-15 Apple Inc. Acceleration-based theft detection system for portable electronic devices
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US7035903B1 (en) 2000-11-22 2006-04-25 Xerox Corporation Systems and methods for the discovery and presentation of electronic messages that are related to an electronic message
US20020065778A1 (en) 2000-11-30 2002-05-30 Stephane Bouet Mehtod of and a system for distributing electronic content
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US6570557B1 (en) 2001-02-10 2003-05-27 Finger Works, Inc. Multi-touch system and method for emulating modifier keys via fingertip chords
US20030038754A1 (en) 2001-08-22 2003-02-27 Mikael Goldstein Method and apparatus for gaze responsive text presentation in RSVP display
AU2003209565A1 (en) 2002-02-12 2003-09-04 Yonas Jongkind Color conversion and standardization system and methods of making and using same
US7137074B1 (en) 2002-05-31 2006-11-14 Unisys Corporation System and method for displaying alarm status
US20030222924A1 (en) 2002-06-04 2003-12-04 Baron John M. Method and system for browsing a virtual environment
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US7584049B2 (en) 2002-07-17 2009-09-01 Xanavi Informatics Corporation Navigation method, processing method for navigation system, map data management device, map data management program, and computer program
GB2392285B (en) 2002-08-06 2006-04-12 Hewlett Packard Development Co Method and arrangement for guiding a user along a target path
JP2004080382A (ja) 2002-08-19 2004-03-11 Sony Corp 電子機器制御装置および電子機器制御方法
US7334020B2 (en) 2002-09-20 2008-02-19 Goodcontacts Research Ltd. Automatic highlighting of new electronic message address
US8416217B1 (en) 2002-11-04 2013-04-09 Neonode Inc. Light-based finger gesture user interface
US8479112B2 (en) 2003-05-13 2013-07-02 Microsoft Corporation Multiple input language selection
US7373602B2 (en) 2003-05-28 2008-05-13 Microsoft Corporation Method for reading electronic mail in plain text
KR100538948B1 (ko) 2003-08-11 2005-12-27 삼성전자주식회사 적응적 이미지의 표시가 가능한 휴대용 단말기의디스플레이 장치
US20050097595A1 (en) 2003-11-05 2005-05-05 Matti Lipsanen Method and system for controlling access to content
US7330585B2 (en) 2003-11-06 2008-02-12 Behr Process Corporation Color selection and coordination kiosk and system
US7230629B2 (en) 2003-11-06 2007-06-12 Behr Process Corporation Data-driven color coordinator
US7809160B2 (en) 2003-11-14 2010-10-05 Queen's University At Kingston Method and apparatus for calibration-free eye tracking using multiple glints or surface reflections
US20050138572A1 (en) 2003-12-19 2005-06-23 Palo Alto Research Center, Incorported Methods and systems for enhancing recognizability of objects in a workspace
US8151214B2 (en) 2003-12-29 2012-04-03 International Business Machines Corporation System and method for color coding list items
US8171426B2 (en) 2003-12-29 2012-05-01 International Business Machines Corporation Method for secondary selection highlighting
US7409641B2 (en) 2003-12-29 2008-08-05 International Business Machines Corporation Method for replying to related messages
JP2005215144A (ja) 2004-01-28 2005-08-11 Seiko Epson Corp プロジェクタ
US7721226B2 (en) 2004-02-18 2010-05-18 Microsoft Corporation Glom widget
US20060080702A1 (en) 2004-05-20 2006-04-13 Turner Broadcasting System, Inc. Systems and methods for delivering content over a network
JP4495518B2 (ja) 2004-05-21 2010-07-07 日本放送協会 番組選択支援装置及び番組選択支援プログラム
JP2006004093A (ja) 2004-06-16 2006-01-05 Funai Electric Co Ltd 切替装置
US8684839B2 (en) 2004-06-18 2014-04-01 Igt Control of wager-based game using gesture recognition
ES2326327T3 (es) 2004-07-23 2009-10-07 3Shape A/S Escaneado 3d adaptativo.
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US20060028400A1 (en) 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
JP3832666B2 (ja) 2004-08-16 2006-10-11 船井電機株式会社 ディスク再生装置
JP2006107048A (ja) 2004-10-04 2006-04-20 Matsushita Electric Ind Co Ltd 視線対応制御装置および視線対応制御方法
US8418075B2 (en) 2004-11-16 2013-04-09 Open Text Inc. Spatially driven content presentation in a cellular environment
JP2006146803A (ja) 2004-11-24 2006-06-08 Olympus Corp 操作装置及び遠隔操作システム
JP4297442B2 (ja) 2004-11-30 2009-07-15 富士通株式会社 手書き情報入力装置
US8341541B2 (en) 2005-01-18 2012-12-25 Microsoft Corporation System and method for visually browsing of open windows
JP2006295236A (ja) 2005-04-05 2006-10-26 Sony Corp 記録再生装置、コンテンツ管理装置、コンテンツ管理方法および撮像装置
US7298370B1 (en) 2005-04-16 2007-11-20 Apple Inc. Depth ordering of planes and displaying interconnects having an appearance indicating data characteristics
US7580576B2 (en) 2005-06-02 2009-08-25 Microsoft Corporation Stroke localization and binding to electronic document
PL1734169T3 (pl) 2005-06-16 2008-07-31 Electrolux Home Products Corp Nv Domowa maszyna pralnicza do tkanin z obiegiem wody o automatycznym pomiarze rodzaju wsadu prania i sposób jej działania
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7429108B2 (en) 2005-11-05 2008-09-30 Outland Research, Llc Gaze-responsive interface to enhance on-screen user reading tasks
US7657849B2 (en) 2005-12-23 2010-02-02 Apple Inc. Unlocking a device by performing gestures on an unlock image
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
AU2007224810B2 (en) 2006-03-10 2010-02-18 Nero Ag Apparatus and method for providing a sequence of video frames, apparatus and method for providing a scene model, scene model, apparatus and method for creating a menu structure and computer program
US8296684B2 (en) 2008-05-23 2012-10-23 Hewlett-Packard Development Company, L.P. Navigating among activities in a computing device
US8279180B2 (en) 2006-05-02 2012-10-02 Apple Inc. Multipoint touch surface controller
WO2008060933A2 (en) 2006-11-13 2008-05-22 Everyscape, Inc. Method for scripting inter-scene transitions
US20080186255A1 (en) 2006-12-07 2008-08-07 Cohen Philip R Systems and methods for data annotation, recordation, and communication
US8006002B2 (en) 2006-12-12 2011-08-23 Apple Inc. Methods and systems for automatic configuration of peripherals
US7706579B2 (en) 2006-12-21 2010-04-27 Sony Ericsson Communications Ab Image orientation for display
US7957762B2 (en) 2007-01-07 2011-06-07 Apple Inc. Using ambient light sensor to augment proximity sensor output
US20080181502A1 (en) 2007-01-31 2008-07-31 Hsin-Ming Yang Pattern recognition for during orientation of a display device
US20080211771A1 (en) 2007-03-02 2008-09-04 Naturalpoint, Inc. Approach for Merging Scaled Input of Movable Objects to Control Presentation of Aspects of a Shared Virtual Environment
JP4858313B2 (ja) 2007-06-01 2012-01-18 富士ゼロックス株式会社 ワークスペース管理方式
US20080310707A1 (en) 2007-06-15 2008-12-18 Microsoft Corporation Virtual reality enhancement using real world data
US9933937B2 (en) 2007-06-20 2018-04-03 Apple Inc. Portable multifunction device, method, and graphical user interface for playing online videos
KR101432812B1 (ko) 2007-07-31 2014-08-26 삼성전자주식회사 이동통신 단말기의 디스플레이 화면에서 아이콘의 좌표를결정하는 좌표결정장치 및 좌표결정방법
US10318110B2 (en) 2007-08-13 2019-06-11 Oath Inc. Location-based visualization of geo-referenced context
US8299889B2 (en) 2007-12-07 2012-10-30 Cisco Technology, Inc. Home entertainment system providing presence and mobility via remote control authentication
CA2708958A1 (en) 2007-12-14 2009-07-02 France Telecom Method of managing the display or deletion of a user's representation in a virtual environment
US9772689B2 (en) 2008-03-04 2017-09-26 Qualcomm Incorporated Enhanced gesture-based image manipulation
US20090234716A1 (en) 2008-03-17 2009-09-17 Photometria, Inc. Method of monetizing online personal beauty product selections
WO2009146130A2 (en) 2008-04-05 2009-12-03 Social Communications Company Shared virtual area communication environment based apparatus and methods
US9870130B2 (en) 2008-05-13 2018-01-16 Apple Inc. Pushing a user interface to a remote device
US8467991B2 (en) 2008-06-20 2013-06-18 Microsoft Corporation Data services based on gesture and location information of device
US9164975B2 (en) 2008-06-24 2015-10-20 Monmouth University System and method for viewing and marking maps
US8826174B2 (en) 2008-06-27 2014-09-02 Microsoft Corporation Using visual landmarks to organize diagrams
WO2010023580A1 (en) 2008-08-29 2010-03-04 Koninklijke Philips Electronics, N.V. Dynamic transfer of three-dimensional image data
WO2010026519A1 (en) 2008-09-03 2010-03-11 Koninklijke Philips Electronics N.V. Method of presenting head-pose feedback to a user of an interactive display system
US8896632B2 (en) * 2008-09-12 2014-11-25 Qualcomm Incorporated Orienting displayed elements relative to a user
US8941642B2 (en) 2008-10-17 2015-01-27 Kabushiki Kaisha Square Enix System for the creation and editing of three dimensional models
US20100115459A1 (en) 2008-10-31 2010-05-06 Nokia Corporation Method, apparatus and computer program product for providing expedited navigation
US20100185949A1 (en) 2008-12-09 2010-07-22 Denny Jaeger Method for using gesture objects for computer control
US8446376B2 (en) 2009-01-13 2013-05-21 Microsoft Corporation Visual response to touch inputs
US8269821B2 (en) 2009-01-27 2012-09-18 EchoStar Technologies, L.L.C. Systems and methods for providing closed captioning in three-dimensional imagery
US8294766B2 (en) * 2009-01-28 2012-10-23 Apple Inc. Generating a three-dimensional model using a portable electronic device recording
US20100269145A1 (en) 2009-04-17 2010-10-21 Apple Inc. Accessing radio content from a non-radio source
JP4676011B2 (ja) 2009-05-15 2011-04-27 株式会社東芝 情報処理装置、表示制御方法およびプログラム
US9400559B2 (en) 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US9383823B2 (en) 2009-05-29 2016-07-05 Microsoft Technology Licensing, Llc Combining gestures beyond skeletal
US9070206B2 (en) 2009-05-30 2015-06-30 Apple Inc. Providing a visible light source in an interactive three-dimensional compositing application
JP5620651B2 (ja) 2009-06-26 2014-11-05 キヤノン株式会社 再生装置、撮像装置、及びその制御方法
EP2448262A4 (en) 2009-06-26 2012-11-21 Panasonic Corp COMMUNICATION DEVICE
US20110016492A1 (en) 2009-07-16 2011-01-20 Gemstar Development Corporation Systems and methods for forwarding media asset events
JP5263049B2 (ja) 2009-07-21 2013-08-14 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US9563342B2 (en) 2009-07-22 2017-02-07 Behr Process Corporation Automated color selection method and apparatus with compact functionality
US8319788B2 (en) 2009-07-22 2012-11-27 Behr Process Corporation Automated color selection method and apparatus
US9639983B2 (en) 2009-07-22 2017-05-02 Behr Process Corporation Color selection, coordination and purchase system
EP2278780A1 (en) 2009-07-23 2011-01-26 Nederlandse Organisatie voor toegepast -natuurwetenschappelijk onderzoek TNO Common audio event determination
KR101351487B1 (ko) 2009-08-13 2014-01-14 엘지전자 주식회사 휴대 단말기 및 그 제어방법
WO2011044936A1 (en) 2009-10-14 2011-04-21 Nokia Corporation Autostereoscopic rendering and display apparatus
US8175617B2 (en) 2009-10-28 2012-05-08 Digimarc Corporation Sensor-based mobile search, related methods and systems
US9681112B2 (en) 2009-11-05 2017-06-13 Lg Electronics Inc. Image display apparatus and method for controlling the image display apparatus
KR101627214B1 (ko) 2009-11-12 2016-06-03 엘지전자 주식회사 영상표시장치 및 그 동작방법
US8832885B2 (en) 2010-02-05 2014-09-16 Stryker Corporation Patient/invalid handling support
US8400548B2 (en) 2010-01-05 2013-03-19 Apple Inc. Synchronized, interactive augmented reality displays for multifunction devices
US20110169927A1 (en) 2010-01-13 2011-07-14 Coco Studios Content Presentation in a Three Dimensional Environment
US9507418B2 (en) 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8436872B2 (en) 2010-02-03 2013-05-07 Oculus Info Inc. System and method for creating and displaying map projections related to real-time images
JP2011203880A (ja) 2010-03-25 2011-10-13 Nomura Research Institute Ltd 既読判定装置および既読判定方法
US8793729B2 (en) 2010-03-31 2014-07-29 Verizon Patent And Licensing, Inc. Preferential program guide
EP2553931A1 (en) 2010-04-01 2013-02-06 Thomson Licensing Subtitles in three-dimensional (3d) presentation
JP5440334B2 (ja) 2010-04-05 2014-03-12 船井電機株式会社 携帯情報表示端末
JP2011221604A (ja) 2010-04-05 2011-11-04 Konica Minolta Business Technologies Inc 手書きデータ管理システム及び手書きデータ管理プログラム並びに手書きデータ管理方法
US8982160B2 (en) 2010-04-16 2015-03-17 Qualcomm, Incorporated Apparatus and methods for dynamically correlating virtual keyboard dimensions to user finger size
JP5055402B2 (ja) 2010-05-17 2012-10-24 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示システム及びオブジェクト表示方法
EP2393056A1 (en) 2010-06-02 2011-12-07 Layar B.V. Acquiring, ranking and displaying points of interest for use in an augmented reality service provisioning system and graphical user interface for displaying such ranked points of interests
US11068149B2 (en) * 2010-06-09 2021-07-20 Microsoft Technology Licensing, Llc Indirect user interaction with desktop using touch-sensitive control surface
US20110310001A1 (en) 2010-06-16 2011-12-22 Visteon Global Technologies, Inc Display reconfiguration based on face/eye tracking
KR20120000663A (ko) 2010-06-28 2012-01-04 주식회사 팬택 3d 객체 처리 장치
US8547421B2 (en) 2010-08-13 2013-10-01 Sharp Laboratories Of America, Inc. System for adaptive displays
US8593558B2 (en) 2010-09-08 2013-11-26 Apple Inc. Camera-based orientation fix from portrait to landscape
US20120066638A1 (en) 2010-09-09 2012-03-15 Microsoft Corporation Multi-dimensional auto-scrolling
US9316827B2 (en) * 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
JP5564384B2 (ja) 2010-09-28 2014-07-30 任天堂株式会社 画像生成プログラム、撮像装置、撮像システム、及び画像生成方法
WO2012040827A2 (en) 2010-10-01 2012-04-05 Smart Technologies Ulc Interactive input system having a 3d input space
US10036891B2 (en) 2010-10-12 2018-07-31 DISH Technologies L.L.C. Variable transparency heads up displays
US20120113223A1 (en) 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
KR101731346B1 (ko) 2010-11-12 2017-04-28 엘지전자 주식회사 멀티미디어 장치의 디스플레이화면 제공 방법 및 그에 따른 멀티미디어 장치
US8793753B2 (en) 2010-11-22 2014-07-29 International Business Machines Corporation Transferring a broadcast transmission to a remote device
US9851866B2 (en) 2010-11-23 2017-12-26 Apple Inc. Presenting and browsing items in a tilted 3D space
US8589822B2 (en) 2010-12-10 2013-11-19 International Business Machines Corporation Controlling three-dimensional views of selected portions of content
US8994718B2 (en) * 2010-12-21 2015-03-31 Microsoft Technology Licensing, Llc Skeletal control of three-dimensional virtual world
KR101758163B1 (ko) 2010-12-31 2017-07-14 엘지전자 주식회사 이동 단말기 및 그의 홀로그램 제어방법
WO2012094309A2 (en) 2011-01-04 2012-07-12 Ppg Industries Ohio, Inc. Web-based architectural color selection system
US20120194547A1 (en) 2011-01-31 2012-08-02 Nokia Corporation Method and apparatus for generating a perspective display
EP3527121B1 (en) 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
JP2014077814A (ja) 2011-02-14 2014-05-01 Panasonic Corp 表示制御装置および表示制御方法
US9298334B1 (en) 2011-02-18 2016-03-29 Marvell International Ltd. Method and apparatus for providing a user interface having a guided task flow among a plurality of devices
US20120218395A1 (en) 2011-02-25 2012-08-30 Microsoft Corporation User interface presentation and interactions
KR101852428B1 (ko) 2011-03-09 2018-04-26 엘지전자 주식회사 이동 단말기 및 그의 3d객체 제어방법
JP5784818B2 (ja) 2011-03-29 2015-09-24 クアルコム,インコーポレイテッド 拡張現実システムにおける実世界表面への仮想画像のアンカリング
US20120257035A1 (en) 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
JP5741160B2 (ja) 2011-04-08 2015-07-01 ソニー株式会社 表示制御装置、表示制御方法、およびプログラム
US8643680B2 (en) 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US9779097B2 (en) 2011-04-28 2017-10-03 Sony Corporation Platform agnostic UI/UX and human interaction paradigm
US8930837B2 (en) 2011-05-23 2015-01-06 Facebook, Inc. Graphical user interface for map search
US9396580B1 (en) 2011-06-10 2016-07-19 Disney Enterprises, Inc. Programmable system for artistic volumetric lighting
US20130028443A1 (en) 2011-07-28 2013-01-31 Apple Inc. Devices with enhanced audio
KR101851630B1 (ko) 2011-08-29 2018-06-11 엘지전자 주식회사 이동 단말기 및 그의 영상 변환 방법
GB201115369D0 (en) 2011-09-06 2011-10-19 Gooisoft Ltd Graphical user interface, computing device, and method for operating the same
US9704230B2 (en) 2011-09-30 2017-07-11 Layar B.V. Feedback to user for indicating augmentability of an image
JP2013089198A (ja) 2011-10-21 2013-05-13 Fujifilm Corp 電子コミック編集装置、方法及びプログラム
US9183672B1 (en) 2011-11-11 2015-11-10 Google Inc. Embeddable three-dimensional (3D) image viewer
US9526127B1 (en) 2011-11-18 2016-12-20 Google Inc. Affecting the behavior of a user device based on a user's gaze
US8872853B2 (en) 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
JP5831193B2 (ja) 2011-12-13 2015-12-09 富士通株式会社 利用者検知装置、方法及びプログラム
US9479568B2 (en) 2011-12-28 2016-10-25 Nokia Technologies Oy Application switcher
US9910490B2 (en) 2011-12-29 2018-03-06 Eyeguide, Inc. System and method of cursor position control based on the vestibulo-ocular reflex
US10394320B2 (en) 2012-01-04 2019-08-27 Tobii Ab System for gaze interaction
US8863042B2 (en) 2012-01-24 2014-10-14 Charles J. Kulas Handheld device with touch controls that reconfigure in response to the way a user operates the device
JP5807686B2 (ja) * 2012-02-10 2015-11-10 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US20130211843A1 (en) 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
US10289660B2 (en) 2012-02-15 2019-05-14 Apple Inc. Device, method, and graphical user interface for sharing a content object in a document
KR101180119B1 (ko) 2012-02-23 2012-09-05 (주)올라웍스 카메라 모듈을 통해 사용자의 머리를 트래킹하여 화면을 제어하는 방법, 제어장치 및 컴퓨터 판독 가능한 기록 매체
US9513793B2 (en) 2012-02-24 2016-12-06 Blackberry Limited Method and apparatus for interconnected devices
JP2013178639A (ja) 2012-02-28 2013-09-09 Seiko Epson Corp 頭部装着型表示装置および画像表示システム
US20130229345A1 (en) 2012-03-01 2013-09-05 Laura E. Day Manual Manipulation of Onscreen Objects
US10503373B2 (en) 2012-03-14 2019-12-10 Sony Interactive Entertainment LLC Visual feedback for highlight-driven gesture user interfaces
JP2013196158A (ja) 2012-03-16 2013-09-30 Sony Corp 制御装置、電子機器、制御方法、及びプログラム
US8947323B1 (en) * 2012-03-20 2015-02-03 Hayes Solos Raffle Content display methods
US20130263016A1 (en) 2012-03-27 2013-10-03 Nokia Corporation Method and apparatus for location tagged user interface for media sharing
KR101717604B1 (ko) 2012-03-29 2017-03-17 인텔 코포레이션 제스처를 이용하는 삼차원 그래픽 생성
US9293118B2 (en) * 2012-03-30 2016-03-22 Sony Corporation Client device
US8937591B2 (en) 2012-04-06 2015-01-20 Apple Inc. Systems and methods for counteracting a perceptual fading of a movable indicator
US9448635B2 (en) 2012-04-16 2016-09-20 Qualcomm Incorporated Rapid gesture re-engagement
US9448636B2 (en) 2012-04-18 2016-09-20 Arb Labs Inc. Identifying gestures using gesture data compressed by PCA, principal joint variable analysis, and compressed feature matrices
GB2501471A (en) 2012-04-18 2013-10-30 Barco Nv Electronic conference arrangement
US9183676B2 (en) 2012-04-27 2015-11-10 Microsoft Technology Licensing, Llc Displaying a collision between real and virtual objects
AU2013205535B2 (en) 2012-05-02 2018-03-15 Samsung Electronics Co., Ltd. Apparatus and method of controlling mobile terminal based on analysis of user's face
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US10082863B2 (en) 2012-05-11 2018-09-25 Umoove Services Ltd. Gaze-based automatic scrolling
US9746916B2 (en) 2012-05-11 2017-08-29 Qualcomm Incorporated Audio user interaction recognition and application interface
TWI555400B (zh) 2012-05-17 2016-10-21 晨星半導體股份有限公司 應用於顯示裝置的字幕控制方法與元件
CN111178332A (zh) 2012-05-18 2020-05-19 苹果公司 用于操纵用户界面的设备、方法和图形用户界面
US9229621B2 (en) 2012-05-22 2016-01-05 Paletteapp, Inc. Electronic palette system
US9934614B2 (en) 2012-05-31 2018-04-03 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
US9116666B2 (en) 2012-06-01 2015-08-25 Microsoft Technology Licensing, Llc Gesture based region identification for holograms
US9222787B2 (en) 2012-06-05 2015-12-29 Apple Inc. System and method for acquiring map portions based on expected signal strength of route segments
US9135751B2 (en) 2012-06-05 2015-09-15 Apple Inc. Displaying location preview
US9146125B2 (en) 2012-06-05 2015-09-29 Apple Inc. Navigation application with adaptive display of graphical directional indicators
US20130332890A1 (en) 2012-06-06 2013-12-12 Google Inc. System and method for providing content for a point of interest
JP6007600B2 (ja) 2012-06-07 2016-10-12 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP5580855B2 (ja) 2012-06-12 2014-08-27 株式会社ソニー・コンピュータエンタテインメント 障害物回避装置および障害物回避方法
US20130328925A1 (en) 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US9214137B2 (en) 2012-06-18 2015-12-15 Xerox Corporation Methods and systems for realistic rendering of digital objects in augmented reality
US9767720B2 (en) * 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
US20130342672A1 (en) 2012-06-25 2013-12-26 Amazon Technologies, Inc. Using gaze determination with device input
US9645394B2 (en) 2012-06-25 2017-05-09 Microsoft Technology Licensing, Llc Configured virtual environments
US10129524B2 (en) 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US20140002338A1 (en) 2012-06-28 2014-01-02 Intel Corporation Techniques for pose estimation and false positive filtering for gesture recognition
US9256961B2 (en) 2012-06-28 2016-02-09 Here Global B.V. Alternate viewpoint image enhancement
US9292085B2 (en) 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
JP6271858B2 (ja) 2012-07-04 2018-01-31 キヤノン株式会社 表示装置及びその制御方法
JP5963584B2 (ja) 2012-07-12 2016-08-03 キヤノン株式会社 電子機器及びその制御方法
EP3007039B1 (en) 2012-07-13 2018-12-05 Sony Depthsensing Solutions SA/NV Method and system for human-to-computer gesture based simultaneous interactions using singular points of interest on a hand
US20140040832A1 (en) 2012-08-02 2014-02-06 Stephen Regelous Systems and methods for a modeless 3-d graphics manipulator
US20140049462A1 (en) 2012-08-20 2014-02-20 Google Inc. User interface element focus based on user's gaze
US9699485B2 (en) 2012-08-31 2017-07-04 Facebook, Inc. Sharing television and video programming through social networking
US9886795B2 (en) 2012-09-05 2018-02-06 Here Global B.V. Method and apparatus for transitioning from a partial map view to an augmented reality view
US9466121B2 (en) 2012-09-11 2016-10-11 Qualcomm Incorporated Devices and methods for augmented reality applications
US9378592B2 (en) 2012-09-14 2016-06-28 Lg Electronics Inc. Apparatus and method of providing user interface on head mounted display and head mounted display thereof
JP6099342B2 (ja) 2012-09-19 2017-03-22 大学共同利用機関法人情報・システム研究機構 視線インタフェースを用いた対話的情報探索装置
US8866880B2 (en) 2012-09-26 2014-10-21 Hewlett-Packard Development Company, L.P. Display-camera system with selective crosstalk reduction
US9201500B2 (en) 2012-09-28 2015-12-01 Intel Corporation Multi-modal touch screen emulator
JP6007712B2 (ja) 2012-09-28 2016-10-12 ブラザー工業株式会社 ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
WO2014057618A1 (ja) 2012-10-09 2014-04-17 パナソニック株式会社 3次元表示装置、3次元画像処理装置および3次元表示方法
US9007301B1 (en) 2012-10-11 2015-04-14 Google Inc. User interface
US9311741B2 (en) 2012-10-23 2016-04-12 Roam Holdings, LLC Three-dimensional virtual environment
JP2014092940A (ja) 2012-11-02 2014-05-19 Sony Corp 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US9684372B2 (en) 2012-11-07 2017-06-20 Samsung Electronics Co., Ltd. System and method for human computer interaction
US9239627B2 (en) 2012-11-07 2016-01-19 Panasonic Intellectual Property Corporation Of America SmartLight interaction system
US9423939B2 (en) 2012-11-12 2016-08-23 Microsoft Technology Licensing, Llc Dynamic adjustment of user interface
KR20140073730A (ko) 2012-12-06 2014-06-17 엘지전자 주식회사 이동 단말기 및 이동 단말기 제어방법
US9274608B2 (en) 2012-12-13 2016-03-01 Eyesight Mobile Technologies Ltd. Systems and methods for triggering actions based on touch-free gesture detection
US11137832B2 (en) 2012-12-13 2021-10-05 Eyesight Mobile Technologies, LTD. Systems and methods to predict a user action within a vehicle
WO2014093933A1 (en) 2012-12-14 2014-06-19 Biscotti Inc. Distributed infrastructure
US9746926B2 (en) 2012-12-26 2017-08-29 Intel Corporation Techniques for gesture-based initiation of inter-device wireless connections
WO2014105276A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for transitioning between touch input to display output relationships
US9395543B2 (en) 2013-01-12 2016-07-19 Microsoft Technology Licensing, Llc Wearable behavior-based vision system
KR101494805B1 (ko) 2013-01-28 2015-02-24 주식회사 위피엔피 3차원 컨텐츠 제작 시스템 및 그 방법
US9189611B2 (en) 2013-02-07 2015-11-17 Sony Corporation Adapting content and monitoring user behavior based on facial recognition
JP2014157466A (ja) 2013-02-15 2014-08-28 Sony Corp 情報処理装置及び記憶媒体
US9791921B2 (en) 2013-02-19 2017-10-17 Microsoft Technology Licensing, Llc Context-aware augmented reality object commands
US20140247208A1 (en) 2013-03-01 2014-09-04 Tobii Technology Ab Invoking and waking a computing device from stand-by mode based on gaze detection
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
EP2962175B1 (en) 2013-03-01 2019-05-01 Tobii AB Delay warp gaze interaction
US10895908B2 (en) 2013-03-04 2021-01-19 Tobii Ab Targeting saccade landing prediction using visual history
US20140258942A1 (en) * 2013-03-05 2014-09-11 Intel Corporation Interaction of multiple perceptual sensing inputs
US9436357B2 (en) 2013-03-08 2016-09-06 Nook Digital, Llc System and method for creating and viewing comic book electronic publications
US9612657B2 (en) 2013-03-14 2017-04-04 Brainlab Ag 3D-volume viewing by controlling sight depth
US9041741B2 (en) 2013-03-14 2015-05-26 Qualcomm Incorporated User interface for a head mounted display
US9294757B1 (en) 2013-03-15 2016-03-22 Google Inc. 3-dimensional videos of objects
US20140282272A1 (en) 2013-03-15 2014-09-18 Qualcomm Incorporated Interactive Inputs for a Background Task
GB2500823B (en) 2013-03-28 2014-02-26 Paycasso Verify Ltd Method, system and computer program for comparing images
US9298266B2 (en) 2013-04-02 2016-03-29 Aquifi, Inc. Systems and methods for implementing three-dimensional (3D) gesture based graphical user interfaces (GUI) that incorporate gesture reactive interface objects
US9234742B2 (en) 2013-05-01 2016-01-12 Faro Technologies, Inc. Method and apparatus for using gestures to control a laser tracker
US20140331187A1 (en) 2013-05-03 2014-11-06 Barnesandnoble.Com Llc Grouping objects on a computing device
US9245388B2 (en) 2013-05-13 2016-01-26 Microsoft Technology Licensing, Llc Interactions of virtual objects with surfaces
US9489774B2 (en) 2013-05-16 2016-11-08 Empire Technology Development Llc Three dimensional user interface in augmented reality
US9230368B2 (en) 2013-05-23 2016-01-05 Microsoft Technology Licensing, Llc Hologram anchoring and dynamic positioning
KR20140138424A (ko) 2013-05-23 2014-12-04 삼성전자주식회사 제스쳐를 이용한 사용자 인터페이스 방법 및 장치
KR102098058B1 (ko) 2013-06-07 2020-04-07 삼성전자 주식회사 뷰 모드에서 정보 제공 방법 및 장치
US9495620B2 (en) 2013-06-09 2016-11-15 Apple Inc. Multi-script handwriting recognition using a universal recognizer
US9990109B2 (en) 2013-06-17 2018-06-05 Maxell, Ltd. Information display terminal
US9338440B2 (en) 2013-06-17 2016-05-10 Microsoft Technology Licensing, Llc User interface for three-dimensional modeling
US20140368537A1 (en) 2013-06-18 2014-12-18 Tom G. Salter Shared and private holographic objects
US10175483B2 (en) 2013-06-18 2019-01-08 Microsoft Technology Licensing, Llc Hybrid world/body locked HUD on an HMD
US9329682B2 (en) 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US9129430B2 (en) 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US9146618B2 (en) 2013-06-28 2015-09-29 Google Inc. Unlocking a head mounted device
US9563331B2 (en) 2013-06-28 2017-02-07 Microsoft Technology Licensing, Llc Web-like hierarchical menu display configuration for a near-eye display
KR101844232B1 (ko) 2013-07-02 2018-04-02 엘지전자 주식회사 다시점 영상이 제공되는 시스템에서 부가 오브젝트를 포함하는 3차원 영상 처리 방법 및 장치
US20150009118A1 (en) 2013-07-03 2015-01-08 Nvidia Corporation Intelligent page turner and scroller
US10295338B2 (en) 2013-07-12 2019-05-21 Magic Leap, Inc. Method and system for generating map data from an image
US10380799B2 (en) 2013-07-31 2019-08-13 Splunk Inc. Dockable billboards for labeling objects in a display having a three-dimensional perspective of a virtual or real environment
GB2517143A (en) 2013-08-07 2015-02-18 Nokia Corp Apparatus, method, computer program and system for a near eye display
EP4411586A3 (en) 2013-08-26 2024-11-20 Samsung Electronics Co., Ltd. User device and method for creating handwriting content
KR20150026336A (ko) * 2013-09-02 2015-03-11 엘지전자 주식회사 웨어러블 디바이스 및 그 컨텐트 출력 방법
US10229523B2 (en) 2013-09-09 2019-03-12 Empire Technology Development Llc Augmented reality alteration detector
JP6127853B2 (ja) 2013-09-13 2017-05-17 富士通株式会社 情報処理装置、方法及びプログラム
US9158115B1 (en) 2013-09-16 2015-10-13 Amazon Technologies, Inc. Touch control for immersion in a tablet goggles accessory
US10592064B2 (en) 2013-09-17 2020-03-17 Amazon Technologies, Inc. Approaches for three-dimensional object display used in content navigation
KR102081935B1 (ko) 2013-09-30 2020-02-26 엘지전자 주식회사 멀티 시선 인식 장치 및 방법
WO2015065478A1 (en) 2013-11-01 2015-05-07 Intel Corporation Gaze-assisted touchscreen inputs
US20150123890A1 (en) 2013-11-04 2015-05-07 Microsoft Corporation Two hand natural user input
US20150123901A1 (en) 2013-11-04 2015-05-07 Microsoft Corporation Gesture disambiguation using orientation information
US9256785B2 (en) 2013-11-12 2016-02-09 Fuji Xerox Co., Ltd. Identifying user activities using eye tracking data, mouse events, and keystrokes
US9398059B2 (en) 2013-11-22 2016-07-19 Dell Products, L.P. Managing information and content sharing in a virtual collaboration session
US20150145887A1 (en) 2013-11-25 2015-05-28 Qualcomm Incorporated Persistent head-mounted content display
US20170132822A1 (en) 2013-11-27 2017-05-11 Larson-Juhl, Inc. Artificial intelligence in virtualized framing using image metadata
US9886087B1 (en) 2013-11-30 2018-02-06 Allscripts Software, Llc Dynamically optimizing user interfaces
US9519999B1 (en) 2013-12-10 2016-12-13 Google Inc. Methods and systems for providing a preloader animation for image viewers
KR20150069355A (ko) 2013-12-13 2015-06-23 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
JP6079614B2 (ja) 2013-12-19 2017-02-15 ソニー株式会社 画像表示装置及び画像表示方法
US9811245B2 (en) 2013-12-24 2017-11-07 Dropbox, Inc. Systems and methods for displaying an image capturing mode and a content viewing mode
US9600904B2 (en) 2013-12-30 2017-03-21 Samsung Electronics Co., Ltd. Illuminating a virtual environment with camera light data
US20150193982A1 (en) 2014-01-03 2015-07-09 Google Inc. Augmented reality overlays using position and orientation to facilitate interactions between electronic devices
US9437047B2 (en) 2014-01-15 2016-09-06 Htc Corporation Method, electronic apparatus, and computer-readable medium for retrieving map
US10001645B2 (en) * 2014-01-17 2018-06-19 Sony Interactive Entertainment America Llc Using a second screen as a private tracking heads-up display
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9442631B1 (en) 2014-01-27 2016-09-13 Google Inc. Methods and systems for hands-free browsing in a wearable computing device
US9552060B2 (en) 2014-01-28 2017-01-24 Microsoft Technology Licensing, Llc Radial selection by vestibulo-ocular reflex fixation
US9619105B1 (en) 2014-01-30 2017-04-11 Aquifi, Inc. Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US9448687B1 (en) 2014-02-05 2016-09-20 Google Inc. Zoomable/translatable browser interface for a head mounted device
US10303324B2 (en) 2014-02-10 2019-05-28 Samsung Electronics Co., Ltd. Electronic device configured to display three dimensional (3D) virtual space and method of controlling the electronic device
US10521089B2 (en) 2014-02-27 2019-12-31 Hunter Douglas Inc. Apparatus and method for providing a virtual decorating interface
US10203762B2 (en) * 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US10430985B2 (en) 2014-03-14 2019-10-01 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
US20150262428A1 (en) 2014-03-17 2015-09-17 Qualcomm Incorporated Hierarchical clustering for view management augmented reality
WO2015152487A1 (ko) 2014-04-03 2015-10-08 주식회사 퓨처플레이 사용자 인터페이스를 제공하기 위한 방법, 디바이스, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
US9544257B2 (en) 2014-04-04 2017-01-10 Blackberry Limited System and method for conducting private messaging
US9361732B2 (en) 2014-05-01 2016-06-07 Microsoft Technology Licensing, Llc Transitions between body-locked and world-locked augmented reality
US9430038B2 (en) 2014-05-01 2016-08-30 Microsoft Technology Licensing, Llc World-locked display quality feedback
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
KR102209511B1 (ko) 2014-05-12 2021-01-29 엘지전자 주식회사 안경형 단말기와 그 안경형 단말기의 제어 방법
KR102004990B1 (ko) 2014-05-13 2019-07-29 삼성전자주식회사 영상 처리 장치 및 방법
US10579207B2 (en) * 2014-05-14 2020-03-03 Purdue Research Foundation Manipulating virtual environment using non-instrumented physical object
US20150331240A1 (en) 2014-05-15 2015-11-19 Adam G. Poulos Assisted Viewing Of Web-Based Resources
EP2947545A1 (en) 2014-05-20 2015-11-25 Alcatel Lucent System for implementing gaze translucency in a virtual scene
US20150350141A1 (en) 2014-05-31 2015-12-03 Apple Inc. Message user interfaces for capture and transmittal of media and location content
US9672588B1 (en) * 2014-06-13 2017-06-06 Amazon Technologies, Inc. Approaches for customizing map views
US9766702B2 (en) 2014-06-19 2017-09-19 Apple Inc. User detection by a computing device
US9619519B1 (en) 2014-06-23 2017-04-11 Amazon Technologies, Inc. Determining user interest from non-explicit cues
US9473764B2 (en) 2014-06-27 2016-10-18 Microsoft Technology Licensing, Llc Stereoscopic image display
WO2016003018A1 (ko) 2014-07-02 2016-01-07 엘지전자(주) 이동단말기 및 그 제어방법
WO2016001909A1 (en) * 2014-07-03 2016-01-07 Imagine Mobile Augmented Reality Ltd Audiovisual surround augmented reality (asar)
WO2016010857A1 (en) 2014-07-18 2016-01-21 Apple Inc. Raise gesture detection in a device
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US20160025971A1 (en) 2014-07-25 2016-01-28 William M. Crow Eyelid movement as user input
US9990774B2 (en) 2014-08-08 2018-06-05 Sony Interactive Entertainment Inc. Sensory stimulus management in head mounted display
US9838999B2 (en) 2014-08-14 2017-12-05 Blackberry Limited Portable electronic device and method of controlling notifications
US9829708B1 (en) 2014-08-19 2017-11-28 Boston Incubator Center, LLC Method and apparatus of wearable eye pointing system
US20160062636A1 (en) 2014-09-02 2016-03-03 Lg Electronics Inc. Mobile terminal and control method thereof
US10067561B2 (en) 2014-09-22 2018-09-04 Facebook, Inc. Display visibility based on eye convergence
US9588651B1 (en) 2014-09-24 2017-03-07 Amazon Technologies, Inc. Multiple virtual environments
US9818225B2 (en) 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
KR102337682B1 (ko) 2014-10-01 2021-12-09 삼성전자주식회사 디스플레이 장치 및 그의 제어 방법
US20160098094A1 (en) 2014-10-02 2016-04-07 Geegui Corporation User interface enabled by 3d reversals
US9426193B2 (en) 2014-10-14 2016-08-23 GravityNav, Inc. Multi-dimensional data visualization, navigation, and menu systems
US9612722B2 (en) 2014-10-31 2017-04-04 Microsoft Technology Licensing, Llc Facilitating interaction between users and their environments using sounds
US10061486B2 (en) 2014-11-05 2018-08-28 Northrop Grumman Systems Corporation Area monitoring system implementing a virtual environment
KR102265086B1 (ko) 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
JP2016096513A (ja) 2014-11-17 2016-05-26 株式会社ゼンリンデータコム 情報処理システム、情報処理方法及びプログラム
US9798743B2 (en) 2014-12-11 2017-10-24 Art.Com Mapping décor accessories to a color palette
US10353532B1 (en) * 2014-12-18 2019-07-16 Leap Motion, Inc. User interface for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
US9778814B2 (en) 2014-12-19 2017-10-03 Microsoft Technology Licensing, Llc Assisted object placement in a three-dimensional visualization system
CN113467670B (zh) 2014-12-26 2025-03-14 索尼公司 信息处理装置、信息处理方法和程序
US9728010B2 (en) 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US10284794B1 (en) 2015-01-07 2019-05-07 Car360 Inc. Three-dimensional stabilized 360-degree composite image capture
WO2016118344A1 (en) 2015-01-20 2016-07-28 Microsoft Technology Licensing, Llc Fixed size augmented reality objects
US10740971B2 (en) 2015-01-20 2020-08-11 Microsoft Technology Licensing, Llc Augmented reality field of view object follower
US11347316B2 (en) 2015-01-28 2022-05-31 Medtronic, Inc. Systems and methods for mitigating gesture input error
US9779512B2 (en) 2015-01-29 2017-10-03 Microsoft Technology Licensing, Llc Automatic generation of virtual materials from real-world materials
US10955924B2 (en) 2015-01-29 2021-03-23 Misapplied Sciences, Inc. Individually interactive multi-view display system and methods therefor
US20160227267A1 (en) 2015-01-30 2016-08-04 The Directv Group, Inc. Method and system for viewing set top box content in a virtual reality device
US10242379B2 (en) 2015-01-30 2019-03-26 Adobe Inc. Tracking visual gaze information for controlling content display
US9999835B2 (en) 2015-02-05 2018-06-19 Sony Interactive Entertainment Inc. Motion sickness monitoring and application of supplemental sound to counteract sickness
BR112017018121A2 (pt) 2015-02-25 2018-04-10 Facebook Inc identificação de um objeto em um volume baseada em características de luz refletida pelo objeto
WO2016137139A1 (en) 2015-02-26 2016-09-01 Samsung Electronics Co., Ltd. Method and device for managing item
US9911232B2 (en) 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
US10732721B1 (en) 2015-02-28 2020-08-04 sigmund lindsay clements Mixed reality glasses used to operate a device touch freely
US10207185B2 (en) 2015-03-07 2019-02-19 Sony Interactive Entertainment America Llc Using connection quality history to optimize user experience
US9857888B2 (en) 2015-03-17 2018-01-02 Behr Process Corporation Paint your place application for optimizing digital painting of an image
US9852543B2 (en) 2015-03-27 2017-12-26 Snap Inc. Automated three dimensional model generation
JPWO2016158014A1 (ja) 2015-03-31 2018-01-25 ソニー株式会社 情報処理装置、通信システム、情報処理方法及びプログラム
JP6596883B2 (ja) 2015-03-31 2019-10-30 ソニー株式会社 ヘッドマウントディスプレイ及びヘッドマウントディスプレイの制御方法、並びにコンピューター・プログラム
US9846972B2 (en) 2015-04-06 2017-12-19 Scope Technologies Us Inc. Method and apparatus for sharing augmented reality applications to multiple clients
US20160306434A1 (en) 2015-04-20 2016-10-20 16Lab Inc Method for interacting with mobile or wearable device
US9804733B2 (en) * 2015-04-21 2017-10-31 Dell Products L.P. Dynamic cursor focus in a multi-display information handling system environment
US9442575B1 (en) 2015-05-15 2016-09-13 Atheer, Inc. Method and apparatus for applying free space input for surface constrained control
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
EP3306571A4 (en) 2015-06-02 2019-01-16 Dentsu Inc. THREE-DIMENSIONAL ADVERTISING SYSTEM, USER DEVICE AND DEFINITION OF THREE-DIMENSIONAL ADVERTISING SURFACES
CN107787497B (zh) 2015-06-10 2021-06-22 维塔驰有限公司 用于在基于用户的空间坐标系中检测手势的方法和装置
WO2016203282A1 (en) 2015-06-18 2016-12-22 The Nielsen Company (Us), Llc Methods and apparatus to capture photographs using mobile devices
EP3109733B1 (en) 2015-06-22 2020-07-22 Nokia Technologies Oy Content delivery
US9520002B1 (en) * 2015-06-24 2016-12-13 Microsoft Technology Licensing, Llc Virtual place-located anchor
JP2017021461A (ja) 2015-07-08 2017-01-26 株式会社ソニー・インタラクティブエンタテインメント 操作入力装置および操作入力方法
EP3118722B1 (en) 2015-07-14 2020-07-01 Nokia Technologies Oy Mediated reality
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
JP6611501B2 (ja) 2015-07-17 2019-11-27 キヤノン株式会社 情報処理装置、仮想オブジェクトの操作方法、コンピュータプログラム、及び記憶媒体
GB2540791A (en) 2015-07-28 2017-02-01 Dexter Consulting Uk Ltd Apparatus, methods, computer programs and non-transitory computer-readable storage media for generating a three-dimensional model of an object
EP3332311B1 (en) 2015-08-04 2019-12-04 Google LLC Hover behavior for gaze interactions in virtual reality
KR102105637B1 (ko) 2015-08-04 2020-06-26 구글 엘엘씨 가상 현실에서 오브젝트와 손의 상황 감지형 충돌을 통한 입력
RU2694016C1 (ru) 2015-08-06 2019-07-08 Эксенчер Глобал Сервисез Лимитед Обнаружение состояния объектов с использованием системы обработки изображения, соответствующий способ и постоянный машиночитаемый носитель
US9818228B2 (en) * 2015-08-07 2017-11-14 Microsoft Technology Licensing, Llc Mixed reality social interaction
US20170038829A1 (en) 2015-08-07 2017-02-09 Microsoft Technology Licensing, Llc Social interaction for remote communication
US10290147B2 (en) 2015-08-11 2019-05-14 Microsoft Technology Licensing, Llc Using perspective to visualize data
US20170053383A1 (en) 2015-08-17 2017-02-23 Dae Hoon Heo Apparatus and method for providing 3d content and recording medium
KR101808852B1 (ko) 2015-08-18 2017-12-13 권혁제 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법
US10007352B2 (en) 2015-08-21 2018-06-26 Microsoft Technology Licensing, Llc Holographic display system with undo functionality
US10101803B2 (en) * 2015-08-26 2018-10-16 Google Llc Dynamic switching and merging of head, gesture and touch input in virtual reality
US10318225B2 (en) 2015-09-01 2019-06-11 Microsoft Technology Licensing, Llc Holographic augmented authoring
US10186086B2 (en) 2015-09-02 2019-01-22 Microsoft Technology Licensing, Llc Augmented reality control of computing device
US9298283B1 (en) 2015-09-10 2016-03-29 Connectivity Labs Inc. Sedentary virtual reality method and systems
JP6489984B2 (ja) 2015-09-16 2019-03-27 株式会社エクシング カラオケ装置及びカラオケ用プログラム
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
US10152825B2 (en) 2015-10-16 2018-12-11 Fyusion, Inc. Augmenting multi-view image data with synthetic objects using IMU and image data
KR102400900B1 (ko) 2015-10-26 2022-05-23 엘지전자 주식회사 시스템
US11432095B1 (en) 2019-05-29 2022-08-30 Apple Inc. Placement of virtual speakers based on room layout
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
WO2017074435A1 (en) 2015-10-30 2017-05-04 Homer Tlc, Inc. Methods, apparatuses, and systems for material coating selection operations
US10706457B2 (en) 2015-11-06 2020-07-07 Fujifilm North America Corporation Method, system, and medium for virtual wall art
KR102471977B1 (ko) * 2015-11-06 2022-11-30 삼성전자 주식회사 복수의 전자장치 사이에서 가상 객체를 표시하는 방법 및 이를 지원하는 전자 장치
KR20170059760A (ko) 2015-11-23 2017-05-31 엘지전자 주식회사 이동단말기 및 그 제어방법
CN105487782B (zh) 2015-11-27 2019-07-09 惠州Tcl移动通信有限公司 一种基于眼部识别的自动调整滚屏速度的方法及系统
US11217009B2 (en) 2015-11-30 2022-01-04 Photopotech LLC Methods for collecting and processing image information to produce digital assets
US10140464B2 (en) 2015-12-08 2018-11-27 University Of Washington Methods and systems for providing presentation security for augmented reality applications
US11010972B2 (en) 2015-12-11 2021-05-18 Google Llc Context sensitive user interface activation in an augmented and/or virtual reality environment
US10008028B2 (en) 2015-12-16 2018-06-26 Aquifi, Inc. 3D scanning apparatus including scanning sensor detachable from screen
US10775882B2 (en) 2016-01-21 2020-09-15 Microsoft Technology Licensing, Llc Implicitly adaptive eye-tracking user interface
US9978180B2 (en) 2016-01-25 2018-05-22 Microsoft Technology Licensing, Llc Frame projection for augmented reality environments
US10229541B2 (en) 2016-01-28 2019-03-12 Sony Interactive Entertainment America Llc Methods and systems for navigation within virtual reality space using head mounted display
US10067636B2 (en) * 2016-02-09 2018-09-04 Unity IPR ApS Systems and methods for a virtual reality editor
WO2017139509A1 (en) * 2016-02-12 2017-08-17 Purdue Research Foundation Manipulating 3d virtual objects using hand-held controllers
US10169922B2 (en) 2016-02-16 2019-01-01 Microsoft Technology Licensing, Llc Reality mixer for mixed reality
US10373380B2 (en) 2016-02-18 2019-08-06 Intel Corporation 3-dimensional scene analysis for augmented reality operations
CN113532326B (zh) 2016-02-29 2023-11-21 派克赛斯有限责任公司 用于辅助型3d扫描的系统和方法
US20170256096A1 (en) 2016-03-07 2017-09-07 Google Inc. Intelligent object sizing and placement in a augmented / virtual reality environment
US10176641B2 (en) 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US20170287215A1 (en) 2016-03-29 2017-10-05 Google Inc. Pass-through camera user interface elements for virtual reality
US10373381B2 (en) 2016-03-30 2019-08-06 Microsoft Technology Licensing, Llc Virtual object manipulation within physical environment
US10372205B2 (en) 2016-03-31 2019-08-06 Sony Interactive Entertainment Inc. Reducing rendering computation and power consumption by detecting saccades and blinks
US10048751B2 (en) 2016-03-31 2018-08-14 Verizon Patent And Licensing Inc. Methods and systems for gaze-based control of virtual reality media content
US10754434B2 (en) 2016-04-01 2020-08-25 Intel Corporation Motion gesture capture by selecting classifier model from pose
US10372306B2 (en) 2016-04-16 2019-08-06 Apple Inc. Organized timeline
KR101904889B1 (ko) 2016-04-21 2018-10-05 주식회사 비주얼캠프 표시 장치와 이를 이용한 입력 처리 방법 및 시스템
US11017257B2 (en) 2016-04-26 2021-05-25 Sony Corporation Information processing device, information processing method, and program
US10722800B2 (en) 2016-05-16 2020-07-28 Google Llc Co-presence handling in virtual reality
WO2017200571A1 (en) 2016-05-16 2017-11-23 Google Llc Gesture-based control of a user interface
US10545584B2 (en) 2016-05-17 2020-01-28 Google Llc Virtual/augmented reality input device
US10192347B2 (en) 2016-05-17 2019-01-29 Vangogh Imaging, Inc. 3D photogrammetry
EP3458938B1 (en) 2016-05-17 2025-07-30 Google LLC Methods and apparatus to project contact with real objects in virtual reality environments
EP3249497A1 (en) 2016-05-24 2017-11-29 Harman Becker Automotive Systems GmbH Eye tracking
US10254546B2 (en) 2016-06-06 2019-04-09 Microsoft Technology Licensing, Llc Optically augmenting electromagnetic tracking in mixed reality
US10467814B2 (en) 2016-06-10 2019-11-05 Dirtt Environmental Solutions, Ltd. Mixed-reality architectural design environment
US10353550B2 (en) 2016-06-11 2019-07-16 Apple Inc. Device, method, and graphical user interface for media playback in an accessibility mode
US10395428B2 (en) 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US10852913B2 (en) 2016-06-21 2020-12-01 Samsung Electronics Co., Ltd. Remote hover touch system and method
US11146661B2 (en) 2016-06-28 2021-10-12 Rec Room Inc. Systems and methods for detecting collaborative virtual gestures
US10191541B2 (en) 2016-06-30 2019-01-29 Sony Interactive Entertainment Inc. Augmenting virtual reality content with real world content
EP3436855A4 (en) 2016-06-30 2019-12-11 Hewlett-Packard Development Company, L.P. SMART MIRROR
JP6236691B1 (ja) 2016-06-30 2017-11-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
JP6238381B1 (ja) 2016-06-30 2017-11-29 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
US10019839B2 (en) 2016-06-30 2018-07-10 Microsoft Technology Licensing, Llc Three-dimensional object scanning feedback
EP3486750B1 (en) 2016-07-12 2023-10-18 FUJIFILM Corporation Image display system, control device for head-mounted display, and operating method and operating program for operating same
US10768421B1 (en) 2016-07-18 2020-09-08 Knowledge Initiatives LLC Virtual monocle interface for information visualization
EP4398566A3 (en) 2016-08-11 2024-10-09 Magic Leap, Inc. Automatic placement of a virtual object in a three-dimensional space
GB201615382D0 (en) 2016-09-09 2016-10-26 Univ Court Of The Univ Of Edinburgh The And Lothian Health Board A text display method and apparatus
CA3034916A1 (en) 2016-09-14 2018-03-22 Magic Leap, Inc. Virtual reality, augmented reality, and mixed reality systems with spatialized audio
US10325407B2 (en) 2016-09-15 2019-06-18 Microsoft Technology Licensing, Llc Attribute detection tools for mixed reality
US10817126B2 (en) 2016-09-20 2020-10-27 Apple Inc. 3D document editing system
DK179978B1 (en) 2016-09-23 2019-11-27 Apple Inc. Image data for enhanced user interactions
US20180095635A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US20180095636A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US10503349B2 (en) 2016-10-04 2019-12-10 Facebook, Inc. Shared three-dimensional user interface with personal space
US10341568B2 (en) 2016-10-10 2019-07-02 Qualcomm Incorporated User interface to assist three dimensional scanning of objects
US10809808B2 (en) 2016-10-14 2020-10-20 Intel Corporation Gesture-controlled virtual reality systems and methods of controlling the same
EP4296827A1 (en) 2016-10-24 2023-12-27 Snap Inc. Redundant tracking system
EP3316075B1 (en) 2016-10-26 2021-04-07 Harman Becker Automotive Systems GmbH Combined eye and gesture tracking
EP3316117A1 (en) 2016-10-31 2018-05-02 Nokia Technologies OY Controlling content displayed in a display
US10515479B2 (en) 2016-11-01 2019-12-24 Purdue Research Foundation Collaborative 3D modeling system
US9983684B2 (en) 2016-11-02 2018-05-29 Microsoft Technology Licensing, Llc Virtual affordance display at virtual target
US10204448B2 (en) 2016-11-04 2019-02-12 Aquifi, Inc. System and method for portable active 3D scanning
US10754416B2 (en) 2016-11-14 2020-08-25 Logitech Europe S.A. Systems and methods for a peripheral-centric augmented/virtual reality environment
WO2018090056A2 (en) 2016-11-14 2018-05-17 Taqtile Cross-platform multi-modal virtual collaboration and holographic maps
US11487353B2 (en) 2016-11-14 2022-11-01 Logitech Europe S.A. Systems and methods for configuring a hub-centric virtual/augmented reality environment
EP3539087B1 (en) 2016-11-14 2022-11-02 Logitech Europe S.A. A system for importing user interface devices into virtual/augmented reality
EP3324204B1 (en) 2016-11-21 2020-12-23 HTC Corporation Body posture detection system, suit and method
US20180143693A1 (en) 2016-11-21 2018-05-24 David J. Calabrese Virtual object manipulation
US20180150997A1 (en) * 2016-11-30 2018-05-31 Microsoft Technology Licensing, Llc Interaction between a touch-sensitive device and a mixed-reality device
US20180150204A1 (en) 2016-11-30 2018-05-31 Google Inc. Switching of active objects in an augmented and/or virtual reality environment
JP2018092313A (ja) 2016-12-01 2018-06-14 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US20210248674A1 (en) 2016-12-05 2021-08-12 Wells Fargo Bank, N.A. Lead generation using virtual tours
US10055028B2 (en) 2016-12-05 2018-08-21 Google Llc End of session detection in an augmented and/or virtual reality environment
WO2018106220A1 (en) 2016-12-06 2018-06-14 Vuelosophy Inc. Systems and methods for tracking motion and gesture of heads and eyes
JP2018097141A (ja) 2016-12-13 2018-06-21 富士ゼロックス株式会社 頭部装着型表示装置、仮想物体表示システム
EP3336805A1 (en) 2016-12-15 2018-06-20 Thomson Licensing Method and device for a placement of a virtual object of an augmented or mixed reality application in a real-world 3d environment
JP2018101019A (ja) 2016-12-19 2018-06-28 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
US10474336B2 (en) 2016-12-20 2019-11-12 Adobe Inc. Providing a user experience with virtual reality content and user-selected, real world objects
WO2018113740A1 (en) 2016-12-21 2018-06-28 Zyetric Technologies Limited Combining virtual reality and augmented reality
JP6382928B2 (ja) 2016-12-27 2018-08-29 株式会社コロプラ 仮想空間における画像の表示を制御するためにコンピュータによって実行される方法、当該方法をコンピュータに実現させるためのプログラム、および、コンピュータ装置
EP3563215A4 (en) 2016-12-29 2020-08-05 Magic Leap, Inc. AUTOMATIC CONTROL OF A WEARABLE DISPLAY DEVICE BASED ON EXTERNAL CONDITIONS
US10410422B2 (en) 2017-01-09 2019-09-10 Samsung Electronics Co., Ltd. System and method for augmented reality control
US20180210628A1 (en) * 2017-01-23 2018-07-26 Snap Inc. Three-dimensional interaction system
US9854324B1 (en) 2017-01-30 2017-12-26 Rovi Guides, Inc. Systems and methods for automatically enabling subtitles based on detecting an accent
US11443059B2 (en) 2017-02-07 2022-09-13 Iot Holdings, Inc. System and method to prevent surveillance and preserve privacy in virtual reality
US11347054B2 (en) 2017-02-16 2022-05-31 Magic Leap, Inc. Systems and methods for augmented reality
WO2018148845A1 (en) 2017-02-17 2018-08-23 Nz Technologies Inc. Methods and systems for touchless control of surgical environment
KR102391965B1 (ko) 2017-02-23 2022-04-28 삼성전자주식회사 가상현실 서비스를 위한 화면 제어 방법 및 장치
KR101891704B1 (ko) 2017-02-28 2018-08-24 메디컬아이피 주식회사 3차원 의료영상 제어 방법 및 그 장치
CN106990838B (zh) 2017-03-16 2020-11-13 惠州Tcl移动通信有限公司 一种虚拟现实模式下锁定显示内容的方法及系统
US10627900B2 (en) 2017-03-23 2020-04-21 Google Llc Eye-signal augmented control
US10290152B2 (en) 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
US20180302686A1 (en) 2017-04-14 2018-10-18 International Business Machines Corporation Personalizing closed captions for video content
US10692287B2 (en) 2017-04-17 2020-06-23 Microsoft Technology Licensing, Llc Multi-step placement of virtual objects
US10768693B2 (en) 2017-04-19 2020-09-08 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
US11077360B2 (en) 2017-04-28 2021-08-03 Sony Interactive Entertainment Inc. Information processing device, control method of information processing device, and program
CA3060209C (en) * 2017-05-01 2024-10-15 Magic Leap, Inc. MATCHING CONTENT WITH A 3D SPATIAL ENVIRONMENT
US10417827B2 (en) 2017-05-04 2019-09-17 Microsoft Technology Licensing, Llc Syndication of direct and indirect interactions in a computer-mediated reality environment
US10339714B2 (en) 2017-05-09 2019-07-02 A9.Com, Inc. Markerless image analysis for augmented reality
EP4465262A3 (en) 2017-05-19 2025-01-08 Magic Leap, Inc. Keyboards for virtual, augmented, and mixed reality display systems
US10228760B1 (en) 2017-05-23 2019-03-12 Visionary Vr, Inc. System and method for generating a virtual reality scene based on individual asynchronous motion capture recordings
JP6342038B1 (ja) 2017-05-26 2018-06-13 株式会社コロプラ 仮想空間を提供するためのプログラム、当該プログラムを実行するための情報処理装置、および仮想空間を提供するための方法
KR102670987B1 (ko) 2017-05-31 2024-05-30 매직 립, 인코포레이티드 눈 추적 교정 기술들
JP6257826B1 (ja) 2017-05-31 2018-01-10 株式会社コロプラ 仮想空間を提供するためにコンピュータで実行される方法、プログラム、および、情報処理装置
US10747386B2 (en) 2017-06-01 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for window control in virtual reality environment
DE112018002775B4 (de) 2017-06-02 2025-10-30 Apple Inc. Verfahren und vorrichtung zum erfassen von ebenen und/oder quadtrees zur verwendung als ein virtuelles substrat
WO2018225149A1 (ja) 2017-06-06 2018-12-13 マクセル株式会社 複合現実表示システム及び複合現実表示端末
US11262885B1 (en) 2017-06-27 2022-03-01 William Martin Burckel Multi-gesture context chaining
US11122258B2 (en) 2017-06-30 2021-09-14 Pcms Holdings, Inc. Method and apparatus for generating and displaying 360-degree video based on eye tracking and physiological measurements
US10521020B2 (en) 2017-07-12 2019-12-31 Unity IPR ApS Methods and systems for displaying UI elements in mixed reality environments
US10803663B2 (en) 2017-08-02 2020-10-13 Google Llc Depth sensor aided estimation of virtual reality environment boundaries
WO2019031005A1 (ja) 2017-08-08 2019-02-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP3542252B1 (en) 2017-08-10 2023-08-02 Google LLC Context-sensitive hand interaction
US10565448B2 (en) 2017-08-16 2020-02-18 International Business Machines Corporation Read confirmation of electronic messages
JP7009835B2 (ja) 2017-08-24 2022-01-26 大日本印刷株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
US10409444B2 (en) 2017-09-01 2019-09-10 Microsoft Technology Licensing, Llc Head-mounted display input translation
US10803716B2 (en) 2017-09-08 2020-10-13 Hellofactory Co., Ltd. System and method of communicating devices using virtual buttons
US20190088149A1 (en) 2017-09-19 2019-03-21 Money Media Inc. Verifying viewing of content by user
US11989835B2 (en) 2017-09-26 2024-05-21 Toyota Research Institute, Inc. Augmented reality overlay
US10777007B2 (en) 2017-09-29 2020-09-15 Apple Inc. Cooperative augmented reality map interface
CN111448542B (zh) 2017-09-29 2023-07-11 苹果公司 显示应用程序
DE112018005499T5 (de) 2017-09-29 2020-07-09 Apple Inc. Venenscanvorrichtung zur automatischen Gesten- und Fingererkennung
CN111052046B (zh) 2017-09-29 2022-06-03 苹果公司 使用现实界面访问外部设备的功能
US11861136B1 (en) 2017-09-29 2024-01-02 Apple Inc. Systems, methods, and graphical user interfaces for interacting with virtual reality environments
JP7005753B2 (ja) 2017-09-29 2022-02-10 アップル インコーポレイテッド プライバシースクリーン
US11079995B1 (en) 2017-09-30 2021-08-03 Apple Inc. User interfaces for devices with multiple displays
US10685456B2 (en) 2017-10-12 2020-06-16 Microsoft Technology Licensing, Llc Peer to peer remote localization for devices
KR102138412B1 (ko) 2017-10-20 2020-07-28 한국과학기술원 증강현실 및 가상현실 내 투영기하를 사용한 3d 윈도우 관리 기법
US10839576B2 (en) 2017-10-27 2020-11-17 Magic Leap, Inc. Virtual reticle for augmented reality systems
US10403123B2 (en) 2017-10-31 2019-09-03 Global Tel*Link Corporation Augmented reality system for guards of controlled environment residents
US20190130633A1 (en) * 2017-11-01 2019-05-02 Tsunami VR, Inc. Systems and methods for using a cutting volume to determine how to display portions of a virtual object to a user
US10430019B2 (en) 2017-11-08 2019-10-01 Disney Enterprises, Inc. Cylindrical interface for augmented reality / virtual reality devices
US10732826B2 (en) 2017-11-22 2020-08-04 Microsoft Technology Licensing, Llc Dynamic device interaction adaptation based on user engagement
US10580207B2 (en) 2017-11-24 2020-03-03 Frederic Bavastro Augmented reality method and system for design
US11164380B2 (en) 2017-12-05 2021-11-02 Samsung Electronics Co., Ltd. System and method for transition boundaries and distance responsive interfaces in augmented and virtual reality
US10553031B2 (en) 2017-12-06 2020-02-04 Microsoft Technology Licensing, Llc Digital project file presentation
GB2569139B (en) 2017-12-06 2023-02-01 Goggle Collective Ltd Three-dimensional drawing tool and method
KR102601622B1 (ko) 2017-12-14 2023-11-10 매직 립, 인코포레이티드 가상 아바타들의 콘텍스추얼 기반 렌더링
US20190188918A1 (en) 2017-12-14 2019-06-20 Tsunami VR, Inc. Systems and methods for user selection of virtual content for presentation to another user
EP3503101A1 (en) 2017-12-20 2019-06-26 Nokia Technologies Oy Object based user interface
US10026209B1 (en) 2017-12-21 2018-07-17 Capital One Services, Llc Ground plane detection for placement of augmented reality objects
US11082463B2 (en) 2017-12-22 2021-08-03 Hillel Felman Systems and methods for sharing personal information
US10685225B2 (en) 2017-12-29 2020-06-16 Wipro Limited Method and system for detecting text in digital engineering drawings
CA3125730C (en) 2018-01-05 2023-10-24 Aquifi, Inc. Systems and methods for volumetric sizing
US11188144B2 (en) 2018-01-05 2021-11-30 Samsung Electronics Co., Ltd. Method and apparatus to navigate a virtual content displayed by a virtual reality (VR) device
US10739861B2 (en) 2018-01-10 2020-08-11 Facebook Technologies, Llc Long distance interaction with artificial reality objects using a near eye display interface
JP2019125215A (ja) 2018-01-18 2019-07-25 ソニー株式会社 情報処理装置、情報処理方法、及び記録媒体
JP7040041B2 (ja) 2018-01-23 2022-03-23 富士フイルムビジネスイノベーション株式会社 情報処理装置、情報処理システム及びプログラム
DK201870349A1 (en) 2018-01-24 2019-10-23 Apple Inc. Devices, Methods, and Graphical User Interfaces for System-Wide Behavior for 3D Models
AU2019212150B2 (en) 2018-01-24 2021-12-16 Apple, Inc. Devices, methods, and graphical user interfaces for system-wide behavior for 3D models
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
US10523912B2 (en) 2018-02-01 2019-12-31 Microsoft Technology Licensing, Llc Displaying modified stereo visual content
WO2019152619A1 (en) 2018-02-03 2019-08-08 The Johns Hopkins University Blink-based calibration of an optical see-through head-mounted display
US20190251884A1 (en) 2018-02-14 2019-08-15 Microsoft Technology Licensing, Llc Shared content display with concurrent views
EP3756169B1 (en) 2018-02-22 2023-04-19 Magic Leap, Inc. Browser for mixed reality systems
US20210102820A1 (en) 2018-02-23 2021-04-08 Google Llc Transitioning between map view and augmented reality view
US11017575B2 (en) 2018-02-26 2021-05-25 Reald Spark, Llc Method and system for generating data to provide an animated visual representation
US11145096B2 (en) 2018-03-07 2021-10-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
WO2019172678A1 (en) 2018-03-07 2019-09-12 Samsung Electronics Co., Ltd. System and method for augmented reality interaction
US10922744B1 (en) 2018-03-20 2021-02-16 A9.Com, Inc. Object identification in social media post
JP7338184B2 (ja) 2018-03-28 2023-09-05 株式会社リコー 情報処理装置、情報処理システム、移動体、情報処理方法、及びプログラム
CN108519818A (zh) 2018-03-29 2018-09-11 北京小米移动软件有限公司 信息提示方法及装置
CN114935974B (zh) 2018-03-30 2025-04-25 托比股份公司 用于确定注视关注目标的对物体映射的多线迹注视
US10523921B2 (en) 2018-04-06 2019-12-31 Zspace, Inc. Replacing 2D images with 3D images
US11086474B2 (en) 2018-04-09 2021-08-10 Spatial Systems Inc. Augmented reality computing environments—mobile device join and load
US10831265B2 (en) 2018-04-20 2020-11-10 Microsoft Technology Licensing, Llc Systems and methods for gaze-informed target manipulation
WO2019209608A1 (en) 2018-04-24 2019-10-31 Zermatt Technologies Llc Multi-device editing of 3d models
US20190325654A1 (en) 2018-04-24 2019-10-24 Bae Systems Information And Electronic Systems Integration Inc. Augmented reality common operating picture
US11182964B2 (en) 2018-04-30 2021-11-23 Apple Inc. Tangibility visualization of virtual objects within a computer-generated reality environment
US11380067B2 (en) 2018-04-30 2022-07-05 Campfire 3D, Inc. System and method for presenting virtual content in an interactive space
US10650610B2 (en) 2018-05-04 2020-05-12 Microsoft Technology Licensing, Llc Seamless switching between an authoring view and a consumption view of a three-dimensional scene
US10504290B2 (en) 2018-05-04 2019-12-10 Facebook Technologies, Llc User interface security in a virtual reality environment
US10890968B2 (en) 2018-05-07 2021-01-12 Apple Inc. Electronic device with foveated display and gaze prediction
US11709541B2 (en) 2018-05-08 2023-07-25 Apple Inc. Techniques for switching between immersion levels
US11595637B2 (en) 2018-05-14 2023-02-28 Dell Products, L.P. Systems and methods for using peripheral vision in virtual, augmented, and mixed reality (xR) applications
KR102707428B1 (ko) 2018-05-15 2024-09-20 삼성전자주식회사 Vr/ar 콘텐트를 제공하는 전자 장치
US20190361521A1 (en) 2018-05-22 2019-11-28 Microsoft Technology Licensing, Llc Accelerated gaze-supported manual cursor control
JP7341166B2 (ja) * 2018-05-22 2023-09-08 マジック リープ, インコーポレイテッド ウェアラブルシステムのためのトランスモード入力融合
US10860113B2 (en) 2018-05-30 2020-12-08 Atheer, Inc. Augmented reality head gesture recognition systems
CN110554770A (zh) 2018-06-01 2019-12-10 苹果公司 静态遮挡物
WO2019231893A1 (en) 2018-06-01 2019-12-05 Dakiana Research Llc Method and devices for switching between viewing vectors in a synthesized reality setting
US10782651B2 (en) 2018-06-03 2020-09-22 Apple Inc. Image capture to provide advanced features for configuration of a wearable device
EP3803688A4 (en) 2018-06-05 2021-08-04 Magic Leap, Inc. ADAPTATION OF CONTENT TO A SPATIAL 3D ENVIRONMENT
US10712900B2 (en) 2018-06-06 2020-07-14 Sony Interactive Entertainment Inc. VR comfort zones used to inform an In-VR GUI editor
US11157159B2 (en) 2018-06-07 2021-10-26 Magic Leap, Inc. Augmented reality scrollbar
US10579153B2 (en) * 2018-06-14 2020-03-03 Dell Products, L.P. One-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
US11733824B2 (en) 2018-06-22 2023-08-22 Apple Inc. User interaction interpreter
CN116243486A (zh) 2018-06-25 2023-06-09 麦克赛尔株式会社 头戴式显示器、头戴式显示器协作系统及其方法
US10783712B2 (en) 2018-06-27 2020-09-22 Facebook Technologies, Llc Visual flairs for emphasizing gestures in artificial-reality environments
AU2019294617B2 (en) 2018-06-27 2025-02-06 SentiAR, Inc. Gaze based interface for augmented reality environment
US10712901B2 (en) 2018-06-27 2020-07-14 Facebook Technologies, Llc Gesture-based content sharing in artificial reality environments
CN110673718B (zh) 2018-07-02 2021-10-29 苹果公司 用于显示系统的基于聚焦的调试和检查
US10890967B2 (en) 2018-07-09 2021-01-12 Microsoft Technology Licensing, Llc Systems and methods for using eye gaze to bend and snap targeting rays for remote interaction
US10970929B2 (en) 2018-07-16 2021-04-06 Occipital, Inc. Boundary detection using vision-based feature mapping
US10795435B2 (en) 2018-07-19 2020-10-06 Samsung Electronics Co., Ltd. System and method for hybrid eye tracker
US10692299B2 (en) * 2018-07-31 2020-06-23 Splunk Inc. Precise manipulation of virtual object position in an extended reality environment
US10841174B1 (en) 2018-08-06 2020-11-17 Apple Inc. Electronic device with intuitive control interface
US10793998B2 (en) 2018-08-07 2020-10-06 Levi Strauss & Co. Outdoor retail space structure
US10916220B2 (en) 2018-08-07 2021-02-09 Apple Inc. Detection and display of mixed 2D/3D content
WO2020039933A1 (ja) 2018-08-24 2020-02-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
GB2576905B (en) 2018-09-06 2021-10-27 Sony Interactive Entertainment Inc Gaze input System and method
US10902678B2 (en) 2018-09-06 2021-01-26 Curious Company, LLC Display of hidden information
KR102582863B1 (ko) 2018-09-07 2023-09-27 삼성전자주식회사 사용자 의도 기반 제스처 인식 방법 및 장치
US10699488B1 (en) 2018-09-07 2020-06-30 Facebook Technologies, Llc System and method for generating realistic augmented reality content
US10855978B2 (en) 2018-09-14 2020-12-01 The Toronto-Dominion Bank System and method for receiving user input in virtual/augmented reality
US10664050B2 (en) 2018-09-21 2020-05-26 Neurable Inc. Human-computer interface using high-speed and accurate tracking of user interactions
WO2020068878A1 (en) 2018-09-24 2020-04-02 Magic Leap, Inc. Methods and systems for three-dimensional model sharing
WO2020068073A1 (en) 2018-09-26 2020-04-02 Google Llc Soft-occlusion for computer graphics rendering
US10638201B2 (en) 2018-09-26 2020-04-28 Rovi Guides, Inc. Systems and methods for automatically determining language settings for a media asset
WO2020066682A1 (ja) 2018-09-28 2020-04-02 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10785413B2 (en) 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
AU2018443332B9 (en) 2018-09-30 2022-12-08 Huawei Technologies Co., Ltd. Data transfer method and electronic device
US10816994B2 (en) * 2018-10-10 2020-10-27 Midea Group Co., Ltd. Method and system for providing remote robotic control
EP3873285A1 (en) 2018-10-29 2021-09-08 Robotarmy Corp. Racing helmet with visual and audible information exchange
US11181862B2 (en) 2018-10-31 2021-11-23 Doubleme, Inc. Real-world object holographic transport and communication room system
US10929099B2 (en) 2018-11-02 2021-02-23 Bose Corporation Spatialized virtual personal assistant
JP2020086939A (ja) 2018-11-26 2020-06-04 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
CN109491508B (zh) 2018-11-27 2022-08-26 北京七鑫易维信息技术有限公司 一种确定注视对象的方法和装置
US10776933B2 (en) 2018-12-06 2020-09-15 Microsoft Technology Licensing, Llc Enhanced techniques for tracking the movement of real-world objects for improved positioning of virtual objects
CN113287158A (zh) 2019-01-07 2021-08-20 蝴蝶网络有限公司 用于远程医疗的方法和装置
US10901495B2 (en) 2019-01-10 2021-01-26 Microsofttechnology Licensing, Llc Techniques for multi-finger typing in mixed-reality
US11320957B2 (en) 2019-01-11 2022-05-03 Microsoft Technology Licensing, Llc Near interaction mode for far virtual object
US10740960B2 (en) 2019-01-11 2020-08-11 Microsoft Technology Licensing, Llc Virtual object placement for augmented reality
US11107265B2 (en) 2019-01-11 2021-08-31 Microsoft Technology Licensing, Llc Holographic palm raycasting for targeting virtual objects
US11294472B2 (en) 2019-01-11 2022-04-05 Microsoft Technology Licensing, Llc Augmented two-stage hand gesture input
US10708965B1 (en) 2019-02-02 2020-07-07 Roambee Corporation Augmented reality based asset pairing and provisioning
US10782858B2 (en) 2019-02-12 2020-09-22 Lenovo (Singapore) Pte. Ltd. Extended reality information for identified objects
US10866563B2 (en) 2019-02-13 2020-12-15 Microsoft Technology Licensing, Llc Setting hologram trajectory via user input
KR102639725B1 (ko) 2019-02-18 2024-02-23 삼성전자주식회사 애니메이티드 이미지를 제공하기 위한 전자 장치 및 그에 관한 방법
US20220083145A1 (en) 2019-02-19 2022-03-17 Ntt Docomo, Inc. Information display apparatus using line of sight and gestures
US11137874B2 (en) 2019-02-22 2021-10-05 Microsoft Technology Licensing, Llc Ergonomic mixed reality information delivery system for dynamic workflows
CN109656421B (zh) 2019-03-05 2021-04-06 京东方科技集团股份有限公司 显示装置
JP7268130B2 (ja) 2019-03-06 2023-05-02 マクセル株式会社 ヘッドマウント情報処理装置
US10964122B2 (en) 2019-03-06 2021-03-30 Microsofttechnology Licensing, Llc Snapping virtual object to target surface
US10890992B2 (en) 2019-03-14 2021-01-12 Ebay Inc. Synchronizing augmented or virtual reality (AR/VR) applications with companion device interfaces
CN110193204B (zh) 2019-03-14 2020-12-22 网易(杭州)网络有限公司 操作单位的编组方法、装置、存储介质及电子装置
US12505609B2 (en) 2019-03-19 2025-12-23 Obsess, Inc. Systems and methods to generate an interactive environment using a 3D model and cube maps
JP2019169154A (ja) 2019-04-03 2019-10-03 Kddi株式会社 端末装置およびその制御方法、並びにプログラム
CN113646731B (zh) 2019-04-10 2025-09-23 苹果公司 用于参与共享布景的技术
US11296906B2 (en) 2019-04-10 2022-04-05 Connections Design, LLC Wireless programming device and methods for machine control systems
WO2020217326A1 (ja) 2019-04-23 2020-10-29 マクセル株式会社 ヘッドマウントディスプレイ装置
US11138798B2 (en) 2019-05-06 2021-10-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying objects in 3D contexts
US10852915B1 (en) 2019-05-06 2020-12-01 Apple Inc. User interfaces for sharing content with other electronic devices
US11100909B2 (en) 2019-05-06 2021-08-24 Apple Inc. Devices, methods, and graphical user interfaces for adaptively providing audio outputs
CN111913565B (zh) 2019-05-07 2023-03-07 广东虚拟现实科技有限公司 虚拟内容控制方法、装置、系统、终端设备及存储介质
US10499044B1 (en) 2019-05-13 2019-12-03 Athanos, Inc. Movable display for viewing and interacting with computer generated environments
US11146909B1 (en) 2019-05-20 2021-10-12 Apple Inc. Audio-based presence detection
US20200371673A1 (en) 2019-05-22 2020-11-26 Microsoft Technology Licensing, Llc Adaptive interaction models based on eye gaze gestures
CN112292726B (zh) 2019-05-22 2022-02-22 谷歌有限责任公司 用于沉浸式环境中对象分组和操纵的方法、系统和介质
CN118981271A (zh) 2019-06-01 2024-11-19 苹果公司 用于在2d屏幕上操纵3d对象的设备、方法和图形用户界面
US11334212B2 (en) 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
US20200387214A1 (en) 2019-06-07 2020-12-10 Facebook Technologies, Llc Artificial reality system having a self-haptic virtual keyboard
US10890983B2 (en) * 2019-06-07 2021-01-12 Facebook Technologies, Llc Artificial reality system having a sliding menu
US11055920B1 (en) 2019-06-27 2021-07-06 Facebook Technologies, Llc Performing operations using a mirror in an artificial reality environment
JP6684952B1 (ja) 2019-06-28 2020-04-22 株式会社ドワンゴ コンテンツ配信装置、コンテンツ配信プログラム、コンテンツ配信方法、コンテンツ表示装置、コンテンツ表示プログラムおよびコンテンツ表示方法
US11023035B1 (en) 2019-07-09 2021-06-01 Facebook Technologies, Llc Virtual pinboard interaction using a peripheral device in artificial reality environments
US20210011556A1 (en) 2019-07-09 2021-01-14 Facebook Technologies, Llc Virtual user interface using a peripheral device in artificial reality environments
WO2021021585A1 (en) 2019-07-29 2021-02-04 Ocelot Laboratories Llc Object scanning for subsequent object detection
KR20190098110A (ko) 2019-08-02 2019-08-21 엘지전자 주식회사 지능형 프레젠테이션 방법
CN110413171B (zh) 2019-08-08 2021-02-09 腾讯科技(深圳)有限公司 控制虚拟对象进行快捷操作的方法、装置、设备及介质
CN112350981B (zh) 2019-08-09 2022-07-29 华为技术有限公司 一种切换通信协议的方法、装置和系统
US10852814B1 (en) 2019-08-13 2020-12-01 Microsoft Technology Licensing, Llc Bounding virtual object
US20210055789A1 (en) 2019-08-22 2021-02-25 Dell Products, Lp System to Share Input Devices Across Multiple Information Handling Systems and Method Therefor
US10956724B1 (en) 2019-09-10 2021-03-23 Facebook Technologies, Llc Utilizing a hybrid model to recognize fast and precise hand inputs in a virtual environment
CN114365187B (zh) 2019-09-10 2026-04-24 苹果公司 姿态跟踪系统
JP7767272B2 (ja) 2019-09-11 2025-11-11 サバント システムズ インコーポレイテッド ホームオートメーションシステムのための3次元仮想ルームに基づくユーザーインターフェイス
US11087562B2 (en) 2019-09-19 2021-08-10 Apical Limited Methods of data processing for an augmented reality system by obtaining augmented reality data and object recognition data
US10991163B2 (en) 2019-09-20 2021-04-27 Facebook Technologies, Llc Projection casting in virtual environments
US11189099B2 (en) 2019-09-20 2021-11-30 Facebook Technologies, Llc Global and local mode virtual object interactions
EP3928192B1 (en) 2019-09-26 2023-10-18 Apple Inc. Wearable electronic device presenting a computer-generated reality environment
US11842449B2 (en) 2019-09-26 2023-12-12 Apple Inc. Presenting an environment based on user movement
US11379033B2 (en) 2019-09-26 2022-07-05 Apple Inc. Augmented devices
JP7436505B2 (ja) 2019-09-27 2024-02-21 アップル インコーポレイテッド 仮想オブジェクトの制御
US11762457B1 (en) 2019-09-27 2023-09-19 Apple Inc. User comfort monitoring and notification
DE112020001415T5 (de) 2019-09-27 2021-12-09 Apple Inc. Umgebung für Fernkommunikation
US11340756B2 (en) 2019-09-27 2022-05-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
WO2021076122A1 (en) 2019-10-16 2021-04-22 Google Llc Lighting estimation for augmented reality
CN114026527B (zh) 2019-10-22 2024-09-03 谷歌有限责任公司 可穿戴装置的空间音频
US11494995B2 (en) 2019-10-29 2022-11-08 Magic Leap, Inc. Systems and methods for virtual and augmented reality
KR102862950B1 (ko) 2019-11-25 2025-09-22 삼성전자 주식회사 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
JP7377088B2 (ja) 2019-12-10 2023-11-09 キヤノン株式会社 電子機器およびその制御方法、プログラム、並びに記憶媒体
US11204678B1 (en) 2019-12-11 2021-12-21 Amazon Technologies, Inc. User interfaces for object exploration in virtual reality environments
US11875013B2 (en) * 2019-12-23 2024-01-16 Apple Inc. Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
KR20210083016A (ko) 2019-12-26 2021-07-06 삼성전자주식회사 전자 장치 및 그의 제어 방법
US10936148B1 (en) 2019-12-26 2021-03-02 Sap Se Touch interaction in augmented and virtual reality applications
KR102830396B1 (ko) 2020-01-16 2025-07-07 삼성전자주식회사 모바일 디바이스 및 그 동작 방법
US11922580B2 (en) 2020-01-17 2024-03-05 Apple Inc. Floorplan generation based on room scanning
US11157086B2 (en) 2020-01-28 2021-10-26 Pison Technology, Inc. Determining a geographical location based on human gestures
US11138771B2 (en) 2020-02-03 2021-10-05 Apple Inc. Systems, methods, and graphical user interfaces for annotating, measuring, and modeling environments
US11983326B2 (en) 2020-02-26 2024-05-14 Magic Leap, Inc. Hand gesture input for wearable system
KR102946236B1 (ko) 2020-02-28 2026-03-31 삼성전자주식회사 제스처 인식 기반의 영상 편집 방법 및 이를 지원하는 전자 장치
US11200742B1 (en) 2020-02-28 2021-12-14 United Services Automobile Association (Usaa) Augmented reality-based interactive customer support
US20230119162A1 (en) 2020-03-02 2023-04-20 Apple Inc. Systems and methods for processing scanned objects
KR102346294B1 (ko) 2020-03-03 2022-01-04 주식회사 브이터치 2차원 이미지로부터 사용자의 제스처를 추정하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US20210279967A1 (en) 2020-03-06 2021-09-09 Apple Inc. Object centric scanning
US11217020B2 (en) 2020-03-16 2022-01-04 Snap Inc. 3D cutout image modification
US11727650B2 (en) 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11112875B1 (en) 2020-03-20 2021-09-07 Huawei Technologies Co., Ltd. Methods and systems for controlling a device using hand gestures in multi-user environment
US11237641B2 (en) 2020-03-27 2022-02-01 Lenovo (Singapore) Pte. Ltd. Palm based object position adjustment
WO2021194790A1 (en) 2020-03-27 2021-09-30 Apple Inc. Devices, methods, and graphical user interfaces for gaze-based navigation
FR3109041A1 (fr) 2020-04-01 2021-10-08 Orange Acquisition de droit temporaire par transmission d'onde radio en champ proche
US11348320B2 (en) 2020-04-02 2022-05-31 Samsung Electronics Company, Ltd. Object identification utilizing paired electronic devices
CN115769174A (zh) 2020-04-03 2023-03-07 奇跃公司 用于最佳注视辨别的化身定制
US20220229534A1 (en) * 2020-04-08 2022-07-21 Multinarity Ltd Coordinating cursor movement between a physical surface and a virtual surface
US11481965B2 (en) 2020-04-10 2022-10-25 Samsung Electronics Co., Ltd. Electronic device for communicating in augmented reality and method thereof
US12299340B2 (en) 2020-04-17 2025-05-13 Apple Inc. Multi-device continuity for use with extended reality systems
CN115623257A (zh) 2020-04-20 2023-01-17 华为技术有限公司 投屏显示方法、系统、终端设备和存储介质
US11641460B1 (en) 2020-04-27 2023-05-02 Apple Inc. Generating a volumetric representation of a capture region
US11439902B2 (en) 2020-05-01 2022-09-13 Dell Products L.P. Information handling system gaming controls
US12014455B2 (en) 2020-05-06 2024-06-18 Magic Leap, Inc. Audiovisual presence transitions in a collaborative reality environment
CN111580652B (zh) 2020-05-06 2024-01-16 Oppo广东移动通信有限公司 视频播放的控制方法、装置、增强现实设备及存储介质
US11508085B2 (en) 2020-05-08 2022-11-22 Varjo Technologies Oy Display systems and methods for aligning different tracking means
US20210358294A1 (en) 2020-05-15 2021-11-18 Microsoft Technology Licensing, Llc Holographic device control
US12072962B2 (en) 2020-05-26 2024-08-27 Sony Semiconductor Solutions Corporation Method, computer program and system for authenticating a user and respective methods and systems for setting up an authentication
US11893161B2 (en) 2020-06-01 2024-02-06 National Institute Of Advanced Industrial Science And Technology Gesture recognition based on user proximity to a camera
US11989965B2 (en) 2020-06-24 2024-05-21 AR & NS Investment, LLC Cross-correlation system and method for spatial detection using a network of RF repeaters
US11256336B2 (en) 2020-06-29 2022-02-22 Facebook Technologies, Llc Integration of artificial reality interaction modes
US11360310B2 (en) 2020-07-09 2022-06-14 Trimble Inc. Augmented reality technology as a controller for a total station
US11233973B1 (en) 2020-07-23 2022-01-25 International Business Machines Corporation Mixed-reality teleconferencing across multiple locations
US11908159B2 (en) 2020-07-27 2024-02-20 Shopify Inc. Systems and methods for representing user interactions in multi-user augmented reality
CN112068757B (zh) 2020-08-03 2022-04-08 北京理工大学 一种用于虚拟现实的目标选择方法及系统
WO2022030968A1 (ko) 2020-08-04 2022-02-10 삼성전자 주식회사 제스처를 인식하는 전자 장치 및 그 동작 방법
US12034785B2 (en) 2020-08-28 2024-07-09 Tmrw Foundation Ip S.Àr.L. System and method enabling interactions in virtual environments with virtual presence
WO2022046340A1 (en) 2020-08-31 2022-03-03 Sterling Labs Llc Object engagement based on finger manipulation data and untethered inputs
US11176755B1 (en) 2020-08-31 2021-11-16 Facebook Technologies, Llc Artificial reality augments and surfaces
WO2022055822A1 (en) 2020-09-11 2022-03-17 Sterling Labs Llc Method of interacting with objects in an environment
CN116719413A (zh) 2020-09-11 2023-09-08 苹果公司 用于操纵环境中的对象的方法
WO2022055821A1 (en) 2020-09-11 2022-03-17 Sterling Labs Llc Method of displaying user interfaces in an environment and corresponding electronic device and computer readable storage medium
EP4211688A1 (en) 2020-09-14 2023-07-19 Apple Inc. Content playback and modifications in a 3d environment
US11599239B2 (en) * 2020-09-15 2023-03-07 Apple Inc. Devices, methods, and graphical user interfaces for providing computer-generated experiences
US12032803B2 (en) 2020-09-23 2024-07-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11615596B2 (en) * 2020-09-24 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
WO2022066423A1 (en) 2020-09-24 2022-03-31 Sterling Labs Llc Recommended avatar placement in an environmental representation of a multi-user communication session
JP6976395B1 (ja) 2020-09-24 2021-12-08 Kddi株式会社 配信装置、配信システム、配信方法及び配信プログラム
US11567625B2 (en) 2020-09-24 2023-01-31 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
WO2022066399A1 (en) 2020-09-24 2022-03-31 Sterling Labs Llc Diffused light rendering of a virtual light source in a 3d environment
US12236546B1 (en) 2020-09-24 2025-02-25 Apple Inc. Object manipulations with a pointing device
US11615597B2 (en) 2020-09-25 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11520456B2 (en) 2020-09-25 2022-12-06 Apple Inc. Methods for adjusting and/or controlling immersion associated with user interfaces
WO2022067342A2 (en) 2020-09-25 2022-03-31 Apple Inc. Methods for interacting with virtual controls and/or an affordance for moving virtual objects in virtual environments
KR20230050466A (ko) 2020-09-25 2023-04-14 애플 인크. 사용자 인터페이스들을 내비게이팅하기 위한 방법들
US11562528B2 (en) * 2020-09-25 2023-01-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
EP4718404A2 (en) 2020-09-25 2026-04-01 Apple Inc. Methods for manipulating objects in an environment
US11175791B1 (en) 2020-09-29 2021-11-16 International Business Machines Corporation Augmented reality system for control boundary modification
US12399568B2 (en) 2020-09-30 2025-08-26 Qualcomm Incorporated Dynamic configuration of user interface layouts and inputs for extended reality systems
US11538225B2 (en) 2020-09-30 2022-12-27 Snap Inc. Augmented reality content generator for suggesting activities at a destination geolocation
US12472032B2 (en) 2020-10-02 2025-11-18 Cilag Gmbh International Monitoring of user visual gaze to control which display system displays the primary information
WO2022086954A1 (en) 2020-10-19 2022-04-28 Sophya Inc. Methods and systems for simulating in-person interactions in virtual environments
US11568620B2 (en) 2020-10-28 2023-01-31 Shopify Inc. Augmented reality-assisted methods and apparatus for assessing fit of physical objects in three-dimensional bounded spaces
US11669155B2 (en) 2020-11-03 2023-06-06 Light Wand LLC Systems and methods for controlling secondary devices using mixed, virtual or augmented reality
US11615586B2 (en) 2020-11-06 2023-03-28 Adobe Inc. Modifying light sources within three-dimensional environments by utilizing control models based on three-dimensional interaction primitives
US11249556B1 (en) 2020-11-30 2022-02-15 Microsoft Technology Licensing, Llc Single-handed microgesture inputs
US11928263B2 (en) 2020-12-07 2024-03-12 Samsung Electronics Co., Ltd. Electronic device for processing user input and method thereof
US11630509B2 (en) 2020-12-11 2023-04-18 Microsoft Technology Licensing, Llc Determining user intent based on attention values
US11461973B2 (en) 2020-12-22 2022-10-04 Meta Platforms Technologies, Llc Virtual reality locomotion via hand gesture
US11232643B1 (en) 2020-12-22 2022-01-25 Facebook Technologies, Llc Collapsing of 3D objects to 2D images in an artificial reality environment
US20220207846A1 (en) 2020-12-30 2022-06-30 Propsee LLC System and Method to Process and Display Information Related to Real Estate by Developing and Presenting a Photogrammetric Reality Mesh
US11402634B2 (en) 2020-12-30 2022-08-02 Facebook Technologies, Llc. Hand-locked rendering of virtual objects in artificial reality
CN116888571A (zh) 2020-12-31 2023-10-13 苹果公司 在环境中操纵用户界面的方法
CN116670627A (zh) 2020-12-31 2023-08-29 苹果公司 对环境中的用户界面进行分组的方法
US20240062279A1 (en) 2020-12-31 2024-02-22 Apple Inc. Method of displaying products in a virtual environment
US11954242B2 (en) 2021-01-04 2024-04-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
WO2022147146A1 (en) 2021-01-04 2022-07-07 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20220221976A1 (en) 2021-01-13 2022-07-14 A9.Com, Inc. Movement of virtual objects with respect to virtual vertical surfaces
US11307653B1 (en) 2021-03-05 2022-04-19 MediVis, Inc. User input and interface design in augmented reality for use in surgical settings
WO2022153788A1 (ja) 2021-01-18 2022-07-21 古野電気株式会社 Ar操船システム、及びar操船方法
JP7674494B2 (ja) * 2021-01-20 2025-05-09 アップル インコーポレイテッド 環境内のオブジェクトと相互作用するための方法
US12493353B2 (en) 2021-01-26 2025-12-09 Beijing Boe Technology Development Co., Ltd. Control method, electronic device, and storage medium
US20240338104A1 (en) * 2021-01-26 2024-10-10 Apple Inc. Displaying a Contextualized Widget
WO2022164881A1 (en) 2021-01-27 2022-08-04 Meta Platforms Technologies, Llc Systems and methods for predicting an intent to interact
CN114911398A (zh) 2021-01-29 2022-08-16 伊姆西Ip控股有限责任公司 显示图形界面方法、电子设备和计算机程序产品
EP4288950A4 (en) 2021-02-08 2024-12-25 Sightful Computers Ltd USER INTERACTIONS IN EXTENDED REALITY
US11402964B1 (en) 2021-02-08 2022-08-02 Facebook Technologies, Llc Integrating artificial reality and other computing devices
US11294475B1 (en) 2021-02-08 2022-04-05 Facebook Technologies, Llc Artificial reality multi-modal input switching model
EP4295314A4 (en) 2021-02-08 2025-04-16 Sightful Computers Ltd EXTENDED REALITY CONTENT SHARING
US11995230B2 (en) 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
US11556169B2 (en) 2021-02-11 2023-01-17 Meta Platforms Technologies, Llc Adaptable personal user interfaces in cross-application virtual reality settings
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
JP7580302B2 (ja) 2021-03-01 2024-11-11 本田技研工業株式会社 処理システム、および処理方法
WO2022192040A1 (en) 2021-03-08 2022-09-15 Dathomir Laboratories Llc Three-dimensional programming environment
US11786206B2 (en) 2021-03-10 2023-10-17 Onpoint Medical, Inc. Augmented reality guidance for imaging systems
US11527047B2 (en) 2021-03-11 2022-12-13 Quintar, Inc. Augmented reality system for viewing an event with distributed computing
US12003806B2 (en) 2021-03-11 2024-06-04 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
US11657578B2 (en) 2021-03-11 2023-05-23 Quintar, Inc. Registration for augmented reality system for viewing an event
US11645819B2 (en) 2021-03-11 2023-05-09 Quintar, Inc. Augmented reality system for viewing an event with mode based on crowd sourced images
US20230260240A1 (en) 2021-03-11 2023-08-17 Quintar, Inc. Alignment of 3d graphics extending beyond frame in augmented reality system with remote presentation
US12244782B2 (en) 2021-03-11 2025-03-04 Quintar, Inc. Augmented reality system for remote presentation for viewing an event
US12028507B2 (en) 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
US11729551B2 (en) 2021-03-19 2023-08-15 Meta Platforms Technologies, Llc Systems and methods for ultra-wideband applications
EP4295218A1 (en) 2021-03-22 2023-12-27 Apple Inc. Methods for manipulating objects in an environment
CN117043722A (zh) 2021-03-22 2023-11-10 苹果公司 用于地图的设备、方法和图形用户界面
US11523063B2 (en) 2021-03-25 2022-12-06 Microsoft Technology Licensing, Llc Systems and methods for placing annotations in an augmented reality environment using a center-locked interface
US11343420B1 (en) 2021-03-30 2022-05-24 Tectus Corporation Systems and methods for eye-based external camera selection and control
JP7575571B2 (ja) 2021-03-31 2024-10-29 マクセル株式会社 情報表示装置および方法
CN112927341B (zh) 2021-04-02 2025-01-10 腾讯科技(深圳)有限公司 光照渲染方法、装置、计算机设备和存储介质
KR20230169331A (ko) 2021-04-13 2023-12-15 애플 인크. 환경에 몰입형 경험을 제공하기 위한 방법
EP4236351B1 (en) 2021-04-13 2025-12-03 Samsung Electronics Co., Ltd. Wearable electronic device for controlling noise cancellation of external wearable electronic device, and method for operating same
US11941764B2 (en) 2021-04-18 2024-03-26 Apple Inc. Systems, methods, and graphical user interfaces for adding effects in augmented reality environments
CN117242497A (zh) 2021-05-05 2023-12-15 苹果公司 环境共享
JP2022175629A (ja) 2021-05-14 2022-11-25 キヤノン株式会社 情報端末システム、情報端末システムの制御方法及びプログラム
US11907605B2 (en) 2021-05-15 2024-02-20 Apple Inc. Shared-content session user interfaces
US12449961B2 (en) 2021-05-18 2025-10-21 Apple Inc. Adaptive video conference user interfaces
US20220197403A1 (en) 2021-06-10 2022-06-23 Facebook Technologies, Llc Artificial Reality Spatial Interactions
US20220165013A1 (en) 2021-06-18 2022-05-26 Facebook Technologies, Llc Artificial Reality Communications
US12141914B2 (en) 2021-06-29 2024-11-12 Apple Inc. Techniques for manipulating computer graphical light sources
US12141423B2 (en) 2021-06-29 2024-11-12 Apple Inc. Techniques for manipulating computer graphical objects
US20230007335A1 (en) 2021-06-30 2023-01-05 Rovi Guides, Inc. Systems and methods of presenting video overlays
US11868523B2 (en) 2021-07-01 2024-01-09 Google Llc Eye gaze classification
JP7809925B2 (ja) 2021-07-26 2026-02-03 富士フイルムビジネスイノベーション株式会社 情報処理システム及びプログラム
US12288285B2 (en) 2021-07-28 2025-04-29 Apple Inc. System and method for interactive three-dimensional preview
US12242706B2 (en) 2021-07-28 2025-03-04 Apple Inc. Devices, methods and graphical user interfaces for three-dimensional preview of objects
US11902766B2 (en) 2021-07-30 2024-02-13 Verizon Patent And Licensing Inc. Independent control of avatar location and voice origination location within a virtual collaboration space
KR20230022056A (ko) 2021-08-06 2023-02-14 삼성전자주식회사 디스플레이 장치 및 그 동작 방법
US20230069764A1 (en) 2021-08-24 2023-03-02 Meta Platforms Technologies, Llc Systems and methods for using natural gaze dynamics to detect input recognition errors
US11756272B2 (en) 2021-08-27 2023-09-12 LabLightAR, Inc. Somatic and somatosensory guidance in virtual and augmented reality environments
EP4377772A1 (en) 2021-08-27 2024-06-05 Apple Inc. Displaying and manipulating user interface elements
WO2023028571A1 (en) 2021-08-27 2023-03-02 Chinook Labs Llc System and method of augmented representation of an electronic device
US11950040B2 (en) 2021-09-09 2024-04-02 Apple Inc. Volume control of ear devices
WO2023038820A1 (en) 2021-09-10 2023-03-16 Chinook Labs Llc Environment capture and rendering
WO2023043646A1 (en) 2021-09-20 2023-03-23 Chinook Labs Llc Providing directional awareness indicators based on context
US12124674B2 (en) 2021-09-22 2024-10-22 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
WO2023049767A2 (en) 2021-09-23 2023-03-30 Apple Inc. Methods for moving objects in a three-dimensional environment
US12124673B2 (en) 2021-09-23 2024-10-22 Apple Inc. Devices, methods, and graphical user interfaces for content applications
JP7799819B2 (ja) 2021-09-23 2026-01-15 アップル インコーポレイテッド コンテンツアプリケーションのためのデバイス、方法、及びグラフィカルユーザインタフェース
US11934569B2 (en) 2021-09-24 2024-03-19 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US12541940B2 (en) 2021-09-24 2026-02-03 The Regents Of The University Of Michigan Visual attention tracking using gaze and visual content analysis
US12131429B2 (en) 2021-09-24 2024-10-29 Apple Inc. Devices, methods, and graphical user interfaces for displaying a representation of a user in an extended reality environment
KR20260006060A (ko) 2021-09-25 2026-01-12 애플 인크. 가상 환경들에서 가상 객체들을 제시하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
US12147597B2 (en) 2021-09-25 2024-11-19 Apple Inc. Methods for cursor-based interactions with an electronic device
US11847748B2 (en) 2021-10-04 2023-12-19 Snap Inc. Transferring objects from 2D video to 3D AR
US11776166B2 (en) 2021-10-08 2023-10-03 Sony Interactive Entertainment LLC Discrimination between virtual objects and real objects in a mixed reality scene
US12067159B2 (en) 2021-11-04 2024-08-20 Microsoft Technology Licensing, Llc. Multi-factor intention determination for augmented reality (AR) environment control
US12254571B2 (en) 2021-11-23 2025-03-18 Sony Interactive Entertainment Inc. Personal space bubble in VR environments
WO2023096940A2 (en) 2021-11-29 2023-06-01 Apple Inc. Devices, methods, and graphical user interfaces for generating and displaying a representation of a user
EP4453695A1 (en) 2021-12-23 2024-10-30 Apple Inc. Methods for sharing content and interacting with physical devices in a three-dimensional environment
CN119621211A (zh) 2022-01-03 2025-03-14 苹果公司 用于导航并输入或修订内容的设备、方法和图形用户界面
WO2023133600A1 (en) 2022-01-10 2023-07-13 Apple Inc. Methods for displaying user interface elements relative to media content
EP4463754A1 (en) 2022-01-12 2024-11-20 Apple Inc. Methods for displaying, selecting and moving objects and containers in an environment
JP7843357B2 (ja) 2022-01-19 2026-04-09 アップル インコーポレイテッド 環境内にオブジェクトを表示及び再位置決めするための方法
US12175614B2 (en) 2022-01-25 2024-12-24 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US20230244857A1 (en) 2022-01-31 2023-08-03 Slack Technologies, Llc Communication platform interactive transcripts
US11768544B2 (en) 2022-02-01 2023-09-26 Microsoft Technology Licensing, Llc Gesture recognition based on likelihood of interaction
US12541280B2 (en) * 2022-02-28 2026-02-03 Apple Inc. System and method of three-dimensional placement and refinement in multi-user communication sessions
US12272005B2 (en) 2022-02-28 2025-04-08 Apple Inc. System and method of three-dimensional immersive applications in multi-user communication sessions
US12154236B1 (en) 2022-03-11 2024-11-26 Apple Inc. Assisted drawing and writing in extended reality
US12321666B2 (en) 2022-04-04 2025-06-03 Apple Inc. Methods for quick message response and dictation in a three-dimensional environment
CN119365840A (zh) 2022-04-11 2025-01-24 苹果公司 用于三维环境的相对操纵的方法
US12164741B2 (en) 2022-04-11 2024-12-10 Meta Platforms Technologies, Llc Activating a snap point in an artificial reality environment
CN119404170A (zh) 2022-04-20 2025-02-07 苹果公司 三维环境中的被遮蔽对象
CN119987551A (zh) 2022-04-21 2025-05-13 苹果公司 消息在三维环境中的表示
EP4511811A1 (en) 2022-04-22 2025-02-26 Sentiar, Inc. Two-way communication between head-mounted display and electroanatomic system
US11935201B2 (en) 2022-04-28 2024-03-19 Dell Products Lp Method and apparatus for using physical devices in extended reality environments
US11843469B2 (en) 2022-04-29 2023-12-12 Microsoft Technology Licensing, Llc Eye contact assistance in video conference
US20230377300A1 (en) 2022-05-17 2023-11-23 Apple Inc. Systems, methods, and user interfaces for generating a three-dimensional virtual representation of an object
US20230377299A1 (en) 2022-05-17 2023-11-23 Apple Inc. Systems, methods, and user interfaces for generating a three-dimensional virtual representation of an object
US12192257B2 (en) 2022-05-25 2025-01-07 Microsoft Technology Licensing, Llc 2D and 3D transitions for renderings of users participating in communication sessions
US20240111479A1 (en) 2022-06-02 2024-04-04 Apple Inc. Audio-based messaging
US20230394755A1 (en) 2022-06-02 2023-12-07 Apple Inc. Displaying a Visual Representation of Audible Data Based on a Region of Interest
US20230396854A1 (en) 2022-06-05 2023-12-07 Apple Inc. Multilingual captions
US11988832B2 (en) 2022-08-08 2024-05-21 Lenovo (Singapore) Pte. Ltd. Concurrent rendering of canvases for different apps as part of 3D simulation
US12175580B2 (en) 2022-08-23 2024-12-24 At&T Intellectual Property I, L.P. Virtual reality avatar attention-based services
US12287913B2 (en) 2022-09-06 2025-04-29 Apple Inc. Devices, methods, and graphical user interfaces for controlling avatars within three-dimensional environments
JP2025534239A (ja) 2022-09-14 2025-10-15 アップル インコーポレイテッド 三次元環境内の深度競合軽減のための方法
US12148078B2 (en) 2022-09-16 2024-11-19 Apple Inc. System and method of spatial groups in multi-user communication sessions
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
WO2024064828A1 (en) 2022-09-21 2024-03-28 Apple Inc. Gestures for selection refinement in a three-dimensional environment
US20240103617A1 (en) * 2022-09-22 2024-03-28 Apple Inc. User interfaces for gaze tracking enrollment
US12099653B2 (en) 2022-09-22 2024-09-24 Apple Inc. User interface response based on gaze-holding event assessment
CN119948437A (zh) 2022-09-23 2025-05-06 苹果公司 用于改善用户环境感知的方法
CN119923616A (zh) 2022-09-23 2025-05-02 苹果公司 用于操纵虚拟对象的方法
KR20250057045A (ko) 2022-09-23 2025-04-28 애플 인크. 3차원 환경에서의 깊이 충돌 완화를 위한 방법들
WO2024064925A1 (en) 2022-09-23 2024-03-28 Apple Inc. Methods for displaying objects relative to virtual surfaces
US12449948B2 (en) 2022-09-23 2025-10-21 Apple Inc. Devices, methods, and graphical user interfaces for interacting with window controls in three-dimensional environments
US12536762B2 (en) 2022-09-24 2026-01-27 Apple Inc. Systems and methods of creating and editing virtual objects using voxels
EP4577807A2 (en) 2022-09-24 2025-07-02 Apple Inc. User interfaces for supplemental maps
WO2024064945A1 (en) 2022-09-24 2024-03-28 Apple Inc. Offline maps
WO2024064950A1 (en) 2022-09-24 2024-03-28 Apple Inc. Methods for time of day adjustments for environments and environment presentation during communication sessions
US20240233288A1 (en) 2022-09-24 2024-07-11 Apple Inc. Methods for controlling and interacting with a three-dimensional environment
US20240103704A1 (en) 2022-09-24 2024-03-28 Apple Inc. Methods for interacting with user interfaces based on attention
US20240152256A1 (en) 2022-09-24 2024-05-09 Apple Inc. Devices, Methods, and Graphical User Interfaces for Tabbed Browsing in Three-Dimensional Environments
CN115309271B (zh) 2022-09-29 2023-03-21 南方科技大学 基于混合现实的信息展示方法、装置、设备及存储介质
US12469194B2 (en) 2022-10-03 2025-11-11 Adobe Inc. Generating shadows for placed objects in depth estimated scenes of two-dimensional images
CN118102204A (zh) 2022-11-15 2024-05-28 华为技术有限公司 一种行为指引方法、电子设备及介质
US12437471B2 (en) 2022-12-02 2025-10-07 Adeia Guides Inc. Personalized user engagement in a virtual reality environment
CN116132905A (zh) 2022-12-09 2023-05-16 杭州灵伴科技有限公司 音频播放方法和头戴式显示设备
US20240193892A1 (en) 2022-12-09 2024-06-13 Apple Inc. Systems and methods for correlation between rotation of a three-dimensional object and rotation of a viewpoint of a user
US20240221273A1 (en) 2022-12-29 2024-07-04 Apple Inc. Presenting animated spatial effects in computer-generated environments
US20240281108A1 (en) 2023-01-24 2024-08-22 Apple Inc. Methods for displaying a user interface object in a three-dimensional environment
US12277848B2 (en) 2023-02-03 2025-04-15 Apple Inc. Devices, methods, and graphical user interfaces for device position adjustment
US12400414B2 (en) 2023-02-08 2025-08-26 Meta Platforms Technologies, Llc Facilitating system user interface (UI) interactions in an artificial reality (XR) environment
US20240281109A1 (en) 2023-02-17 2024-08-22 Apple Inc. Systems and methods of displaying user interfaces based on tilt
US12108012B2 (en) 2023-02-27 2024-10-01 Apple Inc. System and method of managing spatial states and display modes in multi-user communication sessions
US20240104870A1 (en) 2023-03-03 2024-03-28 Meta Platforms Technologies, Llc AR Interactions and Experiences
US20240338921A1 (en) 2023-04-07 2024-10-10 Apple Inc. Triggering a Visual Search in an Electronic Device
US20240361835A1 (en) 2023-04-25 2024-10-31 Apple Inc. Methods for displaying and rearranging objects in an environment
US12321515B2 (en) 2023-04-25 2025-06-03 Apple Inc. System and method of representations of user interfaces of an electronic device
US12182325B2 (en) 2023-04-25 2024-12-31 Apple Inc. System and method of representations of user interfaces of an electronic device
CN121420275A (zh) 2023-05-18 2026-01-27 苹果公司 用于移动三维环境中的对象的方法
KR20260008186A (ko) 2023-05-23 2026-01-15 애플 인크. 3차원 환경에서 가상 사용자 인터페이스들을 최적화하기 위한 방법들
US12443286B2 (en) 2023-06-02 2025-10-14 Apple Inc. Input recognition based on distinguishing direct and indirect user interactions
US12118200B1 (en) 2023-06-02 2024-10-15 Apple Inc. Fuzzy hit testing
US20240402800A1 (en) 2023-06-02 2024-12-05 Apple Inc. Input Recognition in 3D Environments
EP4695667A1 (en) 2023-06-03 2026-02-18 Apple Inc. Devices, methods, and graphical user interfaces for displaying views of physical locations
WO2024253973A1 (en) 2023-06-03 2024-12-12 Apple Inc. Devices, methods, and graphical user interfaces for content applications
US12099695B1 (en) 2023-06-04 2024-09-24 Apple Inc. Systems and methods of managing spatial groups in multi-user communication sessions
WO2024254095A1 (en) 2023-06-04 2024-12-12 Apple Inc. Locations of media controls for media content and captions for media content in three-dimensional environments
WO2024254096A1 (en) 2023-06-04 2024-12-12 Apple Inc. Methods for managing overlapping windows and applying visual effects
WO2024254076A1 (en) 2023-06-04 2024-12-12 Apple Inc. Devices, methods, and graphical user interfaces for displaying content of physical locations
US20240404233A1 (en) 2023-06-04 2024-12-05 Apple Inc. Methods for moving objects in a three-dimensional environment
CN119094689A (zh) 2023-06-04 2024-12-06 苹果公司 在多用户通信会话中管理空间组的系统和方法
CN121704703A (zh) 2023-06-04 2026-03-20 苹果公司 用于管理实时通信会话中的参与者的显示的系统和方法
WO2025024469A1 (en) 2023-07-23 2025-01-30 Apple Inc. Devices, methods, and graphical user interfaces for sharing content in a communication session
US20250029328A1 (en) 2023-07-23 2025-01-23 Apple Inc. Systems and methods for presenting content in a shared computer generated environment of a multi-user communication session
WO2025024476A1 (en) 2023-07-23 2025-01-30 Apple Inc. Systems, devices, and methods for audio presentation in a three-dimensional environment
US20250069328A1 (en) 2023-08-25 2025-02-27 Apple Inc. Methods for managing spatially conflicting virtual objects and applying visual effects
US20250077066A1 (en) 2023-08-28 2025-03-06 Apple Inc. Systems and methods for scrolling a user interface element
US20250104367A1 (en) 2023-09-25 2025-03-27 Apple Inc. Systems and methods of layout and presentation for creative workflows
US20250104335A1 (en) 2023-09-25 2025-03-27 Apple Inc. Systems and methods of layout and presentation for creative workflows
US20250106581A1 (en) 2023-09-26 2025-03-27 Apple Inc. Dynamically updating simulated source locations of audio sources
US20250111472A1 (en) 2023-09-29 2025-04-03 Apple Inc. Adjusting the zoom level of content
US20250111605A1 (en) 2023-09-29 2025-04-03 Apple Inc. Systems and methods of annotating in a three-dimensional environment
US20250110605A1 (en) 2023-09-29 2025-04-03 Apple Inc. Systems and methods of boundary transitions for creative workflows
US12561924B2 (en) 2023-09-29 2026-02-24 Apple Inc. Displaying extended reality media feed using media links
CN117857981A (zh) 2023-12-11 2024-04-09 歌尔科技有限公司 音频播放方法、车辆、头戴设备和计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130326364A1 (en) 2012-05-31 2013-12-05 Stephen G. Latta Position relative hologram interactions
US20140361971A1 (en) 2013-06-06 2014-12-11 Pablo Luis Sala Visual enhancements based on eye tracking
US20190346678A1 (en) 2015-12-30 2019-11-14 Elbit Systems Ltd. Managing displayed information according to user gaze directions
JP2017126009A (ja) 2016-01-15 2017-07-20 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
JP2018088118A (ja) 2016-11-29 2018-06-07 パイオニア株式会社 表示制御装置、制御方法、プログラム及び記憶媒体
JP2020086913A (ja) 2018-11-26 2020-06-04 株式会社デンソー ジェスチャ検出装置、およびジェスチャ検出方法
WO2020121483A1 (ja) 2018-12-13 2020-06-18 マクセル株式会社 表示端末、表示制御システムおよび表示制御方法

Also Published As

Publication number Publication date
EP4466593A1 (en) 2024-11-27
US20260011070A1 (en) 2026-01-08
JP2025508658A (ja) 2025-04-10
US20230316634A1 (en) 2023-10-05
US12475635B2 (en) 2025-11-18
CN119473001A (zh) 2025-02-18
KR20240134030A (ko) 2024-09-05
AU2023209446A1 (en) 2024-08-29
WO2023141535A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
JP7843357B2 (ja) 環境内にオブジェクトを表示及び再位置決めするための方法
JP7759157B2 (ja) 三次元環境内でオブジェクトを移動させるための方法
KR102945492B1 (ko) 환경 내의 객체들과 상호작용하기 위한 방법
US12511009B2 (en) Representations of messages in a three-dimensional environment
US12524977B2 (en) Methods for displaying, selecting and moving objects and containers in an environment
US12315091B2 (en) Methods for manipulating objects in an environment
US20230343049A1 (en) Obstructed objects in a three-dimensional environment
EP4295218A1 (en) Methods for manipulating objects in an environment
CN114637376A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
US12147591B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20260050358A1 (en) Devices, Methods, and Graphical User Interfaces for Displaying Shadow and Light Effects in Three-Dimensional Environments
CN118891602A (zh) 用于显示和重新定位环境中的对象的方法
KR20260047292A (ko) 환경 내의 객체들과 상호작용하기 위한 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240829

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240829

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250509

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20250812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20251110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20260227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20260330

R150 Certificate of patent or registration of utility model

Ref document number: 7843357

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150