JP7465952B2 - 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース - Google Patents

三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース Download PDF

Info

Publication number
JP7465952B2
JP7465952B2 JP2022513681A JP2022513681A JP7465952B2 JP 7465952 B2 JP7465952 B2 JP 7465952B2 JP 2022513681 A JP2022513681 A JP 2022513681A JP 2022513681 A JP2022513681 A JP 2022513681A JP 7465952 B2 JP7465952 B2 JP 7465952B2
Authority
JP
Japan
Prior art keywords
hand
user
display
environment
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022513681A
Other languages
English (en)
Other versions
JP2022546502A (ja
Inventor
ジェフリー， エム． フォークナー，
ヴィンセント， イスラエル パストラナ
フィリップ ロッケル，
ウェスリー， エム． ホルダー，
ポル， プラ アイ． コネサ，
ロバート， ティー． ティルトン，
スティーブン， オー． ルメイ，
ウィリアム， エー．， サード ソレンティーノ，
クリスティ， イー．， エス． バウアリー，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2022546502A publication Critical patent/JP2022546502A/ja
Priority to JP2024013225A priority Critical patent/JP2024069187A/ja
Application granted granted Critical
Publication of JP7465952B2 publication Critical patent/JP7465952B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1643—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being associated to a digitizer, e.g. laptops that can be used as penpads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

（関連出願）
本出願は、２０１９年９月２７日付で出願された米国特許仮出願第６２／９０７，４８０号、２０２０年９月２３日付で出願された米国特許出願第１７／０３０，２００号に対して優先権を主張するものであり、２０２０年９月２３日付で出願された米国特許出願第１７／０３０，２００号の継続出願である。
本開示は、概して、ディスプレイを介して仮想現実及び複合現実体験を提供する電子デバイスを含むがこれらに限定されない、表示生成コンポーネントと、コンピュータ生成体験を提供する１つ以上の入力デバイスと、を有するコンピュータシステムに関する。
拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は強化する少なくともいくつかの仮想要素を含む。コンピュータシステム及び他の電子コンピューティングデバイス用のカメラ、コントローラ、ジョイスティック、タッチ感知面、及びタッチスクリーンディスプレイなどの入力デバイスが、仮想／拡張現実環境と相互作用するために使用される。例示的な仮想要素は、デジタル画像、ビデオ、テキスト、アイコン、並びにボタン及びその他のグラフィックなどの仮想オブジェクトを含む。
しかし、少なくともいくつかの仮想要素を含む環境（例えばアプリケーション、拡張現実環境、複合現実環境、及び仮想現実環境）と相互作用する方法及びインタフェースは、煩雑で、非効率で、限定されたものである。例えば、仮想オブジェクトに関連付けられたアクションを実行するのに不十分なフィードバックしか提供しないシステム、拡張現実環境において所望の結果を達成するために一連の入力を必要とするシステム、及び仮想オブジェクトの操作が複雑で、エラーを起こしやすいシステムは、ユーザに対して大きな認知負担を引き起こしし、仮想／拡張現実環境での体験を損なう。加えて、それらの方法は必要以上に時間がかかり、それによってエネルギを浪費する。後者の問題は、バッテリ動作式デバイスにおいては特に重大である。
したがって、コンピュータシステムとの相互作用をユーザにとってより効率的かつ直感的にするコンピュータ生成体験をユーザに提供するための改善された方法及びインタフェースを有するコンピュータシステムが必要とされている。このような方法及びインタフェースは、ユーザにコンピュータ生成現実体験を提供する従来の方法を補完又は置換することができる。このような方法及びインタフェースは、提供された入力とその入力に対するデバイス応答との間の接続をユーザが理解することを補助することにより、ユーザからの入力の数、程度及び／又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを生成する。
表示生成コンポーネント及び１つ以上の入力デバイスを有するコンピュータシステムのためのユーザインタフェースに関連する上記の欠陥及び他の問題は、開示されたシステムによって低減又は排除される。いくつかの実施形態では、コンピュータシステムは、関連付けられたディスプレイを備えたデスクトップコンピュータである。いくつかの実施形態では、コンピュータシステムは、ポータブルデバイスである（例えばノートブックコンピュータ、タブレットコンピュータ、又はハンドヘルドデバイスである）。いくつかの実施形態では、コンピュータシステムは、パーソナル電子デバイス（例えば腕時計やヘッドマウントデバイスなどのウェアラブル電子デバイス）である。いくつかの実施形態では、コンピュータシステムは、タッチパッドを有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のカメラを有する。いくつかの実施形態では、コンピュータシステムは、タッチ感知ディスプレイ（「タッチスクリーン」又は「タッチスクリーンディスプレイ」としても知られる）を有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のアイトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、１つ以上のハンドトラッキングコンポーネントを有する。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネントに加えて１つ以上の出力デバイスを有し、出力デバイスは、１つ以上の触知出力ジェネレータ及び１つ以上のオーディオ出力デバイスを含む。いくつかの実施形態では、コンピュータシステムは、グラフィカルユーザインタフェース（ＧＵＩ）、１つ以上のプロセッサ、メモリ、及び複数の機能を実行するためのメモリに記憶された１つ以上のモジュール、プログラム、又は命令セットを有する。いくつかの実施形態では、ユーザは、タッチ感知面上のスタイラス及び／又は指の接触及びジェスチャ、カメラ及び他の移動センサによってキャプチャされたときのＧＵＩ又はユーザの身体に対する空間内のユーザの目及び手の移動、並びに１つ以上のオーディオ入力デバイスによってキャプチャされたときの音声入力を通じてＧＵＩと相互作用する。いくつかの実施形態では、相互作用を通じて実行される機能は、任意選択的に、画像編集、描画、プレゼンティング、ワードプロセッシング、スプレッドシートの作成、ゲームプレイ、電話をかけること、ビデオ会議、電子メール送信、インスタントメッセージング、トレーニングサポート、デジタル写真撮影、デジタルビデオ撮影、ウェブブラウジング、デジタル音楽の再生、メモ取り、及び／又はデジタルビデオの再生を含む。それらの機能を実行する実行可能命令は任意選択で、非一時的コンピュータ可読記憶媒体又は１つ以上のプロセッサによって実行されるように構成された他のコンピュータプログラム製品に含まれる。
三次元環境と相互作用するための改善された方法及びインタフェースを備えた電子デバイスが必要とされている。そのような方法及びインタフェースは、三次元環境と相互作用するための従来の方法を補完又は置換することができる。そのような方法及びインタフェースは、ユーザからの入力の数、程度、及び／又は種類を削減し、より効率的なヒューマンマシンインタフェースを生成する。
いくつかの実施形態では、方法は、表示生成コンポーネントと、１つ以上のカメラと、を含むコンピュータシステムにおいて実行され、本方法は、
三次元環境のビューを表示することと、三次元環境のビューを表示している間、１つ以上のカメラを使用して、ユーザの第１の手のユーザの人差し指上でのユーザの親指の移動検出することと、１つ以上のカメラを使用して、ユーザの人差し指上でのユーザの親指の移動を検出したことに応答して、移動が第１の方向の第１の手の人差し指上での親指のスワイプであるという判定に従って、第１の動作を実行することと、移動が第１の手の人差し指上の第１の位置における人差し指上での親指のタップであるという判定に従って、第１の動作とは異なる第２の動作を実行することと、を含む。
いくつかの実施形態では、方法は、表示生成コンポーネントと、１つ以上の入力デバイスと、を含むコンピューティングシステムにおいて実行され、本方法は、
三次元環境のビューを表示することと、三次元環境を表示している間に、三次元環境の一部に対応する第１の位置で手を検出することと、三次元環境の部分に対応する第１の位置で手を検出したことに応答して、手が第１の所定の構成に保たれているという判定に従って、三次元環境内の手ジェスチャを使用するジェスチャ入力のための第１の動作コンテキストの視覚的インジケーションを表示することと、手が第１の所定の構成に保たれていないという判定に従って、三次元環境内の手ジェスチャを使用するジェスチャ入力に対する第１の動作コンテキストの視覚的インジケーションの表示を行わないことと、を含む。
いくつかの実施形態では、方法は、表示生成コンポーネントと、１つ以上の入力デバイスと、を含むコンピュータシステムにおいて実行され、本方法は、
物理的環境の表現を表示することを含む、三次元環境を表示することと、物理的環境の表現を表示している間に、ジェスチャを検出することと、ジェスチャを検出したことに応答して、ユーザの視線が物理的環境内の所定の物理的位置に対応する位置に向けられているという判定に従って、三次元環境内のシステムユーザインタフェースを表示することと、ユーザの視線が物理的環境内の所定の物理的位置に対応する位置に向けられていないという判定に従って、システムユーザインタフェースを表示することなく、三次元環境の現在のコンテキストで動作を実行することと、を含む。
いくつかの実施形態では、方法は、表示生成コンポーネントと、１つ以上の入力デバイスと、を含む電子デバイスにおいて実行され、本方法は、
１つ以上の仮想オブジェクトを含む三次元環境を表示することと、三次元環境内の第１のオブジェクトに向けられた視線であって、視線が第１の基準を満たし、第１のオブジェクトが少なくとも１つのジェスチャ入力に応答する、視線を検出することと、第１の基準を満たし、及び少なくとも１つのジェスチャ入力に応答して第１のオブジェクトに向けられた視線を検出したことに応答して、手がジェスチャ入力を提供するための所定の準備完了状態にあるという判定に従って、三次元環境内の第１のオブジェクトに利用可能な１つ以上の相互作用オプションのインジケーションを表示することと、手がジェスチャ入力を提供するための所定の準備完了状態にないという判定に従って、第１のオブジェクトに対して利用可能な１つ以上の相互作用オプションのインジケーションの表示を行わないことと、を含む。
三次元環境と相互作用する電子デバイスのユーザの使用を容易にするための改善された方法及びインタフェースを備えた電子デバイスが必要とされている。そのような方法及びインタフェースは、三次元環境と相互作用する電子デバイスのユーザのユーザを容易にするための従来の方法を補完又は置換することができる。そのような方法及びインタフェースは、より効率的なヒューマンマシンインタフェースを生成し、ユーザがデバイスを更に制御することを可能にし、ユーザは、より安全で、認知量が低減され、ユーザ体験が改善されたデバイスを使用することができる。
いくつかの実施形態では、方法は、表示生成コンポーネント及び１つ以上の入力デバイスを含むコンピュータシステムで実行され、電子デバイスのユーザに対する所定の位置における表示生成コンポーネントの配置を検出することと、コンピュータシステムのユーザに対する所定の位置における表示生成コンポーネントの配置を検出したことに応答して、表示生成コンポーネントを通じて、パススルー部分であって、パススルー部分が、ユーザを取り囲む現実世界の少なくとも一部の表現を含む、パススルー部分を含む三次元環境の第１のビューを表示することと、パススルー部分を含む三次元環境の第１のビューを表示している間に、表示生成コンポーネントと物理的に結合されたハウジング上の手の握りの変化を検出することと、表示生成コンポーネントと物理的に結合されたハウジング上の手の握りの変化を検出したことに応答して、表示生成コンポーネントと物理的に結合されたハウジング上の手の握りの変化が第１の基準を満たしているという判定に従って、三次元環境の第１のビューを三次元環境の第２のビューであって、第２のビューが、パススルー部分の少なくとも一部を仮想コンテンツに置き換えることと、第２のビューに置き換えることとを含む。
いくつかの実施形態では、方法は、表示生成コンポーネント及び１つ以上の入力デバイスを含むコンピュータシステムで実行され、表示生成コンポーネントを介して、仮想環境のビューを表示することと、仮想環境のビューを表示している間、及び仮想環境のビューは、ユーザが位置する物理的環境内に存在する第１の物理的オブジェクトの第１の部分の視覚的表現を含んでいない間、物理的環境内のユーザの第１の移動を検出することと、物理的環境内のユーザの第１の移動を検出したことに応答して、第１の物理的オブジェクトが、仮想環境に対するユーザの視野に基づいてユーザにとって可視であり得る範囲を有し、ユーザが第１の物理的オブジェクトの第１の部分の閾値距離内にいるという判定に従って、仮想環境に対するユーザの視野に基づいてユーザにとって可視であり得る第１の物理的オブジェクトの範囲の一部である第１の物理的オブジェクトの第２の部分を示すように仮想環境のビューの外観を変化させることなく、第１の物理的オブジェクトの第１の部分の物理的特性を示す第１の方法で仮想環境のビューの外観を変化させることと、ユーザがユーザを取り囲む物理的環境内に存在する第１の物理的オブジェクトの閾値距離内にいないという判定に従って、第１の物理的オブジェクトの第１の部分の物理的特性を示す第１の方法で仮想環境のビューの外観を変化させないようにすることと、を含む。
いくつかの実施形態によれば、コンピュータシステムは、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドマウントディスプレイなど）、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的に、タッチ感知面との接触の強度を検出するための１つ以上のセンサ）、任意選択的に１つ以上の触覚出力ジェネレータ、１つ以上のプロセッサ、及び１つ以上のプログラムを記憶するメモリを含み、１つ以上のプログラムは、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、本明細書に記載の方法のうちのいずれかの動作を実行する、又は実行させるための命令を含む。いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が、内部に記憶されている命令を有し、命令は、表示生成コンポーネントと、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的にタッチ感知面との接触の強度を検出する１つ以上のセンサ）と、任意選択的に１つ以上の触知出力ジェネレータと、を有するコンピュータシステムによって実行されるとき、本明細書で説明される方法のいずれかの動作をデバイスに実行させ、又は動作の実行を行わせる。いくつかの実施形態によれば、表示生成コンポーネントと、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的にタッチ感知面との接触の強度を検出する１つ以上のセンサ）と、任意選択的に１つ以上の触知出力ジェネレータと、メモリと、メモリに記憶されている１つ以上のプログラムを実行する１つ以上のプロセッサと、を有するコンピュータシステムのグラフィカルユーザインタフェースが、本明細書で説明される方法のいずれかにおいて表示される要素のうちの１つ以上を含み、これらの要素は、本明細書で説明される方法のいずれかで説明されるように、入力に応じて更新される。いくつかの実施形態によれば、コンピュータシステムが、表示生成コンポーネントと、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的にタッチ感知面との接触の強度を検出する１つ以上のセンサ）と、任意選択的に１つ以上の触知出力ジェネレータと、本明細書で説明される方法のいずれかの動作を実行する、又は実行させる手段と、を含む。いくつかの実施形態によれば、表示生成コンポーネントと、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ）と、任意選択的に１つ以上の触知出力ジェネレータと、を有するコンピュータシステムで使用するための情報処理装置が、本明細書で説明される方法のいずれかの動作を実行する、又は実行させる手段を含む。
したがって、表示生成コンポーネントを有するコンピュータシステムには、三次元環境と相互作用し、三次元環境と相互作用するときにコンピュータシステムのユーザの使用を簡易化することによって、そのようなコンピュータシステムの有効性、効率、並びにユーザの安全性及び満足度を高める改善された方法及びインタフェースが提供される。そのような方法及びインタフェースは、三次元環境と相互作用し、三次元環境と相互作用するときにコンピュータシステムのユーザの使用を容易にするための従来の方法を補完又は置換することができる。
前述の様々な実施形態は、本明細書に記載の任意の他の実施形態と組み合わせることができることに留意されたい。本明細書で説明する機能及び利点は、包括的なものではなく、特に、図面、明細書及び特許請求の範囲を鑑みると、多くの追加の機能及び利点が当業者には明らかになるであろう。更に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を画定又は制限するために選択されたものではないことに留意されたい。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
いくつかの実施形態による、ＣＧＲ体験を提供するためのコンピュータシステムの動作環境を示すブロック図である。
いくつかの実施形態による、ユーザのＣＧＲ体験を管理及び調整するように構成されたコンピュータシステムのコントローラを示すブロック図である。
いくつかの実施形態による、ＣＧＲ体験の視覚的コンポーネントをユーザに提供するように構成されたコンピュータシステムの表示生成コンポーネントを示すブロック図である。
いくつかの実施形態による、ユーザのジェスチャ入力をキャプチャするように構成されたコンピュータシステムのハンドトラッキングユニットを示すブロック図である。
いくつかの実施形態による、ユーザの視線入力をキャプチャするように構成されたコンピュータシステムのアイトラッキングユニットを示すブロック図である。
いくつかの実施形態による、グリント支援視線追跡パイプラインを示すフローチャートである。
いくつかの実施形態による、三次元環境とのユーザ相互作用を示すブロック図である。 いくつかの実施形態による、三次元環境とのユーザ相互作用を示すブロック図である。 いくつかの実施形態による、三次元環境とのユーザ相互作用を示すブロック図である。 いくつかの実施形態による、三次元環境とのユーザ相互作用を示すブロック図である。 いくつかの実施形態による、三次元環境とのユーザ相互作用を示すブロック図である。 いくつかの実施形態による、三次元環境とのユーザ相互作用を示すブロック図である。 いくつかの実施形態による、三次元環境とのユーザ相互作用を示すブロック図である。 いくつかの実施形態による、三次元環境とのユーザ相互作用を示すブロック図である。 いくつかの実施形態による、三次元環境とのユーザ相互作用を示すブロック図である。 いくつかの実施形態による、三次元環境とのユーザ相互作用を示すブロック図である。
いくつかの実施形態による、コンピュータ生成三次元環境と相互作用するための物理的環境内のデバイスのユーザの使用を容易にする方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境と相互作用するための物理的環境内のデバイスのユーザの使用を容易にする方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境と相互作用するための物理的環境内のデバイスのユーザの使用を容易にする方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境と相互作用するための物理的環境内のデバイスのユーザの使用を容易にする方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境と相互作用するための物理的環境内のデバイスのユーザの使用を容易にする方法を示すブロック図である。 いくつかの実施形態による、コンピュータ生成三次元環境と相互作用するための物理的環境内のデバイスのユーザの使用を容易にする方法を示すブロック図である。
いくつかの実施形態による、三次元環境と相互作用する方法のフローチャートである。
いくつかの実施形態による、三次元環境と相互作用する方法のフローチャートである。
いくつかの実施形態による、三次元環境と相互作用する方法のフローチャートである。
いくつかの実施形態による、三次元環境と相互作用する方法のフローチャートである。
いくつかの実施形態による、三次元環境内のユーザの移行を容易にする方法のフローチャートである。
いくつかの実施形態による、三次元環境内のユーザの移行を容易にする方法のフローチャートである。
本開示は、いくつかの実施形態による、コンピュータ生成現実（ＣＧＲ）体験をユーザに提供するユーザインタフェースに関する。
本明細書に記載するシステム、方法、及びＧＵＩは、複数の方法で仮想／拡張現実環境とのユーザインタフェース相互作用を改善する。
いくつかの実施形態では、コンピュータシステムは、ユーザが同じ手の他の指又は部分に対する指の小さな移動で実行されるマイクロジェスチャを使用して、三次元環境（例えば、仮想又は複合現実環境）と相互作用することを可能にする。マイクロジェスチャは、例えば、タッチ感知面又は他の物理的コントローラとは対照的に、カメラ（例えば、ヘッドマウントデバイスと統合された、又はユーザから離れて（例えば、ＣＧＲ室に）設置されたカメラ）を使用して検出される。マイクロジェスチャ及び様々な移動パラメータの異なる移動及び位置を使用して、三次元環境で実行される動作を判定する。カメラを使用してマイクロジェスチャをキャプチャし、三次元環境と相互作用することにより、ユーザが物理的入力機器によって妨げられることなく物理的環境を自由に動き回ることができ、これにより、ユーザは、より自然かつ効率的に三次元環境を探索することができる。更に、マイクロジェスチャは、個別であり、目障りではなく、公の場で行うことができる及び／又は礼儀正しさを要する相互作用に適している。
いくつかの実施形態では、手の準備完了状態構成が定義される。手が表示された三次元環境の一部に対応する位置で検出されるという追加要件は、手の準備完了状態構成がコンピュータシステムによって誤って認識されないことを確実にする。手の準備完了状態構成は、ユーザが現在表示されている動作コンテキストとは異なる所定の動作コンテキストでコンピュータシステムと相互作用することを意図するインジケーションとしてコンピュータシステムによって使用される。例えば、所定の動作コンテキストは、現在表示されているアプリケーションの外側にあるデバイスとの１つ以上の相互作用（例えば、ゲーム、通信セッション、メディア再生セッション、ナビゲーションなど）である。所定の動作コンテキストは、任意選択的に、例えば、他の体験及び／又はアプリケーションを開始することができるホーム又は開始ユーザインタフェース、最近表示された体験及び／又はアプリケーションを選択及び再開することができるマルチタスキングユーザインタフェース、コンピュータシステムの１つ以上のデバイスパラメータ（例えば、ディスプレイの輝度、オーディオボリューム、ネットワーク接続など）を調節するための制御ユーザインタフェースを表示することなどのシステム相互作用である。特別な手ジェスチャを使用して、現在表示されている動作コンテキストとは異なるジェスチャ入力のための所定の動作コンテキストの視覚的インジケーションの表示をトリガすることにより、視覚的制御で三次元環境を乱雑にすることなく、かつ所定の動作コンテキストで相互作用を誤ってトリガすることなく、ユーザが所定の動作コンテキストに容易にアクセスすることができる。
いくつかの実施形態では、物理的オブジェクト又はその一部（例えば、ユーザの手又はハードウェアデバイス）は、三次元環境（例えば、複合現実環境）に現在表示されていないシステムユーザインタフェース（例えば、デバイス用の制御ユーザインタフェース）に関連付けられるように、ユーザ又はコンピュータシステムによって選択される。ユーザの視線が、所定の物理的オブジェクト又はその一部に対応する位置以外の三次元環境内の位置に向けられると、ユーザの手によって実行されるジェスチャは、システムユーザインタフェースを表示させることなく、現在表示されているコンテキストで動作を実行させ、ユーザの視線が、所定の物理的オブジェクト又はそのオプションに対応する三次元環境内の位置に向けられると、ユーザの手によって実行されるジェスチャは、システムユーザインタフェースを表示させる。ユーザの視線が所定の物理的オブジェクト（例えば、ジェスチャを実行するユーザの手、又はユーザがジェスチャを使用して制御しようとしている物理的オブジェクト）に向けられているかどうかに基づいて、現在表示されている動作コンテキストで動作を選択的に実行する、又は入力ジェスチャに応答してシステムユーザインタフェースを表示することにより、ユーザは、複数のコントロールによって三次元環境を視覚的に雑然とさせることなく、２つ以上のコンテキストで三次元環境と効率的に相互作用することができ、ユーザインタフェースの相互作用効率が改善される（例えば、所望の結果を達成するために必要な入力の数が低減される）。
いくつかの実施形態では、ジェスチャ入力に応答する三次元環境内の仮想オブジェクトに向けられたユーザの視線は、ユーザの手がジェスチャ入力を提供するために所定の準備完了状態にあることが見出された場合にのみ、仮想オブジェクトに対して利用可能な１つ以上の相互作用オプションの視覚的インジケーションを表示させる。ユーザの手がジェスチャ入力を提供するための準備完了状態で見出されない場合、仮想オブジェクトに向けられているユーザの視線は、視覚的インジケーションの表示をトリガしない。ユーザの視線とユーザの手の準備完了状態との組み合わせを使用して、仮想オブジェクトがジェスチャ入力のための関連付けられた相互作用オプションを有するかどうかの視覚的インジケーションを表示するか否かを判定することにより、ユーザが視線を三次元環境のあちこちでシフトさせるときの絶え間ない変化にユーザが不要にさらされることなく、ユーザが自身の目で三次元環境を探索する際の有益なフィードバックをユーザに提供して、三次元環境の探索時のユーザの混乱を低減する。
いくつかの実施形態では、ユーザが、ユーザに対して所定の位置にコンピュータシステムの表示生成コンポーネントを配置する（例えば、目の前にディスプレイを置く、又はヘッドマウントデバイスを自分の頭部に置く）とき、現実世界のユーザのビューは、表示生成コンポーネントによって遮断され、表示生成コンポーネントによって提示されるコンテンツがユーザのビューを支配する。時にユーザは、現実世界からコンピュータ生成体験に移行するためのより緩やかで制御されたプロセスから恩恵を得る。したがって、表示生成コンポーネントを介してユーザにコンテンツを表示するとき、コンピュータシステムは、ユーザを取り囲む現実世界の少なくとも一部の表現を含むパススルー部分を表示し、表示生成コンポーネントのハウジング上のユーザの手の握りの変化を検出したことに応答してのみパススルー部分の少なくとも一部を仮想コンテンツに置き換えて表示する。ユーザの手の握りの変化は、ユーザが表示生成コンポーネントを通じて現在提示されているよりも、更に没入型体験に移行する準備が整っているというインジケーションとして使用される。表示生成コンポーネントのハウジング上のユーザの手の握りの変化によって制御されるような没入型環境の段階的移行は、ユーザに直感的でかつ自然であり、コンピュータ生成没入型体験のためのコンピュータシステムを使用するときのユーザの体験及び快適性を向上させる。
いくつかの実施形態では、コンピュータシステムが仮想三次元環境を表示するとき、コンピュータシステムは、ユーザの閾値距離内に入る物理的オブジェクトの部分の位置に対応し、仮想環境に対するユーザの視野内にあり得る位置で、仮想環境の一部に視覚的変化を適用する（例えば、物理的オブジェクトのその部分は、ユーザにとって可視となるが、表示生成コンポーネントの存在が、ユーザの周囲の現実世界のユーザのビューを遮断する）。更に、視野内にあり得る物理的オブジェクトの全ての部分を単に提示する代わりに、ユーザの閾値距離内にない物理的オブジェクトの部分は、（例えば、ユーザの閾値距離内にない物理的オブジェクトのこれらの部分に対応する位置で仮想環境の部分の外観を変化させることによって）ユーザに対して視覚的に提示されない。いくつかの実施形態では、仮想環境の部分に適用される視覚的変化によると、ユーザの閾値距離内にある物理的オブジェクトの部分の１つ以上の物理的特性が、仮想環境のそれらの部分の表示を完全に停止する、又はユーザへの没入型仮想体験の提供を完全に停止することなく、仮想環境内で提示される。この技術は、ユーザの没入型仮想体験を過度に侵害及び妨害することなく、ユーザが没入型仮想環境を探索している間に物理的環境内を動き回るときにユーザに近づく物理的障害物について、ユーザに警告を発することを可能にする。したがって、より安全でスムーズな没入型仮想体験をユーザに提供することができる。
図１～６は、ＣＧＲ体験をユーザに提供するための例示的なコンピュータシステムを説明する。図７Ａ～７Ｇは、いくつかの実施形態による、ジェスチャ入力及び／又は視線入力を使用した三次元環境との例示的な相互作用を示す。図７Ｋ～７Ｍは、いくつかの実施形態による、ユーザが三次元環境との相互作用を移行したときに表示される例示的なユーザインタフェースを示す。図７Ｎ～図７Ｐは、いくつかの実施形態による、ユーザが仮想環境と相互作用しながら、物理的環境を移動するときに表示される例示的なユーザインタフェースを示す。図８～１１は、様々な実施形態による、三次元環境と相互作用する方法のフローチャートである。図７Ａ～図７Ｇのユーザインタフェースは、図８～１１のプロセスを説明するために使用される。図１２は、様々な実施形態による、三次元環境と相互作用するためのコンピュータシステムのユーザの使用を容易にする方法のフローチャートである。図７Ｋ～図７Ｍのユーザインタフェースは、図１２～１３のプロセスを説明するために使用される。
いくつかの実施形態では、図１に示されるように、ＣＧＲ体験は、コンピュータシステム１０１を含む動作環境１００を介してユーザに提供される。コンピュータシステム１０１は、コントローラ１１０（例えば、ポータブル電子デバイス又はリモートサーバのプロセッサ）と、表示生成コンポーネント１２０（例えば、ヘッドマウントデバイス（ＨＭＤ）、ディスプレイ、プロジェクタ、タッチスクリーンなど）と、１つ以上の入力デバイス１２５（例えば、アイトラッキングデバイス１３０、ハンドトラッキングデバイス１４０、他の入力デバイス１５０）と、１つ以上の出力デバイス１５５（例えば、スピーカ１６０、触知出力ジェネレータ１７０、及び他の出力デバイス１８０）と、１つ以上のセンサ１９０（例えば、画像センサ、光センサ、深度センサ、触覚センサ、配向センサ、近接センサ、温度センサ、位置センサ、運動センサ、速度センサなど）と、任意選択的に１つ以上の周辺デバイス１９５（例えば、家電製品、ウェアラブルデバイスなど）と、を含む。いくつかの実施形態では、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び周辺デバイス１９５のうちの１つ以上は、（例えば、ヘッドマウントデバイス又はハンドヘルドデバイス内で）表示生成コンポーネント１２０と統合される。
ＣＧＲ体験を説明するとき、ユーザが感知する、及び／又は（例えば、ＣＧＲ体験を生成するコンピュータシステムに、ＣＧＲ体験を生成するコンピュータシステム１０１に提供される様々な入力に対応するオーディオ、視覚、及び／又は触覚フィードバックを生成させる、コンピュータシステム１０１によって検出された入力を用いて）ユーザが相互作用することができる、いくつかの関連するが、別個の環境に個別的に言及するために様々な用語が使用される。以下は、これらの用語のサブセットである。
物理的環境：物理的環境とは、人々が電子システムの助け無しに、感知及び／又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び臭覚などを介して、物理的環境を直接感知し、及び／又はそれと相互作用することができる。
コンピュータ生成現実：対照的に、コンピュータ生成現実（ＣＧＲ）環境とは、人々が電子システムを介して感知及び／又は相互作用する、全体的又は部分的に模倣された環境を指す。ＣＧＲでは、人の身体運動のサブセット又はその表現が追跡され、それに応答して、ＣＧＲ環境内でシミュレートされた１つ以上の仮想オブジェクトの１つ以上の特性が、少なくとも１つの物理学の法則でふるまうように調節される。例えば、ＣＧＲシステムは、人の頭部の回転を検出し、それに応答して、そのようなビュー及び音が物理的環境においてどのように変化するかと同様の方法で、人に提示されるグラフィックコンテンツ及び音場を調節することができる。状況によっては（例えば、アクセス性の理由から）、ＣＧＲ環境における仮想オブジェクト（単数又は複数）の特性（単数又は複数）に対する調節は、身体運動の表現（例えば、音声コマンド）に応答して行われてもよい。人は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか１つを使用して、ＣＧＲオブジェクトを感知し、かつ／又はＣＧＲオブジェクトと相互作用してもよい。例えば、人は、３Ｄ空間において点音源の知覚を提供する、３Ｄ又は空間的広がりを有するオーディオ環境を作り出す音声オブジェクトを感知し、かつ／又はそれと相互作用することができる。別の例では、オーディオオブジェクトによって、コンピュータ生成オーディオを含めて、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性が可能になり得る。いくつかのＣＧＲ環境では、人は、音声オブジェクトのみを感知し、かつ／又はそれと相互作用してもよい。
ＣＧＲの例としては、仮想現実及び複合現実が挙げられる。
仮想現実：仮想現実（ＶＲ）環境とは、１つ以上の感覚について、コンピュータ生成感覚入力に全面的に基づくように設計された模倣環境を指す。ＶＲ環境は、人が感知かつ／又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人は、コンピュータ生成環境内に人が存在することのシミュレーションを通じて、かつ／又はコンピュータ生成環境内での人の身体運動のサブセットのシミュレーションを通じて、ＶＲ環境における仮想オブジェクトを感知し、かつ／又はそれと相互作用することができる。
複合現実：複合現実（ＭＲ）環境とは、コンピュータ生成感覚入力に全面的に基づくように設計されたＶＲ環境とは対照的に、コンピュータ生成感覚入力（例えば、仮想オブジェクト）を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計された模倣環境を指す。仮想の連続体上では、複合現実環境は、一方の端部における完全な物理的環境と、他方の端部における仮想現実環境との間であるがこれらを含まない、任意の場所である。いくつかのＭＲ環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変更に応答し得る。また、ＭＲ環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト（即ち、物理的環境からの物理的物品又はその表現）と相互作用することを可能にするために、物理的環境に対する位置及び／又は配向を追跡してもよい。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、動きを考慮することができる。
複合現実の例としては、拡張現実及び拡張仮想が挙げられる。
拡張現実：拡張現実（ＡＲ）環境とは、１つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ねられた模倣環境を指す。例えば、ＡＲ環境を提示するための電子システムは、人が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイに仮想オブジェクトを提示するように構成されていてもよく、それによって、人はシステムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又は動画をキャプチャする１つ以上の撮像センサとを有してもよい。システムは、画像又は動画を仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人はこのシステムを使用して、物理的環境を、物理的環境の画像又は動画によって間接的に見て、物理的環境に重ね合わされた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境の動画は、「パススルービデオ」と呼ばれ、システムが、１つ以上の画像センサ（単数又は複数）を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にＡＲ環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムが仮想オブジェクトを、例えば、ホログラムとして物理的環境の中に、又は物理的表面に投影するプロジェクションシステムを有してもよく、それによって、人はシステムを使用して、物理的環境に重ね合わされた仮想オブジェクトを知覚する。拡張現実環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換されるシミュレーション環境を指す。例えば、パススルービデオを提供する際に、システムは、１つ以上のセンサ画像を、イメージセンサがキャプチャした透視図とは別の選択された透視図（例えば、視点）を面付けするように変形してもよい。別の例として、物理的環境の表現を、その一部分をグラフィカルに変更（例えば、拡大）することによって変形してもよく、それにより、変更された部分を、元のキャプチャ画像を表すが非写実的な、改変版にすることもできる。更なる例として、物理的環境の表現は、その一部分をグラフィカルに除去又は不明瞭化することによって変形されてもよい。
拡張仮想：拡張仮想（ＡＶ）環境とは、仮想環境又はコンピュータ生成環境が物理的環境から１つ以上の感覚入力を組み込んだ模倣環境を指す。感覚入力は、物理的環境の１つ以上の特性の表現であり得る。例えば、ＡＶの公園には仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、１つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽の位置と一致する影を採用することができる。
ハードウェア：人が様々なＣＧＲ環境を感知し、及び／又はそれと相互作用することを可能にする、多くの異なるタイプの電子システムが存在する。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ（heads-up displays、ＨＵＤ）、統合表示機能を有する車両ウィンドシールド、統合表示機能を有する窓、（例えば、コンタクトレンズと同様に）人の目の上に配置されるように設計されたレンズとして形成されたディスプレイ、ヘッドホン／イヤフォン、スピーカアレイ、入力システム（例えば、触覚フィードバックを有する又は有さない、装着型コントローラ又はハンドヘルドコントローラ）、スマートフォン、タブレット、及びデスクトップ／ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、１つ以上のスピーカ（単数又は複数）及び一体型不透明ディスプレイを有してもよい。あるいは、ヘッドマウントシステムは、外部の不透明ディスプレイ（例えば、スマートフォン）を受容するように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像若しくは動画をキャプチャするための１つ以上の撮像センサ、及び／又は物理的環境のオーディオをキャプチャするための１つ以上のマイクロフォンを組み込んでいてもよい。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、ＯＬＥＤ、ＬＥＤ、ｕＬＥＤ、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィカル画像を人の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、仮想オブジェクトを、例えば、ホログラムとして、又は物理的表面として物理的環境に投影するように構成されてもよい。いくつかの実施形態では、コントローラ１１０は、ユーザのＣＧＲ体験を管理及び調整するように構成される。いくつかの実施形態では、コントローラ１１０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。コントローラ１１０については、図２を参照して以下より詳細に記載する。いくつかの実施形態では、コントローラ１１０は、シーン１０５（例えば、物理的設定／環境）に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ１１０は、シーン１０５内に位置するローカルサーバである。別の例では、コントローラ１１０は、シーン１０５の外側に位置するリモートサーバ（例えば、クラウドサーバ、中央サーバなど）である。いくつかの実施形態では、コントローラ１１０は、１つ以上の有線又は無線通信チャネル１４４（例えば、ＢＬＵＥＴＯＯＴＨ、ＩＥＥＥ８０２．１１ｘ、ＩＥＥＥ８０２．１６ｘ、ＩＥＥＥ８０２．３ｘなど）を介して、表示生成コンポーネント１２０（例えば、ＨＭＤ、ディスプレイ、プロジェクタ、タッチスクリーンなど）と通信可能に結合される。別の例では、コントローラ１１０は、表示生成コンポーネント１２０（例えば、ＨＭＤ、又はディスプレイ及び１つ以上のプロセッサなどを含むポータブル電子デバイス）、入力デバイス１２５のうちの１つ以上、出力デバイス１５５のうちの１つ以上、センサ１９０のうちの１つ以上、及び／又は周辺デバイス１９５のうちの１つ以上の筐体（例えば、物理的ハウジング）内に含まれる、又は上記のうちの１つ以上と同じ物理的筐体又は支持構造を共有する。
いくつかの実施形態では、表示生成コンポーネント１２０は、ＣＧＲ体験（例えば、ＣＧＲ体験の少なくとも視覚的コンポーネント）をユーザに提供するように構成される。いくつかの実施形態では、表示生成コンポーネント１２０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。表示生成コンポーネント１２０について、図３を参照して以下より詳細に説明する。いくつかの実施形態では、コントローラ１１０の機能は、表示生成コンポーネント１２０によって提供される、及び／又は表示生成コンポーネント１２０と組み合わされる。
いくつかの実施形態によれば、表示生成コンポーネント１２０は、ユーザがシーン１０５内に仮想的及び／又は物理的に存在している間に、ＣＧＲ体験をユーザに提供する。
いくつかの実施形態では、表示生成コンポーネントは、ユーザの身体の一部（例えば、頭部や手など）に装着される。したがって、表示生成コンポーネント１２０は、ＣＧＲコンテンツを表示するために提供された１つ以上のＣＧＲディスプレイを含む。例えば、表示生成コンポーネント１２０は、ユーザの視野を包囲する。いくつかの実施形態では、表示生成コンポーネント１２０は、ＣＧＲコンテンツを提示するように構成されたハンドヘルドデバイス（スマートフォン又はタブレットなど）であり、ユーザは、ユーザの視野に向けられるディスプレイ及びシーン１０５に向けられるカメラを備えたデバイスを保持する。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの頭部に装着された筐体内に配置される。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの前の支持体（例えば、三脚）上に配置される。いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザが表示生成コンポーネント１２０を着用又は保持しない状態でＣＧＲコンテンツを提示するように構成されたＣＧＲチャンバ、筐体、又は部屋である。ＣＧＲコンテンツ（例えば、ハンドヘルドデバイス又は三脚上のデバイス）を表示するための１つのタイプのハードウェアを参照して説明される多くのユーザインタフェースは、ＣＧＲコンテンツ（例えば、ＨＭＤ又は他のウェアラブルコンピューティングデバイス）を表示するための別のタイプのハードウェア上に実装され得る。例えば、ハンドヘルド又は三脚実装デバイスの前の空間内で起こる相互作用に基づいてトリガされるＣＧＲコンテンツとの相互作用を示すユーザインタフェースは、相互作用がＨＭＤの前の空間で発生し、ＣＧＲコンテンツの応答がＨＭＤを介して表示されるＨＭＤと同様に実装され得る。同様に、物理的環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するハンドヘルド又は三脚実装デバイスの移動に基づいてトリガされたＣＲＧコンテンツとの相互作用を示すユーザインタフェースは、物理的環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するＨＭＤの移動によって引き起こされるＨＭＤと同様に実装され得る。
動作環境１００の関連する特徴が図１に示されているが、当業者は、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないように、簡潔化のための様々な他の特徴が示されていないことを、本開示から理解されよう。
図２は、いくつかの実施形態による、コントローラ１１０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのため、非限定的な例として、いくつかの実施形態では、コントローラ１１０は、１つ以上の処理ユニット２０２（例えば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス２０６、１つ以上の通信インタフェース２０８（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、グローバル移動通信システム（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、グローバル測位システム（ＧＰＳ）、赤外線（ＩＲ）、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース２１０、メモリ２２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス２０４を含む。
いくつかの実施形態では、１つ以上の通信バス２０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス２０６は、キーボード、マウス、タッチパッド、ジョイスティック、１つ以上のマイクロフォン、１つ以上のスピーカ、１つ以上の画像センサ、１つ以上のディスプレイなどのうちの少なくとも１つを含む。
メモリ２２０は、ダイナミックランダムアクセスメモリ（dynamic random-access memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（static random-access memory、ＳＲＡＭ）、ダブルデータレートランダムアクセスメモリ（double-data-rate random-access memory、ＤＤＲＲＡＭ）、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ２２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性記憶デバイスなどの不揮発性メモリを含む。メモリ２２０は、１つ以上の処理ユニット２０２からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ２２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ２２０、又はメモリ２２０の非一時的コンピュータ可読記憶媒体は、任意選択的なオペレーティングシステム２３０及びＣＧＲ体験モジュール２４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム２３０は、様々な基本システムサービスを処理するための命令、及びハードウェア依存タスクを実行するための命令を含む。いくつかの実施形態では、ＣＧＲ体験モジュール２４０は、１人以上のユーザに対する１つ以上のＣＧＲ体験（例えば、１人以上のユーザに対する単一のＣＧＲ体験、又は１人以上のユーザの各グループに対する複数のＣＧＲ体験）を管理及び調整するように構成されている。その目的で、様々な実施形態では、ＣＧＲ体験モジュール２４０は、データ取得ユニット２４２、トラッキングユニット２４４、調整ユニット２４６、及びデータ送信ユニット２４８を含む。
いくつかの実施形態では、データ取得ユニット２４２は、図１の少なくとも表示生成コンポーネント１２０、及び任意選択的に入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上からデータ（例えば、提示データ、相互作用データ、センサデータ、位置データなど）を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット２４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、トラッキングユニット２４４は、シーン１０５をマッピングし、図１のシーン１０５に対する少なくとも表示生成コンポーネント１２０し、任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上の位置を追跡するように構成される。その目的で、様々な実施形態において、トラッキングユニット２４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実施形態では、処理ユニット２４４は、ハンドトラッキングユニット２４３及び／又はアイトラッキングユニット２４５を含む。いくつかの実施形態では、ハンドトラッキングユニット２４３は、図１のシーン１０５に対する、表示生成コンポーネント１２０に対する、及び／又はユーザの手に対して定義された座標系に対する、ユーザの手の１つ以上の部分の位置、及び／又はユーザの手の１つ以上の部分の運動を追跡するように構成される。ハンドトラッキングユニット２４３について、図４を参照して以下でより詳細に説明する。いくつかの実施形態では、アイトラッキングユニット２４５は、シーン１０５に対する（例えば、物理的環境及び／又はユーザ（例えば、ユーザの手）に対する）、又は表示生成コンポーネント１２０を介して表示されるＣＧＲコンテンツに対する、ユーザの視線（又は、より広範にはユーザの目、顔、又は頭部）の位置及び移動を追跡するように構成される。アイトラッキングユニット２４５について、図５を参照して以下でより詳細に説明する。
いくつかの実施形態では、調整ユニット２４６は、表示生成コンポーネント１２０によって、及び任意選択的に、出力デバイス１５５及び／又は周辺デバイス１９５のうちの１つ以上によって、ユーザに提示されるＣＧＲ体験を管理及び調整するように構成される。その目的で、様々な実施形態において、調整ユニット２４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット２４８は、データ（例えば、提示データ、位置データなど）を少なくとも表示生成コンポーネント１２０、及び任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上に送信するように構成される。その目的で、様々な実施形態では、データ送信ユニット２４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット２４２、トラッキングユニット２４４（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４４を含む）、調整ユニット２４６、及びデータ送信ユニット２４８が、単一のデバイス（例えば、コントローラ１１０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット２４２、トラッキングユニット２４４（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４４を含む）、調整ユニット２４６、及びデータ送信ユニット２４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図２は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図２に別々に示すいくつかの機能モジュールは、単一のモジュール内に実装することができ、単一の機能ブロックの様々な機能は、様々な実施形態において１つ以上の機能ブロックによって実装することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実施形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。
図３は、いくつかの実施形態による、表示生成コンポーネント１２０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実施形態では、ＨＭＤ１２０には、１つ以上の処理ユニット３０２（例えば、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ、ＣＰＵ、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）機器及びセンサ３０６、１つ以上の通信インタフェース３０８（例えば、ＵＳＢ、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、ＧＳＭ、ＣＤＭＡ、ＴＤＭＡ、ＧＰＳ、赤外線、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、及び／又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース３１０、１つ以上のＣＧＲディスプレイ３１２、１つ以上の任意の内向き及び／又は外向き画像センサ３１４、メモリ３２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス３０４、が含まれる。
いくつかの実施形態では、１つ以上の通信バス３０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス及びセンサ３０６は、慣性測定装置（ＩＭＵ）、加速度計、磁力計、ジャイロスコープ、温度計、１つ以上の生理的センサ（例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、血糖センサなど）、１つ以上のマイクロフォン、１つ以上のスピーカ、触覚エンジン、１つ以上の深度センサ（例えば、構造化光、飛行時間など）などのうちの少なくとも１つを含む。
いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ユーザにＣＧＲ体験を提供するように構成される。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ホログラフィック、デジタル光処理（ＤＬＰ）、液晶ディスプレイ（ＬＣＤ）、液晶オンシリコン（ＬＣｏＳ）、有機発光電界効果トランジスタ（ＯＬＥＴ）、有機発光ダイオード（ＯＬＥＤ）、表面伝導型電子放射素子ディスプレイ（ＳＥＤ）、電界放射ディスプレイ（ＦＥＤ）、量子ドット発光ダイオード（ＱＤ－ＬＥＤ）、ＭＥＭＳ、及び／又は同様のディスプレイタイプに相当する。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、回折、反射、偏光、ホログラフィックなどの、導波管ディスプレイに相当する。例えば、ＨＭＤ１２０は、単一のＣＧＲディスプレイを含む。別の実施例では、ＨＭＤ１２０は、ユーザの各目用のＣＧＲディスプレイを含む。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。
いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの目を含むユーザの顔の少なくとも一部に対応する画像データを取得するように構成される（及び、アイトラッキングカメラと称する場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの手（単数又は複数）及び任意選択的にユーザの腕（単数又は複数）の少なくとも一部に対応する画像データを取得するように構成される（及び、ハンドトラッキングカメラと称される場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、ＨＭＤ１２０が存在しない場合に、ユーザが視認するシーンに対応する画像データを取得するように前方を向くように構成される（及び、シーンカメラと称される場合がある）。１つ以上の任意選択的な画像センサ３１４は、（例えば、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ若しくは電荷結合デバイス（ＣＣＤ）画像センサを備えた）１つ以上のＲＧＢカメラ、１つ以上の赤外線（ＩＲ）カメラ、１つ以上のイベントベースのカメラ、及び／又は同様のもの、を含むことができる。
メモリ３２０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ３２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性記憶デバイスなどの不揮発性メモリを含む。メモリ３２０は、１つ以上の処理ユニット３０２から遠隔に位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ３２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ３２０、又はメモリ３２０の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム３３０及びＣＧＲ提示モジュール３４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム３３０は、様々な基本システムサービスを処理するための手順、及びハードウェア依存タスクを実行するための手順を含む。いくつかの実施形態では、ＣＧＲ提示モジュール３４０は、１つ以上のＣＧＲディスプレイ３１２を介してＣＧＲコンテンツをユーザに提示するように構成される。そのため、様々な実施形態では、ＣＧＲ提示モジュール３４０は、データ取得ユニット３４２、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８を含む。
いくつかの実施形態では、データ取得ユニット３４２は、少なくとも図１のコントローラ１１０からデータ（例えば、提示データ、相互作用データ、センサデータ、位置データなど）を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット３４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、ＣＧＲ提示ユニット３４４は、１つ以上のＣＧＲディスプレイ３１２を介してＣＧＲコンテンツを提示するように構成される。その目的で、様々な実施形態では、ＣＧＲ提示ユニット３４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、ＣＧＲマップ生成ユニット３４６は、メディアコンテンツデータに基づいて、ＣＧＲマップ（例えば、複合現実シーンの３Ｄマップ又はコンピュータ生成オブジェクトを配置することができる物理的環境のマップ）を生成するように構成される。その目的で、様々な実施形態では、ＣＧＲマップ生成ユニット３４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット３４８は、少なくともコントローラ１１０、及び任意選択的に入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上にデータ（例えば、提示データ、位置データなど）を伝送するように構成される。その目的で、様々な実施形態では、データ送信ユニット３４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット３４２は、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８は、単一のデバイス（例えば、図１の表示生成コンポーネント１２０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット３４２、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図３は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図３に別々に示すいくつかの機能モジュールは、単一のモジュール内に実装することができ、単一の機能ブロックの様々な機能は、様々な実施形態において１つ以上の機能ブロックによって実装することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実施形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。
図４は、ハンドトラッキングデバイス１４０の例示的な実施形態の概略図である。いくつかの実施形態では、ハンドトラッキングデバイス１４０（図１）は、ハンドトラッキングユニット２４３（図２）によって制御されて、ユーザの手の１つ以上の部分の位置、及び／又は図１のシーン１０５に対する（例えば、ユーザを取り囲む物理的環境の一部に対する、表示生成コンポーネント１２０に対する、又はユーザの一部（例えば、ユーザの顔、目、若しくは頭部）に対する、及び／又はユーザの手に対して定義された座標系に対する）ユーザの手の１つ以上の部分の移動を追跡する。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成コンポーネント１２０の一部である（例えば、ヘッドマウントデバイスに埋め込まれる、又はヘッドマウントデバイスに取り付けられる）。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成コンポーネント１２０とは別個である（例えば、別個のハウジング内に位置する、又は別個の物理的支持構造に取り付けられる）。
いくつかの実施形態では、ハンドトラッキングデバイス１４０は、人間のユーザの少なくとも手４０６を含む三次元シーン情報をキャプチャする画像センサ４０４（例えば、１つ以上のＩＲカメラ、３Ｄカメラ、深度カメラ、及び／又はカラーカメラなど）を含む。画像センサ４０４は、指及びそれらのそれぞれの位置を区別するのを可能にするのに十分な解像度で手画像をキャプチャする。画像センサ４０４は、典型的には、ユーザの身体の他の部分の画像、又は身体の全ての画像をキャプチャし、ズーム機能又は高倍率を有する専用センサのいずれかを有して、所望の解像度で手の画像をキャプチャすることができる。いくつかの実施形態では、画像センサ４０４はまた、手４０６の２Ｄカラービデオ画像及びシーンの他の要素をキャプチャする。いくつかの実施形態では、画像センサ４０４は、シーン１０５の物理的環境をキャプチャする他の画像センサと併せて使用される、又はシーン１０５の物理的環境をキャプチャする画像センサとして機能する。いくつかの実施形態では、画像センサ４０４は、画像センサ又はその一部の視野が使用されて、画像センサによってキャプチャされた手の移動がコントローラ１１０への入力として処理される相互作用空間を定義するように、ユーザ又はユーザの環境に対して位置決めされる。
いくつかの実施形態では、画像センサ４０４は、３Ｄマップデータ（及び場合によってはカラー画像データ）を含むフレームのシーケンスをコントローラ１１０に出力し、これにより、マップデータから高レベル情報を抽出する。この高レベル情報は、典型的には、アプリケーションプログラムインタフェース（ＡＰＩ）を介して、コントローラ上で実行されるアプリケーションに提供され、それに応じて表示生成コンポーネント１２０を駆動する。例えば、ユーザは、手４０８を移動させ、手の姿勢を変化させることによって、コントローラ１１０上で動作するソフトウェアと相互作用することができる。
いくつかの実施形態では、画像センサ４０４は、手４０６を含むシーン上にスポットパターンを投射し、投射されたパターンの画像をキャプチャする。いくつかの実施形態では、コントローラ１１０は、パターンのスポットの横方向シフトに基づいて、三角測量によって（ユーザの手の表面上の点を含む）シーン内の点の３Ｄ座標を計算する。このアプローチは、ユーザが任意の種類のビーコン、センサ、又は他のマーカを保持又は着用する必要がないという点で有利である。これは、画像センサ４０４からの特定の距離で、所定の基準面に対するシーン内の点の深度座標を与える。本開示では、画像センサ４０４は、シーン内の点の深度座標が画像センサによって測定されたｚ成分に対応するように、ｘ、ｙ、ｚ軸の直交セットを定義すると想定される。あるいは、ハンドトラッキングデバイス４４０は、単一又は複数のカメラ又は他のタイプのセンサに基づいて、立体撮像又は飛行時間測定などの他の３Ｄマッピング方法を使用することができる。
いくつかの実施形態では、ハンドトラッキングデバイス１４０は、ユーザが手（例えば、手全体又は１つ以上の指）を移動させている間、ユーザの手を含む深度マップの時間シーケンスをキャプチャし処理する。画像センサ４０４及び／又はコントローラ１１０内のプロセッサ上で動作するソフトウェアは、３Ｄマップデータを処理して、これらの深度マップ内の手のパッチ記述子を抽出する。ソフトウェアは、各フレームにおける手の姿勢を推定するために、以前の学習プロセスに基づいて、これらの記述子をデータベース４０８に記憶されたパッチ記述子と照合する。姿勢は、典型的には、ユーザの手関節及び指先の３Ｄ位置を含む。
ソフトウェアはまた、ジェスチャを識別するために、シーケンス内の複数のフレームにわたって手及び／又は指の軌道を解析することができる。本明細書に記載される姿勢推定機能は、運動追跡機能とインターリーブされてもよく、それにより、パッチベースの姿勢推定が２つ（又はそれ以上）のフレーム毎に１回のみ実行される一方、追跡は残りのフレームにわたって発生する姿勢の変化を発見するために使用される。姿勢、運動、及びジェスチャ情報は、上述のＡＰＩを介して、コントローラ１１０上で実行されるアプリケーションプログラムに提供される。このプログラムは、例えば、姿勢及び／又はジェスチャ情報に応答して、表示生成コンポーネント１２０上に提示された画像を移動させ修正する、又は他の機能を実行することができる。
いくつかの実施形態では、ソフトウェアは、例えばネットワーク上で、コントローラ１１０に電子形態でダウンロードされてもよい、又はその代わりに、光学、磁気、若しくは電子メモリ媒体などの、実体的非一時的媒体に提供されてもよい。いくつかの実施形態では、データベース４０８は、同様に、コントローラ１１０に関連付けられたメモリに記憶される。代替的又は追加的に、コンピュータの記載された機能の一部又は全ては、カスタム又は半カスタム集積回路又はプログラム可能なデジタル信号プロセッサ（ＤＳＰ）などの専用のハードウェアに実装されてもよい。コントローラ１１０は、例として、画像センサ４４０からの別個のユニットとして図４に示されているが、コントローラの処理機能の一部又は全部は、好適なマイクロプロセッサ及びソフトウェアによって、又はハンドトラッキングデバイス４０２のハウジング内の専用回路によって、又は他の方法で画像センサ４０４に関連付けることができる。いくつかの実施形態では、これらの処理機能のうちの少なくともいくつかは、（例えば、テレビセット、ハンドヘルドデバイス、又はヘッドマウントデバイスにおいて）表示生成コンポーネント１２０と統合された好適なプロセッサによって、又はゲームコンソール又はメディアプレーヤなどの任意の他の適切なコンピュータ化されたデバイスを用いて実行されてもよい。画像センサ４０４の感知機能は、同様に、センサ出力によって制御されるコンピュータ又は他のコンピュータ化された装置に統合することができる。
図４は、いくつかの実施形態による、画像センサ４０４によってキャプチャされた深度マップ４１０の概略図を更に含む。深度マップは、上述したように、それぞれの深度値を有するピクセルのマトリックスを含む。手４０６に対応するピクセル４１２は、このマップで背景及び手首からセグメント化されている。深度マップ４１０内の各ピクセルの輝度は、深度値、即ち、画像センサ４０４からの測定されたｚ距離に反比例し、深度が上昇するにつれて階調が濃くなる。コントローラ１１０は、人間の手の特徴を有する画像の成分（即ち、隣接ピクセル群）を識別及びセグメント化するために、これらの深度値を処理する。これらの特性は、例えば、深度マップのシーケンスの全体サイズ、形状、フレームからフレームへの運動を含むことができる。
図４はまた、いくつかの実施形態による、コントローラ１１０が手４０６の深度マップ４１０から最終的に抽出する手骨格４１４を概略的に示す。図４では、骨格４１４は、元の深度マップからセグメント化された手の背景４１６に重畳される。いくつかの実施形態では、手（例えば、指関節、指先、掌の中心、手首に接続する手の終端など）、及び任意選択的に手に接続された手首又は腕上の主要な特徴点が、手の骨格４１４上で識別され配置される。いくつかの実施形態では、複数の画像フレーム上にわたるこれらの主要な特徴点の位置及び移動がコントローラ１１０によって使用されて、いくつかの実施形態により、手によって実行される手ジェスチャ又は手の現在の状態を判定する。
図５は、アイトラッキングデバイス１３０の例示的な実施形態を示す（図１）。いくつかの実施形態では、アイトラッキングデバイス１３０は、アイトラッキングユニット２４５によって制御されて（図２）、シーン１０５に対する、又は表示生成コンポーネント１２０を介して表示されるＣＧＲコンテンツに対するユーザの視線の位置及び移動を追跡する。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成コンポーネント１２０と統合される。例えば、いくつかの実施形態では、表示生成コンポーネント１２０がヘッドセット、ヘルメット、ゴーグル、又は眼鏡などのヘッドマウントデバイス、又はウェアラブルフレームに配置されたハンドヘルドデバイスである場合、ヘッドマウントデバイスは、ユーザによる視聴のためのＣＧＲコンテンツを生成するコンポーネント及びＣＧＲコンテンツに対するユーザの視線を追跡するためのコンポーネントの両方を含む。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成コンポーネント１２０とは別個である。例えば、表示生成コンポーネントがハンドヘルドデバイス又はＣＧＲチャンバである場合、アイトラッキングデバイス１３０は、任意選択的に、ハンドヘルドデバイス又はＣＧＲチャンバとは別個のデバイスである。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイス又はヘッドマウントデバイスの一部である。いくつかの実施形態では、ヘッドマウントアイトラッキングデバイス１３０は、任意選択的に、頭部に装着されている表示生成コンポーネント又は頭部に装着されていない表示生成コンポーネントと共に使用される。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイスではなく、任意選択的に、ヘッドマウント表示生成コンポーネントと組み合わせて使用される。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイスではなく、任意選択的に、非ヘッドマウント表示生成コンポーネントの一部である。
いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザの目の前に左及び右の画像を含むフレームを表示して、３Ｄ仮想ビューをユーザに提供するディスプレイ機構（例えば、左右の目近傍ディスプレイパネル）を使用する。例えば、ヘッドマウント表示生成コンポーネントは、ディスプレイとユーザの目との間に位置する左右の光学レンズ（本明細書では接眼レンズと称される）を含んでもよい。いくつかの実施形態では、表示生成コンポーネントは、表示のためにユーザの環境のビデオをキャプチャする１つ以上の外部ビデオカメラを含んでもよい、又はそれに結合されてもよい。いくつかの実施形態では、ヘッドマウント表示生成コンポーネントは、ユーザが物理的環境を直接視認し、透明又は半透明ディスプレイ上に仮想オブジェクトを表示することができる透明又は半透明のディスプレイを有してもよい。いくつかの実施形態では、表示生成コンポーネントは、仮想オブジェクトを物理的環境に投影する。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理的環境の上に重ねられた仮想オブジェクトを観察することができる。そのような場合、左右の目のための別個のディスプレイパネル及び画像フレームが必要とされない場合がある。
図５に示すように、いくつかの実施形態では、視線トラッキングデバイス１３０は、少なくとも１つのアイトラッキングカメラ（例えば、赤外線（ＩＲ）又は近ＩＲ（ＮＩＲ）カメラ）、並びに光（例えば、ＩＲ又はＮＩＲ光）をユーザの目に向けて発する照明源（例えば、ＬＥＤのアレイ若しくはリングなどのＩＲ又はＮＩＲ光源）を含む。アイトラッキングカメラは、ユーザの目に向けられて、光源からの反射ＩＲ又はＮＩＲ光を目から直接受信してもよく、又は代替的に、ユーザの目と、視覚的光が通過することを可能にしながら目からアイトラッキングカメラにＩＲ又はＮＩＲ光を反射させるディスプレイパネルとの間に配置される「ホット」ミラーに向けられてもよい。視線トラッキングデバイス１３０は、任意選択的に、ユーザの目の画像を（例えば、１秒当たり６０～１２０フレーム（ｆｐｓ）でキャプチャされるビデオストリームとして）キャプチャし、画像を解析して、視線追跡情報を生成し、視線追跡情報をコントローラ１１０に通信する。いくつかの実施形態では、ユーザの両目は、それぞれのアイトラッキングカメラ及び照明源によって別々に追跡される。いくつかの実施形態では、ユーザの片目のみが、対応するアイトラッキングカメラ及び照明源によって追跡される。
いくつかの実施形態では、アイトラッキングデバイス１３０は、デバイス固有の較正プロセスを使用して較正されて、特定の動作環境１００用のアイトラッキングデバイスのパラメータ、例えば、ＬＥＤ、カメラ、ホットミラー（存在する場合）、接眼レンズ、及びディスプレイスクリーンの３Ｄ幾何学的関係及びパラメータを判定する。デバイス固有の較正プロセスは、ＡＲ／ＶＲ機器のエンドユーザへの配送前に、工場又は別の施設で実行されてもよい。デバイス固有の較正プロセスは、自動較正プロセスであってもよく、又は手動較正プロセスであってもよい。ユーザ固有の較正プロセスは、特定のユーザの目パラメータ、例えば、瞳孔位置、中心視覚位置、光軸、視軸、目間隔などの推定を含んでもよい。いくつかの実施形態によれば、いったんアイトラッキングデバイス１３０についてデバイス固有及びユーザ固有のパラメータが判定されると、アイトラッキングカメラによってキャプチャされた画像は、グリント支援方法を使用して処理され、ディスプレイに対するユーザの現在の視覚軸及び視点を判定することができる。
図５に示すように、アイトラッキングデバイス１３０（例えば、１３０Ａ又は１３０Ｂ）は、接眼レンズ（単数又は複数）５２０と、アイトラッキングが行われるユーザの顔の側に配置された少なくとも１つのアイトラッキングカメラ５４０（例えば、赤外線（ＩＲ）又は近ＩＲ（ＮＩＲ）カメラ）と光（例えば、ＩＲ又はＮＩＲ光）をユーザの目（単数又は複数）５９２に向かって発する照明源５３０（例えば、ＮＩＲ発光ダイオード（ＬＥＤ）のアレイ若しくはリングなどのＩＲ又はＮＩＲ光源）とを含む視線追跡システムと、を含む。アイトラッキングカメラ５４０は、ユーザの目（単数又は複数）５９２とディスプレイ５１０（例えば、ヘッドマウントディスプレイの左若しくは右側のディスプレイパネル、又はハンドヘルドデバイスのディスプレイ、プロジェクタなど）との間に位置し、（例えば、図５の上部に示されるように）可視光を透過させながら、目（単数又は複数）５９２からのＩＲ又はＮＩＲ光を反射するミラー５５０に向けられてもよく、あるいは、（例えば、図５の下部に示されるように）反射されたユーザの目５９２（単数又は複数）からのＩＲ又はＮＩＲ光を受け取るようにユーザの目（単数又は複数）５９２に向けられてもよい。
いくつかの実施形態では、コントローラ１１０は、ＡＲ又はＶＲフレーム５６２（例えば、左及び右のディスプレイパネルの左及び右のフレーム）をレンダリングし、フレーム５６２をディスプレイ５１０に提供する。コントローラ１１０は、様々な目的のために、例えば、表示のためにフレーム５６２を処理する際に、アイトラッキングカメラ５４０からの視線追跡入力５４２を使用する。コントローラ１１０は、任意選択的に、グリント支援方法又は他の適切な方法を使用して、アイトラッキングカメラ５４０から得られた視線追跡入力５４２に基づいて、ディスプレイ５１０上のユーザの視点を推定する。視線追跡入力５４２から推定された視点は、任意選択的に、ユーザが現在見ている方向を判定するために使用される。
以下、ユーザの現在の視線方向のいくつかの可能な使用事例について説明するが、これは限定することを意図するものではない。例示的な使用例として、コントローラ１１０は、判定されたユーザの視線方向に基づいて、仮想コンテンツを異なってレンダリングすることができる。例えば、コントローラ１１０は、周辺領域よりもユーザの現在の視線方向から判定された中心視覚領域において、より高い解像度で仮想コンテンツを生成してもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内の仮想コンテンツを位置決め又は移動させてもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内に特定の仮想コンテンツを表示してもよい。ＡＲアプリケーションにおける別の例示的な使用事例として、コントローラ１１０は、ＣＧＲ体験の物理的環境をキャプチャして、判定された方向に焦点を合わせるように外部カメラを方向付けることができる。次いで、外部カメラの自動焦点機構は、ユーザが現在ディスプレイ５１０上で見ている環境内のオブジェクト又は表面に焦点を合わせることができる。別の例示的な使用事例として、接眼レンズ５２０は集束可能なレンズであってもよく、視線追跡情報がコントローラによって使用されて、ユーザが現在見ている仮想オブジェクトが、ユーザの目５９２の収束に一致するために適切な両目連動を有するように接眼レンズ５２０の焦点を調整する。コントローラ１１０は、視線追跡情報を活用して、ユーザが見ている近接オブジェクトが正しい距離で現れるように接眼レンズ５２０を方向付けて焦点を調整することができる。
いくつかの実施形態では、アイトラッキングデバイスは、ディスプレイ（例えば、ディスプレイ５１０）、２つの接眼レンズ（例えば、接眼レンズ（単数又は複数）５２０）、アイトラッキングカメラ（例えば、アイトラッキングカメラ（単数又は複数）５４０）、及びウェアラブルハウジングに取り付けられた光源（例えば、光源５３０（例えば、ＩＲ又はＮＩＲＬＥＤ））を含むヘッドマウントデバイスの一部である。光源は、ユーザの目（単数又は複数）５９２に向かって光（例えば、ＩＲ又はＮＩＲ光）を発する。いくつかの実施形態では、光源は、図５に示されるように、各レンズの周りにリング又は円状に配置されてもよい。いくつかの実施形態では、８つの光源５３０（例えば、ＬＥＤ）が、一例として各レンズ５２０の周りに配置される。しかしながら、より多くの又はより少ない光源５３０が使用されてもよく、光源５３０の他の配置及び位置が用いられてもよい。
いくつかの実施形態では、ディスプレイ５１０は、可視光範囲内の光を発し、ＩＲ又はＮＩＲ範囲内の光を発さないため、視線追跡システムにノイズを導入しない。アイトラッキングカメラ（単数又は複数）５４０の位置及び角度は、例として与えられ、限定することを意図するものではないことに留意されたい。いくつかの実施形態では、単一のアイトラッキングカメラ５４０がユーザの顔の各側に位置する。いくつかの実施形態では、２つ以上のＮＩＲカメラ５４０をユーザの顔の各側に使用することができる。いくつかの実施形態では、広い視野（ＦＯＶ）を有するカメラ５４０と狭いＦＯＶを有するカメラ５４０が、ユーザの顔の各側に使用されてもよい。いくつかの実施形態では、１つの波長（例えば、８５０ｎｍ）で動作するカメラ５４０と異なる波長（例えば、９４０ｎｍ）で動作するカメラ５４０とが、ユーザの顔の各側に使用されてもよい。
図５に示すような視線追跡システムの実施形態は、例えば、コンピュータ生成現実（例えば、仮想現実、及び／又は複合現実を含む）アプリケーションに使用されて、コンピュータ生成現実（例えば、仮想現実、拡張現実、及び／又は拡張仮想を含む）の体験をユーザに提供することができる。
図６は、いくつかの実施形態による、グリント支援視線追跡パイプラインを示す。いくつかの実施形態では、視線追跡パイプラインは、グリント支援視線追跡システム（例えば、図１及び図５に示されるようなアイトラッキングデバイス１３０）によって実現される。グリント支援視線追跡システムは、追跡状態を維持することができる。当初、追跡状態はオフ又は「いいえ」である。追跡状態にあるとき、グリント支援視線追跡システムは、現フレームを解析する際に前のフレームからの先行情報を使用して、現フレーム内の瞳孔輪郭及びグリントを追跡する。追跡状態にない場合、グリント支援視線追跡システムは、現フレーム内の瞳孔及びグリントを検出しようとし、それに成功した場合、追跡状態を「はい」に初期化し、追跡状態で次のフレームに続く。
図６に示すように、視線追跡カメラは、ユーザの左目及び右目の左右の画像をキャプチャすることができる。次いで、キャプチャされた画像は、６１０で開始される処理のために視線追跡パイプラインに入力される。要素６００に戻る矢印によって示されるように、視線追跡システムは、例えば、毎秒６０～１２０フレームの速度で、ユーザの目の画像をキャプチャし続けることができる。いくつかの実施形態では、キャプチャされた画像の各セットが、処理のためにパイプラインに入力されてもよい。しかしながら、いくつかの実施形態、又はいくつかの条件下では、全てのキャプチャされたフレームがパイプラインによって処理されるわけではない。
６１０で、現在のキャプチャされた画像について、追跡状態がはいである場合、この方法は要素６４０に進む。６１０で、追跡状態がいいえである場合、６２０に示されるように、画像が解析されて、画像内のユーザの瞳孔及びグリントを検出する。６３０で、瞳孔とグリントが正常に検出される場合、方法は要素６４０に進む。正常に検出されない場合、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。
６４０で、要素４１０から進む場合、前のフレームからの先行情報に部分的に基づいて、現フレームが解析されて、瞳孔及びグリントを追跡する。６４０で、要素６３０から進む場合、現フレーム内の検出された瞳孔及びグリントに基づいて、追跡状態が初期化される。要素６４０での処理の結果は、追跡又は検出の結果が信頼できることを確認するためにチェックされる。例えば、結果は、瞳孔及び視線推定を実行するための十分な数のグリントが現フレームで正常に追跡又は検出されるかどうかを判定するためにチェックすることができる。６５０で、結果が信頼できない場合、追跡状態はいいえに設定され、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。６５０で、結果が信頼できる場合、方法は要素６７０に進む。６７０で、追跡状態ははいに設定され（まだはいではない場合）、瞳孔及びグリント情報が要素６８０に渡されて、ユーザの視点を推定する。
図６は、特定の実装で使用され得るアイトラッキング技術の一例として機能することを意図している。当業者によって認識されるように、現在存在するか、又は将来開発される他のアイトラッキング技術は、様々な実施形態によるＣＧＲ体験をユーザに提供するためにコンピュータシステム１０１において、本明細書に記載されるグリント支援視線追跡技術の代わりに、又はそれと組み合わせて使用することができる。
本開示では、コンピュータシステムとの相互作用に関して、様々な入力方法が説明される。一例が１つの入力デバイス又は入力方法を使用して提供され、別の例が別の入力デバイス又は入力方法を使用して提供される場合、各例は、別の例に関して記載された入力デバイス又は入力方法と互換性があり、任意選択的に利用され得ることを理解されたい。同様に、様々な出力方法が、コンピュータシステムとの相互作用に関して説明される。一例が１つの出力デバイス又は出力方法を使用して提供され、別の例が別の出力デバイス又は出力方法を使用して提供される場合、各例は、別の例に関して記載された出力デバイス又は出力方法と互換性があり、任意選択的に利用され得ることを理解されたい。同様に、様々な方法が、コンピュータシステムを介した仮想環境又は複合現実環境との相互作用に関して説明される。実施例が仮想環境との相互作用を使用して提供され、別の例が複合現実環境を使用して提供される場合、各例は、別の例に関して説明された方法と互換性があり、任意選択的に利用され得ることを理解されたい。したがって、本開示は、各実施形態の説明における実施形態の全ての特徴を網羅的に列挙することなく、複数の例の特徴の組み合わせである実施形態を開示する。
ユーザインタフェース及び関連するプロセス
ここで、ユーザインタフェース（「ＵＩ」）の実施形態、及び、表示生成コンポーネント、１つ以上の入力デバイス、及び（任意選択的に）１つ又は複数のカメラを備えた、ポータブル多機能デバイス又はヘッドマウントデバイスなどのコンピュータシステムにおいて実行され得る関連プロセスに注目する。
図７Ａ～図７Ｃは、いくつかの実施形態による、仮想又は複合現実環境と相互作用するための入力ジェスチャ（例えば、任意選択的に、ジェスチャの直前又は最中に動作を実行するためにユーザの手全体又は腕をそれらの自然な位置（単数又は複数）及び姿勢（単数又は複数）から離れるように大きく移動させることを必要とせずに、ユーザの指（単数又は複数）を他の指（単数又は複数）又はユーザの手の一部（単数又は複数）に対して移動させることによって実行される個別の小さな運動ジェスチャ）の例を示す。図７Ａ～７Ｃを参照して説明される入力ジェスチャは、図８におけるプロセスを含め、以下において説明されるプロセスを例示するために用いられる。
いくつかの実施形態では、図７Ａ～図７Ｃを参照して説明される入力ジェスチャは、センサシステム（例えば、図１のセンサ１９０、図３の画像センサ３１４）によってキャプチャされるデータ及び信号を解析することによって検出される。いくつかの実施形態では、センサシステムは、１つ以上の撮像センサ（例えば、モーションＲＧＢカメラ、赤外線カメラ、深度カメラなどの１つ以上のカメラ）を含む。例えば、１つ以上の撮像センサは、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０（例えば、ディスプレイ及びタッチ感知面として機能するタッチスクリーンディスプレイ、立体ディスプレイ、パススルー部分を有するディスプレイなど））を含むコンピュータシステム（例えば、図１のコンピュータシステム１０１（例えば、図７Ｃに示すようなポータブル電子デバイス７１００又はＨＭＤ））のコンポーネントである、又は上記コンピュータシステムにデータを提供する。いくつかの実施形態では、１つ以上の撮像センサは、デバイスのディスプレイとは反対側のデバイスの側に１つ以上の後面カメラを含む。いくつかの実施形態では、入力ジェスチャは、ヘッドマウントシステムのセンサシステム（例えば、ユーザの左目の左画像及びユーザの右目の右画像を提供する立体ディスプレイを含むＶＲヘッドセット）によって検出される。例えば、ヘッドマウントシステムのコンポーネントである１つ以上のカメラは、ヘッドマウントシステムの前側及び／又は下側に取り付けられている。いくつかの実施形態では、１つ以上の撮像センサは、撮像センサがヘッドマウントシステム及び／又はヘッドマウントシステムのユーザの画像をキャプチャするように、ヘッドマウントシステムが使用される空間に配置される（例えば、部屋内の様々な位置でヘッドマウントシステムの周りに配列される）。いくつかの実施形態では、入力ジェスチャは、ヘッドアップデバイス（例えば、ヘッドアップディスプレイ、グラフィックを表示する能力を有する自動車フロントガラス、グラフィックを表示する能力を有する窓、グラフィックを表示する能力を有するレンズ）のセンサシステムによって検出される。例えば、１つ以上の撮像センサは、自動車の内面に取り付けられる。いくつかの実施形態では、センサシステムは、１つ以上の深度センサ（例えば、センサアレイ）を含む。例えば、１つ以上の深度センサは、１つ以上の光ベースの（例えば、赤外線）センサ及び／又は１つ以上の音響ベースの（例えば、超音波）センサを含む。いくつかの実施形態では、センサシステムは、光エミッタ（例えば、赤外線エミッタ）及び／又は音声エミッタ（例えば、超音波エミッタ）などの１つ以上の信号エミッタを含む。例えば、光（例えば、所定パターンを有する赤外光エミッタアレイからの光）が手（例えば、図７１Ｃに関して説明されるような手７２００）に投射されている間、光の照明下の手の画像が１つ以上のカメラによってキャプチャされ、キャプチャされた画像が手の位置及び／又は構成を判定するために解析される。タッチ感知面又は他の直接接触機構又は近接ベースの機構の信号を使用することと対照的に、手に向けられた画像センサからの信号を使用して入力ジェスチャを判定することで、ユーザは、特定の入力デバイス又は入力領域によって課せられる制約を経験せずに、手で入力ジェスチャを提供するときに、大きな運動を実行するか、又は相対的に静止状態を保つかを自由に選択することができる。
図７Ａの部分（Ａ）は、ユーザの手の人差し指７１０８上の（例えば、親指７１０６に隣接する人差し指７１０８の側部上の）親指７１０６のタップ入力を示す。親指７１０６は、矢印７１１０によって示される軸に沿って移動し、この移動は、上昇位置７１０２からタッチダウン位置７１０４に移動する（例えば、親指７１０６が人差し指７１１０と接触し、人差し指７１１０上に置かれたままである）ことと、任意選択的に、親指７１０６が人差し指７１１０と接触した後、閾値時間（例えば、タップ時間閾値）内で、タッチダウン位置７１０４から上昇位置７１０２に移動することとを含む。いくつかの実施形態では、人差し指の側部から親指を持ち上げる必要なく、タップ入力が検出される。いくつかの実施形態では、タップ入力は、親指の下方移動の後に親指の上方移動が続き、親指が閾値時間未満、人差し指の側部と接触しているという判定に従って検出される。いくつかの実施形態では、タップホールド入力は、親指が上昇位置７１０２からタッチダウン位置７１０４まで移動し、少なくとも第１の閾値時間（例えば、タップ時間閾値又はタップ時間閾値よりも長い別の時間閾値）、タッチダウン位置７１０４にとどまるという判定に従って検出される。いくつかの実施形態では、コンピュータシステムは、人差し指上の親指によるタップホールド入力を検出するために、手全体が、少なくとも第１の閾値時間、ある位置で実質的に静止したままであることを必要とする。いくつかの実施形態では、タッチホールド入力は、手が実質的に静止したままであることを必要とせずに検出される（例えば、親指が人差し指の側部に置かれている間、手全体が移動することができる）。いくつかの実施形態では、タップホールドラッグ入力は、親指が人差し指の側部にタッチし、親指が人差し指の側部に静止している間に手全体が移動するときに検出される。
図７１Ａの部分（Ｂ）は、人差し指７１１８を横切る親指７１１６の移動（例えば、人差し指の掌側から背面への）プッシュ又はフリック入力を示す。親指７１１６は、人差し指７１１８を横切って（例えば、人差し指７１１８の中節骨を横切って）、矢印７１２０によって示される軸に沿って後退位置７１１２から伸長位置７１１４まで移動する。いくつかの実施形態では、親指の伸長移動は、例えば、親指による上方フリック入力のように、人差し指の側部から離れる上方移動を伴う。いくつかの実施形態では、人差し指は、親指が前方及び上方に移動する間、親指の方向と反対方向に移動する。いくつかの実施形態では、逆フリック入力は、伸長位置７１１４から後退位置７１１２に移動する親指によって実行される。いくつかの実施形態では、人差し指は、親指が後方及び下方に移動する間、親指の方向と反対方向に移動する。
図７Ａの部分（Ｃ）は、人差し指７１２８に沿った（例えば、親指７１２６に隣接する人差し指７１２８の側部又は掌の側部に沿った）親指７１２６の移動によるスワイプ入力を示す。親指７１２６は、人差し指７１２８の近位位置７１２２から（例えば、人差し指７１１８の基節骨又はその近傍）遠位位置７１２４（例えば、人差し指７１１８の末節骨の又はその近傍）まで、及び／又は遠位位置７１２４から近位位置７１２２まで、矢印７１３０によって示される軸に沿って人差し指７１２８の長さに沿って移動する。いくつかの実施形態では、人差し指は、任意選択的に、伸長状態（例えば、実質的に直線）又は屈曲状態である。いくつかの実施形態では、人差し指は、スワイプ入力ジェスチャで親指が移動する間、伸張状態と屈曲状態との間を移動する。
図７Ａの部分（Ｄ）は、様々な指（例えば、人差し指、中指、薬指、及び任意選択的に小指）の様々な指骨上での親指７１０６のタップ入力を示す。例えば、部分（Ａ）に示されるような親指７１０６は、上昇位置７１０２から部分（Ｄ）に示される７１３０～７１４８のいずれかに示されるようなタッチダウン位置まで移動する。タッチダウン位置７１３０では、親指７１０６は、人差し指７１０８の基節骨上の位置７１５０に接触して示されている。タッチダウン位置７１３４では、親指７１０６は、人差し指７１０８の中節骨上の位置７１５２に接触している。タッチダウン位置７１３６では、親指７１０６は、人差し指７１０８の末節骨上の位置７１５４に接触している。
７１３８、７１４０、及び７１４２に示されるタッチダウン位置では、親指７１０６は、中指の基節骨、中指の中節骨、及び中指の末節骨に対応する位置７１５６、７１５８、及び７１６０にそれぞれ接触する。
７１４４、７１４６、及び７１５０に示されるタッチダウン位置では、親指７１０６は、薬指の基節骨、薬指の中節骨、及び薬指の末節骨に対応する位置７１６２、７１６４、及び７１６６にそれぞれ接触する。
様々な実施形態では、別の指の異なる部分又は２つの並列する指の異なる部分上での親指７１０６によるタップ入力は、異なる入力に対応し、それぞれのユーザインタフェースコンテキストで異なる動作をトリガする。同様に、いくつかの実施形態では、異なるプッシュ又はクリック入力が、異なる指及び／又は指の異なる部分を横切る親指によって実行されて、それぞれのユーザインタフェース接触で異なる動作をトリガすることができる。同様に、いくつかの実施形態では、異なる指に沿って、及び／又は異なる方向に（例えば、指の遠位端又は近位端に向かって）親指によって実行される異なるスワイプ入力が、それぞれのユーザインタフェースコンテキストで異なる動作をトリガする。
いくつかの実施形態では、コンピュータシステムは、タップ入力、フリック入力、及びスワイプ入力を、親指の移動のタイプに基づいて異なるタイプの入力として処理する。いくつかの実施形態では、コンピュータシステムは、所与の入力タイプ（例えば、タップ入力タイプ、フリック入力タイプ、スワイプ入力タイプなど）の異なるサブ入力タイプ（例えば、近位、中間、遠位サブタイプ、又は人差し指、中指、薬指、若しくは小指サブタイプ）として親指によってタップ、タッチ、又はスワイプされる異なる指位置を有する入力を処理する。いくつかの実施形態では、移動する指（例えば、親指）によって実行される移動量、及び／又は指の移動に関連付けられる他の移動の尺度（例えば、速度、初期速度、終了速度、持続時間、方向、移動パターンなど）が使用されて、指入力によってトリガされる動作に定量的に影響を与える。
いくつかの実施形態では、コンピュータシステムは、タップスワイプ入力（例えば、親指が他の指へのタッチダウン後に、指の側部に沿ってスワイプする）、タップフリック入力（例えば、親指が他の指へのタッチダウン後に、掌の側部から指の後部まで指を横切ってフリックする）、ダブルタップ入力（例えば、ほぼ同じ位置での指の側部上の２連続タップ）などの、親指による一連の移動を組み合わせた組み合わせ入力タイプを認識する。
いくつかの実施形態では、ジェスチャ入力は、親指の代わりに人差し指によって実行される（例えば、人差し指が親指上でタップ又はスワイプを実行するか、又は親指及び人差し指が互いに向かって動いてピンチジェスチャを実行する）。いくつかの実施形態では、手首の移動（例えば、水平方向又は垂直方向での手首のフリック）は、指の移動入力の直前、直後（例えば、閾値時間内）、又は同時に実行されて、手首の移動による修正入力のない指の移動入力と比較して、現在のユーザインタフェースコンテキストで追加の動作、異なる動作、又は修正された動作をトリガする。いくつかの実施形態では、ユーザの顔に面するユーザの掌で実行される指入力ジェスチャは、ユーザの顔と反対に面するユーザの掌で実行される指入力ジェスチャとは異なるタイプのジェスチャとして処理される。例えば、ユーザに面するユーザの掌で実行されるタップジェスチャは、ユーザの顔と反対に面するユーザの掌で実行されるタップジェスチャに応答して実行される動作（例えば、同じ動作）と比較して、プライバシー保護が追加（又は低減）された動作を実行する。
１つのタイプの指入力を使用して、本開示で提供される実施例において動作タイプをトリガすることができるが、他の実施形態では、同じタイプの動作をトリガするために、他のタイプの指入力が任意選択的に使用される。
図７Ｂは、いくつかの実施形態では、ユーザインタフェースオブジェクト７１７２～７１９４を含むメニュー７１７０を示す例示的なユーザインタフェースコンテキストを示す。
いくつかの実施形態では、メニュー７１７０は、複合現実環境（例えば、空中に浮遊し、又は三次元環境内の物理的オブジェクトに重なり、複合現実環境に関連付けられた動作又は物理的オブジェクトに関連付けられた動作に対応する）に表示される。例えば、メニュー７１７０は、デバイス７１００の１つ以上の後面カメラによってキャプチャされた物理的環境のビューの少なくとも一部と共に（例えば、重ねて）デバイス（例えば、デバイス７１００（図７Ｃ）又はＨＭＤ）のディスプレイの表示によって表示される。いくつかの実施形態では、メニュー７１７０は、デバイス（例えば、ヘッドアップディスプレイ、又はＨＭＤ）の透明又は半透明ディスプレイ上に表示され、このディスプレイを通じて物理的環境が可視である。いくつかの実施形態では、メニュー７１７０は、仮想コンテンツによって囲まれたパススルー部分（例えば、物理的周囲が可視である透明又は半透明の部分、又は周囲の物理的環境のカメラビューを表示する部分）を含むユーザインタフェースに表示される。いくつかの実施形態では、複合現実環境において動作を実行させるジェスチャ入力を実行するユーザの手が、デバイスのディスプレイ上でユーザにとって可視である。いくつかの実施形態では、複合現実環境において動作を実行させるジェスチャ入力を実行するユーザの手は、デバイスのディスプレイ上でユーザにとって不可視である（例えば、ユーザに物理的世界のビューを提供するカメラは、ユーザの指入力をキャプチャするカメラとは異なる視野を有する）。
いくつかの実施形態では、メニュー７１７０は、仮想現実環境に表示される（例えば、仮想空間内に浮かぶ、又は仮想面に重なる）。いくつかの実施形態では、手７２００は、仮想現実環境において可視である（例えば、１つ以上のカメラによってキャプチャされた手７２００の画像が仮想現実設定にレンダリングされる）。いくつかの実施形態では、手７２００の表現（例えば、手７２００の漫画版）が、仮想現実設定においてレンダリングされる。いくつかの実施形態では、手７２００は、仮想現実環境において不可視である（例えば、省略される）。いくつかの実施形態では、デバイス７１００（図７Ｃ）は、（例えば、デバイス７１００がＨＭＤであるとき）仮想現実環境において不可視である。いくつかの実施形態では、デバイス７１００の画像又はデバイス７１００の表現は、仮想現実環境において可視である。
いくつかの実施形態では、ユーザインタフェースオブジェクト７１７２～７１９４のうちの１つ以上は、（例えば、対応するアプリケーションを起動する動作を実行するための）アプリケーション起動アイコンである。いくつかの実施形態では、ユーザインタフェースオブジェクト７１７２～７１９４のうちの１つ以上は、アプリケーション内でそれぞれの動作を実行する（例えば、ボリュームを上げる、ボリュームを下げる、再生する、一時停止する、早送りする、巻き戻す、リモートデバイスとの通信を開始する、リモートデバイスとの通信を終了する、リモートデバイスとの通信を伝達する、ゲームを開始するなど）ためのコントロールである。いくつかの実施形態では、ユーザインタフェースオブジェクト７１７２～７１９４のうちの１つ以上は、（例えば、リモートデバイスのそれぞれのユーザとの通信を開始する動作を実行するための）リモートデバイスのユーザのそれぞれの表現（例えば、アバター）である。いくつかの実施形態では、ユーザインタフェースオブジェクト７１７２～７１９４のうちの１つ以上は、メディア（例えば、画像、仮想オブジェクト、オーディオファイル、及び／又はビデオファイル）の表現（例えば、サムネイル、二次元画像、又はアルバムカバー）である。例えば、画像の表現であるユーザインタフェースオブジェクトをアクティブ化することにより、画像は、（例えば、１つ以上のカメラによって検出され、コンピュータ生成現実ビューに表示された表面に対応する位置（例えば、物理的環境内の表面に対応する位置、又は仮想空間に表示される表面に対応する位置に）表示される。
手７２００の親指が、図７Ａに関して説明された入力ジェスチャを実行する際、メニュー７１７０に対応する動作が、検出される入力ジェスチャの位置及び／又はタイプに応じて実行される。例えば、ｙ軸に沿った親指の移動（例えば、図７Ａの部分（Ｃ）に関して説明されるように、人差し指上の近位位置から人差し指上の遠位位置までの移動）を含む入力に応答して、現在の選択インジケータ７１９８（例えば、輪郭によるオブジェクトの強調表示又はオブジェクトの外観の変化などの、セレクタオブジェクト又は可動視覚的効果）は、アイテム７１９０から後続のユーザインタフェースオブジェクト７１９２へ右方に反復される。いくつかの実施形態では、人差し指上の遠位位置から人差し指上の近位位置までｙ軸に沿った親指の移動を含む入力に応答して、現在の選択インジケータ７１９８は、アイテム７１９０から前のユーザインタフェースオブジェクト７１８８へ左方に反復される。いくつかの実施形態では、人差し指上での親指のタップ入力（例えば、図７Ａの部分（Ａ）に関して説明されるようなｚ軸に沿った親指の移動）を含む入力に応答して、現在選択されているユーザインタフェースオブジェクト７１９０がアクティブ化され、現在選択されているユーザインタフェースオブジェクト７１９０に対応する動作が実行される。例えば、ユーザインタフェースオブジェクト７１９０は、アプリケーション起動アイコンであり、ユーザインタフェースオブジェクト７１９０が選択されている間にタップ入力に応答して、ユーザインタフェースオブジェクト７１９０に対応するアプリケーションが起動され、ディスプレイ上に表示される。いくつかの実施形態では、後退位置から伸長位置へのｘ軸に沿った親指の移動を含む入力に応答して、現在の選択インジケータ７１９８は、アイテム７１９０から上方のユーザインタフェースオブジェクト７１８２へ上方に移動する。ユーザインタフェースオブジェクト７１７２～７１９４のうちの１つ以上に関して提供される他のタイプの指入力が可能であり、任意選択的に、入力に従ってユーザインタフェースオブジェクト（単数又は複数）に対応する他のタイプの動作を実行させる。
図７Ｃは、コンピュータシステム（例えば、デバイス７１００又はＨＭＤ）によって表示される、複合現実ビュー（例えば、物理的環境の拡張現実ビュー）において可視であるメニュー７１７０の視覚的インジケーションを示す。いくつかの実施形態では、物理的環境内の手７２００は、７２００’に例示されるように、表示された拡張現実ビュー内で（例えば、カメラによってキャプチャされた物理的環境のビューの一部として）可視である。いくつかの実施形態では、手７２００は、メニュー７１７０が表示される透明又は半透明のディスプレイ面を通して可視である（例えば、デバイス７１００は、パススルー部分を備えたヘッドアップディスプレイ又はＨＭＤである）。
いくつかの実施形態では、図７Ｃに示されるように、メニュー７１７０は、ユーザの手の所定部分（例えば、親指の先端）に対応し、ユーザの手の配向に対応する配向を有する、複合現実環境内の位置に表示される。いくつかの実施形態では、ユーザの手が物理的環境（例えば、ユーザの手、又はユーザの目、又はユーザを取り囲む物理的オブジェクト若しくは壁をキャプチャするカメラ）に対して移動する（例えば、横方向に移動する又は回転する）とき、メニュー７１７０は、ユーザの手で複合現実環境において移動するように示されている。いくつかの実施形態では、メニュー７１７０は、複合現実環境に向けられたユーザの視線の移動に従って移動する。いくつかの実施形態では、メニュー７１７０は、ディスプレイ上に示される物理的環境のビューに関係なく、ディスプレイ上の固定位置に表示される。
いくつかの実施形態では、メニュー７１７０は、ユーザの手の準備完了姿勢（例えば、人差し指の側部に置かれた親指）を検出したことに応答して、ディスプレイ上に表示される。いくつかの実施形態では、準備完了姿勢の手を検出したことに応答して表示されるユーザインタフェースオブジェクトは、現在のユーザインタフェースコンテキスト及び／又は複合現実環境内のユーザの視線の位置に応じて異なる。
図７Ｄ～７Ｅは、いくつかの実施形態による、例示的な非準備完了状態構成（例えば、休止構成）（図７Ｄ）及び例示的な準備完了状態構成（図７Ｅ）における手７２００を示す。図７Ｄ～７Ｅを参照して説明される入力ジェスチャは、図９におけるプロセスを含め、以下において説明されるプロセスを例示するために用いられる。
図７Ｄでは、手７２００は、例示的な非準備完了状態構成（例えば、休止構成（例えば、手が弛緩した又は任意の状態にあり、親指７２０２は人差し指７２０４上に置かれていない））で示されている。例示的なユーザインタフェースコンテキストでは、ユーザインタフェースオブジェクト７２０８、７２１０、及び７２１２（例えば、アプリケーションアイコン、メディアオブジェクト、コントロール、メニュー項目など）を含むコンテナオブジェクト７２０６（例えば、アプリケーションドック、フォルダ、コントロールパネル、メニュー、プラッタ、プレビューなど）は、コンピュータシステム（例えば、図１のコンピュータシステム１０１（例えば、デバイス７１００、ＨＭＤ、又は他のデバイスの中でも上記を含むシステム））の表示生成コンポーネント（例えば、図１、図２、及び図４の表示生成コンポーネント１２０（例えば、タッチスクリーンディスプレイ、立体プロジェクタ、ヘッドアップディスプレイ、ＨＭＤなど））によって三次元環境（例えば、仮想環境又は複合現実環境）に表示される。いくつかの実施形態では、手の休止構成は、準備完了状態構成ではない手構成の一例である。例えば、必ずしも弛緩し静止しておらず、準備完了状態のジェスチャを検出するための基準（例えば、親指が人差し指（例えば、人差し指の中節骨）に置かれている）を満たさない他の手構成も、非準備完了状態構成として分類される。例えば、ユーザが空中で手を振っている、又は対象物を保持する、又は拳を握っているなどの場合、いくつかの実施形態では、コンピュータシステムは、ユーザの手が手の準備完了状態を検出するための基準を満たしていないと判定し、ユーザの手が非準備完了状態構成にあると判定する。いくつかの実施形態では、手の準備完了状態構成を検出するための基準は、ユーザが自分の手構成を変化させたことを検出し、その変化の結果、ユーザの親指がユーザの人差し指の所定の部分（例えば、人差し指の中節骨）に置かれたことを含む。いくつかの実施形態では、準備完了状態構成を検出するための基準は、手が準備完了状態構成にあることをコンピュータシステムが認識するために、手ジェスチャの変化の結果、少なくとも第１の閾値時間、ユーザの親指がユーザの人差し指の所定の部分上に置かれることを要件とする。いくつかの実施形態では、ユーザが自分の手構成を変化させず、準備完了状態構成に入った後に、少なくとも第２の閾値時間、有効な入力ジェスチャを提供しなかった場合、コンピュータシステムは、現在の手構成を非準備完了状態構成として処理する。コンピュータシステムでは、ユーザが自分の現在の手構成を変化させ、次いで準備完了状態構成を再認識するために準備完了状態構成に戻る必要がある。いくつかの実施形態では、準備完了状態構成は、例えば、ユーザが、手の意図される準備完了状態構成、及び任意選択的に、準備完了状態構成の許容可能な変動範囲を、コンピュータシステムによって提供されるジェスチャ設定環境内のコンピュータシステムに対して示すことによってユーザ構成可能かつユーザ自己定義可能である。
いくつかの実施形態では、コンテナ７２０６が、（例えば、図７Ｄ及び７Ｅに示されるように）複合現実環境に表示される。例えば、コンテナ７２０６は、デバイス７１００の１つ以上の後面カメラによってキャプチャされる物理的環境のビューの少なくとも一部を有するデバイス７１００のディスプレイによって表示される。いくつかの実施形態では、物理的環境内の手７２００はまた、７２００ｂに示されるように、例えば、手と、複合現実環境の表示されたビューで表される物理的環境との間の実際の空間関係を有して、表示された複合現実環境において可視である。いくつかの実施形態では、コンテナ７２０６及び手７２００は、ユーザから遠隔に配置され、遠隔物理的環境と結合されたカメラのライブフィードを介して表示される物理的環境に関連して表示される。いくつかの実施形態では、コンテナ７２０６は、ユーザを取り囲む物理的環境（例えば、７２００ｂに示されるような手７２００を含む）が可視であるデバイスの透明又は半透明ディスプレイ上に表示される。
いくつかの実施形態では、コンテナ７２０６は、仮想現実環境に表示される（例えば、仮想空間内に浮いている）。いくつかの実施形態では、手７２００は、仮想現実設定において可視である（例えば、１つ以上のカメラによってキャプチャされた手７２００の画像が仮想現実環境にレンダリングされる）。いくつかの実施形態では、手７２００の表現は、仮想現実環境において可視である。いくつかの実施形態では、手７２００は、仮想現実環境において不可視である（例えば、省略される）。いくつかの実施形態では、デバイス７１００は、仮想現実環境において不可視である。いくつかの実施形態では、デバイス７１００の画像又はデバイス７１００の表現は、仮想現実環境において可視である。
いくつかの実施形態では、手７２００が、（例えば、手の姿勢が変化する、又は準備完了状態構成に入る閾値時間内に有効な入力ジェスチャを提供することができないために）準備完了状態構成にない（例えば、任意の非準備完了状態構成にある、又は準備完了状態構成にとどまることを中止する）間、コンピュータシステムは、現在のユーザインタフェースコンテキストで動作を実行するための（手が準備完了状態構成に入ったかどうかについての認識以外の）入力ジェスチャ認識を実行せず、その結果、手７２００によって実行される入力ジェスチャ（例えば、図７Ａの部分（Ａ）に関して説明されるような、矢印７１１０によって示される軸に沿った親指の移動を含む、人差し指上での親指のタップ、図７Ａの部分（Ｂ）に関して説明されるような、矢印７１２０によって示される軸に沿った、人差し指を横切る親指の移動、及び／又は図７Ａの部分（Ｃ）に関して説明されるような、矢印７１３０によって示される軸に沿った、人差し指上での親指の移動）に応答して、どのような動作も実行されない。言い換えれば、コンピュータシステムは、入力ジェスチャを有効と認識し、現在のユーザインタフェースコンテキストで対応する動作を実行するために、ユーザを準備完了状態構成とし（例えば、非準備完了状態構成から準備完了状態構成に変化させ）、その後、（例えば、手が準備完了状態構成に入る閾値時間内に）現在のユーザインタフェースコンテキストのための有効な入力ジェスチャを提供する必要がある。いくつかの実施形態では、有効な入力ジェスチャが、準備完了状態構成の手を最初に検出することなく検出される場合、コンピュータシステムは、一定のタイプの動作を実行し（例えば、現在表示されているユーザインタフェースオブジェクトと相互作用し（例えば、スクロール又はアクティブ化し）、他のタイプの動作（例えば、新たなユーザインタフェースを呼び出す、システムレベル動作をトリガする（例えば、マルチタスキングユーザインタフェース又はアプリケーション起動ユーザインタフェースまでナビゲートする、デバイス機能制御パネルをアクティブ化するなど））を禁止する。これらの保護は、ユーザが現在のユーザインタフェースコンテキスト内で動作又は特定のタイプの動作を実行することを望まない場合、不注意かつ意図しない動作のトリガを防止及び低減し、ユーザの自由な手の移動の不必要な制約を回避するのに役立つ。加えて、準備完了状態構成に小さい個別の運動要件を課すことは、ユーザに（例えば、ユーザの腕又は手を過度に移動させることによる）過度の身体的負担を与えず、社会的環境下でユーザインタフェースと相互作用するときに、ユーザにとっての違和感を減らす傾向がある。
コンテナ７２０６のユーザインタフェースオブジェクト７２０８～７２１２は、例えば、１つ以上のアプリケーション起動アイコン、アプリケーション内の動作を実行するための１つ以上の制御部、リモートデバイスのユーザの１つ以上の表現、及び／又は（例えば、ユーザインタフェースオブジェクト７１７２～７１９４に関して上述したような）メディアの１つ以上の表現を含む。いくつかの実施形態では、ユーザインタフェースオブジェクトが選択され、コンピュータシステムによって手が最初に準備完了状態構成で発見されることなく入力ジェスチャが検出されると、コンピュータシステムは、入力ジェスチャに従って、選択されたユーザインタフェースオブジェクトに関して第１の動作を実行する（例えば、選択されたアプリケーションアイコンに対応するアプリケーションを起動する、選択された制御部の制御値を変更する、選択されたユーザの表現についてユーザとの通信を開始する、選択されたメディアアイテムの表現に対応するメディアアイテムの再生を開始する）。ユーザインタフェースオブジェクトが選択され、コンピュータシステムによって手が最初に準備完了状態構成で発見された状態で同じ入力ジェスチャが検出されると、コンピュータシステムは、第１の動作とは異なる第２の動作を実行する（例えば、第２の動作は、現在選択されているユーザインタフェースオブジェクトに固有ではないシステム動作である（例えば、システム動作は、手が準備完了状態構成で発見されたことに応答してシステムアフォーダンスを表示することと、入力ジェスチャに応答してシステムメニューを起動することと、を含む））。いくつかの実施形態では、手を準備完了状態構成に置くことにより、現在のユーザインタフェースコンテキスト内の任意の機能とペアリングされていない特定の入力ジェスチャ（例えば、親指フリックジェスチャ）が有効化され、手が準備完了状態構成で発見された後に、新たに有効化された入力ジェスチャが検出されると、新たに有効化された入力ジェスチャに関連付けられた追加の機能を、コンピュータシステムに実行させる。いくつかの実施形態では、コンピュータシステムは、任意選択的に、準備完了状態構成の手を検出したことに応答して、ユーザインタフェースインジケーション（例えば、追加のオプション、システムアフォーダンス、又はシステムメニュー）を表示し、ユーザに、新たに有効化された入力ジェスチャを用いてユーザインタフェースインジケーションと相互作用させる、又は追加機能をトリガさせる（例えば、システムアフォーダンスが表示されるときに検出される親指フリックジェスチャは、システムメニューを表示させる、システムメニューが表示されるときに検出される親指フリックジェスチャは、システムメニューによるナビゲーション又はシステムメニューの拡張を生じさせる）。
図７Ｅでは、手７２００が準備完了状態構成で示されている（例えば、親指７２０２が人差し指７２０４上に置かれている）。手７２００が準備完了状態構成に移動したという判定に従って、コンピュータシステムは、システムアフォーダンスアイコン７２１４を（例えば、親指の先端に対応する複合現実環境の領域内に）表示する。システムアフォーダンスアイコン７２１４は、（例えば、親指フリックジェスチャ又は他の所定の入力ジェスチャに応答して）１つ以上のユーザインタフェースオブジェクト（例えば、異なるアプリケーションに対応するアプリケーションアイコンのメニュー、現在開放されているアプリケーションのメニュー、デバイス制御ユーザインタフェースなど）を表示及び／又はアクセスすることができる領域を示す。いくつかの実施形態では、システムアフォーダンスアイコン７２１４が表示されている間、コンピュータシステムは、（例えば、図７Ｆに関して以下に説明されるように）手７２００によって実行される入力ジェスチャに応答して動作を実行する。
いくつかの実施形態では、非準備完了状態構成から準備完了状態構成への手７２００の移動は、図７Ａ～図７Ｃに関して上述したように、センサシステム（例えば、画像センサ、又は他のセンサ（例えば、運動センサ、タッチセンサ、振動センサなど））によってキャプチャされたデータを解析することによって検出される。いくつかの実施形態では、センサシステムは、１つ以上の撮像センサ（例えば、ポータブルデバイス又はヘッドマウントシステムに関連付けられた１つ以上のカメラ）、１つ以上の深度センサ、及び／又は１つ以上の光エミッタを含む。
いくつかの実施形態では、システムアフォーダンスアイコン７２１４は、複合現実環境に表示される。例えば、システムアフォーダンスアイコン７２１４は、表示生成コンポーネント（例えば、デバイス７１００又はＨＭＤのディスプレイ）によって、コンピュータシステムの１つ以上のカメラ（例えば、デバイス７１００の１つ以上の後面カメラ、又はＨＭＤの前面若しくは下面カメラ）によってキャプチャされた物理的環境のビューの少なくとも一部と共に表示される。いくつかの実施形態では、システムアフォーダンスアイコン７２１４は、デバイス（例えば、ヘッドアップディスプレイ、又はパススルー部分を備えたＨＭＤ）の透明又は半透明ディスプレイ上に表示され、このディスプレイを通じて物理的環境が可視である。いくつかの実施形態では、システムアフォーダンスアイコン７２１４は、仮想現実環境に表示される（例えば、仮想空間内に浮く）。
いくつかの実施形態では、コンピュータシステムは、現在のユーザインタフェースコンテキストの有効な入力ジェスチャを提供することなく、手の姿勢が変化し、もはや準備完了状態構成にないと検出したことに応答して、システムアフォーダンスアイコン７２１４の表示を停止する。いくつかの実施形態では、コンピュータシステムは、システムアフォーダンスアイコン７２１４の表示を停止し、閾値時間を超えて有効な入力ジェスチャを提供することなく、手が準備完了状態姿勢にとどまっていることを検出したことに応答して、準備完了状態構成を検出するための基準がもはや満たされていないと判定する。いくつかの実施形態では、システムアフォーダンスアイコン７２１４の表示を停止した後、ユーザの手の姿勢の変化により、準備完了状態構成を検出するための基準が再度満たされているという判定に従って、コンピュータシステムは、（例えば、新しい手の位置において親指の先端で）システムアフォーダンスアイコンを再表示する。
いくつかの実施形態では、手の２つ以上の準備完了状態構成が、任意選択的に、コンピュータシステムによって定義及び認識され、手の各準備完了状態構成が、コンピュータシステムに異なる種類のアフォーダンスを表示させ、異なるセットの入力ジェスチャ及び／又は動作が現在のユーザインタフェースコンテキストで実行されることを可能にする。例えば、第２の準備完了状態構成は、任意選択的に、親指が人差し指以外の指に置かれるように、全ての指を拳状に協働させる。コンピュータシステムがこの第２の準備完了状態構成を検出すると、コンピュータシステムは、アイコン７２１４から異なるシステムアフォーダンスアイコンを表示し、後続の入力ジェスチャ（例えば、人差し指を横切る親指スワイプ）は、コンピュータシステムにシステムシャットダウン動作を開始させる、又は電力オプション（例えば、シャットダウン、スリープ、一時停止など）のメニューを表示させる。
いくつかの実施形態では、コンピュータが準備完了状態構成にある手を検出したことに応答して表示されるシステムアフォーダンスアイコンは、複数の現在インストールされているアプリケーションを含む選択ユーザインタフェースを示すホームアフォーダンスであり、所定の入力ジェスチャ（例えば、図７Ａ～図７Ｃに関して説明されるような親指フリック入力、親指プッシュ入力、又は他の入力）の検出に応答して表示される。いくつかの実施形態では、それぞれのアプリケーションを起動するための複数のアプリケーションアイコンを含むアプリケーションドックが、コンピュータが準備完了状態構成の手を検出したことに応答して表示され、後続のアクティブ化又は手による選択入力ジェスチャが、コンピュータシステムに対応するアプリケーションを起動させる。
図７Ｆ～図７Ｇは、様々な実施形態による、手が準備完了状態構成で発見された状態で検出された入力ジェスチャに応答して実行される動作の様々な例を提供する。図７Ｆ～図７Ｇは、ユーザの視線に応じて実行される異なる動作を説明するが、いくつかの実施形態では、視線は、準備完了状態ジェスチャ及び／又は入力ジェスチャの検出において、それらの各種機能の実行をトリガするのに必要な要素ではないと理解されたい。いくつかの実施形態では、ユーザの視線と手の構成との組み合わせは、コンピュータシステムによって現在のユーザインタフェースコンテキストと併せて使用され、どの動作が実行されるかを判定する。
図７Ｆは、いくつかの実施形態による、準備完了状態構成の手で実行される例示的な入力ジェスチャと、表示された三次元環境（例えば、仮想現実環境又は複合現実環境）の例示的な応答とを示す。いくつかの実施形態では、コンピュータシステム（例えば、デバイス７１００又はＨＭＤ）は、親指の先端にシステムアフォーダンス（例えば、システムアフォーダンスアイコン７２１４）を表示して、手の準備完了状態構成が検出されていることと、システムジェスチャ（例えば、ドック又はシステムメニューを表示するための親指フリックジェスチャ、音声ベースアシスタントをアクティブ化する親指タップジェスチャ）が、例えば、現在のユーザインタフェースコンテキストで既に利用可能な他の入力ジェスチャ（例えば、ユーザインタフェースオブジェクトをスクロールするための親指スワイプ入力など）に加えて、所定のシステム動作をトリガすることが可能になっていることと、を示す。いくつかの実施形態では、システムアフォーダンスは、ジェスチャ入力を提供する際、空間内の手全体の移動及び／又は親指の移動に従って移動し、その結果、システムアフォーダンスの位置は、手の所定の部分（例えば、手７２００の親指の先端）に対して固定されたままである。
いくつかの実施形態によれば、図７Ｆの部分（Ａ）～（Ｃ）は、コンピュータシステムの表示生成コンポーネント（例えば、デバイス７１００のタッチスクリーンディスプレイ又は立体プロジェクタ又はＨＭＤのディスプレイ）によって表示される三次元環境７３００（例えば、仮想現実環境又は複合現実環境）を示す。いくつかの実施形態では、デバイス７１００は、ディスプレイ、タッチ感知ディスプレイなどを含むハンドヘルドデバイス（例えば、携帯電話、タブレット、又は他のモバイル電子デバイス）である。いくつかの実施形態では、デバイス７１００は、ヘッドアップディスプレイ、ヘッドマウントディスプレイなどを含むウェアラブルヘッドセットを表す。
いくつかの実施形態では、三次元環境７３００は、仮想オブジェクト（例えば、ユーザインタフェースオブジェクト７２０８、７２１０、及び７２１２）を含む仮想現実環境である。いくつかの実施形態では、仮想現実環境は、デバイス７１００が位置する物理的環境に対応しない。いくつかの実施形態では、仮想現実環境は、物理的環境に対応する（例えば、仮想オブジェクトの少なくともいくつかは、デバイス７１００の１つ以上のカメラを使用して判定された物理的環境内の物理的オブジェクトの位置に基づいて、対応する物理的環境内の物理的オブジェクトの位置に対応する仮想現実環境内の位置に表示される）。いくつかの実施形態では、三次元環境７３００は、複合現実環境である。いくつかの実施形態では、デバイス７１００は１つ以上のカメラを含み、１つ以上のカメラは、デバイス７１００の１つ以上のカメラの視野内にある周囲の物理的環境の少なくとも一部のライブビューを連続的に提供するように構成されており、複合現実環境は、デバイス７１００の１つ以上のカメラの視野内にある周囲の物理的環境の部分に対応する。いくつかの実施形態では、複合現実環境は、デバイス７１００の１つ以上のカメラのライブビューを少なくとも部分的に含む。いくつかの実施形態では、複合現実環境は、（例えば、１つ以上のカメラを使用して判定された物理的環境内の物理的オブジェクトの位置に基づいて、又はデバイス７１００の１つ以上のカメラのライブビューを使用して、物理的環境内の物理的オブジェクトの位置に対応する三次元環境７３００の位置で）、ライブカメラビューの代わりに表示される（例えば、重畳される、重ねられる、又は置き換えられる１つ以上の仮想オブジェクトを含む。いくつかの実施形態では、デバイス７１００のディスプレイは、ユーザがディスプレイの少なくとも部分的に透明な領域を通じて周囲の物理的環境の少なくとも一部を見ることができるように、少なくとも部分的に透明である（例えば、２５％、２０％、１５％、１０％、若しくは５％未満などの閾値透明度未満、又はパススルー部分を有する）ヘッドアップディスプレイを含む。いくつかの実施形態では、三次元環境７３００は、ディスプレイ上に表示される１つ以上の仮想オブジェクト（例えば、ユーザインタフェースオブジェクト７２０８、７２１０、及び７２１２を含むコンテナ７２０６）を含む。いくつかの実施形態では、三次元環境７３００は、ディスプレイの透明領域を通じて可視である周囲の物理的環境の一部に重畳されて現れるように、ディスプレイの透明領域上に表示される１つ以上の仮想オブジェクトを含む。いくつかの実施形態では、１つ以上のそれぞれの仮想オブジェクトは、（例えば、ディスプレイの透明領域を通じて可視である物理的環境の一部を監視するデバイス７１００の１つ以上のカメラを用いて判定されるような、物理的環境内の物理的オブジェクトの位置に基づいて）それぞれの仮想オブジェクトがそれぞれの物理的オブジェクトの代わりに表示されるように（例えば、それぞれの物理的オブジェクトのビューを不明瞭にし置き換えるように）、物理的環境内の物理的オブジェクトの位置に対応する三次元環境７３００内の位置に表示される。
いくつかの実施形態では、コンピュータシステムのセンサシステム（例えば、デバイス７１００又はＨＭＤの１つ以上のカメラ）は、ユーザの手などのユーザの１つ以上の特徴の位置及び／又は移動を追跡する。いくつかの実施形態では、ユーザの手（単数又は複数）（例えば、指）の位置及び／又は移動は、コンピュータシステム（例えば、デバイス７１００又はＨＭＤ）への入力として機能する。いくつかの実施形態では、ユーザの手は、コンピュータシステム（例えば、デバイス７１００又はＨＭＤ）の１つ以上のカメラの視野内にあり、ユーザの手の位置及び／又は移動は、コンピュータシステム（例えば、デバイス７１００又はＨＭＤ）への入力としてコンピュータシステム（例えば、デバイス７１００又はＨＭＤの制御ユニット）のセンサシステムによって追跡されるが、ユーザの手は、三次元環境７３００には示されない（例えば、三次元環境７３００は、１つ以上のカメラからのライブビューを含まず、手は１つ以上のカメラのライブビューの外で編集される、又はユーザの手は、三次元環境７３００のライブビューに表示される視野の一部の外側の１つ以上のカメラの視野内にある）。いくつかの実施形態では、図７Ｆに示される例と同様に、手７２００（例えば、ユーザの手の表現、又はデバイス７１００の１つ以上のカメラの視野内にある手の一部の表現）が、三次元環境７１００において可視である（例えば、レンダリングされた表現として表示される、ライブカメラビューの一部として表示される、又はディスプレイのパススルー部分を通じて可視である）。図７Ｆでは、手７２００は、ジェスチャ入力（例えば、手ジェスチャ入力）を提供するための準備完了状態構成（例えば、人差し指の中央にある親指）にあることが検出される。いくつかの実施形態では、コンピュータシステム（例えば、デバイス７１００又はＨＭＤ）は、１つ以上のカメラのライブビュー上で画像解析を行うことによって、手７２００が準備完了状態構成にあると判定する。手の準備完了状態構成及び入力ジェスチャに関する更なる詳細は、少なくとも図７Ａ～７Ｅ及び付随する説明で提供され、簡潔にするためにここでは繰り返さない。
いくつかの実施形態によれば、図７Ｆの部分（Ａ）は、（例えば、図７ＦのＡ（１）～Ａ（２）の手構成の移行によって示されるように）矢印７１２０によって示される軸に沿った手７２００の人差し指の一部を横切る（例えば、人差し指の掌側から後側へ中節骨を横切る）手７２００の親指の移動を含む第１のタイプの入力ジェスチャ（例えば、親指フリックジェスチャ又は親指プッシュジェスチャ）を示す。上記のように、いくつかの実施形態では、図７Ｆに示されるようなジェスチャを実行しながらの手７２００の移動（例えば、ジェスチャ中の手全体の移動及び個々の指の相対移動を含む）、及びジェスチャ中の手７２００の位置（例えば、手全体の位置及び個々の指の相対位置を含む）が、デバイス７１００の１つ以上のカメラによって追跡される。いくつかの実施形態では、デバイス７１００は、１つ以上のカメラのライブビュー上で画像解析を行うことによって、手７２００によって実行されるジェスチャを検出する。いくつかの実施形態では、手の準備完了状態構成から始まる親指フリックジェスチャが手によって提供されているという判定に従って、コンピュータシステムは、親指フリックジェスチャに対応する第１の動作（例えば、複数のアプリケーション起動アイコンを含むメニュー７１７０の表示などのシステム動作、又は手が最初に準備完了状態構成で発見されなかった場合には有効にされない現在のユーザインタフェースコンテキストに対応する動作）を実行する。いくつかの実施形態では、手７２００によって追加のジェスチャが提供されて、メニューと相互作用する。例えば、メニュー７１７０の表示後の後続の親指フリックジェスチャは、メニュー７１７０を三次元環境に追い込み、仮想空間において強化状態で（例えば、メニュー項目のより大きくアニメーション化された表現を用いて）表示させる。いくつかの実施形態では、後続の親指スワイプジェスチャは、メニューの現在選択されている行内で選択インジケータを水平にスクロールし、その後の親指プッシュ又は親指プルジェスチャは、メニューの異なる行にわたって選択インジケータを上下にスクロールする。いくつかの実施形態では、後続の親指タップジェスチャは、三次元環境で起動される現在選択されているメニュー項目（例えば、アプリケーションアイコン）のアクティブ化を停止する。
いくつかの実施形態によれば、図７Ｆの部分（Ｂ）は、（例えば、図７ＦのＢ（１）～Ｂ（２）への手構成の移行によって示されるように）矢印７１３０によって示される軸に沿った手７２００の人差し指の長さに沿った手７２００の親指の移動を含む第２のタイプのジェスチャ（例えば、親指スワイプジェスチャ）を示す。いくつかの実施形態では、ジェスチャは、手が最初に準備完了状態構成で発見されたかどうかに関係なく、現在のユーザインタフェースコンテキストで仮想オブジェクト（例えば、コンテナオブジェクト７２０６内の仮想オブジェクト７２０８、７２１０、及び７２１２）との相互作用を有効化する。いくつかの実施形態では、親指スワイプジェスチャが準備完了状態構成から開始されたかどうかに応じて、コンテナオブジェクト７２０６に対する異なるタイプの相互作用が有効化される。いくつかの実施形態では、親指スワイプジェスチャが準備完了状態構成から始まる手によって提供されたという判定に従って、コンピュータシステムは、親指スワイプジェスチャに対応する第２の動作を実行する（例えば、コンテナオブジェクト７２０６のビューをスクロールして、最初はユーザに不可視であったコンテナオブジェクト７２０６内の１つ以上の仮想オブジェクトを表示する、又は手が最初に準備完了状態構成で発見されなかった場合には有効化されない現在のユーザインタフェースコンテキストに対応する別の動作）。いくつかの実施形態では、手７２００によって追加のジェスチャが提供されて、コンテナオブジェクトと相互作用する、又はシステム動作を実行する。例えば、後続の親指フリックジェスチャは、（例えば、図７Ｆ、部分（Ａ）に示すように）メニュー７１７０を表示させる。いくつかの実施形態では、異なる方向の後続の親指スワイプジェスチャは、コンテナオブジェクト７２０６のビューを反対方向にスクロールする。いくつかの実施形態では、後続の親指タップジェスチャは、コンテナ７２０６内の現在選択されている仮想オブジェクトをアクティブ化する。いくつかの実施形態では、親指スワイプジェスチャが準備完了状態構成から開始されなかった場合、親指スワイプジェスチャに応答して、選択インジケータが、手７２００の親指の移動の方向に、コンテナ７２０６内の仮想オブジェクトを通じてシフトされる。
いくつかの実施形態によれば、図７Ｆの部分（Ｃ）は、第３のタイプのジェスチャ入力（例えば、親指タップジェスチャ）（例えば、図７ＦのＣ（１）からＣ（２）への手構成の移行によって示されるように）（例えば、矢印７１１０によって示される軸に沿って上昇位置から下方に親指を移動させることによって）（例えば、手７２００の人差し指の所定の部分（例えば、中節骨）上での手７２００の親指のタップ）を示す。いくつかの実施形態では、親指タップジェスチャを完了させるには、人差し指から親指を離すことが必要である。いくつかの実施形態では、ジェスチャは、手が最初に準備完了状態構成で発見されたかどうかに関係なく、現在のユーザインタフェースコンテキストで仮想オブジェクト（例えば、コンテナオブジェクト７２０６内の仮想オブジェクト７２０８、７２１０、及び７２１２）との相互作用を有効化する。いくつかの実施形態では、親指タップジェスチャが準備完了状態構成から開始されたかどうかに応じて、コンテナオブジェクト７２０６に対する異なるタイプの相互作用が有効化される。いくつかの実施形態では、手の準備完了状態構成から開始される親指タップジェスチャが手によって提供されたという判定に従って（例えば、ジェスチャは、人差し指上での親指のタップ前に、人差し指から離れて親指を上方に移動させることを含む）、コンピュータシステムは、親指タップジェスチャに対応する第３の動作（例えば、音声ベースアシスタント７３０２又は通信チャネル（例えば、音声通信アプリケーション）のアクティブ化）、又は手が最初に準備完了状態構成で発見されなかった場合には有効化されない現在のユーザインタフェースコンテキストに対応する別の動作）を実行する。いくつかの実施形態では、手７２００によって追加のジェスチャが提供されて、音声ベースのアシスタント又は通信チャネルと相互作用する。例えば、後続の親指フリックジェスチャは、音声ベースのアシスタント又は音声通信ユーザインタフェースを、ユーザの手の隣接位置から三次元環境内の空間内のより遠い位置へと追い込む。いくつかの実施形態では、後続の親指スワイプジェスチャは、音声ベースのアシスタントの異なる事前設定された機能をスクロールする、又は音声通信チャネルの潜在的受信者のリストをスクロールする。いくつかの実施形態では、後続の親指タップジェスチャは、音声ベースのアシスタント又は音声通信チャネルを解除させる。いくつかの実施形態では、親指タップジェスチャが準備完了状態構成から開始されなかった場合、図７Ｅの部分（Ｃ）における親指タップジェスチャに応答して、現在のユーザインタフェースコンテキストで利用可能な動作がアクティブ化される（例えば、現在選択されている仮想オブジェクトがアクティブ化される）。
図７Ｆに示される例は、単なる例示である。手の準備完了状態構成から開始される入力ジェスチャの検出に応答して追加の及び／又は異なる動作を提供することにより、ユーザは、制御部でユーザインタフェースを乱雑にすることなく追加機能を実行し、それらの機能を実行するためのユーザ入力の数を低減することによって、ユーザインタフェースを更に効率化し、ユーザとデバイスとの間の相互作用中にかかる時間を節約することができる。
図７Ａ～７Ｆに示されるユーザインタフェース相互作用は、ユーザの視線の位置とは無関係に説明する。いくつかの実施形態では、相互作用は、ユーザの視線の位置又は三次元環境の部分内のユーザの視線の正確な位置に依存しない。しかしながら、いくつかの実施形態では、視線は、システムの応答挙動を修正するために利用され、動作及びユーザインタフェースフィードバックは、ユーザ入力が検出されたときに、ユーザの異なる位置に応じて変更される。図７Ｇは、いくつかの実施形態による、準備完了状態の手で実行される例示的なジェスチャ、及びユーザの視線に応じて表示された三次元環境の例示的な応答を示す。例えば、図の左側の列（例えば、部分Ａ－０、Ａ－１、Ａ－２、及びＡ－３）は、１つ以上のジェスチャ入力（例えば、親指フリックジェスチャ、親指スワイプジェスチャ、親指タップジェスチャ、又は上記のうちの２つ以上のシーケンス）が、（例えば、図７Ｇ、部分Ａ－０に示すように）ユーザの視線がユーザの手に焦点が合っている間、準備完了状態構成（例えば、親指が人差し指上に置かれている）（例えば、図７Ｅ及び図７Ｆに関連して説明される準備完了状態構成）から開始される手によって提供される例示的なシナリオを示す。図の右側の列（例えば、部分Ｂ－０、Ｂ－１、Ｂ－２、及びＢ－３）は、１つ以上のジェスチャ入力（例えば、親指フリックジェスチャ、親指スワイプジェスチャ、親指タップジェスチャ、又はそれらのうちの２つ以上のシーケンス）が、ユーザの視線が（例えば、図７Ｇ、部分Ａ－０に示されるような）準備完了状態構成のユーザの手以外のユーザインタフェース環境（例えば、三次元環境内のユーザインタフェースオブジェクト又は物理的オブジェクト）に焦点が合っている間、任意選択的に、準備完了状態構成（例えば、親指が人差し指上に置かれている）（例えば、図７Ｅ及び図７Ｆに関連して説明された準備完了状態構成）から開始される手によって提供される例示的なシナリオを示す。いくつかの実施形態では、図７Ｇに関して説明されるユーザインタフェース応答及び相互作用は、他の物理的オブジェクト又はその所定の部分（例えば、入力ジェスチャを提供するユーザの手とは対照的に、物理的メディアプレーヤデバイスのハウジングの上面又は前面、部屋の壁の物理的窓、物理的コントローラデバイスなど）に関して実行され、それにより、ユーザの視線が上記の他の物理的オブジェクト又はその所定の部分に焦点が合っている間、準備完了状態構成から開始される手によって提供される入力ジェスチャに対して特別な相互作用が有効化される。図７Ｇの同じ行の左側の列及び右側の列の図（例えば、Ａ－１及びＢ－１、Ａ－２及びＢ－２、Ａ－３、及びＢ－３）は、いくつかの実施形態による、ユーザの視線がユーザの手（又はコンピュータシステムによって制御中の又は制御された物理的オブジェクトとして定義される他の物理的オブジェクト）に焦点が合っているかどうかに応じて、同じユーザインタフェースコンテキストに提供される同じ入力ジェスチャに対する異なるユーザインタフェース応答を示す。図７Ｇを参照して説明される入力ジェスチャは、図１０におけるプロセスを含め、以下において説明されるプロセスを例示するために用いられる。
いくつかの実施形態では、図７Ｇに示されるように、システムアフォーダンス（例えば、アフォーダンス７２１４）は任意選択的に、準備完了状態構成における手に対応する三次元の所定の位置に表示される。いくつかの実施形態では、システムアフォーダンスは、手が定常状態構成にあると判定されるときはいつでも、所定の位置（例えば、静的位置又は動的に判定された位置）に常に表示される。いくつかの実施形態では、システムアフォーダンスの動的に判定された位置は、例えば、準備完了状態構成にとどまっている間にユーザの手全体が移動するとき、準備完了状態構成のユーザの手に対して固定される。いくつかの実施形態では、システムアフォーダンスは、ユーザの手が準備完了状態構成に保たれている間に、ユーザの視線が所定の物理的オブジェクト（例えば、準備完了状態構成にあるユーザの手、又は環境内の他の所定の物理的オブジェクト）に向けられていることに応答して（例えば、親指の先端又はその近傍の静的位置）表示され、ユーザの手が準備完了状態構成から離れる、及び／又はユーザの視線が所定の物理的オブジェクトから離れるように移動することに応答して表示が停止される。いくつかの実施形態では、コンピュータシステムは、ユーザの手が準備完了状態構成に保たれている間に、ユーザの視線が所定の物理的オブジェクト（例えば、準備完了状態構成にあるユーザの手、又は環境内の他の所定の物理的オブジェクト）に向けられていることに応答して、第１の外観（例えば、拡大された目立つ外観）を有するシステムアフォーダンスを表示し、ユーザの手が準備完了状態構成から離れる、及び／又はユーザの視線が所定の物理的オブジェクトから離れるように移動することに応答して、第２の外観（例えば、縮小された目立たない外観）を有するシステムアフォーダンスを表示する。いくつかの実施形態では、システムアフォーダンスは、ユーザが入力を提供する準備が整っているというインジケーション（例えば、ユーザの手が準備完了状態構成に保たれている間に、ユーザの手が身体に対する以前の高度から上昇している）に応答して（例えば、ユーザの視線がユーザの手に向けられているかどうかに関係なく）（例えば、親指の先端又はその近傍の静的位置に）表示され、ユーザの手が上昇状態から下降していることに応答して表示を停止される。いくつかの実施形態では、システムアフォーダンスは、ユーザが入力を提供する準備が整っているというインジケーション（例えば、ユーザの手が準備完了状態構成にある、及び／又はユーザの視線が準備完了状態構成にあるユーザの手若しくは所定の物理的オブジェクトに焦点が合っている間に、ユーザの手が身体に対して先の高度から上昇している）に応答して（例えば、単純なインジケータからオブジェクトメニューまで）システムアフォーダンスの外観を変化させ、ユーザが入力を提供する準備ができているというインジケーション（例えば、ユーザの手が上昇状態から下降している、及び／又はユーザの視線がユーザの手若しくは所定の物理的オブジェクトから離れるように移動する）の停止に応答して（例えば、単純なインジケータに）システムアフォーダンスの外観を元に戻す。いくつかの実施形態では、ユーザが入力を提供する準備が整っているというインジケーションは、ユーザの指の１つ以上が物理的コントローラ又はユーザの手にタッチしている（例えば、人差し指がコントローラ上にある、又は親指が人差し指上にある）こと、ユーザの手がユーザの身体に対して低位から高位へ上昇している（例えば、準備完了状態構成の手の上方への手首の回転、又は準備完了状態構成の手の肘の屈曲が存在する）こと、準備完了状態構成へ手構成を変化させることなどを含む。いくつかの実施形態では、これらの実施形態におけるユーザの視線の位置と比較される所定の物理的オブジェクトの物理的位置は、三次元環境に対して静的である（例えば、「世界に固定される」とも言及される）。例えば、システムアフォーダンスは、三次元環境内の壁に表示される。いくつかの実施形態では、これらの実施形態におけるユーザの視線の位置と比較される所定の物理的オブジェクトの物理的位置は、ディスプレイ（例えば、表示生成コンポーネント）に対して静的である（例えば、「ユーザに固定される」とも言及される）。例えば、システムアフォーダンスは、ディスプレイ又はユーザの視野の底部に表示される。いくつかの実施形態では、これらの実施形態におけるユーザの視線の位置と比較される所定の物理的オブジェクトの物理的位置は、ユーザの移動部分（例えば、ユーザの手）又は物理的環境の移動部分（例えば、ハイウェイ上を移動する自動車）に対して静的である。
いくつかの実施形態によれば、図７Ｇの部分Ａ－０は、三次元環境内の物理的環境内の所定の物理的オブジェクト（例えば、準備完了状態構成の手）に視線を向けているユーザ７３２０を示す（例えば、ユーザの手７２００又はその表現がデバイス７１００の１つ以上のカメラの視野内、又はＨＭＤ若しくはヘッドアップディスプレイのパススルー部分又は透明部分を通じて可視である）。いくつかの実施形態では、デバイス７１００は、ユーザの視線の方向及び／又は対象を判定するために、ユーザに向けられてユーザの目の移動を追跡する（又はユーザの両目の移動を追跡する）１つ以上のカメラ（例えば、前面カメラ）を使用する。例示的な視線追跡技術の更なる詳細は、いくつかの実施形態により、図１～図６に関して、特に図５及び図６に関して提供される。図７Ｇの部分Ａ－０では、手７２００が準備完了状態にある間、ユーザの視線は手７２００に向けられているため、（例えば、ユーザの眼球７５１２をユーザ７２００又はユーザの手７２００’の表現（例えば、実際の手又は表示生成コンポーネントを介して提示される手の表現）に関連付ける点線によって示される）、システムユーザインタフェース動作（例えば、ユーザインタフェースの他の領域若しくは要素に関連付けられた、又はデバイス７１００上で実行する個々のソフトウェアアプリケーションに関連付けられたユーザインタフェース動作ではなく、システムアフォーダンス７２１４又はシステムアフォーダンスに関連付けられたシステムメニュー（例えば、メニュー７１７０）に関連付けられたユーザインタフェース動作）が、手７２００を用いて実行されるジェスチャに応答して実行される。図７Ｇの部分Ｂ－０は、ユーザの手が準備完了状態構成にある間に、視線が三次元環境内の所定の物理的オブジェクト（例えば、準備完了状態にある手又は他の所定の物理的オブジェクト）（例えば、ユーザの手７２００又は他の所定の物理的オブジェクト、又はデバイス７１００の１つ以上のカメラの視野内で、又はＨＭＤ若しくはヘッドアップディスプレイのパススルー部分若しくは透明部分を通じて可視であるその表現）から離れているユーザを示す。いくつかの実施形態では、コンピュータシステムは、入力ジェスチャに対応するシステム応答を提供するために、手の入力ジェスチャが処理されている間、ユーザの視線が所定の物理的オブジェクト（例えば、ユーザの手又は別の所定の物理的オブジェクト）上にとどまることを必要とする。いくつかの実施形態では、コンピュータシステムは、入力ジェスチャに対応するシステム応答を提供するため、ユーザの視線が所定の物理的オブジェクト上に閾値時間を超えて、所定の安定度でとどまる（例えば、実質的に静止し続けている、又は閾値移動量未満を閾値時間維持している）ことを必要とし、例えば、任意選択的に、時間及び安定度要件が満たされた後、かつ入力ジェスチャが完了する前に、視線は所定の入力ジェスチャから離れて移動することができる。
一例では、図７Ｇの部分Ａ－１は、手の準備完了状態構成から始まり、矢印７１２０によって示される軸に沿って手７２００の人差し指を横切る親指の前方移動を含む、親指フリックジェスチャを示す。図７Ｇの部分Ａ－１の準備完了状態構成から開始される親指フリックジェスチャに応答して、ユーザの視線が所定の物理的オブジェクト（例えば、現実世界において、又はコンピュータシステムの表示生成コンポーネントを介して見られる手７２００）に向けられているという判定に従って、コンピュータシステムは、三次元環境内にシステムメニュー７１７０（例えば、アプリケーションアイコンのメニュー）を表示する（例えば、ユーザの親指の先端でシステムアフォーダンス７２１４を置き換える）。
別の例では、図７Ｇの部分Ａ－２は、準備完了状態構成から開始され、矢印７１３０によって示される軸に沿った手７２００の人差し指の長さに沿った手７２００の親指の移動を含む、親指スワイプジェスチャを示す。本例では、図７Ｇの部分Ａ－２の手ジェスチャは、コンピュータシステムがシステムメニュー（例えば、メニュー７１７０）を表示している間に実行される（例えば、システムメニュー７１７０は、図７Ｇの部分Ａ－１を参照して本明細書に記載される親指フリックジェスチャに応答して表示される）。図７Ｇの部分Ａ－２の親指スワイプジェスチャに応答して、準備完了状態構成から開始され、ユーザの視線が所定の物理的オブジェクト（例えば、手７２００）に向けられているという判定に従って（例えば、視線が所定の位置、持続時間、及び安定度要件を満たす）、コンピュータシステムは、システムメニュー（例えば、メニュー７１７０）上の現在の選択インジケータ７１９８を、手７２００の親指の移動方向（例えば、メニュー７１７０上の隣接するユーザインタフェースオブジェクトへ）移動させる。いくつかの実施形態では、親指スワイプジェスチャは、準備完了状態構成の手から開始され、システムユーザインタフェース要素（例えば、システムメニュー又はシステム制御オブジェクトなど）との連続的な一連のユーザ相互作用を表す、２つ以上の入力ジェスチャのシーケンスのうちの１つである。したがって、いくつかの実施形態では、視線が所定の物理的オブジェクト（例えば、ユーザの手）にとどまるための要件は、任意選択的に、第１の入力ジェスチャ（例えば、図７Ｇの部分Ａ－１の親指フリックジェスチャ）の開始にのみ適用され、後続の入力ジェスチャ中、ユーザの視線がシステムユーザインタフェース要素に向けられる限り、後続の入力ジェスチャには課せられない。例えば、ユーザの視線がユーザの手に向けられているという判定に従って、又はユーザの視線がユーザの手（例えば、親指の先端）に対して固定された位置に配置されたシステムメニューに向けられているという判定に従って、コンピュータシステムは、親指スワイプジェスチャに応答してシステム動作を実行する（例えば、システムメニュー内をナビゲートする）。
更に別の例では、図７Ｇの部分Ａ－３は、準備完了状態構成の手から開始され、（例えば、親指が人差し指から上昇位置に移動し、次いで、矢印７１１０によって示される軸に沿って上昇位置から下方に、親指が人差し指と再度接触する手の位置まで移動することによって）手７２００の人差し指上でタッピングする手７２００の親指の移動を含む親指タップジェスチャを示す。本例では、図７Ｇの部分Ａ－３の親指タップジェスチャは、コンピュータシステムがシステムメニュー（例えば、メニュー７１７０）を表示している間に実行され、現在の選択インジケータが、（例えば、図７Ｇの部分Ａ－２を参照して本明細書に記載される親指スワイプジェスチャに応答して）対応するユーザインタフェースオブジェクト上に表示されている。図７Ｇの部分Ａ－３の親指タップジェスチャに応答して、ユーザの視線が所定の物理的オブジェクト（例えば、手７２００）に向けられていることに応答して、現在選択されているユーザインタフェースオブジェクト７１９０がアクティブ化され、ユーザインタフェースオブジェクト７１９０に対応する動作が実行される（例えば、メニュー７１７０の表示が停止される、ユーザインタフェースオブジェクト７１９０に関連付けられたユーザインタフェースオブジェクト７３０６（例えば、プレビュー若しくは制御パネルなど）が表示される、及び／又はユーザインタフェースオブジェクト７１９０に対応するアプリケーションが起動される）。いくつかの実施形態では、ユーザインタフェースオブジェクト７３０６は、手７２００の位置に対応する三次元環境内の位置に表示される。いくつかの実施形態では、親指タップジェスチャは、準備完了状態構成の手から開始され、システムユーザインタフェース要素（例えば、システムメニュー又はシステム制御オブジェクトなど）との連続的な一連のユーザ相互作用を表す、２つ以上の入力ジェスチャのシーケンスのうちの１つである。したがって、いくつかの実施形態では、視線が所定の物理的オブジェクト（例えば、ユーザの手）にとどまるための要件は、任意選択的に、第１の入力ジェスチャ（例えば、図７Ｇの部分Ａ－１の親指フリックジェスチャ）の開始にのみ適用され、後続の入力ジェスチャ中にユーザの視線がシステムユーザインタフェース要素に向けられている限り、後続の入力ジェスチャ（例えば、図７Ｇの部分Ａ－２の親指スワイプジェスチャ及び部分Ａ－３の親指タップジェスチャ）には課せられない。例えば、ユーザの視線がユーザの手に向けられているという判定、又はユーザの視線がユーザの手（例えば、親指の先端）に対して固定された位置に配置されたシステムメニューに向けられているという判定に従って、コンピュータシステムは、親指タップジェスチャに応答してシステム動作を実行する（例えば、システムメニュー内の現在選択されているユーザインタフェースオブジェクトをアクティブ化する）。
図７Ｇの部分Ａ－０とは対照的に、図７Ｇの部分Ｂ－０は、三次元環境内の所定の物理的オブジェクト（例えば、準備完了状態構成の手）から視線が離れているユーザを示す（例えば、ユーザの手７２００又はその表現がデバイス７１００の１つ以上のカメラの視野内にあるが、ユーザの視線が（例えば、直接でも、又はＨＭＤ若しくはヘッドアップディスプレイのパススルー部分又は透明部分を介しても、又はカメラビューを介しても）手７１００上にない）。その代わりに、ユーザの視線は、ユーザインタフェースオブジェクト（例えば、図７Ｄ～７Ｅのコンテナ７２０６を参照して本明細書に記載されるように）のコンテナ７２０６（例えば、メニューの行）又は表示されたユーザインタフェース全般に向けられている（例えば、ユーザの視線は、三次元環境内の特定の位置又はオブジェクトの安定度及び持続時間要件を満たさない）。ユーザの視線が所定の物理的オブジェクト（例えば、手７２００）から離れているとの判定に従って、コンピュータシステムは、手７２００を使用して実行された親指フリックジェスチャに応答して、システムユーザインタフェース動作（例えば、システムアフォーダンス７２１４又は（例えば、図７Ｇの部分Ａ－１に示されるような）システムアフォーダンスに関連付けられたシステムメニュー（例えば、アプリケーションアイコンのメニュー）を表示する機能に関連付けられたユーザインタフェース動作）の実行を行わない。任意選択的に、システムユーザインタフェース動作の代わりに、ユーザインタフェースの他の領域又は要素に関連付けられた、又はコンピュータシステム（例えば、デバイス１００又はＨＭＤ）上で実行される個々のソフトウェアアプリケーションに関連付けられたユーザインタフェース動作が、ユーザの視線が所定の物理的オブジェクト（例えば、準備完了状態の手７２００）から離れて向けられている間に、手７２００を使用して実行される親指フリックジェスチャに応答して実行される。一例では、図７Ｇに示されるように、コンテナ７２０６を含むユーザインタフェース全体は、上方親指フリックジェスチャに従って上方にスクロールされる。別の例では、コンテナ７２０６に関連付けられたユーザインタフェース動作は、ユーザの視線が手７２００からコンテナ７２０６に向けられている間に、システムユーザインタフェース動作（例えば、システムメニューの表示）の代わりに、手７２００を使用して実行されるジェスチャに応答して実行される。
図７Ｇの部分Ａ－１と同様に、図７Ｇの部分Ｂ－１も、準備完了状態構成から開始される手７２００による親指フリックジェスチャを示す。図７Ｇの部分Ａ－１に示される挙動とは対照的に、図７Ｇの部分Ｂ－１では、ユーザの視線が所定の物理的オブジェクト（例えば、準備完了状態構成のユーザの手）に向けられていないという判定に従って、コンピュータシステムは、親指フリックジェスチャに応答してシステムメニューの表示を行わない。その代わりに、ユーザインタフェースは、親指フリックジェスチャに従って上方にスクロールされ、例えば、コンテナ７２０６は、手７２００の人差し指を横切る手７２００の親指の移動に従って、及びユーザの視線が手７２００からコンテナ７２０６に向けられていることに従って、三次元環境内で上方に移動させられる。本例では、システム動作は実行されないが、（例えば、ユーザの手が準備完了状態構成にあるために）システム動作が利用可能であることを示すシステムアフォーダンス７２１４は、ユーザの親指の隣に表示されたままであり、システムアフォーダンス７２１４は、入力ジェスチャ中、ユーザインタフェースが入力ジェスチャに応答して上方にスクロールされる間、ユーザの親指と共に移動する。
図７Ｇの部分Ａ－２と同様に、図７Ｇの部分Ｂ－２も、準備完了状態構成から開始される手７２００による親指スワイプジェスチャを示す。図７Ｇの部分Ａ－２とは対照的に、図７Ｇの部分Ｂ－２の親指スワイプジェスチャは、（例えば、メニュー７１７０が、７Ｇの部分Ｂ－１を参照して本明細書に記載されるフリックジェスチャに応答して表示されなかったためにシステムメニュー（例えば、メニュー７１７０）が表示されておらず、かつユーザの視線が所定の物理的オブジェクト（例えば、ユーザの手）に焦点が合っていない間に実行される。図７Ｇの部分Ｂ－２の親指スワイプジェスチャに応答して、ユーザの視線が所定の物理的オブジェクト（例えば、手７２００）から離れてコンテナ７２０６に向かって向けられているとの判定に従って、コンテナ７２０６内の現在の選択インジケータが、手７２００の親指の移動方向にスクロールされる。
図７Ｇの部分Ａ－３と同様に、図７Ｇの部分Ｂ－３も、準備完了状態構成から開始される手７２００による親指タップジェスチャを示す。図７Ｇの部分Ａ－３とは対照的に、図７Ｇの部分Ｂ－３の親指タップジェスチャは、（例えば、メニュー７１７０が、７Ｇの部分Ｂ－１を参照して本明細書に記載されるフリックジェスチャに応答して表示されなかったためにシステムメニュー（例えば、メニュー７１７０）が表示されておらず、かつユーザの視線が所定の物理的オブジェクト（例えば、ユーザの手）に焦点が合っていない間に実行される。図７Ｇの部分Ａ－３の親指タップジェスチャに応答して、ユーザの視線が所定の物理的オブジェクト（例えば、手７２００、先に受信した入力ジェスチャに応答したシステムユーザインタフェース要素がない場合）から離れて向けられていることに従って、コンピュータシステムは、システム動作の実行を行わない。ユーザの視線がコンテナ７２０６に向けられているという判定に従って、コンテナ７２０６内の現在選択されているユーザインタフェースオブジェクトがアクティブ化され、現在選択されているユーザインタフェースオブジェクトに対応する動作が実行される（例えば、コンテナ７２０６の表示が停止される、アクティブ化されたユーザインタフェースオブジェクトに対応するユーザインタフェース７３０８が表示される）。本例では、システム動作は実行されないが、（例えば、ユーザの手が準備完了状態構成にあるために）システム動作が利用可能であることを示すシステムアフォーダンス７２１４は、ユーザの親指の隣に表示されたままであり、システムアフォーダンス７２１４は、入力ジェスチャ中、ユーザインタフェースが入力ジェスチャに応答して上方にスクロールされる間、ユーザの親指と共に移動する。いくつかの実施形態では、ユーザインタフェースオブジェクト７３０８がコンテナ７２０６からアクティブ化されたため、図７Ｇ部分Ａ－３のユーザインタフェースオブジェクト７３０６とは対照的に、ユーザインタフェースオブジェクト７３０８は、手７２００の位置に対応しない三次元環境内の位置に表示される。
図７Ｇに示される例では、コンピュータシステムは、システム動作が所定のジェスチャ入力に応答して実行されるべきかどうかを判定するために、ユーザの手７２００を（例えば、ユーザの視線と比較して）、その位置を使用する所定の物理的オブジェクトとして扱うことを理解されたい。手７２００の位置は、図７Ｇの左右の列に示される例ではディスプレイ上で異なるように見えるが、これは、ユーザの視線の位置が三次元環境に対して変化したことを示すものであり、必ずしも三次元環境に対するユーザの手の位置に制限を課すわけではない。実際、ほとんどの状況では、ユーザの手全体は、入力ジェスチャ中に位置が固定されないことが多く、視線がユーザの手に焦点が合っているかどうかを判定するために、視線がユーザの手の移動する物理的位置と比較される。いくつかの実施形態では、ユーザの手以外のユーザの環境内の別の物理的オブジェクトが、所定のジェスチャ入力に応答してシステム動作を実行するべきかどうかを判定するための所定の物理的オブジェクトとして使用される場合、物理的オブジェクトが環境又はユーザに対して移動している、及び／又はユーザが物理的オブジェクトに対して移動している場合であっても、視線が物理的オブジェクトの物理的位置と比較される。
図７Ｇに示す例では、いくつかの実施形態によれば、ユーザの視線が所定の物理的位置に向けられている（例えば、物理的オブジェクト（例えば、準備完了状態構成にあるユーザの手、又は所定の物理的オブジェクトに対して固定位置に表示されたシステムユーザインタフェースオブジェクト）に焦点が合っている）かどうかが、入力ジェスチャが準備完了状態構成の手から開始されているかどうかと併せて使用されて、システム動作を実行するか（例えば、システムユーザインタフェース又はシステムユーザインタフェースオブジェクトを表示する）、あるいはシステム動作を実行せずに三次元環境の現在のコンテキスト内で動作を実行するかを判定する。図７Ｈ～７Ｊは、いくつかの実施形態による、ユーザの視線が所定の要件を満たしている（例えば、視線がアクティブ可能な仮想オブジェクトに焦点が合っており、安定度及び持続時間要件を満たしている）ことと併せて、ユーザがジェスチャ入力を提供する準備が整っているかどうか（例えば、ユーザの手が所定の要件を満たしている（例えば、所定の高度まで上昇し、少なくとも閾値時間、準備完了状態構成に置かれている）かどうかに依存する、表示された三次元環境（例えば、仮想現実又は複合現実環境）の例示的な挙動を示す。図７Ｈ～７Ｊを参照して説明される入力ジェスチャは、図１１におけるプロセスを含め、以下において説明されるプロセスを例示するために用いられる。
図７Ｈは、物理的環境に対応する例示的なコンピュータ生成環境を示す。図７Ｈを参照して本明細書に記載されるように、コンピュータ生成環境は、仮想現実環境、拡張現実環境、又はディスプレイ上に表示されるコンピュータ生成環境であり得、コンピュータ生成環境は、ディスプレイの透明部分を通じて可視である物理的環境のビュー上に重ね合わされるようにディスプレイ上に表示される。図７Ｈに示すように、ユーザ７５０２は、コンピュータシステム（例えば、コンピュータシステム１０１）を動作させる物理的環境（例えば、シーン１０５）に立っている（例えば、デバイス７１００を保持している又はＨＭＤを着用している。いくつかの実施形態では、図７Ｈに示される例のように、デバイス７１００は、ディスプレイ、タッチ感知ディスプレイなどを含むハンドヘルドデバイス（例えば、携帯電話、タブレット、又は他のモバイル電子デバイス）である。いくつかの実施形態では、デバイス７１００は、ヘッドアップディスプレイやヘッドマウントディスプレイなどを含むウェアラブルヘッドセットを表し、任意選択的に置き換えられる。いくつかの実施形態では、物理的環境は、ユーザ７５０２を取り囲む１つ以上の物理的表面及び物理的オブジェクト（例えば、部屋の壁、（例えば、影付きの３Ｄボックス７５０４によって表される））を含む。
図７Ｈの部分（Ｂ）に示される例では、物理的環境（例えば、デバイス７１００の１つ以上のカメラの視野内にある、又はデバイス７１００のディスプレイの透明部分を通じて可視である物理的環境の部分）に対応するコンピュータ生成三次元環境が、デバイス７１００に表示される。物理的環境は、ディスプレイ上に示されるコンピュータ生成環境内のオブジェクト７５０４’によって表される物理的オブジェクト７５０４を含み（例えば、コンピュータ生成環境は、物理的オブジェクト７５０４の仮想表現を含む仮想現実環境であり、コンピュータ生成環境は、デバイス７１００の１つ以上のカメラのライブビューの一部として物理的オブジェクト７５０４の表現７５０４’を含む拡張現実環境である、又は物理的オブジェクト７５０４は、デバイス７１００のディスプレイの透明部分を通じて視認可能である）。更に、ディスプレイ上に示されるコンピュータ生成環境は、仮想オブジェクト７５０６、７５０８、及び７５１０を含む。仮想オブジェクト７５０８は、オブジェクト７５０４’に取り付けられてみえる（例えば、物理的オブジェクト７５０４の平坦前面に重なる）ように表示される。仮想オブジェクト７５０６は、コンピュータ生成環境の壁に取り付けられてみえる（例えば、物理的環境の壁又は壁の表現の一部に重なる）ように表示される。仮想オブジェクト７５１０は、コンピュータ生成環境の床に取り付けられてみえる（例えば、物理的環境の床又は床の表現の一部に重なる）ように表示される。いくつかの実施形態では、仮想オブジェクト７５０６、７５０８、及び７５１０は、ユーザ入力によってアクティブ化されたときにオブジェクト固有の動作を実行させるアクティブ化可能なユーザインタフェースオブジェクトである。いくつかの実施形態では、コンピュータ生成環境はまた、ユーザ入力によってアクティブ化可能ではなく、コンピュータ生成環境の美的品質を改善するように表示される仮想オブジェクトを含み、ユーザに情報を提供する。図７Ｈの部分（Ｃ）は、いくつかの実施形態によると、デバイス７１００上に示されるコンピュータ生成環境が三次元環境であることを示し、デバイス７１００の物理的環境に対する視点が変化するにつれ（例えば、デバイス７１００又はデバイス７１００の１つ以上のカメラの物理的環境に対する視野角が、物理的環境内のデバイス７１００の移動及び／又は回転に応答して変化するにつれ）、それに応じて、デバイス７１００上に表示されるコンピュータ生成環境の視点が変化する（例えば、物理的な表面及びオブジェクト（例えば、壁、床、物理的オブジェクト７５０４）並びに仮想オブジェクト７５０６、７５０８、及び７５１０の変化を含む）。
図７Ｉは、ユーザ７５０２がジェスチャ入力を提供する準備が整っていない（例えば、ユーザの手が準備完了状態構成にない）間に、ユーザがコンピュータ生成環境内のそれぞれの仮想オブジェクトに視線を向けたことに応答した、コンピュータ生成環境の例示的な挙動を示す。図７Ｉの部品（Ａ）～（Ｃ）に示されるように、ジェスチャ入力を提供するために、ユーザは自分の左手７２００を準備完了状態以外の状態（例えば、第１の所定の準備完了状態構成以外の位置）に保っている。いくつかの実施形態では、コンピュータシステムは、ユーザの指の所定の部分が物理的制御要素にタッチしている（例えば、親指が人差し指の中央にタッチしている、又は人差し指が物理的コントローラにタッチしている）ことを検出したことに従って、ユーザの手がジェスチャ入力を提供するための所定の準備完了状態にあると判定する。いくつかの実施形態では、コンピュータシステムは、ユーザの手がユーザに対して所定の高度の上方に上昇している（例えば、手が、肘関節を中心とした腕の回転、又は手首を中心とした手首の回転、又は手に対して上昇した指などに応答して上昇している）ことを検出したことに従って、ユーザの手がジェスチャ入力を提供するための所定の準備完了状態にあると判定する。いくつかの実施形態では、コンピュータシステムは、ユーザの手の姿勢が所定の構成（例えば、親指が人差し指の中間に置かれている、指が閉じて拳を成しているなど）に変化したことを検出したことに従って、にユーザの手がジェスチャ入力を提供するための所定の準備完了状態にあると判定する。いくつかの実施形態では、上記の要件の複数が組み合わされて、ユーザの手がジェスチャ入力を提供するための準備完了状態にあるかどうかを判定する。いくつかの実施形態では、コンピュータシステムはまた、手がジェスチャ入力を提供する準備が整っていると判定するために、ユーザの手全体が静止している（例えば、閾値時間無しで閾値移動量未満）ことを必要とする。いくつかの実施形態によると、ユーザの手が、ジェスチャ入力を提供するための準備完了状態にあることが見出されず、ユーザの視線がアクティブ化可能な仮想オブジェクトに焦点が合っている場合、ユーザの手の後続の移動（例えば、自由な移動又は所定のジェスチャを真似る移動）は、ユーザの視線の焦点である仮想オブジェクトに向けられたユーザ入力として認識されない及び／又は扱われない。
本例では、手７２００の表現は、コンピュータ生成環境に表示される。コンピュータ生成環境は、（例えば、右手がデバイス７１００の１つ以上のカメラの視野内にないため）ユーザの右手の表現を含まない。更に、いくつかの実施形態では、例えば、デバイス７１００がハンドヘルドデバイスである図７Ｉに示される例では、ユーザは、デバイス７１００に表示される物理的環境の任意の表現とは別に、周囲の物理的環境の部分を見ることができる。例えば、ユーザの手の部分は、デバイス７１００のディスプレイの外側でユーザに可視である。いくつかの実施形態では、これらの例におけるデバイス７１００は、周囲の物理的環境のユーザのビューを完全に遮断するディスプレイ（例えば、ヘッドマウントディスプレイ）を有するヘッドセットを表し、それに置き換えることができる。いくつかのそのような実施形態では、物理的環境はいかなる部分もユーザにとって直接視認可能ではく、その代わりに、物理的環境は、デバイスによって表示される物理的環境の部分の表現を介してユーザに可視となる。いくつかの実施形態では、ユーザの手の現在の状態がデバイスによって連続的又は定期的に監視されて、ユーザの手（単数又は複数）がジェスチャ入力を提供するための準備完了状態に入ったかどうかを判定する間、ユーザの手（単数又は複数）は、直接又はデバイス７１００のディスプレイを介してユーザに不可視である。いくつかの実施形態では、デバイスは、ユーザの手が入力ジェスチャを提供するための準備完了状態にあるかどうかのインジケータを表示し、ユーザにフィードバックを提供し、ユーザに入力ジェスチャを提供することを望む場合に手の位置を調節するようにユーザに警告する。
図７Ｉの部分（Ａ）では、ユーザの視線は、（例えば、ユーザの眼球７５１２と仮想オブジェクト７５０６の表現を連結する点線によって示されるように）仮想オブジェクト７５０６に向けられている。いくつかの実施形態では、デバイス７１００は、ユーザの視線の方向及び／又は対象を判定するために、ユーザに向けられて、ユーザの目の移動を追跡する（又はユーザの両目の移動を追跡する）１つ以上のカメラ（例えば、前面カメラ）を使用する。アイトラッキング又は視線追跡技術の更なる詳細は、図１～６、特に図５～６、及び添付の説明で提供する。図７Ｉの部分（Ａ）では、ユーザの手がジェスチャ入力を提供する準備が整っていないという判定に従って（例えば、左手が静止しておらず、閾値時間を超えて第１の所定の準備完了状態構成に保たれていない）、ユーザが仮想オブジェクト７５０６に視線を向けていることに応答して、仮想オブジェクト７５０６に対する動作は実行されない。同様に、図７Ｉの部分（Ｂ）では、ユーザの視線は左仮想オブジェクト７５０６を有し、現在は（例えば、ユーザの眼球７５１２の表現と仮想オブジェクト７５０８を連結する点線によって示されるように）仮想オブジェクト７５０８に向けられている。ユーザの手がジェスチャ入力を提供する準備が整っていないという判定に従って、ユーザが仮想オブジェクト７５０８に視線を向けていることに応答して、仮想オブジェクト７５０８に対する動作は実行されない。同様に、図７Ｉの部分（Ｃ）では、ユーザの視線は、（例えば、ユーザの眼球７５１２の表現と仮想オブジェクト７５１０を連結する点線によって示されるように）仮想オブジェクト７５１０に向けられている。ユーザの手がジェスチャ入力を提供する準備が整っていないという判定に従って、ユーザが仮想オブジェクト７５１０に視線を向けていることに応答して、仮想オブジェクト７５１０に対する動作は実行されない。いくつかの実施形態では、ユーザの視線下の仮想オブジェクトがジェスチャ入力によってアクティブ化可能であることを示す視覚的変化をトリガするために、ユーザの手がジェスチャ入力を提供するための準備完了状態にあることを必要とすることは、ユーザが環境内の特定の仮想オブジェクトと相互作用するのではなく、単に環境を確かめることを望んでいる（例えば、様々な仮想オブジェクトを短時間又は意図的に一定期間見つめている）場合に、表示環境の不必要な視覚的変化を防止する傾向があるために有利である。これにより、コンピュータシステムを使用してコンピュータで生成された三次元環境を体験するときに、ユーザの視覚的疲労及び混乱、ひいてはユーザの間違いが低減される。
図７Ｉに示される例示的なシナリオとは対照的に、図７Ｊは、ユーザが、いくつかの実施形態による、ユーザがジェスチャ入力を提供する準備が整っている間に、ユーザがコンピュータ生成環境内のそれぞれの仮想オブジェクトに視線を向けていることに応答した、コンピュータ生成環境の例示的な挙動を示す。図７Ｊの部分（Ａ）～（Ｃ）に示されるように、仮想オブジェクト７５０６、７６０８、及び７５１０が三次元環境に表示されている間、ユーザは、ジェスチャ入力を提供するための第１の準備完了状態構成に手を保持している（例えば、親指が人差し指に置かれている、手がユーザの身体に対して所定の高度の上方に上昇している）。
図７Ｊの部分（Ａ）では、ユーザの視線は、（例えば、ユーザの眼球７５１２の表現と仮想オブジェクト７５０６を連結する点線によって示されるように）仮想オブジェクト７５０６に向けられている。ユーザの左手がジェスチャ入力を提供する準備完了状態にあるという判定に従って、ユーザが仮想オブジェクト７５０６に視線を向けていることに応答して（例えば、視線は、仮想オブジェクト７５０６において持続時間及び安定性の要件を満たしている）、コンピュータシステムは、仮想オブジェクト７５０６がジェスチャ入力によってアクティブ化可能であることを示す視覚的フィードバックを提供する（例えば、仮想オブジェクト７５０６が、追加情報又はユーザインタフェースの詳細によって強調表示、拡大、又は拡張されて、仮想オブジェクト７５０６が相互作用可能であることを示す（例えば、仮想オブジェクト７５０６に関連付けられた１つ以上の動作が、ユーザのジェスチャ入力に応答して実行され得る））。同様に、図７Ｊの部分（Ｂ）では、ユーザの視線は、仮想オブジェクト７５０６から離れて移動し、（例えば、ユーザの眼球７５１２の表現と仮想オブジェクト７５０８を連結する点線によって示されるように）現在は仮想オブジェクト７５０８に向けられている。ユーザの手がジェスチャ入力を提供する準備完了状態にあるという判定に従って、ユーザが仮想オブジェクト７５０８に視線を向けていることに応答して（例えば、視線は、仮想オブジェクト７５０８において持続時間及び安定性の要件を満たしている）、コンピュータシステムは、仮想オブジェクト７５０６がジェスチャ入力によってアクティブ化可能であることを示す視覚的フィードバックを提供する（例えば、仮想オブジェクト７５０８が、追加情報又はユーザインタフェースの詳細によって強調表示、拡大、又は拡張されて、仮想オブジェクト７５０８が相互作用可能であることを示す（例えば、仮想オブジェクト７５０８に関連付けられた１つ以上の動作が、ユーザのジェスチャ入力に応答して実行され得る））。同様に、図７Ｊの部分（Ｃ）では、ユーザの視線は、仮想オブジェクト７５０８から離れて移動し、（例えば、ユーザの眼球７５１２の表現と仮想オブジェクト７５１０を連結する点線によって示されるように）現在は仮想オブジェクト７５１０に向けられている。ユーザの手がジェスチャ入力を提供する準備完了状態にあるという判定に従って、コンピュータシステムは、ユーザが視線を仮想オブジェクト７５１０に向けていることを検出したことに応答して、仮想オブジェクト７５０６がジェスチャ入力によってアクティブ化可能であることを示す視覚的フィードバックを提供する（例えば、仮想オブジェクト７５１０が、追加情報又はユーザインタフェースの詳細によって強調表示、拡大、又は拡張されており、仮想オブジェクト７５１０が相互作用可能であることを示す（例えば、仮想オブジェクト７５１０に関連付けられた１つ以上の動作が、ジェスチャ入力に応答して実行可能であることを示す））。
いくつかの実施形態では、仮想オブジェクトがジェスチャ入力によってアクティブ化可能であることを示す視覚的フィードバックが表示されている間、かつ準備完了状態のユーザの手から開始されるジェスチャ入力を検出したことに応答して、コンピュータシステムは、ユーザのジェスチャ入力に従ってユーザの視線の対象である仮想オブジェクトに対応する動作を実行する。いくつかの実施形態では、それぞれの仮想オブジェクトがジェスチャ入力によってアクティブ化可能であることを示す視覚フィードバックは、ユーザの視線がそれぞれの仮想オブジェクトから離れて移動すること、及び／又はユーザの手が有効なジェスチャ入力を提供することなくジェスチャ入力を提供するための準備完了状態になるのを停止することに応答して、表示を停止する。
いくつかの実施形態では、それぞれの仮想オブジェクト（例えば、仮想オブジェクト７５０６、７５０８、又は７５１０）はアプリケーションに対応し（例えば、それぞれの仮想オブジェクトはアプリケーションアイコンである）、実行されるように利用可能であるそれぞれの仮想オブジェクトに関連付けられた動作は、対応するアプリケーションを起動すること、アプリケーション内で１つ以上の動作を実行すること、又はアプリケーションに関して、若しくはアプリケーション内で実行される動作のメニューを表示することを含む。例えば、それぞれの仮想オブジェクトがメディアプレーヤアプリケーションに対応する場合、１つ以上の動作は、（例えば、第１の方向への親指スワイプジェスチャ又はピンチアンドツイストジェスチャに応答して）メディアの出力ボリュームを増加させること、（例えば、第１の方向とは反対の第２の方向への親指スワイプジェスチャ又はピンチアンドツイストジェスチャに応答して）出力ボリュームを減少させること、（例えば、親指タップジェスチャに応答して）メディアの再生を切り替えること（例えば、再生又は一時停止）、（例えば、同じ方向の複数の連続した親指スワイプジェスチャに応答して）再生のためにメディアを早送り、巻き戻し、ブラウジングすること、又は他の様態でメディア再生を制御すること（例えば、親指フリックジェスチャと続いて親指スワイプジェスチャに応答したメニューナビゲーション）を含む。いくつかの実施形態では、それぞれの仮想オブジェクトは、対応する仮想オブジェクトの下にある物理的オブジェクト（例えば、電子機器、スマートスピーカ、スマートランプなど）を制御するための単純化されたユーザインタフェースであり、それぞれの仮想オブジェクトが相互作用可能であるという視覚的インジケーションが表示されている間に検出された手首フリックジェスチャ又は親指フリックジェスチャにより、コンピュータシステムは、（例えば、オン／オフボタン、現在再生されているメディアアルバム、並びに追加の再生コントロール及び出力調整コントロールなどを示す）物理的オブジェクトを制御するための拡張ユーザインタフェースの表示を停止する。
いくつかの実施形態では、仮想オブジェクトが、（例えば、ジェスチャ入力及びオーディオ入力及びタッチ入力などの他のタイプの入力を含むユーザ入力に応答して）相互作用可能であることを示す視覚的フィードバックは、ユーザの視線が仮想オブジェクト上に向けられる前に表示されていなかった１つ以上のユーザインタフェースオブジェクト又は情報、プロンプトを表示することを含む。一例では、それぞれの仮想オブジェクトが三次元環境に表される物理的壁上に重ねられた仮想窓であり、ユーザの手がジェスチャ入力を提供する準備完了状態にある間にユーザが視線を仮想窓に向けることに応答して、コンピュータシステムは、仮想窓を通じて可視である仮想風景に関連付けられた位置及び／又は日時を表示して、風景が（例えば、ユーザによる後続のジェスチャ入力に従って行われる位置、日時、季節などの変化を通じて）変更され得ることを示す。別の例では、それぞれの仮想オブジェクトが表示された静止写真を含み（例えば、それぞれの仮想オブジェクトがピクチャフレームである）、ユーザの手がジェスチャ入力を提供する準備完了状態にある間にユーザが視線を表示された写真に向けることに応答して、コンピュータシステムは、表示された静止写真に関連付けられた多フレーム写真又はビデオクリップを表示して、写真が相互作用可能であることを示し、任意選択的に、写真が（例えば、ユーザによる後続のジェスチャ入力に従って写真アルバムをブラウジングすることを通じて）変更され得ることを示す。
図７Ｋ～７Ｍは、コンピュータシステムの表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）が、デバイスのユーザに対する所定の位置に置かれている間（例えば、ユーザが最初にコンピュータ生成現実体験に入るとき（例えば、ユーザがデバイスを自分の目の前で保持するとき、又はユーザがヘッドにＨＭＤを頭部に装着するとき））、コンピュータシステム（例えば、図１のコンピュータシステム１０１（例えば、ハンドヘルドデバイス又はＨＭＤ））の表示生成コンポーネントのハウジング上のユーザの手の握りの検出に応答して変化する三次元環境（例えば、仮想現実環境又は複合現実環境）の検出に応答して変化する例示的なビューを示す。三次元環境のビューの変化は、ユーザ入力無しでコンピュータシステムによって完全に判定されるのではなく、ユーザによって（例えば、デバイス又は表示生成コンポーネントのハウジング上の自分の握りを変化させることによって）コンピュータ生成現実体験への最初の移行を形成する。図７Ｇを参照して説明される入力ジェスチャは、図１２におけるプロセスを含め、以下において説明されるプロセスを例示するために用いられる。
図７Ｋの部分（Ａ）は、ユーザ（例えば、ユーザ７８０２）がコンピュータシステムを使用している物理的環境７８００を示す。物理的環境７８００は、１つ以上の物理的表面（例えば、物理的オブジェクトの壁、床、表面など）及び物理的オブジェクト（例えば、物理的オブジェクト７５０４、ユーザの手、身体など）を含む。図７Ｋの部分（Ｂ）は、コンピュータシステム（例えば、デバイス７１００又はＨＭＤ）の表示生成コンポーネントによって表示される三次元環境（三次元環境の「第１のビュー７８２０」又は「第１のビュー７８２０」とも呼ばれる）の例示的なビュー７８２０を示す。いくつかの実施形態では、第１のビュー７８２０は、表示生成コンポーネント（例えば、デバイス７１００又はＨＭＤのディスプレイ）がユーザ７８０２に対して所定の位置に配置されるときに表示される。例えば、図７Ｋでは、デバイス７１００のディスプレイは、ユーザの目の前に配置される。別の例では、コンピュータシステムは、ユーザが表示生成コンポーネントを通じてのみ物理的環境を視認できるように、表示生成コンポーネント（例えば、ＨＭＤ）がユーザの頭部に配置されているという判定に従って、表示生成コンポーネントがユーザに対して所定の位置に配置されていると判定する。いくつかの実施形態では、コンピュータシステムは、ユーザがコンピュータシステムのヘッドアップディスプレイの前に着座したという判定に従って、表示生成コンポーネントがユーザに対して所定の位置に配置されていると判定する。いくつかの実施形態では、ユーザに対して表示生成コンポーネントを所定の位置に配置すること、又は表示生成コンポーネントに対してユーザを所定の位置に配置することにより、ユーザは、表示生成コンポーネントを通じてコンテンツ（例えば、現実又は仮想コンテンツ）を見ることができる。いくつかの実施形態では、表示生成コンポーネント及びユーザが所定の相対位置にあると、物理的環境のユーザのビューは、表示生成コンポーネントによって少なくとも部分的に（又は完全に）遮断され得る。
いくつかの実施形態では、コンピュータシステムの表示生成コンポーネントの配置は、センサシステムによってキャプチャされたデータの解析に基づいて判定される。いくつかの実施形態では、センサシステムは、コンピュータシステムのコンポーネント（例えば、デバイス７１００又はＨＭＤの表示生成コンポーネントと同じハウジング内に封入された内部コンポーネント）である１つ以上のセンサを含む。いくつかの実施形態では、センサシステムは、外部システムであり、コンピュータシステムの表示生成コンポーネントと同じハウジングに囲まれていない（例えば、センサは、データ解析のためにキャプチャされた画像データをコンピュータシステムに提供する外部カメラである）。
いくつかの実施形態では、センサシステムは、コンピュータシステムのユーザ及び／又は表示生成コンポーネントの移動を追跡する１つ以上の撮像センサ（例えば、１つ以上のカメラ）を含む。いくつかの実施形態では、１つ以上の撮像センサは、ユーザの手（単数又は複数）及び／又はユーザの頭部などのユーザの１つ以上の特徴の位置及び／又は移動を追跡して、ユーザ又はユーザの所定の部分（例えば、頭部、目など）に対する表示生成コンポーネントの配置を検出する。例えば、画像データが、ユーザがユーザの目の前にデバイス７１００のディスプレイを保持しているかどうか、又はユーザがヘッドマウントディスプレイをユーザの頭部に装着しているかどうかを判定するために、リアルタイムで解析される。いくつかの実施形態では、１つ以上の撮像センサが、ユーザの目の視線を追跡して、ユーザがどこを見ているか（例えば、ユーザがディスプレイを見ているかどうか）を判定する。いくつかの実施形態では、センサシステムは、デバイス７１００を片手又は両手で、及び／又はデバイスの縁部上で保持すること、又は両手でヘッドマウントディスプレイを保持してユーザの頭部にヘッドマウントデバイスを置くことなど、ディスプレイに対するユーザの手の握りを検出する１つ以上のタッチベースのセンサ（例えば、ディスプレイに取り付ける）を含む。いくつかの実施形態では、センサシステムは、電子デバイスのディスプレイの移動及び／又は位置情報（例えば、位置、高さ、及び／又は配向）を検出して、ユーザに対するディスプレイの配置を判定する１つ以上の運動センサ（例えば、加速度計）及び／又は位置センサ（例えば、ジャイロスコープ、ＧＰＳセンサ、及び／又は近接センサ）を含む。例えば、移動及び／又は位置データを解析して、モバイルデバイスが上昇されてユーザの目に向いているかどうか、又はヘッドマウントディスプレイが持ち上げられてユーザの頭部に置かれているかどうかを判定する。いくつかの実施形態では、センサシステムは、ユーザの頭部上のヘッドマウントディスプレイの位置付けを検出する１つ以上の赤外線センサを含む。いくつかの実施形態では、センサシステムは、ユーザに対する表示生成コンポーネントの配置を判定するためのデータを提供する異なるタイプのセンサの組み合わせを含む。例えば、表示生成コンポーネントのハウジング上のユーザの手の握り、表示生成コンポーネントの運動及び／又は配向情報、及びユーザの視線情報が組み合わせて解析されて、ユーザに対する表示生成コンポーネントの配置を判定する。
いくつかの実施形態では、センサシステムによってキャプチャされたデータの解析に基づいて、電子デバイスのディスプレイがユーザに対して所定の位置に配置されていると判定される。いくつかの実施形態では、ユーザに対するディスプレイの所定の位置は、ユーザが、コンピュータシステムを使用して仮想及び没入体験を開始しようとしている（例えば、三次元映画を開始する、三次元仮想世界に入る、など）ことを示す。例えば、センサデータは、ユーザの視線がディスプレイスクリーンに向けられている間、又はユーザが両手をユーザの頭部においてヘッドマウントデバイスを保持し上昇させている間に、ユーザの両掌内でユーザがモバイルデバイスを保持していることを示す（例えば、図７Ｋに示される手構成）。いくつかの実施形態では、コンピュータシステムは、ユーザがユーザに対する表示生成コンポーネントの位置を調節する（例えば、快適にフィットし、ディスプレイが両目と適切に揃うようにＨＭＤを移動させる）ことを可能にし、この期間中の手の握り及び位置の変化は、表示される第１のビューのいかなる変化もトリガしない。いくつかの実施形態では、変化について監視される最初の手の握りは、表示生成コンポーネントを保持するための握りではなく、表示生成コンポーネントの特定の部分（例えば、ＨＭＤをオンにする、又は仮想コンテンツの表示を開始するためのスイッチ又はコントロール）上の手又は指のタッチである。いくつかの実施形態では、手の握りでＨＭＤをユーザの頭部に配置することと、没入型体験を開始するコントロールをアクティブ化することとの組み合わせは、変化について監視される最初の手の握りである。
図７Ｋの部分（Ｂ）に示されるようないくつかの実施形態では、ディスプレイがユーザに対して所定の位置にあると検出したことに応答して、三次元環境の第１のビュー７８２０は、コンピュータシステムの表示生成コンポーネントによって表示される。いくつかの実施形態では、三次元環境の第１のビュー７８２０は、ウェルカム／導入ユーザインタフェースである。いくつかの実施形態では、第１のビュー７８２０は、ユーザ７８０２を取り囲む物理的環境７８００の少なくとも一部の表現を含むパススルー部分を含む。
いくつかの実施形態では、パススルー部分は、ユーザ７８０２視野を取り囲み、視野内の物理的環境７８００の少なくとも一部を明らかにする表示生成コンポーネントの透明又は半透明（例えば、シースルー）部分である。例えば、パススルー部分は、半透明（例えば、５０％、４０％、３０％、２０％、１５％、１０％、又は５％未満の不透明度）又は透明であるヘッドマウントディスプレイの一部であり、ユーザは、表示生成コンポーネントを除去することなく、それを通してユーザを取り囲む現実世界を視認することができる。いくつかの実施形態では、パススルー部分は、例えば、ユーザが完全に没入型環境に進行する準備ができていることを示すその後のユーザの手の握りの変化に応答して、溶接／導入ユーザインタフェースが没入型仮想又は複合現実環境に変化するにつれて半透明又は透明から完全に不透明に徐々に移行する。
いくつかの実施形態では、第１のビュー７８２０のパススルー部分は、１つ以上のカメラ（例えば、モバイルデバイスの若しくはヘッドマウントディスプレイに関連付けられた後面カメラ（単数又は複数）、又は画像データを電子デバイスに供給する他のカメラ）によってキャプチャされた物理的環境７８００の少なくとも一部の画像又はビデオのライブフィードを表示する。例えば、パススルー部分は、物理的環境７８００のライブ画像又はビデオを表示するディスプレイスクリーンの全て又は一部を含む。いくつかの実施形態では、１つ以上のカメラは、直接ユーザの目の前に（例えば、表示生成コンポーネントの後ろに）ある物理的環境の一部に向けられる。いくつかの実施形態では、１つ以上のカメラは、直接ユーザの目の前にない（例えば、異なる物理的環境にある、又はユーザの側方又は後方にある）物理的環境の一部に向けられる。
いくつかの実施形態では、三次元環境の第１のビュー７８２０は、三次元仮想現実（ＶＲ）コンテンツを含む。いくつかの実施形態では、ＶＲコンテンツは、物理的環境７８００内の１つ以上の物理的オブジェクト（例えば、棚及び／又は壁）に対応する１つ以上の仮想オブジェクトを含む。例えば、仮想オブジェクトの少なくともいくつかは、対応する物理的環境７８００内の物理的オブジェクトの位置に対応する仮想現実環境内の位置に表示される（例えば、物理的環境内の物理的オブジェクトの位置は、１つ以上のカメラを使用して判定される）。いくつかの実施形態では、ＶＲコンテンツは、パススルー部分を通して見られる物理的環境７８００に対応しない、及び／又はパススルー部分内の物理的オブジェクトから独立して表示される。例えば、ＶＲコンテンツは、仮想ユーザインタフェース要素（例えば、ユーザインタフェースオブジェクトを含む仮想ドック、又は仮想メニュー）、又は物理的環境７８００とは無関係である他の仮想オブジェクトを含む。
いくつかの実施形態では、三次元環境の第１のビュー７８２０は、三次元拡張現実（ＡＲ）コンテンツを含む。いくつかの実施形態では、１つ以上のカメラ（例えば、モバイルデバイスの、又はヘッドマウントディスプレイに関連付けられた背面カメラ（単数又は複数）、又は画像データをコンピュータシステムに供給する他のカメラ）は、１つ以上のカメラの視野内にある周囲の物理的環境７８００の少なくとも一部のライブビューを連続的に提供し、ＡＲコンテンツは、１つ以上のカメラの視野内にある周囲の物理的環境７８００の当該一部に対応する。いくつかの実施形態では、ＡＲコンテンツは、１つ以上のカメラのライブビューを少なくとも部分的に含む。いくつかの実施形態では、ＡＲコンテンツは、ライブビューの一部に配置された（例えば、ライブビューの一部上に重ねられた、又は、ライブビューの一部を遮断しているように見える）１つ以上の仮想オブジェクトを含む。いくつかの実施形態では、仮想オブジェクトは、物理的環境７８００内の対応するオブジェクトの位置に対応する仮想環境７８２０内の位置に表示される。例えば、それぞれの仮想オブジェクトは、物理的環境７８００内の対応する物理的オブジェクトの代わりに表示される（例えば、物理的オブジェクトのビューに重ねられる、そのビューを不明瞭にする、及び／又はそのビューを置き換える）。
いくつかの実施形態では、三次元環境の第１のビュー７８２０において、（例えば、物理的環境７８００の少なくとも一部を表す）パススルー部分は、仮想コンテンツ（例えば、ＶＲ及び／又はＡＲコンテンツ）によって囲まれる。例えば、パススルー部分は、ディスプレイ上の仮想コンテンツと重複しない。いくつかの実施形態では、三次元仮想環境の第１のビュー７８２０において、ＶＲ及び／又はＡＲ仮想コンテンツは、パススルー部分の代わりに表示される（例えば、表示されたコンテンツの上に重ねられる、又はそれに置き換わる）。例えば、仮想コンテンツ（例えば、複数の仮想ユーザインタフェース要素を列挙する仮想ドック又は仮想開始メニュー）は、半透明又は透明のパススルー部分を通じて表示される物理的環境７８００の一部に重ねられる又は遮断される。いくつかの実施形態では、三次元環境の第１のビュー７８２０は最初、任意の仮想コンテンツ無しのパススルー部分のみを含む。例えば、ユーザが最初にユーザの掌にデバイスを保持するとき（例えば、図７Ｌに示すように）、又はユーザが最初にヘッドマウントディスプレイをユーザの頭部に置くとき、ユーザは、ユーザの目の視野内又はシースルー部分を介したライブフィードカメラの視野内の物理的環境の部分を視認する。次いで、仮想コンテンツ（例えば、仮想メニュー／アイコンを有するウェルカム／導入ユーザインタフェース）は、ユーザの手の握りが変化せずにとどまる間、一定期間にわたってパススルー部分に重畳する又はパススルー部分を遮断するように徐々にフェードインする。いくつかの実施形態では、ウェルカム／導入ユーザインタフェースは、ユーザの手の握りが変化しない限り、（例えば、仮想コンテンツと物理的世界を示す及びパススルー部分との両方を有する安定状態で）表示されたままである。
いくつかの実施形態では、ユーザの仮想没入型体験を有効化することにより、周囲の現実世界のユーザの現在のビューを、表示生成コンポーネントによって（例えば、ユーザの目の前のディスプレイの存在及びヘッドマウントディスプレイの消音機能によって）一時的に遮断する。これは、ユーザの仮想没入体験の開始前の時点で行われる。ウェルカム／導入ユーザインタフェース内にパススルー部分を有することにより、ユーザを取り囲む物理的環境の視認からユーザの仮想没入型体験への移行は、より良好に制御されたよりスムーズな移行（例えば、認知的に穏やかな移行）から恩恵を得る。これにより、コンピュータシステム又はコンテンツプロバイダに、全てのユーザに対する完全没入型体験に移行するタイミングを指示させることとは対照的に、ユーザ自身が、ウェルカム／導入ユーザインタフェースを見た後に、完全に没入型体験の準備を整えるのに必要な時間がどのくらいかかるかに関して一層制御することができる。
図７Ｍは、コンピュータシステムの表示生成コンポーネントによって（例えば、デバイス７１００のディスプレイ上に）表示される三次元環境の別の例示的なビュー７９２０（「三次元環境の第２のビュー７９２０」又は「第２のビュー７９２０」とも呼ばれる）を示す。いくつかの実施形態では、三次元環境の第２のビュー７９２０は、第１の所定の基準（例えば、ユーザの制御又は保護の十分な減少の検出に対応する基準）を満たしているコンピュータシステムの表示生成コンポーネントのハウジング上でのユーザの手の握りの変化（例えば、図７Ｋの部分（Ｂ）の手構成（例えば、両手の握り）から図７Ｌの部分（Ｂ）の手構成（例えば、片手の握り）への変化）の検出に応答して、三次元環境の第１のビュー７８２０を置き換える。
いくつかの実施形態では、ユーザの手（単数又は複数）の握りの変化は、図７Ｋを参照して上述したようにセンサシステムによって検出される。例えば、１つ以上の撮像センサが、ユーザの手の握りの変化を検出するために、ユーザの手の移動及び／又は位置を追跡する。別の例では、ディスプレイ上の１つ以上のタッチベースのセンサが、ユーザの手の握りの変化を検出する。
いくつかの実施形態では、ユーザの手の握りの変化の第１の所定の基準は、ディスプレイ上で検出された手の総数の変化（例えば、両手から片手、片手から手無し、又は両手から手無し）、表示生成コンポーネントと接触している指の総数の変化（例えば、８本の指から６本の指、４本の指から２本の指、２本の指から指無し）、表示生成コンポーネント上の手の接触から手の接触無しへの変化、接触位置の変化（例えば、掌から指まで）、及び／又はディスプレイ上の接触強度の変化（例えば、手の姿勢、配向、表示生成コンポーネント上の異なる指の相対的な把持力の変化などから生じる）を必要とする。いくつかの実施形態では、ディスプレイ上の手の握りの変化は、ユーザに対するディスプレイの所定の位置の変化を引き起こさない（例えば、ヘッドマウントディスプレイは、依然としてユーザの頭部にあり、ユーザの目を覆う）。いくつかの実施形態では、手の握りの変化は、ユーザが（例えば、徐々に又は意図的に）ディスプレイから手を放しており、仮想没入型体験に没頭する準備が整っていることを表す。
いくつかの実施形態では、変化に関して監視される最初の手の握りは、表示生成コンポーネントを保持するための握りではなく、表示生成コンポーネントの特定部分（例えば、ＨＭＤをオンにする、又は仮想コンテンツの表示を開始するためのスイッチ又はコントロール）への手又は指のタッチであり、ユーザの手の握りの変化の第１の所定の基準は、表示生成コンポーネントの特定の部分（例えば、ＨＭＤをオンにする、又は仮想コンテンツの表示を開始するためのスイッチ又はコントロールを始動する指）にタッチした指が、表示生成コンポーネントの特定の部分へのタッチをやめることを必要とする。
いくつかの実施形態では、三次元環境の第２のビュー７９２０は、第１のビュー７８２０内のパススルー部分の少なくとも一部を仮想コンテンツに置き換える。いくつかの実施形態では、三次元環境の第２のビュー７９２０の仮想コンテンツは、ＶＲコンテンツ（例えば、仮想オブジェクト７５１０（例えば、仮想ユーザインタフェース要素又はシステムアフォーダンス））、ＡＲコンテンツ（例えば、仮想オブジェクト７５０６（例えば、１つ以上のカメラによってキャプチャされた壁のライブビュー上に重ねられた仮想窓））、及び／又は仮想オブジェクト７５０８（例えば、物理的環境内の物理的オブジェクト７５０４の表現７５０４’の一部又は全体の代わりに表示された、又はその上に重ね合わされた写真又は仮想コントロール）を含む。
いくつかの実施形態では、第１のビュー７８２０を第２のビュー７９２０に置き換えることは、パススルー部分の不透明度を上昇させて（例えば、パススルー部分がディスプレイの半透明又は透明状態で実装されるとき）、ディスプレイの半透明又は透明部分上に重ね合わされた仮想コンテンツがより見えやすくなり、色飽和度が高くなることを含む。いくつかの実施形態では、第２のビュー７９２０の仮想コンテンツは、第１のビュー７８２０内の仮想コンテンツよりもユーザにより没入型の体験を提供する。例えば、第１のビュー７８２０の仮想コンテンツは、ユーザの前に表示されているが、第２のビュー７９２０の仮想コンテンツは、ユーザが頭部の向きを変える及び／又は歩き回っているときにユーザにとって可視であるパノラマ又は３６０度ビューで表される三次元世界を含む。いくつかの実施形態では、第２のビュー７９２０は、第１のビュー７８２０よりも、ユーザを取り囲む物理的環境７８００の少ない部分又は小さい部分を表示する小さなパススルー部分を含む。例えば、第１のビュー７８２０のパススルー部分は、ユーザが位置する部屋の壁のうちの１つの実際の窓を示し、第２のビュー７９２０のパススルー部分は、仮想窓に置き換えられた壁のうちの１つの窓を示し、その結果、第２のビュー７９２０でパススルー部分の面積が低減される。
図７Ｍは、更に別の例示的な第３のビュー７８２１（例えば、三次元環境の第１のビュー７８２０又はその修正バージョン、又は異なるビュー）は、表示生成コンポーネントのハウジング上の最初の手の握り構成を再び検出したことに応答して（例えば、図７Ｌに示されるように、手の握りの必要な変化を検出したことに応答して第２のビュー７９２０が表示された後）、コンピュータシステムの表示生成コンポーネントによって表示される。いくつかの実施形態では、第３のビュー７８２１は、コンピュータシステムの表示生成コンポーネント上のユーザの手の握りの別の変化（例えば、図７Ｌの手構成からの変化、又は手の握り無しから図７Ｍの手構成への変化）の検出に応答して、パススルー部分を再確立する。いくつかの実施形態では、ユーザの手の握りの変化は、表示生成コンポーネントのハウジング上のユーザの手の握りの再確立を表し、ユーザが仮想没入型体験を（例えば、部分的又は完全に、徐々に、又は直ちに）去ることを望むことを示す。
いくつかの実施形態では、センサシステムは、表示生成コンポーネントのハウジング上で検出された手の総数の変化（例えば、片手から両手へ、又は手無しから両手へ）、表示生成コンポーネントのハウジングに接触する指の総数の増加、手の接触無しから表示生成コンポーネントのハウジング上の手の接触への変化、接触位置の変化（例えば、指（単数又は複数）から掌）、及び／又は表示生成コンポーネントのハウジング上の接触強度の変化を検出する。いくつかの実施形態では、ユーザの手の握りの再確立は、表示生成コンポーネントの位置及び／又は配向を変化させる（例えば、図７Ｌの部分（Ａ）の角度と比較して、図７Ｍのパート（Ａ）の環境に対するデバイス７１００の位置及び角度を変化させる）。いくつかの実施形態では、ユーザの手の握りの変化は、物理的環境７８００に対するユーザの視点の変化を引き起こす（例えば、物理的環境７８００に対するデバイス７１００又はデバイス７１００の１つ以上のカメラの視野角が変化する）。結果として、表示される第３のビュー７８２１の視点は、それに応じて変化する（例えば、パススルー部分及び／又はディスプレイ上の仮想オブジェクトの視点を変化させることを含む）。
いくつかの実施形態では、第３のビュー７８２１のパススルー部分は、第１のビュー７８２０のパススルー部分と同一である、又は少なくとも、第２のビュー７９２０内のパススルー部分（もしあれば）に対して増加している。いくつかの実施形態では、第３のビュー７８２１のパススルー部分は、第１のビュー７８２０のパススルー部分と比較して、物理的環境７８００内の物理的オブジェクト７５０４の異なる視点を示す。いくつかの実施形態では、第３のビュー７８２１のパススルー部分は、透明又は半透明である表示生成コンポーネントのシースルー部分である。いくつかの実施形態では、第３のビュー７８２１のパススルー部分は、物理的環境７８００の少なくとも一部の画像データをキャプチャするように構成された１つ以上のカメラからのライブフィードを表示する。いくつかの実施形態では、第３のビュー７８２１内のパススルー部分と共に表示される仮想コンテンツが存在しない。いくつかの実施形態では、仮想コンテンツは、一時停止される、又は第３のビュー７８２１内で半透明にされ又は色飽和度を低減され、第３のビュー７８２１内のパススルー部分と同時に表示される。第３のビューが表示されると、ユーザは、図７Ｋ～７Ｌに関して説明したように、手の握りを再度変化させることによって、完全没入型体験を再開することができる。
図７Ｎ～図７Ｐは、いくつかの実施形態による、ユーザを取り囲む物理的環境内のオブジェクト（例えば、障害物又は標的）に対するユーザの位置の変化の検出に応答して変化する三次元仮想環境の例示的なビューを示す。図７Ｎ～図７Ｐを参照して説明される入力ジェスチャは、図１３におけるプロセスを含め、以下において説明されるプロセスを例示するために用いられる。
図７Ｎの部分（Ａ）では、ユーザ７８０２は、物理的環境７８００内にデバイス７１００を保持する。物理的環境は、１つ以上の物理的表面及び物理的オブジェクト（例えば、壁、床、物理的オブジェクト７６０２）を含む。デバイス７１００は、ユーザを取り囲む物理的環境を示すパススルー部分を表示することなく、仮想三次元環境７６１０を表示する。いくつかの実施形態では、デバイス７１００は、仮想環境７６１０を表示するときに、物理的環境のユーザのビューを遮断する表示生成コンポーネントを含むＨＭＤ又は他のコンピュータシステムによって置き換えることができる。いくつかの実施形態では、コンピュータシステムのＨＭＤ又は表示生成コンポーネントは、少なくともユーザの目を包囲し、物理的環境のユーザのビューは、表示生成コンポーネント及び表示生成コンポーネント又はそのハウジングで形成された他の物理的障壁によって表示される仮想コンテンツによって部分的又は完全に遮断される。
図７Ｎの部分（Ｂ）は、コンピュータシステム（例えば、デバイス７１００又はＨＭＤ）の表示生成コンポーネント（「ディスプレイ」とも称される）によって表示される三次元環境の第１のビュー７６１０を示す。
いくつかの実施形態では、第１のビュー７６１０は、没入型仮想体験（例えば、三次元映画又はゲーム）を提供する三次元仮想環境である。いくつかの実施形態では、第１のビュー７６１０は、三次元仮想現実（ＶＲ）コンテンツを含む。いくつかの実施形態では、ＶＲコンテンツは、ユーザを取り囲む物理的環境７８００に対応しない物理的環境内の１つ以上の物理的オブジェクトに対応する１つ以上の仮想オブジェクトを含む。例えば、仮想オブジェクトの少なくともいくつかは、物理的環境７８００から離れた物理的環境内の物理的オブジェクトの位置に対応する仮想現実環境内の位置に表示される。いくつかの実施形態では、第１のビューは、仮想ユーザインタフェース要素（例えば、ユーザインタフェースオブジェクトを含む仮想ドック又は仮想メニュー）、又は物理的環境７８００とは無関係である他の仮想オブジェクトを含む。
いくつかの実施形態では、第１のビュー７６１０は、ユーザ７８０２を取り囲む物理的環境７８００の任意の表現を含まず、かつそれとは異なる、１００％仮想コンテンツ（例えば、仮想オブジェクト７６１２及び仮想面７６１４（例えば、仮想壁及び床））を含む。いくつかの実施形態では、第１のビュー７６１０内の仮想コンテンツ（例えば、仮想オブジェクト７６１２及び仮想面７６１４）は、物理的環境７８００内の任意の物理的オブジェクトの存在、位置、及び／又は物理的構造に対応しないか、又は視覚的に伝達しない。いくつかの実施形態では、第１のビュー７６１０は、任意選択的に、物理的環境７８００内の第１の物理的オブジェクトの存在及び位置を示すが、物理的環境７８００内の第２の物理的オブジェクトの存在、位置、及び／又は物理的構造を視覚的に伝達しない仮想表現を含み、ユーザのビューが表示生成コンポーネントによってブロックされていない場合には両者ともユーザの視野内にある。言い換えれば、第１のビュー７６１０は、ユーザの通常の視野（例えば、ユーザの目の前に表示生成コンポーネントが配置されていない状態のユーザの視野）において存在するであろう少なくともいくつかの物理的オブジェクト又はその一部の表示を置き換える仮想コンテンツを含む。
図７Ｏは、コンピュータシステムの表示生成コンポーネントによって表示される三次元仮想環境（「三次元環境の第２のビュー７６２０」、「仮想環境の第２のビュー７６２０」、又は「第２のビュー７６２０」とも称される）の別の例示的なビュー７６２０を示す。いくつかの実施形態では、センサシステムは、ユーザ７８０２が物理的環境７８００内の物理的オブジェクト７６０２に向かって移動することを検出し、センサシステムによって取得されたセンサデータが解析されて、ユーザ７８０２と物理的オブジェクト７６０２との間の距離が所定の閾値距離（例えば、腕の長さ、又はユーザの通常の歩行の長さ）内にあるかどうかを判定する。いくつかの実施形態では、物理的オブジェクト７６０２の一部がユーザ７６０２に対して閾値距離内にあると判定されると、仮想環境のビューの外観は、物理的オブジェクト７６０２の一部の物理的特性を示すように変化させられる（例えば、ユーザ７８０２からの閾値距離内にある図７Ｏの部分（Ｂ）の第２のビュー７６２０内の物理的オブジェクト７６０２の部分７６０４を示し、部分７６０４と同じユーザの視野内にあるが、ユーザの閾値距離内にはない物理的オブジェクト７６０２の他の部分を示さない）。いくつかの実施形態では、仮想コンテンツの一部を物理的オブジェクトの部分７６０４の直接ビュー又はカメラビューに置き換える代わりに、物理的オブジェクトの部分７６０４に対応する位置での仮想コンテンツの一部の視覚的特性（例えば、不透明度、色、テクスチャ、仮想材料など）は、物理的オブジェクトの部分７６０４の物理的特性（例えば、サイズ、色、パターン、構造、輪郭、形状、表面など）を示すように変更される。物理的オブジェクト７６０２の部分７６０４に対応する位置での仮想コンテンツの変化は、部分７６０４の外側にある物理的オブジェクト７６０２の部分に対応する位置での仮想コンテンツの部分を含む、仮想コンテンツの他の部分に適用されない。いくつかの実施形態では、コンピュータシステムは、物理的オブジェクトの部分７６０４に対応する位置での仮想コンテンツの部分と、物理的オブジェクトの部分７６０４に対応する位置のすぐ外側の仮想コンテンツの部分との間の融合を提供する（例えば、視覚的移行をスムーズにする）。
いくつかの実施形態では、物理的オブジェクト７６０２は、壁、椅子、又はテーブルなどの物理的環境７８００内の静的オブジェクトである。いくつかの実施形態では、物理的オブジェクト７６０２が物理的環境７８００内で移動するオブジェクト、例えば、ユーザ７８０２が物理的環境７８００に対して静止している間に、ユーザ７８０２に対して移動する物理的環境７８００内の別の人又は犬などである（例えば、ユーザが映画を見ながらソファに座っている間に、ユーザのペットが動き回る）。
いくつかの実施形態では、ユーザ７８０２が、三次元没入型仮想体験（例えば、サラウンド音響効果や他の仮想知覚などを有するパノラマ三次元ディスプレイを含む）を享受している間、コンピュータシステムと結合されたセンサシステムからのセンサデータのリアルタイム解析が、（例えば、物理的オブジェクトに向かうユーザの移動、又はユーザに向かう物理的オブジェクトの移動のいずれかによって）ユーザ７８０２が物理的オブジェクト７６０２に十分近づいていることを示す場合、ユーザ７８０２は、スムーズで邪魔の少ない形で仮想環境と融合する警告を受信することから恩恵を得ることができる。これにより、ユーザは、体験の没入型品質を失うことなく、自分の移動を変化させる、及び／又は没入型体験を中止／継続するかについて、より多くの情報に基づいた判定を下すことができる。
いくつかの実施形態では、第２のビュー７６２０は、センサデータの解析が、ユーザ７８０２が物理的環境７８００内の物理的オブジェクト７６０２の少なくとも一部の閾値距離内にいることを示すときに表示される（例えば、物理的オブジェクト７６０２は、仮想環境に対するユーザの視野に基づいてユーザに潜在的に可視となり得る範囲を有する）。いくつかの実施形態では、コンピュータシステムは、物理的環境７８００内のユーザに対する物理的オブジェクトの一部の位置を前提とすると、物理的オブジェクトのその部分は、ディスプレイがパススルー部分を有していた場合、又は表示生成コンポーネントがユーザの目の前に存在しなかった場合、ユーザの視野内で見えることになる。
いくつかの実施形態では、仮想環境の第２のビュー７６２０内の部分７６０４は、物理的オブジェクト７６０２の対応する部分の半透明視覚的表現を含む。例えば、半透明の表現は仮想コンテンツに重なる。いくつかの実施形態では、仮想環境の第２のビュー７６２０の部分７６０４は、物理的オブジェクト７６０２の対応する部分のガラス状の外観を含む。例えば、ユーザ７８０２が、没入型仮想体験を享受している間に部屋に配置されたテーブルに近づくと、ユーザに最も近いテーブルの部分は、仮想コンテンツ（例えば、仮想ビュー内の仮想ボール又は仮想草地）に重なるガラス状の半透明なシースルーの外観で示され、テーブルのその部分の後ろの仮想コンテンツは、ガラス状テーブルのその部分を通じて可視である。いくつかの実施形態では、仮想環境の第２のビュー７６２０は、ユーザ７８０２に最も近い物理的オブジェクト７６０２の部分に対応する部分７６０４に適用される所定の歪み又は他の視覚的効果（例えば、揺らめき、波動、輝き、暗化、ぼかし、渦巻などの視覚的効果、又は異なるテキスト効果）を示す。
いくつかの実施形態では、ユーザが物理的オブジェクト７６０２の対応する部分に向かって移動し閾値距離内に入ると、仮想環境の第２のビュー７６２０は、ユーザに適時な警告を提供するように瞬時に第１のビュー７６１０に取って代わる。いくつかの実施形態では、仮想環境の第２のビュー７６２０は、例えば、フェードイン／フェードアウト効果を用いて徐々に表示され、移行がより滑らかで、混乱／邪魔がより少ないユーザ体験を提供する。いくつかの実施形態では、コンピュータシステムは、物理的環境内で移動することによって、ユーザが三次元環境内でナビゲートすることを可能にし、三次元環境内のコンピュータ生成運動を反映するように、ユーザに提示される三次元環境のビューを変化させる。例えば、図７Ｎ及び図７Ｏに示されるように、ユーザが物理的オブジェクト７６０２に向かって歩いているとき、ユーザは、三次元仮想環境内で仮想オブジェクト７６１２に向かって同じ方向に移動するものとして自分の移動を知覚する（例えば、仮想オブジェクト７６１２がより近くかつ大きくなる）。いくつかの実施形態では、ユーザに提示された仮想コンテンツは、物理的環境内のユーザの移動とは無関係であり、ユーザが物理的環境内の物理的オブジェクトの閾値距離内に到達した場合を除いて、物理的環境内のユーザの移動に従って変更されない。
図７Ｐは、コンピュータシステムの表示生成コンポーネント（例えば、デバイス７１００又はＨＭＤ）によって表示される三次元環境の更に別の例示的なビュー７６３０（「三次元環境の「第３のビュー７６３０」、「仮想環境の第３のビュー７６３０」、又は「第３のビュー７６３０」とも称される）を示す。いくつかの実施形態では、図７Ｏを参照して説明したように仮想三次元環境の第２のビュー７６２０を表示した後、ユーザ７８０２が物理的環境７８００内の物理的オブジェクト７６０２に向かって移動し続けると、センサデータの解析は、ユーザ７８０２と物理的オブジェクト７６０２の部分７６０６との間の距離が所定の閾値距離未満であることを示す。それに応答して、ディスプレイは、第２のビュー７６２０から第３のビュー７６３０に移行する。いくつかの実施形態では、構造（例えば、サイズ、形状、長さ、幅、幅など）及びユーザと物理的オブジェクト７６０２の相対位置に応じて、ユーザが物理的環境７８００内の様々な位置にあるときにユーザの所定の閾値距離内にあった物理的オブジェクト７６０２の部分７６０６及び部分７６０４は、任意選択的に物理的オブジェクトの完全に別個の非重複部分であり、部分７６０６は任意選択的に部分７６０４を完全に包囲し、部分７６０６及び部分７６０４は任意選択的に部分的に重複し、又は部分７６０４は、任意選択的に部分７６０６を完全に包囲する。いくつかの実施形態では、１つ以上の他の物理的オブジェクトの部分又は全体は、それらの物理的オブジェクトがユーザの所定の閾値距離の内側又は外側にあるかに応じて、ユーザがそれらの物理的オブジェクトに対して部屋を動き回るときに、仮想三次元環境の現在表示されているビュー内に視覚的に表す、又は表すことを停止することができる。
いくつかの実施形態では、コンピュータシステムは、任意選択的に、ユーザが、ユーザと所定の物理的オブジェクトとの間の距離が監視され、視覚的変化が仮想環境に適用される物理的環境７８００内の物理的オブジェクトのサブセットを予め選択することを可能にする。例えば、ユーザは、物理的オブジェクトのサブセットとして家具及びペットを予め選択し、物理的オブジェクトのサブセットとして衣服やカーテンなどを選択しないことを望むことができ、ユーザが歩行している場合であっても、衣服やカーテンの存在についてユーザに警告するように視覚的変化を仮想環境に適用しない。いくつかの実施形態では、コンピュータシステムは、ユーザが物理的オブジェクトの閾値距離内にいるかどうかに関係なく、ユーザが物理的オブジェクトのそれぞれの位置に対応する仮想環境の一部に視覚的効果（例えば、透明度、不透明度、輝き、屈折率など）を適用することによって、常に仮想環境に視覚的に表される１つ以上の物理的オブジェクトを事前に指定することを可能にする。これらの視覚的インジケーションにより、ユーザが仮想世界に没入している場合でも、ユーザは現実世界に対して自身を配向し、仮想世界を探索するときにより安全で安定した感覚を覚えることができる。
いくつかの実施形態では、図７Ｐに示されるように、第３のビュー７６３０は、ユーザが物理的オブジェクトに近づいたときに、ユーザから閾値距離内にある物理的オブジェクト７６０２の部分７６０６のレンダリングを含む。いくつかの実施形態では、コンピュータシステムは、任意選択的に、ユーザと物理的オブジェクトの一部との間の低減された距離に従って、物理的オブジェクト７６０２の対応部分の物理的特性を示す仮想環境の部分に適用される視覚的効果の表示特性の値を更に増加させる。例えば、コンピュータシステムは、任意選択的に、第３のビュー７６３０の物理的オブジェクトの部分に対応する仮想環境の一部の屈折率、色飽和度、視覚的効果、不透明度、及び／又は透明度を、ユーザが徐々に物理的オブジェクトのその部分に近づくにつれて増加させる。いくつかの実施形態では、ユーザ７８０２が物理的オブジェクト７６０２に近づくにつれて、視覚的効果の空間的範囲が増加し、物理的オブジェクト７６０２の対応する部分が、仮想環境に対するユーザの視野においてより大きく見える。例えば、ユーザ７８０２が物理的環境７８００の物理的オブジェクト７６０２に近づくにつれて、第３のビュー７６３０の部分７６０６は、少なくとも以下の２つの理由、（１）物理的オブジェクト７６０２のより多くの部分が、ユーザの所定の距離内に入る、（２）物理的オブジェクト７６０２の同じ部分（例えば、部分７６０４）が、ユーザの目に近づくために仮想環境のユーザの視野のより大きな部分を占める、ために、第２のビュー７６２０の部分７６０４と比較して、仮想オブジェクト７６１２からそのサイズを徐々に増加させ、ユーザの方向に向かって延長しているように見える。
いくつかの実施形態では、コンピュータシステムは、ユーザの閾値距離内に部分的に位置する物理的オブジェクトの部分（例えば、仮想環境のユーザの視野内で潜在的に可視である全ての部分）、又は仮想環境のユーザの視野内で潜在的に可視である全ての物理的オブジェクトを、物理的オブジェクトのそれらの部分又は全ての物理的オブジェクトに対応する位置で仮想環境の表示特性を修正することによって、仮想環境内に視覚的に表示させるジェスチャ入力（例えば、ユーザは、閾値時間内にユーザの身体に対して一方又は両方の腕を所定の高度まで上げる（例えば、落下したり何かに衝突したりすることを防ぐための筋反射である急で突然の移動））を定義する。この特徴は、ユーザが物理的環境内で自分の身体の位置を確信するときに、ユーザが没入型体験から完全に去ることなく、自身を迅速に再配向することを可能にするのに役立つ。
図７Ａ～図７Ｐに関する追加の説明は、以下の図８～１３に関して記載された方法８０００、９０００、１００００、１１０００、１２０００、及び１３０００を参照して以下に提供される。
図８は、いくつかの実施形態による、所定の入力ジェスチャを使用して三次元環境と相互作用するための例示的な方法８０００のフローチャートである。いくつかの実施形態では、方法８０００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）と、１つ以上のカメラ（例えば、ユーザの手元で下方を向くカメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））又はユーザの頭部から前方に向くカメラ）と、を含むコンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、方法８０００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法８０００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
方法８０００において、コンピュータシステムは、三次元環境（例えば、仮想又は複合現実環境）のビューを表示する（８００２）。三次元環境のビューを表示する間、コンピュータシステムは、１つ以上のカメラを使用して（例えば、タッチ感知グローブ、又は手で制御される入力デバイス上のタッチ感知面、又はその他の非画像ベース手段（例えば、音波など）の使用とは対照的に、ＨＭＤの下縁に位置付けられた１つ以上のカメラを使用して）、ユーザの第１の手（例えば、グローブをはめていない、又は入力デバイス／表面に覆われていない若しくは添えられていない左手又は右手）のユーザの人差し指上でのユーザの親指の移動を検出する（８００４）。これは、例えば、図７Ａ及び付随する説明（例えば、親指タップ、親指スワイプ、及び親指フリックジェスチャ）に示されている。いくつかの実施形態では、ユーザの手又はそのグラフィック表現は、三次元環境のビューに（例えば、表示生成コンポーネントのパススルー部分で、又はユーザを取り囲む物理的環境の拡張現実ビューの一部として）表示される。いくつかの実施形態では、ユーザの手又はそのグラフィック表現は、三次元環境のビューには示されないか、又は三次元環境のビューの外側にあるディスプレイの一部（例えば、別個の又は浮遊する窓）に表示される。１つ以上のカメラ、特にＨＭＤの一部であるカメラを使用する恩恵は、ユーザの手の空間位置及びサイズが、ユーザが相互作用している物理的環境又は仮想環境内で自然に存在するかのようにユーザによって視認されることを含み、入力デバイスの空間を三次元環境に一致させる、及び／又は表示された三次元環境に配置する前にユーザの手の表現を拡大縮小、回転、及び並進させるための追加の計算を必要とすることなく、ディスプレイ上の三次元環境を知覚するためのスケール、配向、及び固定位置の直感的感覚をユーザに与える。図８に戻って参照すると、１つ以上のカメラを使用してユーザの人差し指上でのユーザの親指の移動（例えば、指又は手を空中で振る又はタッチ感知面上でスライドさせる、より大げさなジェスチャとは対照的に）を検出したことに応答して（８００６）、かつ移動が第１の方向への第１の手の人差し指上の親指のスワイプ（例えば、ｘ軸及びｙ軸の第１の軸（例えば、ｘ軸）に沿った移動、ｘ軸に沿った移動は人差し指の長さに沿った移動であり、ｙ軸に沿った移動は人差し指を横切る方向の移動（人差し指の長さに沿った移動に実質的に垂直である）であるという判定に従って、コンピュータシステムは、第１の動作を実行する（例えば、表示されたユーザインタフェース内の選択されたユーザインタフェースオブジェクトを変化させる（例えば、（アイテムの左右列で）第１の方向に対応するアイテムのリストを通じて第１の方向にアイテムの選択を繰り返す）、表示されたユーザインタフェース内のユーザインタフェースオブジェクトの位置を調節する（例えば、ユーザインタフェース内の第１の方向に対応する方向（例えば、左右）にオブジェクトを移動させる）、及び又はデバイスのシステム設定を調節する（例えば、ボリュームを調節する、次のリストアイテムに移動する、前のリストアイテムに移動する、前方にスキップする（例えば、次のチャプタ、オーディオトラック、及び／又はコンテンツアイテムに早送りする及び／又は進む）、後方にスキップする（例えば、前のチャプタ、オーディオトラック、及び／又はコンテンツアイテムに巻き戻しする及び／又は移動する））。いくつかの実施形態では、（例えば、人差し指の長さに沿った）第１の方向の（例えば、人差し指の先端に向かう）第１のサブ方向のスワイプは、ある方法で第１の動作を実行することに対応し、第１の方向の（例えば、人差し指の基部に向かう）第２のサブ方向のスワイプは、別の方法で第１の動作を実行することに対応する。このことは、例えば、図７Ｂ、７Ｃ、及び７Ｆ、並びに付随の説明に示される。図８に戻って参照すると、１つ以上のカメラを使用してユーザの人差し指でのユーザの親指の移動（例えば、指又は手を空中で振る又はタッチ感知面上でスライドさせる、より大げさなジェスチャとは対照的な移動）を検出したことに応答して（８００６）、かつ移動が、第１の手の人差し指の（例えば、末節骨、中節骨、及び／又は基節骨などの人差し指の第１の部分における）第１の位置での人差し指上の親指のタップ（閾値時間内の人差し指上の親指のタッチダウン及びリフトオフを含む）であるという判定に従って、コンピュータシステムは、第１の動作とは異なる第２の動作を実行する（例えば、現在選択されているユーザインタフェースオブジェクトに対応する動作を実行する、及び／又は、表示されたユーザインタフェース内の選択されたユーザインタフェースオブジェクトを変更する）。いくつかの実施形態では、第１／第２の動作を実行することは、三次元ユーザインタフェースのビューを変化させることを含み、この変化は、現在の動作コンテキストに依存する。言い換えれば、各ジェスチャは、現在の動作コンテキスト（例えば、ユーザが見ているオブジェクト、ユーザが向いている方向、現在のジェスチャの直前に実行される最後の機能、及び／又は現在選択されているオブジェクト）に応じて、異なる動作をトリガし、それに応じてそれぞれの方法で三次元環境のビュー内で変化する。このことは、例えば、図７Ｂ、７Ｃ、及び７Ｆ、並びに付随の説明に示される。
いくつかの実施形態では、１つ以上のカメラを使用してユーザの人差し指上のユーザの親指の移動を検出したことに応答して、移動が第１の方向に実質的に垂直な第２の方向への第１の手の人差し指上の親指のスワイプ（例えば、ｙ軸）であるという判定に従って（例えば、ｘ軸及びｙ軸の第２の軸（例えば、ｙ軸）に沿った移動、ｘ軸に沿った移動は人差し指の長に沿った移動であり、ｙ軸に沿った移動は人差し指を横切る（人差し指の長さに沿った移動に実質上直交する）方向の移動である）、コンピュータシステムは、第１の動作及び第２の動作とは異なる第３の動作を実行する（例えば、表示されたユーザインタフェース内の選択されたユーザインタフェースオブジェクトを変化させる（例えば、第２の方向に対応する項目のリスト内で第２の方向で（例えば、２Ｄメニュー内の複数行のアイテムを上下に、又は垂直に配置されたリストを上下に）選択を反復する、表示されたユーザインタフェース内のユーザインタフェースオブジェクトの位置を調節する（ユーザインタフェース内で第２の方向に対応する方向に（例えば、上下に）オブジェクトを移動させる、及び／又は、デバイスのシステム設定（例えば、ボリューム）を調節する）。いくつかの実施形態では、第３の動作は、第１の動作及び／又は第２の動作とは異なる。いくつかの実施形態では、（例えば、人差し指の周りに沿った）第２の方向の（例えば、人差し指の周りに沿って掌から離れる）第１のサブ方向のスワイプは、ある方法で第３の動作を実行することに対応し、第２の方向の（例えば、人差し指の周りに沿って掌に近づく）第２のサブ方向のスパイプは、別の方法で第３の動作を実行することに対応する。
いくつかの実施形態では、１つ以上のカメラを使用してユーザの人差し指上でのユーザの親指の移動を検出したことに応答して、移動が第１の方向（及び第２の方向）とは異なる第３の方向での人差し指上での親指の移動（人差し指上での親指のタップではない）であるという判定に従って、コンピュータシステムは、第１の動作とは異なり、第２の動作とは異なり、（及び、第３の動作とは異なる）第４の動作を実行する。いくつかの実施形態では、第３の方向は、人差し指から離れる（例えば、人差し指の側部でのタッピングとは反対の）人差し指からの上向き方向であり、そのジェスチャは、人差し指及び掌から離れる、人差し指の側部からの親指のフリックである。いくつかの実施形態では、親指を使用した人差し指の中間を横切るこの上方フリックジェスチャは、現在選択されているユーザインタフェースオブジェクトを三次元環境に押し込み、現在選択されているユーザインタフェースオブジェクト（例えば、動画アイコン、アプリアイコン、画像など）に対応する没入型体験（例えば、３Ｄ動画又は３Ｄ仮想体験、パノラマ表示モードなど）を開始させる。いくつかの実施形態では、没入型体験が継続している間、人差し指の中間を横切って掌に向かって下方にスワイプすると（例えば、人差し指の中間でタッピングするのとは対照的に、第２の方向のサブ方向のうちの１つの移動）、没入型体験が一時停止される、停止される、及び／又は低減された没入状態（例えば、非フルスクリーン、２Ｄモードなど）に変えられる。
いくつかの実施形態では、第１の動作を実行することは、第１の動作に対応する値（例えば、システム設定の値、ユーザインタフェースの少なくとも一部（例えば、ユーザインタフェースオブジェクト）の位置及び／又はその選択を示す値、及び／又は選択されたコンテンツ又はコンテンツの一部に対応する値）を増加させることを含む。例えば、値を増加させることは、第１の方向（例えば、人差し指の長さに沿った方向、又は人差し指の周りに沿った方向）の人差し指上の親指のスワイプが、人差し指の第１の所定の部分に向かって（例えば、人差し指の先端に向かって、又は人差し指の後側に向かって）移動するという判定に従って、ボリュームを増加させること、オブジェクトを増加方向（例えば、上方及び／又は右方向）に移動させること、及び／又は次の又は別の前進位置まで（例えば、リスト及び／又はコンテンツアイテム内の）位置を調節すること、を含む。いくつかの実施形態では、第１の動作を実行することは、第１の方向（例えば、人差し指の長さに沿った方向、又は人差し指の周りに沿った方向）の人差し指上の親指のスワイプが、人差し指の第１の所定の部分から離れて（例えば、人差し指の先端から離れて、又は人差し指の（手の後側の）後側から離れて）人差し指の第２の所定の部分に向かって（例えば、人差し指の基部に向かって、又は人差し指の（手の掌側の）前側に向かって移動するという判定に従って、第１の動作に対応する値を減少させることを更に含む（例えば、値を減少させることは、ボリュームを減少させること、減少方向（例えば、下方及び／又は左方向）にオブジェクトを移動させること、及び／又は、前の又は別の先行位置まで（例えば、リスト及び／又はコンテンツアイテム内の）位置を調節することを含む）。いくつかの実施形態では、第２の方向の人差し指上で親指をスワイプする方向はまた、第１の方向のスワイプ方向が第１の動作の方向を判定する方法と同様に、第３の動作の方向を判定する。
いくつかの実施形態では、第１の動作を実行することは、第１の動作に対応する値（例えば、システム設定の値、ユーザインタフェースの少なくとも一部（例えば、ユーザインタフェースオブジェクト）の位置及び／又はその選択を示す値、及び／又は選択されたコンテンツ又はコンテンツの一部に対応する値）を、人差し指上での親指の移動量に対応する量だけ調節することを含む。いくつかの実施形態では、親指の移動は、人差し指上の閾値位置に対して測定され、第１の動作に対応する値は、どの閾値位置に達したかに従って複数の個別の高度間で調節される。いくつかの実施形態では、親指の移動は連続的に測定され、第１の動作に対応する値は、人差し指上の（例えば、人差し指に沿った又はその周りの）親指の現在の位置に基づいて連続的かつ動的に調節される。いくつかの実施形態では、親指の移動速度は、動作の大きさ、及び／又は動作の異なる離散値がいつトリガされるかを判定するために使用される閾値を判定するために使用される。
いくつかの実施形態では、１つ以上のカメラを使用してユーザの人差し指上でのユーザの親指の移動を検出したことに応答して、移動が、人差し指上の第１の位置とは異なる第２の位置（例えば、人差し指の一部及び／又は指倍）における人差し指上での親指のタップであるという判定に従って、コンピュータシステムは、第２の動作とは異なる第５の動作を実行する（例えば、現在選択されているユーザインタフェースオブジェクトに対応する動作を実行する、及び／又は表示されたユーザインタフェース内で選択されたユーザインタフェースオブジェクトを変化させる）。いくつかの実施形態では、第５の動作は、第１の動作、第３の動作、及び／又は第４の動作とは異なる。いくつかの実施形態では、人差し指の中間部分をタップすることは、現在選択されているオブジェクトをアクティブ化させ、人差し指の先端をタップすることは、現在アクティブなアプリケーション又は体験を最小限に抑える／停止する／閉じる。いくつかの実施形態では、人差し指上での親指のタップを検出することは、人差し指からの親指のリフトオフを検出する必要はなく、親指が人差し指上にとどまっている間、親指又は手全体の移動は、例えば、オブジェクトをドラッグするために、親指のタップホールド入力と組み合わせた移動として扱うことができる。
いくつかの実施形態では、コンピュータシステムは、１つ以上のカメラを使用して（例えば、中指から離れて伸長したユーザの人差し指を検出しながら）ユーザの中指を介したユーザの親指のスワイプを検出する。ユーザの中指上でのユーザの親指のスワイプを検出したことに応答して、コンピュータシステムは、第６の動作を実行する。いくつかの実施形態では、第６の動作は、第１の動作、第２の動作、第３の動作、第４の動作、及び／又は第５の動作とは異なる。いくつかの実施形態では、中指上でのユーザの親指のスワイプは、中指の長さに沿った親指の移動（例えば、基部から中指の先端に向かう移動、又はその逆）を含み、中指上でのユーザの親指のスワイプが、中指の長さに沿った中指の先端から中指の基部に向かう親指の移動、及び／又は中指を横切る中指の掌側から中指の上部までの親指の移動を含むという判定に従って、１つ以上の異なる動作が実行される。
いくつかの実施形態では、コンピュータシステムは、１つ以上のカメラを使用して（例えば、中指から離れて伸長したユーザの人差し指を検出しながら）ユーザの中指上でのユーザの親指のタップを検出する。ユーザの中指上でのユーザの親指のタップを検出したことに応答して、コンピュータシステムは、第７の動作を実行する。いくつかの実施形態では、第７の動作は、第１の動作、第２の動作、第３の動作、第４の動作、第５の動作、及び／又は第６の動作とは異なる。いくつかの実施形態では、中指上でのユーザの親指のタップは、中指上の第１の位置にあり、中指上でのユーザの親指のタップが、中指上の第１の位置とは異なる第２の位置にあるという判定に従って、異なる動作が実行される。いくつかの実施形態では、中指上の第１及び／又は第２の位置からの上方フリックは、第１、第２、．．．及び／又は第７の動作とは異なる他の動作をデバイスに実行させる。
いくつかの実施形態では、コンピュータシステムは、三次元環境内の親指ジェスチャ（例えば、親指の手の他の指上でのスワイプ／タップ／フリック）の動作コンテキストの視覚的インジケーション（例えば、選択可能なオプションのメニュー、値を調節するためのダイヤル、デジタルアシスタントのアバター、現在選択されているオブジェクトの選択インジケータの表示、相互作用オブジェクトの強調表示など）を表示する（例えば、デバイスが、１つ以上のカメラを用いて、ユーザの手が所定の準備完了状態にある、又は所定の準備完了状態に入った（例えば、親指が人差し指の側部に置かれている、又は人差し指の側部の上方に浮かんでいる、及び／又は親指の後部が上方を向いている／人差し指の側部に置かれている状態で手首をフリックする）ことを検出するとき、及び／又は手の親指側がカメラの向かって上方を向いているとき、三次元環境内に複数のユーザインタフェースオブジェクトを表示し、ユーザインタフェースオブジェクトは、親指の手の他の指上でのスワイプ及びタップジェスチャに反応する）。第１の動作（又は第２、第３などの動作）を実行することは、第１の動作（又は第２、第３などの動作）の実行に対応する三次元環境の視覚的変化を表示することを含む（例えば、視覚的変化を表示することは、複数のユーザインタフェースオブジェクトのうちのそれぞれのユーザインタフェースオブジェクトを起動し、それぞれのユーザインタフェースオブジェクトに関連付けられた動作を実行させることを含む）。
いくつかの実施形態では、親指ジェスチャの動作コンテキストの視覚的インジケーションを表示している間（例えば、ユーザの手が所定の準備完了状態にあると検出したことに応答して三次元環境内の複数のユーザインタフェースオブジェクトを表示している間）、コンピュータシステムは、１つ以上のカメラを使用して、ユーザの第１の手の移動（例えば、指の相対的な内部の移動とは対照的に、カメラに対する物理的環境内の手全体の移動）を検出する（例えば、手が準備完了状態にとどまる間の手の移動を検出する）（例えば、三次元環境内の手／手首の移動及び／又は回転を検出する）。第１の手の移動を検出したことに応答して、コンピュータシステムは、手の位置の検出された変化に従って、三次元環境内の親指ジェスチャの動作コンテキストの視覚的インジケーション（例えば、複数のユーザインタフェースオブジェクト）の表示された位置を変化させる（例えば、手の所定の距離内にある複数のユーザインタフェースオブジェクトの表示を維持する）（例えば、手の移動中、オブジェクトのメニューは親指の先端にくっついている）。いくつかの実施形態では、視覚的インジケーションは、システムアフォーダンス（例えば、アプリケーション起動ユーザインタフェース又はドックに関するインジケータ）である。いくつかの実施形態では、視覚的インジケーションは、複数のアプリケーション起動アイコンを含むドックである。いくつかの実施形態では、ドックは、手の構成（例えば、親指の位置、人差し指／中指の位置）の変化として変化する。いくつかの実施形態では、視覚的インジケーションは、手がマイクロジェスチャ配向から外へ移動する（例えば、肩の下方で親指を上げる）と消失する。いくつかの実施形態では、手がマイクロジェスチャ配向内へ移動すると、視覚的インジケーションが再び現れる。いくつかの実施形態では、視覚的インジケーションは、ジェスチャ（例えば、ユーザが手を見ている間に人差し指上で親指をスワイプする）に応答して現れる。いくつかの実施形態では、視覚的インジケーションは、手の非アクティブ時間閾値（例えば、８秒）後にリセットされる（例えば、消失する）。更なる詳細は、例えば、図７Ｄ～７Ｆ及び９、並びに添付の説明に関して説明する。
いくつかの実施形態では、コンピュータシステムは、１つ以上のカメラを使用して（例えば、第１の手とは異なる）ユーザの第２の手のユーザの人差し指上でのユーザの親指の移動を、（例えば、両手ジェスチャシナリオでは）（例えば、第１の手のユーザの人差し指上でのユーザの親指の移動を検出しながら）、又は（例えば、片手のジェスチャシナリオでは）第１の手のユーザの人差し指上でのユーザの親指の移動を検出せずに）検出する。１つ以上のカメラを使用して、第２の手のユーザの人差し指上でのユーザの親指の移動を検出したことに応答して、移動が、第１の方向（例えば、人差し指の長さに沿った、又は人差し指の周りに沿った、又は人差し指の側部から上方に離れる）の第２の手の人差し指上での親指のスワイプであるという判定に従って、コンピュータシステムは、第１の動作とは異なる第８の動作を実行し、移動が、（末節骨、中節骨、及び／又は近節骨などの人差し指の第１の部分における）第１の位置での第２の手の人差し指上の親指のタップであるという判定に従って、第２の手の人差し指上で、コンピュータシステムは、第２の動作（及び第８の動作）とは異なる第９の動作を実行する。いくつかの実施形態では、第８及び／又は第９の動作は、第１の動作、第２の動作、第３の動作、第４の動作、第５の動作、第６の動作、及び／又は第７の動作とは異なる。いくつかの実施形態では、両手ジェスチャを行うために両手が使用される場合、両手の親指の移動は同時入力として処理され、一緒に使用されて、どの機能がトリガされるかを判定する。例えば、親指が両手（手は互いに対向している）の人差し指の先端から人差し指の基部に向かって移動する場合、デバイスは、現在選択されているオブジェクトを拡張し、親指が両手（手は互いに対向している）の人差し指の基部から人差し指の先端に向かって移動する場合、デバイスは、現在選択されているオブジェクトを最小化する。いくつかの実施形態では、親指が両手の人差し指を同時にタップする場合、デバイスは、現在選択されているオブジェクトを第１の方法でアクティブ化し（例えば、カメラアプリを使用してビデオ記録を開始する）、親指が左手の人差し指をタップする場合、デバイスは、現在選択されているオブジェクトを第２の方法でアクティブ化し（例えば、カメラアプリを使用してオートフォーカスを実行する）、親指が右手の人差し指をタップする場合、デバイスは、現在選択されているオブジェクトを第３の方法でアクティブ化する（例えば、カメラアプリを使用して、スナップショットを撮る）。
いくつかの実施形態では、１つ以上のカメラを使用して、ユーザの人差し指上でのユーザの親指の移動（例えば、指又は手を空中で振るか又はタッチ感知面上でスライドさせるような、より大げさなジェスチャとは対照的）を検出したことに応答して、移動が第１の手の人差し指への親指のタッチダウンと続いて第１の手の手首フリックジェスチャ（例えば、第１の手の手首に対する第１の手の上方への移動）を含むという判定に従って、コンピュータシステムは、第１の動作とは異なる（例えば、ユーザの指の他の種類の移動パターンに対応する第１～第９の動作のそれぞれ又はサブセットとは異なる）第１０の動作を実行する（例えば、選択されたユーザインタフェースオブジェクトを動作させるための入力を提供する、オブジェクト（例えば、ユーザによって選択及び／又は保持される仮想オブジェクト）を選択するための入力を提供する、及び／又はオブジェクトを破棄するための入力を提供する）。いくつかの実施形態では、デバイスが、ユーザの視線が三次元環境内の選択可能なオブジェクト（例えば、写真ファイルアイコン、動画ファイルアイコン、通知バナーなど）に向けられていることを検出している間、デバイスは、人差し指上のユーザの親指のタッチダウンと続いて上方手首フリックジェスチャを検出し、デバイスはオブジェクトに対応する体験を起動する（例えば、空中で写真を開く、３Ｄ映画を開始する、拡大された通知を開くなど）。
いくつかの実施形態では、１つ以上のカメラを使用して、ユーザの人差し指上でのユーザの親指の移動（例えば、指又は手を空中で振るか又はタッチ感知面上でスライドさせるような、より大げさなジェスチャとは対照的）を検出したことに応答して、移動が第１の手の人差し指への親指のタッチダウンと続いて第１の手の手回転ジェスチャ（例えば、第１の手の手首に対する第１の手の少なくとも一部の回転）を含むという判定に従って、コンピュータシステムは、第１の動作とは異なる（例えば、ユーザの指の他の種類の移動パターンに対応する第１～第１０の動作のそれぞれ又はサブセットとは異なる）第１１の動作を実行する（例えば、手の回転量に対応する量、値を調節する）。例えば、第１１の動作は、（例えば、（例えば、視線を使用して）ユーザによって選択及び／又は保持される）仮想オブジェクト、又はユーザインタフェースオブジェクト（例えば、仮想ダイヤル制御）を、手回転ジェスチャに従って回転させる。
いくつかの実施形態では、三次元環境のビューを表示しながら、コンピュータシステムは、ユーザの第１の手の掌のユーザの顔に向かう移動を検出する。ユーザの第１の手の掌のユーザの顔に向かう移動が呼び出し基準を満たしているという判定に従って、コンピュータシステムは、第１の動作とは異なる（例えば、ユーザの指の他の種類の移動パターンに対応する第１～第１１の動作のそれぞれ又はサブセットとは異なる）第１２の動作を実行する（例えば、仮想アシスタントに関連付けられたユーザインタフェースオブジェクトを表示する、及び／又は第１の手の掌に対応する位置に画像（例えば、ユーザの仮想表現、ユーザのカメラビュー、三次元環境の拡大ビュー、及び／又はオブジェクト（例えば、三次元環境内の仮想オブジェクト及び／又は現実オブジェクト）の拡大ビュー）を表示する）。いくつかの実施形態では、呼び出し基準は、ユーザの掌とユーザの顔との間の距離が閾値距離未満に減少したという判定に従って満たされる基準を含む。いくつかの実施形態では、呼び出し基準は、手の指が伸長されているという判定に従って満たされる基準を含む。
図８における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法９０００、１００００、１１０００、１２０００、及び１３０００）に関して本明細書で記載された他のプロセスの詳細はまた、図８に関連して上述された方法８０００に類似の方法で適用可能であることも留意されたい。例えば、方法８０００を参照して上述した接触、ジェスチャ、視線入力、物理的オブジェクト、及びユーザインタフェースオブジェクト、及びアニメーションは、任意選択で、本明細書に記述した他の方法（例えば、方法９０００、１００００、１１０００、１２０００、及び１３０００）を参照して本明細書に記述した、接触、ジェスチャ、視線入力、物理的オブジェクト、及びユーザインタフェースオブジェクト、及びアニメーションの１つ以上の特性を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図９は、いくつかの実施形態による、所定の入力ジェスチャを使用して三次元環境と相互作用するための例示的な方法９０００のフローチャートである。いくつかの実施形態では、方法９０００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）と、１つ以上のカメラ（例えば、ユーザの手元で下方を向くカメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））又はユーザの頭部から前方に向くカメラ）と、を含むコンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、方法９０００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法９０００の一部の動作が任意選択的に組み合わされ、及び／又は一部の動作の順序が任意選択的に変更される。
方法９０００において、コンピュータシステムは、三次元環境（例えば、仮想環境、又は拡張現実環境）のビューを表示する（９００２）。三次元環境を表示している間、コンピュータシステムは、三次元環境の一部に対応する第１の位置で手を検出する（例えば、三次元環境のユーザの現在の視野に従って、手をユーザに可視にする物理的環境の位置で手を検出する（例えば、ユーザの手が、ユーザの視線と交差する位置又はその近傍に移動している））。いくつかの実施形態では、ユーザの手の表現又は画像は、物理的環境内の第１の位置で手を検出したことに応答して、三次元環境の一部に表示される。三次元環境の一部に対応する第１の位置で手を検出したことに応答して（９００４）、かつ手が第１の所定の構成に保たれているという判定に従って（例えば、カメラ又はタッチ感知グローブ又はタッチ感知指アタッチメントを使用して、親指が人差し指に置かれているなど所定の準備完了状態を検出するなど）、三次元環境内の手ジェスチャ（例えば、システムアフォーダンス（例えば、図７Ｅ、図７Ｆ、及び、図７Ｇにおけるシステムアフォーダンス７２１４）、ドック、メニュー、音声ベースの仮想アシスタント用のアバターなどの視覚的インジケーション、手ジェスチャ入力に応答して操作できる三次元環境内のユーザインタフェース要素に関する追加情報の表示などである）を使用したジェスチャ入力のための第１の動作コンテキストの視覚的インジケーションを（例えば、三次元環境の一部に表示される手の表現に近接して）表示し、手が第１の所定の構成に保たれていないという判定に従って、三次元環境内の手ジェスチャを使用するジェスチャ入力のための第１の動作コンテキストの視覚的インジケーションの表示を行わない（例えば、図７Ｄに示すように、手の表現に近接して視覚的インジケーションを表示することなく、三次元環境の一部に手の表現を表示する）。
いくつかの実施形態では、手ジェスチャを使用したジェスチャ入力のための第１の動作コンテキストの視覚的インジケーションは、第１の位置（例えば、検出された手の位置）に対応する三次元環境の一部の位置に表示される。例えば、視覚的インジケーション（例えば、ホームアフォーダンス又はドックなど）は、検出された手の位置の所定の距離にある及び／又はその距離内の位置に表示される。いくつかの実施形態では、視覚的インジケーションは、手の特定の部分に対応する位置に（例えば、検出された手の上部の上方に、検出された手の下部の下方に、及び／又は手に重ねて）表示される。
いくつかの実施形態では、三次元環境の部分に視覚的インジケーションを表示している間、コンピュータシステムは、第１の位置から第２の位置への手の位置の変化を検出する（例えば、三次元環境内の（例えば、手が第１の所定の構成、又は手の準備完了状態を示す何らかの他の所定の構成にある間の）手の移動及び／又は回転を検出する）。第１の位置から第２の位置への手の位置の変化を検出したことに応答して、コンピュータシステムは、手の位置の検出された変化に従って視覚的インジケーションの表示された位置を変化させる（例えば、三次元環境内の手の所定の距離内の視覚的インジケーションの表示を維持する）。
いくつかの実施形態では、視覚的インジケーションは、１つ以上のユーザインタフェースオブジェクトのセットを含む。いくつかの実施形態では、視覚的インジケータは、１つ以上のユーザインタフェースオブジェクトを表示及び／又はアクセスすることができる領域を示すシステムアフォーダンスアイコン（例えば、図７Ｅのシステムアフォーダンス７１２０）である。例えば、図７Ｆの部分（Ａ）に示されるように、手７２００の親指が人差し指を横切って方向７１２０に移動すると、視覚的インジケータ７２１４の表示は、ユーザインタフェースオブジェクト７１７０のセットの表示に置き換えられる。いくつかの実施形態では、ユーザの手近傍のシステムアフォーダンスアイコンの存在は、手によって提供される次のジェスチャがシステムレベルの動作（例えば、非オブジェクト又はアプリケーション固有動作、アプリケーションとは無関係に動作システムによって実行される動作）を引き起こすことを示し、ユーザの手近傍のシステムアフォーダンスアイコンの不在は、手によって提供される次のジェスチャがアプリケーション又はオブジェクト固有の動作（例えば、現在選択されているオブジェクト又はアプリケーションに固有である又はそこでの動作、例えばアプリケーションによって実行される動作）を引き起こすことを示す。いくつかの実施形態では、デバイスは、ユーザの視線が準備完了状態の手に向けられているという判定に従って、手の近くにシステムアフォーダンスを表示する。
いくつかの実施形態では、１つ以上のユーザインタフェースオブジェクトは、複数のアプリケーション起動アイコンを含み（例えば、１つ以上のユーザインタフェースオブジェクトが、複数の頻繁に使用されるアプリケーション又は体験のためのアプリケーション起動アイコン列を含むドックである）、アプリケーション起動アイコンのそれぞれのアクティブ化は、対応するアプリケーションに関連付けられた動作を実行させる（例えば、対応するアプリケーションを起動させる）。
いくつかの実施形態では、視覚的インジケーションを表示している間、コンピュータシステムは、第１の所定の構成から第２の所定の構成への手の構成の変化を検出する（例えば、別の指を横切る移動などの、別の指に対する親指の位置の変化を検出する）。第１の所定の構成から第２の所定の構成への検出された手の構成の変化を検出したことに応答して、コンピュータシステムは、（例えば、視覚的インジケーションに加えて、及び／又は視覚的インジケーションの表示に交換して）ユーザインタフェースオブジェクトの第１の集合（例えば、ホーム領域又はアプリケーション起動ユーザインタフェース）を表示し、ユーザインタフェースオブジェクトの第１の集合のそれぞれのユーザインタフェースオブジェクトのアクティブ化は、それぞれのユーザインタフェースオブジェクトに関連付けられた動作を実行させる。いくつかの実施形態では、視覚的インジケータは、ホーム領域又はアプリケーション起動ユーザインタフェースを表示及び／又はアクセスすることができる領域を示すシステムアフォーダンスアイコン（例えば、図７Ｅ及び７Ｆのシステムアフォーダンス７２１４）である。例えば、図７Ｆの部分（Ａ）に示されるように、手７２００の親指が人差し指を横切って方向７１２０に移動すると、視覚的インジケータ７２１４の表示は、ユーザインタフェースオブジェクト７１７０のセットの表示に置き換えられる。いくつかの実施形態では、ユーザインタフェースオブジェクトの第１の集合のうちのユーザインタフェースオブジェクトの少なくともいくつかは、アプリケーション起動アイコンであり、アプリケーション起動アイコンのアクティブ化は、対応するアプリケーションを起動させる。
いくつかの実施形態では、視覚的インジケーションを表示している間、コンピュータシステムは、時間窓（例えば、第１の位置で準備完了状態の手を検出したことに応答して視覚的インジケーションが表示された時間から５秒、８秒、１５秒などの時間窓）間に、手の移動が相互作用基準を満たしているかどうか（例えば、相互作用基準は、手の少なくとも１つの指及び／又は親指が閾値距離を超える距離移動する、及び／又は所定のジェスチャに従って移動するという判定に従って満たされる）を判定する。手の移動が時間窓中に相互作用基準を満たしていないという判定に従って、コンピュータシステムは、視覚的インジケーションの表示を停止する。いくつかの実施形態では、デバイスは、ユーザの手がユーザの視野を出た、又はユーザの手が手の準備完了状態に対応する第１又は他の所定の構成ではない別の構成に変化した後に、ユーザの視野内の第１の所定の構成で手が再び検出されたときに、視覚的インジケーションを再表示する。
いくつかの実施形態では、視覚的インジケーションを表示している間、コンピュータシステムは、第１の所定の構成から、入力基準を満たしている第２の所定の構成への手構成の変化を検出する（例えば、手構成が変化したが、手は、依然としてユーザの視野内にある）。例えば、検出された変化は、親指の位置の変化（例えば、別の指との接触、及び／又は別の指からの接触の解放、別の指の長さに沿った移動、及び／又は別の指を横切る移動、などの別の指に対する変化）、及び／又は手の人差し指及び／若しくは中指の位置の変化（例えば、手に対する指の伸長及び／又は指の他の移動）である。第１の所定の構成から入力基準を満たしている第２の構成への手の構成の変化を検出したことに応答して（例えば、ユーザの手が第１の受け入れられたジェスチャの開始状態である構成から第２の受け入れられたジェスチャの開始状態に変化したという判定に従って）、コンピュータシステムは、視覚的インジケーションを調節する（例えば、１つ以上のユーザインタフェースオブジェクトのセットのうちの選択されたそれぞれのユーザインタフェースオブジェクトを、第１のそれぞれのユーザインタフェースオブジェクトから第２のそれぞれのユーザインタフェースオブジェクトに調節する、１つ以上のユーザインタフェースオブジェクトの表示された位置を変化させる、及び／又は、１つ以上のユーザインタフェースオブジェクトのそれぞれのユーザインタフェースオブジェクトを表示する及び／又は表示を停止する）。
いくつかの実施形態では、視覚的インジケーションを表示している間、コンピュータシステムは、第１の所定の構成から、入力基準を満たしていない（例えば、手の少なくとも一部がユーザの視野の外側にあるという判定に従って、構成は入力基準を満たしていない）第３の構成への手構成の変化を検出する。いくつかの実施形態では、デバイスは、ユーザの手が、第１の受け入れられたジェスチャの開始状態である構成から任意の受け入れられたジェスチャの開始状態に対応しない状態に変化したという判定に従って、第３の構成が入力基準を満たしていないと判定する。第１の所定の構成から入力基準を満たしていない第３の構成への検出された手の構成の変化を検出したことに応答して、コンピュータシステムは、視覚的インジケーションの表示を停止する。
いくつかの実施形態では、視覚的インジケーションの表示を停止した後、コンピュータシステムは、第１の所定の構成への手構成の変化（及び手がユーザの視野内にあること）を検出する。検出された手の構成の第１の所定の構成への変化を検出したことに応答して、コンピュータシステムは、視覚的インジケーションを再表示する。
いくつかの実施形態では、三次元環境の部分に対応する第１の位置で手を検出したことに応答して、手が第１の所定の構成に保たれていないという判定に従って、コンピュータシステムは、手ジェスチャを使用するジェスチャ入力のための第１の動作コンテキストの視覚的インジケーションを表示することとは異なる動作を実行する（例えば、視覚的インジケーション無しで手の表現を表示する、及び／又は手が第１の所定の構成に保持されていないことを示すプロンプトを提供する）。
図９における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法８０００、１００００、１１０００、１２０００、及び１３０００）に関して本明細書で記載された他のプロセスの詳細はまた、図９に関連して上述された方法９０００に類似の方法で適用可能であることも留意されたい。例えば、方法９０００を参照して上述した接触、ジェスチャ、視線入力、物理的オブジェクト、及びユーザインタフェースオブジェクト、及びアニメーションは、任意選択で、本明細書に記述した他の方法（例えば、方法８０００、１００００、１１０００、１２０００、及び１３０００）を参照して本明細書に記述した、接触、ジェスチャ、視線入力、物理的オブジェクト、及びユーザインタフェースオブジェクト、及びアニメーションの１つ以上の特性を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１０は、いくつかの実施形態による、所定の入力ジェスチャを使用して三次元環境と相互作用するための例示的な方法１００００のフローチャートである。いくつかの実施形態では、方法１００００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）と、１つ以上のカメラ（例えば、ユーザの手元で下方を向くカメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））又はユーザの頭部から前方に向くカメラ）と、を含むコンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、方法１００００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法１００００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。
方法１００００において、コンピュータシステムは、物理的環境の表現を表示すること（例えば、ユーザを取り巻く物理的環境のカメラビューを表示する、又は表示されたユーザインタフェース又は仮想環境内にユーザを取り囲む物理的環境を表示させるパススルー部分を含む）を含む、三次元環境（例えば、拡張現実環境）を表示する（１０００２）。物理的環境の表現を表示している間、コンピュータシステムは、（例えば、カメラ又は１つ以上の運動センサを使用して）ジェスチャ（例えば、ユーザの手、指、手首、又は腕の所定の移動、又は手の自然な休止姿勢とは異なる手の所定の静止姿勢を含むジェスチャ）を検出する（１０００４）。ジェスチャを検出したことに応答して（１０００６）、かつユーザの視線が物理的環境内の所定の物理的位置（例えば、ユーザの手）に対応する位置（例えば、三次元環境内）に向けられているという判定に従って（例えば、視線がジェスチャが開始され完了するまでの間、その位置に向けられ、とどまっているという判定に従って、又は手がジェスチャの最終状態（例えば、手の準備完了状態（例えば、手の所定の静止姿勢））にある間に視線が手に向けられているという判定に従って）、コンピュータシステムは、三次元環境内にシステムユーザインタフェースを表示する（例えば、三次元環境に利用可能な相互作用オプションの視覚的インジケーション及び／又は選択可能なオプションを含むユーザインタフェース、ユーザインタフェースは、ジェスチャに応答して表示され、ジェスチャの検出前（例えば、視線が向けられていたとき）には表示されていなかった）。これは、例えば、手７２００による入力ジェスチャが、システムアフォーダンス７２１４、システムメニュー７１７０、及びアプリケーションアイコン７１９０などのシステムユーザインタフェース要素との相互作用を引き起こす図７Ｇの部分Ａ－１、Ａ－２、及びＡ－３に示される。いくつかの実施形態では、所定の物理的位置に対応する位置は、三次元環境内の所定の物理的位置（物理的環境内で可動であるユーザの手、又は物理的環境内で静止している物理的オブジェクト）の表現（例えば、ビデオ画像又はグラフィカル抽象化）である。いくつかの実施形態では、システムユーザインタフェースは、１つ以上のアプリケーションアイコンを含む（例えば、アクティブ化されると、それぞれのアプリケーションアイコンは、対応するアプリケーションを起動する）。ジェスチャを検出したことに応答して（１０００６）、かつユーザの視線が物理的環境内の所定の物理的位置に対応する（例えば、三次元環境内の）位置に向けられていないという判定に従って（例えば、視線が別の位置に向けられる、及び／又は別の位置にとどまる、又はジェスチャが開始され完了するまでの間に視線が検出されないという判定に従って、又は手がジェスチャの最終状態（例えば、手の準備完了状態（例えば、手の所定の静止姿勢））にある間、視線が手に向けられていないという判定に従って）、システムユーザインタフェースを表示することなく、三次元環境の現在のコンテキスト内の動作を実行する。これは例えば、図７Ｇ、図Ｂ－１、Ｂ－２、及び図Ｂ－３に示されている。いくつかの実施形態では、動作は、三次元環境の視覚的変化を生成しない、電子デバイスの状態を変化させる第１の動作（例えば、デバイスの出力ボリュームを変化させる）を含む。いくつかの実施形態では、動作は、ジェスチャを作製する手を表示し、三次元環境との更なる相互作用を引き起こさない第２の動作を含む。いくつかの実施形態では、動作は、視線が現在向けられていることを仮想オブジェクトの状態を変化させるための動作を含む。いくつかの実施形態では、動作は、ユーザが最後に三次元環境で相互作用した仮想オブジェクトの状態を変化させる動作を含む。いくつかの実施形態では、動作は、現在選択されている仮想オブジェクトの状態を変化させ、入力焦点を有する動作を含む。
いくつかの実施形態では、コンピュータシステムは、所定の物理的位置に対応する位置に対する所定の位置で、システムアフォーダンス（例えば、（アプリケーションレベルとは対照的な）システムレベルの動作のためのユーザインタフェースを表示させる１つ以上のシステムジェスチャを検出する準備が整っていることを示すホームアフォーダンス）を表示する。いくつかの実施形態では、所定の物理的位置に対応する位置は、三次元環境内の位置である。いくつかの実施形態では、所定の物理的位置に対応する位置は、ディスプレイ上の位置である。いくつかの実施形態では、システムアフォーダンスの所定の位置が表示された三次元環境内の位置である限り、システムアフォーダンスは、所定の物理的位置に対応する位置が、三次元環境の表示された部分でもはや不可視であったとしても表示されたままである（例えば、システムアフォーダンスは、所定の物理的位置が電子デバイスの１つ以上のカメラの視野から外に出ても表示され続ける）。いくつかの実施形態では、システムアフォーダンスは、三次元環境内のユーザの手、手首、若しくは指の表現に対するユーザの手、手首、又は指の所定の固定位置に表示される（例えば、ユーザの手、手首、若しくは指の一部の表示上に、又はユーザの手、手首、若しくは指からオフセットされた固定位置で、重ね合わされる又は置き換わる）。いくつかの実施形態では、システムアフォーダンスは、ユーザの視線が三次元環境内の位置に向けられたままであるかどうかにかかわらず、所定の物理的位置に対応する位置に対して所定の位置に表示される（例えば、システムアフォーダンスは、ユーザの視線が準備完了状態のユーザの手から離れた後、又はジェスチャが完了した後でも、所定のタイムアウト期間内は表示されたままである）。
いくつかの実施形態では、所定の物理的位置に対応する位置に対する所定の位置にシステムアフォーダンスを表示することは、三次元環境内の所定の物理的位置に対応する位置での移動を検出すること（例えば、三次元環境に示されるユーザの手の位置が、ユーザの頭部又は手の移動として変化したことを検出すること）と、三次元環境内の所定の物理的位置に対応する位置の移動を検出したことに応答して、システムアフォーダンスの相対位置及び所定の物理的位置に対応する位置が、三次元環境において変化しないままであるように、三次元環境内でシステムアフォーダンスを移動させること（例えば、ユーザの手の位置が三次元環境内で変化すると、システムアフォーダンスはユーザの手の位置に従う（例えば、システムアフォーダンスは、三次元環境の表示されたビュー内のユーザの親指の上部に対応する位置に表示される））。
いくつかの実施形態では、システムアフォーダンスは、ユーザの視線が所定の物理的位置に対応する位置に向けられているという判定に従って、所定の物理的位置（例えば、「所定の相対位置」と呼ばれることもある）に対応する位置に対して所定の位置に表示される。いくつかの実施形態では、システムアフォーダンスは、ユーザの視線が所定の物理的位置の近傍位置（例えば、所定の物理的位置の所定の閾値距離内）に向けられているという判定に従って、所定の相対位置に表示される。いくつかの実施形態では、ユーザの視線が所定の物理的位置に向けられていない場合（例えば、ユーザの視線が、所定の物理的位置から離れるか、又は所定の物理的位置から少なくとも所定の距離離れているとき）、システムアフォーダンスは表示されない。いくつかの実施形態では、三次元環境内の所定の物理的位置に対応する位置に対して所定の位置にシステムアフォーダンスを表示している間、デバイスは、ユーザの視線が所定の物理的位置に対応する位置から離れて移動することを検出し、ユーザの視線が三次元環境内の所定の物理的位置に対応する位置から離れて移動することを検出したことに応答して、デバイスは、三次元環境内の所定の位置でシステムアフォーダンスを表示することを停止する。
いくつかの実施形態では、三次元環境内の所定の物理的位置に対応する位置に対する所定の位置にシステムアフォーダンスを表示することは、ユーザの視線が、所定の物理的位置に対応する位置に向けられていないという判定に従って、第１の外観（例えば、形状、サイズ、色など）を有するシステムアフォーダンスを表示することと、ユーザの視線が所定の物理的位置に対応する位置に向けられているという判定に従って、第１の外観とは異なる第２の外観を有するシステムアフォーダンスを表示することと、を含む。いくつかの実施形態では、システムアフォーダンスは、ユーザの視線が所定の物理的位置に対応する位置から離れている間、第１の外観を有する。いくつかの実施形態では、システムアフォーダンスは、ユーザの視線が所定の物理的位置に対応する位置に向けられている間、第２の外観を有する。いくつかの実施形態では、システムアフォーダンスは、ユーザの視線が所定の物理的位置に対応する位置へ（例えば、少なくとも閾値距離内で）移動するときに第１の外観から第２の外観へ変化し、ユーザの視線が所定の物理的位置に対応する位置から離れて（例えば、少なくとも閾値距離離れて）移動するときに第２の外観から第１の外観に変化する。
いくつかの実施形態では、システムアフォーダンスは、ユーザがジェスチャを実行する準備が整っているという判定に従って、所定の物理的位置に対応する位置に対して所定の位置に表示される。いくつかの実施形態では、ユーザがジェスチャを実行する準備が整っていると判定することは、例えば、所定の物理的位置（例えば、ユーザの手、手首、又は指（単数又は複数））が所定の構成（例えば、物理的環境内のデバイスに対する所定の姿勢）にあることを検出することによって、ユーザが、ジェスチャを実行する準備が整っているというインジケーションを検出することを含む。一例では、システムアフォーダンスは、デバイスが、準備完了状態の手への視線を検出するのに加えて、ユーザが物理的環境において所定の準備完了状態（例えば、手の特定の位置及び／又は配向）に手を置いたことを検出すると、三次元環境内の表示されたユーザの手の表現に対する所定の位置に表示される。いくつかの実施形態では、所定の構成は、所定の物理的位置（例えば、ユーザの手）が、１つ以上のカメラの視野内にあるなど、電子デバイス又は電子デバイスの１つ以上の入力デバイスに対する特定の位置を有することを必要とする。
いくつかの実施形態では、所定の物理的位置に対応する位置に対する所定の位置にシステムアフォーダンスを表示することは、ユーザがジェスチャを実行する準備が整っていないという判定に従って、第１の外観を有するシステムアフォーダンスを表示することと、を含む。いくつかの実施形態では、ユーザがジェスチャを実行する準備が整っていないと判定することは、ユーザがジェスチャを実行する準備が整っていないというインジケーションを検出することを含む（例えば、ユーザの手が所定の準備完了状態にないことを検出する）。いくつかの実施形態では、ユーザの準備が整っていないと判定することは、ユーザの準備が整っているというインジケーションを検出し損なう（例えば、ユーザの手が電子デバイスの１つ以上のカメラの視野の外側にある場合、ユーザの手が所定の準備完了状態にあることを検出し損なう、又は検出することができない）ことを含む。ジェスチャを実行するためのユーザの準備のインジケーションを検出することは、図７Ｅ及び関連する説明を参照して本明細書で更に詳細に説明する。いくつかの実施形態では、所定の物理的位置に対応する位置に対する所定の位置にシステムアフォーダンスを表示することは、ユーザがジェスチャを実行する準備が整っているという判定に従って（例えば、図７Ｅ及び関連する説明を参照して本明細書に記載されるように、ユーザがジェスチャを実行する準備が整っているというインジケーションを検出することに従って）、第１の外観とは異なる第２の外観を有するシステムアフォーダンスを表示することを更に含む。当業者は、システムアフォーダンスの有無、及びシステムアフォーダンスの特定の外観が、その特定のコンテキストでユーザにどのような情報が伝達されるように意図されるかに応じて（例えば、ジェスチャに応答してどのような動作（単数又は複数）が実行されるか、及び／又はジェスチャがシステムユーザインタフェースを呼び出すために追加の基準が満たされる必要があるかどうかに応じて）修正され得ることを認識するであろう。いくつかの実施形態では、システムアフォーダンスが、三次元環境内の所定の物理的位置に対応する位置に対して所定の位置に表示されている間、デバイスは、ユーザの手が第１の状態から第２の状態に変化することを検出し、第１の状態から第２の状態への変化を検出したことに応答して、第１の状態が準備完了状態であり、第２の状態が準備完了状態でないという判定に従って、デバイスは、第２の外観を有するシステムアフォーダンスを表示し（第１の外観からの変化）、第１の状態が準備完了状態でなく、第２の状態が準備完了状態であるという判定に従って、デバイスは、第１の外観を有するシステムアフォーダンスを表示する（例えば、第２の外観からの変化）。いくつかの実施形態では、コンピュータシステムがユーザの手上のユーザの視線を検出せず、ユーザの手が準備完了状態構成にない場合、コンピュータシステムは、システムアフォーダンスを表示しない、又は任意選択的に、第１の外観を有するシステムアフォーダンスを表示する。後続の入力ジェスチャが検出される場合（例えば、システムアフォーダンスが表示されない、又は第１の外観で表示される場合）、コンピュータシステムは、入力ジェスチャに対応するシステム動作を実行しない、又は任意選択的に、入力ジェスチャに対応する現在のユーザインタフェースコンテキスト内で動作を実行する。いくつかの実施形態では、コンピュータシステムがユーザの手上のユーザの視線を検出するが、手が準備完了状態構成にない場合、コンピュータシステムは、システムアフォーダンスを表示しない、又は任意選択的に、第１の外観若しくは第２の外観を有するシステムアフォーダンスを表示する。後続のジェスチャ入力が検出される場合（例えば、システムアフォーダンスが表示されない、又は第１の外観又は第２の外観で表示される場合）、コンピュータシステムは、入力ジェスチャに対応するシステム動作を実行しない、又は任意選択的に、システムユーザインタフェース（例えば、ドック又はシステムメニュー）を表示する。いくつかの実施形態では、コンピュータシステムがユーザの手上のユーザの視線を検出しないが、手が準備完了状態構成にある場合、コンピュータシステムは、システムアフォーダンスを表示しない、又は任意選択的に、第１の外観又は第２の外観を有するシステムアフォーダンスを表示する。後続のジェスチャ入力が検出される場合（例えば、システムアフォーダンスが表示されない、又は第１の外観若しくは第２の外観で表示される場合）、コンピュータシステムは、入力ジェスチャに対応するシステム動作を実行しない、又は任意選択的に、現在のユーザインタフェースコンテキスト内で動作を実行する。いくつかの実施形態では、コンピュータシステムがユーザの手上のユーザの視線を検出し、手が準備完了状態構成にある場合、コンピュータシステムは、第２の外観又は第３の外観を有するシステムアフォーダンスを表示する。後続のジェスチャ入力が検出される場合（例えば、システムアフォーダンスが第２の外観又は第３の外観を有する場合）、コンピュータシステムは、システム動作を実行する（例えば、システムユーザインタフェースを表示する）。いくつかの実施形態では、上記のうちの複数は同じ実施態様で組み合わされる。
いくつかの実施形態では、所定の物理的位置はユーザの手であり、ユーザがジェスチャを実行する準備が整っている（例えば、手が現在所定の準備完了状態にある、又は開始ジェスチャが検出された）と判定することは、手の所定の部分（例えば、指定された指）が物理的制御要素と接触していると判定することを含む。いくつかの実施形態では、物理的制御要素は、ユーザとは別個のコントローラ（例えば、それぞれの入力デバイス）である（例えば、準備完了状態は、ユーザの親指がユーザの人差し指に取り付けられたタッチ感知ストリップ又はリングと接触している状態である）。いくつかの実施形態では、物理的制御要素は、ユーザの手の異なる部分である（例えば、準備完了状態は、親指が人差し指の上側（例えば、第２関節の近傍）に接触している状態である）。いくつかの実施形態では、デバイスは、カメラを使用して手が所定の準備完了状態にあるかどうかを検出し、三次元環境のビューで準備完了状態に手を表示する。いくつかの実施形態では、デバイスは、タッチ感知であり、電子デバイスに通信可能に結合されてタッチ入力を電子デバイスに送信する物理的制御要素を使用して、手が所定の準備完了状態にあるかどうかを検出する。
いくつかの実施形態では、所定の物理的位置はユーザの手であり、ユーザがジェスチャを実行する準備が整っていると判定することは、手がユーザに対して所定の高度の上方に上昇していると判定することを含む。いくつかの実施形態では、手が上昇していると判定することは、手がユーザに対して特定の横方向平面の上方（例えば、ユーザの腰の上方、即ちユーザの足よりもユーザの頭部に近い）に位置付けられていると判定することを含む。いくつかの実施形態では、手が上昇していると判定することは、ユーザの手首又は肘が少なくとも特定の量（例えば、９０度の角度内で）曲げられていると判定することを含む。いくつかの実施形態では、デバイスは、カメラを使用して手が事前定義された準備完了状態にあるかどうかを検出し、任意選択的に、三次元環境のビューに準備完了状態にある手を表示する。いくつかの実施形態では、デバイスは、ユーザの手、手首、又は腕に取り付けられた１つ以上のセンサ（例えば、運動センサ）を使用して、手が所定の準備完了状態にあるかどうかを検出し、電子デバイスに通信可能に結合されて、電子デバイスに移動入力を伝送する。
いくつかの実施形態では、所定の物理的位置はユーザの手であり、ユーザがジェスチャを実行する準備が整っていると判定することは、手が所定の構成にあると判定することを含む。いくつかの実施形態では、所定の構成は、手の対応する指（例えば、親指）が、ユーザの手の異なる部分（例えば、人差し指などの対向する指、又は対向する人差し指の中節骨や中関節などの所定の部分）と接触している必要がある。いくつかの実施形態では、所定の構成は、上記のように、手が特定の横方向平面の上方（例えば、ユーザの腰の上方）にあることを必要とする。いくつかの実施形態では、所定の構成は、親指側に向かい小指側から離れる手首の屈曲（例えば、径方向の屈曲）（例えば、アームの軸方向回転無しで）を必要とする。いくつかの実施形態では、手が所定の構成にあるとき、１つ以上の指が自然な休止位置にあり（例えば、湾曲している）、手全体が手、手首、又は腕の自然な休止位置から離れて傾斜又は移動されて、ユーザがジェスチャを実行する準備が整っていることを示す。当業者であれば、使用される特定の所定の準備完了状態が、直感的かつ自然なユーザ相互作用を有するように選択され得、前述の基準の任意の組み合わせを必要とし得ることを認識するであろう。いくつかの実施形態では、ユーザが三次元環境への入力を提供し、三次元環境と相互作用するのではなく三次元環境を見ることを単に望む場合、所定の構成は、ユーザの手の自然な休止姿勢（例えば、膝、テーブル面、又は身体の側部に弛緩して置かれた姿勢）とは異なる。自然な休止姿勢から所定の構成への変化は、意図的であり、ユーザの手の所定の構成への意図的な移動を必要とする。
いくつかの実施形態では、所定の物理的位置に対応する位置は、三次元環境内の固定位置である（例えば、対応する所定の物理的位置は、物理的環境内の固定位置である）。いくつかの実施形態では、物理的環境は、ユーザの基準フレームである。即ち、当業者は、物理的環境内の「固定」位置と呼ばれる位置が空間内の絶対位置でなくてもよく、ユーザの基準のフレームに対して固定されていると認識するであろう。いくつかの例では、ユーザが建物の部屋内にいる場合、位置は、部屋内（例えば、部屋の壁、床、又は天井上の）固定位置に対応する（例えば、その表現である）三次元環境内の固定位置である。いくつかの例では、ユーザが移動車両の内側にある場合、その位置は、車両の内部に沿った固定位置に対応する（例えば、固定位置を表す）三次元環境内の固定位置である。いくつかの実施形態では、位置は、三次元環境に表示されるコンテンツに対して固定され、表示されたコンテンツは、物理的環境内の固定された所定の物理的位置に対応する。
いくつかの実施形態では、所定の物理的位置に対応する位置は、（例えば、表示生成コンポーネントに対する）三次元環境のディスプレイに対する固定位置である。いくつかの実施形態では、位置は、一般にユーザの視点が変化すると（例えば、ユーザの視点変化に応答して、又はユーザの視点変化と共に）更新される三次元環境内に表示される特定のコンテンツに関係なく、三次元環境のユーザの視点に対して固定される（例えば、位置が、表示生成コンポーネントによる三次元環境の表示に対して固定される）。いくつかの例では、位置は、三次元環境のディスプレイの縁部に沿った（例えば、縁部の所定の距離内の）固定位置である。いくつかの例では、位置は、三次元環境のディスプレイに対して中心にある（例えば、三次元環境のディスプレイの底部、頂部、左縁、又は右縁に沿った表示領域内の中心にある）。
いくつかの実施形態では、所定の物理的位置は、ユーザ上の固定位置である。いくつかの例では、所定の物理的位置は、ユーザの手又は指である。いくつかのそのような例では、所定の物理的位置に対応する位置は、三次元環境内のユーザの手又は指の表示された表現を含む。
いくつかの実施形態では、三次元環境にシステムユーザインタフェースを表示した後、コンピュータシステムは、（例えば、第１のジェスチャ及び所定の物理的位置に対応する位置に向けられた視線を検出した後、システムユーザインタフェースを表示している間）第２のジェスチャ（例えば、ユーザの手、手首、指（単数又は複数）、又は腕によって実行される第２のジェスチャ）を検出する。第２のジェスチャを検出したことに応答して、システムユーザインタフェース（例えば、アプリケーション起動ユーザインタフェース）を表示する。一部の実施形態では、第２のジェスチャは、第１のジェスチャの続きである。例えば、第１のジェスチャは、（例えば、同じ手でユーザの人差し指上でのユーザの親指の移動による）スワイプジェスチャであり、第２のジェスチャは、スワイプジェスチャの続き（例えば、人差し指上での親指の継続的な移動）である（例えば、第２のジェスチャは、第２のジェスチャの開始位置を第１のジェスチャの開始位置にリセットすることなく、第１のジェスチャの終了位置から始まる）。いくつかの実施形態では、第２のジェスチャは、第１のジェスチャの繰り返しである（例えば、第１のジェスチャを実行した後、第２のジェスチャの開始位置は、第１のジェスチャの開始位置の所定の距離内にリセットされ、第２のジェスチャは、所定の許容範囲内で第１のジェスチャの移動を再度たどる）。いくつかの実施形態では、ホームユーザインタフェースを表示することは、所定の物理的位置に対応する位置に対して、所定の位置からシステムアフォーダンスを拡張して、表示された三次元環境のより大きな部分を占め、追加のユーザインタフェースオブジェクト及びオプションを示すことを含む。いくつかの実施形態では、システムアフォーダンスは、それぞれのコンテンツを含まないインジケータであり、それぞれのコンテンツ（例えば、最近使用された又は頻繁に使用されるアプリケーションのアプリケーションアイコン列を有するドック）は、手による第１のスワイプジェスチャに応答してインジケータを置き換え、インストールされたアプリケーションの全てのアプリケーションアイコンの二次元グリッドは、手による第２のスワイプジェスチャに応答してドックを置き換え、三次元作業環境内の異なる深度及び位置に浮遊された相互作用アプリケーションアイコンを有する三次元作業環境は、手による第３のスワイプジェスチャに応答して、二次元グリッドを置き換える。
いくつかの実施形態では、三次元環境の現在のコンテキストは、受信された通知のインジケーションの表示（例えば、受信された通知に関する情報のサブセットの初期表示）を含み、三次元環境の現在のコンテキスト内で動作を実行することは、受信された通知に関する追加情報を含む拡大された通知を表示することを含む（例えば、最初に表示されたサブセットを超える情報の表示）。いくつかの実施形態では、三次元環境の現在のコンテキストは、視線が現在指向されている位置に基づいて判定される。いくつかの実施形態では、通知が三次元環境に受信及び表示され、ユーザの視線が通知に向けられている（かつ所定の物理的位置（例えば、ユーザの手）に対応する位置にない）と検出されるとき、デバイスは、現在のコンテキストが通知と相互作用していると判定し、ユーザのジェスチャ（例えば、親指又は手首による上方フリックジェスチャ）を検出したことに応答して、三次元環境に拡大された通知コンテンツを表示する。
いくつかの実施形態では、三次元環境の現在のコンテキストは、１つ以上の写真の表示（例えば、１つ以上の写真の１つ以上のそれぞれのサムネイル）を含み、三次元環境の現在のコンテキスト内で動作を実行することは、三次元環境内の１つ以上の写真のうちの少なくとも１つを表示すること（例えば、拡張された様式（例えば、拡大された、アニメーション化された、強調された、３Ｄなど）で表示すること）を含む。いくつかの実施形態では、三次元環境の現在のコンテキストは、視線が現在指向されている位置に基づいて判定される。いくつかの実施形態では、画像が三次元環境に表示され、ユーザの視線が画像に向けられている（かつ所定の物理的位置（例えば、ユーザの手）に対応する位置にない）と検出されるとき、デバイスは、現在のコンテキストが画像と相互作用していると判定し、ユーザのジェスチャ（例えば、親指又は手首による上方フリックジェスチャ）を検出したことに応答して、三次元環境に拡張された画像を表示する。
図１０における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法８０００、９０００、１１０００、１２０００、及び１３０００）に関して本明細書で記載された他のプロセスの詳細はまた、図１０に関連して上述された方法１００００に類似の方法で適用可能であることも留意されたい。例えば、方法１００００を参照して上述した接触、ジェスチャ、視線入力、物理的オブジェクト、及びユーザインタフェースオブジェクト、及びアニメーションは、任意選択で、本明細書に記述した他の方法（例えば、方法８０００、９０００、１１０００、１２０００、及び１３０００）を参照して本明細書に記述した、接触、ジェスチャ、視線入力、物理的オブジェクト、及びユーザインタフェースオブジェクト、及びアニメーションの１つ以上の特性を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１１は、いくつかの実施形態による、所定の入力ジェスチャを使用して三次元環境と相互作用するための例示的な方法１１０００のフローチャートである。いくつかの実施形態では、方法１１０００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）と、１つ以上のカメラ（例えば、ユーザの手元で下方を向くカメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））又はユーザの頭部から前方に向くカメラ）と、を含むコンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、方法１１０００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法１１０００の一部の動作が任意選択的に組み合わされ、及び／又はいくつかの動作の順序が任意選択的に変更される。
方法１１０００において、コンピュータシステムは、１つ以上の仮想オブジェクト（及び任意選択的に、物理的環境内の１つ以上の物理的表面（例えば、壁、窓、テーブル上面など）の表現に重ねられた仮想オブジェクト（例えば、アイコン、写真、アバターなど）と共に物理的環境の一部に向けられたカメラの視野の表現）を含め、三次元環境（例えば、仮想環境又は拡張現実環境）を表示する（１１００２）。コンピュータシステムは、三次元環境内の第１のオブジェクト（例えば、電子デバイスを制御するために使用されるハンドヘルドコントローラ以外、及びユーザの手、手首、又は腕若しくはそれらの表現以外の物理的オブジェクト又は仮想オブジェクト）に向けられた（例えば、ユーザの）視線を検出し（１１００４）（例えば、視線は、カメラの視野の表現に表示された物理的オブジェクト、又は物理的環境若しくは純粋な仮想環境の拡張現実ビューに表示された仮想オブジェクトにて検出される）、視線は第１の基準（例えば、安定性や持続時間の要件など）を満たし、第１のオブジェクトは少なくとも１つのジェスチャ入力に応答する。いくつかの実施形態では、第１のオブジェクトに向かう視線を検出することは、第１のオブジェクトが存在しない第１の位置から第１のオブジェクトが存在する第２の位置への視線の移動を検出することを含む。視線が第２の位置に到達すると、以下に説明するように、三次元環境内の第１のオブジェクトに関連付けられた相互作用オプションのインジケーションを示すかどうかを判定するためのヒューリスティックがトリガされる。いくつかの実施形態では、第１のオブジェクトに向かう視線を検出することは、視線を検出することと、視線が少なくとも閾値時間、第１のオブジェクトの位置で実質的に静止したままであると判定することと、を含む。第１の基準を満たし、少なくとも１つのジェスチャ入力に応答して第１のオブジェクトに向かう視線を検出したことに応答して（１１００６）、かつ手（例えば、ユーザ）が、ジェスチャ入力を提供するための所定の準備完了状態（例えば、準備完了姿勢の手又はコントローラ上の手）にある（例えば、視線が第１の基準を満たし、第１のオブジェクトに向かっている間、手が準備完了状態に入る、又は手が既に準備完了状態に入りとどまっている間、視線が第１のオブジェクトに向けられながら第１の基準を満たしている）という判定に従って、コンピュータシステムは、三次元環境内の第１のオブジェクトに利用可能な１つ以上の相互作用オプションのインジケーションを表示する（例えば、三次元環境に示される第１のオブジェクトの外観を変化させる、又は三次元環境内の第１のオブジェクト近傍に１つ以上の追加の仮想オブジェクトを表示する）。これは、図７Ｊ及び付随する説明に示されており、仮想オブジェクト７５０６、７５０８、又は７５１０は、ユーザの手が準備完了状態構成にある間、第１の基準を満たしている視線に応答して強調表示される。いくつかの実施形態では、相互作用オプションは、ユーザがデバイスを介してそれぞれの仮想又は物理的オブジェクトと相互作用することができる方法である。例えば、相互作用は、三次元環境内の第１のオブジェクトの外観を制御することを含むことができる。別の例では、相互作用は、第１のオブジェクト（例えば、視覚的、聴覚的、及び／又は触覚的出力）に関連付けられたコンテンツの出力を制御することを含むことができる。いくつかの実施形態では、第１のオブジェクトに対して利用可能な１つ以上の相互作用オプションのインジケーションは、（例えば、どんな相互作用オプションかを識別することなく）単に１つ以上の相互作用オプションが利用可能であるというインジケーションである。いくつかの実施形態では、１つ以上の相互作用オプションのインジケーションは、利用可能な相互作用オプションのうちの１つ以上を識別する。いくつかの実施形態では、第１のオブジェクトは、仮想オブジェクト（例えば、ピクチャ、仮想モデル、仮想アシスタント、アバターなど）であり、インジケーションは、仮想オブジェクトに関連付けられた選択可能なオプションのメニュー、又は仮想オブジェクトの視覚的特性の変化（例えば、色、適用された視覚的効果、サイズ、不透明度、飽和度など）の表示である。いくつかの実施形態では、第１のオブジェクトは、物理的オブジェクト（例えば、電球、スピーカ、電気暖炉、ファンなど）であり、インジケーションは、物理的オブジェクトに関連付けられた様々な制御可能な機能のための選択可能なオプション又はジェスチャプロンプトのメニューの表示、又は三次元環境内の物理的オブジェクトの外観の拡張（例えば、マスク又は装飾を重ねた、ズームされた、強調表示された）である。少なくとも１つのジェスチャ入力に応答して、第１の基準を満たし、第１のオブジェクトに向かう視線を検出したことに応答して（１１００６）、かつ手が、ジェスチャ入力を提供するための所定の準備完了状態にないという判定に従って、第１のオブジェクトに利用可能な１つ以上の相互作用オプションの表示を行わない（例えば、カメラの視野の変化から生じた変化を除いて、第１のオブジェクトの外観を含む三次元環境の外観が少しも変化しない）。これは、図７Ｉ及び付随する説明に示されており、仮想オブジェクト７５０６、７５０８、又は７５１０は、ユーザの手が準備完了状態構成にない間、第１の基準を満たしている視線に応答して強調表示されない。いくつかの実施形態では、デバイスは、ユーザの視線を連続的に追跡し、ユーザの視線が三次元環境内の相互作用オブジェクト上で検出され、所定の基準（例えば、安定性、持続時間）を満たすときはいつでも、デバイスは、第１のオブジェクトに対して利用可能な１つ以上の相互作用オプションの視覚的インジケーションが表示されるべきかどうかを判定するために、ユーザの手が準備完了状態にあるかどうかに基づく上記のヒューリスティックを使用する。いくつかの実施形態では、デバイスはユーザの手を連続的に追跡し、デバイスが、ユーザの手が準備完了状態に置かれていることを検出すると、デバイスは、相互作用オプションの視覚的インジケーションを表示するための状態に入り、ユーザの視線が第１の基準を満たし、相互作用オプションを有するオブジェクトに向かうときはいつでも相互作用オプションのインジケーションを表示する。上記のフーマンマシンインタフェース設計により、ユーザが環境と相互作用するのではなく環境を観察することを単に望む場合、視覚的な乱雑さ及び混乱を低減しつつ、ユーザが自由に三次元環境を見ることができる。ユーザが環境との相互作用に関心があり、どのオブジェクトが相互作用しているか、及びどの相互作用オプションが利用可能であるかを確かめたい場合、ユーザは手を準備完了状態に置き、環境を探索するように視線を利用することができる。ユーザはまた、オブジェクトを見つめると同時に、自分の手を準備完了状態に置くことによって、相互作用オプションのインジケーションを見て、次いで、オブジェクトにとって所望の相互作用オプションのためのジェスチャを実行することができる。現在開示されているヒューマンマシンインタフェース設計は、視線（又は他のタイプの入力）のみを使用してオブジェクトを選択し、選択のための視覚的インジケーションをトリガし、次いで、オブジェクトが視線（又は他の入力）によって選択された後に、ユーザに、手ジェスチャを使用して選択されたオブジェクトと相互作用させる設計と異なる。ユーザが手を準備完了状態に置いたかどうかに関係なく、視線（又は他のタイプの入力）のみを使用してオブジェクトを選択し、視覚フィードバックの表示をトリガすると、ユーザが実際に環境内のオブジェクトと相互作用せずに、何気なく環境を視覚的に走査したいときに、ユーザに多くの視覚的な混乱を引き起こす。システムによっては、システムが追加のジェスチャ入力のためにジェスチャ認識手順を開始する前にユーザが準備完了状態に手を配置する必要があるが、これらの従来のシステムは、オブジェクトの相互作用オプションの視覚的インジケーションをトリガするために、視線と準備完了状態が同時に存在することを必要としない。
いくつかの実施形態では、手がジェスチャ入力を提供するための所定の準備完了状態にあると判定することは、手の所定の部分（例えば、指定された指）が物理的制御要素と接触していると判定することを含む。いくつかの実施形態では、物理的制御要素は、ユーザとは別個のコントローラ（例えば、それぞれの入力デバイス）である（例えば、準備完了状態は、ユーザの親指がユーザの人差し指に取り付けられたタッチ感知ストリップ又はリングと接触している状態である）。いくつかの実施形態では、物理的制御要素は、ユーザの手の異なる部分である（例えば、準備完了状態は、親指が人差し指の上側（例えば、第２関節の近傍）に接触している状態である）。いくつかの実施形態では、物理的制御要素は、第１のオブジェクトを識別する、又は相互作用オプションのインジケーションが示されるオブジェクトの位置を指定するために使用されず（例えば、物理的制御要素はポインティングデバイスとして使用されない）、視線がその目的で使用される。いくつかの実施形態では、デバイスは、カメラを使用して手が所定の準備完了状態にあるかどうかを検出し、三次元環境のビューで準備完了状態に手を表示する。いくつかの実施形態では、デバイスは、タッチ感知であり、電子デバイスに通信可能に結合されてタッチ入力を電子デバイスに送信する物理的制御要素を使用して、手が所定の準備完了状態にあるかどうかを検出する。
いくつかの実施形態では、手がジェスチャ入力を提供するための所定の準備完了状態にあると判定することは、手がユーザに対して所定の高度の上方に上昇していると判定することを含む。いくつかの実施形態では、手が上昇していると判定することは、手が特定の横方向平面の上方（例えば、ユーザの腰の上方）に位置付けられていると判定することを含む。いくつかの実施形態では、手が上昇していると判定することは、ユーザの手首又は肘が少なくとも特定の量（例えば、９０度の角度内で）曲げられていると判定することを含む。いくつかの実施形態では、デバイスは、カメラを使用して手が所定の準備完了状態にあるかどうかを検出し、三次元環境のビューで準備完了状態に手を表示する。いくつかの実施形態では、デバイスは、ユーザの手、手首、又は腕に取り付けられた１つ以上のセンサ（例えば、運動センサ）を使用して、手が所定の準備完了状態にあるかどうかを検出し、電子デバイスに通信可能に結合されて、電子デバイスに移動入力を伝送する。
いくつかの実施形態では、手がジェスチャ入力を提供するための所定の準備完了状態にあると判定することは、手が所定の構成にあると判定することを含む。いくつかの実施形態では、所定の構成は、手の対応する指（例えば、親指）が、ユーザの手の異なる部分（例えば、人差し指などの対向する指、又は対向する人差し指の中節骨や中関節などの所定の部分）と接触している必要がある。いくつかの実施形態では、所定の構成は、上記のように、手が特定の横方向平面の上方（例えば、ユーザの腰の上方）にあることを必要とする。いくつかの実施形態では、所定の構成は、親指側に向かい小指側から離れる手首の屈曲（例えば、径方向の屈曲）（例えば、アームの軸方向回転無しで）を必要とする。いくつかの実施形態では、手が所定の構成にあるとき、１つ以上の指が自然な休止位置にあり（例えば、湾曲している）、手全体が手、手首、又は腕の自然な休止位置から離れて傾斜又は移動されて、ユーザがジェスチャを実行する準備が整っていることを示す。当業者であれば、使用される特定の所定の準備完了状態が、直感的かつ自然なユーザ相互作用を有するように選択され得、前述の基準の任意の組み合わせを必要とし得ることを認識するであろう。いくつかの実施形態では、ユーザが三次元環境への入力を提供し、三次元環境と相互作用するのではなく三次元環境を見ることを単に望む場合、所定の構成は、ユーザの手の自然な休止姿勢（例えば、膝、テーブル面、又は身体の側部に弛緩して置かれた姿勢）とは異なる。自然な休止姿勢から所定の構成への変化は、意図的であり、ユーザの手の所定の構成への意図的な移動を必要とする。
いくつかの実施形態では、第１のオブジェクトに利用可能な１つ以上の相互作用オプションのインジケーションを表示することは、後続の入力（例えば、音声入力、手ジェスチャなど）に応答して調節可能である第１の仮想オブジェクトに関する情報を表示することを含む。いくつかの実施形態では、（情報が以前に表示されていなかった）第１の仮想オブジェクトに関する情報の表示は、仮想オブジェクトが相互作用することを示し（例えば、オブジェクトが追加のジェスチャ入力を受信する準備ができていることを示すアフォーダンス又は視覚的インジケーション）、後続の入力は、選択可能なオプションのメニューを表示させる。例えば、オブジェクトは３Ｄ映画のアイコンであり、インジケーションは映画の概要であり、デバイスは、視線がアイコン上にあり、概要が表示されている間、ジェスチャ入力に応答して映画の再生コントロールを表示する。いくつかの実施形態では、第１の仮想オブジェクトに関する情報の表示は、限定された相互作用オプションのセットを含む。例えば、オブジェクトは物理的スピーカであり、インジケーションは低減された再生コントロールのセットである。視線が物理的スピーカ上にある間、及び低減された再生コントロールのセットが表示されている間のジェスチャ入力に応答して、追加のコンテンツ及びメディアプレーヤのコントロールを有する拡大制御インタフェースが表示される。いくつかの実施形態では、第１の仮想オブジェクトに関する情報は、第１の仮想オブジェクトに関連付けられた（例えば、第１の仮想オブジェクトと共に表示される又は第１の仮想オブジェクトによって表されるコンテンツに関連付けられた）時間及び／又は位置（例えば、写真が撮影されたときの時間及び位置）を含む。第１の仮想オブジェクトが仮想風景（例えば、静的画像又はビデオ）を表示する仮想窓であるいくつかの例では、第１の仮想オブジェクトに関する情報は、表示された仮想風景の位置（例えば、仮想風景の画像が撮影された地理的位置）、及び／又は表示された仮想風景の日時を含み、位置及び／又は時間が表示されている間に受信された後続の入力に応答して、デバイスは、異なる位置及び／又は時刻／時季を表示し、又は風景の時間シーケンス（建設の異なる段階での建物、異なる季節又は時刻での地理的位置）を開始する。
いくつかの実施形態では、第１のオブジェクト（例えば、三次元文字、二次元画像、アイコン、アバターなどの第１の仮想オブジェクト）に利用可能な１つ以上の相互作用オプションのインジケーションを表示することは、第１のオブジェクトのアニメーションを表示することを含む。いくつかの例では、第１の仮想オブジェクトは、写真又は芸術品などの画像であり、第１の仮想オブジェクトのアニメーションを表示することは、画像自体をアニメーションすること、及び／又は画像に表示された１つ以上の要素をアニメーション化することを含む。いくつかの例では、第１の仮想オブジェクトは、ビデオコンテンツ（任意選択的に対応するオーディオコンテンツと共に）又はマルチフレーム写真を含むモーション写真を表す静止画像を含み、アニメーションを表示することは、モーション又はマルチフレーム写真のビデオコンテンツ（及び任意選択的に対応するオーディオコンテンツ）の少なくとも一部を表示することを含む。いくつかの実施形態では、第１のオブジェクトは、映画のアイコンであり、情報は、映画からの短いカットシーンを含む。
いくつかの実施形態では、第１のオブジェクトに利用可能な１つ以上の相互作用オプションのインジケーションを表示することは、第１のオブジェクトの少なくとも一部にわたって選択インジケータを表示する（例えば、強調表示する、アニメーション化する、視覚的効果（例えば、微光、スポット照明、小刻みな揺れなど）を第１のオブジェクトの縁部などの少なくとも一部又は全体に適用する）ことを含む。
いくつかの実施形態では、コンピュータシステムは、三次元環境内の第２のオブジェクト（例えば、電子デバイスを制御するために使用されるハンドヘルドコントローラ以外、及びユーザの手、手首、又は腕若しくはそれらの表現以外の物理的オブジェクト又は仮想オブジェクト）に向けられた（例えば、ユーザの）視線を検出し（例えば、第１のオブジェクトから第１のオブジェクトとは異なる第２のオブジェクトへの視線の移動を検出する）、視線は第１の基準（例えば、安定性、持続時間要件）を満たし、第２の仮想オブジェクトは少なくとも１つのジェスチャ入力に応答する。第１の基準を満たし、少なくとも１つのジェスチャ入力に応答する第２の仮想オブジェクトに向かう視線を検出したことに応答して、手が、ジェスチャ入力を提供するための所定の準備完了状態（例えば、準備完了姿勢の手又はコントローラ上の手）にある（例えば、視線が第１の基準を満たし、第２のオブジェクトに向けられている間、手が準備完了状態に入る、又は手が既に準備完了状態に入りとどまっている間、視線が第２のオブジェクトに向けられながら第１の基準を満たしている）という判定に従って、コンピュータシステムは、第２の仮想オブジェクトに利用可能な１つ以上の相互作用オプションのインジケーションを表示する。いくつかの実施形態では、ユーザの視線が１つのオブジェクトから別のオブジェクトにシフトするにつれて（いくつかの実施形態では、手が所定の準備完了状態にあるという判定に従って）、１つ以上の相互作用オプションが利用可能であるというインジケーションも、１つの仮想オブジェクトから他の仮想オブジェクトにシフトする。言い換えれば、第２のオブジェクトに対して利用可能な１つ以上の相互作用オプションのインジケーションが表示されるとき、デバイスは、第１のオブジェクトの１つ以上の相互作用オプションのインジケーションの表示を停止する。
いくつかの実施形態では、第１の基準を満たし、少なくとも１つのジェスチャ入力に応答する第１のオブジェクトに向かう視線を検出したことに応答して、手が、ジェスチャ入力を提供するための所定の準備完了状態にあるという判定に従って（例えば、視線が第１のオブジェクト上に残り、第１のオブジェクトに利用可能な１つ以上の相互作用オプションのインジケーションが表示されている間）、コンピュータシステムは、手による第１のジェスチャ入力（例えば、対向する指上での親指のタップなどのタップジェスチャ、又は１つ以上の指又は手全体を使用するスワイプジェスチャ）を（例えば、カメラ又は物理的コントローラデバイス上１つ以上のセンサを用いて）検出する。いくつかの実施形態では、手による第１のジェスチャ入力を検出することは、所定の準備完了状態から第１の所定状態への手の移動、所定の準備完了状態からの所定の移動パターン／経路を満たしている手の移動を検出することを含む。手による第１のジェスチャ入力を検出したことに応答して、コンピュータシステムは、第１のオブジェクトとの相互作用（例えば、第１のジェスチャ入力に関連付けられた相互作用）を実行する。例えば、第１のオブジェクトは画像であり、インジケーションは画像のアニメーションであり、第１のジェスチャ入力は、親指による人差し指上又は人差し指を横切るタップ入力又はスワイプ入力であり、第１のオブジェクトとの相互作用を実行することは、画像を拡大することと、画像を三次元環境に配置して、画像に関連付けられた没入型体験（例えば、画像に関連付けられた短い映画の３Ｄビュー）を提供することとを含む。別の例では、第１のオブジェクトは、仮想窓に示された、又は実際の窓に重ねられた第１の仮想風景であり、インジケーションは、第１の仮想風景に関連付けられた位置及び時間に関するテキスト情報であり、第１のジェスチャ入力は、腕、手、又は指のスワイプジェスチャであり、第１のオブジェクトとの相互作用を実行することは、第１の位置及び／又は第１の時間を有する第１の仮想風景の表示を第１の位置及び／又は第１の時間とは異なる第２の位置及び／又は第２の時間を有する第２の仮想風景の表示に切り替えることを含む。
いくつかの実施形態では、第１のオブジェクトは、第１の画像（例えば、第１の写真又はモーション写真）を含み、第１のオブジェクトとの相互作用を実行することは、第１の画像を第１の画像とは異なる第２の画像（例えば、第２の写真又はモーション写真）に置き換えることを含む。例えば、ユーザが、手を準備完了状態に置いて壁（例えば、物理的壁）に重ねられた写真を見つめると、写真がアニメーション化されて、写真が１つ以上の相互作用オプションに関連付けられていることを示し、次いで、ユーザが写真を見つめながら、自分の手を使用してスワイプジェスチャを行うと、デバイスは、現在の写真を（例えば、写真ライブラリ内の写真のリストから）別の写真に置き換える。
いくつかの実施形態では、第１のオブジェクトは、第１の再生可能なメディアコンテンツ（例えば、第１のビデオコンテンツ、第１のオーディオコンテンツ、又は第１のマルチメディアコンテンツ）を含み、第１のオブジェクトとの相互作用を実行することは、第１の再生可能なメディアコンテンツの再生を切り替えること（例えば、再生と一時停止）（例えば、第１のビデオコンテンツ、第１の音声コンテンツ、又は第１のマルチメディアコンテンツの再生と一時停止とを切り替える）ことを含む。いくつかの例では、第１のオブジェクトは、第１のビデオコンテンツのそれぞれのフレーム（例えば、静止画像）を表示し、相互作用は、表示されたそれぞれのフレームに対応する第１のビデオコンテンツ内の現在の地点からの第１のビデオコンテンツの再生を（例えば、ビデオコンテンツの最初から再生を開始又は再開することによって、又はビデオコンテンツの中間点から再生を再開することによって）開始する。いくつかの例では、第１のオブジェクトは、再生されているビデオコンテンツを表示し、相互作用はビデオコンテンツの再生を一時停止する。いくつかの実施形態では、第１の再生可能なメディアコンテンツのアクティブな再生は、（例えば、ディスプレイのより大きな部分を占めるか、又は２Ｄ表示モードから３Ｄ表示モードに切り替えるように）第１の再生可能なメディアコンテンツの提示エリアを拡大することを含む。
いくつかの実施形態では、第１のオブジェクトは、第１の仮想風景を表示する仮想窓であり、第１のオブジェクトとの相互作用を実行することは、第１の仮想風景の表示を第１の仮想風景とは異なる第２の仮想風景の表示に置き換えることを含む。いくつかの実施形態では、それぞれの仮想風景は、景観、都市風景、鳥瞰、パノラマなどの画像を含み、任意選択的に、三次元環境内の仮想窓のユーザの視点が変化するとき（例えば、ユーザが電子デバイス又は電子デバイスの１つ以上のカメラを移動させるとき）更新される。
いくつかの実施形態では、第１のジェスチャ入力は、上方フリックジェスチャ（例えば、親指側に向かう手首の上方フリック（例えば、径方向屈曲））であり、任意選択的に、親指が人差し指などの対向する指上に置かれているか、別の形で接触している。第１のオブジェクト（例えば、仮想ステレオ、又は物理的スピーカ）との相互作用を実行することは、第１のオブジェクトの１つ以上の相互作用オプション（又はいくつかの実施形態では、１つ以上の追加の相互作用オプション）でユーザインタフェースを表示することを含む。いくつかの実施形態では、第１のオブジェクトとの相互作用（例えば、１つ以上の追加コントロール及び一連のアルバムで拡大された制御ユーザインタフェースを表示すること）は、ジェスチャが上方フリックジェスチャであるという判定に従って実行され、他のタイプのジェスチャ（例えば、手首が上方にフリックすることなく、親指が人差し指上でタップ又はスワイプする）が、第１のオブジェクトに利用可能な１つ以上の相互作用オプションのインジケーションとして最初に表示される１つ以上の再生制御をアクティブ化するために使用される。
いくつかの実施形態では、第１のジェスチャ入力は、手の回転（例えば、手首及び前腕の軸方向の回転（手首の回内運動又は回外運動とも呼ばれる）、又は掌に向かう又は掌から離れる手首の曲げ（屈曲及び伸長とも呼ばれる）、又は人差し指の指先を中心とした親指の時計回り若しくは反時計回りの円形の移動））を含む。第１のオブジェクト（例えば、仮想ステレオ、アルバムカバー、又は物理的スピーカ）との相互作用の実行は、第１のオブジェクトに関連付けられたコンテンツ（例えば、現在再生されている又は最後に再生されたオーディオコンテンツ）の出力ボリュームを変化させることを含む。いくつかの実施形態では、第１のジェスチャ入力は、第１のオブジェクトに関連付けられたコンテンツを出力しながら検出される。いくつかの実施形態では、掌が下方に回転するように手首を回転させると（例えば、回内運動）コンテンツの出力ボリュームが減少し、掌が上方に回転するように手首を回転させると（例えば、回外運動）コンテンツの出力ボリュームが増大する。いくつかの実施形態では、手首又は指の反時計回りの回転が（左手又は右手のいずれが使用されるかに関係なく）出力ボリュームを減少させる一方、手首又は指の時計回りの回転は、（例えば、まるでユーザが物理的ボリュームノブを調節したかのように）コンテンツの出力ボリュームを増大させる。
いくつかの実施形態では、第１の基準は、視線が少なくとも閾値時間（例えば、第１のオブジェクトからの偏差の閾値量未満）、第１のオブジェクトに向けられたままであるという要件を含む。
図１１における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法８０００、９０００、１００００、１２０００、及び１３０００）に関して本明細書で記載された他のプロセスの詳細はまた、図１１に関連して上述された方法１３０００に類似の方法で適用可能であることも留意されたい。例えば、方法１１０００を参照して上述した接触、ジェスチャ、視線入力、物理的オブジェクト、及びユーザインタフェースオブジェクト、及びアニメーションは、任意選択で、本明細書に記述した他の方法（例えば、方法８０００、９０００、１００００、１２０００、及び１３０００）を参照して本明細書に記述した、接触、ジェスチャ、視線入力、物理的オブジェクト、及びユーザインタフェースオブジェクト、及びアニメーションの１つ以上の特性を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１２は、いくつかの実施形態による、三次元環境に移行するための例示的な方法１２０００のフローチャートである。いくつかの実施形態では、方法１２０００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）と、１つ以上のカメラ（例えば、ユーザの手元で下方を向くカメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））又はユーザの頭部から前方に向くカメラ）と、を含むコンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。いくつかの実施形態では、方法１２０００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法１２０００の一部の動作が任意選択的に組み合わされ、及び／又はいくつかの動作の順序が任意選択的に変更される。
方法１２０００では、コンピュータシステムは、電子デバイスのユーザに対する所定の位置に表示生成コンポーネントが配置されたことを検出する（１２００２）（（例えば、デバイス配向及び／又は装着状態を検出するＨＭＤ上のセンサを介して）ユーザがＨＭＤを頭部に配置していることを検出する、（例えば、表示生成コンポーネントに実装された運動センサ及びアイトラッキング技術を介して）ディスプレイを見るユーザの視線と組み合わせてディスプレイ配向を検出する、（例えば、表示生成コンポーネント上のカメラを使用して）ディスプレイの真正面でユーザの目を検出する、又は（例えば、表示生成コンポーネント上のタッチセンサ及び運動センサを使用して）表示生成コンポーネントの移動と手の握りの組み合わせを検出する）。例えば、デバイスは、（例えば、ＨＭＤ配向とＨＭＤを装着するユーザの両手の握りの組み合わせを使用して）ユーザがＨＭＤを頭部に置いたこと、又はユーザが両手を用いてユーザの目に直接向かうようにディスプレイを保持し、上昇させ、及び配向させたこと、又は表示生成コンポーネントと物理的に結合されたハウジング上のボタンがユーザによってアクティブ化されたことを検出する。コンピュータシステムのユーザに対する所定の位置への表示生成コンポーネントの配置は、ユーザが電子デバイスを使用して、仮想及び没入体験を開始しようとしている（例えば、三次元映画を開始する、三次元仮想世界に入るなど）ことを示し、ユーザの仮想没入体験を可能にするには、ユーザを取り囲む現実世界のユーザの現在の視野が電子デバイスによって（例えば、ユーザの目の前近傍のディスプレイの存在、及びＨＭＤの音の消音機能によって）一時的に遮断されることを必要とする。これは、ユーザの仮想没入型体験の開始前の時点で発生し、仮想没入型体験への初期移行は、進行中の没入型体験を一時停止して、現実世界の視野を一時的に表示させ、次いで一時停止された没入型体験を再開するという移行よりも、更に制御されたなだらかな移行（例えば、認知的になだらかな移行）の恩恵を得る。図１２に戻って参照すると、コンピュータシステムのユーザに対する所定の位置での表示生成コンポーネントの配置を検出したことに応答して、コンピュータシステムは、表示生成コンポーネントを通じて、パススルー部分を含む三次元環境の第１のビューを表示し（１２００４）、パススルー部分は、ユーザを取り囲む現実世界の少なくとも一部の表現を含む。これは、例えば、図７Ｋに示されており、デバイス７１００は、ユーザがデバイス７１００を目の前で両手で保持しているときの物理的環境７８００を表示する。例えば、第１のビューは、電子デバイスが最初にオンにされるか、又はユーザの目の前に配置されたときに表示されるウェルカム／導入ユーザインタフェースである。いくつかの実施形態では、パススルー部分は、ユーザを取り囲む物理的環境を見せる半透明又はシースルー部分である。いくつかの実施形態では、パススルー部分は、カメラによってユーザの周りの物理的環境でキャプチャされた画像又はビデオのライブフィードを表示する。いくつかの実施形態では、パススルー部分は、電子デバイスからの制御命令に応答して、透明又は半透明である表示生成コンポーネント（例えば、ディスプレイ又はＨＭＤ）の一部である（例えば、ユーザがユーザに対して所定の位置から表示生成コンポーネントを除去することなく、ユーザを取り囲む現実世界を見ることができるように）。いくつかの実施形態では、パススルー部分は、パススルー部分を囲む他の仮想コンテンツ（例えば、二次元及び／又は三次元仮想オブジェクト及びユーザインタフェース要素）と共に導入ユーザインタフェース内に表示される。いくつかの実施形態では、第１のビューにおいて、パススルー部分は、ユーザが最初に表示生成コンポーネントを所定の位置に配置するとき（例えば、ユーザが最初にＨＭＤを自分の頭部に置くとき）、他の仮想コンテンツと共に表示されない。いくつかの実施形態では、第１のビューにおいて、パススルー部分は、ユーザが最初に表示生成コンポーネントを所定の位置に配置するときに、他の仮想コンテンツ（例えば、ユーザのビューに浮かんでいる二次元デスクトップ又はドック又は他のユーザインタフェース要素）と共に表示される。図１２に戻って参照すると、パススルー部分を含む三次元環境の第１のビューを表示している間（及び表示生成コンポーネントがコンピュータシステムのユーザに対して所定の位置にある間）、コンピュータシステムは、表示生成コンポーネントと物理的に結合された（例えば、包囲する、部分的に包囲する、直接結合された、又はデバイスの中間部分を介して結合された）ハウジング上の手の握りの変化を検出する（１２００６）。例えば、手の握りの変化は、表示生成コンポーネントと物理的に結合されたハウジング上で検出された手の総数の変化（例えば、両手から片手、片手から手無し、又は両手から手無し）、表示生成コンポーネントと接触している指の総数の変化（例えば、８本の指から６本の指、４本の指から２本の指、２本の指から指無しなど）、表示生成コンポーネントと物理的に結合されたハウジング上の手の接触から手の接触無しへの変化、及び／又は表示生成コンポーネントと物理的に結合されたハウジング上の接触位置及び／又は接触強度の変化（例えば、手の姿勢、配向、表示生成コンポーネントと物理的に結合されたハウジング上での様々な指の相対的把持力などの変化から生じる）を含む。表示生成コンポーネントと物理的に結合されたハウジング上の手の握りの変化は、ユーザに対する表示生成コンポーネントの所定の位置の変化を引き起こさず（例えば、ＨＭＤはまだユーザの頭上にあってユーザの目を覆っている）、手の握りの変化は、ユーザが（例えば、徐々に又は大胆に）表示生成コンポーネントから手を放し、仮想没入型体験に没入する準備が整っていることを表す。いくつかの実施形態では、表示生成コンポーネントと物理的に結合されたハウジング上の手の握りの変化を検出することは、ユーザの手による表示生成コンポーネントの手動制御の低減を表す、表示生成コンポーネントと物理的に結合されたハウジング上の手の握りの状態の２つ以上の移行状態を検出することを含む。図１２に戻って参照すると、表示生成コンポーネントと物理的に結合されたハウジング上の手の握りの変化を検出したことに応答して、表示生成コンポーネントと物理的に結合されたハウジング上の手の握りの変化が、第１の基準を満たしているという判定に従って、三次元環境の第１のビューを三次元環境の第２のビューに置き換え、第２のビューが、パススルー部分の少なくとも一部を仮想コンテンツに置き換える（例えば、第１のビュー内の既存の仮想コンテンツの拡大及び変換、及び／又は第１のビューに存在しなかった仮想コンテンツの追加）。これは、例えば、デバイス７１００のディスプレイに対面するときのユーザの握りの変化（例えば、両手から片手へ）に応答して、デバイス７１００上に示される物理的環境のいくつかの部分が仮想コンテンツ（例えば、仮想オブジェクト７５０６、７５０８、及び７５１０）に置き換えられている図７Ｌに示される。いくつかの実施形態では、第１の基準は、第１の基準が満たされるために、第１の所定数から第１の所定数よりも小さい第２の所定数まで、表示生成コンポーネントに物理的に結合されたハウジング上で検出される手（又は指）の総数の減少（例えば、２から１、２から０、又は１から０など）を必要とする。例えば、ユーザが両手を使用してＨＭＤをユーザの頭部に置いた後に、ユーザの両手の一方がＨＭＤから離れたとき、又はユーザが両手を使用してディスプレイをユーザの目の真正面に置いた後に、ユーザの手の一方がディスプレイから離れたとき、ユーザが手（単数又は複数）を使用してディスプレイ又はＨＭＤを所定の位置（例えば、ユーザの頭部又はユーザの目の前）に配置した後に、ユーザが手をディスプレイ又はＨＭＤから完全に離したときに、第１の基準が満たされる。いくつかの実施形態では、第１の基準は、第１の数／量から第１の数／量よりも小さい第２の数／量までの接触数（例えば、表示生成コンポーネントと物理的に結合されたハウジング上で検出された指の総数）、又は接触の総量（例えば、ユーザの手との接触の総面積）の減少を必要とする。例えば、第１の基準は、ユーザが表示生成コンポーネントを保持及び配置するために使用される指のいくつか又は全部を、表示生成コンポーネント上の所定の位置／表示生成コンポーネントから外す／離すときに満たされる。第１の基準は、ユーザが自分の周りの物理的世界から遮蔽され、電子デバイスによって提供される仮想没入型体験に完全に没入する準備が整っていることを示すために、表示生成コンポーネント上の手動制御量の必要な減少を表す。いくつかの実施形態では、第２のビューは、第１のビューよりも多量の仮想コンテンツを含む電子デバイスのシステムユーザインタフェースである。例えば、第２のビューは、ユーザを取り囲む現実世界のビューをほとんどか全く含まず、より多くの仮想コンテンツを含むか、又は完全没入型仮想コンテンツを含む仮想環境の３Ｄビューを含む。いくつかの実施形態では、第１のビューを第２のビューに置き換えることは、パススルー部分の一部を仮想コンテンツに置き換える（例えば、新しい仮想コンテンツがパススルー部分の一部上に重なる）ことを含む。いくつかの実施形態では、第１のビューを第２のビューに置き換えることは、パススルー部分の不透明度を上昇させて（例えば、パススルー部分がディスプレイの半透明又は透明状態で実装されるとき）、ディスプレイの半透明又は透明部分上に表示された仮想コンテンツがより見えやすくなり、色飽和度が高くなることを含む。いくつかの実施形態では、第２のビュー内の仮想コンテンツは、第１のビュー内の仮想コンテンツよりもユーザに対してより没入型体験を提供する（例えば、第１のビュー内の仮想コンテンツは、（例えば、ユーザからの様々な深度で）ユーザの前に表示される二次元オブジェクト及び／又は三次元オブジェクトであり、第２のビューの仮想コンテンツは、ユーザからのパノラマ又は３６０度ビューで表される三次元世界を含む）。いくつかの実施形態では、第２のビューは、第１のビューよりも、ユーザを取り囲む物理的環境の少ない部分又は小さい部分を表示する小さなパススルー部分を含む。例えば、第１のビューのパススルー部分は、ユーザが位置する部屋の４つの壁を示し、第２のビューのパススルー部分は、仮想窓に置き換えられた４つの壁のうちの１つの窓を示し、その結果、パススルー部分の面積は、第２のビューでは低減されている。
いくつかの実施形態では、第１のビューは、ユーザの目の前の第１の視野角又は視認深度の範囲に及ぶ仮想オブジェクトの第１のセットを含み、第２のビューは、第１の視野角又は視認深度の範囲よりも大きい第２の視野角又は視認深度範囲に及ぶ仮想オブジェクトの第２のセットを含む。例えば、第１のビューでは、導入ユーザインタフェースの仮想オブジェクト（例えば、二次元ユーザインタフェースオブジェクト、二次元画像、又は三次元ユーザインタフェースオブジェクト）が、ユーザから同じ又は異なる深度で６０度の円錐内に表示され、第２のビューでは、システムユーザインタフェースの仮想オブジェクトが、ユーザの目の前を中心にして１００度、１８０度、又は２１０度の円錐内に表示される。いくつかの実施形態では、第１のビューでは、仮想オブジェクトは、互いに小さな深度内に表示され（例えば、空間内の表面又は薄層に限定され）、第２のビューでは、仮想オブジェクトは、より広い範囲の深度で表示される。
いくつかの実施形態では、第１のビューは、ユーザを取り囲む現実世界内の第１の物理的オブジェクトに対応する三次元環境内の第１の表面に重なる第１の仮想コンテンツを含み、第２のビューは、第１の表面に重なる第１の仮想コンテンツに加えて、ユーザを取り囲む現実世界内の第２の物理的オブジェクトに対応する三次元環境内の第２の表面に重なる第２の仮想コンテンツを含む。例えば、第１のビューでは、現実世界に存在する壁又はテーブル上面は、仮想オブジェクト（例えば、アイコン、画像、又は他の２Ｄ若しくは３Ｄオブジェクト）と重ねられ（例えば、完全に又は部分的に覆われる、遮断される、又は装飾されるなど）、第２のビューでは、より多くの壁又は部屋全体に、仮想オブジェクトが重ねられる（例えば、完全に又は部分的に覆われる、遮断される、又は装飾されるなど）。いくつかの実施形態では、第２のビューは、仮想コンテンツから完全に構成されており、ユーザを取り囲む現実世界の構造の可視の証拠をほとんど又は全く残さない。
いくつかの実施形態では、第１のビューは、第１の仮想コンテンツを含み、第２のビューは、第１の仮想コンテンツ及びパススルー部分に置き換わる第２の仮想コンテンツを含む。いくつかの実施形態では、第１のビューは、アクティブ化されると、三次元環境内の様々な没入型アプリケーション環境及び／又は体験を生成する複数のユーザインタフェースオブジェクトを含む。ユーザが最初に、ユーザの手（単数又は複数）を使用してユーザに対して所定の位置に表示生成コンポーネントを配置すると、第１のビューが表示され、複数のユーザインタフェースオブジェクト及びパススルー部分が、ユーザを取り囲む物理的世界の一部を示す。ユーザが必要な方法で手の握りを変化させると（例えば、表示生成コンポーネントに物理的に結合されるハウジング上で何本かの指を解放する、又は表示生成コンポーネントから完全に手を放す）と、第２のビューは、複数のユーザインタフェースオブジェクト及びパススルー部分が完全に没入型仮想体験又は環境に置き換えられて表示される。いくつかの実施形態では、ユーザは、任意選択的に、視線又は音声コマンドを使用して、第１のビュー内の複数のユーザインタフェースオブジェクトのうちの１つをアクティブ化してアプリケーション又は体験を開始するが、アプリケーション又は体験は、第１の基準がユーザの手（単数又は複数）の握りの変化によって満たされるまで、完全に没入型モードに入らない（例えば、休止状態にとどまる）。
いくつかの実施形態では、第２のビューは、それぞれ１つ以上のアプリケーション及び仮想体験を表す１つ以上の選択可能な仮想オブジェクトを含むことを含む。例えば、いくつかの実施形態では、第１のビューは、電子デバイスの仮想デスクトップを表示することなくパススルー部分を含み、第２のビューは、三次元環境で開始され得る様々なアプリケーション及び仮想体験を表す各種ユーザインタフェースオブジェクトを含む仮想デスクトップを表示する。いくつかの実施形態では、仮想デスクトップを表示している間、電子デバイスは、ユーザ入力（例えば、カメラによって検出された視線、コントローラ上のユーザ入力、タッチ感知面上で検出されたタッチなど）を受信して、ユーザ入力に応答して、アプリケーションを表す仮想オブジェクトを選択及びアクティブ化し、デバイスは、表示生成コンポーネントを介して選択されたアプリケーション（例えば、３Ｄ映画又はゲーム）に関連付けられた仮想没入型環境を表示する。
いくつかの実施形態では、三次元環境の第２のビューを表示している間（及び表示生成コンポーネントがコンピュータシステムのユーザに対して所定の位置にある間）、コンピュータシステムは、表示生成コンポーネントと物理的に結合されたハウジング上の手の握りの第２の変化を検出する。表示生成コンポーネントと物理的に結合されたハウジング上の手の握りの第２の変化の検出に応答して、表示生成コンポーネントと物理的に結合されたハウジング上の手の握りの変化が第２の基準を満たしているという判定に従って（例えば、第２の基準は、表示生成コンポーネントと物理的に結合されたハウジング上の、第１の基準を満たしている手の第１の状態から手動制御が更に低減された第２の状態への変化（例えば、接触数の減少、手の数の減少、接触面積の減少、接触強度の低減、接触位置の変化、又は上記のうちの２つ以上の組み合わせなどによって表される必要な低減の量）を必要とする）、コンピュータシステムは、三次元環境の第２のビューを、パススルー部分を含まない三次元環境の第３のビューに置き換える（例えば、第３のビューは、三次元没入仮想コンテンツを含む）。例えば、第３のビューは、３Ｄシアターモードであり、第２の基準を満たしているユーザの手の握りの変化は、表示生成コンポーネントと物理的に結合されたハウジング上で、前の１つ以上の両手の握り後に手の握りがないと検出することを含み、電子デバイスは、映画又はゲームの再生を開始する、又は３Ｄ没入型ＶＲビューにおける他のタイプの仮想コンテンツを示すことを開始する。いくつかの実施形態では、第１のビューから第２のビューへ、次いで第３のビューへの変化は、ＨＭＤを装着するためのユーザの手の握りの（１）両手の握りから、（２）片手又は他のタイプのＨＭＤ上の接触面積又は接触強度の低減へ、次いで（３）ＨＭＤ上で検出される手／接触無しへの変化に応答する、（１）現実世界のシースルービューを含む第１のビュー（例えば、現実世界ビューのフルスクリーン）から、（２）シースルービューと仮想コンテンツの混合の第２のビュー（現実世界コンテンツに重なる仮想コンテンツを含む）へ、次いで（３）完全な仮想現実没入型コンテンツの第３のビューへのなだらかな移行を含む。
いくつかの実施形態では、ユーザを取り囲む現実世界の少なくとも一部を示すパススルー部分を含まない三次元環境（例えば、第２のビュー又は第３のビュー）のそれぞれのビューを表示している間、（及び表示生成コンポーネントがユーザに対する所定の位置にある間）、コンピュータシステムは、表示生成コンポーネントと物理的に結合されたハウジング上のユーザ入力（例えば、表示生成コンポーネントと物理的に結合されたハウジング上のユーザタッチ）を検出する。表示生成コンポーネントと物理的に結合されたハウジング上のユーザ入力を検出したことに応答して、ユーザ入力が第３の基準を満たしているという判定に従って、コンピュータシステムは、表示生成コンポーネントを通じて、現実世界の少なくとも一部の表現を含むパススルー部分を含む第１のビューを再表示する。これは例えば、図７Ｌ～７Ｍに示されている。いくつかの実施形態では、第３の基準は、第３の基準が満たされるために、表示生成コンポーネントがユーザに対して所定の位置にあり、ユーザ入力が表示生成コンポーネントの所定の領域（例えば、ユーザが一般にＨＭＤを取り外すために掴むＨＭＤの前部及び側部の領域）内のユーザの手接触であることを必要とする。いくつかの実施形態では、第３の基準は、第３の基準が満たされるために、手接触が片手接触であることを必要とする（例えば、手接触無しからＨＭＤのいずれかの側（例えば、ユーザの利き手に対応する側）での片手接触への移行が要求される）。いくつかの実施形態では、第３の基準は、第３の基準が満たされるために手接触が両手接触であることを必要とする（例えば、手接触無しからＨＭＤの両側での両手接触への移行が必要である）。いくつかの実施形態では、表示生成コンポーネントのハウジング上のユーザ入力を検出したことに応答して、ユーザ入力が第３の基準を満たしていないという判定に従って、コンピュータシステムは、表示生成コンポーネントを通じて第１のビューの再表示を行わない（例えば、ユーザは、没入型環境にとどまる）。
いくつかの実施形態では、表示生成コンポーネントのハウジング上の手の握りの変化を検出したことに応答して、手の握りの変化が第１の基準を満たしていないという判定に従って、三次元環境の第１のビューが維持される（及び三次元環境の第２のビューに置き換えられない）。三次元環境の第１のビューを表示している間、コンピュータシステムは、表示生成コンポーネントと物理的に結合されたハウジング上の手の握りの変化とは異なるユーザ入力を検出し、ユーザ入力は、電子デバイスの第１の入力デバイス（例えば、表示生成コンポーネントと物理的に結合されたハウジング上の機械的ボタン）をアクティブ化させる。電子デバイスの第１の入力デバイスをアクティブ化させるユーザ入力を検出したことに応答して、コンピュータシステムは、（例えば、手の握りの変化が第１の基準を満たしたときと同じように）三次元環境の第１のビューを三次元環境の第２のビューに置き換える。いくつかの実施形態では、デバイスはまた、現実世界をキャプチャするために使用されるカメラレンズがユーザの手によって遮断されたことを検出したことに応答して、又はユーザが仮想没入型環境に入る準備が整っているという他のインジケーションを検出したことに応答して（例えば、ユーザがＨＭＤを装着してから所定期間が経過した後）、第１のビューを三次元環境の第２のビューに置き換える。
図１２における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法８０００、９０００、１００００、１１０００、及び１３０００）に関して本明細書で記載された他のプロセスの詳細はまた、図１２に関連して上述された方法１２０００に類似の方法で適用可能であることも留意されたい。例えば、方法１２０００を参照して上述した接触、ジェスチャ、視線入力、物理的オブジェクト、及びユーザインタフェースオブジェクト、及びアニメーションは、任意選択で、本明細書に記述した他の方法（例えば、方法８０００、９０００、１００００、１１０００、及び１３０００）を参照して本明細書に記述した、接触、ジェスチャ、視線入力、物理的オブジェクト、及びユーザインタフェースオブジェクト、及びアニメーションの１つ以上の特性を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１３は、いくつかの実施形態による、三次元環境に移行するための例示的な方法１３０００のフローチャートである。いくつかの実施形態では、方法１３０００は、コンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上のカメラ（例えば、カメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））は、ユーザの手又はユーザの頭部から前方に向くカメラである。いくつかの実施形態では、方法１３０００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法１３０００の一部の動作が任意選択的に組み合わされ、及び／又はいくつかの動作の順序が任意選択的に変更される。
方法１３０００では、コンピュータシステムは、表示生成コンポーネントを介して、仮想環境（例えば、没入型仮想体験（例えば、映画又はゲーム）を提供する三次元仮想環境）のビューを表示する。これは図７Ｎに示されており、仮想環境７６１０は、例えば、デバイス７１００上に表示される。いくつかの実施形態では、ビューは、表示生成コンポーネントを取り囲む現実世界の一部の表現を表示するパススルー部分を含まない１００％仮想コンテンツを含む。いくつかの実施形態では、仮想環境のビューは、表示生成コンポーネントを囲む現実世界の一部の表現とは異なり、表示生成コンポーネントを囲む現実世界内の物理的オブジェクトの存在、位置、及び／又は物理的構造を視覚的に伝達しない。いくつかの実施形態では、仮想環境のビューは、選択された物理的オブジェクトの存在及び位置のインジケーションを含むが、表示生成コンポーネントを囲む現実世界内の１つ以上の他の物理的オブジェクトの存在、位置、及び／又は物理的構造を視覚的に伝達しない。言い換えれば、仮想環境のビューは、ユーザの通常の視野（例えば、ユーザの目の前に表示生成コンポーネントが配置されていないユーザの視野）においてディスプレイ上で存在するであろう物理的オブジェクトの表示に置き換える仮想コンテンツを含む。仮想環境のビューを表示している間、及び仮想環境のビューが、ユーザが位置する物理的環境内に存在する第１の物理的オブジェクトの第１の部分の視覚的表現を含んでいない間、コンピュータは物理的環境内のユーザの第１の移動を検出する（１３００４）。例えば、仮想環境のビューは、第１の物理的オブジェクトに関連付けられた存在及び実際のサイズ、形状、位置、及び／又は他の種類の特性を反映する物理的オブジェクトの第１の部分いかなるタイプの視覚的表現（例えば、仮想コンテンツ又はシースルービュー）も含まない。いくつかの実施形態では、ユーザの第１の移動は、ユーザの身体全体又はユーザの手若しくは腕などのユーザの一部の移動を含む。いくつかの実施形態では、第１の物理的オブジェクトは、壁、椅子、テーブルなどの物理的環境内の静止オブジェクト、又はユーザが物理的環境に対して静止している間にユーザに対して移動する、物理的環境内の別の人や犬などの物理的環境内の移動オブジェクト（例えば、ユーザが映画を見ながらソファに座っている間、ユーザのペットが動き回る）である。仮想環境のビューが、ユーザが位置する物理的環境内に存在する第１の物理的オブジェクトの第１の部分の視覚的表現を含まない場合、物理的環境内のユーザに対するその位置を前提とすると（例えば、第１の物理的オブジェクトの第１の部分は、第１の物理的環境内の他の物理的オブジェクトによって遮断されていない）、第１の物理的オブジェクトの同じ第１の部分は、表示生成コンポーネントがパススルー部分を有している、又は表示生成コンポーネントがユーザの目の前に存在しない場合、ユーザの視野内で可視となる。再び図１３を参照すると、物理的環境内のユーザの第１の移動を検出したことに応答して（１３００６）、かつユーザ（例えば、ユーザの中心、ユーザの任意の部分、又はユーザの所定の部分（例えば、ユーザの手又は足）が第１の物理的オブジェクトの第１の部分の閾値距離内にいるという判定に従って（第１の物理的オブジェクト（例えば、第１の物理的オブジェクトの第１の部分及び第２の部分を含む）は、仮想環境に関するユーザの視野（例えば、人間の典型的な視野（例えば、約２００度）又はＨＭＤの視野（例えば、約１００～２００度））に基づき（例えば、現時点での視野、並びにユーザの現在の位置及び進行方向に基づき）ユーザにとって可視であり得る範囲を有する）（例えば、第１の物理的オブジェクトの全部又は一部は、表示生成コンポーネント上に示されたユーザの視野がパススルー部分に置き換えられた場合、ユーザの前の物理的環境を表示するパススルー部分において可視となる）、コンピュータシステムは、仮想環境のビューの外観を変化させることなく、第１の物理的オブジェクトの第１の部分の物理的特性を示す第１の方法で仮想環境のビューの外観を変化させて、仮想環境のユーザの視野に基づきユーザにとって可視になり得る第１の物理的オブジェクトの範囲の一部である第１の物理的オブジェクトの第２の部分を示す（例えば、第１の物理的オブジェクトの第１の部分は、ユーザに最も近い可視になり得る第１の物理的オブジェクトの範囲の第１の部分であり、第１の物理的オブジェクトの第２の部分は、第１の物理的オブジェクトの第１の部分よりもユーザから遠い可視になり得る第１の物理的オブジェクトの範囲の第２の部分である）。これは図７Ｏに示されており、物理的オブジェクト７６０２の部分７６０４は仮想環境７６２０内で見えるように表され、物理的オブジェクト７６０２のいくつかの部分は、例えば、仮想環境に対するユーザの視野に従って可視であり得る（ユーザの視線上にあり、物理的環境内の他の物理的オブジェクトによって遮断されていない）という事実にもかかわらず、見えるように表されていない。いくつかの実施形態では、第１の物理的オブジェクトの第１の部分の物理的特性は、物理的環境内のサイズ、形状、色、パターン、及び対応する位置のうちの１つ以上を含み、第１の方法における仮想環境のビューの外観の変化は、単純な視覚的警告／通知を生成すること、又は物理的環境のパススルービューを表示すること（例えば、パススルー部分にカメラのビデオフィードを表示する、又はディスプレイの所定の部分をシースルーにする（例えば、パススルービューが、第１の物理的オブジェクトの形状及びサイズに無関係の所定の形状又はサイズを有する））とは異なる。いくつかの実施形態では、仮想環境のビューの一部は、仮想環境のビューの他の部分と滑らかに接続及び融合されたままであり、それにより、仮想環境のビューによって提供される没入型体験に対するわずかな程度の妨害しかもたらさない。いくつかの実施形態では、「仮想環境のためのユーザの視野」は、（１）電子デバイスの１つ以上のセンサ（例えば、カメラ（例えば、可視光又は赤外線カメラ））によって検出可能である／検出される物理的環境の範囲、（２）ユーザの目の現在の位置及び方向と共に、（例えば、通常の視線距離内及び他の物理的オブジェクトによって遮断されない）平均的なユーザの物理的環境の裸眼ビュー、及び／又は（３）仮想環境の表示された視野（例えば、ビューポートの角度範囲）の境界内に限定される（１）及び（２）の物理的環境の範囲又は物理的環境の裸眼ビュー、に相当する。いくつかの実施形態では、ビューの外観を変化させることは、物理的環境内の第１の物理的オブジェクトの第１の部分の位置／距離／配向に対応する仮想環境のビューの一部を、物理的オブジェクトの第１の部分の視覚的表現に置き換えることを含む。いくつかの実施形態では、仮想環境の外観を変化させるために使用される第１の物理的オブジェクトの第１の部分は、カメラの視野内で現在キャプチャされている第１の物理的オブジェクトの全範囲から（例えば、第１の物理的オブジェクトの第１の部分の境界に沿って）セグメント化され、カメラの視野内で現在キャプチャされている周囲の物理的環境（例えば、第１の物理的オブジェクトに隣接する周囲の物理的環境の部分、又は第１の物理的オブジェクトの一部を遮断している、又は第１の物理的オブジェクトの一部によって遮断されている）から（例えば、第１の物理的オブジェクトの第１の部分の視覚的境界に沿って）セグメント化され、そのため、電子デバイスが、第１の物理的オブジェクトのより大きな範囲に基づいて仮想環境のビューの外観を変化させ、第１の物理的オブジェクトの周囲の物理的環境の一部に基づいて仮想環境のビューの外観を変化させるための画像データを所有している場合でも、電子デバイスは、設計によりそのように変化させることを行わない。言い換えれば、仮想環境のビューの外観を変化させるために使用される第１の物理的オブジェクトの部分及び量は、第１の物理的オブジェクトのどの部分が現在カメラビュー内にあるかに加えて、第１の物理的オブジェクトの形状及びサイズ、並びに第１の物理的オブジェクトの様々な部分のユーザへの距離に基づいて判定される。更に、電子デバイスは、カメラビュー内の第１の物理的オブジェクトの第１の部分に直接隣接して現れる物理的環境の部分の画像データに基づいて、仮想環境の外観を変化させることを行わず、その結果、第１の物理的オブジェクトの第１の部分の物理的境界は、仮想環境のビューの変更された外観において視覚的に表される。再び図１３を参照すると、物理的環境（１３００６）におけるユーザの第１の移動を検出したことに応答して、ユーザ（例えば、ユーザの中心、ユーザの任意の部分、又はユーザの所定の部分（例えば、ユーザの手又は足）が、ユーザを取り囲む物理的環境内に存在する第１の物理的オブジェクトの閾値距離内にいないという判定に従って、（例えば、第１の物理的オブジェクトが、仮想環境についてのユーザの視野（例えば、人間の典型的な視野（例えば、約２００度）又はＨＭＤの視野（例えば、約１００度～２００度））に基づいてユーザに可視であり得る範囲を有するという事実にもかかわらず）第１の物理的オブジェクトの第１の部分の物理的特性を示す第１の方法で仮想環境のビューの外観を変化させることを行わない。
いくつかの実施形態では、第１の物理的オブジェクトの第１の部分の物理的特性を示す第１の方法で仮想環境のビューの外観を変化させることは、仮想環境の第２の部分で仮想環境のビューの外観を変更させている間、仮想環境の第１の部分で仮想環境のビューの外観を維持することを更に含み、仮想環境の変化したビューにおける仮想環境の第１の部分と仮想環境の第２の部分との間の境界は、第１の物理的オブジェクトの第１の部分の物理的境界に対応する（例えば、仮想環境の変化した部分と仮想環境の変化していない部分との間の境界の位置及び形状は、所定の切り抜き領域の人工的な境界ではなく、カメラビューにキャプチャされた第１の物理的オブジェクトの第１の部分の位置及び形状に対応する）。これは、切り抜き又はパススルー領域に含まれる物理的オブジェクトの形状及びサイズに依存しない、カメラビューを表示するための所定の形状及びサイズを有する切り抜き又はパススルー領域（例えば、カメラフィードを表示するシミュレートされたフラッシュ照明領域）とは異なる。
いくつかの実施形態では、コンピュータシステムは、（例えば、ユーザの第１の移動が検出された後）物理的環境内の第１の物理的オブジェクトに対するユーザの第２の移動を検出する。物理的環境内の第１の物理的オブジェクトに対するユーザの第２の移動を検出したことに応答して、ユーザが、仮想環境に対するユーザの視野に基づいて（例えば、現時点の視野、並びにユーザの現在の位置及び進行方向に基づいて）ユーザにとって可視であり得る第１の物理的オブジェクトの範囲の一部である第１の物理的オブジェクトの第２の部分の閾値距離内にいるという判定に従って（例えば、表示生成コンポーネント上に示されたユーザの視野がパススルー部分に置き換えられた場合、第１の物理的オブジェクトの全部又は一部が、ユーザの前に物理的環境を表示するパススルー部分において可視である）、コンピュータシステムは、第１の物理的オブジェクトの第２の部分の物理的特性を示す第２の方法で仮想環境のビューの外観を変化させる。いくつかの実施形態では、第１の物理的オブジェクトに対するユーザの第２の移動に応答して、ユーザが第２の移動後に物理的オブジェクトの第１の部分の閾値距離内にいないという判定に従って、物理的オブジェクトの第１の部分の物理的特性に対応する仮想環境のビューの一部（例えば、テーブルの一部）が、その位置での元の仮想コンテンツ（例えば、草地）に変化し、第２の移動後にユーザが物理的オブジェクトの第１の部分の閾値距離内に依然としているという判定に従って、第１の物理的オブジェクトの第１及び第２の部分の両方の物理的特性を示す様式で仮想環境のビューが変化する。
いくつかの実施形態では、第１の物理的オブジェクトの第１の部分の物理的特性を示す第１の方法で仮想環境のビューの外観を変更することは、仮想環境のビュー内の第１の物理的オブジェクトの第１の部分の半透明視覚的表現を表示する（例えば、仮想環境に対するユーザの視野内の第１の物理的オブジェクトの第１の部分に対応する位置に示される仮想コンテンツを半透明にし、それにより、第１の物理的オブジェクトの第１の部分の画像が、半透明にその位置で可視になる、又は第１の物理的オブジェクトの第１の部分の画像を半透明にし、それをその位置に示される仮想コンテンツに重ねる）ことを更に含む。いくつかの実施形態では、仮想環境のビューは、ユーザが第１の物理的オブジェクトの第１の部分に向かって移動し、閾値距離内に入ると、ユーザに適時な警告を提供するように瞬時に変化する。いくつかの実施形態では、仮想環境のビューは、例えば、フェードイン／フェードアウト効果を用いて徐々に変化して、移行がより滑らかで、混乱／邪魔がより少ないユーザ体験を提供する。
いくつかの実施形態では、第１の物理的オブジェクトの第１の部分の物理的特性を示す第１の方法で仮想環境のビューの外観を変化させることは、第１の物理的オブジェクトの第１の部分の形状を表す形状に仮想環境の一部を歪ませる（例えば、仮想環境の一部を第１の物理的オブジェクトがガラス又は別の半透明材料から作成し、仮想環境の一部上に配置されたかのように外観を生成する）（例えば、第１の物理的オブジェクトの第１の部分の表現は、第１の物理的オブジェクトの第１の部分の表現の下にある仮想コンテンツの一部から来る光を屈曲させるシミュレートされた屈折率を有する）ことを更に含む。例えば、ユーザが部屋に配置されたテーブルに近づくにつれて、デバイスは、仮想環境の前に配置された光沢のある半透明のシースルーオブジェクトとして、ユーザに最も近いテーブルの部分を示す（例えば、仮想ビュー内のボール又は仮想牧草地、及びテーブルの一部の後ろの仮想オブジェクトがガラス様テーブルの一部を通じて可視である）。
いくつかの実施形態では、第１の物理的オブジェクトの第１の部分の物理的特性を示す第１の方法で仮想環境のビューの外観を変化させることは、第１の物理的オブジェクトの第１の部分に対応する仮想環境のビューの一部の所定の歪みを表示することを更に含む。いくつかの実施形態では、物理的オブジェクトの第１の部分に対応する仮想環境のビュー内の位置に示される仮想コンテンツを歪ませることは、第１の物理的オブジェクトの第１の部分の形状、サイズ、境界、及び／又は位置などの特性を反映する方法として使用される。いくつかの実施形態では、仮想コンテンツを歪ませることは、仮想環境のビューの一部を延伸すること、例えば、揺らめき、波動、輝き、暗化、ぼかし、渦巻などの視覚的効果などの静止又は動画視覚的効果を仮想コンテンツに適用すること、又は異なるテクスチャ（例えば、異なる色合い、反射率、粗さ、粒状性など）を仮想コンテンツに適用することを含む。
いくつかの実施形態では、コンピュータシステムは、第１の移動後の物理的環境内のユーザの継続的な移動を検出する。第１の移動後の物理的環境内のユーザの継続的な移動を検出したことに応答して、ユーザ（例えば、ユーザの中心、ユーザの任意の部分、又はユーザの所定の部分（例えば、ユーザの手又は足）が第１の物理的オブジェクトの第１の部分の閾値距離内にとどまっているという判定に従って、及びユーザと第１の物理的オブジェクトの第１の部分との間の距離が、物理的環境内のユーザの継続的な移動の結果として増加したという判定に従って、コンピュータシステムは、第１の物理的オブジェクトの第１の部分の物理的特性を示す仮想環境のビューに現在適用されている視覚的効果の第１の表示特性を減少させる（例えば、ユーザが第１の物理的オブジェクトの第１の部分から徐々に遠ざかるにつれて、第１の物理的オブジェクトの第１の部分に対応する位置で仮想環境のビューに適用される屈折度、色飽和度、視覚的効果、不透明度、明瞭度などを徐々に減少させ、それにより、ユーザが第１の物理的オブジェクトの第１の部分から遠ざかるときに、第１の物理的オブジェクトの第１の部分の物理的特性によって生成される視覚的影響がディスプレイ上で徐々に減少する）。第１の移動後の物理的環境内のユーザの継続的な移動を検出したことに応答して、物理的環境内のユーザの継続的な移動の結果としてユーザと第１の物理的オブジェクトの第１の部分との間の距離が減少したという判定に従って、コンピュータシステムは、第１の物理的オブジェクトの第１の部分の物理的特性を示す仮想環境のビューに現在適用されている視覚的効果の第１の表示特性を増加させる（例えば、ユーザが第１の物理的オブジェクトの第１の部分に徐々に近づくにつれて、第１の物理的オブジェクトの第１の部分に対応する位置で仮想環境のビューに適用される屈折度、色飽和度、視覚的効果、不透明度、明瞭度などを徐々に増加させ、それにより、ユーザが第１の物理的オブジェクトの第１の部分に近づくにつれて、第１の物理的オブジェクトの第１の部分の物理的特性によって生成される視覚的影響がディスプレイ上で徐々に増加する。）。いくつかの実施形態では、第１の物理的オブジェクトの第１の部分の物理的特性を示す仮想環境のビューに適用される視覚的効果の第１の表示特性は、視覚的効果の空間範囲、境界、又は適用位置とは異なる。視覚的効果の空間的範囲は、ユーザが第１の物理的オブジェクトに近づくにつれて増加し、第１の物理的オブジェクトの第１の部分は、仮想環境に対するユーザの視野内でより大きく見える。
いくつかの実施形態では、コンピュータシステムは、第１の移動後の物理的環境内のユーザの継続的な移動を検出する。第１の移動後の物理的環境内のユーザの継続的な移動を検出したことに応答して、仮想環境に対するユーザの視野に基づいて（例えば、現時点の視野、並びにユーザの現在の位置及び進行方向に基づいて）第１の物理的オブジェクト（例えば、第１の物理的オブジェクトの第１の部分及び第２の部分を含む）がユーザにとって可視であり得る間（例えば、表示生成コンポーネント上に示されたユーザの視野がパススルー部分に置き換えられた場合、第１の物理的オブジェクトの全部又は一部は、ユーザの前の物理的環境を表示するパススルー部分において可視である）、かつユーザと第１の物理的オブジェクトの第１の部分との間の距離が物理的環境内のユーザの継続的な移動の結果として閾値距離を超えて増加したという判定に従って、及びユーザと第１の物理的オブジェクトの第２の部分との間の距離が物理的環境内のユーザの継続的な移動の結果として閾値距離未満に減少したという判定に従って、コンピュータシステムは、仮想的環境のユーザの視野に基づいてユーザにとって可視であり得る第１の物理的オブジェクトの範囲の一部である第１の物理的オブジェクトの第２の部分を示すように物理的環境のビューの外観を変化させることなく、第１の物理的オブジェクトの第１の部分の物理的特性を示す第１の方法で物理的環境のビューの外観を変化させることを停止する（例えば、第１の物理的オブジェクトの第１の部分の物理的特性を示す物理的環境のビューに、視覚的効果を適用することを停止する（例えば、ユーザが第１の物理的オブジェクトの第１の部分の閾値距離の外側に移動すると、第１の物理的オブジェクトの第１の部分に対応する位置で視覚的環境のビューに、屈折率、色飽和度、視覚的効果、不透明度、明瞭度などの適用を停止して、それにより、ユーザが第１の物理的オブジェクトの第１の部分から十分に遠くに移動したとき、第１の物理的オブジェクトの第１の部分が、ディスプレイ上の視覚的効果によって視覚的に表されなくなる））。コンピュータシステムは、仮想環境のユーザの視野に基づいてユーザにとって可視であり得る第１の物理的オブジェクトの範囲の一部である第１の物理的オブジェクトの第１の部分を示すように仮想環境のビューの外観を変化させることなく、第１の物理的オブジェクトの第２の部分の物理的特性を示す第２の方法で仮想環境のビューの外観を変化させる（例えば、第１の物理的オブジェクトの第２の部分の物理的特性を示す仮想環境のビューに視覚的効果を適用する（例えば、ユーザが第１の物理的オブジェクトの第２の部分の閾値距離内を移動するとき、第１の物理的オブジェクトの第２の部分に対応する位置で屈折率、色飽和度、視覚的効果、不透明度、明瞭度などを仮想環境のビューに適用し、それにより、第１の物理的オブジェクトの第１の部分がディスプレイ上の視覚的効果によって視覚的に表されなくなり、第１の物理的オブジェクトの第２の部分がディスプレイ上の視覚的効果によって視覚的に表される））。
いくつかの実施形態では、コンピュータシステムは、物理的環境内の第１の物理的オブジェクトに対するユーザの第１の移動の速度に従って、第１の物理的オブジェクトの第１の部分の物理的特性を示す仮想環境のビューの外観を変化させる速度を変化させる。例えば、ユーザが物理的環境内の第１の物理的オブジェクトに対してより速く移動する場合、仮想環境の外観はより速く変化し（例えば、第１の物理的オブジェクトの第１の部分の物理的特性を反映するために使用される視覚的効果の視覚的影響が、ディスプレイ上でより迅速に増加し）、ユーザが物理的環境内の第１の物理的オブジェクトに対してより遅く移動する場合、仮想環境の外観はより遅く変化し（例えば、第１の物理的オブジェクトの第１の部分の物理的特性を反映するために使用される視覚的効果の視覚的影響は、ディスプレイ上でよりなだらかにかつゆっくりと増加する）。
いくつかの実施形態では、コンピュータシステムは、第２の物理的オブジェクトの物理的特性（例えば、形状、サイズ、位置、境界など）を示す仮想環境のビュー内に、第２の物理的オブジェクトの少なくとも一部の表現を持続的に表示し、第２の物理的オブジェクトはユーザによって選択される（例えば、仮想環境のビューを表示する前に、又は仮想環境のビューで第２の物理的オブジェクトの視覚的表現を表示している間、デバイスは、物理的環境内のユーザと第２の物理的オブジェクトとの間の距離にかかわらず、第２の物理的オブジェクトの物理的特性（例えば、位置、形状、サイズ、境界など）を示すように仮想環境内に永続的に表現される（又はそれ以外の形で視覚的に表現される）第２の物理的オブジェクトを選択するユーザ入力を検出した）。いくつかの実施形態では、ユーザは、メニューから第２の物理的オブジェクトを選択することによって、又は部屋のパススルービュー内で壁又は部屋内のオブジェクトを指すことによって、又は部屋内の壁の表現を表示する所定ジェスチャ（例えば、腕を上げる）によって、仮想環境のビューで持続的に表現される第２の物理的オブジェクトを選択する。いくつかの実施形態では、位置、形状、及び／又は境界が仮想環境のビュー内に持続的に表されて、ユーザが仮想環境において没入型仮想体験を有しながら自身を配向するのを助けるように、ユーザが物理的オブジェクト（例えば、暖炉やヒータなどの避けるべき危険な障害物や、（例えば、壁、窓、ドア、又は階段）などの部屋の境界）を識別することが許可される。
いくつかの実施形態では、第１の物理的オブジェクトの第１の部分の物理的特性を示す第１の方法で仮想環境のビューの外観を変化させた後、コンピュータシステムは、物理的環境内のユーザの姿勢の変化を検出する（例えば、ユーザは、前進しながら、又は物理的環境内の障害物に対する自身の位置の不確定性をそれ以外の方法で示しながら、掌を広げて片腕又は両腕を上げる、又は身体をわずかに後方へ傾ける）。いくつかの実施形態では、ユーザの姿勢の変化は、閾値開始速度を超えるユーザの両手の上方への移動（例えば、突然の移動）を含む。姿勢の変化を検出したことに応答して、姿勢の変化が第１の所定の姿勢基準（例えば、手／腕を上げる、掌を開く、アーチ状に反らす、又はその他の姿勢タイプを認識するための基準は、製造業者において、及び／又は個々のユーザによるカスタマイズ中に予め設定されてもよい）を満たしているという判定に従って、コンピュータシステムは、仮想環境のビューにおける第１の物理的オブジェクトの視認性を高めるように仮想環境のビューの外観を変化させる。ユーザにジェスチャを使用させて、又は姿勢を変化させて、システムに物理的環境を表示させることは、ユーザに認知負担を与えない迅速かつ効率的なユーザにとって安全な機能である。ユーザが何かに衝突するのを心配していることを示す自然な動作（例えば、両手を一緒に突然上げる）が、ユーザを取り囲む物理的空間内の潜在的な障害物に関する追加情報の表示をトリガするとき、システムにより、ユーザは自分を迅速に再配向し、環境内で自身の安全性を確保することができる。
いくつかの実施形態では、仮想環境のビュー内の第１の物理的オブジェクトの視認性を高めるそれぞれの方法で、仮想環境のビューの外観を変化させることは、第１の物理的オブジェクトの第１の部分の物理的特性を示す仮想環境の一部に現在適用されている視覚的効果の表示特性（例えば、不透明度、飽和度、透明度、コントラスト、歪みなど）を増加させることを含む。例えば、ユーザが掌を開いて右腕を上昇させたことを検出すると、第１の物理的オブジェクトの第１の部分に対応する変化したビューは、より強いコントラストで明るくなるため、第１の物理的オブジェクトの第１の部分の物理的特性は、ユーザにとってより視認しやすくなる。
いくつかの実施形態では、仮想環境のビュー内の第１の物理的オブジェクトの視認性を高めるそれぞれの方法で、仮想環境のビューの外観を変化させることは、（例えば、第１の物理的オブジェクトの第１の部分の物理的特性を示す仮想環境のビューの外観の変化を維持しながら）第１の物理的オブジェクトの追加部分の物理的特性を示すように外観が変化する仮想環境のビューの程度を増加させることを含む。例えば、いくつかの実施形態では、ユーザが掌を広げて前に向けた状態で両手を急に上昇させる、又はユーザが前進する際にわずかに腕を上昇させると、デバイスは、（例えば、仮想環境のビュー内の仮想コンテンツの一部に許可された視覚的効果を通じて）仮想環境のビュー内で第１の物理的オブジェクトのより多くの部分又は全てを可視にする。いくつかの実施形態では、ユーザが自分の腕を上げる速度を使用して、仮想環境において第１の物理的オブジェクトがどの程度可視にされるかを判定する。いくつかの実施形態では、第１の所定の姿勢基準がユーザの姿勢の変化によって満たされると、仮想環境に対するユーザの視野に基づいてユーザにとって可視であり得る第１の物理的オブジェクトの全ての部分がユーザに対して表示される。
いくつかの実施形態では、仮想環境のビュー内の第１の物理的オブジェクトの視認性を高めるそれぞれの方法で、仮想環境のビューの外観を変化させることは、仮想環境に対するユーザの視野に基づいて、ユーザにとって可視であり得る全ての物理的オブジェクト（例えば、第１の物理的オブジェクト、及び仮想環境のビューに表されない１つ以上の他の物理的オブジェクトを含む）の物理的特性を含むように、外観が変化する仮想環境のビューの範囲を増加させることを含む。例えば、いくつかの実施形態では、第１の所定の姿勢基準がユーザの姿勢の変化によって満たされるとき、仮想環境に対するユーザの視野に基づいてユーザにとって可視であり得る全ての物理的オブジェクトがユーザに対して表示される。
いくつかの実施形態では、第１の所定の姿勢基準を満たしている姿勢の変化を検出した後、コンピュータシステムは、物理的環境内のユーザの姿勢の逆の変化を検出する（例えば、ユーザは、前進しながら、又は物理的環境内の障害物に対する自身の位置についての確信を別の形で示しながら、上げた腕の片方又は両方を下ろす、又は上半身を直立姿勢に戻す）。姿勢の逆の変化を検出したことに応答して、姿勢の逆の変化が第２の所定の姿勢基準（例えば、正常姿勢への回復を認識するための基準）を満たしているという判定に従って、コンピュータシステムは、仮想環境のビューにおける第１の物理的オブジェクトの上昇した視認性を逆転させるそれぞれの方法で仮想環境のビューの外観を変化させる（例えば、示されている第１の物理的オブジェクトの量を減少させる、又は第１の物理的オブジェクトの物理的特性を示すために使用される視覚的効果の上述の表示特性のうちの１つ以上を低減させる）。
いくつかの実施形態では、第１の物理的オブジェクトの第１の部分の物理的特性を示す第１の方法で仮想環境のビューの外観を変化させた後、仮想視野修復基準が満たされるという判定に従って（仮想視野修復基準は、ユーザ及び第１の物理的オブジェクトの第１の部分の位置が第１の閾値時間変化しないことを必要とする）、コンピュータシステムは、第１の方法で仮想環境のビューの外観の変化を逆転させる（例えば、変化を一斉に停止する、又は所定の期間にわたって変化量を徐々に減少させる）（例えば、逆転速度は、任意選択的に、変化を最初に適用する速度よりも遅い、又は逆転速度は、ユーザによって提供される逆のジェスチャの移動メトリックに従う）（例えば、仮想環境のビューにおける第１の物理的オブジェクトの第１の部分の視認性を低減させる）。
図１３における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法８０００、９０００、１００００、１１０００、及び１２０００）に関して本明細書で記載された他のプロセスの詳細はまた、図１３に関連して上述された方法１３０００に類似の方法で適用可能であることも留意されたい。例えば、方法１３０００を参照して上述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、及び／又はアニメーションは、任意選択で、本明細書に記述した他の方法（例えば、方法８０００、９０００、１００００、１１０００、及び１２０００）を参照して本明細書に記述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図８、９、１０、１１、１２、及び１３を参照して先述した動作は、任意選択的に、図１～６に示すコンポーネントにより実施される。いくつかの実施形態では、方法８０００、９０００、１００００、１１０００、１２０００、及び１３０００の態様／動作は、これらの方法の間で交換、置換、及び／又は追加されてもよい。簡潔にするために、それらの詳細はここでは繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。

Claims (13)

  1. 方法であって、
    表示生成コンポーネントと１つ以上の入力デバイスとを含むコンピューティングシステムにおいて、
    三次元環境のビューを表示することと、
    前記三次元環境の前記ビューを表示している間に、前記三次元環境の一部に対応する第１の位置で手を検出することと、
    前記三次元環境の前記一部に対応する前記第１の位置で前記手を検出したことに応答して、
    前記手が前記第１の位置で第１の所定の構成に保たれているという判定に従って、第１の表示位置に、前記三次元環境内の手ジェスチャを使用するジェスチャ入力のための第１の動作コンテキストの視覚的インジケーションを表示することと、
    前記手が前記第１の位置で前記第１の所定の構成に保たれていないという判定に従って、前記三次元環境内の手ジェスチャを使用するジェスチャ入力のための前記第１の動作コンテキストの前記視覚的インジケーションの表示を行わないことと、
    前記第１の動作コンテキストの前記視覚的インジケーションを表示している間に、前記手の少なくとも一部の動きを検出することと、
    前記手の少なくとも一部の前記動きを検出したことに応答して、
    前記手の少なくとも一部の前記動きが前記手の全体の位置の変化を引き起こし、前記手の少なくとも一部の前記動きの結果として前記第１の位置とは異なる第２の位置で前記手が前記第１の所定の構成に保たれているとの判定に従って、前記第１の表示位置とは異なる第２の表示位置に前記第１の動作コンテキストの前記視覚的インジケーションを表示することと、
    前記手の少なくとも一部の前記動きが前記手の構成の変化を引き起こし、前記手の少なくとも一部の前記動きの結果として前記第１の位置で前記手が前記第１の所定の構成とは異なる第２の所定の構成に保たれているとの判定に従って前記視覚的インジケーションを調整することと、を含み、前記視覚的インジケーションを調整することは、第１のユーザインタフェースオブジェクトの表示をやめることと、前記第１のユーザインタフェースオブジェクトとは異なる第２のユーザインタフェースオブジェクトを表示することとを含む、方法。
  2. 手ジェスチャを使用するジェスチャ入力のための前記第１の動作コンテキストの前記視覚的インジケーションの前記第１の表示位置が、前記第１の位置に対応する前記三次元環境の前記一部の位置である、請求項１に記載の方法。
  3. 前記視覚的インジケーションは、１つ以上のユーザインタフェースオブジェクトを含む、請求項１または２に記載の方法。
  4. 前記１つ以上のユーザインタフェースオブジェクトが、複数のアプリケーション起動アイコンを含み、前記アプリケーション起動アイコンのうちのそれぞれのアクティブ化が、対応するアプリケーションに関連付けられた動作を実行させる、請求項３に記載の方法。
  5. 前記視覚的インジケーションを調節することが、
    ユーザインタフェースオブジェクトの第１の集合であって、ユーザインタフェースオブジェクトの前記第１の集合のそれぞれのユーザインタフェースオブジェクトのアクティブ化が、前記それぞれのユーザインタフェースオブジェクトに関連付けられた動作を実行させる、ユーザインタフェースオブジェクトの第１の集合を表示することと、を含む、請求項１または２に記載の方法。
  6. 前記視覚的インジケーションを表示している間に、時間窓中に、前記手の少なくとも一部の前記動きが相互作用基準を満たしているかどうかを判定することと、
    前記手の少なくとも一部の前記動きが前記時間窓中に前記相互作用基準を満たしていないという前記判定に従って、前記視覚的インジケーションの表示を停止することと、を含む、請求項５に記載の方法。
  7. 前記視覚的インジケーションを表示している間に、前記第１の所定の構成から入力基準を満たさない第３の構成への前記手の構成の変化を検出することと、
    前記第１の所定の構成から前記入力基準を満たさない前記第３の構成への前記手の前記構成の前記変化を検出したことに応答して、前記視覚的インジケーションの表示を停止することと、を含む、請求項１に記載の方法。
  8. 前記視覚的インジケーションの表示を停止した後、前記第１の所定の構成への前記手の構成の変化を検出することと、
    前記手の構成の前記第１の所定の構成への前記変化を検出したことに応答して、前記視覚的インジケーションを再表示することと、を含む、請求項７に記載の方法。
  9. 前記三次元環境の前記一部に対応する前記第１の位置で前記手を検出したことに応答して、前記手が前記第１の所定の構成に保たれていないという判定に従って、手ジェスチャを使用するジェスチャ入力のための前記第１の動作コンテキストの前記視覚的インジケーションを表示することとは異なる動作を実行することを含む、請求項１から８のいずれか一項に記載の方法。
  10. 実行可能な命令を備えるコンピュータプログラムであって、1つ以上のプロセッサ及び表示生成コンポーネントを備えるコンピュータシステムによって実行されると、前記コンピュータシステムに、
    三次元環境のビューを表示し、
    前記三次元環境の前記ビューを表示している間、前記三次元環境の一部に対応する第１の位置で手を検出し、
    前記三次元環境の前記一部に対応する前記第１の位置で前記手を検出したことに応答して、
    前記手が前記第１の位置で第１の所定の構成に保たれているという判定に従って、第１の表示位置に、前記三次元環境内の手ジェスチャを使用するジェスチャ入力のための第１の動作コンテキストの視覚的インジケーションを表示し、
    前記手が前記第１の位置で前記第１の所定の構成に保たれていないという判定に従って、前記三次元環境内の手ジェスチャを使用するジェスチャ入力に対する前記第１の動作コンテキストの前記視覚的インジケーションの表示を行わず、
    前記第１の動作コンテキストの前記視覚的インジケーションを表示している間に、前記手の少なくとも一部の動きを検出し、
    前記手の少なくとも一部の前記動きを検出したことに応答して、
    前記手の少なくとも一部の前記動きが前記手の全体の位置の変化を引き起こし、前記手の少なくとも一部の前記動きの結果として前記第１の位置とは異なる第２の位置で前記手が前記第１の所定の構成に保たれているとの判定に従って、前記第１の表示位置とは異なる第２の表示位置に前記第１の動作コンテキストの前記視覚的インジケーションを表示し、
    前記手の少なくとも一部の前記動きが前記手の構成の変化を引き起こし、前記手の少なくとも一部の前記動きの結果として前記第１の位置で前記手が前記第１の所定の構成とは異なる第２の所定の構成に保たれているとの判定に従って前記視覚的インジケーションを調整する、ようにさせ、前記視覚的インジケーションを調整することは、第１のユーザインタフェースオブジェクトの表示をやめることと、前記第１のユーザインタフェースオブジェクトとは異なる第２のユーザインタフェースオブジェクトを表示することとを含む、コンピュータプログラム。
  11. 前記プログラムは、命令が前記コンピュータシステムによって実行されと、前記コンピュータシステムに請求項２から９のいずれかに記載の方法を実行させる、前記命令を含む、請求項１０に記載のコンピュータプログラム。
  12. コンピュータシステムであって、
    １つ以上のプロセッサと、
    表示生成コンポーネントと、
    前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリとを有し、
    前記１つ以上のプログラムは、
    三次元環境のビューを表示し、
    前記三次元環境の前記ビューを表示している間、前記三次元環境の一部に対応する第１の位置で手を検出し、
    前記三次元環境の前記一部に対応する前記第１の位置で前記手を検出したことに応答して、
    前記手が前記第１の位置で第１の所定の構成に保たれているという判定に従って、第１の表示位置に、前記三次元環境内の手ジェスチャを使用するジェスチャ入力のための第１の動作コンテキストの視覚的インジケーションを表示し、
    前記手が前記第１の位置で前記第１の所定の構成に保たれていないという判定に従って、前記三次元環境内の手ジェスチャを使用するジェスチャ入力に対する前記第１の動作コンテキストの前記視覚的インジケーションの表示を行わず、
    前記第１の動作コンテキストの前記視覚的インジケーションを表示している間に、前記手の少なくとも一部の動きを検出し、
    前記手の少なくとも一部の前記動きを検出したことに応答して、
    前記手の少なくとも一部の前記動きが前記手の全体の位置の変化を引き起こし、前記手の少なくとも一部の前記動きの結果として前記第１の位置とは異なる第２の位置で前記手が前記第１の所定の構成に保たれているとの判定に従って、前記第１の表示位置とは異なる第２の表示位置に前記第１の動作コンテキストの前記視覚的インジケーションを表示し、
    前記手の少なくとも一部の前記動きが前記手の構成の変化を引き起こし、前記手の少なくとも一部の前記動きの結果として前記第１の位置で前記手が前記第１の所定の構成とは異なる第２の所定の構成に保たれているとの判定に従って前記視覚的インジケーションを調整する、ようにするための命令を含み、前記視覚的インジケーションを調整することは、第１のユーザインタフェースオブジェクトの表示をやめることと、前記第１のユーザインタフェースオブジェクトとは異なる第２のユーザインタフェースオブジェクトを表示することとを含む、コンピュータシステム。
  13. 前記１つ以上のプログラムは、請求項２から９のいずれかに記載の方法を実行するための命令を含む、請求項１２に記載のコンピュータシステム。
JP2022513681A 2019-09-27 2020-09-25 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース Active JP7465952B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024013225A JP2024069187A (ja) 2019-09-27 2024-01-31 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962907480P 2019-09-27 2019-09-27
US62/907,480 2019-09-27
US17/030,200 2020-09-23
US17/030,200 US11340756B2 (en) 2019-09-27 2020-09-23 Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
PCT/US2020/052640 WO2021062098A1 (en) 2019-09-27 2020-09-25 Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024013225A Division JP2024069187A (ja) 2019-09-27 2024-01-31 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース

Publications (2)

Publication Number Publication Date
JP2022546502A JP2022546502A (ja) 2022-11-04
JP7465952B2 true JP7465952B2 (ja) 2024-04-11

Family

ID=75163140

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022513681A Active JP7465952B2 (ja) 2019-09-27 2020-09-25 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
JP2024013225A Pending JP2024069187A (ja) 2019-09-27 2024-01-31 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024013225A Pending JP2024069187A (ja) 2019-09-27 2024-01-31 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース

Country Status (7)

Country Link
US (3) US11340756B2 (ja)
EP (1) EP4034970A1 (ja)
JP (2) JP7465952B2 (ja)
KR (1) KR20220040493A (ja)
CN (2) CN114450650A (ja)
AU (2) AU2020351739B2 (ja)
WO (1) WO2021062098A1 (ja)

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019067901A2 (en) 2017-09-29 2019-04-04 Apple Inc. USER INTERACTIONS BASED ON THE LOOK
US11734477B2 (en) * 2018-03-08 2023-08-22 Concurrent Technologies Corporation Location-based VR topological extrusion apparatus
US11450297B1 (en) * 2018-08-30 2022-09-20 Apple Inc. Electronic device with central and peripheral displays
US11682257B2 (en) * 2018-11-29 2023-06-20 Nrt Technology Corp. Intelligent table game and methods thereof
KR102225342B1 (ko) * 2019-02-13 2021-03-09 주식회사 브이터치 객체 제어를 지원하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US11334212B2 (en) 2019-06-07 2022-05-17 Facebook Technologies, Llc Detecting input in artificial reality systems based on a pinch and pull gesture
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
FR3102592B1 (fr) * 2019-10-29 2022-02-11 Immersion Procédé d’interaction avec un utilisateur d’un système immersif et dispositif pour la mise en œuvre d’un tel procédé
CN115087905A (zh) 2020-02-10 2022-09-20 奇跃公司 在混合现实环境中相对于三维容器的以身体为中心的内容定位
CN115176306A (zh) * 2020-02-26 2022-10-11 奇跃公司 用于可穿戴系统的手部和图腾输入融合
US11727650B2 (en) * 2020-03-17 2023-08-15 Apple Inc. Systems, methods, and graphical user interfaces for displaying and manipulating virtual objects in augmented reality environments
US11277597B1 (en) 2020-03-31 2022-03-15 Snap Inc. Marker-based guided AR experience
US11348300B2 (en) * 2020-04-03 2022-05-31 Magic Leap, Inc. Avatar customization for optimal gaze discrimination
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11698680B2 (en) * 2020-06-23 2023-07-11 Immersion Corporation Methods and systems for decoding and rendering a haptic effect associated with a 3D environment
US20210405761A1 (en) * 2020-06-29 2021-12-30 Ilteris Canberk Augmented reality experiences with object manipulation
US11925863B2 (en) * 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US11567625B2 (en) 2020-09-24 2023-01-31 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11615596B2 (en) 2020-09-24 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11546505B2 (en) * 2020-09-28 2023-01-03 Snap Inc. Touchless photo capture in response to detected hand gestures
US11249556B1 (en) * 2020-11-30 2022-02-15 Microsoft Technology Licensing, Llc Single-handed microgesture inputs
CN112527107B (zh) * 2020-11-30 2023-04-07 京东方科技集团股份有限公司 手势识别方法、装置、电子设备及存储介质
US11782577B2 (en) 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
US20220197393A1 (en) * 2020-12-22 2022-06-23 Snap Inc. Gesture control on an eyewear device
US12105283B2 (en) 2020-12-22 2024-10-01 Snap Inc. Conversation interface on an eyewear device
US11797162B2 (en) 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
US12086324B2 (en) 2020-12-29 2024-09-10 Snap Inc. Micro hand gestures for controlling virtual and graphical elements
EP4272406B1 (en) 2020-12-29 2024-10-02 Snap Inc. Body ui for augmented reality components
US11500454B2 (en) * 2020-12-29 2022-11-15 Snap Inc. Body UI for augmented reality components
WO2022146673A1 (en) 2020-12-30 2022-07-07 Snap Inc. Augmented reality precision tracking and display
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
CN112817443A (zh) * 2021-01-22 2021-05-18 歌尔科技有限公司 基于手势的显示界面控制方法、装置、设备及存储介质
US11860641B2 (en) * 2021-01-28 2024-01-02 Caterpillar Inc. Visual overlays for providing perception of depth
EP4295314A1 (en) 2021-02-08 2023-12-27 Sightful Computers Ltd Content sharing in extended reality
EP4288950A1 (en) 2021-02-08 2023-12-13 Sightful Computers Ltd User interactions in extended reality
US20240168565A1 (en) * 2021-02-25 2024-05-23 Karen Stolzenberg Single-handed gestures for reviewing virtual content
US11531402B1 (en) 2021-02-25 2022-12-20 Snap Inc. Bimanual gestures for controlling virtual and graphical elements
US11931114B2 (en) 2021-03-05 2024-03-19 MediVis, Inc. Virtual interaction with instruments in augmented reality
AU2022258962A1 (en) 2021-04-13 2023-10-19 Apple Inc. Methods for providing an immersive experience in an environment
EP4327185A1 (en) * 2021-04-19 2024-02-28 Snap, Inc. Hand gestures for animating and controlling virtual and graphical elements
US11947728B2 (en) * 2021-04-30 2024-04-02 Samsung Electronics Co., Ltd. Electronic device for executing function based on hand gesture and method for operating thereof
CN113282169B (zh) * 2021-05-08 2023-04-07 青岛小鸟看看科技有限公司 头戴式显示设备的交互方法、装置及头戴式显示设备
US11521361B1 (en) 2021-07-01 2022-12-06 Meta Platforms Technologies, Llc Environment model with surfaces and per-surface volumes
US11579752B1 (en) * 2021-07-20 2023-02-14 Sony Interactive Entertainment Inc. Augmented reality placement for user feedback
WO2023009580A2 (en) * 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11334178B1 (en) * 2021-08-06 2022-05-17 Kinoo, Inc. Systems and methods for bimanual control of virtual objects
US11409359B1 (en) * 2021-08-06 2022-08-09 Kinoo, Inc. Systems and methods for collective control of virtual objects
US12056268B2 (en) 2021-08-17 2024-08-06 Meta Platforms Technologies, Llc Platformization of mixed reality objects in virtual reality environments
WO2023049111A1 (en) * 2021-09-22 2023-03-30 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20230114043A1 (en) * 2021-09-24 2023-04-13 Apple Inc. Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
CN117980874A (zh) * 2021-09-24 2024-05-03 苹果公司 基于对象的闪烁分组
WO2023055907A1 (en) * 2021-09-29 2023-04-06 MediVis, Inc. Virtual interaction with instruments in augmented reality
US20230113125A1 (en) * 2021-10-08 2023-04-13 Jpmorgan Chase Bank, N.A. Systems and methods for dynamic detection and presentation of obscured real-world objects in augmented or mixed reality virtual content
US11748944B2 (en) 2021-10-27 2023-09-05 Meta Platforms Technologies, Llc Virtual object structures and interrelationships
US12067159B2 (en) * 2021-11-04 2024-08-20 Microsoft Technology Licensing, Llc. Multi-factor intention determination for augmented reality (AR) environment control
KR20230072757A (ko) * 2021-11-18 2023-05-25 삼성전자주식회사 웨어러블 전자 장치 및 웨어러블 전자 장치의 동작 방법
US20230206572A1 (en) * 2021-12-23 2023-06-29 Apple Inc. Methods for sharing content and interacting with physical devices in a three-dimensional environment
US12093447B2 (en) * 2022-01-13 2024-09-17 Meta Platforms Technologies, Llc Ephemeral artificial reality experiences
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US11768544B2 (en) * 2022-02-01 2023-09-26 Microsoft Technology Licensing, Llc Gesture recognition based on likelihood of interaction
US20230261709A1 (en) * 2022-02-11 2023-08-17 Qualcomm Incorporated Calibration application for mitigating millimeter wave signal blockage
US11614619B1 (en) 2022-04-11 2023-03-28 Voyetra Turtle Beach, Inc. Headset dynamic windowing
US12026527B2 (en) 2022-05-10 2024-07-02 Meta Platforms Technologies, Llc World-controlled and application-controlled augments in an artificial-reality environment
WO2023230354A1 (en) * 2022-05-27 2023-11-30 Meta Platforms Technologies, Llc Systems for interpreting thumb movements of in-air hand gestures for controlling user interfaces based on spatial orientations of a user's hand, and method of use thereof
US11972521B2 (en) 2022-08-31 2024-04-30 Snap Inc. Multisensorial presentation of volumetric content
US20240070995A1 (en) * 2022-08-31 2024-02-29 Snap Inc. Wrist rotation manipulation of virtual objects
US20240087256A1 (en) * 2022-09-14 2024-03-14 Apple Inc. Methods for depth conflict mitigation in a three-dimensional environment
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
US12099653B2 (en) 2022-09-22 2024-09-24 Apple Inc. User interface response based on gaze-holding event assessment
US20240103636A1 (en) * 2022-09-23 2024-03-28 Apple Inc. Methods for manipulating a virtual object
WO2024064388A1 (en) * 2022-09-24 2024-03-28 Apple Inc. Devices, methods, for interacting with graphical user interfaces
US12100111B2 (en) * 2022-09-29 2024-09-24 Meta Platforms Technologies, Llc Mapping a real-world room for a shared artificial reality environment
US12099696B2 (en) 2022-09-30 2024-09-24 Sightful Computers Ltd Displaying virtual content on moving vehicles
CN116225209A (zh) * 2022-11-03 2023-06-06 溥畅(杭州)智能科技有限公司 一种基于眼动追踪的人机交互方法及系统
US12020361B1 (en) * 2022-12-30 2024-06-25 Theai, Inc. Real-time animation of artificial intelligence characters
WO2024163514A1 (en) * 2023-01-30 2024-08-08 Apple Inc. Devices, methods, and graphical user interfaces for displaying sets of controls in response to gaze and/or gesture inputs
US20240264660A1 (en) * 2023-02-08 2024-08-08 Meta Platforms Technologies, Llc Facilitating User Interface Interactions in an Artificial Reality Environment
WO2024172607A1 (ko) * 2023-02-17 2024-08-22 삼성전자 주식회사 아이콘을 표시하기 위한 전자 장치, 그 동작 방법과, 비 일시적 컴퓨터 판독 가능 저장 매체
US12108012B2 (en) 2023-02-27 2024-10-01 Apple Inc. System and method of managing spatial states and display modes in multi-user communication sessions
JP2024127533A (ja) * 2023-03-09 2024-09-20 キヤノン株式会社 情報処理装置、情報処理装置のシステム、情報処理装置の制御方法、プログラム
WO2024190127A1 (ja) * 2023-03-10 2024-09-19 パナソニックＩｐマネジメント株式会社 オブジェクト選択システムおよびオブジェクト選択方法
US20240338171A1 (en) * 2023-04-06 2024-10-10 Meta Platforms Technologies, Llc Input methods performed at wearable devices, and systems and methods of use thereof
US11991222B1 (en) 2023-05-02 2024-05-21 Meta Platforms Technologies, Llc Persistent call control user interface element in an artificial reality environment
US12118200B1 (en) 2023-06-02 2024-10-15 Apple Inc. Fuzzy hit testing
US12099695B1 (en) 2023-06-04 2024-09-24 Apple Inc. Systems and methods of managing spatial groups in multi-user communication sessions
CN117373135B (zh) * 2023-12-07 2024-03-15 湖北星纪魅族集团有限公司 基于视觉的滑动手势识别方法、系统及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018077876A (ja) 2013-04-02 2018-05-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2019046472A (ja) 2017-08-31 2019-03-22 キヤノン株式会社 画像処理装置、画像処理方法
US10261595B1 (en) 2017-05-19 2019-04-16 Facebook Technologies, Llc High resolution tracking and response to hand gestures through three dimensions

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5528735A (en) 1993-03-23 1996-06-18 Silicon Graphics Inc. Method and apparatus for displaying data within a three-dimensional information landscape
US6480210B1 (en) 1999-06-30 2002-11-12 Koninklijke Philips Electronics N.V. Video browsing space
US20100241525A1 (en) 2009-03-18 2010-09-23 Microsoft Corporation Immersive virtual commerce
US8405680B1 (en) 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
US9075434B2 (en) * 2010-08-20 2015-07-07 Microsoft Technology Licensing, Llc Translating user motion into multiple object responses
US20120113223A1 (en) * 2010-11-05 2012-05-10 Microsoft Corporation User Interaction in Augmented Reality
KR101896947B1 (ko) * 2011-02-23 2018-10-31 엘지이노텍 주식회사 제스쳐를 이용한 입력 장치 및 방법
US20120254791A1 (en) 2011-03-31 2012-10-04 Apple Inc. Interactive menu elements in a virtual three-dimensional space
US20130050069A1 (en) * 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
US9323325B2 (en) 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
KR20150027163A (ko) 2012-05-30 2015-03-11 코핀 코포레이션 개선된 가상 디스플레이 기능을 가진 헤드-착용 컴퓨터
CN104508600B (zh) * 2012-07-27 2017-06-13 日本电气方案创新株式会社 三维用户界面装置及三维操作方法
US20140282220A1 (en) 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US10168882B2 (en) * 2013-06-09 2019-01-01 Apple Inc. Device, method, and graphical user interface for switching between camera interfaces
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
US9690374B2 (en) 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
US10620437B2 (en) 2016-05-25 2020-04-14 Lenovo (Singapore) Pte. Ltd. Systems and methods for presentation of images from camera concurrently with presentation of virtual reality content
JP6093473B1 (ja) * 2016-08-19 2017-03-08 株式会社コロプラ 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム
US20180095636A1 (en) 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
US10262036B2 (en) 2016-12-29 2019-04-16 Microsoft Technology Licensing, Llc Replacing pronouns with focus-specific objects in search queries
US10304239B2 (en) * 2017-07-20 2019-05-28 Qualcomm Incorporated Extended reality virtual assistant
US10262446B2 (en) 2017-07-26 2019-04-16 Lenovo (Singapore) Pte. Ltd. Systems and methods to alter presentation of virtual rendition based on real world object
DK180470B1 (en) 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
WO2019046597A1 (en) * 2017-08-31 2019-03-07 Apple Inc. GRAPHIC USER SYSTEMS, METHODS AND INTERFACES FOR INTERACTING WITH ENHANCED AND VIRTUAL REALITY ENVIRONMENTS
CN107992814A (zh) 2017-11-28 2018-05-04 北京小米移动软件有限公司 对象寻找方法及装置
CN112105983B (zh) 2018-05-08 2023-07-07 苹果公司 增强的视觉能力
WO2019217163A1 (en) 2018-05-08 2019-11-14 Zermatt Technologies Llc Techniques for switching between immersion levels
US11494988B2 (en) 2018-05-22 2022-11-08 Agilent Technologies, Inc. Method and system for implementing augmented reality (AR)-based assistance within work environment
US10607083B2 (en) 2018-07-19 2020-03-31 Microsoft Technology Licensing, Llc Selectively alerting users of real objects in a virtual environment
US10740918B2 (en) * 2018-09-12 2020-08-11 Dell Products, L.P. Adaptive simultaneous localization and mapping (SLAM) using world-facing cameras in virtual, augmented, and mixed reality (xR) applications
US11032532B2 (en) 2018-10-04 2021-06-08 Samsung Electronics Co., Ltd. Electronic device and method for providing virtual device via at least portion of content
US10725308B1 (en) 2018-10-08 2020-07-28 Facebook Technologies, Llc Dynamic attenuator for combining real world and virtual content
EP3693846A1 (en) 2019-02-06 2020-08-12 Nokia Technologies Oy An apparatus, method or computer program for rendering sound scenes defined by spatial audio content to a user
US11086475B1 (en) * 2019-06-07 2021-08-10 Facebook Technologies, Llc Artificial reality systems with hand gesture-contained content window
US11231827B2 (en) 2019-08-03 2022-01-25 Qualcomm Incorporated Computing device and extended reality integration
US11308284B2 (en) 2019-10-18 2022-04-19 Facebook Technologies, Llc. Smart cameras enabled by assistant systems
US20210233341A1 (en) 2020-01-23 2021-07-29 Eric Hayes Digital identification validation system
US11436828B1 (en) 2020-06-02 2022-09-06 State Farm Mutual Automobile Insurance Company Insurance inventory and claim generation
US11567625B2 (en) 2020-09-24 2023-01-31 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11615596B2 (en) 2020-09-24 2023-03-28 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018077876A (ja) 2013-04-02 2018-05-17 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10261595B1 (en) 2017-05-19 2019-04-16 Facebook Technologies, Llc High resolution tracking and response to hand gestures through three dimensions
JP2019046472A (ja) 2017-08-31 2019-03-22 キヤノン株式会社 画像処理装置、画像処理方法

Also Published As

Publication number Publication date
WO2021062098A1 (en) 2021-04-01
EP4034970A1 (en) 2022-08-03
WO2021062098A4 (en) 2021-04-29
US20210096726A1 (en) 2021-04-01
US20230418432A1 (en) 2023-12-28
US11768579B2 (en) 2023-09-26
US20220244835A1 (en) 2022-08-04
CN114450650A (zh) 2022-05-06
AU2024202163A1 (en) 2024-05-02
KR20220040493A (ko) 2022-03-30
US11340756B2 (en) 2022-05-24
AU2020351739B2 (en) 2024-02-08
CN114637376A (zh) 2022-06-17
AU2020351739A1 (en) 2022-03-10
JP2022546502A (ja) 2022-11-04
JP2024069187A (ja) 2024-05-21

Similar Documents

Publication Publication Date Title
JP7465952B2 (ja) 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
JP7546659B2 (ja) 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
US12032803B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11875013B2 (en) Devices, methods, and graphical user interfaces for displaying applications in three-dimensional environments
CN117043713A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
US11720171B2 (en) Methods for navigating user interfaces
CN116324703A (zh) 用于与用于移动虚拟环境中的虚拟对象的虚拟控件和/或示能表示交互的方法
US11567625B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11934569B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20230106627A1 (en) Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments
US12124674B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20230092874A1 (en) Devices, Methods, and Graphical User Interfaces for Interacting with Three-Dimensional Environments
JP2024535753A (ja) 三次元環境との相互作用のためのデバイス、方法、及びグラフィカルユーザインタフェース
CN117957581A (zh) 用于与三维环境交互的设备、方法和图形用户界面
CN118043766A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面

Legal Events

Date Code Title Description
A524 Written submission of copy of amendment under article 19 pct

Free format text: JAPANESE INTERMEDIATE CODE: A525

Effective date: 20220228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230306

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230529

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230807

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20231002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240131

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20240209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240401

R150 Certificate of patent or registration of utility model

Ref document number: 7465952

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150