JP7537016B2 - 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース - Google Patents

三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース Download PDF

Info

Publication number
JP7537016B2
JP7537016B2 JP2023515647A JP2023515647A JP7537016B2 JP 7537016 B2 JP7537016 B2 JP 7537016B2 JP 2023515647 A JP2023515647 A JP 2023515647A JP 2023515647 A JP2023515647 A JP 2023515647A JP 7537016 B2 JP7537016 B2 JP 7537016B2
Authority
JP
Japan
Prior art keywords
user
computer
environment
physical
displaying
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2023515647A
Other languages
English (en)
Other versions
JP2023542846A (ja
Inventor
フィリップ ロッケル，
スティーブン， オー． ルメイ，
サード， ウィリアム エー． ソレンティーノ
ジャンカルロ ヤーキズ，
ニコラス ダブリュー． ヘンダーソン，
ゲイリー アイ． ブッチャー，
リチャード アール． デリンガー，
ジョナサン イヴ，
アラン シー． ダイ，
ジュリアン ジェイド，
ジュリアン ホーニグ，
エム． エヴァンズ ハンキー，
ワン シ ワン，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2023542846A publication Critical patent/JP2023542846A/ja
Application granted granted Critical
Publication of JP7537016B2 publication Critical patent/JP7537016B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/426—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving on-screen location information, e.g. screen coordinates of an area at which the player is aiming with a light gun
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
    • A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
    • A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Position Input By Displaying (AREA)
  • Digital Computer Display Output (AREA)

Description

(関連出願)
本出願は、２０２０年９月２５日出願の米国特許仮出願第６３／０８３，８１６号の優先権を主張する２０２１年９月２３日出願の米国特許出願第１７／４８３，７３０号の継続出願であり、これら特許出願のそれぞれは、参照によりその全体が本明細書に組み込まれる。
(技術分野)
本開示は、概して、ディスプレイを介して仮想現実及び複合現実体験を提供する電子デバイスを含むがこれらに限定されない、表示生成コンポーネントと、コンピュータ生成現実（ＣＧＲ）体験を提供する１つ以上の入力デバイスと、を有するコンピュータシステムに関する。
拡張現実のためのコンピュータシステムの開発は、近年顕著に進んでいる。例示的な拡張現実環境は、物理的世界を置換又は強化する少なくともいくつかの仮想要素を含む。コンピュータシステム及び他の電子コンピューティングデバイス用のカメラ、コントローラ、ジョイスティック、タッチ感知面、及びタッチスクリーンディスプレイなどの入力デバイスが、仮想／拡張現実環境と相互作用するために使用される。例示的な仮想要素は、デジタル画像、ビデオ、テキスト、アイコン、並びにボタン及びその他のグラフィックなどの仮想オブジェクトを含む。
しかし、少なくともいくつかの仮想要素を含む環境（例えばアプリケーション、拡張現実環境、複合現実環境、及び仮想現実環境）と相互作用する方法及びインタフェースは、煩雑で、非効率で、限定されたものである。例えば、仮想オブジェクトに関連付けられたアクションを実行するのに不十分なフィードバックしか提供しないシステム、拡張現実環境において所望の結果を達成するために一連の入力を必要とするシステム、及び仮想オブジェクトの操作が複雑で、エラーを起こしやすいシステムは、ユーザに対して大きな認知負担を引き起こしし、仮想／拡張現実環境での体験を損なう。加えて、それらの方法は必要以上に時間がかかり、それによってエネルギを浪費する。この後者の考慮事項は、バッテリ動作式デバイスにおいて特に重要である。
したがって、コンピュータシステムとの相互作用をユーザにとってより効率的かつ直感的にするコンピュータ生成体験をユーザに提供するための改善された方法及びインタフェースを有するコンピュータシステムが必要とされている。表示生成コンポーネント及び１つ以上の入力デバイスを有するコンピュータシステムのためのユーザインタフェースに関連する上記の欠陥及び他の問題は、開示されたシステム、方法、及びユーザインタフェースによって低減又は排除される。このようなシステム、方法、及びインタフェースは、ユーザにコンピュータ生成現実体験を提供する従来のシステム、方法、及びユーザインタフェースを任意選択的に補完又は置換する。このような方法及びインタフェースは、提供された入力とその入力に対するデバイス応答との間の接続をユーザが理解することを補助することにより、ユーザからの入力の数、程度及び／又は種類を低減し、それによって、より効率的なヒューマンマシンインタフェースを生成する。
いくつかの実施形態によれば、第１の表示生成コンポーネント及び１つ以上の第１の入力デバイスと通信しているコンピュータシステムにおいて方法が実行される。本方法は、第１のユーザインタフェースオブジェクトは、三次元環境の第１のビュー内の第１のポジションに第１のセットの外観特性で表示され、第１のユーザと第２のユーザとの間で少なくとも部分的に共有される三次元環境の第１のビューに第１のユーザインタフェースオブジェクトを表示することと、三次元環境の第１のビュー内の第１のポジションに第１のセットの外観特性で第１のユーザインタフェースオブジェクトを表示している間、第１のユーザによって提供された第１のユーザ入力であって、第１のユーザ入力は、第１のユーザインタフェースオブジェクトに向けられる、第１のユーザ入力を検出することと、を含む。本方法は、第１のユーザインタフェースオブジェクトに向けられた第１のユーザ入力を検出したことに応じて、第２のユーザが第１のユーザインタフェースオブジェクトと現在相互作用していないという判定に従って、第１のユーザ入力に従って第１のユーザインタフェースオブジェクトに対して第１の動作を実行することと、第２のユーザが第１のユーザインタフェースオブジェクトと現在相互作用しているという判定に従って、第１のユーザインタフェースオブジェクトが第１のユーザとの相互作用に利用可能でないという視覚的インジケーションであって、視覚的インジケーションを表示することは、第１のユーザインタフェースオブジェクトの外観又は三次元環境の第１のビュー内の第１のユーザインタフェースオブジェクトのポジションのうちの少なくとも１つを変更することを含む、視覚的インジケーションを表示することと、第１のユーザ入力に従って第１のユーザインタフェースオブジェクトに対して第１の動作を実行することを取りやめることと、を更に含む。
いくつかの実施形態によれば、方法は、第１の表示生成コンポーネント及び１つ以上の第１の入力デバイスと通信しているコンピュータシステムにおいて実行され、第１のユーザが第１の物理的環境内の第１のロケーションにいる間、第１の物理的環境内の第１のロケーションに関連付けられた第１の視点に対応する、第１の物理的環境とは異なる第２の物理的環境内の第１のオブジェクトを表す第１のユーザインタフェースオブジェクトであって、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションは、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、第１のユーザインタフェースオブジェクトを含む三次元環境の第１のビューを表示することと、第１の物理的環境内の第１のユーザの移動及び第２の物理的環境内の第１のオブジェクトの移動のうちの少なくとも１つを検出することと、第１の物理的環境内の第１のユーザの移動及び第２の物理的環境内の第１のオブジェクトの移動のうちの少なくとも１つを検出したことに応じて、第２の視点に対応する三次元環境の第２のビューを表示することと、三次元環境の第２のビューに第１のユーザインタフェースオブジェクトを表示することと、を含む。第１のユーザインタフェースオブジェクトを三次元環境の第２のビューに表示することは、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の第２のビューに関連付けられた第２の視点に対応する三次元環境内の個別のポジションから閾値距離超であるという判定に従って、三次元環境内の第２のビュー内の第１の表示ポジションであって、第１の表示ポジションは、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションである、第１の表示ポジションに第１のユーザインタフェースオブジェクトを表示することと、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の第２のビューに関連付けられた第２の視点に対応する三次元環境内の個別のポジションからの閾値距離未満であるという判定に従って、三次元環境の第２のビュー内の第２の表示ポジションであって、第２の表示ポジションは、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションからオフセットされている、第２の表示ポジションに第１のユーザインタフェースオブジェクトを表示することと、を含む。
いくつかの実施形態によれば、方法は、第１の表示生成コンポーネント及び１つ以上の第１の入力デバイスと通信しているコンピュータシステムにおいて実行され、第１の没入レベルで第１のコンピュータ生成体験を表示することと、第１の没入レベルで第１のコンピュータ生成体験を表示している間、第１のユーザに対応するバイオメトリックデータを受信することと、；第１のユーザに対応するバイオメトリックデータの受信に応じて、第１のユーザに対応するバイオメトリックデータが第１の基準を満たすという判定に従って、第２の没入レベルで第１のコンピュータ生成体験であって、第２の没入レベルで表示される第１のコンピュータ生成体験は、第１の没入レベルで表示される第１のコンピュータ生成体験よりも第１のユーザの視野のより大きな部分を占有する、第２の没入レベルで第１のコンピュータ生成体験を表示することと、第１のユーザに対応するバイオメトリックデータが第１の基準を満たしていないという判定に従って、第１の没入レベルで第１のコンピュータ生成体験を表示し続けることと、を含む。
いくつかの実施形態によれば、方法は、第１の表示生成コンポーネント及び１つ以上の第１の入力デバイスと通信しているコンピュータシステムにおいて実行され、物理的環境の第１の部分の第１の表現を含む物理的環境の第１のビューを表示することと、物理的環境の第１のビューを表示している間、２つ以上のタイプのコンピュータ生成感覚調整のうちの第１のタイプのコンピュータ生成感覚調整を作動させる要求に対応する第１のユーザ入力を検出することと、第１のユーザ入力を検出したことに応じて、物理的環境の第２のビューであって、物理的環境の第２のビューは、物理的環境の第１の部分の第２の表現を含み、物理的環境の第１の部分の第２の表現は、第１のタイプのコンピュータ生成感覚調整に従って物理的環境の第１の部分の第１の表現に対して調整された第１の表示特性を有する、物理的環境の第２のビューを表示することと、物理的環境の第２のビューを表示している間、２つ以上のタイプのコンピュータ生成感覚調整のうちの、第１のタイプのコンピュータ生成感覚調整とは異なる第２のタイプのコンピュータ生成感覚調整を作動させる要求に対応する第２のユーザ入力を検出することと、第２のユーザ入力を検出したことに応じて、物理的環境の第３のビューであって、物理的環境の第３のビューは、物理的環境の第１の部分の第３の表現を含み、物理的環境の第１の部分の第３の表現は、第１のタイプのコンピュータ生成感覚調整に従って物理的環境の第１の部分の第１の表現に対して調整された第１の表示特性と、第２のタイプのコンピュータ生成感覚調整に従って物理的環境の第２の表現に対して調整された第２の表示特性とを有する、物理的環境の第３のビューを表示することと、を含む。
いくつかの実施形態によれば、方法は、第１の表示生成コンポーネント及び１つ以上の第１の入力デバイスと通信しているコンピュータシステムにおいて実行され、物理的環境の第１の部分の第１の表現を含む三次元環境の第１のビューを表示することと、物理的環境の第１の部分の第１の表現を含む三次元環境の第１のビューを表示している間、物理的環境の第１のロケーションから第２のロケーションへの第１のユーザの移動を検出することと、第１のロケーションから第２のロケーションへの第１のユーザの移動を検出したことに応じて、かつ第２のロケーションへの移動が第１の基準であって、第１の基準が満たされるために、第１の基準は、第２のロケーションが第１のタイプのエクササイズに関連付けられたロケーションに対応するという第１の要件を含み、第１の基準を満たすという判定に従って、三次元環境の第２のビューであって、三次元環境の第２のビューが、第１のタイプのエクササイズに対応する第１の仮想コンテンツセットを含み、第１のセットの仮想コンテンツが、第２のロケーションを含む物理的環境の第２の部分の第２の表現の少なくとも一部を置換する、次元環境の第２のビューを表示することと、第２のロケーションへの移動が第１の基準とは異なる第２の基準であって第２の基準が満たされるために、第２の基準は、第２のロケーションが第２のタイプのエクササイズに関連付けられたロケーションに対応するという第２の要件を含み、第２のタイプのエクササイズは第１のタイプのエクササイズとは異なる、第２の基準を満たすという判定に従って、三次元環境の第３のビューであって、三次元環境の第３のビューは第２のタイプのエクササイズに対応する第２のセットの仮想コンテンツを含み、第２のセットの仮想コンテンツは第１のセットの仮想コンテンツとは異なり、第２のセットの仮想コンテンツは、第２のロケーションを含む物理的環境の第３の部分の第３の表現の少なくとも一部を置換する、三次元環境の第３のビューを表示することと、を含む。
くつかの実施形態によれば、コンピュータシステムは、表示生成コンポーネント（例えば、ディスプレイ、プロジェクタ、ヘッドマウントディスプレイなど）、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ）、任意選択的に１つ以上の触覚出力ジェネレータ、１つ以上のプロセッサ、及び１つ以上のプログラムを記憶するメモリを含み、又はそれらと通信しており、１つ以上のプログラムは、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、本明細書に記載の方法のうちのいずれかの動作を実行する、又は実行させる命令を含む。いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が、内部に記憶されている命令を有し、命令は、表示生成コンポーネントと、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的にタッチ感知面との接触の強度を検出する１つ以上のセンサ）と、任意選択的に１つ以上の触知出力ジェネレータと、を有するコンピュータシステムによって実行されるとき、本明細書で説明される方法のいずれかの動作をデバイスに実行させ、又は動作の実行を行わせる。いくつかの実施形態によれば、表示生成コンポーネントと、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的にタッチ感知面との接触の強度を検出する１つ以上のセンサ）と、任意選択的に１つ以上の触知出力ジェネレータと、メモリと、メモリに記憶されている１つ以上のプログラムを実行する１つ以上のプロセッサと、を有するコンピュータシステム上のグラフィカルユーザインタフェースが、本明細書で説明される方法のいずれかにおいて表示される要素のうちの１つ以上を含み、これらの要素は、本明細書で説明される方法のいずれかで説明されるように、入力に応じて更新される。いくつかの実施形態によれば、コンピュータシステムが、表示生成コンポーネントと、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的にタッチ感知面との接触の強度を検出する１つ以上のセンサ）と、任意選択的に１つ以上の触知出力ジェネレータと、本明細書で説明される方法のいずれかの動作を実行する、又は実行させる手段と、を含む。いくつかの実施形態によれば、表示生成コンポーネントと、１つ以上の入力デバイス（例えば、１つ以上のカメラ、タッチ感知面、任意選択的に、タッチ感知面との接触の強度を検出する１つ以上のセンサ）と、任意選択的に１つ以上の触知出力ジェネレータと、を有するコンピュータシステムで使用するための情報処理装置が、本明細書で説明される方法のいずれかの動作を実行する、又は実行させる手段を含む。
したがって、表示生成コンポーネントを有するコンピュータシステムには、三次元環境と相互作用し、三次元環境と相互作用するときにコンピュータシステムのユーザの使用を簡易化することによって、そのようなコンピュータシステムの有効性、効率、並びにユーザの安全性及び満足度を高める改善された方法及びインタフェースが提供される。そのような方法及びインタフェースは、三次元環境と相互作用し、三次元環境と相互作用するときにコンピュータシステムのユーザの使用を容易にするための従来の方法を補完又は置換することができる。
前述の様々な実施形態は、本明細書に記載の任意の他の実施形態と組み合わせることができることに留意されたい。本明細書で説明する機能及び利点は、包括的なものではなく、特に、図面、明細書及び特許請求の範囲を鑑みると、多くの追加の機能及び利点が当業者には明らかになるであろう。更に、本明細書において使用される文言は、専ら読みやすさ及び説明の目的で選択されたものであり、本発明の主題を画定又は制限するために選択されたものではないことに留意されたい。
説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。
いくつかの実施形態による、ＣＧＲ体験を提供するためのコンピュータシステムの動作環境を示すブロック図である。
いくつかの実施形態による、ユーザのＣＧＲ体験を管理及び調整するように構成されたコンピュータシステムのコントローラを示すブロック図である。
いくつかの実施形態による、ＣＧＲ体験の視覚的コンポーネントをユーザに提供するように構成されたコンピュータシステムの表示生成コンポーネントを示すブロック図である。
いくつかの実施形態による、ユーザのジェスチャ入力をキャプチャするように構成されたコンピュータシステムのハンドトラッキングユニットを示すブロック図である。
いくつかの実施形態による、ユーザの視線入力をキャプチャするように構成されたコンピュータシステムのアイトラッキングユニットを示すブロック図である。
いくつかの実施形態による、グリント支援視線追跡パイプラインを示すフローチャートである。
いくつかの実施形態による、２人以上のユーザ間で共有されるコンピュータ生成三次元環境内のユーザインタフェースオブジェクトとの相互作用を示すブロック図である。 いくつかの実施形態による、２人以上のユーザ間で共有されるコンピュータ生成三次元環境内のユーザインタフェースオブジェクトとの相互作用を示すブロック図である。 いくつかの実施形態による、２人以上のユーザ間で共有されるコンピュータ生成三次元環境内のユーザインタフェースオブジェクトとの相互作用を示すブロック図である。
三次元環境の現在表示されているビューの視点に対して物理的オブジェクトの表現を様々な方式で表示する方法を示すブロック図であり、いくつかの実施形態により、視点は第１の物理的環境内のユーザの移動に従って移動し、物理的オブジェクトの表現は、第１の物理的環境とは異なる第２の物理的環境内の物理的オブジェクトの移動に従って移動し、物理的オブジェクトの表現と視点との間の空間関係が予め設定された基準を満たすことに応じて、表現を表示する方式の変更がトリガされる。 三次元環境の現在表示されているビューの視点に対して物理的オブジェクトの表現を様々な方式で表示する方法を示すブロック図であり、いくつかの実施形態により、視点は第１の物理的環境内のユーザの移動に従って移動し、物理的オブジェクトの表現は、第１の物理的環境とは異なる第２の物理的環境内の物理的オブジェクトの移動に従って移動し、物理的オブジェクトの表現と視点との間の空間関係が予め設定された基準を満たすことに応じて、表現を表示する方式の変更がトリガされる。 三次元環境の現在表示されているビューの視点に対して物理的オブジェクトの表現を様々な方式で表示する方法を示すブロック図であり、いくつかの実施形態により、視点は第１の物理的環境内のユーザの移動に従って移動し、物理的オブジェクトの表現は、第１の物理的環境とは異なる第２の物理的環境内の物理的オブジェクトの移動に従って移動し、物理的オブジェクトの表現と視点との間の空間関係が予め設定された基準を満たすことに応じて、表現を表示する方式の変更がトリガされる。
いくつかの実施形態による、コンピュータシステムによって受信されるユーザのバイオメトリックデータの変化に従って、コンピュータ生成体験の環境を表示する没入レベルの変更を示すブロック図である。 いくつかの実施形態による、コンピュータシステムによって受信されるユーザのバイオメトリックデータの変化に従って、コンピュータ生成体験の環境を表示する没入レベルの変更を示すブロック図である。 いくつかの実施形態による、コンピュータシステムによって受信されるユーザのバイオメトリックデータの変化に従って、コンピュータ生成体験の環境を表示する没入レベルの変更を示すブロック図である。 いくつかの実施形態による、コンピュータシステムによって受信されるユーザのバイオメトリックデータの変化に従って、コンピュータ生成体験の環境を表示する没入レベルの変更を示すブロック図である。
いくつかの実施形態による、物理的環境の表現を含む環境のビューを表示するときにコンピュータシステムによって提供される複数のタイプの感覚調整の効果を集約することを示すブロック図である。 いくつかの実施形態による、物理的環境の表現を含む環境のビューを表示するときにコンピュータシステムによって提供される複数のタイプの感覚調整の効果を集約することを示すブロック図である。 いくつかの実施形態による、物理的環境の表現を含む環境のビューを表示するときにコンピュータシステムによって提供される複数のタイプの感覚調整の効果を集約することを示すブロック図である。
いくつかの実施形態による、三次元環境のビュー内の物理的環境の部分が個別のタイプのエクササイズに対応するという判定に従って、三次元環境のビュー内に個別のタイプのエクササイズに対応する仮想コンテンツを選択的に表示することを示すブロック図である。 いくつかの実施形態による、三次元環境のビュー内の物理的環境の部分が個別のタイプのエクササイズに対応するという判定に従って、三次元環境のビュー内に個別のタイプのエクササイズに対応する仮想コンテンツを選択的に表示することを示すブロック図である。 いくつかの実施形態による、三次元環境のビュー内の物理的環境の部分が個別のタイプのエクササイズに対応するという判定に従って、三次元環境のビュー内に個別のタイプのエクササイズに対応する仮想コンテンツを選択的に表示することを示すブロック図である。
いくつかの実施形態による、２人以上のユーザ間で共有されるコンピュータ生成三次元環境内のユーザインタフェースオブジェクトとの相互作用をサポートする方法のフローチャートである。
三次元環境の現在表示されているビューの視点に対して物理的オブジェクトの表現を様々な方式で表示する方法のフローチャートであり、いくつかの実施形態により、視点は第１の物理的環境内のユーザの移動に従って移動し、物理的オブジェクトの表現は、第１の物理的環境とは異なる第２の物理的環境内の物理的オブジェクトの移動に従って移動し、物理的オブジェクトの表現と視点との間の空間関係が予め設定された基準を満たすことに応じて、表現を表示する方式の変更がトリガされる。 三次元環境の現在表示されているビューの視点に対して物理的オブジェクトの表現を様々な方式で表示する方法のフローチャートであり、いくつかの実施形態により、視点は第１の物理的環境内のユーザの移動に従って移動し、物理的オブジェクトの表現は、第１の物理的環境とは異なる第２の物理的環境内の物理的オブジェクトの移動に従って移動し、物理的オブジェクトの表現と視点との間の空間関係が予め設定された基準を満たすことに応じて、表現を表示する方式の変更がトリガされる。
いくつかの実施形態による、コンピュータシステムによって受信されるユーザのバイオメトリックデータの変化に従って、コンピュータ生成体験の環境を表示する没入レベルを変更する方法のフローチャートである。
いくつかの実施形態による、物理的環境の表現を含む環境のビューを表示するときにコンピュータシステムによって提供される複数のタイプの感覚調整の効果を集約する方法のフローチャートである。
いくつかの実施形態による、三次元環境のビュー内の物理的環境の部分が個別のタイプのエクササイズに対応するという判定に従って、三次元環境のビュー内に個別のタイプのエクササイズに対応する仮想コンテンツを選択的に表示する方法のフローチャートである。
本開示は、いくつかの実施形態による、コンピュータ生成現実（ＣＧＲ）体験をユーザに提供するユーザインタフェースに関する。
本明細書に記載するシステム、方法、及びＧＵＩは、複数の方法で仮想／拡張現実環境とのユーザインタフェース相互作用を改善する。
いくつかの実施形態では、コンピュータシステムは、複数のユーザが、三次元環境において表示される第１のユーザインタフェースオブジェクトにアクセスする権利を有することを許可するが、別のユーザが第１のユーザインタフェースオブジェクトと相互作用している間、ユーザが第１のユーザインタフェースオブジェクトにアクセスすることを防止する。第１のユーザによって使用される第１の表示生成コンポーネントを介して第１のユーザインタフェースオブジェクトを含む三次元環境のビューを表示するとき、コンピュータシステムは、第１のユーザインタフェースオブジェクトに向けられた第１のユーザ入力を検出する。第１のユーザ入力を検出したことに応じて、コンピュータシステムは、第１のユーザインタフェースオブジェクトがその時点で第１のユーザとの相互作用に利用可能であるか否かに応じて、第１のユーザインタフェースオブジェクトに対して第１のユーザ入力に対応する第１の動作を実行するか、又は第１のユーザインタフェースオブジェクトが第１のユーザとの相互作用に利用可能でないことの視覚的インジケーションを表示し、第１の動作の実行を取りやめる。コンピュータシステムは、視覚的インジケーションを提供し、別のユーザがその時点で第１のユーザインタフェースオブジェクトを制御する（例えば、別のユーザが、第１のユーザインタフェースオブジェクトと相互作用している、第１のユーザの同時相互作用を除外するように第１のユーザインタフェースオブジェクトと相互作用している、及び／又は第１のユーザが実行しようとしているタイプのアクションについて第１のユーザインタフェースオブジェクトをロックしているなど）という判定に従って、第１の動作の実行を取りやめる。いくつかの実施形態では、視覚的インジケーションを表示することは、第１のユーザに対して示される三次元環境のビュー内の第１のユーザインタフェースオブジェクトを移動させて、第１のユーザインタフェースオブジェクトと第１のユーザの手の接近表現との間の予め設定された距離を維持することを含む。いくつかの実施形態では、視覚的インジケーションを表示することは、第１のユーザに対して示される三次元環境のビュー内の第１のユーザインタフェースオブジェクトの視覚的外観を変更することを含む。いくつかの実施形態では、第１のユーザインタフェースオブジェクトが制御ユーザによって（例えば、スロージェスチャ、トスジェスチャなどによって）第１のユーザに解放されると、コンピュータシステムは、第１のユーザインタフェースオブジェクトが、第１のユーザに対して示される三次元環境の現在表示されているビューの視点に対して予め設定された向きで表示されるように、第１のユーザインタフェースオブジェクトを回転させる。いくつかの実施形態では、コンピュータシステムは、第１のユーザの一部の表現（例えば、第１のユーザの手の表現、ユーザの顔の仮想ポジションの腕の届く範囲内など）のポジション又はその近くに第１のユーザインタフェースオブジェクトの表現を表示することによって、第１のユーザインタフェースオブジェクトへのアクセスを制御する。第１のユーザが第１のユーザインタフェースオブジェクトと相互作用しようとしたことに応じて、第１のユーザによって使用される表示生成コンポーネントを介して表示される三次元環境のビューに、第１のユーザインタフェースオブジェクトが第１のユーザとの相互作用に利用可能でないことを示す視覚的インジケーションを表示することは、相互作用が試みられたときに直感的かつタイムリーなフィードバックを提供し、三次元環境のビュー内の不要な視覚的混乱を低減する。また、第１のユーザと環境を共有している他のユーザに対して同じ視覚的インジケーションを表示する必要がなく、ユーザの混乱が低減され、マン－マシンインタフェースの効率が改善される。
いくつかの実施形態では、コンピュータシステムは、第１のユーザ（及び三次元環境を見るために第１のユーザによって使用される第１の表示生成コンポーネント）の物理的環境とは異なる物理的環境内に位置する物理的オブジェクト（例えば、第２のユーザ、動物、移動するドローンなど）の表現を含む三次元環境のビューを表示する。コンピュータシステムは、任意選択的に、三次元環境の現在表示されているビューに対応する視点を、物理的環境内の第１のユーザ（及び／又は第１の表示生成コンポーネント）の移動に従って移動させる。コンピュータシステムは、物理的環境内の物理的オブジェクトのロケーション及び移動経路に基づいて、三次元環境内の物理的オブジェクトの表現のポジション及び移動経路を判定する。コンピュータシステムは、三次元環境内のポジションと個別の物理的環境（例えば、第１のユーザ及び第１の表示生成コンポーネントの物理的環境、物理的オブジェクトの物理的環境など）内のロケーションとの間の第１のタイプの対応関係（例えば、マッピング関係及び変換関係、任意選択的に、視点、物理的オブジェクト、及び第１のユーザなどについての様々なマッピング関係及び変換関係）を利用する。（例えば、第１のユーザの移動、及び／又は物理的オブジェクトの移動などに起因する）状況によっては、物理的オブジェクトの表現のポジションは、ポジション（単数又は複数）が、三次元環境内のポジションと物理的環境内のロケーションとの間の第１のタイプの対応関係を使用して判定される場合、第１の表示生成コンポーネントを介して示されるポジションの閾値距離（例えば、腕の長さ、３フィート、ユーザ指定距離など）内にあるであろう。このような条件下で、コンピュータシステムは、第１のタイプの対応関係に基づいて判定されたポジションからオフセットされた調整されたポジションに物理的オブジェクトの表現を表示する。いくつかの実施形態では、調整されたポジションは、第１のタイプの対応関係とは異なる第２のタイプの対応関係に基づいて判定され、調整されたポジションが、第１の表示生成コンポーネントを介して示される三次元環境の現在表示されているビューの視点のポジションから閾値距離を超えたままであることを確実にする。コンピュータシステムは、第１のタイプの対応関係に基づいて計算された未調整ポジションが、第１の表示生成コンポーネントを介して示された三次元環境の現在表示されているビューの視点のポジションから閾値距離を超えて離れるまで、物理的オブジェクトの表現の調整ポジションを判定するために第２のタイプの対応関係を使用し続ける。物理的オブジェクトの表現のポジションと、第１の表示生成コンポーネントを介して示される三次元環境の現在表示されているビューの視点のポジションとの間の相対距離を監視することによって、コンピュータは、物理的オブジェクトの表現の表示ポジションを適時に調整することができ、その結果、視点と物理的オブジェクトの表現との間の視覚的衝突を回避することができる。このことは、ユーザの視覚体験を改善し、ユーザが三次元環境と相互作用するときのユーザの混乱及び誤りを低減する。
いくつかの実施形態では、コンピュータシステムは、ユーザに対応するバイオメトリックデータに従って、コンピュータ生成体験（例えば、視覚体験、視聴覚体験、仮想現実体験、拡張現実体験など）がユーザに提示される没入レベルを変更する。例えば、ユーザが、例えば、積極的に、又はコンピュータ生成コンテンツの影響下で、彼／彼女の身体的及び感情的な状態を調整しているとき、コンピュータ生成体験が開始された後、コンピュータシステムは、ユーザに対応するバイオメトリックデータ（例えば、心拍数、血圧、呼吸数など）の変化を検出し得る。様々な没入レベルに関連付けられた予め設定された基準のそれぞれのセットに対するバイオメトリックデータの変化に従って、コンピュータシステムは、物理的環境の表現の視覚的プロミネンスに対して仮想コンテンツの（例えば、空間範囲、視覚的奥行き、彩度、視覚的コントラストなどを含む）視覚的プロミネンスを変更することによって（例えば、仮想コンテンツの複雑さ、空間範囲、及び／又は視覚的特性を増強すること、及び／又は物理的環境の表現の視覚的明瞭さ、ぼかし半径、不透明度、彩度などを低減することなどによって）コンピュータ生成体験をユーザに提供する没入レベルを増加又は低減させる。ユーザに対応するバイオメトリックデータの変化に基づいて、コンピュータ生成体験をユーザに提供する没入レベルを調整することは、コンピュータシステムが、コンピュータ生成体験に対するユーザの知覚状態により良く対応する、低い没入レベルの体験と高い没入レベルの体験との間のより滑らかな遷移を提供するのに役立ち、それによって、ユーザの混乱を低減し、コンピュータ生成体験の有効性を改善する。
いくつかの実施形態では、コンピュータシステムは、特別な器具又はコンピュータシステムの支援なしでは容易に知覚され得ない物理的環境の様々な側面を知覚するユーザの能力を強化する複数のタイプの感覚調整機能を提供する。ユーザが一度に物理的環境の一部を見るときに単一タイプの感覚調整機能を使用することのみを可能にする代わりに、コンピュータシステムは、コンピュータシステムによって提供される物理的環境のビュー内で以前に隠されていた物理的環境の部分に存在する特徴及び特性が明らかにされ得るように、物理的環境の一部の表現に及ぼす２つ以上のタイプの感覚増強機能の効果を集約する。複数のタイプの感覚調整機能の効果が物理的環境の同じ部分の表現に集約され、物理的環境の部分の表現を含む三次元環境のビューに提示されることを可能にすることにより、ユーザが物理的環境をより良く知覚し理解することができ、物理的環境のコンピュータ生成ビューの有用性を向上させる。
いくつかの実施形態では、コンピュータシステムは、三次元環境のビューに表された物理的ロケーションが個別のタイプのエクササイズに関連付けられているという判定に従って、個別のタイプのエクササイズに対応する仮想コンテンツ（例えば、仮想風景、エクササイズ器具の視覚的及び機能的強化、ユーザインタフェース、健康及びスコアボードなど）を表示する。例えば、ユーザ及び表示生成コンポーネントが現実世界のロケーションを移動していくにつれて、三次元環境のビューに示される仮想コンテンツは、ユーザ及び表示生成コンポーネントの現在ロケーションに関連付けられたエクササイズのタイプに対応するように調整される。いくつかの実施形態では、ロケーションが複数のタイプのエクササイズに関連付けられている場合、コンピュータシステムは、他のコンテキスト情報（例えば、ユーザの移動、そのロケーションにおけるオブジェクトとのユーザの関与など）に基づいて、そのロケーションに関連付けられている複数のタイプのエクササイズからあるタイプのエクササイズを選択し、選択されたタイプのエクササイズに対応する視覚的コンテンツを表示する。ユーザ及び表示生成コンポーネントのロケーションに関連付けられた個別のタイプのエクササイズに基づいて仮想コンテンツを自動的に選択及び／又は変更することは、所望の結果を達成するためのユーザからの入力の数、範囲、及び／又は性質を絞る（例えば、エクササイズのタイプに適した仮想コンテンツを選択する、エクササイズの特定のモードを開始するなど）ことによって、より効率的なヒューマンマシンインタフェースを生成する。
図１～図６は、ＣＧＲ体験をユーザに提供するための例示的なコンピュータシステムを説明する。図７Ａ～図７Ｃは、いくつかの実施形態による、２人以上のユーザ間で共有されるコンピュータ生成三次元環境内のユーザインタフェースオブジェクトとの相互作用を示すブロック図である。図７Ｄ～図７Ｆは、三次元環境の現在表示されているビューの視点に対して物理的オブジェクトの表現を様々な方式で表示する方法を示すブロック図であり、いくつかの実施形態により、視点は第１の物理的環境内のユーザの移動に従って移動し、物理的オブジェクトの表現は、第１の物理的環境とは異なる第２の物理的環境内の物理的オブジェクトの移動に従って移動し、物理的オブジェクトの表現と視点との間の空間関係が予め設定された基準を満たすことに応じて、表現を表示する方式の変更がトリガされる。図７Ｇ～図７Ｊは、いくつかの実施形態による、コンピュータシステムによって受信されるユーザのバイオメトリックデータの変化に従って、コンピュータ生成体験の環境を表示する没入レベルの変更を示すブロック図である。図７Ｋ～７Ｍは、いくつかの実施形態による、物理的環境の表現を含む環境のビューを表示するときにコンピュータシステムによって提供される複数のタイプの感覚調整の効果を集約することを示すブロック図である。図７Ｎ～７Ｐは、いくつかの実施形態による、三次元環境のビュー内の物理的環境の部分が個別のタイプのエクササイズに対応するという判定に従って、三次元環境のビュー内に個別のタイプのエクササイズに対応する仮想コンテンツを選択的に表示することを示すブロック図である。図７Ａ～図７Ｐのユーザインタフェースは、図８～図１２のプロセスをそれぞれ例示するために使用される。
いくつかの実施形態では、図１に示されるように、ＣＧＲ体験は、コンピュータシステム１０１を含む動作環境１００を介してユーザに提供される。コンピュータシステム１０１は、コントローラ１１０（例えば、ポータブル電子デバイス又はリモートサーバのプロセッサ）と、表示生成コンポーネント１２０（例えば、ヘッドマウントデバイス（ＨＭＤ）、ディスプレイ、プロジェクタ、タッチスクリーンなど）と、１つ以上の入力デバイス１２５（例えば、アイトラッキングデバイス１３０、ハンドトラッキングデバイス１４０、他の入力デバイス１５０）と、１つ以上の出力デバイス１５５（例えば、スピーカ１６０、触知出力ジェネレータ１７０、及び他の出力デバイス１８０）と、１つ以上のセンサ１９０（例えば、画像センサ、光センサ、深度センサ、触覚センサ、向きセンサ、近接センサ、温度センサ、ロケーションセンサ、運動センサ、速度センサなど）と、任意選択的に１つ以上の周辺デバイス１９５（例えば、家電製品、ウェアラブルデバイスなど）と、を含む。いくつかの実施形態では、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び周辺デバイス１９５のうちの１つ以上は、（例えば、ヘッドマウントデバイス又はハンドヘルドデバイス内で）表示生成コンポーネント１２０と統合される。
ＣＧＲ体験を説明するとき、ユーザが感知する、及び／又は（例えば、ＣＧＲ体験を生成するコンピュータシステムに、ＣＧＲ体験を生成するコンピュータシステム１０１に提供される様々な入力に対応するオーディオ、視覚、及び／又は触覚フィードバックを生成させる、コンピュータシステム１０１によって検出された入力を用いて）ユーザが相互作用することができる、いくつかの関連するが、別個の環境に個別的に言及するために様々な用語が使用される。以下は、これらの用語のサブセットである。
物理的環境：物理的環境とは、人々が電子システムの助けなしに、感知及び／又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び嗅覚などを介して、物理的環境を直接感知し、及び／又はそれと相互作用することができる。
コンピュータ生成現実：対照的に、コンピュータ生成現実（ＣＧＲ）環境とは、人々が電子システムを介して感知及び／又は相互作用する、全体的又は部分的にシミュレートされた環境を指す。ＣＧＲでは、人の身体運動のサブセット又はその表現が追跡され、それに応じて、ＣＧＲ環境内でシミュレートされた１つ以上の仮想オブジェクトの１つ以上の特性が、少なくとも１つの物理学の法則でふるまうように調節される。例えば、ＣＧＲシステムは、人の頭部の回転を検出し、それに応じて、そのようなビュー及び音が物理的環境においてどのように変化するかと同様の方法で、人に提示されるグラフィックコンテンツ及び音場を調節することができる。状況によっては（例えば、アクセス性の理由から）、ＣＧＲ環境における仮想オブジェクト（単数又は複数）の特性（単数又は複数）に対する調節は、身体運動の表現（例えば、音声コマンド）に応じて行われてもよい。人は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか１つを使用して、ＣＧＲオブジェクトを感知し、かつ／又はＣＧＲオブジェクトと相互作用してもよい。例えば、人は、３Ｄ空間において点音源の知覚を提供する、３Ｄ又は空間的広がりを有するオーディオ環境を作り出す音声オブジェクトを感知し、かつ／又はそれと相互作用することができる。別の例では、オーディオオブジェクトによって、コンピュータ生成オーディオを含めて、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性が可能になり得る。いくつかのＣＧＲ環境では、人は、オーディオオブジェクトのみを感知し、かつ／又はそれと相互作用してもよい。
ＣＧＲの例としては、仮想現実及び複合現実が挙げられる。
仮想現実：仮想現実（ＶＲ）環境とは、１つ以上の感覚について、コンピュータ生成感覚入力に全面的に基づくように設計されたシミュレーション環境を指す。ＶＲ環境は、人が感知かつ／又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人は、コンピュータ生成環境内に人が存在することのシミュレーションを通じて、かつ／又はコンピュータ生成環境内での人の身体運動のサブセットのシミュレーションを通じて、ＶＲ環境における仮想オブジェクトを感知し、かつ／又はそれと相互作用することができる。
複合現実：複合現実（ＭＲ）環境とは、コンピュータ生成感覚入力に全面的に基づくように設計されたＶＲ環境とは対照的に、コンピュータ生成感覚入力（例えば、仮想オブジェクト）を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計されたシミュレーション環境を指す。仮想の連続体上では、複合現実環境は、一方の端部における完全な物理的環境と、他方の端部における仮想現実環境との間であるがこれらを含まない、任意の場所である。いくつかのＭＲ環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変更に応答し得る。また、ＭＲ環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト（即ち、物理的環境からの物理的物品又はその表現）と相互作用することを可能にするために、物理的環境に対するロケーション及び／又は向きを追跡してもよい。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、動きを考慮することができる。
複合現実の例としては、拡張現実及び拡張仮想が挙げられる。
拡張現実：拡張現実（ＡＲ）環境とは、１つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ねられたシミュレーション環境を指す。例えば、ＡＲ環境を提示するための電子システムは、人が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイに仮想オブジェクトを提示するように構成されていてもよく、それによって、人はシステムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又は動画をキャプチャする１つ以上の撮像センサとを有してもよい。システムは、画像又は動画を仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人はこのシステムを使用して、物理的環境を、物理的環境の画像又は動画によって間接的に見て、物理的環境に重ね合わされた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境の動画は、「パススルービデオ」と呼ばれ、システムが、１つ以上の画像センサ（単数又は複数）を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にＡＲ環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムが仮想オブジェクトを、例えば、ホログラムとして物理的環境の中に、又は物理的表面に投影するプロジェクションシステムを有してもよく、それによって、人はシステムを使用して、物理的環境に重ね合わされた仮想オブジェクトを知覚する。拡張現実環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換されるシミュレーション環境を指す。例えば、パススルービデオを提供する際に、システムは、１つ以上のセンサ画像を、イメージセンサがキャプチャした透視図とは別の選択された透視図（例えば、視点）を面付けするように変形してもよい。別の例として、物理的環境の表現を、その一部分をグラフィカルに変更（例えば、拡大）することによって変形してもよく、それにより、変更された部分を、元のキャプチャ画像を表すが非写実的な、改変版にすることもできる。更なる例として、物理的環境の表現は、その一部分をグラフィカルに除去又は不明瞭化することによって変形されてもよい。
拡張仮想：拡張仮想（ＡＶ）環境とは、仮想環境又はコンピュータ生成環境が物理的環境から１つ以上の感覚入力を組み込んだシミュレーション環境を指す。感覚入力は、物理的環境の１つ以上の特性の表現であり得る。例えば、ＡＶの公園には仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、１つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽のポジションと一致する影を採用することができる。
ハードウェア：人が様々なＣＧＲ環境を感知し、及び／又はそれと相互作用することを可能にする、多くの異なるタイプの電子システムが存在する。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ（heads-up displays、ＨＵＤ）、統合表示機能を有する車両ウィンドシールド、統合表示機能を有する窓、（例えば、コンタクトレンズと同様に）人の目の上に配置されるように設計されたレンズとして形成されたディスプレイ、ヘッドホン／イヤフォン、スピーカアレイ、入力システム（例えば、触覚フィードバックを有する又は有さない、装着型コントローラ又はハンドヘルドコントローラ）、スマートフォン、タブレット、及びデスクトップ／ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、１つ以上のスピーカ（単数又は複数）及び一体型不透明ディスプレイを有してもよい。あるいは、ヘッドマウントシステムは、外部の不透明ディスプレイ（例えば、スマートフォン）を受容するように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像若しくは動画をキャプチャするための１つ以上の撮像センサ、及び／又は物理的環境のオーディオをキャプチャするための１つ以上のマイクロフォンを組み込んでいてもよい。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、ＯＬＥＤ、ＬＥＤ、ｕＬＥＤ、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態では、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィカル画像を人の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、仮想オブジェクトを、例えば、ホログラムとして、又は物理的表面として物理的環境に投影するように構成されてもよい。いくつかの実施形態では、コントローラ１１０は、ユーザのＣＧＲ体験を管理及び調整するように構成される。いくつかの実施形態では、コントローラ１１０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。コントローラ１１０については、図２を参照して以下により詳細に記載する。いくつかの実施形態では、コントローラ１１０は、シーン１０５（例えば、物理的設定／環境）に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ１１０は、シーン１０５内に位置するローカルサーバである。別の例では、コントローラ１１０は、シーン１０５の外側に位置するリモートサーバ（例えば、クラウドサーバ、中央サーバなど）である。いくつかの実施形態では、コントローラ１１０は、１つ以上の有線又は無線通信チャネル１４４（例えば、ＢＬＵＥＴＯＯＴＨ、ＩＥＥＥ８０２．１１ｘ、ＩＥＥＥ８０２．１６ｘ、ＩＥＥＥ８０２．３ｘなど）を介して、表示生成コンポーネント１２０（例えば、ＨＭＤ、ディスプレイ、プロジェクタ、タッチスクリーンなど）と通信可能に結合される。別の例では、コントローラ１１０は、表示生成コンポーネント１２０（例えば、ＨＭＤ、又はディスプレイ及び１つ以上のプロセッサなどを含むポータブル電子デバイス）、入力デバイス１２５のうちの１つ以上、出力デバイス１５５のうちの１つ以上、センサ１９０のうちの１つ以上、及び／又は周辺デバイス１９５のうちの１つ以上の筐体（例えば、物理的ハウジング）内に含まれる、又は上記のうちの１つ以上と同じ物理的筐体又は支持構造を共有する。
いくつかの実施形態では、表示生成コンポーネント１２０は、ＣＧＲ体験（例えば、ＣＧＲ体験の少なくとも視覚的コンポーネント）をユーザに提供するように構成される。いくつかの実施形態では、表示生成コンポーネント１２０は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。表示生成コンポーネント１２０について、図３を参照して以下により詳細に説明する。いくつかの実施形態では、コントローラ１１０の機能は、表示生成コンポーネント１２０によって提供される、及び／又は表示生成コンポーネント１２０と組み合わされる。
いくつかの実施形態によれば、表示生成コンポーネント１２０は、ユーザがシーン１０５内に仮想的及び／又は物理的に存在している間に、ＣＧＲ体験をユーザに提供する。
いくつかの実施形態では、表示生成コンポーネントは、ユーザの身体の一部（例えば、自身の頭部や自身の手など）に装着される。したがって、表示生成コンポーネント１２０は、ＣＧＲコンテンツを表示するために提供された１つ以上のＣＧＲディスプレイを含む。例えば、様々な実施形態では、表示生成コンポーネント１２０は、ユーザの視野を包囲する。いくつかの実施形態では、表示生成コンポーネント１２０は、ＣＧＲコンテンツを提示するように構成されたハンドヘルドデバイス（スマートフォン又はタブレットなど）であり、ユーザは、ユーザの視野に向けられるディスプレイ及びシーン１０５に向けられるカメラを備えたデバイスを保持する。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの頭部に装着された筐体内に配置される。いくつかの実施形態では、ハンドヘルドデバイスは、任意選択的に、ユーザの前の支持体（例えば、三脚）上に配置される。いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザが表示生成コンポーネント１２０を着用又は保持しない状態でＣＧＲコンテンツを提示するように構成されたＣＧＲチャンバ、筐体、又は部屋である。ＣＧＲコンテンツ（例えば、ハンドヘルドデバイス又は三脚上のデバイス）を表示するための１つのタイプのハードウェアを参照して説明される多くのユーザインタフェースは、ＣＧＲコンテンツ（例えば、ＨＭＤ又は他のウェアラブルコンピューティングデバイス）を表示するための別のタイプのハードウェア上に実施され得る。例えば、ハンドヘルド又は三脚搭載デバイスの前の空間内で起こる相互作用に基づいてトリガされるＣＧＲコンテンツとの相互作用を示すユーザインタフェースは、相互作用がＨＭＤの前の空間で発生し、ＣＧＲコンテンツの応答がＨＭＤを介して表示されるＨＭＤと同様に実施され得る。同様に、物理的環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するハンドヘルド又は三脚搭載デバイスの移動に基づいてトリガされたＣＧＲコンテンツとの相互作用を示すユーザインタフェースは、物理的環境（例えば、シーン１０５又はユーザの身体の一部（例えば、ユーザの目（単数又は複数）、頭部、又は手））に対するＨＭＤの移動によって引き起こされるＨＭＤと同様に実施され得る。
動作環境１００の関連する特徴が図１に示されているが、当業者は、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないように、簡潔化のための様々な他の特徴が示されていないことを、本開示から理解されよう。
図２は、いくつかの実施形態による、コントローラ１１０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのため、非限定的な例として、いくつかの実施形態では、コントローラ１１０は、１つ以上の処理ユニット２０２（例えば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス２０６、１つ以上の通信インタフェース２０８（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、グローバル移動通信システム（ＧＳＭ）、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、グローバル測位システム（ＧＰＳ）、赤外線（ＩＲ）、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース２１０、メモリ２２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス２０４を含む。
いくつかの実施形態では、１つ以上の通信バス２０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス２０６は、キーボード、マウス、タッチパッド、ジョイスティック、１つ以上のマイクロフォン、１つ以上のスピーカ、１つ以上の画像センサ、１つ以上のディスプレイなどのうちの少なくとも１つを含む。
メモリ２２０は、ダイナミックランダムアクセスメモリ（dynamic random-access memory、ＤＲＡＭ）、スタティックランダムアクセスメモリ（static random-access memory、ＳＲＡＭ）、ダブルデータレートランダムアクセスメモリ（double-data-rate random-access memory、ＤＤＲＲＡＭ）、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ２２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性記憶デバイスなどの不揮発性メモリを含む。メモリ２２０は、１つ以上の処理ユニット２０２からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ２２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ２２０、又はメモリ２２０の非一時的コンピュータ可読記憶媒体は、任意選択的なオペレーティングシステム２３０及びＣＧＲ体験モジュール２４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム２３０は、様々な基本システムサービスを処理するための命令、及びハードウェア依存タスクを実行するための命令を含む。いくつかの実施形態では、ＣＧＲ体験モジュール２４０は、１人以上のユーザに対する１つ以上のＣＧＲ体験（例えば、１人以上のユーザに対する単一のＣＧＲ体験、又は１人以上のユーザのそれぞれのグループに対する複数のＣＧＲ体験）を管理及び調整するように構成されている。その目的で、様々な実施形態では、ＣＧＲ体験モジュール２４０は、データ取得ユニット２４２、トラッキングユニット２４４、調整ユニット２４６、及びデータ送信ユニット２４８を含む。
いくつかの実施形態では、データ取得ユニット２４２は、図１の少なくとも表示生成コンポーネント１２０、及び任意選択的に入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上からデータ（例えば、提示データ、相互作用データ、センサデータ、ロケーションデータなど）を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット２４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、トラッキングユニット２４４は、シーン１０５をマッピングし、図１のシーン１０５に対する少なくとも表示生成コンポーネント１２０し、任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上のポジション／ロケーションを追跡するように構成される。その目的で、様々な実施形態において、トラッキングユニット２４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。いくつかの実施形態では、トラッキングユニット２４４は、ハンドトラッキングユニット２４３及び／又はアイトラッキングユニット２４５を含む。いくつかの実施形態では、ハンドトラッキングユニット２４３は、図１のシーン１０５に対する、表示生成コンポーネント１２０に対する、及び／又はユーザの手に対して定義された座標系に対する、ユーザの手の１つ以上の部分のポジション／ロケーション、及び／又はユーザの手の１つ以上の部分の運動を追跡するように構成される。ハンドトラッキングユニット２４３について、図４に関して以下でより詳細に説明する。いくつかの実施形態では、アイトラッキングユニット２４５は、シーン１０５に対する（例えば、物理的環境及び／又はユーザ（例えば、ユーザの手）に対する）、又は表示生成コンポーネント１２０を介して表示されるＣＧＲコンテンツに対する、ユーザの視線（又は、より広範にはユーザの目、顔、又は頭部）のポジション及び移動を追跡するように構成される。アイトラッキングユニット２４５について、図５に関して以下でより詳細に説明する。
いくつかの実施形態では、調整ユニット２４６は、表示生成コンポーネント１２０によって、及び任意選択的に、出力デバイス１５５及び／又は周辺デバイス１９５のうちの１つ以上によって、ユーザに提示されるＣＧＲ体験を管理及び調整するように構成される。その目的で、様々な実施形態において、調整ユニット２４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット２４８は、データ（例えば、提示データ、ロケーションデータなど）を少なくとも表示生成コンポーネント１２０、及び任意選択的に、入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上に送信するように構成される。その目的で、様々な実施形態では、データ送信ユニット２４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット２４２、トラッキングユニット２４４（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４４を含む）、調整ユニット２４６、及びデータ送信ユニット２４８が、単一のデバイス（例えば、コントローラ１１０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット２４２、トラッキングユニット２４４（例えば、アイトラッキングユニット２４３及びハンドトラッキングユニット２４４を含む）、調整ユニット２４６、及びデータ送信ユニット２４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図２は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図２に別々に示すいくつかの機能モジュールは、単一のモジュール内に実装することができ、単一の機能ブロックの様々な機能は、様々な実施形態において１つ以上の機能ブロックによって実装することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。
図３は、いくつかの実施形態による、表示生成コンポーネント１２０の一例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的で、非限定的な例として、いくつかの実施形態では、ＨＭＤ１２０には、１つ以上の処理ユニット３０２（例えば、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ、ＣＰＵ、処理コアなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス及びセンサ３０６、１つ以上の通信インタフェース３０８（例えば、ＵＳＢ、ＦＩＲＥＷＩＲＥ、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、ＧＳＭ、ＣＤＭＡ、ＴＤＭＡ、ＧＰＳ、赤外線、ＢＬＵＥＴＯＯＴＨ、ＺＩＧＢＥＥ、及び／又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース３１０、１つ以上のＣＧＲディスプレイ３１２、１つ以上の任意の内向き及び／又は外向き画像センサ３１４、メモリ３２０、並びにこれら及び様々な他のコンポーネントを相互接続するための１つ以上の通信バス３０４、が含まれる。
いくつかの実施形態では、１つ以上の通信バス３０４は、システムコンポーネントを相互接続し、システムコンポーネント間の通信を制御する、回路を含む。いくつかの実施形態では、１つ以上のＩ／Ｏデバイス及びセンサ３０６は、慣性測定装置（ＩＭＵ）、加速度計、ジャイロスコープ、温度計、１つ以上の生理的センサ（例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、血糖センサなど）、１つ以上のマイクロフォン、１つ以上のスピーカ、触覚エンジン、１つ以上の深度センサ（例えば、構造化光、飛行時間など）などのうちの少なくとも１つを含む。
いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ユーザにＣＧＲ体験を提供するように構成される。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ホログラフィック、デジタル光処理（ＤＬＰ）、液晶ディスプレイ（ＬＣＤ）、液晶オンシリコン（ＬＣｏＳ）、有機発光電界効果トランジスタ（ＯＬＥＴ）、有機発光ダイオード（ＯＬＥＤ）、表面伝導型電子放射素子ディスプレイ（ＳＥＤ）、電界放射ディスプレイ（ＦＥＤ）、量子ドット発光ダイオード（ＱＤ－ＬＥＤ）、ＭＥＭＳ、及び／又は同様のディスプレイタイプに相当する。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、回折、反射、偏光、ホログラフィックなどの、導波管ディスプレイに相当する。例えば、ＨＭＤ１２０は、単一のＣＧＲディスプレイを含む。別の実施例では、ＨＭＤ１２０は、ユーザの各目用のＣＧＲディスプレイを含む。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。いくつかの実施形態では、１つ以上のＣＧＲディスプレイ３１２は、ＭＲ又はＶＲコンテンツを提示することができる。
いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの目を含むユーザの顔の少なくとも一部に対応する画像データを取得するように構成される（及び、アイトラッキングカメラと称する場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、ユーザの手（単数又は複数）及び任意選択的にユーザの腕（単数又は複数）の少なくとも一部に対応する画像データを取得するように構成される（及び、ハンドトラッキングカメラと称される場合がある）。いくつかの実施形態では、１つ以上の画像センサ３１４は、ＨＭＤ１２０が存在しない場合に、ユーザが視認するシーンに対応する画像データを取得するように前方を向くように構成される（及び、シーンカメラと称される場合がある）。１つ以上の任意選択的な画像センサ３１４は、（例えば、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ若しくは電荷結合デバイス（ＣＣＤ）画像センサを備えた）１つ以上のＲＧＢカメラ、１つ以上の赤外線（ＩＲ）カメラ、１つ以上のイベントベースのカメラ、及び／又は同様のもの、を含むことができる。
メモリ３２０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実施形態では、メモリ３２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又はその他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ３２０は、１つ以上の処理ユニット３０２から遠隔に位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ３２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態では、メモリ３２０、又はメモリ３２０の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム３３０及びＣＧＲ提示モジュール３４０を含む、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶する。
オペレーティングシステム３３０は、様々な基本システムサービスを処理する命令、及びハードウェア依存タスクを実行する命令を含む。いくつかの実施形態では、ＣＧＲ提示モジュール３４０は、１つ以上のＣＧＲディスプレイ３１２を介してＣＧＲコンテンツをユーザに提示するように構成される。その目的で、様々な実施形態では、ＣＧＲ提示モジュール３４０は、データ取得ユニット３４２、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８を含む。
いくつかの実施形態では、データ取得ユニット３４２は、少なくとも図１のコントローラ１１０からデータ（例えば、提示データ、相互作用データ、センサデータ、ロケーションデータなど）を取得するように構成される。その目的で、様々な実施形態では、データ取得ユニット３４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、ＣＧＲ提示ユニット３４４は、１つ以上のＣＧＲディスプレイ３１２を介してＣＧＲコンテンツを提示するように構成される。その目的で、様々な実施形態では、ＣＧＲ提示ユニット３４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、ＣＧＲマップ生成ユニット３４６は、メディアコンテンツデータに基づいて、ＣＧＲマップ（例えば、複合現実シーンの３Ｄマップ又はコンピュータ生成オブジェクトを配置することができる物理的環境のマップ）を生成するように構成される。その目的で、様々な実施形態では、ＣＧＲマップ生成ユニット３４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
いくつかの実施形態では、データ送信ユニット３４８は、少なくともコントローラ１１０、及び任意選択的に入力デバイス１２５、出力デバイス１５５、センサ１９０、及び／又は周辺デバイス１９５のうちの１つ以上にデータ（例えば、提示データ、ロケーションデータなど）を伝送するように構成される。その目的で、様々な実施形態では、データ送信ユニット３４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティックス及びメタデータを含む。
データ取得ユニット３４２は、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８は、単一のデバイス（例えば、図１の表示生成コンポーネント１２０）上に存在するものとして示されているが、他の実施形態では、データ取得ユニット３４２、ＣＧＲ提示ユニット３４４、ＣＧＲマップ生成ユニット３４６、及びデータ送信ユニット３４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図３は、本明細書に記載される実施形態の構造概略とは対照的に、特定の実装形態に存在し得る様々な特徴の機能を説明することをより意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図３に別々に示すいくつかの機能モジュールは、単一のモジュール内に実現することができ、単一の機能ブロックの様々な機能は、様々な実施形態では１つ以上の機能ブロックによって実行することができる。モジュールの実際の数、並びに特定の機能の分割及びそれらの間にどのように機能が割り当てられるかは、実装形態によって異なり、いくつかの実施形態では、特定の実装形態のために選択されたハードウェア、ソフトウェア、及び／又はファームウェアの特定の組み合わせに部分的に依存する。
図４は、ハンドトラッキングデバイス１４０の例示的な実施形態の概略図である。いくつかの実施形態では、ハンドトラッキングデバイス１４０（図１）は、ハンドトラッキングユニット２４３（図２）によって制御されて、ユーザの手の１つ以上の部分のポジション／ロケーション、及び／又は図１のシーン１０５に対する（例えば、ユーザを取り囲む物理的環境の部分に対する、表示生成コンポーネント１２０に対する、又はユーザの部分（例えば、ユーザの顔、目、若しくは頭部）に対する、及び／又はユーザの手に対して定義された座標系に対するユーザの手の１つ以上の部分の運動を追跡する。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成コンポーネント１２０の一部である（例えば、ヘッドマウントデバイスに埋め込まれる、又はヘッドマウントデバイスに取り付けられる）。いくつかの実施形態では、ハンドトラッキングデバイス１４０は、表示生成コンポーネント１２０とは別個である（例えば、別個のハウジング内に位置する、又は別個の物理的支持構造に取り付けられる）。
いくつかの実施形態では、ハンドトラッキングデバイス１４０は、人間のユーザの少なくとも手４０６を含む三次元シーン情報をキャプチャする画像センサ４０４（例えば、１つ以上のＩＲカメラ、３Ｄカメラ、深度カメラ、及び／又はカラーカメラなど）を含む。画像センサ４０４は、指及びそれらのそれぞれのポジションを区別するのを可能にするのに十分な解像度で手画像をキャプチャする。画像センサ４０４は、典型的には、ユーザの身体の他の部分の画像、又は身体の全ての画像をキャプチャし、ズーム機能又は高倍率を有する専用センサのいずれかを有して、所望の解像度で手の画像をキャプチャすることができる。いくつかの実施形態では、画像センサ４０４はまた、手４０６の２Ｄカラービデオ画像及びシーンの他の要素をキャプチャする。いくつかの実施形態では、画像センサ４０４は、シーン１０５の物理的環境をキャプチャする他の画像センサと併せて使用される、又はシーン１０５の物理的環境をキャプチャする画像センサとして機能する。いくつかの実施形態では、画像センサ４０４は、画像センサ又はその一部の視野が使用されて、画像センサによってキャプチャされた手の移動がコントローラ１１０への入力として処理される相互作用空間を定義するように、ユーザ又はユーザの環境に対して位置決めされる。
いくつかの実施形態では、画像センサ４０４は、３Ｄマップデータ（及び場合によってはカラー画像データ）を含むフレームのシーケンスをコントローラ１１０に出力し、これにより、マップデータから高レベル情報を抽出する。この高レベル情報は、典型的には、アプリケーションプログラムインタフェース（ＡＰＩ）を介して、コントローラ上で実行されるアプリケーションに提供され、それに応じて表示生成コンポーネント１２０を駆動する。例えば、ユーザは、手４０８を移動させ、手の姿勢を変更することによって、コントローラ１１０上で動作するソフトウェアと相互作用することができる。
いくつかの実施形態では、画像センサ４０４は、手４０６を含むシーン上にスポットパターンを投射し、投射されたパターンの画像をキャプチャする。いくつかの実施形態では、コントローラ１１０は、パターンのスポットの横方向シフトに基づいて、三角測量によって（ユーザの手の表面上の点を含む）シーン内の点の３Ｄ座標を計算する。このアプローチは、ユーザが任意の種類のビーコン、センサ、又は他のマーカを保持又は着用する必要がないという点で有利である。これは、画像センサ４０４からの特定の距離で、所定の基準面に対するシーン内の点の深度座標を与える。本開示では、画像センサ４０４は、シーン内の点の深度座標が画像センサによって測定されたｚ成分に対応するように、直交する一連のｘ、ｙ、ｚ軸を定義すると想定される。あるいは、ハンドトラッキングデバイス４４０は、単一又は複数のカメラ又は他のタイプのセンサに基づいて、立体撮像又は飛行時間測定などの他の３Ｄマッピング方法を使用することができる。
いくつかの実施形態では、ハンドトラッキングデバイス１４０は、ユーザが手（例えば、手全体又は１本以上の指）を移動させている間、ユーザの手を含む深度マップの時間シーケンスをキャプチャし処理する。画像センサ４０４及び／又はコントローラ１１０内のプロセッサ上で動作するソフトウェアは、３Ｄマップデータを処理して、これらの深度マップ内の手のパッチ記述子を抽出する。ソフトウェアは、各フレームにおける手の姿勢を推定するために、以前の学習プロセスに基づいて、これらの記述子をデータベース４０８に記憶されたパッチ記述子と照合する。姿勢は、典型的には、ユーザの手関節及び指先の３Ｄロケーションを含む。
ソフトウェアはまた、ジェスチャを識別するために、シーケンス内の複数のフレームにわたって手及び／又は指の軌道を解析することができる。本明細書に記載される姿勢推定機能は、運動追跡機能とインターリーブされてもよく、それにより、パッチベースの姿勢推定が２つ（又はそれ以上）のフレーム毎に１回のみ実行される一方、追跡は残りのフレームにわたって発生する姿勢の変化を発見するために使用される。姿勢、運動、及びジェスチャ情報は、上述のＡＰＩを介して、コントローラ１１０上で実行されるアプリケーションプログラムに提供される。このプログラムは、例えば、姿勢及び／又はジェスチャ情報に応じて、表示生成コンポーネント１２０上に提示された画像を移動させ修正する、又は他の機能を実行することができる。
いくつかの実施形態では、ソフトウェアは、例えばネットワーク上で、コントローラ１１０に電子形態でダウンロードされてもよい、又はその代わりに、光学、磁気、若しくは電子メモリ媒体などの、実体的非一時的媒体に提供されてもよい。いくつかの実施形態では、データベース４０８は、同様に、コントローラ１１０に関連付けられたメモリに記憶される。代替的又は追加的に、コンピュータの記載された機能の一部又は全ては、カスタム又は半カスタム集積回路又はプログラム可能なデジタル信号プロセッサ（ＤＳＰ）などの専用のハードウェアに実装されてもよい。コントローラ１１０は、例として、画像センサ４４０からの別個のユニットとして図４に示されているが、コントローラの処理機能の一部又は全部は、好適なマイクロプロセッサ及びソフトウェアによって、又はハンドトラッキングデバイス４０２のハウジング内の専用回路によって、又は他の方法で画像センサ４０４に関連付けることができる。いくつかの実施形態では、これらの処理機能のうちの少なくともいくつかは、（例えば、テレビセット、ハンドヘルドデバイス、又はヘッドマウントデバイスにおいて）表示生成コンポーネント１２０と統合された好適なプロセッサによって、又はゲームコンソール又はメディアプレーヤなどの任意の他の適切なコンピュータ化されたデバイスを用いて実行されてもよい。画像センサ４０４の感知機能は、同様に、センサ出力によって制御されるコンピュータ又は他のコンピュータ化された装置に統合することができる。
図４は、いくつかの実施形態による、画像センサ４０４によってキャプチャされた深度マップ４１０の概略図を更に含む。深度マップは、上述したように、それぞれの深度値を有するピクセルのマトリックスを含む。手４０６に対応するピクセル４１２は、このマップで背景及び手首からセグメント化されている。深度マップ４１０内の各ピクセルの輝度は、深度値、即ち、画像センサ４０４からの測定されたｚ距離に反比例し、深度が上昇するにつれて階調が濃くなる。コントローラ１１０は、人間の手の特徴を有する画像の成分（即ち、隣接ピクセル群）を識別及びセグメント化するために、これらの深度値を処理する。これらの特性は、例えば、深度マップのシーケンスの全体サイズ、形状、フレームからフレームへの運動を含むことができる。
図４はまた、いくつかの実施形態による、コントローラ１１０が手４０６の深度マップ４１０から最終的に抽出する手骨格４１４を概略的に示す。図４では、骨格４１４は、元の深度マップからセグメント化された手の背景４１６に重畳される。いくつかの実施形態では、手（例えば、指関節、指先、掌の中心、手首に接続する手の終端など）、及び任意選択的に手に接続された手首又は腕上の主要な特徴点が、手の骨格４１４上で識別され配置される。いくつかの実施形態では、複数の画像フレーム上にわたるこれらの主要な特徴点のロケーション及び移動がコントローラ１１０によって使用されて、いくつかの実施形態により、手によって実行される手ジェスチャ又は手の現在の状態を判定する。
図５は、アイトラッキングデバイス１３０（図１）の例示的な実施形態を示す。いくつかの実施形態では、アイトラッキングデバイス１３０は、アイトラッキングユニット２４５（図２）によって制御されて、シーン１０５に対する、又は表示生成コンポーネント１２０を介して表示されるＣＧＲコンテンツに対するユーザの視線のポジション及び移動を追跡する。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成コンポーネント１２０と統合される。例えば、いくつかの実施形態では、表示生成コンポーネント１２０がヘッドセット、ヘルメット、ゴーグル、又は眼鏡などのヘッドマウントデバイス、又はウェアラブルフレームに配置されたハンドヘルドデバイスである場合、ヘッドマウントデバイスは、ユーザによる視聴のためのＣＧＲコンテンツを生成するコンポーネント及びＣＧＲコンテンツに対するユーザの視線を追跡するためのコンポーネントの両方を含む。いくつかの実施形態では、アイトラッキングデバイス１３０は、表示生成コンポーネント１２０とは別個である。例えば、表示生成コンポーネントがハンドヘルドデバイス又はＣＧＲチャンバである場合、アイトラッキングデバイス１３０は、任意選択的に、ハンドヘルドデバイス又はＣＧＲチャンバとは別個のデバイスである。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイス又はヘッドマウントデバイスの一部である。いくつかの実施形態では、ヘッドマウントアイトラッキングデバイス１３０は、任意選択的に、頭部に装着されている表示生成コンポーネント又は頭部に装着されていない表示生成コンポーネントと共に使用される。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイスではなく、任意選択的に、ヘッドマウント表示生成コンポーネントと組み合わせて使用される。いくつかの実施形態では、アイトラッキングデバイス１３０は、ヘッドマウントデバイスではなく、任意選択的に、非ヘッドマウント表示生成コンポーネントの一部である。
いくつかの実施形態では、表示生成コンポーネント１２０は、ユーザの目の前に左及び右の画像を含むフレームを表示して、３Ｄ仮想ビューをユーザに提供するディスプレイ機構（例えば、左右の目近傍ディスプレイパネル）を使用する。例えば、ヘッドマウント表示生成コンポーネントは、ディスプレイとユーザの目との間に位置する左右の光学レンズ（本明細書では接眼レンズと称される）を含んでもよい。いくつかの実施形態では、表示生成コンポーネントは、表示のためにユーザの環境のビデオをキャプチャする１つ以上の外部ビデオカメラを含んでもよい、又はそれに結合されてもよい。いくつかの実施形態では、ヘッドマウント表示生成コンポーネントは、ユーザが物理的環境を直接視認し、透明又は半透明ディスプレイ上に仮想オブジェクトを表示することができる透明又は半透明のディスプレイを有してもよい。いくつかの実施形態では、表示生成コンポーネントは、仮想オブジェクトを物理的環境に投影する。仮想オブジェクトは、例えば、物理的表面上に、又はホログラフとして投影され、それによって、個人は、システムを使用して、物理的環境の上に重ねられた仮想オブジェクトを観察することができる。そのような場合、左右の目のための別個のディスプレイパネル及び画像フレームが必要とされない場合がある。
図５に示すように、いくつかの実施形態では、視線トラッキングデバイス１３０は、少なくとも１つのアイトラッキングカメラ（例えば、赤外線（ＩＲ）又は近ＩＲ（ＮＩＲ）カメラ）、並びに光（例えば、ＩＲ又はＮＩＲ光）をユーザの目に向けて発する照明源（例えば、ＬＥＤのアレイ若しくはリングなどのＩＲ又はＮＩＲ光源）を含む。アイトラッキングカメラは、ユーザの目に向けられて、光源からの反射ＩＲ又はＮＩＲ光を目から直接受信してもよく、又は代替的に、ユーザの目と、可視光が通過することを可能にしながら目からアイトラッキングカメラにＩＲ又はＮＩＲ光を反射させるディスプレイパネルとの間に配置される「ホット」ミラーに向けられてもよい。視線トラッキングデバイス１３０は、任意選択的に、ユーザの目の画像を（例えば、１秒当たり６０～１２０フレーム（ｆｐｓ）でキャプチャされるビデオストリームとして）キャプチャし、画像を解析して、視線追跡情報を生成し、視線追跡情報をコントローラ１１０に通信する。いくつかの実施形態では、ユーザの両目は、それぞれのアイトラッキングカメラ及び照明源によって別々に追跡される。いくつかの実施形態では、ユーザの片目のみが、個別のアイトラッキングカメラ及び照明源によって追跡される。
いくつかの実施形態では、アイトラッキングデバイス１３０は、デバイス固有の較正プロセスを使用して較正されて、特定の動作環境１００用のアイトラッキングデバイスのパラメータ、例えば、ＬＥＤ、カメラ、ホットミラー（存在する場合）、接眼レンズ、及びディスプレイスクリーンの３Ｄ幾何学的関係及びパラメータを判定する。デバイス固有の較正プロセスは、ＡＲ／ＶＲ機器のエンドユーザへの配送前に、工場又は別の施設で実行されてもよい。デバイス固有の較正プロセスは、自動較正プロセスであってもよく、又は手動較正プロセスであってもよい。ユーザ固有の較正プロセスは、特定のユーザの目パラメータ、例えば、瞳孔ロケーション、中心視覚ロケーション、光軸、視軸、目間隔などの推定を含んでもよい。いくつかの実施形態によれば、いったんアイトラッキングデバイス１３０についてデバイス固有及びユーザ固有のパラメータが判定されると、アイトラッキングカメラによってキャプチャされた画像は、グリント支援方法を使用して処理され、ディスプレイに対するユーザの現在の視覚軸及び視点を判定することができる。
図５に示すように、アイトラッキングデバイス１３０（例えば、１３０Ａ又は１３０Ｂ）は、接眼レンズ（単数又は複数）５２０と、アイトラッキングが行われるユーザの顔の側に配置された少なくとも１つのアイトラッキングカメラ５４０（例えば、赤外線（ＩＲ）又は近ＩＲ（ＮＩＲ）カメラ）と光（例えば、ＩＲ又はＮＩＲ光）をユーザの目（単数又は複数）５９２に向かって発する照明源５３０（例えば、ＮＩＲ発光ダイオード（ＬＥＤ）のアレイ若しくはリングなどのＩＲ又はＮＩＲ光源）とを含む視線追跡システムと、を含む。アイトラッキングカメラ５４０は、ユーザの目（単数又は複数）５９２とディスプレイ５１０（例えば、ヘッドマウントディスプレイの左若しくは右側のディスプレイパネル、又はハンドヘルドデバイスのディスプレイ、プロジェクタなど）との間に位置し、（例えば、図５の上部に示されるように）可視光を透過させながら、目（単数又は複数）５９２からのＩＲ又はＮＩＲ光を反射するミラー５５０に向けられてもよく、あるいは、（例えば、図５の下部に示されるように）反射されたユーザの目（単数又は複数）５９２からのＩＲ又はＮＩＲ光を受け取るように目（単数又は複数）５９２に向けられてもよい。
いくつかの実施形態では、コントローラ１１０は、ＡＲ又はＶＲフレーム５６２（例えば、左及び右のディスプレイパネルの左及び右のフレーム）をレンダリングし、フレーム５６２をディスプレイ５１０に提供する。コントローラ１１０は、様々な目的のために、例えば、表示のためにフレーム５６２を処理する際に、アイトラッキングカメラ５４０からの視線追跡入力５４２を使用する。コントローラ１１０は、任意選択的に、グリント支援方法又は他の適切な方法を使用して、アイトラッキングカメラ５４０から得られた視線追跡入力５４２に基づいて、ディスプレイ５１０上のユーザの視点を推定する。視線追跡入力５４２から推定された視点は、任意選択的に、ユーザが現在見ている方向を判定するために使用される。
以下、ユーザの現在の視線方向のいくつかの可能な使用事例について説明するが、これは限定することを意図するものではない。例示的な使用例として、コントローラ１１０は、判定されたユーザの視線方向に基づいて、仮想コンテンツを異なってレンダリングすることができる。例えば、コントローラ１１０は、周辺領域においてよりもユーザの現在の視線方向から判定された中心視覚領域において、より高い解像度で仮想コンテンツを生成してもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内の仮想コンテンツを位置決め又は移動させてもよい。別の例として、コントローラは、ユーザの現在の視線方向に少なくとも部分的に基づいて、ビュー内に特定の仮想コンテンツを表示してもよい。ＡＲアプリケーションにおける別の例示的な使用事例として、コントローラ１１０は、ＣＧＲ体験の物理的環境をキャプチャして、判定された方向に焦点を合わせるように外部カメラを方向付けることができる。次いで、外部カメラの自動焦点機構は、ユーザが現在ディスプレイ５１０上で見ている環境内のオブジェクト又は表面に焦点を合わせることができる。別の例示的な使用事例として、接眼レンズ５２０は集束可能なレンズであってもよく、視線追跡情報がコントローラによって使用されて、ユーザが現在見ている仮想オブジェクトが、ユーザの目５９２の収束に一致するために適切な両目連動を有するように接眼レンズ５２０の焦点を調整する。コントローラ１１０は、視線追跡情報を活用して、ユーザが見ている近接オブジェクトが正しい距離で現れるように接眼レンズ５２０を方向付けて焦点を調整することができる。
いくつかの実施形態では、アイトラッキングデバイスは、ウェアラブルハウジングに取り付けられた、ディスプレイ（例えば、ディスプレイ５１０）、２つの接眼レンズ（例えば、接眼レンズ（単数又は複数）５２０）、アイトラッキングカメラ（例えば、アイトラッキングカメラ（単数又は複数）５４０）、及び光源（例えば、光源５３０（例えば、ＩＲ ＬＥＤ又はＮＩＲ ＬＥＤ））を含むヘッドマウントデバイスの一部である。光源は、ユーザの目（単数又は複数）５９２に向かって光（例えば、ＩＲ又はＮＩＲ光）を発する。いくつかの実施形態では、光源は、図５に示されるように、各レンズの周りにリング又は円状に配置されてもよい。いくつかの実施形態では、８つの光源５３０（例えば、ＬＥＤ）が、一例として各レンズ５２０の周りに配置される。しかしながら、より多くの又はより少ない光源５３０が使用されてもよく、光源５３０の他の配置及びロケーションが用いられてもよい。
いくつかの実施形態では、ディスプレイ５１０は、可視光範囲内の光を発し、ＩＲ又はＮＩＲ範囲内の光を発さないため、視線追跡システムにノイズを導入しない。アイトラッキングカメラ（単数又は複数）５４０のロケーション及び角度は、例として与えられ、限定することを意図するものではないことに留意されたい。いくつかの実施形態では、単一のアイトラッキングカメラ５４０がユーザの顔の各側に位置する。いくつかの実施形態では、２つ以上のＮＩＲカメラ５４０をユーザの顔の各側に使用することができる。いくつかの実施形態では、より広い視野（ＦＯＶ）を有するカメラ５４０と狭いＦＯＶを有するカメラ５４０が、ユーザの顔の各側に使用されてもよい。いくつかの実施形態では、１つの波長（例えば、８５０ｎｍ）で動作するカメラ５４０と異なる波長（例えば、９４０ｎｍ）で動作するカメラ５４０とが、ユーザの顔の各側に使用されてもよい。
図５に示すような視線追跡システムの実施形態は、例えば、コンピュータ生成現実（例えば、仮想現実、及び／又は複合現実を含む）アプリケーションに使用されて、コンピュータ生成現実（例えば、仮想現実、拡張現実、及び／又は拡張仮想を含む）の体験をユーザに提供することができる。
図６は、いくつかの実施形態による、グリント支援視線追跡パイプラインを示す。いくつかの実施形態では、視線追跡パイプラインは、グリント支援視線追跡システム（例えば、図１及び図５に示されるようなアイトラッキングデバイス１３０）によって実現される。グリント支援視線追跡システムは、追跡状態を維持することができる。最初、追跡状態はオフ又は「いいえ」である。追跡状態にあるとき、グリント支援視線追跡システムは、現フレームを解析する際に前のフレームからの先行情報を使用して、現フレーム内の瞳孔輪郭及びグリントを追跡する。追跡状態にない場合、グリント支援視線追跡システムは、現フレーム内の瞳孔及びグリントを検出しようとし、それに成功した場合、追跡状態を「はい」に初期化し、追跡状態で次のフレームに続く。
図６に示すように、視線追跡カメラは、ユーザの左目及び右目の左右の画像をキャプチャすることができる。次いで、キャプチャされた画像は、６１０で開始される処理のために視線追跡パイプラインに入力される。要素６００に戻る矢印によって示されるように、視線追跡システムは、例えば、毎秒６０～１２０フレームの速度で、ユーザの目の画像をキャプチャし続けることができる。いくつかの実施形態では、キャプチャされた画像の各セットが、処理のためにパイプラインに入力されてもよい。しかしながら、いくつかの実施形態、又はいくつかの条件下では、全てのキャプチャされたフレームがパイプラインによって処理されるわけではない。
６１０で、現在のキャプチャされた画像について、追跡状態がはいである場合、この方法は要素６４０に進む。６１０で、追跡状態がいいえである場合、６２０に示されるように、画像が解析されて、画像内のユーザの瞳孔及びグリントを検出する。６３０で、瞳孔とグリントが正常に検出される場合、方法は要素６４０に進む。正常に検出されない場合、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。
６４０で、要素４１０から進む場合、前のフレームからの先行情報に部分的に基づいて、現フレームが解析されて、瞳孔及びグリントを追跡する。６４０で、要素６３０から進む場合、現フレーム内の検出された瞳孔及びグリントに基づいて、追跡状態が初期化される。要素６４０での処理の結果は、追跡又は検出の結果が信頼できることを確認するためにチェックされる。例えば、結果は、瞳孔及び視線推定を実行するための十分な数のグリントが現フレームで正常に追跡又は検出されるかどうかを判定するためにチェックすることができる。６５０で、結果が信頼できない場合、追跡状態はいいえに設定され、方法は要素６１０に戻り、ユーザの目の次の画像を処理する。６５０で、結果が信頼できる場合、方法は要素６７０に進む。６７０で、追跡状態ははいに設定され（まだはいではない場合）、瞳孔及びグリント情報が要素６８０に渡されて、ユーザの視点を推定する。
図６は、特定の実施で使用され得るアイトラッキング技術の一例として機能することを意図している。当業者によって認識されるように、現在存在するか、又は将来開発される他のアイトラッキング技術は、様々な実施形態によるＣＧＲ体験をユーザに提供するためにコンピュータシステム１０１において、本明細書に記載されるグリント支援アイトラッキング技術の代わりに、又はそれと組み合わせて使用することができる。
本開示では、コンピュータシステムとの相互作用に関して、様々な入力方法が説明される。一例が１つの入力デバイス又は入力方法を使用して提供され、別の例が別の入力デバイス又は入力方法を使用して提供される場合、各例は、別の例に関して記載された入力デバイス又は入力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な出力方法が、コンピュータシステムとの相互作用に関して説明される。一例が１つの出力デバイス又は出力方法を使用して提供され、別の例が別の出力デバイス又は出力方法を使用して提供される場合、各例は、別の例に関して記載された出力デバイス又は出力方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。同様に、様々な方法が、コンピュータシステムを介した仮想環境又は複合現実環境との相互作用に関して説明される。一例が仮想環境との相互作用を使用して提供され、別の例が複合現実環境を使用して提供される場合、各例は、別の例に関して説明された方法と互換性があり得、任意選択的にそれらを利用することを理解されたい。したがって、本開示は、各例示的な実施形態の説明における実施形態の全ての特徴を網羅的に列挙することなく、複数の例の特徴の組み合わせである実施形態を開示する。
ユーザインタフェース及び関連するプロセス
ここで、ユーザインタフェース（「ＵＩ」）の実施形態、及び、表示生成コンポーネント、１つ以上の入力デバイス、及び（任意選択的に）１つ又は複数のカメラを備えた、ポータブル多機能デバイス又はヘッドマウントデバイスなどのコンピュータシステムにおいて実行され得る関連プロセスに注目する。
図７Ａ～図７Ｐは、表示生成コンポーネント（例えば、表示生成コンポーネント７１００、表示生成コンポーネント７２００、表示生成コンポーネント１２０など）を介して表示される三次元環境と、三次元環境に向けられたユーザ入力及び／又は他のコンピュータシステム及び／又はセンサから受信された入力によって引き起こされる三次元環境において発生する相互作用とを示す。いくつかの実施形態では、入力は、三次元環境内の仮想オブジェクトのポジションで検出されたユーザの視線によって、仮想オブジェクトのポジションに対応する、物理的環境内のロケーションで実行される手のジェスチャによって、仮想オブジェクトが入力フォーカスを有する間に仮想オブジェクトのポジションとは無関係な物理的環境内のロケーションで実行される手のジェスチャ（例えば、同時に及び／又は以前に検出された視線入力によって選択される、同時に又は以前に検出されたポインタ入力によって選択される、同時に及び／又は以前に検出されたジェスチャ入力によって選択されるなど）によって、仮想オブジェクトのポジションにフォーカスセレクタオブジェクト（例えば、ポインタオブジェクト、セレクタオブジェクトなど）を配置した入力デバイスなどによって、三次元内の仮想オブジェクトに向けられる。いくつかの実施形態では、入力は、ユーザの手の移動（例えば、手全体の移動、個別の姿勢での手全体の移動、手の一部の手の別の部分に対する移動、２つの手の間の相対的な移動など）及び／又は物理的オブジェクトに対する操作（例えば、タッチする、スワイプする、タップする、開く、向かって移動する、相対的に移動するなど）によって、物理的オブジェクト又は物理的オブジェクトに対応する仮想オブジェクトの表現に向けられる。いくつかの実施形態では、コンピュータシステムは、センサ（例えば、画像センサ、温度センサ、バイオメトリックセンサ、運動センサ、近接センサなど）からの入力及びコンテキスト条件（例えば、ロケーション、時間、環境内の異なるの存在など）に従って、三次元環境の表示を変更する（例えば、追加の仮想コンテンツを表示する、又は既存の仮想コンテンツの表示を停止する、視覚的コンテンツを表示する異なる没入レベル間で遷移するなど）。いくつかの実施形態では、コンピュータシステムは、（例えば、共有コンピュータ生成体験、共有仮想環境、通信セッションの共有仮想又は拡張現実環境などにおいて）コンピュータ生成環境をコンピュータシステムのユーザと共有している他のユーザによって使用される他のコンピュータからの入力に従って、三次元環境の表示を変更する（例えば、追加の仮想コンテンツを表示する、又は既存の仮想コンテンツの表示を停止する、視覚的コンテンツを表示する様々な没入レベル間で遷移するなど）。
いくつかの実施形態では、表示生成コンポーネントを介して表示される三次元環境は、物理的環境の表現なしに三次元環境内の様々な仮想ポジションに仮想オブジェクト及びコンテンツを含む仮想三次元環境である。いくつかの実施形態では、三次元環境は、物理的環境の１つ以上の物理的側面（例えば、壁、床、表面、重力の方向、時刻などのポジション及び向き）によって制約される三次元環境内の様々な仮想ポジションに仮想オブジェクトを表示する複合現実環境である。いくつかの実施形態では、三次元環境は、物理的環境の表現を含む拡張現実環境である。物理的環境の表現は、物理的環境内の異なる物理的オブジェクトと表面との間の空間関係が、三次元環境内の物理的オブジェクトと表面との表現間の空間関係によって反映されるように、三次元環境内の異なるポジションにある物理的オブジェクト及び表面のそれぞれの表現を含む。仮想オブジェクトが、三次元環境内の物理的オブジェクト及び表面の表現のポジションに対して配置されるとき、仮想オブジェクトは、物理的環境内の物理的オブジェクト及び表面との対応する空間関係を有するように見える。いくつかの実施形態では、コンピュータシステムは、ユーザ入力及び／又はコンテキスト条件に基づいて、異なるタイプの環境を表示することの間で遷移する（例えば、異なる没入レベルでコンピュータ生成環境又は体験を提示すること、仮想コンテンツからの、及び物理的環境の表現からの音声／視覚感覚入力の相対的プロミネンスを調整することなどの間で遷移する）。
いくつかの実施形態では、表示生成コンポーネントは、物理的環境の表現が表示されるパススルー部分を含む。いくつかの実施形態では、パススルー部分は、ユーザの視野を取り囲み、ユーザの視野内の物理的環境の少なくとも一部を明らかにする表示生成コンポーネントの透明又は半透明（例えば、シースルー）部分である。例えば、パススルー部分は、半透明（例えば、５０％、４０％、３０％、２０％、１５％、１０％、又は５％未満の不透明度）又は透明であるヘッドマウントディスプレイの一部であり、それにより、ユーザは、ヘッドマウントディスプレイを除去することなく、又はヘッドアップディスプレイから離れたりすることなく、パススルー部分を通じてユーザを取り囲む現実世界を視認することができる。いくつかの実施形態では、パススルー部分は、仮想又は複合現実環境を表示するとき、半透明又は透明から完全に不透明に徐々に遷移する。いくつかの実施形態では、表示生成コンポーネントのパススルー部分は、１つ以上のカメラ（例えば、モバイルデバイスの若しくはヘッドマウントディスプレイに関連付けられた後面カメラ（単数又は複数）、又は画像データを電子デバイスに供給する他のカメラ）によってキャプチャされた物理的環境の少なくとも一部の画像又はビデオのライブフィードを表示する。いくつかの実施形態では、１つ以上のカメラは、直接ユーザの目の前に（例えば、表示生成コンポーネントの後ろに）ある物理的環境の一部に向けられる。いくつかの実施形態では、１つ以上のカメラは、直接ユーザの目の前にない（例えば、異なる物理的環境にある、又はユーザの側方又は後方にある）物理的環境の一部に向けられる。
いくつかの実施形態では、物理的環境（例えば、仮想現実環境、複合現実環境、拡張現実環境など）内の１つ以上の物理的オブジェクトのロケーションに対応するポジションに仮想オブジェクトを表示するとき、仮想オブジェクトのうちの少なくともいくつかは、カメラのライブビューの一部（例えば、ライブビュー内にキャプチャされた物理的環境の一部）の代わりに表示される（例えば、その表示を置換する）。いくつかの実施形態では、仮想オブジェクト及びコンテンツのうちの少なくともいくつかは、物理的環境内の物理的表面又は空き空間上に投影され、表示生成コンポーネントのパススルー部分を通じて可視である（例えば、物理的環境のカメラビューの一部として、又は表示生成コンポーネントの透明若しくは半透明の部分を通じて可視であるなど）。いくつかの実施形態では、仮想オブジェクト及びコンテンツのうちの少なくともいくつかは、ディスプレイの一部分に重なるように表示され、表示生成コンポーネントの透明又は半透明部分を介して可視である物理的環境の少なくとも一部分のビューを遮断する。
いくつかの実施形態では、表示生成コンポーネントは、三次元環境の現在表示されているビューの視点の仮想ポジションを三次元環境に対して変更するユーザ入力又は移動に従って、三次元環境の異なるビューを表示する。いくつかの実施形態では、三次元環境が仮想環境であるとき、視点は、物理的環境内のユーザの頭部、胴体、及び／又は表示生成コンポーネントの移動を必要とすることなく、ナビゲーション又は移動要求（例えば、空中の手のジェスチャ、手の１つの部分の手の別の部分に対する移動によって行われるジェスチャなど）に従って移動する。いくつかの実施形態では、（例えば、ユーザが表示生成コンポーネントを保持すること、又はＨＭＤを装着することなどによる）物理的環境に対するユーザの頭部及び／若しくは胴体の移動、並びに／又はコンピュータシステムの表示生成コンポーネント若しくは他のロケーション感知要素の移動などは、三次元環境に対する視点の対応する移動（例えば、対応する移動方向、移動距離、移動速度、及び／又は向きの変化などを伴う）を引き起こし、三次元環境の現在表示されているビュー内の対応する変化をもたらす。いくつかの実施形態では、仮想オブジェクトが視点に対して予め設定された空間関係を有するとき、三次元環境に対する視点の移動は、視野内の仮想オブジェクトのポジションが維持されている間（例えば、仮想オブジェクトは、頭部が係止されていると言われる）、三次元環境に対する仮想オブジェクトの移動を引き起こす。いくつかの実施形態では、仮想オブジェクトは、ユーザに対して身体が係止され、ユーザが物理的環境内で全体として移動する（例えば、コンピュータシステムの表示生成コンポーネント及び／又は他のロケーション感知コンポーネントを携行又は装着する）とき、三次元環境に対して移動するが、ユーザの頭部の移動に応じて三次元環境内で移動しない（例えば、コンピュータシステムの表示生成コンポーネント及び／又は他のロケーション感知コンポーネントは、物理的環境内のユーザの固定ロケーションの周りを回転する）。
いくつかの実施形態では、図７Ａ～７Ｐに示される三次元環境のビューは、ユーザの手（単数又は複数）、腕（単数又は複数）、及び／又は手首（単数又は複数）の表現（単数又は複数）を含む。いくつかの実施形態では、表現（単数又は複数）は、表示生成コンポーネントを介して提供される物理的環境の表現の一部である。いくつかの実施形態では、表現は、物理的環境の表現の一部ではなく、（例えば、ユーザの手（単数又は複数）、腕（単数又は複数）、及び手首（単数又は複数）に向けられる１つ以上のカメラによって）、三次元環境のビューとは無関係に、三次元環境内に表示される。いくつかの実施形態では、表現（単数又は複数）は、コンピュータシステム（単数又は複数）の１つ以上のカメラによってキャプチャされたカメラ画像、又は様々なセンサによってキャプチャされた情報に基づく腕（単数又は複数）、手首（単数又は複数）、及び／又は手（単数又は複数）の様式化されたバージョンを含む。いくつかの実施形態では、表現（単数又は複数）は、物理的環境の表現の一部の表示を置換する、その一部に重なる、又はその一部のビューを遮断する。いくつかの実施形態では、表示生成コンポーネントが物理的環境のビューを提供せず、完全な仮想環境（例えば、カメラビュー又は透明パススルー部分がない）を提供するとき、ユーザの一方又は両方の腕、手首、及び／又は手のリアルタイム視覚的表現（例えば、様式化表現又はセグメント化されたカメラ画像）は、依然として仮想環境内に表示され得る。
図７Ａ～図７Ｃは、いくつかの実施形態による、２人以上のユーザ間で共有されるコンピュータ生成三次元環境内のユーザインタフェースオブジェクトとの相互作用を示すブロック図である。
いくつかの実施形態では、コンピュータシステムは、複数のユーザ（例えば、第１のユーザ７１０２、第２のユーザ７００２、別のユーザなど）が、三次元環境（例えば、三次元環境７０１５、別の仮想環境又は拡張現実環境など）に表示される第１のユーザインタフェースオブジェクト（例えば、第１のユーザインタフェースオブジェクト７０１６、別のユーザインタフェースオブジェクト、コントロールパネル、仮想メニュー、メディアオブジェクトなど）にアクセスする権利を有することを許可するが、別のユーザ（例えば、第２のユーザ７００２、第２のユーザ７００２とは異なる別のユーザなど）が第１のユーザインタフェースオブジェクトと相互作用している間、ユーザ（例えば、第１のユーザ７１０２、又は第１のユーザ７１０２とは異なる別のユーザなど）が第１のユーザインタフェースオブジェクトにアクセスすることを防止する。第１のユーザ（例えば、第１のユーザ７１０２）によって使用される第１の表示生成コンポーネント（例えば、表示生成コンポーネント７２００、ＨＭＤなどの異なるタイプの表示生成コンポーネントなど）を介して第１のユーザインタフェースオブジェクトを含む三次元環境のビューを表示するとき、コンピュータシステムは、第１のユーザインタフェースオブジェクトに向けられた第１のユーザ入力（例えば、視線入力、手の移動、視線入力とユーザの手の移動との組み合わせなど）を検出する。第１のユーザ入力の検出に応じて、コンピュータシステムは、第１のユーザインタフェースオブジェクトがその時点で第１のユーザとの相互作用に利用可能であるか否かに応じて、第１のユーザインタフェースオブジェクトに対して第１のユーザ入力に対応する第１の動作を実行する（例えば、第１のユーザインタフェースオブジェクト又はその表現を第１のユーザの手７２０２の表現７２０２’に移動させる、三次元環境を変化させる（例えば、三次元環境内の仮想コンテンツの表示又は解除を引き起こす、三次元環境内の他の仮想コンテンツを変化させるなど）第１のユーザインタフェースオブジェクトに関連付けられた機能を実行するなど）か、又は第１のユーザインタフェースオブジェクトが第１のユーザとの相互作用に利用可能でないという視覚的インジケーションを表示し、第１の動作の実行を取りやめる。コンピュータシステムは、視覚的インジケーションを提供し、別のユーザ（例えば、第２のユーザ７００２）がその時点で第１のユーザインタフェースオブジェクトを制御する（例えば、別のユーザが、第１のユーザインタフェースオブジェクトと相互作用している、第１のユーザの同時相互作用を除外するように第１のユーザインタフェースオブジェクトと相互作用している、及び／又は第１のユーザが実行しようとしているタイプのアクションについて第１のユーザインタフェースオブジェクトをロックしているなど）という判定に従って、第１の動作の実行を取りやめる。いくつかの実施形態では、視覚的インジケーションを表示することは、第１のユーザに対して示される三次元環境のビュー内の第１のユーザインタフェースオブジェクトを移動させて、第１のユーザインタフェースオブジェクトと第１のユーザの手の接近表現との間の予め設定された距離を維持することを含む。いくつかの実施形態では、視覚的インジケーションを表示することは、第１のユーザに対して示される三次元環境のビュー（例えば、図７Ｃに示されるように、ユーザ７１０２側のビュー）内の第１のユーザインタフェースオブジェクトの視覚的外観を変更することを含む。いくつかの実施形態では、第１のユーザインタフェースオブジェクトが制御ユーザによって（例えば、スロージェスチャ、トスジェスチャなどによって）第１のユーザに解放されると、コンピュータシステムは、第１のユーザインタフェースオブジェクトが、第１のユーザに対して示される三次元環境の現在表示されているビューの視点に対して予め設定された向きで（例えば、コンテンツ側又は制御側が第１のユーザ７１０２に向かって）表示されるように、第１のユーザインタフェースオブジェクトを回転させる。いくつかの実施形態では、コンピュータシステムは、第１のユーザの一部の表現（例えば、第１のユーザ７１０２の手７２０２の表現、ユーザの顔の仮想ポジションの腕の届く範囲内など）のポジション又はその近くに第１のユーザインタフェースオブジェクトの表現を表示することによって、第１のユーザインタフェースオブジェクトの第１のユーザへのアクセスを制御する。
図７Ａ～図７Ｃに示される例では、いくつかの実施形態によれば、三次元環境７０１５は、ユーザ７１０２及び７００２のうちの一方から、一方のユーザによって制御されるコンピュータシステムを使用して開始され、ユーザ７１０２及び７００２のうちの他方によって、他方のユーザによって制御されるコンピュータシステムを使用して受け入れられる要求に応じて、第１のユーザ７１０２と第２のユーザ７００２との間で共有される。いくつかの実施形態では、両方のユーザが、第３のユーザによって使用されるコンピュータシステムから、それぞれのコンピュータシステムを使用して三次元環境を共有する要求を受信し、受け入れている。いくつかの実施形態では、両方のユーザが、それぞれのコンピュータシステムを使用して、三次元環境を共有する要求をサーバに送信しており、ユーザの要求は、サーバによって受け入れられている。コンピュータ生成三次元環境を共有するとき、ユーザのロケーション及び向き、並びにユーザのそれぞれの頭、目、手、腕、及び／又は手首のロケーション及び向きは、センサ（例えば、カメラ、運動センサなど）によってリアルタイムで又は周期的にキャプチャされ、ロケーション及び向きデータは、ユーザによって制御されるコンピュータシステムの一方又は両方、及び／又はコンピュータシステムと通信しているサーバに提供される。ロケーションデータは、コンピュータシステム及び／又はサーバによって使用されて、コンピュータ生成三次元環境内のユーザのそれぞれのポジション及び向き、並びにユーザのそれぞれの頭部、目、手、腕、及び／又は手首のそれぞれのポジション及び向き、並びに、対応して、ユーザに関連付けられた異なる表示生成コンポーネントを介して提供される三次元環境のビュー内のユーザのそれぞれの頭部、腕、手、及び／又は手首を含むユーザの表現のそれぞれのポジション、並びにユーザに関連付けられた異なる表示生成コンポーネントを介して提供される三次元環境のビューの視野及び視点を判定する。
いくつかの実施形態では、２人以上のユーザが、コンピュータ生成環境（例えば、仮想電話会議、チャットセッション、マルチプレーヤゲーム、共有コンピュータ生成体験（例えば、グループ瞑想、エクササイズ、ゲーム、共同作業など）など）を共有するとき、それらは、コンピュータ生成環境内に存在する同じユーザインタフェースオブジェクト（例えば、仮想ボール、仮想制御パネル、文書又はメディアコンテンツ、仮想メニュー、ユーザインタフェースなど）を制御及び／又は操作することを所望し得る。これにより、コンピュータシステムがユーザインタフェースオブジェクトに対して異なるユーザのアクションを一貫して優先することが困難になる場合があり、結果として生じる三次元環境の変化がユーザを混乱させる可能性がある。本明細書に開示されるように、コンピュータシステムは、第１のユーザ７１０２に提示される環境のビュー７０１５－１内の第１のユーザインタフェースオブジェクトの外観特性のセットを変更することによって、環境内の第２のユーザ７００２の既に制御下にある第１のユーザインタフェースオブジェクト７０１６と相互作用しようとする第１のユーザ７１０２の試みに応じて視覚的フィードバックを提供し、それによって、ユーザのアクション間の競合を低減し、ユーザが第１のユーザインタフェースオブジェクト７０１６と相互作用するときのユーザ混乱を低減する。いくつかの実施形態では、第１のユーザインタフェースオブジェクトを制御する第２のユーザ７００２に対して示される三次元環境のビュー７０１５－２に提示される第１のユーザインタフェースオブジェクト７０１６は、第１のユーザインタフェースオブジェクトと相互作用しようとする第１のユーザの試みの結果として変更されず、第２のユーザ７００２が第１のユーザインタフェースオブジェクト７０１６と相互作用するときに第２のユーザ７００２に対する混乱を引き起こさない。
図７Ａは、例示的な物理的環境（例えば、シーン１０５、別の屋内又は屋外の物理的環境など）を示す。いくつかの実施形態では、図７Ａに示されるように、２人以上のユーザ（例えば、ユーザ７１０２、ユーザ７００２など）が同じ物理的環境に存在する。第１のユーザ７１０２は、第１の表示生成コンポーネント（例えば、表示生成コンポーネント７２００、第１のユーザによって使用されるＨＭＤなどの別のタイプの表示生成コンポーネントなど）を介して、三次元環境７０１５（例えば、拡張現実環境、仮想環境など）の第１のビュー７０１５－１を見ている。第２のユーザ７００２は、第２の表示生成コンポーネント（例えば、表示生成コンポーネント７１００、第２のユーザによって使用されるＨＭＤなどの別のタイプの表示生成コンポーネントなど）を介して同じ三次元環境７０１５の第２のビュー７０１５－２を見ている。いくつかの実施形態では、三次元環境７０１５（例えば、第１の表示生成コンポーネント７２００を介して提示されるときに７０１５－１とラベル付けされ、第２の表示生成コンポーネント７１００を介して提示されるときに７０１５－２とラベル付けされるなど）は、共有コンピュータ生成体験、通信セッション、アプリケーション環境、ゲーム、映画などの環境である。
いくつかの実施形態では、第１のユーザ７１０２及び第２のユーザ７００２は、必ずしも同じ物理的環境に同時に位置している必要はなく、２つの異なる物理的環境に別々に位置していてもよい。いくつかの実施形態では、三次元環境７０１５は、第２のユーザではなく第１のユーザの物理的環境の表現を含み、第１のユーザ及び第２のユーザは、第１のユーザの物理的環境に基づいて、三次元環境内の共有体験を有する。いくつかの実施形態では、三次元環境７０１５は、第１のユーザではなく第２のユーザの物理的環境の表現を含み、第１のユーザ及び第２のユーザは、第２のユーザの物理的環境に基づいて三次元環境内の共有体験を有する。いくつかの実施形態では、三次元環境７０１５は、第１のユーザの物理的環境又は第２のユーザの物理的環境ではない第３の物理的環境の表現を含み、第１のユーザ及び第２のユーザは、第３の物理的環境（例えば、共有体験に参加している第３のユーザの物理的環境、ユーザに関連付けられていない、又は共有体験に参加していないユーザに関連付けられている別の物理的環境など）に基づいて、三次元環境内に共有体験を有する。いくつかの実施形態では、三次元環境７０１５は、仮想三次元環境を含み、第１のユーザ及び第２のユーザは、仮想三次元環境内の共有体験を有する。いくつかの実施形態では、それぞれの物理的環境（例えば、同じ物理的環境、異なる物理的環境など）内の第１のユーザ及び第２のユーザのポジション及び移動は、同じ三次元環境内のポジション及び移動に（例えば、同じマッピング関係、又は異なるマッピング関係などを使用して）マッピングされるが、三次元環境の外観は、（例えば、異なる壁紙、配色、異なる仮想家具などを用いて）調整されて、個別のユーザに対して示される三次元環境のビュー内で個別のユーザに合わせて適応させることができる。
いくつかの実施形態では、コンピュータシステムは、環境７０１５の少なくとも空間部分（例えば、リビングルームに対応するがキッチンには対応しない環境の空間部分、第１のユーザの前の物理空間の部分に対応するが第１のユーザの後ろの物理空間の部分には対応しない環境の空間部分など）が共有されているという判定に従って、三次元環境が第１のユーザ７１０２と第２のユーザ７００２との間で少なくとも部分的に共有されていると判定する。いくつかの実施形態では、コンピュータシステムは、環境７０１５の少なくとも空間部分が少なくともある期間中（例えば、第１のユーザと第２のユーザとの間の通信セッション中、午前中、勤務時間中、両方のユーザがオンラインであるときなど）に共有されるという判定に従って、三次元環境が第１のユーザと第２のユーザとの間で少なくとも部分的に共有されると判定する。いくつかの実施形態では、コンピュータシステムは、環境７１０５内のオブジェクトが完全に又は部分的に共有される（例えば、同時に可視でありかつアクセス可能である、同時に可視であるが同時にアクセス可能ではない、他者が制御しているときに可視であるがアクセス可能ではない（例えば、他者がオブジェクトを見ることができる、又は見ることができないなど））という判定に従って、三次元環境７０１５が第１のユーザと第２のユーザとの間で少なくとも部分的に共有されると判定する。いくつかの実施形態では、コンピュータシステムは、三次元環境７０１５の少なくとも一部（例えば、三次元環境の第１のビュー７０１５－１に示される部分、三次元環境７０１５の別の部分など）が第１のユーザ及び第２のユーザの両方によって同時に見られるために表示されるという判定に従って、三次元環境７０１５が第１のユーザと第２のユーザとの間で少なくとも部分的に共有されると判定する。いくつかの実施形態では、コンピュータシステムは、三次元環境内の仮想オブジェクトの一部又は全部が三次元環境内で第１のユーザ及び第２のユーザの両方に同時に表示されるという判定に従って、三次元環境７０１５が第１のユーザと第２のユーザとの間で少なくとも部分的に共有されていると判定する。
図７Ｂ及び図７Ｃでは、コンピュータシステムは、第１の表示生成コンポーネント７２００を介して、第１のユーザ７１０２と第２のユーザ７００２との間で少なくとも部分的に共有される三次元環境７０１５の第１のビュー７０１５－１を表示し、実質的に同時に（例えば、ネットワーク遅延、処理時間遅延などについて調整されて）、コンピュータシステム又はコンピュータシステムと通信している別のコンピュータシステムは、第２の表示生成コンポーネント７１００を介して三次元環境７１０５の第２のビュー７０１５－２を表示する。いくつかの実施形態によれば、第１のビュー７０１５－１及び第２のビュー７０１５－２は両方とも、三次元環境の少なくとも第１の部分（例えば、三次元環境において表される物理的環境の同じ部分に対応する個別の部分、三次元環境の仮想環境の同じ部分に対応する個別の部分など）を含む。いくつかの実施形態では、三次元環境の第１の部分は、任意選択的に、（例えば、第１のユーザとその物理的環境との間のそれぞれの空間関係、及び／又は第１のユーザとその物理的環境との間のそれぞれの空間関係などに基づいて）三次元環境７１０５の第１のビュー７０１５－１及び第２のビュー７０１５－２内で異なる視野角から示される。
いくつかの実施形態では、第１のビュー７０１５－１は、第１のユーザ７１０２の物理的環境内の第１のユーザ７１０２の現在ロケーションに対応するポジションを有する第１の視点を有し、そのポジションは、第１のユーザ７１０２の物理的環境（例えば、シーン１０５、別の物理的環境など）内の第１のユーザ７１０２の移動に従って三次元環境７０１５内で移動する。いくつかの実施形態において、第２のビュー７０１５－２は、第２のユーザ７００２の物理的環境内の現在ロケーションに対応する、三次元環境７０１５におけるポジションを有する第２の視点を有し、そのポジションは、第２のユーザの物理的環境（例えば、シーン１０５、別の物理的環境など）内の第２のユーザ７００２の移動に従って三次元環境７０１５内で移動する。いくつかの実施形態では、個別の表示生成コンポーネント（例えば、第１の表示生成コンポーネント７２００、第２の表示生成コンポーネント７１００など）を介して示される三次元環境７０１５の現在表示されているビューの視点は、個別の表示生成コンポーネントの現在ロケーションに対応する、三次元環境７０１５内のポジション を有し、そのポジションは、個別の表示生成コンポーネントの物理的環境（例えば、シーン１０５、別の物理的環境など）内の個別の表示生成コンポーネントの移動に従って三次元環境７０１５内で移動する。いくつかの実施形態では、個別の表示生成コンポーネント（例えば、第１の表示生成コンポーネント７２００、第２の表示生成コンポーネント７１００など）を介して示される三次元環境７０１５の現在表示されているビューの視点は、個別の表示生成コンポーネントに関連付けられた１つ以上のカメラの現在ロケーションに対応する、三次元環境内のポジションを有し、そのポジションは、個別の表示生成コンポーネントの物理的環境（例えば、シーン１０５、別の物理的環境など）内の個別の表示生成コンポーネントに関連付けられた１つ以上のカメラの移動に従って三次元環境７０１５内で移動する。図７Ａ～図７Ｃに示す例では、第１のビュー７０１５－１及び第２のビュー７０１５－２が同じ視点を有するように見えるが、第１の表示生成コンポーネント７２００及び第２の表示生成コンポーネント７１００を介して示されるそれぞれのビュー及びそれらの対応する視点は、第１の表示生成コンポーネント（及び第１のユーザ）及び第２の表示生成コンポーネント（及び第２のユーザ）のそれぞれの物理的環境に存在する空間関係及び移動に基づいて別々に独立して判定され、所与の時間において厳密に同じである必要はないことを理解されたい。
図７Ｂ及び図７Ｃにおいて、三次元環境７０１５の第１のビュー７０１５－１及び第２のビュー７０１５－２は、１つ以上のユーザインタフェースオブジェクト（例えば、第１のユーザインタフェースオブジェクト７０１６、第２のユーザインタフェースオブジェクト７０１８、他のユーザインタフェースオブジェクト、仮想三次元オブジェクトなど）、及び任意選択的に、１つ以上の表面（例えば、壁７００４の表現７００４’又は７００４’’、壁７００６の表現７００６’又は７００６’’、床７００８の表現７００８’又は７００８’’、仮想壁、仮想スクリーン、仮想窓、仮想風景などの仮想表面）、及び／又は１つ以上の物理的オブジェクトの表現（例えば、物理的環境７０１５内の物理的オブジェクト７０１４の表現７０１４’又は７０１４’’、三次元環境７０１４において表される別の物理的環境内の他の物理的オブジェクトの表現など）を含む。いくつかの実施形態では、第１のビュー７０１５－１及び第２のビュー７０１５－２は、物理的環境の表現を含まず、仮想三次元環境（例えば、仮想会議室、ゲーム環境、仮想体験、仮想競技場など）を含む。
いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６は、アプリケーションの表現であり、予め設定された基準を満たす第１のユーザインタフェースオブジェクトとの相互作用は、コンピュータシステムに、三次元環境においてアプリケーションを開始させるか、又はアプリケーションのアプリケーション機能を実行させる。いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６は、複数のユーザインタフェースオブジェクト（例えば、選択可能なアバター、選択可能なメニューアイテム、選択可能なデバイスコントロール、選択可能なコンテンツアイテム、スライダコントロール、ボタンなど）を含むユーザインタフェースである。いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６は、物理的環境内のユーザの手の移動に従って三次元環境内で操作（例えば、変形、部分への分離、回転、移動など）することができる仮想三次元オブジェクトである。いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６は、異なる機能又は動作に対応する複数のコントロールを含む単一のコントロール又はコントロールパネルである。いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６は、情報アイテム、通知、アラートなどである。いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６は、メディアアイテム又は文書などである。
いくつかの実施形態では、図７Ｂ及び図７Ｃに示すように、第１のビュー７０１５－１は、第１のユーザ７１０２の手７２０２の表現７２０２’、及び第２のユーザ７００２の手７０２８の表現７０２８’を含み、第２のビュー７０１５－２は、第１のユーザ７１０２の手７２０２の表現７２０２’’、及び第２のユーザ７００２の手７０２８の表現７０２８’’を含む。図７Ｂ及び図７Ｃにれるシナリオでは、第２のユーザ７００２は、第１のユーザ７１０２と第１のユーザインタフェースオブジェクト７０１６との間の同時相互作用を除外して、第１のユーザインタフェースオブジェクト７０１６を制御する。例えば、いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６が第１のユーザ７００２の制御下にあるとき、第１のユーザインタフェースオブジェクト７０１６は、第２のユーザ７００２の物理的環境内の第２のユーザ７００２の手７０２８のロケーションに対応する、三次元環境７０１５内のポジションに表示される。いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６が第２のユーザ７００２の制御下にあるとき、第１のユーザインタフェースオブジェクト７０１６の表現は、第２のユーザ７００２の物理的環境内の第２のユーザ７００２の手７０２８のロケーションに対応する、三次元環境７０１５内のポジションに表示され、第１のユーザインタフェースオブジェクト７０１６は、第１のユーザインタフェースオブジェクト７０１６の表現のポジションから離れた別のポジションに表示される。この例では、第２のユーザ７００２は、第１のユーザインタフェースオブジェクト７０１６を制御しており、第１のユーザインタフェースオブジェクト７０１６は、第２のユーザの手７０２８のロケーションに対応する、三次元環境７０１５内のポジションに表示される。いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６が第２のユーザ７００２の制御下にあるとき、第１のユーザインタフェースオブジェクト７０１６は、第１のユーザインタフェースオブジェクト７０１６の予め設定された面（例えば、前面Ａ、コンテンツ提示面、インタラクティブ面など）が三次元環境７１０５の現在表示されている第２のビュー７０１５－２（例えば、第１のユーザインタフェースオブジェクト７０１６を制御する第２のユーザ７００２に示されるビュー、第２の表示生成コンポーネント７１００によって表示されるビューなど）に対応する視点に向くように、三次元環境７０１５内に配向される。いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６は、第１のユーザインタフェースオブジェクト７０１６の予め設定された表面が三次元環境の現在表示されている第１のビュー７０１５－１に対応する視点（例えば、その時点で第１のユーザインタフェースオブジェクト７０１６を制御しない第１のユーザ７１０２に示されるビュー、第１の表示生成コンポーネント７２００によって表示されるビューなど）の方を向くように、第１のユーザインタフェースオブジェクト７０１６を制御する第２のユーザ７００２によって三次元環境内で再配向することができる。いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６が第２のユーザ７００２の制御下にあり、第１のユーザ７１０２と共有されない場合（例えば、第１のユーザインタフェースオブジェクト７０１６のコンテンツ表示側が、第１の表示生成コンポーネント７２００によって第１のユーザ７１０２に提示される三次元環境の第１のビュー７０１５－１内にある場合であっても）、第１のユーザインタフェースオブジェクト７０１６上のコンテンツの少なくとも一部は、三次元環境の第２のビュー７０１５－２にのみ示され、三次元環境の第１のビュー７０１５－１には示されない。いくつかの実施形態では、第２のユーザ７００２は、第１のユーザインタフェースオブジェクト７０１６のコンテンツ提示側が第２のビュー７０１５－２の視点から離れる方を向くように、第１のユーザインタフェースオブジェクト７０１６を再配向することによって、第１のユーザインタフェースオブジェクト７０１６の隠されたコンテンツを第１のユーザ７１０２に可視であるようにすることができる。
図７Ｂ及び図７Ｃでは、第１のビュー７０１５－１及び第２のビュー７０１５－２は両方とも、第１のユーザの手７２０２の個別の表現（例えば、表現７２０２’又は７２０２’’）及び第２のユーザの手７０２８のそ個別の表現（例えば、表現７０２８’又は７０２８’’）を含む。いくつかの実施形態では、コンピュータシステムは、ユーザの手のカメラビューに基づいて手の表現を表示する。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネント（単数又は複数）の透明部分を介して手の表現のビューを提供する。いくつかの実施形態では、コンピュータシステムは、第１のユーザ及び第２のユーザの物理的環境（単数又は複数）内に位置する１つ以上のセンサから受信されるセンサ情報に基づいて、ユーザの手のスタイル表現を生成する。いくつかの実施形態では、ユーザの手（単数又は複数）の表現のポジション及び構成は、ユーザの物理的環境（単数又は複数）におけるユーザの手（単数又は複数）のロケーション（単数又は複数）及び構成（単数又は複数）に従って変化する。いくつかの実施形態では、コンピュータシステムは、ユーザの手のカメラビューに基づいて手の表現を表示する。いくつかの実施形態では、コンピュータシステムは、所与の時間に、一方のユーザの手の表現を表示するが、他方のユーザの手の表現を表示しない。例えば、第２のユーザ７００２が第１のユーザインタフェースオブジェクト７０１６を制御している場合、第２のユーザの手７０２８の表現は、任意選択的に、第２のユーザ７００２に示される第２のビュー７０１５－２にのみ表示され、第１のユーザ７１０２に示される第１のビュー７０１５－１には表示されない。別の例では、ユーザの手の表現は、それぞれの物理的環境内の第１のユーザ及び／又は第２のユーザ（及び／又はそれぞれの表示生成コンポーネント若しくはカメラなど）の移動に起因して、個別の表示生成コンポーネントを介して提供される視野の内外に移動し得る。
図７Ｂ及び図７Ｃでは、第１のユーザインタフェースオブジェクト７０１６を制御する第２のユーザ７００２によって使用される第２の表示生成コンポーネント７１００を介して表示される三次元環境の第２のビュー７０１５－２内で、第１のユーザインタフェースオブジェクト７０１６は、第１のセットの外観特性（例えば、第２の表示生成コンポーネントによって第２のユーザに対して表示されるような第１のユーザインタフェースオブジェクトの通常の外観（例えば、第１の形状、第１のサイズ、第１の色、第１の不透明度、第１の彩度、第１の輝度など））で表示される。第１のユーザインタフェースオブジェクト７０１６は、第１のユーザ７１０２が、第１のユーザインタフェースオブジェクトに向けられた個別の移動又は入力を用いて第１のユーザインタフェースオブジェクト７０１６にアクセスしようとしているか否かにかかわらず、第２のユーザ７００２の制御下で第１のセットの外観特性を維持する。第１のユーザインタフェースオブジェクト７０１６は、第２のユーザ７００２によって使用されるコンピュータシステムを介した第２のユーザ７００２と第１のユーザインタフェースオブジェクト７０１６との間の相互作用に従って、個別の方法でその外観を変化させることができる。第２のユーザ７００２と第１のユーザインタフェースオブジェクト７０１６との間の相互作用によって引き起こされる外観のこれらの変化は、任意選択的に、変化が発生する任意の所与の時間に第１のビュー７０１５－１及び第２のビュー７０１５－２の両方に示される。
図７Ｂでは、第１のユーザインタフェースオブジェクト７０１６が第２のユーザ７００２の制御下にある間、（例えば、ユーザの手などのユーザの一部の移動を介して、視線入力を介して、空中ジェスチャを介して、手の別の部分に対する手の一部の移動を伴うジェスチャを介して、制御オブジェクトを介して提供される入力を介してなど）第１のユーザ７００２が第１のユーザインタフェースオブジェクト７０１６にアクセスしようとしていないか、又は第１のユーザインタフェースオブジェクト７０１６の制御権を取得しようとしていない場合、第１のユーザインタフェースオブジェクト７０１６は、（任意選択的に、異なる視点から、及び／又は隠されたコンテンツの編集などで）三次元環境の第２のビュー７０１５－２と同じ第１のセットの外観特性で第１のビュー７０１５－１に表示される。第１のビュー及び第２のビューの両方が、第１のユーザの手７２０２を含む物理空間のロケーションに対応する、三次元環境の部分をキャプチャする場合、第１のユーザ７１０２の物理的環境内の第１のユーザの手７２０２の移動は、第１のビュー７０１５－１及び第２のビュー７０１５－２の両方において表され得る。
対照的に、図７Ｃでは、コンピュータシステムは、第１のユーザインタフェースオブジェクト７０１６に向けられた、第１のユーザ７１０２によって提供された第１のユーザ入力を検出する。例えば、いくつかの実施形態では、コンピュータシステムは、三次元環境７０１５内の第１のユーザインタフェースオブジェクト７０１６のポジションに対応する第１のユーザ７１０２の物理的環境内のロケーションへの第１のユーザ７１０２の一部（例えば、ユーザの手７２０２、第１のユーザの別の手など）の移動を検出する。いくつかの実施形態では、コンピュータシステムは、第１のユーザインタフェースオブジェクト７０１６に向けられた視線入力と、視線入力と共に検出される制御入力（例えば、指移動ジェスチャ、空中ジェスチャ、コントローラによって提供される入力など）とを検出する。図７Ｃに示される例において、第１のユーザ入力は、第１のユーザインタフェースオブジェクト７０１６のポジションに対応するロケーションへの第１のユーザの手７２０２の移動であり、任意選択的に、三次元環境において第１のユーザインタフェースオブジェクト７０１６を把持するための移動又は姿勢を伴う。いくつかの実施形態では、第１のユーザ７１０２の手７２０２の移動、ポジション、及び／又は姿勢の表現は、第１のビュー７０１５－１及び第２のビュー７０１５－２の両方に示される。いくつかの実施形態では、第１のユーザ７１０２の手７２０２の移動、ポジション、及び／又は姿勢の表現は、第１のビュー７０１５－１のみに示され、第２のビュー７０１５－２には示されない。いくつかの実施形態では、第２のビュー７０１５－２内に第１のユーザ７１０２の手７２０２の移動、ポジション、及び／又は姿勢を示さないことによって、第２のユーザ７００２によって使用されるコンピュータシステムは、第２のユーザ７００２が第１のユーザインタフェースオブジェクト７０１６と相互作用するとき、第２のユーザ７００２に対する混乱を低減する。
図７Ｃでは、第１のユーザインタフェースオブジェクト７０１６に向けられた第１のユーザ入力を検出したことに応じて、かつ第２のユーザ７００２が第１のユーザインタフェースオブジェクトと現在相互作用している（例えば、第１のユーザインタフェースオブジェクト７０１６を制御する、第１のユーザ７１０２による要求された相互作用を除外して第１のユーザインタフェースオブジェクトを制御するなど）という判定に従って、コンピュータシステムは、第１のユーザインタフェースオブジェクト７０１６が第１のユーザ７１０２との相互作用に利用可能でないという視覚的インジケーションを表示する。いくつかの実施形態では、視覚的インジケーションを表示することは、三次元環境７０１５の第１のビュー７０１５－１内の第１のユーザインタフェースオブジェクト７０１６の外観又は第１のユーザインタフェースオブジェクト７０１６のポジションのうちの少なくとも１つを変更することを含む。
いくつかの実施形態では、コンピュータシステムは、第１のユーザインタフェースオブジェクト７０１６が三次元環境内の第２のユーザ７００２の仮想ポジションに対して予め設定された空間関係を有する（例えば、第１のユーザインタフェースオブジェクト７０１６が第２のユーザの掌又は手７０２８の表現内にある、第１のユーザインタフェースオブジェクト７０１６が三次元環境の第１のビュー７０１５－１内にある第２のユーザのプライベート空間内にあるなど）という判定に従って、第２のユーザ７００２が第１のユーザインタフェースオブジェクト７０１６と現在相互作用していると判定する。いくつかの実施形態では、コンピュータシステムは、第２のユーザ７００２が第２の表示生成コンポーネント７１００を介して三次元環境の第２のビュー７０１５－２を表示するコンピュータシステムを通じて第１のユーザインタフェースオブジェクト７０１６を制御、選択、移動、修正、及び／又は他の方法で相互作用しているという判定に従って、第２のユーザ７００２が第１のユーザインタフェースオブジェクト７０１６と現在相互作用していると判定する。
いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６が第１のユーザ７１０２との相互作用に利用可能でないことを示す視覚的インジケーションを三次元環境７０１５の第１のビュー７０１５－１に表示するために、コンピュータシステムは、第１のセットの外観特性とは異なる第２のセットの外観特性（例えば、第２の形状、第２のサイズ、第２の色、第２の不透明度、第２の彩度、第２の輝度など）を有する第１のユーザインタフェースオブジェクト７０１６を表示する（例えば、第２のセットの外観特性は、第１のユーザインタフェースオブジェクトがこの時点で第２のユーザを制御しており、第１のユーザとの相互作用に利用可能でないことの視覚的インジケーションを提供する）。例えば、図７Ｃの第１のビュー７０１５－１に示される第１のユーザインタフェースオブジェクト７０１６は、図７Ｃの第２のビュー７０１５－２に示されるものに比べて半透明である。いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６が第１のユーザ７１０２との相互作用に利用可能でないことを示すために三次元環境７０１５の第１のビュー７０１５－１に視覚的インジケーションを表示するために、コンピュータシステムは、第１のユーザインタフェースオブジェクト７０１６を、第１のユーザ７１０２がそれを把持しようとするときに邪魔にならないように移動させる。いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６は、視覚的インジケーションが第１のユーザ７１０２に表示されるだけでよいため、第２のユーザ７００２に表示される第２のビュー７０１５－２内のその外観及び／又はポジションを維持する。いくつかの実施形態では、第１のユーザ７１０２によって提供された第１のユーザ入力が、第１のユーザインタフェースオブジェクト７０１６に関して第１の動作を実行する要求に対応する場合、コンピュータシステムは、第２のユーザ７００２が第１のユーザインタフェースオブジェクト７０１６と現在相互作用している（例えば、第１のユーザインタフェースオブジェクト７０１６を制御する、第１のユーザ７１０２によって要求された相互作用を除外して第１のユーザインタフェースオブジェクト７０１６を制御するなど）という判定に従って、第１のユーザインタフェースオブジェクト７０１６に関して第１の動作を実行しない。例えば、いくつかの実施形態では、コンピュータシステムは、第１のユーザの手７２０２の表現７２０２’によって把持されている第１のユーザインタフェースオブジェクト７１０６を示さない。いくつかの実施形態では、コンピュータシステムは、第１のユーザの手７２０２の表現７２０２’内に移動する第１のユーザインタフェースオブジェクト７０１６のゴースト画像又は別の表現を示さない。
いくつかの実施形態では、第１のユーザインタフェースオブジェクト７１０６に向けられた第１のユーザ入力を検出したことに応じて、かつ第２のユーザ７００２が第１のユーザインタフェースオブジェクト７０１６と現在相互作用していないという判定に従って、コンピュータシステムは、第１のユーザ入力に従って第１のユーザインタフェースオブジェクトに対して第１の動作を実行する。いくつかの実施形態では、第１の動作を実行することは、第１のユーザインタフェースオブジェクト７０１６が第１のユーザ入力に従って第１のユーザ７１０２によって把持されるか又は移動される（例えば、三次元環境内の第１のユーザ７１０２の仮想ポジションに向かって移動される、第１のユーザ入力の移動に従って移動されるなど）ことを示すことを含む。いくつかの実施形態では、第１の動作を実行することは、把持されている及び／又は第１のユーザの手７２０２の表現７２０２’内に移動している第１のユーザインタフェースオブジェクト７０１６のゴースト画像又は他の表現を示すことを含む。いくつかの実施形態では、第１のユーザ７１０２からの第１のユーザ入力が検出されたときに第２のユーザ７００２が第１のユーザインタフェースオブジェクト７１０６と相互作用していなかったという判定に従って、第１のユーザインタフェースオブジェクト７０１６は、第１のセットの外観特性で（例えば、その元のロケーションに、又は第１のユーザの手の表現などで）表示され続ける。
いくつかの実施形態では、第２のユーザ７００２が第１のユーザインタフェースオブジェクトと相互作用している間、第１のユーザ７１０２が第１のユーザインタフェースオブジェクト７０１６を把持しようと試みるか、又は他の方法で第１のユーザインタフェースオブジェクトと相互作用すると、コンピュータシステムは、第１のユーザ７１０２が第１のユーザインタフェースオブジェクト７０１６を把持しようと試みるにつれて、第１のユーザ７１０２に表示された第１のビュー７０１５－１内の第１のユーザインタフェースオブジェクトをフェードアウトするなど、第１のユーザインタフェースオブジェクトの外観を変更する。例えば、コンピュータシステムは、第１のユーザインタフェースオブジェクト７０１６の第１のセットの外観特性のうちの少なくとも１つを変更して（例えば、第１のユーザインタフェースオブジェクトの透明度レベルを上げる、彩度を下げる、不透明度を下げる、ぼかし、暗くする、解像度を下げる、サイズを縮小するなど）、任意選択的に、第１のユーザインタフェースオブジェクト７０１６の周囲環境の外観を維持しながら（例えば、周囲環境の外観及び／又は視覚的プロミネンスを変更しない）、三次元環境の第１のビュー７０１５－１内の第１のユーザインタフェースオブジェクト７０１６の視覚的プロミネンスを低減する。いくつかの実施形態では、第１のユーザ７１０２が第１のユーザインタフェースオブジェクト７０１６と相互作用する試みを停止したことを検出したことに応じて、コンピュータシステムは、第１のユーザインタフェースオブジェクトの視覚的プロミネンスを復元するために、第１のユーザインタフェースオブジェクトを把持するか又は第１のユーザインタフェースオブジェクトと相互作用する第１のユーザの試みに応じて変更された第１のユーザインタフェースオブジェクトの第１のセットの外観特性のうちの少なくとも１つ（例えば、いくつか、全てなど）を（例えば、第１のユーザ入力を検出する直前に、又は第１のユーザ入力の検出に応じて変更が行われる前に存在したレベルなどに）復元する。
いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６が、第１のユーザの手７２０２のロケーションに対応するポジションから離れるように移動される（例えば、第２のユーザ７００２のアクションによって、及び／又は三次元環境内で発生した他のイベント（例えば、第１のユーザ７１０２による相互作用の試みに関連しないイベント）などに従って、三次元環境７０１５内の手７２０２の表現７２０２’から離れるように移動される）場合、コンピュータシステムは、第１のユーザインタフェースオブジェクトの視覚的プロミネンスを復元するために、第１のユーザが第１のユーザインタフェースオブジェクトを把持するか、又は他の方法で第１のユーザインタフェースオブジェクトと相互作用する試みに応じて変更された第１のユーザインタフェースオブジェクトの第１のセットの外観特性のうちの少なくとも１つ（例えば、一部、全部など）を（例えば、第１のユーザ入力を検出する直前に、又は第１のユーザ入力の検出に応じて変更が行われる前に存在したレベルになど）復元する。
いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６が第１のユーザ７１０２との相互作用に利用可能でないという視覚的インジケーションが第１のビュー７０１５－１に表示された後、コンピュータシステムは、第１のユーザインタフェースオブジェクトが第１のユーザ７１０２との相互作用に利用可能になるように、第２のユーザ７００２がもはや第１のユーザインタフェースオブジェクトと相互作用していないこと、及び／又は第１のユーザインタフェースオブジェクトの制御を放棄したことをコンピュータシステムが検出するまで、視覚的インジケーションを表示し続ける。いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６が第１のユーザ７１０２との相互作用に利用可能でないという視覚的インジケーションが第１のビュー７０１５－１に表示された後、コンピュータシステムは、第１のユーザが第１のユーザ入力又は別の入力を介して第１のユーザインタフェースオブジェクト７１０６と相互作用しようとするのを停止した後、予め設定された期間（例えば、１０秒、５秒など）にわたって視覚的インジケーションを表示し続ける。
いくつかの実施形態において、第１のユーザインタフェースオブジェクト７０１６は、第１のユーザインタフェースオブジェクト７０１６を制御する第２のユーザ７００２によって提供されるジェスチャ入力（例えば、トスジェスチャ、スロージェスチャ、プッシュジェスチャなど）に従って、第１のユーザのロケーションに対応するポジション（例えば、第１のユーザ７１０２の手７２０２に対応するポジション、第１のユーザ７１０２を取り囲むプライベート空間に対応するポジションなど）に送信することができる。いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６は、第２のユーザ７００２によって提供されたジェスチャ入力の結果として、三次元環境７０１５内の第１のポジションから第２のポジションへ移動する間に回転する（例えば、再配向する、向く方向を変えるなど）。いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６はまた、第１のユーザ７１０２が第１のユーザインタフェースオブジェクト７０１６の制御権を得た後、第１のユーザ７１０２によって提供されるジェスチャ入力（例えば、トスジェスチャ、スロージェスチャ、プッシュジェスチャなど）に従って、第２のユーザ７００２のロケーションに対応するポジションに送信することができる。いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６は、第１のユーザ７１０２によって提供されたジェスチャ入力の結果として、三次元環境７０１５内の第２のポジションから第３のポジションへ移動する間に回転する（例えば、配向を変える、向く方向を変えるなど）。いくつかの実施形態では、第１のユーザインタフェースオブジェクト７１０６は、そのコンテンツ提示側又はインタラクティブ側が第１のユーザインタフェースオブジェクトを受け取る側の方を向くように回転する。
いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６は、第１のユーザインタフェースオブジェクトを制御するユーザによって提供されるジェスチャ入力（例えば、トスジェスチャ、スロージェスチャ、プッシュジェスチャなど）に応じて、第１のユーザインタフェースオブジェクトが第１のユーザ及び第２のユーザの両方によってより良好なビューで見られ得る（例えば、三次元環境７０１５の中心に表示される、物理的環境１０５の壁に対応するポジションに表示される、三次元環境７０１５内の仮想表面に表示されるなど）三次元環境内のポジションに送信することができる。いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、三次元環境内のポジションに到達したときに、第１のユーザ及び第２のユーザの両方がそのコンテンツ及び／又はインタラクティブ側を見ることを可能にする向きを有し、及び／又は三次元環境のポジションにおける表面（例えば、壁面、テーブル面、仮想表面、仮想スクリーン、仮想テーブル上面などの表現）に対して予め設定された空間関係（例えば、重なる、平行、斜めに、垂直、直立など）を有するように、三次元環境内のポジションに移動しながら回転する（例えば、再向きする、対面方向を変えるなど）。
いくつかの実施形態では、コンピュータシステムは、第１のユーザインタフェースオブジェクト７０１６が第１のユーザ７１０２との相互作用に利用可能でないことの視覚的インジケーションとして、三次元環境の第１のビュー７０１５－１内の第１のユーザインタフェースオブジェクト７０１６のポジションを変更する。いくつかの実施形態では、三次元環境の第１のビュー７０１５－１内の第１のユーザインタフェースオブジェクトのポジションを変更することは、第１のユーザインタフェースオブジェクトと第１のユーザ入力を提供した第１のユーザ７１０２の手７２０２の表現７２０２’との間の少なくとも予め設定された距離を維持するために、第１のユーザインタフェースオブジェクトの元のポジションから第１のユーザインタフェースオブジェクト７０１６を移動させることを含む（例えば、第１のユーザインタフェースオブジェクトは、第１のユーザインタフェースオブジェクトを把持しようとする第１のユーザ７１０２の手７２０２の表現７２０２’を避けるために１つ以上の方向に移動するように見える）。いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６の移動は、第１のユーザインタフェースオブジェクトの外観に対して行われる変更を伴う（例えば、第１のユーザインタフェースオブジェクトは、第１のユーザ７１０２の手の表現７２０２’がそれ自体に近づきすぎることを回避するために、移動している間に弱まる又は暗くなるように見える）。
いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６が第２のユーザ７００２の制御下になく、第１のユーザ７１０２との相互作用に利用可能である場合、コンピュータシステムは、第１のユーザインタフェースオブジェクト７０１６を、三次元環境７０１５の第１のビュー７０１５－１内の第１のユーザの手７２０２の表現７２０２’に向かって移動させ、任意選択的に、三次元環境の第２のビュー７０１５－２内にも移動させる。
いくつかの実施形態では、第１のユーザ７１０２によって提供される第１のユーザ入力は、所定の選択ジェスチャを含む（例えば、である、を含む、で開始する、で終了するなど）（例えば、選択ジェスチャは、同じ手の親指への人差し指のタッチダウンを含むピンチジェスチャ（任意選択的に、その後、親指から人差し指を持ち上げる、又は手に接続された手首をフリックする、又は手全体を平行移動するなど）、同じ手の人差し指と親指とをタッチ姿勢から互いに引き離すことを含むジェスチャ、ピンチジェスチャ、ピンチアンドドラッグジェスチャ、ピンチアンドフリックジェスチャなどである）。いくつかの実施形態では、コンピュータシステムは、第２のユーザ７００２が第１のユーザインタフェースオブジェクト７０１６と相互作用していない間に第１のユーザ入力を検出したことに応じて、第１のユーザ７１０２から受信した後続の入力（例えば、ピンチジェスチャが維持されている間のドラッグジェスチャ、ピンチジェスチャが維持されている間のフリックジェスチャ、所定の選択ジェスチャが終了した後のドラッグジェスチャなど）のターゲットとして第１のユーザインタフェースオブジェクト７０１６を選択する。いくつかの実施形態では、第１のユーザインタフェースオブジェクト７０１６を第１のユーザ７１０２から受信した後続の入力のターゲットとして選択することと併せて、コンピュータシステムは、第１のユーザインタフェースオブジェクト７０１６を三次元環境の第１のビュー７０１５－１内の第１のポジションに維持しながら、第１のユーザインタフェースオブジェクト７１０６の表現（例えば、第１のユーザインタフェースオブジェクトの複製、第１のユーザインタフェースオブジェクトのゴースト画像など）を第１のユーザ７１０２の手７２０２のロケーションに対応するポジションに表示する（例えば、第１のユーザインタフェースオブジェクトは元のロケーションに留まるが、第１のユーザ７１０２と第１のユーザインタフェースオブジェクトの表現との間の相互作用に従って第１のユーザ７１０２によって「遠隔」制御することができる）。いくつかの実施形態では、第１のユーザインタフェースオブジェクトの表現は、第１のユーザの手７１０２の表現７２０２’の近くに表示されるが、コンピュータシステムが第１のユーザ７２０２によって提供される別の選択入力を検出するまで、第１のユーザの手のロケーションに対応するポジションに進まない。いくつかの実施形態では、コンピュータシステムは、第１のユーザ７１０２が選択入力の要件と一致する入力を提供しているという判定に従って、第１のユーザインタフェースオブジェクトの表現の形状を変化させ、第１のユーザインタフェースオブジェクトの表現の形状の変化は、選択入力を完了するための要件に関する視覚的ガイダンスを任意選択的に提供する。いくつかの実施形態では、第１のユーザインタフェースオブジェクトの表現とのユーザ相互作用は、第１のユーザインタフェースオブジェクトとの相互作用に変換され、コンピュータシステムに、第１のユーザ７１０２と第１のユーザインタフェースオブジェクトの表現との間の相互作用に従って第１のユーザインタフェースオブジェクトに対して動作を実行させる。いくつかの実施形態では、第１のユーザインタフェースオブジェクトの表現は、第１のユーザの手７２０２の表現７２０２’のポジションに表示されたままであり、任意選択的に、第１のユーザ７１０２が、第１のユーザと三次元環境を共有している他のユーザの相互作用を除外して、第１のユーザインタフェースオブジェクトを制御することを示す。
いくつかの実施形態では、図７Ａ～図７Ｃのコンピュータシステム、第１の表示生成コンポーネント７２００及び第２の表示生成コンポーネント７１００の挙動に関して上述した特徴の一部又は全部は、第１のユーザインタフェースオブジェクト７０１６に対する第１のユーザ７１０２及び第２のユーザ７００２の役割が逆になる他のシナリオにも同等に適用可能である。そのような他のシナリオでは、第１のユーザ及び第２のユーザによって使用されるコンピュータシステム及び表示生成コンポーネントの動作は、特定のシナリオにおいて適宜逆転されてもよい。上述した特徴は依然として有効であり、したがって、簡潔にするために本明細書では繰り返さない。
図７Ｄ～図７Ｆは、いくつかの実施形態による、三次元環境の現在表示されているビューの視点に対して物理的オブジェクトの表現を様々な方式で表示する方法を示すブロック図であり、視点は第１の物理的環境内のユーザの移動に従って移動し、物理的オブジェクトの表現は第１の物理的環境とは異なる第２の物理的環境内の物理的オブジェクトの移動に従って移動し、物理的オブジェクトの表現と視点との間の空間関係が予め設定された基準を満たすことに応じて、表現を表示する方式の変化がトリガされる。
いくつかの実施形態では、コンピュータシステムは、第１のユーザ（及び三次元環境７３０４を見るために第１のユーザ７００２によって使用される第１の表示生成コンポーネント７１００）の物理的環境（例えば、シーン１０５－ａ、又は別の屋内若しくは屋外物理的環境など）とは異なる物理的環境（例えば、シーン１０５－ｂ、又は別の屋内若しくは屋外物理的環境など）に位置する物理的オブジェクト（例えば、第２のユーザ７１０２、動物、移動ドローンなど）の表現を含む三次元環境７２０４のビューを表示する。コンピュータシステムは、任意選択的に、第１のユーザ７００２（及び／又は第１の表示生成コンポーネント７１００）の物理的環境（例えば、シーン１０５－ａ、又は別の物理的環境など）内の第１のユーザ７００２の移動に従って、三次元環境７３０４の現在表示されているビューに対応する視点を移動させる。コンピュータシステムは、その物理的環境（例えば、シーン１０５－ｂ、又は別の物理的環境など）における物理的オブジェクトのロケーション及び移動経路に基づいて、三次元環境７２０４における物理的オブジェクトの表現（例えば、第２のユーザ７１０２の表現７１０２’－ａ、別の物理的オブジェクトの表現など）のポジション及び移動経路を判定する。コンピュータシステムは、三次元環境７３０４内のポジションと、個別の物理的環境（例えば、第１のユーザ７００２及び第１の表示生成コンポーネント７１００の物理的環境１０５－ａ、物理的オブジェクトの物理的環境（例えば、第２のユーザ７１０２の物理的環境１０５－ｂ、物理的オブジェクトの別の物理的環境など）など）内のロケーションとの間の第１のタイプの対応関係（例えば、マッピング及び変換関係、任意選択的に、視点、物理的オブジェクト、及び第１のユーザなどの異なるマッピング及び変換関係）を利用する。いくつかの条件下では（例えば、第１のユーザ７００２の移動、及び／又は物理的オブジェクト（例えば、この例では第２のユーザ７１０２によって表される物理的オブジェクト）の移動などに起因して）、物理的オブジェクトの表現のポジション（単数又は複数）は、ポジションが三次元環境７３０４内のポジションと物理的環境（例えば、シーン１０５－ａ、１０５－ｂなど）内のロケーションとの間の第１のタイプの対応関係を使用して判定される場合、第１の表示生成コンポーネント７１００を介して示される三次元環境７３０４の現在表示されているビュー（例えば、ビュー７３０４－ａ、７３０４－ａ’など）の視点のポジションの閾値距離（例えば、腕の長さ、３フィート、ユーザ指定距離など）内にある。そのような条件下で、コンピュータシステムは、（例えば、図７Ｆに示されるように）第１のタイプの対応関係に基づいて判定されたポジションからオフセットされた調整されたポジションに物理的オブジェクトの表現（例えば、この例では、表現７１０２’－ａ）を表示する。いくつかの実施形態では、調整されたポジションは、第１のタイプの対応とは異なる第２のタイプの対応に基づいて判定され、調整されたポジションが、第１の表示生成コンポーネントを介して示される三次元環境の現在表示されているビュー（例えば、ビュー７３０４－ａ’’、第１の表示生成コンポーネント７１００を介して示される後続のビューなど）の視点のポジションから閾値距離よりも大きいままであることを確実にする。コンピュータシステムは、第１のタイプの対応関係に基づいて計算された未調整ポジションが、第１の表示生成コンポーネントを介して示される三次元環境の現在表示されているビュー（例えば、ビュー７３０４－ａ’’、第１の表示生成コンポーネント７１００を介して示される後続のビューなど）の視点のポジションから閾値距離を超えて離れるまで、物理的オブジェクトの表現（例えば、この例では表現７１０２’－ａ）の調整ポジションを判定するために、第２のタイプの対応関係を使用し続ける。
いくつかの実施形態では、コンピュータシステムが三次元環境７３０４のビューを第１のユーザ７００２に提供し、三次元環境７３０４の現在表示されているビューに対応する視点のポジションが、第１のユーザ７００２の物理的環境内の第１のユーザの頭部、身体、又は眼のロケーションに基づくとき、コンピュータシステムは、時として、他の物理的オブジェクト（例えば、この例では第２のユーザ７１０２によって表される物理的オブジェクトであるが、コンピュータ生成環境７３０４を第１のユーザ７００２と共有していない無生物オブジェクト又は生物オブジェクトであり得る、など）の表現を、それらの個別の物理的環境内の物理的オブジェクトのロケーションに対応するポジションに表示する。いくつかの状況では、現実世界における第１のユーザ７００２と他の物理的オブジェクトとの間の実際の物理的衝突又は不快な空間的近接の危険若しくは可能性がない場合であっても、物理的オブジェクトの表現のポジションは、第１のユーザに対して示されるビューに対応する視点のポジションと衝突するか、又は近づきすぎて（例えば、具体的に調整されない場合、別様にアドレス指定されない場合など）、三次元環境内の第１のユーザの視覚経験を第１のユーザにとって不快にするか、又は時にはいらいらさせることがある。
本明細書に開示されるように、コンピュータシステムは、第１のタイプの対応関係に基づいて判定された物理的オブジェクトの表現のポジションが、第１のユーザに対して示される三次元環境の現在表示されているビューに対応する視点の閾値範囲内にないとき、三次元環境内のポジションと物理的オブジェクトの物理的環境内の対応するロケーションとの間の第１のタイプの対応関係又はマッピング関係に基づいて、第１のユーザとは他の物理的環境内に位置する物理的オブジェクトの表現のポジションを判定する。これは、物理的オブジェクトの表現が視点の仮想ポジションからある距離にある場合、三次元環境内の物理的オブジェクトの表現の移動は、実世界における移動及び空間関係を模倣するように物理的オブジェクトの移動に対応することができ、物理的オブジェクトの表現は、第１のユーザの個人空間の感覚を侵害しないことを意味する。しかしながら、物理的オブジェクトの表現が視点の仮想ポジションから非常に近い場合、同じ方法で（例えば、第１のタイプの対応関係又はマッピング関係に従って）物理的オブジェクトの移動に対応する物理的オブジェクトの表現の移動は、物理的オブジェクトの表現が不合理なサイズで表示されること、視点と重なること、及び／又は第１のユーザの個人空間の感覚を侵害することを引き起こす。したがって、第１のタイプの対応関係又はマッピング関係に基づいて、物理的オブジェクトの表現が視点から閾値距離内にあるという判定に従って、コンピュータシステムは、物理的オブジェクトの表現の調整されたポジションを計算するために、三次元環境内のポジションと物理的オブジェクトの物理的環境内の対応するロケーションとの間の第２のタイプの対応関係又はマッピング関係を使用し、それにより、物理的オブジェクトの表現は、調整されたポジションに表示され、及び／又は不合理なサイズで表示されること、視点と重なること、及び／又は第１のユーザの個人空間の感覚を侵害することを回避するように移動することができる。
図７Ｄは、いくつかの実施形態による、２人のユーザ、例えば、第１のユーザ７００２及び第２のユーザ７１０２がコンピュータ生成三次元環境７３０４を共有しているシナリオを示す。いくつかの実施形態では、第１のユーザ７００２は第１の物理的環境１０５－ａに位置し、第２のユーザ７１０２は第２の物理的環境１０５－ｂに位置する。いくつかの実施形態では、第１の物理的環境及び第２の物理的環境は、互いに重複し得る同じ物理的環境の一部である。いくつかの実施形態では、第１の物理的環境及び第２の物理的環境は、互いに重複しない別個の物理的環境である。いくつかの実施形態では、第１の物理的環境及び第２の物理的環境は、任意選択的に、屋内環境、屋外環境、１つの屋内環境及び１つの屋外環境、屋内環境と屋外環境との混合などである。この例では、第１の物理的環境は、物理表面（例えば、壁７００４－ａ及び７００６－ａ、床７００８－ａなど）及び物理的オブジェクト（例えば、物理的オブジェクト７０１０、他の物理的オブジェクトなど）を含む。第２の物理的環境は、物理的表面（例えば、壁７００４－ｂ及び７００６－ｂ、床７００８－ｂなど）及び物理的オブジェクト（例えば、物理的オブジェクト７０１４、他の物理的オブジェクトなど）を含む。第１のユーザ７００２は、第１の表示生成コンポーネント７１００のユーザであり、第１の表示生成コンポーネント７１００を介して共有三次元環境７３０４の第１のビュー７３０４－ａ（及びその後更新された第１のビュー７３０４－ａ’、７３０４－ａ’’など）が提供される。第２のユーザ７１０２は、第２の表示生成コンポーネント７２００のユーザであり、第２の表示生成コンポーネント７２００を介して共有三次元環境７３０４の第２のビュー７３０４－ｂ（及びその後更新された第１のビュー７３０４－ｂ’、７３０４－ｂ’’など）が提供される。説明のために、第１のユーザ７００２は、第１の物理的環境１０５－ａ内の直線７３００に沿って前方に移動し、第２のユーザ７１０２は、第２の物理的環境１０５－ｂ内の直線７３０２に沿って前方に移動し、三次元環境７３０４の第２のビュー７３０４－ｂ内の直線７３００の表現７３００’は、第２のビュー７３０４－ｂの視点を通過し、三次元環境７３０４の第１のビュー７３０４－ａ内の直線７３０２の表現７３０２’は、第１のビュー７３０４－ａの視点を通過する。いくつかの実施形態では、第１のユーザ７００２及び第２のユーザ７１０２の移動経路が直線である必要はなく、経路は、任意の形状であってもよく、及び／又はそれらの物理的環境内に好適な任意の空間範囲を有してもよい。いくつかの実施形態では、第１のユーザ及び第２のユーザの両方が個別の物理的環境内で移動する必要はない。いくつかの実施形態では、個別の表示生成コンポーネントを介して提供される三次元環境の現在表示されているビューの視点は、静止していなくてもよく、及び／又は個別の表示生成コンポーネントの移動及び／又は個別の表示生成コンポーネントの個別のユーザの移動に従って移動してもよい。いくつかの実施形態では、三次元環境が第１のユーザと第２のユーザとの間の共有環境であるという要件はない。例えば、いくつかの実施形態では、第１の表示生成コンポーネント７１００の観点から、この例における第２のユーザ７１０２は、単に、第２の物理的環境内の物理的オブジェクト（例えば、動物、ドローン、三次元環境を使用していない、又は三次元環境への入力を提供していない人など）の表現である。同様に、いくつかの実施形態では、第２の表示生成コンポーネントの観点から、この例における第１のユーザ７００２は、単に、第１の物理的環境内の物理的オブジェクト（例えば、動物、ドローン、三次元環境を使用していない、又は三次元環境への入力を提供していない人など）の表現である。いくつかの実施形態では、表示生成コンポーネント（例えば、第１の表示生成コンポーネント、第２の表示生成コンポーネントなど）のうちの１つのみが使用され、他の表示生成コンポーネントは、存在しない、又は本明細書に説明されるプロセスに関与しない。
図７Ｄに示す例では、いくつかの実施形態によれば、三次元環境７３０４は、ユーザ７００２とユーザ７１０２との間で、１人のユーザによって制御されるコンピュータシステムを使用してユーザ７００２及び７１０２のうちの１人から開始され、ユーザ７００２及び７１０２のうちの別のユーザによって制御されるコンピュータシステムを使用して別のユーザによって受け入れられる要求に応じて共有される。いくつかの実施形態では、両方のユーザが、第３のユーザによって使用されるコンピュータシステムから、それぞれのコンピュータシステムを使用して三次元環境を共有する要求を受信し、受け入れている。いくつかの実施形態では、両方のユーザが、それぞれのコンピュータシステムを使用して、三次元環境を共有する要求をサーバに送信しており、ユーザの要求は、サーバによって受け入れられている。コンピュータ生成三次元環境を共有するとき、ユーザのロケーション及び向き、並びにユーザのそれぞれの頭、目、手、腕、及び／又は手首のロケーション及び向きは、センサ（例えば、カメラ、運動センサなど）によってリアルタイムで又は周期的にキャプチャされ、ロケーション及び向きデータは、ユーザによって制御されるコンピュータシステムの一方又は両方、及び／又はコンピュータシステムと通信しているサーバに提供される。ロケーションデータは、コンピュータシステム及び／又はサーバによって使用されて、コンピュータ生成三次元環境内のユーザのそれぞれのロケーション及び向き、並びにユーザのそれぞれの頭部、目、手、腕、及び／又は手首のそれぞれのロケーション及び向き、並びに、対応して、ユーザに関連付けられた異なる表示生成コンポーネントを介して提供される三次元環境のビュー内のユーザのそれぞれの頭部、腕、手、及び／又は手首を含むユーザの表現のそれぞれのポジション、並びにユーザに関連付けられた異なる表示生成コンポーネントを介して提供される三次元環境のビューの視野及び視点を判定する。いくつかの実施形態では、ユーザによって共有されるコンピュータ生成環境は、仮想会議通話、チャットセッション、マルチプレーヤゲーム、共有コンピュータ生成体験（例えば、グループ瞑想、エクササイズ、ゲーム、共同作業など）などの環境である。いくつかの実施形態では、ユーザの表現は、ユーザのアバターである。いくつかの実施形態では、ユーザの表現は、任意選択的に、三次元環境内の表面に付着されない、又は表面によって支持されない。
図７Ｄのパート（Ａ）では、コンピュータシステムは、第１の表示生成コンポーネント７１００を介して三次元環境７３０４の第１のビュー７３０４－ａを表示する。三次元環境の第１のビュー７３０４－ａにおいて、第２のユーザ７１０２の表現７１０２’－ａは、第２の物理的環境１０５－ｂ内の第２のユーザ７１０２の現在ロケーションに対応するポジションに表示される。三次元環境の第１のビュー７３０４－ａ内には、仮想経路７３０６－ａ、仮想オブジェクト７３０８－ａなどの他のオブジェクトがある。第１のビュー７３０４－ａ内の第２のユーザ７１０２の表現７１０２’－ａ、仮想オブジェクト７３０８－ａ、及び仮想経路７３０６－ａのそれぞれの外観及び表示ポジションは、第１の表示生成コンポーネント７１００を介して示される三次元環境の現在表示されている第１のビュー７３０４－ａの視点のポジションに対する三次元環境内のそれらのそれぞれのポジションに基づく。いくつかの実施形態では、第１のユーザ７００２の表現７００２’－ａは、三次元環境の第１のビュー７３０４－ａ内に、第１のユーザ７００２の仮想ポジション及び／又は三次元環境において現在表示されている第１のビュー７３０４－ａの視点に対応するポジションで、任意選択的に可視である。この例では、図７Ｄ、パート（Ａ）に示すように、コンピュータシステムは、第１のビュー７３０４－ａの視点の仮想ポジションに向かう直線７３０２の表現７３０２’に沿った表現７１０２’－ａの移動を表示する。図７Ｄに示される瞬間において、表現７１０２’－ａは、三次元環境７３０４内のポジションと第２の物理的環境（例えば、シーン１０５－ｂ、又は第２のユーザ７１０２の別の物理的環境など）内のロケーションとの間の第１のタイプの対応関係に従って計算されるポジションに表示される。第２のユーザ７１０２の表現７１０２’－ａは、第２のユーザ７１０２が第２の物理的環境内で線７３０２に沿って前方に移動するにつれて、第１のビュー７３０４－ａの視点に向かって移動して接近するように示されている。
いくつかの実施形態では、図７Ｄの部分（Ｂ）に示されるように、コンピュータシステム、又はコンピュータシステムと通信している別のコンピュータシステムは、任意選択的に、表示生成コンポーネント７２００を介して、三次元環境７３０４の第２のビュー７３０４－ｂを表示する。三次元環境の第２のビュー７３０４－ｂにおいて、第１のユーザ７００２の表現７００２’－ｂは、第１の物理的環境（例えば、シーン１０５－ａ、又は第１のユーザの別の物理的環境など）内の第１のユーザ７００２の現在ロケーションに対応するポジションに表示される。三次元環境の第２のビュー７３０４－ｂには、仮想経路７３０６－ｂ（例えば、仮想経路７３０６－ａと同じ仮想経路であるが、第２のビュー７３０４－ｂの視点から見たもの）、仮想オブジェクト７３０８－ｂ（例えば、仮想オブジェクト７３０８－ａと同じ仮想オブジェクトであるが、第２のビュー７３０４－ｂの視点から見たもの）などの他のオブジェクトがある。第２のビュー７３０４－ｂ内の第１のユーザ７００２の表現７００２’－ｂ、仮想オブジェクト７３０８－ｂ、及び仮想経路７３０６－ｂのそれぞれの外観及び表示ポジションは、第２の表示生成コンポーネント７２００を介して示される三次元環境の現在表示されている第２のビュー７３０４－ｂの視点のポジションに対する三次元環境内のそれらのそれぞれのポジションに基づく。いくつかの実施形態では、第２のユーザ７１０２の表現７１０２’－ｂは、第２のユーザ７１０２の仮想ポジション及び／又は現在表示されている第２のビュー７３０４－ｂの視点に対応するポジションにおいて、三次元環境の第２のビュー７３０４－ｂ内で可視である。この例では、図７Ｄの部分（Ｂ）に示されるように、コンピュータシステムは、第２のビュー７３０４－ｂの視点の仮想ポジションに向かう直線７３００の表現７３００’に沿った表現７００２’－ｂの移動を表示する。図７Ｄに示される瞬間、表現７００２’－ｂは、三次元環境７３０４内のポジションと第１の物理的環境（例えば、シーン１０５－ａ、又は第１のユーザの別の物理的環境など）内のロケーションとの間の第１のタイプの対応関係に従って計算されるポジションに表示される。第１のユーザ７００２の表現７００２’－ｂは、第１のユーザ７００２が第１の物理的環境内で線７３００に沿って前方に移動するにつれて、第２のビュー７３０４－ｂの視点の仮想ポジションに向かって移動し、接近するように示されている。
図７Ｅは、第１のユーザ７００２及び第２のユーザ７１０２のいずれか又は両方が、第１のタイプの対応関係（例えば、三次元環境７３０４内のポジションと第１の物理的環境内のロケーションとの間の第１のタイプの対応関係、三次元環境７３０４内のポジションと第２の物理的環境内のロケーションとの間の第１のタイプの対応関係など）に従って計算された三次元環境７３０４内の第１のユーザ及び第２のユーザのそれぞれのポジションが、三次元環境７３０４内で互いに個別の予め設定された閾値距離にあるように、それぞれの物理的環境内で移動した時点を示す。いくつかの実施形態では、この時点で、図７Ｅの部分（Ａ）に示すように、第２のユーザ７１０２の表現７１０２’－ａの個別のポジションと、三次元環境７３０４内のポジションと第２の物理的環境内のロケーションとの間の第１のタイプの対応に従って計算される更新された第１のビュー７３０４－ａ’の視点のポジションとは、三次元環境７３０４内で互いの第１の閾値距離にある。いくつかの実施形態では、任意選択的に、図７Ｅの部分（Ｂ）に示すように、三次元環境７３０４内のポジションと第１の物理的環境内のロケーションとの間の第１のタイプの対応関係に従って計算される、第１のユーザ７００２の表現７００２’－ｂの個別のポジション及び更新された第２のビュー７３０４－ｂ’の視点のポジションは、三次元環境内で互いに第２の予め設定された閾値距離にある（例えば、第１の予め設定された閾値距離と同じ、異なる予め設定された閾値距離にあるなど）。いくつかの実施形態では、第１の閾値距離は、第１のユーザ及び第２のユーザのそれぞれの個人設定及び他の特性（例えば、サイズ、形状、姿勢、活動など）に応じて、第２の閾値距離とは異なる。
図７Ｅのパート（Ａ）では、第１のユーザ７００２及び第２のユーザ７１０２の彼／彼女の物理的環境内の移動を検出したことに応じて、コンピュータシステムは、第１の物理的環境内の第１のユーザ７００２の移動に従って移動させられる視点を有する三次元環境の更新された第１のビュー７３０４－ａ’を表示する。いくつかの実施形態では、更新された第１のビュー７３０４－ａ’の視点は、第１のユーザ７００２及び／又は第１の表示生成コンポーネント７１００が第１の物理的環境内で移動しなかった場合、三次元環境内で静止している。いくつかの実施形態では、第１のタイプの対応関係に従って第２の物理的環境内の第２のユーザの現在ロケーションに基づいて計算される三次元環境内の第２のユーザ７１０２の表現７１０２’－ａの個別のポジションが、三次元環境の更新された第１のビュー７３０４－ａ’に関連付けられた視点に対応する三次元環境内の個別のポジションから第１の予め設定された閾値距離以上であるという判定に従って、コンピュータシステムは、三次元環境の更新された第１のビュー７３０４－ａ’内の第１の表示ポジションに表現７１０２’－ａを表示し、第１の表示ポジションは、三次元環境内の表現７１０２’－ａの個別のポジションである。
いくつかの実施形態では、第１の予め設定された閾値距離は、腕の長さ、三次元環境７３０４内の第１のユーザ７００２のための個人空間の予め設定された半径であり、三次元環境内の第１のユーザ７００２の仮想ポジションを囲む予め設定された境界面（例えば、第１のユーザ７００２の表現の仮想面、又は第１のユーザ７００２の仮想ポジションを囲む境界ボックス）によって定義される。
いくつかの実施形態では、任意選択的に、図７Ｅの部分（Ｂ）に示されるように、第２のユーザ７１０２の物理的環境内の第２のユーザ７１０２の移動を検出したことに応じて、第２のユーザ７１０２のコンピュータシステムは、第２の物理的環境内の第２のユーザ７１０２の移動に従って移動される視点を有する三次元環境７３０４の更新された第２のビュー７３０４－ｂ’を表示する。いくつかの実施形態では、更新された第２のビュー７３０４－ｂ’の視点は、第２のユーザ７１０２及び／又は第２の表示生成コンポーネント７２００が第２の物理的環境内で移動しなかった場合、三次元環境内で静止している。いくつかの実施形態では、第１のタイプの対応関係に従って第１の物理的環境内の第１のユーザ７００２の現在ロケーションに基づいて計算される三次元環境内の第１のユーザ７００２の表現７００２’－ｂの個別のポジションが、三次元環境の更新された第２のビュー７３０４－ｂ’に関連付けられた視点に対応する三次元環境内の個別のポジションから第２の予め設定された閾値距離以上であるという判定に従って、第２のユーザ７１０２のコンピュータシステムは、三次元環境の更新された第２のビュー７３０４－ｂ’内の第２の表示ポジションに表現７００２’－ｂを表示し、第２の表示ポジションは、三次元環境内の表現７００２’－ｂの個別のポジションである。
いくつかの実施形態では、第２の予め設定された閾値距離は、腕の長さ、三次元環境内の第２のユーザ７１０２の個人空間の予め設定された半径であり、三次元環境内の第２のユーザ７１０２の仮想ポジションを取り囲む予め設定された境界面（例えば、第２のユーザ７１０２の表現の仮想面、第２のユーザ７１０２の仮想ポジションを取り囲む境界ボックスなど）によって定義される。
図７Ｆでは、図７Ｅに示されるものの次の瞬間、第１のユーザ７００２及び第２のユーザ７１０２のいずれか又は両方の移動が、第１のタイプの対応関係（例えば、三次元環境７３０４内のポジションと第１の物理的環境内のロケーションとの間の第１のタイプの対応関係、三次元環境７３０４内のポジションと第２の物理的環境内のロケーションとの間の第１のタイプの対応関係など）に従って計算されるような三次元環境内の第１のユーザ及び第２のユーザのそれぞれのポジションが、三次元環境内で互いの個別の予め設定された閾値距離内にあるように、それらのそれぞれの物理的環境内で継続している。いくつかの実施形態では、この時点で、三次元環境７３０４内のポジションと第２の物理的環境内のロケーションとの間の第１のタイプの対応関係に従って計算される、第２のユーザ７１０２の表現の個別のポジション及び更に更新された第１のビュー７３０４－ａ’’の視点のポジションは、三次元環境内で互いの第１の予め設定された閾値距離未満である。
図７Ｆの部分（Ａ）では、それぞれの物理的環境内の第１のユーザ７００２及び／又は第２のユーザ７１０２の更なる移動を検出したことに応じて、コンピュータシステムは、第１の物理的環境内の第１のユーザ７００２の更なる移動に従って移動される視点を有する三次元環境の更なる更新された第１のビュー７３０４－ａ’’を表示する。いくつかの実施形態では、更に更新された第１のビュー７３０４－ａ’’の視点は、第１のユーザ７００２及び／又は第１の表示生成コンポーネント７１００が第１の物理的環境内で移動しなかった場合、三次元環境内で静止している。いくつかの実施形態では、第１のタイプの対応関係に従って第２の物理的環境内の第２のユーザ７１０２の現在ロケーションに基づいて計算された三次元環境内の第２のユーザ７１０２の表現７１０２’－ａの個別のポジションが、三次元環境の更に更新された第１のビュー７３０４－ａ’’に関連付けられた視点に対応する三次元環境内の個別のポジションから第１の予め設定閾値距離未満であるという判定に従って、コンピュータシステムは、三次元環境の更に更新された第１のビュー７３０４－ａ’’内の調整された表示ポジションに表現７１０２’－ａを表示し、調整された表示ポジションは、この時点での三次元環境内の表現７１０２’－ａの個別のポジションからオフセットされる。例えば、図７Ｆの部分（Ａ）では、表現７１０２’－ａの真正面のポジションに表現７００２’－ａを表示する代わりに、又は更に更新された第１のビュー７３０４－ａ’’内の表現７００２’－ａと重複して、表現７００２’－ａの調整された表示ポジションは、第１のユーザ７００２の表現７００２’－ａの側（例えば、右側、又は別の側若しくは方向など）にオフセットされる。一般に、現在表示されている第１のビュー７３０４－ａ’’の視点の第１の予め設定された閾値距離内にあるポジションに表現７１０２’－ａを表示する代わりに、コンピュータシステムは、第１のタイプの対応関係に従って計算された未調整ポジションからオフセットされた調整された表示ポジションに表現７１０２’－ａを表示する。いくつかの実施形態では、コンピュータシステムは、表現７１０２’－ａのポジションと現在表示されている第１のビュー７３０４－ａ’’の視点のポジションとの間の距離がもはや互いの第１の予め設定閾値距離内になくなるまで、第１のユーザ７００２及び／又は第２のユーザ７１０２の移動中に、表現７１０２’－ａの表示ポジションに調整を適用し続ける。
いくつかの実施形態では、任意選択的に、図７Ｆの部分（Ｂ）に示すように、三次元環境７３０４内のポジションと第１の物理的環境内のロケーションとの間の第１のタイプの対応関係に従って計算された、第１のユーザ７００２の表現７００２’－ｂの個別のポジション及び更に更新された第２のビュー７３０４－ｂ’’の視点のポジションは、三次元環境内で互いの第２の予め設定された閾値距離未満（例えば、第１の予め設定された閾値距離と同じ、異なる予め設定された閾値距離など）である。
図７Ｆの部分（Ｂ）では、第１のユーザ７００２及び／又は第２のユーザ７１０２のそれぞれの物理的環境内の更なる移動を検出したことに応じて、第２のユーザ７１０２のコンピュータシステムは、第２の物理的環境内の第２のユーザ７１０２の更なる移動に従って移動される視点を有する三次元環境の更なる更新された第２のビュー７３０４－ｂ’’を表示する。いくつかの実施形態では、更に更新された第２のビュー７３０４－ａ’’の視点は、第２のユーザ７１０２及び／又は第２の表示生成コンポーネント７２００が第２の物理的環境内で移動しなかった場合、三次元環境内で静止している。いくつかの実施形態では、第１のタイプの対応関係に従って第１の物理的環境内の第１のユーザ７００２の現在ロケーションに基づいて計算された三次元環境内の第１のユーザ７００２の表現７００２’－ｂの個別のポジションが、三次元環境の更に更新された第２のビュー７３０４－ｂ’’に関連付けられた視点に対応する三次元環境内の個別のポジションから第２の予め設定された閾値距離未満であるという判定に従って、第２のユーザ７１０２のコンピュータシステムは、三次元環境の更に更新された第２のビュー７３０４－ｂ’’内の調整された表示ポジションに表現７００２’－ｂを表示し、調整された表示ポジションは、この時点における三次元環境内の表現７００２’－ｂの個別のポジションからオフセットされる。例えば、図７Ｆの部分（Ｂ）では、表現７００２’－ｂを表現７１０２’－ｂの真正面のポジションに表示するか、又は更に更新された第２のビュー７３０４－ｂ’’内の表現７１０２’－ｂと重複する代わりに、表現７００２’－ｂの調整された表示ポジションは、第２のユーザ７１０２の表現７１０２’－ｂの側に（例えば、右に、別の側又は方向になど）オフセットされる。一般に、現在表示されている第２のビュー７３０４－ｂ’’の視点の第２の予め設定された閾値距離内にあるポジションに表現７００２’－ｂを表示する代わりに、第２のユーザ７１０２のコンピュータシステムは、第１のタイプの対応関係に従って計算された未調整ポジションからオフセットされた調整された表示ポジションに表現７００２’－ｂを表示する。いくつかの実施形態では、第２のユーザ７１０２のコンピュータシステムは、表現７００２’－ｂのポジションと現在表示されている第２のビュー７３０４－ｂ’’の視点のポジションとの間の距離がもはや互いの予め設定された第２の閾値距離内になくなるまで、第１のユーザ及び／又は第２のユーザの移動中に調整を適用し続ける。
いくつかの実施形態では、上記の例において、第１のユーザ７００２は移動しており、第２のユーザ７１０２は静止している。結果として、上述のように調整されない限り、現在表示されているビュー７３０４－ａ、７３０４－ａ’、及び７３０４－ａ’’の視点は、三次元環境において異なるポジションを有し、第１のユーザ７００２の表現７００２’－ｂは、三次元環境において（例えば、図７Ｄ～図７Ｆにおける現在表示されている第１のビュー７３０４－ａ、７３０４－ａ’、及び７３０４－ａ’’、並びに現在表示されている第２のビュー７３０４－ｂ、７３０４－ｂ’、７３０４－ｂ’’において）異なるポジションを有する。上述のように調整されない限り、現在表示されているビュー７３０４－ｂ、７３０４－ｂ’、及び７３０４－ｂ’’の視点は、三次元環境において同じポジションを有し、第２のユーザ７１０２の表現７１０２’－ａは、三次元環境において（例えば、図７Ｄ～図７Ｆにおける現在表示されている第１のビュー７３０４－ａ、７３０４－ａ’、及び７３０４－ａ’’、並びに現在表示されている第２のビュー７３０４－ｂ、７３０４－ｂ’、７３０４－ｂ’’において）同じポジションを有する。
いくつかの実施形態では、上記の例において、第１のユーザ７００２は静止しており、第２のユーザ７１０２は第２の物理的環境内で移動している。結果として、上述のように調整されない限り、現在表示されているビュー７３０４－ｂ、７３０４－ｂ’、及び７３０４－ｂ’’の視点は、三次元環境において異なるポジションを有し、第２のユーザ７１０２の表現７１０２’－ａは、三次元環境において（例えば、図７Ｄ～図７Ｆにおける現在表示されている第１のビュー７３０４－ａ、７３０４－ａ’、及び７３０４－ａ’’、並びに現在表示されている第２のビュー７３０４－ｂ、７３０４－ｂ’、７３０４－ｂ’’において）異なるポジションを有する。上述のように調整されない限り、現在表示されているビュー７３０４－ａ、７３０４－ａ’、及び７３０４－ａ’’の視点は、三次元環境において同じポジションを有し、第１のユーザ７００２の表現７００２’－ｂは、三次元環境において（例えば、図７Ｄ～図７Ｆにおける現在表示されている第１のビュー７３０４－ａ、７３０４－ａ’、及び７３０４－ａ’’、並びに現在表示されている第２のビュー７３０４－ｂ、７３０４－ｂ’、７３０４－ｂ’’において）同じポジションを有する。
いくつかの実施形態では、上記の例において、第１のユーザ７００２及び第２のユーザ７１０２は両方とも、それぞれの物理的環境内で移動している。その結果、現在表示されている第１のビュー７３０４－ｂ、７３０４－ｂ’、及び７３０４－ｂ’’の視点、並びに現在表示されている第２のビュー７３０４－ａ、７３０４－ａ’、７３０４－ａ’’の視点は全て、三次元環境において異なるポジションを有する。第２のユーザ７１０２の表現７１０２’－ａは、図７Ｄ～図７Ｆの現在表示されている第１のビュー７３０４－ａ、７３０４－ａ’、及び７３０４－ａ’’、並びに現在表示されている第２のビュー７３０４－ｂ、７３０４－ｂ’、及び７３０４－ｂ’’において三次元環境内の異なるポジションを有し、第１のユーザ７００２の表現７００２’－ｂは、図７Ｄ～図７Ｆの現在表示されている第１のビュー７３０４－ａ、７３０４－ａ’、及び７３０４－ａ’’、並びに現在表示されている第２のビュー７３０４－ｂ、７３０４－ｂ’、及び７３０４－ｂ’’において三次元環境内の異なるポジションを有する。
いくつかの実施形態では、第１のユーザ７００２の表現７００２’－ｂ及び／又は第２のユーザ７１０２の表現７１０２’－ａは、第１のビュー及び第２のビュー内の空間に浮動している。例えば、いくつかの実施形態では、第１のユーザ７００２の表現７００２’－ｂは、三次元環境の第２のビュー７０３４－ｂ、７０３４－ｂ’、及び７０３４－ｂ’’などに浮かんでいる第１のユーザ７００２の浮動アバターであり、第１のユーザの移動及び／又は第２のユーザの移動に起因して、第２のビュー７０３４－ｂ’’の視点が表現７００２’－ｂの第２の予め設定された閾値距離内に入ると、自動的に邪魔にならないように移動する。同様に、いくつかの実施形態では、第２のユーザ７１０２の表現７１０２’－ａは、三次元環境の第１のビュー７０３４－ａ、７０３４－ａ’、及び７０３４－ａ’’などに浮かんでいる第２のユーザ７１０２の浮動アバターであり、第１のユーザの移動及び／又は第２のユーザの移動に起因して、第１のビュー７０３４－ａ’’の視点が表現７１０２’－ａの第１の予め設定された閾値距離内に入ると、自動的に邪魔にならないように移動する。いくつかの実施形態では、三次元環境内のユーザのアバターは、三次元環境の現実感レベル（例えば、写真の現実感レベル、漫画の現実感レベルなど）に基づいて選択される現実感レベルである。いくつかの実施形態では、三次元環境７３０４が第１の現実感レベルで表示されるという判定に従って、ユーザの表現は、第１の現実感レベルに対応する第１のセットの表示特性（例えば、第１の解像度、第１の次元数、第１の鮮明度、第１のカラーパレット、照明効果なしなど）で表示され、三次元環境が第１の現実感レベルとは異なる（例えば、より高い、より低いなど）第２の現実感レベルで表示されるという判定に従って、ユーザの表現は、第２の現実感レベルに対応する第２のセットの表示特性（例えば、第２の解像度、第２の次元数、第２の鮮明度、第２のカラーパレット、照明効果ありなど）で表示され、第２のセットの表示特性は、第１のセットの表示特性とは異なる（例えば、より高い、より低い、加算する、減算するなど）。
いくつかの実施形態では、個別のユーザの表現の表示ポジションが調整されるとき、個別のユーザの表現は、通常の方法で（例えば、第１のタイプの対応関係に従って、調整なしでなど）物理的環境内の個別のユーザの移動に対応しない移動コンポーネントと共に移動する。いくつかの実施形態では、個別のユーザの個別の表現の調整されたポジション置に適用されるオフセットの量は、個別の表現と三次元環境内の視点の仮想ポジションとの間の空間関係に基づいて可変である。いくつかの実施形態では、表現７１０２’－ａの表示ポジションに対する調整は、任意選択的に、第１のユーザ７００２に表示される第１のビュー７３０４－ａ’’に適用され、第２のユーザ７１０２に表示される第２のビュー７３０４－ｂ’’には適用されない。いくつかの実施形態では、表現７００２’－ｂの表示ポジションに対する調整は、任意選択的に、第１のユーザ７００２に表示される第１のビュー７３０４－ａ’’ではなく、第２のユーザ７１０２に表示される第２のビュー７３０４－ｂ’’に適用される。
いくつかの実施形態では、三次元環境７３０４は、仮想三次元環境又は拡張現実環境を含み、第１のユーザ及び第２のユーザは、仮想三次元環境において共有体験を有する。いくつかの実施形態では、それぞれの物理的環境（例えば、同じ物理的環境、異なる物理的環境など）内の第１のユーザ及び第２のユーザのポジション及び移動は、同じ三次元環境内のポジション及び移動に（例えば、同じマッピング関係、又は異なるマッピング関係などを使用して）マッピングされるが、三次元環境の外観は、（例えば、異なる壁紙、配色、異なる仮想家具などを用いて）調整されて、個別のユーザに対して示される三次元環境のビュー内で個別のユーザに合わせて適応させることができる。
図７Ｇ～図７Ｊは、いくつかの実施形態による、コンピュータシステムによって受信されるユーザのバイオメトリックデータの変化に従って、コンピュータ生成体験の環境を表示する没入レベルの変化を示すブロック図である。
いくつかの実施形態では、コンピュータシステムは、ユーザ（例えば、ユーザ７００２）に対応するバイオメトリックデータ（例えば、バー７３１２によって表されるバイオメトリックデータ、他のバイオメトリックデータなど）に従って、コンピュータ生成体験（例えば、視覚体験、視聴覚体験、仮想現実体験、拡張現実体験など）をユーザに提示する没入レベルを変更する。例えば、コンピュータ生成体験が開始された後、例えば、積極的に、及び／又はコンピュータ生成コンテンツの影響下で、ユーザが自分の身体的及び感情的な状態を調整しているとき、コンピュータシステムは、ユーザに対応するバイオメトリックデータ（例えば、心拍数、血圧、呼吸数など）の変化を検出することができる。様々な没入レベルに関連付けられた予め設定された基準（例えば、インジケータ７３２６によって表される閾値又は他のタイプの閾値若しくは基準など）のそれぞれのセットに対するバイオメトリックデータの変化に従って、コンピュータシステムは、物理的環境の表現の視覚的プロミネンスに対して仮想コンテンツの（例えば、空間範囲、視覚的奥行き、彩度、視覚的コントラストなどを含む）視覚的プロミネンスを変更することによって（例えば、仮想コンテンツの複雑さ、空間範囲、及び／又は視覚的特性を強化すること、及び／又は物理的環境の表現の視覚的明瞭さ、ぼかし半径、不透明度、彩度などを低減することなどによって）コンピュータ生成体験をユーザに提供する没入レベルを増加又は低減させる。
図７Ｇ～図７Ｊに示す例では、コンピュータシステムは、最初に、表示生成コンポーネント（例えば、表示生成コンポーネント７１００、又はＨＭＤなどの別のタイプの表示生成コンポーネントなど）を介して三次元環境のビュー７３１６を表示する。いくつかの実施形態では、三次元環境のビュー７３１６は、ユーザ７００２の物理的環境のパススルービューであり、表示生成コンポーネントによって提供される視野の周辺部分内に仮想コンテンツを含まないか、又は最小量の仮想コンテンツ（例えば、システム制御、インジケータなど）を含む。ビュー７３１６は、例えば、ユーザの物理的環境の表現に対して表示される仮想コンテンツの量が最小限であるために、コンピュータ生成体験をユーザに提供する低い没入レベルに対応する。この例では、三次元環境のビュー７３１６は、物理的表面の表現（例えば、ユーザ７００２の物理的環境１０５内の２つの隣接する壁７００４及び７００６の表現７００４’及び７００６’、床７００８の表現７００８’など）、及び物理的オブジェクトの表現（例えば、ユーザ７００２の物理的環境１０５内の物理的オブジェクト７０１０の表現７０１０’、及び他の物理的オブジェクトの表現など）を含む。
図７Ｇはまた、コンピュータシステムが、低い没入レベルで三次元環境のビュー７３１６を表示している（例えば、物理的環境のパススルービューを表示する、又は最小量の仮想コンテンツを有する物理的環境の表現を表示するなど）間、コンピュータシステムが、ユーザ７００２に対応するバイオメトリックデータを受信することを示す。ユーザ７００２のバイオメトリックデータが次に高い没入レベルに対応する予め設定された基準を満たさないという判定に従って、コンピュータシステムは、三次元環境の現在表示されているビュー内の物理的環境の表現の視覚的プロミネンスを低減することなく、三次元環境の第１のビュー７３１６の表示を維持する。例えば、図７Ｇに示すように、バイオメトリックデータは、バイオメトリックデータの値（単数又は複数）の全範囲に対するバー７３１２の長さによって示される値又は値のセットを有し、異なるより高い没入レベルに遷移するための予め設定された基準に対応する閾値は、バイオメトリックデータの値の全範囲に対するインジケータ７３２６のポジションによって示される。
いくつかの実施形態では、ユーザ７００２に対応するバイオメトリックデータは、ユーザ７００２の心拍数、呼吸数、体温、特定の化学物質、薬剤、及び／又はホルモンなどの血清濃度、血圧、脳波、集中度、瞳孔サイズ、代謝率、血糖値などのうちの１つ以上を含む。いくつかの実施形態では、ユーザ７００２に対応するバイオメトリックデータは、コンピュータ生成体験とのユーザの関与中に経時的に変化し得る１つ以上のタイプのバイオメトリックデータ（例えば、呼吸数、血圧、集中度、血糖値など）を含む。いくつかの実施形態では、ユーザに対応するバイオメトリックデータは、ユーザの身体的アクション（例えば、コンピュータ生成体験とのユーザの関与中にコンピュータシステムによって提供されるユーザインタフェース要素又は制御との直接相互作用とは対照的に、瞑想、呼吸パターンの変化、エクササイズなど）を通じて変動し得る、１つ以上のタイプのバイオメトリックデータを含む。いくつかの実施形態では、ユーザに対応するバイオメトリックデータは、ユーザの気分、幸福度、及び／又はストレスレベルなどに対応する複数のタイプのバイオメトリックデータの１つ以上のタイプの複合メトリックを含む。いくつかの実施形態では、バイオメトリックデータは、表示生成コンポーネントを介した三次元環境の現在のビューの表示の前の時間又は予め設定された量の時間内のユーザの生理学的状態に対応するリアルタイムデータを含む。いくつかの実施形態では、バイオメトリックデータは、ユーザに接続されるか、又は向けられる１つ以上のバイオメトリックセンサ（例えば、種々の好適な医療デバイス、振動センサ、カメラ、熱センサ、化学センサなど）を通じて、連続的及び／又は周期的に収集され、コンピュータシステムに連続的及び／又は周期的に伝送される。いくつかの実施形態では、バイオメトリックデータは、平均的なユーザがコンピュータ生成体験に関与している期間にわたって典型的には変化しない、人間の非一次的特徴（例えば、指紋、虹彩パターン及び色、顔特徴、声紋など）を含まない。
いくつかの実施形態では、コンピュータシステムは、心拍数が第１の閾値心拍数よりも大きく、血圧が第１の閾値血圧よりも高く、ユーザの運動が閾値時間量の間に第１の閾値移動量よりも大きく、ユーザの体温が第１の閾値体温よりも高く、ストレスレベルのメトリックが第１の閾値ストレスレベルを上回り、ユーザの気分に対応するメトリックがユーザが動揺して不満であることを示すなどという判定に従って、バイオメトリックデータが予め設定されたより高い没入レベルでコンピュータ生成体験を表示することに遷移するための予め設定された基準を満たさないと判定する。いくつかの実施形態では、コンピュータシステムは、予め設定された基準が満たされるとき、予め設定された基準が満たされる前のバイオメトリックデータの変化に基づく漸進的な遷移を経ることなく、（例えば、図７Ｊに示されるように）予め設定されたより高い没入レベルで三次元環境を表示することに切り替える。いくつかの実施形態では、任意選択的に、コンピュータ生成体験は、ユーザから受信される対応するバイオメトリックデータが予め設定された基準を満たすであろう状態にユーザが入ることを支援する視覚及び／又は音声ガイダンス（例えば、音楽、風景、鼓舞メッセージ、投薬記録の案内、視覚、音声、又は口頭での呼吸指示など）を含む。
図７Ｈ～図７Ｉは、いくつかの実施形態では、コンピュータシステムが、ユーザに対応するバイオメトリックデータの変化の傾向及び／又は大きさに従って、コンピュータ生成体験をユーザに提供する没入レベルを徐々に調整することを示す。例えば、いくつかの実施形態では、バイオメトリックデータが、予め設定されたより高い没入レベル（例えば、拡張現実ビュー、拡張仮想性ビュー、仮想現実ビューなど）に切り替えるための予め設定された基準の満足に近づく変化を呈すると、コンピュータシステムは、コンピュータ生成体験に対応する仮想コンテンツの視覚的プロミネンス及び／又は量を増加させ、三次元環境の現在表示されているビュー内の物理的環境の表現の視覚的プロミネンス及び／又は量を低減させる。いくつかの実施形態では、コンピュータシステムは、ユーザに対応するバイオメトリックデータの変化の量及び／又は性質に対応する量だけ、コンピュータ生成体験に対応する仮想コンテンツと物理的環境の表現との間の視覚的バランスを変化させる。同様に、いくつかの実施形態では、バイオメトリックデータが、予め設定されたより高い没入レベルに切り替えるための予め設定された基準を満たすことから離れる変化を呈すると、コンピュータシステムは、コンピュータ生成体験に対応する仮想コンテンツの視覚的プロミネンス及び／又は量を減少させ、三次元環境の現在表示されているビュー内の物理的環境の表現の視覚的プロミネンス及び／又は量を増加させる。
いくつかの実施形態では、コンピュータシステムは、ユーザに対応するバイオメトリックデータの変化の量及び／又は性質に対応する量だけ、仮想コンテンツと物理的環境の表現との間の視覚的バランスを変化させる。図７Ｈに示されるように、（例えば、インジケータ７３２６のポジションに近づくバー７３１２の増加した長さによって示されるように）バイオメトリックデータの値が予め設定された基準を満たすように変化するとき、三次元環境のビュー（例えば、図７Ｈのビュー７３１８）に表示される仮想コンテンツの量は、以前の状態（例えば、図７Ｇのビュー７３１６）と比較して増加し、物理的環境の表現の視覚的プロミネンスは減少する。より具体的には、図７Ｈでは、壁７００４及び７００６の表現７００４’及び７００６’は、仮想コンテンツ７３２０及び７３２２（例えば、視覚効果が適用される物理的環境の表現の部分を視覚的に隠す視覚効果、仮想表面、仮想オブジェクト、仮想風景など）の表示によって置換されるか又は隠され、表現７０１０’の表面の少なくとも一部も、仮想コンテンツ７３２４（例えば、視覚効果が適用される物理的環境の表現の部分を視覚的に隠す視覚効果、仮想表面、仮想オブジェクト、仮想風景など）の表示によって置換されるか又は隠される。図７Ｈに続く図７Ｉに示されるように、バイオメトリックデータの値が、（例えば、インジケータ７３２６のポジションから後退するバー７３１２の減少した長さによって示されるように）予め設定された基準を満たすことから離れて変化するとき、三次元環境のビュー（例えば、図７Ｉのビュー７３２８）内に表示される仮想コンテンツの量は、以前の状態（例えば、図７Ｈのビュー７３１８）と比較して減少し、物理的環境の表現の視覚的プロミネンスは再び増加する（例えば、任意選択的に、図７Ｇに示される状態よりも依然として低い）。より具体的には、図７Ｉでは、壁７００６の表現７００６’は、仮想コンテンツ７３３２が除去された後に再表示され、壁７００４の表現７００４’は、仮想コンテンツ７３２０の視覚的プロミネンスが低減されたときに部分的に再表示される（例えば、視覚効果が適用される物理的環境の表現の部分を視覚的に覆い隠す視覚効果の大きさが低減され、仮想面及び仮想オブジェクトが縮小され、除去され、数が低減され、又はより半透明にされるなど）。仮想コンテンツ７３２４の表示によって置換された、又は隠された表現７０１０’の表面の部分の視覚的プロミネンスは、仮想コンテンツ７３２４に対して行われた変更（例えば、より半透明にされた、より不透明でなくされた、表現７０１０’に対してより少ない量の歪みを含むなど）によって同様に増加する。いくつかの実施形態では、予め設定されたより高い没入レベルに遷移するための予め設定された基準が満たされる前に（例えば、インジケータ７３２６によって示される閾値がユーザに対応するバイオメトリックデータによって満たされる前に、又は他の基準がバイオメトリックデータによって満たされる前に、など）、バイオメトリックデータがユーザの現在の状態に基づいて更新されるにつれて、コンピュータシステムは、バイオメトリックデータに従って、仮想コンテンツと三次元環境の現在表示されているビュー内の物理的環境の表現との間の視覚的バランスを連続的又は周期的に調整する（例えば、物理的環境の表現に対する仮想コンテンツの視覚的プロミネンスを増加させる、物理的環境の表現に対する仮想コンテンツの視覚的プロミネンスを減少させる、など）。
図７Ｊでは、コンピュータシステムは、ユーザに対応する更新されたバイオメトリックデータが、バイオメトリックデータによって予め設定基準が満たされる前に表示されたもの（例えば、図７Ｇ～７Ｉのビュー７３１６、７３１８、７３２８など）と比較してより高い没入レベルを有する予め設定されたより高い没入レベル（例えば、拡張現実環境、拡張仮想現実環境、仮想現実環境など）に遷移するための予め設定基準を満たすことを検出し、コンピュータシステムは、予め設定されたより高い没入レベルでの三次元環境の表示（例えば、図７Ｊのビュー７３３４、又は予め設定されたより高い没入レベルでの三次元環境の別のビューなどの表示）に遷移する。この例では、図７Ｊに示されるように、コンピュータシステムは、仮想コンテンツ（例えば、図７Ｊのビュー７３３４内の壁７００６、７００４、床７００８、及び物理的オブジェクト７０１０の表現７００６’、７００４’、７００８’、及び７０１０’を視覚的に覆い隠す仮想コンテンツ７３２２、７３２０、７３３０、及び７３２４）の視覚的特性を通じて、物理的環境のヒント（例えば、壁と床との間の構造的関係、物理的オブジェクトの存在など）のみが三次元環境内で依然として可視であるように、仮想コンテンツの視覚的プロミネンスを増加させ、物理的環境の表現の視覚的プロミネンスを更に減少させている。いくつかの実施形態では、コンピュータシステムは、三次元環境内の様々なポジションに仮想オブジェクトを更に表示する。例えば、仮想オブジェクト７３３２は、物理的環境内の物理的オブジェクト７０１０のロケーションに対応するポジションに表示され、仮想オブジェクト７３２６は、床７００８上のロケーションに対応するポジションに表示され、他の仮想オブジェクトは、物理的環境内の自由空間に対応するポジションに、又は物理的環境の状態とは無関係に表示され得る。いくつかの実施形態では、予め設定されたより高い没入レベルに遷移するための予め設定基準が満たされた後、コンピュータシステムは、三次元環境の現在表示されているビュー内の仮想コンテンツの量を急激に増加させるか、又はコンピュータ生成体験に対応する完全に新しい環境（例えば、新しい仮想世界、新しいシーンなど）を表示する。いくつかの実施形態では、予め設定基準が満たされ、コンピュータシステムが予め設定されたより高い没入レベルで三次元環境を表示した後、予め設定基準が更新されたバイオメトリックデータによってもはや満たされないという判定に従って、コンピュータシステムは、図７Ｈ及び図７Ｉに示すように、バイオメトリックデータの変化に基づいて三次元環境が表示される没入レベルを徐々に調整する。いくつかの実施形態では、予め設定された基準が満たされ、コンピュータシステムが予め設定されたより高い没入レベルで三次元環境を表示した後、予め設定された基準が更新されたバイオメトリックデータによってもはや満たされていないという判定に従って、コンピュータシステムは、（例えば、図７Ｇに示すように）より低い没入レベルで三次元環境の表示に戻るように急に切り替わる。
いくつかの実施形態では、予め設定された基準は、心拍数が第１の閾値心拍数よりも低い、呼吸数が第１の閾値呼吸数よりも低い、血圧が第１の閾値血圧よりも低い、ユーザの移動が閾値時間中に第１の閾値移動量より小さい、ユーザの体温が第１の閾値体温よりも低い、ストレスレベルのメトリックが第１の閾値ストレスレベルよりも低い、ユーザの気分に対応するメトリックがユーザがリラックスして幸せであることを示すという判定に従って満たされる。
いくつかの実施形態では、低い没入レベルで示される三次元環境のビュー（例えば、図７Ｇに示されるような、又は三次元環境の別のビューなど）は、コンピュータシステムの表示生成コンポーネントが最初にオンにされる、又はユーザの頭部若しくはユーザの目の前に置かれるときに表示され、仮想要素は三次元環境に表示されないか、又は最小量の仮想要素が三次元環境に表示される。これにより、表示生成コンポーネントがユーザの目を遮断することなく、ユーザは、現実世界の直接ビューと非常に類似している三次元環境のビューから開始することができる。いくつかの実施形態では、低い没入レベルに対応する三次元環境のビューは、二次元ウィンドウ内に表示される、又は物理的環境の表現に対するポジションに表示される表示域内に制限されるアプリケーション又はコンピュータ生成体験のユーザインタフェース又は環境（例えば、二次元環境、三次元環境など）のビューである。いくつかの実施形態では、低い没入レベルで示される三次元環境のビュー（例えば、図７Ｇに示すように、又は三次元環境の別のビューなど）は、アプリケーション又はコンピュータ生成体験がユーザによって最初に起動又は開始されたときに表示され、アプリケーション又は体験の完全な空間範囲は、三次元環境においてまだ表示されていない。これにより、ユーザは、あまり没入感がなく、実世界のビューのコンテキストで見られる三次元環境のビューから開始することができる。
いくつかの実施形態では、コンピュータシステムによって表示される仮想コンテンツ（例えば、仮想壁紙、仮想オブジェクト、仮想表面、仮想風景、仮想三次元環境など）は、物理的環境の視界を少なくとも部分的に遮断又は不明瞭にする。いくつかの実施形態では、予め設定されたよりも高い没入レベルで三次元環境のビューを表示するとき、コンピュータシステムは、第１のクラスの物理的オブジェクト又は表面（例えば、前壁、前壁、及び天井など）のビューを、新しく表示された仮想要素又は既存の仮想要素の新しく表示された部分と置換又は遮断する。いくつかの実施形態では、アニメーション遷移が表示されて、仮想要素が徐々に拡大するか、又はより不透明になり一杯にすることで、第１のクラスの物理的オブジェクト又は表面のビューを覆う又は遮断する。いくつかの実施形態では、予め設定されたより高い没入レベルで三次元環境のビューを表示するとき、コンピュータシステムは、物理的要素の任意のクラス全体を置換することなく、仮想要素を三次元環境に追加する。いくつかの実施形態では、追加される仮想要素は、任意選択的に、メニュー（例えば、アプリケーションのメニュー、文書など）、コントロール（例えば、ディスプレイ輝度コントロール、ディスプレイ焦点コントロールなど）、又はユーザ入力によって操作することができる、又は三次元環境に情報若しくはフィードバックを提供するその他のオブジェクト（例えば、仮想アシスタント、文書、メディアアイテムなど）などのユーザインタフェースオブジェクトを含む。いくつかの実施形態では、追加される仮想要素は、任意選択的に、ユーザ入力によって操作することができず、物理的環境のルックアンドフィールを置換する三次元環境のルックアンドフィールを提供するように機能する非インタラクティブオブジェクト又は表面を含む。いくつかの実施形態では、コンピュータシステムによって表示される仮想コンテンツは、物理的環境のビューを少なくとも部分的に遮断又は不明瞭にする視覚効果（例えば、物理的環境の表現をフェードアウトする、ぼかす、ぼんやりさせるなど）を含む。
いくつかの実施形態では、バイオメトリックデータが更新され、更新されたバイオメトリックデータが、更に高い没入レベルで三次元環境を表示することに遷移するための予め設定された基準を満たすという判定に従って、コンピュータシステムは、コンピュータ生成体験に対応する仮想コンテンツの視覚的プロミネンスを増加させ、物理的環境からの視覚的刺激を、更に高い没入レベルに対応する別のレベルに低減する。例えば、いくつかの実施形態では、コンピュータシステムは、追加のクラスの物理的オブジェクト又は表面（例えば、床）を、新たに表示された仮想要素又は既存の仮想要素の新たに表示された部分によって置換する、不明瞭にする、又は遮断する。いくつかの実施形態では、アニメーション遷移が表示されて、仮想要素が徐々に拡大するか、又はより不透明になり一杯にすることで、追加のクラスの物理的オブジェクト及び表面のｖビューを覆う又は遮断する。
いくつかの実施形態では、三次元環境は、コンピュータ生成仲介体験の環境であり、ユーザが、より深い瞑想体験の状態に入るために必要とされる集中、弛緩、集中などのレベルを達成したことをバイオメトリックデータが示す際、コンピュータシステムは、環境の現在表示されているビューを、例えば、瞑想体験に対応する仮想コンテンツの拡張された空間範囲（例えば、幅、深度、角度など）及び視覚的プロミネンス、並びに物理的環境の表現の低減された空間範囲及び視覚的プロミネンスを伴う、より没入型の環境に変換する。
いくつかの実施形態では、コンピュータ生成体験の視覚的コンテンツを表示する没入レベルの増加と共に、コンピュータシステムはまた、コンピュータシステムの音声出力デバイスのアクションを通じてユーザによって知覚可能な物理的環境の音の抑制レベルを増加させ、及び／又は音声出力デバイスによって出力されるコンピュータ生成体験の音声コンテンツの没入レベルを増加させる（例えば、音量を増加させる、ステレオ音声出力モード若しくはサラウンドサウンド出力モードから空間音声出力モードに変更する、又はステレオ音声出力モードからサラウンドサウンド出力モードに変更するなど）。
いくつかの実施形態では、コンピューティングシステムは、２つ以上の没入レベルで表示生成コンポーネントを介してＣＧＲコンテンツの視覚的コンポーネントを表示するように構成される。いくつかの実施形態では、コンピュータシステムは、少なくとも第１の没入レベル、第２の没入レベル、及び第３の没入レベルでＣＧＲコンテンツの視覚的コンポーネントを表示する。いくつかの実施形態では、コンピュータシステムは、少なくとも２つの没入レベルでＣＧＲコンテンツの視覚的コンポーネントを表示し、それぞれ、互いに対してより没入レベルの低い視覚体験及びより没入レベルの高い視覚体験を提供する。いくつかの実施形態では、コンピューティングシステムは、ユーザに対応するバイオメトリックデータが基準の異なるセットを満たすことに応じて、表示生成コンポーネントを介して表示される視覚的コンテンツを異なる没入レベル間で遷移させる。いくつかの実施形態では、第１、第２、及び第３の没入レベルは、ＣＧＲ環境内に存在するＣＧＲ体験に対応する仮想コンテンツの量を増加させること、及び／又はＣＧＲ環境内に存在する周囲の物理的環境の表現の量を減少させることに対応する。いくつかの実施形態では、第１、第２、及び第３の没入レベルは、コンピュータ生成コンテンツの増加する画像忠実度（例えば、増加するピクセル解像度、増加する色解像度、増加する色飽和度、増加するルミナンス、増加する不透明度、増加する画像詳細など）及び／又は空間範囲（例えば、角度範囲、空間深度など）、及び／又は周囲の物理的環境の表現の減少する画像忠実度及び／又は空間範囲を有する、コンテンツ表示の異なるモードに対応する。いくつかの実施形態では、第１の没入レベルは、パススルーモードであり、物理的環境は、表示生成コンポーネントを通じて（例えば、物理的環境のカメラビューとして、又は表示生成コンポーネントの透明若しくは半透明の部分を通じて）ユーザに完全に可視である。いくつかの実施形態では、パススルーモードで提示される視覚的ＣＧＲコンテンツは、物理的環境のビューとして同時に可視な最小量の仮想要素を有する、又は物理的環境のユーザのビューの周辺の仮想要素（例えば、ディスプレイの周辺領域に表示されるインジケータ及びコントロール）のみを有する、物理的環境のパススルービューを含む。例えば、物理的環境のビューは、表示生成コンポーネントによって提供される視野の中央領域及び大部分の領域を占め、より少数のコントロール（例えば、映画のタイトル、プログレスバー、再生コントロール（例えば、再生ボタン）など）のみが、表示生成コンポーネントによって提供される視野の周辺領域に表示される。いくつかの実施形態では、第１の没入レベルは、パススルーモードであり、物理的環境は、表示生成コンポーネントを通じて（例えば、物理的環境のカメラビューとして、又は表示生成コンポーネントの透明部分を通じて）第１のユーザに完全に可視であり、視覚的ＣＧＲコンテンツは、物理的環境の表現に重ねられて、物理的環境の表現の一部を置換して、又は物理的環境の表現の一部のビューを遮断するなどして仮想ウィンドウ又はフレーム内に表示される。いくつかの実施形態では、第２の没入レベルは、物理的環境のパススルービューがコンピュータシステムによって生成された仮想要素で拡張された複合現実モードであり、仮想要素は、ユーザの視野の中央領域及び／又は大部分の領域を占有する（例えば、仮想コンテンツは、コンピュータ生成環境のビュー内の物理的環境と統合される）。いくつかの実施形態では、第２の没入レベルは、物理的環境のパススルービューが、物理的環境の表現の一部に重ねられる、物理的環境の表現の一部の表示を置換する、又は物理的環境の表現の一部のビューを遮断するなどし、表示生成コンポーネントが物理的環境に対して移動されるときに明らかにされる追加の深さ又は空間範囲を有する、仮想ウィンドウ、ビューポート、又はフレームで拡張される、複合現実モードである。いくつかの実施形態では、第３の没入レベルは、拡張現実モードであり、仮想コンテンツは、物理的環境の表現と共に三次元環境内に表示され、仮想オブジェクトは、物理的環境の異なるロケーションに対応するポジションで三次元環境全体に分散される。いくつかの実施形態では、第３の没入レベルは、仮想コンテンツが物理的環境の表現なしに三次元環境に表示される仮想現実モードである。いくつかの実施形態では、上述の異なる没入レベルは、互いに対して増加する没入レベルを表す。
いくつかの実施形態では、コンピュータシステムは、コンピュータ生成体験（例えば、アプリケーション、通信セッション、映画、ビデオ、ゲームなど）の音声コンテンツを出力するための音声出力モードを、コンピュータ生成体験の視覚的コンテンツが表示生成コンポーネントによって表示されている没入レベルに従って選択する。いくつかの実施形態では、視覚的コンテンツを表示する没入レベルが（例えば、第１の没入レベルから第２の没入レベルへ、第１の没入レベルから第３の没入レベルへ、又は第２の没入レベルから第３の没入レベルへなど）増加すると、コンピュータシステムは、音声出力モードを没入レベルの低い出力モードから没入レベルの高い出力モードへ切り替える（例えば、第１の音声出力モードから第２の音声出力モードへ、又は第１の音声出力モードから第３の音声出力モードへ、又は第２の音声出力モードから第３の音声出力モードへなど、第１の音声出力モード、第２の音声出力モード、及び第３の音声出力モードは、没入レベルが増加していく音声出力に対応する）。本明細書で説明するように、空間音声出力モードは、ステレオ音声出力モード及びモノラル音声出力モードよりも高い没入レベルに対応する。空間音声出力モードは、サラウンドサウンド出力モードよりも高い没入レベルに対応する。サラウンドサウンド出力モードは、ステレオ音声出力モード及びモノラル音声出力モードよりも高い没入レベルに対応する。ステレオ音声出力モードは、モノラル音声出力モードよりも高い没入レベルに対応する。いくつかの実施形態では、コンピュータシステムは、コンピュータ生成体験の視覚的コンテンツを表示生成コンポーネントを介して提供する没入レベルに基づいて、複数の利用可能な音声出力モード、例えば、モノラル音声出力モード、ステレオ音声出力モード、サラウンドサウンド出力モード、空間音声出力モードなどから音声出力モードを選択する。
図７Ｋ～７Ｍは、いくつかの実施形態による、物理的環境の表現を含む環境のビューを表示するときにコンピュータシステムによって提供される複数のタイプの感覚調整の効果を集約することを示すブロック図である。
いくつかの実施形態では、コンピュータシステムは、特別な器具又はコンピュータシステムの支援なしでは容易に知覚され得ない物理的環境の様々な側面を知覚するユーザの能力を強化する複数のタイプの感覚調整機能を提供する。ユーザが一度に物理的環境の一部を見るときに単一タイプの感覚調整機能を使用することのみを可能にする代わりに、コンピュータシステムは、コンピュータシステムによって提供される物理的環境のビュー内で以前に隠されていた物理的環境の部分に存在する特徴及び特性が明らかにされ得るように、物理的環境の一部の表現に及ぼす２つ以上のタイプの感覚増強機能の効果を集約する。
いくつかの実施形態では、コンピュータシステムが、表示生成コンポーネント（例えば、表示生成コンポーネント７１００、又はＨＭＤなどの別のタイプの表示生成コンポーネント）を介して、物理的環境の表現を含む三次元環境を表示するとき、コンピュータシステムは、任意選択的に、物理的環境の現在表示されている部分に対応するセンサ入力又は情報を使用して、物理的環境の表現を強化及び調整し、それにより、ユーザは、ユーザが表示生成コンポーネントの支援なしに物理的環境の部分を見るときにユーザに利用可能でない感覚情報を用いて物理的環境の部分を知覚することができる。
図７Ｋでは、コンピュータシステムは、物理的環境の第１の部分の第１の表現を含む三次元環境のビュー７３４０を表示する。ビュー７３４０において、物理的環境の第１の部分の第１の表現は、コンピュータシステムによって行われる感覚調整を伴わない物理的環境の第１の部分の外観に対応する。いくつかの実施形態では、物理的環境の第１の部分の第１の表現は、正常な人間の知覚の範囲内の平均色及び強度検出に対応する第１のレベルの撮像感度を有するカラーカメラによってキャプチャされる物理的環境の第１の部分のビューに対応する。いくつかの実施形態では、物理的環境の第１の部分の第１の表現は、表示生成コンポーネントの透明部分を通じた物理的環境の第１の部分のビューに対応し、コンピュータシステムによって増強及び調整されない。
いくつかの実施形態において、コンピュータシステムは、コンピュータシステムによって提供される複数の感覚調整機能のそれぞれを作動させるための複数のアフォーダンス（例えば、ハードウェアコントロール７３５４、７３５６、及び７３５８、三次元環境に表示されるユーザインタフェース要素など）を提供する。いくつかの実施形態では、コンピュータシステムは、複数の感覚調整機能のそれぞれに対応するアフォーダンスに向けられたユーザの起動入力（例えば、ボタン押下入力、タップ入力、ジェスチャ入力、タッチ入力、視線入力、選択入力、これらの組み合わせなど）に従って、複数の感覚調整機能のそれぞれを順番に又は組み合わせて作動させる。いくつかの実施形態では、複数の感覚調整機能のうちのそれぞれの１つは、コンピュータシステムに関連付けられた対応するハードウェアアフォーダンス又は三次元環境内の対応するユーザインタフェースコントロールの存在を必要とせずに、予め設定された入力（例えば、ジェスチャ入力、タッチ入力、音声コマンドなど）によって任意選択的に作動される。
この例では、図７Ｋに示すように、物理的環境の第１の部分の第１の表現は、部屋の内側から部屋の壁上の窓に向かうビューを含む。この例は非限定的であり、様々な実施形態によれば、物理的環境の第１の部分は、任意の屋内又は屋外環境であり得る。この例では、物理的環境の第１の部分の第１の表現は、壁の表現７３４４’、窓の表現７３４６’、窓から第１の距離にある窓の外側の丘の表現７３４８’、及び窓から第２の距離だけ離れた丘の頂上付近の木の表現７３５０’を含む。丘及び木が表示生成コンポーネントから大きな距離にあり、丘の表現７３４８’及び木の表現７３５０’が、三次元環境の現在表示されているビューに対応する視点から遠く離れているため（例えば、視点と表現７３４８’及び７３５０’との間のそれぞれの距離は、ユーザの目（又は表示生成コンポーネント）から丘及び木までのそれぞれの距離に対応する）、丘の表現７３４８’及び木の表現７３５０’は、表示生成コンポーネント７１００によって提供される視野の小さな部分を占有する。
図７Ｌにおいて、コンピュータシステムは、コンピュータシステムによって提供される複数の感覚調整機能のうちの第１の感覚調整機能を作動させるユーザ入力を検出する。例えば、コンピュータシステムは、ハードウェアアフォーダンス７３５４がユーザの入力によって作動されたこと、第１の感覚調整機能に対応するユーザインタフェースオブジェクトがユーザの入力によって作動又は選択されたこと、第１の感覚調整機能を作動させるための基準を満たすジェスチャ入力、音声コマンド、及び／又はタッチ入力などがユーザによって提供されたことなどを検出する。これに応じて、コンピュータシステムは、物理的環境の第２の部分の第２の表現を含む三次元環境の第２のビュー７３６１を表示し、物理的環境の第２の部分は、物理的環境の第１の部分内に含まれる（例えば、図７Ｋに示す物理的環境の第１の部分の全部若しくは一部、又は第１の感覚調整機能を作動させた入力の検出前に示された物理的環境の一部などである）。三次元環境の第２のビュー７３６１において、図７Ｌの例に示されるように、木の表現７３５０’’の表示特性は、第１の感覚調整機能の動作に従って、三次元環境の第１のビュー７３４０に示される木の表現７３５０’に対して調整される。例えば、第１の感覚調整機能が、図７Ｌに示されるように、オブジェクトがユーザにより近く見えるように、オブジェクトの焦点距離を低減するシミュレートされた望遠鏡視である場合、木の表現７３５０’’は、図７Ｋに示されるように、第２の距離よりも視点にはるかに近く位置するように見える（例えば、調整された距離は、第２の距離の５分の１であり、調整された距離は、第２の距離の１０分の１であり、調整された距離は、第２の距離及び／又はシミュレートされた望遠鏡視の最大倍率の予め設定された割合に基づいて選択される距離である、など）。同様に、丘の表現７３４８’’もまた、図７Ｋに示されるように、第１の距離よりもユーザのはるかに近くに位置するように見える（例えば、調整された距離は、第１の距離の５分の１であり、調整された距離は、第１の距離の１０分の１であり、調整された距離は、第１の距離及び／又はシミュレートされた望遠鏡機能の最大倍率の予め設定された割合に基づいて選択される距離である、など）。この例では、ビュー７３６１内のユーザの視点又は仮想ポジションは、いくつかの実施形態に従って、ビュー７３４０内のウィンドウのポジションに移動される。この例では、いくつかの実施形態によれば、ビュー７３６１内のユーザの視点又は仮想ポジションは、依然として、物理的環境内のユーザ及び／又は表示生成コンポーネントの実際のロケーションに基づく。
いくつかの実施形態では、コンピュータは、第１の感覚調整機能を適用するとき、三次元環境の現在のビューに向けられたユーザの視線のロケーションに基づいて、物理的環境のターゲット部分を選択する。例えば、図７Ｋに示すように、コンピュータシステムは、ユーザの視線７３５２が三次元環境の第１のビュー７３４０内の木の表現７３５０’に向けられていることを検出し、第１の感覚調整機能が適用される物理的環境の第２の部分として、物理的環境の第１の部分から木を含む物理的環境の部分を選択する。
いくつかの実施形態では、シミュレートされた望遠鏡視は、コンピュータシステムによって提供される第１のタイプの感覚調節機能の例示的な例であり、コンピュータシステムによって提供され、ユーザ入力によって選択される別のタイプの感覚調節機能によって置換されてもよい。
図７Ｍでは、コンピュータシステムが、ユーザの入力によって作動された第１の感覚調整機能の動作に従って調整された物理的環境の第２の表現を含む三次元環境の第２のビュー７３６１を表示している間、コンピュータシステムは、複数の感覚調整機能のうちの第１の感覚調整機能とは異なる第２の感覚調整機能を作動させる第２のユーザ入力を検出する。例えば、コンピュータシステムは、ハードウェアアフォーダンス７３５６がユーザの入力によって作動されたこと、第２の感覚調整機能に対応するユーザインタフェースオブジェクトがユーザの入力によって作動又は選択されたこと、第２の感覚調整機能を作動させるための基準を満たすジェスチャ入力、音声コマンド、及び／又はタッチ入力などがユーザによって提供されたことなどを検出する。これに応じて、コンピュータシステムは、物理的環境の第３の部分の第３の表現を含む三次元環境の第３のビュー７３６４を表示し、物理的環境の第３の部分は、物理的環境の第２の部分内に含まれる（例えば、図７Ｌに示す物理的環境の第２の部分の全部若しくは一部、又は第２の感覚調整機能を作動させた入力の検出前に示された物理的環境の一部などである）。三次元環境の第３のビュー７３６４において、図７Ｍの例に示されるように、木の表現７３５０’’’の表示特性は、第２の感覚調整機能の動作に従って、三次元環境の第２のビュー７３６１に示される木の表現７３５０’’に対して更に調整される。例えば、第２の感覚調整機能が、図７Ｍに示されるように、温度及び／又は熱放射の変動に従って色及び／又は強度の変動を提示するシミュレートされた熱視である場合、木の表現７３５０’’’は、第３のビュー７３６４内の背景環境に対して異なる色及び／又は強度を有するように見え、表現７３５０’’’の部分７３６６’’’及び７３６８’’’の表示特性は、（例えば、熱撮像センサ又はコンピュータシステムと通信している他のセンサによって検出されるように、コンピュータシステムに送信されるか又はコンピュータシステムによって別のコンピュータシステムから取り出される熱データによって示されるように、など）物理的環境内の木の他の部分に対する木のそれらの部分の温度に基づいて更に調整される。例えば、部分７３６６’’’及び７３６８’’’によって表されるこれらの部分のより高い温度は、より多くの熱を放射するか、又は木自体よりも高い温度を有する小動物又はオブジェクトを明らかにする可能性が高い。表現７３５０’’’内の部分７３６６’’’及び７３６８’’’は、図７Ｋに示すように、木の元の第１の表現７３５０’に対する第１の感覚調整機能及び第２の感覚調整機能の両方の動作に基づいて生成される表示特性を有する。
いくつかの実施形態では、コンピュータシステムは、第２の感覚調整機能を適用するとき、三次元環境の現在表示されているビューに向けられたユーザの視線のロケーションに基づいて、物理的環境のターゲット部分を選択する。例えば、図７Ｌに示すように、コンピュータシステムは、ユーザの視線７３６０が三次元環境の第２のビュー７３６１内の木の表現７３５０’’に向けられていることを検出し、第１の感覚調整機能及び第２の感覚調整機能の両方が適用される物理的環境の第３の部分として、物理的環境の第２の部分から木を含む物理的環境の部分を選択する。
いくつかの実施形態では、シミュレートされた熱視は、コンピュータシステムによって提供される第２のタイプの感覚調整機能の例証的実施例であり、コンピュータシステムによって提供され、ユーザの入力によって選択される別のタイプの感覚調整機能によって置換されてもよい。
いくつかの実施形態では、第１の表示特性（例えば、解像度、ズームレベル、倍率、色分布、強度分布、焦点距離など）が、第１のタイプのコンピュータ生成感覚調整（例えば、双眼鏡視、望遠鏡視、顕微鏡視、暗視、熱視など）に従って、物理的環境の個別の部分のベースライン表現（例えば、図７Ｍの部分７３６６’’’、７３６８’’’、に対応する図７Ｋの木の表現７３５０’、物理的環境の別の部分など）に対して調整されて、物理的環境の個別の部分の第１の調整された表現（例えば、図７Ｍの木の表現７３５０’’’の部分７３６６’’’、７３６８’’’に対応する図７Ｌの木の表現７３５０’’、又は物理的環境の別の部分の更に調整された表現など）を取得し、第２の表示特性（例えば、解像度、ズームレベル、倍率、色分布、強度分布、焦点距離など）が、第２のタイプのコンピュータ生成感覚調整に従って、物理的環境の第２の表現に対して調整されて、物理的環境の個別の部分の第３の表現（例えば、図７Ｍの木の表現７３５０’’’の部分７３６６’’’、７３６８’’’、又は物理的環境の別の部分の更に調整された表現など）を取得する。いくつかの実施形態では、第２の表示特性は、第１のタイプ及び第２のタイプの感覚調整機能のいくつかの組み合わせにおいて、第１の表現及び第２の表現において同じ値を有し、第２の表示特性は、第１のタイプ及び第２のタイプの感覚調整機能のいくつかの組み合わせにおいて、第１の表現及び第２の表現において異なる値を有する。
いくつかの実施形態では、コンピュータシステムは、物理的環境の表現が、第３の感覚調整機能（例えば、第３の感覚調整機能に対応するアフォーダンス７３５８、ユーザインタフェースオブジェクト、ジェスチャ入力、音声コマンドなどとの相互作用によって作動させることができる感覚調整機能など）に更に基づいて調整されることを可能にする。いくつかの実施形態では、物理的環境の第３の表現を含む三次元環境の第３のビュー７３６４を表示している間、コンピュータシステムは、第１のタイプ及び第２のタイプの感覚調整機能とは異なる第３のタイプのコンピュータ生成感覚調整（例えば、双眼鏡視、顕微鏡視、暗視、熱視、カラーフィルタなど）を作動させる要求に対応する第３のユーザ入力を検出する。それに応じて、コンピュータシステムは、物理的環境の第４の部分の第４の表現（例えば、物理的環境の第３の部分の全部又は一部）を含む三次元環境の第４のビューを表示し、物理的環境の第４の表現は、第１のタイプの感覚調整機能に従って物理的環境の第４の部分の第１の表現に対して調整された第１の表示特性（例えば、解像度、ズームレベル、倍率、色分布、強度分布、焦点距離など）と、第２のタイプの感覚調整機能に従って物理的環境の第４の部分の第２の表現に対して調整された第２の表示特性（例えば、解像度、ズームレベル、倍率、色分布、強度分布、焦点距離など）と、第３のタイプの感覚調整機能に従って物理的環境の第４の部分の物理的環境の第３の表現に対して調整された第３の表示特性（例えば、解像度、ズームレベル、倍率、色分布、強度分布、焦点距離など）とを有する。
いくつかの実施形態では、第１の感覚調整機能は、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視（例えば、双眼鏡視、単眼鏡視、望遠鏡視など）（例えば、オブジェクトがユーザにより近く見えるようにオブジェクトの焦点距離を低減する）を含み、第２の感覚調整機能は、近傍の物理的オブジェクトを拡大するためのシミュレートされた顕微鏡視を含む。
いくつかの実施形態では、第１の感覚調整機能は、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視（例えば、オブジェクトがユーザにより近く見えるように、オブジェクトの焦点距離を低減すること）を含み、第２の感覚調整機能は、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視（例えば、低光量条件下の高感度、オブジェクトの輝度が視覚的に増強される、輝度の小さな変動が拡大されるなど）を含む。
いくつかの実施形態では、第１の感覚調整機能は、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視（例えば、オブジェクトがユーザにより近く見えるようにオブジェクトの焦点距離を低減すること）を含み、第２の感覚調整機能は、フィルタ（例えば、カラーフィルタ、光周波数フィルタ、強度フィルタ、運動フィルタなど）を用いて物理的オブジェクトのビューを修正することを含む。
いくつかの実施形態では、第１の感覚調整機能は、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視（例えば、オブジェクトがユーザにより近く見えるようにオブジェクトの焦点距離を低減すること）を含み、第２の感覚調整機能は、物理的環境内の物理的オブジェクトのサブセット（例えば、全ての音生成物理的オブジェクトの選択されたサブセット、現在の視野の中心にある物理的オブジェクトなど）に対応する音のための選択的音声増強（例えば、音量を増強すること、ある音周波数を選択的に増強／抑制することなど）を含む。
いくつかの実施形態では、物理的環境の第３の表現を表示するのと同時に、コンピュータシステムは、物理的環境の第３の表現において可視である物理的環境の一部に対応する音を出力し、音は、物理的環境の一部の外側の音源からの音に対して選択的に増強される（例えば、音量を増加させる、いくつかの選択された周波数の振幅を修正するなど）。
いくつかの実施形態では、物理的環境の第３の表現を表示するのと同時に、コンピュータシステムは、物理的環境の第２の表現及び第３の表現の両方において可視である物理的環境の一部から発せられる発話に対応するテキスト出力を表示し、発話は、物理的環境の一部の外側の音源からの音に対して選択的に増強される。
いくつかの実施形態では、第１の感覚調整機能は、近傍の物理的オブジェクトを拡大するためのシミュレートされた顕微鏡視を含み、第２の感覚調整機能は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視（例えば、温度の変動に対する高い感度、温度及び／又は熱放射の変動に従って色及び／又は強度の変動を提示することなど）を含む。
いくつかの実施形態では、第１の感覚調整機能は、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視（例えば、低光量条件下の高感度、オブジェクトの輝度が視覚的に増強される、輝度の小さな変動が拡大されるなど）を含み、第２の感覚調整機能は、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視（例えば、オブジェクトがユーザにより近く見えるようにオブジェクトの焦点距離を低減する）を含む。
いくつかの実施形態では、第１の感覚調整機能は、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視（例えば、低光量条件下の高感度、オブジェクトの輝度が視覚的に強化される、輝度の小さな変動が拡大されるなど）を含み、第２の感覚調整機能は、近傍の物理的オブジェクトを拡大するためのシミュレートされた顕微鏡視を含む。
いくつかの実施形態では、第１の感覚調整機能は、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視（例えば、低光量条件下の高感度、オブジェクトの輝度が視覚的に増強される、輝度の小さな変動が拡大されるなど）を含み、第２の感覚調整機能は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視（例えば、温度の変動に対する高感度、温度及び／又は熱放射の変動に応じた色及び／又は強度の変動を提示することなど）を含む。
いくつかの実施形態では、第１の感覚調整機能は、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視（例えば、低光量条件下の高感度、オブジェクトの輝度が視覚的に増強される、輝度の小さな変動が拡大されるなど）を含み、第２の感覚調整機能及び第２のタイプのコンピュータ生成感覚調整は、物理的環境内の物理的オブジェクトのサブセット（例えば、全ての音生成物理的オブジェクトの選択されたサブセット、現在の視野の中心にある物理的オブジェクトなど）に対応する音に対する選択的音声増強（例えば、音量を増強する、ある音周波数を選択的に増強／抑制するなど）を含む。
いくつかの実施形態では、第１の感覚調整機能は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視（例えば、温度変動に対する高感度、温度及び／又は熱放射変動に従った色及び／又は強度変動を提示することなど）を含み、第２の感覚調整機能は、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視（例えば、ユーザにより近く見えるようにオブジェクトの焦点距離を低減すること）を含む。
いくつかの実施形態では、第１の感覚調整機能は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視（例えば、温度の変動に対する高い感度、温度及び／又は熱放射の変動に従った色及び／又は強度の変動を提示することなど）を含み、第２の感覚調整機能は、近傍の物理的オブジェクトを拡大するためのシミュレートされた顕微鏡視を含む。
いくつかの実施形態では、第１の感覚調整動作は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視（例えば、温度の変動に対する高い感度、温度及び／又は熱放射の変動に従った色及び／又は強度の変動を提示することなど）を含み、第２の感覚調整動作は、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視（例えば、低光量条件下の高い感度、オブジェクトの輝度が視覚的に増強される、輝度の小さな変動が拡大されるなど）を含む。
いくつかの実施形態では、第１の感覚調整機能は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視（例えば、温度の変動に対する高い感度、温度及び／又は熱放射の変動に従った色及び／又は強度の変動を提示することなど）を含み、第２の感覚調整動作は、物理的環境内の物理的オブジェクトのサブセット（例えば、全ての音生成物理的オブジェクトの選択されたサブセット、現在の視野の中心にある物理的オブジェクトなど）に対応する音に対する選択的音声増強（例えば、音量を増強すること、こと、特定の音周波数を選択的に増強／抑制することなど）を含む。
いくつかの実施形態では、ユーザによって選択された複数の選択された感覚調整機能が物理的環境の一部のベースライン表現に適用される順序は、１つ以上の予め設定された制約に基づいてコンピュータシステムによって調整され、任意選択的に、これらの感覚調整機能がユーザによって作動される順序とは異なる。例えば、いくつかの実施形態では、シミュレートされた望遠鏡視に対応する調整は、ユーザに最終結果を提示する目的で他のタイプの感覚調整が実行される必要がある物理的環境の部分を減少させるため、他のタイプの感覚調整に対応する調整の前に実行される。いくつかの実施形態では、コンピュータシステムは、異なるタイプの感覚調整機能がユーザによって作動される順序を観察し、ユーザによって作動される各追加の感覚調整に応じて得られる中間結果を提示する。
図７Ｎ～図７Ｐは、いくつかの実施形態による、三次元環境のビュー内の物理的環境の部分が個別のタイプのエクササイズに対応するという判定に従って、三次元環境のビュー内に個別のタイプのエクササイズに対応する仮想コンテンツを選択的に表示することを示すブロック図である。
いくつかの実施形態では、コンピュータシステムは、三次元環境のビュー（例えば、ビュー７４０８、ビュー７４１０など）に表された物理的ロケーション（例えば、物理的オブジェクト７４０４のロケーション、物理的オブジェクト７４０２のロケーションなど）が個別のタイプのエクササイズ（例えば、ローイング、ハイキングなど）に関連付けられているという判定に従って、個別のタイプのエクササイズ（例えば、ローイング、ハイキングなど）に対応する仮想コンテンツ（例えば、仮想開放水域７４０６、仮想ハイキングコース７４１２など）（例えば、仮想風景、エクササイズ器具の視覚的及び機能的強化、ユーザインタフェース、ヘルス及びスコアボードなど）を表示する。例えば、ユーザ及び表示生成コンポーネント（例えば、ユーザ７００２及び表示生成コンポーネント７１００、又はＨＭＤなどの別のタイプの表示生成コンポーネントを有する別のユーザなど）が現実世界内（例えば、シーン１０５内、又は別の物理的環境内など）のロケーションを移動する際、三次元環境のビュー内に示される仮想コンテンツは、ユーザ及び表示生成コンポーネントの現在ロケーションに関連付けられたタイプのエクササイズに対応するように調整される。いくつかの実施形態では、ロケーションが複数のタイプのエクササイズに関連付けられている場合、コンピュータシステムは、他のコンテキスト情報（例えば、ユーザの移動、そのロケーションにおけるオブジェクトとのユーザの関与など）に基づいて、そのロケーションに関連付けられている複数のタイプのエクササイズからあるタイプのエクササイズを選択し、選択されたタイプのエクササイズに対応する視覚的コンテンツを表示する。
図７Ｎの部分（Ａ）は、ユーザ７００２が物理的環境（例えば、シーン１０５、又は別の物理的環境など）に位置することを示す。ユーザ７００２は、屋外環境若しくは屋内環境である異なる物理的環境に位置してもよく、又は屋内環境と屋外環境との間を移動してもよい。ユーザ７００２は、第１の表示生成コンポーネント（例えば、表示生成コンポーネント７１００、ＨＭＤなどの別のタイプの表示生成コンポーネントなど）を介して提供される視野を通じて物理的環境を見る。物理的環境は、物理的表面（例えば、壁７００４及び７００６、床７００８、他の物理的表面など）及び１つ以上の物理的オブジェクト（例えば、エクササイズ器具７４０２、７４０４、他の物理的オブジェクトなど）を含む。いくつかの実施形態では、物理的環境は、ユーザが同時に見ることができない互いに分離した複数の部屋又はセクションを含む建物である。いくつかの実施形態では、物理的環境は、個々の建物内の部屋、様々な公園、様々な地理的領域など、互いに分離した複数の領域を含む。いくつかの実施形態では、物理的環境は、道路、木、空、開放水域、岩、山、車両、動物、人などの屋外の物理的オブジェクト及び表面を含む屋外環境である。いくつかの実施形態では、コンピュータシステムは、ユーザの物理的環境内（例えば、表示生成コンポーネントを通じたユーザの視野内、ユーザの閾値近傍（例えば、５メートル以内、数歩以内など）など）にある個別のロケーションに関連付けられる、１つ以上のタイプのエクササイズ（例えば、屋内エクササイズ、屋内スポーツ、屋外エクササイズ、屋外スポーツ、健康及び身体的能力を促進する身体活動、機能回復訓練及び療法など）を判定するために、情報を記憶し、及び／又は規則及び人工知能を実装する。いくつかの実施形態では、コンピュータシステムは、個別のロケーションに存在する物理的オブジェクトのタイプに基づいて、個別のロケーションに関連付けられたエクササイズのタイプを判定する。いくつかの実施形態では、コンピュータシステムは、個別のロケーションに存在する環境又は設定のタイプに基づいて、個別のロケーションに関連付けられたエクササイズのタイプを判定する。いくつかの実施形態では、コンピュータシステムは、他のタイプのマーカ及び信号、又は個別のに存在する情報の組み合わせに基づいて、個別ロケーションのロケーションに関連付けられたエクササイズのタイプを判定する。
図７Ｎの部分（Ｂ）では、コンピュータシステムは、ユーザ７００２の物理的環境の表現を含む三次元環境の第１のビュー７４０５を表示する。いくつかの実施形態では、三次元環境の第１のビュー７４０５は、図７Ｎ（Ｂ）に示されるように、仮想要素を伴わない、又は最小限の仮想要素を伴う、現実ビューである。この例では、第１のビュー７４０５は、仮想コンテンツなしで、物理的表面の表現（例えば、壁７００４及び７００６の表現７００４’及び７００６’、床７００８の表現７００８など）と、物理的オブジェクトの表現（例えば、物理的オブジェクト７４０２の表現７４０２’、物理的オブジェクト７４０４の表現７４０４’など）とを含む。いくつかの実施形態では、三次元環境の第１のビューは、コンピュータシステムの基本機能を制御するためのユーザインタフェースオブジェクト（例えば、様々なコンピュータ生成体験を起動するためのアプリケーションアイコン、ディスプレイ設定、音声コントロールなど）を伴う、現実ビュー（例えば、図７Ｎ（Ｂ）に示されるビュー７４０５）である。いくつかの実施形態では、三次元環境の第１のビューは、低い没入レベルで表示される拡張現実ビューである（例えば、特定のアプリケーション体験（例えば、健康用途、瞑想アプリケーション、ワークアウトアプリケーション、ゲームアプリケーションなど）の一部ではなく、全体としてユーザの視野の小さい割合（例えば、１０％未満、２０％未満など）しか占有しない、又は制限された浮動ウィンドウなどに表示されるユーザインタフェースオブジェクト（例えば、アプリケーション起動パッド、ウェルカムユーザインタフェース、設定ユーザインタフェース）を表示する）。いくつかの実施形態では、三次元環境の第１のビュー７４０５に含まれる物理的環境の表現は、物理的環境の一部のカメラビューである。いくつかの実施形態では、三次元環境の第１のビュー７４０５に示される物理的環境の部分は、（例えば、ユーザが自分の頭部に表示生成コンポーネントを装着しているとき、又は自分の手に表示生成コンポーネントを保持しているときなど）ユーザが物理的環境の周りを移動するにつれて変化する。いくつかの実施形態では、三次元環境の第１のビュー７４０５に示される物理的環境の部分は、表示生成コンポーネントが物理的環境の周りを移動するにつれて変化する。いくつかの実施形態では、三次元環境の第１のビュー７４０５に含まれる物理的環境の表現は、表示生成コンポーネントの透明部分を通じた物理的環境のビューである。この例では、物理的オブジェクト７４０２は、三次元環境の第１のビュー７４０５に示される物理的環境の第１の部分内の第１のロケーションに配置され、物理的オブジェクト７４０４は、三次元環境の第１のビュー７４０５に示される物理的環境の第１の部分内の第２のロケーションに配置される。いくつかの実施形態では、第１のロケーション及び第２のロケーションは、必ずしも三次元環境の同じビュー内にある必要はなく、同じ物理的環境内の２つの別個のロケーションに、又は互いに完全に分離された異なる物理的環境に位置してもよい。この例では、物理的オブジェクト７４０２は、第１のタイプのエクササイズ（例えば、ランニング、ウォーキングなど）に対応する器具又は設定に対応し、物理的オブジェクト７４０２は、第２のタイプのエクササイズ（例えば、ローイング、ボート漕ぎ、水上スキーなど）に対応する器具又は設定に対応する。
図７Ｏ及び図７Ｐでは、コンピュータシステムは、三次元環境の第１のビュー７４５０を表示している間、物理的環境内のユーザ７００２の移動を検出する。いくつかの実施形態では、三次元環境の第１のビュー内で可視である物理的環境の部分は、ユーザが物理的環境内で動き回るにつれて変化する。図７Ｏは、ユーザ７００２が、第１のタイプのエクササイズに対応する物理的オブジェクト７４０４又は設定を含む第１のロケーションに移動した第１のシナリオを示す。図７Ｏは、ユーザ７００２が、第２のタイプのエクササイズに対応する物理的オブジェクト７４０２又は設定を含む第２のロケーションに移動した第２のシナリオを示す。
いくつかの実施形態では、ユーザの移動は、（例えば、ユーザが表示生成コンポーネントを保持又は装着している間、表示生成コンポーネントとユーザとの間の空間関係が、ユーザが表示生成コンポーネントを通じて物理的環境を見続けることができるように維持されている間など）個別のロケーション（例えば、第１の物理的オブジェクト７４０４を含む第１のロケーション、第２の物理的オブジェクト７４０２を含む第２のロケーションなど）へのユーザ全体の移動を含む。いくつかの実施形態では、ユーザの移動は、（例えば、ユーザが表示生成コンポーネントを保持又は装着している、表示生成コンポーネントとユーザとの間の空間関係が、ユーザが表示生成コンポーネントを通じて物理的環境を見続けることができるように維持されている間など）個別のロケーション（例えば、第１の物理的オブジェクト７４０４を含む第１のロケーション、第２の物理的オブジェクト７４０２を含む第２のロケーションなど）のビューをキャプチャするように表示生成コンポーネント又は表示生成コンポーネントに関連付けられたカメラを配向するユーザの移動を含む。いくつかの実施形態では、ユーザの移動は、個別のロケーションでの物理的オブジェクト（単数又は複数）の操作（例えば、個別のロケーションでエクササイズ器具をオンにすること、個別のロケーションでエクササイズ器具を持ち上げること、個別のロケーションでエクササイズ器具の使用を開始することなど）に対応する移動を更に含む。
図７Ｏに示されるように、ユーザは、第１のタイプのエクササイズに対応する物理的オブジェクト７４０４を含む物理的環境内の第１のロケーションに移動している。この例では、ユーザはまた、ユーザが第１のタイプのエクササイズのために物理的オブジェクト７４０４を使用し始めることを可能にする物理的オブジェクト７４０４に対するポジションに移動している（例えば、器具上に座る、器具上に立つ、器具の１つ以上の部分を保持するなど）。いくつかの実施形態では、コンピュータシステムは、任意選択的に、ユーザが第１のタイプのエクササイズ（例えば、オールを漕ぐこと、シフトレバーを引くこと、開始姿勢をとることなど）に対応するエクササイズの１回以上の移動の繰り返しを開始したことを検出する。第１のタイプのエクササイズに対応する物理的オブジェクト７４０４を含む第１のロケーションへの第１のユーザの移動を検出したことに応じて、かつ第１のロケーションが第１のタイプのエクササイズに対応するという判定、及び任意選択的に、ユーザの移動が第１のセットの基準（例えば、第１のロケーションに対応する基準、第１のタイプのエクササイズに対応する基準など）を満たすという判定に従って、コンピュータシステムは、三次元環境の第２のビュー７４０８を表示し、第２のビュー７４０８は、第１のタイプのエクササイズに対応する第１の仮想コンテンツを含み、第１の仮想コンテンツのビューは、第１のロケーション（例えば、物理的オブジェクト７４０４を含むが物理的オブジェクト７４０２を含まないロケーション、第２のタイプのエクササイズに対応しないロケーションなど）を含む物理的環境のビューの少なくとも一部を置換する。いくつかの実施形態では、第１の仮想コンテンツは、三次元環境の第２のビュー７４０８内の物理的環境のビューを完全に置換する。いくつかの実施形態では、仮想コンテンツは、三次元環境の第２のビュー７４０８内の物理的環境の表現の表示に重なって、遮断して、又は置換して表示される。
いくつかの実施形態では、コンピュータシステムは、第１のロケーションが第１のタイプのエクササイズに対応する第１のタイプのエクササイズ器具（例えば、ローイングマシン、ボートなど）を有するという判定に従って、第１のロケーションが第１のタイプのエクササイズに対応すると判定する。いくつかの実施形態では、コンピュータシステムは、第１のロケーションが第１のタイプのエクササイズ（例えば、ローイング、瞑想など）のために設計された（例えば、適切な床面、構造などを有する）ロケーションであるという判定に従って、第１のロケーションが第１のタイプのエクササイズに対応すると判定する。
図７Ｏのパート（Ｂ）に示されるように、コンピュータシステムは、ユーザ７００２が第１のタイプのエクササイズに対応する第１のロケーションに移動したとき、三次元環境の第２のビュー７４０８を表示する。いくつかの実施形態では、第２のビュー７４０８は、第１のロケーション及び第１のタイプのエクササイズに対応する第１のコンピュータ生成体験に対応するより多くの仮想要素を有する拡張現実ビューである。いくつかの実施形態では、第２のビュー７４０８は、第１のロケーション及び第１のタイプのエクササイズに対応する第１のコンピュータ生成体験のプレビュー又は開始を示す拡張現実ビューである。いくつかの実施形態では、第２のビュー７４０８は、より高い没入レベルで表示される拡張現実ビューである（例えば、第１のタイプのエクササイズに対応する第１の特定のアプリケーション体験の一部であるユーザインタフェースオブジェクト（例えば、仮想ハイキングコース、仮想風景、スコアボード、エクササイズ統計、エクササイズパラメータを変更する制御など）を表示し、全体としてユーザの視野のかなりの割合（例えば、６０％超、９０％超など）を占有するか、又は三次元仮想若しくは拡張現実環境で表示される。この例では、三次元環境の第２のビューに表示される仮想コンテンツは、第１のロケーションの表示生成コンポーネントによって提供される視野内に潜在的にある物理的環境の様々な部分の表現７００４’、７００６’、及び／又は７００８’のビューを置換した仮想開放水域７４０６を含む。いくつかの実施形態では、表示生成コンポーネントによって提供される潜在的視野内の物理的環境の全ての部分は、仮想コンテンツの表示によって置換又は遮断される。いくつかの実施形態では、ユーザの身体の一部、エクササイズ器具の少なくとも一部などの物理的環境の一部は、三次元環境の第２のビュー７４０８内で可視のままである。
図７Ｐに示されるように、ユーザは、第２のタイプのエクササイズに対応する物理的オブジェクト７４０２を含む物理的環境内の第２のロケーションに移動している。この例では、ユーザはまた、ユーザが第２のタイプのエクササイズのために物理的オブジェクト７４０２を使用し始めることを可能にする物理的オブジェクト７４０２に対するポジションに移動している（例えば、器具上に座る、器具上に立つ、器具の１つ以上の部分を保持するなど）。いくつかの実施形態では、コンピュータシステムは、任意選択的に、ユーザが第２のタイプのエクササイズに対応する移動の１回以上の繰り返しを開始したこと（例えば、階段を踏むこと、ペダルを踏むことを開始すること、ウォーキングを開始することなど）を検出する。第２のタイプのエクササイズに対応する物理的オブジェクト７４０２を含む第２のロケーションへのユーザの移動を検出したことに応じて、かつ第２のロケーションが第２のタイプのエクササイズに対応するという判定、及び任意選択的に、ユーザの移動が第２のセットの基準（例えば、第２のロケーションに対応する基準、第２のタイプのエクササイズに対応する基準など）を満たすという判定に従って、コンピュータシステムは、三次元環境の第３のビュー７４１２を表示し、第３のビュー７４１２は、第２のタイプのエクササイズに対応する第２の仮想コンテンツを含み、第２の仮想コンテンツのビューは、第２のロケーション（例えば、第２のタイプのエクササイズに対応するが第１のタイプのエクササイズに対応しないロケーション、物理的オブジェクト７４０４を含まないロケーションなど）を含む物理的環境のビューの少なくとも一部を置換する。いくつかの実施形態では、第１の仮想コンテンツは、三次元環境の第３のビュー７４１０内の物理的環境のビューを完全に置換する。いくつかの実施形態では、仮想コンテンツは、物理的環境の表現の少なくとも一部の表示に重なって、遮断して、又は置換して表示される。
いくつかの実施形態では、コンピュータシステムは、第２のロケーションが第２のタイプのエクササイズに対応する第２のタイプのエクササイズ器具（例えば、階段、ステッパー、トレッドミルなど）を有するという判定に従って、第２のロケーションが第２のタイプのエクササイズに対応すると判定する。いくつかの実施形態では、コンピュータシステムは、第２のロケーションが第２のタイプのエクササイズ（例えば、ハイキング、ランニングなど）のために設計された（例えば、適切な床面、構造などを有する）ロケーションであるという判定に従って、第２のロケーションが第２のタイプのエクササイズに対応すると判定する。
図７Ｐの部分（Ｂ）に示されるように、コンピュータシステムは、ユーザ７００２が第２のタイプのエクササイズに対応する第２のロケーションに移動したとき、三次元環境の第３のビュー７４１０を表示する。いくつかの実施形態では、第３のビュー７４１０は、第２のロケーション及び第２のタイプのエクササイズに対応する第２のコンピュータ生成体験に対応するより多くの仮想要素を有する拡張現実ビューである。いくつかの実施形態では、第３のビュー７４１０は、第２のロケーション及び第２のタイプのエクササイズに対応する第２のコンピュータ生成体験のプレビュー又は開始を示す拡張現実ビューである。いくつかの実施形態では、第３のビュー７４１０は、より高い没入レベルで表示される拡張現実ビューである（例えば、第２のタイプのエクササイズに対応する第２の特定のアプリケーション体験（例えば、仮想ハイキングコース、仮想風景、スコアボード、エクササイズ統計、エクササイズパラメータを変更する制御など）の一部であり、全体としてユーザの視野のかなりの割合（例えば、６０％超、９０％超など）を占有するか、又は三次元仮想若しくは拡張現実環境で表示されるユーザインタフェースオブジェクトを表示する）。この例では、三次元環境の第３のビュー７４１０に表示された仮想コンテンツは、第２のロケーションの表示生成コンポーネントによって提供される視野内に潜在的にある物理的環境の様々な部分の表現７００４’、７００６’、及び／又は７００８’のビューを置換した仮想ハイキングコース７４１２を含む。いくつかの実施形態では、表示生成コンポーネントによって提供される潜在的視野内の物理的環境の全ての部分は、仮想コンテンツの表示によって置換又は遮断される。いくつかの実施形態では、ユーザの身体の一部、エクササイズ器具の少なくとも一部などの物理的環境の一部は、三次元環境の第３のビュー７４１０内で可視のままである。
いくつかの実施形態では、コンピュータシステムは、現在ロケーションにおける個別のタイプのエクササイズに対応する個別のタイプのエクササイズ器具の検出に従って、現在ロケーションが個別のタイプのエクササイズに対応すると判定する。いくつかの実施形態では、個別のタイプのエクササイズ器具の検出は、個別のタイプのエクササイズ器具に対応するＲＦＩＤ信号の検出、現在ロケーションをキャプチャするカメラフィード内の個別のタイプのエクササイズ器具の画像の検出、現在ロケーションが個別のタイプのエクササイズ器具の登録ロケーションと一致することの検出などに基づく。
いくつかの実施形態では、ユーザの現在ロケーションが個別のタイプのエクササイズに関連付けられたロケーションに対応するという判定に従って、コンピュータシステムは、個別のタイプのエクササイズに対応する三次元環境のビューを表示し、これは、三次元環境のビュー内の現在ロケーションに関連付けられた個別のタイプのエクササイズに対応する仮想コンテンツの視覚的プロミネンスを増加させながら、三次元環境の現在表示されているビュー内の物理的環境の表現の視覚的プロミネンスを徐々に低減することを含む。いくつかの実施形態では、物理的環境の表現の視覚的プロミネンスを低減することは、物理的環境の表現のより多くの部分の表示を停止すること、物理的環境の表現をフェードアウトすることなどを含む。いくつかの実施形態では、個別のタイプのエクササイズに対応する仮想コンテンツの視覚的プロミネンスを徐々に増加させることは、物理的環境の表現が徐々に低減された三次元環境のビューの領域内で、仮想コンテンツの表示を開始すること、仮想コンテンツの可視性を増加させること、仮想コンテンツによって占有されるユーザの視野の割合を増加させること、仮想コンテンツの不透明度又は輝度を増加させることなどを含む。
いくつかの実施形態では、個別のロケーションは、複数のタイプのエクササイズに対応してもよく、コンピュータシステムは、ユーザがどのタイプのエクササイズを実行したいかを明確にするために、ユーザが複数のタイプのエクササイズのうちのそれぞれ１つに対応する何らかの移動をすることを必要とし、個別のロケーションにおける三次元環境のビューに表示するための対応する仮想コンテンツを選択する。例えば、いくつかの実施形態では、コンピュータシステムは、個別のロケーションに関連付けられた複数のタイプのエクササイズの個別の１つに対応する移動（例えば、特徴的な動作の開始（例えば、トレッドミル上での歩行の開始、階段ステッパー上での足踏み、楕円上での脚の前後移動、又はローイングマシン上でのローイングの開始など）、個別のタイプのエクササイズに対応するエクササイズ器具への足踏み／着座（例えば、ローイングマシン又はウェイトトレーニングマシン上での着座など）、個別のタイプのエクササイズに対応する準備姿勢（例えば、仮想テニスボールを打つための準備姿勢での起立、瞑想又はヨガを開始するための床への着座など）を検出し、コンピュータシステムは、個別のタイプのエクササイズに対応する仮想コンテンツを含む三次元環境のビューを表示する。
いくつかの実施形態では、コンピュータシステムは、個別のロケーションでユーザによって実行される個別のタイプのエクササイズの進行に従って、三次元環境のビューに表示される仮想コンテンツを徐々に変化させる。例えば、いくつかの実施形態では、現実世界のビューは徐々に消え、及び／又は表示が停止され、個別のタイプのエクササイズに対応する仮想コンテンツによって徐々に置換される。いくつかの実施形態では、コンピュータシステムは、個別のタイプのエクササイズに対応する個別の仮想環境が第１の表示生成コンポーネントを介して完全に表示されるまで（例えば、三次元環境の第２のビューが第１のタイプのエクササイズに対応する仮想環境を含み、三次元環境の第３のビューが第２のタイプのエクササイズに対応する仮想環境を含むなど）、第１のユーザの視野内に表示される仮想コンテンツの量を徐々に増加させる。例えば、いくつかの実施形態では、開放ジムがヨガとダンスの両方に関連付けられたロケーションであるとき、第１のユーザが開放ジムに到着した後、第１のユーザがナマステポーズで座る場合、コンピュータシステムは、ユーザが仮想ビーチ上でヨガを練習するために、海洋音を伴う仮想海洋ビューを表示し、第１のユーザがダンサーのポーズで立つ場合、コンピュータシステムは、ユーザがダンスを練習するために、ダンス音楽を伴う仮想ステージを表示する。
いくつかの実施形態では、コンピュータシステムが、ユーザが個別のロケーションから離れたことを検出すると、コンピュータシステムは、個別のロケーションに関連付けられたエクササイズのタイプに対応する仮想コンテンツの表示を停止する。例えば、図７Ｏでは、コンピュータシステムが、ユーザ７００２が物理的オブジェクト７４０４を含む第１のロケーションを離れたことを検出した場合、ビュー７４０８が表示された後、コンピュータシステムは、第１のタイプのエクササイズに対応するビュー７４０８の表示を停止する。いくつかの実施形態では、コンピュータシステムは、第１のタイプのエクササイズ又は第２のタイプのエクササイズのいずれかに対応する仮想コンテンツを含まないビュー７４０５を再表示する。いくつかの実施形態では、ユーザが第１のロケーションから第２のロケーションに移動したことをコンピュータシステムが検出すると、コンピュータシステムは、第２のタイプのエクササイズに対応する仮想コンテンツ７４１０を表示する。
いくつかの実施形態では、コンピュータシステムは、個別のタイプのエクササイズに対応する仮想コンテンツを含む三次元環境のビューを表示するときに、個別のタイプのエクササイズに対応するステータス情報（例えば、現在のセッション中の進行、持続時間、速度、力、身長、ペース、ストライド長、パフォーマンスレベル、スコア、完了した反復回数など、過去の統計、第１のユーザ及び／又は複数のユーザにわたる平均統計、同じタイプのエクササイズを実行している他のユーザのステータスなど）を表示する。
いくつかの実施形態では、コンピュータシステムは、個別のタイプのエクササイズに対応する仮想コンテンツを含む三次元環境のビューを表示するときに、ユーザに対応する健康情報（例えば、リアルタイムバイオメトリックデータ（例えば、心拍数、血圧、呼吸数、体温、血糖値など）、体重、ＢＭＩなど）を表示する。
いくつかの実施形態では、コンピュータシステムは、個別のタイプのエクササイズに対応する仮想コンテンツを含む三次元環境のビューを表示するときに、ユーザによって実行される個別のタイプのエクササイズの進行情報（例えば、リアルタイムスコア、完了したラップ、残りのラップ、持続時間、歩数、移動距離、完了したポーズなど）を視覚的に提示する。
いくつかの実施形態では、個別のタイプのエクササイズに対応する仮想コンテンツを含む三次元環境は、没入型環境であり、三次元環境の現在表示されているビューに含まれる空間範囲よりも大きい空間範囲を含む。例えば、ユーザが自分の頭を回転させるか、又は他の方法で三次元環境の現在表示されているビューに対応する視点を変更すると、仮想コンテンツの異なる部分が三次元環境の現在表示されているビューに表示される。
いくつかの実施形態では、三次元環境の第２及び／又は第３のビューは、ユーザと競争して、（例えば、第１のユーザの以前の最良記録に基づいて、第１のタイプのエクササイズについて第１のユーザの予め設定された構成に基づいてなど）個別のタイプのエクササイズを実行するように示されるユーザの仮想表現を含む。
いくつかの実施形態では、三次元環境の第２及び／又は第３のビューは、ユーザと競争して個別のタイプのエクササイズを実行するように示される、ユーザとは異なる少なくとも別のユーザの仮想表現を含む。
本明細書に開示されるように、いくつかの実施形態では、表示生成コンポーネントを介して表示される三次元環境は、物理的環境の表現を伴わずに、三次元環境内の様々な仮想ポジションに仮想オブジェクト及びコンテンツを含む、仮想三次元環境である。いくつかの実施形態では、三次元環境は、物理的環境の１つ以上の物理的側面（例えば、壁、床、表面、重力の方向、時刻などのポジション及び向き）によって制約される三次元環境内の様々な仮想ポジションに仮想オブジェクトを表示する複合現実環境である。いくつかの実施形態では、三次元環境は、物理的環境の表現を含む拡張現実環境である。物理的環境の表現は、物理的環境内の異なる物理的オブジェクトと表面との間の空間関係が、三次元環境内の物理的オブジェクトと表面との表現間の空間関係によって反映されるように、三次元環境内の異なるポジションにある物理的オブジェクト及び表面のそれぞれの表現を含む。仮想オブジェクトが、三次元環境内の物理的オブジェクト及び表面の表現のポジションに対して配置されるとき、仮想オブジェクトは、物理的環境内の物理的オブジェクト及び表面との対応する空間関係を有するように見える。いくつかの実施形態では、表示生成コンポーネントは、物理的環境の表現が表示されるパススルー部分を含む。いくつかの実施形態では、パススルー部分は、ユーザの視野を取り囲み、ユーザの視野内の物理的環境の少なくとも一部を明らかにする表示生成コンポーネントの透明又は半透明（例えば、シースルー）部分である。例えば、パススルー部分は、半透明（例えば、５０％、４０％、３０％、２０％、１５％、１０％、又は５％未満の不透明度）又は透明であるヘッドマウントディスプレイの一部であり、それにより、ユーザは、ヘッドマウントディスプレイを除去することなく、又はヘッドアップディスプレイから離れたりすることなく、パススルー部分を通じてユーザを取り囲む現実世界を視認することができる。いくつかの実施形態では、パススルー部分は、仮想又は複合現実環境を表示するとき、半透明又は透明から完全に不透明に徐々に遷移する。いくつかの実施形態では、表示生成コンポーネントのパススルー部分は、１つ以上のカメラ（例えば、モバイルデバイスの若しくはヘッドマウントディスプレイに関連付けられた後面カメラ（単数又は複数）、又は画像データを電子デバイスに供給する他のカメラ）によってキャプチャされた物理的環境の少なくとも一部の画像又はビデオのライブフィードを表示する。いくつかの実施形態では、１つ以上のカメラは、直接ユーザの目の前に（例えば、表示生成コンポーネントの後ろに）ある物理的環境の一部に向けられる。いくつかの実施形態では、１つ以上のカメラは、直接ユーザの目の前にない（例えば、異なる物理的環境にある、又はユーザの側方又は後方にある）物理的環境の一部に向けられる。いくつかの実施形態では、物理的環境内の１つ以上の物理的オブジェクトのロケーションに対応するポジションに仮想オブジェクト又はコンテンツを表示するとき、仮想オブジェクトのうちの少なくともいくつかは、カメラのライブビューの一部（例えば、ライブビュー内にキャプチャされた物理的環境の一部）の代わりに表示される（例えば、その表示を置換する）。いくつかの実施形態では、仮想オブジェクト及びコンテンツのうちの少なくともいくつかは、物理的環境内の物理的表面又は空き空間上に投影され、表示生成コンポーネントのパススルー部分を通じて可視である（例えば、物理的環境のカメラビューの一部として、又は表示生成コンポーネントの透明若しくは半透明の部分を通じて可視であるなど）。いくつかの実施形態では、仮想オブジェクト及びコンテンツのうちの少なくともいくつかは、ディスプレイの一部分に重なるように表示され、表示生成コンポーネントの透明又は半透明部分を介して可視である物理的環境の全てではないが少なくとも一部分のビューを遮断する。いくつかの実施形態では、仮想オブジェクトのうちの少なくともいくつかは、（例えば、物理的環境のカメラビューを通じて、又は表示生成コンポーネントの透明部分を通じて視認されるような）物理的環境の表現の画像に対するポジションにおいて、ユーザの網膜上に直接投影される。
いくつかの実施形態では、（例えば、図７Ａ～７Ｐ及び図８～１２に関して）本明細書に記載される各種実施例及び実施形態で使用される入力ジェスチャは、任意選択的に、いくつかの実施形態によると、仮想又は複合現実環境と相互作用するために、ジェスチャの直前又は最中に動作を実行するためにユーザの手全体又は腕をそれらの自然なロケーション（単数又は複数）及び姿勢（単数又は複数）から離れるように大きく移動させることを任意選択的に必要とせずに、ユーザの指（単数又は複数）を他の指（単数又は複数）又はユーザの手の一部（単数又は複数）に対して移動させることによって実行される不連続の小さな運動ジェスチャを含む。
いくつかの実施形態では、入力ジェスチャは、センサシステム（例えば、図１のセンサ１９０、図３の画像センサ３１４）によってキャプチャされるデータ及び信号を解析することによって検出される。いくつかの実施形態では、センサシステムは、１つ以上の撮像センサ（例えば、モーションＲＧＢカメラ、赤外線カメラ、深度カメラなどの１つ以上のカメラ）を含む。例えば、１つ以上の撮像センサは、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０（例えば、ディスプレイ及びタッチ感知面として機能するタッチスクリーンディスプレイ、立体ディスプレイ、パススルー部分を有するディスプレイなど））を含むコンピュータシステム（例えば、図１のコンピュータシステム１０１（例えば、ポータブル電子デバイス７１００又はＨＭＤ））のコンポーネントである、又は上記コンピュータシステムにデータを提供する。いくつかの実施形態では、１つ以上の撮像センサは、デバイスのディスプレイとは反対側のデバイスの側に１つ以上の後面カメラを含む。いくつかの実施形態では、入力ジェスチャは、ヘッドマウントシステムのセンサシステム（例えば、ユーザの左目の左画像及びユーザの右目の右画像を提供する立体ディスプレイを含むＶＲヘッドセット）によって検出される。例えば、ヘッドマウントシステムのコンポーネントである１つ以上のカメラは、ヘッドマウントシステムの前側及び／又は下側に取り付けられている。いくつかの実施形態では、１つ以上の撮像センサは、撮像センサがヘッドマウントシステム及び／又はヘッドマウントシステムのユーザの画像をキャプチャするように、ヘッドマウントシステムが使用される空間に配置される（例えば、部屋内の様々なロケーションでヘッドマウントシステムの周りに配列される）。いくつかの実施形態では、入力ジェスチャは、ヘッドアップデバイス（例えば、ヘッドアップディスプレイ、グラフィックを表示する能力を有する自動車フロントガラス、グラフィックを表示する能力を有する窓、グラフィックを表示する能力を有するレンズ）のセンサシステムによって検出される。例えば、１つ以上の撮像センサは、自動車の内面に取り付けられる。いくつかの実施形態では、センサシステムは、１つ以上の深度センサ（例えば、センサアレイ）を含む。例えば、１つ以上の深度センサは、１つ以上の光ベースの（例えば、赤外線）センサ及び／又は１つ以上の音響ベースの（例えば、超音波）センサを含む。いくつかの実施形態では、センサシステムは、光エミッタ（例えば、赤外線エミッタ）及び／又は音声エミッタ（例えば、超音波エミッタ）などの１つ以上の信号エミッタを含む。例えば、光（例えば、所定パターンを有する赤外光エミッタアレイからの光）が手（例えば、手７２００）に投射されている間、光の照明下の手の画像が１つ以上のカメラによってキャプチャされ、キャプチャされた画像が手のポジション置及び／又は構成を判定するために解析される。タッチ感知面又は他の直接接触機構又は近接ベースの機構の信号を使用することと対照的に、手に向けられた画像センサからの信号を使用して入力ジェスチャを判定することで、ユーザは、特定の入力デバイス又は入力領域によって課せられる制約を経験せずに、手で入力ジェスチャを提供するときに、大きな運動を実行するか、又は相対的に静止状態を保つかを自由に選択することができる。
いくつかの実施形態では、タップ入力は、任意選択的に、ユーザの手の人差し指上の（例えば、親指に隣接する人差し指の側部上の）親指のタップ入力を示す。いくつかの実施形態では、人差し指の側部から親指を持ち上げる必要なく、タップ入力が検出される。いくつかの実施形態では、タップ入力は、親指の下方移動の後に親指の上方移動が続き、親指が閾値時間未満、人差し指の側部と接触しているという判定に従って検出される。いくつかの実施形態では、タップホールド入力は、親指が上昇ポジションからタッチダウンポジションまで移動し、少なくとも第１の閾値時間（例えば、タップ時間閾値又はタップ時間閾値よりも長い別の時間閾値）、タッチダウンポジションに留まるという判定に従って検出される。いくつかの実施形態では、コンピュータシステムは、人差し指上の親指によるタップホールド入力を検出するために、手全体が、少なくとも第１の閾値時間、あるロケーションで実質的に静止したままであることを必要とする。いくつかの実施形態では、タッチホールド入力は、手が実質的に静止したままであることを必要とせずに検出される（例えば、親指が人差し指の側部に置かれている間、手全体が移動することができる）。いくつかの実施形態では、タップホールドラッグ入力は、親指が人差し指の側部にタッチし、親指が人差し指の側部に静止している間に手全体が移動するときに検出される。
いくつかの実施形態では、フリックジェスチャは、任意選択的に、人差し指を横切る親指の移動（例えば、人差し指の掌側から後側への）プッシュ又はフリック入力を示す。いくつかの実施形態では、親指の伸長移動は、例えば、親指による上方フリック入力のように、人差し指の側部から離れる上方移動を伴う。いくつかの実施形態では、人差し指は、親指が前方及び上方に移動する間、親指の方向と反対方向に移動する。いくつかの実施形態では、逆フリック入力は、伸長ポジションから後退ポジションに移動する親指によって実行される。いくつかの実施形態では、人差し指は、親指が後方及び下方に移動する間、親指の方向と反対方向に移動する。
いくつかの実施形態では、スワイプジェスチャは、任意選択的に、人差し指に沿った（例えば、親指に隣接する人差し指の側部又は掌の側部に沿った）親指の移動によるスワイプ入力である。いくつかの実施形態では、人差し指は、任意選択的に、伸長状態（例えば、実質的に直線）又は屈曲状態である。いくつかの実施形態では、人差し指は、スワイプ入力ジェスチャで親指が移動する間、伸長状態と屈曲状態との間を移動する。
いくつかの実施形態では、様々な指の異なる指骨は、異なる入力に対応する。様々な指（例えば、人差し指、中指、薬指、及び任意選択的に小指）の様々な指骨にわたる親指のタップ入力は、任意選択的に、異なる動作にマッピングされる。同様に、いくつかの実施形態では、異なるプッシュ又はクリック入力が、異なる指及び／又は指の異なる部分を横切る親指によって実行されて、個別のユーザインタフェース接触で異なる動作をトリガすることができる。同様に、いくつかの実施形態では、異なる指に沿って、及び／又は異なる方向に（例えば、指の遠位端又は近位端に向かって）親指によって実行される異なるスワイプ入力が、個別のユーザインタフェースコンテキストで異なる動作をトリガする。
いくつかの実施形態では、コンピュータシステムは、タップ入力、フリック入力、及びスワイプ入力を、親指の移動のタイプに基づいて異なるタイプの入力として処理する。いくつかの実施形態では、コンピュータシステムは、所与の入力タイプ（例えば、タップ入力タイプ、フリック入力タイプ、スワイプ入力タイプなど）の異なるサブ入力タイプ（例えば、近位、中間、遠位サブタイプ、又は人差し指、中指、薬指、若しくは小指サブタイプ）として親指によってタップ、タッチ、又はスワイプされる異なる指ロケーションを有する入力を処理する。いくつかの実施形態では、移動する指（例えば、親指）によって実行される移動量、及び／又は指の移動に関連付けられる他の移動の尺度（例えば、速度、初期速度、終了速度、持続時間、方向、移動パターンなど）が使用されて、指入力によってトリガされる動作に定量的に影響を与える。
いくつかの実施形態では、コンピュータシステムは、タップスワイプ入力（例えば、親指が他の指へのタッチダウン後に、指の側部に沿ってスワイプする）、タップフリック入力（例えば、親指が他の指へのタッチダウン後に、掌の側部から指の後部まで指を横切ってフリックする）、ダブルタップ入力（例えば、ほぼ同じロケーションでの指の側部上の２連続タップ）などの、親指による一連の移動を組み合わせた組み合わせ入力タイプを認識する。
いくつかの実施形態では、ジェスチャ入力は、親指の代わりに人差し指によって実行される（例えば、人差し指が親指上でタップ又はスワイプを実行するか、又は親指及び人差し指が互いに向かって動いてピンチジェスチャを実行する）。いくつかの実施形態では、手首の移動（例えば、水平方向又は垂直方向での手首のフリック）は、指の移動入力の直前、直後（例えば、閾値時間内）、又は同時に実行されて、手首の移動による修正入力のない指の移動入力と比較して、現在のユーザインタフェースコンテキストで追加の動作、異なる動作、又は修正された動作をトリガする。いくつかの実施形態では、ユーザの顔に面するユーザの掌で実行される指入力ジェスチャは、ユーザの顔と反対に面するユーザの掌で実行される指入力ジェスチャとは異なるタイプのジェスチャとして処理される。例えば、ユーザに面するユーザの掌で実行されるタップジェスチャは、ユーザの顔と反対に面するユーザの掌で実行されるタップジェスチャに応じて実行される動作（例えば、同じ動作）と比較して、プライバシー保護が追加（又は低減）された動作を実行する。
１つのタイプの指入力を使用して、本開示で提供される実施例において動作タイプをトリガすることができるが、他の実施形態では、同じタイプの動作をトリガするために、他のタイプの指入力が任意選択的に使用される。
図７Ａ～図７Ｐに関する追加の説明は、以下の図８～１２に関して記載された方法８０００、９０００、１００００、１１０００、及び１２０００を参照して以下に提供される。
図８は、いくつかの実施形態による、２人以上のユーザ間で共有されるコンピュータ生成三次元環境内のユーザインタフェースオブジェクトとの相互作用をサポートする方法のフローチャートである。
いくつかの実施形態では、方法８０００は、コンピュータシステム（例えば、図１の第１のコンピュータシステム１０１）で実行される。表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上のカメラ（例えば、カメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））は、ユーザの手又はユーザの頭部から前方に向くカメラである。いくつかの実施形態では、方法８０００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法８０００の一部の動作は、任意選択的に組み合わされ、及び／又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法８０００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０、表示生成コンポーネント７１００など）（例えば、ヘッドアップディスプレイ、ＨＭＤ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上の入力デバイス（例えば、カメラ、コントローラ、タッチ感知面、ジョイスティック、ボタンなど）と通信しているコンピュータシステム（例えば、図１の第１のコンピュータシステム１０１）において実行される。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネントと同じハウジングに囲まれた１つ以上のプロセッサ及びメモリと、１つ以上の入力デバイスのうちの少なくともいくつかと、を有する統合デバイスである。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネント及び／又は１つ以上の入力デバイスとは別個の１つ以上のプロセッサ及びメモリを含むコンピューティングコンポーネントを含む。いくつかの実施形態では、表示生成コンポーネント及び１つ以上の入力デバイスは、同じハウジング内に統合され、かつ同じハウジングに囲まれている。
方法８０００では、コンピュータシステムは、第１のユーザインタフェースオブジェクト（例えば、図７Ｂのユーザインタフェースオブジェクト７０１６、別のユーザインタフェースオブジェクトなど）（例えば、アプリケーションの表現、複数のユーザインタフェースオブジェクト（例えば、選択可能なアバター、選択可能なメニューアイテム、選択可能なデバイスコントロール、選択可能なコンテンツアイテム、スライダコントロール、ボタンなど）を含むユーザインタフェース、仮想三次元オブジェクト、コントロール、異なる機能又は動作に対応する複数のコントロールを含むコントロールパネル、情報アイテム、メディアアイテムなど）を、三次元環境の第１のビュー（例えば、図７Ｂの第１のビュー７０１５－１、別の第１のビューなど）に表示し（８００２）、三次元環境は、第１のユーザ（例えば、図７Ａ～図７Ｃのユーザ７１０２）と第２のユーザ（例えば、図７Ａ～図７Ｃのユーザ７００２）との間で少なくとも部分的に共有され（例えば、環境の少なくとも空間部分が共有される、環境が少なくともある期間中に共有される、環境内のオブジェクトが完全に又は部分的に共有される（例えば、同時に閲覧可能及びアクセス可能である、同時に閲覧可能であるが同時にアクセス可能でない、他者が制御を有する（例えば、他者がオブジェクトを閲覧又は閲覧できない）場合に閲覧可能であるがアクセス可能でないなど）、（例えば、三次元環境の少なくとも一部（例えば、三次元環境の第１のビューに示される部分、三次元環境の別の部分など）が、第１のユーザと第２のユーザの両方によって閲覧のために表示されているとき、及び／又は三次元環境内の仮想オブジェクト（例えば、第１のユーザインタフェースオブジェクト、別のユーザインタフェースオブジェクトなど）が、第１のユーザと第２のユーザの両方に示される三次元環境内に同時に表示されるとき）、（例えば、図７Ｂに示されるように）第１のセットの外観特性（例えば、第２の表示生成コンポーネントによって第２のユーザに対して表示されるような第１のユーザインタフェースオブジェクトの通常の外観（例えば、第１の形状、第１のサイズ、第１の色、第１の不透明度、第１の彩度、第１の輝度など））で三次元環境の第１のビュー内の第１のポジションに第１のユーザインタフェースオブジェクトが表示される（例えば、図７Ｂの第１のビュー７０１５－１）。三次元環境の第１のビュー内の第１のポジションに第１のセットの外観特性を有する第１のユーザインタフェースオブジェクトを表示している間、コンピュータシステムは、第１のユーザインタフェースオブジェクトに向けられた第１のユーザ入力であって、第１のユーザによって提供された第１のユーザ入力を検出する（８００４）（例えば、ユーザ入力を検出することは、物理的環境内の第１のロケーションへの第１のユーザの一部の移動を検出することを含み、物理的環境内の第１のロケーションは、三次元環境の第１のビュー内の第１のユーザインタフェースオブジェクトの個別のポジションに対応し、ユーザ入力を検出することは、第１のユーザインタフェースオブジェクトに向けられた視線入力及び視線入力と共に検出される制御入力（例えば、指移動ジェスチャ、空中ジェスチャ、コントローラによって提供される入力など）を検出することを含む）。第１のユーザインタフェースオブジェクトに向けられた第１のユーザ入力を検出したこと（８００６）に応じて、かつ第２のユーザ（例えば、図７Ａ～図７Ｃのユーザ７００２）が第１のユーザインタフェースオブジェクト（例えば、図７Ａ～図７Ｃのユーザインタフェースオブジェクト７０１６）と現在相互作用していない（例えば、第１のユーザインタフェースオブジェクトが、三次元環境の第１のビュー内の第２のユーザの仮想ポジションとの予め設定された空間関係を有していない（例えば、第１のユーザインタフェースオブジェクトが、第２のユーザの掌又は手の表現内にない、第１のユーザインタフェースオブジェクトが、三次元環境の第１のビュー内で可視である第２のユーザのプライベート空間外にある、など）という判定に従って、第２のユーザが、少なくとも部分的に共有される三次元環境内の三次元環境の第２のビューを表示する第２のコンピュータシステムを介して第１のユーザインタフェースオブジェクトを制御、選択、移動、修正、及び／又は相互作用していない、など）ことに従って、コンピュータシステムは、第１のユーザ入力に従って第１のユーザインタフェースオブジェクトに対する第１の動作を実行する（８００８）（例えば、第１のユーザインタフェースオブジェクトが第１のユーザ入力に従って第１のユーザによって把持されている又は移動させられていることを示す（例えば、ユーザに向かって移動させられる、第１のユーザ入力の移動に従って移動させられる、など）、第１のユーザの手の表現に把持されている又は移動させられている第１のユーザインタフェースオブジェクトのゴースト画像を示す、など）。いくつかの実施形態では、第１のユーザ入力が検出されたときに第２のユーザが第１のユーザインタフェースオブジェクトと相互作用していなかったという判定に従って、第１のユーザインタフェースオブジェクトは、第１のセットの外観特性で（例えば、その元のロケーションに、又は第１のユーザの手の表現などで）表示され続ける。第１のユーザインタフェースオブジェクト（例えば、図７Ａ～図７Ｃのユーザインタフェースオブジェクト７０１６）に向けられた第１のユーザ入力を検出したこと（８００６）に応じて、かつ第２のユーザが第１のユーザインタフェースオブジェクト（例えば、第１のユーザインタフェースオブジェクトは、三次元環境の第１のビュー内の第２のユーザの仮想ポジションとの予め設定された空間関係を有する）と現在相互作用している（例えば、第１のユーザインタフェースオブジェクトが第２のユーザの掌又は手の表現内にある、第１のユーザインタフェースオブジェクトが三次元環境の第１のビュー内に見える第２のユーザのプライベート空間内にあるなど）という判定に従って、第２のユーザが、三次元環境の第２のビューを共有三次元環境に表示する第２のコンピュータシステムを通じて第１のユーザインタフェースオブジェクトを制御、選択、移動、修正、及び／又は他の方法で相互作用しているなど）、コンピュータシステムは、第１のユーザインタフェースオブジェクトが第１のユーザとの相互作用に利用可能でないという視覚的インジケーションを表示し（８０１０）、視覚的インジケーションを表示することは、第１のユーザインタフェースオブジェクトの外観又は三次元環境の第１のビュー内の第１のユーザインタフェースオブジェクトのポジションのうちの少なくとも１つを変更することを含む（例えば、図７Ｃでは、ユーザインタフェースオブジェクト７０１６の外観は、第１のユーザ７１０２に示される第１のビュー７０１５－１内で変更される）。いくつかの実施形態では、コンピュータシステムは、第１のセットの外観特性とは異なる第２のセットの外観特性（例えば、第２の形状、第２のサイズ、第２の色、第２の不透明度、第２の彩度、第２の輝度など）を有する第１のユーザインタフェースオブジェクトを表示し（例えば、第２のセットの外観特性は、第１のユーザインタフェースオブジェクトがこの時点で第２のユーザを制御しており、第１のユーザと相互作用するために利用可能でないという視覚的インジケーションを提供する）、及び／又は第１のユーザが第１のユーザインタフェースオブジェクトを把持しようとするときに第１のユーザインタフェースオブジェクトを邪魔にならないように移動させる。いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、視覚的インジケーションが第１のユーザに対して表示されるだけでよいため、第２のユーザに対して表示される少なくとも部分的に共有される三次元環境のビュー内のその外観及び／又はポジションを維持する。いくつかの実施形態では、視覚的インジケーションは、第２のユーザが少なくとも部分的に共有された三次元環境内で第１のユーザインタフェースオブジェクトと相互作用している間、表示される。コンピュータシステムは、第１のユーザ入力に従って第１のユーザインタフェースオブジェクトに対して第１の動作を実行することを取りやめる（８０１４）。いくつかの実施形態では、コンピュータシステムは、第１のユーザの表現によって把持されている第１のユーザインタフェースオブジェクトを示さないか、又は第１のユーザ入力の移動に従って移動する第１のユーザインタフェースオブジェクトを示さない（例えば、第１のユーザの手によって把持されることを回避するためにオブジェクトが移動していない、第１のユーザの表現によって把持されることを回避するためにオブジェクトが縮小又は形状を変化していない、など）。いくつかの実施形態では、コンピュータシステムは、第１のユーザの手の表現内に移動する第１のユーザインタフェースオブジェクトのゴースト画像を示さない。
これらの特徴は、例えば、図７Ａ～図７Ｃに示されており、第１のユーザ７１０２及び第２のユーザ７００２は、表示生成コンポーネント７２００及び７１００を介してそれぞれ示される三次元環境を共有する。第２のユーザ７００２が第１のユーザインタフェースオブジェクト７０１６を制御する（例えば、第１のユーザインタフェースオブジェクト７０１６と相互作用している、第１のユーザインタフェースオブジェクト７０１６又はその表現を第２のビュー７０１５－２内の手７０２８の表現７０２８’’（第１のユーザ７１０２に示される第１のビュー７０１５－１内の表現７０２８’も）を介して保持するなど）とき、第１のユーザ７１０２が、第１のユーザの手７１０２の移動によって第１のユーザインタフェースオブジェクト７０１６と相互作用しようと試みる場合、第１のユーザ７１０２のコンピュータシステムは、第１の表示生成コンポーネント７２００を介して示される第１のビュー７０１５－１内の第１のユーザインタフェースオブジェクト７０１６の外観を変更し、第１のユーザインタフェースオブジェクト７０１６に対応する動作を実行しない。対照的に、第２のユーザ７００２が第１のユーザインタフェースオブジェクト７０１６と相互作用していない場合、コンピュータシステムは、第１のユーザの手７２０２の移動に従って第１の動作を実行する。これは、図７Ｂにおける第２のユーザ７００２と第１のユーザインタフェースオブジェクト７０１６との間の相互作用によって間接的に示されており、第１のユーザ７１０２は、第１のユーザインタフェースオブジェクト７０１６を制御しないか、又は第１のユーザインタフェースオブジェクト７０１６と相互作用していない（例えば、そのシナリオにおける第１のユーザ及び第２のユーザの役割の逆転を考える）。
いくつかの実施形態では、コンピュータシステムは、第１のユーザインタフェースオブジェクトが第１のユーザとの相互作用に利用可能でないことの視覚的インジケーションとして第１のユーザインタフェースオブジェクトの外観を変更し、第１のユーザインタフェースオブジェクトの外観を変更することは、第１のユーザインタフェースオブジェクトの第１のセットの外観特性のうちの少なくとも１つを変更して（例えば、第１のユーザインタフェースオブジェクトの透明度を上げる、彩度を下げる、不透明度を下げる、ぼかす、暗くする、解像度を下げる、サイズを縮小するなど、任意選択的に、第１のユーザインタフェースオブジェクトの周囲環境の外観を維持しながら（例えば、周囲環境の視覚的プロミネンスを変化させずに））、第１のユーザインタフェースオブジェクトの視覚的プロミネンスを低減することを含む（例えば、図７Ｃでは、ユーザインタフェースオブジェクト７０１６の外観は、第１のユーザ７１０２に示される第１のビュー７０１５－１で変更される）。いくつかの実施形態では、計算システムは、第１のユーザ入力とは無関係に判定される三次元環境の第１のビュー内の第１のユーザインタフェースオブジェクトのポジション（例えば、第１のポジション、第１のユーザインタフェースオブジェクトと第２のユーザとの間の相互作用に応じて判定される別のポジション、第１のユーザインタフェースオブジェクトの予めプログラムされた自律移動に従って判定される別のポジション（例えば、第１のユーザインタフェースオブジェクトは、予め設定された移動パターン又は予め設定されたアニメーション効果などを有する）、コンピュータシステム内の他のイベントに従って判定される別のポジションなど）を維持しながら、第１のユーザインタフェースオブジェクトの外観を変更する。いくつかの実施形態では、第１のユーザインタフェースオブジェクトに向けられた第１のユーザ入力を検出したことに応じて、第２のユーザが第１のユーザインタフェースオブジェクトと現在相互作用していないという判定に従って、コンピュータシステムは、第１のユーザインタフェースオブジェクトの外観を変更して第１のユーザインタフェースオブジェクトの視覚的プロミネンスを低減させず、コンピュータシステムは、第１のユーザ入力に従って第１のユーザインタフェースオブジェクトに対して第１の動作を実行する（例えば、第１のユーザインタフェースオブジェクトの外観及び視覚的プロミネンスが維持される、又は外観は、第１の動作を実行した結果として変更されてもよいが、第１のユーザインタフェースオブジェクトの視覚的プロミネンスを低減することを目的としない、など）。
第１のユーザインタフェースオブジェクトが第１のユーザとの相互作用に利用可能でないことの視覚的インジケーションとして、第１のユーザインタフェースオブジェクトに対する視覚的プロミネンスを低減するように第１のユーザインタフェースオブジェクトの第１のセットの外観特性のうちの少なくとも１つを変更することを含む、第１のユーザインタフェースオブジェクトの外観を変更することは、改善された視覚的フィードバック（例えば、第１のユーザインタフェースオブジェクトが第１のユーザとの相互作用に利用可能でないことの改善された視覚的フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、第１のユーザインタフェースオブジェクトに向けられた第１のユーザ入力の終了を検出する（例えば、三次元環境の第１のビュー内の第１のユーザインタフェースオブジェクトの個別のポジションに対応する、物理的環境内の第１のロケーションから離れる第１のユーザの一部の移動を検出する、第１のユーザインタフェースオブジェクトに向けられた視線入力が第１のユーザインタフェースオブジェクトから離れるように移動することを検出する、第１のユーザ入力を提供した第１のユーザの手が第１のユーザ入力を維持するのに必要な姿勢から外れるように移動することを検出するなど）。第１のユーザインタフェースオブジェクトに向けられた第１のユーザ入力の終了を検出したことに応じて、コンピュータシステムは、第１のユーザインタフェースオブジェクトの視覚的プロミネンスを復元するために、第１のユーザ入力に応じて変更された第１のユーザインタフェースオブジェクトの第１のセットの外観特性のうちの少なくとも１つを（例えば、第１のユーザ入力を検出する直前に存在したレベルに、又は第１のユーザ入力の検出に応じて変更が行われる前に、などに）復元する。いくつかの実施形態では、コンピュータシステムは、任意選択的に、第１のユーザインタフェースオブジェクトの周囲環境の外観を維持しながら（例えば、周囲環境の視覚的プロミネンスを変化させずに）、第１のユーザインタフェースオブジェクトの増加した透明度を復元し、低下した彩度を復元し、低下した不透明度を復元し、ぼやけ及び／又は暗化を停止し、低下した解像度を復元し、減少したサイズを復元するなどする。例えば、いくつかの実施形態では、第１のユーザが、第２のユーザが現在相互作用している仮想オブジェクトに対応するロケーションに向かって彼／彼女の手を伸ばすと、第１のユーザの手が、三次元環境内の仮想オブジェクトのポジションに対応する、物理的環境内のロケーションにあるとき、仮想オブジェクトは、フェードアウトするか、又はより暗くなるように見える。その後、第１のユーザがそのロケーションから手を離すと、仮想オブジェクトの外観が復元される（例えば、もはやフェードアウトされない、又は暗く見えない）。これは、図７Ｂ（図７Ｃに続く）に示されており、第１のユーザ７１０２が第１のユーザインタフェースオブジェクト７０１６と相互作用しようとするのを停止する場合、第１のユーザインタフェースオブジェクト７０１６の外観は、第１のユーザ７１０２に示される第１のビュー７０１５－１においてもはや変更されない。
第１のユーザインタフェースオブジェクトに向けられた第１のユーザ入力の終了の検出に応じて、第１のユーザインタフェースオブジェクトの視覚的プロミネンスを復元するために、第１のユーザ入力に応じて変更された第１のユーザインタフェースオブジェクトの第１のセットの外観特性のうちの少なくとも１つを復元することは、改善された視覚的フィードバック（例えば、第１のユーザインタフェースオブジェクトが相互作用に利用可能であるという改善された視覚的フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、第１のユーザ入力の検出を継続しながら（例えば、第１のユーザ入力が最初に検出されたときに三次元環境の第１のビュー内の第１のユーザインタフェースオブジェクトの個別のポジションに対応する、物理的環境内の第１のロケーションに残っている第１のユーザの部分を検出し、三次元環境内の同じポジションに残っている第１のユーザインタフェースオブジェクトに向けられた視線入力を検出し、第１のユーザ入力を維持するために必要な姿勢に残っている第１のユーザ入力を提供した第１のユーザの手を検出するなど）、第１のユーザ入力の検出とは無関係に（例えば、第２のユーザによって提供されたユーザ入力に従って、第１のユーザインタフェースオブジェクトの固有の移動パターンに従って、第１のユーザ入力とは無関係にコンピュータシステム内の他のイベントに応じてなど）、三次元環境の第１のビュー内の第１のポジションから離れる第１のユーザインタフェースオブジェクトの移動を検出する。第１のユーザ入力の検出とは無関係に、三次元環境の第１のビュー内の第１のポジションから離れる第１のユーザインタフェースオブジェクトの移動を検出したことに応じて、コンピュータシステムは、第１のユーザ入力に応じて変更された第１のユーザインタフェースオブジェクトの第１のセットの外観特性のうちの少なくとも１つを（例えば、第１のユーザ入力を検出する直前に存在したレベルに、又は第１のユーザ入力の検出に応じて変更が行われる前に存在したレベルに、など）復元して、第１のユーザインタフェースオブジェクトの視覚的プロミネンスを復元する。いくつかの実施形態では、コンピュータシステムは、任意選択的に、第１のユーザインタフェースオブジェクトの周囲環境の外観を維持しながら（例えば、周囲環境の視覚的プロミネンスを変化させずに）、第１のユーザインタフェースオブジェクトの増加した透明度を復元し、低下した彩度を復元し、低下した不透明度を復元し、ぼやけ及び／又は暗化を停止し、低下した解像度を復元し、減少したサイズを復元するなどする。例えば、いくつかの実施形態では、第１のユーザが、第２のユーザが現在相互作用している仮想オブジェクトに対応するロケーションに向かって彼／彼女の手を伸ばすと、第１のユーザの手が、三次元環境内の仮想オブジェクトのポジションに対応する、物理的環境内のロケーションにあるとき、仮想オブジェクトは、フェードアウトするか、又はより暗くなるように見える。次いで、第１のユーザインタフェースオブジェクトが、その現在ポジションから離れ、第１のユーザの手の現在ロケーションに対応するポジションから離れるように移動される（例えば、第２のユーザによって、それ自体の移動パターンに従って、第１のユーザ入力に関連しない他のシステム生成イベントに従って移動されるなど）とき、仮想オブジェクトの外観は復元される（例えば、もはやフェードアウトされたり暗くなったりして見えない）。
第１のユーザ入力の検出とは無関係に三次元環境の第１のビュー内の第１のポジションから離れる第１のユーザインタフェースオブジェクトの移動を検出したことに応じて、第１のユーザ入力に応じて変更された第１のユーザインタフェースオブジェクトの第１のセットの外観特性のうちの少なくとも１つを復元して、第１のユーザインタフェースオブジェクトの視覚的プロミネンスを復元することは、ユーザに改善された視覚的フィードバック（例えば、第１のユーザインタフェースオブジェクトが第１のポジションから離れたという改善された視覚的フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザインタフェースオブジェクトが第１のユーザとの相互作用に利用可能でないという視覚的インジケーションを表示することは、第２のユーザが第１のユーザインタフェースオブジェクトとの相互作用を停止するまで、第１のユーザ入力に応じて行われた第１のユーザインタフェースオブジェクトの外観に対する変更を維持することを含む。例えば、ユーザインタフェースオブジェクト７０１６の変更された外観は、第１のユーザ７１０２が第１のユーザインタフェースオブジェクト７０１６と相互作用する試みを停止した後であっても、第２のユーザ７００２がもはや第１のユーザ７１０２を除外して第１のユーザインタフェースオブジェクト７０１６を制御しなくなるまで維持される。例えば、いくつかの実施形態では、第１のユーザ入力の検出に応じて、かつ第１のユーザ入力が最初に検出された時点で第２のユーザが第１のユーザインタフェースオブジェクトと相互作用していたという判定に従って視覚的インジケーションが表示されると、コンピュータシステムは、第２のユーザが依然として第１のユーザインタフェースオブジェクトと相互作用しているという判定に従って、視覚的インジケーション（例えば、第１のユーザインタフェースオブジェクトの変化した外観、変化したポジションなど）を表示し続ける（例えば、第２のユーザは、第２のユーザの掌又は手のロケーションに対応するポジションに仮想オブジェクトを維持し続け、及び／又は第２のユーザのコンピュータシステムの動作を通じて仮想オブジェクトを選択、修正、又は他の方法で相互作用し続けるなど）。
いくつかの実施形態では、コンピュータシステムが、第１のユーザ入力が終了したこと、及び第１のユーザが第１のユーザインタフェースオブジェクトと相互作用しようと試みるための入力を現在提供していないことを検出した場合であっても、視覚的インジケーションは表示され続ける。いくつかの実施形態では、視覚的インジケーションは、第１のユーザ入力が維持されるか否か、又は第１のユーザが第１のユーザインタフェースオブジェクトとの相互作用を試み続けるか否かにかかわらず、ある期間にわたって維持されるが、必ずしも第２のユーザが第１のユーザインタフェースオブジェクトとの相互作用を中止するまでは維持されない。いくつかの実施形態では、第１のユーザのコンピュータシステムは、第２のユーザがもはや第１のユーザインタフェースオブジェクトと相互作用していないと判定し、第２のユーザがもはや第１のユーザインタフェースオブジェクトと相互作用していないことを検出したことに応じて、コンピュータシステムは、第１のユーザインタフェースオブジェクトが第１のユーザとの相互作用に利用可能でないという視覚的インジケーションを表示することを停止する（例えば、コンピュータシステムは、第１のユーザインタフェースオブジェクトを弱まった状態又は暗くなった状態で表示することを停止し、第１のユーザ入力の検出に応じて変更された第１のユーザインタフェースオブジェクトの元の外観特性を復元する）。いくつかの実施形態では、第１のユーザインタフェースオブジェクトが依然として第２のユーザの制御範囲内にある、及び／又は第１のユーザとの相互作用に利用可能でないという持続的な視覚的インジケーションは、デバイスが第１のユーザインタフェースオブジェクトと相互作用しようとする別の試みに応答する準備ができているときを第１のユーザが知るのを助け、第１のユーザインタフェースオブジェクトと相互作用しようとする際の失敗の繰り返しを回避する。
第２のユーザが第１のユーザインタフェースオブジェクトと相互作用するのを停止するまで、第１のユーザ入力に応じて行われた第１のユーザインタフェースオブジェクトの外観に対する変更を維持することは、改善された視覚的フィードバック（例えば、第２のユーザが第１のユーザインタフェースオブジェクトと相互作用しているという改善された視覚的フィードバック、第１のユーザインタフェースオブジェクトが第１のユーザとの相互作用に利用可能でないという改善された視覚的フィードバックなど）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザインタフェースオブジェクト（例えば、図７Ｂ～図７Ｃのユーザインタフェースオブジェクト７０１６）に向けられた第１のユーザ入力を検出したことに応じて、かつ第２のユーザ（例えば、図７Ｂ～図７Ｃのユーザ７００２）が第１のユーザインタフェースオブジェクト（第１のユーザインタフェースオブジェクトは、三次元環境の第１のビュー内の第２のユーザの仮想ポジションとの予め設定された空間関係を有さない）と現在相互作用していない（例えば、第１のユーザインタフェースオブジェクトが第２のユーザの掌又は手の表現の内側にない、第１のユーザインタフェースオブジェクトが三次元環境の第１のビュー内で見える第２のユーザのプライベート空間の外側にあるなど）という判定に従って、第２のユーザは、少なくとも部分的に共有される三次元環境内の三次元環境の第２のビューを表示する第２のコンピュータシステムを介して第１のユーザインタフェースオブジェクトを制御、選択、移動、修正、及び／又はそれ以外の形で相互作用しておらず、コンピュータシステムは、三次元環境の第１のビュー内の第２のポジションに第１のユーザインタフェースオブジェクトを表示し、第２のポジションは、第１のユーザ（例えば、図７Ｂ～図７Ｃのユーザ７１０２又は別のユーザなど）の手の現在ロケーションに従って選択される。いくつかの実施形態において、第２のポジションは、第１のユーザ入力を提供する第１のユーザの手（例えば、図７Ｂ～図７Ｃの手７２０２、又は別の手など）の現在ロケーションに対応するように選択される（例えば、第１のユーザの手の表現に重なって、その表現の表示を置換して、その表現の外観を変更してなど）、又は第２のポジションは、第１のユーザ入力などによって向けられる、若しくは示される三次元環境内のポジション若しくは物理的環境内のロケーションに対応するように選択される。
いくつかの実施形態では、コンピュータシステムは、三次元環境の第１のビュー内で第１のユーザの手の表現によって把持されている第１のユーザインタフェースオブジェクトを示す、第１のユーザの手によって提供される第１のユーザ入力の移動方向に対応する方向に移動する第１のユーザインタフェースオブジェクトを示す（例えば、ユーザの手の上方への移動は、仮想オブジェクトをテーブル上面の表現から持ち上げさせ、ユーザの手の上方への移動は、仮想オブジェクトをテーブル上面の表現からジャンプさせ、ユーザの手の表現に着地させるなど）、第１のユーザインタフェースオブジェクト（例えば、図７Ｂ～図７Ｃのユーザインタフェースオブジェクト７０１６、又は別のユーザインタフェースオブジェクトなど）を第１のユーザの手によって示されるポジションに移動させる（例えば、第１のユーザの手によるフリック及びポイントジェスチャは、仮想オブジェクトをその元のポジションから移動させ、第１のユーザの手の人差し指によって示されるポジションに移動させるなど）。第１のユーザインタフェースオブジェクトに向けられた第１のユーザ入力を検出したことに応じて、第１のユーザの手の現在ロケーションに従って選択される第２のポジションに第１のユーザインタフェースオブジェクトを表示している間（例えば、第１のユーザインタフェースオブジェクトが第１のユーザの手の表現に対応するポジションに表示されている間（例えば、第１のユーザの手によって保持されているように見える）、第１のユーザインタフェースオブジェクトが第１のユーザ入力によって選択されるポジションにホバリングして表示されている間など）、コンピュータシステムは、第１のユーザの手のスローイングジェスチャに対応する第１のユーザ（例えば、ユーザ７１０２、又は別のユーザなど）の手の移動を検出する。いくつかの実施形態では、コンピュータシステムは、第１のユーザの手が、第１のユーザに近いロケーションから第１のユーザから更に離れた別のロケーションに、任意選択的に、第２のユーザの表現のポジションに対応するロケーションに向かって移動していることを検出する。いくつかの実施形態では、コンピュータシステムは、第１のユーザが人差し指を第１のユーザから離して、任意選択的に第２のユーザの表現のポジションに対応するロケーションに向かってフリックすることを検出する、及び／又は第１のユーザが自分の手を使用してトス運動又はスローイング運動を実行していることを検出する。いくつかの実施形態では、スローイングジェスチャを検出することは、手の急加速とそれに続く急減速を検出することを含む。いくつかの実施形態では、スローイングジェスチャを検出することは、閉じられた手が開くことを検出すること（及び任意選択的に、急減速を検出することと併せて）を含む。第１のユーザインタフェースオブジェクトに向けられた第１のユーザ入力を検出したことに応じて、かつ第１のユーザの手のスローイングジェスチャに対応する第１のユーザの手の移動を検出したことに応じて、コンピュータシステムは、三次元環境の第１のビュー内の第１のユーザインタフェースオブジェクトを、第１のユーザの手の移動の方向に対応する第１の方向に移動させ、第１のユーザインタフェースオブジェクトの移動中に第１のユーザインタフェースオブジェクトを回転させる。いくつかの実施形態では、第１のユーザインタフェースオブジェクトがスローイングジェスチャの方向に対応する方向に移動するにつれて、第１のユーザインタフェースオブジェクトはまた、第１のユーザインタフェースオブジェクトの仮想重心（例えば、幾何学的中心、第１のユーザインタフェースオブジェクトによってシミュレートされるオブジェクトに応じて第１のユーザインタフェースオブジェクトの内外の別の点など）の周りを回転する（例えば、第１のユーザインタフェースオブジェクトの直線運動中の角運動量の保存をシミュレートするため、第１のユーザインタフェースオブジェクトに対するスローイングジェスチャの物理的効果をシミュレートするため、スローイングジェスチャの目的端において第１のユーザインタフェースオブジェクトの所定のユーザ対向側を第２のユーザに向けて示すため、物理的表面の表現上又は所定の直立向きを有する仮想表面上に着地するためなど）。
いくつかの実施形態では、第２のユーザが第１のユーザインタフェースオブジェクトと相互作用しており、その後、スローイングジェスチャを実行して第１のユーザインタフェースオブジェクトを三次元環境内に捨てると、コンピュータシステムは、第１のユーザインタフェースオブジェクトが三次元環境の第１のビュー内で第２のユーザの手の移動の方向に対応する第２の方向に移動し、第１のユーザインタフェースオブジェクトの移動中に第１のユーザインタフェースオブジェクトを回転させることを示す（例えば、第１のユーザインタフェースオブジェクトがスローイングジェスチャの方向に移動すると、第１のユーザインタフェースオブジェクトはまた、第１のユーザインタフェースオブジェクトの仮想重心の周りを回転する（例えば、第１のユーザインタフェースオブジェクトの直線運動中の角運動量の保存をシミュレートするため、第１のユーザインタフェースオブジェクトに対するスローイングジェスチャの物理的効果をシミュレートするため、スローイングジェスチャの目的端において第１のユーザに向かう第１のユーザインタフェースオブジェクトの所定のユーザ対向側を示すため、物理的表面の表現上に又は所定の直立向きを有する仮想表面上に着地するためなど））。
第１のユーザの手のスローイングジェスチャに対応する第１のユーザの手の移動を検出したことに応じて、第１のユーザの手の移動の方向に対応する第１の方向に三次元環境の第１のビュー内の第１のユーザインタフェースオブジェクトを移動させ、第１のユーザインタフェースオブジェクトの移動中に第１のユーザインタフェースオブジェクトを回転させることは、改善された視覚的フィードバック（例えば、コンピュータシステムが第１のユーザの手のスローイングジェスチャを検出したという改善された視覚的フィードバック、第１のユーザインタフェースオブジェクトが移動されているという改善された視覚的フィードバックなど）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザインタフェースオブジェクトの移動中に第１のユーザインタフェースオブジェクト（例えば、ユーザインタフェースオブジェクト７０１６、又は別のユーザインタフェースオブジェクトなど）を回転させることは、第１のユーザの手の移動の方向が三次元環境の第１のビュー内の第２のユーザの表現に向いているという判定に従って、第１のユーザインタフェースオブジェクトが、物理的環境内の第１のユーザの手の移動に従って選択された三次元環境内の目的ポジション（例えば、第２のユーザの手の表現、第２のユーザに関連付けられた表面の表現などのポジション）に到達したときに三次元環境内で第１の予め設定された向きを有するように、第１のユーザインタフェースオブジェクトを第１の方式で回転させる（例えば、第１のユーザインタフェースオブジェクトを第１の回転方向に第１の量だけ、第２の回転方向に第２の量だけ、及び／又は第３の回転方向に第３の量だけ回転させる）ことを含む。いくつかの実施形態において、第１の予め設定された向きは、第１のユーザのスローイングジェスチャに応じて第１のユーザインタフェースオブジェクトが移動を開始したときに第１のユーザインタフェースオブジェクトが有していた向きとは異なる。いくつかの実施形態では、第１の予め設定された向きは、第１のユーザインタフェースオブジェクトの予め設定された前面側が第２のユーザの表現の方を向く向きである。いくつかの実施形態では、第１の予め設定された向きは、第１のユーザインタフェースオブジェクトが、第２のユーザ等の手の表現に引っかかるとき、及び／又はその上に置かれるとき、直立する向きである。いくつかの実施形態では、第２のユーザが第１のユーザインタフェースオブジェクトと相互作用しており、その後、第１のユーザの表現の方向に対応する方向にスローイングジェスチャを行った場合、コンピュータシステムは、物理的環境内の第２のユーザの手の動きに従って、選択された、三次元環境内の目的ポジションに到達したときに、第２のユーザの手の動きの方向が三次元環境の第１ビューの視点に向いているという判定に従って、第１のユーザインタフェースオブジェクトが第１の予め設定された向きを有する（例えば、第１の予め設定された向きは、第１のユーザインタフェースオブジェクトが第２のユーザのスローイングジェスチャに応じて移動を開始したときに第１のユーザインタフェースオブジェクトが有していた向きとは異なる、第１の予め設定された向きは、第１のユーザインタフェースオブジェクトの予め設定された前向き側が第１のユーザの表現に向く向きである、又は第１の予め設定された向きは、第１のユーザ等の手の表現に引っかかるとき、及び／又はその上に置かれるときに、第１のユーザインタフェースオブジェクトが直立する向きである）ように、第１のユーザインタフェースオブジェクトを個別の方式で回転させる（例えば、第１の回転方向に第１の量だけ、第２の回転方向に第２の量だけ、及び／又は第３の回転方向に第３の量だけ、など）。
物理的環境内の第１のユーザの手の移動に従って選択された三次元環境内の目的ポジションに到達したときに第１のユーザインタフェースが三次元環境において第１の予め設定された向きを有するように第１の方式で第１のユーザインタフェースオブジェクトを回転させることは、目的ポジションにおいて所望の向きで第１のユーザインタフェースオブジェクトを表示するための入力の数を低減する（例えば、ユーザは、第１のユーザインタフェースオブジェクトの移動中に第１のユーザインタフェースオブジェクトが回転された後、第１のユーザインタフェースオブジェクトを所望の向きに（例えば、見るために）回転させるために追加のジェスチャを実行する必要がない）。動作を実行するために必要な入力の数を低減することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザインタフェースオブジェクトの移動中に第１のユーザインタフェースオブジェクトを回転させることは、第１のユーザ（例えば、図７Ａ～図７Ｃの第１のユーザ７１０２、別のユーザなど）の手の移動の方向が三次元環境の第１のビュー（例えば、図７Ｂ～図７Ｃの第１のビュー７０１５－１、別のビューなど）内の第１の表面（例えば、物理的表面（例えば、壁、テーブル上面、ソファの座席など）、仮想表面（例えば、仮想棚、仮想壁、仮想ソファなど）など）の表現の方を指すという判定に従って、第１のユーザインタフェースオブジェクト（例えば、図７Ｂ～図７Ｃの第１のユーザインタフェースオブジェクト７０１６、又は別のユーザインタフェースオブジェクトなど）を第２の方式で回転させて（例えば、第１のユーザインタフェースオブジェクトを第１の回転方向に第１の量だけ、第２の回転方向に第２の量だけ、及び／又は第３の回転方向に第３の量だけ回転させて）、第１のユーザインタフェースオブジェクトが、物理的環境内の第１のユーザの手の移動に従って選択された第１の表面の表現上の目的ポジションに到着したときに、三次元環境内の第１の表面の表現に対して第２の予め設定された向きを有するようにすることを含む。いくつかの実施形態では、第２の予め設定された向きは、第１のユーザインタフェースオブジェクトが第１のユーザのスローイングジェスチャに応じて移動を開始したときに第１のユーザインタフェースオブジェクトが有していた向きとは異なる。いくつかの実施形態では、第２の予め設定された向きは、第１のユーザインタフェースオブジェクトの予め設定された前面側が第１のユーザの表現の方を向く向きである。いくつかの実施形態において、第２の予め設定された向きは、第１のユーザインタフェースオブジェクトが第１の表面などの表現上に着地するときに直立する向きである。
いくつかの実施形態では、第２のユーザが第１のユーザインタフェースオブジェクトと相互作用しており、その後、第１の表面の表現の方向に対応する方向にスローイングジェスチャを実行したとき、コンピュータシステムは、第２のユーザの手の移動の方向が三次元環境内の第１の表面の表現に向いているという判定に従って、第１のユーザインタフェースオブジェクトが、物理的環境内の第２のユーザの手の移動に従って選択された第１の表面の表現上の目的ポジションに到達したときに、（例えば、第１の回転方向に第１の量だけ、第２の回転方向に第２の量だけ、及び／又は第３の回転方向に第３の量だけなど）三次元環境内の第１の表面の表現に対して第２の予め設定された向きを有するように、第１のユーザインタフェースオブジェクトを個別の方式で回転させる。いくつかの実施形態では、どのユーザが第１の表面の表現の方向にスローイングジェスチャを行ったかに関係なく、第１のユーザインタフェースオブジェクトは、第１のユーザインタフェースオブジェクトが第１の表面の表現に対して予め設定された空間関係（例えば、向き、ロケーションなど）で第１の表面の表現上に着地するように、第１の表面の表現に向かう移動中に個別の方式で回転される。例えば、いくつかの実施形態では、第１のユーザインタフェースオブジェクトが仮想ピクチャフレームであるとき、仮想ピクチャフレームは、テーブルの表現に向かって投げられている間に回転し、スローイングジェスチャを実行したユーザに向かって直立した向きでテーブルに着地する。いくつかの実施形態では、仮想ピクチャフレームが壁の表現に向かって投げられるとき、仮想ピクチャフレームは、壁の表現に向かって移動中に回転し、その背面が壁の表現に平行な状態で壁の表現に着地する。いくつかの実施形態では、仮想ピクチャフレームが第１のユーザによって第２のユーザに向かって投げられるとき、仮想ピクチャフレームは、仮想ピクチャフレームが第２のユーザの掌の表現上に着地したときに第２のユーザの表現に向かう前面を有するように回転する。
第１のユーザインタフェースオブジェクトが、物理的環境内の第１のユーザの手の移動に従って選択される第１の表面の表現上の目的ポジションに到達するときに、三次元環境内の第１の表面の表現に対して第２の予め設定された向きを有するように、第１のユーザインタフェースオブジェクトを第２の方式で回転させることは、第１の表面上に所望の向きで第１のユーザインタフェースオブジェクトを表示するために必要な入力の数を低減する（例えば、ユーザは、第１のユーザインタフェースオブジェクトの移動中に第１のユーザインタフェースオブジェクトが回転された後、第１のユーザインタフェースオブジェクトを所望の向きに（例えば、見るために）回転させるために追加のジェスチャを行う必要がない）。動作を実行するために必要な入力の数を低減することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、第１のユーザインタフェースオブジェクトが第１のユーザとの相互作用に利用可能でないことの視覚的インジケーションとして、三次元環境の第１のビュー（例えば、図７Ｃの７０１５－１又は別のビューなど）内の第１のユーザインタフェースオブジェクト（例えば、図７Ｂ～図７Ｃのユーザインタフェースオブジェクト７０１６又は別のユーザインタフェースオブジェクトなど）のポジションを変更し、三次元環境の第１のビュー内の第１のユーザインタフェースオブジェクトのポジションを変更することは、第１のユーザインタフェースオブジェクトと第１のユーザ入力を提供した第１のユーザの手の表現との間の少なくとも予め設定された距離を維持するために、第１のユーザインタフェースオブジェクトを第１のポジションから移動させることを含む（例えば、第１のユーザインタフェースオブジェクトは、第１のユーザインタフェースオブジェクトを把持しようとする第１のユーザの手の表現を避けるために１つ以上の方向に移動するように見える）。いくつかの実施形態では、第１のユーザインタフェースオブジェクトの移動は、第１のユーザインタフェースオブジェクトの外観に対して行われる変更を伴う（例えば、第１のユーザインタフェースオブジェクトは、第１のユーザの手の表現がそれ自体に近づきすぎることを回避するために、移動している間に弱まる又は暗くなるように見える）。いくつかの実施形態では、第１のユーザインタフェースオブジェクトに向けられた第１のユーザ入力を検出したことに応じて、第２のユーザが第１のユーザインタフェースオブジェクトと現在相互作用していないという判定に従って、コンピュータシステムは、第１のユーザの手の表現が第１のポジションに到達するまで、第１のユーザインタフェースオブジェクトを第１のポジションから移動させず、次いで、コンピュータシステムは、第１のユーザインタフェースオブジェクトを第１のポジションから離れるように移動させるか、又は第１のポジションからの手の後続の移動に従って第１のユーザインタフェースオブジェクトを操作する（例えば、第１のユーザインタフェースオブジェクトの後続の移動は、手を避けるためではなく、手と共に移動するため、又は手に追従するためである）。いくつかの実施形態では、第１のユーザインタフェースオブジェクトに向けられた第１のユーザ入力を検出したことに応じて、第２のユーザが第１のユーザインタフェースオブジェクトと現在相互作用していないという判定に従って、コンピュータシステムは、第１のユーザインタフェースオブジェクトのポジションと手の表現とが重なるまで、第１のユーザインタフェースオブジェクトを第１のポジションから第１のユーザの手の表現に向かって移動させ、次いで、コンピュータシステムは、手の後続の移動に従って第１のユーザインタフェースオブジェクトを移動させるか又は第１のユーザインタフェースオブジェクトを操作する（例えば、第１のユーザインタフェースオブジェクトは、手の表現と共に移動するか又は手の表現に従う）。
第１のユーザインタフェースオブジェクトが第１のユーザとの相互作用に利用可能でないという視覚的インジケーションとして、第１のユーザインタフェースオブジェクトと第１のユーザ入力を提供した第１のユーザの手の表現との間の少なくとも予め設定された距離を維持するように第１のポジションから第１のユーザインタフェースオブジェクトを移動させることは、改善された視覚的フィードバック（例えば、第１のユーザインタフェースオブジェクトが第１のユーザとの相互作用に利用可能でないという改善された視覚的フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザ入力に従って、第１のユーザインタフェースオブジェクト（例えば、図７Ｂ～図７Ｃのユーザインタフェースオブジェクト７０１６、又は別のユーザインタフェースオブジェクトなど）に対して第１の動作を実行することは、第１のユーザインタフェースオブジェクトを第１のユーザの手（例えば、図７Ｂ～図７Ｃの手７２０２、又は別の手など）（例えば、第１のユーザ入力を提供している手、第１のユーザ入力を提供した手とは異なる第１のユーザの手、第１のユーザのいずれかの手など）の表現に向かって移動させることを含む。いくつかの実施形態では、コンピュータシステムは、第１のユーザインタフェースオブジェクトが第１のユーザの手によって把持されるために利用可能であることを示すために、手が第１のユーザインタフェースオブジェクトに向かって移動するにつれて、手の表現に向かって移動する第１のユーザインタフェースオブジェクトを示す。いくつかの実施形態では、第１のユーザインタフェースオブジェクトの移動は、第１のユーザインタフェースオブジェクトのポジションが手の表現のポジションと重複するときに中止し、次いで、コンピュータシステムは、第１のユーザインタフェースオブジェクトを移動させるか、又は、もしあれば、手の後続の移動に従って第１のユーザインタフェースオブジェクトを操作する。いくつかの実施形態では、第１のユーザインタフェースオブジェクトの移動は、第１のポジションからの限られた距離だけであり（例えば、第１のユーザの手の表現が第１のポジションの閾値距離内まで第１のユーザインタフェースオブジェクトに接近するときに、第１のユーザインタフェースオブジェクトが第１のユーザの手の表現に向かって少しだけ移動する）、この移動は、（例えば、第１のユーザが正しい選択ジェスチャを提供するとき、第１のユーザの手の表現が第１のユーザインタフェースオブジェクトの近くに移動して第１のユーザインタフェースオブジェクトを把持することなどに応じて）第１のユーザインタフェースオブジェクトが第１のユーザとの相互作用に利用可能であるという視覚的フィードバックを第１のユーザに提供する。
第２のユーザが第１のユーザインタフェースオブジェクトと現在相互作用していないという判定に従って、第１のユーザの手の表現に向かって第１のユーザインタフェースオブジェクトを移動させることは、改善された視覚的フィードバック（例えば、ユーザインタフェースオブジェクトが第１のユーザとの相互作用に利用可能であるという改善された視覚的フィードバック、コンピュータシステムが第１のユーザインタフェースオブジェクトに対して動作を実行しているという改善された視覚的フィードバックなど）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザ入力に従って第１のユーザインタフェースオブジェクト（例えば、ユーザインタフェースオブジェクト７０１６、又は別のユーザインタフェースオブジェクトなど）に対して第１の動作を実行することは、第１のユーザ入力が所定の選択ジェスチャを含む（例えば、含む、開始する、終了するなど）という判定に従って、第１のユーザ（例えば、図７Ａ～図７Ｃのユーザ７１０２、又は別のユーザなど）から受信した後続の入力（例えば、ピンチジェスチャが維持されている間のドラッグジェスチャ、ピンチジェスチャが維持されている間のフリックジェスチャ、所定の選択ジェスチャが終了した後のドラッグジェスチャなど）のターゲットとして第１のユーザインタフェースオブジェクトを選択することを含む。いくつかの実施形態では、選択ジェスチャは、同じ手の親指への人差し指のタッチダウンを含むピンチジェスチャ（任意選択的に、その後、親指から人差し指を離すこと、又は手に接続された手首のフリック、又は手全体の平行移動など）、タッチ姿勢から互いに引き離す同じ手の人差し指及び親指を含むジェスチャ、ピンチジェスチャ、ピンチアンドドラッグジェスチャ、ピンチアンドフリックジェスチャなどである。いくつかの実施形態では、第１のユーザの手が、第１のユーザインタフェースオブジェクトの近くのポジションに対応するロケーションに近づき、所定の選択ジェスチャを実行する場合、コンピュータシステムは、第２のユーザが第１のユーザインタフェースオブジェクトと現在相互作用しているという判定に従って、第１のユーザインタフェースオブジェクトが第１のユーザとの相互作用に利用可能でないことを示す視覚的フィードバックを生成し、コンピュータシステムは、第１のユーザとの後続の相互作用のために第１のユーザインタフェースオブジェクトを選択しない。コンピュータシステムが、第２のユーザが第１のユーザインタフェースオブジェクトと現在相互作用していないと判定した場合、コンピュータシステムは、視覚的フィードバックを表示せず、第１のユーザとの後続の相互作用のために第１のユーザインタフェースオブジェクトを選択する。
第１のユーザ入力が所定の選択ジェスチャを含むという判定に従って、第１のユーザから受信される後続の入力のためのターゲットとして第１のユーザインタフェースオブジェクトを選択することは、追加の表示されるコントロール（例えば、第１のユーザインタフェースオブジェクトを選択するための追加の表示されるコントロール）でＵＩを雑然とさせることなく、追加の制御オプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、（例えば、第１のユーザ入力の少なくとも一部を検出したことに応じて、第２のユーザが第１のユーザインタフェースオブジェクトと現在相互作用していない間に第１のユーザによって提供された所定の選択ジェスチャを検出したことに応じて、など）第１のユーザから受信された後続の入力のターゲットとして第１のユーザインタフェースオブジェクト（例えば、図７Ｂ～図７Ｃのユーザインタフェースオブジェクト７０１６、又は別のユーザインタフェースオブジェクトなど）を選択することと併せて、コンピュータシステムは、第１のユーザインタフェースオブジェクトを三次元環境の第１のビュー内の第１のポジションに維持しながら（例えば、第１のユーザインタフェースオブジェクトは元のロケーションに留まるが、第１のユーザと第１のユーザインタフェースオブジェクトの表現との間の相互作用に従って第１のユーザによって「遠隔的に」制御することができる）、第１のユーザの手（例えば、所定の選択ジェスチャを実行した手、又は第１の所定の選択ジェスチャを実行した手とは異なる第１のユーザの手、第１のユーザのいずれかの手など）のロケーションに対応するポジションに第１のユーザインタフェースオブジェクトの表現を表示する（例えば、第１のユーザインタフェースオブジェクトの表現又はゴースト画像は、第１のユーザの手の表現のポジションの近く又はポジションに、第１のユーザの手の表現の掌部分に表示される）。いくつかの実施形態では、第１のユーザインタフェースオブジェクトの表現は、第１のユーザインタフェースオブジェクトの複製、第１のユーザインタフェースオブジェクトよりも半透明な第１のユーザインタフェースオブジェクトの画像、第１のユーザインタフェースオブジェクトの特性（例えば、簡略化された内部構造、アウトラインなど）及び／又は機能のサブセットを有する第１のユーザインタフェースオブジェクトの縮小バージョン（例えば、縮小されたユーザインタフェース要素、テキストコンテンツの除去など）などである。いくつかの実施形態では、第１のユーザによって実行された選択ジェスチャに応じて第１のユーザインタフェースオブジェクトが選択されると、第１のユーザインタフェースオブジェクトのゴースト画像が、第１のユーザの手のロケーションに対応するポジションに表示される（例えば、第１のユーザの手の表現の上方、ユーザの掌の表現上などに浮動している）。
三次元環境の第１のビュー内の第１のポジションに第１のユーザインタフェースオブジェクトを維持している間、第１のユーザの手のロケーションに対応するポジションに第１のユーザインタフェースオブジェクトの表現を表示することと併せて、第１のユーザから受信される後続の入力のためのターゲットとして第１のユーザインタフェースオブジェクトを選択することは、改善された視覚的フィードバック（例えば、第１のユーザインタフェースオブジェクトが現在、第１のユーザから受信される後続の入力のためのターゲットであるという改善された視覚的フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザ入力に従って第１のユーザインタフェースオブジェクトに対して第１の動作が実行された（例えば、第１のユーザインタフェースオブジェクトの表現が第１のユーザインタフェースオブジェクトと共に第１のポジションの近くに表示された）後、第１のユーザインタフェースオブジェクトの表現（例えば、図７Ｂ～図７Ｃのユーザインタフェースオブジェクト７０１６、又は別のユーザインタフェースオブジェクトなど）が第１のユーザの手の表現（例えば、図７Ｂ～図７Ｃの第１のビュー７０１５－１の表現７２０２’、又は別の手の表現７２０２など）のポジションの近くに移動し、第１のユーザインタフェースオブジェクトが第１のユーザのポジションに向かって移動して、第１のユーザインタフェースオブジェクトが第１のユーザと相互作用する準備ができたことを示すなど）、コンピュータシステムは、第１のユーザインタフェースオブジェクトに向けられた第２のユーザ入力を検出する（例えば、第１のユーザインタフェースオブジェクトの表現のポジションに向けられた所定のピンチジェスチャを検出する、第１のユーザインタフェースオブジェクトのポジションに向けられた所定のピンチジェスチャを検出する、所定の選択入力の検出と併せて第１のユーザインタフェースオブジェクトの表現のポジションに向けられた視線入力を検出する、所定の選択入力の検出と併せて第１のユーザインタフェースオブジェクトのポジションに向けられた視線入力を検出するなど）。第２のユーザ入力を検出したことに応じて、かつ第２のユーザ入力が所定の選択ジェスチャを含む（例えば、含む、開始する、終了するなど）という判定に従って、コンピュータシステムは、第１のユーザから受信した後続の入力（例えば、ピンチジェスチャが維持されている間のドラッグジェスチャ、ピンチジェスチャが維持されている間のフリックジェスチャ、所定の選択ジェスチャが終了した後のドラッグジェスチャなど）のターゲットとして第１のユーザインタフェースオブジェクトを選択する。
いくつかの実施形態では、選択ジェスチャは、同じ手の親指への人差し指のタッチダウンを含むピンチジェスチャ（任意選択的に、親指から人差し指を離すこと、又は手に接続された手首のフリック、又は手全体の並進などが続く）、タッチ姿勢から互いに引き離す同じ手の人差し指及び親指を含むジェスチャ、ピンチジェスチャ、ピンチアンドドラッグジェスチャ、ピンチアンドフリックジェスチャなどである。いくつかの実施形態では、第１のユーザ入力に従って第１のユーザインタフェースオブジェクト（例えば、図７Ｂ～図７Ｃのユーザインタフェースオブジェクト７１０６、又は別のユーザインタフェースオブジェクトなど）に対して第１の動作を実行することは、第１のユーザインタフェースオブジェクトを三次元環境の第１のビュー内の第１のポジションに維持している間、第１のユーザインタフェースオブジェクトの表現を（例えば、第１のユーザインタフェースオブジェクトが表示される第１のポジションとは異なる、及び／又は第１のユーザ入力を提供した第１のユーザの手の表現のポジションとは異なる第２のポジションに）表示することを含む。いくつかの実施形態では、第１のユーザインタフェースオブジェクトの表現は、第１のユーザインタフェースオブジェクトの複製、第１のユーザインタフェースオブジェクトよりも半透明である第１のユーザインタフェースオブジェクトの画像、第１のユーザインタフェースオブジェクトの特性（例えば、簡略化された内部構造、輪郭など）及び／又は機能のサブセットを有する第１のユーザインタフェースオブジェクトの縮小バージョン（例えば、縮小されたユーザインタフェース要素、テキストコンテンツの除去など）などである。いくつかの実施形態では、第１のユーザインタフェースオブジェクトの表現は、第１のユーザインタフェースオブジェクトからわずかにオフセットして表示される（例えば、第１のユーザの手のロケーションに対応するポジションではなく、三次元環境の第１のビュー内の第１のユーザインタフェースオブジェクトの上方、正面などに浮動している、など）。いくつかの実施形態では、第１のユーザインタフェースオブジェクトの表現は、第１のユーザの手の表現に向かって移動するが、第１のユーザの手の表現の外側に留まる。
第１の動作が実行された後、第２のユーザ入力が所定のジェスチャを含むという判定に従って、第１のユーザから受信される後続の入力のためのターゲットとして第１のユーザインタフェースオブジェクトを選択することは、追加の表示されるコントロール（例えば、第１のユーザインタフェースオブジェクトを選択するための追加の表示されるコントロール）でＵＩを雑然とさせることなく、追加の制御オプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザ入力に従って第１のユーザインタフェースオブジェクト（例えば、図７Ｂ～図７Ｃのユーザインタフェースオブジェクト７１０６、又は別のユーザインタフェースオブジェクト）に対して第１の動作を実行することは、第１のユーザインタフェースオブジェクトを三次元環境の第１のビュー内の第１のポジションに維持している間、第１のユーザインタフェースオブジェクトの表現（例えば、第１のユーザインタフェースオブジェクトの複製、第１のユーザインタフェースオブジェクトよりも半透明な第１のユーザインタフェースオブジェクトの画像、特性のサブセット（例えば、簡略化された内部構造又は輪郭）及び／又は第１のユーザインタフェースオブジェクトの機能（例えば、削減されたユーザインタフェース要素又は削減されたテキストコンテンツ）を有する第１のユーザインタフェースオブジェクトの削減バージョン）を（例えば、第１のユーザインタフェースオブジェクトが表示される第１のポジションとは異なる、及び／又は第１のユーザ入力を提供した第１のユーザの手の表現のポジションとは異なる第２のポジションに）表示することを含む。いくつかの実施形態では、第１のユーザインタフェースオブジェクトの表現は、第１のユーザインタフェースオブジェクトからわずかにオフセットされて表示される（例えば、第１のユーザの手のロケーションに対応するポジションではなく、三次元環境の第１のビュー内の第１のユーザインタフェースオブジェクトの上、前などに浮動している）。いくつかの実施形態では、第１のユーザインタフェースオブジェクトの表現は、第１のユーザの手の表現に向かって移動するが、第１のユーザの手の表現の外側に留まる。第１のユーザインタフェースオブジェクトを三次元環境の第１のビュー内の第１のポジションに維持している間、第１のユーザインタフェースオブジェクトの表現を表示することは、改善された視覚的フィードバック（例えば、コンピュータシステムが第１のユーザ入力に従って第１のユーザインタフェースオブジェクトに対して第１の動作を実行しているという改善された視覚的フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザインタフェースオブジェクト（例えば、図７Ｂ～図７Ｃのユーザインタフェースオブジェクト７１０６、又は別のユーザインタフェースオブジェクトなど）の表現は、第１のユーザの手（例えば、図７Ｂ～図７Ｃの手７２０２、又は別の手など）（例えば、第１のユーザ入力を提供した手、第１のユーザの別の手など）の表現から離れたポジションに最初に表示され、コンピュータシステムは、第１のユーザインタフェースオブジェクトが第１のユーザによって提供された後続のユーザ入力によって選択されたという判定に従って、第１のユーザインタフェースオブジェクトの表現を、第１のユーザの手（例えば、第１のユーザ入力を提供した手、第１のユーザの他方の手など）の表現から離れたポジションから第１のユーザの手の表現のポジションに移動させる（例えば、第１のユーザインタフェースオブジェクトの表現を、その初期表示ポジションから第１のユーザの手の表現のポジションに、ユーザの掌の表現上に移動させるなど）。いくつかの実施形態では、コンピュータシステムは、選択基準を満たす、又は選択ジェスチャを含む、第１のユーザインタフェースオブジェクトに向けられた第２のユーザ入力の検出（例えば、第１のユーザインタフェースオブジェクトの表現に向けられた所定のピンチジェスチャの検出、第１のユーザインタフェースオブジェクトに向けられた所定のピンチジェスチャの検出、所定の選択入力の検出と共に第１のユーザインタフェースオブジェクトの表現に向けられた視線入力の検出、又は所定の選択入力の検出と共に第１のユーザインタフェースオブジェクトに向けられた視線入力の検出）に応じて、第１のユーザインタフェースオブジェクトの表現を移動させる。第１のユーザによって提供される後続のユーザ入力によって第１のユーザインタフェースオブジェクトが選択されたという判定に従って、第１のユーザの手の表現から離れたポジションから第１のユーザの手の表現のポジションに第１のユーザインタフェースオブジェクトの表現を移動させることは、第１のユーザに改善された視覚的フィードバック（例えば、第１のユーザによって提供される後続のユーザ入力によって第１のユーザインタフェースオブジェクトが選択されたという改善された視覚的フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザインタフェースオブジェクトの表現を表示している間（例えば、第１のユーザインタフェースオブジェクトの表現が、第１のユーザ入力の検出（例えば、三次元環境内の第１のユーザインタフェースオブジェクトのポジションに対応するロケーションの近くで動いている第１のユーザの手の検出）に応じて表示されている）、コンピュータシステムは、第１のユーザの手（例えば、手７２０２、又はユーザ７１０２の別の手など）（例えば、第１のユーザ入力を提供した手、第１のユーザ入力を提供した手とは異なる第１のユーザの手など）の移動を検出する。第１のユーザの手（例えば、第１のユーザ入力を提供した手、第１のユーザ入力を提供した手とは異なる第１のユーザの手など）の移動を検出したことに応じて、かつ第１のユーザの手の移動が予め設定された選択ジェスチャの初期部分を識別するための予め設定された基準を満たすという判定に従って、コンピュータシステムは、第１のユーザインタフェースオブジェクト（例えば、図７Ｂ～図７Ｃのユーザインタフェースオブジェクト７０１６、又は別のユーザインタフェースオブジェクトなど）の表現の外観を変更する（例えば、形状、サイズ、色、不透明度、詳細レベルなどを変更し、任意選択的に、第１のユーザインタフェースオブジェクトの表現を第１のユーザインタフェースオブジェクトなどの外観により近似させる）。いくつかの実施形態では、第１のユーザインタフェースオブジェクトの表現の外観は、第１のユーザの手の移動が選択ジェスチャの必要な進行に適合し続けるときに変化し続ける。いくつかの実施形態では、第１のユーザの手の移動が予め設定された選択ジェスチャの初期部分を識別するための予め設定された基準を満たさないことを検出したことに応じて、コンピュータシステムは、予め設定された選択ジェスチャが検出されていないことを第１のユーザに示すために、第１のユーザインタフェースオブジェクトの表現の外観を変更しないか、又は異なる方式で外観を変更しない。いくつかの実施形態では、第１のユーザの手の移動が予め設定された選択ジェスチャの必要な進行にもはや適合していないことを検出したことに応じて、コンピュータシステムは、第１のユーザインタフェースオブジェクトの表現の外観を変更することを停止し、第１のユーザインタフェースオブジェクトの外観を復元するか、又は第１のユーザインタフェースオブジェクトの表現を表示することを停止する。
第１のユーザの手の移動が予め設定された選択ジェスチャの初期部分を識別するための予め設定された基準を満たすという判定に従って第１のユーザインタフェースオブジェクトの表現の外観を変更することは、第１のユーザに改善された視覚的フィードバック（例えば、コンピュータシステムが予め設定された基準を満たす第１のユーザの手の移動を検出したという改善された視覚的フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザインタフェースオブジェクト（例えば、図７Ｂ～図７Ｃのユーザインタフェースオブジェクト７１０６、又は別のユーザインタフェースオブジェクトなど）の表現を第１のユーザの手（例えば、図７Ｂ～図７Ｃの手７２０２、又は別の手など）の表現のポジションに表示している間（例えば、第１のユーザインタフェースオブジェクトの表現がその初期表示ポジションから第１のユーザの手の表現のポジションまで飛んでいることを示した後、ユーザの掌の表現上など）、第１のユーザインタフェースオブジェクトが第１のユーザによって選択されたという判定に従って、コンピュータシステムは、第１のユーザインタフェースオブジェクトの表現と相互作用する第３のユーザ入力を検出する（例えば、第３の入力は、第１のユーザ入力を提供した手、第１のユーザインタフェースオブジェクトの表現を選択した手、第１のユーザ入力を提供した手とは異なる第１のユーザの手、又は第１のユーザインタフェースオブジェクトの表現を選択した手とは異なる第１のユーザの手などによって提供される入力である。第３のユーザ入力を検出したことに応じて、コンピュータシステムは、第１のユーザインタフェースオブジェクトの表現の移動及び第１のユーザインタフェースオブジェクトの表現の外観を変更することのうちの少なくとも１つを通じて第３のユーザ入力に対する視覚的フィードバックを表示し、コンピュータシステムは、第３のユーザ入力に従って、第１のユーザインタフェースオブジェクトに対して第２の動作を実行する。いくつかの実施形態では、視覚的フィードバックは、第１のユーザインタフェースオブジェクトに対して実行される第２の動作に対応する。いくつかの実施形態では、視覚的フィードバックは、第１のユーザインタフェースオブジェクトの表現のポジションに対応するロケーションにある第１のユーザの手の移動に従って第１のユーザインタフェースオブジェクトの表現を直接操作することに対応する。いくつかの実施形態では、第２の動作を実行することは、第１のユーザインタフェースオブジェクト上のコントロールを作動させること、第１のユーザインタフェースオブジェクトを三次元空間内で移動させること、第１のユーザインタフェースオブジェクトによって表されるメディアアイテムを再生すること、第１のユーザインタフェースオブジェクトによって表されるアプリケーションを起動すること、及び／又は第１のユーザインタフェースオブジェクトによって表される別のユーザとの通信セッションを開始することなどを含む。
第１のユーザインタフェースオブジェクトの表現と相互作用する第３のユーザ入力の検出に応じて、第１のユーザインタフェースオブジェクトの表現の移動及び第１のユーザインタフェースオブジェクトの表現の外観の変更のうちの少なくとも１つを通じて第３のユーザ入力に対する視覚的フィードバックを表示すること、及び第３のユーザ入力に従って第１のユーザインタフェースオブジェクトに対して第２の動作を実行することは、改善された視覚的フィードバック（例えば、コンピュータシステムが第３のユーザ入力を検出したという改善された視覚的フィードバック、及び／又はコンピュータシステムが第１のユーザインタフェースオブジェクトに対して第２の動作を実行しているという改善された視覚的フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、第１のユーザの手（例えば、図７Ｂ～図７Ｃの手７２０２、又は別の手など）の表現の更新ポジションとの既存の空間関係を第１のユーザインタフェースオブジェクトの表現が維持する（例えば、固定されたままである、追従するなど）ように（例えば、第１のユーザインタフェースが三次元環境の第１のビュー内の第１のポジションに留まる間）、第１のユーザの手の移動に従って第１のユーザインタフェースオブジェクト（例えば、図７Ｂ～図７Ｃのユーザインタフェースオブジェクト７１０６、又は別のユーザインタフェースオブジェクトなど）の表現のポジションを更新する。いくつかの実施形態では、第１のユーザインタフェースオブジェクトの表現は、第１のユーザが第１のユーザインタフェースオブジェクトの表現と実際に相互作用するか否かにかかわらず、第１のユーザの手の表現又はその近くのポジションに表示されたままである。いくつかの実施形態では、第１のユーザインタフェースオブジェクトの表現は、第１のユーザの手の掌のロケーションに対応するポジションに表示され、手の表現が三次元環境の現在表示されているビュー内にないとき、又は第１のユーザの手が閉じられているとき、表示を停止する。いくつかの実施形態では、第１のユーザインタフェースオブジェクトの表現は、第１のユーザの手の表現が三次元環境の現在表示されているビュー内で再び可視になるとき、又は手の掌の表現が三次元環境の現在表示されているビュー内で再び見えるときに再表示される。第１のユーザは、第１のユーザが第１のユーザインタフェースオブジェクトの制御を具体的に放棄していない限り、（例えば、第２のユーザに向かって、又は三次元環境の共有部分（例えば、壁又はテーブル上面などの表現）に向かってスローイングジェスチャを提供することなどによって）第１のユーザインタフェースオブジェクトの表現と相互作用することができる。いくつかの実施形態では、第１のユーザは、第１のユーザインタフェースオブジェクトの表現が三次元環境の現在表示されているビューにもはや表示されないように第１のユーザが自分の手を閉じたときに、第１のユーザインタフェースオブジェクトの制御を放棄する（例えば、第２のユーザが第１のユーザインタフェースオブジェクトと相互作用していない間、第１のユーザは、別の選択入力でもう一度やり直すことによって制御を回復しなければならない）。
第１のユーザインタフェースオブジェクトの表現が、第１のユーザの手の表現の更新ポジションとの既存の空間関係を維持するように、第１のユーザの手の移動に従って第１のユーザインタフェースオブジェクトの表現のポジションを更新することは、改善された視覚的フィードバック（例えば、第１のユーザにより提供される後続のユーザ入力により第１のユーザインタフェースオブジェクトが選択される改善された視覚的フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
図８における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法９０００、１００００、１１０００、及び１２０００）に関して本明細書で記載された他のプロセスの詳細はまた、図８に関連して上述された方法８０００に類似の方式で適用可能であることも留意されたい。例えば、方法８０００を参照して上述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、コントロール、移動、基準、三次元環境、表示生成コンポーネント、表面、物理的オブジェクトの表現、仮想オブジェクト、及び／又はアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法９０００、１００００、１１０００、及び１２０００）を参照して本明細書に記載されるジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、コントロール、移動、基準、三次元環境、表示生成コンポーネント、表面、物理的オブジェクトの表現、仮想オブジェクト、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図９Ａ～図９Ｂは、いくつかの実施形態による、三次元環境の現在表示されているビューの視点に対して物理的オブジェクトの表現を様々な方式で表示する方法のフローチャートであり、視点は第１の物理的環境内のユーザの移動に従って移動し、物理的オブジェクトの表現は第１の物理的環境とは異なる第２の物理的環境内の物理的オブジェクトの移動に従って移動し、物理的オブジェクトの表現と視点との間の空間関係が予め設定された基準を満たすことに応じて、表現を表示する方法の変更がトリガされる。
いくつかの実施形態では、方法９０００は、コンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上のカメラ（例えば、カメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））は、ユーザの手又はユーザの頭部から前方に向くカメラである。いくつかの実施形態では、方法９０００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法９０００の一部の動作は、任意選択的に組み合わされ、及び／又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法９０００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０、表示生成コンポーネント７１００など）（例えば、ヘッドアップディスプレイ、ＨＭＤ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上の入力デバイス（例えば、カメラ、コントローラ、タッチ感知面、ジョイスティック、ボタンなど）と通信しているコンピュータシステム（例えば、図１のコンピュータシステム１０１）において実行される。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネントと同じハウジングに囲まれた１つ以上のプロセッサ及びメモリと、１つ以上の入力デバイスのうちの少なくともいくつかと、を有する統合デバイスである。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネント及び／又は１つ以上の入力デバイスとは別個の１つ以上のプロセッサ及びメモリを含むコンピューティングコンポーネントを含む。いくつかの実施形態では、表示生成コンポーネント及び１つ以上の入力デバイスは、同じハウジング内に統合され、かつ同じハウジングに囲まれている。
方法９０００では、第１のユーザ（例えば、図７Ｄ～図７Ｆのユーザ７００２、又は別のユーザ）が第１の物理的環境（例えば、図７Ｄ～図７Ｆのシーン１０５－ａ、又は別の物理的環境など）内の第１のロケーションにある、コンピュータシステムは、第１の物理的環境（例えば、第１の視点は、第１のユーザが物理的環境内の第１のロケーションにいるときのユーザの目又は顔のロケーションに対応する仮想ポジションであり、第１の視点は、三次元環境などへの第１の視点に対応する）内の第１のロケーションに関連付けられた第１の視点に対応する三次元環境（例えば、図７Ｄの図７３０４－ａ）（例えば、仮想三次元環境、拡張現実環境、三次元混合現実環境など）の第１のビューを表示し（９００２）、三次元環境の第１のビューは、第１の物理的環境（例えば、第１の物理的環境及び第２の物理的環境は、２つの異なる部屋、２つの異なる地理的ロケーションなどにあり、第１のユーザ及び第２のユーザは、それぞれ第１の物理的環境及び第２の物理的環境に位置するとき、互いに物理的に届かない（例えば、物理的衝突の危険性がない））とは異なる第２の物理的環境（例えば、図７Ｄ～図７Ｆのシーン１０５－ｂ、又は別の物理的環境など）内の第１のオブジェクト（例えば、第２のユーザ、移動する物理的オブジェクト（例えば、動物、飛行ドローン、ゲームの対戦相手など）など）を表す第１のユーザインタフェースオブジェクト（例えば、図７Ｄ～図７Ｆの第２のユーザ７１０２の表現７１０２’－ａ、又は別の物理的オブジェクトの別の表現など）（例えば、第１のユーザとは異なる第２のユーザのアバター、移動する物理的オブジェクトの仮想表現（例えば、動物、車両、飛行ドローン、マルチプレーヤゲームの対戦相手など））を含み、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションは、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する（例えば、第２の物理的環境内の第１のオブジェクト（例えば、第２のユーザ、動物、飛行ドローンなど）の移動距離及び移動方向は、第１の予め設定されたオブジェクトマッピング関係（例えば、線形マッピング関係、及び／又は同じ基本方向を有する同じタイプの座標系など）に従って、三次元環境内の第１のユーザインタフェースオブジェクトの移動距離及び移動方向にそれぞれマッピングされ、三次元環境の現在表示されているビューの視点（例えば、第１のユーザの視点、三次元環境内の第１のユーザの仮想ポジションなどである。）に対応する個別のポジションの移動距離及び移動方向は、第１の予め設定されたユーザマッピング関係（例えば、線形マッピング関係、及び／又は同じ基本方向を有する同じタイプの座標系など）などに従って、第１の物理的環境内の第１のユーザの移動距離及び移動方向にそれぞれマッピングされる）。いくつかの実施形態では、第１の方式における対応関係は、現実世界における運動及びロケーションと三次元環境内の運動及びロケーションとの間のデフォルトの対応関係（例えば、現実模倣対応関係、第１のユーザの前にいる第１のユーザの別の部分への第１のユーザの一部分の移動にも適用される対応関係など）である。いくつかの実施形態では、三次元環境は、第１のユーザと第２のユーザとの間で少なくとも部分的に共有される仮想環境又は拡張現実環境であり、第１のユーザ及び第２のユーザは、三次元環境に対して２つの異なる視点から三次元環境の同じ部分を見てもよい。
いくつかの実施形態では、三次元環境は共有環境ではない。いくつかの実施形態では、三次元環境は仮想三次元環境である。いくつかの実施形態では、三次元環境は、第１の物理的環境の表現（例えば、第１の物理的環境のカメラビュー又は透明パススルービューなど）と、任意選択的に、（例えば、第２の物理的環境の表現を含まずに）第２の物理的環境内の物理的オブジェクト（例えば、第２のユーザ、動物、飛行ドローンなど）の表現とを含む拡張現実環境である。いくつかの実施形態では、三次元環境は、（例えば、第１のユーザインタフェースオブジェクトのポジションが、第１の表示生成コンポーネントを介して示される拡張現実環境内の第２の物理的環境の表現に対して計算で又はデジタル的に修正され得るように）第１のオブジェクトのカメラビュー又は記録された画像が除去され、第１のユーザインタフェースオブジェクトによって置換された、第２の物理的環境の表現（例えば、第２の物理的環境のカメラビュー又は透明パススルービュー、第２の物理的環境でキャプチャされたビデオ記録など）を含む拡張現実ビューである。いくつかの実施形態では、第１の物理的環境内の第１のユーザ全体の移動（例えば、第１の物理的環境内で人全体を動かすことなく単に第１のユーザの頭又は腕を動かす代わりに、第１の物理的環境内で歩く、走る、自転車に乗る、上にジャンプする、エレベータに乗るなど）は、三次元環境の現在表示されているビューの視点における対応する変化（例えば、対応する方向及び／又は対応する距離での三次元環境に対する視点の平行移動など）を引き起こす。第２の物理的環境内の第１のオブジェクト（例えば、第２のユーザ全体、動物、飛行ドローンなど）の移動（例えば、歩く、走る、自転車に乗る、上にジャンプする、エレベータに乗る、飛行するなど）は、三次元環境内の対応する方向及び／又は対応する距離などでの第１のユーザインタフェースオブジェクトの移動を引き起こす。
いくつかの実施形態では、第１のユーザインタフェースオブジェクトの移動及び／又はポジションが、（例えば、第１の物理的環境内の第１のユーザの現在ロケーション及び／又は移動履歴に関係なく）第１の方式で第２の物理的環境内の第１のオブジェクトの移動及び／又はロケーションに基づいて判定される場合、第１のユーザインタフェースオブジェクトは、第１の表示生成コンポーネントを介して示される三次元環境の現在表示されているビューの視点（例えば、第１の物理的環境内の第１のユーザの現在ロケーション及び移動履歴に従って判定される視点）の閾値距離内にある三次元環境内のポジションに到達してもよい。いくつかの実施形態では、第１のユーザインタフェースオブジェクトを三次元環境の現在表示されているビューの視点の仮想ポジションの閾値距離内に表示させることは、第１のユーザインタフェースオブジェクトが三次元環境を見る人（例えば、第１のユーザ）の個人空間に対して非常に大きく、不自然に、及び／又は侵入的に見えることをもたらす。いくつかの実施形態では、第１の表示生成コンポーネントを介して示される三次元環境の現在表示されているビューは、第１のユーザの身体の仮想表現を視覚的に含まない（例えば、三次元環境に対する第１のユーザの仮想ポジションは、現在表示されているビュー自体及び対応する視点によって反映される）。いくつかの実施形態では、第１の表示生成コンポーネントを介して示される三次元環境の現在表示されているビューは、第１のユーザの身体の一部の仮想表現を視覚的に含む（例えば、ビューは、ビューの底部に、第１のユーザの輪郭、第１のユーザの目の前の第１のユーザの手又は足の表現を含み、ビューは、三次元環境内のポジションが第１の物理的環境内の第１のユーザの移動及び／又は現在ロケーションに基づいて第１の方式で判定され、ディスプレイに対して静止したままである（例えば、三次元環境の現在表示されているビューの視点と固定された空間関係を有する）第１のユーザのアバターを含む）。
方法９０００において、コンピュータシステムは、第１の物理的環境内の第１のユーザ（例えば、図７Ｄ～図７Ｆの第１のユーザ７００２）の移動（例えば、第１のロケーションから第２のロケーションへの第１の方向（例えば、第１の物理的環境内の前方、後方、左方、右方、上方、下方、２時方向、１０時方向など）への第１の距離及び／又は第１の速度での移動）と、第２の物理的環境内の第１のオブジェクト（例えば、図７Ｄ～図７Ｆの第２のユーザ７１０２又は別の物理的オブジェクトなど）の移動（例えば、第３のロケーションから第４のロケーションへの第２の方向（例えば、前方、後方、左方、右方、上方、下方、３時方向、８時方向など）への第２の距離及び／又は第２の速度での移動）とのうちの少なくとも１つ（例えば、１つのみ、第１のユーザのみ、第１のオブジェクトのみ（例えば、第２のユーザ、動物、飛行中のドローン等）、両者など）とを検出する（９００４）。いくつかの実施形態では、第１のユーザの移動を検出することは、第１のユーザ及び第１の表示生成コンポーネントと共に配置されたセンサを使用して直接的に実行され、任意選択的に、第２の物理的環境内の第１のオブジェクトの移動を検出することは、間接的に実行される（例えば、第２の物理的環境内に第１のオブジェクトと共に配置されたセンサを介して、第２の物理的環境で使用される（例えば、第２のユーザ、又は第１及び第２のユーザとは異なる別のユーザによって使用されるなど）コンピュータシステムから送信された第１のユーザインタフェースオブジェクトの更新ポジションの受信を介して、コンピュータシステムは、第１の方式に従って（例えば、予め設定された第１の現実模倣マッピング関係に従って）第１のユーザインタフェースオブジェクトのポジションを更新している。
方法９０００では、第１の物理的環境内の第１のユーザの移動及び第２の物理的環境内の第１のオブジェクトの移動のうちの少なくとも１つを検出したこと（９００６）に応じて（例えば、第１のユーザの移動のみを検出したことに応じて、第１のオブジェクトの移動のみを検出したことに応じて、ユーザ又はオブジェクトの移動のいずれか１つを検出したことに応じて、ユーザの移動及びオブジェクトの移動の両方を検出したことに応じてなど）、コンピュータシステムは、第２の視点（例えば、図７Ｅのビュー７３０４－ａ’、図７Ｆのビュー７３０４－ａ’’など）に対応する三次元環境の第２のビューを表示する（９００８）（例えば、第１のユーザが第１の物理的環境内に移動していない場合、第２の視点は第１の視点と同じであり、第１のユーザが第１の物理的環境内に移動した場合、第２の視点は第１の視点と異なる（例えば、物理的環境内の第１のユーザの移動は、三次元環境内の第１のユーザの移動にマッピングされ、第１のユーザに対して表示される三次元環境の第１のユーザのビューの視点のシフトを引き起こす）。コンピュータシステムは、三次元環境の第２のビュー（例えば、図７Ｅのビュー７３０４－ａ’、図７Ｆのビュー７３０４－ａ’’など）に第１のユーザインタフェースオブジェクト（例えば、図７Ｅ及び図７Ｆの表現７１０２’－ａ）を表示する（９０１０）。第１のユーザインタフェースオブジェクトを表示することは、第１の方式で（例えば、現実模倣方式に従って判定される、予め設定された第１のマッピング関係など）第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジション（例えば、第１のユーザインタフェースオブジェクトが三次元環境において実質的に静止していた場合、三次元環境内の第１のユーザインタフェースオブジェクトの同じ以前のポジション、第１のユーザインタフェースオブジェクトが三次元環境において移動していた場合、三次元環境内の異なるポジション）が、三次元環境の第２のビューに関連付けられた第２の視点に対応する三次元環境の個別のポジションから閾値距離超である（例えば、腕の長さより大きい、三次元環境内の第１のユーザの個人空間の予め設定された半径より大きい、三次元環境（例えば、第１のユーザの表現の仮想面、第１のユーザの仮想ポジションを囲む境界ボックスなど）内の第１のユーザの仮想ポジションを囲む予め設定された境界面の外である）（例えば、個別のポジションは三次元環境内の第１のユーザの仮想ポジションである（例えば、三次元環境の現在表示されているビュー内の可視ポジション、又は不可視ポジション）、個別のポジションが第１のユーザの頭部の仮想ポジション又は三次元環境内の彼／彼女の仮想表現である、個別のポジションが第１のユーザの仮想ポジション又は三次元環境内の彼／彼女の仮想表現を囲む境界面の１つ以上のポジションのうちの１つである）ことに従って、第１のユーザインタフェースオブジェクトを三次元環境の第２のビュー内の第１の表示ポジションに表示すること（９０１２）を含み、第１の表示ポジションは、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションである。これは、例えば、第２のユーザの表現７１０２’－ａの表示ポジションが、第１の方式に従って計算された表現７１０２’－ａの個別のポジションと同じである、図７Ｅに示されるシナリオである。例えば、いくつかの実施形態では、第１の表示ポジションは、第２の物理的環境内の第１のオブジェクト（例えば、第２のユーザ、動物、飛行ドローンなど）の現在ロケーション及び／又は移動履歴に基づいて、第１の方式で（例えば、第１の物理的環境内の第１のユーザの現在ロケーション及び／又は移動履歴とは無関係に、第１の予め設定されたマッピング関係に従ってなど）判定される。第１の表示ポジションは、第１のユーザインタフェースオブジェクトが三次元環境の現在表示されているビューの視点に近づきすぎておらず（又は第１のユーザの仮想ポジションに近づきすぎておらず、及び／又は三次元環境内の第１のユーザの仮想表現のポジションに近づきすぎておらず）、第１のユーザの個人空間に対して大きすぎる、不自然である、及び／又は侵襲的であるように見えない場合の第１のユーザインタフェースオブジェクトのポジションである。
第１のユーザインタフェースオブジェクトを表示することは、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の第２のビューに関連付けられた第２の視点に対応する三次元環境内の個別のポジションから閾値距離未満であるという判定に従って、第１のユーザインタフェースオブジェクトを三次元環境の第２のビュー内の第２の表示ポジションに表示すること（９０１４）を更に含み、第２の表示ポジションは、個別のポジションからオフセットされ（例えば、側方にシフトされる、閾値距離を超えて個別の方向（例えば、側方、上方、下方など）にシフトされる、三次元環境の現在表示されているビューに対して側方（例えば、左方、右方など）に閾値距離を超えてシフトされる、三次元環境内の第１のユーザインタフェースオブジェクトの三次元環境の現在表示されているビューに対して、上方に閾値距離を超えてシフトされるなど）（例えば、第２の表示ポジションは、第２の物理的環境内の第１のオブジェクト（例えば、第２のユーザ、動物、飛行ドローンなど）の現在ロケーション及び／又は移動履歴だけでなく、第１の物理的環境内の第１のユーザの現在ロケーション及び／又は移動履歴にも基づいて判定され、第２の表示ポジションは、第１の方式とは異なる第２の方式に従って判定され、第２の表示ポジションは、第１のユーザインタフェースオブジェクトが三次元環境の現在表示されているビューの視点に近づきすぎた場合、第１のユーザインタフェースオブジェクトが大きくなりすぎず、不自然になりすぎず、及び／又は第１のユーザの個人空間に対して侵入的に見えないように、第１のユーザインタフェースオブジェクトのデフォルトポジションからシフトされる。これは、例えば、第２のユーザの表現７１０２’－ａの表示ポジションが、第１の方式に従って計算された表現７１０２’－ａの個別のポジションからオフセットされ、第２の方式に従って計算される、図７Ｆに示されるシナリオである。
いくつかの実施形態では、第１の方式とは異なる第２の方式に従って第１のユーザインタフェースオブジェクトのポジションを判定するために、第２の物理的環境内の第１のオブジェクト（例えば、第２のユーザ、動物、飛行ドローンなど）の移動距離及び移動方向は、第２の予め設定されたオブジェクトマッピング関係（例えば、非線形マッピング関係、三次元環境の現在表示されているビューの視点（例えば、第１のユーザの視点、三次元環境内の第１のユーザの仮想ポジションなど）に対応す個別のポジションの現在ポジション、移動距離、及び／又は移動方向、及び／又は三次元環境内の第１のユーザインタフェースオブジェクトの現在ポジション、移動距離、及び／又は移動方向に基づく追加の線形又は非線形オフセット量を有する線形マッピング関係）に従って、三次元環境内の第１のユーザインタフェースオブジェクトの移動距離及び移動方向にそれぞれマッピングされる。いくつかの実施形態では、第２の方式における対応は、第１のユーザインタフェースオブジェクトが三次元環境の第１のユーザのビュー内で近すぎるように見えることを回避する目的で（例えば、視覚的衝突回避対応）、現実世界における運動及びロケーションと三次元環境内の運動及びロケーションとの間のデフォルト対応関係（例えば、現実模倣対応関係）に対する修正を含む。いくつかの実施形態では、第１のユーザインタフェースオブジェクトの第２の表示ポジションがデフォルト表示ポジション（例えば、現実模倣対応関係に従って、第１の予め設定されたマッピング関係などに従って判定されるポジション）からシフト又はオフセットされる方向及び量は、第１のオブジェクトのサイズ及び／又は形状、及び／又は第１のユーザのサイズ及び／又は形状、第１のユーザに関連付けられた境界ボックスのサイズ及び／又は形状、第１のオブジェクトの境界ボックスに関連付けられたサイズ及び／又は形状、及び／又は三次元環境内の第１のユーザの仮想表現のサイズ及び／又は形状などに従って判定される。第１の例では、いくつかの実施形態では、第１のオブジェクトは第２のユーザであり、第１のユーザ及び／又は第２のユーザが、（第１の現実を模倣するマッピング関係に従って計算された）三次元環境の現在表示されているビュー内の第２のユーザの仮想表現の個別のポジションが、現在表示されているビューに対応する視点の閾値距離を超えるようにそれぞれの物理的環境内を歩くとき、第２のユーザの仮想表現は、（例えば、第１の物理的環境内の第１のユーザの現在ロケーション及び移動履歴を考慮することなく、第２の物理的環境内の第２のユーザの現在ロケーション及び移動履歴に基づいて）三次元環境の現在表示されているビュー内の第１の現実模倣マッピング関係に従って計算された個別のポジションに表示される。しかしながら、第１の現実感模倣マッピング関係に従って計算された三次元環境の現在表示されているビュー内の第２のユーザの仮想表現の個別のポジションが、現在表示されているビューに対応する視点の閾値距離内に入るように、第１のユーザ及び／又は第２のユーザが個別の物理的環境内を歩くとき、第２のユーザの仮想表現の表示ポジションは、第２のユーザの仮想表現が第１のユーザに衝突して見えないように、及び／又は第１のユーザの視点から第１のユーザのビューを圧倒しないように、及び／又は三次元環境内の第１のユーザの仮想表現（可視の仮想表現、又は三次元環境の現在表示されているビュー内で不可視である仮想表現など）と重ならないように、個別のポジション（例えば、第１の物理的環境内の第１のユーザの現在ロケーション及び移動履歴を考慮せずに第２の物理的環境内の第２のユーザの現在ロケーション及び移動履歴に基づいて計算されたポジション）からシフトされる。いくつかの実施形態では、第２のユーザの表現の表示ポジションが三次元環境のビュー内でシフトされたとしても、三次元環境内の第２のユーザの表現の個別のポジションはシフトされない（第１のユーザに対して示される三次元環境の表示ビュー内に視覚的に反映されないだけである）。いくつかの実施形態による上記の特徴は、例えば、図７Ｄ～図７Ｆに示されている。図７Ｅでは、例えば、第１のユーザ７１０２に示されるビュー７３０４－ａ’において、第２のユーザ７００２の表現７１０２’－ａの表示ポジションは、三次元環境内のポジションと第２のユーザ７１０２の第２の物理的環境内のロケーションとの間の第１のタイプの対応関係に従って計算された表現７１０２’－ａの個別のポジションと同じである。これは通常のシナリオであり、第２のユーザ７１０２の表現７１０２’－ａは、第１のユーザ７００２に示される第１のビュー７３０４－ａの視点の閾値距離内にない（図７Ｅの左のビュー）。図７Ｆでは、例えば、第１のユーザ７００２に示されるビュー７０３４－ａ’’において、表現７１０２’－ａの表示ポジションは、第１のタイプの対応関係に従って計算された表現７１０２’－ａの個別のポジションからオフセットされる。これは、個別のポジションが、第２のユーザの表現７１０２’－ａを、第１のユーザ７００２に示される第１のビュー７３０４－ａ’’の視点に近すぎるように配置するからである。したがって、図７Ｆに示すシナリオでは、第２のユーザの表現７１０２’－ａの個別のポジションが実際には第１のビュー７３０４－ａ’’内の表現７００２’－ａの真正面にあっても、表現７１０２’－ａは第１のユーザ７００２の表現７００２’－ａの右側にあるように示されている。
いくつかの実施形態では、第１の物理的環境（例えば、図７Ｄ～図７Ｆのシーン１０５－ａ、又は別のシーンなど）内の第１のユーザ（例えば、図７Ｄ～図７Ｆのユーザ７００２、又は別のユーザなど）の移動、及び第２の物理的環境（例えば、図７Ｄ～図７Ｆのシーン１０５－ｂ、又は別のシーンなど）内の第１のオブジェクト（例えば、図７Ｄ～図７Ｆのユーザ７１０２、又は別の人若しくはオブジェクトなど）の移動のうちの少なくとも１つを検出することは、第１のオブジェクト（例えば、図７Ｄ～図７Ｆのユーザ７１０２、又は別の人若しくはオブジェクトなど）が第２の物理的環境内に静止している間、第１の物理的環境内の第１のユーザ（例えば、図７Ｄ～図７Ｆのユーザ７００２、又は別のユーザなど）の第１の移動を検出することを含む。第１の物理的環境内の第１のユーザの第１の移動中（例えば、三次元環境内の静止した第２のユーザ又は仮想オブジェクトの表現に向かって視点の移動を引き起こす第１のユーザ全体の移動中）、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジション（例えば、第１のユーザの第１の移動中の第２の物理的環境内の第１のオブジェクトの静止ロケーションに対応する、三次元環境内の静止ポジション）が、三次元環境の現在表示されているビューに関連付けられた視点に対応する三次元環境内の個別のポジションから閾値距離よりも大きい（例えば、第２のユーザ又は仮想オブジェクトの表現が、三次元環境内の第１のユーザの視点又は仮想ポジションの閾値範囲外にある）という判定に従って、第１のユーザインタフェースオブジェクトは、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内のユーザインタフェースオブジェクトの個別のポジションに表示される（例えば、第１のユーザインタフェースオブジェクトの外観及びロケーションは、視点の変化により第１のユーザに視覚的に変化し得る（例えば、第１のユーザの視野の異なるサイズ又は異なる部分に現れる）が、三次元環境内の第１のユーザインタフェースオブジェクトの個別の三次元ポジションは変化しない）。第１の物理的環境内の第１のユーザの第１の移動の間（例えば、三次元環境内の静止した第２のユーザ又は仮想オブジェクトの表現に向かって視点の移動を引き起こす第１のユーザ全体の移動の間）、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジション（例えば、第１のユーザの第１の移動の間の第２の物理的環境内の第１のオブジェクトの静止ロケーションに対応する、三次元環境内の静止ポジション）が、三次元環境の現在表示されているビューに関連付けられた視点に対応する三次元環境内の個別のポジションから閾値距離以下（例えば、等しい、未満など）であるという判定に従って（例えば、第２のユーザ又は仮想オブジェクトの表現は、三次元環境内の第１のユーザの視点又は仮想ポジションの閾値範囲内にあり、他の方法でシフトされない場合）、第１のユーザインタフェースオブジェクトは、第１のオブジェクトが第２の物理的環境内に静止している、三次元環境内の調整されたポジション（例えば、現実模倣マッピング関係に基づいて判定される個別のポジションからオフセットされたポジション、第１のユーザの仮想表現又は三次元環境の現在表示されているビューの視点から閾値距離外にあるポジションなど）に表示され、三次元環境内の調整されたポジションは、第１の方式とは異なる第２の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する。例えば、いくつかの実施形態では、第１のオブジェクトが第２の物理的環境内に静止したままであっても、第１のユーザインタフェースオブジェクトは、第１のユーザの移動（例えば、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションに向かう第１のユーザの視点又は仮想表現の移動に対応する第１の物理的環境内の移動）に応じて、三次元環境の現在表示されているビュー内で自律的な移動をするように見える。より具体的な例では、第１のユーザが、三次元環境内の第２のユーザ又は仮想オブジェクトの表現に向かう第１のユーザの仮想表現の移動に対応する第１の物理的環境内の移動を行うとき、第１のユーザの仮想表現が第２のユーザ又は仮想オブジェクトの表現の閾値距離内に到達する場合、第２のユーザ又は仮想オブジェクトが第２の物理的環境内で静止したままであっても、第２のユーザ又は仮想オブジェクトの表現は、第１のユーザの仮想表現から自動的に邪魔にならないように移動して、第１のユーザの仮想表現にぶつかることを回避する。第２のユーザ及び仮想オブジェクトの表現は、衝突回避オフセットをトリガするための条件がもはや満たされなくなった後、デフォルトの現実模倣マッピング関係を使用して計算されたそれらのデフォルトポジションに復元される。いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、第１のユーザと仮想電話会議をしている第２のユーザを表すアバターである。第１のユーザが、第２のユーザのアバターに向かう三次元環境内の移動に対応する方向に歩くとき、第２のユーザのアバターは、アバターが第１のユーザの仮想ポジションに近づきすぎるにつれて、邪魔にならないように移動する。これは、第２のユーザが自身の環境内で移動していなくても行われる。
第１のオブジェクトが第２の物理的環境内で静止している間に第１の物理的環境内で第１のユーザの第１の移動を検出し、第１の方式での第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の現在表示されているビューに関連付けられた視点に対応する三次元環境内の個別のポジションから閾値距離超であるという判定に従って、第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境の第１のユーザインタフェースオブジェクトの個別のポジションに第１の方式で第１のユーザインタフェースオブジェクトを表示し、第１のオブジェクトが第２の物理的環境内で静止している間、第１の方式での第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の現在表示されているビューに関連付けられた視点に対応する三次元環境内の個別のポジションから閾値距離以下であるという判定に従って、第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の調整されたポジションに第１のユーザインタフェースオブジェクトを第１の方式とは異なる第２の方式で三次元環境内に表示することは、更なるユーザ入力（例えば、第１のユーザインタフェースオブジェクトのポジションを調整する更なるユーザ入力）を必要とすることなく条件のセットが満たされたときに、適切なポジションで第１のユーザインタフェースオブジェクトを表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の物理的環境（例えば、図７Ｄ～図７Ｆのシーン１０５－ａ、又は別のシーンなど）内の第１のユーザ（例えば、図７Ｄ～図７Ｆのユーザ７００２、又は別のユーザなど）の移動、及び第２の物理的環境（例えば、シーン１０５－ｂ、又は別のシーンなど）内の第１のオブジェクト（例えば、図７Ｄ～図７Ｆのユーザ７１０２、又は別の人若しくはオブジェクトなど）の移動のうちの少なくとも１つを検出することは、第１のユーザが第１の物理的環境内に静止している間、第２の物理的環境内の第１のオブジェクトの第２の移動を検出することを含む。第２の物理的環境内の第１のオブジェクトの第２の移動中（例えば、三次元環境において第１のユーザインタフェースオブジェクトを移動させる全体としての第１のオブジェクト（例えば、第２のユーザ、動物、飛行ドローンなど）の移動中に）、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジション（例えば、第１のオブジェクトの第２の移動中、第２の物理的環境内の第１のオブジェクトの新たなロケーションに対応する、三次元環境内の新たなポジション）が、三次元環境の現在表示されているビューに関連付けられた視点に対応する三次元環境内の個別のポジションから閾値距離超である（例えば、第２のユーザ又は仮想オブジェクトの表現は第１のユーザの視点又は三次元環境内の仮想ポジションの閾値範囲外にある）という判定に従って、第１のユーザインタフェースオブジェクトは、（例えば、三次元環境の現在表示されているビューの視点が静止している間）三次元環境内の更新ポジション（例えば、現実模倣関係に基づいて判定される個別のポジションであるポジション、第１のユーザの仮想表現又は三次元環境の現在表示されているビューの視点から閾値距離外のポジションなど）に表示され（例えば、第１のユーザインタフェースオブジェクトはそこに移動するように示され）、三次元環境内の更新ポジションは、第１の方式での第２の移動の結果として、第２の物理的環境内の第１のオブジェクトの更新ロケーションに対応する（例えば、第１のユーザインタフェースオブジェクトの外観及び表示ポジションは、現在表示されているビューの視点が維持されている間、三次元環境内の第１のユーザインタフェースオブジェクトの個別の三次元ポジションの変化に起因して変化する）。第２の物理的環境内の第１のオブジェクトの第２の移動の間（例えば、三次元環境内の第１のユーザインタフェースオブジェクトの移動を全体として引き起こす第１のオブジェクト（例えば、第２のユーザ、動物、飛行ドローンなど）の移動の間）、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジション（例えば、第１のオブジェクトの第２の移動の間の第２の物理的環境内の第１のオブジェクトの新たなロケーションに対応する、三次元環境内の新たなポジション）が、三次元環境の現在表示されているビューに関連付けられる視点に対応する三次元環境内の個別のポジションから閾値距離以下である（例えば、等しい、未満であるなど）（例えば、第２のユーザ又は仮想オブジェクトの表現は、離れてシフトされてなければ、第１のユーザの視点又は三次元環境内の仮想ポジションの閾値範囲内にある）という判定に従って、第１のユーザインタフェースオブジェクトは、第１のオブジェクトが第２の物理的環境で静止している間、三次元環境内の調整された更新ポジション（現実模倣マッピング関係に基づいて判定される個別のポジションからオフセットされたポジション、第１のユーザの仮想表現又は三次元環境の現在表示されているビューの視点から閾値距離外にあるポジションなど）に表示され（例えば、第１のユーザインタフェースオブジェクトはそこに移動するように示され）、三次元環境内の調整された更新ポジションは、第１の方式とは異なる第２の方式で第２の物理的環境内の第１のオブジェクトの更新ロケーションに対応する。例えば、いくつかの実施形態では、第２のユーザ又は仮想オブジェクトが、現在表示されているビューの視点又は三次元環境内の第１のユーザの仮想ポジションに向かう移動に対応する第２の物理的環境内の方向に移動するとき、第１のユーザインタフェースオブジェクトは、第２のユーザ又は仮想オブジェクトの表現が三次元環境内の第１のユーザの視点又は仮想ポジションの閾値距離を超えようとしているときに、第１のユーザの視点又は仮想ポジションから離れるように押す、及び／又は第１のユーザの視点又は仮想ポジションに近づきすぎるのを防ぐ磁気又は静電反発力などのシミュレートされた物理力の影響下にあるように見える。第２のユーザ及び仮想オブジェクトの表現は、視覚的衝突回避オフセットをトリガするための条件がもはや満たされなくなった後、デフォルトの現実模倣マッピング関係を使用して計算されたそれらの元の移動経路に復元される。いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、第１のユーザとの仮想会議通話中の第２のユーザを表す浮動会話アバターである。第２のユーザが、第１のユーザの仮想ポジションに向かう三次元環境内の移動に対応する方向に歩くとき、第２のユーザの浮動会話アバターは、第１のユーザの仮想ポジションの仮想ポジションの周りを移動し、第１のユーザの仮想ポジションに近づきすぎることはない。これは、第２の物理的環境内の第２のユーザの移動と三次元環境内の第２のユーザのアバターの移動との間のデフォルトのマッピング関係に基づいて計算された通常の移動に加えて実行される修正である。
第１のユーザが第１の物理的環境内で静止している間に第２の物理的環境内の第１のオブジェクトの第２の移動を検出し、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の現在表示されているビューに関連付けられた視点に対応する三次元環境内の個別のポジションから閾値距離を超えるという判定に従って、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションに第１のユーザインタフェースオブジェクトを表示し、第１のユーザが第２の物理的環境内で静止している間、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の現在表示されているビューに関連付けられた視点に対応する三次元環境内の個別のポジションから閾値距離以下であるという判定に従って、第１の方式とは異なる第２の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の調整されたポジションに第１のユーザインタフェースオブジェクトを表示することは、更なるユーザ入力（例えば、第１のユーザインタフェースオブジェクトのポジションを調整する更なるユーザ入力）を必要とすることなく条件のセットが満たされたときに、適切なポジションに第１のユーザインタフェースオブジェクトを表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の物理的環境（例えば、図７Ｄ～図７Ｆのシーン１０５又は別のシーンなど）内の第１のユーザ（例えば、図７Ｄ～図７Ｆのユーザ７００２又は別のユーザなど）の移動及び第２の物理的環境（例えば、シーン１０５－ｂ又は別のシーンなど）内の第１のオブジェクト（例えば、図７Ｄ～図７Ｆのユーザ７１０２又は別の人若しくはオブジェクトなど）の移動のうちの少なくとも１つを検出することは、第１の物理的環境内の第１のユーザの第３の移動（例えば、図７Ｄ～図７Ｆの経路７３００に沿った第１のユーザ７００２の移動又は別の経路に沿った移動など）及び第２の物理的環境内の第１のオブジェクトの第４の移動（例えば、図７Ｄ～図７Ｆの経路７３０２に沿った第２のユーザ７１０２又は７１０２によって表されるオブジェクトの移動又は別の経路に沿った移動など）を同時に検出することを含む。いくつかの実施形態では、第１の物理的環境内の第１のユーザの第３の移動を検出することは、第１のユーザと並べて配置されたセンサを使用して実行され、第１のオブジェクトの第４の移動を検出することは、任意選択的に、第１のオブジェクトと並べて配置されたセンサを使用して、及び／又は別のコンピュータシステムから受信された第１のユーザインタフェースオブジェクトの未調整の更新ポジションに従って実行される。第１の物理的環境内の第１のユーザの第３の移動及び第２の物理的環境内の第１のオブジェクトの第４の移動の少なくとも一方の間（例えば、三次元環境内の第１のユーザインタフェースオブジェクトの移動を全体として引き起こす第１のオブジェクト（例えば、第２のユーザ、動物、飛行ドローンなど）の移動と、三次元環境の現在表示されているビューの視点の移動及び／又は三次元環境内の第１のユーザの仮想ポジションの移動を全体として引き起こす第１のユーザの移動の間）、第１の方式で第２の物理的環境内の第１のオブジェクトのロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジション（例えば、第１のオブジェクトの第４の移動中、第２の物理的環境内の第１のオブジェクトの新たなロケーションに対応する、三次元環境内の新たなポジション）が、三次元環境の現在表示されているビューに関連付けられた視点に対応する三次元環境内の個別のポジション（例えば、現実模倣関係に従って、第１の物理的環境内の第１のユーザの第３の移動により更新された）から閾値距離を超えている（例えば、第２のユーザ又は仮想オブジェクトの表現が、第１のユーザの第３の移動により更新されている第１のユーザの視点又は三次元環境内の仮想ポジションの閾値範囲外である）という判定に従って、第１のユーザインタフェースオブジェクトは、（例えば、三次元環境の現在表示されているビューの視点が、第１のユーザの第３の移動に従って更新されている間）三次元環境内の更新ポジション（例えば、現実模倣関係に基づいて判定される個別のポジションであるポジション、第１のユーザの仮想表現又は三次元環境の現在表示されているビューの視点からの閾値距離外にあるポジション、など）に表示され（例えば、そこに移動するように示され）、三次元環境内の更新ポジションは、第１の方式での第４の移動の結果として第２の物理的環境内の第１のオブジェクトの更新ロケーションに対応する（例えば、現在表示されているビューの視点が第１のユーザの第３の移動に従って更新される間、第１のユーザインタフェースオブジェクトの外観及びロケーションは、三次元環境内の第１のユーザインタフェースオブジェクトの個別の三次元ポジションの変化により第１のユーザに視覚的に変化する）。第１の物理的環境内の第１のユーザの第３の移動及び第２の物理的環境内の第１のオブジェクトの第４の移動の少なくとも一方の間（例えば、三次元環境内の第１のユーザインタフェースオブジェクトの移動を全体として引き起こす第１のオブジェクト（例えば、第２のユーザ、動物、飛行ドローンなど）の移動と、三次元環境の現在表示されているビューの視点の移動及び／又は三次元環境内の第１のユーザの仮想ポジションの移動を全体として引き起こす第１のユーザの移動の間）、第１の方式の第２の物理的環境内の第１のオブジェクトのロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジション（例えば、第１のオブジェクトの第２の移動中、第２の物理的環境内の第１のオブジェクトの新たなロケーションに対応する、三次元環境内の新たなポジション）が（例えば、現実模倣関係に従って第１の物理的環境内の第１のユーザの第３の移動に従って更新された）三次元環境の現在表示されているビューに関連する視点に対応する三次元環境内の個別のポジションからの閾値距離を超えない（例えば、等しい、未満であるなど）（例えば、第２のユーザ又は仮想オブジェクトの表現が、離れてシフトされていない場合、三次元環境内の第１のユーザの視点又は仮想ポジションの閾値範囲内にある）という判定に従って、第１のユーザインタフェースオブジェクトは、三次元環境内の調整された更新ポジション（例えば、現実模倣関係に基づいて判定される個別のポジションからオフセットされるポジション、第１のユーザの仮想表現又は三次元環境の現在表示されているビューの視点からの閾値距離外にあるポジションなど）で表示され（例えば、そこに移動するように示され）、三次元環境内の更新ポジションは、第１の方式（及び、任意選択的に、第２の方式）と異なる第３の方式（例えば、第１のオブジェクトの第４の移動と第１のユーザの第３の移動の両方を考慮に入れて）で第２の物理的環境内の第１のオブジェクトのロケーションに対応する。例えば、いくつかの実施形態では、第２のユーザ又は仮想オブジェクトが、現在表示されているビューの視点又は三次元環境内の第１のユーザの仮想ポジションに向かう移動に対応する第２の物理的環境内の方向に移動し、及び／又は第１のユーザが、三次元環境内の第２のユーザ又は仮想オブジェクトの表現に向かう移動に対応する第１の物理的環境内の方向に移動するとき、第１のユーザインタフェースオブジェクトは、第２のユーザ又は仮想オブジェクトの表現が三次元環境内の第１のユーザの変化する視点又は仮想ポジションの閾値距離を超えようとしているときに、第１のユーザの視点又は仮想ポジションから離れるように押す、及び／又は第１のユーザの視点又は仮想ポジションに近づきすぎるのを防ぐ別の力の影響下にあるように見える。第２のユーザ及び仮想オブジェクトの表現は、衝突回避オフセットをトリガするための条件がもはや満たされなくなった後、デフォルトの現実模倣マッピング関係を使用して計算されたそれらの元の移動経路に復元される。いくつかの実施形態では、第１のユーザの仮想ポジション又は三次元環境の現在表示されているビューの視点は、第２の物理的環境内の第２のユーザ又は仮想オブジェクトの移動及び現在ロケーションにかかわらず、第１の方式（例えば、現実模倣方式、予め設定された第１のマッピング関係など）で第１の物理的環境内の第１のユーザのロケーションに対応する。いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、第１のユーザとの仮想会議通話中の第２のユーザを表す浮動会話アバターであり、第１のユーザ及び第２のユーザがそれぞれそれらの物理的環境内を歩くとき、三次元環境内の第１のユーザ及び第２のユーザの仮想ポジションは、第１のユーザ及び第２のユーザにそれぞれ適用されるいくつかの予め設定されたデフォルトマッピング関係に従って、第１のユーザ及び第２のユーザの移動に基づいて判定される。例えば、第１のユーザ及び第２のユーザの仮想ポジションは、第１のユーザ又は第２のユーザがそれぞれの物理的環境内でかなりの移動距離を実行した場合であっても、同じ共通仮想空間に限定される。デフォルトマッピングが、三次元環境内の第１のユーザ及び第２のユーザの仮想ポジションの視覚的衝突をもたらす場合、（第１のユーザによって第１の表示生成コンポーネントを介して見られるとき）第２のユーザの浮動会話アバターは、浮動会話アバターが第１のユーザの仮想ポジションに近づきすぎるにつれて、邪魔にならないように移動する。同時に、第１のユーザの浮動会話アバターは（第２のユーザによって第２の表示生成コンポーネントを介して見られるとき）、浮動会話アバターが第２のユーザの仮想ポジションに近づきすぎるにつれて、邪魔にならないように移動する。
第１の物理的環境内の第１のユーザの第３の移動と第２の物理的環境内の第１のオブジェクトの第４の移動を同時に検出し、第１の方式での第２の物理的環境内の第１のオブジェクトのロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の現在表示されているビューに関連付けられた視点に対応する三次元環境内の個別のポジションから閾値距離超であるという判定に従って、第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境の第１のユーザインタフェースオブジェクトの個別のポジションに第１の方式で第１のユーザインタフェースオブジェクトを表示し、第２の物理的環境内の第１のオブジェクトのロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の現在表示されているビューに関連付けられた視点に対応する三次元環境内の個別のポジションから閾値距離を超えないという判定に従って、第２の物理的環境内の第１のオブジェクトの個別のロケーションに第１の方式で対応する三次元環境内の調整されたポジションに第１のユーザインタフェースオブジェクトを第１の方式とは異なる第３の方式で表示することは、更なるユーザ入力（例えば、第１のユーザインタフェースオブジェクトのポジションを調整する更なるユーザ入力）を必要とすることなく条件のセットが満たされたときに、適切なポジションで第１のユーザインタフェースオブジェクトを表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のオブジェクトは、第２の物理的環境（例えば、図７Ｄ～図７Ｆのシーン１０５－ｂ）内に位置する第２のユーザ（例えば、図７Ｄ～図７Ｆの第２のユーザ７１０２、又は別のユーザなど）であり、第１のユーザ（例えば、第１のユーザ７００２）及び第２のユーザ（例えば、第２のユーザ７１０２）は、三次元環境（例えば、図７Ｄ～図７Ｆの表示生成コンポーネント７１００及び７２００を介して見られる環境）を少なくとも部分的に共有する（例えば、両方のユーザが同時に三次元環境の少なくとも一部を見る、少なくとも一部にアクセスする、及び／又は少なくとも一部と相互作用することができる）。例えば、第２のユーザには、第２のコンピュータシステムと通信している第２の表示生成コンポーネントを介して三次元環境のビューが提供される。第２の物理的環境内の第２のユーザのロケーションは、第２のコンピュータシステムと通信している１つ以上のセンサによって検出される。いくつかの実施形態では、第２のコンピュータシステムは、第２の物理的環境を表すデータを送信し、第１のコンピュータシステムは、第２の物理的環境を表すデータを受信し、第１のコンピュータシステム及び第２のコンピュータシステムは両方とも、第２の物理的環境の表現（例えば、第２の物理的環境のカメラビュー又はパススルービュー）を表示する。いくつかの実施形態では、第１のコンピュータシステムは、第１の物理的環境を表すデータを送信し、第２のコンピュータシステムは、第１の物理的環境を表すデータを受信し、第１のコンピュータシステム及び第２のコンピュータシステムは両方とも、第１の物理的環境の表現（例えば、第１の物理的環境のカメラビュー又はパススルービュー）を表示する。いくつかの実施形態では、第１のコンピュータシステム及び第２のコンピュータシステムは両方とも、仮想環境（例えば、仮想会議室、ゲーム世界など）の表現、又は第１の物理的環境及び第２の物理的環境とは異なる第３の物理的環境（例えば、第１のユーザ及び第２のユーザとは異なり、第１のユーザ及び第２のユーザと三次元環境を共有している第３のユーザの物理的環境など）の表現を表示する。いくつかの実施形態では、第１の表示生成コンポーネントを介して第１のユーザに提供される三次元環境のビュー内で、第２のユーザの表示ポジションが視覚的衝突回避シフト／オフセットで（例えば、第２の方式で、第２の衝突回避マッピング関係でなどで）修正されるとき、第２の表示生成コンポーネントを介して第２のユーザに提供される三次元環境のビューは、代わりに、第１のユーザの表示ポジションが視覚的衝突回避シフト／オフセットで修正されるが、第２のユーザのロケーションに基づく三次元環境の視点はそのようなシフト又はオフセットを有さないことを示す。
第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の現在表示されているビューに関連付けられた視点に対応する三次元環境内の個別のポジションから閾値距離以下という判定に従って、第１のユーザインタフェースオブジェクトを三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションに表示し、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の現在表示されているビューに関連付けられた視点に対応する三次元環境内の個別のポジションから閾値距離を超えるという判定に従って、第１のユーザインタフェースオブジェクトを三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションからオフセットされている三次元環境の第２のビュー内の第２の表示ポジションに表示し、第１のオブジェクトは、第２の物理的環境に位置する第２のユーザであり、第１のユーザ及び第２のユーザは、三次元環境を少なくとも部分的に共有することは、更なるユーザ入力（例えば、第１のユーザインタフェースオブジェクトのポジションを調整する更なるユーザ入力）を必要とすることなく条件のセットが満たされたときに、適切なポジションで第１のユーザインタフェースオブジェクトを表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第２の表示生成コンポーネント（例えば、表示生成コンポーネント７２００、又は別の表示生成コンポーネントなど）を介して第２のユーザ（例えば、ユーザ７１０２、又は別のユーザなど）に表示される三次元環境の第３のビュー（例えば、図７Ｆ（Ｂ）に示すビュー７３０４－ｂ）において、第１の方式（例えば、例えば、現実模倣方式に従って判定される、予め設定された第１のマッピング関係など）で第１の物理的環境（例えば、図７Ｄ～図７Ｆのシーン１０５－ａ）内の第１のユーザ（例えば、図７Ｄ～図７Ｆのユーザ７００２、別のユーザなど）の個別のロケーションに対応する、三次元環境内の第２のユーザインタフェースオブジェクト（例えば、図７Ｆの表現７００２’－ｂ、別の表現など）（例えば、第１のユーザのアバター、第１のユーザを表すトーキングヘッドなど）の個別のポジションが、三次元環境の第３のビューに関連付けられる第３の視点に対応する三次元環境内の個別のポジション（例えば、三次元環境内の第２のユーザの仮想ポジション）からの閾値距離を超えないという反対に従って、コンピュータシステムは、三次元環境の第３のビュー内の修正されたポジションで第２のユーザインタフェースオブジェクト（例えば、第１のユーザ７００２の表現７００２’－ｂ）を表示し、修正されるポジションは、第１の方式（例えば、現実模倣方式に従って判定される、予め設定された第１のマッピング関係など）で第１の物理的環境内の第１のユーザの個別のロケーションに対応する、三次元環境内の第２のユーザインタフェースオブジェクトの個別のポジションからオフセットされる（例えば、図７Ｆ（Ｂ）に示されるように、第１のユーザ７００２の表現７１０２’－ｂのポジションがビュー７３０４－ｂ’’内の表現７１０２’－ｂの真正面にあるはずであっても、第１のユーザ７００２の表現７００２’－ｂは、第２のユーザ７１０２に示されるビュー７３０４－ｂ’’内の表現７１０２’－ｂの右側に表示される）。
第１の方式で第１の物理的環境内の第１のユーザの個別のロケーションに対応する、三次元環境内の第２のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の第３のビューに関連付けられた第３の視点に対応する三次元環境内の個別のポジションから閾値距離を超えないという判定に従って、第１の方式で第１の物理的環境内の第１のユーザの個別のロケーションに対応する、三次元環境内の第２のユーザインタフェースオブジェクトの個別のポジションからオフセットされた三次元環境の第３のビュー内の修正ポジションに第２のユーザインタフェースオブジェクトを表示することは、更なるユーザ入力（例えば、第１のユーザインタフェースオブジェクトのポジションを調整するための更なるユーザ入力）を必要とせずに条件のセットが満たされたときに、適切なポジションに第１のユーザインタフェースオブジェクトを表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のオブジェクトは、第２の物理的環境に位置する物理的オブジェクトである（例えば、図７Ｄ～図７Ｆのユーザ７１０２は、いくつかの実施形態では、表示生成コンポーネント７２００を使用する別のユーザではない物理的オブジェクトを表すことができる）。いくつかの実施形態では、三次元環境は、三次元環境を見る人とは異なる物理的環境内の他の物理的オブジェクトの表現を含む。例えば、いくつかの実施形態では、三次元環境は、任意選択的に、第１のユーザのためのハイキングコース上のシミュレートされた自然歩行の一部であり、第１のユーザの物理的環境とは異なる物理的ロケーションにおけるハイキングコース上の物理的環境のリアルタイムカメラフィード又は記録されたビデオを含む。第１のユーザが第１の物理的環境内で歩いており、ハイキングコースからの物理的環境のビューでシミュレートされた自然歩行を体験しているとき、野鳥、飛行ドローン、又は別のハイカーなどの物理的オブジェクトも、物理的オブジェクトの個別のポジションが第１のユーザの仮想ポジション（例えば、第１のユーザに現在示されているハイキングコースのビューの視点に対応するポジション、又はビュー内の第１のユーザの仮想表現のポジションなど）と視覚的衝突回避調整なしに重なるか、又はその閾値距離内にあるように、ハイキングコースを取り囲む物理的環境内で移動している場合、第１のユーザの体験は視覚的衝突によって妨害される（例えば、第１のユーザは、物理的オブジェクトが自分の頭又は体を通って走ったように感じる、及び／又はそのような感覚又は体験が生じるのを恐れるなど）。視覚的衝突が回避されるように、そのようなシナリオにおいて物理的オブジェクトの表現の表示ポジションを自動的に調整することによって、第１のユーザは、シミュレートされた自然歩行をより快適かつ円滑に体験することができる。別の例では、第１のオブジェクトは、ハイキングコース上の大きな岩、又はハイキングコースの中央に座っている人などの静止オブジェクトである。いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、第１のユーザの仮想ポジションがハイキングコースのビュー内の大きな岩又は座っている人のポジションに近づくと、（例えば、デジタル画像編集手段を通じて）自動的に邪魔にならないように移動される。いくつかの実施形態では、第１のオブジェクトが（例えば、体験全体を通じて）静止した物理的オブジェクトであるという判定に従って、第１のコンピュータシステムは、任意選択的に、第１のユーザインタフェースオブジェクトが三次元環境の現在表示されているビュー内の第１のユーザの仮想ポジションに近すぎるとき、第１のユーザインタフェースオブジェクトを短時間表示することを停止する。
第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の現在表示されているビューに関連付けられた視点に対応する三次元環境内の個別のポジションから閾値距離を超えるという判定に従って、三次元環境内の第１のユーザインタフェースオブジェクトを三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションに表示し、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の現在表示されているビューに関連付けられた視点に対応する三次元環境内の個別のポジションから閾値距離以下という判定に従って、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションからオフセットされた三次元環境の第２のビュー内の第２の表示ポジションに第１のユーザインタフェースオブジェクトを表示し、第１のオブジェクトは第２の物理的環境に位置する物理的オブジェクトであり、更なるユーザ入力（例えば、第１のユーザインタフェースオブジェクトのポジションを調整するための更なるユーザ入力）を必要とすることなく、条件のセットが満たされたときに、第１のユーザインタフェースオブジェクトを適切なポジションに表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザインタフェースオブジェクト（例えば、図７Ｄ～図７Ｆにおける第２のユーザ７１０２の表現７１０２’－ａ）は、三次元環境において浮いている（例えば、別のオブジェクト又は表面に付着していない及び／又は接触している）オブジェクト（例えば、第２のユーザの浮動会話アバター、飛んでいる鳥の表現、飛んでいるドローンの表現など）である。いくつかの実施形態では、三次元環境の現在表示されているビュー内の無生物オブジェクトの表現も、同じようにして対応する視覚的衝突回避動作を有する。第１のユーザが移動して、三次元環境の現在表示されているビューの視点に対応する仮想ポジションを浮動仮想ランタン又はデジタルアシスタントの仮想表現に接近させると、浮動仮想ランタン又はデジタルアシスタントの仮想表現は、三次元環境の現在表示されているビュー内で自動的に側方に邪魔にならないように移動する。第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の現在表示されているビューに関連付けられた視点に対応する三次元環境内の個別のポジションから閾値距離を超えるという判定に従って、第１のユーザインタフェースオブジェクトを三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションに表示し、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の現在表示されているビューに関連付けられた視点に対応する三次元環境内の個別のポジションから閾値距離以下という判定に従って、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションからオフセットされた三次元環境の第２のビュー内の第２の表示ポジションに第１のユーザインタフェースオブジェクトを表示し、第１のユーザインタフェースオブジェクトが、三次元環境内に浮動しているオブジェクトである、ことは、更なるユーザ入力（例えば、第１のユーザインタフェースオブジェクトのポジションを調整するための更なるユーザ入力）を必要とすることなく、条件のセットが満たされたときに、第１のユーザインタフェースオブジェクトを適切なポジションに表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、三次元環境が第１の現実感レベルで表示されているという判定に従って、第１のユーザインタフェースオブジェクト（例えば、図７Ｄ～図７Ｆの第２のユーザ７１０２の表現７１０２’－ａ）は、第１の現実感レベルに対応する第１のセットの表示特性（例えば、第１の解像度、第１の次元数、第１の鮮明度、第１のカラーパレット、照明効果なしなど）で表示され、三次元環境が第１の現実感レベルとは異なる（例えば、より高い、より低いなど）第２の現実感レベルの現実感で表示されているという判定に従って、第１のユーザインタフェースオブジェクトは、第２の現実感レベルに対応する第２のセットの表示特性（例えば、第２の解像度、第２の次元数、第２の鮮明度、第２のカラーパレット、照明効果ありなど）で表示され、第２のセットの表示特性は、第１のセットの表示特性とは異なる（例えば、例えば、より高い、より低い、加算する、減算するなど）。例えば、いくつかの実施形態では、三次元環境が仮想三次元環境である場合、第１のユーザインタフェースオブジェクトは、固定された会話アニメーションを有する第２のユーザの三次元仮想モデルであり、三次元環境が拡張現実環境である場合、第１のユーザインタフェースオブジェクトは、第２のユーザのリアルタイムビデオ画像に従って生成される表情及び会話アニメーションを有する第２のユーザのより現実的な三次元モデルである。いくつかの実施形態では、コンピュータシステムは、共有体験の仮想モードから拡張現実モードに切り替えるユーザ（例えば、第１のユーザ、第２のユーザなど）の要求に応じて、三次元環境の表示を第１の現実感レベルから第２の現実感レベルに切り替える。いくつかの実施形態では、第１のユーザインタフェースオブジェクトは、三次元環境が単純で平坦で不透明な表面を有する場合、三次元環境内に浮動している第２のユーザの二次元画像であり、第１のユーザインタフェースオブジェクトは、三次元環境が物理的環境のより現実的な仮想レンダリングに切り替えられる場合、より精巧な顔の特徴及び照明効果を有する第２のユーザの三次元モデルになる。いくつかの実施形態では、第１のユーザインタフェースオブジェクトの現実感レベル及び／又は第１のユーザインタフェースオブジェクトが三次元環境においてどのようにレンダリングされるかを、三次元環境の現実感レベル及び／又は三次元環境がどのようにレンダリングされるかに自動的に一致させることは、第１のユーザインタフェースオブジェクトを三次元環境の自然で邪魔にならない部分に見せ、それによって第１のユーザの視聴体験を改善する。
三次元環境が第１の現実感レベルで表示されているという判定に従って、第１の現実感レベルに対応する第１セットの表示特性で第１ユーザインタフェースオブジェクトを表示し、三次元環境が第１の現実感レベルとは異なる第２の現実感レベルで表示されているという判定に従って、第２の現実感レベルに対応する第１セットの表示特性とは異なる第２セットの表示特性で第１ユーザインタフェースオブジェクトを表示することは、ユーザに改善された視覚的フィードバック（例えば、三次元環境がどの現実感レベルで表示されているかに関する改善された視覚的フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、三次元環境の第２のビュー内の第２の表示ポジション（例えば、第１のユーザ７００２に示されるビュー７３０４－ａ’’内の第２のユーザ７１０２の表現７１０２’－ａの表示ポジション）は、第２の物理的環境（例えば、シーン１０５－ｂ又は別のシーンなど）内の第１のオブジェクト（例えば、図７Ｆの第２のユーザ７１０２又は別のオブジェクトなど）の個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクト（例えば、第２のユーザ７１０２の表現７１０２’－ａ）の個別のポジションから第１の変位量だけ第１の方式で変位され、第１の変位量（例えば、第１の方向及び／又は第１の大きさなどを有する）は、第２の物理的環境内の第１のオブジェクトの第１の方式で移動（例えば、図７Ｄ～図７Ｆの経路７３０２に沿った移動、又は別の経路に沿った移動）に対応しない。いくつかの実施形態では、第１の変位量は、第２の物理的環境内の第１のオブジェクトの移動に全く対応しないか、又は第１の変位量は、第１の方式とは異なる個別の方式で第２の物理的環境内の第１のオブジェクトの移動に対応する。
第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の第２のビューに関連付けられた第２の視点に対応する三次元環境内の個別のポジションから閾値距離未満であるという判定に従って、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションから、第１の方式で第２の物理的環境内の第１のオブジェクトの移動に対応しない第１の変位量だけ変位する三次元環境の第２のビュー内の第２の表示ポジションに第１のユーザインタフェースオブジェクトを表示することは、ユーザに改良された視覚的フィードバックを提供する（例えば、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の第２のビューに関連付けられた第２の視点に対応する三次元環境内の個別のポジションから閾値距離未満であるという改良された視覚的フィードバック）。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の変位量は、三次元環境の現在表示されているビューの視点（例えば、図７Ｆのビュー７３０４－ａ’’の視点）と、第２の物理的環境（例えば、シーン１０５－ｂ、又は別のシーンなど）内の第１のオブジェクト（例えば、図７Ｄ～図７Ｆの第２のユーザ７１０２、又は別のユーザ若しくはオブジェクトなど）の個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクト（例えば、図７Ｆの第２のユーザ７１０２の表現７１０２’－ａ、又は別の表現など）の個別のポジションとの間の空間関係（例えば、距離及び相対ポジションなど）に従って第１の方式で判定される方向を有する。
第１のユーザインタフェースオブジェクトを三次元環境の第２のビュー内の第２の表示ポジションであって、三次元環境の第２のビュー内の第２の表示ポジションが、三次元環境の現在表示されているビューの視点と第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションとの間の空間関係に従って第１の方式で判定される方向を有する第１の変位量だけ第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションから変位される、三次元環境の第２のビュー内の第２の表示ポジションに表示することは、ユーザに改善された視覚的フィードバック（例えば、現在表示されているビューの視点と第１のユーザインタフェースオブジェクトの個別のポジションとの間の空間関係に関する改善された視覚的フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、三次元環境の第２のビュー（例えば、図７Ｆ（Ａ）のビュー７３０４－ａ’’、又は別のビューなど）内の第２の表示ポジションは、第２の物理的環境（例えば、シーン１０５－ｂ、別のシーンなど）内の第１のオブジェクト（例えば、第２のユーザ７１０２、別のユーザ又はオブジェクトなど）の個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクト（例えば、第２のユーザの表現７１０２’－ａ、別の表現など）の個別のポジションから第１の方式で第２の変位量（例えば、第１の変位量と同じ、第１の変位量とは異なるなど）だけ変位され、第２の変位量は、三次元環境の第２のビューに関連付けられた第２の視点に対応する三次元環境内の個別のポジションに向かう順方向とは異なる方向（例えば、垂直又は直交、左、右、上を指すなど）を有する（例えば、図７Ｆ（Ａ）に示されるように、表現７１０２’－ａは、そのポジションが第１のユーザ７００２に示されるビュー７３０４－ａ’’内の視点の真正面にあるべきであっても、視点の側にシフトされる）。例えば、いくつかの実施形態では、第１のユーザインタフェースオブジェクトがどの方向から三次元環境の現在表示されているビュー（例えば、第２のビュー、又は後に表示される別のビューなど）に関連付けられた視点に対応する個別のポジションに近づいて到達しているかにかかわらず、第１のユーザインタフェースオブジェクトは、現在表示されているビューに関連付けられた視点に対応する個別のポジションの側方又は上方に偏向され、その結果、第１のユーザインタフェースオブジェクトの表示ポジションは、デフォルトの未調整方式（例えば、第１の方式、現実模倣方式、第１の予め設定されたマッピング関係など）に従ってそれぞれの物理的環境内の第１のユーザ及び／又は第１のオブジェクトの移動に基づいて計算された第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の現在表示されているビューに関連付けられた個別の視点に更に近づくか又は通過する場合であっても、視点に対応する個別のポジションを囲む制限された空間に入らない。いくつかの実施形態では、三次元環境の現在表示されているビューの視点に対応する個別のポジションの前の閾値距離に不可視ガラス壁があるかのように、第１の方式で第１のユーザ及び第１のオブジェクトの現在ロケーション及び移動履歴に基づいて計算された第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の現在表示されているビューの視点に対応する個別のポジションの閾値距離内になくなるまで、第１のユーザインタフェースオブジェクトを不可視ガラス壁に沿って側方又は上方にスライドさせる。この実装形態は、第１のユーザインタフェースオブジェクトが第１のユーザの視点又は第１のユーザの顔の仮想表現を横切ることを回避するのに役立つ。
第１のユーザインタフェースオブジェクトを三次元環境の第２のビュー内の第２の表示ポジションであって、三次元環境の第２のビュー内の第２の表示ポジションが、三次元環境の第２のビューに関連付けられた第２の視点に対応する三次元環境内の個別のポジションに向かう順方向とは異なる方向を有する第２の変位量だけ、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションから変位させる、三次元環境の第２のビュー内の第２の表示ポジションに表示することは、ユーザに改善された視覚的フィードバック（例えば、改善された視覚的フィードバック、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の第２のビューに関連付けられた第２の視点に対応する三次元環境内の個別のポジションから閾値距離未満であるという改善された視覚的フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、三次元環境の第２のビュー（例えば、図７Ｆのビュー７３０４－ａ’’）内の第２の表示ポジションは、第２の物理的環境（例えば、シーン１０５－ｂ、又は別のシーンなど）内の第１のオブジェクト（例えば、図７Ｆのユーザ７１０２、別のユーザ又はオブジェクトなど）の個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクト（例えば、第２のユーザの表現７１０２’－ａ、別の表現など）の個別のポジションから、第１の方式で第３の変位量（例えば、第１の変位量と同じ、第１の変位量と異なるなど）だけ変位され、第３の変位量は、第１のユーザインタフェースオブジェクトと、三次元環境の第２のビューに関連付けられた第２の視点に対応する三次元環境内の個別のポジションとの間の接近方向（例えば、共通の中心を指す）とは異なる（例えば、垂直又は直交する、左に、右に、上方を指すなど）方向を有する（例えば、図７Ｆ（Ａ）に示すように、表現７１０２’－ａは、第１のユーザ７００２に示されるビュー７３０４－ａ’’内の視点を通って直線的に移動すべきであっても、視点の側にシフトされる）。例えば、いくつかの実施形態では、第１のユーザインタフェースオブジェクトがどの方向から三次元環境の現在表示されているビュー（例えば、第２のビュー、又は後に表示される別のビューなど）に関連付けられた視点に対応する個別のポジションに接近して到達しているかに応じて、第３の変位量は、第１のユーザインタフェースオブジェクトをその接近方向から現在表示されているビューに関連付けられた視点に対応する個別のポジションの側方又は上方に逸らせ、その結果、第１のユーザインタフェースオブジェクトの表示ポジションは、それぞれの物理的環境内の第１のユーザ及び／又は第１のオブジェクトの移動に基づいて計算された第１のユーザインタフェースオブジェクトの個別のポジションが三次元環境の現在表示されているビューに関連付けられた個別の視点に更に近づくか又は通過しても、視点に対応する個別のポジションを囲む制限された空間に入らない。いくつかの実施形態では、三次元環境の現在表示されているビューの視点に対応する個別のポジションを取り囲む不可視ガラスドームが存在するかのように、第１のユーザ及び第１のオブジェクトの現在ロケーション及び移動履歴に基づいて計算された第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の現在表示されているビューの視点に対応する個別のポジションの閾値距離内になくなるまで、第１のユーザインタフェースオブジェクトを不可視ガラスドームに沿って側方又は上方にスライドさせる。この実装形態は、第１のユーザインタフェースオブジェクトが、第１のユーザの視点又は第１のユーザの仮想表現を任意の方向から（例えば、正面から、側面からなど）横切ることを回避するのに役立つ。
三次元環境の第２のビュー内の第２の表示ポジションであって、三次元環境の第２のビュー内の第２の表示ポジションが、第１のユーザインタフェースオブジェクトと三次元環境の第２のビューに関連付けられた第２の視点に対応する三次元環境内の個別のポジションとの間の接近方向とは異なる方向を有する第３の変位量だけ、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションから変位される、三次元環境の第２のビュー内の第２の表示ポジションに第１のユーザインタフェースオブジェクトを表示することは、ユーザに改善された視覚的フィードバック（例えば、改善された視覚的フィードバック、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションが、三次元環境の第２のビューに関連付けられた第２の視点に対応する三次元環境内の個別のポジションから閾値距離未満であるという改善された視覚的フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、三次元環境の第２のビュー（例えば、図７Ｆのビュー７３０４－ａ’’、又は別のビューなど）内の第２の表示ポジションと、第１の方式で第２の物理的環境内の第１のオブジェクト（例えば、図７Ｆのユーザ７１０２、又は別のユーザ若しくはオブジェクトなど）の個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクト（例えば、図７Ｆの表現７１０２’－ａ、又は別の表現）の個別のポジションとの間の変位の大きさ及び方向のうちの少なくとも１つは、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションと、三次元環境の第２のビューに関連付けられた第２の視点に対応する三次元環境内の個別のポジションとの間の空間関係（例えば、相対方向及び／又は距離など）に基づく（例えば、変位は、大きさ及び／又は方向の変化の大きさ及び／又は方向に従って、又は大きさ及び／又は方向の絶対値に従って、方向及び／又は大きさが動的に調整される）。
三次元環境の第２のビュー内の第２の表示ポジションに第１のユーザインタフェースオブジェクトを表示し、三次元環境の第２のビュー内の第２の表示ポジションと、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションとの間の変位の大きさ及び方向のうちの少なくとも１つが、第１の方式で第２の物理的環境内の第１のオブジェクトの個別のロケーションに対応する、三次元環境内の第１のユーザインタフェースオブジェクトの個別のポジションと、三次元環境の第２のビューに関連付けられた第２の視点に対応する三次元環境内の個別のポジションとの間の空間関係に基づくことは、ユーザに改善された視覚的フィードバック（例えば、第１のユーザインタフェースオブジェクトの個別のポジションと、三次元環境の第２のビューに関連付けられた第２の視点に対応する三次元環境内の個別のポジションとの間の空間関係に関する改善された視覚的フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
図９Ａ～図９Ｂにおける動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法８０００、１００００、１１０００、及び１２０００）に関して本明細書で記載されている他のプロセスの詳細は、また、図９Ａ～図９Ｂに関連して上述されている方法９０００に類似の方式で適用可能であることも留意されたい。例えば、方法９０００を参照して上述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、コントロール、移動、基準、三次元環境、表示生成コンポーネント、表面、物理的オブジェクトの表現、仮想オブジェクト、及び／又はアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法８０００、１００００、１１０００、及び１２０００）を参照して本明細書に記載されるジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、コントロール、移動、基準、三次元環境、表示生成コンポーネント、表面、物理的オブジェクトの表現、仮想オブジェクト、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１０は、いくつかの実施形態による、コンピュータシステムによって受信されるユーザのバイオメトリックデータの変化に従って、コンピュータ生成体験の環境を表示する没入レベルを変更する方法のフローチャートである。
いくつかの実施形態では、方法１００００は、コンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上のカメラ（例えば、カメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））は、ユーザの手又はユーザの頭部から前方に向くカメラである。いくつかの実施形態では、方法１００００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法１００００の一部の動作は、任意選択的に組み合わされ、及び／又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法１００００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０、表示生成コンポーネント７１００など）（例えば、ヘッドアップディスプレイ、ＨＭＤ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上の入力デバイス（例えば、カメラ、コントローラ、タッチ感知面、ジョイスティック、ボタンなど）と通信しているコンピュータシステム（例えば、図１のコンピュータシステム１０１）において実行される。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネントと同じハウジングに囲まれた１つ以上のプロセッサ及びメモリと、１つ以上の入力デバイスのうちの少なくともいくつかと、を有する統合デバイスである。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネント及び／又は１つ以上の入力デバイスとは別個の１つ以上のプロセッサ及びメモリを含むコンピューティングコンポーネントを含む。いくつかの実施形態では、表示生成コンポーネント及び１つ以上の入力デバイスは、同じハウジング内に統合され、かつ同じハウジングに囲まれている。
方法１００００では、コンピュータシステムは、第１のコンピュータ生成体験（例えば、アプリケーションユーザインタフェース、仮想体験、拡張現実体験、複合現実体験など）を第１の没入レベルで表示する（１０００２）（例えば、二次元アプリケーションユーザインタフェースを表示する、三次元環境の二次元ビューを表示する、ユーザの視野の小さい第１の部分を占有する三次元環境にウィンドウ又は視点を表示する、非空間音声を有するコンピュータ生成体験を表示するなど）（例えば、図７Ｇに示すように、コンピュータ生成体験の最小量の仮想コンテンツが表示され、物理的環境の表現がビュー７３１６を支配する）。第１の没入レベルで第１のコンピュータ生成体験を表示している間、コンピュータシステムは、第１のユーザ（例えば、図７Ｇ～図７Ｊのユーザ７００２）に対応する（例えば、第１の時点又は期間における第１のユーザの生理学的状態に対応する）バイオメトリックデータを（例えば、リアルタイムで、第１のユーザに接続された、又は向けられた１つ以上のバイオメトリックセンサ（例えば、様々な適切な医療デバイス、振動センサ、カメラ、熱センサ、化学センサなど）を通じて、など）受信する（１０００４）。いくつかの実施形態では、バイオメトリックデータは、平均的なユーザがコンピュータ生成体験に関与している期間にわたって典型的には変化しない、人間の非一次的特徴（例えば、指紋、虹彩パターン及び色、顔特徴、声紋など）を含まない。いくつかの実施形態では、バイオメトリックデータは、心拍数、呼吸数、体温、特定の化学物質、薬剤、ホルモンなどの血清濃度、血圧、脳波、集中度、瞳孔サイズ、代謝率、血糖値、ユーザがコンピュータ生成体験に関与している間に経時的に変化し得る１つ以上のタイプのバイオメトリックデータ、ユーザがコンピュータ生成体験に関与している間にユーザ自身のアクション（例えば、コンピュータシステムによって提供されるユーザインタフェース要素又は制御との直接相互作用とは対照的に、瞑想、呼吸パターン変化、エクササイズなど）を通じて変化し得る１つ以上のタイプのバイオメトリックデータ、ユーザの気分、幸福度、及び／又はストレスレベルなどに対応する複数のタイプのバイオメトリックデータの１つ以上のタイプの複合メトリックを含む。第１のユーザに対応する（例えば、第１の時点又は期間における第１のユーザの生理学的状態に対応する）バイオメトリックデータ（例えば、周期的に受信されたデータ、又は連続的に受信されたデータなど）を受信したこと（１０００６）に応じて、かつ、第１のユーザに対応する（例えば、第１の時点又は期間における第１のユーザの生理学的状態に対応する）バイオメトリックデータ（例えば、直近に受信されたバイオメトリックデータ、予め設定された期間の直近の期間にわたって受信されたバイオメトリックデータなど）が第１の基準を満たすという判定に従って、コンピュータシステムは、第１のコンピュータ生成体験を第２の没入レベルで表示し（１０００８）（例えば、第２の没入レベルは第１の没入レベルよりも没入感の高い体験を提供し、第２の没入レベルは第１の没入レベルよりも没入感の低い体験を提供するなど）、第２の没入レベルで表示された第１のコンピュータ生成体験は、第１の没入レベルで表示された第１のコンピュータ生成体験よりも第１のユーザの視野のより大きな部分（例えば、横方向により広い角度範囲、縦方向により広い角度範囲、より大きい視野サイズなど）を占有する（例えば、第１のユーザの視野のより大きな部分を占有する第１のコンピュータ生成体験は、任意選択的に、第１のコンピュータ生成体験が第１のユーザの視野のより小さな部分を占有する場合よりも没入感の高い体験を第１のユーザに提供する）。いくつかの実施形態では、第１の基準は、第１のユーザが精神的及び感情的に没入感の高い体験に入る準備ができていることを示すための予め設定された基準、第１のユーザがあまり没入感の高くない体験に出る準備ができていることを示すための予め設定された基準などを含む。これは図７Ｊに示されており、ビュー７３３４は、例えば、図７Ｇに示されるビュー７３１６よりも大きな空間範囲を占有するコンピュータ生成体験の仮想コンテンツを含む。いくつかの実施形態では、コンピュータシステムは、心拍数が第１の閾値心拍数よりも低く、呼吸数が第１の閾値呼吸数よりも低く、血圧が第１の閾値血圧よりも低く、ユーザの移動が閾値時間量の間に第１の閾値移動量よりも小さい、ユーザの体温が第１の閾値体温よりも低い、ストレスレベルのメトリックが第１の閾値ストレスレベルよりも低い、ユーザの気分に対応するメトリックがユーザがリラックスして幸せであることを示すなどの判定に従って、バイオメトリックデータが予め設定基準を満たすと判定する。いくつかの実施形態では、第１の没入レベル及び第２の没入レベルは、任意選択的に、コンピュータ生成体験のユーザのビューに存在する仮想要素の量、コンピュータ生成体験において可視のままである物理的表面の数、コンピュータ生成体験の音響効果を再生するために使用される音声出力モード、コンピュータ生成体験によって描写される現実感レベル、コンピュータ生成体験によって描写される次元数、及び／又はコンピュータ生成体験において利用可能にされる機能及び相互作用の数などが異なる。方法１００００において、第１のユーザに対応するバイオメトリックデータを受信したことに応じて、かつ第１のユーザに対応するバイオメトリックデータが第１の基準を満たさない（例えば、心拍数が第１の閾値心拍数よりも多い、血圧が第１の閾値血圧よりも高い、ユーザの移動が閾値時間量の間に第１の閾値移動量よりも大きい、ユーザの体温が第１の閾値体温よりも高い、ストレスレベルのメトリックが第１の閾値ストレスレベルを上回る、ユーザの気分に対応するメトリックがユーザが動揺して不満であることを示すなど）という判定に従って、コンピュータシステムは、第１の没入レベルで第１のコンピュータ生成体験を表示し続ける（１００１０）。これは図７Ｇに示されており、図７Ｇでは、バイオメトリックデータが閾値インジケータ７３２６を下回って変動する場合があり、ビュー７３１６が維持される。いくつかの実施形態では、任意選択的に、第１のコンピュータ生成体験は、第１のユーザから受信される対応するバイオメトリックデータが第１の基準を満たすであろう状態に第１のユーザが入ることを支援する視覚及び音声ガイダンス（例えば、音楽、風景、鼓舞メッセージ、投薬記録の案内、視覚、音声、又は口頭での呼吸指示など）を含む。これらの特徴は、例えば、図７Ｇ～図７Ｊに示されており、仮想コンテンツと物理的環境の表現との間の視覚的バランスは、ユーザ７００２に対応するバイオメトリックデータの変化に従って徐々に及び／又は急に変化する。仮想コンテンツと物理的環境の表現との間の視覚的バランス及び相対的な視覚的プロミネンスは、コンピュータ生成体験をユーザに提供する没入レベルを表す。
いくつかの実施形態では、第２の没入レベルで第１のコンピュータ生成体験を表示している、コンピュータシステムは、第１のユーザに対応する（例えば、コンピュータシステムが第２の没入レベルで第１のコンピュータ生成体験の表示に遷移した後の、第１の時点又は期間よりも後の第２の時点又は期間における第１のユーザの生理学的状態に対応する）第１の更新されたバイオメトリックデータを（例えば、リアルタイムで、第１のユーザに接続された又は向けられた１つ以上のバイオメトリックセンサ（例えば、様々な好適な医療デバイス、振動センサ、カメラ、熱センサ、化学センサなど）を通じて）受信する。いくつかの実施形態では、第１の更新されたバイオメトリックデータは、心拍数、呼吸数、体温、特定の化学物質、薬剤、ホルモンなどの血清濃度、血圧、脳波、集中度、瞳孔サイズ、代謝率、血糖値の第１の更新された値、ユーザがコンピュータ生成体験に関与している間に経時的に変化し得る１つ以上のタイプのバイオメトリックデータ、ユーザがコンピュータ生成体験に関与している間にユーザ自身のアクション（例えば、コンピュータシステムによって提供されるユーザインタフェース要素又はコントロールとの直接相互作用とは対照的に、瞑想、呼吸パターンの変化、エクササイズなど）を通じて変化し得る１つ以上のタイプのバイオメトリックデータ、ある期間後に受信されるユーザの気分、喜び、及び／又はストレスレベルなどに対応する複数のタイプのバイオメトリックデータの１つ以上のタイプの複合メトリックを含む。方法１００００において、コンピュータシステムは、第１のユーザに対応する（例えば、第１の時点又は期間よりも後の第２の時点又は期間における第１のユーザの生理学的状態に対応する）第１の更新されたバイオメトリックデータを受信したことに応じて、かつ第１のユーザに対応する（例えば、第１の時点又は期間よりも後の第２の時点又は期間における第１のユーザの生理学的状態に対応する）第１の更新されたバイオメトリックデータが第１の基準とは異なる（例えば、より制限的な、より満たすことが困難な）第２の基準を満たすという判定に従って、第１のコンピュータ生成体験を第３の没入レベルで表示し（例えば、第３の没入レベルは第２の没入レベルよりも没入感の高い体験を提供する第３の没入レベルは第２の没入レベルよりも没入感の低い体験を提供する、など）、第３の没入レベルで表示された第１のコンピュータ生成体験は、第２の没入レベルで表示された第１のコンピュータ生成体験よりも第１のユーザの視野のより大きな部分を占有する（例えば、第１のユーザの視野のより大きな部分を占有する第１のコンピュータ生成体験は、任意選択的に、第１のコンピュータ生成体験が第１のユーザの視野のより小さな部分を占有する場合よりも没入感の高い体験を第１のユーザに提供する）。いくつかの実施形態では、第１の没入レベル、第２の没入レベル、及び第３の没入レベルは、任意選択的に、コンピュータ生成体験のユーザのビューに存在する仮想要素の量、コンピュータ生成体験において可視のままである物理的表面の数、コンピュータ生成体験の音響効果を再生するために使用される音声出力モード、コンピュータ生成体験によって描写される現実感レベル、コンピュータ生成体験によって表される次元数、及び／又はコンピュータ生成体験において利用可能にされる機能及び相互作用の数などが異なる。方法１００００では、第１のユーザに対応する第１の更新されたバイオメトリックデータを受信したことに応じて、かつ第１のユーザに対応する第１の更新されたバイオメトリックデータが第１の基準を満たし、第２の基準を満たさない（例えば、心拍数が第１の閾値心拍数未満であるが第２の閾値心拍数よりも多い、血圧が第１の閾値血圧未満であるが第２の閾値血圧よりも高い、閾値時間の間のユーザの移動が第１の閾値移動量未満であるが第２の閾値移動量よりも大きい、ユーザの体温が第１の閾値体温未満であるが第２の閾値温度よりも高い、ストレスレベルのメトリックが閾値ストレスレベルよりも低いが第２の閾値ストレスレベルよりも高い、ユーザの気分に対応するメトリックが、ユーザがリラックスして幸せであるが、まだ集中しておらず安らかではないなどを示す）という判定に従って、コンピュータシステムは、第２の没入レベルで第１のコンピュータ生成体験を表示し続ける。いくつかの実施形態では、任意選択的に、第１のコンピュータ生成体験は、第１のユーザから受信される対応するバイオメトリックデータが第２の基準を満たすであろう状態に第１のユーザが入ることを支援する視覚及び音声ガイダンス（例えば、音楽、風景、鼓舞メッセージ、投薬記録の案内、視覚、音声、又は口頭での呼吸指示など）を含む。いくつかの実施形態では、第１、第２、及び第３の没入レベルは、コンピュータ生成環境内に存在する仮想コンテンツの量を増加させること、及び／又はコンピュータ生成環境内に存在する周囲の物理的環境の表現の量を減少させることに対応する。いくつかの実施形態では、第１、第２、及び第３の没入レベルは、コンピュータ生成コンテンツの増加した画像忠実度及び／又は空間範囲（例えば、角度範囲、空間深度など）、並びに周囲の物理的環境の表現の減少した画像忠実度及び／又は空間範囲を有する、コンテンツ表示の異なるモードに対応する。いくつかの実施形態では、第１の没入レベルは、物理的環境が第１の表示生成コンポーネントを介して（例えば、物理的環境のカメラビューとして、又は第１の表示生成コンポーネントの透明部分を介して）ユーザに完全に可視なパススルーモードであり、コンピュータ生成環境は、物理的環境のビューとして同時に可視な最小量の仮想要素を有する、又は物理的環境のユーザのビューの周辺の仮想要素（例えば、ディスプレイの周辺領域に表示されたインジケータ及びコントロール）を含む、物理的環境のパススルービューを含む。いくつかの実施形態では、第２の没入レベルは、物理的環境のパススルービューがコンピューティングシステムによって生成された仮想要素で拡張され、かつ、物理的環境のユーザのビューの中央部分に対応するコンピュータ生成環境内のポジションを有し、かつ／又は物理的環境内のロケーション及びオブジェクトに対応するコンピュータ生成環境内のポジションを有する（例えば、仮想コンテンツがコンピュータ生成環境のビュー内の物理的環境と統合される）複合現実モードである。いくつかの実施形態では、物理的環境のそのユーザのビューが第１の表示生成コンポーネントによって提供される仮想コンテンツのビューによって完全に置換される又は遮断される、仮想現実モードの第３の没入レベル。いくつかの実施形態では、異なる４つの没入レベルが存在し、第１の没入レベルは、第１の表示生成コンポーネントのパススルーモードに対応し、第２の没入レベルは、第１の表示生成コンポーネントの２つの別個のサブモードに対応する２つのサブレベルＡ及びＢ（例えば、物理的環境のパススルービューがユーザインタフェース又はユーザインタフェースオブジェクトの背景に表示されている間にユーザインタフェース又はユーザインタフェースオブジェクトがユーザの視野の主要部分に表示されている第２のレベル－Ａ、及び仮想要素が物理的環境の拡張現実ビュー内の物理的環境内の物理的オブジェクトの表現と統合される第２のレベル－Ｂ）を含み、第３の没入レベルは、第１の表示生成コンポーネントの仮想現実モードに対応する。
第１のユーザに対応する第１の更新されたバイオメトリックデータが第１の基準とは異なる第２の基準を満たすという判定に従って、第２の没入レベルで表示される第１のコンピュータ生成体験よりも第１のユーザの視野のより大きな部分を占有する第３の没入レベルで第１のコンピュータ生成体験を表示し、第１のユーザに対応する第１の更新されたバイオメトリックデータが第１の基準を満たし、第２の基準を満たさないという判定に従って、第２の没入レベルで第１のコンピュータ生成体験を表示し続けることは、更なるユーザ入力（例えば、没入レベルを変更するための更なるユーザ入力）を必要とすることなく、条件のセットが満たされたとき、第３の没入レベルで第１のコンピュータ生成体験を表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、個別の没入レベル（例えば、第２の没入レベル、第３の没入レベルなど）で第１のコンピュータ生成体験を表示している、コンピュータシステムは、第１のユーザに対応する（例えば、コンピュータシステムは、低い没入レベルから個別の没入レベルで第１のコンピュータ生成体験の表示に遷移した後、第１の時点若しくは期間及び／又は第２の時点若しくは期間よりも後の第３の時点若しくは期間における第１のユーザの生理学的状態に対応する）第２の更新されたバイオメトリックデータを受信し、個別の没入レベルで表示される第１のコンピュータ生成体験は、第１の没入レベルよりも第１のユーザの視野のより大きな部分を占有する（例えば、個別の没入レベルは第２の没入レベル又は第３の没入レベルである）。いくつかの実施形態では、第２の更新されたバイオメトリックデータは、心拍数、呼吸数、体温、特定の化学物質、薬剤、ホルモンなどの血清濃度、血圧、脳波、集中度、瞳孔サイズ、代謝率、血糖値、ユーザがコンピュータ生成体験に関与している間に経時的に変化し得る１つ以上のタイプのバイオメトリックデータ、ユーザがコンピュータ生成体験に関与している間にユーザ自身のアクション（例えば、コンピュータシステムによって提供されるユーザインタフェース要素又は制御との直接相互作用とは対照的に、瞑想、呼吸パターンの変化、エクササイズなど）を通じて変化し得る１つ以上のタイプのバイオメトリックデータ、ある期間後に受信されるユーザの気分、幸福度、及び／又はストレスレベルなどに対応する複数のタイプのバイオメトリックデータの１つ以上のタイプの複合メトリックに関する第２の更新された値を含む。第１のユーザに対応する（例えば、第１の時点若しくは期間及び／又は第２の時点若しくは期間よりも後の第３の時点若しくは期間における第１のユーザの生理学的状態に対応する）第２の更新されたバイオメトリックデータを受信したことに応じて、かつ第１のユーザに対応する（例えば、第１の時点若しくは期間よりも後の第２の時点若しくは期間における第１のユーザの生理学的状態に対応する）第２の更新されたバイオメトリックデータが、個別の没入レベル（例えば、第２の没入レベル、第３の没入レベルなど）を有する第１のコンピュータ生成体験の表示に遷移するために満たされた個別の基準（例えば、第１の基準、第２の基準など）を満たさないという判定に従って、コンピュータシステムは、個別の没入レベル（例えば、第２の没入レベル、第３の没入レベルなど）を有する第１のコンピュータ生成体験を表示する前に使用されるより低い没入レベル（例えば、第１の没入レベル、第２の没入レベルなど）を有する第１のコンピュータ生成体験を表示する。いくつかの実施形態では、第１の表示生成コンポーネントを介して表示されるコンピュータ生成環境の没入レベルを変更することは、現在受信されているバイオメトリックデータがもはや第２の基準を満たさないが、依然として第１の基準を満たすという判定に従って、第３の没入レベル（例えば、仮想現実モード）を有するコンピュータ生成環境の表示から、第２の没入レベル（例えば、複合現実モード、又は任意選択的に仮想現実コンテンツの同時表示を伴う一時的パススルーモード）を有するコンピュータ生成環境の表示に切り替えることを含む。いくつかの実施形態では、コンピュータ生成環境が第２の没入レベルで現在表示されており、かつ、コンピュータシステムが、現在のバイオメトリックデータがもはや第１の基準を満たさず、第２の基準を満たさないことを検出したときに、コンピューティングシステムは、コンピュータ生成環境を第１の没入レベルで表示することからコンピュータ生成環境を第２の没入レベルで表示することに切り替える（例えば、完全なパススルーモードから複合現実モード（例えば、複合現実モードのサブモードＡ）に切り替える、又はグラフィカルユーザインタフェース（例えば、ホーム画面、アプリケーション起動ユーザインタフェース）若しくはユーザインタフェースオブジェクト（例えば、アプリケーション起動アイコン、コンテンツアイテム及び体験の表現など）の表示をユーザの視野の主要部分に表示させる）。例えば、図７Ｊにおいて、いくつかの実施形態によれば、バイオメトリックデータ７３１２がインジケータ７３２６によって示される予め設定された閾値を満たすことに応じて、コンピュータ生成体験が高い没入レベルで表示された後、バイオメトリックデータが予め設定された閾値をもはや満たさないとき、コンピュータシステムは、任意選択的に、図７Ｇ～７Ｉに示される状態のいずれかに戻る。
第１のユーザに対応する第２の更新されたバイオメトリックデータが、個別の没入レベルで第１のコンピュータ生成体験を表示することに遷移するために満たされた個別の基準を満たさないという判定に従って、個別の没入レベルで第１のコンピュータ生成体験を表示する前に使用されるよりも低い没入レベルで第１のコンピュータ生成体験を表示することは、更なるユーザ入力（例えば、没入レベルを選択するための更なるユーザ入力）を必要とせずに条件のセットが満たされたときに、適切な没入レベルで第１のコンピュータ生成体験を表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、バイオメトリックデータ（例えば、図７Ｇ～図７Ｊのバイオメトリックデータ７３１２）は、第１のユーザの呼吸速度を含み、第１の基準は、第１の基準が満たされるために第１のユーザの呼吸速度が第１の閾値呼吸速度未満であるときに満たされる基準を含む。いくつかの実施形態では、呼吸速度などのバイオメトリックデータは、第１のユーザが、コンピュータシステムによって提供されるより深い没入型体験に入り、第１のユーザを取り囲む物理的環境からより少ない刺激を受ける準備ができているかどうかのインジケーションとして使用される。いくつかの実施形態では、より少ない呼吸速度は、任意選択的に、他のタイプのバイオメトリックデータと組み合わせて、ユーザがコンピュータ生成体験によって提供される誘導型瞑想の次の段階に移動する準備ができていることを示すために使用される。いくつかの実施形態では、バイオメトリックデータは、他のタイプの生理学的データを含み、第１の基準は、他のタイプの生理学的データのそれぞれのデータに対するそれぞれの閾値を含む。いくつかの実施形態では、少なくとも閾値数のバイオメトリックデータタイプについてのそれぞれの閾値は、第１の基準が満たされるように満たされなければならない。いくつかの実施形態では、第２の基準は、第２の基準が満たされるために、第１のユーザの呼吸速度が、第１の呼吸速度よりも低い第２の閾値呼吸速度を下回るときに満たされる基準を含む。いくつかの実施形態では、異なるタイプのバイオメトリックデータのための異なる（必ずしもより低いとは限らない）値が、第２の基準の閾値のために使用される。
第１のユーザの呼吸速度を含む、第１のユーザに対応するバイオメトリックデータが、第１のユーザの呼吸速度が第１の閾値呼吸速度未満であることを必要とする第１の基準を満たさないという判定に従って、第２の没入レベルで第１のコンピュータ生成体験を表示し、第１のユーザの呼吸速度を含む、第１のユーザに対応するバイオメトリックデータが、第１のユーザの呼吸速度が第１の閾値呼吸速度未満であることを必要とする第１の基準を満たさないという判定に従って、第１の没入レベルで第１のコンピュータ生成体験を表示し続けることは、更なるユーザ入力（例えば、没入レベルを選択するための更なるユーザ入力）を必要とせずに条件のセットが満たされたとき、適切な没入レベルで第１のコンピュータ生成体験を表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の基準は、バイオメトリックデータ（例えば、図７Ｇ～図７Ｊのバイオメトリックデータ７３１２、他のバイオメトリックデータなど）が、第１の基準が満たされるために、少なくとも閾値時間量の、１つ以上の予め設定された閾値（例えば、インジケータ７３２６によって示される閾値、他の閾値など）を満たすという要件を含む。例えば、いくつかの実施形態では、バイオメトリックデータは、第１のユーザの呼吸速度及び／又は第１のユーザの心拍数を含み、第１の基準は、第１のユーザの平均呼吸速度が少なくとも３分間にわたって１５呼吸／分未満のままである、及び／又は第１のユーザの平均心拍数が少なくとも５分間にわたって６５拍動／分未満のままであるときに満たされる。別の例では、バイオメトリックデータは、第１のユーザの血圧及び／又は第１のユーザの酸素濃度を含み、第１の基準は、第１のユーザの平均血圧が、少なくとも１０分、１２０／８０の第１の範囲（例えば、＋／－１０）のままであり、及び／又は第１のユーザの酸素濃度が、少なくとも３分間、９９．９％を上回ったままであるときに満たされる。
第１のユーザに対応するバイオメトリックデータが、少なくとも閾値時間量必要とする第１の基準を満たすという判定に従って、第２の没入レベルで第１のコンピュータ生成体験を表示し、第１のユーザに対応する、第１のユーザの呼吸速度を含むバイオメトリックデータが、少なくとも閾値時間にわたって、１つ以上の予め設定された閾値を満たすことを必要とする第１の基準を満たさないという判定に従って、第１の没入レベルで第１のコンピュータ生成体験を表示し続けることは、更なるユーザ入力（例えば、没入レベルを選択するための更なるユーザ入力）を必要とすることなく、条件のセットが満たされたときに、適切な没入レベルで第１のコンピュータ生成体験を表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の没入レベルで第１のコンピュータ生成体験を表示することは、物理的環境の１つ以上の第１の部分のロケーションに対応するそれぞれの第１のポジションに仮想コンテンツ（例えば、任意選択的に経時的に変化している第１のコンピュータ生成体験の仮想コンテンツ）を表示することを含む（例えば、仮想コンテンツは、仮想コンテンツが表示されなかった場合にユーザの視野内にあったはずの物理的環境の第１の部分（例えば、単一の連続部分、又は複数の別個のばらばらの部分など）の表現に重なる、その表現の表示を置換する、又はその表現のビューを遮断するなど）（例えば、物理的環境の１つ以上の第２の部分（第１の部分とは異なる）の表現の表示（例えば、それぞれの第２のポジションで）を維持している間（例えば、物理的環境の部分は、表示生成コンポーネントを介してユーザに対して（例えば、仮想コンテンツに隣接して、仮想コンテンツの周囲背景としてなど）可視のままである）、物理的環境の拡張現実ビューを表示する、又はいくつかのユーザインタフェースオブジェクトを有する物理的環境の完全なパススルービューを表示する）。いくつかの実施形態では、第１の没入レベルで第１のコンピュータ生成体験を表示することは、物理的環境の表現（例えば、カメラビュー、透明ディスプレイを通じたパススルービューなど）に重ねられる、物理的環境の表現の表示を置換する、又は物理的環境の表現のビューを遮断する、仮想ウィンドウ又は画面内に仮想コンテンツを表示することを含む。いくつかの実施形態では、第１の没入レベルで第１のコンピュータ生成体験を表示することは、物理的環境内の第１の物理的表面（例えば、現実の窓、壁、テーブル上面など）又は第１の数の（例えば、全てよりも少ない）物理的表面（例えば、天井及び床ではなく全ての壁、家具ではなく全ての壁、天井及び床、壁ではなくテーブル上面など）のロケーションに対応するポジションに仮想コンテンツを表示することを含む。第２の没入レベルで第１のコンピュータ生成体験を表示することは、物理的環境の１つ以上の第１の部分（例えば、ユーザの視野の中心付近の部分）のロケーションに対応するそれぞれの第１のポジション、及び物理的環境の１つ以上の第２の部分（例えば、ユーザの視野の中心からより離れた部分）の少なくとも一部に対応するそれぞれの第２のポジションに仮想コンテンツ（例えば、任意選択的に経時的に変化している第１のコンピュータ生成体験の仮想コンテンツ）を表示することを含む（例えば、第２の没入レベルでは、表示生成コンポーネントを通じてユーザに可視のままである物理的環境の部分がより少ない）。いくつかの実施形態では、第２の没入レベルで第１のコンピュータ生成体験を表示することは、物理的環境の表現（例えば、カメラビュー、透明ディスプレイを通じたパススルービューなど）のより多くの又はより広い部分上に重ねられる、その表示を置換する、又はそのビューを遮断するなどの仮想オブジェクトを有する三次元環境内に仮想コンテンツを表示することを含む。いくつかの実施形態では、第２の没入レベルで第１のコンピュータ生成体験を表示することは、物理的環境内のより多くの物理的表面及び／又はより多くのタイプの物理的表面（例えば、現実の窓、壁、テーブル上面、家具など）のロケーションに対応するポジションに仮想コンテンツを表示することを含む。いくつかの実施形態では、第３の没入レベルで第１のコンピュータ生成体験を表示することは、物理的環境の任意の部分の表現を表示することなく仮想環境を表示すること（例えば、仮想現実環境を表示すること）を含む。いくつかの実施形態では、仮想環境は依然として物理的環境に対応し、例えば、仮想環境内の仮想オブジェクト及び表面のロケーション及び空間関係は依然として、物理的環境内の少なくともいくつかの物理的オブジェクト及び表面のロケーション及び空間関係に対応する。いくつかの実施形態では、仮想環境は、最小限の範囲（例えば、重力の方向及び床の向きなど）を除いて、物理的環境に対応しない。いくつかの実施形態では、第１の没入レベルで表示される第１のコンピュータ生成体験は拡張現実体験であり、第２の没入レベルで表示される第１のコンピュータ生成体験は仮想体験である。
物理的環境の１つ以上の第２の部分の表現の表示を維持している間、物理的環境の１つ以上の第１の部分のロケーションに対応するそれぞれの第１のポジションに仮想コンテンツを表示することを含む、第１の没入レベルで第１のコンピュータ生成体験を表示することと、物理的環境の１つ以上の第１の部分のロケーションに対応するそれぞれの第１のポジション及び物理的環境の１つ以上の第２の部分の少なくともいくつかに対応するそれぞれの第２のポジションに仮想コンテンツを表示することを含む、第２の没入レベルで第１のコンピュータ生成体験を表示することとは、ユーザに改善された視覚的フィードバック（例えば、現在の没入レベルに関する改善された視覚的フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザに対応する（例えば、第１の時点又は期間における第１のユーザの生理学的状態に対応する）バイオメトリックデータ（例えば、図７Ｇ～図７Ｊのバイオメトリックデータ７３１２、又は他のバイオメトリックデータ）（例えば、周期的に受信されたデータ、又は連続的に受信されたデータなど）を受信したことに応じて、かつ第１のユーザに対応する（例えば、第１の時点又は期間における第１のユーザの生理学的状態に対応する）バイオメトリックデータ（例えば、直近に受信されたバイオメトリックデータ、予め設定された持続時間の直近の期間にわたって受信されたバイオメトリックデータなど）の変化が第１の基準を満たすように進行している（例えば、心拍数が第１の閾値心拍数に近づくように減速している、呼吸数が第１の閾値呼吸数に近づくように減速している、体温が第１の閾値体温に近づくように減少している、特定の化学物質、薬剤、ホルモンなどの血清濃度、血圧、脳波、集中度、瞳孔サイズ、代謝率、血糖値、及びコンピュータ生成体験へのユーザの関与中に経時的に変動し得る１つ以上のタイプのバイオメトリックデータ、コンピュータ生成体験へのユーザの関与中にユーザ自身のアクションを通じて変動し得る１つ以上のタイプのバイオメトリックデータ（例えば、コンピュータシステムによって提供されるユーザインタフェース要素又はコントロールとの直接的相互作用とは対照的に、瞑想、呼吸パターンの変化、エクササイズなど）、ユーザの気分、幸福度、及び／又はストレスレベルなどに対応する複数のタイプのバイオメトリックデータの１つ以上のタイプの複合メトリックが、継続すると第１の基準が満たされる傾向を伴って変化している）という判定に従って、コンピュータシステムは、第１のコンピュータ生成体験が第１の没入レベルで表示されている間に第１の表示生成コンポーネントを介して可視であった物理的環境の表現の少なくとも一部の視覚的強調を徐々に低減し（例えば、ぼかす、暗くする、遮断する、置換する、オーバーレイなど）、第２の没入レベルで第１のコンピュータ生成体験を表示することは、物理的環境の表現の一部が第１の表示生成コンポーネントを介して可視であることを停止するように、物理的環境の表現の一部に対応するポジションに第１のコンピュータ生成体験の仮想コンテンツを表示することを含む。例えば、いくつかの実施形態では、第１のコンピュータ生成体験が第１の没入レベルで表示されるとき、第１のユーザに面する物理的な壁の表現（例えば、壁のパススルービュー又はカメラビュー）は、仮想壁（例えば、仮想壁紙を有する）、仮想窓（例えば、仮想ビューを有する）、仮想風景（例えば、開放海洋ビュー、開放風景など）、仮想デスクトップ、仮想映画スクリーンなどによって遮断される、置換される、又は重ねられるが、室内の他の物理的な壁、天井、床、家具は、表示生成コンポーネントを通じてユーザに対して依然として可視である。第１のユーザから受信されたバイオメトリックデータが第１の基準を満たすとき、コンピュータシステムは、依然として可視である物理的環境の表現の部分を徐々にぼやかし、及び／又は暗くし、それらを仮想コンテンツで置換する（例えば、既存の仮想コンテンツを拡張する、新しい仮想コンテンツを追加するなど）。いくつかの実施形態では、コンピュータシステムは、仮想壁紙、仮想部屋装飾、仮想風景、仮想映画スクリーン、仮想デスクトップなどの仮想コンテンツを表示し、これは、物理的環境の表現のぼやけた部分及び／又は暗くなった部分を徐々に置換する（例えば、物理的環境の表現の部分の後ろからフェードインする、又は物理的環境の表現の部分の周囲領域からクリープインするなど）。遷移が完了すると、第１のコンピュータ生成体験のユーザの視野は拡大されており、表示生成コンポーネントを介して見える物理的環境が少なくなる。
第１のコンピュータ生成体験が第１の没入レベルで表示されている間に第１の表示生成コンポーネントを介して視認可能であった物理的環境の表現の少なくとも一部の視覚的強調を徐々に低減することと、第２の没入レベルで第１のコンピュータ生成体験を表示することとは、第１のユーザに対応するバイオメトリックデータの変化が第１の基準を満たすことに向かって進行しているという判定に従って、物理的環境の表現の一部が第１の表示生成コンポーネントを介して視認可能であることを停止するように物理的環境の表現の一部に対応するポジションに第１のコンピュータ生成体験の仮想コンテンツを表示することを含み、ユーザに改善された視覚的フィードバック（例えば、第１のユーザに対応するバイオメトリックデータが第１の基準を満たすことに向かって進行しているという改善された視覚的フィードバック、第１のユーザに対応するバイオメトリックデータが第１の基準を満たすことに向かう相対的な進行に関する視覚的フィードバックなど）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザに対応する（例えば、第１の時点又は期間における第１のユーザの生理学的状態に対応する）バイオメトリックデータ（例えば、図７Ｇ～図７Ｊのバイオメトリックデータ７３１２、又は他のバイオメトリックデータ）（例えば、周期的に受信されたデータ、又は連続的に受信されたデータなど）を受信したことに応じて、かつ第１のユーザに対応する（例えば、第１の時点又は期間における第１のユーザの生理学的状態に対応する）バイオメトリックデータ（例えば、直近に受信されたバイオメトリックデータ、予め設定された持続時間の直近の期間にわたって受信されたバイオメトリックデータなど）の変化が第１の基準を満たすように進行している（例えば、心拍数が第１の閾値心拍数に近づくように減速している、呼吸数が第１の閾値呼吸数に近づくように減速している、体温が第１の閾値体温に近づくように減少している、特定の化学物質、薬剤、ホルモンなどの血清濃度、血圧、脳波、集中度、瞳孔サイズ、代謝率、血糖値、及びコンピュータ生成体験へのユーザの関与中に経時的に変動し得る１つ以上のタイプのバイオメトリックデータ、コンピュータ生成体験へのユーザの関与中にユーザ自身のアクションを通じて変動し得る１つ以上のタイプのバイオメトリックデータ（例えば、コンピュータシステムによって提供されるユーザインタフェース要素又はコントロールとの直接相互作用とは対照的に、瞑想、呼吸パターンの変化、エクササイズなど）、ユーザの気分、幸福度、及び／又はストレスレベルなどに対応する複数のタイプのバイオメトリックデータの１つ以上のタイプの複合メトリックが、継続すると第１の基準が満たされる傾向を伴って変化している）という判定に従って、コンピュータシステムは、第１のコンピュータ生成体験が第１の没入レベルで表示されている間に第１の表示生成コンポーネントを介して可視であった物理的環境の表現の少なくとも一部の視覚的特性を、第１のユーザに対応するバイオメトリックデータの変化に対応する量だけ変更する（例えば、ぼかす、暗くする、遮断する、置換する、重ね合わせるなど）。例えば、いくつかの実施形態では、第１のコンピュータ生成体験が第１の没入レベルで表示されるとき、第１のユーザに面する物理的な壁の表現（例えば、壁のパススルービュー又はカメラビュー）は、仮想壁（例えば、仮想壁紙を有する）、仮想窓（例えば、仮想ビューを有する）、仮想風景（例えば、開放海洋ビュー、開放風景など）、仮想デスクトップ、仮想映画スクリーンなどによって遮断される、置換される、又は重ねられるが、室内の他の物理的な壁、天井、床、家具は、表示生成コンポーネントを通じてユーザに対して依然として可視である。第１のユーザから受信されたバイオメトリックデータが、第１の基準を満たす傾向を伴って変化するとき、コンピュータシステムは、仮想コンテンツによってまだ覆われていないユーザの視野のエリアに適用されるぼかし及び／又は暗化の量を徐々に強化する。任意選択的に、バイオメトリックデータが反対の傾向で変化する場合、ぼかし及び／又は暗化の量は徐々に低減され、それらのエリア内の物理的環境のビューの鮮明度は再び改善する。
第１のユーザに対応するバイオメトリックデータの変化が第１の基準を満たすことに向かって進行しているという判定に従って、第１のコンピュータ生成体験が第１の没入レベルで表示されている間に第１の表示生成コンポーネントを介して視認可能であった物理的環境の表現の少なくとも一部の視覚的特性を、第１のユーザに対応するバイオメトリックデータの変化に対応する量だけ変化させることは、ユーザに改善された視覚的フィードバック（例えば、第１のユーザに対応するバイオメトリックデータが第１の基準を満たすことに向かって進行しているという改善された視覚的フィードバック、第１のユーザに対応するバイオメトリックデータが第１の基準を満たすことに向かう相対的な進行に関する改善された視覚的フィードバックなど）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
くつかの実施形態では、第１のユーザに対応する（例えば、第１の時点又は期間における第１のユーザの生理学的状態に対応する）バイオメトリックデータ（例えば、図７Ｇ～図７Ｊのバイオメトリックデータ７３１２、又は他のバイオメトリックデータ）（例えば、周期的に受信されたデータ、又は連続的に受信されたデータなど）を受信したことに応じて、かつ第１のユーザに対応する（例えば、第１の時点又は期間における第１のユーザの生理学的状態に対応する）バイオメトリックデータ（例えば、直近に受信されたバイオメトリックデータ、予め設定された持続時間の直近の期間にわたって受信されたバイオメトリックデータなど）の変化が第１の基準を満たすように進行している（例えば、心拍数が第１の閾値心拍数に近づくように減速している、呼吸数が第１の閾値呼吸数に近づくように減速している、体温が第１の閾値体温に近づくように減少している、特定の化学物質、薬剤、ホルモンなどの血清濃度、血圧、脳波、集中度、瞳孔サイズ、代謝率、血糖値、及びコンピュータ生成体験へのユーザの関与中に経時的に変動し得る１つ以上のタイプのバイオメトリックデータ、コンピュータ生成体験へのユーザの関与中にユーザ自身のアクションを通じて変動し得る１つ以上のタイプのバイオメトリックデータ（例えば、コンピュータシステムによって提供されるユーザインタフェース要素又はコントロールとの直接相互作用とは対照的に、瞑想、呼吸パターンの変化、エクササイズなど）、ユーザの気分、幸福度、及び／又はストレスレベルなどに対応する複数のタイプのバイオメトリックデータの１つ以上のタイプの複合メトリックが、継続すると第１の基準が満たされる傾向を伴って変化している）という判定に従って、コンピュータシステムは、第１のコンピュータ生成体験が第１の没入レベルで表示されている間に第１の表示生成コンポーネントを介して可視であった物理的環境の表現の少なくとも一部に、第１のユーザに対応するバイオメトリックデータの変化の量だけ仮想コンテンツの表示を拡張する（例えば、遮断する、置換する、重ね合わせるなど）。例えば、いくつかの実施形態では、第１のコンピュータ生成体験が第１の没入レベルで表示されるとき、第１のユーザに面する物理的な壁の表現（例えば、壁のパススルービュー又はカメラビュー）は、仮想壁（例えば、仮想壁紙を有する）、仮想窓（例えば、仮想ビューを有する）、仮想風景（例えば、開放海洋ビュー、開放風景など）、仮想デスクトップ、仮想映画スクリーンなどによって遮断される、置換される、又は重ねられるが、室内の他の物理的な壁、天井、床、家具の表現は、依然として表示生成コンポーネントを介してユーザに対して表示される。第１のユーザから受信されたバイオメトリックデータが、第１の基準を満たす傾向を伴って変化するとき、コンピュータシステムは、仮想コンテンツによって覆われるユーザの視野の面積を徐々に拡大し、周囲の物理的環境のビューのより多くを遮断する。任意選択的に、バイオメトリックデータが反対の傾向で変化する場合、以前に遮断された／覆われたエリアは徐々に復元され、それらのエリア内の物理的環境のビューを再び明らかにする。
第１のユーザに対応するバイオメトリックデータの変化が第１の基準を満たすことに向かって進行しているという判定に従って、第１のコンピュータ生成体験が第１の没入レベルで表示されている間に第１の表示生成コンポーネントを介して可視であった物理的環境の表現の少なくとも一部分上への仮想コンテンツの表示を、第１のユーザに対応するバイオメトリックデータの変化に対応する量だけ拡大することは、ユーザに改善された視覚的フィードバック（例えば、第１のユーザに対応するバイオメトリックデータが第１の基準を満たすことに向かって進行しているという改善された視覚的フィードバック、第１のユーザに対応するバイオメトリックデータが第１の基準を満たすことに向かう相対的な進行に関する改善された視覚的フィードバックなど）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の基準は、第１の基準が満たされるためにバイオメトリックデータ（例えば、図７Ｇ～図７Ｊのバイオメトリックデータ７３１２、又は他のバイオメトリックデータなど）が受信されているときに、第１のユーザ（例えば、図７Ｇ～図７Ｊのユーザ７００２、又は別のユーザなど）が第１のタイプの閾値移動量未満（例えば、閾値時間量の間の第１のタイプの予め設定された閾値移動量未満、第１のタイプの閾値累積移動量未満、第１のタイプの移動の絶対量未満など）を行うという基準を含む（例えば、第１のタイプの移動は、頭部の移動、身体の中心の移動、四肢の移動、及び／又は目の移動などを含む）。例えば、いくつかの実施形態では、受信されるバイオメトリックデータが有効であることを確実にするために、及び／又は第１のユーザが落ち着いてコンピュータ生成体験のより高い没入レベルに入ることを確実にするために、第１のユーザは、バイオメトリックデータが受信及び評価されるとき、実質的に静止したままであること必要がある。いくつかの実施形態では、閾値時間量の間に第１のユーザの閾値移動量を超える移動が検出された場合、コンピュータシステムは、バイオメトリックデータが第１の基準においてバイオメトリックデータに対して指定された要件（例えば、呼吸数、心拍数などに対する閾値）を満たす場合であっても、第２の没入レベル（又は別の次の没入レベル）を有する第１のコンピュータ生成体験の表示を（例えば、取りやめる、停止する、反転させるなど）。
第１のユーザに対応するバイオメトリックデータが、バイオメトリックデータが受信されているときに第１のユーザが第１のタイプの閾値移動量未満の移動をすることを必要とする第１の基準を満たすという判定に従って、第２の没入レベルで第１のコンピュータ生成体験を表示し、第１のユーザに対応する、第１のユーザの呼吸速度を含むバイオメトリックデータが、バイオメトリックデータが受信されているときに第１のユーザが第１のタイプの閾値移動量未満の移動をすることを必要とする第１の基準を満たさないという判定に従って、第１の没入レベルで第１のコンピュータ生成体験を表示し続けることは、更なるユーザ入力（例えば、没入レベルを選択するための更なるユーザ入力）を必要とせずに、条件のセットが満たされたときに、適切な没入レベルで第１のコンピュータ生成体験を表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第２の没入レベルで第１のコンピュータ生成体験を表示している間、コンピュータシステムは、第１のユーザ（例えば、図７Ｇ～図７Ｊのユーザ７００２、別のユーザなど）によって実行されている第１のタイプの移動（例えば、頭部の移動、身体の中心の移動、四肢の移動、目の移動など）を検出する。第１のユーザによって実行されている第１のタイプの移動を検出したことに応じて、かつ第１のタイプの移動が予め設定された閾値移動量を超える（例えば、閾値時間中の予め設定された閾値移動量を超える、累積移動量を超える、絶対移動量を超えるなど）という判定に従って、コンピュータシステムは、第１の没入レベルで第１のコンピュータ生成体験を再表示する。例えば、いくつかの実施形態では、第１のユーザから受信されたバイオメトリックデータが第１の基準を満たした後、第１のコンピュータ生成体験が第２の没入レベルで表示されている間、第１のユーザが１つ以上の予め設定された方法（例えば、第１のユーザが立った、頭を動かした、腕を伸ばした、視線を動かしたなど）で閾値量を超えて移動した場合、コンピュータシステムは、第１のユーザの移動を、より没入レベルの高い体験を終了する意図として解釈し、以前に表示されたより没入レベルの低いコンピュータ生成体験に戻る。この特徴は、第１のユーザが瞑想又は睡眠のためにコンピュータ生成体験を使用しているときに有用であり、第１のユーザの移動は、ユーザが正常状態に戻ることを可能にする。いくつかの実施形態では、受信されるバイオメトリックデータが有効であることを確実にするために、及び／又は第１のユーザがコンピュータ生成体験のより没入型のレベルに入るように落ち着きたいことを確実にするために、第１のユーザは、バイオメトリックデータが受信及び評価されるとき、実質的に静止したままであることを必要とされる。いくつかの実施形態では、閾値時間中に第１のユーザの閾値移動量を超える移動が検出された場合、コンピュータシステムは、バイオメトリックデータが第１の基準においてバイオメトリックデータに対して指定された要件（例えば、呼吸数、心拍数などに対する閾値）を依然として満たすかどうかにかかわらず、第２の没入レベル（又は次の没入レベルが何であれ）を有する第１のコンピュータ生成体験の表示を停止又は反転させる。
第１のユーザによって実行されている第１のタイプの移動を検出したことに応じて、かつ第１のタイプの移動が予め設定された閾値移動量を超えるという判定に従って、第１の没入レベルで第１のコンピュータ生成体験を再表示することは、更なるユーザ入力（例えば、第１の没入レベルを選択するための更なるユーザ入力）を必要とすることなく、条件のセットが満たされたときに、第１の没入レベルで第１のコンピュータ生成体験を再表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、（例えば、図７Ｊに示すように）第２の没入レベルで第１のコンピュータ生成体験を表示している間、コンピュータシステムは、第１のユーザ（例えば、図７Ｊのユーザ７００２）によって行われている第１のタイプの移動（例えば、頭部の移動、身体の中心の移動、四肢の移動、目の移動など）を検出する。第１のユーザによって実行されている第１のタイプの移動を検出したことに応じて、かつ第１のタイプの移動が予め設定された閾値移動量を超える（例えば、閾値時間量の間の予め設定された閾値移動量を超える、蓄量な移動を超える、絶対的な移動量を超えるなど）という判定に従って、コンピュータシステムは、第１の視点で第２の没入レベルで第１のコンピュータ生成体験を表示することから、第１の視点とは異なる第２の視点で第２の没入レベルで第１のコンピュータ生成体験を表示することに切り替える（例えば、第２の没入レベルで第１のコンピュータ生成体験の視点の変化は、第１のユーザによって実行される第１のタイプの移動に対応する）。例えば、バイオメトリックデータの変化によってより没入的な体験がトリガされると、第１のユーザは、仮想環境のビューが表示される視点を変更するために、物理的環境内で動き回る、自分の頭を回転させる、又は異なる方向を見ることができる。
第１のユーザによって実行されている第１のタイプの移動を検出したことに応じて、かつ第１のタイプの移動が予め設定された閾値移動量を超えるという判定に従って、第１の視点で第２の没入レベルで第１のコンピュータ生成体験を表示することから、第１の視点とは異なる第２の視点で第２の没入レベルで第１のコンピュータ生成体験を表示することへ切り替えることは、更なるユーザ入力（例えば、第１の視点から第２の視点に変更するための更なるユーザ入力）を必要とせずに、条件のセットが満たされたときに表示される視点を切り替える。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のコンピュータ生成体験（例えば、図７Ｇ～図７Ｊの第１の表示生成コンポーネント７１００を介して示されるコンピュータ生成体験、別のコンピュータ生成体験など）を第１の没入レベルで表示することから、第１のコンピュータ生成体験を第２の没入レベルで表示することへの遷移は、第１の基準が満たされた時間に対応する時点で行われる不連続の遷移（例えば、徐々にぼやけたりフェードインしたりすることなく、物理的表面に対応するポジションを横切る１つ以上の方向に沿って増分的に変化することなく、仮想コンテンツを有する物理的環境の表現の大部分を同時に置換したり、その部分のビューを遮断したり、及び／又はその部分に重ね合わされる急激な変化）である。例えば、いくつかの実施形態では、第１のコンピュータ生成体験は、第１の基準が満たされる前に、延長された期間にわたって第１の没入レベルで表示され、第１の基準がバイオメトリックデータによって満たされると、第２の没入レベルで表示された第１のコンピュータ生成体験が、第１の没入レベルで表示された第１のコンピュータ生成体験を置換するときに示される明確かつ突然の視覚的変化が生じる。
第１の没入レベルでの第１のコンピュータ生成体験の表示から第２の没入レベルでの第１のコンピュータ生成体験の表示への遷移は、第１の基準が満たされる時間に対応する時点で行われる不連続の遷移によって、改善された視覚的フィードバック（例えば、コンピュータシステムが第１の没入レベルから第２の没入レベルに遷移したという改善された視覚的フィードバック、第１の基準が満たされたという改善された視覚的フィードバックなど）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の没入レベルで表示される第１のコンピュータ生成体験は、第１の仮想環境を描写し、第２の没入レベルで表示される第１のコンピュータ生成体験は、第１の仮想環境よりも大きい仮想深度を有する第２の仮想環境を描写する（例えば、第１の仮想環境は、平坦な２次元表面上に仮想コンテンツを有し、第２の仮想環境は、第１のユーザの視点とは異なる深度に仮想コンテンツを有する）。第１の仮想環境を描写する第１の没入レベルで第１のコンピュータ生成体験を表示し、第１の仮想環境よりも大きい仮想深度を有する第２の仮想環境を描写する第２の没入レベルで第１のコンピュータ生成体験を表示することは、ユーザに改善された視覚的フィードバック（例えば、コンピュータシステムが第１又は第２の没入レベルを表示しているかどうかに関する改善された視覚的フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の没入レベルで第１のコンピュータ生成体験を表示することは、第１の没入レベルで第１のコンピュータ生成体験を表示している間に受信されたバイオメトリックデータの変化に従って変化する少なくとも第１の視覚的特性（例えば、第１の仮想オブジェクトの移動、照明の変化など）で第１のコンピュータ生成体験を表示することを含み、第２の没入レベルで第１のコンピュータ生成体験を表示することは、第２の没入レベルで第１のコンピュータ生成体験を表示している間に受信されたバイオメトリックデータの変化に従って変化する少なくとも第２の視覚的特性（例えば、第１の仮想オブジェクトの移動、照明の変化など）で第１のコンピュータ生成体験を表示することを含む。例えば、いくつかの実施形態では、第１の没入レベルで表示される第１のコンピュータ生成体験は、仮想森林の夜間シーンへの表示域を示し、仮想木は、暗い仮想空上の月及び星によって薄暗く照らされる。呼吸数の減少及び／又は酸素濃度の増加など、第１のユーザから受信されたバイオメトリックデータの変化に従って、仮想森林に示される照明レベルはそれに応じて上昇し、仮想の暗い空は徐々に明るく赤くなり、夜明けの到来をシミュレートする。第１の基準がバイオメトリックデータによって満たされるとき、第２没入レベルで表示される第１のコンピュータ生成体験は、仮想森林によって占有されているユーザの視野内の拡張されたエリアを示し（例えば、仮想森林は、ユーザの周囲に拡張し、三次元環境の現在表示されているビューに対応する視点を取り囲む）、仮想地平線上で太陽の縁が可視な状態で仮想シーン内で夜が明ける。呼吸数の継続的な減少（例えば、閾値レベルまでの低下）及び／又は酸素濃度の継続的な増加（例えば、閾値レベルまでの上昇）など、第１のユーザから受信されたバイオメトリックデータの更なる変化に従って、仮想森林に示される照明レベルはそれに応じて増加し続け、仮想空は徐々に明るくなり、昼間の到来をシミュレートする。別の例では、第１の没入レベルで表示される第１のコンピュータ生成体験は、第１のユーザの正面の第１の物理的壁面のロケーションに対応する拡張現実環境内のポジションにおける衝突波を伴う仮想海洋ビューを示す。呼吸数の減少及び／又は心拍数の減少など、第１のユーザから受信されたバイオメトリックデータの変化に従って、海洋の波の頻度及び／又は大きさはそれに応じて減少する。第１の基準がバイオメトリックデータによって満たされるとき、第２の没入レベルで表示される第１のコンピュータ生成体験は、ユーザの視野内の拡張されたエリアが海洋シーンによって占有されていることを示す（例えば、仮想海洋ビューは、２つの側壁のロケーションに対応するポジションにも拡張する）。呼吸数の継続的な減少（例えば、閾値レベルまでの低下）及び／又は心拍数の継続的な減少（例えば、閾値レベルまでの低下）などの、第１のユーザから受信されたバイオメトリックデータの更なる変化に従って、仮想海洋の波の頻度及び／又は大きさは、それに応じて減少し続ける。
第１の没入レベルで第１のコンピュータ生成体験を表示することは、第１の没入レベルで第１のコンピュータ生成体験を表示している間に受信されたバイオメトリックデータの変化に従って変化する少なくとも第１の視覚的特性で第１のコンピュータ生成体験を表示することを含み、第２の没入レベルで第１のコンピュータ生成体験を表示することは、第２の没入レベルで第１のコンピュータ生成体験を表示している間に受信されたバイオメトリックデータの変化に従って変化する少なくとも第２の視覚的特性で第１のコンピュータ生成体験を表示することを含み、ユーザに改善された視覚的フィードバック（例えば、コンピュータシステムが第１又は第２の没入レベルを表示しているかどうかに関する改善された視覚的フィードバック、第１のユーザに対応するバイオメトリックデータの変化に関する改善された視覚的フィードバックなど）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザに対応する（例えば、第１の時点又は期間における第１のユーザ（例えば、図７Ｇ～７Ｊのユーザ７００２、別のユーザなど）の生理学的状態に対応する）バイオメトリックデータ（例えば、図７Ｇ～７Ｊのバイオメトリックデータ７３１２、他のバイオメトリックデータなど）（例えば、周期的に受信されたデータ、又は連続的に受信されたデータなど）を受信したことに応じて、第１のユーザに対応する（例えば、第１の時点又は期間における第１のユーザの生理学的状態に対応する）バイオメトリックデータ（例えば、直近に受信されたバイオメトリックデータ、予め設定された期間の直近の期間にわたって受信されたバイオメトリックデータなど）が第１の基準を満たす（例えば、図７Ｊに示すように、バイオメトリックデータがインジケータ７３２６によって示される閾値を満たす）という判定に従って、コンピュータシステムは、音声出力モードを第１の音声出力モードから第２の音声出力モードに（例えば、ステレオサウンドからサラウンドサウンドに、ヘッドロック音声から空間音声になど）変更し、第１の音声出力モードは、第２の音声出力モードよりも少ない計算制御変数（例えば、各音源の音量、各音源の位相、音源の数、利用可能な音源の作動シーケンスなど）を有する。
第１のユーザに対応するバイオメトリックデータが第１の基準を満たすという判定に従って、音声出力モードを第１の音声出力モードから、第１の音声出力モードよりも多くの計算制御変数を有する第２の音声出力モードに変更することは、改善された音声フィードバック（例えば、コンピュータシステムが第１の没入レベルから第２の没入レベルに遷移したという改善された音声フィードバック、第１のユーザに対応するバイオメトリックデータが第１の基準を満たしたという改善された音声フィードバックなど）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
図１０における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法８０００、９０００、１１０００、及び１２０００）に関して本明細書で記載した他のプロセスの詳細はまた、図１０に関連して上述した方法１００００に類似の方式で適用可能であることに留意されたい。例えば、方法１００００を参照して上述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、コントロール、移動、基準、三次元環境、表示生成コンポーネント、表面、物理的オブジェクトの表現、仮想オブジェクト、及び／又はアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法８０００、９０００、１１０００、及び１２０００）を参照して本明細書に記載されるジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、コントロール、移動、基準、三次元環境、表示生成コンポーネント、表面、物理的オブジェクトの表現、仮想オブジェクト、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１１は、いくつかの実施形態による、物理的環境の表現を含む環境のビューを表示するときにコンピュータシステムによって提供される複数のタイプの感覚調整の効果を集約する方法のフローチャートである。
いくつかの実施形態では、方法１１０００は、コンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上のカメラ（例えば、カメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））は、ユーザの手又はユーザの頭部から前方に向くカメラである。いくつかの実施形態では、方法１１０００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法１１０００の一部の動作は、任意選択的に組み合わされ、及び／又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法１１０００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０、表示生成コンポーネント７１００など）（例えば、ヘッドアップディスプレイ、ＨＭＤ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上の入力デバイス（例えば、カメラ、コントローラ、タッチ感知面、ジョイスティック、ボタンなど）と通信しているコンピュータシステム（例えば、図１のコンピュータシステム１０１）において実行される。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネントと同じハウジングに囲まれた１つ以上のプロセッサ及びメモリと、１つ以上の入力デバイスのうちの少なくともいくつかと、を有する統合デバイスである。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネント及び／又は１つ以上の入力デバイスとは別個の１つ以上のプロセッサ及びメモリを含むコンピューティングコンポーネントを含む。いくつかの実施形態では、表示生成コンポーネント及び１つ以上の入力デバイスは、同じハウジング内に統合され、かつ同じハウジングに囲まれている。
コンピュータシステムは、物理的環境の第１のビュー（例えば、図７Ｋのビュー７３４０、又は別のビューなど）を表示し（１１００２）、物理的環境の第１のビューは、物理的環境の第１の部分の第１の表現（例えば、図７Ｋの表現７３５０’、７３４８’など）を含む（例えば、第１の表現は、物理的環境の第１の部分の通常のカラー又はＢ／Ｗカメラビュー、表示生成コンポーネントのパススルー部分を通じた物理的環境のビューなどである）（例えば、第１の表現は、１つ以上のタイプのコンピュータ生成感覚増強なしに表示されるベースライン表現である）。物理的環境の第１のビューを表示している間、コンピュータシステムは、２つ以上のタイプのコンピュータ生成感覚調整（例えば、双眼鏡視、熱視、顕微鏡視、暗視、スーパーヒアリングなど）のうちの第１のタイプのコンピュータ生成感覚調整（例えば、双眼鏡視、熱視、顕微鏡など）を作動させる要求に対応する第１のユーザ入力（例えば、第１のユーザインタフェースコントロールの選択、第１の方式での第１のハードウェアボタンの作動、第１の所定のジェスチャ入力の実行、第１の予め設定された音声コマンドの発話など）を検出する（１１００４）。第１のユーザ入力を検出したことに応じて、コンピュータシステムは、物理的環境の第２のビュー（例えば、図７Ｌに示す第２のビュー７３６１、又は別のビューなど）を表示し（１１００６）、物理的環境の第２のビューは、物理的環境の第１の部分の第２の表現（例えば、図７Ｌの表現７３５０’’、７３４８’’など）を含み、物理的環境の第１の部分の第２の表現は、第１のタイプのコンピュータ生成感覚調整（例えば、双眼鏡視、顕微鏡視、熱視、暗視など）に従って物理的環境の第１の部分の第１の表現に対して調整された第１の表示特性（例えば、解像度、ズームレベル、倍率、色分布、強度分布、焦点距離など）を有する。いくつかの実施形態では、物理的環境の第１の部分の表現は、適用される感覚調整による光及び／又は色スペクトルの異なる部分の増強及び／又は抑制に起因して、表現内にキャプチャされた主題のサイズ、解像度、焦点距離、倍率、並びに色及び光強度の分布に関して、ベースライン表現に対して変更される。図７Ｋ～図７Ｌに示される例では、表現７３５０’’及び７３４８’’は、ビュー７３４０内の表現７３５０’及び７３４８’と比較して、拡大される及び／又はビュー７３６１の視点のより近くに移動される。物理的環境の第２のビュー（例えば、図７Ｌのビュー７３６１、又は別のビューなど）を表示している間、コンピュータシステムは、２つ以上のタイプのコンピュータ生成感覚調整のうちの第２のタイプのコンピュータ生成感覚調整を作動させる要求に対応する第２のユーザ入力（例えば、第２のユーザインタフェースコントロールの選択、第２の方式での第１のハードウェアボタンの作動、第１の方式での第２のハードウェアボタンの作動、第２の所定のジェスチャ入力の実行、第１の予め設定された音声コマンドの発話など）を検出し（１１００８）、第２のタイプのコンピュータ生成感覚調整は、第１のタイプのコンピュータ生成感覚調整とは異なる。第２のユーザ入力を検出したことに応じて、コンピュータシステムは、物理的環境の第３のビュー（例えば、ビュー７３６４、又は別のビューなど）を表示し（１１０１０）、物理的環境の第３のビューは、物理的環境の第１の部分の第３の表現（例えば、表現７３５０’’’、７３４８’’’など）を含み、物理的環境の第１の部分の第３の表現は、第１のタイプのコンピュータ生成感覚調整（例えば、双眼鏡視、顕微鏡視、暗視、熱視など）に従って物理的環境の第１の部分の第１の表現に対して調整された第１の表示特性（例えば、解像度、ズームレベル、倍率、色分布、強度分布、焦点距離など）と、第２のタイプのコンピュータ生成感覚調整（例えば、双眼鏡視、顕微鏡視、暗視、熱視、カラーフィルタなど）に従って物理的環境の第２の表現に対して調整された第２の表示特性（例えば、解像度、ズームレベル、倍率、色分布、強度分布、焦点距離など）とを含む（例えば、第２の表示特性は、第１のタイプ及び第２のタイプの感覚増強のいくつかの組み合わせにおいて第１の表現及び第２の表現において同じ値を有し、第２の表示特性は、第１のタイプ及び第２のタイプの感覚増強のいくつかの組み合わせにおいて第１の表現及び第２の表現において異なる値を有する）。図７Ｋ～図７Ｍに示される例では、表現７３５０’’及び７３４８’’は、ビュー７３６１内の表現７３５０’及び７３４８’と比較して拡大され、及び／又はビュー７３４０の視点より近くに移動され、表現７３５０’’’及び７３４８’’’は、表現７３５０’’及び７３４８’’と比較して色及び強度が変更される。
いくつかの実施形態では、物理的環境の第３のビュー（例えば、図７Ｍのビュー７３６４、又は別のビューなど）を表示している間、コンピュータシステムは、２つ以上のタイプのコンピュータ生成感覚調整のうちの、第１のタイプのコンピュータ生成感覚調整及び第２のタイプのコンピュータ生成感覚調整とは異なる第３のタイプのコンピュータ生成感覚調整（例えば、図７Ｍのアフォーダンス７３５８に対応する調整機能、まだ作動されていない別の調整機能など）（例えば、両眼視、顕微鏡視、暗視、熱視、カラーフィルタなど）を作動させる要求に対応する第３のユーザ入力を検出し、第３のユーザ入力の検出に応じて、コンピュータシステムは、物理的環境の第４のビューを表示し、物理的環境の第４のビューは物理的環境の第１の部分の第４の表現を含み、物理的環境の第１の部分の第４の表現は、第１のタイプのコンピュータ生成感覚調整（例えば、双眼鏡視、顕微鏡視、暗視、熱視、カラーフィルタなど）に従って物理的環境の第１の部分の第１の表現に対して調整される第１の表示特性（例えば、解像度、ズームレベル、倍率、色分布、強度分布、焦点距離など）と、第２のタイプのコンピュータ生成感覚調整（例えば、双眼鏡視、顕微鏡視、暗視、熱視、カラーフィルタなど）に従って物理的環境の第２の表現に対して調整される第２の表示特性（例えば、解像度、ズームレベル、倍率、色分布、強度分布、焦点距離など）と、第３のタイプのコンピュータ生成感覚調整（例えば、双眼鏡視、顕微鏡視、暗視、熱視、カラーフィルタなど）に従って物理的環境の第３の表現に対して調整される第３の表示特性（例えば、解像度、ズームレベル、倍率、色分布、強度分布、焦点距離など）とを有する。
２つ以上のタイプのコンピュータ生成感覚調整のうちの第３のタイプのコンピュータ生成感覚調整を作動させる要求に対応する第３のユーザ入力を検出したことに応じて、第１のタイプのコンピュータ生成感覚調整に従って物理的環境の第１の部分の第１の表現に対して調整された第１の表示特性を有する物理的環境の第１の部分の第４の表現を含む物理的環境の第４のビューを表示することは、追加の表示されるコントロール（例えば、第１、第２、又は第３のタイプのコンピュータ生成感覚調整を選択及び／又は作動させるための追加の表示されるコントロール）でＵＩを雑然とさせることなく、追加の制御オプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のタイプのコンピュータ生成感覚調整は、（例えば、図７Ｋ～図７Ｌに示される）遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視（例えば、双眼鏡視、単眼鏡視、望遠鏡視など）（例えば、ユーザにより近く見えるようにオブジェクトの焦点距離を低減すること）を含み、第２のタイプのコンピュータ生成感覚調整は、近傍の物理的オブジェクトを拡大するためのシミュレートされた顕微鏡視を含む。いくつかの実施形態では、物理的環境の第１の表現を表示することは、物理的環境内の遠隔の物理的オブジェクトのロケーションに対応する第１の仮想ポジションに（例えば、第１の表示生成コンポーネントを介して表示される三次元環境内のその仮想ポジションに対応するサイズ及び表示解像度で）遠隔の物理的オブジェクトの表現を表示することを含む。例えば、遠隔の物理的オブジェクトの第１の表現はまた、遠隔の物理的オブジェクトが物理的環境内に現れるので、物理的環境の第１の表現内で遠くに現れる。物理的環境の第２の表現を表示することは、第１の仮想ポジションよりもユーザの視点又は仮想ポジションに近い第２の仮想ポジションに（例えば、第１の表示生成コンポーネントを介して表示される三次元環境内の第２の仮想ポジションに対応するサイズ及び表示解像度で）遠隔の物理的オブジェクトの表現を表示することを含む。例えば、遠隔の物理的オブジェクトの第２の表現は、物理的環境の第２の表現においてさほど遠くには現れず、物理的環境の第２の表現のユーザの視野のより大きな部分を占有する。物理的環境の第３の表現を表示することは、任意選択的に第２の仮想ポジションよりもユーザの視点又は仮想ポジションに更に近い第３の仮想ポジションに、遠隔の物理的オブジェクトの第２の表現のサイズに対して正の倍率（例えば、１００倍、２０倍など）で、遠隔の物理的オブジェクトの表現を表示することを含む（例えば、遠隔の物理的オブジェクトは、第２又は第３の仮想ポジションで拡大されるように見える）。例示的な使用シナリオでは、表示生成コンポーネントは、最初に、第１の距離（例えば、３０メートル、５０メートルなど）離れた木のカメラビューを表示し、次いで、望遠鏡ビューが作動された状態で、表示生成コンポーネントは、物理的環境の現在表示されている表現に対応する視点から第２の距離（例えば、５メートル、１０メートルなど）離れた仮想ポジションに木の望遠鏡ビューを表示し、望遠鏡ビュー及び顕微鏡ビューの両方が作動された状態で、表示生成コンポーネントは（例えば、５メートル、１０メートルなど）離れた現在の仮想ポジションに木の少なくとも一部の拡大ビュー（例えば、３０倍、１００倍など）を表示する。いくつかの実施形態では、物理的オブジェクトの同じ部分のカメラビュー、望遠鏡ビュー、及び顕微鏡ビューは、任意選択的に、異なるカメラ及び／又はセンサによってキャプチャされるか、又は任意選択的に、計算技術を用いて向上される。
第１のユーザ入力を検出したことに応じて、遠くの物理的オブジェクトを見るためのシミュレートされた望遠鏡視に従って物理的環境の第１の部分の第１の表現に対して調整される第１の表示特性を有する物理的環境の第１の部分の第２の表現を含む物理的環境の第２のビューを表示することと、第２のユーザ入力を検出したことに応じて、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視に従って物理的環境の第１の部分の第１の表現に対して調整される第１の表示特性と、近傍の物理的オブジェクトを拡大するためのシミュレートされた顕微鏡視に従って物理的環境の第２の表現に対して調整される第２の表示特性とを有する物理的環境の第１の部分の第３の表現を含む物理的環境の第３のビューを表示することとは、追加の表示されるコントロール（例えば、遠くのオブジェクトを見るためのシミュレートされた望遠鏡視と近傍の物理的オブジェクトを拡大するためのシミュレートされた顕微鏡視との間で選択又は切換を行う追加の表示されるコントロールでＵＩを雑然とさせることなく、追加の表示された制御オプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のタイプのコンピュータ生成感覚調整は、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視（例えば、７Ｋ～７Ｌに示される）（例えば、オブジェクトがユーザにより近く見えるようにオブジェクトの焦点距離を低減する）を含み、第２のタイプのコンピュータ生成感覚調整は、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視（例えば、低光量条件下での高感度、オブジェクトの輝度が視覚的に増強される、輝度の小さな変動が拡大されるなど）を含む。いくつかの実施形態では、物理的環境の第１の表現を表示することは、物理的環境内の遠隔の物理的オブジェクトのロケーションに対応する第１の仮想ポジション（例えば、第１の表示生成コンポーネントを介して表示される三次元環境内のその仮想ポジションに対応するサイズ及び表示解像度で）に、依然として低光量条件下で遠隔の物理的オブジェクトの表現を表示することを含む。例えば、遠隔の物理的オブジェクトの第１の表現はまた、遠隔の物理的オブジェクトが物理的環境内に現れ、物理的環境の第１の表現が暗く見え、物理的環境の低光量条件に起因してオブジェクトが明確に識別できないので、物理的環境の第１の表現内で遠くに現れる。物理的環境の第２の表現を表示することは、第１の仮想ポジションよりもユーザの視点又は仮想ポジションに近い第２の仮想ポジション（例えば、第１の表示生成コンポーネントを介して表示される三次元環境内の第２の仮想ポジションに対応するサイズ及び表示解像度で）だが、依然として低光量条件下で、遠隔の物理的オブジェクトの表現を表示することを含む。例えば、遠隔の物理的オブジェクトの第２の表現は、物理的環境の第２の表現においてより遠くに見えず、物理的環境の第２の表現のユーザの視野のより大きな部分を占有するが、物理的環境の第２の表現は依然として暗く見え、物理的環境の低光量条件のためにオブジェクトは明確に識別できない。物理的環境の第３の表現を表示することは、増強された輝度及び／又はコントラストで（例えば、低光量カメラからの画像で向上されて、又は複数の写真を組み合わせること及び／又は機械学習を使用することなどによってデジタル的に向上されて）、第２の仮想ポジションにおける遠隔の物理的オブジェクトの表現を表示することを含む。例示的な使用シナリオでは、表示生成コンポーネントは、最初に、夜間に第１の変位量（例えば、３０メートル、５０メートルなど）離れた木のカメラビューを表示し、次いで、望遠鏡ビューが作動された状態で、表示生成コンポーネントは、現在表示されている物理的環境の表現に対応する視点から第２の距離（例えば、５メートル、１０メートルなど）だけ離れた仮想ポジションに木の望遠鏡ビューを表示するが、シーン全体は、夜間の低光量条件のために依然として暗く、望遠鏡ビュー及び暗視の両方が作動された状態で、表示生成コンポーネントは、（例えば、５メートル、１０メートルなど）離れた現在の仮想ポジションに木の明るく高コントラストの画像を表示する。いくつかの実施形態では、物理的オブジェクトの同じ部分のカメラビュー、望遠鏡ビュー、及び暗視ビューは、任意選択的に、異なるカメラ及び／又はセンサによってキャプチャされるか、又は任意選択的に、計算技術を用いて向上される。
第１のユーザ入力を検出したことに応じて、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視に従って物理的環境の第１の部分の第１の表現に対して調整される第１の表示特性を有する物理的環境の第１の部分の第２の表現を含む物理的環境の第２のビューを表示することと、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視に従って物理的環境の第１の部分の第１の表現に対して調整される第１の表示特性と、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視に従って物理的環境の第２の表現に対して調整される第２の表示特性とを有する物理的環境の第１の部分の第３の表現を含む物理的環境の第３のビューを表示することとは、追加の表示されるコントロール（例えば、遠隔のオブジェクトを見るためのシミュレートされた望遠鏡視と、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視との間で選択又は切換を行うための追加の表示されるコントロール）でＵＩを雑然とさせることなく、追加の表示された制御オプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のタイプのコンピュータ生成感覚調整は、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視（例えば、７Ｋ～７Ｌに示される）（例えば、オブジェクトがユーザにより近く見えるようにオブジェクトの焦点距離を低減する）を含み、第２のタイプのコンピュータ生成感覚調整は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視（例えば、７Ｌ～７Ｍに示される）（例えば、温度の変動に対する高い感度、温度及び／又は熱放射の変動に従った色及び／又は強度の変動を提示することなど）を含む。いくつかの実施形態では、物理的環境の第１の表現を表示することは、物理的環境内の遠隔の物理的オブジェクトのロケーションに対応する第１の仮想ポジションに（例えば、第１の表示生成コンポーネントを介して表示される三次元環境内のその仮想ポジションに対応するサイズ及び表示解像度で）遠隔の物理的オブジェクトの表現を表示することを含む。例えば、遠隔の物理的オブジェクトの第１の表現はまた、遠隔の物理的オブジェクトが物理的環境内に現れるので、物理的環境の第１の表現内で遠くに現れる。物理的環境の第２の表現を表示することは、第１の仮想ポジションよりもユーザの視点又は仮想ポジションに近い第２の仮想ポジションに（例えば、第１の表示生成コンポーネントを介して表示される三次元環境内の第２の仮想ポジションに対応するサイズ及び表示解像度で）遠隔の物理的オブジェクトの表現を表示することを含む。例えば、遠隔の物理的オブジェクトの第２の表現は、物理的環境の第２の表現においてさほど遠くには現れず、物理的環境の第２の表現のユーザの視野のより大きな部分を占有する。物理的環境の第３の表現を表示することは、第２の仮想ポジションにおける遠隔の物理的オブジェクトの表現を、その熱放射プロファイル又は温度マップと共に表示することを含む。例示的な使用シナリオでは、表示生成コンポーネントは、最初に、第１の距離（例えば、３０メートル、５０メートルなど）だけ離れた木のカメラビューを表示し、次いで、望遠鏡ビューが作動された状態で、表示生成コンポーネントは、物理的環境の現在表示されている表現に対応する視点から第２の距離（例えば、５メートル、１０メートルなど）だけ離れた仮想ポジションに木の望遠鏡ビューを表示し、望遠鏡ビューと熱視の両方が作動された状態で、表示生成コンポーネントは、（例えば、５メートル、１０メートルなど離れた）現在の仮想ポジションに、木の葉の間に隠れたリスの明るいプロファイルを示す木のヒートマップを表示する。いくつかの実施形態では、物理的オブジェクトの同じ部分のカメラビュー、望遠鏡ビュー、及び熱視ビューは、任意選択的に、異なるカメラ及び／又はセンサによってキャプチャされるか、又は任意選択的に、計算技術を用いて向上される。
第１のユーザ入力を検出したことに応じて、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視に従って物理的環境の第１の部分の第１の表現に対して調整される第１の表示特性を有する物理的環境の第１の部分の第２の表現を含む物理的環境の第２のビューを表示することと、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視に従って物理的環境の第１の部分の第１の表現に対して調整される第１の表示特性と、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視に従って物理的環境の第２の表現に対して調整される第２の表示特性とを有する物理的環境の第１の部分の第３の表現を含む物理的環境の第３のビューを表示することとは、追加の表示されるコントロール（例えば、遠隔のオブジェクトを見るためのシミュレートされた望遠鏡視と、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視との間で選択又は切換を行うための追加の表示されるコントロールでＵＩを雑然とさせることなく、追加の表示された制御オプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のタイプのコンピュータ生成感覚調整は、（例えば、７Ｋ～７Ｌに示される）遠隔の物理的オブジェクトを見るためにシミュレートされた望遠鏡視（例えば、オブジェクトがユーザにより近く見えるようにオブジェクトの焦点距離を低減する）を含み、第２のタイプのコンピュータ生成感覚調整は、フィルタ（例えば、カラーフィルタ、光周波数フィルタ、強度フィルタ、運動フィルタなど）を用いて物理的オブジェクトのビューを修正することを含む。いくつかの実施形態では、物理的環境の第１の表現を表示することは、物理的環境内の遠隔の物理的オブジェクトのロケーションに対応する第１の仮想ポジションに（例えば、第１の表示生成コンポーネントを介して表示される三次元環境内のその仮想ポジションに対応するサイズ及び表示解像度で）遠隔の物理的オブジェクトの表現を表示することを含む。例えば、遠隔の物理的オブジェクトの第１の表現はまた、遠隔の物理的オブジェクトが物理的環境内に現れるので、物理的環境の第１の表現内で遠くに現れる。物理的環境の第２の表現を表示することは、第１の仮想ポジションよりもユーザの視点又は仮想ポジションに近い第２の仮想ポジションに（例えば、第１の表示生成コンポーネントを介して表示される三次元環境内の第２の仮想ポジションに対応するサイズ及び表示解像度で）遠隔の物理的オブジェクトの表現を表示することを含む。例えば、遠隔の物理的オブジェクトの第２の表現は、物理的環境の第２の表現においてさほど遠くには現れず、物理的環境の第２の表現のユーザの視野のより大きな部分を占有する。物理的環境の第３の表現を表示することは、色及び／又は強度などの一部がフィルタリングして、第２の仮想ポジションに遠隔の物理的オブジェクトの表現を表示することを含む。いくつかの実施形態では、運動フィルタが適用されると、運動を有さない物理的環境の第２の表現の部分がフィルタリングされ、運動（例えば、葉、動物、人などの移動）を有する部分が強調表示される。例示的な使用シナリオでは、表示生成コンポーネントは、最初に、第１の距離（例えば、３０メートル、５０メートルなど）の木のカメラビューを表示する。望遠鏡ビューが作動されると、表示生成コンポーネントは、物理的環境の現在表示されている表現に対応する視点から第２の距離（例えば、５メートル、１０メートルなど）離れた仮想ポジションに木の望遠鏡ビューを表示し、望遠鏡ビューフィルタ及び色／強度／運動フィルタの両方が作動されると、表示生成コンポーネントは、現在の仮想ポジション（例えば、５メートル、１０メートルなど）に木のフィルタ処理された画像を表示する。現在の仮想ポジション（例えば、５メートル、１０メートルなど）における木の不鮮明な彩度の減少した画像（カラーフィルタが適用されている）又は木のフィルタリングされた画像の上に明るいオレンジ色の帽子及び安全ベストを示す）木の不鮮明な彩度の減少した画像上を移動するカモフラージュされた昆虫の視覚的強調表示を示す。いくつかの実施形態では、物理的オブジェクトの同じ部分のカメラビュー及び望遠鏡ビューは、任意選択的に、異なるカメラ及び／又はセンサによってキャプチャされるか、又は任意選択的に、計算技術を用いて向上される。
第１のユーザ入力を検出したことに応じて、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視に従って物理的環境の第１の部分の第１の表現に対して調整される第１の表示特性を有する物理的環境の第１の部分の第２の表現を含む物理的環境の第２のビューを表示することと、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視に従って物理的環境の第１の部分の第１の表現に対して調整される第１の表示特性と、物理的オブジェクトのビューを修正するフィルタに従って物理的環境の第２の表現に対して調整される第２の表示特性とを有する物理的環境の第１の部分の第３の表現を含む物理的環境の第３のビューを表示することとは、追加の表示されるコントロール（例えば、遠隔のオブジェクトを見るためのシミュレートされた望遠鏡視と物理的オブジェクトのビューを修正するフィルタとの間で選択又は切換を行うための追加の表示されるコントロール）でＵＩを雑然とさせることなく、追加の表示される制御オプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のタイプのコンピュータ生成感覚調整は、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視（例えば、７Ｋ～７Ｌに示される）（例えば、オブジェクトがユーザにより近く見えるように、オブジェクトの焦点距離を低減する）を含み、第２のタイプのコンピュータ生成感覚調整は、物理的環境内の物理的オブジェクトのサブセット（例えば、全ての音生成物理的オブジェクトの選択されたサブセット、現在の視野の中心にある物理的オブジェクトなど）に対応する音のための選択的音声増強（例えば、音量を増強する、ある音周波数を選択的に増強／抑制するなど）を含む。いくつかの実施形態では、物理的環境の第１の表現を表示することは、物理的環境内の遠隔の物理的オブジェクトのロケーションに対応する第１の仮想ポジションに（例えば、第１の表示生成コンポーネントを介して表示される三次元環境内のその仮想ポジションに対応するサイズ及び表示解像度で）遠隔の物理的オブジェクトの表現を表示することを含む。例えば、遠隔の物理的オブジェクトの第１の表現はまた、遠隔の物理的オブジェクトが物理的環境内に現れるので、物理的環境の第１の表現内で遠くに現れる。物理的環境の第２の表現を表示することは、第１の仮想ポジションよりもユーザの視点又は仮想ポジションに近い第２の仮想ポジションに（例えば、第１の表示生成コンポーネントを介して表示される三次元環境内の第２の仮想ポジションに対応するサイズ及び表示解像度で）遠隔の物理的オブジェクトの表現を表示することを含む。例えば、遠隔の物理的オブジェクトの第２の表現は、物理的環境の第２の表現においてさほど遠くには現れず、物理的環境の第２の表現のユーザの視野のより大きな部分を占有する。物理的環境の第３の表現を表示することは、第２の仮想ポジションにおける遠隔の物理的オブジェクトの表現を、遠隔の物理的オブジェクトの表現上又はその近傍の物理的環境内の局所化された音源の視覚的識別と共に表示することを含み、局所化された音源からの音に対応する増強された音声出力は、物理的環境の第３の表現の表示と共に出力される。例示的な使用シナリオでは、表示生成コンポーネントは、最初に、夜間に第１の距離（例えば、３０メートル、５０メートルなど）だけ離れた木のカメラビューを表示し、次いで、望遠鏡ビューが作動された状態で、表示生成コンポーネントは、物理的環境の現在表示されている表現に対応する視点から第２の距離（例えば、５メートル、１０メートルなど）だけ離れた仮想ポジションに木の望遠鏡ビューを表示し、望遠鏡ビュー及び増強された聴覚の両方が作動された状態で、表示生成コンポーネントは、木の中で歌っている鳥のポジションを示す現在の仮想ポジション（例えば、５メートル離れた、３メートル離れたなど）に木の画像上に重ねられた円を表示する。鳥からの局所化されたチャープ音は、視点から第２の距離（例えば、５メートル、１０メートルなど）離れた３つのビューと共に、任意選択的に空間音声出力モードで再生される。いくつかの実施形態では、物理的オブジェクトの同じ部分のカメラビュー、望遠鏡ビュー、及び局所化された音は、任意選択的に、異なるカメラ及び／又はセンサによってキャプチャされるか、又は任意選択的に、計算技術を用いて向上される。
第１のユーザ入力を検出したことに応じて、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視に従って物理的環境の第１の部分の第１の表現に対して調整された第１の表示特性を有する物理的環境の第１の部分の第２の表現を含む物理的環境の第２のビューを表示することと、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視に従って物理的環境の第１の部分の第１の表現に対して調整された第１の表示特性と、物理的環境内の物理的オブジェクトのサブセットに対応する音に対する選択的音声調整に従って物理的環境の第２の表現に対して調整された第２の表示特性とを有する物理的環境の第１の部分の第３の表現を含む物理的環境の第３のビューを表示することとは、追加の表示されるコントロール（例えば、遠隔のオブジェクトを見るためのシミュレートされた望遠鏡視と、物理的環境内の物理的オブジェクトのサブセットに対応する音に対する選択的音声調整との間で選択又は切換を行うための追加の表示されるコントロール）でＵＩを雑然とさせることなく、追加の表示される制御オプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、物理的環境の第３の表現（例えば、図７Ｍに示される表現、又は別の表現など）を表示すると同時に、コンピュータシステムは、物理的環境の第３の表現において可視である物理的環境の第１の部分（例えば、図７Ｍの部分７３６６’’及び７３６８’’、又は別の部分など）に対応する音を出力し、音は、物理的環境の第１の部分の外側の音源からの音に対して選択的に増強される（例えば、音量が増強される、いくつかの選択された周波数の振幅に対する修正を伴うなど）。例示的なシナリオでは、２つの木が、物理的環境全体からキャプチャされた音の音声出力と共に物理的環境の第１の表現において可視であり、第１の木が望遠鏡ビューで見られ、増強された聴覚が作動されているとき、第１の木における鳥の鳴き声は、第２の木におけるリスの鳴き声に対して増強され（例えば、より大きくされ）、第１の木の仮想ポジションに対応する仮想ポジションを有するように空間音声で再生される。物理的環境の第３の表現を表示するのと同時に、物理的環境の第２の表現において可視である物理的環境の第１の部分に対応する音であって、物理的環境の第１の部分の外側の音源からの音に対して選択的に増強される音を出力することは、改善された音声フィードバック（例えば、物理的環境の第１の部分に関する改善された音声フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、物理的環境の第３の表現を表示するのと同時に、コンピュータシステムは、物理的環境の第２の表現及び第３の表現の両方において可視である物理的環境の第１の部分（例えば、図７Ｍの部分７３６６’’及び７３６８’’、又は別の部分など）から発せられる発話に対応するテキスト出力を表示し、発話は、物理的環境の第１の部分の外側の音源からの音に対して選択的に強調される。例示的なシナリオでは、木及び家屋が、物理的環境全体からキャプチャされた音の音声出力と共に物理的環境の第１の表現において可視であり、家屋が望遠鏡ビューで見られ、増強された聴覚が作動されているとき、家屋からの発話の音は、木における鳥の鳴き声の音に対して増強され（例えば、より大きく、より鮮明にされるなど）、字幕、書き起こし、翻訳などのテキスト出力が表示される。いくつかの実施形態では、発話の音は、対応する音声翻訳で置換される。物理的環境の第２の表現及び第３の表現の両方において可視である物理的環境の第１の部分から発せられる発話に対応するテキスト出力を表示することは、物理的環境の第３の表現を表示することと同時に、発話が物理的環境の第１の部分の外側の音源からの音に対して選択的に強調され、ユーザに改善された視覚的フィードバック（例えば、物理的環境の第１の部分から発せられる発話に関する改善された視覚的フィードバック）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のタイプのコンピュータ生成感覚調整は、近傍の物理的オブジェクトを拡大するためのシミュレートされた顕微鏡視を含み、第２のタイプのコンピュータ生成感覚調整は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視（例えば、図７Ｌ～図７Ｍに示される）（例えば、温度の変動に対する高感度、温度及び／又は熱放射の変動に従って色及び／又は強度の変動を提示することなど）を含む。例示的な使用シナリオは、表示生成コンポーネントは、最初に、携帯電話内のマイクロチップのカメラビューを表示し、次いで、顕微鏡ビューが作動された状態で、表示生成コンポーネントは、マイクロチップの拡大ビューを表示し、顕微鏡ビュー及び熱視の両方が作動された状態で、表示生成コンポーネントは、現在の拡大レベルでマイクロチップのヒートマップを表示し、マイクロチップ上の低温領域に対して高温領域を示す。いくつかの実施形態では、物理的オブジェクトの同じ部分のカメラビュー、顕微鏡ビュー、及び熱視ビューは、任意選択的に、異なるカメラ及び／又はセンサによってキャプチャされるか、又は任意選択的に、計算技術を用いて向上される。第１のユーザ入力を検出したことに応じて、近傍の物理的オブジェクトを拡大するためのシミュレートされた顕微鏡視に従って物理的環境の第１の部分の第１の表現に対して調整される第１の表示特性を有する物理的環境の第１の部分の第２の表現を含む物理的環境の第２のビューを表示することと、近傍の物理的オブジェクトを拡大するためのシミュレートされた顕微鏡視に従って物理的環境の第１の部分の第１の表現に対して調整される第１の表示特性と、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視に従って物理的環境の第２の表現に対して調整される第２の表示特性とを有する物理的環境の第１の部分の第３の表現を含む物理的環境の第３のビューを表示することとは、追加の表示されるコントロール（例えば、近傍の物理的オブジェクトを拡大するためのシミュレートされた顕微鏡視と、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視との間で選択又は切換を行うための追加の表示されるコントロールでＵＩを雑然とさせることなく、追加の表示される制御オプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のタイプのコンピュータ生成感覚調整は、低光量条件下で物理的オブジェクトを視認するためのシミュレートされた暗視（例えば、低光量条件下の高感度、オブジェクトの輝度が視覚的に増強される、輝度の小さな変動が拡大されるなど）を含み、第２のタイプのコンピュータ生成感覚調整は、遠隔の物理的オブジェクトを視認するためのシミュレートされた望遠鏡視（例えば、図７Ｋ～図７Ｌに示される）（例えば、ユーザにより近く見えるようにオブジェクトの焦点距離を低減する）を含む。例示的な使用シナリオでは、表示生成コンポーネントは、最初に、夜間に第１の距離（例えば、３０メートル、６０メートルなど）離れた木のカメラビューを表示し、木の詳細は、低光量条件のためにほとんど見えず、次いで、暗視が作動された状態で、表示生成コンポーネントは、第１の距離（例えば、３０メートル、６０メートルなど）離れた木を示すカメラビューの明るく高コントラストの画像を表示し、暗視及び望遠鏡ビューの両方が作動された状態で、表示生成コンポーネントは、５メートル離れた仮想ポジションに木の明るく高コントラストの画像を表示する。
第１のユーザ入力を検出したことに応じて、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視に従って物理的環境の第１の部分の第１の表現に対して調整された第１の表示特性を有する物理的環境の第１の部分の第２の表現を含む物理的環境の第２のビューを表示することと、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視に従って物理的環境の第１の部分の第１の表現に対して調整された第１の表示特性と、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視に従って物理的環境の第２の表現に対して調整された第２の表示特性とを有する物理的環境の第１の部分の第３の表現を含む物理的環境の第３のビューを表示することとは、追加の表示されるコントロール（例えば、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視と、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視との間で選択又は切換を行うための追加の表示されるコントロール）でＵＩを雑然とさせることなく追加の制御オプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のタイプのコンピュータ生成感覚調整は、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視（例えば、低光量条件下の高感度、オブジェクトの輝度が視覚的に増強される、輝度の小さな変動が拡大されるなど）を含み、第２のタイプのコンピュータ生成感覚調整は、近傍の物理的オブジェクトを拡大するためのシミュレートされた顕微鏡視を含む。例示的な使用シナリオでは、表示生成コンポーネントは、最初に、暗い部屋のテーブル上面のカメラビューを表示する。部屋の詳細は、低光量条件のためにほとんど見えず、暗視が作動されると、表示生成コンポーネントは、テーブルの上にいくつかの硬貨を示す明るく高コントラストの部屋の画像を表示し、暗視及び顕微鏡ビューの両方が作動されると、表示生成コンポーネントは、硬貨の詳細を示す、明るく高コントラストの硬貨の画像を拡大して表示する。いくつかの実施形態では、硬貨の顕微鏡画像は、任意選択的に、暗視画像のものとは異なる時間、及び／又はテーブル上面のカメラビューからキャプチャされる。異なるタイプのセンサ及びカメラからの情報は、物理的環境の第３の表現を生成するために組み合わされる。いくつかの実施形態では、物理的環境の第１の表現及び／又は第２の表現から抽出された情報（例えば、硬貨のサイズ、硬貨上の画像の特性など）を、（例えば、オンラインソース、画像データベースなどから）をベースとして使用して、物理的環境の詳細に関する追加情報（例えば、硬貨のタイプ、硬貨の年、硬貨の材料など）を取得し、物理的環境の第３の表現を生成する（例えば、第１の表現及び第２の表現によってキャプチャされない硬貨の更なる詳細を示す）。
第１のユーザ入力を検出したことに応じて、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視に従って物理的環境の第１の部分の第１の表現に対して調整された第１の表示特性を有する第１の物理的環境の第１の部分の第２の表現を含む物理的環境の第２のビューを表示することと、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視に従って物理的環境の第１の部分の第１の表現に対して調整された第１の表示特性と、近傍の物理的オブジェクトを拡大するためのシミュレートされた顕微鏡視に従って物理的環境の第２の表現に対して調整された第２の表示特性とを有する物理的環境の第１の部分の第３の表現を含む物理的環境の第３のビューを表示することとは、追加の表示されるコントロール（例えば、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視と近傍の物理的オブジェクトを拡大するためのシミュレートされた顕微鏡視との間で選択又は切換を行うための追加の表示されるコントロール）でＵＩを雑然とさせることなく、追加の制御オプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のタイプのコンピュータ生成感覚調整は、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視（例えば、低光量条件下の高感度、オブジェクトの輝度が視覚的に増強される、輝度の小さな変動が拡大されるなど）を含み、第２のタイプのコンピュータ生成感覚調整は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視（例えば、図７Ｌ～図７Ｍに示される）（例えば、温度の変動に対する高感度、温度及び／又は熱放射の変動に従った色及び／又は強度の変動を提示することなど）を含む。例示的な使用シナリオでは、表示生成コンポーネントは、最初に、夜間の木のカメラビューを表示する。木の詳細は、低光量条件のためにほとんど見えない。暗視が作動されると、表示生成コンポーネントは、２つの巣を示す木の明るくされた高コントラスト画像を表示し、暗視及び熱視の両方が作動されると、表示生成コンポーネントは、巣の明るくされた高コントラスト画像を表示し、一方の巣は、他方の巣とは異なる色及び／又は光強度を有し、一方の巣には動物が最近住んでおり、他方の巣には住んでいないことを示す。いくつかの実施形態では、物理的オブジェクトの同じ部分のカメラビュー、暗視ビュー、及び熱視ビューは、任意選択的に、異なるカメラ及び／又はセンサによってキャプチャされるか、又は任意選択的に、計算技術を用いて向上される。
第１のユーザ入力の検出に応じて、物理的環境の第１の部分の第２の表現であって、物理的環境の第１の部分の第２の表現に応じて、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視に従って物理的環境の第１の部分の第１の表現に対して調整された第１の表示特性を有する、物理的環境の第１の部分の第２の表現を含む物理的環境の第２のビューを表示することと、物理的環境の第１の部分の第３の表現であって、物理的環境の第１の部分の第３の表現は、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視に従って物理的環境の第１の部分の第１の表現に対して調整された第１の表示特性と、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視に従って物理的環境の第２の表現に対して調整された第２の表示特性とを有する、物理的環境の第１の部分の第３の表現を含む物理的環境の第３のビューを表示することとは、追加の表示されるコントロール（例えば、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視と、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視との間で選択又は切換を行うための追加の表示されるコントロール）でＵＩを雑然とさせることなく、追加の制御オプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のタイプのコンピュータ生成感覚調整は、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視（例えば、低光量条件下の高感度、オブジェクトの輝度が視覚的に増強される、輝度の小さな変動が拡大されるなど）を含み、第２のタイプのコンピュータ生成感覚調整は、第２のタイプのコンピュータ生成感覚調整は、物理的環境内の物理的オブジェクトのサブセット（例えば、全ての音生成物理的オブジェクトの選択されたサブセット、現在の視野の中心にある物理的オブジェクトなど）に対応する音に対する選択的音声増強（例えば、音量を増強する、ある音周波数を選択的に増強／抑制するなど）を含む。いくつかの実施形態では、物理的環境の第１の表現を表示することは、低光量条件下で物理的オブジェクトの表現を表示することを含む。物理的環境の第２の表現を表示することは、部屋全体からキャプチャされた音の通常の音声出力と共に暗い部屋の明るい高コントラスト画像を表示することを含む。物理的環境の第３の表現を表示することは、局所化された音源が画像内で識別され、視覚的に増強され、局所化された音源からの音に対応する増強された音声出力を伴って、暗い部屋の同じ明るい高コントラスト画像を表示することを含む。例示的な使用シナリオでは、表示生成コンポーネントは、最初に、識別可能な音のない暗い部屋のカメラビューを表示し、次いで、暗視が作動された状態で、表示生成コンポーネントは、部屋の中の家具及び器具を示す暗い部屋の高輝度及び高コントラストビューを表示し、暗視及び高聴覚の両方が作動された状態で、表示生成コンポーネントは、低周波数振動音が聞こえる冷蔵庫のポジションを示す、暗い部屋の明るい高コントラストの画像上に重ねられた円を表示する。冷蔵庫からの局所化された音は、増強され、部屋の暗視ビューと共に再生され、任意選択的に、空間音声出力モードと共に、冷蔵庫の振動における周波数の増強と共に再生される。いくつかの実施形態では、物理的オブジェクトの同じ部分のカメラビュー、望遠鏡ビュー、及び局所化された音は、任意選択的に、異なるカメラ及び／又はセンサによってキャプチャされるか、又は任意選択的に、計算技術を用いて向上される。いくつかの実施形態では、増強された音声が要求される音源を選択するユーザ入力（例えば、暗視ビュー内の冷蔵庫のタップ、別の音源を選択する別の入力など）が検出される。
第１のユーザ入力の検出に応じて、物理的環境の第１の部分の第２の表現であって、物理的環境の第１の部分の第２の表現は、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視に従って物理的環境の第１の部分の第１の表現に対して調整される第１の表示特性を有する、物理的環境の第１の部分の第２の表現を含む物理的環境の第２のビューを表示することと、物理的環境の第１の部分の第３の表現であって、物理的環境の第１の部分の第３の表現は、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視に従って物理的環境の第１の部分の第１の表現に対して調整される第１の表示特性と、物理的環境内の物理的オブジェクトのサブセットに対応する音に対する選択的音声調整に従って物理的環境の第２の表現に対して調整される第２の表示特性とを有する、物理的環境の第１の部分の第３の表現を含む物理的環境の第３のビューを表示することとは、追加の表示されるコントロール（例えば、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視と物理的環境内の物理的オブジェクトのサブセットに対応する音に対する選択的音声調整との間で選択又は切換を行うための追加の表示されるコントロール）でＵＩを雑然とさせることなく、追加の制御オプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のタイプのコンピュータ生成感覚調整は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視（例えば、図７Ｌ～図７Ｍに示される）（例えば、温度の変動に対する高い感度、温度及び／又は熱放射の変動に従って色及び／又は強度の変動を提示することなど）を含み、第２のタイプのコンピュータ生成感覚調整は、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視（例えば、図７Ｋ～図７Ｌに示される）（例えば、ユーザにより近く見えるようにオブジェクトの焦点距離を低減する）を含む。例示的使用シナリオでは、表示生成コンポーネントは、最初に森林のカメラビューを表示し、次いで、熱視が作動されると、熱視ビュー内の森林の１つのエリアは、熱視ビュー内の森林の他のエリアよりも高い温度を有するように見え、より高い温度を有する森林のエリアは、熱視ビュー内で第１の距離（例えば、５０メートル、１００メートルなど）離れている。熱視ビュー及び望遠鏡ビューの両方が作動されると、表示生成コンポーネントは、物理的環境の現在表示されている表現に対応する視点から第２の距離（例えば、５メートル、１０メートルなど）離れた仮想ポジションにおいて、より高い温度を有するエリアの望遠鏡ビューを表示する。第２の距離（例えば、５メートル、１０メートルなど）離れた仮想ポジションに表示されたより高い温度を有するエリアのヒートマップは、くすぶっている死んだ木の幹の表現を示す。いくつかの実施形態では、物理的オブジェクトの同じ部分のカメラビュー、望遠鏡ビュー、及び熱視ビューは、任意選択的に、異なるカメラ及び／又はセンサによってキャプチャされるか、又は任意選択的に、計算技術を用いて向上される。
第１のユーザ入力の検出に応じて、物理的環境の第１の部分の第２の表現であって、物理的環境の第１の部分の第２の表現は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視に従って物理的環境の第１の部分の第１の表現に対して調整された第１の表示特性を有する、物理的環境の第１の部分の第２の表現を含む物理的環境の第２のビューを表示することと、物理的環境の第１の部分の第３の表現であって、物理的環境の第１の部分の第３の表現は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視に従って物理的環境の第１の部分の第１の表現に対して調整された第１の表示特性と、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視に従って物理的環境の第２の表現に対して調整された第２の表示特性とを有する、物理的環境の第１の部分の第３の表現を含む物理的環境の第３のビューを表示することとは、追加の表示されるコントロール（例えば、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視と、遠隔の物理的オブジェクトを見るためのシミュレートされた望遠鏡視との間で選択又は切換を行うための追加の表示されるコントロール）でＵＩを雑然とさせることなく、追加の制御オプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のタイプのコンピュータ生成感覚調整は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視（例えば、図７Ｌ～図７Ｍに示される）（例えば、温度変動に対する高い感度、温度及び／又は熱放射変動に従う色及び／又は強度変動の提示など）を含み、第２のタイプのコンピュータ生成感覚調整は、近傍の物理的オブジェクトを拡大するためのシミュレートされた顕微鏡視を含む。例示的な使用シナリオでは、表示生成コンポーネントは、最初に、モバイルデバイスの内部構造のカメラビューを表示する。次いで、熱視が作動されると、モバイルデバイスの内部構造の１つのエリアは、熱視ビュー内で構造の他のエリアよりも高い温度を有するように見え、より高い温度を有する構造のエリアは、修正された色で示される。熱視ビュー及び顕微鏡ビューの両方が作動されると、表示生成コンポーネントは、より高い温度を有するエリアの拡大ビューを表示する。いくつかの実施形態では、物理的オブジェクトの同じ部分のカメラビュー、望遠鏡ビュー、及び熱視ビューは、任意選択的に、異なるカメラ及び／又はセンサによってキャプチャされるか、又は任意選択的に、計算技術を用いて向上される。
第１のユーザ入力の検出に応じて、物理的環境の第１の部分の第２の表現であって、物理的環境の第１の部分の第２の表現は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視に従って物理的環境の第１の部分の第１の表現に対して調整された第１の表示特性を有する、物理的環境の第１の部分の第２の表現を含む物理的環境の第２のビューを表示することと、物理的環境の第１の部分の第３の表現であって、物理的環境の第１の部分の第３の表現は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視に従って物理的環境の第１の部分の第１の表現に対して調整された第１の表示特性と、近傍の物理的オブジェクトを拡大するためのシミュレートされた顕微鏡視に従って物理的環境の第２の表現に対して調整された第２の表示特性とを有する、物理的環境の第１の部分の第３の表現を含む物理的環境の第３のビューを表示することとは、追加の表示されるコントロール（例えば、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視と、近傍の物理的オブジェクトを拡大するためのシミュレートされた顕微鏡視との間で選択又は切換を行うための追加の表示されるコントロール）でＵＩを雑然とさせることなく、追加の制御オプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のタイプのコンピュータ生成感覚調整は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視（例えば、図７Ｌ～図７Ｍに示される）（例えば、温度の変動に対する高感度、温度及び／又は熱放射の変動に従った色及び／又は強度の変動を提示することなど）を含み、第２のタイプのコンピュータ生成感覚調整は、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視（例えば、低光量条件下の高感度、オブジェクトの輝度が視的に増強される、明るさの小さな変動が拡大されるなど）を含む。例示的な使用シナリオでは、表示生成コンポーネントは、最初に、夜間の家屋のカメラビューを表示する。家屋の詳細は、低光量条件のためにほとんど見えない。熱視が作動された状態では、表示生成コンポーネントは、熱視ビューの１つの領域が熱視ビューの他の領域よりも高い温度を有するように表示するが、家屋のどの構造部分が高温領域をホストしているかかは不明であり、暗視及び熱視が作動された状態では、表示生成コンポーネントは、家屋の明るくコントラストの高い画像を表示し、家屋の前側を下る縦樋内の高温領域を示す。いくつかの実施形態では、物理的オブジェクトの同じ部分のカメラビュー、暗視ビュー、及び熱視ビューは、任意選択的に、異なるカメラ及び／又はセンサによってキャプチャされるか、又は任意選択的に、計算技術を用いて向上される。
第１のユーザ入力の検出に応じて、物理的環境の第１の部分の第２の表現であって、物理的環境の第１の部分の第２の表現は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視に従って物理的環境の第１の部分の第１の表現に対して調整される第１の表示特性を有する、物理的環境の第１の部分の第２の表現を含む物理的環境の第２のビューを表示することと、物理的環境の第１の部分の第３の表現であって、物理的環境の第１の部分の第３の表現は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視に従って物理的環境の第１の部分の第１の表現に対して調整される第１の表示特性と、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視に従って物理的環境の第２の表現に対して調整される第２の表示特性とを有する、物理的環境の第１の部分の第３の表現を含む物理的環境の第３のビューを表示することとは、追加の表示されるコントロール（例えば、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視と、低光量条件下で物理的オブジェクトを見るためのシミュレートされた暗視との間で選択又は切換を行うための追加の表示される追加の表示されるコントロール）でＵＩを雑然とさせることなく、追加の制御オプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のタイプのコンピュータ生成感覚調整は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視（例えば、図７Ｌ～図７Ｍに示される）（例えば、温度の変動に対する高い感度、温度及び／又は熱放射の変動に従った色及び／又は強度変動を提示することなど）を含み、第２のタイプのコンピュータ生成感覚調整は、物理的環境内の物理的オブジェクトのサブセット（例えば、全ての音生成物理的オブジェクトの選択されたサブセット、現在の視野の中心にある物理的オブジェクトなど）に対応する音のための選択的音声増強（例えば、音量を増強すること、ある音周波数を選択的に増強／抑制することなど）を含む。例示的な使用シナリオでは、表示生成コンポーネントは、最初に、夜間の家屋のカメラビューを表示する。家屋の詳細は、低光量条件のためにほとんど見えず、次いで、熱視が作動されると、表示生成コンポーネントは、熱視ビューの１つの領域が熱視ビューの他の部分よりも高い温度を有するように見えるが、家屋のどの構造部分が高温領域をホストするかが不明瞭であることを表示し、暗視及び熱視の両方が作動されると、表示生成コンポーネントは、家屋の明るく高コントラストの画像を表示して、家屋の前側を下る縦樋の内側の高温領域を示し、暗視及び増強された聴覚の両方が作動されると、表示生成コンポーネントは、音源（例えば、いびきをかくげっ歯類の巣）のポジションを示す円を高温領域に重ねて表示する。強調表示された音源からの局所化された音は増強され、家屋の熱視ビューと共に、任意選択的に、空間音声出力モード及び音源からの音の増強と共に再生される。いくつかの実施形態では、物理的オブジェクトの同じ部分のカメラビュー、熱視ビュー、及び局所化された音は、任意選択的に、異なるカメラ及び／又はセンサによってキャプチャされるか、又は任意選択的に、計算技術を用いて強化される。いくつかの実施形態では、増強された音声が要求される音源（例えば、暗視ビュー内のホットスポット上のタップ）を選択するユーザ入力が検出される。
第１のユーザ入力を検出したことに応じて、物理的環境の第１の部分の第２の表現であって、物理的環境の第１の部分の第２の表現は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視に従って物理的環境の第１の部分の第１の表現に対して調整される第１の表示特性を有する、物理的環境の第１の部分の第２の表現を含む物理的環境の第２のビューを表示することと、物理的環境の第１の部分の第３の表現であって、物理的環境の第１の部分の第３の表現は、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視に従って物理的環境の第１の部分の第１の表現に対して調整される第１の表示特性と、物理的環境内の物理的オブジェクトのサブセットに対応する音の選択的音声調整に従って物理的環境の第２の表現に対して調整される第２の表示特性とを有する、物理的環境の第１の部分の第３の表現を含む物理的環境の第３のビューを表示することとは、追加の表示コントロール（例えば、様々な熱放射プロファイルを有する物理的オブジェクトを見るためのシミュレートされた熱視と、物理的環境内の物理的オブジェクトのサブセットに対応する音の選択的音声調整との間で選択又は切換を行うための追加の表示コントロール）でＵＩを雑然とさせることなく、追加の制御オプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
図１１における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法８０００、９０００、１００００、及び１２０００）に関して本明細書で記載した他のプロセスの詳細はまた、図１１に関連して上述した方法１１０００に類似の方式で適用可能であることに留意されたい。例えば、方法１１０００を参照して上述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、コントロール、移動、基準、三次元環境、表示生成コンポーネント、表面、物理的オブジェクトの表現、仮想オブジェクト、及び／又はアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法８０００、９０００、１００００、及び１２０００）を参照して本明細書に記載されるジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、コントロール、移動、基準、三次元環境、表示生成コンポーネント、表面、物理的オブジェクトの表現、仮想オブジェクト、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図１２は、いくつかの実施形態による、三次元環境のビュー内の物理的環境の部分が個別のタイプのエクササイズに対応するという判定に従って、三次元環境のビュー内に個別のタイプのエクササイズに対応する仮想コンテンツを選択的に表示する方法のフローチャートである。
いくつかの実施形態では、方法１２０００は、コンピュータシステム（例えば、図１のコンピュータシステム１０１）で実行される。表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０）を含む（例えば、ヘッドアップディスプレイ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上のカメラ（例えば、カメラ（例えば、カラーセンサ、赤外線センサ、及び他の深度感知カメラ））は、ユーザの手又はユーザの頭部から前方に向くカメラである。いくつかの実施形態では、方法１２０００は、非一時的コンピュータ可読記憶媒体に記憶され、コンピュータシステム１０１の１つ以上のプロセッサ２０２（例えば、図１Ａの制御ユニット１１０）など、コンピュータシステムの１つ以上のプロセッサによって実行される命令によって実行される。方法１２０００の一部の動作は、任意選択的に組み合わされ、及び／又は一部の動作の順序は、任意選択的に変更される。
いくつかの実施形態では、方法１２０００は、表示生成コンポーネント（例えば、図１、図３、及び図４の表示生成コンポーネント１２０、表示生成コンポーネント７１００など）（例えば、ヘッドアップディスプレイ、ＨＭＤ、ディスプレイ、タッチスクリーン、プロジェクタなど）及び１つ以上の入力デバイス（例えば、カメラ、コントローラ、タッチ感知面、ジョイスティック、ボタンなど）と通信しているコンピュータシステム（例えば、図１のコンピュータシステム１０１）において実行される。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネントと同じハウジングに囲まれた１つ以上のプロセッサ及びメモリと、１つ以上の入力デバイスのうちの少なくともいくつかと、を有する統合デバイスである。いくつかの実施形態では、コンピュータシステムは、表示生成コンポーネント及び／又は１つ以上の入力デバイスとは別個の１つ以上のプロセッサ及びメモリを含むコンピューティングコンポーネントを含む。いくつかの実施形態では、表示生成コンポーネント及び１つ以上の入力デバイスは、同じハウジング内に統合され、かつ同じハウジングに囲まれている。
コンピュータシステムは、三次元環境（例えば、図７Ｎ（Ａ）のシーン１０５、別の物理的環境など）の第１のビュー（例えば、図７Ｎ（Ｂ）のビュー７４０５、別のビューなど）（例えば、仮想要素を有さないか又は最小限の仮想要素を有する現実ビュー、コンピュータシステムの基本機能を制御するためのユーザインタフェースオブジェクト（例えば、異なるコンピュータ生成体験を起動するためのアプリケーションアイコン、表示設定、音声制御など）を有する現実ビュー、低い没入レベルで表示される拡張現実ビュー（例えば、ユーザの視野の小さな割合（例えば、１０％未満、２０％未満など）しか占有しないか又は制限された浮動ウィンドウなどに表示されるユーザインタフェースオブジェクト（例えば、アプリケーション起動パッド、ウェルカムユーザインタフェース、設定ユーザインタフェース）などを表示する）を表示し（１２００２）、三次元環境の第１のビューは、物理的環境の第１の部分の第１の表現を含む（例えば、第１の表現は、第１の表示生成コンポーネントを介して三次元環境を見るために第１の表示生成コンポーネントと物理的空間関係にあるユーザを囲む物理的環境の第１の部分の通常のカメラビュー、第１の表示生成コンポーネントのパススルー部分を通じた物理的環境のビューなど）。物理的環境の第１の部分の第１の表現を含む三次元環境の第１のビューを表示している間、コンピュータシステムは、物理的環境の第１のロケーション（例えば、図７Ｎ（Ａ）のユーザ７００２のロケーション、別のロケーションなど）から第２のロケーション（例えば、図７Ｏ（Ａ）のユーザ７００２のロケーション、図７Ｐ（Ａ）のユーザ７００２のロケーション、別のロケーションなど）への第１のユーザ（例えば、図７Ｎ～７Ｐのユーザ７００２、別のユーザなど）の移動（例えば、第１の表示生成コンポーネントとして機能するＨＭＤを装着している間の第１のユーザ全体の移動（例えば、歩く、登るなど）、第１の表示生成コンポーネントとして機能するディスプレイ又はプロジェクタを有するモバイルデバイスを携帯している第１のユーザの第１の物理的環境内の第１のロケーションから第２のロケーションへの移動（例えば、モバイルデバイス及びディスプレイの移動を引き起こすユーザの腕の移動、ディスプレイを有するモバイルデバイスを携帯しているユーザ全体の移動）など）を検出する（１２００４）。第１のロケーションから第２のロケーションへの第１のユーザの移動を検出したこと（１２００６）に応じて、かつ第２のロケーションへの移動が第１の基準を満たし、第１の基準は、第１の基準が満たされるために、第２のロケーションが第１のタイプのエクササイズに関連付けられたロケーション（例えば、ロケーションが第１のタイプのエクササイズ器具（例えば、ローイングマシン、階段、トレッドミル、クライミングウォール、ステーショナリーバイク、ウェイトトレーニングマシン、パンチバックなど）を有する）に対応するという第１の要件を含み、ロケーションは、（例えば、適切な床面、マット、プール、壁、構造などを有して）第１のタイプのエクササイズ（例えば、水泳、ローイング、瞑想、ヨガ、リフティング、キック、ウォーキング、ランニング、ダンス、クライミング、テニス、バスケットボール、体操など）に合わせて設計されるロケーションである、という判定に従って、コンピュータシステムは、三次元環境の第２のビュー（例えば、図７Ｏ（Ｂ）のビュー７４０８又は別のビューなど）（例えば、現在ロケーションに対応する第１の特定のコンピュータ生成体験に対応するより多くの仮想要素を備えた拡張現実ビュー、現在ロケーションに対応する第１のコンピュータ生成体験のプレビュー又は開始を示す拡張現実ビュー、より高い没入レベルで表示された拡張現実ビュー）を表示し（１２００８）（例えば、総合してユーザの視野の相当の割合（例えば、６０％超、９０％超など）を占有する、又は三次元仮想又は拡張現実環境に表示される第１の特定のアプリケーション体験（例えば、仮想ハイキングコース、仮想風景、スコアボード、エクササイズ統計、エクササイズパラメータの変更コントロールなど）の一部であるユーザインタフェースオブジェクトを表示する）、三次元環境の第２のビューは、第１のタイプのエクササイズに対応する第１のセットの仮想コンテンツ（例えば、図７Ｏ（Ｂ）の仮想開放水域７４０６、他の仮想コンテンツなど）（例えば、トレッドミルエクササイズプログラム用のハイキングコース風景、ローイングマシンエクササイズ用の湖シーン、キックボクシング用のアリーナ、クライミングウォールエクササイズ用の仮想崖側面、仮想テニスゲーム用の仮想テニスコート、及び／又は第１のタイプのエクササイズについてのユーザインタフェースコントロール、スコア、統計など）を含み、第１のセットの仮想コンテンツは、物理的環境の第２の部分の第２の表現の少なくとも一部を置換し（例えば、図７Ｏ（Ａ）のユーザ７００２のロケーション、別のロケーションなど）（例えば、第１のタイプのエクササイズに対応する仮想コンテンツは、第２のロケーションを含む物理的環境の部分の表現（例えば、第１のタイプのエクササイズの実際の器具又は第１のタイプのエクササイズに合わせて設計された部屋のビューなど）に重ねて、その表現のビューを遮断して、その部分の表示を置換して表示されるなど）。いくつかの実施形態では、上記の要件は、第１の基準が満たされる唯一の要件である。いくつかの実施形態では、上記の要件は、第１の基準が満たされるために全てが満たされる必要はない第１の基準における１つ以上の他の要件の代替要件である。いくつかの実施形態では、上記の要件は、第１の基準が満たされるために全てが満たされなければならない第１の基準における１つ以上の他の要件の追加要件である。いくつかの実施形態では、代替条件（又は追加条件）として、ユーザは、第１の基準が満たされるために、エクササイズに関連付けられたアクション、例えば、特徴的な移動を開始すること（例えば、トレッドミル上で歩き始めること、階段ステッパー上で歩くこと、楕円上で脚を前後に動かすこと、又はローイングマシン上でローイングを開始すること、又はエクササイズ器具の上に乗る／座ること）を実行しなければならない。方法１２０００では、第１のユーザの第１のロケーションから第２のロケーションへの移動を検出したことに応じて、第２のロケーションへの移動が第１の基準と異なる第２の基準を満たし、第２の基準は、第２の基準が満たされるために、第２のロケーションが第２のタイプのエクササイズに関連付けられたロケーションに対応するという第２の要件を含み（例えば、ロケーションは第２のタイプのエクササイズ器具（例えば、ローイングマシン、階段、トレッドミル、クライミングウォール、ウェイトトレーニングマシン、パンチバックなど）を有し、ロケーションは（例えば、適切な床面、マット、プール、壁、構造などを有して）第２のタイプのエクササイズ（例えば、水泳、ローイング、瞑想、ヨガ、リフティング、キック、ウォーキング、ランニング、ダンス、クライミング、テニス、バスケットボール、体操など）など）に合わせて設計されたロケーションであり、第２のタイプのエクササイズは第１のタイプのエクササイズと異なる、という判定に従って、コンピュータシステムは、三次元環境の第３のビュー（例えば、図７Ｐ（Ｂ）のビュー７４１０又は別のビューなど）（例えば、現在ロケーションに対応する第２の特定のコンピュータ生成体験に対応するより多くの仮想要素を備えた拡張現実ビュー、現在ロケーションに対応する第２のコンピュータ生成体験のプレビュー又は開始を示す拡張現実ビュー、より高い没入レベルで表示された拡張現実ビュー）を表示し（１２０１０）（例えば、総合してユーザの視野の相当割合（例えば、６０％超、９０％超など）を占有する、又は三次元仮想又は拡張現実環境などに表示される）第２の特定のアプリケーション体験（例えば、仮想ハイキングコース、仮想風景、スコアボード、エクササイズ統計、エクササイズパラメータの変更コントロールなど）の一部であるユーザインタフェースオブジェクトを表示する）、三次元環境の第３のビューは、第２のタイプのエクササイズ（例えば、トレッドミルエクササイズプログラム用のハイキングコース風景、ローイングマシンエクササイズ用の湖シーン、キックボクシング用のアリーナ、クライミングウォールエクササイズ用の仮想崖側面、仮想テニスゲーム用の仮想テニスコート、及び／又は第２のタイプのエクササイズについてのユーザインタフェースコントロール、スコア、統計など）に対応する第２のセットの仮想コンテンツを含み、第２のセットの仮想コンテンツは第１のセットの仮想コンテンツ（例えば、仮想ハイキングコース対仮想湖シーン；仮想テニスコート対仮想ボクシングリング；瞑想用の仮想草原対ダンス用の仮想ステージなど）と異なり、第２のセットの仮想コンテンツ（例えば、図７Ｐ（Ｂ）の仮想ハイキングコース７４１２、他の仮想コンテンツなど）は、物理的環境の第３の部分の第３の表現の少なくとも一部を置換する（例えば、第２のタイプのエクササイズに対応する仮想コンテンツは、第２のロケーション（例えば、図７Ｐ（Ａ）のユーザ７００２のロケーション、別のロケーションなど）を含む物理的環境（例えば、第１のタイプのエクササイズの実際の器具又は第１のタイプのエクササイズに合わせて設計された部屋などのビュー）の部分の表現に重ねて、その表現のビューを遮断して、その表現の表示を置換するなどして表示される）。いくつかの実施形態では、上記の要件は、第１の基準が満たされる唯一の要件である。いくつかの実施形態では、上記の要件は、第１の基準が満たされるために全てが満たされる必要はない第１の基準における１つ以上の他の要件の代替要件である。いくつかの実施形態では、上記の要件は、第１の基準が満たされるために全てが満たされなければならない第１の基準における１つ以上の他の要件の追加要件である。いくつかの実施形態では、代替条件（又は追加条件）として、ユーザは、第１の基準が満たされるために、エクササイズに関連付けられたアクション、例えば、特徴的な移動を開始すること（例えば、トレッドミル上で歩き始めること、階段ステッパー上で歩くこと、楕円上で脚を前後に動かすこと、又はローイングマシン上でローイングを開始すること、又はエクササイズ器具の上に乗る／座ること）を実行しなければならない。これらの特徴は図７Ｎ～図７Ｐに示されており、ユーザ７００２がロケーションを移動するとき、ユーザ７００２の現在ロケーションに応じて、コンピュータシステムは、どのタイプのエクササイズがユーザ７００２の現在ロケーションに関連付けられているかを判定する。現在ロケーションが第１のタイプのエクササイズ（例えば、オブジェクト７４０４を含むロケーション）に関連付けられている場合、コンピュータシステムは、第１のタイプのエクササイズ（例えば、ローイング、ボート漕ぎなど）に対応する仮想コンテンツ７４０８（図７Ｏ）を表示する。現在ロケーションが第２のタイプのエクササイズ（例えば、オブジェクト７４０２を含むロケーション）に関連付けられている場合、コンピュータシステムは、第２のタイプのエクササイズ（例えば、ハイキング、ウォーキングなど）に対応する仮想コンテンツ７４１０（図７Ｐ）を表示する。
いくつかの実施形態では、コンピュータシステムは、第２のロケーションにおける第１のタイプのエクササイズ器具（例えば、図７Ｏのオブジェクト７４０４、他の器具など）の検出（例えば、第２のロケーションにおける第１のタイプのエクササイズ器具に対応するＲＦＩＤ信号の検出、第２のロケーションをキャプチャするカメラフィードにおける第２のロケーションにおける第１のタイプのエクササイズ器具の画像の検出、第２のロケーションが第１のタイプのエクササイズ器具の登録されたロケーションに一致することの検出など）に従って、第２のロケーションが第１のタイプのエクササイズに関連付けられたロケーションに対応すると判定する（例えば、第１のタイプのエクササイズ器具は、第２のタイプのエクササイズ器具と異なり、第２のタイプのエクササイズに対応しない）。コンピュータシステムは、第２のロケーションにおける第２のタイプのエクササイズ器具（例えば、図７Ｐのオブジェクト７４０２、他の器具など）の検出（例えば、第２のロケーションにおける第２のタイプのエクササイズ器具に対応するＲＦＩＤ信号の検出、第２のロケーションをキャプチャするカメラフィードにおける第２のロケーションにおける第２のタイプのエクササイズ器具の画像の検出、第２のロケーションが第２のタイプのエクササイズ器具の登録されたロケーションであることの検出など）に従って、第２のロケーションが第２のタイプのエクササイズに関連付けられたロケーションに対応することを判定し、第２のタイプのエクササイズ器具は、第１のタイプのエクササイズ器具と異なり、第１のタイプのエクササイズに対応しない。例えば、第１のユーザがトレッドミルの前のロケーションへ歩くとき、ＨＭＤは、第１の表示生成コンポーネントを介して提供されるユーザの視野内のトレッドミルの表現を遮断する、その表現の表示を置換する、又はその表現に重なる仮想ハイキングコースを表示し、第１のユーザがローイングマシンの前のロケーションへ歩くとき、ＨＭＤは、第１の表示生成コンポーネントを介して提供されるユーザの視野内のローイングマシンの表現を遮断する、その表現の表示を置換する、又はその表現に重なる仮想湖シーンを表示する。いくつかの実施形態では、第１のユーザがロケーションからロケーションへ（例えば、ジムの入口からトレッドミルの前へ、トレッドミルの前からローイングマシンの前へなど）移動するとき、第１の表示生成コンポーネントによって提供される仮想コンテンツは、現実ビュー、異なる仮想シーンを有する異なる拡張現実ビュー、及び／又は異なる仮想環境などの間で自動的に（例えば、ユーザインタフェース要素又は音声コマンドを使用して仮想コンテンツ又はプログラムを具体的に選択するユーザ入力なしに）変更される。
コンピュータシステムが、第２のロケーションにおける第１のタイプのエクササイズ器具の検出に従って、第２のロケーションが第１のタイプのエクササイズに関連付けられたロケーションに対応すると判定する、第２のロケーションへの移動が、第２のロケーションが第１のタイプのエクササイズに関連付けられたロケーションに対応することを必要とする第１の基準を満たすという判定に従って、第１のタイプのエクササイズに対応する第１のセットの仮想コンテンツを含む三次元環境の第２のビューを表示することと、コンピュータシステムが、第２のロケーションにおける第２のタイプのエクササイズ器具の検出に従って、第２のロケーションが第２のタイプのエクササイズに関連付けられたロケーションに対応することを判定する、第２のロケーションが第２のタイプのエクササイズに関連付けられたロケーションに対応することを必要とする、第１の基準とは異なる、第２のロケーションへの移動が、第２の基準を満たすという判定に従って、第２のタイプのエクササイズに対応する第１のセットの仮想コンテンツとは異なる第２のセットの仮想コンテンツ三次元環境の第３のビューを表示することは、更なるユーザ入力（例えば、第１又は第２のタイプのエクササイズに対応する仮想コンテンツのセットを選択するための更なるユーザ入力）を必要とすることなく条件のセットが満たされたときに適切なセットの仮想コンテンツを表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、物理的環境内の第１のロケーションから第２のロケーションへの第１のユーザの移動を検出したことに応じて、三次元環境の第２のビュー（例えば、図７Ｏのビュー７４０８、又は図７Ｐのビュー７４１０、別のビューなど）を表示することは、物理的環境の第２の部分の第２の表現（例えば、図７Ｏのオブジェクト７４０４を含むシーン１０５の部分、及び図７Ｐのオブジェクト７４０２を含むシーン１０５の部分など）を徐々に減少させ（例えば、物理的環境の第２の部分の表現のより多くの部分の表示を停止し、物理的環境の第２の部分の表現をフェードアウトするなど）、物理的環境の第２の部分の第２の表現が徐々に減少した三次元環境の第２のビューの領域において、第１のタイプのエクササイズに対応する仮想コンテンツのプロミネンスを徐々に増加させる（例えば、仮想コンテンツの表示を開始し、仮想コンテンツの可視性を増加させ、仮想コンテンツによって占有されるユーザの視野の割合を増加させ、仮想コンテンツの不透明度又は輝度を上昇させるなど）ことを含む。いくつかの実施形態では、物理的環境内の第１のロケーションから第２のロケーションへの第１のユーザの移動を検出したことに応じて、三次元環境の第３のビューを表示することは、物理的環境の第３の部分の表現を徐々に低減すること（例えば、物理的環境の第３の部分の表現のより多くの部分の表示を停止する、物理的環境の第３の部分の表現をフェードアウトするなど）と、物理的環境の第３の部分の表現が徐々に低減された三次元環境の第３のビューの領域において、第２のタイプのエクササイズに対応する仮想コンテンツを徐々に増加させる（例えば、仮想コンテンツを表示する、仮想コンテンツの可視性を増加させるなど）こととを含む。例えば、いくつかの実施形態では、第１のユーザがトレッドミルの前に立っている、及び／又はトレッドミルに乗っているとき、ユーザの物理的環境のビュー（例えば、トレッドミルのハードウェア制御パネル、ユーザの前の壁、同じ部屋の他のエクササイズマシンなど）が徐々に変更され、物理的環境の表現のより多くの部分が次第に消え、及び／又はトレッドミルエクササイズに対応する仮想コンテンツ（例えば、ハイキングコースの風景、仮想湖の周囲の仮想舗装路など）に置換される。最終的に、ユーザがトレッドミル上で歩き始めると、ユーザの視野全体が、山道又は湖岸路の仮想風景で満たされる。いくつかの実施形態では、仮想コンテンツは、仮想三次元環境であり、ユーザは、トレッドミル上を歩行しながら、自分の頭を回転させるか、又は上下させることによって、仮想三次元環境の異なる部分を見ることができる。
物理的環境の第２の部分の第２の表現を徐々に低減し、物理的環境の第２の部分の第２の表現が徐々に低減された三次元環境の第２のビューの領域において第１のタイプのエクササイズに対応する仮想コンテンツのプロミネンスを徐々に増加させることは、改善された視覚的フィードバック（例えば、コンピュータシステムが物理的環境内の第１のロケーションから第２のロケーションへの第１のユーザの移動を検出したという改善された視覚的フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１の基準は、第１の基準が満たされるために、第１のユーザの第１のロケーションから第２のロケーションへの移動の後、第１のタイプのエクササイズに対応する第１の所定の移動（例えば、図７Ｏのオブジェクト７４０４に座る、図７Ｐのオブジェクト７４０２を踏む）（例えば、特徴的な動作を開始する（例えば、トレッドミル上で歩き始める、階段ステッパーを踏む、楕円上で脚を前後に動かす、又はローイングマシンでローイングを開始するなど））、第１のタイプのエクササイズに対応するエクササイズ器具に踏む／座る（例えば、ローイングマシン又はウェイトトレーニングマシンに座るなど）、第１のタイプのエクササイズに対応する準備姿勢になる（例えば、仮想テニスボールを打つ準備姿勢で立つ、瞑想又はヨガを始めるために床に座るなど）など）が続く第３の要件を含む。いくつかの実施形態では、第２の基準は、第１のロケーションから第２のロケーションへの第１のユーザの移動の後、第２のタイプのエクササイズに対応する第２の所定の移動が続くという第４の要件を含み、第２の所定の移動は、第１のタイプの移動とは異なる。いくつかの実施形態では、第２の所定の移動は、第１の所定の移動と同じである。例えば、キックボクシング用の仮想環境を開始するための所定の移動は、任意選択的に、ボクシング用の仮想環境を開始するための所定の移動要件と同じである。例えば、バレエ用の仮想環境を開始するための所定の移動は、任意選択的に、モダンダンス用の仮想環境を開始するための所定の移動要件とは異なる。いくつかの実施形態では、コンピュータシステムは、第１のユーザが第２のロケーションにおり、第２のロケーションが第１のタイプのエクササイズに対応するロケーションであっても、第１のタイプのエクササイズに対応する第１の所定の移動が検出されるまで、第１のタイプのエクササイズに対応する仮想コンテンツの表示を開始しない。いくつかの実施形態では、コンピュータシステムは、第１のユーザが第２のロケーションで検出され、第２のロケーションが第１のタイプのエクササイズに関連付けられたロケーションであるとき、第１のユーザが第１の所定の移動を提供して、第１のタイプのエクササイズに関連付けられた仮想コンテンツの表示をトリガするための視覚的プロンプトを表示する。
第２のロケーションへの移動が第１の基準であって、第１の基準は、第１のユーザの第１のロケーションから第２のロケーションへの移動の後に第１のタイプのエクササイズに対応する第１の所定の移動が続くという第３の要件を含む、第１の基準を満たすという判定に従って、第１のタイプのエクササイズに対応する第１のセットの仮想コンテンツを含む三次元環境の第２のビューを表示することは、追加の表示されたコントロール（例えば、第１のタイプのエクササイズに対応する第１のセットの仮想コンテンツを表示するための追加の表示されたコントロール、第１のタイプのエクササイズに対応する第１のセットの仮想コンテンツの表示を取りやめるための追加の表示されたコントロールなど）でＵＩを雑然とさせることなく、追加のコントロールオプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のロケーションから第２のロケーションへの第１のユーザの移動を検出したことに応じて、かつ第２のロケーションへの移動が第１の基準及び第２の基準とは異なる第３の基準を満たし、第３の基準は、第３の基準が満たされるために、第２のロケーションが第１のタイプのエクササイズ及び第２のタイプのエクササイズとは異なる第３のタイプのエクササイズに関連付らたロケーションに対応するという要件を含み（例えば、第２のロケーションは、任意選択的に、第１のタイプのエクササイズ及び第３のタイプのエクササイズの両方に関連付けられる）、第１のロケーションから第２のロケーションへの第１のユーザの移動の後に、第３のタイプのエクササイズに対応する第３の所定の移動（例えば、特徴的な動作を開始すること（例えば、トレッドミル上で歩くことを開始すること、階段ステッパーを踏むこと、楕円上で脚を前後に動かすこと、又はローイングマシン上でローイングを開始することなど））、個別のタイプのエクササイズに対応するエクササイズ器具を踏む／座ること（例えば、ローイングマシンに座ること、ウェイトトレーニングマシンに座ることなど）、個別のタイプのエクササイズに対応する準備姿勢になること（例えば、仮想テニスボールを打つための準備姿勢で立つこと、瞑想又はヨガを始めるために床に座ることなど）が続き、第３の所定の移動が第１の所定の移動とは異なる、という判定に従って、コンピュータシステムは、三次元環境の第４のビュー（例えば、現在ロケーションに対応する第３の特定のコンピュータ生成体験に対応するより多くの仮想要素を有する拡張現実ビュー、現在ロケーションに対応する第３のコンピュータ生成体験のプレビュー又は開始を示す拡張現実ビュー、より高い没入レベルで表示される拡張現実ビューを表示する（例えば、全体でユーザの視野の相当割合（例えば、６０％超、９０％超など）を占有する、又は三次元仮想又は拡張現実環境などに表示される第３の特定のアプリケーション体験の一部であるユーザインタフェースオブジェクト（例えば、仮想ハイキングコース、仮想風景、スコアボード、エクササイズ統計、エクササイズパラメータの変更コントロールなど）を表示する）。三次元環境の第４のビューは、第３のタイプのエクササイズに対応する第３のセットの仮想コンテンツ（例えば、トレッドミルエクササイズプログラムのハイキングコース風景、ローイングマシンエクササイズの湖シーン、キックボクシングのアリーナ、クライミングウォールエクササイズの仮想崖側面、仮想テニスゲームの仮想テニスコート、及び／又は第３のタイプのエクササイズのユーザインタフェースコントロール、スコア、統計など）を含む。第３のセットの仮想コンテンツは、第１のセットの仮想コンテンツ及び第２のセットの仮想コンテンツとは異なり、第３のセットの仮想コンテンツは、物理的環境の第２の部分の第２の表現の少なくとも一部を置換する（例えば、第２のロケーションは、第１のタイプのエクササイズ及び第３のタイプのエクササイズの両方に対応し、第１のセットの仮想コンテンツ又は第３のセットの仮想コンテンツが表示されるかどうかは、第１のユーザが第２のロケーションにいる間に第１の所定の移動又は第３の所定の移動が検出されるかどうかに依存する）。
第２のロケーションへの移動が第１の基準及び第２の基準とは異なる第３の基準を満たし、第２のロケーションが第１のタイプのエクササイズ及び第２のタイプのエクササイズとは異なる第３のタイプのエクササイズに関連付らたロケーションに対応すること、及び第１のロケーションから第２のロケーションへの第１のユーザの移動の後に第３のタイプのエクササイズに対応する第１の所定の移動とは異なる第３の所定の移動が続くことを必要とするという判定に従って、第３のタイプのエクササイズに対応する第１のセットの仮想コンテンツ及び第２のセットの仮想コンテンツとは異なる第３のセットの仮想コンテンツを含む三次元環境の第４のビューを表示することは、追加の表示されるコントロール（例えば、第１のタイプのエクササイズに対応する第１のセットの仮想コンテンツを表示するための追加の表示されるコントロール、第３のタイプのエクササイズに対応する第３のセットの仮想コンテンツを表示するための追加の表示されるコントロールなど）でＵＩを雑然とさせることなく、追加の制御オプションを提供する。追加の表示されるコントロールでＵＩを雑然とさせることなく追加の制御オプションを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、第２のロケーションに関連付けられた個別のタイプのエクササイズ（例えば、第１のタイプのエクササイズ、第２のタイプのエクササイズ、第３のタイプのエクササイズなど）に対応する所定の移動の進行又は持続時間のうちの少なくとも１つに従って、第１のユーザの視野内（例えば、図７Ｏ（Ｂ）及び７Ｐ（Ｂ）などに示されるビュー内）に表示される仮想コンテンツの量を徐々に増加させる。例えば、いくつかの実施形態では、現実世界のビューは徐々に消え、及び／又は表示が停止され、個別のタイプのエクササイズに対応する仮想コンテンツによって徐々に置換される。いくつかの実施形態では、コンピュータシステムは、個別のタイプのエクササイズに対応する個別の仮想環境が第１の表示生成コンポーネントを介して完全に表示されるまで（例えば、三次元環境の第２のビューが第１のタイプのエクササイズに対応する仮想環境を含み、三次元環境の第３のビューが第２のタイプのエクササイズに対応する仮想環境を含むなど）、第１のユーザの視野内に表示される仮想コンテンツの量を徐々に増加させる。例えば、いくつかの実施形態では、開放ジムがヨガとダンスの両方に関連付けられたロケーションであるとき、第１のユーザが開放ジムに到着した後、第１のユーザがナマステポーズで座る場合、コンピュータシステムは、ユーザが仮想ビーチ上でヨガを練習するために、海洋音を伴う仮想海洋ビューを表示し、第１のユーザがダンサーのポーズで立つ場合、コンピュータシステムは、第１のユーザがダンスを練習するために、ダンス音楽を伴う仮想ステージを表示する。
第２のロケーションに関連付けられた個別のタイプのエクササイズに対応する所定の移動の進行又は持続時間のうちの少なくとも１つに従って、第１のユーザの視野内に表示される仮想コンテンツの量を徐々に増加させることは、改善された視覚的フィードバック（例えば、第２のロケーションに関連付けられた個別のタイプのエクササイズに対応する所定の移動の進行又は持続時間に関する改善された視覚的フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第２のロケーションに関連付けられた個別のタイプのエクササイズ（例えば、第１のタイプのエクササイズ、第２のタイプのエクササイズ、第３のタイプのエクササイズなど）に対応する三次元環境の個別のビュー（例えば、拡張現実ビュー、仮想現実ビューなど）を表示している間、コンピュータシステムは、第２のロケーションに関連付けられた個別のタイプのエクササイズを終了させる要求に対応する第１のユーザの移動を検出する（例えば、第１のユーザが個別のタイプのエクササイズを中止すること、立ち上がること、ｌ器具から降りること、ＨＭＤを外すこと、及び／又は第２のロケーションから歩き去ることなどを検出する）。第２のロケーションに関連付けられた個別のタイプのエクササイズを終了させる要求に対応する第１のユーザの移動を検出したことに応じて、コンピュータシステムは、物理的環境の少なくとも第４の部分の表現を含む三次元環境の第５のビューを検出し、物理的環境の少なくとも第４の部分の表現は、第１のユーザが第２のロケーションにいる間に個別のタイプのエクササイズに対応する個別のセットの仮想コンテンツが表示されていた第１のユーザの視野の一部を占有する。例えば、現在のエクササイズを終了させる要求に対応する第１のユーザの移動が検出されると、現在のエクササイズに対応する仮想シーンは表示が停止され（例えば、次第に消えたり、すぐに表示が停止されるなど）、物理的環境の表現を再び見えるようにする。いくつかの実施形態では、ユーザ７００２がオブジェクト７４０４から離れて移動し、シーン１０５内のオブジェクト７４０２に到達していないとき、図７Ｏ及び７Ｐのビュー７４０８もビュー７４１０も表示されず、図７Ｎに示されるような物理的環境の表現が表示される。
物理的環境の少なくとも第４の部分の表現であって、物理的環境の少なくとも第４の部分の表現は、第１のユーザが第２のロケーションにいる間に個別のタイプのエクササイズに対応する個別のセットの仮想コンテンツが表示されていた第１のユーザの視野の一部を占有する、第４の部分の表現を含む三次元環境の第５のビューを表示することは、第２のロケーションに関連付けられた個別のタイプのエクササイズを終了させる要求に対応する第１のユーザの移動を検出したことに応じて、更なるユーザ入力（例えば、三次元環境の第５のビューを表示するための更なるユーザ入力）を必要とせずに、条件のセットが満たされたときに三次元環境の第５のビューを表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、三次元環境の第２のビュー（例えば、図７Ｏのビュー７４０８、図７Ｐのビュー７４１０、別のビューなど）が表示されるときに、第１のタイプのエクササイズに対応するステータス情報（例えば、現在のセッション中の進行、持続時間、速度、力、身長、ペース、ストライド長、パフォーマンスレベル、スコア、完了した反復回数など、過去の統計、第１のユーザ及び／又は複数のユーザにわたる平均統計、同じタイプのエクササイズを行っている他のユーザのステータスなど）を表示する。いくつかの実施形態では、第１のタイプのエクササイズに対応するステータス情報は、第１のタイプのエクササイズに対応する仮想シーンの一部に重ね合わされる。いくつかの実施形態では、ステータス情報は、第１のタイプのエクササイズに対応する仮想シーンがステータス情報なしで表示されている間に検出される第１のユーザの要求に応じて表示される。いくつかの実施形態では、三次元環境の第２のビューは、第１のユーザによる第１のタイプのエクササイズの実行全体にわたって次第に進展する。いくつかの実施形態では、ステータス情報は、第１のユーザによる第１のタイプのエクササイズの実行全体を通じて連続的に更新される（例えば、三次元環境の変化する第２のビューに重ね合わされる）。いくつかの実施形態では、ステータス情報は、１つ以上の性能パラメータの値が予め設定された閾値を満たした（例えば、目標速度又は距離が達成された、閾値スコアに達したなど）ことの検出に応じて表示される。
三次元環境の第２のビューが表示されるときに第１のタイプのエクササイズに対応するステータス情報を表示することは、改善された視覚的フィードバック（例えば、第１のタイプのエクササイズに関する改善された視覚的フィードバック、第２のポジションへのユーザの移動が第１の基準を満たすという改善された視覚的フィードバック、コンピュータシステムが三次元環境の第２のビューを表示しているという改善された視覚的フィードバックなど）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。いくつかの実施形態では、コンピュータシステムは、三次元環境の第２のビュー（例えば、図７Ｏのビュー７４０８、図７Ｐのビュー７４１０、別のビューなど）が表示されるとき、第１のユーザに対応する健康情報（例えば、リアルタイムバイオメトリックデータ（例えば、心拍数、血圧、呼吸数、体温、血糖値など）、体重、ＢＭＩなど）を表示する。いくつかの実施形態では、第１のユーザに対応する健康情報は、第１のタイプのエクササイズに対応する仮想シーンの一部に重ね合わされる。いくつかの実施形態では、健康情報は、第１のタイプのエクササイズに対応する仮想シーンが健康情報なしで表示されている間に検出される第１のユーザの要求に応じて表示される。いくつかの実施形態では、三次元環境の第２のビューは、第１のユーザによる第１のタイプのエクササイズの実行全体にわたって次第に進展する。いくつかの実施形態では、健康情報は、第１のユーザによる第１のタイプのエクササイズの実行全体を通じて連続的に更新される（例えば、三次元環境の変化する第２のビューに重ね合わされる）。いくつかの実施形態では、健康情報は、１つ以上の健康パラメータの値が予め設定された閾値を満たした（例えば、目標心拍数が達成された、閾値血圧に達したなど）ことの検出に応じて表示される。
三次元環境の第２のビューが表示されるときに第１のユーザに対応する健康情報を表示することは、改善された視覚的フィードバック（例えば、第１のタイプのエクササイズに関する改善された視覚的フィードバック、第２のポジションへのユーザの移動が第１の基準を満たすという改善された視覚的フィードバック、コンピュータシステムが三次元環境の第２のビューを表示しているという改善された視覚的フィードバックなど）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、コンピュータシステムは、三次元環境の第２のビュー（例えば、図７Ｏのビュー７４０８、図７Ｐのビュー７４１０、別のビューなど）が表示されるときに、第１のユーザによって行われた第１のタイプのエクササイズの進行情報（例えば、リアルタイムスコア、完了したラップ、残りのラップ、持続時間、歩数、移動距離、完了したポーズなど）を視覚的に提示する。いくつかの実施形態では、進行情報は、第１のユーザに提示される仮想シーンに生じる視覚的変化によって視覚的に表される（例えば、仮想ハイキングコース上の仮想里程標、下りポジションに示される仮想シューティングターゲットの数、仮想ゲーム場の一部としてのスコアボード、達成される深い瞑想度を表す仮想湖上の水の静止など）。いくつかの実施形態では、第１のユーザによる第１のタイプのエクササイズの実行に対応する進行情報は、第１のタイプのエクササイズに対応する仮想シーンの一部に重ねられる。いくつかの実施形態では、進行情報は、第１のタイプのエクササイズに対応する仮想シーンが進行情報なしで表示されている間に検出される第１のユーザの要求に応じて表示される。いくつかの実施形態では、三次元環境の第２のビューは、第１のユーザによる第１のタイプのエクササイズの実行全体にわたって次第に進展する。いくつかの実施形態では、進行情報は、第１のユーザによる第１のタイプのエクササイズの実行全体にわたって連続的に更新される（例えば、三次元環境の変化する第２のビューに重ね合わされる）。いくつかの実施形態において、進行情報は、１つ以上の進行パラメータの値が予め設定された閾値を満たした（例えば、目標距離が達成された、閾値スコアに達した、エクササイズルーチンが完了したなど）ことの検出に応じて表示される。
三次元環境の第２のビューが表示されるときに第１のユーザによって実行される第１のタイプのエクササイズの進行情報を視覚的に提示することは、改善された視覚的フィードバック（例えば、第１のタイプのエクササイズの進行情報に関連する改善された視覚的フィードバック）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のユーザが物理的環境内で第１の方向を向いているという判定に従って、コンピュータシステムは、第１のセットの仮想コンテンツの第２のサブセットを表示することなく、エクササイズの第１のタイプに対応する第１のセットの仮想コンテンツの第１のサブセットを表示し、第１のユーザが物理的環境内で第１の方向と異なる第２の方向（例えば、第１の方向と反対の方向、第１の方向から０でない角度など）を向いているという判定に従って、コンピュータシステムは、第１のセットの仮想コンテンツの第２のサブセットを表示することなく、エクササイズの第１のタイプに対応する第１のセットの仮想コンテンツの第２のサブセット（例えば、図７Ｏのビュー７４０８に示されていない仮想開放水域７４０６、図７Ｐのビュー７４１０に示されていない仮想マウンテントレイル７４１２など）を表示する。例えば、いくつかの実施形態では、三次元環境の第２のビューは、第１のユーザの全周囲の方向に仮想オブジェクトを伴う没入型ビューである（例えば、ユーザの視野よりも広い角度に及ぶため、ユーザが自分の頭を回したとき、仮想環境の様々な部分が見える）。いくつかの実施形態では、コンピュータシステムは、サラウンドサウンドモードなどの没入型音声出力モード、又は仮想環境内の音生成仮想オブジェクト（例えば、応援する群衆、海の波、仮想コーチなど）に対応するポジションに局所化された音を提供する空間音声モードを使用して音響効果を出力する。
第１のユーザが物理的環境内で第１の方向を向いているという判定に従って、第１のタイプのエクササイズに対応する第１のセットの仮想コンテンツの第１のサブセットを、第１のセットの仮想コンテンツの第２のサブセットを表示せずに表示し、第１のユーザが物理的環境内で第１の方向とは異なる第２の方向であるという判定に従って、第１のタイプのエクササイズに対応する第１のセットの仮想コンテンツの第２のサブセットを、第１のセットの仮想コンテンツの第２のサブセットを表示せずに表示することは、更なるユーザ入力（例えば、第１のタイプのエクササイズに対応する第１のセットの仮想コンテンツをナビゲートするための更なるユーザ入力）を必要とすることなく、条件のセットが満たされたときに、第１のタイプのエクササイズに対応する第１のセットの仮想コンテンツの適切なサブセットを表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のタイプのエクササイズは、ローイングエクササイズであり、第２のロケーションは、ローイングエクササイズ器具（例えば、オブジェクト７４０４、他のローイング器具など）が存在するロケーションであり、三次元環境の第２のビュー（例えば、図７Ｏのビュー７４０８）は、開放水域を有する仮想シーン（例えば、図７Ｏの仮想開放水域７４０６）を含む。いくつかの実施形態では、第１の基準は更に、第１の基準が満たされるために、（例えば、図７Ｏ（Ａ）に示されるように）第１のユーザがローイングエクササイズ器具に座り、彼／彼女の手をローイングエクササイズ器具のオール上に置くという要件を含む。いくつかの実施形態では、第２のタイプのエクササイズはウォーキングエクササイズであり、第２のロケーションは、トレッドミル（例えば、オブジェクト７４０２、又は他のウォーキング器具など）を伴うロケーションであり、三次元環境の第３のビュー（例えば、図７Ｐのビュー７４１０）は、屋外ウォーキング路（例えば、図７Ｐの仮想コース７４１２）（例えば、ハイキングコース、湖岸路、都市街路など）を示す仮想シーンを含む。いくつかの実施形態では、第２の基準は、第１のユーザがトレッドミルに乗り、少なくとも１歩進むという要件を更に含む。第１のタイプのエクササイズがローイングエクササイズであり、第２のロケーションがローイングエクササイズ器具が存在するロケーションである、開放水域を有する仮想シーンを含む三次元環境の第２のビューを表示することは、改善された視覚的フィードバック（例えば、第１のタイプのエクササイズがローイングエクササイズであるという改善された視覚的フィードバック、ローイングエクササイズ器具が第２のロケーションに存在するという改善された視覚的フィードバックなど）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、第１のロケーションから第２のロケーションへの第１のユーザ（例えば、図７Ｏ～図７Ｐの７００２）の移動を検出したことに応じて、第２のロケーションが第５のタイプのエクササイズ及び第６のタイプのエクササイズに関連付けられたロケーションに対応するという判定に従って、かつ第１のロケーションから第２のロケーションへの第１のユーザの移動の後、第２のロケーションにおける第１のユーザによる第５のタイプのエクササイズに関連付けられた個別のタイプの器具との関与が続くという判定に従って、コンピュータシステムは、三次元環境の第６のビューを表示し、三次元環境の第６のビューは、第５のタイプのエクササイズ（例えば、バレーボール、テニス、楕円形マシンなど）に対応する第５のセットの仮想コンテンツを含み、第５のセットの仮想コンテンツは、第１のセットの仮想コンテンツ及び第２のセットの仮想コンテンツとは異なり、第５のセットの仮想コンテンツは、物理的環境の第５の部分の第５の表現の少なくとも一部を置換する。いくつかの実施形態では、第１のロケーションから第２のロケーションへの第１のユーザの移動を検出したことに応じて、第１のロケーションから第２のロケーションへの第１のユーザの移動の後、第２のロケーションにおける第１のユーザによる第６のタイプのエクササイズに関連付けられた個別のタイプの器具との関与が続くという判定に従って、コンピュータシステムは、三次元環境の第７のビューを表示し、三次元環境の第７のビューは、第６のタイプのエクササイズ（例えば、バスケットボール、フェンシング、エクササイズバイクなど）に対応する第６のセットの仮想コンテンツを含み、第６のセットの仮想コンテンツは、第１のセットの仮想コンテンツ、第２のセットの仮想コンテンツ、及び第５のセットの仮想コンテンツとは異なり、第６のセットの仮想コンテンツは、物理的環境の第５の部分の第５の表現の少なくとも一部を置換する（例えば、物理的環境の第５の部分は、第５のタイプのエクササイズ及び第６のタイプのエクササイズの両方に関連付けられる）。これは図７Ｏ及び図７Ｐに示されており、いくつかの実施形態によれば、ユーザ７００２が、第１のタイプのエクササイズ（例えば、ローイング、ボート漕ぎなど）に対応するオブジェクト７４０４を含む１つのロケーションから、第２のタイプのエクササイズ（例えば、ハイキング、ウォーキングなど）に対応するオブジェクト７４０２を含む別のロケーションに移動するとき、ビュー７４０８内の仮想コンテンツ（例えば、仮想開放水域７４０６、又は他の仮想コンテンツなど）は、ビュー７４１０内の仮想コンテンツ（例えば、ハイキングコース７４１２、又は他の仮想コンテンツなど）に置換される。
三次元環境の第６のビューであって、三次元環境の第６のビューは、第１のロケーションから第２のロケーションへの第１のユーザの移動の後に、第２のロケーションにおける第１のユーザによる第５のタイプのエクササイズに関連付けられた個別のタイプの器具との関与が続くという判定に従って、第５のタイプのエクササイズに対応する第５のセットの仮想コンテンツを含む、三次元環境の第６のビューが表示されることと、三次元環境の第７のビューであって、三次元環境の第７のビューは、第１のロケーションから第２のロケーションへの第１のユーザの移動の後に、第２のロケーションにおける第１のユーザによる第６のタイプのエクササイズに関連付けられた個別のタイプの器具との関与が続くという判定に従って、第６のタイプのエクササイズに対応する第６のセットの仮想コンテンツを含む、三次元環境の第７のビューが表示されることとは、更なるユーザ入力（例えば、三次元環境のビュー及び／又は個別のタイプのエクササイズに対応する仮想コンテンツのセットを選択又はナビゲートするための更なるユーザ入力）を必要とすることなく、条件のセットが満たされたときに、それぞれのタイプのエクササイズに対応する仮想コンテンツの個別のセットを有する三次元環境の適切なビューを表示する。更なるユーザ入力を必要とすることなく条件のセットが満たされたときに動作を実行することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、三次元環境の第２のビュー（例えば、図７Ｏ～図７Ｐのビュー７４０８、ビュー７４１０など）は、第１のユーザ（例えば、図７Ｎ～図７Ｐのユーザ７００２、又は別のユーザなど）の仮想表現を含み、この仮想表現は、第１のユーザと競争して（例えば、第１のユーザの以前の最良記録に基づいて、第１のタイプのエクササイズについて第１のユーザの予め設定された構成に基づいてなど）第１のタイプのエクササイズを実行するように示される。いくつかの実施形態では、三次元環境の第３のビューは、第１のユーザと競争して（例えば、第１のユーザの以前の最良記録に基づいて、第２のタイプのエクササイズについて第１のユーザの予め設定された構成に基づいてなど）第２のタイプのエクササイズを実行するように示される第１のユーザの仮想表現を含む。第１のユーザと競争して第１のタイプのエクササイズを実行するように示される第１のユーザの仮想表現を含む三次元環境の第２のビューを表示することは、ユーザに改善された視覚的フィードバック（例えば、第１のタイプのエクササイズに関する改善された視覚的フィードバック、第１のタイプのエクササイズの第１のユーザの実行の特性に関する改善された視覚的フィードバックなど）を提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
いくつかの実施形態では、三次元環境の第２のビュー（例えば、図７Ｏ～図７Ｐのビュー７４０８、ビュー７４１０など）は、第１のユーザと競争して第１のタイプのエクササイズを行うように示される、第１のユーザとは異なる少なくとも第２のユーザ（例えば、図７Ｎ～図７Ｐのユーザ７００２、又は別のユーザなど）の仮想表現を含む。いくつかの実施形態では、三次元環境の第３のビューは、第１のユーザと競争して第２のタイプのエクササイズを実行するように示される、第１のユーザとは異なる少なくとも第２のユーザの仮想表現を含む。第１のユーザと競争して第１のタイプのエクササイズを行うように示される、第１のユーザとは異なる少なくとも第２のユーザの仮想表現を含む、三次元環境の第２のビューを表示することは、改善された視覚的フィードバック（例えば、少なくとも第２のユーザも第１のタイプのエクササイズを行っているという改善された視覚的フィードバック、第１のタイプのエクササイズの第２のユーザの実行に対する第１のタイプのエクササイズのユーザの実行に関する改善された視覚的フィードバックなど）をユーザに提供する。改善されたフィードバックを提供することにより、デバイスの操作性を向上させ、加えて、ユーザがデバイスをより迅速かつ効率的に使用できるようにすることによって、電力使用量を低減し、デバイスのバッテリ寿命を改善する。
図１２における動作について説明された特定の順序は単なる例であり、説明された順序は、動作を実行することができる唯一の順序であることを示すことを意図するものではないことを理解されたい。当業者であれば、本明細書に記載される動作を再順序付けるための様々な方法を認識するであろう。加えて、本明細書に記載の他の方法（例えば、方法８０００、９０００、１００００、及び１１０００）に関して本明細書で記載した他のプロセスの詳細はまた、図１２に関連して上述した方法１２０００に類似の方式で適用可能であることに留意されたい。例えば、方法１２０００を参照して上述したジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、コントロール、移動、基準、三次元環境、表示生成コンポーネント、表面、物理的オブジェクトの表現、仮想オブジェクト、及び／又はアニメーションは、任意選択的に、本明細書に記載される他の方法（例えば、方法８０００、９０００、１００００、及び１１０００）を参照して本明細書に記載されるジェスチャ、視線入力、物理的オブジェクト、ユーザインタフェースオブジェクト、コントロール、移動、基準、三次元環境、表示生成コンポーネント、表面、物理的オブジェクトの表現、仮想オブジェクト、及び／又はアニメーションの特性のうちの１つ以上を有する。簡潔にするために、それらの詳細はここでは繰り返さない。
図８、図９Ａ～９Ｂ、図１０、図１１、及び図１２を参照して上述した動作は、任意選択的に、図１～図６に示すコンポーネントにより実施される。いくつかの実施形態では、方法８０００、９０００、１００００、１１０００、及び１２０００の態様／動作は、これらの方法の間で交換、置換、及び／又は追加されてもよい。簡潔にするために、それらの詳細はここでは繰り返さない。
上記は、説明を目的として、特定の実施形態を参照して記述されている。しかしながら、上記の例示的な論考は、網羅的であること、又は開示される厳密な形態に本発明を限定することを意図するものではない。上記の教示を考慮して、多くの修正及び変形が可能である。本発明の原理及びその実際的な応用を最良の形で説明し、それによって他の当業者が、想到される特定の用途に適した様々な変更で本発明及び様々な記載された実施形態を最良の形で使用することを有効化するために、これらの実施形態を選択し記載した。

Claims (20)

  1. 方法であって、
    第１の表示生成コンポーネント及び１つ以上の第１の入力デバイスと通信しているコンピュータシステムにおいて、
    第１の没入レベルで第１のコンピュータ生成体験を表示することと、
    前記第１の没入レベルで前記第１のコンピュータ生成体験を表示している間、第１のユーザに対応するバイオメトリックデータを受信することであって、前記第１の没入レベルでの前記第１のコンピュータ生成体験は、仮想コンテンツを含む、ことと、
    前記第１のユーザに対応する前記バイオメトリックデータを受信したことに応じて、
    前記第１のユーザに対応する前記バイオメトリックデータが第１の基準を満たすという判定に従って、前記第１の没入レベルよりも多くの仮想コンテンツを含む第２の没入レベルで前記第１のコンピュータ生成体験を表示することであって、前記第２の没入レベルで表示される前記第１のコンピュータ生成体験は、前記第１の没入レベルで表示される前記第１のコンピュータ生成体験よりも前記第１のユーザの視野のより大きな部分を占有する、ことと、
    前記第１のユーザに対応する前記バイオメトリックデータが前記第１の基準を満たさないという判定に従って、前記第１の没入レベルで前記第１のコンピュータ生成体験を表示し続けることと、
    を含む、方法。
  2. 前記第２の没入レベルで前記第１のコンピュータ生成体験を表示している間、前記第１のユーザに対応する第１の更新されたバイオメトリックデータを受信することと、
    前記第１のユーザに対応する前記第１の更新されたバイオメトリックデータを受信したことに応じて、
    前記第１のユーザに対応する前記第１の更新されたバイオメトリックデータが前記第１の基準とは異なる第２の基準を満たすという判定に従って、前記第２の没入レベルよりも多くの仮想コンテンツを含む第３の没入レベルで前記第１のコンピュータ生成体験であって、前記第３の没入レベルで表示される前記第１のコンピュータ生成体験は、前記第２の没入レベルで表示される前記第１のコンピュータ生成体験よりも前記第１のユーザの前記視野のより大きな部分を占有する、第３の没入レベルで前記第１のコンピュータ生成体験を表示することと、
    前記第１のユーザに対応する前記第１の更新されたバイオメトリックデータが前記第１の基準を満たし、かつ前記第２の基準を満たさないという判定に従って、前記第２の没入レベルで前記第１のコンピュータ生成体験を表示し続けることと、
    を含む、請求項１に記載の方法。
  3. 前記第２の没入レベルで前記第１のコンピュータ生成体験を表示している間、前記第１のユーザに対応する第２の更新されたバイオメトリックデータを受信することと、
    前記第１のユーザに対応する前記第２の更新されたバイオメトリックデータを受信したことに応じて、
    前記第１のユーザに対応する前記第２の更新されたバイオメトリックデータが、前記第２の没入レベルで前記第１のコンピュータ生成体験を表示することに遷移するために満たされた前記第１の基準を満たさないという判定に従って、前記第１の没入レベルで前記第１のコンピュータ生成体験を表示することと、
    を含む、請求項１に記載の方法。
  4. 前記バイオメトリックデータは前記第１のユーザの呼吸速度を含み、前記第１の基準は、前記第１のユーザの前記呼吸速度が第１の閾値呼吸速度を下回る場合に満たされる基準を含む、請求項１から３のいずれか一項に記載の方法。
  5. 前記第１の基準は、前記バイオメトリックデータが少なくとも閾値時間にわたって１つ以上の予め設定された閾値を満たす場合に満たされる基準を含む、請求項１から３のいずれか一項に記載の方法。
  6. 前記第１の没入レベルで前記第１のコンピュータ生成体験を表示することは、物理的環境の１つ以上の第２の部分の表現の表示を維持している間、前記物理的環境の１つ以上の第１の部分のロケーションに対応するそれぞれの第１のポジションに仮想コンテンツを表示することを含み、
    前記第２の没入レベルで前記第１のコンピュータ生成体験を表示することは、前記物理的環境の前記１つ以上の第１の部分の前記ロケーションに対応する前記それぞれの第１のポジション、及び前記物理的環境の前記１つ以上の第２の部分の少なくともいくつかに対応するそれぞれの第２のポジションに仮想コンテンツを表示することを含む、請求項１から３のいずれか一項に記載の方法。
  7. 前記第１のユーザに対応する前記バイオメトリックデータを受信したことに応じて、かつ前記第１のユーザに対応する前記バイオメトリックデータの変化が前記第１の基準を満たすことに向かって進行しているという判定に従って、
    前記第１のコンピュータ生成体験が前記第１の没入レベルで表示されている間、前記第１の表示生成コンポーネントを介して可視であった物理的環境の表現の少なくとも一部の視覚的強調を徐々に低減することを含み、前記第２の没入レベルで前記第１のコンピュータ生成体験を表示することは、前記物理的環境の前記表現の前記一部が前記第１の表示生成コンポーネントを介して可視であることを停止するように、前記物理的環境の前記表現の前記一部に対応するポジションに前記第１のコンピュータ生成体験の仮想コンテンツを表示することを含む、請求項１から３のいずれか一項に記載の方法。
  8. 前記第１のユーザに対応する前記バイオメトリックデータを受信したことに応じて、かつ前記第１のユーザに対応する前記バイオメトリックデータの変化が前記第１の基準を満たすことに向かって進行しているという判定に従って、
    前記第１のコンピュータ生成体験が前記第１の没入レベルで表示されている間、前記第１の表示生成コンポーネントを介して可視であった物理的環境の表現の少なくとも一部の視覚的特性を、前記第１のユーザに対応する前記バイオメトリックデータの前記変化に対応する量だけ変更することを含む、請求項１から３のいずれか一項に記載の方法。
  9. 前記第１のユーザに対応する前記バイオメトリックデータを受信したことに応じて、かつ前記第１のユーザに対応する前記バイオメトリックデータの変化が前記第１の基準を満たすことに向かって進行しているという判定に従って、
    前記第１のコンピュータ生成体験が前記第１の没入レベルで、前記第１のユーザに対応する前記バイオメトリックデータの前記変化に対応する量だけ表示されている間、仮想コンテンツの表示を、前記第１の表示生成コンポーネントを介して可視であった物理的環境の表現の少なくとも一部上で拡張することを含む、請求項１から３のいずれか一項に記載の方法。
  10. 前記第１の基準は、前記バイオメトリックデータが受信されているときに、前記第１のユーザが第１のタイプの閾値移動量未満の移動を行う場合に満たされる基準を含む、請求項１から３のいずれか一項に記載の方法。
  11. 前記第２の没入レベルで前記第１のコンピュータ生成体験を表示している間、前記第１のユーザによって実行されている第１のタイプの移動を検出することと、
    前記第１のユーザによって実行されている前記第１のタイプの前記移動を検出したことに応じて、
    前記第１のタイプの前記移動が予め設定された閾値移動量を超えるという判定に従って、前記第１の没入レベルで前記第１のコンピュータ生成体験を再表示することと、
    を含む、請求項１から３のいずれか一項に記載の方法。
  12. 前記第２の没入レベルで前記第１のコンピュータ生成体験を表示している間、前記第１のユーザによって実行されている第１のタイプの移動を検出することと、
    前記第１のユーザによって実行されている前記第１のタイプの前記移動を検出したことに応じて、
    前記第１のタイプの前記移動が予め設定された閾値移動量を超えるという判定に従って、第１の視点で前記第２の没入レベルで前記第１のコンピュータ生成体験を表示することから、前記第１の視点とは異なる第２の視点で前記第２の没入レベルで前記第１のコンピュータ生成体験を表示することに切り替えることと、を含む、請求項１から３のいずれか一項に記載の方法。
  13. 前記第１のコンピュータ生成体験を前記第１の没入レベルで表示することから前記第１のコンピュータ生成体験を前記第２の没入レベルで表示することへの遷移は、前記第１の基準が満たされる時間に対応する時点で行われる不連続の遷移である、請求項１から３のいずれか一項に記載の方法。
  14. 前記第１の没入レベルで表示される前記第１のコンピュータ生成体験は、第１の数の次元を有する第１の仮想環境を描写し、前記第２の没入レベルで表示される前記第１のコンピュータ生成体験は、第２の数の次元を有する第２の仮想環境を描写し、前記第２の数は前記第１の数よりも大きい、請求項１から３のいずれか一項に記載の方法。
  15. 前記第１の没入レベルで前記第１のコンピュータ生成体験を表示することは、前記第１の没入レベルで前記第１のコンピュータ生成体験を表示している間に受信された前記バイオメトリックデータの変化に従って変化する少なくとも第１の視覚的特性で前記第１のコンピュータ生成体験を表示することを含み、
    前記第２の没入レベルで前記第１のコンピュータ生成体験を表示することは、前記第２の没入レベルで前記第１のコンピュータ生成体験を表示している間に受信された前記バイオメトリックデータの変化に従って変化する少なくとも第２の視覚的特性で前記第１のコンピュータ生成体験を表示すること、を含む、請求項１から３のいずれか一項に記載の方法。
  16. 前記第１のユーザに対応する前記バイオメトリックデータを受信したことに応じて、
    前記第１のユーザに対応する前記バイオメトリックデータが前記第１の基準を満たすという判定に従って、音声出力モードを第１の音声出力モードから第２の音声出力モードであって、前記第１の音声出力モードは、前記第２の音声出力モードよりも少ない計算制御変数を有する、第１の音声出力モードから第２の音声出力モードに変更することを含む、請求項１から３のいずれか一項に記載の方法。
  17. コンピュータシステムであって、
    第１の表示生成コンポーネントと、
    １つ以上の入力デバイスと、
    １つ以上のプロセッサと、
    １つ以上のプログラムを記憶したメモリと、を備え、前記１つ以上のプログラムが、前記１つ以上のプロセッサによって実行されるように構成されており、前記１つ以上のプログラムが、
    第１の没入レベルで第１のコンピュータ生成体験を表示することと、
    前記第１の没入レベルで前記第１のコンピュータ生成体験を表示している間、第１のユーザに対応するバイオメトリックデータを受信することであって、前記第１の没入レベルでの前記第１のコンピュータ生成体験は、仮想コンテンツを含む、ことと、
    前記第１のユーザに対応する前記バイオメトリックデータを受信したことに応じて、
    前記第１のユーザに対応する前記バイオメトリックデータが第１の基準を満たすという判定に従って、前記第１の没入レベルよりも多くの仮想コンテンツを含む第２の没入レベルで前記第１のコンピュータ生成体験を表示することであって、前記第２の没入レベルで表示される前記第１のコンピュータ生成体験は、前記第１の没入レベルで表示される前記第１のコンピュータ生成体験よりも前記第１のユーザの視野のより大きな部分を占有する、ことと、
    前記第１のユーザに対応する前記バイオメトリックデータが前記第１の基準を満たさないという判定に従って、前記第１の没入レベルで前記第１のコンピュータ生成体験を表示し続けることと、
    のための命令を含む、コンピュータシステム。
  18. 前記１つ以上のプログラムが、請求項２から１６のいずれか一項に記載の方法を実行する命令を含む、請求項１７に記載のコンピュータシステム。
  19. 命令を備えるコンピュータプログラムであって、前記命令が、第１の表示生成コンポーネントと、１つ以上の入力デバイスと、を含むコンピュータシステムによって実行されたときに、前記コンピュータシステムに、
    第１の没入レベルで第１のコンピュータ生成体験を表示することと、
    前記第１の没入レベルで前記第１のコンピュータ生成体験を表示している間、第１のユーザに対応するバイオメトリックデータを受信することであって、前記第１の没入レベルでの前記第１のコンピュータ生成体験は、仮想コンテンツを含む、ことと、
    前記第１のユーザに対応する前記バイオメトリックデータを受信したことに応じて、
    前記第１のユーザに対応する前記バイオメトリックデータが第１の基準を満たすという判定に従って、前記第１の没入レベルよりも多くの仮想コンテンツを含む第２の没入レベルで前記第１のコンピュータ生成体験を表示することであって、前記第２の没入レベルで表示される前記第１のコンピュータ生成体験は、前記第１の没入レベルで表示される前記第１のコンピュータ生成体験よりも前記第１のユーザの視野のより大きな部分を占有する、ことと、
    前記第１のユーザに対応する前記バイオメトリックデータが前記第１の基準を満たさないという判定に従って、前記第１の没入レベルで前記第１のコンピュータ生成体験を表示し続けることと、
    を含む動作を実行させる、コンピュータプログラム。
  20. 前記コンピュータシステムによって実行されたとき、請求項２から１６のいずれか一項に記載の方法を実行させる命令を更に備える、請求項１９に記載のコンピュータプログラム。
JP2023515647A 2020-09-25 2021-09-24 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース Active JP7537016B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063083816P 2020-09-25 2020-09-25
US63/083,816 2020-09-25
US17/483,730 US11562528B2 (en) 2020-09-25 2021-09-23 Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US17/483,730 2021-09-23
PCT/US2021/052027 WO2022067083A2 (en) 2020-09-25 2021-09-24 Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

Publications (2)

Publication Number Publication Date
JP2023542846A JP2023542846A (ja) 2023-10-12
JP7537016B2 true JP7537016B2 (ja) 2024-08-20

Family

ID=80821438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023515647A Active JP7537016B2 (ja) 2020-09-25 2021-09-24 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース

Country Status (6)

Country Link
US (5) US11562528B2 (ja)
EP (1) EP4196866A2 (ja)
JP (1) JP7537016B2 (ja)
KR (1) KR20230047184A (ja)
CN (2) CN116880694A (ja)
WO (1) WO2022067083A2 (ja)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11801434B2 (en) * 2020-05-20 2023-10-31 Mark Greenberg Racquet sport scoring system
WO2022018836A1 (ja) * 2020-07-21 2022-01-27 ソニーグループ株式会社 情報処理装置、情報処理方法及びプログラム
WO2022040574A1 (en) 2020-08-21 2022-02-24 Beam, Inc. Integrating overlaid digital content into displayed data via graphics processing circuitry
US12032803B2 (en) 2020-09-23 2024-07-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11562528B2 (en) 2020-09-25 2023-01-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
JP7168238B2 (ja) * 2020-11-20 2022-11-09 株式会社インタラクティブソリューションズ ミーティング支援システム
JP2022087700A (ja) * 2020-12-01 2022-06-13 京セラドキュメントソリューションズ株式会社 電子機器および画像形成装置
US11954242B2 (en) 2021-01-04 2024-04-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11757997B2 (en) * 2021-01-19 2023-09-12 Seek Xr, Inc. Systems and methods for facilitating shared extended reality experiences
US20220241665A1 (en) * 2021-02-01 2022-08-04 Ifit Inc. Exercise storage system
US11481933B1 (en) 2021-04-08 2022-10-25 Mobeus Industries, Inc. Determining a change in position of displayed digital content in subsequent frames via graphics processing circuitry
WO2022221851A1 (en) 2021-04-13 2022-10-20 Apple Inc. Methods for providing an immersive experience in an environment
US11475610B1 (en) * 2021-04-30 2022-10-18 Mobeus Industries, Inc. Controlling interactivity of digital content overlaid onto displayed data via graphics processing circuitry using a frame buffer
US11477020B1 (en) 2021-04-30 2022-10-18 Mobeus Industries, Inc. Generating a secure random number by determining a change in parameters of digital content in subsequent frames via graphics processing circuitry
US12073529B2 (en) * 2021-11-15 2024-08-27 International Business Machines Corporation Creating a virtual object response to a user input
US20230305632A1 (en) * 2021-12-02 2023-09-28 SoftEye, Inc. Systems, apparatus, and methods for gesture-based augmented reality, extended reality
US20230195208A1 (en) * 2021-12-16 2023-06-22 Joshua Steven Noyes Centralized Virtual Reality and Augmented Reality Activity System
KR20240134030A (ko) * 2022-01-19 2024-09-05 애플 인크. 환경 내의 객체들을 디스플레이하고 리포지셔닝시키기 위한 방법들
US11630517B1 (en) * 2022-01-25 2023-04-18 Synchron Australia Pty Limited Systems and methods for increasing control using a neural signal
US11948244B2 (en) * 2022-02-11 2024-04-02 Shopify Inc. Augmented reality enabled dynamic product presentation
US20230410979A1 (en) * 2022-06-21 2023-12-21 TRIPP, Inc. Location-based multi-user augmented reality for wellness
US20230414132A1 (en) * 2022-06-24 2023-12-28 Shanghai United Imaging Intelligence Co., Ltd. System and method for providing rehabilitation in a virtual environment
US20240087229A1 (en) * 2022-09-12 2024-03-14 Mikhail Vasilkovskii Three-dimensional asset reconstruction
US12112011B2 (en) 2022-09-16 2024-10-08 Apple Inc. System and method of application-based three-dimensional refinement in multi-user communication sessions
US12099653B2 (en) 2022-09-22 2024-09-24 Apple Inc. User interface response based on gaze-holding event assessment
US20240103707A1 (en) * 2022-09-24 2024-03-28 Apple Inc. Methods for time of day adjustments for environments and environment presentation during communication sessions
US20240233207A1 (en) * 2023-01-05 2024-07-11 Dell Products L.P. Aggregated color palette generation based on user context and machine learning
US12108012B2 (en) 2023-02-27 2024-10-01 Apple Inc. System and method of managing spatial states and display modes in multi-user communication sessions
US12118200B1 (en) 2023-06-02 2024-10-15 Apple Inc. Fuzzy hit testing
US12099695B1 (en) 2023-06-04 2024-09-24 Apple Inc. Systems and methods of managing spatial groups in multi-user communication sessions

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170682A (ja) 2010-02-19 2011-09-01 Nec Corp 携帯端末、拡張現実システム、及び拡張現実情報表示方法
JP2015118332A (ja) 2013-12-19 2015-06-25 ソニー株式会社 画像表示装置及び画像表示方法
JP2018524712A (ja) 2015-06-30 2018-08-30 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ユーザ状態を変化させるために物理的なオブジェクトとともに拡張現実を使用する方法および装置
US20180286070A1 (en) 2017-03-31 2018-10-04 Sony Interactive Entertainment LLC Quantifying User Engagement Using Pupil Size Measurements
KR20190092141A (ko) 2018-01-30 2019-08-07 한국원자력연구원 주제어실 화재 체험을 위한 시뮬레이션 장치 및 방법

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002073246A (ja) 2000-08-25 2002-03-12 Minolta Co Ltd 映像表示システム
US8830274B2 (en) 2009-06-18 2014-09-09 Pioneer Corporation Information display device
JP2012155655A (ja) 2011-01-28 2012-08-16 Sony Corp 情報処理装置、報知方法及びプログラム
US20120257035A1 (en) 2011-04-08 2012-10-11 Sony Computer Entertainment Inc. Systems and methods for providing feedback by tracking user gaze and gestures
JP5817973B2 (ja) 2011-07-15 2015-11-18 コニカミノルタ株式会社 表示制御装置、及び情報処理装置、画像処理装置
US8847988B2 (en) * 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
US9854014B2 (en) 2013-03-14 2017-12-26 Google Inc. Motion data sharing
US9244527B2 (en) 2013-03-26 2016-01-26 Volkswagen Ag System, components and methodologies for gaze dependent gesture input control
KR20140126492A (ko) 2013-04-23 2014-10-31 엘지전자 주식회사 인덱스 디스플레이 영역을 포함하는 포터블 디바이스 및 그 제어 방법
EP3236335A4 (en) 2014-12-17 2018-07-25 Konica Minolta, Inc. Electronic instrument, method of controlling electronic instrument, and control program for same
KR102641655B1 (ko) 2015-10-20 2024-02-27 매직 립, 인코포레이티드 3차원 공간에서 가상 객체들 선택
US10250720B2 (en) 2016-05-05 2019-04-02 Google Llc Sharing in an augmented and/or virtual reality environment
US9864431B2 (en) 2016-05-11 2018-01-09 Microsoft Technology Licensing, Llc Changing an application state using neurological data
DK201670574A1 (en) 2016-06-12 2018-01-02 Apple Inc Accelerated scrolling
KR102581359B1 (ko) * 2016-09-02 2023-09-20 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
EP3361352B1 (en) 2017-02-08 2019-06-05 Alpine Electronics, Inc. Graphical user interface system and method, particularly for use in a vehicle
US10481755B1 (en) 2017-04-28 2019-11-19 Meta View, Inc. Systems and methods to present virtual content in an interactive space
DK180470B1 (en) * 2017-08-31 2021-05-06 Apple Inc Systems, procedures, and graphical user interfaces for interacting with augmented and virtual reality environments
KR102552403B1 (ko) 2017-09-29 2023-07-07 애플 인크. 물리적 경계 검출
US10706630B2 (en) * 2018-08-13 2020-07-07 Inspirium Laboratories LLC Augmented reality user interface including dual representation of physical location
EP3860527B1 (en) * 2018-10-05 2024-07-10 Meta Platforms Technologies, LLC Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
US11592896B2 (en) 2018-11-07 2023-02-28 Wild Technology, Inc. Technological infrastructure for enabling multi-user collaboration in a virtual reality environment
US10890983B2 (en) 2019-06-07 2021-01-12 Facebook Technologies, Llc Artificial reality system having a sliding menu
US11096006B1 (en) 2019-11-04 2021-08-17 Facebook Technologies, Llc Dynamic speech directivity reproduction
US11443650B2 (en) * 2019-11-25 2022-09-13 Kwangwoon University Industry-Academic Collaboration Foundation Method and apparatus for VR training
US12032803B2 (en) 2020-09-23 2024-07-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11562528B2 (en) 2020-09-25 2023-01-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11954242B2 (en) 2021-01-04 2024-04-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20230389822A1 (en) * 2022-06-01 2023-12-07 At&T Intellectual Property I, L.P. Devices and systems for determining and addressing physiological impairments

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170682A (ja) 2010-02-19 2011-09-01 Nec Corp 携帯端末、拡張現実システム、及び拡張現実情報表示方法
JP2015118332A (ja) 2013-12-19 2015-06-25 ソニー株式会社 画像表示装置及び画像表示方法
JP2018524712A (ja) 2015-06-30 2018-08-30 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ユーザ状態を変化させるために物理的なオブジェクトとともに拡張現実を使用する方法および装置
US20180286070A1 (en) 2017-03-31 2018-10-04 Sony Interactive Entertainment LLC Quantifying User Engagement Using Pupil Size Measurements
KR20190092141A (ko) 2018-01-30 2019-08-07 한국원자력연구원 주제어실 화재 체험을 위한 시뮬레이션 장치 및 방법

Also Published As

Publication number Publication date
EP4196866A2 (en) 2023-06-21
US20220101593A1 (en) 2022-03-31
US20230143827A1 (en) 2023-05-11
US11810244B2 (en) 2023-11-07
CN116880694A (zh) 2023-10-13
US20240257441A1 (en) 2024-08-01
WO2022067083A3 (en) 2022-05-05
WO2022067083A2 (en) 2022-03-31
US11562528B2 (en) 2023-01-24
US20230147148A1 (en) 2023-05-11
JP2023542846A (ja) 2023-10-12
CN116209505A (zh) 2023-06-02
KR20230047184A (ko) 2023-04-06
US11900527B2 (en) 2024-02-13
US20240177403A1 (en) 2024-05-30

Similar Documents

Publication Publication Date Title
JP7537016B2 (ja) 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
JP7465952B2 (ja) 三次元環境と相互作用するためのデバイス、方法、及びグラフィカルユーザインタフェース
US11615596B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
CN117724630A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
CN116261704A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
CN118159935A (zh) 用于内容应用程序的设备、方法和图形用户界面
US11934569B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
CN118215903A (zh) 用于在虚拟环境中呈现虚拟对象的设备、方法和图形用户界面
US20230306695A1 (en) Devices, methods, and graphical user interfaces for three-dimensional user experience sessions in an extended reality environment
CN117957581A (zh) 用于与三维环境交互的设备、方法和图形用户界面
CN118672393A (zh) 用于与三维环境进行交互的设备、方法和图形用户界面
WO2023183340A1 (en) Devices, methods, and graphical user interfaces for three-dimensional user experience sessions in an extended reality environment

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230518

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230308

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230308

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240712

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240807

R150 Certificate of patent or registration of utility model

Ref document number: 7537016

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150