JP7436505B2 - 仮想オブジェクトの制御 - Google Patents

仮想オブジェクトの制御 Download PDF

Info

Publication number
JP7436505B2
JP7436505B2 JP2021561036A JP2021561036A JP7436505B2 JP 7436505 B2 JP7436505 B2 JP 7436505B2 JP 2021561036 A JP2021561036 A JP 2021561036A JP 2021561036 A JP2021561036 A JP 2021561036A JP 7436505 B2 JP7436505 B2 JP 7436505B2
Authority
JP
Japan
Prior art keywords
representation
location
virtual object
display
usage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021561036A
Other languages
English (en)
Other versions
JP2022533811A (ja
Inventor
アーロン マッケイ バーンズ
ネイサン ギッター
アレクシス エイチ パランギー
アイ コネサ ポル プラ
デイヴィッド エム シャッテル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2022533811A publication Critical patent/JP2022533811A/ja
Application granted granted Critical
Publication of JP7436505B2 publication Critical patent/JP7436505B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Digital Computer Display Output (AREA)

Description

（関連出願の相互参照）
本出願は、２０２０年７月２９日に出願された「ＣＯＮＴＲＯＬＬＩＮＧ ＲＥＰＲＥＳＥＮＴＡＴＩＯＮＳ ＯＦ ＶＩＲＴＵＡＬ ＯＢＪＥＣＴＳ ＩＮ Ａ ＣＯＭＰＵＴＥＲ－ＧＥＮＥＲＡＴＥＤ ＲＥＡＬＩＴＹ ＥＮＶＩＲＯＮＭＥＮＴ」と題する米国仮特許出願第６３／０５８，２１７号及び、２０１９年９月２７日に出願された「ＣＯＮＴＲＯＬＬＩＮＧ ＲＥＰＲＥＳＥＮＴＡＴＩＯＮＳ ＯＦ ＶＩＲＴＵＡＬ ＯＢＪＥＣＴＳ ＢＡＳＥＤ ＯＮ ＵＳＥ ＣＯＮＴＥＸＴＳ ＯＦ ＬＯＣＡＴＩＯＮＳ ＩＮ Ａ ＣＯＭＰＵＴＥＲ－ＧＥＮＥＲＡＴＥＤ ＲＥＡＬＩＴＹ ＥＮＶＩＲＯＮＭＥＮＴ」と題する米国仮特許出願第６２／９０７，２１６号に基づき優先権を主張する。先述の出願の内容は、その全体が参照により本明細書に組み込まれる。
本開示は一般にコンピュータ生成現実環境に関し、より具体的には、コンピュータ生成現実環境内の仮想オブジェクトの表現を制御することに関する。
コンピュータ生成現実（Computer-generated reality、ＣＧＲ）環境は、ユーザに見せるために表示される少なくともいくつかのオブジェクトがコンピュータによって生成される環境である。いくつかの用途では、ユーザは仮想オブジェクトと相互作用してもよい。ユーザは、仮想オブジェクトを、コンピュータ生成現実環境内の様々な位置に移動することができる。ところが、仮想オブジェクトがコンピュータ生成現実環境内の異なる位置でどのように表されるかを制御するための強固な機能が欠如している。加えて、仮想オブジェクトと相互作用するためにユーザによって使用され得る入力機構の特性に基づいて、コンピュータ生成環境において仮想オブジェクトの表現を制御する機能も欠如している。
更に、仮想オブジェクトは、コンピュータ生成現実環境内の２次元オブジェクト及び／又は３次元オブジェクトとして表されてもよい。ところが、仮想オブジェクトの表現の同時表示を制御するための強固な機能が欠如している。
いくつかの実施形態によれば、方法が、電子デバイスのディスプレイを介して、ＣＧＲ環境内の第１の位置に仮想オブジェクトの第１の表現を表示することであって、第１の位置は、複数の使用コンテキストのうち第１の使用コンテキストに対応する、ことと、ＣＧＲ環境内で第１の表現を第１の位置と異なる第２の位置に移動するよう求める要求を受信することと、要求を受信したことに応答して、第２の位置が複数の使用コンテキストのうち第２の使用コンテキストに対応するとの判断に従い、第２の使用コンテキストに基づいて、電子デバイスのディスプレイを介して、第２の位置に、仮想オブジェクトの第２の表現を表示することであって、第２の表現は、第１の表現と異なる、ことと、第２の位置が複数の使用コンテキストのうち第３の使用コンテキストに対応するとの判断に従って、第３の使用コンテキストに基づいて、電子デバイスのディスプレイを介して、第２の位置に、仮想オブジェクトの第３の表現を表示することであって、第３の表現は、第１の表現及び第２の表現と異なる、ことと、を含む。
いくつかの実施形態によれば、システムが、ディスプレイと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含む。１つ以上のプログラムは、ディスプレイを介して、ＣＧＲ環境内の第１の位置に仮想オブジェクトの第１の表現を表示し、第１の位置は、複数の使用コンテキストのうち第１の使用コンテキストに対応し、ＣＧＲ環境内で第１の表現を第１の位置と異なる第２の位置に移動するよう求める要求を受信し、要求を受信したことに応答して、第２の位置が複数の使用コンテキストのうち第２の使用コンテキストに対応するとの判断に従って、第２の使用コンテキストに基づいて、ディスプレイを介して、第２の位置に、仮想オブジェクトの第２の表現を表示し、第２の表現は、第１の表現と異なり、第２の位置が複数の使用コンテキストのうち第３の使用コンテキストに対応するとの判断に従って、第３の使用コンテキストに基づいて、ディスプレイを介して、第２の位置に、仮想オブジェクトの第３の表現を表示し、第３の表現は、第１の表現及び第２の表現と異なる、命令を含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が、ディスプレイを有するシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、ディスプレイを介して、ＣＧＲ環境内の第１の位置に仮想オブジェクトの第１の表現を表示し、第１の位置は、複数の使用コンテキストのうち第１の使用コンテキストに対応し、ＣＧＲ環境内で第１の表現を第１の位置と異なる第２の位置に移動するよう求める要求を受信し、要求を受信したことに応答して、第２の位置が複数の使用コンテキストのうち第２の使用コンテキストに対応するとの判断に従って、第２の使用コンテキストに基づいて、ディスプレイを介して、第２の位置に、仮想オブジェクトの第２の表現を表示し、第２の表現は、第１の表現と異なり、第２の位置が複数の使用コンテキストのうち第３の使用コンテキストに対応するとの判断に従って、第３の使用コンテキストに基づいて、ディスプレイを介して、第２の位置に、仮想オブジェクトの第３の表現を表示し、第３の表現は、第１の表現及び第２の表現と異なる、命令を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が、ディスプレイを有するシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、ディスプレイを介して、ＣＧＲ環境内の第１の位置に仮想オブジェクトの第１の表現を表示し、第１の位置は、複数の使用コンテキストのうち第１の使用コンテキストに対応し、ＣＧＲ環境内で第１の表現を第１の位置と異なる第２の位置に移動するよう求める要求を受信し、要求を受信したことに応答して、第２の位置が複数の使用コンテキストのうち第２の使用コンテキストに対応するとの判断に従って、第２の使用コンテキストに基づいて、ディスプレイを介して、第２の位置に、仮想オブジェクトの第２の表現を表示し、第２の表現は、第１の表現と異なり、第２の位置が複数の使用コンテキストのうち第３の使用コンテキストに対応するとの判断に従って、第３の使用コンテキストに基づいて、ディスプレイを介して、第２の位置に、仮想オブジェクトの第３の表現でを表示し、第３の表現は、第１の表現及び第２の表現と異なる、命令を含む。
いくつかの実施形態によれば、システムが、ディスプレイと、ディスプレイを介して、ＣＧＲ環境内の第１の位置に仮想オブジェクトの第１の表現を表示する手段であって、第１の位置は、複数の使用コンテキストのうち第１の使用コンテキストに対応する、手段と、ＣＧＲ環境内で第１の表現を第１の位置と異なる第２の位置に移動するよう求める要求を受信する手段と、要求を受信したことに応答して、第２の位置が複数の使用コンテキストのうち第２の使用コンテキストに対応するとの判断に従って、第２の使用コンテキストに基づいて、ディスプレイを介して、第２の位置に、仮想オブジェクトの第２の表現を表示し、第２の表現は、第１の表現と異なり、第２の位置が複数の使用コンテキストのうち第３の使用コンテキストに対応するとの判断に従って、第３の使用コンテキストに基づいて、ディスプレイを介して、第２の位置に、仮想オブジェクトの第３の表現を表示し、第３の表現は、第１の表現及び第２の表現と異なる、手段と、を含む。
いくつかの実施形態によれば、方法が、電子デバイスのディスプレイを介して、ＣＧＲ環境の第１の位置に仮想オブジェクトの２次元（２Ｄ）表現を表示することと、仮想オブジェクトの３次元（３Ｄ）表現を２Ｄ表現と同時に表示するよう求める要求を受信することと、要求に応答して、ウェアラブル電子デバイスのディスプレイを介して、ＣＧＲ環境の第１の位置に２Ｄ表現、及び第２の位置に３Ｄ表現を同時に表示することであって、第２の位置は、第１の位置と異なる、ことと、を含む。
いくつかの実施形態によれば、システムが、ディスプレイと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含む。１つ以上のプログラムは、ディスプレイを介して、ＣＧＲ環境の第１の位置に仮想オブジェクトの２Ｄ表現を表示し、仮想オブジェクトの３Ｄ表現を２Ｄ表現と同時に表示するよう求める要求を受信し、要求に応答して、ディスプレイを介して、ＣＧＲ環境の第１の位置に２Ｄ表現、及び第２の位置に３Ｄ表現を同時に表示し、第２の位置は、第１の位置と異なる、命令を含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が、ディスプレイを有するシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、ディスプレイを介して、ＣＧＲ環境の第１の位置に仮想オブジェクトの２Ｄ表現を表示し、仮想オブジェクトの３Ｄ表現を２Ｄ表現と同時に表示するよう求める要求を受信し、要求に応答して、ディスプレイを介して、ＣＧＲ環境の第１の位置に２Ｄ表現、及び第２の位置に３Ｄ表現を同時に表示し、第２の位置は、第１の位置と異なる、命令を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が、ディスプレイを有するシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、ディスプレイを介して、ＣＧＲ環境の第１の位置に仮想オブジェクトの２Ｄ表現を表示し、仮想オブジェクトの３Ｄ表現を２Ｄ表現と同時に表示するよう求める要求を受信し、要求に応答して、ディスプレイを介して、ＣＧＲ環境の第１の位置に２Ｄ表現、及び第２の位置に３Ｄ表現を同時に表示し、第２の位置は、第１の位置と異なる、命令を含む。
いくつかの実施形態によれば、システムが、ディスプレイと、ディスプレイを介して、ＣＧＲ環境の第１の位置に仮想オブジェクトの２Ｄ表現を表示する手段と、仮想オブジェクトの３Ｄ表現を２Ｄ表現と同時に表示するよう求める要求を受信する手段と、要求に応答して、ディスプレイを介して、ＣＧＲ環境の第１の位置に２Ｄ表現、及び第２の位置に３Ｄ表現を同時に表示する手段であって、第２の位置は、第１の位置と異なる、手段と、を含む。
いくつかの実施形態によれば、方法が、ウェアラブル電子デバイスのディスプレイを介して、ＣＧＲ環境内に仮想オブジェクトの第１の表現を表示することと、入力機構の検出された動きに応答して、入力機構の現在の位置が仮想オブジェクトの第１の表現から既定の距離内にあるとの判断に従って、ウェアラブル電子デバイスのディスプレイを介して、ＣＧＲ環境内に、仮想オブジェクトの第２の表現を表示することであって、第２の表現は、第１の表現と異なる、ことと、入力機構の現在の位置が仮想オブジェクトの第１の表現から既定の距離内にないとの判断に従って、第２の表現を表示することなく第１の表現の表示を維持することと、を含む。
いくつかの実施形態によれば、システムが、ディスプレイと、１つ以上のプロセッサと、１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、を含む。１つ以上のプログラムは、ディスプレイを介して、ＣＧＲ環境内に仮想オブジェクトの第１の表現を表示し、入力機構の検出された動きに応答して、入力機構の現在の位置が仮想オブジェクトの第１の表現から既定の距離内にあるとの判断に従って、ディスプレイを介して、ＣＧＲ環境内に、仮想オブジェクトの第２の表現を表示し、第２の表現は、第１の表現と異なり、入力機構の現在の位置が仮想オブジェクトの第１の表現から既定の距離内にないとの判断に従って、第２の表現を表示することなく第１の表現の表示を維持する、命令を含む。
いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体が、ディスプレイを有するシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、ディスプレイを介して、ＣＧＲ環境内に仮想オブジェクトの第１の表現を表示し、入力機構の検出された動きに応答して、入力機構の現在の位置が仮想オブジェクトの第１の表現から既定の距離内にあるとの判断に従って、ディスプレイを介して、ＣＧＲ環境内に、仮想オブジェクトの第２の表現を表示し、第２の表現は、第１の表現と異なり、入力機構の現在の位置が仮想オブジェクトの第１の表現から既定の距離内にないとの判断に従って、第２の表現を表示することなく第１の表現の表示を維持する、命令を含む。
いくつかの実施形態によれば、一時的コンピュータ可読記憶媒体が、ディスプレイを有するシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶し、１つ以上のプログラムは、ディスプレイを介して、ＣＧＲ環境内に仮想オブジェクトの第１の表現を表示し、入力機構の検出された動きに応答して、入力機構の現在の位置が仮想オブジェクトの第１の表現から既定の距離内にあるとの判断に従って、ディスプレイを介して、ＣＧＲ環境内に、仮想オブジェクトの第２の表現を表示し、第２の表現は、第１の表現と異なり、入力機構の現在の位置が仮想オブジェクトの第１の表現から既定の距離内にないとの判断に従って、第２の表現を表示することなく第１の表現の表示を維持する、命令を含む。
いくつかの実施形態によれば、システムが、ディスプレイと、ディスプレイを介して、ＣＧＲ環境内に仮想オブジェクトの第１の表現を表示する手段と、入力機構の検出された動きに応答して、入力機構の現在の位置が仮想オブジェクトの第１の表現から既定の距離内にあるとの判断に従って、ディスプレイを介して、ＣＧＲ環境内に、仮想オブジェクトの第２の表現を表示する手段であって、第２の表現は、第１の表現と異なる、手段と、入力機構の現在の位置が仮想オブジェクトの第１の表現から既定の距離内にないとの判断に従って、第２の表現を表示することなく第１の表現の表示を維持する手段と、を含む。
これらの機能を行う実行可能命令は、任意選択として、１つ以上のプロセッサによる実行のために構成された非一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。これらの機能を行う実行可能命令は、任意選択として、１つ以上のプロセッサによる実行のために構成された一時的コンピュータ可読記憶媒体又は他のコンピュータプログラム製品内に含まれる。
以下の説明では、本開示のいくつかの例の一部を成し、またそれらを説明する添付図面を参照する。本開示の範囲から逸脱することなく、他の実施形態を利用してもよく、また、構造及び動作の変更を行うことができることが理解されよう。異なる図面における同じ参照記号の使用は、類似又は同一の項目を示す。
多様なコンピュータ生成現実技術で使用するための例示的なシステムを示す。 多様なコンピュータ生成現実技術で使用するための例示的なシステムを示す。 本開示の態様による、ＣＧＲ環境内の様々な位置における使用コンテキストに基づいて仮想オブジェクトの表現を制御する例示的な技法を示す。 本開示の態様による、ＣＧＲ環境内の様々な位置における使用コンテキストに基づいて仮想オブジェクトの表現を制御する例示的な技法を示す。 本開示の態様による、ＣＧＲ環境内の様々な位置における使用コンテキストに基づいて仮想オブジェクトの表現を制御する例示的な技法を示す。 本開示の態様による、ＣＧＲ環境内の様々な位置における使用コンテキストに基づいて仮想オブジェクトの表現を制御する例示的な技法を示す。 本開示の態様による、ＣＧＲ環境内の様々な位置における使用コンテキストに基づいて仮想オブジェクトの表現を制御する例示的な技法を示す。 本開示の態様による、ＣＧＲ環境内の様々な位置における使用コンテキストに基づいて仮想オブジェクトの表現を制御する技法の別の例を示す。 本開示の態様による、ＣＧＲ環境内の様々な位置における使用コンテキストに基づいて仮想オブジェクトの表現を制御する技法の別の例を示す。 本開示の態様による、ＣＧＲ環境内の様々な位置における使用コンテキストに基づいて仮想オブジェクトの表現を制御する技法の別の例を示す。 本開示の態様による、ＣＧＲ環境内の様々な位置における使用コンテキストに基づいて仮想オブジェクトの表現を制御する技法の更に別の例を示す。 本開示の態様による、ＣＧＲ環境内の様々な位置における使用コンテキストに基づいて仮想オブジェクトの表現を制御する技法の更に別の例を示す。 本開示の態様による、ＣＧＲ環境内の様々な位置における使用コンテキストに基づいて仮想オブジェクトの表現を制御する技法の更に別の例を示す。 本開示の態様を実施するために実行される方法を示すフロー図である。 本開示の態様による、ＣＧＲ環境内の仮想オブジェクトの表現の同時表示を制御する例示的な技法を示す。 本開示の態様による、ＣＧＲ環境内の仮想オブジェクトの表現の同時表示を制御する例示的な技法を示す。 本開示の態様による、ＣＧＲ環境内の仮想オブジェクトの表現の同時表示を制御する例示的な技法を示す。 本開示の態様を実施するために実行される方法を示すフロー図である。 本開示の態様による、入力機構の特性に基づいてＣＧＲ環境内の仮想オブジェクトの表現を制御する例示的な技法を示す。 本開示の態様による、入力機構の特性に基づいてＣＧＲ環境内の仮想オブジェクトの表現を制御する例示的な技法を示す。 本開示の態様による、入力機構の特性に基づいてＣＧＲ環境内の仮想オブジェクトの表現を制御する技法の別の例を示す。 本開示の態様による、入力機構の特性に基づいてＣＧＲ環境内の仮想オブジェクトの表現を制御する技法の別の例を示す。 本開示の態様による、入力機構の特性に基づいてＣＧＲ環境内の仮想オブジェクトの表現を制御する技法の更に別の例を示す。 本開示の態様による、入力機構の特性に基づいてＣＧＲ環境内の仮想オブジェクトの表現を制御する技法の更に別の例を示す。 本開示の態様による、入力機構の特性に基づいてＣＧＲ環境内の仮想オブジェクトの表現を制御する技法の更に別の例を示す。 本開示の態様による、入力機構の特性に基づいてＣＧＲ環境内の仮想オブジェクトの表現を制御する技法の更に別の例を示す。 本開示の態様による、入力機構の特性に基づいてＣＧＲ環境内の仮想オブジェクトの表現を制御する技法の別の例を示す。 本開示の態様による、入力機構の特性に基づいてＣＧＲ環境内の仮想オブジェクトの表現を制御する技法の別の例を示す。 本開示の態様を実施するために実行される方法を示すフロー図である。
そのようなシステムを様々なＣＧＲ技術に関連して使用するための様々な電子システム及び技法の例について記載する。
物理的環境（又は現実環境）とは、人々が電子システムの助けを借りずに、感知及び／又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人などの物理的物品（又は物理的オブジェクト又は現実のオブジェクト）が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び臭覚などを介して、物理的環境を直接感知し、及び／又はそれと相互作用することができる。
ＣＧＲ環境とは、人々が電子システムを介して感知し、かつ／又は相互作用する、完全に又は部分的にシミュレートされた環境を指す。ＣＧＲでは、人の身体運動のサブセット又はその表現が追跡され、それに応答して、ＣＧＲ環境内でシミュレートされた１つ以上の仮想オブジェクトの１つ以上の特性が、少なくとも１つの物理学の法則でふるまうように調節される。例えば、ＣＧＲシステムは、人の頭部の回転を検出し、それに応答して、そのようなビュー及び音が物理的環境においてどのように変化するかと同様の方法で、人に提示されるグラフィックコンテンツ及び音場を調節することができる。状況によっては（例えば、アクセス性の理由から）、ＣＧＲ環境における仮想オブジェクト（単数又は複数）の特性（単数又は複数）に対する調節は、身体運動の表現（例えば、音声コマンド）に応答して行われてもよい。
人は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか１つを使用して、ＣＧＲオブジェクトを感知し、かつ／又はＣＧＲオブジェクトと相互作用してもよい。例えば、人は、３次元（three-dimensional、３Ｄ）空間内のポイント音声源の知覚を提供する、３Ｄ又は空間的な音声環境を作り出す音声オブジェクトを感知し、かつ／又はそれと相互作用してもよい。別の例では、音声オブジェクトによって、コンピュータ生成音声を含めて、又は含めずに、物理的環境から周囲音を選択的に組み込む音声透過性が可能になり得る。いくつかのＣＧＲ環境では、人は、音声オブジェクトのみを感知し、かつ／又はそれと相互作用してもよい。
ＣＧＲの例としては、仮想現実及び複合現実が挙げられる。
仮想現実（virtual reality、ＶＲ）環境（又は仮想環境）とは、１つ以上の感覚のためのコンピュータ生成感覚入力に完全に基づくように設計されたシミュレートされた環境を指す。ＶＲ環境は、人が感知かつ／又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人は、コンピュータ生成環境内に人が存在することのシミュレーションを通じて、かつ／又はコンピュータ生成環境内での人の身体運動のサブセットのシミュレーションを通じて、ＶＲ環境における仮想オブジェクトを感知し、かつ／又はそれと相互作用することができる。
コンピュータ生成感覚入力に全面的に基づくように設計されたＶＲ環境とは対照的に、複合現実（mixed reality、ＭＲ）環境は、コンピュータ生成された感覚入力（例えば、仮想オブジェクト）を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計された、シミュレートされた環境を指す。ＭＲ環境は、仮想性（バーチャリティ）の連続体において、その連続体の片端にある完全に物理的な環境と、他方の端にあるＶＲ環境との間のどこかにあるが、両端部は含まない。
いくつかのＭＲ環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変更に応答し得る。また、ＭＲ環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト（すなわち、物理的環境からの物理的物品又はその表現）と相互作用することを可能にするために、物理的環境に対する位置及び／又は配向を追跡してもよい。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、動きを考慮に入れてもよい。
ＭＲの例には、拡張現実及び拡張仮想が含まれる。
拡張現実（augmented reality、ＡＲ）環境は、物理的環境又はその表現の上に１つ以上の仮想オブジェクトが重ね合わされている、シミュレートされた環境を指す。例えば、ＡＲ環境を提示するための電子システムは、人が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイに仮想オブジェクトを提示するように構成されていてもよく、それによって、人はシステムを使用して、物理的環境の上に重ね合わされた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又は動画をキャプチャする１つ以上の撮像センサとを有してもよい。システムは、画像又は動画を仮想オブジェクトと合成し、その合成物を不透明ディスプレイ上に提示する。人はこのシステムを使用して、物理的環境を、物理的環境の画像又は動画によって間接的に見て、物理的環境に重ね合わされた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境の動画は、「パススルービデオ」と呼ばれ、システムが、１つ以上の画像センサ（単数又は複数）を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にＡＲ環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムが仮想オブジェクトを、例えば、ホログラムとして物理的環境の中に、又は物理的表面に投影するプロジェクションシステムを有してもよく、それによって、人はシステムを使用して、物理的環境に重ね合わされた仮想オブジェクトを知覚する。
ＡＲ環境はまた、物理的環境の表現がコンピュータ生成された感覚情報によって変形される、シミュレートされた環境を指す。例えば、パススルービデオを提供する際に、システムは、１つ以上のセンサ画像を、イメージセンサがキャプチャした透視図とは別の選択された透視図（例えば、視点）を面付けするように変形してもよい。別の例として、物理的環境の表現を、その一部分をグラフィカルに変更（例えば、拡大）することによって変形してもよく、それにより、変更された部分を、元のキャプチャ画像を表すが非写実的な、改変版にすることもできる。更なる例として、物理的環境の表現は、その一部分をグラフィカルに除去又は不明瞭化することによって変形されてもよい。
拡張仮想（augmented virtuality、ＡＶ）環境は、物理的環境からの１つ以上の感覚入力を仮想環境又はコンピュータ生成環境が組み込む、シミュレートされた環境を指す。感覚入力は、物理的環境の１つ以上の特性の表現であり得る。例えば、ＡＶの公園には仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、１つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽の位置と一致する影を採用することができる。
多種多様の電子システムが存在することによって、人が様々なＣＧＲ環境を感知し、かつ／又はＣＧＲ環境と相互作用できるようになる。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ（heads-up displays、ＨＵＤ）、統合表示機能を有する車両ウィンドシールド、統合表示機能を有する窓、（例えば、コンタクトレンズと同様に）人の目の上に配置されるように設計されたレンズとして形成されたディスプレイ、ヘッドホン／イヤフォン、スピーカアレイ、入力システム（例えば、触覚フィードバックを有する又は有さない、装着型コントローラ又はハンドヘルドコントローラ）、スマートフォン、タブレット、及びデスクトップ／ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、１つ以上のスピーカ（単数又は複数）及び一体型不透明ディスプレイを有してもよい。あるいは、ヘッドマウントシステムは、外部の不透明ディスプレイ（例えば、スマートフォン）を受容するように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像若しくは動画をキャプチャするための１つ以上の撮像センサ、及び／又は物理的環境の音声をキャプチャするための１つ以上のマイクロフォンを組み込んでいてもよい。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、ＯＬＥＤ、ＬＥＤ、ｕＬＥＤ、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一例において、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィカル画像を人の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、例えば、ホログラムとして、又は物理的表面上に、仮想オブジェクトを物理的環境内に投影するように構成されていてもよい。
図１Ａ及び図１Ｂは、様々なＣＧＲ技術で使用するための例示的なシステム１００を示す。
いくつかの例では、図１Ａに示すように、システム１００は、デバイス１００ａを含む。デバイス１００ａは、プロセッサ（単数又は複数）１０２、ＲＦ回路（単数又は複数）１０４、メモリ（単数又は複数）１０６、画像センサ（単数又は複数）１０８、方向センサ（単数又は複数）１１０、マイクロフォン（単数又は複数）１１２、位置センサ（単数又は複数）１１６、スピーカ（単数又は複数）１１８、ディスプレイ（単数又は複数）１２０、及びタッチ感応面１２２などの様々な構成要素を含む。これらの構成要素は、任意選択として、デバイス１００ａの通信バス（単数又は複数）１５０を介して通信する。
いくつかの例では、システム１００の要素は、基地局デバイス（例えば、リモートサーバ、モバイルデバイス、又はラップトップなどのコンピューティングデバイス）内に実装され、システム１００の他の要素は、ユーザによって装着されるように設計されたヘッドマウントディスプレイ（head-mounted display、ＨＭＤ）デバイス内に実装され、ＨＭＤデバイスは、基地局デバイスと通信状態にある。いくつかの例において、デバイス１００ａは、基地局デバイス又はＨＭＤデバイス内に実装される。
図１Ｂに示すように、いくつかの例において、システム１００は、有線接続又は無線接続などを介して通信状態にある２つ（又はそれ以上）のデバイスを含む。第１のデバイス１００ｂ（例えば、基地局デバイス）は、プロセッサ（単数又は複数）１０２、ＲＦ回路（単数又は複数）１０４、及びメモリ（単数又は複数）１０６を含む。これらの構成要素は、任意選択として、デバイス１００ｂの通信バス（単数又は複数）１５０を介して通信する。第２のデバイス１００ｃ（例えば、ＨＭＤ）は、プロセッサ（単数又は複数）１０２、ＲＦ回路（単数又は複数）１０４、メモリ（単数又は複数）１０６、イメージセンサ（単数又は複数）１０８、方向センサ（単数又は複数）１１０、マイクロフォン（単数又は複数）１１２、位置センサ（単数又は複数）１１６、スピーカ（単数又は複数）１１８、ディスプレイ（単数又は複数）１２０、及びタッチ感応面（単数又は複数）１２２などの、様々な構成要素を含む。これらの構成要素は、任意選択として、デバイス１００ｃの通信バス（単数又は複数）１５０を介して通信する。
いくつかの例では、システム１００は、モバイルデバイスである。いくつかの例では、システム１００は、ＨＭＤデバイスである。いくつかの例では、システム１００は、ウェアラブルＨＵＤデバイスである。
システム１００は、プロセッサ（単数又は複数）１０２及びメモリ（単数又は複数）１０６を含む。プロセッサ（単数又は複数）１０２は、１つ以上の汎用プロセッサ、１つ以上のグラフィックプロセッサ、及び／又は１つ以上のデジタル信号プロセッサを含む。いくつかの例では、メモリ（単数又は複数）１０６は、後述する技法を行うためにプロセッサ（単数又は複数）１０２によって実行されるように構成されているコンピュータ可読命令を記憶する１つ以上の非一時的コンピュータ可読記憶媒体（例えば、フラッシュメモリ、ランダムアクセスメモリ）である。
システム１００は、ＲＦ回路（単数又は複数）１０４を含む。ＲＦ回路（単数又は複数）１０４は、任意選択として、電子デバイス、インターネット、イントラネット並びに／又は、セルラーネットワーク及び無線ローカルエリアネットワーク（ＬＡＮ）などの無線ネットワークなどのネットワークと通信するための回路を含む。ＲＦ回路（単数又は複数）１０４は、任意選択として、近距離通信及び／又はＢｌｕｅｔｏｏｔｈ（登録商標）などの短距離通信を使用して通信するための回路を含む。
システム１００は、ディスプレイ（単数又は複数）１２０を含む。いくつかの例では、ディスプレイ（単数又は複数）１２０は、各ディスプレイがユーザのそれぞれの目に画像を表示する、第１のディスプレイ（例えば、左アイディスプレイパネル）及び第２のディスプレイ（例えば、右アイディスプレイパネル）を含む。対応する画像は、第１のディスプレイ及び第２のディスプレイ上に同時に表示される。任意選択として、対応する画像は、異なる視点から見た、同一の仮想オブジェクト及び／又は同一の物理的オブジェクトの表現を含み、結果として、ディスプレイ上で、オブジェクトの深さの錯覚をユーザに提供する視差効果をもたらす。いくつかの例では、ディスプレイ（単数又は複数）１２０は、単一のディスプレイを含む。対応する画像は、ユーザのそれぞれの目のために、単一のディスプレイの第１の領域及び第２の領域上に同時に表示される。任意選択として、対応する画像は、異なる視点から見た、同一の仮想オブジェクト及び／又は同一の物理的オブジェクトの表現を含み、結果として、単一のディスプレイ上で、オブジェクトの深さの錯覚をユーザに提供する視差効果をもたらす。
いくつかの実施例において、システム１００は、タップ入力及びスワイプ入力などのユーザ入力を受信するためのタッチ感応面（単数又は複数）１２２を含む。いくつかの例において、ディスプレイ（単数又は複数）１２０及びタッチ感応面（単数又は複数）１２２は、タッチ感応ディスプレイ（単数又は複数）を形成する。
システム１００は画像センサ（単数又は複数）１０８を含む。画像センサ（単数又は複数）１０８は、任意選択として、電荷結合デバイス（charged coupled device、ＣＣＤ）センサなどの１つ以上の可視光画像センサ、及び／又は現実環境から物理的オブジェクトの画像を取得するように動作可能な相補型金属酸化膜半導体（complementary metal-oxide-semiconductor、ＣＭＯＳ）センサを含む。画像センサ（単数又は複数）はまた、任意選択として、現実環境からの赤外光を検出するための、パッシブＩＲセンサ又はアクティブＩＲセンサなどの１つ以上の赤外線（infrared、ＩＲ）センサ（単数又は複数）を含む。例えば、アクティブＩＲセンサは、赤外光を現実環境に放射するためのＩＲドットエミッタなどのＩＲエミッタを含む。画像センサ（単数又は複数）１０８はまた、任意選択として、現実環境における物理的オブジェクトの動きをキャプチャするように構成された１つ以上のイベントカメラを含む。画像センサ（単数又は複数）１０８はまた、任意選択として、システム１００からの物理的オブジェクトの距離を検出するように構成された１つ以上の深度センサを含む。いくつかの例では、システム１００は、ＣＣＤセンサ、イベントカメラ、及び深度センサを組み合わせて使用して、システム１００の周囲の物理的環境を検出する。いくつかの例において、画像センサ（単数又は複数）１０８は、第１の画像センサ及び第２の画像センサを含む。第１の画像センサ及び第２の画像センサは、任意選択として、２つの異なる透視視点から、現実環境内の物理的オブジェクトの画像をキャプチャするように構成されている。いくつかの例において、システム１００は、画像センサ（単数又は複数）１０８を使用して、ハンドジェスチャなどのユーザ入力を受け取る。いくつかの例では、システム１００は、イメージセンサ（単数又は複数）１０８を使用して、現実環境におけるシステム１００及び／又はディスプレイ（単数又は複数）１２０の位置及び配向を検出する。例えば、システム１００は、画像センサ（単数又は複数）１０８を使用して、現実環境内の１つ以上の固定オブジェクトに対するディスプレイ（単数又は複数）１２０の位置及び配向を追跡する。
いくつかの実施例において、システム１００は、マイクロフォン（単数又は複数）１１２を含む。システム１００は、マイクロフォン（単数又は複数）１１２を使用して、ユーザ及び／又はユーザの現実環境からの音を検出する。いくつかの実施形態では、マイクロフォン（単数又は複数）１１２は、周囲ノイズを特定するため、又は現実環境の空間内の音源の位置を特定するなどのために、任意選択として協調して動作する、マイクロフォンの配列（複数のマイクロフォンを含む）を含む。
システム１００は、システム１００及び／又はディスプレイ（単数又は複数）１２０の配向及び／又は動きを検出するための方向センサ（単数又は複数）１１０を含む。例えば、システム１００は、方向センサ（単数又は複数）１１０を使用して、システム１００及び／又はディスプレイ（単数又は複数）１２０の、現実環境内の物理的オブジェクトなどに対する位置及び／又は配向の変化を追跡する。方向センサ（単数又は複数）１１０は、任意選択として、１つ以上のジャイロスコープ及び／又は１つ以上の加速度計を含む。
本開示の様々な態様は、ＣＧＲ環境内の仮想オブジェクトの表現を制御する機能を提供するシステム及び技法に向けられている。
具体的には、本開示の態様は、仮想オブジェクトの表現を、ＣＧＲ環境内の仮想オブジェクトの位置に関連付けられた使用コンテキストに基づいて制御する機能を提供するシステム及び技法に向けられている。本明細書に記載のシステム及び技法は、仮想オブジェクトの表現を、ＣＧＲ環境内の位置に関連する特定の使用コンテキストに適合させることを可能にする。
図２Ａ～図２Ｅは、本開示の態様による、ＣＧＲ環境の仮想オブジェクトの表現を、ＣＧＲ環境内のその仮想オブジェクトの位置に関連付けられた使用コンテキストに基づいて制御する、例示的な技法を示す。具体的には、図２Ａは、ユーザ２０２及び電子デバイス２００を示す。いくつかの実施形態では、電子デバイス２００は、ウェアラブル電子デバイス（例えば、ＨＭＤ）であってもよい。ウェアラブル電子デバイスの例は本明細書に記載されており、電子デバイス１００ａに関して図１Ａ及び１Ｂを参照して上述したものなどである。
図２Ａに示すように、ユーザ２０２は、電子デバイス２００着用し、このデバイスは、ユーザ２０２がＣＧＲ環境２９０を知覚することができるように構成されている。上述したように、ＣＧＲ環境２９０は、物理オブジェクト又はその表現、及び仮想オブジェクトを含んでもよく、ユーザ２０２に整合的なＣＧＲ環境を提供するために、（例えば、ＡＲ実装では）物理オブジェクトの上に重ね合わされた仮想オブジェクト、又は（ＡＶ実装では）仮想オブジェクトの上に重ね合わされた物理オブジェクトを含んでもよい。いくつかの実施形態では、ＣＧＲ環境２９０は、完全な仮想環境（例えば、ＶＲ実装）であってもよく、その場合、ＣＧＲ環境２９０内のオブジェクトは、全て仮想オブジェクトである。完全に又は部分的に仮想の実装では、図２Ａに示す例で、仮想オブジェクト２１０は、プレゼンテーションアプリケーション（例えば、マルチメディアプレゼンテーションを円滑にするように構成されたアプリケーション）の表現であってもよく、ＣＧＲ環境２９０内でユーザ２０２に提示されてもよい。
実施形態では、仮想オブジェクト２１０は、ＣＧＲ環境２９０内のどの位置に配置されてもよい。図２Ａ～図２Ｅに示す特定の例では、ＣＧＲ環境２９０は、少なくとも位置２２０、２２２、２２４、２２６及び２２８を含んでもよい。理解されるように、これらの位置は例示目的で記載されており、決して限定を意図するものではない。すなわち、ＣＧＲ環境２９０内の他のどの位置も、本明細書に記載される特徴及び機能に適用可能であり得る。
実施態様では、位置２２０は、ＣＧＲ環境２９０内の電子デバイスの表現における位置に対応してもよい。例えば、位置２２０は、ディスプレイ２４０における位置（例えば、ディスプレイ、画面、電子デバイスの表面又はケース）に対応してもよい。ディスプレイ２４０は、例えば、コンピュータ、ラップトップ、タブレット、電話、ディスプレイ、プロジェクタディスプレイなどのディスプレイであってもよい。ディスプレイ２４０は、実際の物理的デバイス（例えば、物理的オブジェクト）であってもよく、又はＣＧＲ環境２９０内のディスプレイ（例えば、仮想オブジェクト）の仮想的表現であってもよい。
位置２２２は、ＣＧＲ環境２９０の垂直平面（例えば、垂直平面である構造、壁、建物の側面などの壁様の構造に対応する表面、寝室壁、フェンス、垂直又は準垂直な平面などの大部分が垂直な平面）にある位置に対応してもよい。図２Ａに示す特定の例では、位置２２２は、ＣＧＲ環境２９０の壁における位置に対応する。
位置２２４及び／又は位置２２８は、ＣＧＲ環境２９０の水平面（例えば、水平面である構造、机面、テーブル、カウンタートップ、棚、床、ＣＧＲ環境内の別の水平面より高い水平面、高くなっていない水平面などの大部分が水平な平面）にある位置に対応してもよい。図２Ａに示す特定の例では、位置２２４及び２２８は、机面２４２における位置に対応し、机面は、物理的なオブジェクトでも仮想オブジェクトでもよい。
位置２２６は、ＣＧＲ環境２９０の水平面における位置に対応しているが、位置２２４及び／又は２２８と異なるタイプの位置であってもよい。例えば、位置２２６は、水平面である構造体、床、歩道、草、芝、１人以上の人が起立している表面、ＣＧＲ内の別の水平面より低い水平面などの高くなっていない水平面などの、大部分が水平な平面上にある位置でもよい。図２Ａに示す特定の例では、位置２２６は、ＣＧＲ環境２９０の床にある位置に対応する。
図２Ａに示すように、仮想オブジェクト２１０が（例えば、電子デバイス２００によって）位置２２０に表示されてもよい。いくつかの実施形態では、ＣＧＲ環境２９０内の位置（例えば、位置２２０）は、複数の使用コンテキストのうち少なくとも１つの使用コンテキストに関連付けられているか、又はそれ以外の方法で対応していてもよい。実施形態では、使用コンテキストは、仮想オブジェクトが置かれる表面のタイプ（例えば、机、壁、コンピュータスクリーン、床など）、若しくは表面の材料のタイプ（例えば、砂、草、コンクリート、カーペットなど）に関連してもよく、かつ／又は、仮想オブジェクトがＣＧＲ環境内で使用（例えば、操作、相互作用）若しくは表示（例えば、提示）される様式に関連してもよい。
実施態様では、位置２２０は、第１の使用コンテキストに関連付けられてもよい。例えば、上述したように、位置２２０は、ディスプレイ２４０における位置であってもよい。ディスプレイ２４０は、電子デバイスの表現であってもよい。この場合、位置２２０に関連付けられた第１の使用コンテキストは、位置２２０の表面又はオブジェクトのタイプであってもよく、それは電子デバイスである。よって、この場合、位置２２０が電子デバイスの表現における位置であると判断されると、第１の使用コンテキストは満足され得る。他の実施形態では、位置２２０に関連付けられた第１の使用コンテキストは、位置２２０にあるときに仮想オブジェクト２１０が使用される様式であってもよい。例えば、電子デバイスである位置２２０では、仮想オブジェクト２２０は、ディスプレイ２４０上のマルチメディアプレゼンテーションのためのアプリケーションとして使用されると判断されてもよい。この場合、仮想オブジェクトが使用される様式に基づいて、仮想オブジェクトを２次元（two-dimensional、２Ｄ）ウィンドウとして表すと判断してもよい。
明細書で使用するとき、仮想オブジェクトの表現は、コンテンツ、サイズ、機能性、ユーザインタフェースオブジェクト、形態、形状、設計、ＣＧＲ環境内の仮想オブジェクトのグラフィック提示などを含み得ることに留意されたい。例えば、仮想オブジェクトは、２Ｄオブジェクト（例えば、アプリケーションアイコン、アプリケーションウィンドウ、画像、アプリケーションのユーザインタフェースなど）として表現されてもよい。他の例では、仮想オブジェクトは、ＣＧＲ環境内で３Ｄオブジェクトとして表現されてもよい。いくつかの実施形態では、仮想オブジェクトの第１の表現は、特定のコンテンツを含む３Ｄオブジェクトであってもよく、仮想オブジェクトの第２の異なる表現は、第１の表現内の特定のコンテンツと異なるコンテンツを含む３Ｄオブジェクトであってもよい。
いくつかの実施形態では、ＣＧＲ環境内の仮想オブジェクトの表現は、音声特性を含み得る。例えば、１つの表現は、特定の音、雑音、発話などを含んでもよく、第２の表現は、異なる音、雑音、発話などを含んでもよい。いくつかの場合では、仮想オブジェクトの表現は、音のレベルもまた含んでもよく、仮想オブジェクトの１つの表現が１つの音のレベルを含んでもよく、別の表現が、それより高い、又はそれより低い音のレベルを含んでもよい。
上記によれば、仮想オブジェクト２１０が、位置２２０まで移動又はドラッグされるか位置２２０に表示されることによって少なくとも部分的に位置２２０に置かれると、位置２２０がディスプレイ２４０上にあるとの判断によって満たされる使用コンテキストに位置２２０が関連付けられており、ディスプレイ２４０は電子デバイスであるとの判断に基づいて、（例えば電子デバイス２００によって）仮想オブジェクト２１０がディスプレイ２４０上の２Ｄウィンドウとして表示される。
いくつかの実施形態では、仮想オブジェクト２１０は、ユーザ２０２が仮想オブジェクト２１０と相互作用し得るように構成されてもよい。仮想オブジェクト２２０との相互作用は、上述したように、ＣＧＲ環境２９０の仮想オブジェクトと相互作用するためのユーザ入力を検出するように構成された入力センサを介してもよい。いくつかの実施形態では、入力センサは、マウス、スタイラス、タッチ感応面、画像センサ（例えば、ハンドトラッキングを行うため）などを含んでもよく、これは、ユーザ２０２が仮想オブジェクト２１０を掴む、移動する、ドラッグする、クリックする、選択する、及び／又はそれ以外の方法で選択することを可能にするように構成されてもよい。したがって、実施形態では、仮想オブジェクト２１０をＣＧＲ環境２９０内の位置に移動するための要求が受信されてもよい。
図２Ａに示す例では、仮想オブジェクト２１０を位置２２０からＣＧＲ環境２９０内の別の位置に移動するよう求める要求は、ユーザ２０２が仮想オブジェクト２１０を、位置２２０から移動するために、掴むか、又はそれ以外の方法で選択することを含んでもよく、この要求は、仮想オブジェクト２１０を位置２２０から退去させてもよい。いくつかの実施形態では、仮想オブジェクト２１０が位置（例えば、位置２２０）から移動されると、ただちに仮想オブジェクト２１０の現在の表現が変化してもよい。例えば、仮想オブジェクト２１０が位置２２０から移動されると、マルチメディアプレゼンテーションアプリケーションの２Ｄウィンドウとしての仮想オブジェクト２１０の現在の表現が、ただちに別の表現に変化してもよい。いくつかの実装においては、仮想オブジェクト２１０の現在の表現がなんらかの過渡的な表現に変化してもよく、過渡的な表現は、特定の使用コンテキストに関連付けられていなくてもよく、むしろ、仮想オブジェクト２１０が１つの位置から別の位置に遷移していることを示すデフォルトの表現であってもよい。他の実装においては、仮想オブジェクト２１０がある位置から移動される場合には、仮想オブジェクト２１０の現在の表現は変化させられなくてもよく、代わりに、仮想オブジェクト２１０の異なる表現が表示されると判断され得る使用コンテキストに関連付けられていると判断される別の位置に仮想オブジェクトが置かれるまで、仮想オブジェクト２１０の現在の表現は変化させられないままであってもよい。この場合、現在の位置から新しい位置への仮想オブジェクト２１０の移動中、仮想オブジェクト２１０の現在の表現が維持されてもよい。
図２Ｂは、（例えば、電子デバイス２００によって）位置２２４上に表示された仮想オブジェクト２１０の例を示す。この例では、仮想オブジェクトを位置２２４に移動するよう求める要求に応答して、位置２２４に対応する少なくとも１つの使用コンテキストが判断されてもよい。例えば、位置２２４は、机面２４２にある位置に対応してもよい。この場合、位置２２４の位置タイプ（例えば、表面、大気のタイプ）によって満たされる使用コンテキストに位置２２４が関連付けられており、位置２２４は、机面２４２における位置（例えば、水平面における位置）であると判断されてもよい。代替的又は追加的な実施形態では、机面２４２における位置２２４は、仮想オブジェクト２１０が、例えばユーザ２０２によってマルチメディアプレゼンテーションに関するメモを作成するために使用され得る位置であると判断されてもよい。いずれの場合でも、位置２２４が机面における位置であること、又は、位置２２４が、仮想オブジェクトがマルチメディアプレゼンテーションへの注釈を作成するために使用され得る位置であることのどちらの理由によっても、仮想オブジェクト２１０は、ユーザがマルチメディアプレゼンテーションについて注釈かつ／又はメモを作成するのを円滑にするように構成された３Ｄオブジェクト（例えば、メモ帳、ノート、本、又は任意の他の３Ｄ表現）として表現されてもよい。
図示されていないが、仮想オブジェクト２１０は、机面２４２における位置２２４から同じく机面２４２における位置２２８へ移動されてもよい。実施形態では、どちらの位置も同じ使用コンテキストに関連付けられているので、仮想オブジェクト２１０の表現（例えば、３Ｄ仮想メモ帳）は、位置２２８においても、位置２２４にあるときと同じままであってもよい。あるいは、位置２２４と２２８は、どちらも机面２４２上にある（例えば、表面タイプが同じ）が、位置２２８にあるときの仮想オブジェクトの表現は、位置２２４にあるときの表現とは異なってもよい。例えば、位置２２４にあるときの仮想オブジェクト２１０の表現のサイズ及び／又は配向に位置２２８が適応できないと判断され得るために、位置２２８にあるときの仮想オブジェクトの表現が、位置２２４にあるときの表示と異なるサイズ（例えば、より小さいか、より大きい）であるか、又は異なる配向になっていてもよい。いくつかの実施形態では、同じタイプの表面にある異なる位置（例えば、机面２４２上、壁２２２上などにある異なる位置）が、異なる使用コンテキストに対して構成されてもよい。例えば、机面２４２上の特定の位置が、仮想オブジェクト２１０の表現が特定の言語で表され得るという使用コンテキストで構成されてもよく、机面２４２上の別の位置が、仮想オブジェクト２１０の表現が異なる言語で表され得るという使用コンテキストで構成されていてもよい。
図２Ｃは、位置２２２上に表示された仮想オブジェクト２１０の例を示す。例えば、仮想オブジェクト２１０を位置２２２に移動するよう求める要求が受信されてもよい。この要求は、ＣＧＲ環境２９０内の任意の他の位置（例えば、位置２２０、位置２２４、位置２２６など）から仮想オブジェクト２１０を移動するよう求める要求を含んでもよい。要求に応答して、仮想オブジェクト２１０が位置２２２に移動され、位置２２２に表示される仮想オブジェクト２１０の表現が判断されてもよい。この例では、仮想オブジェクトを位置２２２に移動するよう求める要求に応答して、位置２２２に対応する少なくとも１つの使用コンテキストが判断されてもよい。例えば、位置２２２は、ＣＧＲ環境２９０の垂直平面（例えば、壁）における位置に対応してもよい。この場合、位置２２２の位置タイプ（例えば、表面のタイプ）によって満たされる使用コンテキストに位置２２２が関連付けられており、位置２２２は、ＣＧＲ環境２９０の壁における位置であると判断されてもよい。代替的又は追加的な実施形態では、ＣＧＲ環境２９０の壁における位置２２２は、仮想オブジェクト２１０がマルチメディアプレゼンテーションを提示するために使用され得る位置であると判断されてもよい。いずれの場合でも、位置２２２が壁における位置であること、又は、位置２２２が、仮想オブジェクトがマルチメディアプレゼンテーションを提示するために使用され得る位置であることのどちらの理由によっても、仮想オブジェクト２１０は、マルチメディアプレゼンテーションを提示するのを円滑にするように構成された大型ウィンドウオブジェクトとして表現されてもよい（例えば、電子デバイス２００によって表示される）。例えば、大型ウィンドウオブジェクトは、壁に固定して表示された、２Ｄのウィンドウ又は、大型モニタの３Ｄ表現であってもよい。いくつかの実施形態では、壁に対する大型ウィンドウオブジェクトのサイズは、ＣＧＲ環境２９０内のユーザ２０２の位置に対して大型ウィンドウオブジェクトが表示される壁の距離に基づいて判断されてもよい。
いくつかの実施形態では、位置２２２上の仮想オブジェクト２１０の表現のコンテンツ（例えば、情報及び／又は情報の配列）は、他の位置における仮想オブジェクト２１０の表現内のコンテンツとは異なっていてもよい。例えば、位置２２４で仮想オブジェクト２１０の表現として使用される３Ｄメモ帳は、３Ｄメモ帳内に特定の配置で配置された情報を含んでもよい。一方で、位置２２２では、仮想オブジェクト２１０の表現として使用される壁に対する大型ウィンドウディスプレイは、異なる情報を含んでもよく、その情報は、大型ウィンドウディスプレイ内に別の配置で配置されていてもよい。
図２Ｄは、（例えば、電子デバイス２００によって）位置２２６上に表示された仮想オブジェクト２１０の例を示す。例えば、仮想オブジェクト２１０を位置２２６に移動するよう求める要求が受信されてもよい。この要求は、ＣＧＲ環境２９０内の任意の他の位置（例えば、位置２２０、位置２２２、位置２２４、位置２２８など）から仮想オブジェクト２１０を移動するよう求める要求を含んでもよい。要求に応答して、仮想オブジェクト２１０が位置２２６に移動され、位置２２６で（例えば、電子デバイス２００によって）表示される仮想オブジェクト２１０の表現が判断されてもよい。この例では、仮想オブジェクトを位置２２６に移動するよう求める要求に応答して、位置２２６に対応する少なくとも１つの使用コンテキストが判断されてもよい。例えば、位置２２６は、ＣＧＲ環境２９０の水平面（例えば、床）における位置に対応してもよい。この例では位置２２６は、机面２４２における位置である位置２２４に対応する水平面と異なるタイプの水平面における位置に対応することに留意されたい。この場合、位置２２６の位置タイプ（例えば、表面のタイプ）によって満たされる使用コンテキストに位置２２６が関連付けられており、位置２２６は、ＣＧＲ環境２９０の床における位置であると判断されてもよい。代替的又は追加的な実施形態では、ＣＧＲ環境２９０の床における位置２２６は、仮想オブジェクト２１０が、マルチメディアプレゼンテーションを少なくとも部分的には没入的に（例えば、一人称視点から）提示するために使用され得る位置であると判断されてもよい。いずれの場合でも、位置２２６が壁における位置であること、又は位置２２６が、仮想オブジェクトが、マルチメディアプレゼンテーションを少なくとも部分的には没入的に提示するために使用され得る位置であることのどちらの理由によっても、仮想オブジェクト２１０は、位置２２６上、又はその近傍に置かれた３Ｄ演壇として表現されてもよく、演壇は、ユーザ２０２が演壇からマルチメディアプレゼンテーションを提示するのを円滑にするように構成される。いくつかの実施形態では、位置２２６における仮想オブジェクト２１０の表現は、マルチメディアプレゼンテーションに関連するコンテンツ２１２（例えば、メモ、注釈、プレゼンテーションコンテンツなど）を含んでもよく、ユーザ２０２がコンテンツ２１２を知覚し得る演壇上に提示されてもよい。
図２Ｅは、完全没入モードで（例えば、電子デバイス２００によって）表示されている仮想オブジェクト２１０の例を示す。いくつかの実施形態では、ある特定の位置が完全没入型の使用コンテキストに関連付けられていてもよい。例えば、ＣＧＲ環境２９０の床における位置２２６などの位置が、プレゼンテーションが完全没入型体験として提示される使用コンテキストに関連付けられていてもよい。仮想オブジェクト２１０を位置２２６に移動するよう求める要求に応答して、その仮想オブジェクトが位置２２６に移動され、仮想オブジェクト２１０の完全没入型表現が表示されてもよい。この場合、仮想オブジェクト２１０を完全没入型表現として表示することは、ＣＧＲ環境２９０全体を、マルチメディアアプリケーションを提示するために構成された仮想的な講堂として表示することを含み得る。
いくつかの実施形態では、特定の使用コンテキストに関連付けられた仮想オブジェクト２１０の表現が、仮想オブジェクトを特定の位置に移動する必要なく表示されてもよい。例えば、図２Ａを再び参照すると、いくつかの実施形態では、ＣＧＲ環境２９０内にアフォーダンス２１４が提示されてもよい。アフォーダンス２１４は、ユーザ（例えば、ユーザ２０２）による相互作用を可能にするように構成された仮想オブジェクト（例えば、ボタン、アフォーダンス、ユーザインタフェース要素、相互作用型要素など）であってもよい。アフォーダンス２１４は、少なくとも１つの使用コンテキストに対応してもよい。いくつかの実施形態では、アフォーダンス２１４はまた、仮想オブジェクト２１４に関連付けられていてもよい（例えば、マルチメディアプレゼンテーション、計算機、天気などの仮想オブジェクト２１４の特定のアプリケーションに関連付けられた）。ユーザ２０２が仮想オブジェクト２１０のためのアフォーダンス２１４を選択すると、アフォーダンス２１４に対応する使用コンテキストが満たされたと見なされ得、関連付けられた表現（例えば、その使用コンテキストに関連付けられた仮想オブジェクト２１０の表現）を表示させることができる。例えば、アフォーダンス２１４が位置２２４（例えば、机面）に関連付けられた使用コンテキストに対応する場合、図２Ｂに示すように、３Ｄメモ帳としての仮想オブジェクト２１０の表現が電子デバイス２００によって表示されてもよい。いくつかの場合では、仮想オブジェクト２１０の表現は、使用コンテキストに関連付けられた位置に表示されてもよいし（例えば、仮想オブジェクト２１０を現在の位置から、アフォーダンス２１４に関連付けられた使用コンテキストに対応する位置に移動する必要なく）、又は、仮想オブジェクト２１０が現在表示されているどのような位置にでも表示されてもよい。いくつかの実施形態では、アフォーダンス２１４に対応する使用コンテキストに関連付けられた位置に仮想オブジェクト２１０の表現を表示することは、仮想オブジェクト２１０を現在の位置から、使用コンテキストに関連付けられた位置に移動することを含み得る。これらの場合、使用コンテキストに関連付けられた位置への仮想オブジェクト２１０の移動がアニメーション化されてもよい。
別の例では、アフォーダンス２１４が完全没入型使用コンテキストに関連付けられた使用コンテキストに対応する場合、図２Ｅに示すように、ユーザ２０２がアフォーダンス２１４を選択したことに応答して、完全没入型体験としての仮想オブジェクト２１０の表現が電子デバイス２００によって表示されてもよい。
いくつかの実施形態では、アフォーダンス２１４は、複数のアフォーダンスを含んでもよく、複数のアフォーダンスのうちの各アフォーダンスは、特定の使用コンテキストに対応する。これらの実施形態では、複数のアフォーダンスのうちの各アフォーダンスは、選択されると、対応する使用コンテキストが満たされたと見なされるようになり得、また、前述の関連する表現（例えば、満たされた使用コンテキストに関連付けられた仮想オブジェクト２１０の表現）を表示させ得る、選択可能なアフォーダンスであってもよい。
本開示では、ある時点で仮想オブジェクトがＣＧＲ環境内の単一の位置に表示される実施形態を説明しているが、これは例示を目的とし、決して限定するものとして解釈されるべきではないことに留意されたい。実際、いくつかの実施形態では、同じ仮想オブジェクトの別個の、また場合によっては異なる表現が、ＣＧＲ環境内の２つ以上の位置に同時に表示されてもよい。実施形態では、複数の異なる位置における別個の表現が全て異なっていてもよいし（例えば、上述したように、異なる情報を含んでもよく、又は異なる形状及び／若しくは形態を有してもよい）、又は、複数の異なる位置における表現の一部が同じでありながら、他の位置における他の表現が異なっていてもよい。いくつかの実施形態では、仮想オブジェクトの設定に対する変更（例えば、仮想オブジェクトに関連付けられたアプリケーションに対する変更）は、全ての位置における全ての表現に対する変更を誘発してもよく、又は、いくつかの位置における一部の表現への変更を誘発してもよいが、全ての位置で全ての表現への変更が誘発されるわけではない。いくつかの場合では、ＣＧＲ環境内の１つの位置における表現に対する変更（例えば、ユーザ相互作用に応答して引き起こされる変化、及び／又は関連付けられたアプリケーション内の変化によって引き起こされる変化）は、ＣＧＲ環境内の別の位置（単数又は複数）における仮想オブジェクトの少なくとも１つの表現に対する少なくとも１つの変更を誘発してもよい。
図３Ａ～図３Ｃは、本開示の態様による、ＣＧＲ環境内のある位置に関連付けられた使用コンテキストに基づいて仮想オブジェクトの表現を制御するための機能の一例を示す。具体的には、図３Ａは、ユーザ２０２が電子デバイス２００を装着しているところを示し、この電子デバイスは、ユーザ２０２がＣＧＲ環境２９０を見ることを可能にするように構成されていてもよい。いくつかの実施形態では、電子デバイス２００は、図１Ａ及び１Ｂを参照しながら上述した電子デバイス１００ａと類似していてもよい。
ＣＧＲ環境２９０はディスプレイ３４０を含み、ディスプレイ３４０は、物理的ディスプレイであってもよいし、又は、ディスプレイの仮想表現であってもよい。いずれにせよ、仮想オブジェクト３１０の表現が、ディスプレイ３４０における位置である位置３２０上に（例えば、電子デバイス２００によって）表示されてもよい。図３Ａに示す例では、仮想オブジェクト３１０は、計算機アプリケーションであってもよい。この場合、位置３２０が少なくとも１つの使用コンテキスト（例えば、位置、表面、材料などのタイプ、及び／又は、その位置における仮想オブジェクトの使用のタイプ）に対応すると判断されてもよい。例えば、位置３２０は、ＣＧＲ環境２９０の電子デバイス（例えば、物理デバイス、又は物理デバイスのコンピュータ生成シミュレーション）における位置であると判断されてもよい。この場合、位置３２０の位置タイプ（例えば、表面のタイプ）によって満たされる使用コンテキストに位置３２０が関連付けられており、位置３２０は、電子デバイスにおける位置であると判断されてもよい。位置３２０が電子デバイスにおける位置であるとの判断に基づいて、仮想オブジェクト３１０は、（例えば、電子デバイス２００によって）ディスプレイ３４０上の計算機アプリケーションの２Ｄウィンドウ又はウィジェットとして表示されてもよい。よって、理解されるように、位置３２０における仮想オブジェクト３１０の表現は、位置３２０に対応する使用コンテキストに基づく。
図３Ｂは、位置３２０で仮想オブジェクト３１０と相互作用するユーザ２０２を示す。ユーザ２０２の位置３２０における仮想オブジェクト３１０との相互作用は、仮想オブジェクト３１０を別の位置（例えば、位置３２４）に移動するよう求める要求を含んでもよい。図３Ｃは、仮想オブジェクト３１０を移動するよう求める要求に応答して、位置３２４に移動された仮想オブジェクト３１０を示す。この例では、位置３２４に関連付けられた少なくとも１つの使用コンテキストが判断されてもよい。例えば、位置３２４は、机面３４２における位置である。この場合、位置３２４の位置タイプ（例えば、表面のタイプ）によって満たされる使用コンテキストに位置３２４が関連付けられており、位置３２４は、机面３４２における位置（例えば、水平面における位置）であると判断されてもよい。代替的又は追加的な実施形態では、机面３４２における位置３２４は、仮想オブジェクト３１０（例えば、計算機アプリケーション）が、例えばユーザ２０２によって、実在の物理的計算機と同様に、例えばユーザ２０２の手、又は手の仮想表現を使用して計算機アプリケーションに入力を行うような様式で計算機アプリケーションを操作するために使用される位置であると判断されてもよい。いずれの場合でも、位置３２４が机面における位置であること、又は位置３２４が、ユーザの手若しくは手の仮想表現を使用して計算機に入力を行うため仮想オブジェクトが使用されてもよい位置であることのどちらの理由によっても、仮想オブジェクト３１０は、ユーザが計算機アプリケーションに入力を行うのを円滑にするように構成された３Ｄオブジェクト（例えば、物理的計算機の３Ｄ表現）として表現されてもよい。
図４Ａ～図４Ｃは、本開示の態様による、ＣＧＲ環境内の仮想オブジェクトの位置に関連付けられた使用コンテキストに基づく、ＣＧＲ環境の仮想オブジェクトの表現の別の例を示す。具体的には、図４Ａは、ユーザ２０２が電子デバイス２００を装着しているところを示し、この電子デバイスは、ユーザ２０２がＣＧＲ環境２９０を見ることを可能にするように構成されている。上述したように、いくつかの実施形態では、電子デバイス２００は、図１Ａ及び１Ｂを参照しながら上述した電子デバイス１００ａと類似していてもよい。
ＣＧＲ環境２９０は、ディスプレイ４４０を含む。上述したように、ディスプレイ４４０は、物理的ディスプレイであってもよいし、又は、ディスプレイの仮想表現であってもよい。仮想オブジェクト４１０の表現が、ディスプレイ４４０における位置である位置４２０上に電子デバイス２００によって表示されてもよい。図４Ａに示す例では、仮想オブジェクト４１０は、相互作用型で、かつ／又はアニメーション化されたロボットを提示するアプリケーションであってもよい。本明細書におけるアニメーションロボットの説明は、例示のみを目的としており、決して限定するものとして解釈されるべきではないことが理解されるであろう。実際、本明細書の技法は、ＣＧＲ環境内の仮想オブジェクトとして表現され得るどのようなアプリケーションにも適用可能である。この例では、位置４２０は、電子デバイスの表現（例えば、物理的コンピュータのディスプレイの表現）における位置であると判断されてもよい。位置４２０が電子デバイスの表現における位置であるとの判断に基づいて、仮想オブジェクト４１０は、ディスプレイ４４０上の２Ｄウィンドウ又はウィジェットとして（例えば、電子デバイス２００によって）表示されてもよい。
図４Ｂは、位置４２４に移動された仮想オブジェクト４１０を示す。実施態様では、仮想オブジェクト４１０は、ユーザによる要求（例えば、ユーザが、仮想オブジェクト４１０を位置４２４にドラッグするか、又はそれ以外の方法で移動させるように、仮想オブジェクト４１０と相互作用する）に応答して、位置４２４に移動されてもよい。この例では、位置４２４に関連付けられた少なくとも１つの使用コンテキストが判断されてもよい。例えば、位置４２４は、机面４４２における位置である。この場合、位置４２４の位置タイプ（例えば、表面のタイプ）によって満たされる使用コンテキストに位置４２４が関連付けられおり、位置４２４は、机面４４２における位置（例えば、水平面における位置）であると判断されてもよい。位置４２４に対応する使用コンテキストに基づいて、仮想オブジェクト４１０が３Ｄオブジェクト（例えば、アニメーションロボットの３Ｄ表現）として提示されてもよい（例えば、電子デバイス２００によって表示される）。実施形態では、位置４２４にあるときの仮想オブジェクト４１０の表現は、位置４２０にあるときの仮想オブジェクトの表現と異なる機能を含んでもよい。例えば、机面４４２上の３Ｄアニメーションロボットは、２つ以上の軸の間で机面４４２を動き回るように構成されてもよい。加えて、又は代替的に、机面４４２上の３Ｄアニメーションロボットは、それ自体の軸を中心に回転することが可能であってもよい。加えて、又は代替的に、机面４４２上の３Ｄアニメーションロボットは、位置４２０にあるときよりも大きいサイズであるように構成されてもよい。
図４Ｃは、位置４２６に移動された仮想オブジェクト４１０を示す。実施態様では、仮想オブジェクト４１０は、ユーザによる要求（例えば、ユーザが、仮想オブジェクト４１０を位置４２６にドラッグするか、又はそれ以外の方法で移動させるように、仮想オブジェクト４１０と相互作用する）に応答して、位置４２６に移動されてもよい。この例では、位置４２６に関連付けられた少なくとも１つの使用コンテキストが判断されてもよい。例えば、位置４２６は、ＣＧＲ環境２９０の床における位置である。この例では、位置４２６は、机面４４２における位置である位置４２４に対応する水平面と異なるタイプの水平面における位置に対応することに留意されたい。この場合、位置４２６の位置タイプ（例えば、表面のタイプ）によって満たされる使用コンテキストに位置４２６が関連付けられており、位置４２６は、ＣＧＲ環境２９０の床における位置であると判断されてもよい。位置４２４に対応する使用コンテキストに基づいて、仮想オブジェクト４１０がＣＧＲ環境２９０の床上の３Ｄオブジェクト（例えば、アニメーションロボットの３Ｄ表現）として提示されてもよい（例えば、電子デバイス２００によって表示される）。実施形態では、位置４２６にあるときの仮想オブジェクトの表現は、位置４２４にあるときとは異なっていてもよい。例えば、ＣＧＲ環境２９０の床上の３Ｄアニメーションロボットは、机面４４２における位置４２４での３Ｄアニメーションロボットよりも大きくてもよい。加えて、ＣＧＲ環境２９０の床上の３Ｄアニメーションロボットは、机面４４２における位置４２４での３Ｄアニメーションロボットよりも速い速度で移動するように構成されてもよい。
いくつかの実施形態では、ＣＧＲ環境２９０内のいくつかの位置は、特定のアプリケーションのための使用コンテキストに関連付けられていなくてもよいし、又は特定のアプリケーションに関連付けられた仮想オブジェクトに関しては禁止位置であってもよい。例えば、位置４２２は、ＣＧＲ環境２９０の垂直平面（例えば、壁）における位置であってもよい。この例では、位置４２２は、関連する使用コンテキストを有さなくてもよい。ユーザ２０２が仮想オブジェクト２１０を位置４２２に移動しようと試みると、例えば、３Ｄロボットは、垂直表面上を進むことはできないことがあるので、移動が許容されない場合がある。あるいは、仮想オブジェクトのデフォルト表現が表示されてもよい（例えば、２Ｄ画像又は２Ｄアプリケーションウィンドウ）。
図５は、ＣＧＲ環境内の仮想オブジェクトの位置に関連付けられた使用コンテキストに基づいて、ＣＧＲ環境の仮想オブジェクトの表現を制御する方法５００を示すフロー図である。いくつかの実施形態では、方法５００は、システム１００又はシステム１００の一部によって行われてもよい。いくつかの実施形態では、方法５００は、１つ以上の外部システム及び／又はデバイスによって行われてもよい。いくつかの実施形態では、方法５００は、システム１００（又はシステム１００の一部）によって、１つ以上の外部システム及び／又はデバイスと協力して行われてもよい。
ブロック５０２で、システムは、電子デバイス（例えば、ウェアラブル電子デバイス、ＨＭＤデバイスなど）のディスプレイを介して、ＣＧＲ環境内の第１の位置に、仮想オブジェクトの第１の表現を表示する。例えば、仮想オブジェクトの第１の表現は、電子デバイスの第１のディスプレイ（例えば、左アイディスプレイパネル）又は第２のディスプレイ（例えば、第２のアイディスプレイパネル）を介して表示されてもよい。
実施形態では、第１の位置は、複数の使用コンテキストのうち第１の使用コンテキストに対応していてもよい。実施形態では、複数の使用コンテキストには、仮想オブジェクトが置かれる表面のタイプ（例えば、机、壁、コンピュータスクリーン、床など）及び／若しくは材料のタイプ（例えば、砂、草、コンクリート、カーペットなど）、並びに／又は、仮想オブジェクトがＣＧＲ環境の第１の位置でどのように使用（例えば、操作、相互作用）、若しくは表示（例えば、提示）されるかに対応する使用コンテキストが含まれてもよい。いくつかの実施形態では、システムは電子デバイスの一部であってもよく、又は電子デバイスはシステムの一部であってもよい。
いくつかの実施形態では、仮想オブジェクトの表現が第１の位置に表示されるとき、仮想オブジェクトの表現は、第１のタイプの表面（例えば、机、壁、コンピュータ画面、床など）に表示されてもよく、仮想オブジェクトの表現は、第１の位置（例えば、第１の位置に対応する表面のタイプ）に基づいて表示されてもよい。いくつかの実施形態では、複数の使用コンテキストのうちの１つ以上は予め定められていてもよい。例えば、複数の使用コンテキストのうちの１つ以上は、その仮想オブジェクトに対応する特定のアプリケーションに基づいて予め定められていてもよい。いくつかの実施形態では、第１のアプリケーションは、第１の数の予め定められた使用コンテキストを有してもよく、第２のアプリケーションは、第１の数の予め定められた使用コンテキストと異なる第２の数の予め定められた使用コンテキストを有してもよい。いくつかの実施形態では、第２のアプリケーションは、第１のアプリケーションと異なる使用コンテキストを有してもよく、又はその逆であってもよい。
ブロック５０４で、システムは、ＣＧＲ環境内で第１の表現を第１の位置と異なる第２の位置に移動するよう求める要求を受信する。いくつかの実施形態では、要求は、第１の位置から第２の位置への第１の表現の動きを検出することに基づいて、システムによって受信又は検出されてもよい。いくつかの実施形態では、１つ以上のユーザ入力が検出されてもよく、これらのユーザ入力を検出したことに応答して、システムは、表現を第２の位置に移動するよう求める要求を受信してもよい。いくつかの実施形態では、第１の表現を第１の位置から第２の位置に移動するよう求める要求は、１つ以上の判断に基づいて受信される外部アプリケーションによる１つ以上の判断に基づいて、第１の表現を第１の位置から第２の位置へ移動するよう求める要求が受信されてもよい。
ブロック５０６で、要求を受信したことに応答し、かつ、第２の位置が複数の使用コンテキストのうち第２の使用コンテキスト（例えば、第２の使用コンテキストは第１の使用コンテキストと異なる）に対応するとの判断に従って、システムは、第２の使用コンテキストに基づいて、かつ／又はその仮想オブジェクトに関連付けられた１つ以上のアプリケーションに基づいて、電子デバイスのディスプレイを介して、第２の位置、第２の位置の近傍、及び／又は第２の位置に対応する表面に仮想オブジェクトの第２の表現を表示する。実施形態では、第２の表現は、第１の表現と異なってもよい。例えば、第２の表現は、異なるサイズ、形状、ユーザインタフェースオブジェクト、機能性、音声特性、表面材料などを有してもよく、並びに／又は、第１の表現と異なる、かつ／若しくは追加の１つ以上の動作で構成されてもよい。
いくつかの実施形態では、複数の使用コンテキストのうち第２の使用コンテキストは、第２の位置が電子デバイス（例えば、コンピュータ、ラップトップ、タブレット、電話、ディスプレイ、プロジェクタディスプレイ）における位置（例えば、ディスプレイ、スクリーン、電子デバイスの表面又はケース）に対応すると判断された場合に満たされる使用コンテキストを含んでもよい。いくつかの実施形態では、第２の位置が複数の使用コンテキストのうち第２の使用コンテキストに対応するとの判断に従って、第２の使用コンテキストに基づいて仮想オブジェクトの第２の表現を表示することの一部として、システムはＣＧＲ環境内で電子デバイス上に仮想オブジェクトの２Ｄ表現を表示する。いくつかの実施形態では、仮想オブジェクトの第２の表現は、電子デバイス上の２Ｄ表現であってもよい。いくつかの実施形態では、第２の表現は、物理的環境内の物理的表面に対応する仮想環境内の位置に移動（例えば、電子デバイスのディスプレイをドラッグする）されてもよい。いくつかの実施形態では、２Ｄアプリケーションは、電子デバイス上で３Ｄアプリケーションとして操作されてもよい。いくつかの実施形態では、複数の使用コンテキストのうち第２の使用コンテキストは、第２の位置が電子デバイス（例えば、コンピュータ、ラップトップ、タブレット、電話、ディスプレイ、プロジェクタディスプレイ）における位置に対応すると判断された場合に満たされる使用コンテキストを含んでもよい。これらの実施形態では、第２の位置が複数の使用コンテキストのうち第２の使用コンテキストに対応するとの判断に従って、第２の使用コンテキストに基づいて仮想オブジェクトの第２の表現を表示することは、ＣＧＲ環境内で電子デバイス上に３Ｄ表現を表示することを含んでもよい。いくつかの実施形態では、表現は、電子デバイスのタイプ（例えば、ディスプレイ（例えば、モニタ）、タブレット、パーソナルコンピュータ、ラップトップ）に応じて変化してもよい。
いくつかの実施形態では、複数の使用コンテキストのうち第２の使用コンテキストは、第２の位置が垂直平面における位置（例えば、壁、壁様構造に対応する表面、建物の側面、寝室壁、フェンスなど）に対応すると判断された場合に満たされる使用コンテキストを含んでもよい。いくつかの実施形態では、第２の位置が複数の使用コンテキストのうち第２の使用コンテキストに対応するとの判断に従って、第２の使用コンテキストに基づいて仮想オブジェクトの第２の表現を表示することの一部として、システムは、ＣＧＲ環境内の垂直平面上（例えば、壁上）に２Ｄ表現を表示する。いくつかの実施形態では、仮想オブジェクトの第２の表現は、電子デバイス上の２Ｄ表現であってもよい。いくつかの実施形態では、ＣＧＲ環境内の垂直平面上（例えば、壁上）に表示される２Ｄ表現は、電子デバイス上に表示される２Ｄ表現よりも大きくてもよく、より多くの視覚コンテンツを有してもよく、１つ以上の追加の（又は異なる）ユーザインタフェースオブジェクトを含んでもよい。いくつかの実施形態では、表現は、垂直平面のタイプ（例えば、建物の側面、寝室壁、フェンス）、及び／又はサイズ、形状（例えば、円形、矩形）、材料（例えば、レンガ、木材、金属）、テクスチャ（例えば、粗い、やすり状）、色、不透明度などの垂直平面（例えば、仮想的又は物理的）の１つ以上の特性に応じて変化してもよい。
いくつかの実施形態では、第２の表現のサイズは、電子デバイスのディスプレイとＣＧＲ環境内の垂直平面との間の距離に基づいてもよい。いくつかの実施形態では、２Ｄ表現は、垂直平面が電子デバイスのディスプレイに近い場合には小さくてもよく、垂直平面が電子デバイスのディスプレイから離れたときには大きくてもよい。いくつかの実施形態では、２Ｄ表現が最初に表示された後にユーザが２Ｄ表現から遠ざかったり近づいたりしても、２Ｄ表現のサイズが維持されてもよい。いくつかの実施形態では、２Ｄ表現が最初に表示された後にユーザが２Ｄ表現から遠ざかったり近づいたりするにしたがって、２Ｄ表現のサイズが変更されてもよい。いくつかの実施形態では、２Ｄ表現のサイズは、距離が特定のカテゴリに分類されるか否かに基づいてもよい（例えば、各カテゴリが異なるサイズ表現（例えば、特大、小、中）に対応する、距離のカテゴリ（例えば、遠い、近い、平均距離））。
いくつかの実施形態では、複数の使用コンテキストのうち第２の使用コンテキストは、第２の位置がＣＧＲ環境内の水平面（例えば、机面、テーブル、カウンタートップ、棚、床、高くなった平面、別の水平面より上にある水平面、高くなっていない水平面など）における位置に対応すると判断された場合に満たされる使用コンテキストを含む。いくつかの実施形態では、第２の位置が複数の使用コンテキストのうち第２の使用コンテキストに対応するとの判断に従って、第２の使用コンテキストに基づいて仮想オブジェクトの第２の表現を表示することの一部として、システムは、ＣＧＲ環境内の水平面上に３Ｄ表現を表示してもよい。いくつかの実施形態では、仮想オブジェクトの第２の表現は、水平面上の３Ｄ表現であってもよい。いくつかの実施形態では、表現は、水平面のタイプ（例えば、机面、テーブル、カウンタートップ、棚）、及び／又はサイズ、形状（例えば、円形、矩形）、材料（例えば、レンガ、木材、金属）、テクスチャ（例えば、粗い、やすり状）、色、不透明度などの、水平面（例えば、仮想的又は物理的）の１つ以上の特性に応じて変化してもよい。
いくつかの実施形態では、水平面が第１のタイプの水平面であるとの判断に従って、３Ｄ表現は、第１のサイズの表現であってもよい。いくつかの実施形態では、水平面が第２のタイプの水平面であるとの判断に従って、３Ｄ表現は、第１のサイズと異なる（例えば、より大きい）第２のサイズの表現であってもよい。実施形態では、第１及び第２のタイプの水平面は、例えば、大部分が水平な平面、水平面である構造体、床、歩道、草、芝、１人以上の人が立っている表面、高くなっていない水平面、ＣＧＲ内の別の水平面より低い水平面が含まれ得る、水平な平面のタイプから選択されてもよい。
いくつかの実施形態では、ＣＧＲ環境内で第１のタイプの水平面（例えば、机面、テーブル、カウンタートップ、棚）上に表示される３Ｄ表現は、第２のタイプの水平面（例えば、床、歩道、芝、芝、１人以上の人が立っている表面）上に表示される３Ｄ表現よりも大きくてもよく、より視覚的なコンテンツを有してもよく、１つ以上の追加の（又は異なる）ユーザインタフェースオブジェクトを含んでもよい。
いくつかの実施形態では、複数の使用コンテキストのうち第２の使用コンテキストは、最大化ビュー基準が満たされた場合に満たされる使用コンテキストを含んでもよい。例えば、最大化ビュー基準が満たされるのは、ユーザインタフェース要素（例えば、ボタン、アフォーダンス、及び／又は任意の他の相互作用型要素）が、アプリケーションが実行され得る部屋に基づいて、第２の位置（例えば、仮想オブジェクトが移動されるかドロップされる位置）、デバイスのユーザの、最大化基準に対応する身体部分における位置（例えば、手のにおける位置）、ジェスチャなどに基づいて選択された場合であってもよい。これらの実施形態では、第２の使用コンテキストに基づいて仮想オブジェクトの第２の表現を表示することの一部として、システムは、ＣＧＲ環境内で複数の平面上に仮想オブジェクトの複数の表現を表示する。いくつかの実施形態では、ＣＧＲ環境内で複数の平面上に仮想オブジェクトの複数の表現を表示することは、物理的環境及び／又はＣＧＲ環境の１つ以上の局面を変更して、完全又は部分的な没入体験を作り出すことを含み得る。例えば、ＣＧＲ環境内の部屋（例えば、物理的又は仮想的な）は、アプリケーションがプレゼンテーションアプリケーションであるときには仮想的な講堂に切り換えられてもよく、スポーツ観戦アプリケーション（例えば、ファンタジースポーツアプリケーション、ライブスポーツアプリケーション）であるときには仮想的なスポーツ競技場（例えば、フットボールスタジアム）に切り換えられてもよく、ショッピングアプリケーションでは仮想的な店舗に切り換えられるなどしてもよい。いくつかの実施形態では、最大化ビューは、コンパニオンアプリケーション（例えば、ファンタジースポーツアプリケーション、ライブスポーツアプリケーション、ショッピングアプリケーション、プレゼンテーションアプリケーションなど）を介して表示されてもよい。いくつかの実施形態では、コンパニオンアプリケーションは、当該仮想オブジェクトに対応してもよく、かつ／又は、当該仮想オブジェクトに対応するアプリケーションに対するコンパニオンアプリケーションであってもよい。
いくつかの実施形態では、最大化ビューアフォーダンスに対応する選択可能な仮想オブジェクト（例えば、現在、仮想オブジェクトの第１の表現などの表現と共に表示されている選択可能な仮想オブジェクト）が表示されてもよい。いくつかの実施形態では、最大化ビュー基準は、最大化ビューアフォーダンスに対応する選択可能な仮想オブジェクトが選択された（例えば、仮想オブジェクト上のタップ又はスワイプ）場合に満たされる基準を含んでもよい。
いくつかの実施形態では、第２の位置は、複数の使用コンテキストのうち第２の使用コンテキストに対応すると判断されてもよい。いくつかの実施形態では、第１の表現は、第１の視覚コンテンツ（例えば、テキスト、ボタン、音声／動画、ユーザインタフェース要素などの表現）を含んでもよい。いくつかの実施形態では、第２の表現は、第１の視覚的コンテンツを含まなくてもよい。
いくつかの実施形態では、第２の位置は、複数の使用コンテキストのうち第２の使用コンテキストに対応すると判断されてもよい。いくつかの実施形態では、第１の表現は、第３のサイズで表示される第３の視覚的コンテンツを含んでもよい。いくつかの実施形態では、第２の表現は、第３のサイズと異なる第４のサイズで表示される（例えば、テキスト、ボタン、音声／動画、ユーザインタフェース要素などの、より大きい、又はより小さい表現）第３の視覚コンテンツを含んでもよい。
いくつかの実施形態では、第２の位置は、複数の使用コンテキストのうち第２の使用コンテキストに対応すると判断されてもよい。いくつかの実施形態では、第１の表現は、第１の選択可能なオブジェクト（例えば、１つ以上の選択可能なユーザインタフェース要素）を含んでもよい。いくつかの実施形態では、第２の表現は、第１の選択可能オブジェクトを含まなくてもよい。
いくつかの実施形態では、複数の使用コンテキストのうち第２の使用コンテキストに第２の位置が対応すると判断されてもよい。いくつかの実施形態では、第１の表現は第４のサイズである。いくつかの実施形態では、第２の表現は、第４のサイズと異なる（例えば、より大きい又は小さい）第５のサイズである。
いくつかの実施形態では、第２の使用コンテキストに基づいて仮想オブジェクトの第２の表現を表示することの一部として、システムは、第１の表現が第２の位置から既定の距離（例えば、第１の表現が第２の位置に近づこうとするときに、第２の位置に近い距離）内にあるときに、第１の表現の表示を第２の表現の表示に遷移させることができる。いくつかの実施形態では、第１の表現が第１の位置から移動されるとき、第１の表現が第２の位置の特定の距離に近づくか、又はその範囲内になるまで第１の表現の表示が維持される。
いくつかの実施形態では、第２の位置が、複数の使用コンテキストのうち第４の使用コンテキストであって、禁止位置（例えば、その仮想オブジェクトが対応するアプリケーション並びに／又は１つ以上の他のアプリケーション及び／若しくはシステムによって禁じられた位置）に第２の位置が対応する場合に第４の使用コンテキストが満たされるとの判断に従って、システムは、第４の使用コンテキストに基づいてＣＧＲ環境内に仮想オブジェクトの表現を表示することを取りやめる。いくつかの実施形態では、第２の位置が、異なる使用コンテキストの表示の禁止を除き、ある使用コンテキスト（例えば、第２の使用コンテキスト）を満たす位置に対応している場合であっても、第１の表現と異なる表現の表示が禁止されていること、及び／又は、異なる表現の表示の禁止を除いて満たされるであろう当該使用コンテキスト（例えば、第２の使用コンテキスト）に対応する表現が禁止されていることから、第１の表現が表示されたままになってもよい。
いくつかの実施形態では、第２の位置が複数の使用コンテキストのうち第４の使用コンテキストに対応するとの判断に従って、システムは、ＣＧＲ環境内に、第２の位置が禁止位置（例えば、その仮想オブジェクトが対応するアプリケーション並びに／又は１つ以上の他のアプリケーション及び／若しくはシステムによって禁じられた位置）であることを示す指示（例えば、第４のコンテキストに対応する表現は表示することができないか、又は禁止されていることを示すメッセージ又は記号）を表示してもよい。
ブロック５０８で、要求を受信したことに応答し、かつ、第２の位置が複数の使用コンテキストのうち第３の使用コンテキスト（例えば、第３の使用コンテキストは第１の使用コンテキスト及び第２の使用コンテキストと異なる）に対応するとの判断に従って、システムは、第３の使用コンテキストに基づいて（かつ／又はその仮想オブジェクトに関連付けられた１つ以上のアプリケーションに基づいて）、電子デバイスのディスプレイを介して、第２の位置（例えば、第２の位置に対応する表面）に、仮想オブジェクトの第３の表現を表示してもよく、第３の表現は第１の表現及び第２の表現と異なる。
本開示の態様は、ＣＧＲ環境内の仮想オブジェクトの表現の同時表示を制御する機能を提供するシステム及び技法に向けられている。実施形態では、仮想オブジェクトの表現の同時表示を制御することは、ＣＧＲ環境の第１の表面（例えば、物理的又は仮想的な表面）上に第１の表現を表示することと、第１の表面と異なるＣＧＲ環境の第２の表面上に第２の表現を表示することと、を含んでもよい。実施形態では、仮想オブジェクトの第２の表現の表示を仮想オブジェクトの第１の表現と同時に要求するための制御が提供されてもよい。
図６Ａ～図６Ｃは、本開示の態様による、ＣＧＲ環境内の仮想オブジェクトの表現の同時表示を制御する例示的な技法を示す。具体的には、図６Ａは、ユーザ２０２が電子デバイス２００を装着しているところを示し、この電子デバイスは、ユーザ２０２がＣＧＲ環境２９０を見ることを可能にするように構成されている。上述したように、いくつかの実施形態では、電子デバイス２００は、図１Ａ及び１Ｂを参照しながら上述した電子デバイス１００ａと類似していてもよい。
図６Ａに示すように、ＣＧＲ環境２９０は、ディスプレイ６４０を含む。上述したように、ディスプレイ６４０は、物理的ディスプレイであってもよいし、又は、ディスプレイの仮想表現であってもよい。仮想オブジェクト６１０の第１の表現６２０が、電子デバイス２００によって、ＣＧＲ環境の第１の表面に表示されてもよい。例えば、仮想オブジェクト６１０の第１の表現６２０は、ディスプレイ６４０上に表示されてもよい。図６Ａに示す例では、第１の表現６２０は、ディスプレイ６４０上に表示された２Ｄ表現である。実施形態では、第１の表現６２０は、ＣＧＲ環境２９０内の任意の表面（例えば、物理的又は仮想）上に表示されてもよい。第１の表現６２０は、仮想オブジェクトに関連付けられた様々なグラフィック要素を含んでもよい。例えば、図示するように、仮想オブジェクト６１０は計算機アプリケーションに関連付けられており、計算機アプリケーションに関連付けられた様々なグラフィカル要素を含む。計算機アプリケーションを使用して仮想オブジェクト６１０を例示することは、例示の目的で行われ、決して限定を意図するものではないことが理解されるであろう。したがって、仮想オブジェクト６１０は、他のタイプのどのようなアプリケーション（例えば、カレンダー、マルチメディアアプリケーション、プレゼンテーションなど）に関連付けられていてもよい。
いくつかの実施形態では、仮想オブジェクト６１０の第２の表現の表示を要求するためのコントロールが提供されてもよい。あるユーザ（例えば、ユーザ２０２）は、同時表示を要求してもよく、その要求がデバイス２００によって受信されてもよい。仮想オブジェクト６１０の第２の表現の表示を求めるその要求は、仮想オブジェクト６１０の第２の表現を第１の表現６２０と同時に表示することを求める要求を含んでもよい。同時表示を要求するための制御は、選択を（例えば、ユーザ２０２によって）提供するどのような技法を含んでもよい。例えば、いくつかの実施形態では、同時表示を要求するための制御は、ＣＧＲ環境２９０内に提示されるアフォーダンス６１１を含んでもよい。いくつかの実施形態では、アフォーダンス６１１は、第１の表現６２０の内部に提供されてもよいし、又は第１の表現６２０の外部に提供されてもよい。いくつかの実施形態では、アフォーダンス６１１は、ＣＧＲ環境２９０内に表示されて、ユーザ（例えば、ユーザ２０２）による相互作用を可能にするように構成された視覚オブジェクト（例えば、ボタン、アフォーダンス、ユーザインタフェース要素、相互作用型要素など）であってもよい。他の実施形態では、アフォーダンス６１１は、（例えば、仮想要素ではなく）物理的ディスプレイ上に表示されたグラフィック要素であってもよい。
実施形態では、同時表示を要求するための制御は、ディスプレイ６４０から仮想オブジェクト６１０を移動又はドラッグすることを含み得るジェスチャを含んでもよい。例えば、ユーザ２０２は、仮想オブジェクト６１０がディスプレイ６４０からドラッグ又は移動され得るジェスチャを（例えば、外肢、入力センサなどを使用して）行ってもよい。このドラッグジェスチャが、仮想オブジェクト６１０の第２の表現を第１の表現６２０と同時に表示するよう求める要求であると判断されてもよい。いくつかの実施形態では、ユーザ２０２は、仮想オブジェクト６１０をディスプレイ６４０から外へドラッグすることができ、仮想オブジェクト６１０の第２の表現が表示されるべきＣＧＲ環境２９０内の位置まで仮想オブジェクトをドラッグし続けてもよい。
いくつかの実施形態では、仮想オブジェクト６１０の第２の表現は、仮想オブジェクト６１０の表現を同時に表示するよう求める要求を受信したことに応じて、ＣＧＲ環境２９０内に表示されてもよい。実施形態では、仮想オブジェクト６１０の表現を同時に表示するよう求める要求は、第１の表現６２０から仮想オブジェクト６１０の第２の表現が出てくる（例えば、飛び出す）アニメーションを引き起こしてもよい。これを、図６Ｂに示す。
図６Ｃは、仮想オブジェクト６１０の表現を同時に表示する要求を受信したことに応答して、ＣＧＲ環境２９０内に表示された仮想オブジェクト６１０の第２の表現６２１を示す。実施形態では、第２の表現６２１は、ＣＧＲ環境２９０内のどのような表面（例えば、物理的又は仮想）上に表示されてもよい。実施形態では、第２の表現６２１は、第１の表現６２０とは別個であってもよく、かつ／又は異なっていてもよい。例えば、図６Ｃに示すように、第１の表現６２０は、ディスプレイ６４０上に表示された仮想オブジェクト６１０の２Ｄ表現であってもよく、第２の表現６２１は、ディスプレイ６４０の外部の、ＣＧＲ環境２９０の第２の異なる表面に表示された仮想オブジェクト６１０の３Ｄ表現であってもよい。いくつかの実施形態では、あるオブジェクト（例えば、特定のアプリケーション又は特定タイプのアプリケーション（例えば、計算機アプリケーション若しくはキーノートプレゼンテーションアプリケーション、プレゼンテーションアプリケーション、メディア若しくは娯楽アプリケーション、生産性アプリケーション）内のオブジェクト）の２Ｄ表現が、そのオブジェクトの３Ｄ表現と同時に表示されてもよい。いくつかの実施形態では、３Ｄ表現は、その特定のアプリケーション又は特定タイプのアプリケーションの３Ｄ表現を伴って、又は伴わずに表示されてもよい。
いくつかの実施形態では、第１の表現６２０と第２の表現６２１は、同じ仮想オブジェクトに関連付けられていても、異なった、又は同じ機能を提供してもよい。例えば、第１の表現６２０と第２の表現６２１は、共通のＵＩ要素セットを共有してもよい。この例では、第１の表現６２０は、そのアプリケーションとのユーザ相互作用のための特定のＵＩ要素セットを含む、アプリケーション（例えば、計算機）の２Ｄ表現であってもよい。第２の表現６２１は、第１の表現６２０と同じユーザ相互作用のための特定のＵＩ要素セットを含む、アプリケーション（例えば、計算機）の３Ｄ表現であってもよい。ただし、いくつかの実施形態では、第１の表現６２０と第２の表現６２１は、異なるＵＩ要素セットを有してもよい。例えば、第１の表現６２０がある特定のＵＩ要素セットを含んでもよく、第２の表現６２１が異なるＵＩ要素セットを含んでもよい。実施形態では、この異なるＵＩ要素セットのうち１つのＵＩ要素セットは、他方のＵＩ要素セットに含まれない少なくとも１つのＵＩ要素を含んでもよい。他の実施形態では、異なるＵＩ要素セットは、共通のＵＩ要素を有さない。理解されるように、異なる機能を提供することによって、仮想オブジェクトの表現の同時表示は、表現のタイプ（例えば、２Ｄ表現又は３Ｄ表現）に依存する機能に仮想オブジェクトの表現を適応させるようにシステムを構成できるので、改善されたシステムを提供する。
いくつかの実施形態では、仮想オブジェクトの１つの表現は、仮想表現であってもよく、一方で、仮想オブジェクトの別の表現は仮想表現でなくてもよい。例えば、ディスプレイ６４０は、物理ディスプレイであってもよく、第１の表現６２０は、物理的ディスプレイ６４０上に表示された仮想オブジェクト６１０のグラフィック表現であってもよい。この場合、第１の表現６２０は、実際に実世界の中で物理ディスプレイに表示されており、電子デバイス２００の透明又は半透明のディスプレイを介してユーザ２０２によって知覚されるという点において、第１の表現６２０は、仮想表現でなくてもよい。この例では、第２の表現６２１は、実際に実世界の中で物理的ディスプレイに表示されているのではなく、電子デバイス２００のディスプレイ上に表示され、実在の物理的ディスプレイ上に重ねられているという点において、第２の表現６２１は、仮想オブジェクト６１０の仮想表現であってもよい。このようにして、仮想オブジェクトの３Ｄ表現の表示を、同じ仮想オブジェクトの２Ｄ表現内に提供された制御と相互作用することによって要求する能力が、ユーザに提供されてもよい。いくつかの実施形態では、第１の表現６２０及び第２の表現６２１は、どちらも仮想表現であってもよい。
実施形態では、仮想オブジェクトの１つの表現に対する変更によって、仮想オブジェクトの別の表現への変更が選択的に引き起こされてもよい。例えば、第１の表現６２０と第２の表現６２１とが同時に表示されているときに、第１の表現６２０を変更するよう求める要求が受信されてもよい。実施形態では、例えば、サイズ、ＵＩ要素、形状、テーマなどを変更するために第１の表現６２０を変更するよう求める要求が（例えば、ユーザ２０２から）受信されてもよい。実施形態では、第１の表現６２０を変更するよう求める要求（例えば、ユーザ入力）は、第２の表現６２１に対応する変更（例えば、サイズ、ＵＩ要素、形状、テーマなど）が引き起こされてもよい。実施態様では、第１の表現６２０及び第２の表現６２１の両方が変更の要求に従って変更されてもよい。いくつかの実施形態では、第１の表現６２１への変更が要求されるたびに、対応する変更が第２の表現６２１に行われる。他の実施形態では、第１の表現６２１を変更するよう求める第１の要求により、第２の表現６２１に、対応する変更が引き起こされてもよい。ただし、第１の表現６２１を変更するための第２の要求により、対応する変更が第２の表現６２１に引き起こされなくてもよい。この場合、第２の要求を受信して第１の表現６２０を変更するときに、第２の表現６２１に対する変更は取りやめられる。前述の考察では、第１の表現６２０を変更するよう求める要求に基づいて第２の表現６２１を選択的に変更することを説明したが、これは例示を目的とし、決して限定するものではないことに留意されたい。よって、同じ技法を使用して、第２の表現６２１を変更するよう求める要求に基づいて第１の表現６２０を選択的に変更してもよい。
図７は、ＣＧＲ環境内の仮想オブジェクトの表現の同時表示を制御する方法７００を示すフロー図である。いくつかの実施形態では、方法７００は、システム１００又はシステム１００の一部によって行われてもよい。いくつかの実施形態では、方法７００は、１つ以上の外部システム及び／又はデバイスによって行われてもよい。いくつかの実施形態では、方法７００は、システム１００（又はシステム１００の一部）によって、１つ以上の外部システム及び／又はデバイスと協力して行われてもよい。
ブロック７０２で、システムは、電子デバイス（例えば、ウェアラブル電子デバイス、ＨＭＤデバイスなど）のディスプレイを介して、ＣＧＲ環境の第１の表面（及び／又は位置）に仮想オブジェクトの２Ｄ表現を表示する。例えば、仮想オブジェクトの第１の表現は、電子デバイスの第１のディスプレイ（例えば、左アイディスプレイパネル）又は第２のディスプレイ（例えば、第２のアイディスプレイパネル）を介して、ＣＧＲ環境内のディスプレイの表現の上に表示されてもよい。いくつかの実施形態では、第１の表面は、ＣＧＲ環境内の仮想表面であってもよい。例えば、第１の表面は、物理的ディスプレイの仮想表現であってもよい。他の実施形態では、第１の表面は、ＣＧＲ環境の実世界の物理表面であってもよい。例えば、第１の表面は、物理的ディスプレイの表面であってもよい。仮想オブジェクトの２Ｄ表現は、仮想表現（例えば、電子デバイスの半透明ディスプレイを介して第１の表面上に重ねられた仮想表現）であってもよく、又は実世界のグラフィック表現（例えば、実世界の物理ディスプレイ上に表示された実世界のグラフィック表現）であってもよい。
いくつかの実施形態では、仮想オブジェクトの２Ｄ表現は、仮想オブジェクトとのユーザ相互作用のためのＵＩ要素のセットを含み得る。実施形態では、仮想オブジェクトの２Ｄ表現はまた、仮想オブジェクトの第２の表現の同時表示を要求するための少なくとも１つの制御を含んでもよい。
ブロック７０４で、システムは、仮想オブジェクトの３Ｄ表現を２Ｄ表現と同時に表示するよう求める要求を受信する。実施形態では、同時に表示するよう求める要求は、ユーザ入力を含んでもよい。この要求は、２Ｄ表現と共に（例えば、２Ｄ表現の内部又は２Ｄ表現の外部に）表示される制御要素（例えば、ボタン、アフォーダンス、ユーザインタフェース要素、相互作用型要素など）を使用して、ユーザによって入力されてもよい。例えば、ユーザは、制御要素を選択することができ、選択によって、同時表示の要求をシステムによって受信させることができる。
いくつかの実施形態では、２Ｄ表現と３Ｄ表現を同時に表示するよう求める要求は、２Ｄ表現を第１の表面から外へ、若しくは第１の表面から移動又はドラッグするジェスチャを含んでもよい。例えば、ユーザ２０２は、第１の表面に表示された２Ｄ表現を（例えば、外肢、入力デバイス、入力センサなどを使用して）掴むか、クリックするか、及び／又はそれ以外の方法で選択してもよく、その２Ｄ表現を第１の表面から離れる方向に移動又はドラッグしてもよい。一部の態様では、ドラッグジェスチャは、同時表示の要求であると判断されてもよい。
実施形態では、仮想オブジェクトの３Ｄ表現を２Ｄ表現と同時に表示するよう求める要求は、２Ｄ表現から３Ｄ表現が出てくる（又は飛び出す）ように構成されたアニメーションの再生を引き起こしてもよい。実施形態では、アニメーションは、アニメーション中に再生され得る音を含んでもよい。
ブロック７０６で、同時表示の要求に応答して、システムは、電子デバイスのディスプレイを介して、ＣＧＲ環境の第１の表面には２Ｄ表現、第２の表面には３Ｄ表現を、同時に表示する。実施形態では、第２の表面は、第１の表面と異なっていてもよい。実施形態では、第２の表面は、仮想表面であってもよく、又はＣＧＲ環境内の実世界の物理表面であってもよい。例えば、第２の表面は、物理的な実世界の机の表面であってもよく、又は物理的な机の表面の仮想表現であってもよい。
実施形態では、３Ｄ表現が表示され得る第２の表面は、ユーザ入力によって判断されてもよい。例えば、ユーザは、２Ｄ表現を第１の表面からドラッグし、第２の表面までドラッグし続けてもよい。このようにして、ＣＧＲ環境内の、ドラッグジェスチャが停止するどのような表面にも、３Ｄ表現が表示されてもよい。他の実装では、例えば、同時表示を要求するために２Ｄ表現内の制御要素が使用される場合、第２の表面は既定であってもよい。いくつかの実装では、ユーザは、同時表示を要求する前に、３Ｄ表現が表示されるべき表面を指示することができる。例えば、ユーザは、まず、第１の表面以外のＣＧＲ環境内の表面を、（例えば、ユーザ入力（例えば、マウス、スタイラス、タッチ感応面、画像センサ（例えば、ハンドトラッキングを行うため）などを含み得る入力センサを使用して検出されるユーザ入力を介して）指示してもよい。同時表示を要求すると、ユーザによって指示された表面に３Ｄ表現が表示されてもよい。
いくつかの実施形態では、仮想オブジェクトの３Ｄ表現は、ＵＩ要素のセットを含んでもよい。実施形態では、３Ｄ表現のＵＩ要素セットは、２Ｄ表現のＵＩ要素セットとは異なっていてもよい。例えば、１つのＵＩ要素セットは、他のＵＩ要素セットに含まれないＵＩ要素を含んでもよい。
本開示の様々な態様は、入力機構の特性に基づいて仮想オブジェクトの表現を制御する機能を提供するシステム及び技法に向けられている。実施形態では、仮想オブジェクトの表現は、その仮想オブジェクトに関する入力機構の特性（例えば、入力機構の動きの方向、距離、ジェスチャタイプなど）に基づいてもよい。例えば、実施形態では、仮想オブジェクトの表現は、その仮想オブジェクトに関連付けられた入力機構がその仮想オブジェクトの第１の表現から既定の距離内にあるかどうかに応じて変更又は維持されてもよい。他の実施形態では、例えば、仮想オブジェクトの表現が、その仮想オブジェクトに関連付けられた入力機構がその仮想オブジェクトの第１の表現に向かって移動すると判断されるか、又はそれから離れて移動すると判断されるかに応じて変更又は維持されてもよい。更に他の実施形態では、例えば、仮想オブジェクトの表現は、入力機構に関連付けられたジェスチャが、その仮想オブジェクトの第１の表現とのユーザによる相互作用の可能性を示していると判断されるか否かに応じて変更又は維持されてもよい。理解されるように、本明細書に記載されるシステム及び技法によって提供される機能は、仮想オブジェクトの表現が入力機構の特性に適合され得る、有利なシステムを提供し、それによって改善されたユーザインタフェースを提供する。
図８Ａ及び図８Ｂは、本開示の態様による、入力機構の特性に基づいてＣＧＲ環境内の仮想オブジェクトの表現を制御する例示的な技法を示す。具体的には、図８Ａは、入力機構８００及び仮想オブジェクト８１０を含むＣＧＲ環境８９０を示す。実施形態では、ＣＧＲ環境８９０は、ユーザ２０２がＣＧＲ環境８９０を見ることを可能にするように構成された電子デバイス（例えば、電子デバイス２００）を装着しているユーザ（例えば、ユーザ２０２）に提示されてもよい。上述したように、いくつかの実施形態では、電子デバイス２００は、図１Ａ及び１Ｂを参照しながら上述した電子デバイス１００ａと類似していてもよい。
図８Ａに示すように、仮想オブジェクトの第１の表現８１０が電子デバイス２００によって表示されてもよい。実施形態では、第１の表現８１０は仮想オブジェクトの３Ｄ表現であってもよく、仮想オブジェクトは特定のアプリケーションに関連付けられていてもよい。例えば、図８Ａに示すように、第１の表現８１０は、計算機アプリケーションに関連付けられていてもよい。特定のアプリケーション（例えば、計算機アプリケーション）を使用して仮想オブジェクトの第１の表現８１０及び他の表現を例示することは、例示の目的で行われ、決して限定を意図するものではないことが理解されるであろう。したがって、第１の表現８１０は、どのようなアプリケーション（例えば、カレンダー、マルチメディアアプリケーション、プレゼンテーションなど）に関連付けられていてもよい。
実施形態では、第１の表現８１０は、ユーザと第１の表現８１０との間の非直接相互作用を円滑にするように構成されてもよい。本明細書で使用するとき、非直接相互作用とは、仮想オブジェクトの表現の要素を直接操作しない、仮想オブジェクトの表現とのユーザ相互作用を指してもよい。非直接相互作用の非限定的な例として、ユーザインタフェース（user interface、ＵＩ）要素によって提供される仮想オブジェクトの表現の情報を、ユーザによる直接的なＵＩ要素の操作なしでユーザが知覚することがあり得る。対照的に、本明細書で使用するとき、直接相互作用とは、仮想オブジェクト表現の表現のＵＩ要素がユーザによって直接操作され得る、仮想オブジェクトの表現とのユーザ相互作用を指してもよい。例えば、ユーザはボタンを押してもよく、相互作用型要素と相互作用してもよく、選択可能な項目及び／又はアフォーダンスなどをクリックしてもよい。
第１の表現８１０は、ＵＩ要素８１１及び８１５を含んでもよい。実施形態では、ＵＩ要素８１５は、第１の表現８１０によって表される仮想オブジェクトに関連付けられた情報を提供する（例えば、出力する）ように構成された、少なくとも１つのＵＩ要素を表してもよい。例えば、ＵＩ要素８１５は、第１の表現８１０のディスプレイであってもよい。したがって、ＵＩ要素８１５は、ＵＩ要素８１５を直接操作することなく、ユーザが出力を知覚し得るように、非直接相互作用のために構成されていてもよい。ＵＩ要素８１１は、ユーザ相互作用（例えば、直接相互作用又は非直接相互作用）を円滑にするような構成に構成可能であり得る、少なくとも１つのＵＩ要素を表すことができる。例えば、ＵＩ要素８１１は、ボタン、アフォーダンス、ユーザインタフェース要素、相互作用要素など、及び／又はこれらのどのような組み合わせであってもよい。ＵＩ要素８１１が直接相互作用を円滑にするように構成されている場合、ユーザは、ＵＩ要素８１１を選択、クリック、選択、及び／又はそれ以外の方法で操作してもよい。いくつかの実施形態では、ＵＩ要素８１１は、ＵＩ要素を３Ｄ要素として表示することによって、非直接相互作用を円滑にするように構成されていてもよい。この場合、ユーザは、ＵＩ要素８１１を３Ｄ要素として知覚してもよい。
実施形態では、入力機構８００は、仮想オブジェクトの表現との相互作用を円滑にするように構成された機構を含んでもよい。例えば、入力機構は、ユーザ（例えば、ユーザ２０２）が仮想オブジェクトの表現の少なくとも１つの要素を操作するため、又は仮想オブジェクトの表現の要素によって提供されるデータを知覚するための機構を含んでもよい。実施形態では、入力機構８００は、ユーザの外肢（例えば、指、手、脚、足など）、ユーザの視線（例えば、ヘッドゲイズ、アイゲイズなど）、（当該電子デバイスと異なる、当該電子デバイスと動作可能に通信状態にある、当該電子デバイス（又は、例えば、その一部）に物理的に接続された）入力デバイス（例えば、マウス、スタイラスなど）などの表現を含み得る。いくつかの実施形態では、ユーザの外肢の表現は外肢の仮想表現を含んでもよく、かつ／又は、ＣＧＲ環境内での外肢の特性（例えば、位置、配向、特定の点までの距離など）を表すデータを含んでもよい。実施態様では、入力機構８００は、ハンドトラッキング、ヘッドゲイズトラッキング、アイゲイズトラッキング、フィンガートラッキングなどを行うように構成された入力センサ（例えば、タッチ感応面、画像センサなど）を使用して検出されてもよい。図８Ａに示すように、入力機構８００はユーザの外肢（例えば、指）を含んでもよい。
図８Ａに示し、また上述したように、第１の表現８１０は、ＣＧＲ環境８９０内に表示されてもよく、第１の表現８１０は、直接相互作用ではなく、ユーザによる非直接相互作用を円滑にするように構成されていてもよい（例えば、非直接相互作用のために構成されているＵＩ要素８１１及び８１５を提供することによって）。図８Ａに更に示すように、入力機構８００は、第１の表現８１０から距離８３１にある現在の位置にあってもよい。いくつかの実施形態では、第１の表現８１０からの既定の距離８３０が提供されてもよいが、いくつかの実装では、ＣＧＲ環境８９０内に既定の距離８３０は示されなくてもよい。既定の距離８３０は閾値として、入力機構の現在の位置が第１の表現８１０から既定の距離８３０内にないときに第１の表現８１０の表示が維持され得るように動作するように構成されてもよい。例えば、距離８３１が既定の距離８３０よりも長いと判断され得るために、入力機構８００の現在の位置が第１の表現８１０から既定の距離８３０内にないと判断されてもよい。
実施形態では、第１の表現８１０の表示が変更されるか又は維持されるかは、入力機構８００の特性に基づいてもよい。いくつかの実施形態では、入力機構８００の特性は、動きの方向、仮想オブジェクトの表現までの距離、ジェスチャタイプなどを含んでもよい。入力機構８００の現在の位置が第１の表現８１０から既定の距離８３０内にないとの判断に従って、仮想オブジェクトの別の表現を表示せずに、第１の表現８１０の表示が維持されてもよい。逆に、後述するように、また、図８Ｂに示す例で説明するように、入力機構８００の現在の位置が第１の表現８１０から既定の距離８３０内にあるとの判断に従って、第１の表現８１０の表示が変更されてもよく、また、仮想オブジェクトの第２の表現が表示されてもよい。実施態様では、仮想オブジェクトの第２の表現は、第１の表現８１０と異なっていてもよい。
一部の実施形態では、入力機構８００の位置が第１の表現８１０から既定の距離８３０内にあるかの判断は、入力機構８００の動きの検出に応答して行われてもよい。これらの場合、入力機構８００の動きが検出されない場合、入力機構８００の位置が第１の表現８１０から既定の距離８３０内にあるかの判断は行われなくてもよい。いくつかの実施形態では、入力機構８００の位置が第１の表現８１０から既定の距離８３０内にあるかの判断は、検出された動きが第１の表現８１０に向かっていると判断されたときに行われてもよい。これらの場合、入力機構８００の動きが検出されても、入力機構８００の動きが第１の表現８１０から離れる方向にあると判断されたときには、入力機構８００の位置が第１の表現８１０から既定の距離８３０内にあるかの判断は行われなくてもよい。
いくつかの実装では、入力機構８００が第１の表現８１０が表示される位置から既定の距離８３０内にないとの判断に応答して、最初に第１の表現８１０がＣＧＲ環境８９０内に表示されてもよい。例えば、最初にＣＧＲ環境８９０内の第１の位置に仮想オブジェクトの表現を表示すると判断されてもよい。この例では、仮想オブジェクトの第１の表現は、非直接相互作用のために構成されてもよい。更に、この例では、ＣＧＲ環境８９０は、第１の位置に仮想オブジェクトの表現を一切含まなくてもよいが、いくつかの例では、ＣＧＲ環境８９０内の別の位置に仮想オブジェクトの少なくとも１つの他の表現が表示されてもよい。最初にＣＧＲ環境８９０内の第１の位置に仮想オブジェクトの表現を表示するとの判断に応答して、入力機構８００の現在の位置が第１の位置から既定の距離８３０内にあるか判断されてもよい。入力機構８００の現在の位置が第１の位置から既定の距離８３０内にないと判断された場合、第１の位置に第１の表現（例えば、第１の表現８１０）が表示されてもよい。いくつかの実施形態では、入力機構８００の現在の位置が第１の位置から既定の距離８３０内にあると判断された場合、第１の位置に、直接相互作用のために構成された第２の表現（例えば、以下で説明する第２の表現８２０）が表示されてもよい。
図８Ｂに示すように、入力機構８００は、以前の位置（例えば、図８Ａに示す）から、第１の表現８１０までの距離８３２にある現在の位置まで移動（例えば、方向８３３に）されてもよい。以前の位置から現在の位置への動きは、（例えば、上述したとおりの入力センサを使用して）検出されてもよい。以前の位置から現在の位置への入力機構８００の動きの検出に応答して、入力機構８００の現在の位置から第１の表現８１０までが既定の距離８３０以内であり得るか判断されてもよい。例えば、入力機構８００の現在の位置から第１の表現８１０までの距離８３２が、既定の距離８３０と比較されてもよい。距離８３２が既定の距離８３０より長いとの判断に従って、入力機構８００の現在の位置は、第１の表現８１０から既定の距離８３０内にないと判断されてもよい。逆に、距離８３２が既定の距離８３０以下であるとの判断に従って、入力機構８００の現在の位置は、第１の表現８１０から既定の距離８３０内にあると判断されてもよい。
実施形態では、入力機構８００の現在の位置が第１の表現８１０から既定の距離８３０内にあるとの判断に従って、第１の表現８１０の表示が変更されてもよい。実施形態では、第１の表現８１０の表示を変更することは、第１の表現８１０の表示を中止して、第２の表現８２０を表示することを含んでもよく、第２の表現８２０は、第１の表現８１０と異なっていてもよい。いくつかの実施形態では、第２の表現８２０は、第１の表現８１０が表示されたのと同じ位置及び／又は同じ表面上に表示されてもよい。
実施形態では、第２の表現８２０は、ユーザ（例えば、ユーザ２０２）と第２の表現８２０（例えば、第２の表現８２０の要素）の間の直接相互作用のために構成されてもよい。例えば、第１の表現８１０は、図８Ａに示すように、非直接相互作用のために構成されたＵＩ要素８１１（例えば、突出した３ＤのＵＩ要素として表示されるＵＩ要素）を含み、第２の表現８２０は直接相互作用のために構成されたＵＩ要素８２１を含んでもよい。この例では、ＵＩ要素８２１は、平坦なボタンとして又は２Ｄ要素として表示される少なくとも１つのＵＩ要素を含んでもよく、平坦なボタンは第２の表現８２０から突出していなくてもよい。理解されるように、物理的なテーブル上（例えば、物理的なテーブルと同じ平面上）に表示された平坦な２ＤのＵＩ要素（例えば、２Ｄボタン）は、ユーザがその２Ｄ要素を操作するときに、物理的フィードバックを提供する傾向がより高くなり得る。例えば、ユーザが２Ｄ要素を操作すると、ユーザは、仮想の２Ｄ要素Ｉが表示された物理テーブルによって提供されるフィードバックを受ける。加えて、直接相互作用のために構成された第２の表現８２０を表示することによって、ユーザ（例えば、ユーザ２０２）に第２の表現８２０との相互作用を促すこともできる。
いくつかの実施形態では、第２の表現８２０を表示することを含み得る第１の表現８１０を変更することは、変更をアニメーション化することを含んでもよい。例えば、第１の表現８１０と第２の表現８２０との違いの１つは、第１の表現８１０のＵＩ要素８１１が突出した３ＤのＵＩ要素として表示され、第２の表現８２０のＵＩ要素８２１が平坦な２ＤのＵＩ要素として表示されることであってもよい。この例では、第１の表現８１０の変更には、第１の表現８１０の突出した３ＤのＵＩ要素が第２の表現８２０の平坦な２ＤのＵＩ要素の中に引っ込んでゆくように表現されるように、ＵＩ要素をアニメーション化することが含まれてもよい。実施形態では、アニメーションはまた、アニメーションが起こっている間に再生されてもよい音を含んでもよい。
別の実施形態では、仮想オブジェクトの第１の表現を変更することは、第１の表現をユーザ（例えば、ユーザ２０２）により近い位置に移動することを含んでもよい。例えば、入力機構８００の特性（例えば、入力機構８００の現在の位置が第１の表現（例えば、第１の表現８１０）の現在の位置から既定の距離（例えば、既定の距離８３０）内にあること）に基づいて、仮想オブジェクトの第２の表現が表示されてもよい。実施形態では、仮想オブジェクトの第２の表現は第１の表現と同じであってもよいが、第１の表現の現在の位置よりもユーザに近い位置にあってもよい。いくつかの実施形態では、新しい位置に表示される第２の表現は、例えば、上記の説明に従って、第１の表現の異なる表現であってもよい。
更なる実施形態では、第１の表現８１０を変更するか又は維持するかの判断の根拠となり得る入力機構の特性には、入力機構８００の動きの方向が第１の表現８１０に向かう方向か、又は第１の表現８１０から離れる方向かの判断を含んでもよい。例えば、図８Ｂに示すように、入力機構８００は、第１の表現８１０に向かう方向である方向８３３で移動されてもよい。この場合、入力機構８００の動きの方向が第１の表現８１０に向かう方向であるとの判断に従って、第１の表現８１０の表示が変更されてもよく、仮想オブジェクトの第２の表現（例えば、ユーザによる直接相互作用を円滑にするように構成された第２の表現８２０）が表示されてもよい。逆に、入力機構８００の動きの方向が第１の表現８１０から離れる方向であるとの判断に従って、仮想オブジェクトの別の表現（例えば、第２の表現８２０）を表示せずに、第１の表現８１０の表示が維持されてもよい。実施態様では、仮想オブジェクトの第２の表現は、第１の表現８１０と異なっていてもよい。
なお更なる実施形態では、第１の表現８１０を変更するか又は維持するかの判断は、入力機構８００によって特定のタイプのジェスチャが行われたかの判断を含んでもよい。実施態様では、特定のタイプのジェスチャは、直接的なユーザ相互作用の可能性を示し得るジェスチャであってもよい。例えば、図８Ｂに示すように、入力機構８００は、指をさしている形の手であってもよい。実施形態では、指をさしている形の手は、ユーザ相互作用の可能性を示すタイプのジェスチャと考えられてもよい。理解されるように、ユーザ入力用のＵＩ要素で表される仮想オブジェクトなどの仮想オブジェクトと指を使って相互作用したいと望むユーザは、自分の手を、指を突き出した、指さしの形にすることによって、それを行ってもよい。この意味で、指をさしている形の手は、ユーザが仮想オブジェクトと相互作用しようとしているか、したいと望んでいること示し得る。したがって、ユーザ相互作用の可能性を示すジェスチャ（例えば、指をさしている形の手、掴んだ形の手）を入力機構が行ったと判断されると、非直接相互作用のために構成された現在の表現（例えば、第１の表現８１０）を直接相互作用のために構成された表現（例えば、第２の表現８２０）に変更するとの判断が行われてもよい。実施態様では、非直接相互作用のために構成された現在の表現を直接相互作用のために構成された表現に変更することは、前述の説明に従っていてもよい。
別の例では、非直接相互作用のために構成された第１の表現８１０の表示を維持するとの判断は、ユーザ相互作用の可能性を示さないジェスチャに基づいてもよい。例えば、ユーザ（例えば、ユーザ２０２）が自分の腕を交差させ、かつ／又は後ろにもたれることを含み得るジェスチャが検出されてもよい。この場合、ジェスチャは、ユーザ相互作用の可能性を示さないタイプのジェスチャと考えられてもよい。このように、ユーザが自分の腕を交差させており、かつ／又は後ろにもたれていると判断されると、直接相互作用のために構成された表現（例えば、第２の表現８２０）を表示せずに、非直接相互作用のために構成された現在の表現（例えば、第１の表現８１０）を維持するとの判断が行われてもよい。いくつかの実施形態では、ユーザ相互作用の可能性を示さないジェスチャを検出したことにより、直接相互作用のために構成された現在の表現（例えば、第２の表現８２０）を、非直接相互作用のために構成された表現（例えば、第１の表現８１０）に変更するとの判断が引き起こされてもよい。
前述の例及び以下の例では、非直接相互作用のために構成された仮想オブジェクトの表現を直接相互作用のために構成された仮想オブジェクトの表現に変更することの説明に焦点が当てられていることがあるが、これは、例示の目的で行われ、決して限定することを意図するものではないことに留意されたい。いくつかの実施形態では、直接相互作用のために構成された仮想オブジェクトの表現が、入力機構の特性に基づいて、非直接相互作用のために構成された仮想オブジェクトの表現に変更されてもよい。例えば、いくつかの実装では、入力機構の特性に基づいて（例えば、入力機構の位置が直接相互作用のために構成された表現（例えば、第１の表現８１０）から既定の距離内にないとの判断に従って）、入力機構の検出された動きに基づいて、直接相互作用のために構成された表現（例えば、上述の第１の表現８１０）の表示が変更されて、非直接相互作用のために構成された表現（例えば、上述の第２の表現８２０）が表示されてもよい。したがって、本開示は、仮想オブジェクト強化型相互作用（例えば、直接又は非直接）の表現を、入力機構の特性に基づいて、選択的かつ動的に構成する技法を提供する。よって、入力機構の特性に基づいて、より有利である場合には、仮想オブジェクトの表現は、直接又は非直接相互作用のために構成されてもよい。
更に、前述の説明では平坦な２ＤのＵＩ要素との直接相互作用のために構成された第２の表現８２０について記載したが、これは例示の目的で行われ、決して限定ではないことが理解されるであろう。理解されるように、仮想オブジェクトの表現は、他の方法（例えば、配向、サイズ、角度、形状、色、輝度、言語、位置、距離、方向など）による直接相互作用のために構成されてもよい。例えば、実施形態では、入力機構の特性に基づいて（例えば、入力機構の現在の位置が仮想オブジェクトの第１の表現から既定の距離内にあるとの判断に従って）、第１の表現の表示が変更されてもよく、その変更は、第１の表現と異なる第２の表現を表示することを含んでもよい。これらの実施形態では、第２の表現は、第１の表現と異なる配向、サイズ、角度、形状、色、輝度、言語、位置、距離、方向などを含んでもよく、変更は、仮想オブジェクトの第２の表現との直接相互作用を許可、奨励、有効化、及び／又はそれ以外の方法で円滑にするように構成されてもよい。これらの実施形態のいくつかについて、以下でより詳細に説明する。
図９Ａ及び図９Ｂは、本開示の態様による、入力機構の特性に基づいて、ＣＧＲ環境内の仮想オブジェクトの表現を制御する技法の別の例を示す。図９Ａに示すように、仮想オブジェクトの第１の表現９１０が電子デバイス２００のディスプレイを介して表示されてもよい。実施形態では、第１の表現９１０は仮想オブジェクトの３Ｄ表現であってもよく、仮想オブジェクトは、上述したように、特定のアプリケーション（例えば、カレンダー、マルチメディアアプリケーション、プレゼンテーションなど）に関連付けられていてもよい。図９Ａに示す例では、第１の表現９１０は、計算機アプリケーションに関連付けられていてもよい。
実施形態では、第１の表現９１０は、関連付けられている仮想オブジェクトとの非直接相互作用を円滑にするように構成されていてもよい。例えば、第１の表現９１０は、ＵＩ要素９１１及び９１５を含んでもよい。実施形態では、ＵＩ要素９１５は、第１の表現９１０によって表される仮想オブジェクトに関連付けられた情報を提供する（例えば、出力する）ように構成された、少なくとも１つのＵＩ要素を表してもよい。例えば、ＵＩ要素９１５は、第１の表現９１０のディスプレイ（例えば、仮想ディスプレイ）であってもよい。この場合、第１の表現９１０は、ユーザ（例えば、ユーザ２０２）のＵＩ要素９１５との非直接相互作用を円滑にする配向で表示されることによって、ユーザによる非直接相互作用を円滑にするように構成されてもよい。例えば、第１の表現９１０は、角度９１２を含む配向で表示されてもよい。実施形態では、角度９１２は、ユーザがＵＩ要素９１５を見る、聞く、又はそれ以外の方法で知覚することを可能にする配向で第１の表現９１０を配置するように構成された角度であってもよい。このようにして、角度９１２は、ユーザのＵＩ要素９１５との非直接相互作用を円滑にする。実施形態では、角度９１２は、第１の表現９１０が表示される表面（例えば、表面９１６）に対して測定されてもよい。
実施形態では、第１の表現９１０が表示され得る配向は、ユーザの位置に基づいて判断されてもよい。例えば、ユーザの視線（例えば、ヘッドゲイズ、アイゲイズなど）が、（例えば、ユーザの頭部及び／又は目の位置を検出し、次いでユーザの視線を判断することによって）判断されてもよく、次いで、判断されたユーザの視線を使用して、非直接相互作用のために構成されたＵＩ要素（例えば、ＵＩ要素９１５）がユーザの視線に対面するように、第１の表現９１０を表示する配向が判断されてもよい。
実施形態では、第１の表現９１０のＵＩ要素９１１は、非直接相互作用のために構成されてもよい。この場合、ＵＩ要素８１１は、突出したボタンとして、又は３Ｄ要素として表示されてもよく、平坦なボタンは第１の表現９１０から突出していなくてもよい。このように、図９Ａに示すように、ＵＩ要素９１１は、直接相互作用のために構成されているのではない。
図９Ａに示し、また上述したように、第１の表現９１０は、直接相互作用（例えば、突出した３ＤのＵＩ要素９１１を提供し、第１の表現９１０を角度９１２で配向付けすることによる）ではなく、ユーザによる非直接相互作用を円滑にするように構成されてもよい。図９Ａに更に示すように、入力機構８００は、第１の表現９１０から距離９３１にある現在の位置にあってもよい。いくつかの実施形態では、第１の表現９１０からの既定の距離９３０が提供されてもよい。
実施形態では、入力機構８００の現在の位置が第１の表現９１０から既定の距離９３０内にないとの判断に従って、第１の表現９１０の表示が維持されてもよい。例えば、仮想オブジェクトの別の表現を表示することなく、かつ／又は第１の表現９１０への変更を行うことなく、非直接相互作用のために構成された第１の表現９１０が引き続き表示されてもよい。逆に、後述するように、入力機構８００の現在の位置が第１の表現９１０から既定の距離９３０内にあるとの判断に従って、第１の表現９１０の表示が変更されてもよく、また、仮想オブジェクトの第２の表現が表示されてもよい。実施態様では、仮想オブジェクトの第２の表現は、第１の表現９１０と異なっていてもよい。
図９Ｂに示すように、入力機構８００は、以前の位置（例えば、図９Ａに示す）から、例えば、方向９３３に、第１の表現９１０までの距離９３２にある現在の位置まで移動されてもよい。以前の位置から現在の位置への動きは、（例えば、上述したとおりの入力センサを使用して）検出されてもよい。以前の位置から現在の位置への入力機構８００の動きの検出に応答して、入力機構８００の現在の位置から第１の表現９１０までが既定の距離９３０以内であり得るか判断されてもよい。例えば、入力機構８００の現在の位置から第１の表現９１０までの距離９３２が、既定の距離９３０と比較されてもよい。距離９３２が既定の距離９３０より長いとの判断に従って、入力機構８００の現在の位置は、第１の表現９１０から既定の距離９３０内にないと判断されてもよい。逆に、距離９３２が既定の距離９３０以下であるとの判断に従って、入力機構８００の現在の位置は、第１の表現９１０から既定の距離９３０内にあると判断されてもよい。
実施形態では、入力機構８００の現在の位置が第１の表現９１０から既定の距離９３０内にあるとの判断に従って、第１の表現９１０の表示が変更されてもよい。実施形態では、第１の表現９１０の表示を変更することは、第１の表現９１０の表示を中止して、第２の表現９２０を表示することを含んでもよく、第２の表現９２０は、第１の表現９１０と異なっていてもよい。いくつかの実施形態では、第２の表現９２０は、第１の表現９１０が表示されたのと同じ位置及び／又は同じ表面上に表示されてもよい。
実施形態では、第２の表現９２０は、関連付けられている仮想オブジェクトとのユーザ（例えば、ユーザ２０２）による直接相互作用を円滑にするように構成されてもよい。例えば、第１の表現９１０は、ＵＩ要素９１５によって（例えば、非直接相互作用）提供される情報をユーザが知覚（例えば、見る、聞くなど）できるように円滑化する角度９１２を有する配向で表示され、第２の表現９２０は、ユーザが第２の表現９２０のＵＩ要素（例えば、ＵＩ要素９２１）と直接相互作用する（例えば、直接操作、選択、クリック、ドラッグ、及び／又はそれ以外の方法で選択する）ことを円滑化する配向で表示されてもよい。例えば、第２の表現９２０は、表面９１６に対し長手方向の配向でＣＧＲ環境８９０内に表示されてもよい。したがって、第２の表現９２０は、表面９１６上に平らに置かれるように表示されてもよい。理解されるように、平坦な表面は、傾いた表面との相互作用よりも簡単であり得る。したがって、仮想オブジェクトの表現を傾いた配向から平坦な配向に、又はその逆に変更することによって、入力機構の特性に基づいて、仮想オブジェクトの表現は、直接相互作用を向上するために選択的に適合される。いくつかの実施形態では、第２の表現９２０は、角度９１２とは異なる表面９１６に対してゼロではない角度を有する配向で表示されてもよい。
加えて、第１の表現９１０は、図９Ａに示すように、非直接相互作用のために構成されたＵＩ要素９１１（例えば、突出した３ＤのＵＩ要素として表示されるＵＩ要素であって、突出した３ＤのＵＩ要素は第１の表現９１０から突出し（又は、飛び出し）てもよい）を含み、第２の表現９２０は、前述したように、直接相互作用のために構成されたＵＩ要素９２１を含んでもよい。例えば、ＵＩ要素９２１は、物理的オブジェクト上に表示される平坦な２ＤのＵＩ要素として表示される少なくとも１つのＵＩ要素を含んでもよく、これにより、ユーザが２ＤのＵＩ要素を操作する際の物理的フィードバックが円滑になる。
いくつかの実施形態では、第２の表現９２０を表示することを含み得る第１の表現９１０を変更することは、変更をアニメーション化することを含んでもよい。例えば、第１の表現９１０の変更には、第１の表現９１０が現在の配向（例えば、角度９１２で傾いている）から第２の表現９２０の配向（例えば、表面９１６上で平坦）に移動するように、第１の表現９１０の配向の変化をアニメーション化することが含まれてもよい。加えて、又は代替的に、第１の表現９１０の変更には、第１の表現９１０の突出した３ＤのＵＩ要素が第２の表現９２０の平坦な２ＤのＵＩ要素の中に引っ込んでゆくように表現されるように、ＵＩ要素をアニメーション化することが含まれてもよい。実施形態では、アニメーションはまた、アニメーションが起こっている間に再生されてもよい音を含んでもよい。
図１０Ａ及び図１０Ｂは、本開示の態様による、入力機構の特性に基づいて、ＣＧＲ環境内の仮想オブジェクトの表現を制御する技法の別の例を示す。具体的には、図１０Ａ及び１０Ｂは、入力機構の特性に基づいて仮想オブジェクトの表現が変更され、その変更に、ユーザ相互作用のためのＵＩ要素を追加すること及び表現のサイズを変更することが含まれる例を示す。
図１０Ａに示すように、仮想オブジェクトの第１の表現１０１０が電子デバイス２００のディスプレイを介して表示されてもよい。実施形態では、第１の表現１０１０は、仮想オブジェクトの３Ｄ表現であってもよく、仮想オブジェクトは、上述したように、特定のアプリケーション（例えば、カレンダー、マルチメディアアプリケーション、プレゼンテーションなど）に関連付けられていてもよい。図１０Ａに示す例では、第１の表現１０１０は、計算機アプリケーションに関連付けられていてもよい。
実施形態では、第１の表現１０１０は、関連付けられている仮想オブジェクトとの非直接相互作用を円滑にするように構成されていてもよい。例えば、第１の表現９１０は、ＵＩ要素１０１２を含んでもよい。ＵＩ要素１０１２は、第１の表現１０１０によって表される仮想オブジェクトに関連付けられた情報を提供する（例えば、出力する）ように構成された、少なくとも１つのＵＩ要素を表してもよい。例えば、ＵＩ要素１０１２は、第１の表現１０１０のディスプレイ（例えば、仮想ディスプレイ）であってもよい。いくつかの実施形態では、第１の表現１０１０は、あるサイズを有してもよい。いくつかの実施形態では、第１の表現１０１０は、ユーザ入力のために構成された任意のＵＩ要素（例えば、ボタン、アフォーダンス、ユーザインタフェース要素、相互作用型要素など）を含まなくてもよい。
図１０Ａに示し、また上述したように、第１の表現１０１０は、ＣＧＲ環境８９０内に表示されてもよく、第１の表現１０１０は、直接相互作用ではなく、ユーザによる非直接相互作用を円滑にするように構成されていてもよい。図１０Ａに更に示すように、入力機構８００は、第１の表現１０１０から距離１０３１にある現在の位置にあってもよい。いくつかの実施形態では、第１の表現１０１０からの既定の距離１０３０が提供されてもよい。
実施形態では、入力機構８００の現在の位置が第１の表現１０１０から既定の距離１０３０内にないとの判断に従って、第１の表現１０１０の表示が維持されてもよい。例えば、仮想オブジェクトの別の表現を表示することなく、かつ／又は第１の表現１０１０への変更を行うことなく、非直接相互作用のために構成された第１の表現１０１０が引き続き表示されてもよい。逆に、後述するように、入力機構８００の現在の位置が第１の表現１０１０から既定の距離１０３０内にあるとの判断に従って、第１の表現１０１０の表示が変更されてもよく、また、仮想オブジェクトの第２の表現が表示されてもよい。実施態様では、仮想オブジェクトの第２の表現は、第１の表現１０１０と異なっていてもよい。
図１０Ｂに示すように、入力機構８００は、以前の位置（例えば、図９Ａに示す）から、第１の表現１０１０までの距離１０３０にある現在の位置まで移動されてもよい。以前の位置から現在の位置への動きは、（例えば、上述したとおりの入力センサを使用して）検出されてもよい。以前の位置から現在の位置への入力機構８００の動きの検出に応答して、入力機構８００の現在の位置から第１の表現１０１０までが既定の距離１０３０以内であり得るか判断されてもよい。入力機構８００の現在の位置が第１の表現１０１０から既定の距離１０３０内にあるとの判断に従って、第１の表現１０１０の表示が変更されてもよい。実施形態では、第１の表現１０１０の表示を変更することは、第１の表現１０１０の表示を中止して、第２の表現１０２０を表示することを含んでもよく、第２の表現１０２０は、第１の表現１０１０と異なっていてもよい。いくつかの実施形態では、第２の表現１０２０は、第１の表現１０２０が表示されたのと同じ位置及び／又は同じ表面上に表示されてもよい。
実施形態では、第２の表現１０２０は、関連付けられている仮想オブジェクトとのユーザ（例えば、ユーザ２０２）による直接相互作用を円滑にするように構成されてもよい。例えば、第１の表現１０１０は、ユーザ入力のため構成されたＵＩ要素９１１を含まなくてもよいが、第２の表現１０２０は、前述したように、ユーザ相互作用のために構成されたＵＩ要素１０２１を含んでもよい。例えば、ＵＩ要素１０２１は、平坦な２ＤのＵＩ要素として表示される少なくとも１つのＵＩ要素を含んでもよい。
加えて、第２の表現１０２０は、第１の表現１０１０のサイズと異なるサイズを有して表示されてもよい。例えば、第２の表現１０２０は、第１の表現１０１０のサイズよりも大きいサイズで表示されてもよい。いくつかの実施形態では、第２の表現１０２０は、第１の表現１０１０のサイズよりも小さいサイズで表示されてもよい。
前述したように、いくつかの実施形態では、第１の表現１０１０を変更することは第２の表現１０２０を表示することを含んでもよく、変更をアニメーション化することを含んでもよい。例えば、第１の表現１０１０の変更には、第１の表現１０１０が、現在のサイズから第２の表現１０２０のサイズまで、適宜、拡大又は縮小しているように表示されるように、第１の表現１０１０のサイズの変化をアニメーション化することが含まれてもよい。加えて、又は代替的に、第１の表現１０１０の変更には、第１の表現９１０の突出した３ＤのＵＩ要素が第２の表現９２０の平坦な２ＤのＵＩ要素の中に引っ込んでゆくように表現されるように、ＵＩ要素をアニメーション化することが含まれてもよい。実施形態では、アニメーションはまた、アニメーションが起こっている間に再生されてもよい音を含んでもよい。
図１１Ａ及び図１１Ｂは、本開示の態様による、入力機構の特性に基づいて、ＣＧＲ環境内の仮想オブジェクトの表現を制御する技法の別の例を示す。具体的には、図１１Ａ及び１１Ｂは、入力機構の特性（例えば、ユーザの視線）に基づいて仮想オブジェクトの表現が変更される例を示す。
図１１Ａに示すように、仮想オブジェクトの第１の表現１１１０が電子デバイス２００のディスプレイを介して表示されてもよい。実施形態では、第１の表現１１１０は仮想オブジェクトの表現であってもよく、仮想オブジェクトは、上述したように、特定のアプリケーション（例えば、カレンダー、マルチメディアアプリケーション、プレゼンテーションなど）に関連付けられていてもよい。図１１Ａに示す例では、第１の表現１１１０は、カレンダーアプリケーションに関連付けられていてもよい。
実施形態では、第１の表現１１１０は、あるサイズを有してもよく、位置１１５２に表示されてもよい。実施形態では、第１の表現１１１０は、直接相互作用か非直接相互作用かに関わらず、ユーザ相互作用のために構成されていなくてもよい。例えば、第１の表現１１１０のサイズは、小さいサイズであってもよく、その小さいサイズでは、ユーザは、第１の表現１１１０のどのＵＩ要素からも情報を知覚できず、又は、それらと相互作用することができないことがある。いくつかの実施形態では、第１の表現１１１０はＵＩ要素を一切含まなくてもよい。
図１１Ａに示すように、電子デバイス２００を装着しているユーザ２０２の視線１１５０が検出されてもよい。実施態様では、検出された視線１１５０は、ヘッドゲイズ（例えば、ユーザの頭部が向く方向）、アイゲイズ（例えば、ユーザの目が見ている方向）、それらの組み合わせなどであってもよい。ユーザ２０２の視線１１５０は、焦点を合わせる、配置する、又はそれ以外の方法で、位置１１５１に向いていると判断されてもよく、位置１１５１は、第１の表現１１１０が表示されている位置１１５２と異なっていてもよい。実施態様では、視線１１５０が第１の表現１１１０の位置と異なる位置に向いているとの判断に従って、仮想オブジェクトの別の表現を表示することなく、かつ／又は、第１の表現１１１０に一切の変更を加えることなく、第１の表現１１１０の表示が、現在の位置に当該のサイズを有して維持されてもよい。
図１１Ｂは、ユーザ２０２の視線１１５０が、位置１１５１に向いた方向と異なる方向に変化したことを示す。実施形態では、視線の変化が（例えば、入力センサを介して）検出されてもよい。検出されたユーザの視線の変化に応答して、視線の新たな方向についての方向の判断が行われてもよい。例えば、視線１１５０の新たな方向が位置１１５２に向けられ得ると判断されてもよい。位置１１５２は、第１の表現１１１０が表示されている位置であってもよい。実施形態では、視線１１５０が第１の表現１１１０の位置と同じ位置に向いているとの判断に従って、第１の表現１１１０の表示が変更されてもよい。
いくつかの実施形態では、視線１１５０が第１の表現１１１０の位置と同じ位置に向いているとの判断に従って第１の表現１１１０の表示を変更すると判断することは、視線１１５０が少なくとも既定の時間にわたって、第１の表現１１１０の位置と同じ位置に向いたままであったとの判断を含んでもよい。視線１１５０が既定の期間よりも短い期間、第１の表現１１１０の位置と同じ位置に向いていた（例えば、既定の期間が終了する前に視線１１５０の方向が別の方向に移動した）と判断されると、第１の表現１１１０の表示は、変更されるのではなく、その代わりに、仮想オブジェクトの別の表現を表示することなく、かつ／又は、第１の表現１１１０に一切の変更を加えることなく維持されてもよい。視線１１５０が少なくとも既定の期間と同じ期間、第１の表現１１１０の位置と同じ位置に向いていた（例えば、既定の期間が終了する前に視線１１５０の方向が別の方向に移動しなかった）と判断されると、第１の表現１１１０の表示は、変更されてもよい。
実施形態では、第１の表現１１１０の表示を変更することは、第１の表現１１１０の表示を中止して、第２の表現１１２０を表示することを含んでもよく、第２の表現１１２０は第１の表現１１１０と異なっていてもよい。いくつかの実施形態では、第２の表現１１２０は、第１の表現１１２０が表示されたのと同じ位置及び／又は同じ表面上に表示されてもよい。
実施形態では、第２の表現１１２０は、第１の表現１１１０と異なっていてもよく、第２の表現１１２０は、ユーザ（例えば、ユーザ２０２）による相互作用を円滑にするように構成されてもよい。例えば、第２の表現１１２０は、ＵＩ要素１１１２を含むように構成されてもよい。ＵＩ要素１１１２は、ディスプレイなどの、ユーザ相互作用のために構成された、少なくとも１つのＵＩ要素を含んでもよい。いくつかの実施形態では、第２の表現１１２０は、代替的に又は追加的に、第１の表現１１１０のサイズと異なるサイズを有してもよい。例えば、第２の表現１１２０は、第１の表現１１１０のサイズよりも大きい、又は小さいサイズを有してもよい。実施形態では、第２の表現１１２０のサイズは、第２の表現１１２０の位置（例えば、位置１１５２）と、ユーザの頭部及び／又は目の位置（例えば、位置１１５３）との間の距離に基づいてもよい。
いくつかの実施形態では、第２の表現１１２０は、非直接相互作用のために構成されていてもよいが、直接相互作用のためには構成されていなくてもよい。例えば、第２の表現１１２０は、ユーザとの直接相互作用のために構成されたＵＩ要素（例えば、ボタン、アフォーダンス、ユーザインタフェース要素、インタラクティブ要素など）を一切含まなくてもよい。この場合、本開示による入力機構（例えば、外肢、マウス、スタイラスなどの表現）の特性に基づいて、第２の表現１１２０を直接相互作用のための構成に選択的に変更するために、図８Ａ、８Ｂ、９Ａ、９Ｂ、１０Ａ及び１０Ｂに関して上述した技法を使用してもよい。このように、仮想オブジェクトの表現は、入力機構（例えば、ユーザの視線）の特性に基づいて、非相互作用の構成から非直接相互作用の構成に選択的かつ動的に変更されてもよく、その後、入力機構の別の特性に基づいて、又は別の入力機構（例えば、外肢の表現、入力デバイスなど）の特性に基づいて、非直接相互作用の構成から直接相互作用の構成に更に変更されてもよい。
図１２Ａ及び１２Ｂは、ＣＧＲ環境内の仮想オブジェクトの表現が、ユーザの視線に基づいて変更される別の例を示す。具体的には、図１２Ａは、ユーザ２０２が電子デバイス２００を装着しているところを示し、この電子デバイスは、ユーザ２０２がＣＧＲ環境８９０を見ることを可能にするように構成されている。図１２Ａに示すように、仮想オブジェクトの第１の表現１２１０が電子デバイス２００のディスプレイを介して、位置１２５１に特定のサイズで表示されてもよい。実施態様では、位置１２５１は、ＣＧＲ環境８９０の壁にあってもよい。実施形態では、第１の表現１２１０は、仮想オブジェクトの表現であってもよく、仮想オブジェクトは、上述したように、特定のアプリケーション（例えば、カレンダー、マルチメディアアプリケーション、プレゼンテーションなど）に関連付けられていてもよい。図１２Ａに示す例では、第１の表現１２１０は、カレンダーアプリケーションに関連付けられていてもよい。実施形態では、第１の表現１２１０は、直接相互作用か非直接相互作用かに関わらず、ユーザ相互作用のために構成されていなくてもよい。例えば、第１の表現１２１０のサイズは小さいサイズであってもよく、その小さいサイズでは、ユーザは、第１の表現１２１０のどのＵＩ要素からも情報を知覚できず、又は、それらと相互作用することができないことがある。
図１２Ａに示すように、ユーザ２０２の視線１２５０が位置１２５２に向いていると判断されてもよく、この位置は、第１の表現１２１０が表示されている位置１２５１とは異なっていてもよい。実施態様では、視線１２５０が第１の表現１２１０の位置とは別の位置に向いているとの判断に従って、仮想オブジェクトの別の表現を表示することなく、かつ／又は第１の表現１２１０に一切の変更を加えることなく、第１の表現１２１０の表示が維持されてもよい。
図１２Ｂは、ユーザ２０２の視線１２５０が、位置１２５２に向いた方向と異なる方向に変化したことを示す。実施形態では、視線の変化は、（例えば、入力センサを介して）検出されてもよい。検出されたユーザの視線の変化に応答して、視線の新たな方向について方向の判断が行われてもよい。例えば、視線１２５０の新たな方向が位置１２５１に向けられ得ると判断されてもよい。位置１２５１は、第１の表現１２１０が表示されている位置である。実施形態では、視線１２５０が第１の表現１２１０の位置と同じ位置に向いているとの判断に従って、第１の表現１２１０の表示が変更されてもよい。例えば、第１の表現１２１０の表示が中止されてもよく、また、第２の表現１２２０が表示されてもよく、第２の表現１２２０は第１の表現１２１０と異なっていてもよい。いくつかの実施形態では、第２の表現１２２０は、第１の表現１２１０が表示されたのと同じ位置及び／又は同じ表面上に表示されてもよい。
実施形態では、第２の表現１２２０は、ＵＩ要素１２２１を含むように構成されていてもよい。ＵＩ要素１２２１は、ディスプレイなどの、ユーザ相互作用のために構成された、少なくとも１つのＵＩ要素を含んでもよい。いくつかの実施形態では、第２の表現１２２０は、代替的に又は追加的に、第１の表現１２１０のサイズと異なるサイズを有してもよい。例えば、第２の表現１２２０は、第１の表現１２１０のサイズよりも大きい、又は小さいサイズを有してもよい。実施形態では、第２の表現１２２０のサイズは、第２の表現１２２０の位置（例えば、位置１２５１）とユーザの頭部及び／又は目の位置との間の距離に基づいてもよい。いくつかの実施形態では、第２の表現１１２０は、非直接相互作用のために構成されていてもよいが、直接相互作用のためには構成されていなくてもよい。例えば、第２の表現１１２０は、ユーザとの直接相互作用のために構成されたＵＩ要素（例えば、ボタン、アフォーダンス、ユーザインタフェース要素、インタラクティブ要素など）を一切含まなくてもよい。
いくつかの実施形態では、図１１Ａ及び１１Ｂを参照しながら説明したように、視線１２５０が第１の表現１２１０の位置と同じ位置に向いているとの判断に従って第１の表現１２１０の表示を変更すると判断することは、視線１２５０が少なくとも既定の時間にわたって、第１の表現１２１０の位置と同じ位置に向いたままであったとの判断を含んでもよい。
前述したように、実施形態では、第１の表現を変更することは、第２の表現を表示することを含んでもよく、変更をアニメーション化することを含んでもよい。例えば、第１の表現の変更には、第１の表現が、現在のサイズから第２の表現のサイズまで、適宜、拡大又は縮小しているように表示されるように、第１の表現のサイズの変化をアニメーション化することが含まれてもよい。加えて、又は代替的に、第１の表現の変更には、ＵＩ要素が第１の表現の中に引っ込んでゆくように表現されるように、第１の表現のＵＩ要素をアニメーション化することが含まれてもよい。実施形態では、アニメーションはまた、アニメーションが起こっている間に再生されてもよい音を含んでもよい。
実施形態では、本明細書に記載される技法の実装は、上述の特徴及び機能のどのような組み合わせを含んでもよいことに留意されたい。例えば、仮想オブジェクトの表現は、異なるサイズ、異なるＵＩ要素、異なるタイプのＵＩ要素（例えば、平坦なＵＩ要素、突出したＵＩ要素など）、異なる配向、異なる位置、異なる形状、異なる輝度などのうち、どの１つ、及び／又はどのような組み合わせを有するようにも変更されてよい。
図１３は、ＣＧＲ環境内の仮想オブジェクトの表現を入力機構の特性に基づいて制御する方法１３００を示すフロー図である。いくつかの実施形態では、方法１３００は、システム１００又はシステム１００の一部によって行われてもよい。いくつかの実施形態では、方法１３００は、１つ以上の外部システム及び／又はデバイスによって行われてもよい。いくつかの実施形態では、方法１３００は、システム１００（又はシステム１００の一部）によって、１つ以上の外部システム及び／又はデバイスと協力して行われてもよい。
ブロック１３０２で、システムは、電子デバイス（例えば、ウェアラブル電子デバイス、ＨＭＤデバイスなど）のディスプレイを介して、ＣＧＲ環境内に仮想オブジェクトの第１の表現を表示する。例えば、仮想オブジェクトの第１の表現は、電子デバイスの第１のディスプレイ（例えば、左アイディスプレイパネル）又は第２のディスプレイ（例えば、第２のアイディスプレイパネル）を介して、ＣＧＲ環境内のディスプレイの表現の上に表示されてもよい。実施形態では、仮想オブジェクトの第１の表現は、仮想表現（例えば、電子デバイスの半透明ディスプレイを介して、ＣＧＲ環境の第１の表面上に重ねられた仮想表現）であってもよい。
実施形態では、仮想オブジェクトの第１の表現は、仮想オブジェクトとの非直接相互作用を円滑にするように構成されていてもよい。例えば、仮想オブジェクトの第１の表現は、ユーザがＵＩ要素（例えば、出力用に構成されたＵＩ要素）を直接操作することなく、そのＵＩ要素との相互作用を知覚し得るように、非直接相互作用のために構成された、ＵＩ要素のうち少なくとも１つのＵＩ要素を含んでもよい。
実施形態では、仮想オブジェクトの第１の表現は、非直接相互作用を円滑にするように構成可能であるが直接相互作用のためには構成されていないＵＩ要素（例えば、それらのＵＩ要素は、突出した３ＤのＵＩ要素として表示されてもよい）のうち少なくとも１つのＵＩ要素を含んでもよい。例えば、ＵＩ要素は、ボタン、アフォーダンス、ユーザインタフェース要素、相互作用要素など、及び／又はこれらのどのような組み合わせを含んでもよい。ＵＩ要素が直接相互作用を円滑にするように構成されている場合、ユーザは、ＵＩ要素を選択、クリック、選択、及び／又はそれ以外の方法で操作してもよい。
実施形態では、入力機構の動きが検出されてもよい。入力機構は、仮想オブジェクトの表現との相互作用を円滑にするように構成された機構を含んでもよい。例えば、入力機構は、ユーザが仮想オブジェクトの表現の少なくとも１つの要素を操作するため、又は仮想オブジェクトによって提供されるデータを知覚するための機構を含んでもよい。実施形態では、入力機構は、ユーザの外肢（例えば、指、手、脚、足など）、ユーザの視線（例えば、ヘッドゲイズ、アイゲイズなど）、入力デバイス（例えば、マウス、スタイラスなど）などの表現を含んでもよい。実施形態では、ユーザの外肢の表現は、外肢の仮想表現を含んでもよく、かつ／又は、ＣＧＲ環境内での外肢の特性（例えば、位置、配向、特定の点までの距離など）を表すデータを含んでもよい。実施態様では、ハンドトラッキング、ヘッドゲイズトラッキング、アイゲイズトラッキング、フィンガートラッキングなどを行うように構成された入力センサ（例えば、タッチ感応面、画像センサなど）を使用して、入力機構の動きが検出されてもよい。例えば、入力機構は、以前の位置から現在の位置に移動してもよい。
実施形態では、入力機構の検出された動きに応答して、入力機構の現在の位置が第１の表現から既定の距離内にあるか判断されてもよい。ただし、入力機構の動きが検出されない場合は、入力機構の現在の位置が第１の表現から既定の距離内にあるか否かの判断は行われなくてもよい。いくつかの実施形態では、入力機構の現在の位置が第１の表現から既定の距離内にあるか否かの判断は、検出された動きが第１の表現に向かっていると判断されたときに行われてもよい。これらの場合、入力機構の動きが検出されても、入力機構の現在の動きが第１の表現から離れる方向にあると判断されたときには、入力機構の位置が第１の表現から既定の距離内にあるか否かの判断は行われなくてもよい。
ブロック１３０４において、入力機構の現在の位置が仮想オブジェクトの第１の表現から既定の距離内にあるとの判断に従って、システムは、電子デバイスのディスプレイを介して、ＣＧＲ環境内に仮想オブジェクトの第２の表現を表示する。実施形態では、仮想オブジェクトの第２の表現は、仮想オブジェクトの第１の表現と異なっていてもよい。
実施形態では、仮想オブジェクトの第２の表現を表示することに応答して、第１の表現の表示が中止されてもよい。いくつかの実施形態では、第２の表現は、第１の表現が表示されたのと同じ位置及び／又は同じ表面上に表示されてもよい。
実施形態では、第２の表現は、関連付けられている仮想オブジェクトとのユーザによる直接相互作用を円滑にするように構成されてもよい。例えば、第２の表現は、直接相互作用のために構成されたＵＩ要素のうち少なくとも１つのＵＩ要素を含んでもよい。実施形態では、それらのＵＩ要素は、物理オブジェクト上に表示される平坦な２ＤのＵＩ要素として表示される、少なくとも１つのＵＩ要素を含み得る。実施形態では、ＵＩ要素は、ボタン、アフォーダンス、ユーザインタフェース要素、インタラクティブ要素などのうち、どの１つ、及び／又はどのような組み合わせを含んでもよい。
いくつかの実施形態では、第２の表現は、第１の表現のサイズと異なるサイズを有してもよい。例えば、第２の表現のサイズは、第１の表現のサイズよりも大きくてもよい。実施形態では、第２の表現は第１の表現の一部分を含んでもよく、第２の表現に含まれる第１の表現の一部分は、第１の表現内の同じ部分のサイズよりも大きくてもよい。
いくつかの実施形態では、仮想オブジェクトの第２の表現は、第１の表現の現在の位置と異なる位置に表示されてもよい。実施形態では、仮想オブジェクトの第２の表現が表示され得る位置は、第１の表現の現在の位置よりもユーザに近い位置であってもよい。いくつかの実施形態では、新しい位置に表示された第２の表現は、第１の表現と同じ表現であってもよい。
いくつかの実施形態では、第１の表現は、仮想オブジェクトの３Ｄ表現であってもよく、第２の表現は仮想オブジェクトの２Ｄ表現であってもよい。実施形態では、第２の表現は、仮想オブジェクトの第１の表現内に表示されてない、仮想オブジェクトの少なくとも一部分を含んでもよい。
上述したように、本技術の一態様は、ユーザのためにバッテリ寿命を節約し、低出力デバイスのユーザに特殊化されたコンテンツを提供するために、様々なソースから入手可能なデータを収集及び使用して、付加的ディスプレイを有する低電力デバイス（例えば、付加的ディスプレイを有するＨＭＤ）の特殊化されたリソース管理を提供することである。本開示では、いくつかの例において、この収集されたデータが、特定の人を一意に特定する個人情報データ、又は特定の人に連絡するため、若しくはその所在を突き止めるために使用できる個人情報データを含み得ることが意図される。そのような個人情報データとしては、人口統計データ、位置ベースのデータ、電話番号、電子メールアドレス、ツイッターＩＤ、自宅の住所、ユーザの健康若しくはフィットネスのレベルに関するデータ若しくは記録（例えば、バイタルサイン測定値、投薬情報、運動情報）、誕生日、又は任意の他の識別情報若しくは個人情報を挙げることができる。
本開示は、本技術におけるそのような個人情報データの使用がユーザの利益になる使用であり得る点を認識するものである。例えば、個人情報データを使用して、ユーザの低電力デバイスのバッテリ寿命を節約することができる。したがって、例えば、このような個人情報データをシステムが使用して、低電力デバイスのバッテリ寿命を節約するためにリソースを適切に管理する。更には、ユーザに利益をもたらす、個人情報データに関する他の使用もまた、本開示によって想到される。例えば、健康データ及びフィットネスデータは、ユーザの全般的なウェルネスについての識見を提供するために使用することができ、又は、ウェルネスの目標を追求する技術を使用している個人への積極的なフィードバックとして使用することもできる。
本開示は、そのような個人情報データの収集、分析、開示、伝送、記憶、又は他の使用に関与するエンティティが、確固たるプライバシーポリシー及び／又はプライバシー慣行を遵守するものとなることを想到する。具体的には、そのようなエンティティは、個人情報データを秘密として厳重に保守するための、業界又は政府の要件を満たしているか又は上回るものとして一般に認識されている、プライバシーのポリシー及び慣行を実施し、一貫して使用するべきである。そのようなポリシーは、ユーザによって容易にアクセス可能でなければならず、データのコレクション及び／又は使い方が変化するにつれて更新されなければならない。ユーザからの個人情報は、そのエンティティの合法的かつ正当な使用のために収集されるべきであり、それらの合法的使用を除いては、共有又は販売されるべきではない。更には、そのような収集／共有は、ユーザに告知して同意を得た後に実施されるべきである。更には、そのようなエンティティは、そのような個人情報データへのアクセスを保護して安全化し、その個人情報データへのアクセスを有する他者が、それらのプライバシーポリシー及び手順を遵守することを保証するための、あらゆる必要な措置を講じることを考慮するべきである。更には、そのようなエンティティは、広く受け入れられているプライバシーのポリシー及び慣行に対する自身の遵守を証明するために、第三者による評価を自らが受けることができる。更には、ポリシー及び慣行は、収集及び／又はアクセスされる具体的な個人情報データのタイプに適合されるべきであり、また、管轄権固有の考慮事項を含めた、適用可能な法令及び規格に適合されるべきである。例えば、米国では、特定の健康データの収集又はアクセスは、医療保険の相互運用性と説明責任に関する法律（Health Insurance Portability and Accountability Act、ＨＩＰＡＡ）などの、連邦法及び／又は州法によって管理することができ、その一方で、他国における健康データは、他の規制及びポリシーの対象となり得るものであり、それに従って対処されるべきである。それゆえ、各国において、異なる個人データのタイプに関して異なるプライバシー慣行が保たれるべきである。
上述のことがらにも関わらず、本開示はまた、ユーザが、個人情報データの使用又はアクセスを選択的に阻止する実施例も意図している。すなわち、本開示は、そのような個人情報データへのアクセスを防止又は阻止するように、ハードウェア要素及び／又はソフトウェア要素を提供することができると想到する。例えば、低電力デバイスのリソースを管理する場合、本技術は、ユーザが、サービスへの登録時又はその後のいつでも、個人情報データの収集について参加の「オプトイン」又は「オプトアウト」を選択できるように構成され得る。別の例では、ユーザは、特殊化されたリソース管理のために、瞳孔位置、瞳孔拡張、及び／又は瞬き速度などの、アイトラッキングデータを提供しないと選択することができる。更に別の例では、ユーザは、アイトラッキングデータが維持される期間を制限するのか、又は基準アイトラッキングプロファイルの展開を完全に禁止するのかを選択することができる。「オプトイン」及び「オプトアウト」の選択肢を提供することに加えて、本開示は、個人情報のアクセス又は使用に関する通知を提供することを想到する。例えば、ユーザの個人情報データにアクセスすることとなるアプリのダウンロード時にユーザに通知され、その後、個人情報データがアプリによってアクセスされる直前に再びユーザに注意してもよい。
更には、本開示の意図は、個人情報データを、非意図的若しくは無許可アクセス又は使用の危険性を最小限に抑える方法で、管理及び処理するべきであるという点である。データの収集を制限し、データがもはや必要とされなくなった時点で削除することによって、危険性を最小限に抑えることができる。更には、適用可能な場合、特定の健康関連アプリケーションを含めて、ユーザのプライバシーを保護するために、データの非特定化を使用することができる。非特定化は、適切な場合には、特定の識別子（例えば、生年月日など）を除去すること、記憶されたデータの量又は特異性を制御すること（例えば、位置データを住所レベルではなく都市レベルで収集すること）、データがどのように記憶されるかを制御すること（例えば、データをユーザ全体にわたって集約すること）及び／又は他の方法によって、促進され得る。
したがって、本開示は、１つ以上の様々な開示された実施例を実施するための個人情報データの使用を、広範に網羅するものであるが、本開示は、それらの様々な実施例が、かかる個人情報データにアクセスすることを必要とせずに実施することができることも、また意図している。すなわち、本技術の様々な実施例は、そのような個人情報データの全て又は一部分の欠如によって実施不可能となるものではない。例えば、ユーザに関連付けられたデバイスによって要求されるコンテンツ、低電力デバイスを制御するシステムに利用可能な他の非個人情報、又は公的に入手可能な情報などの非個人情報データ若しくは必要最小限の個人情報に基づいた嗜好を推測することによって、低電力デバイスのリソースを管理することができ、コンテンツ（例えば、ステータス更新及び／又はオブジェクト）を選択して、ユーザへ配信することができる。
［項目１］
ウェアラブル電子デバイスのディスプレイを介して、コンピュータ生成現実（ＣＧＲ）環境内の第１の位置に仮想オブジェクトの第１の表現を表示することであって、前記第１の位置は、複数の使用コンテキストのうち第１の使用コンテキストに対応する、ことと、
前記ＣＧＲ環境内で前記第１の表現を前記第１の位置と異なる第２の位置に移動するよう求める要求を受信することと、
前記要求を受信したことに応答して、
前記第２の位置が前記複数の使用コンテキストのうち第２の使用コンテキストに対応するとの判断に従って、前記第２の使用コンテキストに基づいて、前記ウェアラブル電子デバイスの前記ディスプレイを介して、前記第２の位置に、前記仮想オブジェクトの第２の表現を表示することであって、前記第２の表現は、前記第１の表現と異なる、ことと、
前記第２の位置が前記複数の使用コンテキストのうち第３の使用コンテキストに対応するとの判断に従って、前記第３の使用コンテキストに基づいて、前記ウェアラブル電子デバイスの前記ディスプレイを介して、前記第２の位置に、前記仮想オブジェクトの第３の表現を表示することであって、前記第３の表現は、前記第１の表現及び前記第２の表現と異なる、ことと
を含む、方法。
［項目２］
前記複数の使用コンテキストのうち前記第２の使用コンテキストが、電子デバイスの表現における位置に前記第２の位置が対応すると判断された場合に満たされる使用コンテキストを含み、
前記第２の位置が前記複数の使用コンテキストのうち前記第２の使用コンテキストに対応するとの前記判断に従って、前記第２の使用コンテキストに基づいて前記仮想オブジェクトの前記第２の表現を表示することが、前記ＣＧＲ環境内で前記電子デバイスの前記表現の上に２次元表現を表示することを含む、
項目１に記載の方法。
［項目３］
前記複数の使用コンテキストのうち前記第２の使用コンテキストが、垂直平面における位置に前記第２の位置が対応すると判断された場合に満たされる使用コンテキストを含み、
前記第２の位置が前記複数の使用コンテキストのうち前記第２の使用コンテキストに対応するとの前記判断に従って、前記第２の使用コンテキストに基づいて前記仮想オブジェクトの前記第２の表現を表示することが、前記ＣＧＲ環境内で前記垂直平面上に２次元表現を表示することを含む、
項目１～２のいずれか一項に記載の方法。
［項目４］
前記第２の表現のサイズが、前記電子デバイスの前記ディスプレイと前記ＣＧＲ環境内の前記垂直平面との間の距離に基づく、項目３に記載の方法。
［項目５］
前記複数の使用コンテキストのうち前記第２の使用コンテキストが、前記ＣＧＲ環境内の水平面における位置に前記第２の位置が対応すると判断された場合に満たされる使用コンテキストを含み、
前記第２の位置が前記複数の使用コンテキストのうち前記第２の使用コンテキストに対応するとの前記判断に従って、前記第２の使用コンテキストに基づいて前記仮想オブジェクトの前記第２の表現を表示することが、前記ＣＧＲ環境内の前記水平面上に３次元表現を表示することを含む、
項目１～４のいずれか一項に記載の方法。
［項目６］
前記水平面が第１のタイプの水平面であるとの判断に従って、前記３次元表現が第１のサイズの表現であり、
前記水平面が第２のタイプの水平面であるとの判断に従って、前記３次元表現が前記第１のサイズと異なる第２のサイズの表現である、
項目１～５のいずれか一項に記載の方法。
［項目７］
前記複数の使用コンテキストのうち前記第２の使用コンテキストが、最大化ビュー基準が満たされた場合に満たされる使用コンテキストを含み、前記第２の使用コンテキストに基づいて前記仮想オブジェクトの前記第２の表現を表示することが、前記ＣＧＲ環境内の複数の平面上に仮想オブジェクトの複数の表現を表示することを含む、
項目１～６のいずれか一項に記載の方法。
［項目８］
最大化ビューアフォーダンスに対応する選択可能な仮想オブジェクトが表示され、最大化ビュー基準は、最大化ビューアフォーダンスに対応する前記選択可能な仮想オブジェクトが選択された場合に満たされる基準を含む、項目７に記載の方法。
［項目９］
前記第２の位置が前記複数の使用コンテキストのうち前記第２の使用コンテキストに対応するとの前記判断が行われ、
前記第１の表現が第１の視覚的コンテンツを含み、
前記第２の表現が前記第１の視覚的コンテンツを含まない、
項目１～８のいずれか一項に記載の方法。
［項目１０］
前記第２の位置が前記複数の使用コンテキストのうち前記第２の使用コンテキストに対応するとの前記判断が行われ、
前記第１の表現が、第３のサイズで表示される第３の視覚的コンテンツを含み、
前記第２の表現が、前記第３のサイズと異なる第４のサイズで表示される前記第３の視覚的コンテンツを含む、
項目１～９のいずれか一項に記載の方法。
［項目１１］
前記第２の位置が前記複数の使用コンテキストのうち前記第２の使用コンテキストに対応するとの前記判断が行われ、
前記第１の表現が第１の選択可能オブジェクトを含み、
前記第２の表現が前記第１の選択可能なオブジェクトを含まない、
項目１～１０のいずれか一項に記載の方法。
［項目１２］
前記第２の位置が前記複数の使用コンテキストのうち前記第２の使用コンテキストに対応するとの前記判断が行われ、
前記第１の表現が第４のサイズであり、
前記第２の表現が前記第４のサイズと異なる第５のサイズである、
項目１～１１のいずれか一項に記載の方法。
［項目１３］
前記第２の使用コンテキストに基づいて前記仮想オブジェクトの前記第２の表現を表示することが、前記第１の表現が前記第２の位置から既定の距離内にあるときに、前記第１の表現の表示を前記第２の表現の表示に遷移させることを含む、項目１～１２のいずれか一項に記載の方法。
［項目１４］
前記第２の位置が、前記複数の使用コンテキストのうち第４の使用コンテキストに対応するとの判断に従って、前記第４の使用コンテキストは、禁止位置に前記第２の位置が対応する場合に満足され、前記第４の使用コンテキストに基づいて、前記ＣＧＲ環境内で前記仮想オブジェクトの表現の表示を取りやめること、
を更に含む、項目１～１３のいずれか一項に記載の方法。
［項目１５］
前記第２の位置が前記複数の使用コンテキストのうち前記第４の使用コンテキストに対応するとの前記判断に従って、前記ＣＧＲ環境内に、前記第２の位置が禁止位置であることを示す指示子を表示すること、
を更に含む、項目１４に記載の方法。
［項目１６］
ディスプレイと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備えるシステムであって、前記１つ以上のプログラムが、
前記ディスプレイを介して、コンピュータ生成現実（ＣＧＲ）環境内の第１の位置に仮想オブジェクトの第１の表現を表示し、前記第１の位置は、複数の使用コンテキストのうち第１の使用コンテキストに対応し、
前記ＣＧＲ環境内で前記第１の表現を前記第１の位置と異なる第２の位置に移動するよう求める要求を受信し、
前記要求を受信したことに応答して、
前記第２の位置が前記複数の使用コンテキストのうち第２の使用コンテキストに対応するとの判断に従って、前記第２のコンテキストに基づいて、前記ディスプレイを介して、前記第２の位置に、前記仮想オブジェクトの第２の表現を表示し、前記第２の表現は、前記第１の表現と異なり、
前記第２の位置が前記複数の使用コンテキストのうち第３の使用コンテキストに対応するとの判断に従って、前記第３の使用コンテキストに基づいて、前記ディスプレイを介して、前記第２の位置に、前記仮想オブジェクトの第３の表現を表示し、前記第３の表現は、前記第１の表現及び前記第２の表現と異なる、
命令を含む、システム。
［項目１７］
ディスプレイを有するシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
前記ディスプレイを介して、コンピュータ生成現実（ＣＧＲ）環境内の第１の位置に仮想オブジェクトの第１の表現を表示し、前記第１の位置は、複数の使用コンテキストのうち第１の使用コンテキストに対応し、
前記ＣＧＲ環境内で前記第１の表現を前記第１の位置と異なる第２の位置に移動するよう求める要求を受信し、
前記要求を受信したことに応答して、
前記第２の位置が前記複数の使用コンテキストのうち第２の使用コンテキストに対応するとの判断に従って、前記第２のコンテキストに基づいて、前記ディスプレイを介して、前記第２の位置に、前記仮想オブジェクトの第２の表現を表示し、前記第２の表現は、前記第１の表現と異なり、
前記第２の位置が前記複数の使用コンテキストのうち第３の使用コンテキストに対応するとの判断に従って、前記第３の使用コンテキストに基づいて、前記ディスプレイを介して、前記第２の位置に、前記仮想オブジェクトの第３の表現を表示し、前記第３の表現は、前記第１の表現及び前記第２の表現と異なる、
命令を含む、非一時的コンピュータ可読記憶媒体。
［項目１８］
ディスプレイと、
前記ディスプレイを介して、コンピュータ生成現実（ＣＧＲ）環境内の第１の位置に仮想オブジェクトの第１の表現を表示する手段であって、前記第１の位置は、複数の使用コンテキストのうち第１の使用コンテキストに対応する、手段と、
前記ＣＧＲ環境内で前記第１の表現を前記第１の位置と異なる第２の位置に移動するよう求める要求を受信する手段と、
前記要求を受信したことに応じて、
前記第２の位置が前記複数の使用コンテキストのうち第２の使用コンテキストに対応するとの判断に従って、前記第２のコンテキストに基づいて、前記ディスプレイを介して、前記第２の位置に、前記仮想オブジェクトの第２の表現を表示し、前記第２の表現は、前記第１の表現と異なり、
前記第２の位置が前記複数の使用コンテキストのうち第３の使用コンテキストに対応するとの判断に従って、前記第３の使用コンテキストに基づいて、前記ディスプレイを介して、前記第２の位置に、前記仮想オブジェクトの第３の表現を表示し、前記第３の表現は、前記第１の表現及び前記第２の表現と異なる、手段と、
を備えるシステム。
［項目１９］
ディスプレイと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備え、前記１つ以上のプログラムが、項目１～１５のいずれか一項に記載の方法を行う命令を含む、
システム。
［項目２０］
ディスプレイを含むウェアラブル電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する、非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、項目１～１５のいずれか一項に記載の方法を行う命令を含む、非一時的コンピュータ可読記憶媒体。
［項目２１］
ディスプレイと、
項目１～１５のいずれか一項に記載の方法を行う手段と、
を備える、システム。
［項目２２］
ウェアラブル電子デバイスのディスプレイを介して、コンピュータ生成現実（ＣＧＲ）環境の第１の位置に仮想オブジェクトの２次元（２Ｄ）表現を表示することと、
前記仮想オブジェクトの３次元（３Ｄ）表現を前記２Ｄ表現と同時に表示するよう求める要求を受信することと、
前記要求に応答して、前記ウェアラブル電子デバイスの前記ディスプレイを介して、前記ＣＧＲ環境の前記第１の位置に前記２Ｄ表現、及び第２の位置に前記３Ｄ表現を同時に表示することであって、前記第２の位置は、前記第１の位置と異なる、ことと、
を含む、方法。
［項目２３］
前記同時に表示するよう求める要求を受信することが、前記仮想オブジェクトの前記２Ｄ表現を前記第１の位置から前記ＣＧＲ環境の前記第２の位置にドラッグするよう求める要求を受信することを含む、項目２２に記載の方法。
［項目２４］
前記同時に表示するよう求める要求が、前記仮想オブジェクトの前記２Ｄ表現と共に表示される相互作用型要素の選択内容を含む、項目２２～２３のいずれか一項に記載の方法。
［項目２５］
前記ＣＧＲ環境の前記第１の位置に前記２Ｄ表現、及び第２の位置に前記３Ｄ表現を同時に表示することが、前記３Ｄ表現を前記２Ｄ表現から飛び出しているようにアニメーション化することを含む、項目２２～２４のいずれか一項に記載の方法。
［項目２６］
前記２Ｄ表現を変更するよう求める第１の要求を受信したことに応答して、
前記２Ｄ表現を変更するよう求める前記第１の要求に対応する変更に従って前記３Ｄ表現を変更することと、
前記３Ｄ表現を変更するよう求める第１の要求を受信したことに応答して、
前記３Ｄ表現を変更するよう求める前記第１の要求に対応する変更に従って前記２Ｄ表現を変更することと、
を更に含む、項目２２～２５のいずれか一項に記載の方法。
［項目２７］
前記２Ｄ表現を変更するよう求める第２の要求を受信したことに応答して、
前記２Ｄ表現を変更するよう求める前記第２の要求に対応する変更に従って前記３Ｄ表現を変更することを取りやめることと、
前記３Ｄ表現を変更するよう求める第２の要求を受信したことに応答して、
前記３Ｄ表現を変更するよう求める前記第２の要求に対応する変更に従って前記２Ｄ表現を変更することを取りやめることと、
を更に含む、項目２６に記載の方法。
［項目２８］
前記仮想オブジェクトの前記２Ｄ表現が、少なくとも１つの相互作用型ユーザインタフェース（ＵＩ）要素を含む、項目２２～２７のいずれか一項に記載の方法。
［項目２９］
前記２Ｄ表現の前記少なくとも１つの相互作用型ＵＩ要素が、前記仮想オブジェクトの前記３Ｄ表現に含まれない、項目２８に記載の方法。
［項目３０］
ディスプレイと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備えるシステムであって、前記１つ以上のプログラムが、
前記ディスプレイを介して、コンピュータ生成現実（ＣＧＲ）環境の第１の位置に仮想オブジェクトの２次元（２Ｄ）表現を表示し、
前記仮想オブジェクトの３次元（３Ｄ）表現を前記２Ｄ表現と同時に表示するよう求める要求を受信し、
前記要求に応答して、前記ディスプレイを介して、前記ＣＧＲ環境の前記第１の位置に前記２Ｄ表現、及び第２の位置に前記３Ｄ表現を同時に表示し、前記第２の位置は、前記第１の位置と異なる、
命令を含む、システム。
［項目３１］
ディスプレイを備えるシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
前記ディスプレイを介して、コンピュータ生成現実（ＣＧＲ）環境の第１の位置に仮想オブジェクトの２次元（２Ｄ）表現を表示し、
前記仮想オブジェクトの３次元（３Ｄ）表現を前記２Ｄ表現と同時に表示するよう求める要求を受信し、
前記要求に応答して、前記ディスプレイを介して、前記ＣＧＲ環境の前記第１の位置に前記２Ｄ表現、及び第２の位置に前記３Ｄ表現を同時に表示し、前記第２の位置は、前記第１の位置と異なる、
命令を含む、非一時的コンピュータ可読記憶媒体。
［項目３２］
ディスプレイと、
前記ディスプレイを介して、コンピュータ生成現実（ＣＧＲ）環境の第１の位置に仮想オブジェクトの２次元（２Ｄ）表現を表示する手段と、
前記仮想オブジェクトの３次元（３Ｄ）表現を前記２Ｄ表現と同時に表示する要求を受信する手段と、
前記要求に応答して、前記ディスプレイを介して、前記ＣＧＲ環境の前記第１の位置に前記２Ｄ表現、及び第２の位置に前記３Ｄ表現を同時に表示する手段であって、前記第２の位置は、前記第１の位置と異なる、手段と、
を備える、システム。
［項目３３］
ディスプレイと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと
を備え、前記１つ以上のプログラムが、項目２２～２９のいずれか一項に記載の方法を行う命令を含む、
システム。
［項目３４］
ディスプレイを含むウェアラブル電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する、非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、項目２２～２９のいずれか一項に記載の方法を行う命令を含む、非一時的コンピュータ可読記憶媒体。
［項目３５］
ディスプレイと、
項目２２～２９のいずれか一項に記載の方法を行う手段と、
を備える、システム。
［項目３６］
ウェアラブル電子デバイスのディスプレイを介して、コンピュータ生成現実（ＣＧＲ）環境内に仮想オブジェクトの第１の表現を表示することと、
入力機構の検出された動きに応答して、
前記入力機構の現在の位置が前記仮想オブジェクトの前記第１の表現から既定の距離内にあるとの判断に従って、前記ウェアラブル電子デバイスの前記ディスプレイを介して、前記ＣＧＲ環境内で、前記仮想オブジェクトの第２の表現を表示することであって、前記第２の表現は、前記第１の表現と異なる、ことと、
前記入力機構の前記現在の位置が前記仮想オブジェクトの前記第１の表現から前記既定の距離内にないとの判断に従って、前記第２の表現を表示することなく前記第１の表現の表示を維持することと、
を含む、方法。
［項目３７］
前記入力機構の前記検出された動きが、少なくとも部分的に画像センサによって検出される、項目３６に記載の方法。
［項目３８］
前記入力機構が、前記ウェアラブル電子デバイスのユーザの外肢と、前記ユーザの視線と、前記電子デバイスと異なる入力デバイスで受信された入力と、のうちの少なくとも１つを含む、項目３６～３７のいずれか一項に記載の方法。
［項目３９］
前記入力機構が、前記ＣＧＲ環境内の前記仮想オブジェクトの前記第１の表現の位置に基づいて判断される、項目３８に記載の方法。
［項目４０］
前記仮想オブジェクトの前記第２の表現を表示することが、前記第２の表現の少なくとも１つの相互作用型ユーザインタフェース（ＵＩ）要素を表示することを含む、項目３６～３９のいずれか一項に記載の方法。
［項目４１］
前記少なくとも１つの相互作用型ＵＩ要素が、直接相互作用のために構成されている、項目４０に記載の方法。
［項目４２］
直接相互作用のために構成された前記少なくとも１つの相互作用型ＵＩ要素が、前記第１の表現の少なくとも１つのＵＩ要素に対応し、前記第１の表現の前記少なくとも１つのＵＩ要素が、非直接相互作用のために構成されている、項目４１に記載の方法。
［項目４３］
前記第２の表現の前記少なくとも１つの相互作用型ＵＩ要素が、前記第１の表現の少なくとも１つのＵＩ要素に対応し、前記第２の表現の前記少なくとも１つの相互作用型ＵＩ要素のサイズが、前記第１の表現の前記対応する少なくとも１つのＵＩ要素のサイズと異なる、項目４０～４２のいずれか一項に記載の方法。
［項目４４］
前記第２の表現の前記少なくとも１つの相互作用型ＵＩ要素が、前記第１の表現の少なくとも１つのＵＩ要素に対応し、前記第１の表現の前記少なくとも１つのＵＩ要素が、前記第１の表現内で３次元要素として表示され、前記第２の表現の前記少なくとも１つの相互作用型ＵＩ要素が、前記対応する３次元要素の２次元表現として表示される、項目４０～４３のいずれか一項に記載の方法。
［項目４５］
前記第２の表現の前記少なくとも１つの相互作用型ＵＩ要素が、前記第１の表現内に表示されていない少なくとも１つのＵＩ要素に対応する、項目４０～４４のいずれか一項に記載の方法。
［項目４６］
前記仮想オブジェクトの前記第２の表現のサイズが、前記仮想オブジェクトの前記第１の表現のサイズと異なる、項目３６～４５のいずれか一項に記載の方法。
［項目４７］
前記仮想オブジェクトの前記第２の表現を表示することが、前記第１の表現が表示される位置と異なる前記位置に前記第２の表現を表示することを含む、項目３６～４６のいずれか一項に記載の方法。
［項目４８］
前記第２の表現が表示される前記位置が、前記第１の表現が表示される位置よりも前記ウェアラブル電子デバイスのユーザに近い前記位置である、項目４７に記載の方法。
［項目４９］
前記第１の表現が前記仮想オブジェクトの３次元（３Ｄ）表現であり、前記第２の表現が前記仮想オブジェクトの２次元（２Ｄ）表現である、項目３６～４８のいずれか一項に記載の方法。
［項目５０］
前記仮想オブジェクトの前記第２の表現を前記ＣＧＲ環境内に表示することが、前記第２の表現と前記第１の表現との間の少なくとも１つの差異をアニメーション化することを含む、項目３６～４９のいずれか一項に記載の方法。
［項目５１］
前記第２の表現と前記第１の表現との間の前記少なくとも１つの差異をアニメーション化することが、前記少なくとも１つの差異に関連付けられた少なくとも１つの音を再生することを含む、項目５０に記載の方法。
［項目５２］
ディスプレイと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備えるシステムであって、前記１つ以上のプログラムが、
前記ディスプレイを介して、コンピュータ生成現実（ＣＧＲ）環境内に仮想オブジェクトの第１の表現を表示し、
入力機構の検出された動きに応答して、
前記入力機構の現在の位置が前記仮想オブジェクトの前記第１の表現から既定の距離内にあると判断に従って、前記ディスプレイを介して、前記ＣＧＲ環境内で、前記仮想オブジェクトの第２の表現を表示し、前記第２の表現は、前記第１の表現と異なり、
前記入力機構の前記現在の位置が前記仮想オブジェクトの前記第１の表現から前記既定の距離内にないとの判断に従って、前記第２の表現を表示することなく前記第１の表現の表示を維持する、
命令を含む、システム。
［項目５３］
ディスプレイを有するシステムの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、
前記ディスプレイを介して、コンピュータ生成現実（ＣＧＲ）環境内に仮想オブジェクトの第１の表現を表示し、
入力機構の検出された動きに応答して、
前記入力機構の現在の位置が前記仮想オブジェクトの前記第１の表現から既定の距離内にあるとの判断に従って、前記ディスプレイを介して、前記ＣＧＲ環境内で、前記仮想オブジェクトの第２の表現を表示し、前記第２の表現は、前記第１の表現と異なり、
前記入力機構の前記現在の位置が前記仮想オブジェクトの前記第１の表現から前記既定の距離内にないとの判断に従って、前記第２の表現を表示することなく前記第１の表現の表示を維持する、
命令を含む、非一時的コンピュータ可読記憶媒体。
［項目５４］
ディスプレイと、
前記ディスプレイを介して、コンピュータ生成現実（ＣＧＲ）環境内に仮想オブジェクトの第１の表現を表示する手段と、
入力機構の検出された動きに応答して、
前記入力機構の現在の位置が前記仮想オブジェクトの前記第１の表現から既定の距離内にあるとの判断に従って、前記ディスプレイを介して、前記ＣＧＲ環境内で、前記仮想オブジェクトの第２の表現を表示し、前記第２の表現は、前記第１の表現と異なり、
前記入力機構の前記現在の位置が前記仮想オブジェクトの前記第１の表現から前記既定の距離内にないとの判断に従って、前記第２の表現を表示することなく前記第１の表現の表示を維持する、手段と、
を備える、システム。
［項目５５］
ディスプレイと、
１つ以上のプロセッサと、
前記１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶するメモリと、
を備え、前記１つ以上のプログラムが、項目３６～５１のいずれか一項に記載の方法を行う命令を含む、
システム。
［項目５６］
ディスプレイを含むウェアラブル電子デバイスの１つ以上のプロセッサによって実行されるように構成された１つ以上のプログラムを記憶する、非一時的コンピュータ可読記憶媒体であって、前記１つ以上のプログラムが、項目３６～５１のいずれか一項に記載の方法を行う命令を含む、非一時的コンピュータ可読記憶媒体。
［項目５７］
ディスプレイと、
項目３６～５１のいずれか一項に記載の方法を行う手段と、
を備える、システム。

Claims (18)

  1. ウェアラブル電子デバイスのディスプレイを介して、コンピュータ生成現実（ＣＧＲ）環境内の第１の位置に仮想オブジェクトの第１の表現を表示することであって、前記第１の位置は、複数の使用コンテキストのうち第１の使用コンテキストに対応する、ことと、
    前記ＣＧＲ環境内で前記第１の表現を前記第１の位置と異なる第２の位置に移動するよう求める要求を受信することであって、前記第２の位置は、平面上の位置に対応する、ことと、
    前記要求を受信したことに応答して、
    前記第２の位置が前記複数の使用コンテキストのうち第２の使用コンテキストに対応するとの判断に従って、前記第２の使用コンテキストに基づいて、前記ウェアラブル電子デバイスの前記ディスプレイを介して、前記第２の位置に、前記仮想オブジェクトの第２の表現を表示することであって、前記第２の表現は、前記第１の表現と異なり、前記第２の表現は、２次元表現である、ことと、
    前記第２の位置が前記複数の使用コンテキストのうち第３の使用コンテキストに対応するとの判断に従って、前記第３の使用コンテキストに基づいて、前記ウェアラブル電子デバイスの前記ディスプレイを介して、前記第２の位置に、前記仮想オブジェクトの第３の表現を表示することであって、前記第３の表現は、前記第１の表現及び前記第２の表現と異なり、前記第３の表現は、３次元表現である、ことと
    を含む、方法。
  2. 前記複数の使用コンテキストのうち前記第２の使用コンテキストが、電子デバイスの表現における位置に前記第２の位置が対応すると判断された場合に満たされる使用コンテキストを含み、
    前記第２の位置が前記複数の使用コンテキストのうち前記第２の使用コンテキストに対応するとの前記判断に従って、前記第２の使用コンテキストに基づいて前記仮想オブジェクトの前記第２の表現を表示することが、前記ＣＧＲ環境内で前記電子デバイスの前記表現の上に前記仮想オブジェクトの前記２次元表現を表示することを含む、
    請求項１に記載の方法。
  3. 前記複数の使用コンテキストのうち前記第２の使用コンテキストが、垂直平面における位置に前記第２の位置が対応すると判断された場合に満たされる使用コンテキストを含み、
    前記第２の位置が前記複数の使用コンテキストのうち前記第２の使用コンテキストに対応するとの前記判断に従って、前記第２の使用コンテキストに基づいて前記仮想オブジェクトの前記第２の表現を表示することが、前記ＣＧＲ環境内で前記垂直平面上に前記仮想オブジェクトの前記２次元表現を表示することを含む、
    請求項１～２のいずれか一項に記載の方法。
  4. 前記第２の表現のサイズが、前記電子デバイスの前記ディスプレイと前記ＣＧＲ環境内の前記垂直平面との間の距離に基づく、請求項３に記載の方法。
  5. 前記複数の使用コンテキストのうち前記第３の使用コンテキストが、前記ＣＧＲ環境内の水平面における位置に前記第２の位置が対応すると判断された場合に満たされる使用コンテキストを含み、
    前記第２の位置が前記複数の使用コンテキストのうち前記第３の使用コンテキストに対応するとの前記判断に従って、前記第３の使用コンテキストに基づいて前記仮想オブジェクトの前記第３の表現を表示することが、前記ＣＧＲ環境内の前記水平面上に前記仮想オブジェクトの前記３次元表現を表示することを含む、
    請求項１～４のいずれか一項に記載の方法。
  6. 前記水平面が第１のタイプの水平面であるとの判断に従って、前記３次元表現が第１のサイズの表現であり、
    前記水平面が第２のタイプの水平面であるとの判断に従って、前記３次元表現が前記第１のサイズと異なる第２のサイズの表現である、
    請求項５に記載の方法。
  7. 前記複数の使用コンテキストのうち前記第２の使用コンテキストが、最大化ビュー基準が満たされた場合に満たされる使用コンテキストを含み、前記第２の使用コンテキストに基づいて前記仮想オブジェクトの前記第２の表現を表示することが、前記ＣＧＲ環境内の複数の平面上に仮想オブジェクトの複数の表現を表示することを含む、
    請求項１～６のいずれか一項に記載の方法。
  8. 最大化ビューアフォーダンスに対応する選択可能な仮想オブジェクトが表示され、最大化ビュー基準は、最大化ビューアフォーダンスに対応する前記選択可能な仮想オブジェクトが選択された場合に満たされる基準を含む、請求項７に記載の方法。
  9. 前記第２の位置が前記複数の使用コンテキストのうち前記第２の使用コンテキストに対応するとの前記判断が行われ、
    前記第１の表現が第１の視覚的コンテンツを含み、
    前記第２の表現が前記第１の視覚的コンテンツを含まない、
    請求項１～８のいずれか一項に記載の方法。
  10. 前記第２の位置が前記複数の使用コンテキストのうち前記第２の使用コンテキストに対応するとの前記判断が行われ、
    前記第１の表現が、第３のサイズで表示される第３の視覚的コンテンツを含み、
    前記第２の表現が、前記第３のサイズと異なる第４のサイズで表示される前記第３の視覚的コンテンツを含む、
    請求項１～９のいずれか一項に記載の方法。
  11. 前記第２の位置が前記複数の使用コンテキストのうち前記第２の使用コンテキストに対応するとの前記判断が行われ、
    前記第１の表現が第１の選択可能オブジェクトを含み、
    前記第２の表現が前記第１の選択可能なオブジェクトを含まない、
    請求項１～１０のいずれか一項に記載の方法。
  12. 前記第２の位置が前記複数の使用コンテキストのうち前記第２の使用コンテキストに対応するとの前記判断が行われ、
    前記第１の表現が第４のサイズであり、
    前記第２の表現が前記第４のサイズと異なる第５のサイズである、
    請求項１～１１のいずれか一項に記載の方法。
  13. 前記第２の使用コンテキストに基づいて前記仮想オブジェクトの前記第２の表現を表示することが、前記第１の表現が前記第２の位置から既定の距離内にあるときに、前記第１の表現の表示を前記第２の表現の表示に遷移させることを含む、請求項１～１２のいずれか一項に記載の方法。
  14. 前記第２の位置が、前記複数の使用コンテキストのうち第４の使用コンテキストに対応するとの判断に従って、前記第４の使用コンテキストは、禁止位置に前記第２の位置が対応する場合に満足され、前記第４の使用コンテキストに基づいて、前記ＣＧＲ環境内で前記仮想オブジェクトの表現の表示を取りやめること、
    を更に含む、請求項１～１３のいずれか一項に記載の方法。
  15. 前記第２の位置が前記複数の使用コンテキストのうち前記第４の使用コンテキストに対応するとの前記判断に従って、前記ＣＧＲ環境内に、前記第２の位置が禁止位置であることを示す指示子を表示すること、
    を更に含む、請求項１４に記載の方法。
  16. コンピュータに、請求項１～１５のいずれか一項に記載の前記方法を実行させる、
    コンピュータプログラム。
  17. 請求項１６に記載の前記コンピュータプログラムを記憶するメモリと、
    前記メモリに記憶された前記コンピュータプログラムを実行可能な１以上のプロセッサと、
    を含む、システム。
  18. 請求項１～１５のいずれか一項に記載の前記方法を実行する手段を備えた、
    システム。
JP2021561036A 2019-09-27 2020-08-31 仮想オブジェクトの制御 Active JP7436505B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962907216P 2019-09-27 2019-09-27
US62/907,216 2019-09-27
US202063058217P 2020-07-29 2020-07-29
US63/058,217 2020-07-29
PCT/US2020/048833 WO2021061349A1 (en) 2019-09-27 2020-08-31 Controlling representations of virtual objects in a computer-generated reality environment

Publications (2)

Publication Number Publication Date
JP2022533811A JP2022533811A (ja) 2022-07-26
JP7436505B2 true JP7436505B2 (ja) 2024-02-21

Family

ID=72521714

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021561036A Active JP7436505B2 (ja) 2019-09-27 2020-08-31 仮想オブジェクトの制御

Country Status (6)

Country Link
US (2) US11861056B2 (ja)
EP (1) EP3928190A1 (ja)
JP (1) JP7436505B2 (ja)
KR (1) KR102684612B1 (ja)
CN (1) CN113785260A (ja)
WO (1) WO2021061349A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
DE112014000709B4 (de) 2013-02-07 2021-12-30 Apple Inc. Verfahren und vorrichtung zum betrieb eines sprachtriggers für einen digitalen assistenten
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
CN115836271A (zh) * 2020-07-14 2023-03-21 苹果公司 生成用于工作空间的建议内容
CN116507997A (zh) * 2020-09-11 2023-07-28 苹果公司 在环境中显示用户界面的方法及对应电子设备和计算机可读存储介质
US11908088B2 (en) * 2021-06-09 2024-02-20 Red Hat, Inc. Controlling virtual resources from within an augmented reality environment
CN118020045A (zh) * 2021-08-27 2024-05-10 苹果公司 电子设备的增强表示的系统和方法
US20240153215A1 (en) * 2022-11-08 2024-05-09 International Business Machines Corporation Iterative virtual reality modeling amelioration for three-dimensional to-be-printed objects and virtual reality filament sections
WO2024128843A1 (ko) * 2022-12-16 2024-06-20 삼성전자주식회사 사용자의 신체 정보에 기반하여 형성된 영역을 이용하여 어플리케이션을 나타내는 시각적 객체를 표시하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016203792A (ja) 2015-04-22 2016-12-08 株式会社デンソー 電源装置
US20170371432A1 (en) 2016-06-24 2017-12-28 Anatolie Gavriliuc Integrated free space and surface input device
WO2018038136A1 (ja) 2016-08-24 2018-03-01 ナーブ株式会社 画像表示装置、画像表示方法、及び画像表示プログラム
US20180307303A1 (en) 2017-04-19 2018-10-25 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
US20180315248A1 (en) 2017-05-01 2018-11-01 Magic Leap, Inc. Matching content to a spatial 3d environment
WO2019067482A1 (en) 2017-09-29 2019-04-04 Zermatt Technologies Llc DISPLAYING APPLICATIONS IN A SIMULATED REALITY ENVIRONMENT ENVIRONMENT
WO2019069575A1 (ja) 2017-10-05 2019-04-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2020042802A (ja) 2018-09-11 2020-03-19 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ３次元コンテンツ内の場所に基づく仮想要素モダリティ

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3251639B2 (ja) * 1992-06-08 2002-01-28 株式会社東芝 ポインティング装置
US5861867A (en) 1992-06-08 1999-01-19 Kabushiki Kaisha Toshiba Pointing apparatus
US6335765B1 (en) * 1999-11-08 2002-01-01 Weather Central, Inc. Virtual presentation system and method
US6567085B1 (en) * 1999-12-22 2003-05-20 Lucent Technologies Inc. Display techniques for three-dimensional virtual reality
WO2010141678A1 (en) * 2009-06-05 2010-12-09 Dassault Systemes Solidworks Corporation Predictive target enlargement
US20130249948A1 (en) 2011-08-26 2013-09-26 Reincloud Corporation Providing interactive travel content at a display device
US9530232B2 (en) * 2012-09-04 2016-12-27 Qualcomm Incorporated Augmented reality surface segmentation
US9443354B2 (en) * 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
DE102014009298A1 (de) * 2014-06-26 2015-12-31 Audi Ag Verfahren zum Betreiben eines Virtual-Reality-Systems und Virtual-Reality-System
US20170139556A1 (en) * 2014-10-01 2017-05-18 Quantum Interface, Llc Apparatuses, systems, and methods for vehicle interfaces
US10176641B2 (en) * 2016-03-21 2019-01-08 Microsoft Technology Licensing, Llc Displaying three-dimensional virtual objects based on field of view
US10469976B2 (en) * 2016-05-11 2019-11-05 Htc Corporation Wearable electronic device and virtual reality system
US11328484B2 (en) * 2016-05-20 2022-05-10 Magic Leap, Inc. Contextual awareness of user interface menus
JP2018101019A (ja) * 2016-12-19 2018-06-28 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
US10290152B2 (en) * 2017-04-03 2019-05-14 Microsoft Technology Licensing, Llc Virtual object user interface display
KR20220100102A (ko) 2017-09-29 2022-07-14 애플 인크. 시선-기반 사용자 상호작용
CN108434739B (zh) * 2018-01-30 2019-03-19 网易（杭州）网络有限公司 游戏场景中虚拟资源的处理方法及装置
US10504290B2 (en) * 2018-05-04 2019-12-10 Facebook Technologies, Llc User interface security in a virtual reality environment
US11494990B2 (en) * 2018-10-08 2022-11-08 Google Llc Hybrid placement of objects in an augmented reality environment
CN111399714A (zh) 2019-05-31 2020-07-10 苹果公司 用户活动快捷方式建议
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016203792A (ja) 2015-04-22 2016-12-08 株式会社デンソー 電源装置
US20170371432A1 (en) 2016-06-24 2017-12-28 Anatolie Gavriliuc Integrated free space and surface input device
WO2018038136A1 (ja) 2016-08-24 2018-03-01 ナーブ株式会社 画像表示装置、画像表示方法、及び画像表示プログラム
US20180307303A1 (en) 2017-04-19 2018-10-25 Magic Leap, Inc. Multimodal task execution and text editing for a wearable system
US20180315248A1 (en) 2017-05-01 2018-11-01 Magic Leap, Inc. Matching content to a spatial 3d environment
WO2019067482A1 (en) 2017-09-29 2019-04-04 Zermatt Technologies Llc DISPLAYING APPLICATIONS IN A SIMULATED REALITY ENVIRONMENT ENVIRONMENT
WO2019069575A1 (ja) 2017-10-05 2019-04-11 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
JP2020042802A (ja) 2018-09-11 2020-03-19 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． ３次元コンテンツ内の場所に基づく仮想要素モダリティ

Also Published As

Publication number Publication date
US20210365108A1 (en) 2021-11-25
WO2021061349A1 (en) 2021-04-01
EP3928190A1 (en) 2021-12-29
JP2022533811A (ja) 2022-07-26
US20240126362A1 (en) 2024-04-18
CN113785260A (zh) 2021-12-10
US11861056B2 (en) 2024-01-02
KR102684612B1 (ko) 2024-07-15
KR20210136116A (ko) 2021-11-16

Similar Documents

Publication Publication Date Title
JP7436505B2 (ja) 仮想オブジェクトの制御
KR102596341B1 (ko) 환경에서 객체들을 조작하기 위한 방법들
EP3928192B1 (en) Wearable electronic device presenting a computer-generated reality environment
US11995230B2 (en) Methods for presenting and sharing content in an environment
US20230384907A1 (en) Methods for relative manipulation of a three-dimensional environment
US20230350539A1 (en) Representations of messages in a three-dimensional environment
US20230092282A1 (en) Methods for moving objects in a three-dimensional environment
US20230106627A1 (en) Devices, Methods, And Graphical User Interfaces for Interacting with Three-Dimensional Environments
JP2022526182A (ja) 追加のディスプレイを有するデバイスの管理
US20230343049A1 (en) Obstructed objects in a three-dimensional environment
US20230334808A1 (en) Methods for displaying, selecting and moving objects and containers in an environment
US20230206572A1 (en) Methods for sharing content and interacting with physical devices in a three-dimensional environment
US12131429B2 (en) Devices, methods, and graphical user interfaces for displaying a representation of a user in an extended reality environment
US20230103161A1 (en) Devices, methods, and graphical user interfaces for tracking mitigation in three-dimensional environments
EP4453695A1 (en) Methods for sharing content and interacting with physical devices in a three-dimensional environment

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211014

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211014

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230301

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240208

R150 Certificate of patent or registration of utility model

Ref document number: 7436505

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150