JP7101205B2 - 仮想紙 - Google Patents

仮想紙 Download PDF

Info

Publication number
JP7101205B2
JP7101205B2 JP2020047380A JP2020047380A JP7101205B2 JP 7101205 B2 JP7101205 B2 JP 7101205B2 JP 2020047380 A JP2020047380 A JP 2020047380A JP 2020047380 A JP2020047380 A JP 2020047380A JP 7101205 B2 JP7101205 B2 JP 7101205B2
Authority
JP
Japan
Prior art keywords
virtual object
interface
world coordinates
virtual
cgr
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020047380A
Other languages
English (en)
Other versions
JP2020155130A (ja
Inventor
ピー ボアシエール クレマン
エル イグレシアス サミュエル
ロバート オリオール ティモシー
マイケル オハーン アダム
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apple Inc
Original Assignee
Apple Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apple Inc filed Critical Apple Inc
Publication of JP2020155130A publication Critical patent/JP2020155130A/ja
Application granted granted Critical
Publication of JP7101205B2 publication Critical patent/JP7101205B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/395—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability involving distributed video coding [DVC], e.g. Wyner-Ziv video coding or Slepian-Wolf video coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2024—Style variation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

（関連出願の相互参照）
本出願は、その全体が参照により本明細書に組み込まれる、２０１９年３月１８日に出願された米国仮特許出願第６２／８２０，１３７号の利益を主張する。
本開示は、概して、多機能デバイス上のコンピュータ生成現実（ＣＧＲ）用途に関する。
以前から利用可能なコンピュータ生成現実（ＣＧＲ）体験において、２Ｄ仮想コンテンツ及び立体（又は３Ｄ）仮想コンテンツは、典型的には、ユーザＣＧＲ環境を特徴付ける１組の世界座標に従って表示される。次に、２Ｄ及び立体仮想コンテンツの両方に関連付けられた表示及びユーザ対話の可能性の範囲は、ユーザＣＧＲ環境を特徴付ける１組の世界座標に基づいて、仮想コンテンツをレンダリング及び表示することに限定される。
本開示は、当業者によって理解され得るように、いくつかの例示的な実施形態の態様を参照することによって、より詳細な説明を有してもよく、そのいくつかは添付図面に示されている。
いくつかの実施形態に係る、動作環境の例の図である。 いくつかの実施形態に係る、動作環境の例の図である。 いくつかの実施形態に係る、コントローラの例のブロック図である。 いくつかの実施形態に係る、コンピュータ生成現実（ＣＧＲ）デバイスのブロック図である。 いくつかの実施形態に係る仮想紙の例を示す。 いくつかの実施形態に係る仮想紙の例を示す。 いくつかの実施形態に係る仮想紙の例を示す。 いくつかの実施形態に係る仮想紙の例を示す。 いくつかの実施形態に係る仮想紙の例を示す。 いくつかの実施形態に係る仮想紙の例を示す。 いくつかの実施形態に係る仮想紙の例を示す。 いくつかの実施形態に係る仮想紙の例を示す。 いくつかの実施形態に係る仮想紙の例を示す。 いくつかの実施形態に係る仮想紙の例を示す。 いくつかの実施形態に係る仮想紙の例を示す。 いくつかの実施形態に係る仮想紙の例を示す。 いくつかの実施形態に係る仮想紙の例を示す。 いくつかの実施形態に係る仮想紙の例を示す。 いくつかの実施形態に係る仮想紙の例を示す。 いくつかの実施形態に係る、例示的な仮想紙における仮想コンテンツとの相互作用の例を示す。 いくつかの実施形態に係る、例示的な仮想紙における仮想コンテンツとの相互作用の例を示す。 いくつかの実施形態に係る、例示的な仮想紙における仮想コンテンツとの相互作用の例を示す。 いくつかの実施形態に係る、例示的な仮想紙における仮想コンテンツとの相互作用の例を示す。 いくつかの実施形態に係る、例示的な仮想紙における仮想コンテンツとの相互作用の例を示す。 いくつかの実施形態に係る、例示的な仮想紙における仮想コンテンツとの相互作用の例を示す。 いくつかの実施形態に係る、例示的な仮想紙における仮想コンテンツとの相互作用の例を示す。 いくつかの実施形態に係る、例示的な仮想紙における仮想コンテンツとの相互作用の例を示す。 いくつかの実施形態に係る、例示的な仮想紙における仮想コンテンツとの相互作用の例を示す。 いくつかの実施形態に係る、例示的な仮想紙における仮想コンテンツとの相互作用の例を示す。 いくつかの実施形態に係る、例示的な仮想紙における仮想コンテンツとの相互作用の例を示す。 いくつかの実施形態に係る、例示的な仮想紙における仮想コンテンツとの相互作用の例を示す。 いくつかの実施形態に係る、例示的な仮想紙における仮想コンテンツとの相互作用の例を示す。 いくつかの実施形態に係る、有界面を表示する方法のフローチャートを示す。 いくつかの実施形態に係る、有界面を表示する方法のフローチャートを示す。 いくつかの実施形態に係る、有界領域の周辺部内に表示されたコンテンツと対話する方法のフローチャートを示す。 いくつかの実施形態に係る、有界領域の周辺部内に表示されたコンテンツと対話する方法のフローチャートを示す。 いくつかの実施形態に係る、コンピューティングデバイスのブロック図である。
慣例により、図面に示される様々な特徴は縮尺どおりに描かれていない場合がある。したがって、明確にするために、様々な特徴の寸法は任意に拡大又は縮小されている場合がある。加えて、いくつかの図面は、所与のシステム、方法、又はデバイスの構成要素の全てを描いていない場合がある。最後に、本明細書及び図の全体を通して、同様の特徴を示すために同様の参照番号が使用される場合がある。
本明細書に開示される各種実施形態は、立体及び適合する仮想コンテンツを仮想紙に混在させるためのデバイス、装置、システム、及び方法を含む。各種実施形態において、本方法は、１つ以上のプロセッサと、非一時的メモリと、１つ以上のディスプレイと、を含むデバイスにおいて実行される。本方法は、ネイティブユーザコンピュータ生成現実（ＣＧＲ）環境内に有界面を表示することを含み、有界面は、ネイティブユーザＣＧＲ環境を特徴付ける第１の１組の世界座標に基づいて表示される。本方法は、第１の立体仮想オブジェクトを有界面の第１の側の周辺部内に表示することを更に含み、第１の立体仮想オブジェクトは、ネイティブユーザＣＧＲ環境を特徴付ける第１の１組の世界座標とは異なる第２の１組の世界座標に従って表示される。
本明細書に開示される各種実施形態は、仮想紙内の仮想コンテンツと対話するためのデバイス、装置、システム、及び方法を含む。各種実施形態において、本方法は、１つ以上のプロセッサと、非一時的メモリと、１つ以上のディスプレイと、を含むデバイスにおいて実行される。本方法は、第１の１組の世界座標に基づいて有界領域を表示することを含み、有界領域内のコンテンツは、第２の１組の世界座標に従って表示される立体仮想オブジェクトを含む。本方法は、コンテンツに向けられた入力を受信することを更に含む。本方法は、入力に従って、有界領域の周辺部内でコンテンツを移動させることを更に含み、移動させることは、入力に従って、有界領域の周辺部内で立体仮想オブジェクトを移動させることと、第２の１組の世界座標に従って立体仮想オブジェクトをアニメーション化することと、を含む。
いくつかの実施形態において、デバイスは、１つ以上のプロセッサと、非一時的メモリと、１つ以上のプログラムと、を含み、１つ以上のプログラムは、非一時的メモリに記憶され、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、本明細書に記載の方法のいずれかを実行するか又は実行させる命令を含む。いくつかの実施形態において、非一時的コンピュータ可読記憶媒体は内部に命令を記憶しており、この命令は、デバイスの１つ以上のプロセッサによって実行されると、デバイスに本明細書内で説明する方法のうちのいずれかを実行させるか又は方法のうちのいずれかの特性を引き起こす。いくつかの実施形態において、デバイスは、１つ以上のプロセッサと、非一時的メモリと、本明細書に記載される方法のいずれかを実行するか又は方法のうちのいずれかの特性を引き起こす手段と、を含む。
図面に示される例示的な実施形態の十分な理解を提供するために、数多くの詳細が記載されている。しかしながら、図面は単に本開示のいくつかの例示的な態様を示すものであり、したがって、限定的であると考慮されるべきではない。当業者は、他の有効な態様及び／又は変形が本明細書に記載される特定の詳細全てを含まないことを理解するであろう。更に、周知のシステム、方法、構成要素、デバイス及び回路は、本明細書に記載される例示的な実施形態のより適切な態様を不明瞭にしないように、網羅的に詳細を記載していない。
前述の以前から利用可能なコンピュータ生成現実（ＣＧＲ）システムとは対照的に、本明細書に開示される各種実施形態は、多次元ＣＧＲ環境を提供する。いくつかの実施形態において、多次元ＣＧＲ環境は、有界面又は有界領域として表される仮想紙の表示を含む。いくつかの実施形態において、有界面は、ネイティブユーザＣＧＲ環境を特徴付ける第１の１組の世界座標に基づいて表示される。更に、有界面内で、立体仮想コンテンツは、第２の１組の世界座標に基づいて表示される。いくつかの実施形態において、有界面内に更に表示されるのは、適合する仮想コンテンツ（例えば、サブセットのインスタンス内の２Ｄ仮想コンテンツ）である。適合する仮想コンテンツは、いくつかの実施形態による第１の１組の世界座標に基づいて、有界面の輪郭に適合する。
例えば、３Ｄ仮想コンテンツが仮想紙の周辺部内にとどまるように３Ｄ仮想コンテンツが表示されているが、３Ｄ仮想コンテンツは仮想紙の第１の側から突出することができ、３Ｄ仮想コンテンツの表示は、第２の１組の世界座標に基づく。一方、２Ｄの仮想コンテンツは、第１の１組の世界座標に基づいて仮想紙の表面に適合して表示される。いくつかの実施形態において、仮想紙（例えば、後側）の第１の側に対向する仮想紙の第２の側は、２Ｄ仮想コンテンツのラスタ化された適合する表現に加えて、３Ｄ仮想コンテンツのラスタ化された適合する表現、例えば、３Ｄ仮想コンテンツのぼけ効果又は影と共に表示される。
本明細書に記載される実施形態による仮想紙は、仮想コンテンツがどのようにＣＧＲ環境内に表示されるかを改善するだけでなく、仮想コンテンツがＣＧＲ環境内でどのように対話されるかを改善する。例えば、以前から利用可能な表示方法は、多くの場合、ウィンドウ（又はアプリケーション）ペイン内に表示され得るよりも２Ｄコンテンツが多い場合に、２Ｄコンテンツの一部分を表示することが多い。スクロール入力に応答して、ウィンドウ又はアプリケーションペインの範囲は、２Ｄコンテンツを境界で切り取り、２Ｄコンテンツの別の部分が範囲内に表示される。立体視コンテンツ内に有界領域を提示するためのＣＧＲ環境では、以前から利用可能なシステム及び方法は、有界領域内で少なくとも部分的に可視のままであることを意図した立体仮想コンテンツを切り取るための効率的かつ洗練された方法を提供しない。
対照的に、本明細書に開示される各種実施形態は、立体（又は３Ｄ）仮想コンテンツを有界領域の周辺部内に結びつける。したがって、立体仮想オブジェクトを有界領域の周辺部を越えて移動させるスクロール入力に応答して、いくつかの実施形態において、初期に有界領域の表面から突出する立体仮想オブジェクトは、有界領域の表面の反対側に後退する。更に、いくつかの実施形態において、立体仮想オブジェクトがネイティブユーザＣＧＲ環境の内側に適合するには大きすぎる場合（例えば、海洋ライナ）、立体仮想オブジェクトは、第２の１組の世界座標によって特徴付けられる有界領域内に配置される。立体仮想オブジェクトを有界領域内に配置することにより、立体仮想オブジェクトを実物大で、かつ適切な距離から見るために、有界領域の表面を介してユーザが見ることを可能にする。
図１Ａは、いくつかの実施形態に係る、コンピュータ生成現実（ＣＧＲ）環境１００Ａの一例のブロック図である。関連する特徴が示されているが、当業者は、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。
本明細書に記載のように、物理的環境とは、人々が電子システムの助けを借りずに、感知及び／又は対話することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品が挙げられる。人々は、視覚、触覚、聴覚、味覚、及び臭覚などを介して、物理的環境を直接感知し、及び／又はそれと対話することができる。対照的に、ＣＧＲ環境は、人々が電子システムを介して感知する及び／又は対話する、完全に又は部分的にシミュレーション環境を指す。ＣＧＲでは、人の身体運動のサブセット又はその表現が追跡され、それに応答して、ＣＧＲ環境内でシミュレートされた１つ以上の仮想オブジェクトの１つ以上の特性が、少なくとも１つの物理学の法則でふるまうように調整される。例えば、ＣＧＲシステムは、人の頭部の回転を検出し、それに応答して、そのようなビュー及び音が物理的環境においてどのように変化し得るかと同様の方法で、人に提示されるグラフィックコンテンツ及び音場を調整することができる。状況によっては（例えば、アクセス性の理由から）、ＣＧＲ環境における仮想オブジェクト（単数又は複数）の特性（単数又は複数）に対する調整は、身体運動の表現（例えば、音声コマンド）に応じて行われてもよい。
人は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちのいずれか１つを使用して、ＣＧＲオブジェクトを感知する及び／又はＣＧＲオブジェクトと対話してもよい。例えば、人は、３Ｄ空間内のポイントオーディオソースの知覚を提供する、３Ｄ又は空間オーディオ環境を作り出すオーディオオブジェクトを感知し、及び／又はそれと対話することができる。別の例では、オーディオオブジェクトは、コンピュータ生成オーディオの有無にかかわらず、物理的環境から周囲音を選択的に組み込む、オーディオ透過性を可能にすることができる。いくつかのＣＧＲ環境では、人は、オーディオオブジェクトのみを感知し、及び／又はそれと対話することができる。ＣＧＲの例としては、仮想現実及び複合現実が挙げられる。
本明細書に記載のように、仮想現実（ＶＲ）環境とは、１つ以上の感覚に対するコンピュータ生成感覚入力に完全に基づくように設計されたシミュレーション環境を指す。ＶＲ環境は、人が感知及び／又は対話することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成イメージは、仮想オブジェクトの例である。人は、コンピュータ生成環境内での人の存在のシミュレーションを通じて、及び／又はコンピュータ生成環境内での人の身体運動のサブセットのシミュレーションを通じて、ＶＲ環境における仮想オブジェクトを感知し、及び／又はそれと対話することができる。
コンピュータ生成感覚入力に完全に基づくように設計されたＶＲ環境とは対照的に、複合現実（ＭＲ）環境は、コンピュータ生成感覚入力（例えば、仮想オブジェクト）を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計されたシミュレーション環境を指す。仮想の連続体上では、複合現実環境は、一方の端部における完全な物理的環境と、他方の端部における仮想現実環境との間であるがこれらを含まない、任意の場所である。
ＭＲ環境によっては、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変更に応答し得る。また、ＭＲ環境を提示するためのいくつかの電子システムは、仮想オブジェクトが現実のオブジェクト（すなわち、物理的環境又はその表現からの物理的物品）と対話することを可能にするために、物理的環境に対する場所及び／又は向きを追跡することができる。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるように、動きを考慮することができる。複合現実の例としては、拡張現実及び拡張仮想が挙げられる。
本明細書に記載のように、拡張現実（ＡＲ）環境とは、１つ以上の仮想オブジェクトが物理的環境又はその表現の上に重ね合わされているシミュレーションされた環境を指す。例えば、ＡＲ環境を提示するための電子システムは、人が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイ上に仮想オブジェクトを提示するように構成されていてもよく、それによって、人はシステムを使用して、物理的環境上に重ねられた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又はビデオをキャプチャする１つ以上の画像センサとを有してもよい。システムは、画像又はビデオを仮想オブジェクトと合成し、その合成物を不透明なディスプレイ上に提示する。人は、システムを使用して、物理的環境の画像又はビデオによって物理的環境を間接的に見て、物理的環境上に重ねられた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境のビデオは、「パススルービデオ」と呼ばれ、システムが、１つ以上の画像センサ（単数又は複数）を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にＡＲ環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムは、仮想オブジェクトを、物理的環境に、例えば、ホログラムとして又は物理的表面上に投影するプロジェクションシステムを有してもよく、それによって、人は、システムを使用して、物理的環境上に重ねられた仮想オブジェクトを知覚する。
本明細書で使用されるように、拡張現実環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変形されるシミュレーション環境を指す。例えば、パススルービデオを提供する際に、システムは、１つ以上のセンサ画像を変形して、画像センサによってキャプチャされた視点は異なる選択パースペクティブ視点（例えば、視点）を課すことができる。別の例として、物理的環境の表現は、その一部分をグラフィカルに変更（例えば、拡大）することによって変形されてもよく、それにより、変更された部分は、元のキャプチャ画像を表すが写実的ではないバージョンとなり得る。更なる例として、物理的環境の表現は、その一部分をグラフィカルに除去又は曖昧化することによって変形されてもよい。
本明細書で使用されるように、拡張仮想（ＡＶ）環境とは、仮想又はコンピュータ生成環境が物理的環境から１つ以上の感覚入力を組み込んでいるシミュレーション環境を指す。感覚入力は、物理的環境の１つ以上の特性の表現であり得る。例えば、ＡＶパークには、仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々が撮られた画像から写実的に再現される。別の例として、仮想オブジェクトは、１つ以上の画像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽の位置と一致する影を採用することができる。
多種多様の電子システムが存在することによって、人が様々なＣＧＲ環境を感知する及び／又はＣＧＲ環境と対話できるようになる。例としては、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ（ＨＵＤ）、統合表示機能を有する車両ウィンドシールド、統合表示機能を有する窓、（例えば、コンタクトレンズと同様に）人の目の上に配置されるように設計されたレンズとして形成されたディスプレイ、ヘッドホン／イヤフォン、スピーカアレイ、入力システム（例えば、触覚フィードバックを有する又は有さない、ウェアラブル又はハンドヘルドコントローラ）、スマートフォン、タブレット、及びデスクトップ／ラップトップコンピュータ、が挙げられる。ヘッドマウントシステムは、１つ以上のスピーカ（単数又は複数）及び一体型不透明ディスプレイを有してもよい。あるいは、ヘッドマウントシステムは、外部の不透明ディスプレイ（例えば、スマートフォン）を受け入れるように構成されていてもよい。ヘッドマウントシステムは、物理的環境の画像若しくはビデオをキャプチャするための１つ以上の画像センサ、及び／又は物理的環境の音声をキャプチャするための１つ以上のマイクロフォンを組み込んでいてもよい。不透明ディスプレイではなく、ヘッドマウントシステムは、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、画像を表す光が人の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、ＯＬＥＤ、ＬＥＤ、ｕＬＥＤ、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実施形態において、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィック画像を人間の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、例えば、ホログラムとして、又は物理的表面上に、仮想オブジェクトを物理的環境内に投影するように構成されていてもよい。
そのため、非限定的な例として、ＣＧＲ環境１００Ａは、コントローラ１０２及びＣＧＲデバイス（例えば、ヘッドマウントデバイス（ＨＭＤ））１０４を含む。図１の実施例では、ＣＧＲデバイス１０４はユーザ１０によって装着される。いくつかの実施形態において、ＣＧＲデバイス１０４は、ヘッドマウントデバイス（ＨＭＤ）、タブレット、携帯電話、ウェアラブルコンピューティングデバイスなどに対応する。いくつかの実施形態において、ＣＧＲデバイス１０４は、ユーザ１０にＣＧＲ体験を提示するように構成される。いくつかの実施形態において、ＣＧＲデバイス１０４は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。
いくつかの実施形態において、ＣＧＲデバイス１０４は、ユーザ１０がシーン１０６内に仮想的及び／又は物理的に存在している間に、ＣＧＲ体験をユーザ１０に提示する。いくつかの実施形態において、ＣＧＲ体験を提示している間に、ＣＧＲデバイス１０４は、ＣＧＲコンテンツを提示し、シーン１０６のビデオパススルーを可能にするように構成される（例えば、ＣＧＲデバイス１０４は、ＡＲ対応携帯電話又はタブレットに対応する）。いくつかの実施形態において、ＡＲ体験を提示している間、ＣＧＲデバイス１０４は、ＡＲコンテンツを提示し、シーン１０６の光学的シースルーを可能にするように構成される（例えば、ＣＧＲデバイス１０４は、ＡＲ対応ガラスに対応する）。いくつかの実施形態において、仮想現実（ＶＲ）体験を提示している間、ＣＧＲデバイス１０４は、ＶＲコンテンツを提示し、任意選択的に、シーン１０６のビデオパススルーを可能にするように構成されている（例えば、ＣＧＲデバイス１０４は、ＶＲ対応ＨＭＤに対応する）。
いくつかの実施形態において、ユーザ１０は、（例えば、図１に示すように）自身の頭部上に、ＣＧＲデバイス１０４を装着する。したがって、ＣＧＲデバイス１０４は、ＣＧＲコンテンツを表示するために提供される１つ以上のディスプレイを含む。例えば、ＣＧＲデバイス１０４は、ユーザ１０の視野を囲む。いくつかの実施形態において、ＣＧＲデバイス１０４は、ユーザ１０がＣＧＲデバイス１０４を装着しないＣＧＲコンテンツを提示するように構成されたＣＧＲ（例えば、ＡＲ／ＶＲ）チャンバ、ＣＧＲエンクロージャ、又は、ＣＧＲルームで置き換えられる。いくつかの実施形態において、ユーザ１０は、その手にＣＧＲデバイス１０４を保持する。
いくつかの実施形態において、コントローラ１０２は、ユーザ１０に対するＣＧＲ体験を管理及び調整するように構成される。いくつかの実施形態において、コントローラ１０２は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。いくつかの実施形態において、コントローラ１０２は、シーン１０６に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ１０２は、シーン１０６内に位置するローカルサーバである。別の例では、コントローラ１０２は、シーン１０６の外側に位置するリモートサーバ（例えば、クラウドサーバ、中央サーバなど）である。いくつかの実施形態において、コントローラ１０２は、１つ以上の有線又は無線通信チャネル（例えば、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、ＩＥＥＥ ８０２．３ｘなど）を介して、ＣＧＲデバイス１０４と通信可能に結合される。いくつかの実施形態において、コントローラ１０２の機能性は、ＣＧＲデバイス１０４によって提供されるか、及び／又はそれと組み合わされる。
図１Ａに示すように、ＣＧＲデバイス１０４は、シーン１０６を提示する。いくつかの実施形態において、シーン１０６は、コントローラ１０２及び／又はＣＧＲデバイス１０４によって生成される。いくつかの実施形態において、シーン１０６は、実世界シーンのシミュレートされた置き換えである仮想シーンを含む。換言すれば、いくつかの実施形態において、シーン１０６は、コントローラ１０２及び／又はＣＧＲデバイス１０４によってシミュレートされる。このような実施形態において、シーン１０６は、ＣＧＲデバイス１０４が位置する実世界シーンとは異なる。いくつかの実施形態において、シーン１０６は、実世界シーンの修正されたバージョンである拡張シーンを含む。例えば、いくつかの実施形態において、コントローラ１０２及び／又はＣＧＲデバイス１０４は、シーン１０６を生成するために、ＣＧＲデバイス１０４が位置する実世界シーンを修正（例えば、拡張）する。いくつかの実施形態において、コントローラ１０２及び／又はＣＧＲデバイス１０４は、ＣＧＲデバイス１０４が位置する実世界シーンの複製をシミュレートすることによってシーン１０６を生成する。いくつかの実施形態において、コントローラ１０２及び／又はＣＧＲデバイス１０４は、ＣＧＲデバイス１０４が位置する実世界シーンのシミュレートされた複製からアイテムを除去及び／又は追加することによってシーン１０６を生成する。
図１Ｂを参照すると、図１Ｂは、いくつかの実施形態に係る、例示的な動作環境１００Ｂの図である。関連する特徴が示されているが、当業者は、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的のために、非限定的な例として、動作環境１００Ｂは、ネットワーク２０、コンピューティングデバイス３０、実世界シーン４０、及びデバイス１０４ｂを含む。
図１Ｂの例では、実世界シーン４０は、ユーザ１０を含む。各種実施形態において、デバイス１０４ｂは、実世界シーン４０の１組の画像をキャプチャし、シーン１０６を表すデータをネットワーク２０を介してコンピューティングデバイス３０に送信する。いくつかの実施形態において、デバイス１０４ｂは、コントローラ１０２及びカメラ１０４ａを含む。いくつかの実施形態において、カメラ１０４ａは１組の画像をキャプチャし、コントローラ１０２は、１組の画像に基づいてシーン１０６を表すデータを生成する。いくつかの実施形態において、シーン１０６を表すデータは、カメラ１０４ａの視野内にあるユーザ１０に関する人体姿勢情報１０８を含む。
各種実施形態において、人体姿勢情報１０８は、カメラ１０４ａの視野内にあるユーザ１０の人体姿勢を示す。例えば、いくつかの実施形態において、人体姿勢情報１０８は、ユーザ１０の関節位置及び／又は関節方向（例えば、肩関節、肘関節、手首関節、骨盤関節、膝関節、及び足首関節の位置／向き）を示す。いくつかの実施形態において、人体姿勢情報１０８は、ユーザ１０の様々な人体部分の位置／向き（例えば、頭部、胴体、上腕、下腕、上脚、及び下脚の位置／向き）を示す。
各種実施形態において、ネットワーク２０を介して人体姿勢情報１０８を送信することは、カメラ１０４ａによってキャプチャされた画像を送信するよりも消費する帯域幅が少ない。いくつかの実施形態において、ネットワークリソースは制限され、デバイス１０４ｂは、利用可能な量の帯域幅へのアクセスを有する。このような実施形態において、人体姿勢情報１０８を送信することは、利用可能な量の帯域幅より少ない量を消費するが、カメラ１０４ａによってキャプチャされた画像を送信することは、利用可能な量の帯域幅よりも多く消費する。各種実施形態において、（例えば、画像を送信する代わりに）人体姿勢情報１０８を送信することは、例えば、より少ないネットワークリソースを利用することによって（例えば、より少ない帯域幅を利用することによって）ネットワーク２０の動作性を改善する。
いくつかの実施形態において、コンピューティングデバイス３０は、人体姿勢情報１０８を利用してユーザ１０のアバターをレンダリングする。例えば、コンピューティングデバイス３０は、仮想シーン内にアバターをレンダリングするために、人体姿勢情報１０８を利用するディスプレイエンジン（例えば、レンダリング及びディスプレイパイプライン）に人体姿勢情報１０８を提供することができる。コンピューティングデバイス３０は、アバターをレンダリングするために人体姿勢情報１０８を利用するため、アバターの人体姿勢は、実世界シーン４０におけるユーザ１０の人体姿勢との類似度の範囲内にある。したがって、仮想シーン内のアバターを見ることは、実世界シーン４０の画像を見ることへの類似度の範囲内にある。
図２は、いくつかの実施形態に係る、コントローラ１０２の例のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのため、非限定的な例として、いくつかの実施形態において、コントローラ１０２は、１つ以上の処理ユニット２０２（例えば、マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、グラフィック処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、処理コア、及び／又は同様のものなど）、１つ以上の入出力（Ｉ／Ｏ）デバイス２０６、１つ以上の通信インタフェース２０８（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥ（登録商標）、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎｓ（ＧＳＭ（登録商標））、符号分割多元接続（ＣＤＭＡ）、時分割多元接続（ＴＤＭＡ）、全地球測位システム（ＧＰＳ）、赤外線（ＩＲ）、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＺＩＧＢＥＥ（登録商標）、及び／又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース２１０、メモリ２２０、並びにこれら及び様々な他の構成要素を相互接続するための１つ以上の通信バス２０４を含む。
いくつかの実施形態において、１つ以上の通信バス２０４は、システム構成要素を相互接続し、システム構成要素間の通信を制御する回路を含む。いくつかの実施形態において、１つ以上のＩ／Ｏデバイス２０６は、キーボード、マウス、タッチパッド、ジョイスティック、１つ以上のマイクロフォン、１つ以上のスピーカ、１つ以上の画像センサ、１つ以上のディスプレイ、及び／又は同様のものなどうちの少なくとも１つを含む。
メモリ２２０は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダブルデータレートランダムアクセスメモリ（ＤＤＲ ＲＡＭ）、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含む。いくつかの実施形態において、メモリ２２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス又は他の不揮発性記憶デバイスなどの、不揮発性メモリを含む。メモリ２２０は、１つ以上の処理ユニット２０２からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ２２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態において、メモリ２２０又はメモリ２２０の非一時的コンピュータ可読記憶媒体は、以下のプログラム、モジュール及びデータ構造、又は任意選択のオペレーティングシステム２３０及びＣＧＲ体験モジュール２４０を含むそれらのサブセットを記憶する。
オペレーティングシステム２３０は、様々な基本システムサービスを処理するための及びハードウェア依存タスクを実行するための手順を含む。いくつかの実施形態において、ＣＧＲ体験モジュール２４０は、１人以上のユーザに対して１つ以上のＣＧＲ体験を管理及び調整するように構成される（例えば、１人以上のユーザのための単一のＣＧＲ体験、又は１人以上のユーザのそれぞれのグループに対して複数のＣＧＲ体験）。そのため、各種実施形態において、ＣＧＲ体験モジュール２４０は、データ取得ユニット２４２、追跡ユニット２４４、調整ユニット２４６、及びデータ送信ユニット２４８を含む。
いくつかの実施形態において、データ取得ユニット２４２は、少なくともＣＧＲデバイス１０４からデータ（例えば、提示データ、対話データ、センサデータ、位置データなど）を取得するように構成される。そのため、各種実施形態において、データ取得ユニット２４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティック及びメタデータを含む。
いくつかの実施形態において、追跡ユニット２４４は、シーン１０６をマッピングし、シーン１０６に対する少なくともＣＧＲデバイス１０４の位置／場所を追跡するように構成される（図１Ａ）。そのため、各種実施形態において、追跡ユニット２４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティック及びメタデータを含む。
いくつかの実施形態において、調整ユニット２４６は、ＣＧＲデバイス１０４によってユーザに提示されるＣＧＲ体験を管理及び調整するように構成される。その目的のために、各種実施形態において、調整ユニット２４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティック及びメタデータを含む。
いくつかの実施形態において、データ送信ユニット２４８は、少なくともＣＧＲデバイス１０４にデータ（例えば、提示データ、位置データなど）を送信するように構成される。そのため、各種実施形態において、データ送信ユニット２４８は、そのための命令及び／又は論理、並びにそのためのヒューリスティック及びメタデータを含む。
データ取得ユニット２４２、追跡ユニット２４４、調整ユニット２４６、及びデータ送信ユニット２４８は、単一のデバイス（例えば、コントローラ１０２）上に存在するものとして示されているが、他の実施形態において、データ取得ユニット２４２、追跡ユニット２４４、調整ユニット２４６、及びデータ送信ユニット２４８の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図２は、本明細書に開示される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能的説明を更に意図している。当業者によって認識されるように、別々に示されたアイテムを組み合わせることができ、一部のアイテムを分離することができる。例えば、図２に別々に示されるいくつかの機能モジュールは、単一のモジュール内に実装することができ、単一の機能ブロックの様々な機能は、様々な実施形態において１つ以上の機能ブロックによって実装することができる。モジュールの実際の数並びに特定の機能の分割及びそれらにどのように機能が割り当てられるかは、実施形態によって異なり、いくつかの実施形態において、特定の実施形態のために選択されたハードウェア、ソフトウェア及び／又はファームウェアの特定の組み合わせに部分的に依存する。
図３は、いくつかの実施形態に係るＣＧＲデバイス１０４（図１Ａ）のブロック図である。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的のために、非限定的な例として、いくつかの実施形態において、ＣＧＲデバイス１０４は、１つ以上の処理ユニット３０２（例えば、マイクロプロセッサ、ＡＳＩＣ、ＦＰＧＡ、ＧＰＵ、ＣＰＵ、処理、コア、及び／又は同様のもの）、１つ以上の入出力（Ｉ／Ｏ）機器及びセンサ３０６、１つ以上の通信インタフェース３０８（例えば、ＵＳＢ、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＴＨＵＮＤＥＲＢＯＬＴ、ＩＥＥＥ ８０２．３ｘ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、ＧＳＭ（登録商標）、ＣＤＭＡ、ＴＤＭＡ、ＧＰＳ、赤外線、ＢＬＵＥＴＯＯＴＨ（登録商標）、ＺＩＧＢＥＥ（登録商標）、及び／又は同様のタイプのインタフェース）、１つ以上のプログラミング（例えば、Ｉ／Ｏ）インタフェース３１０、１つ以上のＣＧＲディスプレイ３１２、１つ以上の内部及び／又は外部対向画像センサ（interior-and/or exterior-facing image sensor）３１４、メモリ３２０、及びこれら並びに様々な他の構成要素を相互接続するための１つ以上の通信バス３０４が挙げられる。
いくつかの実施形態において、１つ以上の通信バス３０４は、システム構成要素を相互接続し、システム構成要素間の通信を制御する回路を含む。いくつかの実施形態において、１つ以上のＩ／Ｏ機器及びセンサ３０６は、少なくとも１つの慣性測定装置（ＩＭＵ）、加速度計、ジャイロスコープ、温度計、１つ以上の生理的センサ（例えば、血圧モニタ、心拍数モニタ、血液酸素センサ、血糖センサなど）、１つ以上のマイクロフォン３０７Ａ、１つ以上のスピーカ３０７Ｂ（例えば、ヘッドホン又はラウドスピーカ）、触覚エンジン、１つ以上の深度センサ（例えば、構造化光、飛行時間など）、及び／又は同様のものなどが挙げられる。
いくつかの実施形態において、１つ以上のＣＧＲディスプレイ３１２は、ＣＧＲ体験をユーザに提供するように構成される。いくつかの実施形態において、１つ以上のＣＧＲディスプレイ３１２は、ホログラフィック、デジタル光処理（ＤＬＰ）、液晶ディスプレイ（ＬＣＤ）、ＬＣｏＳ、有機発光電界効果トランジスタ（ＯＬＥＴ）、有機発光ダイオード（ＯＬＥＤ）、表面伝導型電子放出素子ディスプレイ（ＳＥＤ）、電界放出ディスプレイ（ＦＥＤ）、量子ドット発光ダイオード（ＱＤ－ＬＥＤ）、ＭＥＭＳ及び／又は同様のディスプレイタイプに相当する。いくつかの実施形態において、１つ以上のＣＧＲディスプレイ３１２は、回折、反射、偏光、ホログラフィック、導波管ディスプレイ、及び／又は同様のものなどに相当する。例えば、ＣＧＲデバイス１０４は単一のＣＧＲディスプレイを含む。別の実施例では、ＣＧＲデバイス１０４は、ユーザの眼鏡型ＣＧＲディスプレイを含む。いくつかの実施形態において、１つ以上のＣＧＲディスプレイ３１２は、ＣＧＲコンテンツを提示することができる。
いくつかの実施形態において、１つ以上の内部、外部、内向き、外向き、前側、及び／又は後側画像センサ３１４は、ユーザの目を含むユーザの顔の少なくとも一部分に対応する画像データを取得するように構成されている（任意のものは、視線追跡カメラと称されてもよい）。いくつかの実施形態において、１つ以上の内部、外部、内向き、外向き、前側、及び／又は後側画像センサ３１４は、ＣＧＲデバイス１０４が存在しなかった場合に、ユーザが見たシーンに対応する画像データを取得するように、前向き（又は外向き）に構成される（そして外向きカメラと称される場合もある）。１つ以上の内部、外部、内向き、外向き、前側、及び／又は後側画像センサ３１４は、１つ以上のＲＧＢカメラ（例えば、相補型金属酸化膜半導体（ＣＭＯＳ）画像センサ又は電荷結合デバイス（ＣＣＤ）画像センサを備えた）、１つ以上の赤外線（ＩＲ）カメラ、１つ以上のイベントベースのカメラ、及び／又は同様のものなどを含むことができる。
メモリ３２０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ又は他のランダムアクセスソリッドステートメモリデバイスなどの、高速ランダムアクセスメモリを含む。いくつかの実施形態において、メモリ３２０は、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス又は他の不揮発性記憶デバイスなどの、不揮発性メモリを含む。メモリ３２０は、１つ以上の処理ユニット３０２からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ３２０は、非一時的コンピュータ可読記憶媒体を含む。いくつかの実施形態において、メモリ３２０又はメモリ３２０の非一時的コンピュータ可読記憶媒体は、以下のプログラム、モジュール及びデータ構造、又はそれらのサブセットを記憶し、任意選択のオペレーティングシステム３３０及びＣＧＲ提示モジュール３４０を含む。
オペレーティングシステム３３０は、様々な基本システムサービスを処理するための及びハードウェア依存タスクを実行するための手順を含む。いくつかの実施形態において、ＣＧＲ提示モジュール３４０は、１つ以上のＣＧＲディスプレイ３１２を介して、ユーザにＣＧＲコンテンツを提示するように構成されている。そのため、各種実施形態において、ＣＧＲ提示モジュール３４０は、データ取得ユニット３４２、オーディオ／ＣＧＲ提示ユニット３４４、及びデータ送信ユニット３４６を含む。
いくつかの実施形態において、データ取得ユニット３４２は、コントローラ１０２、１つ以上のＩ／Ｏデバイス及びセンサ３０６、又は１つ以上の内部、外部、内向き、外向き、前側、及び／又は後側画像センサ３１４のうちの１つ以上から、（例えば、１つ以上の通信インタフェース３０８を介して）データ（例えば、提示データ、相互作用データ、センサデータ、位置データなど）を取得するように構成されている。そのため、各種実施形態において、データ取得ユニット３４２は、そのための命令及び／又は論理、並びにそのためのヒューリスティック及びメタデータを含む。
いくつかの実施形態において、オーディオ／ＣＧＲ提示ユニット３４４は、１つ以上のＣＧＲディスプレイ３１２（及び、各種実施形態において、スピーカ３０７Ｂ及び／又はマイクロフォン３０７Ａ）を介してオーディオ／ＣＧＲ体験を提示するように構成されている。そのため、各種実施形態において、オーディオ／ＣＧＲ提示ユニット３４４は、そのための命令及び／又は論理、並びにそのためのヒューリスティック及びメタデータを含む。
いくつかの実施形態において、データ送信ユニット３４６は、少なくともコントローラ１０２にデータ（例えば、提示データ、位置データなど）を送信するように構成される。そのため、各種実施形態において、データ送信ユニット３４６は、そのための命令及び／又は論理、並びにそのためのヒューリスティック及びメタデータを含む。
データ取得ユニット３４２、オーディオ／ＣＧＲ提示ユニット３４４、及びデータ送信ユニット３４６は、単一のデバイス（例えば、ＣＧＲデバイス１０４）上に存在するものとして示されているが、他の実施形態において、データ取得ユニット３４２、オーディオ／ＣＧＲ提示ユニット３４４、及びデータ送信ユニット３４６の任意の組み合わせが、別個のコンピューティングデバイス内に配置されてもよいことを理解されたい。
更に、図３は、本明細書に開示される実施形態の構造概略とは対照的に、特定の実施形態に存在し得る様々な特徴の機能的説明を更に意図している。当業者によって認識されるように、別々に示されたアイテムを組み合わせることができ、一部のアイテムを分離することができる。例えば、図３に別々に示されるいくつかの機能モジュールは、単一のモジュール内に実装することができ、単一の機能ブロックの様々な機能は、各種実施形態において１つ以上の機能ブロックによって実装することができる。モジュールの実際の数並びに特定の機能の分割及びそれらにどのように機能が割り当てられるかは、実施形態によって異なり、いくつかの実施形態において、特定の実施形態のために選択されたハードウェア、ソフトウェア及び／又はファームウェアの特定の組み合わせに部分的に依存することができる。
図４Ａは、いくつかの実施形態に係る、仮想紙４０５の第１の側（例えば、前側）が表示されるＣＧＲ環境４００の一例を示す。いくつかの実施形態において、ＣＧＲ環境４００は、ネイティブユーザＣＧＲ環境である。いくつかの実施形態において、ネイティブユーザＣＧＲ環境は、ユーザ又はユーザを表すアバターが位置するＣＧＲ環境である。例えば、ＣＧＲ環境４００は、ユーザ４０１又はユーザ４０１を表すアバターを含む。したがって、図４Ａに示されるシーンは、ユーザ４０１又は見物人の視点から、ＣＧＲ環境４００の図であり得る。
いくつかの実施形態において、ネイティブユーザＣＧＲ環境４００内で、仮想紙４０５は、有界面、例えば、仮想面の周辺部の周りの縁部又は範囲を有する仮想面として表示される。したがって、仮想紙４０５は、以下、有界面４０５と呼ばれることもある。いくつかの実施形態において、有界面４０５は、ネイティブユーザＣＧＲ環境４００を特徴付ける第１の１組の世界座標に従って表示される。いくつかの実施形態において、ネイティブユーザＣＧＲ環境４００を特徴付ける世界座標系は、ネイティブユーザＣＧＲ環境４００を描写するシーンの主又は普遍の座標系である。例えば、典型的なデカルト座標系では、Ｘ軸、Ｙ軸、及びＺ軸を有する世界の１つの原点がある。ネイティブユーザＣＧＲ環境４００では、軸Ｘ1、Ｙ1、及びＺ1は、ユーザ４０１又はユーザ４０１を表すアバターが図４Ａに示されるように原点に位置し、それに位置合わせされているかのように、それぞれ右／左、上下、及び前方／後方に概ね対応する。したがって、ネイティブユーザＣＧＲ環境４００内のオブジェクトの位置は、ネイティブユーザＣＧＲ環境４００、例えば、（Ｘ1，Ｙ1，Ｚ1）を特徴付ける１組の世界座標によって説明することができる。換言すれば、仮想紙４０５を含むオブジェクトの位置は、ユーザ４０１又はユーザ４０１を表すアバターの視点からであるように、ネイティブユーザＣＧＲ環境４００内に表示される。
いくつかの実施形態において、少なくとも１つの立体仮想オブジェクト（例えば、３Ｄニワトリ４２０、３Ｄ球形オブジェクト４３０、及び／又は３Ｄツールボックスオブジェクト４４０）は、仮想紙４０５の前側の周辺部内に表示される。いくつかの実施形態において、少なくとも１つの立体仮想オブジェクト４２０－４４０は、１組の世界座標に従って表示され、例えば、１組の世界座標に従って３Ｄニワトリ４２０を表示する（Ｘ2，Ｙ2，Ｚ2）、又は１組の世界座標（Ｘ3，Ｙ3，Ｚ3）に従って３Ｄツールボックスオブジェクト４４０を表示する。図４Ａには示されていないが、３Ｄツールボックスオブジェクト４４０のそれぞれは、それ自身の１組の世界座標に従って表示することができる。
いくつかの実施形態において、１組の世界座標（Ｘ2，Ｙ2，Ｚ2）、及び（Ｘ3，Ｙ3，Ｚ3）は、ネイティブユーザＣＧＲ環境４００を特徴とする１組の界座標（Ｘ1，Ｙ1，Ｚ1）とは異なる。したがって、以下に詳述するように、立体仮想オブジェクト４２０～４４０のそれぞれは、それぞれの１組の世界座標に従って移動することができ、仮想紙４０５及び仮想紙４０５内に表示される仮想オブジェクトは、それぞれの１組の世界座標に従ってアニメーション化することができる。いくつかの他の実施形態において、１組の世界座標（Ｘ2，Ｙ2，Ｚ2）又は（Ｘ3，Ｙ3，Ｚ3）は、ネイティブユーザＣＧＲ環境４００を特徴付ける１組の世界座標（Ｘ1，Ｙ1，Ｚ1）と同じである。換言すれば、１組の世界座標（Ｘ1，Ｙ1，Ｚ1）、（Ｘ2，Ｙ2，Ｚ2）、及び／又は（Ｘ3，Ｙ3，Ｚ3）は、接続可能又は分離している。
いくつかの実施形態においてまた、仮想紙４０５の周辺部内に表示されるのは、例えば、２Ｄテキスト「Ｍａｔｒｉｘ」４１０及びアフォーダンス「＜」４１２のような、適合する仮想オブジェクトである。２Ｄテキスト「Ｍａｔｒｉｘ」４１０及びアフォーダンス４１２は、仮想紙４０５の輪郭及び／又は表面に適合するように表示される。適合する仮想オブジェクト４１０及び４１２は、第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1）によって特徴付けられる仮想紙４０５の輪郭及び／又は表面に適合するため、３Ｄニワトリ４２０は、第２の１組の世界座標（Ｘ2，Ｙ2，Ｚ2）に従って表示され、これらの仮想オブジェクト４１０、４１２、及び４２０は互いに遮蔽してもよい。図４Ａに示すように、２Ｄテキスト「Ｍａｔｒｉｘ」４１０は、仮想紙４０５の前側の表面上に浮いているように見え、３Ｄニワトリ４２０は仮想紙４０５の内側にあるように見える。したがって、２Ｄテキスト「Ｍａｔｒｉｘ」４１０は、ユーザ４０１の視点から３Ｄニワトリ４２０の前に（例えば、上に重なって）あるように見える。したがって、２Ｄテキスト「Ｍａｔｒｉｘ」４１０は、仮想紙４０５内の３Ｄニワトリ４２０の頂部の一部分を遮蔽する。
ＣＧＲ環境４００内に表示される仮想紙４０５は、既存のシステムにおける仮想紙とは異なる。従来の３Ｄ空間に制約されると、３Ｄ仮想オブジェクトは、典型的には、紙のシートの前（又はその上に）に表示される。したがって、従来の３Ｄ空間では、３Ｄ仮想オブジェクトは、仮想紙上の他のコンテンツ（例えば、テキスト）を遮蔽する。対照的に、以下に詳細に説明するように、仮想紙４０５は、１組の世界座標（Ｘ1，Ｙ1，Ｚ1）によって特徴付けられるネイティブユーザＣＧＲ環境４００から別の３Ｄ世界、例えば、１組の世界座標（Ｘ2，Ｙ2，Ｚ2）によって特徴付けられる３Ｄ世界への入口であり得る。このようにして、立体仮想オブジェクト４２０～４４０を仮想紙４０５に挿入し、仮想紙４０５の内側として表示する。これにより、立体仮想オブジェクト４２０－４４０が容易に読み取れるように、関連付けられたテキスト（例えば、２Ｄテキスト「Ｍａｔｒｉｘ」４１０又はアフォーダンス４１２）と共存することを可能にし、それによって視覚的に心地よいページレイアウトを提供する。
いくつかの実施形態において、異なる世界照明は、異なる仮想オブジェクトを照らす。いくつかの実施形態において、１つの光源は、仮想紙４０５の範囲内及び内側（例えば、仮想紙の表面からの閾値距離内）の１組の仮想オブジェクトを照らし、一方、異なる光源は仮想紙４０５の表面に近いか又は表面上の仮想オブジェクトを照らす。図４Ａでは、第２の１組の世界座標（Ｘ2，Ｙ2，Ｚ2）に従って仮想紙４０５の範囲内及び内部に表示される立体仮想オブジェクトである３Ｄニワトリ４２０の上の光源は、３Ｄニワトリ４２０の下に影４２２を生じる。対照的に、仮想紙４０５の表面に近い（例えば、仮想紙４０５の表面からの閾値距離内の）立体仮想オブジェクト４３０は、下に影がない。更に、立体仮想オブジェクト４３０の一部分、例えば仮想紙４０５の表面から突出する光沢面によって示されるように、立体仮想オブジェクト４３０は、第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1）によって特徴付けられるネイティブユーザＣＧＲ環境４００内の光源によって照らされてもよい。具体的には、小さい、強烈な、鏡面ハイライトを備える光沢面は、ハイライトがネイティブユーザＣＧＲ環境４００内の光源からの乱反射によって引き起こされることを示す。
図４Ａは世界照明の一例を示すことに留意されたい。いくつかの他の実施形態において、仮想紙４０５内に表示される仮想オブジェクトは、同じ世界照明を共有する。更に、いくつかの実施形態において、同じ光源は、仮想紙４０５とネイティブユーザＣＧＲ環境４００の両方を照らす。このような実施形態において、同じ光源、例えば点光、スポット光、指向性光、エリア光、容積光、周囲光などは、複数の世界座標に従って照明効果を提供することができる。例えば、ユーザ４０１、２Ｄテキスト「Ｍａｔｒｉｘ」４１０、アフォーダンス４１２、及び立体仮想オブジェクト４２０～４４０は、１つの世界照明を共有することができ、そのような照明の効果は、様々な世界座標に従って異なり得る。
いくつかの実施形態において、図４Ａに示される仮想紙４０５は、第２の側、例えば、後側を有する。図４Ｂは、いくつかの実施形態に係る仮想紙４０５の後側を示す。いくつかの実施形態において、仮想紙４０５の後側は、立体仮想オブジェクトのラスタ化された適合する表現を含む。当該技術分野において既知であるように、ラスタ化は、画素で作製されたビットマップ画像にグラフィック要素を変形するプロセスである。グラフィック要素が３Ｄオブジェクトである場合、３Ｄオブジェクトは、オブジェクトの２Ｄ画像に変形される。例えば、仮想紙４０５の前側の３Ｄニワトリ４２０（図４Ａ）がラスタ化され、図４Ｂに示されるように３Ｄニワトリ４２０の２Ｄ表現４２０－Ｂが生成され、後側に表示される。同様に、仮想紙４０５（図４Ａ）の前側の３Ｄ球形オブジェクト４３０及び３Ｄツールボックスオブジェクト４４０－１、４４０－２、４４０－３、４４０－４、及び４４０－５もラスタ化され、３Ｄコンテンツの２Ｄ表現４３０－Ｂ、４４０－１－Ｂ、４４０－２－Ｂ、４４０－３－Ｂ、４４０－４－Ｂ、及び４４０－５－Ｂが生成され、図４Ｂに示されるように後側に表示される。
いくつかの実施形態において、仮想紙４０５は、半透過である。いくつかの実施形態において、ラスタ化された適合する表現４２０－Ｂ、４３０－Ｂ、４４０－１－Ｂ、４４０－２－Ｂ、４４０－３－Ｂ、４４０－４－Ｂ、及び４４０－５－Ｂは、仮想紙４０５の後側でぼける。３Ｄコンテンツのラスタ化された適合する表現をぼかすことに加えて、仮想紙４０５の後側はまた、ぼやけた２Ｄテキスト「Ｍａｔｒｉｘ」４１０－Ｂ及びぼやけた２Ｄナビゲーションアフォーダンス４１２－Ｂなどの、ぼやけた２Ｄコンテンツを含む。仮想紙４０５の前側からのコンテンツのぼけは、半透明の仮想紙４０５がユーザ４０１のネイティブユーザＣＧＲ環境に存在する効果をもたらすと同時に、仮想紙４０５の前側上のコンテンツをほのめかすという効果がもたらされる。
いくつかの実施形態において、仮想紙４０５の表示は、仮想紙４０５に向けられた入力に応答して変形することができる。例えば、入力は、仮想紙４０５を配置し、ねじり、揺らし、投げ、裏返し、めくり、回転し、曲げ、巻き、及び／又は折り畳むユーザであり得る。入力の受信に応答して、いくつかの実施形態において、仮想紙４０５の輪郭が変化する。例えば、図４Ｃ～４Ｅに示されるように、仮想紙４０５は、前側から後側へと裏返されたときにしわが生じ、例えば、仮想紙４０５の輪郭は曲線を有する。別の実施例では、図４Ｆ及び４Ｇに示されるように、仮想紙４０５は、前側から後側へと裏返されている間にねじられるか、又は反りを受ける。このように、仮想紙４０５の表示は、平面から曲面に変形され、曲面の特定の部分が曲面の他の部分によって遮蔽される。例えば、図４Ｆでは、２Ｄテキストの一部分が仮想紙４０５の曲面の一部分によって遮蔽されている。
いくつかの実施形態において、仮想紙４０５への入力は、仮想紙４０５の移動に限定されず、仮想紙４０５に向けられたユーザ４０１からの入力は、ユーザ４０１の人体姿勢変化を含む。例えば、ユーザ４０１の人体姿勢変化は、ユーザ４０１が仮想紙４０５の後側に歩くこと、及び／又は、仮想紙４０５を異なる角度から見るために、ＣＧＲデバイス（例えば、図１Ａのデバイス１０４又はモバイルデバイス）を傾けることを含むことができる。いくつかの実施形態において、入力は、Ｉ／Ｏデバイス及びセンサ３０６及び／又はＣＧＲデバイス１０４の１つ以上の通信インタフェース３０８（図３）を介して取得され、例えば、ユーザがボタン若しくはアフォーダンスをクリックし、ユーザが音声コマンドを与えるか、又は１つ以上の通信インタフェース３０８を通じてリモート装置から入力を受信する。
図４Ｃ～４Ｇに示すように、仮想紙４０５の表示の変形中、仮想紙４０５に関連付けられた仮想コンテンツの表示もまた、仮想紙４０５の輪郭の変形に応答して変形する。例えば、仮想紙４０５の揺れに応答して３Ｄニワトリ又は３Ｄ犬を投げ出す場合のように、３Ｄニワトリの一部分は仮想紙４０５の片側から突出しており（図４Ｃ～４Ｅ）、３Ｄ犬の一部分は仮想紙４０５の片側から突出している（図４Ｆ及び４Ｇ）。更に、仮想紙４０５上のテキストもまた変形し、例えば、図４Ｃではテキスト「ニワトリ」が傾斜しており、３Ｄ犬の下のテキストの段落は、図４Ｆにおいて湾曲しているように見える。これらの変形は、図４Ｈ～４Ｍを参照して以下で更に詳細に説明する。
図４Ｈ～４Ｋを参照すると、図４Ｈ～４Ｋはいくつかの実施形態に係る、仮想紙４０５を回転させる入力に応答して、仮想紙４０５の表示の変形を示す。図４Ｈでは、点線の矢印によって示される入力に応答して、仮想紙４０５の表示が変形され、仮想紙の輪郭が変化する。例えば、仮想紙４０５がユーザ４０１（図示せず）から回転又は揺動される場合のように、仮想紙４０５の右垂直縁部はより短くなるように見え、仮想紙４０５の上縁部及び下縁部は傾斜している。図４Ｉ～４Ｋに示されるように、仮想紙４０５が縦軸４５０の周りを更に回転すると、仮想紙４０５の右垂直縁部がより短くなり、仮想紙４０５の上縁部及び下縁部が更に傾斜している。
仮想紙４０５の表示を変形することに加えて、仮想紙４０５の周辺部内の適合する仮想オブジェクトの表示は、同時に変形する。適合する仮想オブジェクトの表示の変化にもかかわらず、適合する仮想オブジェクトの表示は、仮想紙４０５の表示に依然として適合する。例えば、図４Ａでは、適合する仮想オブジェクト、例えば、２Ｄテキスト「Ｍａｔｒｉｘ」４１０は、仮想紙４０５の上縁部に平行であるように表示される。仮想紙４０５が縦軸４５０の周りを回転すると、２Ｄテキスト「Ｍａｔｒｉｘ」４１０は、図４Ｈ～４Ｋで傾斜しているように見え、仮想紙４０５の表示と一致する。
図４Ａを参照して上述したように、仮想紙４０５は、１組の世界座標標（Ｘ1，Ｙ1，Ｚ1）に従って表示され、一方、立体仮想オブジェクト４２０～４４０は、異なる１組の世界座標に従って表示される。したがって、仮想紙４０５が１組の世界座標（Ｘ1，Ｙ1，Ｚ1）の縦軸４５０に沿って回転すると、仮想紙４０５の表示は１組の世界座標（Ｘ1，Ｙ1，Ｚ1）に基づいて変形する。対照的に、立体仮想オブジェクトの表示は、異なる１組（単数又は複数）の世界座標に基づいて変形する。
例えば、図４Ｈ～４Ｋに示されるように、仮想紙４０５が回転する間、仮想紙４０５によってユーザ（図示せず）から離れる外観に加えて、３Ｄニワトリ４２０は、異なる１組の世界座標に従って異なる軸４５２の周りを回転する。更に、図４Ｋに示すように、いくつかの実施形態において、３Ｄ仮想オブジェクト４２０～４４０の変形は、異なる１組の世界座標に基づいて、３Ｄ仮想オブジェクト４２０～４４０の少なくとも一部分を、仮想紙４０５の前側から突出させることを含む。例えば、３Ｄニワトリ４２０が、第２の１組の世界座標（Ｘ2，Ｙ2，Ｚ2）に基づいて、異なる軸４５２の周りを回転すると、図４Ｋに示されるように、３Ｄニワトリ４２０のくちばし、頭の一部分、及びジャケットに覆われた翼の一部分は、仮想紙４０５の前側から突出する。同様に、３Ｄ球形オブジェクト４３０の一部分は、図４Ｊ及び４Ｋに示されるように仮想紙４０５の前側から突出する。
いくつかの実施形態において、仮想紙４０５の第１の側の周辺部内に表示される仮想オブジェクトは、互いに遮蔽する。例えば、図４Ａでは、ユーザ４０１は仮想紙４０５の前に立っているものとして示されている。このように、仮想紙４０５は、ユーザ４０１のユーザ姿勢に関連付けられたほぼ垂直な見通し線から表示される。ほぼ垂直な見通し線から、２Ｄテキスト「Ｍａｔｒｉｘ」４１０は、３Ｄニワトリ４２０の前にあるように見え、３Ｄニワトリ４２０の一部分を塞ぐ。図４Ｈ及び４Ｉは、仮想紙４０５が、ユーザ４０１のユーザ姿勢に関連付けられたほぼ垂直な見通し線から斜めに表示されると、２Ｄテキスト「Ｍａｔｒｉｘ」４１０は、３Ｄニワトリ４２０の上部に浮いているように見える。更に、図４Ｈ及び４Ｉでは、３Ｄニワトリ４２０の頂部は、２Ｄテキスト「Ｍａｔｒｉｘ」４１０によって依然として遮蔽されているが、仮想紙４０５が縦軸４５０の周りを回転すると、遮蔽は減少する。図４Ｊでは、仮想紙４０５が更に回転すると、２Ｄテキスト「Ｍａｔｒｉｘ」４１０が３Ｄニワトリ４２０の頂部をもはや遮蔽しないように、体積領域の角度付き視野が表示される。代わりに、２Ｄテキスト「Ｍａｔｒｉｘ」４１０は、仮想紙４０５内の仮想コンテンツを明確化するために、３Ｄニワトリ４２０の頂部の側にあるものとして表示される。また図４Ｊに示されるように、仮想紙４０５の内側にある３Ｄニワトリ４２０の残りは、遮蔽の性質によって仮想紙４０５の範囲の後ろに消える。
いくつかの実施形態において、図４Ｃ～４Ｋに示される立体オブジェクト変形の表示は、入力の受信に応答して実行され、例えば、ユーザが仮想紙４０５を裏返し（図４Ｃ～４Ｅ）、ねじり（図４Ｆ及び４Ｇ）、又は回転する（図４Ｈ～４Ｋ）ことに応答して、３Ｄコンテンツが仮想紙４０５の前側から突出することに留意されたい。いくつかの実施形態において、立体視オブジェクトは、仮想紙４０５に向けられたユーザ入力なしに変形することができる。図４Ｌ及び４Ｍは、いくつかの実施形態により、ユーザ入力なしに仮想紙４０５の周辺部内に表示された立体仮想オブジェクト４６０を変形することを示す。
図４Ｌ及び４Ｍは、立体仮想オブジェクト４６０、例えば、ウェブページに表示される３Ｄニワトリ４６０に加えて、２Ｄテキスト「ニワトリ」４６２及び２Ｄテキスト記述４６４などの適合する仮想オブジェクトもまた、仮想紙４０５の周辺部内に表示される。図４Ｌ及び４Ｍでは、仮想紙４０５に向けられたユーザ入力なしに、仮想紙４０５及び／又は適合する仮想オブジェクト４６２及び４６４の変形はない。仮想紙４０５が静止したままである間、３Ｄニワトリ４６０はアニメーション化し、例えば、図４Ｌの３Ｄニワトリ４６０の頭部位置は、図４Ｍの３Ｄニワトリ４６０の頭部位置と異なる。換言すれば、３Ｄニワトリ４６０の表示は、自身の１組の世界座標（例えば、図４Ａを参照して説明される第２の１組の世界座標（Ｘ2，Ｙ2，Ｚ2））に基づいて変形され、これは仮想紙４０５及び適合する仮想オブジェクト４６２及び４６４が基づく第１の１組の世界座標とは異なる。
図４Ｎ及び４Ｏを参照し、図４Ｎ及び４Ｏは、いくつかの実施形態による、ネイティブユーザＣＧＲ環境４００における入口としての仮想紙４０５を示す。上で説明したように、図４Ａでは、立体オブジェクト４２０は、仮想紙４０５の第１の側の周辺部内の第２の１組の世界座標（Ｘ2，Ｙ2，Ｚ2）に従って表示される。更に、図４Ａを参照して上述したように、仮想紙４０５は、ネイティブユーザＣＧＲ環境４００を特徴付ける第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1）に従って表示される。いくつかの実施形態において、仮想紙４０５は入口である。
例えば、図４Ｎでは、３Ｄニワトリ４２０を仮想紙４０５の周辺部から移動させ、ネイティブユーザＣＧＲ環境４００内に配置することができる。ネイティブユーザＣＧＲ環境に置かれると、３Ｄニワトリ４２０は、第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1）に従って表示される。更に、ネイティブユーザＣＧＲ環境に入ると、ユーザ４０１又はネイティブユーザＣＧＲ環境内のユーザ４０１を表すアバターは、３Ｄニワトリ４２０と対話することができ、例えば、頂部及び／又はくちばしなどを塗ることができる。
別の実施例では、図４Ｏでは、ユーザ４０１又はユーザ４０１を表すアバターは、例えば、仮想紙４０５によって表される入口に入るコマンドなどのユーザ入力、又は仮想紙４０５の前側の周辺部に入るユーザ４０１を示すユーザ姿勢変化などのユーザ入力を介して、有界面４０５の周辺部の中に移動することができる。第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1）から第２の１組の世界座標（Ｘ2，Ｙ2，Ｚ2）への視野座標の変化を示すこのようなユーザ入力を受信すると、いくつかの実施形態において、仮想紙４０５内の立体仮想オブジェクトが調整される。例えば、３Ｄニワトリ４２０のサイズ、あるいはユーザ４０１又はユーザ４０１を表すアバターからの３Ｄニワトリ４２０の距離は、３Ｄニワトリ４２０の視野に適応するように、第２の１組の世界座標（Ｘ2，Ｙ2，Ｚ2）に基づいて調整することができる。
図５Ａ～５Ｍは、いくつかの実施形態に係る、仮想紙５０５における仮想コンテンツとの相互作用を示す。いくつかの実施形態において、仮想紙５０５は、領域の周辺部の周りの縁部又は範囲によってマークされた平坦又は容積であり得る有界領域（例えば、平坦又は曲面を有する領域）である。したがって、仮想紙５０５は、以下、有界領域５０５と呼ばれることもある。いくつかの実施形態において、有界領域５０５は、第１の１組の世界座標、例えば、ネイティブユーザＣＧＲ環境を特徴付ける１組の世界座標（Ｘ1，Ｙ1，Ｚ1）に基づいて表示される。いくつかの実施形態において、有界領域５０５は、有界領域５０５の第１の側（例えば、前側）の周辺部内に適合する仮想オブジェクト（例えば、２Ｄテキスト「Ｄｉｎｏｓａｕｒ Ｃｕｔｔｅｒｓ」５２２）を含む。いくつかの実施形態において、有界領域５０５内の仮想コンテンツ（以下、「コンテンツ」とも呼ばれる）もまた、１つ以上の立体仮想オブジェクトを含む。例えば、図５Ａでは、有界領域５０５を有するコンテンツは、第１の立体仮想オブジェクト５１２－１（例えば、大きい３Ｄ恐竜カッター５１２－１）及び第２の立体仮想オブジェクト５１２－２（例えば、小さい３Ｄ恐竜カッター５１２－２）を含む。いくつかの実施形態において、適合する仮想オブジェクト５２２は、１つ以上の立体仮想オブジェクト５１２に対して相対位置に表示され、例えば、２Ｄテキスト「Ｄｉｎｏｓａｕｒ Ｃｕｔｔｅｒｓ」５２２は、第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1）に従って測定された距離で、３Ｄ恐竜カッター５１２の上方にある。後述するように、ユーザ入力に応答して仮想オブジェクト（２Ｄテキスト「Ｄｉｎｏｓａｕｒ Ｃｕｔｔｅｒｓ」５２２）が移動されると、適合する仮想オブジェクト（例えば、２Ｄテキスト「Ｄｉｎｏｓａｕｒ Ｃｕｔｔｅｒｓ」５２２）と立体仮想オブジェクト５１２との間の相対位置が移動中に維持される。
いくつかの実施形態において、上述したように、立体仮想オブジェクト５１２は異なる１組の世界座標、例えば、互いに異なる、及び／又はネイティブユーザＣＧＲ環境を特徴付ける１組の世界座標とは異なる世界座標に従って表示することができる。したがって、立体仮想オブジェクト５１２の表示は、それぞれの１組の世界座標に基づいて変形することができる。図５Ａでは、第２の１組の世界座標（Ｘ2，Ｙ2，Ｚ2）に従って大きな３Ｄ恐竜カッター５１２－１が表示され、第３の１組の世界座標（Ｘ3，Ｙ3，Ｚ3）に従って、小さい３Ｄ恐竜カッター５１２－２が表示される。したがって、いくつかの実施形態において、大きい３Ｄ恐竜カッター５１２－１及び小さい３Ｄ恐竜カッター５１２－２は、異なる１組の世界座標に従って異なる方向、寸法などでアニメーション化される。
図５Ａの点線の矢印によって示されるように、有界領域５０５内のコンテンツに向けられた入力が受信され、入力は、第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1）に従った方向、例えば、ネイティブユーザＣＧＲ環境における有界領域５０５内のＺ1軸に沿ったコンテンツの上方向スクロールである。上方スクロール入力の受信に応答して、有界領域５０５の周辺部内のコンテンツは、第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1）に基づいて上方に移動される。例えば、上方向スクロールの結果を示す図５Ｂでは、２Ｄテキスト「Ｄｉｎｏｓａｕｒ Ｃｕｔｔｅｒ」５２２は上方に移動し、有界領域５０５から消え、立体仮想オブジェクト５１２もまた、第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1）に従って、有界領域５０５の上縁部のより近くに上方に移動する。
コンテンツを上方に移動させることに加えて、立体仮想オブジェクト５１２は、それぞれの１組の世界座標に従ってアニメーション化される。例えば、図５Ａは、小さい３Ｄ恐竜カッター５１２－２が有界領域５０５の周辺部から閾値距離内にある場合、小さい３Ｄ恐竜カッター５１２－２は、有界領域５０５の前面の反対側の中に平坦化され、及び／又は後退しているように見える。更に、平坦化された小さい３Ｄ恐竜カッター５１２－２は、有界領域５０５の下縁部によって遮蔽される。別の例では、図５Ｂは、上方向スクロールに応答して、大きい３Ｄ恐竜カッター５１２－１が有界領域５０５の上縁部により近く移動すると、大きい３Ｄ恐竜カッター５１２－１はＹ2軸に沿って回転し、その結果、有界領域５０５の上縁部によって遮蔽される準備において有界領域内に平坦化されるように見えることを示す。更に図５Ｂに示されるように、一旦小さい３Ｄ恐竜カッター５１２－２が、有界領域５０５の前側の周辺部から閾値距離を超えて上方に移動し、例えば、小さい３Ｄ恐竜カッター５１２－２は、その全体が上方に移動され、有界領域５０５内に表示され、小さい３Ｄ恐竜カッター５１２－２は、Ｙ3軸に沿って回転して、小さい３Ｄ恐竜カッター５１２－２の異なる視点を提供する。その結果、小さい３Ｄ恐竜カッター５１２－２の一部分は、有界領域５０５の前側から突出する。
図５Ｃ及び図５Ｄは、いくつかの実施形態に係る、有界領域５０５が平らに置かれたときに、有界領域５０５の前側の周辺部内に表示されるコンテンツと相互作用することを示す。いくつかの実施形態において、有界領域５０５の表示がユーザ入力の受信、例えば、第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1）（図示せず）のＸ1軸の周りに有界領域５０５を置く又は回転させることに応答して変形すると、適合する仮想オブジェクト５２２は、有界領域５０５の輪郭変形と整合されたままになるために適宜変形する。例えば、図５Ｃでは、有界領域５０５が平らに置かれると、２Ｄテキスト「Ｄｉｎｏｓａｕｒ Ｃｕｔｔｅｒｓ」５２２もまた、有界領域５０５の前面に適合するように平らに置かれる。図５Ｃでは、点線の矢印によって示されるスクロール入力に応答して、２Ｄテキスト「Ｄｉｎｏｓａｕｒ Ｃｕｔｔｅｒｓ」５２２は、スクロール入力の方向に移動し、図５Ｄに示すように、立体仮想オブジェクト５１２に対する相対位置を維持する。
適合する仮想オブジェクト（例えば、２Ｄテキスト「Ｄｉｎｏｓａｕｒ Ｃｕｔｔｅｒｓ」５２２）の変形とは異なり、立体仮想オブジェクト５１２は、有界領域５０５を置く入力に応答して、異なる１組の世界座標に従ってアニメーション化される。図５Ｃでは、３Ｄ恐竜カッター５１２は、有界領域５０５の前側から突出し、例えば、それぞれの１組の世界座標に基づいて起立又は回転する。その結果、図５Ａ及び５Ｂに示されるように、別のものの上方又は上に表示される代わりに、図５Ｃ及び５Ｄでは、３Ｄ恐竜カッター５１２は列に表示されるか、又は１つが別のものの前にあるかのように表示される。したがって、点線の矢印によって示されるようなスクロール入力に応答して、３Ｄ恐竜カッター５１２は、前列から後列へと列ごとにスクロールされる。
図５Ｄはまた、いくつかの実施形態において、小さい３Ｄ恐竜カッター５１２－２が有界領域５０５の縁部に近接している、例えば、有界領域５０５の周辺部からの閾値距離内にある場合、小さい３Ｄ恐竜カッター５１２－２が、第３の１組の世界座標（Ｘ3，Ｙ3，Ｚ3）（図示せず）に基づいて、Ｘ3軸の周りで傾斜、倒壊、又は回転することを示す。したがって、小さい３Ｄ恐竜カッター５１２－２は、有界領域５０５の表面の反対側に向かって後退し、小さい３Ｄ恐竜カッター５１２－２の一部分は、有界領域５０５の縁部によって遮蔽される。
図５Ｅ～５Ｈは、いくつかの実施形態に係る、有界領域５０５の第２の側（例えば、後側）を表示することを示す。図４Ａ～４Ｏを参照して上述した仮想紙４０５と同様に、いくつかの実施形態において、有界領域５０５は、前側からの立体仮想オブジェクトのラスタ化された適合する表現を含む後側を有する。例えば、図５Ｅでは、有界領域の前側からのコンテンツは、立体オブジェクト５２０、例えば、３Ｄニワトリ５２０を含む。図５Ｆでは、有界領域５０５の対応する後側は、前側に表示された３Ｄニワトリ５２０のラスタ化された適合する表現に対応する、ニワトリ５２０－Ｂのぼやけた画像を含む。
図５Ｇでは、点線の矢印によって示されるように、上方スクロール入力は、有界領域５０５の第１の側の周辺部内のコンテンツに向けられる。図５Ｆに示されるように、上方スクロール入力の受信に応答して、３Ｄニワトリ５２０は上方に移動し、別の立体仮想オブジェクトの一部分、例えば、ウェブページ内の３Ｄ犬５２４は、有界領域５０５内に現れる。図５Ｇには示されていないが、上方向スクロールが継続すると、３Ｄ犬５２４は、有界領域５０５の中心に表示される。図５Ｈに示すように、上方スクロール入力に応答して、有界領域５０５の対応する後側は、前側に表示された３Ｄ犬５２４のラスタ化された適合する表現に対応する、犬５２４－Ｂのぼやけた画像を含む。
いくつかの実施形態において、有界領域５０５の後側のコンテンツ（例えば、チキン５２０－Ｂ（図５Ｆ）又は犬５２４－Ｂ（図５Ｈ）のぼやけた画像、あるいは２Ｄテキストのぼやけた画像）はまた、入力の受信、例えば、ぼやけた画像を上下にスクロールすることに応答して、移動することができる。後側上のコンテンツに向けられた入力の受信に応答して、有界領域５０５の前側の対応する立体仮想オブジェクト（単数又は複数）を、適宜移動させることができる。更に、上で説明したように、対応する立体仮想オブジェクト（単数又は複数）を移動させながら、対応する立体仮想オブジェクト（単数又は複数）はまた、それぞれの１組の世界座標に従ってアニメーション化することもできる。
図５Ｉは、いくつかの実施形態に係る、有界領域５０５内に大きな立体仮想オブジェクトを表示することを示す。いくつかの実施形態において、立体仮想オブジェクトがネイティブユーザＣＧＲ環境の内側に適合するには大きすぎる場合、立体仮想オブジェクトは、有界領域５０５内に配置される。例えば、海洋ライナがネイティブユーザＣＧＲ環境内に収まるには大きすぎる場合、海洋ライナは有界領域５０５の内側に配置され得る。図５Ｉでは、海洋ライナ５３０は、世界座標（Ｘ2，Ｙ2，Ｚ2）に基づいて有界領域５０５内に表示され、有界領域５０５のサイズに比例して縮尺される。海洋ライナ５３０が有界領域５０５内に配置された後、ユーザ４０１は、有界領域５０５を介して海洋ライナ５３０を実物大でかつ適切な距離から見ることができる。上述した他の立体仮想オブジェクトと同様に、有界領域５０５の内側に表示される海洋ライナ５３０は、それ自身の１組の世界座標（Ｘ2，Ｙ2，Ｚ2）に従ってアニメーション化することができる。例えば、図５Ｉでは、海洋ライナ５３０は浮かぶか又は航行し、その結果、海洋ライナ５３０の船首（又は前端）が有界領域５０５の前側の表面から外に突き出し、立体的に提示されるようにユーザ４０１により近くなってもよい。したがって、ユーザ４０１は、近接距離で海洋ライナ５３０の船首を調べることができる。
いくつかの実施形態において、海洋ライナ５３０の特性、例えば、距離、方向、向き、縮尺、移動速度などを、入力に応答して更に調整することができる。例えば、有界領域５０５に向けられた入力に応答して、海洋ライナ５３０は、有界領域５０５内で回転され得る。このため、海洋ライナ５３０の船尾（又は後方）は、ユーザ４０１により近くなり、ユーザは、近接距離で海洋ライナ５３０の船尾を調べることができる。ユーザ４０１が海洋ライナ５３０の調査を終了すると、有界領域５０５の表面から突出している海洋ライナ５３０の部分に対応するユーザ４０１からの入力（例えば、押すジェスチャ）は、海洋ライナ５３０を海洋に送り込むことができる。
加えて、図４Ａを参照して上述したように、いくつかの実施形態において、異なる世界照明は、異なる仮想オブジェクト及び／又は環境の異なる部分を照明する。例えば、海洋ライナ５３０は、世界座標（Ｘ2，Ｙ2，Ｚ2）に従って有界領域５０５の範囲内及び内部に表示される立体仮想オブジェクトであり、海洋ライナ５３０の上方の太陽光５４１は、海洋ライナ５３０に陰影を加える。その結果、海洋ライナ５３０の影及び／又は反射は、海洋ライナ５３０の下の水に現れ得る。図５Ｉでは、ユーザ４０１の視点から、海洋ライナ５３０の上方及び後方にある世界照明（例えば、太陽光５４１）は、影及び／又は反射をユーザ４０１に向けさせる。対照的に、ユーザ４０１の影４０２は、ネイティブユーザＣＧＲ環境内の異なる光源５４３、例えば、ネイティブユーザＣＧＲ環境の世界座標（Ｘ1，Ｙ1，Ｚ1）に従って、ユーザ４０１の後側から光を放つ光源５４３を示す。結果として、ユーザ４０１の視点から、影４０２はユーザ４０１の前であり、かつユーザ４０１から離れ、例えば、海洋ライナ５３０の影及び／又は反射５３１の反対方向にある。更に、適合する仮想オブジェクト、例えば、有界領域５０５の表面から閾値距離以内（例えば、有界領域５０５の表面上）に表示され、ネイティブユーザＣＧＲ環境に近い、テキスト「Ｏｃｅａｎ Ｌｉｎｅｒ」５３２は、海洋ライナ５３０からの異なる世界照明によって照明されてもよい。その結果、ユーザ４０１に向かうテキスト「Ｏｃｅａｎ Ｌｉｎｅｒ」５３２の影はない。
図５Ｉは、世界照明の一例を示すことに留意されたい。いくつかの他の実施形態において、有界領域５０５内に表示される立体及び適合する仮想オブジェクトは、同じ世界照明を共有する。更に、いくつかの実施形態において、同じ光源は、有界領域５０５内と有界領域５０５外の両方を照射する。このような実施形態において、同じ光源、例えば点光、スポット光、指向性光、エリア光、容積光、周囲光などは、複数の世界座標に従って照明を提供することができる。例えば、ユーザ４０１、テキスト「Ｏｃｅａｎ Ｌｉｎｅｒ」５３２、及び海洋ライナ５３０は、１つの世界照明を共有することができ、そのような照明の効果は、様々な世界座標に従って異なり得る。
図５Ｊは、いくつかの実施形態に係る、オーディオ信号を視覚化する立体仮想オブジェクトを表示し、それと対話する様子を示す。オーディオ信号は、従来の３Ｄ環境において視覚化するのが困難である。例えば、楽曲を表すオーディオ信号は、熟知された物理的寸法又は照明のメタファに従わない場合がある。したがって、既存のオーディオシステム又は電磁波可視化システム及び方法は、多くの場合、２Ｄ表現に限定される。いくつかの実施形態において、有界領域５０５を使用して、オーディオ信号を立体仮想オブジェクトによって視覚化することができる。
例えば、図５Ｊでは、立体仮想オブジェクト５４０－１及び５４０－２は、有界領域５０５内に表示される。立体仮想オブジェクトは、いくつかの実施形態において、オーディオ信号の視覚的表現に対応する。例えば、有界領域５０５は、音楽を視覚化するために立体仮想オブジェクト５４０を含む。上述の他の立体仮想オブジェクトと同様に、有界領域５０５内に表示される立体仮想オブジェクト５４０は、それぞれの１組の世界座標に従ってアニメーション化することができる。音楽が再生すると、立体仮想オブジェクト５４０は、音楽の属性を示すためにアニメーション化され、例えば、立体オブジェクト５４０は、大きな音の金管楽器が再生していることに対応してより大きく成長するか、又は、明色に変化するか、あるいは静かでソフトな弦楽器が再生していることに対応して収縮するか、又は暗色に変化してもよい。更に、音楽の変化の属性として、立体仮想オブジェクト５４０は、例えば、有界領域５０５の前面から突出するように移動する。立体仮想オブジェクト５４０を介した音楽の視覚化は、したがって、ユーザ４０１に多次元体験を提供する。
更に、いくつかの実施形態において、例えば、サイズ、色、アニメーション速度などの立体仮想オブジェクト５４０の特性は、入力に応答して調整される。例えば、ユーザ４０１は、立体仮想オブジェクト５４０－１に触り、それを移動させ、それを飛行させ、又は有界領域５０５から引き出すことができる。いくつかの実施形態において、立体仮想オブジェクト５４０は、それらが表すオーディオ信号に関連付けられる。したがって、立体仮想オブジェクト５４０の特性の変化はまた、対応するオーディオ信号を変化させる。したがって、立体仮想オブジェクト５４０との対話は、立体仮想オブジェクト５４０が表す対応する音楽を変更することができる。
図５Ｋ～５Ｍは、いくつかの実施形態に係る、有界領域５０５の周辺部内に表示される地図５５０と相互作用することを示す。既存のシステムでは、地図は、典型的には、領域の２Ｄ表現又は３Ｄ表現のいずれかを有する。図５Ｋでは、地図５５０は、有界領域５０５内に表示される。既存のシステムにおける地図と同様に、地図５５０は対話型であり、例えば、地図５５０をパン操作及び／又はズーム操作などする。しかしながら、既存のシステムにおける地図とは異なり、地図５５０は、立体仮想オブジェクト及び非立体仮想オブジェクト（例えば、２Ｄテキスト又は２Ｄ地図画像）の両方を含むことができる。
例えば、図５Ｋに示すように、有界領域５０５の周辺部内のサブ領域５５２が指定される。図５Ｌに示されるように、サブ領域５５２を指定することに応答して、立体仮想オブジェクト５６０は、サブ領域５５２の周辺部内に表示される。図５Ｌでは、立体仮想オブジェクト５６０は、例えば、３Ｄ高層ビル５６０－１及び５６０－３、並びに３Ｄピラミッド５６０－２を含む。これらの立体仮想オブジェクト５６０は、サブ領域５５２、例えば地図５５０上でラベル付けされた、例えばＭａｒｋｅｔ Ｓｔ．に近い領域の周辺部内の地図５５０の一部分の３Ｄ視野を表す。図５Ｌには示されていないが、いくつかの実施形態において、立体仮想オブジェクト５６０はまた、３Ｄ道路標識、３Ｄ信号機、及び／又は実際のトラフィック（例えば、移動する車及び／又はバス）などを含むことができる。いくつかの実施形態において、サブ領域５５２の周辺部の外側に、適合する仮想オブジェクト、例えば、通り／道路及び道路ラベルを表示する２Ｄ地図が表示される。したがって、立体仮想オブジェクト５６０及び非立体仮想オブジェクト（例えば、有界領域５０５内の地図の残り）は、有界領域５０５の周辺部内に共存する。
いくつかの実施形態において、有界領域５０５内のサブ領域５５２の位置は、ネイティブユーザＣＧＲ環境を特徴付ける１組の世界座標に従って固定される。換言すれば、地図５５０が移動すると、サブ領域５５２が、有界領域５０５内の位置にピン留めするウィンドウを開くかのように、サブ領域５５２の位置は、有界領域５０５内で変化しない。したがって、有界領域５０５の縁部までのサブ領域５５２の距離は固定される。このような実施形態において、地図５５０が移動すると、地図コンテンツはウィンドウの中及び外にスライドする。いくつかの実施形態において、ウィンドウ内にスライドするコンテンツは、対応する立体仮想コンテンツに変形され、サブ領域５５２の周辺部からスライドするコンテンツは、対応する適合する仮想コンテンツに変形される。
例えば、図５Ｌでは、点線の矢印によって示されるように、有界領域５０５内の地図５５０に向けられたパン操作入力が検出される。有界領域５０５の右縁部に向かうパンニング入力を受け取ることに応答して、地図５５０は右に移動される。結果として、立体仮想オブジェクト５６０の少なくとも一部分は、サブ領域５５２の周辺部から移動される。いくつかの実施形態において、サブ領域５５２の周辺部から移動すると、立体仮想オブジェクト５６０の少なくとも一部分は、１つ以上の適合する仮想オブジェクト、例えば、Ｍａｒｋｅｔ Ｓｔ．に近いエリアの通り／道路及び道路標識を表示する２Ｄ地図に変形される。いくつかの実施形態において、有界領域５０５の右縁部に向かうパンニング入力を受け取ることに応答して、地図５５０上の別の場所／エリアは、サブ領域５５２に関連付けられた場所、例えば、Ｊａｃｋｓｏｎ Ｓｔ．に近接するエリア内に移動する。したがって、図５Ｌに示されるように、Ｊａｃｋｓｏｎ Ｓｔ．に近接する２Ｄ通り／道路及び／又は道路ラベルは、対応する３Ｄオブジェクトに変形され、サブ領域５５４、例えば、図５Ｍに示されるように、Ｊａｃｋｓｏｎ Ｓｔ．に近接した小さい３Ｄビルのクラスタの周辺部内に表示される。
図には示されていないが、いくつかの実施形態において、ネイティブユーザＣＧＲ環境を特徴付ける１組の世界座標に基づくサブ領域５５２の位置は、地図５５０上のコンテンツに関連付けられている（又はそれに取り付けられる）。例えば、図５Ｌでは、サブ領域５５２の位置は、Ｍａｒｋｅｔ Ｓｔ．に近い領域と関連付けることができる。このような実施形態において、有界領域５０５内に表示されたコンテンツが移動されながら（例えば、パン操作されるか、又はドラッグされる）、サブ領域５５２の位置は、地図５５０上の関連付けられたコンテンツと共に移動する。結果として、サブ領域５２２の周辺部内に表示された立体仮想オブジェクト５６０は、地図５５０上の残りのコンテンツと共に移動する。換言すれば、地図５５０をパン操作するとき、指定されたサブ領域内の立体仮想オブジェクト５６０は、地図５５０の残りの部分と共に移動する。
図６Ａ及び図６Ｂは、いくつかの実施形態に係る、有界面の周辺部内に立体視仮想コンテンツを表示する方法６００のフローチャートを表す。いくつかの実施形態において、方法６００は、１つ以上のプロセッサと、非一時的メモリと、１つ以上のディスプレイとを有するデバイスによって実行される。いくつかの実施形態において、方法６００は、ハードウェア、ファームウェア、ソフトウェア又はそれらの組み合わせを含む処理ロジックによって実行される。いくつかの実施形態において、方法６００は、非一時的コンピュータ可読媒体（例えば、メモリ）内に記憶された命令（例えば、コード）を実行するプロセッサ及び／又はコントローラ（例えば、図１Ａ、１Ｂ、及び２中のコントローラ１０２）によって実行される。簡潔に述べると、いくつかの状況において、方法６００は、ネイティブユーザコンピュータ生成現実（ＣＧＲ）環境内に有界面を表示することであって、有界面が、ネイティブユーザＣＧＲ環境を特徴付ける第１の１組の世界座標に基づいて表示される、ことと、第１の立体仮想オブジェクトを有界面の第１の側の周辺部内に表示することであって、第１の立体仮想オブジェクトが、ネイティブユーザＣＧＲ環境を特徴付ける第１の１組の世界座標とは異なる第２の１組の世界座標に従って表示される、こととを含む。
方法６００は、ブロック６０２において、デバイスを用いて、ネイティブユーザコンピュータ生成現実（ＣＧＲ）環境内に有界面を表示することであって、有界面が、ネイティブユーザＣＧＲ環境を特徴付ける第１の１組の世界座標に基づいて表示される、ことで開始する。例えば、図４Ａは、第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1）に基づいて有界面４０５を表示することを示す。図４Ａは、第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1）が、ユーザ又はユーザ４０１を表すアバターが位置するネイティブユーザＣＧＲ環境４００を特徴付けることを更に示す。
方法６００は、ブロック６０４において、第１の立体仮想オブジェクトを有界面の第１の側の周辺部内に表示するデバイスを使用して継続し、第１の立体仮想オブジェクトは、ネイティブユーザＣＧＲ環境を特徴付ける第１の１組の世界座標とは異なる第２の１組の世界座標に従って表示される。例えば、図４Ａでは、３Ｄニワトリである立体仮想オブジェクト４２０は、有界面４０５の前側の周辺部内に表示される。更に図４Ａに示すように、有界面４０５は、第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1）に基づいて表示されるが、３Ｄニワトリ４２０は、第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1）とは異なる第２の１組の世界座標（Ｘ2，Ｙ2，Ｚ2）に従って表示される。したがって、ユーザ４０１の視点から、３Ｄニワトリ４２０は、有界面４０５の前側の内側又は後方に表示されるように見える。
いくつかの実施形態において、ブロック６１０によって表されるように、方法６００は、適合する仮想オブジェクトを有界面の周辺部内に表示することであって、適合する仮想オブジェクトが、第１の１組の世界座標によって特徴付けられる有界面の輪郭に適合する、こと、を更に含む。このような実施形態において、ブロック６１２によって表されるように、方法６００は、有界面の輪郭を変形することに応答して、適合する仮想オブジェクトの表示を同時に変形することを更に含む。
例えば、図４Ａでは、２Ｄテキスト「Ｍａｔｒｉｘ」４１０は、第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1）に従って有界面４０５の第１の側の周辺部内に表示される、適合する仮想オブジェクトである。図４Ａでは、２Ｄテキスト「Ｍａｔｒｉｘ」４１０は、有界面４０５の上縁部に平行であり、有界面４０５の平坦な前側に浮いているかのように、有界面４０５の平坦な前側に適合する。図４Ｈ～４Ｋでは、回転入力に応答して有界面４０５の輪郭が変化し、例えば、有界面４０５の輪郭は矩形形状から台形形状に変化する。結果として、２Ｄテキスト「Ｍａｔｒｉｘ」４１０の形状は、有界面４０５の輪郭変形と整合されたままであるために同時に変化し、例えば、２Ｄテキスト「Ｍａｔｒｉｘ」４１０の視点及び形状は、台形形状の有界面４０５に適合するために変化する。
別の例では、図５Ｇでは、２Ｄテキスト「ｄｏｇ」は、有界面５０５の前側の周辺部内に表示され、平坦な有界面５０５の輪郭に適合する、適合する仮想オブジェクトである。図４Ｆでは、有界面４０５の輪郭は、回転入力に応答して変化し、例えば、有界面４０５はねじれ、有界面４０５の輪郭は湾曲する。図４Ｆに示されるように、有界面４０５の変形に応答して、２Ｄテキスト「ｄｏｇ」は、曲線状に表示され、ねじれた有界面４０５に適合するようにしわが寄っているように見える。
再び図６Ａを参照すると、いくつかの実施形態において、ブロック６２０によって表されるように、方法６００は、有界面の第２の側を表示することであって、有界面の後側が、第１の立体仮想オブジェクトのラスタ化された適合する表現を含む、こと、を更に含む。このような実施形態において、ブロック６２２によって表されるように、いくつかの実施形態において、有界面の第２の側を表示することが、有界面の第２の側上に、第１の立体仮想オブジェクトのラスタ化された適合する表現のぼやけた表現を表示することを含む。
例えば、図４Ｂ、４Ｅ、及び４Ｇは、有界面４０５の後側を表示することを示す。図４Ｂに示すように、有界面４０５の後側は、有界面４０５の前側からの３Ｄニワトリ４２０の適合する表現４２０－Ｂを含む。結果として、有界面４０５は半透明又は半透過であるように見え、それにより、ぼやけたニワトリ画像４２０－Ｂがホウ素４０５の後側の周辺部内の有界面４０５の後側に表示される。同様に、図４Ｅ及び４Ｇでは、有界面４０５の後側は、有界面４０５の前側からのそれぞれの立体仮想オブジェクトの適合する（例えば、２Ｄ）表現を含む。例えば、図４Ｅ及び４Ｇに示すように、有界面４０５を回す入力に応答して有界面４０５が変形するとき、それぞれの立体仮想オブジェクトの適合する表現は有界面４０５に適合するので、後側のラスタ化された適合する表現は、有界面４０５の湾曲と整合されたままであるように同時に変形する。
いくつかの実施形態において、ブロック６３０によって表されるように、方法６００は、有界面に向けられた入力に応答して、有界面の輪郭を変化させるために、有界面の表示を変形することを更に含む。このような実施形態において、ブロック６３２によって表されるように、方法６００は、ユーザの人体姿勢変化の検出を含む、ユーザからの入力を受信することを更に含む。更に、このような実施形態において、ブロック６３４によって表されるように、有界面の表示を変形することが、第１の１組の世界座標及び第２の１組の世界座標に基づいて、第１の立体仮想オブジェクトの表示を変形することを含む。
例えば、図４Ｃ～４Ｋを参照して上述したように、入力は、ユーザが有界面４０５を後側に回転させることであり得る。有界面４０５が入力に応答して変形すると、３Ｄニワトリの頭部は、有界面４０５の移動と共に運ばれる間に、第２の１組の世界座標（Ｘ2，Ｙ2，Ｚ2）に従って移動される。別の実施例では、図には示されていないが、入力は、ユーザが、ＣＧＲ環境４００内の有界面４０５の後側に歩いて、入口の後側を調べることであり得る。更に別の例では、入力は、図４Ｊに示されるように、有界面４０５の側面の視野を得るために、ユーザはポータブル多機能デバイスを移動させて、有界面４０５を異なる角度から見ることができる。したがって、デバイスによって検出されたユーザの人体姿勢変化は、有界面４０５の変形をトリガする入力とすることができる。例えば、人体姿勢変化は、ユーザがボタンをクリックして有界面４０５を回転させることと、ユーザが有界面４０５をねじるか又は弾くことと、ユーザが有界面４０５を折り畳むことと、ユーザが有界面４０５を押し下げることと、ユーザが３Ｄツールボックスオブジェクト４４０及び／又は同様のものなどを選択することと、を含み得る。当業者であれば、入力は上述の人体姿勢変化に限定されないことを理解するであろう。音声入力などの他の形態の入力もまた、有界面の変形をトリガするために使用することができる。更に、いくつかの実施形態において、有界面の変形は、ユーザ入力なしに実行される。
図６Ｂを参照すると、いくつかの実施形態において、ブロック６４０によって表されるように、方法６００は、第２の１組の世界座標に基づいて第１の立体仮想オブジェクトの表示を変形することを更に含む。このような実施形態において、ブロック６４２によって表されるように、いくつかの実施形態において、第２の１組の世界座標に基づいて第１の立体仮想オブジェクトの表示を変形することが、第１の立体仮想オブジェクトの少なくとも一部分を有界面の第１の側から突出するように表示することを含む。換言すれば、いくつかの実施形態において、立体仮想オブジェクトの表示は、ユーザ入力に応答して変形されない。このような実施形態において、立体仮想オブジェクトの変形は、有界面の変形及び適合する仮想オブジェクトの変形と不均衡であり得る。
例えば、図４Ｌ及び４Ｍでは、３Ｄニワトリ４６０の頭部は、有界面４０５が移動していないときも移動する。別の実施例では、図４Ｈ～４Ｋに示すように、３Ｄニワトリ４２０は、第２の１組の世界座標（Ｘ2，Ｙ2，Ｚ2）に基づいて軸４５２の周りを回転し、一方、有界面４０５は、第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1）に基づいて縦軸４５０の周りを回転する。別の実施例では、図５Ｃに示すように、有界面５０５が平らに置かれたとき、３Ｄ恐竜カッター５１２は有界面５０５の前側から起立して突出する。
更に図６Ｂを参照すると、いくつかの実施形態において、ブロック６５０によって表されるように、方法６００は、第１の立体仮想オブジェクトの少なくとも一部分を遮蔽するように、有界面の周辺部内に仮想オブジェクトを表示することを含む。このような実施形態において、ブロック６５２によって表されるように、方法６００は、ユーザ姿勢に関連付けられた垂直な見通し線から、斜めの有界面の第１の側を表示することと、第１の立体仮想オブジェクトの少なくとも一部分を遮蔽するように、仮想オブジェクトの表示を停止することと、を更に含む。例えば、図４Ａでは、有界面４０５の前側視野は、有界面４０５のほぼ正面に立っているユーザ４０１と関連付けられたほぼ垂直な見通し線を示す。図４Ａでは、ほぼ垂直な見通し線の視点から、有界面４０５内の３Ｄニワトリ４２０は、有界面４０５の前側に浮いている２Ｄテキスト「Ｍａｔｒｉｘ」４１０の後ろにある。したがって、２Ｄテキスト「Ｍａｔｒｉｘ」４１０は、３Ｄニワトリ４２０の頂部を遮蔽する。比較すると、図４Ｊに示されるような角度付き視野では、有界面４０５が一定の角度に回転され、有界面４０５の前側が垂直な見通し線の視点から斜めであるとき、２Ｄテキスト「Ｍａｔｒｉｘ」４１０は、３Ｄニワトリ４２０の頂部をもはや遮蔽しない。
いくつかの実施形態において、ブロック６６０によって表されるように、方法６００は、第１の立体仮想オブジェクトを、有界面の周辺部から、ネイティブユーザＣＧＲ環境内に移動させることと、ネイティブユーザＣＧＲ環境に入る第１の立体仮想オブジェクトに応答して、第１の１組の世界座標に従って第１の立体仮想オブジェクトを表示することと、を更に含む。例えば、図４Ｎでは、３Ｄニワトリ４２０は、有界面４０５の前側の周辺部の外側に引っ張られ、例えば、３Ｄニワトリ４２０を色塗りする準備で、３Ｄニワトリ４２０を入口から引き出すかのように、ユーザ４０１の前に配置されることができる。有界面４０５の周辺部の外側に３Ｄニワトリ４２０を引き出すことによって、３Ｄニワトリ４２０は、もはや第２の１組の世界座標（Ｘ2，Ｙ2，Ｚ2）に従って表示されない。代わりに、３Ｄニワトリ４２０は、ユーザ４０１と共に第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1）に従って表示及び／又はアニメーション化される。
いくつかの実施形態において、ブロック６７０によって表されるように、方法６００は、ネイティブユーザＣＧＲ環境の第１の１組の世界座標から有界面内の第２の１組の世界座標への視野座標変化を示すユーザ入力を受信することを更に含む。更に、ブロック６７０によって表されるように、視野座標の変化を示すユーザ入力の受信に応答して、方法６００はまた、第２の１組の世界座標に従って第１の立体仮想オブジェクトの表示を調整することを含む。例えば、図４Ｏでは、ユーザ４０１は、例えば、３Ｄニワトリ４２０を調べるために入口を通過しているかのように、有界面４０５の周辺部に入るか、又は有界面を介して見ることができる。第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1）から第２の１組の世界座標（Ｘ2，Ｙ2，Ｚ2）への視野座標変化を示すユーザ入力（例えば、人体姿勢変化）の検出に応答して、３Ｄニワトリ４２０の表示は変化し、例えば、３Ｄニワトリ４２０が第２の１組の世界座標（Ｘ2，Ｙ2，Ｚ2）に従って移動される。別の実施例では、図には示されていないが、ユーザが立体仮想オブジェクトを有界面から引き出した後、ユーザは、立体仮想オブジェクトと対話する（例えば、色の変更又は追加、ネクタイの追加など）ことができ、次いで、立体仮想オブジェクトを有界面の前側の周辺部に戻して、有界面における修正の効果を見ることができる。
いくつかの実施形態において、ブロック６８０によって表されるように、方法６００は、有界面の周辺部内に第２の立体仮想オブジェクトを表示することであって、第２の立体仮想オブジェクトが、第１及び第２の１組の世界座標とは異なる第３の１組の世界座標に従って表示される、ことを更に含む。例えば、図４Ｈ～４Ｋでは、３Ｄツールボックスオブジェクト４４０のそれぞれは、それ自身の１組の世界座標に従って回転することができる。それぞれの３Ｄツールボックスオブジェクト４４０に対するそれぞれの１組の世界座標は、３Ｄニワトリ４２０が基づく第２の１組の世界座標（Ｘ2，Ｙ2，Ｚ2）とは異なり得る。その結果、３Ｄニワトリ４２０及び３Ｄツールボックスオブジェクト４４０は、異なってアニメーション化することができ、例えば、異なる世界座標系内で異なる軸の周りを回転することができる。
図７Ａ及び図７Ｂは、いくつかの実施形態に係る、有界面の周辺部内に立体視仮想コンテンツを表示する方法７００のフローチャートを表す。いくつかの実施形態において、方法７００は、１つ以上のプロセッサと、非一時的メモリと、１つ以上のディスプレイとを有するデバイスによって実行される。いくつかの実施形態において、方法７００は、ハードウェア、ファームウェア、ソフトウェア又はそれらの組み合わせを含む処理ロジックによって実行される。いくつかの実施形態において、方法７００は、非一時的コンピュータ可読媒体（例えば、メモリ）内に記憶された命令（例えば、コード）を実行するプロセッサ及び／又はコントローラ（例えば、図１Ａ、１Ｂ、及び２中のコントローラ１０２）によって実行される。簡潔に述べると、いくつかの状況では、方法７００は、第１の１組の世界座標に基づいて有界領域を表示することであって、有界領域内のコンテンツは、第２の１組の世界座標に従って表示される立体仮想オブジェクトを含む、ことと、コンテンツに向けられた入力を受信することと、入力に従って、有界領域の第１の側の周辺部内で立体仮想オブジェクトを移動させることを含み、入力に従って、有界領域の第１の側の周辺部内でコンテンツを移動させることと、第２の１組の世界座標に従って立体仮想オブジェクトをアニメーション化することと、を含む。
方法７００は、ブロック７１０において、第１の１組の世界座標に基づいて有界領域を表示するデバイスで開始し、有界領域内のコンテンツは、第２の１組の世界座標に従って表示される立体仮想オブジェクトを含む。例えば、図５Ａでは、有界領域５０５は、第１の１組の世界座標（Ｘ1，Ｙ1，Ｚ1に基づいて表示される。更に図５Ａに示されるように、有界領域５０５内に表示されるコンテンツは、３Ｄ恐竜カッター５１２を含み、３Ｄ恐竜カッター５１２は、第２の１組の世界座標（Ｘ2，Ｙ2，Ｚ2）に従って表示される。
いくつかの実施形態において、ブロック７１２によって表されるように、方法は、立体仮想オブジェクトを、有界領域の第１の側の周辺部内に収まるように縮尺することを更に含む。例えば、図５Ｉに示されるような海洋ライナ５３０は、視野を容易にするために、実物大で、かつ適切な距離で有界領域５０５の前側の周辺部内に表示される。
方法７００は、ブロック７２０において、コンテンツに向けられた入力を受信するデバイスを使用して継続する。例えば、入力は、ユーザが、図５Ａ、５Ｇ、及び５Ｌ中の点線の矢印によって示されるように、コンテンツを上下にスクロールすることであり得る。別の例では、入力は、図５Ｃの点線の矢印によって示されるように、ユーザが立体仮想オブジェクトを列ごとにスクロールすることであり得る。更に別の実施例では、図５Ｉに示される海洋ライナの例では、入力は、ユーザが海洋ライナ５３０を有界領域５０５の内側に移動させて、海洋ライナ５３０の前側又は側面を見ることであり得る。更に別の例では、入力は、図５Ｊに示されるように、ユーザ４０１が立体仮想オブジェクト５４０－１と対話することであり得る。
更に図７Ａを参照すると、方法７００は、ブロック７３０において、入力に従って、有界領域の第１の側の周辺部内でコンテンツを移動させるデバイスを使用して継続する。例えば、図５Ａ及び５Ｂでは、上方スクロール入力に応答して、３Ｄ恐竜カッター５１２は、上方スクロール入力の方向に従って上方にスクロールされる。別の実施例では、図５Ｃ及び５Ｄでは、後ろから前への列ごとのスクロール入力に応答して、３Ｄ恐竜カッター５１２は、後側から前側へ移動される。
いくつかの実施形態において、入力に従って、有界領域の第１の側の周辺部内でコンテンツを移動させることは、（ａ）ブロック７３２に表されるように、入力に従って、有界領域の第１の側の周辺部内で立体仮想オブジェクトを移動させることと、（ｂ）ブロック７３４に表されるように、第２の１組の世界座標に従って立体仮想オブジェクトをアニメーション化することと、を含む。例えば、図５Ｂでは、小さい３Ｄ恐竜カッター５１２－２は、第２の１組の世界座標（Ｘ2，Ｙ2，Ｚ2）に従って回転する。
いくつかの実施形態において、ブロック７３６によって表されるように、第２の１組の世界座標に従って立体仮想オブジェクトをアニメーション化することは、第１の１組の世界座標に基づいて、有界領域の第１の側の周辺部から立体仮想オブジェクトの距離を決定することと、距離が閾値内であるという決定に従って、立体仮想オブジェクトを有界領域内に後退させ、かつ、有界領域の第１の側の周辺部によって立体仮想オブジェクトの一部分を遮蔽することと、を含む。例えば、図５Ｂの大きい３Ｄ恐竜カッター５１２－１及び図５Ｄの小さい３Ｄ恐竜カッター５１２－２は、有界領域５０５の縁部付近でスクロールされると、有界領域５０５の内側に折り畳まれる。更に、遮蔽の性質によって、図５Ｂの大きい３Ｄ恐竜カッター５１２－１及び図５Ｄの小さい３Ｄ恐竜カッター５１２－２は、有界領域５０５内に後退し、それぞれの立体仮想オブジェクト５１２の一部分は有界領域５０５の前側の周辺部によって遮蔽される。例えば、図５Ｂの大きい３Ｄ恐竜カッター５１２－１は、有界領域５０５の上縁部によって遮蔽され、図５Ｄの小さい３Ｄ恐竜カッター５１２－２は、有界領域５０５の下縁部によって遮蔽される。
いくつかの実施形態において、ブロック７３８によって表されるように、第２の１組の世界座標に従って立体仮想オブジェクトをアニメーション化することは、第１の１組の世界座標に基づいて、有界領域の第１の側の周辺部から立体仮想オブジェクトの距離を決定することと、距離が閾値より大きいという決定に従って、立体仮想オブジェクトの少なくとも一部分を有界領域の第１の側から突出するように表示することと、を含む。例えば、図５Ｂでは、有界領域５０５内のコンテンツが上にスクロールされると、小さい３Ｄ恐竜カッター５１２－２は回転して、有界領域５０５の前側から突出する。
図７Ｂを参照すると、いくつかの実施形態において、方法７００は、ブロック７４０によって表されるように、有界領域の第２の側を表示することを更に含み、有界領域の第２の側は、立体仮想オブジェクトのラスタ化された適合する表現を含む。このような実施形態において、ブロック７４２によって表されるように、方法７００は、入力の受信に応答して、有界領域の第２の側の表示を更新することを更に含む。いくつかの実施形態において、有界領域の第２の側の表示を更新することは、第１の１組の世界座標に基づいて、立体仮想オブジェクトのラスタ化された適合する表現を移動させることと、立体仮想オブジェクトをアニメーション化することに基づいて、立体仮想オブジェクトのラスタ化された適合する表現を修正することと、を更に含む。
例えば、図５Ｅは、有界領域５０５の前側を示し、一方、図５Ｆは、有界領域５０５の対応する後側を示す。図５Ｆでは、有界面５０５の後側は、有界領域５０５の前側からの３Ｄニワトリ５２０のラスタ化された適合する表現５２０－Ｂを含む。図５Ｇでは、有界領域５０５のコンテンツが上にスクロールされると、３Ｄ犬５２４は、有界領域５０５内に移動する。３Ｄ犬５２４が更に上に移動される間、図５Ｈに示すように、有界領域５０５の後側のコンテンツは、３Ｄ犬５２４のラスタ化された適合する表現５２４－Ｂを示すように修正される。
いくつかの実施形態において、方法７００は、ブロック７５０によって表されるように、有界領域内のサブ領域を指定することを更に含み、サブ領域は立体仮想オブジェクトを含む。このような実施形態において、ブロック７５２によって表されるように、いくつかの実施形態において、入力に従って、有界領域の周辺部内でコンテンツを移動させることは、立体仮想オブジェクトをサブ領域の周辺部から移動させることと、第１の１組の世界座標に従って、サブ領域の周辺部の外側に表示するために、立体仮想オブジェクトを適合する仮想オブジェクトに変形することと、を含む。また、このような実施形態において、ブロック７５４によって表されるように、入力に従って有界領域の周辺部内でコンテンツを移動させることは、サブ領域の周辺部の内側のサブ領域の周辺部の外側に表示された適合する仮想オブジェクトを移動させることと、適合する仮想オブジェクトを少なくとも１つの立体仮想オブジェクトに変形することと、を含む。
例えば、図５Ｋは、有界領域５０５内に表示された地図５５０、及び有界領域５０５の前側の周辺部内の指定されたサブ領域５５２を示す。図５Ｌに示されるようにサブ領域５５２を指定することに応答して、立体仮想オブジェクト５６０は、サブ領域５５２、例えばＭａｒｋｅｔ Ｓｔ．に近いエリアの３Ｄビューの周辺部内に表示される。サブ領域５５２の周辺部の外側に、有界領域５０５の残りの部分内に２Ｄ地図が表示される。図５Ｌに示すように、地図５５０がパン操作又はドラッグされると、地図５５０が更新される。例えば、図５Ｍでは、Ｍａｒｋｅｔ Ｓｔ．に近いエリアの３Ｄビューは、サブ領域５２２から移動され、Ｊａｃｋｓｏｎ Ｓｔ．に近接するエリアの３Ｄビューに置き換えられている。換言すれば、パン操作又はドラッグ操作入力に応答して、図５Ｌのサブ領域５２２内の３Ｄコンテンツ（例えば、Ｍａｒｋｅｔ Ｓｔ．に近いエリアの３Ｄビュー）は、サブ領域５２２の周辺部から移動し、サブ領域５２２から移動すると、そのようなコンテンツは、地図上の２Ｄコンテンツに変形される。更に、パン操作又はドラッグ操作入力に応答して、図５Ｌのサブ領域５２２の外側の一部分の２Ｄコンテンツ（例えば、Ｊａｃｋｓｏｎ Ｓｔ．付近のエリアの２Ｄビュー）が、サブ領域５２２の周辺部内に移動され、サブ領域５２２内に入ると、そのようなコンテンツは３Ｄコンテンツに変形される。
いくつかの実施形態において、ブロック７６０によって表されるように、コンテンツは、有界領域の輪郭に適合する、適合する仮想オブジェクトを含む。方法７００は、第１の１組の世界座標に基づいて、立体仮想オブジェクトに対する相対位置で、適合する仮想オブジェクトを表示することを更に含む。例えば、有界領域５０５内のコンテンツはまた、図５Ａの２Ｄテキスト「Ｄｉｎｏｓａｕｒ Ｃｕｔｔｅｒｓ」５２２を含み、立体仮想オブジェクト間の２Ｄテキスト（例えば、図５Ｇにおける３Ｄニワトリ５２０及び２Ｄテキスト「Ｄｉｎｏｓａｕｒ Ｃｕｔｔｅｒｓ」５２２）、図５Ｉにおける２Ｄテキスト「Ｏｃｅａｎ Ｌｉｎｅｒ」、図５Ｊにおける２Ｄテキスト「Ｍｕｓｉｃ」、及び／又は図５Ｋ～５Ｍにおけるサブ領域５５２の外側の２Ｄ地図を含む。このような実施形態において、いくつかの実施形態において、入力に従って有界領域の第１の側の周辺部内でコンテンツを移動させることは、立体仮想オブジェクトに対する相対位置を維持しながら、第１の１組の世界座標に基づいて、適合する仮想オブジェクトを入力の方向に移動させることを含む。
例えば、図５Ａでは、２Ｄテキスト「Ｄｉｎｏｓａｕｒ Ｃｕｔｔｅｒｓ」５２２は、大きい３Ｄ恐竜カッター５１２－１の上方に表示され、有界領域５２２の上縁部に近い。コンテンツが上向きにスクロールされると、２Ｄテキスト「Ｄｉｎｏｓａｕｒ Ｃｕｔｔｅｒｓ」５２２は、３Ｄ立体仮想オブジェクト５１２と共に上向きに移動される。図５Ｂに示されるように、２Ｄのテキストは、有界領域５０５の縁部によって切り取られるように、非常に上方に移動されている。別の例では、図５Ｃでは、有界領域５０５が平坦であるとき、２Ｄテキスト「Ｄｉｎｏｓａｕｒ Ｃｕｔｔｅｒｓ」５２２は、ある距離で立体仮想オブジェクト５１２の後ろにある。後から前へのスクロールに応答して、２Ｄテキスト「Ｄｉｎｏｓａｕｒ Ｃｕｔｔｅｒｓ」５２２は、立体仮想オブジェクト５１２と共に、有界領域５０５の下縁部の近くに同じ方向に移動され、立体仮想オブジェクト５１２に対する２Ｄテキスト「Ｄｉｎｏｓａｕｒ Ｃｕｔｔｅｒｓ」５２２の位置は維持され、例えば、２Ｄテキスト「Ｄｉｎｏｓａｕｒ Ｃｕｔｔｅｒｓ」５２２が、同じ相対距離で依然として大きい３Ｄ恐竜カッター５１２－１の後ろにある。
図８は、いくつかの実施形態に係るコンピューティングデバイス８００のブロック図である。いくつかの実施形態において、コンピューティングデバイス８００は、図１Ａにおけるデバイス１０４の少なくとも一部分に対応し、上記で説明された機能性のうちの１つ以上を実行する。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのために、非限定的な実施例として、いくつかの実施形態において、コンピューティングデバイス８００は、１つ以上の処理ユニット（ＣＰＵ）８０２（例えば、プロセッサ）、１つ以上の入出力（Ｉ／Ｏ）インタフェース８０３（例えば、ネットワークインタフェース、入力デバイス、出力デバイス、及び／又はセンサインタフェース）、メモリ８１０、プログラミングインタフェース８０５、及びこれら及び様々な他の構成要素を相互接続するための１つ以上の通信バス８０４を含む。
いくつかの実施形態において、１つ以上の通信バス８０４は、システム構成要素を相互接続し、システム構成要素間の通信を制御する回路を含む。メモリ８１０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、いくつかの実施形態において、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ８１０は、１つ以上のＣＰＵ８０２からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ８１０は、非一時的コンピュータ可読記憶媒体を含む。更に、いくつかの実施形態において、メモリ８１０又はメモリ８１０の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム８２０、画像キャプチャ制御モジュール８５０、画像処理モジュール８５２、人体姿勢処理モジュール８５４、入力処理モジュール８５６及びＣＧＲコンテンツレンダリングモジュール８５８を含むプログラム、モジュール及びデータ構造、又はそれらのサブセットを蓄積する。いくつかの実施形態において、１つ以上の命令は、論理メモリ及び非一時的メモリの組み合わせに含まれる。オペレーティングシステム８２０は、様々な基本システムサービスを処理するための及びハードウェア依存タスクを実行するための手順を含む。
いくつかの実施形態において、画像キャプチャ制御モジュール８５０は、画像をキャプチャするか、又は画像データを取得する、例えば、ＣＧＲコンテンツを生成するための画像データを取得する画像センサ又はカメラアセンブリの機能性を制御するように構成される。そのために、画像キャプチャ制御モジュール８５０は、１組の命令８５１ａ並びにヒューリスティック及びメタデータ８５１ｂを含む。
いくつかの実施形態において、画像処理モジュール８５２は、画像センサ又はカメラアセンブリから生画像データを前処理する（例えば、ＲＡＷ画像データをＲＧＢ画像データ又はＹＣｂＣｒ画像データに変形し、姿勢情報を引き出すなど）ように構成される。そのために、画像処理モジュール８５２は、１組の命令８５３ａ並びにヒューリスティック及びメタデータ８５３ｂを含む。
いくつかの実施形態において、人体姿勢処理モジュール８５４は、例えば、ユーザの人体姿勢又は人体の動きに基づいてユーザ入力を生成するために、ユーザの人体姿勢（例えば、処理ＩＭＵデータ）を処理するように構成される。そのために、人体姿勢処理モジュール８５４は、１組の命令８５５ａ並びにヒューリスティック及びメタデータ８５５ｂを含む。
いくつかの実施形態において、入力処理モジュール８５６は、ユーザ入力、例えば、仮想紙上のコンテンツのスクロール又はドラッグ、仮想紙の移動、又は仮想紙の異なる側への歩行を処理するように構成される。そのために、入力処理モジュール８５６は、１組の命令８５７ａ並びにヒューリスティック及びメタデータ８５７ｂを含む。
いくつかの実施形態において、ＣＧＲコンテンツレンダリングモジュール８５８は、他の後処理画像データと共に、ＣＧＲコンテンツアイテムを合成、レンダリング、及び／又は表示するように構成される。そのために、ＣＧＲコンテンツレンダリングモジュール８５８は、１組の命令８５９ａ並びにヒューリスティック及びメタデータ８５９ｂを含む。
画像キャプチャ制御モジュール８５０、画像処理モジュール８５２、人体姿勢処理モジュール８５４、入力処理モジュール８５６、及びＣＧＲコンテンツレンダリングモジュール８５８は、単一のコンピューティングデバイス上に存在するものとして示されているが、他の実施形態において、画像キャプチャ制御モジュール８５０、画像処理モジュール８５２、人体姿勢処理モジュール８５４、入力処理モジュール８５６、及びＣＧＲコンテンツレンダリングモジュール８５８の任意の組み合わせが、各種実施形態において、別個のコンピューティングデバイス内に存在することができることに理解されたい。例えば、いくつかの実施形態において、画像キャプチャ制御モジュール８５０、画像処理モジュール８５２、人体姿勢処理モジュール８５４、入力処理モジュール８５６、及びＣＧＲコンテンツレンダリングモジュール８５８のそれぞれが、別個のコンピューティングデバイス上又はクラウド内に存在することができる。
更に、図８は、本明細書に開示される実施形態の構造概略とは対照的に、特定の実施形態に存在する様々な特徴の機能的説明を更に意図している。当業者によって認識されるように、別々に示されたアイテムを組み合わせることができ、一部のアイテムを分離することができる。例えば、図８に別々に示されるいくつかの機能モジュールは、単一のモジュール内に実装することができ、単一の機能ブロックの様々な機能は、各種実施形態において１つ以上の機能ブロックによって実装することができる。モジュールの実際の数並びに特定の機能の分割及びそれらにどのように機能が割り当てられるかは、実施形態によって異なり、特定の実施形態のために選択されたハードウェア、ソフトウェア及び／又はファームウェアの特定の組み合わせに部分的に依存することができる。
添付の特許請求の範囲内の実施形態の様々な態様が上述されているが、上述の実施形態の様々な特徴は、多種多様な形態で具現化されてもよく、上記の任意の特定の構造及び／又は機能は単なる例示に過ぎないことは明らかである。本開示に基づいて、当業者は、本明細書に記載される態様は、任意の他の態様とは独立して実施されてもよく、これらの態様のうちの２つ以上が様々な方法で組み合わされてもよいことを理解すべきである。例えば、装置が実装されてもよく、及び／又は本明細書に記載される任意の数の態様を使用して実施されてもよい。更に、本明細書に記載の態様の１つ以上に加えて、又はそれ以外の態様で、他の構造及び／又は機能を使用して、そのような装置を実装及び／又はそのような方法を実施できる。
本明細書では、様々な要素を説明するために「第１の」、「第２の」などの用語が使用される場合があるが、これらの要素は、これらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、「第１ノード」の全ての出現について一貫して名前が変更され、「第２ノード」の全ての出現について一貫して名前が変更される限り、説明の意味を変えることなく、第１ノードは第２ノードと呼ぶことができ、同様に、第２ノードは第１ノードと呼ぶことができる。第１のノードと第２のノードは両方ともノードであるが、それらは同じノードではない。
本明細書で使用される用語は、特定の実施形態を説明する目的のためであり、特許請求の範囲を限定することを意図するものではない。説明される実施形態の説明及び添付の特許請求の範囲で使用されるように、単数形の「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形も含むことを意図している。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「ｃｏｍｐｒｉｓｅｓ（含む、備える）」及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む、備える）」が、本明細書で使用される場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことを更に理解されたい。
本明細書で使用されるときには、用語「ｉｆ」は、文脈に応じて、「とき」又は「際に」又は、先に述べた条件が正しいとの「判定に応じて」又は「判定に従って」、「検出に応じて」を意味するものと解釈できる。同様に、「［先に述べた条件が正しい］と判定される場合」又は「［先に述べた条件が正しい］場合」、又は「［先に述べた条件が正しい］とき」というフレーズは、先に述べた条件が正しいとの「判定に際して」又は「判定に応じて」又は「判定に従って」又は「検出した際に」又は「検出に応じて」ということを意味するものと解釈できる。

Claims (19)

  1. １つ以上のプロセッサと、非一時的メモリと、１つ以上のディスプレイと、を含むデバイスにおいて、
    ネイティブユーザコンピュータ生成現実（ＣＧＲ）環境内に有界面を表示することであって、前記有界面が、前記ネイティブユーザＣＧＲ環境を特徴付ける第１の１組の世界座標に基づいて表示される、ことと、
    第１の立体仮想オブジェクトを前記有界面の第１の側の輪郭に表示することであって、前記第１の立体仮想オブジェクトが、前記ネイティブユーザＣＧＲ環境を特徴付ける前記第１の１組の世界座標とは異なる第２の１組の世界座標に従って表示される、ことと、
    前記有界面の第２の側を表示することであって、前記有界面の前記第２の側が、前記第１の立体仮想オブジェクトのラスタ化された適合する表現を含む、ことと、
    を含む、方法。
  2. 適合する仮想オブジェクトを前記有界面の前記第１の側の前記輪郭に表示することであって、前記適合する仮想オブジェクトが、前記第１の１組の世界座標によって特徴付けられる前記有界面の輪郭に適合する、ことを更に含む、請求項１に記載の方法。
  3. 前記有界面の前記輪郭を変形することに応答して、前記適合する仮想オブジェクトの表示を同時に変形することを更に含む、請求項２に記載の方法。
  4. 前記有界面の前記第２の側を表示することが、前記有界面の前記第２の側上に、前記第１の立体仮想オブジェクトの前記ラスタ化された適合する表現のぼやけた表現を表示することを含む、請求項１に記載の方法。
  5. 前記有界面に向けられた入力に応答して、前記有界面の輪郭を変化させるために、前記有界面の表示を変形することを更に含む、請求項１に記載の方法。
  6. ユーザの人体姿勢変化を検出することを含む、前記入力を前記ユーザから受信することを更に含む、請求項５に記載の方法。
  7. 前記有界面の前記表示を変形することが、前記第１の１組の世界座標及び前記第２の１組の世界座標に基づいて、前記第１の立体仮想オブジェクトの前記表示を変形することを含む、請求項５に記載の方法。
  8. 前記第２の１組の世界座標に基づいて、前記第１の立体仮想オブジェクトの表示を変形することを更に含む、請求項１に記載の方法。
  9. 前記第２の１組の世界座標に基づいて前記第１の立体仮想オブジェクトの前記表示を変形することが、前記第１の立体仮想オブジェクトの少なくとも一部分を前記有界面の前記第１の側から突出するように表示することを含む、請求項８に記載の方法。
  10. 前記第１の立体仮想オブジェクトの少なくとも一部分を遮蔽するように、前記有界面の前記輪郭に仮想オブジェクトを表示することを更に含む、請求項１に記載の方法。
  11. 前記有界面の前記第１の側の角度付き視野をユーザ姿勢に関連付けられた垂直な見通し線から斜めに表示することと、
    角度付き視野の前記有界面でありながら、前記第１の立体仮想オブジェクトの前記少なくとも一部分を遮蔽せずに前記仮想オブジェクトを表示することと、を更に含む、請求項１に記載の方法。
  12. 前記第１の立体仮想オブジェクトを前記有界面の前記輪郭の外側、かつ前記ネイティブユーザＣＧＲ環境内に移動させることと、
    前記第１の立体仮想オブジェクトが前記ネイティブユーザＣＧＲ環境に入ることに応答して、前記第１の１組の世界座標に従って前記第１の立体仮想オブジェクトを表示することと、
    を更に含む、請求項１に記載の方法。
  13. 前記ネイティブユーザＣＧＲ環境の前記第１の１組の世界座標から前記有界面内の前記第２の１組の世界座標への視野座標変化を示すユーザ入力を受信することと、
    前記視野座標変化を示す前記ユーザ入力の受信に応答して、前記第２の１組の世界座標に従って前記第１の立体仮想オブジェクトの表示を調整することと、
    を更に含む、請求項１に記載の方法。
  14. 前記有界面の前記輪郭に第２の立体仮想オブジェクトを表示することであって、前記第２の立体仮想オブジェクトが、前記第１及び第２の１組の世界座標とは異なる第３の１組の世界座標に従って表示される、ことを更に含む、請求項１に記載の方法。
  15. 前記デバイスが、ヘッドマウントデバイス、携帯電話、又はタブレットのうちの少なくとも１つを含む、請求項１に記載の方法。
  16. デバイスであって、
    １つ以上のプロセッサと、
    非一時的メモリと、
    １つ以上のディスプレイと、
    前記非一時的メモリに記憶された１つ以上のプログラムであって、前記１つ以上のプロセッサによって実行されたときに、前記デバイスに、
    有界面が、ネイティブユーザコンピュータ生成現実（ＣＧＲ）環境を特徴付ける第１の１組の世界座標に基づいて表示される、前記有界面を前記ネイティブユーザＣＧＲ環境内に表示させ、
    第１の立体仮想オブジェクトが、前記ネイティブユーザＣＧＲ環境を特徴付ける前記第１の１組の世界座標とは異なる第２の１組の世界座標に従って表示される、前記第１の立体仮想オブジェクトを前記有界面の第１の側の輪郭に表示させ、
    前記第１の立体仮想オブジェクトのラスタ化された適合する表現を含む前記有界面の第２の側を表示させる１つ以上のプログラムと、
    を備える、デバイス。
  17. 前記１つ以上のプログラムが、前記デバイスに、更に、
    前記有界面の前記第１の側の前記輪郭に適合する仮想オブジェクトであって、前記適合する仮想オブジェクトが、前記第１の１組の世界座標によって特徴付けられる前記有界面の輪郭に適合する、仮想オブジェクトを表示させる、請求項１６に記載のデバイス。
  18. １つ以上のプログラムであって、１つ以上のディスプレイを有するデバイスの１つ以上のプロセッサによって実行されたときに、前記デバイスに、
    有界面が、ネイティブユーザコンピュータ生成現実（ＣＧＲ）環境を特徴付ける第１の１組の世界座標に基づいて表示される、前記有界面を前記ネイティブユーザＣＧＲ環境内に表示させ、
    第１の立体仮想オブジェクトが、前記ネイティブユーザＣＧＲ環境を特徴付ける前記第１の１組の世界座標とは異なる第２の１組の世界座標に従って表示され、前記第１の立体仮想オブジェクトを前記有界面の第１の側の輪郭に表示させ、前記第１の立体仮想オブジェクトのラスタ化された適合する表現を含む前記有界面の第２の側を表示させる、１つ以上のプログラム、を記憶する非一時的メモリ。
  19. 前記１つ以上のプログラムが、前記デバイスに、更に、
    前記有界面の前記第１の側の前記輪郭に適合する仮想オブジェクトであって、前記適合する仮想オブジェクトが、前記第１の１組の世界座標によって特徴付けられる前記有界面の輪郭に適合する、適合する仮想オブジェクトを表示させる、請求項１８に記載の非一時的メモリ。
JP2020047380A 2019-03-18 2020-03-18 仮想紙 Active JP7101205B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962820137P 2019-03-18 2019-03-18
US62/820,137 2019-03-18

Publications (2)

Publication Number Publication Date
JP2020155130A JP2020155130A (ja) 2020-09-24
JP7101205B2 true JP7101205B2 (ja) 2022-07-14

Family

ID=69810639

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020047380A Active JP7101205B2 (ja) 2019-03-18 2020-03-18 仮想紙

Country Status (5)

Country Link
US (3) US11328497B2 (ja)
EP (2) EP4235381A3 (ja)
JP (1) JP7101205B2 (ja)
KR (3) KR102385737B1 (ja)
CN (2) CN111710019B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4235381A3 (en) * 2019-03-18 2023-11-01 Apple Inc. Virtual paper
US20240070931A1 (en) * 2021-03-11 2024-02-29 Dathomir Laboratories Llc Distributed Content Rendering
KR102635346B1 (ko) * 2022-11-04 2024-02-08 주식회사 브이알크루 가상 객체의 폐색을 구현하기 위한 방법
KR102613133B1 (ko) * 2022-11-15 2023-12-13 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 카메라 포즈의 유효성을 결정하기 위한 방법 및 장치
KR102616082B1 (ko) * 2022-11-15 2023-12-20 주식회사 브이알크루 비주얼 로컬라이제이션을 이용하여 카메라 포즈의 유효성을 결정하기 위한 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002352219A (ja) 2001-05-30 2002-12-06 Fujitsu Ltd 視野データに従う仮想空間におけるリンクされた複数の情報オブジェクトの表示
JP2012138087A (ja) 2010-12-24 2012-07-19 Dassault Systemes オーサリングシステムによる再生可能なシーンの生成

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0628428A (ja) * 1992-07-08 1994-02-04 Fujitsu Ltd 三次元図形編集装置
JP5087532B2 (ja) * 2008-12-05 2012-12-05 ソニーモバイルコミュニケーションズ株式会社 端末装置、表示制御方法および表示制御プログラム
EP2348383B1 (en) * 2009-12-31 2017-07-12 Sony Computer Entertainment Europe Limited System and method of virtual interaction
US20150312561A1 (en) * 2011-12-06 2015-10-29 Microsoft Technology Licensing, Llc Virtual 3d monitor
WO2013100900A1 (en) 2011-12-27 2013-07-04 Intel Corporation Full 3d interaction on mobile devices
US9230473B2 (en) * 2013-06-24 2016-01-05 Microsoft Technology Licensing, Llc Dual duty cycle OLED to enable dynamic control for reduced motion blur control with constant brightness in augmented reality experiences
CN106133796B (zh) * 2014-03-25 2019-07-16 苹果公司 用于在真实环境的视图中表示虚拟对象的方法和系统
WO2015192117A1 (en) * 2014-06-14 2015-12-17 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
US9606364B2 (en) * 2014-09-12 2017-03-28 Microsoft Technology Licensing, Llc Stabilizing motion of an interaction ray
KR102310994B1 (ko) * 2014-11-25 2021-10-08 삼성전자주식회사 3차원 상호작용 컴퓨팅 장치 및 방법
US20160163063A1 (en) * 2014-12-04 2016-06-09 Matthew Ashman Mixed-reality visualization and method
US9754416B2 (en) * 2014-12-23 2017-09-05 Intel Corporation Systems and methods for contextually augmented video creation and sharing
US9728010B2 (en) * 2014-12-30 2017-08-08 Microsoft Technology Licensing, Llc Virtual representations of real-world objects
JP6400197B2 (ja) * 2015-05-29 2018-10-03 京セラ株式会社 ウェアラブル装置
US9766713B2 (en) * 2015-09-08 2017-09-19 Unity IPR ApS System and method for providing user interface tools
KR102658303B1 (ko) * 2016-02-18 2024-04-18 애플 인크. 인사이드-아웃 위치, 사용자 신체 및 환경 추적을 갖는 가상 및 혼합 현실을 위한 머리 장착 디스플레이
US10788888B2 (en) * 2016-06-07 2020-09-29 Koninklijke Kpn N.V. Capturing and rendering information involving a virtual environment
US10395428B2 (en) * 2016-06-13 2019-08-27 Sony Interactive Entertainment Inc. HMD transitions for focusing on specific content in virtual-reality environments
US11003305B2 (en) * 2016-11-18 2021-05-11 Zspace, Inc. 3D user interface
US10909762B2 (en) * 2018-08-24 2021-02-02 Microsoft Technology Licensing, Llc Gestures for facilitating interaction with pages in a mixed reality environment
EP4235381A3 (en) * 2019-03-18 2023-11-01 Apple Inc. Virtual paper

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002352219A (ja) 2001-05-30 2002-12-06 Fujitsu Ltd 視野データに従う仮想空間におけるリンクされた複数の情報オブジェクトの表示
JP2012138087A (ja) 2010-12-24 2012-07-19 Dassault Systemes オーサリングシステムによる再生可能なシーンの生成

Also Published As

Publication number Publication date
EP3712759B1 (en) 2023-07-19
EP4235381A2 (en) 2023-08-30
KR20230121979A (ko) 2023-08-22
KR20200111119A (ko) 2020-09-28
US11328497B2 (en) 2022-05-10
CN111710019A (zh) 2020-09-25
US20200302698A1 (en) 2020-09-24
KR102385737B1 (ko) 2022-04-13
CN111710019B (zh) 2023-09-08
EP3712759A1 (en) 2020-09-23
US20220245913A1 (en) 2022-08-04
US11748966B2 (en) 2023-09-05
EP4235381A3 (en) 2023-11-01
US20230351715A1 (en) 2023-11-02
CN117152313A (zh) 2023-12-01
KR102566955B1 (ko) 2023-08-16
JP2020155130A (ja) 2020-09-24
KR20220050853A (ko) 2022-04-25

Similar Documents

Publication Publication Date Title
JP6967043B2 (ja) ３次元コンテンツ内の場所に基づく仮想要素モダリティ
JP7101205B2 (ja) 仮想紙
CN110942518B (zh) 上下文计算机生成现实(cgr)数字助理
US20180190022A1 (en) Dynamic depth-based content creation in virtual reality environments
CN112148118A (zh) 生成物理环境中的人的姿势信息
CN110633617B (zh) 使用语义分割的平面检测
US11710310B2 (en) Virtual content positioned based on detected object
CN112639685B (zh) 模拟现实（sr）中的显示设备共享和交互
JP7155291B2 (ja) 環境の動き回り
US10984607B1 (en) Displaying 3D content shared from other devices
CN111488056B (zh) 使用被跟踪的物理对象来操纵虚拟对象
CN114514493A (zh) 增强设备
CN113678173A (zh) 用于虚拟对象的基于图绘的放置的方法和设备
WO2022066400A1 (en) Sensor emulation
US10964056B1 (en) Dense-based object tracking using multiple reference images
US20230350539A1 (en) Representations of messages in a three-dimensional environment
KR20240079157A (ko) 웨어러블 장치의 방향에 기반하여 날씨에 대응하는 가상 객체를 표시하기 위한 웨어러블 장치, 방법, 및 비-일시적 컴퓨터 판독 가능 저장 매체
CN117480472A (zh) 用于在环境中提供沉浸式体验的方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210408

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210708

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220318

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220318

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220404

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220704

R150 Certificate of patent or registration of utility model

Ref document number: 7101205

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150