JP6660960B2 - 没入型メディアにおいてアプリケーションおよびアクティビティに入ったり出たりするための多次元グラフィック方法 - Google Patents

没入型メディアにおいてアプリケーションおよびアクティビティに入ったり出たりするための多次元グラフィック方法 Download PDF

Info

Publication number
JP6660960B2
JP6660960B2 JP2017550751A JP2017550751A JP6660960B2 JP 6660960 B2 JP6660960 B2 JP 6660960B2 JP 2017550751 A JP2017550751 A JP 2017550751A JP 2017550751 A JP2017550751 A JP 2017550751A JP 6660960 B2 JP6660960 B2 JP 6660960B2
Authority
JP
Japan
Prior art keywords
space
user
movement
computing device
detecting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017550751A
Other languages
English (en)
Other versions
JP2018521372A (ja
Inventor
カウフマン,アレハンドロ・ホセ
ワイリー,ジョン・マイケル
クレメント,マニュエル・クリスチャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Publication of JP2018521372A publication Critical patent/JP2018521372A/ja
Application granted granted Critical
Publication of JP6660960B2 publication Critical patent/JP6660960B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/04Indexing scheme for image data processing or generation, in general involving 3D image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Description

関連出願の相互参照
本願は、「没入型メディアにおいてアプリケーションおよびアクティビティに入ったり出たりするための多次元グラフィック方法(MULTIDIMENSIONAL GRAPHICAL METHOD FOR ENTERING AND EXITING APPLICATIONS AND ACTIVITIES IN IMMERSIVE MEDIA)」と題される2015年5月26日に出願された米国非仮特許出願第14/721,477号の優先権を主張し、その続きであり、その開示は引用によって全文が本明細書に援用される。
技術分野
この記載は、一般に、バーチャルリアリティ(virtual reality:VR)空間におけるユーザインターフェイスに関する。
背景
一般に、バーチャルリアリティは、人を取り囲んで、コンピュータによって生成された三次元(3D)環境に人を没入させることができる。人は、特定の電子デバイスと対話することによって、および/または、特定の電子デバイスを物理的に着用することによってこの環境に入ることができる。電子デバイスの例としては、画面を含むヘルメット、ユーザが画面(たとえば、ディスプレイデバイスまたはモニタ)を見るときに使用する眼鏡またはゴーグル、センサを備えた手袋、およびセンサを含む外部手持ち式デバイスを挙げることができるが、それらに限定されるものではない。人は、一旦VR空間に入ると、現実であると思えるような態様で(たとえば、物理的な態様で)3D環境と対話することができる。当該対話は、没入、ユーザ参加およびカスタマイズの機会を提供することができる。
概要
1つの一般的な局面において、方法は、コンピューティングデバイスによって、バーチャルリアリティ(VR)アプリケーションを実行するステップと、上記コンピューティングデバイスによって、VR空間内でVRヘッドセットの画面上に表示するためのコンテンツを提供するステップとを含み得て、上記コンテンツは、動作に関連付けられた少なくとも1つのオブジェクトを含み、上記方法はさらに、上記VR空間に没入しているユーザに対応するアバターの、上記VR空間に含まれる上記少なくとも1つのオブジェクトの方への第1の動きを検出するステップと、上記第1の動きを検出したことに基づいて、上記関連付けられた動作を上記VR空間内で実行するステップとを含み得る。
例示的な実現例は、以下の特徴のうちの1つ以上を含んでいてもよい。たとえば、上記検出された第1の動きの結果、上記VR空間に没入している上記ユーザに対応する上記アバターは、上記VR空間内の上記少なくとも1つのオブジェクトと、ある量のVR空間を共有するようになり得る。動きの検出および結果として生じるオブジェクトとVR空間に没入しているユーザとの間のある量のVR空間の共有は、上記動きがVR空間に没入しているユーザとVR空間内のオブジェクトとの対話、たとえばVR空間でのオブジェクトの選択の形態の対話、を生じさせることができるという技術的効果を有する。上記動作は、アプリケーションの実行であり得る。上記アプリケーションの上記実行は、上記VR空間内で上記VRヘッドセットの上記画面上に表示するための上記コンテンツを変化させ得る。上記方法はさらに、上記VR空間に没入している上記ユーザの、上記少なくとも1つのオブジェクトから離れる第2の動きを検出するステップを含み得て、上記検出するステップは、上記VR空間に没入している上記ユーザの、上記VR空間内の上記少なくとも1つのオブジェクトの方への上記第1の動きを検出するステップの後に行われる。上記方法はさらに、上記第2の動きを検出したことに基づいて、上記関連付けられた動作を上記VR空間内で実行するステップを停止するステップを含み得る。上記検出された第1の動きの結果、上記VR空間への上記ユーザの上記没入は、上記VR空間内の上記少なくとも1つのオブジェクトと、ある量のVR空間を共有するようになり得る。上記検出された第2の動きの結果、上記VR空間への上記ユーザの上記没入は、上記VR空間内の上記少なくとも1つのオブジェクトと、上記量のVR空間を共有しなくなり得る。上記検出された第1の動きの結果、上記VR空間への上記ユーザの上記没入は、上記VR空間内の上記少なくとも1つのオブジェクトと、第1の量のVR空間を共有するようになり得る。上記方法はさらに、上記VR空間に没入している上記ユーザの、さらに上記VR空間に含まれる上記少なくとも1つのオブジェクトの方への第2の動きを検出するステップを含み得て、上記第2の動きの結果、上記VR空間への上記ユーザの上記没入は、上記VR空間内の上記少なくとも1つのオブジェクトと、第2の量のVR空間を共有するようになり、上記第2の量のVR空間は、上記第1の量のVR空間よりも大きい。上記方法はさらに、上記第2の動きを検出したことに基づいて、上記関連付けられた動作を上記VR空間内で実行し続けるステップを含み得る。上記方法はさらに、上記VR空間内での上記第1の動きを、上記VR空間への上記ユーザの上記没入によって上記少なくとも1つのオブジェクトの方に上体を曲げるものであるとしてレンダリングするステップを含み得る。上記方法はさらに、上記VR空間内での上記第2の動きを、上記VR空間への上記ユーザの上記没入によって上記少なくとも1つのオブジェクトの方にさらに上体を曲げるものであるとしてレンダリングするステップを含み得る。上記関連付けられた動作を上記VR空間内で実行し続けるステップは、1つのVR空間に没入している上記ユーザを異なるVR空間に移送するステップを含み得る。第1の動きおよび後続の第2の動きの検出は、VR空間に没入しているユーザとVR空間内のオブジェクトとの対話のさまざまな程度、たとえば強さ、を判断できるという技術的効果を有し、これは、対話の程度に応じてさまざまな動作をそれぞれ実行することにつながるであろう。上記方法はさらに、上記異なるVR空間への上記ユーザの上記没入による、上記異なるVR空間に含まれるオブジェクトとの対話の表示を受け取るステップを含み得る。上記方法はさらに、上記受け取られた対話の表示に基づいて、上記異なるVR空間への上記ユーザの上記没入を上記VR空間に戻すステップを含み得る。上記少なくとも1つのオブジェクトは、上記VR空間に吊り下げられているように見えるアイコンであり得る。上記アイコンは透明であり得る。上記少なくとも1つのオブジェクトは、上記VR空間に含まれる複数のオブジェクトに含まれ得る。
別の一般的な局面において、命令を格納した非一時的な機械読取可能な媒体であって、上記命令は、プロセッサによって実行されたときにコンピューティングデバイスに、バーチャルリアリティ(VR)アプリケーションを実行させ得て、VR空間内でVRヘッドセットの画面上に表示するためのコンテンツを提供させ得て、上記コンテンツは、動作に関連付けられた少なくとも1つのオブジェクトを含み、上記命令はさらに、プロセッサによって実行されたときにコンピューティングデバイスに、上記VR空間に没入しているユーザの、上記VR空間に含まれる上記少なくとも1つのオブジェクトの方への第1の動きを検出させ得て、上記第1の動きを検出したことに基づいて、上記関連付けられた動作を上記VR空間内で実行させ得る。
例示的な実現例は、以下の特徴のうちの1つ以上を含んでいてもよい。たとえば、上記検出された第1の動きの結果、上記VR空間への上記ユーザの上記没入は、上記VR空間内の上記少なくとも1つのオブジェクトと、ある量のVR空間を共有するようになり得る。上記コンピューティングデバイスは、上記VRヘッドセットに含まれ得る。上記動作は、上記VR空間内で上記VRヘッドセットの上記画面上に表示するための上記コンテンツを変化させるアプリケーションの実行であり得る。上記命令はさらに、上記プロセッサによって実行されたときに上記コンピューティングデバイスに、上記VR空間に没入している上記ユーザの、上記少なくとも1つのオブジェクトから離れる第2の動きを検出させ得て、上記検出させることは、上記VR空間に没入している上記ユーザの、上記少なくとも1つのオブジェクトの方への上記第1の動きを検出させることの後に行われる。上記命令はさらに、上記プロセッサによって実行されたときに上記コンピューティングデバイスに、上記第2の動きを検出したことに基づいて、上記関連付けられた動作を上記VR空間内で実行することを停止させ得る。上記検出された第1の動きの結果、上記VR空間への上記ユーザの上記没入は、上記VR空間内の上記少なくとも1つのオブジェクトと、ある量のVR空間を共有するようになり得る。上記検出された第2の動きの結果、上記VR空間への上記ユーザの上記没入は、上記VR空間内の上記少なくとも1つのオブジェクトと、上記量のVR空間を共有しなくなり得る。上記検出された第1の動きの結果、上記VR空間への上記ユーザの上記没入は、上記VR空間内の上記少なくとも1つのオブジェクトと、第1の量のVR空間を共有するようになり得る。上記命令はさらに、上記プロセッサによって実行されたときに上記コンピューティングデバイスに、上記VR空間に没入している上記ユーザの、さらに上記VR空間に含まれる上記少なくとも1つのオブジェクトの方への第2の動きを検出させ得て、上記第2の動きの結果、上記VR空間への上記ユーザの上記没入は、上記VR空間内の上記少なくとも1つのオブジェクトと、第2の量のVR空間を共有するようになり、上記第2の量の空間は、上記第1の量の空間よりも大きい。上記命令はさらに、上記プロセッサによって実行されたときに上記コンピューティングデバイスに、上記第2の動きを検出したことに基づいて、上記関連付けられた動作を上記VR空間内で実行し続けさせ得る。上記命令はさらに、上記プロセッサによって実行されたときに上記コンピューティングデバイスに、上記VR空間内での上記第1の動きを、上記VR空間への上記ユーザの上記没入によって上記少なくとも1つのオブジェクトの方に上体を曲げるものであるとしてレンダリングさせ得る。上記命令はさらに、上記プロセッサによって実行されたときに上記コンピューティングデバイスに、上記VR空間内での上記第2の動きを、上記VR空間への上記ユーザの上記没入によって上記少なくとも1つのオブジェクトの方にさらに上体を曲げるものであるとしてレンダリングさせ得る。上記関連付けられた動作を上記VR空間内で実行し続けさせることは、上記VR空間への上記ユーザの上記没入を異なるVR空間に移送することを含み得る。上記命令はさらに、上記プロセッサによって実行されたときに上記コンピューティングデバイスに、上記異なるVR空間への上記ユーザの上記没入による、上記異なるVR空間に含まれるオブジェクトとの対話の表示を受け取らせ得る。上記命令はさらに、上記プロセッサによって実行されたときに上記コンピューティングデバイスに、上記受け取られた対話の表示に基づいて、上記異なるVR空間への上記ユーザの上記没入を上記VR空間に戻させ得る。上記少なくとも1つのオブジェクトは、上記VR空間に吊り下げられているように見えるアイコンであり得る。
さらに別の一般的な局面において、システムは、第1のコンピューティングデバイスと、上記第1のコンピューティングデバイスに動作可能に結合されたバーチャルリアリティ(VR)ヘッドセットとを含み得て、上記VRヘッドセットは、第2のコンピューティングデバイスと、画面とを含む。上記VRヘッドセットは、上記第2のコンピューティングデバイスによって、上記VR空間に没入しているユーザの、動作に関連付けられた、VR空間に含まれるオブジェクトの方への第1の動きを検出するように構成され得て、上記ユーザの、上記オブジェクトの方への上記第1の動きの表示を上記第1のコンピューティングデバイスに提供するように構成され得る。上記第1のコンピューティングデバイスは、バーチャルリアリティ(VR)アプリケーションを実行するように構成され得て、VR空間内で上記VRヘッドセットの上記画面上に表示するためのコンテンツを提供するように構成され得て、上記コンテンツは、上記オブジェクトを含み、上記第1のコンピューティングデバイスはさらに、上記VR空間に没入している上記ユーザの、上記オブジェクトの方への上記第1の動きの上記表示を受け取るように構成され得て、上記第1の動きの上記表示を受け取ったことに基づいて、上記関連付けられた動作を上記VR空間内で実行するように構成され得る。
例示的な実現例は、以下の特徴のうちの1つ以上を含んでいてもよい。たとえば、上記検出された第1の動きの結果、上記VR空間への上記ユーザの上記没入は、上記VR空間内の上記オブジェクトと、あるVR空間没入量を共有するようになり得る。上記第1のコンピューティングデバイスおよび上記第2のコンピューティングデバイスは、上記VRヘッドセットに含まれる同一のコンピューティングデバイスであり得る。
本明細書において提供される技術は、一般に、VR空間に対するデスクトップユーザインターフェイスの、選択および起動などのインターフェイスメタファを採用して、VR空間に没入しているユーザとVR空間内のバーチャルオブジェクトとの対話を容易にすることを可能にする。1つ以上の実現例の詳細が添付の図面および以下の説明に記載されている。他の特徴は、説明および図面ならびに特許請求の範囲から明らかであろう。
さまざまな図の中の同様の参照符号は同様の要素を示す。
コンピュータによって生成された3D環境(VR空間)を作成して当該3D環境と対話するための例示的なシステムを示す図である。 コンピュータによって生成された3D環境(VR空間)を作成して当該3D環境と対話するための代替的な例示的なシステムを示す図である。 VRヘッドセットを着用して直立姿勢で立っているユーザを示す。 VRヘッドセットを着用して、第1の手でコンピューティングデバイスを保持しながら、第2の手でコンピューティングデバイスのタッチスクリーン上に表示されたインターフェイスと対話しているユーザを示す。 第1のVR空間内でユーザがVRヘッドセットの画面上に見ることができる第1の画像のビューを示す図である。 第1のVR空間内でユーザがVRヘッドセットの画面上に見ることができる第2の画像のビューを示す図である。 ユーザの動きがアイコンの方に上体を曲げる(飛び込む、立ち入る、突っ込む、または食い込む)ものであるとしてレンダリング/解釈されるときのVR空間の第三者ビューを示す図である。 第1のVR空間内でユーザがVRヘッドセットの画面上に見ることができる第3の画像のビューを示す図であり、特定の月についてのユーザのカレンダのビューを示す。 ユーザの動きがアイコンの方に上体を曲げる(飛び込む、立ち入る、突っ込む、または食い込む)ものであるとしてレンダリング/解釈されるときの第1のVR空間の第三者ビューを示す図である。 第2のVR空間内でユーザがVRヘッドセットの画面上に見ることができる第4の画像のビューを示す図であり、特定の日についてのユーザのカレンダのビューを示す。 VR空間の第1のユーザ(本人)ビューを示す図である。 図3Aに示されるVR空間の第1の第三者ビューを示す図である。 VR空間の第2の第三者ビューを示す図である。 図3Cに示されるVR空間の第2のユーザ(本人)ビューを示す図である。 ユーザの動きが地球儀の方に上体を曲げる(飛び込む、立ち入る、突っ込む、目を通す、または食い込む)ものであるとしてレンダリング/解釈されるときのVR空間の第3の第三者ビューを示す図である。 VR空間の第3のユーザビューを、VR空間内でユーザによって見られるオーバーヘッド地図ビューとして示す図である。 ユーザが地球儀の中に立っている状態でのVR空間の第4の第三者ビューを示す図である。 図3Gに示されるVR空間の第4のユーザ(本人)ビューを示す図である。 図3Gに示されるVR空間の第5のユーザ(本人)ビューを示す図である。 VR空間に含まれるオブジェクトと対話するための方法を示すフローチャートである。 本明細書に記載されている技術を実現するために使用することができるコンピュータデバイスおよびモバイルコンピュータデバイスの一例を示す。
詳細な説明
ユーザは、三次元(3D)の、コンピュータによって生成された環境(バーチャルリアリティ(VR)空間)に没入することができる。ユーザは、3D環境を探検することができ、3D環境と対話することができる。ユーザは、端縁または境界を持たない一種の没入型メディアを体験することができる。これは、境界のある二次元(2D)環境(ウィンドウ表示のコンピューティング環境)内での動き(境界のある2D環境との対話)とは対照的である。たとえば、境界のある2D環境では、ユーザは、ウィンドウ表示のコンピューティング環境においてアプリケーション、アクティビティまたは状態に入ったり出たりする(起動させたり終了させたりする)ために、コンピューティングデバイスのディスプレイ上に表示されたグラフィカルユーザインターフェイス(graphical user interface:GUI)と対話し得る。GUIは、ユーザが選択することができる対話型制御部(たとえば、ボタン、スライダなど)を提供することができる。選択すると、アプリケーションまたはアクティビティは、起動、終了または状態を変化させることができる。たとえば、ユーザは、マウスまたは他のタイプの入力デバイス(たとえば、タッチスクリーン、トラックパッドなど)を使用して、コンピューティングデバイスのディスプレイ上に表示されたカーソルを制御部の上に位置決めしてもよい。ユーザは、何らかのタイプのタップ、クリックまたは他の選択アクティビティを実行することができ、当該タップ、クリックまたは他の選択アクティビティは、制御部の選択に関連付けられるアプリケーションまたはアクティビティを立ち上げることになる。当該アプリケーションまたはアクティビティは、ディスプレイデバイスの全領域を使用することができる。
いくつかの実現例では、3Dバーチャルリアリティ環境では、ユーザは、各アプリケーションまたはアクティビティをVR空間内の異なる物理的空間に配置することによってアクティビティおよびアプリケーションを切り替えてもよい。たとえば、物理的空間はVRルームであってもよく、ユーザは各アプリケーションまたはアクティビティをそれ自体のVRルームに配置してもよい。ユーザは、特定のVRルームに移動して(入って)、当該ルームに配置されたアプリケーションまたはアクティビティを立ち上げるまたは起動することができる。いくつかの実現例では、ユーザは、VR空間においてアプリケーションまたはアクティビティの抽象的表現(たとえば、画像またはアイコン)を物理的に操作し得る。抽象的表現は、VR空間に浮遊していてもよく、または吊り下げられていてもよい。当該操作は、抽象的表現での回転、接触または突きであってもよい。
いくつかの実現例では、ユーザは、VR空間に没入しながら、VR空間内でユーザが遷移または移行できる利用可能なアクティビティ、アプリケーションまたは状態のメニューを引き出したり、呼び出したり、または表示させたりすることができる。加えてまたは代替的に、ユーザは、VR空間に含まれるオブジェクト(アイコン)の中にさまざまな量だけ移動することができる。オブジェクトまたはアイコンは、VR空間内でユーザが遷移または移行できる利用可能なアクティビティ、アプリケーションまたは状態を表わし得る。オブジェクトによって表わされる別のまたは代替的なVR空間への没入量は、オブジェクトの中へのユーザの移動量(また、ユーザによって占められるオブジェクトの量)に関連し得る。たとえば、第1のVR空間において、ユーザがオブジェクトの表面を打ち破っているだけである(ユーザがわずかにオブジェクトに没入している、ユーザがオブジェクトをのぞき込んでいる、ユーザがオブジェクトの小さな部分を占めている)のであれば、ユーザはオブジェクトによって表わされる第2のVR空間をのぞき込みながら第1のVR空間にとどまっているであろう。これが起こると、たとえば、第1のVR空間は、第2のVR空間についての追加情報を含むことによって変化し得る。この時点で、ユーザは、第2のVR空間をのぞき込まなくなり、事実上オブジェクトから後退して、オブジェクトのいかなる部分も占めなくなり、第1のVR空間に完全に戻って、もはやオブジェクトに没入していない状態になり得る。オブジェクトの表面を打ち破るだけであるまたはオブジェクトをのぞき込むだけであることを超えてユーザがオブジェクトにさらに没入する(ユーザがオブジェクトのさらに大きな部分を占める)ことにより、ユーザは第1のVR空間を出てまたは離れて、オブジェクトによって表わされる第2のVR空間に遷移することができる。第1のVR空間に戻るために、ユーザは、第2のVR空間に存在しかつ第1のVR空間を表わすオブジェクトまたはアイコンの方に上体を曲げるまたは没入しなければならないであろう。このVR空間に没入しているユーザの、VR空間に含まれるバーチャルオブジェクトとの対話により、ユーザは、さまざまなVR空間の間での移動を生じさせる動作を特定の動きによって実行させることができる。
たとえば、ユーザは、VR環境または第1のVR空間内でコンピュータコードを書いてもよい。ソースコードのブロックは、個々のオブジェクトとして第1のVR空間に封入され得る。ユーザは、ソースコードの第1のブロックを表わす第1のオブジェクトと対話するように第1のVR空間を移動することができる。ユーザは、第1のオブジェクトの方に移動し、第1のオブジェクトの表面を打ち破り(第1のオブジェクトにわずかに没入し、第1のオブジェクトをのぞき込み、第1のオブジェクトの小さな部分を占め)、ソースコードの第1のブロックに含まれる命令を示す第2のVR空間をのぞき込みながら第1のVR空間にとどまることができる。これが起こると、たとえば、第1のVR空間は、第1のVR空間におけるソースコードの第1のブロックに含まれる命令を含む(たとえば、第1のVR空間内のウィンドウにソースコードを浮遊させる)ことによって変化し得る。第1のオブジェクトの表面を打ち破るだけであるまたはオブジェクトをのぞき込むだけであることを超えてユーザが第1のオブジェクトにさらに没入する(ユーザがオブジェクトのさらに大きな部分を占める)ことにより、ユーザは1つ以上のさらなるVR空間に没入することができ、当該1つ以上のさらなるVR空間は、ソースコードの従属関係の表示、ソースコードによって使用される内部変数、ソースコードの実行によって実行されるメモリ上でのソースコードおよびオペレーションの機械コードコンパイルを提供することができる。
別の例では、ユーザは、美術館などの建物または他の物理的構造のバーチャルツアーに行ってもよい。第1のVR空間に没入しているユーザは、まるでそれが物理的空間であるかのようにVR空間を探検し、たとえば美術館内の部屋中を移動し、美術館内に含まれるオブジェクト(たとえば、彫刻、絵画など)にさまざまな程度に出たり入ったりすることができる。ユーザは、部屋に入ると、芸術作品(たとえば、絵画、彫刻)に近付いて、当該芸術作品に「目を通し」(のぞき込み、上体を曲げ、少量の空間を占め)得る。第1の量だけ当該芸術作品に目を通すことによって、ユーザは、第1のVR空間に示され得る(たとえば、VR空間内で画面上に浮遊し得る)当該芸術作品についての情報(たとえば、画家、当該芸術作品が完成した時期、当該芸術作品の所有者または寄贈者、など)を取得することができる。さらに(第1の量よりも大きな量だけ)当該芸術作品に目を通すことによって、ユーザは、当該芸術作品の見方についての追加の(さらに詳細な)情報を取得することができる。たとえば、ユーザは、当該画家による他の芸術作品、当該芸術作品と同時期に完成された他の同様の芸術作品、および/または、この芸術作品の所有者と同一の所有者によって所有される他の芸術作品についての情報を取得することができる。逆に、ユーザは、当該芸術作品から後退し、美術館フロアに戻ってさらに多くの芸術作品を探検することができる。当該芸術作品への完全な没入(ユーザは当該芸術作品と同一の空間量を占める)は、たとえば当該画家による他の芸術作品を含む第2のVR空間にユーザを移送することができる。
図1Aは、コンピュータによって生成された3D環境(VR空間)を作成して当該3D環境と対話するための例示的なシステム100を示す図である。例示的なシステム100において、VRアプリケーションは、第1のコンピューティングデバイス102および/または第2のコンピューティングデバイス104で実行することができる。第2のコンピューティングデバイス104は、ラップトップコンピュータ、デスクトップコンピュータ、モバイルコンピューティングデバイス、またはゲーム機であってもよい。第2のコンピューティングデバイス104にはVRヘッドセット108を接続することができる。第2のコンピューティングデバイス104は、第1のコンピューティングデバイス102に接続可能である。第1のコンピューティングデバイス102は、VR空間ではコントローラおよび/またはインターフェイスデバイスとして使用されてもよい。第2のコンピューティングデバイス104は、VR空間のためのVRヘッドセットにコンテンツを提供することができる。
いくつかの実現例では、第2のコンピューティングデバイス104は、有線接続130を使用して第1のコンピューティングデバイス102と接続/連結されてもよい。いくつかの実現例では、第2のコンピューティングデバイス104は、無線接続132を使用して第1のコンピューティングデバイス102と接続/連結されてもよい。いくつかの実現例では、第2のコンピューティングデバイス104は、有線接続134を使用してVRヘッドセット108と接続/連結されてもよい。いくつかの実現例では、第2のコンピューティングデバイス104は、無線接続131を使用してVRヘッドセット108と接続/連結されてもよい。
有線接続130は、第1のコンピューティングデバイス102および第2のコンピューティングデバイス104に差し込むための適切なコネクタを両端に有するケーブルを含み得る。たとえば、当該ケーブルは、ユニバーサルシリアルバス(Universal Serial Bus:USB)コネクタを両端に含んでいてもよい。USBコネクタは同一のUSBタイプのコネクタであってもよく、または、USBコネクタは各々が異なるタイプのUSBコネクタであってもよい。さまざまなタイプのUSBコネクタは、USB A−タイプコネクタ、USB B−タイプコネクタ、マイクロ−USB Aコネクタ、マイクロ−USB Bコネクタ、マイクロ−USB ABコネクタ、USB 5ピン ミニ−bコネクタ、USB 4ピン ミニ−bコネクタ、USB 3.0 A−タイプコネクタ、USB 3.0 B−タイプコネクタ、USB 3.0 マイクロBコネクタ、およびUSB C−タイプコネクタを含み得るが、それらに限定されるものではない。同様に、有線接続134は、VRヘッドセット138および第2のコンピューティングデバイス104に差し込むための適切なコネクタを両端に有するケーブルを含み得る。たとえば、当該ケーブルは、ユニバーサルシリアルバス(USB)コネクタを両端に含んでいてもよい。USBコネクタは同一のUSBタイプのコネクタであってもよく、または、USBコネクタは各々が異なるタイプのUSBコネクタであってもよい。
第1のコンピューティングデバイス102および/またはVRヘッドセット108は、高速無線通信プロトコルのうちの1つ以上をWiFi、ブルートゥース(登録商標)またはブルートゥース低エネルギ(LE)として使用して第2のコンピューティングデバイス104と無線接続/連結することができる。
図1Bは、コンピュータによって生成された3D環境(VR空間)を作成して当該3D環境と対話するための代替的な例示的なシステム150を示す図である。図1Bに示される代替的な例示的なシステム150では、VRヘッドセット138は、VRアプリケーションを実行することができる取り外し可能なコンピューティングデバイスを含み得る。取り外し可能なコンピューティングデバイスは、第1のコンピューティングデバイス102と同様であってもよい。取り外し可能なコンピューティングデバイスは、VRヘッドセット(たとえば、VRヘッドセット138)のケースまたはフレーム内に組み込むことができ、次いで、当該VRヘッドセットは、VRヘッドセット138のユーザによって着用され得る。いくつかの実現例では、VRヘッドセット138は、VRアプリケーションを実行して、コンピュータによって生成された3D環境(VR空間)をレンダリング/作成するためのハードウェア(たとえば、プロセッサおよびメモリ)および/またはソフトウェアを含む内蔵型コンピューティングデバイスを含み得る。両方の実現例において、VRヘッドセット138は、VR空間をレンダリング/作成することができる。
図1Cは、VRヘッドセット138を着用して直立姿勢170で立っているユーザ120を示す。図1Bを参照して、代替的な例示的なシステム150では、VRヘッドセット138は、コンピュータによって生成された3D環境(VR空間)と対話するときにユーザ120が見ることができるディスプレイまたは画面を含む。いくつかの実現例では、VRヘッドセット138に含まれるコンピューティングデバイスは、当該ディスプレイまたは画面を含み得る。上記のように、第1のコンピューティングデバイス102は、有線または無線インターフェイスプロトコルを使用してVRヘッドセット138に接続することができる。いくつかの実現例では、第1のコンピューティングデバイス102は、VR空間内のコントローラであってもよく、VR空間においてオブジェクトとして現れ得て、VR空間に対する入力を提供することができ、VR空間からフィードバック/出力を受信することができる。
図1Cを参照して、VRヘッドセット138に含まれるコンピューティングデバイスは、VRヘッドセット138を着用しながらユーザ120の頭部122の動きを追跡することができるハードウェア(たとえば、プロセッサおよびメモリ)および/またはソフトウェアを含み得る。追跡されたユーザ120の頭部122の動きを使用して、VR空間に対する入力を提供することができる。いくつかの実現例では、動きを追跡することにより、VR空間内でオブジェクトを選択することができる。また、動きの追跡は、VR空間を1つの状態またはアプリケーションから別の状態またはアプリケーションに変換させ得る。動きを追跡することにより、ユーザがVR空間内でアクティビティ、アプリケーションまたは状態に立ち入る(突っ込む、食い込む)ことが可能になる。場合によっては、動きが顕著になればなるほど(立ち入り、突っ込みまたは食い込みが深くなればなるほど)、ユーザによるアクティビティ、アプリケーションまたは状態への入り込みまたは関与が大きくなる。いくつかの実現例では、追跡されたユーザ120の頭部122の動きに加えてまたはそれとともに、VRヘッドセット138によって提供される他の入力を使用して、VR空間に対する入力を提供することができる。たとえば、追跡されたユーザ120の頭部122の動きは、VR空間内のオブジェクトの方に向けられてもよい。VRヘッドセット138によって提供されるさらなる入力、たとえばスイッチの押圧またはVRヘッドセット138に含まれる制御部の起動、により、VR空間内でオブジェクトを選択することができる。
図1Dは、VRヘッドセット138を着用して、第1の手142aで第1のコンピューティングデバイス102を保持しながら、第2の手142bで第1のコンピューティングデバイス102のタッチスクリーン116上に表示されたインターフェイス118と対話しているユーザ120を示す。いくつかの実現例では、図1A〜図1Bを参照して本明細書で説明したように、第2のコンピューティングデバイス104が、コンピュータによって生成された3D環境(VR空間)をレンダリング/作成することができるVRアプリケーションを実行してもよい。第2のコンピューティングデバイス104は、VR空間を表わすデータをVRヘッドセット138に提供することができる。VRヘッドセット138は、当該データを使用して、コンピュータによって生成された3D環境(VR空間)を、VRヘッドセット138を着用しているユーザ120に提供することができる。いくつかの実現例では、図1A〜図1Dを参照して本明細書で説明するように、VRヘッドセット138に含まれるコンピューティングデバイスが、コンピュータによって生成された3D環境(VR空間)をレンダリング/作成することができるVRアプリケーションを実行してもよい。いくつかの実現例では、図1A〜図1Dを参照して本明細書で説明するように、第1のコンピューティングデバイス102に含まれるコンピューティングデバイスが、コンピュータによって生成された3D環境(VR空間)をレンダリング/作成することができるVRアプリケーションを実行してもよい。
VRヘッドセット138に含まれるコンピューティングデバイスは、第1のコンピューティングデバイス102がVRヘッドセット138の正面に配置されるかまたはVRヘッドセット138との相対的な位置範囲内に保持されたときに第1のコンピューティングデバイス102の3Dの動きを認識、モニタリングおよび追跡することができる。加えてまたは代替的に、VRヘッドセット138は、VR空間への入力として使用することができるユーザ120の頭部122の動きを追跡することができる。追跡された動きは、VR空間内でのユーザの動きに変換され得る。加えてまたは代替的に、追跡された動きを使用して、VR空間内でオブジェクトを選択することができる。また、たとえば、ユーザ120は、第1のコンピューティングデバイス102に含まれる制御部(たとえば、第1のコンピューティングデバイス102のタッチスクリーン116上に表示される1つ以上のボタン(たとえば、ボタン144a〜b)および/またはインターフェイス118)と連結して、VR空間内を移動することができる。加えてまたは代替的に、VRヘッドセット138による第1のコンピューティングデバイス102の追跡された動きを使用して、VR空間内でオブジェクトを選択することができる。動きを追跡することにより、ユーザがVR空間内でアクティビティ、アプリケーションまたは状態に立ち入る(突っ込む、食い込む)ことが可能になる。場合によっては、動きが顕著になればなるほど(立ち入り、突っ込みまたは食い込みが深くなればなるほど)、ユーザによるアクティビティ、アプリケーションまたは状態への入り込みまたは関与が大きくなる。
いくつかの実現例では、VRヘッドセット(たとえば、VRヘッドセット138)は、外部コンピューティングデバイス(たとえば、第1のコンピューティングデバイス102)から提供された入力を使用してVR空間内でのユーザの動きに変換することができるが、VRヘッドセットだけを使用してユーザの動き(たとえば、ユーザ120の頭部122の動き)を検出してもよく、当該ユーザの動きは次いでVR空間内でのユーザの動きに変換される。次いで、VRヘッドセット138は、ユーザのさらなる動きを解釈することによって、ユーザが望むオブジェクト(および関連付けられたアプリケーション)に目を通す(立ち入る、上体を曲げる、突っ込む)程度を判断し続けることができる。したがって、ユーザがVR空間内を動き回るために(VRヘッドセット138の外側の)外部コンピューティングデバイスは不要である。
いくつかの実現例では、図1A〜図1Dを参照して、具体的には図示されていないが、ユーザ(たとえば、ユーザ120)は、VRヘッドセット138を着用しながらジョイスティック、コントローラまたはキーボードなどの一種の手持ち式コンピューティングデバイスをユーザの片手または両手に保持することができる。ユーザは、当該手持ち式コンピューティングデバイスを使用して、VR空間内でのユーザの動きを制御することができ、および/または、VR空間内でのオブジェクトの選択を制御することができる。
第1のコンピューティングデバイス102(および任意の手持ち式コンピューティングデバイス)は、たとえばUSB2.0、USB3.0およびUSB3.1などの1つ以上の高速通信プロトコルを使用してVRヘッドセット138と接続/通信することができる。場合によっては、第1のコンピューティングデバイス102は、たとえば高解像度マルチメディアインターフェイス(High-Definition Multimedia Interface:HDMI(登録商標))などの音声/映像インターフェイスを使用してVRヘッドセット138と接続/通信してもよい。場合によっては、第1のコンピューティングデバイス102は、USB タイプ−C標準インターフェイスのためのDisplayPort代替モードを使用してVRヘッドセット138と接続/通信してもよい。DisplayPort代替モードは、高速USB通信インターフェイスと、DisplayPort機能とを含み得る。
いくつかの実現例では、第1のコンピューティングデバイス102は、ケーブル(たとえば、ケーブル136)を必要とすることなく、たとえば図1Dに示されるように無線でVRヘッドセット138に接続することができる。第1のコンピューティングデバイス102は、たとえばWiFi,ブルートゥースまたはブルートゥースLEなどの1つ以上の高速通信プロトコルを使用して無線でVRヘッドセット138と接続/通信することができる。
ケーブル136は、VRヘッドセット138および第1のコンピューティングデバイス102に差し込むための適切なコネクタを両端に含み得る。たとえば、ケーブルは、ユニバーサルシリアルバス(USB)コネクタを両端に含んでいてもよい。USBコネクタは同一のUSBタイプのコネクタであってもよく、または、USBコネクタは各々が異なるタイプのUSBコネクタであってもよい。さまざまなタイプのUSBコネクタは、USB A−タイプコネクタ、USB B−タイプコネクタ、マイクロ−USB Aコネクタ、マイクロ−USB Bコネクタ、マイクロ−USB ABコネクタ、USB 5ピン ミニ−bコネクタ、USB 4ピン ミニ−bコネクタ、USB 3.0 A−タイプコネクタ、USB 3.0 B−タイプコネクタ、USB 3.0 マイクロBコネクタ、およびUSB C−タイプコネクタを含み得るが、それらに限定されるものではない。
図2Aは、第1のVR空間内でユーザ(たとえば、ユーザ120)がVRヘッドセット(たとえば、図1B〜図1Dに示されるVRヘッドセット138)の画面上に見ることができる画像200のビューを示す図である。たとえば、図1Cおよび図1Dは、画像200を見ているときのユーザ120を示し得る。
アイコンまたはオブジェクトは、第1のVR空間内でユーザがアクセスすることができる1つ以上のアクティビティ、アプリケーションまたは状態を表わし得る。アイコンは、半透明であってもよい。アイコンは、第1のVR空間に浮遊しているかまたは吊り下げられているように見えるであろう。アイコンは、目に見えるものであり得るが、第1のVR空間に含まれるコンテンツを邪魔してはならない。いくつかの実現例では、アイコンは、第1のVR空間における平坦な二次元(2D)オブジェクトのように見えてもよい。いくつかの実現例では、アイコンは、第1のVR空間における3Dオブジェクトのように見えてもよい。
たとえば、図2Aを参照して、2Dカレンダアイコン206はカレンダアプリケーションを表わし得る。カレンダアイコン206は、画像200に浮遊しているかまたは吊り下げられているように見えるであろう。図1A〜図1Dを参照して、いくつかの実現例では、カレンダアプリケーションは、第1のコンピューティングデバイス102で実行/動作してもよい。いくつかの実現例では、カレンダアプリケーションは、第2のコンピューティングデバイス104で実行/動作してもよい。いくつかの実現例では、カレンダアプリケーションは、VRヘッドセット138に含まれるコンピューティングデバイスで実行/動作してもよい。
ユーザ120は、カレンダアイコン206の平面の方に移動して上体を曲げる(カレンダアイコン206の空間のうちのいくらかを占める)ことによって、第1のVR空間においてカレンダアプリケーションを起動または開始することができる。
図2Bは、第1のVR空間内でユーザ(たとえば、ユーザ120)がVRヘッドセット(たとえば、図1B〜図1Dに示されるVRヘッドセット138)の画面上に見ることができる画像210のビューを示す図である。当該ビューは、ユーザがカレンダアイコン206の方に近付いていくときに見えるものを表わす画像210を示している。
図2Cは、ユーザ120(たとえば、ユーザ120の頭部122)の動きがカレンダアイコン206の方に上体を曲げる(飛び込む、立ち入る、突っ込む、または食い込む)ものであるとしてレンダリング/解釈されるときのVR空間の第三者ビュー220を示す図である。たとえば、動きがレンダリングされると、カレンダアプリケーションの方に上体を曲げることにより、ユーザ120のカレンダのビューを実行および提供することができる。
図1A〜図1Dを参照して説明したように、いくつかの実現例では、VRヘッドセット138は、ユーザ120の頭部122の動きを追跡することができる。追跡された動きは、VR空間内でのユーザの動きに変換され得る。いくつかの実現例では、ユーザ120は、第1のコンピューティングデバイス102に含まれる制御部(たとえば、第1のコンピューティングデバイス102のタッチスクリーン116上に表示される1つ以上のボタン(たとえば、ボタン144a〜b)および/またはインターフェイス118)と連結して、VR空間内を移動することができる。いくつかの実現例では、ユーザ120は、VRヘッドセット138を着用しながら手持ち式コンピューティングデバイス(たとえば、ジョイスティック、コントローラまたはキーボード)をユーザの手142a〜bに保持することができる。ユーザは、手持ち式コンピューティングデバイスを使用して、VR空間内でのユーザの動きを制御することができる。
図2Dは、第1のVR空間内でユーザ(たとえば、ユーザ120)がVRヘッドセット(たとえば、図1B〜図1Dに示されるVRヘッドセット138)の画面上に見ることができる画像230のビューを示す図であり、特定の月についてのユーザのカレンダのビュー(カレンダビュー260)を示す。
ユーザ120は、同一方向に移動し続け、さらにカレンダアイコン206の中に移動して、カレンダアイコン206と同一の空間のさらに多くの部分を占めることができる。
図2Eは、ユーザ120の動きがカレンダアイコン206の方に上体を曲げる(飛び込む、立ち入る、突っ込む、または食い込む)ものであるとしてレンダリング/解釈されるときの第1のVR空間の第三者ビュー240を示す図である。
移動し続けることは、ユーザ120がさらにカレンダアイコン206の中に移動する(カレンダアイコン206(VR空間内のカレンダアイコン206によって占められる空間)の方への上体の曲げまたは立ち入り、突っ込みまたは飛び込みが深くなる)ことによってカレンダアプリケーションにさらに没入することになるものであるとしてレンダリング/解釈することができる。たとえば、さらにカレンダアイコン206の中に移動する(VR空間内のカレンダアイコン206によって占められる空間と同一の空間の中にさらに移動する)ことにより、カレンダアプリケーションは、当日のユーザ120のカレンダのビューなどのさらなる詳細または情報を提供することができる。
図2Fは、第2のVR空間内でユーザ(たとえば、ユーザ120)がVRヘッドセット(たとえば、図1B〜図1Dに示されるVRヘッドセット138)の画面上に見ることができる画像250のビューを示す図であり、特定の日についてのユーザのカレンダのビュー(カレンダビュー270)を示す。第1のVR空間において動作/実行されていたが一時停止されたVRアプリケーションを表わす第1のVRアプリケーションアイコン262は、第2のVR空間に含まれ得る。
ユーザ120は、図2Eにおける(また、図2Cを参照して説明したような)カレンダアイコンの中に移動したときと同様にカレンダアプリケーションとの対話を完了させると、VRアプリケーションアイコン262の方に上体を曲げて(飛び込んで、立ち入って、突っ込んで、または食い込んで)、一時停止されたVRアプリケーションの実行を再開してカレンダアプリケーションの実行を終了させることができる。
図1A〜図1Dを参照して説明したように、いくつかの実現例では、VRヘッドセット138は、ユーザ120の頭部122の動きを追跡することができる。ユーザ120は、ユーザ120の頭部122を回転させて(動かして)、VR空間内で焦点をカレンダアプリケーションからVRアプリケーションアイコン262に移すことができる。いくつかの実現例では、ユーザ120は、第1のコンピューティングデバイス102に含まれる制御部(たとえば、第1のコンピューティングデバイス102のタッチスクリーン116上に表示される1つ以上のボタン(たとえば、ボタン144a〜b)および/またはインターフェイス118)と連結して、VR空間内で焦点をカレンダアプリケーションからVRアプリケーションアイコン262に動かすことができる。いくつかの実現例では、ユーザ120は、VRヘッドセット138を着用しながら手持ち式コンピューティングデバイス(たとえば、ジョイスティック、コントローラ、またはキーボード)をユーザの手142a〜bに保持することができる。ユーザは、手持ち式コンピューティングデバイスを使用して、カレンダアプリケーションからVRアプリケーションアイコン262に移動するようにVR空間内でのユーザの動きを制御することができる。
場合によっては、ユーザ120は、VR空間内を移動して、図2Cに記載されているカレンダアイコン206の方に上体を曲げる(カレンダアイコン206といくらかの空間を共有する)ことにより、図2Dに示されるカレンダビュー260をVR空間に表示することができる。ユーザ120は、VR空間内を移動して、カレンダアイコン206から上体を起こして(後退して、遠ざかって)、VR空間内で画像200を見ている状態に戻ることができる。ユーザ120は、VR空間内で実行/動作している現在のVRアプリケーションを完全に離れる(当該VRアプリケーションの実行を停止させる)ことなく、他のアプリケーションにおける情報をのぞき見したり、素早い動作を実行したり、またはアプリケーションの状態をチェックしたりすることができる。いくつかの実現例では、カレンダビュー260は、画像200上に浮遊またはホバリングしていてもよい。カレンダビュー260は、完全に透明または半透明であってもよく、これにより、ユーザ120は、画像200を見続けながらカレンダビュー260によって提供される情報を見ることができる。
図2A、図2Cおよび図2Eに示される例は単一のカレンダアイコン206を示しているが、いくつかの実現例では、各々が特定のアプリケーション、動作または状態を表わす複数のアイコンがVR空間内のさまざまな位置に浮遊するかまたは吊り下げられるように配置されてもよい。いくつかの実現例では、アイコンのうちの1つ以上は、回転してもよく、振動してもよく、色を変化させてもよく、サイズを変化させてもよく、形状を変化させてもよく、またはその他の方法でユーザ120の注目をアイコンに向けさせてもよい。これは、アプリケーションがユーザの注目を必要とする場合に起こり得る。たとえば、カレンダアイコン206は、ユーザ120の注目を得るために、モーフィングしてもよく、回転してもよく、形状および/またはサイズを変化させてもよい。これは、ユーザ120の注目を当然必要とし得るカレンダアプリケーションにアラート、アラームまたは他のインジケータが生じた場合に起こり得る。たとえば、ユーザ120は15分後に会議がある。
図3Aは、VR空間の第1のユーザ(本人)ビュー300を示す図である。図3Aに示される例では、VR空間は、地球儀306を含む。地球儀306は、1つ以上のアプリケーション、動作または状態を表わすVR空間内のオブジェクトであってもよい。
図3Bは、図3Aに示されるVR空間の第1の第三者ビュー305を示す図である。第1の第三者ビュー305において、ユーザ320は地球儀306に近付く。図1Cを参照して、ユーザ320は、図1Cに示されるユーザ120であってもよい。ユーザ320は、VR空間内の地球儀306に近付くとき、VRヘッドセット(たとえば、VRヘッドセット138)を着用して直立姿勢(たとえば、直立姿勢170)で立っていることができる。図1Cを参照して説明したように、VRヘッドセットは、コンピュータによって生成された3D環境(VR空間)と対話するときにユーザ320が見ることができるディスプレイまたは画面を含み得る。
図3Cは、VR空間の第2の第三者ビュー310を示す図である。図3Cに示される例では、ユーザ320は、地球儀306をもっと近くで見ている。これは、ユーザ320の頭部322が地球儀306の表面308のさらに近くに位置しているものとして第2の第三者ビュー310に示されている。図2A〜図2Fを参照して説明したように、ユーザ320は、VR空間内で地球儀306の方に移動することができる。ユーザ320は、VRヘッドセット138を着用しながらユーザ320の頭部322を動かすことができ、および/または、ユーザ320は、VR空間内で地球儀306の方に移動するために1つ以上の手持ち式コンピューティングデバイスと連結することができる。
図3Dは、図3Cに示されるVR空間の第2のユーザ(本人)ビュー315を示す図である。地球儀306は、図3Aに示される地球儀306の第1のユーザビュー300と比較して、第2のユーザビュー315ではより大きいように見える。地球儀306の認識されるより大きなサイズは、第2の第三者ビュー310では第1の第三者ビュー305と比較してユーザ320が地球儀306のさらに近くに位置していることに基づく。
たとえば、地球儀306は、地図アプリケーションを表わす/に関連付けられるVR空間内のオブジェクトであってもよい。ユーザ320は、さらに地球儀306の方に移動(地球儀306の方にVR空間内を移動)し続けて、当該動きが地球儀306の方に上体を曲げて地球儀306の表面をまさに打ち破ろうとするものであるとしてレンダリングされるようにすることによって、VR空間において地図アプリケーションを起動または開始することができる。
図3Eは、ユーザ320(たとえば、ユーザ320の頭部322)の動きが地球儀306の方に上体を曲げる(飛び込む、立ち入る、突っ込む、目を通す、または食い込む)ものであるとしてレンダリング/解釈されるときのVR空間の第3の第三者ビュー325を示す図である。たとえば、動きがレンダリングされると、地球儀306の方に上体を曲げることにより地図アプリケーションを起動するまたは立ち上げることができる。地図アプリケーションは、図3Fに示されるオーバーヘッド地図ビュー332をVR空間において実行および提供することができる。
図3Fは、VR空間の第3のユーザビュー330を、VR空間内でユーザ320によって見られるオーバーヘッド地図ビュー332として示す図である。オーバーヘッド地図ビュー332に含まれる情報は、地球儀306におけるユーザ320によって共有される空間の量に基づき得る。たとえば、オーバーヘッド地図ビュー332は、カナリア諸島のうちの1つであるラ・パルマ島の地図である。
場合によっては、ユーザ320は、地球儀306上で他のエリア(たとえば、国、大陸)の異なるオーバーヘッド地図ビューを「見る」(地図アプリケーションに提供させる)ためにVR空間内を移動することによって地球儀306の表面308を動き回ってもよい。場合によっては、ユーザ320は、次いで地球儀306から離れるように移動して(上体を起こして、後退して、遠ざかって)、VR空間において地球儀306とのいかなる共有空間も占めなくなってもよい。オブジェクトの方に上体を曲げたり上体を起こしたりすることができる能力により、ユーザ320は、VR空間内で実行/動作している現在のアプリケーションを完全に離れる(当該アプリケーションの実行を停止させる)ことなく、アプリケーションにおける情報をのぞき見したり、素早い動作を実行したり、または状態をチェックしたりすることができる。図3A〜図3Jに示される例では、ユーザ320は、地球儀306が部屋に含まれている多くのオブジェクトの中の1つのオブジェクトに過ぎないバーチャルミュージアムのバーチャルルーム(例示的なVR空間)を探検していてもよい。ユーザ320は、地球儀306から離れるように移動して(上体を起こして)、次にVR空間内の別のオブジェクトの方に移動して当該別のオブジェクトと空間を共有し(当該別のオブジェクトの方に上体を曲げ)、別のユーザエクスペリエンスを得ることができる。
場合によっては、ユーザ320は、オブジェクトといくらかの空間を共有すると、同一方向に移動し続け(さらにオブジェクトの中に移動してオブジェクトとさらに多くの空間を共有し)、その結果、図3Gの第4の第三者ビュー335に示されるようにユーザ320は地球儀306に入ってしまうことができる。
図3Gは、ユーザ320が地球儀306に完全に没入している(地球儀306の中に立っている)状態でのVR空間の第4の第三者ビュー335を示す図である。たとえば、VR空間パースペクティブは、地図アプリケーション(およびVR空間での完全なユーザマップエクスペリエンス)に完全にシフトすることができる。地図アプリケーションへの入場は、ユーザ320を地球儀306上の解像度のさらに高い、より詳細な位置に移送することができる。たとえば、ユーザ320は、図3Fに示されるオーバーヘッド地図ビュー332に示される位置をさらに探検することができる。
図3Hは、図3Gに示されるVR空間の第4のユーザ(本人)ビュー340を示す図である。たとえば、ユーザ320は、ラ・パルマ島の浜辺のそばの遊歩道に移送される。ユーザ320は、第4のユーザビュー340に示されるマップエクスペリエンスに移送されたからには、VR空間を探検するマップエクスペリエンス内を動き回ってもよい(別のVR空間を移動してもよい)。マップエクスペリエンスから出る(および地球儀306に入る)ために、ユーザ320は意図的な動作を実行してもよい。当該動作により、ユーザは、明確にVR空間内で地球儀306から出て、マップエクスペリエンスを終了させる(地図アプリケーションから出るまたは地図アプリケーションの実行を停止させる)ことができる。
図3Iは、図3Gに示されるVR空間の第5のユーザ(本人)ビュー345を示す図である。第5のユーザビュー345では、地球儀アイコン326は、VR空間内のユーザ320の手首のレンダリング(手首レンダリング328)上に浮遊(ホバリング)し得る。ユーザ320は、地球儀アイコン326と対話して(たとえば、地球儀アイコン326の方に移動して地球儀アイコン326の表面を打ち破って)、図3Gに示されるVR空間内で入った地球儀306から出ることができる。ユーザ320が地球儀306から出ると、VR空間は図3Aに示されるVR空間の第1の第三者ビュー305であるように見えるようになる。
ユーザ320は、本明細書で説明したように地球儀アイコン326の方に移動することができ、地球儀アイコン326を選択して、地球儀306から出て、地図アプリケーションの実行を停止(終了)させ、マップエクスペリエンスを終了させることができる。たとえば、図1A〜図1Dを参照して、ユーザ320は、VRヘッドセットを着用していてもよい。VRヘッドセットは、ユーザ320の頭部322の動きを追跡することができる。ユーザ320は、ユーザ320の頭部322を回転させて(動かして)、VR空間内で焦点を地球儀アイコン326に移すことができる。ユーザ320は、地球儀アイコン326の方向にユーザ320の頭部322を動かして、次いで少なくとも予め定められた時間だけ地球儀アイコン326上に停留することによって、地球儀アイコン326を選択することができる。別の例では、ユーザ320は、地球儀アイコン326の方向にユーザ320の頭部322を動かして、次いでVRヘッドセットに含まれる1つ以上の制御部を使用して地球儀アイコン326を「クリックする」ことによって、地球儀アイコン326を選択してもよい。別の例では、ユーザ320は、ユーザ320の手首をユーザ320の頭部322に近付けることによって地球儀アイコン326を選択してもよい。地球儀アイコン326は、ユーザ320の手首がユーザ320の頭部322から予め定められた距離の範囲内にあるときに選択されると考えることができる。
いくつかの実現例では、ユーザ320は、手持ち式コンピューティングデバイスに含まれる制御部(たとえば、手持ち式コンピューティングデバイスのタッチスクリーン上に表示される1つ以上のボタンおよび/またはインターフェイス)と連結して、VR空間内で焦点を地球儀アイコン326に動かす(移動させる)ことができる。いくつかの実現例では、ユーザ320は、VRヘッドセットを着用しながら手持ち式コンピューティングデバイス(たとえば、携帯電話、モバイルコンピューティングデバイス、ジョイスティック、コントローラ、またはキーボード)をユーザ320の片手または両手に保持することができる。ユーザは、手持ち式コンピューティングデバイスを使用して、地球儀アイコン326に移動するようにVR空間内でのユーザの動きを制御することができる。ユーザ320は、地球儀アイコン326の方に上体を曲げて(地球儀アイコン326といくらかの空間を共有して)、地球儀306から出て、地図アプリケーションの実行を停止(終了)させ、マップエクスペリエンスを終了させることができる。
いくつかの実現例では、地球儀306は、単一のアプリケーション(たとえば、地図アプリケーション)を表わしてもよい。いくつかの実現例では、地球儀306は、ユーザエクスペリエンスを提供する関連のアプリケーションを表わしてもよい。VR空間内でユーザが地球儀306の方にさらに上体を曲げれば曲げるほど(突っ込めば突っ込むほど、飛び込めば飛び込むほど、または立ち入れば立ち入るほど)、ユーザはさらにエクスペリエンスに入ることができる。たとえば、図3Eおよび図3Fに示されるように、少しのまたは最初の上体の曲げで、ユーザはカナリア諸島に含まれるラ・パルマ島の地図を見る。地球儀の方にさらに上体を曲げることにより、ユーザが見る位置(たとえば、ラ・パルマ島の浜辺に沿った遊歩道)を絞るまたは微調整することができる。図示されていないが、ユーザは、さらに上体を曲げてラ・パルマ島を旅行するための旅行情報を取得してもよい。この例では、地図アプリケーションは、詳細な旅行情報を提供することができる別のアプリケーションを呼び出してもよい(または、制御を別のアプリケーション(たとえば、旅行者用宿泊施設予約アプリケーション)に移してもよい)。ユーザが地球儀306から後退すると、旅行者用宿泊施設予約アプリケーションは制御を地図アプリケーションに戻すことができる。
いくつかの実現例では、地球儀306は、他のアイコンを含むバーチャルルームに含まれ得て、当該他のアイコンは、当該ルーム内の他のオブジェクト(たとえば、家具、絵画および彫刻)を表わし、ユーザは、アイコン(オブジェクト)に関連付けられるアプリケーションを起動する、開始するまたは立ち上げるために当該他のオブジェクトの方に上体を曲げる(突っ込む、飛び込む、または立ち入る)ことができる。
図4は、VR空間に含まれるオブジェクトと対話するための方法400を示すフローチャートである。いくつかの実現例では、本明細書に記載されているシステム、方法およびプロセスが方法400を実現することができる。たとえば、方法400は、図1、図2および図3A〜図3Iを参照して説明することができる。
コンピューティングデバイスは、バーチャルリアリティ(VR)アプリケーションを実行する(ブロック402)。コンピューティングデバイスは、VR空間内でVRヘッドセットの画面上に表示するためのコンテンツを提供する(ブロック404)。コンテンツは、動作に関連付けられた少なくとも1つのオブジェクトを含み得る。VR空間に没入しているユーザの、VR空間に含まれるオブジェクトの方への第1の動きが検出される(ブロック406)。第1の動きを検出したことに基づいて、関連付けられた動作がVR空間内で実行される(ブロック408)。
図5は、本明細書に記載されている技術とともに使用することができる一般的なコンピュータデバイス500および一般的なモバイルコンピュータデバイス550の一例を示す。コンピューティングデバイス500は、ラップトップ、デスクトップ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、および他の適切なコンピュータなどのさまざまな形態のデジタルコンピュータを表わすよう意図されている。コンピューティングデバイス550は、パーソナルデジタルアシスタント、携帯電話、スマートフォン、および他の同様のコンピューティングデバイスなどのさまざまな形態のモバイルデバイスを表わすよう意図されている。ここに示されている構成要素、それらの接続および関係、ならびにそれらの機能は、単に例示的であるよう意図されており、本文献に記載および/またはクレームされている本発明の実現例を限定することを意図したものではない。
コンピューティングデバイス500は、プロセッサ502と、メモリ504と、記憶装置506と、メモリ504および高速拡張ポート510に接続する高速インターフェイス508と、低速バス514および記憶装置506に接続する低速インターフェイス512とを含む。構成要素502,504,506,508,510および512の各々は、さまざまなバスを使用して相互接続され、共通のマザーボード上にまたは他の態様で適宜実装されてもよい。プロセッサ502は、コンピューティングデバイス500内で実行するために命令を処理することができ、当該命令は、高速インターフェイス508に結合されたディスプレイ516などの外部入出力デバイス上にGUIのためのグラフィック情報を表示するためにメモリ504内または記憶装置506上に記憶された命令を含む。他の実現例では、複数のメモリおよび複数のタイプのメモリとともに、複数のプロセッサおよび/または複数のバスが適宜使用されてもよい。また、複数のコンピューティングデバイス500が接続されてもよく、各デバイスは(たとえば、サーババンク、ブレードサーバの群、またはマルチプロセッサシステムとして)必要な動作の一部を提供する。
メモリ504は、コンピューティングデバイス500内の情報を記憶する。一実現例では、メモリ504は、揮発性メモリユニットまたは複数の揮発性メモリユニットである。別の実現例では、メモリ504は、不揮発性メモリユニットまたは複数の不揮発性メモリユニットである。また、メモリ504は、磁気ディスクまたは光ディスクなどの別の形態のコンピュータ読取可能な媒体であってもよい。
記憶装置506は、コンピューティングデバイス500に大容量記憶を提供することができる。一実現例では、記憶装置506は、コンピュータ読取可能な媒体であってもよく、またはコンピュータ読取可能な媒体を含んでいてもよく、当該コンピュータ読取可能な媒体は、フロッピー(登録商標)ディスクデバイス、ハードディスクデバイス、光ディスクデバイス、またはテープデバイス、フラッシュメモリ、または他の同様のソリッドステートメモリデバイス、またはストレージエリアネットワークにおけるデバイスもしくは他の構成を含むデバイスのアレイなどである。コンピュータプログラム製品が情報キャリアにおいて有形に実施されてもよい。コンピュータプログラム製品は、実行されたときに上記の方法などの1つ以上の方法を実行する命令も含んでいてもよい。情報キャリアは、メモリ504、記憶装置506、またはプロセッサ502上のメモリなどのコンピュータまたは機械読取可能な媒体である。
高速コントローラ508は、コンピューティングデバイス500のための帯域幅集約的な動作を管理する一方、低速コントローラ512は、低帯域幅集約的な動作を管理する。このような機能の割り当ては例示に過ぎない。一実現例では、高速コントローラ508は、メモリ504、ディスプレイ516(たとえば、グラフィックスプロセッサまたはアクセラレータを介して)、およびさまざまな拡張カード(図示せず)を受け付けることができる高速拡張ポート510に結合されている。当該実現例では、低速コントローラ512は、記憶装置506および低速拡張ポート514に結合されている。さまざまな通信ポート(たとえば、USB、ブルートゥース(登録商標)、イーサネット(登録商標)、ワイヤレスイーサネット)を含み得る低速拡張ポートは、キーボード、ポインティングデバイス、スキャナなどの1つ以上の入出力デバイス、またはスイッチもしくはルータなどのネットワーキングデバイスに、たとえばネットワークアダプタを介して結合されてもよい。
コンピューティングデバイス500は、図に示されるように、いくつかの異なる形態で実現されてもよい。たとえば、コンピューティングデバイス500は、標準的なサーバ520として実現されてもよく、またはこのようなサーバの群の状態で複数回実現されてもよい。また、コンピューティングデバイス500は、ラックサーバシステム524の一部として実現されてもよい。また、コンピューティングデバイス500は、ラップトップコンピュータ522などのパーソナルコンピュータの状態で実現されてもよい。代替的に、コンピューティングデバイス500からの構成要素は、デバイス550などのモバイルデバイス内の他の構成要素(図示せず)と結合されてもよい。このようなデバイスの各々は、コンピューティングデバイス500,550のうちの1つ以上を含んでいてもよく、システム全体が、互いに通信する複数のコンピューティングデバイス500,550で構成されてもよい。
コンピューティングデバイス550は、いくつかある構成要素の中で特に、プロセッサ552と、メモリ564と、ディスプレイ554などの入出力デバイスと、通信インターフェイス566と、送受信機568とを含む。デバイス550は、さらなる記憶を提供するために、マイクロドライブまたは他のデバイスなどの記憶装置も備えていてもよい。構成要素550,552,564,554,566および568の各々は、さまざまなバスを使用して相互接続され、構成要素のうちのいくつかは、共通のマザーボード上にまたは他の態様で適宜実装されてもよい。
プロセッサ552は、メモリ564に記憶された命令を含むコンピューティングデバイス550内の命令を実行することができる。プロセッサは、別個の複数のアナログおよびデジタルプロセッサを含むチップのチップセットとして実現されてもよい。プロセッサは、たとえばユーザインターフェイス、デバイス550によって実行されるアプリケーション、およびデバイス550による無線通信の制御などの、デバイス550の他の構成要素同士の協調を提供してもよい。
プロセッサ552は、ディスプレイ554に結合された制御インターフェイス558およびディスプレイインターフェイス556を介してユーザと通信してもよい。ディスプレイ554は、たとえばTFT LCD(薄膜トランジスタ液晶ディスプレイ)またはOLED(有機発光ダイオード)ディスプレイ、または他の適切なディスプレイ技術であってもよい。ディスプレイインターフェイス556は、ディスプレイ554を駆動してグラフィックおよび他の情報をユーザに提示するための適切な回路を備えていてもよい。制御インターフェイス558は、ユーザからコマンドを受信し、それらを変換して、プロセッサ552に発信してもよい。また、他のデバイスとのデバイス550の近接領域通信を可能にするように、外部インターフェイス562がプロセッサ552と通信する状態で設けられてもよい。外部インターフェイス562は、たとえばいくつかの実現例では有線通信を提供してもよく、または他の実現例では無線通信を提供してもよく、複数のインターフェイスも使用されてもよい。
メモリ564は、コンピューティングデバイス550内の情報を記憶する。メモリ564は、コンピュータ読取可能な媒体もしくは複数のコンピュータ読取可能な媒体、揮発性メモリユニットもしくは複数の揮発性メモリユニット、または不揮発性メモリユニットもしくは複数の不揮発性メモリユニットのうちの1つ以上として実現することができる。また、拡張メモリ574が設けられて、拡張インターフェイス572を介してデバイス550に接続されてもよく、拡張インターフェイス572は、たとえばSIMM(シングルインラインメモリモジュール)カードインターフェイスを含んでいてもよい。このような拡張メモリ574は、追加の記憶スペースをデバイス550に提供してもよく、またはデバイス550のためのアプリケーションもしくは他の情報も記憶してもよい。具体的には、拡張メモリ574は、上記のプロセスを実行または補完するための命令を含んでいてもよく、安全な情報も含んでいてもよい。したがって、たとえば、拡張メモリ574は、デバイス550のためのセキュリティモジュールとして提供されてもよく、デバイス550の安全な使用を許可する命令でプログラムされてもよい。また、ハッキング不可能な態様でSIMMカードに識別情報を乗せるなど、追加情報とともに安全なアプリケーションがSIMMカードを介して提供されてもよい。
メモリは、たとえば下記のフラッシュメモリおよび/またはNVRAMメモリを含んでいてもよい。一実現例では、コンピュータプログラム製品が情報キャリアにおいて有形に実施される。コンピュータプログラム製品は、実行されたときに上記の方法などの1つ以上の方法を実行する命令を含む。情報キャリアは、メモリ564、拡張メモリ574、またはプロセッサ552上のメモリなどのコンピュータまたは機械読取可能な媒体であり、たとえば送受信機568または外部インターフェイス562を介して受信され得る。
デバイス550は、必要に応じてデジタル信号処理回路を含み得る通信インターフェイス566を介して無線で通信してもよい。通信インターフェイス566は、とりわけGSM(登録商標)音声電話、SMS、EMSもしくはMMSメッセージング、CDMA、TDMA、PDC、WCDMA(登録商標)、CDMA2000、またはGPRSなどのさまざまなモードまたはプロトコルの下で通信を提供してもよい。このような通信は、たとえば無線周波数送受信機568を介して行われてもよい。また、ブルートゥース(登録商標)、WiFi、または他のこのような送受信機(図示せず)を使用するなどして短距離通信が行われてもよい。また、GPS(グローバルポジショニングシステム)受信機モジュール570は、さらなるナビゲーションおよび位置関連の無線データをデバイス550に提供してもよく、当該データは、デバイス550上で実行されるアプリケーションによって適宜使用されてもよい。
また、デバイス550は、オーディオコーデック560を使用して音声通信してもよく、オーディオコーデック560は、音声による情報をユーザから受信し、それを使用可能なデジタル情報に変換してもよい。同様に、オーディオコーデック560は、話者を介するなどして、たとえばデバイス550のハンドセットにおいて、ユーザにとって聞き取れる音声を生成してもよい。このような音声は、音声電話からの音声を含んでいてもよく、記録された音声(たとえば、音声メッセージ、音楽ファイルなど)を含んでいてもよく、デバイス550上で動作するアプリケーションによって生成される音声も含んでいてもよい。
コンピューティングデバイス550は、図に示されるように、いくつかの異なる形態で実現されてもよい。たとえば、コンピューティングデバイス550は、携帯電話580として実現されてもよい。また、コンピューティングデバイス550は、スマートフォン582、パーソナルデジタルアシスタント、または他の同様のモバイルデバイスの一部として実現されてもよい。
本明細書に記載されているシステムおよび技術のさまざまな実現例は、デジタル電子回路、集積回路、特別に設計されたASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/または、それらの組み合わせで実現されてもよい。これらのさまざまな実現例は、少なくとも1つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行可能および/または解釈可能な1つ以上のコンピュータプログラムでの実現を含んでいてもよく、当該少なくとも1つのプログラム可能なプロセッサは、特殊目的であっても汎用であってもよく、記憶システム、少なくとも1つの入力デバイスおよび少なくとも1つの出力デバイスとデータおよび命令を送受信するように結合されてもよい。
これらのコンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーションまたはコードとしても知られている)は、プログラム可能なプロセッサのための機械命令を含み、ハイレベルの手続き型プログラミング言語および/もしくはオブジェクト指向プログラミング言語で実現されてもよく、ならびに/または、アセンブリ/機械言語で実現されてもよい。本明細書で使用される「機械読取可能な媒体」「コンピュータ読取可能な媒体」という用語は、機械命令を機械読取可能な信号として受信する機械読取可能な媒体を含む、プログラム可能なプロセッサに機械命令および/またはデータを提供するのに使用される任意のコンピュータプログラム製品、装置および/またはデバイス(たとえば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス(Programmable Logic Device:PLD))を指す。「機械読取可能な信号」という用語は、プログラム可能なプロセッサに機械命令および/またはデータを提供するのに使用される任意の信号を指す。
ユーザとの対話を提供するために、本明細書に記載されているシステムおよび技術はコンピュータ上で実現されてもよく、当該コンピュータは、ユーザに情報を表示するためのディスプレイデバイス(たとえば、CRT(陰極線管)またはLCD(液晶ディスプレイ)モニタ)と、ユーザが入力をコンピュータに提供することができるキーボードおよびポインティングデバイス(たとえば、マウスまたはトラックボール)とを有する。ユーザとの対話を提供するために他の種類のデバイスも使用されてもよい。たとえば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック(たとえば、視覚フィードバック、聴覚フィードバックまたは触覚フィードバック)であってもよく、ユーザからの入力は、音響入力、音声入力または触覚入力を含む任意の形態で受信されてもよい。
本明細書に記載されているシステムおよび技術は、バックエンドコンポーネント(たとえば、データサーバ)を含むコンピューティングシステムで実現されてもよく、またはミドルウェアコンポーネント(たとえば、アプリケーションサーバ)を含むコンピューティングシステムで実現されてもよく、またはフロントエンドコンポーネント(たとえば、ユーザが本明細書に記載されているシステムおよび技術の実現例と対話できるグラフィカルユーザインターフェイスもしくはウェブブラウザを有するクライアントコンピュータ)を含むコンピューティングシステムで実現されてもよく、またはこのようなバックエンドコンポーネント、ミドルウェアコンポーネントもしくはフロントエンドコンポーネントのいずれかの組み合わせを含むコンピューティングシステムで実現されてもよい。システムのコンポーネント同士は、デジタルデータ通信の任意の形態または媒体(たとえば、通信ネットワーク)によって相互接続されてもよい。通信ネットワークの例としては、ローカルエリアネットワーク(local area network:LAN)、広域ネットワーク(wide area network:WAN)、およびインターネットが挙げられる。
コンピューティングシステムは、クライアントとサーバとを含んでいてもよい。クライアントおよびサーバは、一般に互いに離れており、通常は通信ネットワークを介して対話する。クライアントとサーバとの関係は、それぞれのコンピュータで実行されて互いにクライアント・サーバ関係を有するコンピュータプログラムによって生じる。
いくつかの実施形態について説明してきた。しかし、本発明の精神および範囲から逸脱することなくさまざまな変更を行ってもよいということが理解されるであろう。
また、図面に示されている論理フローは、望ましい結果を達成するために、示されている特定の順序またはシーケンシャルな順序を必要とするものではない。また、他のステップが提供されてもよく、または記載されているフローからステップが除去されてもよく、記載されているシステムに他の構成要素が追加されてもよく、または記載されているシステムから構成要素が除去されてもよい。したがって、他の実施形態は、以下の特許請求の範囲の範囲内である。

Claims (18)

  1. 方法であって、
    コンピューティングデバイスが、バーチャルリアリティ(VR)アプリケーションを実行することと、
    コンピューディングデバイスが、VRヘッドセットの画面上にコンテンツを表示すること備え、
    前記コンテンツを表示することは、第1の浮遊アイコンとして前記VRヘッドセットの前記画面上に表示するためにオブジェクトを提供する第1のビューを提供することを含み、前記オブジェクトは、動作に関連付けられ、前記方法はさらに、
    ユーザの第1の動きを前記オブジェクトの方への動きとして検出することと、
    前記第1の動きを検出することに応答して、前記画面上の表示を変更することとをさらに備え
    前記画面上の表示を変更することは、
    前記オブジェクトに関連付けられた動作によって第2の浮遊アイコン前記VRヘッドセットの前記画面上に表示する第2のビューを提供することと、
    前記第1の動きを検出することの後に、前記ユーザの第2の動きをさらに前記オブジェクトの方への動きとして検出することを含み、前記第2の動きは、前記第1の浮遊アイコンに立ち入る継続的な動きを含み、
    前記第2の動きを検出することに応答して、前記オブジェクトに関連付けられた動作によって、前記VRアプリケーションによって前記VRヘッドセットの前記画面上に表示するために第3のビューを提供することを含む、方法。
  2. 前記コンピューティングデバイスは、前記VRヘッドセットに含まれる、請求項1に記載の方法。
  3. 関連付けられた前記動作は、アプリケーションの実行である、請求項1または2に記載の方法。
  4. 前記画面上の表示を変更することは、
    前記ユーザの第3の動きを前記オブジェクトから離れる動きとして検出することをさらに含み、前記第3の動きを検出することは、前記ユーザの前記第2の動きを検出することの後に行われ、
    前記第3の動きを検出することに応答して、関連付けられた前記動作を実行することを停止することをさらに含む、請求項1から3のいずれか1項に記載の方法。
  5. 関連付けられた前記動作を実行することを停止することは、前記VRヘッドセットの前記画面上に表示するために前記オブジェクトを提供することを含む、請求項4に記載の方法。
  6. 前記第3の動きを検出することは、前記第3のビューに含まれるオブジェクトとの前記ユーザによる対話を検出することを含み、
    関連付けられた前記動作を実行することを停止することは、前記対話を検出したことに応答して、前記VRアプリケーションによって前記VRヘッドセットの前記画面上に表示するために前記コンテンツを提供することをさらに含む、請求項4または5に記載の方法。
  7. 記第2の浮遊アイコンは、透明である、請求項1から6のいずれか1項に記載の方法。
  8. 前記第2の浮遊アイコンは、前記第1の浮遊アイコンとはサイズが異なる、請求項1から7のいずれか1項に記載の方法。
  9. 前記画面上の表示を変更することは、前記第1の浮遊アイコンの詳細を提供することを含む、請求項1から8のいずれか1項に記載の方法。
  10. 前記第2の浮遊アイコンのサイズは、前記第1の浮遊アイコンのサイズよりも大きい、請求項1から9のいずれか1項に記載の方法。
  11. 前記ユーザの前記第1の動きを前記オブジェクトの方への動きとして検出することの前に、前記第1の浮遊アイコンに関連付けられた特徴がユーザの注目を必要とすることに応じて、前記第1の浮遊アイコン表示変更される、請求項1〜請求項10のいずれか1項に記載の方法。
  12. 前記第1の浮遊アイコンに関連付けられた特徴は、前記アプリケーションにおけるアラートの発生に応答して変更される、請求項11に記載の方法。
  13. 記第1の動きは、前記ユーザが前記オブジェクトに立ち入ることを含む、請求項1〜12のいずれか1項に記載の方法
  14. 記ユーザの第の動きを前記オブジェクトから離れる動きとして検出することをさらに備え、前記第の動きを検出することは、前記ユーザの前記第1の動きを前記オブジェクトの方への動きとして検出することの後に行われ、
    前記第の動きを検出することに応答して、前記アプリケーションの実行を終了させることをさらに備える、請求項1〜3のいずれか1項に記載の方法。
  15. 前記アプリケーションの実行を終了させることは、前記コンピューティングデバイスに前記VRヘッドセットの前記画面上に表示するために前記コンテンツを提供させることを含む、請求項14に記載の方法。
  16. 方法であって、
    コンピューティングデバイスが、バーチャルリアリティ(VR)アプリケーションを実行することと、
    前記コンピューティングデバイスが、VR空間内でVRヘッドセットの画面上に表示するためにコンテンツを提供することとを備え、前記コンテンツは、動作に関連付けられた少なくとも1つのオブジェクトを含み、前記方法はさらに、
    前記VR空間に没入しているユーザの、前記VR空間に含まれる前記少なくとも1つのオブジェクトの方への第1の動きを検出することと、
    前記第1の動きを検出することに基づいて、関連付けられた前記動作を前記VR空間内で実行することとを備え、
    前記検出された第1の動きの結果、前記VR空間への前記ユーザの前記没入は、前記VR空間内の前記少なくとも1つのオブジェクトと、第1の量のVR空間を共有するようになり、前記方法はさらに、
    前記VR空間に没入している前記ユーザの、さらに前記VR空間に含まれる前記少なくとも1つのオブジェクトの方への第2の動きを検出することを備え、前記第2の動きの結果、前記VR空間への前記ユーザの前記没入は、前記VR空間内の前記少なくとも1つのオブジェクトと、第2の量のVR空間を共有するようになり、前記第2の量のVR空間は、前記第1の量のVR空間よりも大きく、前記方法はさらに、
    前記第2の動きを検出することに基づいて、関連付けられた前記動作を前記VR空間内で実行し続けることと、
    前記VR空間内での前記第1の動きを、前記VR空間への前記ユーザの前記没入によって前記少なくとも1つのオブジェクトの方に上体を曲げるものであるとしてレンダリングすることと、
    前記VR空間内での前記第2の動きを、前記VR空間への前記ユーザの前記没入によって前記少なくとも1つのオブジェクトの方にさらに上体を曲げるものであるとしてレンダリングすることとを備える、方法。
  17. コンピュータプログラムであって、コンピューティングデバイスのプロセッサによって実行されると、請求項1から16のいずれか1項に記載の方法を前記コンピューティングデバイスに実行させる、コンピュータプログラム。
  18. システムであって、
    コンピューティングデバイスと、
    前記コンピューティングデバイスに動作可能に結合されたバーチャルリアリティ(VR)ヘッドセットとを備え、
    前記コンピューティングデバイスは、コンピュータプログラムを格納するメモリを含み、前記コンピュータプログラムは、前記コンピューティングデバイスのプロセッサによって実行されると、請求項1から16のいずれか1項に記載の方法を前記コンピューティングデバイスに実行させる、システム。
JP2017550751A 2015-05-26 2016-05-23 没入型メディアにおいてアプリケーションおよびアクティビティに入ったり出たりするための多次元グラフィック方法 Active JP6660960B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/721,477 2015-05-26
US14/721,477 US9959677B2 (en) 2015-05-26 2015-05-26 Multidimensional graphical method for entering and exiting applications and activities in immersive media
PCT/US2016/033765 WO2016191362A1 (en) 2015-05-26 2016-05-23 Multidimensional graphical method for entering and exiting applications and activities in immersive media

Publications (2)

Publication Number Publication Date
JP2018521372A JP2018521372A (ja) 2018-08-02
JP6660960B2 true JP6660960B2 (ja) 2020-03-11

Family

ID=56133043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017550751A Active JP6660960B2 (ja) 2015-05-26 2016-05-23 没入型メディアにおいてアプリケーションおよびアクティビティに入ったり出たりするための多次元グラフィック方法

Country Status (6)

Country Link
US (1) US9959677B2 (ja)
EP (1) EP3304254B1 (ja)
JP (1) JP6660960B2 (ja)
KR (1) KR102103494B1 (ja)
CN (1) CN107430442B (ja)
WO (1) WO2016191362A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9959677B2 (en) 2015-05-26 2018-05-01 Google Llc Multidimensional graphical method for entering and exiting applications and activities in immersive media
CN107924690B (zh) * 2015-09-02 2021-06-25 交互数字Ce专利控股公司 用于促进扩展场景中的导航的方法、装置和系统
JP6518582B2 (ja) * 2015-12-21 2019-05-22 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法
JP6668811B2 (ja) * 2016-02-23 2020-03-18 セイコーエプソン株式会社 訓練装置、訓練方法、プログラム
KR20170106862A (ko) * 2016-03-14 2017-09-22 삼성전자주식회사 데이터 동기화 방법 및 이를 구현하는 전자 장치 및 시스템
CN106253371A (zh) * 2016-07-29 2016-12-21 北京小鸟看看科技有限公司 一种头戴显示供电系统
CN106774872A (zh) * 2016-12-09 2017-05-31 网易(杭州)网络有限公司 虚拟现实系统、虚拟现实交互方法及装置
CN107291359A (zh) * 2017-06-06 2017-10-24 歌尔股份有限公司 一种输入方法、装置和系统
WO2018227504A1 (en) 2017-06-15 2018-12-20 Tencent Technology (Shenzhen) Company Limited System and method of customizing a user interface panel based on user's physical sizes
CN107577337A (zh) * 2017-07-25 2018-01-12 北京小鸟看看科技有限公司 一种头戴显示设备的键盘显示方法、装置及头戴显示设备
KR102065421B1 (ko) * 2017-08-10 2020-01-13 엘지전자 주식회사 모바일 기기 및 모바일 기기를 활용한 가상현실 기기 컨트롤러 구동 방법.
US10409444B2 (en) 2017-09-01 2019-09-10 Microsoft Technology Licensing, Llc Head-mounted display input translation
CN108415570B (zh) * 2018-03-07 2021-08-24 网易(杭州)网络有限公司 基于增强现实的控件选择方法和装置
CN108427501B (zh) * 2018-03-19 2022-03-22 网易(杭州)网络有限公司 虚拟现实中移动控制方法和装置
JP7155291B2 (ja) * 2018-05-02 2022-10-18 アップル インコーポレイテッド 環境の動き回り
CN109284000B (zh) * 2018-08-10 2022-04-01 西交利物浦大学 一种虚拟现实环境下三维几何物体可视化的方法及系统
US11036284B2 (en) * 2018-09-14 2021-06-15 Apple Inc. Tracking and drift correction
CN111277866B (zh) * 2018-12-04 2022-05-10 华为技术有限公司 一种控制vr视频播放的方法及相关装置
DE102020104415A1 (de) * 2019-02-22 2020-08-27 Apple Inc. Bewegung in einer umgebung
US20220092498A1 (en) * 2020-09-24 2022-03-24 International Business Machines Corporation Virtual reality simulation activity scheduling
CN112468865B (zh) * 2020-11-25 2024-02-23 咪咕视讯科技有限公司 一种视频处理方法、vr终端及计算机可读存储介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070150864A1 (en) * 2005-12-26 2007-06-28 Goh Chee Ying Josiah Visual-Based Object Oriented Programming Language & System
JP4927631B2 (ja) * 2006-06-27 2012-05-09 パナソニック株式会社 表示装置、その制御方法、プログラム、記録媒体および集積回路
AU2008299883B2 (en) * 2007-09-14 2012-03-15 Facebook, Inc. Processing of gesture-based user interactions
US8037416B2 (en) * 2008-08-06 2011-10-11 International Business Machines Corporation Presenting and filtering objects in a virtual world
GB2470073B (en) * 2009-05-08 2011-08-24 Sony Comp Entertainment Europe Entertainment device, system and method
US8730309B2 (en) * 2010-02-23 2014-05-20 Microsoft Corporation Projectors and depth cameras for deviceless augmented reality and interaction
US9480907B2 (en) * 2011-03-02 2016-11-01 Microsoft Technology Licensing, Llc Immersive display with peripheral illusions
US20120320080A1 (en) * 2011-06-14 2012-12-20 Microsoft Corporation Motion based virtual object navigation
US8866852B2 (en) 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
EP2856284B1 (en) * 2012-05-30 2017-10-04 Kopin Corporation Head-worn computer with improved virtual display function
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
KR20140017429A (ko) * 2012-08-01 2014-02-11 삼성전자주식회사 화면 동작 방법 및 그 전자 장치
US9530232B2 (en) * 2012-09-04 2016-12-27 Qualcomm Incorporated Augmented reality surface segmentation
CN102854984A (zh) * 2012-09-10 2013-01-02 马青川 基于手指动作捕捉控制的向双眼直接投影式小型影音设备
US9150095B2 (en) * 2012-09-14 2015-10-06 Nissan Motor Co., Ltd. Vibration suppression structure for front-end module
JP6195893B2 (ja) * 2013-02-19 2017-09-13 ミラマ サービス インク 形状認識装置、形状認識プログラム、および形状認識方法
CN109656354B (zh) * 2013-02-22 2022-05-31 索尼公司 信息处理装置和信息处理方法
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US9500867B2 (en) * 2013-11-15 2016-11-22 Kopin Corporation Head-tracking based selection technique for head mounted displays (HMD)
CN104281260A (zh) * 2014-06-08 2015-01-14 朱金彪 操作虚拟世界里的电脑和手机的方法、装置以及使用其的眼镜
CN104407766B (zh) * 2014-08-28 2018-08-10 联想(北京)有限公司 一种信息处理方法和穿戴式电子设备
US10514821B2 (en) * 2014-12-05 2019-12-24 Samsung Electronics Co., Ltd. Method and apparatus for relocating an icon
JP5961291B1 (ja) * 2015-02-12 2016-08-02 株式会社コロプラ コンテンツ視聴のための装置および方法、並びにコンテンツ視聴動作をコンピュータに制御させるコンピュータ・プログラム
US9959677B2 (en) 2015-05-26 2018-05-01 Google Llc Multidimensional graphical method for entering and exiting applications and activities in immersive media
US9898864B2 (en) * 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality

Also Published As

Publication number Publication date
KR102103494B1 (ko) 2020-04-22
US9959677B2 (en) 2018-05-01
CN107430442B (zh) 2020-09-29
JP2018521372A (ja) 2018-08-02
CN107430442A (zh) 2017-12-01
KR20170120166A (ko) 2017-10-30
EP3304254B1 (en) 2021-10-13
WO2016191362A1 (en) 2016-12-01
US20160350972A1 (en) 2016-12-01
EP3304254A1 (en) 2018-04-11

Similar Documents

Publication Publication Date Title
JP6660960B2 (ja) 没入型メディアにおいてアプリケーションおよびアクティビティに入ったり出たりするための多次元グラフィック方法
CN110168478B (zh) 表面识别镜头
US10453273B2 (en) Method and system for providing an object in virtual or semi-virtual space based on a user characteristic
US9766713B2 (en) System and method for providing user interface tools
JP6778815B2 (ja) 仮想現実におけるロケーショングローブ
CN111771180B (zh) 增强现实环境中对象的混合放置
CN112313605B (zh) 增强现实环境中对象的放置和操纵
CN109906424B (zh) 用于虚拟现实系统的输入控制器稳定技术
EP2605129A2 (en) Method of rendering a user interface
CN108073276A (zh) 增强和/或虚拟现实环境的拖拽虚拟元件
KR20220149619A (ko) 공유된 증강 현실 시스템
US11886673B2 (en) Trackpad on back portion of a device
US10976890B2 (en) Intelligent command batching in an augmented and/or virtual reality environment
EP3204843B1 (en) Multiple stage user interface

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171102

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190422

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200210

R150 Certificate of patent or registration of utility model

Ref document number: 6660960

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250