JP6770178B2 - Ｈｍｄユーザを現実世界空間内で安全に案内するために、仮想現実シーンにおいて対話型コンテンツを提供する方法 - Google Patents

Description

本開示は、ヘッドマウントディスプレイ装着中に、対話機能のセーフゾーン内に残るようにユーザを案内するために、仮想現実シーンに対話型コンテンツを提供することに関する。

ビデオゲーム産業は、年月を経て多くの変化を経験している。計算能力が拡大するにつれて、ビデオゲームの開発者は、これらの計算能力の増大を利用するゲームソフトウェアを同様に作成している。このために、ビデオゲーム開発者は、極めて詳細で魅力のあるゲームエクスペリエンスを生み出すために、高度な演算及び数学を組み込むゲームをコーディングしている。

例としてのゲームプラットフォームは、ＳｏｎｙＰｌａｙＳｔａｔｉｏｎ（登録商標）、ＳｏｎｙＰｌａｙＳｔａｔｉｏｎ２（登録商標）（ＰＳ２）、ＳｏｎｙＰｌａｙＳｔａｔｉｏｎ３（登録商標）（ＰＳ３）、及びＳｏｎｙＰｌａｙＳｔａｔｉｏｎ４（登録商標）（ＰＳ４）を含み、そのそれぞれが、ゲームコンソールの形態で販売される。周知のように、ゲームコンソールは、ディスプレイ（典型的には、テレビ）に接続され、手持ち型コントローラを通してユーザ対話を可能にするように設計される。ゲームコンソールは、専用処理ハードウェアで設計され、ＣＰＵ、集中型グラフィック動作を処理するためのグラフィックシンセサイザ、ジオメトリ変換を実行するためのベクタユニット、ならびに他のグルーハードウェア、ファームウェア、及びソフトウェアを含む。ゲームコンソールは、ゲームコンソールを通してローカルプレイ用のゲームディスクを受け入れるための光学ディスクリーダを伴ってさらに設計されてもよい。オンラインゲームも可能であり、その場合、ユーザは、インターネットを介して他のユーザと対戦または一緒に対話型でプレイすることができる。ゲームの複雑性は、プレーヤの興味をそそり続けるため、ゲーム及びハードウェア製造業者は、さらなる対話機能及びコンピュータプログラムを可能にするように革新し続けている。

コンピュータゲーム産業における成長トレンドは、ユーザとゲームシステムとの間の対話を増加させたゲームを開発することである。より豊かな対話型エクスペリエンスを達成する１つの方法は、プレーヤの動きをトラッキングし、これらの動きをゲームのための入力として使用するために、その人の動きがゲームシステムによってトラッキングされる、ワイヤレスゲームコントローラを使用することである。概して言うと、ジェスチャ入力は、コンピューティングシステム、ビデオゲームコンソール、スマート家電などの電子デバイスに、プレーヤによって行われ、電子デバイスによってキャプチャされる、何らかのジェスチャに反応させることを指す。

より没入型の対話型エクスペリエンスを達成する別の方法は、ヘッドマウントディスプレイを使用することである。ヘッドマウントディスプレイは、ユーザによって装着され、仮想現実（ＶＲ）空間のビューなどの、様々なグラフィックを提示するように構成され得る。ヘッドマウントディスプレイ上に提示されるグラフィックは、ユーザの視野の大部分、または全てでさえもカバーし得る。したがって、ヘッドマウントディスプレイは、ユーザに視覚的に没入型のエクスペリエンスを提供し得る。

このような状況において、本開示の実施形態が生じる。

本開示の実施態様は、ＨＭＤユーザのトラッキングデータを処理するため、及びＨＭＤユーザに安全な対話ゾーンに向けた案内情報を提供するために使用される方法及びシステムを含む。本明細書で説明される実施形態は、ユーザが現実世界空間においてセーフゾーンの外にそれているときに、ユーザに指標及び案内を提供するために、仮想現実コンテンツを既存の仮想現実コンテンツに直接統合するための技術を示す。いくつかの実施形態では、ユーザは、ユーザが対話機能についてのセーフゾーンに接近しているか、またはセーフゾーンから出て行ったことを示すグラフィカルコンテンツを、仮想現実空間において直接提供され得る。グラフィカルコンテンツは、メッセージ、グラフィカルメッセージ、テキストメッセージ、音声メッセージなどの形式であってもよい。

１つの実施形態では、ヘッドマウントディスプレイを装着しているユーザに案内を提供する方法である。方法は、ＨＭＤを装着しているユーザを現実世界空間においてトラッキングすることを含む。方法は、また、現実世界空間、及びＨＭＤを介して仮想現実空間と対話するための現実世界空間内のセーフゾーンを識別することを含む。次いで、現実世界空間においてユーザの動きを検出する。方法は、現実世界空間のセーフゾーン内にとどまるようにユーザに案内するために、コンテンツを仮想現実空間内に統合することを含む。

本開示の他の態様及び利点は、例として本開示の原理を示す添付図面と併せて掲げる、以下の詳細な説明から明らかとなる。

本開示は、添付図面と併せて掲げる以下の説明を参照することによって、よりよく理解され得る。

本開示の実施形態による、ビデオゲームの対話型ゲームプレイのためのシステムを示す。

１つの実施形態による、ＨＭＤの使用中に安全に戻るようにユーザに案内することに関連する全般的特徴を説明する、フローチャート図を示す。

１つの実施形態による、図２Ａで説明される動作の別の実施例を示す。

ＨＭＤを装着し、仮想現実ビューと対話するユーザの実施例を示す。

１つの実施形態による、現実世界空間の外側境界に接近しているユーザ、及びセーフゾーンに戻る案内の提供の実施例を示す。 １つの実施形態による、現実世界空間の外側境界に接近しているユーザ、及びセーフゾーンに戻る案内の提供の実施例を示す。

１つの実施形態による、セーフゾーンに戻る案内を提供するために、ユーザに仮想現実空間においてより多くのアニメキャラクタが提供される実施例を示す。 １つの実施形態による、セーフゾーンに戻る案内を提供するために、ユーザに仮想現実空間においてより多くのアニメキャラクタが提供される実施例を示す。

１つの実施形態による、仮想現実空間と対話するそのユーザの実施例を示す。

本開示の実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）を示す。

クライアントシステムと対話するＨＭＤユーザ、及び第２のスクリーンと呼ばれる第２のスクリーンディスプレイにコンテンツを提供するクライアントシステムの１つの実施例を示す。

本開示の実施形態による、実行中のビデオゲームと併せたＨＭＤの機能を概念的に示す。

本開示の実施形態による、ヘッドマウントディスプレイのコンポーネントを示す。

本開示の様々な実施形態による、ゲームシステムのブロック図である。

本開示の以下の実施態様は、ＨＭＤユーザのトラッキングデータを処理するため、及びＨＭＤユーザに安全な対話ゾーンに向けた案内情報を提供するための方法、システム、コンピュータ可読媒体、及びクラウドシステムを提供する。本明細書で説明される実施形態は、ユーザが現実世界空間においてセーフゾーンの外にそれているときに、ユーザに指標及び案内を提供するために、仮想現実コンテンツを既存の仮想現実コンテンツに直接統合するための技術を示す。いくつかの実施形態では、ユーザは、ユーザが対話機能についてのセーフゾーンに接近しているか、またはセーフゾーンから出て行ったことを示すグラフィカルコンテンツを、仮想現実空間において直接提供され得る。グラフィカルコンテンツは、メッセージ、グラフィカルメッセージ、テキストメッセージ、音声メッセージなどの形式であってもよい。

いくつかの実施形態では、ユーザには、セーフゾーンに再び入るためにどこに移動すべきかをユーザに伝える案内メッセージが提供され得る。いくつかの実施形態では、ユーザがセーフゾーンに再び入ろうとする間、コンテンツは休止される。さらなる実施形態では、グラフィカルコンテンツが、アプリケーションまたは現在のコンテンツにネイティブに見えるように、グラフィカルコンテンツは、ユーザによって対話されている仮想現実コンテンツ内に直接統合され得る。このやり方では、警告、案内命令などは、ＨＭＤエクスペリエンスにあまり混乱を引き起こさないように見える。概して言うと、本明細書で説明される実施形態は、ＨＭＤによって提示されている豊富な没入型コンテンツに干渉もしない、またはコンテンツから注意もそらさせないやり方で、ユーザに安全な対話ゾーンを提供するために、ユーザ及び現実世界空間の対話型トラッキングを提供する。

１つの実施形態では、方法、システム、画像キャプチャオブジェクト、センサ、及び関連するインタフェースオブジェクト（例えば、グローブ、コントローラ、手など）は、ディスプレイスクリーン上に実質的にリアルタイムでレンダリングされるように構成されるデータを処理するように構成される。ディスプレイは、ヘッドマウントディスプレイ（ＨＭＤ）のディスプレイ、第２のスクリーンのディスプレイ、ポータブルデバイスのディスプレイ、コンピュータディスプレイ、ディスプレイパネル、１つまたは複数のリモート接続されたユーザ（コンテンツを見ていてもよく、対話型エクスペリエンスにおいて共有していてもよい）のディスプレイなどであってもよい。

しかしながら、本開示は、これらの具体的詳細のいくつかまたは全てがなくとも実施され得ることは、当業者であれば明らかである。他の例では、本開示を不必要に不明確にしないために、周知のプロセス動作は詳細には説明されていない。

図１は、本開示の実施形態による、ビデオゲームの対話型ゲームプレイのためのシステムを示す。ユーザ１００は、ヘッドマウントディスプレイ（ＨＭＤ）１０２を装着して示されている。ＨＭＤ１０２は、眼鏡、ゴーグル、またはヘルメットと同様のやり方で装着され、ビデオゲームまたは他のコンテンツをユーザ１００に対して表示するように構成される。ＨＭＤ１０２は、ユーザの目に近接したディスプレイ構造のその提供のおかげで、極めて没入型のエクスペリエンスをユーザに提供する。したがって、ＨＭＤ１０２は、ユーザの視野の大部分または全体でさえも占める、ユーザの目それぞれに対する表示領域を提供し得る。

１つの実施形態では、ＨＭＤ１０２は、コンピュータ１０６に接続され得る。コンピュータ１０６への接続は、有線または無線であってもよい。コンピュータ１０６は、ゲームコンソール、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、モバイルデバイス、携帯電話、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイスなどを含むがこれらに限定されない、当技術分野において既知の任意の汎用コンピュータまたは専用コンピュータであり得る。１つの実施形態では、コンピュータ１０６は、ビデオゲームを実行し、ＨＭＤ１０２によるレンダリングのためにビデオゲームからビデオ及び音声を出力するように構成され得る。

ユーザ１００は、グローブインタフェースオブジェクト１０４ａを操作して、ビデオゲームに入力を提供してもよい。追加的に、カメラ１０８は、ユーザ１００が位置する対話型環境の画像をキャプチャするように構成され得る。これらのキャプチャされた画像は、ユーザ１００、ＨＭＤ１０２、及びグローブインタフェースオブジェクト１０４ａの位置及び動きを判断するために解析され得る。１つの実施形態では、グローブインタフェースオブジェクト１０４ａは、その位置及び向きを判断するためにトラッキングされ得るライトを含む。

以下で説明されるように、ユーザがＨＭＤ１０２に表示される仮想現実シーンとインタフェース接続する方法は、変化してもよく、グローブインタフェースオブジェクト１０４ａに追加して他のインタフェースデバイスが、使用されてもよい。例えば、両手コントローラと同様に、片手コントローラもまた、使用されてもよい。いくつかの実施形態では、コントローラは、コントローラに関連付けられたライトをトラッキングすること、または形状、センサ、及びコントローラに関連付けられる内部データをトラッキングすることによって、コントローラ自体がトラッキングされてもよい。これらの様々な種類のコントローラ、または、１つもしくは複数のカメラによって行われキャプチャされる簡単なハンドジェスチャさえも使用して、ＨＭＤ１０２上に提示される仮想現実環境をインタフェース接続し、制御し、操縦し、対話し、参加することが可能である。

追加的に、ＨＭＤ１０２は、ＨＭＤ１０２の位置及び向きを判断するためにトラッキングされ得る１つまたは複数のライトを含んでもよい。カメラ１０８は、対話型環境から音をキャプチャする１つまたは複数のマイクロフォンを含み得る。マイクロフォンアレイによってキャプチャされる音は、音源の位置を識別するために処理されてもよい。識別された位置からの音は、選択的に利用され、または識別された位置からではない他の音を除外するように処理され得る。さらに、カメラ１０８は、複数の画像キャプチャデバイス（例えば、カメラの立体対）、ＩＲカメラ、深度カメラ、及びこれらの組み合わせを含むように定義され得る。

別の実施形態では、コンピュータ１０６は、クラウドゲームプロバイダ１１２とネットワーク上で通信するシンクライアントとして機能する。クラウドゲームプロバイダ１１２は、ユーザ１０２によってプレイされているビデオゲームを維持し実行する。コンピュータ１０６は、ＨＭＤ１０２、グローブインタフェースオブジェクト１０４ａ、及びカメラ１０８からの入力をクラウドゲームプロバイダに送信する。クラウドゲームプロバイダは、入力を処理して、実行中のビデオゲームのゲーム状態に影響を与える。ビデオデータ、音声データ、及び触覚フィードバックデータなどの実行中のビデオゲームからの出力は、コンピュータ１０６に送信される。コンピュータ１０６は、送信前にデータをさらに処理してもよく、または、関連するデバイスにデータを直接送信してもよい。例えば、ビデオ及び音声ストリームは、ＨＭＤ１０２に提供され、一方、振動フィードバックコマンドは、グローブインタフェースオブジェクト１０４ａに提供される。

１つの実施形態では、ＨＭＤ１０２、グローブインタフェースオブジェクト１０４ａ、及びカメラ１０８は、それ自体が、ネットワーク１１０に接続されてクラウドゲームプロバイダ１１２と通信するネットワーク化デバイスであってもよい。例えば、コンピュータ１０６は、ビデオゲーム処理を別段実行しないがネットワークトラフィックの通過を容易にする、ルータなどのローカルネットワークデバイスであってもよい。ＨＭＤ１０２、グローブインタフェースオブジェクト１０４ａ、及びカメラ１０８によるネットワークへの接続は、有線または無線であってもよい。

追加的に、本開示における実施形態は、ヘッドマウントディスプレイに関連して説明され得るが、他の実施形態において、テレビ、プロジェクタ、ＬＣＤディスプレイスクリーン、ポータブルデバイススクリーン（例えば、タブレット、スマートフォン、ラップトップなど）、または本開示による対話型シーンもしくは仮想環境の表示のためにビデオをレンダリングし、及び／または提供するように構成され得る任意の他の種類のディスプレイを限定ではなく含む、非ヘッドマウントディスプレイが代用されてもよいことが理解される。

図２Ａは、１つの実施形態による、ＨＭＤの使用中に安全に戻るようにユーザに案内することに関連する全般的特徴を説明する、フローチャート図を示す。この実施例では、方法は、現実世界空間においてＨＭＤユーザを識別するための動作２０２を含む。ＨＭＤユーザは、様々な方法でトラッキングされ得る。１つの実施形態では、ＨＭＤユーザは、ＨＭＤ自体をトラッキングすることによって、またはＨＭＤを装着しているユーザの画像をトラッキングすることによって、またはＨＭＤユーザが持っている、もしくは着用しているコントローラもしくはトラッキング可能な物体をトラッキングすることによって、トラッキングされ得る。概して、ＨＭＤユーザは、ユーザが動き回ることが可能な現実世界空間内で、ＨＭＤと対話していることとなる。

動き回ることは、典型的には少なくとも小部屋の大きさの空間、ユーザのリビングルーム内の場所、専用部屋、ゲーム部屋、研究部屋、または概して、ユーザが異なる方向に数歩歩くことによって動き回ることができる現実世界における空間を動き回ることを含み得る。一方、ユーザは、現実世界における対話空間内で動き回っているため、ユーザは、ＨＭＤが装着されていることから、現実世界の中のあるものが見えないことがある。その結果、方法は、ＨＭＤユーザが、仮想現実空間に提示される仮想現実コンテンツと対話する間、動き回るのに安全な現実世界空間を識別することをさらに含む。現実世界空間は、いくつかの技術を使用して識別され得る。

例として、カメラは、ユーザがＨＭＤを使用しようとする場所に本来物理的であるどんなものが存在するかを識別するために使用されてもよい。近接センサ、光センサ、超音波センサ、物理センサ、有線センサ、深度カメラセンサなどの、他の種類のセンサもまた、使用されてもよい。１つの実施形態では、識別される現実空間は、ユーザがＨＭＤと対話しようとしている空間であってもよい。空間は、例えば、ある人のリビングルームを含んでもよい。その人のリビングルームは、ソファ、椅子、コーヒーテーブル、及び他の家具、または壁を含み得る。ユーザが対話している現実世界空間の識別は、部屋の中に存在するそれらの他の物体を考慮に入れてもよい。したがって、ユーザが対話することとなる空間は、必ずしも完全に丸いか、または円形、または楕円形である必要はないが、部屋内の物体の外形を描く、または物体に含まれている異なる空間になってもよい。

動作２０６では、ＨＭＤユーザの動きが、現実世界空間において検出される。上述のように、ユーザは、動き回ることによって、現実世界空間において対話していることができる。動き回ることは、ＨＭＤがユーザによって着用されている間、異なる方向に進むことを含んでもよい。仮想現実空間において、ユーザは、彼らがその空間で動き回っていると感じ、彼らが現実世界空間にいるという事実を見失うことがあり、現実世界空間に存在する何かにぶつかりそうになることがある。この理由から、動作２０６において、ＨＭＤユーザの動きに関する情報がトラッキングされ、検出される。動作２０８において、ＨＭＤユーザが、セーフゾーン外にいることが検出される。例として、ユーザは、物体に近づき過ぎている、階段に接近している、ソファに接近している、コーヒーテーブルに接近している、別の人に接近している、壊れやすい物体に接近している、危険な物体に接近している、現実世界における概して別の物または物体に接近している場合がある。

ユーザがセーフゾーン外にある特定の物体に衝突する場合、彼らはぶつかったり、壊したり、または怪我をすることがあるため、ユーザがセーフゾーンに戻るよう案内され得るように、ユーザは、２１０において仮想現実空間内でコンテンツを用いて提示される。本明細書で用いられる、セーフゾーンは、ユーザがＨＭＤ使用中に、自由に歩き回ることができ、物理的物体にぶつかりそうにない、または怪我を負いそうにない空間と考えられる。コンテンツを仮想現実空間内に統合することは、セーフゾーンに戻るようにユーザに案内することを支援し得る、仮想現実空間内に配置されるグラフィックを生成することを含んでもよい。

グラフィックは、仮想現実空間内に提示されているものと類似のグラフィックを含み得る。例えば、仮想現実空間が、ユーザがスポーツをプレイするゲームである場合、そのスポーツの審判が、その人にセーフゾーンに戻るように案内してもよい。ユーザが、仮想モールを歩き回っている場合、モールの係員または警察官が、ユーザにセーフゾーンに戻るように案内してもよい。提示されるコンテンツは、したがって、本来グラフィカルである点から対話型であってもよく、またはテキスト及び音声も含んでもよい。概して言うと、仮想現実空間内に提示されるコンテンツは、ＨＭＤユーザのために仮想現実空間における対話機能を実質的に妨害しないやり方で提示される。いくつかの実施形態では、ユーザが、物体の近くに来ているか、またはセーフゾーンの完全に外側にいる場合に、仮想現実空間内で提示される対話型コンテンツは、休止され得る。

コンテンツの位置決め中に、対話型コンテンツは、セーフゾーンに戻るようにユーザに案内するために、これに投入または拡張され得る。ユーザがセーフゾーンに戻った時点で、仮想現実コンテンツは、仮想現実空間において再開される。コンテンツを再開することは、例えば、ユーザにコンテンツを提供するために、休止ポイントからわずかに遡って巻き戻すことを含み得る。

図２Ｂは、１つの実施形態による、図２Ａに説明される動作２０２、２０４、及び２０６の実施例を示す。この実施例では、動作２１２は、ＨＭＤユーザが、ＨＭＤユーザが移動するのに安全な現実世界空間の外側境界付近にいるときに検出することを含む。この動作は、ユーザの動きをトラッキングすること、及びユーザがあまりに遠くに移動しているか、または対話するのに安全である現実世界空間から出て行っている可能性があると予測することを含み得る。動作２１４において、仮想現実空間は、外側境界が接近していることをユーザに警告するように、ＨＭＤユーザによって視聴可能なコンテンツで拡張され得る。

いくつかの実施形態では、ユーザに外側境界方向への移動に関する情報を提供するために、仮想現実キャラクタが、仮想現実コンテンツ内に現れてもよい。動作２１６において、ＨＭＤユーザに提供される視聴可能なコンテンツが、ＨＭＤユーザが移動するのに安全な現実世界空間に戻るようにユーザに案内するための情報を含み得る。

図３は、ＨＭＤ１０２を装着し、仮想現実ビュー３２０と対話するユーザ１００の実施例を示す。この実施例では、ユーザは、コントローラ１０９と対話しており、仮想現実ビューにおいて射的をプレイしている。ユーザが現実世界空間３００を動き回るとき、ユーザは、椅子３０２、コーヒーテーブル３０４、及びランプ３０６、ならびにその他の物体などの、現実世界の中の物体にぶつかることがある。これらの物体は、ユーザが歩き回るのに安全であるべき現実世界空間３００の中、及び周りに位置し得る、物理的な現実世界の物体の実施例として、単に図３に提示される。

図３において強調されている破線領域は、１つの実施例では、ユーザが歩き回るのに安全な領域を意味する。ユーザが、その破線の外側境界へと歩く場合、ユーザには、上述したようにセーフゾーンに戻る案内が提示され得る。

図４Ａは、現実世界空間３００の外側境界に接近しているユーザ１００の実施例を示す。１つの実施形態では、仮想現実ビュー３２０'は、仮想現実キャラクタ４１０及びメッセージ４１２を含むことによって拡張される。仮想現実キャラクタ４１０は、１つの実施形態では、ユーザ１００に警告するために仮想現実ビュー内のある空間に提示される。メッセージ４１２は、１つの実施形態では、ユーザに３歩後退するように伝え得る。図示するように、ユーザ１００は、別のユーザ４００にも接近しており、仮想現実ビュー内に提示されるコンテンツはまた、ユーザに、接触を避けるために彼の近くに別のユーザがいることを警告してもよい。

図４Ｂは、ユーザ１００が仮想現実ビュー３２０'において対話しており、別の仮想現実キャラクタ４１０及びメッセージ４１４を受信する実施例を示す。この実施例では、ユーザは、左に２フィート移動するように案内されている。図示するように、ユーザが、現実世界空間３００内のセーフゾーン内に残ることができるように、ユーザ１００に提供される情報は、警告だけでなく、案内情報も含み得る。この情報を提供することは、仮想現実空間内で没入する可能性があるユーザ１００が現実世界の物体にぶつかることを回避するのに効率的なやり方である。

追加的な利点は、ユーザが何かにぶつかるときに、ユーザ１００が、彼のＨＭＤ１０２を取り外す必要がないということである。いくつかの実施形態では、仮想現実空間内で提供されるメッセージは、物体が何であるかを識別し得る。例として、ユーザ１００には、椅子がユーザの近くにあること、例えば、１フィート右にあることを示すメッセージが提供され得る。メッセージは、また、人が彼の右隣に立っていることを識別し得る。メッセージは、また、「あなたの兄弟があなたの隣に立っています」というように、彼の隣に立っている人を識別し得る。他のメッセージは、また、別のユーザが、ＨＭＤユーザに話しかけたいかどうか、または話しかけたいという合図をしているかどうかを識別し得る。これらの実施例のうちのいずれか１つにおいて、メッセージ、コンテンツ、及び案内が、仮想現実空間内で直接ユーザ１００に提供されてもよい。

図５Ａは、１つの実施形態による、セーフゾーンに戻る案内を提供するために、ユーザ１００に仮想現実空間においてより多くのアニメキャラクタ５０４が提供される実施例を示す。図示するように、ユーザ１００は、セーフゾーンの右にそれており、コーヒーテーブル３０４及びランプ３０６に接近している。壊れることがあるか、またはユーザ１００に怪我をさせることがある物理的物体に、ユーザが接近しているため、ユーザ１００には、仮想現実空間３２０'においてより重要な警告が提供される。

この実施例では、メッセージ５０２が、ユーザに提供されて、ユーザが後退することを要求する。画像キャラクタ５０４は、彼の両手を挙げて示され、ユーザ１００に止まるように指示する。アニメキャラクタ５０４は、仮想現実コンテンツを依然として示している間に、仮想現実シーン内に統合され得るキャラクタの種類の単なる実施例である。依然として示されている仮想現実コンテンツは、仮想現実シーン内で使用されている仮想現実武器である。

図５Ｂは、１つの実施形態による、メッセージ５４０が仮想現実シーン３２０'内でユーザに提供される別の実施例を示す。この実施例では、ユーザには、「前進して再開してください」と指示するメッセージが提供される。このメッセージは、仮想現実空間における対話機能が、停止され、または休止されていることをユーザ１００に示している。ユーザは、対話及び移動が安全である仮想現実空間３００から外に出るとき、コンテンツの停止及び休止は自動的である。ユーザが、対話するのに安全な仮想現実空間３００内に前進する時点で、仮想現実空間内のコンテンツが、再開され得る。

このようにして、仮想現実空間におけるコンテンツの休止及び再開は、ユーザが、セーフゾーン内にいるか、またはセーフゾーン外にいるかに基づき、自動的であり得る。いくつかの実施形態では、ユーザが、接近している、対話しようとしている、ぶつかりそうである、危険なゾーンに入ろうとしている、または起こり得る危険について注意されるべきである場合に、ＨＭＤ１０２の前方監視カメラは、また、ユーザ１００に現実世界空間のビューを提供するためにオンにされ得る。このようにして、セーフゾーン内に戻るようにユーザに案内するために仮想現実コンテンツ内にメッセージ及びグラフィックを提供することに加えて、ユーザには、また、現実世界のパススルーまたはシースルービューが提供され得る。１つの実施形態では、ユーザが、現実世界空間内に戻るための案内に従わない場合に、現実世界空間外にとどまるかどうか、または負傷を避けるためのアクションをとるかどうかをユーザが判断することを可能にするために、現実世界のパススルーまたはシースルービューがオンにされる。

図６は、１つの実施形態による、仮想現実空間と対話する、そのユーザ１００の実施例を示す。この実施例では、ユーザ１００は、コンテンツが休止されていることをメッセージ６０６によって示す、仮想現実コンテンツ３２０'を示される。さらに、ユーザには、ユーザが対話している空間の鳥瞰図または俯瞰図６０２が提供される。俯瞰図６０２は、現実世界空間３２０にマッピングされ、または平行しており、また、現実世界空間３００に対してユーザ１００がいる場所に関する情報も提供する。このようにして、指標６０４が、現実世界空間３００に対するユーザ１００の位置を示すために、仮想世界空間に配置されてもよい。メッセージ６０８は、また、１つの実施形態において、俯瞰図６０２の中に含まれる安全な移動ゾーンに対してユーザがいる場所を彼に示すために、提供されてもよい。これは、ユーザに、ある種の個人レーダを提供し、ユーザがセーフゾーンに戻るために移動し得る場所をユーザに示す。１つの実施形態では、ユーザがセーフゾーンの中央に向けて移動するとき、指標６０４もまた移動し、彼または彼女が正しい方向に移動していることをユーザ１００に保証する。セーフゾーンにおいて一度、コンテンツが、自動的に再始動もしくは再開するかのいずれかであってもよく、またはユーザ１００のコマンドによって再開されてもよい。

図７Ａは、本開示の実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）を示す。図示するように、ＨＭＤ１０２は、複数のライト２００Ａ〜Ｈを含む。これらのライトのそれぞれは、特定の形状を有するように構成されてもよく、同一または異なる色を有するように構成されてもよい。ライト２００Ａ、２００Ｂ、２００Ｃ、及び２００Ｄは、ＨＭＤ１０２の前面に配置される。ライト２００Ｅ及び２００Ｆは、ＨＭＤ１０２の側面に配置される。ライト２００Ｇ及び２００Ｈは、ＨＭＤ１０２の前面及び側面に及ぶように、ＨＭＤ１０２の角に配置される。ライトが、ユーザがＨＭＤ１０２を使用する対話型環境のキャプチャされた画像において識別され得ることは言うまでもない。ライトの識別及びトラッキングに基づいて、対話型環境におけるＨＭＤ１０２の位置及び向きが、判断され得る。ライトのうちのいくつかが、画像キャプチャデバイスに対するＨＭＤ１０２の特定の向きに依存して見えても見えなくともよいことは、さらに言うまでもない。また、ライトの異なる部分（例えば、ライト２００Ｇ及び２００Ｈ）は、画像キャプチャデバイスに対するＨＭＤ１０２の向きに依存して画像キャプチャのために露出されてもよい。

１つの実施形態では、ライトは、ＨＭＤの現在の状態を周辺の他者に示すように構成され得る。例えば、ライトのうちのいくつかまたは全てが、ある色彩配列、輝度配列を有するように構成され、明滅するように構成され、あるオン／オフ構成、またはＨＭＤ１０２の現在の状態を示す他の配列を有するように構成されてもよい。例として、ライトは、ビデオゲームのアクティブなゲームプレイ（概して、ゲームのアクティブタイムライン中、またはシーン内で発生するゲームプレイ）中に、メニューインタフェースをナビゲートする、またはゲーム設定を構成するなどのビデオゲームの他の非アクティブなゲームプレイ態様（その間、ゲームタイムラインまたはシーンは非アクティブであるか、または休止され得る）と対比して、異なる構成を表示するように構成され得る。ライトは、また、ゲームプレイの相対的強度レベルを示すように構成されてもよい。例えば、ゲームプレイの強度が上昇するときに、光の強度、または点滅速度が上昇してもよい。このようにして、ユーザ以外の人が、ＨＭＤ１０２上のライトを見て、ユーザが激しいゲームプレイに能動的に没頭しており、その時点では妨害されることを望まない可能性があることを理解してもよい。

ＨＭＤ１０２は、追加的に、１つまたは複数のマイクロフォンを含んでもよい。図示される実施形態では、ＨＭＤ１０２は、ＨＭＤ１０２の前面上に定義されるマイクロフォン２０４Ａ及び２０４Ｂと、ＨＭＤ１０２の側面上に定義されるマイクロフォン２０４Ｃと、を含む。マイクロフォンのアレイを利用することによって、各マイクロフォンからの音が、音源の位置を判断するために処理され得る。この情報は、騒音源の排除、音源の視覚識別との関連付けなどを含む、様々なやり方で利用され得る。

ＨＭＤ１０２は、また、１つまたは複数の画像キャプチャデバイスを含んでもよい。図示される実施形態では、ＨＭＤ１０２は、画像キャプチャデバイス２０２Ａ及び２０２Ｂを含むように示される。画像キャプチャデバイスの立体対を利用することによって、環境の３次元（３Ｄ）画像及びビデオが、ＨＭＤ１０２の視点からキャプチャされ得る。そのようなビデオは、ＨＭＤ１０２装着中にユーザに「ビデオシースルー」能力を提供するために、ユーザに提示され得る。即ち、ユーザは、厳密な意味においてＨＭＤ１０２を見通すことができないが、画像キャプチャデバイス２０２Ａ及び２０２Ｂ（例えば、または以下の図３に示されるような、ＨＭＤ１０２本体の外側に配置される、１つまたは複数の前向きカメラ１０８'）によってキャプチャされるビデオが、ＨＭＤ１０２を通して見ているかのようにＨＭＤ１０２外部の環境を見ることが可能であることの機能的均等物をやはり提供し得る。そのようなビデオは、拡張現実エクスペリエンスを提供するように仮想要素で拡張されてもよく、または他のやり方で仮想要素と結合または融合されてもよい。図示される実施形態では、２つのカメラがＨＭＤ１０２の前面に示されているが、ＨＭＤ１０２に取り付けられ、任意の方向に向けられた任意の数の外向きカメラが存在し得ることは言うまでもない。例えば、別の実施形態では、追加の環境のパノラマ画像キャプチャを提供するために、ＨＭＤ１０２の側面に搭載されたカメラがあってもよい。

図７Ｂは、クライアントシステム７０６と対話するＨＭＤ１０２ユーザ、及び第２のスクリーン７０７と呼ばれる、第２のスクリーンディスプレイにコンテンツを提供するクライアントシステム７０６の１つの実施例を示す。以下で説明するように、クライアントシステム７０６は、ＨＭＤ１０２から第２のスクリーン７０７へのコンテンツの共有を処理するための統合電子機器を含んでもよい。他の実施形態は、クライアントシステムとＨＭＤ１０２及び第２のスクリーン７０７のそれぞれとの間でインタフェース接続する別個のデバイス、モジュール、コネクタを含んでもよい。この全体的な実施例では、ユーザ１００は、ＨＭＤ１０２を装着しており、コントローラ７０４を使用してビデオゲームをプレイしている。ユーザ１００による対話型プレイは、ＨＭＤ１０２に対話型で表示されるビデオゲームコンテンツ（ＶＧＣ）を生成する。

１つの実施形態では、ＨＭＤ１０２に表示されているコンテンツは、第２のスクリーン７０７に共有される。１つの実施例では、第２のスクリーン７０７を見ている人は、ＨＭＤ１０２においてユーザ１００により対話型でプレイされているコンテンツを見ることができる。別の実施形態では、別のユーザ（例えば、プレーヤ２）が、クライアントシステム７０６と対話して第２のスクリーンコンテンツ（ＳＳＣ）を生成し得る。コントローラ７０４（または、任意の種類のユーザインタフェース、ジェスチャ、音声、もしくは入力）とも対話しているプレーヤによって生成される第２のスクリーンコンテンツは、クライアントシステム７０６へのＳＳＣとして生成されてもよい。それは、ＨＭＤ１０２から受信されるＶＧＣとともに第２のスクリーン７０７上に表示され得る。

したがって、同じ場所に位置してもよく、またはＨＭＤユーザから離れていてもよい他のユーザによる対話機能は、ＨＭＤユーザ及びＨＭＤユーザによってプレイされるコンテンツを第２のスクリーン７０７上で見ている可能性があるユーザの両方に対して、ソーシャル型、対話型、及びさらに没入型であり得る。図示するように、クライアントシステム７０６は、インターネット７１０に接続され得る。インターネットは、また、様々なコンテンツソース７２０からのコンテンツに対し、アクセスをクライアントシステム７０６に提供し得る。コンテンツソース７２０は、インターネットを介してアクセス可能な任意の種類のコンテンツを含み得る。

このようなコンテンツは、ビデオコンテンツ、映画コンテンツ、ストリーミングコンテンツ、ソーシャルメディアコンテンツ、ニュースコンテンツ、フレンドコンテンツ、広告コンテンツなどを、限定ではなく含み得る。１つの実施形態では、クライアントシステム７０６は、ＨＭＤにゲームプレイ中の対話機能に関連するマルチメディアコンテンツが提供されるように、ＨＭＤユーザのためのコンテンツを同時に処理するために使用され得る。クライアントシステム７０６は、次いで、他のコンテンツも提供してもよく、それは、第２のスクリーンへのビデオゲームコンテンツとは無関係であってもよい。クライアントシステム７０６は、１つの実施形態において、コンテンツソース７２０のうちの１つから、またはローカルユーザもしくはリモートユーザから第２のスクリーンコンテンツを受信し得る。

図８は、本開示の実施形態による、実行中のビデオゲームと併せたＨＭＤ１０２の機能を概念的に示す。実行中のビデオゲームは、ビデオゲームのゲーム状態を更新するための入力を受信する、ゲームエンジン８２０によって定義される。ビデオゲームのゲーム状態は、オブジェクトの存在及び位置、仮想環境の条件、イベントのトリガ、ユーザプロファイル、ビュー視点などの、現在のゲームプレイの様々な態様を定義するビデオゲームの様々なパラメータの値によって、少なくとも一部定義され得る。

図示される実施形態では、ゲームエンジンは、例として、コントローラ入力８１４、音声入力８１６、及び運動入力８１８を受信する。コントローラ入力８１４は、手持ち型ゲームコントローラ（例えば、ＳｏｎｙＤＵＡＬＳＨＯＣＫ（登録商標）４ ワイヤレスコントローラ、ＳｏｎｙＰｌａｙＳｔａｔｉｏｎ（登録商標）ムーブモーションコントローラ）、またはグローブインタフェースオブジェクト１０４ａなどの、ＨＭＤ１０２とは別個のゲームコントローラの動作から定義されてもよい。例として、コントローラ入力８１４は、方向入力、ボタンプレス、トリガアクティブ化、移動、ジェスチャ、またはゲームコントローラの動作から処理される他の種類の入力を含んでもよい。音声入力８１６は、ＨＭＤ１０２のマイクロフォン８０２から、または画像キャプチャデバイス１０８もしくはローカル環境内のどこかに含まれるマイクロフォンから処理され得る。運動入力８１８は、ＨＭＤ１０２に含まれる運動センサ８００から、または画像キャプチャデバイス１０８がＨＭＤ１０２の画像をキャプチャするときに画像キャプチャデバイス１０８から、処理され得る。ゲームエンジン８２０は、ビデオゲームのゲーム状態を更新するために、ゲームエンジンの構成に従って処理される入力を受信する。ゲームエンジン８２０は、ユーザに提示されることとなるコンテンツを定義するためのゲーム状態データを処理する様々なレンダリングモジュールにゲーム状態データを出力する。

図示される実施形態では、ビデオレンダリングモジュール８２２は、ＨＭＤ１０２上での提示のためにビデオストリームをレンダリングするように定義される。ビデオストリームは、ディスプレイ／プロジェクタ構造８１０によって提示されてもよく、ユーザの目８０６によって光学素子８０８を通して見られてもよい。音声レンダリングモジュール８０４は、ユーザによって聞くための音声ストリームをレンダリングするように構成される。１つの実施形態では、音声ストリームは、ＨＭＤ１０２に関連付けられるスピーカ８０４を通して出力される。スピーカ８０４は、オープンエアスピーカ、ヘッドフォン、または音声を提示することが可能な任意の他の種類のスピーカの形態をとってもよい。

１つの実施形態では、注視トラッキングカメラ８１２は、ユーザの注視をトラッキングすることを可能にするために、ＨＭＤ１０２に含まれている。注視トラッキングカメラは、ユーザの目の画像をキャプチャし、それが、ユーザの注視方向を判断するように解析される。１つの実施形態では、ユーザの注視方向についての情報は、ビデオレンダリングに影響を及ぼすために利用され得る。例えば、ユーザの目が、特定方向を見ていると判断される場合、その方向についてのビデオレンダリングは、ユーザが見ている領域内でより詳細に、またはより高速に更新を提供することなどによって、優先または強調され得る。ユーザの注視方向は、ヘッドマウントディスプレイに対して、ユーザが位置する実環境に対して、及び／またはヘッドマウントディスプレイ上にレンダリングされている仮想環境に対して、定義され得ると理解されるべきである。

大まかに言うと、注視トラッキングカメラ８１２によってキャプチャされる画像の解析は、単独で考慮されるとき、ＨＭＤ１０２に対するユーザの注視方向について提供する。しかしながら、トラッキングされたＨＭＤ１０２の位置及び向きと組み合わせて考慮されるときは、ＨＭＤ１０２の位置及び向きが、ユーザの頭の位置及び向きと同義であるように、ユーザの現実世界の注視方向が、判断され得る。即ち、ユーザの現実世界の注視方向は、ユーザの目の位置の動きをトラッキングすること、ならびにＨＭＤ１０２の位置及び向きをトラッキングすることから判断され得る。仮想環境のビューが、ＨＭＤ１０２上にレンダリングされるとき、ユーザの現実世界の注視方向は、仮想環境におけるユーザの仮想世界の注視方向を判断するために適用され得る。

追加的に、触覚フィードバックモジュール８２６は、ＨＭＤ１０２、またはコントローラ１０４などのユーザによって操作される別のデバイスのいずれかに含まれる、触覚フィードバックハードウェアに信号を提供するように構成される。触覚フィードバックは、振動フィードバック、温度フィードバック、圧力フィードバックなどの、様々な種類の触感の形態をとってもよい。

現在、ゲームリプレイを共有するためのストリーミングサービスが、非常に人気である。ＤｕａｌＳｈｏｃｋ（登録商標）４ ワイヤレスコントローラは、そのような共有を可能にするために、コントローラ上に直接「共有ボタン」を含む。本開示の実施態様は、ＨＭＤ／ＶＲヘッドセットを使用してリプレイを探索したい人々のためにリプレイの共有を改善する。本開示の実施態様は、観客が、ＨＭＤを使用して自分の頭を自由に動かし、新たな視点からリプレイを見ることを可能にするために、非常に広い視野を有するゲームリプレイのレンダリングのために提供する。従来のストリーミング手法は、リプレイを元のプレーヤが見たもののみに限定しており、したがって、ビュー方向が、観客の頭の位置及び向きとは関係なく、ＨＭＤを使用している観客が頭を動かしても何も変わらなかった。

本開示の実施態様は、ＨＭＤにおいて新たな視点をサポートするのに十分広い視野でのビデオのレンダリングのために提供される。クラウドサーバ上で（例えば、コンソールゲームハードウェア、例えば、クラウドにおけるＰｌａｙＳｔａｔｉｏｎ（登録商標）４ハードウェア上で）動作し、元のプレーヤのゲームエンジンからストリーミングされる入力ゲーム状態として受け取り、それを用いて極度に広い視野（例えば、プラス１５０度）でゲームのビューをレンダリングし、そのゲームセッションのリアルタイムストリーミング及び／または事前記録されたプレイバックのために使用され得る、ゲームエンジンのカスタムビルドである。極度に広い視野は、ＨＭＤの視野を超えて、ＨＭＤを装着している観客がリプレイ内を見回すことを可能にすることは、言うまでもない。実際のゲームは、エンジンのネットワーク化バーションにその状態をストリーミングするように構成される。

上述したように、観戦する能力、例えば、ＨＭＤ１０２を装着しているユーザによって体験されている対話型アクティビティを視聴する能力をユーザに提供する必要がある。例えば、１人のＨＭＤ仮想現実プレーヤは、ＨＭＤに提示されているアクティビティに没入し得る一方、他の人は、プレーヤと同じ場所に位置してもよい。これらの他の同じ場所に位置するユーザは、ＨＭＤプレーヤによって体験されている対話機能、または見られている仮想現実シーンを視聴することに楽しみを見出し得る。本明細書で使用される、ＨＭＤプレーヤは、ＨＭＤ上に提示されるコンテンツを見ている人であり、または、ＨＭＤ上に提示される、あるコンテンツと対話している人であってもよく、またはＨＭＤ上に提示されるゲームをプレイしていてもよい。このように、プレーヤへの参照は、ＨＭＤ上に提示されているコンテンツの種類に関わりなく、ＨＭＤを装着しているユーザに関連してのみ行われる。

さらに他の実施形態では、ＨＭＤプレーヤと同じ場所に位置していない他の人が、ＨＭＤプレーヤのＨＭＤに提示されているコンテンツ、対話機能、またはメディアを見たい場合がある。例えば、ウェブサイトは、ＨＭＤプレーヤが彼または彼女のアクティビティを実行する間視聴及び観戦するように、異なるＨＭＤプレーヤから選択する能力をユーザに提示するために提供されてもよい。この実施例は、標準的なＴｗｉｔｃｈ型エクスペリエンスに類似しており、それは、インターネットに接続されたユーザが、ウェブサイトにアクセスし、リモートプレーヤによってプレイされている、異なる種類のコンテンツまたはメディアを検索することを可能にする。リモートプレーヤは、いくつかの実施形態では、ＨＭＤ１０２を使用してゲームをプレイしていてもよい。

他の実施形態では、リモートプレーヤは、デバイスのディスプレイスクリーンまたはテレビディスプレイスクリーンを使用してゲームをプレイしていてもよく、またはコンテンツを視聴していてもよい。大まかに言うと、例えば、ウェブサイトを介して、離れた別のプレーヤのアクティビティを視聴したいユーザは、ＨＭＤプレーヤによって行われているアクティビティを見るために、特定のプレーヤまたはゲームの種類、またはゲームのサムネイル、またはコンテンツのサムネイルを選択することができる。したがって、リモートＨＭＤプレーヤによって能動的にプレイされ得る特定の対話型コンテンツを、ユーザが見ること及び選択することを可能にするウェブサイトが提供され得る。ＨＭＤプレーヤによるアクティビティを見たいリモート視聴者は、そのコンテンツ上を単にクリックして、視聴を開始することができる。

図９を参照すると、本開示の実施形態による、ヘッドマウントディスプレイ１０２のコンポーネントを示す図が示されている。ヘッドマウントディスプレイ１０２は、プログラム命令を実行するためのプロセッサ９００を含む。メモリ９０２は、記憶のために提供され、揮発性及び不揮発性メモリの両方を含んでもよい。ユーザが視聴し得る視覚的インタフェースを提供するディスプレイ９０４が含まれる。電池９０６は、ヘッドマウントディスプレイ１０２のための電源として提供される。運動検出モジュール９０８は、磁力計９１０、加速度計９１２、及びジャイロスコープ９１４などの、様々な種類の運動感知ハードウェアのいずれかを含んでもよい。

加速度計は、加速度及び重力誘発性反力を測定するためのデバイスである。単一及び複数の軸モデルが、異なる方向の加速度の大きさ及び方向を検出するために利用可能である。加速度計は、傾斜、振動、及び衝撃を感知するために使用される。１つの実施形態では、重力方向を提供するために３つの加速度計９１２が使用され、重力方向が、２つの角度（ワールド空間ピッチ及びワールド空間ロール）のための絶対基準を与える。

磁力計は、ヘッドマウントディスプレイ周辺の磁界の強度及び方向を測定する。１つの実施形態では、３つの磁力計９１０が、ヘッドマウントディスプレイ内で使用され、ワールド空間のヨー角度のための絶対基準を保証する。１つの実施形態では、磁力計は、地球の磁界に及ぶように設計され、それは±８０マイクロテスラである。磁力計は、金属によって影響を受け、実際のヨーとは単調であるヨー測定をもたらす。磁界は、環境内の金属に起因して歪むことがあり、それがヨー測定の歪みの原因となる。必要であれば、この歪みは、ジャイロスコープまたはカメラなどの他のセンサからの情報を用いて較正され得る。１つの実施形態では、加速度計９１２は、ヘッドマウントディスプレイ１０２の傾斜及び方位角を取得するために、磁力計９１０とともに使用される。

いくつかの実施態様では、ヘッドマウントディスプレイの磁力計は、その他の付近のデバイスの電磁石が非アクティブである間に、読み出されるように構成される。

ジャイロスコープは、角運動量の原理に基づいて、向きを測定または維持するためのデバイスである。１つの実施形態では、３つのジャイロスコープ９１４は、慣性感知に基づいてそれぞれの軸（ｘ、ｙ、及びｚ）にわたる動きについての情報を提供する。ジャイロスコープは、高速回転の検出を支援する。しかしながら、ジャイロスコープは、絶対基準が存在しなければ経時的にドリフトし得る。このため、ジャイロスコープを周期的に再設定する必要があり、再設定は、物体、加速度計、磁力計などを視覚的にトラッキングすることに基づく配置／向き判断などの他の利用可能な情報を用いて行われ得る。

カメラ９１６は、実環境の画像及び画像ストリームをキャプチャするために提供される。１つより多くのカメラが、ヘッドマウントディスプレイ１０２に含まれてもよく、（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ているときにユーザから離れる方向に向けられる）後ろ向きのカメラ、及び（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ているときにユーザの方に向かう方向に向けられる）前向きのカメラを含む。追加的に、実環境における物体の深度情報を感知するために、深度カメラ９１８が、ヘッドマウントディスプレイ１０２に含まれてもよい。

ヘッドマウントディスプレイ１０２は、音声出力を提供するためのスピーカ９２０を含む。また、周囲の環境、ユーザにより行われる会話などからの音を含む、実環境からの音声をキャプチャするために、マイクロフォン９２２が含まれてもよい。ヘッドマウントディスプレイ１０２は、触覚フィードバックをユーザに提供するための触覚フィードバックモジュール９２４を含む。１つの実施形態では、触覚フィードバックモジュール９２４は、触覚フィードバックをユーザに提供するために、ヘッドマウントディスプレイ１０２の移動及び／または振動を引き起こすことが可能である。

ＬＥＤ９２６は、ヘッドマウントディスプレイ１０２の状態の視覚的指標として提供される。例えば、ＬＥＤは、電池レベル、電源オンなどを示してもよい。カードリーダ９２８は、ヘッドマウントディスプレイ１０２が、メモリカードからの情報の読み出し及びメモリカードへの情報の書き込みを可能にするために提供される。ＵＳＢインタフェース９３０は、周辺デバイスの接続、または他のポータブルデバイス、コンピュータなどの他のデバイスへの接続を可能にするためのインタフェースの１つの実施例として含まれる。ヘッドマウントディスプレイ１０２の様々な実施形態では、様々な種類のインタフェースのうちのいずれかが、ヘッドマウントディスプレイ１０２の接続性をより高めるために含まれてもよい。

ＷｉＦｉ（登録商標）モジュール９３２は、無線ネットワーキング技術によってインターネットまたはローカルエリアネットワークへの接続を可能にするために含まれる。また、ヘッドマウントディスプレイ１０２は、他のデバイスへのワイヤレス接続を可能にするためにＢｌｕｅｔｏｏｔｈ（登録商標）モジュール９３４を含む。１つの実施形態では、ＨＭＤ１０２は、鼻センサ９３５も含み得る。鼻センサは、１つまたは複数の近接センサによって定義されてもよく、それは、光センサ、カメラ、カメラセンサ、赤外線（ＩＲ）センサ、超音波センサ、深度センサ、３次元撮像センサ、点距離キャプチャセンサ、ＲＧＢカメラ、複数点カメラ、色感知カメラ、またはこれらのうち２つ以上の組み合わせを含んでもよい。顔センサ９３６は、例えば、撮像カメラ、運動検出カメラ、画像感知カメラ、超音波センサ、深度センサ、３次元撮像センサ、赤外線センサ、超音波撮像器、もしくはそれらの組み合わせ、または鼻センサ９３５と併せてさらに利用もしくは使用され得る類似もしくは追加のカメラを含んでもよい。いくつかの実施形態では、顔センサ９３６は、また、ユーザの口、顎、顎の輪郭などに面していてもよいカメラなどの、ＨＭＤ１０２の外部にあるカメラを含み得る。

通信リンク９３７は、また、他のデバイスへの接続のために含まれてもよい。１つの実施形態では、通信リンク９３７は、ワイヤレス通信のために赤外線伝送を利用する。他の実施形態では、通信リンク９３７は、他のデバイスとの通信のための様々な無線または有線伝送プロトコルのうちのいずれかを利用してもよい。

入力ボタン／センサ９３８は、ユーザのための入力インタフェースを提供するために含まれる。ボタン、タッチパッド、ジョイスティック、トラックボールなどの、様々な種類の入力インタフェースのうちのいずれかが含まれてもよい。超音波通信モジュール９４０は、超音波技術により他のデバイスとの通信を容易にするために、ヘッドマウントディスプレイ１０２に含まれてもよい。

バイオセンサ９４２は、ユーザからの生理学的データの検出を可能にするために含まれる。１つの実施形態では、バイオセンサ９４２は、ユーザの皮膚を通したユーザの生体電気信号検出のための１つまたは複数のドライ電極を含む。

ビデオ入力９４４は、ＨＭＤ上にレンダリングするために、プライマリ処理コンピュータ（例えば、メインゲームコンソール）からビデオ信号を受信するように構成される。いくつかの実施態様では、ビデオ入力は、ＨＤＭＩ（登録商標）入力である。

前述のヘッドマウントディスプレイ１０２のコンポーネントは、ヘッドマウントディスプレイ１０２に含まれ得る単なる例示的なコンポーネントとして説明されている。本開示の様々な実施形態では、ヘッドマウントディスプレイ１０２は、様々な前述したコンポーネントのうちのいくつかを含んでもよく、または含まなくてもよい。本明細書で説明される本開示の態様を容易にする目的で、ヘッドマウントディスプレイ１０２の実施形態は、ここでは説明されないが当技術分野において既知の、他のコンポーネントを追加的に含んでもよい。

図１０は、本開示の様々な実施形態による、ゲームシステム１０００のブロック図である。ゲームシステム１０００は、ネットワーク１０１５を介して１つまたは複数のクライアント１０１０にビデオストリームを提供するように構成される。ゲームシステム１０００は、典型的には、ビデオサーバシステム１０２０及び任意選択のゲームサーバ１０２５を含む。ビデオサーバシステム１０２０は、最小限のサービス品質で、ビデオストリームを１つまたは複数のクライアント１０１０に提供するように構成される。例えば、ビデオサーバシステム１０２０は、ビデオゲーム内のビューの状態または視点を変更するゲームコマンドを受信し、この変更を最小ラグタイムで状態に反映する更新されたビデオストリームを、クライアント１０１０に提供してもよい。ビデオサーバシステム１０２０は、まだ定義されていないフォーマットを含む、多岐にわたる代替的なビデオフォーマットでビデオストリームを提供するように構成されてもよい。さらに、ビデオストリームは、多種多様なフォーマットレートでユーザへの提示のために構成されるビデオフレームを含んでもよい。典型的なフレームレートは、毎秒３０フレーム、毎秒６０フレーム、及び毎秒１２０フレームである。とはいえ、より高い、またはより低いフレームレートが、本開示の代替的実施形態に含まれる。

本明細書で個々に１０１０Ａ、１０１０Ｂなどと呼ばれるクライアント１０１０は、ヘッドマウントディスプレイ、端末、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク、ワイヤレスデバイス、デジタルパッド、スタンドアロンデバイス、手持ち型ゲームプレイデバイスなどを含んでもよい。典型的には、クライアント１０１０は、符号化ビデオストリームを受信し、ビデオストリームを復号し、結果として得られるビデオをユーザ、例えばゲームのプレーヤに提示するように構成される。符号化ビデオストリームの受信及び／またはビデオストリームの復号のプロセスは、典型的には、クライアントの受信バッファに個々のビデオフレームを記憶することを含む。ビデオストリームは、クライアント１０１０と一体化したディスプレイ上、またはモニタもしくはテレビなどの別個のデバイス上で、ユーザに提示されてもよい。クライアント１０１０は、任意選択で、１人よりも多くのゲームプレーヤをサポートするように構成される。例えば、ゲームコンソールは、２人、３人、４人、またはそれ以上の同時プレーヤをサポートするように構成されてもよい。これらのプレーヤのそれぞれが、個別のビデオストリームを受信してもよく、または単一のビデオストリームが、各プレーヤに対して具体的に生成される、例えば、各プレーヤの視点に基づいて生成されるフレームの領域を含んでもよい。クライアント１０１０は、任意選択で、地理的に分散される。ゲームシステム１０００に含まれるクライアントの数は、１もしくは２から数千、数万またはそれ以上にまで、幅広く変化してもよい。本明細書で使用される、「ゲームプレーヤ」という用語は、ゲームをプレイする人を指すために使用され、「ゲームプレイデバイス」という用語は、ゲームをプレイするのに使用されるデバイスを指すために使用される。いくつかの実施形態では、ゲームプレイデバイスは、協調してゲームエクスペリエンスをユーザに配信する複数のコンピューティングデバイスを指してもよい。例えば、ゲームコンソール及びＨＭＤが、ビデオサーバシステム１０２０と協調して、ＨＭＤを通して見られるゲームを配信してもよい。１つの実施形態では、ゲームコンソールは、ビデオサーバシステム１０２０からビデオストリームを受信し、ゲームコンソールは、レンダリングのためにＨＭＤにビデオストリームを転送し、またはビデオストリームを更新する。

クライアント１０１０は、ネットワーク１４１５を介してビデオストリームを受信するように構成される。ネットワーク１０１５は、電話ネットワーク、インターネット、ワイヤレスネットワーク、送電線ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、プライベートネットワークなどを含む、任意の種類の通信ネットワークであってもよい。典型的な実施形態では、ビデオストリームは、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰなどの標準プロトコルによって通信される。代替的には、ビデオストリームは、独自仕様の標準によって通信される。

クライアント１０１０の典型的な実施例は、プロセッサ、不揮発性メモリ、ディスプレイ、復号ロジック、ネットワーク通信ケイパビリティ、及び入力デバイスを含むパーソナルコンピュータである。復号ロジックは、ハードウェア、ファームウェア、及び／またはコンピュータ可読媒体上に記憶されたソフトウェアを含んでもよい。ビデオストリームを復号（及び符号化）するためのシステムは、当技術分野において周知であり、使用される特定の符号化方式に依存して変化する。

クライアント１０１０は、受信したビデオを修正するように構成されるシステムをさらに含んでもよいが、必須ではない。例えば、クライアントは、あるビデオ画像を別のビデオ画像上にオーバレイするため、ビデオ画像をトリミングするため、などのために、さらなるレンダリングを実行するように構成されてもよい。例えば、クライアント１０１０は、Ｉフレーム、Ｐフレーム、及びＢフレームなどの様々な種類のビデオフレームを受信し、これらのフレームを処理してユーザに表示するための画像にするように構成されてもよい。いくつかの実施形態では、クライアント１０１０のメンバは、さらなるレンダリング、シェーディング、３Ｄへの変換、またはビデオストリームに対する同様の操作を実行するように構成される。クライアント１０１０のメンバは、任意選択で、１つよりも多くの音声またはビデオストリームを受信するように構成される。クライアント１０１０の入力デバイスは、例えば、片手用ゲームコントローラ、両手用ゲームコントローラ、ジェスチャ認識システム、注視認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、力フィードバックデバイス、運動及び／または位置感知デバイス、マウス、タッチスクリーン、ニューラルインタフェース、カメラ、まだ開発されていない入力デバイスなどを含んでもよい。

クライアント１０１０によって受信されるビデオストリーム（及び、任意選択で、音声ストリーム）は、ビデオサーバシステム１０２０によって生成され提供される。本明細書の他の箇所でさらに説明されるように、このビデオストリームは、ビデオフレームを含む（及び、音声ストリームは音声フレームを含む）。ビデオフレームは、ユーザに表示される画像に有意に寄与するように構成される（例えば、それらは、適当なデータ構造の画素情報を含む）。本明細書で使用される、「ビデオフレーム」という用語は、ユーザに示される画像に寄与する、例えば、効果を与えるように構成される情報を主に含むフレームを指すために使用される。「ビデオフレーム」に関する本明細書での教示のほとんどは、「音声フレーム」にも適用され得る。

クライアント１０１０は、典型的には、ユーザからの入力を受信するように構成される。これらの入力は、ビデオゲームの状態を変更し、またはゲームプレイに影響を与えるように構成されるゲームコマンドを含んでもよい。ゲームコマンドは、入力デバイスを用いて受信されてもよく、及び／またはクライアント１０１０上で実行中の命令を計算することによって自動的に生成されてもよい。受信されるゲームコマンドは、クライアント１０１０からネットワーク１０１５を介してビデオサーバシステム１０２０及び／またはゲームサーバ１０２５に通信される。例えば、いくつかの実施形態では、ゲームコマンドは、ビデオサーバシステム１０２０を介してゲームサーバ１０２５に通信される。いくつかの実施形態では、ゲームコマンドの個別のコピーが、クライアント１０１０からゲームサーバ１０２５及びビデオサーバシステム１０２０に通信される。ゲームコマンドの通信は、任意選択で、コマンドの識別に依存する。ゲームコマンドは、任意選択で、クライアント１０１０Ａに音声またはビデオストリームを提供するために使用される、異なるルートまたは通信チャネルを通って、クライアント１０１０Ａから通信される。

ゲームサーバ１０２５は、任意選択で、ビデオサーバシステム１０２０とは異なる主体によって運用される。例えば、ゲームサーバ１０２５は、マルチプレーヤゲームの発行元によって運用されてもよい。この実施例では、ビデオサーバシステム１０２０は、任意選択で、ゲームサーバ１０２５によってクライアントとして見られ、任意選択で、ゲームサーバ１０２５の視点からは、先行技術のゲームエンジンを実行する先行技術のクライアントであると見えるように構成される。ビデオサーバシステム１０２０とゲームサーバ１０２５との間の通信は、任意選択で、ネットワーク１０１５を介して発生する。したがって、ゲームサーバ１０２５は、その１つがゲームサーバシステム１０２０である複数クライアントにゲーム状態情報を送信する、先行技術のマルチプレーヤゲームサーバであってもよい。ビデオサーバシステム１０２０は、ゲームサーバ１０２５の複数インスタンスと同時に通信するように構成されてもよい。例えば、ビデオサーバシステム１０２０は、複数の異なるビデオゲームを異なるユーザに提供するように構成されてもよい。これらの異なるビデオゲームのそれぞれが、異なるゲームサーバ１０２５によってサポートされ、及び／または異なる主体によって発行されてもよい。いくつかの実施形態では、ビデオサーバシステム１０２０の複数の地理的に分散されたインスタンスは、複数の異なるユーザにゲームビデオを提供するように構成される。ビデオサーバシステム１０２０のこれらのインスタンスのそれぞれが、ゲームサーバ１０２５の同一インスタンスと通信していてもよい。ビデオサーバシステム１０２０と１つまたは複数のゲームサーバ１０２５との間の通信は、任意選択で、専用通信チャネルを介して発生する。例えば、ビデオサーバシステム１０２０は、これら２つのシステム間の通信専用の高帯域幅チャネルを介して、ゲームサーバ１０２５と接続されてもよい。

ビデオサーバシステム１０２０は、ビデオソース１０３０、Ｉ／Ｏデバイス１０４５、プロセッサ１０５０、及び非一時的記憶装置１０５５を少なくとも含む。ビデオサーバシステム１０２０は、１つのコンピューティングデバイスを含んでもよく、または複数のコンピューティングデバイス間に分散されてもよい。これらのコンピューティングデバイスは、任意選択で、ローカルエリアネットワークなどの通信システムを介して接続される。

ビデオソース１０３０は、ビデオストリーム、例えば、ストリーミングビデオ、または動画を形成する一連のビデオフレームを提供するように構成される。いくつかの実施形態では、ビデオソース１０３０は、ビデオゲームエンジン及びレンダリングロジックを含む。ビデオゲームエンジンは、プレーヤからゲームコマンドを受信し、受信されたコマンドに基づいてビデオゲームの状態のコピーを維持するように構成される。このゲーム状態は、ゲーム環境内のオブジェクトの位置、及び典型的には、視点を含む。ゲーム状態は、オブジェクトのプロパティ、画像、色、及び／またはテクスチャも含んでもよい。ゲーム状態は、典型的には、ゲームルール、及び移動、回転、攻撃、フォーカス設定、対話、使用などのゲームコマンドに基づいて、維持される。ゲームエンジンの一部は、任意選択で、ゲームサーバ１０２５内に配置される。ゲームサーバ１０２５は、地理的に分散したクライアントを使用して、複数プレーヤから受信されるゲームコマンドに基づくゲーム状態のコピーを維持してもよい。これらの場合、ゲーム状態は、ゲームサーバ１０２５によってビデオソース１０３０に提供され、その場合に、ゲーム状態のコピーが記憶され、レンダリングが実行される。ゲームサーバ１０２５は、ネットワーク１０１５を介してクライアント１０１０から直接ゲームコマンドを受信してもよく、及び／またはビデオサーバシステム１０２０を介してゲームコマンドを受信してもよい。

ビデオソース１０３０は、典型的には、レンダリングロジック、例えば、ハードウェア、ファームウェア、及び／または記憶装置１０５５などのコンピュータ可読媒体上に記憶されるソフトウェアを含む。このレンダリングロジックは、ゲーム状態に基づいてビデオストリームのビデオフレームを作成するように構成される。レンダリングロジックの全てまたは一部は、任意選択で、グラフィック処理ユニット（ＧＰＵ）内に配置される。レンダリングロジックは、典型的には、オブジェクト間の３次元空間関係性を判断するため、及び／またはゲーム状態及び視点に基づいて適当なテクスチャなどを適用するために構成される処理段階を含む。レンダリングロジックは、その際、クライアント１０１０との通信の前に通常符号化される生ビデオを制作する。例えば、生ビデオは、ＡｄｏｂｅＦｌａｓｈ（登録商標）規格、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、ｒｅａｌｖｉｄｅｏ、ｍｐ３などに従って符号化されてもよい。符号化プロセスは、リモートデバイス上の復号器に配信するために任意選択でパッケージ化されるビデオストリームを制作する。ビデオストリームは、フレームサイズ及びフレームレートによって特徴付けられる。典型的なフレームサイズは、８００×６００、１２８０×７２０（例えば、７２０ｐ）、１０２４×７６８を含むが、任意の他のフレームサイズが使用されてもよい。フレームレートは、１秒当たりのビデオフレーム数である。ビデオストリームは、異なる種類のビデオフレームを含んでもよい。例えば、Ｈ．２６４規格は、「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉフレームは、ディスプレイデバイス上で全てのマクロブロック／画素をリフレッシュするための情報を含み、Ｐフレームは、そのサブセットをリフレッシュするための情報を含む。Ｐフレームは、典型的には、Ｉフレームよりデータサイズが小さい。本明細書で使用される「フレームサイズ」という用語は、フレーム内の画素数を指すように意味される。「フレームデータサイズ」という用語は、フレームを記憶するのに必要なバイト数を指すために使用される。

代替的な実施形態では、ビデオソース１０３０は、カメラなどのビデオ記録デバイスを含む。このカメラは、コンピュータゲームのビデオストリームに含まれ得る、遅延された、またはライブのビデオを生成するために使用されてもよい。結果として得られるビデオストリームは、任意選択で、レンダリングされた画像、及びスチルカメラまたはビデオカメラを用いて記録された画像の両方を含む。ビデオソース１０３０は、また、ビデオストリームに含まれるように、以前記録されたビデオを記憶するように構成される記憶デバイスを含んでもよい。ビデオソース１０３０は、また、オブジェクト、例えば、人の運動または位置を検出するように構成される運動または位置感知デバイス、ならびに検出された運動及び／または位置に基づいて、ゲーム状態を判断し、またはビデオを製作するように構成されるロジックを含んでもよい。

ビデオソース１０３０は、任意選択で、他のビデオ上に置かれるように構成されるオーバレイを提供するように構成される。例えば、これらのオーバレイは、コマンドインタフェース、ログイン命令、ゲームプレーヤへのメッセージ、他のゲームプレーヤの画像、他のゲームプレーヤのビデオフィード（例えば、ウェブカメラビデオ）を含んでもよい。タッチスクリーンインタフェースまたは注視検出インタフェースを含むクライアント１０１０Ａの実施形態では、オーバレイは、仮想キーボード、ジョイスティック、タッチパッドなどを含んでもよい。オーバレイの１つの実施例では、プレーヤの声が、音声ストリーム上にオーバレイされる。ビデオソース１０３０は、任意選択で、１つまたは複数の音声ソースをさらに含む。

ビデオサーバシステム１０２０が、１人より多くのプレーヤからの入力に基づいてゲーム状態を維持するように構成される実施形態では、各プレーヤが、ビューの位置及び方向を含む異なる視点を有してもよい。ビデオソース１０３０は、任意選択で、プレーヤ毎にその視点に基づいて個別のビデオストリームを提供するように構成される。さらに、ビデオソース１０３０は、異なるフレームサイズ、フレームデータサイズ、及び／または符号化をクライアント１０１０のそれぞれに提供するように構成されてもよい。ビデオソース１０３０は、任意選択で、３Ｄビデオを提供するように構成される。

Ｉ／Ｏデバイス１０４５は、ビデオサーバシステム１０２０が、ビデオ、コマンド、情報要求、ゲーム状態、注視情報、デバイス運動、デバイス位置、ユーザ運動、クライアント識別、プレーヤ識別、ゲームコマンド、セキュリティ情報、音声などの情報を、送信及び／または受信するように構成される。Ｉ／Ｏデバイス１０４５は、典型的には、ネットワークカードまたはモデムなどの通信ハードウェアを含む。Ｉ／Ｏデバイス１０４５は、ゲームサーバ１０２５、ネットワーク１０１５、及び／またはクライアント１０１０と通信するように構成される。

プロセッサ１０５０は、本明細書で述べたビデオサーバシステム１０２０の様々なコンポーネント内に含まれるロジック、例えば、ソフトウェアを実行するように構成される。例えば、プロセッサ１０５０は、ビデオソース１０３０、ゲームサーバ１０２５、及び／またはクライアントクォリファイア１０６０の機能を実行するために、ソフトウェア命令でプログラムされてもよい。ビデオサーバシステム１０２０は、任意選択で、プロセッサ１０５０の１つより多くのインスタンスを含む。プロセッサ１０５０は、また、ビデオサーバシステム１０２０によって受信されるコマンドを実行するために、または本明細書で述べたゲームシステム１０００の様々な要素の動作を協調させるために、ソフトウェア命令でプログラムされてもよい。プロセッサ１０５０は、１つまたは複数のハードウェアデバイスを含んでもよい。プロセッサ１０５０は、電子プロセッサである。

記憶装置１０５５は、非一時的アナログ及び／またはデジタル記憶デバイスを含む。例えば、記憶装置１０５５は、ビデオフレームを記憶するように構成されるアナログ記憶デバイスを含んでもよい。記憶装置１０５５は、コンピュータ可読デジタル記憶装置、例えば、ハードドライブ、光ドライブ、またはソリッドステート記憶装置を含んでもよい。記憶装置１０１５は、ビデオフレーム、人工フレーム、ビデオフレーム及び人工フレーム両方を含むビデオストリーム、音声フレーム、音声ストリームなどを記憶するように（例えば、適当なデータ構造またはファイルシステムを経由して）構成される。記憶装置１０５５は、任意選択で、複数のデバイス間に分散される。いくつかの実施形態では、記憶装置１０５５は、本明細書の他の箇所で述べたビデオソース１０３０のソフトウェアコンポーネントを記憶するように構成される。これらのコンポーネントは、必要な時にいつでも供給できるフォーマットに記憶されてもよい。

ビデオサーバシステム１０２０は、任意選択で、クライアントクォリファイア１０６０をさらに含む。クライアントクォリファイア１０６０は、クライアント１０１０Ａまたは１０１０Ｂなどのクライアントのケイパビリティをリモートで判断するために構成される。これらのケイパビリティは、クライアント１０１０Ａ自体のケイパビリティ、及びクライアント１０１０Ａとビデオサーバシステム１０２０との間の１つまたは複数の通信チャネルのケイパビリティの両方を含み得る。例えば、クライアントクォリファイア１０６０は、ネットワーク１０１５を通して通信チャネルをテストするように構成されてもよい。

クライアントクォリファイア１０６０は、クライアント１０１０Ａのケイパビリティを手動または自動で判断（例えば、発見）し得る。手動判断は、クライアント１０１０Ａのユーザと通信すること、及びケイパビリティを提供するようにユーザに依頼することを含む。例えば、いくつかの実施形態では、クライアントクォリファイア１０６０は、画像、テキストなどをクライアント１０１０Ａのブラウザ内に表示するように構成される。１つの実施形態では、クライアント１０１０Ａは、ブラウザを含むＨＭＤである。別の実施形態では、クライアント１０１０Ａは、ＨＭＤ上に表示され得るブラウザを有するゲームコンソールである。表示されるオブジェクトは、クライアント１０１０Ａのオペレーティングシステム、プロセッサ、ビデオ復号器の種類、ネットワーク接続の種類、ディスプレイ解像度などの情報を、ユーザが入力することを要求する。ユーザにより入力される情報は、クライアントクォリファイア１０６０に通信して返される。

例えば、クライアント１０１０Ａ上のエージェントの実行によって、及び／またはクライアント１０１０Ａへのテストビデオの送信によって、自動判断が発生してもよい。エージェントは、ｊａｖａ（登録商標）スクリプトなどの、ウェブページに組み込まれ、またはアドオンとしてインストールされるコンピュータ命令を含んでもよい。エージェントは、任意選択で、クライアントクォリファイア１０６０によって提供される。様々な実施形態では、エージェントは、クライアント１０１０Ａの処理能力、クライアント１０１０Ａの復号及び表示ケイパビリティ、クライアント１０１０Ａとビデオサーバシステム１０２０との間の通信チャネルのラグタイム信頼性及び帯域幅、クライアント１０１０Ａのディスプレイの種類、クライアント１０１０Ａ上のファイアウォールの存在、クライアント１０１０Ａのハードウェア、クライアント１０１０Ａ上で実行するソフトウェア、クライアント１０１０Ａ内のレジストリエントリなどを発見し得る。

クライアントクォリファイア１０６０は、ハードウェア、ファームウェア、及び／またはコンピュータ可読媒体上に記憶されたソフトウェアを含む。クライアントクォリファイア１０６０は、任意選択で、ビデオサーバシステム１０２０の１つまたは複数の他の要素とは別個のコンピューティングデバイス上に配置される。例えば、いくつかの実施形態では、クライアントクォリファイア１０６０は、クライアント１０１０とビデオサーバシステム１０２０の１つ以上のインスタンスとの間の通信チャネルの特性を判断するように構成される。これらの実施形態では、クライアントクォリファイアにより発見される情報は、ビデオサーバシステム１０２０のどのインスタンスが、クライアント１０１０のうちの１つに対するストリーミングビデオの配信に最も適しているかを判断するために使用され得る。

本開示の実施形態は、手持ち式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースの、またはプログラム可能な家庭用電化製品、ミニコンピュータ、メインフレームコンピュータなどを含む、様々なコンピュータシステム構成で実施されてもよい。本開示は、また、有線ベースの、または無線ネットワークを通してリンクされるリモート処理デバイスによってタスクが実行される、分散型コンピューティング環境においても実施され得る。

上記実施形態を考慮して、本開示は、コンピュータシステムに記憶されたデータを伴う様々なコンピュータ実装された動作を採用し得ると理解すべきである。これらの動作は、物理量の物理的操作を必要とするものである。本開示の一部を形成する、本明細書で説明される動作のいずれかは、有用な機械動作である。本開示は、また、これらの動作を実行するためのデバイスまたは装置にも関する。装置は、必要な目的のために特別に構築されてもよく、または、装置は、コンピュータに記憶されるコンピュータプログラムによって選択的にアクティブ化もしくは構成される汎用コンピュータであってもよい。特に、様々な汎用機械が、本明細書における教示に従って書かれたコンピュータプログラムとともに使用されてもよく、または、必要な動作を実行するためにより専用化した装置を構築することがさらに便利であり得る。

本開示は、コンピュータ可読媒体上のコンピュータ可読コードとしても具現化され得る。コンピュータ可読媒体は、データを記憶し得る任意のデータ記憶デバイスであり、データは、コンピュータシステムによってその後読み出され得る。コンピュータ可読媒体の実施例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、読み取り専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、ならびに他の光学式及び非光学式データ記憶デバイスを含む。コンピュータ可読媒体は、コンピュータ可読コードが分散型で記憶及び実行されるように、ネットワーク連結コンピュータシステムにわたって分散されるコンピュータ可読有形媒体を含み得る。

方法の動作について、特定の順序で説明してきたが、オーバレイ動作の処理が所望のやり方で行われる限り、動作の合間に他のハウスキーピング動作が実行されてもよく、または、動作が、わずかに異なる時間で発生するように調整されてもよく、もしくは処理に関連する様々な間隔で処理動作の発生を可能にするシステムに分散されてもよいと、理解されるべきである。

前述した開示は、理解を明確にするために、多少詳細に説明されているが、添付の特許請求の範囲内において、ある変更及び修正が実施され得ることは明らかである。したがって、本実施形態は例示的なものであって限定的なものでないと考えられるべきであり、本開示は、本明細書で与えられる詳細に限定されるべきではなく、本開示の範囲及び均等物の範囲内において修正されてもよい。

Claims (16)

1. ヘッドマウントディスプレイ（ＨＭＤ）を装着しているユーザに案内を提供する方法であって、
   前記ＨＭＤを装着している前記ユーザを現実世界空間においてトラッキングすることと、
   前記現実世界空間、及び前記ＨＭＤを介して仮想現実空間と対話するための前記現実世界空間内のセーフゾーンを識別することと、
   前記現実世界空間において前記ユーザの動きを検出することと、
   前記現実世界空間の前記セーフゾーン内にとどまるように前記ユーザに案内するために、コンテンツを前記仮想現実空間内に統合することと、
   前記ＨＭＤユーザが前記セーフゾーン外にいると判断される間、前記ＨＭＤにおいて前記仮想現実空間の提示を休止することと、
   前記現実世界空間の前記セーフゾーン内に戻るために、前記ＨＭＤを介して前記ＨＭＤユーザにマップ及び命令を提供することと、
   を含む、方法。
2. カメラを使用して前記現実世界空間の画像データをキャプチャすることであって、前記カメラが、前記現実世界空間に位置し、前記ユーザが前記ＨＭＤを使用するように構成される対話ゾーンに向けられたビューで構成され、前記画像データが、前記ＨＭＤを装着している前記ユーザを少なくとも部分的にトラッキングするために使用されている、前記キャプチャすることと、
   前記画像データを使用して前記対話ゾーン内の現実世界オブジェクトを識別することであって、前記現実世界オブジェクトが、前記セーフゾーンについての境界を定義する障害物として識別されている、前記識別することと、
   をさらに含む、請求項１に記載の方法。
3. 前記ＨＭＤを装着している前記ユーザが、前記セーフゾーンについての境界を定義する前記障害物のうちの少なくとも１つに接近していると判断されるとき、前記ＨＭＤに提示されている前記仮想現実空間内に前記コンテンツを前記統合することをトリガすることをさらに含む、請求項２に記載の方法。
4. 前記仮想現実空間内に統合される前記コンテンツが、オーバレイ画像であり、前記オーバレイ画像が、前記ＨＭＤを装着している前記ユーザが前記セーフゾーン外の方向への移動を回避すべきであるという指示を提供する、請求項３に記載の方法。
5. 前記オーバレイ画像が、前記指示のためのテキスト及び／または音声を提供するアニメ画像である、請求項４に記載の方法。
6. 前記指示のための前記テキスト及び／または音声が、前記ＨＭＤユーザを前記セーフゾーンへ案内するための方向としての出力であり、前記方向が、前記ＨＭＤユーザが前記セーフゾーンへ案内されるまで１歩または複数歩進むように移動するためのプロンプトを含む、請求項５に記載の方法。
7. 前記ＨＭＤのカメラを使用して前記現実世界空間の画像データをキャプチャすることであって、前記カメラが、前記ユーザが前記ＨＭＤを使用するように構成される対話ゾーンへのビューで構成される、前記キャプチャすることと、
   前記画像データを使用して前記対話ゾーン内の現実世界オブジェクトを識別することであって、前記現実世界オブジェクトが、前記セーフゾーンについての境界を定義する障害物として識別されている、前記識別することと、
   をさらに含む、請求項１に記載の方法。
8. 前記ＨＭＤを装着している前記ユーザが、前記セーフゾーンについての境界を定義する前記障害物のうちの少なくとも１つに接近していると判断されるとき、前記ＨＭＤに提示されている前記仮想現実空間内に前記コンテンツを前記統合することをトリガすることをさらに含む、請求項７に記載の方法。
9. 前記仮想現実空間内に統合される前記コンテンツが、オーバレイ画像であり、前記オーバレイ画像が、前記ＨＭＤを装着している前記ユーザが前記セーフゾーン外の方向への移動を回避すべきであるという指示を提供する、請求項８に記載の方法。
10. 前記オーバレイ画像が、前記指示のためのテキスト及び／または音声を提供するアニメ画像である、請求項９に記載の方法。
11. 前記指示のための前記テキスト及び／または音声が、前記ＨＭＤユーザを前記セーフゾーンへ案内するための方向としての出力であり、前記方向が、前記ＨＭＤユーザが前記セーフゾーンへ案内されるまで１歩または複数歩進むように移動するためのプロンプトを含む、請求項１０に記載の方法。
12. 前記現実世界空間の前記セーフゾーン内にとどまるように前記ユーザに案内するために、コンテンツを前記仮想現実空間内に統合することの後で、前記ＨＭＤにおいて前記仮想現実空間の提示を休止することをさらに含む、請求項７に記載の方法。
13. 前記ＨＭＤユーザが前記セーフゾーン外にいると判断される間、前記ＨＭＤにおいて前記仮想現実空間の提示を休止することと、
    前記現実世界空間の前記セーフゾーン内に戻るために、前記ＨＭＤを介して前記ＨＭＤユーザに案内命令を提供することと、
    をさらに含む、請求項７に記載の方法。
14. 前記ＨＭＤユーザが前記セーフゾーン外にいると判断される間、前記ＨＭＤにおいて前記仮想現実空間の提示を休止することと、
    前記現実世界空間の前記セーフゾーン内に戻るために、前記ＨＭＤを介して前記ＨＭＤユーザにマップ及び命令を提供することと、
    をさらに含む、請求項７に記載の方法。
15. ヘッドマウントディスプレイ（ＨＭＤ）を装着しているユーザに案内を提供するための、非一時的なコンピュータ可読媒体であって、
    前記ＨＭＤを装着している前記ユーザを現実世界空間においてトラッキングするためのプログラム命令と、
    前記現実世界空間、及び前記ＨＭＤを介して仮想現実空間と対話するための前記現実世界空間内のセーフゾーンを識別するためのプログラム命令と、
    前記現実世界空間において前記ユーザの動きを検出するためのプログラム命令と、
    前記現実世界空間の前記セーフゾーン内にとどまるように前記ユーザに案内するために、コンテンツを前記仮想現実空間内に統合するためのプログラム命令と、
    前記ＨＭＤユーザが前記セーフゾーン外にいると判断される間、前記ＨＭＤにおいて前記仮想現実空間の提示を休止するためのプログラム命令と、
    前記現実世界空間の前記セーフゾーン内に戻るために、前記ＨＭＤを介して前記ＨＭＤユーザにマップ及び命令を提供するためのプログラム命令と、
    を含む、コンピュータ可読媒体。
16. カメラを使用して前記現実世界空間の画像データをキャプチャするためのプログラム命令であって、前記カメラが、前記現実世界空間に位置し、前記ユーザが前記ＨＭＤを使用するように構成される対話ゾーンに向けられたビューで構成され、前記画像データが、前記ＨＭＤを装着している前記ユーザを少なくとも部分的にトラッキングするために使用されている、前記キャプチャするためのプログラム命令と、
    前記画像データを使用して前記対話ゾーン内の現実世界オブジェクトを識別するためのプログラム命令であって、前記現実世界オブジェクトが、前記セーフゾーンについての境界を定義する障害物として識別されている、前記識別するためのプログラム命令と、
    をさらに含む、請求項１５に記載のコンピュータ可読媒体。