JP6775708B1 - 空間的な、ユーザを認識している、コンパニオンロボットまたはデバイスからの第２のスクリーンの投影 - Google Patents

Abstract

【解決手段】ビデオゲームを実行し、ビデオゲームの第１のビデオフィードをディスプレイデバイスにレンダリングするコンピュータデバイスであって、第１のビデオフィードが、バーチャル空間内に第１のビューを提供する、コンピュータデバイスと、ユーザの画像を取得するカメラ、プロジェクタ、及び、ユーザの視線の方向を識別するために、ユーザの画像を処理するコントローラを含むロボットと、を含み、ユーザの視線の方向が、ディスプレイデバイスに向けられた第１の視線の方向から、ディスプレイデバイスから離れるように向けられた第２の視線の方向に変化した際に、コンピュータデバイスが、バーチャル空間内に第２のビューを提供する第２のビデオフィードを生成し、ロボットのコントローラが、第２のビデオフィードをローカル環境内の投影表面上に投影するようにプロジェクタを作動させる、システムが提供される。【選択図】図１

Description

本開示は、空間的な、ユーザを認識している、コンパニオンロボットまたはデバイスからの第２のスクリーンの投影、ならびに、関連する方法、装置、及びシステムに関する。

ビデオゲーム産業に、数年にわたって多くの変化が見られてきた。コンピュータの能力が拡大するにつれて、ビデオゲームの開発者は、コンピュータの能力のこの増大を利用するゲームソフトウェアを同様に開発してきた。このため、ビデオゲームの開発者は、非常に精密な、人を引きつけるゲームの体験を提供するために、洗練された操作及び数学的処理を組み込んだゲームをコーディングしてきた。

例示的なゲーミングプラットフォームには、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ（登録商標）、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ２（登録商標）（ＰＳ２）、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ３（登録商標）（ＰＳ３）、及びＳｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ４（登録商標）（ＰＳ４）が含まれている。これらの各々は、ゲームコンソールの形態で販売されている。よく知られているように、ゲームコンソールは、ディスプレイ（通常は、テレビ）に接続され、ユーザが、手で持つコントローラを通してインタラクトすることを可能にするように設計されている。ゲームコンソールは、ＣＰＵを含む専門化された処理用ハードウェア、集中的なグラフィックの操作を処理するためのグラフィックシンセサイザ、幾何学的変化を実施するためのベクトルユニット、ならびに、他のグルーハードウェア、ファームウェア、及びソフトウェアを伴って設計されている。ゲームコンソールは、ゲームコンソールを通してのローカルプレイのために、ゲームディスクを受領する光ディスクリーダを伴ってさらに設計されている場合がある。オンラインゲームも可能である。このオンラインゲームでは、ユーザが、インターネット上で他のユーザと競うか、他のユーザと協調して、インタラクトするようにプレイすることができる。ゲームの複雑性が、プレーヤの興味を引き続けることから、ゲーム及びハードウェアの製造業者は、さらなる双方向性及びコンピュータプログラムを可能にするために、革新し続けている。

コンピュータゲーム産業において成長しているトレンドが、ユーザとゲーミングシステムとの間のインタラクションを増大させるゲームを開発することである。より豊かなインタラクションの体験を達成する方法の１つが、ワイヤレスゲームコントローラを使用することである。このワイヤレスゲームコントローラの移動は、プレーヤの移動を追跡し、これら移動をゲームのための入力として使用するために、ゲーミングシステムによって追跡される。一般的に言うと、ジェスチャの入力が、コンピュータシステム、ビデオゲームコンソール、スマート器具などの電子デバイスを、プレーヤによって行われ、電子デバイスによって取得されたいくつかのジェスチャに反応させることに関する。

しかし、ユーザは、通常、テレビまたはモニタなどのディスプレイデバイスを通してバーチャル空間を見ている。これらテレビまたはモニタは、ユーザがバーチャル空間を体験できる視野を制限する。

この背景において、本開示の実施態様が生じる。

本開示の実施態様は、コンパニオンロボットまたはデバイスからの、空間的な、ユーザが認識している、第２のスクリーンの投影に関する、デバイス、方法、及びシステムを含んでいる。

いくつかの実施態様では、ビデオゲームを実行し、ビデオゲームの第１のビデオフィードをディスプレイデバイスにレンダリングするコンピュータデバイスであって、第１のビデオフィードが、実行しているビデオゲームによって規定されたバーチャル空間内に第１のビューを提供する、コンピュータデバイスと、ロボットであって、ロボットが配置されたローカル環境内のユーザの画像を取得するカメラ、プロジェクタ、及び、ユーザの画像を処理して、ユーザの視線の方向を識別し、ユーザの視線の方向をコンピュータデバイスに通信する、コントローラを含む、ロボットと、を備え、ユーザの視線の方向が、ディスプレイデバイスに向けられた第１の視線の方向から、ディスプレイデバイスから離れ、ローカル環境内の投影表面に向けられた第２の視線の方向に変化した際に、コンピュータデバイスが、ビデオゲームの第２のビデオフィードを生成し、ビデオゲームの第２のビデオフィードをロボットに送信し、第２のビデオフィードが、ユーザの視線の方向の変化によって判定されたように第１のビューから変化した第２のビューをバーチャル空間に提供し、ロボットのコントローラが、第２のビデオフィードをローカル環境内の投影表面上に投影するようにプロジェクタを作動させる、システムが提供される。

いくつかの実施態様では、バーチャル空間内への第１のビューは、ユーザによって制御されるビデオゲームのバーチャルオブジェクトの視線から規定された前方のビューであり、バーチャル空間内への第２のビューは、バーチャルオブジェクトの視線から規定される側方のビューである。

いくつかの実施態様では、バーチャル空間内への、第１のビューから第２のビューへの変化は、第１のビューから第２のビューへの角回転を含んでおり、第１の視線の方向から第２の視線の方向への変化は、第１の視線の方向から第２の視線の方向への角回転を含んでおり、第１のビューから第２のビューへの角回転の量は、第１の視線の方向から第２の視線の方向への角回転の量によって判定される。

いくつかの実施態様では、ディスプレイデバイスのディスプレイ表面は、第１の平面に沿って向けられており、投影表面が、第１の平面と実質的に平行ではない第２の平面に沿って向けられている。

いくつかの実施態様では、ロボットは、カメラがユーザの画像を取得することを可能にするように、カメラの方向を制御する少なくとも１つのアクチュエータをさらに含んでいる。

いくつかの実施態様では、ロボットは、プロジェクタが第２のビデオフィードを投影表面上に投影することを可能にするように、プロジェクタの方向を制御する少なくとも１つのアクチュエータをさらに含んでいる。

いくつかの実施態様では、ロボットは、カメラがユーザの画像を取得することを可能にするように、及び／または、プロジェクタが第２のビデオフィードを投影表面上に投影することを可能にするように、ローカル環境内の異なる位置へのロボットの移動を制御する少なくとも１つのアクチュエータをさらに含んでいる。

いくつかの実施態様では、ビデオを上に投影するための表面を識別するために、ローカル環境をスキャンするようにロボットを使用する操作と、ローカル環境内のディスプレイデバイスと、識別された表面との間の空間的関係を判定する操作と、ローカル環境内におけるユーザの視線の方向を追跡するようにロボットを使用する操作と、ユーザの視線の方向がディスプレイデバイスに向けられている場合、ディスプレイデバイス上に、バーチャル空間の第１のビューをレンダリングする操作と、ユーザの視線の方向が識別された表面に向けられている場合、識別された表面上にバーチャル空間の第２のビューを投影するように、ロボットを使用する操作であって、バーチャル空間内における第１のビューと第２のビューとの間の空間的関係が、ディスプレイデバイスと識別された表面との間の空間的関係によって判定される、使用する操作と、を含む方法が提供される。

いくつかの実施態様では、投影のための表面を識別するように、ローカル環境をスキャンすることが、ロボットによってローカル環境の画像を取得することと、予め規定された最小のサイズを有する実質的にフラットな表面を識別するように、ローカル環境の取得された画像を分析することと、を含んでいる。

いくつかの実施態様では、ディスプレイデバイスと識別された表面との間の空間的関係を判定することが、ローカル環境内のディスプレイデバイス及び識別された表面の位置及び／または向きを判定することを含んでいる。

いくつかの実施態様では、ディスプレイデバイスと識別された表面との間の空間的関係を判定することが、第１の平面であって、ディスプレイデバイスが第１の平面に沿って向けられている、第１の平面と、第２の平面であって、識別された表面が、第２の平面に沿って向けられている、第２の平面との間の交差部によって形成された角度を判定することを含んでいる。

いくつかの実施態様では、ローカル環境をスキャンするようにロボットを使用することが、ローカル環境内でロボットを異なる位置に移動することを含む。

いくつかの実施態様では、バーチャル空間の第１のビューは、バーチャルビューポイントから規定されるとともに、バーチャル空間内の第１の方向を有する第１のビューの円錐台によって規定され、バーチャル空間の第２のビューは、バーチャルビューポイントから規定されるとともに、バーチャル空間内の第２の方向を有する第２のビューの円錐台によって規定される。

いくつかの実施態様では、プログラム指示が上に埋め込まれた非一時的なコンピュータ可読媒体であって、プロセッサによって実行された際に、プロセッサに、ビデオを上に投影するための表面を識別するために、ローカル環境をスキャンするようにロボットを使用する操作と、ローカル環境内のディスプレイデバイスと、識別された表面との間の空間的関係を判定する操作と、ローカル環境内におけるユーザの視線の方向を追跡するようにロボットを使用する操作と、ユーザの視線の方向がディスプレイデバイスに向けられている場合、ディスプレイデバイス上に、バーチャル空間の第１のビューをレンダリングする操作と、ユーザの視線の方向が識別された表面に向けられている場合、識別された表面上にバーチャル空間の第２のビューを投影するように、ロボットを使用する操作であって、バーチャル空間内における第１のビューと第２のビューとの間の空間的関係が、ディスプレイデバイスと識別された表面との間の空間的関係によって判定される、使用する操作と、を含む方法を実施させる、非一時的なコンピュータ可読媒体が提供される。

本開示の他の態様及び利点が、本開示の原理を例として示す添付図面と併せて、以下の詳細な説明から、より明らかとなる。

本開示は、添付図面と併せて以下の詳細な説明を参照することにより、よりよく理解される場合がある。

図１は、本開示の実施態様に係る、バーチャル空間の第２のビューの、ロボットによる投影を示す図である。

図２は、本開示の実施態様に係る、ディスプレイを通して、及び、ロボットを介して提供される、バーチャル空間のビューの生成を概念的に示す図である。

図３は、本開示の実施態様に係る、ディスプレイを通して、及び、ロボットからの投影を介して提供される、バーチャル空間のビューの生成を概念的に示す図である。

図４は、本開示の実施態様に係る、ディスプレイを通して、及び、ロボットからの投影を介して提供される、バーチャル空間のビューの生成を概念的に示す図である。

図５は、本開示の実施態様に係る、バーチャル空間とインタラクトするユーザの視線の方向の追跡を可能にするための、ロボットの移動を示す図である。

図６は、本開示の実施態様に係る、インタラクティブ環境におけるバーチャル空間のビューの投影を示す図である。

図７は、本開示の実施態様に係る、ローカルなインタラクティブ環境において、テーブルの頂部に位置するロボットを示す図である。

図８は、本開示の実施態様に係る、ヘッドマウントディスプレイ（ＨＭＤ）を通しても見ることができるバーチャル空間のビューを投影するロボットを示す図である。

図９は、本開示の実施態様に係る、様々な特徴を有するローカルな環境に位置するロボットを示す図である。

図１０は、本開示の実施態様に係る、ロボットからの、バーチャル空間の第２のビューを投影するためのシステムを示す図である。

図１１は、本開示の実施態様に係る、ロボットの構成要素を概念的に示す概略図である。

図１２Ａから図１２Ｇは、本開示の実施態様に係る、ロボットの様々なタイプを示す図である。

図１３は、一実施形態に係る、クライアントシステムとインターフェースするユーザの一実施例を示しており、クライアントシステムが、第２のスクリーンと称される第２のスクリーンディスプレイにコンテンツを提供している。

図１４は、本開示の様々な実施形態に係る、ゲームシステム１４００のブロック図である。

本開示の以下の実施態様は、コンパニオンロボットまたはデバイスからの、空間的な、ユーザが認識している、第２のスクリーンの投影に関する、デバイス、方法、及びシステムを提供する。しかし、当業者には、本開示が、本明細書に記載される特定の詳細のいくつかまたはすべてを伴わずに実施され得ることが明らかとなる。他の例では、周知のプロセスの操作が、本開示を不必要に不明瞭にしないために、詳細には記載されない。

図１は、本開示の実施態様に係る、バーチャル空間の第２のビューの、ロボットによる投影を示す図である。図示の実施態様では、ユーザ１００が、ディスプレイ１０４上にレンダリングされた、バーチャル空間／環境の第１のビュー１１６とインタラクトして示されている。いくつかの実施態様では、バーチャル空間は、ビデオゲームのバーチャル空間である。他の実施態様では、バーチャル空間は、限定ではないが、ローカルで実行されるインタラクティブアプリケーション、クラウドで実行されるアプリケーション、クラウドプラットフォーム、ソーシャルネットワーク、ウェブサイト、遠距離通信プラットフォーム、ビデオ会議、オンラインチャットルームなどを含む、ユーザがインタラクトする場合があるバーチャル空間またはバーチャル環境を提供する、任意のタイプのアプリケーションまたはプラットフォームのバーチャル空間である。バーチャル空間をサポートするそのようなアプリケーションまたはプラットフォームが、同じバーチャル空間内で同時にインタラクトする複数のユーザを収容するように構成され得ることを理解されたい。

いくつかの実施態様では、バーチャル空間を生成する、インタラクティブアプリケーション（たとえばビデオゲーム）が、ローカルコンピュータデバイス１０６によって実行される。コンピュータデバイスは、限定ではないが、ゲーミングコンソール、パーソナルコンピュータ、ラップトップコンピュータ、セットトップボックス、タブレット、携帯電話、ポータブルゲーミングデバイスなどを含む、バーチャル空間を生成するためにインタラクティブアプリケーションを実行するように構成される場合がある、任意の種類のデバイスとすることができる。いくつかの実施態様では、コンピュータデバイス１０６は、ローカルエリアネットワーク、ワイドエリアネットワーク、ＷｉＦｉ（登録商標）ネットワーク、セルラネットワーク、インターネットなどのネットワークに接続されている。

いくつかの実施態様では、コンピュータデバイス１０６は、バーチャル空間の第１のビュー１１６を得るために、ネットワーク（たとえば、インターネット）上で、クラウドサービスのプロバイダと通信するシンクライアントである。すなわち、インタラクティブアプリケーションは、バーチャル空間を生成するために、クラウドサービスプロバイダによって実行され、バーチャル空間の第１のビューを描くビデオデータは、コンピュータデバイス１０６に対し、ネットワーク（たとえば、インターネット）上でストリーミングされ、コンピュータデバイス１０６は、次いで、第１のビュー１１６をディスプレイ１０４に対してレンダリングするために、ビデオデータを処理する。

いくつかの実施態様では、コンピュータデバイス１０６の機能性は、ディスプレイ１０４に組み込まれている。

ディスプレイ１０４を通して見られるバーチャル空間とインタラクトするために、ユーザ１００は、入力デバイス１０２を操作する場合がある。入力デバイス１０２は、限定ではないが、コントローラ、モーションコントローラ、キーボード、マウス、トラックパッド、ポインタ、ジョイスティック、ゲーム周辺機器などを含む、バーチャル空間とインタラクトするように、入力を提供するために有用である任意のタイプのデバイスとすることができる。いくつかの実施態様では、バーチャル空間がビデオゲームのバーチャル空間であり、入力デバイス１０２は、ゲームプレイの、ビデオゲームの場面におけるアクション（たとえば、キャラクタまたは他のバーチャルオブジェクトのアクション）を制御することなどにより、ユーザ１００が、ビデオゲームへ入力を提供することを可能にして、ビデオゲームのゲーム状況の変化に影響する。実施例として、限定ではないが、入力デバイスの実施例には、ＤｕａｌＳｈｏｃｋ（登録商標）４ Ｗｉｒｅｌｅｓｓ Ｃｏｎｔｒｏｌｌｅｒ、ＰｌａｙＳｔａｔｉｏｎ（登録商標）Ｍｏｖｅ Ｍｏｔｉｏｎ Ｃｏｎｔｒｏｌｌｅｒ、及びＰｌａｙｓｔａｔｉｏｎ（登録商標）ＶＲ Ａｉｍ Ｃｏｎｔｒｏｌｌｅｒなどの、ビデオゲームコントローラデバイスが含まれ得る。

いくつかの実施態様では、画像取得デバイス１０７は、インタラクトするローカル環境１０１の画像を取得するように構成されている。画像取得デバイスの一実施例は、ＰｌａｙＳｔａｔｉｏｎ（登録商標）Ｃａｍｅｒａである。コンピュータデバイス１０６は、たとえば、限定ではないが、入力デバイス１０２などの、ローカル環境１０１内のオブジェクトの位置／向きを判定するために、取得された画像を処理及び分析するように構成され得る。いくつかの実施態様では、入力デバイス１０２は、ライトまたは他の認識可能な特徴などの、追跡可能な特徴を含む場合がある。この追跡可能な特徴は、取得された画像内で認識され、追跡され、それにより、ローカル環境１０１内の入力デバイス１０２の位置／向きを追跡する。さらに、画像取得デバイス１０７によって取得された画像は、ユーザ１００を識別し、追跡するために、分析される場合がある。

同様に示されているのは、画像取得デバイス１１０及びプロジェクタ１１２を含むロボット１０８である。画像取得デバイス１１０は、ユーザ１００の画像を取得し、この画像は、ユーザ１００の視線の方向を判定するために分析される。このユーザ１００の視線の方向は、ユーザが見ている方向である。この方向は、ユーザの身体の位置及び姿勢、ユーザの頭の位置、ユーザの目の位置など、ユーザの位置及び移動の態様を追跡し、分析することから判定され得る。本開示の範囲から逸脱することなく、画像分析に基づくユーザの視線の方向を判定するための任意の技術を適用することができる。いくつかの実施態様では、ユーザ１００、またはユーザの任意の部位（たとえば、脚、胴、首、目など）は、視線追跡を促進するために、モデル化され得る。いくつかの実施態様では、ユーザの身体の特定の部位が、ユーザ１００の視線の方向の追跡を可能にするために、追跡される。いくつかの実施態様では、ユーザの身体の追跡される部位は、視線の方向を判定するために、モデルに適用され得る。ユーザの注視する方向を追跡することを可能にするために、ロボット１０８が、様々な位置及び向きに移動するように構成され得ることを理解されたい。たとえば、ロボット１０８は、ロボット１０８の画像取得デバイス１１０が、ユーザの目の画像を取得する（または、取得し続ける）ことが可能であるように、ロボット１０８自体を再配置する場合がある。

様々な実施態様では、視線追跡が、ロボット１０８を通して、及び／または、システム内の他のデバイスを通して取得された情報の様々な断片によって可能にされ得ることを理解されたい。いくつかの実施態様では、ユーザ１００の視線の方向は、ローカル環境１０１内のロボット１０８の判定された位置／向きと組み合わせて、ロボット１０８の画像取得デバイス１１０によって取得された上述の画像に基づいて判定される。いくつかの実施態様では、ロボット１０８の位置／向きは、例として、限定ではなく、モーションセンサ（たとえば、加速度計、ジャイロスコープ、磁気計、慣性モーションユニット（ＩＭＵ））からのデータ、画像取得デバイス１１０によって取得された画像、ネットワークポジショニング（たとえば、ＧＰＳ、ＷｉＦｉ（登録商標）のポジショニング）、位置推定と地図生成の同時実行（ＳＬＡＭ：ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）などを含む、ロボット自体によって検知されたか処理された情報に少なくとも部分的に基づいて判定される。いくつかの実施態様では、ロボット１０８の位置／向きは、画像取得デバイス１０７によって取得された画像の分析に少なくとも部分的に基づいて判定される。いくつかの実施態様では、ロボット１０８は、ローカル環境１０１内に位置する１つまたは複数の磁気エミッタによって放出された１つまたは複数の磁場を検知するように構成された、１つまたは複数の磁気センサを含んでおり、ロボット１０８の位置／向きは、そのようなデータに少なくとも部分的に基づいて判定され得る。

いくつかの実施態様では、コントローラ１０２の位置／向きは、判定及び追跡され、この位置／向きは、少なくとも部分的に、ユーザの視線の方向の追跡を可能にするために使用される。様々な実施態様では、コントローラ１０２の位置／向きは、例として、限定ではなく、画像取得デバイス１０７によって取得された画像の分析、コントローラ１０２内のモーションセンサ（たとえば、加速度計、ジャイロスコープ、磁気計、ＩＭＵ）によって検出されたセンサデータ、１つまたは複数の磁気エミッタによって放出された磁場を検知する１つまたは複数の磁気センサ、コントローラ１０２に含まれる画像取得デバイスによって取得された画像、ネットワークポジショニングなどを含む、様々な情報に基づいて追跡され得る。ユーザ１００の視線の方向は、コントローラ１０２の位置／向きに対して、または、コントローラ１０２の位置／向きからのオフセットとして、判定され得る。たとえば、いくつかの実施態様では、コントローラ１０２の位置／向きは、上述のように判定及び追跡され得、ロボット１０８の画像取得デバイス１１０は、コントローラ１０２及びユーザ１００を含む画像を取得する場合がある。ローカル環境１０１におけるコントローラ１０２の既知の位置／向きを使用し、また、ロボット１０８の画像取得デバイス１１０によって取得された画像を分析することで、コントローラ１０２に対するユーザ１００の視線の方向が判定及び追跡され得る。

いくつかの実施態様では、ロボット１０８及びコントローラ１０２の位置／向きは、別々に判定され、この情報を、ロボット１０８の画像取得デバイス１１０によって取得されたユーザの画像の分析とともに使用することで、コントローラ１０２及び／またはロボット１０８に対するユーザ１００の視線の方向が判定され得る。

いくつかの実施態様では、コントローラ１０２は、ユーザ１００による操作の間にユーザ１００の画像を取得するように構成された画像取得デバイス（図示せず）を含んでいる（たとえば、コントローラ１０２がユーザによって保持されている場合に、ユーザ１００に向けられるように構成されている）。そのような画像は、コントローラ１０２によって検出されたセンサデータとともに、ロボット１０８に送信され得、そのような画像は、ユーザ１００の視線の方向を判定するために、ロボット１０８によって使用される場合がある。

ロボット１０８は、バーチャル空間の第２のビュー１１８を、ローカル環境１０１内の表面上に投影するように構成されたプロジェクタ１１２を含んでいる。この表面は、ローカル環境１０１内の任意の適切な表面とすることができ、この表面上に、画像またはビデオを投影することができ、ユーザ１００によって見られ得る。いくつかの実施態様では、適切な表面は、実質的に一様であるかほぼ一様な配色の、任意の実質的にフラットな表面とすることができる。適切な表面が、予め規定された最小の寸法またはサイズをも有する場合があることを理解されたい。ロボット１０８は、部屋などのローカル環境をスキャンして、投影するために適切な１つまたは複数の表面を識別するように構成され得る。例として、限定ではなく、投影のための表面は、壁（たとえば、図示の実施態様における壁１２０、１２２、または１２４）、天井、プロジェクタスクリーン、スクリーン／シェード、カーテン／垂れ布などを含むことができる。

ロボット１０８は、バーチャル空間の第２のビューを適切な表面上に投影することが可能であるように、ローカル環境内のある位置に移動することができる。たとえば、ロボット１０８は、投影を妨げる場合がある障害物または他のオブジェクトを避けるように、ロボット１０８自体を再配置する場合がある。

図示の実施態様では、プロジェクタ１１２は、バーチャル空間の第２のビュー１１８を壁１２０上に投影する。壁１２０は、ディスプレイデバイス１０４のディスプレイ表面１０５に対し、側方にある壁である。すなわち、第１のビュー１１６がレンダリングされたディスプレイデバイス１０４のディスプレイ表面１０５は、ユーザの視線の方向が前方向に向いている場合に、ユーザ１００によって見られる前面を規定する。一方、側壁１２０は、ユーザの視線の方向が（前方向に対しての）横方向に向いている場合に、ユーザ１００によって見られる側面を規定する。図示の実施態様では、壁１２０は、ディスプレイデバイス１０４のディスプレイ表面１０５、及び前壁１２２に対してほぼ垂直である。しかし、他の実施態様では、図示の壁の向きが、互いに対して、及び、ディスプレイデバイス１０４のディスプレイ表面１０５に対して、様々である場合があることを理解されたい。

壁１２０上に投影された第２のビュー１１８は、第１のビュー１１６に対し、空間的に調整されるように構成されている。すなわち、第２のビュー１１８は、第１のビューがレンダリングされる表面と第２のビューがレンダリングされる表面と（たとえば、ディスプレイ１０４と、ビュー１１８が投影される壁１２０の領域１１９と）の空間的関係によって判定される方式、または空間的関係と類似した方式、または空間的関係に基づく方式で、バーチャル空間の第１のビュー１１６に（バーチャル空間の場面において）空間的に関連するバーチャル空間のビューを提供する。たとえば、ユーザ１００の前のディスプレイ１０４にレンダリングされる第１のビュー１１６は、バーチャル空間内のバーチャルビューポイントの視点からの前方向のビューである場合があり、一方、側壁１２０上に投影される第２のビュー１１６は、バーチャルビューポイントの視点からの横方向のビューである場合がある。このことは、ディスプレイ１０４と壁１２０との、互いに対する位置及び向きに、少なくとも部分的に基づくことができる。

いくつかの実施態様では、バーチャルビューポイントは、バーチャルキャラクタ／人、バーチャル車両、バーチャルウェポンなどの、ユーザ１００によってコントロールされるバーチャルオブジェクトの位置によって規定される。バーチャルビューポイントは、バーチャル環境内の位置であり、この位置から、バーチャル環境のビューを生成することができる。

いくつかの実施態様では、第２のビュー１１８は、ディスプレイ１０４上の第１のビュー１１６のレンダリングと関連して、ロボット１０８によって投影される。

いくつかの実施態様では、第２のビュー１１８は、ユーザ１００の視線の方向が壁１２０、または、ビュー１１８が投影されている壁１２０の投影領域１１９に向けられている場合に、ロボット１０８によって投影される。さらに、いくつかの実施態様では、第２のビュー１１８の投影は、ユーザの視線の方向が壁１２０、または、ビュー１１８が投影される壁１２０の領域１１９に向けられていない場合に、停止される場合がある。第２のビュー１１８は、このため、ユーザ１００の視線の方向が、第２のビューが投影される壁または領域に向けられているかに応じて、オンデマンドの方式で提供され得る。

いくつかの実施態様では、第２のビュー１１８の投影は、ユーザの視線の方向が、壁１２０、または第２のビュー１１８が投影されている領域１１９に向けられている方向に変化するか、この方向への閾値を通過したことが判定された際に、作動される。

いくつかの実施態様では、第２のビュー１１８が壁１２０上に投影されていない場合、投影される領域は、インジケータまたはマーキングを投影することにより、ユーザ１００に知らせられ得る。たとえば、第２のビュー１１８が表示される領域のアウトライン、またはアウトラインの一部（たとえば、コーナのインジケータ）が、投影されて示され得る。いくつかの実施態様では、この領域の中心のインジケータが投影され得る。限定ではないが、十字線、任意のタイプの形状、ロゴ、ゲームタイトル、ワード（複数可）、文字（複数可）、アイコン、ゲームに関するグラフィック／アイコン（たとえば、キャラクタまたは他のアイテム）、パターン、アニメーションなどを含む、実質的に任意のタイプのマーキングまたはインジケータが、第２のビューが投影される投影領域を示すために、投影され得ることを理解されたい。第２のビュー１１８が投影される場所を示すことにより、ユーザ１００は、望む場合に、第２のビュー１１８を見るために、どこを見ればいいのかをより容易に判定することができる。

いくつかの実施態様では、第２のビュー１１８は、コンピュータデバイス１０６、または、より具体的には、コンピュータデバイス１０６上で実行するインタラクティブアプリケーションによっても生成される。第２のビュー１１８を描写するビデオストリーミングが、コンピュータデバイス１０６からロボット１０８に送信／ストリーミングされ得、ロボット１０８のプロジェクタ１１２は、ビデオストリーミングをレンダリングするように作動され得、それにより、第２のビュー１１８の投影を規定する。

いくつかの実施態様では、ロボットにより、第２のビューの投影を開始する前に、一定の検証または適正チェックが実施される。たとえば、いくつかの実施態様では、システムは、ユーザが、バーチャル空間など、ディスプレイ上に表示されるメディアとのインタラクションにおいて関与したかを最初に検証する。いくつかの実施態様では、このことは、ユーザがメディアまたはバーチャル空間とインタラクトしているかを確認するために、ユーザの視線の方向の追跡を含む、ユーザの識別及び追跡を伴う場合がある。いくつかの実施態様では、コントローラデバイスは、ユーザとともに識別され、ユーザが、コントローラデバイスを使用することによってインタラクトしているかが判定される。複数の人が存在している場合、システムは、コントローラデバイスの位置を識別すること、及び、どのユーザがコントローラデバイスを操作しているかを判定すること、人の視線の方向を追跡することなどにより、どの人が実際にバーチャル空間とインタラクトしているかを識別する場合がある。

図２は、本開示の実施態様に係る、ディスプレイを通して、及び、ロボットを介して提供される、バーチャル空間のビューの生成を概念的に示す図である。左では、ローカル環境１０１の上面図が示されており、この図には、ユーザ１００が、ディスプレイ１０４及びロボット１０８とともに位置している。右では、バーチャル空間２００の上面図が概念的に示されており、このバーチャル空間は、いくつかの実施態様では、ビデオゲームまたは他のインタラクティブアプリケーションのバーチャル空間である。いくつかの実施態様では、バーチャル空間２００は、ビデオゲームのゲームプレイのアクティビティが行われる、３次元空間である。

レンダリングに関して、バーチャル空間２００のビューを提供するために、バーチャルビューポイント２０２が規定される。このバーチャルビューポイント２０２は、バーチャル環境のビューが生成されるバーチャル空間２００内の位置である。すなわち、バーチャル環境のビューは、バーチャルビューポイント２０２に視点から生成され得る。図示の実施態様では、第１のビュー１１６は、バーチャルビューポイント２０２の視点からの、ビューの円錐台２０６によって規定される。図示のように、ビューの円錐台２０６は、バーチャル空間２００内の方向２０４（たとえば、方向２０４周りに中心付けられている）を有している。ビューの円錐台２０６は、レンダリングに関して、第１のビュー１１６で取得されたバーチャル空間２００の視野または領域を規定する。

述べたように、図示のビューは、バーチャル空間２００の概念的な上面図であり、このため、ビューの円錐台の水平のアスペクトのみが示されている。しかし、ビューの円錐台の垂直のアスペクトが、所望であるビューのアスペクト比に従って、適切なサイズにされることを理解されたい。実施例として、限定ではなく、アスペクト比（高さに対する幅の比）は、本開示の様々な実施態様に応じて、１６：９、４：３、３：２などとすることができる。図示の実施態様を参照する説明を簡略化するために、ビューの円錐台の水平のアスペクトが概して参照される。しかし、当業者には、ビューの円錐台の垂直のアスペクトも存在し、ビューの円錐台の水平のアスペクトに関する記述は、通常、垂直のアスペクトにも適用されることを理解されたい。

実施例として、限定ではなく、一般的なコンソールビデオゲームでは、テレビまたは他のディスプレイなどの、通常のディスプレイデバイスに対してレンダリングされるビューに関するビューの円錐台２０６は、おおよそ、約５０度から約７０度のレンジの水平な視野（２０８を参照）を有するように構成されている。いくつかの実施態様では、ビューの円錐台２０６は、約６０度の水平の視野を規定している。他の実施態様では、ビューの円錐台２０６は、５０度未満か、７０度より大の、水平の視野を規定している。いくつかの実施態様では、ビューの円錐台２０６は、約９０度の水平の視野を規定している。

いくつかの実施態様では、第２のビュー１１８は、ビューポイント２０２を起点とするビューの円錐台２１２によって規定されるが、方向２０４に対して回転された方向２１０を有している。いくつかの実施態様では、方向２０４と方向２１０との間の角度（２１６を参照）は、ディスプレイ表面１０５と、第２のビューの表示のための投影表面／領域１１９（たとえば、壁１２０の領域）との間の空間的関係によって判定される。たとえば、いくつかの実施態様では、角度２１６は、ディスプレイ１０４のディスプレイ表面１０５と、壁１２０の投影表面１１９とにそれぞれ垂直な、直行するベクトル間（たとえば、ベクトル２２０とベクトル２２２との間）の角度差などの、ディスプレイ表面１０５と、投影表面１１９との間の角度関係によって判定される。すなわち、ディスプレイ表面１０５に対して垂直である第１のベクトル２２０を考慮すると、投影表面１１９に対して垂直な第２のベクトル２２２と交差し、このため、これらベクトル間の角度が、それぞれ、ディスプレイ１０４上に示されたビュー１１６と、壁１２０の領域１１９上に示されたビュー１１８とを判定する、ビューの円錐台の方向２０４と方向２１０との間の角度２１６を判定する。

いくつかの実施態様では、角度２１６は、前述のベクトル間の角度と実質的に同じである。このため、前述のベクトルが互いに対してほぼ垂直である場合、ビューの円錐台の方向２０４と方向２１０とは、互いに対してほぼ垂直であり、角度２１６は、約９０度である。すなわち、ディスプレイ１０４、及び、投影表面が、ディスプレイ１０４のディスプレイ表面１０５に対して垂直な側方の表面である場合、バーチャル空間２００内の第１のビューの（中心の）方向と第２のビューの（中心の）方向とは、互いに対して垂直となる。別の実施例では、投影表面がディスプレイ１０４の平面と、約１２０度の角度で交差する側方の表面である場合、直交するベクトルの交差部分は、約６０度の角度を形成し、バーチャル空間内のビューの方向２０４と方向２１０との間の角度２１６は、約６０度となる。

交差するベクトルの上述の記載が、垂直なベクトルが交差し得るように、ディスプレイ１０４と、壁１２０の投影領域１１９とがほぼ水平であるか、むしろ、類似のベクトル位置を有する場合に、適用されることを理解されたい。しかし、このケースではないシナリオにおいては、本開示の実施態様によれば、ディスプレイ１０４と、壁１２０の投影領域１１９とにそれぞれ垂直な、交差する垂直な平面が代替され得、それらの交差する角度により、角度２１６が判定され得る。

類似の関係を記載する別の方法は、第１のビューと第２のビューとの間の角度２１６が、ディスプレイ表面１０５の平面と、投影表面１１９の平面との間の外角２２６によって判定される、及び／または、外角２２６に対して正の相関関係にある。ディスプレイ表面１０５の平面と、投影表面１１９の平面との間の内角２２８は、ローカル環境に向いており、一方、外角２２６の値は、１８０度から内角２２８の値を引いたものに等しい。いくつかの実施態様では、角度２１６は、外角２２６と同じであるか、実質的に類似である。

いくつかの実施態様では、ビューの円錐台２１２の水平な視野（２１４参照）は、ビューの円錐台２０６の水平な視野（２０８参照）と同じであるか、実質的に類似している（そして、同様に、それぞれの垂直な視野は、同じであるか、実質的に類似しているものであり得る）。しかし、他の実施態様では、水平な視野２１４は、水平な視野２０８（及び、同様に、それぞれの対応する垂直な視野）の角度の値より大であるか、小である角度の値を有する場合がある。たとえば、いくつかの実施態様では、第２のビュー１１８の投影のサイズは、ディスプレイ１０４上の第１のビュー１１６の表示より大である場合があり、したがって、第２のビュー１１８の視野（水平と垂直との両方を含む）は、第１のビュー１１６の視野より大である場合がある。逆に、いくつかの実施態様では、第２のビュー１１８の投影のサイズは、ディスプレイ１０４上の第１のビュー１１６の表示より小である場合があり、したがって、第２のビュー１１８の視野は、第１のビュー１１６の視野より小である場合がある。すなわち、いくつかの実施態様では、投影された第２のビュー１１８の視野のサイズは、投影自体のサイズと正の相関関係にある。また、さらに、いくつかの実施態様では、第２のビュー１１８の視野のサイズは、ディスプレイ１０４上のレンダリングされた第１のビュー１１６のサイズに対する第２のビュー１１８の投影のサイズに依存し、それにより、第２のビューの投影のサイズが、レンダリングされた第１のビューのサイズより大である場合、第２のビューの視野のサイズが、第１のビューの視野のサイズより大であるようになっており、また、第２のビューの投影のサイズが、レンダリングされた第１のビューのサイズより小である場合、第２のビューの視野のサイズが、第１のビューの視野のサイズより小であるようになっている。

いくつかの実施態様では、第２のビュー１１８の視野のサイズが、ディスプレイ１０４のディスプレイ表面１０５に対する投影表面１１９の配置によって判定される。述べたように、いくつかの実施態様では、ベクトル２２０は、ディスプレイ表面１０５に対して垂直であり、投影表面１１９に対して垂直なベクトル２２２と交差する。ベクトル２２０とベクトル２２２とは、ディスプレイ表面１０５と投影表面１１９とのそれぞれに対して水平方向に中心付けられている。ベクトル２２０は、ディスプレイ表面１０５との交差ポイントから規定される距離を有しており、ベクトル２２２は、投影表面１０５との交差ポイントから規定される距離を有している。いくつかの実施態様では、第２のビュー１１８の視野のサイズは、ベクトル２２０とベクトル２２２とによって規定される距離の相対量によって判定される。たとえば、いくつかの実施態様では、ベクトル２２２の距離が、ベクトル２２０の距離に対して増大すると、第２のビュー１１８の視野が、第１のビュー１１６の視野に対して減少する（たとえば、ビューの円錐台２１２の角度２１４が、ビューの円錐台２０６の角度２０８に対して減少する）。逆に、ベクトル２２２の距離が、ベクトル２２０の距離に対して減少すると、第２のビュー１１８の視野が、第１のビュー１１６の視野に対して増大する（たとえば、ビューの円錐台２１２の角度２１４が、ビューの円錐台２０６の角度２０８に対して増大する）。直感的に、このことは、第２のビュー１１８がユーザ１００のより近くで投影された際に、第２のビュー１１８の視野の増大を規定し、第２のビュー１１８がユーザ１００からより離れて投影された際に、第２のビュー１１８の視野の減少を規定する。

引き続き図２を参照すると、いくつかの実施態様では、第１のビューと第２のビューとの、互いに対する関係は、ディスプレイ１０４及び投影表面１１９に対するユーザ１００の空間的関係によって判定される。たとえば、いくつかの実施態様では、ユーザ１００からディスプレイ１０４（たとえば、ディスプレイ表面１０５の中心）に向かうベクトル２３０が規定され、ユーザ１００から投影表面１１９（たとえば、投影表面１１９の中心）に向かうベクトル２３２も規定される。いくつかの実施態様では、ベクトル２３０とベクトル２３２との間の角度２３４は、バーチャル空間２００の第１のビューと第２のビューとにそれぞれ関する方向２０４と方向２１０との間の角度２１６を判定する。いくつかの実施態様では、バーチャル空間におけるビュー方向２０４とビュー方向２１０との間の角度２１６は、ローカル環境１０１におけるベクトル２３０とベクトル２３２との間の角度２３４と同じであるか、実質的に同じである。他の実施態様では、角度２１６は、角度２３４に対して、たとえばスケーリング因子によってスケーリングされる。スケーリング因子は、様々な実施態様では、一定であるか可変である場合がある。

いくつかの実施態様では、第２のビュー１１８の視野のサイズは、ディスプレイ１０４のディスプレイ表面１０５、及び投影表面１１９に対するユーザ１００の相対距離によって判定され得る。たとえば、いくつかの実施態様では、ユーザ１００から投影表面１１９までの距離が、ユーザ１００からディスプレイまでの距離に対して増大すると、第２のビュー１１８の視野が、第１のビュー１１６の視野に対して減少する。換言すると、ベクトル２３２の距離がベクトル２３０の距離に対して増大すると、ビューの円錐台２１２の視野のサイズが減少する。一方、ベクトル２３２の距離が、ベクトル２３０の距離に対して減少すると、ビューの円錐台２１２の視野のサイズが増大する。直感的に、このことは、第２のビュー１１８がユーザ１００のより近くで投影された際に、第２のビュー１１８の視野がより増大し、第２のビュー１１８がユーザ１００からより離れて投影された際に、第２のビュー１１８の視野がより小さくなる。

いくつかの実施態様では、第２のビュー１１８は、第１のビュー１１６と連続している、及び／または、オーバーラップしているように構成されている。たとえば、第２のビュー１１８の視野は、第１のビュー１１６に視野と横方向に連続している、及び／またはオーバーラップしているように構成され得る。図２を参照すると、たとえば、ビューの円錐台２０６とビューの円錐台２１２とは、横側を共有する場合があるか、その横側が、互いにオーバーラップする場合がある。ビューの方向２０４とビューの方向２１０との間の角度２１６は、そのような隣接構成及び／またはオーバーラップ構成を規定するように構成され得る。そのような実施態様では、このため、ビューのいずれの隙間もカバーされることなく、第１のビューから第２のビューに移動する、またはその逆の移動の際に、ユーザ１００は、バーチャル空間２００の隣接する部分を見ることが可能である。

いくつかの実施態様では、第２のビュー１１８の視野のサイズは、第１のビュー１１６の視野と隣接する、及び／またはオーバーラップするように、調整されている。いくつかの実施態様では、このことは、前述のように、第２のビュー１１８の投影のサイズの調整に関して生じる。

いくつかの実施態様では、第１のビュー１１６と第２のビュー１１８との間の関係は、バーチャル空間２００における予め規定された空間的関係に固定されている。たとえば、第２のビュー１１８は、バーチャル空間２００において、第１のビューに対して予め規定された量だけ回転される。いくつかの実施態様では、ロボット１０８は、適切な投影表面が、そのような第２のビューに関してローカル環境１０１内に存在するかを判定するように構成されており、存在する場合、第２のビュー１１８が投影され得る。適切な投影表面が存在するかを判定することには、ローカル環境内の表面が、ディスプレイ１０４のディスプレイ表面１０５の平面に対して垂直であるか、垂直の予め規定されたレンジ内にあるなど、第１のビューがレンダリングされるディスプレイ１０４に対する適切な向きを有しているかを判定することが含まれ得る。いくつかの実施態様では、適切な投影表面が存在するかを判定することには、潜在的な投影表面が、ディスプレイ１０４の、予め規定された距離内、または、（最小及び最大の距離を確立する）予め規定された距離レンジ内にあるかを判定することも含まれ得る。

図３は、本開示の実施態様に係る、ディスプレイを通して、及び、ロボットからの投影を介して提供される、バーチャル空間のビューの生成を概念的に示す図である。左では、ローカル環境３００の上面図が示されており、この図には、ユーザ１００が、ディスプレイ１０４及びロボット１０８とともに位置している。図示のように、ローカル環境３００は、部屋によって規定され得、また、部屋の壁３０２及び壁３０４によって境界が定められている場合がある。右では、バーチャル空間２００の上面図が概念的に示されており、この空間は、いくつかの実施態様では、ビデオゲームまたは他のインタラクティブアプリケーションのバーチャル空間である。述べたように、いくつかの実施態様では、バーチャル空間２００は、ビデオゲームのゲームプレイのアクティビティが行われる、３次元空間である。

図示の実施態様では、ディスプレイデバイス１０４は、壁３０２と壁３０４とが結合する角のエリアに配置されており、これらの壁の各々に対してある角度で、角から外を向いている。この構成では、壁３０２と壁３０４とが、ディスプレイデバイス１０４のディスプレイ表面１０５の平面に対して垂直でも平行でもない平面（及び、適切な投影表面）を規定している。むしろ、壁は、この壁を、バーチャル空間の追加のビューをユーザに対して提供するために有用であるようにする方式で、ユーザ１００に向けて角度が付されている。

図示のように、バーチャル空間２００の第１のビュー１１６は、ディスプレイ１０４のディスプレイ表面１０５を通してレンダリングされる。ロボット１０８は、バーチャル空間２００の第２のビュー１１８を、投影表面３０６上に投影する。この投影表面３０６は、ビデオの投影に適切である、壁３０２のサブ領域である。すでに記載したように、バーチャル空間２００の所与のビューが、バーチャルビューポイントの視点から規定され、バーチャル空間内の所与のビューの方向を有する、バーチャル空間内のビューの円錐台によって規定されている。図示の実施態様では、バーチャル空間２００の第１のビュー１１６は、バーチャル空間内の（ビューの円錐台２０６の中心を通る）ビューの方向２０４を有し、バーチャルビューポイント２０２を起点とする（バーチャルビューポイント２０２の視点から規定される）ビューの円錐台２０６によって規定されている。

いくつかの実施態様では、ロボット１０８によって投影された第２のビュー１１８は、バーチャル空間内の第１のビュー１１６に隣接するバーチャル空間２００のビューである。すなわち、第２のビュー１１８を規定するビューの円錐台は、第１のビューを規定するビューの円錐台に隣接している。このことは、図示の実施態様に示されており、この実施態様では、第２のビュー１１８が、第１のビュー１１６を規定するビューの円錐台２０６に隣接する、ビューの円錐台３２２によって規定されている。第２のビュー１１８は、このため、第１のビュー１１６と隣接しており、ディスプレイ１０４のビュー（第１のビュー）と、投影表面３０６のビュー（第２のビュー）との間で変移する際に、ユーザ１００に、バーチャル空間の連続したビューを与える。ビューの円錐台２０６は、ビューの方向２０４及び視野２０８を有しており、ビューの円錐台３２２は、ビューの円錐台２０６に隣接したビューの円錐台３２２の配置を規定するように構成された、ビューの方向３２０及び視野３２４を有している。

ビューの円錐台の横方向の関係が、ローカル環境３００におけるレンダリング表面の横方向の関係と一致していることを理解されたい。すなわち、投影表面３０６が、ディスプレイデバイス１０４のディスプレイ表面１０５の左側に対して横方向にあることから、第２のビューを規定するビューの円錐台３２２は、バーチャル空間における第１のビューを規定するビューの円錐台２０６の左側に対して横方向にある。

バーチャル空間の第１のビューと第２のビューとが実施態様では隣接するビューである場合があるが、他の実施態様では、第１のビュー１１６と第２のビュー１１８とは、本明細書に記載の技術に応じて、本システムの他の態様から判定され得る。たとえば、第１のビュー１１６に関するビューの方向２０４と、第２のビュー１１８に関するビューの方向３２０との間の角度３２６は、ディスプレイデバイス１０４のディスプレイ表面１０５の平面と、投影表面３０６（または壁３０２）の平面との間の外角３１２によって判定され得る。外角３１２は、交差するベクトル２２０とベクトル３０８との間にある角度３１０と同じである。ベクトル２２０とベクトル３０８とは、それぞれ、ディスプレイ表面１０５と投影表面３０６とに対して垂直である。角度３２６は、第２のビュー１１８が第１のビュー１１６に対して回転する量を規定する。

いくつかの実施態様では、角度３２６は、ベクトル２３０とベクトル３１４との間の角度である、角度３１６によって判定される。ベクトル２３０とベクトル３１４とは、ユーザ１００から、ディスプレイ表面１０５の中心と、投影表面３０６の中心とにそれぞれ向けられている。ベクトル２３０とベクトル３１４とは、ディスプレイ１０４と、ロボットからの投影とのそれぞれを見た際の、ユーザ１００の視線の方向を示している。

さらに、第１のビュー１１６の視野２０８と、第２のビュー１１８の視野３２４とは、本明細書に記載のように、限定ではなく、ディスプレイ１０４と投影表面３０６との各々に対するユーザ１００の相対距離、ディスプレイ表面１０５と投影表面３０６との相対サイズなどを含む、様々な因子に基づいて構成することができる。

図４は、本開示の実施態様に係る、ディスプレイを通して、及び、ロボットからの投影を介して提供される、バーチャル空間のビューの生成を概念的に示す図である。左では、ローカル環境１０１の上面図が示されており、この図には、ユーザ１００が、ディスプレイ１０４及びロボット１０８とともに位置している。図示のように、ローカル環境１０１は、部屋によって規定され得、また、部屋の壁１２０、１２２、１２４、及び４００によって境界が定められている場合がある。右では、バーチャル空間２００の上面図が概念的に示されており、この空間は、いくつかの実施態様では、ビデオゲームまたは他のインタラクティブアプリケーションのバーチャル空間である。述べたように、いくつかの実施態様では、バーチャル空間２００は、ビデオゲームのゲームプレイのアクティビティが行われる、３次元空間である。

図示の実施態様では、後方の壁４００が、前壁１２２と対向して配置されており、ロボット１０８は、第２のビュー１１８を後方の壁４００上、より具体的には、後方の壁４００のある領域である投影表面４０２上に投影するように構成されている。投影表面４０２は、ディスプレイデバイス１０４のディスプレイ表面１０５と実質的に対向するように構成されている。換言すると、投影表面４０２を見るために、ユーザ１００は、ターンするか、自身の視線の方向を、約１８０度だけ、ディスプレイ１０４を向いている状態から後方の壁４００に向いている状態、より具体的には、第２のビュー１１８が投影されている投影表面４０２に向いている状態に、回転させる。

図示のように、第１のビュー１１６は、バーチャル空間２００内のビューの方向２０４と視野２０８とを有する、ビューの円錐台２０６によって規定されている。第２のビュー１１８は、バーチャル空間２００内のビューの方向４１２と視野４１４とを有する、ビューの円錐台４１０によって規定されている。いくつかの実施態様では、ビューの円錐台４１０のビューの方向４１２は、ビューの円錐台２０６のビューの方向２０４に対してほぼ逆向きであるか、バーチャル空間２００において約１８０度だけ回転されている。このため、第１のビュー１１６とは反対側のバーチャル空間２００のビューは、第２のビュー１１８として示され得る。この方式で、ユーザ１００は、ディスプレイ１０４とは逆の／離れた方向を見るために、単にターンすることにより、バーチャル空間２００内でユーザの「後方」にあるものを直感的に見ることが可能である。

図５は、本開示の実施態様に係る、バーチャル空間とインタラクトするユーザの視線の方向の追跡を可能にするための、ロボットの移動を示す図である。図示のように、ユーザ１００は、位置５００において、ローカル環境１０１内にあり、ディスプレイ１０４上のバーチャル空間の第１のビュー１１６を見ている。いくつかの実施態様では、ディスプレイ１０４は、図示のように、前壁１２２とほぼ整列している。ユーザ１００が位置５００に位置し、ディスプレイ１０４に向いた視線の方向を有する場合、ロボット１０８は、ユーザ１００の視線の方向の検出を可能にするために、ロボットのカメラ１１０により、ユーザの目のビューを与える位置５０６に配置されるように構成され得る。すなわち、ロボット１０８は、ロボット１０８のカメラ１１０を、ユーザの目の画像を取得することが可能であるように、ロボット１０８自体を移動するか再配置することが可能である。

たとえば、ユーザ１００がターンするか、位置５０２に移動すると、ユーザの視線の方向は、たとえば、側壁１２０に向けられるなど、（ディスプレイ１０４に向けられた方向に対して）側方に向けられ、これにより、ロボット１０８は、ロボット１０８のカメラ１１０が、ユーザの目の画像を取得することが可能であるように、位置５０８に移動する場合がある。位置５０２に移動することにより、ロボット１０８は、ユーザ１００の前方側に位置した状態でほとんどとどまっているように、再配置される。さらに、位置５０２は、上述のように、ロボット１０８のプロジェクタ１１２が、第２のビュー１１８を側壁１２０上に投影することを可能にするように、さらに選択される場合がある。

さらに、類似の方式で、ユーザ１００がターンするか、位置５０４へ移動し、ユーザの視線の方向が部屋の後方、または、より具体的には、後方の壁４００及び投影表面４０２に向けられた場合、ロボット１０８は、ロボット１０８のカメラ１１０が、ユーザの目の画像を取得することが可能であるように、位置５１０に移動する。位置５１０に移動することにより、ロボット１０８は、ユーザ１００の前方側に位置した状態でほとんどとどまっているように、再配置される。さらに、位置５０２は、上述のように、ロボット１０８のプロジェクタ１１２が、第２のビュー１１８を後方の壁４００上に投影することを可能にするように、さらに選択される場合がある。

ユーザ１００の視線の方向の判定及び追跡を可能にするために、ロボット１０８は、カメラ１１０から取得された画像を分析し、ユーザの身体、頭部、及び／または目の位置及び向きを識別するために、画像認識技術を採用する場合がある。いくつかの実施態様では、ロボット１０８は、ユーザの身体、頭部、及び／または目をモデル化し、取得された画像の分析に基づいてモデルをアップデートし、ユーザ１００の視線の方向を判定するために、そのモデルをさらに使用するように構成されている。画像分析を使用して、ロボット１０８は、ユーザが移動またはターンする場合を判定し、ロボット１０８は、それに応じて、ローカル環境１０１内でのロボット１０８の位置を調整して、ユーザの視線の方向の追跡を可能にする。このことには、カメラ１１０が、ユーザの目を含む画像を取得することが可能であること（すなわち、ユーザの目がカメラ１１０の視野内にあること）を確実にすることが含まれ得る。

いくつかの実施態様では、ロボット１０８は、ロボット自体を、ユーザ１００に対して予め規定された領域内に配置し、それにより、ユーザの視線の方向の追跡を可能にするように構成されている。視線追跡のための予め規定された領域は、ロボット１０８のカメラ１１０が、ユーザの目の画像を取得することが可能であるか、ユーザの視線の方向の正確な追跡を概して可能にするために、ユーザ１００の画像を十分に取得することが可能である、ユーザ１００に対する領域とすることができる。

いくつかの実施態様では、ロボット１０８は、可能であれば、ユーザ１００から予め規定された距離を維持するように構成されている。このことは、視線追跡のためのユーザの目の画像取得を可能にするために有用である場合があり、また、ユーザが誤ってロボット１０８に接触するか、ロボット１０８につまずくことをも防止する場合があり、それにより、ユーザの安全性を確実にする。

さらに、いくつかの実施態様では、ロボット１０８は、ロボット自体を、ロボット１０８がバーチャル空間の第２のビューを投影する、投影表面に対して予め規定された領域内に配置するように構成されている。（たとえば、所望のサイズ、及び、その幅／高さ全体にわたる一定の幅／高さを有するなど、投影された際に、適切な寸法を有するように）第２のビューを投影表面に適切に投影するために、ロボット１０８のプロジェクタ１１２は、投影表面に対する予め規定された領域内に配置される場合がある。

上述のパラメータの組合せが考えられ得、ロボット１０８が、このため、ロボット１０８自体を、ユーザ及び／または投影表面に対する、上述の予め規定された領域の交差部である領域内に配置するように構成され得ることを理解されたい。すなわち、ロボット１０８は、視線の追跡を可能にする、適切な投影を可能にする、ならびに、ユーザ１００及びロボット１０８の安全性を確実にするなどの、様々な要請を満たすように、ある位置にロボット１０８自体を移動するように構成され得る。

いくつかの実施態様では、ロボット１０８は、プロジェクタ１１２の向きとは独立して、カメラ１１０の向きの調整を規定するように構成されている。たとえば、カメラ１１０及び／またはプロジェクタ１１２は、１つまたは複数の方向において、１つまたは複数の軸に沿うか軸周りなどで、はっきりと区切られる場合がある。この方式で、カメラ１１０及びプロジェクタ１１２は、独立して方向が調整され得る。

さらに、いくつかの実施態様では、ロボットは、ユーザがある方向を見る前にロボットが適切な位置に移動できるように、視線予測を採用する。たとえば、いくつかの実施態様では、ロボットには、将来のゲームコンテンツの方向を示す、ビデオゲームからのメタデータが供給される。ロボットは、次いで、第２のビューを投影するために最適に配置されるために、必要に応じて、様々な位置に予測的に移動する場合がある。いくつかの実施態様では、ロボットは、ユーザの将来の視線の方向を予測する、ニューラルネットワークまたは他のマシンラーニング構成体を採用し、ロボットは、それに応じて、予測された将来の視線の方向に基づいて移動する場合がある。

図６は、本開示の実施態様に係る、インタラクティブ環境におけるバーチャル空間のビューの投影を示す図である。図示のように、ユーザ１００は、部屋または他のインタラクティブ環境である場合がある、ローカルインタラクティブ環境６００内に位置している。ロボット１０８は、ユーザ１００の視線の方向を判定及び追跡するために、そのカメラ１１０を使用するように構成されている。ロボット１０８は、プロジェクタ１１２による画像／ビデオの投影のための投影表面を規定する壁６０２上に、バーチャル空間のビュー６０６を示す投影６０４を写すように、そのプロジェクタ１１２を使用するようにさらに構成されている。

図示の実施態様では、投影６０４は、ユーザ１００の視線の方向に基づき、ロボット１０８によって移動可能である。投影６０４は、ユーザの視線の方向を追跡するように、壁６０２に沿ってシフトすることができる。いくつかの実施態様では、投影６０４の位置は、ユーザ１００の視線の方向の周りにおおむね中心付けられるように調整される（たとえば、壁６０２とのユーザの視線の方向の交差部周りに中心付けられる）。この方式で、投影６０４は、ユーザ１００の視線に追従する。

さらに、バーチャル空間のビュー６０６を規定する、バーチャル空間内のビューの円錐台の方向も、ユーザ１００の視線の方向によって判定され得る。いくつかの実施態様では、ビューの円錐台の方向は、ローカル環境６００内のユーザ１００の視線の方向の変化に実質的に類似する方式で、バーチャル空間内で調整される。このため、ユーザ１００が自身の頭部を左にターンさせ、それにより、自身の視線の方向をローカル環境内で左に回転させた場合、バーチャル空間内のビューの円錐台の方向も、等しいか、別様に関連する量だけ左に回転され、それに応じて、投影６０４を通して提供されるビュー６０６がアップデートされ、こうして、ユーザの視線の方向が変化すること、及び、投影６０４自体が、ユーザ１００の視線の方向の経路に整列するように移動されることに応じて、ユーザ１００によって視認可能なバーチャル空間の領域が変化する。

ユーザ１００の視線の方向が変化し、投影６０４が移動することに応じて、ロボット１０８自体が、上述したように、継続的な視線追跡及び適切な投影を可能にするために、様々な位置に移動する場合があることを理解されたい。さらに、カメラ１１０とプロジェクタ１１２との互いに対する方向は、ロボット１０８によって規定されるカメラ１１０とプロジェクタ１１２との構成に応じて調整される場合がある。いくつかの実施態様では、ロボット１０８は、ユーザの視線の方向が、ローカル環境６００の他の投影表面に移動する場合、隣接する壁６０８上に投影するなど、投影６０４を、そのような位置に移動するように構成され得る。

図７は、本開示の実施態様に係る、ローカルなインタラクティブ環境において、テーブルの頂部に位置するロボットを示す図である。図示のように、ロボット１０８は、テーブル７００の頂部に位置している。このテーブル７００は、コーヒーテーブル、デスク、ダイニングテーブル、または任意の他のタイプのテーブルとすることができるか、ローカル環境１０１内の上昇したプラットフォームとすることができる。テーブル７００上に上げられることにより、ロボット１０８は、たとえば、視線追跡の目的のために、ユーザ１００の画像を取得するためのより有利なポイントを有する場合がある。ロボット１０８は、たとえば、ユーザの視線の方向の追跡のため、及び／または、ローカル環境１０１内の壁または他の表面などの投影表面上に画像／ビデオを投影するために、ロボット１０８自体をより良好に配置するために、テーブル７００の頂部表面をあちこちに移動する場合がある。

いくつかの実施態様では、ロボット１０８は、テーブル７００から落下しないように、ロボット１０８が維持されるべき境界を判定するために、テーブルの縁部を含み、テーブル７００をマッピングするように構成されている。図示の実施態様では、境界７０２は、そのようなテーブル７００のマッピングに基づいて確立される場合がある。さらに、いくつかの実施態様では、ロボット１０８は、テーブルの縁部で発生し得るものなど、ロボット１０８が落下しそうである場合を検出するように、構成及び／または配置された、近接センサまたは他のセンサを含むことができる。ロボット１０８は、こうして、テーブル７００からの落下を避けるように構成されつつ、テーブルの表面上に配置された際に移動可能とすることができる。

図示の実施態様では、ロボット１０８は、第１のビュー１１６がレンダリング／表示されるディスプレイ１０４に隣接する投影表面（たとえば、壁の領域）上に、第２のビュー１１８を投影して示されている。いくつかの実施態様では、図示のような第２のビュー１１８は、第１のビュー１１６の延長である場合があり、ユーザ１００が、第１のビュー１１６によって示されるものに隣接するバーチャル空間の領域を見ることを可能にする。本開示の別のところで記載するように、ロボット１０８が、他の投影表面上に他のビューを投影するように構成され得ることを理解されたい。

図８は、本開示の実施態様に係る、ヘッドマウントディスプレイ（ＨＭＤ）を通しても見ることができるバーチャル空間のビューを投影するロボットを示す図である。図示の実施態様では、ユーザ８００は、ヘッドマウントディスプレイ（ＨＭＤ）８０２（バーチャルリアリティ（ＶＲ）ヘッドセットとしても知られる）を通して、バーチャル空間を見る。実施例として、限定ではなく、ＨＭＤの一実施例が、ＰｌａｙＳｔａｔｉｏｎ（登録商標）ＶＲのヘッドセットである。いくつかの実施態様では、観察者が、ユーザ８００がＨＭＤ８０２を通して何を見ているかを見ることを可能にするために、ＨＭＤ８０２上でレンダリングされたビュー（または、その一部）は、ディスプレイデバイス１０４上にもレンダリングされ得る。このため、ユーザ１００は、ディスプレイデバイス１０４を見ることにより、ユーザ８００のビューを見物することが可能である。いくつかの実施態様では、ロボット１０８は、利用可能な投影表面（たとえば、図示の実施態様の壁１２４の領域）上に、バーチャル空間の第２のビュー８０６を投影する場合がある。

第１のビュー８０４に対する第２のビュー８０６の空間的関係は、例として、限定ではなく、バーチャル空間内の予め規定された空間的関係に基づくもの、ＨＭＤ８０２を通して提供されるビューの、バーチャル空間内のビューポイント／ビューの方向／ビューの円錐台に基づくもの（バーチャル空間内のキャラクタ、車両、または他のオブジェクトから規定される場合がある）、ビュー８０６が投影される投影表面と、ディスプレイデバイス１０４のディスプレイ表面１０５との間の物理的な空間的関係に基づくもの、ローカル環境内の、ディスプレイ１０４及び投影表面に対する、ユーザ１００の位置及び視線の方向に基づくものを含み、前述の方法に従って判定され得る。

いくつかの実施態様では、ディスプレイ１０４上に示されるビュー８０４は、ＨＭＤユーザ８００が実質的にディスプレイ１０４に向いている場合（たとえば、ユーザ８００の視線の方向が実質的にディスプレイ１０４に向いている場合）、ＨＭＤ８０２を通してＨＭＤユーザ８００に提供されるビュー（またはビューの一部）に相関するか、バーチャル空間において実質的または方向的に類似している、バーチャル空間のビューを示すように構成されている。すなわち、ビュー８０４に関するバーチャル空間内のビューの方向は、ユーザ８００がディスプレイ１０４に向いている場合の、ＨＭＤ上でレンダリングされたビューのビューの方向と類似であるか同じである。この方式で、ディスプレイ１０４上でレンダリングされたビューは、直感的方式で、ＨＭＤ８０２の現実世界での向きに繋げられ、それにより、ユーザ８００がディスプレイ１０４に向いている場合、ユーザ１００は、ディスプレイ上で、ユーザ８００がＨＭＤ８０２を介して見ているものと類似のビューを見ることができる。

いくつかの実施態様では、このため、ユーザ８００が異なる方向を見ている場合、ＨＭＤ８０２の向き／位置が変化すると、ロボット１０８は、ユーザ８００が向いている、変更された方向、及び／または、ＨＭＤ８０２の変更された向き／位置に基づき、空間的に関連する方式で、ＨＭＤ８０２上にレンダリングされたビュー（またはビューの一部）を投影するように構成され得る。たとえば、いくつかの実施態様では、ロボット１０８は、ＨＭＤ８０２上でレンダリングされたビュー（またはビューの一部）を、ユーザ８００が向いている場所（または、ユーザ８００の視線の方向が向いている場所）に実質的に位置するか、ＨＭＤ８０２が向いている場所に実質的に位置する表面上に投影するように構成されている。このため、ＨＭＤユーザ８００が様々な方向を見ると、ＨＭＤユーザ８００がＨＭＤ８０２を介して見ているバーチャル空間のビューが、ＨＭＤユーザ８００が向いている方向に整列された位置で見るように、ユーザ１００のために示されるか投影される。

いくつかの実施態様では、ＨＭＤ８０２に提供されたバーチャル空間のビューが、コンピュータデバイス１０６によって生成され、ＨＭＤ８０２に送信される場合があることを理解されたい。さらに、コンピュータデバイス１０６は、第１のビュー８０４及び第２のビュー８０６を生成する場合がある。

実施態様が、バーチャル空間の第２のビューの投影に関して記載されているが、いくつかの実施態様では、投影は、他の種類の内容のものとすることができる。いくつかの実施態様では、ロボットは、ビデオゲームに関連する静的コンテンツを投影するように構成され得る。たとえば、ユーザが、特定のタイプの環境（たとえば、ジャングル、海洋、砂漠、都市、山岳、森林、宇宙、スポーツなど）において生じるゲームのレベルをプレイしている場合、ロボットは、特定のタイプの環境に関連する画像／ビデオを投影する場合がある（たとえば、ゲームプレイがジャングルで行われている場合、ジャングルのシーンが投影され、ゲームプレイがアリーナで行われている場合、観客または群衆が投影される、などである）。さらに、いくつかの実施態様では、ロボットは、実施例として、限定ではなく、プレーヤのインベントリ、ゲームメニュー、マップ、メッセージ、ステータス情報、ゲーム広告などを含む、他のゲームに関連するコンテンツを投影することができる。

図９は、本開示の実施態様に係る、様々な特徴を有するローカルな環境に位置するロボットを示す図である。図示の実施態様では、ローカル環境９００は、壁９０２、９０４、及び９０６、ならびに、天井９０８を有する部屋によって規定されている。ディスプレイデバイス１０４は、壁９０２に沿って取り付けられており、ウインドウ９１０は、壁９０４に規定されており、ドア９１２は、壁９０６に規定されている。カウチ９１４及びランプ９１６が、部屋内に配置されている。ライト９１８は、天井９０８に沿って位置している。

ロボット１０８は、ローカル環境９００をスキャンして、すでに述べたように、バーチャル空間のビューの投影を含む、画像／ビデオの投影のために適切な表面を識別するように構成されている。ロボット１０８は、投影表面としてのオブジェクトの適正を判定するために、オブジェクトの位置及び形状、ならびに、それらのテクスチャ及びカラーのマッピングを含み、ローカル環境をマッピングするために、当該技術で既知である様々なタイプのセンサ及び技術の任意のものを使用する場合がある。実施例として、限定ではなく、ロボット１０８は、カメラ／画像取得デバイス、近接センサ（たとえば、赤外線、超音波、フォトレジスタなど）、深度カメラ、領域センサ（たとえば、ステレオカメラ、赤外線、超音波、レーザーなど）、慣性センサ（たとえば、加速度計、ジャイロスコープ、磁気計）、グローバルポジショニングシステム（ＧＰＳ）などのセンサを使用することができる。さらに、実施例として、限定ではなく、ロボット１０８は、位置推定と地図生成の同時実行（ＳＬＡＭ）の技術などの技術を使用して、ローカル環境をマッピングすることができる。物体認識技術が、ローカル環境の取得された画像の分析を含む、ローカル環境内のオブジェクトを識別するために、ロボット１０８によって適用され得る。

引き続き図９を参照すると、ロボット１０８は、様々な壁及び天井、ディスプレイデバイス１０４、ウインドウ９１０、ドア９１２、カウチ９１４、ならびにランプ９１６などの、部屋内のオブジェクトを識別し、認識する場合がある。ロボット１０８は、そのようなオブジェクトの位置及び向きをマッピングし、投影のために使用することが可能である表面を識別する。たとえば、ロボットは、ディスプレイ１０４を除く壁９０２の領域を、投影のために使用できること、ウインドウ９１０を除き、ランプ９１６によって妨げられていない壁９０４の領域を、投影のために使用できること、ドア９１２を除き、ランプ９１６によって妨げられていない壁９０６の領域を、投影のために使用できること、ライト９１８を除く天井９０８の領域を、投影のために使用できることを、判定する場合がある。

ロボット１０８は、オブジェクトのマッピング、及び、ロボット１０８の様々なセンサハードウェアを通してのローカル環境のリアルタイムの検知を利用して、ローカル環境内の他のオブジェクトとの衝突を回避しつつ、たとえば、視線追跡及び／またはビデオの投影を可能にするために、ロボットによる移動を促進する場合がある。

いくつかの実施態様では、ロボット１０８は、ディスプレイデバイス１０４のサイズを判定し、ディスプレイデバイス１０４のサイズに基づいて、投影のためのパラメータを調整するように構成されている。たとえば、ロボット１０８から投影される画像／ビデオのサイズは、ある表面に投影している際に、プロジェクタ１１２のズーム設定、または、ロボット１０８の位置を調整することなどにより、ディスプレイデバイス１０４とほぼ同じであるように構成され得る。いくつかの実施態様では、ロボット１０８のプロジェクタ１１２によって投影されるビュー（または、対応するビューの円錐台）のサイズは、ロボット１０８から投影されたビューを見ることに対し、ディスプレイデバイス１０４上でバーチャル空間を見る場合に、一定の寸法のサイジングを提供するように調整される。換言すると、ディスプレイ１０４を通して表示されるか、ロボット１０８による投影を通して表示されるかに関わらず、バーチャル空間のビューのサイジングは一定となる。

図１０は、本開示の実施態様に係る、ロボットからの、バーチャル空間の第２のビューを投影するためのシステムを示す図である。いくつかの実施態様では、ロボット１０８は、ローカル環境の画像を取得するために、そのカメラ１１０を使用する。ローカル環境の画像は、画像取得データ１０００へと処理され、コンピュータデバイス１０６に送信される。画像取得データ１０００は、いくつかの実施態様では、画像フレームのストリームによって規定され得る。コンピュータデバイス１０６は、バーチャル空間を規定するインタラクティブアプリケーション（たとえば、いくつかの実施態様ではビデオゲーム）を実行する。コンピュータデバイス１０６は、ディスプレイ１０４に送信され、ディスプレイ１０４上でレンダリングされる第１のビデオフィード１０１０を生成し、それにより、ディスプレイ１０４を通してバーチャル空間の第１のビューを表示する。

コンピュータデバイス１０６は、ユーザの視線の方向を判定するために、受信した画像取得データ１０００をさらに分析する場合がある。このことは、上述のように、ユーザの頭部、目、身体、脚部など、ユーザの様々な部分を識別し、モデル化し、追跡するために、受領した画像取得データ１０００の分析を伴う場合がある。ユーザの視線の方向の追跡に基づき、コンピュータデバイス１０６は、ユーザが投影表面を見るためにターンしたときを判定する場合がある。また、このことが生じた場合、コンピュータデバイス１０６は、バーチャル空間の第２のビューを描写する第２のビデオフィード１０１２を生成し、この第２のビデオフィード１０１２をロボット１０８に送信する。ロボット１０８は、第２のビデオフィード１０１２を投影表面上に投影し、それにより、バーチャル空間の第２のビューを表示する。

いくつかの実施態様では、第１のビデオフィードと第２のビデオフィードとは、一方がストリーミングされている際に、他方がストリーミングされないように、交互に生成される。しかし、他の実施態様では、第１のビデオフィードと第２のビデオフィードとの両方が同時に生成され得、両方が同時にストリーミングされ得、また、ディスプレイ１０４とロボット１０８とによってそれぞれ同時にレンダリングされ得る。

いくつかの実施態様では、画像取得データ１０００は、実施例として、限定ではなく、ユーザによるジェスチャまたは動き、表情、ローカル環境内のオブジェクトの識別などを含む、インタラクティブアプリケーションによって利用される場合がある、ユーザまたはローカル環境の他の態様を判定するために、コンピュータデバイスによってさらに分析される場合がある。

追加的に、ロボット１０８は、ユーザによって話された言葉／サウンドなど、ローカル環境から音声を取得するためのマイクを有する場合がある。取得された音声は、コンピュータデバイス１０６に送信される音声取得データ１００２へと処理される。音声取得データ１００２は、実施例として、限定ではなく、インタラクティブアプリケーションに作用する場合がある、ボイスコマンドまたは他の口頭のインタラクティブコンテンツを識別するために、コンピュータデバイス１０６によって処理され得る。

コンピュータデバイスが、画像取得データ１０００及び／または音声取得データ１００２を処理／分析する各実施態様が記載されてきたが、他の実施態様では、そのような分析は、ロボット１０８によって部分的に、または全体として実施され得る。たとえば、いくつかの実施態様では、ロボット１０８は、取得された画像データを分析して、ユーザの視線の方向を判定するように構成され得る。このデータは、コンピュータデバイス１０８に送信される視線追跡データ１００４としてエンコードされる場合がある。いくつかの実施態様では、ロボット１０８は、取得された音声データを分析して、ユーザによるボイスコマンドまたは他の口頭のコンテンツを判定するように構成され得る。このデータは、コンピュータデバイス１０８に送信されるコマンドデータ１００６としてエンコードされる場合がある。

別の実施態様では、ロボット１０８は、インタラクティブアプリケーションに対するリモートクライアントとして動作し、また、第２のビデオフィードを生成するように構成されている（たとえば、バーチャル空間の第２のビューのグラフィックレンダリングを実施する）。これにより、コンピュータデバイス１０６上での処理の負荷が低減され、また、別様に可能であるよりも高い忠実度の、第２のビューに関するビデオレンダリングが可能になる場合がある。

図１１は、本開示の実施態様に係る、ロボットの構成要素を概念的に示す概略図である。図示のように、ロボット１１００は、本開示に記載のように、データ及び命令を処理すること、ならびに、ロボット１１００の様々なデバイスにコマンドを発して、ロボットに、移動、画像／音声／ビデオの取得、画像／音声／ビデオのレンダリング、または、ロボットが可能である任意の他の機能の実施をさせることを含む、ロボットの様々なデバイス、及び、ロボット１１００によって実施される操作を制御するように構成されたコントローラ１１０２を含んでいる。コントローラ１１０２は、プログラム指示を実行するように構成された、１つまたは複数のプロセッサ１１０４（たとえば、マイクロプロセッサ、多目的プロセッサ（ＧＰＰ）、特定用途向けプロセッサ（ＡＳＰ）、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、コンプレックス命令セットコンピュータ（ＣＩＳＣ）、縮小命令セットコンピュータ（ＲＩＳＣ）、特定用途向け集積回路（ＡＳＩＣ）、デジタル信号プロセッサ（ＤＳＰ）など）、ならびに、データを貯蔵及び抽出するように構成された、１つまたは複数のメモリデバイス１１０６（たとえば、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、ＳＲＡＭ、ＤＲＡＭ、フラッシュメモリ、磁気メモリ、ハードディスク、光ディスクなど）を含んでいる。

トランシーバ１１０８は、無線または有線接続を介して、データを送信及び／または受信するように構成されている。トランシーバ１１０８は、１つまたは複数のネットワーク上で通信し、実施例として、限定ではなく、ＩＰベースのプロトコル、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ、Ｚｉｇｂｅｅ（登録商標）、Ｚ−Ｗａｖｅ、ＡＮＴ、ＵＷＢ、Ｗｉｒｅｌｅｓｓ ＵＳＢ、Ｓｉｇｆｏｘ、セルラネットワーク（２Ｇ／３Ｇ／４Ｇ／５Ｇネットワーク、ＬＴＥネットワークなど）、赤外プロトコル（たとえば、ＩＲＤＡプロトコル）などを含む、当該技術で既知である任意の様々なデータ通信プロトコルを使用する場合がある。

ロボット１１００は、実施例として、限定ではなく、ロボット１１００によってレンダリングされるバーチャル環境からの音、音楽、スピーチ、メディアプレゼンテーション（たとえば、テレビプログラム、映画、ショーなど）からの音声などを含む、任意の種類の音声を放出することが可能である、１つまたは複数のスピーカ１１１０を含んでいる。

ロボット１１００は、ロボットが配置されたローカル環境からの音を取得するように構成された、１つまたは複数のマイク１１１２を含んでいる。複数のマイクは、同時に、より多くの方向で、より高い感度を可能にする場合がある。いくつかの実施態様では、マイク１１１２は、アレイまたは他の予め規定された位置の配置で構成され、それにより、マイクのアレイからの信号を分析して、マイクのアレイに対する音声の発生源の方向を判定することができるようになっている。

ロボット１１００は、ローカル環境からの画像／ビデオを取得するように構成された１つまたは複数の画像取得デバイス／カメラ１１１４を含んでいる。複数の画像取得デバイスは、実施例として、限定ではなく、ローカル環境のより大である領域か複数の領域を同時にカバーすること、及び／または、向上された環境のマッピング、深度分析を可能にするために採用され得る。

１つまたは複数のカメラ１１１４は、１つまたは複数のアクチュエータ１１１６により、所与のカメラの方向を調整することを可能にするように、向けられ得る。アクチュエータ１１１６は、カメラ１１１４を、回転、平行移動、上昇、下降、傾斜、パン撮り、または、別様に移動もしくは向きの変更を行うように構成され得る。

ロボット１１００は、１つまたは複数の深度カメラ１１１８を含んでいる。深度カメラは、ローカル環境内のオブジェクトに関する深度／測距情報を取得することが可能である。いくつかの実施態様では、深度カメラ１１１８は、制御された光信号の、ローカル環境内の様々なポイントまでの飛行時間に基づいて距離を判定する飛行時間カメラである。

カメラ１１１４と同様に、深度カメラ１１１８は、１つまたは複数のアクチュエータ１１１６によって向けられ得る。１つまたは複数のアクチュエータ１１１６は、１つまたは複数のカメラ１１１４を向けるアクチュエータと同じであるか異なるアクチュエータである場合がある。

ロボット１１００は、近くのオブジェクトにロボットが接近していることを検出することが可能である、１つまたは複数の近接センサ１１２０を含んでいる。近接センサ１１２０は、ロボット１１００の対応する部分に関する接近の検出を可能にするように、ロボット１１００上の様々な位置に取り付けられ得る。たとえば、いくつかの実施態様では、少なくとも１つの近接センサが、ロボットの下方部分の近くのオブジェクト（たとえば、ロボット１１００が位置するフロア／表面上のオブジェクト）を検出するなどのために、この近位における近接の検出を可能にするように、ロボット１１００の下方部分に取り付けられている。いくつかの実施態様では、１つまたは複数の近接センサが、ロボットの中間部分及び上方部分を含む、ロボット１１００の他の部分に沿って取り付けられている。近接センサ１１２０は、ローカル環境内のオブジェクトとの、ロボット１１００の衝突を回避すること、近位のオブジェクトの存在を検出すること、ロボットの近位におけるユーザによるジェスチャを検出することなどのために有用とすることができる。

ロボット１１００は、グローバルポジショニングシステム（ＧＰＳ）デバイス／レシーバ１１２２を含む。ＧＰＳデバイス／レシーバ１１２２は、ロボット１１００の、地球上での位置を判定するために、ＧＰＳ衛星からの情報を受信するように構成されている。

ロボット１１２４は、ロボット１１２４の移動及び／または向きの検出が可能である、１つまたは複数の慣性／モーションセンサ１１２４を含んでいる。慣性／モーションセンサの実施例には、加速度計、磁気計、ジャイロスコープなどが含まれる。

ロボット１１２４は、ローカル環境内の表面上に画像／ビデオを投影することが可能である、少なくとも１つのプロジェクタ１１２６を含んでいる。実施例として、限定ではなく、プロジェクタは、ＬＣＤプロジェクタ、ＬＥＤプロジェクタ、ＤＬＰプロジェクタ、ＬＣｏＳプロジェクタ、ピコプロジェクタなどとすることができる。

ロボット１１００は、ロボット１１００がローカル環境のあちこちを移動することを可能にするように構成された、複数のホイール／ローラ、たとえば、図示のようなホイール／ローラ１１３０ａ及び１１３０ｂを含んでいる。ホイール／ローラの１つまたは複数は、ホイール／ローラを回転させ、それにより、ロボット１１００の移動に影響するように、アクチュエータ（たとえば、アクチュエータ１１３２ａ及び１１３２ｂ）によって制御され得る。いくつかの実施態様では、ホイール／ローラは、多方向性または無方向性とすることができる。すなわち、２つ以上の方向か、すべての方向における移動をさせるか促すことが可能である。

ロボット１１００の様々な構成要素は、ハウジング内に包含され得る。図示の実施態様では、上方ハウジング１１３４ａ及び下方ハウジング１１３４ｂが含まれている。上方ハウジング１１３４ａは、下方ハウジング１１３４ｂに対して回転可能であるように構成されており、複数のベアリング１１３６によって促される。いくつかの実施態様では、アクチュエータ１１３８は、上方ハウジング１１３４ａを回転させるように構成されている。様々な実施態様では、ロボット１１００の様々な構成要素のいずれかが、上方ハウジング１１３４ａに取り付けられ得るか、上方ハウジング１１３４ａ内にあり得、また、上方ハウジング１１３４ａが回転した際に、回転／移動されるように構成されている。一方、様々な構成要素の他のものは、下方ハウジング１１３４ｂに取り付けられているか、下方ハウジング１１３４ｂ内にあり、同時に回転しない。

実施例として、いくつかの実施態様では、カメラ１１１４、深度カメラ１１１８、スピーカ１１１０、及び／またはマイク１１１２が、上方ハウジング１１３４ａに取り付けられており、一方、プロジェクタ１１２６が、下方ハウジング１１３４ｂに取り付けられている。上方ハウジング１１３４ａに取り付けられた構成要素は、プロジェクタ１１２６とは独立して、上方ハウジング１１３４ａとともに回転することができる。このことは、ロボット１１００が、カメラ１１１４、深度カメラ１１１８、スピーカ１１１０、及び／またはマイク１１１２とは独立して、プロジェクタ１１２６を向けることを可能にすることができる。たとえば、このことは、プロジェクタ１１２６が壁または他の投影表面に向いている間に、カメラ１１１４、深度カメラ１１１８、スピーカ１１１０、及び／またはマイク１１１２をユーザに向けるために有用である場合がある。

図１２Ａから図１２Ｇは、本開示の実施態様に係る、ロボットの様々なタイプを示す図である。

図１２Ａは、本開示の実施態様に係る、円筒形状の本体１２００を有するロボットを示している。プロジェクタ１２０２及びカメラ１２０４は、本開示の実施態様に従って伸張可能及び／または回転可能なそれぞれのポールに取り付けられている。ロボットは、そのロボットが、複数方向に音声を発することを可能にする複数のスピーカ１２０６を含む場合がある。明確に示されていないが、ロボットは、下に向いたスピーカをも含む場合がある。ロボットは、ローカル環境のあちこちの、ロボットの推進／移動のためのホイール１２０８をさらに含んでいる。

図１２Ｂは、本開示の実施態様に係る、プロジェクタ１２０２及びカメラ１２０４などの構成要素が取り付けられる場合がある、上方の回転可能な部分１２１０を有するロボットを示している。ロボットは、任意の種類のデータをレンダリングするように構成され得る、ディスプレイ１２１２をさらに含んでいる。いくつかの実施態様では、ロボットのディスプレイ１２１２は、ビデオゲームの間にプレーヤにとって有用な情報を示すために、第２のディスプレイとして使用され得る。ディスプレイ１２１２は、タッチスクリーンディスプレイとすることができ、タッチスクリーンディスプレイ上のタッチ及びジェスチャを介して、ユーザからの入力を受信することが可能である。ロボットは、さらに、ロボットの推進のために、無限軌道システム１２１４（タンクトレッドまたはキャタピラトレッドとしても知られている）を採用している。

図１２Ｃは、本開示の実施態様に係る、コントローラ及び／または他のインターフェースデバイスのための保管位置としても機能するように構成されたロボットを示している。図示の実施態様では、ロボットは、コントローラ１２２０ａ及び１２２０ｂ、ならびに、モーションコントローラ１２２２ａ及び１２２２ｂを保持／保管するように構成されている。ロボットは、クラスプ、クリップ、ストラップ、クランプ、ポケット、穴、凹部などの、コントローラまたは他のインターフェースデバイスを保持するための、様々な種類のデバイスの任意のものを含むことができる。

図１２Ｄは、本開示の実施態様に係る、本体１２３０及び発信可能なドローン１２３２を有するロボットを示している。飛行していない場合、ドローン１２３２は、本体１２３０上の支持構造１２３４に置かれている、及び／または固定されている場合がある。支持構造１２３４は、ドローン１２３２と、ロボットの本体１２３０との間でのデータの通信、及び、ドローンのバッテリの充電を可能にするために、ドローン１２３２の対応するコンタクトと勘合するように構成されたコンタクトを含む場合がある。ドローン１２３２が、カメラ、深度カメラ、マイク、プロジェクタ、慣性／モーションセンサ、無線トランシーバなど、ドローン１２３２の操作のために有用である、及び／または、ドローンが飛行中に使用される場合がある、様々な構成要素を含む場合があることを理解されたい。ドローン１２３２は、本体１２３０と無線で通信し、本体１２３０から送信された無線信号を介して制御される場合がある。ドローン１２３２は、画像取得、音声取得、投影、音声レンダリングなどのために、上昇した、見通しの効くポイントを提供するように、作動され、飛行し得る。

図１２Ｅは、本開示の実施態様に係る、ヒューマノイドデバイスの形状因子を有するロボットを示している。ロボットは、統合され得、カメラ、プロジェクタなどのデバイスを含む場合がある、ヘッド１２４０を含んでいる。ロボットは、統合され得、アイテムを握る、ジェスチャを実施するなどするように構成されたアーム１２４２をさらに含んでいる。ロボットは、統合され得、ロボットがローカル環境のあちこちを歩行／走行、または別様に移動することを可能にするように構成されたレッグ１２４４をさらに含んでいる。

図１２Ｆは、本開示の実施態様に係る、回転可能なボール形状の部分１２５０を有するロボットを示している。いくつかの実施態様では、ボール形状の部分１２５０は、カメラ、プロジェクタ、マイクなどの、このボール形状の部分１２５０に取り付けられた任意のデバイスの方向を変えるように、無方向的に回転され得る。ボール形状の部分１２５０は、ベース部分１２５４周りに回転可能である、中間部分１２５２によって支持されており、それにより、ロボットのデバイスの移動のさらなる柔軟性を提供している。

図１２Ｇは、本開示の実施態様に係る、ホイール１２６２間に規定された本体１２６０を有するロボットを示している。いくつかの実施態様では、ホイール１２６２ａ及び１６２６ｂは、ロボットが遮蔽物または他の不連続部を横断することを可能にするために、本体１２６０よりも実質的に大であるように、過度に大きくなっている。いくつかの実施態様では、本体１２６０の重心は、ホイール１２６２ａ及び１２６２ｂの軸のレベルの下にあるように構成されており、それにより、２つのホイールのみをサポートのために有する一方で、本体１２６０の向きが容易に維持されるようになっている。

図１３は、クライアントシステム１３０６とインターフェースするＨＭＤ１０２のユーザ１３００の一実施例を示しており、クライアントシステム１３０６が、第２のスクリーン１３０７と称される第２のスクリーンディスプレイにコンテンツを提供している。クライアントシステム１３０６は、ＨＭＤ１３０２から第２のスクリーン１３０７へのコンテンツのシェアを処理するための統合電子装置を含む場合がある。他の実施形態は、クライアントシステムと、ＨＭＤ１３０２の各々と、第２のスクリーン１３０７との間でインターフェースする、別のデバイス、モジュール、コネクタを含む場合がある。この概略的な実施例では、ユーザ１３００は、ＨＭＤ１３０２を装着しており、コントローラを使用してビデオゲームをプレイしている。このコントローラも、指向性インターフェースオブジェクト１３０４である場合がある。ユーザ１３００による、相互に作用するプレイは、ＨＭＤ１３０２にインタラクトするように表示される、ビデオゲームコンテンツ（ＶＧＣ）を提供する。

一実施形態では、ＨＭＤ１３０２に表示されているコンテンツは、第２のスクリーン１３０７にシェアされる。一実施例では、第２のスクリーン１３０７を見ている人は、ユーザ１３００によってＨＭＤ１３０２でインタラクトするようにプレイされるコンテンツを見ることができる。別の実施形態では、別のユーザ（たとえば、プレーヤ２）が、クライアントシステム１３０６とインタラクトして、第２のスクリーンコンテンツ（ＳＳＣ）を提供することができる。同様にコントローラ１３０４とインタラクトするプレーヤ（または、任意のタイプのユーザインターフェース、ジェスチャ、ビデオ、もしくは入力）によって提供される第２のスクリーンコンテンツは、ＳＳＣとしてクライアントシステム１３０６に提供される場合がある。このＳＳＣは、ＨＭＤ１３０２から受信したＶＧＣとともに、第２のスクリーン１３０７上に表示され得る。

したがって、ＨＭＤユーザと同じ場所にいるか、離れている場合がある他のユーザによるインタラクテビィティは、ＨＭＤユーザと、第２のスクリーン１３０７上で、ＨＭＤユーザによってプレイされるコンテンツを見ている場合があるユーザとの両方にとって、社会的、インタラクティブ、かつ、より没入的であり得る。図示のように、クライアントシステム１３０６は、インターネット１３１０に接続され得る。インターネットは、様々なコンテンツソース１３２０からのコンテンツへのアクセスをクライアントシステム１３０６に提供することもできる。コンテンツソース１３２０は、インターネット上でアクセス可能である、任意のタイプのコンテンツを含むことができる。

そのようなコンテンツは、限定ではなく、ビデオコンテンツ、映画コンテンツ、ストリーミングコンテンツ、ソーシャルメディアコンテンツ、ニュースコンテンツ、フレンドコンテンツ、広告コンテンツなどを含むことができる。一実施形態では、クライアントシステム１３０６は、ＨＭＤユーザのためのコンテンツを同時に処理するために使用され得、それにより、ゲームプレイの間、ＨＭＤに、インタラクティビティに関連するマルチメディアコンテンツが提供されるようになっている。このため、クライアントシステム１０６は、ビデオゲームコンテンツに無関係である場合がある他のコンテンツを第２のスクリーンに提供することもできる。クライアントシステム１３０６は、一実施形態では、コンテンツソース１３２０の１つから、またはローカルユーザから、またはリモートのユーザから、第２のスクリーンコンテンツを受領することができる。

図１４は、本開示の様々な実施形態に係る、ゲームシステム１４００のブロック図である。ゲームシステム１４００は、ビデオストリーミングを、１つまたは複数のクライアント１４１０に、ネットワーク１４１５を介して提供するように構成されている。ゲームシステム１４００は、通常、ビデオサーバシステム１４２０と、オプションのゲームサーバ１４２５とを含んでいる。ビデオサーバシステム１４２０は、ビデオストリーミングを、１つまたは複数のクライアント１４１０に、最低限の品質のサービスで提供するように構成されている。たとえば、ビデオサーバシステム１４２０は、ビデオゲーム内の状態または視点を変更するゲームコマンドを受信し、この状態の変化を反映した、アップデートされたビデオストリーミングを、最小の遅延時間で、クライアント１４１０に提供する場合がある。ビデオサーバシステム１４２０は、これから規定されるフォーマットを含む、幅広い代替的ビデオフォーマットで、ビデオストリーミングを提供するように構成されている場合がある。さらに、ビデオストリーミングは、幅広いフレームレートで、ユーザに提供するために構成されたビデオフレームを含む場合がある。通常のフレームレートは、毎秒３０フレーム、毎秒６０フレーム、及び、毎秒１２０フレームである。しかし、より高いかより低いフレームレートが、本開示の代替的実施形態に含まれる。

本明細書では個別に１４１０Ａ、１４１０Ｂなどと称される、クライアント１４１０は、ヘッドマウントディスプレイ、ターミナル、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線デバイス、デジタルパッド、スタンドアロンデバイス、手持ちのゲームプレイデバイス、及び／または類似のものを含む場合がある。通常、クライアント１４１０は、エンコードされたビデオストリーミングを受信し、ビデオストリーミングをデコードし、結果として得られたビデオを、ユーザ、たとえばゲームのプレーヤに提供するように構成されている。エンコードされたビデオストリーミングの受信、及び／または、ビデオストリーミングのデコードのプロセスは、通常、クライアントの受信バッファ内に、個別のビデオフレームを保存することを含んでいる。ビデオストリーミングは、クライアント１４１０と一体のディスプレイ上、または、モニタもしくはテレビなどの別のデバイス上で、ユーザに提供される場合がある。クライアント１４１０は、任意選択的に、２人以上のゲームプレーヤをサポートするように構成されている。たとえば、ゲームコンソールは、２人、３人、４人、またはそれより多くのプレーヤを同時にサポートするように構成されている場合がある。これらプレーヤの各々は、別々のビデオストリーミングを受領する場合があるか、単一のビデオストリーミングが、各プレーヤのために特別に生成されたフレームの領域、たとえば、各プレーヤの視点に基づいて生成されたフレームの領域を含む場合がある。クライアント１４１０は、任意選択的に、地理的に分散されている。ゲームシステム１４００に含まれるクライアントの数は、１人または２人から、数千、数万、またはそれより多くの人数まで、様々である場合がある。本明細書で使用される場合、「ゲームプレーヤ」との用語は、ゲームをプレイする人に言及するために使用され、「ゲームプレイデバイス」との用語は、ゲームをプレイするために使用されるデバイスに言及するために使用される。いくつかの実施形態では、ゲームプレイデバイスは、ゲーム体験をユーザに届けるために共同する複数のコンピュータデバイスに言及する場合がある。たとえば、ゲームコンソール及びＨＭＤは、ビデオサーバシステム１４２０と協同して、ＨＭＤを通して見られるゲームを届ける場合がある。一実施形態では、ゲームコンソールは、ビデオサーバシステム１４２０からビデオストリーミングを受信し、ゲームコンソールは、レンダリングのために、ＨＭＤに対し、ビデオストリーミングを進行させるか、ビデオストリーミングにアップデートする。

クライアント１４１０は、ビデオストリーミングを、ネットワーク１４１５を介して受信するように構成されている。ネットワーク１４１５は、電話ネットワーク、インターネット、無線ネットワーク、電力線ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、プライベートネットワーク、及び／または類似のネットワークを含む、任意のタイプの通信ネットワークである場合がある。通常の実施形態では、ビデオストリーミングは、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰなどの、標準的なプロトコルを介して通信される。代替的には、ビデオストリーミングは、私有の規格を介して通信される。

クライアント１４１０の通常の実施例は、プロセッサ、不揮発性メモリ、ディスプレイ、デコーディングロジック、ネットワーク通信能力、及び入力デバイスを備えたパーソナルコンピュータである。デコーディングロジックは、ハードウェア、ファームウェア、及び／または、コンピュータ可読媒体上に貯蔵されたソフトウェアを含む場合がある。ビデオストリーミングをデコード（及びエンコード）するためのシステムは、当該技術ではよく知られており、使用される特定のエンコーディングスキームに応じて様々である。

クライアント１４１０は、必要とはされていないが、受信されたビデオを変更するために構成されたシステムをさらに含む場合がある。たとえば、クライアントは、さらなるレンダリングを実施する、１つのビデオ画像を別のビデオ画像上にオーバーレイさせる、ビデオ画像をクロッピングする、及び／または類似の操作を実施するように構成されている場合がある。たとえば、クライアント１４１０は、Ｉフレーム、Ｐフレーム、及びＢフレームなどの、様々なタイプのビデオフレームを受領し、これらフレームを、ユーザに対するディスプレイのための画像へと処理するように構成されている場合がある。いくつかの実施形態では、クライアント１４１０の部材が、ビデオストリーミング上のさらなるレンダリング、シェーディング、３−Ｄへの変換、または類似の操作を実施するように構成されている。クライアント１４１０の部材は、任意選択的に、２つ以上の音声またはビデオのストリーミングを受信するように構成されている。クライアント１４１０の入力デバイスには、たとえば、片手のゲームコントローラ、両手のゲームコントローラ、ジェスチャ認識システム、視線認識システム、ボイス認識システム、キーボード、ジョイスティック、ポインティングデバイス、力フィードバックデバイス、モーション及び／または位置検知デバイス、マウス、タッチスクリーン、ニューラルインターフェース、カメラ、これから開発される入力デバイス、及び／または類似のものが含まれる場合がある。

クライアント１４１０によって受信されたビデオストリーミング（及び、任意選択的には音声ストリーミング）は、ビデオサーバシステム１４２０によって生成及び提供される。本明細書の別の場所でさらに記載するように、このビデオストリーミングには、ビデオフレームが含まれる（また、音声ストリーミングには、音声フレームが含まれる）。ビデオフレームは、ユーザに対して表示される画像に、有意義に寄与するように構成されている（たとえば、これらビデオフレームは、適切なデータ構造内のピクセル情報を含んでいる）。本明細書で使用される場合、「ビデオフレーム」との用語は、ユーザに対して示される画像に寄与する、たとえば影響するように構成された、支配的な情報を含むフレームに言及するために使用される。「ビデオフレーム」に関する本明細書での教示のほとんどは、「音声フレーム」にも適用され得る。

クライアント１４１０は、通常、ユーザからの入力を受信するように構成されている。これら入力には、ビデオゲームの状態を変更するか、ゲームプレイに別様に影響するように構成されたゲームコマンドが含まれる場合がある。ゲームコマンドは、入力デバイスを使用して受信され得る、及び／または、クライアント１４１０上で実行する命令を計算することによって自動的に生成される場合がある。受信されたゲームコマンドは、クライアント１４１０から、ネットワーク１４１５を介して、ビデオサーバシステム１４２０及び／またはゲームサーバ１４２５に通信される。たとえば、いくつかの実施形態では、ゲームコマンドは、ゲームサーバ１４２５に、ビデオサーバシステム１４２０を介して通信される。いくつかの実施形態では、ゲームコマンドの別々のコピーが、クライアント１４１０から、ゲームサーバ１４２５及びビデオサーバシステム１４２０に通信される。ゲームコマンドの通信は、任意選択的には、コマンドの同一性に応じるものである。ゲームコマンドは、任意選択的には、クライアント１４１０Ａから、音声またはビデオストリーミングをクライアント１４１０Ａに提供するために使用される、異なるルートまたは通信チャンネルを通して通信される。

ゲームサーバ１４２５は、任意選択的に、ビデオサーバシステム１４２０とは異なるエンティティによって操作される。たとえば、ゲームサーバ１４２５は、マルチプレイヤゲームのパブリッシャーによって操作される場合がある。この実施例では、ビデオサーバシステム１４２０は、任意選択的に、クライアントとして、ゲームサーバ１４２５によって見られ、また、任意選択的に、ゲームサーバ１４２５の視点から、従来技術のゲームエンジンを実行する従来技術のクライアントであるように見えてくるように構成されている。ビデオサーバシステム１４２０とゲームサーバ１４２５との間の通信は、任意選択的には、ネットワーク１４１５を介して行われる。したがって、ゲームサーバ１４２５は、複数のクライアントにゲームの状態の情報を送信する、従来技術のマルチプレイヤゲームサーバとすることができ、複数のクライアントの１つは、ゲームサーバシステム１４２０である。ビデオサーバシステム１４２０は、ゲームサーバ１４２５の複数の例と同時に通信するように構成されている場合がある。たとえば、ビデオサーバシステム１４２０は、様々なユーザに、複数の様々なビデオゲームを提供するように構成され得る。これら様々なビデオゲームの各々は、異なるゲームサーバ１４２５によってサポートされる、及び／または、異なるエンティティによって発表される場合がある。いくつかの実施形態では、いくつかの地理的に分散されたビデオサーバシステム１４２０の例は、複数の異なるユーザにゲームビデオを提供するように構成されている。ビデオサーバシステム１４２０のこれら例の各々は、ゲームサーバ１４２５の同じ例と通信する場合がある。ビデオサーバシステム１４２０と、１つまたは複数のゲームサーバ１４２５との間の通信は、任意選択的には、専用の通信チャンネルを介して行われる。たとえば、ビデオサーバシステム１４２０は、ゲームサーバ１４２５に、これら２つのシステム間の通信専用である、高バンド幅のチャンネルを介して接続されている場合がある。

ビデオサーバシステム１４２０は、少なくとも、ビデオソース１４３０、Ｉ／Ｏデバイス１４４５、プロセッサ１４５０、及び非一時的なストレージ１４５５を備えている。ビデオサーバシステム１４２０は、１つのコンピュータデバイスを含む場合があるか、複数のコンピュータデバイスに分散されている場合がある。これらコンピュータデバイスは、任意選択的に、ローカルエリアネットワークなどの通信システムを介して接続されている。

ビデオソース１４３０は、ビデオストリーミング、たとえば、ストリーミングビデオまたは、動いている写真を形成する一連のビデオフレームを提供するように構成されている。いくつかの実施形態では、ビデオソース１４３０は、ビデオゲームエンジン及びレンダリングロジックを含んでいる。ビデオゲームエンジンは、プレーヤからゲームコマンドを受信し、受信されたコマンドに基づき、ビデオゲームの状態のコピーを保持するように構成されている。このゲームの状態には、ゲーム環境内のオブジェクトの位置、及び、通常は、視点が含まれる。ゲームの状態には、オブジェクトの特性、画像、色、及び／またはテクスチャも含まれる場合がある。ゲームの状態は、通常、ゲームのルール、及び、移動する、ターンする、攻撃する、焦点を合わせる、インタラクトする、使用する、及び／または類似のものなどのゲームコマンドに基づいて保持される。ゲームエンジンの一部は、任意選択的に、ゲームサーバ１４２５内に配置される。ゲームサーバ１４２５は、地理的に分散されたクライアントを使用して、複数のプレーヤから受領したゲームコマンドに基づき、ゲームの状態のコピーを保持する場合がある。これらのケースでは、ゲームの状態は、ゲームサーバ１４２５によってビデオソース１４３０に提供され、このゲームの状態のコピーが貯蔵され、レンダリングが実施される。ゲームサーバ１４２５は、ゲームコマンドを、クライアント１４１０から、ネットワーク１４１５を介して直接受信する場合がある、及び／または、ゲームコマンドを、ビデオサーバシステム１４２０を介して受領する場合がある。

ビデオソース１４３０は、通常、レンダリングロジック、たとえば、ハードウェア、ファームウェア、及び／または、ストレージ１４５５などのコンピュータ可読媒体に貯蔵されたソフトウェアを含んでいる。このレンダリングロジックは、ゲームの状態に基づき、ビデオストリーミングのビデオフレームを形成するように構成されている。レンダリングロジックのすべてまたは一部は、任意選択的に、グラフィック処理ユニット（ＧＰＵ）内に配置されている。レンダリングロジックは、通常、オブジェクト間の３次元の空間的関係を判定するため、及び／または、ゲームの状態及びビューポイントに基づき、適切なテクスチャなどを適用するために構成されたプロセッシングステージを含んでいる。レンダリングロジックは、加工前のビデオを提供する。加工前のビデオは、次いで、クライアント１４１０に通信される前に通常はエンコードされる。たとえば、加工前のビデオは、Ａｄｏｂｅ Ｆｌａｓｈ（登録商標）規格、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ、Ｘｖｉｄ、ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、ｒｅａｌｖｉｄｅｏ、ｍｐ３などに従ってエンコードされる場合がある。エンコーディングプロセスにより、リモートのデバイス上のデコーダに搬送するために任意選択的にパッケージングされたビデオストリーミングが提供される。ビデオストリーミングは、フレームサイズ及びフレームレートによって特徴付けられる。通常のフレームサイズには、８００×６００、１２８０×７２０（たとえば、７２０ｐ）、１０２４×７６８が含まれるが、任意の他のフレームサイズが使用される場合がある。フレームレートは、毎秒あたりのビデオフレームの数である。ビデオストリーミングには、異なるタイプのビデオフレームが含まれる場合がある。たとえば、Ｈ．２６４規格には、「Ｐ」フレームと「Ｉ」フレームとが含まれる。Ｉフレームは、ディスプレイデバイス上のすべてのマクロブロック／ピクセルをリフレッシュする情報を含んでおり、一方、Ｐフレームは、そのサブセットをリフレッシュする情報を含んでいる。Ｐフレームは、通常、データサイズがＩフレームより小である。本明細書で使用される場合、「フレームサイズ」との用語は、フレーム内のピクセル数に言及することが意図されている。「フレームデータサイズ」との用語は、フレームを貯蔵するために必要とされるバイトの数に言及するために使用される。

代替的実施形態では、ビデオソース１４３０は、カメラなどのビデオ記録デバイスを含んでいる。このカメラは、コンピュータゲームのビデオストリーミングに含めることができる、遅延したビデオ、またはライブビデオを生成するために使用される場合がある。結果として得られるビデオストリーミングは、任意選択的に、レンダリングされた画像と、スチールカメラまたはビデオカメラを使用して記録された画像との両方を、含んでいる。ビデオソース１４３０は、ビデオストリーミングに含まれる、予め記録されたビデオを貯蔵するように構成された貯蔵デバイスをも含む場合がある。ビデオソース１４３０は、オブジェクト、たとえば人のモーションまたは位置を検出するように構成された、モーションまたは位置の検知デバイスと、検出されたモーション及び／または位置に基づいて、ゲームの状態を判定するか、ビデオを生成するように構成されたロジックと、をも含む場合がある。

ビデオソース１４３０は、任意選択的に、他のビデオ上に配置されるように構成されたオーバーレイを提供するように構成されている。たとえば、これらオーバーレイは、コマンドインターフェース、ログイン命令、ゲームプレーヤへのメッセージ、他のゲームプレーヤの画像、他のゲームプレーヤのビデオフィード（たとえば、ウェブカムビデオ）を含む場合がある。タッチスクリーンインターフェースまたは視線検出インターフェースを含むクライアント１４１０Ａの実施形態では、オーバーレイは、バーチャルキーボード、ジョイスティック、タッチパッド、及び／または類似のものを含む場合がある。オーバーレイの一実施例では、プレーヤの声が、音声ストリーム上にオーバーレイされる。ビデオソース１４３０は、任意選択的に、１つまたは複数の音声ソースをさらに含んでいる。

ビデオサーバシステム１４２０が、２人以上のプレーヤからの入力に基づいてゲームの状態を維持するように構成されている実施形態では、各プレーヤは、ビューの位置及び方向を含む、異なるビューのポイントを有する場合がある。ビデオソース１４３０は、任意選択的に、プレーヤの視点に基づき、各プレーヤに、別々のビデオストリーミングを提供するように構成されている。さらに、ビデオソース１４３０は、異なるフレームサイズ、フレームデータサイズ、及び／またはエンコーディングを、クライアント１４１０の各々に提供するように構成されている場合がある。ビデオソース１４３０は、任意選択的に、３−Ｄビデオを提供するように構成されている。

Ｉ／Ｏデバイス１４４５は、ビデオサーバシステム１４２０に関し、ビデオ、コマンド、情報のリクエスト、ゲームの状態、視線の情報、デバイスのモーション、デバイスの位置、ユーザのモーション、クライアントの身元、プレーヤの身元、ゲームコマンド、安全性情報、音声、及び／または類似のものなどの情報を送信及び／または受信するように構成されている。Ｉ／Ｏデバイス１４４５は、通常、ネットワークカードまたはモデムなどの通信ハードウェアを含んでいる。Ｉ／Ｏデバイス１４４５は、ゲームサーバ１４２５、ネットワーク１４１５、及び／またはクライアント１４１０と通信するように構成されている。

プロセッサ１４５０は、本明細書に論じたビデオサーバシステム１４２０の様々な構成要素内に含まれる、ロジック、たとえばソフトウェアを実行するように構成されている。たとえば、プロセッサ１４５０は、ビデオソース１４３０、ゲームサーバ１４２５、及び／またはクライアント修飾子１４６０の機能を実施するために、ソフトウェア命令でプログラムされる場合がある。ビデオサーバシステム１４２０は、任意選択的に、プロセッサ１４５０の２つ以上の実体を含んでいる。プロセッサ１４５０は、ビデオサーバシステム１４２０によって受信されたコマンドを実行するため、または、本明細書に論じたゲームシステム１４００の様々な要素の操作を調整するために、ソフトウェア命令でプログラムされる場合もある。プロセッサ１４５０は、１つまたは複数のハードウェアデバイスを含む場合がある。プロセッサ１４５０は、電子プロセッサである。

ストレージ１４５５は、非一時的なアナログ及び／またはデジタルの貯蔵デバイスを含んでいる。たとえば、ストレージ１４５５は、ビデオフレームを貯蔵するように構成されたアナログ貯蔵デバイスを含む場合がある。ストレージ１４５５は、コンピュータ可読デジタルストレージ、たとえば、ハードドライブ、光学ドライブ、ソリッドステートストレージを含む場合がある。ストレージ１４１５は、（たとえば、適切なデータ構造またはファイルシステムにより）ビデオフレーム、疑似フレーム、ビデオフレームと疑似フレームとの両方を含むビデオストリーミング、音声フレーム、音声ストリーミング、及び／または類似のものを貯蔵するように構成されている。ストレージ１４５５は、任意選択的に、複数のデバイスにわたって分配されている。いくつかの実施形態では、ストレージ１４５５は、本明細書の別の場所で論じたビデオソース１４３０のソフトウェア構成要素を貯蔵するように構成されている。これら構成要素は、必要な場合に提供される準備がされたフォーマットで貯蔵されている場合がある。

ビデオサーバシステム１４２０は、任意選択的に、クライアント修飾子１４６０をさらに含んでいる。クライアント修飾子１４６０は、クライアント１４１０Ａまたは１４１０Ｂなどのクライアントの能力をリモートで判定するために構成されている。これら能力には、クライアント１４１０Ａ自体の能力と、クライアント１４１０Ａとビデオサーバシステム１４２０との間の１つまたは複数の通信チャンネルの能力との両方が含まれ得る。たとえば、クライアント修飾子１４６０は、ネットワーク１４１５を通して通信チャンネルをテストするように構成されている場合がある。

クライアント修飾子１４６０は、マニュアルで、またはオートで、クライアント１４１０Ａの能力を判定する（たとえば、発見する）ことができる。マニュアルでの判定には、クライアント１４１０Ａのユーザと通信し、ユーザに、能力を示すように依頼することが含まれる。たとえば、いくつかの実施形態では、クライアント修飾子１４６０は、クライアント１４１０Ａのブラウザ内の画像、テキスト、及び／または類似のものを表示するように構成されている。一実施形態では、クライアント１４１０Ａは、ブラウザを含むＨＭＤである。別の実施形態では、クライアント１４１０Ａは、ＨＭＤに表示される場合がある、ブラウザを有するゲームコンソールである。表示されるオブジェクトは、ユーザに、クライアント１４１０Ａのオペレーティングシステム、プロセッサ、ビデオデコーダタイプ、ネットワーク接続のタイプ、ディスプレイ解像度などの情報を入力するように要求する。ユーザによって入力された情報は、クライアント修飾子１４６０に戻すように通信される。

オートの判定は、たとえば、クライアント１４１０Ａ上のエージェントの実行によって、及び／または、クライアント１４１０Ａにテストビデオを送信することによって行われる場合がある。エージェントは、ウェブページに埋め込まれたか、アドオンとしてインストールされた、ｊａｖａ（登録商標） ｓｃｒｉｐｔなどのコンピュータ命令を含む場合がある。エージェントは、任意選択的に、クライアント修飾子１４６０によって提供される。様々な実施形態では、エージェントは、クライアント１４１０Ａの処理力、クライアント１４１０Ａのデコーディング及びディスプレイの能力、クライアント１４１０Ａとビデオサーバシステム１４２０との間の通信チャンネルの遅延時間の信頼性及びバンド幅、クライアント１４１０Ａのディスプレイのタイプ、クライアント１４１０Ａに存在するファイヤウォール、クライアント１４１０Ａのハードウェア、クライアント１４１０Ａ上で実行するソフトウェア、クライアント１４１０Ａ内のレジストリエントリ、及び／または類似のものを見出すことができる。

クライアント修飾子１４６０は、ハードウェア、ファームウェア、及び／または、コンピュータ可読媒体上に貯蔵されたソフトウェアを含んでいる。クライアント修飾子１４６０は、任意選択的に、ビデオサーバシステム１４２０の１つまたは複数の他の要素とは別のコンピュータデバイスに配置されている。たとえば、いくつかの実施形態では、クライアント修飾子１４６０は、クライアント１４１０と、ビデオサーバシステム１４２０の２つ以上の実体との間の通信チャンネルの特性を判定するように構成されている。これら実施形態では、クライアント修飾子によって発見された情報は、ビデオサーバシステム１４２０のどの実体が、クライアント１４１０の１つにストリーミングビデオを搬送するためにもっとも適しているかを判定するために使用され得る。

本開示の各実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースであるかプログラム可能な大衆消費電子製品、ミニコンピュータ、メインフレームコンピュータなどを含む、様々なコンピュータシステムの構成で実施される場合がある。本開示は、分散されたコンピュータの環境でも実施され得、ここでタスクが、有線ベースであるか無線のネットワークを通してリンクされたリモートの処理デバイスによって実施される。

上述の実施形態を考慮しつつ、本開示が、コンピュータシステム内に貯蔵されたデータを伴う、様々なコンピュータで実施される操作を採用することができることを理解されたい。これら操作は、物理量の物理的操作を必要とする操作である。本開示の一部を形成する、本明細書に記載の操作のいずれかは、有用なマシン操作である。本開示は、これら操作を実施するためのデバイスまたは装置にも関する。この装置は、要求される目的のために特別に構築することができるか、この装置は、選択的に起動される多目的コンピュータとすることができるか、コンピュータ内に貯蔵されたコンピュータプログラムによって構成することができる。具体的には、様々な多目的マシンは、本明細書の教示に関連して記載されるコンピュータプログラムとともに使用され得るか、様々な多目的マシンは、必要とされる操作を実施するように、より特別な装置を構築するために、より好都合である場合がある。

本開示は、コンピュータ可読媒体上のコンピュータ可読コードとして実施することもできる。コンピュータ可読媒体は、データを貯蔵することができる任意のデータ貯蔵デバイスであり、このデータは、後に、コンピュータシステムによって読み込むことができる。コンピュータ可読媒体の実施例には、ハードドライブ、ネットワークに取り付けられたストレージ（ＮＡＳ）、リードオンリメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、ならびに、他の光学、及び、光学ではない、データ貯蔵デバイスが含まれる。コンピュータ可読媒体は、分配される方式で貯蔵及び実施されるように、ネットワークに結合されたコンピュータシステムにわたって分布されたコンピュータ可読有形的媒体を含むことができる。

方法の操作が、特定の順番で記載されているが、他のハウスキーピング操作が、各操作間で実施される場合があるか、各操作が、わずかに異なる時間に行われるように調整される場合があるか、処理に関連付けられた様々なインターバルでの処理操作の発生を可能にするシステムに配置される場合があること、及び、オーバーレイ操作の処理が、所望の方法で実施されることを理解されたい。

前述の開示が、理解を明確にする目的のために、いくらか詳細に記載されているが、一定の変更及び変形が、添付の特許請求の範囲内で実施できることは明らかとなる。したがって、本実施形態は、説明的ものであり、限定的ものではないと解釈され、本開示は、本明細書に与えられる詳細に限定されるものではないが、本開示の範囲内、及び均等の内で、変更される場合がある。

Claims (19)

1. ビデオゲームを実行し、前記ビデオゲームの第１のビデオフィードをディスプレイデバイスにレンダリングするコンピュータデバイスであって、前記第１のビデオフィードが、実行している前記ビデオゲームによって規定されたバーチャル空間内に第１のビューを提供する、前記コンピュータデバイスと、
   ロボットであって、
   前記ロボットが配置されたローカル環境内のユーザの画像を取得するカメラ、
   プロジェクタ、及び、
   前記ユーザの前記画像を処理して、前記ユーザの視線の方向を識別し、前記ユーザの前記視線の方向を前記コンピュータデバイスに通信する、コントローラ
   を含む、前記ロボットと、を備え、
   前記ユーザの前記視線の方向が、前記ディスプレイデバイスに向けられた第１の視線の方向から、前記ディスプレイデバイスから離れ、前記ローカル環境内の投影表面に向けられた第２の視線の方向に変化した際に、前記コンピュータデバイスが、前記ビデオゲームの第２のビデオフィードを生成し、前記ビデオゲームの前記第２のビデオフィードを前記ロボットに送信し、前記第２のビデオフィードが、前記ユーザの前記視線の方向の前記変化によって判定されたように前記第１のビューから変化した第２のビューを前記バーチャル空間に提供し、
   前記ロボットの前記コントローラが、前記第２のビデオフィードを前記ローカル環境内の前記投影表面上に投影するように前記プロジェクタを作動させる、システム。
2. 前記バーチャル空間内への前記第１のビューが、前記ユーザによって制御される前記ビデオゲームのバーチャルオブジェクトの視線から規定される前方のビューであり、
   前記バーチャル空間内への前記第２のビューが、前記バーチャルオブジェクトの前記視線から規定される側方のビューである、請求項１に記載のシステム。
3. 前記バーチャル空間内への、前記第１のビューから前記第２のビューへの前記変化が、前記第１のビューから前記第２のビューへの角回転を含んでおり、
   前記第１の視線の方向から前記第２の視線の方向への前記変化が、前記第１の視線の方向から前記第２の視線の方向への角回転を含んでおり、
   前記第１のビューから前記第２のビューへの前記角回転の量が、前記第１の視線の方向から前記第２の視線の方向への前記角回転の量によって判定される、請求項１に記載のシステム。
4. 前記ディスプレイデバイスのディスプレイ表面が、第１の平面に沿って向けられており、
   前記投影表面が、前記第１の平面とは実質的に平行ではない第２の平面に沿って向けられている、請求項１に記載のシステム。
5. 前記ロボットが、前記カメラが前記ユーザの前記画像を取得することを可能にするように、前記カメラの方向を制御する少なくとも１つのアクチュエータをさらに含んでいる、請求項１に記載のシステム。
6. 前記ロボットが、前記プロジェクタが前記第２のビデオフィードを前記投影表面上に投影することを可能にするように、前記プロジェクタの方向を制御する少なくとも１つのアクチュエータをさらに含んでいる、請求項１に記載のシステム。
7. 前記ロボットが、前記カメラが前記ユーザの前記画像を取得することを可能にするように、及び／または、前記プロジェクタが前記第２のビデオフィードを前記投影表面上に投影することを可能にするように、前記ローカル環境内の異なる位置への前記ロボットの移動を制御する少なくとも１つのアクチュエータをさらに含んでいる、請求項１に記載のシステム。
8. ビデオを上に投影するための表面を識別するために、ローカル環境をスキャンするようにロボットを使用することと、
   前記ローカル環境内のディスプレイデバイスと、前記識別された表面との間の空間的関係を判定することと、
   前記ローカル環境内におけるユーザの視線の方向を追跡するように前記ロボットを使用することと、
   前記ユーザの前記視線の方向が前記ディスプレイデバイスに向けられている場合、前記ディスプレイデバイス上に、バーチャル空間の第１のビューをレンダリングすることと、
   前記ユーザの前記視線の方向が前記識別された表面に向けられている場合、前記識別された表面上に前記バーチャル空間の第２のビューを投影するように、前記ロボットを使用することであって、前記バーチャル空間内における前記第１のビューと前記第２のビューとの間の空間的関係が、前記ディスプレイデバイスと前記識別された表面との間の前記空間的関係によって判定される、前記使用することと、を含む、方法。
9. 投影のための前記表面を識別するように、前記ローカル環境をスキャンすることには、前記ロボットによって前記ローカル環境の画像を取得することと、予め規定された最小のサイズを有する実質的にフラットな表面を識別するように、前記ローカル環境の前記取得された画像を分析することと、を含む、請求項８に記載の方法。
10. 前記ディスプレイデバイスと前記識別された表面との間の前記空間的関係を判定することが、前記ローカル環境内の前記ディスプレイデバイス及び前記識別された表面の位置及び／または向きを判定することを含む、請求項８に記載の方法。
11. 前記ディスプレイデバイスと前記識別された表面との間の前記空間的関係を判定することが、第１の平面であって、前記ディスプレイデバイスが前記第１の平面に沿って向けられている、前記第１の平面と、第２の平面であって、前記識別された表面が、前記第２の平面に沿って向けられている、前記第２の平面との間の交差部によって形成された角度を判定することを含む、請求項１０に記載の方法。
12. 前記ローカル環境をスキャンするように前記ロボットを使用することが、前記ローカル環境内で前記ロボットを異なる位置に移動することを含む、請求項８に記載の方法。
13. 前記バーチャル空間の前記第１のビューが、バーチャルビューポイントから規定されるとともに、前記バーチャル空間内の第１の方向を有する第１のビューの円錐台によって規定され、
    前記バーチャル空間の前記第２のビューが、前記バーチャルビューポイントから規定されるとともに、前記バーチャル空間内の第２の方向を有する第２のビューの円錐台によって規定される、請求項８に記載の方法。
14. プログラム指示が上に埋め込まれた非一時的なコンピュータ可読媒体であって、前記プログラム指示が、プロセッサによって実行された際に、前記プロセッサに、
    ビデオを上に投影するための表面を識別するために、ローカル環境をスキャンするようにロボットを使用する操作と、
    前記ローカル環境内のディスプレイデバイスと、前記識別された表面との間の空間的関係を判定する操作と、
    前記ローカル環境内におけるユーザの視線の方向を追跡するように前記ロボットを使用する操作と、
    前記ユーザの前記視線の方向が前記ディスプレイデバイスに向けられている場合、前記ディスプレイデバイス上に、バーチャル空間の第１のビューをレンダリングする操作と、
    前記ユーザの前記視線の方向が前記識別された表面に向けられている場合、前記識別された表面上に前記バーチャル空間の第２のビューを投影するように、前記ロボットを使用する操作であって、前記バーチャル空間内における前記第１のビューと前記第２のビューとの間の空間的関係が、前記ディスプレイデバイスと前記識別された表面との間の前記空間的関係によって判定される、前記使用する操作と、
    を含む方法を実施させる、非一時的なコンピュータ可読媒体。
15. 投影のための前記表面を識別するように、前記ローカル環境をスキャンすることが、前記ロボットによって前記ローカル環境の画像を取得することと、予め規定された最小のサイズを有する実質的にフラットな表面を識別するように、前記ローカル環境の前記取得された画像を分析することと、を含む、請求項１４に記載の非一時的なコンピュータ可読媒体。
16. 前記ディスプレイデバイスと前記識別された表面との間の前記空間的関係を判定することが、前記ローカル環境内の前記ディスプレイデバイス及び前記識別された表面の位置及び／または向きを判定することを含む、請求項１４に記載の非一時的なコンピュータ可読媒体。
17. 前記ディスプレイデバイスと前記識別された表面との間の前記空間的関係を判定することが、第１の平面であって、前記ディスプレイデバイスが前記第１の平面に沿って向けられている、前記第１の平面と、第２の平面であって、前記識別された表面が、前記第２の平面に沿って向けられている、前記第２の平面との間の交差部によって形成された角度を判定することを含む、請求項１６に記載の非一時的なコンピュータ可読媒体。
18. 前記ローカル環境をスキャンするように前記ロボットを使用することが、前記ローカル環境内で前記ロボットを異なる位置に移動することを含む、請求項１４に記載の非一時的なコンピュータ可読媒体。
19. 前記バーチャル空間の前記第１のビューが、バーチャルビューポイントから規定されるとともに、前記バーチャル空間内の第１の方向を有する第１のビューの円錐台によって規定され、
    前記バーチャル空間の前記第２のビューが、前記バーチャルビューポイントから規定されるとともに、前記バーチャル空間内の第２の方向を有する第２のビューの円錐台によって規定される、請求項１４に記載の非一時的なコンピュータ可読媒体。