JPWO2017191700A1 - 画像生成装置、画像生成方法及びプログラム - Google Patents

Abstract

仮想空間を共有する他のユーザがどこを見ているのかがわかる画像を生成できる画像生成装置、画像生成方法及びプログラムを提供する。仮想空間管理部（１２６）は、仮想空間内に配置された第１の視点を通る、第１のヘッドマウントディスプレイの姿勢に応じた第１の視線方向に沿った、第１の視点から離間した位置に、注視点を示す注視点オブジェクトを配置する。フレーム画像生成部（１２８）は、注視点オブジェクトが配置される仮想空間内に配置された第２の視点から第２のヘッドマウントディスプレイの姿勢に応じた第２の視線方向を見た様子を表す画像を生成する。

Description

本発明は、画像生成装置、画像生成方法及びプログラムに関する。

仮想空間内に配置された視点から視線方向を見た様子が表示されるヘッドマウントディスプレイ（ＨＭＤ）が知られている。このようなＨＭＤのなかには、ＨＭＤの姿勢の変化に応じて仮想空間に設定されている視線方向が変化するものがある。

それぞれＨＭＤを装着する複数のユーザが仮想空間を共有し、これらのユーザで仮想空間を見た様子や仮想空間で表示される映像についてのコミュニケーションを行うことが検討されている。

このような場面において、他のユーザがどこを見ているのかがわかる画像が表示されれば、その画像を手がかりにユーザ間で円滑なコミュニケーションを図ることができる。しかし従来はそのような画像を生成する技術が存在しなかった。

本発明は上記実情に鑑みてなされたものであって、その目的の一つは、仮想空間を共有する他のユーザがどこを見ているのかがわかる画像を生成できる画像生成装置、画像生成方法及びプログラムを提供することにある。

上記課題を解決するために、本発明に係る画像生成装置は、仮想空間内に配置された第１の視点を通る、第１のヘッドマウントディスプレイの姿勢に応じた第１の視線方向に沿った、前記第１の視点から離間した位置に、注視点を示す注視点オブジェクトを配置する注視点オブジェクト配置部と、前記注視点オブジェクトが配置される前記仮想空間内に配置された第２の視点から第２のヘッドマウントディスプレイの姿勢に応じた第２の視線方向を見た様子を表す画像を生成する画像生成部と、を含む。

本発明の一態様では、前記仮想空間には、前記第１のヘッドマウントディスプレイを装着するユーザ及び前記第２のヘッドマウントディスプレイを装着するユーザが視覚可能な仮想オブジェクトが配置されており、前記注視点オブジェクト配置部は、前記第１の視点を通る前記第１の視線方向に沿った線と前記仮想オブジェクトとの交点に前記注視点オブジェクトを配置する。

この態様では、前記仮想オブジェクトには二次元画像がマッピングされており、前記注視点オブジェクト配置部は、前記二次元画像に前記注視点オブジェクトを配置してもよい。

また本発明の一態様では、前記注視点オブジェクト配置部は、複数のヘッドマウントディスプレイにそれぞれ対応付けられる複数の前記注視点オブジェクトを配置し、複数の前記注視点オブジェクトは対応付けられるヘッドマウントディスプレイを識別可能なオブジェクトである。

また、本発明に係る画像生成方法は、仮想空間内に配置された第１の視点を通る、第１のヘッドマウントディスプレイの姿勢に応じた第１の視線方向に沿った、前記第１の視点から離間した位置に、注視点を示す注視点オブジェクトを配置するステップと、前記注視点オブジェクトが配置される前記仮想空間内に配置された第２の視点から第２のヘッドマウントディスプレイの姿勢に応じた第２の視線方向を見た様子を表す画像を生成するステップと、を含む。

また、本発明に係るプログラムは、仮想空間内に配置された第１の視点を通る、第１のヘッドマウントディスプレイの姿勢に応じた第１の視線方向に沿った、前記第１の視点から離間した位置に、注視点を示す注視点オブジェクトを配置する手順、前記注視点オブジェクトが配置される前記仮想空間内に配置された第２の視点から第２のヘッドマウントディスプレイの姿勢に応じた第２の視線方向を見た様子を表す画像を生成する手順、をコンピュータに実行させる。

本発明の一実施形態に係る仮想空間共有システムの全体構成の一例を示す図である。 本発明の一実施形態に係るユーザシステムの構成の一例を示す図である。 本発明の一実施形態に係るヘッドマウントディスプレイの構成の一例を示す図である。 本発明の一実施形態に係るエンタテインメント装置の構成の一例を示す図である。 仮想空間が複数のユーザシステムで共有されている様子の一例を示す図である。 テクスチャ画像内の位置の座標値の一例を説明する説明図である。 視点データの一例を示す図である。 視点データの一例を示す図である。 仮想空間画像の一例を示す図である。 仮想空間の一例を示す図である。 仮想空間画像の一例を示す図である。 仮想空間の一例を示す図である。 インジケータデータの一例を示す図である。 インジケータデータの一例を示す図である。 仮想空間の一例を示す図である。 仮想空間画像の一例を示す図である。 仮想空間の一例を示す図である。 仮想空間画像の一例を示す図である。 ポインタデータの一例を示す図である。 仮想空間の一例を示す図である。 仮想空間画像の一例を示す図である。 本発明の一実施形態に係るエンタテインメント装置で実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るエンタテインメント装置において行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係るエンタテインメント装置において行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係るエンタテインメント装置において行われる処理の流れの一例を示すフロー図である。 仮想空間の一例を示す図である。 仮想空間画像の一例を示す図である。 仮想空間画像の一例を示す図である。 仮想空間画像の一例を示す図である。 仮想空間画像の一例を示す図である。

以下、本発明の一実施形態について、図面を参照しながら説明する。

図１は、本発明の一実施形態に係る仮想空間共有システム１の全体構成の一例を示す図である。図１に示すように、本実施形態に係る仮想空間共有システム１は、複数のユーザシステム２（２−１、２−２、・・・、２−ｎ）と、管理システム３と、含んでいる。ユーザシステム２及び管理システム３は、インターネット等のコンピュータネットワーク４に接続されており、複数のユーザシステム２及び管理システム３は互いに通信可能となっている。

図２は、本発明の一実施形態に係るユーザシステム２の構成の一例を示す図である。図３Ａは、本実施形態に係るヘッドマウントディスプレイ（ＨＭＤ）１２の構成の一例を示す図である。図３Ｂは、本実施形態に係るエンタテインメント装置１４の構成の一例を示す図である。

図２に示すように、本実施形態に係るユーザシステム２は、ＨＭＤ１２とエンタテインメント装置１４と中継装置１６とディスプレイ１８とカメラマイクユニット２０とコントローラ２２とを含んでいる。

本実施形態に係るＨＭＤ１２には、例えば図３Ａに示すように、制御部３０、記憶部３２、通信部３４、入出力部３６、表示部３８、センサ部４０、音声出力部４２が含まれる。

制御部３０は、例えばＨＭＤ１２にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。

記憶部３２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部３２には、制御部３０によって実行されるプログラムなどが記憶される。

通信部３４は、例えば無線ＬＡＮモジュールなどの通信インタフェースである。

入出力部３６は、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポート、ＡＵＸポートなどの入出力ポートである。

表示部３８は、ＨＭＤ１２の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイであり、エンタテインメント装置１４が生成する映像などを表示させる。また表示部３８は、ＨＭＤ１２の筐体に収容される。表示部３８は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される映像信号を受信して、当該映像信号が表す映像を出力するようにしてもよい。本実施形態に係る表示部３８は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３８は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。

センサ部４０は、例えば加速度センサやモーションセンサなどといったセンサである。センサ部４０は、ＨＭＤ１２の回転量、移動量などの計測結果を示すモーションデータを所定のフレームレートで、制御部３０に出力する。

音声出力部４２は、例えばヘッドホンやスピーカ等であり、エンタテインメント装置１４が生成する音声データが表す音声などを出力する。音声出力部４２は、例えばエンタテインメント装置１４が出力して中継装置１６で中継される音声信号を受信して、当該音声信号が表す音声を出力する。

本実施形態に係るエンタテインメント装置１４は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ−ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１４は、例えば記憶されているゲームプログラムの実行や光ディスクに記録されたコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置１４は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置１６を経由して、ＨＭＤ１２やディスプレイ１８に出力する。

本実施形態に係るエンタテインメント装置１４には、例えば図３Ｂに示すように、制御部５０、記憶部５２、通信部５４、入出力部５６が含まれる。

制御部５０は、例えばエンタテインメント装置１４にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係る制御部５０には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。

記憶部５２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部５２には、制御部５０によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部５２には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。

通信部５４は、例えば無線ＬＡＮモジュールなどの通信インタフェースなどである。

入出力部５６は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポートなどの入出力ポートである。

本実施形態に係る中継装置１６は、エンタテインメント装置１４から出力される映像信号や音声信号を中継してＨＭＤ１２やディスプレイ１８に出力するコンピュータである。

本実施形態に係るディスプレイ１８は、例えば液晶ディスプレイ等であり、エンタテインメント装置１４から出力される映像信号が表す映像などを表示させる。

本実施形態に係るカメラマイクユニット２０は、例えば被写体を撮像した画像をエンタテインメント装置１４に出力するカメラ２０ａ及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置１４に出力するマイク２０ｂを含んでいる。また本実施形態に係るカメラ２０ａはステレオカメラである。

ＨＭＤ１２と中継装置１６とは、例えば、無線通信によるデータの送受信が互いに可能になっている。エンタテインメント装置１４と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されており、データの送受信が互いに可能になっている。中継装置１６とディスプレイ１８とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置１４とカメラマイクユニット２０とは、例えば、ＡＵＸケーブルなどを介して接続されている。

本実施形態に係るコントローラ２２は、エンタテインメント装置１４に対する操作入力を行うための操作入力装置である。ユーザは、コントローラ２２が備える方向キーやボタンを押下したり、操作スティックを傾けたりすることで、コントローラ２２を用いて各種の操作入力を行うことができる。そして本実施形態では、コントローラ２２は、操作入力に対応付けられる入力データをエンタテインメント装置１４に出力する。また本実施形態に係るコントローラ２２は、ＵＳＢポートを備えている。そしてコントローラ２２は、ＵＳＢケーブルでエンタテインメント装置１４と接続することで、有線で入力データをエンタテインメント装置１４に出力することができる。また本実施形態に係るコントローラ２２は、無線通信モジュール等を備えており、無線で入力データをエンタテインメント装置１４に出力することができるようにもなっている。

管理システム３は、サーバ等から構成されるコンピュータシステムである。本実施形態では、管理システム３を介して複数のユーザシステム２で三次元の仮想空間が共有される。

図４は、仮想空間６０がユーザシステム２−１とユーザシステム２−２とで共有されている様子の一例を示す図である。

図４に例示する仮想空間６０には、それぞれが板状の三次元仮想オブジェクトである、ユーザの鑑賞対象となる３つの掛け軸オブジェクト６２（掛け軸オブジェクト６２ａ、掛け軸オブジェクト６２ｂ、及び、掛け軸オブジェクト６２ｃ）が配置されている。これらの掛け軸オブジェクト６２は、複数のユーザシステム２のそれぞれについての、当該ユーザシステム２に含まれるＨＭＤ１２を装着するユーザが視覚可能な仮想オブジェクトである。掛け軸オブジェクト６２は、複数のポリゴンから構成されており、その正面には書画が描かれた掛け軸の画像などといった、二次元画像であるテクスチャ画像がマッピングされている。図４において、掛け軸オブジェクト６２の正面から見て左から右に向かう方向をＸ軸正方向とする。また掛け軸オブジェクト６２の正面から見て手前から奥に向かう方向をＹ軸正方向とする。また掛け軸オブジェクト６２の正面から見て下から上に向かう方向をＺ軸正方向とする。

管理システム３は、例えば図４に例示する仮想空間６０を表す仮想空間データを、ユーザシステム２からの要求に応じて当該ユーザシステム２に送信する。そして共有する仮想空間を表す仮想空間データはそれぞれのユーザシステム２に記憶される。仮想空間データには、例えば仮想空間６０における掛け軸オブジェクト６２の位置（例えば、座標値）などを示すデータやテクスチャ画像が含まれる。

そして仮想空間６０内には、ユーザシステム２毎に個別の視点６４及び視線方向６６が設定される。そしてユーザシステム２に含まれるＨＭＤ１２の表示部３８には、当該ユーザシステム２において個別に設定された視点６４から視線方向６６を見た様子を表す画像が表示される。例えばユーザシステム２−１に含まれるＨＭＤ１２の表示部３８には、視点６４ａから視線方向６６ａを見た様子を表す画像が表示される。またユーザシステム２−２に含まれるＨＭＤ１２の表示部３８には、視点６４ｂから視線方向６６ｂを見た様子を表す画像が表示される。

図４の例では、視線方向６６ａも視線方向６６ｂもＹ軸正方向を向いている。そして視線方向６６ａに沿った視点６４ａを通る線も、視線方向６６ｂに沿った視点６４ｂを通る線も、掛け軸オブジェクト６２ｂと交差する。ここで視線方向６６ａに沿った視点６４ａを通る線と、掛け軸オブジェクト６２ｂとの交点の位置をＰ１とし、視線方向６６ｂに沿った視点６４ｂを通る線と、掛け軸オブジェクト６２ｂとの交点の位置をＰ２とする。

また、図５に示す、掛け軸オブジェクト６２ｂの表面にマッピングされたテクスチャ画像におけるＸ１Ｙ１二次元座標系において、位置Ｐ１の座標値は（ｐ１ｘ，ｐ１ｙ）であり、位置Ｐ２の座標値は（ｐ２ｘ，ｐ２ｙ）であることとする。図５に示すように、当該Ｘ１Ｙ１二次元座標系において、テクスチャ画像の上から下に向かう方向をＸ１軸正方向とし、テクスチャ画像の左から右に向かう方向をＹ１軸正方向とする。なおＸ１Ｙ１二次元座標系は、テクスチャ座標系であっても構わない。

また本実施形態では、カメラ２０ａが所定のサンプリングレートで撮影するＨＭＤ１２の像を含む画像やセンサ部４０による計測結果に基づいて、ＨＭＤ１２の位置や姿勢を特定できるようになっている。そして本実施形態では、ユーザシステム２に含まれるＨＭＤ１２の位置や姿勢に応じて、当該ユーザシステム２における視点６４の位置や視線方向６６が設定される。例えば、ＨＭＤ１２を装着するユーザが、ＨＭＤ１２を右方向に旋回させると、当該ＨＭＤ１２を含むユーザシステム２について設定されている視線方向６６が右方向に旋回する。ここで例えば、視線方向６６の変化量が、ＨＭＤ１２の向きの変化量に比例するようにしてもよい。また例えば、ＨＭＤ１２を装着するユーザが、ＨＭＤ１２を右方向に平行移動させると、当該ＨＭＤ１２を含むユーザシステム２について設定されている視点６４の位置が右方向に平行移動する。ここで例えば、視点６４の位置の変化量が、ＨＭＤ１２の位置の変化量に比例するようにしてもよい。このようにして本実施形態では、ユーザシステム２のユーザは、当該ユーザシステム２に含まれるＨＭＤ１２の位置や姿勢を変化させることで、仮想空間６０内に設定される視点６４の位置や視線方向６６を変化させることができるようになっている。

また本実施形態では、各ユーザシステム２は、仮想空間共有システム１に含まれる他のユーザシステム２から、当該ユーザシステム２について設定されている視点６４及び視線方向６６を示す視点データを受信する。

図６Ａ及び図６Ｂは、本実施形態に係る視点データの一例を示す図である。図６Ａ及び図６Ｂに示すように、本実施形態に係る視点データには、ユーザシステムＩＤ、視点位置データ、視線方向ベクトルデータが含まれる。視点データに含まれるユーザシステムＩＤは、ユーザシステム２の識別子であり、視点データは、当該ユーザシステムＩＤによって識別されるユーザシステム２の視点６４や視線方向６６を示すこととなる。なお本実施形態では、仮想空間共有システム１に含まれるユーザシステム２のそれぞれには一意のユーザシステムＩＤが予め割り当てられていることとする。例えばユーザシステム２−１のユーザシステムＩＤは１であり、ユーザシステム２−２のユーザシステムＩＤは２であることとする。視点位置データは、視点６４の位置を示すデータである。視線方向ベクトルデータは、視線方向６６のベクトルを示すデータである。

図６Ａに示す視点データには、ユーザシステム２−１について設定されている視点６４ａ及び視線方向６６ａが示されている。例えば、図６Ａに示す視点データに含まれる視点位置データが示す三次元座標値（ｘａ，ｙａ，ｚａ）は、視点６４ａの位置を示している。また例えば、図６Ａに示す視点データに含まれる視線方向ベクトルデータが示す三次元座標値（Ｖｘａ，Ｖｙａ，Ｖｚａ）は、視線方向６６ａに沿った単位ベクトルを示している。例えば図４に示すように視線方向６６ａがＹ軸正方向を向いている場合には、（Ｖｘａ，Ｖｙａ，Ｖｚａ）の値は（０，１，０）となる。

図６Ｂに示す視点データには、ユーザシステム２−２について設定されている視点６４ｂ及び視線方向６６ｂが示されている。例えば、図６Ｂに示す視点データに含まれる視点位置データが示す三次元座標値（ｘｂ，ｙｂ，ｚｂ）は、視点６４ｂの位置を示している。また例えば、図６Ｂに示す視点データに含まれる視線方向ベクトルデータが示す三次元座標値（Ｖｘｂ，Ｖｙｂ，Ｖｚｂ）は、視線方向６６ｂに沿った単位ベクトルを示している。例えば図４に示すように視線方向６６ｂがＹ軸正方向を向いている場合には、（Ｖｘｂ，Ｖｙｂ，Ｖｚｂ）の値は（０，１，０）となる。

そして図６Ａに示す視点データはユーザシステム２−１から管理システム３に送信される。そして管理システム３は、当該視点データを、ユーザシステム２−２などといった、仮想空間共有システム１に含まれる、ユーザシステム２−１以外のユーザシステム２に送信する。また図６Ｂに示す視点データはユーザシステム２−２から管理システム３に送信される。そして管理システム３は、当該視点データを、ユーザシステム２−１などといった、仮想空間共有システム１に含まれる、ユーザシステム２−２以外のユーザシステム２に送信する。このようにして本実施形態では、各ユーザシステム２について設定されている視点６４の位置や視線方向６６を示すデータを複数のユーザシステム２で共有できることとなる。すなわち各ユーザシステム２は、他のユーザシステム２について設定されている視点６４の位置や視線方向６６を特定できることとなる。

そして本実施形態に係るユーザシステム２は、他のユーザシステム２において設定されている視点６４の位置を示す視点オブジェクトや注視点の位置を示す注視点オブジェクトを共有される仮想空間内に配置できるようになっている。以下、本実施形態に係る視点オブジェクトを視点インジケータ６８と呼び、本実施形態に係る注視点オブジェクトを注視点インジケータ７０と呼ぶこととする。そして本実施形態では、ユーザシステム２のユーザは、表示される視点インジケータ６８や注視点インジケータ７０によって、他のユーザシステム２のユーザがどこからどこを見ているのかを知ることができるようになっている。

以下、視点インジケータ６８及び注視点インジケータ７０の表示について、さらに説明する。

図７は、ユーザシステム２−１のＨＭＤ１２の表示部３８に表示される、視点６４ａから視線方向６６ａを見た様子を表す画像である仮想空間画像７２ａの一例を示す図である。また図８には、図７に示す仮想空間画像７２ａがユーザシステム２−１のＨＭＤ１２に表示される際の視点６４ａ及び視線方向６６ａが設定された仮想空間７４の一例が示されている。

図９は、ユーザシステム２−２のＨＭＤ１２の表示部３８に表示される、視点６４ｂから視線方向６６ｂを見た様子を表す画像である仮想空間画像７２ｂの一例を示す図である。また図１０には、図９に示す仮想空間画像７２ｂがユーザシステム２−２のＨＭＤ１２に表示される際の視点６４ｂ及び視線方向６６ｂが設定された仮想空間７６の一例が示されている。

なお仮想空間画像７２ａや仮想空間画像７２ｂは、三次元画像であっても二次元画像であっても構わない。

図８に示す仮想空間７４には、ユーザシステム２−２に対応付けられる視点６４ｂの位置に視点インジケータ６８ｂが配置されている。また図８に示す仮想空間７４には、視線方向６６ｂに沿った視点６４ｂを通る線と、掛け軸オブジェクト６２ｂとの交点の位置（図４に示されている位置Ｐ２）に注視点インジケータ７０ｂが配置されている。なお図８の例では、視点インジケータ６８ｂは、視点６４ａから見て視線方向６６ａの逆側に配置されている。すなわち、視点インジケータ６８ｂのＹ座標値が、視点６４ａのＹ座標値よりも小さい。そのため図７に示す仮想空間画像７２ａには、視点インジケータ６８ｂの像は含まれていない。

図１０に示す仮想空間７６には、ユーザシステム２−１に対応付けられる視点６４ａの位置に、視点を表す仮想オブジェクトである視点インジケータ６８ａが配置されている。また図１０に示す仮想空間７６には、視線方向６６ａに沿った視点６４ａを通る線と、掛け軸オブジェクト６２ｂとの交点の位置（図４に示されている位置Ｐ１）に注視点インジケータ７０ａが配置されている。

ここで図８に例示されている視点インジケータ６８ｂや図１０に例示されている視点インジケータ６８ａは、例えば球状の仮想三次元オブジェクトである。また図８に例示されている注視点インジケータ７０ｂや図１０に例示されている注視点インジケータ７０ａは、例えば掛け軸オブジェクト６２ｂにマッピングされたテクスチャの画像に重畳される十字形状の二次元画像である。

図１１Ａは、視点インジケータ６８ａ及び注視点インジケータ７０ａに対応付けられるインジケータデータの一例を示す図である。図１１Ｂは、視点インジケータ６８ｂ及び注視点インジケータ７０ｂに対応付けられるインジケータデータの一例を示す図である。

図１１Ａ及び図１１Ｂに示すように、本実施形態に係るインジケータデータには、ユーザシステムＩＤ、視点インジケータ位置データ、テクスチャＩＤ、注視点インジケータ位置データ、が含まれる。インジケータデータに含まれるユーザシステムＩＤは、ユーザシステム２の識別子である。インジケータデータは、当該ユーザシステムＩＤによって識別されるユーザシステム２の視点６４に対応付けられる視点インジケータ６８及び視線方向６６に対応付けられる注視点インジケータ７０を示すこととなる。視点インジケータ位置データは、視点インジケータ６８の位置を示すデータである。テクスチャＩＤは、注視点インジケータ７０が配置されるテクスチャ画像の識別子である。ここでは例えば、掛け軸オブジェクト６２ｂにマッピングされているテクスチャ画像のテクスチャＩＤは２であることとする。注視点インジケータ位置データは、注視点インジケータ７０の位置を示すデータである。図１１Ａ及び図１１Ｂに示す注視点インジケータ位置データでは、テクスチャＩＤにより識別されるテクスチャ画像に設定されるＸ１Ｙ１二次元座標系における座標値により注視点インジケータ７０の位置が表現されている。

例えば、図１１Ａに示すインジケータデータに含まれる視点インジケータ位置データが示す三次元座標値（ｘ１ａ，ｙ１ａ，ｚ１ａ）は、視点インジケータ６８ａの位置を示している。ここで当該三次元座標値（ｘ１ａ，ｙ１ａ，ｚ１ａ）は、ＸＹＺ三次元座標系における三次元座標値である。また例えば、図１１Ａに示すインジケータデータに含まれる注視点インジケータ位置データが示す二次元座標値（ｘ２ａ，ｙ２ａ）は、注視点インジケータ７０ａの位置を示している。ここで当該二次元座標値（ｘ２ａ，ｙ２ａ）は例えば、掛け軸オブジェクト６２ｂにマッピングされたテクスチャ画像に設定されたＸ１Ｙ１二次元座標系における二次元座標値である。

また例えば、図１１Ｂに示すインジケータデータに含まれる視点インジケータ位置データが示す三次元座標値（ｘ１ｂ，ｙ１ｂ，ｚ１ｂ）は、視点インジケータ６８ｂの位置を示している。ここで当該三次元座標値（ｘ１ｂ，ｙ１ｂ，ｚ１ｂ）は、ＸＹＺ三次元座標系における三次元座標値である。また例えば、図１１Ｂに示すインジケータデータに含まれる注視点インジケータ位置データが示す二次元座標値（ｘ２ｂ，ｙ２ｂ）は、注視点インジケータ７０ｂの位置を示している。ここで当該二次元座標値（ｘ２ｂ，ｙ２ｂ）は例えば、掛け軸オブジェクト６２ｂにマッピングされたテクスチャ画像に設定されたＸ１Ｙ１二次元座標系における二次元座標値である。

本実施形態では、ユーザシステム２−１が、図６Ａに例示する視点データに基づいて、図１１Ａに例示するインジケータデータを生成する。またユーザシステム２−２が、図６Ｂに例示する視点データに基づいて、図１１Ｂに例示するインジケータデータを生成する。そして生成されるインジケータデータが示す位置に視点インジケータ６８や注視点インジケータ７０が仮想空間に配置される。このようにして本実施形態では、ユーザシステム２のユーザは、共有された仮想空間内における、他のユーザシステム２のユーザがどこからどこを見ているのかを知ることができる。

また本実施形態では、ユーザシステム２に含まれるマイク２０ｂに入力された音声を表す音声データは、他のユーザシステム２に送信される。そして当該他のユーザシステム２のＨＭＤ１２に含まれる音声出力部４２から当該音声データが表す音声が出力される。このようにして本実施形態では、ユーザシステム２のユーザ間で音声によるコミュニケーションを行えるようになっている。そして本実施形態では、このような音声や視点インジケータ６８や注視点インジケータ７０といった画像を手がかりとして、ユーザ間で円滑なコミュニケーションを図ることができることとなる。

なお視点インジケータ６８や注視点インジケータ７０の位置や形状は上述のものに限定されない。例えば、図１２に示すように、仮想空間７６に配置される注視点インジケータ７０ａが三次元の立方体形状であっても構わない。図１２に示す注視点インジケータ７０ａは、例えば、視線方向６６ａに沿った視点６４ａを通る線と、視点６４ａを中心とした所定の長さの半径の球面との交点に配置されている。この場合は、例えば図１３に示す仮想空間画像７２ｂがユーザシステム２−２のＨＭＤ１２の表示部３８に表示されることとなる。

また例えば、注視点インジケータ７０の位置が、二次元座標値ではなく三次元座標値で表現されてもよい。またこの場合、インジケータデータにテクスチャＩＤが含まれないようにしてもよい。例えば図１２に示す注視点インジケータ７０ａが仮想空間７６に配置される際には、図１１Ａに示すインジケータデータにテクスチャＩＤが含まれず、注視点インジケータ位置データがＸＹＺ三次元座標系における三次元座標値で表現されていてもよい。

また例えば、視点インジケータ６８や注視点インジケータ７０であるオブジェクトの色や形状が、当該オブジェクトに対応付けられるユーザシステム２に対応した色や形状であってもよい。そして当該オブジェクトによって、対応付けられるユーザシステム２が識別可能であっても構わない。こうすれば複数の視点インジケータ６８が表示されている際に、ユーザシステム２のユーザは、どの視点インジケータ６８がどのユーザシステム２のユーザの視点の位置を表しているのかを知ることができることとなる。また例えば、複数の注視点インジケータ７０が表示されている際に、ユーザシステム２のユーザは、どの注視点インジケータ７０がどのユーザシステム２のユーザの視線方向を表しているのかを知ることができることとなる。

また本実施形態では、ユーザシステム２のユーザは、視点インジケータ６８が表示されるか否か、また、注視点インジケータ７０が表示されるか否かを、例えばコントローラ２２に対して所定の操作を行うことで切り替えることができるようになっている。

またカメラ２０ａにより撮影されるユーザの画像に基づいて当該ユーザのシルエットを表す三次元オブジェクトが生成されてもよい。そして当該三次元オブジェクトが、視点インジケータ６８や注視点インジケータ７０の代わりに、ユーザの視点６４や視線方向６６を示すオブジェクトとして仮想空間内に配置されてもよい。またこの場合に、ユーザのシルエットを表す三次元オブジェクトが表示される否かを、例えばコントローラ２２に対して所定の操作を行うことで切り替えることができるようになっていてもよい。

また例えば、ユーザシステム２−１が、図１１Ａに例示するインジケータデータを生成して、当該インジケータデータをユーザシステム２−２に送信するようにしてもよい。また例えば、ユーザシステム２−２が、図１１Ｂに例示するインジケータデータを生成して、当該インジケータデータがユーザシステム２−１に送信するようにしてもよい。

また本実施形態に係るユーザシステム２は、ユーザが行う所定の操作に応じて、仮想空間内にポインタを配置できるようになっている。以下、ポインタの表示について、さらに説明する。

図１４は、仮想空間７８の一例を示す図である。図１４に示す仮想空間７８は、ポインタ画像８０が配置されていない図１０に示す仮想空間７６において、ユーザシステム２−２のユーザが行うリセット操作に応じて、ポインタ画像８０が配置された際の状態を示している。本実施形態ではリセット操作に応じて、視線方向６６ｂに沿った視点６４ｂを通る線と、掛け軸オブジェクト６２ｂとの交点の位置Ｐ２にポインタ画像８０が配置される。なおリセット操作としては、例えば、コントローラ２２が備える所定のボタンの押下操作、エンタテインメント装置１４と通信可能なマウスへのクリック操作、エンタテインメント装置１４と通信可能なタッチパッドへのタップ操作、などが挙げられる。

図１５は、ユーザシステム２−２のＨＭＤ１２の表示部３８に表示される、図１４に示す仮想空間７８内に配置された視点６４ｂから視線方向６６ｂを見た様子を表す画像である仮想空間画像７２ｂの一例を示す図である。図１５に示す仮想空間画像７２ｂには、視点インジケータ６８ａ及び注視点インジケータ７０ａに加え、ポインタ画像８０が含まれている。本実施形態に係るポインタ画像８０は、例えば掛け軸オブジェクト６２ｂにマッピングされたテクスチャの画像に重畳される矢印形状の二次元画像である。このようにして本実施形態によれば、ユーザによるリセット操作に応じて適切な位置にポインタが配置された仮想空間の画像を表示できることとなる。ここでは例えば、視線方向６６ｂに沿った視点６４ｂを通る線と掛け軸オブジェクト６２ｂとの交点の位置Ｐ２にポインタが配置されることとなる。

図１６は、ポインタ画像８０に対応付けられるポインタデータの一例を示す図である。図１６に示すように、本実施形態に係るポインタデータには、ユーザシステムＩＤ、テクスチャＩＤ、ポインタ位置データ、が含まれる。ポインタデータに含まれるユーザシステムＩＤは、ユーザシステム２の識別子である。ポインタデータは、当該ユーザシステムＩＤによって識別されるユーザシステム２のユーザにより配置されたポインタ画像８０を示すことになる。テクスチャＩＤは、ポインタ画像８０がマッピングされるテクスチャ画像の識別子である。ポインタ位置データは、ポインタ画像８０の位置を示すデータである。

図１６に示すポインタ位置データでは、テクスチャＩＤにより識別されるテクスチャ画像に設定されるＸ１Ｙ１二次元座標系における座標値によりポインタ画像８０の位置が表現されている。図１６に示すポインタデータに含まれるポインタ位置データが示す二次元座標値（ｘ３，ｙ３）は、掛け軸オブジェクト６２ｂにマッピングされたテクスチャ画像に設定されたＸ１Ｙ１二次元座標系におけるポインタ画像８０の位置を示している。リセット操作がされた際の初期状態では、位置Ｐ２にポインタ画像８０が配置されるので、図１６に示すポインタデータに含まれるポインタ位置データが示す二次元座標値（ｘ３，ｙ３）は（ｐ２ｘ，ｐ２ｙ）となる。

そして本実施形態では、図１６に示すポインタデータはユーザシステム２−２から管理システム３に送信される。そして管理システム３は、当該ポインタデータを、ユーザシステム２−１などといった、仮想空間共有システム１に含まれる、ユーザシステム２−２以外のユーザシステム２に送信する。このようにして本実施形態では、各ユーザシステム２について設定されているポインタ画像８０の位置を示すデータを複数のユーザシステム２で共有できることとなる。すなわち各ユーザシステム２は、他のユーザシステム２について設定されたポインタ画像８０の位置を特定できることとなる。

図１７は、このようにしてユーザシステム２−１に送信されたポインタデータに基づいて、ポインタ画像８０が配置された仮想空間８２の一例を示す図である。なお図１７に示す仮想空間８２では、図８に示す仮想空間７４とは異なり、視点インジケータ６８ｂ及び注視点インジケータ７０ｂは配置されていない。図１８は、ユーザシステム２−１のＨＭＤ１２の表示部３８に表示される、図１７に示す仮想空間８２内に配置された視点６４ａから視線方向６６ａを見た様子を表す画像である仮想空間画像７２ａの一例を示す図である。

また本実施形態では、ユーザシステム２のユーザは、所定の移動操作を行うことで、当該ユーザシステム２において配置されたポインタ画像８０の位置を変化させることができるようになっている。ここで移動操作としては例えば、コントローラ２２が備える方向キーの押下操作、エンタテインメント装置１４と通信可能なマウスへのドラッグ操作、エンタテインメント装置１４と通信可能なタッチパッドへのスライド操作、などが挙げられる。ここで例えば押下された方向キーに対応付けられる方向にポインタ画像８０の位置が変化するようにしてもよい。また例えば、マウスがドラッグされた方向やタッチパッドがスライドされた方向にポインタ画像８０の位置が変化するようにしてもよい。

またユーザシステム２のユーザは、所定の消去操作を行うことで、当該ユーザシステム２において配置されたポインタ画像８０を消去できるようになっている。ここで消去操作としては例えば、コントローラ２２が備える所定のボタンの押下操作、エンタテインメント装置１４と通信可能なマウスへのダブルクリック操作、エンタテインメント装置１４と通信可能なタッチパッドへのダブルタップ操作、などが挙げられる。本実施形態ではこの場合、ポインタデータに含まれるテクスチャＩＤに０が設定され、ポインタ位置データの値が（０，０）が設定される。そして本実施形態では、ポインタデータに含まれるテクスチャＩＤが０であり、ポインタ位置データの値が（０，０）である場合は、ポインタ画像８０が仮想空間に配置されないよう制御されることとなる。またテクスチャＩＤが０であり、ポインタ位置データの値が（０，０）であるポインタデータをユーザシステム２が受信した際には、当該ユーザシステム２においてポインタ画像８０が仮想空間に配置されないよう制御されることとなる。なお消去操作が行われた際に、上述したポインタデータの代わりに、ポインタ画像８０の消去指示が送信されるようにしてもよい。

また、公知のピーク検出技術を用いて、カメラ２０ａが撮影する画像に基づいて実空間内の検出領域にユーザの指先が存在するか否かが特定されるようにしてもよい。そして例えば検出領域内にユーザの指先が入る操作が上述のリセット操作として取り扱われるようにしてもよい。また例えば検出領域内におけるユーザの指先の位置の変化が上述の移動操作として取り扱われるようにしてもよい。ここで例えば、ユーザの指先が動かされた方向にポインタ画像８０の位置が変化するようにしてもよい。また例えば、検出領域内に存在するユーザの指先を検出領域の外に出す操作が上述の消去操作として取り扱われるようにしてもよい。

またポインタ画像８０が配置される位置が、掛け軸オブジェクト６２ｂにおける位置を示す範囲に制限されるよう制御されてもよい。より具体的には例えば、ポインタ画像８０の移動範囲が、当該ポインタ画像８０が重畳される掛け軸オブジェクト６２ｂのテクスチャ画像上に制限されてもよい。この場合には例えば、テクスチャ画像の右端にポインタ画像８０が配置されている際には、例えば、ポインタ画像８０を右に動かす移動操作が行われてもポインタ画像８０の位置は変化しないよう制御される。

また例えば、ユーザがリセット操作を行った際には、ポインタデータの送信が行われず、その後にユーザが所定の送信操作を行った際にポインタデータの送信が行われるようにしてもよい。そして所定の送信操作が行われた後に、他のユーザシステム２において仮想空間にポインタ画像８０が配置されるようにしてもよい。

またポインタは二次元の画像である必要はなく、例えば三次元の仮想オブジェクトでも構わない。また例えば、ポインタの位置が、二次元座標値ではなく三次元座標値で表現されてもよい。またこの場合、ポインタデータにテクスチャＩＤが含まれないようにしてもよい。例えば図１６に示すポインタデータにテクスチャＩＤが含まれず、ポインタ位置データがＸＹＺ三次元座標系における三次元座標値で表現されていてもよい。

以下、本実施形態に係るエンタテインメント装置１４の機能並びに本実施形態に係るエンタテインメント装置１４で実行される処理についてさらに説明する。

図１９は、本実施形態に係るエンタテインメント装置１４で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメント装置１４で、図１９に示す機能のすべてが実装される必要はなく、また、図１９に示す機能以外の機能が実装されていても構わない。

図１９に示すように、本実施形態に係るエンタテインメント装置１４は、機能的には例えば、仮想空間データ記憶部９０、自視点データ記憶部９２、他視点データ記憶部９４、インジケータデータ記憶部９６、自ポインタデータ記憶部９８、他ポインタデータ記憶部１００、撮影画像受付部１０２、位置姿勢特定部１０４、自視点データ管理部１０６、視点データ送信部１０８、視点データ受信部１１０、他視点データ管理部１１２、インジケータデータ管理部１１４、ポインタ操作特定部１１６、自ポインタデータ管理部１１８、ポインタデータ送信部１２０、ポインタデータ受信部１２２、他ポインタデータ管理部１２４、仮想空間管理部１２６、フレーム画像生成部１２８、フレーム画像表示制御部１３０、を含んでいる。

仮想空間データ記憶部９０、自視点データ記憶部９２、他視点データ記憶部９４、インジケータデータ記憶部９６、自ポインタデータ記憶部９８、他ポインタデータ記憶部１００は、記憶部５２を主として実装される。撮影画像受付部１０２、フレーム画像表示制御部１３０は、入出力部５６を主として実装される。位置姿勢特定部１０４、自視点データ管理部１０６、他視点データ管理部１１２、インジケータデータ管理部１１４、自ポインタデータ管理部１１８、他ポインタデータ管理部１２４、仮想空間管理部１２６、フレーム画像生成部１２８は、制御部５０を主として実装される。視点データ送信部１０８、視点データ受信部１１０、ポインタデータ送信部１２０、ポインタデータ受信部１２２は、通信部５４を主として実装される。ポインタ操作特定部１１６は、通信部５４又は入出力部５６を主として実装される。

以上の機能は、コンピュータであるエンタテインメント装置１４にインストールされた、以上の機能に対応する指令を含むプログラムを制御部５０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置１４に供給されてもよい。

仮想空間データ記憶部９０は、本実施形態では例えば、図４に示す仮想空間６０、図８に示す仮想空間７４、図１０や図１２に示す仮想空間７６、図１４に示す仮想空間７８における、各仮想オブジェクトの位置（例えば、座標値）を示すデータを記憶する。仮想空間データ記憶部９０には、例えば、掛け軸オブジェクト６２、視点６４及び視線方向６６、視点インジケータ６８、注視点インジケータ７０、ポインタ画像８０の代表点の位置を示すデータが記憶される。また仮想空間データ記憶部９０には、例えば、仮想オブジェクトの形状や大きさを示すデータやテクスチャ画像やテクスチャ画像がマッピングされる仮想オブジェクトの識別子などが記憶されてもよい。

自視点データ記憶部９２は、本実施形態では例えば、当該自視点データ記憶部９２が含まれるユーザシステム２のユーザの視点６４の位置及び視線方向を示す視点データを記憶する。図６Ａ及び図６Ｂに示すように、視点データには例えば、ユーザシステムＩＤ、視点位置データ、視線方向ベクトルデータが含まれる。例えばユーザシステム２−１の自視点データ記憶部９２には、図６Ａに例示する視点データが記憶される。また例えば、ユーザシステム２−２の自視点データ記憶部９２には、図６Ｂに例示する視点データが記憶される。本実施形態では例えば、ユーザシステム２に割り当てられているユーザシステムＩＤが、当該ユーザシステム２の自視点データ記憶部９２に記憶される視点データのユーザシステムＩＤとして設定される。

他視点データ記憶部９４は、本実施形態では例えば、当該自視点データ記憶部９２が含まれるユーザシステム２とは異なるユーザシステム２のユーザの視点６４の位置及び視線方向６６を示す視点データを記憶する。図６Ａ及び図６Ｂに示すように、視点データには例えば、ユーザシステムＩＤ、視点位置データ、視線方向ベクトルデータが含まれる。

他視点データ記憶部９４は、ユーザシステムＩＤが互いに異なる複数の視点データを記憶してもよい。例えばユーザシステム２−１の他視点データ記憶部９４に、仮想空間共有システム１に含まれる、ユーザシステム２−１以外のユーザシステム２にそれぞれ対応付けられる複数の視点データが記憶されてもよい。この場合、例えば図６Ｂに示す視点データは、ユーザシステム２−１の他視点データ記憶部９４に記憶される複数の視点データのうちの１つであることとなる。また例えばユーザシステム２−２の他視点データ記憶部９４に、仮想空間共有システム１に含まれる、ユーザシステム２−２以外のユーザシステム２にそれぞれ対応付けられる複数の視点データが記憶されてもよい。この場合、例えば図６Ａに示す視点データは、ユーザシステム２−２の他視点データ記憶部９４に記憶される複数の視点データのうちの１つであることとなる。

インジケータデータ記憶部９６は、本実施形態では例えば、他のユーザシステム２のユーザの視点６４の位置及び視線方向６６に対応付けられるインジケータデータを記憶する。図１１Ａ及び図１１Ｂに示すように、インジケータデータには例えば、ユーザシステムＩＤ、視点インジケータ位置データ、テクスチャＩＤ、注視点インジケータ位置データ、が含まれる。

インジケータデータ記憶部９６は、ユーザシステムＩＤが互いに異なる複数のインジケータデータを記憶してもよい。例えばユーザシステム２−１のインジケータデータ記憶部９６に、仮想空間共有システム１に含まれる、ユーザシステム２−１以外のユーザシステム２にそれぞれ対応付けられる複数のインジケータデータが記憶されてもよい。この場合、例えば図１１Ｂに示すインジケータデータは、ユーザシステム２−１のインジケータデータ記憶部９６に記憶される複数のインジケータデータのうちの１つであることとなる。また例えばユーザシステム２−２のインジケータデータ記憶部９６に、仮想空間共有システム１に含まれる、ユーザシステム２−２以外のユーザシステム２にそれぞれ対応付けられる複数のインジケータデータが記憶されてもよい。この場合、例えば図１１Ａに示す視点データは、ユーザシステム２−２のインジケータデータ記憶部９６に記憶される複数のインジケータデータのうちの１つであることとなる。

自ポインタデータ記憶部９８は、本実施形態では例えば、当該自ポインタデータ記憶部９８が含まれるユーザシステム２のユーザによって設定されるポインタを示すポインタデータを記憶する。図１６に示すように、ポインタデータには例えば、ユーザシステムＩＤ、テクスチャＩＤ、ポインタ位置データが含まれる。例えばユーザシステム２−２の自ポインタデータ記憶部９８には、図１６に例示するポインタデータが記憶される。また本実施形態では例えば、ユーザシステム２に割り当てられているユーザシステムＩＤが、当該ユーザシステム２の自ポインタデータ記憶部９８に記憶されるポインタデータのユーザシステムＩＤとして設定される。

なお上述のように、ユーザシステム２のユーザによってポインタが仮想空間に配置されない際には、ポインタデータに含まれるテクスチャＩＤとして０が設定され、ポインタ位置データの値として（０，０）が設定される。

他ポインタデータ記憶部１００は、本実施形態では例えば、当該他ポインタデータ記憶部１００が含まれるユーザシステム２とは異なるユーザシステム２のユーザによって設定されるポインタを示すポインタデータを記憶する。

他ポインタデータ記憶部１００は、ユーザシステムＩＤが互いに異なる複数のポインタデータを記憶してもよい。例えばユーザシステム２−１の他ポインタデータ記憶部１００に、仮想空間共有システム１に含まれる、ユーザシステム２−１以外のユーザシステム２にそれぞれ対応付けられる複数のポインタデータが記憶されてもよい。この場合、例えば図１６に示すポインタデータは、ユーザシステム２−１の他ポインタデータ記憶部１００に記憶される複数のポインタデータのうちの１つであることとなる。また例えばユーザシステム２−２の他ポインタデータ記憶部１００に、仮想空間共有システム１に含まれる、ユーザシステム２−２以外のユーザシステム２にそれぞれ対応付けられる複数のポインタデータが記憶されてもよい。

撮影画像受付部１０２は、本実施形態では例えば、カメラ２０ａが所定のサンプリングレートで撮影する、ＨＭＤ１２の像を含む画像を受け付ける。

位置姿勢特定部１０４は、本実施形態では例えば、撮影画像受付部１０２が受け付けた画像に基づいて、ＨＭＤ１２の位置や姿勢を特定する。なお位置姿勢特定部１０４は、ＨＭＤ１２のセンサ部４０により計測される、ＨＭＤ１２の回転量、移動量などの計測結果を表すモーションデータに基づいて、ＨＭＤ１２の位置や姿勢を特定してもよい。この場合、例えば、前回特定された位置をモーションデータが表す移動量だけ移動させた位置が新たなＨＭＤ１２の位置として特定されてもよい。また例えば、前回特定された姿勢をモーションデータが表す回転量だけ回転させた姿勢が新たなＨＭＤ１２の姿勢として特定されてもよい。

自視点データ管理部１０６は、本実施形態では例えば、位置姿勢特定部１０４が特定したＨＭＤ１２の位置や姿勢に基づいて、自視点データ記憶部９２に記憶されている視点データの値を更新する。ここで例えば、視点データに含まれる視点位置データが示す三次元座標値の変化量が、位置姿勢特定部１０４により特定されるＨＭＤ１２の位置の変化量に比例するよう、視点位置データの値が更新されるようにしてもよい。また例えば、視点データに含まれる視線方向ベクトルデータが示すベクトルの変化量が、位置姿勢特定部１０４により特定されるＨＭＤ１２の回転量に比例するよう、視線方向ベクトルデータの値が更新されるようにしてもよい。

視点データ送信部１０８は、本実施形態では例えば、自視点データ記憶部９２に記憶されている視点データを管理システム３に送信する。上述のように、管理システム３は、このようにして送信される視点データを中継して、他のユーザシステム２に送信する。ここで例えば、自視点データ記憶部９２に記憶されている視点データが更新される度に、当該更新に応じて更新後の値の視点データが管理システム３経由で他のユーザシステム２に送信されてもよい。また例えば、所定の時間間隔（例えば５秒間隔）で、自視点データ記憶部９２に記憶されている視点データが管理システム３経由で他のユーザシステム２に送信されてもよい。

視点データ受信部１１０は、本実施形態では例えば、管理システム３から送信される、他のユーザシステム２により送信された視点データを受信する。

他視点データ管理部１１２は、本実施形態では例えば、視点データ受信部１１０が受信する視点データに基づいて、他視点データ記憶部９４に記憶されている視点データの値を更新する。ここで他視点データ管理部１１２は、視点データ受信部１１０による視点データの受信に応じて、他視点データ記憶部９４に記憶されている視点データの値を更新してもよい。

インジケータデータ管理部１１４は、本実施形態では、例えば、他視点データ記憶部９４に記憶されている視点データに基づいて、当該視点データに対応付けられるインジケータデータを生成する。本実施形態では例えば、他視点データ記憶部９４に記憶されている視点データの値に基づいて、当該視点データとユーザシステムＩＤが同じであるインジケータデータの値が更新される。

例えば、他視点データ記憶部９４に記憶されている視点データの視点位置データの値が、当該視点データとユーザシステムＩＤが同じであるインジケータデータの視点インジケータ位置データの値として設定される。

また本実施形態では例えば、他視点データ記憶部９４に記憶されている視点データの視線方向ベクトルデータが表すベクトルに沿った、当該視点データの視点位置データが表す位置を通る線と交差するテクスチャ画像が特定される。また当該テクスチャ画像に設定されたＸ１Ｙ１二次元座標系における、当該視点データの視線方向ベクトルデータが表すベクトルに沿った、当該視点データの視点位置データが表す位置を通る線と当該テクスチャ画像との交点の位置の二次元座標値が特定される。そして例えば、特定されるテクスチャ画像の識別子が、当該視点データとユーザシステムＩＤが同じであるインジケータデータのテクスチャＩＤとして設定される。また例えば、特定される二次元座標値が、当該視点データとユーザシステムＩＤが同じであるインジケータデータの注視点インジケータ位置データの値として設定される。

なお図１２の例のように、他視点データ記憶部９４に記憶されている視点データの視点位置データが表す位置を中心とした所定の長さの半径の球面が特定されてもよい。そして特定される球面と、他視点データ記憶部９４に記憶されている視点データの視線方向ベクトルデータが表すベクトルに沿った、当該視点データの視点位置データが表す位置を通る線と、の交点が特定されてもよい。そして特定される交点の三次元座標値が、当該視点データとユーザシステムＩＤが同じであるインジケータデータの注視点インジケータ位置データの値として設定されてもよい。またこの場合に、当該インジケータデータにはテクスチャＩＤが含まれていなくてもよい。

ポインタ操作特定部１１６は、本実施形態では例えば、上述のリセット操作、移動操作、消去操作などといった、仮想空間内に配置されるポインタに関する操作を特定する。ここでは例えば、上述したようなコントローラ２２、マウス、タッチパッドへのユーザの操作が検出された際に、当該操作に応じたポインタ画像８０に関する操作が行われたことが特定される。

自ポインタデータ管理部１１８は、本実施形態では例えば、ポインタ操作特定部１１６がポインタ画像８０に関する操作を特定した際に、当該操作に応じて自ポインタデータ記憶部９８に記憶されているポインタデータを更新する。

例えばリセット操作が特定された際には、自ポインタデータ記憶部９８に記憶されている視点データの視線方向ベクトルデータが示すベクトルに沿った、当該視点データの視点位置データが示す位置を通る線と交差するテクスチャ画像が特定される。また自ポインタデータ記憶部９８に記憶されている視点データの視線方向ベクトルデータが示すベクトルに沿った、当該視点データの視点位置データが示す位置を通る線と当該テクスチャ画像との交点の位置の二次元座標値も特定される。なお当該二次元座標値は、例えば当該テクスチャ画像に設定されたＸ１Ｙ１二次元座標系における二次元座標値である。

そして例えば、自ポインタデータ記憶部９８に記憶されているポインタデータに含まれるテクスチャＩＤとして、特定されるテクスチャ画像の識別子が設定される。そして例えば、当該ポインタデータに含まれるポインタ位置データの値として、特定される二次元座標値が設定される。

また移動操作が特定された際には、例えば、当該移動操作に応じた値だけ、自ポインタデータ記憶部９８に記憶されているポインタデータに含まれるポインタ位置データの値が更新される。ここで自ポインタデータ管理部１１８は、ポインタ位置データの値が、掛け軸オブジェクト６２ｂにおける位置を示す二次元座標値の範囲に制限されるよう制御してもよい。

また消去操作が特定された際には、例えば、テクスチャＩＤの値が０に更新され、ポインタ位置データの値が（０，０）に更新される。

ポインタデータ送信部１２０は、本実施形態では例えば、自ポインタデータ記憶部９８に記憶されているポインタデータを管理システム３に送信する。上述のように、管理システム３は、このようにして送信されるポインタデータを中継して、他のユーザシステム２に送信する。ここで例えば、自ポインタデータ記憶部９８に記憶されているポインタデータが更新される度に、当該更新に応じて更新後の値の視点データが管理システム３経由で他のユーザシステム２に送信されてもよい。また例えば、所定の時間間隔（例えば５秒間隔）で、自ポインタデータ記憶部９８に記憶されているポインタデータが管理システム３経由で他のユーザシステム２に送信されてもよい。

ポインタデータ受信部１２２は、本実施形態では例えば、管理システム３から送信される、他のユーザシステム２により送信されたポインタデータを受信する。

他ポインタデータ管理部１２４は、本実施形態では例えば、ポインタデータ受信部１２２が受信するポインタデータに基づいて、他ポインタデータ記憶部１００に記憶されているポインタデータの値を更新する。ここで他ポインタデータ管理部１２４は、ポインタデータ受信部１２２によるポインタデータの受信に応じて、他ポインタデータ記憶部１００に記憶されているポインタデータの値を更新してもよい。

仮想空間管理部１２６は、本実施形態では、表示対象となる仮想空間内に各種の仮想オブジェクトを配置する。本実施形態では例えば、仮想空間管理部１２６は、仮想空間データ記憶部９０に記憶されている各種データの値を設定することで、仮想空間内に各種の仮想オブジェクトを配置する。例えば自視点データ記憶部９２に記憶されている視点データに基づいて、視点６４及び視線方向６６が配置される。また例えば、インジケータデータ記憶部９６に記憶されているインジケータデータに基づいて、視点インジケータ６８及び注視点インジケータ７０が配置される。また例えば、自ポインタデータ記憶部９８に記憶されているポインタデータ及び他ポインタデータ記憶部１００に記憶されているポインタデータに基づいてポインタが配置される。

ここでは例えば、ユーザシステム２−１の仮想空間管理部１２６が図８に例示する仮想空間７４に相当する各種データの値を設定することで各種のオブジェクトが仮想空間７４に配置される。例えば仮想空間７４には、ユーザシステム２−１の自視点データ記憶部９２に記憶されている視点データに応じた、視点６４ａ及び視線方向６６ａが配置される。また例えば仮想空間７４には、ユーザシステム２−１のインジケータデータ記憶部９６に記憶されているインジケータデータに応じた、視点インジケータ６８ｂ及び注視点インジケータ７０ｂが配置される。この場合、仮想空間管理部１２６は、視点６４ｂを通る、ユーザシステム２−２に含まれるＨＭＤ１２の姿勢に応じた視線方向６６ｂに沿った、視点６４ｂから離間した位置に、注視点インジケータ７０ｂを配置することとなる。

また同様に例えば、ユーザシステム２−１の仮想空間管理部１２６が図１７に例示する仮想空間８２に相当する各種データの値を設定することで各種のオブジェクトが仮想空間８２に配置される。例えば仮想空間８２には、ユーザシステム２−１の自視点データ記憶部９２に記憶されている視点データに応じた、視点６４ａ及び視線方向６６ａが配置される。また例えば仮想空間８２には、ユーザシステム２−１の他ポインタデータ記憶部１００に記憶されているポインタデータに応じたポインタ画像８０が配置される。この場合、ユーザシステム２−１の仮想空間管理部１２６は、ユーザシステム２−２に含まれるＨＭＤ１２の向きに応じた仮想空間内の位置にポインタを配置することとなる。

また例えば、ユーザシステム２−２の仮想空間管理部１２６が図１０又は図１２に例示する仮想空間７６に相当する各種データの値を設定することで各種のオブジェクトが仮想空間７６に配置される。例えば仮想空間７６には、ユーザシステム２−２の自視点データ記憶部９２に記憶されている視点データに応じた、視点６４ｂ及び視線方向６６ｂが配置される。また仮想空間７６には、ユーザシステム２−２のインジケータデータ記憶部９６に記憶されているインジケータデータに応じた、視点インジケータ６８ａ及び注視点インジケータ７０ａが配置される。この場合、仮想空間管理部１２６は、視点６４ａを通る、ユーザシステム２−１に含まれるＨＭＤ１２の姿勢に応じた視線方向６６ａに沿った、視点６４ａから離間した位置に、注視点インジケータ７０ａを配置することとなる。

また同様に例えば、ユーザシステム２−２の仮想空間管理部１２６が図１４に例示する仮想空間７８に相当する各種データの値を設定することで各種のオブジェクトが仮想空間７８に配置される。例えば仮想空間７８には、ユーザシステム２−２の自視点データ記憶部９２に記憶されている視点データに応じた、視点６４ｂ及び視線方向６６ｂが配置される。また仮想空間７８には、ユーザシステム２−２のインジケータデータ記憶部９６に記憶されているインジケータデータに応じた、視点インジケータ６８ａ及び注視点インジケータ７０ａが配置される。また仮想空間７８には、ユーザシステム２−２の自ポインタデータ記憶部９８に記憶されているポインタデータに応じた、ポインタ画像８０が配置される。この場合、ユーザシステム２−２の仮想空間管理部１２６は、ユーザシステム２−２に含まれるＨＭＤ１２の向きに応じた仮想空間内の位置にポインタを配置することとなる。

また仮想空間管理部１２６は、視点インジケータ６８及び注視点インジケータ７０のそれぞれを配置するか否かを示すフラグを保持していてもよい。そして当該フラグの値は、ユーザによる操作に応じて変更可能であってもよい。そして当該フラグの値に応じて、視点インジケータ６８及び注視点インジケータ７０のそれぞれが配置されるか否かが制御されてもよい。例えばユーザシステム２−１のユーザの操作によって、視点インジケータ６８及び注視点インジケータ７０が配置されることを示す値が当該フラグの値として設定されたとする。この場合は、図８に示すように視点インジケータ６８ｂ及び注視点インジケータ７０ｂが仮想空間に配置されてもよい。また例えばユーザシステム２−１のユーザの操作によって、視点インジケータ６８及び注視点インジケータ７０が配置されないことを示す値が当該フラグの値として設定されたとする。この場合は、図１７に示すように視点インジケータ６８ｂ及び注視点インジケータ７０ｂが仮想空間に配置されなくてもよい。

また仮想空間管理部１２６は、対応付けられるユーザシステム２、すなわち対応付けられるＨＭＤ１２を識別可能な視点インジケータ６８や注視点インジケータ７０を仮想空間に配置してもよい。例えばインジケータデータに含まれるユーザシステムＩＤに応じた色や形状の視点インジケータ６８や注視点インジケータ７０が仮想空間に配置されてもよい。この場合、仮想空間に配置される複数の視点インジケータ６８のそれぞれは、対応付けられるユーザシステム２、すなわち対応付けられるＨＭＤ１２を識別可能なオブジェクトであることとなる。また仮想空間に配置される複数の注視点インジケータ７０のそれぞれは、対応付けられるユーザシステム２、すなわち対応付けられるＨＭＤ１２を識別可能なオブジェクトであることとなる。

また上述のように、ＨＭＤ１２を装着するユーザにより移動操作が行われた際には、当該移動操作に応じた値だけ、自ポインタデータ記憶部９８に記憶されているポインタデータに含まれるポインタ位置データの値が更新される。そして、仮想空間管理部１２６は、当該ポインタ位置データの値の更新に応じて、ポインタ画像８０が配置される位置を変化させる。このように本実施形態に係る仮想空間管理部１２６は、ＨＭＤ１２を装着するユーザによる移動操作に応じて、ポインタ画像８０が配置される位置を変化させることとなる。

また上述のように、ポインタ位置データの値が、掛け軸オブジェクト６２ｂにおける位置を示す二次元座標値の範囲に制限されるよう制御される場合がある。この場合は、本実施形態に係る仮想空間管理部１２６は、ポインタが配置される位置が、仮想空間内に配置された仮想オブジェクトにおける位置を示す範囲に制限されるよう制御することとなる。また上述のように、仮想空間管理部１２６が、ポインタが配置される位置が、仮想空間に配置された複数の仮想オブジェクトのうちの、ＨＭＤ１２の向きに応じた方向に沿った線と交差する仮想オブジェクトにおける位置を示す範囲に制限されるよう制御してもよい。

フレーム画像生成部１２８は、本実施形態では例えば、所定のフレームレートで、仮想空間管理部１２６により仮想空間に配置される視点６４の位置から視線方向６６を見た様子を表す画像を生成する。例えばユーザシステム２−１のフレーム画像生成部１２８は、図７や図１８に示す仮想空間画像７２ａをフレーム画像として生成する。この場合、当該フレーム画像生成部１２８は、例えば注視点インジケータ７０ｂが配置される仮想空間内に配置された視点６４ａからユーザシステム２−１に含まれるＨＭＤ１２の姿勢に応じた視線方向６６ａを見た様子を表す画像を生成することとなる。また例えばユーザシステム２−２のフレーム画像生成部１２８は、図９や図１３や図１５に示す仮想空間画像７２ｂをフレーム画像として生成する。この場合、当該フレーム画像生成部１２８は、例えば、注視点インジケータ７０ａが配置される仮想空間内に配置された視点６４ｂからユーザシステム２−２に含まれるＨＭＤ１２の姿勢に応じた視線方向６６ｂを見た様子を表す画像を生成することとなる。

フレーム画像表示制御部１３０は、本実施形態では例えば、ポインタが配置された仮想空間の画像である仮想空間画像７２を表示させる。例えばフレーム画像表示制御部１３０は、フレーム画像生成部１２８が生成するフレーム画像を所定のフレームレートでＨＭＤ１２の表示部３８に表示させる。本実施形態では例えば、ユーザシステム２−１のフレーム画像表示制御部１３０は、ユーザシステム２−１のフレーム画像生成部１２８が生成する仮想空間画像７２ａを、ユーザシステム２−１に含まれるＨＭＤ１２に送信する。そして当該フレーム画像を受信したＨＭＤ１２は当該フレーム画像を当該ＨＭＤ１２の表示部３８に表示させる。また例えば、ユーザシステム２−２のフレーム画像表示制御部１３０は、ユーザシステム２−２のフレーム画像生成部１２８が生成する仮想空間画像７２ｂを、ユーザシステム２−２に含まれるＨＭＤ１２に送信する。そして当該フレーム画像を受信したＨＭＤ１２は当該フレーム画像を当該ＨＭＤ１２の表示部３８に表示させる。

なお図１８に示すように、ユーザシステム２−１のフレーム画像表示制御部１３０が、ユーザシステム２−２に含まれるＨＭＤ１２の向きに応じたポインタが配置された仮想空間画像７２ａを、ユーザシステム２−１に含まれるＨＭＤ１２に表示させてもよい。

以下、視点データの受信に応じて本実施形態に係るエンタテインメント装置１４において行われる処理の流れの一例を、図２０に例示するフロー図を参照しながら説明する。

まず視点データ受信部１１０が視点データを受信する（Ｓ１０１）。すると他視点データ管理部１１２が、他視点データ記憶部９４に記憶されている、Ｓ１０１に示す処理で受信した視点データと同じユーザシステムＩＤを含む視点データを特定する（Ｓ１０２）。

そして他視点データ管理部１１２は、Ｓ１０２に示す処理で特定された視点データを、Ｓ１０１に示す処理で受信した視点データに更新する（Ｓ１０３）。

そしてインジケータデータ管理部１１４が、上述のようにして、Ｓ１０３に示す処理で更新された視点データに基づいてインジケータデータを生成する（Ｓ１０４）。ここで生成されるインジケータデータに含まれる視点インジケータ位置データの値は、上述のように、Ｓ１０３に示す処理で更新された視点データに含まれる視点位置データの値に基づいて特定可能である。また生成されるインジケータデータに含まれるテクスチャＩＤ、及び、注視点インジケータ位置データの値は、上述のように、Ｓ１０３に示す処理で更新された視点データに含まれる視点位置データの値及び視線方向ベクトルデータの値に基づいて特定可能である。

そしてインジケータデータ管理部１１４が、インジケータデータ記憶部９６に記憶されている、Ｓ１０４に示す処理で生成されたインジケータデータと同じユーザシステムＩＤを含むインジケータデータを特定する（Ｓ１０５）。

そして他視点データ管理部１１２は、Ｓ１０５に示す処理で特定されたインジケータデータを、Ｓ１０４に示す処理で受信したインジケータデータに更新して（Ｓ１０６）、本処理例に示す処理は終了される。

本実施形態では例えば、視点データが受信される度に上述のＳ１０１〜Ｓ１０６に示す処理が実行される。

次にポインタデータの受信に応じて本実施形態に係るエンタテインメント装置１４において行われる処理の流れの一例を、図２１に例示するフロー図を参照しながら説明する。

まずポインタデータ受信部１２２がポインタデータを受信する（Ｓ２０１）。すると他ポインタデータ管理部１２４が、他ポインタデータ記憶部１００に記憶されている、Ｓ２０１に示す処理で受信したポインタデータと同じユーザシステムＩＤを含むポインタデータを特定する（Ｓ２０２）。

そして他ポインタデータ管理部１２４は、Ｓ２０２に示す処理で特定されたポインタデータを、Ｓ２０１に示す処理で受信したポインタデータに更新する（Ｓ２０３）。

本実施形態では例えば、ポインタデータが受信される度に上述のＳ２０１〜Ｓ２０３に示す処理が実行される。

次に、本実施形態に係るエンタテインメント装置１４において行われる仮想空間の表示処理の流れの一例を、図２２に例示するフロー図を参照しながら説明する。

まず撮影画像受付部１０２が、カメラ２０ａが撮影する、ＨＭＤ１２の像を含む画像をカメラ２０ａから受け付ける（Ｓ３０１）。すると、位置姿勢特定部１０４が、Ｓ３０１に示す処理で受け付けた画像に基づいて、ＨＭＤ１２の位置及び姿勢を特定する（Ｓ３０２）。

そして自視点データ管理部１０６が、Ｓ３０２に示す処理で特定されたＨＭＤ１２の位置及び姿勢に基づいて、自視点データ記憶部９２に記憶されている視点データに含まれる視点位置データ及び視線方向ベクトルデータの値を更新する（Ｓ３０３）。

そして視点データ送信部１０８が、Ｓ３０３に示す処理で更新された視点データを管理システム３に送信する（Ｓ３０４）。このようにして送信された視点データは、当該ユーザシステム２以外の、仮想空間共有システム１に含まれるユーザシステム２に送信されることとなる（図２０のＳ１０１参照）。

そしてポインタ操作特定部１１６が、上述のリセット操作、移動操作、又は、消去操作などといったポインタに関する操作が行われたか否かを確認する（Ｓ３０５）。

ここでポインタに関する操作が行われたことが確認されたとする（Ｓ３０５：Ｙ）。この場合は、自ポインタデータ管理部１１８が、自ポインタデータ記憶部９８に記憶されているポインタデータに含まれるテクスチャＩＤ及びポインタ位置データの値を当該操作に応じた値に更新する（Ｓ３０６）。そしてポインタデータ送信部１２０が更新されたポインタデータを管理システム３に送信する（Ｓ３０７）。このようにして送信されたポインタデータは、当該ユーザシステム２以外の、仮想空間共有システム１に含まれるユーザシステム２に送信されることとなる（図２１のＳ２０１参照）。

Ｓ３０５に示す処理でポインタに関する操作が行われたことが確認されなかった場合（Ｓ３０５：Ｎ）、又は、Ｓ３０７に示す処理が終了したとする。この場合は、仮想空間管理部１２６は、保持しているフラグの値に基づいて、配置される視点インジケータ６８及び注視点インジケータ７０を特定する（Ｓ３０８）。そして仮想空間管理部１２６が、Ｓ３０７に示す処理で特定された視点インジケータ６８及び注視点インジケータ７０に対応付けられるインジケータデータをインジケータデータ記憶部９６から取得する（Ｓ３０９）。

そして仮想空間管理部１２６は、配置されるポインタ画像８０に対応付けられるポインタデータを自ポインタデータ記憶部９８及び他ポインタデータ記憶部１００から取得する（Ｓ３１０）。ここでは例えば、テクスチャＩＤが０でありポインタ位置データの値が（０，０）であるポインタデータは取得の対象から除外される。

そして仮想空間管理部１２６は、視点インジケータ６８、注視点インジケータ７０、及び、ポインタ画像８０を、仮想空間に配置する（Ｓ３１１）。ここでは例えば、Ｓ３０８に示す処理で取得されたインジケータデータの値に応じた視点インジケータ６８及び注視点インジケータ７０が配置される。またＳ３０９に示す処理で取得されたポインタデータの値に応じたポインタ画像８０が配置される。なおここで既に配置されているオブジェクトの位置が変更されても構わない。また仮想空間に配置されていたポインタ画像８０に対応付けられるポインタデータが取得されていない場合は、当該ポインタ画像８０は仮想空間から消去される。

そして仮想空間管理部１２６は、自視点データ記憶部９２に記憶されている視点データを取得する（Ｓ３１２）。

そして仮想空間管理部１２６は、Ｓ３１２に示す処理で取得した視点データに基づいて、仮想空間内に視点６４の位置及び視線方向６６を設定する（Ｓ３１３）。ここでは例えば既に仮想空間に設定されている視点６４の位置及び視線方向６６が変更される。

そしてフレーム画像生成部１２８は、Ｓ３１３に示す処理で設定された視点６４の位置から視線方向６６を見た様子を表す画像を生成する（Ｓ３１４）。なおＳ３１４に示す処理では、二次元画像が生成されても三次元画像が生成されても構わない。

そしてフレーム画像表示制御部１３０が、Ｓ３１４に示す処理で生成されたフレーム画像をＨＭＤ１２に送信する（Ｓ３１５）。当該フレーム画像を受信したＨＭＤ１２は、当該フレーム画像を表示部３８に表示させる。

そして本実施形態では、所定の時間間隔（例えば１／６０秒間隔）で、Ｓ３０１〜Ｓ３１５に示す処理が繰り返し実行されることとなる。

なお上述の例ではポインタに関する操作が行われる度にポインタデータが送信されるが、その代わりに例えば、ポインタデータの送信が所定時間間隔（例えば１／６０秒間隔や５秒間隔）で行われるようにしても構わない。

また上述の例では、所定の時間間隔（例えば１／６０秒間隔）で視点データが送信されるが、その代わりに例えば、当該時間間隔とは異なる時間間隔（例えば５秒間隔）で視点データが送信されてもよい。

また上述の例では視点データを受信したユーザシステム２が当該視点データに対応付けられるインジケータデータを生成するが、その代わりに例えば、ユーザシステム２が視点データに対応付けられるインジケータデータを生成してもよい。そしてユーザシステム２が当該インジケータを他のユーザシステム２に送信するようにしてもよい。

また上述の例ではポインタデータがユーザシステム２間で共有されるが、その代わりにポインタデータがユーザシステム２間で共有されなくてもよい。

またユーザシステム２に対応付けられるポインタ画像８０が表示されている際に当該ユーザシステム２のユーザが所定の操作を行った場合は、ユーザシステム２は、当該ポインタ画像８０が表示されている位置に応じた処理を実行してもよい。例えば所定の操作に応じてポインタ画像８０が配置されている位置を中心に拡大して表示させる処理が実行されるようにしてもよい。

以上、本実施形態に係る仮想空間の一例である掛け軸オブジェクト６２が配置された仮想空間を用いて本実施形態について説明した。しかし本実施形態に係る仮想空間は掛け軸オブジェクト６２が配置された仮想空間に限定されない。例えば、本実施形態に係る仮想空間は、図２３に示す仮想空間１４０であっても構わない。

図２３は、仮想空間１４０がユーザシステム２−１とユーザシステム２−２とで共有されている様子の一例を示す図である。

図２３に例示する仮想空間１４０には、平板状の三次元オブジェクトである、画面を表す仮想オブジェクトであるスクリーンオブジェクト１４２が配置されている。また、仮想空間１４０には、球面状の仮想オブジェクトである背景オブジェクト１４４が配置されている。なお背景オブジェクト１４４の半径は例えば無限大に設定されていてもよい。

図２３に例示する仮想空間１４０に配置されている背景オブジェクト１４４の内側には、全方位カメラで撮影されたテクスチャ画像がマッピングされる。なおこのテクスチャ画像は、ユーザシステム２に記録されている動画像であっても、ユーザシステム２にストリーミング配信される動画像であっても構わない。

またスクリーンオブジェクト１４２には、上述の全方位カメラとは別のカメラで撮影されたテクスチャ画像がマッピングされる。このテクスチャ画像も、ユーザシステム２に記録されている動画像や、ユーザシステム２にストリーミング配信される動画像などであっても構わない。

ここで例えば背景オブジェクト１４４にマッピングされる動画像は、サッカーの試合が行われているスタジアムの全景の映像であることとする。そしてスクリーンオブジェクト１４２にマッピングされる動画像は、テレビ放送がされている、当該サッカーの試合の中継映像であることとする。

図２３に示す仮想空間１４０においては、ユーザシステム２−１のＨＭＤ１２の表示部３８には、背景オブジェクト１４４の内側に配置された視点１４６ａから視線方向１４８ａを見た様子を表す映像が表示される。また、ユーザシステム２−２のＨＭＤ１２の表示部３８には、背景オブジェクト１４４の内側に配置された視点１４６ｂから視線方向１４８ｂを見た様子を表す映像が表示される。

なおここでは、視線方向１４８ａに沿った視点１４６ａを通る線は、背景オブジェクト１４４にマッピングされているテクスチャ画像と交差することととする。また視線方向１４８ｂに沿った視点１４６ｂを通る線も、背景オブジェクト１４４にマッピングされているテクスチャ画像と交差することととする。

そして図２３に示す仮想空間１４０においても、以上で説明した内容と同様にして、視点インジケータや注視点インジケータを配置することができるようになっている。

図２４は、ユーザシステム２−１のＨＭＤ１２の表示部３８に表示される、仮想空間１４０に配置された視点１４６ａから視線方向１４８ａを見た様子を表す画像である仮想空間画像１５０ａの一例を示す図である。図２４に示す仮想空間画像１５０ａには、ユーザシステム２−２のユーザの注視点の位置を示す注視点インジケータ１５２ｂが含まれている。図２４の例では、背景オブジェクト１４４にマッピングされているテクスチャ画像に注視点インジケータ１５２ｂが重畳されている。これは視線方向１４８ｂに沿った視点１４６ｂを通る線が、背景オブジェクト１４４にマッピングされているテクスチャ画像と交差しているためである。

図２５は、ユーザシステム２−２のＨＭＤ１２の表示部３８に表示される、仮想空間１４０に配置された視点１４６ｂから視線方向１４８ｂを見た様子を表す画像である仮想空間画像１５０ｂの一例を示す図である。図２５に示す仮想空間画像１５０ｂには、ユーザシステム２−１のユーザの注視点の位置を示す注視点インジケータ１５２ａが含まれている。図２５の例では、背景オブジェクト１４４にマッピングされているテクスチャ画像に注視点インジケータ１５２ａが重畳されている。これは視線方向１４８ａに沿った視点１４６ａを通る線が、背景オブジェクト１４４にマッピングされているテクスチャ画像と交差しているためである。

また図２３に示す仮想空間１４０においても、以上で説明した内容と同様にして、ポインタを配置することが可能になっている。

図２６は、ユーザシステム２−１のＨＭＤ１２の表示部３８に表示される、仮想空間１４０に配置された視点１４６ａから視線方向１４８ａを見た様子を表す画像である仮想空間画像１５０ａの別の一例を示す図である。

図２７は、ユーザシステム２−２のＨＭＤ１２の表示部３８に表示される、仮想空間１４０に配置された視点１４６ｂから視線方向１４８ｂを見た様子を表す画像である仮想空間画像１５０ｂの別の一例を示す図である。

図２６に示す仮想空間画像１５０ａ及び図２７に示す仮想空間画像１５０ｂには、ユーザシステム２−１のユーザによって配置されたポインタ画像１５４ａ、及び、ユーザシステム２−２のユーザによって配置されたポインタ画像１５４ｂが含まれている。またポインタ画像１５４ａとポインタ画像１５４ｂの色は異なっており、それぞれのポインタ画像１５４に対応付けられるユーザシステム２が識別可能になっている。

図２６及び図２７の例では、背景オブジェクト１４４にマッピングされているテクスチャ画像にポインタ画像１５４ａ及びポインタ画像１５４ｂが重畳されている。これは視線方向１４８ａに沿った視点１４６ａを通る線も視線方向１４８ｂに沿った視点１４６ｂを通る線も、背景オブジェクト１４４にマッピングされているテクスチャ画像と交差しているためである。

ここで、ポインタ画像１５４ａの移動範囲やポインタ画像１５４ｂの移動範囲が、背景オブジェクト１４４にマッピングされているテクスチャ画像上に制限されてもよい。

なお例えば、ポインタ画像１５４がスクリーンオブジェクト１４２にマッピングされているテクスチャ画像に配置される場合がある。この場合は、同様に、当該ポインタ画像１５４の移動範囲が、スクリーンオブジェクト１４２にマッピングされているテクスチャ画像上に制限されてもよい。

なおユーザの操作に応じてスクリーンオブジェクト１４２の位置が移動するようにしてもよい。またそれぞれのユーザシステム２が、当該ユーザシステム２において構成される仮想空間に配置されるスクリーンオブジェクト１４２の位置が移動可能であってもよい。そしてユーザシステム２毎に、当該ユーザシステム２において構成される仮想空間内のスクリーンオブジェクト１４２が異なっても構わない。

また仮想空間内に互いに異なる映像が表示される複数のスクリーンオブジェクト１４２が配置可能であってもよい。

なお本実施形態では、仮想空間共有システム１に含まれるユーザシステム２においてテクスチャ画像として表示される動画像は同期がとれており、ユーザシステム２は同じ映像を同じタイミングで楽しむことができるようになっている。

また複数の全天周カメラのそれぞれによって、互いに異なるスタジアムの位置から映像の撮影が行われていても構わない。あるユーザシステム２のユーザの所定の操作に応じて、背景オブジェクト１４４にマッピングされるテクスチャ画像である映像を撮影する全天周カメラ（撮影地点）が切り替わっても構わない。このときあるユーザが他のユーザに対して撮影地点を変えるよう音声で促すようにしてもよい。ここで撮影地点が連続的に切り替わるようにせず、非連続的に切り替わるようにすると、ユーザが酔う可能性を下げることができる。

また本実施形態では、ユーザシステム２のユーザによって設定される視点１４６の位置や視線方向１４８は、他のユーザのＨＭＤ１２の動きによっては影響を受けない。このように本実施形態ではＨＭＤ１２を装着するユーザが酔う可能性を下げている。

なおスクリーンオブジェクト１４２や背景オブジェクト１４４にマッピングされる動画像は上述のものに限定されない。例えば背景オブジェクト１４４にマッピングされる動画像が星空の映像であっても構わない。またこの場合にスクリーンオブジェクト１４２にマッピングされる動画像が環境映像であっても構わない。

また本実施形態において、ＨＭＤ１２の位置又は向きに基づいて特定される領域に、他の領域よりも高解像度の画像が配置されるようにしてもよい。例えば、視線方向１４８に沿った視点１４６を通る線と交差するテクスチャ画像内の位置を中心とした所定の大きさの領域に、他の領域よりも高解像度のテクスチャ画像が配置されてもよい。また例えば、視線方向１４８に沿った視点１４６を通る線と交差するオブジェクトに、他のテクスチャ画像よりも高解像度であるテクスチャ画像がマッピングされてもよい。

また例えば、スクリーンオブジェクト１４２にマッピングされているテクスチャ画像が、背景オブジェクト１４４にマッピングされているテクスチャ画像よりも高解像度であってもよい。

なお、本発明は上述の実施形態に限定されるものではない。

例えば、視点データやポインタデータの送受信が、管理システム３によって中継される必要はない。例えばユーザシステム２間で直接、視点データやポインタデータの送受信が行われてもよい。

また本発明は、ＨＭＤ１２とエンタテインメント装置１４とが有線で通信する場合も無線で通信する場合も適用可能である。

また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (6)

1. 仮想空間内に配置された第１の視点を通る、第１のヘッドマウントディスプレイの姿勢に応じた第１の視線方向に沿った、前記第１の視点から離間した位置に、注視点を示す注視点オブジェクトを配置する注視点オブジェクト配置部と、
   前記注視点オブジェクトが配置される前記仮想空間内に配置された第２の視点から第２のヘッドマウントディスプレイの姿勢に応じた第２の視線方向を見た様子を表す画像を生成する画像生成部と、
   を含むことを特徴とする画像生成装置。
2. 前記仮想空間には、前記第１のヘッドマウントディスプレイを装着するユーザ及び前記第２のヘッドマウントディスプレイを装着するユーザが視覚可能な仮想オブジェクトが配置されており、
   前記注視点オブジェクト配置部は、前記第１の視点を通る前記第１の視線方向に沿った線と前記仮想オブジェクトとの交点に前記注視点オブジェクトを配置する、
   ことを特徴とする請求項１に記載の画像生成装置。
3. 前記仮想オブジェクトには二次元画像がマッピングされており、
   前記注視点オブジェクト配置部は、前記二次元画像に前記注視点オブジェクトを配置する、
   ことを特徴とする請求項２に記載の画像生成装置。
4. 前記注視点オブジェクト配置部は、複数のヘッドマウントディスプレイにそれぞれ対応付けられる複数の前記注視点オブジェクトを配置し、
   複数の前記注視点オブジェクトは対応付けられるヘッドマウントディスプレイを識別可能なオブジェクトである、
   ことを特徴とする請求項１から３のいずれか一項に記載の画像生成装置。
5. 仮想空間内に配置された第１の視点を通る、第１のヘッドマウントディスプレイの姿勢に応じた第１の視線方向に沿った、前記第１の視点から離間した位置に、注視点を示す注視点オブジェクトを配置するステップと、
   前記注視点オブジェクトが配置される前記仮想空間内に配置された第２の視点から第２のヘッドマウントディスプレイの姿勢に応じた第２の視線方向を見た様子を表す画像を生成するステップと、
   を含むことを特徴とする画像生成方法。
6. 仮想空間内に配置された第１の視点を通る、第１のヘッドマウントディスプレイの姿勢に応じた第１の視線方向に沿った、前記第１の視点から離間した位置に、注視点を示す注視点オブジェクトを配置する手順、
   前記注視点オブジェクトが配置される前記仮想空間内に配置された第２の視点から第２のヘッドマウントディスプレイの姿勢に応じた第２の視線方向を見た様子を表す画像を生成する手順、
   をコンピュータに実行させることを特徴とするプログラム。

Images