JP6718928B2 - 映像出力システム - Google Patents

Description

本発明は映像出力システムに関する。

特許文献１に、ユーザの指示に応じて、異なるカメラにより撮影された複数の全天球映像を切り替える技術の一例が開示されている。

特開２０１５−０５６８７３号公報

従来技術は、映像の切替の動機付けをユーザにより強く与えることができる余地がある。

本発明の一態様は、全天球映像の切替の動機付けをユーザにより強く与えることを目的とする。

本発明の一態様によれば、映像出力システムが提供される。映像出力システムは、第１位置から第１全天球映像を撮影する第１全天球カメラと、前記第１位置と異なる第２位置から第２全天球映像を撮影する第２全天球カメラと、前記第１全天球映像を出力し、前記第１全天球映像から前記第２全天球映像への切替指示を受信したことに応じて、前記第１全天球映像を前記第２全天球映像に切り替えて出力する第１コンピュータと、を備える。第１全天球映像は、第２位置または第２位置の近傍位置から、第１位置及び第２位置とは異なる第３位置を捉えた第１映像を含む。

本開示の一態様によれば、全天球映像の切替の動機付けをユーザにより強く与えることができる。

ある実施の形態に従うＨＭＤシステムの構成の概略を表す図である。 ある実施の形態に従うコンピュータのハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うＨＭＤに設定されるｕｖｗ視野座標系を概念的に表す図である。 ある実施の形態に従う仮想空間を表現する一態様を概念的に表す図である。 ある実施の形態に従うＨＭＤを装着するユーザの頭部を上から表した図である。 仮想空間において視界領域をＸ方向から見たＹＺ断面を表す図である。 仮想空間において視界領域をＹ方向から見たＸＺ断面を表す図である。 ある実施の形態に従うコントローラの概略構成を表す図である。 ある実施の形態に従うユーザの右手に対して規定されるヨー、ロール、ピッチの各方向の一例を示す図である。 ある実施の形態に従うサーバのハードウェア構成の一例を表すブロック図である。 ある実施の形態に従うコンピュータをモジュール構成として表わすブロック図である。 ある実施の形態に従うＨＭＤセットにおいて実行される処理の一部を表すシーケンスチャートである。 ネットワークにおいて、各ＨＭＤがユーザに仮想空間を提供する状況を表す模式図である。 図１２（Ａ）におけるユーザ５Ａの視界画像を示す図である。 ある実施の形態に従うＨＭＤシステムにおいて実行する処理を示すシーケンス図である。 ある実施の形態に従うコンピュータのモジュールの詳細構成を表わすブロック図である。 ある実施の形態に従う映像出力システムの構成の概略を示す図である。 ある実施の形態に従うカメラの視野を説明するための図である。 ある実施の形態に従うカメラのハードウェア構成の一例を表すブロック図である。 映像出力システムを用いた被写体の撮影の一例を示す図である。 ある実施の形態に従うサーバのモジュールの詳細構成を表すブロック図である。 ある実施の形態に従う映像出力システムにおいて実行される処理、および、ＨＭＤセットにおいて実行される処理の一部を示すシーケンス図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 映像出力システムを用いた被写体の撮影の一例を示す図である。 ある実施の形態に従う仮想空間および視界画像を示す図である。 ある実施の形態の変形例に従うコンピュータのモジュールの詳細構成を表すブロック図である。 ある実施の形態の変形例に従う仮想空間および視界画像を示す図である。 ある実施の形態の変形例に従う仮想空間および視界画像を示す図である。 ある実施の形態の変形例に従う仮想空間および視界画像を示す図である。 映像出力システムを用いた被写体の撮影の一例を示す図である。

以下、この技術的思想の実施の形態について図面を参照しながら詳細に説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。本開示において示される１以上の実施形態において、各実施形態が含む要素を互いに組み合わせることができ、かつ、当該組み合わせられた結果物も本開示が示す実施形態の一部をなすものとする。

〔実施形態１〕
［ＨＭＤシステムの構成］
図１を参照して、ＨＭＤ（Head-Mounted Device）システム１００の構成について説明する。図１は、本実施の形態に従うＨＭＤシステム１００の構成の概略を表す図である。ＨＭＤシステム１００は、家庭用のシステムとしてあるいは業務用のシステムとして提供される。

ＨＭＤシステム１００は、サーバ６００と、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄと、外部機器７００と、ネットワーク２とを含む。ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄの各々は、ネットワーク２を介してサーバ６００や外部機器７００と通信可能に構成される。以下、ＨＭＤセット１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄを総称して、ＨＭＤセット１１０とも言う。ＨＭＤシステム１００を構成するＨＭＤセット１１０の数は、４つに限られず、３つ以下でも、５つ以上でもよい。ＨＭＤセット１１０は、ＨＭＤ１２０と、コンピュータ２００と、ＨＭＤセンサ４１０と、ディスプレイ４３０と、コントローラ３００とを備える。ＨＭＤ１２０は、モニタ１３０と、注視センサ１４０と、第１カメラ１５０と、第２カメラ１６０と、マイク１７０と、スピーカ１８０とを含む。コントローラ３００は、モーションセンサ４２０を含み得る。

ある局面において、コンピュータ２００は、インターネットその他のネットワーク２に接続可能であり、ネットワーク２に接続されているサーバ６００その他のコンピュータと通信可能である。その他のコンピュータとしては、例えば、他のＨＭＤセット１１０のコンピュータや外部機器７００が挙げられる。別の局面において、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、センサ１９０を含み得る。

ＨＭＤ１２０は、ユーザ５の頭部に装着され、動作中に仮想空間をユーザ５に提供し得る。より具体的には、ＨＭＤ１２０は、右目用の画像および左目用の画像をモニタ１３０にそれぞれ表示する。ユーザ５の各目がそれぞれの画像を視認すると、ユーザ５は、両目の視差に基づき当該画像を３次元画像として認識し得る。ＨＭＤ１２０は、モニタを備える所謂ヘッドマウントディスプレイと、スマートフォンその他のモニタを有する端末を装着可能なヘッドマウント機器のいずれをも含み得る。

モニタ１３０は、例えば、非透過型の表示装置として実現される。ある局面において、モニタ１３０は、ユーザ５の両目の前方に位置するようにＨＭＤ１２０の本体に配置されている。したがって、ユーザ５は、モニタ１３０に表示される３次元画像を視認すると、仮想空間に没入することができる。ある局面において、仮想空間は、例えば、背景、ユーザ５が操作可能なオブジェクト、ユーザ５が選択可能なメニューの画像を含む。ある局面において、モニタ１３０は、所謂スマートフォンその他の情報表示端末が備える液晶モニタまたは有機ＥＬ（Electro Luminescence）モニタとして実現され得る。

別の局面において、モニタ１３０は、透過型の表示装置として実現され得る。この場合、ＨＭＤ１２０は、図１に示されるようにユーザ５の目を覆う密閉型ではなく、メガネ型のような開放型であり得る。透過型のモニタ１３０は、その透過率を調整することにより、一時的に非透過型の表示装置として構成可能であってもよい。モニタ１３０は、仮想空間を構成する画像の一部と、現実空間とを同時に表示する構成を含んでいてもよい。例えば、モニタ１３０は、ＨＭＤ１２０に搭載されたカメラで撮影した現実空間の画像を表示してもよいし、一部の透過率を高く設定することにより現実空間を視認可能にしてもよい。

ある局面において、モニタ１３０は、右目用の画像を表示するためのサブモニタと、左目用の画像を表示するためのサブモニタとを含み得る。別の局面において、モニタ１３０は、右目用の画像と左目用の画像とを一体として表示する構成であってもよい。この場合、モニタ１３０は、高速シャッタを含む。高速シャッタは、画像がいずれか一方の目にのみ認識されるように、右目用の画像と左目用の画像とを交互に表示可能に作動する。

ある局面において、ＨＭＤ１２０は、図示せぬ複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤ（Light Emitting Diode）により実現される。ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きを検出するためのポジショントラッキング機能を有する。より具体的には、ＨＭＤセンサ４１０は、ＨＭＤ１２０が発する複数の赤外線を読み取り、現実空間内におけるＨＭＤ１２０の位置および傾きを検出する。

別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるＨＭＤ１２０の画像情報を用いて、画像解析処理を実行することにより、ＨＭＤ１２０の位置および傾きを検出することができる。

別の局面において、ＨＭＤ１２０は、位置検出器として、ＨＭＤセンサ４１０の代わりに、あるいはＨＭＤセンサ４１０に加えてセンサ１９０を備えてもよい。ＨＭＤ１２０は、センサ１９０を用いて、ＨＭＤ１２０自身の位置および傾きを検出し得る。例えば、センサ１９０が角速度センサ、地磁気センサ、あるいは加速度センサである場合、ＨＭＤ１２０は、ＨＭＤセンサ４１０の代わりに、これらの各センサのいずれかを用いて、自身の位置および傾きを検出し得る。一例として、センサ１９０が角速度センサである場合、角速度センサは、現実空間におけるＨＭＤ１２０の３軸周りの角速度を経時的に検出する。ＨＭＤ１２０は、各角速度に基づいて、ＨＭＤ１２０の３軸周りの角度の時間的変化を算出し、さらに、角度の時間的変化に基づいて、ＨＭＤ１２０の傾きを算出する。

注視センサ１４０は、ユーザ５の右目および左目の視線が向けられる方向を検出する。つまり、注視センサ１４０は、ユーザ５の視線を検出する。視線の方向の検出は、例えば、公知のアイトラッキング機能によって実現される。注視センサ１４０は、当該アイトラッキング機能を有するセンサにより実現される。ある局面において、注視センサ１４０は、右目用のセンサおよび左目用のセンサを含むことが好ましい。注視センサ１４０は、例えば、ユーザ５の右目および左目に赤外線を照射するとともに、照射光に対する角膜および虹彩からの反射光を受けることにより各眼球の回転角を検出するセンサであってもよい。注視センサ１４０は、検出した各回転角に基づいて、ユーザ５の視線を検知することができる。

第１カメラ１５０は、ユーザ５の顔の下部を撮影する。より具体的には、第１カメラ１５０は、ユーザ５の鼻および口などを撮影する。第２カメラ１６０は、ユーザ５の目および眉などを撮影する。ＨＭＤ１２０のユーザ５側の筐体をＨＭＤ１２０の内側、ＨＭＤ１２０のユーザ５とは逆側の筐体をＨＭＤ１２０の外側と定義する。ある局面において、第１カメラ１５０は、ＨＭＤ１２０の外側に配置され、第２カメラ１６０は、ＨＭＤ１２０の内側に配置され得る。第１カメラ１５０および第２カメラ１６０が生成した画像は、コンピュータ２００に入力される。別の局面において、第１カメラ１５０と第２カメラ１６０とを１台のカメラとして実現し、この１台のカメラでユーザ５の顔を撮影するようにしてもよい。

マイク１７０は、ユーザ５の発話を音声信号（電気信号）に変換してコンピュータ２００に出力する。スピーカ１８０は、音声信号を音声に変換してユーザ５に出力する。別の局面において、ＨＭＤ１２０は、スピーカ１８０に替えてイヤホンを含み得る。

コントローラ３００は、有線または無線によりコンピュータ２００に接続されている。コントローラ３００は、ユーザ５からコンピュータ２００への命令の入力を受け付ける。ある局面において、コントローラ３００は、ユーザ５によって把持可能に構成される。別の局面において、コントローラ３００は、ユーザ５の身体あるいは衣類の一部に装着可能に構成される。さらに別の局面において、コントローラ３００は、コンピュータ２００から送信される信号に基づいて、振動、音、光のうちの少なくともいずれかを出力するように構成されてもよい。さらに別の局面において、コントローラ３００は、ユーザ５から、仮想空間に配置されるオブジェクトの位置や動きを制御するための操作を受け付ける。

ある局面において、コントローラ３００は、複数の光源を含む。各光源は例えば、赤外線を発するＬＥＤにより実現される。ＨＭＤセンサ４１０は、ポジショントラッキング機能を有する。この場合、ＨＭＤセンサ４１０は、コントローラ３００が発する複数の赤外線を読み取り、現実空間内におけるコントローラ３００の位置および傾きを検出する。別の局面において、ＨＭＤセンサ４１０は、カメラにより実現されてもよい。この場合、ＨＭＤセンサ４１０は、カメラから出力されるコントローラ３００の画像情報を用いて、画像解析処理を実行することにより、コントローラ３００の位置および傾きを検出することができる。

モーションセンサ４２０は、ある局面において、ユーザ５の手に取り付けられて、ユーザ５の手の動きを検出する。例えば、モーションセンサ４２０は、手の回転速度、回転数等を検出する。検出された信号は、コンピュータ２００に送られる。モーションセンサ４２０は、例えば、コントローラ３００に設けられている。ある局面において、モーションセンサ４２０は、例えば、ユーザ５に把持可能に構成されたコントローラ３００に設けられている。別の局面において、現実空間における安全のため、コントローラ３００は、手袋型のようにユーザ５の手に装着されることにより容易に飛んで行かないものに装着される。さらに別の局面において、ユーザ５に装着されないセンサがユーザ５の手の動きを検出してもよい。例えば、ユーザ５を撮影するカメラの信号が、ユーザ５の動作を表わす信号として、コンピュータ２００に入力されてもよい。モーションセンサ４２０とコンピュータ２００とは、一例として、無線により互いに接続される。無線の場合、通信形態は特に限られず、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）その他の公知の通信手法が用いられる。

ディスプレイ４３０は、モニタ１３０に表示されている画像と同様の画像を表示する。これにより、ＨＭＤ１２０を装着しているユーザ５以外のユーザにも当該ユーザ５と同様の画像を視聴させることができる。ディスプレイ４３０に表示される画像は、３次元画像である必要はなく、右目用の画像や左目用の画像であってもよい。ディスプレイ４３０としては、例えば、液晶ディスプレイや有機ＥＬモニタなどが挙げられる。

サーバ６００は、コンピュータ２００にプログラムを送信し得る。別の局面において、サーバ６００は、他のユーザによって使用されるＨＭＤ１２０に仮想現実を提供するための他のコンピュータ２００と通信し得る。例えば、アミューズメント施設において、複数のユーザが参加型のゲームを行なう場合、各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介して他のコンピュータ２００と通信して、同じ仮想空間において複数のユーザが共通のゲームを楽しむことを可能にする。各コンピュータ２００は、各ユーザの動作に基づく信号をサーバ６００を介さずに他のコンピュータ２００と通信するようにしてもよい。

外部機器７００は、コンピュータ２００と通信可能な機器であればどのような機器であってもよい。外部機器７００は、例えば、ネットワーク２を介してコンピュータ２００と通信可能な機器であってもよいし、近距離無線通信や有線接続によりコンピュータ２００と直接通信可能な機器であってもよい。外部機器７００としては、例えば、スマートデバイス、ＰＣ（Personal Computer）、及びコンピュータ２００の周辺機器などが挙げられるが、これらに限定されるものではない。

［コンピュータのハードウェア構成］
図２を参照して、本実施の形態に係るコンピュータ２００について説明する。図２は、本実施の形態に従うコンピュータ２００のハードウェア構成の一例を表すブロック図である。コンピュータ２００は、主たる構成要素として、プロセッサ２１０と、メモリ２２０と、ストレージ２３０と、入出力インターフェイス２４０と、通信インターフェイス２５０とを備える。各構成要素は、それぞれ、バス２６０に接続されている。

プロセッサ２１０は、コンピュータ２００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ２２０またはストレージ２３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ２１０は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processor Unit）、ＦＰＧＡ（Field-Programmable Gate Array）その他のデバイスとして実現される。

メモリ２２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ２３０からロードされる。データは、コンピュータ２００に入力されたデータと、プロセッサ２１０によって生成されたデータとを含む。ある局面において、メモリ２２０は、ＲＡＭ（Random Access Memory）その他の揮発メモリとして実現される。

ストレージ２３０は、プログラムおよびデータを永続的に保持する。ストレージ２３０は、例えば、ＲＯＭ（Read-Only Memory）、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ２３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、他のコンピュータ２００との通信を実現するためのプログラムを含む。ストレージ２３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含む。

別の局面において、ストレージ２３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、コンピュータ２００に内蔵されたストレージ２３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。

入出力インターフェイス２４０は、ＨＭＤ１２０、ＨＭＤセンサ４１０、モーションセンサ４２０およびディスプレイ４３０との間で信号を通信する。ＨＭＤ１２０に含まれるモニタ１３０，注視センサ１４０，第１カメラ１５０，第２カメラ１６０，マイク１７０およびスピーカ１８０は、ＨＭＤ１２０の入出力インターフェイス２４０を介してコンピュータ２００との通信を行ない得る。ある局面において、入出力インターフェイス２４０は、ＵＳＢ（Universal Serial Bus）、ＤＶＩ（Digital Visual Interface）、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）その他の端子を用いて実現される。入出力インターフェイス２４０は上述のものに限られない。

ある局面において、入出力インターフェイス２４０は、さらに、コントローラ３００と通信し得る。例えば、入出力インターフェイス２４０は、コントローラ３００およびモーションセンサ４２０から出力された信号の入力を受ける。別の局面において、入出力インターフェイス２４０は、プロセッサ２１０から出力された命令を、コントローラ３００に送る。当該命令は、振動、音声出力、発光等をコントローラ３００に指示する。コントローラ３００は、当該命令を受信すると、その命令に応じて、振動、音声出力または発光のいずれかを実行する。

通信インターフェイス２５０は、ネットワーク２に接続されて、ネットワーク２に接続されている他のコンピュータ（例えば、サーバ６００）と通信する。ある局面において、通信インターフェイス２５０は、例えば、ＬＡＮ（Local Area Network）その他の有線通信インターフェイス、あるいは、ＷｉＦｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）その他の無線通信インターフェイスとして実現される。通信インターフェイス２５０は上述のものに限られない。

ある局面において、プロセッサ２１０は、ストレージ２３０にアクセスし、ストレージ２３０に格納されている１つ以上のプログラムをメモリ２２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、コンピュータ２００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ２１０は、入出力インターフェイス２４０を介して、仮想空間を提供するための信号をＨＭＤ１２０に送る。ＨＭＤ１２０は、その信号に基づいてモニタ１３０に映像を表示する。

図２に示される例では、コンピュータ２００は、ＨＭＤ１２０の外部に設けられる構成が示されているが、別の局面において、コンピュータ２００は、ＨＭＤ１２０に内蔵されてもよい。一例として、モニタ１３０を含む携帯型の情報通信端末（例えば、スマートフォン）がコンピュータ２００として機能してもよい。

コンピュータ２００は、複数のＨＭＤ１２０に共通して用いられる構成であってもよい。このような構成によれば、例えば、複数のユーザに同一の仮想空間を提供することもできるので、各ユーザは同一の仮想空間で他のユーザと同一のアプリケーションを楽しむことができる。

ある実施の形態において、ＨＭＤシステム１００では、現実空間における座標系である実座標系が予め設定されている。実座標系は、現実空間における鉛直方向、鉛直方向に直交する水平方向、並びに、鉛直方向および水平方向の双方に直交する前後方向にそれぞれ平行な、３つの基準方向（軸）を有する。実座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれ、ｘ軸、ｙ軸、ｚ軸と規定される。より具体的には、実座標系において、ｘ軸は現実空間の水平方向に平行である。ｙ軸は、現実空間の鉛直方向に平行である。ｚ軸は現実空間の前後方向に平行である。

ある局面において、ＨＭＤセンサ４１０は、赤外線センサを含む。赤外線センサが、ＨＭＤ１２０の各光源から発せられた赤外線をそれぞれ検出すると、ＨＭＤ１２０の存在を検出する。ＨＭＤセンサ４１０は、さらに、各点の値（実座標系における各座標値）に基づいて、ＨＭＤ１２０を装着したユーザ５の動きに応じた、現実空間内におけるＨＭＤ１２０の位置および傾き（向き）を検出する。より詳しくは、ＨＭＤセンサ４１０は、経時的に検出された各値を用いて、ＨＭＤ１２０の位置および傾きの時間的変化を検出できる。

ＨＭＤセンサ４１０によって検出されたＨＭＤ１２０の各傾きは、実座標系におけるＨＭＤ１２０の３軸周りの各傾きに相当する。ＨＭＤセンサ４１０は、実座標系におけるＨＭＤ１２０の傾きに基づき、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。ＨＭＤ１２０に設定されるｕｖｗ視野座標系は、ＨＭＤ１２０を装着したユーザ５が仮想空間において物体を見る際の視点座標系に対応する。

［ｕｖｗ視野座標系］
図３を参照して、ｕｖｗ視野座標系について説明する。図３は、ある実施の形態に従うＨＭＤ１２０に設定されるｕｖｗ視野座標系を概念的に表す図である。ＨＭＤセンサ４１０は、ＨＭＤ１２０の起動時に、実座標系におけるＨＭＤ１２０の位置および傾きを検出する。プロセッサ２１０は、検出された値に基づいて、ｕｖｗ視野座標系をＨＭＤ１２０に設定する。

図３に示されるように、ＨＭＤ１２０は、ＨＭＤ１２０を装着したユーザ５の頭部を中心（原点）とした３次元のｕｖｗ視野座標系を設定する。より具体的には、ＨＭＤ１２０は、実座標系を規定する水平方向、鉛直方向、および前後方向（ｘ軸、ｙ軸、ｚ軸）を、実座標系内においてＨＭＤ１２０の各軸周りの傾きだけ各軸周りにそれぞれ傾けることによって新たに得られる３つの方向を、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）として設定する。

ある局面において、ＨＭＤ１２０を装着したユーザ５が直立し、かつ、正面を視認している場合、プロセッサ２１０は、実座標系に平行なｕｖｗ視野座標系をＨＭＤ１２０に設定する。この場合、実座標系における水平方向（ｘ軸）、鉛直方向（ｙ軸）、および前後方向（ｚ軸）は、ＨＭＤ１２０におけるｕｖｗ視野座標系のピッチ軸（ｕ軸）、ヨー軸（ｖ軸）、およびロール軸（ｗ軸）に一致する。

ｕｖｗ視野座標系がＨＭＤ１２０に設定された後、ＨＭＤセンサ４１０は、ＨＭＤ１２０の動きに基づいて、設定されたｕｖｗ視野座標系におけるＨＭＤ１２０の傾きを検出できる。この場合、ＨＭＤセンサ４１０は、ＨＭＤ１２０の傾きとして、ｕｖｗ視野座標系におけるＨＭＤ１２０のピッチ角（θｕ）、ヨー角（θｖ）、およびロール角（θｗ）をそれぞれ検出する。ピッチ角（θｕ）は、ｕｖｗ視野座標系におけるピッチ軸周りのＨＭＤ１２０の傾き角度を表す。ヨー角（θｖ）は、ｕｖｗ視野座標系におけるヨー軸周りのＨＭＤ１２０の傾き角度を表す。ロール角（θｗ）は、ｕｖｗ視野座標系におけるロール軸周りのＨＭＤ１２０の傾き角度を表す。

ＨＭＤセンサ４１０は、検出されたＨＭＤ１２０の傾きに基づいて、ＨＭＤ１２０が動いた後のＨＭＤ１２０におけるｕｖｗ視野座標系を、ＨＭＤ１２０に設定する。ＨＭＤ１２０と、ＨＭＤ１２０のｕｖｗ視野座標系との関係は、ＨＭＤ１２０の位置および傾きに関わらず、常に一定である。ＨＭＤ１２０の位置および傾きが変わると、当該位置および傾きの変化に連動して、実座標系におけるＨＭＤ１２０のｕｖｗ視野座標系の位置および傾きが変化する。

ある局面において、ＨＭＤセンサ４１０は、赤外線センサからの出力に基づいて取得される赤外線の光強度および複数の点間の相対的な位置関係（例えば、各点間の距離など）に基づいて、ＨＭＤ１２０の現実空間内における位置を、ＨＭＤセンサ４１０に対する相対位置として特定してもよい。プロセッサ２１０は、特定された相対位置に基づいて、現実空間内（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系の原点を決定してもよい。

［仮想空間］
図４を参照して、仮想空間についてさらに説明する。図４は、ある実施の形態に従う仮想空間１１を表現する一態様を概念的に表す図である。仮想空間１１は、中心１２の３６０度方向の全体を覆う全天球状の構造を有する。図４では、説明を複雑にしないために、仮想空間１１のうちの上半分の天球が例示されている。仮想空間１１では各メッシュが規定される。各メッシュの位置は、仮想空間１１に規定されるグローバル座標系であるＸＹＺ座標系における座標値として予め規定されている。コンピュータ２００は、仮想空間１１に展開可能なパノラマ画像１３（静止画、動画等）を構成する各部分画像を、仮想空間１１において対応する各メッシュにそれぞれ対応付ける。

ある局面において、仮想空間１１では、中心１２を原点とするＸＹＺ座標系が規定される。ＸＹＺ座標系は、例えば、実座標系に平行である。ＸＹＺ座標系における水平方向、鉛直方向（上下方向）、および前後方向は、それぞれＸ軸、Ｙ軸、Ｚ軸として規定される。したがって、ＸＹＺ座標系のＸ軸（水平方向）が実座標系のｘ軸と平行であり、ＸＹＺ座標系のＹ軸（鉛直方向）が実座標系のｙ軸と平行であり、ＸＹＺ座標系のＺ軸（前後方向）が実座標系のｚ軸と平行である。

ＨＭＤ１２０の起動時、すなわちＨＭＤ１２０の初期状態において、仮想カメラ１４が、仮想空間１１の中心１２に配置される。ある局面において、プロセッサ２１０は、仮想カメラ１４が撮影する画像をＨＭＤ１２０のモニタ１３０に表示する。仮想カメラ１４は、現実空間におけるＨＭＤ１２０の動きに連動して、仮想空間１１を同様に移動する。これにより、現実空間におけるＨＭＤ１２０の位置および傾きの変化が、仮想空間１１において同様に再現され得る。

仮想カメラ１４には、ＨＭＤ１２０の場合と同様に、ｕｖｗ視野座標系が規定される。仮想空間１１における仮想カメラ１４のｕｖｗ視野座標系は、現実空間（実座標系）におけるＨＭＤ１２０のｕｖｗ視野座標系に連動するように規定されている。したがって、ＨＭＤ１２０の傾きが変化すると、それに応じて、仮想カメラ１４の傾きも変化する。仮想カメラ１４は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において移動することもできる。

コンピュータ２００のプロセッサ２１０は、仮想カメラ１４の位置と傾き（基準視線１６）とに基づいて、仮想空間１１における視界領域１５を規定する。視界領域１５は、仮想空間１１のうち、ＨＭＤ１２０を装着したユーザ５が視認する領域に対応する。つまり、仮想カメラ１４の位置は、仮想空間１１におけるユーザ５の視点と言える。

注視センサ１４０によって検出されるユーザ５の視線は、ユーザ５が物体を視認する際の視点座標系における方向である。ＨＭＤ１２０のｕｖｗ視野座標系は、ユーザ５がモニタ１３０を視認する際の視点座標系に等しい。仮想カメラ１４のｕｖｗ視野座標系は、ＨＭＤ１２０のｕｖｗ視野座標系に連動している。したがって、ある局面に従うＨＭＤシステム１００は、注視センサ１４０によって検出されたユーザ５の視線を、仮想カメラ１４のｕｖｗ視野座標系におけるユーザ５の視線とみなすことができる。

［ユーザの視線］
図５を参照して、ユーザ５の視線の決定について説明する。図５は、ある実施の形態に従うＨＭＤ１２０を装着するユーザ５の頭部を上から表した図である。

ある局面において、注視センサ１４０は、ユーザ５の右目および左目の各視線を検出する。ある局面において、ユーザ５が近くを見ている場合、注視センサ１４０は、視線Ｒ１およびＬ１を検出する。別の局面において、ユーザ５が遠くを見ている場合、注視センサ１４０は、視線Ｒ２およびＬ２を検出する。この場合、ロール軸ｗに対して視線Ｒ２およびＬ２が成す角度は、ロール軸ｗに対して視線Ｒ１およびＬ１が成す角度よりも小さい。注視センサ１４０は、検出結果をコンピュータ２００に送信する。

コンピュータ２００が、視線の検出結果として、視線Ｒ１およびＬ１の検出値を注視センサ１４０から受信した場合には、その検出値に基づいて、視線Ｒ１およびＬ１の交点である注視点Ｎ１を特定する。一方、コンピュータ２００は、視線Ｒ２およびＬ２の検出値を注視センサ１４０から受信した場合には、視線Ｒ２およびＬ２の交点を注視点として特定する。コンピュータ２００は、特定した注視点Ｎ１の位置に基づき、ユーザ５の視線Ｎ０を特定する。コンピュータ２００は、例えば、ユーザ５の右目Ｒと左目Ｌとを結ぶ直線の中点と、注視点Ｎ１とを通る直線の延びる方向を、視線Ｎ０として検出する。視線Ｎ０は、ユーザ５が両目により実際に視線を向けている方向である。視線Ｎ０は、視界領域１５に対してユーザ５が実際に視線を向けている方向に相当する。

別の局面において、ＨＭＤシステム１００は、テレビジョン放送受信チューナを備えてもよい。このような構成によれば、ＨＭＤシステム１００は、仮想空間１１においてテレビ番組を表示することができる。

さらに別の局面において、ＨＭＤシステム１００は、インターネットに接続するための通信回路、あるいは、電話回線に接続するための通話機能を備えていてもよい。

［視界領域］
図６および図７を参照して、視界領域１５について説明する。図６は、仮想空間１１において視界領域１５をＸ方向から見たＹＺ断面を表す図である。図７は、仮想空間１１において視界領域１５をＹ方向から見たＸＺ断面を表す図である。

図６に示されるように、ＹＺ断面における視界領域１５は、領域１８を含む。領域１８は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＹＺ断面とによって定義される。プロセッサ２１０は、仮想空間における基準視線１６を中心として極角αを含む範囲を、領域１８として規定する。

図７に示されるように、ＸＺ断面における視界領域１５は、領域１９を含む。領域１９は、仮想カメラ１４の位置と基準視線１６と仮想空間１１のＸＺ断面とによって定義される。プロセッサ２１０は、仮想空間１１における基準視線１６を中心とした方位角βを含む範囲を、領域１９として規定する。極角αおよびβは、仮想カメラ１４の位置と仮想カメラ１４の傾き（向き）とに応じて定まる。

ある局面において、ＨＭＤシステム１００は、コンピュータ２００からの信号に基づいて、視界画像１７をモニタ１３０に表示させることにより、ユーザ５に仮想空間１１における視界を提供する。視界画像１７は、パノラマ画像１３のうち視界領域１５に対応する部分に相当する画像である。ユーザ５が、頭部に装着したＨＭＤ１２０を動かすと、その動きに連動して仮想カメラ１４も動く。その結果、仮想空間１１における視界領域１５の位置が変化する。これにより、モニタ１３０に表示される視界画像１７は、パノラマ画像１３のうち、仮想空間１１においてユーザ５が向いた方向の視界領域１５に重畳する画像に更新される。ユーザ５は、仮想空間１１における所望の方向を視認することができる。

このように、仮想カメラ１４の傾きは仮想空間１１におけるユーザ５の視線（基準視線１６）に相当し、仮想カメラ１４が配置される位置は、仮想空間１１におけるユーザ５の視点に相当する。したがって、仮想カメラ１４の位置または傾きを変更することにより、モニタ１３０に表示される画像が更新され、ユーザ５の視界が移動される。

ユーザ５は、ＨＭＤ１２０を装着している間、現実世界を視認することなく、仮想空間１１に展開されるパノラマ画像１３のみを視認できる。そのため、ＨＭＤシステム１００は、仮想空間１１への高い没入感覚をユーザ５に与えることができる。

ある局面において、プロセッサ２１０は、ＨＭＤ１２０を装着したユーザ５の現実空間における移動に連動して、仮想空間１１において仮想カメラ１４を移動し得る。この場合、プロセッサ２１０は、仮想空間１１における仮想カメラ１４の位置および傾きに基づいて、ＨＭＤ１２０のモニタ１３０に投影される画像領域（視界領域１５）を特定する。

ある局面において、仮想カメラ１４は、２つの仮想カメラ、すなわち、右目用の画像を提供するための仮想カメラと、左目用の画像を提供するための仮想カメラとを含み得る。ユーザ５が３次元の仮想空間１１を認識できるように、適切な視差が、２つの仮想カメラに設定される。別の局面において、仮想カメラ１４を１つの仮想カメラにより実現してもよい。この場合、１つの仮想カメラにより得られた画像から、右目用の画像と左目用の画像とを生成するようにしてもよい。本実施の形態においては、仮想カメラ１４が２つの仮想カメラを含み、２つの仮想カメラのロール軸が合成されることによって生成されるロール軸（ｗ）がＨＭＤ１２０のロール軸（ｗ）に適合されるように構成されているものとして、本開示に係る技術思想を例示する。

［コントローラ］
図８を参照して、コントローラ３００の一例について説明する。図８は、ある実施の形態に従うコントローラ３００の概略構成を表す図である。

図８に示されるように、ある局面において、コントローラ３００は、右コントローラ３００Ｒと図示せぬ左コントローラとを含み得る。右コントローラ３００Ｒは、ユーザ５の右手で操作される。左コントローラは、ユーザ５の左手で操作される。ある局面において、右コントローラ３００Ｒと左コントローラとは、別個の装置として対称に構成される。したがって、ユーザ５は、右コントローラ３００Ｒを把持した右手と、左コントローラを把持した左手とをそれぞれ自由に動かすことができる。別の局面において、コントローラ３００は両手の操作を受け付ける一体型のコントローラであってもよい。以下、右コントローラ３００Ｒについて説明する。

右コントローラ３００Ｒは、グリップ３１０と、フレーム３２０と、天面３３０とを備える。グリップ３１０は、ユーザ５の右手によって把持されるように構成されている。たとえば、グリップ３１０は、ユーザ５の右手の掌と３本の指（中指、薬指、小指）とによって保持され得る。

グリップ３１０は、ボタン３４０，３５０と、モーションセンサ４２０とを含む。ボタン３４０は、グリップ３１０の側面に配置され、右手の中指による操作を受け付ける。ボタン３５０は、グリップ３１０の前面に配置され、右手の人差し指による操作を受け付ける。ある局面において、ボタン３４０，３５０は、トリガー式のボタンとして構成される。モーションセンサ４２０は、グリップ３１０の筐体に内蔵されている。ユーザ５の動作がカメラその他の装置によってユーザ５の周りから検出可能である場合には、グリップ３１０は、モーションセンサ４２０を備えなくてもよい。

フレーム３２０は、その円周方向に沿って配置された複数の赤外線ＬＥＤ３６０を含む。赤外線ＬＥＤ３６０は、コントローラ３００を使用するプログラムの実行中に、当該プログラムの進行に合わせて赤外線を発光する。赤外線ＬＥＤ３６０から発せられた赤外線は、右コントローラ３００Ｒと左コントローラとの各位置や姿勢（傾き、向き）を検出するために使用され得る。図８に示される例では、二列に配置された赤外線ＬＥＤ３６０が示されているが、配列の数は図８に示されるものに限られない。一列あるいは３列以上の配列が使用されてもよい。

天面３３０は、ボタン３７０，３８０と、アナログスティック３９０とを備える。ボタン３７０，３８０は、プッシュ式ボタンとして構成される。ボタン３７０，３８０は、ユーザ５の右手の親指による操作を受け付ける。アナログスティック３９０は、ある局面において、初期位置（ニュートラルの位置）から３６０度任意の方向への操作を受け付ける。当該操作は、たとえば、仮想空間１１に配置されるオブジェクトを移動するための操作を含む。

ある局面において、右コントローラ３００Ｒおよび左コントローラは、赤外線ＬＥＤ３６０その他の部材を駆動するための電池を含む。電池は、充電式、ボタン型、乾電池型などを含むが、これらに限定されない。別の局面において、右コントローラ３００Ｒと左コントローラは、たとえば、コンピュータ２００のＵＳＢインターフェースに接続され得る。この場合、右コントローラ３００Ｒおよび左コントローラは、電池を必要としない。

図８の状態（Ａ）および状態（Ｂ）に示されるように、例えば、ユーザ５の右手に対して、ヨー、ロール、ピッチの各方向が規定される。ユーザ５が親指と人差し指とを伸ばした場合に、親指の伸びる方向がヨー方向、人差し指の伸びる方向がロール方向、ヨー方向の軸およびロール方向の軸によって規定される平面に垂直な方向がピッチ方向として規定される。

［サーバのハードウェア構成］
図９を参照して、本実施の形態に係るサーバ６００について説明する。図９は、ある実施の形態に従うサーバ６００のハードウェア構成の一例を表すブロック図である。サーバ６００は、主たる構成要素として、プロセッサ６１０と、メモリ６２０と、ストレージ６３０と、入出力インターフェイス６４０と、通信インターフェイス６５０とを備える。各構成要素は、それぞれ、バス６６０に接続されている。

プロセッサ６１０は、サーバ６００に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ６２０またはストレージ６３０に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ６１０は、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＦＰＧＡその他のデバイスとして実現される。

メモリ６２０は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ６３０からロードされる。データは、サーバ６００に入力されたデータと、プロセッサ６１０によって生成されたデータとを含む。ある局面において、メモリ６２０は、ＲＡＭその他の揮発メモリとして実現される。

ストレージ６３０は、プログラムおよびデータを永続的に保持する。ストレージ６３０は、例えば、ＲＯＭ、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ６３０に格納されるプログラムは、ＨＭＤシステム１００において仮想空間を提供するためのプログラム、シミュレーションプログラム、ゲームプログラム、ユーザ認証プログラム、コンピュータ２００との通信を実現するためのプログラムを含んでもよい。ストレージ６３０に格納されるデータは、仮想空間を規定するためのデータおよびオブジェクト等を含んでもよい。

別の局面において、ストレージ６３０は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、サーバ６００に内蔵されたストレージ６３０の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。このような構成によれば、例えば、アミューズメント施設のように複数のＨＭＤシステム１００が使用される場面において、プログラムやデータの更新を一括して行なうことが可能になる。

入出力インターフェイス６４０は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス６４０は、ＵＳＢ、ＤＶＩ、ＨＤＭＩその他の端子を用いて実現される。入出力インターフェイス６４０は上述のものに限られない。

通信インターフェイス６５０は、ネットワーク２に接続されて、ネットワーク２に接続されているコンピュータ２００と通信する。ある局面において、通信インターフェイス６５０は、例えば、ＬＡＮその他の有線通信インターフェイス、あるいは、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、ＮＦＣその他の無線通信インターフェイスとして実現される。通信インターフェイス６５０は上述のものに限られない。

ある局面において、プロセッサ６１０は、ストレージ６３０にアクセスし、ストレージ６３０に格納されている１つ以上のプログラムをメモリ６２０にロードし、当該プログラムに含まれる一連の命令を実行する。当該１つ以上のプログラムは、サーバ６００のオペレーティングシステム、仮想空間を提供するためのアプリケーションプログラム、仮想空間で実行可能なゲームソフトウェア等を含み得る。プロセッサ６１０は、入出力インターフェイス６４０を介して、仮想空間を提供するための信号をコンピュータ２００に送ってもよい。

［ＨＭＤの制御装置］
図１０を参照して、ＨＭＤ１２０の制御装置について説明する。ある実施の形態において、制御装置は周知の構成を有するコンピュータ２００によって実現される。図１０は、ある実施の形態に従うコンピュータ２００をモジュール構成として表わすブロック図である。

図１０に示されるように、コンピュータ２００は、コントロールモジュール５１０と、レンダリングモジュール５２０と、メモリモジュール５３０と、通信制御モジュール５４０とを備える。ある局面において、コントロールモジュール５１０とレンダリングモジュール５２０とは、プロセッサ２１０によって実現される。別の局面において、複数のプロセッサ２１０がコントロールモジュール５１０とレンダリングモジュール５２０として作動してもよい。メモリモジュール５３０は、メモリ２２０またはストレージ２３０によって実現される。通信制御モジュール５４０は、通信インターフェイス２５０によって実現される。

コントロールモジュール５１０は、ユーザ５に提供される仮想空間１１を制御する。コントロールモジュール５１０は、仮想空間１１を表す仮想空間データを用いて、ＨＭＤシステム１００における仮想空間１１を規定する。仮想空間データは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、仮想空間データを生成したり、サーバ６００などから仮想空間データを取得するようにしたりしてもよい。

コントロールモジュール５１０は、オブジェクトを表すオブジェクトデータを用いて、仮想空間１１にオブジェクトを配置する。オブジェクトデータは、例えば、メモリモジュール５３０に記憶されている。コントロールモジュール５１０が、オブジェクトデータを生成したり、サーバ６００などからオブジェクトデータを取得するようにしたりしてもよい。オブジェクトは、例えば、ユーザ５の分身であるアバターオブジェクト、キャラクタオブジェクト、コントローラ３００によって操作される仮想手などの操作オブジェクト、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、街並み、動物等を含み得る。

コントロールモジュール５１０は、ネットワーク２を介して接続される他のコンピュータ２００のユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５のアバターオブジェクトを仮想空間１１に配置する。ある局面において、コントロールモジュール５１０は、ユーザ５を含む画像に基づいて、ユーザ５を模したアバターオブジェクトを仮想空間１１に配置する。別の局面において、コントロールモジュール５１０は、複数種類のアバターオブジェクト（例えば、動物を模したオブジェクトや、デフォルメされた人のオブジェクト）の中からユーザ５による選択を受け付けたアバターオブジェクトを仮想空間１１に配置する。

コントロールモジュール５１０は、ＨＭＤセンサ４１０の出力に基づいてＨＭＤ１２０の傾きを特定する。別の局面において、コントロールモジュール５１０は、モーションセンサとして機能するセンサ１９０の出力に基づいてＨＭＤ１２０の傾きを特定する。コントロールモジュール５１０は、第１カメラ１５０および第２カメラ１６０が生成するユーザ５の顔の画像から、ユーザ５の顔を構成する器官（例えば、口，目，眉）を検出する。コントロールモジュール５１０は、検出した各器官の動き（形状）を検出する。

コントロールモジュール５１０は、注視センサ１４０からの信号に基づいて、ユーザ５の仮想空間１１における視線を検出する。コントロールモジュール５１０は、検出したユーザ５の視線と仮想空間１１の天球とが交わる視点位置（ＸＹＺ座標系における座標値）を検出する。より具体的には、コントロールモジュール５１０は、ｕｖｗ座標系で規定されるユーザ５の視線と、仮想カメラ１４の位置および傾きとに基づいて、視点位置を検出する。コントロールモジュール５１０は、検出した視点位置をサーバ６００に送信する。別の局面において、コントロールモジュール５１０は、ユーザ５の視線を表す視線情報をサーバ６００に送信するように構成されてもよい。係る場合、サーバ６００が受信した視線情報に基づいて視点位置を算出し得る。

コントロールモジュール５１０は、ＨＭＤセンサ４１０が検出するＨＭＤ１２０の動きをアバターオブジェクトに反映する。例えば、コントロールモジュール５１０は、ＨＭＤ１２０が傾いたことを検知して、アバターオブジェクトを傾けて配置する。コントロールモジュール５１０は、検出した顔器官の動作を、仮想空間１１に配置されるアバターオブジェクトの顔に反映させる。コントロールモジュール５１０は、サーバ６００から他のユーザ５の視線情報を受信し、当該他のユーザ５のアバターオブジェクトの視線に反映させる。ある局面において、コントロールモジュール５１０は、コントローラ３００の動きをアバターオブジェクトや操作オブジェクトに反映する。この場合、コントローラ３００は、コントローラ３００の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子（例えば、赤外線ＬＥＤ）などを備える。

コントロールモジュール５１０は、仮想空間１１においてユーザ５の操作を受け付けるための操作オブジェクトを仮想空間１１に配置する。ユーザ５は、操作オブジェクトを操作することにより、例えば、仮想空間１１に配置されるオブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ユーザ５の手に相当する仮想手である手オブジェクト等を含み得る。ある局面において、コントロールモジュール５１０は、モーションセンサ４２０の出力に基づいて現実空間におけるユーザ５の手の動きに連動するように仮想空間１１において手オブジェクトを動かす。ある局面において、操作オブジェクトは、アバターオブジェクトの手の部分に相当し得る。

コントロールモジュール５１０は、仮想空間１１に配置されるオブジェクトのそれぞれが、他のオブジェクトと衝突した場合に、当該衝突を検出する。コントロールモジュール５１０は、例えば、あるオブジェクトのコリジョンエリアと、別のオブジェクトのコリジョンエリアとが触れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態から離れたタイミングを検出することができ、当該検出がされたときに、予め定められた処理を行なう。コントロールモジュール５１０は、オブジェクトとオブジェクトとが触れている状態であることを検出することができる。例えば、コントロールモジュール５１０は、操作オブジェクトと、他のオブジェクトとが触れたときに、これら操作オブジェクトと他のオブジェクトとが触れたことを検出して、予め定められた処理を行なう。

ある局面において、コントロールモジュール５１０は、ＨＭＤ１２０のモニタ１３０における画像表示を制御する。例えば、コントロールモジュール５１０は、仮想空間１１に仮想カメラ１４を配置する。コントロールモジュール５１０は、仮想空間１１における仮想カメラ１４の位置と、仮想カメラ１４の傾き（向き）を制御する。コントロールモジュール５１０は、ＨＭＤ１２０を装着したユーザ５の頭部の傾きと、仮想カメラ１４の位置に応じて、視界領域１５を規定する。レンダリングモジュール５２０は、決定された視界領域１５に基づいて、モニタ１３０に表示される視界画像１７を生成する。レンダリングモジュール５２０により生成された視界画像１７は、通信制御モジュール５４０によってＨＭＤ１２０に出力される。

コントロールモジュール５１０は、ＨＭＤ１２０から、ユーザ５のマイク１７０を用いた発話を検出すると、当該発話に対応する音声データの送信対象のコンピュータ２００を特定する。音声データは、コントロールモジュール５１０によって特定されたコンピュータ２００に送信される。コントロールモジュール５１０は、ネットワーク２を介して他のユーザのコンピュータ２００から音声データを受信すると、当該音声データに対応する音声（発話）をスピーカ１８０から出力する。

メモリモジュール５３０は、コンピュータ２００が仮想空間１１をユーザ５に提供するために使用されるデータを保持している。ある局面において、メモリモジュール５３０は、空間情報と、オブジェクト情報と、ユーザ情報とを保持している。

空間情報は、仮想空間１１を提供するために規定された１つ以上のテンプレートを保持している。

オブジェクト情報は、仮想空間１１を構成する複数のパノラマ画像１３、仮想空間１１にオブジェクトを配置するためのオブジェクトデータを含む。パノラマ画像１３は、静止画像および動画像を含み得る。パノラマ画像１３は、非現実空間の画像と現実空間の画像とを含み得る。非現実空間の画像としては、例えば、コンピュータグラフィックスで生成された画像が挙げられる。

ユーザ情報は、ユーザ５を識別するユーザＩＤを保持する。ユーザＩＤは、例えば、ユーザが使用するコンピュータ２００に設定されるＩＰ（Internet Protocol）アドレスまたはＭＡＣ（Media Access Control）アドレスであり得る。別の局面において、ユーザＩＤはユーザによって設定され得る。ユーザ情報は、ＨＭＤシステム１００の制御装置としてコンピュータ２００を機能させるためのプログラム等を含む。

メモリモジュール５３０に格納されているデータおよびプログラムは、ＨＭＤ１２０のユーザ５によって入力される。あるいは、プロセッサ２１０が、当該コンテンツを提供する事業者が運営するコンピュータ（例えば、サーバ６００）からプログラムあるいはデータをダウンロードして、ダウンロードされたプログラムあるいはデータをメモリモジュール５３０に格納する。

通信制御モジュール５４０は、ネットワーク２を介して、サーバ６００その他の情報通信装置と通信し得る。

ある局面において、コントロールモジュール５１０及びレンダリングモジュール５２０は、例えば、ユニティテクノロジーズ社によって提供されるＵｎｉｔｙ（登録商標）を用いて実現され得る。別の局面において、コントロールモジュール５１０及びレンダリングモジュール５２０は、各処理を実現する回路素子の組み合わせとしても実現され得る。

コンピュータ２００における処理は、ハードウェアと、プロセッサ２１０により実行されるソフトウェアとによって実現される。このようなソフトウェアは、ハードディスクその他のメモリモジュール５３０に予め格納されている場合がある。ソフトウェアは、ＣＤ−ＲＯＭその他のコンピュータ読み取り可能な不揮発性のデータ記録媒体に格納されて、プログラム製品として流通している場合もある。あるいは、当該ソフトウェアは、インターネットその他のネットワークに接続されている情報提供事業者によってダウンロード可能なプログラム製品として提供される場合もある。このようなソフトウェアは、光ディスク駆動装置その他のデータ読取装置によってデータ記録媒体から読み取られて、あるいは、通信制御モジュール５４０を介してサーバ６００その他のコンピュータからダウンロードされた後、記憶モジュールに一旦格納される。そのソフトウェアは、プロセッサ２１０によって記憶モジュールから読み出され、実行可能なプログラムの形式でＲＡＭに格納される。プロセッサ２１０は、そのプログラムを実行する。

［ＨＭＤシステムの制御構造］
図１１を参照して、ＨＭＤセット１１０の制御構造について説明する。図１１は、ある実施の形態に従うＨＭＤセット１１０において実行される処理の一部を表すシーケンスチャートである。

図１１に示されるように、ステップＳ１１１０において、コンピュータ２００のプロセッサ２１０は、コントロールモジュール５１０として、仮想空間データを特定し、仮想空間１１を定義する。

ステップＳ１１２０において、プロセッサ２１０は、仮想カメラ１４を初期化する。たとえば、プロセッサ２１０は、メモリのワーク領域において、仮想カメラ１４を仮想空間１１において予め規定された中心１２に配置し、仮想カメラ１４の視線をユーザ５が向いている方向に向ける。

ステップＳ１１３０において、プロセッサ２１０は、レンダリングモジュール５２０として、初期の視界画像を表示するための視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。

ステップＳ１１３２において、ＨＭＤ１２０のモニタ１３０は、コンピュータ２００から受信した視界画像データに基づいて、視界画像を表示する。ＨＭＤ１２０を装着したユーザ５は、視界画像を視認すると仮想空間１１を認識し得る。

ステップＳ１１３４において、ＨＭＤセンサ４１０は、ＨＭＤ１２０から発信される複数の赤外線光に基づいて、ＨＭＤ１２０の位置と傾きを検知する。検知結果は、動き検知データとして、コンピュータ２００に出力される。

ステップＳ１１４０において、プロセッサ２１０は、ＨＭＤ１２０の動き検知データに含まれる位置と傾きとに基づいて、ＨＭＤ１２０を装着したユーザ５の視界方向を特定する。

ステップＳ１１５０において、プロセッサ２１０は、アプリケーションプログラムを実行し、アプリケーションプログラムに含まれる命令に基づいて、仮想空間１１にオブジェクトを配置する。

ステップＳ１１６０において、コントローラ３００は、モーションセンサ４２０から出力される信号に基づいて、ユーザ５の操作を検出し、その検出された操作を表す検出データをコンピュータ２００に出力する。別の局面において、ユーザ５によるコントローラ３００の操作は、ユーザ５の周囲に配置されたカメラからの画像に基づいて検出されてもよい。

ステップＳ１１７０において、プロセッサ２１０は、コントローラ３００から取得した検出データに基づいて、ユーザ５によるコントローラ３００の操作を検出する。

ステップＳ１１８０において、プロセッサ２１０は、ユーザ５によるコントローラ３００の操作に基づく視界画像データを生成する。生成された視界画像データは、通信制御モジュール５４０によってＨＭＤ１２０に出力される。

ステップＳ１１９０において、ＨＭＤ１２０は、受信した視界画像データに基づいて視界画像を更新し、更新後の視界画像をモニタ１３０に表示する。

［アバターオブジェクト］
図１２（Ａ）、（Ｂ）を参照して、本実施の形態に従うアバターオブジェクトについて説明する。以下、ＨＭＤセット１１０Ａ，１１０Ｂの各ユーザ５のアバターオブジェクトを説明する図である。以下、ＨＭＤセット１１０Ａのユーザをユーザ５Ａ、ＨＭＤセット１１０Ｂのユーザをユーザ５Ｂ、ＨＭＤセット１１０Ｃのユーザをユーザ５Ｃ、ＨＭＤセット１１０Ｄのユーザをユーザ５Ｄと表す。ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付される。例えば、ＨＭＤ１２０Ａは、ＨＭＤセット１１０Ａに含まれる。

図１２（Ａ）は、ネットワーク２において、各ＨＭＤ１２０がユーザ５に仮想空間１１を提供する状況を表す模式図である。コンピュータ２００Ａ〜２００Ｄは、ＨＭＤ１２０Ａ〜１２０Ｄを介して、ユーザ５Ａ〜５Ｄに、仮想空間１１Ａ〜１１Ｄをそれぞれ提供する。図１２（Ａ）に示される例において、仮想空間１１Ａおよび仮想空間１１Ｂは同じデータによって構成されている。換言すれば、コンピュータ２００Ａとコンピュータ２００Ｂとは同じ仮想空間を共有していることになる。仮想空間１１Ａおよび仮想空間１１Ｂには、ユーザ５Ａのアバターオブジェクト６Ａと、ユーザ５Ｂのアバターオブジェクト６Ｂとが存在する。仮想空間１１Ａにおけるアバターオブジェクト６Ａおよび仮想空間１１Ｂにおけるアバターオブジェクト６ＢがそれぞれＨＭＤ１２０を装着しているが、これは説明を分かりやすくするためのものであって、実際にはこれらのオブジェクトはＨＭＤ１２０を装着していない。

ある局面において、プロセッサ２１０Ａは、ユーザ５Ａの視界画像１７Ａを撮影する仮想カメラ１４Ａを、アバターオブジェクト６Ａの目の位置に配置し得る。

図１２（Ｂ）は、図１２（Ａ）におけるユーザ５Ａの視界画像１７Ａを示す図である。視界画像１７Ａは、ＨＭＤ１２０Ａのモニタ１３０Ａに表示される画像である。この視界画像１７Ａは、仮想カメラ１４Ａにより生成された画像である。視界画像１７Ａには、ユーザ５Ｂのアバターオブジェクト６Ｂが表示されている。特に図示はしていないが、ユーザ５Ｂの視界画像にも同様に、ユーザ５Ａのアバターオブジェクト６Ａが表示されている。

図１２（Ｂ）の状態において、ユーザ５Ａは仮想空間１１Ａを介してユーザ５Ｂと対話による通信（コミュニケーション）を図ることができる。より具体的には、マイク１７０Ａにより取得されたユーザ５Ａの音声は、サーバ６００を介してユーザ５ＢのＨＭＤ１２０Ｂに送信され、ＨＭＤ１２０Ｂに設けられたスピーカ１８０Ｂから出力される。ユーザ５Ｂの音声は、サーバ６００を介してユーザ５ＡのＨＭＤ１２０Ａに送信され、ＨＭＤ１２０Ａに設けられたスピーカ１８０Ａから出力される。

ユーザ５Ｂの動作（ＨＭＤ１２０Ｂの動作およびコントローラ３００Ｂの動作）は、プロセッサ２１０Ａにより仮想空間１１Ａに配置されるアバターオブジェクト６Ｂに反映される。これにより、ユーザ５Ａは、ユーザ５Ｂの動作を、アバターオブジェクト６Ｂを通じて認識できる。

図１３は、本実施の形態に従うＨＭＤシステム１００において実行される処理の一部を表すシーケンスチャートである。図１３においては、ＨＭＤセット１１０Ｄを図示していないが、ＨＭＤセット１１０Ｄについても、ＨＭＤセット１１０Ａ、１１０Ｂ、１１０Ｃと同様に動作する。以下の説明でも、ＨＭＤセット１１０Ａに関する各構成要素の参照符号にＡが付され、ＨＭＤセット１１０Ｂに関する各構成要素の参照符号にＢが付され、ＨＭＤセット１１０Ｃに関する各構成要素の参照符号にＣが付され、ＨＭＤセット１１０Ｄに関する各構成要素の参照符号にＤが付されるものとする。

ステップＳ１３１０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおけるアバターオブジェクト６Ａの動作を決定するためのアバター情報を取得する。このアバター情報は、例えば、動き情報、フェイストラッキングデータ、および音声データ等のアバターに関する情報を含む。動き情報は、ＨＭＤ１２０Ａの位置および傾きの時間的変化を示す情報や、モーションセンサ４２０Ａ等により検出されたユーザ５Ａの手の動きを示す情報などを含む。フェイストラッキングデータは、ユーザ５Ａの顔の各パーツの位置および大きさを特定するデータが挙げられる。フェイストラッキングデータは、ユーザ５Ａの顔を構成する各器官の動きを示すデータや視線データが挙げられる。音声データは、ＨＭＤ１２０Ａのマイク１７０Ａによって取得されたユーザ５Ａの音声を示すデータが挙げられる。アバター情報には、アバターオブジェクト６Ａ、あるいはアバターオブジェクト６Ａに関連付けられるユーザ５Ａを特定する情報や、アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報等が含まれてもよい。アバターオブジェクト６Ａやユーザ５Ａを特定する情報としては、ユーザＩＤが挙げられる。アバターオブジェクト６Ａが存在する仮想空間１１Ａを特定する情報としては、ルームＩＤが挙げられる。プロセッサ２１０Ａは、上述のように取得されたアバター情報を、ネットワーク２を介してサーバ６００に送信する。

ステップＳ１３１０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３１０Ａにおける処理と同様に、仮想空間１１Ｂにおけるアバターオブジェクト６Ｂの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。同様に、ステップＳ１３１０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるアバターオブジェクト６Ｃの動作を決定するためのアバター情報を取得し、サーバ６００に送信する。

ステップＳ１３２０において、サーバ６００は、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤセット１１０Ｃのそれぞれから受信したプレイヤ情報を一旦記憶する。サーバ６００は、各アバター情報に含まれるユーザＩＤおよびルームＩＤ等に基づいて、共通の仮想空間１１に関連付けられた全ユーザ（この例では、ユーザ５Ａ〜５Ｃ）のアバター情報を統合する。そして、サーバ６００は、予め定められたタイミングで、統合したアバター情報を当該仮想空間１１に関連付けられた全ユーザに送信する。これにより、同期処理が実行される。このような同期処理により、ＨＭＤセット１１０Ａ、ＨＭＤセット１１０Ｂ、およびＨＭＤセット１１０Ｃは、互いのアバター情報をほぼ同じタイミングで共有することができる。

続いて、サーバ６００から各ＨＭＤセット１１０Ａ〜１１０Ｃに送信されたアバター情報に基づいて、各ＨＭＤセット１１０Ａ〜１１０Ｃは、ステップＳ１３３０Ａ〜Ｓ１３３０Ｃの処理を実行する。ステップＳ１３３０Ａの処理は、図１１におけるステップＳ１１８０の処理に相当する。

ステップＳ１３３０Ａにおいて、ＨＭＤセット１１０Ａにおけるプロセッサ２１０Ａは、仮想空間１１Ａにおける他のユーザ５Ｂ，５Ｃのアバターオブジェクト６Ｂ、アバターオブジェクト６Ｃの情報を更新する。具体的には、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｂから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｂの位置および向き等を更新する。例えば、プロセッサ２１０Ａは、メモリモジュール５３０に格納されたオブジェクト情報に含まれるアバターオブジェクト６Ｂの情報（位置および向き等）を更新する。同様に、プロセッサ２１０Ａは、ＨＭＤセット１１０Ｃから送信されたアバター情報に含まれる動き情報に基づいて、仮想空間１１におけるアバターオブジェクト６Ｃの情報（位置および向き等）を更新する。

ステップＳ１３３０Ｂにおいて、ＨＭＤセット１１０Ｂにおけるプロセッサ２１０Ｂは、ステップＳ１３３０Ａにおける処理と同様に、仮想空間１１Ｂにおけるユーザ５Ａ，５Ｃのアバターオブジェクト６Ａ，６Ｃの情報を更新する。同様に、ステップＳ１３３０Ｃにおいて、ＨＭＤセット１１０Ｃにおけるプロセッサ２１０Ｃは、仮想空間１１Ｃにおけるユーザ５Ａ，５Ｂのアバターオブジェクト６Ａ，６Ｂの情報を更新する。

［コンピュータ２００のモジュールの詳細構成］
図１４を参照して、コンピュータ２００（視聴者端末）のモジュール構成の詳細について説明する。図１４は、ある実施の形態に従うコンピュータ２００のモジュールの詳細構成を表すブロック図である。図１４に示されるように、コントロールモジュール５１０は、視界制御モジュール１４２１および動き検出モジュール１４２２を備えている。

視界制御モジュール１４２１は、仮想空間１１におけるユーザ５の視界領域１５を制御する。動き検出モジュール１４２２は、ユーザ５の動きを検出する。動き検出モジュール１４２２は、例えば、コントローラ３００の出力に応じて、ユーザ５の手の動きを検出する。動き検出モジュール１４２２は、例えば、ユーザ５の身体に装着されるモーションセンサの出力に応じて、ユーザ５の身体の動きを検出する。動き検出モジュール１４２２は、ユーザ５の顔器官の動作を検出することもできる。

［映像出力システムの構成］
図１５は、ある実施の形態に従う映像出力システム１５００の構成の概略を示す図である。映像出力システム１５００は、全天球映像を出力し、該全天球映像を視聴者に視聴させる。映像出力システム１５００は、例えば業務用のシステムとして提供される。つまり、この例におけるユーザ５は、全天球映像の視聴者である。ここでの「配信」とは、例えば、映像出力システム１５００が、コンピュータ２００（第２コンピュータ）に対するユーザ５の入力に基づく指示を受信して、全天球映像をコンピュータ２００へ送信することを指す。

映像出力システム１５００は、一例として、図１５に示すように、サーバ６００（第１コンピュータ）と、第１全天球カメラ１５３１Ａと、第２全天球カメラ１５３１Ｂと、全天球映像生成装置１５３４と、鏡１５４１とを含む。なお、第１全天球カメラ１５３１Ａおよび第２全天球カメラ１５３１Ｂを区別する必要が無い場合は、これらを「全天球カメラ１５３１」と総称する。なお、映像出力システム１５００は、３つ以上の全天球カメラ１５３１を含む構成であってもよい。

［全天球カメラ１５３１］
第１全天球カメラ１５３１Ａおよび第２全天球カメラ１５３１Ｂは、それぞれ、複数の撮像部を備え、被写体１５５１を撮影する。一例として、第１全天球カメラ１５３１Ａおよび第２全天球カメラ１５３１Ｂは、それぞれ、２つの撮像部を備える。具体的には、第１全天球カメラ１５３１Ａは、第１撮像部１５３２Ａおよび第２撮像部１５３３Ａを備える。また、第２全天球カメラ１５３１Ｂは、第１撮像部１５３２Ｂおよび第２撮像部１５３３Ｂを備える。なお、第１撮像部１５３２Ａおよび第１撮像部１５３２Ｂを区別する必要が無い場合は、これらを「第１撮像部１５３２」と総称する。また、第２撮像部１５３３Ａおよび第２撮像部１５３３Ｂを区別する必要が無い場合は、これらを「第２撮像部１５３３」と総称する。

第１撮像部１５３２および第２撮像部１５３３は、動画像または静止画像を撮像するように構成されており、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（complementary metal-oxide semiconductor）などの撮像素子、および、レンズによって構成されている。以降、第１撮像部１５３２および第２撮像部１５３３が撮像する映像「撮影映像」と称する場合がある。

図１６は、ある実施の形態に従う全天球カメラ１５３１の視野を説明するための図である。第１撮像部１５３２および第２撮像部１５３３は、一例として、互いに反対方向を撮像するように全天球カメラ１５３１に配置されている。第１撮像部１５３２は、一例として、図１６に示す視野１６６１Ａを有する。また、第２撮像部１５３３は、一例として、図１６に示す視野１６６１Ｂを有する。視野１６６１Ａおよび視野１６６１Ｂは、それぞれ、第１撮像部１５３２および第２撮像部１５３３の撮像領域と表現することもできる。

図１６は、全天球カメラ１５３１の上面図であるため、視野１６６１Ａおよび視野１６６１Ｂを、一部が欠けた円形（扇形）で示している。しかしながら、第１撮像部１５３２および第２撮像部１５３３は、垂直方向（紙面に垂直な方向）にも視野を有している。つまり、視野１６６１Ａおよび視野１６６１Ｂは、実際は、一部が欠けた球形である。よって、全天球カメラ１５３１の視野は、互いに反対方向であり、かつ、一部が欠けた球形の２つの視野である。これにより、全天球カメラ１５３１は、全天球カメラ１５３１の全周囲（３６０度）の領域を撮影することができる。

図１７は、ある実施の形態に従う全天球カメラ１５３１のハードウェア構成の一例を表すブロック図である。図１７に示すように、全天球カメラ１５３１は、主たる構成要素として、プロセッサ１７７１と、メモリ１７７２と、ストレージ１７７３と、第１撮像部１５３２と、第２撮像部１５３３と、入出力インターフェイス１７７４と、通信インターフェイス１７７５とを備える。各構成要素は、それぞれ、バス１７７６に接続される。

プロセッサ１７７１は、全天球カメラ１５３１に与えられる信号に基づいて、あるいは、予め定められた条件が成立したことに基づいて、メモリ１７７２またはストレージ１７７３に格納されているプログラムに含まれる一連の命令を実行する。ある局面において、プロセッサ１７７１は、ＣＰＵ、ＧＰＵ、ＭＰＵ、ＦＰＧＡその他のデバイスとして実現される。

メモリ１７７２は、プログラムおよびデータを一時的に保存する。プログラムは、例えば、ストレージ１７７３からロードされる。データは、全天球カメラ１５３１に入力されたデータと、プロセッサ１７７１によって生成されたデータとを含む。ある局面において、メモリ１７７２は、ＲＡＭその他の揮発メモリとして実現される。

ストレージ１７７３は、プログラムおよびデータを永続的に保持する。ストレージ１７７３は、例えば、ＲＯＭ、ハードディスク装置、フラッシュメモリ、その他の不揮発記憶装置として実現される。ストレージ１７７３に格納されるプログラムは、撮影映像の撮像を実現するためのプログラム、その他の装置との通信を実現するためのプログラムなどを含んでもよい。ストレージ１７７３に格納されるデータは、撮影映像（撮影映像データ）を含んでもよい。

別の局面において、ストレージ１７７３は、メモリカードのように着脱可能な記憶装置として実現されてもよい。さらに別の局面において、全天球カメラ１５３１に内蔵されたストレージ１７７３の代わりに、外部の記憶装置に保存されているプログラムおよびデータを使用する構成が使用されてもよい。

第１撮像部１５３２および第２撮像部１５３３は、上述したように、撮影映像を撮像する。

入出力インターフェイス１７７４は、入出力機器との間で信号を通信する。ある局面において、入出力インターフェイス１７７４は、ＵＳＢ、ＤＶＩ、ＨＤＭＩその他の端子を用いて実現される。入出力インターフェイス１７７４は上述のものに限られない。

通信インターフェイス１７７５は、ネットワーク２に接続されて、ネットワーク２に接続されている装置と通信する。ある局面において、通信インターフェイス１７７５は、例えば、ＬＡＮその他の有線通信インターフェイス、あるいは、ＷｉＦｉ，Ｂｌｕｅｔｏｏｔｈ、ＮＦＣその他の無線通信インターフェイスとして実現される。通信インターフェイス１７７５は上述のものに限られない。なお、通信インターフェイス１７７５は、全天球カメラ１５３１において必須ではない。換言すれば、全天球カメラ１５３１は、ネットワーク２に接続されている装置と通信する機能を備えていなくてもよい。

［全天球映像生成装置１５３４］
全天球映像生成装置１５３４は、全天球カメラ１５３１から取得した撮影映像を用いて、全天球映像を生成する。ある局面において、全天球映像生成装置１５３４は、ネットワーク２を介して全天球カメラ１５３１から撮影映像を取得する。別の局面において、全天球映像生成装置１５３４は、全天球映像生成装置１５３４に接続された記憶装置から撮影映像を取得する。該記憶装置は、全天球映像生成装置１５３４に接続される前に、全天球カメラ１５３１に接続され、撮影映像を取得した記憶装置である。

全天球映像生成装置１５３４は、第１全天球カメラ１５３１Ａの第１撮像部１５３２Ａが撮像した撮影映像と、第２撮像部１５３３Ａが撮像した撮影映像とを取得する。図１６に示すように、第１撮像部１５３２の視野１６６１Ａと、第２撮像部１５３３の視野１６６１Ｂとは、一部が互いに重複している。このため、第１全天球カメラ１５３１Ａの第１撮像部１５３２Ａが撮像した撮影映像と、第２撮像部１５３３Ａが撮像した撮影映像とは、一部が互いに重複している。全天球映像生成装置１５３４は、これら２つの撮影映像を歪ませて、当該歪んだ２つの撮影映像をスティッチング処理することで、第１全天球映像（第１全天球画像）を生成する。同様に、全天球映像生成装置１５３４は、第２カメラ１５３Ｂの第１撮像部１５３２Ｂが撮像した撮影映像と、第２撮像部１５３３Ｂが撮像した撮影映像とを取得し、これら２つの撮影映像から、第２全天球映像（第２全天球画像）を生成する。なお、以降、第１全天球映像および第２全天球映像を「全天球映像」と総称する場合がある。このように、全天球映像は、全天球カメラ１５３１により撮影された複数の撮影映像から生成される。すなわち、全天球カメラ１５３１は、全天球映像を撮影するカメラであると表現することもできる。第１全天球映像および第２全天球映像を生成することにより、コンピュータ２００のユーザ５に、異なる方向から被写体１５５１を視認することが可能な全天球映像のコンテンツを提供することができる。換言すれば、ユーザ５は、コンテンツを視聴しながら、視点の切り替えを行うことができる。

以降、全天球映像生成装置１５３４が第１全天球カメラ１５３１Ａから取得した撮影映像を「第１撮影映像」と称し、全天球映像生成装置１５３４が第２全天球カメラ１５３１Ｂから取得した撮影映像を「第２撮影映像」と称する場合がある。

全天球映像生成装置１５３４は、一例として、第２全天球映像の各時点のフレームを生成するための各第２撮影映像について、それぞれ、第１全天球映像における同時点のフレームを生成するための各第１撮影映像と撮影時刻を一致させる。つまり、全天球映像生成装置１５３４は、映像内の時間の流れが一致し、かつ、視点が異なる２つの全天球映像を生成する。

全天球映像生成装置１５３４が生成した第１全天球映像および第２全天球映像は、サーバ６００に格納される。ある局面において、全天球映像生成装置１５３４は、ネットワーク２を介して、第１全天球映像および第２全天球映像を、サーバ６００へ送信する。別の局面において、サーバ６００は、サーバ６００に接続された記憶装置から第１全天球映像および第２全天球映像を取得する。該記憶装置は、まず全天球映像生成装置１５３４に接続されることにより、第１全天球映像および第２全天球映像が格納された記憶装置である。

全天球映像生成装置１５３４は、生成した第１全天球映像および第２全天球映像の少なくとも一方を、全天球映像生成装置１５３４のユーザの入力に基づいて編集してもよい。

また、全天球カメラ１５３１が、全天球映像を生成する機能を備えていてもよい。この例の場合、第１全天球カメラ１５３１Ａが第１全天球映像を生成し、第２全天球カメラ１５３１Ｂが第２全天球映像を生成する。換言すれば、この例の場合、映像出力システム１５００は、全天球映像生成装置１５３４を含まなくてもよい。

サーバ６００は、第１全天球映像または第２全天球映像を出力する。ある局面において、サーバ６００は、第１全天球映像を出力し、該第１全天球映像から第２全天球映像への切替指示を受信したことに応じて、第１全天球映像を第２全天球映像に切り替えて出力する。サーバ６００は、一例として、コンピュータ２００に対するユーザ５の入力に基づく切り替え指示を受信して、第１全天球映像に代えて第２全天球映像をコンピュータ２００へ送信する。

［被写体の撮影］
図１８は、映像出力システム１５００を用いた被写体１５５１の撮影の一例を示す図である。ここでは、第１全天球カメラ１５３１Ａおよび第２全天球カメラ１５３１Ｂを用いて、被写体１５５１の一例であるパンダ１８５２を撮影する例を説明する。なお、被写体１５５１はパンダ１８５２に限定されない。例えば、被写体１５５１は、いわゆるグラビアアイドルであってもよい。

撮影空間１８００は、第１全天球カメラ１５３１Ａ、第２全天球カメラ１５３１Ｂ、鏡１５４１、棒１８４３に結び付けられたタイヤ１８４４、パンダ１８５２を含む。

第１全天球カメラ１５３１Ａは、パンダ１８５２を第１位置から撮影する。第２全天球カメラ１５３１Ｂは、パンダ１８５２を第１位置と異なる第２位置から撮影する。図１８の例では、第１全天球カメラ１５３１Ａは、パンダ１８５２の後方（背中側）にある第１位置からパンダ１８５２を撮影している。つまり、第１全天球カメラ１５３１Ａは、パンダ１８５２の顔や腹部を撮影することができない位置から、パンダ１８５２を撮影している。一方、第２全天球カメラ１５３１Ｂは、パンダ１８５２の前方にある第２位置からパンダ１８５２を撮影している。換言すれば、第２全天球カメラ１５３１Ｂは、パンダ１８５２の顔や腹部を撮影可能な位置からパンダ１８５２を撮影している。

鏡１５４１は、図１８に示すように、第２全天球カメラ１５３１Ｂの近傍位置に配置される。これにより、鏡１５４１は、第２位置の近傍位置から、第１位置および第２位置と異なる第３位置を捉えた鏡像を映す。第３位置とは、すなわち、被写体（パンダ１８５２）が位置する位置である。つまり、鏡１５４１は、第２全天球カメラ１５３１Ｂにより撮影されたパンダ１８５２の少なくとも一部に対応する、パンダ１８５２の鏡像１８５３を映すように配置される。なお、鏡１５４１に代えて、第３位置を捉えた映像を映す鏡面体を有する、鏡以外の物体を配置してもよい。

［サーバ６００のモジュールの詳細構成］
図１９を参照して、サーバ６００のモジュール構成の詳細について説明する。図１９は、ある実施の形態に従うサーバ６００のモジュールの詳細構成を表すブロック図である。図１９に示されるように、サーバ６００は、コントロールモジュール１９１０と、メモリモジュール１９３０と、通信制御モジュール１９４０とを備える。ある局面において、コントロールモジュール１９１０は、プロセッサ６１０によって実現される。メモリモジュール１９３０は、メモリ６２０またはストレージ６３０によって実現される。通信制御モジュール１９４０は、通信インターフェイス６５０によって実現される。

コントロールモジュール１９１０は、全天球映像制御モジュール１９２３を備えており、第１全天球映像および第２全天球映像の配信を制御する。全天球映像制御モジュール１９２３は、コンピュータ２００から、全天球映像の送信指示（以下、単に「送信指示」と記載）を受信すると、送信指示が第１全天球映像および第２全天球映像のいずれの送信指示であるかを特定する。全天球映像制御モジュール１９２３は、特定結果に基づいて、コンピュータ２００に、第１全天球映像または第２全天球映像を送信する。ある局面において、全天球映像制御モジュール１９２３は、送信指示を受信すると、メモリモジュール１９３０に記憶されている第１全天球映像または第２全天球映像を、複数のパケットに分割して、送信指示を送信したコンピュータ２００へ送信する。換言すれば、ある局面において、全天球映像制御モジュール１９２３は、オンデマンド方式で第１全天球映像または第２全天球映像のストリーミングを行う。別の局面において、全天球映像制御モジュール１９２３は、ライブ方式で第１全天球映像または第２全天球映像のストリーミングを行う。この場合、全天球映像生成装置１５３４が、全天球カメラ１５３１からの撮影映像の取得、該撮影映像からの第１全天球映像および第２全天球映像の生成、並びに、生成した第１全天球映像および第２全天球映像のサーバ６００への送信をリアルタイムで行う。サーバ６００は、受信した第１全天球映像または第２全天球映像を、送信指示を送信したコンピュータ２００へリアルタイムで送信する。

全天球映像制御モジュール１９２３は、第１全天球映像および第２全天球映像の一方をコンピュータ２００へ送信している状態において、他方の送信を求める指示を受信した場合、コンピュータ２００へ送信する全天球映像を切り替える。例えば、全天球映像制御モジュール１９２３は、第１全天球映像をコンピュータ２００へ送信している状態において、第２全天球映像の送信を求める指示を受信したとする。該指示はすなわち、第１全天球映像から第２全天球映像への切り替え指示（切替指示、以下、第１切り替え指示）である。この場合、全天球映像制御モジュール１９２３は、第１全天球映像の送信を停止し、第２全天球映像をコンピュータ２００へ送信する。また、例えば、全天球映像制御モジュール１９２３は、第２全天球映像をコンピュータ２００へ送信している状態において、第１全天球映像の送信を求める指示を受信したとする。第２指示はすなわち、第２全天球映像から第１全天球映像への切り替え指示（以下、第２切り替え指示）である。この場合、全天球映像制御モジュール１９２３は、第２全天球映像の送信を停止し、第１全天球映像をコンピュータ２００へ送信する。

第１全天球映像と第２全天球映像との切り替えは、切り替え直前の第１全天球映像と、切り替え直後の第１全天球映像との間に時間のずれが発生しないように行われることが望ましい。このため、コンピュータ２００は、一例として、第１切り替え指示または第２切り替え指示とともに、ユーザ５の入力を受け付けたときの第１全天球映像における時間の情報をサーバ６００へ送信する。該時間の情報は、例えば、第１全天球映像のいずれの時点であるかを特定可能な情報である。サーバ６００は、第１切り替え指示または第２切り替え指示を受信すると、該時間の情報に基づいて、第２全天球映像をいずれの時点から送信するかを決定する。例えば、サーバ６００は、該時間の情報と、情報の送受信およびサーバ６００が実行する処理にかかる時間を考慮し、第２全天球映像をいずれの時点から送信するかを決定する。これにより、ユーザ５の没入感を阻害することなく、全天球映像の切り替えを実現することができる。

メモリモジュール１９３０は、第１全天球映像および第２全天球映像を保持している。換言すれば、メモリモジュール１９３０は、第１全天球映像および第２全天球映像からなるコンテンツを保持している。メモリモジュール１９３０は、複数のコンテンツを保持していてもよい。通信制御モジュール１９４０は、ネットワーク２を介して、コンピュータ２００その他の情報通信装置と通信し得る。

［コンテンツ配信処理フロー］
図２０は、ある実施の形態に従う映像出力システム１５００において実行される処理、および、ＨＭＤセット１１０において実行される処理の一部を示すシーケンス図である。本実施形態では、視聴者側の一連の処理が、ＨＭＤセット１１０Ａにより実行されるものとして説明する。ただし、当該処理は、他のＨＭＤセット１１０Ｂ、１１０Ｃにより実行されてもよいし、当該処理の一部または全部がサーバ６００によって実行されてもよい。

ステップＳ２００１において、コンピュータ２００のプロセッサ２１０Ａは、仮想空間１１Ａを定義する。当該処理は、図１１のステップＳ１１１０の処理に相当する。具体的には、プロセッサ２１０Ａは、仮想空間データを特定することによって、仮想空間データによって表される仮想空間１１Ａを定義する。

ステップＳ２００２において、ＨＭＤセット１１０Ａは、コンテンツの再生操作を受け付ける。該操作は、コントローラ３００が受け付けてもよいし、コントローラ３００以外の入力装置がＨＭＤセット１１０Ａに含まれる場合、該入力装置が受け付けてもよい。ステップＳ２００３において、プロセッサ２１０Ａは、再生操作が入力されたことに基づき、再生指示をサーバ６００へ送信する。該再生指示は、上述した送信指示に相当する。該再生指示は、一例として、コンテンツを特定可能な情報と、再生する全天球映像（例えば、第１全天球映像）を特定可能な情報とを含む。なお、本実施形態では、コンテンツの再生開始とは、すなわち、該コンテンツの第１全天球映像の再生開始であるものとして説明するが、コンテンツの再生開始は、該コンテンツの第２全天球映像の再生開始であってもよい。

サーバ６００のプロセッサ６１０は、受信した再生指示に基づいて、コンテンツを特定する。ステップＳ２０２１において、プロセッサ６１０は、特定したコンテンツの第１全天球映像をコンピュータ２００Ａへ送信する。

図２１は、ある実施の形態に従う仮想空間２１１１Ａおよび視界画像２１１７Ａを示す図である。ステップＳ２００４において、プロセッサ２１０Ａは、図２１（Ａ）に示すように、仮想空間２１１１Ａに受信した第１全天球映像２１１３Ａを展開する。具体的には、プロセッサ２１０Ａは、第１全天球映像２１１３Ａを構成する各部分画像を、仮想空間２１１１Ａにおいて対応する各メッシュにそれぞれ対応付ける。ステップＳ２００５において、プロセッサ２１０Ａは、第１全天球映像２１１３Ａの再生を開始する。第１全天球映像２１１３Ａは、第２位置の近傍位置から、第１位置及び第２位置とは異なる第３位置を捉えた第１映像を含む。図２１の例では、第１全天球映像２１１３Ａは、第１映像として、第２全天球カメラ１５３１Ｂの近傍に配置された鏡像１８５３の映像を含む。

なお、以降、第１全天球映像２１１３Ａに含まれる各映像について、「の映像」との記載を省略する場合がある。例えば、第１全天球映像２１１３Ａに含まれる「パンダ１８５２の映像」について、以降では、単に「パンダ１８５２」と記載する場合がある。

ステップＳ２００６において、プロセッサ２１０Ａは、視界制御モジュール１４２１および動き検出モジュール１４２２として、ＨＭＤ１２０Ａの動きに応じて、仮想空間１１Ａにおけるユーザの視界を決定する。プロセッサ２１０Ａは、図２１（Ａ）に示す仮想視点２１９９Ａを設定する。該仮想視点２１９９Ａは、仮想空間２１１１Ａの中心２１１２Ａに設定されてもよい。プロセッサ２１０Ａは、現実空間におけるＨＭＤ１２０Ａの動きに連動して、仮想視点２１９９Ａを仮想空間２１１１Ａ内で移動させてもよい。

プロセッサ２１０Ａは、ＨＭＤ１２０Ａの位置と傾きとに基づいて、仮想空間２１１１Ａにおける視界領域１５Ａを規定する。視界領域１５Ａは、仮想空間２１１１Ａのうち、ＨＭＤ１２０Ａを装着したユーザ５Ａが視認する領域に対応する。つまり、仮想視点２１９９Ａの位置は、仮想空間２１１１Ａにおけるユーザ５Ａの視点と言える。プロセッサ２１０Ａは、例えば、図２１（Ａ）に示す視界領域２１１５Ａを規定する。

ステップ２００７において、プロセッサ２１０Ａは、視界画像２１１７Ａをモニタ１３０Ａに表示する。具体的には、プロセッサ２１０Ａは、ＨＭＤ１２０Ａの動きと、仮想空間２１１１Ａを定義する仮想空間データと、第１全天球映像２１１３Ａとに基づいて、視界領域２１１５Ａに対応する視界画像２１１７Ａを定義する。視界画像２１１７Ａを定義することは、視界画像２１１７Ａを生成することと同義である。プロセッサ２１０Ａは、さらに、ＨＭＤ１２０Ａのモニタ１３０Ａに視界画像２１１７Ａを出力することによって、視界画像２１１７ＡをＨＭＤ１２０Ａに表示させる。

プロセッサ２１０Ａは、例えば、図２１（Ａ）に示す視界画像２１１７Ａを、図２１（Ｂ）に示すようにモニタ１３０Ａに表示する。ユーザ５Ａは、視界画像２１１７Ａを視認することにより、パンダ１８５２の後ろ側を視認する。つまり、ユーザ５Ａは、パンダ１８５２の背中などを視認する。

さらに、ユーザ５Ａは、鏡１５４１、すなわち、パンダ１８５２の鏡像１８５３を視認する。鏡像１８５３は、第２全天球カメラ１５３１Ｂにより撮影されたパンダ１８５２の少なくとも一部に対応する。パンダ１８５２の撮影時において、第２全天球カメラ１５３１Ｂは、パンダ１８５２の前方にある第２位置からパンダ１８５２を撮影している。このため、ユーザ５Ａは、鏡１５４１を視認することにより、パンダ１８５２の前側、つまり、パンダ１８５２の顔や腹部などを視認することができる。

このように、第１全天球映像２１１３Ａにおいて、第１映像は、パンダ１８５２の前側（第１領域）の映像である。また、第１全天球映像には、パンダ１８５２の後ろ側（第２領域）の映像も含まれる。つまり、第１映像は、第２領域と重複しない第１領域の映像である。撮影空間１８００においては、第１領域の映像と第２領域の映像とがこのような関係となるように、第１全天球カメラ１５３１Ａおよび第２全天球カメラ１５３１Ｂが配置される。以上により、ユーザ５Ａは、第１画像では視認できない被写体の領域を、第１映像によって視認することができる。第１映像は、撮影空間１８００において第２全天球カメラ１５３１Ｂが配置された第２位置の近傍位置から見た被写体の少なくとも一部を含む画像である。換言すれば、第１映像は、第２全天球映像における被写体の映像の少なくとも一部に相当する。つまり、映像出力システム１５００は、第１全天球映像２１１３Ａを第２全天球映像に切り替える前に、第１全天球映像２１１３Ａにおいて、第２全天球映像のプレビューをユーザ５Ａに視認させることができる。

図２２は、ある実施の形態に従う仮想空間２１１１Ａおよび視界画像２２１７Ａを示す図である。プロセッサ２１０Ａは、ＨＭＤ１２０Ａの位置と傾きとが変化すると、視界領域１５Ａを再規定する。プロセッサ２１０Ａは、例えば、変化後のＨＭＤ１２０Ａの位置と傾きとに基づいて、図２２（Ａ）に示す視界領域２２１５Ａを規定する。

プロセッサ２１０Ａは、規定された視界領域２２１５Ａに対応する視界画像２２１７Ａを定義する。プロセッサ２１０Ａは、例えば、図２２（Ａ）に示す視界画像２２１７Ａを、図２２（Ｂ）に示すようにモニタ１３０Ａに表示する。つまり、ユーザ５Ａは、ＨＭＤ１２０Ａの位置と傾きとを変化させたことにより、棒１８４３およびタイヤ１８４４を視認することとなる。

ステップＳ２００８において、ＨＭＤセット１１０Ａは、全天球映像の切り替え操作を受け付ける。該操作は、コントローラ３００が受け付けてもよいし、コントローラ３００以外の入力装置がＨＭＤセット１１０Ａに含まれる場合、該入力装置が受け付けてもよい。ステップＳ２００９において、プロセッサ２１０Ａは、切り替え操作が入力されたことに基づき、切り替え指示をサーバ６００へ送信する。該切り替え指示は、一例として、コンテンツを特定可能な情報と、切り替え前後の全天球映像の少なくとも一方を特定可能な情報と、切り替え操作を受け付けたときの第１全天球映像２１１３Ａにおける時間の情報を含む。このステップにおける切り替え指示は、第１全天球映像から第２全天球映像への切り替え指示であるため、第１切り替え指示である。

ステップＳ２０２２において、プロセッサ６１０は、第１全天球映像の送信を停止する。ステップＳ２０２３において、プロセッサ６１０は、第２全天球映像をコンピュータ２００Ａへ送信する。

図２３は、ある実施の形態に従う仮想空間２１１１Ａおよび視界画像２３１７Ａを示す図である。ステップＳ２０１１において、プロセッサ２１０Ａは、図２３（Ａ）に示すように、仮想空間２１１１Ａに受信した第２全天球映像２３１３Ａを展開する。展開の具体的な方法は、第１全天球映像２１１３Ａと同様であるため、ここでは繰り返さない。プロセッサ２１０Ａは、被写体であるパンダ１８５２の仮想空間２１１１Ａにおける位置が、第１全天球映像２１１３Ａの展開時と略同一となるように、第２全天球映像２３１３Ａを展開することが望ましい。これにより、ユーザ５Ａは、ＨＭＤ１２０Ａを動かすことなく、被写体であるパンダ１８５２を視認し続けることができる。

ステップＳ２０１２において、プロセッサ２１０Ａは、第２全天球映像２３１３Ａの再生を開始する。第２全天球映像２３１３Ａは、第２全天球カメラ１５３１Ｂにより撮影された被写体の少なくとも一部を含む。図２３の例では、第２全天球映像２３１３Ａは、パンダ１８５２の前側の映像を含む。該映像は、第１全天球映像２１１３Ａに含まれる第１映像と略同一の位置から被写体を見た場合の被写体の画像である。

プロセッサ２１０Ａは、例えば、図２３（Ａ）に示す視界画像２３１７Ａを、図２３（Ｂ）に示すようにモニタ１３０Ａに表示する。ユーザ５Ａは、視界画像２３１７Ａを視認することにより、パンダ１８５２の前側を視認する。つまり、ユーザ５Ａは、パンダ１８５２の顔や腹部を視認する。

視界画像２３１７Ａに含まれるパンダ１８５２の前側の映像は、視界画像２１１７Ａに含まれる同映像（鏡像１８５３）に比べて大きい。つまり、第１全天球映像２１１３Ａを第２全天球映像２３１３Ａに切り替えることにより、第２位置から見た被写体の映像が、ユーザ５Ａにとってより見やすくなる。換言すれば、第１全天球映像２１１３Ａにおいて、鏡像１８５３を視認したユーザは、パンダ１８５２の前側がより見やすくなることを期待して、全天球映像の切り替えを行う。つまり、映像出力システム１５００は、第１全天球映像２１１３Ａにおいて、鏡像１８５３をユーザ５Ａに視認させることにより、ユーザ５Ａに対し、第２全天球映像への切り替えを促すことができる。

〔実施形態２〕
図２４は、映像出力システム１５００を用いた被写体１５５１の撮影の一例を示す図である。

撮影空間２４００は、撮影空間１８００（図１８参照）と異なり、鏡１５４１を含まない。その他、撮影空間２４００は、撮影空間１８００と同様であるため、ここでは詳細な説明を繰り返さない。

撮影空間２４００は鏡１５４１を含まないため、第１全天球カメラ１５３１Ａが撮像した撮影映像のみから第１全天球映像が生成された場合、該第１全天球映像は、第１映像を含まないこととなる。全天球映像生成装置１５３４は、第１映像を含む第１全天球映像を生成するために、第２全天球映像から被写体を捉えた第１映像を抽出する。具体的には、全天球映像生成装置１５３４は、第２全天球映像に含まれる被写体の少なくとも一部が含まれる領域を特定し、該特定した領域を第１映像とする。そして、全天球映像生成装置１５３４は、一例として、生成した第１映像を、第１撮影映像における第２全天球カメラ１５３１Ｂの位置に配置する。具体的には、全天球映像生成装置１５３４は、第２全天球映像の各フレームから、第１映像に相当する画像を生成する。第２撮影映像の各フレームは、第１撮影映像の各フレームのいずれかと撮影時刻が一致する。換言すれば、第１映像に相当する各画像には、撮影時刻が一致する第１撮影映像のフレームが存在する。全天球映像生成装置１５３４は、第１映像に相当する各画像を、撮影時刻が一致する、第１撮影映像の各フレームにおける第２全天球カメラ１５３１Ｂの位置に合成する。これにより、第１全天球映像内の第２位置に第１映像が合成される。そして、全天球映像生成装置１５３４は、第１映像が合成された第１撮影映像から第１全天球映像を生成する。

図２５は、ある実施の形態に従う仮想空間２１１１Ａおよび視界画像２５１７Ａを示す図である。図２５（Ａ）に示すように、仮想空間２１１１Ａには、第１全天球映像２５１３Ａが展開されている。第１全天球映像２５１３Ａは、第１全天球映像２１１３Ａ（図２１参照）と異なり、鏡像１８５３に代えて第１映像２５８０を含む。第１映像２５８０は、上述したように、第２全天球映像から抽出され、第１撮影映像における第２全天球カメラ１５３１Ｂの位置に合成された映像である。このため、第１全天球映像２５１３Ａは、第２全天球カメラ１５３１Ｂを含まない。

プロセッサ２１０Ａは、例えば、図２５（Ａ）に示す視界画像２５１７Ａを、図２５（Ｂ）に示すようにモニタ１３０Ａに表示する。ユーザ５Ａは、視界画像２５１７Ａを視認することにより、第１映像２５８０を視認するが、第２全天球カメラ１５３１Ｂは視認しない。つまり、映像出力システム１５００は、第１全天球映像２５１３Ａをユーザ５Ａに視認させる場合に、ユーザに第２全天球カメラ１５３１Ｂを視認させないようにすることができる。よって、ユーザ５Ａの没入感を阻害することなく、第１全天球映像２５１３Ａを視認させることができる。なお、第１映像が合成される位置は、第２位置の近傍位置であってもよい。この例の場合、第１全天球映像２５１３Ａは、第２全天球カメラ１５３１Ｂを含んでもよい。

〔実施形態２の変形例〕
図２６は、ある実施の形態の変形例に従うコンピュータ２００のモジュールの詳細構成を表すブロック図である。図２６に示されるように、コントロールモジュール５１０は、動き検出モジュール１４２２、仮想オブジェクト生成モジュール２６２４、仮想カメラ制御モジュール２６２５、操作オブジェクト制御モジュール２６２６、アバターオブジェクト制御モジュール２６２７、および、仮想オブジェクト制御モジュール２６２８を備えている。

仮想オブジェクト生成モジュール２６２４は、各種の仮想オブジェクトを仮想空間１１に生成する。ある局面において、仮想オブジェクトは、例えば、ゲームのストーリーの進行に従って配置される森、山その他を含む風景、動物等を含み得る。ある局面において、仮想オブジェクトは、アバターオブジェクト、操作オブジェクト、ＵＩ（User Interface）オブジェクトを含み得る。

仮想カメラ制御モジュール２６２５は、仮想空間１１における仮想カメラ１４の挙動を制御する。仮想カメラ制御モジュール２６２５は、例えば、仮想空間１１における仮想カメラ１４の配置位置と、仮想カメラ１４の向き（傾き）とを制御する。

操作オブジェクト制御モジュール２６２６は、仮想空間１１においてユーザ５の操作を受け付けるための操作オブジェクトを制御する。ユーザ５は、操作オブジェクトを操作することによって、例えば、仮想空間１１に配置される仮想オブジェクトを操作する。ある局面において、操作オブジェクトは、例えば、ＨＭＤ１２０を装着したユーザ５の手に相当する手オブジェクト（仮想手）等を含み得る。ある局面において、操作オブジェクトは、後述するアバターオブジェクトの手の部分に相当し得る。

アバターオブジェクト制御モジュール２６２７は、ＨＭＤセンサ４１０が検出するＨＭＤ１２０の動きをアバターオブジェクトに反映する。例えば、アバターオブジェクト制御モジュール２６２７は、ＨＭＤ１２０が傾いたことを検知して、アバターオブジェクトを傾けて配置するためのデータを生成する。ある局面において、アバターオブジェクト制御モジュール２６２７は、コントローラ３００の動きをアバターオブジェクトに反映する。この場合、コントローラ３００は、コントローラ３００の動きを検知するためのモーションセンサ、加速度センサ、または複数の発光素子（例えば、赤外線ＬＥＤ）などを備える。アバターオブジェクト制御モジュール２６２７は、動き検出モジュール１４２２が検出した顔器官の動作を、仮想空間１１に配置されるアバターオブジェクトの顔に反映させる。つまり、アバターオブジェクト制御モジュール２６２７は、ユーザ５の顔の動作をアバターオブジェクトに反映する。

仮想オブジェクト制御モジュール２６２８は、仮想空間１１において、アバターオブジェクトを除く仮想オブジェクトの挙動を制御する。一例として、仮想オブジェクト制御モジュール２６２８は、仮想オブジェクトを変形させる。別の例として、仮想オブジェクト制御モジュール２６２８は、仮想オブジェクトの配置位置を変更する。別の例として、仮想オブジェクト制御モジュール２６２８は、仮想オブジェクトを移動させる。

図２７は、ある実施の形態の変形例に従う仮想空間２１１１Ａおよび視界画像２７１７Ａを示す図である。

本変形例に係るサーバ６００は、第１条件が成立したか否かを判定する。第１条件は、一例として、被写体に対する課金額を示す課金情報の受信に応じて成立する。該課金情報は、すなわち、ユーザ５Ａが、該課金額の課金に関する処理を行ったことを示す情報である。

一例として、サーバ６００は、第１条件が成立していない場合、第１全天球カメラ１５３１Ａが撮像した撮影映像から生成され、かつ、第１映像を含まない第３全天球映像２７１３Ａをコンピュータ２００Ａへ送信する。第１全天球映像と第３全天球映像とは、第１映像の有無が異なるのみであるため、第３全天球映像は、第１映像が合成されていない第１全天球映像と表現することもできる。本変形例に係るプロセッサ２１０Ａは、図２７（Ａ）に示すように、仮想空間２１１１Ａに受信した第３全天球映像２７１３Ａを展開する。展開の具体的な方法は、第１全天球映像２１１３Ａと同様であるため、ここでは繰り返さない。

プロセッサ２１０Ａは、仮想カメラ１４Ａを生成し、仮想空間２１１１Ａに配置する。プロセッサ２１０Ａは、仮想オブジェクト生成モジュール２６２４として、アバターオブジェクト６Ａを生成し、仮想空間２１１１Ａに配置する。一例として、プロセッサ２１０Ａは、仮想カメラ１４Ａとアバターオブジェクト６Ａとを、同一の位置に配置する。

プロセッサ２１０Ａは、仮想カメラ制御モジュール２６２５として、ＨＭＤ１２０Ａの動きに応じて仮想空間２１１１Ａにおける仮想カメラ１４Ａの位置および傾きを決定する。より詳細には、プロセッサ２１０Ａは、ユーザ５Ａの頭部の姿勢と、仮想空間１１Ａにおける仮想カメラ１４Ａの位置とに応じて、仮想空間２１１１Ａにおける仮想カメラ１４Ａからの視界である視界領域２７１５Ａを制御する。当該処理は、図１１のステップＳ１１４０の処理の一部に相当する。仮想カメラ１４Ａがアバターオブジェクト６Ａと同一の位置に配置されるので、仮想カメラ１４Ａの位置は、アバターオブジェクト６Ａの位置と同義である。さらに、仮想カメラ１４Ａからの視界は、アバターオブジェクト６Ａからの視界と同義である。

プロセッサ２１０Ａは、視界画像２７１７Ａをモニタ１３０Ａに表示する。具体的には、プロセッサ２１０Ａは、ＨＭＤ１２０Ａの動き（すなわち仮想カメラ１４Ａの位置および傾き）と、仮想空間２１１１Ａを定義する仮想空間データと、第３全天球映像２７１３Ａとに基づいて、視界領域２７１５Ａに対応する視界画像２７１７Ａを定義する。プロセッサ２１０Ａは、さらに、ＨＭＤ１２０Ａのモニタ１３０Ａに視界画像２７１７Ａを出力することによって、視界画像２７１７ＡをＨＭＤ１２０Ａに表示させる。当該処理は、図１１のステップＳ１１８０およびＳ１１９０の処理に相当する。

プロセッサ２１０Ａは、例えば、図２７（Ａ）に示す視界画像２７１７Ａを、図２７（Ｂ）に示すようにモニタ１３０Ａに表示する。第３全天球映像２７１３Ａは、上述したように第１映像を含まない。そのため、図２７（Ｂ）に示す視界画像２７１７Ａを視認したユーザ５は、パンダ１８５２の前側を視認することはできない。

図２８は、ある実施の形態の変形例に従う仮想空間２１１１Ａおよび視界画像２８１７Ａを示す図である。

ＨＭＤセット１１０Ａが、ユーザ５Ａによる所定の操作を受け付けると、プロセッサ２１０Ａは、仮想オブジェクト生成モジュール２６２４として、ＵＩパネル２８９１およびペンオブジェクト２８９４を生成し、仮想空間２１１１Ａに配置する。該操作は、コントローラ３００が受け付けてもよいし、コントローラ３００以外の入力装置がＨＭＤセット１１０Ａに含まれる場合、該入力装置が受け付けてもよい。

ＵＩパネル２８９１はＵＩオブジェクトの一種であり、ユーザ５Ａに対する課金に関する処理をプロセッサ２１０Ａに実行させるために、ユーザ５Ａによって用いられる。ＵＩパネル２８９１は、ＵＩパネル２８９１の前面に配置される選択肢２８９２および２８９３を含む。ペンオブジェクト２８９４は、仮想オブジェクトの一種であり、選択肢２８９２または２８９３を選択するために使用される。

プロセッサ２１０Ａは、例えば、図２８（Ａ）に示す視界画像２８１７Ａを、図２８（Ｂ）に示すようにモニタ１３０Ａに表示する。ユーザ５Ａは、視界画像２８１７Ａを視認することにより、ＵＩパネル２８９１、ＵＩパネル２８９１の選択肢２８９２および２８９３、並びに、ペンオブジェクト２８９４を視認する。

選択肢２８９２および２８９３は、その選択肢がユーザ５Ａによって選択された場合に実行される処理を説明する情報、および、その選択肢がユーザ５Ａによって選択された場合の課金額を示す情報を含む。選択肢２８９２は、プレビュー、すなわち第１映像を表示するための項目であり、第１映像を表示する処理が実行されるために必要な課金額は５００円である。選択肢２８９３は、視点切り替え、すなわち全天球映像の切り替えを実行するための項目であり、該切り替えが実行されるために必要な課金額は１０００円である。なお、図２８に示す選択肢２８９２および２８９３は一例であり、ＵＩパネル２８９１に含まれる選択肢の数、選択された場合に実行される処理の内容、選択された場合の課金額などは図２８に示す例に限定されない。

図２９は、ある実施の形態の変形例に従う仮想空間２１１１Ａおよび視界画像２９１７Ａを示す図である。図２９（Ａ）に示すように、アバターオブジェクト６Ａは、仮想右手２９９５ＲＡおよび仮想左手２９９５ＬＡを含む。ペンオブジェクト２８９４は、仮想右手２９９５ＲＡまたは仮想左手２９９５ＬＡによって把持され、使用される。

プロセッサ２１０Ａは、動き検出モジュール１４２２として、例えば、右コントローラ３００ＲＡの出力に基づいて、ユーザ５Ａの右手の動きを検出する。プロセッサ２１０Ａは、操作オブジェクト制御モジュール２６２６として、検出されたユーザ５Ａの右手の動きに応じて、仮想空間２１１１Ａにおいて仮想右手２９９５ＲＡを動かす。ある局面において、プロセッサ２１０Ａは、ユーザ５Ａの右手の動きに応じて、ペンオブジェクト２８９４に仮想右手２９９５ＲＡを近づけるように、仮想空間２１１１Ａにおいて仮想右手２９９５ＲＡを動かす。プロセッサ２１０Ａは、仮想右手２９９５ＲＡがペンオブジェクト２８９４に十分に近づいた後、ユーザ５Ａの右手の動きに基づいて、仮想右手２９９５ＲＡでペンオブジェクト２８９４を選択する（掴む）。ユーザ５Ａの右手の動きとしては、例えば、右コントローラ３００ＲＡのいずれかのボタンを押下する動きが挙げられる。これにより、仮想右手２９９５ＲＡでペンオブジェクト２８９４が把持される。

図２９（Ａ）に示すように、プロセッサ２１０Ａは、仮想右手２９９５ＲＡがペンオブジェクト２８９４を選択した後、ユーザ５Ａの右手の動きに基づいて、ペンオブジェクト２８９４の先端を選択肢２８９２に近づけるように、仮想空間２１１１Ａにおいて仮想右手２９９５ＲＡおよびペンオブジェクト２８９４を動かす。プロセッサ２１０Ａは、ペンオブジェクト２８９４の先端と選択肢２８９２とが第１位置関係になった場合、ペンオブジェクト２８９４の先端と選択肢２８９２とが衝突したことを検出する。第１位置関係とは、例えば、ペンオブジェクト２８９４の先端と選択肢２８９２との距離が第１距離を下回ることである。あるいは、ペンオブジェクト２８９４の先端に規定されるコリジョンエリアと、選択肢２８９２に設定されるコリジョンエリアとが少なくとも部分的に衝突することである。プロセッサ２１０Ａは、ペンオブジェクト２８９４の先端と選択肢２８９２とが衝突したことに基づいて、ペンオブジェクト２８９４によって選択肢２８９２が選択されたことを検出する。

プロセッサ２１０Ａは、例えば、図２９（Ａ）に示す視界画像２９１７Ａを、図２９（Ｂ）に示すようにモニタ１３０Ａに表示する。ユーザ５Ａは、視界画像２９１７Ａを視認することにより、ＵＩパネル２８９１の選択肢２８９２を選択したこと、すなわち、第１映像を表示する処理の実行のための課金を選択したことを認識する。

プロセッサ２１０Ａは、選択された選択肢２８９２に対応する、第１映像を表示する処理の実行のための課金に関する処理の選択を受け付け、該処理を実行する。プロセッサ２１０Ａは、例えば、該選択を受け付けたことを示す情報（すなわち、課金情報）を生成し、サーバ６００へ送信する。これにより、サーバ６００は、課金情報を受信し、第１条件が成立したと判定する。

サーバ６００は、第１条件が成立した場合、第１映像を含む第１全天球映像をコンピュータ２００へ送信する。ある局面において、全天球映像制御モジュール１９２３は、メモリモジュール９３０に記憶されている第１全天球映像を読み出し、コンピュータ２００へ送信する。別の局面において、全天球映像制御モジュール１９２３は、第３全天球映像に第１映像を合成する。換言すれば全天球映像制御モジュール１９２３は、第３全天球映像から第１全天球映像を生成する。全天球映像制御モジュール１９２３は、一例として、第３全天球映像の第２全天球カメラ１５３１Ｂの画像の位置に、第1映像を合成する。すなわち、この例において、第１全天球映像における第１映像の位置は、第３全天球映像における第２全天球カメラ１５３１Ｂの位置である。そして、全天球映像制御モジュール１９２３は、生成した第１全天球映像をコンピュータ２００へ送信する。

プロセッサ２１０Ａは、受信した第１全天球映像を仮想空間２１１１Ａに展開する。これにより、図２５（Ａ）に示す、第１全天球映像２５１３Ａが展開された仮想空間２１１１Ａが実現される。また、プロセッサ２１０Ａは、例えば、図２５（Ａ）に示す視界画像２５１７Ａを、図２５（Ｂ）に示すようにモニタ１３０Ａに表示する。ユーザ５Ａは、視界画像２５１７Ａを視認することにより、第１映像２５８０を視認する。換言すれば、ユーザ５Ａは、第１映像を表示する処理の実行のための課金を選択した結果として、第１映像２５８０を視認することができ、結果として、パンダ１８５２の前側を視認することができる。

このように、ユーザ５Ａは、課金額を負担することにより、第１全天球カメラ１５３１Ａで撮影された全天球映像では通常視認することができない被写体の領域（例えば、パンダ１８５２の前側、以下、該領域を「不可視領域」と称する）を、該全天球映像で視認することができるようになる。これにより、映像出力システム１５００は、ユーザ５Ａに対し、課金額を負担したことにより通常は得られないサービスを受けた、という満足感を与えることができる。つまり、映像出力システム１５００は、ユーザ５Ａをより満足させることができる。

サーバ６００は、課金情報を受信したことに伴い、課金額の決済を行なってもよい。サーバ６００は、例えば、映像出力システム１５００に登録されたユーザ５Ａのクレジットカード情報に応じて、課金額のクレジットカード決済を実行する。これにより、クレジットカードの発行者は、後日、ユーザ５Ａに課金された５００円を、ユーザ５Ａに請求する。サーバ６００とは異なる別のサーバが、ユーザ５Ａに課金された合計課金額を決済することもできる。プロセッサ２１０Ａが、ユーザ５Ａに課金された合計課金額を決済することもできる。

また、プロセッサ２１０Ａは、ペンオブジェクト２８９４によって選択肢２８９３が選択されたことを検出した場合、全天球映像の切り替え処理の実行のための課金に関する処理の選択を受け付け、該処理を実行する。プロセッサ２１０Ａは、例えば、該選択を受け付けたことを示す情報（すなわち、課金情報）を生成し、サーバ６００へ送信する。

サーバ６００は、課金情報を受信した場合、コンピュータ２００Ａに対し、第１全天球映像に代えて第２全天球映像を出力可能とする。具体的には、サーバ６００は、該課金情報の受信前においては、ユーザ５Ａによる切り替え操作に基づく切り替え指示をコンピュータ２００Ａから受信した場合、該切り替え指示を無効な指示と判定し、該指示に基づく処理を行わない。あるいは、該切り替え指示が無効な指示であることを示す情報をコンピュータ２００Ａへ送信し、ユーザ５Ａに対して全天球映像の切り替えを行なえないことを報知する処理を、コンピュータ２００Ａに行わせる。

一方、サーバ６００は、該課金情報の受信後においては、ユーザ５Ａによる切り替え操作に基づく切り替え指示（詳細には、第１全天球映像を第２全天球映像に切り替えるための指示）をコンピュータ２００Ａから受信した場合、第１全天球映像の送信を停止し、第２全天球映像の送信を開始する。

このように、ユーザ５Ａは、課金額を負担することにより、不可視領域を全天球映像の切り替えにより視認することができるようになる。これにより、映像出力システム１５００は、ユーザ５Ａに対し、課金額を負担したことにより通常は得られないサービスを受けた、という満足感を与えることができる。つまり、映像出力システム１５００は、ユーザ５Ａをより満足させることができる。

図２８に示すように、全天球映像を切り替えるために必要な課金額は、第１映像を第１全天球映像に表示するために必要な課金額より高くてもよい。これにより、低い金額の負担では、ユーザ５Ａは、第１映像によって、不可視領域を視認できるようになる。一方、高い金額の負担では、ユーザ５Ａは、第２全天球映像によって、不可視領域を視認できるようになる。このように構成することで、映像出力システム１５００は、全天球映像の視聴において、ユーザ５Ａに様々な選択肢を与えることができる。また、このように構成することで、課金額が高いほど、不可視領域の見易さが向上する。よって、ユーザ５Ａは、負担する課金額が高いほど、より満足感の高いサービスを受けることができる。

なお、本変形例において、課金により全天球映像の切り替えが可能となる構成は必須ではない。換言すれば、本変形例において、第１全天球映像と第２全天球映像の切り替えは常に実行可能であってもよい。

〔その他の変形例１〕
第１条件が成立した場合、第１映像を有効にするための第１情報を出力する、との技術的思想が、実施形態１に適用されてもよい。図３０は、映像出力システム１５００を用いた被写体１５５１の撮影の一例を示す図である。ここでは、第１全天球カメラ１５３１Ａおよび第２全天球カメラ１５３１Ｂを用いて、被写体１５５１の一例である女性３０５４を撮影する例を説明する。また、この例における全天球映像のストリーミングは、ライブ方式で行われるものとする。つまり、サーバ６００は、第１全天球映像および第２全天球映像をリアルタイムで取得する。また、サーバ６００は、第１指示が入力された場合、取得した第１全天球映像または第２全天球映像をリアルタイムで出力する。

本変形例に係る撮影空間３０００は、表示装置３０３５（出力装置）を含む。表示装置３０３５はディスプレイを含み、サーバ６００からの指示に基づき、女性３０５４への第２指示をディスプレイに表示させる。なお、本実施形態では、表示装置３０３５は、例えばタブレット端末などの、ディスプレイと情報処理装置とが一体化したものとして説明するが、表示装置３０３５は、ディスプレイと情報処理装置とが別体であってもよい。表示装置３０３５は、一例として、第１全天球カメラ１５３１Ａの死角、換言すれば、第１全天球カメラ１５３１Ａが撮影できない位置に配置されることが望ましい。図３０の例では、表示装置３０３５は、第１全天球カメラ１５３１Ａの上部に配置されている。

また、撮影空間３０００において、鏡１５４１は、第２位置から見た女性３０５４の少なくとも一部に対応する女性３０５４の鏡像を映すことができる位置（すなわち、第２位置の近傍位置）に配置されているが、カバー３０４５が掛けられている。カバー３０４５は、鏡１５４１に女性３０５４の鏡像の少なくとも一部が映らないようにすることができるものであれば、特に限定されない。つまり、鏡１５４１は、撮影開始時点、すなわちコンテンツの配信開始時点においては、女性３０５４の鏡像少なくとも一部を映さない第１状態となっている。

ここで、ユーザ５Ａは、配信開始時点からコンテンツを視聴しているものとする。つまり、ユーザ５Ａの視聴開始時点は、配信開始時点と同じであるとする。視聴開始時点において、鏡１５４１にはカバー３０４５が付されているため、第１全天球映像を視聴する場合、ユーザ５Ａは、女性３０５４の不可視領域、すなわち女性３０５４の後ろ側を視認することができない。

プロセッサ２１０Ａは、ユーザ５Ａの操作（動作）に基づき、ユーザ５Ａに対する課金に関する処理を実行し、課金情報をサーバ６００へ送信する。プロセッサ６１０は、該課金情報を受信した場合、第１条件が成立したと判定し、鏡１５４１を第１状態から第２状態に遷移させる指示を表示装置３０３５に出力させる。第２状態とは、女性３０５４の鏡像を、鏡１５４１が映す状態である。表示装置３０３５は、一例として、カバー３０４５を外すよう指示するテキストを表示する。これにより、女性３０５４は該指示を視認することができ、該指示に従って鏡１５４１からカバー３０４５を外すことができる。その結果、鏡１５４１が、女性３０５４の後ろ側を鏡像として映すため、第１全天球映像を視聴しているユーザ５Ａは、女性３０５４の後ろ側を視認することができる。

第１条件は、課金情報の受信、すなわち、あるユーザ５が課金に関する処理を行ったことを示す情報の受信に限定されない。一例として、第１条件は、複数のコンピュータ２００から受信した課金情報の合計が閾値を上回ることに応じて成立するものであってもよい。すなわち、第１条件は、複数のユーザ５が行った課金に関する処理における課金額の合計が閾値を上回ることによって成立してもよい。

プロセッサ６１０は、課金情報を受信し、課金額を合計する。そして、プロセッサ６１０は、課金額の合計と、第１閾値を比較し、課金額の合計が第１閾値を超えているか否かを判定する。プロセッサ６１０は、この処理を、課金情報を受信する度に行う。プロセッサ６１０は、課金額の合計が第１閾値を超えたと判定した場合、鏡１５４１を第１状態から第２状態に遷移させる指示を表示装置３０３５に出力させる。

鏡１５４１を第１状態から第２状態に遷移させることは、鏡１５４１に付されたカバー３０４５を外すことに限定されない。例えば、鏡１５４１を第１状態から第２状態に遷移させることは、鏡１５４１を移動させ、第２位置から見た女性３０５４の少なくとも一部に対応する女性３０５４の鏡像を、鏡１５４１が映す位置に配置することであってもよい。

１５４１を第１状態から第２状態に遷移させる指示を出力する出力装置は、表示装置３０３５に限定されない。例えば、該出力装置は、第２指示を音声として出力するためのスピーカを含む装置であってもよい。

〔その他の変形例２〕
サーバ６００は、第１全天球映像を第２全天球映像に切り替えて出力可能であることをユーザ５に報知するための第１情報を、コンピュータ２００に出力してもよい。一例として、サーバ６００は、第２全天球映像への切り替えが可能であることを示すテキストが合成された第１全天球映像を、コンピュータ２００Ａへ送信してもよい。これにより、コンピュータ２００Ａは、第１全天球映像を第２全天球映像に切り替えて出力可能であることをユーザ５Ａへ報知することができる。よって、ユーザ５Ａは、第１全天球映像を第２全天球映像に切り替えて出力可能であることを認識することができる。

〔その他の変形例４〕
サーバ６００は、第１全天球映像および第２全天球映像の再生時間を分割した複数の期間それぞれにおいて、第１全天球映像および第２全天球映像のいずれの出力がお勧めであるかをユーザ５に報知するための第２情報を、コンピュータ２００Ａへ出力してもよい。

一例として、サーバ６００は、再生時間を分割した複数の期間それぞれを示す情報と、第１全天球映像および第２全天球映像のいずれの再生がお勧めであるかを示す情報とを対応付けた第１データをストレージ６３０に記憶しておく。そして、サーバ６００は、現在コンピュータ２００Ａへ送信している全天球映像が、第１データにおいて該全天球映像が含まれる期間に対応付けられた、お勧めの全天球映像と一致するか否かを比較する。サーバ６００は、比較結果が不一致である場合、コンピュータ２００Ａへ送信する全天球映像に、全天球映像の切り替えをお勧めするテキストを合成してコンピュータ２００Ａへ送信する。

これにより、コンピュータ２００Ａは、全天球映像における、ユーザが現在視聴している部分の映像において、第１全天球映像および第２全天球映像のいずれの出力がお勧めであるかをユーザ５Ａに報知することができる。よって、ユーザ５Ａは、配信者にとってのお勧めの視点でコンテンツを視聴しているか否かを認識することができる。また、ユーザ５Ａは、お勧めの視点と異なる視点でコンテンツを視聴している場合、視点（全天球映像）を切り替えることができる。

サーバ６００は、コンピュータ２００Ａから課金情報を受信した場合、第２情報をコンピュータ２００Ａに出力してもよい。つまり、ユーザ５Ａに対する、第１全天球映像および第２全天球映像のいずれの再生がお勧めであるかの報知は、ユーザ５Ａに対する課金が行われたことをトリガーとして実行されてもよい。これにより、映像出力システム１５００は、ユーザ５Ａに対し、課金額を負担したことにより通常は得られないサービスを受けた、という満足感を与えることができる。つまり、映像出力システム１５００は、ユーザ５Ａをより満足させることができる。

映像出力システム１５００が、３つ以上の全天球カメラ１５３１を含む場合、全天球映像生成装置１５３４は、全天球カメラ１５３１の数と同数の全天球映像を生成する。この例において、サーバ６００がコンピュータ２００Ａへ送信する第５情報は、３つ以上の全天球映像のいずれの出力がお勧めであるかを示す情報となる。

〔その他の変形例５〕
実施形態１において、映像出力システム１５００は、第１全天球カメラ１５３１Ａの近傍に配置される鏡を含んでいてもよい。該鏡は、第１全天球カメラ１５３１Ａにより撮影された被写体の少なくとも一部に対応する、被写体の鏡像を映すように配置される。

また、実施形態２において、第２全天球映像は、第１位置から見た被写体の少なくとも一部を含む画像を含んでいてもよい。該画像は、一例として、第２撮影映像における第１全天球カメラ１５３１Ａの位置にあってもよい。一例として、全天球映像生成装置１５３４が、該画像を含む第２全天球映像を生成するために、第１全天球映像から該画像を生成してもよい。

〔その他の変形例６〕
撮影映像から全天球映像を生成する処理は、コンピュータ２００が行ってもよい。つまり、サーバ６００は、全天球カメラ１５３１から取得した撮影映像をコンピュータ２００へ送信する。そして、コンピュータ２００は、撮影映像から全天球映像を生成する。全天球映像の生成は、例えば、上述した全天球映像生成装置１５３４と同様の方法で行えばよい。

以上、本開示の実施形態について説明したが、本発明の技術的範囲は、本実施形態の説明によって限定的に解釈されるべきではない。本実施形態は一例であって、特許請求の範囲に記載された発明の範囲内において、様々な実施形態の変更が可能であることが当業者によって理解されるところである。本発明の技術的範囲は、特許請求の範囲に記載された発明の範囲およびその均等の範囲に基づいて定められるべきである。

〔付記事項〕
本発明の一側面に係る内容を列記すると以下の通りである。

（項目１） 映像出力システムを説明した。本開示のある局面によると、映像出力システム（１５００）は、第１位置から第１全天球映像を撮影する第１全天球カメラ（１５３１Ａ）と、第１位置と異なる第２位置から第２全天球映像を撮影する第２全天球カメラ（１５３１Ｂ）と、第１全天球映像を出力し、第１全天球映像から第２全天球映像への切替指示を受信したことに応じて、第１全天球映像を第２全天球映像に切り替えて出力する第１コンピュータ（サーバ６００）と、を備える。第１全天球映像は、第２位置または第２位置の近傍位置から、第１位置及び第２位置とは異なる第３位置を捉えた第１映像を含む。

（項目２） （項目１）において、第３位置には、被写体（１５５１）が位置する。映像出力システムは、第２位置の近傍には、被写体の鏡像（１８５３）を映すように配置された鏡面体（鏡１５４１）を更に備える。第１映像は、被写体の鏡像が映し出された鏡面体の映像である。

（項目３） （項目２）において、第１コンピュータは、第１コンピュータは、第１条件が成立したことに応じて、被写体に対し、鏡面体を被写体の鏡像の少なくとも一部を映さない第１状態から被写体の鏡像を映させる第２状態に遷移させる指示を出力装置から出力させる。

（項目４） （項目１）において、第３位置には、被写体（１５５１）が位置する。第１コンピュータは、第２全天球映像から被写体を捉えた第１映像を抽出し、第１全天球映像内の第２位置または第２位置の近傍位置に第１映像を合成する。

（項目５） （項目４）において、第１コンピュータは、第１条件が成立したことに応じて、第１映像が合成された第１全天球映像を出力する。第１条件が成立していないことに応じて、第１映像が合成されていない第１全天球映像を出力する。

（項目６） （項目３）または（項目５）において、第１コンピュータは、視聴者端末（コンピュータ２００）から、被写体に対する課金額を示す課金情報を受信する。第１条件は、課金情報の受信に応じて成立する。

（項目７） （項目３）または（項目５）において、第１コンピュータは、複数の視聴者端末（コンピュータ２００）から、被写体に対する課金額を示す課金情報を受信する。第１条件は、課金額の合計が閾値を上回ることに応じて成立する。

（項目８） （項目１）から（項目７）のいずれかにおいて、第１コンピュータは、視聴者端末（コンピュータ２００）に第１全天球映像を出力し、視聴者端末から切替指示を受信した場合、第１全天球映像を第２全天球映像に切り替えて視聴者端末に出力する。

（項目９） （項目８）において、第３位置には、被写体（１５５１）が位置する。第１コンピュータは、視聴者端末から、被写体に対する課金額を示す課金情報を受信した場合、視聴者端末において第１全天球映像を第２全天球映像に切り替えて出力可能とする。

（項目１０） （項目８）または（項目９）において、第１コンピュータは、第１全天球映像を第２全天球映像に切り替えて出力可能であることを視聴者（ユーザ５）に報知するための第１情報を、視聴者端末に出力する。

（項目１１） （項目８）から（項目１０）のいずれかにおいて、第１コンピュータは、第１全天球映像および第２全天球映像の再生時間を分割した複数の期間それぞれにおいて、第１全天球映像および第２全天球映像のいずれの出力がお勧めであるかを視聴者に報知するための第２情報を、視聴者端末に出力する。

（項目１２） （項目１１）において、第３位置には、被写体（１５５１）が位置する。第１コンピュータは、視聴者端末から、被写体に対する課金額を示す課金情報を受信した場合、第２情報を視聴者端末に出力する。

上記実施形態においては、ＨＭＤによってユーザが没入する仮想空間（ＶＲ空間）を例示して説明したが、ＨＭＤとして、透過型のＨＭＤを採用してもよい。この場合、透過型のＨＭＤを介してユーザが視認する現実空間に仮想空間を構成する画像の一部を合成した視界画像を出力することにより、拡張現実（ＡＲ：Augmented Reality）空間または複合現実（ＭＲ：Mixed Reality）空間における仮想体験をユーザに提供してもよい。この場合、操作オブジェクトに代えて、ユーザの手の動きに基づいて、仮想空間内における対象オブジェクトへの作用を生じさせてもよい。具体的には、プロセッサは、現実空間におけるユーザの手の位置の座標情報を特定するとともに、仮想空間内における対象オブジェクトの位置を現実空間における座標情報との関係で定義してもよい。これにより、プロセッサは、現実空間におけるユーザの手と仮想空間における対象オブジェクトとの位置関係を把握し、ユーザの手と対象オブジェクトとの間で上述したコリジョン制御等に対応する処理を実行可能となる。その結果、ユーザの手の動きに基づいて対象オブジェクトに作用を与えることが可能となる。

２ ネットワーク、５，５Ａ，５Ｂ，５Ｃ ユーザ（視聴者）、６，６Ａ，６Ｂ，６Ｃ アバターオブジェクト、１１，１１Ａ，１１Ｂ，１１Ｃ，１１Ｄ，２１１１Ａ 仮想空間、１２，２１１２Ａ 中心、１３ パノラマ画像、１４，１４Ａ，１４Ｂ 仮想カメラ、１５，１５Ａ，１５Ｂ，１５Ｃ，２１１５Ａ，２２１５Ａ，２３１５Ａ，２５１５Ａ，２７１５Ａ 視界領域、１６ 基準視線、１７，１７Ａ，１７Ｂ，２１１７Ａ，２２１７Ａ，２３１７Ａ，２５１７Ａ、２７１７Ａ，２８１７Ａ,２９１７Ａ 視界画像、１８，１９ 領域、１００ ＨＭＤシステム、１１０，１１０Ａ，１１０Ｂ，１１０Ｃ，１１０Ｄ ＨＭＤセット、１２０，１２０Ａ，１２０Ｂ，１２０Ｃ、ＨＭＤ、１３０，１３０Ａ，１３０Ｂ，１３０Ｃ モニタ、１４０ 注視センサ、１５０ 第１カメラ、１６０ 第２カメラ、１７０，１７０Ａ，１７０Ｂ マイク、１８０，１８０Ａ，１８０Ｂ スピーカ、１９０ センサ、２００，２００Ａ，２００Ｂ，２００Ｃ コンピュータ（視聴者端末）、２１０，２１０Ａ、２１０Ｂ，２１０Ｃ，２１０Ｄ，６１０，１７７１ プロセッサ、２２０，６２０，１７７２ メモリ、２３０，２３０Ａ，２３０Ｂ，６３０，１７７３ ストレージ、２４０，６４０，１７７４ 入出力インターフェイス、２５０，６５０，１７７５ 通信インターフェイス、２６０，６６０，１７７６ バス、３００，３００Ｂ コントローラ、３００Ｒ 右コントローラ、３００Ｌ 左コントローラ、３１０ グリップ、３２０ フレーム、３３０ 天面、３４０，３４０，３５０，３７０，３８０ ボタン、３６０ 赤外線ＬＥＤ、３９０ アナログスティック、４１０ ＨＭＤセンサ、４２０，４２０Ａ モーションセンサ、４３０，４３０Ａ ディスプレイ、５１０，１９１０ コントロールモジュール、５２０ レンダリングモジュール、５３０，１９３０ メモリモジュール、５４０，１９４０ 通信制御モジュール、６００ サーバ、７００ 外部機器、１４２１ 視界制御モジュール、１４２２ 動き検出モジュール、１５００ 映像出力システム、１５３１ 全天球カメラ１５３１Ａ 第１全天球カメラ１５３１Ｂ 第２全天球カメラ、１５３２，１５３２Ａ，１５３２Ｂ 第１撮像部、１５３３，１５３３Ａ，１５３３Ｂ 第２撮像部、１５３４ 全天球映像生成装置、１５４１ 鏡（鏡面体）、１５５１ 被写体、１６６１Ａ，１６６１Ｂ 視野、１８００，２４００，３０００ 撮影空間、１８４３ 木の枝、１８４４ タイヤ、１８５２ パンダ（被写体）、１８５３ 鏡像、１９２３ 全天球映像制御モジュール、２１１３Ａ，２５１３Ａ 第１全天球映像、２１９９Ａ 仮想視点、２３１３Ａ 第２全天球映像、２５８０ 第１映像、２６２４ 仮想オブジェクト生成モジュール、２６２５ 仮想カメラ制御モジュール、２６２６ 操作オブジェクト制御モジュール、２６２７ アバターオブジェクト制御モジュール、２６２８ 仮想オブジェクト制御モジュール、２７１３Ａ 第３全天球映像、２８９１ ＵＩパネル、２８９２，２８９３ 選択肢、２８９４ ペンオブジェクト、２９９５ＬＡ 仮想左手、２９９５ＲＡ 仮想右手、３０３５ 表示装置、３０４５ カバー、３０５４ 女性（被写体）

Claims (10)

1. 第１位置から第１全天球映像を撮影する第１全天球カメラと、
   前記第１位置と異なる第２位置から第２全天球映像を撮影する第２全天球カメラと、
   前記第１全天球映像を出力し、前記第１全天球映像から前記第２全天球映像への切替指示を受信したことに応じて、前記第１全天球映像を前記第２全天球映像に切り替えて出力する第１コンピュータと、を備え、
   前記第１全天球映像は、前記第２位置または前記第２位置の近傍位置から、前記第１位置及び前記第２位置とは異なる第３位置を捉えた第１映像を含み、
   前記第３位置には、被写体が位置し、
   前記第２位置の近傍位置には、前記被写体の鏡像を映すように配置された鏡面体を更に備え、
   前記第１映像は、前記被写体の鏡像が映し出された前記鏡面体の映像である、映像出力システム。
2. 前記第１コンピュータは、第１条件が成立したことに応じて、前記被写体に対し、前記鏡面体を前記被写体の鏡像の少なくとも一部を映さない第１状態から前記被写体の鏡像を映させる第２状態に遷移させる指示を出力装置から出力させる、請求項１に記載の映像出力システム。
3. 前記第１コンピュータは、
   視聴者端末から、前記被写体に対する課金額を示す課金情報を受信し、
   前記第１条件は、前記課金情報の受信に応じて成立する、請求項２に記載の映像出力システム。
4. 前記第１コンピュータは、
   複数の視聴者端末から、前記被写体に対する課金額を示す課金情報を受信し、
   前記第１条件は、前記課金額の合計が閾値を上回ることに応じて成立する、請求項２に記載の映像出力システム。
5. 第１位置から第１全天球映像を撮影する第１全天球カメラと、
   前記第１位置と異なる第２位置から第２全天球映像を撮影する第２全天球カメラと、
   前記第１全天球映像を出力し、前記第１全天球映像から前記第２全天球映像への切替指示を受信したことに応じて、前記第１全天球映像を前記第２全天球映像に切り替えて出力する第１コンピュータと、を備え、
   前記第１全天球映像は、前記第２位置または前記第２位置の近傍位置から、前記第１位置及び前記第２位置とは異なる第３位置を捉えた第１映像を含み、
   前記第３位置には、被写体が位置し、
   前記第１コンピュータは、
   前記第２全天球映像から前記被写体を捉えた前記第１映像を抽出し、
   前記第１全天球映像内の前記第２位置または前記第２位置の近傍位置に前記第１映像を合成し、
   第１条件が成立したことに応じて、前記第１映像が合成された前記第１全天球映像を出力し、
   第１条件が成立していないことに応じて、前記第１映像が合成されていない前記第１全天球映像を出力し、
   複数の視聴者端末から、前記被写体に対する課金額を示す課金情報を受信し、
   前記第１条件は、前記課金額の合計が閾値を上回ることに応じて成立する、映像出力システム。
6. 前記第１コンピュータは、
   視聴者端末に前記第１全天球映像を出力し、
   前記視聴者端末から前記切替指示を受信した場合、前記第１全天球映像を前記第２全天球映像に切り替えて前記視聴者端末に出力する、請求項１〜５のいずれか１項に記載の映像出力システム。
7. 前記第１コンピュータは、
   前記視聴者端末から、前記被写体に対する課金額を示す課金情報を受信した場合、前記視聴者端末において前記第１全天球映像を前記第２全天球映像に切り替えて出力可能とする、請求項６に記載の映像出力システム。
8. 前記第１コンピュータは、
   前記第１全天球映像を前記第２全天球映像に切り替えて出力可能であることを視聴者に報知するための第１情報を、前記視聴者端末に出力する、請求項６または７に記載の映像出力システム。
9. 前記第１コンピュータは、
   前記第１全天球映像および前記第２全天球映像の再生時間を分割した複数の期間それぞれにおいて、前記第１全天球映像および前記第２全天球映像のいずれの出力がお勧めであるかを視聴者に報知するための第２情報を、前記視聴者端末に出力する、請求項６から８のいずれか１項に記載の映像出力システム。
10. 前記第１コンピュータは、
    前記視聴者端末から、前記被写体に対する課金額を示す課金情報を受信した場合、前記第２情報を前記視聴者端末に出力する、請求項９に記載の映像出力システム。

Images