JP5992210B2 - 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 - Google Patents

Description

本発明は、情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法に関し、特に例えば、パノラマ動画を表示する情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法に関する。

従来、パノラマ動画の一部の範囲をディスプレイに表示し、当該パノラマ動画を表示する際に音声を出力する動画像生成装置がある（例えば、特許文献１参照）。

特開２００４−２４１８３４号公報

しかしながら、上記特許文献１に記載の動画像生成装置は、パノラマ動画に対してどの範囲を表示する場合であっても同じ音声が出力されるため、ディスプレイにパノラマ動画を表示しても臨場感を得にくかった。

それ故に、本発明の目的は、パノラマ動画を表示する際に臨場感を高めることができる情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法を提供することである。

上記目的を達成するために、本発明は例えば以下のような構成を採用し得る。なお、特許請求の範囲の記載を解釈する際に、特許請求の範囲の記載によってのみその範囲が解釈されるべきであることが理解され、特許請求の範囲の記載と本欄の記載とが矛盾する場合には、特許請求の範囲の記載が優先する。

本発明の情報処理プログラムの一構成例は、スピーカが設けられた少なくとも１つの第１の表示装置に画像を表示する情報処理装置に含まれるコンピュータで実行される。情報処理プログラムは、パノラマ動画取得手段、表示範囲設定手段、音声生成手段、表示制御手段、音声出力制御手段として、コンピュータを機能させる。パノラマ動画取得手段は、パノラマ動画を記憶したパノラマ動画記憶手段から、パノラマ動画を読み出して逐次取得する。表示範囲設定手段は、取得されたパノラマ動画において、ユーザ操作に応じて第１の表示装置に表示する表示範囲を設定する。音声生成手段は、第１の表示装置に表示する画像と同期して出力する音声を、表示範囲に基づいて生成する。表示制御手段は、取得されたパノラマ動画のうち、表示範囲内のパノラマ動画を第１の表示装置に逐次表示する制御を行う。音声出力制御手段は、音声生成手段が生成した音声を、第１の表示装置に表示する画像と同期してスピーカから出力する制御を行う。

上記「情報処理装置」は、第１の表示装置とは別の装置によって構成されてもよいし、第１の表示装置が情報処理機能を有する場合には第１の表示装置によって構成されてもよい。また、前者の場合、「別の装置」によって本発明の各処理を実行し、第１の表示装置は「別の装置」によって生成された画像を表示処理するのみでもよいし、第１の表示装置が情報処理機能を有する場合には、第１の表示装置の情報処理機能と「別の装置」の情報処理機能との協同により実現してもよい。また、「別の装置」は複数の情報処理装置によって分散処理するものであってもよい。「情報処理装置」は、後述する実施形態で例示したゲーム装置の他、一般的なパーソナルコンピュータのような多用途の情報処理装置であってもよい。

上記第１の表示装置は、一例として、可搬型表示装置である。また、上記第１の表示装置は、他の例として、据置型表示装置である。これらの場合、第１の表示装置は、後述する実施形態における端末装置２やモニタ４のように情報処理装置に無線または有線接続された表示装置であり、情報処理装置によって生成された表示画像を表示することが可能なものであればどのようなものであってもよい。例えば、上記第１の表示装置は、情報処理装置と一体に（１つの筐体内に）構成されるものであってもよい。

上記「パノラマ動画」は、上下方向と左右方向のうち一方方向について画角が１８０度以上のパノラマ動画であることが好ましい。さらに好ましくは、一方方向について３６０度のパノラマ動画であることが好ましい。また、他方方向については、第１の表示装置に表示する動画の画角以上であることが好ましく、さらに言うと、当該動画の画角の２倍以上、１２０度以上、１５０度以上、または、１８０度であることが好ましい。

上記「パノラマ動画記憶手段」には、当該情報処理装置が有する当該パノラマ動画の撮像機能により撮像された動画を記憶してもよいし、当該動画の撮像機能を有する他の装置により撮像された動画を所定の記憶媒体やネットワークを介して取り込んで記憶してもよい。

上記によれば、第１の表示装置に表示するパノラマ動画の表示範囲に応じて、スピーカから出力する音声が調整されるため、パノラマ動画を表示する際に臨場感を高めることができる。

また、上記情報処理プログラムは、音声取得手段として、さらにコンピュータを機能させてもよい。音声取得手段は、パノラマ動画を撮像する際またはパノラマ動画を再生する際に録音された少なくとも１つの音声を記憶した音声記憶手段から、第１の表示装置に表示する画像と同期して出力する音声を生成するための元音声を取得する。この場合、上記音声生成手段は、音声取得手段が取得した元音声の音量を表示範囲に基づいて調整することによって、第１の表示装置に表示する画像と同期して出力する音声を生成してもよい。

上記によれば、パノラマ動画を撮像する際またはパノラマ動画を再生する際に録音された音声を用いて、パノラマ動画を表示する際の音声を生成することができる。

また、上記音声記憶手段は、録音された音声の音源となるパノラマ動画における位置を、当該音声毎に記憶してもよい。上記音声生成手段は、パノラマ動画における表示範囲を基準とした音源の位置に基づいて、当該位置を音源とする音声の音量を調整してもよい。

上記によれば、パノラマ動画を撮像する際またはパノラマ動画を再生する際に録音された音声を音声出力する際の定位を、表示するパノラマ動画に合わせて調整することができる。

また、上記音声生成手段は、パノラマ動画における表示範囲と音源とが相対的に近い場合に当該位置を音源とする音声の音量を相対的に大きく調整してもよい。

上記によれば、第１の表示装置に表示される範囲内または当該範囲に近い音源の音声を優先的に音声出力することができるため、パノラマ動画を表示する際に臨場感を高めることができる。

また、上記音声生成手段は、パノラマ動画における表示範囲を基準として音源が所定の範囲内にある場合に当該位置を音源とする音声の音量を所定値以上に設定し、音源が所定の範囲外にある場合に当該位置を音源とする音声の音量を０に設定してもよい。

上記によれば、表示範囲における所定の範囲内に音源が表示されているか否かで当該音源の音声がオン／オフされるような音声出力制御が可能となる。

また、上記音声記憶手段は、パノラマ動画を撮像する際またはパノラマ動画を再生する際に複数の音源からそれぞれ録音された音声を記憶し、パノラマ動画における当該音源の位置を当該音声毎にそれぞれ記憶してもよい。上記音声生成手段は、パノラマ動画における表示範囲を基準とした音源それぞれの位置に基づいて、第１の表示装置に表示する画像と同期して出力する音声を選択してもよい。

上記によれば、パノラマ動画の表示範囲を変更することによって、音声出力される音声を選択することができる。

また、上記音声生成手段は、パノラマ動画における表示範囲と音源の位置とが所定の関係となった場合に、当該位置を音源とする音声を第１の表示装置に表示する画像と同期して出力する音声として選択してもよい。

上記によれば、パノラマ動画の表示範囲を移動させることによって、音声出力される音声を選択することができる。

また、上記音声生成手段は、パノラマ動画における表示範囲内に音源の位置が含まれるか否かに応じて、当該位置を音源とする音声の音量を調整してもよい。

上記によれば、パノラマ動画の表示範囲内にある音源からの音声だけ出力することができる。

また、上記音声生成手段は、パノラマ動画における表示範囲内に音源の位置が含まれる場合、当該位置を音源とする音声の音量を相対的に大きく調整してもよい。

上記によれば、第１の表示装置に表示される範囲内の音源の音声の音量を大きくして音声出力することができるため、パノラマ動画を表示する際に臨場感を高めることができる。

また、上記音声記憶手段は、パノラマ動画における音源の位置として、当該位置を音源とする音声を出力対象とする有効領域を音源毎に当該パノラマ動画に設定して記憶してもよい。上記音声生成手段は、パノラマ動画における表示範囲内に含まれる有効領域の大きさに応じて、当該有効領域が設定された音源における音声の音量を調整してもよい。

上記によれば、パノラマ動画の表示範囲内に音源毎の有効領域が占める割合に応じて、音声出力を制御することができる。

また、上記第１の表示装置は、ユーザ操作に応じて、パノラマ動画を拡大または縮小して表示することが可能でもよい。上記表示範囲設定手段は、拡大または縮小する操作に応じて、第１の表示装置に表示する表示範囲を拡大または縮小して設定してもよい。上記音声生成手段は、拡大または縮小された表示範囲に応じて音量を調整してもよい。

上記によれば、第１の表示装置に表示する動画を拡大または縮小することに応じて、音声出力を制御することができる。

また、上記パノラマ動画記憶手段は、現実世界を撮像したパノラマ動画を記憶してもよい。上記音声記憶手段は、パノラマ動画を撮像する際に現実世界において異なる方向を集音方向とする複数の指向性マイクを用いて録音した音声をそれぞれ記憶し、パノラマ動画における当該集音方向に対応する位置を音源の位置として当該音源の位置を当該音声毎にそれぞれ記憶してもよい。上記音声生成手段は、パノラマ動画における表示範囲を基準とした音源の位置に基づいて、当該位置を音源とする音声の音量を調整してもよい。

上記によれば、複数の指向性マイクを用いて録音した音声を用いて、パノラマ動画を表示する際の音声を生成することができる。

また、上記パノラマ動画記憶手段は、現実世界を撮像したパノラマ動画を記憶してもよい。上記音声記憶手段は、パノラマ動画を撮像する際に現実世界において複数の集音位置にそれぞれ設けられたマイクを用いて録音した音声をそれぞれ記憶し、パノラマ動画における当該集音位置を音源の位置として当該音源の位置を当該音声毎にそれぞれ記憶してもよい。上記音声生成手段は、パノラマ動画における表示範囲を基準とした音源の位置に基づいて、当該位置を音源とする音声の音量を調整してもよい。

上記によれば、複数の集音位置に配置されたマイクを用いて録音した音声を用いて、パノラマ動画を表示する際の音声を生成することができる。

また、上記音声記憶手段は、パノラマ動画を再生する際に録音された音声を少なくとも記憶し、パノラマ動画における当該録音の際に指定された位置を音源の位置として当該音源の位置を当該録音された音声毎に記憶してもよい。上記音声生成手段は、パノラマ動画における表示範囲を基準とした音源の位置に基づいて、当該位置を音源とする音声の音量を調整してもよい。

上記によれば、パノラマ動画の再生の際に付加された音声を用いて、パノラマ動画を表示する際の音声を生成することができる。

また、上記情報処理プログラムは、パノラマ動画配置手段として、さらにコンピュータを機能させてもよい。パノラマ動画配置手段は、取得されたパノラマ動画を仮想空間に配置する。この場合、上記表示範囲設定手段は、仮想空間に配置されたパノラマ動画に対する視線方向を変化させることによって、当該パノラマ動画に対する表示範囲を設定してもよい。

上記によれば、パノラマ動画を表示する方向に応じた音声出力制御が可能となる。

また、上記情報処理プログラムは、入力受付手段として、さらにコンピュータを機能させてもよい。入力受付手段は、第１の表示装置に対応付けられた入力装置からの入力を受け付ける。この場合、上記表示範囲設定手段は、第１の表示装置に対応付けられた入力装置から受け付けられた入力に基づいて、表示範囲を設定してもよい。

上記によれば、第１の表示装置に対応付けられた入力装置を用いて、パノラマ動画の表示範囲を変化させることができるとともに、当該第１の表示装置から出力される音声も変化させることができる。

また、上記第１の表示装置は、当該第１の表示装置本体の動きまたは姿勢に応じたデータを出力するセンサを備えてもよい。上記入力受付手段は、センサから出力されたデータを、入力装置からの入力として受け付けてもよい。上記表示範囲設定手段は、センサから出力されるデータに基づいて算出された第１の表示装置の姿勢に応じて、表示範囲を設定してもよい。

上記「表示範囲設定手段」は、典型的には、第１の表示装置の姿勢変化に応じて、少なくとも同じ方向に第１の表示装置に表示する範囲を移動させる。また、好ましくは、「表示範囲設定手段」は、第１の表示装置の姿勢の変化量が大きいほど上記範囲の移動量を大きくする。さらに好ましくは、「表示範囲設定手段」は、第１の表示装置の姿勢の変化量と上記範囲の動画を生成するための仮想カメラの姿勢変化量とを同じにする。「表示範囲設定手段」は、第１の表示装置の現在の姿勢の基準姿勢からの変化にあわせて、上記仮想カメラの現在の姿勢の基準姿勢からの変化を制御してもよいし、第１の表示装置の現在の姿勢の直前の姿勢からの変化にあわせて、上記仮想カメラの現在の姿勢の直前の姿勢からの変化を制御してもよい。なお、上記「姿勢」は、２次元で設定されてもよいし、３次元で設定されてもよい。

上記によれば、第１の表示装置の姿勢を変化させることによって、当該姿勢変化に応じた表示範囲のパノラマ動画が表示されて当該表示範囲に応じた音声が出力されるため、あたかもパノラマ動画によって形成されている空間を、第１の表示装置を介して覗いているかのような操作環境を提供することができる。

また、上記センサは、第１の表示装置本体の動きまたは姿勢に応じたデータを出力するジャイロセンサおよび加速度センサの少なくとも一方でもよい。上記表示範囲設定手段は、ジャイロセンサおよび加速度センサの少なくとも一方から出力されるデータに基づいて算出された第１の表示装置の姿勢に応じて、表示範囲を設定してもよい。

上記によれば、ジャイロセンサから得られる角速度データや加速度センサから得られる加速度データを用いることによって、容易に第１の表示装置本体の姿勢を算出することができる。

また、上記表示範囲設定手段は、取得されたパノラマ動画において、据置型の第２の表示装置に表示する表示範囲をさらに設定してもよい。上記音声生成手段は、第１の表示装置の表示範囲に基づいて生成される音声とは独立して、第２の表示装置に表示する画像と同期して当該第２の表示装置から出力する音声をさらに生成してもよい。上記表示制御手段は、取得されたパノラマ動画のうち、第２の表示装置の表示範囲内のパノラマ動画を第２の表示装置に逐次表示する制御をさらに行ってもよい。上記音声出力制御手段は、第２の表示装置から音声出力する音声を、第２の表示装置に表示する画像と同期して当該第２の表示装置から音声出力する制御をさらに行ってもよい。

上記によれば、第１の表示装置に表示される表示範囲に応じて制御される音声とは独立した音声を、据置型の表示装置から出力することができる。

また、上記パノラマ動画取得手段は、パノラマ動画記憶手段から、パノラマ動画の各フレームとなるパノラマ画像を、第１の表示装置に再生する所定時間毎に読み出して逐次取得してもよい。上記表示範囲設定手段は、取得されたパノラマ画像において表示範囲を設定してもよい。上記音声生成手段は、第１の表示装置に表示するパノラマ画像と同期して出力する音声を表示範囲に基づいて生成してもよい。上記表示制御手段は、取得されたパノラマ画像のうち、表示範囲内のパノラマ画像を第１の表示装置に逐次表示する制御を行ってもよい。上記音声出力制御手段は、音声生成手段が生成した音声を、第１の表示装置に表示するパノラマ画像と同期してスピーカから出力する制御を行ってもよい。

また、本発明は、上記各手段を備える情報処理装置および情報処理システムや上記各手段で行われる動作を含む情報処理方法の形態で実施されてもよい。

本発明によれば、表示装置に表示するパノラマ動画の表示範囲に応じて、スピーカから出力する音声が調整されるため、パノラマ動画を表示する際に臨場感を高めることができる。

情報処理システム１の一例を示すブロック図 情報処理システム１において表示されるパノラマ動画（画像）の一例を示す図 端末装置２の姿勢に応じて表示範囲を決定する方法の一例を示す図 情報処理システム１において実行される情報処理プログラムにおいて定義される仮想の３次元空間の一例を示す図 パノラマ画像を端末装置２に表示した際の音声出力の一例を示す図 パノラマ画像を端末装置２に表示した際の音声出力の他の例を示す図 パノラマ動画を撮像する際の視点に設けられた複数の指向性マイクによって録音された音声データを用いて音声出力する例を示す図 複数の集音位置にそれぞれ設けられたマイクによって録音された音声データを用いて音声出力する例を示す図 パノラマ画像の表示範囲に応じた音声出力の音量制御の第１の例を示す図 パノラマ画像の表示範囲に応じた音声出力の音量制御の第２の例を示す図 パノラマ画像の表示範囲に応じた音声出力の音量制御の第３の例を示す図 情報処理装置３のメモリ６に記憶される主なデータおよびプログラムの一例を示す図 メモリ６に記憶されるパノラマ画像ファイルデータＤａの一例を示す図 情報処理装置３において実行される処理の前半の一例を示すフローチャートを示す図 情報処理装置３において実行される処理の後半の一例を示すフローチャートを示す図

［情報処理システムの構成］
図１を参照して、本実施形態の一例に係る情報処理プログラムを実行する情報処理装置および当該情報処理装置を含む情報処理システムについて説明する。なお、図１は、据置型の情報処理装置３を含む情報処理システム１の一例を示すブロック図である。一例として、情報処理装置３は据置型のゲーム装置で構成され、情報処理システム１は当該ゲーム装置を含むゲームシステムで構成される。

図１において、情報処理システム１は、端末装置２、情報処理装置３、およびモニタ４を備える。本実施形態における情報処理システム１は、画像（パノラマ画像）を生成して表示装置（端末装置２および／またはモニタ４）に表示するものである。

情報処理システム１においては、端末装置２に対する入力に応じて情報処理装置３が情報処理を実行し、実行の結果得られた画像が端末装置２および／またはモニタ４に表示される。このように、本実施形態においては、情報処理システム１は、入力機能、情報処理機能、および表示機能が複数の装置によって実現される構成である。なお、他の実施形態においては、情報処理システム１は、これらの機能を有する単一の情報処理装置（例えば携帯型あるいは可搬型の情報処理装置）で構成されてもよい。

端末装置２は、ユーザが把持可能な（可搬型の）入力装置である。端末装置２は、情報処理装置３と通信可能である。端末装置２は、端末装置２に対する操作を表す操作データを情報処理装置３へ送信する。また、本実施形態においては、端末装置２は、表示部（ＬＣＤ１１）、サウンドＩＣ１６、およびスピーカ１７を備えており、端末装置２は表示装置および音声出力装置でもある。スピーカ１７は、例えば一対のステレオスピーカであり、音声データの出力を制御する回路であるサウンドＩＣ１６によって出力制御される。情報処理装置３から画像が送信されてくる場合、端末装置２は、ＬＣＤ１１に当該画像を表示する。また、情報処理装置３から音声が送信されてくる場合、端末装置２は、サウンドＩＣ１６を介してスピーカ１７から当該音声を出力する。なお、サウンドＩＣ１６は、情報処理装置３から送信された音声の定位に基づいた所定のサラウンド効果（例えば、疑似サラウンド）を当該音声に付加して、スピーカ１７から音声出力してもよい。

また、端末装置２は、入力部としてタッチパネル１２を備える。タッチパネル１２は、ハウジングに設けられる所定の入力面（表示部の画面）に対して入力された位置を検出する位置検出部の一例である。さらに、端末装置２は、入力部として、スライドパッド、十字キー、およびボタン等の操作部１３を備える。

また、端末装置２は、入力部として加速度センサ１４を備える。加速度センサ１４は、端末装置２の所定軸方向（本実施形態では３軸方向とするが、１軸以上でよい）に関する加速度を検出する。また、端末装置２は、入力部としてジャイロセンサ１５を備える。ジャイロセンサ１５は、端末装置２の所定軸方向（本実施形態では３軸方向とするが、１軸以上でよい）を軸とした回転に関する角速度を検出する。加速度センサ１４およびジャイロセンサ１５は、端末装置２の姿勢を算出するための情報（姿勢を算出あるいは推定可能な情報）を検出するセンサである。なお、他の実施形態においては、端末装置２の姿勢はどのような方法で算出されてもよく、上記センサ以外の他のセンサや端末装置２を撮影可能なカメラを用いて端末装置２の姿勢が算出されてもよい。

情報処理装置３は、画像や音声を生成する処理等、情報処理システム１において実行される各種の情報処理を実行する。本実施形態においては、情報処理装置３は、ＣＰＵ（制御部）５およびメモリ６を有し、ＣＰＵ５がメモリ６を用いて所定の情報処理プログラムを実行することによって、情報処理装置３における各種機能が実現される。なお、情報処理装置３は、上記の情報処理を実行することができればどのような構成であってもよい。本実施形態においては、情報処理装置３によって画像（パノラマ画像）および当該画像表示時に出力する音声が生成され、生成された画像および音声は、表示装置および音声出力装置である端末装置２および／またはモニタ４へ出力される。

モニタ４は、生成された画像を表示し生成された音声を出力する表示装置および音声出力装置の一例である。モニタ４は、情報処理装置３から送信されるデータを受信可能である。情報処理装置３において生成された画像および音声がモニタ４へ送信されてくると、モニタ４は当該画像を表示するとともに当該音声を出力する。

［パノラマ動画の再生］
次に、情報処理システム１において実行される、パノラマ動画を再生する処理について説明する。図２は、情報処理システム１において表示されるパノラマ動画（画像）の一例を示す図である。図２に示すように、本実施形態においては、端末装置２およびモニタ４にパノラマ画像が表示される。なお、他の実施形態においては、パノラマ画像は少なくとも１つの表示装置に表示されればよい。

ここで、パノラマ画像とは、表示装置に表示される画像の視野角よりも広い視野角の画像である。つまり、パノラマ画像は、基本的にはその一部領域の画像が表示装置に表示される（ただし、本実施形態のように複数の表示装置が用いられる場合には、一部の表示装置においてパノラマ画像の全体が表示されてもよい。）。パノラマ画像は、表示範囲が変化することによって視線の方向が変化する画像であるとも言える。本実施形態においては、上下左右方向に関して全方向（３６０°）の視野角を有するパノラマ画像が用いられる（図３参照）。ただし、パノラマ画像には死角があってもよく、例えば視野角が１８０°程度であってもよい。また、本実施形態においては、パノラマ画像はカメラによって撮影された実画像（実写画像）であるが、その一部または全部が仮想画像（ＣＧ画像）であってもよい。

本実施形態においては、表示装置（端末装置２およびモニタ４）には、パノラマ動画の再生の進行にしたがって、記憶されているパノラマ動画の各フレームとなるパノラマ画像が所定時間毎に読み出されて順次表示され、パノラマ画像が表示装置に逐次表示されることによって、パノラマ動画が再生される。具体的には、パノラマ動画を構成する複数のパノラマ画像にはそれぞれフレーム番号が付されており、パノラマ画像がフレーム番号順に表示される。一例として、視点を時間経過につれて所定空間（例えば、現実世界）内を移動させながら撮像したパノラマ動画を表示する場合、当該パノラマ動画を再生する時間経過に伴って視点が移動するパノラマ動画が再生される。例えば、図２に示すように、道路上から周囲を見たパノラマ画像が表示され、道路を進んでいく（視点が道路に沿って移動する）パノラマ動画が再生される。他の例として、所定空間内を移動することなく撮像（すなわち、定点撮像）したパノラマ動画を表示する場合、当該パノラマ動画を再生する時間経過に伴って視点周辺の様子が変化していくようなパノラマ動画が再生される。

図２に示すように、各表示装置（端末装置２およびモニタ４）には、パノラマ画像の一部の範囲が表示される。以下では、パノラマ画像のうちで表示装置に表示される範囲を「表示範囲」と呼ぶ。図２においては、モニタ４には、パノラマ画像を表示する視線方向が当該パノラマ画像を撮像した際の視点の進行方向（正面方向）となる表示範囲のパノラマ画像が表示される。本実施形態においては、モニタ４における表示範囲は、基本的には予め定められた所定範囲に固定されるが、ユーザ操作に応じてパノラマ画像に対する表示範囲の位置や大きさを変化させてもよい。

一方、端末装置２における表示範囲は、端末装置２の姿勢に応じて変更される。例えば図２においては、端末装置２は、正面方向（ユーザ（端末装置２）からモニタ４への方向）に対して右に向けた姿勢となっており、端末装置２には、上記進行方向に対して視線を右に向けた場合の表示範囲のパノラマ画像が表示されている。このように、情報処理システム１は、入力装置（端末装置２）に対する入力に基づいて、パノラマ動画のうちで表示装置に表示する表示範囲を決定する。これによれば、ユーザは、端末装置２に対する操作（姿勢を変化させる操作）によって視線方向（表示範囲）を自由に変化させてパノラマ動画を見ることができる。なお、他の実施形態においては、表示範囲はユーザの操作に応じて変化するように決定されればどのような方法で決定されてもよい。

図３は、端末装置２の姿勢に応じて表示範囲を決定する方法の一例を示す図である。本実施形態においては、図３に示すように、仮想空間に立体モデルを配置し、その立体モデルの内側における所定位置（本実施形態においては立体モデルの実質的に中心となる位置）に仮想カメラＣ１を配置する。そして、仮想カメラＣ１から見た立体モデル（立体モデルの内側面）の画像を生成する際に、パノラマ画像をテクスチャとして立体モデルの内側面に描画することで、パノラマ画像が生成される。このとき、パノラマ画像のうち、仮想カメラＣ１の視野範囲（図３に示す斜線領域Ａ１）が表示範囲となる。なお、本実施形態においては、立体モデルの形状を立方体とするが、立体モデルの形状は任意であり、例えば球体や柱状（例えば円柱）の形状であってもよい。

図３において、端末装置２に表示すべき画像を生成するための仮想カメラＣ１は、その姿勢が端末装置２の姿勢に応じて制御される。これによって、端末装置２の姿勢に応じて表示範囲を変化させることができる。以下、仮想カメラＣ１の姿勢が端末装置２の姿勢に応じて制御される一例を説明する。

まず初期設定として、端末装置２の基準姿勢が設定される。例えば、端末装置２の基準姿勢は、パノラマ動画再生の開始時または開始前の所定タイミングにおける端末装置２の姿勢によって設定される。具体的には、パノラマ動画再生の開始時の端末装置２の姿勢を基準姿勢として設定してもよいし、パノラマ動画再生の開始前にユーザが所定の操作をしたときの端末装置２の姿勢を基準姿勢として設定してもよいし、予め定める固定的な端末装置２の姿勢を基準姿勢として設定してもよいし、予め定める固定的な複数の端末装置２の姿勢のうちユーザが選択してもよい。なお、本実施形態では、端末装置２の姿勢はジャイロセンサ１５の出力値に基づいて算出されるので、基準姿勢の設定は、ジャイロセンサ１５により算出される姿勢値のリセットである。しかしながら、端末装置２の基準姿勢の設定は、センサの種類によって適宜の処理を実行してよい。

また、上記初期設定として、仮想カメラＣ１の初期姿勢が設定される。例えば、仮想カメラＣ１の初期姿勢は、視線方向（ｚ軸正方向）が仮想空間のＺ軸正方向（パノラマ画像における正面方向）に一致し、左方向（ｘ軸正方向）が仮想空間のＸ軸正方向に一致し、上方向（ｙ軸正方向）が仮想空間のＹ軸正方向に一致するように配置される。

そして、端末装置２の上記基準姿勢に対する姿勢変化（基準姿勢の端末装置２の左右方向となるｘｔ軸、端末装置２の上下方向となるｙｔ軸、端末装置２の前後方向となるｚｔ軸周りそれぞれの回転方向および回転量）に応じて、仮想カメラＣ１の姿勢を、上記初期姿勢から変化（典型的には、初期姿勢の仮想カメラＣ１のｘ軸、ｙ軸、ｚ軸、すなわちＸ軸、Ｙ軸、Ｚ軸周りそれぞれに同じ回転方向および同じ回転量で変化）させる。なお、情報処理システム１は、表示範囲の位置に加えて、表示範囲の大きさ（ズームインまたはズームアウト）を端末装置２に対する操作に応じて変更するようにしてもよい。

一方、モニタ４に表示すべき画像を生成するための仮想カメラ（図示せず）は、その視線方向が基本的には所定の基準方向（ここでは、上述した進行方向となる正面方向であり、Ｚ軸正方向）を向くように設定される。つまり、モニタ４の表示範囲（図３に示す斜線領域Ａ２）は、仮想カメラから正面方向への位置に設定される。この仮想カメラの位置も、所定位置（本実施形態においては立体モデルの中心位置）に固定される。

なお、本実施形態においては、モニタ４に表示されるパノラマ画像の視線方向と端末装置２に表示されるパノラマ画像の視線方向との関係が、モニタ４における表示画面の奥行方向と端末装置２のＬＣＤ１１の奥行方向との関係と概ね一致するように、仮想カメラＣ１の視線方向が制御される。具体的には、端末装置２のＬＣＤ１１の奥行方向がモニタ４の方を向いた状態で上記基準姿勢が設定されることによって、当該状態において仮想カメラＣ１の視線方向が、モニタ４のための仮想カメラの視線方向と同じ方向に初期設定される。そして、端末装置２の姿勢が基準姿勢から変化した場合、その変化方向に応じた方向へ、変化量に応じた量だけ、仮想カメラＣ１の姿勢が変化する。これによれば、ユーザは、モニタ４によってある視線方向（正面方向）の風景を見ながら、端末装置２の向きを変化させることによって所望の視線方向（正面方向以外の方向）の風景を見ることができる。また、ユーザは、端末装置２のＬＣＤ１１の奥行方向をモニタ４の方へ向けることによって、容易に正面方向のパノラマ画像をＬＣＤ１１に表示することができ、モニタ４の位置を、パノラマ画像を表示する際の基準（パノラマ画像の正面方向が表示される基準）として取り扱うことができる。さらに、端末装置２の姿勢の変化と仮想カメラＣ１の姿勢の変化とを一致させることによって、現実空間における端末装置２の向きと、仮想空間における仮想カメラＣ１の視線方向とが一致するので、ユーザは、パノラマ画像が表す空間をよりリアルに感じることができる。

［パノラマ画像の表示方向に応じた音声出力］
次に、図４〜図１１を参照して、パノラマ動画を再生する際に出力される音声について説明する。なお、図４は、情報処理システム１において実行される情報処理プログラムにおいて定義される仮想の３次元空間（パノラマ動画を再生することによって形成される仮想世界）の一例を示す図である。図５は、パノラマ画像を端末装置２に表示した際の音声出力の一例を示す図である。図６は、パノラマ画像を端末装置２に表示した際の音声出力の他の例を示す図である。図７は、パノラマ動画を撮像する際の視点に設けられた複数の指向性マイクによって録音された音声データを用いて音声出力する例を示す図である。図８は、複数の集音位置にそれぞれ設けられたマイクによって録音された音声データを用いて音声出力する例を示す図である。図９は、パノラマ画像の表示範囲に応じた音声出力の音量制御の第１の例を示す図である。図１０は、パノラマ画像の表示範囲に応じた音声出力の音量制御の第２の例を示す図である。図１１は、パノラマ画像の表示範囲に応じた音声出力の音量制御の第３の例を示す図である。

上述したように端末装置２には、パノラマ動画の再生の進行にしたがって、記憶されているパノラマ動画の各フレームとなるパノラマ画像が所定時間毎に読み出されて順次表示される。ここで、各フレームのパノラマ画像を仮想空間中の立体モデルの内面にテクスチャとして貼りつけて、当該モデルの内側に配置された仮想カメラＣ１から当該内面を見ることによって、端末装置２に表示されるパノラマ画像が生成され、当該仮想カメラＣ１の方向を端末装置２の姿勢に応じて変更する。したがって、ユーザは、図４に示すように、端末装置２を介して、パノラマ画像が表す空間をあたかも覗いているような画像を見ることができる。なお、上述したように、本実施形態では、立体モデルが立方体（６面体）であるが、図４では簡便のため、立体モデルを角筒状に示し当該角筒の内面にパノラマ画像がテクスチャとして貼り付けられている。そして、ユーザは、端末装置２を介して、立体モデルの中心から当該内面を覗いたような画像を見ることができる。

例えば、複数の演者Ｐ１〜Ｐ４がパノラマ動画の撮像視点に向かって取り囲むように配置されて、それぞれ楽器を演奏している様子を撮像することによって生成されたパノラマ動画を用いる場合を考える。この場合、パノラマ動画の撮像に合わせて、各演者Ｐ１〜Ｐ４が演奏の際に発する音声Ｓ１〜Ｓ４もそれぞれ録音されている。このようなパノラマ動画を再生する場合、図４に示すように、立体モデルの内面に貼り付けられるパノラマ画像では、立体モデルの中心のユーザ（すなわち、パノラマ動画を撮像した際の視点）に向かって取り囲むように演者Ｐ１〜Ｐ４が楽器を演奏している様子が表示される。そして、パノラマ動画の撮像に合わせて録音された音声が、当該パノラマ動画の再生に合わせて音声出力される。

本実施形態では、端末装置２に表示するパノラマ画像の表示方向（表示範囲）に応じて、スピーカ１７から出力する音声が調整される。例えば、図５に示すように、端末装置２に演者Ｐ１が表示されている場合、パノラマ動画の撮像の際に演者Ｐ１が発していた音声Ｓ１を際立たせてスピーカ１７から音声出力される。また、図６に示すように、端末装置２に演者Ｐ１およびＰ２が表示されている場合、パノラマ動画の撮像の際に演者Ｐ１およびＰ２がそれぞれ発していた音声Ｓ１およびＳ２を際立たせてスピーカ１７から音声出力される。なお、ある音声を際立たせる場合、当該音声の音量を上げる処理、当該音声以外の音声の音量を下げる処理、および当該音声以外の音声を出力しない処理の少なくとも１つの音声出力処理を行えばよい。このような音声出力制御によって、端末装置２のユーザは、表示されているパノラマ画像と合わせて、演者Ｐ１から音声Ｓ１が発せられ、演者Ｐ２から音声Ｓ２が発せられ、演者Ｐ３から音声Ｓ３が発せられ、演者Ｐ４から音声Ｓ４が発せられているように感じるため、パノラマ画像が表す空間をさらにリアルに感じることができる。

なお、端末装置２が複数のスピーカを有している場合、当該スピーカから出力する音声の振り分け（バランス）も端末装置２に表示するパノラマ画像の表示方向（表示範囲）に応じて調整することができる。例えば、図６に示した一例では、端末装置２に表示されたパノラマ画像において、向かって左側に演者Ｐ１が表示され、向かって右側に演者Ｐ２が表示されている。この場合、左側のスピーカ１７からは音声Ｓ２より音声Ｓ１が際立つように音声出力され、右側のスピーカ１７からは音声Ｓ１より音声Ｓ２が際立つように音声出力される。これによって、パノラマ画像が表す空間に応じたよりリアルな音声出力が可能となる。なお、端末装置２が複数のスピーカを有している場合であっても、それぞれのスピーカから同じ音声を出力（すなわち、モノラル出力）してもかまわない。

次に、端末装置２に表示するパノラマ画像の表示方向（表示範囲）に応じて、スピーカ１７から出力する音声を制御する方法の一例を説明する。例えば、現実世界のパノラマ動画を撮像する場合、撮影方向が互いに固定された複数の現実世界撮像カメラが用いられる。一例として、現実世界撮像カメラは、５角柱形状の支持部材の側面および上面からそれぞれ放射する方向を撮像方向としてそれぞれ１台ずつ、計６台固設されて設けられる。そして、上記側面の１つ（正面）を前方として移動しながら、現実世界を６台の現実世界撮像カメラで撮像する。なお、当該移動の際の移動方向がパノラマ動画における「正面方向」となる。また、上記現実世界撮像カメラを現実世界の定点に固定してパノラマ動画を撮像することもできる。例えば、図４を用いて例示したパノラマ画像は、上記現実世界撮像カメラを現実世界に固定して配置し、当該現実世界撮像カメラを取り囲むようにして複数の演者が楽器を演奏する様子が撮像されている。

第１の例では、このようなパノラマ動画の撮像において、パノラマ動画を撮像する際の視点に複数の指向性マイクが設けられて音声が録音される。例えば、上述した現実世界撮像カメラを用いてパノラマ動画が撮像される場合、支持部材の内部に複数の方向（例えば、現実世界撮像カメラの撮像方向と同じ水平５方向や上方向を加えた６方向等）をそれぞれ集音する指向性の高いマイクを設け、パノラマ動画の撮像に合わせてそれぞれのマイクから周辺の音を録音する。この録音処理によって、パノラマ動画の撮像とともに指向性の高い複数方向の集音エリアの音がそれぞれ録音された音声データが得られることになる。

上記現実世界撮像カメラおよび指向性マイクを用いてパノラマ動画を撮像した場合、当該パノラマ動画を構成する各パノラマ画像内において、各指向性マイクの集音エリアを設定することができる。例えば、図７に示す例では、撮像されたパノラマ画像の一部を示しており、当該パノラマ画像において指向性マイクの集音エリア１〜５が示されている。例えば、集音エリア２は、演者Ｐ１が演奏している空間付近に設定されている。また、集音エリア３は、演者Ｐ２が演奏している空間付近に設定されている。さらに、集音エリア４は、演者Ｐ３およびＰ４が演奏している空間付近に設定されている。

このように撮像および録音されたパノラマ動画および音声を、端末装置２を用いて再生する場合、パノラマ動画の再生の進行にしたがって、記憶されているパノラマ動画の各フレームとなるパノラマ画像および当該フレームに対応する音声データが所定時間毎に読み出されて順次表示および音声出力される。ここで、端末装置２には、読み出されたパノラマ画像の一部の表示範囲が表示される。そして、端末装置２からは、表示されるパノラマ動画の表示範囲に応じた音声が出力される。例えば、図７に示すように、パノラマ画像のうち、演者Ｐ１が演奏する楽器の一部および演者Ｐ２自身が含まれる表示範囲が端末装置２に表示されているとする。この場合、上記表示範囲には、集音エリア２および３が含まれており、端末装置２からは集音エリア２および３から集音された音声を際立たせて出力する。

具体的には、図７に示した例では、集音エリア２より集音エリア３の方が上記表示範囲に占める割合が大きい。すなわち、上記表示範囲の中心Ｃから集音エリア２の中心ＣＭ２までの距離ＤＣ２より、上記表示範囲の中心Ｃから集音エリア３の中心ＣＭ３までの距離ＤＣ３の方が短い。このような場合、端末装置２からは集音エリア２および３から集音された音声を際立たせて出力されるが、さらに集音エリア２から集音された音声より集音エリア３から集音された音声の割合（音量）を大きくして出力される。一例として、集音エリア２から集音された音声と集音エリア３から集音された音声とが音声出力される割合は、中心間距離ＤＣ２と中心間距離ＤＣ３との比に応じて設定されてもよい。これによって、表示範囲に応じたよりリアルな音声が出力される。

ここで、上記表示範囲は、立体モデル内に配置された仮想カメラＣ１の視線方向によって定められるものであり、立体モデルに貼り付けられたパノラマ画像に対する表示方向と考えることもできる。また、各指向性マイクの集音エリアは、当該指向性マイクによって集音する方向によって定められるものであり、パノラマ動画を撮像する際の集音方向と考えることもできる。すなわち、上述した表示範囲の中心から集音エリアの中心までの中心間距離は、表示方向（仮想カメラＣ１の視線方向）と集音エリアの集音方向との角度の差として考えてもよい。

第２の例では、上述したパノラマ動画の撮像において、複数の集音位置にそれぞれ設けられたマイクによって音声が録音される。例えば、上述したような複数の演者Ｐ１〜Ｐ４を撮像したパノラマ動画を生成する場合、演者Ｐ１〜Ｐ４の位置付近にそれぞれマイクを設置（例えば、演者Ｐ１〜Ｐ４それぞれがマイクを装着、演者Ｐ１〜Ｐ４それぞれの正面にマイクを設置）し、パノラマ動画の撮像に合わせてそれぞれのマイクから演者毎の音を録音する。この録音処理によって、パノラマ動画の撮像とともに各演者Ｐ１〜Ｐ４が発する音がそれぞれ録音された音声データが得られることになる。

上記現実世界撮像カメラおよび演者位置毎に設置されたマイクを用いてパノラマ動画を撮像した場合、当該パノラマ動画を構成する各パノラマ画像内において、各演者位置に応じたマイク位置を設定することができる。例えば、図８に示す例では、撮像されたパノラマ画像の一部を示しており、当該パノラマ画像において演者Ｐ１のマイクＭ１、演者Ｐ２のマイクＭ２、演者Ｐ３のマイクＭ３、演者Ｐ４のマイクＭ４が示されている。

例えば、図８に示すように、パノラマ画像のうち、演者Ｐ１が演奏する楽器の一部および演者Ｐ２自身が含まれる表示範囲が端末装置２に表示されているとする。この場合、上記表示範囲には、マイクＭ２が含まれており、他のマイクＭ３およびＭ４よりマイクＭ１が当該表示範囲に対して相対的に近い位置に配置されているため、端末装置２からはマイクＭ１およびＭ２から集音された音声を際立たせて出力する。

具体的には、図８に示した例では、上記表示範囲の中心ＣからマイクＭ１の位置までの距離ＤＭ１より、上記表示範囲の中心ＣからマイクＭ２の位置までの距離ＤＭ２の方が短い。このような場合、端末装置２からはマイクＭ１およびＭ２を用いて集音された音声を際立たせて出力されるが、さらにマイクＭ１を用いて集音された音声よりマイクＭ２を用いて集音された音声の割合（音量）を大きくして出力される。一例として、マイクＭ１を用いて集音された音声とマイクＭ２を用いて集音された音声とが音声出力される割合は、距離ＤＭ１と中心間距離ＤＭ２との比に応じて設定されてもよい。これによって、表示範囲に応じたよりリアルな音声が出力される。

ここで、パノラマ画像において各マイクが表示される位置（各演者が表示される位置でもよい）は、仮想カメラＣ１の配置位置を中心としたマイク設置方向として考えることもできる。すなわち、上述した表示範囲の中心からマイク位置までの距離は、表示方向（仮想カメラＣ１の視線方向）とマイクの設置方向との角度の差として考えてもよい。

なお、上述したように複数の集音位置にそれぞれ設けられたマイクを用いて音声を録音し、表示方向（表示範囲）に応じて音声出力する音声を制御する場合、各マイクを用いて録音した集音データと、パノラマ動画を構成するパノラマ画像それぞれに当該データを集音したマイクの位置を付加するために必要なマイク位置情報とが管理される。例えば、マイク位置情報は、パノラマ画像内のマイク位置を特定可能な情報である。

一例として、上記マイク位置情報として、端末装置２に表示している画像を生成するための仮想カメラＣ１の姿勢（視線方向）を表すベクトルの情報が用いられる。例えば、仮想カメラＣ１の位置から立体モデル上の上記マイクへの方向を表すベクトルによってマイク位置を表すことができる。なお、パノラマ動画を撮像する際の視点が時間経過につれて所定空間（例えば、現実世界）内を移動している場合には、当該視点の移動に応じて上記マイク位置も立体モデル上で移動させる。また、現実世界において、パノラマ画像の撮像中に上記マイク（すなわち、演者）が移動してもかまわない。この場合、当該現実世界におけるマイクの移動に応じて、上記マイク位置も立体モデル上で移動させてマイク位置情報を設定すればよい。なお、現実世界において、マイク位置が移動する場合、現実世界の水平方向への移動成分だけを当該移動に関するマイク位置情報として設定してもよい。例えば、立体モデル上における移動前のマイク位置を基準として、当該立体モデルのＸＹ方向へのみ当該マイク位置が現実世界のマイクの移動に応じて移動可能となるように、当該移動に関するマイク位置情報を立体モデルにおけるＸＹ方向のみで表現（すなわち、移動後のＺ方向は、移動前のマイク位置におけるＺ方向に固定）する。このように、現実世界におけるマイクの移動に関する情報をＸＹ方向だけで表現することによって、当該マイクの移動に関する処理を簡易にすることができる。

また、パノラマ動画の再生に合わせて録音された音声を、当該パノラマ動画に付加してもかまわない。例えば、上述したようなパノラマ動画が撮像された後に、当該パノラマ動画ファイルに対応する音声ストリームが付加されたり、当該パノラマ動画を再生しているユーザが所定の操作をすることによって指示されたパノラマ動画の一部に所定の音声が付加情報として付加されたりしてもよい。前者の例としては、パノラマ動画に登場する被写体を音源として設定し、当該音源が発する音声として音声ストリームが当該パノラマ動画に予め付加される。後者の例としては、端末装置２やモニタ４に表示されているパノラマ動画の一部をユーザが指示操作しながら音声を入力することによって、当該一部に当該音声が付加情報として再生中のパノラマ動画に付加される。

このように、パノラマ動画が撮像された後に当該パノラマ動画の再生に合わせて録音された音声を当該パノラマ動画に付加する場合も、付加する音声に対応する音声データと、当該音声をパノラマ動画に付加するために必要な位置情報とが管理される。例えば、当該位置情報は、音源が発する音声としての音声ストリームがパノラマ動画に付加される場合、当該パノラマ動画を構成するパノラマ画像それぞれにおける音源位置を示す情報となる。また、当該位置情報は、ユーザによって音声が付加された場合、当該パノラマ動画を構成するパノラマ画像それぞれにおけるユーザが指示操作した入力位置を示す情報となる。そして、当該位置情報も、上述したマイク位置情報と同様に設定されて管理することができる。なお、パノラマ動画が撮像された後に当該パノラマ動画の再生に合わせて録音された音声を当該パノラマ動画に付加する場合の音声および位置情報を、以下の説明では付加音声および付加位置情報とそれぞれ記載する。

次に、端末装置２に表示するパノラマ画像の表示方向（表示範囲）に応じて、スピーカ１７から出力する音声を際立たせる制御方法について説明する。第１の例として、図９に示すように、表示範囲の中心Ｃから集音エリアの中心またはマイク位置までの距離が短い（表示方向と集音方向または設置方向との角度の差が小さい）ほど、制御対象となっている音声の音量を漸増的に大きくすることが考えられる。第１の例の場合、表示範囲の中心が音源に近づくほど、当該音源の音声が漸増的に大きくなるような音声出力制御となる。図９に示した一例では、上記距離（または角度の差）が閾値Ｔ２以上の場合、制御対象となっている音声が出力対象とならず（すなわち、音量が０）、閾値Ｔ２未満となった場合に当該音声が出力対象となる（すなわち、音量が０より大きい。図９の例では音量ａ以上）。そして、上記距離（または角度の差）が閾値Ｔ２未満で閾値Ｔ１（Ｔ１＜Ｔ２）以上である場合、当該距離が短いほど（または角度の差が小さいほど）制御対象となっている音声の音量が最小音量ａから最大音量ＭＡＸまで漸増的に大きくなる。なお、最小音量ａは、０以上最大音量ＭＡＸ未満であればよい。また、上記距離（または角度の差）が閾値Ｔ１以内である場合、制御対象となっている音声の音量が最大音量ＭＡＸに設定される。なお、閾値Ｔ１を０に設定することによって、上記距離（または角度の差）が０の場合のみ、制御対象となっている音声の音量が最大音量ＭＡＸとなるように設定してもよい。

第２の例として、図１０に示すように、表示範囲の中心Ｃから集音エリアの中心またはマイク位置までの距離が所定値未満（表示方向と集音方向または設置方向との角度の差が所定値未満）の場合のみ、制御対象となっている音声を所定の音量（例えば、最大音量ＭＡＸ）で出力することが考えられる。第２の例の場合、表示範囲の中心が音源に対して所定の範囲内となった場合にのみ当該音源の音声が発せられるため、表示範囲の中心が所定の範囲内か否かで当該音源の音声がＯＮ／ＯＦＦされるような音声出力制御となる。図１０に示した一例では、上記距離（または角度の差）が閾値Ｔ１以上の場合、制御対象となっている音声が出力対象とならず（すなわち、音量が０）、閾値Ｔ１未満となった場合に当該音声が出力対象となる（すなわち、音量が０より大きい）とともに最大音量ＭＡＸに設定される。

第３の例は、典型的には、上記付加音声を際立たせて音声出力する場合の制御に用いられる。図１１に示すように、表示範囲の中心Ｃから上記付加位置情報に基づいた付加位置までの距離が所定値以上（表示方向と付加音声を付加した方向との角度の差が所定値以上）の場合のみ、制御対象となっている音声を所定の音量（例えば、最大音量ＭＡＸ）で出力することが考えられる。第３の例の場合、表示範囲の中心が音源に対して所定の範囲外となった場合にのみ当該音源の音声が発せられるため、表示方向が当該音源に対して逆となる方向となった場合に当該音源の音声がＯＮされるとともに、表示方向を当該音源の方向を向けると当該音源の音声がＯＦＦされるような音声出力制御となる。図１１に示した一例では、上記距離（または角度の差）が閾値Ｔ１未満の場合、制御対象となっている音声が出力対象とならず（すなわち、音量が０）、閾値Ｔ１以上となった場合に当該音声が出力対象となる（すなわち、音量が０より大きい）とともに最大音量ＭＡＸに設定される。

このように、端末装置２に表示するパノラマ画像の表示方向（表示範囲）に応じて、スピーカ１７から出力する音声が調整されることによって、パノラマ画像を表示する際に臨場感を高めることができる。例えば、上記実施形態では、パノラマ画像の表示方向（表示範囲）に応じて複数の音声がミキシングされるため、パノラマ画像に対する音源の定位を変化させることができ、当該音源の定位を用いた様々なイベントが可能となる。

なお、上述した実施形態では、端末装置２に表示されたパノラマ画像内に音源が含まれる場合のみ、当該音源からの音声が出力されるようにしてもよい。例えば、図９に示す閾値Ｔ２や図１０に示す閾値Ｔ１を端末装置２におけるパノラマ画像の表示範囲の外縁に設定することによって、パノラマ画像における表示範囲内に音源が含まれるか否かに応じて、当該音源からの音声の音量を調整して出力することができる。

また、上述した実施形態では、表示範囲の中心から音源（集音エリアの中心、マイク位置、音声を付加した位置など）までの距離や角度の差に基づいて、当該音源からの音声の音量を制御する例を用いたが、他のパラメータに基づいて音量制御を行ってもかまわない。例えば、上記音源からの音声が音声出力される対象となる範囲（例えば、図７に示す集音エリア）を当該音源毎にパノラマ画像において設定し、端末装置２に表示されたパノラマ画像内に含まれる当該範囲の大きさ（当該範囲が占める割合）に応じて、当該範囲を有する音源からの音声の音量が制御されてもよい。

また、端末装置２に表示されている画像を拡大表示または縮小表示する操作が可能である場合、当該表示画像の拡大または縮小に応じた音声出力制御を行ってもかまわない。一例として、上述した距離や角度の差を拡大率（または縮小率）に応じて拡大（または縮小）し、拡大（または縮小）後の距離や角度の差を上記第１〜第３の例の制御方法に適用させて音声出力制御を行う。他の例として、上述したように音源からの音声が音声出力される対象となる範囲を音源それぞれに設定し、拡大（または縮小）後に端末装置２に表示されたパノラマ画像内に含まれる当該範囲の大きさ（当該範囲が占める割合）に応じて、当該範囲を有する音源からの音声の音量を制御する。このように、表示画像の拡大または縮小に応じた音声出力制御をさらに行うことによって、端末装置２に表示するパノラマ画像の表示範囲に応じて、際立つ音声が変化するような音声出力が可能となる。

［本実施形態の具体的な処理例］
次に、情報処理装置３において行われる処理の詳細を説明する。なお、後述する処理の説明では、複数の集音位置にそれぞれ設けられたマイクによって録音された音声を用いる例（図８参照）を用いる。まず、図１２および図１３を参照して、処理において用いられる主なデータについて説明する。なお、図１２は、情報処理装置３のメモリ６に記憶される主なデータおよびプログラムの一例を示す図である。図１３は、メモリ６に記憶されるパノラマ画像ファイルデータＤａの一例を示す図である。

図１２に示すように、メモリ６のデータ記憶領域には、パノラマ画像ファイルデータＤａ、端末操作データＤｂ、姿勢データＤｃ、仮想カメラデータＤｄ、仮想空間画像データＤｅ、音量制御データＤｆ、および音声データＤｇ等が記憶される。なお、メモリ６には、図１２に示すデータの他、実行するアプリケーションで用いるデータ等、処理に必要なデータ等が記憶されてもよい。また、メモリ６のプログラム記憶領域には、情報処理プログラムを構成する各種プログラム群Ｐａが記憶される。

図１３を参照して、パノラマ画像ファイルデータＤａについて説明する。図１３において、パノラマ画像ファイルデータＤａは、フレーム毎の情報として、パノラマ画像データおよび音声データ等を含んでいる。パノラマ画像データは、フレーム番号Ｎ（１，２，３…）毎に、上述した立体モデルの内面にテクスチャとして貼り付けるパノラマ画像Ｉｎを示すデータを含んでいる。例えば、パノラマ画像データは、所定の記憶媒体にエンコードされて記憶されたパノラマ動画を、上記方式によってデコードすることによって得られる。

パノラマ画像ファイルデータＤａの音声データは、フレーム番号Ｎ毎に、パノラマ動画を撮像する際に用いられた複数のマイク毎のマイク位置情報（Ａｍ１ｎ，Ａｍ２ｎ，Ａｍ３ｎ…）および集音データ（Ｓｍ１ｎ，Ｓｍ２ｎ，Ｓｍ３ｎ…）等を含んでいる。マイク位置情報は、フレーム番号Ｎ毎のパノラマ画像における各マイクの位置（フレーム番号Ｎ毎のパノラマ画像における仮想カメラの配置位置を中心としたマイク設置方向）を示す情報である。例えば、マイクＭ１に対して、フレーム番号Ｎ毎のパノラマ画像におけるマイク設置方向を示す情報として、マイク位置情報（Ａｍ１１，Ａｍ１２，Ａｍ１３，…Ａｍ１ｎ）が記憶されている。また、集音データは、各マイクを用いてそれぞれ録音された音声データであり、フレーム番号Ｎ毎に記憶されている。例えば、マイクＭ１を用いてフレーム番号Ｎ毎に録音された音声データとして、集音データ（Ｓｍ１１，Ｓｍ１２，Ｓｍ１３，…Ｓｍ１ｎ）が記憶されている。

なお、図１３に示すパノラマ画像ファイルデータＤａは、単なる一例に過ぎず、同様の情報が得られるのであれば、データの構成を変更してもいいし、各データに加えておよび／または代えて別のデータが格納されてもよい。

図１２に戻り、端末操作データＤｂは、端末装置２に対する操作内容を示すデータであり、角速度データＤｂ１等を含んでいる。角速度データＤｂ１は、端末装置２に生じる角速度を示すデータであり、ジャイロセンサ１５から出力される角速度を示すデータである。

姿勢データＤｃは、実空間における端末装置２の姿勢を示すデータであり、例えば基準姿勢からの端末装置２の回転量を示すデータである。

仮想カメラデータＤｄは、立体モデルの中央に配置される仮想カメラに関するデータである。例えば、仮想カメラデータＤｄは、仮想空間における仮想カメラの位置、姿勢、視野（画角）等に関するデータである。

仮想空間画像データＤｅは、上記仮想カメラから立体モデルの内面を見た仮想空間画像を示すデータである。

音量制御データＤｆは、パノラマ画像ファイルデータＤａの音声データに基づいた音声を出力する際の音声出力制御を定義するデータである。音量制御データＤｆは、パノラマ画像ファイルデータＤａの音声データ毎に行う音声出力制御方法が定義されており、例えば図９〜図１１を用いて説明した制御方法が音源毎に定義されている。

音声データＤｇは、スピーカ１７から音声出力する音声を示すデータであり、音量制御データＤｆによって定義された音声出力制御方法に基づいて制御されて音声出力される音声を示すデータである。

次に、図１４および図１５を参照して、情報処理装置３において行われる処理の詳細を説明する。なお、図１４は、情報処理装置３において実行される処理の前半の一例を示すフローチャートである。図１５は、情報処理装置３において実行される処理の後半の一例を示すフローチャートである。ここで、図１４および図１５に示すフローチャートにおいては、情報処理装置３における処理のうち、パノラマ動画を端末装置２に表示して音声出力する処理について主に説明し、これらの処理と直接関連しない他の処理については詳細な説明を省略する。

ＣＰＵ５は、メモリ６等を初期化し、情報処理装置３内の不揮発メモリまたは光ディスクに記憶される情報処理プログラムをメモリ６に読み込む。そして、ＣＰＵ５によって当該情報処理プログラムの実行が開始される。図１４および図１５に示すフローチャートは、以上の処理が完了した後に行われる処理を示すフローチャートである。

なお、図１４および図１５に示すフローチャートにおける各ステップの処理は、単なる一例に過ぎず、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよいし、各ステップの処理に加えておよび／または代えて別の処理が実行されてもよい。また、本実施例では、上記フローチャートの各ステップの処理をＣＰＵ５が実行するものとして説明するが、上記フローチャートにおける一部または全部のステップの処理を、上記ＣＰＵ以外のプロセッサや専用回路が実行するようにしてもよい。

図１４において、ＣＰＵ５は、音声データを含むパノラマ画像ファイルを取得する（ステップ８１）。例えば、ＣＰＵ５は、情報処理装置３内の不揮発メモリ、情報処理装置３に装着された記憶媒体、またはネットワーク等を介して他の装置から、音声データを含むパノラマ画像ファイルを取得し、パノラマ画像ファイルデータＤａに格納する。

次に、ＣＰＵ５は、パノラマ動画を貼り付けるための立体モデルを、仮想空間にその中心が原点に位置するように配置し（ステップ８２）、次のステップに処理を進める。例えば、ＣＰＵ５は、立体モデルの形状が立方体である場合、仮想空間に設定されたＸＹＺ軸に対して、上記立体モデルの正面がＺ軸正方向側でＺ軸と垂直に交わり、背面がＺ軸負方向側でＺ軸と垂直に交わり、左側面がＸ軸正方向側でＸ軸と垂直に交わり、右側面がＸ軸負方向側でＸ軸と垂直に交わり、上面がＹ軸正方向側でＹ軸と垂直に交わり、底面がＹ軸負方向側でＹ軸と垂直に交わるように、上記立体モデルを配置する。

次に、ＣＰＵ５は、仮想カメラを基準位置に初期姿勢で配置し（ステップ８３）、次のステップに処理を進める。例えば、ＣＰＵ５は、仮想カメラの基準位置を仮想空間の原点（すなわち、立体モデルの中央）とし、仮想カメラのｘｙｚ軸（ｘ軸正方向が仮想カメラの左方向、ｙ軸正方向が仮想カメラの上方向、ｚ軸正方向が仮想カメラの視線方向）が仮想空間のＸＹＺ軸に一致する姿勢を初期姿勢とする。そして、ＣＰＵ５は、仮想カメラの基準位置および初期姿勢を用いて、仮想カメラデータＤｄにおける仮想カメラの位置および姿勢に関するデータを更新する。

次に、ＣＰＵ５は、端末装置２の姿勢調整をユーザに促し（ステップ８４）、姿勢調整が行われるのを待つ（ステップ８５）。

ステップ８６において、ＣＰＵ５は、現時点の端末装置２の姿勢を基準姿勢に設定し、次のステップに処理を進める。例えば、ＣＰＵ５は、姿勢データＤｃが示す端末装置２の姿勢（基準姿勢からの回転量）を初期化（各軸周りの回転量を０）して、端末装置２の基準姿勢を設定する。

なお、上述したように、上記ステップ８４〜ステップ８６の処理においては、ステップ８４の処理が行われた時点または当該時点から所定時間経過後の端末装置２の姿勢を基準姿勢として設定してもよいし、ユーザが所定の操作をしたときの端末装置２の姿勢を基準姿勢として設定してもよいし、予め定める固定的な端末装置２の姿勢を基準姿勢として設定してもよいし、予め定める固定的な複数の端末装置２の姿勢のうちユーザが選択してもよい。一例として、モニタ４にも同じパノラマ動画を再生して表示する場合、ＣＰＵ５は、端末装置２のＬＣＤ１１の向きとモニタ４の表示画面の向きとが同じになるように端末装置２の姿勢を調整し、当該姿勢になった場合に端末装置２の所定の操作を行うように促す表示を、端末装置２および／またはモニタ４に表示する。そして、ＣＰＵ５は、端末装置２の操作部１３に対して所定の操作が行われたことを示す操作データを取得した場合に、上記姿勢調整が行われたと判断して、当該操作が行われた時点の端末装置２の姿勢を基準姿勢として設定する。この場合、上記ステップ８４〜ステップ８６の処理によって、端末装置２のＬＣＤ１１の向きとモニタ４の表示画面の向きとが同じになるように姿勢調整された端末装置２の姿勢が、端末装置２の基準姿勢として設定されることになる。

次に、ＣＰＵ５は、フレーム数ｎを１に設定し（ステップ８７）、次のステップ９１（図１５参照）に処理を進める。

図１５において、ＣＰＵ５は、パノラマ画像ファイルデータＤａのパノラマ画像データのうち、フレームｎに対応するパノラマ画像を取得し（ステップ９１）、次のステップに処理を進める。

次に、ＣＰＵ５は、上記ステップ９１で取得したパノラマ画像を立体モデルの内面にテクスチャとして貼りつけ（ステップ９２）、次のステップに処理を進める。例えば、図３を用いて前述したとおり、パノラマ画像が立体モデルの各内面にテクスチャとして貼りつけられる。

次に、ＣＰＵ５は、端末装置２のジャイロセンサ１５の出力値を取得し（ステップ９３）、次のステップに処理を進める。なお、端末装置２からは、ジャイロセンサ１５の出力値を示すデータが一定周期で情報処理装置３に送信されて、角速度データＤｂ１に格納されている。

次に、ＣＰＵ５は、上記ステップ９３において取得したデータを用いて、端末装置２の基準姿勢からの回転方向および回転量（ステップ８６で初期化してからの回転方向および回転量）を算出し（ステップ９４）、次のステップに処理を進める。例えば、上記ステップ９４では、基準姿勢における端末装置２の所定軸方向（例えば、基準姿勢におけるｘｔ軸、ｙｔ軸、ｚｔ軸方向）を軸とした回転方向および回転量がそれぞれ算出されて、姿勢データＤｃを更新する。なお、回転方向は、回転量の正負により表すことができるので、姿勢データＤｃには回転量を示すデータのみ格納してもよい。例えば、ＣＰＵ５は、上記ステップ９４では、前回処理におけるステップ９４において算出された回転量に、今回のステップ９４で取得した角速度データに基づく回転量を加えて、新たな回転量として算出する。

次に、ＣＰＵ５は、仮想カメラの仮想空間における姿勢を、上記初期姿勢からステップ９４で算出された回転量だけ回転させ（ステップ９５）、次のステップに処理を進める。例えば、ＣＰＵ５は、上記初期姿勢から仮想カメラの姿勢を、ステップ９４で算出された端末装置２のｘｔ軸方向を軸とした回転量と同じだけ仮想空間のＸ軸方向（初期姿勢における仮想カメラＣ１のｘ軸方向）を軸として回転させ、かつ、ステップ９４で算出された端末装置２のｙｔ軸方向を軸とした回転量と同じだけ仮想空間のＹ軸方向（初期姿勢における仮想カメラＣ１のｙ軸方向）を軸として回転させ、かつ、ステップ９４で算出された端末装置２のｚｔ軸方向を軸とした回転量と同じだけ仮想空間のＺ軸方向（初期姿勢における仮想カメラＣ１のｚ軸方向）を軸として回転させて、仮想カメラデータＤｄにおける仮想カメラの姿勢に関するデータを更新する。

次に、ＣＰＵ５は、仮想カメラから見た立体モデルの内面の画像（仮想空間画像）を生成し（ステップ９６）、次のステップに処理を進める。例えば、ＣＰＵ５は、生成された仮想空間画像を示すデータを用いて、仮想空間画像データＤｅを更新する。

次に、ＣＰＵ５は、仮想カメラの方向に基づいて音声データを生成して音声データＤｇを更新し（ステップ９７）、次のステップに処理を進める。例えば、ＣＰＵ５は、パノラマ画像ファイルデータＤａを参照して、フレーム番号ｎに対応するマイク設置方向をそれぞれ抽出し、立体モデルに対する現時点の仮想カメラの表示方向とそれぞれのマイク設置方向との角度の差を算出する。そして、ＣＰＵ５は、音量制御データＤｆに基づいて角度の差に対応する音量をそれぞれ設定し、設定された音量に応じてフレーム番号ｎに対応する集音データそれぞれをミキシングして音声出力する音声データを生成する。なお、上記音量は、フレーム番号ｎのパノラマ画像における表示範囲の中心と当該パノラマ画像における各マイク設置位置との距離や方向に応じて設定されてもかまわない。

なお、上記ステップ９７の処理においては、端末装置２が複数のスピーカを有している場合、当該スピーカからそれぞれ出力する音声の振り分け（バランス）もパノラマ画像の表示方向（表示範囲）に応じて調整されてもよい。例えば、端末装置２が左右に１つずつスピーカを有している場合、上記算出された角度の差のうち、現時点の仮想カメラの上下方向（ｙ軸方向）を軸とする成分の大きさおよび当該成分の正負等に基づいて音声の左右振り分けを調整し、左右それぞれのスピーカから音声出力するための音声データをそれぞれ生成する。また、音声出力する音声の定位に基づいて、所定のサラウンド効果（例えば、疑似サラウンド）を付加して、上記音声データが生成されてもかまわない。なお、当該サラウンド効果は、送信元（情報処理装置３）側で付与してもいいし、送信先（サウンドＩＣ１６）側で付与してもよい。

次に、ＣＰＵ５は、仮想空間画像データＤｅに基づいた仮想空間画像および音声データＤｇに基づいた音声を端末装置２へ送信し（ステップ９８）、次のステップに処理を進める。例えば、仮想空間画像データＤｅに基づいた仮想空間画像は、端末装置２によって受信され、ＬＣＤ１１に出力されて仮想空間画像が表示される。また、音声データＤｇに基づいた音声は、端末装置２によって受信され、サウンドＩＣ１６を介してスピーカ１７から音声出力される。なお、情報処理装置３から端末装置２へ仮想空間画像および音声を送信する際、所定の圧縮処理が行われてもよい。この場合、圧縮処理が施された仮想空間画像および音声のデータが端末装置２に送られ、端末装置２によって所定の伸張処理が行われた後、仮想空間画像の表示および音声の出力が行われる。

次に、ＣＰＵ５は、フレーム数ｎをインクリメントし（ステップ９９）、処理を終了するか否かを判定する（ステップ１００）。処理を終了する条件としては、例えば、再生しているパノラマ動画における最後のフレームの画像の再生が終了したことや、ユーザが処理を終了する操作を行ったこと等がある。ＣＰＵ５は、処理を終了しない場合に上記ステップ９１に戻って処理を繰り返し、処理を終了する場合に当該フローチャートによる処理を終了する。以降、ステップ９１〜ステップ１００の一連の処理は、ステップ１００で処理を終了すると判定されるまで繰り返し実行される。

［変形例］
上記実施形態は本発明を実施する一例であり、他の実施形態においては例えば以下に説明する構成で本発明を実施することも可能である。

上記処理例においては、端末装置２にパノラマ画像の一部を表示するとともに、端末装置２に表示するパノラマ画像の表示方向（表示範囲）に応じた音声をスピーカ１７から出力する例を用いたが、情報処理システム１はモニタ４にさらにパノラマ画像を表示し、パノラマ動画を実質的に同じ時間軸で再生して端末装置２およびモニタ４に表示する構成であってもよい。

第１の例として、モニタ４にパノラマ画像を表示するための別の仮想カメラ（第２の仮想カメラ）を設け、第２の仮想カメラの位置および姿勢を上記基準位置および初期姿勢に固定する。そして、当該第２の仮想カメラから見た立体モデルの内面の画像をモニタ４に表示すれば、モニタ４には常に基準方向（正面方向）のパノラマ画像を表示することができる。なお、上記第２の仮想カメラの姿勢をユーザ操作に応じて変化させてもよい。この場合、モニタ４に表示するパノラマ画像の範囲が、ユーザ操作に応じて変化することになる。

第２の例として、モニタ４には、パノラマ画像全体を示す画像（全方位画像）を常に表示する。例えば、全方位画像は、パノラマ動画を撮像した撮像カメラから得られた画像を合成して生成してもいいし、立体モデルの各内面に貼り付けられるパノラマ画像を合成して生成してもよいが、全方位画像を生成する手法については、既に周知であるためここでは詳細な説明を省略する。

第３の例として、モニタ４には、端末装置２に表示されているパノラマ画像をそのまま表示する。この場合、端末装置２に表示されているパノラマ画像をリアルタイムにモニタ４に表示してもいい。また、端末装置２を用いて過去に同じパノラマ動画が再生されている場合に、当該再生において端末装置２に表示されていたパノラマ画像のうち、現時点で端末装置２に表示されているパノラマ画像と実質的にパノラマ動画再生において同じ時間軸となるパノラマ画像をモニタ４に表示してもよい。

上述した第１〜第３の例において、モニタ４から出力される音声は、上述した端末装置２に対する音声出力制御と同様にモニタ４に表示されるパノラマ画像の表示方向（表示範囲）に応じた音声であってもよい。また、上述した第１〜第３の例において、モニタ４から出力される音声は、パノラマ動画の撮像の際に録音された音声が全てミキシングされた音声全体であってもよい。後者の場合、端末装置２からはパノラマ画像の表示方向（表示範囲）に応じて調整された音声が出力され、録音された音声が全てミキシングされた音声全体がモニタ４から出力される。したがって、ユーザは、端末装置２を用いてユーザが所望する方向に対して音源が定位した臨場感ある音声を楽しむことができるとともに、全体の音声を聴きたい場合はモニタ４から出力される音声を聴くというような、ユーザの好みやパノラマ動画の視聴状況に応じて音声出力を使い分けることが可能となる。

また、上記実施形態においては、情報処理システム１は端末装置２を１つのみ有する構成であったが、情報処理システム１は複数の端末装置２を有する構成であってもよい。すなわち、情報処理装置３は、複数の端末装置２とそれぞれ無線通信可能であり、画像のデータを各端末装置２へ送信し、ジャイロセンサ１５のデータを各端末装置２から受信するものであってもよい。そして、仮想空間に各端末装置２の仮想カメラをそれぞれ配置して、各端末装置２の姿勢に応じて各仮想カメラの姿勢を制御して、各仮想カメラから見た仮想空間の画像を各端末装置２に送信するようにすればよい。なお、情報処理装置３は、複数の端末装置２のそれぞれと無線通信を行うが、このとき、情報処理装置３は、各端末装置２との無線通信を時分割で行ってもよいし、周波数帯域を分割して行ってもよい。

このように、複数の端末装置２を用いてパノラマ動画を表示する場合、上記ステップ８３において、各仮想カメラを同じ基準位置に同じ初期姿勢で配置する。そして、ステップ８４〜ステップ８６において、各端末装置２の向きが同じになるようにそれぞれの姿勢を調整し、当該姿勢になった場合に少なくとも１つの端末装置２を用いて所定の操作を行うことによって、各端末装置２の姿勢をそれぞれ基準姿勢に設定する。このような設定に基づいて、各端末装置２の基準姿勢からの回転量に応じてそれぞれの仮想カメラの姿勢を変更し、各仮想カメラから見た立体モデルの内面の画像を各端末装置２に表示する。また、上述した音声出力制御と同様に、各端末装置２に表示するパノラマ画像の表示方向（表示範囲）に応じた音声を、各端末装置２のスピーカから出力する。このように、実空間における各端末装置２の位置関係をキャリブレーションした後に、各端末装置２の姿勢変化と同じように各仮想カメラの姿勢を変化させるとともに、表示方向（表示範囲）に応じた音声を各端末装置２から出力することによって、パノラマ動画によって生成される同じ世界を複数の表示装置を介して自由に覗いたような画像および音声を各端末装置２に表示して出力することができる。

また、上述した端末装置２は、図１４および図１５を用いて説明した一連の処理や情報処理装置３で行われるような情報処理を実行しない、いわゆるシンクライアント端末として機能するものであった。しかしながら、端末装置２は、例えば携帯ゲーム機のように、所定のプログラム（ゲームプログラム）によって所定の情報処理（ゲーム処理）を実行する機能を有する装置であってもよい。この場合、上記実施例において情報処理装置３によって実行される一連の処理のうち、少なくとも一部の処理が端末装置２によって実行されてもよい。一例として、上記一連の処理の全部を実行可能な端末装置を少なくとも１つ用いて複数の端末装置にパノラマ動画をそれぞれ表示して音声出力する場合、当該実行可能な端末装置の１つを当該一連の処理を実行する主処理実行装置とし、他の端末装置の姿勢に応じたパノラマ動画および音声を当該主処理実行装置から他の端末装置へ送信することによって、同様のパノラマ画像および音声を各端末装置に表示して出力することができる。

また、上述した実施例では、現実世界を移動しながら撮像したパノラマ画像によって構成されるパノラマ動画を表示する例を用いたが、仮想世界内を移動しながら撮像したパノラマ画像によって構成されるパノラマ動画や、現実世界を撮像したパノラマ画像に仮想世界の画像を合成した画像によって構成されるパノラマ動画を表示してもかまわない。

他の実施形態では、互いに通信可能な複数の情報処理装置を有する情報処理システムにおいて、当該複数の情報処理装置が情報処理を分担して実行するようにしてもよい。なお、複数の情報処理装置において情報処理が実行される場合には、各情報処理装置で実行される処理を同期させる必要があり、処理が複雑になってしまう。これに対して、上記実施形態のように、情報処理が１つの情報処理装置３によって実行され、端末装置２が画像を受信して表示する場合（つまり、端末装置２がシンクライアント端末である場合）には、複数の情報処理装置間で処理の同期をとる必要がなく、処理を簡易化することができる。

また、上記実施形態においては、情報処理を実行することが可能な情報処理装置３を含む情報処理システム１を例として説明したが、上記実施形態で記載した各処理動作は、例示したゲームシステムおよびゲーム装置に限らず、任意の情報処理システムおよび情報処理装置によって実行可能である。情報処理システムは、情報処理装置と、少なくとも１つの表示装置（例えば端末装置２）とを含むものであればよく、情報処理装置は、当該表示装置に画像を出力して表示させることができるものであればよい。また、上述した処理は、少なくとも１つの情報処理装置により構成される情報処理システムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行されることが可能である。

また、上記情報処理プログラムは、外部記憶媒体を通じて情報処理装置３に供給されてもいいし、有線または無線の通信回線を通じて情報処理装置３に供給されてもよい。また、上記プログラムは、情報処理装置３内部の不揮発性記憶装置に予め記録されていてもよい。なお、上記プログラムを記憶する情報記憶媒体としては、ＣＤ−ＲＯＭ、ＤＶＤ、あるいはそれらに類する光学式ディスク状記憶媒体、不揮発性メモリ、フレキシブルディスク、ハードディスク、光磁気ディスク、磁気テープなどでもよい。また、上記プログラムを記憶する情報記憶媒体としては、上記プログラムを記憶する揮発性メモリでもよい。このような記憶媒体は、コンピュータ等が読み取り可能な記憶媒体ということができる。例えば、コンピュータ等に、これらの記憶媒体のプログラムを読み込ませて実行させることにより、上述で説明した各種機能を提供させることができる。

以上、本発明を詳細に説明してきたが、前述の説明はあらゆる点において本発明の例示に過ぎず、その範囲を限定しようとするものではない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。また、当業者は、本発明の具体的な実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。また、本明細書において使用される用語は、特に言及しない限り、当該分野で通常用いられる意味で用いられることが理解されるべきである。したがって、他に定義されない限り、本明細書中で使用される全ての専門用語および技術用語は、本発明の属する分野の当業者によって一般的に理解されるのと同じ意味を有する。矛盾する場合、本明細書（定義を含めて）が優先する。

以上のように、本発明は、パノラマ動画を表示する際に臨場感を高めること等を目的として、例えば情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法等として有用である。

１…情報処理システム
２…端末装置
３…情報処理装置
４…モニタ
１１…ＬＣＤ
１２…タッチパネル
１３…操作部
１４…速度センサ
１５…ジャイロセンサ
１６…サウンドＩＣ
１７…スピーカ

Claims (19)

1. スピーカが設けられた少なくとも１つの第１の表示装置に画像を表示する情報処理装置に含まれるコンピュータで実行される情報処理プログラムであって、
   前記コンピュータを、
   パノラマ動画を記憶したパノラマ動画記憶手段から、パノラマ動画を読み出して逐次取得するパノラマ動画取得手段と、
   前記取得されたパノラマ動画において、ユーザ操作に応じて前記第１の表示装置に表示する表示範囲を設定する表示範囲設定手段と、
   前記第１の表示装置に表示する画像と同期して出力する音声を、前記表示範囲に基づいて生成する音声生成手段と、
   前記取得されたパノラマ動画のうち、前記表示範囲内のパノラマ動画を前記第１の表示装置に逐次表示する制御を行う表示制御手段と、
   前記音声生成手段が生成した音声を、前記第１の表示装置に表示する画像と同期して前記スピーカから出力する制御を行う音声出力制御手段と、
   前記パノラマ動画を撮像する際または前記パノラマ動画を再生する際に録音された少なくとも１つの音声を記憶した音声記憶手段から、前記第１の表示装置に表示する画像と同期して出力する音声を生成するための元音声を取得する音声取得手段として機能させ、
   前記パノラマ動画記憶手段は、現実世界を撮像したパノラマ動画を記憶しており、
   前記音声記憶手段は、前記パノラマ動画を撮像する際に現実世界において複数の集音位置にそれぞれ設けられたマイクを用いて録音した音声をそれぞれ記憶し、前記パノラマ動画における当該集音位置を音源の位置として当該音源の位置を当該音声毎にそれぞれ記憶しており、
   前記音声生成手段は、前記パノラマ動画における前記表示範囲を基準とした前記音源の位置に基づいて、当該位置を音源とする前記音声取得手段が取得した元音声の音量を調整することによって、前記第１の表示装置に表示する画像と同期して出力する音声を生成する、情報処理プログラム。
2. 前記音声生成手段は、前記パノラマ動画における前記表示範囲と前記音源とが相対的に近い場合に当該位置を音源とする音声の音量を相対的に大きく調整する、請求項１に記載の情報処理プログラム。
3. 前記音声生成手段は、前記パノラマ動画における前記表示範囲を基準として前記音源が所定の範囲内にある場合に当該位置を音源とする音声の音量を所定値以上に設定し、前記音源が所定の範囲外にある場合に当該位置を音源とする音声の音量を０に設定する、請求項２に記載の情報処理プログラム。
4. 前記音声記憶手段は、前記パノラマ動画を撮像する際または前記パノラマ動画を再生する際に複数の音源からそれぞれ録音された音声を記憶し、前記パノラマ動画における当該音源の位置を当該音声毎にそれぞれ記憶しており、
   前記音声生成手段は、前記パノラマ動画における前記表示範囲を基準とした前記音源それぞれの位置に基づいて、前記第１の表示装置に表示する画像と同期して出力する音声を選択する、請求項１乃至３の何れか１つに記載の情報処理プログラム。
5. 前記音声生成手段は、前記パノラマ動画における前記表示範囲と前記音源の位置とが所定の関係となった場合に、当該位置を音源とする音声を前記第１の表示装置に表示する画像と同期して出力する音声として選択する、請求項４に記載の情報処理プログラム。
6. 前記音声生成手段は、前記パノラマ動画における前記表示範囲内に前記音源の位置が含まれるか否かに応じて、当該位置を音源とする音声の音量を調整する、請求項１乃至３の何れか１つに記載の情報処理プログラム。
7. 前記音声生成手段は、前記パノラマ動画における前記表示範囲内に前記音源の位置が含まれる場合、当該位置を音源とする音声の音量を相対的に大きく調整する、請求項６に記載の情報処理プログラム。
8. 前記音声記憶手段は、前記パノラマ動画における前記音源の位置として、当該位置を音源とする音声を出力対象とする有効領域を音源毎に当該パノラマ動画に設定して記憶しており、
   前記音声生成手段は、前記パノラマ動画における前記表示範囲内に含まれる前記有効領域の大きさに応じて、当該有効領域が設定された音源における音声の音量を調整する、請求項１乃至３の何れか１つに記載の情報処理プログラム。
9. 前記第１の表示装置は、ユーザ操作に応じて、前記パノラマ動画を拡大または縮小して表示することが可能であり、
   前記表示範囲設定手段は、前記拡大または縮小する操作に応じて、前記第１の表示装置に表示する表示範囲を拡大または縮小して設定し、
   前記音声生成手段は、前記拡大または縮小された表示範囲に応じて前記音量を調整する、請求項６乃至８の何れか１つに記載の情報処理プログラム。
10. 前記音声記憶手段は、前記パノラマ動画を再生する際に録音された音声を少なくとも記憶し、前記パノラマ動画における当該録音の際に指定された位置を音源の位置として当該音源の位置を当該録音された音声毎に記憶しており、
    前記音声生成手段は、前記パノラマ動画における前記表示範囲を基準とした前記音源の位置に基づいて、当該位置を音源とする音声の音量を調整する、請求項１乃至３の何れか１つに記載の情報処理プログラム。
11. 前記取得されたパノラマ動画を仮想空間に配置するパノラマ動画配置手段として、さらに前記コンピュータを機能させ、
    前記表示範囲設定手段は、仮想空間に配置されたパノラマ動画に対する視線方向を変化させることによって、当該パノラマ動画に対する前記表示範囲を設定する、請求項１乃至１０の何れか１つに記載の情報処理プログラム。
12. 前記第１の表示装置に対応付けられた入力装置からの入力を受け付ける入力受付手段として、さらに前記コンピュータを機能させ、
    前記表示範囲設定手段は、前記第１の表示装置に対応付けられた入力装置から受け付けられた入力に基づいて、前記表示範囲を設定する、請求項１乃至１１の何れか１つに記載の情報処理プログラム。
13. 前記第１の表示装置は、当該第１の表示装置本体の動きまたは姿勢に応じたデータを出力するセンサを備え、
    前記入力受付手段は、前記センサから出力されたデータを、前記入力装置からの入力として受け付け、
    前記表示範囲設定手段は、前記センサから出力されるデータに基づいて算出された前記第１の表示装置の姿勢に応じて、前記表示範囲を設定する、請求項１２に記載の情報処理プログラム。
14. 前記センサは、前記第１の表示装置本体の動きまたは姿勢に応じたデータを出力するジャイロセンサおよび加速度センサの少なくとも一方であり、
    前記表示範囲設定手段は、前記ジャイロセンサおよび前記加速度センサの少なくとも一方から出力されるデータに基づいて算出された前記第１の表示装置の姿勢に応じて、前記表示範囲を設定する、請求項１３に記載の情報処理プログラム。
15. 前記表示範囲設定手段は、前記取得されたパノラマ動画において、据置型の第２の表示装置に表示する表示範囲をさらに設定し、
    前記音声生成手段は、前記第１の表示装置の表示範囲に基づいて生成される音声とは独立して、前記第２の表示装置に表示する画像と同期して当該第２の表示装置から出力する音声をさらに生成し、
    前記表示制御手段は、前記取得されたパノラマ動画のうち、前記第２の表示装置の表示範囲内のパノラマ動画を前記第２の表示装置に逐次表示する制御をさらに行い、
    前記音声出力制御手段は、前記第２の表示装置から音声出力する音声を、前記第２の表示装置に表示する画像と同期して当該第２の表示装置から音声出力する制御をさらに行う、請求項１乃至１４の何れか１つに記載の情報処理プログラム。
16. 前記パノラマ動画取得手段は、前記パノラマ動画記憶手段から、パノラマ動画の各フレームとなるパノラマ画像を、前記第１の表示装置に再生する所定時間毎に読み出して逐次取得し、
    前記表示範囲設定手段は、前記取得されたパノラマ画像において前記表示範囲を設定し、
    前記音声生成手段は、前記第１の表示装置に表示するパノラマ画像と同期して出力する音声を前記表示範囲に基づいて生成し、
    前記表示制御手段は、前記取得されたパノラマ画像のうち、前記表示範囲内のパノラマ画像を前記第１の表示装置に逐次表示する制御を行い、
    前記音声出力制御手段は、前記音声生成手段が生成した音声を、前記第１の表示装置に表示するパノラマ画像と同期して前記スピーカから出力する制御を行う、請求項１乃至１５の何れか１つに記載の情報処理プログラム。
17. スピーカが設けられた少なくとも１つの表示装置に画像を表示する情報処理装置であって、
    パノラマ動画を記憶したパノラマ動画記憶手段と、
    前記パノラマ動画記憶手段に記憶されたパノラマ動画を読み出して逐次取得するパノラマ動画取得手段と、
    前記取得されたパノラマ動画において、ユーザ操作に応じて前記表示装置に表示する表示範囲を設定する表示範囲設定手段と、
    前記表示装置に表示する画像と同期して出力する音声を、前記表示範囲に基づいて生成する音声生成手段と、
    前記取得されたパノラマ動画のうち、前記表示範囲内のパノラマ動画を前記表示装置に逐次表示する制御を行う表示制御手段と、
    前記音声生成手段が生成した音声を、前記表示装置に表示する画像と同期して前記スピーカから出力する制御を行う音声出力制御手段と、
    前記パノラマ動画を撮像する際または前記パノラマ動画を再生する際に録音された少なくとも１つの音声を記憶した音声記憶手段から、前記表示装置に表示する画像と同期して出力する音声を生成するための元音声を取得する音声取得手段とを備え、
    前記パノラマ動画記憶手段は、現実世界を撮像したパノラマ動画を記憶しており、
    前記音声記憶手段は、前記パノラマ動画を撮像する際に現実世界において複数の集音位置にそれぞれ設けられたマイクを用いて録音した音声をそれぞれ記憶し、前記パノラマ動画における当該集音位置を音源の位置として当該音源の位置を当該音声毎にそれぞれ記憶しており、
    前記音声生成手段は、前記パノラマ動画における前記表示範囲を基準とした前記音源の位置に基づいて、当該位置を音源とする前記音声取得手段が取得した元音声の音量を調整することによって、前記表示装置に表示する画像と同期して出力する音声を生成する、情報処理装置。
18. 複数の装置が通信可能に構成され、スピーカが設けられた少なくとも１つの表示装置に画像を表示する情報処理システムであって、
    パノラマ動画を記憶したパノラマ動画記憶手段と、
    前記パノラマ動画記憶手段に記憶されたパノラマ動画を読み出して逐次取得するパノラマ動画取得手段と、
    前記取得されたパノラマ動画において、ユーザ操作に応じて前記表示装置に表示する表示範囲を設定する表示範囲設定手段と、
    前記表示装置に表示する画像と同期して出力する音声を、前記表示範囲に基づいて生成する音声生成手段と、
    前記取得されたパノラマ動画のうち、前記表示範囲内のパノラマ動画を前記表示装置に逐次表示する制御を行う表示制御手段と、
    前記音声生成手段が生成した音声を、前記表示装置に表示する画像と同期して前記スピーカから出力する制御を行う音声出力制御手段と、
    前記パノラマ動画を撮像する際または前記パノラマ動画を再生する際に録音された少なくとも１つの音声を記憶した音声記憶手段から、前記表示装置に表示する画像と同期して出力する音声を生成するための元音声を取得する音声取得手段とを備え、
    前記パノラマ動画記憶手段は、現実世界を撮像したパノラマ動画を記憶しており、
    前記音声記憶手段は、前記パノラマ動画を撮像する際に現実世界において複数の集音位置にそれぞれ設けられたマイクを用いて録音した音声をそれぞれ記憶し、前記パノラマ動画における当該集音位置を音源の位置として当該音源の位置を当該音声毎にそれぞれ記憶しており、
    前記音声生成手段は、前記パノラマ動画における前記表示範囲を基準とした前記音源の位置に基づいて、当該位置を音源とする前記音声取得手段が取得した元音声の音量を調整することによって、前記表示装置に表示する画像と同期して出力する音声を生成する、情報処理システム。
19. スピーカが設けられた少なくとも１つの表示装置に画像を表示する少なくとも１つの情報処理装置により構成される情報処理システムに含まれる１つのプロセッサまたは複数のプロセッサ間の協働により実行される情報処理方法であって、
    パノラマ動画を記憶したパノラマ動画記憶手段から、パノラマ動画を読み出して逐次取得するパノラマ動画取得ステップと、
    前記取得されたパノラマ動画において、ユーザ操作に応じて前記表示装置に表示する表示範囲を設定する表示範囲設定ステップと、
    前記表示装置に表示する画像と同期して出力する音声を、前記表示範囲に基づいて生成する音声生成ステップと、
    前記取得されたパノラマ動画のうち、前記表示範囲内のパノラマ動画を前記表示装置に逐次表示する制御を行う表示制御ステップと、
    前記音声生成ステップにおいて生成された音声を、前記表示装置に表示する画像と同期して前記スピーカから出力する制御を行う音声出力制御ステップと、
    前記パノラマ動画を撮像する際または前記パノラマ動画を再生する際に録音された少なくとも１つの音声を記憶した音声記憶手段から、前記表示装置に表示する画像と同期して出力する音声を生成するための元音声を取得する音声取得ステップとを含み、
    前記パノラマ動画記憶手段は、現実世界を撮像したパノラマ動画を記憶しており、
    前記音声記憶手段は、前記パノラマ動画を撮像する際に現実世界において複数の集音位置にそれぞれ設けられたマイクを用いて録音した音声をそれぞれ記憶し、前記パノラマ動画における当該集音位置を音源の位置として当該音源の位置を当該音声毎にそれぞれ記憶しており、
    前記音声生成ステップでは、前記パノラマ動画における前記表示範囲を基準とした前記音源の位置に基づいて、当該位置を音源とする前記音声取得ステップにおいて取得された元音声の音量が調整されることによって、前記表示装置に表示する画像と同期して出力する音声が生成される、情報処理方法。
    

Images