JP6147486B2 - ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム - Google Patents

Description

本発明は、ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラムに関し、より特定的には、音声信号に基づく音声を出力する音声出力部を備え、所定の音声データに関連付けられている少なくとも１つの音源オブジェクトと、複数の仮想マイクとが配置された仮想３次元空間を表現するゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラムに関する。

従来、複数のプレイヤが参加して共通の表示手段に表示される表示画面上でゲームをプレイする場合に、画面分割するゲームが知られている（例えば特許文献１）。このように表示画面を分割して多人数でプレイするゲームにおける効果音等の再生に関して、従来は、当該効果音の音源からの音の定位については特に計算せずに単に中央で再生することが一般的であった。あるいは、分割した画面数の分の音を再生する処理が行われることもあった。

特許公開２００４−２２３１１０号公報

しかし、例えば、仮想３次元空間を舞台とするゲームにおいて上記のように画面分割してプレイさせる処理を行った場合を考える。この場合であって、例えば定位に関しては単に中央で音を再生するような場合、各プレイヤにとって、仮想３次元空間内に存在する所定の音源（例えば所定の音声を発する敵キャラクタ）が、自分の操作するキャラクタの位置に近いのか遠いのかについて、聴覚的な面で判断することが困難であった。また、分割画面数に応じた音を再生するとしても、同じ音源からの音を何度も再生することになり、処理が煩雑なものとなったり、同じ音が重なって出力されることで音量が大きくなりすぎたりする等の問題もあった。

それ故に、本発明の目的は、画面を分割してプレイするゲームにおいて、各プレイヤが自分の操作するキャラクタに近い音源を聴覚的に把握しやすくなるゲームシステム等を提供することである。

上記目的は、例えば以下のような構成により達成される。

構成例の一例は、音声信号に基づく音声を出力する音声出力部を備え、所定の音声データに関連付けられている少なくとも１つの音源オブジェクトと、複数の仮想マイクとが配置された仮想３次元空間を表現するゲームシステムであって、音声再生手段と、受音音量算出手段と、第１の定位算出手段と、第２の定位算出手段と、音声出力制御手段とを備える。音声再生手段は、音源オブジェクトに関連付けられた所定の音声データに基づく音声を仮想３次元空間における当該音源オブジェクトの位置で再生する。受音音量算出手段は、音声再生手段で再生された音声を仮想マイクで受けたときの当該仮想マイクにおける当該音声の音量の大きさを複数の仮想マイク毎に算出する。第１の定位算出手段は、音声再生手段で再生された音声を仮想マイクで受けたときの当該音声の定位を第１の定位として複数の仮想マイク毎に算出する。第２の定位算出手段は、受音音量算出手段で算出された各仮想マイクにおける音源オブジェクトにかかる音声の音量の大きさ、および、第１の定位算出手段で算出された各仮想マイクにおける定位に基づいて、音声出力部に出力する音声の定位を第２の定位として算出する。音声出力制御手段は、第２の定位算出手段で算出された第２の定位に基づいて音源オブジェクトにかかる音声信号を生成し、音声出力部に出力する。

上記構成例によれば、仮想３次元空間内において１つの音源オブジェクトに対して当該音源オブジェクトからの音を受ける複数の仮想マイクがある場合に、各仮想マイクと当該音源オブジェクトとの距離感を聴覚的に把握しやすい音声表現が可能となる。

また、ゲームシステムは、表示手段と、表示手段に表示される表示画面に含まれる表示領域をゲームに参加するプレイヤ数で分割し、各プレイヤに割り当てられた分割領域それぞれに仮想３次元空間内の様子を示す画像を表示する表示制御手段とを更に備えていてもよい。更に、仮想マイクはそれぞれ分割領域のいずれかに対応づけられており、かつ、当該対応付けられた分割領域に応じた音の定位の範囲を有していてもよい。そして、第１の定位算出手段は、仮想マイクに対応付けられている分割領域に応じた定位の範囲を用いて第１の定位を算出してもよい。また、表示制御手段は、分割領域が横方向に沿って並ぶように表示領域を分割してもよい。

上記構成例によれば、画面を分割してプレイするゲームにおいて、プレイヤが自分の操作キャラクタに近い音を把握しやすくすることができる。

また、第２の定位算出手段は、受音音量算出手段で算出された音量の大きさが最も大きな仮想マイクにおける第１の定位の重み付けを大きくして第２の定位を算出するようにしてもよい。

上記構成例によれば、複数の仮想マイクそれぞれと当該音源オブジェクトとの距離感を聴覚的に把握しやすい音声表現が可能となる。

また、ゲームシステムは、受音音量算出手段で算出された各仮想マイクにおける音量のうち、最も大きな音量を音声出力部に出力する音声の音量として設定する出力音量設定手段を更に備えていてもよい。そして、音声出力制御手段は、出力音量設定手段で設定された音量で音声信号に基づく音声を出力してもよい。

上記構成例によれば、仮想マイクと当該音源オブジェクトとの距離感を聴覚的に把握しやすい音声表現が可能となる。

また、仮想３次元空間には音源オブジェクトが複数配置されていてもよい。更に、受音音量算出手段は、複数の音源オブジェクトのそれぞれについて、仮想マイクにおける当該音源オブジェクトにかかる音声の音量の大きさを仮想マイク毎に算出してもよい。第１の定位算出手段は、複数の音源オブジェクトのそれぞれについて第１の定位を仮想マイク毎に算出してもよい。第２の定位算出手段は、複数の音源オブジェクトのそれぞれについて第２の定位を仮想マイク毎に算出してもよい。音声出力制御手段は、複数の音源オブジェクトのそれぞれについて第２の定位に基づいた音声信号を生成してもよい。

上記構成例によれば、音源オブジェクトが複数ある場合に、仮想マイクとそれぞれの音源オブジェクトとの距離感を聴覚的に把握しやすくすることができる。

また、音声出力部は、ステレオスピーカであり、第１の定位算出手段および第２の定位算出手段は、プレイヤが音声出力部に対面する位置にあるとしたときの当該プレイヤから見て左右方向にかかる定位を算出するようにしてもよい。

上記構成例によれば、例えば画面の表示領域を左右方向に分割するゲームにおいて、分割された領域毎に、音源オブジェクトと仮想マイク（あるいはプレイヤの操作キャラクタ）との距離感を聴覚的に把握しやすくすることができる。

また、音声出力部は、サラウンドスピーカであり、第１の定位算出手段および第２の定位算出手段は、プレイヤが音声出力部に対面するような位置にあるとしたときの当該プレイヤから見て左右方向にかかる定位、および、前後方向にかかる定位を算出するようにしてもよい。

上記構成例によれば、音源オブジェクトと仮想マイクとの奥行き方向にかかる距離感を聴覚的に把握しやすくすることができる。

本発明によれば、画面を分割してプレイするゲームにおいて、各プレイヤは音源オブジェクトと各プレイヤの操作キャラクタとの距離感を把握しやすくすることができ、ゲームの興趣性をより高めることができる。

本発明の一実施形態に係るゲームシステム１の一例を示す外観図 図１のゲーム装置本体５の一例を示す機能ブロック図 図１のコントローラ７の外観構成の一例を示す図 コントローラ７の内部構成の一例を示すブロック図 ゲーム画面の一例 仮想空間内の各オブジェクトの位置関係を示す図 定位の範囲の例を示す図 仮想マイク毎の定位を示す図 分割画面と定位の対応を示す図 ゲーム画面の一例 ゲーム画面の一例 メモリ１２のメモリマップ 音源オブジェクトデータ８９の構成の一例 ゲーム処理プログラム８１に基づくゲーム処理の流れを示すフローチャート

図１を参照して、本発明の一実施形態に係るゲームシステムについて説明する。

図１において、ゲームシステム１は、表示手段の一例である家庭用テレビジョン受像機（以下、モニタと記載する）２と、モニタ２に接続コードを介して接続する据置型のゲーム装置３とから構成される。また、ゲーム装置３は、ゲーム装置本体５と、複数のコントローラ７と、マーカ部８を含む。

モニタ２は、ゲーム装置本体５から出力されるゲーム画像を表示する。モニタ２は、ステレオスピーカであるスピーカ２Ｌ、２Ｒを有している。スピーカ２Ｌおよび２Ｒは、ゲーム装置本体５から出力されるゲーム音声を出力する。なお、この例ではモニタ２がこれらスピーカを有する例を示したが、この他、モニタ２に別途外部のスピーカを接続するような形態であってもよい。また、モニタ２の画面の周辺（図１では画面の上側）には、マーカ部８が設置される。マーカ部８は、その両端に２つのマーカ８Ｒおよび８Ｌを備えている。マーカ８Ｒ（マーカ８Ｌも同様）は、具体的には１以上の赤外ＬＥＤであり、モニタ２の前方に向かって赤外光を出力する。マーカ部８はゲーム装置本体５に接続されており、ゲーム装置本体５はマーカ部８が備える各赤外ＬＥＤの点灯を制御することが可能である。

ゲーム装置本体５は、当該ゲーム装置本体５で読み取り可能な光ディスクに記憶されたゲームプログラム等に基づいてゲーム処理等を実行する。

コントローラ７は、自機に対して行われた操作の内容を示す操作データをゲーム装置本体５に与えるものである。各コントローラ７とゲーム装置本体５とは無線通信によって接続される。

図２は、ゲーム装置本体５のブロック図である。図２において、ゲーム装置本体５は、情報処理装置の一例である。本実施形態においては、ゲーム装置本体５はＣＰＵ（制御部）１１およびメモリ１２、システムＬＳＩ１３、無線通信部１４およびＡＶ−ＩＣ（Ａｕｄｉｏ Ｖｉｄｅｏ−Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）１５等を有する。

ＣＰＵ１１は、メモリ１２やシステムＬＳＩ１３等を用いて所定の情報処理プログラムを実行する。これにより、ゲーム装置３における各種機能（例えば、ゲーム処理）が実現される。

システムＬＳＩ１３には、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｏｒ Ｕｎｉｔ）１６、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１７、入出力プロセッサ１８、等が含まれる。

ＧＰＵ１６は、ＣＰＵ１１からのグラフィクスコマンド（作画命令）に従って画像を生成する。

ＤＳＰ１７は、オーディオプロセッサとして機能し、メモリ１２に記憶されるサウンドデータや音波形（音色）データを用いて、音声データを生成する。

入出力プロセッサ１８は、無線通信部１４を介して、コントローラ７との間でデータの送受信を実行したりする。また、入出力プロセッサ１８は、上記無線通信部１４を介して、コントローラ７から送信される操作データ等を受信し、メモリ１２のバッファ領域に記憶（一時記憶）する。

また、ゲーム装置本体５において生成される画像データおよび音声データは、ＡＶ−ＩＣ１５によって読み出される。ＡＶ−ＩＣ１５は、図示しないＡＶコネクタを介して、読み出した画像データをモニタ２に出力するとともに、読み出した音声データをモニタ２に内蔵されるスピーカ２Ｌおよび２Ｒに出力する。これによって、モニタ２に画像が表示されるとともにスピーカ２Ｌおよび２Ｒから音声が出力される。

図３は、コントローラ７の外観構成を示す斜視図である。図３において、コントローラ７は、例えばプラスチック成型によって形成されたハウジング７１を有している。また、コントローラ７は、操作部（図４に示す操作部３１）として、十字キー７２や複数の操作ボタン７３等を備える。また、コントローラ７はモーションセンサも備える。プレイヤは、コントローラ７に設けられた各ボタンを押下すること、および、コントローラ７自体を動かしてその位置や姿勢を変えることによってゲーム操作を行うことができる。

図４は、コントローラ７の電気的な構成を示すブロック図である。図４に示すように、コントローラは、上述の操作部３１を備える。また、コントローラ７の姿勢を検出するためのモーションセンサ３２を備える。本実施形態では、当該モーションセンサ３２として、加速度センサおよびジャイロセンサが備えられている。加速度センサは、ｘｙｚの３軸の加速度が検出可能である。ジャイロセンサは、ｘｙｚの３軸の角速度が検出可能である。

また、コントローラ７は、ゲーム装置本体５との無線通信が可能な無線通信部３４を備える。本実施形態においては、コントローラ７とゲーム装置本体５との間では無線通信が行われるが、他の実施形態においては有線で通信が行われてもよい。

また、コントローラ７は、当該コントローラ７における動作を制御する制御部３３を備える。具体的には、制御部３３は、各入力部（操作部３１、モーションセンサ３２）からの出力データを受け取り、操作データとして無線通信部３４を介してゲーム装置本体５へ送信する。

次に、図５〜図１１を参照して、本実施形態のシステムにおいて実行される処理の概要を説明する。

本実施形態では、次のようなゲーム処理を想定している。本ゲームは、多人数同時プレイが可能なゲームである。本実施形態では、一例として、２人同時プレイの場合を例に説明する。また、本ゲームは、仮想３次元空間（以下、単に仮想空間と呼ぶ）を各プレイヤキャラクタが自由に動き回ることが可能なゲームである。各プレイヤキャラクタは銃を有しており、当該銃で攻撃可能である。このようなゲームで各プレイヤは対戦プレイを行ったり、所定の敵キャラクタを倒すために協力プレイを行ったりすることができる。

図５は、本ゲームのゲーム画面の一例を示す図である。本ゲームでは、画面の中心を境界として左右に２分割している。図５では、左半分の画面が第１のプレイヤ（以下、プレイヤＡ）用の画面であり、右半分の画面が第２のプレイヤ（以下、プレイヤＢ）用の画面に割り当てられている。

プレイヤＡ用の画面（以下、分割画面Ａ）には、プレイヤＡの操作対象であるプレイヤキャラクタ１０１と、音源オブジェクト１０５が表示されている。また、この分割画面Ａでは、プレイヤキャラクタ１０１の右側面が表示されている状態である。また、音源オブジェクト１０５は、プレイヤキャラクタ１０１の左後方に位置しているものとする。なお、音源オブジェクトとは、所定の音声を発することが可能なオブジェクトとして定義されたオブジェクトである。一方、プレイヤＢ用の画面（以下、分割画面Ｂ）では、プレイヤＢの操作対象であるプレイヤキャラクタ１０２が表示されている。また、上記プレイヤキャラクタ１０１および音源オブジェクト１０５も（プレイヤキャラクタ１０２からみて遠方に）表示されている。なお、この分割画面Ｂでは、プレイヤキャラクタ１０２の左側面が表示されている状態である。

図６は、上記図５の状態における仮想空間内での各オブジェクトの位置関係を示す図である。また、図６は、当該仮想空間を俯瞰したものを示している。図６において、プレイヤキャラクタ１０１および１０２は共に仮想空間座標系におけるｚ軸正方向を向いている状態である。また、図６におけるプレイヤキャラクタ１０１の右側に第１の仮想マイク１１１が配置されている。また、第１の仮想マイク１１１と同じ位置に第１の仮想カメラ（図示は省略）も配置されているものとする。当該第１の仮想カメラで撮影した画像が上記分割画面Ａに表示される。また、第１の仮想マイク１１１は、当該分割画面Ａのために用いられる。同様に、プレイヤキャラクタ１０２の左側に第２の仮想マイク１１２が配置されている。また、この位置に、第２の仮想カメラ（図示は省略）も配置されているものとする。当該第２の仮想カメラで撮影した画像が、上記分割画面Ｂに表示される。第２の仮想マイク１１２は、当該分割画面Ｂのために用いられる。なお、これら仮想カメラおよび仮想マイクは、原則的には各プレイヤキャラクタの移動に伴って移動されるものとする。

また、図６において、プレイヤキャラクタ１０１は、図６におけるほぼ右上の場所に位置している。一方、プレイヤキャラクタ１０２は、図６における左下近くの場所に位置している。そして、音源オブジェクト１０５は、プレイヤキャラクタ１０１のすぐ側（左後方）に位置している。つまり、音源オブジェクト１０５は、プレイヤキャラクタ１０１からみるとすぐ近くに存在するが、プレイヤキャラクタ１０２からみると、遠方に存在しているような位置関係となっている。

上記のような位置関係において、音源オブジェクト１０５から再生される音声をスピーカ２Ｌおよび２Ｒで表現（出力）する場合を考える。本実施形態では、上記のように画面を２分割しており、各画面用にそれぞれ仮想マイクが設けられている。そのため、それぞれの仮想マイクで音源オブジェクト１１５からの音声を受音する処理（この仮想マイクで視聴したとみなす音場計算（音量や定位）を行う処理）が行われる。その結果、音源オブジェクト１０５から発せられる音は、各仮想マイクに対して異なった音量や定位で届くことになる。ここで、物理的なスピーカについては、本実施形態ではスピーカ２Ｌおよび２Ｒの１組のスピーカしか存在していない。そのため、本実施形態では、最終的には、上記２つの仮想マイクで得られた音源オブジェクト１１５の音声を１音にまとめて表現する。この際に、本実施形態では、各画面におけるプレイヤキャラクタと音源オブジェクト１１５との位置関係を反映したような音の表現を行う。具体的には、より音源に近い位置の仮想マイク（より大きな音を拾った仮想マイク）にかかる分割画面側に音の定位が偏るような音声出力を行う。これにより、音源から発せられる音を分割画面数分だけ再生するようなことを行わずとも、１音だけの再生でも自然な聞こえ方とすることができる。

上記のような音声の表現のため、本実施例では概ね以下のような処理が行われる。まず、モニタ２は一組のステレオスピーカであるスピーカ２Ｌおよび２Ｒを有しているが、このスピーカに関して、音の定位の範囲を、例えば、−１．０〜＋１．０と定義する（図７参照）。図７において、−１．０は、スピーカ２Ｌからのみ音が聞こえるような状態（音量バランスが左に傾いている状態）である。＋１．０はスピーカ２Ｒからのみ音が聞こえるような状態（音量バランスが右に傾いている状態）である。０．０は、中心から音が聞こえるような状態（左右の音量バランスが等しい状態）である。

一方、上記のように本実施例では仮想マイクが２つ設けられている。これは、それぞれの仮想マイクに対応する音の定位の範囲があるともいえる。図８は、各仮想マイクに対応する定位を示す模式図である。図８では、第１の仮想マイク１１１に対して第１の定位範囲があり、第２の仮想マイク１１２に対して、第２の定位範囲があることを示している。なお、この図では、説明の簡略化のため定位については左右方向の範囲のみ示し、音の広がりや奥行きに関しては省略している。

そして、上記第１の定位範囲は上記分割画面Ａに対応する。また、上記第２の定位範囲は上記分割画面Ｂに対応する。図９は、これら２つの定位範囲と、各分割画面との対応を示す模式図である。つまり、分割画面Ａに関しては、上記図７における−１．０〜０．０の範囲が第１の定位範囲に対応し、分割画面Ｂに関しては、図７における０．０〜＋１．０の範囲が第２の定位範囲に対応することになる。

上記のような定位の対応関係を前提として、次のような処理が実行される。まず、各仮想マイクにおける受音処理が行われる。具体的には、各仮想マイクと音源オブジェクト１０５との距離等に基づいて、仮想マイクで受けた音の大きさ（以下、「受音音量」と呼ぶ）が仮想マイク毎に算出される。

次に、各仮想マイクと音源オブジェクト１０５との位置関係を考慮しつつ、ゲーム画面が１画面で表示されている場合と同じ手法で音源オブジェクトにかかる音の定位を算出する。つまり、上記図７で示したような定位の範囲を前提に定位を算出する。例えば、１人用プレイの場合と同様の手法で定位を算出する等である。また、上記考慮する位置関係とは、例えば、音源オブジェクト１０５が仮想マイクからみて右側に位置するか左側に位置するか等である。

次に、上記算出した定位（−１．０〜＋１．０の範囲内での値となっている）を、上記のような分割画面を考慮して補正する。例えば、図７のような分割画面を例にすると、第１の仮想マイク１１１（分割画面Ａ）の場合は、上記−１．０〜＋１．０の範囲内の値を、−１．０〜０．０の範囲内の値に対応するように補正する。第２の仮想マイク１１２の場合は、０．０〜＋１．０の範囲内の値に対応するように補正する。以下では、この補正後の定位を「補正定位」と呼ぶ。

一例を挙げると、補正定位は、１画面表示であることを想定して算出した定位を２（つまり、画面の分割数）で除算し、上記各分割画面における中央に該当する定位を加えることで算出される。例えば、プレイヤＡ（分割画面Ａ）にかかる処理において、１画面時であると想定したときの定位が＋０．５と算出された場合、補正定位は、（０．５／２）＋（−０．５）＝−０．２５となる。

このように、第１の仮想マイク１１１、第２の仮想マイク１１２のそれぞれについて、音源オブジェクト１０５から音の受音音量および補正定位を求める。そして、この２つに基づいて、最終的な定位と音量を決める。具体的には、音源オブジェクト１０５からの受音音量がより大きく届くほうの画面（仮想マイク）における音の定位に重みをおくようにして、最終的な定位と音量を決める（詳細は後述）。

上記のような処理により、１つの音源に対して複数の仮想マイクで受音した音を１音だけで出力しても自然に聞こえるようにすることができる。また、各プレイヤキャラクタと音源オブジェクト１０５との距離感、遠近感を各プレイヤが聴覚的に把握しやすくできるようになる。例えば、上記図５、図６のような状態において第２の仮想マイク１１２には音源オブジェクト１０５からの音が届いていないとする。この場合は、図１０に示すように、分割画面Ａにかかる定位範囲内で音が聞こえるような状態になる。特に、図１０の場合では、主にスピーカ２Ｌのほうから音源オブジェクト１０５の音が聞こえるような状態になる。そのため、プレイヤＢからすれば、音源オブジェクト１０５が自分のキャラクタからは遠くにいるであろうことが聴覚的に把握しやすくなる。

また、例えば、図１０の状態で、音源オブジェクト１０５が、画面の右側に向けて移動した場合を考える。すると、図１１に示すように、画面の左側から画面の中央付近まで音源オブジェクト１０５の音が移動するように、第１の定位範囲内において定位が調整される。その後、分割画面Ａから音源オブジェクト１０５が消えた（表示されなくなった）場合、その音の移動も画面中央で止まり、そこから右方向への音の移動は発生しない。つまり、このような場合は、音源オブジェクト１０５の音が画面の左側（スピーカ２Ｌ）からモニタ２の中央あたりまで移動する。その後、音源オブジェクト１０５がプレイヤキャラクタ１０１から遠ざかるにつれて、徐々にその音がフェードアウトしていくような表現になる換言すれば、第１の仮想マイク１１１にしか音源オブジェクト１０５の音が届いていない状態の場合は、当該音源オブジェクト１０５からの音の定位はモニタ２の左半分の範囲（第１の定位範囲）内でのみ変化する、というような表現となる。

次に、図１２〜図１４を参照して、上記のようなゲーム処理を実現するためのシステム１の動作について詳細に説明する。

図１２は、上記ゲーム処理を実行するときにゲーム装置本体５のメモリ１２に記憶される各種データの一例を示している。

ゲーム処理プログラム８１は、ゲーム装置本体５のＣＰＵ１１に、上記ゲームを実現するためのゲーム処理を実行させるためのプログラムである。ゲーム処理プログラム８１は、例えば、光ディスクからメモリ１２にロードされる。

処理用データ８２は、ＣＰＵ１１において実行されるゲーム処理において用いられるデータである。処理用データ８２は、操作データ８３、ゲーム音声データ８４、第１の仮想マイク姿勢データ８５、第２の仮想マイク姿勢データ８６、第１の仮想マイク位置データ８７、第２の仮想マイク位置データ８８、複数の音源オブジェクトデータ８９を含む。また、その他、図示は省略するが、仮想カメラの姿勢を示すデータや各プレイヤキャラクタのデータ、その他の各種オブジェクトのデータも含まれている。

操作データ８３は、コントローラ７から周期的に送信される操作データである。操作データ８３には、操作部３１に対する入力状態を示すデータや、モーションセンサ３２に対する入力内容を示すデータが含まれる。

ゲーム音声データ８４は、上記音源オブジェクト１０５が再生するゲーム音声の素になるデータである。ゲーム音声データ８４には、上記音源オブジェクト１０５に対応づけられた効果音や音楽データが複数含まれている。その他、音源オブジェクト１０５とは対応付けられていない各種効果音や音楽のデータも含まれている。

第１の仮想マイク姿勢データ８５は、第１の仮想マイク１１１の姿勢を示すデータである。また、第２の仮想マイク姿勢データ８６は、上記第２の仮想マイク１１２の姿勢を示すデータである。これら仮想マイクの姿勢は、各プレイヤキャラクタの移動操作等に基づいて適宜変更される。本実施形態では、基本的には仮想マイクの姿勢（特に、向きについて）は仮想カメラの姿勢（向き）と一致するように制御される。

第１の仮想マイク位置データ８７は、仮想空間内における第１の仮想マイク１１１の位置を示すデータである。また、第２の仮想マイク位置データ８８は、仮想空間内における第２の仮想マイク１１２の位置を示すデータである。仮想マイクの位置は、プレイヤキャラクタの移動等に伴って適宜変化する。

音源オブジェクトデータ８９は、上記音源オブジェクトに関するデータである。また、複数の音源オブジェクトデータ８９がメモリ１２に格納されている。図１３は、各音源オブジェクトデータ８９の構成の一例を示す図である。音源オブジェクトデータ８９は、オブジェクトＩＤ８９１、オブジェクト位置データ８９２、対応音声識別データ８９３、音声特性データ８９４等を含む。

オブジェクトＩＤ８９１は、各音源オブジェクトを識別するためのＩＤである。オブジェクト位置データ８９２は、仮想空間内における当該音源オブジェクトの位置を示すデータである。対応音声識別データ８９３は、当該音源オブジェクトが再生する音声であると定義されているゲーム音声データ８４を示すデータである。音声特性データ８９４は、当該音源オブジェクトが発する音の大きさ（音量）や、仮想空間内においてその音が届く距離等を定義したデータである。

次に、図１４のフローチャートを参照し、ゲーム処理プログラム８１に基づいてゲーム装置本体５のＣＰＵ１１によって実行されるゲーム処理の流れを説明する。なお、ここでは、主に上記のような音源オブジェクト１０５の音声出力制御に関する処理についてのみ説明し、それ以外の処理に関しては説明を省略する。また、図１４のフローチャートは１フレーム単位で繰り返し実行される。また、ここでは、音源オブジェクト１０５は仮想空間内に複数配置されているものとする。

図１４において、まず、ステップＳ１で、ＣＰＵ１１は、仮想空間内に存在する複数の音源オブジェクトから、以下に述べる処理の対象とする音源オブジェクトを１つ選択する。以下、これを処理対象音源と呼ぶ。

次に、ステップＳ２で、ＣＰＵ１１は、処理対象音源に対応する音声を当該処理対象音源の位置から再生する処理を行う。すなわち、ＣＰＵ１１は、対応音声識別データ８９３で示されるゲーム音声データ８４を、音声特性データ８９４で示される音の大きさに従って、オブジェクト位置データ８９２で示される仮想空間内の位置で再生する。

次に、ステップＳ３で、ＣＰＵ１１は、以下の処理の対象とする仮想マイク（以下、処理対象マイクと呼ぶ）を一つ選択する。本実施形態では仮想マイクが２つの例を説明しているため、まず第１の仮想マイクが処理対象マイクとして選択され、その後、第２の仮想マイクが選択されるものとする。

次に、ステップＳ４で、ＣＰＵ１１は、処理対象マイクで処理対象音源の音声を受音し、受音音量と上記補正定位を算出する処理を実行する。具体的には、まず、ＣＰＵ１１は、処理対象音源と処理対象マイクとの距離、および、上記音声特性データ８９４で示される再生音が届く距離を示すデータに基づき、当該処理対象マイクにおける受音音量を算出する。なお、処理対象マイクと処理対象音源との間に遮蔽物となるオブジェクト等が存在する場合は、当該遮蔽物による音量の低下等も適宜考慮される。また、音量の範囲は、０．０〜１．０の範囲内の値で示されるものとする。次に、ＣＰＵ１１は、上述したように、画面分割がなされていない、つまり、ゲーム画面が１画面表示であるときと同様に、処理対象音源の定位を算出する。ここで算出される定位は、−１．０〜１．０の範囲内の値になる。続いて、ＣＰＵ１１は、上記のように分割画面であることを考慮した定位の補正を行う。すなわち、上記補正定位の算出を行う。これにより、当該処理対象マイクにおける受音音量と補正定位が算出されたことになる。

次に、ステップＳ５で、ＣＰＵ１１は、全ての仮想マイクについて上記のような受音音量と補正定位の算出を行ったか否かを判定する。その結果、まだ未処理の仮想マイクが残っているときは（ステップＳ５でＮＯ）、ＣＰＵ１１は、上記ステップＳ３に戻り、処理を繰り返す。

一方、全ての仮想マイクを処理したときは（ステップＳ５でＹＥＳ）、続くステップＳ６で、ＣＰＵ１１は、各仮想マイクの受音音量および補正定位に基づき、最終的に出力する音声の音量（最終出力音量）と定位（最終出力定位）を算出する。具体的には、ＣＰＵ１１は、第１の仮想マイク１１１と第２の仮想マイク１１２とでいずれか大きい方の受音音量を最終出力音量として設定する。更に、ＣＰＵ１１は、以下に示す式を用いて最終出力定位を算出する。なお、以下の式においては、第１の仮想マイクの受音音量を「第１音量」、第１の仮想マイクの補正定位を「第１定位」と称する。また、第２の仮想マイクの受音音量を「第２音量」、第２の仮想マイクの補正定位を「第２定位」と称する。

このような計算により、音源オブジェクト１０５からの音がより大きな音で届いているほうの分割画面の定位の範囲に重みをかけて、最終的な音量と定位を決定することができる。

次に、ステップＳ７で、ＣＰＵ１１は、上記ステップＳ６において算出された最終的な出力音量および定位に基づいて、処理対象音源の最終的な音声を再生する。

次に、ステップＳ８で、ＣＰＵ１１は、仮想空間内に存在する音源オブジェクト全てについて上記のような処理を行ったか否かを判定する。その結果、まだ未処理の音源オブジェクトが残っているときは（ステップＳ８でＮＯ）、ＣＰＵ１１は、上記ステップＳ１に戻り、処理を繰り返す。一方、全ての音源オブジェクトを処理済みであれば（ステップＳ８でＹＥＳ）、当該音声出力制御処理は終了する。

このように、本実施形態では、複数の仮想マイクで同じ音源からの音を拾う場合に、当該音源からの音がより大きく聞こえるほうの仮想マイクにおける音の定位を重視して、１音として音声出力するような処理を行っている。これにより、１つの表示装置にかかる画面を分割してプレイするようなゲームにおいて、音源に近い分割画面側に定位が偏るような音の再生ができる。その結果、１音だけでの表現であっても自然な音の聞こえ方とすることができ、また、各プレイヤが自プレイヤキャラクタに対して音源が近いか遠いかを把握しやすくすることができる。

また、本実施形態では、仮想マイクと音源オブジェクトとの「距離」に基づくのではなく、「仮想マイクが拾った音の大きさ」に基づいて、いずれの仮想マイクの定位に重みを置くかを決めている。そのため、例えば仮想マイクと音源との間に、音を遮るような遮蔽物が存在するような場合、（これにより逆に遠近感が掴みにくくなる可能性も含めて）仮想空間内における状況をより正確に音声で表現できる。

なお、上記の例では２画面分割の場合を例に挙げていたが、分割数は２に限るものではない。例えば、画面を横方向に３分割や４分割したような場合にも上記処理は適用可能である。この場合は、分割画面数に応じた仮想マイクを用意すればよい。そして、上記ステップＳ６における処理において、全ての仮想マイクの受音音量および補正定位に基づいて最終出力音量および最終出力定位を算出するようにすればよい。

また、上記実施形態では、モニタ２のスピーカ２Ｌおよび２Ｒに音声出力する場合を例に挙げた。この他、例えば、モニタ２のスピーカ２Ｌおよび２Ｒの代わりに、別途用意した５．１ｃｈサラウンドスピーカを利用するような場合にも上記の処理は適用可能である。この場合は、上述の処理のような、仮想マイクのローカル座標系のｘ軸方向にかかる定位に加えて、奥行き方向、すなわち、仮想マイクのローカル座標系におけるｚ軸方向にかかる定位も考慮するようにすればよい。例えば、定位の範囲を、プレイヤの位置を０．０とし、プレイヤの前方について１．０〜０．０の範囲、プレイヤから後方について０．０〜−１．０の範囲とする。そして、ｘｚ平面上において２次元的に定位を調整するようにしてもよい。つまり、ｘ軸方向にかかる定位とｚ軸方向にかかる定位の双方を併用して、音声出力制御を行うようにしても良い。

また、その他、例えば外付けのステレオスピーカを２組用いて、１組を左右方向に、もう一組を上下方向に配置するようにして、上記処理を適用してもよい。つまり、左右方向（ｘ軸方向）と上下方向（ｙ軸方向）にかかる定位を上記のような処理で算出するようにしてもよい。例えば、画面を上下に２分割する場合や、縦横２×２の４分割とするような場合に有用である。

また、その他、モニタ２を利用せず、音声出力のみを利用してプレイするようなゲームにも上記処理は適用可能である。例えば、上記のようなゲームにおいて、ゲーム画面に何も映らなくなるようなシーンをゲーム処理中に設けるような場合である。例えば、光の届かない洞窟にプレイヤキャラクタが位置するようなシーンである。このようなシーンでは、ゲーム画面としてはなにも表示せず真っ黒な画面とし、上記のような第１の定位範囲と第２の定位範囲を考慮した音声出力を行う。これにより、各プレイヤ（左右に並んでプレイしていることが好ましい）は、音のみを頼りにしてプレイすることになり、新たなゲームの楽しみ方が提供可能となる。

また、上述の実施例にかかる処理を実行するためのゲーム処理プログラムは、任意のコンピュータ読み取り可能な記憶媒体（例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、半導体メモリカード、ＲＯＭ、ＲＡＭなど）に格納され得る。

また、上記実施例ではゲーム処理を一例に説明しているが、情報処理の内容はゲーム処理に限るものではなく、画面を分割して仮想３次元空間の様子を表示するような他の情報処理においても上記実施例の処理は適用可能である。

また、上記実施形態においては、ある単一の音源オブジェクトと複数の仮想マイクとの位置関係や受音した音に基づき、最終的に出力する音声の定位や音量を算出する制御を行うための一連の処理が単一の装置（ゲーム装置本体５）において実行される場合を説明したが、他の実施形態においては、上記一連の処理が複数の情報処理装置からなる情報処理システムにおいて実行されてもよい。例えば、ゲーム装置本体５と、当該ゲーム装置本体５とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの一部の処理がサーバ側装置によって実行されてもよい。また、上記情報処理システムにおいて、サーバ側のシステムは、複数の情報処理装置によって構成され、サーバ側で実行するべき処理を複数の情報処理装置が分担して実行してもよい。

１…ゲームシステム
２…モニタ
２Ｌ、２Ｒ…スピーカ
３…ゲーム装置
５…ゲーム装置本体
７…コントローラ

Claims (18)

1. 音声信号に基づく音声を出力する音声出力部を備え、所定の音声データに関連付けられている少なくとも１つの音源オブジェクトと、複数の仮想マイクとが配置された仮想３次元空間を表現するゲームシステムであって、
   前記音源オブジェクトに関連付けられた所定の音声データに基づく音声を前記仮想３次元空間における当該音源オブジェクトの位置で再生する音声再生手段と、
   前記音声再生手段で再生された音声を前記仮想マイクで受けたときの当該仮想マイクにおける当該音声の音量の大きさを前記複数の仮想マイク毎に算出する受音音量算出手段と、
   前記音声再生手段で再生された音声を前記仮想マイクで受けたときの当該音声の定位を第１の定位として前記複数の仮想マイク毎に算出する第１の定位算出手段と、
   前記受音音量算出手段で算出された各仮想マイクにおける前記音源オブジェクトにかかる音声の音量の大きさ、および、前記第１の定位算出手段で算出された各仮想マイクにおける定位に基づいて、前記音声出力部に出力する音声の定位を第２の定位として算出する第２の定位算出手段と、
   前記第２の定位算出手段で算出された第２の定位に基づいて前記音源オブジェクトにかかる音声信号を生成し、前記音声出力部に出力する音声出力制御手段と、を備える、ゲームシステム。
2. 前記ゲームシステムは、
   表示手段と、
   前記表示手段に表示される表示画面に含まれる表示領域をゲームに参加するプレイヤ数で分割し、各プレイヤに割り当てられた分割領域それぞれに前記仮想３次元空間内の様子を示す画像を表示する表示制御手段と、を更に備え、
   前記仮想マイクはそれぞれ、前記分割領域のいずれかに対応づけられており、かつ、当該対応付けられた分割領域に応じた音の定位の範囲を有し、
   前記第１の定位算出手段は、前記仮想マイクに対応付けられている分割領域に応じた定位の範囲を用いて前記第１の定位を算出する、請求項１に記載のゲームシステム。
3. 前記表示制御手段は、前記分割領域が横方向に沿って並ぶように前記表示領域を分割する、請求項２に記載のゲームシステム。
4. 前記第２の定位算出手段は、前記受音音量算出手段で算出された音量の大きさが最も大きな前記仮想マイクにおける前記第１の定位の重み付けを大きくして前記第２の定位を算出する、請求項１ないし３のいずれかに記載のゲームシステム。
5. 前記ゲームシステムは、前記受音音量算出手段で算出された各仮想マイクにおける音量のうち、最も大きな音量を前記音声出力部に出力する音声の音量として設定する出力音量設定手段を更に備え、
   前記音声出力制御手段は、前記出力音量設定手段で設定された音量で前記音声信号に基づく音声を出力する、請求項１ないし４のいずれかに記載のゲームシステム。
6. 前記仮想３次元空間には前記音源オブジェクトが複数配置されており、
   前記受音音量算出手段は、前記複数の音源オブジェクトのそれぞれについて、前記仮想マイクにおける当該音源オブジェクトにかかる音声の音量の大きさを前記仮想マイク毎に算出し、
   前記第１の定位算出手段は、前記複数の音源オブジェクトのそれぞれについて前記第１の定位を前記仮想マイク毎に算出し、
   前記第２の定位算出手段は、前記複数の音源オブジェクトのそれぞれについて前記第２の定位を前記仮想マイク毎に算出し、
   前記音声出力制御手段は、前記複数の音源オブジェクトのそれぞれについて前記第２の定位に基づいた音声信号を生成する、請求項１ないし５のいずれかに記載のゲームシステム。
7. 前記音声出力部は、ステレオスピーカであり、
   前記第１の定位算出手段および第２の定位算出手段は、プレイヤが前記音声出力部に対面する位置にあるとしたときの当該プレイヤから見て左右方向にかかる定位を算出する、請求項１ないし６のいずれかに記載のゲームシステム。
8. 前記音声出力部は、サラウンドスピーカであり、
   前記第１の定位算出手段および第２の定位算出手段は、プレイヤが前記音声出力部に対面するような位置にあるとしたときの当該プレイヤから見て左右方向にかかる定位、および、前後方向にかかる定位を算出する、請求項１ないし６のいずれかに記載のゲームシステム。
9. 音声信号に基づく音声を出力する音声出力部を備え、所定の音声データに関連付けられている少なくとも１つの音源オブジェクトと、複数の仮想マイクとが配置された仮想３次元空間を表現するゲームシステムを制御するためのゲーム処理制御方法であって、
   前記音源オブジェクトに関連付けられた所定の音声データに基づく音声を前記仮想３次元空間における当該音源オブジェクトの位置で再生する音声再生ステップと、
   前記音声再生ステップで再生された音声を前記仮想マイクで受けたときの当該仮想マイクにおける当該音声の音量の大きさを前記複数の仮想マイク毎に算出する受音音量算出ステップと、
   前記音声再生ステップで再生された音声を前記仮想マイクで受けたときの当該音声の定位を第１の定位として前記複数の仮想マイク毎に算出する第１の定位算出ステップと、
   前記受音音量算出ステップで算出された各仮想マイクにおける前記音源オブジェクトにかかる音声の音量の大きさ、および、前記第１の定位算出手段で算出された各仮想マイクにおける定位に基づいて、前記音声出力部に出力する音声の定位を第２の定位として算出する第２の定位算出ステップと、
   前記第２の定位算出ステップで算出された第２の定位に基づいて前記音源オブジェクトにかかる音声信号を生成し、前記音声出力部に出力する音声出力制御ステップと、を備える、ゲーム処理制御方法。
10. 前記ゲームシステムは、表示部を更に備えており、
    前記ゲーム処理制御方法は、前記表示部に表示される表示画面に含まれる表示領域をゲームに参加するプレイヤ数で分割し、各プレイヤに割り当てられた分割領域それぞれに前記仮想空間内の様子を示す画像を表示する表示制御ステップを更に備え、
    前記仮想マイクはそれぞれ、前記分割領域のいずれかに対応づけられており、かつ、当該対応付けられた分割領域に応じた音の定位の範囲を有し、
    前記第１の定位算出ステップでは、前記仮想マイクに対応付けられている分割領域に応じた定位の範囲を用いて前記第１の定位を算出する、請求項９に記載のゲーム処理制御方法。
11. 前記表示制御ステップでは、前記分割領域が横方向に沿って並ぶように前記表示領域を分割する、請求項１０に記載のゲーム処理制御方法。
12. 前記第２の定位算出ステップでは、前記受音音量算出ステップで算出された音量の大きさが最も大きな前記仮想マイクにおける前記第１の定位の重み付けを大きくして前記第２の定位を算出する、請求項９ないし１１のいずれかに記載のゲーム処理制御方法。
13. 前記ゲーム処理制御方法は、前記受音音量算出ステップで算出された各仮想マイクにおける音量のうち、最も大きな音量を前記音声出力部に出力する音声の音量として設定する出力音量設定ステップを更に備え、
    前記音声出力制御ステップでは、前記出力音量設定ステップで設定された音量で前記音声信号に基づく音声を出力する、請求項９ないし１２のいずれかに記載のゲーム処理制御方法。
14. 前記仮想３次元空間には前記音源オブジェクトが複数配置されており、
    前記受音音量算出ステップでは、前記複数の音源オブジェクトのそれぞれについて、前記仮想マイクにおける当該音源オブジェクトにかかる音声の音量の大きさを前記仮想マイク毎に算出し、
    前記第１の定位算出ステップでは、前記複数の音源オブジェクトのそれぞれについて前記第１の定位を前記仮想マイク毎に算出し、
    前記第２の定位算出ステップでは、前記複数の音源オブジェクトのそれぞれについて前記第２の定位を前記仮想マイク毎に算出し、
    前記音声出力制御ステップでは、前記複数の音源オブジェクトのそれぞれについて前記第２の定位に基づいた音声信号を生成する、請求項９ないし１３のいずれかに記載のゲーム処理制御方法。
15. 前記音声出力部は、ステレオスピーカであり、
    前記第１の定位算出ステップおよび第２の定位算出ステップでは、プレイヤが前記音声出力部に対面する位置にあるとしたときの当該プレイヤから見て左右方向にかかる定位を算出する、請求項９ないし１４のいずれかに記載のゲーム処理制御方法。
16. 前記音声出力部は、サラウンドスピーカであり、
    前記第１の定位算出ステップおよび第２の定位算出ステップでは、プレイヤが前記音声出力部に対面するような位置にあるとしたときの当該プレイヤから見て左右方向にかかる定位、および、前後方向にかかる定位を算出する、請求項９ないし１４のいずれかに記載のゲームシステム。
17. 音声信号に基づく音声を出力する音声出力部を備え、所定の音声データに関連付けられている少なくとも１つの音源オブジェクトと、複数の仮想マイクとが配置された仮想３次元空間を表現するゲーム装置であって、
    前記音源オブジェクトに関連付けられた所定の音声データに基づく音声を前記仮想３次元空間における当該音源オブジェクトの位置で再生する音声再生手段と、
    前記音声再生手段で再生された音声を前記仮想マイクで受けたときの当該仮想マイクにおける当該音声の音量の大きさを前記複数の仮想マイク毎に算出する受音音量算出手段と、
    前記音声再生手段で再生された音声を前記仮想マイクで受けたときの当該音声の定位を第１の定位として前記複数の仮想マイク毎に算出する第１の定位算出手段と、
    前記受音音量算出手段で算出された各仮想マイクにおける前記音源オブジェクトにかかる音声の音量の大きさ、および、前記第１の定位算出手段で算出された各仮想マイクにおける定位に基づいて、前記音声出力部に出力する音声の定位を第２の定位として算出する第２の定位算出手段と、
    前記第２の定位算出手段で算出された第２の定位に基づいて前記音源オブジェクトにかかる音声信号を生成し、前記音声出力部に出力する音声出力制御手段と、を備える、ゲーム装置。
18. 音声信号に基づく音声を出力する音声出力部を備え、所定の音声データに関連付けられている少なくとも１つの音源オブジェクトと、複数の仮想マイクとが配置された仮想３次元空間を表現するゲームシステムまたはゲーム装置のコンピュータに実行させるゲームプログラムであって、
    前記音源オブジェクトに関連付けられた所定の音声データに基づく音声を前記仮想３次元空間における当該音源オブジェクトの位置で再生する音声再生手段と、
    前記音声再生手段で再生された音声を前記仮想マイクで受けたときの当該仮想マイクにおける当該音声の音量の大きさを前記複数の仮想マイク毎に算出する受音音量算出手段と、
    前記音声再生手段で再生された音声を前記仮想マイクで受けたときの当該音声の定位を第１の定位として前記複数の仮想マイク毎に算出する第１の定位算出手段と、
    前記受音音量算出手段で算出された各仮想マイクにおける前記音源オブジェクトにかかる音声の音量の大きさ、および、前記第１の定位算出手段で算出された各仮想マイクにおける定位に基づいて、前記音声出力部に出力する音声の定位を第２の定位として算出する第２の定位算出手段と、
    前記第２の定位算出手段で算出された第２の定位に基づいて前記音源オブジェクトにかかる音声信号を生成し、前記音声出力部に出力する音声出力制御手段として前記コンピュータを機能させる、ゲームプログラム。

Images