JP7252998B2 - 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 - Google Patents

Description

本発明は、複数のスピーカへ音声出力する音声制御処理に関する。

従来から、仮想的な音源と仮想マイクとの距離に基づいて、出力音声の音量等を制御する技術が知られている。

特許６１４７４８６号公報

しかし、上記の技術においては、リスナ（仮想マイク）と音源との相対的な位置関係が急激に変化した場合、音声出力について急激な変化が発生し、ユーザに違和感を与える可能性があった。

それ故に、本発明の目的は、リスナと音源との相対的な位置関係が急激に変化しても、音声出力について急激な変化を緩和できる情報処理プログラム、情報処理装置、情報処理システム、情報処理方法を提供することである。

上記目的を達成するために、例えば以下のような構成例が挙げられる。

構成例の一例は、複数のスピーカへ音声出力可能な情報処理装置のコンピュータに実行させる情報処理プログラムである。情報処理プログラムは、コンピュータに、音声が関連付けられた仮想音源が配置された仮想空間内において、仮想マイクの位置を制御させ、仮想マイクから仮想音源までの相対的な距離と相対的な方向に基づいて、出力する音声の音量設定と、複数のスピーカへの出力バランスのバランス設定をさせ、設定された音量と出力バランスに基づいて複数のスピーカへ音声を出力させる。ここで、仮想マイクが、仮想空間内において所定の基準よりも大きく移動した場合に、当該仮想マイクの移動から所定期間の間は、相対的な距離に関して、移動前の相対的な距離から移動後の相対的な距離まで所定期間をかけて変化させる第１の補間と、相対的な方向に関して、移動前の相対的な方向から移動後の相対的な方向まで上記所定期間をかけて変化させる第２の補間とをそれぞれ行わせ、更に、第１の補間に基づいて設定された相対的な距離と、第２の補間に基づいて設定された相対的な方向に基づいた、上記音量設定およびバランス設定を行わせる。

上記構成例によれば、リスナと音源との相対的な位置関係が急激に変化しても、音声出力について急激な変化を緩和できる。

他の構成例として、第１の補間および前記第２の補間は、線形補間であってもよい。

上記構成例によれば、簡易な処理で補間処理が可能となり、処理負荷を軽減することができる。

他の構成例として、所定の基準は、仮想空間内において、単位時間における移動距離が所定の距離となることでもよい。

上記構成例によれば、仮想空間内で、例えば仮想マイクが瞬間的に所定の距離以上移動した場合でも、音声出力について急激な変化を緩和できる。

他の構成例として、コンピュータに更に、操作入力に基づいて仮想カメラを制御させ、仮想マイクの位置を、仮想カメラの注視点の位置に基づいて制御させてもよい。

他の構成例として、コンピュータに更に、操作入力に基づいて、プレイヤキャラクタオブジェクトを制御させ、仮想カメラの注視点を、プレイヤキャラクタオブジェクトの位置に基づいて制御させてもよい。そして、プレイヤキャラクタオブジェクトが仮想空間内において第１のオブジェクトが配置された位置にいる場合に、操作入力に基づいて、プレイヤキャラクタオブジェクトを仮想空間内に配置された第２のオブジェクトの位置に移動させてもよい。

上記構成例によれば、プレイヤオブジェクトと仮想音源との相対的な位置関係が大きく変化した場合でも、当該仮想音源に係る音声出力についての急激な変化を緩和できる。

本実施形態によれば、リスナと音源との相対的な位置関係が急激に変化した場合でも、音声出力についての急激な変化を緩和できる。

本体装置２に左コントローラ３および右コントローラ４を装着した状態の一例を示す図 本体装置２の内部構成の一例を示すブロック図 本実施形態に係る仮想空間を俯瞰した模式図 本実施形態に係るゲーム画面の一例 本実施形態に係るゲーム画面の一例 本実施形態の制御の原理を説明するための図 本実施形態の制御の原理を説明するための図 本体装置２の記憶部８４に記憶される各種データの一例を示すメモリマップ 音源オブジェクトデータ３０５のデータ構成の一例 本ゲーム処理の詳細を示すフローチャート 補間処理の詳細を示すフローチャート

以下、一実施形態について説明する。

まず、本実施形態にかかる情報処理を実行するための情報処理システムについて説明する。本実施形態では、情報処理システムの一例として、ゲームシステムを例として説明する。このゲームシステムはどのようなものでもよいが、図１に、一例として本例で用いるゲームシステムの外観図を示す。図１で示すゲームシステム１は、本体装置（情報処理装置；本実施形態ではゲーム装置本体として機能する）２と左コントローラ３および右コントローラ４とを含む。また、本体装置２は、左コントローラ３および右コントローラ４がそれぞれ着脱可能である。つまり、ゲームシステム１は、左コントローラ３および右コントローラ４をそれぞれ本体装置２に装着して一体化された装置として利用できる。また、ゲームシステム１は、本体装置２と左コントローラ３および右コントローラ４とを別体として利用することもできる。なお、図１は、本体装置２に左コントローラ３および右コントローラ４を装着した状態の一例を示す図である。図１に示すように、左コントローラ３および右コントローラ４は、それぞれ本体装置２に装着されて一体化されている。本体装置２は、ゲームシステム１における各種の処理（例えば、ゲーム処理）を実行する装置である。本体装置２は、ディスプレイ１２と、ステレオスピーカである左スピーカ８８Ｌおよび右スピーカ８８Ｒとを備える。左コントローラ３および右コントローラ４は、プレイヤが入力を行うための操作部を備える装置である。

図２は、本体装置２の内部構成の一例を示すブロック図である。本体装置２は、プロセッサ８１を備える。プロセッサ８１は、本体装置２において実行される各種の情報処理を実行する情報処理部であって、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）のみから構成されてもよいし、ＣＰＵ機能、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）機能等の複数の機能を含むＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）から構成されてもよい。プロセッサ８１は、記憶部８４に記憶される情報処理プログラム（例えば、ゲームプログラム）を実行することによって、各種の情報処理を実行する。なお、記憶部８４は、例えば、フラッシュメモリやＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の内部記憶媒体であってもよいし、図示しないスロットに装着される外部記憶媒体等を利用する構成でもよい。

本体装置２は、コントローラ通信部８３を備える。コントローラ通信部８３は、プロセッサ８１に接続される。コントローラ通信部８３は、本体装置２と左コントローラ３および右コントローラ４とを別体として利用する場合において、左コントローラ３および／または右コントローラ４と無線通信を行う。本体装置２と左コントローラ３および右コントローラ４との通信方式は任意であるが、本実施形態においては、コントローラ通信部８３は、左コントローラ３との間および右コントローラ４との間で、Ｂｌｕｅｔｏｏｔｈ（登録商標）の規格に従った通信を行う。

また、本体装置２は、本体装置２が左コントローラ３と有線通信を行うための端子である左側端子１７と、本体装置２が右コントローラ４と有線通信を行うための右側端子２１を備える。

また、ディスプレイ１２は、プロセッサ８１に接続される。プロセッサ８１は、（例えば、上記の情報処理の実行によって）生成した画像および／または外部から取得した画像をディスプレイ１２に表示する。

本体装置２は、コーデック回路８７、左スピーカ８８Ｌおよび右スピーカ８８Ｒを備える。コーデック回路８７は、左スピーカ８８Ｌ、右スピーカ８８Ｒ、および音声入出力端子２５に接続されるとともに、プロセッサ８１に接続される。コーデック回路８７は、左スピーカ８８Ｌ、右スピーカ８８Ｒ、および音声入出力端子２５に対する音声データの入出力を制御する回路である。

なお、図示は省略するが、本体装置２で生成された画像や音声については、所定の出力端子を介して、外部モニタ／外部スピーカに出力することも可能である。

［コントローラについて］
また、図示は省略するが、左コントローラ３、右コントローラ４は、それぞれ、本体装置２との間で通信を行う通信制御部を備えている。本体装置２に左コントローラ３および右コントローラ４を装着した状態では、上記左側端子１７および右側端子２１を介した有線通信が可能である。また、本体装置２と左コントローラ３および右コントローラ４とを別体として利用する場合は、上記端子を介さない無線通信で本体装置２と通信を行うことが可能である。通信制御部は、コントローラの各入力部から、入力に関する情報（具体的には、操作に関する情報）を取得する。そして、通信制御部は、取得した情報（または取得した情報に所定の加工を行った情報）を含む操作データを本体装置２へ送信する。なお、操作データは、所定時間に１回の割合で繰り返し送信される。なお、入力に関する情報が本体装置２へ送信される間隔は、各入力部について同じであってもよいし、同じでなくてもよい。

［本実施形態における処理の概要］
次に、本実施形態における処理の動作概要を説明する。本実施形態で想定する処理は、主に音声制御に関する処理である。具体的には、仮想３次元空間（以下、単に仮想空間と呼ぶ）内で仮想マイクと仮想音源との位置関係が急激に大きく変化した場合に、当該変化前と変化後でユーザに与える可能性がある聴覚的な違和感を軽減する処理が実行される。

以下で説明する本実施形態の処理の説明において想定する、上記仮想空間内での仮想マイクと仮想音源との位置関係の一例を図３に示す。図３は、仮想空間を俯瞰したものを示す模式図である。図３では、プレイヤキャラクタオブジェクト（以下、プレイヤオブジェクト）１０１、仮想音源（以下、単に音源と呼ぶ）１０２、第１ワープポイント１０３、第２ワープポイント１０４とが示されている。

プレイヤオブジェクト１０１は、ユーザの操作対象となるオブジェクトである。プレイヤオブジェクト１０１は、ユーザの移動操作に基づいて、仮想空間内を移動することが可能である。また、当該プレイヤオブジェクト１０１は、仮想マイク（リスナ）としての役割も有している。すなわち、図示はしないが、当該プレイヤオブジェクト１０１の位置に合わせて仮想マイクも配置されている。

また、本実施形態では、ゲーム画面は、３人称視点での３次元画像で表示される。そして、仮想カメラの注視点はプレイヤオブジェクト１０１の位置になるよう設定される。また、プレイヤオブジェクト１０１が移動した場合、プレイヤオブジェクト１０１に注視点が追従するように仮想カメラが制御される。

音源１０２は、所定の音声データと関連付けられたオブジェクトである。音源１０２は、仮想空間内において当該音声データに基づく音声を出力する。

第１ワープポイント１０３および第２ワープポイント１０４は、仮想空間内における移動手段の一種である。また、第１ワープポイント１０３および第２ワープポイント１０４の存在する位置は、仮想空間内において所定の距離以上離れた位置となっている。そして、プレイヤオブジェクト１０１が第１ワープポイント１０３の位置に移動し、当該第１ワープポイント１０３に乗ると、第２ワープポイント１０４の位置にほぼ瞬時に（例えば１フレーム分の時間で）移動できる。また、これとは逆に、第２ワープポイント１０４の位置から第１ワープポイント１０３の位置へ移動することも可能である。つまり、ワープポイントを使うことで、所定の単位時間において、プレイヤオブジェクト１０１の通常の移動速度では移動できないような所定の距離を移動することが可能となる。また、本実施形態では、当該所定の距離は、本実施形態で説明する処理を適用しなければ、音の聞こえ方が急激に変化してしまう程度に離れている距離であるとする。以下では、仮想空間内において、所定の単位時間における移動距離が、所定の距離以上となる移動のことを「瞬間移動」と呼ぶ。また、説明を簡略化するため、本実施形態では、移動距離が所定距離未満の瞬間移動は発生しないものとする。

図４および図５に、当該瞬間移動に係る移動前と移動後のゲーム画面の一例を示す。図４では、プレイヤオブジェクト１０１から見て、右斜め前方に第１ワープポイント１０３が表示されている。更に、同じくプレイヤオブジェクト１０１から見て右斜め前方であり、第１ワープポイント１０３よりも更に遠方となる位置に、音源１０２が表示されている、更に、当該音源１０２の奥側に、第２ワープポイント１０４も表示されている。

図４の状態で、プレイヤオブジェクト１０１が移動して第１ワープポイント１０３の上に乗ると、第２ワープポイント１０４の位置に瞬間移動し、図５のような画面が表示される。図５では、プレイヤオブジェクト１０１の近傍であって、左斜め後ろとなる方向に音源１０２が表示されている状態である。つまり、プレイヤオブジェクト１０１と音源１０２の位置関係については、プレイヤオブジェクト１０１から見た音源１０２の位置が、右斜め前の遠方となる位置から左斜め後ろのプレイヤオブジェクト１０１の近傍の位置に（ほぼ瞬時に）変化することになる。換言すれば、プレイヤオブジェクト１０１から音源１０２までの相対的な距離（以下、音源距離と呼ぶ）、および、プレイヤオブジェクト１０１から見た音源１０２の存在する相対的な方向（以下、音源方向と呼ぶ）が、上記瞬間移動の前後で急激に変化することになる。

ここで、このような位置関係の急激な変化が、音源１０２から音声が出力されている最中に起こった場合、当該音源１０２からの音声の聞こえ方についても急激な変化が発生し、その結果、ユーザに聴覚的な違和感を与える可能性がある。例えば、音声についてのエフェクト処理として、距離に応じて音をぼかすような処理を行っている場合を想定する。この場合、上記のように音源１０２とプレイヤオブジェクト１０１との間の距離が急激に変化することで、ぼやけ気味に聞こえていた音声が急にクリアな音声で聞こえてくる等の、不自然なエフェクト処理が行われる可能性がある。その結果、ユーザに違和感を与える虞がある。

そこで、本実施形態では、音声の出力中に上記のようなプレイヤオブジェクト１０１（仮想マイク）と音源１０２との相対的位置関係の急激な変化が起こった場合でも、以下のような制御処理を行うことで、ユーザに与える聴覚的な違和感を軽減している。

次に、本実施形態における制御の原理について説明する。図６および図７は、本実施形態にかかる音声制御の原理を説明するための図である。図６は、瞬間移動前のプレイヤオブジェクト１０１および音源１０２との相対的な位置関係（上記図４の状態に対応）を示す模式図である。図６では、プレイヤオブジェクト１０１の右上（仮想空間座標系でいうと右斜め前方）に音源１０２が存在している。ここで、音源距離については、プレイヤオブジェクト１０１と音源１０２との中点を結ぶ直線の長さとして示されている。図６の例では、当該音源距離は１０であるとする。また、音源方向については、本実施形態の説明では「角度」として把握する。具体的には、仮想空間座標系のｚ軸正方向を、０°である基準角度として、ここから時計回りに３６０°の範囲内の角度で、音源方向を示す。図６の例では、プレイヤオブジェクト１０１から見て３０°の方向に音源１０２が存在しているものとする。

次に、図７は、瞬間移動後のプレイヤオブジェクト１０１および音源１０２との相対的な位置関係を示す模式図である（上記図５の状態に対応）。図７は、プレイヤオブジェクト１０１の左下（仮想空間座標系でいうと左斜め後方）に音源１０２が存在している状態である。また、図７において、音源距離は２であり、音源方向は２００°の方向であるとする。

本実施形態では、瞬間移動が行われた場合、瞬間移動前と瞬間移動後における音源１０２の位置について補間を行う。具体的には、移動前の音源距離から移動後の音源距離まで、所定期間（以下、補間期間と呼ぶ）かけて徐々に変化していくような第１の補間が行われる。更に、移動前の音源方向から移動後の音源方向まで、補間期間かけて徐々に変化していくような第２の補間が行われる。この補間に係る音源距離および音源方向に基づくと、例えば図７の「補間位置」として示す位置が算出可能である。その結果、瞬間移動前に音源１０２があった相対的な位置から、補間位置を経由するように時計回りに旋回して現在の音源１０２の相対的な位置に移動するような軌道で音源１０２が移動したかのような音声表現が可能となる。つまり、瞬間移動が発生してから上記補間期間の間は、実際の音源１０２の存在位置ではなく、上記補間位置に音源１０２が存在するものとして、出力音声の音量の決定、および、右スピーカ８８Ｒおよび左スピーカ８８Ｌの出力バランスの設定を行う。なお、以下の説明では、１秒を３０フレームで処理する場合を想定し、上記補間期間は１０フレーム分の期間である場合を想定して説明する。

より具体的な補間手法の一例を示すと、まず、音源距離については、移動前の音源距離１０が、１０フレームかけて徐々に音源距離２となるように第１の補間が行われる。図６および図７の例で言うと、瞬間移動前後の音源距離の差分（距離８）を１０分割し、毎フレーム、音源距離が０．８ずつ縮まるような補間となる。

同様に、音源方向（角度）についても、移動前の３０°の方向から移動後の２００°の方向に、１０フレームかけて徐々に変化するような第２の補間が行われる。図７の例で言うと、瞬間移動前後の音源方向の差分（１７０°）を１０分割し、音源方向（角度）が毎フレーム１７°ずつ増えていくような補間となる。

このような制御により、補間期間において、プレイヤオブジェクト１０１を中心とした時計回りの旋回軌道（図７の補間位置を通過するような軌道）で音源１０２が移動したような音声表現ができ、音声出力の急激な変化を緩和できる。これにより、プレイヤオブジェクト１０１（仮想マイク）の瞬間移動に伴ってユーザに与える聴覚的な違和感を軽減できる。

なお、本実施形態では、瞬間移動前後の音源１０２の相対的な位置を単純に直線で結ぶような軌道とはせず、プレイヤオブジェクト１０１を中心として旋回するような軌道となるような補間を行っている。これは、次のような理由による。仮に、瞬間移動前後の位置を直線で結ぶような軌跡で補間すると（換言すれば、音源距離と音源方向とを考慮しない補間）、図７の場合では、音源１０２がプレイヤオブジェクト１０１の位置を通過するような軌道になる。その結果、プレイヤオブジェクト１０１と音源１０２との位置が一時的に重なる関係になり得る。このような重なりのタイミングでは、一時的に当該音源に係る音声の音量が非常に大きくなり、却ってユーザに与える違和感を増してしまうことになる。そのため、本実施形態では、音源距離と音源方向とを別々に補間する制御を行い、その結果、上記のように旋回するような軌道になるようにしている。

なお、上記図７の例では右回り（時計回り）で補間位置が旋回するような軌道を示しているが、旋回方向は左回り（反時計回り）としてもよい。どちらの場合でも、違和感を軽減できる効果は得られるため、旋回方向についてはゲーム内容等に応じて適宜設定すればよい。

［本実施形態のゲーム処理の詳細］
以下、本実施形態におけるゲーム処理についてより詳細に説明する。

［使用データについて］
まず、本実施形態に係る処理にて用いられる各種データに関して説明する。図８は、本体装置２の記憶部８４に記憶される各種データの一例を示すメモリマップである。本体装置２の記憶部８４には、ゲームプログラム３０１、操作データ３０２、プレイヤオブジェクトデータ３０３、音源オブジェクトデータ３０５、算出用距離３０６、算出用方向３０７、補間フラグ３０８、直前位置データ３０９、補間用距離データ３１０、補間用方向データ３１１等が記憶されている。

ゲームプログラム３０１は、本実施形態にかかるゲーム処理を実行するためのプログラムである。

操作データ３０２は、上記左コントローラ３および右コントローラ４から得られるデータであり、プレイヤの操作内容を示すデータである。当該操作データ３０２には、各コントローラが有する各種ボタンの押下状態を示すデータやアナログスティックに対する操作内容を示すためのデータ等が含まれている。

プレイヤオブジェクトデータ３０３は、上記プレイヤオブジェクト１０１に関するデータであり、その外観を示すデータや、当該プレイヤオブジェクトの仮想空間内における現在位置を示すデータ等が含まれている。

音源オブジェクトデータ３０５は、上記音源１０２に関するデータであり、それぞれの音源１０２に対応する音源オブジェクトデータ３０５が複数記憶される。図８では、音源オブジェクトデータ＃ｎ（ｎは１から始まる整数とする）と示している。各音源オブジェクトデータ３０５には、図９で示されるようなデータが含まれる。図９は、各音源オブジェクトデータ３０５のデータ構成の一例である。音源オブジェクトデータ３０５には、音源オブジェクトＩＤ３２１、原音声データ３２２、音量パラメータ３２３、バランスパラメータ３２４等が含まれる。音源オブジェクトＩＤ３２１は、各音源オブジェクトを一意に識別するためのＩＤである。原音声データ３２２は、その音源オブジェクトが発する音声を定義したデータである。例えば、音源オブジェクトが「洗濯機」であれば、洗濯機が発する動作音等をサンプリングした音声データである。換言すれば、当該音源オブジェクトに関連づけられた音声とも言える。音量パラメータ３２３は、その音源オブジェクトが発する音声の音量を示すパラメータである。また、バランスパラメータ３２４は、その音源オブジェクトが発する音声について、左スピーカ８８Ｌと右スピーカ８８Ｒとの左右の出力バランスを示すパラメータである。その他、図示は省略するが、その音源オブジェクトが発する音声の音質を定義する音質パラメータや、その音源オブジェクトの外観を示すデータ等も音源オブジェクトデータ３０５に含まれている。

図８に戻り、算出用距離３０６および算出用方向３０７は、出力する音声の音量および左スピーカ８８Ｌと右スピーカ８８Ｒとの左右の出力バランスを設定するために用いられるパラメータである。基本的には、プレイヤオブジェクト１０１から音源１０２の現在位置までの音源距離が上記算出用距離３０６となり、プレイヤオブジェクト１０１から音源１０２の現在位置までの音源方向を示す角度が上記算出用方向３０７となる。但し、上記補間期間中においては、上述したような補間による音源距離および音源方向が用いられることになる。

補間フラグ３０８は、後述する処理において、現在が上記補間期間中であるか否かを判定するためのフラグである。補間期間中は補間フラグ３０８にオンが設定される。また、補間フラグ３０８の初期値はオフである。

直前位置データ３０９は、仮想空間内におけるプレイヤオブジェクト１０１の１フレーム前の位置を示すデータである。

補間用距離データ３１０は、上述した補間期間内の各フレームでの上記音源距離を示すデータである。本実施形態では、補間期間として１０フレーム分の期間を例とするため、補間用距離データ３１０には、各フレームでの音源距離を示す合計１０のデータが含まれることになる。

補間用方向データ３１１は、上述した補間期間内の各フレームでの上記音源方向を示すデータである。上記補間用距離データ３１０と同様、本実施形態では各フレームでの音源方向を示す合計１０のデータが含まれることになる。

その他、図示は省略するが、仮想カメラを制御するためのパラメータ等、ゲーム処理に必要な各種のデータも記憶部８４に記憶される。

［プロセッサ８１が実行する処理の詳細］
次に、図１０～図１１のフローチャートを参照して、本実施形態にかかるゲーム処理の詳細を説明する。以下の説明では、主に（上述の瞬間移動発生時の）音源１０２に関する制御を中心に説明し、その他のゲーム処理についての詳細な説明は割愛する。

図１０は、本ゲーム処理の詳細を示すフローチャートである。まず、ステップＳ１で、プロセッサ８１は、プレイヤオブジェクト１０１の動作制御を行う。具体的には、プロセッサ８１は、まず、プレイヤオブジェクト１０１の仮想空間内における現在の位置座標を直前位置データ３０９として記憶部８４に記憶する。次に、プロセッサ８１は、操作データ３０２を取得する。更に、プロセッサ８１は、操作データ３０２で示される操作内容を判定する。その内容がプレイヤオブジェクト１０１の移動指示であれば、プロセッサ８１は、その指示内容に基づき、プレイヤオブジェクト１０１を仮想空間内で移動させる制御を行う。また、移動指示が行われていない場合でも、プロセッサ８１は、プレイヤオブジェクト１０１が上記ワープポイントの上に位置しているか否かを判定する。そして、位置している場合は、プロセッサ８１は、当該ワープポイントに対応づけられた仮想空間内の所定の位置にプレイヤオブジェクト１０１を「瞬間移動」させる処理も行う。そして、プロセッサ８１は、プレイヤオブジェクト１０１の位置に仮想マイクを配置する。つまり、プレイヤオブジェクト１０１の移動制御に伴って仮想カメラの位置も制御されることになる。

次に、ステップＳ２で、プロセッサ８１は、上記瞬間移動が発生したか否かを判定する。本実施形態では、現在のフレームにおけるプレイヤオブジェクト１０１の位置と、直前位置データ３０９で示される１フレーム前の位置とが所定の閾値以上離れている場合、プロセッサ８１は、瞬間移動が発生したと判定する。つまり、１フレームの間で所定の閾値を越える移動が発生したか否かを見ることで、瞬間移動が発生したか否かが判定される。なお、この「１フレーム前」は一例であり、数フレーム前の位置を基準として判定するようにしてもよい。当該判定の結果、瞬間移動が発生していない場合は（ステップＳ２でＮＯ）、ステップＳ３に処理が進められる。一方、瞬間移動が発生した場合は（ステップＳ２でＹＥＳ）、ステップＳ３で、プロセッサ８１は、補間処理を実行する。この処理は、上述したような、瞬間移動前の位置から瞬間移動後の位置までに係る上記音源距離および音源方向をそれぞれ補間するための処理である。

図１１は、上記補間処理の詳細を示すフローチャートである。図１１において、まず、ステップＳ２１で、プロセッサ８１は、補間フラグ３０８をオンに設定する。

次に、ステップＳ２２で、プロセッサ８１は、上述した第１の補間を行う。具体的にはプロセッサ８１は、直前位置データ３０９を参照し、１フレーム前のプレイヤオブジェクト１０１と音源１０２との音源距離（以下、直前距離）と、プレイヤオブジェクト１０１の現在位置と音源１０２との音源距離（以下、現在距離）とについて、補間期間のフレーム数分の補間値を算出する。本実施形態の例では、直前距離が徐々に現在距離に近づいていくように、１０フレーム分の補間値が算出される。なお、補間値の算出手法はどのような手法でもよいが、例えば、上記図６および図７の例でいうと、直前距離（本例では１０）と現在距離（本例では２）とを線形補間することで、補間値となる距離を算出してもよい。そして、プロセッサ８１は、このように算出した１０フレーム分の補間値を補間用距離データ３１０として記憶する。

次に、ステップＳ２３で、プロセッサ８１は、上述した第２の補間を行う。具体的には、プロセッサ８１は、直前位置データ３０９を参照し、１フレーム前のプレイヤオブジェクト１０１と音源１０２との音源方向（以下、直前方向）と、プレイヤオブジェクト１０１の現在位置と音源１０２との音源方向（以下、現在方向）とについて、補間期間のフレーム数分の補間値を算出する。本実施形態の例では、直前方向の（角度）が徐々に現在方向（の角度）に近づいていくように、１０フレーム分の補間値が算出される。上記図６および図７の例でいうと、直前方向（本例では２０°）と現在方向（本例では２００°）とを線形補間することで、補間値となる角度を算出してもよい。そして、プロセッサ８１は、このように算出した１０フレーム分の補間値を補間用方向データ３１１として記憶する。

次に、ステップＳ２４で、プロセッサ８１は、後述の処理で用いる変数ｎに１を設定する。なお、当該変数ｎは、補間期間中における各フレームの番号（何フレーム目か）を示すための変数である。本実施形態の例では、補間期間が１０フレームである場合を例としているため、当該変数が取り得る値も１～１０の範囲内の値となる。以上で、補間処理は終了する。

図１０に戻り、次に、ステップＳ４で、プロセッサ８１は、補間フラグ３０８を参照し、現在が補間期間中であるか否かを判定する。当該判定の結果、補間期間中ではない場合は（ステップＳ４でＮＯ）、ステップＳ５で、プロセッサ８１は、プレイヤオブジェクト１０１の現在位置から音源１０２までの音源距離を算出し、算出用距離３０６として記憶部８４に記憶する。

更に、ステップＳ６で、プロセッサ８１は、プレイヤオブジェクト１０１の現在位置から見た音源１０２の音源方向を算出し、算出用方向３０７として記憶部８４に記憶する。

次に、ステップＳ７で、プロセッサ８１は、算出用距離３０６および算出用方向３０７に基づいて、実際に出力する音声であるゲーム音声に係る音量パラメータ３２３、および、バランスパラメータ３２４を設定する。

次に、ステップＳ８で、プロセッサ８１は、上記設定内容に基づいてゲーム音声を生成する。また、プロセッサ８１は、現フレームにおける上記処理以外の各種ゲーム処理の結果を反映した画像であるゲーム画像も生成する。より具体的には、プロセッサ８１は、プレイヤオブジェクト１０１の移動に基づいて、仮想カメラの位置や向き、画角を設定する（例えば仮想カメラがプレイヤオブジェクト１０１に追従するような制御を行う）。また、プロセッサ８１は、仮想カメラの注視点がプレイヤオブジェクト１０１の位置となるよう設定する。更に、プロセッサ８１は、上記処理以外の各種ゲーム処理の結果が反映された仮想空間を当該仮想カメラで撮像することで、ゲーム画像を生成する。そして、プロセッサ８１は、当該生成したゲーム音声およびゲーム画像を出力する。その後、上記ステップＳ１に戻り、処理が繰り返される。

次に、上記ステップＳ４の判定の結果、補間期間中である場合（ステップＳ４でＹＥＳ）について説明する。この場合、まず、ステップＳ９で、プロセッサ８１は、補間用距離データ３１０を参照し、補間期間中のｎフレーム目に係る補間用距離の値を取得する。そして、プロセッサ８１は、当該補間用距離の値を算出用距離３０６として記憶部８４に記憶する。

次に、ステップＳ１０で、プロセッサ８１は、補間用方向データ３１１を参照し、補間期間中のｎフレーム目に係る補間用方向の値（角度）を取得する。そして、プロセッサ８１は、当該補間用方向の値を算出用方向３０７として記憶部８４に記憶する。

次に、ステップＳ１１で、プロセッサ８１は、上記変数ｎに１を加算する。

次に、ステップＳ１２で、プロセッサ８１は、上記変数ｎが１０以上であるか否かを判定することで、補間期間に入ってから１０フレームが経過したか否かを判定する。つまり、プロセッサ８１は、補間期間が終了したか否かを判定する。当該判定の結果、１０フレーム経過した場合は（ステップＳ１２でＹＥＳ）、ステップＳ１３で、プロセッサ８１は、補間フラグ３０８にオフを設定する。そして、プロセッサ８１は、上記ステップＳ７に処理を進める。一方、まだ１０フレーム経過していない場合は（ステップＳ１２でＮＯ）、プロセッサ８１は、上記ステップＳ１３の処理は行わずに、上記ステップＳ７に処理を進める。これにより、補間期間中は、上記図７で示したような補間位置に基づいた音声出力制御が行われることになる。

以上で、本実施形態に係るゲーム処理の詳細説明は終了する。

このように、本実施形態では、プレイヤオブジェクト１０１（仮想マイク）と音源１０２との位置関係について上記瞬間移動のような急激な変化が発生した場合、プレイヤオブジェクト１０１から音源１０２までの上記音源距離と、プレイヤオブジェクト１０１から見た音源１０２のある方向である上記音源方向とのそれぞれについて、変化発生前から変化発生後まで所定期間かけて変化するように補間している。そして、上記変化の発生後、当該所定期間中は、この補間内容に基づいて、出力する音声の音量およびスピーカの出力バランスの設定を行っている。これにより、音声出力中の音源１０２と仮想マイクとの位置関係が急激に変化した場合でも、音声出力の急激な変化を緩和して、ユーザに与える聴覚的な違和感を軽減することができる。

［変形例］

なお、上記実施形態では、補間値に関して、補間期間の一例である１０フレーム分の値を算出し、各フレームにおける値として記憶部８４に記憶する例を挙げた。他の実施形態では、補間期間中における１フレーム毎の変化量だけを算出して記憶しておき、上記ステップＳ９やＳ１０の処理では、補間用距離や補間用方向を記憶部８４から取得する代わりに、当該変化量に基づいて補間期間中の各フレームにおける算出用距離３０６および算出用方向３０７を算出するようにしてもよい。また、更に他の実施形態では、瞬間移動の発生時に上記ステップＳ３で示した補間処理を行うのではなく、補間期間中の毎フレームの処理において、上記補間用距離および補間用方向を算出するような処理としてもよい（例えば上記ステップＳ９やＳ１０の処理で補間用距離および補間用方向を算出してもよい）。

また、上記瞬間移動を行うトリガに関して、本実施形態では上述したワープポイントの上に乗るだけで瞬間移動する例で説明した。他の実施形態では、このような態様に限らず、瞬間移動を行うための別途の操作を要求してもよい。例えばワープポイントに乗った状態で、更に、所定の操作が行われたことで瞬間移動を行うようにしてもよい。また、その他、ワープポイントのような「乗る」ことができないオブジェクトを上記ワープポイント相当のものとして用いてもよい。この場合は、当該オブジェクトに近づいた状態で所定の操作が行われたことに応じて、上記のような瞬間移動を行ってもよい。

また、上記実施形態では、プレイヤオブジェクト１０１が瞬間移動する場合を例に挙げた。この他、プレイヤオブジェクト１０１ではなく音源１０２のほうが、所定の単位時間内（例えば１フレーム）に所定距離以上移動した場合でも、上述した処理は適用可能である。この場合も、プレイヤオブジェクト１０１と音源１０２との相対的な位置関係が急激に変化する状態といえるからである。

また、上記実施形態では、音声を出力するスピーカ（ステレオスピーカ）が２つである場合を例示した。これに限らず、３つ以上のスピーカ、例えばサラウンドスピーカ等に適用することも可能である。この場合も、上記補間期間中は、各スピーカの音量や出力バランスの設定を上記補間した音源距離および音源方向に基づいて行えばよい。

また、上記実施形態では、ゲームシステムにおけるゲーム処理に適用する場合を例に挙げたが、ゲーム処理に限るものではなく、仮想３次元空間における音声制御を行う情報処理全般について、上記のような処理は適用可能である。例えば、ゲーム的な要素のないＶＲコンテンツ等にも適用可能である。

また、上記実施形態においては、ゲーム処理にかかる一連の処理が単一の装置において実行される場合を説明したが、他の実施形態においては、上記一連の処理が複数の情報処理装置からなる情報処理システムにおいて実行されてもよい。例えば、端末側装置と、当該端末側装置とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの一部の処理がサーバ側装置によって実行されてもよい。更には、端末側装置と、当該端末側装置とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの主要な処理がサーバ側装置によって実行され、当該端末側装置では一部の処理が実行されてもよい。また、上記情報処理システムにおいて、サーバ側のシステムは、複数の情報処理装置によって構成され、サーバ側で実行するべき処理を複数の情報処理装置が分担して実行してもよい。

１ ゲームシステム
２ 本体装置
３ 左コントローラ
４ 右コントローラ
１２ ディスプレイ
８１ プロセッサ
８４ 記憶部

Claims (20)

1. 複数のスピーカへ音声出力可能な情報処理装置のコンピュータに、
   音声が関連付けられた仮想音源が配置された仮想空間内において、仮想マイクの位置を制御させ、
   前記仮想マイクから前記仮想音源までの相対的な距離と相対的な方向に基づいて、出力する前記音声の音量設定と、前記複数のスピーカへの出力バランスのバランス設定をさせ、
   設定された前記音量と前記出力バランスに基づいて前記複数のスピーカへ前記音声を出力させ、
   前記仮想マイクが、前記仮想空間内において所定の基準よりも大きく移動した場合に、当該仮想マイクの移動から所定期間の間、
   前記相対的な距離に関して、移動前の前記相対的な距離から移動後の前記相対的な距離まで前記所定期間をかけて変化させる第１の補間と、
   前記相対的な方向に関して、移動前の前記相対的な方向から移動後の前記相対的な方向まで前記所定期間をかけて変化させる第２の補間とをそれぞれ行わせ、
   前記第１の補間に基づいて設定された前記相対的な距離と、前記第２の補間に基づいて設定された前記相対的な方向に基づいた、前記音量設定および前記バランス設定を行わせる、情報処理プログラム。
2. 前記第１の補間および前記第２の補間は、線形補間である、請求項１記載の情報処理プログラム。
3. 前記所定の基準は、仮想空間内において、単位時間における移動距離が所定の距離となることである、請求項１または２のいずれか記載の情報処理プログラム。
4. 前記コンピュータに更に、
   操作入力に基づいて仮想カメラを制御させ、
   前記仮想マイクの位置を、前記仮想カメラの注視点の位置に基づいて制御させる、
   請求項１から３のいずれか記載の情報処理プログラム。
5. 前記コンピュータに更に、
   前記操作入力に基づいて、プレイヤキャラクタオブジェクトを制御させ、
   前記仮想カメラの注視点を、前記プレイヤキャラクタオブジェクトの位置に基づいて制御させ、
   前記プレイヤキャラクタオブジェクトが前記仮想空間内において第１のオブジェクトが配置された位置にいる場合に、前記操作入力に基づいて、前記プレイヤキャラクタオブジェクトを前記仮想空間内に配置された第２のオブジェクトの位置に移動させる、
   請求項４記載の情報処理プログラム。
6. 複数のスピーカへ音声出力可能な情報処理装置であって、
   音声が関連付けられた仮想音源が配置された仮想空間内において、仮想マイクの位置を制御する制御手段と、
   前記仮想マイクから前記仮想音源までの相対的な距離と相対的な方向に基づいて、出力する前記音声の音量設定と、前記複数のスピーカへの出力バランスのバランス設定を行う設定手段と、
   設定された前記音量と前記出力バランスに基づいて前記複数のスピーカへ前記音声を出力する出力手段とを備え、
   前記設定手段は、前記仮想マイクが、前記仮想空間内において所定の基準よりも大きく移動した場合に、当該仮想マイクの移動から所定期間の間は、
   前記相対的な距離に関して、移動前の前記相対的な距離から移動後の前記相対的な距離まで前記所定期間をかけて変化させる第１の補間と、
   前記相対的な方向に関して、移動前の前記相対的な方向から移動後の前記相対的な方向まで前記所定期間をかけて変化させる第２の補間とをそれぞれ行い、
   前記第１の補間に基づいて設定された前記相対的な距離と、前記第２の補間に基づいて設定された前記相対的な方向に基づいた、前記音量設定および前記バランス設定を行う、情報処理装置。
7. 前記第１の補間および前記第２の補間は、線形補間である、請求項６記載の情報処理装置。
8. 前記所定の基準は、仮想空間内において単位時間における移動距離が所定の距離となることである、請求項６または７のいずれか記載の情報処理装置。
9. 前記情報処理装置は、
   操作入力に基づいて、仮想カメラを制御させる仮想カメラ制御手段を更に備え、
   前記制御手段は、前記仮想マイクの位置を、前記仮想カメラの注視点の位置に基づいて制御する、請求項６から８のいずれか記載の情報処理装置。
10. 前記情報処理装置は、
    前記操作入力に基づいて、プレイヤキャラクタオブジェクトを制御させるプレイヤオブジェクト制御手段を更に備え、
    前記仮想カメラ制御手段は、前記仮想カメラの注視点を、前記プレイヤキャラクタオブジェクトの位置に基づいて制御し、
    前記プレイヤオブジェクト制御手段は、前記プレイヤキャラクタオブジェクトが前記仮想空間内において第１のオブジェクトが配置された位置にいる場合に、前記操作入力に基づいて、前記プレイヤキャラクタオブジェクトを前記仮想空間内に配置された第２のオブジェクトの位置に移動させる、請求項９記載の情報処理装置。
11. 複数のスピーカへ音声出力可能な情報処理システムであって、
    音声が関連付けられた仮想音源が配置された仮想空間内において、仮想マイクの位置を制御する制御手段と、
    前記仮想マイクから前記仮想音源までの相対的な距離と相対的な方向に基づいて、出力する前記音声の音量設定と、前記複数のスピーカへの出力バランスのバランス設定を行う設定手段と、
    設定された前記音量と前記出力バランスに基づいて前記複数のスピーカへ前記音声を出力する出力手段とを備え、
    前記設定手段は、前記仮想マイクが、前記仮想空間内において所定の基準よりも大きく移動した場合に、当該仮想マイクの移動から所定期間の間は、
    前記相対的な距離に関して、移動前の前記相対的な距離から移動後の前記相対的な距離まで前記所定期間をかけて変化させる第１の補間と、
    前記相対的な方向に関して、移動前の前記相対的な方向から移動後の前記相対的な方向まで前記所定期間をかけて変化させる第２の補間とをそれぞれ行い、
    前記第１の補間に基づいて設定された前記相対的な距離と、前記第２の補間に基づいて設定された前記相対的な方向に基づいた、前記音量設定および前記バランス設定を行う、情報処理システム。
12. 前記第１の補間および前記第２の補間は、線形補間である、請求項１１記載の情報処理システム。
13. 前記所定の基準は、仮想空間内において単位時間における移動距離が所定の距離となることである、請求項１１または１２のいずれか記載の情報処理システム。
14. 前記情報処理システムは、
    操作入力に基づいて、仮想カメラを制御させる仮想カメラ制御手段を更に備え、
    前記制御手段は、前記仮想マイクの位置を、前記仮想カメラの注視点の位置に基づいて制御する、請求項１１から１３のいずれか記載の情報処理システム。
15. 前記情報処理システムは、
    前記操作入力に基づいて、プレイヤキャラクタオブジェクトを制御させるプレイヤオブジェクト制御手段を更に備え、
    前記仮想カメラ制御手段は、前記仮想カメラの注視点を、前記プレイヤキャラクタオブジェクトの位置に基づいて制御し、
    前記プレイヤオブジェクト制御手段は、前記プレイヤキャラクタオブジェクトが前記仮想空間内において第１のオブジェクトが配置された位置にいる場合に、前記操作入力に基づいて、前記プレイヤキャラクタオブジェクトを前記仮想空間内に配置された第２のオブジェクトの位置に移動させる、請求項１４記載の情報処理システム。
16. 複数のスピーカへ音声出力可能な情報処理装置のコンピュータに実行させる情報処理方法であって、
    前記コンピュータに、
    音声が関連付けられた仮想音源が配置された仮想空間内において、仮想マイクの位置を制御させ、
    前記仮想マイクから前記仮想音源までの相対的な距離と相対的な方向に基づいて、出力する前記音声の音量設定と、前記複数のスピーカへの出力バランスのバランス設定をさせ、
    設定された前記音量と前記出力バランスに基づいて前記複数のスピーカへ前記音声を出力させ、
    前記仮想マイクが、前記仮想空間内において所定の基準よりも大きく移動した場合、当該仮想マイクの移動から所定期間の間は、
    前記相対的な距離に関して、移動前の前記相対的な距離から移動後の前記相対的な距離まで前記所定期間をかけて変化させる第１の補間と、
    前記相対的な方向に関して、移動前の前記相対的な方向から移動後の前記相対的な方向まで前記所定期間をかけて変化させる第２の補間とをそれぞれ行わせ、
    前記第１の補間に基づいて設定された前記相対的な距離と、前記第２の補間に基づいて設定された前記相対的な方向に基づいた、前記音量設定および前記バランス設定を行わせる、情報処理方法。
17. 前記第１の補間および前記第２の補間は、線形補間である、請求項１６記載の情報処理方法。
18. 前記所定の基準は、仮想空間内において単位時間における移動距離が所定の距離となることである、請求項１６または１７のいずれか記載の情報処理方法。
19. 前記コンピュータに更に、
    操作入力に基づいて、仮想カメラを制御させ、
    前記仮想マイクの位置を、前記仮想カメラの注視点の位置に基づいて制御させる、
    請求項１６から１８のいずれか記載の情報処理方法。
20. 前記コンピュータに更に、
    前記操作入力に基づいて、プレイヤキャラクタオブジェクトを制御させ、
    前記仮想カメラの注視点を、前記プレイヤキャラクタオブジェクトの位置に基づいて制御させ、
    前記プレイヤキャラクタオブジェクトが前記仮想空間内において第１のオブジェクトが配置された位置にいる場合に、前記操作入力に基づいて、前記プレイヤキャラクタオブジェクトを前記仮想空間内に配置された第２のオブジェクトの位置に移動させる、
    請求項１９記載の情報処理方法。

Images