JP6817282B2 - 音声生成プログラム、および音声生成装置 - Google Patents

Description

本発明は、音声生成プログラム、および音声生成装置に関する。

仮想ゲーム空間において、多様な音響表現効果が使用されている。例えば、いわゆるアクションゲームのなかには、ユーザが操作するプレイヤキャラクタが置かれている状況に応じてＢＧＭ（background music）を切替えるものがある（例えば特許文献１を参照）。

特開２００９−１００８９２号公報

前記の特許文献の例では、ゲームのおもしろさを向上させることに成功している。しかしながら、ゲームに限らず、映像とともに音響表現を用いる際には使える表現が多様であるほどユーザの満足度の向上が期待できる。

そこで、本発明の目的は、音声生成プログラム、および音声生成装置において、音響表現の多様化を図ることを目的とする。

第１の発明は、
コンピュータを、
複数のパートを含む楽曲を再生する機能を有し、前記楽曲の再生時に各パートの聞こえ方の優位性を指示に応じて制御する再生手段と、
仮想空間で動作するプレイヤキャラクタの、前記仮想空間内の所定領域における位置情報のみに応じて、前記再生手段に前記優位性を指示する指示手段と、
して機能させることを特徴とする音声生成プログラムである。

第１発明において、前記位置情報には、前記仮想空間における所定範囲毎に値が対応づけ、前指示手段は、前記値に基づいて、前記優位性を前記再生手段に指示するとよい。

前記発明においては、前記位置情報は、前記仮想空間の上下方向における位置の情報としてもよい。

前記発明においては、前記コンピュータを、前記パート毎に音像を定位する音像定位手段として機能させるとよい。

第２の発明は、前記発明の何れかの音声生成プログラムを記憶した記憶部と、前記音声生成プログラムを実行する制御部とを備えたことを特徴とする音声生成装置である。

本発明によれば、音声生成プログラム、および音声生成装置において、音響表現の多様化を図ることができる。

実施形態１のゲーム装置の構成を示すブロック図である。 指示手段による優位性の指示を例示する。 実施形態２のゲーム装置の構成を示すブロック図である。 部屋に三次元的な音場を形成するためのスピーカの配置を例示する。 像定位手段による音像定位を例示する。

以下、本発明の実施形態にかかる音声生成プログラム、および音声生成装置について、図面を参照して説明する。なお、本発明の音声生成プログラムは、ゲームプログラムとして実装されている。また、音声生成装置は、ゲーム装置として実現されている。

［実施形態１］
本実施形態で説明するゲームプログラムは、例えば、パーソナルコンピュータ、プレイステーション（登録商標）、ＸＢｏｘ（登録商標）、ＰｌａｙＳｔａｔｉｏｎ Ｖｉｔａ（登録商標）などのゲーム装置において実行される。

このゲームプログラムによるゲームでは、ユーザの操作を受けて、プレイヤキャラクタを三次元の仮想ゲーム空間（以下、単に仮想空間という）で活動させたり、プレイヤキャラクタの仲間に対して様々なアクションを行わせたりする。

このゲームにおける仮想空間には、海（主な舞台は深海）が存在する。プレイヤキャラクタ等は、この海では、所持するアイテム（装備）に応じた深さまで潜水することができる。プレイヤキャラクタ等は、潜水した深さに応じた水圧を受ける。このゲームでは、プレイヤキャラクタ等が受ける水圧をパラメータ（以下、水圧パラメータという）として、種々の状態変化（例えば、アイテムの破損、プレイヤキャラクタの死など）が起こる。

プレイヤキャラクタ等の移動過程やアクション等において、所定のトリガ条件を満たすとＢＧＭが流れる。所定のトリガ条件とは、例えば、プレイヤキャラクタの所定場所への移動、敵キャラクタの出現、敵キャラクタを倒したあと、アイテムの発見などである。

〈ゲーム装置の構成〉
ゲーム装置５は、ユーザの操作に基づいて所定のゲームを実行する。図１は、本実施形態のゲーム装置５の構成を示すブロック図である。ゲーム装置５には、ディスプレイ６１、スピーカ６２およびコントローラ６３が外部接続または内蔵される。ゲーム装置５では、例えば、インストールされたゲームプログラムおよびゲームデータに基づいてゲームが進行する。なお、ゲーム装置５同士も、通信ネットワーク（図示を省略）または近距離無線通信装置（図示せず）を用いて、互いにデータ通信を行うことができる。

ゲーム装置５は、ネットワークインターフェース５１、グラフィック処理部５２、オーディオ処理部５３、操作部５４、記憶部５５および制御部５６を有する。ネットワークインターフェース５１、グラフィック処理部５２、オーディオ処理部５３、操作部５４および記憶部５５は、バス５９を介して制御部５６と電気的に接続されている。

ネットワークインターフェース５１は、例えばゲーム装置５や外部のサーバ装置（図示を省略）との間で各種データを送受信するために、前記通信ネットワークに通信可能に接続される。

グラフィック処理部５２は、制御部５６から出力されるゲーム画像情報に従って、プレイヤキャラクタおよびゲーム空間に関する各種オブジェクトを含むゲーム画像を、動画形式で描画する。グラフィック処理部５２はディスプレイ６１と接続されており、動画形式に描画されたゲーム画像は、ゲーム画面としてディスプレイ６１上に表示される。

オーディオ処理部５３は、制御部５６の指示に従ってデジタルのゲーム音声（以下、音声データという）を再生および合成する。オーディオ処理部５３はスピーカ６２と接続されており、再生および合成されたゲーム音声は、スピーカ６２から出力される。オーディオ処理部５３の詳細については、のちに詳述する。

操作部５４は、コントローラ６３と接続され、操作入力に関するデータをコントローラ６３との間で送受信する。例えば、ユーザは、コントローラ６３に設けられたボタン等の操作子（図示略）を操作することにより、ゲーム装置５に操作信号を入力する。

記憶部５５は、ＨＤＤ、ＲＡＭおよびＲＯＭ等で構成される。記憶部５５は、ゲームプログラムおよびゲームデータを記憶することができる。また、記憶部５５には、他のゲーム装置５から受信した他アカウント情報なども記憶される。

制御部５６は、ＣＰＵおよび半導体メモリを含むマイクロコンピュータで構成され、ゲーム装置５自身の動作を制御する。例えば、制御部５６は、前記ゲームプログラムを実行することにより、グラフィック処理部５２およびオーディオ処理部５３を動作させる。

〈オーディオ処理部の機能的構成〉
オーディオ処理部５３は、ゲーム音声の再生や合成の機能を発揮する、いわゆるミドルウエアを実行する。ここで、ゲーム音声とは、ゲーム中にスピーカ６２から流れる音声であり、例えば、ＢＧＭ、環境音、ユーザの操作に応じて流れる効果音などの種々の音声を含む。

オーディオ処理部５３は、前記ミドルウエアを実行することにより、再生手段５３１として機能する。再生手段５３１は、複数のパートを含む楽曲を再生する機能を有している。この楽曲の再生時に再生手段５３１は、各パートの聞こえ方の優位性を制御する。

具体的に、再生手段５３１は、楽曲の全パートを再生する他に、何れかのパートを単独で再生したり、幾つかのパートを組み合わせて再生したりできる。その際、再生手段５３１は、再生するパートの音量を個別に調整できる。再生手段５３１は、優位性の制御を外部からの指示に応じて行う。この例では、再生手段５３１に対する指示は、後述の指示手段５６１から与えられる。

〈制御部の機能的構成〉
制御部５６は、ゲームプログラムを実行することにより、指示手段５６１として機能する。指示手段５６１は、海（仮想空間）におけるプレイヤキャラクタの潜水深度（位置情報）に応じて、前記優位性を再生手段５３１に指示する。この例では、指示手段５６１は、潜水深度と、再生すべきパートとの対応表を楽曲毎に持っている。指示手段５６１は、再生される楽曲が決定されると、プレイヤキャラクタの潜水深度をキーとして前記対応表を検索して、再生すべきパートを再生手段５３１に指示する。

図２に、指示手段５６１による優位性の指示例を示す。図２では、３つのパートから構成された楽曲に対する優位性の制御を例に挙げている。この楽曲の各パートをそれぞれ、第１層、第２層、第３層と命名する。図２では、海Sは、深さ方向に５段階に区切られている。ここでは、深さの段階を海面から順に第１深度、第２深度、第３深度、第４深度、第５深度と命名する。

このゲームでは、プレイヤキャラクタＰＣとして、潜水服を着た人を想定している。海ＳでのプレイヤキャラクタＰＣの位置情報は、プレイヤキャラクタＰＣが、第１深度〜第５深度の何れにいるかで表される。換言すると、仮想空間ＶＳにおけるプレイヤキャラクタＰＣ（オブジェクト）の位置情報には、仮想空間ＶＳにおける所定範囲毎に値（数値には限定されない）が対応づけられている。

〈動作例〉
図２では、深度毎に、再生されるパートが記入されている。図２の例では、プレイヤキャラクタＰＣは、第１深度まで潜水している。この場合には、指示手段５６１は、楽曲の第１層のみの再生を再生手段５３１に指示する。この指示によって、再生手段５３１は、楽曲の第１層のみを再生する。その結果、プレイヤキャラクタＰＣの潜水深度が第１深度の場合には、楽曲の第１層のみがユーザに聞こえ、楽曲の他の層はユーザに聞こえない。つまり、楽曲の第１層の優位性が高く制御される。

また、プレイヤキャラクタＰＣが第２深度まで潜水したとすると、指示手段５６１は、楽曲の第１層と第２層の再生を再生手段５３１に指示する。この指示によって、再生手段５３１は、楽曲の第１層と第２層を再生し、第３層は再生しない。その結果、プレイヤキャラクタＰＣの潜水深度が第２深度の場合は、楽曲の第１層と第２層はユーザに聞こえ、第３層はユーザに聞こえない。

以下、同様にして、指示手段５６１は、プレイヤキャラクタＰＣの潜水深度が第３深度の場合には楽曲の第２層のみの再生、第４深度の場合には楽曲の第２層と第３層の再生、第４深度の場合には楽曲の第３層のみの再生をそれぞれ再生手段５３１に指示する。

以上をまとめると、本件発明は、コンピュータを、複数のパートを含む楽曲を再生する機能を有し、前記楽曲の再生時に各パートの聞こえ方の優位性を指示に応じて制御する再生手段５３１（オーディオ処理部５３）と、仮想空間で動作するオブジェクトの前記仮想空間における位置情報に応じて、前記再生手段に前記優位性を指示する指示手段５６１（制御部５６）として機能させることを特徴とする音声生成プログラムである。

〈本実施形態の効果〉
以上のように、本実施形態では、仮想空間におけるプレイヤキャラクタの位置情報に応じて、各パートとの聞こえ方の優位性が制御される。すなわち、本実施形態によれば、音声生成プログラム（ゲームプログラム）および音声生成装置（ゲーム装置）において、音響表現の多様化を図ることができる。例えば、本実施形態のように、深海など、画面の表示上からはユーザが位置関係を判断しにくいような空間であっても、音の聞こえ方からどのあたりの深度（位置）にいるのかを判断することができる。

［実施形態２］
図３は、実施形態２のゲーム装置５の構成を示すブロック図である。図３に示すように、本実施形態のゲーム装置５は、実施形態１のオーディオ処理部５３に音像定位手段５３２を追加して構成したものである。すなわち、本実施形態のオーディオ処理部５３は、前記ミドルウエアを実行することによって、音像定位手段５３２としても機能する。

音像定位手段５３２は、仮想空間内で音源として機能するオブジェクト（以下、音源オブジェクトという）の音像定位を行う。具体的に、音像定位手段５３２は、ゲーム音声の再生の際に、仮想空間ＶＳに仮想のマイク（以下、仮想マイクＬ）を設定する。この例では仮想マイクＬは、プレイヤキャラクタの近傍に設定されている。

音像定位手段５３２は、音源オブジェクトから発せられた音声を、あたかも仮想マイクＬで集音したかのような音響表現で、スピーカ６２に出力する。すなわち、仮想マイクＬは、仮想の聴取者であり、オーディオ処理部５３のミドルウエアにおいては、音像定位の基準点である。

その際、音像定位手段５３２は、三次元的な音像定位を行う。例えば、音源オブジェクトがプレイヤキャラクタよりも海Ｓの浅い位置（換言すると仮想空間の上方）に存在する場合には、音が上方から聞こえるように、出力チャンネル（音を出力するスピーカ）の選択、音量調整などを行う。このような、三次元の音像定位を実現する技術としては、一例としてドルビーアトモス（登録商標）が挙げられる。

図４に、ユーザが居る部屋Ｒに三次元的な音場を形成するためのスピーカ６２の配置を例示する。図４の例では、ユーザが座る椅子ＣＨは、部屋Ｒの概ね中心に配置されている。椅子ＣＨの正面の左（FL）、中央（C）、正面の右（FR）、左後方（SL）、右後方（SR）のそれぞれにスピーカ６２が配置されている。中央スピーカ（C）の横には、サブウーハ（SW）も配置されている。

更に、正面左スピーカＦＬの上方、正面右スピーカＦＲの上方、左後方スピーカＳＬの上方、及び右後方スピーカＳＲの上方にも、それぞれスピーカＴＦＬ，ＴＦＲ，ＴＲＬ，ＴＲＲが配置されている。上方に配置されたこれらのスピーカは、ハイトスピーカとも呼ばれる。

音像定位手段５３２は、再生手段５３１によって再生される楽曲については、パート毎に、仮想空位間の上下方向（この例では海の深さ方向）における音像の定位を行う。具体的に、音像定位手段５３２は、水圧パラメータ（換言すると、プレイヤキャラクタの潜水深度）に応じて、各パートの音像を定位する。

図５に、音像定位手段５３２による、楽曲の各パートの音像定位を例示する。この例でも、楽曲は３つのパート（ここでも各パートを第１層、第２層、第３層とよぶ）から構成されている。また、海Sは、深さ方向に５段階に区切られている。深さの段階を海面から順に第１深度、第２深度、第３深度、第４深度、第５深度と呼ぶ。

海ＳでのプレイヤキャラクタＰＣの位置情報は、プレイヤキャラクタＰＣが、第１深度〜第５深度の何れにいるかで表される。図５の例では、プレイヤキャラクタＰＣは、第１深度まで潜水している。

〈動作例〉
図５には、深度毎に部屋Ｒを併記してある。併記した各部屋Ｒには、楽曲の再生に使用されるスピーカ６２を枠線で囲んで表示してある。それぞれの枠の横には、その枠で囲まれたスピーカ６２で再生される層（パート）を示してある。例えば、プレイヤキャラクタＰＣが第１深度まで潜水している場合には、指示手段５６１は、楽曲の第１層のみの再生を再生手段５３１に指示する。この指示によって、再生手段５３１は、楽曲の第１層のみを再生する。

プレイヤキャラクタＰＣの潜水深度が第１深度の場合は、音像定位手段５３２は、音像を平面的に定位させる。具体的には、音像定位手段５３２は、楽曲の第１層を正面左スピーカＦＬと正面右スピーカＦＲとから出力させている。その結果、プレイヤキャラクタＰＣの潜水深度が第１深度の場合は、ユーザには楽曲の第１層のみが前方から聞こえ、楽曲の他の層（パート）は聞こえない。

プレイヤキャラクタＰＣが第２深度まで潜水すると、指示手段５６１は、楽曲の第１層と第２層の再生を再生手段５３１に指示する。この指示によって、再生手段５３１は、楽曲の第１層と第２層を再生し、第３層は再生しない。

音像定位手段５３２は、第１層を上方に定位させ、第２層を平面的に定位させる。具体的に音像定位手段５３２は、楽曲の第１層を上方左スピーカＴＦＬと上方右スピーカＴＦＲとから出力させる。また、音像定位手段５３２は、楽曲の第２層を正面左スピーカＦＬと正面右スピーカＦＲとから出力させる。その結果、プレイヤキャラクタＰＣの潜水深度が第２深度の場合は、ユーザには、楽曲の第２層は正面から聞こえ、第１層は第２層よりも上方から聞こえる。第３層はユーザには聞こえない。

プレイヤキャラクタＰＣが第３深度まで潜水すると、指示手段５６１は、楽曲の第２層のみの再生を再生手段５３１に指示する。この指示によって、再生手段５３１は、楽曲の第２層のみを再生する。一方、音像定位手段５３２は、音像を平面的に定位させる。この例では、音像定位手段５３２は、楽曲の第２層を正面左スピーカＦＬと正面右スピーカＦＲとから出力させている。その結果、プレイヤキャラクタＰＣの潜水深度が第３深度の場合は、ユーザには楽曲の第２層のみが前方から聞こえ、楽曲の他の層（パート）は聞こえない。

プレイヤキャラクタＰＣが第４深度まで潜水すると、再生手段５３１は、指示手段５６１の指示に応じて、楽曲の第２層と第３層を再生し、第１層は再生しない。音像定位手段５３２は、第２層を上方に定位させ、第３層を平面的に定位させる。

具体的には、音像定位手段５３２は、楽曲の第２層を上方左スピーカＴＦＬと上方右スピーカＴＦＲから出力させる。また、音像定位手段５３２は、楽曲の第３層を正面左スピーカＦＬと正面右スピーカＦＲから出力させる。その結果、プレイヤキャラクタＰＣの潜水深度が第４深度の場合は、ユーザには、楽曲の第３層は正面から聞こえ、第２層は第３層よりも上方に聞こえる。第１層はユーザには聞こえない。

プレイヤキャラクタＰＣが第５深度まで潜水すると、指示手段５６１は、楽曲の第３層のみの再生を再生手段５３１に指示する。この指示によって、再生手段５３１は、楽曲の第３層のみを再生する。音像定位手段５３２は、音像を平面的に定位させる。この例では、音像定位手段５３２は、楽曲の第３層を正面左スピーカＦＬと正面右スピーカＦＲとから出力させている。その結果、プレイヤキャラクタＰＣの潜水深度が第５深度の場合は、ユーザには楽曲の第３層のみが前方から聞こえ、楽曲の他の層（パート）は聞こえない。

〈本実施形態の効果〉
以上の通り、本実施形態では、プレイヤキャラクタＰＣの位置情報に基づいて、楽曲のパート毎に音像定位が行われる。すなわち、本実施形態によれば、音声生成プログラム（ゲームプログラム）および音声生成装置（ゲーム装置）において、音響表現の多様化を図ることができる。

［その他の実施形態］
なお、聞こえ方の優位性は、パートの再生を行うか否かで調整する他に、パート間の音量の差違で調整してもよい。

また、実施形態で説明したスピーカの数や配置は例示である。また、スピーカに代えて、ヘッドフォンに出力してもよい。ヘッドフォンを用いる場合や十分な数のスピーカを設けられない場合には、音声データに対して、頭部伝達関数を用いた処理などを適宜行うことによって、実施形態２のスピーカ配置と同様の臨場感を得られる。

また、楽曲を構成するパート数は例示である。

また、位置情報は、範囲毎に値を対応させる代わりに、連続的な値（例えば仮想空間における距離）で表してもよい。

また、ゲームの舞台は海（深海）には、限定されない。上下の広がりを持つ場所（仮想空間）に前記実施形態を適用できる。例えば、プレイヤオブジェクト（飛行機等）が空中を飛行するゲームにも適用することが考えられる。

また、前記音声生成プログラムは、映画など、ゲーム以外のメディアに対して適用してもよい。

また、制御部５６やオーディオ処理部５３の機能分担は例示である。例えば、制御部５６で行っていた処理をオーディオ処理部５３で行うようにゲームプログラム（音声生成プログラム）を実装してもよいし、オーディオ処理部５３で行っていた処理を制御部５６で行うようにゲームプログラム（音声生成プログラム）を実装してもよい。

また、ゲームプログラムは、いわゆるオンラインゲーム用のゲームプログラムとして実装してもよい。ゲームプログラムがオンラインゲーム用である場合には、制御部５６やオーディオ処理部５３で行っていた処理をそれらに代わってサーバ側で行ってもよいし、サーバ側とクライアント（ゲーム装置５）側とで分担してもよい。

これらの他の実施形態を採用した場合においても、本発明の作用効果は発揮される。また、本実施形態と他の実施形態、および他の実施形態同士を適宜組み合わせることも可能である。

５ ゲーム装置
５５ 記憶部
５６ 制御部
５３１ 再生手段
５３２ 音像定位手段
５６１ 指示手段

Claims (5)

1. コンピュータを、
   複数のパートを含む楽曲を再生する機能を有し、前記楽曲の再生時に各パートの聞こえ方の優位性を指示に応じて制御する再生手段と、
   仮想空間で動作するプレイヤキャラクタの、前記仮想空間内の所定領域における位置情報のみに応じて、前記再生手段に前記優位性を指示する指示手段と、
   して機能させることを特徴とする音声生成プログラム。
2. 請求項１において、
   前記位置情報には、前記仮想空間における所定範囲毎に値が対応づけられ、
   前指示手段は、前記値に基づいて、前記優位性を前記再生手段に指示することを特徴とする音声生成プログラム。
3. 請求項１または請求項２において、
   前記位置情報は、前記仮想空間の上下方向における位置の情報であることを特徴とする音声生成プログラム。
4. 請求項１から請求項３の何れかにおいて、
   前記コンピュータを、
   前記パート毎に音像を定位する音像定位手段として機能させることを特徴とする音声生成プログラム。
5. 請求項１から請求項４の何れかの音声生成プログラムを記憶した記憶部と、
   前記音声生成プログラムを実行する制御部と、
   を備えたことを特徴とする音声生成装置。

Images