JP5983313B2 - 情報処理装置、音像定位強調方法、及び音像定位強調プログラム - Google Patents

Description

本発明は、情報処理装置、音像定位強調方法、及び音像定位強調プログラムに関する。

左右のスピーカを用いて聴取者に対しステレオ信号に基づく音を再生する際、左側のスピーカで再生された左側の音は、聴取者の左耳だけでなく右耳にも伝達する。同様に、右側のスピーカで再生された右側の音は、聴取者の右耳だけでなく左耳にも伝達する。これに対し、聴取者が、イヤホン，ヘッドホン等の耳装着型音響再生装置を用いて聴取する場合、左側の音は右耳に伝達せず、右側の音は左耳に伝達しない。そこで、耳装着型音響再生装置において、左側からは左側の音とともに右側の音が一定の時間だけ遅延して聴こえるように補正を行なうとともに、右側からは右側の音とともに左側の音が一定の時間だけ遅延して聴こえるように補正を行なう技術が知られている。

また、例えば図２６に示すように聴取者に対し右４５度前方に音源Ｓが配置されている場合、音源Ｓから発せられる音は、聴取者の左右両方の耳に到達する。そこで、聴取者に対し所定方向に配置された音源Ｓから聴取者に耳に至るまでの音の伝達特性であるＨＲＴＦ（Head Related Transfer Function；頭部伝達関数）を、左右の耳について予め求め、当該ＨＲＴＦを用いた音像定位の処理を施す技術も知られている。このとき、音源Ｓからの音響信号に、前記所定方向に対応する左右耳用ＨＲＴＦを畳み込むことにより、聴取者に対する左右の音が生成されて再生される。これにより、聴取者には、自分の周囲の所定方向から音が聴こえてくるようになる。

特開平０９−１９８０５６号公報 特開２００８−９２１９３号公報 特開平０９−２０５７００号公報

上述した技術では、聴取者の正面側（図２６の前方０度方向）の音像の定位が不十分であるため、前方の音像が聴取者の頭内または頭部分からの音のように聴こえる。そこで、聴取者の正面側の音量を、後方側の音量に比べて大きくすることも知られているが、それでもまだ、前方の音像定位感が低く、音像を明確に定位することができない。

また、聴取者が、耳装着型音響再生装置を用いて、当該聴取者周囲の複数方向からの音を聴取する場合、以下のような仮想スピーカ（仮想音源）を用いる技術が知られている。この技術では、聴取者の周囲において当該聴取者の頭部を中心とする周上に等間隔に配置された複数の仮想スピーカが予め規定されている。そして、再生すべき複数の音源からの音響信号が各仮想スピーカに配分され、各仮想スピーカに配分された音響信号に、各仮想スピーカ（聴取者に対する方向）に応じたＨＲＴＦを畳み込むことにより、聴取者に対する左右の音が生成され再生される。この技術によれば、音源の数によらず、ＨＲＴＦの畳み込み等の処理量を、常に仮想スピーカの数に対応した量とすることができる。このような技術においても、前方の音像定位感を向上させるべく、聴取者の正面側に近い仮想スピーカの音量を、聴取者の後方側に近い仮想スピーカの音量に比べ大きくなるように設定することが行なわれている。しかしながら、上述のような音量設定を行なっても、聴取者の正面側の音像定位は十分と言えず、前方の音像が聴取者の頭内または頭部分からの音のように聴こえ、音像を明確に定位することができない。

一つの側面で、本発明は、音像を明確に定位可能にすることを目的とする。
なお、前記目的に限らず、後述する発明を実施するための最良の形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本件の他の目的の一つとして位置付けることができる。

一つの案において、情報処理装置は、生成部，配置部および配分部を有している。前記生成部は、複数の仮想音源のそれぞれに配分された音響信号に、前記複数の仮想音源のそれぞれの聴取者に対する方向に応じた伝達関数を畳み込むことにより、前記聴取者に対する左右の音を生成する。前記配置部は、前記複数の仮想音源のうち前記聴取者の前方側仮想音源に対し、前記前方側仮想音源以外の仮想音源が前記聴取者の後方側に偏った位置に配置されるように、前記複数の仮想音源を配置する。前記配分部は、前記聴取者の周囲において前記聴取者の頭部を中心に配置された前記複数の仮想音源のそれぞれに、複数の音源からの前記音響信号を配分する。そして、前記配置部は、前記配分部によって前記音響信号を配分された前記複数の仮想音源の配置位置を、前記前方側仮想音源に対し、前記前方側仮想音源以外の仮想音源が前記聴取者の後方側に偏った位置に配置されるように、補正する。また、前記生成部は、前記配分部によって前記複数の仮想音源のそれぞれに配分された前記音響信号に、前記配置部によって配置位置を補正された前記複数の仮想音源のそれぞれの前記聴取者に対する方向に応じた伝達関数を畳み込むことにより、前記聴取者に対する前記左右の音を生成する。

一実施形態によれば、音像が明確に定位可能になる。

本実施形態の情報処理装置および耳装着型音響再生装置のハードウェア構成および機能構成を示すブロック図である。 図１に示す情報処理装置の機能構成を示すブロック図である。 仮想スピーカ方式を採用しない場合の音源再生処理を説明する図である。 仮想スピーカ方式を採用した場合の音源再生処理を説明する図である。 各仮想スピーカへの音源の配分手法を説明する図である。 （Ａ），（Ｂ）は、頭部姿勢連動の音像定位を説明する図である。 （Ａ），（Ｂ）は、仮想スピーカ方式を採用し且つ頭部姿勢連動を行なう場合の音源再生処理を説明する図である。 （Ａ），（Ｂ）は、本実施形態における、仮想スピーカの位置移動および音量による音像定位強調について説明する図である。 （Ａ）〜（Ｃ）は、それぞれ、本実施形態における、仮想スピーカの位置移動および音量による音像定位強調の第１〜第３変形例について説明する図である。 （Ａ），（Ｂ）は、図９（Ａ）に示す第１変形例における仮想スピーカの位置移動の具体例を説明する図である。 （Ａ）〜（Ｃ）は、図９（Ｂ）に示す第２変形例における仮想スピーカの位置移動の具体例を説明する図である。 （Ａ）〜（Ｃ）は、図９（Ｃ）に示す第３変形例における仮想スピーカの位置移動の具体例を説明する図である。 （Ａ）〜（Ｃ）は、図８（Ａ），（Ｂ）または図９（Ａ）に対応する、仮想スピーカの位置移動および音量による音像定位強調の具体例を説明する図である。 図１および図２に示す情報処理装置の動作を説明するフローチャートである。 図１および図２に示す情報処理装置の動作の変形例を説明するフローチャートである。 （Ａ）〜（Ｃ）は、図１および図２に示す情報処理装置の記憶部における状態データの初期状態の例を示す図である。 （Ａ）〜（Ｃ）は、図１６（Ａ）〜（Ｃ）に示す状態データに対し仮想スピーカの位置移動制御を行なって得られた状態データの例を示す図である。 （Ａ）〜（Ｃ）は、図１７（Ａ）〜（Ｃ）に示す状態データに対し仮想スピーカの音量制御を行なって得られた状態データの例を示す図である。 （Ａ）〜（Ｃ）は、図１８（Ａ）〜（Ｃ）に示す状態から聴取者が９０度だけ時計回りに回転した時の、仮想スピーカの位置移動制御後および音量制御後の状態データの例を示す図である。 （Ａ），（Ｂ）は、音像定位強調処理の４つの評価条件Ｉ〜IVを説明する図である。 評価条件Ｉでの評価実験結果を示す図である。 評価条件IIでの評価実験結果を示す図である。 評価条件IIIでの評価実験結果を示す図である。 評価条件IVでの評価実験結果を示す図である。 評価条件Ｉ〜IVでの実験により得られた回答の正解率を示す図である。 音源から聴取者の左右両耳に到達する音および頭部伝達関数（ＨＲＴＦ）について説明する図である。

以下、図面を参照して実施の形態を説明する。
〔１〕仮想スピーカ（仮想音源）方式
図３および図４を参照しながら、本実施形態において、本願の技術を適用される仮想スピーカ（仮想音源）方式について説明する。なお、図３は仮想スピーカ方式を採用しない場合の音源再生処理を説明する図、図４は仮想スピーカ方式を採用した場合の音源再生処理を説明する図である。

本願の技術は、博物館，美術館，展示会，テーマパークなどにおいて、イヤホン，ヘッドホン等の耳装着型音響再生装置を装着した聴取者が、展示物の方向から、当該展示物に係る展示案内の音声や音楽を聴取可能にするシステムに適用される。

このとき、図３を参照しながら、仮想スピーカ方式を採用しないシステムを用いて、展示会場における１０個の展示（音源）Ｓ１〜Ｓ１０の方向から音が聞こえるようにする際の音源再生処理について説明する。音源Ｓ１〜Ｓ１０のそれぞれとしては、例えば、展示説明を事前に録音した音源ファイル、もしくは、展示説明員等がマイクロホンからリアルタイムに入力する音声信号が用いられる。また、聴取者に対する各音源Ｓ１〜Ｓ１０の配置方向に対応する１０個のＨＲＴＦが事前に取得されている。即ち、図３に示す例では、０度，３０度，４５度，９０度，１３５度，１８０度，２２５度，２７０度，３１５度，３３０度のＨＲＴＦが事前に取得されている。そして、１０個の音源Ｓ１〜Ｓ１０からの音響信号に、それぞれ、聴取者に対する配置方向に応じたＨＲＴＦを畳み込むことで、聴取者に対する左右の音が生成されイヤホン等で再生される。これにより、聴取者には、自分の周囲の１０方向から１０種類の音源Ｓ１〜Ｓ１０の音が聴こえてくるようになるが、仮想スピーカ方式を採用しないシステムでは、展示数（音源数）だけ、ＨＲＴＦの畳み込みや残響付加等の処理を行なう必要がある。

次に、図４を参照しながら、仮想スピーカ方式を採用したシステムを用いて、展示会場における１０個の展示（音源）Ｓ１〜Ｓ１０の方向から音が聞こえるようにする際の音源再生処理について説明する。音源Ｓ１〜Ｓ１０のそれぞれとしては、上述と同様のものが用いられる。仮想スピーカ方式を採用する場合、図４に示すように、聴取者の周囲において当該聴取者の頭部を中心とする円周上に等間隔（図４では４５度間隔）に配置された、８個の仮想スピーカ（仮想音源）ＶＳ０〜ＶＳ７（ｃｈ０〜ｃｈ７）が予め規定されている。また、聴取者に対する各仮想スピーカＶＳ０〜ＶＳ７の配置方向に対応する８個のＨＲＴＦが事前に取得されている。即ち、図４に示す例では、０度，４５度，９０度，１３５度，１８０度，２２５度，２７０度，３１５度のＨＲＴＦが事前に取得されている。そして、再生すべき１０個の音源Ｓ１〜Ｓ１０からの音響信号が８個の仮想スピーカＶＳ０〜ＶＳ７に配分される。具体的には図５を参照しながら後述するように、音源と聴取者とを結ぶ直線上または略直線上に仮想スピーカが存在する場合、当該仮想スピーカに、当該音源の音響信号が配分される。一方、音源と聴取者とを結ぶ直線上もしくは略直線上に仮想スピーカが存在しない場合、当該音源に近い２個の仮想スピーカに対し、当該音源の音響信号が比例配分される。このようにして各仮想スピーカに配分された音響信号に、各仮想スピーカ（聴取者に対する方向）に応じたＨＲＴＦを畳み込むことで、聴取者に対する左右の音が生成され再生される。このように仮想スピーカ方式を採用した場合、音源の数によらず、ＨＲＴＦの畳み込みや残響付加等の処理量を、常に仮想スピーカの数に対応した量とすることができる。つまり、音源数が１０であっても２０であっても、ＨＲＴＦの畳み込みや残響付加等の処理の実行回数は、仮想スピーカＶＳ０〜ＶＳ７の数（図４では８回）だけで済むため、ＨＲＴＦの畳み込みや残響付加等の処理量を増大させることがない。

〔２〕本実施形態の情報処理装置および耳装着型音響再生装置の構成
まず、図１，図２および図５〜図１３を参照しながら、本実施形態の情報処理装置１および耳装着型音響再生装置２の構成や機能について説明する。なお、図１は、本実施形態の情報処理装置１および耳装着型音響再生装置２のハードウェア構成および機能構成を示すブロック図、図２は、図１に示す情報処理装置１の機能構成を示すブロック図である。

図１および図２に示すように、本実施形態のシステムは、情報処理装置１および耳装着型音響再生装置２を有している。
耳装着型音響再生装置２は、聴取者の耳に装着されるイヤホン，ヘッドホン等であり、聴取者の左右の耳に対して音を発する左側音発生部（Ｌｃｈ）２１Ｌおよび右側音発生部（Ｒｃｈ）２１Ｒを有している。また、耳装着型音響再生装置２は、聴取者の位置を取得する聴取者位置取得手段２２と、聴取者の頭部の方向を取得する聴取者頭部姿勢角度取得手段２３とを有している。

聴取者位置取得手段２２は、取得者の位置を経度緯度情報として検出するＧＰＳ（Global Positioning System）や、電波測位システム等の位置センサ２２ａを含む。
聴取者頭部姿勢角度取得手段２３は、基準方向（例えば図５，図７，図８のｙ軸方向）に対する聴取者の注視方向／正面方向の角度を頭部姿勢角θを検出する頭部姿勢センサであり、例えば加速度センサ２３ａ，地磁気センサ２３ｂ，ジャイロセンサ２３ｃを含む。
聴取者位置取得手段２２および聴取者頭部姿勢角度取得手段２３によって取得された情報（位置，頭部姿勢角）は、有線または無線によって耳装着型音響再生装置２から情報処理装置１に送信される。無線によって情報を送信する場合、Bluetooth（登録商標），Ｗｉ−Ｆｉなどの通信方式が用いられる。

情報処理装置１は、少なくとも音楽再生機能を有し音響信号に音響処理を施して定位音を再生させる装置で、パーソナルコンピュータ（ＰＣ），携帯電話，スマートフォン，タブレット端末等であり、記憶部１Ａおよび処理部１Ｂを有している。
記憶部１Ａは、ＲＡＭ（Random Access Memory），ＨＤＤ（Hard Disk Drive），ＳＳＤ（Solid State Drive）等である。記憶部１Ａには、複数の音源Ｓ１，Ｓ２，…や、各音源Ｓ１，Ｓ２，…の位置情報（展示位置情報）や、各種情報が記憶される。各音源Ｓ１，Ｓ２，…としては、例えば、展示物に関する展示説明を事前に録音した音源ファイルが記憶される。

各種情報としては、少なくとも、以下の情報(11)〜(14)が記憶される。
(11)仮想スピーカ（仮想音源）ＶＳ０〜ＶＳ７に関する情報。例えば、各仮想スピーカＶＳ０〜ＶＳ７の聴取者に対する基準配置（図５参照；位置，方向）や、図１６〜図１９を参照しながら後述する仮想スピーカ状態に関する情報（つまり、各仮想スピーカＶＳ０〜ＶＳ７の位置／座標やゲイン）。
(12)所定角度（例えば５度）毎に事前に取得されたＨＲＴＦ。
(13)図１６〜図１９を参照しながら後述する聴取者状態に関する情報。つまり、聴取者位置取得手段２３によって得られた位置情報や、聴取者頭部姿勢角度取得手段２３によって得られた頭部姿勢角。
(14)処理部１Ｂに、後述する音像定位強調処理を実行させるべく、処理部１Ｂによって実行される音像定位強調プログラム。

処理部１Ｂは、例えばＣＰＵ（Central Processing Unit），プロセッサで、上記音像定位強調プログラムを記憶部１Ａから読み出して実行することにより、振幅調節手段１１（ゲイン調整部１１ａ，仮想スピーカ配分処理部１１ｂ），信号処理手段１２（仮想スピーカ配置処理部１２ａ，定位音生成部１２ｂ，定位音量補正処理部１２ｃ），Ｌｃｈ用ミキサ１３ＬおよびＲｃｈ用ミキサ１３Ｒとして機能する。

なお、図２に示すように、４個の音源Ｓ１〜Ｓ４が記憶されている場合、振幅調節手段１１としては、４個の音源Ｓ１〜Ｓ４のそれぞれに対応する４個の振幅調節手段１１−１〜１１−４が備えられる。以下では、４個の振幅調節手段のうちの一つを特定する場合には符号１１−１〜１１−４が用いられ、任意の振幅調節手段を指す場合には符号１１が用いられる。振幅調節手段１１−１〜１１−４は、それぞれ、音源Ｓ１〜Ｓ４について音源位置と聴取者位置との距離に応じたゲイン調整処理のほか、各音源Ｓ１〜Ｓ４を仮想スピーカＶＳ０〜ＶＳ７に配分する処理を行なう。各振幅調節手段１１は、図１に示すように、ゲイン調整部１１ａおよび仮想スピーカ配分処理部１１ｂとしての機能を有している。

また、図２に示すように、８個の仮想スピーカＶＳ０〜ＶＳ７が規定されている場合、信号処理手段１２としては、８個の仮想スピーカＶＳ０〜ＶＳ７のそれぞれに対応する８個の信号処理手段１２−０〜１２−７が備えられる。以下では、８個の信号処理手段のうちの一つを特定する場合には符号１２−０〜１２−７が用いられ、任意の信号処理手段を指す場合には符号１２が用いられる。信号処理手段１２−０〜１２−７は、それぞれ、仮想スピーカＶＳ０〜ＶＳ７について、ＨＴＲＦ畳み込みや残響付加を含む各種処理を行なう。各信号処理手段１２は、図１に示すように、仮想スピーカ配置処理部１２ａ，定位音生成部１２ｂ，定位音量補正処理部１２ｃとしての機能を有している。

ゲイン調整部（第１調整部）１１ａは、聴取者に近い音源ほど音量が大きくなるように、聴取者の位置と複数の音源Ｓ１〜Ｓ４のそれぞれの位置との距離に応じ、複数の音源Ｓ１〜Ｓ４のそれぞれのゲインを調整する。ここで、聴取者の位置は、耳装着型音響再生装置２における聴取者位置取得手段２２（位置センサ２２ａ）によって得られ、各音源Ｓ１〜Ｓ４の位置は、記憶部１Ａから読み出される。

仮想スピーカ配分処理部（配分部）１１ｂは、聴取者の位置と各音源Ｓ１〜Ｓ４の位置と各仮想音源ＶＳ０〜ＶＳ７の聴取者に対する方向（位置）とに基づき、以下のようにして、各音源Ｓ１〜Ｓ４からの音響信号を、仮想音源ＶＳ０〜ＶＳ７のうちの一つに配分する、もしくは、仮想音源ＶＳ０〜ＶＳ７のうちの二つに比例配分する。ここで、聴取者の位置は、耳装着型音響再生装置２における聴取者位置取得手段２２（位置センサ２２ａ）によって得られ、各音源Ｓ１〜Ｓ４の位置と各仮想音源ＶＳ０〜ＶＳ７の聴取者に対する方向（位置）とは、記憶部１Ａから読み出される。

本実施形態では、図５に示すように、聴取者の周囲において当該聴取者の頭部を中心とする円周上に等間隔（図５では４５度間隔）に配置された、８個の仮想スピーカＶＳ０〜ＶＳ７が予め規定されている。図５に示す仮想スピーカＶＳ０〜ＶＳ７の配置状態を基準配置という場合がある。

ここで、図５を参照しながら、各仮想スピーカへの音源の配分手法について具体的に説明する。
音源と聴取者とを結ぶ直線上または略直線上に仮想スピーカが存在する場合、仮想スピーカ配分処理部１１ｂは、当該仮想スピーカに、当該音源の音響信号を配分する。図５に示す例では、音源Ｓ２と聴取者とを結ぶ直線上に仮想スピーカＶＳ６（ｃｈ６）が存在するので、仮想スピーカ配分処理部１１ｂは、音源Ｓ２の音響信号を仮想スピーカＶＳ６に配分する。

一方、音源と聴取者とを結ぶ直線上もしくは略直線上に仮想スピーカが存在しない場合、仮想スピーカ配分処理部１１ｂは、当該音源に近い２個の仮想スピーカに対し、当該音源の音響信号を比例配分する。図５に示す例では、音源Ｓ１と聴取者とを結ぶ直線上もしくは略直線上に仮想スピーカが存在せず、聴取者から見て仮想スピーカＶＳ１の方向（右４５度方向）と仮想スピーカＶＳ２の方向（右９０度方向）との間に音源Ｓ１が存在している。この場合、仮想スピーカ配分処理部１１ｂは、音源Ｓ１に近い２個の仮想スピーカＶＳ１，ＶＳ２に対し、音源Ｓ１の音響信号を比例配分する。具体的に、仮想スピーカ配分処理部１１ｂは、音源Ｓ１の位置と聴取者とを結ぶ直線と、聴取者に対する音源Ｓ１の方向との成す角度α［度］を求める。そして、仮想スピーカ配分処理部１１ｂは、求めた角度αに基づき、音源Ｓ１の音響信号を仮想スピーカＶＳ１に配分するための重みＷｃｈ１と、音源Ｓ１の音響信号を仮想スピーカＶＳ２に配分するための重みＷｃｈ２とを算出する。このとき、０度＜α＜４５度，０＜Ｗｃｈ１＜１，０＜Ｗｃｈ２＜１であり、重みＷｃｈ１およびＷｃｈ２は、それぞれ例えば下式（１），（２）で与えられる。
Ｗｃｈ１＝１−｛（４５−α）／４５｝ …（１）
Ｗｃｈ２＝１−（α／４５） …（２）

そして、仮想スピーカ配分処理部１１ｂは、音源Ｓ１の音響信号（ゲイン）に重みＷｃｈ１を乗じたものを仮想スピーカＶＳ１に配分するとともに、音源Ｓ１の音響信号（ゲイン）に重みＷｃｈ２を乗じたものを仮想スピーカＶＳ２に配分する。これにより、音源Ｓ１が、２個の仮想スピーカＶＳ１，ＶＳ２に比例配分される。

仮想スピーカ配置処理部（配置部）１２ａは、聴取者頭部姿勢角度検出手段２３により聴取者の頭部の回転（頭部姿勢角θ）を検知すると、仮想スピーカＶＳ０〜ＶＳ７を、聴取者の頭部を中心に、頭部の回転方向と反対の方向へ頭部の回転角度θだけ回転移動させる。つまり、本実施形態では、頭部姿勢連動の音像定位が行なわれている。頭部姿勢連動の音像定位については、図６〜図８を参照しながら後述する。

この後、仮想スピーカ配置処理部１２ａは、仮想スピーカＶＳ０〜ＶＳ７のうち聴取者の前方側仮想スピーカに対し、前方側仮想スピーカ以外の仮想スピーカが聴取者の後方側に偏った位置に配置されるように、仮想スピーカＶＳ０〜ＶＳ７の配置位置を補正（シフト）する。このような仮想スピーカの配置については、図８〜図１２を参照しながら後述する。

定位音生成部（生成部）１２ｂは、仮想スピーカ配分処理部１１ｂによって各仮想スピーカＶＳ０〜ＶＳ７に配分された音響信号に、仮想スピーカ配置処理部１２ａによって配置位置を補正された各仮想スピーカＶＳ０〜ＶＳ７の聴取者に対する方向に応じたＨＲＴＦを畳み込むことで、聴取者に対する左右の音を生成する。各仮想スピーカＶＳ０〜ＶＳ７の畳み込みに用いられるＨＲＴＦについては図８を参照しながら後述する。また、定位音生成部１２ｂにおいてＨＲＴＦの畳み込み処理は、図１３を参照しながら後述するごとく、ＦＩＲ（Finite Impulse Response）フィルタを用いて実行される。

定位音量補正処理部（第２調整部）１２ｃは、聴取者の前方側仮想スピーカよりも聴取者の後方側に配置される仮想スピーカほど音量が小さくなるように、各仮想スピーカＶＳ０〜ＶＳ７のゲインを調整する。このようなゲイン調整については、図８，図９および図１３を参照しながら後述する。

Ｌｃｈ用ミキサ１３Ｌは、信号処理手段１２−０〜１２−７のそれぞれで生成されゲイン調整された左側の音をミキシングして、耳装着型音響再生装置２の左側音発生部２１Ｌに出力する。
Ｒｃｈ用ミキサ１３Ｒは、信号処理手段１２−０〜１２−７のそれぞれで生成されゲイン調整された右側の音をミキシングして、耳装着型音響再生装置２の右側音発生部２１Ｒに出力する。

ここで、図６（Ａ），（Ｂ）を参照しながら、頭部姿勢連動の音像定位について説明する。本実施形態では、博物館，美術館，展示会，テーマパークなどにおいて、複数方向からの展示物から発せられる音を耳装着型音響再生装置２で再生する際に、耳装着型音響再生装置２を装着した聴取者が向いている方向の展示物からの音が、正面からの音として聞こえるようにするために、頭部姿勢連動の音像定位が行なわれる。

聴取者が展示Ａ，Ｂを正面に見ている状態で音Ａ，Ｂが展示Ａ，Ｂから発せられているように聴こえる場合、且つ、頭部姿勢連動を行なわない場合、図６（Ａ）に示すように、聴取者が頭部を回転し注視方向を変えると音源の位置が移動してしまい、音Ａ，Ｂが展示物Ａ，Ｂの位置からずれて聴こえる。

これに対し、頭部姿勢連動を行なう場合、仮想スピーカ配置処理部１２ａが、仮想スピーカＶＳ０〜ＶＳ７を、聴取者の頭部を中心に、頭部の回転方向と反対の方向へ頭部の回転角度θだけ回転移動させる。これにより、図６（Ｂ）に示すように、聴取者が頭部を回転しても、音Ａ，Ｂが展示物Ａ，Ｂの位置からずれることがない。したがって、音Ａ，Ｂが、展示Ａ，Ｂの位置にそれぞれ対応して聴こえる。このように、本実施形態の情報処理装置１（仮想スピーカ配置処理部１２ａ，定位音生成部１２ｂ）では、聴取者が動き回る環境で動的に音像を定位させるべく、頭部姿勢に連動させて音像定位処理が行なわれる。

ここで、図７（Ａ），（Ｂ）を参照しながら、仮想スピーカ方式を採用し且つ頭部姿勢連動を行なう場合の音源再生処理について説明する。図７（Ａ），（Ｂ）において、細点線で示すｘ軸およびｙ軸によって規定される座標は仮想スピーカ座標であり、太実線で示すＸ軸およびＹ軸によって規定される座標は聴取者位置座標であり、太点線で示すｘ’軸およびｙ’軸によって規定される座標はＨＲＴＦ座標である。なお、図７（Ａ），（Ｂ）では、仮想スピーカ配置処理部１２ａが、聴取者の前方側仮想スピーカに対し、前方側仮想スピーカ以外の仮想スピーカを聴取者の後方側に偏った位置に配置する配置位置補正処理を行なっていない例が示されている。また、図７（Ａ），（Ｂ）に示す例では、定位音量補正処理部１２ｃによるゲイン調整処理を行なっていない例が示されている。

図７（Ａ）に示す例では、仮想スピーカＶＳ０〜ＶＳ７の配置状態が基準配置で、聴取者が聴取者位置座標のｙ軸方向を向いている。このとき、聴取者の注視方向は仮想スピーカＶＳ０の方向であり、仮想スピーカ座標ｘ−ｙと聴取者位置座標Ｘ−ＹとＨＲＴＦ座標ｘ’−ｙ’とは一致している。また、仮想スピーカＶＳ０〜ＶＳ７の畳み込み処理では、ＨＲＴＦ座標ｘ’−ｙ’に従い、それぞれ０度，４５度，９０度，１３５度，１８０度，２２５度，２７０度，３１５度のＨＲＴＦが用いられる。

図７（Ａ）に示す状態から、聴取者が聴取者位置座標Ｘ−Ｙに対し時計回り方向に２２５度だけ回転した場合、仮想スピーカ配置処理部１２ａが、仮想スピーカＶＳ０〜ＶＳ７を、聴取者の頭部を中心に、頭部の回転方向と反対の方向へ頭部の回転角度２２５度だけ回転移動させる。これにより、図７（Ｂ）に示すように、聴取者の注視方向は仮想スピーカＶＳ５の方向になる。このとき、仮想スピーカ座標ｘ−ｙと聴取者位置座標Ｘ−Ｙとは一致している。また、ＨＲＴＦ座標ｘ’−ｙ’は聴取者とともに時計回り方向に２２５度回転し、仮想スピーカＶＳ０〜ＶＳ７の畳み込み処理では、回転後のＨＲＴＦ座標ｘ’−ｙ’に従い、それぞれ１３５度，１８０度，２２５度，２７０度，３１５度，０度，４５度，９０度のＨＲＴＦが用いられることになる。

次に、図８（Ａ），（Ｂ）を参照しながら、本実施形態における、仮想スピーカＶＳ０〜ＶＳ７の位置移動および音量による音像定位強調について説明する。なお、図８（Ａ）および図８（Ｂ）において、仮想スピーカＶＳ０〜ＶＳ７を示す円の大きさ（直径）は、定位音量補正処理部１２ｃによって補正された仮想スピーカＶＳ０〜ＶＳ７の音量（ゲイン）に相当している。

図８（Ａ）では、図７（Ａ）に示すように、聴取者の注視方向が仮想スピーカＶＳ０の方向であるときに、仮想スピーカ配置処理部１２ａによる配置位置補正処理および定位音量補正処理部１２ｃによるゲイン調整処理を行なった場合の、仮想スピーカＶＳ０〜ＶＳ７の位置や音量が示されている。

図８（Ａ）では、聴取者の前方側仮想スピーカとして聴取者正面における仮想スピーカＶＳ０が０度の位置に固定される。聴取者背面における仮想スピーカＶＳ４も１８０度の位置に固定される。また、聴取者正面の仮想スピーカＶＳ０に対し、当該仮想スピーカＶＳ０以外の仮想スピーカＶＳ１〜ＶＳ７が聴取者の後方側に偏った位置に配置されるように、仮想スピーカ配置処理部１２ａにより、仮想スピーカＶＳ１〜ＶＳ７の配置位置が補正されている。つまり、仮想スピーカＶＳ０，ＶＳ４はそれぞれ０度，１８０度の位置のままであるが、仮想スピーカＶＳ１は４５度から８５度の位置にシフトし、仮想スピーカＶＳ２は９０度から１３５度の位置にシフトし、仮想スピーカＶＳ３は１３５度から１７０度の位置にシフトしている。同様に、仮想スピーカＶＳ５は２２５度から１９０度の位置にシフトし、仮想スピーカＶＳ６は２７０度から２２５度の位置にシフトし、仮想スピーカＶＳ７は３１５度から２７５度の位置にシフトしている。したがって、仮想スピーカＶＳ０〜ＶＳ７の畳み込み処理では、それぞれ０度，８５度，１３５度，１７０度，１８０度，１９０度，２２５度，２７５度のＨＲＴＦが用いられる。また、定位音量補正処理部１２ｃによるゲイン調整処理を行なうことで、聴取者の前方側仮想スピーカＶＳ０よりも聴取者の後方側に配置される仮想スピーカほど音量が小さくなるように、各仮想スピーカＶＳ０〜ＶＳ７のゲインが調整される。

図８（Ｂ）では、図７（Ａ）に示す状態から聴取者が時計回り方向に４５度だけ回転し聴取者の注視方向が仮想スピーカＶＳ１の方向であるときに、仮想スピーカ配置処理部１２ａによる配置位置補正処理および定位音量補正処理部１２ｃによるゲイン調整処理を行なった場合の、仮想スピーカＶＳ０〜ＶＳ７の位置や音量が示されている。

図８（Ｂ）では、上述した頭部姿勢連動を行なうことで、聴取者の前方側仮想スピーカとして聴取者正面における仮想スピーカＶＳ１が、ＨＲＴＦ座標ｘ’−ｙ’〔図７（Ｂ）参照〕における０度の位置に固定される。聴取者背面における仮想スピーカＶＳ５も１８０度の位置に固定される。また、聴取者正面の仮想スピーカＶＳ１に対し、当該仮想スピーカＶＳ１以外の仮想スピーカＶＳ２〜ＶＳ７，ＶＳ０が聴取者の後方側に偏った位置に配置されるように、仮想スピーカ配置処理部１２ａにより、仮想スピーカＶＳ２〜ＶＳ７，ＶＳ０の配置位置が補正されている。つまり、仮想スピーカＶＳ１，ＶＳ５はそれぞれ０度，１８０度の位置のままであるが、仮想スピーカＶＳ２は４５度から８５度の位置にシフトし、仮想スピーカＶＳ３は９０度から１３５度の位置にシフトし、仮想スピーカＶＳ４は１３５度から１７０度の位置にシフトしている。同様に、仮想スピーカＶＳ６は２２５度から１９０度の位置にシフトし、仮想スピーカＶＳ７は２７０度から２２５度の位置にシフトし、仮想スピーカＶＳ０は３１５度から２７５度の位置にシフトしている。したがって、仮想スピーカＶＳ０〜ＶＳ７の畳み込み処理では、それぞれ２７５度，０度，８５度，１３５度，１７０度，１８０度，１９０度，２２５度のＨＲＴＦが用いられる。また、定位音量補正処理部１２ｃによるゲイン調整処理を行なうことで、聴取者の前方側仮想スピーカＶＳ１よりも聴取者の後方側に配置される仮想スピーカほど音量が小さくなるように、各仮想スピーカＶＳ０〜ＶＳ７のゲインが調整される。

例えば、図７（Ａ）や図７（Ｂ）に示すように、８個の仮想スピーカＶＳ０〜ＶＳ７が聴取者の周囲において当該聴取者の頭部を中心とする円周上に４５度間隔で配置された場合、正面０度の両側位置である４５度および３１５度に配置された仮想スピーカの音により、正面０度の仮想スピーカからの音が邪魔される。このため、音像を明確に定位することができなくなっていると考えられる。

そこで、本実施形態では、図８（Ａ）や図８（Ｂ）に示すように、仮想スピーカ配置処理部１２ａが、聴取者の前方側仮想スピーカに対し、前方側仮想スピーカ以外の仮想スピーカを聴取者の後方側に偏った位置に配置する配置位置補正処理を行なっている。これにより、正面０度の仮想スピーカからの音は、両側の仮想スピーカからの音に邪魔され難くなり、音像を明確に定位することが可能になる。

さらに、本実施形態では、定位音量補正処理部１２ｃが、聴取者の前方側仮想音源よりも聴取者の後方側に配置される仮想音源ほど音量が小さくなるように、各仮想スピーカＶＳ０〜ＶＳ７のゲイン調整処理を行なっている。これにより、正面０度の仮想スピーカからの音は、両側の仮想スピーカからの音に、より邪魔され難くなり、音像をより明確に定位することが可能になる。

さて、図８（Ａ）や図８（Ｂ）では、仮想スピーカ配置処理部１２ａが、聴取者正面における一の仮想スピーカを固定し、当該一の仮想スピーカに対し、当該一の仮想スピーカ以外の仮想スピーカが聴取者の後方側に偏った位置に配置されるように、８個の仮想スピーカＶＳ０〜ＶＳ７の配置位置を補正する場合について説明した。しかし、本発明はこれに限定されるものではなく、図９〜図１２に示すような種々の変形例を適用することが可能である。

図９〜図１２を参照しながら、本実施形態における、仮想スピーカの位置移動および音量による音像定位強調の第１〜第３変形例について説明する。
まず、図９（Ａ）に示す第１変形例は、図８（Ａ）や図８（Ｂ）で仮想スピーカの数が８個であったのに対し、１２個である点で異なっている。第１変形例においても、仮想スピーカ配置処理部１２ａは、聴取者正面における仮想スピーカＶＳ０に対し、それ以外の仮想スピーカＶＳ１〜ＶＳ１１が聴取者の後方側に偏った位置に配置されるように、１２個の仮想スピーカＶＳ０〜ＶＳ１１の配置位置を補正している。これにより、聴取者の正面と背面の仮想スピーカＶＳ０，ＶＳ６が固定され、他の仮想スピーカは聴取者の後方側にシフトされる。また、定位音量補正処理部１２ｃは、聴取者の前方側仮想スピーカよりも聴取者の後方側に配置される仮想スピーカほど音量が小さくなるように、各仮想スピーカＶＳ０〜ＶＳ１１のゲインを調整している。つまり、聴取者正面の仮想スピーカＶＳ０のゲインが最大になり、聴取者背面の仮想スピーカＶＳ６のゲインが最小になる。

ここで、図１０（Ａ），（Ｂ）を参照しながら、図９（Ａ）に示す第１変形例における仮想スピーカの位置移動の具体例について説明する。図１０（Ａ）は、図９（Ａ）に示す第１変形例における、仮想スピーカ配置処理部１２ａの配置位置補正処理を実現する定位角補正関数ｆ１の具体例を示す。また、図１０（Ｂ）は、補正前の１２個の仮想スピーカの位置P0〜P11と、図１０（Ａ）に示す定位角補正関数ｆ１による補正後の１２個の仮想スピーカの位置P0’〜P11’とを示す。頭部姿勢連動のための回転移動後の仮想スピーカＶＳｍ（ｍは仮想スピーカ番号；ｍ＝0,1,…,11）の定位角［度］つまり頭部姿勢角度と仮想スピーカＶＳｍ角度との相対角度をαmとし、補正後の定位角［度］をβmとすると、図１０（Ａ）に示す定位角補正関数ｆ１は下式（３）で与えられる。
βm＝ｆ１(αm)＝2*(180/π*sin^-1(αm/180-1))+180 …（３）

仮想スピーカ配置処理部１２ａは、上式（３）のような定位角補正関数βm＝ｆ１(αm)を用いることで、図１０（Ｂ）に示すように、略等間隔に配置された補正前の仮想スピーカの位置P0〜P11を、それぞれ位置P0’〜P11’に補正することができる。つまり、仮想スピーカ配置処理部１２ａは、上式（３）の定位角補正関数βm＝ｆ１(αm)を用い、聴取者正面の一の仮想スピーカに対し、それ以外の仮想スピーカを聴取者の後方側に偏った位置に配置するように、仮想スピーカの配置位置を補正することができる。

図９（Ｂ）に示す第２変形例において、仮想スピーカ配置処理部１２ａは、聴取者の前方側仮想スピーカとして聴取者正面における仮想スピーカＶＳ０を含む二以上の仮想スピーカ〔図９（Ｂ）では３個の仮想スピーカＶＳ０，ＶＳ１，ＶＳ１１〕を一の仮想スピーカＶＳ０に統合している。そして、仮想スピーカ配置処理部１２ａは、聴取者正面における仮想スピーカＶＳ０に対し、統合した３個の仮想スピーカＶＳ０，ＶＳ１，ＶＳ１１以外の仮想スピーカＶＳ２〜ＶＳ１０が聴取者の後方側に偏った位置に配置されるように、仮想スピーカＶＳ０〜ＶＳ１１の配置位置を補正している。これにより、聴取者前方側のいくつかの仮想スピーカが聴取者正面で統合され、他の仮想スピーカは聴取者の後方側にシフトされる。また、定位音量補正処理部１２ｃは、聴取者の前方側仮想スピーカよりも聴取者の後方側に配置される仮想スピーカほど音量が小さくなるように、各仮想スピーカＶＳ０およびＶＳ２〜ＶＳ１０のゲインを調整している。つまり、聴取者正面の仮想スピーカＶＳ０のゲインが最大になり、聴取者背面の仮想スピーカＶＳ６のゲインが最小になる。

ここで、図１１（Ａ）〜（Ｃ）を参照しながら、図９（Ｂ）に示す第２変形例における仮想スピーカの位置移動の具体例について説明する。図１１（Ａ）は、図９（Ｂ）に示す第２変形例における、仮想スピーカ配置処理部１２ａの配置位置補正処理を実現する関数の具体例を示す。また、図１１（Ｂ）は、補正前の１４個の仮想スピーカの位置P0〜P13と、図１１（Ａ）に示す関数による補正後の１４個の仮想スピーカの位置P0’〜P13’とを示す。図１１（Ｃ）は、第２変形例における定位角補正関数ｆ１に依存しない範囲と定位角補正関数ｆ１によって補正する範囲とを示す。第２変形例では、図１１（Ｃ）に示すように、予め設定されたゼロ補正定位角θ_ZERO（例えばθ_ZERO＝５度）が設定され、聴取者正面（０度）に向かって左θ_ZEROから右θ_ZEROまでの範囲内の仮想スピーカの位置は、定位角補正関数ｆ１に依存せず、正面０度の位置に補正される。頭部姿勢連動のための回転移動後の仮想スピーカＶＳｍの定位角［度］をαmとし、補正後の定位角［度］をβmとし、Ａ＝θ_ZERO，Ｂ＝360−Ａすると、図１１（Ａ）に示す関数は下式（４），（５）で与えられる。
βm＝０ （０≦αm≦ＡまたはＢ≦αm≦359の場合） …（４）
βm＝ｆ１(αm)＝2*(180/π*sin^-1(αm/180-1))+180 （Ａ＜αm＜Ｂの場合）…（５）

仮想スピーカ配置処理部１２ａは、上式（４）を用いることで、図１１（Ｂ）に示すように、補正前においては、正面０度の左右５度以内の範囲に存在する３個の仮想スピーカの位置P0,P1,P13は、正面０度の位置P0’,P1’,P13’の位置に補正される。また、仮想スピーカ配置処理部１２ａは、上式（５）を用いることで、図１１（Ｂ）に示すように、略等間隔に配置された補正前の仮想スピーカの位置P2〜P12を、それぞれ位置P2’〜P12’に補正することができる。つまり、仮想スピーカ配置処理部１２ａは、上式（４）を用い、聴取者の前方側の所定範囲内に存在する仮想スピーカを、正面０度の仮想スピーカに統合することができる。また、仮想スピーカ配置処理部１２ａは、上式（５）を用い、聴取者正面の一の仮想スピーカに対し、上記所定範囲外に存在する仮想スピーカを聴取者の後方側に偏った位置に配置するように、仮想スピーカの配置位置を補正することができる。

図９（Ｃ）に示す第３変形例において、仮想スピーカ配置処理部１２ａは、聴取者の前方側仮想スピーカとして聴取者正面における仮想スピーカＶＳ０を含む二以上の仮想スピーカ〔図９（Ｃ）では２個の仮想スピーカＶＳ１，ＶＳ１１〕を固定している。そして、仮想スピーカ配置処理部１２ａは、聴取者正面における仮想スピーカＶＳ０に対し、固定した３個の仮想スピーカＶＳ０，ＶＳ１，ＶＳ１１以外の仮想スピーカＶＳ２〜ＶＳ１０が聴取者の後方側に偏った位置に配置されるように、仮想スピーカＶＳ０〜ＶＳ１１の配置位置を補正している。これにより、聴取者前方側のいくつかの仮想スピーカが聴取者正面で位置を変えないまま配置され、他の仮想スピーカは聴取者の後方側にシフトされる。また、定位音量補正処理部１２ｃは、聴取者の前方側仮想スピーカよりも聴取者の後方側に配置される仮想スピーカほど音量が小さくなるように、各仮想スピーカＶＳ０〜ＶＳ１１のゲインを調整している。つまり、聴取者正面の仮想スピーカＶＳ０のゲインが最大になり、聴取者背面の仮想スピーカＶＳ６のゲインが最小になる。

ここで、図１２（Ａ）〜（Ｃ）を参照しながら、図９（Ｃ）に示す第３変形例における仮想スピーカの位置移動の具体例について説明する。図１２（Ａ）は、図９（Ｃ）に示す第３変形例における、仮想スピーカ配置処理部１２ａの配置位置補正処理を実現する関数の具体例を示す。また、図１２（Ｂ）は、補正前の１８個の仮想スピーカの位置と、図１２（Ａ）に示す関数よる補正後の１８個の仮想スピーカの位置とを示す。図１２（Ｃ）は、第３変形例における定位角補正関数ｆ１に依存しない範囲と定位角補正関数ｆ１によって補正する範囲とを示す。第３変形例では、図１２（Ｃ）に示すように、予め設定されたゼロ補正定位角θ_ZERO（例えばθ_ZERO＝３０度）が設定され、聴取者正面（０度）に向かって左θ_ZEROから右θ_ZEROまでの範囲内の仮想スピーカの位置は、定位角補正関数ｆ１に依存せず、補正されず、現状のまま維持される。頭部姿勢連動のための回転移動後の仮想スピーカＶＳｍの定位角［度］をαmとし、補正後の定位角［度］をβmとし、Ａ＝θ_ZERO，Ｂ＝360−Ａすると、図１２（Ａ）に示す関数は下式（６），（７）で与えられる。
βm＝αm （０≦αm≦ＡまたはＢ≦αm≦359の場合） …（６）
βm＝ｆ１(αm)＝2*(180/π*sin^-1(αm/180-1))+180 （Ａ＜αm＜Ｂの場合）…（７）

仮想スピーカ配置処理部１２ａは、上式（６）を用いることで、図１２（Ｂ）に示すように、補正前においては、正面０度の左右３０度以内の範囲に存在する７個の仮想スピーカの位置は、補正されることなく現状の位置に維持される。また、仮想スピーカ配置処理部１２ａは、上式（７）を用いることで、図１２（Ｂ）に示すように、略等間隔に配置された補正前の仮想スピーカの位置P1〜P11を、それぞれ位置P1’〜P11’に補正することができる。つまり、仮想スピーカ配置処理部１２ａは、上式（６）を用い聴取者の前方側の所定範囲内に存在する仮想スピーカの位置を変えずに、上式（７）を用い、聴取者前方側の仮想スピーカに対し、上記所定範囲外に存在する仮想スピーカを聴取者の後方側に偏った位置に配置するように、仮想スピーカの配置位置を補正することができる。

さて、ここで、図１３（Ａ）〜（Ｃ）を参照しながら、図８（Ａ），（Ｂ）または図９（Ａ）に対応する、仮想スピーカの位置移動および音量による音像定位強調の具体例について説明する。図１３（Ａ）は、仮想スピーカ配置処理部１２ａ，定位音生成部１２ｂおよび定位音量補正処理部１２ｃによる処理をより具体的に説明するブロック図である。図１３（Ｂ）は、仮想スピーカ配置処理部１２ａによる配置位置補正処理を実現する、図１０（Ａ）と同様の定位角補正関数ｆ１を示す。図１３（Ｃ）は、定位音量補正処理部１２ｃによる各仮想スピーカに対するゲイン調整処理を実現するゲイン関数ｆ２を示す。

図１３（Ａ）〜（Ｃ）において、ｍは仮想スピーカ番号であり、ｌは、各仮想スピーカに配分された音源（音響信号）の１フレーム分の音データサンプルを特定するフレーム番号でｌ＝0,1,2,..,513である。sp(m,l)は、仮想スピーカＶＳｍに割り当てられた音源のうち、フレーム番号ｌの音データサンプル（音響信号）である。
αmは、前述した通り、頭部姿勢連動のための回転移動後の仮想スピーカＶＳｍの定位角［度］、つまり頭部姿勢角度と仮想スピーカＶＳｍ角度との相対角度である。また、βmは、図１３（Ｂ）に示す定位角補正関数ｆ１によって定位角αmを補正して得られる補正後の定位角［度］である。つまり、上式（３）の通り、βm＝ｆ１(αm)である。

3D_L(m,l)は、定位音生成部１２ｂにおいて、左用ＦＩＲフィルタＬを用い、仮想スピーカＶＳｍのサンプルsp(m,l)に対し、補正定位角βmに応じたＨＲＴＦを畳み込むことによって生成される左側定位音（Ｌｃｈ定位音）である。
同様に、3D_R(m,l)は、定位音生成部１２ｂにおいて、右用ＦＩＲフィルタＲを用い、仮想スピーカＶＳｍのサンプルsp(m,l)に対し、補正定位角βmに応じたＨＲＴＦを畳み込むことによって生成される右側定位音（Ｒｃｈ定位音）である。

ｇmは、図１３（Ｃ）に示すゲイン関数ｆ２に補正定位角βmを代入して得られるゲイン値であり、ｇm＝ｆ２(βm)＝ｆ２(ｆ１(αm))である。ここで、ゲイン関数ｆ２は、例えば、正面方向（０度方向）で最大（例えば1.0）、背面方向（１８０度または−１８０度方向）で最小（例えば0.4）となるSin関数である。

d3D_L(m,l)は、定位音量補正処理部１２ｃにおいて、左側定位音3D_L(m,l)のゲインを図１３（Ｃ）に示すゲイン関数ｆ２に基づき調整して得られ、Ｌｃｈ用ミキサ１３Ｌに出力されるＬｃｈ定位強調音であり、d3D_L(m,l)＝ｇm*3D_L(m,l)＝ｆ２(ｆ１(αm))*3D_L(m,l)である。
同様に、d3D_R(m,l)は、定位音量補正処理部１２ｃにおいて、右側定位音3D_R(m,l)のゲインを図１３（Ｃ）に示すゲイン関数ｆ２に基づき調整して得られ、Ｒｃｈ用ミキサ１３Ｒに出力されるＲｃｈ定位強調音であり、d3D_R(m,l)＝ｇm*3D_R(m,l)＝ｆ２(ｆ１(αm))*3D_R(m,l)である。

このように、定位音量補正処理部１２ｃは、図１３（Ｃ）に示すゲイン関数ｆ２に基づくゲイン調整を行なうことで、聴取者の前方側仮想スピーカよりも聴取者の後方側に配置される仮想スピーカほど音量が小さくなるように各仮想スピーカＶＳｍのゲインを調整制御する。これにより、仮想スピーカ配置処理部１２ａによる配置位置補正処理に加え、定位音量補正処理部１２ｃによるゲイン調整処理が実行され、正面０度の仮想スピーカからの音がより強調され、音像を明確に定位することが可能になる。

〔３〕本実施形態の動作
〔３−１〕本実施形態の情報処理装置の動作
次に、図１４に示すフローチャート（ステップＳ１１〜Ｓ２８）に従って、図１および図２に示す情報処理装置１の動作について説明する。
情報処理装置１（処理部１Ｂ）が処理を開始すると、まず、仮想スピーカの位置設定が行なわれる（ステップＳ１１）。このとき、本実施形態において、処理部１Ｂは、予め設定されている数の仮想スピーカを、例えば図５に示すような基準配置の状態に配置設定する。

そして、処理部１Ｂは、聴取者位置取得手段２２（位置センサ２２ａ）により、聴取者の位置を取得し（ステップＳ１２）、記憶部１Ａから一の音源と当該音源の位置とを取得する（ステップＳ１３）。ゲイン調整部１１ａは、位置センサ２２ａによって得られた聴取者の位置と、記憶部１Ａから読み出した当該音源の位置との距離に応じ、聴取者に近い音源ほど音量が大きくなるように、当該音源のゲインを調整する（ステップＳ１４）。

この後、仮想スピーカ配分処理部１１ｂによる配分処理（ステップＳ１５〜Ｓ１９）が実行される。まず、仮想スピーカ配分処理部１１ｂは、当該音源の位置と聴取者の位置とを結ぶ直線上または略直線上に仮想スピーカが存在するか否かを判定する（ステップＳ１５）。直線上または略直線上に仮想スピーカが存在する場合（ステップＳ１５のＹＥＳルート）、仮想スピーカ配分処理部１１ｂは、直線上または略直線上に存在する当該仮想スピーカに、当該音源の音響信号を配分し（ステップＳ１６；例えば図５の音源Ｓ２および仮想スピーカＶＳ６参照）、処理部１ＢはステップＳ２０の処理へ移行する。

一方、直線上または略直線上に仮想スピーカが存在しない場合（ステップＳ１５のＮＯルート）、仮想スピーカ配分処理部１１ｂは、当該音源に近い２個の仮想スピーカを選択する（ステップＳ１７）。そして、仮想スピーカ配分処理部１１ｂは、当該音源の位置と聴取者の位置とを結ぶ直線と、当該音源の位置と選択した２個の仮想スピーカの位置とを結ぶ２本の直線との成す角度（例えば図５の角度αおよび角度４５−α参照）を算出する（ステップＳ１８）。仮想スピーカ配分処理部１１ｂは、算出した角度に基づき、例えば上式（１），（２）に従って２個の仮想スピーカの重みを算出し、算出した重みにより、選択した２個の仮想スピーカに対し、当該音源の音響信号を比例配分する（ステップＳ１９）。

この後、処理部１Ｂは、他に処理すべき音源があるか否かを判定し（ステップＳ２０）、音源がある場合（ステップＳ２０のＹＥＳルート）、ステップＳ１３の処理に戻る。また、音源がない場合（ステップＳ２０のＮＯルート）、処理部１Ｂは、聴取者頭部姿勢角度取得手段２３により、基準方向（例えば図５，図７，図８のｙ軸方向）に対する聴取者の注視方向／正面方向の角度を頭部姿勢角θを取得する（ステップＳ２１）。

そして、仮想スピーカ配置処理部１２ａは、聴取者頭部姿勢角度検出手段２３により聴取者の頭部の回転（頭部姿勢角θ）を検知すると、図６〜図８を参照しながら上述したように、頭部姿勢連動処理を行なう。つまり、仮想スピーカ配置処理部１２ａは、仮想スピーカを、基準配置（例えば図５参照）から、聴取者の頭部を中心に、頭部の回転方向と反対の方向へ頭部の回転角度（頭部姿勢角）θだけ回転移動させる（ステップＳ２２）。

ついで、仮想スピーカ配置処理部１２ａは、図８〜図１３を参照しながら上述したように、仮想スピーカのうち聴取者の前方側仮想スピーカに対し、前方側仮想スピーカ以外の仮想スピーカが聴取者の後方側に偏った位置に配置されるように、仮想スピーカの配置位置を補正（シフト）する（ステップＳ２３）。

さらに、定位音生成部１２ｂは、図８や図１３を参照しながら上述したように、仮想スピーカ配分処理部１１ｂによって各仮想音源に配分された音響信号に、仮想スピーカ配置処理部１２ａによって配置位置を補正された各仮想スピーカの聴取者に対する方向に応じたＨＲＴＦを畳み込む。これにより、定位音生成部１２ｂは、聴取者に対する左右の音として、図１３（Ａ）に示すＬｃｈ定位音3D_L(m,l)およびＲｃｈ定位音3D_L(m,l)を生成する（ステップＳ２４）。

この後、定位音量補正処理部１２ｃは、定位音生成部１２ｂからのＬｃｈ定位音3D_L(m,l)およびＲｃｈ定位音3D_L(m,l)に対し、図１３（Ｃ）に示すゲイン関数ｆ２に基づくゲイン調整を行なう。これにより、定位音量補正処理部１２ｃは、聴取者の前方側仮想スピーカよりも聴取者の後方側に配置される仮想スピーカほど音量が小さくなるように各仮想スピーカＶＳｍのゲインを調整する（ステップＳ２５）。このとき、図１３（Ｃ）に示すように、聴取者に対する左右音として、図１３（Ａ）に示すＬｃｈ定位強調音d3D_L(m,l)およびd3D_R(m,l)が生成され、それぞれＬｃｈ用ミキサ１３ＬおよびＲｃｈ用ミキサ１３Ｒに出力される。

そして、Ｌｃｈ用ミキサ１３Ｌは、仮想スピーカ毎に生成されたＬｃｈ定位強調音d3D_L(m,l)をミキシングして、耳装着型音響再生装置２の左側音発生部２１Ｌに出力する。また、Ｒｃｈ用ミキサ１３Ｒは、仮想スピーカ毎に生成されたＲｃｈ定位強調音d3D_R(m,l)をミキシングして、耳装着型音響再生装置２の右側音発生部２１Ｒに出力する（ステップＳ２６）。これにより、耳装着型音響再生装置２において、左側音発生部２１Ｌおよび右側音発生部２１Ｒから、それぞれ、聴取者の左右の耳に対し、Ｌｃｈ定位強調音d3D_L(m,l)およびＲｃｈ定位強調音d3D_R(m,l)が発せられ、ミキシング音が再生される（ステップＳ２７）。

この後、処理部１Ｂは、再生処理が終了したか否かを判定し（ステップＳ２８）、再生処理が終了していない場合（ステップＳ２８のＮＯルート）、ステップＳ１２の処理に戻り同様の処理を繰り返し実行する。一方、再生処理が終了した場合（ステップＳ２８のＹＥＳルート）、処理部１Ｂは、処理を終了する。

〔３−２〕本実施形態の情報処理装置の動作の変形例
次に、図１５に示すフローチャート（ステップＳ３１〜Ｓ４４）に従って、図１および図２に示す情報処理装置１の動作の変形例について説明する。図１４では、聴取者位置取得手段２２によって取得した聴取者の位置と、聴取者頭部姿勢角度検出手段２３によって取得した聴取者の頭部姿勢角θとが取得され処理に反映される場合の動作について説明したが、本件の技術は、聴取者の位置や頭部姿勢角θを取得しない場合にも適用される。このような場合の動作を、変形例として、図１５を参照しながら説明する。この場合、聴取者が、展示会場等の所定箇所（定点）において、所定方向に向いていることを前提として、情報処理装置１（処理部１Ｂ）は以下のような動作を行なう。

情報処理装置１（処理部１Ｂ）が処理を開始すると、まず、仮想スピーカの位置設定が行なわれる（ステップＳ３１）。このとき、本実施形態において、処理部１Ｂは、予め設定されている数の仮想スピーカを、例えば図５に示すような基準配置の状態に配置設定する。そして、処理部１Ｂは、記憶部１Ａから一の音源と当該音源の位置とを取得する（ステップＳ３２）。ゲイン調整部１１ａは、聴取者の位置（予め設定された上記定点）と、記憶部１Ａから読み出した当該音源の位置との距離に応じ、聴取者に近い音源ほど音量が大きくなるように、当該音源のゲインを調整する（ステップＳ３３）。

この後、仮想スピーカ配分処理部１１ｂによる配分処理（ステップＳ３４〜Ｓ３８）が実行される。図１５に示すステップＳ３４〜Ｓ３８は、図１４に示すステップＳ１５〜Ｓ１９に対応している。まず、仮想スピーカ配分処理部１１ｂは、当該音源の位置（定点）と聴取者の位置とを結ぶ直線上または略直線上に仮想スピーカが存在するか否かを判定する（ステップＳ３４）。直線上または略直線上に仮想スピーカが存在する場合（ステップＳ３４のＹＥＳルート）、仮想スピーカ配分処理部１１ｂは、直線上または略直線上に存在する当該仮想スピーカに、当該音源の音響信号を配分し（ステップＳ３５）、処理部１ＢはステップＳ３９の処理へ移行する。

一方、直線上または略直線上に仮想スピーカが存在しない場合（ステップＳ３４のＮＯルート）、仮想スピーカ配分処理部１１ｂは、当該音源に近い２個の仮想スピーカを選択する（ステップＳ３６）。そして、仮想スピーカ配分処理部１１ｂは、当該音源の位置と聴取者の位置（定点）とを結ぶ直線と、当該音源の位置と選択した２個の仮想スピーカの位置とを結ぶ２本の直線との成す角度（例えば図５の角度αおよび角度４５−α参照）を算出する（ステップＳ３７）。仮想スピーカ配分処理部１１ｂは、算出した角度に基づき、例えば上式（１），（２）に従って２個の仮想スピーカの重みを算出し、算出した重みにより、選択した２個の仮想スピーカに対し、当該音源の音響信号を比例配分する（ステップＳ３８）。

この後、処理部１Ｂは、他に処理すべき音源があるか否かを判定し（ステップＳ３９）、音源がある場合（ステップＳ３９のＹＥＳルート）、ステップＳ３２の処理に戻る。また、音源がない場合（ステップＳ３９のＮＯルート）、処理部１Ｂは、ステップＳ４０〜Ｓ４４の処理を実行し、処理を終了する。ここで、図１５に示すステップＳ４０〜Ｓ４４の処理は、それぞれ、図１４を参照しながら説明したステップＳ２３〜Ｓ２７の処理と同様であるため、図１５に示すステップＳ４０〜Ｓ４４の処理についての説明は省略する。

〔３−３〕記憶部における状態データの変化例
次に、図１６〜図１９を参照しながら、本実施形態の情報処理装置１の動作に伴う、記憶部１Ａにおける、聴取者および仮想スピーカの状態データの変化について具体的に説明する。

図１６（Ａ），図１７（Ａ），図１８（Ａ）および図１９（Ａ）には、記憶部１Ａにおいて、聴取者の状態データを保存する聴取者テーブルが示されている。聴取者テーブルには、聴取者ＩＤ（IDentification）に対応する聴取者の現在位置を示す座標（ｘ，ｙ，ｚ）［単位：ｍ(メートル)］と、聴取者ＩＤに対応する聴取者の現在の頭部姿勢角θ(t)［単位：deg(度)］とが保存されている。なお、前述した通り、座標（ｘ，ｙ，ｚ）は、聴取者位置取得手段２２によって取得され、頭部姿勢角θ(t)は、聴取者頭部姿勢角度検出手段２３によって取得される。また、図１６（Ａ），図１７（Ａ），図１８（Ａ）および図１９（Ａ）では、聴取者ＩＤがR001である聴取者の座標および頭部姿勢角θ(t)が示されている。

図１６（Ｂ），図１７（Ｂ），図１８（Ｂ）および図１９（Ｂ）には、記憶部１Ａにおいて、各仮想スピーカの状態データを保存する仮想スピーカテーブルが示されている。仮想スピーカテーブルには、仮想スピーカＩＤに対応する仮想スピーカの現在位置を示す座標（ｘ，ｙ，ｚ）［単位：ｍ(メートル)］と、仮想スピーカＩＤに対応する仮想スピーカのゲインとが保存されている。

なお、仮想スピーカテーブルにおける座標としては、仮想スピーカ配置処理部１２ａによって算出された各仮想スピーカの位置が保存される。仮想スピーカテーブルにおけるゲインとしては、定位音量補正処理部１２ｃによって算出された各仮想スピーカのゲインが保存される。また、図１６（Ｂ），図１７（Ｂ），図１８（Ｂ）および図１９（Ｂ）では、仮想スピーカＩＤがそれぞれS001,S002,S003である３個の仮想スピーカの座標およびゲイン（音量）が示されている。

図１６（Ｂ），図１７（Ｂ），図１８（Ｂ）および図１９（Ｂ）に示す仮想スピーカテーブルでは、各仮想スピーカの位置として座標が保存されているが、座標に代えて角度を保存してもよい。座標と角度とは相互に変換可能である。角度は、聴取者を中心とし、聴取者の注視方向を正面０度として規定される。

図１６（Ｃ）では、図１６（Ａ）に示す聴取者テーブルに保存された聴取者と図１６（Ｂ）に示す仮想スピーカテーブルに保存された３個の仮想スピーカとがｘｙ座標上で示されている。図１７（Ｃ），図１８（Ｃ）および図１９（Ｃ）についても、図１６（Ｃ）と同様である。なお、図１６（Ｃ），図１７（Ｃ），図１８（Ｃ）および図１９（Ｃ）において、聴取者は、現在位置と注視方向（矢印方向）とが明確になるように示され、仮想スピーカは、現在位置と音量（ゲイン）の大きさ（円の直径）とが明確になるように示されている。

さて、図１６（Ａ）〜（Ｃ）は、図１および図２に示す情報処理装置１の記憶部１Ａにおける状態データの初期状態の例を示す図である。初期状態では、図１６（Ａ）〜（Ｃ）に示すように、聴取者R001は、仮想スピーカS001の方向（ｙ軸方向）を注視し、仮想スピーカS001〜S003は、等間隔（４５度間隔）に配置されている（基準配置）。仮想スピーカS001〜S003のゲインはいずれも１．０である。なお、図１６（Ｂ）に示す仮想スピーカS001〜S003の座標は、角度に変換すると、それぞれ０度，４５度，９０度となる。

図１７（Ａ）〜（Ｃ）は、図１６（Ａ）〜（Ｃ）に示す状態データに対し、仮想スピーカ配置処理部１２ａによって仮想スピーカS001〜S003の位置移動制御を行なって得られた状態データの例を示す図である。位置移動制御を行なった結果、図１７（Ａ）〜（Ｃ）に示すように、聴取者R001の位置と、聴取者正面の仮想スピーカS001の位置とは変化しないが、仮想スピーカS002,S003は、聴取者R001の後方側に偏った位置に配置されるようシフトされる。仮想スピーカS001〜S003のゲインはいずれも1.0である。なお、図１７（Ｂ）に示す仮想スピーカS001〜S003の座標は、角度に変換すると、それぞれ０度，９０度，１３５度となる。

図１８（Ａ）〜（Ｃ）は、図１７（Ａ）〜（Ｃ）に示す状態データに対し、定位音量補正処理部１２ｃによって仮想スピーカS001〜S003の音量制御（ゲイン制御）を行なって得られた状態データの例を示す図である。音量制御を行なった結果、図１８（Ａ）〜（Ｃ）に示すように、聴取者正面の仮想スピーカS001のゲインは、最大値1.0に維持される。一方、聴取者R001の前方側仮想スピーカS001よりも聴取者R001の後方側に配置される仮想スピーカS002,S003ほど音量が小さくなるように、仮想スピーカS002,S003のゲインが調整される。図１８（Ｂ），（Ｃ）に示す例では、仮想スピーカS001よりも後方側の仮想スピーカS002のゲインは0.8に設定され、仮想スピーカS002よりもさらに後方側の仮想スピーカS003のゲインは0.6に設定されている。このとき、定位音生成部１２ｂは、仮想スピーカ配分処理部１１ｂによって各仮想スピーカS001〜S003に配分された音響信号に、それぞれ０度，９０度，１３５度のＨＲＴＦを畳み込むことで、聴取者に対する左右の音を生成することになる。

図１９（Ａ）〜（Ｃ）は、図１８（Ａ）〜（Ｃ）に示す状態から聴取者R001が９０度だけ時計回りに回転した時の、仮想スピーカS001〜S003の位置移動制御後および音量制御後の状態データの例を示す図である。聴取者R001（頭部）が回転すると、その回転角度（ここではθ＝９０度）が聴取者頭部姿勢角度検出手段２３により検出される。そして、図１６（Ａ）〜（Ｃ）に示す初期状態の仮想スピーカS001〜S003（ｘｙ座標）が、仮想スピーカ配置処理部１２ａによって、聴取者R001の頭部を中心に、頭部の回転方向と反対の方向へ頭部の回転角度θだけ回転移動される。この後、回転後の状態データに対して、図１７（Ａ）〜（Ｃ）および図１８（Ａ）〜（Ｃ）に示す処理と同様の処理が施される。これにより、図１９（Ａ）〜（Ｃ）に示すように、聴取者R001の前方正面には仮想スピーカS003が配置され、仮想スピーカS003のゲインが最大値1.0に設定される。また、仮想スピーカS001,S002は、聴取者R001の後方側に偏った位置に配置されるようシフトされ、仮想スピーカS003よりも後方側の仮想スピーカS002のゲインは0.8に設定され、仮想スピーカS002よりもさらに後方側の仮想スピーカS001のゲインは0.6に設定されている。なお、図１９（Ｂ）に示す仮想スピーカS001〜S003の座標は、角度に変換すると、それぞれ２２５度，２７０度，０度となる。このため、定位音生成部１２ｂは、仮想スピーカ配分処理部１１ｂによって各仮想スピーカS001〜S003に配分された音響信号に、それぞれ２２５度，２７０度，０度のＨＲＴＦを畳み込むことで、聴取者に対する左右の音を生成することになる。

〔３−４〕音像定位強調処理の評価実験結果
本実施形態の情報処理装置１の音像定位強調処理によって聴取者が音源の方向を正しく認識できているか否かの評価実験を行なった。以下に、図２０〜図２５を参照しながら、評価実験結果について説明する。
評価項目として、被験者（聴取者）は、２つの音源〔“日本語音声（男性）”，“英語音声（男性）＋音楽”〕がどの方向から聞こえてきたかを回答する。なお、被験者に対する音源の位置は、図２０（Ａ）に示す、４５度間隔の８個の位置No.1〜No.8の中からランダムに選択される。

また、評価条件としては、音像定位を頭部姿勢に連動させるか否か，定位音量補正処理部１２ｃによる音量制御を行なうか否か，仮想スピーカ配置処理部１２ａによる仮想スピーカ位置移動制御を行なうか否かによって、図２０（Ｂ）に示す４つの評価条件Ｉ〜IVが設定された。評価条件Ｉは、頭部姿勢連動なし且つ音量制御オフ且つ仮想スピーカ位置移動制御オフであり、評価条件IIは、頭部姿勢連動あり且つ音量制御オフ且つ仮想スピーカ位置移動制御オフである。また、評価条件IIIは、頭部姿勢連動あり且つ音量制御オン且つ仮想スピーカ位置移動制御オフであり、評価条件IVは、頭部姿勢連動あり且つ音量制御オン且つ仮想スピーカ位置移動制御オンである。

評価条件Ｉ〜IVについて、評価人数２０人に対し評価実験を実施し、１９人から有効回答を得た。その結果を図２１〜図２５に示す。
ここで、図２１〜図２４は、それぞれ、評価条件Ｉ〜IVでの評価実験結果を示す図である。図２５は、評価条件Ｉ〜IVでの実験により得られた回答の正解率を示す図である。

図２１〜図２４において、横軸は、被験者に対して発せられた音源の設定角度［度］、縦軸は、被験者が音を聞いて回答した角度（回答角度）［度］である。そして、出題された設定角度と被験者が回答した回答角度との交点に、回答数に対応する大きさ（直径）の円が描かれている。したがって、図２１〜図２４において、被験者の回答率が高い場合、回答角度＝設定角度の直線上に大きな円が描かれることになる。

図２１〜図２５に示すように、評価条件Ｉでの正解率は３３％、評価条件IIでの正解率は６６％、評価条件IIIでの正解率は７１％、評価条件IVでの正解率は７５％となった。したがって、明らかに、評価条件IV、つまり、音像定位を頭部姿勢に連動させ、且つ、定位音量補正処理部１２ｃによる音量制御を行ない、且つ、仮想スピーカ配置処理部１２ａによる仮想スピーカ位置移動制御を行なう場合の正解率が最も高く、音像を明確に定位できるようになっている。

〔４〕本実施形態の効果
上述した本実施形態の情報処理装置１によれば、図８〜図１２に示すように、仮想スピーカ配置処理部１２ａが、聴取者の前方側仮想スピーカに対し、それ以外の仮想スピーカを聴取者の後方側に偏った位置に配置する配置位置補正処理を行なっている。これにより、正面０度の仮想スピーカからの音は、両側の仮想スピーカからの音に邪魔され難くなり、音像を明確に定位することが可能になる。

また、本実施形態の情報処理装置１によれば、定位音量補正処理部１２ｃが、聴取者の前方側仮想音源よりも聴取者の後方側に配置される仮想音源ほど音量が小さくなるように、各仮想スピーカのゲイン調整処理を行なっている。これにより、正面０度の仮想スピーカからの音がより強調され、正面０度の仮想スピーカからの音は、両側の仮想スピーカからの音に、より邪魔され難くなり、音像をより明確に定位することが可能になる。

さらに、本実施形態の情報処理装置１によれば、仮想スピーカ配置処理部１２ａが、聴取者頭部姿勢角度取得手段２３による検出結果に基づき、聴取者に対する仮想スピーカの位置を補正している。これにより、頭部姿勢に連動させて音像定位処理が行なわれることになるため、聴取者が動き回る環境で動的に音像が定位され、音像をより確実に定位することが可能になる。

またさらに、本実施形態では、仮想スピーカ方式を採用しているので、音源がいくつあっても、ＨＲＴＦの畳み込みや残響付加等の処理の実行回数は、仮想スピーカの数だけで済み、ＨＲＴＦの畳み込みや残響付加等の処理量を増大させることがない。
また、本実施形態では、ゲイン調整部１１ａにより、聴取者に近い音源ほど音量が大きくなるように、各音源Ｓ１〜Ｓ４のゲインが調整される。これにより、聴取者に対し、聴取者と音源との距離に応じた音量で音源が再生されるため、聴取者は、聴取者と音源との距離感を正しく感じることができ、音像をより確実に定位することが可能になる。

〔５〕その他
以上、本発明の好ましい実施形態について詳述したが、本発明は、係る特定の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲内において、種々の変形、変更して実施することができる。
音源の数や仮想スピーカ（仮想音源）の数は、上述した実施形態で説明した数に限定されるものではない。

上述した実施形態では、仮想スピーカ配置処理部１２ａが、図１０（Ａ），図１１（Ａ），図１２（Ａ），図１３（Ｂ）に示すような定位角補正関数ｆ１を用いて仮想スピーカの配置位置を補正する場合について説明したが、定位角補正関数は、これに限定されるものでない。定位角補正関数としては、聴取者の前方側仮想スピーカに対しそれ以外の仮想スピーカが聴取者の後方側に偏った位置に配置される配置位置補正を行なえる関数であれば、他の種々の関数を用いてもよく、上述した実施形態と同様の作用効果を得ることができる。

また、上述した実施形態では、定位音量補正処理部１２ｃが、図１３（Ｃ）に示すようなゲイン関数ｆ２を用いて仮想スピーカのゲイン調整を行なう場合について説明したが、ゲイン関数は、これに限定されるものでない。ゲイン関数としては、聴取者の前方側仮想スピーカよりも聴取者の後方側に配置される仮想スピーカほど音量が小さくなるような関数であれば、他の種々の関数を用いてもよく、上述した実施形態と同様の作用効果を得ることができる。

上述したゲイン調整部１１ａ，仮想スピーカ配分処理部１１ｂ，仮想スピーカ配置処理部１２ａ，定位音生成部１２ｂおよび定位音量補正処理部１２ｃとしての機能の全部もしくは一部は、コンピュータ（ＣＰＵ，プロセッサ，処理部等）が所定のアプリケーションプログラム（音像定位強調プログラム）を実行することによって実現される。
そのプログラムは、例えばフレキシブルディスク，ＣＤ（ＣＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷなど），ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−ＲＡＭ，ＤＶＤ−Ｒ，ＤＶＤ−ＲＷ，ＤＶＤ＋Ｒ，ＤＶＤ＋ＲＷなど），ブルーレイディスク等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。

ここで、コンピュータとは、ハードウェアとＯＳ（オペレーティングシステム）とを含む概念であり、ＯＳの制御の下で動作するハードウェアを意味している。また、ＯＳが不要でアプリケーションプログラム単独でハードウェアを動作させるような場合には、そのハードウェア自体がコンピュータに相当する。ハードウェアは、少なくとも、ＣＰＵ等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取る手段とをそなえている。上記音像定位強調プログラムは、上述のようなコンピュータに、上述したゲイン調整部１１ａ，仮想スピーカ配分処理部１１ｂ，仮想スピーカ配置処理部１２ａ，定位音生成部１２ｂおよび定位音量補正処理部１２ｃとしての機能の全部もしくは一部を実現させるプログラムコードを含んでいる。また、その機能の一部は、アプリケーションプログラムではなくＯＳによって実現されてもよい。

〔６〕付記
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
複数の仮想音源のそれぞれに配分された音響信号に、前記複数の仮想音源のそれぞれの聴取者に対する方向に応じた伝達関数を畳み込むことにより、前記聴取者に対する左右の音を生成する生成部と、
前記複数の仮想音源のうち前記聴取者の前方側仮想音源に対し、前記前方側仮想音源以外の仮想音源が前記聴取者の後方側に偏った位置に配置されるように、前記複数の仮想音源を配置する配置部とを有する、情報処理装置。

（付記２）
前記聴取者の周囲において前記聴取者の頭部を中心に配置された前記複数の仮想音源のそれぞれに、複数の音源からの前記音響信号を配分する配分部をさらに有し、
前記配置部は、前記配分部によって前記音響信号を配分された前記複数の仮想音源の配置位置を、前記前方側仮想音源に対し、前記前方側仮想音源以外の仮想音源が前記聴取者の後方側に偏った位置に配置されるように、補正し、
前記生成部は、前記配分部によって前記複数の仮想音源のそれぞれに配分された前記音響信号に、前記配置部によって配置位置を補正された前記複数の仮想音源のそれぞれの前記聴取者に対する方向に応じた伝達関数を畳み込むことにより、前記聴取者に対する前記左右の音を生成する、付記１に記載の情報処理装置。

（付記３）
前記配分部は、前記聴取者の位置と前記複数の音源のそれぞれの位置と前記複数の仮想音源のそれぞれの前記聴取者に対する方向とに基づき、前記複数の音源のそれぞれからの前記音響信号を、前記複数の仮想音源のうちの一つに配分する、もしくは、前記複数の仮想音源のうちの二つに比例配分する、付記２に記載の情報処理装置。

（付記４）
前記聴取者の頭部の回転を検知した場合、前記配置部は、前記複数の仮想音源を、前記頭部を中心に、前記頭部の回転方向と反対の方向へ前記頭部の回転角度だけ回転移動させてから、前記複数の仮想音源の配置位置を補正する、付記２または付記３に記載の情報処理装置。

（付記５）
前記聴取者に近い音源ほど音量が大きくなるように、前記聴取者の位置と前記複数の音源のそれぞれの位置との距離に応じ、前記複数の音源のそれぞれのゲインを調整する第１調整部をさらに有する、付記２〜付記４のいずれか一項に記載の情報処理装置。

（付記６）
前記聴取者の前方側仮想音源よりも前記聴取者の後方側に配置される仮想音源ほど音量が小さくなるように、前記複数の仮想音源のそれぞれのゲインを調整する第２調整部をさらに有する、付記１〜付記５のいずれか一項に記載の情報処理装置。

（付記７）
前記配置部は、前記聴取者の前方側仮想音源として前記聴取者正面における一の仮想音源を固定し、前記一の仮想音源に対し、前記一の仮想音源以外の仮想音源が前記聴取者の後方側に偏った位置に配置されるように、前記複数の仮想音源の配置位置を補正する、付記１〜付記６のいずれか一項に記載の情報処理装置。

（付記８）
前記配置部は、前記聴取者の前方側仮想音源として前記聴取者正面における一の仮想音源を含む二以上の仮想音源を前記一の仮想音源に統合し、前記一の仮想音源に対し、前記二以上の仮想音源以外の仮想音源が前記聴取者の後方側に偏った位置に配置されるように、前記複数の仮想音源の配置位置を補正する、付記１〜付記６のいずれか一項に記載の情報処理装置。

（付記９）
前記配置部は、前記聴取者の前方側仮想音源として前記聴取者正面における一の仮想音源を含む二以上の仮想音源を固定し、前記二以上の仮想音源に対し、前記二以上の仮想音源以外の仮想音源が前記聴取者の後方側に偏った位置に配置されるように、前記複数の仮想音源の配置位置を補正する、付記１〜付記６のいずれか一項に記載の情報処理装置。

（付記１０）
コンピュータが、複数の仮想音源のそれぞれに配分された音響信号に、前記複数の仮想音源のそれぞれの聴取者に対する方向に応じた伝達関数を畳み込むことにより、前記聴取者に対する左右の音を生成する音像定位強調方法であって、
前記コンピュータが、前記複数の仮想音源のうち前記聴取者の前方側仮想音源に対し、前記前方側仮想音源以外の仮想音源が前記聴取者の後方側に偏った位置に配置されるように、前記複数の仮想音源を配置する、音像定位強調方法。

（付記１１）
複数の仮想音源のそれぞれに配分された音響信号に、前記複数の仮想音源のそれぞれの聴取者に対する方向に応じた伝達関数を畳み込むことにより、前記聴取者に対する左右の音を生成するコンピュータに、
前記複数の仮想音源のうち前記聴取者の前方側仮想音源に対し、前記前方側仮想音源以外の仮想音源が前記聴取者の後方側に偏った位置に配置されるように、前記複数の仮想音源を配置する、
処理を実行させる、音像定位強調プログラム。

（付記１２）
複数の仮想音源のそれぞれに配分された音響信号に、前記複数の仮想音源のそれぞれの聴取者に対する方向に応じた伝達関数を畳み込むことにより、前記聴取者に対する左右の音を生成するコンピュータに、
前記複数の仮想音源のうち前記聴取者の前方側仮想音源に対し、前記前方側仮想音源以外の仮想音源が前記聴取者の後方側に偏った位置に配置されるように、前記複数の仮想音源を配置する、
処理を実行させる、音像定位強調プログラムを記録したコンピュータ読取可能な記録媒体。

（付記１３）
複数の仮想音源のそれぞれに配分された音響信号に、前記複数の仮想音源のそれぞれの聴取者に対する方向に応じた伝達関数を畳み込むことにより、前記聴取者に対する左右の音を生成するプロセッサを有し、
前記プロセッサが、前記複数の仮想音源のうち前記聴取者の前方側仮想音源に対し、前記前方側仮想音源以外の仮想音源が前記聴取者の後方側に偏った位置に配置されるように、前記複数の仮想音源を配置する、情報処理装置。

１ 情報処理装置
１１，１１−１，１１−２，… 振幅調節手段
１１ａ ゲイン調整部（第１調整部）
１１ｂ 仮想スピーカ配分処理部（配分部）
１２，１２−１，１２−２，… 信号処理手段
１２ａ 仮想スピーカ配置処理部（配置部）
１２ｂ 定位音生成部（生成部）
１２ｃ 定位音量補正処理部（第２調整部）
１３Ｌ Ｌｃｈ用ミキサ
１３Ｒ Ｒｃｈ用ミキサ
２ 耳装着型音響再生装置
２１Ｌ 左側音発生部（Ｌｃｈ）
２１Ｒ 右側音発生部（Ｒｃｈ）
２２ 聴取者位置取得手段
２２ａ 位置センサ
２３ 聴取者頭部姿勢角度取得手段（頭部姿勢センサ）
２３ａ 加速度センサ
２３ｂ 地磁気センサ
２３ｃ ジャイロセンサ
Ｓ１，Ｓ２，… 音源
ＶＳ０，ＶＳ１，… 仮想スピーカ（仮想音源）

Claims (9)

1. 複数の仮想音源のそれぞれに配分された音響信号に、前記複数の仮想音源のそれぞれの聴取者に対する方向に応じた伝達関数を畳み込むことにより、前記聴取者に対する左右の音を生成する生成部と、
   前記複数の仮想音源のうち前記聴取者の前方側仮想音源に対し、前記前方側仮想音源以外の仮想音源が前記聴取者の後方側に偏った位置に配置されるように、前記複数の仮想音源を配置する配置部と、
   前記聴取者の周囲において前記聴取者の頭部を中心に配置された前記複数の仮想音源のそれぞれに、複数の音源からの前記音響信号を配分する配分部とを有し、
   前記配置部は、前記配分部によって前記音響信号を配分された前記複数の仮想音源の配置位置を、前記前方側仮想音源に対し、前記前方側仮想音源以外の仮想音源が前記聴取者の後方側に偏った位置に配置されるように、補正し、
   前記生成部は、前記配分部によって前記複数の仮想音源のそれぞれに配分された前記音響信号に、前記配置部によって配置位置を補正された前記複数の仮想音源のそれぞれの前記聴取者に対する方向に応じた伝達関数を畳み込むことにより、前記聴取者に対する前記左右の音を生成する、情報処理装置。
2. 前記配分部は、前記聴取者の位置と前記複数の音源のそれぞれの位置と前記複数の仮想音源のそれぞれの前記聴取者に対する方向とに基づき、前記複数の音源のそれぞれからの前記音響信号を、前記複数の仮想音源のうちの一つに配分する、もしくは、前記複数の仮想音源のうちの二つに比例配分する、請求項１に記載の情報処理装置。
3. 前記聴取者の頭部の回転を検知した場合、前記配置部は、前記複数の仮想音源を、前記頭部を中心に、前記頭部の回転方向と反対の方向へ前記頭部の回転角度だけ回転移動させてから、前記複数の仮想音源の配置位置を補正する、請求項１または請求項２に記載の情報処理装置。
4. 前記聴取者に近い音源ほど音量が大きくなるように、前記聴取者の位置と前記複数の音源のそれぞれの位置との距離に応じ、前記複数の音源のそれぞれのゲインを調整する第１調整部をさらに有する、請求項１〜請求項３のいずれか一項に記載の情報処理装置。
5. 前記聴取者の前方側仮想音源よりも前記聴取者の後方側に配置される仮想音源ほど音量が小さくなるように、前記複数の仮想音源のそれぞれのゲインを調整する第２調整部をさらに有する、請求項１〜請求項４のいずれか一項に記載の情報処理装置。
6. 前記配置部は、前記聴取者の前方側仮想音源として前記聴取者正面における一の仮想音源を含む二以上の仮想音源を前記一の仮想音源に統合し、前記一の仮想音源に対し、前記二以上の仮想音源以外の仮想音源が前記聴取者の後方側に偏った位置に配置されるように、前記複数の仮想音源の配置位置を補正する、請求項１〜請求項５のいずれか一項に記載の情報処理装置。
7. 前記配置部は、前記聴取者の前方側仮想音源として前記聴取者正面における一の仮想音源を含む二以上の仮想音源を固定し、前記二以上の仮想音源に対し、前記二以上の仮想音源以外の仮想音源が前記聴取者の後方側に偏った位置に配置されるように、前記複数の仮想音源の配置位置を補正する、請求項１〜請求項５のいずれか一項に記載の情報処理装置。
8. コンピュータが、複数の仮想音源のそれぞれに配分された音響信号に、前記複数の仮想音源のそれぞれの聴取者に対する方向に応じた伝達関数を畳み込むことにより、前記聴取者に対する左右の音を生成する音像定位強調方法であって、
   前記コンピュータが、
   前記聴取者の周囲において前記聴取者の頭部を中心に配置された前記複数の仮想音源のそれぞれに、複数の音源からの前記音響信号を配分し、
   前記音響信号を配分された前記複数の仮想音源の配置位置を、前記複数の仮想音源のうち前記聴取者の前方側仮想音源に対し、前記前方側仮想音源以外の仮想音源が前記聴取者の後方側に偏った位置に配置されるように、補正し、
   前記複数の仮想音源のそれぞれに配分された前記音響信号に、前記配置部によって配置位置を補正された前記複数の仮想音源のそれぞれの前記聴取者に対する方向に応じた伝達関数を畳み込むことにより、前記聴取者に対する前記左右の音を生成する、音像定位強調方法。
9. 複数の仮想音源のそれぞれに配分された音響信号に、前記複数の仮想音源のそれぞれの聴取者に対する方向に応じた伝達関数を畳み込むことにより、前記聴取者に対する左右の音を生成するコンピュータに、
   前記聴取者の周囲において前記聴取者の頭部を中心に配置された前記複数の仮想音源のそれぞれに、複数の音源からの前記音響信号を配分し、
   前記音響信号を配分された前記複数の仮想音源の配置位置を、前記複数の仮想音源のうち前記聴取者の前方側仮想音源に対し、前記前方側仮想音源以外の仮想音源が前記聴取者の後方側に偏った位置に配置されるように、補正し、
   前記複数の仮想音源のそれぞれに配分された前記音響信号に、前記配置部によって配置位置を補正された前記複数の仮想音源のそれぞれの前記聴取者に対する方向に応じた伝達関数を畳み込むことにより、前記聴取者に対する前記左右の音を生成
   する、
   処理を実行させる、音像定位強調プログラム。

Images