JP7010649B2 - オーディオ信号処理装置及びオーディオ信号処理方法 - Google Patents

Description

本発明は、オーディオ信号処理装置及びオーディオ信号処理方法に関する。

人が、ヘッドフォンやイヤフォンを装着して楽曲を聴くと、楽曲の音像が頭内に定位してしまう（すなわち、頭の中でこもった音が聴こえるように知覚してしまう）という問題が知られている。そこで、楽曲等のオーディオ信号を頭部伝達関数（ＨＲＴＦ：Head-Related Transfer Function）で乗算してオーディオ信号に音の到来方向（音像の位置）の情報を付与し、到来方向の情報が付与されたオーディオ信号を、ヘッドフォン等を装着した聴き手に聴かせることにより、音像を聴き手の頭外に定位させる方法が知られている。なお、オーディオ信号は、音の電気信号であり、音声信号及び音響信号を含む。

頭部伝達関数は、ある方向から聞き手に到来した音が聞き手の身体の影響を受けて（例えば、顔、耳、頭、肩等によって反射・回折されて）どのように変化して外耳道入口まで伝達されるかを関数として表現したものである。例えば、真正面から顔に到来した音は、主に、鼻に当たり、左右に分かれて頬骨に伝わり、耳朶で反射等されて外耳道入口に入る。一方、真後ろから顔に到来した音は、主に、後頭部に当たり、左右に分かれて側頭部を伝わり、耳朶を乗り越えて外耳道入口に入る。

真正面から顔に到来した音と、真後ろから顔に到来した音は、異なる経路を伝わり、異なる反射や回折を起こして聞き手の外耳道入口に到達する。そのため、真正面から顔に到来した音と、真後ろから顔に到来した音は、音源から出た時点では同じ音（同一の周波数特性を持つ音波）であっても、外耳道入口に到達するときには反射・回折によって周波数特性が互いに異なるものに変化している。この周波数特性の変化を関数として表現したものが頭部伝達関数である。音が外耳道入口までどのように変化して伝達されるかは音の到来方向毎に異なるため、頭部伝達関数も音の到来方向毎に異なる値を取る。

特許文献１に、頭部伝達関数を測定する装置が記載されている。特許文献１では、人間の顔、耳、頭、胴体等を模したダミーヘッドが測定室内に設置され、ダミーヘッドの両耳の外耳道入口にマイクロフォンがセットされ、ダミーヘッドの前方にスピーカが設置される。特許文献１では、スピーカから出力されるテスト音がダミーヘッドの外耳道入口にセットされたマイクロフォンによって収音され、収音によって得られた電気信号の周波数特性に基づいて頭部伝達関数が算出される。

音が外耳道入口までどのように変化して伝達されるか（すなわち頭部伝達関数）は、音の到来方向毎に異なるだけでなく、聴き手の頭部や耳等の形、大きさ等によっても異なる。

ダミーヘッドと人（聴き手）とで、頭部や耳等の形、大きさ等は異なる。そのため、ダミーヘッドを用いて測定された頭部伝達関数は、通常、聴き手にとって最適な頭部伝達関数にはならない。そのため、この頭部伝達関数で乗算されたオーディオ信号による音をヘッドフォン等で聴いたとき、人によっては、例えば前方に知覚すべき音像を後方に知覚してしまうことがある。

人が頭部を動かしながら（例えば頭部を横に振りながら）音を聴くと、前方に知覚すべき音像を後方に知覚する（又は後方に知覚すべき音像を前方に知覚する）という誤り（便宜上「前後の誤知覚」と記す。）の発生が軽減されることが知られている（例えば非特許文献１参照）。

そこで、特許文献１では、頭部（ダミーヘッド）を左右に振る状態を模擬しながら頭部伝達関数の測定が行われる。具体的には、相対位置が固定された一対のスピーカを、ダミーヘッドを中心にした円弧のライン上で水平方向に揺動させることにより、例えば各スピーカから出る音によって生じる音像を０°位置（ダミーヘッドの真正面の位置）を中心とした所定範囲内で水平方向に周期的に移動させる。位置が固定されたダミーヘッドに対して音像がダミーヘッドを中心にした円弧のライン上で水平方向に周期的に移動するため、音像の位置を基準に（すなわち、音像の位置が固定されているものと）考えると、頭部を左右に振る状態が模擬されているといえる。

このように、特許文献１では、頭部（ダミーヘッド）を左右に振る状態を模擬しながらダミーヘッドの頭部伝達関数が測定される。測定の結果得られた頭部伝達関数で乗算されたオーディオ信号による音をヘッドフォン等で聴くと、聴き手が頭部を左右に振りながらその音を聴く状況が擬似的に作られるため、頭部を左右に振る状態を模擬しないで測定された頭部伝達関数で乗算されたオーディオ信号による音をヘッドフォン等で聴く場合と比べて、聴き手の、前後の誤知覚の発生が軽減される。

特開２００７－２１４８１５号公報 Yukio Iwaya, Yoiti Suzuki, Daisuke Kimura, "Effects of head movement on front-back error in sound localization", Acoust. Sci. & Tech. 24, 5 (2003), p.322-324

特許文献１において、音像は、頭部伝達関数の測定中、水平方向に周期的に移動している。そのため、測定の結果得られる頭部伝達関数は、移動する音像の位置に応じて時間軸上で周期的に変化するものとなる。オーディオ信号が一定の頭部伝達関数でなく時間軸上で周期的に変化する頭部伝達関数で乗算されると、頭部伝達関数の影響でオーディオ信号の周波数特性に周期的な変化が加わるため、乗算の結果得られるオーディオ信号による音をヘッドフォン等で聴くと、人によっては、違和感（例えば当該音が揺らいで聴こえる等）を覚える。

本発明は上記の事情に鑑みてなされたものであり、その目的とするところは、頭部伝達関数に基づいて音の到来方向の情報が付与されたオーディオ信号による音をヘッドフォン等で聴き手が聴いたときの、前後の誤知覚の発生を軽減すると共に聴き手が覚える違和感も軽減されるように、当該オーディオ信号を処理するオーディオ信号処理装置及びオーディオ信号処理方法を提供することである。

本発明の一実施形態に係るオーディオ信号処理装置は、入力されるオーディオ信号を処理する装置であり、所定の頭部への到来方向が基準の到来方向を中心に周期的に変わる音を頭部の所定位置にて収音することによって得られた頭部伝達関数であって、音の到来方向に応じてスペクトルが時間軸上で変化する頭部伝達関数を保持する保持部と、保持部に保持された頭部伝達関数を補正する補正部と、補正部によって補正された頭部伝達関数に基づいてオーディオ信号に音の到来方向の情報を付与する処理部とを備える。補正部は、各到来方向の頭部伝達関数のうち、基準の到来方向の頭部伝達関数以外の他の到来方向の頭部伝達関数のスペクトルを補正する。他の到来方向の頭部伝達関数は、振幅スペクトル及び位相スペクトルのうち、特定領域の振幅スペクトル以外の少なくとも一部のスペクトルが、基準の到来方向の頭部伝達関数と一致するように補正される。

このように構成されたオーディオ信号処理装置は、頭部伝達関数の特定領域の振幅スペクトル（例えば前後の誤知覚の発生を抑えるのに有効なスペクトラルキューが現れる周波数領域の振幅スペクトル）については、音の到来方向に応じて時間軸上で周期的に変化する状態を保つ一方、特定領域の振幅スペクトル以外の少なくとも一部のスペクトルについては、基準の到来方向の頭部伝達関数と一致するように補正することにより、音の到来方向に応じて時間軸上で周期的に変化するスペクトル成分を従来よりも少なくしている。このような頭部伝達関数に基づいてオーディオ信号に音の到来方向の情報を付与すると、頭部伝達関数の影響でオーディオ信号の周波数特性に加わる周期的な変化が抑えられるため、当該オーディオ信号による音をヘッドフォン等で聴き手が聴いたときの、前後の誤知覚の発生を軽減しつつ、聴き手が覚える違和感も軽減させることが可能となる。

他の到来方向の頭部伝達関数は、少なくとも、位相スペクトルが、基準の到来方向の頭部伝達関数と一致するように補正されてもよい。

特定領域の振幅スペクトルは、例えばスペクトラルキューが現れる周波数領域の振幅スペクトルである。この場合、他の到来方向の頭部伝達関数は、少なくとも、振幅スペクトルのうち、スペクトラルキューが現れる周波数領域以外の振幅スペクトルが、基準の到来方向の頭部伝達関数と一致するように補正される。

頭部伝達関数は、例えば、特定領域を含む第１の周波数領域及び第１の周波数領域よりも低い第２の周波数領域における振幅スペクトル及び位相スペクトルを示す関数である。この場合、補正部は、第１の周波数領域については、各到来方向の頭部伝達関数の振幅スペクトルを補正しない一方、他の到来方向の頭部伝達関数の位相スペクトルを基準の到来方向の頭部伝達関数の位相スペクトルと一致するように補正し、第２の周波数領域の成分については、他の到来方向の頭部伝達関数の振幅スペクトル及び位相スペクトルを基準の到来方向の頭部伝達関数の振幅スペクトル及び位相スペクトルと一致するように補正する。

本発明の一実施形態に係るオーディオ信号処理装置は、オーディオ信号に対してオーバラップ処理を行うオーバラップ処理部を更に備える構成としてもよい。この場合、処理部は、補正部によって補正された頭部伝達関数に基づいて、オーバラップ処理されたオーディオ信号に音の到来方向の情報を付与し、到来方向の情報を付与されたオーディオ信号に対してオーバラップ加算を行う。頭部伝達関数に基づいて音の到来方向の情報が付与されることにより、オーディオ信号の波形に不連続な部分が生じることがある。上記のオーバラップ処理及びオーバラップ加算を行うことにより、不連続な部分が生じたオーディオ信号の波形が平滑化される。

本発明の一実施形態に係るオーディオ信号処理装置は、入力されるオーディオ信号を処理する装置であり、所定の頭部への到来方向が頭部周りで周期的に変わる音を頭部の所定位置にて収音することによって得られた頭部伝達関数であって、音の到来方向に応じてスペクトルが時間軸上で変化する頭部伝達関数を保持する保持部と、保持部に保持された頭部伝達関数を補正する補正部と、補正部によって補正された頭部伝達関数に基づいてオーディオ信号に音の到来方向の情報を付与する処理部とを備える。補正部は、頭部伝達関数の特定領域の振幅スペクトルのみが音の到来方向に応じて時間軸上で変化するように、各到来方向の頭部伝達関数のスペクトルを補正する。

このように構成されたオーディオ信号処理装置は、頭部伝達関数の特定領域の振幅スペクトル（例えば前後の誤知覚の発生を抑えるのに有効なスペクトラルキューが現れる周波数領域の振幅スペクトル）だけを、音の到来方向に応じて時間軸上で周期的に変化するように補正することにより、音の到来方向に応じて時間軸上で周期的に変化するスペクトル成分を従来よりも少なくしている。このような頭部伝達関数に基づいてオーディオ信号に音の到来方向の情報を付与すると、頭部伝達関数の影響でオーディオ信号の周波数特性に加わる周期的な変化が抑えられるため、当該オーディオ信号による音をヘッドフォン等で聴き手が聴いたときの、前後の誤知覚の発生を軽減しつつ、聴き手が覚える違和感も軽減させることが可能となる。特定領域の振幅スペクトルは、例えばスペクトラルキューが現れる周波数領域の振幅スペクトルである。

本発明の一実施形態に係るオーディオ信号処理方法は、入力されるオーディオ信号を処理する方法であり、所定の記録媒体に記録された、所定の頭部への到来方向が基準の到来方向を中心に周期的に変わる音を頭部の所定位置にて収音することによって得られた頭部伝達関数であって、音の到来方向に応じてスペクトルが時間軸上で変化する頭部伝達関数を補正する補正ステップと、補正ステップにて補正された頭部伝達関数に基づいてオーディオ信号に音の到来方向の情報を付与するステップとを含む。補正ステップにて、各到来方向の頭部伝達関数のうち、基準の到来方向の頭部伝達関数以外の他の到来方向の頭部伝達関数のスペクトルを補正する。他の到来方向の頭部伝達関数は、振幅スペクトル及び位相スペクトルのうち、特定領域の振幅スペクトル以外の少なくとも一部のスペクトルが、基準の到来方向の頭部伝達関数と一致するように補正される。

本発明によれば、頭部伝達関数に基づいて音の到来方向の情報が付与されたオーディオ信号による音をヘッドフォン等で聴き手が聴いたときの、前後の誤知覚の発生を軽減すると共に聴き手が覚える違和感も軽減されるように、当該オーディオ信号を処理するオーディオ信号処理装置及びオーディオ信号処理方法が提供される。

本発明の一実施形態に係る頭部伝達関数を測定する測定システムの構成を模式的に示す図である。 本発明の一実施形態に係る測定システムに備えられる任意の２つのスピーカから出る音によって生じる音像について説明する図である。 本発明の一実施形態において無響室に設置されたスピーカから出力されるテスト音の応答（すなわちテスト音の振幅スペクトル及び位相スペクトル）について説明する図である。 本発明の一実施形態に係る測定システムに備えられるダミーヘッドの外耳道入口のマイクロフォンに、聴き手が装着するヘッドフォンが接続されたモデルを例示する図である。 本発明の一実施形態において、所定の方位角を中心とした±Φの範囲で音像を周期的に移動させることにより、ダミーヘッドを左右に振る状態を模擬する例を示す図である。 本発明の一実施形態において、ダミーヘッドを左右に振る状態を模擬した場合におけるテスト音の応答について説明する図である。 本発明の一実施形態に係るオーディオ信号処理装置の構成を示すブロック図である。 本発明の一実施形態に係るオーディオ信号処理装置に備えられる頭部伝達関数処理部の構成を示すブロック図である。 本発明の一実施形態に係るオーディオ信号処理装置によって実行される、オーディオ信号に対する処理を示すフローチャートである。 本発明の一実施形態に係る測定システムにおいて測定された頭部伝達関数の振幅スペクトル及び位相スペクトルを例示する図である。 本発明の一実施形態に係る頭部伝達関数処理部によって図１０に示される頭部伝達関数を補正した結果得られる振幅スペクトル及び位相スペクトルを例示する図である。

以下、図面を参照して、本発明の一実施形態に係るオーディオ信号処理装置について説明する。本発明の一実施形態に係るオーディオ信号処理装置は、ダミーヘッドを用いて測定された汎用的な頭部伝達関数を補正することにより、当該補正された頭部伝達関数で乗算されたオーディオ信号による音をヘッドフォン等で聴き手が聴いたときの、前後の誤知覚の発生の軽減及び聴き手が覚える違和感の軽減を可能とする装置である。

図１は、本発明の一実施形態に係る測定システム１の構成を模式的に示す図である。図１に示されるように、測定システム１は、無響室Ｒに設置された円環状の支持部１０を有している。支持部１０の中心位置Ｏには、人間の顔、耳、頭、胴体等を模したダミーヘッドＤＨが設置されている。ダミーヘッドＤＨの右耳、左耳の外耳道入口には、それぞれ、マイクロフォンＭ_Ｒ、Ｍ_Ｌが取り付けられている。

円環状の支持部１０は、複数のスピーカＳＰを支持している。各スピーカＳＰは、中心位置Ｏに向く姿勢で、例えばダミーヘッドＤＨの鼻と同レベルの高さ位置で水平方向に５°間隔で並ぶように支持されている。すなわち、本実施形態では、計７２個のスピーカＳＰがダミーヘッドＤＨを中心としてダミーヘッドＤＨの周りに水平方向に５°間隔で並べて配置されている。以下、便宜上、ダミーヘッドＤＨの真正面（ダミーヘッドＤＨの鼻と正対する位置）のスピーカＳＰを「０°位置のスピーカＳＰ_ＺＥＲＯ」とし、スピーカＳＰ_ＺＥＲＯから反時計回りに配置されているスピーカＳＰを、それぞれ「５°位置のスピーカＳＰ_５」、「１０°位置のスピーカＳＰ_１０」、「１５°位置のスピーカＳＰ_１５」、・・・「３５５°位置のスピーカＳＰ_３５５」とする。なお、図１では、便宜上、スピーカＳＰ_ＺＥＲＯ、スピーカＳＰ_５、スピーカＳＰ_１０、スピーカＳＰ_３５０、スピーカＳＰ_３５５のみ示す。

無響室Ｒの外部（別の部屋）には、コントローラ２０が設置されている。コントローラ２０は、マイクロコンピュータ２００、操作部２１０、表示部２２０及びメモリ２３０を備えており、無響室Ｒ内の各スピーカＳＰと接続されている。

マイクロコンピュータ２００は、コントローラ２０を制御するＩＣ（Integrated Circuit）であり、ＣＰＵ（Central Processing Unit）、ＣＰＵによって実行される制御プログラムを格納するＲＯＭ（Read Only Memory）、制御プログラムの実行に必要な各種データを一時的に格納するＲＡＭ（Random Access Memory）等を有している。

操作部２１０は、例えばコントローラ２０の電源ボタンを有している。コントローラ２０の電源オフ時にオペレータによって電源ボタンが押されると、コントローラ２０は、ＲＯＭに格納された制御プログラムを読み出して実行する。これにより、コントローラ２０が起動する。オペレータは、表示部２２０に表示される各種情報を確認等しつつ操作部２１０を操作することにより、コントローラ２０を操作することができる。

メモリ２３０には、所定のオーディオ信号（テスト音）が格納されている。テスト音は、例えばＭ系列信号（Maximum Length Sequence）や時間伸張パルス（Time Stretched Pulse）である。マイクロコンピュータ２００は、メモリ２３０からテスト音を読み出し、読み出されたテスト音を任意のスピーカＳＰから出力させることができる。

本実施形態では、コントローラ２０により、任意の２つのスピーカＳＰからテスト音が出力される。図２を用いて、任意の２つのスピーカＳＰから出る音によって生じる音像Ｓ_Ｉについて説明する。任意の２つのスピーカＳＰには、便宜上、それぞれ、符号ＳＰ_Ｒ、ＳＰ_Ｌを付す。

図２に示されるように、方位角θ（０°位置を基準とした反時計回りの角度）に音像Ｓ_Ｉを定位させる場合、例えば方位角[θ－Θ]に位置するスピーカＳＰ_Ｒと、方位角[θ＋Θ]に位置するスピーカＳＰ_Ｌからテスト音を出力させる。説明の便宜上、ダミーヘッドＤＨの右耳、左耳の外耳道入口に符号Ｄ_Ｒ、Ｄ_Ｌを付す。

図３（ａ）～図３（ｃ）を用いて、無響室Ｒ（原音場）におけるテスト音の応答（振幅スペクトル及び位相スペクトル）について説明する。図３（ａ）に示されるように、スピーカＳＰ_Ｒ、ＳＰ_Ｌから出力された時点のテスト音の応答を応答Ｓ（ω）とし、外耳道入口Ｄ_Ｒ、Ｄ_Ｌに到達した時点のテスト音の応答を、それぞれ、応答Ｘ_Ｒ（ω）、応答Ｘ_Ｌ（ω）とする。

また、図３（ｂ）に示されるように、スピーカＳＰ_Ｒから出力されて外耳道入口Ｄ_Ｒ、Ｄ_Ｌに到達した時点のテスト音の応答を、それぞれ、応答Ｘ’_ＲＲ（ω）、応答Ｘ’_ＲＬ（ω）とする。図３（ｃ）に示されるように、スピーカＳＰ_Ｌから出力されて外耳道入口Ｄ_Ｒ、Ｄ_Ｌに到達した時点のテスト音の応答を、それぞれ、応答Ｘ’_ＬＲ（ω）、応答Ｘ’_ＬＬ（ω）とする。

一般に、音が伝播する空間は線形空間とみなすことができることから、応答Ｘ_Ｒ（ω）、応答Ｘ_Ｌ（ω）は、それぞれ、次式（１）、（２）で示すことができる。

［式（１）］
Ｘ_Ｒ（ω）＝Ｘ’_ＲＲ（ω）＋Ｘ’_ＬＲ（ω）
［式（２）］
Ｘ_Ｌ（ω）＝Ｘ’_ＲＬ（ω）＋Ｘ’_ＬＬ（ω）

本実施形態では、ダミーヘッドＤＨを用いて測定された汎用的な頭部伝達関数を補正し、補正によって得られた頭部伝達関数で乗算されたオーディオ信号による音をヘッドフォン等で聴き手が聴くことを想定している。そこで、ダミーヘッドＤＨの外耳道入口Ｄ_Ｒ、Ｄ_ＬのマイクロフォンＭ_Ｒ、Ｍ_Ｌに、聴き手ＬＳが装着するヘッドフォンＨＰが接続されたモデルを考える。本モデルを図４に示す。本モデルでは、ヘッドフォンＨＰは、右耳側がマイクロフォンＭ_Ｒに接続され、左耳側がマイクロフォンＭ_Ｌに接続される。ヘッドフォンＨＰを装着した聴き手ＬＳの右耳、左耳の外耳道入口でのテスト音の応答を、それぞれ、応答Ｙ_Ｒ（ω）、応答Ｙ_Ｌ（ω）とする。また、図示しないが、上記と同様に、右耳側がマイクロフォンＭ_Ｒに接続され、左耳側がマイクロフォンＭ_Ｌに接続されたヘッドフォンＨＰを、無響室Ｒ（原音場）内のダミーヘッドＤＨに装着する場合を考える。ヘッドフォンＨＰを装着したダミーヘッドＤＨの外耳道入口Ｄ_Ｒ、Ｄ_Ｌでのテスト音の応答を、それぞれ、応答Ｈ_Ｒ（ω）、応答Ｈ_Ｌ（ω）とする。

このようにモデル化することにより、聴き手ＬＳの右耳、左耳のそれぞれで聴こえるテスト音の応答、すなわち応答Ｙ_Ｒ（ω）、応答Ｙ_Ｌ（ω）は、それぞれ、次式（３）、（４）で示されることが判る。なお、Ｇ_Ｒ（ω）、Ｇ_Ｌ（ω）は、それぞれ、応答Ｘ_Ｒ（ω）、応答Ｘ_Ｌ（ω）に与えられる補正フィルタの特性を示す。

［式（３）］
Ｙ_Ｒ（ω）＝Ｘ_Ｒ（ω）・Ｇ_Ｒ（ω）・Ｈ_Ｒ（ω）
＝（Ｘ’_ＲＲ（ω）＋Ｘ’_ＬＲ（ω））・Ｇ_Ｒ（ω）・Ｈ_Ｒ（ω）
［式（４）］
Ｙ_Ｌ（ω）＝Ｘ_Ｌ（ω）・Ｇ_Ｌ（ω）・Ｈ_Ｌ（ω）
＝（Ｘ’_ＲＬ（ω）＋Ｘ’_ＬＬ（ω））・Ｇ_Ｌ（ω）・Ｈ_Ｌ（ω）

なお、ヘッドフォンＨＰからダミーヘッドＤＨの外耳道入口Ｄ_Ｒ、Ｄ_Ｌまでのテスト信号の応答Ｈ_Ｒ（ω）、応答Ｈ_Ｌ（ω）は、それぞれ、ヘッドフォンＨＰ自体の応答及びヘッドフォンＨＰの振動板から外耳道入口Ｄ_Ｒ、Ｄ_Ｌまでの経路におけるテスト音の応答に分解することができる。ヘッドフォンＨＰの応答は、無響室Ｒ（原音場）に存在しない応答である。また、ヘッドフォンＨＰの振動板から外耳道入口Ｄ_Ｒ、Ｄ_Ｌまでの経路におけるテスト音の応答は、無響室Ｒにおけるテスト音の経路（スピーカＳＰから外耳道入口Ｄ_Ｒ、Ｄ_Ｌまでの経路）での応答の一部と重複する。そのため、補正フィルタＧ_Ｒ（ω）、Ｇ_Ｌ（ω）は、それぞれ、応答Ｈ_Ｒ（ω）、応答Ｈ_Ｌ（ω）の逆特性に相当する。従って、応答Ｙ_Ｒ（ω）、Ｙ_Ｌ（ω）は、それぞれ、次式（５）、（６）で示すことができる。

［式（５）］
Ｙ_Ｒ（ω）＝（Ｘ’_ＲＲ（ω）＋Ｘ’_ＬＲ（ω））・Ｈ_Ｒ（ω）^－１・Ｈ_Ｒ（ω）
（Ｈ_Ｒ（ω）^－１＝Ｇ_Ｒ（ω））
［式（６）］
Ｙ_Ｌ（ω）＝（Ｘ’_ＲＬ（ω）＋Ｘ’_ＬＬ（ω））・Ｈ_Ｌ（ω）^－１・Ｈ_Ｌ（ω）
（Ｈ_Ｌ（ω）^－１＝Ｇ_Ｌ（ω））

外耳道入口Ｄ_Ｒ、Ｄ_Ｌに到達した時点のテスト音の応答Ｘ_Ｒ（ω）、応答Ｘ_Ｌ（ω）は、それぞれ、スピーカＳＰ_Ｒ、ＳＰ_Ｌから出力された時点のテスト音の応答Ｓ（ω）、言い換えると、スピーカＳＰ_Ｒ、ＳＰ_Ｌ自身の応答を含んでいる。そのため、スピーカＳＰ_Ｒ、ＳＰ_Ｌがテスト音に与える影響を排除する場合には、スピーカＳＰの応答Ｓ（ω）を補正する（打ち消す）必要がある。このことから、補正フィルタＧ_Ｒ（ω）、Ｇ_Ｌ（ω）は、それぞれ、次式（７）、（８）で示すことができる。また、応答Ｙ_Ｒ（ω）、Ｙ_Ｌ（ω）は、それぞれ、次式（９）、（１０）で示すことができる。

［式（７）］
Ｇ_Ｒ（ω）＝Ｈ_Ｒ（ω）^－１・Ｓ（ω）^－１
［式（８）］
Ｇ_Ｌ（ω）＝Ｈ_Ｌ（ω）^－１・Ｓ（ω）^－１
［式（９）］
Ｙ_Ｒ（ω）＝（Ｘ’_ＲＲ（ω）＋Ｘ’_ＬＲ（ω））・Ｈ_Ｒ（ω）^－１・Ｓ（ω）^－１・Ｈ_Ｒ（ω）
［式（１０）］
Ｙ_Ｌ（ω）＝（Ｘ’_ＲＬ（ω）＋Ｘ’_ＬＬ（ω））・Ｈ_Ｌ（ω）^－１・Ｓ（ω）^－１・Ｈ_Ｌ（ω）

上述したように、マイクロコンピュータ２００は、メモリ２３０からテスト音のオーディオ信号を読み出し、読み出されたオーディオ信号を処理して任意の２つのスピーカＳＰから出力させることができる。マイクロコンピュータ２００は、頭部伝達関数の測定時において、テスト音を出力する２つのスピーカＳＰを切り替える（擬似的に移動させる）ことにより、無響室Ｒ（原音場）で頭部（ダミーヘッドＤＨ）を左右に振る状態を擬似的に作り出すことができる。このマイクロコンピュータ２００によるスピーカＳＰの制御を、図５を用いて説明する。

図５は、方位角θを基準とした（中心とした）±Φの範囲で音像Ｓ_Ｉを周期的に移動させることにより、頭部（ダミーヘッドＤＨ）を左右に振る状態を模擬する例である。図５において、方位角[θ－Θ]、方位角[θ＋Θ]に位置するスピーカをそれぞれスピーカＳＰ_ＲＯ、スピーカＳＰ_ＬＯと記し、スピーカＳＰ_ＲＯ及びＳＰ_ＬＯから出る音によって方位角θに定位する音像を音像Ｓ_ＩＯと記す。また、方位角[θ－Θ＋Φ]、[θ＋Θ＋Φ]に位置するスピーカをそれぞれスピーカＳＰ_{Ｒ_＋Φ}、スピーカＳＰ_{Ｌ_＋Φ}と記し、スピーカＳＰ_{Ｒ_＋Φ}及びＳＰ_{Ｌ_＋Φ}から出る音によって方位角[θ＋Φ]に定位する音像を音像Ｓ_{Ｉ_＋Φ}と記す。また、方位角[θ－Θ－Φ]、[θ＋Θ－Φ]に位置するスピーカをそれぞれスピーカＳＰ_{Ｒ_－Φ}、スピーカＳＰ_{Ｌ_－Φ}と記し、スピーカＳＰ_{Ｒ_－Φ}及びＳＰ_{Ｌ_－Φ}から出る音によって方位角[θ－Φ]に定位する音像を音像Ｓ_{Ｉ_－Φ}と記す。

マイクロコンピュータ２００は、テスト音を出力するスピーカＳＰを、例えばスピーカＳＰ_ＲＯから反時計回りに隣接するスピーカＳＰに１つずつ順に所定の周期で切り替えると同時に、スピーカＳＰ_ＬＯから反時計回りに隣接するスピーカＳＰに１つずつ順に所定の周期で切り替える。マイクロコンピュータ２００は、テスト音を出力するスピーカＳＰがスピーカＳＰ_{Ｒ_＋Φ}、スピーカＳＰ_{Ｌ_＋Φ}にそれぞれ達すると、テスト音を出力するスピーカＳＰを、スピーカＳＰ_{Ｒ_－Φ}に達するまでスピーカＳＰ_{Ｒ_＋Φ}から時計回りに隣接するスピーカＳＰに１つずつ順に所定の周期で切り替えると同時に、スピーカＳＰ_{Ｌ_－Φ}に達するまでスピーカＳＰ_{Ｌ_＋Φ}から時計回りに隣接するスピーカＳＰに１つずつ順に所定の周期で切り替える。このようなスピーカＳＰの制御が繰り返されることにより、音像Ｓ_Ｉの位置が±Φの範囲で周期的に切り替わり、音像Ｓ_Ｉが周期的に移動する状況が擬似的に得られる。そのため、無響室Ｒ（原音場）において頭部（ダミーヘッドＤＨ）を左右に振る状態が模擬される。

一例として、スピーカＳＰ_ＲＯ、スピーカＳＰ_ＬＯが、それぞれ２７０°位置、３３０°位置のスピーカＳＰ_２７０、ＳＰ_３３０であり、角度±Φが±１５°であり、所定の周期が０．２５ｓｅｃである場合を考える。この場合、マイクロコンピュータ２００は、テスト音を出力するスピーカＳＰを、０．２５ｓｅｃ経過する毎に、スピーカＳＰ_２７０及びＳＰ_３３０、スピーカＳＰ_２７５及びＳＰ_３３５、スピーカＳＰ_２８０及びＳＰ_３４０、スピーカＳＰ_２８５及びＳＰ_３４５に切り替え、次いで、スピーカＳＰ_２８０及びＳＰ_３４０、スピーカＳＰ_２７５及びＳＰ_３３５、スピーカＳＰ_２７０及びＳＰ_３３０、スピーカＳＰ_２６５及びＳＰ_３２５、スピーカＳＰ_２６０及びＳＰ_３２０、スピーカＳＰ_２５５及びＳＰ_３１５に切り替え、更に、スピーカＳＰ_２６０及びＳＰ_３２０、スピーカＳＰ_２６５及びＳＰ_３２５、スピーカＳＰ_２７０及びＳＰ_３３０に切り替える。このようなスピーカＳＰの制御が繰り返されることにより、音像Ｓ_Ｉが３００°位置を中心とした±１５°の範囲で周期的に切り替わり、音像Ｓ_Ｉが周期的に移動する状況が擬似的に得られる。

図６（ａ）～図６（ｃ）を用いて、無響室Ｒ（原音場）において頭部（ダミーヘッドＤＨ）を左右に振る状態を模擬した場合におけるテスト音の応答について説明する。図６（ａ）に示されるように、スピーカＳＰ_ＲＯ及びスピーカＳＰ_ＬＯが角度φ（－Φ＜φ＜＋Φ）移動したときに出力されたテスト音の、外耳道入口Ｄ_Ｒ、Ｄ_Ｌへの到達時点における応答を、それぞれ、応答Ｘ_Ｒφ（ω）、応答Ｘ_Ｌφ（ω）とする。

また、図６（ｂ）に示されるように、スピーカＳＰ_Ｒφから出力されて外耳道入口Ｄ_Ｒ、Ｄ_Ｌに到達した時点のテスト音の応答を、それぞれ、応答Ｘ’_ＲφＲ（ω）、応答Ｘ’_ＲφＬ（ω）とする。図６（ｃ）に示されるように、スピーカＳＰ_Ｌφから出力されて外耳道入口Ｄ_Ｒ、Ｄ_Ｌに到達した時点のテスト音の応答を、それぞれ、応答Ｘ’_ＬφＲ（ω）、応答Ｘ’_ＬφＬ（ω）とする。また、スピーカＳＰ_ＲＯから出力されて外耳道入口Ｄ_Ｒ、Ｄ_Ｌに到達した時点のテスト音の応答を、それぞれ、応答Ｘ’_ＲＯＲ（ω）、応答Ｘ’_ＲＯＬ（ω）とする。また、スピーカＳＰ_ＬＯから出力されて外耳道入口Ｄ_Ｒ、Ｄ_Ｌに到達した時点のテスト音の応答を、それぞれ、応答Ｘ’_ＬＯＲ（ω）、応答Ｘ’_ＬＯＬ（ω）とする。

また、図４のモデルにおいて、スピーカＳＰ_ＲＯ及びスピーカＳＰ_ＬＯを±Φの範囲で揺動させた場合（すなわち、無響室Ｒ（原音場）で頭部（ダミーヘッドＤＨ）を左右に振る状態を模擬した場合）に、ヘッドフォンＨＰを装着した聴き手ＬＳの右耳、左耳の外耳道入口で再現されるテスト音の応答を、それぞれ、応答Ｙ_Ｒφ（ω）、応答Ｙ_Ｌφ（ω）とする。この応答Ｙ_Ｒφ（ω）、応答Ｙ_Ｌφ（ω）は、それぞれ、次式（１１）、（１２）で示すことができる。

［式（１１）］
Ｙ_Ｒφ（ω）＝（Ｘ’_ＲφＲ（ω）＋Ｘ’_ＬφＲ（ω））・Ｈ_Ｒ（ω）^－１・Ｓ（ω）^－１・Ｈ_Ｒ（ω）
［式（１２）］
Ｙ_Ｌφ（ω）＝（Ｘ’_ＲφＬ（ω）＋Ｘ’_ＬφＬ（ω））・Ｈ_Ｌ（ω）^－１・Ｓ（ω）^－１・Ｈ_Ｌ（ω）

（Ｘ’_ＲφＲ（ω）＋Ｘ’_ＬφＲ（ω））が、測定システム１において、頭部（ダミーヘッドＤＨ）を左右に振る状態を模擬しながら測定された右耳側の頭部伝達関数を示し、（Ｘ’_ＲφＬ（ω）＋Ｘ’_ＬφＬ（ω））が、測定システム１において、頭部（ダミーヘッドＤＨ）を左右に振る状態を模擬しながら測定された左耳側の頭部伝達関数を示す。式（１１）及び（１２）の頭部伝達関数で乗算されたオーディオ信号による音をヘッドフォンで聴くと、前後の誤知覚及び上方に知覚すべき音像を下方に知覚する（又は下方に知覚すべき音像を上方に知覚する）という誤り（便宜上「上下の誤知覚」と記す。）の発生が軽減される一方、人によっては、音像の移動に伴う違和感（例えば当該音が揺らいで聴こえる等）を覚える。

ここで、前後及び上下方向における知覚の手掛かりとして、頭部伝達関数の振幅スペクトルが重要であることが知られており、例えば非特許文献２（Kazuhiro Iida, Motokuni Itoh, Atsue Itagaki, Masayuki Morimoto, "Median plane localization using a parametric model of the head-related transfer function based on spectral cues" Applied Acoustics 68 (2007), p835-850）に、頭部伝達関数の振幅スペクトルに現れるピークＰ１、ノッチＮ１及びＮ２が特に重要であることが示されている。

ピークＰ１は、ノッチＮ１及びＮ２を分析するための参照情報として利用されるものであり、音像の位置に拘わらず、頭部伝達関数の振幅スペクトルの４ｋＨｚ付近に現れる。ノッチＮ１は、ピークＰ１よりも高域側で最初に現れるノッチ（当該高域側で最も低い周波数帯域のノッチ）であり、ノッチＮ２は、ノッチＮ１の次に現れるノッチ（当該高域側で２番目に低い周波数帯域のノッチ）である。各ノッチＮ１、Ｎ２が現れる周波数帯域は、音像の位置に応じて変化する。ノッチＮ１及びＮ２は、前後及び上下方向における知覚の手掛かりであるスペクトラルキュー（spectral cue）とも呼ばれる。

本発明者は、非特許文献２を基に鋭意検討を重ねた結果、頭部伝達関数の振幅スペクトル及び位相スペクトルのうち、少なくとも、ノッチＮ１及びＮ２が現れる周波数帯域の振幅スペクトルさえ音像の位置（音の到来方向）に応じて変化していれば、前後の誤知覚及び上下の誤知覚の発生を軽減することが可能であるとの知見を得た。

そこで、本発明の一実施形態に係るオーディオ信号処理装置３０は、測定システム１で測定された頭部伝達関数であって、音像Ｓ_Ｉの位置（音の到来方向）に応じて時間軸上で変化する頭部伝達関数（（Ｘ’_ＲφＲ（ω）＋Ｘ’_ＬφＲ（ω））及び（Ｘ’_ＲφＬ（ω）＋Ｘ’_ＬφＬ（ω）））に対して所定の補正処理を加えることにより、当該補正された頭部伝達関数で乗算されたオーディオ信号による音をヘッドフォン等で聴き手が聴いたときの、前後の誤知覚及び上下の誤知覚の発生を軽減しつつ、聴き手が覚える違和感も軽減させることが可能な構成となっている。

図７は、本発明の一実施形態に係るオーディオ信号処理装置３０の構成を示すブロック図である。図７に示されるように、オーディオ信号処理装置３０は、ＦＦＴ（Fast Fourier Transform）部３１０、頭部伝達関数処理部３２０、第１の逆フィルタリング部３３０、第２の逆フィルタリング部３４０及びＩＦＦＴ（Inverse Fast Fourier Transform）部３５０を備えている。なお、図７では、本実施形態の説明に必要な主たる構成要素を図示しており、オーディオ信号処理装置として一般的な構成要素である筐体など、一部の構成要素については、その図示を適宜省略している。

ＦＦＴ部３１０には、不図示の再生装置によって再生された左右２チャンネルのオーディオ信号が入力される。ＦＦＴ部３１０は、入力されたオーディオ信号に対してオーバラップ処理及び窓関数による重み付け処理を行った後、オーディオ信号を時間領域から周波数領域に変換する。

頭部伝達関数処理部３２０には、周波数領域に変換されたオーディオ信号が入力される。頭部伝達関数処理部３２０は、音像Ｓ_Ｉの位置（音の到来方向）に応じて時間軸上で変化する頭部伝達関数（（Ｘ’_ＲφＲ（ω）＋Ｘ’_ＬφＲ（ω））及び（Ｘ’_ＲφＬ（ω）＋Ｘ’_ＬφＬ（ω）））を保持している。頭部伝達関数処理部３２０は、この頭部伝達関数（（Ｘ’_ＲφＲ（ω）＋Ｘ’_ＬφＲ（ω））及び（Ｘ’_ＲφＬ（ω）＋Ｘ’_ＬφＬ（ω）））を補正し、補正された頭部伝達関数でオーディオ信号を乗算することにより、オーディオ信号に音の到来方向の情報を付与する。

頭部伝達関数処理部３２０は、音像Ｓ_Ｉの位置（音の到来方向）に応じて時間軸上で変化する頭部伝達関数の位相スペクトルを、音像の位置に拘わらず常に基準の到来方向の頭部伝達関数の位相スペクトルと一致するように補正する。また、音像Ｓ_Ｉの位置に応じて時間軸上で変化する頭部伝達関数の振幅スペクトルについては、スペクトラルキュー（ノッチＮ１及びＮ２）が現れる周波数帯域以外の振幅スペクトルを、基準の到来方向の頭部伝達関数の振幅スペクトルと一致するように補正する。なお、頭部伝達関数処理部３２０は、音像Ｓ_ＩＯの頭部伝達関数を、基準の到来方向の頭部伝達関数として設定する。

すなわち、頭部伝達関数処理部３２０は、頭部伝達関数（（Ｘ’_ＲφＲ（ω）＋Ｘ’_ＬφＲ（ω））及び（Ｘ’_ＲφＬ（ω）＋Ｘ’_ＬφＬ（ω）））を、スペクトラルキュー（ノッチＮ１及びＮ２）が現れる周波数帯域の振幅スペクトルが音像の位置（音の到来方向）に応じて時間軸上で変化し、それ以外のスペクトルが音像の位置に拘わらず常に一定となるように補正する。

このように、本実施形態では、スペクトラルキュー（ノッチＮ１及びＮ２）が現れる周波数帯域の振幅スペクトルだけが音像Ｓ_Ｉの位置に応じて時間軸上で変化するように頭部伝達関数を補正することにより、時間軸上で周期的に変化するスペクトル成分を従来よりも少なくしている。このような頭部伝達関数でオーディオ信号を乗算すると、頭部伝達関数の影響でオーディオ信号の周波数特性に加わる周期的な変化が抑えられるため、当該オーディオ信号による音をヘッドフォン等で聴き手が聴いたときの、前後の誤知覚及び上下の誤知覚の発生を軽減しつつ、聴き手が覚える違和感も軽減させることが可能となる。

頭部伝達関数処理部３２０による頭部伝達関数の補正処理を次式（１１）、（１２）に加えたものは、それぞれ、次式（１３）、（１４）で示すことができる。なお、応答Ｙ’_Ｒφ（ω）、応答Ｙ’_Ｌφ（ω）は、それぞれ、当該補正処理が加えられた場合に聴き手の右耳、左耳のそれぞれで聴こえるテスト音の応答を示す。応答Ｆ_Ｌ（ω）は、当該補正処理に用いられる線形位相特性を持つローパスフィルタの応答を示し、応答Ｆ_Ｈ（ω）は、当該補正処理に用いられる線形位相特性を持つハイパスフィルタの応答を示す。なお、ローパスフィルタは、例えば２ｋＨｚ未満（第２のスペクトル）をパスし、ハイパスフィルタは、例えば２ｋＨｚ以上（第１のスペクトル）をパスする。なお、第１のスペクトルの下限は、例えば２ｋＨｚ～４ｋＨｚの間で変更可能であってもよい。第１のスペクトルの下限が変更されることに伴い、第２のスペクトルの上限も２ｋＨｚ～４ｋＨｚの間で変更される。

［式（１３）］
Ｙ’_Ｒφ（ω）＝［Ｆ_Ｌ（ω）・（Ｘ’_ＲＯＲ（ω）＋Ｘ’_ＬＯＲ（ω））＋Ｆ_Ｈ（ω）・（Ｘ’_ＲφＲ（ω）・Ｏ_ＲφＲ（ω）＋Ｘ’_ＬφＲ（ω）・Ｏ_ＬφＲ（ω））］・Ｈ_Ｒ（ω）^－１・Ｓ（ω）^－１・Ｈ_Ｒ（ω）
但し、

［式（１４）］
Ｙ’_Ｌφ（ω）＝［Ｆ_Ｌ（ω）・（Ｘ’_ＲＯＬ（ω）＋Ｘ’_ＬＯＬ（ω））＋Ｆ_Ｈ（ω）・（Ｘ’_ＲφＬ（ω）・Ｏ_ＲφＬ（ω）＋Ｘ’_ＬφＬ（ω）・Ｏ_ＬφＬ（ω））］・Ｈ_Ｌ（ω）^－１・Ｓ（ω）^－１・Ｈ_Ｌ（ω）
但し、

図８に、上記式（１３）及び（１４）に相当する頭部伝達関数処理部３２０の構成をブロック図で示す。なお、図８では、頭部伝達関数処理部３２０の各ブロックに対し、上記式（１３）及び（１４）との対応関係を判り易くするため、対応する上記式（１３）及び（１４）の項を示している。

図８に示されるように、頭部伝達関数処理部３２０は、ローパスフィルタ３２０Ａ、乗算部３２０Ｂ、３２０Ｃ、加算部３２０Ｄ、ハイパスフィルタ３２０Ｅ、乗算部３２０Ｆ～３２０Ｉ、加算部３２０Ｊ及び３２０Ｋを備えている。

図８に示されるように、ＦＦＴ部３１０より入力されるオーディオ信号は、ローパスフィルタ３２０Ａとハイパスフィルタ３２０Ｅとにより、第１のスペクトルのオーディオ信号成分と第２のスペクトルのオーディオ信号成分とに分離される。

乗算部３２０Ｂ、３２０Ｃには、それぞれ、基準の到来方向の右耳側の頭部伝達関数（Ｘ’_ＲＯＲ（ω）＋Ｘ’_ＬＯＲ（ω））、基準の到来方向の左耳側の頭部伝達関数（Ｘ’_ＲＯＬ（ω）＋Ｘ’_ＬＯＬ（ω））が保持されている。ローパスフィルタ３２０Ａにて分離された第２のスペクトルのオーディオ信号成分は、各乗算部３２０Ｂ、３２０Ｃに保持された頭部伝達関数で乗算された後、加算部３２０Ｄにて加算されて、加算部３２０Ｋに出力される。

すなわち、頭部伝達関数処理部３２０は、ローパスフィルタ３２０Ａ、乗算部３２０Ｂ、３２０Ｃ及び加算部３２０Ｄにより、頭部伝達関数の第２のスペクトルの成分については、全ての到来方向の頭部伝達関数の振幅スペクトル及び位相スペクトルを基準の到来方向の頭部伝達関数の振幅スペクトル及び位相スペクトルと一致するように補正し、補正された頭部伝達関数でオーディオ信号を乗算することにより、オーディオ信号に音の到来方向の情報を付与している、といえる。

乗算部３２０Ｆ、３２０Ｇには、それぞれ、音像の位置（音の到来方向）に応じて時間軸上で変化する右耳側の頭部伝達関数（Ｘ’_ＲφＲ（ω）＋Ｘ’_ＬφＲ（ω））、音像の位置に応じて時間軸上で変化する左耳側の頭部伝達関数（Ｘ’_ＲφＬ（ω）＋Ｘ’_ＬφＬ（ω））が保持されている。乗算部３２０Ｈ、３２０Ｉには、それぞれ、各到来方向の頭部伝達関数に対応する右耳側の補正応答特性（Ｏ_ＲφＲ（ω）＋Ｏ_ＬφＲ（ω））、各到来方向の頭部伝達関数に対応する左耳側の補正応答特性（Ｏ_ＲφＬ（ω）＋Ｏ_ＬφＬ（ω））が保持されている。ハイパスフィルタ３２０Ｅにて分離された第１のスペクトルのオーディオ信号成分は、各乗算部３２０Ｆ、３２０Ｇに保持された、時間軸上で変化する頭部伝達関数にて順次乗算され、乗算部３２０Ｈ、３２０Ｉに保持された補正応答特性によって順次補正された後、加算部３２０Ｊにて順次加算されて、加算部３２０Ｋに出力される。

すなわち、頭部伝達関数処理部３２０は、ハイパスフィルタ３２０Ｅ、乗算部３２０Ｆ～３２０Ｉ及び加算部３２０Ｊにより、頭部伝達関数の第１のスペクトルの成分については、全ての到来方向の頭部伝達関数の振幅スペクトルを補正しない一方、全ての到来方向の頭部伝達関数の位相スペクトルを基準の到来方向の頭部伝達関数の位相スペクトルと一致するように補正し、補正された頭部伝達関数でオーディオ信号を乗算することにより、オーディオ信号に音の到来方向の情報を付与している、といえる。

加算部３２０Ｋは、加算部３２０Ｄからの入力と加算部３２０Ｊからの入力を加算する。これにより、スペクトラルキュー（ノッチＮ１及びＮ２）が現れる周波数帯域の振幅スペクトルだけが音像Ｓ_Ｉの位置に応じて時間軸上で変化するように補正された頭部伝達関数によって乗算されたオーディオ信号、すなわち、前後及び上下方向における知覚の重要な手掛かり（スペクトラルキュー）が付与されつつ、頭部伝達関数を乗算したことに伴う時間軸上のスペクトル成分の周期的な変化が従来よりも少なく抑えられたオーディオ信号が得られる。

加算部３２０Ｋから出力されたオーディオ信号は、第１の逆フィルタリング部３３０に入力される。第１の逆フィルタリング部３３０には、例えば聴き手が装着するヘッドフォンＨＰの応答の逆特性に相当する応答Ｈ_Ｒ（ω）^－１・Ｈ_Ｌ（ω）^－１が保持されている。そのため、第１の逆フィルタリング部３３０に入力されたオーディオ信号は、ヘッドフォンＨＰの応答が補正される（打ち消される）。すなわち、聴き手の外耳道入口に届く音が、ヘッドフォンＨＰの応答特性の影響が排除されたものに補正される。なお、ヘッドフォンＨＰの応答が不明な場合、例えば適当な代表値の応答を第１の逆フィルタリング部３３０に保持させてもよい。

第１の逆フィルタリング部３３０から出力されたオーディオ信号は、第２の逆フィルタリング部３４０に入力される。第２の逆フィルタリング部３４０には、無響室Ｒ（原音場）に設置されたスピーカＳＰの応答の逆特性に相当するＳ（ω）^－１が保持されている。そのため、第２の逆フィルタリング部３４０に入力されたオーディオ信号は、スピーカＳＰの応答が補正される（打ち消される）。すなわち、聴き手の外耳道入口に届く音が、スピーカＳＰの応答特性の影響が排除されたものに補正される。

第２の逆フィルタリング部３４０から出力されたオーディオ信号は、ＩＦＦＴ部３５０に入力される。ＩＦＦＴ部３５０は、入力されたオーディオ信号を周波数領域から時間領域に変換した後、窓関数による重み付け処理及びオーバラップ加算を行い、例えばオーディオ信号処理装置３０に接続された聴き手のヘッドフォン等に出力する。

オーディオ信号は、頭部伝達関数処理部３２０にて頭部伝達関数が乗算されることに伴い、周波数領域から時間領域に戻したときの信号波形が不連続なものとなる。本実施形態では、ＦＦＴ部３１０によるオーバラップ処理及びＩＦＦＴ部３５０によるオーバラップ加算により、不連続となったオーディオ信号の信号波形が平滑化される。

図９に、オーディオ信号処理装置３０によるオーディオ信号に対する処理をフローチャートで示す。図９に示されるように、オーディオ信号処理装置３０は、左右２チャンネルのオーディオ信号に対してオーバラップ処理及び窓関数による重み付け処理を行った後、オーディオ信号を時間領域から周波数領域に変換する（ステップＳ１１）。

オーディオ信号処理装置３０は、頭部伝達関数（（Ｘ’_ＲφＲ（ω）＋Ｘ’_ＬφＲ（ω））及び（Ｘ’_ＲφＬ（ω）＋Ｘ’_ＬφＬ（ω）））を、スペクトラルキュー（ノッチＮ１及びＮ２）が現れる周波数帯域の振幅スペクトルだけが音像Ｓ_Ｉの位置に応じて時間軸上で変化するように補正する（ステップＳ１２）。

オーディオ信号処理装置３０は、ステップＳ１２にて補正された頭部伝達関数でオーディオ信号を乗算して、オーディオ信号に音の到来方向の情報を付与する（ステップＳ１３）。

オーディオ信号処理装置３０は、聴き手が装着するヘッドフォンＨＰ及び無響室Ｒ（原音場）に設置されたスピーカＳＰの応答特性を打ち消す補正を行う（ステップＳ１４）。

オーディオ信号処理装置３０は、オーディオ信号を周波数領域から時間領域に変換した後、窓関数による重み付け処理及びオーバラップ加算を行い、オーディオ信号処理装置３０に接続された聴き手のヘッドフォン等に出力する（ステップＳ１５）。

図１０（ａ）、図１０（ｂ）は、それぞれ、測定システム１において、次の条件で測定された頭部伝達関数の振幅スペクトル、位相スペクトルを示す。図１０（ａ）中、縦軸はパワー（単位：ｄＢ）を示し、横軸は周波数（単位：Ｈｚ）を示す。図１０（ｂ）中、サンプル数（言い換えると時間）を示し、横軸は周波数（単位：Ｈｚ）を示す。なお、図１０では、スピーカＳＰ_Ｌφから外耳道入口Ｄ_Ｌに届く音の頭部伝達関数（すなわち、Ｘ’_ＬφＬ（ω））を代表として示している。また、位相スペクトルは、位相遅延量を判り易く示す便宜上、群遅延特性に置き換えて示している。

［頭部伝達関数の測定条件］
方位角θ：０°
角度Θ ：３０°
（すなわちスピーカＳＰ_Ｒ、ＳＰ_Ｌの位置がそれぞれ方位角３３０°、方位角３０°）
角度Φ ：３０°
（すなわちスピーカＳＰ_Ｒが方位角３００°～３６０°の範囲で移動し、スピーカＳＰ_Ｌが方位角０°～６０°の範囲で移動する）
角度φ ：－３０°、－２０°、・・・２０°、３０°
（すなわち、各スピーカが±Φの範囲内で１０°刻みで移動する）

図１１（ａ）、図１１（ｂ）は、それぞれ、図１０に示される頭部伝達関数（Ｘ’_ＬφＬ（ω））を頭部伝達関数処理部３２０で補正した結果得られる頭部伝達関数の振幅スペクトル、位相スペクトルを示す。

図１０と図１１とを比較すると、頭部伝達関数処理部３２０により、振幅スペクトルについては、スペクトラルキュー（ノッチＮ１及びＮ２）が現れる周波数帯域（ここでは２ｋＨｚ以上）の振幅スペクトルだけが音像Ｓ_Ｉの位置に応じて時間軸上で変化するように補正（言い換えると、２ｋＨｚ未満の振幅スペクトルだけが音像Ｓ_Ｉの位置に拘わらず、常に、基準の到来方向の頭部伝達関数（音像Ｓ_ＩＯの頭部伝達関数）と一致するように補正）されていることが判る。

また、位相スペクトル（群遅延特性）については、音像Ｓ_Ｉの位置に拘わらず、常に、基準の到来方向の頭部伝達関数（音像Ｓ_ＩＯの頭部伝達関数）と一致するように補正されていることが判る。なお、図１１（ｂ）に示される群遅延特性は、図１０（ｂ）における基準の到来方向の頭部伝達関数の群遅延特性と比べて、全周波数帯域において、ローパスフィルタ３２０Ａ及びハイパスフィルタ３２０Ｅの影響により、遅延時間が約２５０サンプル分増えているが、この遅延時間を除けば、両者の群遅延特性は実質同一である。

このように、図１０及び図１１の例では、スペクトラルキュー（ノッチＮ１及びＮ２）が現れる周波数帯域の振幅スペクトルだけが音像Ｓ_Ｉの位置に応じて時間軸上で変化するように頭部伝達関数が補正される。時間軸上で周期的に変化するスペクトル成分が従来よりも少ないため、当該頭部伝達関数で乗算されたオーディオ信号による音をヘッドフォン等で聴き手が聴いたときの、前後の誤知覚及び上下の誤知覚の発生を軽減しつつ、聴き手が覚える違和感も軽減させることが可能となることが判る。

以上が本発明の例示的な実施形態の説明である。本発明の実施形態は、上記に説明したものに限定されず、本発明の技術的思想の範囲において様々な変形が可能である。例えば明細書中に例示的に明示される実施例等又は自明な実施例等を適宜組み合わせた内容も本願の実施形態に含まれる。

例えば上記の実施形態では、２つのスピーカＳＰを用いて頭部伝達関数の測定を行っているが、例えば５．１チャンネルや７．１チャンネル等のオーディオ信号に音の到来方向の情報を付与するため、より多くのスピーカＳＰを用いて頭部伝達関数の測定を行ってもよい。

上記の実施形態では、各到来方向の頭部伝達関数に関し、スペクトラルキュー（ノッチＮ１及びＮ２）が現れる周波数帯域の振幅スペクトル以外の全ての振幅・位相スペクトルが、基準の到来方向の頭部伝達関数の振幅・位相スペクトルと一致するように補正されているが、別の実施形態では、スペクトラルキューが現れる周波数帯域の振幅スペクトル以外の一部の振幅・位相スペクトルだけが、基準の到来方向の頭部伝達関数の振幅・位相スペクトルと一致するように補正されてもよい。

例えば、各到来方向の頭部伝達関数は、位相スペクトルだけが、基準の到来方向の頭部伝達関数の位相スペクトルと一致するように補正されてもよく、また、スペクトラルキューが現れる周波数帯域の振幅スペクトル以外の振幅スペクトルだけが、基準の到来方向の頭部伝達関数の振幅スペクトルと一致するように補正されてもよい。これらの場合においても、頭部伝達関数の補正の結果、時間軸上で周期的に変化するスペクトル成分が従来よりも少なくなるため、当該頭部伝達関数で乗算されたオーディオ信号による音をヘッドフォン等で聴き手が聴いたときの、前後の誤知覚及び上下の誤知覚の発生を軽減しつつ、聴き手が覚える違和感も軽減させることが可能となる。

１ システム
１０ 支持部
２０ コントローラ
３０ オーディオ信号処理装置
２００ マイクロコンピュータ
２１０ 操作部
２２０ 表示部
２３０ メモリ
３１０ ＦＦＴ部
３２０ 頭部伝達関数処理部
３３０ 第１の逆フィルタリング部
３４０ 第２の逆フィルタリング部
３５０ ＩＦＦＴ部

Claims (14)

1. 入力されるオーディオ信号を処理するオーディオ信号処理装置において、
   所定の頭部への到来方向が基準の到来方向を中心に周期的に変わる音を前記頭部の所定位置にて収音することによって得られた頭部伝達関数であって、前記音の到来方向に応じてスペクトルが時間軸上で変化する頭部伝達関数を保持する保持部と、
   前記保持部に保持された頭部伝達関数を補正する補正部と、
   前記補正部によって補正された頭部伝達関数に基づいて前記オーディオ信号に音の到来方向の情報を付与する処理部と、
   を備え、
   前記補正部は、
   各前記到来方向の頭部伝達関数のうち、前記基準の到来方向の頭部伝達関数以外の他の到来方向の頭部伝達関数のスペクトルを補正し、
   前記他の到来方向の頭部伝達関数は、
   振幅スペクトル及び位相スペクトルのうち、特定領域の振幅スペクトル以外の少なくとも一部のスペクトルが、前記基準の到来方向の頭部伝達関数と一致するように補正される、
   オーディオ信号処理装置。
2. 前記他の到来方向の頭部伝達関数は、
   少なくとも、位相スペクトルが、前記基準の到来方向の頭部伝達関数と一致するように補正される、
   請求項１に記載のオーディオ信号処理装置。
3. 前記特定領域の振幅スペクトルは、
   スペクトラルキューが現れる周波数領域の振幅スペクトルであり、
   前記他の到来方向の頭部伝達関数は、
   少なくとも、前記振幅スペクトルのうち、前記スペクトラルキューが現れる周波数領域以外の振幅スペクトルが、前記基準の到来方向の頭部伝達関数と一致するように補正される、
   請求項１又は請求項２に記載のオーディオ信号処理装置。
4. 前記頭部伝達関数は、
   前記特定領域を含む第１の周波数領域及び前記第１の周波数領域よりも低い第２の周波数領域における振幅スペクトル及び位相スペクトルを示す関数であり、
   前記補正部は、
   前記第１の周波数領域については、前記各到来方向の頭部伝達関数の振幅スペクトルを補正しない一方、前記他の到来方向の頭部伝達関数の位相スペクトルを前記基準の到来方向の頭部伝達関数の位相スペクトルと一致するように補正し、
   前記第２の周波数領域の成分については、前記他の到来方向の頭部伝達関数の振幅スペクトル及び位相スペクトルを前記基準の到来方向の頭部伝達関数の振幅スペクトル及び位相スペクトルと一致するように補正する、
   請求項１から請求項３の何れか一項に記載のオーディオ信号処理装置。
5. 前記オーディオ信号に対してオーバラップ処理を行うオーバラップ処理部
   を更に備え、
   前記処理部は、
   前記補正部によって補正された頭部伝達関数に基づいて、前記オーバラップ処理されたオーディオ信号に音の到来方向の情報を付与し、
   前記到来方向の情報を付与されたオーディオ信号に対してオーバラップ加算を行う、
   請求項１から請求項４の何れか一項に記載のオーディオ信号処理装置。
6. 入力されるオーディオ信号を処理するオーディオ信号処理装置において、
   所定の頭部への到来方向が前記頭部周りで周期的に変わる音を前記頭部の所定位置にて収音することによって得られた頭部伝達関数であって、前記音の到来方向に応じてスペクトルが時間軸上で変化する頭部伝達関数を保持する保持部と、
   前記保持部に保持された頭部伝達関数を補正する補正部と、
   前記補正部によって補正された頭部伝達関数に基づいて前記オーディオ信号に音の到来方向の情報を付与する処理部と、
   を備え、
   前記補正部は、
   前記頭部伝達関数の特定領域の振幅スペクトルのみが前記音の到来方向に応じて時間軸上で変化するように、各前記到来方向の頭部伝達関数のスペクトルを補正する、
   オーディオ信号処理装置。
7. 前記特定領域の振幅スペクトルは、
   スペクトラルキューが現れる周波数領域の振幅スペクトルである、
   請求項６に記載のオーディオ信号処理装置。
8. 入力されるオーディオ信号を処理するオーディオ信号処理方法において、
   所定の記録媒体に記録された、所定の頭部への到来方向が基準の到来方向を中心に周期的に変わる音を前記頭部の所定位置にて収音することによって得られた頭部伝達関数であって、前記音の到来方向に応じてスペクトルが時間軸上で変化する頭部伝達関数を補正する補正ステップと、
   前記補正ステップにて補正された頭部伝達関数に基づいて前記オーディオ信号に音の到来方向の情報を付与するステップと、
   を含み、
   前記補正ステップにて、
   各前記到来方向の頭部伝達関数のうち、前記基準の到来方向の頭部伝達関数以外の他の到来方向の頭部伝達関数のスペクトルを補正し、
   前記他の到来方向の頭部伝達関数は、
   振幅スペクトル及び位相スペクトルのうち、特定領域の振幅スペクトル以外の少なくとも一部のスペクトルが、前記基準の到来方向の頭部伝達関数と一致するように補正される、
   オーディオ信号処理方法。
9. 前記他の到来方向の頭部伝達関数は、
   少なくとも、位相スペクトルが、前記基準の到来方向の頭部伝達関数と一致するように補正される、
   請求項８に記載のオーディオ信号処理方法。
10. 前記特定領域の振幅スペクトルは、
    スペクトラルキューが現れる周波数領域の振幅スペクトルであり、
    前記他の到来方向の頭部伝達関数は、
    少なくとも、前記振幅スペクトルのうち、前記スペクトラルキューが現れる周波数領域以外の振幅スペクトルが、前記基準の到来方向の頭部伝達関数と一致するように補正される、
    請求項８又は請求項９に記載のオーディオ信号処理方法。
11. 前記頭部伝達関数は、
    前記特定領域を含む第１の周波数領域及び前記第１の周波数領域よりも低い第２の周波数領域における振幅スペクトル及び位相スペクトルを示す関数であり、
    前記補正ステップにて、
    前記第１の周波数領域については、前記各到来方向の頭部伝達関数の振幅スペクトルを補正しない一方、前記他の到来方向の頭部伝達関数の位相スペクトルを前記基準の到来方向の頭部伝達関数の位相スペクトルと一致するように補正し、
    前記第２の周波数領域の成分については、前記他の到来方向の頭部伝達関数の振幅スペクトル及び位相スペクトルを前記基準の到来方向の頭部伝達関数の振幅スペクトル及び位相スペクトルと一致するように補正する、
    請求項８から請求項１０の何れか一項に記載のオーディオ信号処理方法。
12. 前記オーディオ信号に対してオーバラップ処理を行うステップ
    を更に含み、
    前記付与するステップにて、
    前記補正ステップで補正された頭部伝達関数に基づいて、前記オーバラップ処理されたオーディオ信号に音の到来方向の情報を付与し、
    前記到来方向の情報を付与されたオーディオ信号に対してオーバラップ加算を行う、
    請求項８から請求項１１の何れか一項に記載のオーディオ信号処理方法。
13. 入力されるオーディオ信号を処理するオーディオ信号処理方法において、
    所定の記録媒体に記録された、所定の頭部への到来方向が前記頭部周りで周期的に変わる音を前記頭部の所定位置にて収音することによって得られた頭部伝達関数であって、前記音の到来方向に応じてスペクトルが時間軸上で変化する頭部伝達関数を補正する補正ステップと、
    前記補正ステップにて補正された頭部伝達関数に基づいて前記オーディオ信号に音の到来方向の情報を付与するステップと、
    を含み、
    前記補正ステップにて、
    前記頭部伝達関数の特定領域の振幅スペクトルのみが前記音の到来方向に応じて時間軸上で変化するように、各前記到来方向の頭部伝達関数のスペクトルを補正する、
    オーディオ信号処理方法。
14. 前記特定領域の振幅スペクトルは、
    スペクトラルキューが現れる周波数領域の振幅スペクトルである、
    請求項１３に記載のオーディオ信号処理方法。

Images