JP6556682B2 - 立体音響信号再生装置、立体音響信号再生方法及び立体音響信号再生プログラム - Google Patents

Description

本発明は、立体音響信号を再生する立体音響信号再生装置、立体音響信号再生方法及び立体音響信号再生プログラムに関する。

人がヘッドフォン又はイヤホンを通じて音を聞く場合、音像の方向情報は失われ立体感は消失する。これは、空間に存在する音源から発せられる音が頭部、耳もしくは体などによる反射又は回折の影響を受けて変化するのに対し、ヘッドフォンから再生される音はこれらの影響が反映されていないためである。この音源から鼓膜又は外耳道入り口に到達するまでの音響伝達関数は、頭部伝達関数（Ｈｅａｄ Ｒｅｌａｔｅｄ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ）として知られている。

ヘッドフォンで立体的な音響空間を再現する手法として、予め頭部伝達関数を測定し、再生時に頭部伝達関数に基づくフィルタを音響信号に対して適用するバイノーラル合成が広く知られている。

あらゆる方位及び距離に対して頭部伝達関数を測定すれば、仮想的な音像の位置を自在に制御しながら信号を合成することが可能である。しかしながら、頭部伝達関数の測定は簡単に行えるものではなく、稠密なデータを測定することは非常に困難である。

そこで、人間の音空間知覚精度が高い水平面に限定し音響空間を再現しようとする試みがなされている。下記非特許文献１には、水平面上の一定距離で測定された頭部伝達関数から、水平面上の任意の距離の頭部伝達関数を合成する手法が開示されている。

Ｇ．Ｅｎｚｎｅｒ，Ｍ．Ｋｒａｗｃｚｙｋ，Ｆ．−Ｍ． Ｈｏｆｆｍａｎｎ， ａｎｄ Ｍ．Ｗｅｉｎｅｒｔ，"３ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｏｆ ＨＲＴＦ−ｆｉｅｌｄｓ ｆｒｏｍ １ｄ ｃｏｎｔｉｎｕｏｕｓ ｍｅａｓｕｒｅｍｅｎｔｓ，"ｉｎ Ｐｒｏｃ．ＩＥＥＥ ＷＡＳＰＡＡ，Ｏｃｔ．２０１１，ｐｐ．１５７-１６０

非特許文献１に示される手法では、水平面上の任意の距離における頭部伝達関数を算出することは可能であるが、頭部の前方と後方とで計算を分割する必要がある。このため、頭部の真正面の方位を０°としたとき、−９０°と９０°の方位において、ＨＲＴＦに不連続点が生じることとなり、立体的な音響空間を再現する際に品質の低下を招く原因となっていた。

本発明は、上記に鑑みてなされたものであって、水平面上の任意の距離の頭部伝達関数を合成する場合であっても、不連続点に起因する品質低下を抑制して、高品質な立体音響の再生を可能とする立体音響信号再生装置、立体音響信号再生方法及び立体音響信号再生プログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、立体音響信号を生成して再生する立体音響信号再生装置であって、第１の距離で測定された頭部伝達関数に対して方位角に沿ったフーリエ変換を行った後に、ハンケル関数を用いて前記第１の距離から第２の距離への変換処理を行い、さらに前記ハンケル関数の次数を変数とする逆フーリエ変換を行って前記第２の距離における頭部伝達関数を生成する第１の処理部と、入力された音響信号に対して前記第２の距離における頭部伝達関数をフィルタとして適用して前記立体音響信号を生成する第２の処理部と、を備えたことを特徴とする。

本発明によれば、水平面上の任意の距離のＨＲＴＦを合成する手法を用いる場合であっても、不連続点に起因する品質低下を抑制して、高品質な立体音響の再生が可能になるという効果を奏する。また、人間の知覚精度が高い水平面において、臨場感の高い立体音響信号再生装置を実現できるという効果を奏する。

本実施の形態に係る立体音響信号再生装置を実現するための一例を示す機能ブロック図 本実施の形態の説明で使用する球状座標系を示す図 頭部伝達関数合成処理部による合成処理の流れを示すフローチャート バンド幅制限手法の差異の説明に供する図 図４に示したそれぞれのフィルタを用いて実際に合成された頭部伝達関数の差異の説明に供する図 合成された頭部伝達関数の既存手法と本実施の形態に係る手法との差異の説明に供する図 本実施の形態に係る立体音響信号再生装置及び立体音響信号再生方法を実現するためのハードウェア構成の一例を示す図

以下に、本発明の実施の形態に係る立体音響信号再生装置、立体音響信号再生方法及び立体音響信号再生プログラムを図面に基づいて詳細に説明する。なお、以下の実施の形態により、本発明が限定されるものではない。

図１は、本実施の形態に係る立体音響信号再生装置を実現するための一例を示す機能ブロック図である。図１に示すように、本実施の形態に係る立体音響信号再生装置１は、例えばモノラル信号である音響信号１０を立体音響信号に変換して音響出力装置の一例であるヘッドフォン１８で再生する装置であり、音像提示位置指示部１２、頭部伝達関数データ１４及び演算装置１６を備える。また、演算装置１６は、頭部伝達関数合成処理部１６ａ及び第２の処理部であるバイノーラル信号合成処理部１６ｂを備える。

立体音響信号とは、音を再生する際に音の方向、距離、広がりといった３次元的な要素を聴覚に与えることのできる音響信号である。

図１において、音像提示位置指示部１２は、例えば、ヘッドフォン一体型の仮想現実（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）デバイスにおいては仮想空間上の音源の位置を指し示す機能を有する処理部である。音源の位置は、視聴者からの距離、方位、水平面からの高さを含む情報である。

演算装置１６では、２つの処理が行われる。まず、第１の処理部である頭部伝達関数合成処理部１６ａは、後述するコンピュータのストレージに蓄えられた頭部伝達関数データ１４と、音像提示位置指示部１２によって指定された音像の位置情報に基づいて、後述する本発明による変換処理を適用して目的の頭部伝達関数を合成する。また、第２の処理部であるバイノーラル信号合成処理部１６ｂは、入力された音響信号１０に対して、頭部伝達関数合成処理部１６ａにて合成された頭部伝達関数をフィルタとして適用して立体音響信号を生成する。バイノーラル信号合成処理部１６ｂによって生成された立体音響信号は、ヘッドフォン１８を通じて人の耳に届けられる。

以降では、本発明の核心部である頭部伝達関数合成処理部１６ａの処理内容について説明する。まず、本発明では、図２に示すように、ｒを半径、θを方位角、φを仰角とした球状座標系を採用する。また、半径ｒ、方位角θ及び仰角φについて、それぞれ独立な関数Ｒ（ｒ）、Θ（θ）及びΦ（φ）を用いる。そして、これらの独立な関数Ｒ（ｒ）、Θ（θ）及びΦ（φ）によって、Ψ（ｒ，θ，φ，ｔ）∝Ｒ（ｒ）Θ（θ）Φ（φ）ｅｘｐ（−ｊωｔ）という関係式が成立する音場について考える。

ここで、上記のように定義した音場関数Ψ（ｒ，θ，φ，ｔ）において、以下の（１）式に示される関係が成り立つ。

上記（１）式の詳細については、以下の非特許文献２を参照されたい。

［非特許文献２］：Ｅ．Ｇ．ウィリアムズ著 吉川茂・西條献児訳 「フーリエ音響学」シュプリンガー・フェアラーク東京株式会社、２００５年９月２５日、Ｐ．２２２−２２３

なお、上記非特許文献２で示される数式は、文献中の図６．１に示された球面座標系のものであるのに対し、上記（１）式で示される数式は、図２に示した球状座標系のものである点に注意されたい。

本発明では、水平面上の頭部伝達関数を扱うので、仰角φが変化してもΦ（φ）は一定であると考える。従って、上記（１）式のΦに関する微分項については消去できる。また、整数ｍを導入し、Θ（θ）＝ｅｘｐ（ｊｍθ）としたときに、音場関数Ψ（ｒ，θ，φ，ｔ）が方位角θに沿って発振する波であると捉える。このとき、上記（１）式における左辺の第２項は“−ｍ^２／ｃｏｓ^２φ”と置き換えることができる。加えて、Ｒ_２（ｒ）＝ｒ^{（１／２）}Ｒ（ｒ）の関係を満たす第２のＲ関数を導入する。この第２のＲ関数Ｒ_２（ｒ）を用いると、上記（１）式から以下の（２）式に示されるベッセル微分方程式が得られる。

ここで、次数μを導入し、上記（２）式の括弧内を次の（３）式で置き換える。

すると上記（２）式の解としてベッセル関数が得られ、ここでは次数μの第二種ハンケル関数Ｈ_μ（ｒ）を採用する。すなわち、Ｒ_２（ｒ）＝Ｈ_μ｛（ω／ｃ）ｒ｝と表すことができる。

また、上記で定義したＲ_２（ｒ）＝ｒ^{（１／２）}Ｒ（ｒ）の関係から、Ｒ_２（ｒ）＝ｒ^{（−１／２）}Ｈ_μ｛（ω／ｃ）ｒ｝の関係が成立する。

これまでの導出過程から、（１）式で求められる時間領域の音場関数Ψ（ｒ，θ，φ，ｔ）は、周波数領域において、以下の（４）式のように表すことができる。

上記（４）式において、Ψ（ｒ，θ，ω）は周波数領域の音場関数であり、式中のＣ_ｍ（ω）は、ωについて変化する係数である。

また、複素指数関数の正規直交性から、係数Ｃ_ｍ（ω）は、以下の（５）式のように定義することができる。

係数Ｃ_ｍ（ω）は、ωには依存するが、距離ｒに関しては不変である。すなわち、ある距離において算出される係数Ｃ_ｍ（ω）は、他のあらゆる距離においても同一の値をとる。これを利用して（５）式における距離をｒ_０とする。距離ｒ_０は所定の距離である。なお、距離ｒ_０と距離ｒとを符号無しで区別する場合を考慮し、距離ｒ_０を適宜「第１の距離」と呼び、距離ｒを適宜「第２の距離」と呼ぶ。

ここで、上記（５）式の右辺を上記（４）式に代入すると、以下の（６）式が得られる。

上記（６）式は、乗算記号“×”によって３つの項に分けられており、前から順に、第１項、第２項及び第３項とする。

まず、第３項は、距離ｒ_０における方位角θ_０に沿った周波数領域の音場関数Ψ（ｒ_０，θ_０，ω）のフーリエ変換であると解釈できる。また、大括弧で括られた第２項は、（３）式で定義された次数μをパラメータとした距離ｒ_０から任意の距離ｒへ変換するためのフィルタの役割を果たしている。そして、第１項は、複素指数関数の総和を求める逆フーリエ変換の式で表されている。上記（６）式を頭部伝達関数に適用すれば、頭部伝達関数における距離ｒ_０を、任意の距離ｒに変換して再合成するフィルタ処理とみなすことができる。

以上の説明内容が、図１における頭部伝達関数合成処理部１６ａによる合成処理の詳細である。

図３は、頭部伝達関数合成処理部１６ａによる合成処理の流れを示すフローチャートである。図３では、頭部伝達関数を「ＨＲＴＦ」と表記している。以下、図１及び図３を参照して、処理の流れについて説明する。

まず、距離ｒ_０で測定された頭部伝達関数は、頭部伝達関数合成処理部１６ａに入力される（ステップＳ１０１）。頭部伝達関数合成処理部１６ａでは、以下のステップＳ１０２〜Ｓ１０５の処理が実行される。

ステップＳ１０２では、方位角θ_０に沿ったフーリエ変換が行われる。ステップＳ１０２の処理は、上記（６）式の第３項による演算に対応する。ステップＳ１０２の処理により、距離ｒ_０における方位角スペクトルが算出される。

ステップＳ１０３では、ハンケル関数を用いて距離ｒ_０から距離ｒへの変換処理が行われる。ステップＳ１０３の処理は、上記（６）式の第２項による演算に対応する。ステップＳ１０３の処理により、任意の距離ｒにおける方位角スペクトルが算出される。

ステップＳ１０４では、ステップＳ１０３の出力に対して、整数ｍを変化させた逆フーリエ変換が行われる。ステップＳ１０４の処理は、上記（６）式の第１項による演算に対応する。なお、整数ｍとハンケル関数の次数μとの間には、上記（３）式で示される関係があり、水平面内ではφの値も固定（φ＝０）される。このため、整数ｍを変数とする逆フーリエ変換は、次数μを変数とする逆フーリエ変換と言い換えてもよい。

ステップＳ１０５では、ステップＳ１０４の出力、すなわち合成された距離ｒにおける頭部伝達関数が、バイノーラル信号合成処理部１６ｂに出力される。ステップＳ１０５で生成された頭部伝達関数は、音響信号１０に対してフィルタの役割りを果たす。このようにして、予め準備された音響信号１０は、バイノーラル信号合成処理部１６ｂによってバイノーラル合成され、目的とする立体音響信号が生成される。生成された立体音響信号は、ヘッドフォン１８を通じて人の耳に届けられる。なお、バイノーラル合成については、多くの公知文献が存在しており、ここでの詳細な説明は割愛する。

次に、上述したハンケル関数による変換処理を距離変換フィルタと見立てたときのバンド幅について説明する。

実際面において、測定できる頭部伝達関数は、離散的なデータ群である。このため、連続体として算出した（６）式による距離変換フィルタを、そのまま適用することはできない。従って、方位角において制限されたバンド幅の領域にのみ、フィルタを適用する必要がある。

ここで、従来手法として、以下の非特許文献３には、周波数依存の閾値によりバンド幅を制限する手法が開示されている。

［非特許文献３］：Ｎ．Ａ．Ｇｕｍｅｒｏｖ，Ａ．Ｅ．Ｏ’Ｄｏｎｏｖａｎ，Ｒ．Ｄｕｒａｉｓｗａｍｉ， ａｎｄ Ｄ．Ｎ．Ｚｏｔｋｉｎ，“Ｃｏｍｐｕｔａｔｉｏｎ ｏｆ ｔｈｅ ｈｅａｄ−ｒｅｌａｔｅｄ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ ｖｉａｔｈｅ ｆａｓｔ ｍｕｌｔｉｐｏｌｅ ａｃｃｅｌｅｒａｔｅｄ ｂｏｕｎｄａｒｙ ｅｌｅｍｅｎｔ ｍｅｔｈｏｄ ａｎｄ ｉｔｓ ｓｐｈｅｒｉｃａｌ ｈａｒｍｏｎｉｃ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，”Ｊ．Ａｃｏｕｓｔ．Ｓｏｃ．Ａｍ．，ｖｏｌ．１２７，ｎｏ．１，ｐｐ．３７０−３８６，Ｊａｎ．２０１０．

一方、本実施の形態では、更なる精度向上のため、以下の（７）式で表される強度依存の閾値を距離変換フィルタに適用したフィルタリングを行う。

上記（７）式において、“Ｄ（ｒ，ｒ_０，ω）”は、上記（６）式の第２項に示した式であり、ハンケル関数によるフィルタを意味している。より詳細に説明すると、（７）式は、頭部伝達関数が測定された距離ｒ_０と変換する距離ｒとの比率の２乗値を閾値とし、Ｄ（ｒ，ｒ_０，ω）の大きさが閾値以下の範囲においてのみフィルタを適用することを意味している。

なお、（７）式の上段部における“ｒ_０／ｒ”のスケーリング、すなわちＤ（ｒ，ｒ_０，ω）の値に“ｒ_０／ｒ”を乗算しているのは、変換する距離が近距離でも遠距離でもフィルタとして機能するようにするためである。

図４は、バンド幅制限手法の差異を説明するための図である。横軸は周波数、縦軸は方位角θに関するモードであり、上述した整数ｍの値を示している。θに関するモードは、θに関する次元と言い替えてもよい。

図４において、（ａ）は従来手法である周波数依存の閾値を用いた場合のフィルタ特性であり、（ｂ）は本実施の形態で用いる強度依存の閾値を用いた場合のフィルタ特性である。（ａ）及び（ｂ）の何れの場合も、１５０ｃｍの距離で測定された頭部伝達関数を、２５ｃｍの距離へと変換した場合のスペクトルが示されている。ハッチングの濃淡は、フィルタ特性におけるゲイン値の大小を表している。特徴的なのは、（ａ）におけるハッチングＡで示した部位の殆どと、ハッチングＢで示した部位の多くが、（ｂ）では零（−∞［ｄＢ］）に制限されて消失しているところにある。

図５は、図４に示したそれぞれのフィルタを用いて実際に合成された頭部伝達関数の差異を説明するための図である。横軸は周波数、縦軸は方位角である。(ａ)には周波数依存の閾値を用いたフィルタ特性によって合成された頭部伝達関数の大きさが示され、(ｂ)には強度依存の閾値を用いたフィルタ特性によって合成された頭部伝達関数の大きさが示されている。

図５において、特徴的なのは、（ａ）では、ハッチングＣで示した部位がノイズとなって表れるのに対し、（ｂ）では、これに相当する部分が無い。これにより、強度依存の閾値を用いて合成した場合には、ノイズの少ない高精度な結果が得られていることが見て取れる。

なお、図５（ａ）において、ハッチンＣの部分は、１．数ｋＨｚ（ここではｆ_１［ｋＨｚ］とする）以下の部分が方位角に沿って帯状に広がっている部分であり、この部分は、図１に示すバイノーラル信号合成処理部１６ｂにおいて、フィルタ処理によって低減させてもよい。なお、再生したい音響信号の特性が、ｆ_１［ｋＨｚ］以下の成分を殆ど含まない場合であれば、周波数依存の閾値を用いた場合でも、ノイズの少ない結果を得ることは可能である。

図６は、合成された頭部伝達関数を既存手法と本実施の形態に係る手法との差異を説明するための図である。（ａ）及び（ｂ）の何れも、１５０ｃｍの距離で測定された頭部伝達関数を、２５ｃｍの距離へと変換した場合のスペクトルである。（ｂ）は、本実施の形態におけるスペクトルであり、図５（ｂ）に示したスペクトルを再掲したものである。一方、図６（ａ）は、非特許文献１に示された手法を用いて求めたスペクトルである。

既存手法を用いた（ａ）のスペクトルでは、９０°と−９０°の方位角において濃淡の不連続な部分が見られ、品質が低下する原因となることが読み取れる。これに対し、本実施の形態では、不連続のない高精度なスペクトルが得られていることが分かる。

以上説明したように、本実施の形態では、距離ｒ_０で測定された頭部伝達関数データに対して方位角に沿ったフーリエ変換を行った後に、ハンケル関数を用いて距離ｒ_０から距離ｒへの変換処理を行い、さらにハンケル関数の次数μを変数とする逆フーリエ変換を行って距離ｒにおける頭部伝達関数を生成すると共に、入力された音響信号に対して距離ｒにおける頭部伝達関数をフィルタとして適用してバイノーラル合成を行うこととしたので、水平面上の任意の位置に立体音響を高品質に再生することができる立体音響信号再生装置の実現が可能となる。

なお、以上の実施の形態に示した構成は、本発明の内容の一例を示すものであり、本発明の要旨を逸脱しない範囲で、構成の一部を省略又は変更することも可能である。また、別の公知の技術と組み合わせることも可能である。

例えばクロストークキャンセラーの技術と組わせると、図１におけるヘッドフォン１８の代わりにスピーカから音を出力する立体音響装置が実現可能である。

また、本実施の形態に係る頭部伝達関数の合成処理をプログラムとして実装し、スマートフォンなどのモバイル端末で動作するアプリケーションを構成すれば、モバイル端末の方位センサーに応じて音像の位置がリアルタイムに変化する拡張現実コンテンツの提供などが可能である。

最後に、本実施の形態に係る立体音響信号再生装置及び立体音響信号再生方法を実現するためのハードウェア構成について説明する。図７は、本実施の形態に係る立体音響信号再生装置及び立体音響信号再生方法を実現するためのハードウェア構成の一例を示す図である。

図７において、ＣＰＵ２１は、全体的な制御を司るプロセッサである。ＲＯＭ２２は、制御プログラムを格納しているリード・オンリー・メモリである。ＲＡＭ２３は、作業用のメモリエリアなどとして利用されるランダム・アクセス・メモリである。ストレージ２４は、ハードディスクやシリコンメモリなどの外部記憶装置である。本実施の形態の例であれば、頭部伝達関数データ１４及び音響信号１０の保持に用いられる。なお、頭部伝達関数データ１４及び音響信号１０は外部ネットワーク２５に接続される図示しないサーバ装置を介して入力することも可能である。

音響出力装置２６は、立体音響信号を再生するヘッドフォン又はスピーカなどで構成される。操作子群２７は、立体音響信号の再生を制御するための操作ボタン及び操作アイコンのうちの少なくとも一つである。表示器２８は、再生状態を表示する手段である。内部ネットワーク２９は、各構成部間の通信を実現するための通信手段であり、内部バス、無線通信手段、ネットワークアダプタなどである。

本実施の形態に係る立体音響信号再生装置及び立体音響信号再生方法をプロセッサもしくはコンピュータにて実行させるための命令群で構成されるプログラムは、例えばＲＯＭ２２に記憶されるか、もしくは、ＲＡＭ２３内に保持される。ストレージ２４に記憶された音響信号、もしくは、外部ネットワーク２５を介して図示しないサーバから入力される音響信号に対し、ＣＰＵ２１がＲＡＭ２３をワーキングメモリとして使用しながら上述の処理を行い、音響出力装置２６から立体音響が再生される。以上の構成により、立体的な音響空間を構築し、構築した立体音響を再生することができる立体音響信号再生装置、立体音響信号再生方法を実現することができる。

１ 立体音響信号再生装置、１０ 音響信号、１２ 音像提示位置指示部、１４ 頭部伝達関数データ、１６ 演算装置、１６ａ 頭部伝達関数合成処理部、１６ｂ バイノーラル信号合成処理部、１８ ヘッドフォン、２４ ストレージ、２５ 外部ネットワーク、２６ 音響出力装置、２７ 操作子群、２８ 表示器、２９ 内部ネットワーク。

Claims (5)

1. 立体音響信号を生成して再生する立体音響信号再生装置であって、
   第１の距離で測定された頭部伝達関数に対して方位角に沿ったフーリエ変換を行った後に、ハンケル関数を用いて前記第１の距離から第２の距離への変換処理を行い、さらに前記ハンケル関数の次数を変数とする逆フーリエ変換を行って前記第２の距離における頭部伝達関数を生成する第１の処理部と、
   入力された音響信号に対して前記第２の距離における頭部伝達関数をフィルタとして適用して前記立体音響信号を生成する第２の処理部と、
   を備えたことを特徴とする立体音響信号再生装置。
2. 前記ハンケル関数を用いて前記第１の距離から第２の距離への変換処理を行う際に、前記フーリエ変換によって生成された前記第１の距離における方位角スペクトルに対して、強度依存の閾値を用いてフィルタリングすることを特徴とする請求項１に記載の立体音響信号再生装置。
3. 立体音響信号を再生する立体音響信号再生方法であって、
   第１の距離で測定された頭部伝達関数に対して方位角に沿ったフーリエ変換を行って前記第１の距離における方位角スペクトルを算出する第１ステップと、
   前記第１の距離における方位角スペクトルに対してハンケル関数を用いて前記第１の距離から第２の距離への変換処理を行って前記第２の距離における方位角スペクトルを算出する第２ステップと、
   前記第２の距離における方位角スペクトルに対して前記ハンケル関数の次数を変数とする逆フーリエ変換を行って前記第２の距離における頭部伝達関数を生成する第３ステップと、
   入力された音響信号に対して前記第２の距離における頭部伝達関数をフィルタとして適用して前記立体音響信号を生成して再生する第４ステップと、
   を含むことを特徴とする立体音響信号再生方法。
4. 前記第２ステップでは、前記第１ステップによって生成された前記第１の距離における方位角スペクトルに対して、強度依存の閾値を用いてフィルタリングすることで前記第２の距離における方位角スペクトルを算出する
   ことを特徴とする請求項３に記載の立体音響信号再生方法。
5. 請求項３又は請求項４に記載された立体音響信号再生方法をプロセッサ又はコンピュータに実行させる立体音響信号再生プログラム。

Images