JP6518661B2 - 複雑さの観点から最適化された、空間効果を伴う音響空間化 - Google Patents

Description

本発明は、空間効果を伴う音響空間化に関する。

本発明は、実スピーカ(例えば、バイノーラルレンダリングにおけるヘッドセットの2つのイヤホン、またはトランスオーラルレンダリングにおける2つの別々のスピーカ)上の空間化レンダリングのために、(例えば、レンダリングされるべき音響の、多チャネル表現またはサラウンド音響表現における)仮想スピーカに関連付けられたL個のチャネルからそれぞれ生じる音響信号の処理において、これに限定はしないが、有利である適用例を見出すものである。

例えば、これらのチャネルのうちの1つからの信号は、バイノーラルレンダリングにおいて、左側のイヤホンに第1の寄与および右側のイヤホンに第2の寄与を有するように、詳細には、空間効果を伴う伝達関数をこれらの寄与の各々に適用することによって、処理することができる。その場合、空間効果を伴うこれらの伝達関数を適用することは、そのチャネルに関連付けられた仮想スピーカがあたかも聴取者に対して「配置されて(positioned)」いるかのような没入感を聴取者に提供することに寄与する。

文献FR1357299に具体的に記載されている1つの特定の実施形態においては、空間効果を伴う伝達関数が、時間領域における対応するチャネルの各音響信号にインパルス応答(「バイノーラル空間インパルス応答」)のBRIRタイプの形で適用される。具体的には、参照により本明細書に組み込まれているその文献においては、BRIR伝達関数は、
- 各信号に特有の第1の伝達関数と、
- すべての信号に共通で、具体的には残響場を特徴づける第2の、一般伝達関数と
の組合せとして構築され、後者の存在は、ある一定の時間量の後、一般的には、音波の第1の反射の後、通常は室内で起きる。有利には、そのような実施形態により、実際には、残響が起きるとき、したがって、(残響場の存在の開始を特徴づける)ある一定の時間量の後、音響波の「混合(blend)」に物理的に対応する、すべての信号に共通の処理を適用することが可能になる。そのような実施形態により、多初期チャネルに対する空間効果を伴う空間化処理の複雑さが低減する。

しかしながら、空間化がレンダリングの前に起きるモジュールにおいては、空間化処理の複雑さをさらに最小限に抑えることが所望される。非限定的な例として、チャネルの信号は、圧縮復号器によって、符号化された形で受け取られる。この復号器は、2つのスピーカ上の音響を空間効果でレンダリングするために、チャネルの信号を、復号されると、空間化モジュールに送る。その場合、(受け取られた信号の復号化に続く)この空間化ステップにおける処理は、信号がレンダリングの前に受け取られたときに、すべての復号化および空間化のステップを減速させないように、複雑さが低減されたものであることが望ましい。

FR1357299

本発明は、この状況を改善する。

このために、本発明は、具体的には、スペクトル域におけるこの複雑さを低減することによって、空間効果を伴う伝達関数の適用の複雑さを低減することを提案する。スペクトル域においては、伝達関数による畳込みは、信号のスペクトル成分に、伝達関数を表すフィルタのスペクトル成分を乗算すること(以下にさらに詳細に説明する図1)になる。

本発明は、直接伝搬の後、音波が、特に高周波数において波を吸収する表面上の漸進的反射(一般的には、壁、聴取者の顔面など)のために高周波数において減衰する傾向があるという有利な観察に基づいている。加えて、空気自体が音響の最高周波数のスペクトル成分をその伝搬の間に吸収する。この現象は、例えば、残響場についてはさらに増大され、その場合、超高周波数(例えば、5から15kHzまでの周波数範囲を超える)についての周波数表現を有することが不要である。

したがって、上述のスペクトル成分を乗算するときに、所定のカットオフ周波数よりも大きい(例えば、5から15kHzまでよりも大きい)周波数に関連付けられた成分を単純に考慮に入れないことにより、スペクトル域における、空間効果を伴う伝達関数を適用するときの処理複雑さを低減することが可能である。

したがって、本発明は、音響空間化のための方法であって、空間効果を伴う少なくとも1つの伝達関数の、少なくとも1つの音響信号への適用を含む、方法に関し、前記適用は、スペクトル域において、音響信号のスペクトル成分に、前記伝達関数に対応するフィルタのスペクトル成分を乗算することに及ぶ。フィルタの各スペクトル成分は(図3を参照してさらに詳述するように)、時間周波数表現における時間的変動を有する。

具体的には、フィルタのこれらのスペクトル成分は、閾値周波数を超えるおよび前記時間周波数表現における少なくとも所与の瞬間の後の上述の成分乗算に対して無視される。したがって、この所与の瞬間の後、フィルタのスペクトル成分は、例えば、5kHzから15kHzの間(以下に説明するように、適用される空間効果および/または空間化される信号により決まる)であるように選択され得る最大カットオフ周波数まで考慮に入れられる。カットオフ周波数を超えると、乗算は、実行すらされず、これは、数学的には、信号にゼロを乗算するのと同じである。

この所与の瞬間は、典型的には、音波が(残響音場の存在からの連続的反射による、またはその後の)残響を受け始める時点を表す。したがって、概括的に言えば、伝達関数が空間効果における残響を考慮に入れる(例えば、残響場を考慮に入れる)実施形態においては、前記所与の瞬間は、そのような残響の関数として選択され得る。例えば、空間効果の残響においては、前記所与の瞬間は、初期反射を伴う直接音響伝搬に続き、したがって、残響音場の存在の開始に対応し得る。

さらには、上述の閾値周波数が前記時間周波数表現において時間とともに減少する実施形態を提供することができる。例えば、信号は、いくつかの連続的な時間的ブロックにおいてサンプリングされる場合、例えば、第1のブロックに対して、信号中に存在するスペクトル成分を成分乗算に保存し、次いで、第1のブロックに続く第2のブロックに対して第1の閾値周波数を超えるスペクトル成分を無視し、次いで、第2のブロックに続く第3のブロックに対して第2の閾値周波数を超えるスペクトル成分を無視するなどとするように配列することができ、第2の閾値周波数は、第1の閾値周波数よりも低い。

したがって、より概括的に言えば、信号がいくつかの連続的ブロックにおいてサンプリングされる実施形態においては、フィルタのスペクトル成分は、
- 所与のブロックに対して第1の閾値周波数を超え、
- 次いで、所与のブロックに続くブロックに対して第2の閾値周波数を超える、
成分の乗算に対して無視することができ、第2の閾値周波数は、第1の閾値周波数よりも低い。前記所与のブロックは、残響音場の存在の開始をも含む、例えば、音波が1つまたは複数の反射を受けた時点に対応するときにおいて時間的に配置されるサンプルを含むことができる。前記所与のブロックに(直ちに、またはいくつかのブロックの後に)続くブロックは、例えば、残響音場の存在の開始の後または開始から始まる時間的に設置されたサンプルを含むことができる。

そのような実施形態により、例えば、可能性として、残響に対する高周波数における信号減衰からの可聴アーチファクトを低減することが可能になり、この実施形態は、いくつかのブロックにわたって漸進的に達成される。それにより、残響音場を特徴づける伝達関数(以下に

と表され、ここでmは、ブロック指数である)の複数の形を考慮することも可能になる。例えば、残響音場の存在を「終了する」ために、伝達関数

を前記所与のブロックに適用し、時間的に漸進的なカットオフ窓(「フェードアウト」タイプの窓)を、次に続くブロックに対するこの伝達関数

に適用することが可能である。

方法が、複数の入力信号を受け取り、少なくとも2つの出力信号を提供する音響空間化モジュールによって実装される実施形態においては、各出力信号を提供するために、空間効果を伴う伝達関数が、各入力信号に適用され、
前記出力信号の各々が、次のタイプの式を適用することによって与えられる:

- O^kは、出力信号であり、kは、出力信号に関連する指数であり、
- l∈[1;L]は、前記入力信号の中の1つの入力信号に関連する指数であり、Lは、入力信号の数であり、I(l)は、前記入力信号の中の1つの入力信号であり、
- A^k(l)は、入力信号に特有の、空間効果を伴う伝達関数であり、
-

は、入力信号に共通の、空間効果を伴う一般伝達関数であり、
- W^k(l)は、選択された重付け係数であり、G(I(l))は、所定の電力補償利得であり、
- z^-iDDmは、サンプルのブロックの数としてカウントされ、空間効果に対応する室内の音響の放射と前記室内の残響場の存在の開始との間の時間差に対応する、遅延の適用であり、指数mは、この遅延に対応する持続時間のサンプルのブロックの数に対応し、Mは、伝達関数が時間周波数表現において持続するブロックの合計数であり、
- 記号「.」は、乗算を指定し、
- 項「*_{[0;…;fk(l)]}」は、畳込み演算子を限定された数の周波数に指定し、最低周波数から、少なくとも入力信号の指数lの関数である最大周波数f^k(l)にわたり、
- 項「*_[0;…;fk(m)]」は、畳込み演算子を限定された数の周波数に指定し、最低周波数から、サンプルブロックの指数mの関数である周波数f^k(m)にわたる。
この実施形態を具体的には図2および図5を参照して以下に詳細に説明する。

信号特性(例えば、そのサンプリング周波数または信号のスペクトル成分に表される最高周波数)に基づいて、または適用された空間化特性に基づいて(例えば、以下に詳述するように、対側音響経路の高周波数成分を制限することにより)、サンプルの第1のあるブロックまたは複数のブロックから開始する、第1の閾値周波数を超える乗算計算を制限することもできる。

この場合、(反射後のまたは残響場における)残響からの信号は、初期信号よりも高い周波数のスペクトル成分を通常は含まない。上述の閾値周波数は、したがって、この最高周波数よりも大きくすることはできない。

より概括的に言えば、一実施形態において、音響信号中の最高周波数のスペクトル成分に関する情報が得られ、上述の閾値周波数が所定の閾値周波数(例えば、5kHzから15kHzの間)と前記最高周波数との間で最小として選択される。

典型的には、音響信号が圧縮復号器から生じる実施形態において、最高周波数のスペクトル成分に関する情報は、復号器によって提供され得る。

同様に、空間化が特にそのような信号のサンプリング周波数に関して異なる信号フォーマットを支持することができるモジュールで実施される場合、前記最高周波数は、サンプリング周波数の半分より大きくすることはできず、したがって、本発明を実装するための閾値周波数は、このサンプリング周波数に基づいて選択することもできる。

音響信号がそれぞれ第1および第2のチャネルに関連付けられた少なくとも第1および第2の仮想スピーカ上で空間化される実施形態においては、空間効果を伴う第1および第2の伝達関数は、導入部において上記に説明したように、(例えば、サラウンド音響チャネル上の信号をバイノーラルまたはトランスオーラルレンダリングに切り替わるように適合させることによって)それぞれ前記第1および第2のチャネルに適用される。具体的には、第1および第2の伝達関数の中の一方が同側音響経路効果を適用し、第1および第2の伝達関数の中の他方が対側音響経路効果を適用する場合、所与のスクリーニング周波数を超える音響信号のスペクトル成分の除去を行うことができる。この「スクリーニング」周波数とは、仮想スピーカと聴取者の対象となる耳との間の対側経路に対して、聴取者の頭部が音響経路内に位置し、音響波のより高いピッチを吸収する(したがって、音響波のより高い周波数に関連付けられたスペクトル成分を除去する)ことによって説明される。したがって、対側経路効果を適用する伝達関数の場合、前記閾値周波数は、所定の閾値周波数(例えば、5kHzから15kHzの間で選択される)と前記スクリーニング周波数との間で最小として選択することができる。この実施形態は、サンプルの第1のブロックに対して適用されたときでも有利である。しかしながら、これは次のブロックに対してやはり閾値周波数を増大させて、問題の耳に面する壁に対する第1の反射をシミュレーションする可能性を除外しておらず、そのような第1の反射は、同側経路を介してその耳によって受け取られる。

いずれにしても、1つの可能な実施形態においては、例えば、残響場の存在に対応する所与の瞬間の後、カットオフ周波数は、すべての信号に共通として選択され得ることが理解される。

したがって、上記に紹介した文献FR1357299に記載された実施形態は、特に、信号に適用された各伝達関数が、
- この信号に特有の伝達関数、加えて、
- すべての信号に共通であり、残響場の存在を示す一般伝達関数
を含む場合、本発明の文脈において有利であり得、その場合、前記所与の瞬間は、すべての信号に共通であり、例えば、残響音場の存在の開始に対応することができる。

信号が信号間で同じサイズのサンプルの連続的ブロックを含む実施形態においては、少なくとも1つの所与の瞬間が、最大カットオフ周波数までの周波数成分の含有を制限するために提供され、前記所与の瞬間が、一連のブロックにおける第1のブロックとは異なるブロックの開始において時間的に設置される。この所与の瞬間は、したがって、直接伝搬の後、および音響反射または残響場の存在の時において起きる。

この実施形態は、1つの例示的実施形態において、発明の意味において、方法を実行する空間化モジュールのプロセッサによって実行されるコンピュータプログラムの可能なアルゴリズムも例示する図5を参照して以下に詳述する。この点において、本発明は、概して、プロセッサによって実行されたとき、上記の方法を実装するための命令を含むコンピュータプログラムにも関する。

本発明は、空間効果を伴う少なくとも1つの伝達関数を少なくとも1つの入力音響信号に適用するためのプロセッサを備える音響空間化モジュールにも関し、前記適用は、スペクトル域において、音響信号のスペクトル成分に、前記伝達関数に対応するフィルタのスペクトル成分を乗算することに及び、各フィルタのスペクトル成分は、時間周波数表現において時間的発達を有する。具体的には、このプロセッサは、閾値周波数を超えるおよび前記時間周波数表現における少なくとも所与の瞬間の後の前記成分乗算に対して、フィルタの前記スペクトル成分を無視するように構成される。

複数の入力信号を受け取る音響空間化モジュールは、少なくとも2つの出力信号を提供し、プロセッサは、空間効果を伴う伝達関数を各入力信号に適用するように構成され、前記出力信号の各々は、次のタイプの式を適用することによって与えられる:

- O^kは、出力信号であり、kは、出力信号に関連する指数であり、
- l∈[1;L]は、前記入力信号の中の1つの入力信号に関連する指数であり、Lは、入力信号の数であり、I(l)は、前記入力信号の中の1つの入力信号であり、
- A^k(l)は、入力信号に特有の、空間効果を伴う伝達関数であり、
-

は、入力信号に共通の、空間効果を伴う一般伝達関数であり、
- W^k(l)は、選択された重付け係数であり、G(I(l))は、所定の電力補償利得であり、
- z^-iDDmは、サンプルのブロックの数としてカウントされ、空間効果に対応する室内の音響の放射と前記室内の残響場の存在の開始との間の時間差に対応する、遅延の適用であり、指数mは、この遅延に対応する持続時間のサンプルのブロックの数に対応し、Mは、伝達関数が時間周波数表現において持続するブロックの合計数であり、
- 記号「.」は、乗算を指定し、
- 項「*_{[0;…;fk(l)]}」は、畳込み演算子を限定された数の周波数に指定し、最低周波数から、少なくとも入力信号の指数lの関数である最大周波数f^k(l)にわたり、
- 項「*_{[0;…;fk(m)]}」は、畳込み演算子を限定された数の周波数に指定し、最低周波数から、サンプルブロックの指数mの関数である周波数f^k(m)にわたる。

このモジュールは、圧縮復号化デバイスに、またはより概括的には、レンダリングシステムに統合することができる。

そのような空間化モジュールSPAT、ならびに復号化デバイスDECODが、図6に表され、復号化デバイスDECODは、表された例においては、圧縮符号化信号I'(l)(ここで、l=1、…、L)をネットワークRESから受け取り、それらをレンダリングの前に復号し、復号された信号I(l)(ここでl=1、…、L)を空間化モジュールに送る。表された例においては、後者のモジュールは、復号された信号を受け取るための入力インターフェースINと、信号I(l)を空間化し、出力インターフェースOUTを介してヘッドセットCASのそれぞれのイヤホンに供給されるように意図された2つの信号O^dおよびO^gだけを供給するためにインターフェースIN/OUTと協働するプロセッサPROCおよび作業メモリMEMなどの計算手段とを備える。

本発明の他の特徴および利点は、以下の詳細な説明および添付の図面から明らかとなろう。

本発明の方法の概括的な実施形態を例示する図である。 伝達関数が2つの伝達関数の組合せの形であり、それらのうちの一方が、処理すべき信号に、遅延後に適用される実施形態による方法の適用例を例示する図である。 具体的には、時間の関数として可変である可変カットオフ周波数(または上述の「閾値周波数」)を伴う、伝達関数の時間周波数表現の例を示す図である。 本発明の意味においてコンピュータプログラムに対する可能な一般アルゴリズムに対応する流れ図である。 伝達関数

がブロックmの関数として変化する残響場を表す、図2に表されるモードから生じるが、2つよりも多くの連続的な時間的ブロックに対する特定の実施形態を示す図である。
本発明の意味において空間化モジュールの例を示す図である。 最大好適なカットオフ周波数までの前記伝達関数の周波数成分の制限を伴う、適切な伝達関数を適用するときの仮想ラウドスピーカおよび空間効果を概略的に例示する図である。

図1および本発明の概括的な原理を説明する前に、本発明の基本的な物理的現象を説明するために図7を参照する。

図示される例において、複数の仮想スピーカが聴取者の頭部TEを囲む。仮想スピーカHPVの各々には、初めに、例えば、図6を参照して上に示したように、あらかじめ復号されている、l∈[1;L]の信号I(l)が供給される。仮想スピーカの配列は、空間効果を伴う空間化されるやり方で(図6)、ヘッドホンCASのセット上で仮想スピーカをともにレンダリングするために処理すべき信号I(l)のマルチチャネル表現またはサラウンド音響表現にも関し得る。このために、典型的には、k=d(右側の場合)、k=g(左側の場合)である供給すべき各イヤホン信号O^kに対して、各信号に空間効果を伴う伝達関数が適用される。したがって、図7を参照すると、各仮想スピーカHPVに対して、スピーカHPVから左耳OGに向けての音響経路(図示する例において同側TIL)、およびスピーカHPVから右耳ODに向けての音響経路(図示する例において対側TCL)、ならびに壁MUR(経路RIL)に対する反射、最後には、多反射後の残響場を考慮する。各反射において、音響波は、最高周波数において減衰されるとみなされる。

したがって、図7に示す仮想スピーカHPVに対して適合された伝達関数の時間周波数表現に関する図3を参照すると、聴取者の頭部が当然ながら対側経路内に位置し、右耳ODの伝達関数に対して考慮される最高周波数は、左耳OG(同側経路に沿って仮想スピーカHPVに面している)の伝達関数に対して考慮すべき最高周波数よりも低いことはすでに明らかである。したがって、m=0と表す0からN-1までの第1の時間的ブロックを考慮すると、右耳の伝達関数を表すフィルタの最大周波数F_c ^d(0)は、左耳の伝達関数を表すフィルタの最大周波数F_c ^g(0)よりも低いことがある。そのようなフィルタの開発業者は、したがって、処理すべき信号I(l)が最大少なくとも周波数F_c ^g(0)までのより高いスペクトル成分を有することがあっても、右耳のフィルタの成分を(頭部スクリーニング周波数に対応する)最大カットオフ周波数F_c ^d(0)までに制限することができる。

次いで、反射後、音響波は高周波数において減衰する傾向があり、それは、実際には、m=1と表す次のブロックに対応する瞬間Nから2N-1に、左耳の、ならびに右耳の伝達関数の時間周波数表現において起きる。したがって、これらの伝達関数を表すフィルタの開発業者は、右耳のフィルタの成分を最大カットオフ周波数F_c ^d(1)までに、および左耳のフィルタの成分を最大カットオフ周波数F_c ^g(1)までに制限することができる。図5に具体的に例示する実施形態においては、ブロックm=1において、伝達関数は、典型的には、右耳および左耳の残響場を特徴づけ、したがって、F_c ^d(1)=F_c ^g(1)を成立させることができる(これは、可能性としてであって、限定的ではない)ことを考慮することができる。

次いで、音響の全体的な減衰(「フェードアウト」)を伴う残響場の存在においては、音響波は、高周波数においてより減衰される傾向があり、それは、実際には、図3における左耳ならびに右耳の伝達関数の時間周波数表現において、m=2と表すブロックに対応する瞬間2Nから3N-1に起きる。したがって、これらの伝達関数を表すフィルタの開発業者は、右耳のフィルタの成分をカットオフ周波数F_c ^d(2)に、および左耳のフィルタの成分をカットオフ周波数F_c ^g(2)までに制限することができる。

より短いブロックにより、例えば、ブロックm=0の第1の時点において右耳の最高周波数(図3のF_c ^d(0)前後の破線)が増大する第1の反射RILを考慮に入れるために、考慮すべき最高周波数のより精密な変動が可能になることに留意されたい。

したがって、具体的には、カットオフ周波数F_cを超える、伝達関数を表すフィルタのすべてのスペクトル成分を考慮に入れないことが可能であることがわかる。したがって、スペクトル域における伝達関数の適用を処理することは有利である。伝達関数による信号I(l)の畳込みは、スペクトル域における信号I(l)のスペクトル成分に、スペクトル域における伝達関数を表すフィルタのスペクトル成分を乗算することとなり、具体的には、この乗算は、最大カットオフ周波数までのみ実行することができ、これは、例えば所与のブロックの、および処理すべき信号の関数である。

したがって、図1を参照すると、L個の入力信号I(1)、I(2)、…、I(L)がそれぞれのステップTF11、TF12、…、TF1Lにおける周波数領域に変換される。あるいは、そのような入力信号は、周波数の形で(例えば、復号器において)すでに利用可能であり得る。

ステップBA11において、チャネル1からの信号I(1)に対応する時間的な形の完全な空間化インパルス応答(典型的には、BRIR、すなわち「バイノーラル空間インパルス応答(Binaural Room Impulse Response)」)がメモリに格納される。ステップTFA11において、このインパルス応答は、スペクトル域において対応するフィルタを得るために周波数の形に変換される。1つの有利な実施形態においては、フィルタは、変換計算の繰返しを避けるためにそのスペクトルの形で格納される。次いで、このフィルタには、チャネル1からの周波数の形の入力信号が乗算される(時間領域における畳込みに相当する)。したがって、チャネル1からの信号I(1)の空間化信号が得られる。

同じ演算がL-1個の他のチャネルに対して実施される。したがって、L個の空間化チャネルの合計が得られる。次いで、これらのチャネルが合計されて、L個のチャネルを示す単一の出力信号が得られ、イヤホンに供給される信号O^k(ここで、k=d、g)のうちの一方を出力するためにステップITF11の時間領域に戻る。同様の処理が他方のイヤホンに対して実施される。図2および図5を参照して以下に詳細に説明する一実施形態においては、L個の空間化チャネルは、合計の前に独立してアクセス可能ではなく、すなわち、単一の出力信号は、各空間化チャネルを前の出力信号と漸進的に合計することによって構築される。

これらの演算は、構築すべき各出力信号O^kに対して実施される。バイノーラル再生の際に、これらのステップは、典型的には、ヘッドセットの左側のイヤホンに供給すべき出力信号に対して1回、ヘッドセットの右側のイヤホンに供給すべき出力信号に対して1回の2回実行される。したがって、最終的には、各々耳に対応する2つの空間化信号O^dおよびO^gが得られる。

L個の入力信号は、典型的には、(「仮想」)スピーカに供給されることが意図されたマルチチャネルのオーディオコンテンツのL個のチャネルに対応することができる。L個の入力信号は、例えば、サラウンド音響表現におけるオーディオコンテンツのL個のサラウンド音響信号に対応することができる。

次に、本発明の意味において実装形態を例示する図2を参照すると、図1に提示するL個のチャネルの空間化の原理が再度、与えられる。図2の提示は、簡略化されているが、しかしながら、L個の入力信号が単一の線I(l)に組み合わせられている。したがって、L個の入力信号I(1)、I(2)、…、I(L)は、ステップS21において周波数領域に変換される。上記のように、代替案として、そのような入力信号は、すでに周波数の形で利用可能であり得る。ステップS22において、チャネルlの信号I(l)に対応する空間化(典型的には、BRIRタイプ)からのインパルス応答A^k(l)は、周波数フィルタを得るためにスペクトル域に変換される。このインパルス応答A^k(l)は、サンプルの第1の時間的ブロックm=0に対応するので、図2の表現において不完全である。上記のように、このインパルス応答は、すでに周波数の形で利用可能であり得る。このフィルタの成分には、次いで、対応するチャネルI(l)のスペクトル信号が乗算される。この乗算は、本発明の意味においていくつかの周波数成分が無視されるように(図4を参照して下記のように)構成されている。典型的には、最高周波数の成分は、計算の複雑さを低減するために無視される。図2および図5においては、カットオフ周波数に制限された成分の乗算は、記号

によって表される。

カットオフ周波数f_cA(I)が定義され、それを超えると、周波数成分は無視される(例えば、チャネルI(l)の信号に表される最大周波数、またはそのサンプリング周波数の半分)。加えて、このカットオフ周波数は、各フィルタに特有であり、ブロックごとのものである(例えば、カットオフ周波数は、ブロックm=1、m=2に対して減少する)。ここでは、フィルタが各入力信号および各耳に特有であるので、カットオフ周波数は、入力信号に、耳に(したがって、出力信号に)、および時間的ブロックに特有である。

次いで、第1の時間的ブロックのチャネルlに対する空間化信号が得られる。これらの演算は、すべてのL個のチャネルl=1、…、Lに対して実行される。これは、L個の空間化チャネルを提供する。これらのチャネルは、次いで、ステップS23において合計されて、第1の時間的ブロックにおいてL個のチャネルを表す単一の信号が得られる。

実際には、合計は特定のやり方で実行されて、チャネル内の遅延を可能にし、それによって、以下に詳述するように、残響(反射および残響場)を特徴づける。実際、一実施形態においては、L個の空間化チャネルは、合計の前に独立してアクセス可能ではなく、すなわち、単一の出力信号は、各空間化チャネルを前の出力信号と漸進的に合計することによって構築される。このために、ステップDBDにおいて、入力信号I(l)が、各ブロックm=1、…、Mに特有のz^-iDD.mによって与えられる遅延だけ遅延される。遅延mは第1のブロックに対してゼロであることに気づくであろう。周波数表現の場合、この遅延は、概して、第1のブロックに対して処理される信号フレームのサイズに対応し、その周波数の形で前の入力ブロックをとる動作として解釈される。

ステップS24において、チャネルlの信号I(l)に対応する空間化(典型的には、BRIRタイプ)からの不完全なインパルス応答B^k _m(l)は、周波数フィルタを得るためにスペクトル域に変換される。このインパルス応答B^k _m(l)は、サンプルの第2の時間的ブロックに(次いでm=1、…、Mの第3のブロックなどに)対応するので不完全である。上記のように、変形形態として、このインパルス応答は、すでに周波数の形で利用可能であり得る。文献FR1357299に記載の原理を適用すると、B^k _m(1)=…=B^k _m(l)=…=B^k _m(L)=B^k _mean(m)を配置することによって処理の複雑さを低減すること、および最終的に該当するブロックm(「フェードアウト」減衰を伴う一次残響場または二次残響場)と耳kとにのみ依存するこの伝達関数を有することが可能である。同様に、残響場はチャネルに依存せず、カットオフ周波数f_cを各チャネルに対して同一となるように設定することが可能である(しかし、それは、図3を参照して先にわかったように、1つのブロックから次のブロックになおも減少することができる)。この実施形態は、図5に提示される。

再度、図2を参照すると、このフィルタB^k _m(l)には、次いで、チャネルlの信号I(l)が乗算される。カットオフ周波数は、この第2の時間的ブロックに対して異なる。図3を参照して論じたように、測定により、高周波数がより距離を置いた時間的ブロック(残響音および多残響に対応する)においてより減衰されることが示される。したがって、これらのより距離を置いたブロックに対するカットオフ周波数は、第1のブロックに対するカットオフ周波数よりも低いことがある。カットオフ周波数が低ければ低いほど、演算の数はより低減される。したがって、計算の複雑さが低減されるのは、有利である。

同じ演算がL個のチャネルに対して実行され、フィルタに、漸進的に遅延されたスペクトル信号を乗算する演算を繰り返し、ステップS25において、各遅延mに対する寄与を、考慮される時間的ブロックmの組MにわたってL個のチャネルを表す単一の信号を得るまで合計する。単一の出力信号は、図4を参照して次に論じるように、各空間化チャネルを前の出力信号と漸進的に合計することによって構築される。

最後に、ヘッドセットのイヤホンのうちの一方に供給すべき出力信号を得るためにステップS26における時間領域に戻る。

図4を参照して、次に、所与の時間的ブロック(例えば、時間間隔の値[0;N-1]を用いて直接音響場を表すブロック)の、および例えば右耳に対応する信号の空間化方法を説明する。もちろん、同じ方法が、左耳に対応する信号に対して適用される。2つの耳の違いは、各耳に特有のフィルタを適用することによってもたらされる。

ステップS40において、出力信号Sが0に初期化される。この出力信号は、周波数領域で表される。それはカットオフ周波数fc(l)よりも長い長さの、制限されたサイズである。例えば、この信号は、[0;fs(l)/2]に対して定義され、fs(l)はこの信号I(l)のサンプリング周波数である。第1のカウント変数lも1に初期化される。この第1のカウント変数は、右耳に対する時間的ブロック[0;N-1]におけるチャネル信号I(1)、I(2)、…、I(l)、…、I(L)のうちの1つを識別する。ステップS41において、第2のカウント変数jが0に初期化される。この第2のカウント変数は、右耳に対する時間的ブロック[0;N-1]における信号I(l)の周波数成分を識別する。

ステップS42において、係数c_BRIR(j;l)がメモリに格納される。この係数は、右耳に対する時間的ブロック[0;N-1]におけるフィルタBRIR(l)の周波数成分jに対応する。同様に、係数c_I(j;l)がメモリに格納される。この係数は、右耳に対する時間的ブロック[0;N-1]における信号I(l)の周波数成分jに対応する。したがって、係数c_BRIR(j;l)およびc_I(j;l)は、(変数jによって識別された)同じ周波数成分に対応し、したがって、続いて項と項が乗算され得る(ステップS44)。

テストT47において、変数jに対応する周波数がカットオフ周波数fc(l)よりも小さい(例えば、厳密に、より小さい)かどうかを確認する。このカットオフ周波数は、右耳に対する時間的ブロック[0;N-1]の信号I(l)のカットオフ周波数に対応する。周波数jがカットオフ周波数fc(l)よりも小さい場合、ステップS44に進む。

ステップS44において、係数c_BRIR(j;l)とc_I(j;l)との乗算に対応する値MULT(j)が計算される。これらの係数は、同じ周波数成分j(同じブロックにおける同じチャネルに対して、および同じ耳に対して)に対応するので、項と項が乗算される。

ステップS45において、この値MULT(j)が、周波数jの位置において信号Sに漸増的に加えられる。

信号Sは、したがって、段階的に構築され、この信号は、最大カットオフ周波数fc(l)までの(ブロック[0,N-1]におけるこの信号I(l)に対して、および右耳に対して)すべての周波数成分を(長さfc(l)のループの終わりに)含む。ループが図4において開始するとき、すでに0に初期化されたすべての成分を有するので、ループの終わりに、バッファ(初めにゼロ)は最大カットオフ周波数まで満たされ、引き続いて信号Sを構築する。係数の各乗算MULT(j)は、したがって、構築される信号Sに段階的に加えられる。

ステップS46において、変数jは、インクリメントされ、ステップS42に戻る。変数jがカットオフ周波数fc(l)よりも大きい(例えば、またはそれに等しい)場合、テストT48に進む。信号Sは、したがって、間隔[0;fc(l)]に対して満たされる。

上述のように、この信号は[0;fc(l)]よりも大きな間隔(例えば、[0;fs(l)/2])に対して定義することができる。加えて、この信号の定義された間隔全体は、0に初期化されている。したがって、間隔(例えば、[fc(l);fs(l)/2])の満たされていない残りは、依然としてゼロである。これにより、信号Sを満たすいくつかのステップは実施されておらず、それによって必要な計算の数が低減するので、複雑さが改善される。

テストT48において、チャネルlの信号I(l)に対応するカウント変数lがチャネルの数Lよりも小さい(例えば、厳密に、より小さい)かどうかを確認する。変数lがLよりも小さいかまたはLに等しい場合、変数lはステップS49においてインクリメントされ、方法はステップS41に戻る。変数lがLよりも大きい場合、右耳に対する時間的ブロック[0;N1]の空間化信号に対応する信号Sは、ステップS50において利用可能である。

次いで、時間的ブロック[0;N-1]に対応するこの信号Sは、他の時間的ブロック[N;2N-1]、[2N;3N-1]など(それに対して、適切な遅延が、例えば、図2における上記のステップDBDにより適用されている)に対する他の同様に生成された信号と合計される。

典型的には、ブロック[N;2N-1]を構築するために、
- 上記の図3に例示する残響場最大周波数Fc(残響)(例えば、ブロックm=1の10kHzから15kHzの間で、およびブロックm=2の5kHzから10kHzの間で選択された)と、
- 各入力信号において表される最大周波数fmax(例えば、そのサンプリング周波数またはスペクトル成分がゼロでない最大周波数であり、この値は、典型的には、圧縮復号器によって与えられる)と
の間の最小に対応するスペクトル成分の乗算におけるカットオフ周波数fcを用いて、残響場を表す、すべての入力信号I(l)に共通の伝達関数に対応するフィルタを周波数領域において適用する。

所与のカットオフ周波数(数学的には、その点を超えると0を乗算することに相当する)で終了する周波数乗算は、当業者にとって些末ではないことに留意されたい。実際、オーディオ信号をフィルタリングする文脈では、このタイプの非常に積極的なローパスフィルタは、一般に避けることが望ましい、巡回畳込みによって発生された時間偽信号から起きるエコーまたはプレエコー現象により、一般に可聴偽信号アーチファクトを生じる。しかしながら、本発明の文脈では、ローパスフィルタは、音響信号に適用されず、すでに多反射から構成されているBRIRフィルタ(それ自体音響信号で畳み込まれる)に適用される。発生されたアーチファクトは、したがって、最悪の場合でも、元のBRIRフィルタの追加の反射として知覚され、実際、顕著なことはまれである。それにもかかわらず、カットオフ周波数(例えば、ハーフハニング窓(フェードアウトタイプ)を適用することによる穏やかな減衰)に先行するフィルタの周波数をわずかに変更することによってこれらのアーチファクトを軽減することが可能である。

概して、図4を参照して、2つの演算が同じループインスタンス(典型的には、1つのクロックサイクル)、すなわち、乗算MULT(k)および出力信号Sへのその加算で実行されることに気づくであろう。これにより、単一のループインスタンス(典型的には、1つのクロックサイクル)の間にいくつかの演算を実施することができ、それによって、計算に必要な時間を低減する、この方法をプロセッサ上で実装することが可能になる。

図5に例示するのは、出力信号O^kを生じる、上に提示する式による、処理の完全なアルゴリズムの形である:

上記のように、重付け係数W^k(l)および利得G(I(l))は、1に固定することができる。利得G(I(l))は、図5に表されていないが、この図は、重み1/W^k(l)における利得の積分として読むべきである。加えて、フィルタの設計中に、これらの2つのパラメータはともに、最終的に決定され、固定され、乗算される。

CAS ヘッドセット、ヘッドホン
DECOD 復号化デバイス
F_c ^d(0) 最大周波数、カットオフ周波数
F_c ^g(0) 最大周波数
HPV 仮想スピーカ
IN 入力インターフェース
I(L)、I(l)、I(1)、I(2)、I(3) チャネル信号、入力信号
MEM 作業メモリ
MUR 壁
PROC プロセッサ
OD 右耳
OG 左耳
OUT 出力インターフェース
RES ネットワーク
RIL 第1の反射、経路
SPAT 空間化モジュール
TCL 音響経路、対側
TE 頭部
TIL 音響経路、同側

Claims (9)

1. 音響空間化のための方法であって、空間効果を伴う少なくとも1つの伝達関数の少なくとも1つの音響信号への適用を含み、前記適用が、スペクトル域において、前記音響信号のスペクトル成分に、前記伝達関数に対応するフィルタのスペクトル成分を乗算することに及び、前記フィルタの各スペクトル成分が、時間周波数表現において時間的変動を有し、
   前記フィルタの前記スペクトル成分が、閾値周波数を超え、および前記時間周波数表現における少なくとも所与の瞬間の後に前記成分の乗算に対して無視され、各出力信号を提供するために複数の入力信号を受け取り、少なくとも2つの出力信号を提供する音響空間化モジュールによる実装のために、空間効果を伴う伝達関数が、各入力信号に適用され、前記出力信号の各々が、次のタイプの式を適用することによって与えられ、
   

   

   - O^kは、出力信号であり、kは、出力信号に関連する指数であり、
   - l∈[1;L]は、前記入力信号の中の1つの入力信号に関連する指数であり、Lは、入力信号の数であり、I(l)は、前記入力信号の中の1つの入力信号であり、
   - A^k(l)は、入力信号に特有の、空間効果を伴う伝達関数であり、
   -
   

   

   は、前記入力信号に共通の、空間効果を伴う一般伝達関数であり、
   - W^k(l)は、選択された重付け係数であり、G(I(l))は、所定の電力補償利得であり、
   - z^-iDDmは、サンプルのブロックの数としてカウントされ、前記空間効果に対応する室内の音響の放射と前記室内の残響場の存在の開始との間の時間差に対応する、遅延の適用であり、指数mは、前記遅延に対応する持続時間のサンプルのブロックの数に対応し、Mは、伝達関数が時間周波数表現において持続するブロックの合計数であり、
   - 記号「.」は、乗算を指定し、
   - 項「*_{[0;…;fk(l)]}」は、畳込み演算子を限定された数の周波数に指定し、最低周波数から、少なくとも前記入力信号の指数lの関数である最大周波数f^k(l)にわたり、
   - 項「*_{[0;…;fk(m)]}」は、畳込み演算子を限定された数の周波数に指定し、最低周波数から、サンプルのブロックの指数mの関数である周波数f^k(m)にわたる、方法。
2. 前記閾値周波数が、前記時間周波数表現において時間とともに減少する、請求項1に記載の方法。
3. 前記音響信号中の最高周波数のスペクトル成分に関する情報が得られ、前記閾値周波数が、所定の閾値周波数と前記最高周波数との間で最小である、請求項1に記載の方法。
4. 前記音響信号が、圧縮復号器から生じ、最高周波数のスペクトル成分に関する前記情報が、前記復号器によって提供される、請求項3に記載の方法。
5. 前記音響信号が、所与のサンプリング周波数においてサンプリングされ、前記閾値周波数が、前記サンプリング周波数に基づいて選択される、請求項3に記載の方法。
6. 前記音響信号が、それぞれ第1および第2のチャネルに関連付けられた少なくとも第1および第2の仮想スピーカ上で空間化され、空間効果を伴う第1および第2の伝達関数が、それぞれ、前記第1および第2のチャネルに適用され、
   前記第1および第2の伝達関数の中の一方が、同側音響経路効果を適用し、前記第1および第2の伝達関数の中の他方が、対側音響経路効果を適用し、所与のスクリーニング周波数を超える前記音響信号のスペクトル成分が除去され、
   対側経路効果を適用する前記伝達関数の前記閾値周波数が、所定の閾値周波数と前記スクリーニング周波数との間で最小である、
   請求項1に記載の方法。
7. 前記複数の入力信号が、前記複数の入力信号の中の入力信号間で同じサイズのサンプルの連続的ブロックを含み、前記少なくとも1つの所与の瞬間が、一連のブロックにおける第1のブロックとは異なるブロックの開始において時間的に設置される、請求項1に記載の方法。
8. 実行可能プログラムがそれの上に格納された非一時的コンピュータ可読記憶媒体であって、前記プログラムが、マイクロプロセッサに請求項1から7のいずれか一項に記載の方法を実行するように命令する、非一時的コンピュータ可読記憶媒体。
9. 音響空間化モジュールであって、空間効果を伴う少なくとも1つの伝達関数を少なくとも1つの入力音響信号に適用するためのプロセッサを備え、前記適用が、スペクトル域において、前記音響信号のスペクトル成分に、前記伝達関数に対応するフィルタのスペクトル成分を乗算することに及び、前記フィルタの各スペクトル成分が、時間周波数表現において時間的発達を有する、音響空間化モジュールにおいて、
   前記プロセッサが、閾値周波数を超え、前記時間周波数表現における少なくとも所与の瞬間の後、前記成分の乗算に対して、前記フィルタの前記スペクトル成分を無視するように構成されることを特徴とし、および複数の入力信号を受け取る当該音響空間化モジュールが、少なくとも2つの出力信号を提供し、前記プロセッサが、空間効果を伴う伝達関数を各入力信号に適用するように構成され、前記出力信号の各々が、次のタイプの式を適用することによって与えられ、
   

   

   - O^kは、出力信号であり、kは、出力信号に関連する指数であり、
   - l∈[1;L]は、前記入力信号の中の1つの入力信号に関連する指数であり、Lは、入力信号の数であり、I(l)は、前記入力信号の中の1つの入力信号であり、
   - A^k(l)は、入力信号に特有の、空間効果を伴う伝達関数であり、
   -
   

   

   は、前記入力信号に共通の、空間効果を伴う一般伝達関数であり、
   - W^k(l)は、選択された重付け係数であり、G(I(l))は、所定の電力補償利得であり、
   - z^-iDDmは、サンプルのブロックの数としてカウントされ、前記空間効果に対応する室内の音響の放射と前記室内の残響場の存在の開始との間の時間差に対応する、遅延の適用であり、指数m、は前記遅延に対応する持続時間のサンプルのブロックの数に対応し、Mは、伝達関数が時間周波数表現において持続するブロックの合計数であり、
   - 記号「.」は、乗算を指定し、
   - 項「*_{[0;…;fk(l)]}」は、畳込み演算子を限定された数の周波数に指定し、最小周波数から、少なくとも前記入力信号の指数lの関数である最大周波数f^k(l)にわたり、
   - 項「*_{[0;…;fk(m)]}」は、畳込み演算子を限定された数の周波数に指定し、最小周波数から、サンプルのブロックの指数mの関数である周波数f^k(m)にわたる
   ことを特徴とする、音響空間化モジュール。

Images