JP6486351B2

JP6486351B2 - 空間効果を用いる音響空間化

Info

Publication number: JP6486351B2
Application number: JP2016528570A
Authority: JP
Inventors: グレゴリー・パローネ; マルク・エメリ
Original assignee: France Telecom SA
Current assignee: Orange SA
Priority date: 2013-07-24
Filing date: 2014-07-04
Publication date: 2019-03-20
Anticipated expiration: 2034-07-04
Also published as: US9848274B2; KR20210008952A; EP3025514B1; FR3009158A1; ES2754245T3; KR102206572B1; CN105684465B; EP3025514A1; KR20160034942A; US20160174013A1; CN105684465A; WO2015011359A1; KR102310859B1; JP2016527815A

Description

本発明は、音響データの処理に関し、より詳しくは、オーディオ信号の空間化(「3Dレンダリング」と呼ばれる)に関する。

例えば、ある数のチャネル上に表現された符号化された3Dオーディオ信号を異なる数の、例えば2つの、チャネルに復号して、オーディオヘッドセット内で3Dオーディオ効果をレンダリングすることを可能にするとき、そのような動作が実施される。

本発明は、ユーザの機器によって課されたトランスデューサレンダリングデバイスのための多重チャネルオーディオ信号の伝送およびレンダリングならびにそれらの変換にも関する。これは、例えば、オーディオヘッドセットまたは1対のスピーカ上への5.1音響によりシーンをレンダリングする場合である。

本発明は、例えば、空間化の目的でファイル内に格納された1つまたは複数の音響サンプルのビデオゲームまたは録音におけるレンダリングにも関する。

静的モノラル音源の場合、バイノーラル化は、音源の所望の位置と2つの耳の各々との間の伝達関数によってモノラル信号をフィルタリングすることに基づく。得られたバイノーラル信号(2チャネル)は、次いで、オーディオヘッドセットに供給され、シミュレーションされた位置における音源の感覚を聴取者に与えることができる。したがって、「バイノーラル」という用語は、空間的効果によるオーディオ信号のレンダリングに関係する。

異なる位置をシミュレーションする伝達関数の各々は、無響室内で測定され、空間効果が何も存在しないHRTF(「頭部伝達関数」)の組を生じることができる。

これらの伝達関数は、「標準」室内で測定され、空間効果または残響が存在するBRIR(「バイノーラル室内インパルス応答」)の組を生じることもできる。BRIRの組は、したがって、所与の位置と室内に配置された聴取者(実際のまたはダミーの頭部)の耳との間の伝達関数の組に対応する。

BRIRを測定するための通常の技法は、耳にマイクロホンを有する頭部(実際のまたはダミーの)の周りに位置した実際のスピーカの組の各々にテスト信号(例えば、掃引信号、疑似ランダム2進数列、または白色雑音)を連続的に送るステップからなる。このテスト信号により、スピーカの位置と2つの耳の各々との間のインパルス応答を非実時間において再構築する(一般にデコンボリューションによって)ことが可能になる。

HRTFの組とBRIRの組との相違は、主に、HRTFの場合約1ミリ秒であり、BRIRの場合約1秒である、インパルス応答の長さにある。

フィルタリングがモノラル信号とインパルス応答との間の畳み込みに基づくので、BRIR(空間効果を含む)によりバイノーラル化を実施する際の複雑性は、HRTFの場合よりも大幅に高い。

この技法を用いて、ヘッドセットにおいてまたは限定された数のスピーカを用いて、室内でLスピーカによって発生された多重チャネル内容(Lチャネル)を聴取することをシミュレーションすることが可能である。実際、Lスピーカの各々を聴取者に対して理想的に位置した仮想音源とみなし、シミュレーションされる部屋でこれらのLスピーカの各々の伝達関数(左右の耳に対する)を測定し、次いで、Lオーディオ信号(推定において実際のLスピーカに供給される)の各々に、スピーカに対応するBRIRフィルタを適用することで十分である。両耳の各々に供給される信号は、オーディオヘッドセットに供給されるバイノーラル信号をもたらすために合計される。

我々は、Lスピーカに供給される入力信号をI(l)(ここでl=[1,L])と表す。我々は、両耳の各々のスピーカの各々のBRIRをBRIR^g/d(l)と表し、我々は、出力されるバイノーラル信号をO^g/dと表す。以下、「g」と「d」は、それぞれ「左」と「右」を示すと理解される。多重チャネル信号のバイノーラル化は、したがって、

と書かれ、ここで、*は畳み込み演算子を表す。

以下では、l∈[1,L]である指数lは、Lスピーカのうちの1つを表す。我々は、1つの信号lに対して1つのBRIRを有する。

したがって、図1を参照すると、2つの畳み込み(各々の耳に1つ)が各スピーカに存在する(ステップS11〜S1L)。

Lスピーカの場合、バイノーラル化は、したがって、2.Lの畳み込みを必要とする。我々は、高速ブロックベースの実装形態の場合には複雑性C_convを計算することができる。高速ブロックベースの実装形態は、例えば、高速フーリエ変換(FFT)によって与えられる。文書「Submission and Evaluation Procedures for 3D Audio」(MPEG 3D Audio)は、C_convを計算するための可能な式を明示している。
C_conv=(L+2).(nBlocks).(6.log₂(2Fs/nBlocks))

この式では、Lは入力信号(1つの入力信号につき1つのFFT)の周波数を変換するFFTの数を表し、2は時間的バイノーラル信号(2つのバイノーラルチャネルに2つの逆FFT)を得るための逆FFTの数を表し、6はFFTごとの複雑性係数を示し、第2の2は巡回畳み込みによる問題を回避するために必要なゼロ埋めを示し、Fsは各BRIRのサイズを示し、nBlocksは、レイテンシが過度に高くなってはならない方式においてより現実的である、ブロックベースの処理が使用されることを表し、.は乗算を表す。

したがって、nBlocks=10、Fs=48000、L=22による典型的な使用には、FFTに基づく直接畳み込みの多重チャネル信号サンプルごとの複雑性は、C_conv=19049乗算-加算である。

この複雑性は、今日の現行のプロセッサ(例えば、携帯電話)上の現実的な実装形態には高すぎ、したがって、レンダリングされるバイノーラル化を大幅に劣化させることなく、この複雑性を低減する必要がある。

空間化を良好な品質にするために、BRIRの時間信号全体を適用しなければならない。

本発明は、この状況を改善する。

「Submission and Evaluation Procedures for 3D Audio」(MPEG 3D Audio)

本発明は、可能な限り最高のオーディオ品質を維持しながら、多重チャネル信号のバイノーラル化の複雑性を空間効果により大幅に低減することを目的とする。

このために、本発明は、音響空間化の方法に関し、総和を含む少なくとも1つのフィルタリングプロセスを少なくとも2つの入力信号(I(1), I(2), ..., I(L))に適用し、前記フィルタリングプロセスは、
- 少なくとも1つの第1の空間効果伝達関数(A^k(1), A^k(2), ..., A^k(L))の適用であって、この第1の伝達関数が各入力信号に特有である、適用と、
少なくとも1つの第2の空間効果伝達関数(B_mean ^k)の適用であって、前記第2の伝達関数がすべての入力信号に共通である、適用とを含む。方法は、少なくとも1つの入力信号を重み付け係数(W^k(l))を用いて重み付けするステップを含み、前記重み付け係数が入力信号の各々に特有であるようなものである。

入力信号は、例えば、多重チャネル信号の異なるチャネルに対応する。そのようなフィルタリングは、具体的には、空間化されたレンダリング(バイノーラルもしくはトランスオーラルまたは2つより多くの出力信号が関与するサラウンド音響のレンダリングによる)に意図された少なくとも2つの出力信号を提供することができる。1つの特定の実施形態において、フィルタリングプロセスは、正確に2つの出力信号を供給し、第1の出力信号は左の耳のために空間化され、第2の出力信号は右の耳のために空間化される。これにより、低周波数において左の耳と右の耳との間に存在し得る自然な程度の相関関係を維持することが可能になる。

ある時間間隔にわたる伝達関数の物理的特性(例えば、異なる伝達関数間のエネルギーまたは相関関係)は、単純化を可能にする。これらの間隔にわたって、伝達関数は、したがって、平均フィルタによって近似させることができる。

空間効果伝達関数の適用は、したがって、有利には、これらの間隔にわたって区画化される。各々の入力信号に特有の少なくとも1つの第1の伝達関数は、近似することが可能でない間隔に対して適用することができる。平均フィルタにおいて近似された少なくとも1つの第2の伝達関数は、近似することが可能である間隔に対して適用することができる。

入力信号の各々に共通の単一の伝達関数の適用は、空間化に対して実施される計算の数を相当に低減する。この空間化の複雑性は、したがって、有利には低減される。この単純化は、したがって、有利には、これらの計算に使用されるプロセッサ上の負荷を減少させながら、処理時間を低減する。

さらに、入力信号の各々に特有の重み付け係数により、様々な入力信号間のエネルギー差は、それらに適用された処理が部分的に平均フィルタによって近似されても、考慮に入れることができる。

1つの特定の実施形態において、第1のおよび第2の伝達関数は、それぞれ、
- 直接音響伝播およびこれらの伝播の第1の音響反射と、
- これらの第1の反射の後に存在する拡散音場とを表し、
本発明の方法は、
- それぞれ入力信号に特有の第1の伝達関数の適用と、
- すべての入力信号に同一であり、拡散音場効果の一般的近似から生じる第2の伝達関数の適用とをさらに含む。

したがって、処理の複雑性は、有利には、この近似によって低減される。さらに、この近似は拡散音場効果に関連し、直接音響伝播に関連しないので、そのような近似の処理品質への影響が低減される。これらの拡散音場効果は、近似に対してより感受性が少ない。第1の音響反射は、典型的には、第1の音波の反響の連続である。1つの実際の例示的な実施形態において、これらの第1の反射のうち多くても2つがあると仮定される。

別の実施形態において、空間効果を組み込んだインパルス応答から第1のおよび第2の伝達関数を構築する予備ステップは、第1の伝達関数の構築のために、
- 直接音波の存在の開始時間を決定するステップと、
- 第1の反射の後の拡散音場の存在の開始時間を決定するステップと、
- インパルス応答において、直接音波の存在の開始時間から拡散場の存在の開始時間までの間に時間的に及ぶ応答の一部分を選択するステップであって、応答の選択された部分が第1の伝達関数に対応する、選択するステップとの動作を含む。

1つの特定の実施形態において、拡散場の存在の開始時間は、所定の基準に基づいて決定される。1つの可能な実施形態において、所与の部屋における音響出力のスペクトル密度の単調減少の検出は、典型的には、拡散場の存在の開始を特徴付け、そこから、拡散場の存在の開始時間を提供することができる。

あるいは、その存在の開始時間は、部屋の特性に基づく推定によって、例えば、以下に見られるように単純に部屋の容積から、決定することができる。

あるいは、より単純な実施形態において、インパルス応答がN個のサンプルに及ぶ場合、拡散場の存在の開始時間が、例えば、インパルス応答のN/2個のサンプルの後に起きることを考慮することができる。したがって、その存在の開始時間はあらかじめ決定され、固定値に対応する。典型的には、この値は、例えば、空間効果を組み込んだインパルス応答の48000個のサンプルの中の2048番目のサンプルであり得る。

上述の直接音波の存在の開始時間は、例えば、空間効果によるインパルス応答の時間信号の開始に対応することができる。

相補的実施形態において、第2の伝達関数は、拡散場の存在の開始時間の後に時間的に開始するインパルス応答の部分の組から構築される。

変形形態において、第2の伝達関数は、部屋の特性から、または所定の標準フィルタから決定することができる。

したがって、空間効果を組み込んだインパルス応答は、有利には、存在開始時間によって分離された2つの部分に区分化される。そのような分離により、これらの部分の各々に処理を適合させることが可能になる。例えば、フィルタリングプロセス内で第1の伝達関数として使用するためのインパルス応答の第1のサンプル(第1の2048個)の選択をし、残りのサンプル(例えば、2048から48000まで)を無視するか、またはそれらを他のインパルス応答からのサンプルを用いて平均化することができる。

そのような実施形態の利点は、したがって、特に有利なやり方で、その実施形態が入力信号に特有のフィルタリング計算を単純化し、インパルス応答の第2の半分を使用して(以下に説明するように、例えば、平均として)、またはある部屋または標準室の特性(容積、部屋の壁面上の覆いなど)に基づいてのみ推定された単純に所定のインパルス応答から、計算することができる音響拡散から生じる雑音の形を追加することである。

別の変形形態において、第2の伝達関数は、

の種類の式を適用することによって与えられ、ここで、kは出力信号の指数であり、
l∈[1;L]は入力信号の指数であり、
Lは入力信号の数であり、
B_norm ^k(l)は拡散場の存在の開始時間の後に時間的に開始するインパルス応答の部分の組から得られた、正規化された伝達関数である。

一実施形態において、第1のおよび第2の伝達関数は、複数のバイノーラル室内インパルス応答BRIRから得られる。

別の実施形態において、これらの第1のおよび第2の伝達関数は、所与の部屋における伝播と残響とを測定することから生じる実験値から得られる。したがって、処理は実験データに基づいて実行される。そのようなデータは、空間効果を非常に正確に反映し、したがって、極めて現実的なレンダリングを保証する。

別の実施形態において、第1のおよび第2の伝達関数は、例えば、帰還遅延ネットワークを用いて合成された基準フィルタから得られる。

一実施形態において、トランケーションがBRIRの開始に適用される。したがって、入力信号への適用が何も影響を有しない第1のBRIRサンプルは、有利には、除去される。

別の特定の実施形態において、トランケーション補償遅延がBRIRの開始において適用される。この補償遅延は、トランケーションによって発生した時間差を補償する。

別の実施形態において、トランケーションがBRIRの終わりに適用される。入力信号への適用が何も影響しない最後のBRIRサンプルは、したがって、有利には除去される。

一実施形態において、フィルタリングプロセスは、直接音波の開始時間と拡散場の存在の開始時間との時間差に対応する少なくとも1つの補償遅延の適用を含む。これは、有利には、時間移動された伝達関数の適用によって発生することがある遅延を補償する。

別の実施形態において、第1のおよび第2の空間効果伝達関数が、入力信号に並列に適用される。さらに、少なくとも1つの補償遅延が、第2の伝達関数によってフィルタリングされた入力信号に適用される。したがって、これらの2つの伝達関数の同時処理が、入力信号の各々に対して可能である。そのような処理は、有利には、本発明を実装するための処理時間を短縮する。

1つの特定の実施形態において、エネルギー補正利得係数が、重み付け係数に適用される。

したがって、少なくとも1つのエネルギー補正利得係数が、少なくとも1つの入力信号に適用される。供給された振幅は、したがって、有利には、正規化される。このエネルギー補正利得係数により、バイノーラル化された信号のエネルギーとの一貫性が可能になる。

それにより、入力信号の補正の程度により、バイノーラル化された信号のエネルギーを補正することが可能になる。

1つの特定の実施形態において、エネルギー補正利得係数は、入力信号間の相関関係の関数である。信号間の相関関係は、したがって、有利には、考慮に入れられる。

一実施形態において、少なくとも1つの出力信号が、

の種類の式を適用することによって与えられ、
ここで、kは出力信号の指数であり、
O^kは出力信号であり、
l∈[1;L]は入力信号の中の入力信号の指数であり、
Lは入力信号の数であり、
I(l)は入力信号の中の入力信号であり、
A^k(l)は第1の空間効果伝達関数の中の空間効果伝達関数であり、

は第2の空間効果伝達関数の中の空間効果伝達関数であり、
W^k(l)は重み付け係数の中の重み付け係数であり、
z^-iDDは補償遅延の適用に対応し、
.は乗算を示し、
*は畳み込み演算子である。

別の実施形態において、第2の伝達関数を適用する前に、非相関ステップが入力信号に適用される。この実施形態において、少なくとも1つの出力信号が、したがって、

の種類の式を適用することによって得られ、ここで、I_d(l)は前記入力信号の中の非相関された入力信号であり、その他の値は上記に定義された値である。相関信号の加算と非相関信号の加算とのエネルギー差によるエネルギー不均衡は、したがって、考慮に入れることができる。

1つの特定の実施形態において、非相関は、フィルタリングの前に適用される。エネルギー補償ステップは、したがって、フィルタリングの間、除外することができる。

一実施形態において、少なくとも1つの出力信号は、

の種類の式を適用することによって得られ、ここで、G(I(l))は、決定されたエネルギー補正利得係数であり、その他の値は、上記に定義された値である。あるいは、GはI(l)に依存しない。

一実施形態において、重み付け係数は

の種類の式を適用することによって与えられ、
ここで、kは出力信号の指数であり、
l∈[1;L]は入力信号の中の入力信号の指数であり、
Lは入力信号の数であり、
ここで、

は、第2の空間効果伝達関数の中の空間効果伝達関数のエネルギーであり、

は正規化利得に関連するエネルギーである。

本発明は、上記の方法を実装するための命令を含むコンピュータプログラムにも関する。

本発明は、少なくとも2つの入力信号(I(1), I(2), ..., I(L))に適用される、総和を伴う少なくとも1つのフィルタを含む音響空間化デバイスによって実装することができ、前記フィルタは、
- 各入力信号に特有である、少なくとも1つの第1の空間効果伝達関数(A^k(1), A^k(2), ..., A^k(L))と、
- すべての入力信号に共通である、少なくとも1つの第2の空間効果伝達関数(B_mean ^k)とを使用する。

デバイスは、少なくとも1つの入力信号を重み付け係数を用いて重み付けするための重み付けモジュールを含み、前記重み付け係数が入力信号の各々に特有であるようなものである。

そのようなデバイスは、典型的には、通信端末におけるハードウェアの形、例えば、プロセッサと、場合により、作業メモリとであり得る。

本発明は、上記の空間化デバイスを備えるオーディオ信号復号モジュールにおける入力信号として実装することもできる。

本発明の他の特徴および利点は、本発明の実施形態の以下の詳細な説明を読み、図面を検討することから明らかとなるであろう。

従来技術の空間化方法を例示する図である。一実施形態において、本発明による方法のステップを概略的に例示する図である。バイノーラル室内インパルス応答BRIRを表す図である。一実施形態において、本発明による方法のステップを概略的に例示する図である。一実施形態において、本発明による方法のステップを概略的に例示する図である。本発明による方法を実装するための手段を有するデバイスを概略的に表す図である。

図6は、接続端末TER(例えば、電話、スマートフォンなど、または接続タブレット、接続コンピュータなど)であるデバイス内に本発明を実装するための可能な状況を例示する。そのようなデバイスTERは、圧縮された符号化オーディオ信号Xcを受信するための受信手段(典型的にはアンテナ)と、オーディオ信号をレンダリングする前に空間化デバイスによって処理される準備がされている復号信号Xを供給する復号デバイスDECOD(例えば、イヤホン付きヘッドセットHDSET内にバイノーラルに)とを備える。もちろん、空間化処理が同じ領域で実施される場合(例えば、サブバンド領域における周波数処理)、場合によって、部分的に復号された信号を保持することが有利であり得る(例えば、サブバンド領域において)。

図6を引き続き参照すると、空間化デバイスが、
- 典型的には、作業メモリMEMおよびプロセッサPROCと協働する1つまたは複数の回路CIRを含むハードウェアと、
- 図2および図4がその一般的アルゴリズムを例示するフローチャート例を示すソフトウェアとの要素の組合せとして提示される。

ここで、以下に説明するように、ハードウェア要素とソフトウェア要素との協働により、実質的に同じオーディオレンダリング(聴取者にとって同じ感覚)の、結果として空間化の複雑性の節約となる技術効果が生まれる。

次に我々は図2を参照して、コンピューティング手段によって実装されたときの、本発明の趣旨における処理を説明する。

第1のステップS21において、データが用意される。この用意は任意選択である。信号は、この事前処理なしでステップS22およびそれに続くステップにおいて処理することができる。

具体的には、この用意は、インパルス応答の初めと終わりに不可聴サンプルを無視するために各BRIRをトランケーションするステップからなる。

インパルス応答の開始におけるトランケーションTRUNC Sのために、ステップS211において、この用意は、直接音波開始時間を決定するステップからなり、以下のステップによって実装することができる。
- BRIRフィルタ(l)の各々のエネルギーの累積合計が計算される。典型的には、このエネルギーは、サンプル1からjまでの振幅の二乗を合計することによって計算され、jは[1;J]の範囲であり、JはBRIRフィルタのサンプルの数である。
- 最大エネルギーフィルタのエネルギー値valMax(左の耳のフィルタと右の耳のフィルタの中の)が計算される。
- スピーカlの各々に対して、我々は、BRIRフィルタ(l)の各々のエネルギーがvalMaxに対して計算されたあるdB閾値(例えば、valMax-50dB)を超える指数を計算する。
- すべてのBRIRに保持されたトランケーション指数iTは、すべてのBRIR指数の中で最小指数であり、直接音波開始時間とみなされる。

結果として得られる指数iTは、したがって、各BRIRに対して無視されるサンプルの数に対応する。方形ウィンドウを使用するインパルス応答の開始における急激なトランケーションは、より高いエネルギーセグメントに適用された場合、可聴アーチファクトをもたらすことがある。したがって、適切なフェードインウィンドウを適用することが好ましい場合がある。しかし、選ばれた閾値において予防措置を講じた場合、そのようなウィンドウイングは、不可聴なので、不必要となる(不可聴信号だけが遮断される)。

複雑性を最適化することが可能であっても、BRIR間の共時性により、実装形態における簡潔さのために、すべてのBRIRに対して一定遅延を適用することが可能になる。

ステップS212において、インパルス応答の終わりに不可聴サンプルを無視するための各BRIRのトランケーションTRUNC Eは、上記のステップと同様であるがインパルス応答の終わり用に適合されたステップから開始して実施することができる。方形ウィンドウを使用するインパルス応答の終わりの急激なトランケーションは、インパルス信号上に残響の尾部が可聴であり得る可聴アーチファクトをもたらすことがある。したがって、一実施形態において、適切なフェードアウトウィンドウが適用される。

ステップ22において、同期的隔離ISOL A/Bが実施される。この同期的隔離は、各BRIRに対して、「直接音」および「第1の反射」部分(直接、Aで表す)ならびに「拡散音」部分(拡散、Bで表す)を分離するステップからなる。「拡散音」部分に対して実施される処理は、有利には、「拡散音」部分への処理よりも「直接音」部分への処理の品質の方がよりよいことが好ましい限りにおいて、「直接音」部分に対して実施される部分と異なり得る。これにより品質/複雑性の比を最適化することが可能になる。

具体的には、同期的隔離を達成するために、すべてのBRIRに共通の(したがって、「同期的」という用語の)固有のサンプリング指数「iDD」が、インパルス応答の残りが拡散場に対応するとみなされるところから開始して決定される。インパルス応答BRIR(l)は、したがって、2つの連結がBRIR(l)に対応するA(l)とB(l)との2つの部分に区分化される。

図3は、サンプル2000における区分化指数iDDを示す。この指数iDDの左側部分はA部に対応する。この指数iDDの右側部分はB部に対応する。一実施形態において、これらの2つの部分は、異なる処理を受けるためにウィンドウイングなしで隔離される。あるいは、A(l)部とB(l)部との間にウィンドウイングが適用される。

指数iDDは、BRIRが決定された部屋に特有であり得る。この指数の計算は、したがって、スペクトル包絡線、BRIRの相関関係、またはこれらのBRIRの音響測深図に依存することができる。例えば、iDDは、

の種類の式によって決定することができ、ここで、V_roomは測定される部屋の容積である。

一実施形態において、iDDは固定値であり、典型的には2000である。あるいは、iDDは入力信号が捕捉される環境により、好ましくは動的に、変動する。

O^g/dによって表される左(g)と右(d)の耳の出力信号は、したがって、

と書かれ、ここで、z^-iDDはiDDサンプルの補償遅延に対応する。

この遅延は、

に対して計算された値を一時メモリ(例えば、バッファ)に格納し、所望の時にそれらを取り出すことによって信号に適用される。

一実施形態において、AおよびBに選択されたサンプリング指数は、オーディオ符号器に統合する場合、フレーム長を考慮に入れることもできる。実際、1024サンプルの典型的なフレームサイズは、A=1024およびB=2048を選択することをもたらすことがあり、Bが、実際、すべてのBRIRの拡散場領域であることを確実にする。

具体的には、フィルタリングがFFTブロックによって実装される場合、AのFFTの計算をBに再使用することができるので、BのサイズがAのサイズの倍数であることが有利であり得る。

拡散場は、部屋のすべての箇所において統計的に同一であることを特徴とする。したがって、その周波数応答は、シミュレーションされるスピーカに対してほとんど変動しない。本発明は、多重畳み込みによる複雑性を大幅に低減するために、すべてのBRIRのすべての拡散フィルタD(l)を単一の「平均」フィルタB_meanで置き換えるためにこの特徴を利用する。このために、図2をまた参照すると、ステップS23Bにおいて拡散場B部を変更することができる。

ステップS23B1において、平均フィルタB_meanの値が計算される。システム全体が完全に校正され、したがって、我々が拡散場部分の耳ごとに単一の畳み込みを達成するために入力信号内で持ち越される重み付け係数を適用できることは極めてまれである。したがって、BRIRがエネルギー正規化フィルタにおいて分離され、正規化利得

が入力信号

内で持ち越される。
ここで、

であり、

はB^g/d(l)のエネルギーを表す。

次に、我々は、もうスピーカlの関数ではないが、エネルギー正規化することが可能でもあるB_norm ^g/d(l)を単一の平均フィルタB_mean ^g/dで近似する。

ここで、

一実施形態において、この平均フィルタは、時間的サンプルを平均化することによって得ることができる。あるいは、この平均フィルタは、任意の他の種類の平均化によって、例えば、パワースペクトル密度を平均化することによって、得ることができる。

一実施形態において、平均フィルタ

のエネルギーは、構築されたフィルタ

を使用して直接測定することができる。変形形態において、フィルタB_norm ^g/d(l)が非相関されるという仮説を使用してそれを推定することができる。この場合、単位エネルギー信号が合計されるので、我々は、

を得る。

エネルギーは拡散場部分に対応するすべてのサンプルにわたって計算することができる。

ステップS23B2において、重み付け係数W^g/d(l)の値が計算される。拡散フィルタと平均フィルタとの正規化を組み込んだ、入力信号に適用される1つの重み付け係数だけが計算される。

ただし、

平均フィルタが一定であるので、この合計から、我々は

を得る。

したがって、拡散場部分によるL回の畳み込みは、平均フィルタを用い、入力信号の重み付けされた合計による単一の畳み込みで置き換えられる。

ステップS23B3において、我々は、任意選択で、平均フィルタB_mean ^g/dの利得を補正する利得Gを計算することができる。実際、入力信号と非近似フィルタとの間の畳み込みの場合、入力信号間の相関値にかかわらず、B^g/d(l)である、非相関されたフィルタによるフィルタリングは、結果として、次いでやはり非相関される、合計される信号となる。逆に、入力信号と近似平均フィルタとの間の畳み込みの場合、フィルタリングされた信号を合計することから生じる信号のエネルギーは、入力信号間に存在する相関関係の値に依存する。

例えば、
*すべての入力信号I(l)が同一であり、単位エネルギーであり、フィルタB(l)がすべて非相関され(拡散場のために)、単位エネルギーである場合、我々は、

を得る。
*すべての入力信号I(l)が非相関され、単位エネルギーであり、フィルタB(l)がすべて単位エネルギーであるが、同一のフィルタ

で置き換えられる場合、我々は、

を得る。
何故なら、非相関信号のエネルギーが追加されるからである。

この事例は、フィルタリングから生じる信号が第1の事例の入力信号を用いて、および第2の事例のフィルタを用いて、すべて非相関されるという意味において、先行する事例と同等である。
*すべての力信号I(l)が同一であり、単位エネルギーであり、フィルタB(l)がすべて単位エネルギーであるが、同一のフィルタ

で置き換えられる場合、我々は

を得る。
何故なら同一の信号のエネルギーが直交位相で追加されるからである(それらの振幅が合計されるので)。

したがって、
- 非相関信号が供給される2つのスピーカが同時にアクティブである場合、従来の方法に比較してステップS23B1およびS23B2を適用することによって利得は何も得られない。
- 同一の信号が供給される2つのスピーカが同時にアクティブである場合、従来の方法に比較して、10.log₁₀(L²/L)=10.log₁₀(2²/2)=3.01dBの利得が、ステップS23B1およびS23B2を適用することによって得られる。
- 同一の信号が供給される3つのスピーカが同時にアクティブである場合、従来の方法に比較して、10.log₁₀(L²/L)=10.log₁₀(3²/3)=4.77dBの利得が、ステップS23B1およびS23B2を適用することによって得られる。

上述の事例は、同一のまたは非相関された信号という極端な事例に相当する。これらの事例は現実的であるが、しかし、2つのスピーカの中央に位置した音源は、仮想であれ、現実であれ、同一の信号を両方のスピーカに提供する(例えば、(VBAP(「ベクトルベースの振幅パニング」)技法により)。3Dシステム内の位置決めの場合、3つのスピーカは、同じ信号を同じレベルで受け取ることができる。

したがって、我々は、バイノーラル化された信号のエネルギーとの一貫性を達成するために、補償を適用することができる。

理想的には、この補償利得Gは、入力信号(G(I(l)))により決定され、重み付けされた入力信号の合計に適用される。

利得G(I(l))は、信号の各々の間の相関関係を計算することによって推定することができる。利得G(I(l))は、総和の前および後の信号のエネルギーを比較することによって推定することもできる。この場合、利得Gは、例えば、それら自体が時間とともに変動する入力信号間の相関関係により、時間とともに動的に変動することがある。

単純化された実施形態において、費用がかかることがある相関関係の推定が必要でなくなる一定の利得、例えば、G=-3dB=10^-3/20を設定することが可能である。一定の利得Gは、次いで、重み付け係数(したがって、

を与える)に、または追加の利得の適用をその場で不要にするフィルタB_mean ^g/dにオフラインで適用することができる。

伝達関数AとBとが隔離され、フィルタB_mean ^g/d(任意選択で、重みW^g/d(l)およびG)が計算されると、これらの伝達関数およびフィルタは入力信号に適用される。

図4を参照して説明される第1の実施形態において、各々の耳に対して直接(A)フィルタおよび拡散(B)フィルタを適用することによる多重チャネル信号の処理は、以下のように実行される。
- 我々は、従来技術において説明されるように、直接(A)フィルタによって効率的なフィルタリング(例えば、直接FFTベースの畳み込み)を多重チャネル入力信号に適用する(ステップS4A1〜S4AL)。我々は、したがって、信号

を得る。
- 入力信号間の関係、特に、それらの相関関係に基づいて、我々は、前に重み付けされた入力信号の総和(ステップM4B1〜M4BL)の後に、ステップS4B11において、任意選択で、利得Gを出力信号に適用することによって、平均フィルタB_mean ^g/dの利得を補正することができる。
- 我々は、ステップS4B1において、拡散平均フィルタB_meanを使用して多重チャネル信号Bに効率的なフィルタリングを適用する。このステップは、前に重み付けされた入力信号の総和(ステップM4B1〜M4BL)の後に行われる。我々は、したがって、信号

を得る。
- 我々は、ステップS4B2において、信号Bを隔離するステップの間に発生した遅延を補償するために、遅延iDDを信号

に適用する。
- 信号

と

とは合計される。
- インパルス応答の初めに不可聴サンプルを除去するトランケーションが実施された場合、我々は、ステップS41において、除去された不可聴サンプルに対応する遅延iTを入力信号に適用する。

あるいは、図5を参照すると、信号は左と右の耳(上記の指数gとd)に対して計算されるだけでなく、k個のレンダリングデバイス(典型的には、スピーカ)に対しても計算される。

第2の実施形態において、利得Gが入力信号の総和の前、すなわち重み付けステップ(ステップM4B1〜M4BL)の間に適用される。

第3の実施形態において、非相関が入力信号に適用される。したがって、信号は、入力信号間の元の相関関係に関係なく、畳み込みの後、フィルタB_meanによって非相関される。非相関の効率的な実装形態は、高価な非相関フィルタの使用を避けるために使用され得る(例えば、帰還遅延ネットワークを使用して)。

したがって、48000個のBRIRサンプルの長さを、
- サンプル150〜サンプル3222の間をステップS21に説明する技法によってトランケーションし、
- ステップS22に説明する技法によって1024個のサンプルの直接場Aと2048個のサンプルの拡散場Bとの2つの部分に分解することができるという現実的な仮定の下で、
バイノーラル化の複雑性を
C_inv=C_invA+C_invB=(L+2).(6.log₂(2.NA))+(L+2).(6.log₂(2.NB))
によって近似することができ、ここで、NAとNBとは、AとBとのサンプルサイズである。

したがって、nBlocks=10、Fs=48000、L=22、NA=1024、およびNB=2048について、FFTベースの畳み込みの多重チャネル信号サンプルごとの複雑性は、C_conv=3312乗算-加算である。

しかし、論理的に、この結果は、トランケーションだけを実装する単純な解決策、すなわちnBlocks=10、Fs=3072、L=22についてのそれ、に匹敵するはずである。
C_trunc=(L+2).(nBlocks).(6.log₂(2.Fs/nBlocks))=13339

したがって、従来技術と本発明との間に19049/3312=5.75の複雑性係数があり、トランケーションを使用する従来技術と本発明との間に13339/3312=4の複雑性係数がある。

BのサイズがAのサイズの倍数である場合、したがって、フィルタがFFTブロックによって実装される場合、Aに対するFFTの計算は、Bに対して再使用することができる。我々は、したがって、AによるフィルタリングとBによるフィルタリングの両方に使用されるNA点にわたるL FFT、時間的バイノーラル信号を得るためのNA点にわたる2つの逆FFT、および周波数スペクトルの乗算を必要とする。

この場合、
C_inv2=(L+2).(6.log₂(2.NA))+(L+1)=1607
によって複雑性を近似することができる(LがAに対し、1がBに対する、スペクトルの乗算に対応する加算(L+1)は除外し)。

この方式により、我々は、2の係数を得、したがって、トランケーションされたおよび非トランケーションされた従来技術に比較して、12と8の係数を得る。

本発明は、MPEG-H 3Dオーディオ規格において直接の適用例を有することができる。

もちろん、本発明は上記の実施形態に限定されない。本発明は他の変形形態に及ぶ。

例えば、直接信号Aが平均フィルタによって近似されない実施形態を上記に説明してきた。もちろん、スピーカから来る信号を用いて畳み込みを実施するために(ステップS4A1〜S4AL)Aの平均フィルタを使用することができる。

L個のスピーカに対して発生された多重チャネル内容の処理に基づく実施形態を上記に説明した。もちろん、多重チャネル内容は、任意の種類の音源、例えば、音声、楽器、何らかの雑音などによって発生させることができる。

ある計算領域(例えば、変換領域)において適用される式に基づく実施形態を上記に説明した。もちろん、本発明はこれらの式に限定されないし、これらの式は他の計算領域(例えば、時間領域、周波数領域、時間周波数領域など)において適用可能となるように変更することができる。

室内で決定されるBRIR値に基づく実施形態を上記に説明した。もちろん、本発明を任意の種類の外部環境(例えば、コンサートホール、屋外など)に実装することができる。

2つの伝達関数の適用に基づく実施形態を上記に説明した。もちろん、2つより多くの伝達関数を用いて本発明を実装することができる。例えば、直接放射される音響に対する部分、第1の反射に対する部分、および拡散音に対する部分を同期的に隔離することができる。

CIR 回路
DECOD 復号デバイス
HDSET イヤホン付きヘッドセット
MEM 作業メモリ
PROC プロセッサ
TER 接続端末
TRUNC S、TRUNC E トランケーション
ISOL A/B 同期的隔離
iDD 区分化指数
X 復号信号
Xc 圧縮された符号化オーディオ信号

Claims

音響空間化の方法であって、総和を伴う少なくとも1つのFFTブロックベースのフィルタリングプロセスが、少なくとも2つの入力信号(I(1), I(2), ..., I(L))に適用され、前記フィルタリングプロセスが、
少なくとも1つの空間効果を組み込んだインパルス応答の中の各空間効果を組み込んだインパルス応答に対して、
前記インパルス応答を時間とともに第1の部分および第2の部分に区分化するステップであって、前記区分化するステップは、
前記第1の部分が第1のサンプルの数に及び、かつ
前記第2の部分が第2のサンプルの数に及び、前記第2のサンプルの数は第1のサンプルの数の倍数であるように実行される、区分化するステップと、
1つの第1の空間効果伝達関数(A^k(1), A^k(2), ..., A^k(L))を適用するステップであって、前記第1の空間効果伝達関数が少なくとも1つの第1の部分から構築され、かつ各々の入力信号に特有である、適用するステップと、
1つの第2の空間効果伝達関数(B_mean ^k)を適用するステップであって、前記第2の空間効果伝達関数が少なくとも1つの第2の部分から構築され、かつすべての入力信号に共通である、適用するステップと
を含む方法において、
前記方法が、少なくとも1つの入力信号を重み付け係数(W^k(l))を用いて重み付けするステップであって、前記重み付け係数が前記入力信号の各々に特有である、ステップを含むことを特徴とする、方法。
前記第1のおよび第2の空間効果伝達関数が、それぞれ、
直接音響伝播および前記伝播の第1の音響反射と、
前記第1の反射の後に存在する拡散音場と
を表し、前記方法が
それぞれ前記入力信号に特有の第1の空間効果伝達関数の適用と、
すべての入力信号に対して同一であり、拡散音場効果の一般的近似から生じる第2の空間効果伝達関数の適用と
を含む、請求項1に記載の方法。
前記第1のおよび第2の空間効果伝達関数を、空間効果を組み込んだインパルス応答から構築する予備のステップを含み、前記予備のステップが、第1の空間効果伝達関数の前記構築のために、
直接音波の存在の開始時間を決定するステップと、
前記第1の反射の後、前記拡散音場の存在の開始時間を決定するステップと、
インパルス応答において、直接音波の存在の前記開始時間から拡散場の存在の前記開始時間までの間に時間的に及ぶ応答の一部分を選択するステップであって、応答の前記選択された部分が前記第1の空間効果伝達関数に対応する、選択するステップと
の動作を含む、請求項2に記載の方法。
前記第2の空間効果伝達関数が、前記拡散場の存在の前記開始時間の後に時間的に開始するインパルス応答の部分の組から構築される、請求項3に記載の方法。
前記第2の空間効果伝達関数が、

の種類の式を適用することによって与えられ、
ここで、kは出力信号の指数であり、
l∈[1;L]は入力信号の指数であり、
Lは入力信号の数であり、
B_norm ^k(l)は前記拡散場の存在の前記開始時間の後に時間的に開始するインパルス応答の部分の組から得られた正規化された伝達関数である、請求項3または4に記載の方法。
前記フィルタリングプロセスが、前記直接音波の前記開始時間と前記拡散場の存在の前記開始時間との時間差に対応する少なくとも1つの補償遅延の適用を含む、請求項3から5のいずれか一項に記載の方法。
前記第1のおよび第2の空間効果伝達関数が、前記入力信号に並列に適用され、前記少なくとも1つの補償遅延が、前記第2の空間効果伝達関数によってフィルタリングされた前記入力信号に適用される、請求項6に記載の方法。
エネルギー補正利得係数(G)が、前記重み付け係数(W^k(l))に適用される、請求項1に記載の方法。
前記方法の少なくとも1つの出力信号が、

の種類の式を適用することによって与えられ、
ここで、kは出力信号の指数であり、
O^kは出力信号であり、
l∈[1;L]は、前記入力信号の中の入力信号の指数であり、
Lは入力信号の数であり、
I(l)は前記入力信号の中の入力信号であり、
A^k(l)は前記第1の空間効果伝達関数の中の空間効果伝達関数であり、

は前記第2の空間効果伝達関数の中の空間効果伝達関数であり、
W^k(l)は前記重み付け係数の中の重み付け係数であり、
z^-iDDは補償遅延の適用に対応し、
.は乗算を示し、
*は畳み込み演算子である、請求項1に記載の方法。
前記第2の空間効果伝達関数を適用する前に前記入力信号を非相関するステップを含み、前記方法の少なくとも1つの出力信号が、

の種類の式を適用することによって得られ、
ここで、kは出力信号の指数であり、
O^kは出力信号であり、
l∈[1;L]は前記入力信号の中の入力信号の指数であり、
Lは入力信号の数であり、
I(l)は前記入力信号の中の入力信号であり、
I_d(l)は前記入力信号の中の非相関された入力信号であり、
A^k(l)は前記第1の空間効果伝達関数の中の空間効果伝達関数であり、

は前記第2の空間効果伝達関数の中の空間効果伝達関数であり、
W^k(l)は前記重み付け係数の中の重み付け係数であり、
z^-iDDは補償遅延の適用に対応し、
.は乗算を示し、
*は畳み込み演算子である、請求項1に記載の方法。
エネルギー補正利得係数を入力信号の関数として決定するステップを含み、少なくとも1つの出力信号が、

の種類の式を適用することによって得られ、
ここで、kは出力信号の指数であり、
O^kは出力信号であり、
l∈[1;L]前記入力信号の中の入力信号の指数であり、
Lは入力信号の数であり、
I(l)は前記入力信号の中の入力信号であり、
G(I(l))は前記決定されたエネルギー補正利得係数であり、
A^k(l)は前記第1の空間効果伝達関数の中の空間効果伝達関数であり、

は前記第2の空間効果伝達関数の中の空間効果伝達関数であり、
W^k(l)は前記重み付け係数の中の重み付け係数であり、
z^-iDDは補償遅延の適用に対応し、
.は乗算を示し、
*は畳み込み演算子である、請求項1に記載の方法。
前記重みが、

の種類の式を適用することによって与えられ、
ここで、kは出力信号の指数であり、
l∈[1;L]は前記入力信号の中の入力信号の指数であり、
Lは入力信号の数であり、
ここで、

は前記第2の空間効果伝達関数の中の空間効果伝達関数のエネルギーであり、

は正規化利得に関連するエネルギーである、請求項1から11のいずれか一項に記載の方法。
請求項1から12のいずれか一項に記載の方法を実装するための命令がプロセッサによって実行されるとき、前記方法を実装するためのこれらの命令を含むコンピュータプログラム。
少なくとも2つの入力信号(I(1), I(2), ..., I(L))に適用される、総和を伴う少なくとも1つのFFTブロックベースのフィルタを備える音響空間化デバイスであって、前記デバイスは、少なくとも1つの空間効果を組み込んだインパルス応答の中の各空間効果を組み込んだインパルス応答を第1の部分および第2の部分に区分化する区分化モジュールを含み、前記区分化は、
前記第1の部分が第1のサンプルの数に及び、かつ
前記第2の部分が第2のサンプルの数に及び、前記第2のサンプルの数は第1のサンプルの数の倍数であるように実行され、
前記フィルタが、
1つの第1の空間効果伝達関数(A^k(1), A^k(2), ..., A^k(L))であって、前記第1の空間効果伝達関数が少なくとも1つの第1の部分から構築され、かつ各入力信号に特有である、第1の空間効果伝達関数と、
1つの第2の空間効果伝達関数(B_mean ^k)であって、前記第2の空間効果伝達関数が少なくとも1つの第2の部分から構築され、かつすべての入力信号に共通である、第2の空間効果伝達関数と
を使用する音響空間化デバイスにおいて、
前記音響空間化デバイスが、少なくとも1つの入力信号を重み付け係数(W^k(l))を用いて重み付けするための重み付けモジュール(M4B1, M4B2, ..., M4BL)を備え、前記重み付け係数が、前記入力信号の各々に特有であることを特徴とする、音響空間化デバイス。
請求項14に記載の空間化デバイスを備え、音響信号が入力信号である、オーディオ信号復号モジュール。