JP6285458B2 - 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 - Google Patents

Description

本発明は、音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置に関する。

ＨＯＡと称する高次アンビソニックス表現は、三次元音声を表現する１つの方法である。他の技術は波面合成法（ＷＦＳ）や２２．２のようなチャンネルに基づく方法である。チャンネルに基づく方法と比較して、ＨＯＡ表現には、特定のラウドスピーカの設定とは独立しているという利点がある。しかしながら、この柔軟性を得るためには特定のラウドスピーカの設定でＨＯＡ表現を再生するための復号処理が必要となる。通常、必要なラウドスピーカの数が大変多くなるＷＦＳのアプローチと比較して、ＨＯＡは極めて少ない数のラウドスピーカのみで構成される設定にすることできる。ＨＯＡのさらなる利点は、ヘッドフォンへのバイノーラル・レンダリングにも変更を必要とすることなく同じ表現を利用することができる点にある。

ＨＯＡは、切断球面調和関数（ＳＨ）展開による複素調和平面波振幅の空間密度の表現に基づいている。各展開係数は角周波数の関数であり、これを時間領域関数によって同等に表現することができる。したがって、一般性を失うことなく、完全なＨＯＡ音場表現は、実際には、“Ο”時間領域関数から構成されるものと考えることができる。ここで、Οは、展開係数の数を表している。これらの時間領域関数と同等の意味を有するものとして、以下のＨＯＡ係数列を参照する。

ＨＯＡ表現の空間解像度は、展開の最大次数Ｎの増加とともに向上する。残念ながら、展開係数の数“Ο”は、次数Ｎに対して二乗的に増加し、特にΟ＝（Ｎ＋１）²となる。例えば、次数Ｎ＝４を使用した一般的なＨＯＡ表現には、Ο＝２５の個数のＨＯＡ（展開）係数が必要となる。上記の点を考慮して、ＨＯＡ表現の伝送のための合計ビットレートは、所望の単一チャンネルのサンプリング・レートｆ_ｓおよびサンプル毎のビットの数Ｎ_ｂが与えられると、Ο・ｆ_ｓ・Ｎ_ｂによって求めることができる。サンプル毎にＮ_ｂ＝１６の個数のビットを使用してｆ_ｓ＝４８ｋＨｚのサンプリング・レートでの次数Ｎ＝４のＨＯＡ表現を伝送すると、結果として、ビットレートは、１９．２メガビット／秒となるが、これは、多くの実用的なアプリケーション、例えば、ストリーミングでは極めて高いビットレートである。したがって、ＨＯＡ表現を圧縮することが大いに望まれている。

１次よりも高いＨＯＡ表現の圧縮を取り扱う既存の方法は殆ど存在しない。Ｅ．Ｈｅｌｌｅｒｕｄ、Ｉ．Ｂｕｒｎｅｔｔ、Ａ．Ｓｏｌｖａｎｇ、およびＵ．Ｐ．Ｓｖｅｎｓｓｏｎによって探究されている最も直接的なアプローチ「Ｅｎｃｏｄｉｎｇ Ｈｉｇｈｅｒ Ｏｒｄｅｒ Ａｍｂｉｓｏｎｉｃｓ ｗｉｔｈ ＡＡＣ（ＡＡＣを用いた高次アンビソニックスの符号化）」第１２４回ＡＥＳコンベンション、アムステルダム、２００８年は、知覚符号化アルゴリズムである、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）を用いて個々のＨＯＡ係数列の直接的な符号化を行うものである。しかしながら、この手法に伴う固有の問題は、全く聴かれることのない信号の知覚符号化である。再構築された再生信号は、通常、ＨＯＡ係数列の加重和によって得られ、特定のラウドスピーカの設定で圧縮解除されたＨＯＡ表現がレンダリングされる場合には、知覚符号化ノイズをマスク除去する可能性が高い。知覚符号化ノイズのマスク除去の抱える主要な問題は、個々のＨＯＡ係数列間の高い相互相関である。個々のＨＯＡ係数列における符号化ノイズ信号は、互いに相関していないため、知覚符号化ノイズの構造的な重畳が発生することがあり、それと同時に、その重畳でノイズのないＨＯＡ係数列がキャンセルされてしまう。別の問題は、これらの相互相関が知覚符号化器の効率の低下につながる点である。

双方の影響の程度を最小限にするために、欧州特許出願第２４６９７４２号（ＥＰ２４６９７４２Ａ２）では、ＨＯＡ表現を知覚符号化の前に離散空間領域において、等価な表現に変換することが提案されている。形式的には、離散空間領域は、何らかの離散方向でサンプリングされる、複素調和平面波振幅の空間密度と等価な時間領域である。したがって、離散空間領域は、“Ο”個の従来の時間領域信号によって表現される。この信号は、サンプリング方向から到来する一般的な平面波として解釈することができ、空間領域変換に対して想定されるものと厳密に同じ方向にラウドスピーカが位置しているのであれば、ラウドスピーカ信号に対応するであろう。

離散空間領域への変換により、個々の空間領域信号間の相互相関が低減するが、これらの相互相関は、完全には除去されない。比較的に高い相互相関の例は、空間領域信号によって包含される複数の隣接した方向の間を方向とする方向性信号である。

双方のアプローチの主な欠点は、知覚符号化される信号の数が（Ｎ＋１）^２であり、圧縮されたＨＯＡ表現のデータ・レートがアンビソニックスの次数Ｎの二乗で増加することである。

知覚符号化される信号の数を減少させるために、欧州特許出願公開第２６６５２０８号は、ＨＯＡ表現を所与の最大数の支配的な方向性信号と残差のアンビエント成分とに分解することを提案している。知覚符号化されるべき信号の数の減少は、残差のアンビエント成分の次数を減少させることによって成し遂げることができる。この手法の背景にある理論的根拠は、支配的な方向性信号に関して高い空間解像度を維持する一方で、より低い次数のＨＯＡ表現によって十分な精度で残差を表現することにある。

このアプローチは、音場に関する仮定が満たされる限り、すなわち、音場が少ない数の支配的な方向性信号（これは、完全な次数Ｎで符号化された一般的な平面波関数を表現するものである。）と、方向性を有しない残差のアンビエント成分とからなるという仮定が満たされる限り、大変良好に機能する。しかしながら、分解の後、残差のアンビエント成分が依然として幾らかの支配的な方向性成分を含んでいる場合には、低次元化によって、分解の後のレンダリングの際に顕著に知覚される誤りが生じる。その仮定が満たされない場合のＨＯＡ表現の一般的な例は、Ｎよりも低い次数で符号化される一般的な平面波である。このようなＮよりも低い次数の一般的な平面波は、音源の範囲が広がりを有するよう感じられるようにする芸術的な創作の結果として生ずることがあり、球形マイクロフォンによるＨＯＡ音場表現の収録に伴って生ずることもある。双方の例において、音場は、多数の相関性の高い空間領域信号によって表現される（説明については、高次アンビソニックスの空間解像度の項目を参照されたい。）。

本発明によって解決される課題は、欧州特許出願公開第２６６５２０８号に記載された処理の結果として生ずる不都合を解消することによって、他の従来技術の上述した不都合を回避することにある。この課題は、請求項１および３に開示されている方法によって解決される。これらの方法を利用する対応する装置は、請求項２および４に開示されている。

本発明は、欧州特許出願公開第２６６５２０８号に記載されたＨＯＡ音場表現圧縮処理を改良する。まず、欧州特許出願公開第２６６５２０８号と同様に、ＨＯＡ表現が支配的な音源の存在に対して分析され、その方向が推定される。支配的な音源の方向の情報を用いて、ＨＯＡ表現は一般的な平面波を表現する複数の支配的な方向性信号と残差の成分とに分解される。しかしながら、この残差のＨＯＡ成分の次数を直ちに減少させる代わりに、残差のＨＯＡ成分を表現する均一なサンプリング方向における一般的な平面波関数を取得するために、この残差のＨＯＡ成分が離散空間領域へ変換される。この後、これらの平面波関数が支配的な方向性信号から予測される。この処理を行う理由は、残差のＨＯＡ成分の部分が支配的な方向性信号と高い相関性を有している場合があるからである。

その予測は、少量の副情報のみを生み出すといった単純なものとすることができる。最も単純な場合では、予測は適切なスケーリングおよび遅延からなる。最終的に、予測誤りは再びＨＯＡ領域に変換され、低次元化が行われる残差のアンビエントＨＯＡ成分とされる。

有利には、残差のＨＯＡ成分から予測可能な信号を差し引く効果は、その全体の次数および支配的な方向性信号の残量を減少させることであり、このようにして、低次元化の結果として生じる分解誤りを低減することにある。

原理的には、本発明の圧縮方法は、音場に対するＨＯＡと称する高次アンビソニックス表現を圧縮するのに適している。この方法は、
−ＨＯＡ係数の現在の時間フレームから支配的な音源方向を推定するステップと、
−上記ＨＯＡ係数および上記支配的な音源方向に依存して、上記ＨＯＡ表現を時間領域内の支配的な方向性信号と残差のＨＯＡ成分とに分解するステップであって、上記残差のＨＯＡ成分を表現する均一なサンプリング方向において平面波関数を取得するために、上記残差のＨＯＡ成分が離散空間領域に変換され、上記平面波関数が上記支配的な方向性信号から予測されることによって、上記予測を記述するパラメータがもたらされ、対応する予測誤りが上記ＨＯＡの領域に再び変換される、上記分解するステップと、
−上記残差のＨＯＡ成分の現在の次数をより低い次数に低減するステップであって、結果として、低次元化された残差のＨＯＡ成分が得られる、上記低減するステップと、
−上記低次元化された残差のＨＯＡ成分を相関除去して対応する残差のＨＯＡ成分時間領域信号を取得するステップと、
−圧縮された支配的な方向性信号および圧縮された残差の成分信号を供給するように、上記支配的な方向性信号および上記残差のＨＯＡ成分時間領域信号を知覚符号化するステップと、を含む。

原理的には、本発明の圧縮装置は、音場に対するＨＯＡと称する高次アンビソニックス表現の圧縮に適している。この装置は、
−ＨＯＡ係数の現在の時間フレームから支配的な音源方向を推定するように構成された手段と、
−上記ＨＯＡ係数および上記支配的な音源方向に依存して、上記ＨＯＡ表現を時間領域内の支配的な方向性信号と残差のＨＯＡ成分とに分解するように構成された手段であって、上記残差のＨＯＡ成分を表現する均一なサンプリング方向で平面波関数を取得するために、上記残差のＨＯＡ成分が離散空間領域に変換され、上記平面波関数が上記支配的な方向性信号から予測されることによって、上記予測を記述するパラメータが供給され、対応する予測誤りが上記ＨＯＡの領域に再び変換される、上記手段と、
−上記残差のＨＯＡ成分の現在の次数をより低い次数に低減するように構成された手段であって、結果として、低次元化された残差のＨＯＡ成分が生成される、上記手段と、
−上記低次元化された残差のＨＯＡ成分を相関除去して、対応する残差のＨＯＡ成分時間領域信号を取得するように構成された手段と、
−圧縮された支配的な方向性信号および圧縮された残差の成分信号を供給するように、上記支配的な方向性信号および上記残差のＨＯＡ成分時間領域信号を知覚符号化するように構成された手段と、を含む。

原理的には、本発明の圧縮解除方法は、上述した圧縮方法に従って圧縮された高次アンビソニックス表現の圧縮解除に適している。この方法は、
−圧縮解除された支配的な方向性信号および空間領域内の残差のＨＯＡ成分を表現する圧縮解除された時間領域信号を供給するように、上記圧縮された支配的な方向性信号および上記圧縮された残差の成分信号を知覚復号するステップと、
−上記圧縮解除された時間領域信号を再相関させて、対応する低次元化された残差のＨＯＡ成分を取得するステップと、
−上記低次元化された残差のＨＯＡ成分の次数を当初の次数に拡張するステップであって、対応する圧縮解除された残差のＨＯＡ成分を供給する、上記拡張するステップと、
−上記圧縮解除された支配的な方向性信号と、上記当初の次数の圧縮解除された残差のＨＯＡ成分と、上記推定された支配的な音源方向と、上記予測を記述する上記パラメータとを使用して、ＨＯＡ係数の対応する圧縮解除され、再合成されたフレームを合成するステップと、を含む。

原理的には、本発明の圧縮解除装置は、上述した圧縮方法に従って圧縮された高次アンビソニックス表現の圧縮解除に適している。この装置は、
−圧縮解除された支配的な方向性信号および空間領域内の残差のＨＯＡ成分を表現する圧縮解除された時間領域信号を供給するように、上記圧縮された支配的な方向性信号および上記圧縮された残差の成分信号を知覚復号するように構成された手段と、
−上記圧縮解除された時間領域信号を再相関させるように構成された手段であって、対応する低次元化された残差のＨＯＡ成分を取得する、上記手段と、
−上記低次元化された残差のＨＯＡ成分の次数を当初の次数に拡張するように構成された手段であって、対応する圧縮解除された残差のＨＯＡ成分を供給する、上記手段と、
−上記圧縮解除された支配的な方向性信号と、上記当初の次数の圧縮解除された残差のＨＯＡ成分と、上記推定された支配的な音源方向と、上記予測を記述する上記パラメータとを使用することによってＨＯＡ係数の対応する圧縮解除され、再合成されたフレームを合成するように構成された手段と、を含む。

本発明の有利な追加的な実施形態は、各々の従属請求項に開示されている。

本発明の例示的な実施形態は、添付図面を参照して説明される。

圧縮ステップ１：ＨＯＡ信号の複数の支配的な方向性信号、残差のアンビエントＨＯＡ成分、および副情報への分解を示す図である。 圧縮ステップ２：アンビエントＨＯＡ成分の低次元化および相関除去および双方の成分の知覚符号化を示す図である。 圧縮解除ステップ１：時間領域信号の知覚復号、残差のアンビエントＨＯＡ成分を表現する信号の再相関、および次数拡張を示す図である。 圧縮解除ステップ２：全てのＨＯＡ表現の合成を示す図である。 ＨＯＡ分解を示す図である。 ＨＯＡ合成を示す図である。 球面座標系を示す図である。 Ｎの複数の異なる値に対する正規化された関数ν_Ｎ（θ）のプロットを示す図である。

圧縮処理
本発明に係る圧縮処理は、図１ａおよび図１ｂの各々に例示されたステップである２つの連続するステップを含む。個々の信号の正確な定義は、ＨＯＡ分解および再合成の詳細な説明の項目に記載されている。長さＢのＨＯＡ係数列の重複しない入力フレームＤ（ｋ）を用いた圧縮のためのフレーム単位の処理が使用される。ここで、ｋは、フレームのインデックスを表す。フレームは、下記の式（１）に特定されたＨＯＡ係数列に関して規定される。

ここで、Ｔ_ｓは、サンプリング期間を表す。

図１ａにおいて、ＨＯＡ係数列のフレームＤ（ｋ）は、支配的な音源方向推定ステップまたはステージ１１に入力され、このステップ１１で、支配的な方向性信号の存在に対してＨＯＡ表現が分析され、その方向が推定される。その方向の推定が行われ、例えば、欧州特許出願公開第２６６５２０８号に記載された処理によって行うことができる。その推定された方向は、

によって表される。ここで、添字Ｄは方向推定値の個数を表す。方向推定値は行列

に、下記のように配列されるものと仮定される。

暗黙的に、方向推定値は、これらを従前のフレームからの方向推定値に割り当てることによって適切に順序付けられるものと仮定される。したがって、個々の方向推定値の時間的な列は、支配的な音源の方向軌跡を記述するものと仮定される。特に、ｄ番目の支配的な音源がアクティブでないと想定される場合には、

に無効値を割り当てることによってこれを示すことができる。そして、

において推定された方向を利用して、ＨＯＡ表現は、分解ステップまたはステージ１２に
おいて最大の数Ｄの支配的な方向性信号Ｘ_ＤＩＲ（ｋ−１）と、支配的な方向性信号からの残差のＨＯＡ成分の空間領域信号の予測を記述する幾らかのパラメータζ（ｋ−１）と、予測誤りを表すアンビエントＨＯＡ成分Ｄ_Ａ（ｋ−２）とに分解される。ＨＯＡ分解の項目でこの分解についての詳細な説明を行う。

図１ｂにおいて、方向性信号Ｘ_ＤＩＲ（ｋ−１）の知覚符号化、および残差のアンビエントＨＯＡ成分Ｄ_Ａ（ｋ−２）の知覚符号化が示されている。方向性信号Ｘ_ＤＩＲ（ｋ−１）は、従来の時間領域信号であり、この信号は、任意の既存の知覚圧縮技術を使用して個々に圧縮することができる。アンビエントＨＯＡ領域成分Ｄ_Ａ（ｋ−２）の圧縮は、２つの連続したステップまたはステージで実行することができる。低次元化ステップまたはステージ１３において、アンビソニックス次数Ｎ_ＲＥＤの低減が行われる。ここで、例えばＮ_ＲＥＤ＝１である。結果として、アンビエントＨＯＡ成分Ｄ_{Ａ，ＲＥＤ}（ｋ−２）が得られる。このような低次元化は、Ｄ_Ａ（ｋ−２）において、Ｎ_ＲＥＤＨＯＡ係数のみを保持し、他の係数を破棄することによって行われる。復号器側では、以下に説明するように、省略された値に対して対応する零値が付加される。

なお、欧州特許出願公開第２６６５２０８号のアプローチと比較して、低減された次数Ｎ_ＲＥＤは、一般的には、小さくなるように選択されることがある。この理由は、全体の次数、さらに、残差のアンビエントＨＯＡ成分の方向性の残量が小さくなるからである。したがって、低次元化により、欧州特許出願公開第２６６５２０８号の場合と比較して誤りが小さくなる。

以下の相関除去ステップまたはステージ１４において、低次元化されたアンビエントＨＯＡ成分Ｄ_{Ａ，ＲＥＤ}（ｋ−２）を表現するＨＯＡ係数列は相関除去され、時間領域信号Ｗ_{Ａ，ＲＥＤ}（ｋ−２）が得られる。この時間領域信号は、任意の知覚圧縮技術によって動作する（バンクの）パラレル知覚符号化器またはコンプレッサ１５に入力される。この相関除去は、圧縮解除した後にＨＯＡ表現をレンダリングする際に知覚符号化ノイズのマスク除去を回避するために行われる（説明については、欧州特許出願第１２３０５８６０号参照）。近似的な相関除去は、欧州特許出願公開第２４６９７４２号に記載されているように、球面調和変換を適用してＤ_{Ａ，ＲＥＤ}（ｋ−２）を空間領域内のΟ_ＲＥＤ等価信号に変換することによって成し遂げることができる。

代替的には、欧州特許出願第１２３０５８６１号において提案されている適応的球面調和変換を使用できる。ここでは、最大限の相関除去効果を得るためにサンプリング方向のグリッドを回転させる。別の代替的な相関解除技術は、欧州特許出願第１２３０５８６０号に記載されているカルーネンレーベ変換（ＫＬＴ）である。なお、これらの最後の２つのタイプの相関除去のために、ＨＯＡ圧縮解除ステージでの相関除去の逆処理を可能にするべく、α（ｋ−２）で表される何らかの副情報が供給される。

一実施形態においては、符号化効率を改善するために、全ての時間領域信号Ｘ_ＤＩＲ（ｋ−１）およびＷ_{Ａ，ＲＥＤ}（ｋ−２）の知覚圧縮が共に行われる。

知覚符号化の出力は、圧縮された方向性信号

および圧縮されたアンビエント時間領域信号

である。

圧縮解除処理
圧縮解除処理は図２ａおよび図２ｂに示されている。圧縮処理の場合と同様に、圧縮解除処理は２つの連続したステップからなる。図２ａにおいて、方向性信号

および残差のアンビエントＨＯＡ成分を表現する時間領域信号

の知覚圧縮解除が、知覚復号または知覚圧縮解除のステップまたはステージ２１において行われる。結果として得られる知覚圧縮解除された時間領域信号

は次数Ｎ_ＲＥＤの残差の成分のＨＯＡ表現

を供給するために、再相関ステップまたはステージ２２において再相関される。必要に応じて、この再相関は、ステップ／ステージ１４に記載された２つの代替的な処理に対して記載されたのとは逆の手順で実行することができ、使用された相関解除方法に依存して送信あるいは格納されたパラメータα（ｋ−２）が使用される。その後、次数拡張によって、次数拡張ステップまたはステージ２３において、

から、次数Ｎの適切なＨＯＡ表現

が推定される。次数拡張は、対応する「零」値の列を

に付加することによって行われ、これにより、より高い次数に関し、ＨＯＡ係数が零値を有するものと仮定する。

図２ｂにおいて、全てのＨＯＡ表現は、圧縮解除された支配的な方向性信号

が対応する方向

および予測パラメータζ（ｋ−１）とから、さらに、残差のアンビエントＨＯＡ成分

から、合成ステップまたはステージ２４において再合成される。結果として、ＨＯＡ係数の圧縮解除され再合成されたフレーム

となる。

符号化効率を改善するために、全ての時間領域信号Ｘ_ＤＩＲ（ｋ−１）およびＷ_{Ａ，ＲＥＤ}（ｋ−２）の知覚圧縮が共に行われた場合には、圧縮された方向性信号

および圧縮された時間領域信号

の知覚圧縮解除もまた、対応する方法で共に行われる。

再合成の詳細な説明は、ＨＯＡ再合成の項目に存在する。

ＨＯＡ分解
ＨＯＡ分解のために実行される処理を例示するブロック図が図３に与えられている。この処理を以下のように要約する。最初に、平滑化された支配的な方向性信号Ｘ_ＤＩＲ（ｋ−１）は計算され、知覚圧縮のために出力される。次に、支配的な方向性信号のＨＯＡ表現Ｄ_ＤＩＲ（ｋ−１）と当初のＨＯＡ表現Ｄ（ｋ−１）との間の残差は、“Ο”個の数の方向性信号

によって表現される。これは、均一に分布した方向からの一般的な平面波と考えることができる。これらの方向性信号は、支配的な方向性信号Ｘ_ＤＩＲ（ｋ−１）から予測される。ここで、予測パラメータζ（ｋ−１）が出力される。最終的に、当初のＨＯＡ表現Ｄ（ｋ−２）と支配的な方向性信号のＨＯＡ表現Ｄ_ＤＩＲ（ｋ−１）との間の残差Ｄ_Ａ（ｋ−２）が均一に分布した方向からの予測された方向性信号のＨＯＡ表現

と共に計算され、出力される。

詳細について述べる前に、連続するフレームの間の方向の変化が合成の間の全ての計算された信号に不連続を生じさせることがある点について述べる。したがって、まず、２Ｂの長さを有する重複するフレームの各々の信号の瞬時推定値が計算される。第２に、連続する重複するフレームの結果が適切な窓関数を使用して平滑化される。しかしながら、各平滑化は、１フレーム分の待ち時間を伴う。

瞬時支配的な方向性信号の計算
ＨＯＡ係数列の現在のフレームＤ（ｋ）に対する

内の推定された音源方向からの、ステップまたはステージ３０での瞬時支配的な方向信号の計算は、Ｍ．Ａ．Ｐｏｌｅｔｔｉ著、“Ｔｈｒｅｅ−Ｄｉｍｅｎｓｉｏｎａｌ Ｓｕｒｒｏｕｎｄ Ｓｏｕｎｄ Ｓｙｓｔｅｍｓ Ｂａｓｅｄ ｏｎ Ｓｐｅｈｒｉｃａｌ Ｈａｒｍｏｎｉｃｓ（球面調和関数に基づく３次元サラウンド・サウンド・システム）”、アメリカ音響学会誌、５３（１１）、１００４〜１０２５頁、２００５年、に記載されたモード・マッチングに基づいている。特に、所与のＨＯＡ信号の最も良い近似となるＨＯＡ表現の方向性信号がサーチされる。

さらに、一般性を失うことなく、下記の式に従って、傾斜角θ_{ＤＯＭ，ｄ}（ｋ）∈［０，π］および方位角φ_{ＤＯＭ，ｄ}（ｋ）∈［０，２π］（図５に示す内容を参照されたい。）のベクトルによって、アクティブな支配的な音源の各方向の推定値

を明確に特定できるものと仮定する。

まず、アクティブ音源の方向推定値に基づくモード行列は、下記の式に従って計算され、

ここで、

式（４）において、Ｄ_ＡＣＴ（ｋ）は、ｋ番目のフレームに対するアクティブな方向の数を表しており、ｄ_{ＡＣＴ，ｊ}（ｋ），１≦ｊ≦Ｄ_ＡＣＴ（ｋ）は、それらの添え字を示している。また、

は、実数値の球面調和関数を示しており、これは、実数値の球面調和関数の定義の項目で定義されている。

第２に、行列

が下記の式にしたがって計算され、これは、（ｋ−１）番目およびｋ番目のフレームに対する全ての支配的な方向性信号の瞬時推定値を含む。

ここで、

この計算は、２つのステップで行うことができる。第１のステップにおいては、アクティブでない方向に対応する列の方向性信号サンプルが零に設定され、すなわち、以下のようになる。

ここで、Ｍ_ＡＣＴ（ｋ）は、アクティブな方向の組である。第２のステップにおいて、アクティブな方向に対応する方向性信号サンプルは、まず、これらを下記に従った行列に配列することによって取得できる。

この行列は、次に、下記の誤りのユークリッドノルムを最小にするように計算される。

この解は、下記の式によって与えられる。

時間的平滑化
ステップまたはステージ３１に関しては、方向性信号

についてのみ平滑化を説明する。その理由は、信号の他のタイプの平滑化は、完全に類似の方法で行うことができるからである。式（６）に従った行列

にサンプルが含まれる方向性信号の推定値

は、適切な窓関数ｗ（ｌ）によって窓を掛けられる。

この窓関数は、重複領域においてシフトされたバージョンを用いて（Ｂ個のサンプルのシフトがあると仮定する）、合計で「１」となる条件を満たさなければならない。

このような窓関数の例は、下記の式によって定義されるハン窓（Ｈａｎｎ ｗｉｎｄｏｗ）によって与えられる。

（ｋ−１）番目のフレームに対する平滑化された方向性信号は、下記の式に従って窓を掛けられた瞬時推定値の適切な重ね合わせによって計算される。

（ｋ−１）番目のフレームに対する全ての平滑化された方向性信号のサンプルは、下記の行列Ｘ_ＤＩＲ（ｋ−１）に配列される。

ここで、

平滑化された支配的な方向性信号ｘ_{ＤＩＲ，ｄ}（ｌ）は連続した信号であると想定され、これらの信号は知覚符号化器に順次入力される。

平滑化された支配的な方向性信号のＨＯＡ表現の計算
Ｘ_ＤＩＲ（ｋ−１）および

から、ステップまたはステージ３２において、連続的な信号ｘ_{ＤＩＲ，ｄ}（ｌ）に依存して、ＨＯＡ合成のために行われる処理と同様の処理を真似るために、平滑化された支配的な方向性信号のＨＯＡ表現が計算される。連続するフレーム間の方向推定値の変化が不連続を生じさせることがあるため、長さ２Ｂの重複するフレームの瞬時ＨＯＡ表現が再び計算され、連続して重複するフレームの結果が適切な窓関数を使用することによって平滑化される。よって、ＨＯＡ表現Ｄ_ＤＩＲ（ｋ−１）は、以下の式によって取得される。

ここで、

さらに、

均一なグリッド上の方向性信号によって残差ＨＯＡ表現を表現すること
Ｄ_ＤＩＲ（ｋ−１）およびＤ（ｋ−１）（すなわち、フレーム遅延３８１によって遅延されたＤ（ｋ））から、均一なグリッド上の方向性信号による残差ＨＯＡ表現がステップまたはステージ３３で計算される。この処理の目的は、残差［Ｄ（ｋ−２）Ｄ（ｋ−１）］−［Ｄ_ＤＩＲ（ｋ−２）Ｄ_ＤＩＲ（ｋ−１）］を表すために、何らかの固定された、ほぼ均一に分布する方向

（グリッド方向とも称する）から到来する方向性信号（すなわち、一般的な平面波関数）を取得することにある。

最初に、グリッド方向に関して、モード行列Ξ_GRIDが下式のように計算される。

ここで、

圧縮処理全体の間、グリッド方向は固定されているためモード行列Ξ_GRIDの計算が必要となるのは一度のみである。

各グリッド上の方向性信号は、下記の式によって取得される。

支配的な方向性信号からの均一なグリッド上の方向性信号の予測

およびＸ_ＤＩＲ（ｋ−１）から、ステップまたはステージ３４で均一なグリッド上の方向性信号が予測される。方向性信号からのグリッド方向

から構成される均一なグリッド上の方向性信号の予測は、平滑化の目的で、２つの連続したフレームに基づく、すなわち、（長さ２Ｂの）グリッド信号

の拡張されたフレームは、平滑化された支配的な方向性信号の拡張されたフレームから下記のように予測される。

最初に、

に含まれる各グリッド信号

が

に含まれる支配的な方向性信号

に割り当てられる。この割り当ては、グリッド信号と全ての支配的な方向性信号との間の正規化された相互相関関数の計算に基づくことができる。特に、その支配的な方向性信号はグリッド信号に割り当てられ、これは正規化された相互相関関数の最も高い値をもたらすグリッド。この割り当ての結果は、ο番目のグリッド信号をｆ_{Ａ，ｋ−１}（ο）番目の支配的な方向性信号に割り当てる割り当て関数

によって定式化することができる。

次に、各グリッド信号

は、割り当てられた支配的な方向性信号

から予測される。予測されたグリッド信号

は、割り当てられた支配的な方向性信号

からの遅延およびスケーリングによって、以下のように計算することができる。

ここで、Ｋ_ο（ｋ−１）は、スケーリング係数であり、Δ_ο（ｋ−１）は、サンプル遅延を示している。これらのパラメータは、予測誤りを最小にするように選択される。

予測誤りの次数がグリッド信号自体のものよりも大きい場合には、予測が失敗していると想定される。そして、各予測パラメータを任意の無効値に設定することができる。

なお、予測を他のタイプにすることも可能である。例えば、全帯域のスケーリング係数を計算するかわりに、知覚指向の周波数帯域に対するスケーリング係数を求めることも合理的である。しかしながら、この処理では、予測が改善するものの、副情報の量が増えてしまう。

全ての予測パラメータは、下記のように、パラメータ行列に配列させることができる。

全ての予測された信号

は、行列

に配列されていると仮定される。

均一なグリッド上の予測された方向性信号のＨＯＡ表現の計算
予測されたグリッド信号のＨＯＡ表現は、ステップまたはステージ３５において、下記の式に従って

から計算される。

残差のアンビエント音場成分のＨＯＡ表現の計算

の（ステップ／ステージ３６における）時間的平滑化されたバージョンである

と、Ｄ（ｋ）の２フレーム遅延されたバージョンである（遅延３８１および３８３）Ｄ（ｋ−２）と、Ｄ_ＤＩＲ（ｋ−１）の１フレーム遅延されたバージョン（遅延３８２）であるＤ_ＤＩＲ（ｋ−２）とから、残差のアンビエント音場成分のＨＯＡ表現がステップまたはステージ３７において、下記の式によって計算される。

ＨＯＡ再合成
図４における個々のステップまたはステージの処理について詳細に説明する前に、概要について述べる。均一に分布した方向に対して方向性信号

は、予測パラメータ

を使用して、復号された支配的な方向性信号

から予測される。次に、支配的な方向性信号のＨＯＡ表現

と、予測された方向性信号のＨＯＡ表現

と、残差のアンビエントＨＯＡ成分

とから、全体のＨＯＡ表現

が合成される。

支配的な方向性信号のＨＯＡ表現の計算

および

は、支配的な方向性信号のＨＯＡ表現を求めるために、ステップまたはステージ４１に入力される。モード行列

および

をｋ番目および（ｋ−１）番目のフレームに対するアクティブな音源の方向推定値に基づいて方向推定値

および

から計算した後、支配的な方向性信号

のＨＯＡ表現は、下記のように取得される。

ここで、

並びに、

支配的な方向性信号から均一なグリッド上の方向性信号の予測

および

は、支配的な方向性信号から均一なグリッド上の方向性信号を予測するため
に、ステップまたはステージ４３に入力される。均一なグリッド上の予測された方向性信
号の拡張フレームは、下記の式に従って要素

から構成される。

これは、下記の式によって支配的な方向性信号から予測される。

均一なグリッド上の予測された方向性信号のＨＯＡ表現の計算
均一なグリッド上の予測された方向性信号のＨＯＡ表現を計算するステップまたはステージ４４において、予測されたグリッド方向性信号のＨＯＡ表現は、下記の式によって取得される。

ここで、Ξ_GRIDは、所定のグリッド方向に対するモード行列を表す（定義については、等式（２１）を参照。）。

ＨＯＡ音場表現の合成

（すなわち、フレーム遅延４２によって遅延された

）と、

（ステップ／ステージ４５において、

の時間的平滑化されたバージョン）と、

とから、ステップまたはステージ４６において全体の音場表現が最終的に下記のように合成される。

高次アンビソニックスの基礎
高次アンビソニックスは注目されるコンパクトな領域内の音場の記述に基づいていており、音源が存在しないものと仮定される。その場合、注目領域内の時間ｔおよび位置ｘでの音圧ｐ（ｔ，ｘ）の空間時間的な挙動は、均質媒質の波動方程式によって物理的に完全に求められる。以下の内容は、図５に示された球面座標システムに基づいている。ｘ軸は、前方の位置を指し、ｙ軸は、左側を指し、ｚ軸は上方を指す。空間内の位置ｘ＝（ｒ，θ，φ）^Ｔは、半径ｒ＞０（すなわち、座標原点へ距離）、極軸ｚから測定される傾斜角θ∈［０，π］、さらに、ｘ軸からの、ｘ−ｙ平面内で反時計周りに測定される、方位角φ∈［０，２π］によって表される。（・）^Ｔは、転置を表す。

Ｆ_ｔ（・）によって表される時間に対する音圧のフーリエ変換、すなわち、

は下記の式に従った一連の球面調和関数に拡張される（Ｅ.Ｇ. Ｗｉｌｌｉａｍｓ著“Ｆｏｕｒｉｅｒ Ａｃｏｕｓｔｉｃｓ（フーリエ・アコースティックス））”、応用数理科学、第９３巻、アカデミックプレス社、１９９９年参照）。ここで、ωは角周波数を表し、ｉは虚数単位を表す。

ここで、ｃ_ｓは音速を示し、ｋは角波数を示し、この角波数ｋはｋ＝ω／ｃ_ｓによって角周波数ωに関連している。ｊ_ｎ（・）は、第１種球ベッセル関数を表しており、

は、実数値の球面調和関数の定義の項目で定義されている次数ｎおよび位数ｍの実数値の球面調和関数を示している。展開係数

は、角波数ｋのみに依存する。なお、音圧は、空間的に帯域制限されているものと暗黙的に仮定されている。したがって、級数が次数インデックスｎに対して上限Ｎで打ち切られ、これは、ＨＯＡ表現の次数と呼ばれる。

音場が相異なる角周波数の調和平面波ωの無限個の重ね合わせによって表現され、角の組（θ，φ）によって特定される全ての想定可能な方向から到来する場合には、各々の平面波複素振幅関数Ｄ（ω，θ，φ）は、下記の球面調和展開によって表すことができることが分かる（Ｂ. Ｒａｆａｅｌｙ著、“Ｐｌａｎｅ−ｗａｖｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｏｆ ｔｈｅ Ｓｏｕｎｄ Ｆｉｅｌｄ ｏｎ ａ Ｓｐｈｅｒｅ ｂｙ Ｓｐｈｅｒｉｃａｌ Ｃｏｎｖｏｌｕｔｉｏｎ（球面畳み込みによる球面上の音場の平面波分解）”、米国音響学会誌４(１１６)、２１４９−２１５７頁、２００４年参照）。

ここで、展開係数

は、

と下記の式によって関連する。

個々の係数

が角周波数ωの関数であると仮定すると、逆フーリエ変換（

によって示される）を適用することにより、各次数ｎおよび位数ｍに対し、下記の時間領域関数をもたらす。

これは、次数ｎおよび位数ｍに対して、下記の単一のベクトルにまとめられる。

ベクトルｄ（ｔ）内の時間領域関数

の位置インデックスは、ｎ（ｎ＋１）＋１＋ｍによって与えられる。

最終的なアンビソニックス形式は、サンプリング周波数ｆ_ｓを使用して、下記のｄ（ｔ）のサンプリングされたバージョンをもたらす。

ここで、Ｔ_ｓ＝１／ｆ_ｓは、サンプリング期間を示す。ｄ（ｌＴｓ）の要素は、アンビソニックス係数として参照される。なお、時間領域信号、

は、実数値であり、したがって、アンビソニックス係数は、実数値である。

実数値の球面調和関数の定義
実数値の球面調和関数

は、下記の式によって与えられる。

ここで

関連するルジャンドル関数Ｐ_ｎ，ｍ（ｘ）は、下記の式で定義される。

ここで、ルジャンドル多項式Ｐ_ｎ（ｘ）を用い、上述した、Ｅ．Ｇ．Ｗｉｌｌｉａｍｓ著のテキストブックの場合とは異なり、コンドン-ショートレーの位相項（−１）^ｍを用いない。

高次アンビソニックスの空間解像度
方向Ω_０＝（θ_０，φ_０）^Ｔから到来する一般的な平面波関数ｘ（ｔ）は、下記の式によってＨＯＡにおいて表現される。

平面波振幅の対応する空間密度

は、下記の式によって与えられる。

式（４８）から理解されるように、これは、一般的な平面波関数ｘ（ｔ）と空間分散関数ν_Ｎ（θ）との積であり、空間分散関数ν_Ｎ（θ）は、下記の式の特性を有するΩとΩ_０との間の角度θのみに依存するように示されている。

想定のとおり、無限次元の極限、つまり、Ｎ→∞である場合おいて、空間分散関数はディラックのデルタ関数δ（・）、すなわち、下記のように変化する。

しかしながら、有限次元Ｎの場合には、方向Ω_０からの一般的な平面波の寄与は、近隣の方向ににじみ、このにじみの度合いは次数の増加に伴い減少する。Ｎの複数の異なる値に対する正規化された関数ν_Ｎ（θ）のプロットが図６に示されている。任意の方向Ωでの平面波振幅の空間密度の時間領域の挙動は、他の任意の方向での平面波振幅の空間密度の時間領域の挙動の倍数となることが指摘される。特に、時間ｔに対して、何らかの固定方向Ω_１およびΩ_２についての関数ｄ（ｔ，Ω_１）およびｄ（ｔ，Ω_２）は、高い相関性がある。

離散空間領域
平面波振幅の空間密度がΟ個の空間方向Ω_ｏ（１≦ο≦Οで離散化される場合、空間方向Ω_ｏは単位球面上でほぼ均一に分布するのだが、Ο個の方向性信号ｄ（ｔ，Ω_ｏ）が取得される。これらの信号をベクトルにまとめると、下記の式で表され、

式（４７）を使用してこのベクトルを、下記のような単純な行列乗算によって式（４１）に定義される連続的なアンビソニックス表現ｄ（ｔ）から計算することができることを検証できる。
ｄ_ＳＰＡＴ（ｔ）＝Ψ^Ｈｄ（ｔ） （５２）
ここで、（・）^Ｈは、複素共役転置を示し、Ψは、下記の式によって定義されるモード行列を表す。

ここで、

方向Ω_ｏは単位球面上にほぼ均一に分布しているため、一般的には、モード行列は可逆である。したがって、連続的なアンビソニックス表現は、方向性信号ｄ（ｔ，Ω_ｏ）から下記の式によって計算することができる。
ｄ（ｔ）＝ Ψ^-Ｈｄ_ＳＰＡＴ（ｔ） （５５）
双方の式は、アンビソニックス表現と空間領域との間の変換および逆変換を構成する。本願において、これらの変換は、球面調和関数変換および逆球面調和関数変換と呼ばれる。

方向Ω_ｏは単位球面上でほぼ均一に分布するため、

となり、式（５２）において、Ψ^Ｈの代わりにΨ^−１を使用することが正当化される。有利には、上述した関係の全ては離散時間領域にも有効である。

符号化側、さらに復号側においても、本発明の処理を単一のプロセッサまたは電子回路、または、並列に動作する、および／または、本発明の処理の複数の異なる部分に対して動作する、幾つかのプロセッサまたは電子回路で実行することができる。

本発明は、家庭環境におけるラウドスピーカ構成上で、または、劇場におけるラウドスピーカ構成上でレンダリングおよび再生が可能な音声信号に対応する処理に適用することができる。
いくつかの態様を記載しておく。
〔態様１〕
音場に対するＨＯＡと称する高次アンビソニックス表現を圧縮する方法であって、
−ＨＯＡ係数（Ｄ（ｋ））の現在の時間フレームから支配的な音源方向（

）を推定するステップ（１１）と、
−前記ＨＯＡ係数（Ｄ（ｋ））および前記支配的な音源方向（

）に依存して、前記ＨＯＡ表現を時間領域内の支配的な方向性信号（Ｘ _ＤＩＲ （ｋ−１））と残差のＨＯＡ成分（Ｄ _Ａ （ｋ−２））とに分解するステップ（１２）であって、該残差のＨＯＡ成分を表現する均一なサンプリング方向で平面波関数を取得するために前記残差のＨＯＡ成分が離散空間領域に変換され（３３）、前記平面波関数が前記支配的な方向性信号（Ｘ _ＤＩＲ （ｋ−１））から予測されること（３４）によって、前記予測を記述するパラメータ（ζ（ｋ−１））がもたらされ、対応する予測誤りが前記ＨＯＡの領域に再び変換される（３５）、該ステップ（１２）と、
−前記残差のＨＯＡ成分（Ｄ _Ａ （ｋ−２））の現在の次数（Ｎ）をより低い次数（Ｎ _ＲＥＤ ）に低減するステップ（１３）であって、結果として、低次元化された残差のＨＯＡ成分（Ｄ _{Ａ，ＲＥＤ} （ｋ−２））が得られる、該ステップ（１３）と、
−前記低次元化された残差のＨＯＡ成分（Ｄ _{Ａ，ＲＥＤ} （ｋ−２）を相関除去して対応する残差のＨＯＡ成分時間領域信号（Ｗ _{Ａ，ＲＥＤ} （ｋ−２））を取得するステップ（１４）と、
−圧縮された支配的な方向性信号（

）および圧縮された残差の成分信号（

）を供給するように、前記支配的な方向性信号（Ｘ _ＤＩＲ （ｋ−１））および前記残差のＨＯＡ成分時間領域信号（Ｗ _{Ａ，ＲＥＤ} （ｋ−２））を知覚符号化するステップ（１５）と、
を含む、前記方法。
〔態様２〕
音場に対するＨＯＡと称する高次アンビソニックス表現を圧縮する装置であって、
−ＨＯＡ係数（Ｄ（ｋ））の現在の時間フレームから支配的な音源方向（

）を推定するように構成された手段（１１）と、
−前記ＨＯＡ係数（Ｄ（ｋ））および前記支配的な音源方向（

）に依存して、前記ＨＯＡ表現を時間領域内の支配的な方向性信号（Ｘ _ＤＩＲ （ｋ−１））と残差のＨＯＡ成分（Ｄ _Ａ （ｋ−２））とに分解するように構成された手段（１２）であって、該残差のＨＯＡ成分を表現する均一なサンプリング方向で平面波関数を取得するために前記残差のＨＯＡ成分が離散空間領域に変換され（３３）、前記平面波関数が前記支配的な方向性信号（Ｘ _ＤＩＲ （ｋ−１）から予測されること（３４）によって前記予測を記述するパラメータ（ζ（ｋ−１））がもたらされ、対応する予測誤りが前記ＨＯＡの領域に再び変換される（３５）、前記手段（１２）と、
−前記残差のＨＯＡ成分（Ｄ _Ａ （ｋ−２））の現在の次数（Ｎ）をより低い次数（Ｎ _ＲＥＤ ）に低減するように構成された手段（１３）であって、結果として、低次元化された残差のＨＯＡ成分（Ｄ _{Ａ，ＲＥＤ} （ｋ−２））を生成する、該手段（１３）と、
−前記低次元化された残差のＨＯＡ成分（Ｄ _{Ａ，ＲＥＤ} （ｋ−２）を相関除去して、対応する残差のＨＯＡ成分時間領域信号（Ｗ _{Ａ，ＲＥＤ} （ｋ−２））を取得するように構成された手段（１４）と、
−圧縮された支配的な方向性信号（

）および圧縮された残差の成分信号（

）を供給するように、前記支配的な方向性信号（Ｘ _ＤＩＲ （ｋ−１）および前記残差のＨＯＡ成分時間領域信号（Ｗ _{Ａ，ＲＥＤ} （ｋ−２））を知覚符号化するように構成された手段と、
を備える、前記装置。
〔態様３〕
態様１に記載の方法に従って圧縮された高次アンビソニックス表現を圧縮解除する方法であって、
−圧縮解除された支配的な方向性信号（

）および空間領域内の残差のＨＯＡ成分を表現する圧縮解除された時間領域信号（

）を供給するように、前記圧縮された支配的な方向性信号（

）および前記圧縮された残差の成分信号（

）を知覚復号するステップ（２１）と、
−前記圧縮解除された時間領域信号（

）を再相関させて、対応する低次元化された残差のＨＯＡ成分（

）を取得するステップ（２２）と、
−前記低次元化された残差のＨＯＡ成分（

）の次数（Ｎ _ＲＥＤ ）を当初の次数（Ｎ）に拡張するステップ（２３）であって、それによって対応する圧縮解除された残差のＨＯＡ成分（

）を供給する、該ステップ（２３）と、
−前記圧縮解除された支配的な方向性信号（

）と、前記当初の次数の圧縮解除された残差のＨＯＡ成分（

）と、前記推定された（１１）支配的な音源方向（

）と、前記予測を記述する前記パラメータ（ζ（ｋ−１））とを使用して、ＨＯＡ係数の対応する圧縮解除され、再合成されたフレーム

を合成するステップ（２４）と、
を含む、前記方法。
〔態様４〕
態様１に記載の方法に従って圧縮された高次アンビソニックス表現を圧縮解除する装置であって、
−圧縮解除された支配的な方向性信号（

）および空間領域内の残差のＨＯＡ成分を表現する圧縮解除された時間領域信号（

）を供給するように、前記圧縮された支配的な方向性信号（

）および前記圧縮された残差の成分信号（

）を知覚復号するように構成された手段（２１）と、
−前記圧縮解除された時間領域信号（

）を再相関させて、対応する低次元化された残差のＨＯＡ成分（

）を取得するように構成された手段（２２）と、
−前記低次元化された残差のＨＯＡ成分（

）の次数（Ｎ _ＲＥＤ ）を当初の次数（Ｎ）に拡張するように構成された手段（２３）であって、それによって対応する圧縮解除されたＨＯＡ成分（

）を供給する、該手段（２３）と、
−前記圧縮解除された支配的な方向性信号（

）と、前記当初の次数の圧縮解除された残差のＨＯＡ成分（

）と、前記推定された（１１）支配的な音源方向（

）と、前記予測を記述する前記パラメータ（ζ（ｋ−１））とを使用して、ＨＯＡ係数の対応する圧縮解除され、再合成されたフレーム（

）を合成するように構成された手段（２４）と、
を備える、前記装置。
〔態様５〕
前記低次元化された残差のＨＯＡ成分（Ｄ _{Ａ，ＲＥＤ} （ｋ−２））の前記相関除去（１４）は、球面調和関数変換を使用して、前記低次元化された残差のＨＯＡ成分を空間領域内で対応する次数の等価信号に変換することによって行われる、態様１に記載の方法、または態様２に記載の装置。
〔態様６〕
前記低次元化された残差のＨＯＡ成分（Ｄ _{Ａ，ＲＥＤ} （ｋ−２））の前記相関除去（１４）は、球面調和関数変換を使用して、前記低次元化された残差のＨＯＡ成分を空間領域内で対応する次数の等価信号に変換することによって行われ、前記相関除去の反転を可能にする副情報（α（ｋ−２））を提供することによって、サンプリング方向のグリッドが回転されて最大限の相関除去効果を得る、態様１に記載の方法、または態様２に記載の装置。
〔態様７〕
前記支配的な方向性信号（Ｘ _ＤＩＲ （ｋ−１））および前記残差のＨＯＡ成分時間領域信号（Ｗ _{Ａ，ＲＥＤ} （ｋ−２））の知覚圧縮（１５）が共に行われ、前記圧縮された方向性信号（

）および前記圧縮された時間領域信号（

）の前記知覚圧縮（２１）が対応する方法で共に行われる、態様１、３、５、および６のいずれか１項に記載の方法、または態様２および４〜６のいずれか１項に記載の装置に従った方法。
〔態様８〕
前記分解するステップ（１２）は、
−ＨＯＡ係数の現在のフレーム（Ｄ（ｋ））に対して（

）における推定された音源方向から支配的な方向性信号（

）を計算するステップ（３０）であって、その後の時間的平滑化（３１）によって平滑化された支配的な方向性信号（Ｘ _ＤＩＲ （ｋ−１））が取得される、該ステップと、
−（

）における前記推定された音源方向および前記平滑化された支配的な方向性信号（Ｘ _ＤＩＲ （ｋ−１））から平滑化された支配的な方向性信号（Ｄ _ＤＩＲ （ｋ−１））のＨＯＡ表現を計算するステップ（３２）と、
−均一なグリッド上の方向性信号（

）による対応する残差のＨＯＡ表現を表現するステップ（３３）と、
−前記平滑化された支配的な方向性信号（Ｘ _ＤＩＲ （ｋ−１））および方向性信号（

）による前記残差のＨＯＡ表現から、均一なグリッド上の方向性信号（

）を予測し（３４）、該予測から均一なグリッド上の予測された方向性信号のＨＯＡ表現を計算し（３５）、その後、時間的平滑化を行う（３６）、ステップと、
−均一なグリッド上での前記平滑化された予測された方向性信号（

）と、ＨＯＡ係数の前記現在のフレーム（Ｄ（ｋ））の２フレーム遅延したバージョンと、前記平滑化された支配的な方向性信号（Ｘ _ＤＩＲ （ｋ−１））の１フレーム遅延したバージョンとから、残差のアンビエント音場成分のＨＯＡ表現（Ｄ _Ａ （ｋ−２））を計算するステップと、
を含む、態様１および５〜７のいずれか１項に記載の方法に従った方法、または態様２および５〜７のいずれか１項に記載の装置に従った装置。
〔態様９〕
前記合成するステップ（２４）は、
−ＨＯＡ係数の現在のフレーム（Ｄ（ｋ））に対して前記推定された音源方向（

）と、前記圧縮解除された支配的な方向性信号（

）とから、支配的な方向性信号（

）のＨＯＡ表現を計算するステップ（４１）と、
前記圧縮解除された支配的な方向性信号（

）と、前記予測を記述した前記パラメータ（ζ（ｋ−１））とから、均一なグリッド上の方向性信号

を予測するステップ（４３）と、当該予測から、均一なグリッド上の予測された方向性信号のＨＯＡ表現

を計算するステップ（４４）であって、その後に、時間的平滑化を行う

、該ステップと、
−均一なグリッド上の予測された方向性信号

の前記平滑化されたＨＯＡ表現と、支配的な方向性信号（

）の前記ＨＯＡ表現の１フレーム遅延された（４２）バージョンと、前記圧縮解除された残差のＨＯＡ成分（

）とから、ＨＯＡ音場表現（

）を合成するステップ（４６）と、
を含む、態様３または７に記載の方法に従った方法、または態様４または７に記載の装置に従った装置。
〔態様１０〕
均一なグリッド上の方向性信号（

）の前記予測（３４）において、予測されたグリッド信号（

）が、割り当てられた支配的な方向性信号（

）からの遅延および全帯域スケーリングによって計算される、態様８に記載の方法に従った方法、または態様８に記載の装置に従った装置。
〔態様１１〕
均一なグリッド上の方向性信号（

）の前記予測（３４）において、知覚指向の周波数帯域に対するスケーリング係数が求められる、態様８に記載の方法に従った方法、または態様８に記載の装置に従った装置。
〔態様１２〕
態様１、５〜８、１０、および１１のいずれか１項に記載の方法に従って符号化されるディジタル・オーディオ信号。

Claims (14)

1. 音場に対する高次アンビソニックス（ＨＯＡ）表現を圧縮する方法であって、
   −ＨＯＡ係数の現在の時間フレームから支配的な音源方向を推定するステップと、
   −前記ＨＯＡ表現を時間領域内の支配的な方向性信号と残差のＨＯＡ成分とに分解するステップであって、該残差のＨＯＡ成分を表現する均一なサンプリング方向で平面波関数を取得するために前記残差のＨＯＡ成分が離散空間領域に変換され、前記平面波関数が前記支配的な方向性信号から予測され、それにより、前記予測を記述するパラメータが与えられ、前記予測からの対応する予測誤りがＨＯＡ領域に再び変換される、ステップと、
   −前記残差のＨＯＡ成分の現在の次数をより低い次数に低減するステップであって、結果として、低次化された残差のＨＯＡ成分が得られる、ステップと、
   −前記低次化された残差のＨＯＡ成分を相関除去して対応する残差のＨＯＡ成分時間領域信号を取得するステップと、
   −圧縮された支配的な方向性信号および圧縮された残差の成分信号を供給するように、前記支配的な方向性信号および前記残差のＨＯＡ成分時間領域信号を知覚符号化するステップと、
   を含む、方法。
2. 前記低次化された残差のＨＯＡ成分の前記相関除去は、球面調和関数変換を使用して、前記低次化された残差のＨＯＡ成分を空間領域内で対応する次数の等価信号に変換することによって行われる、請求項１に記載の方法。
3. 前記低次化された残差のＨＯＡ成分の前記相関除去は、均一なサンプリング方向のグリッドを回転させる球面調和関数変換を使用して、前記低次化された残差のＨＯＡ成分を空間領域内で対応する次数の等価信号に変換し、前記相関除去の反転を可能にする副情報を提供することによって行われる、請求項１に記載の方法。
4. 前記知覚符号化は、前記支配的な方向性信号および前記残差のＨＯＡ成分時間領域信号の合同の圧縮を含む、請求項１記載の方法。
5. 前記分解するステップは、
   −ＨＯＡ係数の現在のフレームについての推定された支配的な音源方向から、支配的な方向性信号を計算するステップであって、その後の時間的平滑化によって平滑化された支配的な方向性信号が取得される、ステップと、
   −前記推定された支配的な音源方向および前記平滑化された支配的な方向性信号から、平滑化された支配的な方向性信号のＨＯＡ表現を計算するステップと、
   −均一なグリッド上の方向性信号による対応する残差のＨＯＡ表現を表現するステップと、
   −前記平滑化された支配的な方向性信号および方向性信号による前記残差のＨＯＡ表現から、均一なグリッド上の方向性信号を予測し、該予測から均一なグリッド上の予測された方向性信号のＨＯＡ表現を計算し、その後、時間的平滑化を行う、ステップと、
   −均一なグリッド上での前記平滑化された予測された方向性信号と、ＨＯＡ係数の前記現在のフレームの２フレーム遅延したバージョンと、前記平滑化された支配的な方向性信号の１フレーム遅延したバージョンとから、残差のアンビエント音場成分のＨＯＡ表現を計算するステップと、
   を含む、請求項１に記載の方法。
6. 音場に対する高次アンビソニックス（ＨＯＡ）表現を圧縮する装置であって、
   −ＨＯＡ係数の現在の時間フレームから支配的な音源方向を推定する推定器と、
   −前記ＨＯＡ表現を時間領域内の支配的な方向性信号と残差のＨＯＡ成分とに分解する分解器であって、該残差のＨＯＡ成分を表現する均一なサンプリング方向で平面波関数を取得するために前記残差のＨＯＡ成分が離散空間領域に変換され、前記平面波関数が前記支配的な方向性信号から予測され、それにより前記予測を記述するパラメータが与えられ、前記予測からの対応する予測誤りが前記ＨＯＡの領域に再び変換される、分解器と、
   −前記残差のＨＯＡ成分の現在の次数をより低い次数に低減する次数低減器であって、結果として、低次化された残差のＨＯＡ成分を生成する、次数低減器と、
   −前記低次化された残差のＨＯＡ成分を相関除去して、対応する残差のＨＯＡ成分時間領域信号を取得する相関除去器と、
   −圧縮された支配的な方向性信号および圧縮された残差の成分信号を供給するように、前記支配的な方向性信号および前記残差のＨＯＡ成分時間領域信号を知覚符号化する符号化器と、
   を備える、装置。
7. 前記低次化された残差のＨＯＡ成分の前記相関除去は、球面調和関数変換を使用して、前記低次化された残差のＨＯＡ成分を空間領域内で対応する次数の等価信号に変換することによって行われる、請求項６に記載の装置。
8. 前記低次化された残差のＨＯＡ成分の前記相関除去は、均一なサンプリング方向のグリッドを回転させる球面調和関数変換を使用して、前記低次化された残差のＨＯＡ成分を空間領域内で対応する次数の等価信号に変換し、前記相関除去の反転を可能にする副情報を提供することによって行われる、請求項６に記載の装置。
9. 前記支配的な方向性信号および前記残差のＨＯＡ成分時間領域信号の前記知覚符号化は、合同して行なわれる、請求項６記載の装置。
10. 前記分解することは、
    −ＨＯＡ係数の現在のフレームについての推定された支配的な音源方向から、支配的な方向性信号を計算するステップであって、その後の時間的平滑化によって平滑化された支配的な方向性信号が取得される、ステップと、
    −前記推定された支配的な音源方向および前記平滑化された支配的な方向性信号から、平滑化された支配的な方向性信号のＨＯＡ表現を計算するステップと、
    −均一なグリッド上の方向性信号による対応する残差のＨＯＡ表現を表現するステップと、
    −前記平滑化された支配的な方向性信号および方向性信号による前記残差のＨＯＡ表現から、均一なグリッド上の方向性信号を予測し、該予測から均一なグリッド上の予測された方向性信号のＨＯＡ表現を計算し、その後、時間的平滑化を行う、ステップと、
    −均一なグリッド上での前記平滑化された予測された方向性信号と、ＨＯＡ係数の前記現在のフレームの２フレーム遅延したバージョンと、前記平滑化された支配的な方向性信号の１フレーム遅延したバージョンとから、残差のアンビエント音場成分のＨＯＡ表現を計算するステップと、
    を含む、請求項６に記載の装置。
11. 均一なグリッド上の方向性信号の前記予測が、割り当てられた支配的な方向性信号からの遅延および全帯域スケーリングによって計算される、請求項１０に記載の装置。
12. 均一なグリッド上の方向性信号の前記予測において、知覚指向の周波数帯域に対するスケーリング係数が求められる、請求項１０に記載の装置。
13. 高次アンビソニックス（ＨＯＡ）表現を圧縮解除する方法であって、
    −圧縮解除された支配的な方向性信号および空間領域内の残差のＨＯＡ成分を表現する圧縮解除された時間領域信号を供給するように、圧縮された支配的な方向性信号および圧縮された残差の成分信号を知覚復号するステップと、
    −前記圧縮解除された時間領域信号を再相関させて、対応する低次化された残差のＨＯＡ成分を取得するステップと、
    −前記低次化された残差のＨＯＡ成分の次数を当初の次数に拡張するステップであって、それによって当初の次数の圧縮解除された残差のＨＯＡ成分を供給する、ステップと、
    −前記圧縮解除された支配的な方向性信号と、前記当初の次数の圧縮解除された残差のＨＯＡ成分と、推定された支配的な音源方向とを使用して、ＨＯＡ係数の対応する圧縮解除され、再合成されたフレームを生成するステップと、
    を含む、方法。
14. 圧縮された高次アンビソニックス（ＨＯＡ）表現を圧縮解除する装置であって、
    −圧縮解除された支配的な方向性信号および空間領域内の残差のＨＯＡ成分を表現する圧縮解除された時間領域信号を供給するように、圧縮された支配的な方向性信号および圧縮された残差の成分信号を知覚復号する復号器と、
    −前記圧縮解除された時間領域信号を再相関させて、対応する低次化された残差のＨＯＡ成分を取得する再相関器と、
    −前記低次化された残差のＨＯＡ成分の次数を当初の次数に拡張する次数拡張器であって、それによって当初の次数の圧縮解除されたＨＯＡ成分を供給する、次数拡張器と、
    −前記圧縮解除された支配的な方向性信号と、前記当初の次数の圧縮解除された残差のＨＯＡ成分と、推定された支配的な音源方向とを使用して、ＨＯＡ係数の圧縮解除され、再合成されたフレームを生成する合成器と、
    を備える、装置。
    

Images