JP6818838B2 - 高次アンビソニックス表現を圧縮および圧縮解除する方法および装置 - Google Patents

Description

本発明は、方向性信号成分およびアンビエント信号成分を別々に処理することによって高次アンビソニックス表現を圧縮および圧縮解除する方法および装置に関する。

高次アンビソニックス（ＨＯＡ）は、波面合成法（ＷＦＳ）や２２．２のようなチャンネルに基づくアプローチといった他の技術が存在する一方で、三次元音声を表現する１つの可能性を提供している。チャンネルに基づく方法と対照的に、ＨＯＡ表現には、特定のラウドスピーカの設定とは独立しているという利点がある。しかしながら、この柔軟性を得るためには、特定のラウドスピーカの設定でＨＯＡ表現を再生するための復号処理が必要となる。通常、必要なラウドスピーカの数が大変多くなるＷＦＳのアプローチと比較して、ＨＯＡは極めて少ない数のラウドスピーカのみで構成される設定にすることができる。ＨＯＡのさらなる利点は、ヘッドフォンへのバイノーラル・レンダリングにも変更を必要とすることなく同じ表現を利用できる点にある。

ＨＯＡは、切断球面調和関数（ＳＨ）展開による複素調和平面波振幅の空間密度の表現に基づいている。各展開係数は角周波数の関数であり、これを、時間領域関数によって同等に表現することができる。したがって、一般性を失うことなく、完全なＨＯＡ音場表現は、実際には、“Ο”個の時間領域関数から構成されるものと考えることができる。ここで、Οは、展開係数の数を表している。これらの時間領域関数は同等の意味を有するものとして以下のＨＯＡ係数列またはＨＯＡチャンネルを参照する。

ＨＯＡ表現の空間解像度は、展開の最大次数Ｎの増加とともに向上する。残念ながら、展開係数の数“Ο”は、次数Ｎに対して二乗的に増加し、特にΟ＝（Ｎ＋１）²となる。例えば、次数Ｎ＝４を使用した一般的なＨＯＡ表現には、Ο＝２５の個数のＨＯＡ（展開）係数が必要となる。上記の点を考慮して、ＨＯＡ表現の伝送のための合計ビットレートは、所望の単一チャンネルのサンプリング・レートｆ_ｓおよびサンプル毎のビットの数Ｎ_ｂが与えられると、Ο・ｆ_ｓ・Ｎ_ｂによって求めることができる。したがって、サンプル毎にＮ_ｂ＝１６の個数のビットを使用してｆ_ｓ＝４８ｋＨｚのサンプリング・レートでの次数Ｎ＝４のＨＯＡ表現を伝送すると、結果として、ビットレートは、１９．２メガビット／秒となるが、これは、多くの実用的なアプリケーション、例えば、ストリーミングでは極めて高いビットレートである。

ＨＯＡ音場表現の圧縮は、欧州特許出願第１２３０６５６９号および欧州特許出願第１２３０５５３７号において提案されている。例えば、Ｅ．Ｈｅｌｌｅｒｕｄ、Ｉ．Ｂｕｒｎｅｔｔ、Ａ．ＳｏｌｖａｎｇおよびＵ．Ｐ．Ｓｖｅｎｓｓｏｎの「ＡＡＣを用いた高次アンビソニックスの符号化」１２４回ＡＥＳコンベンション、アムステルダム、２００８年、において行われているような、ＨＯＡ係数列を個々に知覚符号化することの代わりに、特に音場分析を行い、所与のＨＯＡ表現を方向性成分および残差アンビエント成分に分解することによって、知覚符号化される信号の数を減少させる試みが行われている。一般的には、方向性成分は、一般的な平面波関数とみなすことができる少数の支配的な方向性信号によって表現されるものとされる。残差のアンビエントＨＯＡ成分の次数が低減される。その理由は、支配的な方向性信号を抽出した後には、より低次のＨＯＡ係数が最も関連する情報を保持していると考えられるからである。

総括すると、そのような処理を行うことによって、知覚符号化されるＨＯＡ係数列の初期数（Ｎ＋１）^２は、Ｄ個の支配的な方向性信号の所定数と、切断次数Ｎ_ＲＥＤ＜Ｎを用いて残差のアンビエントＨＯＡ成分を表現する（Ｎ_ＲＥＤ＋１）^２個のＨＯＡ係数列の数とに低減される。それによって、符号化される信号の数が決まり、すなわち、Ｄ＋（Ｎ_ＲＥＤ＋１）^２となる。特に、この数は、時間フレームｋにおけるアクティブな支配的な方向性音源の実際に検出された数Ｄ_ＡＣＴ（ｋ）≦Ｄとは独立している。これは、時間フレームｋにおいて、アクティブな支配的な方向性音源の実際に検出された数Ｄ_ＡＣＴ（ｋ）が方向性信号の最大許容数Ｄよりも小さい場合、知覚符号化される支配的な方向性信号のいくつかまたは全てさえもが零となることを意味している。つまり、これはこの複数のチャンネルが音場の関連情報を捕捉するために全く使用されないことを意味する。

この状況で、欧州特許出願第１２３０６５６９号および欧州特許出願第１２３０５５３７号における処理の別の想定される弱点は、各時間フレーム内の支配的な方向性信号の数を決定するための基準である。その理由は、音場の連続的な知覚符号化に関してアクティブな支配的な方向性信号の最適な数を決定する試みが行われていないからである。例えば、欧州特許出願第１２３０５５３７号においては、支配的な音源の数が単純なパワー基準を使用して、すなわち、最大の固有値に属する係数間の相関行列の部分空間の次元を求めることによって推定される。欧州特許出願第１２３０６５６９号においては、支配的な方向性音源のインクリメンタル検出が提案されている。ここで、各々の方向からの平面波関数のパワーが最初の方向性信号に対して十分に高い場合には、方向性音源が支配的であると考慮される。欧州特許出願第１２３０６５６９号および欧州特許出願第１２３０５５３７号の場合のようなパワーに基づく基準を使用すると、音場の知覚符号化に関して最適であるとは云えない方向性−アンビエント分解となることもある。

本発明によって解決される課題は、現在のＨＯＡオーディオ信号コンテンツに対して、所定の低減された数のチャンネルに、方向性信号およびアンビエントＨＯＡ成分に対する係数をどのように割り当てるかを決定することによって、ＨＯＡ圧縮を改善することにある。この課題は、請求項１および３に開示されたそれぞれの方法によって解決される。これらの方法を利用する装置は、請求項２および４において開示されている。

本発明は、２つの態様において、欧州特許出願第１２３０６５６９号で提案されている圧縮処理を改善する。第１に、知覚符号化される所与の数のチャンネルによってもたらされる帯域幅が良好に利用される。支配的な音源信号が検出されない時間フレームでは、支配的な方向性信号に対して当初より確保されているチャンネルは、アンビエント成分についての追加的な情報を捕捉するために、残差のアンビエントＨＯＡ成分の追加的なＨＯＡ係数列の形式で使用される。第２に、所与のＨＯＡ音場表現を知覚符号化するために所与の数のチャンネルを利用するという目的を念頭に置くと、ＨＯＡ表現から抽出される方向性信号の数を決定するための基準は、その目的に対して適応化される。方向性信号の数は、復号され再構築されたＨＯＡ表現によって知覚される誤差が最も小さくなるように決定される。その基準は、方向性信号を抽出することと残差のアンビエントＨＯＡ成分を記述するためにＨＯＡ係数列をより少なく使用することとから生ずるモデル化誤差と、方向性信号を抽出することなく、その代わりに残差のアンビエントＨＯＡ成分を記述するために追加的なＨＯＡ係数列を使用することから生ずるモデル化誤差とを比較する。その基準は、さらに、その双方の場合に対して、方向性信号および残差のアンビエントＨＯＡ成分のＨＯＡ係数列の知覚符号化によってもたらされる量子化雑音の空間パワー分布を考慮する。

上述した処理を実施するために、ＨＯＡ圧縮を開始する前に、信号（チャンネル）の合計数Ｉが定められる。この合計数Ｉは、当初のΟ個のＨＯＡ係数列の数と比較して低減させられたものである。アンビエントＨＯＡ成分は、最小の数Ο_ＲＥＤ個のＨＯＡ係数列によって表現されるものと仮定される。場合によっては、その最小の数が零となることもある。残りのＤ＝Ｉ−Ο_ＲＥＤ個のチャンネルは、方向性信号抽出処理が判定する知覚的に意味のよりあるものに依存して、方向性信号またはアンビエントＨＯＡ成分の追加的な係数列のいずれかを含むものとされる。方向性信号またはアンビエントＨＯＡ成分係数列のいずれかの残りのＤ個のチャンネルに対する割り当ては、フレーム単位で変更可能であるものと仮定される。受信機側での音場の再構築のために、この割り当てについての情報は、追加の副情報として送信される。

原理的には、本発明の圧縮方法は、所定数の知覚符号化処理を使用して、ＨＯＡと称する音場の高次アンビソニックス表現をＨＯＡ係数列の入力される時間フレームを用いて圧縮するのに適している。この方法は、フレーム単位で行われ、
−現在のフレームに対して、支配的な方向のセットおよび対応する検出された方向性信号のインデックスのデータセットを推定するステップと、
−上記現在のフレームのＨＯＡ係数列を分解するステップであって、非所定数の方向性信号であって、支配的な方向推定値の上記セットに含まれる各々の方向と上記方向性信号のインデックスの各々のデータセットとを用いた、上記非所定数が上記所定数よりも小さい、上記非所定数の方向性信号と、上記所定数と上記非所定数との差に対応する低減された数のＨＯＡ係数列によって表現される残差のアンビエントＨＯＡ成分と、対応する上記低減された数の残差のアンビエントＨＯＡ係数列のインデックスのデータセットと、に分解する、上記分解するステップと、
−上記方向性信号および上記残差のアンビエントＨＯＡ成分のＨＯＡ係数列を上記所定数に対応する数のチャンネルに割り当てるステップであって、上記割り当てのために、上記方向性信号のインデックスの上記データセットおよび上記低減された数の残差のアンビエントＨＯＡ係数列のインデックスの上記データセットが使用される、上記割り当てるステップと、
−関連するフレームの上記チャンネルを知覚符号化するステップであって、符号化された圧縮されたフレームが得られる、上記知覚符号化するステップと、を含む。

原理的には、本発明の圧縮装置は、所定数の知覚符号化処理を使用して音場のＨＯＡと称する高次アンビソニックス表現をＨＯＡ係数列の入力される時間フレームを用いて圧縮するのに適している。
上記装置は、フレーム単位の処理を実行し、
−現在のフレームに対して、支配的な方向のセットおよび対応する検出された方向性信号のインデックスのデータセットを推定するように構成された手段と、
−上記現在のフレームのＨＯＡ係数列を分解するように構成された手段であって、非所定数の方向性信号であって、支配的な方向推定値の上記セットに含まれる各々の方向と、上記方向性信号のインデックスの各々のデータセットとを用いた、上記非所定数が上記所定数よりも小さい、上記非所定数の方向性信号と、上記所定数と上記非所定数との差に対応する低減された数のＨＯＡ係数列によって表現される残差のアンビエントＨＯＡ成分と、対応する上記低減された数の残差のアンビエントＨＯＡ係数列のインデックスの対応するデータセットと、に分解するように構成された、上記手段と、
−上記方向性信号および上記残差のアンビエントＨＯＡ成分のＨＯＡ係数列を上記所定数に対応する数のチャンネルに割り当てるように構成された手段であって、上記割り当てのために、上記方向性信号のインデックスの上記データセットおよび上記低減された数の残差のアンビエントＨＯＡ係数列のインデックスの上記データセットが使用される、上記手段と、
−関連するフレームの上記チャンネルを知覚符号化するように構成された手段であって、符号化された圧縮されたフレームが得られる、上記手段と、を含む。

原理的には、本発明の圧縮解除方法は、上述の圧縮方法に従って圧縮された高次アンビソニックス表現を圧縮解除するのに適している。この圧縮解除方法は、
−チャンネルの知覚復号されたフレームを得るために、現在の符号化圧縮されたフレームを復号するステップと、
−検出された方向性信号のインデックスの上記データセットと上記選択されたアンビエントＨＯＡ係数列のインデックスの上記データセットを使用して、方向性信号の上記対応するフレームと残差のアンビエントＨＯＡ成分の上記対応するフレームとを再形成するために、チャンネルの上記知覚復号されたフレームを再配分するステップと、
−検出された方向性信号のインデックスの上記データセットおよび支配的な方向性推定値の上記セットを使用して、方向性信号の上記フレームと上記残差のアンビエントＨＯＡ成分の上記フレームとからＨＯＡ表現の現在の圧縮解除されたフレームを再合成するステップと、を含み、
均一に分布した方向に対する方向性信号が上記方向性信号から予測され、その後に、上記現在の圧縮解除されたフレームは、方向性信号の上記フレーム、上記予測された信号、および上記残差のアンビエントＨＯＡ成分から再合成される。

原理的には、本発明の圧縮解除装置は、上述の圧縮方法に従って圧縮された高次アンビソニックス表現を圧縮解除するのに適している。この装置は、
−チャンネルの知覚復号されたフレームを得るために、現在の符号化圧縮されたフレームを復号するように構成された手段と、
−検出された方向性信号のインデックスの上記データセットと選択されたアンビエントＨＯＡ係数列のインデックスの上記データセットを使用して、方向性信号の上記対応するフレームと上記残差のアンビエントＨＯＡ成分の上記対応するフレームとを再形成するために、チャンネルの上記知覚復号されたフレームを再配分するように構成された手段と、
−検出された方向性信号のインデックスの上記データセットおよび支配的な方向性推定値の上記セットを使用して、方向性信号の上記フレームと上記残差のアンビエントＨＯＡ成分の上記フレームとから、上記ＨＯＡ表現の現在の圧縮解除されたフレームを再合成するように構成された手段と、を含み、
均一に分布した方向に対する方向性信号が上記方向性信号から予測され、その後に、上記現在の圧縮解除されたフレームは、方向性信号の上記フレーム、上記予測された信号、および上記残差のアンビエントＨＯＡ成分から再合成される。

本発明の追加的な実施形態は、各々の従属請求項に開示されており、有利なものである。

ＨＯＡ圧縮のブロック図である。 支配的な音源方向の推定のブロック図である。 ＨＯＡ圧縮解除のブロック図である。 球面座標システムを示す図である。 複数の異なるアンビソニックス次数Ｎおよび角度θ∈[0,π]に対する正規化された分散関数ν_N(Θ)を示す図である。

本発明の例示的な実施形態は、添付図面を参照して説明される。
Ａ．改良されたＨＯＡ圧縮
本発明に係る圧縮処理は、欧州特許出願第１２３０６５６９号に基づいており、図１に示されている。ここで、信号処理ブロックは、欧州特許出願第１２３０６５６９号に対して変更が加えられ、または新たに導入されており、その信号処理ブロックは太字のボックスで示されており、本出願における「

」（方向推定値とされたもの）および「Ｃ」は、それぞれ、欧州特許出願第１２３０６５６９号の「Ａ」（方向推定値の行列）および「Ｄ」に対応する。

ＨＯＡ圧縮のために、長さＬのＨＯＡ係数列の重複しない入力フレームＣ（ｋ）を用いたフレーム単位の処理が使用される。ここで、ｋは、フレームのインデックスを表す。フレームは、下記の式（１）に特定されたＨＯＡ係数列に関して定義される。

ここで、Ｔ_ｓは、サンプリング期間を表す。

図１のステップまたはステージ１１／１２は、任意に行われ、ＨＯＡ係数列の重複しないｋ番目のフレームおよび（ｋ−１）番目のフレームを下記の式に従って連結して長いフレーム

にすることを含む。

この長いフレームは、隣接する長いフレームと５０％重複し、長いフレームは、支配的な音源方向の推定に連続的に使用される。

の表記と同様に、チルダ記号は、以下の説明において、各々の量が長い重複するフレームを指すことを示すために使用される。ステップ／ステージ１１／１２が存在しない場合には、チルダ記号は特別な意味を持たない。

原理的には、支配的な音源の推定ステップまたはステージ１３は、欧州特許出願第１３３０５１５６号に提案されているように行われるが、重要な変更を有する。この変更は、検出される方向の数の決定、すなわち、何個の方向性信号がＨＯＡ表現から抽出されるとするかに関する。これは、アンビエントＨＯＡ成分の良好な近似計算のために、追加的なＨＯＡ係数列を使用することよりも方向性信号を抽出することの方が知覚的に関連性が高い場合にのみ、追加的なＨＯＡ係数列を使用する代わりに方向性信号を抽出しようとする考えから成し遂げられるものである。Ａ．２の項目でこの技術についての詳細な説明を行う。

支配的な音源の推定により、検出された方向性信号のインデックスのデータセット

と、対応する方向推定値のセット

とが得られる。Ｄは、ＨＯＡ圧縮を開始する前に設定しなければならない方向性信号の最大数を示している。

ステップまたはステージ１４において、ＨＯＡ係数列の現在の（長い）フレーム

が、セット

内に含まれる方向に属する複数の方向性信号Ｘ_ＤＩＲ（ｋ−２）と、残差のアンビエントＨＯＡ成分Ｃ_ＡＭＢ（ｋ−２）とに分解される（欧州特許出願第１３３０５１５６号に提案されているように）。滑らかな信号を得るために、重畳加算処理の結果として２つのフレーム分の遅延が導入される。Ｘ_ＤＩＲ（ｋ−２）は、合計Ｄ個のチャンネルを含むものの、このうち、アクティブな方向性信号に対応するチャンネルのみが零でないと仮定される。このチャンネルを特定するインデックスは、データセット

内において出力されるものと仮定される。さらに、ステップ／ステージ１４における分解によって、方向性信号から元のＨＯＡ表現の部分を予測するために圧縮解除側で使用されるいくつかのパラメータζ（ｋ−２）を供給する（より詳細には欧州特許出願第１３３０５１５６号参照）。ステップまたはステージ１５において、アンビエントＨＯＡ成分Ｃ_ＡＭＢ（ｋ−２）の係数の数はインテリジェントに低減され、Ο_ＲＥＤ＋Ｄ−Ｎ_{ＤＩＲ，ＡＣＴ}（ｋ−２）個の非零のＨＯＡ係数列のみを含むようになる。ここで、

は、データセット

の組の数、すなわち、フレームｋ−２内のアクティブな方向性信号の数を示す。アンビエントＨＯＡ成分は、最小の数Ο_ＲＥＤ個のＨＯＡ係数列によって常に表現されると仮定されるため、この問題は、実際には、想定されるΟ−Ο_ＲＥＤ個のＨＯＡ係数列から残りのＤ−Ｎ_{ＤＩＲ，ＡＣＴ}（ｋ−２）個のＨＯＡ係数列を選択することに集約される。滑らかな低減されたアンビエントＨＯＡ表現を取得するために、この選択は、前のフレームｋ−３で行った選択と比較して、変更が可能な限り少なくなるように行われる。

特に、以下の３つの場合を区別すべきである。

ａ）Ｎ_{ＤＩＲ，ＡＣＴ}（ｋ−２）＝Ｎ_{ＤＩＲ，ＡＣＴ}（ｋ−３）：この場合、フレームｋ−３の場合と同様に、同一のＨＯＡ係数列が選択されるものと想定される。

ｂ）Ｎ_{ＤＩＲ，ＡＣＴ}（ｋ−２）＜Ｎ_{ＤＩＲ，ＡＣＴ}（ｋ−３）：この場合、現在のフレーム内のアンビエントＨＯＡ成分を表現するために、この前のフレームｋ−３よりも多いＨＯＡ係数列を使用することができる。ｋ−３において選択済のそのＨＯＡ係数列は、現在のフレーム内でも選択されるものと仮定される。異なる基準に従って追加的なＨＯＡ係数列を選択可能である。例えば、最高の平均パワーを有するＨＯＡ係数列をＣ_ＡＭＢ（ｋ−２）内で選択するか、あるいは、それぞれの知覚的な重要性に関してＨＯＡ係数列を選択する。

ｃ）Ｎ_{ＤＩＲ，ＡＣＴ}（ｋ−２）＞Ｎ_{ＤＩＲ，ＡＣＴ}（ｋ−３）：この場合、現在のフレーム内のアンビエントＨＯＡ成分を表現するために、最後のフレームｋ−３に存在するＨＯＡ係数列よりも少ないＨＯＡ係数列を使用することができる。ここで解決すべき課題は、既に選択済のＨＯＡ係数列のうち、どれを非アクティブ化しなければならないかである。合理的な解決法は、フレームｋ−３で、信号を割り当てるステップまたはステージ１６でチャンネル

に割り当てられたＨＯＡ係数列を非アクティブ化することである。

追加的なＨＯＡ係数列がアクティブ化または非アクティブ化されるときのフレーム境界での不連続を回避するために、各々の信号を平滑的にフェード・インまたはフェード・アウトさせるとよい。

Ο_ＲＥＤ＋Ｎ_{ＤＩＲ，ＡＣＴ}（ｋ−２）個の低減された個数の最終的なアンビエントＨＯＡ表現は、Ｃ_{ＡＭＢ，ＲＥＤ}（ｋ−２）によって示される。選択されたアンビエント係数列のインデックスは、データセット

内に出力される。

ステップ／ステージ１６において、Ｘ_ＤＩＲ（ｋ−２）に含まれるアクティブな方向性信号およびＣ_{ＡＭＢ，ＲＥＤ}（ｋ−２）に含まれるＨＯＡ係数列は、個々の知覚符号化のためにＩ個のチャンネルのフレームＹ（ｋ−２）に割り当てられる。より詳細に信号の割り当てを記述すると、フレームＸ_ＤＩＲ（ｋ−２）、Ｙ（ｋ−２）およびＣ_{ＡＭＤ，ＲＥＤ}（ｋ−２）は、下記のように、個々の信号ｘ_DIR，d（ｋ−２）（ｄ∈｛１，… ，Ｄ｝）、ｙ_i（ｋ−２）（ｉ∈｛１，… ，Ｄ｝）およびｃ_{AMB, RED, ο}（ｋ−２）（ο＝１，… ，Ο）によって構成されるものと仮定される。

連続する知覚符号化のために連続した信号を取得するために、それぞれのチャンネルのインデックスを保持するようにアクティブな方向性信号が割り当てられる。これを下記の式のように表すことができる。

アンビエント成分のＨＯＡ係数列は、最小の数のΟ_ＲＥＤ個の係数列がＹ（ｋ−２）の最後のΟ_ＲＥＤ個の信号に常に含まれるように、すなわち、下記の式に従って割り当てられる。

追加的なＤ−Ｎ_{ＤＩＲ，ＡＣＴ}（ｋ−２）個のアンビエント成分のＨＯＡ係数列については、これらが前のフレームでも選択されていたかどうかを区別すべきである。
ａ）追加的なＤ−Ｎ_{ＤＩＲ，ＡＣＴ}（ｋ−２）個のアンビエント成分のＨＯＡ係数列が送信されるものとして前のフレーム内でも選択されていた場合、すなわち、各々のインデックスもまた、データセット

に含まれる場合には、これらの係数列のＹ（ｋ−２）における信号への割り当ては、前のフレームに対する割り当てと同じである。この処理は、滑らかな信号ｙ_ｉ（ｋ−２）を確保するものであり、ステップまたはステージ１７における連続的な知覚符号化にとって好ましいものである。
ｂ）そうではなく、いくつかの係数列が新たに選択されている場合、すなわち、これらのインデックスがデータセット

に含まれているが、データセット

に含まれていない場合には、これらはまず、インデックスに関して昇順に配列され、この順番で方向性信号によってまだ占められていないＹ（ｋ−２）のチャンネル

に割り当てられる。

この特定の割り当ては、ＨＯＡ圧縮解除処理の間に信号の再配分および合成が、どのアンビエントＨＯＡ係数列がＹ（ｋ−２）個のどのチャンネルに含まれているかについての情報無しに行えるようになるという利点を提供する。代わりに、データセット

および

の情報のみで、ＨＯＡ圧縮解除の間に割り当てを再構築することができる。

この割り当て処理によって、割り当てベクトル

ももたらされることが有利である。この要素γ_ο（ｋ）（ο＝１，… ，Ｄ−Ｎ_{ＤＩＲ，ＡＣＴ}（ｋ−２））は追加的なＤ−Ｎ_{ＤＩＲ，ＡＣＴ}（ｋ−２）個のアンビエント成分のＨＯＡ係数列の各々のインデックスを表す。換言すれば、割り当てベクトルγ（ｋ）の要素により、追加的なΟ−Ο_ＲＥＤ個のアンビエントＨＯＡ成分のＨＯＡ係数列のうちのいずれがＤ−Ｎ_{ＤＩＲ，ＡＣＴ}（ｋ−２）個の非アクティブな方向性信号のチャンネルに割り当てられるかについての情報が得られる。このベクトルは、ＨＯＡ圧縮解除のために行われる再配分処理の初期化（項目Ｂ参照）を可能にするために、追加的に、フレームレートによる送信よりも低い頻度ではあるが送信されることがある。知覚符号化ステップ／ステージ１７は、フレームＹ（ｋ−２）のＩ個のチャンネルを符号化し、符号化されたフレーム

を出力する。

ステップ／ステージ１６でベクトルγ（ｋ）が送信されないフレームについては、圧縮解除側で、データ・パラメータ・セット

および

がベクトルγ（ｋ）の代わりに再配分を行うために使用される。

Ａ．１ 支配的な音源方向の推定
図１の支配的な音源方向に対する推定ステップ／ステージ１３が図２により詳細に描かれている。これは、本質的に、欧州特許出願第１３３０５１５６号に記載された内容に従って行われるが、決定的な違いがある。その決定的な違いは、支配的な音源の数を決定する手法である。支配的な音源の数は、所与のＨＯＡ表現から抽出される方向性信号の数に対応する。この数は重要であり、その理由は、より多くの方向性信号を使用すること、あるいはその代わりに、より多くのＨＯＡ係数列を使用してアンビエントＨＯＡ成分をより良好にモデル化することのいずれかによって、所与のＨＯＡ表現がより良好に表現されているかを制御するためにこの数が使用されるからである。

支配的な音源方向の推定は、入力されるＨＯＡ係数列の長いフレーム

を使用して、支配的な音源方向の予備サーチで、ステップまたはステージ２１において開始する。予備的な方向推定値

と共に、個々の音源によって形成されるものとされる、予備的な方向推定値に対応する方向性信号

およびＨＯＡ音場成分

を欧州特許出願第１３３０５１５６号に記載された内容に従って算出する。

ステップまたはステージ２２において、予備的な方向推定値、方向性信号、およびＨＯＡ音場成分は、抽出される方向性信号の数

を決定するために入力されるＨＯＡ係数列のフレーム

と共に使用される。結果として、

の方向性推定値

、これと対応する方向性信号

、およびＨＯＡ音場成分

が破棄される。代わりに、

の方向推定値

のみが、次に、既に見つかっている音源に対して割り当てられる。

ステップまたはステージ２３において、結果として得られる方向軌跡は、音源動きモデルに従ってスムージング（滑らかに）され、音源のいずれがアクティブであるとされるかが決定される（欧州特許出願第１３３０５１５６号参照）。この最後の処理により、アクティブな方向性音源のインデックスのセット

とこれに対応する方向推定値のセット

とが得られる。

Ａ．２ 抽出される方向性信号の数の決定
ステップ／ステージ２２において方向性信号の数を決定するために、知覚的に最も関連する音場情報を捕捉するために利用される所与の合計数のＩ個のチャンネルが存在する状況が想定される。したがって、全体としてのＨＯＡ圧縮／圧縮解除品質にとって、より多くの方向性信号を使用すること、あるいは、アンビエントＨＯＡ成分のより良好なモデル化のためにより多くのＨＯＡ係数列を使用することのいずれかによって、現在のＨＯＡ表現がより良好に表現されるかという課題を考慮して、抽出される方向性信号の数が決定される。抽出される方向性音源の数を決定するための基準をステップ／ステージ２２において導出するために、どの基準が人間の知覚に関連しているか、ＨＯＡ圧縮が、特に、以下の２つの処理によって行われることが考慮される。
−アンビエントＨＯＡ成分を表現するためのＨＯＡ係数列の低減（これは、関連するチャンネルの数の低減を意味する）
−方向性信号およびアンビエントＨＯＡ成分を表現するためのＨＯＡ係数列の知覚符号化

抽出された方向性信号の数Ｍ（０≦Ｍ≦Ｄ）に依存して、１番目の処理により、下記の式に従って近似計算が行われる。

ここで、

は、Ｍ個の個々に考慮される音源によって形成されるとするＨＯＡ音場成分

Ａ４１から構成される方向性成分のＨＯＡ表現を示し、

は、Ｉ−Ｍ個の非零ＨＯＡ係数列のみを用いたアンビエント成分のＨＯＡ表現を示している。

２番目の処理からの近似計算を下記の式によって表現することができる。

ここで、

および

は、それぞれ、知覚復号処理の後に合成された方向性成分およびアンビエントＨＯＡ成分を示している。

基準の形成
抽出される方向性信号の数

は、合計近似誤差（ここで

である）

が人間の知覚の点で可能な限り顕著とならないように選択される。これを確実にするために、個々のバーク尺度臨界帯域に対する合計誤差の方向性パワー分布は、所定の数Ｑ個のテスト方向Ω_q （ｑ＝１，… ，Ｑ）で考慮される。このテスト方向は、単位球面上でほぼ均一に分布する。より具体的に述べると、ｂ番目の臨界帯域（ｂ＝１，… ，Ｂ）に対する方向性パワー分布は、下記のベクトルによって表現される。

ベクトルの成分

は、方向Ω_q、ｂ番目のバーク尺度臨界帯域、およびｋ番目のフレームに関連する合計誤差

のパワーを示す。合計誤差

の方向性パワー分布

は、元のＨＯＡ表現

による下記の方向性知覚マスキングパワー分布と比較される。

次に、各テスト方向Ω_qおよび臨界帯域ｂに対して、合計誤差の知覚レベル

が算出される。知覚レベルは、ここで、本質的に、合計誤差

の方向性パワーと方向性マスキングパワーとの比率として下記の式に従って定義される。

「１」を減算し、連続的な最大値を求める処理が行われ、誤差パワーがマスキング閾値未満である限り確実に知覚レベルが零になるようにする。最終的に、抽出される方向性信号の数

は、全ての臨界帯域に亘る誤差知覚レベルの最大値の全てのテスト方向に対する平均値が最小になるように、すなわち、下記の式に従って選択される。

なお、代替的には、式（１５）において誤差知覚レベルの最大値を平均化処理によって置き換えることができる。

方向性知覚マスキングパワー分布の算出
元のＨＯＡ表現

による方向性知覚マスキングパワー分布

の算出のために、元のＨＯＡ表現

は、テスト方向Ω_q （ｑ＝１，… ，Ｑ）から到来する一般的な平面波

によって表現されるようにするために、空間領域に変換される。行列

内の一般的な平面波信号

を

のように配列すると、空間領域への変換は、下記の処理によって表現される。

ここで、Ξは、テスト方向Ω_q （ｑ＝１，… ，Ｑ）に対して以下の式によって定義されるモード行列を示す。

ここで、Ｓ_q：＝

元のＨＯＡ表現

による、方向性知覚マスキングパワー分布

の要素

は、個々の臨界帯域ｂに対する一般的な平面波関数

のマスキングパワーに対応する。

方向性パワー分布の算出
以下の説明において、方向性パワー分布

を算出するための以下の２つの代替策が示される。

ａ．１つの可能性は、項目Ａ．２の最初に記載されている２つの処理を実行することによって、所望のＨＯＡ表現

の近似値

を実際に算出することである。次に、合計近似誤差

が式（１１）に従って算出される。次に、合計近似誤差

が、テスト方向Ω_q （ｑ＝１，… ，Ｑ）から到来する一般的な平面波

によって表現されるために、空間領域に変換される。一般的な平面波信号を以下のように表される行列

内に配置すると、

空間領域への変換は、下記の処理によって表現される。

合計近似誤差

の方向性パワー分布

の要素

は、個々の臨界帯域ｂ内で一般的な平面波関数

のパワーを算出することによって取得される。

ｂ．代替的な解決法は、

の代わりに近似値

のみを算出することである。この方法には、個々の信号の複雑な知覚符号化を直接行う必要がないという利点がある。この代わりに、個々のバーク尺度臨界帯域内の知覚量子化誤差のパワーを知ることで十分である。この目的のため、式（１１）に定義された合計近似誤差を、以下の３つの近似誤差の合計として記述することができる。

この３つの近似誤差は、互いに独立しているものと仮定することができる。この独立性のため、合計誤差

の方向性パワー分布は、３つの個々の誤差

、

、および

の方向性パワー分布の合計として表現することができる。

以下、個々のバーク尺度臨界帯域に対する３つの誤差の方向性パワー分布をどのように算出するかについて記載する。

ａ．誤差

の方向性パワー分布を算出するために、まず、下記の式によって、空間領域への変換が行われる。

ここで、近似誤差

は、したがって、テスト方向Ω_q （ｑ＝１，… ，Ｑ）から到来する一般的な平面波

によって表現され、これは、下記の式に従って、行列

内に配列される。

結果として、近似誤差

の方向性パワー分布

の要素

は、個々の臨界帯域ｂ内で、一般的な平面波関数

のパワーを算出することによって取得される。

ｂ．誤差

の方向性パワー分布

を算出するために、方向性信号

を知覚符号化することによって、この誤差が方向性ＨＯＡ成分

に導入されることに留意すべきである。さらに、方向性ＨＯＡ成分が式（８）によって与えられることを考慮すべきである。そして、簡略化のために、ＨＯＡ成分

が、空間領域内で、Ο個の一般的な平面波関数

によって、等価的に表現されるものと仮定する。これは、単なるスケーリングによって、すなわち、下記の式に従って方向性信号

から形成される。

ここで、

は、スケーリング・パラメータを示している。各々の平面波方向

は、単位球面上で均一に分布し、

が方向推定値

と対応するように、回転されるものと仮定される。したがって、スケーリング・パラメータ

は「１」である。

回転された方向

に対して

をモード行列として定義し、

に従ってベクトル内の全てのスケーリング・パラメータ

を配列すると、ＨＯＡ成分

を下記の式のように記述することができる。

結果として、真の方向性ＨＯＡ成分

と、

によって知覚復号された方向性信号

（ｄ＝１，… ，Ｍ）が合成されたものとの間の誤差

（式（２３）参照）は、下記の式で表される知覚符号化誤差

の点で個々の方向性信号において下記の式によって表現することができる。

テスト方向Ω_q （ｑ＝１，… ，Ｑ）に対して、空間領域内の誤差

の表現は、下記の式によって与えられる。

ベクトルの要素β^（ｄ）（ｋ）を

と表し、個々の知覚符号化誤差

が互いに独立しているものと仮定することにより、式（３５）から、知覚符号化誤差

の方向性パワー分布

の要素

は、下記の式によって算出することができる。

は、方向性信号

におけるｂ番目の臨界帯域内の知覚量子化誤差のパワーを表現するように想定されている。このパワーは、方向性信号

の知覚マスキングパワーに対応するものとすることができる。

ｃ．アンビエントＨＯＡ成分のＨＯＡ係数列の知覚符号化の結果として得られる誤差

の方向性パワー分布

を算出するために、各ＨＯＡ係数列が独立して符号化されるものとする。したがって、各バーク尺度臨界帯域内の個々のＨＯＡ係数列内に導入される誤差は、相関性がないとすることができる。これは、誤差

の係数間相関行列は、各バーク尺度臨界帯域に対して対角である、すなわち、下記の式で表される。

要素

は、

内のｏ番目の符号化されたＨＯＡ係数列におけるｂ番目の臨界帯域内の知覚量子化誤差のパワーを表現するものとする。これは、ｏ番目のＨＯＡ係数列

の知覚マスキングパワーに対応するものと仮定することができる。したがって、知覚符号化誤差

の方向性パワー分布は、下記の式によって算出される。

Ｂ．改良されたＨＯＡ圧縮解除
対応するＨＯＡ圧縮解除処理が図３に示されており、このＨＯＡ圧縮解除処理は、以下のステップまたはステージを含む。

ステップまたはステージ３１において、

内の復号された信号を取得するために、

内に含まれるＩ個の信号の知覚復号処理が行われる。

信号再配分ステージまたはステージ３２において、

内の知覚復号された信号は、方向性信号のフレーム

およびアンビエントＨＯＡ成分のフレーム

を再形成するために再配分される。インデックスのデータセット

および

を使用して、ＨＯＡ圧縮に対して行われる割り当て処理を再現することによって、どのように信号を再配分するかについての情報が取得される。これは、再帰的な処理であるため（項目Ａ参照）、例えば、送信に不具合が発生しているような場合に再配分処理を初期化できるようにするために、追加的に送信される割り当てベクトルγ（ｋ）を使用することができる。

合成ステップまたはステージ３３において、（欧州特許出願第１２３０６５６９号の図２ｂおよび図４に関連して記載されている処理に従って、）方向性信号のフレーム

、対応する方向のセット

と共にアクティブな方向性信号のインデックスのセット

、方向性信号からのＨＯＡ表現の部分を予測するためのパラメータζ（ｋ−２）、および低減されたアンビエントＨＯＡ成分のＨＯＡ係数列のフレーム

を使用して、所望の合計ＨＯＡ表現の現在のフレーム

が再合成される。

は、欧州特許出願第１２３０６５６９号における

に対応し、

および

は、欧州特許出願第１２３０６５６９号における

に対応する。ここでアクティブな方向性信号のインデックスは、

の行列要素においてマーク付けされる。すなわち、均一に分布する方向に対する方向性信号は、予測のための受信済のパラメータ（ζ（ｋ−２））を使用して方向性信号

から予測される。その後、現在の圧縮解除されたフレーム

が、方向性信号

のフレーム、予測された部分および低減されたアンビエントＨＯＡ成分

から再合成される。

Ｃ． 高次アンビソニックスの基礎
高次アンビソニックス（ＨＯＡ）は注目されるコンパクトな領域内の音場の記述に基づいており、音源が存在しないものと仮定される。その場合、注目領域内の時間ｔおよび位置ｘでの音圧ｐ（ｔ，ｘ）の空間時間的な挙動は、均質媒質の波動方程式によって物理的に完全に求められる。以下の内容は、図４に示された球面座標システムに基づいている。使用されている座標システムにおいて、ｘ軸は前方の位置を指し、ｙ軸は左側を指し、ｚ軸は上方を指す。空間内の位置ｘ＝（ｒ，θ，φ）^Ｔは、半径ｒ＞０（すなわち、座標原点への距離）、極軸ｚから測定される傾斜角θ∈［０，π］、さらに、ｘ軸からの、ｘ−ｙ平面内で反時計周りに測定される、方位角φ∈［０，２π］によって表される。さらに、（・）^Ｔは、転置を表す。

Ｆ_ｔ（・）によって表される時間に対する音圧のフーリエ変換、すなわち、

は下記の式に従った一連の球面調和関数に拡張される（Ｅ.Ｇ. Ｗｉｌｌｉａｍｓ著“Ｆｏｕｒｉｅｒ Ａｃｏｕｓｔｉｃｓ（フーリエ・アコースティックス））”、応用数理科学、第９３巻、アカデミックプレス社、１９９９年参照）。ここで、ωは角周波数を表し、ｉは虚数単位を表す。

式（４０）において、ｃ_ｓは音速を示し、ｋは角波数を示し、この角波数ｋはｋ＝ｗ／ｃ_ｓによって角周波数ωに関連している。さらに、ｊ_ｎ（・）は、第１種球ベッセル関数を表しており、

は、Ｃ．１の項目で定義されている次数ｎおよび位数ｍの実数値の球面調和関数を示している。展開係数

は、角波数ｋのみに依存する。上述した内容において、音圧は、空間的に帯域制限されているものと暗黙的に仮定されている。したがって、球面調和関数の級数が次数インデックスｎに対して上限Ｎで打ち切られ、これは、ＨＯＡ表現の次数と呼ばれる。

音場が相異なる角周波数ωの調和平面波の無限個の重ね合わせによって表現され、角の組（θ，φ）によって特定される全ての想定可能な方向から到来する場合には、各々の平面波複素振幅関数Ｃ（ω，θ，φ）は、下記の球面調和展開によって表すことができることが分かる（Ｂ. Ｒａｆａｅｌｙ著、“Ｐｌａｎｅ−ｗａｖｅ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｏｆ ｔｈｅ Ｓｏｕｎｄ Ｆｉｅｌｄ ｏｎ ａ Ｓｐｈｅｒｅ ｂｙ Ｓｐｈｅｒｉｃａｌ Ｃｏｎｖｏｌｕｔｉｏｎ（球面畳み込みによる球面上の音場の平面波分解）”、米国音響学会誌４(１１６)、２１４９−２１５７頁、２００４年参照）。

ここで、展開係数

は、展開係数

と下記の式によって関連する。

個々の係数

が角周波数ωの関数であると仮定すると、逆フーリエ変換（

）によって示される）を適用することにより、下記の時間領域関数をもたらす。

これは、各次数ｎおよび位数ｍに対して、下記の単一のベクトルｃ（ｔ）にまとめられる。

ベクトルｃ（ｔ）内の時間領域関数

の位置インデックスは、ｎ（ｎ＋１）＋１＋ｍによって与えられる。ベクトルｃ（ｔ）内の要素の総計は、Ο＝（Ｎ＋１）^２によって与えられる。

最終的なアンビソニックス形式は、サンプリング周波数ｆ_ｓを使用して、下記のｃ（ｔ）のサンプリングされたバージョンをもたらす。

ここで、Ｔ_ｓ＝１／ｆ_ｓは、サンプリング期間を示す。ｃ（ｌＴ_ｓ）の要素は、アンビソニックス係数として参照される。時間領域信号

は実数値であり、したがって、アンビソニックス係数は実数値である。

Ｃ．１ 実数値の球面調和関数の定義
実数値の球面調和関数

は、下記の式によって与えられる。

ここで

関連するルジャンドル関数Ｐ_ｎ，ｍ（ｘ）は、下記の式で定義される。

ここで、ルジャンドル多項式Ｐ_ｎ（ｘ）を用い、上述した、Ｅ．Ｇ．Ｗｉｌｌｉａｍｓ著の文献の場合とは異なり、コンドン-ショートレーの位相項（−１）^ｍを用いない。

Ｃ．２ 高次アンビソニックスの空間解像度
方向Ω_０＝（θ_０，φ_０）^Ｔから到来する一般的な平面波関数ｘ（ｔ）は、下記の式によってＨＯＡにおいて表現される。

平面波振幅の対応する空間密度

は、下記の式によって与えられる。

式（５１）から理解されるように、これは、一般的な平面波関数ｘ（ｔ）と空間分散関数ν_Ｎ（Θ）との積であり、空間分散関数ν_Ｎ（Θ）は、下記の式の特性を有するΩとΩ_０との間の角度Θのみに依存するように示されている。

想定のとおり、無限次元の極限、つまり、Ｎ→∞である場合において、空間分散関数は
ディラックのデルタ関数δ（・）、すなわち、下記のように変化する。

しかしながら、有限次元Ｎの場合には、方向Ω_０からの一般的な平面波の寄与は、近隣の方向ににじみ、このにじみの度合いは次数の増加に伴い減少する。Ｎの複数の異なる値に対する正規化された関数ν_Ｎ（Θ）のプロットが図５に示されている。

任意の方向Ωでの平面波振幅の空間密度の時間領域の挙動は、他の任意の方向での平面波振幅の空間密度の時間領域の挙動の倍数となることが指摘される。特に、時間ｔに対して、何らかの所定方向Ω_１およびΩ_２についての関数ｃ（ｔ，Ω_１）およびｃ（ｔ，Ω_２）は、高い相関性がある。

Ｃ．３ 球面調和関数変換
平面波振幅の空間密度がΟ個の空間方向Ω_ｏ（１≦ο≦Ο）で離散化される場合、空間方向Ω_ｏは単位球面上でほぼ均一に分布するのだが、Ο個の方向性信号ｃ（ｔ，Ω_ｏ）が取得される。これらの信号をベクトルにまとめると、下記の式で表され、

式（５０）を使用してこのベクトルを、下記のような単純な行列乗算によって式（４４）に定義される連続的なアンビソニックス表現ｃ（ｔ）から計算可能であることを検証できる。
ｃ_ＳＰＡＴ（ｔ）＝Ψ^Ｈｃ（ｔ） （５５）
ここで、（・）^Ｈは、複素共役転置を示し、Ψは、下記の式によって定義されるモード行列を表す。

ここで、

方向Ω_ｏは単位球面上にほぼ均一に分布しているため、一般的には、モード行列は、可逆である。したがって、連続的なアンビソニックス表現は、方向性信号ｃ（ｔ，Ω_ｏ）から下記の式によって計算することができる。

双方の式は、アンビソニックス表現と空間領域との間の変換および逆変換を構成する。本願において、これらの変換は、球面調和関数変換および逆球面調和関数変換と呼ばれる。

なお、方向Ω_ｏは単位球面上でほぼ均一に分布するため、近似計算

が利用可能となり、式（５５）において、Ψ^Ｈの代わりにΨ^−１を使用することが正当化される。

上述した関係の全てが離散時間領域にも有効であることは有利である。

本発明の処理を単一のプロセッサまたは電子回路、または、並列に動作する複数のプロセッサまたは電子回路、および／または、本発明の処理の複数の異なる部分に対して動作する、複数のプロセッサまたは電子回路で実行することができる。

Claims (2)

1. 圧縮された高次アンビソニックス（ＨＯＡ）表現を圧縮解除する方法であって、
   チャンネルの復号されたフレームを提供するために、現在の符号化圧縮されたフレームを復号することと、
   アンビエントＨＯＡ成分の包含される可能性のある係数列のインデックスを少なくとも示す割り当てベクトルと方向性信号のインデックスのデータセットとに基づいて、前記アンビエントＨＯＡ成分の対応するフレームを決定するために、チャンネルの前記復号されたフレームを再配分することと、
   検出された方向性信号のインデックスのデータセットと支配的な方向推定値のセットとに基づいて、前記アンビエントＨＯＡ成分の再形成されたフレームから、および方向性信号の再形成されたフレームから、前記ＨＯＡ表現の現在の圧縮解除されたフレームを再合成することと、
   を含み、
   前記方向性信号から、均一に分布した方向に対する方向性信号が予測され、その後に、前記現在の圧縮解除されたフレームは、前記予測された信号、前記アンビエントＨＯＡ成分、および前記方向性信号の再形成されたフレームから再合成される、方法。
2. 圧縮された高次アンビソニックス（ＨＯＡ）表現を圧縮解除する装置であって、
   チャンネルの復号されたフレームを提供するために、現在の符号化圧縮されたフレームを復号するプロセッサを含み、
   前記プロセッサは、アンビエントＨＯＡ成分の包含される可能性のある係数列のインデックスを少なくとも示す割り当てベクトルと方向性信号のインデックスのデータセットとに基づいて、前記アンビエントＨＯＡ成分の対応するフレームを決定するために、チャンネルの前記復号されたフレームを再配分するよう更に構成され、
   前記プロセッサは、検出された方向性信号のインデックスのデータセットと支配的な方向推定値のセットとに基づいて、前記アンビエントＨＯＡ成分の再形成されたフレームから、および方向性信号の再形成されたフレームから、前記ＨＯＡ表現の現在の圧縮解除されたフレームを再合成するよう更に構成され、
   前記方向性信号から、均一に分布した方向に対する方向性信号が予測され、その後に、前記現在の圧縮解除されたフレームは、前記予測された信号、前記アンビエントＨＯＡ成分、および前記方向性信号の再形成されたフレームから再合成される、装置。

Images