JP6490068B2 - Ｈｏａ信号の係数領域表現からこのｈｏａ信号の混合した空間／係数領域表現を生成する方法および装置 - Google Patents

Description

本発明は、ＨＯＡ信号の係数領域表現からこのＨＯＡ信号の混合した空間／係数領域表現を生成する方法および装置であって、ＨＯＡ信号の数を可変とすることができる、方法および装置に関する。

ＨＯＡと称する高次アンビソニックスは、２次元または３次元の音場の数学的な記述である。音場は、マイクロフォン・アレイによって捉えることができ、あるいは合成音源から設計することができ、あるいは音場はその両方の組み合わせである。ＨＯＡは、２次元または３次元のサラウンド・サウンドのための伝送フォーマットとして使用することができる。ラウドスピーカに基づくサラウンド・サウンド表現とは対照的に、ＨＯＡの利点は、様々なラウドスピーカの構成で音場を再現することである。そのため、ＨＯＡはユニバーサル・オーディオ・フォーマットに適している。

ＨＯＡの空間解像度は、ＨＯＡの次数によって決まる。この次数は音場を記述するＨＯＡ信号の数を決める。ＨＯＡには２つの表現があり、それぞれ、空間領域および係数領域と呼ばれている。大抵の場合には、ＨＯＡは、もともと係数領域で表現され、行列乗算（または変換）によって空間領域に変換される（欧州特許出願公開第２４６９７４２号に記載されている。）。空間領域は、係数領域と同じ数の信号を含む。しかしながら、空間領域においては、各信号は方向に関連し、その方向は単位球面上に一様に分布している。これにより、ＨＯＡ表現の空間分布を分析することが容易になる。係数領域表現は、空間領域表現と同様に時間領域表現である。

以下の説明において基本的には、ねらいは、各方向に対して同一のダイナミックレンジをもたらすために、ＨＯＡ表現のＰＣＭ伝送のために可能な限り空間領域を使用することである。これにより、空間領域におけるＨＯＡ信号のＰＣＭサンプルが所定の値の範囲に正規化されなければならないことを意味する。しかしながら、このような正規化の欠点は、空間領域におけるＨＯＡ信号のダイナミックレンジが係数領域よりも小さいことである。これは、係数領域信号から空間領域信号を生成する変換行列によって生ずる。

あるアプリケーションでは、ＨＯＡ信号が係数領域において送信されるものがある。例えば、欧州特許出願第１３３０５５５８号に記載された処理では、全ての信号が係数領域において送信される。それは定数のＨＯＡ信号および可変数の追加のＨＯＡ信号が送信されるからである。しかし、上述および欧州特許出願公開第２４６９７４２号に示されているように、係数領域における送信は有利ではない。

解決法として、定数のＨＯＡ信号を空間領域において送信することができ、可変数の追加のＨＯＡ信号のみを係数領域で伝送する。追加のＨＯＡ信号を空間領域で伝送することは可能ではない。その理由は、ＨＯＡ信号の数が経時的に変化すると、係数領域から空間領域への変換行列が経時的に変化し、後続する知覚符号化処理にとって最適であるとはいえない不連続部が全ての空間領域信号で生ずることがあるからである。

この追加のＨＯＡ信号を所定の値の範囲を超えることなく送信できるようにするために、このような信号の不連続部を回避するように設計されており、反転パラメータの効率的な送信を達成する可逆の正規化処理を使用することができる。

２つのＨＯＡ表現のダイナミックレンジおよびＰＣＭ符号化のためのＨＯＡ信号の正規化に関し、以下、このような正規化が係数領域で行われるべきか、空間領域で行われるべきかを導く。

係数時間領域において、ＨＯＡ表現は、Ｎ個の係数信号

の連続するフレームから構成される。ここで、ｋはサンプル・インデックスを示し、ｎは信号インデックスを示す。

この係数信号は、コンパクトな表現を得るために、ベクトル

にまとめる。

空間領域への変換は、ＮｘＮの下記の変換行列によって行われる。

この変換は欧州特許出願第１２３０６５６９号に定義されており、式（２１）および（２２）に関連したΞ_GRIDの定義を参照されたい。

空間領域ベクトル

が下記の式から取得される。
ｗ（ｋ）＝Ψ^−１ｄ（ｋ） （１）
ここで、Ψ^−１は行列Ψの逆行列である。

空間領域から係数領域への逆変換は、下記の式によって行われる。
ｄ（ｋ）＝Ψｗ（ｋ） （２）
サンプルの値の範囲が、一方の領域において定義されると、変換行列Ψは、自動的に他方の領域の値の範囲を定める。以下の説明では、ｋ番目のサンプルに対する項（ｋ）を省略する。

ＨＯＡ表現は実際には空間領域で再生されるため、値の範囲、ラウドネスおよびダイナミックレンジは空間領域において定義される。ダイナミックレンジはＰＣＭ符号化のビット解像度によって定義される。本出願において、「ＰＣＭ符号化」は、浮動小数点表現サンプルから固定小数点の表記での整数表現サンプルへの変換を意味する。

ＨＯＡ表現のＰＣＭ符号化のためには、Ｎ個の空間領域信号が、最大のＰＣＭ値Ｗ_ｍａｘにアップスケーリングされ、固定小数点の整数ＰＣＭ表記に端数処理されるように、−１≦ｗ_ｎ＜１の値の範囲に正規化されなければならない。

注：これは、一般化されたＰＣＭ符号化表現である。

係数領域のサンプルの値の範囲は、（４）式によって定義される行列Ψの無限ノルムと、

空間領域における最大絶対値ｗ_ｍａｘ＝１とによって算出することができ、下記の式のようになる。

行列Ψに使用されている定義から、

の値は「１」よりも大きいため、ｄ_ｎの値の範囲は増加する。

逆に言うと、

であるため、係数領域における信号のＰＣＭ符号化には

による正規化が必要であることを意味する。しかしながら、この正規化は、係数領域における信号のダイナミックレンジを減少させ、この結果として、信号対量子化雑音比が低下することになる。したがって、空間領域信号をＰＣＭ符号化することが好ましい。

本発明によって解決される課題は、係数領域におけるダイナミックレンジを減少させることなく、正規化を使用して空間領域が所望されているＨＯＡ信号の部分を係数領域においてどのように送信するかである。さらに、正規化された信号は、信号レベルの不連続な変化によって生じる品質の劣化を起こさずに知覚符号化を行うために、信号レベルの不連続な変化を含んではならない。この課題は、請求項１および６に開示された方法によって解決される。この方法を使用する装置が請求項２および７にそれぞれ開示されている。

原理的には、本発明の生成方法は、ＨＯＡ信号の係数領域表現から上記ＨＯＡ信号の混合した空間／係数領域表現を生成するのに適している。連続する係数フレーム内で上記ＨＯＡ信号の数を経時的に可変とすることができる。この方法は、
−ＨＯＡ係数領域信号のベクトルを、ある定数のＨＯＡ係数を有する係数領域信号の第１のベクトルと、経時的に可変数のＨＯＡ係数を有する係数領域信号の第２のベクトルとに分離するステップと、
−係数領域信号の上記第１のベクトルを変換行列の逆行列と乗算することによって、係数領域信号の上記第１のベクトルを空間領域信号の対応するベクトルに変換するステップと、
−空間領域信号の上記ベクトルをＰＣＭ符号化してＰＣＭ符号化された空間領域信号のベクトルを取得するステップと、
−正規化因子によって係数領域信号の上記第２のベクトルを正規化するステップであって、上記正規化は、係数領域信号の上記第２のベクトルの上記ＨＯＡ係数の現在の値の範囲に対して適応的な正規化であり、上記正規化において上記ベクトルのＨＯＡ係数に対して利用可能な値の範囲は超過することがなく、上記ベクトル内の利得を前の第２のベクトルにおける利得から後続する第２のベクトルにおける利得に連続的に変化させるために、上記正規化において、一様に連続する遷移関数が現在の第２のベクトルの係数に適用され、上記正規化は対応する復号器側の非正規化のための副情報を提供する、上記ステップと、
−正規化された係数領域信号の上記ベクトルをＰＣＭ符号化してＰＣＭ符号化され正規化された係数領域信号のベクトルを取得するステップと、
−ＰＣＭ符号化された空間領域信号の上記ベクトルと、ＰＣＭ符号化され正規化された係数領域信号の上記ベクトルとを多重化するステップと、を含む。

原理的には、本発明の生成装置は、ＨＯＡ信号の係数領域表現から上記ＨＯＡ信号の混合した空間／係数領域表現を生成するのに適している。連続する係数フレーム内で上記ＨＯＡ信号の数を経時的に可変とすることができる。この装置は、
−ＨＯＡ係数領域信号のベクトルを、ある定数のＨＯＡ係数を有する係数領域信号の第１のベクトルと、経時的に可変数のＨＯＡ係数を有する係数領域信号の第２のベクトルとに分離するように構成された手段と、
−係数領域信号の上記第１のベクトルを、変換行列の逆行列と乗算することによって、係数領域信号の上記第１のベクトルを空間領域信号の対応するベクトルに変換するように構成された手段と、
−空間領域信号の上記ベクトルをＰＣＭ符号化してＰＣＭ符号化された空間領域信号のベクトルを取得するように構成された手段と、
−正規化因子によって係数領域信号の上記第２のベクトルを正規化するように構成された手段であって、上記正規化は、係数領域信号の上記第２のベクトルの上記ＨＯＡ係数の現在の値の範囲に対して適応的な正規化であり、上記正規化において上記ベクトルのＨＯＡ係数に対して利用可能な値の範囲は超過することがなく、上記ベクトル内の利得を前の第２のベクトルにおける利得から後続する第２のベクトルにおける利得に連続的に変化させるために、上記正規化において、一様に連続する遷移関数が現在の第２のベクトルの係数に適用され、上記正規化は対応する復号器側の非正規化のための副情報を提供する、上記手段と、
−正規化された係数領域信号の上記ベクトルをＰＣＭ符号化してＰＣＭ符号化され正規化された係数領域信号のベクトルを取得するように構成された手段と、
−ＰＣＭ符号化された空間領域信号の前記ベクトルと、ＰＣＭ符号化され正規化された係数領域信号の上記ベクトルとを多重化するように構成された手段と、を含む。

原理的には、本発明の復号方法は、符号化されたＨＯＡ信号の混合した空間／係数領域表現を復号するのに適している。連続する係数フレーム内で上記ＨＯＡ信号の数を経時的に可変とすることができ、符号化されたＨＯＡ信号の上記混合した空間／係数領域表現は、上記の本発明の生成方法に従って生成されており、上記復号方法は、
−ＰＣＭ符号化された空間領域信号とＰＣＭ符号化され正規化された係数領域信号との上記多重化されたベクトルを逆多重化するステップと、
−ＰＣＭ符号化された空間領域信号の上記ベクトルを上記変換行列と乗算することによってＰＣＭ符号化された空間領域信号の上記ベクトルを係数領域信号の対応するベクトルに変換するステップと、
−ＰＣＭ符号化され正規化された係数領域信号の上記ベクトルを非正規化するステップであって、上記非正規化は、
−−受信した上記副情報の対応する冪指数ｅ_ｎ（ｊ−１）および再帰的に算出された利得値ｇ_ｎ（ｊ−２）を使用して、遷移ベクトルｈ_ｎ（ｊ−１）を算出することであって、処理されるＰＣＭ符号化され正規化された係数領域信号の後続するベクトルの対応する処理に対する利得値ｇ_ｎ（ｊ−１）が保持され、ｊはＨＯＡ信号ベクトルの入力行列の連続するインデックスである、上記遷移ベクトルを算出することと、
−−ＰＣＭ符号化され正規化された信号の現在のベクトルに対して対応する逆利得値（利得値の逆数）を適用して上記ＰＣＭ符号化され非正規化された信号の対応するベクトルを取得することと、
を含む、上記非正規化するステップと、
−係数領域信号の上記ベクトルおよび非正規化された係数領域のベクトルを合成して可変数のＨＯＡ係数を有することができるＨＯＡ係数領域信号の結合されたベクトルを取得するステップと、を含む。

原理的には、本発明の復号装置は、符号化されたＨＯＡ信号の混合した空間／係数領域表現を復号するのに適している。連続する係数フレーム内で上記ＨＯＡ信号の数を経時的に可変とすることができ、符号化されたＨＯＡ信号の上記混合した空間／係数領域表現は、上記発明の生成方法に従って生成されており、上記復号装置は、
−ＰＣＭ符号化された空間領域信号とＰＣＭ符号化され正規化された係数領域信号との上記多重化されたベクトルを逆多重化するように構成された手段と、
−ＰＣＭ符号化された空間領域信号の上記ベクトルを上記変換行列と乗算することによってＰＣＭ符号化された空間領域信号の上記ベクトルを係数領域信号の対応するベクトルに変換するように構成された手段と、
−ＰＣＭ符号化され正規化された係数領域信号の上記ベクトルを非正規化するように構成された手段であって、上記非正規化は、
−−受信した前記副情報の対応する冪指数ｅ_ｎ（ｊ−１）および再帰的に算出された利得値ｇ_ｎ（ｊ−２）を使用して、遷移ベクトルｈ_ｎ（ｊ−１）を算出することであって、処理されるべきＰＣＭ符号化され正規化された係数領域信号の後続するベクトルの対応する処理に対する利得値ｇ_ｎ（ｊ−１）が保持され、ｊは、ＨＯＡ信号ベクトルの入力行列の連続するインデックスである、上記遷移ベクトルを算出することと、
−−ＰＣＭ符号化され正規化された信号の現在のベクトルに対して対応する逆利得値（利得値の逆数）を適用して上記ＰＣＭ符号化され非正規化された信号の対応するベクトルを取得することと、
を含む、上記非正規化するように構成された手段と、
−係数領域信号の上記ベクトルおよび非正規化された係数領域のベクトルを合成して可変数のＨＯＡ係数を有することができるＨＯＡ係数領域信号の合成されたベクトルを取得するように構成された手段と、を含む。

本発明の追加的な実施形態の利点は、各従属請求項に開示されている。

本発明の例示的な実施形態が添付図面を参照して説明されている。

空間領域におけるもとの係数領域ＨＯＡ表現のＰＣＭ送信を示す図である。 係数領域および空間領域におけるＨＯＡ表現を組み合わせた送信を示す図である。 係数領域における信号に対してブロック単位で適応的な正規化を使用した係数領域および空間領域におけるＨＯＡ表現を組み合わせた送信を示す図である。 係数領域において表現されたＨＯＡ信号ｘ_ｎ（ｊ）に対する適応的正規化処理を示す図である。 ２つの異なる利得値間の円滑な遷移のために使用される遷移関数を示す図である。 適応的な非正規化処理を示す図である。 異なる冪指数ｅ_ｎを使用した遷移関数ｈ_n（ｌ）のＦＦＴ周波数スペクトルを示す図であり、ここで各関数の最大振幅は０ｄＢに正規化されている。 ３つの連続する信号ベクトルに対する例示的な遷移関数を示した図である。

空間領域におけるＨＯＡ表現のＰＣＭ符号化に関して、図１に示されているようなＨＯＡ表現のＰＣＭ送信を行えるように、（浮動小数点表現において）−１≦ｗ_ｎ＜１が満たされているものと仮定する。ＨＯＡ符号化器の入力部で、変換ステップまたはステージ１１は、式（１）を使用して、現在の入力信号フレームの係数領域信号ｄを空間領域信号ｗに変換する。ＰＣＭ符号化ステップまたはステージ１２は、式（３）を使用して浮動小数点サンプルｗを固定小数点の表記法のＰＣＭ符号化された整数サンプルｗ’に変換する。多重化ステップまたはステージ１３において、ＰＣＭ符号化された整数サンプルｗ’を多重化してＨＯＡ送信フォーマットにする。

ＨＯＡ復号器は、逆多重化ステップまたはステージ１４で、受信したＨＯＡ送信フォーマットから信号ｗ’に逆多重化し、ステップまたはステージ１５で式（２）を使用して信号ｗ’を再変換して係数領域信号ｄ’にする。この逆変換は、空間領域から係数領域への変換が常に整数（ＰＣＭ）から浮動小数点へのフォーマット変換を含むため、ｄ’のダイナミックレンジが増加する。

行列Ψが経時的に変化する場合には図１の標準的なＨＯＡ送信は失敗する。これは、ＨＯＡ信号の数またはインデックスが、連続するＨＯＡ係数シーケンス、つまり、連続する入力信号フレームに対して経時的に変化する場合である。上述したように、このような場合の一例は、欧州特許出願第１３３０５５５８号に記載されたＨＯＡ圧縮処理である。そのＨＯＡ圧縮処理では、ある定数のＨＯＡ信号が連続的に伝送され、経時的に可変数のＨＯＡ信号が変化する信号インデックスを伴って並列的に伝送される。その全ての信号は係数領域で送信され、これは上述したように最善とはいえない。

本発明によれば、図１に関連して説明される処理は図２に示されているように拡張することができる。

ステップまたはステージ２０において、ＨＯＡ符号化器は、ＨＯＡベクトルｄを２つのベクトルｄ_１およびｄ_２に分離する。ここで、ベクトルｄ_１に対するＨＯＡ係数の数Ｍは一定であり、ベクトルｄ_２は可変数Ｋ個のＨＯＡ係数を含む。信号インデックスｎは、ベクトルｄ_１に対して時間的に不変であるため、ＰＣＭ符号化は、空間領域において、ステップまたはステージ２１、２２、２３、２４、２５において、図２の下側の信号経路内に示されたｗ_１およびｗ’_１に対応する信号を用いて行われる。これは、図１のステップまたはステージ１１〜１５に対応する。しかしながら、多重化ステップ／ステージ２３は追加の入力信号ｄ”₂を取得し、ＨＯＡ復号器では逆多重化ステップ／ステージ２４は異なる出力信号ｄ”₂を供給する。

ベクトルｄ_２のＨＯＡ係数の数またはサイズＫは経時的に変化し、送信されるＨＯＡ信号のインデックスｎは経時的に変化する。これは空間領域での送信を妨げる。その理由は、経時的に変化する変換行列が必要となり、その結果、全ての知覚符号化されたＨＯＡ信号に不連続部が生ずることがあるからである（なお、知覚符号化ステップまたはステージは図に示されていない）。しかしながら、このような信号の不連続部は、送信された信号の知覚符号化の品質を低下させかねないため、回避されるべきである。

そこで、係数領域でｄ_２を送信すべきである。係数領域における信号の値の範囲が大きくなるため、信号は、ステップまたはステージ２７でＰＣＭ符号化が適用される前に、因子

によって、ステップまたはステージ２６でスケーリングされる。しかしながら、このようなスケーリングの欠点は、

の最大絶対値が最悪の推定値となることであり、通常は値の範囲が小さくなることが予期されるのでサンプルが最大絶対値となることはあまり多くは発生しない。その結果、ＰＣＭ符号化のために利用可能な分解能は効率的には使用されず、信号対量子化雑音比が低い。

逆多重化ステップ／ステージ２４の出力信号ｄ”₂は、因子

を使用してステップまたはステージ２８で逆スケーリングされる。結果として得られる信号

は、ステップまたはステージ２９において信号ｄ’₁と結合され、その結果、復号された係数領域ＨＯＡ信号ｄ’となる。

本発明によれば、信号の信号適応的な正規化を使用することで係数領域におけるＰＣＭ符号化の効率を向上させることができる。しかしながら、このような正規化は、可逆でなければならず、かつ、サンプルからサンプルに一様に連続していなければならない。必要なブロック単位の適応的処理が図３に示されている。ｊ番目の入力行列

は、Ｌ個のＨＯＡ信号ベクトルｄからなる（インデックスｊは図３に示されていない）。行列Ｄは、図２の処理の場合のように、２つの行列Ｄ_１およびＤ_２に分離される。ステップまたはステージ３１〜３５におけるＤ_１の処理は、図２および図１に関連して説明した空間領域における処理に対応する。しかし、係数領域信号の符号化は、ブロック単位の適応的正規化ステップまたはステージ３６を含み、この適応的正規化ステップまたはステージ３６は、信号の現在の値の範囲に自動的に適応し、その後、ＰＣＭ符号化ステップまたはステージ３７が行われる。行列Ｄ”₂における各ＰＣＭ符号化された信号の非正規化のために必要な副情報は、ベクトルｅ内に記憶および転送される。ベクトル

は、信号毎に１つの値を含む。受信側の復号器の対応する適応的非正規化ステップまたはステージ３８は、送信されたベクトルｅからの情報を使用して、正規化の逆を行って信号Ｄ”₂を信号

にする。その結果、得られた信号

は、ステップまたはステージ３９において、信号Ｄ’_１と結合され、その結果、復号された係数領域ＨＯＡ信号Ｄ’が得られる。

ステップ／ステージ３６における適応的正規化においては、最後の入力係数ブロックの利得から次の入力係数ブロックの利得に連続的に変化させるために、一様に連続する遷移関数が現在の入力係数ブロックのサンプルに適用される。この種の処理は、１つのブロックの遅延を必要とする。その理由は、正規化利得の変化は、１つ前の入力ブロックで検出されなければならないからである。その利点は、導入される振幅変調は小さいため、変調された信号の知覚符号化は非正規化された信号にほとんど影響を与えないことである。

適応的正規化の実施は、Ｄ_２（ｊ）のＨＯＡ信号毎に独立して行われる。信号は、以下の行列の行ベクトルｘ_ｎ ^Tによって表現される

ここで、ｎは、送信されたＨＯＡ信号のインデックスを表す。ｘ_ｎは、当初は列ベクトルであつたが、ここでは行ベクトルが必要であるため転置されている。

図４は、より詳細にステップ／ステージ３６における適応的正規化を示している。この処理の入力値は、以下の通りである。
・時間的にスムージングされた最大値ｘ_{ｎ，ｍａｘ，ｓｍ}（ｊ−２）
・利得値ｇ_ｎ（ｊ−２）、つまり、対応する信号ベクトル・ブロックｘ_ｎ（ｊ−２）のすぐ前の係数に適用される利得
・現在のブロックの信号ベクトルｘ_ｎ（ｊ）
・前のブロックの信号ベクトルｘ_ｎ（ｊ−１）

第１のブロックｘ_ｎ（０）の処理を開始すると、再帰的な入力値が所定の値によって初期化される。ベクトルｘ_ｎ（−１）の係数は、零に設定することができ、利得値ｇ_ｎ（−２）は、「１」に設定するとよく、ｘ_{ｎ，ｍａｘ，ｓｍ}（−２）は、所定の平均振幅値に設定するとよい。

その後、すぐ前のブロックｇ_ｎ（ｊ−１）の利得値、副情報ベクトルｅ（ｊ−１）の対応する値ｅ_ｎ（ｊ−１）、時間的にスムージングされた最大値ｘ_{ｎ，ｍａｘ，ｓｍ}（ｊ−１）、および正規化された信号ベクトルｘ’_ｎ（ｊ−１）が処理の出力である。

この処理の目的は信号ベクトルｘ_ｎ（ｊ−１）に適用される利得値をｇ_ｎ（ｊ−２）からｇ_ｎ（ｊ−１）に連続的に変更して、利得値ｇ_ｎ（ｊ−１）が信号ベクトルｘ_ｎ（ｊ）を正規化して適切な値の範囲にすることにある。

最初の処理ステップまたはステージ４１において、信号ベクトル

の各係数に利得値ｇ_ｎ（ｊ−２）を乗算する。ここで、ｇ_ｎ（ｊ−２）は、次の正規化利得のための基礎として、信号ベクトルｘ_ｎ（ｊ−１）の正規化処理から保持されている。結果として得られる正規化された信号ベクトルｘ_ｎ（ｊ）から、式（５）を使用してステップまたはステージ４２で絶対値の最大値ｘ_{ｎ，ｍａｘ}を得る。

ステップまたはステージ４３において、ｘ_{ｎ，ｍａｘ}に時間的なスムージングを適用する。この処理は、すぐ前の時間的なスムージング済みの最大値ｘ_{ｎ，ｍａｘ，ｓｍ}（ｊ−２）を受信する再帰的フィルタを使用して行われる。この結果、現在の時間的なスムージング済みの最大値ｘ_{ｎ，ｍａｘ，ｓｍ}（ｊ−１）が得られる。このようなスムージングの目的は、時間的に正規化利得の適応を弱め、これにより、利得の変更の回数を低減し、それで信号の振幅変調を低減することにある。値ｘ_{ｎ，ｍａｘ}が所定の値の範囲にある場合にのみ、時間的なスムージングが適用される。値ｘ_{ｎ，ｍａｘ}が所定の値の範囲にない場合は、ｘ_{ｎ，ｍａｘ，ｓｍ}（ｊ−１）をｘ_{ｎ，ｍａｘ}に設定する（すなわち、現在の状態のままでｘ_{ｎ，ｍａｘ}の値が保持される。）。その理由は、後続する処理がｘ_{ｎ，ｍａｘ}の実際の値を所定の値の範囲に減衰させなければならないからである。したがって、正規化利得が一定である場合か、信号ｘ_ｎ（ｊ）が値の範囲を外れることなく増幅される場合にのみ、時間的なスムージング処理が動作する。

ステップ／ステージ４３において、ｘ_{ｎ，ｍａｘ，ｓｍ}（ｊ−１）を以下のように算出する。

ここで、０＜ａ≦１は、減衰定数である。

ベクトルｅの送信のためのビットレートを低減するために、現在の時間的なスムージング済みの最大値ｘ_{ｎ，ｍａｘ，ｓｍ}（ｊ−１）から正規化利得を算出し、「２」を基数とする冪指数として送信する。したがって、

が満たされるべきであり、ステップまたはステージ４４において、量子化された冪指数ｅ_ｎ（ｊ−１）を下記の式から取得する

効率的なＰＣＭ符号化のために利用可能な解像度を利用するために信号が再度増幅されている（すなわち、合計利得の値が経時的に増加する）期間においては、冪指数ｅ_ｎ（ｊ）（したがって、連続するブロック間の利得差）は、小さな最大値、例えば「１」に制限されることがある。この処理には２つの有利な効果がある。その一方は、連続するブロック間の利得差が小さいと、遷移関数を通じて小さい振幅変調のみとなり、結果としてＦＦＴスペクトルの隣接するサブバンド間のクロストークが低減されることである（図７に関連した知覚符号化への遷移関数の影響についての関連記述を参照）。他方は、冪指数の符号化のためのビットレートは、その値範囲を制限することによって低減されることである。

合計の最大増幅の値

は制限することができ、例えば「１」に制限することができる。その理由は、係数信号の一つが、（空間領域におけるＨＯＡ表現の正規化を想定すると）１番目のブロックが極めて小さな振幅を有し、２番目のブロックが起こり得る最も高い振幅を有するという、２つの連続するブロック間で大きな振幅の変化を示す場合には、この２つのブロック間の極めて大きな利得差により、遷移関数を通じて振幅変調が大きくなり、結果として、ＦＦＴスペクトルの隣接するサブバンド間に重大なクロストークが生じるからである。これは、以下に説明する後続する知覚符号化処理にとって最適とはいえないことがある。

ステップまたはステージ４５において、冪指数値ｅ_ｎ（ｊ−１）を遷移関数に適用して、現在の利得値ｇ_ｎ（ｊ−１）を得る。利得値ｇ_ｎ（ｊ−２）から利得値ｇ_ｎ（ｊ−１）への連続する遷移に対して図５に示した関数を使用する。その関数の演算ルールは以下の通りである。

ここで、

である。実際の遷移関数ベクトル

は、ｇ_ｎ（ｊ−２）からｇ_ｎ（ｊ−１）に連続的にフェードする（ｆａｄｅ）ために使用される。例えば、ｅ_ｎ（ｊ−１）の各値に対して、ｆ（０）＝１であるため、ｈ_ｎ（０）の値は、ｇ_ｎ（ｊ−２）となる。ｆ（Ｌ−１）の最後の値は、０．５であるため、

は、結果として、式（９）からのｘ_ｎ（ｊ）の正規化に対して必要な増幅ｇ_ｎ（ｊ−１）が得られる。

ステップまたはステージ４６において、信号ベクトルｘ_ｎ（ｊ−１）のサンプルは、下記の式（１２）を得るために、遷移ベクトルｈ_ｎ（ｊ−１）の利得値によって重み付けされる。

ここで、

の演算子は、２つのベクトルのベクトル要素単位の乗算を表す。この乗算は、信号ｘ_ｎ（ｊ−１）の振幅変調を表すものと考えることもできる。

より詳細には、遷移ベクトル

の係数は、信号ベクトルｘ_ｎ（ｊ−１）の対応する係数によって乗算され、ここで、ｈ_ｎ（０）の値は、ｈ_ｎ（０）＝ｇ_ｎ（ｊ−２）であり、ｈ_ｎ（Ｌ−１）の値は、ｈ_ｎ（Ｌ−１）＝ｇ_ｎ（ｊ−１）である。したがって、遷移関数は、図８の例に示されているように、利得値ｇ_ｎ（ｊ−２）から利得値ｇ_ｎ（ｊ−１）に連続的にフェードする。これは、遷移関数ｈ_ｎ（ｊ）、ｈ_ｎ（ｊ−１）、およびｈ_ｎ（ｊ−２）からの利得値を示しており、この遷移関数は３つの連続するブロックに対する対応する信号ベクトルｘ_ｎ（ｊ）、ｘ_ｎ（ｊ−１）、およびｘ_ｎ（ｊ−２）に対して適用される。ダウンストリームの知覚符号化に関して、利点は、ブロック境界で適用される利得が連続していることである。遷移関数ｈ_ｎ（ｊ−１）は、ｘ_ｎ（ｊ−１）の係数の利得をｇ_ｎ（ｊ−２）からｇ_ｎ（ｊ−１）に連続的にフェードさせる。

復号器または受信器側での適応的な非正規化処理が図６に示されている。入力値は、ＰＣＭ符号化され正規化された信号ｘ”_ｎ（ｊ−１）、適切な冪指数e_n（ｊ−１）、およびすぐ前のブロックの利得値ｇ_ｎ（ｊ−２）である。すぐ前のブロックの利得値ｇ_ｎ（ｊ−２）は、再帰的に算出される。ここで、ｇ_ｎ（ｊ−２）は、符号化器に使用されている所定の値によって初期化されなければならない。出力は、ステップ／ステージ６１からの利得値ｇ_ｎ（ｊ−１）およびステップ／ステージ６２からの非正規化された信号

である。

ステップまたはステージ６１において、冪指数を遷移関数に適用する。ｘ_ｎ（ｊ−１）の値の範囲を復元するために、式（１１）は、受信した冪指数ｅ_ｎ（ｊ−１）および再帰的に算出された利得ｇ_ｎ（ｊ−２）から遷移ベクトルｈ_ｎ（ｊ−１）を算出する。次のブロックの処理のための利得ｇ_ｎ（ｊ−１）は、ｈ_ｎ（Ｌ−１）に設定される。

ステップまたはステージ６２において、逆利得（利得の逆数）が適用される。正規化処理で適用された振幅変調は、

によって逆処理される。ここで、

であり、

は、符号化器側または送信機側で使用されているベクトル要素単位の乗算である。ｘ’_ｎ（ｊ−１）のサンプルは、ｘ”_ｎ（ｊ−１）の入力ＰＣＭフォーマットによって表現することができず、非正規化は、例えば浮動小数点フォーマットのように、より広い値の範囲のフォーマットへの変換を必要とする。

副情報送信に関して、冪指数ｅ_ｎ（ｊ−１）の送信に対して、同一の値の範囲の連続するブロックに対して、適用される正規化利得は一定となるだろうから、その確率が一様になると仮定することはできない。したがって、エントロピー符号化は、例えば、ハフマン符号化と同様に、必要なデータ・レートを減少させるために、冪指数値に適用することができる。

上記処理の１つの欠点は、利得値ｇ_ｎ（ｊ−２）の再帰的な算出であろう。そのため、非正規化処理はＨＯＡストリームの最初からしか開始することができない。

この問題の１つの解決法は、ｇ_ｎ（ｊ−２）を規則的に算出するための情報を提供するために、アクセス・ユニットをＨＯＡフォーマットに追加することである。この場合、アクセス・ユニットは、ｔ番目のブロック毎に

が算出されて非正規化が開始されるように、ｔ番目のブロック毎に冪指数

を提供しなければならない。

正規化された信号ｘ’_ｎ（ｊ−１）の知覚符号化処理への影響は、ｈ_n（ｌ）の周波数応答

の絶対値によって分析される。周波数応答は、式（１５）によって示されているような、ｈ_n（ｌ）の高速フーリエ変換（ＦＦＴ）によって定義される。

図７は、振幅変調によって導入されるスペクトル変形を明確にするために、マグニチュードが（０ｄＢに）正規化されたＦＦＴスペクトルＨ_n（ｕ）を示している。|Ｈ_n（ｕ）|の減衰は、小さな冪指数では比較的に急激であり、冪指数が大きくなるほど平坦になる。

時間領域におけるｈ_n（ｌ）によるｘ_ｎ（ｊ−１）の振幅変調は、周波数領域におけるＨ_n（ｕ）による畳み込みと同等であるため、周波数応答Ｈ_n（ｕ）の急激な減衰により、ｘ’ _n（ｊ−１）のＦＦＴスペクトルの隣接するサブバンド間のクロストークが低減する。これは、ｘ’_n（ｊ−１）の後続する知覚符号化処理に大いに関連がある。その理由は、サブバンド・クロストークが信号の推定された知覚的な特徴に影響を与えるからである。したがって、急激なＨ_ｎ（ｕ）の減衰に対し、非正規化された信号ｘ_n（ｊ−１）に対してもまた、ｘ’ _n（ｊ−１）に対する知覚符号化処理の仮定が有効である。

これは、小さな冪指数に対して、ｘ’_n（ｊ−１）の知覚符号化処理がほぼｘ_ｎ（ｊ−１）の知覚符号化処理と同等であることと、さらに、正規化された信号の知覚符号化処理が、冪指数の大きさが小さい限り、非正規化された信号に対してほとんど影響を与えないことを示している。

本発明の処理は、送信側および受信側で単一のプロセッサまたは電子回路によって実行することができ、あるいは、並列に動作する、且つ／または、本発明の処理の複数の異なる部分に対して動作する、幾つかのプロセッサまたは電子回路によって実行することもできる。

Claims (15)

1. ＨＯＡ信号の係数領域表現（ｄ、Ｄ）から前記ＨＯＡ信号の混合した空間／係数領域表現（ｄ、ｗ；Ｄ、Ｗ）を生成する方法であって、連続する係数フレーム内で前記ＨＯＡ信号の数を経時的に可変とすることができ、
   −ＨＯＡ係数領域信号のベクトル（ｄ、Ｄ）を、ある定数（Ｍ）のＨＯＡ係数を有する係数領域信号の第１のベクトル（ｄ_１、Ｄ_１）と、経時的に可変数（Ｋ）のＨＯＡ係数を有する係数領域信号の第２のベクトル（ｄ_２、Ｄ_２）とに分離することと、
   −係数領域信号の前記第１のベクトル（ｄ_１、Ｄ_１）を、変換行列（Ψ）の逆行列（Ψ−１）で乗算することによって、係数領域信号の前記第１のベクトルを空間領域信号の対応するベクトル（ｗ_１、Ｗ_１）に変換することと、
   −空間領域信号の前記ベクトル（ｗ_１、Ｗ_１）をＰＣＭ符号化してＰＣＭ符号化された空間領域信号のベクトル（ｗ’_１、Ｗ’_１）を取得することと、
   −正規化因子
   

   

   によって係数領域信号の前記第２のベクトル（ｄ_２、Ｄ_２）を正規化することであって、前記正規化は、係数領域信号の前記第２のベクトル（ｄ_２、Ｄ_２）の前記ＨＯＡ係数の現在の値の範囲に対して適応的な正規化であり、前記正規化において前記ベクトルのＨＯＡ係数に対して利用可能な値の範囲は超過することがなく、前記現在の第２のベクトル内の利得を前の第２のベクトルにおける利得（ｇ_n（ｊ−２））から後続する第２のベクトルにおける利得（ｇ_n（ｊ−１））に連続的に変化させるために、前記正規化において、一様に連続する遷移関数（ｈ_n（ｊ−１））がその後現在の第２のベクトル（ｄ’_２、Ｄ’_２）を表す前記第２のベクトルの係数（ｘ_ｎ（ｊ））に適用され、前記正規化は対応する復号器側の非正規化のための副情報（ｅ）を提供する、前記正規化することと、
   −正規化された係数領域信号の前記現在の第２のベクトル（ｄ’_２、Ｄ’_２）をＰＣＭ符号化してＰＣＭ符号化され正規化された係数領域信号のベクトル（ｄ”_２、Ｄ”_２）を取得することと、
   −ＰＣＭ符号化された空間領域信号の前記ベクトル（ｗ’_１、Ｗ’_１）とＰＣＭ符号化され正規化された係数領域信号の前記ベクトル（ｄ”_２、Ｄ”_２）とを多重化することと、
   を含むことを特徴とする、前記方法。
2. 前記正規化は、
   −現在の第２のベクトル（Ｄ_２、ｘ_n（ｊ））の各係数を前の第２のベクトル（ｘ_n（ｊ−１））の正規化処理から保持された利得値（ｇ_n（ｊ−２））と乗算することと、
   −結果として得られた前記正規化された第２のベクトルから前記係数の最大値（ｘ_{n，ｍａｘ}）を求めることと、
   −前記最大値（ｘ_{n，ｍａｘ}）に時間的なスムージングを適用することであって、該適用は前の該スムージング済みの最大値（ｘ_{n，ｍａｘ，ｓｍ}（ｊ−２））を受信する再帰的フィルタを使用することによって行い、その結果現在の時間的なスムージング済みの最大値(ｘ_{n，ｍａｘ，ｓｍ}（ｊ−１））を得て、前記時間的なスムージングは、前記最大値（ｘ_{n，ｍａｘ}）が所定の値の範囲にある場合にのみ適用され、前記最大値（ｘ_{n，ｍａｘ}）が所定の値の範囲にない場合には、前記最大値（ｘ_{n，ｍａｘ}）がそのまま取得される、前記時間的なスムージングを適用することと、
   −前記現在の時間的なスムージング済みの最大値（ｘ_{n，ｍａｘ，ｓｍ}（ｊ−１））から「２」を底とする冪指数として正規化利得を算出することによって、量子化された冪指数値（ｅ_n（ｊ−１））を取得することと、
   −前記量子化された冪指数値（ｅ_n（ｊ−１））を遷移関数（ｈ_n（ｊ−１））に適用することによって現在の利得値（ｇ_n（ｊ−１））を取得することであって、前記遷移関数は、前記前の利得値（ｇ_n（ｊ−２））から前記現在の利得値（ｇ_n（ｊ−１））への連続的な遷移に使用される、前記適用することと、
   −前記遷移関数（ｈ_n（ｊ−１））によって前の第２のベクトル（ｘ_n（ｊ−１））の各係数を重み付けすることによって、係数領域信号の前記正規化された第２のベクトル（Ｄ’₂）を取得することと、
   を含む、請求項１に記載の方法。
3. 前記現在の時間的なスムージング済みの最大値（ｘ_{n，ｍａｘ，ｓｍ}（ｊ−１））が下記の式によって算出され、
   

   

   ｘ_{n，ｍａｘ}は前記最大値を示し、０＜ａ≦１は減衰定数であり、ｊは、ＨＯＡ信号ベクトルの入力行列の連続するインデックスである、請求項２に記載の方法。
4. 前記多重化されたＨＯＡ信号は知覚符号化される、請求項１〜３のいずれか１項に記載の方法。
5. ＨＯＡ信号の係数領域表現（ｄ、Ｄ）から前記ＨＯＡ信号の混合した空間／係数領域表現（ｄ、ｗ；Ｄ、Ｗ）を生成する装置であって、連続する係数フレーム内で前記ＨＯＡ信号の数を経時的に可変とすることができ、当該装置は、
   −ＨＯＡ係数領域信号のベクトル（ｄ、Ｄ）を、ある定数（Ｍ）のＨＯＡ係数を有する係数領域信号の第１のベクトル（ｄ_１、Ｄ_１）と、経時的に可変数（Ｋ）のＨＯＡ係数を有する係数領域信号の第２のベクトル（ｄ_２、Ｄ_２）とに分離するように構成された手段と、
   −係数領域信号の前記第１のベクトル（ｄ_１、Ｄ_１）を、変換行列（Ψ）の逆行列（Ψ−１）で乗算することによって、係数領域信号の前記第１のベクトルを空間領域信号の対応するベクトル（ｗ_１、Ｗ_１）に変換するように構成された手段と、
   −空間領域信号の前記ベクトル（ｗ_１、Ｗ_１）をＰＣＭ符号化してＰＣＭ符号化された空間領域信号のベクトル（ｗ’_１、Ｗ’_１）を取得するように構成された手段と、
   −正規化因子
   

   

   によって係数領域信号の前記第２のベクトル（ｄ_２、Ｄ_２）を正規化するように構成された手段であって、前記正規化は、係数領域信号の前記第２のベクトル（ｄ_２、Ｄ_２）の前記ＨＯＡ係数の現在の値の範囲に対して適応的な正規化であり、前記正規化において前記ベクトルのＨＯＡ係数に対する利用可能な値の範囲は超過することがなく、前記現在の第２のベクトル内の利得を前の第２のベクトルにおける利得（ｇ_n（ｊ−２））から後続する第２のベクトルにおける利得（ｇ_n（ｊ−１））に連続的に変化させるために、前記正規化において、一様に連続する遷移関数（ｈ_n（ｊ−１））がその後現在の第２のベクトル（ｄ’_２、Ｄ’_２）を表す前記第２のベクトルの係数（ｘ_ｎ（ｊ））に適用され、前記正規化は対応する復号器側の非正規化のための副情報（ｅ）を提供する、前記手段と、
   −正規化された係数領域信号の前記現在の第２のベクトル（ｄ’_２、Ｄ’_２）をＰＣＭ符号化してＰＣＭ符号化され正規化された係数領域信号のベクトル（ｄ”_２、Ｄ”_２）を取得するように構成された手段と、
   −ＰＣＭ符号化された空間領域信号の前記ベクトル（ｗ’_１、Ｗ’_１）とＰＣＭ符号化され正規化された係数領域信号の前記ベクトル（ｄ”_２、Ｄ”_２）とを多重化するように構成された手段と、
   を備える、前記装置。
6. 前記正規化は、
   −現在の第２のベクトル（Ｄ_２、ｘ_n（ｊ））の各係数を前の第２のベクトル（ｘ_n（ｊ−１））の正規化処理から保持された利得値（ｇ_n（ｊ−２））と乗算することと、
   −結果として得られた前記正規化された第２のベクトルから前記係数の最大値（ｘ_{n，ｍａｘ}）を求めることと、
   −前記最大値（ｘ_{n，ｍａｘ}）に時間的なスムージングを適用することであって、該適用は前の該スムージング済みの最大値（ｘ_{n，ｍａｘ，ｓｍ}（ｊ−２））を受信する再帰的フィルタを使用することによって行い、その結果現在の時間的なスムージング済みの最大値(ｘ_{n，ｍａｘ，ｓｍ}（ｊ−１））を得て、前記時間的なスムージングは、前記最大値（ｘ_{n，ｍａｘ}）が所定の値の範囲にある場合にのみ適用され、前記最大値（ｘ_{n，ｍａｘ}）が所定の値の範囲にない場合には、前記最大値（ｘ_{n，ｍａｘ}）がそのまま取得される、前記時間的なスムージングを適用することと、
   −前記現在の時間的なスムージング済みの最大値（ｘ_{n，ｍａｘ，ｓｍ}（ｊ−１））から「２」を底とする冪指数として正規化利得を算出することによって、量子化された冪指数値（ｅ_n（ｊ−１））を取得することと、
   −前記量子化された冪指数値（ｅ_n（ｊ−１））を遷移関数（ｈ_n（ｊ−１））に適用することによって現在の利得値（ｇ_n（ｊ−１））を取得することであって、前記遷移関数は、前記前の利得値（ｇ_n（ｊ−２））から前記現在の利得値（ｇ_n（ｊ−１））への連続的な遷移に使用される、前記適用することと、
   −前記遷移関数（ｈ_n（ｊ−１））によって前の第２のベクトル（ｘ_n（ｊ−１））の各係数を重み付けすることによって、係数領域信号の前記正規化された第２のベクトル（Ｄ’₂）を取得することと、
   を含む、請求項５に記載の装置。
7. 前記現在の時間的なスムージング済みの最大値（ｘ_{n，ｍａｘ，ｓｍ}（ｊ−１））が下記の式によって算出され、
   

   

   ｘ_{n，ｍａｘ}は前記最大値を示し、０＜ａ≦１は減衰定数であり、ｊは、ＨＯＡ信号ベクトルの入力行列の連続するインデックスである、請求項６に記載の装置。
8. 前記多重化されたＨＯＡ信号は知覚符号化される、請求項５に記載の装置。
9. 符号化されたＨＯＡ信号の混合した空間／係数領域表現（ｄ、ｗ；Ｄ、Ｗ）を復号する方法であって、連続する係数フレーム内で前記ＨＯＡ信号の数を経時的に可変とすることができ、当該復号方法は、
   −ＰＣＭ符号化された空間領域信号（ｗ’_１、Ｗ’_１）とＰＣＭ符号化され正規化された係数領域信号（ｄ”_２、Ｄ”_２）との多重化されたベクトルを逆多重化することと、
   −ＰＣＭ符号化された空間領域信号の前記ベクトル（ｗ’_１、Ｗ’_１）を変換行列（Ψ）と乗算することによってＰＣＭ符号化された空間領域信号の前記ベクトル（ｗ’_１、Ｗ’_１）を係数領域信号の対応するベクトル（ｄ’₁、Ｄ’₁）に変換することと、
   −ＰＣＭ符号化され正規化された係数領域信号の前記ベクトル（ｄ”_２、Ｄ”_２）を非正規化することであって、当該非正規化は、
   −−受信された副情報（ｅ）の対応する冪指数ｅ_n（ｊ−１）および再帰的に算出された利得値ｇ_n（ｊ−２）を使用して、遷移ベクトルｈ_n（ｊ−１）を算出することであって、処理されるＰＣＭ符号化され正規化された係数領域信号の後続するベクトル（Ｄ”_２）の対応する処理に対する利得値ｇ_n（ｊ−１）が保持され、ｊはＨＯＡ信号ベクトルの入力行列の連続するインデックスである、前記遷移ベクトルを算出することと、
   −−ＰＣＭ符号化され正規化された信号の現在のベクトル（ｘ”_ｎ（ｊ−１）、Ｄ”_２）に対して対応する逆利得値を適用して前記ＰＣＭ符号化され非正規化された信号の対応するベクトル
   

   

   を取得することと、
   を含む、前記非正規化することと、
   −係数領域信号の前記ベクトル（ｄ’₁、Ｄ’₁）および非正規化された係数領域のベクトル
   

   

   を合成して可変数のＨＯＡ係数を有することができるＨＯＡ係数領域信号の結合されたベクトル（ｄ’、Ｄ’）を取得することと、
   を含む、前記方法。
10. 多重化され知覚符号化されたＨＯＡ信号は、対応して、逆多重化される前に知覚復号される、請求項９に記載の方法。
11. 符号化されたＨＯＡ信号の混合した空間／係数領域表現（ｄ、ｗ；Ｄ、Ｗ）を復号する装置であって、連続する係数フレーム内で前記ＨＯＡ信号の数を経時的に可変とすることができ、前記復号装置は、
    −ＰＣＭ符号化された空間領域信号（ｗ’_１、Ｗ’_１）とＰＣＭ符号化され正規化された係数領域信号（ｄ”_２、Ｄ”_２）との多重化されたベクトルを逆多重化するように構成された手段と、
    −ＰＣＭ符号化された空間領域信号の前記ベクトル（ｗ’_１、Ｗ’_１）を変換行列（Ψ）と乗算することによってＰＣＭ符号化された空間領域信号の前記ベクトル（ｗ’_１、Ｗ’_１）を係数領域信号の対応するベクトル（ｄ’₁、Ｄ’₁）に変換するように構成された手段と、
    −ＰＣＭ符号化され正規化された係数領域信号の前記ベクトル（ｄ”_２、Ｄ”_２）を非正規化するように構成された手段であって、当該非正規化は、
    −−受信された副情報（ｅ）の対応する冪指数ｅ_n（ｊ−１）および再帰的に算出された利得値ｇ_n（ｊ−２）を使用して、遷移ベクトルｈ_n（ｊ−１）を算出することであって、処理されるＰＣＭ符号化され正規化された係数領域信号の後続するベクトル（Ｄ”_２）の対応する処理に対する利得値ｇ_n（ｊ−１）が保持され、ｊはＨＯＡ信号ベクトルの入力行列の連続するインデックスである、前記遷移ベクトルを算出することと、
    −−ＰＣＭ符号化され正規化された信号の現在のベクトル（ｘ”_ｎ（ｊ−１）、Ｄ”_２）に対して対応する逆利得値を適用することによって、前記ＰＣＭ符号化され非正規化された信号の対応するベクトル
    

    

    を取得することと、
    を含む、前記非正規化するように構成された手段と、
    −係数領域信号の前記ベクトル（ｄ’₁、Ｄ’₁）および非正規化された係数領域のベクトル
    

    

    を合成して可変数のＨＯＡ係数を有することができるＨＯＡ係数領域信号の結合されたベクトル（ｄ’、Ｄ’）を取得するように構成された手段と、
    を備える、前記装置。
12. 多重化され知覚符号化されたＨＯＡ信号は、対応して、逆多重化される前に知覚復号される、請求項１１に記載の装置。
13. 実行可能な命令を記憶した記憶媒体であって、該実行可能な命令は、実行された際にコンピュータに請求項９に記載の方法を実行させる、前記記憶媒体。
14. ＨＯＡ信号の係数領域表現（ｄ、Ｄ）から前記ＨＯＡ信号の混合した空間／係数領域表現（ｄ、ｗ；Ｄ、Ｗ）を生成する装置であって、連続する係数フレーム内で前記ＨＯＡ信号の数を経時的に可変とすることができ、
    一連のコンピュータ実行可能命令を記憶するように構成されたメモリと、
    前記一連のコンピュータ実行可能命令を実行するように構成されたプロセッサと、
    を含み、
    前記一連のコンピュータ実行可能命令は、前記プロセッサに実行されたときに、前記プロセッサに請求項１〜４のいずれか一項に記載の方法を実行されるように動作する、装置。
15. 符号化されたＨＯＡ信号の混合した空間／係数領域表現（ｄ、ｗ；Ｄ、Ｗ）を復号する装置であって、連続する係数フレーム内で前記ＨＯＡ信号の数を経時的に可変とすることができ、符号化されたＨＯＡ信号の前記混合した空間／係数領域表現（ｄ、ｗ；Ｄ、Ｗ）は請求項１に従って生成されており、前記復号装置は、
    一連のコンピュータ実行可能命令を記憶するように構成されたメモリと、
    前記一連のコンピュータ実行可能命令を実行するように構成されたプロセッサと、
    を含み、
    前記一連のコンピュータ実行可能命令は、前記プロセッサに実行されたときに、前記プロセッサに請求項９又は１０のいずれか一項に記載の方法を実行されるように動作する、装置。

Images