JP4875142B2 - マルチチャネル・サラウンドサウンドのためのデコーダのための方法及び装置 - Google Patents

Description

本発明は、マルチチャネル・サラウンドオーディオのビットストリームのデコードに関する。本発明は特に、信号デコードのために空間共分散行列の外挿を使用する方法及び装置に関する。

世界中の映画館では長らく、マルチチャネル・サラウンドオーディオシステムによって、映画の観客は上映されている映画の場面のオーディオ空間の中心に置かれてきた。そして、現実感があり説得力のある「臨場感」が映画の観客に与えられている。このオーディオ技術は、ホーム・サラウンドサウンド・シアターシステムとして一般人の家庭に導入されてきており、今日では、一般人のリビングルームにおいて彼らに「臨場感」をもたらしている。

この技術が使用されるであろう次の分野には、移動無線ユニット又は移動無線端末、特に、セルラ電話、ＭＰ３プレーヤ（類似する音楽プレーヤを含む）、及びＰＤＡ（携帯情報端末）が含まれる。ここでは、画面が小さいので、サラウンドサウンドのリアルな性質はずっと重要である。しかしながら、この技術を移動端末に導入することは些細なことではない。主要な障害には次に挙げるものが含まれる。

− 多くの場合、特に無線移動チャネルにおいては、利用可能なビットレートが低い
− 移動端末の処理能力はかなり限られている
− 小さな移動端末は一般的に、２つのマイクロスピーカと、イヤプラグ又はヘッドフォンとを有するのみである

このことは、特にセルラ電話などの移動端末にとっては、例えばドルビーデジタル５．１システムにおいて使用されている３８４ｋｂｉｔ／ｓｅｃと比べて、移動端末上でのサラウンドサウンドのソリューションではずっと低いビットレートを使用しなければならないということを意味する。処理能力が限られていることが原因で、移動端末のデコーダはコンピュータにとって最適化されていなければならないし、移動端末のスピーカ構成が原因で、サラウンドサウンドはイヤプラグ又はヘッドフォンを介して伝達されざるを得ない。

ヘッドフォン又はイヤプラグを介してマルチチャネル・サラウンドサウンドを伝達する標準的な方法は、マルチチャネル・サラウンドサウンドに対して３Ｄオーディオレンダリング又はバイノーラルレンダリングを実行することである。

一般的に、３Ｄオーディオレンダリングにおいては、オーディオシーンのモデルが使用され、各々の入力モノラル信号は、ヒトの頭、胴、及び耳によってなされる変換をモデル化したフィルタセットを介してフィルタリングされる。これらのフィルタはhead related filters（ＨＲＦ）と呼ばれ、頭部に関連する(head related)伝達関数（ＨＲＴＦ）を持ち、適切に設計されれば、良好な３Ｄオーディオシーンの知覚をもたらす。

図１は、マルチチャネル５．１オーディオ信号に対して完全な３Ｄオーディオレンダリングを行う方法を示す。６つのマルチチャネル信号は、サラウンド・ライト（ＳＲ）、ライト（Ｒ）、センター（Ｃ）、低周波要素（ＬＦＥ）、レフト（Ｌ）、及びサラウンド・レフト（ＳＬ）である。

図１に示す例では、センターの信号と低周波信号とが１つの信号に結合されている。従って、このＨＲＦの方法を実装するためには、

、

、

、

、

と記述される５つの異なるフィルタが必要である。ＳＲ信号はフィルタ

及び

に入力され、Ｒ信号はフィルタ

及び

に入力され、Ｃ信号及びＬＦＥ信号はまとめてフィルタ

に入力され、Ｌ信号はフィルタ

及び

に入力され、ＳＬ信号はフィルタ

及び

に入力される。フィルタ

、

、

、

、及び

から出力される信号は、右合計要素１Ｒにおいて合計され、不図示の右側ヘッドフォンに提供することを意図した信号をもたらす。フィルタ

、

、

、

、及び

から出力される信号は、左合計要素１Ｌにおいて合計され、不図示の左側ヘッドフォンに提供することを意図した信号をもたらす。この場合、左右対称の頭部を想定しているので、左耳のためのフィルタと右耳のためのフィルタとは、相似することが想定される。

このようなレンダリングによる３Ｄの知覚に関する品質は、リスナーが聴いている時のリスナー自身の頭部関連フィルタリングを、ＨＲＦがどれくらい厳密にモデル化或いは表現しているかに依存する。従って、良好な或いは極めて良好な品質が望まれる場合、各リスナーに対してＨＲＦを適合或いはパーソナライズすることができれば有益であろう。この適合させてパーソナライズするステップには、知覚される３Ｄオーディオシーンの品質を精緻化するために、モデリング、計測、及び一般にユーザ依存のチューニングが含まれ得る。

現在の最高水準の標準化されたマルチチャネル・オーディオのコーデックは、受容できる品質を達成するために大量の帯域を必要とし、そのため、無線移動ストリーミングなどのサービスのためにそのようなコーデックを使用することが妨げられている。

例えば、ＡＡＣ（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）マルチチャネル・コーデックと比べた場合にドルビーデジタル５．１（ＡＣ−３コーデック）は複雑性が極めて小さかったとしても、同様の品質をもたらすためにはずっと高いビットレート必要とする。今日に至るまで、ＡＡＣマルチチャネル・コーデックとＡＣ−３コーデックのいずれのコーデックも、計算上の複雑性とビットレートとに関する高い要求が原因で、無線移動の領域では使用に適さないままである。

バイノーラルのキュー・コーディング(cue coding)の原理に基づく新しいパラメトリック・マルチチャネル・コーデックが開発されてきた。最近標準化されたＭＰＥＧパラメトリック・ステレオツールは、ステレオサウンドのエンコードに関する低複雑性／高品質のパラメトリック技術の好例である。マルチチャネル・コーディングにパラメトリック・ステレオを拡張することが、ＭＰＥＧにおいてＳｐａｔｉａｌ Ａｕｄｉｏコーディングの名の下で、現在標準化が行われており、これはＭＰＥＧサラウンドとしても知られている。

パラメトリック・マルチチャネル・コーディングの背景にある原理は、一般的な事例を示した図２のブロック図により説明して理解することができる。

マルチチャネル・パラメトリック・サラウンドエンコーダとも呼ばれるパラメトリック・サラウンドエンコーダ３は、別個の信号

から

までを含むマルチチャネル・オーディオ信号を受信する。ここで、Ｎは、入力チャネルの数である。エンコーダ３は次に、ダウンミキシングユニット５において、個別のダウンミキシング信号

から

までを含むダウンミキシング信号を形成する。ダウンミキシングチャネルの数Ｍ＜Ｎは、望まれるビットレートと、品質と、Ｍチャネル・オーディオエンコーダ７の可用性とに依存する。エンコード処理に関する１つの重要な側面は、典型的にはステレオ信号であるがモノラル信号でも構わないダウンミキシング信号が、マルチチャネル・入力信号から導出されることであり、元のマルチチャネル信号ではなくこのダウンミキシング信号が、無線チャネル１１を介した伝送のためにオーディオエンコーダ７において圧縮される。加えて、パラメトリック・サラウンドエンコーダは、空間パラメータ推定ユニット９も含む。空間パラメータ推定ユニット９は、入力信号

から

から、例えばチャネル間のレベル差や時間差やコヒーレンスといった空間キュー或いは空間パラメータを算出する。Ｍチャネルオーディオエンコーダから出力される圧縮オーディオ信号（メイン信号）は、付帯情報を構成する空間パラメータと共に、ここの事例では典型的に移動端末であるものとする受信側へと送信される。

受信側では、パラメトリック・サラウンドデコーダ１３が、Ｍチャネル・オーディオデコーダ１５を含む。オーディオデコーダ１５は、

から

の符号化バージョンである

から

を生成する。これらは、空間パラメータと共に空間合成ユニット１７へと入力される。空間合成ユニット１７は、出力信号

から

を生成する。デコード処理は本質的にパラメトリックであるので、デコード信号

から

は必ずしも、元のマルチチャネル信号

から

に客観的に近いとは限らないが、マルチチャネル・オーディオシーンを主観的には忠実に再現するものである。

インタフェース１１を介する伝送チャネルの帯域（これは一般的に、比較的小さい）にもよるが、情報の損失が発生する場合があり、それゆえ、受信側での信号

から

と

から

とが送信側の対応するものと同じになれないということは、明らかである。これらの信号がその対応するものと完全には同等でないとしても、十分に良好な同等物であろう。

一般的に、そのようなサラウンド・エンコーディング処理は、図２のユニットエンコーダ７（コアエンコーダ）及びオーディオデコーダ１５（コアデコーダ）において使用される圧縮アルゴリズムから独立している。このコアエンコーディング処理は、例えばＡＭＲ−ＷＢ＋（拡張適応マルチレート・ワイドバンド）、ＭＰＥＧ−１レイヤＩＩＩ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）、ＭＰＥＧ−４ ＡＡＣ、或いはＭＰＥＧ−４ Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ ＡＡＣなどの多数の高性能圧縮アルゴリズムのいずれをも使用することができ、ＰＣＭ（パルス符号変調）でさえ使用可能である。

一般的に、上述の作業はフーリエ変換などの変換信号領域において、一般的に時間と周波数とを分解して行われる。ユニット９及び１７における空間パラメータの推定及び合成が、オーディオエンコーダ７において使用されるものと同種の変換を使用する場合に、このことは特に有益である。

図３は、効率的なパラメトリック・オーディオエンコーダの詳細なブロック図である。

というベクトル形式で記述されるＮチャネルの離散時間入力信号が、最初に、変換ユニット２１において周波数領域に変換されて信号

がもたらされる。インデックスｋは、変換係数或いは周波数サブバンドのインデックスである。インデックスｍは、重複したフレームを通った可能性のある入力信号にも関係する、削減された時間領域のインデックスを表す。

信号はその後、ダウンミキシングユニット５においてダウンミキシングされ、Ｍチャネルのダウンミキシング信号

が生成される。ここで、Ｍ＜Ｎである。一連の空間モデルパラメータベクトル

が推定ユニット９において推定される。これは、開ループ方式でも閉ループ方式でも実行可能である。

空間パラメータは、サラウンドサウンド知覚を代表する心理音響学のキュー(cue)から構成される。例えば、これらのパラメータは、送信されるダウンミキシング信号

（或いは、閉ループの場合はデコード信号

）に関連するマルチチャネル・オーディオ信号の空間イメージを捕捉する、チャネル間のレベル差（ＩＬＤ）、チャネル間の時間差（ＩＴＤ）、及びチャネル間のコヒーレンス（ＩＣ）から構成される。キュー

は、空間パラメータエンコーダ２５の前で信号

を生成する空間パラメータ量子化ユニット２３などにおいて、極めてコンパクトな形式にエンコードすることができる。Ｍチャネルのオーディオエンコーダ７は、メインビットストリームを生成し、これはマルチプレクサ２７において、パラメータエンコーダによって生成された空間付帯情報と多重化される。マルチプレクサからは、多重化信号が受信側のデマルチプレクサ２９へと送信され、受信側では、付帯情報とメインビットストリームとが、図４のブロック図に見られるように復元される。

受信側では、メインビットストリームがデコードされ、受信された空間パラメータを使用して高品質なマルチチャネルの表現が合成される。メインビットストリームは最初にＭチャネルのオーディオデコーダ３１においてデコードされ、ここから、デコード信号

が空間合成ユニット１７へと入力される。空間パラメータを保持する空間付帯情報がデマルチプレクサ２９によって抽出され、空間パラメータデコーダ３３に提供される。空間パラメータデコーダ３３は、デコードパラメータ

を生成して合成ユニット１７へ送信する。空間合成ユニットは信号

を生成し、これは、信号の周波数対時間の変換ユニット３５に提供され、信号

、即ちマルチチャネル・デコード信号が生成される。

マルチチャネル・サラウンドサウンドについてのパーソナライズされた３Ｄオーディオレンダリングは、例えば図４を参照して上述したマルチチャネル・デコーダを使用して最初に複数のサラウンドサウンド・チャネルを取得する効率的なパラメトリック・サラウンドデコーダを使用することにより、移動端末のユーザへと伝達可能である。その後、バイノーラルの３Ｄオーディオレンダリングされたマルチチャネル信号を合成するために図１に示すシステムが使用される。この動作を図５の概略図に示す。

サブバンド領域において空間フィルタリング或いは３Ｄオーディオフィルタリングを実行する作業も行われている。C.A. Lanciani, and R. W. Schafer, "Application of Head-related Transfer Functions to MPEG Audio Signals", Proc. 31st Symposium on System Theory, March 21-23, 1999, Auburn, AL, U.S.A.は、サブバンド領域においてＨＲフィルタリング動作を実行することによってＭＰＥＧ符号化されたモノラル信号をどのようにして空間化することができるかを開示している。A. B. Touimi, M. Emerit and J. M. Pernaux, "Efficient Method for Multiple Compressed Audio Streams Spatialization," Proc. 3rd International Conference on Mobile and Ubiquitous Multimedia, pp. 229-235, October 27-29, 2004, College Park, Maryland, U.S.A.は、スババンド領域において頭部関連（ＨＲ）フィルタリングを行うことによって個別にＭＰＥＧ符号化された多数のモノラル信号をどのようにして空間化することができるかを開示している。このソリューションはＨＲフィルタの空間的実装に基づいており、全てのＨＲフィルタは、いくつかの事前定義された基準フィルタの線形結合としてモデル化されている。

３Ｄオーディオレンダリングのアプリケーションは多様であり、おしゃべり(gamming)、３ＧＰＰ ＭＢＭＳやＤＶＢ−Ｈなどの標準を使用したモバイルＴＶショー、音楽コンサートの鑑賞、映画の視聴、及び、概してマルチチャネル・オーディオコンポーネントを含むマルチメディアサービスが含まれる。

マルチチャネル・サラウンドサウンドをレンダリングする上述の方法は、無線移動ユニットに対して完全に新しいサービスセットを提供することを可能にするので魅力的であるが、多くの欠点を有する。

第１に、デコードと３Ｄレンダリングとを並行してリアルタイムに実行しなければならないので、そのようなレンダリングに関する計算上の要件は極めて高い。パラメトリック・マルチチャネル・デコーダの複雑性は、全波形マルチチャネル・デコーダと比べれば低いかもしれないが、依然として極めて高く、少なくとも単純なステレオデコーダよりも高い。空間デコーディングの合成ステージは、エンコードチャネルの数に少なくとも比例する複雑性を有する。加えて、３Ｄレンダリングのフィルタリング動作も、チャネルの数に比例する。

第２の欠点は、中間デコードチャネルを格納するために必要とされるテンポラリメモリに関する。３Ｄレンダリングの第２のステージで必要なので、これらのチャネルは実際にバッファリングされる。

最後に、主要な欠点のうちの１つは、チャネル間の相関がキャンセルされるかもしれないという事実が原因で、そのような３Ｄオーディオレンダリングの品質が極めて限定されたものとなり得ることである。チャネル間の相関は、パラメトリック・マルチチャネル・コーディングが信号を合成する方法に起因して、不可欠なものである。

ＭＰＥＧサラウンドでは、例えば、相関（ＩＣＣ）及びチャネルレベル差（ＣＬＤ）は、チャネルのペアの間でしか推定されない。ＩＣＣパラメータ及びＣＬＤパラメータは、エンコードされてデコーダへと送信される。デコーダでは、受信したパラメータは、１つの５−１−５構成（本例では、５−１−５_１構成）について図７に描写するような合成ツリーにおいて使用される。図６は、５−１−５_１パラメータ化を有するサラウンドシステムの構成を示す。図６から、５−１−５_１構成におけるＣＬＤパラメータ及びＩＣＣパラメータがチャネルのペアの間でのみ推定されることが見られる。

相関（ＩＣＣ）及びチャネルレベル差（ＣＬＤ）がチャネルのペアの間でしか推定されないことが原因で、１つ１つの相関全てが得られる訳ではない。その結果、例えば３Ｄレンダリングとして、個別のチャネルの操作や再利用が妨げられる。事実、例えばＲＦ及びＲＳという２つの非コーディングチャネルに例えば相関が無く、５−１−５_１構成を使用してこれらをエンコードする場合、これらの相関に対する制御を行うことができない。というのも、相関はそれ自体としてはデコーダへ送信されることはなく、ツリーの第２レベルでの相関のみが提供されるからである。デコーダ側では、これは２つの相関のあるデコードチャネルという結果に到る。事実デコーダは、ある個別のチャネル間の相関にアクセスできないし、制御することもできない。これらのチャネルは別々の第３レベルのボックスに属する。図６の例では、これらは全て、別々のスピーカ分類に属するチャネルのペアである。このことは図７においても見られる。チャネルのペアは、５−１−５_１構成において別々の第３レベルのツリーボックス（ＯＴＴ３，ＯＴＴ４，ＯＴＴ２）に属するものである。スピーカの環境において聴く場合にはこれは問題ではないかもしれない。しかしながら、３Ｄレンダリングにおけるようにチャネルが一緒に結合される場合には、これは問題となって、望まれざるチャネルのキャンセルや過剰な増幅を招来する可能性がある。

本発明の目的は、パラメトリック・マルチチャネル・デコーダにおける、所与のチャネルに関する望まれざるチャネルのキャンセル及び／又は(and/or)望まれざる増幅の可能性に関する欠点を克服することである。このことは、全チャネルの完全な共分散行列に到るために部分的に既知の共分散を外挿することによりデコードマルチチャネル信号の任意の線形結合をレンダリングし、外挿された共分散に基づいて、任意の線形結合の推定値を合成することにより、達成される。

本発明の第１の態様によれば、マルチチャネル・サラウンドオーディオ信号の任意の所定の線形結合を合成する方法が提供される。本方法は、前記任意の所定の線形結合の記述Ｈを受信するステップと、前記マルチチャネル・サラウンドオーディオ信号のデコードされたダウンミキシング信号を受信するステップと、前記マルチチャネル・オーディオ信号の相関とチャネルレベル差とを含む空間パラメータを受信するステップと、前記マルチチャネル・オーディオ信号の相関とチャネルレベル差とを含む前記受信した空間パラメータに基づいて、部分的に既知の空間共分散を取得するステップと、完全な空間共分散を取得するために、前記部分的に既知の空間共分散を外挿するステップと、前記外挿された完全な空間共分散と、前記受信したデコードされたダウンミキシング信号と、前記任意の所定の線形結合の前記記述とに少なくとも基づいて、前記マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合の推定値を、忠実度の基準に従って形成するステップと、前記マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合の前記推定値に基づいて、マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合を合成するステップと、を備える。

本発明の第２の態様によれば、マルチチャネル・サラウンドオーディオ信号の任意の所定の線形結合を合成する装置が提供される。本装置は、前記マルチチャネル・オーディオ信号の相関とチャネルレベル差とを含む受信した空間パラメータに基づいて、部分的に既知の空間共分散を取得する相関器と、完全な空間共分散を取得するために、前記部分的に既知の空間共分散を外挿する外挿器と、前記外挿された完全な空間共分散と、受信したデコードされたダウンミキシング信号と、前記任意の所定の線形結合を与える係数の記述とに少なくとも基づいて、前記マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合の推定値を、忠実度の基準に従って形成する推定器と、前記マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合の前記推定値に基づいて、マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合を合成する合成器と、を備える。

従って、本発明は、パラメトリック・エンコーダによってエンコードされたサラウンドサウンドを移動デバイスにおいてレンダリングする単純で効率的な方法を可能にする。その利点には、直接マルチチャネル信号に対して３Ｄレンダリングを使用することによって得られるものに比べて、複雑性が緩和されること、及び、品質が向上することが含まれる。

特に、本発明は、マルチチャネル・サラウンドサウンドに関する任意のバイノーラルのデコードを可能にする。

更なる利点は、作業が周波数領域において行われるために、システムの複雑性が緩和されることである。

更なる利点は、信号のデコーディングステップにおいて出力が直接得られるので、信号のサンプルをバッファリングする必要が無いことである。

本発明の基本的な概念は、受信した空間パラメータに基づいてマルチチャネル・サラウンドサウンドの部分的に既知の空間共分散を取得し、取得した部分的に既知の空間共分散を外挿して完全な空間共分散を取得することである。そして、忠実度の基準に従って、マルチチャネル・サラウンドサウンドオーディオ信号に関する所定の任意の線形結合が、少なくとも外挿された完全な空間共分散と、受信したデコードダウンミキシング信号ｍと、所定の任意の線形結合の記述Ｈとに基づいて推定され、その推定に基づいてマルチチャネル・サラウンドオーディオ信号の所定の線形結合を合成することが可能になる。マルチチャネル・サラウンドオーディオ信号の所定の任意の線形結合は、例えば頭部関連フィルタリングやバイノーラルフィルタリングなどのマルチチャネル信号のフィルタリングの、概念上の表現となり得る。それは、反響などの他の音響効果も表現可能である。

従って、本発明は、デコーダのための方法とデコーダのための装置とに関する。この装置が図１０ａに示されており、相関器９０２ａと、外挿器９０２ｂと、推定器９０３と、合成器９０４とを備える。相関器９０２ａは、マルチチャネル・サラウンドオーディオ信号の相関（ＩＣＣ）とチャネルレベル差（ＣＬＤ）とを含む受信した空間パラメータ９０１に基づいて、部分的に既知の空間共分散行列９１１を取得するように構成される。外挿器９０２ｂは、適切な外挿方法を使用して、完全な空間共分散行列を取得するために部分的に既知の空間共分散行列を外挿するように構成される。更に、推定器９０３は、受信したデコードダウンミキシング信号と、所定の任意の線形結合の記述を表現する係数である行列

と組み合わせて、外挿した完全な共分散行列９１２を使用することにより、忠実度の基準に従って、マルチチャネル・サラウンドオーディオ信号の線形結合９１３を推定するように構成される。最後に、合成器９０４は、マルチチャネル・サラウンドオーディオ信号の線形結合に関する前記推定９１３に基づいて、マルチチャネル・サラウンドオーディオ信号の線形結合９１４を合成するように構成される。

ＭＰＥＧサラウンドデコーダに関連して、本発明の好適な実施形態を説明する。なお、ＭＰＥＧサラウンドデコーダを参照して本発明の好適な実施形態を説明するが、他のパラメトリックデコーダやパラメトリックシステムもまた本発明に関連した使用に適しているであろうことを理解されたい。

本発明の本質から逸脱せずに単純化するために、図７に示す５−１−５_１ＭＰＥＧサラウンド構成を考える。この構成は、接続された複数のＯＴＴ（ｏｎｅ−ｔｏ−ｔｗｏ）ボックスを備える。チャネルレベル差（ＣＬＤ）及び相関（ＩＣＣ）と呼ばれる空間パラメータに関する、ｒｅｓのような付帯情報が、ＯＴＴボックスに入力される。ｍは、マルチチャネル信号のダウンミキシング信号である。

マルチチャネル信号の合成は、ハイブリッド周波数領域において行われる。この周波数分割は、ヒトの耳の時間−周波数分析をある程度真似ることを意図しており、非線形である。

以下、全てのハイブリッド・サブバンドにはｋというインデックスが付けられ、全てのタイムスロットにはｎというインデックスが付けられる。ビットレートの要件を低くするために、ＭＰＥＧサラウンド空間パラメータは、パラメータ・タイムスロットｌと呼ばれるダウンサンプリング・タイムスロットと、処理バンドｍと呼ばれるダウンサンプリング・ハイブリッド周波数領域とに関してのみ、定義される。ｎとｌとの間の関係、及びｍとｋとの間の関係を、図８に示す。このように、周波数バンドｍ０は周波数バンドｋ０及びｋ１を含み、周波数バンドｍ１は周波数バンドｋ２及びｋ３を含む。また、タイムスロットｌは、タイムスロットｎをダウンサンプリングしたバージョンである。ＣＬＤパラメータ及びＩＣＣパラメータはそれゆえ、そのパラメータ・タイムスロット及び処理バンドにとって有効である。全ての処理パラメータが、全ての処理バンドについて算出され、続いて、全てのハイブリッドバンドにマッピングされる。その後、全ての処理パラメータが、パラメータ・タイムスロットから全てのタイムスロットｎへと内挿される。

図７に示すデコーダのＯＴＴボックスは、図９ａに示すように視覚化することができる。

この図解に基づけば、任意のＯＴＴボックスに関する出力は、２つの元のチャネル

及び

の間の相関を復元して２つの推定チャネル

及び

にすることを意図したものである。

エンコーダにおいて行われる推定パートの検査によって、このことをより良く理解することができるであろう。図９ｂに示すように、エンコーダは、ＯＴＴボックスを逆にしたものであるＲ−ＯＴＴボックスを含む。Ｒ−ＯＴＴボックスは、ステレオ信号を変換して、モノラル信号と、これに組み合わされる、各入力信号間の空間キューを表現するパラメータ抽出とにする。これらのＲ−ＯＴＴボックスそれぞれへの入力信号は、元のチャネル

及び

である。各Ｒ−ＯＴＴボックスは、次式に示すように、入力信号に関して対応する時間／周波数のタイルの電力の割合を算出する（これは、「Ｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ」又はＣＬＤと記述される）。

そして、各Ｒ−ＯＴＴボックスは、次式の相互相関で示されるように、入力信号に関して対応する時間／周波数のタイルの同様の尺度を算出する（これは、「Ｉｎｔｅｒ−Ｃｈａｎｎｅｌ Ｃｏｒｒｅｌａｔｉｏｎ」又はＩＣＣと記述される）。

加えて、Ｒ−ＯＴＴボックスは、下記のようにモノラル信号を生成する。

ここで、ｇ_０，ｇ_１は適切なゲインである。ｇ_０＝ｇ_１＝１／２であれば、モノラル信号が生成される。他の選択肢は、ｇ_０，ｇ_１を次のように選択することである。

これは次式を使用して実現される。

以下、上の式が成立して、Ｒ−ＯＴＴｘボックスの出力エネルギーが入力エネルギーの合計に等しいものとする。

Ｒ−ＯＴＴボックスに入力されるあらゆる２つのチャネル間の相関（ＩＣＣ）及びチャネルレベル差（ＣＬＤ）は、量子符号化されてデコーダへと送信される。

本発明のこの実施形態は、空間共分散行列を構築するために、各（Ｒ）−ＯＴＴボックスに対応するＣＬＤ及びＩＣＣを使用するが、相関及びチャネルレベル差に関する他の尺度を使用してもよい。

その結果、あらゆる２つのチャネル間の共分散行列は、下記のようになる。

ＭＰＥＧサラウンドデコーダでは実数の相関のみを利用可能なので、一般性を失うことなく、実数の相関行列を仮定することができる。それゆえ、ＯＴＴボックスの各出力チャネル（これはＲ−ＯＴＴボックスへの入力である）は、下記の共分散行列を持つものとして示すことができる。

ここで、

はＯＴＴｘボックスの入力エネルギー（或いは、Ｒ−ＯＴＴｘボックスの出力エネルギー）を意味し、方程式の右手側の第２項は表記を単純化するために示されている。

ＯＴＴ_３及びＯＴＴ_４の出力に対応するチャネルベクトルが

のように示される場合、これらの表記に従い、５−１−５_１ＭＰＥＧサラウンドの事例における空間共分散行列は、ブロック行列で記述可能であり、その行列は以下に示すように部分的に未知である。

未知の２ｘ２行列を「？」で示している。従って、空間パラメータＣＬＤ及びＩＣＣに基づいて、部分的に既知の空間共分散行列を取得することができる。

更に、ＯＴＴ_３及びＯＴＴ_４の入力は相互に関連し、共分散行列

によって表現される。この場合、以下の通り、両方のエネルギー、即ち

及び

を関連付けるのは容易である。

それゆえ、最初の４つのチャネルに関する共分散行列は、次のように記述することができる。

ＭＰＥＧサラウンドの標準では、ρ_４＝ＩＣＣ_４の値は存在せず、１に等しいものとして概念的に仮定される。即ち、センターとＬＦＥとは、倍率の係数を除けば同一である。しかしながら、汎用的な開発を行うために、この仮定は行わないものとする。

最後の行列方程式は、多数の未知の空間チャネル間相関が存在するということを示す。即ち、

，

，

，

であるが、ＯＴＴ_３及びＯＴＴ_４への２つの入力の相互相関は、ＩＣＣ_１＝ρ_１に等しい。そうであるならば、先の行列方程式に従えば、次式のようになる。

従って、失われている量が次式を満足しなければならないということが即座に理解できよう。

この制約単独では全ての失われた空間変数を決定することができないということも明らかである。

個別のチャネルを更に操作するために、本発明のこの実施形態は、この相関合計の制約を維持したまま、失われた相関量を外挿する。なお、そのような行列を外挿することは、結果として得られる外挿行列が対称的で符号が正に定まるようなものでなければならない。これは事実、共分散行列として受容できるあらゆる行列に対する必要条件である。

完全な共分散行列を取得するために部分的に既知の共分散行列を外挿するために、いくつかの技術を文献から使用することができる。ある方法やその他の方法を使用することは、本発明の範囲内である。

好適な実施形態によれば、外挿法として最大エントロピー原理を使用する。このことは容易な実装につながり、オーディオ品質という点で極めて良好な性能を示す。

従って、外挿される相関量は、共分散行列の行列式を最大化するように、即ち次式のように、選択される。

これは、下記の制約の下でのものである。

これは凸最適化問題であり、閉形式解(closed form solution)が存在する。表記を単純化するために、汎用共分散行列のためのソリューションを導入する。

最初に、Γの行列式を最大化することは、下記の行列の行列式を最大化することと同等でもあるということに注意されたい。

これはまた、センターチャネル（Ｃ及びＬＦＥ）及びフロントチャネル（ＦＬ及びＦＲ）から取得される、モノラルチャネル及びサイドチャネルの共分散行列を評価することとも同等であり、即ち次式の通りである。

ここで明らかなように、行列Γに関する制約は容易に次式のように変換される。

残りの未知の相関は

，及び

であり、

は、Γ’の行列式の最大化を用いて外挿され、算出ステップは極めて煩雑であるが、その結果は最終的に極めて単純であり、下記の閉形式の式になる。

これらの量はそれゆえ、入手可能なデータから極めて容易に外挿可能である。最後に、完全な外挿された共分散行列Γについて、以下のように単純な行列乗算が必要である。

これらのステップは、更なる２つのチャネル、即ちＬＳ及びＲＳの全体の共分散行列を外挿するためにも適用される。次式のように、全体が外挿された共分散行列が導かれる。

同じアプローチを用いることにより、即ち複数のチャネルを仮想的なモノラルチャネルとサイドチャネルとに変換することにより、外挿される共分散行列のための閉形式の式を導出することは極めて容易である。

ここまでで提案してきたのは、チャネル［ｌｆ ｒｆ ｃ ｌｆｅ］に関する部分的な共分散行列を最初に外挿してから全チャネルの全体の共分散行列を外挿するという、２ステップのアプローチである。しかしながら、全体の不完全な共分散行列を算出してから全ての相関を全体的に外挿するという、他のアプローチもあるだろう。この２つのアプローチは、概念的には同等である。しかしながら、２番目のアプローチはより効果的である。というのも、前者は２ステップのアプローチを暗示する一方で、２番目のアプローチは全ての可能性のある相関を全体的に外挿するからである。

両方のアプローチは実装に関して類似しており、最大エントロピー（即ち、行列式の最大化）のアプローチに基づいている。

なお、全ての量は時間と周波数の両方に依存する。明瞭化のためにインデックスを付けることは省略した。時間のインデックスは、パラメータ・タイムスロットｌに対応し、周波数のインデックスは処理バンドのインデックスｍに対応する。最後に、結果として得られる全ての相関は、

によって表現されるモノラルのダウンミキシング信号のエネルギーに対して相対的に定義されるであろうということを指摘しておく。このことは事実、

という項が存在することが原因で、あらゆるＯＴＴｘボックスに対して成立する。

以下、モノラルのダウンミキシングエネルギーの表記を単純化するために、正規化された外挿された共分散行列を以下のように定義する。

外挿された共分散行列に基づいて任意のチャネルを推定して合成することを以下に説明する。

元のチャネルの所定の任意の線形結合として定義される任意のチャネルが、例えば以下のようにデコード／合成されるものとする。

ここで、行列

は、所定の任意の線形結合の記述を表現する係数の行列を示し、

は、望まれる線形結合、即ち望まれる出力信号である。先行技術に示される技術では、デコーダの出力の単純な線形結合として

を直接算出することになろう。即ち、周波数領域において行列

をデコードチャネル

に適用することになろう。形式上、これは以下のように記述されるであろう。

これは、出力に関する品質を制限し、望まれないチャネルの相関を引き起こしたり、可能性として望まれないチャネルのキャンセルを引き起こしたりすることになろう。

前述したように、各Ｒ−ＯＴＴボックスの出力は線形結合をもたらす。それゆえ、ダウンミキシング信号が実際に全てのチャネルの線形結合であるということは容易に理解できる。

と記述されるダウンミキシング信号はそれゆえ、次式のように記述できる。

係数である

行列は既知であり、受信したＣＬＤｘパラメータにのみ依存する。単一のチャネルのダウンミキシングの場合、即ちダウンミキシング信号がモノラルのみの信号から構成される場合、行列

は、上の方程式に示すように実際に行ベクトルである。従って、この問題は最小平均平方問題の観点で述べることもできるし、或いは一般的には、加重最小平均平方問題として述べることもできる。

モノラルのダウンミキシング信号

を考えると、チャネル

の線形推定は、次式のようにすることができる。

ここで、

は、本事例ではモノラルチャネル

であるダウンミキシングチャネルに適用された場合などに最適化される必要のある行列であり、元の線形結合である

で得られたものにできるだけ近い結果をもたらさなければならない。

その目標はそれゆえ、何らかの忠実度の基準（本事例では平均平方誤差基準）に関して誤差

を最小化することである。このことは、次式を最小化することにつながる。

この行列が静的であると仮定すれば、即ち、平均化の演算子からこの行列を除外できると仮定すれば、この問題に対する平均平方解は

に関して容易に解くことができ、次式の結果になる。

行列

は、チャネルの共分散行列を示す。即ち、次式の通りである。

これは、前述したように、デコーダでは入手できないかもしれないが、先に述べた技法に従って外挿される。ここでは、共分散行列を複素数として示す。しかしながら、実数の相関のみが使用されるので、その結果は実数の共分散行列についても依然として有効であることを容易に示すことができる。

ここまでで示してきたのは、全てのハイブリッド・サブバンドｋと全てのタイムスロットｎとについて最小平均平方が推定されるということである。ある程度の数のタイムスロットについて平均平方の推定値を算出して、これを全てのタイムスロットに拡張するために外挿を用いれば、実際に、かなりの量の複雑性を減少させることができる。例えば、パラメータのために使用されるものと同じタイムスロットに対して推定値をマッピングすること、即ち、パラメータ・タイムスロットのインデックスｌに対してのみ共分散行列を算出することは、有益である。複雑性の緩和に関する同様の技法は、パラメータ・バンドのインデックスｍに対してのみ算出される平均平方推定値をマッピングすることによって使用することもできる。しかしながら、これは一般的には、時間のインデックスに対してするほどは直接的でない。というのも、行列

の動きを効率的に表現するためには、ある程度の量の周波数分解能が必要とされるであろうからである。以下、サブサンプリングされたパラメータ領域、即ち、ｌ，ｍについて考える。

既に前述したように、共分散行列

は、モノラルのダウンミキシング信号、即ち

のエネルギーに対して相対的に既知であるに過ぎない。この制約のために、全てのｌ，ｍについて

であることを容易に示すことができる。最小平均平方推定値はそれゆえ、次式のように記述できる。

なお、

は、デコーダで入手可能な既知の量にのみ依存する。実際、

は外部入力であり、望まれる線形結合を記述する行列である一方、

及び

は、受信したビットストリームに含まれる空間パラメータから導出される。

最小平方推定値はその性質上、エネルギー損失を発生させるものであり、これは合成チャネルの品質に悪影響を与える可能性がある。エネルギー損失は、デコード信号に適用されるモデルと本当の信号との間の不適合に起因する。最小平方の技術用語では、これは雑音部分空間と呼ばれる。空間聴覚においては、この用語は、拡散音場と呼ばれる。即ち、マルチチャネル信号の一部が無相関(uncorrelated)であるか拡散している。これを回避するために、雑音部分空間及び拡散音場を満たしてそれによって望まれる信号に心理音響学的に近似する推定信号を取得するために、多数の非相関信号(decorrelated signals)が使用される。

最小平均平方の直交性質が原因で、望まれる信号のエネルギーは次式のように表現できる。

従って、ｌ，ｍ領域における誤差に関する正規化された共分散行列は、次式のように表現できる。

望まれる信号

と同じ心理音響学的性質を持つ推定信号

を生成するために、

から独立した誤差信号が生成される。誤差信号は、本当の誤差信号である

の共分散行列に近い共分散行列を持たなければならず、更に、平均平方推定値

とは無相関でなければならない。

と記述される人工的な誤差信号が次いで、平均平方誤差推定値に加算され、最終的な推定値である

が形成される。

誤差信号に近似する信号を生成する１つの方法は、モノラルのダウンミキシング信号に対して適用される非相関の使用を介するものである。これにより、誤差信号が平均平方推定値とは無相関になることが保証される。というのも、

はモノラルのダウンミキシング信号に直接依存するからである。しかしながら、それ自体では不十分であり、非相関は、その共分散行列が本当の誤差信号である

の相関に適合するように空間的に形成されている必要がある。

これを行う単純な方法は、生成された非相関信号がそれら自体の間でも無相関なようにし、

と呼ばれる相関形成行列を適用することである。

が非相関のベクトル出力を記述するものであれば、形成行列

は次式を満足しなければならない。

しかしながら、

は正規化された共分散行列としてのみ定義されているので、（モノラルのダウンミキシング信号のエネルギーと相対的に）非相関は、モノラルのダウンミキシングエネルギーの共分散行列に対して相対的に定義された共分散行列も持たなければならない。

先行技術に従えば、これを確かにする単純な方法は、全通過フィルタリング非相関を使用することであり、こうして、（モノラルの信号エネルギーに関して）正規化された、

と記述される共分散行列、即ち、単位行列が導出され、形成行列

を適用する。

の単純なコレスキー（Ｃｈｏｌｅｓｋｙ）分解が適切な行列

を生成できるということが、容易に理解できる。もちろん、他の分解も可能であり、例えば、正規化された誤差共分散行列のアイゲンベクトル(Eigen-vectors)及びアイゲン値を使用することができる。加えて、パラメータ領域、即ちｌ，ｍにおいてのみ

を評価することにより、利点が得られる。

最後に、全体の合成は次式のように記述することができる。

ここで、行列

は、時間領域（即ち、ｌからｎ）において行列

を外挿して、サブバンド・パラメータバンドをハイブリッドバンド（即ち、ｍからｋ）にマッピングすることにより、得られる。

そして同様に、行列

は、次式によって定義される行列

を外挿してマッピングすることにより、得られる。

図１０ｂは、上述した本発明の実施形態に従って任意のチャネルを合成するために使用される装置を要約して示す。参照符号は、図１０ａのそれに対応する。本実施形態において、推定器９０３は、マルチチャネル・サラウンドオーディオ信号の推定線形結合とマルチチャネル・サラウンドオーディオ信号の任意の所定の線形結合との間の平均平方誤差（即ち、

）を最小化することによって行列Ｑを決定するように構成された、ユニット９０５を備える。なお、マルチチャネル・サラウンドサウンド信号の任意の所定の線形結合にアクセス可能である必要は無く、マルチチャネル・サラウンドサウンド信号の線形結合の推定値を形成するためには、元のマルチチャネル信号の共分散行列に関する知識があれば十分である。後者のものは、部分的に既知の共分散行列を形成して、最大エントロピー原理などの原理を用いてこれを外挿することを通して、受信したビットストリームから得られる。

また、推定器９０３は、マルチチャネル・サラウンドオーディオ信号の線形結合の推定値９１３を取得するために、

にダウンミキシング信号を乗ずるように構成された更なるユニット９０７を備える。推定器９０３は、非相関信号の量を示す非相関信号形成行列

を決定するように適合されたユニット９０５を更に備える。本実施形態では、合成器９０４は、９０８，９０９で

を算出し、次いで

を算出することにより、線形結合を合成するように構成される。ここで、

は、各周波数バンド及び各タイムスロットのためにエネルギー損失を補償するための「非相関信号」である。更に、本装置は、内挿及びマッピングのユニット９０６も備える。このユニットは、時間領域において行列

を内挿し、ダウンサンプリングされた周波数バンドｍをハイブリッドバンドｋにマッピングし、時間領域において行列

を内挿し、ダウンサンプリングされた周波数バンドｍをハイブリッドバンドｋにマッピングするように構成可能である。外挿器９０２ｂは、上述したように、外挿相関量が所定の条件下で共分散行列の行列式を最大化するように外挿相関量を選択することによって、最大エントロピー原理を使用することができる。

ここで図１１に移ると、図１１は、本発明の実施形態のフローチャートを示す。本方法は、以下のステップを備える。

１０００． 任意の所定の線形結合の記述Ｈを受信する。

１００１． マルチチャネル・サラウンドオーディオ信号のデコードダウンミキシング信号を受信する。

１００２． マルチチャネル・オーディオ信号の相関とチャネルレベル差とを含む空間パラメータを受信する。

１００３． 受信した、マルチチャネル・オーディオ信号の相関とチャネルレベル差とを含む空間パラメータに基づいて、部分的に既知の空間共分散行列を取得する。

１００４． 部分的に既知の空間共分散行列を外挿して、完全な空間共分散行列を取得する。

１００５． 外挿された完全な空間共分散行列と、受信したデコードダウンミキシング信号と、任意の所定の線形結合の前記記述とに少なくとも基づいて、マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合の推定値を、忠実度の基準に従って形成する。

１００６． マルチチャネル・サラウンドオーディオ信号の任意の所定の線形結合の前記推定値に基づいて、マルチチャネル・サラウンドオーディオ信号の前記任意の所定の線形結合を合成する。

ステップ１００５は下記のステップを更に備えてもよい。

１００５ａ． マルチチャネル・サラウンドオーディオ信号の推定線形結合と、マルチチャネル・サラウンドオーディオ信号の任意の所定の線形結合との間の、平均平方誤差を最小化することにより、行列Ｑを決定する。

１００５ｂ． Ｑにダウンミキシング信号を乗じて、マルチチャネル・サラウンドオーディオ信号の任意の所定の線形結合の推定値を取得する。

１００５ｃ． 非相関信号の量を示す非相関信号形成行列Ｚを決定する。

１００５ｄ． 時間領域においてＱ及びＺを内挿する。

１００５ｅ． ダウンサンプリング周波数バンドｍをハイブリッドバンドｋにマッピングする。

本方法は、移動端末のデコーダ内に実装することができる。

本発明は、上述した好適な実施形態に限定されない。多様な代替例、変形例、及び均等物を使用することができる。それゆえ、上述の実施形態は、本発明の範囲を限定するものとして捉えられてはならない。本発明の範囲は、添付の請求の範囲によって規定される。

＜略語＞
ＡＡＣ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ
ＡＭＲ−ＷＢ＋ 拡張適応マルチレート・ワイドバンド
Ｃ センター
ＣＬＤ チャネルレベル差
ＨＲ 頭部関連
ＨＲＦ 頭部関連フィルタ
ＨＲＴＦ 頭部関連伝達関数
ＩＣ チャネル間コヒーレンス
ＩＣＣ 相関
ＩＬＤ チャネル間レベル差
ＩＴＤ チャネル間時間差
Ｌ レフト
ＬＦＥ 低周波要素
ＭＰＥＧ Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ
ＯＴＴ Ｏｎｅ−ｔｏ−ｔｗｏ
ＰＣＭ パルス符号変調
ＰＤＡ 携帯情報端末
Ｒ ライト
Ｒ−ＯＴＴ Ｒｅｖｅｒｓｅｄ ｏｎｅ−ｔｏ−ｔｗｏ
ＳＬ サラウンド・レフト
ＳＲ サラウンド・ライト

５．１オーディオ信号についての可能な３Ｄオーディオレンダリング又はバイノーラルレンダリングを示すブロック図である。 パラメトリック・マルチチャネル・コーディングシステム及びパラメトリック・マルチチャネル・デコーディングシステムの原理に関する高レベルの説明図である。 パラメトリック・マルチチャネル・オーディオエンコーダの詳細な説明図である。 パラメトリック・マルチチャネル・オーディオデコーダの詳細な説明図である。 デコードされたマルチチャネル信号の３Ｄレンダリングを示す図である。 ５−１−５_１構成のための空間オーディオ処理のパラメータによる表示である。 ５−１−５_１構成のための空間オーディオ処理のツリー構造表示である。 サブバンドｋとハイブリッド・サブバンドｍとの間の関係と、タイムスロットｎとダウンサンプリング・タイムスロットｌとの間の関係とを示す図である。 図７に示すＯＴＴボックスを示す図である。 対応するＲ−ＯＴＴボックスを示す図である。 本発明に従う装置を示す図である。 本発明の実施形態を示す図である。 本発明の実施形態に従う方法を示すフローチャートである。

Claims (20)

1. マルチチャネル・サラウンドオーディオ信号の所定の線形結合を合成する方法であって、
   前記所定の線形結合の記述Ｈを受信するステップ（１０００）と、
   前記マルチチャネル・サラウンドオーディオ信号のデコードされたダウンミキシング信号を受信するステップ（１００１）と、
   前記マルチチャネル・サラウンドオーディオ信号の相関とチャネルレベル差とを含む空間パラメータを受信するステップ（１００２）と、
   前記マルチチャネル・サラウンドオーディオ信号の相関とチャネルレベル差とを含む前記受信した空間パラメータに基づいて、前記マルチチャネル・サラウンドオーディオ信号の部分的に既知の空間共分散行列を取得するステップ（１００３）と、
   前記マルチチャネル・サラウンドオーディオ信号の完全な空間共分散行列を取得するために、前記部分的に既知の空間共分散行列を外挿するステップ（１００４）と、
   前記外挿された完全な空間共分散行列と、前記受信したデコードされたダウンミキシング信号と、前記所定の線形結合の前記記述Ｈとに少なくとも基づいて、前記マルチチャネル・サラウンドオーディオ信号の前記所定の線形結合の推定を、忠実度の基準に従って形成するステップ（１００５）と、
   前記マルチチャネル・サラウンドオーディオ信号の前記所定の線形結合の推定に基づいて、マルチチャネル・サラウンドオーディオ信号の前記所定の線形結合を合成するステップ（１００６）と、
   を備えることを特徴とする方法。
2. 前記形成するステップは、
   前記マルチチャネル・サラウンドオーディオ信号の前記線形結合の推定と、前記マルチチャネル・サラウンドオーディオ信号の前記所定の線形結合との間の、平均平方誤差を最小化することにより、行列Ｑを決定するステップと、
   マルチチャネル・サラウンドオーディオ信号の前記所定の線形結合の推定を取得するために、前記行列Ｑに前記ダウンミキシング信号を乗じるステップと、
   を更に備えることを特徴とする請求項１に記載の方法。
3. 前記形成するステップは、非相関信号の量を示す非相関信号を形成する行列Ｚを決定するステップを更に備えることを特徴とする請求項２に記載の方法。
4. 前記合成するステップは、エネルギー損失を補償するために、各周波数バンド及び各タイムスロットに対して、
   Ｑ＊ｍ＋Ｚ＊「非相関信号」
   を実行するステップを備える、ことを特徴とする請求項３に記載の方法。
5. 前記部分的に既知の共分散行列は、ダウンサンプリングされたタイムスロットｌにおいてダウンサンプリングされた周波数バンドｍに関して、外挿されることを特徴とする請求項４に記載の方法。
6. 前記部分的に既知の共分散行列は、ダウンサンプリングされたタイムスロットｌにおいてダウンサンプリングされた周波数バンドｍに関して、外挿されることを特徴とする請求項２又は３に記載の方法。
7. 時間領域において前記行列Ｑを内挿するステップと、
   ダウンサンプリングされた周波数バンドｍをハイブリッドバンドｋにマッピングするステップと、
   を更に備えることを特徴とする請求項５に記載の方法。
8. 時間領域において前記行列Ｚを内挿するステップと、
   ダウンサンプリングされた周波数バンドｍをハイブリッドバンドｋにマッピングするステップと、
   を更に備えることを特徴とする請求項６に記載の方法。
9. 前記外挿するステップは、外挿された相関量が、最大エントロピー原理を使用することによって、所定の制約の下で共分散行列の行列式を最大化させる外挿された相関量を選択することにより、実行されることを特徴とする請求項１乃至８のいずれか１項に記載の方法。
10. 移動端末のデコーダ内に実装されていることを特徴とする請求項１乃至９のいずれか１項に記載の方法。
11. マルチチャネル・サラウンドオーディオ信号の所定の線形結合を合成する装置であって、
    前記マルチチャネル・サラウンドオーディオ信号の相関とチャネルレベル差とを含む受信した空間パラメータに基づいて、部分的に既知の空間共分散行列を取得する相関器と、
    前記マルチチャネル・サラウンドオーディオ信号の完全な空間共分散行列を取得するために、前記部分的に既知の空間共分散行列を外挿する外挿器と、
    前記外挿された完全な空間共分散行列と、受信したデコードされたダウンミキシング信号と、前記所定の線形結合を与える係数の記述を表現するＨとに少なくとも基づいて、前記マルチチャネル・サラウンドオーディオ信号の前記所定の線形結合の推定を、忠実度の基準に従って形成する推定器と、
    前記マルチチャネル・サラウンドオーディオ信号の前記所定の線形結合の推定に基づいて、マルチチャネル・サラウンドオーディオ信号の前記所定の線形結合を合成する合成器と、
    を備えることを特徴とする装置。
12. 前記推定器は、
    前記マルチチャネル・サラウンドオーディオ信号の前記線形結合の推定と、前記マルチチャネル・サラウンドオーディオ信号の前記所定の線形結合との間の、平均平方誤差を最小化することにより、行列Ｑを決定する手段と、
    マルチチャネル・サラウンドオーディオ信号の前記所定の線形結合の推定を取得するために、前記行列Ｑに前記ダウンミキシング信号を乗じる手段と、
    を更に備えることを特徴とする請求項１１に記載の装置。
13. 前記推定器は、非相関信号の量を示す非相関信号を形成する行列Ｚを決定する手段を更に備えることを特徴とする請求項１２に記載の装置。
14. 前記合成器は、エネルギー損失を補償するために、各周波数バンド及び各タイムスロットに対して、
    Ｑ＊ｍ＋Ｚ＊「非相関信号」
    を実行する手段を備える、ことを特徴とする請求項１３に記載の装置。
15. 前記外挿器は、ダウンサンプリングされたタイムスロットｌにおいてダウンサンプリングされた周波数バンドｍに関して前記部分的に既知の共分散行列を外挿する手段を備える、ことを特徴とする請求項１４に記載の装置。
16. 前記外挿器は、ダウンサンプリングされたタイムスロットｌにおいてダウンサンプリングされた周波数バンドｍに関して前記部分的に既知の共分散行列を外挿する手段を備えることを特徴とする請求項１２又は１３に記載の装置。
17. 前記推定器は、時間領域において前記行列Ｑを内挿し、且つダウンサンプリングされた周波数バンドｍをハイブリッドバンドｋにマッピングする手段を更に備えることを特徴とする請求項１５に記載の装置。
18. 前記推定器は、時間領域において前記行列Ｚを内挿し、且つダウンサンプリングされた周波数バンドｍをハイブリッドバンドｋにマッピングする手段を更に備えることを特徴とする請求項１６に記載の装置。
19. 前記外挿器は、最大エントロピー原理を使用することによって、所定の制約の下で共分散行列の行列式を最大化させる外挿された相関量を選択することにより、前記外挿を実行する手段を備えることを特徴とする請求項１１乃至１８のいずれか１項に記載の装置。
20. 移動端末のデコーダ内に実装されていることを特徴とする請求項１１乃至１９のいずれか１項に記載の装置。

Images