JP4834153B2 - 非エネルギー節約型アップミックス・ルールのコンテクストにおけるバイノーラル・マルチチャンネル・デコーダ - Google Patents

Description

本発明は、ＨＲＴＦフィルタリングによって、利用できるダウンミックスされた信号およびさらなる制御データに基づくマルチチャンネル音声信号のバイノーラル復号化に関する。

音声符号化における最近の進展は、ステレオ（またはモノラル）信号および対応する制御データに基づいて音声信号のマルチチャンネル表現を再現することが可能である方法を実施している。これらの方法は、さらなる制御データが、送信されたモノラルまたはステレオ・チャンネルに基づくサラウンド・チャンネルの、アップミックスとも呼ばれる、再現を制御するために送信されるので、ドルビー社プロロジック（Ｐｒｏｌｏｇｉｃ（登録商標））のような古くからあるマトリクスに基づく解決策とは実質的に異なる。

したがって、そのようなパラメトリック・マルチチャンネル・オーディオ・デコーダ、例えばＭＰＥＧサラウンド（ＭＰＥＧ Ｓｕｒｒｏｕｎｄ（登録商標））は、Ｍ個の送信されたチャンネルおよびさらなる制御データに基づいてＮ個のチャンネルを再構成し、そこにおいてＮ＞Ｍである。このさらなる制御データは、Ｎ個のチャンネルの全ての送信のために要求されるものより著しく低いデータレートを表し、符号化を非常に効率的にすると同時に、Ｍチャンネル装置およびＮチャンネル装置の両方の互換性を確実にする［Ｊ．Ｂｒｅｅｂａａｒｔらの「ＭＰＥＧ空間音声符号化／ＭＰＥＧサラウンド：概要および現状（ＭＰＥＧ ｓｐａｔｉａｌ ａｕｄｉｏ ｃｏｄｉｎｇ ／ ＭＰＥＧ Ｓｕｒｒｏｕｎｄ（登録商標）：ｏｖｅｒｖｉｅｗ ａｎｄ ｃｕｒｒｅｎｔ ｓｔａｔｕｓ）」、第１１９回ＡＥＳコンベンションのプロシーディング、米国、ニューヨーク、２００５年１０月、プレプリント６４４７］。

これらのパラメトリック・サラウンド符号化方法は、通常、チャンネル・レベル差（ＣＬＤ）およびチャンネル間コヒーレンス／相互相関（ＩＣＣ）に基づくサラウンド信号のパラメータ化を含む。これらのパラメータは、アップミックス・プロセスにおけるチャンネル対間のパワー比および相関関係を表す。さらに、チャンネル予測係数（ＣＰＣ）が、アップミックス手順中に、中間または出力チャンネルを予測するために、先行技術でも用いられる。

音声符号化における他の進展は、ステレオ・ヘッドホンを超えるマルチチャンネル信号印象を得る手段を提供している。これは、元のマルチチャンネル信号およびＨＲＴＦ（頭部伝達関数）フィルタを用いて、マルチチャンネル信号をステレオにダウンミックスすることによって一般に行われる。

あるいは、左のバイノーラル・チャンネルおよび右のバイノーラル・チャンネルを有するバイノーラル信号の生成をショートカットすることは、もちろん、コンピュータの効率のためおよび音質のために役立つ。

しかしながら、問題は、元のＨＲＴＦフィルタをどのように組み合わせることができるかということである。さらに、問題は、エネルギー損失の影響を受けるアップミキシング・ルールのコンテクストにおいて起こり、すなわち、マルチチャンネル・デコーダ入力信号が、例えば、第１のダウンミックス・チャンネルおよび第２のダウンミックス・チャンネルを有るダウンミックス信号を含み、さらに、非エネルギー節約型のやり方でアップミックスするために用いられる空間パラメータを有する場合に起こる。そのようなパラメータは、予測パラメータまたはＣＰＣパラメータとして公知でもある。これらのパラメータは、チャンネル・レベル差パラメータとは対照的に、それらが２つのチャンネル間にエネルギー分布を反映するために計算されないが、エネルギー・エラー（例えば損失）を自動的にもたらすできる限り最良な波形整合を実行するために計算されるという特性を有し、これは、予測パラメータが生成される場合に、アップミックスのエネルギー節約型特性を配慮しないが、元の信号と比較して再構成された信号のできる限り良好な時間またはサブバンド・ドメイン波形整合を有することを配慮するからである。

そのような送信された空間予測パラメータに基づいてＨＲＴＦフィルタを単に線形に組み合わせる場合、チャンネルの予測が十分に機能しない場合に特に重大なアーチファクトを受信する。その状況において、わずかな線形依存性でさえ、バイノーラル出力の望まれていないスペクトル有色化につながる。このアーチファクトは、対で無相関でありかつ同等の大きさを有する信号を元のチャンネルが伝送する場合に、最も高い頻度で発生することが見出された。

Ｊ．Ｂｒｅｅｂａａｒｔらの「ＭＰＥＧ空間音声符号化／ＭＰＥＧサラウンド：概要および現状（ＭＰＥＧ ｓｐａｔｉａｌ ａｕｄｉｏ ｃｏｄｉｎｇ ／ ＭＰＥＧ Ｓｕｒｒｏｕｎｄ（登録商標）：ｏｖｅｒｖｉｅｗ ａｎｄ ｃｕｒｒｅｎｔ ｓｔａｔｕｓ）」、第１１９回ＡＥＳコンベンションのプロシーディング、米国、ニューヨーク、２００５年１０月、プレプリント６４４７

本発明の目的は、例えば、マルチチャンネル信号のヘッドホン再生に用いることができるバイノーラル信号を得るためにマルチチャンネル復号化のための効率的で質的に受け入れることができる概念を提供することである。

本発明の第１の態様によれば、この目的は、ダウンミックス信号をアップミックス・ルールでアップミックスするために用いることができるアップミックス・ルール情報を含むパラメータを用いて元のマルチチャンネル信号から導出されるダウンミックス信号からバイノーラル信号を生成するためのマルチチャンネル・デコーダであって、アップミックス・ルールはエネルギー・エラーをもたらし、マルチチャンネル・デコーダは、アップミックス・ルール情報およびアップミックス・チャンネルに対応する頭部伝達関数に基づくフィルタのフィルタ特性に基づいて、エネルギー・エラーを低減しまたは除去するための少なくとも１つの利得係数を計算するための利得係数計算機と、エネルギー補正されたバイノーラル信号を得るために少なくとも１つの利得係数、フィルタ特性およびアップミックス・ルール情報を用いてダウンミックス信号をフィルタにかけるためのフィルタ・プロセッサとを含む、マルチチャンネル・デコーダによって達成される。

本発明の第２の態様によれば、この目的は、ダウンミックス信号をアップミックス・ルールでアップミックスするために用いることができるアップミックス・ルール情報を含むパラメータを用いて元のマルチチャンネル信号から導出されるダウンミックス信号からバイノーラル信号を生成するためのマルチチャンネル復号化の方法であって、アップミックス・ルールはエネルギー・エラーをもたらし、マルチチャンネル復号化の方法は、アップミックス・ルール情報およびアップミックス・チャンネルに対応する頭部伝達関数に基づくフィルタのフィルタ特性に基づいて、エネルギー・エラーを低減しまたは除去するための少なくとも１つの利得係数を計算するステップと、エネルギー補正されたバイノーラル信号を得るために少なくとも１つの利得係数、フィルタ特性およびアップミックス・ルール情報を用いてダウンミックス信号をフィルタにかけるステップとを含む、マルチチャンネル復号化の方法によって達成される。

本発明のさらなる態様は、コンピュータ上で実行されるときに、そのマルチチャンネル復号化の方法を実施する、コンピュータで読み取り可能なコードを有するコンピュータプログラムに関する。

本発明は、マルチチャンネル信号を完全にレンダリングしかつその後に膨大な数のＨＲＴＦフィルタを適用しなくてもバイノーラル信号を得るためにダウンミックス信号をフィルタにかけるためのエネルギー・エラーをもたらすアップミックスに関するアップミックス・ルール情報を有利に用いることもできるという知見に基づいている。それどころか、本発明によれば、エネルギー・エラーの影響を受けるアップミックス・ルールに関するアップミックス・ルール情報は、ダウンミックス信号のバイノーラル・レンダリングをショートカットするために有利に用いることができ、そのとき、本発明によれば、利得係数は、ダウンミックス信号をフィルタにかける場合に計算されさらに用いられ、この利得係数は、エネルギー・エラーが低減されまたは完全に除去されるように計算される。

特に、この利得係数は、予測パラメータのようなアップミックス・ルールに関する情報に依存するだけでなく、重要なことに、アップミックス・ルールが与えられる、アップミックス・チャンネルに対応する頭部伝達関数に基づくフィルタにも依存する。特に、これらのアップミックス・チャンネルは、本発明の好適な実施形態において決して存在せず、それは、バイノーラル・チャンネルが、例えば、３つの中間チャンネルを第一にレンダリングしないで計算されるからである。しかしながら、アップミックス・チャンネル自体が好適な実施形態において決して存在しないにもかかわらず、アップミックス・チャンネルに対応するＨＲＴＦに基づくフィルタを導出しまたは提供することができる。利得係数を生成する場合に、ＨＲＴＦに基づくフィルタも利得係数の計算に影響するように、そのようなエネルギー損失の影響を受けるアップミックス・ルールによって導入されるエネルギー・エラーが、エンコーダからデコーダに送信されるアップミックス・ルール情報に対応するだけでなく、ＨＲＴＦに基づくフィルタにも依存することが見出された。

それからみて、本発明は、予測パラメータのようなアップミックス・ルール情報とアップミックス・ルールを用いるアップミキシングの結果であるチャンネルのためのＨＲＴＦに基づくフィルタの特定の見掛けとの間の相互依存を説明する。

このように、本発明は、パラメトリック・マルチチャンネル音声のバイノーラル復号化と組み合わせて予測アップミックスの使用から起こるスペクトル有色化の問題の解決策を提供する。

本発明の好適な実施形態は、以下の特徴を含む：Ｍ個の復号化された信号およびＮ＞ＭのＮ個のチャンネルの作成に関する空間パラメータからバイノーラル音声信号を生成するためのオーディオ・デコーダであって、そのデコーダは、多数のサブバンドにおいて、Ｐ対のバイノーラル・サブバンド・フィルタおよびＰ個の中間チャンネルの作成に関する空間パラメータのサブセットから２つの補償利得を推定するための利得計算機と、多数のサブバンドにおいて、Ｐ対のバイノーラル・サブバンド・フィルタの線形結合によって得られるＭ対のバイノーラル・サブバンド・フィルタを修正するための利得調整器とを含み、その修正は、利得計算機によって計算される２つの利得を有するＭ対のそれぞれの乗算からなる。

本発明は、添付図面を参照して、図示の例によって説明されるが、本発明の範囲または精神は限定されない。

図１は、ＨＲＴＦ関連フィルタを用いるパラメトリック・マルチチャンネル信号のバイノーラル合成を図示する。 図２は、組み合わせられたフィルタリングを用いるパラメトリック・マルチチャンネル信号のバイノーラル合成を図示する。 図３は、本発明のパラメータ／フィルタ・コンバイナのコンポーネントを図示する。 図４は、ＭＰＥＧサラウンド空間復号化の構成を図示する。 図５は、本発明の利得補償なしで復号化されたバイノーラル信号のスペクトルを図示する。 図６は、バイノーラル信号の本発明の復号化のスペクトルを図示する。 図７は、ＨＲＴＦを用いる従来のバイノーラル合成を図示する。 図８は、ＭＰＥＧサラウンド・エンコーダを図示する。 図９は、ＭＰＥＧサラウンド・デコーダおよびバイノーラル・シンセサイザのカスケードを図示する。 図１０は、特定の構成のための概念的な３Ｄバイノーラル・デコーダを図示する。 図１１は、特定の構成のための空間エンコーダを図示する。 図１２は、空間（ＭＰＥＧサラウンド）デコーダを図示する。 図１３は、利得係数補正なしでバイノーラル信号を得るために４つのフィルタを用いる２つのダウンミックス・チャンネルのフィルタリングを図示する。 図１４は、５チャンネル・セットアップにおいて異なるＨＲＴＦフィルタ１−１０を説明するための空間セットアップを図示する。 図１５は、Ｌ、ＬｓおよびＲ、Ｒｓのチャンネルが組み合わされた場合の図１４の状況を図示する。 図１６ａは、ＨＲＴＦフィルタの最大組合せが実行され、さらに、図１３の４つのフィルタだけが残る場合の図１４または図１５からのセットアップを図示する。 図１６ｂは、非エネルギー節約型アップミックスをもたらすアップミックス係数を有する図２０のエンコーダによって決定されるようなアップミックス・ルールを図示する。 図１７は、ＨＲＴＦフィルタが４つのＨＲＴＦに基づくフィルタを最終的に得るためにどのように組み合されるかについて図示する。 図１８は、本発明のマルチチャンネル・デコーダの好適な実施形態を図示する。 図１９ａは、利得補正なしでＨＲＴＦに基づくフィルタリングの後にスケーリング・ステージを有する本発明のマルチチャンネル・デコーダの第１の実施形態を図示する。 図１９ｂは、利得調整されたフィルタ出力信号をもたらす調整されたＨＲＴＦに基づくフィルタを有する本発明の装置を図示する。 図２０は、非エネルギー節約型アップミックス・ルールのための情報を生成するエンコーダのための例を示す。

本発明の利得調整形態について詳細に述べる前に、ＨＲＴＦフィルタの組合せおよびＨＲＴＦに基づくフィルタの使用について図７〜図１１に関連して述べる。

本発明の特徴および効果をよりよく概説するために、より精巧な記載が最初になされる。バイノーラル合成アルゴリズムは、図７に概説される。１セットの入力チャンネルは、１セットのＨＲＴＦによってフィルタにかけられる。それぞれの入力信号は、２つの信号（左「Ｌ」および右「Ｒ」の成分）に分割され、これらの信号のそれぞれは、所望の音源位置に対応するＨＲＴＦによってその後にフィルタにかけられる。全ての左耳の信号は、左のバイノーラル出力信号を生成するためにその後に合計され、さらに右耳の信号は、右のバイノーラル出力信号を生成するために合計される。

ＨＲＴＦ畳み込みは、時間ドメインにおいて実行することができるが、計算効率のため周波数ドメインにおいてフィルタリングを実行することがしばしば好まれる。その場合、図７に示される合計は、周波数ドメインにおいても実行される。

原理上、図７に概説されるようにバイノーラル合成方法は、ＭＰＥＧサラウンド・エンコーダ／デコーダと組み合わせて直接的に用いることができる。ＭＰＥＧサラウンド・エンコーダは、図８に概略的に示される。マルチチャンネル入力信号は、空間エンコーダによって分析され、空間パラメータと相まって、モノラルまたはステレオ・ダウンミックス信号をもたらす。ダウンミックスは、いかなる従来のモノラルまたはステレオ・オーディオ・コーデックでも符号化することができる。結果として生じるダウンミックス・ビットストリームは、マルチプレクサによって空間パラメータと組み合わされ、総出力ビットストリームをもたらす。

ＭＰＥＧサラウンド・デコーダと組み合わせてバイノーラル合成スキームは、図９に示される。入力ビットストリームは、空間パラメータおよびダウンミックス・ビットストリームをもたらすように分離される。後のビットストリームは、従来のモノラルまたはステレオ・デコーダを用いて復号化される。復号化されたダウンミックスは、空間デコーダによって復号化され、それは、送信された空間パラメータに基づいてマルチチャンネル出力を生成する。最後に、マルチチャンネル出力は、図７に図示されるように、バイノーラル合成ステージによって処理され、バイノーラル出力信号をもたらす。

しかしながら、そのようなＭＰＥＧサラウンド・デコーダおよびバイノーラル合成モジュールのカスケードの少なくとも３つの不利な点がある：
・マルチチャンネル信号表現は、中間ステップとして計算され、バイノーラル合成ステップにおけるＨＲＴＦ畳み込みおよびダウンミキシングが続く。ＨＲＴＦ畳み込みがチャンネル・ベースごとに実行されなければならないにもかかわらず、それぞれの音声チャンネルが異なる空間位置を有することがあるという事実を考えると、これは、煩雑性の観点から望ましくない状況である。
・空間デコーダは、フィルタバンク（ＱＭＦ）・ドメインにおいて作動する。一方、ＨＲＴＦ畳み込みは、ＦＦＴドメインにおいて典型的に適用される。したがって、マルチチャンネルＱＭＦ合成フィルタバンク、マルチチャンネルＤＦＴ変換およびステレオ逆ＤＦＴ変換のカスケードは必要であり、高い計算要求を伴うシステムをもたらす。
・マルチチャンネル再構成を作成するために空間デコーダによって作成される符号化アーチファクトは、聞こえて、（ステレオ）バイノーラル出力においておそらく高められる。

空間エンコーダは、図１１に示される。左前、左サラウンド、中央、右前および右サラウンドのチャンネルのためのＬｆ、Ｌｓ、Ｃ、ＲｆおよびＲｓ信号からなるマルチチャンネル入力信号は、２つの「ＯＴＴ」ユニットによって処理され、それらの両方は、モノラル・ダウンミックスおよび２つの入力信号のためのパラメータを生成する。結果として生じるダウンミックス信号は、中央のチャンネルと相まって、「ＴＴＴ」（２対３）エンコーダによってさらに処理され、ステレオ・ダウンミックスおよびさらなる空間パラメータを生成する。

「ＴＴＴ」エンコーダから生じるパラメータは、典型的に、パラメータ・バンドごとに一対の予測係数、または、３つの入力信号のエネルギー比を表す一対のレベル差からなる。「ＯＴＴ」エンコーダのパラメータは、周波数バンドごとに入力信号間のレベル差およびコヒーレンスまたは相互相関値からなる。

図１２には、ＭＰＥＧサラウンド・デコーダが図示される。ダウンミックス信号ｌ０およびｒ０は、２対３モジュールに入力され、中央のチャンネル、右側のチャンネルおよび左側のチャンネルを再現する。これらの３つのチャンネルは、６つの出力チャンネルを生じるいくつかのＯＴＴモジュール（１対２）によってさらに処理される。

対応するバイノーラル・デコーダは、概念的な観点からわかるように、図１０に示される。フィルタバンク・ドメイン内で、ステレオ入力信号（Ｌ₀、Ｒ₀）は、ＴＴＴデコーダによって処理され、３つの信号Ｌ、ＲおよびＣをもたらす。これらの３つの信号は、ＨＲＴＦパラメータ処理を受ける。結果として生じる６つのチャンネルは、ステレオ・バイノーラル出力対（Ｌ_b、Ｒ_b）を生成するために合計される。

Ｈｘ（Ｙ）フィルタは、元のＨＲＴＦフィルタのパラメトリック・バージョンのパラメトリック重み付けられた組合せとして表すことができる。これが働くために、元のＨＲＴＦフィルタは、
・左耳のインパルス応答のための周波数バンドごとの（平均）レベル、
・右耳のインパルス応答のための周波数バンドごとの（平均）レベル、
・左耳および右耳のインパルス応答間の（平均）到着時間または位相差
として表される。

そのため、ＨＲＴＦパラメータ処理は、単に中央のチャンネルの音源位置に対応するＰ_lおよびＰ_rを有する信号の乗算からなる一方で、位相差は、対称的に分布される。このプロセスは、ＱＭＦバンドごとに個々に実行され、一方ではＨＲＴＦパラメータからＱＭＦフィルタバンクへのマッピングを用い、他方では空間パラメータからＱＭＦバンドへのマッピングを用いる。

明らかに、ＨＲＴＦは、６つの元のチャンネルのためのパラメータ化されたＨＲＴＦフィルタのためのレベルおよび位相差の重み付けられた組合せである。

上述のアプローチは、周波数バンドごとの平均レベルおよび周波数バンドごとの平均位相差として十分正確に表すことができる短いＨＲＴＦフィルタに効果がある。しかしながら、長いエコーＨＲＴＦには、これは事実でない。

本発明は、任意の長さのＨＲＴＦフィルタを取り扱うために２×２マトリクス・バイノーラル・デコーダのアプローチをどのように拡張するかを教示する。これを達成するために、本発明は、次のステップを含む：
・ＨＲＴＦフィルタ応答をフィルタバンク・ドメインに変換
・ＨＲＴＦフィルタ対からの全体的な遅延差または位相差の抽出
・ＨＲＴＦフィルタ対の応答をＣＬＤパラメータの関数としてモーフィング
・利得調整

これは、Ｙ＝Ｌ₀、Ｒ₀およびＸ＝Ｌ、Ｒ、Ｃの６つの複素利得Ｈ_Y（Ｘ）を６つのフィルタで置き換えることによって達成される。これらのフィルタは、Ｙ＝Ｌ₀、Ｒ₀およびＸ＝Ｌｆ、Ｌｓ、Ｒｆ、Ｒｓ、Ｃの１０個の複素利得Ｈ_Y（Ｘ）から導出され、それらは、ＱＭＦドメインにおいて所定のＨＲＴＦフィルタ応答を表す。これらのＱＭＦ表現は、後述する方法に従って達成することができる。

フィルタのモーフィングにおけるこの位相パラメータの役割は、２つの面を有する。第１に、それは、前および後のスピーカ間の音源位置に対応する主要な遅延時間をモデル化する組み合わせられた応答を導く重ね合わせの前に、２つのフィルタの遅延補償を実現する。第２に、それは、必要な利得補償係数ｇをより安定にしさらにφ_XY＝０の単純な重ね合わせの場合よりも周波数とともにゆっくり変化させる。

φ_XY＝０の単純な重ね合わせの場合、ρ_XYの値は、周波数の関数として一定でなく振動する方法で変化し、それは、広範囲な利得調整の必要を導く。実用的な実装において、利得ｇの値を制限する必要があり、信号の残留するスペクトル有色化を回避することができない。

対照的に、本発明によって教示されるように遅延に基づく位相補償を伴うモーフィングの使用は、周波数の関数としてρ_XYのスムースな挙動を導く。この値は、自然なＨＲＴＦから導出されたフィルタ対のための１つの近くにさえしばしばあり、これは、それらが遅延および振幅において主に異なり、さらに、位相パラメータの目的が遅延差をＱＭＦフィルタバンク・ドメインにおいて考慮に入れることであるからである。

以下で考慮される全ての信号は、離散時間信号の変調されたフィルタ・バンクまたはウィンドウ化されたＦＦＴ分析からのサブバンド・サンプルまたは離散時間信号である。当然のことながら、これらのサブバンドは、対応する合成フィルタ・バンク操作によって離散時間ドメインへ戻って変換されなければならない。

図１は、ＨＲＴＦ関連フィルタを用いるパラメトリック・マルチチャンネル信号のバイノーラル合成のための手順を図示する。Ｎ個のチャンネルを含むマルチチャンネル信号は、Ｍ＜ＮのＭ個の送信されたチャンネルおよび送信された空間パラメータに基づいて空間復号化１０１によって生成される。これらのＮ個のチャンネルは、ＨＲＴＦフィルタリングによってバイノーラル・リスニングを目的とする２つの出力チャンネルに次々に変換される。このＨＲＴＦフィルタリング１０２は、左耳のための１つのＨＲＴＦフィルタおよび右耳のための１つのＨＲＴＦフィルタでそれぞれの入力チャンネルをフィルタにかけた結果を重ね合わせる。全般的に見て、これは、２Ｎ個のフィルタを必要とする。パラメトリック・マルチチャンネル信号は、Ｎ個のラウドスピーカによって聞かれる場合に高品質なリスナーの体験を達成するのに対して、N個の信号のわずかな相互依存性は、バイノーラル・リスニングのためのアーチファクトを導く。これらのアーチファクトは、符号化の前に元のＮ個のチャンネルのＨＲＴＦフィルタリングによって定義されるように、参照バイノーラル信号からスペクトル・コンテントにおける偏差によって支配される。この連なりのさらなる不利な点は、バイノーラル合成のための総計算コストがコンポーネント１０１および１０２ごとに必要なコストの追加となるということである。

図２は、本発明によって教示される組み合わされたフィルタリングを用いることによるパラメトリック・マルチチャンネル信号のバイノーラル合成を図示する。送信された空間パラメータは、２０１によって、２つのセットＳｅｔ１およびＳｅｔ２に分割される。ここで、Ｓｅｔ２は、Ｍ個の送信されたチャンネルからＰ個の中間チャンネルの作成に関するパラメータを含み、Ｓｅｔ１は、Ｐ個の中間チャンネルからＮ個のチャンネルの作成に関するパラメータを含む。先行技術のプリコンバイナ２０２は、２Ｎ個のＨＲＴＦ関連サブバンド・フィルタの選択された対と、パラメータＳｅｔ１および選択された対のフィルタに依存する重みとを組み合わせる。この事前組合せの結果は、Ｐ個の中間チャンネルごとにバイノーラル・フィルタ対を表す２Ｐ個のバイノーラル・サブバンド・フィルタとなる。本発明のコンバイナ２０３は、パラメータＳｅｔ２および２Ｐ個のバイノーラル・サブバンド・フィルタの両方に依存する重みを適用することによって２Ｐ個のバイノーラル・サブバンド・フィルタを１セットの２Ｍ個のバイノーラル・サブバンド・フィルタに組み合わせる。比較すると、先行技術のリニア・コンバイナは、パラメータＳｅｔ２だけに依存する重みを適用する。結果として生じる１セットの２Ｍ個のフィルタは、Ｍ個の送信されたチャンネルごとにバイノーラル・フィルタ対からなる。フィルタ・プロセッサとしての組み合わされたフィルタリング・ユニット２０４は、対応するフィルタ対を有するフィルタリングによって、Ｍ個の送信されたチャンネルごとに２つのチャンネル出力への一対の貢献を得る。その後、全てのＭ個の貢献は、サブバンド・ドメインにおいて２つのチャンネル出力を形成するために合計される。

図３は、空間パラメータおよびバイノーラル・フィルタの組合せのための本発明のコンバイナ２０３のコンポーネントを図示する。リニア・コンバイナ３０１は、所定の空間パラメータから導出される重みを適用することによって、２Ｐ個のバイノーラル・サブバンド・フィルタを２Ｍ個のバイノーラル・フィルタに組み合わせ、そこにおいて、これらの空間パラメータは、Ｍ個の送信されたチャンネルからＰ個の中間チャンネルの作成に関する。特に、この線形結合は、Ｍ個の送信されたチャンネルから、Ｐ個の音源からのバイノーラル・フィルタリングが後に続くＰ個の中間チャンネルへのアップミックスの連なりをシミュレートする。利得調整器３０３は、左耳の出力に対応するそれぞれのフィルタに共通の左の利得を適用し、さらに、右耳の出力に対応するそれぞれのフィルタに共通の右の利得を適用することによって、リニア・コンバイナ３０１から２Ｍ個のバイノーラル・フィルタを修正する。それらの利得は、空間パラメータおよび２Ｐ個のバイノーラル・フィルタから利得を導出する利得計算機３０２から得られる。本発明のコンポーネント３０２および３０３の利得調整の目的は、空間復号化のＰ個の中間チャンネルがリニア・コンバイナ３０１のため不必要なスペクトル有色化を導く線形依存性をもたらす状況を補償することである。本発明によって教示される利得計算機３０２は、空間パラメータの関数として、Ｐ個の中間チャンネルのエネルギー分布を推定するための手段を含む。

図４は、ステレオ送信された信号の場合においてＭＰＥＧサラウンド空間復号化の構成を図示する。Ｍ＝２個の送信された信号の分析サブバンドは、Ｐ＝３個の中間信号、すなわち組み合わされた左、組み合わされた右、および組み合わされた中央の中間信号を出力する２→３ボックス４０１に送られる。このアップミックスは、図２のＳｅｔ２に対応する送信された空間パラメータのサブセットに依存する。３つの中間信号は、ｌ_f（左前）、ｌ_s（左サラウンド）、ｒ_f（右前）、ｒ_s（右サラウンド）、ｃ（中央）、およびｌｆｅ（低周波拡張）の合計がＮ＝６個の信号４０５を生成する３つの１→２ボックス４０２−４０４にその後に送られる。このアップミックスは、図２におけるＳｅｔ１に対応する送信された空間パラメータのサブセットに依存する。最終的なマルチチャンネル・デジタル音声出力は、６つのサブバンド信号を６つの合成フィルタバンクに通すことによって作成される。

図５は、本発明の利得補償によって解決される問題を図示する。左耳のための参照ＨＲＴＦフィルタにかけられたバイノーラル出力のスペクトルは、実線グラフとして示される。点線グラフは、コンバイナ２０３がリニア・コンバイナ３０１だけからなる場合に、図２の方法によって生成されるように対応する復号化された信号のスペクトルを示す。それが分かるように、周波数の間隔３−４ｋＨｚおよび１１−１３ｋＨｚにおいて所望の参照スペクトルと比較して相当なスペクトル・エネルギー損失がある。また、１ｋＨｚおよび１０ｋＨｚ周辺に、小さいスペクトル・ブーストもある。

図６は、本発明の利得補償を使用する利点を図示する。実線グラフは、図５におけるものと同じ参照スペクトルであるが、点線グラフは、コンバイナ２０３が図３の全てのコンポーネントからなる場合に、図２の方法によって生成されるように復号化された信号のスペクトルを示す。それが分かるように、図５の２つのカーブのものと比較して２つのカーブ間に大幅に改善されたスペクトル整合がある。

引用（１０）によって与えられる補償利得を計算することができるようにするために残ることは、任意の係数までの元のチャンネルのエネルギー分布||ｘ_p||²、ｐ＝１、２、・・・、Ｐを推定することである。本発明は、これらのチャンネルが無相関であり、さらに、エンコーダが予測エラーを最小化することを目的とするという仮定に対応する予測マトリクスＣ_modelを、エネルギー分布の関数として計算することによってこれを行うことを教示する。そして、エネルギー分布は、可能であれば方程式Ｃ_model＝Ｃの非線形システムを解くことによって推定される。解決策のない方程式のシステムを導く予測パラメータに対して、利得補償係数は、ｇ_n＝１に設定される。この発明の手順は、最も重要な特別な場合において以下のセクションに詳述される。

本発明の補正利得係数は、いかなるＨＲＴＦ関連の問題なしに利用できる直接的なマルチチャンネル利得補償との共存をもたらすことができる。

ＭＰＥＧサラウンドでは、予測損失の補償は、０＜ρ≦１が送信された空間パラメータの一部である係数１／ρをアップミックス・マトリクスＣに乗じることによってデコーダにおいてすでに適用されている。その場合、（２７）および（２８）の利得は、積ρｇ_nおよびρｇでそれぞれ置き換えられなければならない。そのような補償は、図５および図６において研究されるバイノーラル復号化のために適用される。それは、図５の先行技術の復号化が参照と比較してスペクトルのブースト部分をなぜ有するのかという理由である。それらの周波数領域に対応するサブバンドに対して、本発明の利得補償は、送信されたパラメータ利得係数１／ρを方程式（２８）から導出される小さい値で効果的に置き換える。

さらに、ρ＝１の場合が良好な予測に対応するので、本発明によって教示される利得補償のより保守的な変形は、ρ＝１に対してバイノーラル利得補償を無効にする。

したがって、復号化のこのモードの全体の構成も、Ｐ＝Ｍ＝３を設定し、さらに、（７）および（３１）で定義される線形結合だけを実行するためにコンバイナ２０３を修正することによって、図２を用いて記述されている。

図１３は、修正された表現において図３におけるリニア・コンバイナ３０１の結果を図示する。コンバイナの結果は、４つのＨＲＴＦに基づくフィルタh₁₁、h₁₂、h₂₁およびh₂₂である。図１６ａおよび図１７の記載からより明らかなように、これらのフィルタは、図１６ａの１５、１６、１７、１８によって示されるフィルタに対応する。

図１６ａは、左耳または左のバイノーラル点を有し、さらに、右耳または右のバイノーラル点を有するリスナーの頭部を図示する。図１６ａがステレオ・シナリオに対応するだけの場合に、フィルタ１５、１６、１７、１８は、個々に測定され、または、インターネットを介して若しくはリスナー、左のチャンネル・スピーカおよび右のチャンネル・スピーカ間の異なる位置のための対応するテキストブックにおいて得られる、典型的な頭部伝達関数である。

しかしながら、本発明はマルチチャンネル・バイノーラル・デコーダを目的とするので、１５、１６、１７、１８で示されるフィルタは、純粋なＨＲＴＦフィルタではなく、ＨＲＴＦに基づくフィルタであり、それは、ＨＲＴＦ特性を反映するだけでなく、空間パラメータに依存し、さらに、特に、図２に関連して述べられるように、空間パラメータＳｅｔ１および空間パラメータＳｅｔ２に依存する。

図１４は、図１６ａにおいて用いられるＨＲＴＦに基づくフィルタの基礎を示す。特に、リスナーが、例えば、典型的なサラウンド・ホームまたはシネマ・エンターテインメント・システムにおいて見つけることができる５チャンネル・スピーカ・セットアップの５つのスピーカ間のスイート・スポットに位置付けられる状況が説明される。チャンネルごとに、伝達関数としてＨＲＴＦを有するフィルタのチャンネル・インパルス応答に変換することができる２つのＨＲＴＦが存在する。特に技術的に周知であるように、例えば、図１４のＨＲＴＦ１が、スピーカＬ_sから発するサウンドがリスナーの頭部のまわりを通った後に右耳に入る状況を説明するように、ＨＲＴＦに基づくフィルタは、人の頭部の中で音波伝搬を説明する。それに対して、左サラウンド・スピーカＬｓから発するサウンドは、ほとんど直接的に左耳に入り、頭部や耳などの形状で耳の位置の影響を部分的にしか受けない。したがって、ＨＲＴＦ１および２が互いに異なることが明らかになる。

同じことは、左のチャンネルＬに対する両耳の関係が異なるので、左のチャンネルのためのＨＲＴＦ３および４にも当てはまる。これは、他の全てのＨＲＴＦにも適用され、ただし図１４から明らかなように、中央のチャンネルのためのＨＲＴＦ５および６は、個々のリスナー非対称性がＨＲＴＦデータによって提供されない限り、互いにほとんど同一であるか完全に同一でもある。

上述のように、これらのＨＲＴＦは、モデル頭部に対して決定され、いかなる特定の「平均的な頭部」やラウドスピーカ・セットアップのためにダウンロードすることができる。

ここで、図１７において１７１および１７２で明らかなように、組合せは、図１５にＬ´で示される左側の２つのＨＲＴＦに基づくフィルタを得るために、左のチャンネルおよび左サラウンドのチャンネルを組み合わせることが行われる。同じ手順が、ＨＲＴＦ１３およびＨＲＴＦ１４を生じる図１５にＲ´で示されるように右側に対して実行される。このため、図１７におけるアイテム１７３およびアイテム１７４について言及がされる。しかしながら、ここで、アイテム１７１、１７２、１７３および１７４においてそれぞれのＨＲＴＦを組み合わせるために、元のセットアップのＬのチャンネルおよびＬｓのチャンネル間または元のマルチチャンネル・セットアップのＲのチャンネルおよびＲｓのチャンネル間のエネルギー分布を反映しているチャンネル間レベル差パラメータが説明される。特に、これらのパラメータは、ＨＲＴＦが線形に組み合される場合に重み係数を定義する。

前に概説されるように、位相係数は、ＨＲＴＦを組み合わせる場合に適用することもでき、位相係数は、組み合されるＨＲＴＦ間の時間遅延またはアンラッピングされた位相差によって定義される。しかしながら、この位相係数は、送信されたパラメータに依存しない。

そのため、ＨＲＴＦ１１、１２、１３および１４は、真のＨＲＴＦフィルタではないが、ＨＲＴＦに基づくフィルタであり、その理由は、これらのフィルタがＨＲＴＦに従属するだけでなく、送信された信号から独立しているからである。その代わりに、ＨＲＴＦ１１、１２、１３および１４は、チャンネル・レベル差パラメータｃｌｄ_lおよびｃｌｄ_rがこれらのＨＲＴＦ１１、１２、１３および１４を計算するために用いられるという事実のために、送信された信号にも依存している。

ここで、図１５の状況が得られ、それは、好適なダウンミックス信号に含まれるような２つの送信されたチャンネルよりはむしろまだ３つのチャンネルを有する。したがって、図１６ａに図示されるように、４つのＨＲＴＦ１５、１６、１７、１８への６つのＨＲＴＦ１１、１２、５、６、１３、１４の組合せが実行されなければならない。

このために、ＨＲＴＦ１１、５、１３は、左のアップミックス・ルールを用いて組み合され、それは、図１６ｂにおけるアップミックス・マトリクスから明らかになる。特に、図１６ｂに示されさらにブロック１７５に示される左のアップミックス・ルールは、パラメータｍ₁₁、ｍ₂₁およびｍ₃₁を含む。この左のアップミックス・ルールは、図１６のマトリクス方程式において、左のチャンネルで乗じられるためにある。したがって、これらの３つのパラメータは、左のアップミックス・ルールと呼ばれる。

ブロック１７６において概説されるように、同じＨＲＴＦ１１、５、１３は、組み合わされるが、右のアップミックス・ルールを用いて、すなわち図１６ｂ実施形態において、パラメータｍ₁₂、ｍ₂₂およびｍ₃₂は、全てが図１６ｂにおける右のチャンネルＲ₀で乗じられるために用いられる。

このように、ＨＲＴＦ１５およびＨＲＴＦ１７が生成される。同様に、図１５のＨＲＴＦ１２、ＨＲＴＦ６およびＨＲＴＦ１４は、ＨＲＴＦ１６を得るためにアップミックスの左のパラメータｍ₁₁、ｍ₂₁およびｍ₃₁を用いて組み合される。対応する組合せは、ＨＲＴＦ１２、ＨＲＴＦ６、ＨＲＴＦ１４を用いて実行されるが、その時、図１６ａのＨＲＴＦ１８を得るためにｍ₁₂、ｍ₂₂およびｍ₃₂によって示されるアップミックスの右のパラメータまたは右のアップミックス・ルールが用いられる。

また、図１４における元のＨＲＴＦが送信された信号に全く依存しないとともに、新しいＨＲＴＦに基づくフィルタ１５、１６、１７、１８が送信された信号に依存することが強調され、その理由は、マルチチャンネル信号に含まれる空間パラメータが、これらのフィルタ１５、１６、１７および１８を計算するために用いられるからである。

最後にバイノーラルの左のチャンネルＬ_Bおよびバイノーラルの右のチャンネルＲ_Bを得るために、フィルタ１５および１７の出力は、加算器１３０ａにおいて組み合わされなければならない。同様に、フィルタ１６および１８の出力は、加算器１３０ｂにおいて組み合されなければならない。これらの加算器１３０ａ、１３０ｂは、人間の耳の範囲内で２つの信号の重ね合わせを反映する。

その後、図１８が説明される。図１８は、元のマルチチャンネル信号から導出されるダウンミックス信号を用いてバイノーラル信号を生成するための本発明のマルチチャンネル・デコーダの好適な実施形態を示す。ダウンミックス信号は、ｚ₁およびｚ₂で示され、または、「Ｌ」および「Ｒ」によって示されもする。さらに、ダウンミックス信号は、それに関連するパラメータを有し、パラメータは、少なくとも、左および左サラウンドのためのチャンネル・レベル差または右および右サラウンドのためのチャンネル・レベル差とアップミキシング・ルールに関する情報とである。

もちろん、元のマルチチャンネル信号が３つのチャンネル信号だけであった場合、ｃｌｄ_lまたはｃｌｄ_rは送信されず、パラメトリック・サイド情報だけがアップミックス・ルールに関する情報であり、それは、前に概説されるように、アップミックス信号におけるエネルギー・エラーを生じるようなアップミックス・ルールである。このように、アップミックス信号の波形は、非バイノーラル・レンダリングが実行される場合、できる限り元の波形に近く整合されるにもかかわらず、アップミックスされたチャンネルのエネルギーは、対応する元のチャンネルのエネルギーと異なる。

図１８の好適な実施形態において、アップミックス・ルール情報は、２つのアップミックス・パラメータｃｐｃ₁、ｃｐｃ₂によって反映される。しかしながら、いかなる他のアップミックス・ルール情報も、特定数のビットを介して適用しさらに送信することができる。特に、テーブル・インデックスだけがエンコーダからデコーダに送信されなければならないように、デコーダで所定のテーブルを用いて特定のアップミックス・シナリオおよびアップミックス・パラメータを信号で伝えることができる。あるいは、２つのチャンネルから３つより多いチャンネルへのアップミックスのように異なるアップミキシング・シナリオを用いることもできる。あるいは、図２０に関してさらに詳細に述べられるように、アップミックス・ルールに適合しなければならない対応する異なるダウンミックス・ルールを必要とする２つより多い予測アップミックス・パラメータを送信することもできる。

アップミックス・ルール情報のためのそのような好適な実施形態に関係なく、エネルギー損失の影響を受けるセットのアップミックスされたチャンネルを生成するアップミックスと同じくらい十分に長いいかなるアップミックス・ルール情報も、可能であり、それは、対応するセットの元の信号に波形整合される。

本発明のマルチチャンネル・デコーダは、エネルギー・エラーを低減しまたは除去するために、少なくとも１つの利得係数ｇ_l、ｇ_rまたはｇを計算するための利得係数計算機１８０を含む。利得係数計算機は、アップミックス・ルールが適用される場合に、アップミックス・ルール情報と、得られるアップミックス・チャンネルに対応するＨＲＴＦに基づくフィルタのフィルタ特性とに基づいて、利得係数を計算する。しかしながら、前に概説されるように、バイノーラル・レンダリングにおいて、このアップミックスは行われない。それにもかかわらず、図１５および図１７のブロック１７５、１７６、１７７、１７８に関連して述べられるように、これらのアップミックス・チャンネルに対応するＨＲＴＦに基づくフィルタは、いずれにせよ用いられる。

前に概説されるように、利得係数計算機１８０は、ｎの代わりにｌまたはｒが代入される場合に、方程式（２７）に概説されるように、異なる利得係数ｇ_lおよびｇ_rを計算することができる。あるいは、利得係数計算機は、方程式（２８）によって示されるように、両方のチャンネルのための単一の利得係数を生成することができる。

重要なことに、本発明の利得係数計算機１８０は、アップミックス・ルールに基づくだけでなく、アップミックス・チャンネルに対応するＨＲＴＦに基づくフィルタのフィルタ特性にも基づく利得係数を計算する。これは、フィルタ自体が送信された信号に依存し、さらに、エネルギー・エラーで影響を受ける状況を反映する。このように、エネルギー・エラーは、予測パラメータＣＰＣ₁、ＣＰＣ₂のようなアップミックス・ルール情報によって生じるだけでなく、フィルタ自体によっても影響を受ける。

したがって、うまく適応された利得補正を得るために、本発明の利得係数は、予測パラメータに依存するだけでなく、同様にアップミックス・チャンネルに対応するフィルタにも依存する。

ＨＲＴＦに基づくフィルタと同様に利得係数およびダウンミックス・パラメータは、左のバイノーラル・チャンネルＬ_Bを有し、さらに、正のバイノーラル・チャンネルＲ_Bを有するエネルギー補正されたバイノーラル信号を得るために、ダウンミックス信号をフィルタにかけるためのフィルタ・プロセッサ１８２において用いられる。

好適な実施形態において、利得係数は、アップミックス・チャンネルに対応するフィルタのチャンネル・インパルス応答に含まれる総エネルギーと、この総エネルギーおよび推定されたアップミックス・エネルギー・エラーΔＥの差との関係に依存する。ΔＥは、好ましくは、アップミックス・チャンネルに対応するフィルタのチャンネル・インパルス応答を組み合わせ、組み合されたチャンネル・インパルス応答のエネルギーを計算することによって計算することができる。図１８におけるＧ_LおよびＧ_Rのための関係において全ての数が正の数であり、それはΔＥおよびＥのための定義から明らかになるので、両方の利得係数が１より大きいことが明らかである。これは、ほとんどの時間において、バイノーラル信号のエネルギーが元のマルチチャンネル信号のエネルギーより低いという図５に図示される体験を反映する。留意することは、マルチチャンネル利得補償が適用される場合、すなわち、係数ρが大部分の信号において用いられる場合でも、それにもかかわらずエネルギー損失が生じることである。

図１９ａは、図１８のフィルタ・プロセッサ１８２の好適な実施形態を図示する。特に、図１９ａは、ブロック１８２ａにおいて利得補償なしで図１６ａの組み合わされたフィルタ１５、１６、１７、および１８が用いられ、さらにフィルタ出力信号が図１３に概説されるように加算される場合の状況を図示する。そして、ボックス１８２ａの出力は、ボックス１８０によって計算される利得係数を用いて出力を拡大縮小するためのスケーラ・ボックス１８２ｂに入力される。

あるいは、フィルタ・プロセッサは、図１９ｂに示されるように構成することができる。ここで、ＨＲＴＦ１５〜１８は、ボックス１８２ｃに図示されるように計算される。このように、計算機１８２ｃは、いかなる利得調整なしでＨＲＴＦの組合せを実行する。そして、フィルタ調整器１８２ｄが提供され、それは、本発明で計算された利得係数を用いる。フィルタ調整器は、ブロック１８０ｅに示される調整されたフィルタをもたらし、そこにおいて、ブロック１８０ｅは、調整されたフィルタを用いてフィルタリングを実行し、さらに図１３に示されるように対応するフィルタ出力の次の加算を実行する。このように、図１９ａにおけるようなポスト・スケーリングは、利得補正されたバイノーラル・チャンネルＬ_BおよびＲ_Bを得るために必要でない。

一般に、方程式１６、方程式１７および方程式１８に関連して概説されたように、利得計算は、推定されたアップミックス・エラーΔＥを用いて行われる。この近似は、アップミックス・チャンネルの数がダウンミックス・チャンネルの数＋１に等しい場合に特に役立つ。このように、２つのダウンミックス・チャンネルの場合、この近似は、３つのアップミックス・チャンネルに効果がある。あるいは、３つのダウンミックス・チャンネルを有する場合、この近似は、４つのアップミックス・チャンネルがあるシナリオに有効に働きもする。

しかしながら、アップミックス・エラーの推定に基づく利得係数の計算が、例えば、５つのチャンネルが３つのダウンミックス・チャンネルを用いて予測されるというシナリオのために実行することができることに留意すべきである。あるいは、２つのダウンミックス・チャンネルから４つのアップミックス・チャンネルへの予測に基づくアップミックスを用いることもできる。推定されたアップミックス・エネルギー・エラーΔＥに関して、好適な場合のための方程式（２５）に示されるようにこの推定されたエラーを直接的に計算することができるだけでなく、ビットストリームにおいて実際に発生されたアップミックス・エラーに関するいくらかの情報を送信することもできる。それにもかかわらず、方程式（２５）から（２８）に関連して説明されるように特別な場合と異なる場合においても、予測パラメータを用いてアップミックス・チャンネルのためのＨＲＴＦに基づくフィルタに基づいて、値Ｅ_n ^Bを計算することができる。方程式（２６）が考慮されると、ＨＲＴＦに基づくフィルタ・インパルス応答のエネルギーのための重み係数が対応して適応される場合に、この方程式が２／４予測アップミックス・スキームに容易に適用することもできることが明らかになる。

それからみて、方程式（２７）の一般の構成、すなわちＥ^B／（Ｅ^B−ΔＥ^B）の関係に基づく利得係数の計算が他のシナリオにも適用されることが明らかになる。

その後、図２０は、デコーダがバイノーラル・フィルタ・プロセッサのコンテクストにおいて利得補償を実行することができるように、デコーダに送信されるダウンミックス信号Ｌ、Ｒおよびアップミックス・ルール情報を生成するために用いられることができる予測に基づくエンコーダの概略的な実施を示すために述ベられる。

ダウンミキサ１９１は、（Ｌ_sおよびＲ_s）で図示されるように、５つの元のチャンネルまたは３つの元のチャンネルを受信する。ダウンミキサ１９１は、所定のダウンミックス・ルールに基づいて動くことができる。その場合、ライン１９２によって示されるようにダウンミックス・ルール指示は必要がない。もちろん、エラー・ミニマイザ１９３は、対応する元の入力チャンネルに関してアップミキサ１９４の出力で再構成されたチャンネル間のエラーを最小化するために、ダウンミックス・ルールも変化することができる。

このように、エラー・ミニマイザ１９３は、再構成されたチャンネルが最小の予測損失ΔＥを有するように、ダウンミックス・ルール１９２またはアップミックス・ルール１９６を変化することができる。この最適化問題は、エラー・ミニマイザ１９３内の周知のアルゴリズムのいずれかによって解決され、それは、好ましくは、再構成チャンネルおよび入力チャンネル間の差を最小化するサブバンドに関するやり方で作動する。

前述のように、入力チャンネルは、元のチャンネルＬ、Ｌ_s、Ｒ、Ｒ_s、Ｃであり得る。あるいは、入力チャンネルは、３つのチャンネルＬ、Ｒ、Ｃであり得るが、このコンテクストにおいて、入力チャンネルＬ、Ｒは、図１１において図示される対応するＯＴＴボックスによって導出することができる。あるいは、元の信号がチャンネルＬ、Ｒ、Ｃを有する場合、これらのチャンネルは、「元のチャンネル」と称することもできる。

さらに、図２０は、いかなるアップミックス・ルール情報も、デコーダがこのアップミックス・ルール情報を用いてアップミックスを実行する位置にある限り、２つの予測パラメータの送信をさらに用いることができることを図示する。このように、アップミックス・ルール情報は、ルックアップ・テーブルへのエントリーまたはいかなる他のアップミックス関連情報であることができる。

したがって、本発明は、ＨＲＴＦフィルタリングによって利用できるダウンミックスされた信号およびさらなる制御データに基づくマルチチャンネル音声信号のバイノーラル復号化を実行する効率的なやり方を提供する。本発明は、バイノーラル復号化を伴う予測アップミックスの組合せから起こるスペクトル有色化の問題の解決策を提供する。

本発明の方法の特定の実現要求によっては、本発明の方法は、ハードウェアにおいてまたはソフトウェアにおいて実施することができる。この実施は、本発明の方法が実行されるように、プログラム可能なコンピュータシステムと協動する、それに記憶される電子的に読み取ることができる制御信号を有する特にディスク、ＤＶＤまたはＣＤなどのデジタル記憶媒体を用いて実行することができる。そのため、本発明は、一般に、機械で読み取り可能なキャリアに記憶されたプログラムコードを有するコンピュータプログラム製品であり、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行される場合に本発明の方法を実行するように作動する。したがって、換言すれば、本発明の方法は、コンピュータプログラムがコンピュータ上で実行される場合に、本発明の方法のうちの少なくとも１つを実行するためのプログラムコードを有するコンピュータプログラムである。

上述には本発明の特定の実施の形態に関して特に示され説明されたが、形式や詳細のさまざまな他の変更が本発明の精神および範囲から逸脱することなくできるということは、当業者にとって理解されよう。さまざまな変更が本願明細書において開示されさらに特許請求の範囲によって理解される上位概念から逸脱することなく異なる実施の形態に適応する際にできることを理解すべきである。

Claims (24)

1. ダウンミックス信号をアップミックス・ルールでアップミックスするために用いることができるアップミックス・ルール情報を含むパラメータを用いて元のマルチチャンネル信号から導出されるダウンミックス信号からバイノーラル信号を生成するためのマルチチャンネル・デコーダであって、前記アップミックス・ルールはエネルギー・エラーをもたらし、前記マルチチャンネル・デコーダは、
   前記アップミックス・ルール情報およびアップミックス・チャンネルに対応する頭部伝達関数に基づくフィルタのフィルタ特性に基づいて、前記エネルギー・エラーを低減しまたは除去するための少なくとも１つの利得係数を計算するための利得係数計算機、および
   エネルギー補正されたバイノーラル信号を得るために前記少なくとも１つの利得係数、前記フィルタ特性および前記アップミックス・ルール情報を用いて前記ダウンミックス信号をフィルタにかけるためのフィルタ・プロセッサを含む、マルチチャンネル・デコーダ。
2. 前記フィルタ・プロセッサは、前記ダウンミックス信号のチャンネルごとに２つの利得調整されたフィルタのためのフィルタ係数を計算し、さらに前記２つの利得調整されたフィルタのそれぞれを用いて前記ダウンミックス・チャンネルをフィルタにかけるように作動する、請求項１に記載のマルチチャンネル・デコーダ。
3. 前記フィルタ・プロセッサは、前記利得係数を用いないで前記ダウンミックス・チャンネルのチャンネルごとに２つのフィルタのためのフィルタ係数を計算し、さらに前記ダウンミックス・チャンネルをフィルタにかけ、さらに前記ダウンミックス・チャンネルをフィルタにかけた後に利得調整するように作動する、請求項１に記載のマルチチャンネル・デコーダ。
4. 前記利得係数計算機は、前記フィルタ特性の組み合わされたインパルス応答のエネルギーに基づいて前記利得係数を計算するように作動し、前記組み合わされたインパルス応答は、個々のフィルタ・インパルス応答を加算しまたは減算することによって計算される、請求項１に記載のマルチチャンネル・デコーダ。
5. 前記利得係数計算機は、個々のフィルタ・インパルス応答のパワーの組合せに基づいて前記利得係数を計算するように作動する、請求項１に記載のマルチチャンネル・デコーダ。
6. 前記利得係数計算機は、個々のフィルタ・インパルス応答のパワーの重み付けられた加算に基づいて前記利得係数を計算するように作動し、前記重み付けられた加算において用いられる重み付け係数は、前記アップミックス・ルール情報に依存する、請求項５に記載のマルチチャンネル・デコーダ。
7. 前記利得係数計算機は、分子および分母を有する表現に基づいて前記利得係数を計算するように作動し、前記分子は、個々のフィルタ・インパルス応答のパワーの組合せを有し、さらに前記分母は、個々のフィルタ・インパルス応答のパワーの重み付けられた加算を有し、前記重み付けられた加算において用いられる重み付け係数は、前記アップミックス・ルール情報に依存する、請求項１に記載のマルチチャンネル・デコーダ。
8. 
9. 
10. 前記利得係数計算機は、左のバイノーラル・チャンネルおよび右のバイノーラル・チャンネルのための共通の利得係数を計算するように作動する、請求項１に記載のマルチチャンネル・デコーダ。
11. 前記フィルタ・プロセッサは、前記フィルタ特性として、仮想の中央、左および右の位置のための前記左のバイノーラル・チャンネルおよび前記右のバイノーラル・チャンネルのための前記頭部伝達関数に基づくフィルタを用いるか、または、仮想の左前の位置および仮想の左サラウンドの位置のためのＨＲＴＦフィルタを組み合わせることによって若しくは仮想の右前の位置および仮想の右サラウンドの位置のためのＨＲＴＦフィルタを組み合わせることによって導出されるフィルタ特性を用いるように作動する、請求項１に記載のマルチチャンネル・デコーダ。
12. 元の左のチャンネルおよび左サラウンドのチャンネルまたは元の右のチャンネルおよび右サラウンドのチャンネルに関するパラメータは、デコーダ入力信号に含まれ、さらに
    前記フィルタ・プロセッサは、前記頭部伝達関数フィルタを組み合わせるための前記パラメータを用いるように作動する、請求項１１に記載のマルチチャンネル・デコーダ。
13. 前記利得係数計算機は、バイノーラル・チャンネルのための前記ＨＲＴＦに基づくフィルタのチャンネル・インパルス応答のエネルギーの重み付けられた線形結合と前記重み付けられた線形結合から推定されたエネルギー・エラーを減算することによって得られる値との比に基づいて前記バイノーラル・チャンネルのための前記利得係数を計算するように作動する、請求項１に記載のマルチチャンネル・デコーダ。
14. 前記利得係数計算機は、前記重み係数を決定するための前記アップミックス・ルールに関する情報を用いるように作動する、請求項１３に記載のマルチチャンネル・デコーダ。
15. 前記アップミックス・ルール情報は、対応する３つの入力チャンネルに関して前記エネルギー・エラーを有する出力チャンネルをもたらすアップミックス・マトリクスを構成するために用いることができる少なくとも２つの予測パラメータを含む、請求項１４に記載のマルチチャンネル・デコーダ。
16. 前記フィルタ・プロセッサは、フィルタ特性として、
    第１の左のバイノーラル出力を得るための左のダウンミックス・チャンネルをフィルタにかけるための第１のフィルタ、
    第２の左のバイノーラル出力を得るための右のダウンミックス・チャンネルをフィルタにかけるための第２のフィルタ、
    第１の右のバイノーラル出力を得るための左のダウンミックス・チャンネルをフィルタにかけるための第３のフィルタ、
    第２の右のバイノーラル出力を得るための右のダウンミックス・チャンネルをフィルタにかけるための第４のフィルタ、
    左のバイノーラル・チャンネルを得るために前記第１の左のバイノーラル出力および前記第２の左のバイノーラル出力を加算するため、および、右のバイノーラル・チャンネルを得るために前記第１の右のバイノーラル出力および前記第２の右のバイノーラル出力を加算するための加算器を有するように作動し、
    前記フィルタ・プロセッサは、前記左のバイノーラル・チャンネルのための利得係数を、加算の前または後に前記第１のフィルタおよび前記２のフィルタにまたは前記左のバイノーラル出力に適用し、さらに、前記右のバイノーラル・チャンネルのための前記利得係数を、加算の前または後に前記第３のフィルタおよび前記４のフィルタにまたは前記右のバイノーラル出力に適用するように作動する、請求項１に記載のマルチチャンネル・デコーダ。
17. 前記アップミックス・ルール情報は、２つのチャンネルから３つのチャンネルへのアップミックスをもたらすアップミックス・マトリクスを構成するために用いることができるアップミックス・パラメータを含む、請求項１に記載のマルチチャンネル・デコーダ。
18. 
19. 予測損失パラメータが、マルチチャンネル・デコーダ入力信号に含まれ、さらに
    前記フィルタ・プロセッサは、前記予測損失パラメータを用いて前記利得係数を拡大縮小するように作動する、請求項１に記載のマルチチャンネル・デコーダ。
20. 前記利得計算機は、サブバンドに関して前記利得係数を計算するように作動し、さらに
    前記フィルタ・プロセッサは、サブバンドに関して前記利得係数を適用するように作動する、請求項１に記載のマルチチャンネル・デコーダ。
21. 前記フィルタ・プロセッサは、ＨＲＴＦフィルタのチャンネル・インパルス応答の重み付けられまたは位相シフトされたバージョンを加算することによって２つのチャンネルに関連するＨＲＴＦフィルタを組み合わせるように作動し、前記ＨＲＴＦフィルタにある前記チャンネル・インパルス応答を重み付けるための重み係数は、前記チャンネル間のレベル差に依存し、さらに適用された位相シフトは、前記ＨＲＴＦフィルタの前記チャンネル・インパルス応答間の時間遅延に依存する、請求項１１に記載のマルチチャンネル・デコーダ。
22. ＨＲＴＦに基づくフィルタまたはＨＲＴＦフィルタのフィルタ特性は、複素指数変調フィルタバンクを用いてＨＲＴＦフィルタの実数値フィルタ・インパルス応答をフィルタにかけることによって得られる複素サブバンド・フィルタである、請求項１に記載のマルチチャンネル・デコーダ。
23. ダウンミックス信号をアップミックス・ルールでアップミックスするために用いることができるアップミックス・ルール情報を含むパラメータを用いて元のマルチチャンネル信号から導出されるダウンミックス信号からバイノーラル信号を生成するためのマルチチャンネル復号化の方法であって、前記アップミックス・ルールはエネルギー・エラーをもたらし、前記マルチチャンネル復号化の方法は、
    前記アップミックス・ルール情報およびアップミックス・チャンネルに対応する頭部伝達関数に基づくフィルタのフィルタ特性に基づいて、前記エネルギー・エラーを低減しまたは除去するための少なくとも１つの利得係数を計算するステップ、および
    エネルギー補正されたバイノーラル信号を得るために前記少なくとも１つの利得係数、前記フィルタ特性および前記アップミックス・ルール情報を用いて前記ダウンミックス信号をフィルタにかけるステップを含む、マルチチャンネル復号化の方法。
24. コンピュータ上で実行されるときに、請求項２３に記載の方法を実行するためのプログラムコードを有するコンピュータプログラム。

Images