JP4685925B2 - 適応残差オーディオ符号化 - Google Patents

Description

本発明はオーディオ信号の符号化および復号化、特に一対のオーディオチャンネルの効率的な高品質符号化に関する。

最近、オーディオ信号の効率的な高品質符号化がますます重要になりつつあり、圧縮されたオーディオおよびビデオのコンテンツのデジタル配信として、たとえば、衛星や地上波によるデジタルオーディオまたはビデオの放送が広く行われている。たとえば、よく知られたＭＰ３技術は、帯域幅に制限のあるインターネットや他の伝送チャンネル上でのオーディオタイトルの便利な伝送を可能にする。

ＭＰ３の他にも、各種のオーディオ符号化スキームは、所定の圧縮率やビットレートの下でオーディオ品質を最大にすることを目指している。「低ビットレートオーディオ符号化アプリケーションのための効率的かつスケーラブルパラメトリックステレオ符号化（Ｅｆｆｉｃｉｅｎｔ ａｎｄ ｓｃａｌａｂｌｅ Ｐａｒａｍｅｔｒｉｃ Ｓｔｅｒｅｏ Ｃｏｄｉｎｇ ｆｏｒ Ｌｏｗ Ｂｉｔ ｒａｔｅ Ａｕｄｉｏ Ｃｏｄｉｎｇ Ａｐｐｌｉｃａｔｉｏｎｓ）」、国際出願第ＰＣＴ／ＳＥ０２／０１３７２号の中で、基礎をなすオリジナルのステレオイメージに近いステレオ信号を、一般的に「空間キュー」として言及されるステレオ信号の非常に小さな表現が付加的に用いられる場合にモノラル信号から、再現することが可能であることが示されている。開示されている原理は、ステレオ入力信号を周波数帯域に分割することと、各周波数帯域ごとにチャンネル間強度差（ＩＩＤ）およびチャンネル間コヒーレンス（ＩＣＣ）というパラメータを推定することとによる。第１のパラメータは、特定の周波数帯域における２つのチャンネル間の配電の測定を表し、第２のパラメータは、２つのチャンネル間の相関の推定を表す。空間パラメータに関するより詳細な記述は、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｓ．ファン・デ・パール（ｖａｎ ｄｅ Ｐａｒ）、Ａ．コーラウシュ（Ｋｏｈｌｒａｕｓｃｈ）およびＥ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）の「低ビットレートでの高品質パラメトリック空間オーディオ符号化（Ｈｉｇｈ−ｑｕａｌｉｔｙ ｐａｒａｍｅｔｒｉｃ ｓｐａｔｉａｌ ａｕｄｉｏ ｃｏｄｉｎｇ ａｔ ｌｏｗ ｂｉｔ ｒａｔｅｓ）」、ＡＥＳ第１１６回コンベンションのプロシーディング、ベルリン（ドイツ）、２００４年５月８日〜１１日に見られる。これらの空間キューに基づいて、ステレオ入力信号は、１つのモノラル信号に適応的に結合される。空間キューおよびモノラル信号の両方は符号化され、符号化された表現はデコーダに送信される１つのビットストリ−ムに多重化される。デコーダ側では、ステレオイメージは、ＩＩＤデータに従って２つの出力チャンネル間にモノラル信号のエネルギーを分布し、さらに、ＩＩＣパラメータで表されているようにオリジナルのステレオチャンネルのチャンネル相関を保持するために相関されていない信号を加えることによって、モノラル信号から再現される。

さらに広い伝送帯域幅が利用できる場合には、デコーダにおいて相関されていないモノラル信号を、送信された残差信号に置き換えることによって、より高いオーディオ品質を達成することができる。すなわち、付加的な残差信号のデコーダへの伝送が要求される。これは、ミッドサイド（ＭＳ）符号化と同様であり、そこでは左右のチャンネルに対する直接的な符号化ではなく、ステレオ信号のチャンネルの和および差が符号化される。ＭＳ技術に関する記述は、「和・差ステレオ変換符号化（Ｓｕｍ−ｄｉｆｆｅｒｅｎｃｅ ｓｔｅｒｅｏ ｔｒａｎｓｆｏｒｍ ｃｏｄｉｎｇ）」、ＩＣＡＳＳＰのプロシーディング（Ｐｒｏｃ．Ｉｎｔ．Ｃｏｎｆ．Ａｃｏｕｔ．Ｓｐｅｅｃｈ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ．（ＩＣＡＳＳＰ））、アメリカ合衆国、サンフランシスコ、１９９２年、ｐｐ． ＩＩ ５６９−５７２に見られる。ＭＳ符号化は、ステレオ信号の左右のチャンネルが高い確率でかなり類似するという知見に基づくものである。したがって、左右のチャンネルの差は大部分の時間にわたって比較的に小さい強度を有する信号をもたらし、すなわち、差信号の振幅値はかなり小さくなる。そのため、差信号を表すパラメータは粗く量子化できるので、差信号の符号化によって大幅なビットレートの節減を図ることができる。和信号に関しては、符号化時には単独の左または右のチャンネルよりもやや大きいがほほ同じ帯域幅が必要である。したがって、ＭＳ符号化スキームによって、全体として大幅な帯域幅の節減を図ることができる。左右のチャンネル間に大きい強度差が存在する場合、そのチャンネル差は大きなエネルギーを有し、したがって広い帯域幅が必要となるので、ＭＳ技術はその限界を有する。しかしながら、そのような場合には、符号化時の高いコストのために、実際のステレオ符号化としてＭＳ符号化は適用されないことに留意すべきである。そのような場合には、符号化されるべきオリジナルのオーディオチャンネルの信号強度に応じて、通常のステレオ符号化とＭＳ符号化とを相互に切り替えるようにすることには利点がある。

２つのステレオチャンネルの結合である２つの中間的なチャンネルの構成を表す行列要素を有するデコーダ回転行列を創作することにより符号化されるべき２つのステレオチャンネルの和および差を構築するという静的な概念を置き換えることによって、上述の問題を解決することができる。その行列要素は、ステレオ信号の左右のチャンネルから抽出されるパラメトリックステレオパラメータに依存する。適応残差符号化は、ＭＳ符号化に勝る顕著な機能上の利点を達成して、実際の信号の特性に応じて中間的なチャンネルの生成のために結合規則を動的に適応することができる。

パラメトリックステレオパラメータからのいわゆる回転行列の行列要素の依存を適宜選択することにより、非公開の欧州特許出願第ＥＰ０４１０３１６８．３号で既に示されているように、差チャンネル内のエネルギーを可能な限り最小にとどめることを達成することができる。ステレオ信号を信号ｍおよびｓ（中間的な信号、たとえば、ダウンミックス信号ｍおよび残差信号ｓ）に変換（ダウンミックスまたはアップミックス）する回転行列を導入しようとする場合、回転行列（デコーダ回転行列およびエンコーダ回転行列）を囲む方法の演算は困難である。これは、行列の行列要素が可能な限りのパラメトリックステレオ符号化パラメータの全範囲内で無限大に発散してはならないことを意味する。言い換えれば、両方の回転行列は、行列条件数がパラメトリックステレオ符号化パラメータの全範囲に対して問題のない行列反転を可能にする上で十分に小さいという意味において、囲まれなければならなく、それは従来技術では実現されていない。

Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、Ｓ．ファン・デ・パール（ｖａｎ ｄｅ Ｐａｒ）、Ａ．コーラウシュ（Ｋｏｈｌｒａｕｓｃｈ）およびＥ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）の「低ビットレートでの高品質パラメトリック空間オーディオ符号化（Ｈｉｇｈ−ｑｕａｌｉｔｙ ｐａｒａｍｅｔｒｉｃ ｓｐａｔｉａｌ ａｕｄｉｏ ｃｏｄｉｎｇ ａｔ ｌｏｗ ｂｉｔ ｒａｔｅｓ）」、ＡＥＳ第１１６回コンベンションのプロシーディング、ベルリン（ドイツ）、２００４年５月８日〜１１日 「和・差ステレオ変換符号化（Ｓｕｍ−ｄｉｆｆｅｒｅｎｃｅ ｓｔｅｒｅｏ ｔｒａｎｓｆｏｒｍ ｃｏｄｉｎｇ）」、ＩＣＡＳＳＰのプロシーディング（Ｐｒｏｃ．Ｉｎｔ．Ｃｏｎｆ．Ａｃｏｕｔ．Ｓｐｅｅｃｈ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ．（ＩＣＡＳＳＰ））、アメリカ合衆国、サンフランシスコ、１９９２年、ｐｐ． ＩＩ ５６９−５７２

本発明の目的は、オーディオ信号の高圧縮された表現をもたらすと同時に符号化または復号化によって導入されるアーチファクトをより効果的に回避する高品質なオーディオ符号化のための概念を提供することである。

本発明の第１の態様によれば、この目的は、少なくとも２つのチャンネルを有するオーディオ信号を符号化するためのオーディオエンコーダであって、オーディオ信号から空間パラメータを導出するためのパラメータ抽出器であって、空間パラメータは少なくとも２つのチャンネル間の相互関係を表す、パラメータ抽出器と、制限された空間パラメータを導出するために制限規則を用いて空間パラメータを制限するためのリミッタであって、制限規則は少なくとも２つのチャンネル間の相互関係に依存する、リミッタと、制限された空間パラメータに依存するダウンミキシング規則を用いてオーディオ信号からダウンミックス信号および残差信号を導出するためのダウンミキサとを含む、オーディオエンコーダによって達成することができる。

本発明の第２の態様によれば、この目的は、少なくとも２つのチャンネルを有するオリジナルのオーディオ信号を表す符号化されたオーディオ信号を復号化するためのオーディオデコーダであって、符号化されたオーディオ信号は、ダウンミックス信号、残差信号および少なくとも２つのチャンネル間の相互関係を表す空間パラメータを有し、オーディオデコーダは、制限規則を用いて制限された空間パラメータを導出するために空間パラメータを制限するためのリミッタであって、制限規則は少なくとも２つのチャンネル間の相互関係に依存する、リミッタと、制限された空間パラメータに依存するアップミキシング規則を用いてダウンミックス信号および残差信号からオリジナルのオーディオ信号の再構成を導出するためのアップミキサとを含む、オーディオデコーダによって達成することができる。

本発明の第３の態様によれば、この目的は、少なくとも２つのチャンネルを有するオーディオ信号を符号化するための方法であって、その方法は、オーディオ信号から空間パラメータを導出する工程であって、空間パラメータは少なくとも２つのチャンネル間の相互関係を表す、導出する工程と、制限された空間パラメータを導出するために制限規則を用いて空間パラメータを制限する工程であって、制限規則は少なくとも２つのチャンネル間の相互関係に依存する、制限する工程と、制限された空間パラメータに依存するダウンミキシング規則を用いてオーディオ信号からダウンミックス信号および残差信号を導出する工程とを含む、方法によって達成することができる。

本発明の第４の態様によれば、この目的は、少なくとも２つのチャンネルを有するオリジナルのオーディオ信号を表す符号化されたオーディオ信号を復号化するための方法であって、符号化されたオーディオ信号は、ダウンミックス信号、残差信号および少なくとも２つのチャンネル間の相互関係を表す空間パラメータを有し、その方法は、制限規則を用いて制限された空間パラメータを導出するために空間パラメータを制限する工程であって、制限規則は少なくとも２つのチャンネル間の相互関係に依存する、制限する工程と、制限された空間パラメータに依存するアップミキシング規則を用いてダウンミックス信号および残差信号からオリジナルのオーディオ信号の再構成を導出する工程とを含む、方法によって達成することができる。

本発明の第５の態様によれば、この目的は、少なくとも２つのチャンネルを有するオーディオ信号を符号化するためのオーディオエンコーダを有するトランスミッタまたはオーディオレコーダであって、オーディオ信号から空間パラメータを導出するためのパラメータ抽出器であって、空間パラメータは少なくとも２つのチャンネル間の相互関係を表す、パラメータ抽出器と、制限された空間パラメータを導出するために制限規則を用いて空間パラメータを制限するためのリミッタであって、制限規則は少なくとも２つのチャンネル間の相互関係に依存する、リミッタと、制限された空間パラメータに依存するダウンミキシング規則を用いてオーディオ信号からダウンミックス信号および残差信号を導出するためのダウンミキサとを含む、トランスミッタまたはオーディオレコーダによって達成することができる。

本発明の第６の態様によれば、この目的は、少なくとも２つのチャンネルを有するオリジナルのオーディオ信号を表す符号化されたオーディオ信号を復号化するためのオーディオデコーダを有する、レシーバまたはオーディオプレーヤであって、符号化されたオーディオ信号は、ダウンミックス信号、残差信号および少なくとも２つのチャンネル間の相互関係を表す空間パラメータを有し、レシーバまたはオーディオプレーヤは、制限規則を用いて制限された空間パラメータを導出するために空間パラメータを制限するためのリミッタであって、制限規則は少なくとも２つのチャンネル間の相互関係に依存する、リミッタと、制限された空間パラメータに依存するアップミキシング規則を用いてダウンミックス信号および残差信号からオリジナルのオーディオ信号の再構成を導出するためのアップミキサとを含む、レシーバまたはオーディオプレーヤによって達成することができる。

本発明の第７の態様によれば、この目的は、送信またはオーディオ記録の方法であって、その方法は符号化された信号を生成する方法を有し、その方法は少なくとも２つのチャンネルを有するオーディオ信号を符号化するための方法を含み、その方法は、オーディオ信号から空間パラメータを導出する工程であって、空間パラメータは少なくとも２つのチャンネル間の相互関係を表す、導出する工程と、制限された空間パラメータを導出するために制限規則を用いて空間パラメータを制限する工程であって、制限規則は少なくとも２つのチャンネル間の相互関係に依存する、制限する工程と、制限された空間パラメータに依存するダウンミキシング規則を用いてオーディオ信号からダウンミックス信号および残差信号を導出する工程とを含む、方法によって達成することができる。

本発明の第８の態様によれば、この目的は、受信またはオーディオ再生の方法であって、その方法は符号化されたオーディオ信号を復号化するための方法を有し、その方法は少なくとも２つのチャンネルを有するオリジナルのオーディオ信号を表す符号化されたオーディオ信号を復号化するための方法を含み、符号化されたオーディオ信号は、ダウンミックス信号、残差信号および少なくとも２つのチャンネル間の相互関係を表す空間パラメータを有し、その方法は、制限規則を用いて制限された空間パラメータを導出するために空間パラメータを制限する工程であって、制限規則は少なくとも２つのチャンネル間の相互関係に依存する、制限する工程と、制限された空間パラメータに依存するアップミキシング規則を用いてダウンミックス信号および残差信号からオリジナルのオーディオ信号の再構成を導出する工程とを含む、方法によって達成することができる。

本発明の第９の態様によれば、この目的は、トランスミッタおよびレシーバを有する伝送システムであって、トランスミッタは、少なくとも２つのチャンネルを有するオーディオ信号を符号化するためのオーディオエンコーダを有し、オーディオ信号から空間パラメータを導出するためのパラメータ抽出器であって、空間パラメータは少なくとも２つのチャンネル間の相互関係を表す、パラメータ抽出器と、制限された空間パラメータを導出するために制限規則を用いて空間パラメータを制限するためのリミッタであって、制限規則は少なくとも２つのチャンネル間の相互関係に依存する、リミッタと、制限された空間パラメータに依存するダウンミキシング規則を用いてオーディオ信号からダウンミックス信号および残差信号を導出するためのダウンミキサとを含み、レシーバは、少なくとも２つのチャンネルを有するオリジナルのオーディオ信号を表す符号化されたオーディオ信号を復号化するためのオーディオデコーダを有し、符号化されたオーディオ信号は、ダウンミックス信号、残差信号および少なくとも２つのチャンネル間の相互関係を表す空間パラメータを有し、レシーバは、制限規則を用いて制限された空間パラメータを導出するために空間パラメータを制限するためのリミッタであって、制限規則は少なくとも２つのチャンネル間の相互関係に依存する、リミッタと、制限された空間パラメータに依存するアップミキシング規則を用いてダウンミックス信号および残差信号からオリジナルのオーディオ信号の再構成を導出するためのアップミキサとを含む、伝送システムによって達成することができる。

本発明の第１０の態様によれば、この目的は、送信および受信の方法であって、その方法は、送信方法および受信方法を含み、送信方法は、少なくとも２つのチャンネルを有するオーディオ信号の符号化された信号を生成する方法を有し、オーディオ信号から空間パラメータを導出する工程であって、空間パラメータは少なくとも２つのチャンネル間の相互関係を表す、導出する工程と、制限された空間パラメータを導出するために制限規則を用いて空間パラメータを制限する工程であって、制限規則は少なくとも２つのチャンネル間の相互関係に依存する、制限する工程と、制限された空間パラメータに依存するダウンミキシング規則を用いてオーディオ信号からダウンミックス信号および残差信号を導出する工程とを含み、受信方法は、符号化されたオーディオ信号を復号化するための方法を有し、制限規則を用いて制限された空間パラメータを導出するために空間パラメータを制限する工程であって、制限規則は少なくとも２つのチャンネル間の相互関係に依存する、制限する工程と、制限された空間パラメータに依存するアップミキシング規則を用いてダウンミックス信号および残差信号からオリジナルのオーディオ信号の再構成を導出する工程とを含む、方法によって達成することができる。

本発明の第１１の態様によれば、この目的は、少なくとも２つのチャンネルを有するオーディオ信号の表現である符号化されたオーディオ信号であって、符号化されたオーディオ信号は、少なくとも２つのチャンネル間の相互関係を表す空間パラメータ、ダウンミックス信号および残差信号を有し、ダウンミックス信号および残差信号は、少なくとも２つのチャンネルの相互関係に依存する制限規則を用いて導出された制限された空間パラメータに基づくダウンミキシング規則を用いてオーディオ信号から導出される、符号化されたオーディオ信号によって達成することができる。

本発明は、用いられるダウンミキシング規則がオーディオ信号から導出される空間パラメータであってアップミキシングまたはダウンミキシング処理中に不安定を回避する目的で導出された空間パラメータにある制限を適用するためにリミッタによって後処理される空間パラメータに依存する場合に、少なくとも２つのチャンネルを有するオーディオ信号がダウンミックス信号および残差信号に効率的にダウンミックスできるという知見に基づくものである。オーディオチャンネル間の相互関係を表すパラメータに動的に依存するダウンミキシング規則を有することによって、ダウンミックスされた残差信号内のエネルギーが可能な限り最小であることが保証され、それは符号化効率の観点から有利なものである。ダウンミキシンにおいて用いる前にリミッタで空間パラメータを後処理することによって、ダウンミキシングまたはアップミキシングにおける不安定を回避することができ、そうでなければ符号化または復号化されたオーディオ信号の空間知覚に妨害を与える結果になる。

本発明の実施の形態では、左右のチャンネルを有するオリジナルのステレオ信号は、ダウンミキサおよびパラメータ抽出器に供給される。パラメータ抽出器は、一般に知られた空間パラメータＩＣＣ（チャンネル間相関）およびＩＩＤ（チャンネル間強度差）を導出する。ダウンミキサは、左右のチャンネルをダウンミクッスス信号および残差信号にダウンミックスすることができ、そこではダウンミックス規則は、結果として生じる残差信号が最小の達成可能なエネルギーをもたらすようなものである。したがって、標準的なオーディオエンコーダによる結果として生じる残差信号の後の圧縮は、きわめてコンパクトなコードになる。これは、空間パラメータＩＣＣおよびＩＩＤがオリジナルのステレオチャンネルの強度または振幅比を表すので、空間パラメータＩＣＣおよびＩＩＤに依存するダウンミキシング規則を形成することによって達成される。符号化の一般的な問題は、エネルギーの保存である。エネルギーが保存されない場合には符号化された信号の異なる音量知覚や符号化された信号の音量において制御不可能なジャンプになるので、オリジナルの信号および符号化された信号の両方が同じエネルギーを有することが必要である。したがって、上述の符号化スキームにおいて、ダウンミックス信号および残差信号はエネルギー保存規則を保証するスケーリングファクタによってスケールされなければならない。

もし符号化されるべきオリジナルのオーディオ信号が空間特性を有するならば、特に左右のオリジナルのチャンネルが完全に相関されない場合、すなわちそれらが同一振幅と正確に１８０度の位相シフトとを有する場合、このスケーリングファクタは発散する。この不安定は、ＩＣＣパラメータに制限機能を適用する本発明の概念で回避され、そこではその制限機能は最大許容スケーリングファクタおよびＩＩＤパラメータに依存する。起こりうる発散を回避するために、ダウンミックスを表す規則が直接的に変更されるが、技術実施の状況において、スケーリングファクタは閾値をセットすることによって容易に制限され、そこではスケーリングファクタは閾値を超える場合に閾値と置き換えられる。

ダウンミックスチャンネルおよび残差チャンネルの両方の信号がダウンミキシング処理の基礎をなすパラメータを変更することによって変更されるということは、本発明の概念の大きな利点である。ダウンミックスチャンネルにおける信号のみが従来技術による閾値を適用する場合に感化され、そのため、オリジナルの左右のチャンネル間の相互関係のよりよい保存は本発明の概念により達成することができる。

上述の概念の他の利点は、用いられる空間パラメータが符号化処理中に一般的に導出されることである。したがって、新しいパラメータを導入することなく必要な制限論理を実施することができる。

本発明のさらなる実施の形態では、エンコーダ側のリミッタと同じ制限規則を有するリミッタがデコーダ側で適用される。これは、デコーダ側において、ダウンミックス信号および残差信号も空間パラメータＩＩＤおよびＩＣＣも受信され、さらに、受信された空間パラメータが符号化処理中に用いられるのと同じ制限規則を用いて制限されることを意味している。そして、アップミキシングは、アップミキシング処理において発散が起きないことを保証して、制限された空間パラメータに依存する。符号化および復号化において同じ制限規則を有することの利点は、ハードウェア回路またはソフトウェアアルゴリズムの実現を１度だけ開発すればよいので、明らかである。符号化および復号化機能を有するハードウェアまたはソフトウェアは、制限機能のために同じハードウェアまたはソフトウェアを再使用することができるので、低コストで開発することができる。

本発明のさらなる実施の形態では、ダウンミックス信号および空間パラメータはそれらの生成後に圧縮され、ダウウンミックスされた信号に対応した２つのオーディオビットストリームと圧縮された空間パラメータを有するパラメータビットストリームとをもたらす。これは、伝送されるべき符号化された表現のサイズを低減し、さらに帯域幅を節約するが、符号化は、符号化規則そのものが本発明の概念とは独立であるので非可逆または可逆である。本発明の概念による本発明のデコーダは、圧縮された表現がアップミキシングの前に空間パラメータ、ダウンミックスチャンネルおよび残差チャンネルに解凍される、解凍ステージを含む。

本発明の他の実施に形態では、既に圧縮されたオーディオビットストリームおよびパラメータビットストリームは、たとえば、記憶媒体上での生成されたファイルの便利な格納を可能にする多重化によって、１つのビットストリームに結合される。これは、全ての関連情報が単一のファイルまたはビットストリームに圧縮されるので、３つの分離したビットストリームが転送される場合に比べてより便利な取扱いを可能にし、アプリケーションのストリーミング、たとえば、インターネットを介して符号化されたコンテンツのストーリミングを可能にする。そして、対応する本発明のデコーダは、たとえば１つのビットストリームを３つの分離したビットストリームにすなわち２つのオーディオビットストリームおよびパラメータビットストリームに分解することがデマルチプレクサでできる分解ステージを有する。

ここで、本発明の概念は、空間パラメータが制限されない従来技術の残差符号化、および、デコーダが残差信号を使用しない従来技術のパラメトリックステレオ符号化に対して、完全な下位互換性を提供するということに注意すべきである。これは、新しく符号化されたオーディオデータが、本発明のデコーダによって最大限の品質で再生できるのに対して、従来技術による既存のデコーダでも再生できるので、大きな利点である。

本発明のさらなる実施の形態では、３つの本発明のエンコーダが６つの個別のチャンネルを含むマルチチャンネルオーディオ信号を符号化するために結合され、３つの本発明のエンコーダのそれぞれは、チャンネルペアごとに空間パラメータ、ダウンミックスおよび残差信号を導出してチャンネルペアを符号化する。そのために、本発明の概念は、符号化され送信されるデータの総量がステレオ信号よりも多いので、符号化の効率および結果として生じる表現のコンパクト性が同等の優先性を有するマルチチャンネルオーディオ信号の符号化のために用いることもできる。原則として、任意の数の本発明のオーディオエンコーダは、基本的に任意の数のオーディオチャンネルを有するマルチチャンネルオーディオ信号を同時に符号化するために結合することができる。マルチチャンネルオーディオエンコーダのさらなる実施の形態では、個別のダウンミックス信号および残差信号も個別のパラメータビットストリームも、要求される帯域幅を低減して、共通の左信号、共通の右信号、共通の残差信号、および結合されたパラメータビットストリームを受信するために、３対２ダウンミキサによって結合される。そのため、対応するデコーダは、直接的に２対３アップミキサステージを含む。

本発明の他の実施の形態では、トランスミッタまたはオーディオレコーダは、送信されまたは格納されたオーディオコンテンツの大きさを十分に低減することができ、コンパクトで高品質のオーディオ記録または送信を可能にする、本発明のエンコーダを含んでいる。そのようなオーディオコンテンツは、所定の容量の記憶媒体に格納することができ、または、狭い帯域幅がオーディオ信号の伝送中に用いられる。

本発明の他の実施の形態では、レシーバまたはオーディオプレーヤは、携帯電話のような制限された帯域幅の環境においてアプリケーションのストリーミングを可能にし、または、制限された容量の記憶媒体を用いて、小型の携帯用の再生装置の構成を可能にする、本発明のデコーダを有している。

本発明のトランスミッタおよびレシーバの結合は、たとえば、無線ＬＡＮ、ブルートゥース、有線ＬＡＮ、電力線技術、無線伝送、または他の各種のデータ伝送など、有線または無線の伝送インターファースを介して、オーディオコンテンツを便利に送信することを可能にする、伝送システムをもたらす。

本発明の好適な実施の形態が添付図面に関して後に説明され、これらの図面としては：
図１は、本発明のエンコーダのブロック図を示し、
図２は、本発明の符号化原理のブロック図を示し、
図３は、本発明のエンコーダの他の実施の形態を示し、
図４は、従来技術のデコーダに対する本発明の符号化スキームの下位互換性を示し、
図５は、本発明のマルチチャンネルオーディオエンコーダを示し、
図６は、本発明のオーディオデコーダのブロック図を示し、
図７は、本発明の復号化概念のブロック図を示し、
図８は、本発明のデコーダのさらなる実施の形態を示し、
図９は、本発明のマルチチャンネルオーディオデコーダの実施の形態を示し、
図１０は、本発明のオーディオエンコーダの別の実施の形態を示し、
図１１は、本発明のオーディオデコーダの別の実施の形態を示し、
図１２は、本発明のトランスミッタ／オーディオレコーダを示し、
図１３は、本発明のレシーバ／オーディオプレーヤを示し、
図１４は、本発明の伝送システムを示す。

図１は、ダウンミキサ１２、リミッタ１４、およびパラメータ抽出器１６を含む、本発明のオーディオエンコーダ１０のブロック図を示す。

左右のチャンネルを有するステレオ信号１８は、ダウンミキサ１２およびパラメータ抽出器１６に同時に入力される。パラメータ抽出器１６は、ステレオ信号１８の左右のチャンネル間の相互関係を表す空間パラメータ１９を抽出する。これらのパラメータは、一方では伝送に利用され、他方ではリミッタ１４に入力される。リミッタ１４は、そのパラメータに制限規則を適用する。適切な制限規則の詳細は、以下の段落で説明される。

リミッタ１４は制限された空間パラメータを導出し、それらはダウンミキサ１２に入力され、ダウンミキサ１２は、ステレオ信号の左右のチャンネルからダウンミックス信号２０および残差信号２２を導出するために、ステレオ信号１８の左右のチャンネルにダウンミキシング規則を適用する。ダウンミキシング規則は、制限された空間パラメータにさらに依存する。

リミッタ１４のための適切な制限規則を選択する場合、ダウンミキサ１２には、ダウンミキシングのために左右のチャンネルの空間的な相互関係を損なう出力をダウンミキシング規則が発散または発生しないような方法で制限される、制限されたパラメータのみが供給される。

結果として、ステレオ信号１８は、オーディオエンコーダ１０によって実行される符号化処理後に、ダウンミックス信号２０、残差信号２２、および空間パラメータ１９で表される。

可能な限り最小のエネルギーを含む結果として生じる残差信号２２を提供するとともに、同時にダウンミックス規則がいかなる発散も起こさないように空間パラメータを制限するために、ダウンミキシング規則および制限規則がどのように相互関係を有しなければならないかを理解するために、本発明の基礎をなす基本的な概念を以下の段落でより詳細に説明する。

パラメータ抽出器１６によって抽出されたパラメータは、離散時間信号の複素変調フィルタバンク解析のサブバンドサンプルの単一の時間および周波数区間から得られる。すなわち、ステレオ信号１８の左右のチャンネルのオーディオ信号は、まず所定の長さの時間フレームに分割され、さらに、単一の時間フレーム内で、周波数スペクトラムは、多数のサブバンドサンプルに再分割される。各サブバンドに対して、パラメータ抽出器１６は、関連するサブバンド内でステレオ信号の左右のチャンネルを比較することによって、空間パラメータを抽出する。したがって、図１のステレオ信号１８の左右のチャンネル、ダウンミックス信号ｍおよび残差信号ｓは、離散時間区間内で基礎をなす信号を表すもので、離散的で有限長のベクトルと理解すべきである。上述のように、ダウンミキシング中に、エネルギー保存は保証されなければならない。離散複素ベクトルｘ、ｙに対して、複素内積および２乗ノルム（エネルギーに相当）は、式

によって規定される。

ここで、通常の定義にしたがって、^*は複素共役を示す。以降では、大文字は、小文字で示される対応する有限長の複素ベクトルの２乗和またはエネルギーを示す。

本発明によれば、適応ダウンミックスによって生じるダウンミックス信号ｍは、オリジナルの左右のチャンネル信号のエネルギー重み付け和であり、式

によって規定され、ここで、ｇは、実数で正のゲインファクタであり、ダウンミックス信号のエネルギー（Ｍ）が左チャンネル信号ベクトルのエネルギー（Ｌ）および右チャンネル信号ベクトルのエネルギー（Ｒ）の和に等しくなる（Ｍ＝Ｌ＋Ｒ）ように調整される。

このゲインファクタは、ｌおよびｒが位相を異にしかつ同等のエネルギーを有する（すなわち、式（２）において、ｌ＋ｒ＝０）の場合に無限大に発散するので、このファクタを典型的には区間［１、２］内にある最大ゲインファクタｇ₀で制限することが必要である。図１に示すように、パラメータ抽出器１６は、式

で表される空間オーディオパラメータＩＩＤ（チャンネル間強度差）およびＩＣＣ（チャンネル間コヒーレンス）を抽出する。

ここで、ｃはＩＩＤパラメータを示し、ρはＩＣＣパラメータを示す。ゲインファクタｇは、ＩＩＤおよびＩＣＣパラメータに依存し、またゲインファクタの要求される制限は、次式

のように記述することができる。

一般的に、│ρ│≦１であるので、２ρｃ≦ｃ²＋１となり、したがって、１／√２≦ｇ≦ｇ₀となる。

最大符号化効率を達成するためには、残差信号２２のエネルギーは最小であることが望ましい。続く導出は、式（９）により余分なことが明らかである付加的な残差信号ｔを含むより一般的な最適化問題を解決する。デコーダ側からこの問題を考えると、アップミックス

における残差信号ｓ、ｔが最小のエネルギーを有するように、ゲインａ、ｂを決める必要がある。解決案は、式

によって与えられ、ここで、ｐは式

によって与えられる。

係数ａ、ｂが実数であるという付加的な制限の下では、同じ問題は、式（７）の実数部分を取り、それを式（６）に代入することによって得られる解決案を有する。その場合、ｐは、次式

のように、ＰＳパラメータｃ、ρで表される。

式（６）を式（５）に代入し、式（５）中の２つの式を加算することによって、次式

が得られる。

アップミキシング処理を通常の行列記法により記述すれば、アップミキシングは、次式

のように、回転行列Ｈで表すことができる。

ゲインファクタｇが式（４）における最大値ｇ₀によって制限されない場合、最適な係数ａ、ｂの異なる表現は、式

によって与えられる。

回転行列Ｈの最初の列は、パラメトリックステレオで用いられる振幅回転行列と同じであり、たとえば国際公開第ＷＯ２００３／０９０２０６Ａ１号において導き出される。

ダウンミックスは、全ての非可逆符号化ステップを無視した場合に完全な再構成が得られるという意味において、アップミックスと互換性がなければならない。その結果、式

のダウンミキシング行列Ｄは、アップミックス回転行列Ｈの逆でなければならない。基本的な計算により式

をもたらし、最初の行は式（２）と矛盾しない。

式（１０）および式（１３）で与えられる２つの最適な回転行列には安定性問題がある。（ｃ、ρ）が（１、−１）に接近するにつれて、式（８）で与えられるｐの値は発散する。したがって、それはＰＳパラメータドメインのこのポイントの近傍において最適な回転行列とは異なるようにしなければならない。本発明によって教示される解決案は、エンコーダおよびデコーダの両方において不安定リミッタによってＰＳパラメータを修正することである。

その一般的な形態では、そのようなリミッタは、値ｐを制限された範囲内に限定するために、（１、−１）の近傍において、ペア値（ｃ、ρ）を変更する。特に魅力的な解決案は、式（８）の分母が式（４）のそれと同じであるという事実に基づく。本発明での解決案では、パラメータｃを変更せず、適応ダウンミックスのゲインファクタｇが式（４）で表される最大値ｇ₀に制限される場合に限ってパラメータρを修正する。それは、式

で表される場合に起こる。

したがって、不安定リミッタ１４によって実行されるρの好ましい修正は、式

で表される。

以前の段落において、リミッタ１４の定義につながる問題解析の詳細を述べた。その表記はステレオ信号に基づくが、同じ方法が、マルチチャンネルオーディオ信号から選択されたチャンネルペアまたは部分的ダウンミックスによって生成されたチャンネルペアなど、どのようなオーディオ信号のペアに対しても適用できることは、明らかである。特に、同じ制限規則が、アップミキシングおよびダウンミキシング行列内でパラメータを制限するために用いることができるということは、大きな利点である。

図２は、ブロック図を用いた本発明のオーディオ符号化プロシージャを示し、本発明の概念によりどのようにオーディオ符号化が実行されるかを示す。最初のパラメータ抽出ステップ３０では、ＩＣＣおよびＩＩＤパラメータが導出される。

それらのパラメータは、出力２３として転送され、さらに、制限ステップ３２のための入力として働くように転送され、そこではＩＣＣパラメータは、ＩＩＤに依存する算出された最小ＩＩＣパラメータＩＣＣ_minと比較される。そして、ＩＣＣパラメータが最小ＩＣＣパラメータＩＣＣ_minを超えている場合には、ＩＣＣパラメータは直接ダウンミキシングステップ３４に転送される。

もしＩＣＣパラメータがＩＣＣ_minを超えていない場合には、交換ステップ３６が実行され、そこではＩＣＣパラメータの値が最小ＩＣＣパラメータＩＣＣ_min（ＩＤＤ）の値に交換される。交換ステップ３６の後、新しい値を有するＩＣＣパラメータはダウンミキシングステップ３４に転送される。

ダウンミキシングステップ３４では、ダウンミックス信号２０および残差信号２２が、パラメータＩＣＣおよびＩＩＤに依存して、チャンネルｌおよびｒから導出される。

最後に、パラメータ２３（ＩＣＣおよびＩＩＤ）、ダウンミックス信号２０および残差信号２２が、符号化プロシージャの出力として利用できる。

図３は、オーディオエンコーダ１０と、第１のオーディオ圧縮器５２、第２のオーディオ圧縮器５４、およびパラメータ圧縮器５６を有する信号処理ユニット５１と、出力インターフェース部５８とを含む、本発明のオーディオ符号化装置５０の他の実施の形態を示す。

オーディオエンコーダ１０の要素については、既に以前の段落で述べた通りである。したがって、オーディオエンコーダ１０以外のオーディオ符号化装置５０の要素についてのみ以下の段落で説明する。

信号処理ユニット５１の一般的な目的は、ダウンミックス信号２０、残差信号２２およびパラメータ２３を圧縮することである。したがって、ダウンミックス信号２０は第１のオーディオ圧縮器５２に入力され、残差信号２２は第２のオーディオ圧縮器５４に入力され、さらに、空間パラメータ２３はパラメータ圧縮器５６に入力される。第１のオーディオ圧縮器５２は第１のオーディオビットストリーム６０を導出し、第２のオーディオ圧縮器５４は第２のオーディオビットストリーム６２を導出し、さらに、パラメータ圧縮器５６はパラメータビットストリーム６４を導出する。第１および第２のオーディオビットストリーム（６０、６２）とパラメータビットストリーム６４とは、本発明の符号化装置５０の出力となる結合ビットストリーム６６を導出するために３つのビットストリーム（６０、６２、６４）を結合する出力インターフェースの入力として用いられる。

出力インターフェース５８によって実行される結合は、たとえば３つの入力ビットストリームの単純な多重化による。さらに、単一の出力ビットストリーム６６を導くどのような結合も可能である。単一のビットストリームを処理することは、インターネットや他のデータリンクによるストリーミングなどを取り扱う上で非常に便利である。

言い換えれば、図３は、入力としてチャンネルｌ、ｒを含む２チャンネルオーディオ信号を取り込み、さらに、パラメトリックステレオデコーダによる復号化を可能にするビットストリームを生成する、エンコーダを説明する。適応型ダウンミキサは、２チャンネル信号ｌ、ｒを取り込み、さらに、モノラルダウンミックス信号ｍおよび残差信号ｓを生成する。これらの信号は、コンパクトなオーディオビットストリームを発生するために知覚オーディオエンコーダによって符号化される。パラメトリックステレオ（ＰＳ）パラメータ推定器は、入力として２チャンネル信号ｌ、ｒを取り込み、さらに、ＰＳパラメータのセットを生成する。不安定リミッタは、適応ダウンミキサを制御するＰＳパラメータを修正する。符号化ブロックは、ＰＳパラメータ推定器の修正されていない出力からパラメトリックステレオサイド情報（ＰＳサイド情報）を発生する。マルチプレクサは、結合ビットストリームを形成するために全ての符号化されたデータを結合する。

従来技術のパラメトリックステレオデコーダに対して、本発明の符号化概念が完全な下位互換性を有することは主要な利点の１つである。このことを説明するために、図４は従来技術のパラメトリックステレオデコーダを示す。

パラメトリックステレオデコーダ７０は、入力インターフェース７２、オーディオデコーダ７４、パラメータデコーダ７６、およびアップミキサ７８を含む。

入力インターフェース７２は、本発明のオーディオエンコーダ５０によって発生されるような結合ビットストリーム８０を受信する。従来技術のパラメトリックステレオデコーダ７０の入力インターフェース７２は、残差信号２２を認識せず、したがって、入力ビットストリーム８０から、ダウンミックス信号６０（図３における第１のオーディオビットストリーム６０）およびパラメータビットストリーム６４のみを抽出する。オーディオデコーダ７４は第１のオーディオ圧縮器５２に対して相補的装置であり、パラメータデコーダ７６はパラメータ圧縮器５６に対して相補的装置である。したがって、オーディオビットストリーム６０はダウンミックス信号２０に復号化され、パラメータビットストリ−ム６４は空間パラメータ２３に復号化される。空間パラメータ２３は、直接転送され、本発明のエンコーダ１０または５０によってさらに処理されないので、従来技術のアップミキサ７８は、空間パラメータ２３を用いてダウンミックス信号２０から出力信号８２を構築し、左右のチャンネルを再構成することができる。

言い換えれば、図４は、入力として本発明の符号化装置５０によって生成されるような互換性のあるビットストリームを取り込み、さらに、残差信号を表すビットストリームの部分を用いることなくまたはそれにアクセスすることなく、チャンネルｌ、ｒを含むステレオオーディオ信号を生成する、パラメトリックステレオデコーダを示す。最初に、デマルチプレクサは、入力として互換性のあるビットストリームを取り込み、さらに、それをオーディオビットストリームおよびＰＳサイド情報に分解する。知覚オーディオデコーダはモノラル信号ｍを発生し、ＰＳサイド情報はＰＳパラメータに復号化される。ＰＳ合成器は、特にオリジナルのステレオチャンネルのチャンネル相関を保持するために相関されていない信号を加えることによって、ＰＳパラメータに従ってモノラル信号を左右の信号ｌおよびｒに変換する。

図５は、６チャンネルオーディオ信号をステレオダウンミックス信号および多数のパラメータセットに符号化する本発明のマルチチャンネルオーディオエンコーダ１００を示す。

マルチチャンネルオーディオエンコーダ１００は、第１の適応エンコーダ１０２、第２の適応エンコーダ１０４、推定モジュール１０６、パラメータ抽出器１０８、および３対２ダウンミキサ１１０を含む。

第１の適応エンコーダ１０２および第２の適応エンコーダ１０４は、本発明のエンコーダ１０の実施の形態である。６チャンネル入力信号は、左前チャンネル１１２ａ、左後チャンネル１１２ｂ、右前チャンネル１１４ａ、右後チャンネル１１４ｂ、中央チャンネル１１６ａ、および低周波エンハンスメントチャンネル１１６ｂを有する。左前チャンネル１１２ａおよび左後チャンネル１１２ｂは、第１のダウンミックス信号１１８ａ、対応する残差信号１１８ｂおよび空間パラメータ１１８ｃを導出する第１の適応エンコーダ１０２に入力される。右前チャンネル１１４ａおよび右後チャンネル１１４ｂは、第２のダウンミックス信号１２０ａ、対応する残差信号１２０ｂ、および基礎をなす空間パラメータ１２０ｃを導出する第２の適応エンコーダ１０４に入力される。中央チャンネル１１６ａおよび低周波エンハンスメントチャンネル１１６ｂは、モノラル信号１２２ａおよび対応する空間パラメータ１２２ｂを生成するために信号を加える加算モジュール１０６に入力される。

３対２ダウンミキサ１１０は、ダウンミックス信号１１８ａ、１２０ａ、および１２２ａを受信し、それらを左右のチャンネルを有するステレオ出力信号１２４にダウンミックスする。３対２ダウンミキサ１１０は、さらに、入力チャンネル１１８ａ、１２０ａ、および１２２ａから残差信号１２６を導出する。さらに、３対２ダウンミキサ１１０は、パラメータセット１１８ｂ、１２０ｂ、および１２２ｂからパラメータセット１２８を導出する。

要約すれば、図５は、チャンネルＬｆ（左前）、Ｌｒ（左後）、Ｒｆ（右前）、Ｒｒ（右後）、Ｃ（中央）およびＬＦＥ（低周波効果）を含む５．１チャンネルフォーマットにおけるマルチチャンネルオーディオ信号を入力として取り込み、さらに、Ｌ₀およびＲ₀を含むステレオダウンミックスと多数のパラメータセットとを生成する、空間オーディオエンコーダを示す。なお、図５では、時間軸から周波数軸への変換、ダウンミックス信号およびパラメータの符号化、および符号化された情報の対応する空間オーディオデコーダによって復号化可能なビットストリームへの多重化などは示されていない。適応ダウンミキサは、入力として信号ＬｆおよびＬｒを取り込み、さらに、モノラル信号Ｌおよび残差信号Ｌを生成する。パラメトリックステレオ（ＰＳ）パラメータ推定器は、入力として２チャンネル信号ＬｆおよびＬｒを取り込み、さらに、ＰＳパラメータのセットを生成する。不安定リミッタは、適応ダウンミキサを制御するＰＳパラメータを修正する。同様な方法で、適応ダウンミキサは、入力として信号ＲｆおよびＲｒを取り込み、さらに、モノラル信号Ｒおよび残差信号Ｒを生成する。パラメトリックステレオ（ＰＳ）パラメータ推定器は、入力として２チャンネル信号ＲｆおよびＲｒを取り込み、さらに、ＰＳパラメータのセットを生成する。不安定リミッタは、適応ダウンミキサを制御するＰＳパラメータを修正する。加算モジュールは、モノラル信号Ｃを生成するために信号ＣおよびＬＦＥを加える。パラメトリックステレオ（ＰＳ）パラメータ推定器は、入力として２チャンネル信号ＣおよびＬＦＥを取り込み、さらに、ＩＩＤパラメータのセットおよびＰＳパラメータのサブセットを生成する。モノラル信号Ｌ、ＲおよびＣは、３対２モジュールによって、ステレオ信号（Ｌ₀およびＲ₀）および残差信号Ｅ₀にミックスされる。また、３対２モジュールは、パラメータセット｛Ｌ₀、Ｒ₀｝を出力する。

図６は、アップミキサ１４２およびリミッタ１４４を含む本発明のオーディオデコーダ１４０を示す。

本発明のデコーダ１４０は、ダウンミックス信号１４６、残差信号１４８および空間パラメータ１５０を受信する。ダウンミックス信号１４６および残差信号１４８はアップミキサ１４２に入力されるのに対して、空間パラメータ１５０はリミッタ１４４に入力される。リミッタ１４４は、制限された空間パラメータ１５２を導出するために空間パラメータ１５０を制限する。

ここで、リミッタは、制限されたパラメータを導出するために、符号化処理中の対応するエンコーダと同じ制限規則を用いていることに注意することが重要である。制限された空間パラメータは、ダウンミックス信号１４６および残差信号１４８から左右のチャンネルを有するステレオ信号１５４を導出するアップミキサ１４２においてアップミキシング処理を制御するために用いられる。

図７は、本発明のデコーダの原理を示すブロック図である。最初の制限ステップ１６０では、受信された空間パラメータＩＣＣおよびＩＩＤが制限される。すなわち、受信されたＩＣＣパラメータが最小ＩＣＣパラメータＩＣＣ_min（ＩＩＤ）を超えているかどうかがチェックされる。もし超えている場合には、空間パラメータ１５０（ＩＣＣおよびＩＩＤ）、受信されたダウンミックス信号１４６、および受信された残差信号１４８は、アップミキシングステップ１６２に送られる。もし、ＩＣＣパラメータが最小ＩＣＣパラメータＩＣＣ_min（ＩＩＤ）を超えていない場合には、制限ステップ１６４がさらに実行され、そこでは、ＩＣＣパラメータの値が最小ＩＣＣパラメータＩＣＣ_min（ＩＩＤ）の値と交換され、ＩＣＣ_min（ＩＩＤ）の値がアップミキシングステップ１６２に送られる。

アップミキシングステップ１６２では、空間パラメータＩＣＣおよびＩＩＤを用いて、左右のチャンネルを有するステレオ信号１５４がダウンミックス信号１４６および残差信号１４８から導出される。

図８は、デコーダ１４０と、第１のオーディオデコーダ１８４、第２のオーディオデコーダ１８６およびパラメータデコーダ１８８を有する信号処理ユニット１８２とを含む、本発明の復号化装置１８０のさらなる実施の形態を示す。復号化装置１８０は、本発明の符号化装置５０によって生成される結合ビットストリーム１９２を受信するための入力インターフェース１９０をさらに含む。

結合ビットストリーム１９２は、入力インターフェース１９０によって、第１のオーディオビットストリーム１９４ａ、第２のオーディオビットストリーム１９４ｂおよびパラメータビットストリーム１９６に分解される。

第１のオーディオビットストリーム１９４ａは第１のオーディオデコーダ１８４に入力され、第２のオーディオビットストリーム１９４ｂは第２のオーディオデコーダ１８６に入力され、さらに、パラメータビットストリーム１９６はパラメータデコーダ１８８に入力される。解凍されたダウンミックス信号１９８（ｍ）および残差信号２００（ｓ）は、デコーダ１４０のアップミキサ１４２に入力される。パラメータデコーダ１８８によって導出された空間パラメータ２０２は、オーディオデコーダ１４０のリミッタ１４４に入力される。空間パラメータの制限およびアップミキシングに関しては、既にオーディオデコーダ１４０の記述のところで説明されている。その詳細な説明は、図６を説明する段落の中でされている。

本発明の復号化装置１８０は、最終的に、左右のチャンネルを有するステレオ信号２０４を出力する。

言い換えれば、図８は、入力として互換性のあるビットストリームを取り込み、さらに、チャンネルｌおよびｒを含むステレオオーディオ信号を生成する、パラメトリックステレオデコーダを示す。まず、デマルチプレクサは、入力として互換性のあるビットストリームを取り込み、さらに、それを２つのオーディオビットストリームおよびＰＳサイド情報に分解する。知覚オーディオデコーダはモノラル信号ｍおよび残差信号ｓをそれぞれ生成し、ＰＳサイド情報はパラメータデコーダによってＰＳパラメータに復号化される。不安定リミッタは、ＰＳパラメータを修正する。アップミキサは、不安定リミッタによって修正されたＰＳパラメータで規定される回転行列によって、モノラルおよび残差信号を左右の信号ｌおよびｒに変換する。

図９は、第１の２チャンネルデコーダ２１２、第２の２チャンネルデコーダ２１４、合成モジュール２１６、および２対３モジュール２１８を含む、本発明のマルチチャンネルオーディオデコーダ２１０を示す。

図９は、入力として、ステレオオーディオ信号（Ｌ₀およびＲ₀を含む）、残差信号Ｅ₀およびパラメータセット｛Ｌ₀、Ｒ₀｝を取り込む、空間オーディオデコーダの部分を図解する。２対３モジュール２１８は、上述の入力から３つのオーディオチャンネルＬ、Ｒ、およびＣを生成する。モノラルチャンネルＬおよび残差チャンネルＬは、第１の２チャンネルデコーダ２１２によってＬｆおよびＬｒ出力信号に変換される。不安定リミッタは、ＰＳパラメータセットＬを修正する。同様に、モノラルチャンネルＲおよび残差チャンネルＲは、第２の２チャンネルデコーダ２１４によってＲｆおよびＲｒ出力信号に変換される。不安定リミッタは、モノラルチャンネルＲの生成中においてと同様に用いられ、ＰＳパラメータセットＲを修正する。ＰＳ合成モジュール２１６は、モノラルチャンネルＣおよびパラメータセットＣを取り込み、さらに、ＣおよびＬＦＥ出力チャンネルを生成する。

図１０および図１１は、不安定問題を回避するエンコーダおよびデコーダの代替案を示す。この代替案は、符号化され送信されるべきパラメータとして制限された空間パラメータを用いることに基づいている。これは、図３の本発明の符号化装置に基づく図１０の本発明のエンコーダに示される。

図１０は、既に図３に示されている本発明によるエンコーダの変更を示し、パラメータエンコーダ５６に送られるパラメータが制限処理の後のポイント３００から取られるという違いを有する。すなわち、オリジナルのパラメータの代わりに制限処理されたパラメータが、符号化され、さらに送信される。

図１１に示されているデコーダ側では、図８に示す復号化装置１８０と比較して、変更は不安定リミッタが削除されていることである。したがって、復号化された空間パラメータ３１０は、ステレオ信号２０４を導出するためにアップミキサ１４２に直接入力される。

既に先の段落や図で説明されている不安定リミッタの適用と比べて、この解決案には２つの欠点がある。第一に、制限されたパラメータの量子化は、必要とされる最適値からさらに離れて回転行列を移動してしまうことである。したがって、残差信号の大きさは、一般に大きくなり、残差符号化法としての符号化ゲインを損なわせることになる。第二に、パラメトリックステレオ符号化での下位互換性が損なわれることである。重大な場合、オリジナルのチャンネルのチャンネル相関が負になるときには、デコーダは、残差信号にアクセスすることなしにはこの相関を再現することはできない。

図１２は、オーディオエンコーダ５０、入力インターフェース３３２および出力インターフェース３３４を有する、本発明のオーディオトランスミッタまたはレコーダ３３０を示す。

オーディオ信号は、トラスミッタ／レコーダ３３０の入力インターフェース３３２に供給される。オーディオ信号はトランスミッタ／レコーダ内の本発明のエンコーダ５０によって符号化され、さらに、符号化された表現がトランスミッタ／レコーダ３３０の出力インターフェース３３４から出力される。符号化された表現は、送信され、または、記録媒体に格納される。

図１３は、本発明のオーディオデコーダ１８０、ビットストリーム入力３４２、およびオーディオ出力３４４を有する、本発明のレシーバまたはオーディオプレーヤ３４０を示す。

ビットストリームは、本発明のレシーバ／オーディオプレーヤ３４０の入力３４２に入力される。そして、ビットストリームはデコーダ１８０によって復号化され、さらに、復号化された信号は本発明のレシーバ／オーディオプレーヤ３４０の出力３４４から出力されまたは再生される。

図１４は、本発明のトランスミッタ３３０および本発明のレシーバ３４０を含む伝送システムを示す。

トランスミッタ３３０の入力インターフェース３３２に入力されたオーディオ信号は、符号化され、さらに、トランスミッタ３３０の出力３３４からレシーバ３４０の入力３４２に転送される。レシーバ３４０は、オーディオ信号を復号化し、そのオーディオ信号をその出力３４４から再生または出力する。

本発明の上述のおよび記載されている実施の形態は、適応残差符号化の改良のための本発明の原理を単に例示するだけである。本願明細書に記載されている構成および詳細の変更および変形は他の当業者にとって実施可能であるものと理解される。したがって、特許請求の範囲によってだけ制限され、実施の形態の記載および説明によって示される具体的な詳細によっては制限されないことを意図する。

上述の図に記載されている本発明の実施の形態がステレオ信号のために用いられる用語を主に使用して記載されているが、本発明は、ステレオ信号に限定されるものではなく、２つのオーディオ信号のいかなる組み合わせ形態にも適用可能であることは明らかであり、たとえば、図５および図９に示されているマルチチャンネルオーディオエンコーダおよびデコーダにも適用できる。

トランスミッタおよびレシーバを有する本発明の伝送システムを用いる場合、トランスミッタおよびレシーバ間の伝送は、さまざまな手段によって達成することができる。これは、たとえば、インターネットまたは他のネットワークメディア上でのライフストリーミング、コンピュータによって読み取り可能なメディア上でのファイルの格納、および、メディアの転送、すなわち、ケーブルやワイヤレスＬＡＮまたはブルートゥースのような無線および考えられる他のいかなるデータ接続手段によるトランスミッタおよびレシーバの直接的な接続などである。

非発散のアップミックスおよびダウンミックス行列を保証するためにＩＣＣパラメータだけが変更されることは詳細に説明されてきたが、発散が起きないようにＩＩＤおよびＩＩＣパラメータの両方を制限することも可能である。さらに一般的には、本発明の概念を適用することは、非発散のダウンミックスおよびアップミックスを保証して、他の空間パラメータを導出し、さらに、ある制限規則をそれらのパラメータに適用することを意味することもできる。

本発明のエンコーダおよびデコーダにおける出力および入力インターフェースは、単純なマルチプレクサまたはデマルチプレクサだけに限定されない。より高度な変形として、出力インターフェースは、ビットストリームを単に多重化することによるのではなく、他の手段によってたとえばビットストリームの大きさを低減するためにさらなるエントロピー符号化をすることによってビットストリームを結合してもよい。

本発明の方法の特定の実現要求によっては、本発明の方法は、ハードウェアまたはソフトウェアで実施することができる。この実施は、本発明の方法が実行されるように、プログラム可能なコンピュータシステムと協働する、それに格納された電子的に読み取り可能な制御信号を有する、デジタル記憶媒体、特に、ディスク、ＤＶＤまたはＣＤを用いて実行することができる。そのため、本発明は、一般に、コンピュータプログラム製品がコンピュータ上で実行されるときに、機械で読み取り可能なキャリアに格納された本発明の方法を実行するためのプログラムコードを有するコンピュータプログラム製品である。言い換えると、本発明は、コンピュータプログラムがコンピュータ上で実行されるときに、少なくとも１つの本発明の方法を実行するためのプログラムコードを有するコンピュータプログラムである。

上述には本発明の特定の実施の形態に関して特に示され説明されたが、形式や詳細のさまざまな他の変更が本発明の精神および範囲から逸脱することなくできるということは、当業者にとって理解されよう。さまざまな変更が本願明細書において開示されさらに特許請求の範囲によって理解される上位概念から逸脱することなく異なる実施の形態に適応する際にできることを理解すべきである。

図１は、本発明のエンコーダのブロック図を示す。 図２は、本発明の符号化原理のブロック図を示す。 図３は、本発明のエンコーダの他の実施の形態を示す。 図４は、従来技術のデコーダに対する本発明の符号化スキームの下位互換性を示す。 図５は、本発明のマルチチャンネルオーディオエンコーダを示す。 図６は、本発明のオーディオデコーダのブロック図を示す。 図７は、本発明の復号化概念のブロック図を示す。 図８は、本発明のデコーダのさらなる実施の形態を示す。 図９は、本発明のマルチチャンネルオーディオデコーダの実施の形態を示す。 図１０は、本発明のオーディオエンコーダの別の実施の形態を示す。 図１１は、本発明のオーディオデコーダの別の実施の形態を示す。 図１２は、本発明のトランスミッタ／オーディオレコーダを示す。 図１３は、本発明のレシーバ／オーディオプレーヤを示す。 図１４は、本発明の伝送システムを示す。

Claims (35)

1. 少なくとも２つのチャンネル（１８）を有するオーディオ信号を符号化するためのオーディオエンコーダ（１０）であって、
   空間パラメータとして、前記少なくとも２つのチャンネルの第１および第２のチャンネル間のコヒーレンスを表すコヒーレンスパラメータ（ＩＣＣ）と、前記第１および前記第２のチャンネル間のレベル差を表すレベルパラメータ（ＩＩＤ）とを導出するためのパラメータ抽出器（１６）、
   制限されたコヒーレンスパラメータを導出するために前記コヒーレンスパラメータを制限するためのリミッタ（１４）であって、前記コヒーレンスパラメータの前記制限は前記レベルパラメータおよびスケーリングファクタに依存する、リミッタ（１４）、および
   前記制限されたコヒーレンスパラメータに依存するダウンミキシング規則を用いて前記オーディオ信号からダウンミックス信号（２０）および残差信号（１８）を導出するためのダウンミキサ（１２）を含む、オーディオエンコーダ（１０）。
2. 前記パラメータ抽出器（１６）は、前記オーディオ信号の所定の時間部分に対して複数の空間パラメータを導出するように作動する、請求項１に記載のオーディオエンコーダ（１０）。
3. 前記リミッタ（１４）は、前記ダウンミックス信号（２０）および前記少なくとも２つのチャンネル間の強度の比が所定の限界を超えることがないように、前記コヒーレンスパラメータを制限するように作動する、請求項１または請求項２に記載のオーディオエンコーダ（１０）。
4. 前記リミッタ（１４）の制限規則は、前記コヒーレンスパラメータＩＣＣのための下限が、次式
   

   

   に基づいて、前記レベルパラメータＩＩＤおよび所定のゲインファクタｇ₀に依存する前記スケーリングファクタに依存する、請求項１ないし請求項３のいずれかに記載のオーディオエンコーダ（１０）。
5. 前記所定のゲインファクタｇ₀は、区間［１、２］から選ばれる、請求項４に記載のオーディオエンコーダ（１０）。
6. 前記ダウンミキサ（１２）は、前記ダウンミックス信号（２０）および前記残差信号（１８）が前記少なくとも２つのチャンネルから前記チャンネルの線形結合を形成することによって導出されるように、ダウンミキシング規則を用いるように作動し、前記線形結合の係数は、前記制限されたコヒーレンスパラメータに依存する、請求項１ないし請求項５のいずれかに記載のオーディオエンコーダ（１０）。
7. 前記ダウンミキシング規則は、前記ダウンミックス信号（２０）ｍおよび前記残差信号（１８）ｓの導出が、前記制限されたコヒーレンスパラメータＩＣＣ、前記レベルパラメータＩＩＤ、前記第１のチャンネルｌおよび前記第２のチャンネルｒに依存して、次式
   

   

   で表される、請求項６に記載のオーディオエンコーダ（１０）。
8. 処理されたダウンミックス信号、処理された残差信号、および処理されたパラメータを導出するために、前記ダウンミックス信号（２０）、前記残差信号（１８）、および前記空間パラメータを処理または送信するための信号処理ユニット（５１）をさらに含む、請求項１ないし請求項７のいずれかに記載のオーディオエンコーダ（１０）。
9. 前記信号処理ユニット（５１）は、前記導出が前記ダウンミックス信号（２０）、前記残差信号（１８）、および前記空間パラメータの圧縮を含むように、前記処理されたダウンミックス信号、前記処理された残差信号、および前記処理されたパラメータを導出するように作動する、請求項８に記載のオーディオエンコーダ（１０）。
10. 前記処理されたダウンミックス信号（２０）、前記処理された残差信号（１８）、および前記処理されたパラメータの情報を提供するための出力インターフェース（５８）をさらに含む、請求項８または請求項９に記載のオーディオエンコーダ（１０）。
11. 前記出力インターフェース（５８）は、前記処理されたダウンミックス信号、前記処理された残差信号、および前記処理されたパラメータの前記情報を有する出力ビットストリームを導出するために、前記処理されたダウンミックス信号、前記処理された残差信号、および前記処理されたパラメータを結合するように作動する、請求項１０に記載のオーディオエンコーダ（１０）。
12. 前記出力インターフェース（５８）は、前記出力ビットストリームを導出するために、前記処理されたダウンミックス信号、前記処理された残差信号、および前記処理されたパラメータを多重化するように作動する、請求項１１に記載のオーディオエンコーダ（１０）。
13. 複数対のチャンネルが符号化され、各対のチャンネルに対して、空間パラメータ、ダウンミックス信号（２０）および残差信号（１８）が導出される、請求項１ないし請求項１２のいずれかに記載のオーディオエンコーダ（１０）。
14. 前記複数対のチャンネルは、左前、左後、右前、右後、低周波エンハンスメントおよび中央のチャンネルを含む、請求項１３に記載のオーディオエンコーダ（１０）。
15. 少なくとも２つのチャンネルを有するオリジナルのオーディオ信号を表す符号化されたオーディオ信号を復号化するためのオーディオデコーダ（１４０）であって、前記符号化されたオーディオ信号は、ダウンミックス信号および残差信号並びに空間パラメータとして前記少なくとも２つのチャンネルの第１および第２のチャンネル間のコヒーレンスを表すコヒーレンスパラメータ（ＩＣＣ）および前記第１および前記第２のチャンネル間のレベル差を表すレベルパラメータ（ＩＩＤ）を有し、前記オーディオデコーダ（１４０）は、
    制限されたコヒーレンスパラメータを導出するために前記コヒーレンスパラメータを制限するためのリミッタ（１４４）であって、前記コヒーレンスパラメータの前記制限は前記レベルパラメータおよびスケーリングファクタに依存する、リミッタ（１４４）、および
    前記制限されたコヒーレンスパラメータに依存するアップミキシング規則を用いて前記ダウンミックス信号および前記残差信号から前記オリジナルのオーディオ信号（１５４）の再構成を導出するためのアップミキサ（１４２）を含む、オーディオデコーダ（１４０）。
16. 前記リミッタ（１４４）は、前記オリジナルのオーディオ信号の時間フレームに対応する前記符号化されたオーディオ信号の所定の時間部分に対して複数のコヒーレンスパラメータを制限するように作動する、請求項１５に記載のオーディオデコーダ（１４０）。
17. 前記リミッタ（１４４）は、前記ダウンミックス信号および前記オリジナルのオーディオ信号の前記少なくとも２つのチャンネル間の強度の比が所定の限界を超えることがないように、前記コヒーレンスパラメータを制限するように作動する、請求項１５または請求項１６に記載のオーディオデコーダ（１４０）。
18. 前記リミッタ（１４４）の制限規則は、前記コヒーレンスパラメータＩＣＣのための下限が、次式
    

    

    に基づいて、前記レベルパラメータＩＩＤおよび所定のゲインファクタｇ₀に依存する前記スケーリングファクタに依存する、請求項１５ないし請求項１７のいずれかに記載のオーディオデコーダ（１４０）。
19. 前記所定のゲインファクタｇ₀は、区間［１、２］から選ばれる、請求項１８に記載のオーディオデコーダ（１４０）。
20. 前記アップミキサ（１４２）は、前記少なくとも２つのチャンネルの第１の再構成チャンネルおよび第２の再構成チャンネルが前記ダウンミックス信号および前記残差信号の線形結合を形成することによって導出されるように、アップミキシング規則を用いるように作動し、前記線形結合の係数は、前記制限されたコヒーレンスパラメータに依存する、請求項１５ないし請求項１９のいずれかに記載のオーディオデコーダ（１４０）。
21. 前記アップミキシング規則は、前記ダウンミックス信号ｍおよび前記残差信号ｓからの第１の再構成チャンネルｌおよび第２の再構成チャンネルｒの導出が次式
    

    

    に基づいて、前記制限されたコヒーレンスパラメータＩＣＣおよび前記レベルパラメータに依存する、請求項２０に記載のオーディオデコーダ（１４０）。
22. 前記残差信号、前記ダウンミックス信号、および前記空間パラメータを導出するために、処理された残差信号、処理されたダウンミックス信号、および処理されたパラメータを処理または送信するための信号処理ユニット（１８２）をさらに含む、請求項１５ないし請求項２１のいずれかに記載のオーディオデコーダ（１４０）。
23. 前記信号処理ユニット（１８２）は、前記残差信号、前記ダウンミックス信号および前記空間パラメータの導出が、前記処理された残差信号、前記処理されたダウンミックス信号、および前記処理されたパラメータの解凍を含むように、前記残差信号、前記ダウンミックス信号、および前記空間パラメータを導出するように作動する、請求項２２に記載のオーディオデコーダ（１４０）。
24. 前記処理された残差信号、前記処理されたダウンミックス信号および前記処理されたパラメータを提供するための入力インターフェース（１９０）をさらに含む、請求項２２または請求項２３に記載のオーディオデコーダ（１４０）。
25. 前記入力インターフェース（１９０）は、前記処理された残差信号、前記処理されたダウンミックス信号および前記処理されたパラメータを導出するために、単一の入力ビットストリームを分解するように作動する、請求項２４に記載のオーディオデコーダ（１４０）。
26. 前記入力インターフェース（１９０）は、前記処理された残差信号、前記処理されたダウンミックス信号および前記処理されたパラメータの導出が、前記入力ビットストリームの逆多重化を含むように、前記単一の入力ビットストリームを分解するように作動する、請求項２５に記載のオーディオデコーダ（１４０）。
27. 少なくとも２つのチャンネルを有するオーディオ信号を符号化するための方法であって、前記方法は、
    空間パラメータとして、前記少なくとも２つのチャンネルの第１および第２のチャンネル間のコヒーレンスを表すコヒーレンスパラメータ（ＩＣＣ）と、前記第１および前記第２のチャンネル間のレベル差を表すレベルパラメータ（ＩＩＤ）とを導出する工程、
    制限されたコヒーレンスパラメータを導出するために前記コヒーレンスパラメータを制限する工程であって、前記コヒーレンスパラメータの前記制限は前記レベルパラメータおよびスケーリングファクタに依存する、制限する工程、および
    前記制限されたコヒーレンスパラメータに依存するダウンミキシング規則を用いて前記オーディオ信号からダウンミックス信号および残差信号を導出する工程を含む、方法。
28. 少なくとも２つのチャンネルを有するオリジナルのオーディオ信号を表す符号化されたオーディオ信号を復号化するための方法であって、前記符号化されたオーディオ信号は、ダウンミックス信号および残差信号並びに空間パラメータとして前記少なくとも２つのチャンネルの第１および第２のチャンネル間のコヒーレンスを表すコヒーレンスパラメータ（ＩＣＣ）および前記第１および前記第２のチャンネル間のレベル差を表すレベルパラメータ（ＩＩＤ）を有し、前記方法は、
    制限されたコヒーレンスパラメータを導出するために前記コヒーレンスパラメータを制限する工程であって、前記コヒーレンスパラメータの前記制限は前記レベルパラメータおよびスケーリングファクタに依存する、制限する工程、および
    前記制限されたコヒーレンスパラメータに依存するアップミキシング規則を用いて前記ダウンミックス信号および前記残差信号から前記オリジナルのオーディオ信号の再構成を導出する工程を含む、方法。
29. 少なくとも２つのチャンネルを有するオーディオ信号を符号化するためのオーディオエンコーダ（１０）を有するトランスミッタまたはオーディオレコーダであって、
    空間パラメータとして、前記少なくとも２つのチャンネルの第１および第２のチャンネル間のコヒーレンスを表すコヒーレンスパラメータ（ＩＣＣ）と、前記第１および前記第２のチャンネル間のレベル差を表すレベルパラメータ（ＩＩＤ）とを導出するためのパラメータ抽出器（１６）、
    制限されたコヒーレンスパラメータを導出するために前記コヒーレンスパラメータを制限するためのリミッタ（１４）であって、前記コヒーレンスパラメータの前記制限は前記レベルパラメータ（ＩＩＤ）およびスケーリングファクタに依存する、リミッタ（１４）、および
    前記制限されたコヒーレンスパラメータに依存するダウンミキシング規則を用いて前記オーディオ信号からダウンミックス信号および残差信号を導出するためのダウンミキサ（１２）を含む、トランスミッタまたはオーディオレコーダ。
30. 少なくとも２つのチャンネルを有するオリジナルのオーディオ信号を表す符号化されたオーディオ信号を復号化するためのオーディオデコーダ（１４０）を有する、レシーバまたはオーディオプレーヤであって、前記符号化されたオーディオ信号は、ダウンミックス信号および残差信号並びに空間パラメータとして前記少なくとも２つのチャンネルの第１および第２のチャンネル間のコヒーレンスを表すコヒーレンスパラメータおよび前記第１および前記第２のチャンネル間のレベル差を表すレベルパラメータを有し、前記レシーバまたはオーディオプレーヤは、
    制限されたコヒーレンスパラメータを導出するために前記コヒーレンスパラメータを制限するためのリミッタ（１４４）であって、前記コヒーレンスパラメータの前記制限は前記レベルパラメータおよびスケーリングファクタに依存する、リミッタ（１４４）、および
    前記制限されたコヒーレンスパラメータに依存するアップミキシング規則を用いて前記ダウンミックス信号および前記残差信号から前記オリジナルのオーディオ信号の再構成を導出するためのアップミキサ（１４２）を含む、レシーバまたはオーディオプレーヤ。
31. 送信またはオーディオ記録の方法であって、前記方法は少なくとも２つのチャンネルを有するオーディオ信号を符号化するための方法を有し、前記方法は、
    空間パラメータとして、前記少なくとも２つのチャンネルの第１および第２のチャンネル間のコヒーレンスを表すコヒーレンスパラメータ（ＩＣＣ）と、前記第１および前記第２のチャンネル間のレベル差を表すレベルパラメータ（ＩＩＤ）とを導出する工程、
    制限されたコヒーレンスパラメータを導出するために前記コヒーレンスパラメータ（ＩＣＣ）を制限する工程であって、前記コヒーレンスパラメータの前記制限は前記レベルパラメータおよびスケーリングファクタに依存する、制限する工程、および
    前記制限されたコヒーレンスパラメータに依存するダウンミキシング規則を用いて前記オーディオ信号からダウンミックス信号および残差信号を導出する工程を含む、方法。
32. 受信またはオーディオ再生の方法であって、前記方法は少なくとも２つのチャンネルを有するオリジナルのオーディオ信号を表す符号化されたオーディオ信号を復号化するための方法を有し、前記符号化されたオーディオ信号は、ダウンミックス信号および残差信号並びに空間パラメータとして前記少なくとも２つのチャンネルの第１および第２のチャンネル間のコヒーレンスを表すコヒーレンスパラメータおよび前記第１および前記第２のチャンネル間のレベル差を表すレベルパラメータを有し、前記方法は、
    制限されたコヒーレンスパラメータを導出するために前記コヒーレンスパラメータを制限する工程であって、前記コヒーレンスパラメータの前記制限は前記レベルパラメータおよびスケーリングファクタに依存する、制限する工程、および
    前記制限されたコヒーレンスパラメータに依存するアップミキシング規則を用いて前記ダウンミックス信号および前記残差信号から前記オリジナルのオーディオ信号の再構成を導出する工程を含む、方法。
33. トランスミッタおよびレシーバを有する伝送システムであって、
    前記トランスミッタは、請求項１ないし請求項１４のいずれかに記載のオーディオ信号を符号化するためのオーディオエンコーダ（１０）を含み、
    前記レシーバは、請求項１５ないし請求項２６のいずれかに記載のオーディオデコーダ（１４０）を含む、伝送システム。
34. 送信および受信の方法であって、前記方法は、
    請求項２７に記載のオーディオ信号を符号化するための方法を含む送信方法、および
    請求項２８に記載の符号化されたオーディオ信号を復号化するための方法を含む受信方法を含む、方法。
35. コンピュータ上で作動するときに、方法の請求項２７、請求項２８、請求項３１、請求項３２または請求項３４のいずれかに記載の方法を実行するためのコンピュータプログラム。

Images