JP4547380B2 - 互換性マルチチャンネル符号化／復号化 - Google Patents

Description

本発明は、マルチチャンネル音声信号を処理するための装置および方法に関し、特に、マルチチャンネル音声信号をステレオ互換性があるように処理するための装置および方法に関する。

近年、マルチチャンネル音声再生技術がますます重要になってきている。このことは、周知のｍｐ３手法などの音声圧縮／符号化技術によって、音声記録をインターネットまたは限定された帯域幅を有する他の送信チャンネルを介して配信することが可能になったことによるだろう。ｍｐ３符号化技術は、全記録をステレオ形式、すなわち第１または左ステレオチャンネルと、第２または右ステレオチャンネルとを含む音声記録をデジタル表現で配信することを可能にすることから、非常に有名となった。

それでもなお、従来の２チャンネルサウンドシステムには、基本的な欠点がある。そこで、サラウンド技術が開発されてきた。好ましいマルチチャンネルサラウンド表現には、２つのステレオチャンネルＬおよびＲに加えて、追加の中央チャンネルＣと、２つのサラウンドチャンネルＬｓおよびＲｓとが含まれる。この基準音声フォーマットは、３／２‐ステレオとも称され、３つのフロントチャンネルと、２つのサラウンドチャンネルとを意味する。一般的に、５つの送信チャンネルが必要である。ある再生環境では、５つの適切に設置されたスピーカから所定の距離にある最適なスイートスポットを得るには、５つの互いに異なる場所に少なくとも５つのスピーカが必要である。

当該技術において、マルチチャンネル音声信号の送信のために必要なデータ量を削減するためのいくつかの手法が当該技術において知られている。そのような手法は、ジョイントステレオ技術と呼ばれている。このために、ジョイントステレオ装置６０を示す図１０を参照する。この装置は、例えば、インテンシティステレオ（ＩＳ）またはバイノーラルキュー符号化（ＢＣＣ）を実施する装置であってもよい。そのような装置は、一般的に、―入力として―少なくとも２つのチャンネル（ＣＨ１，ＣＨ２，…ＣＨｎ）を受信し、単一の搬送チャンネルおよびパラメトリックデータを出力する。パラメトリックデータは、復号器において元チャンネル（ＣＨ１，ＣＨ２，…ＣＨｎ）の近似が計算できるように、規定される。

通常、搬送チャンネルは、サブバンドサンプル、スペクトル係数、時間領域サンプルなどを含むことになり、基礎となる信号の比較的細かい表現を提供する。一方、パラメトリックデータは、そのようなスペクトル係数のサンプルは含まないが、乗算による重み付け、時間移動、周波数移動、…などの所定の再構成アルゴリズムを制御するための制御パラメータを含む。したがって、パラメトリックデータは、信号または関連チャンネルの比較的粗い表現のみを含む。数字で言うと、搬送チャンネルによって必要とされるデータ量は、６０〜７０キロビット／秒の範囲であろう。一方、パラメトリック副情報によって必要とされるデータ量は、１チャンネルにつき１．５〜２．５キロビット／秒の範囲であろう。パラメトリックデータの例としては、以下に説明するような、周知の変倍率、インテンシティステレオ情報、またはバイノーラルキューパラメータが挙げられる。

インテンシティステレオ符号化は、オーディオ技術学会未定稿３７９９、「インテンシティステレオ符号化（Ｉｎｔｅｎｓｉｔｙ Ｓｔｅｒｅｏ Ｃｏｄｉｎｇ）」，ジェイ・ヘア（Ｊ．Ｈｅｒｒｅ），ケー・エイチ・ブランデンバーグ（Ｋ．Ｈ．Ｂｒａｎｄｅｎｂｕｒｇ），ディー・レダラー（Ｄ．Ｌｅｄｅｒｅｒ），１９９４年２月、アムステルダム．に記載されている。一般的に、インテンシティステレオの概念は、両方の立体音響音声チャンネルのデータに対して適用される主軸変換に基づく。データ点のほとんどが第１の主軸の周りに集中している場合には、符号化前に両方の信号を所定の角度回転させることによって符号化利得が達成できる。しかしながら、これは実際の立体音響再生技術に常に当てはまるものではない。したがって、この手法は、第２の直交成分をビットストリームにおける送信から除外することによって修正される。よって、左右のチャンネルについての再構成された信号は、同一の送信信号を互いに異なるように重み付けまたは変倍したものからなる。それにもかかわらず、再構成された信号は、互いに振幅は異なるが、位相情報に関しては同一である。しかしながら、両方の元の音声チャンネルのエネルギー‐時間エンベロープは、選択的な変倍動作によって保存され、典型的には、周波数選択のやり方で動作する。このことは、人間の高周波数における音の認識に一致しており、そこでは、支配的な空間キューが、エネルギーエンベロープによって決定される。

さらに、実際の実施において、送信された信号、すなわち搬送チャンネルは、左チャンネルおよび右チャンネルの合計信号から生成され、両方の成分を回転させるのではない。さらに、この処理、すなわち変倍動作を行うためのインテンシティステレオパラメータの生成は、周波数が選択的に、すなわち変倍率帯域毎に独立して、すなわち符号器周波数の分割で行われる。好ましくは、両方のチャンネルは合成されて、合成または「搬送」チャンネルを形成し、合成チャンネルに加えて、第１のチャンネルのエネルギー、第２のチャンネルのエネルギー、または合成またはチャンネルのエネルギーに依存するインテンシティステレオ情報が決定される。

ＢＣＣ手法は、オーディオ技術学会大会論文５５７４、「ステレオおよびマルチチャンネル音声圧縮に適用されるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ ａｐｐｌｉｅｄ ｔｏ ｓｔｅｒｅｏ ａｎｄ ｍｕｌｔｉ−ｃｈａｎｎｅｌ ａｕｄｉｏ ｃｏｍｐｒｅｓｓｉｏｎ）」，シー・フォラー（Ｃ．Ｆａｌｌｅｒ），エフ・バウムガルト（Ｆ．Ｂａｕｍｇａｒｔｅ），２００２年５月、ミュンヘン．に記載されている。ＢＣＣ符号化において、数多くの音声入力チャンネルが、重なったウィンドウでの離散フーリエ変換に基づく変換を使用して、スペクトル表現に変換される。結果生じた一様なスペクトルは、それぞれがインデックスを有する重ならない区画に分割される。各区画は、等価矩形帯域幅（ＥＲＢ）に比例する帯域幅を有する。チャンネル間レベル差（ＩＣＬＤ）およびチャンネル間時間差（ＩＣＴＤ）は、区画毎に、フレームｋ毎に推定される。ＩＣＬＤおよびＩＣＴＤは、量子化および符号化されて、ＢＣＣビットストリームとなる。チャンネル間レベル差およびチャンネル間時間差は、チャンネル毎に、基準チャンネルを基準として与えられる。その後、パラメータが所定の方式に従って計算され、これは、処理されるべき信号の所定の区画に依存する。

復号器側では、復号器は、モノラル信号と、ＢＣＣビットストリームとを受信する。モノラル信号は、周波数領域に変換され、空間合成ブロックに入力され、空間合成ブロックは、復号化されたＩＣＬＤ値およびＩＣＴＤ値も受信する。空間合成ブロックにおいて、マルチチャンネル信号を合成するために、ＢＣＣパラメータ（ＩＣＬＤおよびＩＣＴＤ）値を使用してモノラル信号の重み付け動作が行われ、マルチチャンネル信号は、周波数／時間変換の後、元のマルチチャンネル音声信号の再構成を表す。

ＢＣＣの場合は、ジョイントステレオモジュール６０は、パラメトリックチャンネルデータが量子化および符号化されたＩＣＬＤまたはＩＣＴＤパラメータであるように、チャンネル副情報を出力するように動作し、元チャンネルのうちの１つが、チャンネル副情報を符号化するための基準チャンネルとして使用される。

通常、搬送チャンネルは、関与する元チャンネルの合計から形成される。

当然ながら、上述の手法は、復号器に対してモノラル表現を提供するだけであり、復号器は、搬送チャンネルを処理できるだけで、１つより多い数の入力チャンネルの１つ以上の近似を生成するためのパラメトリックデータを処理することはできない。

５つのチャンネルを互換性があるように、すなわち通常のステレオ復号器も理解可能なビットストリーム形式で送信するためには、「ＭＵＳＩＣＡＭサラウンド：ＩＳＯ１１１７２−３準拠のユニバーサルマルチチャンネル符号化システム（ＭＵＳＩＣＡＭ：ｓｕｒｒｏｕｎｄ：ａ ｕｎｉｖｅｒｓａｌ ｍｕｌｔｉ−ｃｈａｎｎｅｌ ｃｏｄｉｎｇ ｓｙｓｔｅｍ ｃｏｍｐａｔｉｂｌｅ ｗｉｔｈ ＩＳＯ１１１７２−３）」，ジー・シアイル（Ｇ．Ｔｈｅｉｌｅ）およびジー・ストール（Ｇ．Ｓｔｏｌｌ），オーディオ技術学会未定稿３４０３、１９９２年１０月、サンフランシスコ．に記載されているような、いわゆるマトリクス化の手法が使用されてきた。５つの入力チャンネルＬ，Ｒ，Ｃ，Ｌｓ，およびＲｓは、マトリックス化装置に与えられ、マトリックス化装置は、マトリックス化動作を行って、５つの入力チャンネルから基本または互換ステレオチャンネルＬｏおよびＲｏを計算する。特に、これらの基本のステレオチャンネルＬｏ／Ｒｏは、以下のように計算される。
Ｌｏ＝Ｌ＋ｘＣ＋ｙＬｓ
Ｒｏ＝Ｒ＋ｘＣ＋ｙＲｓ
ｘおよびｙは、定数である。他の３つのチャンネルＣ，Ｌｓ，およびＲｓは、基本ステレオ層に加えて、拡張層にそのまま送信され、基本ステレオ層には、基本ステレオ信号Ｌｏ／Ｒｏを符号化したものが含まれる。ビットストリームに関して、このＬｏ／Ｒｏ基本ステレオ層には、ヘッダと、変倍率およびサブバンドサンプルなどの情報とが含まれる。マルチチャンネル拡張層、すなわち中央チャンネルおよび２つのサラウンドチャンネルは、マルチチャンネル拡張フィールドに含まれ、これは補助データフィールドとも呼ばれる。

復号器側において、基本ステレオチャンネルＬｏおよびＲｏならびに３つの追加のチャンネルを使用した５つのチャンネル表現での左右チャンネルの再構成を形成するために、逆マトリックス化動作が行われる。さらに、復号化された５つのチャンネルまたは元のマルチチャンネル音声信号のサラウンド表現を得るために、３つの追加のチャンネルは、補助情報から復号化される。

マルチチャンネル符号化のための他の取り組みについては、「改良ＭＰＥＧ‐２音声マルチチャンネル符号化（Ｉｍｐｒｏｖｅｄ ＭＰＥＧ−２ ａｕｄｉｏ ｍｕｌｔｉ−ｃｈａｎｎｅｌ ｅｎｃｏｄｉｎｇ）」，ビー・グリル（Ｂ．Ｇｒｉｌｌ），ジェイ・ヘア（Ｊ．Ｈｅｒｒｅ），ケー・エイチ・ブランデンバーグ（Ｋ．Ｈ．Ｂｒａｎｄｅｎｂｕｒｇ），イー・エバリン（Ｅ．Ｅｂｅｒｌｅｉｎ），ジェイ・コラー（Ｊ．Ｋｏｌｌｅｒ），ジェイ・ミュラー（Ｊ．Ｍｕｅｌｌｅｒ），オーディオ技術学会未定稿３８６５、１９９４年２月、アムステルダム．という刊行物に記載されており、後方互換性を得るために、後方互換モードが考慮されている。このために、互換マトリックスを使用して、２つのいわゆるダウンミックスチャンネルＬｃおよびＲｃが元の５つの入力チャンネルから得られる。さらに、補助データとして送信される３つの補助チャンネルを動的に選択することが可能である。

ステレオの不適切性を活用するために、チャンネル群、例えば左チャンネル、右チャンネル、および中央チャンネルについての３つのフロントチャンネルにジョイントステレオ手法が適用される。このために、これら３つのチャンネルは合成されて、合成チャンネルを得る。この合成チャンネルは量子化されて、ビットストリームに詰め込まれる。その後、この合成チャンネルは、対応ジョイントステレオ情報と共にジョイントステレオ復号化モジュールに入力されて、ジョイントステレオ復号化済みチャンネル、すなわちジョイントステレオ復号化済み左チャンネル、ジョイントステレオ復号化済み右チャンネル、およびジョイントステレオ復号化済み中央チャンネルを得る。これらのジョイントステレオ復号化済みチャンネルは、左サラウンドチャンネルおよび右サラウンドチャンネルと共に互換マトリックスブロックに入力されて、第１および第２のダウンミックスチャンネルＬｃおよびＲｃを形成する。その後、両ダウンミックスチャンネルを量子化したものと、合成チャンネルを量子化したものとが、ジョイントステレオ符号化パラメータと共にビットストリームに詰め込まれる。

したがって、インテンシティステレオ符号化を使用して、独立した元チャンネル信号の群は、「搬送」データの単一の部分内で送信される。その後、復号器は、当該信号を同一のデータとして再構成して、その元のエネルギー‐時間エンベロープに従って再変倍する。その結果、送信チャンネルの線形合成は、元のダウンミックスとは非常に異なる結果となる。これは、インテンシティステレオの概念に基づくあらゆる種類のジョイントステレオ符号化に当てはまる。互換ダウンミックスチャンネルを提供する符号化システムにとっては、上述の刊行物に記載されたようなデマトリックス化による再構成は、不完全な再構成によって生じるアーティファクトの影響を受けるという、直接的な結果がある。この問題は、符号器においてマトリックス化の前に左、右、および中央チャンネルのジョイントステレオ符号化が行われるという、いわゆるジョイントステレオプリディストーション手法を使用すると緩和される。このように、再構成のためのデマトリックス化手法では、符号器側において、ダウンミックスチャンネルを生成するためにジョイントステレオ復号化済み信号を使用していたので、アーティファクトはほとんど生じない。よって、不完全な再構成処理は、互換ダウンミックスチャンネルＬｃおよびＲｃにシフトして、音声信号自体によって隠される可能性がはるかに高い。

そのようなシステムは、復号器側でのデマトリックス化を行うのでアーティファクトが少なくなるが、それでも欠点はある。欠点の１つは、ステレオ互換ダウンミックスチャンネルＬｃおよびＲｃは、元チャンネルからではなく、元チャンネルをインテンシティステレオ符号化／復号化したものから導出されたものであるということである。したがって、インテンシティステレオ符号化システムが原因のデータ損失が、互換ダウンミックスチャンネルに含まれる。したがって、拡張インテンシティステレオ符号化されたチャンネルではなく互換チャンネルのみを復号化するステレオ専用復号器が提供する出力信号は、インテンシティステレオが引き起こしたデータ損失によって影響を受ける。

さらに、２つのダウンミックスチャンネルの他に、完全に追加のチャンネルを送信しなければならない。このチャンネルは、合成チャンネルであり、左チャンネル、右チャンネル、および中央チャンネルのジョイントステレオ符号化によって形成される。さらに、合成チャンネルから元チャンネルＬ，Ｒ，およびＣを再構成するためのインテンシティステレオ情報を復号器に送信しなければならない。復号器において、逆マトリックス化、すなわちデマトリックス化動作が行われて、２つのダウンミックスチャンネルからサラウンドチャンネルが導出される。さらに、元の左、右、および中央チャンネルは、送信された合成チャンネルと、送信されたジョイントステレオパラメータとを使用するジョイントステレオ復号化によって近似される。注意すべきなのは、元の左、右、および中央チャンネルは、合成チャンネルのジョイントステレオ復号化から導出されることである。

オーディオ技術学会未定稿３７９９、「インテンシティステレオ符号化（Ｉｎｔｅｎｓｉｔｙ Ｓｔｅｒｅｏ Ｃｏｄｉｎｇ）」，ジェイ・ヘア（Ｊ．Ｈｅｒｒｅ），ケー・エイチ・ブランデンバーグ（Ｋ．Ｈ．Ｂｒａｎｄｅｎｂｕｒｇ），ディー・レダラー（Ｄ．Ｌｅｄｅｒｅｒ），１９９４年２月、アムステルダム． オーディオ技術学会大会論文５５７４、「ステレオおよびマルチチャンネル音声圧縮に適用されるバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ ａｐｐｌｉｅｄ ｔｏ ｓｔｅｒｅｏ ａｎｄ ｍｕｌｔｉ−ｃｈａｎｎｅｌ ａｕｄｉｏ ｃｏｍｐｒｅｓｓｉｏｎ）」，シー・フォラー（Ｃ．Ｆａｌｌｅｒ），エフ・バウムガルト（Ｆ．Ｂａｕｍｇａｒｔｅ），２００２年５月、ミュンヘン． 「ＭＵＳＩＣＡＭサラウンド：ＩＳＯ１１１７２−３準拠のユニバーサルマルチチャンネル符号化システム（ＭＵＳＩＣＡＭ：ｓｕｒｒｏｕｎｄ：ａ ｕｎｉｖｅｒｓａｌ ｍｕｌｔｉ−ｃｈａｎｎｅｌ ｃｏｄｉｎｇ ｓｙｓｔｅｍ ｃｏｍｐａｔｉｂｌｅ ｗｉｔｈ ＩＳＯ１１１７２−３）」，ジー・シアイル（Ｇ．Ｔｈｅｉｌｅ）およびジー・ストール（Ｇ．Ｓｔｏｌｌ），オーディオ技術学会未定稿３４０３、１９９２年１０月、サンフランシスコ． 「改良ＭＰＥＧ‐２音声マルチチャンネル符号化（Ｉｍｐｒｏｖｅｄ ＭＰＥＧ−２ ａｕｄｉｏ ｍｕｌｔｉ−ｃｈａｎｎｅｌ ｅｎｃｏｄｉｎｇ）」，ビー・グリル（Ｂ．Ｇｒｉｌｌ），ジェイ・ヘア（Ｊ．Ｈｅｒｒｅ），ケー・エイチ・ブランデンバーグ（Ｋ．Ｈ．Ｂｒａｎｄｅｎｂｕｒｇ），イー・エバリン（Ｅ．Ｅｂｅｒｌｅｉｎ），ジェイ・コラー（Ｊ．Ｋｏｌｌｅｒ），ジェイ・ミュラー（Ｊ．Ｍｕｅｌｌｅｒ），オーディオ技術学会未定稿３８６５、１９９４年２月、アムステルダム．

本発明の目的は、マルチチャンネル音声信号の、ビット効率が高くアーティファクトが軽減された処理または逆処理のための概念を提供することである。

本発明の第１の局面によれば、この目的は、マルチチャンネル音声信号を処理するための装置によって達成され、マルチチャンネル音声信号は、少なくとも３つの元チャンネルを有し、装置は、元チャンネルから導出される第１のダウンミックスチャンネルおよび第２のダウンミックスチャンネルを提供するための手段と、元信号のうちから選択された元チャンネルについてのチャンネル副情報を計算するための手段であって、ダウンミックスチャンネル、または第１および第２のダウンミックスチャンネルを含む合成ダウンミックスチャンネルが、チャンネル副情報を使用して重み付けされる場合に、選択された元チャンネルの近似となるように、チャンネル副情報を計算するように動作可能な手段と、チャンネル副情報、第１のダウンミックスチャンネル、または第１のダウンミックスチャンネルおよび第２のダウンミックスチャンネルから導出された信号、または第２のダウンミックスチャンネルから導出された信号を含む出力データを生成するための手段とを備える。

本発明の第２の局面によれば、この目的は、マルチチャンネル音声信号を処理する方法によって達成され、マルチチャンネル音声信号は、少なくとも３つの元チャンネルを有し、方法は、元チャンネルから導出される第１のダウンミックスチャンネルおよび第２のダウンミックスチャンネルを提供する工程と、元信号のうちから選択された元チャンネルについてのチャンネル副情報の計算を、ダウンミックスチャンネル、または第１および第２のダウンミックスチャンネルを含む合成ダウンミックスチャンネルが、チャンネル副情報を使用して重み付けされる場合に、選択された元チャンネルの近似となるように行う工程と、チャンネル副情報、第１のダウンミックスチャンネル、または第１のダウンミックスチャンネルおよび第２のダウンミックスチャンネルから導出された信号、または第２のダウンミックスチャンネルから導出された信号を含む出力データを生成する工程とを含む。

本発明の第３の局面によれば、この目的は、入力データの逆処理のための装置によって達成され、入力データは、チャンネル副情報、第１のダウンミックスチャンネルまたは第１のダウンミックスチャンネルおよび第２のダウンミックスチャンネルから導出された信号、または第２のダウンミックスチャンネルから導出された信号を含み、第１のダウンミックスチャンネルおよび第２のダウンミックスチャンネルは、マルチチャンネル音声信号の少なくとも３つの元チャンネルから導出され、チャンネル副情報は、ダウンミックスチャンネル、または第１のダウンミックスチャンネルおよび第２のダウンミックスチャンネルを含む合成ダウンミックスチャンネルが、チャンネル副情報を使用して重み付けされる場合に、選択された元チャンネルの近似となるように計算され、装置は、入力データを読み出して、第１のダウンミックスチャンネル、または第１のダウンミックスチャンネルおよび第２のダウンミックスチャンネルから導出された信号、または第２のダウンミックスチャンネルおよびチャンネル副情報から導出された信号を得るための入力データ読出器と、チャンネル副情報およびダウンミックスチャンネルまたは合成ダウンミックスチャンネルを使用して、選択された元チャンネルの近似を得るように、選択された元チャンネルの近似を再構成するためのチャンネル再構成器とを備える。

本発明の第４の局面によれば、この目的は、入力データの逆処理の方法によって達成され、入力データは、チャンネル副情報、第１のダウンミックスチャンネル、または第１のダウンミックスチャンネルおよび第２のダウンミックスチャンネルから導出された信号、または第２のダウンミックスチャンネルから導出された信号を含み、第１のダウンミックスチャンネルおよび第２のダウンミックスチャンネルは、マルチチャンネル音声信号の少なくとも３つの元チャンネルから導出され、チャンネル副情報は、ダウンミックスチャンネル、または第１のダウンミックスチャンネルおよび第２のダウンミックスチャンネルを含む合成ダウンミックスチャンネルが、チャンネル副情報を使用して重み付けされる場合に、選択された元チャンネルの近似となるように計算され、方法は、入力データを読み出して、第１のダウンミックスチャンネル、または第１のダウンミックスチャンネルおよび第２のダウンミックスチャンネルから導出された信号、または第２のダウンミックスチャンネルおよびチャンネル副情報から導出された信号とを得る工程と、チャンネル副情報およびダウンミックスチャンネルまたは合成ダウンミックスチャンネルを使用して、選択された元チャンネルの近似を得るように、選択された元チャンネルの近似を再構成する工程とを含む。

本発明の第５および第６の局面によれば、この目的は、上記処理の方法または上記逆処理の方法を含むコンピュータプログラムによって達成される。

本発明は、効率的でアーティファクトが軽減されたマルチチャンネル音声信号符号化が得られるのは、左右ステレオチャンネルを好ましくは表す２つのダウンミックスチャンネルが出力データに詰め込まれた場合であるという知見に基づく。

進歩的なことには、元信号の１つ以上についてのパラメトリックチャンネル副情報は、先行技術のように、追加の「合成」ジョイントステレオチャンネルにではなく、ダウンミックスチャンネルのうちの１つに関連するように導出される。これは、パラメトリックチャンネル副情報の計算は、復号器側において、チャンネル再構成器が、チャンネル副情報と、ダウンミックスチャンネルのうちの１つまたはダウンミックスチャンネルを合成したものとを使用して、チャンネル副信号が割り当てられる元の音声チャンネルの近似を再構成するように行われることを意味する。

この進歩的な概念は、マルチチャンネル音声信号が復号器において再生できるように、ビット効率の高いマルチチャンネル拡張を提供するという点で利点がある。

さらに、この進歩的な概念は、後方互換可能である。なぜならば、２チャンネル処理にのみ採用される低段階の復号器は、拡張情報、すなわちチャンネル副情報を単に無視することができるからである。低段階の復号器は、２つのダウンミックスチャンネルのみを再生して、元のマルチチャンネル音声信号のステレオ表現を得る。しかしながら、マルチチャンネル動作の可能な高段階の復号器は、送信されたチャンネル副情報を使用して、元チャンネルの近似を再構成することができる。

本発明は、先行技術とは対照的に、第１および第２のダウンミックスチャンネルＬｃおよびＲｃ以外に追加の搬送チャンネルが必要ないので、ビット効率がよいという点で利点がある。代わりに、チャンネル副情報は、１つまたは両方のダウンミックスチャンネルに関連付けられている。これは、ダウンミックスチャンネル自体が、搬送チャンネルとしての役割を果たすことを意味し、チャンネル副情報がこのチャンネルに合成されて、元の音声信号を再構成する。これは、チャンネル副情報は、好ましくはパラメトリック副情報、すなわちサブバンドまたはスペクトル係数のいずれも含まない情報であることを意味する。代わりに、パラメトリック副情報は、各ダウンミックスチャンネルまたは各ダウンミックスチャンネルを合成したものを（時間および／または周波数において）重み付けして、選択された元チャンネルを再構成したものを得るために使用される情報である。

本発明の好ましい一実施形態において、互換ステレオ信号に基づくマルチチャンネル信号の後方互換符号化が得られる。好ましくは、互換ステレオ信号（ダウンミックス信号）は、マルチチャンネル音声信号の元チャンネルをマトリックス化することを使用して生成される。

進歩的なことには、選択された元チャンネルについてのチャンネル副情報は、インテンシティステレオ符号化またはバイノーラルキュー符号化などのジョイントステレオ技術に基づいて得られる。よって、復号器側において、デマトリックス化動作を行う必要はない。デマトリックス化に関連する問題、すなわちデマトリックス化動作における量子化ノイズの望ましくない分布に関する所定のアーティファクトが回避される。これは、復号器が、ダウンミックスチャンネルのうちの１つか、またはダウンミックスチャンネルおよび送信されたチャンネル副情報を合成したものを使用することによって、元信号を再構成するチャンネル再構成器を使用することによる。

好ましくは、この進歩的な概念は、５つのチャンネルを有するマルチチャンネル音声信号に適用される。これらの５つのチャンネルは、左チャンネルＬ、右チャンネルＲ，中央チャンネルＣ、左サラウンドチャンネルＬｓ、および右サラウンドチャンネルＲｓである。好ましくは、ダウンミックスチャンネルは、ステレオ互換ダウンミックスチャンネルＬｓおよびＲｓであり、元のマルチチャンネル音声信号のステレオ表現を提供する。

本発明の好ましい実施形態によれば、元チャンネル毎に、チャンネル副情報が符号器側で計算されて、出力データに詰め込まれる。元の左チャンネルについてのチャンネル副情報は、左ダウンミックスチャンネルを使用して導出される。元の左サラウンドチャンネルについてのチャンネル副情報は、左ダウンミックスチャンネルを使用して導出される。元の右チャンネルについてのチャンネル副情報は、右ダウンミックスチャンネルを使用して導出される。元の右サラウンドチャンネルについてのチャンネル副情報は、右ダウンミックスチャンネルを使用して導出される。

本発明の好ましい実施形態によれば、元の中央チャンネルについてのチャンネル情報は、第１のダウンミックスチャンネルと、第２のダウンミックスチャンネルとを使用して、すなわち２つのダウンミックスチャンネルを合成したものを使用して導出される。好ましくは、この合成物は、加算物である。

よって、グループ化、すなわちチャンネル副情報と搬送信号、すなわち選択された元チャンネルについてのチャンネル副情報を提供するための使用ダウンミックスチャンネルとの間の関係においては、最適品質のために、あるダウンミックスチャンネルが選択される。このダウンミックスチャンネルは、チャンネル副情報によって表わされる元のマルチチャンネル信号それぞれの最大限の相対量を含む。このようなジョイントステレオ搬送信号として、第１および第２のダウンミックスチャンネルが使用される。好ましくは、第１および第２のダウンミックスチャンネルの合計も使用することができる。当然ながら、第１および第２のダウンミックスチャンネルの合計は、各元チャンネルについてのチャンネル副情報を計算するために使用することができる。しかしながら、好ましくは、ダウンミックスチャンネルの合計は、５チャンネルサラウンド、７チャンネルサラウンド、５．１サラウンド、または７．１サラウンドのようなサラウンド環境における元の中央チャンネルのチャンネル副情報を計算するために使用される。第１および第２のダウンミックスチャンネルの合計を使用することは、特に利点である。なぜならば、追加の送信オーバヘッドを行う必要がないからである。これは、復号器において任意の追加の送信ビットを必要とせずにこれらのダウンミックスチャンネルを容易に合計することができるように、ダウンミックスチャンネルの両方が、復号器に存在するからである。

好ましくは、マルチチャンネル拡張を形成するチャンネル副情報は、低段階の復号器がマルチチャンネル拡張を無視して、マルチチャンネル音声信号のステレオ表現のみを与えるような互換性のあるやり方で、出力データビットストリームに入力される。それにもかかわらず、高段階の符号器は、２つのダウンミックスチャンネルを使用するだけでなく、それに加えて、チャンネル副情報を用いて元の音声信号の完全なマルチチャンネル表現を再構成する。

進歩的な復号器は、最初に、両ダウンミックスチャンネルを復号化して、選択された元チャンネルについてのチャンネル副情報を読み出すように動作する。その後、チャンネル副情報およびダウンミックスチャンネルを使用して、元チャンネルの近似を再構成する。このために、好ましくは、デマトリックス化動作は全く行われない。これは、本実施形態において、例えば５つの元の入力チャンネルのそれぞれを、例えば５つの組の互いに異なるチャンネル副情報を使用して再構成することを意味する。復号器において、再構成されたチャンネル近似を計算するために、符号器におけるのと同一のグループ化が行われる。これは、５チャンネルサラウンド環境において、元の左チャンネルを再構成するために、左ダウンミックスチャンネルと、左チャンネルについてのチャンネル副情報とが使用されることを意味する。元の右チャンネルを再構成するためには、右ダウンミックスチャンネルと、右チャンネルについてのチャンネル副情報とが使用される。元の左サラウンドチャンネルを再構成するためには、左ダウンミックスチャンネルと、左サラウンドチャンネルについてのチャンネル副情報とが使用される。元の右サラウンドチャンネルを再構成するためには、右サラウンドチャンネルについてのチャンネル副情報と、右ダウンミックスチャンネルとが使用される。元の中央チャンネルを再構成するためには、第１のダウンミックスチャンネルおよび第２のダウンミックスチャンネルから形成された合成チャンネルと、中央チャンネル副情報とが使用される。

当然ながら、（例えば５つのうちの）３つの組のチャンネル副情報パラメータだけを送信すればよいように、第１および第２のダウンミックスチャンネルを左右チャンネルとして再生することも可能である。しかしながら、これは、品質に関して規則があまり厳格でない場合にのみ推奨できる。これは、通常、左ダウンミックスチャンネルと右ダウンミックスチャンネルとは元の左チャンネルまたは元の右チャンネルとは異なるからである。そのような処理は、元チャンネルそれぞれについてのチャンネル副情報を送信するだけの余裕がない場合にのみ、利点がある。

本発明の好ましい実施形態を、添付の図面を参照して以下に説明する。

図１は、Ｒ，Ｌ，およびＣなどの少なくとも３つの元チャンネルを有するマルチチャンネル音声信号１０を処理するための装置を示す。好ましくは、元の音声信号は、図１に示すサラウンド環境における５つのチャンネルなどの３つより多い数のチャンネルを有する。５つのチャンネルは、左チャンネルＬ，右チャンネルＲ，中央チャンネルＣ，左サラウンドチャンネルＬｓ，および右サラウンドチャンネルＲｓである。進歩的な装置は、元チャンネルから導出された第１のダウンミックスチャンネルＬｃおよび第２のダウンミックスチャンネルＲｃを提供するための手段１２を含む。元信号からダウンミックスチャンネルを導出するためには、いくつかの可能性がある。１つの可能性は、図６に示すようなマトリックス化動作を使用して元チャンネルをマトリックス化することによってダウンミックスチャンネルＬｃおよびＲｃを導出することである。このマトリックス化動作は、時間領域において行われる。

マトリックス化パラメータａ，ｂ，およびｔは、１以下となるように選択される。好ましくは、ａおよびｂは、０．７または０．５である。総合重み付けパラメータｔは、好ましくは、チャンネルクリッピングが回避されるように選ばれる。代わりに、図１に示すように、ダウンミックスチャンネルＬｃおよびＲｃは、外部的に与えられてもよい。これは、ダウンミックスチャンネルＬｃおよびＲｃが「ハンドミキシング」動作の結果である場合に行われてもよい。この場合には、サウンドエンジニアが、自動マトリックス化動作を使用するのではなく、自身でダウンミックスチャンネルをミキシングする。サウンドエンジニアは、創造的なミキシングを行って、元のマルチチャンネル音声信号のできるだけ良好なステレオ表現を与える最適化されたダウンミックスチャンネルＬｃおよびＲｃを得る。

ダウンミックスチャンネルが外部から与えられる場合には、提供するための手段は、マトリックス化動作を行わずに、外部から与えられたダウンミックスチャンネルを後続の計算手段１４に単に転送する。

計算手段１４は、Ｌ，Ｌｓ，Ｒ，またはＲｓのような選択された元チャンネルについてのｌ_i，ｌｓ_i，ｒ_i，またはｒｓ_iのようなチャンネル副情報をそれぞれ計算するように動作する。特に、計算するための手段１４は、ダウンミックスチャンネルがチャンネル副情報を使用して重み付けされる場合に、選択された元チャンネルの近似を生じさせるように、チャンネル副情報を計算するように動作する。

その代わりにまたはそれに加えて、チャンネル副情報を計算するための手段は、第１および第２のダウンミックスチャンネルを合成したものを含む合成ダウンミックスチャンネルが、チャンネル副情報を使用して重み付けされる場合に、選択された元チャンネルの近似を生じさせるように、選択された元チャンネルについてのチャンネル副情報を計算するようにさらに動作する。図においてこの特徴を示すために、加算器１４ａと、合成チャンネル副情報計算器１４ｂとが示されている。

これらの要素が別個の要素として実施される必要がないことは、当業者にとって明白である。代わりに、ブロック１４，１４ａ，および１４ｂの機能全体を、汎用プロセッサまたは必要な機能を行うための任意の他の手段のような所定のプロセッサによって実施することができる。

さらに、ここで注意すべきなのは、サブバンドサンプルまたは周波数領域値であるチャンネル信号は、大文字で示されているということである。チャンネル副情報は、チャンネル自体とは対照的に、小文字で示されている。したがって、チャンネル副情報ｃ_iは、元の中央チャンネルＣについてのチャンネル副情報である。

チャンネル副情報、ならびにダウンミックスチャンネルＬｃおよびＲｃまたは音声符号器１６によって生成されるような符号化されたＬｃ’およびＲｃ’は、出力データフォーマッタ１８に入力される。一般的には、出力データフォーマッタ１８は、少なくとも１つの元チャンネルについてのチャンネル副情報を含む出力データと、第１のダウンミックスチャンネルまたは第１のダウンミックスチャンネルから導出された信号（符号化されたものなど）と、第２のダウンミックスチャンネルまたは第２のダウンミックスチャンネルから導出された信号（符号化されたものなど）とを生成するための手段としての役割を果たす。

出力データまたは出力ビットストリーム２０は、ビットストリーム復号器へ送信されるか、もしくは、記憶または配信されることができる。好ましくは、出力ビットストリーム２０は、マルチチャンネル拡張機能を有していない低段階の復号器によっても読み出し可能な互換ビットストリームである。現時点における既存の標準的なｍｐ３復号器などのそのような低段階の符号器は、単にマルチチャンネル拡張データ、すなわちチャンネル副情報を無視することになる。これらは、第１および第２のダウンミックスチャンネルを単に復号化して、ステレオ出力を生成することになる。マルチチャンネルが使用可能な復号器などの高段階の復号器は、チャンネル副情報を読み出して、その後、マルチチャンネル音声の印象が得られるように、元の音声チャンネルの近似を生成することになる。

図８は、５チャンネルサラウンド／ｍｐ３の環境における本発明の好ましい一実施形態を示す。ここで、「ｍｐ３サラウンド」ビットストリームが得られるように、標準化されたｍｐ３ビットストリーム構文における補助データフィールドにサラウンド拡張データを書き込むことが好ましい。

図２は、入力データポート２２において受信された入力データを逆処理するための装置としての役割を果たす進歩的な復号器の図を示す。入力データポート２２において受信されたデータは、図１における出力データポート２０における出力と同一のデータである。代わりに、有線チャンネルではなく無線チャンネルを介してデータを送信する場合には、データ入力ポート２２において受信されるデータは、符号器によって生じた元データから導出されるデータである。

復号器入力データは、入力データを読み出すためのデータストリーム読出器２４に入力されて、最終的にチャンネル副情報２６と、左ダウンミックスチャンネル２８と、右ダウンミックスチャンネル３０とを得る。入力データがダウンミックスチャンネルを符号化したものを含む場合には、図１における音声符号器１６が存在する場合に対応し、データストリーム読出器２４は、音声復号器も含み、音声復号器は、ダウンミックスチャンネルを符号化するために使用される音声符号器に適合している。この場合に、データストリーム読出器２４の一部である音声復号器は、第１のダウンミックスチャンネルＬｃおよび第２のダウンミックスチャンネルＲｃ、より正確に言えば、これらのチャンネルを復号化したものを生成するように動作する。説明を容易にするために、信号と、その復号化したものとの区別は、明示的に述べる場合にのみ行う。

データストリーム読出器２４によって出力されたチャンネル副情報２６、ならびに左右ダウンミックスチャンネル２８および３０は、元の音声信号を再構成したもの３４を提供するためのマルチチャンネル再構成器３２へ与えられ、マルチチャンネル再生器３６によって再生される。マルチチャンネル再構成器が周波数領域で動作する場合には、マルチチャンネル再生器３６は、周波数領域の入力データを受信することになり、周波数領域の入力データは、再生される前に時間領域へ変換されるなどの何らかのやり方で復号化されなければならない。このために、マルチチャンネル再生器３６は、復号化の機構を含んでもよい。

低段階の復号器は、左右ダウンミックスチャンネル２８および３０をステレオ出力３８に出力するだけのデータストリーム読出器２４のみを有することになる。しかしながら、一層進歩的な復号器は、チャンネル副情報２６を抽出して、これら副情報およびダウンミックスチャンネル２８および３０を使用して、元チャンネルを再構成したもの３４をマルチチャンネル再構成器３２を使用して再構成する。

図３Ａは、チャンネル副情報を計算するための進歩的な計算器１４の一実施形態を示す。一方で音声符号器および他方でチャンネル副情報計算器は、マルチチャンネル信号の同一のスペクトル表現に対して動作する。しかしながら、図１は、他の代替案を示し、そこにおいて、一方で音声符号器および他方でチャンネル副情報計算器は、マルチチャンネル信号の互いに異なるスペクトル表現に対して動作する。リソースを計算することが音声品質ほど重要ではない場合には、図１の代替案が好ましい。なぜならば、音声符号化および副情報計算について個別に最適化されたフィルタバンクを使用できるからである。しかしながら、リソースを計算することが重要である場合には、図３Ａの代替案が好ましい。なぜならば、この代替案は、要素を共用するので、必要な計算能が少ないからである。

図３Ａに示す装置は、２つのチャンネルＡおよびＢを受信するために動作する。図３Ａに示す装置は、選択された元チャンネルＢについてのこのチャンネル副情報を使用して、チャンネルＢを再構成したものをチャンネル信号Ａから計算できるように、チャンネルＢについての副情報を計算するように動作する。さらに、図３Ａに示す装置は、（例えば、ＢＣＣ符号化においてのように乗算または時間処理を行うことによって）スペクトル値またはサブバンドサンプルを重み付けするためのパラメータなどの周波数領域のチャンネル副情報を形成するように動作する。このために、進歩的な計算器は、出力１４０ｂにおけるチャンネルＡの周波数表現、または出力１４０ｃにおいてチャンネルＢの周波数領域表現を得るために、ウィンドウ化および時間／周波数変換手段１４０ａを含む。

好ましい実施形態において、（副情報決定手段１４０ｆによる）副情報決定が、量子化されたスペクトル値を使用して行われる。その後、量子化器１４０ｄは、音響心理学モデル制御入力１４０ｅを有する音響心理学モデルを使用して制御される。それにもかかわらず、副情報決定手段１４０ｃが、チャンネルＢについてのチャンネル副情報を決定するためにチャンネルＡについての量子化されていない表現を使用する場合には、チャンネル量子化器は必要ない。

チャンネルＢについてのチャンネル副情報が、チャンネルＡの周波数領域表現と、チャンネルＢの周波数領域表現とによって計算される場合には、ウィンドウ化および時間／周波数変換手段１４０ａは、フィルタバンクを基本とした音声符号器において使用されるのと同一でありうる。この場合、ＡＡＣ（ＩＳＯ／ＩＥＣ１３８１８１‐３）を考慮すると、手段１４０ａは、５０％の重複加算機能を有するＭＤＣＴフィルタバンク（ＭＤＣＴ＝変形離散コサイン変換）として実施される。

そのような場合には、量子化器１４０ｄは、ｍｐ３またはＡＡＣ符号化された音声信号が生成される場合に使用されるような反復量子化器である。好ましくは既に量子化されているチャンネルＡの周波数領域表現は、その後、エントロピー符号器１４０ｇを使用したエントロピー符号化のために直接使用される。エントロピー符号器１４０ｇは、ハフマンを基本とした符号器または算術符号化を実施するエントロピー符号器であってもよい。

図１と比較すると、図３Ａの装置の出力は、１つの元チャンネルについてのｌ_iのような副情報である（装置１４０ｆの出力におけるＢについての副情報に対応）。チャンネルＡについてのエントロピー符号化されたビットストリームは、例えば図１のブロック１６の出力における符号化された左ダウンミックスチャンネルＬｃ’に対応する。図３Ａから明らかになるのは、要素１４（図１）、すなわちチャンネル副情報を計算するための計算器および音声符号器１６は（図１）、別個の手段として実施されてもよいか、または、両方の装置がＭＤＣＴフィルタバンク１４０ａ、量子化器１４０ｅ、およびエントロピー符号器１４０ｇなどのいくつかの要素を共有するように、共有型として実施されてもよい。当然ながら、チャンネル副情報を決定するために異なる変換が必要な場合には、符号器１６および計算器１４（図１）は、両方の要素がフィルタバンク等を共有しないような互いに異なる装置で実施されることになる。

一般的には、副情報を計算するための実際の決定器（または一般的に言う計算器１４）は、図３Ｂに示すようなジョイントステレオモジュールとして実施されてもよく、インテンシティステレオ符号化またはバイノーラルキュー符号化のような任意のジョイントステレオ手法に従って動作する。

そのような先行技術のインテンシティステレオ符号器とは対照的に、進歩的な決定手段１４０ｆは、合成チャンネルを計算する必要がない。「合成チャンネル」または搬送チャンネルともいえるが、これは既に存在し、左互換ダウンミックスチャンネルＬｃまたは右互換ダウンミックスチャンネルＲｃまたはこれらダウンミックスチャンネルを合成したものＬｃ＋Ｒｃである。したがって、ダウンミックスチャンネルが変倍情報、またはインテンシティ指向性情報とも言えるものを使用してダウンミックスチャンネルを重み付けする場合には、進歩的な装置１４０ｆは、各選択された元チャンネルのエネルギー／時間エンベロープが得られるように、各ダウンミックスチャンネルを変倍するための変倍情報を計算すればよい。

図３Ｂのジョイントステレオモジュール１４０ｆは、入力として、第１または第２のダウンミックスチャンネルもしくはダウンミックスチャンネルを合成したものである「合成」チャンネルＡと、元の選択されたチャンネルとを受信するように示されている。このモジュールは、当然ながら、「合成」チャンネルＡと、ジョイントステレオパラメータとをチャンネル副情報として出力する。この出力は、合成チャンネルＡとジョイントステレオパラメータとを使用して元の選択されたチャンネルＢの近似が計算できるように行われる。

代わりに、ジョイントステレオモジュール１４０ｆは、バイノーラルキュー符号化を行うために実施されてもよい。

ＢＣＣの場合は、ジョイントステレオモジュール１４０ｆは、チャンネル副情報が量子化および符号化されたＩＣＬＤまたはＩＣＴＤパラメータであるように、チャンネル副情報を出力するように動作し、選択された元チャンネルは、実際に処理すべきチャンネルとしての役割を果たし、その一方で、第１、第２、または第１および第２のダウンミックスチャンネルを合成したものなどの、副情報を計算するために使用される各ダウンミックスチャンネルを、ＢＣＣ符号化／復号化手法における基準チャンネルとして使用する。

図４を参照すると、エネルギーを対象にした要素１４０ｆの簡易的な実施が提供される。この装置は、チャンネルＡからの周波数帯域と、チャンネルＢの対応周波数帯域とを選択する周波数帯域選択器４４を含む。その後、両周波数帯域において、エネルギー計算器４２によって分岐毎にエネルギーを計算する。エネルギー計算器４２の詳細な実施は、ブロック４０からの出力信号がサブバンド信号か、または周波数係数かに依存することになる。他の実施形態において、変倍率帯域についての変倍率を計算する場合には、第１および第２のチャンネルＡおよびＢの変倍率を、エネルギー値Ｅ_AおよびＥ_Bとして、または少なくともエネルギーの推定値として既に使用することができる。利得率計算装置４４において、選択された周波数帯域についての利得率ｇ_Bは、図４のブロック４４に示す利得決定規則のような所定の規則に基づいて決定される。ここで、図５で後述するような時間領域サンプルまたは周波数係数を重み付けするために、利得率ｇ_Bを直接使用することもできる。このために、選択された周波数帯域について有効な利得率ｇ_Bは、選択された元チャンネルとしてのチャンネルＢについてのチャンネル副情報として使用される。この選択された元チャンネルＢは、復号器に送信されることはないが、図１における計算器１４によって計算されるようなパラメトリックチャンネル副情報によって表されることになる。

ここで、利得値をチャンネル副情報として送信する必要はないことに注意すべきである。また、選択された元チャンネルの絶対エネルギーに関連した周波数に依存する値を送信すれば十分である。その後、復号器は、ダウンミックスチャンネルの実際のエネルギーと、利得率とを、ダウンミックスチャンネルエネルギーと、チャンネルＢについての送信されたエネルギーとに基づいて計算しなければならない。

図５は、変換を基本とした知覚的な音声復号器に関連して設置された復号器の実現可能な一実施を示す。図２と比較すると、エントロピー復号器および逆量子化器５０（図５）の機能は、図２のブロック２４に含まれることになる。しかしながら、周波数／時間変換要素５２ａおよび５２ｂ（図５）の機能は、図２の要素３６において実施されることになる。図５の要素５０は、第１または第２のダウンミックス信号Ｌｃ’またはＲｃ’を符号化したものを受信する。要素５０の出力において、第１および第２のダウンミックスチャンネルを少なくとも一部を復号化したものが存在し、これは、後にチャンネルＡと称される。チャンネルＡは、チャンネルＡから所定の周波数帯域を選択するための周波数帯域選択器５４に入力される。この選択された周波数帯域は、乗算器５６を使用して重み付けされる。乗算器５６は、乗算のために、ある利得率ｇ_Bを受信し、利得率ｇ_Bは、周波数帯域選択器５４によって選択された選択周波数帯域に割り当てられ、周波数帯域選択器５４は、符号器側の図４における周波数帯域選択器４０に対応する。周波数時間変換器５２ａの入力では、他の帯域と共に、チャンネルＡの周波数領域表現が存在する。乗算器５６の出力、そして特に周波数／時間変換手段５２ｂの入力には、チャンネルＢの再構成された周波数領域表現が存在することになる。したがって、要素５２ａの出力では、チャンネルＡの時間領域表現が存在することになり、一方で、要素５２ｂの出力では、再構成されたチャンネルＢの時間領域表現が存在することになる。

ここで注意すべきなのは、ある実施によっては、復号化されたダウンミックスチャンネルＬｃまたはＲｃは、マルチチャンネル拡張復号器において再生されないということである。そのようなマルチチャンネル拡張復号器においては、復号化されたダウンミックスチャンネルは、元チャンネルを再構成するために使用されるのみである。復号化されたダウンミックスチャンネルは、低段階のステレオ専用復号器において再生されるのみである。

このために、サラウンド／ｍｐ３環境における本発明の好ましい実施形態を示す図９を参照する。ｍｐ３拡張サラウンドビットストリームが、標準的なｍｐ３復号器２４に入力され、ｍｐ３復号器２４は、元のダウンミックスチャンネルを復号化したものを出力する。これらのダウンミックスチャンネルは、その後、低レベルの復号器によって直接再生される。代わりに、これら２つのチャンネルは、これもまたマルチチャンネル拡張データを受信する高性能ジョイントステレオ復号化装置３２に入力され、マルチチャンネル拡張データは、好ましくは、ｍｐ３に準拠したビットストリームにおける補助データフィールドに入力される。

次に、選択された元チャンネルおよび各ダウンミックスチャンネルまたは合成ダウンミックスチャンネルのグループ化を示す図７を参照する。これに関して、図７の表の右欄は、図３Ａ，３Ｂ，４，および５におけるチャンネルＡに対応し、中央の欄は、これらの図面におけるチャンネルＢに対応する。図７における左欄において、各チャンネル副情報が明示されている。図７の表によれば、元の左チャンネルＬについてのチャンネル副情報ｌ_iは、左ダウンミックスチャンネルＬｃを使用して計算される。左サラウンドチャンネル副情報ｌｓ_iは、元の選択された左サラウンドチャンネルＬｓおよび担体としての左ダウンミックスチャンネルＬｃによって使用して決定される。元の右チャンネルＲについての右チャンネル副情報ｒ_iは、右ダウンミックスチャンネルＲｃを使用して決定される。さらに、右サラウンドチャンネルＲｓについてのチャンネル副情報は、担体としての右ダウンミックスチャンネルＲｃを使用して決定される。最後に、中央チャンネルＣについてのチャンネル副情報ｃ_iは、第１および第２のダウンミックスチャンネルの合成によって得られる合成ダウンミックスチャンネルを使用して決定され、符号器および復号器の両方において容易に計算可能であり、送信には追加のビットを必要としない。

当然ながら、左チャンネルについてのチャンネル副情報を計算することもできる。この計算は、例えば、合成ダウンミックスチャンネルに基づいて行われるか、もしくは、重み付けパラメータが復号器に知られているかまたは適宜に送信される限り、０．７Ｌｃおよび０．３Ｒｃなどの第１および第２のダウンミックスチャンネルの重み付け加算によって取得されたダウンミックスチャンネルに基づいても行われる。しかしながら、ほとんどの応用において、中央チャンネルについてのチャンネル副情報だけが、合成ダウンミックスチャンネル、すなわち、第１および第２のダウンミックスチャンネルを合成したものから導出されるのが好ましいだろう。

本発明のビット節約の可能性を示すために、以下の典型的な例を提示する。５チャンネル音声信号の場合に、通常の符号器は、チャンネル毎に６４キロビット／秒のビットレートであって、５チャネル信号については３２０キロビット／秒の総ビットレートとなるビットレートを必要とする。左右ステレオ信号は、１２８キロビット／秒を必要とする。チャンネル毎のチャンネル副情報は、１．５〜２キロビット／秒の間である。よって、５つのチャンネルそれぞれについてのチャンネル副情報が送信される場合でさえ、この追加のデータは、合計で７．５から１０キロビット／秒にしかならない。よって、この進歩的な概念によって、（３２０（！）キロビット／秒と比較して）１３８キロビット／秒のビットレートを使用して５チャンネル音声信号を良好な品質で送信することができる。なぜならば、復号器は、問題のあるデマトリックス化動作を使用しないからである。おそらくさらに重要なのは、この進歩的な概念は、完全な後方互換性があるということである。なぜならば、各既存のｍｐ３再生器が、第１のダウンミックスチャンネルおよび第２のダウンミックスチャンネルを再生して、従来のステレオ出力を発生させることができるからである。

応用環境によっては、処理および逆処理のためのこの進歩的な方法は、ハードウェアまたはソフトウェアにおいて実施できる。当該実施は、電子的に読み取り可能な制御信号を有するディスクまたはＣＤなどのデジタル記憶媒体であってもよく、処理および逆処理のためのこの進歩的な方法が行われるように、プログラム可能なコンピュータシステムと協働することができる。したがって、一般的に言って、本発明は、機械読み取り可能な担体上に記憶されたプログラムコードを有するコンピュータプログラム製品にも関連し、プログラムコードは、コンピュータプログラム製品がコンピュータ上で動作する場合に、当該方法を行うために適応されている。したがって、言い換えれば、本発明は、コンピュータプログラムがコンピュータ上で動作する場合に、当該方法を行うためのプログラムコードを有するコンピュータプログラムにも関連する。

進歩的な符号器の好ましい一実施形態のブロック図である。 進歩的な復号器の好ましい一実施形態のブロック図である。 周波数選択チャンネル副情報を得るために計算をするための手段の好ましい一実施についてのブロック図である。 インテンシティ符号化またはバイノーラルキュー符号化などのジョイントステレオ処理を実施する計算器の好ましい一実施形態である。 チャンネル副情報を計算するための手段の他の好ましい実施形態であって、チャンネル副情報が利得率である場合を示す。 符号器を図４のように実施する場合の復号器の一実施の好ましい一実施形態を示す。 ダウンミックスチャンネルを提供するための手段の好ましい一実施形態を示す。 各元チャンネルについてのチャンネル副情報を計算するための、元チャンネルおよびダウンミックスチャンネルのグループ化を示す。 進歩的な符号器の他の好ましい実施形態を示す。 進歩的な復号器の他の実施を示す。 先行技術のジョイントステレオ符号器を示す。

Claims (28)

1. マルチチャンネル音声信号を処理するための装置であって、マルチチャンネル音声信号は、少なくとも３つの元チャンネルを有し、
   左右ダウンミックスチャンネルは、再生される場合に、結果がマルチチャンネル音声信号のステレオ表現であるように形成されるように、元チャンネルから導出される左ダウンミックスチャンネルとしての第１のダウンミックスチャンネルおよび右ダウンミックスチャンネルとしての第２のダウンミックスチャンネルを提供するための手段（１２）と、
   元信号のうちから選択された元チャンネルについてのチャンネル副情報を計算するための手段であって、ダウンミックスチャンネル、または第１および第２のダウンミックスチャンネルを含む合成ダウンミックスチャンネルが、チャンネル副情報を使用して重み付けされる場合に、選択された元チャンネルの近似となるように、チャンネル副情報を計算するように動作する手段（１４）と、
   チャンネル副情報を含む出力データを生成するための手段（１８）とを備える、装置。
2. 生成するための手段（１８）は、出力データが第１のダウンミックスチャンネル、または第１のダウンミックスチャンネルおよび第２のダウンミックスチャンネルから導出された信号、または第２のダウンミックスチャンネルから導出された信号を追加的に含むように、出力データを生成するように動作する、請求項１に記載の装置。
3. 計算するための手段（１４）は、時間領域サンプルもスペクトル値も含まないパラメトリックデータとして、チャンネル副情報を決定するように動作する、請求項１または請求項２に記載の装置。
4. 計算するための手段（１４）は、ダウンミックスチャンネルを搬送チャンネルとして使用してジョイントステレオ符号化を行うように動作し、選択された元チャンネルを入力チャンネルとして使用して、選択された元チャンネルについてのチャンネル副情報としてジョイントステレオパラメータを生成するように動作する、請求項１ないし請求項３のいずれかに記載の装置。
5. 計算するための手段（１４）は、チャンネル副情報がエネルギー分布、または選択された元チャンネルについてのバイノーラルキューパラメータを表すように、インテンシティステレオ符号化またはバイノーラルキュー符号化を行うように動作し、ダウンミックスチャンネルまたは合成ダウンミックスチャンネルは、搬送チャンネルとして使用可能である、請求項３に記載の装置。
6. マルチチャンネル音声信号は、左チャンネルと、左サラウンドチャンネルと、右チャンネルと、右サラウンドチャンネルとを含み、
   提供するための手段（１２）は、第１のダウンミックスチャンネルを左ダウンミックスチャンネルとして提供し、第２のダウンミックスチャンネルを右ダウンミックスチャンネルとして提供するように動作し、左右ダウンミックスチャンネルは、再生される場合に、結果がマルチチャンネル音声信号のステレオ表現であるように形成され、
   計算するための手段（１４）は、
   選択された元チャンネルとしての左チャンネルについてのチャンネル副情報を、左ダウンミックスチャンネルを使用して計算し、
   選択された元チャンネルとしての右チャンネルについてのチャンネル副情報を、右ダウンミックスチャンネルを使用して計算し、
   選択された元チャンネルとしての左サラウンドチャンネルについてのチャンネル副情報を、左ダウンミックスチャンネルを使用して計算し、
   選択された元チャンネルとしての右サラウンドチャンネルについてのチャンネル副情報を、右ダウンミックスチャンネルを使用して計算するように動作する、請求項１ないし請求項５に記載の装置。
7. 元チャンネルは、中央チャンネルを含み、
   装置は、第１のダウンミックスチャンネルと、第２のダウンミックスチャンネルとを合成して、合成ダウンミックスチャンネルを得るための合成器（１４ａ）をさらに含み、
   選択された元チャンネルとしての中央チャンネルについてのチャンネル副情報を計算する手段は、合成ダウンミックスチャンネルが、チャンネル副情報を使用して重み付けされる場合に、元の中央チャンネルの近似となるように、チャンネル副情報を計算する（１４ｂ）ように動作する、請求項１ないし請求項６に記載の装置。
8. 提供するための手段（１２）は、第１のダウンミックスチャンネルについての第１の所定の線形重み付けされた合成物と、第２のダウンミックスチャンネルについての第２の所定の線形重み付けされた合成物とを使用して、第１のダウンミックスチャンネルと、第２のダウンミックスチャンネルとを元チャンネルから導出するように動作する、請求項１ないし請求項６のいずれかに記載の装置。
9. 第１の所定の線形重み付けされた合成物は、以下のように定義され、
   Ｌｃ＝ｔ・（Ｌ＋ａ・Ｌｓ＋ｂ・Ｃ）、または
   第２の所定の線形重み付けされた合成物は、以下のように定義され、
   Ｒｃ＝ｔ・（Ｒ＋ａ・Ｒｓ＋ｂ・Ｃ）
   式中、Ｌｃは第１のダウンミックスチャンネルであり、Ｒｃは第２のダウンミックスチャンネルであり、ｔ，ａ，およびｂは１より小さい重み付け係数であり、Ｌは元の左チャンネルであり、Ｃは元の中央チャンネルであり、Ｒは元の右チャンネルであり、Ｌｓは元の左サラウンドチャンネルであり、Ｒｓは元の右サラウンドチャンネルである、請求項７に記載の装置。
10. 提供するための手段（１２）は、外部から供給された第１および第２のダウンミックスチャンネルを受信するように動作する、請求項１ないし請求項８のいずれかに記載の装置。
11. 第１のダウンミックスチャンネルおよび第２のダウンミックスチャンネルは、様々な程度の元チャンネルを合成したものである合成チャンネルであり、計算するための手段は、チャンネル副情報を計算するために、両方のダウンミックスチャンネルのうち、他のダウンミックスチャンネルと比べて選択された元チャンネルによってより強く影響を受けたダウンミックスチャンネルを使用するように動作する、請求項１ないし請求項１０のいずれかに記載の装置。
12. 生成するための手段（１８）は、出力データが、第１のダウンミックスチャンネル、もしくは第１のダウンミックスチャンネルまたは第２のダウンミックスチャンネルから導出された信号、もしくは第２のダウンミックスチャンネルから導出された信号を処理して、マルチチャンネル音声信号の復号されたステレオ表現を得るための低レベルの復号器によって使用される出力データ構文に準拠するように、出力データを形成するように動作する、請求項１ないし請求項１１のいずれかに記載の装置。
13. 出力データ構文は、それが低レベルの復号器によって無視される特殊データフィールドを含むように構成され、生成するための手段は、チャンネル副情報を特殊データフィールドに挿入するように動作する、請求項１２に記載の装置。
14. 構文はｍｐ３構文であり、特殊データフィールドは補助データフィールドである、請求項１３に記載の装置。
15. 生成するための手段（１８）は、チャンネル副情報が高レベルの復号器によってのみ使用されるが、低レベルの復号器によっては無視されるように、チャンネル副情報を出力データに挿入するように動作する、請求項１２ないし請求項１４のいずれかに記載の装置。
16. 第１のダウンミックスチャンネルを符号化して第１のダウンミックスチャンネルから導出された信号を得るため、または、第２のダウンミックスチャンネルを符号化して第２のダウンミックスチャンネルから導出された信号を得るための符号器（１６）をさらに備える、請求項２ないし請求項１５のいずれかに記載の装置。
17. 符号器（１６）は、符号化すべき信号をスペクトル表現に変換するための手段と、音響心理学モデルを使用してスペクトル表現を量子化する手段と、量子化されたスペクトル表現をエントロピー符号化して、エントロピー符号化された量子化済みのスペクトル表現を第１のダウンミックスチャンネルから導出された信号または第２のダウンミックスチャンネルから導出された信号として取得する手段とを含む知覚符号器である、請求項１６に記載の装置。
18. 知覚符号器（１６）は、ＭＰＥＧ‐１／２レイヤＩＩＩ（ｍｐ３）またはＭＰＥＧ‐２／４高度音声符号化（ＡＡＣ）に従った符号器である、請求項１７に記載の装置。
19. 計算のための手段（１４）は、ダウンミックスチャンネルまたは合成ダウンミックスチャンネルについてのダウンミックスエネルギー値を計算し、
    選択された元チャンネルの元のエネルギー値を計算し、
    ダウンミックスエネルギー値と、元のエネルギー値とから導出される利得率をチャンネル副情報として計算するように動作する、請求項１ないし請求項１８のいずれかに記載の装置。
20. 計算のための手段（１４）は、複数の周波数帯域について複数の互いに異なるチャンネル副情報パラメータが取得されるように、周波数に依存するチャンネル副情報パラメータを計算するように動作する、請求項１ないし請求項１９のいずれかに記載の装置。
21. マルチチャンネル音声信号を処理する方法であって、マルチチャンネル音声信号は、少なくとも３つの元チャンネルを有し、
    左右ダウンミックスチャンネルは、再生される場合に、結果がマルチチャンネル音声信号のステレオ表現であるように形成されるように、元チャンネルから導出される左ダウンミックスチャンネルとしての第１のダウンミックスチャンネルおよび右ダウンミックスチャンネルとしての第２のダウンミックスチャンネルを提供する工程（１２）と、
    ダウンミックスチャンネル、または第１および第２のダウンミックスチャンネルを含む合成ダウンミックスチャンネルが、チャンネル副情報を使用して重み付けされる場合に、選択された元チャンネルの近似となるように、元信号のうちから選択された元チャンネルについてのチャンネル副情報の計算を行う工程（１４）と、
    チャンネル副情報を含む出力データを生成する工程（１８）とを含む、方法。
22. 入力データの逆処理のための装置であって、入力データは、チャンネル副情報、左ダウンミックスチャンネルまたは左ダウンミックスチャンネルおよび右ダウンミックスチャンネルから導出された信号、または右ダウンミックスチャンネルから導出された信号を含み、左ダウンミックスチャンネルおよび右ダウンミックスチャンネルは、マルチチャンネル音声信号の少なくとも３つの元チャンネルから導出され、再生される場合に、結果がマルチチャンネル音声信号のステレオ表現となり、チャンネル副情報は、ダウンミックスチャンネル、または左ダウンミックスチャンネルおよび右ダウンミックスチャンネルを含む合成ダウンミックスチャンネルが、チャンネル副情報を使用して重み付けされる場合に、選択された元チャンネルの近似となるように計算され、
    入力データを読み出して、左ダウンミックスチャンネル、または左ダウンミックスチャンネルおよび右ダウンミックスチャンネルから導出された信号、または右ダウンミックスチャンネルおよびチャンネル副情報から導出された信号を得るための入力データ読出器（２４）と、
    チャンネル副情報およびダウンミックスチャンネルまたは合成ダウンミックスチャンネルを使用して、選択された元チャンネルの近似を得て、選択された元チャンネルの近似を再構成するためのチャンネル再構成器（３２）とを備える、装置。
23. 左ダウンミックスチャンネルから導出された信号を復号して左ダウンミックスチャンネルを復号化したものを得るため、および右ダウンミックスチャンネルから導出された信号を復号して右ダウンミックスチャンネルを復号化したものを得るための知覚復号器（２４）をさらに備える、請求項２２に記載の装置。
24. 左ダウンミックスチャンネルと、右ダウンミックスチャンネルとを合成して、合成ダウンミックスチャンネルを得るための合成器をさらに備える、請求項２２または請求項２３に記載の装置。
25. 元の音声信号は、左チャンネルと、左サラウンドチャンネルと、右チャンネルと、右サラウンドチャンネルと、中央チャンネルとを含み、
    入力データは、左チャンネル、左サラウンドチャンネル、右チャンネル、右サラウンドチャンネル、および中央チャンネルのうちの少なくとも３つについてのチャンネル副情報を含み、
    チャンネル再構成器（３２）は、
    左チャンネルおよび左ダウンミックスチャンネルについてのチャンネル副情報を使用して、左チャンネルの近似を再構成し、
    左サラウンドチャンネルおよび左ダウンミックスチャンネルについてのチャンネル副情報を使用して、左サラウンドチャンネルについての近似を再構成し、
    右チャンネルおよび右ダウンミックスチャンネルについてのチャンネル副情報を使用して、右チャンネルについての近似を再構成し、
    右サラウンドチャンネルおよび右ダウンミックスチャンネルについてのチャンネル副情報を使用して、右サラウンドチャンネルについての近似を再構成するように動作する、請求項２２ないし請求項２４のいずれかに記載の装置。
26. チャンネル再構成器は、中央チャンネルおよび合成ダウンミックスチャンネルについてのチャンネル副情報を使用して、中央チャンネルについての近似を再構成するように動作する、請求項２２ないし請求項２５に記載の装置。
27. 入力データの逆処理の方法であって、入力データは、チャンネル副情報、左ダウンミックスチャンネルまたは左ダウンミックスチャンネルから導出された信号、右ダウンミックスチャンネルまたは右ダウンミックスチャンネルから導出された信号を含み、左ダウンミックスチャンネルおよび右ダウンミックスチャンネルは、マルチチャンネル音声信号の少なくとも３つの元チャンネルから導出され、チャンネル副情報は、ダウンミックスチャンネル、または左ダウンミックスチャンネルおよび右ダウンミックスチャンネルを含む合成ダウンミックスチャンネルが、チャンネル副情報を使用して重み付けされる場合に、選択された元チャンネルの近似となるように計算され、
    入力データを読み出して、左ダウンミックスチャンネル、または左ダウンミックスチャンネルおよび右ダウンミックスチャンネルから導出された信号、または右ダウンミックスチャンネルおよびチャンネル副情報から導出された信号を得る工程（２４）と、
    チャンネル副情報およびダウンミックスチャンネルまたは合成ダウンミックスチャンネルを使用して、選択された元チャンネルの近似を得るように、選択された元チャンネルの近似を再構成する工程（３２）とを含む、方法。
28. コンピュータに、請求項２１または請求項２７に記載の方法を実行させるためのプログラム。

Images