JP4574626B2 - マルチチャネル出力信号を構築する装置および方法またはダウンミックス信号を生成する装置および方法 - Google Patents

Description

本発明は、マルチチャネルオーディオ信号を処理する装置および方法に関し、特に、ステレオと互換性があるようにマルチチャネルオーディオ信号を処理する装置および方法に関する。

近年、マルチチャネルオーディオ再生技術がますます重要になっている。これは、周知のＭＰ３技術等のオーディオ圧縮／符号化技術により、制限のある帯域幅を有するインターネットまたは他の伝送チャネルを介して、オーディオ記録を配信することが可能になったという事実によるものである。ステレオフォーマットの全記録を配信すること、すなわち、第１の、すなわち左ステレオチャネルおよび第２の、すなわち右ステレオチャネルを含むオーディオ記録のデジタル表現を配信することが可能であるという事実により、ＭＰ３符号化技術はよく知られるようになった。

しかしながら、従来の２チャネルサウンドシステムには基本的な欠点がある。従って、サラウンド技術が開発されている。推奨されるマルチチャネルサラウンド表現は、２つのステレオチャネルＬおよびＲに加えて、センターチャネルＣおよび２つのサラウンドチャネルＬｓ、Ｒｓをさらに含んでいる。この基準サウンドフォーマットは、３ステレオ／２ステレオとも呼ばれるもので、３つのフロントチャネルおよび２つのサラウンドチャネルを意味する。一般に、５つの伝送チャネルを必要とする。再生環境では、それぞれ５つの異なる場所に配置した少なくとも５つのスピーカは、５つの適切に配置したスピーカから一定の距離で、最適なスイートスポットを得る必要がある。

マルチチャネルオーディオ信号伝送に必要なデータ量を低減する本技術で、いくつかの技術が周知である。かかる技術は、ジョイントステレオ技術と呼ばれている。このために、図１０を参照すると、ジョイントステレオ装置６０を示している。この装置を、例えば、インテンシティステレオ（ＩＳ）またはバイノーラルキュー符号化（ＢＣＣ）を行う装置とすることができる。かかる装置は一般に、入力として少なくとも２つのチャネル（ＣＨ１、ＣＨ２、・・・ＣＨｎ）を受け取り、１つのキャリアチャネルおよびパラメトリックデータを出力する。パラメトリックデータは、デコーダでは、オリジナルのチャネル（ＣＨ１、ＣＨ２、・・・ＣＨｎ）の近似値を算出できるように、定義されている。

通常、キャリアチャネルは、サブバンドサンプル、スペクトル係数、時間領域サンプル等を含んでいる。これらにより、基礎の信号が比較的よい表現になるが、パラメトリックデータはスペクトル係数のこのようなサンプルを含まないが、乗算、時間シフティング、周波数シフティング等による重み付けといった、特定の再生アルゴリズムを制御する制御パラメータを含んでいる。従って、パラメトリックデータは、信号または対応付けられたチャネルの比較的粗い表現しか含んでいない。数字を提示すると、キャリアチャネルが必要とするデータ量は、６０〜７０キロビット／秒の範囲であるが、１つのチャネルに対しパラメトリック副情報が必要とするデータ量は、１．５〜２．５キロビット／秒の範囲である。パラメトリックデータの一例としては、以下に説明するように、周知のスケールファクタ、インテンシティステレオ情報またはバイノーラルキューパラメータが挙げられる。

インテンシティステレオ符号化については、（ＡＥＳ予稿集３７９９、“インテンシティステレオ符号化（Ｉｎｔｅｎｓｉｔｙ Ｓｔｅｒｅｏ Ｃｏｄｉｎｇ）”、Ｊ．ヘア（Ｈｅｒｒｅ）、Ｋ．Ｈ．ブランデンブルグ（Ｂｒａｎｄｅｎｂｕｒｇ）、Ｄ．レーデラー（Ｌｅｄｅｒｅｒ）（１９９４年２月、アムステルダム）に記載されている。一般に、インテンシティステレオの概念は、２つの立体音響オーディオチャネルのデータに対して行う主軸変換に基づいている。大部分のデータポイントが第１の原理軸のまわりに集中している場合は、符号化を行う前に、一定の角度で２つの信号を回転することにより、符号化利得を得ることができる。しかしながら、このことが、このリアルな立体音響生成技術に常に当てはまるとは限らない。従って、ビットストリームでの伝送から第２の直交成分を除外することにより、この技術を変更する。従って、左および右チャネルに対して復元した信号は、同じ送信信号の別々に重み付けされたものまたはスケーリングしたバージョンからなる。しかしながら、復元した信号は、それらの振幅が異なっているものの、それらの位相情報については全く同じである。しかしながら、２つのオリジナルのオーディオチャネルのエネルギー時間包絡線は、選択的スケーリング演算により保存される。これは通常、周波数選択的に演算するものである。これは、高い周波数での人間のオーディオ認識に一致し、主要な空間キューは、エネルギー包絡線により求められる。

また、特に実施するにあたっては、２つの成分を回転させる代わりに、送信信号、すなわち、キャリアチャネルが、左チャネルおよび右チャネルの和信号から生成される。なお、この処理、すなわち、インテンシティステレオパラメータを生成してスケーリング動作を行うには、周波数選択的に行う。すなわち、各スケールファクタ帯域、すなわち、エンコーダの周波数区分に対し独立して行う。好ましくは、２つのチャネルが、合成チャネルまたは“キャリア”チャネルを生成するために、合成される。合成チャネルの他に、インテンシティステレオ情報が求められる。これは、第１のチャネルのエネルギー、第２のチャネルのエネルギーまたは合成またはチャネルのエネルギーに依存する。

ＢＣＣ技術については、ＡＥＳ変換論文誌５５７４、“ステレオおよびマルチチャネルオーディオ圧縮に応用したバイノーラルキュー符号化（Ｂｉｎａｕｒａｌ ｃｕｅ ｃｏｄｉｎｇ ａｐｐｌｉｅｄ ｔｏ ｓｔｅｒｅｏ ａｎｄ ｍｕｌｔｉ−ｃｈａｎｎｅｌ ａｕｄｉｏ ｃｏｍｐｒｅｓｓｉｏｎ）”、Ｃ．フォーラ（Ｆａｌｌｅｒ）、Ｆ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）（２００２年５月、ミュンヘン）に記載されている。ＢＣＣ符号化では、オーバーラップウィンドウを有するＤＦＴベースの変換を用いて、オーディオ入力チャネルの多くは、スペクトル表現に変換されている。得られる均一なスペクトルは、それぞれ指標を有する重なりのない区分に分割される。各区分は、等価矩形帯域幅（ＥＲＢ）に比例する帯域幅を有している。内部チャネルレベル差（ＩＣＬＤ）および内部チャネル時間差（ＩＣＴＤ）は、各フレームｋに対し、この区分毎に推定される。ＩＣＬＤおよびＩＣＴＤは量子化されて符号化されると、ＢＣＣビットストリームが得られる。基準チャネルを基準にして、内部チャネルレベル差および内部チャネル時間差が各チャネルに与えられる。次に、パラメータが規定の公式に従って算出される。これらは、処理される信号の特定の区分に依存する。

デコーダ側では、デコーダは、モノラル信号およびＢＣＣビットストリームを受信する。モノラル信号は周波数領域に変換されて、空間合成ブロックに入力される。このブロックは、復号化ＩＣＬＤおよびＩＣＴＤ値も受信する。空間合成ブロックでは、マルチチャネル信号を合成するために、モノラル信号の重み付け演算を行うために、ＢＣＣパラメータ（ＩＣＬＤおよびＩＣＴＤ）値が用いられる。マルチチャネル信号は、周波数／時間変換の後の、オリジナルのマルチチャネルオーディオ信号を復元したものを表す。

ＢＣＣの場合、ジョイントステレオモジュール６０は、パラメトリックチャネルデータが量子化されて、ＩＣＬＤまたはＩＣＴＤパラメータを暗号化するように、チャネル副情報を出力するために動作される。オリジナルのチャネルのうちの１つは、基準チャネルとしてチャネル副情報を符号化するために、用いられる。

通常、キャリアチャネルは、関係するオリジナルのチャネルの総計として生成されるものである。

当然、上記の技術では、キャリアチャネルしか処理することができないデコーダに対するモノラル表現を生成するだけであり、パラメトリックデータを処理して、２つ以上の入力チャネルの１つ以上の近似値を生成することはできない。

バイノーラルキュー符号化（ＢＣＣ）として周知のオーディオ符号化技術については、米国特許出願公開公報ＵＳ２００３、０２１９１３０Ａ１、２００３／００２６４４１Ａ１および２００３／００３５５５３Ａ１にも詳細に記載されている。さらに引例として、“バイノーラルキュー符号化 パートＩＩ：方法および応用例（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ Ｐａｒｔ ＩＩ：Ｓｃｈｅｍｅｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ）”、Ｃ．フォーラおよびＦ．バウムガルテ、ＩＥＥＥ会報、オーディオおよびスピーチ学会紀要（Ａｕｄｉｏ ａｎｄ Ｓｐｅｅｃｈ Ｐｒｏｃ．）、１１巻、第６号、２９９３年１１月に記載されている。フォーラおよびバウムガルテが著したＢＣＣ技術に関する引例の米国特許出願公開公報および２つの引例の技術刊行物は、ここに引例としてすべて組み込まれている。

以下に、マルチチャネルオーディオ符号化のための代表的な、一般的ＢＣＣ法について、図１１〜１３を参照して、さらに詳細に説明する。図１１は、マルチチャネルオーディオ信号の符号化／伝送を行う、かかる一般的バイノーラルキュー符号化法を示す。ＢＣＣエンコーダ１１２の入力１１０のマルチチャネルオーディオ入力信号は、ブロック１１４でダウンミキシングされる。本例では、入力１１０のオリジナルのマルチチャネル信号は、フロント左チャネル、フロント右チャネル、左サラウンドチャネル、右サラウンドチャネルおよびセンターチャネルを有する、５チャネルサラウンド信号である。本発明の好適な実施の形態では、ダウンミックスブロック１１４は、これらの５つのチャネルを単純に加算して、モノラル信号にすることにより、和信号を生成する。マルチチャネル入力信号を用いて、１つのチャネルを有するダウンミックス信号を得られるような、他のダウンミキシング方法が周知である。この１つのチャネルを、和信号線１１５に出力する。ＢＣＣ分析ブロック１１６により取得した副情報が、副情報線１１７に出力される。ＢＣＣ分析ブロックでは、上記で説明したように、内部チャネルレベル差（ＩＣＬＤ）および内部チャネル時間差（ＩＣＴＤ）が算出される。最近では、内部チャネル相関値（ＩＣＣ値）を算出するために、ＢＣＣ分析ブロック１１６を拡張することができる。好ましくは量子化して符号化した形態で、和信号および副情報がＢＣＣデコーダ１２０に送信される。ＢＣＣデコーダは、出力マルチチャネルオーディオ信号のサブバンドを生成するために、送信された和信号を多数のサブバンドに分解して、スケーリングを行い、遅延して、他の処理を行う。出力１２１の復元したマルチチャネル信号のＩＣＬＤ、ＩＣＴＤおよびＩＣＣパラメータ（キュー）が、ＢＣＣエンコーダ１１２に入力する入力１１０のオリジナルのマルチチャネル信号に対するそれぞれのキューと同様になるように、この処理が行われる。このために、ＢＣＣデコーダ１２０は、ＢＣＣ合成ブロック１２２および副情報処理ブロック１２３を含む。

以下に、図１２を参照して、ＢＣＣ合成ブロック１２２の内部構成が説明される。線１１５上の和信号が、時間／周波数変換ユニットまたはフィルタバンクＦＢ１２５に入力される。ブロック１２５の出力には、オーディオフィルタバンク１２５が１：１変換を行う場合は、すなわち、Ｎ個の時間領域サンプルからＮ個のスペクトル係数を生成する変換の場合は、Ｎ個のサブバンド信号あるいは、極端な場合では、スペクトル係数のブロックが存在する。

ＢＣＣ合成ブロック１２２はさらに、遅延段１２６、レベル変更段１２７、相関処理段１２８および逆フィルタバンク段ＩＦＢ１２９を備える。段１２９の出力では、５チャネルサラウンドシステムの場合では、図１１に示すように、例えば５つのチャネルを有する復元したマルチチャネルオーディオ信号を、１セットのスピーカ１２４に出力する。

図１２に示すように、装置１２５により、入力信号ｓ（ｎ）は周波数領域またはフィルタバンク領域に変換される。乗算ノード１３０で示すように、同じ信号のいくつかのバージョンを取得するように、装置１２５による信号出力は乗算される。オリジナルの信号のバージョン数は、出力信号における出力チャネルの数と等しい。一般に、復元した、ノード１３０でのオリジナルの信号の各バージョンをそれぞれ遅延ｄ₁、ｄ₂、・・・、ｄ_i、・・・、ｄ_Nで遅延する場合は、図１１の副情報処理ブロック１２３により遅延パラメータが算出されて、ＢＣＣ分析ブロック１１６で求めたように、内部チャネル時間差から導出する。

乗算パラメータａ₁、ａ₂、・・・、ａ_i、・・・、ａ_Nについて、同じことが当てはまる。これらについても、ＢＣＣ分析ブロック１１６により算出したように、内部チャネルレベル差に基づいて、副情報処理ブロック１２３により算出する。

遅延してレベルを操作した信号間の特定の相関をブロック１２８の出力で取得するように、ブロック１２８の機能を制御するために、ＢＣＣ分析ブロック１１６により算出されたＩＣＣパラメータが用いられる。段階１２６、１２７、１２８の順序は、図１２に示す場合と異なっていてもよいことに、ここで留意されたい。

オーディオ信号をフレーム的に処理する際には、ＢＣＣ分析をフレーム的に実行する、すなわち、時間可変的、そして周波数的にも実行することに、ここで留意されたい。これは、各スペクトル帯域に対してＢＣＣパラメータを取得するという意味である。これは、オーディオフィルタバンク１２５が入力信号を例えば３２個のバンドパス信号に分解する場合は、ＢＣＣ分析ブロックは、３２個の帯域それぞれに対するＢＣＣパラメータのセットを取得するという意味である。当然、図１２に詳細に示す、図１１のＢＣＣ合成ブロック１２２が、本例の３２個の帯域に基づいて、復元を行う。

以下に、図１３を参照して、あるＢＣＣパラメータを求めるセットアップを示す。通常、ＩＣＬＤ、ＩＣＴＤおよびＩＣＣパラメータを、１対のチャネル間で定義することができる。しかしながら、基準チャネルと互いのチャネルとの間で、ＩＣＬＤおよびＩＣＴＤパラメータを求めることが好ましい。これについて、図１３Ａに示す。

ＩＣＣパラメータを、別の方法で求めることもできる。一般に大抵の場合、図１３Ｂに示すように、考えられるすべてのチャネル対の間で、エンコーダ内のＩＣＣパラメータを推定することができる。この場合は、考えられるすべてのチャネル対の間のオリジナルのマルチチャネル信号とほぼ同じになるように、デコーダがＩＣＣを合成する。しかしながら、各時間で最も強力な２つのチャネル間のＩＣＣパラメータだけを推定することが提案されていた。この方法は、図１３Ｃに示される。１つの時間インスタンスで、チャネル１とチャネル２との間でＩＣＣパラメータが推定され、別の時間インスタンスで、チャネル１とチャネル５との間でＩＣＣパラメータが算出される例が示されている。次に、デコーダが、デコーダ内の最も強力なチャネル間の内部チャネル相関を合成して、残りのチャネル対に対する内部チャネルコヒーレンスを算出して合成するための、ある発見的規則を適用する。

例えば、送信ＩＣＬＤパラメータに基づいてパラメータａ₁、ａ_Nを算出するには、上記引例のＡＥＳ変換論文誌５５７４を参照する。ＩＣＬＤパラメータは、オリジナルのマルチチャネル信号内のエネルギー分布を表す。一般性を失うことなく、他の全チャネルとフロント左チャネルとの間のエネルギー差を示す４つのＩＣＬＤパラメータを、図１３Ａに示す。副情報処理ブロック１２３では、復元したすべての出力チャネルの総エネルギーが送信和信号のエネルギーと同じになるように（または比例するように）、乗算パラメータａ₁、・・・、ａ_NがＩＣＬＤパラメータから導出される。これらのパラメータを求める簡単な方法は、２段処理である。これは、第１の段では、左フロントチャネルの乗算係数を１に設定して、図１３Ａの他のチャネルの乗算係数を送信ＩＣＬＤ値に設定する。次に、第２の段では、５つのチャネルすべてのエネルギーを算出して、送信和信号のエネルギーと比較する。次に、全チャネルに対して等しいダウンスケーリング係数を用いて、全チャネルにダウンスケーリングを行う。ダウンスケーリングを行った後の、復元したすべての出力チャネルの総エネルギーが送信和信号の総エネルギーと等しくなるように、ダウンスケーリング因数が選択される。

当然、乗算係数を算出する他の方法がある。これらは、２段処理を利用せず、１段処理だけを必要とするものである。

遅延パラメータに関して、左フロントチャネルの遅延パラメータｄ１をゼロに設定する場合は、ＢＣＣエンコーダから送信される遅延パラメータＩＣＴＤを、直接用いることができることに留意されたい。遅延を行っても信号のエネルギーを変更しないので、ここでは再スケーリングを行う必要がない。

ＢＣＣエンコーダからＢＣＣデコーダに送信された内部チャネルコヒーレンス測定値ＩＣＣに関して、２０ｌｏｇ１０（−６）から２０ｌｏｇ１０（６）の間の値の乱数を有する全サブバンドの重み付け係数を乗算するというように、乗算係数ａ₁、・・・、ａ_nを変更することにより、コヒーレンス操作を行うことができることに、ここで留意されたい。好ましくは、すべての重要な帯域に対してバリアンスがほぼ一定になり、各々の重要な帯域内で平均がゼロとなるように、疑似乱数シーケンスを選択する。同じシーケンスが、各々の異なるフレームのスペクトル係数に対して行われる。従って、疑似乱数シーケンスのバリアンスを変更することにより、聴覚によるイメージの幅を制御する。より大きいバリアンスにより、より大きいイメージ幅を生成する。バリアンス変更を、重要な帯域にわたるそれぞれの帯域で行うことができる。これにより、聴覚による場面内で、それぞれ異なるイメージ幅を有する複数の対象を同時に存在させることが可能になる。疑似乱数シーケンスに対し適した振幅分布は、米国特許出願公開公報２００３／０２１９１３０Ａ１で概要を説明したように、対数目盛に対して均一な分布である。しかしながら、図１１に示すＢＣＣエンコーダからＢＣＣデコーダへ送信される和信号のように、すべてのＢＣＣ合成処理は、１つの送信入力チャネルと関係づけられる。

互換性があるように５つのチャネルを送信するためには、すなわち、通常のステレオデコーダでも理解可能な、ビットストリームフォーマットで送信するためには、以下に記載されている、いわゆるマトリックス化技術を用いていた。“ＭＵＳＩＣＡＭサラウンド：ＩＳＯ１１１７２−３により互換性のあるユニバーサルマルチチャネル符号化システム（ＭＵＳＩＣＡＭ ｓｕｒｒｏｕｎｄ：ａ ｕｎｉｖｅｒｓａｌ ｍｕｌｔｉ−ｃｈａｎｎｅｌ ｃｏｄｉｎｇ ｓｙｓｔｅｍ ｃｏｍｐａｔｉｂｌｅ ｗｉｔｈ ＩＳＯ１１１７２−３）”、Ｇ．セイラー（Ｔｈｅｉｌｅ）およびＧ．ストール（Ｓｔｏｌｌ）、ＡＥＳ予稿集３４０３、１９９２年１０月、サンフランシスコ。５つの入力チャネルＬ、Ｒ、Ｃ、Ｌｓ、およびＲｓを、マトリックス化装置に供給する。この装置は、マトリックス演算を行って、５つの入力チャネルから基本的なステレオチャネルまたは互換性のあるステレオチャネルＬｏ、Ｒｏを算出する。特に、これらの基本的なステレオチャネルＬｏ／Ｒｏを、次のように算出する。

Ｌｏ＝Ｌ＋ｘＣ＋ｙＬｓ
Ｒｏ＝Ｒ＋ｘＣ＋ｙＲｓ

ｘおよびｙは定数である。他の３つのチャネルＣ、Ｌｓ、Ｒｓは、基本的なステレオレイヤの他に、基本的なステレオ信号Ｌｏ／Ｒｏの符号化バージョンを含む、拡張レイヤに送信される。ビットストリームに対して、このＬｏ／Ｒｏ基本的なステレオレイヤは、ヘッダ、スケールファクタ等の情報およびサブバンドサンプルを含む。マルチチャネル拡張レイヤ、すなわち、センターチャネルおよび２つのサラウンドチャネルは、補助データフィールドとも呼ばれる、マルチチャネル拡張フィールドに含まれる。

デコーダ側では、５チャネル表現における左チャネルおよび右チャネルを再生するために、基本的なステレオチャネルＬｏ、Ｒｏおよび３つの補助チャネルを用いて、逆マトリックス演算が行われる。また、オリジナルのマルチチャネルオーディオ信号の復号化した５チャネルまたはサラウンド表現を得るために、３つの補助チャネルを補助情報から復号化する。

マルチチャネル符号化の別のアプローチについて、次の出版物に記載されている。“向上したＭＰＥＧ−２オーディオマルチチャネル符号化（Ｉｍｐｒｏｖｅｄ ＭＰＥＧ−２ ａｕｄｉｏ ｍｕｌｔｉ−ｃｈａｎｎｅｌ ｅｎｃｏｄｉｎｇ）”、Ｂ．グリル（Ｇｒｉｌｌ）、Ｊ．ヘア（Ｈｅｒｒｅ）、Ｋ．Ｈ．ブランデンブルク（Ｂｒａｎｄｅｎｂｕｒｇ）、Ｅ．エベルレイン（Ｅｂｅｒｌｅｉｎ）、Ｊ．コラー（Ｋｏｌｌｅｒ）、Ｊ．ミュラー（Ｍｕｅｌｌｅｒ）、ＡＥＳ予稿集３８６５、１９９４年２月、アムステルダム。これは、後方互換性を得るために、後方互換性モードを考慮するものである。このために、オリジナルの５つの入力チャネルから２つのいわゆるダウンミックスチャネルＬｃ、Ｒｃを得るために、互換性マトリックスが用いられる。なお、補助データとして送信された３つの補助チャネルを動的に選択することが可能である。

ステレオ非相関性を利用するために、チャネル群、例えば、３つのフロントチャネル、すなわち、左チャネル、右チャネルおよびセンターチャネルにジョイントステレオ技術が適用される。このために、合成チャネルを得るために、これらの３つのチャネルが合成される。この合成チャネルが量子化されて、ビットストリームに詰め込まれる。次に、対応するジョイントステレオ情報とともに、この合成チャネルは、ジョイントステレオ復号化チャネル、すなわち、ジョイントステレオ復号化左チャネル、ジョイントステレオ復号化右チャネルおよびジョイントステレオ復号化センターチャネルを得るために、ジョイントステレオ復号化モジュールに入力される。これらのジョイントステレオ復号化チャネルは左サラウンドチャネルおよび右サラウンドチャネルとともに、第１のダウンミックスチャネルおよび第２のダウンミックスチャネルＬｃ、Ｒｃを生成するために、互換性マトリックスブロックに入力される。次に、２つのダウンミックスチャネルの量子化したバージョンおよび合成チャネルの量子化したバージョンは、ジョイントステレオ符号化パラメータとともにビットストリームに詰め込まれる。

従って、インテンシティステレオ符号化を用いて、別々のオリジナルのチャネル信号群は、“キャリア”データの１つの部分内に送信される。次に、デコーダは、それらのオリジナルのエネルギー時間包絡線により、再スケーリングを行って、全く同じデータとして関係する信号を復元する。その結果、送信チャネルの１次結合は、オリジナルのダウンミックスと全く異なる結果を導く。これを、インテンシティステレオ概念に基づいて、任意の種類のジョイントステレオ符号化に用いる。互換ダウンミックスチャネルを生成する符号化システムでは、上記の出版物に記載されているように、逆マトリックス化による再生は、不完全な再生によるアーティファクトが直接の原因となって結果を生じるという欠点がある。いわゆるジョイントステレオプレディストーションスキームを用いて、エンコーダでマトリックス化を行う前に、左チャネル、右チャネルおよびセンターチャネルのジョイントステレオ符号化を行うことにより、この問題を軽減する。このように、逆マトリックス化法で復元を行うことにより、より少ない数のアーティファクトを導入するのは、エンコーダ側では、ダウンミックスチャネルを生成するために、ジョイントステレオ復号化信号を用いられる。従って、不完全な再生処理は、互換ダウンミックスチャネルＬｃおよびＲｃにシフトされる。これにより、オーディオ信号自体によって、さらにマスキングできることになる。

デコーダ側で逆マトリックス化を行うので、かかるシステムでは、アーティファクトの数がより少なくなるが、いくつか欠点がある。１つの欠点は、ステレオ互換ダウンミックスチャネルＬｃおよびＲｃが、オリジナルのチャネルではなく、オリジナルのチャネルのインテンシティステレオ符号化／復号化バージョンから導出されることである。従って、インテンシティステレオ符号化システムによるデータ損失が、互換ダウンミックスチャネルに含まれることになる。従って、拡張インテンシティステレオ符号化チャネルではなく、互換性チャネルだけを復号化する、ステレオのみのデコーダは、出力信号を生成する。これが、データ損失に含まれるインテンシティステレオの影響を受けてしまう。

また、２つのダウンミックスチャネルの他に、完全な補助チャネルを送信する必要がある。このチャネルは合成チャネルで、これは、左チャネル、右チャネルおよびセンターチャネルをジョイントステレオ符号化することにより、生成される。また、合成チャネルからオリジナルのチャネルＬ、Ｒ、Ｃを再現するインテンシティステレオ情報も、デコーダに送信する必要がある。デコーダでは、２つのダウンミックスチャネルからサラウンドチャネルを導出するために、逆マトリックス化、すなわち、逆マトリックス演算が行われる。また、送信合成チャネルおよび送信ジョイントステレオパラメータを用いて、オリジナルの左チャネル、右チャネルおよびセンターチャネルが、ジョイントステレオ復号化により近似される。合成チャネルをジョイントステレオ復号化することにより、オリジナルの左チャネル、右チャネルおよびセンターチャネルが導出されることに留意されたい。

インテンシティステレオ技術の場合では、マルチチャネル信号を合成して用いる場合に、同じベースチャネルに基づくコヒーレント出力信号だけを完全に生成することができることが判明している。

ＢＣＣ技術では、復元したマルチチャネル出力信号内の内部チャネルコヒーレンスを低減することに非常にコストがかかるのは、重み付けセクタに影響を与える疑似乱数発生器を必要とするからである。また、乗算係数または時間遅延係数をランダムに操作することから発生するアーティファクトを導入してしまい、ある条件下ではアーティファクトが可聴化してしまうので、復元したマルチチャネル出力信号の品質が低下するという点で、この種の処理が問題になることがわかっている。

米国特許出願公開公報ＵＳ２００３／０２１９１３０Ａ１ 米国特許出願公開公報ＵＳ２００３／００２６４４１Ａ１ 米国特許出願公開公報ＵＳ２００３／００３５５５３Ａ１

従って、本発明の目的は、マルチチャネルオーディオ信号に対して効率的にビットを用いて、アーティファクトを低減した処理または逆処理を行う概念を提供することである。

本発明の第１の態様によれば、この目的は、入力信号およびパラメトリック副情報を用いて、マルチチャネル出力信号を構築する装置であって、入力信号はオリジナルのマルチチャネル信号から導出した第１の入力チャネルおよび第２の入力チャネルを含み、オリジナルのマルチチャネル信号は複数のチャネルを有し、該複数のチャネルは、想定した聴取者位置の一方の側にあると定義される、少なくとも２つのオリジナルのチャネルを含み、第１のオリジナルのチャネルが少なくとも２つのオリジナルのチャネルのうちの第１のチャネルで、第２のオリジナルのチャネルが少なくとも２つのオリジナルのチャネルのうちの第２のチャネルで、パラメトリック副情報がマルチチャネルのオリジナルの信号のオリジナルのチャネル間の相関を記述する装置であって、オリジナルのマルチチャネル信号と、第１および第２の入力チャネルの一方または第１および第２の入力チャネルの合成から選択することにより、第１のベースチャネルを求め、第２のベースチャネルが第１のベースチャネルと異なるように、第１および第２の入力チャネルのもう一方または第１および第２の入力チャネルの異なる合成を選択することにより、第２のベースチャネルを求める手段と、パラメトリック副情報および第１のベースチャネルを用いて、第１のオリジナルのチャネルの復元バージョンで、想定した聴取者位置の一方の側のある、第１の合成出力チャネルを得ることにより、第１の出力チャネルを合成し、パラメトリック副情報および第２のベースチャネルを用いて、第２のオリジナルのチャネルの復元バージョンで、想定した聴取者位置と同じ側にある、第２の出力チャネルを合成する手段とを備える装置により達成される。

本発明の第２の態様によれば、この目的は、入力信号およびパラメトリック副情報を用いてマルチチャネル出力信号を構築する方法であって、入力信号はオリジナルのマルチチャネル信号から導出した第１の入力チャネルおよび第２の入力チャネルを含み、オリジナルのマルチチャネル信号は複数のチャネルを有し、該複数のチャネルは、想定した聴取者位置の一方の側にあると定義される、少なくとも２つのオリジナルのチャネルを含み、第１のオリジナルのチャネルが少なくとも２つのオリジナルのチャネルのうちの第１のチャネルで、第２のオリジナルのチャネルが少なくとも２つのオリジナルのチャネルのうちの第２のチャネルで、パラメトリック副情報がマルチチャネルのオリジナルの信号のオリジナルのチャネル間の相関を記述する方法であって、第１および第２の入力チャネルの一方または第１および第２の入力チャネルの合成から選択することにより、第１のベースチャネルを求め、第２のベースチャネルが第１のベースチャネルと異なるように、第１および第２の入力チャネルのもう一方または第１および第２の入力チャネルの異なる合成を選択することにより、第２のベースチャネルを求め、パラメトリック副情報および第１のベースチャネルを用いて、第１のオリジナルのチャネルの復元バージョンで、想定した聴取者位置の一方の側のある、第１の合成出力チャネルを得ることにより、第１の出力チャネルを合成し、パラメトリック副情報および第２のベースチャネルを用いて、第２のオリジナルのチャネルの復元バージョンで、想定した聴取者位置と同じ側にある、第２の出力チャネルを合成することを含む方法により達成される。

本発明の第３の態様によれば、この目的は、ダウンミックス信号が多数のオリジナルのチャネルより小さい多数のチャネルを有し、マルチチャネルのオリジナルの信号からダウンミックス信号を生成する装置であって、ダウンミックス規則を用いて、第１のダウンミックスチャネルおよび第２のダウンミックスチャネルを算出する手段と、マルチチャネルのオリジナルの信号内のチャネルの間のエネルギー分布を表すパラメトリックレベル情報を算出する手段と、２つのオリジナルのチャネルが想定した聴取者位置の一方の側にある、２つのオリジナルのチャネルの間のコヒーレンス測定値を求める手段と、第１のダウンミックスチャネルおよび第２のダウンミックスチャネル、パラメトリックレベル情報および一方の側にある２つのオリジナルのチャネルの間の少なくとも１つのコヒーレンス測定値だけ、または少なくとも１つのコヒーレンス測定値から送出した値を用いるが、想定した聴取者位置の異なる側にあるチャネルの間のコヒーレンス測定値を用いずに、出力信号を生成する手段とを備える装置により達成される。

本発明の第４の態様によれば、この目的は、ダウンミックス信号が多数のオリジナルのチャネルより小さい多数のチャネルを有し、マルチチャネルのオリジナルの信号からダウンミックス信号を生成する方法であって、ダウンミックス規則を用いて、第１のダウンミックスチャネルおよび第２のダウンミックスチャネルを算出し、マルチチャネルのオリジナルの信号内のチャネルの間のエネルギー分布を表すパラメトリックレベル情報を算出し、２つのオリジナルのチャネルが想定した聴取者位置の一方の側にある、２つのオリジナルのチャネルの間のコヒーレンス測定値を求め、第１のダウンミックスチャネルおよび第２のダウンミックスチャネル、パラメトリックレベル情報および一方の側にある２つのオリジナルのチャネルの間の少なくとも１つのコヒーレンス測定値だけ、または少なくとも１つのコヒーレンス測定値から送出した値を用いるが、想定した聴取者位置の異なる側にあるチャネルの間のコヒーレンス測定値を用いずに、出力信号を生成することを含む方法により達成される。

本発明の第５の態様および第６の態様によれば、この目的は、マルチチャネルを構築する方法、またはダウンミックス信号を生成する方法を実行するプログラムコードを有するコンピュータプログラムにより達成される。

本発明は、エンコーダからデコーダに送信することができる２つ以上のチャネルがある場合、効率的にアーティファクトを低減して、マルチチャネル出力信号の再生を行えるという知見に基づいている。好ましくは左ステレオチャネルおよび右ステレオチャネルであるチャネルは、特定の度合いのインコヒーレンスを示す。これが通常の場合であるのは、マルチチャネル信号をダウンミキシングすることにより得られるような、左ステレオチャネルおよび右ステレオチャネルまたは左互換ステレオチャネルおよび右互換ステレオチャネルは通常、特定の度合いのインコヒーレンスを示すからである。すなわち、完全にコヒーレントでないから、または完全に相関していないからである。

本発明によれば、マルチチャネル出力信号の復元した出力チャネルは、異なる出力チャネルに対して異なるベースチャネルを求めることにより、互いに非相関になる。度合いが違う非相関送信チャネルを用いることにより、異なるベースチャネルを得る。

換言すれば、復元した出力チャネルは、例えば、ベースチャネルである左側送信入力チャネルが、ＢＣＣサブバンド領域で、別の復元した出力チャネルと完全に相関する。“相関合成”をさらに行わないと仮定すると、これは、例えば、同じ左チャネルをベースチャネルとして有している。この文脈では、決定性遅延およびレベル設定では、チャネルの間のコヒーレンスを低減しないことに留意されたい。本発明によれば、第１のベースチャネルを用いて第１の出力チャネルを構築し、第２のベースチャネルを用いて第２の出力チャネルを構築することにより、１００％上記の例に当てはまるこれらのチャネルの間のコヒーレンスを、特定のコヒーレンス度またはコヒーレンス測定値に低減する。第１および第２のベースチャネルは、２つの送信（非相関）チャネルに異なる“部分”を有している。このことは、第１のベースチャネルが、第１のチャネルからあまり影響を受けない第２のベースチャネルと比較して、第１の送信チャネルからより強く影響を受けること、あるいは第１の送信チャネルと全く同じであることを意味している。すなわち、第２の送信チャネルからより影響を受けるということを意味している。

本発明によれば、送信チャネル間の固有の非相関性を用いて、マルチチャネル出力信号に非相関チャネルを生成する。

好適な実施の形態では、フロント左および左サラウンドまたはフロント右および右サラウンド等のそれぞれのチャネル対の間のコヒーレンス測定値が、時間依存および周波数依存的な方法でエンコーダで求められ、副情報として、進歩性のあるデコーダに送信する。ベースチャネルを動的に求めるので、復元した出力チャネル間でコヒーレンスを動的に操作することができる。

２つの最も強力なチャネルのＩＣＣキューだけを送信する、上述の従来技術の場合と比較すると、進歩性のあるシステムでは、制御が容易で、より良好な品質再生が行えるのは、エンコーダまたはデコーダで最も強力なチャネルを求める必要がなく、このチャネル対が、最も強力なチャネルを含んでいるかどうかという事実にかかわらず、進歩性のあるコヒーレンス測定値は常に同じチャネル対と相関するからである。左側／右側コヒーレンスに関する余計な情報を必要とせずに、左側／右側コヒーレンス関係が自動的に送信されるように、２つのダウンミキシングチャネルがエンコーダからデコーダヘ送信されるという点で、従来技術のシステムと比較して、より高い品質が得られる。

さらに本発明の利点は、通常の非相関処理負荷を低減することができ、あるいは、完全に除去することができるので、デコーダ側の計算作業負荷を低減することができるという事実からわかる。

好ましくは、従来技術のように、付加的“合成”ジョイントステレオチャネルではなく、ダウンミックスチャネルの１つに相関するように、１以上のオリジナルのチャネルのパラメトリックチャネル副情報を導出する。このことは、デコーダ側で、チャネル復元装置が、チャネル副情報を割り当てて、オリジナルのオーディオチャネルの近似値を復元するために、チャネル副情報と、ダウンミックスチャネルの１つまたはダウンミックスチャネルの合成とを用いて、パラメトリックチャネル副情報が算出されることを意味する。

マルチチャネルオーディオ信号をデコーダで再生することができるように、ビット効率的にマルチチャネル拡張を行うという点で、この概念は利点がある。

また、概念が後方互換性であるのは、２チャネル処理しか行えない低機能のデコーダは、拡張情報、すなわち、チャネル副情報をそのまま無視することができるからである。低機能のデコーダは、オリジナルのマルチチャネルオーディオ信号のステレオ表現を得るために、２つのダウンミックスチャネルだけを再生する。しかしながら、マルチチャネル動作が可能な、より高機能のデコーダは、オリジナルのチャネルの近似値を復元するために、送信チャネル副情報を用いる。

従来技術とは異なり、第１のダウンミックスチャネルおよび第２のダウンミックスチャネルＬｃ、Ｒｃ以上のキャリアチャネルをさらに必要とないので、ビット効率的であるという点で、本実施の形態は利点がある。その代わり、チャネル副情報は、１つまたは２つのダウンミックスチャネルに相関する。このことは、ダウンミックスチャネル自体がキャリアチャネルとして働き、これに対し、チャネル副情報を合成してオリジナルのオーディオチャネルを復元することを意味する。このことは、チャネル副情報が好ましくは、パラメトリック副情報であること、すなわち、サブバンドサンプルまたはスペクトル係数を全く含まない情報であるという意味である。その代わり、パラメトリック副情報は、（時間および／または周波数で）それぞれのダウンミックスチャネルまたはそれぞれのダウンミックスチャネルの合成を重み付けして、選択したオリジナルのチャネルの復元したバージョンを得るために用いる情報である。

本発明の好適な実施の形態では、互換ステレオ信号に基づくマルチチャネル信号に、後方互換性符号化を行う。好ましくは、マルチチャネルオーディオ信号のオリジナルのチャネルに対しマトリックス化を用いることにより、互換ステレオ信号（ダウンミックス信号）が生成される。

好ましくは、インテンシティステレオ符号化またはバイノーラルキュー符号化等のジョイントステレオ技術に基づいて、選択したオリジナルのチャネルのチャネル副情報が得られる。従って、デコーダ側では、逆マトリックス演算を行う必要がない。逆マトリックス化に対応付けられた問題、すなわち、逆マトリックス演算での量子化ノイズの不要の分布に相関する特定のアーティファクトが回避される。これは、デコーダが、ダウンミックスチャネルのうちの１つまたはダウンミックスチャネルの合成と、送信チャネル副情報とを用いることにより、オリジナルの信号を復元するチャネル復元装置を用いるという事実によるものである。

好ましくは、進歩性のある概念は、５つのチャネルを有するマルチチャネルオーディオ信号に適用される。これらの５つのチャネルは、左チャネルＬ、右チャネルＲ、センターチャネルＣ、左サラウンドチャネルＬｓ、および右サラウンドチャネルＲｓである。好ましくは、ダウンミックスチャネルは、ステレオ互換ダウンミックスチャネルＬｓおよびＲｓである。これらは、オリジナルのマルチチャネルオーディオ信号のステレオ表現を生成する。

本発明の好適な実施の形態によれば、オリジナルのチャネルそれぞれに対し、チャネル副情報はエンコーダ側で算出され、出力データに詰め込む。左ダウンミックスチャネルを用いて、オリジナルの左チャネルのチャネル副情報は導出される。左ダウンミックスチャネルを用いて、オリジナルの左サラウンドチャネルのチャネル副情報は導出される。オリジナルの右チャネルのチャネル副情報は、右ダウンミックスチャネルから導出される。オリジナルの右サラウンドチャネルのチャネル副情報は、右ダウンミックスチャネルから導出される。

本発明の好適な実施の形態によれば、第１のダウンミックスチャネルとともに第２のダウンミックスチャネルを用いて、すなわち、２つのダウンミックスチャネルの合成を用いて、オリジナルのセンターチャネルのチャネル情報は導出される。好ましくは、この合成は、加算値である。

従って、グループ分け、すなわち、チャネル副情報およびキャリア信号の関係、すなわち、選択したオリジナルのチャネルのチャネル副情報を生成するのに用いたダウンミックスチャネルは、最適条件の品質として、特定のダウンミックスチャネルが選択される。特定のダウンミックスチャネルは、チャネル副情報により表される、オリジナルのマルチチャネル信号それぞれの、最も高い、可能な相対量を含んでいる。かかるジョイントステレオキャリア信号として、第１のダウンミックスチャネルおよび第２のダウンミックスチャネルが用いられる。好ましくは、第１のダウンミックスチャネルおよび第２のダウンミックスチャネルの合計値も、用いることができる。当然、第１のダウンミックスチャネルおよび第２のダウンミックスチャネルの合計値を用いて、オリジナルのチャネルそれぞれのチャネル副情報を算出することができる。しかしながら、好ましくは、５チャネルサラウンド、７チャネルサラウンド、５．１サラウンドまたは７．１サラウンド等のサラウンド環境では、ダウンミックスチャネルの合計値を用いて、オリジナルのセンターチャネルのチャネル副情報を算出する。第１のダウンミックスチャネルおよび第２のダウンミックスチャネルの合計値を用いることが特に利点があるのは、伝送オーバーヘッドをさらに行う必要がないからである。これは、伝送ビットをさらに必要とすることなく、これらのダウンミックスチャネルを合計することを、デコーダで簡単に行うことができるように、２つのダウンミックスチャネルがデコーダに存在するという事実によるものである。

好ましくは、低機能のデコーダが単純にマルチチャネル拡張データを無視して、マルチチャネルオーディオ信号のステレオ表現だけを生成するように、マルチチャネル拡張を生成するチャネル副情報は、互換性があるように出力データビットストリームに入力される。しかしながら、より高機能のエンコーダは、２つのダウンミックスチャネルばかりでなく、さらに、オリジナルのオーディオ信号の完全なマルチチャネル表現を再現するために、チャネル副情報も用いる。

続いて、添付の図面を参照して、本発明の好適な実施の形態について説明する。

図１Ａは、進歩性のあるエンコーダの好適な実施の形態のブロック図である。
図１Ｂは、それぞれの入力チャネル対に対してコヒーレンス測定値を生成するための進歩性のあるエンコーダのブロック図である。
図２Ａは、進歩性のあるデコーダの好適な実施の形態のブロック図である。
図２Ｂは、異なる出力チャネルに対し、異なるベースチャネルを有する進歩性のあるデコーダのブロック図である。
図２Ｃは、図２Ｂの合成手段の好適な実施の形態を示すブロック図である。
図２Ｄは、図２Ｃに示す５チャネルサラウンドシステム用の装置の好適な実施の形態を示すブロック図である。
図２Ｅは、進歩性のあるエンコーダ内の、コヒーレンス測定値を求める手段の概略図である。
図２Ｆは、別のベースチャネルに対する特定のコヒーレンス測定値を有するベースチャネルを算出する重み付け係数を求める好適な一例を示す概略図である。
図２Ｇは、図２Ｆに示す方法で算出した特定の重み付け係数に基づいて、復元した出力チャネルを得る好適な方法を示す概略図である。
図３Ａは、周波数選択的チャネル副情報を得る算出手段の好適な実施例を示すブロック図である。
図３Ｂは、強度符号化またはバイノーラルキュー符号化等の、ジョイントステレオ処理を実施する計算器の好適な実施の形態である。
図４は、チャネル副情報を利得係数とする、チャネル副情報算出手段の別の好適な実施の形態を示す。
図５は、図４に示すようにエンコーダを実施する場合の、デコーダの実施例の好適な実施の形態を示す。
図６は、ダウンミックスチャネルを生成する手段の好適な実施例を示す。
図７は、それぞれのオリジナルのチャネルに対しチャネル副情報を算出するオリジナルのおよびダウンミックスチャネルのグループ分けを示す。
図８は、進歩性のあるエンコーダの別の好適な実施の形態を示す。
図９は、進歩性のあるデコーダの別の実施例を示す。
図１０は、従来技術のジョイントステレオエンコーダを示す。
図１１は、従来技術のＢＣＣエンコーダ／デコーダチェーン？を表すブロック図である。
図１２は、図１１のＢＣＣ合成ブロックの従来技術の実施例を示すブロック図である。
図１３は、ＩＣＬＤ、ＩＣＴＤおよびＩＣＣパラメータを求める周知の方法を表す。
図１４Ａは、異なるベースチャネルにより、異なる出力チャネルを再生する方法の概略図である。
図１４Ｂは、ＩＣＣパラメータおよびＩＣＴＤパラメータを求めるのに必要なチャネル対を示す。
図１５Ａは、５チャネル出力信号を構築するベースチャネルを選択する第１の選択を示す概略図である。
図１５Ｂは、５チャネル出力信号を構築するベースチャネルを選択する第２の選択を示す概略図である。

図１Ａは、Ｒ、ＬおよびＣ等の、少なくとも３つのオリジナルのチャネルを有するマルチチャネルオーディオ信号１０を処理するための装置を示す。好ましくは、オリジナルのオーディオ信号は、図１Ａに示す、サラウンド環境での５つのチャネルといった、４つ以上のチャネルを有する。５つのチャネルは、左チャネルＬ、右チャネルＲ、センターチャネルＣ、左サラウンドチャネルＬｓおよび右サラウンドチャネルＲｓである。進歩性のある装置は、オリジナルのチャネルから導出される、第１のダウンミックスチャネルＬｃおよび第２のダウンミックスチャネルＲｃ、第１のダウンミックスチャネルおよび第２のダウンミックスチャネルを生成する手段１２を含む。オリジナルのチャネルからダウンミックスチャネルを導出するには、いくつかの可能性がある。１つの可能性は、図６に示すように、マトリックス演算を用いて、オリジナルのチャネルに対してマトリックス化を行うことにより、ダウンミックスチャネルＬｃおよびＲｃを導出することである。このマトリックス演算は、時間領域で行われる。

１以下になるように、マトリックス化パラメータａ、ｂおよびｔが選択される。好ましくは、ａおよびｂは、０．７または０．５である。好ましくは、チャネルクリッピングを回避するように、全体的な重み付けパラメータｔが選択される。

あるいは、図１Ａに示すように、ダウンミックスチャネルＬｃおよびＲｃを、外部から供給することもできる。ダウンミックスチャネルＬｃおよびＲｃが“ハンドミキシング”動作による結果である場合は、これを行ってもよい。このシナリオでは、自動化マトリックス演算を用いずに、音響技師が、オリジナルのマルチチャネルオーディオ信号を最も良いステレオ表現にできる、最適化ダウンミックスチャネルＬｃおよびＲｃを得るために、自分でダウンミックスチャネルをミキシングする。音響技師が創造的にミキシングを行う。

ダウンミックスチャネルを外部から供給する場合は、生成手段はマトリックス演算を行わないが、外部から供給したダウンミックスチャネルを、そのまま次の算出手段１４へ転送する。

算出手段１４は、Ｌ、Ｌｓ、ＲまたはＲｓといった、オリジナルのチャネルそれぞれに選択したｌ_i、ｌｓ_i、ｒ_iまたはｒｓ_i等のチャネル副情報を算出するために動作する。特に、算出手段１４は、チャネル副情報を用いて重み付けを行った場合は、ダウンミックスチャネルが選択したオリジナルのチャネルの近似値となるように、チャネル副情報を算出するために動作する。

あるいは、またはさらに、チャネル副情報算出手段はさらに、算出したチャネル副情報を用いて重み付けが選択したオリジナルのチャネルの近似値となった場合は、第１のダウンミックスチャネルおよび第２のダウンミックスチャネルの合成を含む合成ダウンミックスチャネルが、選択したオリジナルのチャネルのチャネル副情報を算出するために動作する。この特徴を、加算器１４ａおよび合成チャネル副情報計算器１４ｂとして図示している。

これらの装置は、別個の装置として実施する必要はないことは、当業者に明らかである。その代わりに、汎用プロセッサとすることもできる特定のプロセッサ、あるいは必要な機能を実行する任意の他の手段により、ブロック１４、１４ａ、および１４ｂのすべての機能が実行される。

また、サブバンドサンプルまたは周波数領域値であるチャネル信号は、大文字で表されていることにここで留意されたい。チャネル自体とは異なり、チャネル副情報は、小文字で表されている。従って、チャネル副情報ｃ_iは、オリジナルのセンターチャネルＣのチャネル副情報である。

チャネル副情報とともにダウンミックスチャネルＬｃおよびＲｃまたはオーディオエンコーダ１６で生成したような符号化バージョンＬｃ’およびＲｃ’は、出力データフォーマッタ１８に入力される。一般に、出力データフォーマッタ１８は、出力データを生成する手段として動作する。出力データは、少なくとも１つのオリジナルのチャネルのチャネル副情報、第１のダウンミックスチャネル（その符号化バージョン等）から導出した第１のダウンミックスチャネルまたは信号および第２のダウンミックスチャネル（その符号化バージョン等）から導出した第２のダウンミックスチャネルまたは信号を含む。

次に、出力データまたは出力ビットストリーム２０をビットストリームデコーダに送信したり、保存したり、配信したりすることができる。好ましくは、出力ビットストリーム２０は互換性のあるビットストリームである。これは、マルチチャネル拡張機能を持たない低機能のデコーダでも読み取ることができる。既存の標準のものであるＭＰ３デコーダ等の、かかる低機能のエンコーダは、マルチチャネル拡張データ、すなわち、チャネル副情報をそのまま無視してしまう。ステレオ出力を生成するために、第１のダウンミックスチャネルおよび第２のダウンミックスチャネルを復号化するだけである。マルチチャネルが可能なデコーダといった、より高機能のデコーダは、チャネル副情報を読み取って、次に、マルチチャネルオーディオ印象を得られるように、オリジナルのオーディオチャネルの近似値を生成する。

図８は、５つのチャネルサラウンド／ＭＰ３環境における本発明の好適な実施の形態を示す。ここでは、“ＭＰ３サラウンド”ビットストリームを得られるように、サラウンド拡張データを標準化ＭＰ３ビットストリームシンタックス内の補助データフィールドに書き込みを行うのに好適なものである。

図１Ｂは、図１Ａの装置１４をさらに詳細に示している。本発明の好適な実施の形態では、計算器１４は、図１Ａの１０で示すマルチチャネルのオリジナルの信号内にあるチャネルのエネルギー分布を表すパラメトリックレベル情報を算出する手段１４１を含む。従って、装置１４１は、すべてのオリジナルのチャネルの出力レベル情報を生成することができる。好適な実施の形態では、このレベル情報は、図１０〜１３で説明した、通常のＢＣＣ合成により得られるＩＣＬＤパラメータを含む。

装置１４はさらに、想定した聴取者位置の一方の側にある２つのオリジナルのチャネル間のコヒーレンス測定値を求める手段１４２を含んでいる。図１Ａに示す５チャネルサラウンドの例の場合は、かかるチャネル対は、右チャネルＲおよび右サラウンドチャネルＲｓを含んでおり、あるいはまたはさらに、左チャネルＬおよび左サラウンドチャネルＬｓを含む。あるいは、装置１４はさらに、かかるチャネル対の時間差を算出する手段１４３を備える。すなわち、チャネル対は、想定した聴取者位置の一方の側にあるチャネルを有する。

図１Ａの出力データフォーマッタ１８は、２０のデータストリームに、マルチチャネルオリジナルの信号内のチャネルのエネルギー分布と、左チャネルおよび左サラウンドチャネル対および／または右チャネルおよび右サラウンドチャネル対だけに対するコヒーレンス測定値とを表すレベル情報を入力するために動作する。しかしながら、出力データフォーマッタは、考えられるすべてのチャネル対に対するＩＣＣキューが送信される従来技術の方法と比較して、副情報の量が低減されるように、任意の他のコヒーレンス測定値を含まないように動作したり、またはオプションの時間差を出力信号に入力しないように動作したりする。

図１４Ａおよび図１４Ｂを参照すると、図１Ｂに示す進歩性のあるエンコーダがより詳細に示されている。図１４Ａでは、一例の５チャネルシステム用のチャネルスピーカの配列は、それぞれのスピーカを配置した円の中央点に位置する、想定した聴取者位置に対して与えられている。上記で概略で説明したように、５チャネルシステムは、左サラウンドチャネル、左チャネル、センターチャネル、右チャネルおよび右サラウンドチャネルを含む。当然、かかるシステムは、図１４に図示していないサブウーファーチャネルを含むこともできる。

左サラウンドチャネルは、“後方左チャネル”とも呼ばれることにここで留意されたい。右サラウンドチャネルに同じことが当てはまる。このチャネルは、後方右チャネルとしても周知である。

同じベースチャネル、すなわち、図１１に示す送信モノラル信号を用いてＮ個の出力チャネルをそれぞれ生成する、１つの伝送チャネルを有する最高レベルのＢＣＣとは異なり、進歩性のあるシステムでは、ベースチャネルとして、Ｎ個の送信チャネルのうちの１つまたはその１次結合を、Ｎ個の出力チャネルそれぞれのベースチャネルとして用いる。

従って、図１４は、Ｎ対Ｍ法、すなわち、Ｎ個のオリジナルのチャネルをダウンミキシングして２つのダウンミックスチャネルにする方法を示している。図１４の例では、Ｎは５に等しいが、Ｍは２に等しい。特に、フロント左チャネル再生では、送信左チャネルＬｃが用いられる。同様に、フロント右チャネル再生では、第２の送信チャネルＲｃがベースチャネルとして用いられる。また、ＬｃおよびＲｃを同じように合成したものをベースチャネルとして用いて、センターチャネルを再現する。本発明の一実施の形態によれば、相関測定値がさらに、エンコーダからデコーダに送信される。従って、左サラウンドチャネルに対しては、左サラウンドチャネルを復元するベースチャネルがフロント左チャネルを復元するベースチャネルと完全にコヒーレントしないように、送信左チャネルＬｃばかりでなく、送信チャネルＬｃ＋α₁Ｒｃも用いる。同様に、右サラウンドチャネルを復元するベースチャネルがフロント右チャネルを復元するベースチャネルと異なるという点で、同じ手順が（想定した聴取者位置に対して）右側に実行される。差は、エンコーダからデコーダへ副情報として送信ことが好ましいコヒーレンス測定値α₂に依存される。

従って、ベースチャネルが送信チャネルまたはその１次結合に等しい、異なるベースチャネルを用いて、好ましい出力チャネルをそれぞれ再生するという点で、進歩性のある処理は独特である。この１次結合は、度合いを変更するにあたって、送信ベースチャネルに依存することになる。これらの度合いは、オリジナルのマルチチャネル信号に依存するコヒーレンス測定値に依存する。

Ｎ個のベースチャネルをＭ個の送信チャネルから得る処理を、“アップミキシング”と呼ぶ。Ｎ個のベースチャネルを生成するために、１つのベクトルにＮ×Ｍ行列の送信チャネルを乗算することによって、このアップミキシングを実行することができる。これを行うことにより、出力チャネル信号のベース信号を作成するために、送信信号チャネルの１次結合が生成される。アップミキシングを行う特定の例について、図１４Ａに示す。これは、２チャネルステレオ伝送を行う５チャネルサラウンド出力信号を生成するために、５対２法が行われる。好ましくは、さらにサブウーファー出力チャネルを得るためのベースチャネルは、センターチャネルＬ＋Ｒと同じである。本発明の好適な実施の形態では、オプションで周波数選択的でもある時間適応アップミキシングマトリックスを得るように、時間可変およびオプションの周波数可変コヒーレンス測定値が生成される。

以下に、図１Ｂに示す進歩性のあるエンコーダ実施例のバックグラウンドを示す図１４Ｂを参照する。この文脈では、左、右、左サラウンドおよび右サラウンド間のＩＣＣキューおよびＩＣＴＤキューは、送信ステレオ信号と同じであることに留意されたい。従って、本発明によれば、左、右、左サラウンドおよび右サラウンド間でＩＣＣキューおよびＩＣＴＤキューを用いて、出力信号を合成したり復元したりする必要がない。左、右、左サラウンドおよび右サラウンド間でＩＣＣキューおよびＩＣＴＤキューを合成しない別の理由は、全体の目的が、最大信号品質を維持するため、ベースチャネルをほとんど変更する必要ない。いくらかの信号変更をおこなうことにより、場合によってはアーティファクトまたは不自然さを与えてしまう。

従って、ＩＣＬＤキューを生成することにより得られるオリジナルのマルチチャネル信号のレベル表現だけを生成するが、本発明によれば、想定した聴取者位置の一方の側のチャネル対に対してだけ、ＩＣＣパラメータおよびＩＣＴＤパラメータを算出して送信する。これを、図１４Ｂの左側点線１４４および右側点線１４５に示す。ＩＣＣおよびＩＣＴＤとは異なり、ＩＣＬＤ合成がアーティファクトおよび不自然さに関して問題とならないのは、サブバンド信号のスケーリングだけを必要とするからである。従って、ＩＣＬＤは、通常のＢＣＣと同様に一般的に、すなわち、基準チャネルと他の全チャネルとの間で合成される。さらに一般に、Ｎ２Ｍ法では、通常のＢＣＣと同じチャネル対の間でＩＣＬＤを合成する。しかしながら、本発明によれば、想定した聴取者位置に対して、すなわち、フロント左チャネルおよび左サラウンドチャネルを含むチャネル対、またはフロント右チャネルおよび右サラウンドチャネルを含むチャネル対に対して、同じ側のチャネル対の間で、ＩＣＣキューおよびＩＣＴＤキューを合成する。

左側に３つのチャネルがあり右側に３つのチャネルがある、７チャネルまたはより高次のサラウンドシステムの場合は、同じ方法を行うことができる。左側または右側の可能なチャネル対に対し、異なるベースチャネルを生成して、想定した聴取者位置の一方の側の異なる出力チャネルを再生するために、コヒーレンスパラメータが送信される。従って、図１Ａおよび図１Ｂに示すような進歩性のあるＮ対Ｍエンコーダは、入力信号にダウンミキシングを行って、１つのチャネルではなくＭ個のチャネルにする点と、これが必要なチャネル対の間だけで、ＩＣＴＤキューおよびＩＣＣキューを推定して送信するという点とにおいて、独特である。

５チャネルサラウンドシステムでは、図１４Ｂに示す状況から、左および左サラウンドの間での少なくとも１つのコヒーレンス測定値を送信することが必要であることがわかる。このコヒーレンス測定値を用いて、右および右サラウンドを非相関にすることもできる。これは、下位の副情報実施例である。チャネル容量をさらに利用できる場合は、進歩性のあるデコーダでは、左側および右側で非相関を異なる度合いでも得られるように、右および右サラウンドチャネル間で別のコヒーレンス測定値を生成して送信することもできる。

図２Ａは、入力データポート２２で受信する入力データを逆処理するための装置として動作する、進歩性のあるデコーダを示す。入力データポート２２で受信するデータは、図１Ａの出力データポート２０で出力するデータと同じである。あるいは、有線チャネルを介してデータを送信せずに、無線チャネルを介して送信する場合は、データ入力ポート２２で受信するデータは、エンコーダが生成したオリジナルのデータから導出したデータである。

デコーダ入力データは、最終的にチャネル副情報２６、左ダウンミックスチャネル２８および右ダウンミックスチャネル３０を得るために、入力データを読み込んで、データストリームリーダ２４に入力される。図１Ａのオーディオエンコーダ１６が存在する場合に対応する、入力データがダウンミックスチャネルの符号化バージョンを含む場合は、データストリームリーダ２４は、オーディオデコーダも含む。これは、符号化ダウンミックスチャネルに用いられるオーディオエンコーダに適用する。この場合は、データストリームリーダ２４の一部であるオーディオデコーダは、第１のダウンミックスチャネルＬｃおよび第２のダウンミックスチャネルＲｃを生成するために動作する。つまり、より正確にいえば、これらのチャネルの復号化バージョンを生成するように動作する。説明を簡単にするために、信号およびその復号化バージョンは、明確に述べることで区別する。

データストリームリーダ２４が出力したチャネル副情報２６、左ダウンミックスチャネル２８および右ダウンミックスチャネル３０は、オリジナルのオーディオ信号の復元したバージョン３４を生成するために、マルチチャネル復元装置３２に供給される。これは、マルチチャネルプレーヤ３６により、再生することができる。マルチチャネル復元装置が周波数領域で動作する場合は、マルチチャネルプレーヤ３６は、周波数領域入力データを受信することになる。このデータは、再生前に時間領域に変換するというように、特定の方法で復号化する必要がある。このために、マルチチャネルプレーヤ３６は、復号化機能についても含んでいても良い。

低機能のデコーダは、データストリームリーダ２４だけを有していることにここで留意されたい。これは、左ダウンミックスチャネル２８および右ダウンミックスチャネル３０をステレオ出力３８に出力するだけである。しかしながら、向上した進歩性のあるデコーダは、オリジナルのチャネルの復元したバージョン３４を復元するために、チャネル副情報２６を抽出して、これらの副情報およびダウンミックスチャネル２８および３０を用いて、マルチチャネル復元装置３２を利用する。

図２Ｂは、図２Ａのマルチチャネル復元装置３２の進歩性のある実施例を示す。従って、図２Ｂは、入力信号およびパラメトリック副情報を用いて、マルチチャネル出力信号を構築する装置を示す。入力信号は、オリジナルのマルチチャネル信号から抽出した、第１の入力チャネルおよび第２の入力チャネルを含む。パラメトリック副情報は、マルチチャネルのオリジナルの信号のチャネル間の相関を記述する。図２Ｂに示す進歩性のある装置は、第１のオリジナルのチャネルおよび第２のオリジナルのチャネルに依存するコヒーレンス測定値を生成する手段３２０を含む。第１のオリジナルのチャネルおよび第２のオリジナルのチャネルは、オリジナルのマルチチャネル信号に含まれる。コヒーレンス測定値がパラメトリック副情報に含まれる場合は、図２Ｂに示すように、パラメトリック副情報は手段３２０に入力される。手段３２０により生成されたコヒーレンス測定値は、ベースチャネルを求める手段３２２に入力される。特に、手段３２２は、第１および第２の入力チャネルのいずれか一方または第１および第２の入力チャネルの所定の合成を選択することにより、第１のベースチャネルを求めるように動作する。手段３２２はさらに、第２のベースチャネルが、コヒーレンス測定値により第１のベースチャネルとは異なるように、コヒーレンス測定値を用いて第２のベースチャネルを求めるために動作する。５チャネルサラウンドシステムに関する、図２Ｂに示す例では、第１の入力チャネルが左互換ステレオチャネルＬｃで、第２の入力チャネルが右互換ステレオチャネルＲｃである。手段３２２は、図１４Ａですでに説明した、ベースチャネルを求めるために動作する。従って、手段３２２の出力で、復元した出力チャネルそれぞれの個別のベースチャネルを得る。好ましくは、手段３２２で出力するベースチャネルは、お互いすべて異なっている。すなわち、ベースチャネル自体の間で、対毎に異なるコヒーレンス測定値を有している。

手段３２２が出力するベースチャネルと、ＩＣＬＤ、ＩＣＴＤまたはインテンシティステレオ情報等のパラメトリック副情報とを、パラメトリック副情報および第１のベースチャネルを用いて、第１の合成出力チャネルＬを得るために、Ｌ等の第１の出力チャネルを合成する手段３２４に入力する。これは、対応する第１のオリジナルのチャネルの復元バージョンであって、パラメトリック副情報および第２のベースチャネルを用いて、Ｌｓ等の第２の出力チャネルを合成する。第２の出力チャネルは、第２のオリジナルのチャネルの復元バージョンである。また、合成手段３２４は、別の対のベースチャネルを用いて、右チャネルＲおよび右サラウンドチャネルＲｓを再生するために動作する。この別の対のベースチャネルは、コヒーレンス測定値または右／右サラウンドチャネル対用に導出した付加的コヒーレンス測定値により、お互い対のそれぞれと異なっている。

図２Ｃに、進歩性のあるデコーダのさらに詳細な実施例を示す。図２Ｃに示す好適な実施の形態では、概略構造は、トップレベルの従来技術のＢＣＣデコーダに関して図１２ですでに説明した構造と同じであることがわかる。図１２とは逆に、図２Ｃに示す進歩性のある方法は、２つのオーディオフィルタバンクを含んでいる。すなわち、一方のフィルタバンクは各入力信号用である。当然、１つのフィルタバンクでも十分である。この場合は、１つのフィルタバンクに入力信号を順次入力するという制御が必要である。フィルタバンクは、ブロック３１９ａおよび３１９ｂで示されている。図２Ｂに示す装置３２０および３２２の機能は、図２Ｃのアップミキシングブロック３２３に含まれている。

アップミキシングブロック３２３の出力では、お互い異なるベースチャネルが得られる。図１２とは異なり、ノード１３０上のベースチャネルは、お互い全く同じである。好ましくは、図２Ｂに示す合成手段３２４は、遅延段３２４ａ、レベル変更段３２４ｂを含む。そして、場合により、さらに処理タスクを行う処理段３２４ｃとともにそれぞれの数の逆オーディオフィルタバンク３２４ｄを含む。一実施の形態では、装置３２４ａ、３２４ｂ、３２４ｃおよび３２４ｄの機能を、図１２で説明した従来技術の装置と同じとすることができる。

図２Ｄは、５チャネルサラウンドセットアップの図２Ｃをさらに詳細に示している。２つの入力チャネルｙ₁およびｙ₂を入力して、図２Ｄに示すように、５つの構築出力チャネルを得る。図２Ｃとは異なり、アップミキシングブロック３２３の設計がより詳細に示されている。特に、センター出力チャネルを復元してベースチャネルを生成する加算装置３３０が示されている。また、“Ｗ”と記されている２つのブロック３３１、３３２が図２Ｄに示されている。これらのブロックは、コヒーレンス測定値入力３３４に入力するコヒーレンス測定値Ｋに基づいて、２つの入力チャネルを重み付けして合成する。好ましくは、重み付けブロック３３１または３３２は、以下で概略を説明する、時間および周波数を平滑にするというような、ベースチャネルにそれぞれ後処理動作も行う。従って、図２Ｃは図２Ｄ概略の場合である。図２Ｃは、デコーダのＭ個の入力チャネルからどのようにＮ個の出力チャネルを生成するかについて示している。送信信号が、サブバンド領域に変換される。

各出力チャネルに対してベースチャネルを算出する処理について、アップミキシングと記しているのは、各ベースチャネルは好ましくは、送信チャネルの１次結合であるからである。アップミキシングは、時間領域またはサブバンドまたは周波数で行うことができる。

各ベースチャネルを算出するには、送信チャネルが位相から外れていたり、位相内にあったりする場合は、特定の処理を行って、相殺／増幅作用を低減することができる。サブバンド信号に遅延を加えることにより、ＩＣＴＤが合成され、サブバンド信号をスケーリングすることにより、ＩＣＬＤが合成される。重み付け係数を操作したり、または乱数シーケンスにより時間遅延を行ったりする等の、異なる技術を用いてＩＣＣを合成することができる。しかしながら、好ましくは、各出力チャネルに対して異なるベースチャネルを進歩性のある方法で算出する場合を除いて、出力チャネル間でコヒーレンス／相関処理を行わないことにここで留意されたい。従って、好適な進歩性のある装置は、エンコーダから受信したＩＣＣキューを処理して、エンコーダから受信したベースチャネル、ＩＣＴＤキューおよびＩＣＬＤキューを構築して、すでに構築したベースチャネルを操作する。従って、ＩＣＣキュー、さらに一般的には、コヒーレンス測定値を用いずにベースチャネルを操作するが、これらを用いてベースチャネルを構築して、これを後から操作する。

図２Ｄに示す特定の例では、５チャネルサラウンド信号は、２チャネルステレオ伝送から復号化される。送信された２チャネルステレオ信号は、サブバンド領域に変換される。次に、５つの好ましい異なるベースチャネルを生成するために、アップミキシングが行われる。図１４Ｂで説明したように、遅延ｄ_i（ｋ）を加えることにより、左および左サラウンドの間と、右および右サラウンドの間とだけで、ＩＣＴＤキューが合成される。また、ブロック３２４ｃでは後処理を何も行わずに、図２Ｄのベースチャネル（ブロック３３１および３３２）を構築するために、コヒーレンス測定値を用いられる。

進歩性のある方法で、送信したステレオ信号で操作したように、左、右、左サラウンドおよび右サラウンド間のＩＣＣキューおよびＩＣＴＤキューを維持する。従って、１つのＩＣＣキューおよび１つのＩＣＴＤキューパラメータで十分であるので、これらをエンコーダからデコーダに送信する。

別の実施の形態では、両側用のＩＣＣキューおよびＩＣＴＤキューを、エンコーダで算出することができる。これらの２つの値を、エンコーダからデコーダで送信することができる。あるいは、両側用のキューを平均関数等の数学的関数に入力して２つのコヒーレンス測定値から得られる値を導出することにより、エンコーダが、得られるＩＣＣまたはＩＣＴＤキューを算出することができる。

以下に、図１５Ａおよび図１５Ｂを参照して、進歩性のある概念の複雑度が低い実施例を示す。複雑度が高い実施例では、エンコーダ側で少なくとも想定した聴取者位置の一方の側のチャネル対の間でコヒーレンス測定値を算出する必要がなく、好ましくは量子化してエントロピー符号化を行った形態で、このコヒーレンス測定値を送信する必要があるが、複雑度が低いバージョンでは、エンコーダ側でコヒーレンス測定値を算出する必要がなく、符号化からデコーダへかかる情報を送信する必要がない。しかしながら、復元したマルチチャネル出力信号の良好な主観的品質を得るためには、所定のコヒーレンス測定値、つまり換言すれば、かかる所定の重み付け係数を用いて、送信した入力チャネルの重み付けした合成を求める所定の重み付け係数が、図２Ｄの手段３２４により生成される。ベースチャネルのコヒーレンスを低減して出力チャネルを復元する、いくつかの可能性がある。進歩性のある手段を用いないと、それぞれの出力チャネルは、ＩＣＣおよびＩＣＴＤを符号化せず送信しない、完全にコヒーレントな基本の実施例になってしまう。従って、再現した出力信号が対応するオリジナルのチャネルの近似値よりも良好になるように、いずれかの任意の所定のコヒーレンス測定値を用いることにより、復元した出力信号内のコヒーレンスを低減することになる。

従って、ベースチャネルが完全にコヒーレントとなることを防ぐために、例えば一例として図１５Ａに示すように、または別の一例として図１５Ｂに示すように、アップミキシングが行われる。送信ステレオ信号が完全にコヒーレントでない場合は、そのうちの１つが完全にコヒーレントとなるように、５つのベースチャネルが算出される。これは、左チャネルおよび右チャネル間の内部チャネルコヒーレンスを低減する場合は、左チャネルおよび左サラウンドチャネルの間、または右チャネルおよび右サラウンドチャネルの間の内部チャネルコヒーレンスを自動的に低減する結果となる。例えば、アプローズ信号等の全チャネルで独立したオーディオ信号には、かかるアップミキシングは、合成内部チャネルコヒーレンスを明確に合成（および符号化）する必要なく、左、左サラウンド、右および右サラウンド間で特定の独立性が生成されるという利点がある。もちろん、やはりＩＣＣおよびＩＣＴＤを合成する方法を用いて、アップミキシングのこの第２のバージョンを合成することができる。

図１５Ａは、フロント左およびフロント右を最適化するアップミキシングを示す。フロント左およびフロント右の間で最も大きい独立性が維持されている。

図１５Ｂは、別の例を示す。フロントチャネルおよび後方チャネルの独立性の度合いの程度が同じとなっている点で、一方ではフロント左およびフロント右を、他方では左サラウンドおよび右サラウンドを、同じように処理している。フロント左／右の間の角度が、左サラウンド／右の間の角度と同じであるという事実により、このことが図１５Ｂでわかる。

本発明の好適な実施の形態によれば、静的に選択を行う代わりに、動的アップミキシングが用いられる。このために、本発明は、動的パフォーマンスを最適化するために、動的にアップミキシングマトリックスを適用可能にする、向上したアルゴリズムに関する。以下に示す例では、フロント後方コヒーレンスを最適条件で再現することが可能となるように、アップミキシング行列を、バックチャネルに対して選択することができる。進歩性のあるアルゴリズムは、次の工程を含む。

フロントチャネルに対し、図１４Ａまたは１５Ａで説明したように、単純に割り当てたベースチャネルが用いられる。この単純な選択により、左側／右側軸に沿ったチャネルのコヒーレンスが保存される。

エンコーダでは、左／左サラウンド間および好ましくは右／右サラウンド対間の、ＩＣＣキュー等のフロントバックコヒーレンス値が測定される。

デコーダでは、送信チャネル信号の１次結合、すなわち、送信左チャネルおよび送信右チャネルを生成することにより、左後方チャネルおよび右後方チャネルに対するベースチャネルが求められる。特に、左、左サラウンド、右および右サラウンド間の実際のコヒーレンスがエンコーダで測定した値になるように、アップミキシング係数が求められる。実用的な目的のために、一般的な５チャネルシナリオで通常のケースである、送信チャネル信号が十分非相関であることを示す場合は、これを実現することができる。

動的アップミキシングを行う好適な実施の形態では、本発明を実施する最良の形態として考えられる、一例としての実施例をエンコーダ実施例として図２Ｅに、そして、デコーダ実施例として図２Ｆおよび図２Ｇに示す。図２Ｅは、左および左サラウンドチャネル間または右および右サラウンドチャネル間で、すなわち、想定した聴取者位置の一方の側にあるチャネル対の間で、フロント／バックコヒーレンス値（ＩＣＣ値）を測定する一例を示す。

図２Ｅのボックスに示す式は、第１のチャネルｘおよび第２のチャネルｙ間のコヒーレンス測定値ｃｃを与える。ある例では、第１のチャネルｘが左チャネルで、第２のチャネルｙが左サラウンドチャネルである。別の例では、第１のチャネルｘが右チャネルで、第２のチャネルｙが右サラウンドチャネルである。ｘ_iは、時間インスタンスｉでのそれぞれのチャネルｘのサンプルを表し、ｙ_iは、他のオリジナルのチャネルｙの時間インスタンスでのサンプルを表す。コヒーレンス測定値を、時間領域で完全に算出できることにここで留意されたい。この場合は、加算添字ｉは、下部境界から上部境界まで実行される。他の境界は通常、フレーム的処理の場合の１フレーム内のサンプルの数と同じである。

あるいは、バンドパス信号間で、すなわち、オリジナルのオーディオ信号に対して低減した帯域幅を有する信号の間で、コヒーレンス測定値を算出することもできる。後者の場合では、コヒーレンス測定値は、時間に依存するばかりでなく、周波数にも依存する。得られるフロント／バックＩＣＣキュー、すなわち、左フロント／バックコヒーレンスのＣＣ_lと右フロント／バックコヒーレンスのＣＣ_rとは、好ましくは量子化して符号化した形態で、パラメトリック副情報としてデコーダに送信される。

以下に、図２Ｆを参照して、好適なデコーダアップミキシング法を示す。図示の場合では、送信左チャネルを、左側出力チャネルのベースチャネルとして維持する。左後方出力チャネルのベースチャネルを導出するために、左側（ｌ）および右側（ｒ）送信チャネル間の１次結合、すなわち、ｌ＋αｒを求める。ｌおよびｌ＋ｒの間の相互相関が、送信した所望の値の左側ＣＣ_lおよび右側ＣＣ_rまたは一般にコヒーレンス測定値ｋと等しくなるように、重み付け係数αが求められる。

適切な値の算出は、図２Ｆに説明される。特に、２つの信号ｌおよびｒの正規化相互相関について、図２Ｅのブロックの式のように定義される。

２つの送信信号ｌおよびｒの場合は、信号ｌおよびｌ＋αｒの正規化相互相関が、所望の値ｋ、すなわち、コヒーレンス測定値と等しくなるように、重み付け係数を求める必要がある。この測定値は、−１から＋１の間で定義される。

２つのチャネルの相互相関の定義を用いると、値ｋに対して、図２Ｆの式が得られる。図２Ｆの下部に示すいくつかの略記を用いることにより、ｋの条件を、２次方程式として書き換えることができる。この解により、重み付け係数αが与えられる。

式は常に実数値の解であること、すなわち、判別式が正になるように保証されていることがわかる。

信号ｌおよびｒの基本的な相互相関、所望の相互相関ｋにより、２つの導出した解の一方が、実際に負の所望の相互相関値となることもあるので、さらにすべてを算出するために、これを放棄する。

ｌ信号およびｒ信号の１次結合としてベースチャネル信号を算出した後、得られる信号は、送信したｌまたはｒチャネル信号のオリジナルの信号エネルギーに対して正規化（再スケーリング）される。

同様に、左および右チャネルの役割を交換することにより、すなわち、ｒおよびｒ＋αｌの間の相互相関を考慮することにより、右出力チャネルのベースチャネル信号を導出することができる。

実際には、最大の信号品質を得るために、α値を算出処理した結果を、時間および周波数に対して平滑化することは好ましい。信号品質をさらに最大にするために、左／左後方および右／右後方相関測定値の他に、フロント／バック相関測定値が用いられる。

続いて、図２Ｇを参照して、図２Ａのマルチチャネル復元装置３２が行う機能について、順に説明する。

好ましくは、エンコーダからデコーダへ生成した動的コヒーレンス測定値に基づいて、図１５Ａおよび図１５Ｂで説明したように、静的に生成したコヒーレンス測定値に基づいて、重み付け係数αが算出される（２００）。次に、重み付け係数は、平滑化重み付け係数α_sを得るために、時間および／または周波数に対して平滑化される。（ステップ２０２）次に、ベースチャネルｂは例えばｌ＋α_sｒとして（ステップ２０４）算出される。次にベースチャネルｂは、未処理の出力信号を算出するために、他のベースチャネルとともに用いられる。

ボックス２０６から明らかになるように、未処理の出力信号を算出するために、レベル表現ＩＣＬＤとともに遅延表現ＩＣＴＤが必要である。次に、未処理の出力信号は、左および右入力チャネルのそれぞれのエネルギーの合計と同じエネルギーを持つために、スケーリングされる。換言すれば、スケーリングした未処理の出力信号のそれぞれのエネルギーの合計が、左および右送信入力チャネルのそれぞれのエネルギーの合計と同じになるように、スケーリング係数の手段により、未処理の出力信号がスケーリングされる。

あるいは、左および右送信チャネルの合計を算出することもでき、得られる信号のエネルギーを用いて、算出することもできる。また、未処理の出力信号をサンプル毎に合計することにより和信号を算出することもでき、スケーリング用に得られる信号エネルギーを用いて算出することもできる。

次に、ボックス２０８の出力では、復元した出力チャネルが得られる。これは、再現した出力信号の最大品質が得られるように、復元した出力チャネルのいずれも、復元した出力チャネルもう一方に対して完全にコヒーレントでないという点で独特である。

要約すると、進歩性のある概念は、送信チャネルの任意の数（Ｍ）および出力チャネル（Ｎ）の任意の数を用いることができるという点で利点がある。

また、出力チャネルの送信チャネルと出力チャネルのベースチャネルとの間の変換が、好ましくは動的アップミキシングを介して行われる。

重要な一実施の形態では、アップミキシングは、アップミキシングマトリックスによる乗算、すなわち、送信チャネルの１次結合を生成することからなる。好ましくは、対応する送信ベースチャネルをベースチャネルとして用いることにより、フロントチャネルが合成される。一方、後方チャネルは、送信チャネルの１次結合からなる。１次結合の度合いは、コヒーレンス測定値に依存する。

また、好ましくは、このアップミキシング処理は、時間可変の方法で信号を適応可能に行われる。特に、好ましくは、アップミキシング処理は、フロント／後方コヒーレンス用の内部チャネルコヒーレンスキュー等として、ＢＣＣエンコーダから送信した副情報に依存する。

各出力チャネルのベースチャネルを仮定すると、空間キューを合成するために、通常のバイノーラルキュー符号化と同様の処理が行われる。すなわち、サブバンドにおいて、スケーリングおよび遅延を行って、チャネル間のコヒーレンスを低減する技術を用いる。ＩＣＣキューはさらに、または代替として、それぞれのベースチャネルを構築するために、フロント／後方コヒーレンスを最適に再現するために、用いられる。

図３Ａは、チャネル副情報を算出する、進歩性のある計算器１４の実施の形態を示す。これは、一方ではオーディオエンコーダと、他方ではチャネル副情報計算器とが、マルチチャネル信号の同じスペクトル表現に対して動作する。しかしながら、図１は、一方ではオーディオエンコーダと、他方ではチャネル副情報計算器とがマルチチャネル信号の異なるスペクトル表現に対して動作する、他の別の形態を示す。算出リソースがオーディオ品質ほど重要でない場合は、図１Ａの別の形態が好適であるのは、オーディオ符号化および副情報算出のためにそれぞれ最適化したフィルタバンクを用いることができるからである。しかしながら、算出リソースが問題事項である場合は、図３Ａの別の形態が好適であるのは、この別の形態では、要素を共用して利用しているので計算能力をあまり必要としないからである。

図３Ａに示す装置は、２つのチャネルＡ、Ｂを受信するために動作する。図３Ａに示す装置は、選択したオリジナルのチャネルＢに対してこのチャネル副情報を用いるように、チャネルＢの副情報を算出するために動作する。チャネルＢの復元したバージョンは、チャネル信号Ａから算出できる。また、図３Ａに示す装置は、スペクトル値またはサブバンドサンプルを（例えば、ＢＣＣ符号化として乗算したり、時間処理を行ったりすることにより）重み付けするパラメータ等の、周波数領域チャネル側副情報を形成するために動作する。このために、進歩性のある計算器は、出力１４０ｂのチャネルＡの周波数表現または出力１４０ｃのチャネルＢの周波数領域表現を得る、ウインドウ生成および時間／周波数変換手段１４０ａを含む。

好適な実施の形態では、量子化したスペクトル値を用いて、（副情報算出手段１４０ｆにより）副情報の算出を行う。次に、量子化器１４０ｄが存在する。好ましくは、これは、心理音響モデル制御入力１４０ｅを有する心理音響モデルを用いて制御される。しかしながら、副情報算出手段１４０ｃがチャネルＢのチャネル副情報を求めるチャネルＡの非量子化表現を用いる場合は、量子化器を必要としない。

チャネルＡの周波数領域表現およびチャネルＢの周波数領域表現により、チャネルＢのチャネル副情報を算出する場合は、ウインドウ生成および時間／周波数変換手段１４０ａを、フィルタバンクベースのオーディオエンコーダで用いられるのと同じように用いることができる。この場合、ＡＡＣ（ＩＳＯ／ＩＥＣ１３８１８−３）を考慮する場合は、手段１４０ａは、５０％オーバラップ加算機能を有するＭＤＣＴフィルタバンク（ＭＤＣＴ＝変形離散コサイン変換）として実施される。

このような場合は、量子化器１４０ｄは、ＭＰ３またはＡＡＣ符号化オーディオ信号を生成する際に用いられるような、反復量子化器である。好ましくはすでに量子化したチャネルＡの周波数領域表現を、次に直接用いてエントロピー符号化に使用される。エントロピーエンコーダ１４０ｇは、ハフマンベースのエンコーダまたは算術符号化を行うエントロピーエンコーダとすることもできる。

図１と比較すると、図３Ａの装置の出力は、オリジナルのチャネルの１つに対するｌ_i等の副情報である（装置１４０ｆの出力の、Ｂの副情報に対応する）。チャネルＡのエントロピー符号化ビットストリームは、例えば、図１のブロック１６の出力での符号化左ダウンミックスチャネルＬｃ’に対応する。図３Ａから、要素１４（図１）、すなわち、チャネル副情報およびオーディオエンコーダ１６を算出する計算器（図１）を、別の手段として、あるいは、２つの装置がＭＤＣＴフィルタバンク１４０ａ、量子化器１４０ｅおよびエントロピーエンコーダ１４０ｇ等のいくつかの要素を共有するように、共有バージョンとして実施することができる。当然、チャネル副情報を求める異なる変換等が必要な場合は、次に、２つの要素がフィルタバンク等を共有しないように、エンコーダ１６および計算器１４（図１）は異なる装置で実施される。

一般に、副情報を算出する実際の行列式（あるいは一般にいうと計算器１４）を、図３Ｂに示すジョイントステレオモジュールとして実施してもよい。これは、インテンシティステレオ符号化またはバイノーラルキュー符号化等の、任意のジョイントステレオ技術に従って動作する。

かかる従来技術のインテンシティステレオエンコーダとは異なり、進歩性のある算出手段１４０ｆは、合成チャネルを算出する必要はない。“合成チャネル”またはキャリアチャネルはすでに存在し、これは、左互換ダウンミックスチャネルＬｃまたは右側互換ダウンミックスチャネルＲｃまたはＬｃ＋Ｒｃ等のこれらのダウンミックスチャネルの合成バージョンであるということができる。従って、スケーリング情報、つまり、強度方向情報といえる情報を用いて、ダウンミックスチャネルが重み付けされる場合は、それぞれの選択したオリジナルのチャネルのエネルギー／時間包絡線を得るように、進歩性のある装置１４０ｆが行わなければならないことは、それぞれのダウンミックスチャネルをスケーリングするスケーリング情報を算出するだけである。

従って、図３Ｂのジョイントステレオモジュール１４０ｆは、入力として、第１のダウンミックスチャネルまたは第２のダウンミックスチャネルまたはダウンミックスチャネルの合成である“合成”チャネルＡと、オリジナルの選択したチャネルとを受信するように示されている。当然、このモジュールは、合成チャネルＡおよびジョイントステレオパラメータを用いて、オリジナルの選択したチャネルＢの近似値を算出できるように、“合成”チャネルＡおよびジョイントステレオパラメータをチャネル副情報として出力する。

あるいは、ジョイントステレオモジュール１４０ｆを、バイノーラルキュー符号化を行うように実施することもできる。

ＢＣＣの場合は、ジョイントステレオモジュール１４０ｆは、チャネル副情報がＩＣＬＤまたはＩＣＴＤパラメータを量子化され符号化されるように、チャネル副情報を出力するために動作される。選択したオリジナルのチャネルが、実際に処理するチャネルとして機能するが、第１、第２または第１のダウンミックスチャネルおよび第２のダウンミックスチャネルの合成が、ＢＣＣ符号化／復号化技術という観点から、基準チャネルとして用いられるように、副情報を算出するために用いるそれぞれのダウンミックスチャネルが用いられる。

図４を参照すると、単純にエネルギーに向けた実施例である要素１４０ｆが示されている。この装置は、チャネルＡから周波数帯域を選択し、また、チャネルＢから周波数帯域を対応する周波数帯域セレクタ４４を含む。次に、２つの周波数帯域では、各分岐に対するエネルギー計算器４２により、エネルギーが算出される。エネルギー計算器４２の詳細な実施例は、ブロック４０からの出力信号がサブバンド信号であるのか、あるいは周波数係数であるのかということに、依存する。スケールファクタ帯域のスケールファクタが算出される他の実施例では、第１および第２のチャネルＡ、Ｂのスケールファクタをエネルギー値Ｅ_AおよびＥ_Bとして、または少なくともエネルギーの推定値として用いることができる。利得係数算出装置４４では、図４のブロック４４に示す利得を求める規則等の、特定の規則に基づいて、選択した周波数帯域の利得係数ｇ_Bが求められる。ここで、図５で以下に説明するように、時間領域サンプルまたは周波数係数の重み付けを行うために、利得係数ｇ_Bが直接用いられる。このために、選択した周波数帯域に有効な利得係数ｇ_Bは、選択したオリジナルのチャネルであるチャネルＢのチャネル副情報として用いられる。この選択したオリジナルのチャネルＢはデコーダに送信されないが、これは、図１の計算器１４により算出したように、パラメトリックチャネル副情報により表される。

利得値をチャネル副情報として送信する必要はないことにここで留意されたい。選択したオリジナルのチャネルの絶対エネルギーに対する周波数依存値を送信することで十分である。次に、デコーダは、ダウンミックスチャネルエネルギーおよびチャネルＢの送信エネルギーに基づいて、ダウンミックスチャネルの実際のエネルギーおよび利得係数を算出する必要がある。

図５は、変換ベースの知覚オーディオエンコーダに関するデコーダセットアップの可能な実施例を示す。図２と比較して、エントロピーデコーダおよび逆量子化器５０（図５）の機能性は、図２のブロック２４に含まれる。しかしながら、周波数／時間変換装置５２ａ、５２ｂ（図５）の機能性は、図２の項目３６内で行われる。図５の要素５０は、第１または第２のダウンミックス信号Ｌｃ’またはＲｃ‘の符号化バージョンを受信する。装置５０の出力では、第１のダウンミックスチャネルおよび第２のダウンミックスチャネルの少なくとも部分的に復号化したバージョンが存在し、その後これはチャネルＡと呼ばれる。チャネルＡは、チャネルＡから特定の周波数帯域を選択する周波数帯域セレクタ５４に入力される。この選択した周波数帯域は、乗算器５６を用いて重み付けされる。乗算器５６は、乗算を行うために、特定の利得係数ｇ_Bを受信する。これは、周波数帯域セレクタ５４により選択された、選択周波数帯域に割り当てられている。このセレクタは、エンコーダ側の図４の周波数帯域セレクタ４０に対応する。周波数時間変換器５２ａの入力では、他の帯域とともに、チャネルＡの周波数領域表現が存在する。乗算器５６の出力と、特に、周波数／時間変換手段５２ｂの入力とには、チャネルＢの復元した周波数領域表現がある。従って、装置５２ａの出力にはチャネルＡの時間領域表現があるが、装置５２ｂの出力には、復元したチャネルＢの時間領域表現がある。

特定の実施例によるが、復号化ダウンミックスチャネルＬｃまたはＲｃを、マルチチャネルの向上したデコーダにおいて再生されないことにここで留意されたい。かかるマルチチャネルの向上したデコーダでは、オリジナルのチャネルを復元するために、復号化ダウンミックスチャネルだけが用いられる。復号化ダウンミックスチャネルだけは、低機能のステレオのみのデコーダで再生される。

このために、図９を参照すると、サラウンド／ＭＰ３環境での本発明の好適な実施例を示している。ＭＰ３の向上したサラウンドビットストリームは、標準ＭＰ３デコーダ２４に入力される。これは、オリジナルのダウンミックスチャネルのこれらの復号化バージョンを出力する。次に、これらのダウンミックスチャネルを、低機能デコーダの手段により直接再生することができる。あるいは、これらの２つのチャネルは、高機能ジョイントステレオ復号化装置３２に入力される。この装置は、マルチチャネル拡張データを受信して、好ましくは、ＭＰ３規格対応ビットストリーム内の補助データフィールドに入力される。

続いて、図７を参照すると、選択したオリジナルのチャネルおよびそれぞれのダウンミックスチャネルまたは合成ダウンミックスチャネルのグループ分けを示している。この点に関しては、図７の表の右側欄は、図３Ａ、図３Ｂ、図４および図５のチャネルＡに対応しているが、中央の欄は、これらの図のチャネルＢに対応している。図７の左側欄には、それぞれのチャネル副情報について明確に記している。図７の表によれば、左ダウンミックスチャネルＬｃを用いて、オリジナルの左チャネルＬのチャネル副情報ｌ_iが算出される。左サラウンドチャネル副情報ｌｓ_iは、オリジナルの選択した左サラウンドチャネルＬｓおよびキャリアである左ダウンミックスチャネルＬｃにより求められる。右ダウンミックスチャネルＲｃを用いて、オリジナルの右チャネルＲの右チャネル副情報ｒ_iが求められる。また、右ダウンミックスチャネルＲｃをキャリアとして用いて、右サラウンドチャネルＲｓのチャネル副情報が求められる。最後に、合成ダウンミックスチャネルを用いて、センターチャネルＣのチャネル副情報ｃ_iが求められる。合成ダウンミックスチャネルは、第１のダウンミックスチャネルおよび第２のダウンミックスチャネルの合成により得られ、エンコーダおよびデコーダの両方で簡単に算出することができ、伝送用のビットを余分に必要としない。

当然、例えば、合成ダウンミックスチャネルまたは単にダウンミックスチャネルに基づいて、左チャネルのチャネル副情報を算出することができる。重み付けパラメータが、デコーダ周知のものであるか、あるいはそれに応じて送信されるものである限りは、０．７Ｌｃおよび０．３Ｒｃ等のように、第１のダウンミックスチャネルおよび第２のダウンミックスチャネルを重み付けして加算することにより得られる。しかしながら、大抵の応用例では、合成ダウンミックスチャネルから、すなわち、第１のダウンミックスチャネルおよび第２のダウンミックスチャネルの合成から、センターチャネルのチャネル副情報だけを導出することが好ましい。

本発明による、ビットを節減する可能性を示すために、次の典型的な一例を示す。５チャネルオーディオ信号の場合は、通常のエンコーダでは、５チャネル信号に対して全体的なビットレートが３２０キロビット／秒に達するため、各チャネルに対して６４キロビット／秒のビットレートが必要である。左および右ステレオ信号では、１２８キロビット／秒のビットレートが必要である。１つのチャネルのチャネル副情報は、１．５〜２キロビット／秒である。従って、５つのチャネルそれぞれのチャネル副情報を送信するような場合は、この付加データが、７．５〜１０キロビット／秒にしかならない。従って、進歩性のある概念により、１３８キロビット／秒のビットレートを用いて、良好な品質の５チャネルオーディオ信号を伝送することができるのは（３２０（！）キロビット／秒と比較して）、デコーダが、問題のある逆マトリックス演算を用いないからである。おそらく、進歩性のある概念が完全に後方互換性であるという事実がより重要なのは、既存のＭＰ３プレーヤそれぞれが、従来のステレオ出力を生成するために、第１のダウンミックスチャネルおよび第２のダウンミックスチャネルを再生するからである。

応用環境によるが、進歩性のある構築方法または生成方法を、ハードウェアまたはソフトウェアで実施することができる。実施例を、電子的に読取可能な制御信号を有するディスクまたはＣＤ等の、デジタル記憶媒体とすることができる。この信号は、進歩性のある方法を実行するように、プログラム可能なコンピュータシステムと協働する。一般に、従って、本発明はまた、機械読み取り可能なキャリア上に保存したプログラムコードを有するコンピュータプログラム製品に関する。コンピュータプログラム製品をコンピュータ上で実行する場合は、プログラムコードを適用して、進歩性のある方法を実行する。換言すれば、従って、本発明はまた、コンピュータプログラムをコンピュータ上で実行する場合は、方法を実行するプログラムコードを有するコンピュータプログラムに関する。

進歩性のあるエンコーダの好適な実施の形態のブロック図である。 それぞれの入力チャネル対に対してコヒーレンス測定値を生成するための進歩性のあるエンコーダのブロック図である。 進歩性のあるデコーダの好適な実施の形態のブロック図である。 異なる出力チャネルに対し、異なるベースチャネルを有する進歩性のあるデコーダのブロック図である。 図２Ｂの合成手段の好適な実施の形態を示すブロック図である。 図２Ｃに示す５チャネルサラウンドシステム用の装置の好適な実施の形態を示すブロック図である。 進歩性のあるエンコーダ内の、コヒーレンス測定値を求める手段の概略図である。 別のベースチャネルに対する特定のコヒーレンス測定値を有するベースチャネルを算出する重み付け係数を求める好適な一例を示す概略図である。 図２Ｆに示す方法で算出した特定の重み付け係数に基づいて、復元した出力チャネルを得る好適な方法を示す概略図である。 周波数選択的チャネル副情報を得る算出手段の好適な実施例を示すブロック図である。 強度符号化またはバイノーラルキュー符号化等の、ジョイントステレオ処理を実施する計算器の好適な実施の形態である。 チャネル副情報を利得係数とする、チャネル副情報算出手段の別の好適な実施の形態を示す。 図４に示すようにエンコーダを実施する場合の、デコーダの実施例の好適な実施の形態を示す。 ダウンミックスチャネルを生成する手段の好適な実施例を示す。 それぞれのオリジナルのチャネルに対しチャネル副情報を算出するオリジナルのおよびダウンミックスチャネルのグループ分けを示す。 進歩性のあるエンコーダの別の好適な実施の形態を示す。 進歩性のあるデコーダの別の実施例を示す。 従来技術のジョイントステレオエンコーダを示す。 従来技術のＢＣＣエンコーダ／デコーダチェーン？を表すブロック図である。 図１１のＢＣＣ合成ブロックの従来技術の実施例を示すブロック図である。 ＩＣＬＤ、ＩＣＴＤおよびＩＣＣパラメータを求める周知の方法を表す。 異なるベースチャネルにより、異なる出力チャネルを再生する方法の概略図である。 ＩＣＣパラメータおよびＩＣＴＤパラメータを求めるのに必要なチャネル対を示す。 ５チャネル出力信号を構築するベースチャネルを選択する第１の選択を示す概略図である。 ５チャネル出力信号を構築するベースチャネルを選択する第２の選択を示す概略図である。

Claims (25)

1. 入力信号およびパラメトリック副情報を用いて、マルチチャネル出力信号を構築する装置であって、入力信号はオリジナルのマルチチャネル信号から導出した第１の入力チャネル（Ｌｃ）および第２の入力チャネル（Ｒｃ）を含み、前記オリジナルのマルチチャネル信号は複数のチャネルを有し、前記複数のチャネルは、想定した聴取者位置の一方の側にあると定義される、少なくとも２つのオリジナルのチャネルを含み、第１のオリジナルのチャネルが少なくとも２つのオリジナルのチャネルのうちの第１のチャネルで、第２のオリジナルのチャネルが少なくとも２つのオリジナルのチャネルのうちの第２のチャネルで、パラメトリック副情報がマルチチャネルのオリジナルの信号のオリジナルのチャネル間の相関を記述する装置であって、
   前記第１および前記第２の入力チャネルの一方または前記第１および前記第２の入力チャネルの合成から選択することにより、第１のベースチャネルを求め、第２のベースチャネルが前記第１のベースチャネルと異なるように、前記第１および前記第２の入力チャネルのもう一方または前記第１および前記第２の入力チャネルの異なる合成を選択することにより、第２のベースチャネルを求める手段（３２２）と、
   前記パラメトリック副情報および前記第１のベースチャネルを用いて、前記第１のオリジナルのチャネルの復元バージョンで、前記想定した聴取者位置の一方の側のある、第１の合成出力チャネルを得るために、第１の出力チャネルを合成し、前記パラメトリック副情報および前記第２のベースチャネルを用いて、前記想定した聴取者位置と同じ側にある、前記第２のオリジナルのチャネルの復元バージョンである第２の出力チャンネルが、前記第２の出力チャネルを合成する手段（３２４）とを備える装置。
2. コヒーレンス測定値を生成する手段（３２０）をさらに備え、前記コヒーレンス測定値は第１のオリジナルのチャネルおよび第２のオリジナルのチャネルの間のコヒーレンスに依存し、前記第１および前記第２のオリジナルのチャネルはオリジナルのマルチチャネル信号に含まれ、
   前記求める手段（３２２）が、コヒーレンス測定値に基づいて、互いに異なる前記第１および前記第２のベースチャネルを求めるために動作する、請求項１に記載の装置。
3. 少なくとも２つのオリジナルのチャネルが、左側オリジナルのチャネルおよび左サラウンドオリジナルのチャネル、または右側オリジナルのチャネルおよび右サラウンドオリジナルのチャネルを含む、請求項１に記載の装置。
4. 前記第２のベースチャネルとして求められる前記第１および前記第２の入力チャネルの合成は、前記２つの入力チャネルの一方が、もう一方の入力チャネルよりも前記第２のベースチャネルに寄与するようになっている、請求項１に記載の装置。
5. 前記求める手段（３２０）が、前記第２のベースチャネルを前記第１の入力チャネルおよび前記第２の入力チャネルの合成として求めるために動作するように、前記コヒーレンス測定値が時間可変であって、前記合成が時間に対して可変である、請求項２に記載の装置。
6. パラメトリック副情報が、前記コヒーレンス測定値を含み、前記第１のオリジナルのチャネルおよび前記第２のオリジナルのチャネルを用いて前記コヒーレンス測定値を求め、前記生成手段（３２０）が、前記コヒーレンス測定値を前記パラメトリック副情報から抽出するために動作する、請求項２に記載の装置。
7. 前記入力信号がフレームシーケンスを有し、前記パラメトリック副情報が前記コヒーレンス測定値を含むパラメータシーケンスを含み、前記パラメータが前記フレームに対応付けられている、請求項６に記載の装置。
8. 前記オリジナルの信号がさらにセンターチャネル（Ｃ）を含み、前記求める手段（３２２）がさらに、同じ部分の前記第１の入力チャネルおよび前記第２の入力チャネルを用いて、第３のベースチャネルを算出するために動作する、請求項１に記載の装置。
9. 前記パラメトリック副情報が周波数に依存し、および前記合成手段（３２４）が、周波数依存合成を行うように動作する、請求項１に記載の装置。
10. 前記パラメトリック副情報が、内部チャネルレベル差パラメータおよび内部チャネル時間遅延パラメータを含むバイノーラルキュー符号化（ＢＣＣ）パラメータを含み、前記合成手段が、出力チャネルを合成する際に、前記求める手段により求めたベースチャネルを用いてＢＣＣ合成を行うために動作する、請求項１に記載の装置。
11. 前記求める手段（３２２）が、前記第１のベースチャネルを前記第１および前記第２の入力チャネルの一方として求め、前記第２のベースチャネルを前記第１および前記第２の入力チャネルの重み付けした合成として求め、重み付け係数が前記コヒーレンス測定値に依存する、請求項２に記載の装置。
12. 重み付け係数を次のように求め、
    

    

    ａが重み付け係数であり、Ａ、Ｂ、Ｃを次のように求め、
    Ａ＝Ｃ²−ｋ²ＬＲ Ｂ＝２ＬＣ（ｌ−ｋ²） Ｃ＝Ｌ²（１−ｋ²）
    Ｌ、Ｒ、Ｃを次のように求め、
    

    

    ｋが前記コヒーレンス測定値が、前記第１の入力チャネルおよびｒが前記第２の入力チャネルである、請求項１１に記載の装置。
13. 前記コヒーレンス測定値を周波数帯域に与え、前記求める手段が、前記第２のベースチャネルを周波数帯域に対して求めるように動作する、請求項１１に記載の装置。
14. 前記コヒーレンス測定値を次のように求め、
    

    

    ｃｃ（ｘ、ｙ）が２つのオリジナルのチャネルｘ、ｙの間の前記コヒーレンス測定値で、ｘ_iが前記第１のオリジナルのチャネルの時間インスタンスｉでのサンプルで、ｙ_iが前記第２のオリジナルのチャネルの時間インスタンスｉでのサンプルである、請求項１１に記載の装置。
15. 前記求める手段（３２２）が、オリジナルのチャネルから導出した電力測定値を用いて、出力チャネルをスケーリングし、前記電力測定値を前記パラメトリック副情報内で送信する、請求項１に記載の装置。
16. 前記求める手段（３２２）が、時間および／または周波数に対して重み付け係数を平滑化するように動作する、請求項１１に記載の装置。
17. 前記パラメトリック副情報が、前記オリジナルの信号内の前記オリジナルのチャネルのエネルギー分布を表すレベル情報を含み、前記合成手段（３２４）は、前記出力チャネルの合計エネルギーが前記第１の入力チャネルおよび前記第２の入力チャネルの合計エネルギーと等しくなるように、出力チャネルをスケーリングするよう動作する、請求項１に記載の装置。
18. 前記合成手段（３２４）は、スケーリングした未処理の出力チャネルの総エネルギーが前記第１および前記第２の入力チャネルの総エネルギーと等しくなるように、求めたベースチャネルおよび前記レベル情報に基づいて未処理の出力チャネルを算出するために、そして、前記スケール未処理の出力チャネルをスケーリングするために有効である、請求項１７に記載の装置。
19. 前記入力信号が左チャネルおよび右チャネルを含み、および前記オリジナルのチャネルがフロント左チャネル、左サラウンドチャネル、フロント右チャネルおよび右サラウンドチャネルを含み、前記求める手段（３２２）が、
    前記左チャネルを前記フロント左チャネル（Ｌ）の合成に対する前記ベースチャネルとして求め、
    前記右チャネルを前記フロント右チャネル（Ｒ）の合成に対する前記ベースチャネルとして求め、
    前記左チャネルおよび前記右チャネルの合成を前記左サラウンドチャネル（Ｌｓ）または前記右サラウンドチャネル（Ｒｓ）に対する前記ベースチャネルとして求めるために動作する、請求項１に記載の装置。
20. 前記入力信号が、左チャネルおよび右チャネルを含み、および前記オリジナルのチャネルがフロント左チャネル、左サラウンドチャネル、フロント右チャネルおよび右サラウンドチャネルを含み、前記求める手段が、
    前記左チャネルを前記フロント左チャネルの合成に対する前記ベースチャネルとして求め、
    前記右チャネルを前記右サラウンドチャネルの合成に対する前記ベースチャネルとして求め、
    前記第１および前記第２の入力チャネルの合成を前記フロント右チャネルまたは前記左サラウンドチャネルの合成に対する前記ベースチャネルとして求めるために動作する、請求項１に記載の装置。
21. 入力信号およびパラメトリック副情報を用いてマルチチャネル出力信号を構築する方法であって、前記入力信号はオリジナルのマルチチャネル信号から導出した第１の入力チャネルおよび第２の入力チャネルを含み、オリジナルのマルチチャネル信号は複数のチャネルを有し、前記複数のチャネルは、想定した聴取者位置の一方の側にあると定義される、少なくとも２つのオリジナルのチャネルを含み、第１のオリジナルのチャネルが少なくとも２つのオリジナルのチャネルのうちの第１のチャネルで、第２のオリジナルのチャネルが少なくとも２つのオリジナルのチャネルのうちの第２のチャネルで、前記パラメトリック副情報が前記マルチチャネルのオリジナルの信号のオリジナルのチャネル間の相関を記述する方法であって、
    前記第１および前記第２の入力チャネルの一方または前記第１および前記第２の入力チャネルの合成から選択することにより、第１のベースチャネルを求め、第２のベースチャネルが前記第１のベースチャネルと異なるように、前記第１および前記第２の入力チャネルのもう一方または前記第１および前記第２の入力チャネルの異なる合成を選択することにより、前記第２のベースチャネルを求め（３２２）、
    前記パラメトリック副情報および前記第１のベースチャネルを用いて、前記第１のオリジナルのチャネルの復元バージョンで、前記想定した聴取者位置の一方の側のある、第１の合成出力チャネルを得るために、第１の出力チャネルを合成し、前記パラメトリック副情報および前記第２のベースチャネルを用いて、前記想定した聴取者位置と同じ側にある、前記第２のオリジナルのチャネルの復元バージョンである第２の出力シャネルが、前記第２の出力チャネルを合成する（３２４）ことを含む方法。
22. ダウンミックス信号が多数のオリジナルのチャネルより小さい多数のチャネルを有し、マルチチャネルのオリジナルの信号から前記ダウンミックス信号を生成する装置であって、
    ダウンミックス規則を用いて、第１のダウンミックスチャネルおよび第２のダウンミックスチャネルを算出する手段（１２）と、
    前記マルチチャネルのオリジナルの信号内のチャネルの間のエネルギー分布を表すパラメトリックレベル情報を算出する手段（１４）と、
    ２つのオリジナルのチャネルが想定した聴取者位置の一方の側にある、前記２つのオリジナルのチャネルの間のコヒーレンス測定値を求める手段（１４２）と、
    前記第１のダウンミックスチャネルおよび前記第２のダウンミックスチャネル、前記パラメトリックレベル情報および一方の側にある２つのオリジナルのチャネルの間の少なくとも１つのコヒーレンス測定値だけ、または前記少なくとも１つのコヒーレンス測定値から送出した値を用いるが、前記想定した聴取者位置の異なる側にあるチャネルの間のコヒーレンス測定値を用いずに、出力信号を生成する手段（１８）とを備える装置。
23. 前記想定した聴取者位置の一方の側にある２つのオリジナルのチャネルの間の時間遅延情報を求める手段（１４３）をさらに備え、
    前記生成手段（１８）が、前記想定した聴取者位置の一方の側にある２つのオリジナルのチャネルの間の時間レベル情報だけを含むが、想定した聴取者位置の異なる側にある２つのオリジナルのチャネルの間の時間レベル情報を含まないように動作する、請求項２２に記載の装置。
24. ダウンミックス信号が多数のオリジナルのチャネルより小さい多数のチャネルを有し、マルチチャネルのオリジナルの信号から前記ダウンミックス信号を生成する方法であって、
    ダウンミックス規則を用いて、第１のダウンミックスチャネルおよび第２のダウンミックスチャネルを算出し（１２）、
    前記マルチチャネルのオリジナルの信号内のチャネルの間のエネルギー分布を表すパラメトリックレベル情報を算出し（１２４）、
    前記２つのオリジナルのチャネルが想定した聴取者位置の一方の側にある、２つのオリジナルのチャネルの間のコヒーレンス測定値を求め（１４２）、
    前記第１のダウンミックスチャネルおよび前記第２のダウンミックスチャネル、前記パラメトリックレベル情報および一方の側にある２つのオリジナルのチャネルの間の少なくとも１つのコヒーレンス測定値だけ、または前記少なくとも１つのコヒーレンス測定値から送出した値を用いるが、前記想定した聴取者位置の異なる側にあるチャネルの間のコヒーレンス測定値を用いずに、出力信号を生成する（１８）ことを含む方法。
25. コンピュータに、請求項２１に記載のマルチチャネルを構築する方法、または請求項２４に記載のダウンミックス信号を生成する方法を実行させるためのプログラム。

Images