JP5222279B2 - マルチチャネルオーディオ再構成における信号整形のための改善された方法 - Google Patents

Description

本発明は、マルチチャネルオーディオ再構成における改善された信号整形の概念に関し、特にエンベロープ整形の新たな手法に関する。

オーディオ符号化の近年の発達により、ステレオ(又はモノラル)信号とそれに対応する制御データとに基づくオーディオ信号を、マルチチャネル表現へと再構成することが可能となった。これらの方法は、ドルビープロロジック等のような従前の行列に基づく方法とは基本的に相違する。なぜなら、送信されたモノラル又はステレオチャネルに基づくサラウンドチャネルの再構成を制御するための追加的な制御データが送信されるからである。この再構成はアップミックスとも呼ばれる。このようなパラメトリック・マルチチャネル・オーディオ復号器は、送信されたＭ個のチャネルと追加的な制御データとに基づいてＮ個（Ｎ＞Ｍ）のチャネルを再構成する。この追加的な制御データを使用することは、Ｎ個の全てのチャネルを送信する場合に比べて非常に低いデータレートをもたらすため、符号化効率を著しく向上させ、同時にＭ個のチャネルを有する装置とＮ個のチャネルを有する装置との両方に対して互換性を確立できる。Ｍ個のチャネルは、単一のモノラルチャネル表現、ステレオチャネル表現又は５．１チャネル表現のいずれであっても良い。したがって、５．１チャネルの後方互換信号へとダウンミックスされた７．２チャネルの元の信号及び空間オーディオパラメータが空間オーディオ復号器へと入力され、少ない追加的ビットレートオーバヘッドを用いて、元の７．２チャネルにきわめて近いバージョンを再現させることが可能となる。

これらのパラメトリックサラウンド符号化方法は通常、時間及び周波数により変化するＩＬＤ（チャネル間レベル差）パラメータ及びＩＣＣ（チャネル間コヒーレンス）パラメータに基づく、サラウンド信号のパラメータ化を含む。これらのパラメータは、例えば元のマルチチャネル信号のチャネルペア間の出力比及び相関関係について記述している。復号化処理においては、受信されたダウンミックスチャネルのエネルギーを、伝送されたＩＬＤパラメータの記述に従ってすべてのチャネルペアの間に配分することにより、再現マルチチャネル信号を取得できる。しかし、異なるチャネルにおける信号は極めて異なる一方で、マルチチャネル信号は、すべてのチャネルの間に等しいパワー配分を与えることができる。その結果、非常に広範囲の音を聞いた印象を与えることになるが、正確な音の広さは、信号とその信号のデコリレート(相関分離) バージョンとをＩＣＣパラメータの記述に従ってミキシングすることによって取得できる。

信号のデコリレートバージョンは、ウェット信号又は拡散信号と呼ばれることも多く、全帯域通過フィルタなどの残響装置(reverberator)の中に信号を通過させることによって得られる。デコリレート化の簡易な形態は、信号に特定の遅延を加えることである。一般に当業界では様々な残響装置が公知であり、使用される残響装置の正確な実装形態は本件では重要ではない。

デコリレータからの出力は、通常はきわめて平坦である時間応答を有する。したがって、ディラック入力信号は減衰する雑音にバーストアウトを与えることになる。デコリレート信号と元の信号とをミキシングする時には、拍手喝采の信号のようなある種の過渡信号タイプに対しては所定の後処理を施し、追加的に導入されて部屋の大きさを過大に感じさせるようなアーチファクトやプレエコータイプのアーチファクトの知覚認識を回避することが重要である。

一般的に本発明は、マルチチャネルオーディオを、（例えば１又は２チャネルの）オーディオダウンミックスデータと関連するパラメトリックマルチチャネルデータとの組合せとして表すシステムに関する。そのような方式（例えば両耳キューコーディング）においては、オーディオダウンミックスデータストリームが伝送されるが、ダウンミックスの最も簡易な形態は、１つのマルチチャネル信号の中の異なる信号を加算するだけであることが分かるであろう。このような信号（和信号）は、パラメトリックマルチチャネルデータストリーム（サイド情報）を伴う。サイド情報は、例えばマルチチャネル信号の元のチャネルの空間的な相互関係を記述するために、上述の一つ又はそれ以上のパラメータタイプを含む。ある意味では、パラメトリックマルチチャネル方式は、例えば和信号及びサイド情報を有することで、ダウンミックスデータの送信／受信端に対して、前処理／後処理用プロセッサとして機能する。ダウンミックスデータの和信号は、任意のオーディオ又は音声符号器を用いて、さらに符号化されてもよいことに留意するべきである。

近年、低帯域幅搬送波を介したマルチチャネル信号の伝送がますます普及しているため、「空間オーディオ符号化」、「ＭＰＥＧサラウンド」の名でも公知であるこれらシステムは十分に開発されつつある。

後述の非特許文献１〜１１は、これらの技術との関連において公知である。

１つの伝送されたモノラル信号を介した２つのチャネルの伝送に焦点を絞った関連技術は、「パラメトリックステレオ」と呼ばれ、例えば後述の非特許文献１２と１３においてより広範囲にわたって記述されている。

空間オーディオ復号器において、マルチチャネルアップミックスは、既に述べたように、直接信号部分と、直接信号部分からデコリレート化によって導出される拡散信号部分とから計算される。したがって、一般に拡散信号部分は直接信号部分とは異なる時間エンベロープを有する。「時間エンベロープ」という語は、ここでは時間とともに変化する信号のエネルギー又は振幅の変動を表している。時間エンベロープに差異がある場合、広いステレオ画像と過渡的なエンベロープ構造とを同時に有する入力信号のためのアップミックス信号においては、アーチファクト（プレエコー及びポストエコーと呼ばれる時間的なスミアリング（汚染））をもたらす。過渡信号とは一般に短い時間周期において著しく変動している信号である。

この種の信号に関しておそらく最も重要な例は拍手喝采のような信号であり、ライブ録音において頻繁に存在する。

アップミックス信号の中に不適切な時間エンベロープを有する拡散／デコリレートされる音を導入することによって引き起こされるアーチファクトを回避するために、複数の技術が提案されている。

特許文献１は、直接信号の時間エンベロープに適合させるために、拡散信号の時間エンベロープを整形することによって、臨界過度信号の知覚品質を改善することができることを示している。

この手法は、「時間エンベロープ整形」（ＴＥＳ）及び「時間処理」（ＴＰ）などの様々なツールによってＭＰＥＧサラウンド技術に既に導入されている。拡散信号の目標の時間エンベロープは、伝送されたダウンミックス信号のエンベロープから導出されるため、この方法は追加的なサイド情報を伝送する必要がない。しかし、結果として、拡散音の時間的な微細構造はすべての出力チャネルに関して同一である。伝送されたダウンミックス信号から直接的に導出される直接信号部分も類似の時間エンベロープを有するため、この方法は「クリスプネス」に関して喝采のような信号の知覚的な品質を改善しうる。しかし、直接信号及び拡散信号はすべてのチャネルに関して類似の時間エンベロープを有するため、このような技術は喝采のような信号の主観的品質を強化しうるが、その信号における単一の喝采のような事象の空間的配分を改善することはできない。なぜなら、この改善は、仮に過渡信号の出現の際に１つの再現チャネルが他のチャネルよりはるかに強烈であった場合にのみ可能となるからであり、実際にはチャネルが基本的に同一の時間エンベロープを共有する信号を持つため、不可能だからである。

この問題を克服するための別の方法は特許文献２によって記述されている。この手法は、直接信号及び拡散信号の両方の微細な時間的整形を行うために、符号器によって伝送されたきめの細かい時間的広帯域サイド情報を利用する。明らかにこの手法は、各出力チャネルにおいて個別の時間的微細構造を可能にする。したがって、過渡事象が出力チャネルの一部にのみ生じる信号にも対応することができる。この手法のさらなる変形が特許文献３に記述されている。過渡的な符号化信号の知覚的な品質を改善するためのこれら両文献に記載の対処法は、拡散信号のエンベロープの時間的整形であって、対応する直接信号の時間エンベロープに適合させるための整形を含む。

前述したの従来技術の両方の方法において、クリスプネスに関して拍手喝采のような信号の主観的品質を改善することができるが、後者の手法のみが再構成信号の空間的な再配分も改善することができる。それでもやはり、合成された喝采の信号の主観的品質は依然として不満足なものとなる。ドライ音と拡散音との組合せを時間的に整形すると、特性の歪みをもたらすためである（個別のクラップ音のアタックは、緩い時間的整形のみが行われる場合には「しまり」がないと認識され、その他の場合にはきわめて高い時間解像度を有する整形が信号に施されて歪みが導入される）。この歪は、拡散信号が直接信号の単なる遅延複製である場合に明白となる。直接信号にミキシングされる拡散信号は、直接信号とは異なるスペクトル組成を有する可能性が高い。したがって、たとえ直接信号のエンベロープに適合させるように拡散信号のエンベロープがスケールされる場合であっても、元の信号に直接的に由来していない異なるスペクトルの寄与が再構成信号に存在することになる。そのため、直接信号のエンベロープに適合させるように拡散信号がスケールされる場合には、再構成中に拡散信号部分が強調される（音量大となる）と、導入される歪みがさらにひどくなる可能性がある。
マルチチャネルの適切な符号化及び復号化に関し、多数の文献が存在する。
特許文献４は、複素指数関数的に変調されたフィルタバンクと適応型時間信号化法とに基づくマルチチャネルオーディオ信号の発展的な処理に関する。入力信号に基づいてデコリレート信号を生成するための合成器は、複数のサブバンド信号に基づいて作動し、各サブバンド信号は少なくとも２つのサブバンドサンプルのシーケンスを含む。この合成器は、残響フィルタを用いて各サブバンド信号をフィルタ処理するフィルタステージを含み、残響処理された複数の信号を取得する。このとき、残響処理された複数の信号は合同して一つのデコリレート信号を表現する。このデコリレート信号は、モノラル信号及びコヒーレンス値から成るパラメトリック符号化されたステレオ信号に基づいて、信号を再構成するために使用される。
非特許文献１４は、コヒーレンスのキューを合成する方法に関する。この合成のために、数１００ｍｓに相当するインパルス応答を持つ遅い残響をモデル化するデコリレートフィルタが使用され、その結果、自然的な音響を備えた拡散音を生成する仕組みが可能となった。
非特許文献１５は、ＦＦＴフィルタに代えてＱＭＦフィルタバンクを使用することで、パラメトリックステレオ分析及び合成における複雑性をいかに低減できるかについて説明するものである。
特許文献５はＢＣＣ符号化に関し、特に符号化の仕組みに関するものである。この符号化においては、入力チャネルの１つあるいは複数のチャネルが、ＢＣＣ符号器においてダウンミックスされずかつＢＣＣ復号器においてアップミックスされない非修正チャネルとして送信される。
米国特許出願第１１／００６，４９２号 米国特許出願第１１／００６，４８２号 米国特許出願第６０／７２６，３８９号 国際公開ＷＯ２００４／０９７７９４Ａ２ 米国出願公開第２００５／００５８３００４Ａ１ C. Faller and F. Baumgarte, "Efficient representation of spatial audio using perceptual parametrization,"in Proc. IEEE WASPAA, Mohonk, NY, Oct. 2001. F. Baumgarte and C. Faller, "Estimation of auditory spatial cues for binaural cue coding,"in Proc. ICASSP 2002, Orlando, FL, May 2002. C. Faller and F. Baumgarte, "Binaural cue coding: a novel and efficient representation of spatial audio,"in Proc. ICASSP 2002, Orlando, FL, May 2002. F. Baumgarte and C. Faller, "Why binaural cue coding is better than intensity stereo coding,"in Proc. AES 112th Conv., Munich, Germany, May 2002. C. Faller and F. Baumgarte, "Binaural cue coding applied to stereo and multi-channel audio compression,"in Proc. AES 112th Conv., Munich, Germany, May 2002. F. Baumgarte and C. Faller, "Design and evaluation of binaural cue coding,"in AES 113th Conv., Los Angeles, CA, Oct. 2002. C. Faller and F. Baumgarte, "Binaural cue coding applied to audio compression with flexible rendering,"in Proc. AES 113th Conv., Los Angeles, CA, Oct. 2002. J. Breebaart, J. Herre, C. Faller, J. Roeden, F. Myburg, S. Disch, H. Purnhagen, G. Hoto, M. Neusinger, K. Kjoerling, W. Oomen: "MPEG Spatial Audio Coding / MPEG Surround: Overview and Current Status", 119th AES Convention, New York 2005, Preprint 6599 J. Herre, H. Purnhagen, J. Breebaart, C. Faller, S. Disch, K. Kjoerling, E. Schuijers, J. Hilpert, F. Myburg, "The Reference Model Architecture for MPEG Spatial Audio Coding", 118th AES Convention, Barcelona 2005, Preprint 6477 J. Herre, C. Faller, S. Disch, C. Ertel, J. Hilpert, A. Hoelzer, K. Linzmeier, C. Spenger, P. Kroon: "Spatial Audio Coding: Next-Generation Efficient and Compatible Coding of Multi-Channel Audio", 117th AES Convention, San Francisco 2004, Preprint 6186 J. Herre, C. Faller, C. Ertel, J. Hilpert, A Hoelzer, C. Spenger: "MP3 Surround: Efficient and Compatible Coding of Multi-Channel Audio", 116th AES Convention, Berlin 2004, Preprint 6049. J. Breebaart, S. van de Par, A. Kohlrausch, E. Schuijers, "High-Quality Parametric Spatial Audio Coding at Low Bitrates", AES 116th Convention, Berlin, Preprint 6072, May 2004 E. Schuijers, J. Breebaart, H. Purnhagen, J. Engdegard, "Low Complexity Parametric Stereo Coding", AES 116th Convention, Berlin, Preprint 6073, May 2004. C. Faller, "Parametoric multi-channel audio coding: synthesis of coherence cues", IEEE transactions on audio, speech and language processing, IEEE service center, N. Y., US, pages 299 to 310, XP007900793, pages 303 to 305, January 2006 OOMEN W et al., "MPEG4-EXT2: CE on low complexity parametric stereo", international standard ISO/IEC, JTC1/SC 29/WG11, December 2003

本発明の目的は、マルチチャネル再構成における改善された信号整形の概念を提供することである。

本目的は、請求項１又は請求項２９による装置、請求項２８による方法及び請求項３０によるコンピュータプログラムによって達成される。

本発明は、以下の知見を基礎とする。即ち、ダウンミックスチャネルに基づいて直接信号成分及び拡散信号成分を生成するための生成手段が用いられる場合には、複数の元のチャネルをダウンミックスすることによって導出される少なくとも１つのダウンミックスチャネルと元のチャネルの時間的（微細）構造に関する追加的な情報を含むパラメータ表現とを使用するマルチチャネル再構成装置によって、再構成出力チャネルが高品質で効率的に再構成可能となる、という知見である。再構成出力チャネルの時間的微細構造が、伝送された追加的な情報により示される所望の時間的微細構造に適合するように、直接信号成分が修正されさえすれば、品質を本質的に向上させることができる。

換言すれば、ダウンミックス信号から直接的に導出される直接信号部分をスケールすることにより、過渡信号が生じる瞬間に追加的なアーチファクトが導入されることを殆どなくすことができる。従来技術のようにウェット信号部分が所望のエンベロープに適合するようにスケールされる場合には、再構成されるチャネルの中の元の過渡信号が、直接信号にミキシングされ強調された拡散信号によってマスキングされることがきわめてよく発生すると考えられ、これについては後で詳細に説明する。

本発明は、この問題を直接信号成分をスケールすることのみで克服する。したがって、時間エンベロープを記述するための追加的なパラメータをサイド情報の中に伝送することに起因して、さらなるアーチファクトが導入されるという機会をなくすことができる。

本発明の一実施形態によれば、エンベロープスケーリングパラメータは、白色化されたスペクトル、すなわち信号の異なるスペクトル部分が略同一のエネルギーを有するスペクトルを用いた直接信号及び拡散信号の表現を使用して導出される。白色化スペクトルを用いることには二重の利点がある。ひとつには、直接信号をスケールするために用いられるスケーリング係数(scaling factor)の計算のための基礎として白色化スペクトルを用いることにより、各時間スロットごとに時間的構造に関する情報を含むパラメータを一つだけ伝送すれば良いことになる。多数の周波数帯域の中で信号が処理されるマルチチャネルオーディオ符号化においては通例であるように、この特徴により、追加的に必要となるサイド情報の数を減少させることができ、その結果、追加的なパラメータの伝送のためのビットレートを増大させることができる。通常、ＩＣＬＤ及びＩＣＣなどの他のパラメータは、時間フレーム及びパラメータ帯域ごとに１回伝送される。パラメータ帯域の数が２０より多くなる可能性もあるので、各チャネルごとに単一のパラメータを１つだけ伝送すればよいという特徴は大きな利点である。一般に、マルチチャネル符号化において、信号はフレーム構成において処理される。すなわち、複数のサンプリング値、例えば各フレームごとに１０２４個のサンプリング値を有するまとまりにおいて処理される。さらに、既述したように信号は処理される前に複数のスペクトル部分に分割され、最後に、通常１つのＩＣＣ及びＩＣＬＤパラメータが信号の各フレーム及びスペクトル部分ごとに伝送される。

パラメータを１つだけ用いることの第２の利点は、当該の過渡信号が当然ながら広いスペクトルを有することから、物理的に動機付けられる。したがって、単一のチャネル内の過渡信号のエネルギーを正確に考慮するために、エネルギースケーリング係数の計算のために白色化スペクトルを用いることは最適といえる。

本発明のさらなる実施形態において、直接信号成分を修正するという本発明の概念は、さらなる残余信号が存在する場合、所定のスペクトル的限界値を上回る信号のスペクトル部分に関してだけ適用される。なぜなら、残余信号がダウンミックス信号と共に元のチャネルの高品質な再現を可能にするからである。

要約すると、本発明の概念は、従来技術の手法に対して改善された時間的及び空間的品質を提供し、従来技術に関連する問題点を回避するように設計される。つまり、個別のチャネルの微細な時間エンベロープ構造を記述するためにサイド情報が伝送され、その結果、復号器側でアップミックスチャネル信号の微細な時間的／空間的整形を可能にする。本発明に係る方法は、以下の知見／検討事項に基づいている。
・拍手喝采のような信号は、単一の明瞭な近くのクラップ音と濃厚に重なる遠くのクラップ音に由来する雑音のような環境（雰囲気）の部分とから構成されるものと見なすことができる。
・空間オーディオ復号器において、近くのクラップ音の時間エンベロープに関する最適な近似とは直接信号である。したがって、本発明の方法では直接信号だけが処理される。
・拡散信号は主に信号の環境部分を表す。そのため、たとえ喝采の「クリスプネス」において一定の主観的改善が達成される可能性があったとしても、微細な時間解像度においては、いかなる処理も歪み及び変調によるアーチファクトを導入する確率が高い。これらの事項を検討した結果として、本発明の処理においては拡散信号は元のままに置かれる（微細な時間的整形を施さない）。
・しかし、拡散信号はアップミックス信号のエネルギーバランスに寄与してしまう。本発明の方法は、この寄与に対し、直接信号部分にのみ適用されるべき伝送情報から修正された広帯域スケーリング係数を計算することで対処する。この修正された係数は、所定の時間間隔における全体的なエネルギーが一定のまとまりの中では同一であり、あたかも元（修正前）の係数が、この所定の時間間隔において、信号の直接信号部分及び拡散信号部分の両方に適用されたかのごとくになるように、選択される。
・本発明の方法を用いると、空間的キューのスペクトル解像度を低く選択した場合、例えば「全帯域幅」を選択した場合に、信号に包含される過渡信号はスペクトル的に無欠の状態に確保され、最適な主観的オーディオ品質が得られる。この場合には、本発明の方法では空間的解像度が時間的解像度へと安全に交換されるため、必ずしも平均的な空間サイド情報のビットレートを増大させるわけではない。

主観的な品質の改善は、時間軸だけに関して信号のドライ部分を増幅又は減衰（「整形」）し、その結果、
・過渡的な位置における直接信号成分を増強することによって過渡的な品質を強化すると同時に、不適切な時間エンベロープを有する拡散信号に由来するさらなる歪みを回避することになり、
・過渡的な事象の空間起点においては拡散信号部分に比べて直接信号部分を強調し、遠くのパニング（平坦な）位置においては拡散信号部分に比べて直接信号部分を減衰させることによって、空間的な定位を改善することが達成される。

図１は、本発明の概念によって解決される課題をより明確に示すために、従来技術によるマルチチャネルオーディオデータの符号化の一例を示す。

一般に、符号器側では、元のマルチチャネル信号１０がマルチチャネル符号器１２に入力され、元のマルチチャネル信号の種々のチャネル間の空間的な配分を互いに相対的に表すサイド情報１４を導出する。サイド情報１４の生成とは別に、マルチチャネル符号器１２は、元のマルチチャネル信号からダウンミックスされた一つ又はそれ以上の和信号１６を生成する。広く用いられている有名な構成は、いわゆる５−１−５構成及び５−２−５構成である。５−１−５構成においては、符号器は５つの入力チャネルから単一のモノラル音響和信号１６を生成し、対応する復号器１８は再構成マルチチャネル信号２０の５つの再構成チャネルを生成しなければならない。５−２−５構成においては、符号器は５つの入力チャネルから２つのダウンミックスチャネルを生成し、ダウンミックスチャネルの第１のチャネルは通常左側又は右側の一方の情報を持ち、ダウンミックスチャネルの第２のチャネルは他方の側の情報を持つ。

元のチャネルの空間的配分を記述するサンプルパラメータは、例えば図１において、事前に導入されたパラメータＩＣＬＤ及びＩＣＣなどである。

サイド情報１４を導出する解析の中で、マルチチャネル信号１０の元のチャネルのサンプルは通常、元のチャネルの特定の周波数間隔を表すサブバンド領域において処理されることが分かるであろう。単一の周波数間隔はκによって表される。一部の適用例においては、入力チャネルは処理前に混成（ハイブリッド）フィルタバンクによってフィルタリングされてもよい。すなわち、パラメータ帯域κがさらに再分割され、各再分割がｋによって表記されてもよい。

さらに、元のチャネルを記述するサンプル値の処理は、各単一のパラメータ帯域内でフレーム毎に行われる。すなわち、複数の連続サンプルが有限持続時間を持つ一つのフレームを形成する。上述した複数のＢＣＣパラメータは、一つの完全なフレームを典型的に記述している。

本発明に何らかの関連があり、既に当業界では公知のパラメータはＩＣＬＤパラメータである。このパタメータは、元のマルチチャネル又は信号の一つのチャネルの一つの信号フレーム内に含まれたエネルギーを、他のチャネルの対応するフレームに対する相対関係において記述している。

通例、１つの伝送された和信号のみからマルチチャネル信号を再構成するための追加的なチャネルは、デコリレータ又は残響装置を用いて和信号から導出されたデコリレート信号の助けによって生成される。典型的な適用例では、離散サンプル周波数は４４．１００ｋＨであってもよく、この場合、単一のサンプルが元のチャネルの約０．０２ｍｓの有限長の間隔を表している。フィルタバンクを用いた場合、信号は多数の信号部分に分割され、それぞれが元の信号の有限の周波数間隔を表すことに留意すべきである。チャネルを記述するパラメータの増加を補うために、通常は時間解像度が低減される。その結果、一つのフィルタバンク領域内の単一のサンプルによって記述される有限長の時間部分が０．５ｍｓより大きい値まで増大してもよい。典型的なフレーム長は１０〜１５ｍｓで変化しうる。

デコリレート信号を導出する際には、本発明の範囲を制限することなく、様々なフィルタ構成及び／又は遅延、あるいはその組合せを利用してもよい。デコリレート信号を導出するために、全体的なスペクトルが必ずしも用いられなくてもよい。例えば遅延及び／又はフィルタを用いてデコリレート信号を導出するために、和信号（ダウンミックス信号）のスペクトルの下限（κの特定の値）より高いスペクトル部分のみを用いてもよい。デコリレート信号は一般に、ダウンミックス信号（ダウンミックスチャネル）から導出された信号を表すものであり、その結果、このデコリレート信号とダウンミックスチャネルとを用いて導出される相関係数は、１から有意に、例えば０．２だけずれている。

図１ｂは、マルチチャネルオーディオ符号化中のダウンミックス及び再構成処理のきわめて簡略化した例を挙げて、マルチチャネル信号のチャネルの再構成中に直接信号成分のみをスケールするという本発明の概念の大きな利点を説明する。以下の説明では、いくつかの簡略化を仮定する。第１の簡略化は、左チャネル及び右チャネルのダウンミックスはチャネル内の振幅の単純な加算であることである。第２の簡略化は、相関関係が信号全体の単純な遅延であると仮定されることである。

これらの仮定の下で、左チャネル２１ａ及び右チャネル２１ｂのフレームが符号化されるものとする。図示するウィンドウのｘ軸上に示されるように、マルチチャネルオーディオ符号化においては、処理は通常一定のサンプル周波数毎にサンプリングされたサンプル値に対して行われる。この点については、説明の簡略化のために以下の概略説明ではさらには言及しないものとする。

既に述べたように、符号器側では、左チャネル及び右チャネルが結合（ダウンミックス）されてダウンミックスチャネル２２となり、復号器に伝送されることになる。復号器側では、デコリレート信号２３が、この例では左チャネル２１ａ及び右チャネル２１ｂの和である伝送されたダウンミックスチャネル２２から導出される。既に説明したように、左チャネルの再構成は、次にダウンミックスチャネル２２及びデコリレート信号２３から導出される信号フレームから行われる。

各単一のフレームは、単一のチャネルの個別のフレーム内のエネルギーをマルチチャネル信号の他のチャネルの対応するフレームのエネルギーに関連付けるＩＣＬＤパラメータによって示されるように、結合前にグローバルスケーリングを受けることが分かるであろう。

本例において、等しいエネルギーが左チャネル２１ａのフレーム及び右チャネル２１ｂのフレームの中に包含されると仮定されるため、伝送されたダウンミックスチャネル２２及びデコリレート信号２３は、結合前におよそ０．５を係数としてスケールされる。つまり、アップミキシングがダウンミキシングと同様に単に２つの信号を合計する場合には、元の左チャネル２１ａの再構成は、スケールされたダウンミックスチャネル２４ａ及びスケールされたデコリレート信号２４ｂの和となる。

伝送のための加算とＩＣＬＤパラメータによるスケールのために、過渡信号の信号対背景比は、およそ１／２を係数として減少されることになる。さらに、２つの信号を単純に加算する場合には、エコータイプの追加的なアーチファクトが、スケールされたデコリレート信号２４ｂの過渡的構成の遅延された位置に導入される可能性がある。

図１ｂの中のフレーム２４ｂにおける破線によって示されているように、従来技術では、スケールされた伝送チャネル２４ａのエンベロープと合致するように、スケールされたデコリレート信号２４ｂの振幅をスケールすることによって、エコーの問題を克服しようと試みている。スケーリングに起因して、元の過渡信号における左チャネル２１ａ内の振幅が増大され得る。しかし、フレーム２４ｂでのスケーリングにおけるデコリレート信号のスペクトル組成は、元の過渡信号のスペクトル組成とは異なる。したがって、信号の全体的な強度が十分に再現されうる場合であっても、可聴アーチファクトが信号に導入される。

本発明の大きな利点は、再構成される直接信号成分をスケールするだけであることである。このチャネルは、正しいスペクトル組成と正しいタイミングとを有する元の過渡信号に対応した信号成分を有するため、ダウンミックスチャネルのみをスケールすることにより、元の過渡事象を高精度で再構成する再構成信号を取得できる。なぜなら、元の過渡信号と同様のスペクトル組成を有する信号部分のみがスケーリングによって強調されるからである。

図２は、本発明の概念の原理を詳述するために、本発明のマルチチャネル再構成装置の一例のブロック図を示す。

図２において、生成器３２と直接信号修正器３４と結合器３６とを有するマルチチャネル再構成装置３０を示す。生成器３２は、複数の元のチャネルからダウンミックスされたダウンミックスチャネル３８と、１つの元のチャネルの時間的構造に関する情報を含むパラメータ表現４０とを受信する。

生成器３２は、ダウンミックスチャネルに基づき、直接信号成分４２及び拡散信号成分４４を生成する。

直接信号修正器３４は、直接信号成分４２のほか、拡散信号成分４４を受信し、元のチャネルの時間的構造に関する情報を有するパラメータ表現４０をさらに受信する。本発明によれば、直接信号修正器３４はパラメータ表現を用いて直接信号成分４２のみを修正し、修正された直接信号成分４６を導出する。

修正された直接信号成分４６と直接信号修正器３４によって変更されていない拡散信号成分４４とが結合器３６に入力され、修正された直接信号成分４６及び拡散信号成分４４を結合して、再構成された出力チャネル５０を得る。

伝送されたダウンミックスチャネル３８から残響（デコリレーション）のない状態で導出された直接信号成分４２を修正するだけで、従来技術の場合のように追加的なアーチファクト及び可聴歪みを導入することなく、潜在的な元のチャネルの時間エンベロープに密接に合致するような再構成出力チャネルの時間エンベロープを再構成することが可能になる。

図３にさらに詳述されるように、本発明のエンベロープ整形は、合成された出力信号の広帯域エンベロープを復元する。本発明のエンベロープ整形は、修正されたアップミックスの処理を含み、次いで各出力チャネルの直接信号部分のエンベロープ平坦化及び再整形を行う。再整形に関して、パラメータ表現のビットストリームに包含されるパラメトリック広帯域エンベロープサイド情報が用いられる。このサイド情報は、本発明の一実施形態によれば、元の入力チャネル信号のエンベロープに対する伝送されたダウンミックス信号のエンベロープの関連を表す比(envRatio)からなる。復号器においては、ゲイン係数はこれらの比率から導出されて、与えられた出力チャネルのフレームにおける各時間スロット毎に直接信号に適用される。本発明の概念によれば、各チャネルの拡散音部分は変更されない。

図３のブロック図に示される本発明の好ましい実施形態は、ＭＰＥＧ空間復号器の復号器信号の流れに合わせるように修正されたマルチチャネル再構成装置６０である。

マルチチャネル再構成装置６０は、ＭＰＥＧ符号化の中で用いられたように、複数の元のチャネルのダウンミックスによって導出されたダウンミックスチャネル６８及びマルチチャネル信号の元のチャネルの空間特性に関する情報を有するパラメータ表現７０を用いて、直接信号成分６４及び拡散信号成分６６を生成するための生成器６２を備える。マルチチャネル再構成装置６０は直接信号修正器６９をさらに備え、入力として、直接信号成分６４、拡散信号成分６６、ダウンミックス信号６８及び追加的なエンベロープサイド情報７２を受信する。

直接信号修正器６９は、その修正器出力７３において、以下にさらに詳細に記述するように修正された修正直接信号成分を提供する。

結合器７４は、修正された直接信号成分及び拡散信号成分を受信して、再構成された出力チャネル７６を得る。

図に示されているように、本発明は、既存のマルチチャネル環境において容易に実装されうる。そのような符号化方式の中で、本発明の概念の一般的な適用は、パラメータビットストリームの中で追加的に伝送されたいくつかのパラメータに基づき、オン及びオフを切り替えることが可能である。例えば、１に設定したときに、本発明の概念の利用が必要であることを示す追加的なフラグbsTempShapeEnableを導入することが可能である。

さらに、本発明の概念をチャネルごとに適用する必要性がある場合、特に指定する追加的なフラグを導入することが可能である。したがって、例えばbsEnvShapeChannelと呼ばれる追加的なフラグを用いてもよい。このフラグは、各個別のチャネルに対して利用可能であり、１に設定したときに本発明の概念の使用を指示してもよい。

説明を容易にするため、２チャネルの構成のみが図３に示されていることがさらに分かるであろう。当然のことながら、本発明は２チャネル構成にのみ限定されることを意図しているわけではない。さらに本発明の概念に関連して、任意のチャネル構成を用いてもよい。例えば本発明の高度なエンベロープ整形に関連して、５つ又は７つの入力チャネルを用いてもよい。

本発明の概念が、図３に示されているように、ＭＰＥＧ符号化方式の中で適用され、bsTempShapeEnableを１に設定することにより本発明の概念の適用が信号通知された時、生成器６２は、修正されたポストミキシングを使用して、混成（ハイブリッド）サブバンド領域内で、直接信号成分及び拡散信号成分を以下の式に基づいてそれぞれ合成する：

この式及び以下の段落において、ベクトルｗ^n,kは、サブバンド領域のｋ番目のサブバンドに関するｎ個の混成サブバンドパラメータのベクトルを記述している。前記式によって示されているように、直接信号パラメータ及び拡散信号パラメータｙは、アップミキシングの中で別個に導出される。直接出力は直接信号成分及び残余信号を持ち、残余信号はＭＰＥＧ符号化においてさらに存在しうる信号である。拡散出力は、拡散信号のみを提供する。本発明の概念によれば、直接信号成分のみが導入されたエンベロープ整形（本発明のエンベロープ整形）によってさらに処理される。

エンベロープ整形処理は、異なる信号のエンベロープ抽出操作を利用する。直接信号修正器６９の中で行われているエンベロープ抽出処理は、直接信号成分に対する本発明による修正の適用前に必須の工程であるため、以下の段落においてさらに詳細に説明する。

既に述べたように、混成サブバンド領域の中で、サブバンドはｋと表記される。複数のサブバンドｋがパラメータ帯域κに体系化されてもよい。

以下に説明される本発明の実施形態の根底にあるパラメータ帯域に対するサブバンドの関係は、図４の表において示される。

まず、１つのフレーム内の各スロットについて、あるパラメータ帯域κのエネルギー

が混成サブバンド入力信号であるy^n,kを用いて次式により計算される。

ここで、κ_start=10及びκ_stop=18である。

この合計は、図４によれば、１つのパラメータ帯域κに帰するすべての

を含む。

続いて、各パラメータ帯域について長期間のエネルギー平均

が次式で計算される。

αは第１次のＩＩＲローパス（約４００ｍｓの時間定数）に対応する重み付け係数であり、ｎは時間スロットインデックスを示している。平滑化総平均（広帯域）エネルギー

は、次式で計算される。

ここで、

である。

前記式から分かるように、時間エンベロープは、ゲイン係数がチャネルの平滑化表現から導出される前に平滑化される。平滑化とは一般に、減少する勾配を有する元のチャネルから平滑化表現を導出することを意味する。

前記式から分かるように、続いて記述される白色化演算は、時間的に平滑化された総エネルギー推定値及びサブバンドにおける平滑化エネルギー推定値に基づいており、これにより、最終的なエンベロープ推定値のより十分な安定性を確保する。

これらのエネルギー比は、スペクトル白色化演算のための重みを得るために決定される。

広帯域のエンベロープ推定値は、長期間のエネルギー平均を基にして正規化しながら、パラメータ帯域の重み付けされた寄与を合計し、さらに平方根を計算することで得られる。

ここで、

である。βは、第１次のＩＩＲローパス（約４０ｍｓの時間定数）に対応する重み付け係数である。

スペクトル的に白色化されたエネルギー又は振幅は、スケーリング係数の計算のための基礎として用いられる。前記式から分かるように、スペクトル的な白色化とは、同一のエネルギー又は平均振幅がオーディオチャネルの表現の各スペクトル帯域の中に包含されるように、スペクトルを変更することを意味する。この白色化は、当該の過渡信号が非常に広いスペクトルを持ち、この過渡信号を他の非過渡信号に対して抑制しないようなゲイン係数を計算する上で、利用可能なスペクトル全体に関する全ての情報を用いることが必要であるとき、非常に有利である。換言すれば、スペクトル的に白色化された信号とは、それら信号のスペクトル表現の異なるスペクトル帯域において略等しいエネルギーを有する信号である。

本発明の直接信号修正器は、直接信号成分を修正する。既に述べたように、伝送された残余信号が存在する場合には、開始インデックスから始まる一部のサブバンドインデックスに処理が制限されてもよい。さらに、この処理は一般に閾値インデックスを超えるサブバンドインデックスに制限されてもよい。

エンベロープ整形処理は、各出力チャネルについての直接信号のエンベロープの平坦化と、それに続く目標エンベロープへの再整形とからなる。サイド情報の中で各出力チャネルに関してbsEnvShapeChannel＝１が信号通知された時、エンベロープ整形処理により各出力チャネルの直接信号に適用されるゲイン曲線が得られる。

エンベロープ整形処理は、次のような混成サブバンドｋのみについて行われる。
ｋ＞７

伝送された残余信号が存在する場合には、ｋは、当該のチャネルのアップミックスに含まれた最も高い残余帯域を超えて始まるように選択される。

前の段落で説明したように、５−１−５構成においては、伝送されたダウンミックスのエンベロープEnv_Dmxを推定し、続いて、符号器によって伝送及び再量子化されたエンベロープ比envRatio_chを用いてその推定値をスケールすることによって、目標エンベロープが得られる。

続いて、各出力チャネルのエンベロープEnv_chを推定し、その推定値を目標エンベロープに関連付けることによって、各出力チャネルについて、１つのフレーム内のすべてのスロットにおけるゲイン曲線g_ch(n)が計算される。最後に、このゲイン曲線はアップミックスチャネルの直接信号部分をスケールするためだけの効果的なゲイン曲線に変換される。

ここで、

である。

５−２−５構成の場合には、Ｌ（左前）及びＬｓ（左後）のための目標エンベロープは、左チャネルの伝送されたダウンミックス信号のエンベロープEnv_DmxLから導出され、Ｒ（右前）及びＲｓ（右後）のためには、右チャネルの伝送されたダウンミックス信号のエンベロープEnv_DmxRが用いられる。中央チャネルは、左右の伝送されたダウンミックス信号のエンベロープの和から導出される。

各出力チャネルについてのゲイン曲線は、各出力チャネルのエンベロープEnv^L,Ls,C,R,Rsを推定しかつそのエンベロープを目標エンベロープに関連付けることによって計算される。第２のステップにおいて、このゲイン曲線はアップミックスチャネルの直接信号部分をスケールするためだけの効果的なゲイン曲線に変換される。

式中、

である。

すべてのチャネルについて、bsEnvShapeChannel＝１である場合、次のエンベロープ調整ゲイン曲線が適用される。

その他の場合には、直接信号は単に複製される。

最後に、各個別のチャネルの修正された直接信号成分は、以下の式に基づき、混成サブバンド領域内の対応する個別のチャネルの拡散信号成分と結合されなければならない。

前記の段落から分かるように、本発明の概念は、空間オーディオ復号器における拍手喝采のような信号の知覚的な品質及び空間的配分を改善することを教示している。この改善は、空間アップミックス信号の直接信号部分だけをスケールするために、時間的にきめの細かい微細なスケーリングを用いてゲイン係数を導出することによって達成される。これらのゲイン係数は、伝送されたサイド情報と符号器における直接信号及び拡散信号のレベル又はエネルギー値とから本質的に導出される。

上述の例は特に振幅値に基づく計算について記述しているが、本発明の方法はこれに制限される訳ではなく、例えばエネルギー値等のような信号の時間エンベロープを記述するのに適した他の数値を用いた計算も可能である。

上述の例は５−１−５チャネル構成及び５−２−５チャネル構成に関する計算を記述している。当然のことながら、前記で概略を述べた原理は、例えば７−２−７チャネル構成及び７−５−７チャネル構成についても同様に適用可能である。

図５は本発明のマルチチャネルオーディオ復号器１００の例を示しており、１つの元のマルチチャネル信号の複数のチャネルをダウンミックスすることで導出されたダウンミックスチャネル１０２と、元のマルチチャネル信号の元のチャネル（左前、右前、左後及び右後）の時間的構造に関する情報を含むパラメータ表現１０４を受信する。マルチチャネル復号器１００は、ダウンミックスチャネル１０２の根底にある元のチャネルのそれぞれに関して直接信号成分及び拡散信号成分を生成するための生成器１０６を有している。マルチチャネル復号器１００は、再構成されるべき各チャネルのために４つの本発明の直接信号修正器１０８ａ〜１０８ｄをさらに備え、マルチチャネル復号器がその出力１１２で４つの出力チャネル（左前、右前、左後及び右後）を出力するようになっている。

本発明のマルチチャネル復号器を再構成される４つの元のチャネルの構成例を用いて詳述してきたが、本発明の概念は任意の数のチャネルを有するマルチチャネルオーディオ方式において実施されてもよい。

図６は、再構成出力チャネルを生成する本発明の方法を詳述するブロック図を示す。

生成ステップ１１０において、直接信号成分及び拡散信号成分がダウンミックスチャネルから導出される。修正ステップ１１２において、直接信号成分が１つの元のチャネルの時間的構造に関する情報を含むパラメータ表現のパラメータを用いて修正される。

結合ステップ１１４において、修正された直接信号成分及び拡散信号成分が結合されて再構成出力チャネルを得る。

本発明の方法は、所定の実施要件に応じて、ハードウェア又はソフトウェアで実施することができる。この実施は、その中に格納される電子的に読出し可能な制御信号を有し、本発明の方法が実行されるようにプログラム可能なコンピュータシステムと協働するディジタル記憶媒体、特にディスク、ＤＶＤ又はＣＤを用いて実行できる。したがって、一般に本発明は機械読出し可能なキャリアに格納されたプログラムコードを有するコンピュータプログラム製品であり、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに、本発明の方法を実行するように動作する。したがって、換言すれば、本発明の方法は、コンピュータプログラムがコンピュータ上で実行されるときに、本発明の方法の少なくとも１つを実行するためのプログラムコードを有するコンピュータプログラムである。

前掲の内容は、その特定の実施形態を参照して具体的に図示して記述してきたが、本発明の趣旨及び範囲を逸脱することなく、形態及び詳細における種々の他の変更を行ってもよいことは当業者によって理解されよう。種々の変更は、本願明細書に開示され、以下の請求項によって理解されるより広汎な概念を逸脱することなく、異なる実施形態に適合されてもよい。

マルチチャネル符号器及び対応する復号器のブロック図である。 デコリレートされた信号を用いた信号再構成の概略図である。 本発明のマルチチャネル再構成装置の一例を示す図である。 本発明のマルチチャネル再構成装置のさらなる例を示す図である。 マルチチャネル復号方式の中で異なるパラメータ帯域を識別するために用いられるパラメータ帯域表現の一例を示す図である。 本発明のマルチチャネル復号器の一例を示す図である。 出力チャネルを再構成する本発明の方法の一例を詳細に示すブロック図である。

符号の説明

３０ マルチチャネル再構成装置
３２ 生成器
３４ 直接信号修正器
３６ 結合器
３８ ダウンミックスチャネル
４０ 時間的構造に関する情報を有するパラメータ
４２ 直接信号
４４ 拡散信号
４６ 修正された直接信号
５０ 再構成された出力チャネル
６０ マルチチャネル再構成装置
６２ 空間復号器
６４ 直接信号
６６ 拡散信号
６８ ダウンミックス
６９ 直接信号修正器
７０ 空間サイド情報
７２ エンベロープサイド情報
７４ 直接信号及び拡散信号のミキシング、合成フィルタバンク
７６ アップミックス

Claims (30)

1. 複数の元のチャネルをダウンミックスすることにより導出された少なくとも１つのダウンミックスチャネル（３８；６８）と、元のチャネルの時間的構造に関する情報を含むパラメータ表現（４０；７２）とを用いて、再構成出力チャネル（５０；７６）を生成するためのマルチチャネル再構成装置（３０；６０）であって、
   前記ダウンミックスチャネル（３８；６８）に基づいて、前記再構成出力チャネル（５０；７６）のための直接信号成分（４２；６４）と拡散信号成分（４４；６６）とを生成する生成手段（３２；６２）であって、前記直接信号成分は前記ダウンミックスチャネルからデコリレートされずに導出されたものであり、前記拡散信号成分は前記ダウンミックスチャネルからデコリレーションにより導出されたものである、生成手段と、
   前記拡散信号成分は修正せずに、前記パラメータ表現（４０；７２）の元のチャネルの時間的構造に関する情報を用いて前記直接信号成分（４２；６４）を修正するための直接信号修正手段（３４；６９）と、
   前記修正された直接信号成分（４６）と前記拡散信号成分（４４；６６）とを結合して前記再構成出力チャネル（５０；７６）を得るための結合手段（３６；７４）と、を備えるマルチチャネル再構成装置。
2. 前記生成手段（３２；６２）は前記ダウンミックスチャネル（３８；６８）の成分のみを用いて前記直接信号成分（４２；６４）を生成する請求項１に記載のマルチチャネル再構成装置。
3. 前記生成手段（３２；６２）は、前記ダウンミックスチャネル（３８；６８）のフィルタリングされた部分及び／又は遅延された部分を用いて、前記拡散信号成分（４４；６６）を生成する請求項１又は２に記載のマルチチャネル再構成装置。
4. 前記直接信号修正手段（３４；６９）は、前記元のチャネルの有限長の時間部分において前記元のチャネルに含まれたエネルギーを示す前記元のチャネルの時間的構造に関する情報を使用する、請求項１〜３のいずれかに記載のマルチチャネル再構成装置。
5. 前記直接信号修正手段（３４；６９）は、前記元のチャネルの有限長の時間部分における前記元のチャネルの平均振幅を示す前記元のチャネルの時間的構造に関する情報を使用する、請求項１〜３のいずれかに記載のマルチチャネル再構成装置。
6. 前記結合手段（３６；７４）は、前記修正された直接信号成分（４６）と前記拡散信号成分（４４；６６）とを加算して前記再構成出力チャネルを得る、請求項１〜５のいずれかに記載のマルチチャネル再構成装置。
7. 前記複数の元のチャネルの左側の情報を有する第１のダウンミックスチャネルと前記複数の元のチャネルの右側の情報を有する第２のダウンミックスチャネルとを使用し、前記第１のダウンミックスチャネルから生成された直接信号成分及び拡散信号成分だけを用いて左側に関する第１の再構成出力チャネルを結合し、前記第２のダウンミックス信号から生成された直接信号成分及び拡散信号成分だけを用いて右側に関する第２の再構成出力チャネルを結合する、請求項１〜６のいずれかに記載のマルチチャネル再構成装置。
8. 前記直接信号修正手段（３４；６９）は、前記パラメータ表現（４０；７２）内の追加的なパラメトリック情報のフレーム時間部分より短い有限長の時間部分についての前記直接信号を修正し、前記追加的なパラメトリック情報は、前記直接信号成分及び前記拡散信号成分を生成するための前記生成手段（３２；６２）によって使用される、請求項１〜７のいずれかに記載のマルチチャネル再構成装置。
9. 前記生成手段（３２；６２）は、前記複数の元のチャネルの他のチャネルに対する一つの元のチャネルのエネルギーに関する情報を有する追加的なパラメトリック情報を使用する、請求項８に記載のマルチチャネル再構成装置。
10. 前記直接信号修正手段（３４；６９）は、前記ダウンミックスチャネル（３８；６８）の時間的構造と元のチャネルの時間的構造とを関連させるように元のチャネルの時間的構造に関する情報を使用する、請求項１〜９のいずれかに記載のマルチチャネル再構成装置。
11. 前記元のチャネルの時間的構造に関する情報及び前記ダウンミックスチャネルの時間的構造に関する情報は、エネルギー又は振幅を含む請求項１〜１０のいずれかに記載のマルチチャネル再構成装置。
12. 前記直接信号修正手段（３４；６９）は、前記ダウンミックスチャネル（３８；６８）の時間的構造に関するダウンミックス時間的情報をさらに導出する、請求項１〜１１のいずれかに記載のマルチチャネル再構成装置。
13. 前記直接信号修正手段（３４；６９）は、有限長の時間間隔内の前記ダウンミックスチャネル（３８；６８）に含まれたエネルギー又は前記有限長の時間間隔における振幅を表すダウンミックス時間的情報を導出する、請求項１２に記載のマルチチャネル再構成装置。
14. 前記直接信号修正手段（３４；６９）は、前記ダウンミックス時間的情報及び前記元のチャネルの時間的構造に関する情報を用いて、再構成される前記ダウンミックスチャネル（３８；６８）のための目標の時間的構造をさらに導出する、請求項１２又は１３に記載のマルチチャネル再構成装置。
15. 前記直接信号修正手段（３４；６９）は、前記ダウンミックスチャネル（３８；６８）の所定のスペクトル下限より高いスペクトル部分に関する前記ダウンミックス時間的情報を導出する、請求項１２〜１４のいずれかに記載のマルチチャネル再構成装置。
16. 前記直接信号修正手段（３４；６９）は、前記ダウンミックスチャネル（３８；６８）をさらにスペクトル的に白色化し、当該スペクトル的に白色化されたダウンミックスチャネル（３８；６８）を用いて前記ダウンミックス時間的情報をさらに導出する、請求項１２〜１５のいずれかに記載のマルチチャネル再構成装置。
17. 前記直接信号修正手段（３４；６９）は、前記ダウンミックスチャネル（３８；６８）の平滑化表現をさらに導出し、前記ダウンミックスチャネルの前記平滑化表現から前記ダウンミックス時間的情報をさらに導出する、請求項１２〜１６のいずれかに記載のマルチチャネル再構成装置。
18. 前記直接信号修正手段（３４；６９）は、前記ダウンミックスチャネル（３８；６８）を第１次ローパスフィルタによってフィルタリングすることにより前記平滑化表現を導出する、請求項１７に記載のマルチチャネル再構成装置。
19. 前記直接信号修正手段（３４；６９）は、前記直接信号成分及び前記拡散信号成分の結合の時間的構造に関する情報をさらに導出する、請求項１〜１８のいずれかに記載のマルチチャネル再構成装置。
20. 前記直接信号修正手段（３４；６９）は、前記直接信号成分及び前記拡散信号成分の結合をスペクトル的に白色化し、当該スペクトル的に白色化された直接信号成分及び拡散信号成分を用いて、前記直接信号成分及び前記拡散信号成分の結合の時間的構造に関する情報を導出する、請求項１９に記載のマルチチャネル再構成装置。
21. 前記直接信号修正手段（３４；６９）は、前記直接信号成分及び前記拡散信号成分の結合の平滑化表現を導出し、当該直接信号成分及び拡散信号成分の結合の平滑化表現から前記直接信号成分及び前記拡散信号成分の結合の時間的構造に関する情報を導出する、請求項１９又は２０に記載のマルチチャネル再構成装置。
22. 前記直接信号修正手段（３４；６９）は、第１次ローパスフィルタを用いて前記直接信号成分及び前記拡散信号成分をフィルタリングすることによって、前記直接信号成分及び前記拡散信号成分の結合の平滑化表現を導出する、請求項２１に記載のマルチチャネル再構成装置。
23. 前記直接信号修正手段（３４；６９）は、前記元のチャネルの有限長の時間間隔におけるエネルギー又は振幅と、前記ダウンミックスチャネル（３８；６８）の前記有限長の時間間隔におけるエネルギー又は振幅との比率を表す前記元のチャネルの時間的構造に関する情報を用いる、請求項１〜２２のいずれかに記載のマルチチャネル再構成装置。
24. 前記直接信号修正手段（３４；６９）は、前記ダウンミックスチャネル（３８；６８）及び前記時間的構造に関する情報を用いて、前記再構成出力チャネル（５０；７６）のための目標の時間的構造を導出する、請求項１〜２３のいずれかに記載のマルチチャネル再構成装置。
25. 前記直接信号修正手段（３４；６９）は、前記再構成出力チャネル（５０；７６）の時間的構造が許容範囲内で前記目標の時間的構造に等しくなるように前記直接信号成分を修正する、請求項２４に記載のマルチチャネル再構成装置。
26. 前記直接信号修正手段（３４；６９）は中間スケーリング係数を導出し、当該中間スケーリング係数によってスケールされた前記直接信号成分と前記拡散信号成分とを用いて前記再構成出力チャネル（５０；７６）が結合されるとき、前記再構成出力チャネル（５０；７６）の前記時間的構造が許容範囲内で前記目標の時間的構造に等しくなるように、前記中間スケーリング係数を導出する、請求項２４に記載のマルチチャネル再構成装置。
27. 前記直接信号修正手段（３４；６９）は、前記中間スケーリング係数と前記直接信号成分及び前記拡散信号成分とを用いて最終スケーリング係数をさらに導出し、当該最終スケーリング係数によってスケールされた前記直接信号成分と前記拡散信号成分とを用いて前記再構成出力チャネル（５０；７６）が結合されるとき、前記再構成出力チャネル（５０；７６）の時間的構造が許容範囲内で前記目標の時間的構造に等しくなるように、前記最終スケーリング係数を導出する、請求項２６に記載のマルチチャネル再構成装置。
28. 複数の元のチャネルをダウンミックスすることにより導出された少なくとも１つのダウンミックスチャネル（３８；６８）と、元のチャネルの時間的構造に関する情報を含むパラメータ表現（４０；７２）とを用いて、再構成出力チャネル（５０；７６）を生成するための方法であって、
    前記ダウンミックスチャネル（３８；６８）に基づいて、前記再構成出力チャネル（５０；７６）のための直接信号成分と拡散信号成分とを生成するステップであって、前記直接信号成分は前記ダウンミックスチャネルからデコリレートされずに導出されたものであり、前記拡散信号成分は前記ダウンミックスチャネルからデコリレーションにより導出されたものである、ステップと、
    前記拡散信号成分は修正せずに、前記パラメータ表現（４０；７２）の元のチャネルの時間的構造に関する情報を用いて前記直接信号成分を修正するステップと、
    前記修正された直接信号成分（４６）と前記拡散信号成分（４４；６６）とを結合して前記再構成出力チャネル（５０；７６）を得るステップと、を備える方法。
29. 複数の元のチャネルをダウンミックスすることにより導出された少なくとも１つのダウンミックスチャネル（３８；６８）と、元のチャネルの時間的構造に関する情報を含むパラメータ表現（４０；７２）とを用いて、マルチチャネル信号を再構成するためのマルチチャネルオーディオ復号器であって、請求項１〜２７のいずれかに記載のマルチチャネル再構成装置を備えるマルチチャネルオーディオ復号器。
30. コンピュータに請求項２８に記載の方法を実行させるためのコンピュータプログラム。

Images