JP5102213B2 - マルチチャンネル音声信号の時間的および空間的整形 - Google Patents

Description

本発明は、マルチチャンネル音声信号の符号化に関し、特に、再構築されたマルチチャンネル信号の空間的知覚を向上させるための概念に関する。

音声符号化における最近の開発によって、ステレオ（またはモノラル）信号および対応制御データに基づいて音声信号のマルチチャンネル表現を再現する機能が可能となってきている。このような方法は、ドルビープロロジックなどの従来のマトリックスに基づく解決策とは実質的に異なる。なぜならば、送信されたモノラルまたはステレオチャンネルに基づいてサラウンドチャンネルのアップミックスとも称される再現を制御するために、さらなる制御データが送信されるからである。

よって、パラメータによるマルチチャンネル音声デコーダは、Ｍ個の送信済みチャンネルとさらなる制御データとに基づいてＮ個のチャンネルを再構成する。なお、Ｎ＞Ｍである。さらなる制御データは、すべてのＮチャンネルを送信するよりも著しく低いデータレートを表し、Ｍチャンネル装置とＮチャンネル装置との両方の互換性を同時に確保しつつ、符号化を非常に効率的なものとしている。Ｍチャンネルは、単一のモノラル、ステレオ、または５．１チャンネル表現のいずれかでありうる。よって、例えば７．２チャンネルの元の信号を５．１チャンネルの後方互換信号にダウンミックスすることができ、空間的音声パラメータによって、空間的音声デコーダは、元の７．２チャンネルと非常に似通ったバージョンを少ない追加のビットレートオーバヘッドで再生することができる。

このようなパラメータによるサラウンド符号化方法は、通常、ＩＬＤ（チャンネル間レベル差（Ｉｎｔｅｒｃｈａｎｎｅｌ Ｌｅｖｅｌ Ｄｉｆｆｅｒｅｎｃｅ））およびＩＣＣ（チャンネル間コヒーレンス（Ｉｎｔｅｒ Ｃｈａｎｎｅｌ Ｃｏｈｅｒｅｎｃｅ））に基づくサラウンド信号のパラメータ化を含む。このようなパラメータは、例えば、電力率と、元のマルチチャンネル信号のチャンネル対間の相関性を表す。復号化処理において、再生したマルチチャンネル信号は、受信されたダウンミックスチャンネルのエネルギーを、送信されたＩＬＤパラメータによって表されたすべてのチャンネル対間に分散させることによって得られる。しかしながら、マルチチャンネル信号は、異なるチャンネルにおける信号が非常に異なっていても、すべてのチャンネル間で均一の電力分布を有しうるので、聞いた際に非常に幅広い（拡散）音であるという印象を与え、正確な幅（拡散性）は、信号をその逆相関バージョンでミキシングすることによって得られる。このミキシングは、ＩＣＣパラメータによって表される。信号の逆相関バージョンは、当該信号を反射器などの全通過フィルタを通すことによって得られる。

これは、信号の逆相関バージョンはデコーダ側で作成されるものであり、ダウンミックスチャンネルと同様にエンコーダからデコーダへ送信されるものではないことを意味する。全通過フィルタ（逆相関器）からの出力信号は、通常、非常に平坦な時間応答を有する。よって、ディラック入力信号は、減衰ノイズバーストアウトを与える。したがって、逆相関されたものと元信号をミキシングする場合、逆相関信号の時間的エンベロープを整形するのに重要な高密度の過渡事象（喝采（ａｐｐｌａｕｓｅ）信号）などといったある信号型が、ダウンミックスチャンネルによりよく適合し、しばしばドライ（ｄｒｙ）信号とも称される。それがうまくいかないと、空間サイズが大きいように知覚され、不自然な音の過渡信号という結果となってしまう。過渡信号と全通過フィルタとしての反射器とを有するので、逆相関（ウェット（ｗｅｔ））信号の整形が省略される場合に、反射型のアーチファクトが生じうる。

技術的観点から、例えばＭＰＥＧ音声合成内にマルチチャンネル信号を再構築する際の重要な課題の１つは、非常に幅広い音像を伴うマルチチャンネル信号を適切に再生させることである。技術的にいえば、これは、低チャンネル間相関（またはコヒーレンス）を伴ういくつかの信号の生成に対応するが、それでもスペクトルおよび時間的エンベロープを厳しく制御するものである。そのような信号の例は、「喝采」要素であり、高度の逆相関および急激な過渡事象（拍手）の両方を示す。その結果、これらの要素は、ＭＰＥＧサラウンド技術にとって非常に重要なものとなっており、より詳細には、例えば、「ＭＰＥＧ空間音声符号化ＲＭ０リスニングテストに関するレポート（Ｒｅｐｏｒｔ ｏｎ ＭＥＰＧ Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ ＲＭ０ Ｌｉｓｔｅｎｉｎｇ Ｔｅｓｔｓ）」、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ）、文書Ｎ７１３８、釜山、大韓民国、２００５年、に詳述されている。一般的に、過去の研究は、以下の解決策を提供することによって喝采などの広／拡散信号を最適に再生することに関する数多くの態様に注目している。
１．アーチファクトなどの前反響を防止するために、逆相関信号の時間的（および空間的）整形を、送信されたダウンミックス信号のそれに適合させる（注：これには、空間音声エンコーダから空間音声デコーダへのサイド情報の送信を何ら必要としない）。
２．元の入力信号の時間的エンベロープを示しかつ空間音声エンコーダから空間音声デコーダへ送信されるサイド情報を使用して、合成出力チャンネルの時間的エンベロープを（対応エンコーダの入力の際に存在する）その元エンベロープ形状に適合させる。

現在、ＭＰＥＧサラウンド基準モデルは、そのような信号の符号化をサポートするいくつかのツールを既に含んでいる。例えば、
・時間領域の時間的整形（Ｔｉｍｅ Ｄｏｍａｉｎ Ｔｅｍｐｏｒａｌ Ｓｈａｐｉｎｇ：ＴＰ）
・時間的エンベロープ整形（Ｔｅｍｐｏｒａｌ Ｅｎｖｅｌｏｐｅ Ｓｈａｐｉｎｇ：ＴＥＳ）

ＭＰＥＧサラウンド合成システムにおいて、送信されたＩＣＣ値に従って合成出力信号の相関性を制御するために、逆相関音が生成されて「ドライ」信号とミキシングされる。以下、逆相関信号を「拡散（ｄｉｆｆｕｓｅ）」信号と称するが、「拡散」という用語は、信号自身の性質よりも再構築された空間音フィールドの性質を反映している。過渡信号に関して、デコーダにおいて生成された拡散音は、ドライ信号の上質な時間的整形に自動的には適合せず、ドライ信号とは知覚的にうまく一致するものではない。これにより、知覚音声符号化から知られている「前反響問題」と同様に、過渡再生が悪くなる。時間領域の時間的整形を実施するＴＰツールは、拡散音の処理によってこの問題に対処するために設計される。

ＴＰツールは、図１４に示すように時間領域において適用される。これは、基本的には、ＭＰＥＧサラウンド符号化器のフィルタバンクによって提供されるものより高い時間解像度を伴うドライおよび拡散信号の時間的エンベロープ推定からなる。拡散信号は、ドライ信号のエンベロープに適合するために、その時間的エンベロープにおいて再スケーリングされる。この結果、喝采などの空間的画像が広い／チャンネル信号間の相関が低い臨界的な過渡信号についての音声品質が著しく向上する。

エンベロープ整形（チャンネル内に含まれるエネルギーの時間的進展の調整）は、ウェット信号の正規化された短時間エネルギーをドライ信号のそれに適合させることによって行われる。これは、拡散信号に適用される時間変動するゲイン関数によって達成され、拡散信号の時間エンベロープがドライ信号のそれに適合するように整形される。

注意すべきなのは、信号の時間的エンベロープを処理するために、エンコーダからデコーダへ送信されるべきサイド情報を何ら必要としないということである（ＴＰを選択的に許可／禁止するための制御情報のみがサラウンドエンコーダによって送信される）。

図１４は、ＭＰＥＧサラウンド符号化内で適用されるような時間領域の時間的整形を示す。直接信号１０および整形されるべき拡散信号１２が処理対象の信号であり、共にフィルタバンク領域に提供される。ＭＰＥＧサラウンド内において、オプションとして、まだフィルタバンク領域内にある直接信号１０に追加される残余信号１４が利用可能であってもよい。ＭＰＥＧサラウンドデコーダの特別な場合においては、拡散信号１２の高周波数部のみが整形されるので、信号の低周波数部１６は、フィルタバンク領域内の直接信号１０に追加される。

直接信号１０および拡散信号１２は、フィルタバンク合成装置１８ａおよび１８ｂによって別個に時間領域に変換される。実際の時間領域の時間的整形は、合成フィルタバンクの後に行われる。拡散信号１２の高周波数部のみが整形されることになっているので、直接信号１０および拡散信号１２の時間領域表現は、以降のフィルタリングステップにおいて信号の高周波数部のみが使用されることを保証する高域通過フィルタ２０ａおよび２０ｂへ入力される。後に続く信号のスペクトル白色化は、スペクトル白色化器２２ａおよび２２ｂにおいて行われて、信号の全スペクトル範囲の振幅（エネルギー）比率を以降のエンベロープ推定２４において占めることを確実にしてもよい。エンベロープ推定２４では、所定の時間部分内における直接信号および拡散信号内に含まれるエネルギーの比率を比較する。この時間部分は、通常フレーム長によって規定される。エンベロープ推定２４は出力として、スケール係数２６を有し、信号エンベロープが基本的に各フレーム内の拡散信号１２および直接信号１０で同一であることを保証するために、これが時間領域内のエンベロープ整形２８における拡散信号１２に適用される。

最後に、エンベロープが整形された拡散信号には、低域周波数帯域のアーチファクトが含まれてないことを保証するために、エンベロープが整形された拡散信号は、再び高域通過フィルタ２９によって高域通過フィルタリングされる。直接信号と拡散信号との結合が加算器３０によって行われる。その後、出力信号３２は、直接信号１０および拡散信号１２の信号部を含み、拡散信号はエンベロープ整形されて、信号エンベロープが基本的に結合前の拡散信号１２および直接信号１０で同一であることを確実にする。

拡散音の時間的整形の詳細な制御の問題は、いわゆる時間的エンベロープ整形（ＴＥＳ）ツールによっても対処できる。このツールは、時間的処理（Ｔｅｍｐｏｒａｌ Ｐｒｏｃｅｓｓｉｎｇ：ＴＰ）ツールに代わる複雑性の低いものとして設計されている。ＴＰは、拡散音エンベロープの時間領域スケーリングによって時間領域において動作するのに対して、ＴＥＳによる取り組みは、スペクトル領域表現における拡散音エンベロープを制御することによって同一原理の効果を達成する。これは、ＭＰＥＧ‐２／４高度音声符号化（Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ：ＡＡＣ）から知られているような時間領域雑音整形（Ｔｅｍｐｏｒａｌ Ｎｏｉｓｅ Ｓｈａｐｉｎｇ：ＴＮＳ）による取り組みと同様に行われる。拡散音の細かい時間的エンベロープの操作は、そのスペクトル係数をドライ信号のスペクトル係数のＬＰＣ分析から派生された適切な整形フィルタで周波数に亘って畳み込むことによって実現される。ＭＰＥＧサラウンドフィルタバンクは、時間解像度が非常に高いことから、ＴＥＳ処理には低次フィルタリング（１次複素予測）のみを必要とするので、計算の複雑性は低い。それに対して、例えば時間的エイリアシングに関連する制約により、ＴＰツールが提供する時間的制御の全範囲を提供することはできない。

注意すべきなのは、ＴＥＳは、ＴＰの場合と同様に、信号の時間的エンベロープを説明するために、エンコーダからデコーダへサイド情報を何ら送る必要がないことである。

ＴＰおよびＴＥＳというツールは共に、時間的整形を送信されたダウンミックス信号のそれに適合させることによって拡散音の時間的整形の問題に上手く対処している。これによって前反響型のアンマスキングが回避される一方で、マルチチャンネル出力信号における第２の型の不備は、空間的な再分配が欠けているので埋め合わせることはできない。

喝采信号は、過渡事象（拍手）の高密度の混合からなり、過渡事象のうちのいくつかは、典型的には同一のパラメータフレーム内となる。フレーム内のすべての拍手が同一（または同様の）空間的方向から生じるわけではないのは明らかである。しかしながら、ＭＰＥＧサラウンドデコーダに関しては、デコーダの時間的な精度は、フレームサイズとパラメータスロットの時間的精度とによって主に決定される。よって、合成後において、各拍手が個々に局在化されてもよいような（実際そのように感じられてもよい）元信号とは対照的に、あるフレーム内のすべての拍手が同一の空間的向き（出力チャンネル間のレベル分布）で現れる。

また、喝采信号などの非常に臨界的な信号の空間的再分散の観点からよい結果を達成するためには、アップミックス済みの信号の時間エンベロープを非常に高い時間解像度で整形する必要がある。

「ＭＰＥＧ空間音声符号化ＲＭ０リスニングテストに関するレポート（Ｒｅｐｏｒｔ ｏｎ ＭＥＰＧ Ｓｐａｔｉａｌ Ａｕｄｉｏ Ｃｏｄｉｎｇ ＲＭ０ Ｌｉｓｔｅｎｉｎｇ Ｔｅｓｔｓ）」、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１（ＭＰＥＧ）、文書Ｎ７１３８、釜山、大韓民国、２００５年

したがって、本発明の目的は、効率的な符号化を可能にするマルチチャンネル音声信号の符号化のための概念を提供して、マルチチャンネル信号の空間的分布の改良された保存を提供することである。

本発明の第１の態様によれば、本目的は、１つ以上のチャンネルを有する元のマルチチャンネル信号から派生されたベース信号に基づくマルチチャンネル出力信号を生成するためのデコーダによって実現され、ベース信号のチャンネル数は、元のマルチチャンネル信号のチャンネル数よりも少なく、ベース信号は、高解像度を有するサンプリング値をそれぞれ備えるフレームに組織化されており、元のマルチチャンネル信号の選択された元チャンネルの中間解像度表現の波形を表わす波形パラメータ表現にも基づいており、波形パラメータ表現は、サンプリング値の高時間解像度よりも低く、フレーム反復レートによって規定される低時間解像度よりも高い中間時間解像度を有する中間波形パラメータのシーケンスを含み、本デコーダは、中間解像度よりも高い時間解像度を有する複数のアップミックス済みのチャンネルを生成するためのアップミキサと、選択されたアップミックス済みのチャンネルを、選択されたアップミックス済みのチャンネルに対応する選択された元チャンネルの中間波形パラメータを使用して整形するための整形器とを備える。

本発明の第２の態様によれば、本目的は、サンプリング期間を有するサンプリング値をそれぞれ備えるフレームを有するマルチチャンネル信号のチャンネルの波形パラメータ表現を生成するためのエンコーダによって実現され、本エンコーダは、フレームのサンプリング値を使用して、サンプリング期間よりも長い低解像度期間に関連付けられる低解像度値を有するチャンネルの低解像度表現を派生させるための時間解像度減少器と、低解像度表現の波形を表わす波形パラメータ表現を計算するための波形パラメータ計算器であって、サンプリング値の時間解像度よりも低く、フレーム反復レートによって規定される時間解像度よりも高い時間解像度を有する波形パラメータのシーケンスを生成するように適合されている、波形パラメータ計算器とを備える。

本発明の第３の態様によれば、本目的は、１つ以上のチャンネルを有する元のマルチチャンネル信号から派生されたベース信号に基づくマルチチャンネル出力信号を生成するための方法によって実現され、ベース信号のチャンネル数は、元のマルチチャンネル信号のチャンネル数よりも少なく、ベース信号は、高解像度を有するサンプリング値をそれぞれ備えるフレームに組織化されており、また、元のマルチチャンネル信号の選択された元チャンネルの中間解像度表現の波形を表わす波形パラメータ表現にも基づいており、波形パラメータ表現は、サンプリング値の高時間解像度よりも低くフレーム反復レートによって規定される低時間解像度よりも高い中間時間解像度を有する中間波形パラメータのシーケンスを含み、本方法は、中間解像度よりも高い時間解像度を有する複数のアップミックス済みのチャンネルを生成するステップと、選択されたアップミックス済みのチャンネルを、選択されたアップミックス済みのチャンネルに対応する選択された元チャンネルの中間波形パラメータを使用して整形するステップとを含む。

本発明の第４の態様によれば、本目的は、サンプリング期間を有するサンプリング値を備えるそれぞれフレームによって表されるマルチチャンネル信号のチャンネルの波形パラメータ表現を生成するための方法によって実現され、本方法は、フレームのサンプリング値を使用して、サンプリング期間よりも大きい低解像度期間に関連付けられる低解像度値を有するチャンネルの低解像度表現を派生させるステップと、低解像度表現の波形を表わす波形パラメータ表現を計算するステップであって、波形パラメータ計算器は、サンプリング値の時間解像度よりも低くフレーム反復レートによって規定される時間解像度よりも高い時間解像度を有する波形パラメータのシーケンスを生成するように適合される、ステップとを含む。

本発明の第５の態様によれば、本目的は、１つ以上のチャンネルを有するマルチチャンネル音声信号から派生されたベース信号に基づくマルチチャンネル音声信号の表現によって実現され、ベース信号のチャンネル数は、マルチチャンネル信号のチャンネル数よりも少なく、ベース信号は、高解像度を有するサンプリング値をそれぞれ備えるフレームに組織化されており、また、マルチチャンネル信号の選択されたチャンネルの中間解像度表現の波形を表わす波形パラメータ表現にも基づいており、波形パラメータ表現は、サンプリング値の高時間解像度よりも低くフレーム反復レートによって規定される低時間解像度よりも高い時間解像度を有する中間波形パラメータのシーケンスを含む。

本発明の第６の態様によれば、本目的は、１つ以上のチャンネルを有するマルチチャンネル音声信号から派生されたベース信号に基づく、マルチチャンネル音声信号の表現を記憶するコンピュータ読み出し記憶媒体によって実現され、ベース信号のチャンネル数は、マルチチャンネル信号のチャンネル数よりも少なく、ベース信号は、高解像度を有するサンプリング値をそれぞれ備えるフレームに組織化されており、また、マルチチャンネル信号の選択されたチャンネルの中間解像度表現の波形を表わす波形パラメータ表現にも基づいており、波形パラメータ表現は、サンプリング値の高時間解像度よりも低くフレーム反復レートによって規定される低時間解像度よりも高い時間解像度を有する中間波形パラメータのシーケンスを含む。

本発明の第７の態様によれば、本目的は、１つ以上のチャンネルを有する元のマルチチャンネル信号から派生されたベース信号に基づくマルチチャンネル出力信号を生成するためのデコーダを有する受信器または音声再生器によって実現され、ベース信号のチャンネル数は、元のマルチチャンネル信号のチャンネル数よりも少なく、ベース信号は、高解像度を有するサンプリング値をそれぞれ備えるフレームに組織化されており、また、元のマルチチャンネル信号の選択された元チャンネルの中間解像度表現の波形を表わす波形パラメータ表現にも基づいており、波形パラメータ表現は、サンプリング値の高時間解像度よりも低くフレーム反復レートによって規定される低時間解像度よりも高い中間時間解像度を有する中間波形パラメータのシーケンスを含み、中間解像度よりも高い時間解像度を有する複数のアップミックス済みのチャンネルを生成するためのアップミキサと、選択されたアップミックス済みのチャンネルを、選択されたアップミックス済みのチャンネルに対応する選択された元チャンネルの中間波形パラメータを使用して整形するための整形器とを備える。

本発明の第８の態様によれば、本目的は、サンプリング期間を有するサンプリング値をそれぞれ備えるフレームによって表されるマルチチャンネル信号のチャンネルの波形パラメータ表現を生成するためのエンコーダを有する送信器または音声記録器によって実現されるのであって、エンコーダは、フレームのサンプリング値を使用して、サンプリング期間よりも長い低解像度期間に関連付けられる低解像度値を有するチャンネルの低解像度表現を派生させるための時間解像度減少器と、低解像度表現の波形を表わす波形パラメータ表現を計算するための波形パラメータ計算器であって、サンプリング値の時間解像度よりも低くフレーム反復レートによって規定される時間解像度よりも高い時間解像度を有する波形パラメータのシーケンスを生成するように適合されている、波形パラメータ計算器とを備える。

本発明の第９の態様によれば、本目的は、受信または音声再生の方法によって実現され、マルチチャンネル出力信号を生成するための方法を有し、本方法は、１つ以上のチャンネルを有する元のマルチチャンネル信号から派生されたベース信号に基づいており、ベース信号のチャンネル数は、元のマルチチャンネル信号のチャンネル数よりも少なく、ベース信号は、高解像度を有するサンプリング値をそれぞれ備えるフレームに組織化されており、本方法は、元のマルチチャンネル信号の選択された元チャンネルの中間解像度表現の波形を表わす波形パラメータ表現にも基づいており、波形パラメータ表現は、サンプリング値の高時間解像度よりも低くフレーム反復レートによって規定される低時間解像度よりも高い中間時間解像度を有する中間波形パラメータのシーケンスを含み、方法は、中間解像度よりも高い時間解像度を有する複数のアップミックス済みのチャンネルを生成するステップと、選択されたアップミックス済みのチャンネルを、選択されたアップミックス済みのチャンネルに対応する選択された元のチャンネルの中間波形パラメータを使用して整形するステップとを含む。

本発明の第１０の態様によれば、本目的は、送信または音声記録の方法によって実現され、サンプリング期間を有するサンプリング値をそれぞれ備えるフレームによって表されるマルチチャンネル信号のチャンネルの波形パラメータ表現を生成するための方法を有し、方法は、フレームのサンプリング値を使用して、サンプリング期間よりも長い低解像度期間に関連付けられる低解像度値を有するチャンネルの低解像度表現を派生させるステップと、低解像度表現の波形を表わす波形パラメータ表現を計算するステップであって、波形パラメータ計算器は、サンプリング値の時間解像度よりも低くフレーム反復レートによって規定される時間解像度よりも高い時間解像度を有する波形パラメータのシーケンスを生成するように適合されている、ステップとを含む。

本発明の第１１の態様によれば、本目的は、送信器および受信器を有する送信システムによって実現され、送信器は、サンプリング期間を有するサンプリング値を備えるフレームを有するマルチチャンネル信号のチャンネルの波形パラメータ表現を生成するためのエンコーダを有し、受信器は、マルチチャンネル出力信号を生成するためのデコーダを有し、デコーダは、１つ以上のチャンネルを有する元のマルチチャンネル信号から派生されたベース信号に基づいており、ベース信号のチャンネル数は、元のマルチチャンネル信号のチャンネル数よりも少なく、ベース信号は、高解像度を有するサンプリング値をそれぞれ備えるフレームに組織化されており、また、元のマルチチャンネル信号の選択された元チャンネルの中間解像度表現の波形を表わす波形パラメータ表現にも基づいており、波形パラメータ表現は、サンプリング値の高時間解像度よりも低くフレーム反復レートによって規定される低時間解像度よりも高い中間時間解像度を有する中間波形パラメータのシーケンスを含む。

本発明の第１２の態様によれば、本目的は、送信および受信の方法によって実現され、送信の方法は、サンプリング期間を有するサンプリング値をそれぞれ備えるフレームによって表されるマルチチャンネル信号のチャンネルの波形パラメータ表現を生成するための方法を有し、受信の方法は、１つ以上のチャンネルを有する元のマルチチャンネル信号から派生されたベース信号に基づくマルチチャンネル出力信号を生成するための方法を有し、ベース信号のチャンネル数は、元のマルチチャンネル信号のチャンネル数よりも少なく、ベース信号は、高解像度を有するサンプリング値をそれぞれ備えるフレームに組織化されており、また、元のマルチチャンネル信号の選択された元チャンネルの中間解像度表現の波形を表わす波形パラメータ表現にも基づいており、波形パラメータ表現は、サンプリング値の高時間解像度よりも低くフレーム反復レートによって規定される低時間解像度よりも高い中間時間解像度を有する中間波形パラメータのシーケンスを含む。

本発明の第１３の態様によれば、本目的は、コンピュータを実行する際に、上記方法のいずれかを行うためのプログラムコードを有するコンピュータプログラムによって実現される。

本発明は、以下の知見に基づく。すなわち、高時間解像度を有するサンプリング値からなるフレームによって表されるマルチチャンネル信号の選択されたチャンネルがより高品質で符号化可能なのは、選択されたチャンネルの中間解像度表現の波形を表す波形パラメータ表現が派生された場合であるということである。本波形パラメータ表現には、サンプリング値の高時間解像度よりも低くフレーム反復レートによって規定される時間解像度よりも高い時間解像度を有する中間波形パラメータのシーケンスを含む。再構築されたチャンネルを整形して、選択された元のチャンネルに近い信号エンベロープを有するチャンネルを取り出すために、中間解像度の波形パラメータ表現を使用することができる。整形が行われる時間スケールは、フレームのような処理の時間スケールよりも細かいので、再構築されたチャンネルの品質を向上させる。その一方で、整形時間スケールはサンプリング値の時間スケールよりも粗いので、波形パラメータ表現によって必要とされるデータ量を著しく減少させる。

エンベロープ整形に適した波形パラメータ表現は、本発明の好ましい一実施の形態において、サンプリング期間内の信号の強度を示すパラメータとして、信号強度の度合いを含んでもよい。信号強度は信号の知覚的な音の大きさに非常に関連しているので、強度パラメータを使用することは、エンベロープ整形を実施するために適切な選択である。２つの自然信号強度パラメータは、例えば、振幅または二乗された振幅、すなわち、信号のエネルギーである。

本発明は、高い時間的な精度で信号空間分散を回復し、それによって喝采信号などに関連するような「空間分散」の完全な知覚を回復させるための機構を提供することを目的としている。重要なサイド条件として、送信された制御情報（サラウンドサイド情報）が容認できないほど多く増加することなく、改良されたレンダリング性能が達成されることが挙げられる。

以下の段落において説明される本発明は、利用可能なダウンミックス信号と追加の制御データとに基づく音声信号のマルチチャンネル再構築に主に関する。元の信号の（所定の）ダウンミックスに対してマルチチャンネル特性を表す空間的パラメータが、エンコーダの側で抽出される。ダウンミックス信号および空間的表現が、ダウンミックス信号とその逆相関されたバージョンとの結合を再構築されているチャンネルに分散させることによって、元のマルチチャンネル信号に非常に似通った表現を再生成するために、デコーダ内で使用される。

本発明は、ステレオデジタル無線送信（ＤＡＢ、ＸＭ衛星無線など）などの後方互換ダウンミックス信号が望ましいシステム内において適用可能であるが、マルチチャンネルの非常にコンパクトな表現を必要とするシステム内においても適用可能である。以下の段落では、ＭＰＥＧサラウンド音声標準規格内のアプリケーションにおいて本発明を説明する。いうまでもなく、上述のような例などの他のマルチチャンネル音声符号化システム内においても適用可能である。

本発明は、以下の考慮事項に基づく。
・最適な知覚音声品質のためには、ＭＰＥＧサラウンド合成段階が、逆相関のための手段を提供するだけでなく、細かい時間的な精度上の信号の空間的分散を再合成することができなくてはならない。
・これには、マルチチャンネル信号の空間的分散（チャンネルエンベロープ）を表すサラウンドサイド情報の送信が必要である。
・各時間的チャンネルエンベロープの送信のために必要なビットレートを最小限にするためには、この情報を、ダウンミックス信号のエンベロープに対して正規化されかつ関連付けられたやり方で符号化する。エンベロープ送信に必要なビットレートをさらに減少させるために、追加のエントロピー符号化ステップが続く。
・この情報に従って、ＭＰＥＧサラウンドデコーダは、時間的な対象エンベロープに適合するように直接および拡散音（または結合された直接／拡散音）を共に整形する。これにより、個々のチャンネルエンベロープの独立的な制御が可能となり、空間的分散の知覚を細かい時間的精度で再生成し、これは、（逆相関手法のみによるフレームベースの低解像度の空間的処理よりも）元のものに非常に似通ったものとなる。

ガイドされたエンベロープ整形の原理は、スペクトルおよび時間領域の両方において適用することができ、スペクトル領域における実施の方が計算の複雑性が低い。

本発明の一実施の形態において、マルチチャンネル信号の選択されたチャンネルは、チャンネルのエンベロープを説明するパラメータ表現によって表され、該チャンネルは、高サンプリングレート、すなわち高時間解像度を有するサンプリング値のフレームによって表される。エンベロープは、チャンネルに含まれるエネルギーの時間的な進化として規定されており、エンベロープは、典型的には、フレーム長に対応する時間間隔のために計算される。本発明において、単一のパラメータがエンベロープを表す時間スライスは、フレームによって規定された時間スケールに対して減少する。すなわち、この時間スライスは、サンプリング間隔よりも長くフレーム長よりも短い中間時間間隔である。これを実現するために、サンプリングパラメータによって提供される解像度に比べて低い時間解像度を有するフレームを説明する、選択されたチャンネルの中間解像度表現を計算する。選択されたチャンネルのエンベロープは、一方で低解像度表現の時間解像度を向上させるとともに他方で時間領域内の整形に比べてデータ量と必要な計算の複雑性とを減少させる低解像度表現の時間解像度を使用して推定される。

本発明の好ましい一実施の形態において、選択されたチャンネルの中間解像度表現は、選択されたチャンネルのダウンサンプリングされたフィルタバンク表現を派生するフィルタバンクによって提供される。フィルタバンク表現において、各チャンネルは、数多くの有限の周波数帯域に分割され、各周波数帯域は、サンプリング値の時間解像度よりも低い時間解像度の選択された周波数帯域内の信号の時間的な進化を説明する数多くのサンプリング値によって表されている。

フィルタバンク領域における本発明の適用は、数多くの大きな利点を有する。その実施は、既存の符号化スキームに上手く適合する。すなわち、本発明は、ＭＰＥＧサラウンド音声符号化などの既存の音声符号化スキームに対して完全に後方互換性を有して実施することができる。さらに、フィルタバンクのダウンサンプリング特性によって、時間解像度の必要な減少が自動的に提供され、スペクトルの白色化を、時間領域よりもフィルタバンク領域における計算の複雑性の方が遥かに低く実施することができる。さらなる利点としては、進歩的な本概念は、知覚的な品質の観点から、整形を必要とする選択されたチャンネルの周波数部分だけに適用されてもよいということである。

本発明のさらに好ましい一実施の形態において、選択されたチャンネルのエンベロープとエンコーダ側から派生されたダウンミックス信号のエンベロープとの間の比率を説明する、選択されたチャンネルの波形パラメータ表現が派生される。エンベロープの差分または相対推定に基づいて波形パラメータ表現を派生させることは、波形パラメータ表現によって必要とされるビットレートをさらに削減するという主要な利点がある。さらなる好ましい実施の形態において、そのように派生された波形パラメータ表現は、波形パラメータ表現によって必要とされるビットレートを削減するために、量子化される。さらに非常に有利なことには、情報をさらに損失することなくビットレートをさらに節約するために、エントロピー符号化を量子化されたパラメータに適用する。

本発明のさらに好ましい一実施の形態において、波形パラメータは、所定の時間部についての選択されたチャンネルに含まれるエネルギーを説明するエネルギーの度合いに基づく。エネルギーは、好ましくは、選択されたチャンネルを説明するサンプリングパラメータの二乗和として計算される。

本発明のさらに好ましい一実施の形態において、マルチチャンネル音声信号の選択された音声信号の中間解像度表現に基づいて波形パラメータ表現を派生させる進歩的な本概念は、時間領域において実施される。必要とされる中間解像度表現の派生は、数多くの連続するサンプリング値の（二乗）平均またはエネルギー和を計算することによって実現可能である。平均化される連続するサンプリング値の数の違いによって、エンベロープ整形処理の時間解像度を簡便に調整することができる。上述の実施形態を修正した形態においては、波形パラメータ表現の派生のために各ｎ番目のサンプリング値のみが使用されて、計算の複雑性をさらに減少させる。

本発明のさらに好ましい一実施の形態において、整形パラメータの派生は、周波数領域における計算の複雑性が比較的低く行われ、実際の整形、すなわち整形パラメータの適用は、時間領域において行われる。

本発明のさらに好ましい一実施の形態において、エンベロープ整形は、高時間解像度のエンベロープ整形が本当に必要な、選択されたチャンネルの部分に対してのみ適用される。

上の段落において説明した本発明は、以下の利点を生じさせる。
・最悪の場合の信号であると現在考えられうる喝采信号などの高密度の過渡音の空間的な音質の改善。
・エンベロープ情報の非常にコンパクトな符号化により、空間的な音声サイド情報比率の適度な増加に留める（エンベロープの継続的な送信につき約５キロビット／秒）。
・知覚的に必要な場合にのみ、エンベロープをエンコーダに送信させることによって、ビットレート全体をさらに減少しうる。提案されるエンベロープビットストリーム要素のシンタックスはこれを考慮している。

進歩的な本概念は、ガイドされたエンベロープ整形として説明でき、以下の段落内で簡潔にまとめられる。

ガイドされたエンベロープ整形は、ビットストリーム内に含まれるパラメータのブロードバンドエンベロープサイド情報を使用して、エンベロープ平坦化および各出力チャンネルの再整形を行うことによって、合成された出力信号のブロードバンドエンベロープを復元する。

再整形処理では、ダウンミックスおよび出力チャンネルのエンベロープが抽出される。これらのエンベロープを取得するために、パラメータ帯域およびスロット毎のエネルギーが計算される。続いて、スペクトル白色化動作が行われ、すべてのパラメータ帯域の総エネルギーが同一となるように、各パラメータ帯域のエネルギー値が重み付けされる。最後に、すべてのパラメータ帯域の重み付けされたエネルギーを合計および正規化することによってブロードバンドエンベロープが取得され、長期間定数を使用する低域通過フィルタリングによって長期間平均エネルギーが取得される。

エンベロープ再整形処理は、対象エンベロープに向けて出力チャンネルの平坦化および再整形を行うものであって、これは、各出力チャンネルの直接および拡散音部分上のゲイン曲線を計算および適用することによって行われる。したがって、送信されたダウンミックスおよび各出力チャンネルのエンベロープは、上述のように抽出される。

その後、抽出されたダウンミックスエンベロープおよび抽出された出力エンベロープの比率を、ビットストリームで送信されたエンベロープ比率値でスケーリングすることによって、ゲイン曲線が取得される。

提案されるエンベロープ整形ツールは、ビットストリームで送信される量子化されたサイド情報を使用する。エンベロープサイド情報に対する総ビットレートの要求を表１に列挙する（４４．１ｋＨｚサンプリングレートで５ステップ量子化エンベロープサイド情報であると仮定する）。

上述のように、ガイドされた時間的エンベロープ整形は、ＴＥＳまたはＴＰによって対処されるのと直交する問題に対処する。提案されるガイドされた時間的エンベロープ整形は、過渡事象の空間的分散を改善することが目的であるのに対して、ＴＥＳおよびＴＰツールは、ドライエンベロープに適合させるために拡散音エンベロープを整形するように機能する。よって、高品質な適用の場合には、新規に提案されたツールをＴＥＳまたはＴＰと組み合わせるのが推奨される。最適な性能のためには、ガイドされた時間的エンベロープ整形は、デコーダツールチェーンにおけるＴＥＳまたはＴＰの適用以前に行われる。さらに、ＴＥＳおよびＴＰツールは、提案されるツールと継ぎ目なく統合するようにその構成はやや改造される。基本的には、ＴＥＳまたはＴＰ処理において対象エンベロープを派生させるために使用される信号を、ダウンミックス信号を使用することから再整形された個々のチャンネルアップミックスチャンネルを使用することに変更する。

既に上述のように、進歩的な本概念の大きな利点の１つに、ＭＰＥＧサラウンド符号化スキーム内に配置できる可能性がある。進歩的な本概念は、一方では、過渡事象または信号の適切な処理に必要な時間的整形機構を実施するので、ＴＰ／ＴＥＳツールの機能を拡張する。他方では、本ツールは、整形処理をガイドするためのサイド情報の送信を必要とする。必要とされる平均サイド情報ビットレート（連続するエンベロープ送信用には約５キロビット／秒）は比較的低いものの、概念上の品質のゲインは著しい。その結果、新規の本概念は、既存のＴＰ／ＴＥＳツールに対する付加として提案される。高い音声品質を維持しながら計算の複雑性をやや低くしておくという意味において、新規に提案された概念をＴＥＳに組み合わせるのが好ましい動作モードである。計算の複雑性に関して、エンベロープ抽出および再整形に必要とされる計算はフレーム毎ベースのものもあれば、スロット（すなわち、フィルタバンク領域内の時間間隔）毎に行われるものもあることに注意されたい。複雑性は、フレーム長と共にサンプリング周波数にも依存する。フレーム長が３２スロットでサンプリングレートが４４．１ＫＨｚとすると、上記のアルゴリズムは、エンベロープ抽出のために１チャンネルにつき毎秒約１０５．０００動作（ｏｐｅｒａｔｉｏｎ ｐｅｒ ｓｅｃｏｎｄ：ＯＰＳ）を必要とし、１つのチャンネルの整形のために３３０．０００ＯＰＳを必要とする。１つのエンベロープ抽出がダウンミックスチャンネル毎に必要であり、かつ、１つの整形動作が出力チャンネル毎に必要なので、これにより、５‐１‐５構成、すなわち５チャンネルのマルチチャンネル音声信号がモノラルダウンミックス信号によって表される場合には合計１．７６ＭＯＰＳの複雑性となり、ステレオダウンミックス信号を使用する５‐２‐５構成では１．８６ＭＯＰＳとなる。

本発明の好ましい実施の形態は、添付の図面を参照することによって次に説明する。
図１は、進歩的なデコーダを示す。
図２は、進歩的なエンコーダを示す。
図３ａは、ハイブリッドフィルタバンクのフィルタ帯域インデックスを対応サブバンドインデックスに割り当てる表を示す。
図３ｂは、ハイブリッドフィルタバンクのフィルタ帯域インデックスを対応サブバンドインデックスに割り当てる表を示す。
図４は、異なるデコード構成のパラメータを示す。
図５は、進歩的な概念の後方互換性を表わす符号化スキームを示す。
図６は、異なる構成を選択するパラメータ構成を示す。
図７は、後方互換符号化スキームを示す。
図７ｂは、異なる量子化スキームを示す。
図８は、後方互換符号化スキームをさらに示す。
図９は、効率的な実施のために使用されるハフマンコードブックを示す。
図１０は、マルチチャンネル出力信号のチャンネル構成のための例を示す。
図１１は、進歩的な送信器または音声記録器を示す。
図１２は、進歩的な受信器または音声再生器を示す。
図１３は、進歩的な送信システムを示す。
図１４は、従来技術の時間領域の時間的整形を示す。

図１は、アップミキサ４２と整形器４４とを有する進歩的なデコーダ４０を示す。

デコーダ４０は、元のマルチチャンネル信号から派生された、１つ以上のチャンネルを有するベース信号４６を入力として受信する。ベース信号のチャンネル数は、元のマルチチャンネル信号のチャンネル数よりも少ない。デコーダ４０は、選択された元のチャンネルの低解像度表現の波形を表す波形パラメータ表現４８を第２の入力として受信する。波形パラメータ表現４８は、ベース信号４６を記述するフレームに組織化されたサンプリング値の時間解像度よりも少ない時間解像度を有する波形パラメータのシーケンスを含む。アップミキサ４２は、ベース信号４６からアップミックスチャンネル５０を生成しており、アップミックス５０は、サンプリング値の時間解像度よりも低い時間解像度を有する元のマルチチャンネル信号の選択された元チャンネルの低解像度の推定表現である。整形器４４は、アップミックスチャンネル５０と波形パラメータ表現４８とを入力として受信し、対応する元チャンネルのエンベロープを許容範囲内に収めるように整形済みのアップミックスチャンネル５２のエンベロープを調整することによって整形されるアップミックス済みのチャンネル５２を派生させる。時間解像度は、波形パラメータ表現の時間解像度によって与えられる。

よって、整形されたアップミックス済みのチャンネルのエンベロープは、ベース信号４６を形成するフレームによって規定される時間解像度よりも高い時間解像度で整形される。したがって、再構築された信号の空間的な再分散が、フレームを使用するよりも細かい時間精度で保証され、知覚品質は、波形パラメータ表現４８によってビットレートはやや上昇するものの、拡張可能である。

図２は、時間解像度減少器６２と波形パラメータ計算器６４とを有する進歩的なエンコーダ６０を示す。エンコーダ６０は、フレーム６６によって表わされているマルチチャンネル信号のチャンネルを入力として受信する。フレームは、サンプリング値６８ａから６８ｇを備え、各サンプリング値は、第１のサンプリング期間を表わす。時間解像度減少器６２は、チャンネルの低解像度表現７０を派生させる。フレームは、サンプリング期間よりも長い低解像度期間に関連付けられる低解像度値７２ａから７２ｄを有する。

波形パラメータ計算器６４は、低解像度表現７０を入力として受信し、波形パラメータ７４を計算する。波形パラメータ７４は、サンプリング値の時間解像度よりも低くフレームによって規定される時間解像度よりも高い時間解像度を有する。

波形パラメータ７４は、好ましくは、低解像度期間によって規定される時間部分内のチャンネルの振幅に依存する。好ましい一実施の形態において、波形パラメータ７４は、低解像度期間におけるチャンネル内に含まれるエネルギーを記述している。好ましい一実施の形態において、波形パラメータは、波形パラメータ７４に含まれるエネルギーの度合いが、進歩的なマルチチャンネル音声エンコーダによって派生されるダウンミックス信号によって規定される基準エネルギーの度合いに関連して派生されるように派生される。

進歩的な概念の概略を示すために、ＭＰＥＧサラウンド音声エンコーダの場合における進歩的な概念の適用を以下の段落内でより詳細に述べる。

従来技術のＭＰＥＧエンコーダのサブバンド領域内での進歩的な概念の適用は、従来技術の符号化スキームに対して、進歩的な概念である有利な後方互換性をさらに際立たせる。

本発明（ガイドされたエンベロープ整形）は、合成された出力信号のブロードバンドエンベロープを復元する。本発明は、修正されたアップミックス手順に、各出力チャンネルの直接（ドライ）および拡散（ウェット）信号部分のエンベロープ平滑化および再整形が続く。再整形を進めるために、ビットストリームに含まれるパラメータブロードバンドエンベロープサイド情報が使用される。サイド情報は、送信されたダウンミックス信号エンベロープを元の入力チャンネル信号エンベロープに関連付ける比率（ｅｎｖＲａｔｉｏ）からなる。

エンベロープ整形処理は、異なる信号に対するエンベロープ抽出動作を用いるので、エンベロープ抽出処理をより詳細に初めに説明する。注意すべきなのは、ＭＰＥＧ符号化スキームにおいて、ハイブリッドフィルタバンクによって派生された表現においてチャンネルが操作されることであり、すなわち、２つの連続フィルタが入力チャンネルに適用される。第１のフィルタバンクは、入力チャンネルの表現を派生させ、そこでは、複数の周波数間隔が、入力チャンネルのサンプリング値の時間解像度よりも低い時間解像度を有するパラメータによって独立して記述される。これらのパラメータ帯域を、以下では文字κによって表わす。あるパラメータ帯域は、後にさらなるフィルタバンクによってフィルタリングされ、当該フィルタバンクは、以下の段落においてｋによって表わされる表現を伴って、１つ以上の有限の周波数帯域における第１のフィルタバンクのいくつかの周波数帯域をさらに分割する。言い換えれば、各パラメータ帯域κは、１つより多いハイブリッドインデックスｋに関連付けられてもよい。

図３ａおよび図３ｂは、パラメータ帯域の数を対応するハイブリッドパラメータに関連付ける表を示す。ハイブリッドパラメータｋは、表の第１欄８０において与えられており、関連パラメータ帯域κは、欄８２ａまたは８２ｂのうちの１つにおいて与えられている。欄８２ａまたは８２ｂの適用は、ＭＰＥＧデコーダフィルタバンクの２つの異なる構成の可能性を示すパラメータ８４（ｄｅｃＴｙｐｅ）に依存する。

さらに注意すべきなのは、チャンネルに関連付けられるパラメータは、フレームのようなやり方で処理されることであり、単一のフレームは、ｎ個の時間間隔を有し、時間間隔ｎ毎に、単一のパラメータｙがハイブリッドインデックスｋ毎に存在する。時間間隔ｎは、スロットとも称され、関連パラメータは、ｙ^n,kで示される。正規化されたエンベロープの推定に関して、パラメータ帯域のエネルギーは、ｙ^n,kをフレーム内のスロット毎の入力信号として計算される。

総計は、図３ａおよび図３ｂに示す表に従ってすべてのパラメータ帯域κによるものとされたすべてのｋを含む。

その後、パラメータ帯域毎のフレームにおける合計パラメータ帯域エネルギーが以下のように計算される。

ここで、αは、４００ｍｓの時定数を有する１次ＩＩＲ低域通過に対応する重み付け係数である。ｔは、フレームインデックス、ｓＦｒｅｑは、入力信号のサンプリングレート、および、６４は、フィルタバンクのダウンサンプル係数を表わす。フレームにおける平均エネルギーは、以下のように計算される。

ここで、κ_start＝１０かつ κ_stop＝１８である。

これらのエネルギーの比率は、スペクトル白色化のための重みを取得するために決定される。

ブロードバンドエンベロープは、パラメータ帯域の重み付けされた寄与の総計、正規化、および平方根の計算によって取得される。

エンベロープ抽出の後、エンベロープ整形処理が行われる。これは、出力チャンネル毎の直接および拡散音エンベロープの平滑化に続いて、対象エンベロープに向けての再整形を行うことからなる。これにより、各出力チャンネルの直接及び拡散信号部分に適用されるゲイン曲線が生じる。

ＭＰＥＧサラウンド互換符号化スキームの場合には、５‐１‐５および５‐２‐５構成が区別される。

すべてのチャンネルについて、エンベロープ適応ゲイン曲線が以下のように適用される。

ここで、ｋは、クロスオーバーハイブリッドサブバンドｋ₀で開始し、ｎ＝０，…，ｎｕｍＳｌｏｔｓ−１である。

ウェットおよびドライ信号のエンベロープ整形を別個に行った後に、整形された直接および拡散音は、以下の式に従って、サブバンド領域内でミックスされる。

上記の段落では、ＭＰＥＧサラウンド符号化に基づく従来技術の符号化スキーム内で進歩的な本概念を実施することが有利に可能であることを示した。本発明は、さらなる計算の手間をほとんど掛けずに、操作すべき信号の既存のサブバンド領域表現も活用することができる。進歩的な本概念をＭＰＥＧマルチチャンネル音声符号化へ実施する効率性を向上するためには、アップミキシングおよび時間的エンベロープ整形に対してさらに何らかの変更を行うことが望ましい。

ガイドされたエンベロープ整形が可能である場合には、直接及び拡散信号は、以下の式に従って、ハイブリッドサブバンド領域における修正された後ミキシングを使用して別個に合成される。

ここで、ｋ₀はクロスオーバーハイブリッドサブバンドを示す。

上述の式からわかるように、直接出力は、直接信号と、低帯域の拡散信号と、残余信号（もしあれば）とを保持する。拡散出力は、高帯域の拡散信号を提供する。

ここで、ｋ₀は図４に係るクロスオーバーハイブリッドサブバンドを示す。図４は、パラメータ８４（ｄｅｃＴｙｐｅ）によって指示される２つのデコーダ構成の可能性に依存してクロスオーバーハイブリッドサブバンドｋ₀を与える表を示す。

ＴＥＳが、ガイドされたエンベロープ整形と組み合わせて使用される場合には、最適な性能のために、ＴＥＳ処理はやや改造される。

ダウンミックス信号の代わりに、再整形された直接アップミックス信号が、整形フィルタ推定のために使用される。

よって、５‐１‐５または５‐２‐５モードとは独立して、すべてのＴＥＳ計算がチャンネル毎ベースで行われる。さらに、直接および拡散信号のミキシングステップは、ＴＥＳによって行われるので、ガイドされたエンベロープ整形の際には省略される。

ＴＰが、ガイドされたエンベロープ整形と組み合わせて使用される場合には、最適な性能のためにＴＰ処理は、やや改造される。

一般的なダウンミックス（元のマルチチャンネル信号から派生）の代わりに、チャンネル毎の対象エンベロープを抽出するために、各チャンネルの再整形された直接アップミックス信号が使用される。

よって、５‐１‐５または５‐２‐５モードとは独立して、すべてのＴＰ計算がチャンネル毎ベースで行われる。さらに、直接および拡散信号のミキシングステップは、ガイドされたエンベロープ整形の際には省略され、ＴＰによって行われる。

ＭＰＥＧ音声符号化の進歩的な概念である後方互換性をさらに強調かつ証明するために、以下の図は、完全に後方互換性があると定義されかつ量子化されたエンベロープ再整形データをさらにサポートするビットストリーム定義および関数を示す。

図５は、ビットストリームの空間的固有構成を説明する一般的なシンタックスを示す。

本構成の第１の部分９０において、変数は、例えば残余符号化が適用されるか、または、適用する逆相関スキームについての指示を与えるかどうかについて規定する従来技術のＭＰＥＧ符号化に関連付けられている。この構成は、第２の部分９２によって容易に拡張することができる。第２の部分９２は、進歩的な本発明であるガイドされたエンベロープ整形を適用する場合の修正された構成を記述している。

特に、第２の部分は、デコーダによって適用可能なエンベロープ整形の構成を示す変数ｂｓＴｅｍｐＳｈａｐｅＣｏｎｆｉｇを使用する。

図６は、前記変数によって消費される４ビットを解釈する、後方互換性のあるやり方を示す。図６からわかるように、変数値４から７（行９４に示す）は、進歩的な本概念の使用を示しており、さらに、進歩的な本概念を従来技術の整形機構ＴＰおよびＴＥＳに組み合わせることを示している。

図７は、本発明の好ましい一実施形態に置いて実施されるようなエントロピー符号化スキームのための提案されたシンタックスの概要を示す。加えて、エンベロープサイド情報が、５ステップ量子化規則で量子化される。図７に提示された疑似コードの第１の部分においては、時間的エンベロープ整形が、すべての所望の出力チャンネルについて可能であり、提示のコードの第２の部分１０２においては、エンベロープ再整形が要求されている。これは、図６の変数ｂｓＴｅｍｐＳｈａｐｅＣｏｎｆｉｇによって示される。

本発明の好ましい一実施の形態において、５ステップ量子化が使用され、量子化された値は、１から８個の同一の連続した値が、エンベロープ整形パラメータのビットストリーム内で生じたかどうかという情報を使用して共に符号化される。

注意すべきなのは、原理的には、提案された５ステップ量子化などの細かい量子化が可能であり、そして、図７ｂに示すような変数ｂｓＥｎｖＱｕａｎｔＭｏｄｅによって示すことができる。原理的には可能であるものの、本実施は、１つの有効な量子化のみを導入する。

図８は、量子化済みのパラメータをハフマン符号化された表現から派生させるように適合されるコードを示す。既に述べたように、量子化値に関する結合情報および当該値の反復回数は、単一のハフマン符号語によって表される。したがって、ハフマン復号化は、所望の出力チャンネルに対するループを開始する第１の構成要素１０４と、ハフマン符号語を送信して、図９に示すような関連パラメータ値と反復データを受信することによって、個々のチャンネル毎に符号化された値を受信する第２の構成要素１０６とを備える。

図９は、４０個のエントリを有する関連ハフマンコードブックを示す。５つの互いに異なるパラメータ値１１０に対し、最大反復レートが８であることが予測されるからである。したがって、ハフマン符号語１１２は、パラメータ１１０と連続発生数１１４との組み合わせを記述する。

ハフマン復号化されたパラメータ値について、ガイドされたエンベロープ整形のために使用されるエンベロープ比率は、以下の式に従って、送信された再整形済みのデータから取得される。

ここで、ｎ＝０，…，ｎｕｍＳｌｏｔｓ−１であり、Ｘおよびｏｃは、図１０に従って出力チャンネルを表わす。

図１０は、上記の表および式によって使用されるようなループ変数ｏｃ１２０を再構築されたマルチチャンネル信号の出力チャンネル１２２に関連付けている表を示す。

図３ａから図９によって示されてきたように、進歩的な本概念を従来技術の符号化スキームに適用することは容易に行うことができ、後方互換性を完全に維持しつつ知覚品質が向上することになる。

図１１は、エンコーダ６０と入力インターフェース３３２と出力インターフェース３３４とを有する進歩的な音声送信器または記録器３３０を示す。

送信器／録音器３３０の入力インターフェース３３２において音声信号を供給することが可能である。音声信号は、送信器／録音器内の進歩的なエンコーダ６０によって符号化され、符号化された表現は、送信器／録音器３３０の出力インターフェース３３４において出力される。その後、符号化された表現は、記憶媒体に送信または記憶されてもよい。

図１２は、進歩的なデコーダ４０とビットストリーム入力３４２と音声出力３４４とを有する進歩的な受信器または音声再生器３４０を示す。

進歩的な受信器／音声再生器３４０の入力３４２にビットストリームが入力可能である。その後、ビットストリームは、デコーダ４０によって復号化され、復号化された信号は、進歩的な受信器／音声再生器３４０の出力３４４において出力または再生される。

図１３は、進歩的な送信器３３０と進歩的な受信器３４０とを備える送信システムを示す。

送信器３３０の入力インターフェース３３２における音声信号入力は符号化されて、送信器３３０の出力３４４から受信器３４０の入力３４２へ転送される。受信器は、音声信号を復号化して、その出力３４４において音声信号を再生または出力する。

まとめると、本発明は、例えば以下を説明することによって、改良された解決策を提供する。
‐知覚される歪みを最小限にする適切かつ安定的なブロードバンドエンベロープを計算するやり方
‐ダウンミックス信号のエンベロープと関連して表される（正規化されて表される）ようにすることによって、ビットレートオーバヘッドを最小限にするように、エンベロープサイド情報を符号化するための最適化された方法
‐送信されるべきエンベロープ情報に対する量子化スキーム
‐このサイド情報の送信のための適切なビットストリームシンタックス
‐ＱＭＦサブバンド領域内のブロードバンドエンベロープ操作の効率的な方法
‐元の時間的チャンネルエンベロープを記述する空間的サイド情報が利用可能である場合に、上述のような処理型（１）および（２）を、マルチチャンネル信号の細かな空間的分散を時間の経過と共に回復することができる単一のアーキテクチャ内にいかにして統合することができるかという概念。そのような情報が、空間的ビットストリーム内で送信されない場合には（例えば、利用可能なサイド情報のビットレートにおける制約のため）、処理は、（チャンネル個別ベースではないものの）逆相関音の正確な時間的整形を行うことができる（１）型の処理に戻る。

上述の本発明の概念を既存のＭＰＥＧ符号化スキームへの応用において広範に説明してきたが、当該進歩的な概念は、空間的な音声特性を保持しなければならない符号化の任意の他の種類にも適用することができる。

エンベロープ、すなわち信号のエネルギーを大きな時間解像度で整形するために中間信号を導入または使用するという進歩的な概念は、周波数領域だけでなく、図示のように、時間領域においても適用することができ、例えば、連続する時間スライスに亘って平均化するか、または音声信号のサンプル表現のｎ番目毎のサンプル値のみを考慮することによって、時間解像度を低下、したがって必要なビットレートを減少させることができる。

以上の段落で示したような進歩的な本概念は、処理済みの信号をスペクトル白色化することを組み込んでいるが、スペクトル白色化を伴わずに中間解像度信号を有するという考え方を組み込むこともできる。

進歩的な本方法の実施要件によっては、本方法は、ハードウェアまたはソフトウェアで実施することができる。本実施は、電子的に読み出し可能な制御信号を記憶するデジタル記憶媒体、特にディスク、ＤＶＤ、またはＣＤを使用して行うことができ、進歩的な本方法が行われるようなプログラム可能なコンピュータシステムと共に動作する。したがって、一般的に、本発明は、機械読み出し可能な担体上に記憶されたプログラムコードを伴うコンピュータプログラム製品であって、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行する場合に、進歩的な本方法を行うために動作する。したがって、言い換えれば、進歩的な本方法は、コンピュータプログラムがコンピュータ上で実行する場合に、本方法の少なくとも１つを行うためのプログラムコードを有するコンピュータプログラムである。

以上、その特定の実施の形態を参照して図示および説明してきたが、形式および詳細に対する他の様々な変更が本発明の精神および範囲から逸脱することなく行われてもよいことは、当業者によって理解されるだろう。異なる実施の形態に適応する際に、本明細書に記載されかつ請求項に包含されるさらに広い概念から逸脱することなく様々な変更が行われてもよいことが理解されるべきである。

進歩的なデコーダを示す。 進歩的なエンコーダを示す。 ハイブリッドフィルタバンクのフィルタ帯域インデックスを対応サブバンドインデックスに割り当てる表を示す。 ハイブリッドフィルタバンクのフィルタ帯域インデックスを対応サブバンドインデックスに割り当てる表を示す。 異なるデコード構成のパラメータを示す。 進歩的な概念の後方互換性を表わす符号化スキームを示す。 異なる構成を選択するパラメータ構成を示す。 後方互換符号化スキームを示す。 異なる量子化スキームを示す。 後方互換符号化スキームをさらに示す。 効率的な実施のために使用されるハフマンコードブックを示す。 マルチチャンネル出力信号のチャンネル構成のための例を示す。 進歩的な送信器または音声記録器を示す。 進歩的な受信器または音声再生器を示す。 進歩的な送信システムを示す。 従来技術の時間領域の時間的整形を示す。

Claims (32)

1. １つ以上のチャンネルを有する元のマルチチャンネル信号から派生されたベース信号に基づくマルチチャンネル出力信号を生成するためのデコーダであって、前記ベース信号のチャンネル数は、前記元のマルチチャンネル信号のチャンネル数よりも少なく、前記ベース信号は、高解像度を有するサンプリング値を備えるフレームを有し、前記元のマルチチャンネル信号の選択された元チャンネルの中間解像度表現の波形を表わす波形パラメータ表現にも基づいており、前記波形パラメータ表現は、前記サンプリング値の前記高時間解像度よりも低くフレーム反復レートによって規定される低時間解像度よりも高い中間時間解像度を有する中間波形パラメータのシーケンスを含み、
   前記中間解像度よりも高い時間解像度を有する複数のアップミックス済みのチャンネルを生成し、かつ、前記アップミックス済みのチャンネルを生成するために使用される前記ベース信号の中間解像度表現を派生させるためのアップミキサと、
   前記ベース信号の前記中間解像度表現の基準波形パラメータ表現を派生させ、かつ、選択されたアップミックス済みのチャンネルを、前記基準波形パラメータ表現と前記選択されたアップミックス済みのチャンネルに対応する前記選択された元チャンネルの前記中間波形パラメータとを使用して整形するための整形器とを備える、デコーダ。
2. 前記アップミキサは、前記ベース信号の中間解像度表現を派生させるようにさらに動作する、請求項１に記載のデコーダ。
3. 前記アップミキサは、フィルタバンクを使用して、前記ベース信号の前記中間解像度表現を派生させるように動作し、前記ベース信号の前記中間解像度表現は、フィルタバンク領域において派生される、請求項２に記載のデコーダ。
4. 前記フィルタバンクは、複合変調されたフィルタバンクである、請求項３に記載のデコーダ。
5. 前記アップミキサは、前記ベース信号から１つ以上の逆相関信号を派生させるための１つ以上の逆相関器を有する、請求項１に記載のデコーダ。
6. 前記アップミキサは、前記アップミックス済みのチャンネルの前記生成が前記ベース信号の前記チャンネルと前記１つ以上の逆相関信号との一次結合を含むように動作する、請求項５に記載のデコーダ。
7. 前記整形器は、前記ベース信号から派生された選択されたアップミックス済みのチャンネルの第１の部分が、前記１つ以上の逆相関信号から派生された前記選択されたアップミックス済みのチャンネルの第２の部分とは独立して整形されるように、前記選択されたアップミックス済みのチャンネルを整形するように動作する、請求項６に記載のデコーダ。
8. 前記整形器は、前記選択されたチャンネルの前記中間解像度表現の信号強度の度合いを表す中間波形パラメータを使用するように動作する、請求項１に記載のデコーダ。
9. 前記整形器は、振幅またはエネルギーの度合いを有する信号強度の度合いを表す中間波形パラメータを使用するように動作する、請求項８に記載のデコーダ。
10. 前記整形器は、前記整形が前記波形パラメータ表現と前記基準波形パラメータ表現とからの前記パラメータの組み合わせを備えるように、前記選択されたアップミックス済みのチャンネルを整形するように動作する、請求項１に記載のデコーダ。
11. 前記整形器は、前記ベース信号の前記中間解像度表現について、スペクトルが平らな表現を派生させ、前記スペクトルが平らな表現は、平らな周波数スペクトルを有し、かつ、前記スペクトルが平らな表現から前記基準波形パラメータ表現を派生させるように動作する、請求項１に記載のデコーダ。
12. 前記整形器は、前記フレーム反復レートによって規定される前記低時間解像度を有するさらなる波形パラメータを使用して、前記選択されたアップミックス済みのチャンネルを整形するようにさらに適合される、請求項１に記載のデコーダ。
13. 前記整形済みの選択されたアップミックス済みのチャンネルを使用して、前記高時間解像度を有する前記マルチチャンネル出力信号を生成するための出力インターフェースをさらに有する、請求項１に記載のデコーダ。
14. 前記出力インターフェースは、前記マルチチャンネル出力信号の前記生成が、複数の整形されたアップミックス済みのチャンネルのフィルタバンク表現の合成を備えることで、前記高時間解像度を有する前記複数の整形されたアップミックス済みのチャンネルの時間領域表現となるように、前記マルチチャンネル出力信号を生成するように動作する、請求項１３に記載のデコーダ。
15. 前記整形器は、１０量子化ステップよりも少ないステップを有する逆量子化規則を使用して、前記波形パラメータ表現をその量子化された表現から派生させるための逆量子化器を有する、請求項１に記載のデコーダ。
16. 前記整形器は、前記波形パラメータ表現の前記量子化された表現を、そのエントロピー符号化された表現から派生させるためのエントロピーデコーダを有する、請求項１５に記載のデコーダ。
17. 前記エントロピーデコーダは、前記波形パラメータ表現の前記量子化された表現を派生させるためのハフマンコードブックを使用するように動作する、請求項１６に記載のデコーダ。
18. 前記整形器は、前記時間領域における前記選択されたアップミックス済みのチャンネルを整形するように動作する、請求項３に記載のデコーダ。
19. サンプリング期間を有するサンプリング値を備えるフレームを有するマルチチャンネル信号のチャンネルの波形パラメータ表現を生成するためのエンコーダであって、
    フレームの前記サンプリング値を使用して、前記サンプリング期間よりも長い低解像度期間に関連付けられる低解像度値を有する前記チャンネルの低解像度表現を派生させ、かつ、前記マルチチャンネル信号から派生されたベース信号の基準低解像度表現を派生させるための時間解像度減少器であって、前記ベース信号のチャンネル数は、前記マルチチャンネル信号のチャンネル数よりも少ない、時間解像度減少器と、
    前記低解像度表現の波形を表わす前記波形パラメータ表現を計算するための波形パラメータ計算器であって、前記サンプリング値の時間解像度よりも低くフレーム反復レートによって規定される時間解像度よりも高い時間解像度を有する波形パラメータのシーケンスを生成するように適合されており、前記チャンネルの前記基準低解像度表現と前記低解像度表現とを使用して前記波形パラメータを計算するように動作する、前記波形パラメータ計算器とを備える、エンコーダ。
20. 前記時間解像度減少器は、フィルタバンク領域において派生される前記チャンネルの前記低解像度表現を派生させるためのフィルタバンクを有する、請求項１９に記載のエンコーダ。
21. 前記波形パラメータ計算器は、前記波形パラメータの前記計算が前記チャンネルの前記基準低解像度表現と前記低解像度表現との振幅度合いの組み合わせを備えるように動作する、請求項１９に記載のエンコーダ。
22. 前記波形パラメータ計算器は、前記波形パラメータの量子化された表現を派生させるための量子化器を有する、請求項１９に記載のエンコーダ。
23. 前記波形パラメータ計算器は、前記波形パラメータの前記量子化された表現のエントロピー符号化された表現を派生させるためのエントロピー符号化器を有する、請求項２２に記載のエンコーダ。
24. １つ以上のチャンネルを有する元のマルチチャンネル信号から派生されたベース信号に基づくマルチチャンネル出力信号を生成するための方法であって、前記ベース信号のチャンネル数は、元のマルチチャンネル信号のチャンネル数よりも少なく、前記ベース信号は、高解像度を有するサンプリング値を備えるフレームを有し、また、前記元のマルチチャンネル信号の選択された元チャンネルの中間解像度表現の波形を表わす波形パラメータ表現にも基づいており、前記波形パラメータ表現は、前記サンプリング値の前記高時間解像度よりも低くフレーム反復レートによって規定される低時間解像度よりも高い中間時間解像度を有する中間波形パラメータのシーケンスを含み、
    前記アップミックス済みのチャンネルを生成するために使用される前記ベース信号の中間解像度表現を派生させるステップと、
    前記中間解像度よりも高い時間解像度を有する複数のアップミックス済みのチャンネルを生成するステップと、
    前記ベース信号の前記中間解像度表現の基準波形パラメータ表現を派生させるステップと、
    選択されたアップミックス済みのチャンネルを、前記基準波形パラメータ表現と前記選択されたアップミックス済みのチャンネルに対応する前記選択された元チャンネルの前記中間波形パラメータとを使用して整形するステップとを含む、方法。
25. サンプリング期間を有するサンプリング値を備えるフレームを有するマルチチャンネル信号のチャンネルの波形パラメータ表現を生成するための方法であって、
    フレームの前記サンプリング値を使用して、前記サンプリング期間よりも大きい低解像度期間に関連付けられる低解像度値を有する前記チャンネルの低解像度表現を派生させるステップと、
    前記マルチチャンネル信号から派生されたベース信号の基準低解像度表現を派生させるステップであって、前記ベース信号のチャンネル数は、前記マルチチャンネル信号のチャンネル数よりも少ない、ステップと、
    前記チャンネルの前記基準低解像度表現と低解像度表現とを使用して前記低解像度表現の波形を表わす前記波形パラメータ表現を計算するステップであって、前記波形パラメータ表現は、前記サンプリング値の時間解像度よりも低くフレーム反復レートによって規定される時間解像度よりも高い時間解像度を有する、ステップとを含む、方法。
26. １つ以上のチャンネルを有する元のマルチチャンネル信号から派生されたベース信号に基づくマルチチャンネル出力信号を生成するためのデコーダを有する受信器または音声再生器であって、前記ベース信号のチャンネル数は、前記元のマルチチャンネル信号のチャンネル数よりも少なく、前記ベース信号は、高解像度を有するサンプリング値を備えるフレームを有し、また、前記元のマルチチャンネル信号の選択された元チャンネルの中間解像度表現の波形を表わす波形パラメータ表現にも基づいており、前記波形パラメータ表現は、前記サンプリング値の前記高時間解像度よりも低くフレーム反復レートによって規定される低時間解像度よりも高い中間時間解像度を有する中間波形パラメータのシーケンスを含み、
    前記中間解像度よりも高い時間解像度を有する複数のアップミックス済みのチャンネルを生成し、かつ、前記アップミックス済みのチャンネルを生成するために使用される前記ベース信号の中間解像度表現を派生させるためのアップミキサと、
    前記ベース信号の前記中間解像度表現の基準波形パラメータ表現を派生させ、かつ、選択されたアップミックス済みのチャンネルを、前記基準波形パラメータ表現と前記選択されたアップミックス済みのチャンネルに対応する前記選択された元のチャンネルの前記中間波形パラメータとを使用して整形するための整形器とを備える、受信器または音声再生器。
27. サンプリング期間を有するサンプリング値を備えるフレームを有するマルチチャンネル信号のチャンネルの波形パラメータ表現を生成するためのエンコーダを有する送信器または音声記録器であって、前記エンコーダは、
    フレームの前記サンプリング値を使用して、前記サンプリング期間よりも長い低解像度期間に関連付けられる低解像度値を有する前記チャンネルの低解像度表現を派生させ、かつ、前記マルチチャンネル信号から派生されたベース信号の基準低解像度表現を派生させるための時間解像度減少器であって、前記ベース信号のチャンネル数は、前記マルチチャンネル信号のチャンネル数よりも少ない、時間解像度減少器と、
    前記低解像度表現の波形を表わす前記波形パラメータ表現を計算するための波形パラメータ計算機であって、前記サンプリング値の時間解像度よりも低くフレーム反復レートによって規定される時間解像度よりも高い時間解像度を有する波形パラメータのシーケンスを生成するように適合されており、前記チャンネルの前記基準低解像度表現と前記低解像度表現とを使用して前記波形パラメータを計算するように動作する、波形パラメータ計算器とを備える、送信器または音声記録器。
28. 受信または音声再生の方法であって、当該方法は、１つ以上のチャンネルを有する元のマルチチャンネル信号から派生されたベース信号に基づくマルチチャンネル出力信号を生成するための方法を有し、前記ベース信号のチャンネル数は、前記元のマルチチャンネル信号のチャンネル数よりも少なく、前記ベース信号は、高解像度を有するサンプリング値を備えるフレームを有し、当該方法は、前記元のマルチチャンネル信号の選択された元チャンネルの中間解像度表現の波形を表わす波形パラメータ表現にも基づいており、前記波形パラメータ表現は、前記サンプリング値の前記高時間解像度よりも低くフレーム反復レートによって規定される低時間解像度よりも高い中間時間解像度を有する中間波形パラメータのシーケンスを含み、前記方法は、
    前記アップミックス済みのチャンネルを生成するために使用される前記ベース信号の中間解像度表現を派生させるステップと、
    前記中間解像度よりも高い時間解像度を有する複数のアップミックス済みのチャンネルを生成するステップと、
    前記ベース信号の前記中間解像度表現の基準波形パラメータ表現を派生させるステップと、
    選択されたアップミックス済みのチャンネルを、前記選択されたアップミックス済みのチャンネルに対応する前記選択された元のチャンネルの前記中間波形パラメータを使用して整形するステップとを含む、方法。
29. 送信または音声記録の方法であって、サンプリング期間を有するサンプリング値を備えるフレームを有するマルチチャンネル信号のチャンネルの波形パラメータ表現を生成するための方法を有し、前記方法は、
    フレームの前記サンプリング値を使用して、前記サンプリング期間よりも長い低解像度期間に関連付けられる低解像度値を有する前記チャンネルの低解像度表現を派生させるステップと、
    前記マルチチャンネル信号から派生されたベース信号の基準低解像度表現を派生させるステップであって、前記ベース信号のチャンネル数は、前記マルチチャンネル信号のチャンネル数よりも少ない、ステップと、
    前記チャンネルの前記基準低解像度表現と低解像度表現とを使用して前記低解像度表現の波形を表わす前記波形パラメータ表現を計算するステップであって、前記波形パラメータ表現は、前記サンプリング値の時間解像度よりも低くフレーム反復レートによって規定される時間解像度よりも高い時間解像度を有する、ステップとを含む、方法。
30. 送信器および受信器を有する送信システムであって、前記送信器は、サンプリング期間を有するサンプリング値を備えるフレームを有するマルチチャンネル信号のチャンネルの波形パラメータ表現を生成するためのエンコーダを有し、前記エンコーダは、
    フレームの前記サンプリング値を使用して、前記サンプリング期間よりも長い低解像度期間に関連付けられる低解像度値を有する前記チャンネルの低解像度表現を派生させ、かつ、前記マルチチャンネル信号から派生されたベース信号の基準低解像度表現を派生させるための時間解像度減少器であって、前記ベース信号のチャンネル数は、前記マルチチャンネル信号のチャンネル数よりも少ない、時間解像度減少器と、
    前記低解像度表現の波形を表わす前記波形パラメータ表現を計算するための波形パラメータ計算機であって、前記サンプリング値の時間解像度よりも低くフレーム反復レートによって規定される時間解像度よりも高い時間解像度を有する波形パラメータのシーケンスを生成するように適合されており、前記チャンネルの前記基準低解像度表現と前記低解像度表現とを使用して前記波形パラメータを計算するように動作する、波形パラメータ計算器とを備え、
    前記受信器は、１つ以上のチャンネルを有する元のマルチチャンネル信号から派生されたベース信号に基づくマルチチャンネル出力信号を生成するためのデコーダを有し、前記ベース信号のチャンネル数は、前記元のマルチチャンネル信号のチャンネル数よりも少なく、前記ベース信号は、高解像度を有するサンプリング値を備えるフレームを有し、また、前記元のマルチチャンネル信号の選択された元チャンネルの中間解像度表現の波形を表わす波形パラメータ表現にも基づいており、前記波形パラメータ表現は、前記サンプリング値の前記高時間解像度よりも低くフレーム反復レートによって規定される低時間解像度よりも高い中間時間解像度を有する中間波形パラメータのシーケンスを含み、前記デコーダは、
    前記中間解像度よりも高い時間解像度を有する複数のアップミックス済みのチャンネルを生成し、かつ、前記アップミックス済みのチャンネルを生成するために使用される前記ベース信号の中間解像度表現を派生させるためのアップミキサと、
    前記ベース信号の前記中間解像度表現の基準波形パラメータ表現を派生させ、かつ、選択されたアップミックス済みのチャンネルを、前記基準波形パラメータ表現と前記選択されたアップミックス済みのチャンネルに対応する前記選択された元のチャンネルの前記中間波形パラメータとを使用して整形するための整形器とを備える、送信システム。
31. 送信および受信の方法であって、前記送信の方法は、サンプリング期間を有するサンプリング値を備えるフレームを有するマルチチャンネル信号のチャンネルの波形パラメータ表現を生成するための方法を有し、前記方法は、
    フレームの前記サンプリング値を使用して、前記サンプリング期間よりも長い低解像度期間に関連付けられる低解像度値を有する前記チャンネルの低解像度表現を派生させるステップと、
    前記マルチチャンネル信号から派生されたベース信号の基準低解像度表現を派生させるステップであって、前記ベース信号のチャンネル数は、前記マルチチャンネル信号のチャンネル数よりも少ない、ステップと、
    前記チャンネルの前記基準低解像度表現と前記低解像度表現とを使用して前記低解像度表現の波形を表わす前記波形パラメータ表現を計算するステップであって、前記波形パラメータ表現は、前記サンプリング値の時間解像度よりも低くフレーム反復レートによって規定される時間解像度よりも高い時間解像度を有する、ステップとを含み、
    前記受信の方法は、１つ以上のチャンネルを有する元のマルチチャンネル信号から派生されたベース信号に基づくマルチチャンネル出力信号を生成するための方法を有し、前記ベース信号のチャンネル数は、前記元のマルチチャンネル信号のチャンネル数よりも少なく、前記ベース信号は、高解像度を有するサンプリング値を備えるフレームを有し、また、前記元のマルチチャンネル信号の選択された元チャンネルの中間解像度表現の波形を表わす波形パラメータ表現にも基づいており、前記波形パラメータ表現は、前記サンプリング値の前記高時間解像度よりも低くフレーム反復レートによって規定される低時間解像度よりも高い中間時間解像度を有する中間波形パラメータのシーケンスを含み、前記方法は、
    前記アップミックス済みのチャンネルを生成するために使用される前記ベース信号の中間解像度表現を派生させるステップと、
    前記中間解像度よりも高い時間解像度を有する複数のアップミックス済みのチャンネルを生成するステップと、
    前記ベース信号の前記中間解像度表現の基準波形パラメータ表現を派生させるステップと、
    選択されたアップミックス済みのチャンネルを、前記基準波形パラメータ表現と前記選択されたアップミックス済みのチャンネルに対応する前記選択された元のチャンネルの前記中間波形パラメータとを使用して整形するステップとを含む、方法。
32. コンピュータに、請求項２４、請求項２５、請求項２８、請求項２９、または請求項３１のいずれかに記載の方法を実行させるためのプログラム。

Images