JP4867914B2 - マルチチャンネルオーディオコーディング - Google Patents

Description

本発明は、一般にオーディオ信号処理に関するものである。本発明は、低ビットレート及び非常に低いビットレートのオーディオ信号処理に特に有効である。さらに具体的には、発明の特徴は、コンポジットモノフォニック（「モノ」）オーディオチャンネル及び補助（「サイドチェーン」）情報により表現される複数のオーディオチャンネルにおけるオーディオ信号のエンコーダ（又はエンコーディングプロセス）、デコーダ（又はデコーディングプロセス）、及びエンコード／デコードシステム（又はエンコーディング／デコーディングプロセス）に関する。複数のオーディオチャンネルは、複数のオーディオチャンネルとサイドチェーン情報とで表現される場合もある。本発明の特徴は又、マルチチャンネルからコンポジットモノフォニックチャンネルへのダウンミキサー（又はダウンミキシングプロセス）と、モノフォニックチャンネルからマルチチャンネルへのアップミキサー又はアップミキシングプロセス）と、モノフォニックチャンネルからマルチチャンネルへのデコリレータ（ｄｅｃｏｒｒｅｌａｔｏｒ）（又はデコリレーションプロセス）とに関する。本発明の他の特徴は、マルチチャンネルからマルチチャンネルへのダウンミキサー（又はダウンミキシングプロセス）と、マルチチャンネルからマルチチャンネルへのアップミキサー（又はアップミキシングプロセス）と、デコリレータ（又はデコリレーションプロセス）とに関する。

ＡＣ‐３オーディオエンコーディング及びデコーディングシステムにおいて、システムのビット数が不足状態になると、チャンネルは選択的に高周波数で結合または「カップリング」される。ＡＣ‐３システムは技術的によく知られている。例えば、ＡＴＳＣ標準Ａ５２／Ａ、ディジタルオーディオ圧縮標準（ＡＣ‐３）リビジョンＡ、アドバンスド・テレビジョンシステム委員会，２００１年８月２０日刊を参照のこと。Ａ５２／Ａの書類は、ワールドワイドウェブhttp://www.atsc.org/standards.htmlにて見ることが出来る。このＡ５２／Ａの書類は、その全部を参照としてここに組み込むものとする。

請求によりＡＣ‐３システムによりチャンネルに結合されるときの周波数は「カップリング」周波数と称される。カップリング周波数の上に、この結合されたチャンネルがさらに結合されて「カップリング」チャンネル又はコンポジットチャンネルとなる。エンコーダは、各チャンネルのカップリング周波数上の各サブ帯域に対する「カップリング座標」（振幅スケールファクター）を生成する。このカップリング座標は、結合された各チャンネルにおけるサブ帯域の元のエネルギーの、コンポジットチャンネルにおける対応するサブ帯域のエネルギーに対する比率を示す。このカップリング周波数以下では、チャンネルは別々にエンコードされる。位相はずれによる信号成分の削除を減少させるために結合されたチャンネルを１以上の他の結合されたチャンネルと結合させる前に、その結合されたチャンネルのサブ帯域の位相の極性を反転させておいてもよい。コンポジットチャンネルは、カップリング座標とチャンネルの位相が反転されているかどうかのサブ帯域毎の情報を含んだサイドチェーン情報とともに、デコーダに送られる。実際には、ＡＣ‐３システムの商用実施の形態において、このカップリング周波数は約１０ｋＨｚから３５００Ｈｚの範囲を持つ。米国特許５，５８３，９６２、５，６３３，９８１、５，７２７，１１９、５，９０９，６６４、及び６，０２１，３８６には、複数のオーディオ チャンネルを１つのコンポジットチャンネルと補助情報又はサイドチェーン情報に結合すること、及び、それを元の複数のチャンネルに近似させて復元することについての教示が含まれている。これらの特許もすべてここに参照として組み込む。

本発明の特徴は、ＡＣ‐３エンコーディングシステム及びＡＣ‐３デコーディングシステムのカップリング技術の改良であり、また、複数チャンネルのオーディオを結合して、モノフォニックコンポジット信号又は関連する補助情報が加えられた複数チャンネルのオーディオにし、それを元の複数チャンネルのオーディオに復元する他の技術の改良であると考えることが出来る。また本発明の特徴は、複数のオーディオチャンネルをモノフォニックディオ信号又は複数のオーディオチャンネルにダウンミキシングする技術の改良であり、モノフォニックオーディオチャンネル又は複数のオーディオチャンネルから抽出した複数のオーディオチャンネルをデコリレートすることの技術の改良であると考えることも出来る。

本発明の特徴は、さらに改良された位相補償、デコリレーション機構、及び信号に依存する可変時定数を使うことによりチャンネルカップリングを改良する、Ｎ：１：Ｎの空間的なオーディオコーディング技術（ここで「Ｎ」はオーディオチャンネル数）又は、Ｍ：１：Ｎの空間的なオーディオコーディング技術（ここで「Ｍ」はエンコードされたオーディオチャンネル数、そして「Ｎ」はデコードされたオーディオチャンネル数）に採用することが出来る。本発明の特徴は、Ｎ：ｘ：Ｎ及びＭ：ｘ：Ｎの空間的なオーディオコーディング技術にも用いることが出来る。ここで、「ｘ」は１以上であってもよい。本発明の目的には、ダウンミキシングを行う前にチャンネル間の相対的な位相を調整することにより、エンコーディング処理におけるカップリング解除アーティファクトを減少させること、及び、位相角デコーダにおけるデコリレーションの程度を復元することにより、再生された信号の空間的な次元を改善することが含まれる。本発明の特徴は実際の実施の形態で実施されたとき、求めに応じてチャンネルカップリングするより、連続でチャンネルカップリングすることを考慮すべきであり、例えばＡＣ‐３システムより低いカップリング周波数とし、必要なデータレートを下げることを考慮すべきである。

図１を参照すると、本発明の特徴を実施したＮ：１エンコーダ機能又は装置が示されている。図は、本発明の特徴を実行する基本的なエンコーダとしての動作を行う機能または構造の一例である。以下に示す代替的な及び／又は同等の機能又は構造を含む本発明の特徴を実行する他の機能または構成を採用してもよい。

２以上のオーディオ入力チャンネルがエンコーダに適用される。しかし、原則として、本発明の特徴はアナログ、ディジタル、またはアナログ／ディジタルのハイブリッドでの実施の形態で実施することができるが、ここではディジタルの実施の形態を記載する。したがって、入力信号は、アナログオーディオ信号から導き出された時間サンプルでもよい。この時間サンプルは、線形パルス符号変調（ＰＣＭ）信号としてエンコードされたものでもよい。各線形ＰＣＭオーディオ入力チャンネルは、５１２ポイントの窓処理された（高速フーリエ変換（ＦＦＴ）で実行された）フォワード離散フーリエ変換（ＤＦＴ）のような、同相かつ直交出力を有するフィルターバンク機能又はフィルターバンク装置により処理される。このフィルターバンクは、時間領域から周波数領域への変換であると考えてもよい。

図１は、それぞれ、フィルターバンク機能又はフィルターバンク装置、「フィルターバンク」２、に入力された第１のＰＣＭチャンネル入力（チャンネル「１」）、及び、他のフィルターバンク機能又はフィルターバンク装置、「フィルターバンク」４、に入力された第２のＰＣＭチャンネル入力（チャンネル「２」）を示す。ここで、「ｎ」個の入力チャンネル、ここで「ｎ」は２以上の正の整数全体を示す、であってもよい。したがって、ここでまた、それぞれが「ｎ」個の入力チャンネルのうちの１つを受け取る「ｎ」個のフィルターバンクが存在する。説明を簡単にするために、図１では２つの入力チャンネル「１」と「ｎ」のみを示している。

フィルターバンクがＦＦＴで実行される場合は、入力時間領域信号は連続するブロックに分割され、通常重複したブロックとして処理される。ＦＦＴの離散周波数出力（変換係数）はビンと言われ、各々が、それぞれ位相及び直交成分に対応する実部と虚部とを持つ複素数値を有する。連続する変換ビンは、人間の耳の臨界帯域幅に近いサブ帯域にグループ分けしてもよい。後で説明するがエンコーダにより生成されたほとんどのサイドチェーン情報は、処理資源を最小限にしビットレートを減らすために各サブ帯域を基準に計算と伝達がなされることとしてもよい。時間領域の連続する複数のブロックは、サイドチェーンデータレートを最小限にするために、平均化された個々のブロック値又は各フレームに亘ってして積算されたブロック値を持つフレームにグループ分けしてもよい。ここに記載した例では、各フィルターバンクはＦＦＴにより実行され、連続する変換ビンはサブ帯域にグループ分けされ、ブロックはフレームグループ分けされ、サイドチェーンデータは、フレームごとに１回を基準に送られる。

あるいは、サイドチェーンデータをフレームごとに２回以上（例えばブロックごとに１回）を基準に送ってもよい。例えば、図３及びその説明を参照のこと。よく知られているように、サイドチェーン情報が送られるときの周波数と必要とされるビットレートとはトレードオフの関係になっている。

本発明の特徴の実用的な実施の形態では、４８ｋＨｚのサンプリングレートが採用されたとき３２ミリセカンドの固定長フレームを採用し、各フレームは５．３ミリセカンドの各区間に６個のブロックを持つ（例えば、５０％の重複を持ち約１０．６ミリセカンドの期間を持つブロックを採用する）。しかし、ここで説明するフレームごとを基準に送られる情報が４０ミリセカンド毎以上の周波数で送られることを条件に、そのようなタイミングも固定長のフレームを採用することもブロックを固定された数に分割することも本発明の特徴を実行する上で本質的なものとはならない。フレームは任意のサイズでよく、そのサイズはダイナミックに変化してもよい。可変ブロック長は上記のＡＣ‐３システムに採用されたようなものでもよい。「フレーム」と「ブロック」がここで言及されていることが分かる。

実際には、コンポジットモノチャンネル信号又はコンポジットマルチチャンネル信号、又は、コンポジットモノチャンネル信号又はコンポジットマルチチャンネル信号と離散低周波チャンネルとが、以下に説明するように例えば、知覚的コーダ（ｐｅｒｃｅｐｔｕａｌ ｃｏｄｅｒ）によりエンコードさる場合、知覚的コーダディジタル採用されたのと同じフレームとブロックを採用するのが好都合である。さらに、その時々にあるブロック長から他のブロック長に切換るような可変ブロック長を、そのコーダが採用する場合、このようなブロックの切り換えが起こったとき、ここに説明するように１以上のサイドチェーン情報が交信されるのが好ましい。このような切換の発生に際してサイドチェーン情報の更新に上乗せされるデータの増加を最小にするために、更新されたサイドチェーン情報の周波数分解能を減少させてもよい。

図３は、（垂直）周波数軸に沿って表したビンとサブ帯域の単純化した構成と、（水平）時間軸に沿って表したブロックとフレームの単純化した構成の一例である。臨界帯域に近似するサブ帯域にビンが分割されたとき、最も低周波のサブ帯域は最小のビン数（例えば１個）を持ち、周波数が増えるに従いサブ帯域ごとのビン数が増える。

図１に戻って、各チャンネルのそれぞれのフィルターバンク（この例ではフィルターバンク２及び４）により生成された、ｎ個の時間領域入力が周波数領域に変換されたものは、加算的合成機能又は加算的合成装置「加算的コンバイナ」６により、加算され（「ダウンミックスされ」）モノフォニックコンポジットオーディオ信号になる。

ダウンミックスは、入力オーディオ信号の全周波数帯域幅で適用することが出来る。あるいは、ダウンミックス処理におけるアーティファクトが中間周波数から低周波数で可聴になるかもしれないのなら、「カップリング」周波数以上の周波数に限定してもよい。このような場合、そのチャンネルを個別にカップリング周波数以下で搬送してもよい。この戦略は処理アーティファクトが出ない場合であっても好ましい。この場合において、ビンを臨界帯域に近似するサブ帯域（サイズがほぼ周波数に比例する）にグループ分けして変換することにより作られた中間／低周波数のサブ帯域は、低周波数において変換ビンの数は少なくなる傾向にあり、ダウンミックスされたモノオーディオ信号をサイドチェーン情報とともに送るのに必要とされるものより少ないビット数で直接コーディングすることが出来る。４ｋＨｚ，２３００Ｈｚ，１０００Ｈｚ、又は、エンコーダに入力されたオーディオ信号の周波数帯域の最低値でのカップリング周波数または転移周波数を、低ビットレートであることが重要な特定のアプリケーションに適用してもよい。他の周波数で、ビットの節約とリスナーの受け入れとの間で適切なバランスを取ることが出来る。特定のカップリング周波数を選択することは本発明にとって本質的なことではない。このカップリング周波数は、可変としてもよく、可変とする場合は、例えば入力信号特性に間接的または直接的に依存する。

ダウンミックスする前に、チャンネルが結合される時に位相が一致しない信号成分の削除量を減らすために、お互いに向かい合ったチャンネル位相角の配置を改善すること、及び、改善したモノコンポジットチャンネルを提供することが、本発明の特徴である。これは、チャンネルにおける変換ビンのいくつかまたはすべての「絶対角」を時間的に調整可能にずらすことにより達成することが出来る。例えば、カップリング周波数以上のオーディオを表現し、それにより関係する周波数帯域を定める変換ビンのすべては、あらゆるチャンネルで、又は、１つのチャンネルが参照として用いられているときはその参照チャンネルを除くすべてで、時間的に調整可能にずらすことができる。

ビンの「絶対角」は、フィルターバンクにより生成される変換ビンの各複素数値を表現する大きさと角度の内の角度だと理解してもよい。チャンネルにおけるビンの絶対角を調整可能にずらすことは、角回転機能または角回転装置（「角回転」）により実施される。角回転８は、加算的コンバイナ６により行われるダウンミックス加算の適用の前に、フィルターバンク２の出力に加工を加える。一方、角回転１０は、加算的コンバイナ６により行われるダウンミックス加算の適用の前に、フィルターバンク４の出力に加工を加える。信号状態によっては、ある期間（ここに例示したフレームの期間）に亘って特定の変換ビンに対して角回転が不要になることは評価される。カップリング周波数以下で、チャンネル情報を離散的にエンコードすることも出来る（図１には示されていない）。

原則として、チャンネル位相角のお互いの配列の改善は、関連する全周波数帯域に亘って各ブロックにおける絶対位相各を負にすることで、各変換ビンまたはサブ帯域の位相をずらすことにより達成することができる。これは実質的に、位相はずれによる信号成分の削除を避けるものであるが、これは、特に結果として現れるモノコンポジット信号を個別に聞く場合は、アーティファクトを可聴にする傾向がある。したがって、ダウンミックス処理において位相はずれによる削除を最小限にし、デコーダにより再構成したマルチチャンネル信号の空間的なイメージの崩壊を最小限にするために、チャンネルにおけるビンの絶対角の移動を必要最小限にする「最小処理」の原理を採用することが望ましい。そのような角移動の技法を以下に詳述する。この技法には、時間と周波数の平滑化が含まれ、トランジェントの存在に応答して信号処理を行う方法が含まれる。

エネルギーの正規化は、以下に説明するように、個々のビンの残されたどんな位相はずれによる削除量をも減少させるためにエンコーダにおいてビン毎を基準に行うこともできる。また、以下に説明するように、エネルギーの正規化を、チャンネルに寄与するエネルギーの合計に等しいモノコンポジット信号のエネルギーを確保するために、（エンコーダにおいて）サブ帯域ごとを基準に行うことも出来る。

各入力チャンネルは、そのチャンネルのサイドチェーン情報を生成するために、そしてダウンミックス加算６に入力する前にチャンネルに加える角回転の量または角度を制御するために、チャンネルと関係付けられたオーディオアナライザ機能又はオーディオアナライザ装置（「オーディオアナライザ」）を有している。チャンネル１及びｎのフィルターバンク出力はオーディオアナライザ１２とオーディオアナライザ１４にそれぞれ入力する。オーディオアナライザ１２はチャンネル１のサイドチェーン情報とチャンネル１の位相角回転の量を生成する。オーディオアナライザ１４はチャンネルｎのサイドチェーン情報とチャンネルｎの位相角回転の量を生成する。ここで「角」と呼ばれるものは、位相角を意味することが分かるであろう。

各チャンネルのオーディオアナライザにより生成される各チャンネルのサイドチェーン情報には、
振幅スケールファクター（「振幅ＳＦ」）
角制御パラメータ
デコリレーションスケールファクター（「デコリレーションＳＦ」）
トランジェントフラグ、及び
任意的に、補間フラグ
が含まれる。

このようなサイドチェーン情報は、「空間的なパラメータ」として特徴づけられ、チャンネルの空間的な特性を示し、及び／又は、トランジェントのような空間的な処理に関する信号特性を示す。各場合において、サイドチェーン情報は、（トランジェントフラグと補間フラグとを除いて、これらはチャンネル内のすべてのサブ帯域に適用される）単一のサブ帯域に適用され、以下に例示するように、フレームごとに一度、又は、対応するコーダにおいてブロック切換が起こるたびに更新される。また、様々な空間的なパラメータの詳細については、以下に述べる。エンコーダにおける特定のチャンネルの角回転は、サイドチェーン情報の一部をなす極性を反転させた角制御パラメータと考えてよい。

参照チャンネルが採用されると、そのチャンネルはオーディオ アナライザを必要としないか、あるいは、振幅スケールファクターサイドチェーン情報のみを生成するオーディオアナライザを必要とする。そのスケールファクターが、他の参照チャンネルではないチャンネルの振幅スケールファクターから、十分な精度を持ってデコーダにより推定される場合は、振幅スケールファクターを送る必要はない。以下に示すように、エンコーダにおけるエネルギーの正規化により、あらゆるサブ帯域でのチャンネルでのスケールファクターが実質的に２乗和が１になる場合は、参照チャンネルの振幅スケールファクターの近似値をデコーダで推定することが出来る。再生したマルチチャンネルオーディオのイメージをずらしてしまうことになる振幅スケールファクターの比較的粗い量子化の結果、ここで推定した、参照チャンネルの振幅スケールファクターの近似値は、誤差を有する場合がある。しかし、低データレート環境において、そのようなアーティファクトは、そのビットを参照チャンネルの振幅スケールファクターを送るために用いるより受け入れやすいであろう。とはいうものの、場合によっては、少なくとも振幅スケールファクターサイドチェーン情報を生成するオーディオアナライザを参照チャンネルとして採用することが望ましいであろう。

図１では、ＰＣＭ時間領域からチャンネルにおけるオーディオアナライザへの入力のうち、各オーディオアナライザへの任意的な入力を点線で示している。この入力は、ある期間（ここに記載された例におけるブロック又はフレームの期間）でのトランジェントを検出するため、及び、トランジェントに応答してトランジェント表示（例えば、１ビットの「トランジェントフラグ」）を生成するためにオーディオアナライザにより用いられる。あるいは、以下の図４におけるステップ４０８の解説に記載するとおり、トランジェントは周波数領域で検出されるかもしれず、この場合は、オーディオアナライザは時間領域入力を受け取る必要はない。

すべてのチャンネルの（または参照チャンネルを除くすべてのチャンネルの）モノコンポジットオーディオ信号とサイドチェーン情報は、記憶、デコーディング処理又は装置（「デコーダ」）への伝達又は伝達と記憶を行うことができる。記憶、伝達、又は記憶及び伝達の準備として、種々のオーディオ信号と種々のサイドチェーン情報を、記憶、伝達、又は記憶及び伝達のための媒体に適した１以上のビットストリームに多重化し圧縮してもよい。記憶、伝達、又は記憶及び伝達の前に、このモノコンポジットオーディオ信号に、例えば知覚型エンコーダ又は知覚型エンコーダ及びエントロピーコーダ（例えば、算術的コーダ又はホフマンコーダ）（しばしば、「無損失」コーダといわれる）のような、データレートを削減するエンコーディング処理又は装置を適用してもよい。また、上述のように、特定の周波数（「カップリング」周波数）以上のオーディオ周波数に対してのみ、このモノコンポジットオーディオとそれに対応するサイドチェーン情報を複数の入力チャンネルから導き出してもよい。この場合、複数の入力チャンネルにおける各々のカップリング周波数以下のオーディオ周波数は、個別のチャンネルとして記憶、伝達、又は記憶及び伝達してもよく、又は、ここに記載されたのとは別の方法で、結合してもよく処理してもよい。このような個別のチャンネル又は他の方法で結合されたチャンネルには、例えば、知覚型エンコーダ又は知覚型エンコーダ及びエントロピーコーダのような、データを削減するエンコーディング処理又は装置を適用してもよい。このモノコンポジットオーディオと個別マルチチャンネルオーディオには、総合的な知覚型エンコーディング又は知覚型エンコーディング及びエンコーディングの処理または装置を適用してもよい。

サイドチェーン情報をエンコーダのビットストリームに組み入れる特定の方法は、本発明にとって本質的なものではない。必要に応じて、このサイドチェーン情報を、従来のデコーダ（すなわち、ビットストリームが後方互換性［ｂａｃｋｗａｒｄｓ‐ｃｏｍｐａｔｉｂｌｅ］のある）と互換性のあるような方法で組み入れてもよい。これを行うために多くの適切な方法が知られている。例えば、多くのエンコーダは、デコーダにより無視される不要な又は無効なビットを有するビットストリームを生成する。このような構成の例が、Ｔｒｕｍａｎ他の米国特許６，８０７，５２８Ｂ１、表題「Ａｄｄｉｎｇ Ｄａｔａ ｔｏ ａ Ｃｏｍｐｒｅｓｓｅｄ Ｄａｔａ Ｆｒａｍｅ」、２００４年１０月１９日、に記載されている。この特許は、そのすべてを参照として明細書に組み込む。このようなビットをサイドチェーン情報に置き換えてもよい。他の例として、サイドチェーン情報は、エンコーダのビットストリーム内にステガノグラフィー的にエンコードされたものでもよい。あるいは、このような情報をモノ／ステレオ・ビットストリームと共に従来のデコーダで伝達又は記憶することのできる技術で、後方互換性のあるビットストリームとは別に、サイドチェーン情報を記憶又は伝達してもよい。

［基本となる１：Ｎ及び１：Ｍデコーダ］
図２を参照すると、本発明の特徴を具体化したデコーダ機能又は装置（「デコーダ」）が示されている。この図は、本発明の特徴を具体化した基本となるデコーダを実行する機能又は構成の１例である。以下に説明する他の及び／又は等価な機能または構成を含んで、本発明の特徴を実施する他の機能または構成を採用することもできる。

このデコーダは、すべてのチャンネル又は参照チャンネルを除くすべてのチャンネルのモノコンポジットオーディオ信号とサイドチェーン情報とを受け取る。必要ならば、このコンポジットオーディオ信号とサイドチェーン情報は、逆多重化、伸張、及び／又は、デコードされる。デコーディングでは、テーブルを参照してもよい。目的は、モノコンポジットオーディオチャンネルから、以下に記載するような本発明のビットレート削減技法に従い、図１のエンコーダに適用したオーディオチャンネルのそれぞれに近似する複数の個別のオーディオチャンネルを導き出すことである。

エンコーダに適用するチャンネルの一部は復元しないこと、又は、モノフォニックコンポジット信号にのみ用いることを選択してもよいことはいうまでもない。あるいは、２００２年２月７日に出願され、２００２年８月１５日に公開された、米国を指定した国際出願ＰＣＴ／ＵＳ０２／０３６１９であって、２００３年８月５日に米国に国内移行された出願Ｓ．Ｎ．１０／５２２，５１５、及び、２００３年８月６日に出願され、２００１年３月４日にＷＯ２００４／０１９６５６として公開された、米国を指定した国際出願ＰＣＴ／ＵＳ０３／２４５７０であって、２００５年１月２７日に米国に国内移行された出願Ｓ．Ｎ．１０／５２２，５１５に記載された発明の特徴を採用することによって、このエンコーダに使用されるチャンネルに加えて、チャンネルを、本発明の特徴によるデコーダの出力から導き出してもよい。上記出願は、そのすべてを参照として本出願に組み込む。復元されたチャンネルが、有益なチャンネル間の振幅の関係のみならず有益なチャンネル間の位相の関係も有する、上記で引用し組み込んだチャンネル増殖技法との関連において、本発明の特徴を実行するデコーダにより復元されるチャンネルは特に有効である。チャンネル増殖するための他の手段は、付加的なチャンネルを導き出すためのマトリックスデコーダを採用することである。本発明の特徴であるチャンネル間の振幅と位相の保存により、本発明の特徴を採用したデコーダの出力チャンネルが、振幅と位相に敏感なマトリックスデコーダの用途に特に適したものとなる。信号を適用したときにのみ適切に動作するような広帯域制御回路を採用するこのようなマトリックスデコーダは、信号の帯域幅全体にわたってステレオとなる。したがって、Ｎが２であるＮ：１：Ｎシステムに本発明の特徴が具体化された場合、デコーダにより復元される２チャンネルは２：Ｍのアクティブマトリックスデコーダに採用することができる。このようなチャンネルは、上述のように、カップリング周波数以下の個別チャンネルになっているかもしれない。例えば、「Ｐｒｏ Ｌｏｇｉｃ」及び「Ｐｒｏ Ｌｏｇｉｃ ＩＩ」（「Ｐｒｏ Ｌｏｇｉｃ」は、ドルビー・ラボラトリーズ・ライセンシング・コーポレーションの登録商標である）として知られるマトリックスデコーダも含めて、多くの適切なマトリックスデコーダが当業者によく知られている。Ｐｒｏ Ｌｏｇｉｃデコーダの特徴は米国特許４，７９９，２６０及び４，９４１，１７７に開示されており、それぞれそのすべてを本明細書に参照として組み込む。Ｐｒｏ Ｌｏｇｉｃ ＩＩデコーダの特徴は、Ｆｏｓｇａｔｅの係属中の米国特許出願Ｓ．Ｎ．０９／５３２，７１１、表題「Ｍｅｔｈｏｄ ｆｏｒ Ｄｅｒｉｖｉｎｇ ａｔ Ｌｅａｓｔ Ｔｈｒｅｅ Ａｕｄｉｏ Ｓｉｇｎａｌｓ」、２０００年３月２２日出願、であって、２００１年６月７日にＷＯ０１／４１５０４で公開された出願、及び、Ｆｏｓｇａｔｅ他の係属中の米国特許出願Ｓ．Ｎ．１０／３６２，７８６、表題「Ｍｅｔｈｏｄ ｆｏｒ Ａｕｄｉｏ Ｍａｔｒｉｘ Ｄｅｃｏｄｉｎｇ」２００３年２月２５日出願、であって、２００４年７月１日ＵＳ２００４／０１２５９６０Ａ１として公開された出願に開示されている。これらの出願はそのすべてを本明細書に参照として組み込む。ドルビープロロジック（Ｄｏｌｂｙ Ｐｒｏ ｌｏｇｉｃ）及びＰｒｏ Ｌｏｇｉｃ ＩＩデコーダの動作は、例えば、ドルビー・ラボラトリーズのウェブサイト（ｗｗｗ．ｄｏｌｂｙ．ｃｏｍ）でＲｏｇｅｒ Ｄｒｅｓｓｅｒの「Ｄｏｌｂｙ Ｓｕｒｒｏｕｎｄ Ｐｒｏ Ｌｏｇｉｃ Ｄｅｃｏｄｅｒ」の論文に、及び、Ｊｉｍ Ｈｉｌｓｏｎの「Ｍｉｘｉｎｇ ｗｉｔｈ Ｄｏｌｂｙ Ｐｒｏ Ｌｏｇｉｃ ＩＩ Ｔｅｃｈｎｏｌｏｇｙ」の論文に記載されている。他の適切なアクティブマトリックスデコーダについては、１以上の以下の米国特許と公開された国際出願（それぞれ米国が指定国になっている）にも記載されている。すなわち、５，０４６，０９８、５，２７４，７４０、５，４００，４３３、５，６２５，６９６、５，６４４，６４０、５，５０４，８１９、５，４２８，６８７、５，１７２，４１５、及びＷＯ０２／１９７６８であり、これらはそのすべてを本明細書に参照として組み込む。

図２を参照すると、受け取ったモノコンポジットオーディオチャンネルは複数の信号経路に入力され、そこから複数のオーディオチャンネルのそれぞれが導き出される。各チャンネルを導き出す経路には、いずれかの順序で、振幅調整機能又は装置（「振幅調整」）及び角回転機能又は装置（「角の回転」）が含まれている。

振幅調整は、モノコンポジット信号に利得と損失を与えるので、ある信号状態において、導き出された出力チャンネルの相対的な出力振幅（又はエネルギーが）、エンコーダの入力におけるチャンネルの相対的な出力振幅と類似する。ある信号状態において、次に説明するように、「ランダム化された」角変化が加えられ、制御可能な量の「ランダム化された」振幅変化もまた、復元した他のチャンネルのデコリレーションを改善するために、復元したチャンネルの振幅に加えられる。

この角の回転が位相回転に適用されるので、ある信号状態において、モノコンポジット信号から導き出された出力チャンネルの相対的な位相角が、エンコーダの入力におけるチャンネルの相対的な位相角と類似する。ある信号状態において、復元した他のチャンネルのデコリレーションを改善するために、復元したチャンネルの角に、制御可能な量の「ランダム化された」角変化も加えられることが好ましい。

さらに以下に説明するように、「ランダム化された」角変化には、擬似ランダム変化と真のランダム変化のみならず、チャンネル間の相互相関を減少させる効果を持つ決定論的過程により生成された変化も含まれる。これについては、以下の図５Ａのステップ５０５の解説においてさらに説明する。

概念的には、特定のチャンネルに対するこの振幅調整及び角の回転は、そのチャンネルに相応の復元された変換ビンを生じさせるために、モノコンポジットオーディオＤＦＴ係数に倍率を掛ける。

各チャンネルに対する振幅調整は、少なくとも特定のチャンネルに対する復元されたサイドチェーンの振幅スケールファクターにより調整することができ、あるいは、参照チャンネルの場合は、参照チャンネルのサイドチェーンの振幅スケールファクターによるか又は、参照チャンネルではない他のチャンネルの復元されたサイドチェーンの振幅スケールファクターから推定した振幅スケールファクターにより調整することができる。あるいは、復元されたチャンネルのデコリレーションを向上させるために、振幅調整も、特定のチャンネルに対する復元されたサイドチェーンデコリレーションスケールファクターから導き出されたランダム化された振幅スケールファクターパラメータと、特定のチャンネルに対する復元されたサイドチェーントランジェントフラグとにより調整することができる。

各チャンネルの回転角は、少なくとも復元されたサイドチェーン角制御パラメータにより調整することができる（この場合、デコーダの角回転はエンコーダにおける角回転により提供された角回転を実質的に元に戻す）。復元されたチャンネルのデコリレーションを向上させるために、角回転も、特定のチャンネルに対する復元されたサイドチェーンデコリレーションスケールファクターから導き出されたランダム化された角制御パラメータと、特定のチャンネルに対する復元されたサイドチェーントランジェントフラグとにより調整することができる。チャンネルに対するランダム化された角制御パラメータと、もし採用するなら、チャンネルに対するランダム化された振幅スケールファクターとは、そのチャンネルに対する復元されたデコリレーションスケールファクターと、そのチャンネルに対する復元されたトランジェントフラグから、制御可能なデコリレータ（ｄｅｃｏｒｒｅｌａｔｏｒ）機能又は装置（「デコリレータ」）により、導き出すことができる。

図２を参照すると、復元されたモノコンポジットオーディオは、チャンネル1のオーディオを導き出す第１のチャンネルオーディオ復元経路２２に入力され、かつ、チャンネルｎのオーディオを導き出す第２のチャンネルオーディオ復元経路２４に入力される。オーディオ経路２２には、振幅調整２６、角回転２８、及び、ＰＣＭ出力が要求される場合は、逆フィルターバンク機能又は装置（「逆フィルターバンク」）３０が含まれる。同様に、オーディオ経路２４には、振幅調整３２、角回転３４、及び、ＰＣＭ出力が要求される場合は、逆フィルターバンク機能又は装置（「逆フィルターバンク」）３６が含まれる。図１の場合と同様に、分かりやすいように２つのチャンネルのみを示したが、２つ以上のチャンネルとなってもよいことは理解されよう。

第１のチャンネル、すなわちチャンネル１、に対する復元されたサイドチェーン情報には、基本エンコーダの説明に関連して上述したように、振幅スケールファクター、角制御パラメータ、デコリレーションスケールファクター、トランジェントフラグ、及び、任意的に補間フラグが含まれていてもよい。振幅スケールファクターは、振幅調整２６のために入力される。任意的な補間フラグが採用される場合は、各周波数に亘って（例えば、チャンネルの各サブ帯域の各ビンに亘って）角制御パラメータを補間するために周波数補間装置又は機能（「インターポレータ」）２７を用いてもよい。このような補間は、各サブ帯域の中心間でのビンの角度の線形補間であってもよい。以下に説明するように、１ビット補間フラグの状態により、角周波数に亘る補間が行われるかどうかが選択される。トランジェントフラグとデコリレーションスケールファクターは、ランダム化された角制御パラメータを生成する可制御デコリレータ（ｄｅｃｏｒｒｅｌａｔｏｒ）３８に入力される。以下に説明するように、１ビットトランジェントフラグにより、２つの複数モードのランダム化された角デコリレーションの内の１つが選択される。補間フラグと角周波数に亘る補間が用いられる場合に各周波数に亘って補間される角制御パラメータと、ランダム化された角制御パラメータとは、角の回転２８に対する制御信号を出すために加算結合器又は結合機能４０により、加算される。あるいは、ランダム化された角制御パラメータを生成することに加えて、トランジェントフラグとデコリレーションスケールファクターに応答して可制御デコリレータ３８もまた、ランダム化された振幅スケールファクターを生成してもよい。振幅調整２６のための制御信号を作るために、振幅スケールファクターに、加算結合器又は結合機能（不図示）により、このようなランダム化された振幅スケールファクターを加算してもよい。

同様に、第２のチャンネル、すなわちチャンネルｎ、に対する復元されたサイドチェーン情報には、基本エンコーダの説明に関連して上述したように、振幅スケールファクター、角制御パラメータ、デコリレーションスケールファクター、トランジェントフラグ、及び、任意的に補間フラグが含まれていてもよい。振幅スケールファクターは、振幅調整３２のために入力される。各周波数に亘って角制御パラメータを補間するために周波数補間装置又は機能（「インターポレータ」）３３を用いてもよい。チャンネル１と同様に、１ビット補間フラグの状態により、角周波数に亘る補間が行われるかどうかが選択される。トランジェントフラグとデコリレーションスケールファクターは、ランダム化された角制御パラメータを生成する可制御デコリレータ４２に入力される。以下に説明するように、チャンネル１と同様に、１ビットトランジェントフラグにより、２つの複数モードのランダム化された角デコリレーションの内の１つが選択される。角制御パラメータとランダム化された角制御パラメータとは、角の回転３４に対する制御信号を出すために加算結合器又は結合機能４４により、加算される。あるいは、チャンネル１に関連して上述したように、ランダム化された角制御パラメータを生成することに加えて、トランジェントフラグとデコリレーションスケールファクターに応答して可制御デコリレータ４２もまた、ランダム化された振幅スケールファクターを生成してもよい。振幅調整３２のための制御信号を作るために、加算結合器又は結合機能（不図示）により、振幅スケールファクターとランダム化された振幅スケールファクターとを加算してもよい。

このように記載したプロセスまたはトポロジー（ｔｏｐｏｌｏｇｙ）は理解に役立つが、同じか又は同様の結果をもたらす代替的なプロセス又はトポロジーにより本質的に同じ結果を得ることができる。例えば、振幅調整２６（３２）と角の回転２８（３４）の順序を逆にしてもよく、及び／又は、１つは角制御パラメータに応答し、もう１つはランダム化された角制御パラメータに応答する、２つ以上の角の回転があってもよい。図５の例で以下に説明するように、角の回転もまた、１つ又は２つの機能又は装置より３つあると考えてもよい。ランダム化された振幅スケールファクターが採用される場合は、１つは振幅スケールファクターに応答し、もう１つはランダム化された振幅スケールファクターに応答する、２つ以上の振幅調整があってもよい。人間の耳は位相に対してより振幅に対しての方に感受性が強いので、ランダム化された振幅スケールファクターを採用する場合は、振幅に対する振幅スケールファクターの効果が位相角に対するランダム化された角制御パラメータの効果より小さくなるよう、ランダム化された角制御パラメータの効果と比べて振幅スケールファクターの効果を縮減することが好ましい。他の代替的なプロセス又はトポロジーとして、（ランダム化された位相角を表すパラメータを、基本位相角を表すパラメータに加算するより）基本位相角に対するランダム化された位相角の比率を制御するためにデコリレーションスケールファクターを使ってもよく、さらに、（ランダム化された振幅を表すスケールファクターを、基本振幅を表すスケールファクターに加算するより）基本振幅シフトに対するランダム化された振幅シフトを採用してもよい。

参照チャンネルを採用する場合は、基本エンコーダに関連して上述したとおり、参照チャンネルのサイドチェーン情報に振幅スケールファクターのみが含まれているのである限り、角の回転、可制御デコリレータ、及び、チャンネルの加算的コンバイナを省略してもよい。（又は、代替的に、サイドチェーン情報に参照チャンネルの振幅スケールファクターが含まれない場合は、エンコーダ内のエネルギーの正規化によりサブ帯域内の各チャンネルに亘ってスケールファクターの和が１になることが確保できるとき、他のチャンネルの振幅スケールファクターから推定してもよい。）振幅調整は、参照チャンネルに入力され、受け取った、又は導き出された参照チャンネルに対する振幅スケールファクターにより調整される。参照チャンネルの振幅スケールファクターがサイドチェーンから導き出されたとしてもあるいはデコーダから推定されたとしても、復元された参照チャンネルは、モノコンポジットチャンネルの振幅を縮小したものである。これは他のチャンネルの回転に対する参照となるため、角回転を必要としない。

復元されたチャンネルの相対的振幅の調整により、控えめなデコリレーションの程度が得られたとしても、振幅調整のみを用いたとすると、再生されたサウンドフィールドはおそらく実質的に空間性を欠くか又は多くの信号状態のイメージを欠くことになる（例えば、「崩壊した」サウンドフィールドとなる）。振幅調整は、耳が用いる唯一の音響心理学的な方向キューである耳における聴覚同士のレベル差に影響を及ぼすかもしれない。したがって、本発明の特徴によれば、付加的なデコリレーションを作るために信号状態に応じた拡張技法が採用される。表１を参照すると、本発明の特徴に従い採用された、複数の角調整を行うデコリレーション技法又は運転モードを理解するうえで役に立つ簡潔な説明が記載されている。図８及び９と関連して以下に説明する他のデコリレーション技法を、表１の技法の代わりに、又は表１の技法に加えて用いてもよい。

実際には、角回転と振幅改変は巡回畳み込み（サイクリック畳み込み又は周期的畳み込みとしても知られている）に帰結するかもしれない。一般に巡回畳み込みは避けた方がよいとされているが、巡回畳み込みの結果できる望ましくない可聴なアーティファクトは、エンコーダとデコーダにおける相補的な角シフトにより幾分減少する。加えて、巡回畳み込みの影響は、本発明の特徴を低コストで実施することにより許容範囲に収めることができる。これによれば、特にモノチャンネル又は複数チャンネルへのダウンミキシングは、例えば１５００Ｈｚ以上のような一部のオーディオ周波数帯域にのみおこる（この場合は巡回畳み込みによる可聴なアーティファクトは最小限になる）。あるいは、例えば適切にゼロパッドを用いることなども含めて、適切な技法により、巡回畳み込みをなくすか最小限に抑えることができる。ゼロパッドを用いるひとつの方法は、（角回転及び振幅スケーリングを表す）周波数領域の変動を時間領域に変換し、（任意の窓により）窓化し、ゼロでパッドし、周波数領域に戻して周波数領域にある処理するオーディオ（窓処理を必要とするオーディオ）で積算することである。

例えば調律笛の響きのような実質的に固定的なスペクトルの信号に対して、第１番目の技法（「技法１」）により、エンコーダの入力における他のチャンネルに対する相対的な元のチャンネルの角と同様の（周波数と時間に対する粒度と量子化を条件として）角に対する他の再生されたチャンネルのそれぞれの角に対して、受信したモノコンポジット信号の相対的な角が復元される。位相角差は、特に、オーディオ信号の各サイクルを耳で聞き分けることのできる約１５００Ｈｚ以下の低周波数信号成分のデコリレーションを行うために、有益である。基本角シフトを生じさせるためには、技法１はすべての信号状態で動作することが好ましい。

１５００Ｈｚを超える高周波信号成分に対しては、耳は、サウンドの個別周波数を聞き分けることができず、その代わり（臨界帯域基準の）波形エンベロープを聞き分ける。したがって、上記の約１５００Ｈｚのデコリレーションは、位相角差よりも信号エンベロープにおける差により、うまく行われる。技法１にのみに従って位相角シフトを適用することだけでは、信号のエンベロープは、高周波数信号をデコリレーションするために十分に変わることはない。第２番目及び第３番目の技法（それぞれ「技法２」と「技法３」）により、ある信号状態の下で技法１により決定された角にランダム化された角変動の制御量が加算され、これにより、ランダム化されたエンベロープの変動を引き起こし、デコリレーションを向上させる。

位相角をランダムに変動させることは、信号のエンベロープをランダムに変化させる好ましい方法である。特定のエンベロープは、サブ帯域におけるスペクトル成分の振幅と位相の特定の組み合わせでの相互作用に起因して生じる。サブ帯域におけるスペクトル成分の振幅を変化させることでエンベロープが変化するが、エンベロープを著しく変化させるためには振幅を大きく変化させることを必要とし、人間の耳はスペクトル振幅の変動に対して敏感なため、振幅を大きく変化させることは望ましくない。一方、スペクトル成分の位相角を変化させることは、スペクトル成分の振幅を変化させるより大きな効果をエンベロープに与える。すなわち、スペクトル成分は同じような配置とならず、異なった時間に生じたエンベロープを定義するような補強と減算とが行われ、それにより、エンベロープが変化する。人間の耳はエンベロープに対する感度があるが、位相は分からないので、全体的なサウンドの全体的な質は実質的に同様となる。それにもかかわらず、ある信号状態では、スペクトル成分の位相をランダム化するとともにスペクトル成分の振幅をランダム化することにより、このような振幅のランダム化が好ましくない可聴アーティファクトを生じさせないということを条件として、良好に信号エンベロープのランダム化を行うことができる。

技法２又は技法３の制御量または制御の程度が、ある信号状態の下で作用することが好ましい。トランジェントフラグは技法２（トランジェントフラグがフレームレートで送られるのかブロックレートで送られるのかに応じて、フレーム又はブロックにトランジェントがない）又は技法３（フレーム又はブロックにトランジェントがある）を選択する。このようにして、トランジェントがあるか否かにより複数の運転モードが存在する。あるいは、加えて、ある信号状態で、元のチャンネル振幅を復元するようにする振幅倍率と共に制御可能な振幅のランダム化の量またはその程度を作用させてもよい。

技法２は、一団となったオーケストラのバイオリンのような、調波の多い複雑な連続信号に適している。技法３は、拍手、カスタネット、その他のような複雑なパルス又はトランジェント信号に適している（技法２では、拍手喝采のときの拍手を不鮮明にするので、そのような信号には不適である）。さらに以下に説明するように、可聴アーティファクトを最小限にするために、技法２と技法３とでは、角をランダムに変動させるために異なった時間分解能と周波数分解能とを有する。技法２は、トランジェントが存在しないときに選択される一方、技法３は、トランジェントが存在するときに選択される。

技法１は、チャンネル内のビン角をゆっくり（フレーム毎に）シフトさせる。この基本シフトの量または程度は角制御パラメータ（このパラメータがゼロのときシフトしない）により制御される。以下に説明するように、同じパラメータ又は補間されたパラメータの一方が各サブ帯域のすべてのビンに適用され、そして、このパラメータはすべてのフレームにて更新される。その結果、各チャンネルの各サブ帯域は、他のチャンネルに対して位相がシフトし、低周波数（約１５００Ｈｚ以下）でのある程度のデコリレーションがなされる。しかし、技法１は、拍手喝采のようなトランジェント信号には不適当である。そのような信号状態では、再生されチャンネルには、うっとおしく不安定なくし型フィルター効果が現れる可能性がある。拍手喝采の音の場合は、すべてのチャンネルがそのフレームの期間中同じ振幅を持つ傾向があるので、再生されたチャンネルの相対振幅のみを調整することでは、本質的にデコリレーションがなされない。

技法２はトランジェントが存在しないときに動作する。技法２では、技法１の角シフトに、チャンネルにおけるビン毎をベースに時間とともに変化しないランダム化された角シフトが加算され、チャンネルのエンベロープをお互いに異なったものとさせることで、チャンネル間の複合信号のデコリレーションを行う。ランダム化された位相角の値を長期にわたって一定にすることで、ブロック毎又はフレーム毎でのビン位相角の変動を引き起こす、ブロック又はフレームにおけるアーティファクトの発生が避けられる。この技法はトランジェントが存在しないときに非常に有用なデコリレーションツールとなり、一時的にトランジェントを不鮮明にすることができる（しばしば「プレノイズ」、すなわちポストトランジェントスミアリング、と称されるものがこのトランジェントによりマスクされる）。技法２による付加的なシフト量の程度は、デコリレーションスケールファクターにより直接的に縮小・拡大される（スケールファクターがゼロの場合は付加的なシフト量はゼロとなる）。（技法１の）基礎となる角シフトに技法２により加算されたランダム化された位相角の量は、アーティファクトを奏でる可聴信号を最小限にするような方法で、デコリレーションスケールファクターにより制御されるのが理想である。このようなアーティファクトを奏でる信号の最小限化は、デコリレーションスケールファクターを導き出す方法と、以下に説明する適切な時間平滑化の方法とにより行われる。相異なる付加的な角シフト量が各ビンに適用され、このシフト値が変化しないとはいえ、同じ縮小拡大率がサブ帯域を通じて適用されこの縮小拡大率はフレーム毎に更新される。

技法３は、トランジェントフラグが送信される程度により、フレーム又はブロックにトランジェントが存在する条件下で動作する。それにより、チャンネル内の各サブ帯域のすべてのビンを、そのサブ帯域のすべてのビンに共通するランダム化された一意的な角の値だけシフトさせ、チャンネル内の信号のエンベロープのみならず振幅や位相も他のチャンネルに対してブロックからブロックへと変化させる。各ランダム化の時間分解能及び周波数分解能の変化により、チャンネル間の定常的な信号の相似性が減少し、「プレノイズ」アーティファクトを実質的に生じさせることなくチャンネルのデコリレーションが行われる。各ランダム化における周波数分解能の変化は、技法２での非常に細かいものから（チャンネルでのすべてのビンが異なる）技法３での粗いもの（サブ帯域内ではすべてのビンが同じであるがサブ帯域ごとに異なる）まで、特に「プレノイズ」アーティファクトを最小限にする上で特に有効である。耳は高周波数において純粋な角変化を感知しないが、２以上のチャンネルがラウドスピーカからリスナーへの経路上で音響的に混合されたとき、位相差により、可聴で好ましくない振幅の変化（くし型フィルターの効果）が生じる可能性があるが、これは技法３により解消される。信号のインパルス特性は、さもなければ起こったかもしれないブロックレートによるアーティファクトを最小限にする。このようにして、技法３は、チャンネルのサブ帯域毎を基準に（ブロック毎に）急速に変化するランダム化された角シフトを技法１の角シフトに加算する。加算する角シフトの量または程度は、以下に記載するとおり、デコリレーションスケールファクターにより、間接的に縮小・拡大される（スケールファクターがゼロの場合は、シフトは加算されない）。同じ縮小拡大率がサブ帯域を通じて適用されこの縮小拡大率はフレーム毎に更新される。

角調整技法は３つの技法に分けられたが、これは語義上の問題であり、これを２つの技法に分類することもできる。すなわち、（１）技法１と技法２の可変の程度、ゼロであってもよい、を結合させたもの、と（２）技法１と技法３の可変の程度、ゼロであってもよい、を結合させたものとに分類することもできる。説明の便宜上、３つの技法に分類して取り扱う。

複数モードのデコリレーション技法とこれらを改良したものは、そのようなオーディオチャンネルが本発明の特徴によるエンコーダから導き出されたものでないときでも、１以上のオーディオチャンネルからアップミキシングのときに導き出されたオーディオ信号のデコリレーションに用いられる。このような構成は、モノオーディオチャンネルに適用されたとき、しばしば「擬似ステレオ」装置又は機能と呼ばれる。モノオーディオチャンネルまたは複数のオーディオチャンネルから複数の信号を導き出すために適切などんな装置または機能（「アップミキサー」）を用いてもよい。いったんそのような複数のオーディオチャンネルがアップミキサーにより導き出されると、そのうちの１つ以上を、ここに記載の複数モードのデコリレーション技法を適用することにより、１以上の他のオーディオ信号についてデコリレーションしてもよい。そのような応用において、デコリレーション技法が適用される、導き出された各オーディオチャンネルは、導き出されたオーディオチャンネル自身からトランジェントを検出することにより、１つの動作モードから他の動作モードへ切り換えてもよい。あるいは、トランジェントが存在するときの技法（技法３）の動作を、トランジェントが存在するときのスペクトル成分の位相角をシフトさせないように単純化することもできる。

［サイドチェーン情報］
上述のように、サイドチェーン情報には、振幅スケールファクターと、角制御パラメータと、デコリレーションスケールファクターと、トランジェントフラグと、任意的な補間フラグとが含まれる。本発明の現実的な実施の形態におけるこのようなサイドチェーン情報は、以下の表２にまとめることができる。一般的にサイドチェーン情報はフレーム毎に１度更新される。

各場合において、チャンネルのサイドチェーン情報は、単一のサブ帯域に適用され（トランジェントと補間フラグとが除かれる。これらはチャンネルのすべてのサブ帯域に適用される）、フレーム毎に１度更新される。時間分解能（フレーム毎に１度）、周波数分解能（サブ帯域）、値のレンジ、及び表示された量子化レベルは、有用な成果をあげることができることがわかり、ビットレートと成果との間での都合の良い妥協点がわかっていた。これらの時間分解能と周波数分解能、値のレンジ、及び量子化レベルは本質的なものではなく、他の分解能、レンジ及びレベルも本発明を実行するに当たって採用することができる。例えば、トランジェントフラグ及び／又は補間フラグが採用される場合は、サイドチェーンデータのオーバーヘッドを少し増やすだけでブロック毎に１度更新することができる。トランジェントフラグについて言えば、それにより技法２から技法３への切換及びその逆がより適切に行えるという利点がある。加えて、上述の通り、サイドチェーン情報を、関連するコーダのブロック切換が生じたときに更新させてもよい。

同じサブ帯域デコリレーションスケールファクターがサブ帯域のすべてのビンに適用されるが、上記の（表１も参照）技法２は、サブ帯域周波数分解能ではなくビン周波数分解能を出力する（すなわち、異なった擬似ランダム位相角シフトが各サブ帯域ではなく各ビンに適用される）ことには留意すべきである。同じサブ帯域デコリレーションスケールファクターがサブ帯域のすべてのビンに適用されるが、上記の（表１も参照）技法３は、ブロック周波数分解能を出力する（すなわち、異なったランダム化された位相角シフトが各フレームではなく各ブロックに適用される）ことには留意すべきである。ランダム化された位相角のシフトはデコーダ内で生成され、エンコーダ内で知られる必要はないので（これはこのエンコーダがランダム化された位相角のシフトをエンコードされたモノコンポジット信号に適用する場合であり、その案を以下に説明する）サイドチェーン情報の分解能より大きいこのような分解能が可能となる。言い換えれば、デコリレーション技法はそのような粒度に用いられていてもビン粒度またはブロック粒度を含むサイドチェーン情報を送る必要はない。このデコーダは、例えば、ランダム化されたビン位相角の１以上のルックアップテーブルを用いてもよい。サイドチェーン情報レートより大きなデコリレーションのための時間分解能及び／又は周波数分解能を得ることは、本発明の特徴の一部である。このようにして、ランダム化された位相によるデコリレーションは、時間とともに変化しない（ビン毎の）細かな周波数分解能（技法２）を伴うか、又は、粗い（帯域毎の）周波数分解能と（または、さらに以下に述べるように周波数補間が採用されるときは、（ビン毎の）細かな周波数分解能と）細かな時間分解能（ブロックレート）（技法３）を伴うかのどちらかで実行される。

復元されたチャンネルの位相にランダム化された位相シフトが多く加えられれば加えられるほど、復元されたチャンネルの絶対位相が、そのチャンネルの元の絶対位相角とは異なったものとなってゆくこともよく理解しなければならない。本発明の特徴によれば、本発明に従いランダム化された位相シフトが加えられたような信号状態であるとき、復元されたチャンネルに結果として生じる絶対位相角は元のチャンネルの絶対位相角に一致する必要はないことが理解される。例えば、極端な場合、デコリレーションスケールファクターが非常に大きなランダム化された位相シフトをもたらした場合、技法２又は技法３による位相シフトが、技法１による位相シフトを圧倒してしまう。それにもかかわらず、ランダム化された位相シフトが、ランダム化された位相シフトを加算させるようなデコリレーションスケールファクターを生じさせる、元の信号における異なったランダムな位相と聴覚的に同じであることに対する懸念はない。

上述の通り、ランダム化された位相シフトに加えて、ランダム化された振幅シフトが採用されることもある。例えば、振幅調整は、その特定のチャンネルに対し復元されたサイドチェーンデコリレーションスケールファクター及びそのチャンネルに対し復元されたサイドチェーントランジェントフラグから導き出されたランダム化された振幅スケールファクターパラメータにより、制御される。このようなランダム化された振幅シフトは、ランダム化された位相シフトの応用例と類似の２つのモードで動作することができる。例えば、トランジェントがないとき、時間とともに変化しないなランダム化された振幅シフトがビン毎を基準に（ビンが異なれば異なる）加算され、（フレーム又はブロックに）トランジェントが存在するとき、ブロック毎を基準に（ブロックが異なれば異なる）変化し、サブ帯域からサブ帯域へと変化する（あるサブ帯域のすべてのビンで同じシフトとなり、サブ帯域が異なれば異なる）ランダム化された振幅シフトが加算される。ランダム化された振幅シフトが加えられる程度は、デコリレーションスケールファクターにより制御することができるが、可聴アーティファクトが生じるのを避けるため、スケールファクター値により生じるランダム化された位相シフトより小さな振幅シフトが、特定のスケールファクター値により生じると考えられる。

トランジェントフラグがフレームに適用されるとき、フレームレートまたはブロックレートよりも細かい一時的な分解能を提供するためにデコーダにおける追加的なトランジェント検出器を用意することにより、技法２か技法３かを選択する、トランジェントフラグの時間分解能が向上する。このような追加的なトランジェント検出器は、デコーダにより受け取られたモノコンポジットオーディオ信号又はマルチチャンネルコンポジットオーディオ信号でのトランジェントの発生を検出することができ、この検出情報は各可制御デコリレータ（ｄｅｃｏｒｒｅｌａｔｏｒ）（図２の３８、４２）に送られる。そして、そのチャンネルのトランジェントフラグを受け取ったとき、可制御デコリレータは、そのデコーダの局所的なトランジェント検出表示の受け取ることにより、技法２から技法３に切り換える。このようにして、空間的な精度は低下するが、サイドチェーンビットレートを増加させることなく時間分解能を実質的に改善することが可能となる（ダウンミキシングに先立って、各チャンネルのトランジェントをエンコーダが検出する一方、デコーダでの検出はダウンミキシングの後行われる）。

フレーム毎を基準としてサイドチェーン情報を送る代わりに、サイドチェーン情報は、少なくとも非常にダイナミックな信号に対してはブロック毎に更新してもよい。上述の通り、トランジェントフラグ及び／又は補間フラグをブロック毎に更新することにより、サイドチェーンデータのオーバーヘッドが少し増える結果となるだけである。実質的にサイドチェーンデータレートを増加させることなく他のサイドチェーン情報の時間分解能をこのように上げるために、ブロックフローティングポイント差動コーディングの構成を用いてもよい。例えば、連続する変換ブロックを１つのフレームに対して６個のグループにまとめてもよい。全サイドチェーン情報は、最初のブロックにおける各サブ帯域チャンネルに送られる。それに続く５個のブロックにおいて、それぞれが現ブロックの振幅及び角と前のブロックの振幅及び角との差である、差値のみを送ってもよい。これにより、調律笛の音のような定常的な信号に対しては非常に低いデータレートとなる。もっとダイナミックな信号に対しては大きな範囲の差値が必要であるが、精度は小さくても良い。したがって、５つの差値については、最初に例えば３ビットを使って、指数を送り、次いで、例えば２ビットの精度で差値を量子化してもよい。このような構成により最悪の場合１又は２の係数程度、平均サイドチェーンデータレートを低下させる。上述のように、例えば算術コーディングを用いることにより、参照チャンネルへのサイドチェーンデータを省略することにより、さらなる低減ができる。代替的に又は付加的に、各周波数に亘って、例えばサブ帯域の角または振幅の差である、差動コーディングを用いてもよい。

サイドチェーン情報がフレーム毎を基準として送られていようと、またはもっと大きな頻度で送られていようと、フレーム内の全ブロックに亘ってサイドチェーン値を補間することは有益である。以下に説明するように、全周波数に亘って線形補間を行う方法である時間に亘る線形補間を行ってもよい。

本発明の特徴を適切に実行するために、それぞれの処理ステップを実行し機能的に次の説明に関連する処理ステップまたは処理装置を採用する。以下に挙げたエンコーディング及びデコーディングステップは、それぞれコンピュータソフトウェアの命令シーケンスにより、以下に挙げたステップの順序で実行されるが、ある量は先のものから導き出されることを考慮に入れて、等価な結果又は同様の結果が他の方法での命令ステップにより得られることも理解されよう。ステップのシーケンスを並列に実行するために、例えば、マルチスレッドのコンピュータソフトウェア命令シーケンスを用いてもよい。あるいは、記述された機能、機能を有する様々な装置及び以下に記載する相互機能を実行する装置として、記述ステップを導入してもよい。

［エンコーディング］
エンコーダ又はエンコーディング機能により、それがサイドチェーン情報を導き出しフレームのオーディオチャンネルを（上述した図１の例の方法で）単一のモノフォニック（モノ）オーディオチャンネルにダウンミックスするか又は、（以下に記載する図６の例の方法で）複数のオーディオ チャンネルにダウンミックスする前に、フレームのそれに値するデータを収集する。そうすることにより、サイドチェーン情報は最初にデコーダに送られ、モノチャンネルオーディオ情報又はマルチチャンネルオーディオ情報を受信後直ちにデコーディングを開始させることができる。エンコーディングプロセス（「エンコーディングステップ」）のステップについては以下に説明する通りである。エンコーディングステップに関して図４に記載されており、フローチャートと機能ブロック図の混成表現となっている。ステップ４１９まで、図４は１つのチャンネルに対するエンコーディングステップを示している。ステップ４２０と４２１は、図６の例に関連させて以下に記載した通り、コンポジットモノ信号を出力するために結合され又は複数のチャンネルを出力するためにマトリックス化されるすべての複数のチャンネルに適用される。

［ステップ４１０、トランジェントの検出］
ａ．入力オーディオチャンネル内のＰＣＭ値のトランジェント検出を実行する。

ｂ．チャンネルのフレームのいずれかのブロックにトランジェントがあるとき１ビットのトランジェントフラグを真に設定する。

［ステップ４０１についてのコメント］
トランジェントフラグは、サイドチェーン情報の一部をなし、以下に説明するとおり、ステップ４１１でも用いられる。デコーダのブロックレートより細かいトランジェント分解能は、デコーダの性能を向上させることができる。上述の通り、フレームレートトランジエントフラグでなくてブロックレートトランジエントフラグが、少しビットレートを上げてサイドチェーン情報の一部をなすが、空間的な精度を下げることとなるものの、デコーダが受信したモノコンポジット信号内のトランジェントの発生を検出することによりサイドチェーンビットレートを増加させることなく同様の結果が達成できる。

フレームのチャンネル毎に１つのトランジェントフラグがあり、これは時間領域で導き出されるため、必然的にそのチャンネルの全てのサブ帯域にこのフラグを適用する。長いオーディオブロックと短いオーディオブロックとの切換時の決定を制御するためにＡＣ−３エンコーダに採用されたものと類似の方法でトランジェント検出を行ってもよいが、より高い感度を有し、ブロックに対するトランジェントフラグが真のときどんなフレームに対してもトランジェントフラグが真になるように検出を行う（ＡＣ−３エンコーダはブロック毎を基準にトランジェントを検出する）。特に、先に引用したＡ／５２Ａ書面の章８．２．２参照のこと。章８．２．２におけるトランジェント検出の感度は、以下に述べる式に感度ファクターＦを加算することにより向上させることができる。Ａ／５２Ａ書面の章８．２．２は、感度ファクターを加算して以下に説明する（以下に記載する章８．２．２は、ローパスフィルターは、Ａ／５２Ａ書面に記載された「形態I」よりむしろ形態IIのＩＩＲフィルターから直接カスケードバイクワッドフィルターを示すよう訂正されたものである。章８．２．２は、先のＡ／５２書面が正しかった）。本質的なものではないが、０．２の感度ファクターは、本発明の現実的な実施の形態において適切な値であることが分かっている。

代替的に、米国特許５，３９４，４７３に記載された同様のトランジェント検出技法を採用してもよい。この５，３９４，４７３特許は、Ａ／５２Ａ書面のトランジェント検出の特徴をさらに詳細に記載している。前記Ａ／５２Ａ書面と前記５，３９４，４７３特許は、その全体を参照としてここに組み込む。

他の代替案として、トランジェントを時間領域ではなく周波数領域で検出してもよい（ステップ４０８の解説を参照のこと）。この場合、ステップ４０１は省略し代わりのステップを以下に説明するように周波数領域で採用することができる。

［ステップ４０２、窓及びＤＦＴ］
ＰＣＭ時間サンプルの重複ブロックを時間窓で乗算し、ＦＦＴを実施するときにＤＦＴにより複素周波数値に変換する。

［ステップ４０３、複素数値の大きさ（絶対値）と偏角への変換］
各周波数領域の複素数変換ビン値（ａ＋ｊｏｂ）を標準的な複素数操作技法を用いて、絶対値と偏角の表現に変換する。

ａ．絶対値＝√（ａ^２＋ｂ^２）
ｂ．偏角＝ａｒｃｔａｎ（ｂ／ａ）
［ステップ４０３の解説］
代替的に以下のステップで、上記絶対値を２乗したものとして（すなわち、エネルギー＝ａ^２＋ｂ^２）定義されるビンのエネルギーを用いてもよい。

［ステップ４０４、サブ帯域エネルギーの計算］
ａ．各サブ帯域内のビンのエネルギー値を加えることによりブロック毎のサブ帯域エネルギーを計算する（全周波数に亘って加算する）。

ｂ．フレームの全てのブロックのエネルギーを積算または平均化することにより、フレーム毎のサブ帯域エネルギーを計算する（時間全部に亘って平均化／積算を行う）。

ｃ．もしカップリング周波数が約１０００Ｈｚ以下である場合、その周波数以下でかつカップリング周波数を超える全てのサブ帯域に作用する時間平滑器にサブ帯域でのフレーム平均化又はフレーム積算したエネルギーを適用する。

［ステップ４０４ｃの解説］
低周波数サブ帯域のフレーム間平滑化を行うために時間平滑が有効である。サブ帯域境界においてビン値間で不連続を生じさせるアーティファクトを避けるために、徐々に減少する時間平滑を最低周波数のサブ帯域からカップリング周波数（このとき平滑化が顕著な効果を発揮する）を含みそれ以上の、時間平滑が働くが可聴に近いが可聴ではない、周波数サブ帯域までこれは有効である。最低周波数レンジのサブ帯域（もしサブ帯域が臨界帯域ならば、このサブ帯域は単一のビンである）に対する適切な時定数は、例えば、５０から１００ミリセカンドである。徐々に減少する時間平滑を、例えば時定数が約１０ミリセカンドであり、約１０００Ｈｚを包含するサブ帯域まで続けることができる。

１次平滑器が適切であるが、この平滑器は、トランジェントに応答する立ち上がり時間と減衰時間を短くさせる可変時定数を持つ２段階平滑器でもよい（このような２段階平滑器は、どちらもその全てを参照として本明細書に組み込まれる米国特許３，８４６，７１９と４，９２２，５３５に記載された、アナログ２段階平滑器と同等のディジタル２段階平滑器でもよい）。言い換えれば、定常的な時定数は周波数により縮小拡大してよく、トランジェントに応答して可変であってもよい。あるいは、このような平滑をステップ４１２に適用してもよい。

［ステップ４０５、ビン絶対値の合計値の計算］
ａ．各サブ帯域のビン絶対値（ステップ４０３）のブロック毎の合計を計算する（全周波数に亘って積算）。

ｂ．フレームにおける全ブロックに亘ってステップ４０５ａの絶対値を平均化又は積算（全時間に亘る平均化／積算）することにより各サブ帯域のビン絶対値をフレーム毎の合計を計算する。この合計値は、以下のステップ４１０のチャンネル間の角整合性ファクターを計算するために用いられる。

ｃ．エンコーダのカップリング周波数が約１０００Ｈｚ以下であれば、サブ帯域のフレーム平均化した絶対値又はフレーム積算した絶対値を、その周波数以下でかつカップリング周波数を超えるすべてのサブ帯域で作用する時間平滑器に適用する。

［ステップ４０５ｃの解説］
ステップ４０４ｃの解説を参照のこと。ただし、ステップ４０５の場合は、時間平滑化はステップ４１０の一部として代替的に実施される。

［ステップ４０６、チャンネル間の相対的なビン位相角の計算］
各ブロックの各変換ビンの相対的なチャンネル間の位相角を、参照チャンネル（例えば、第１のチャンネル）の対応するビン角をステップ４０３のビン角から減算することにより、計算する。計算結果は、ここでの他の角加算又は減算とともに、−πから＋πのレンジになるまで２πを加算又は減算することにより、ｍｏｄｕｌｏ（＋π，−π）ラジアンを求める。

［ステップ４０７、チャンネル間のサブ帯域位相角の計算］
各チャンネルに対して、以下のように、各サブ帯域に対して絶対値で重み付けしたチャンネル間の平均位相角のフレームレートを計算する。

ａ．各ビンに対して、ステップ４０３の絶対値とステップ４０６の相対的なチャンネル間のビン位相角とから複素数値を構築する。

ｂ．ステップ４０７ａで構築した複素数値を各サブ帯域に亘って加算する（全周波数に亘る加算）。

［ステップ４０７ｂの解説］
例えば、２つのビンがあり、そのうちの１つは複素数値１＋ｊを有し、他の１つは複素数値２＋ｊ２を有する場合、その複素数和は３＋ｊ３である。

ｃ．各フレームの全ブロックに亘ってステップ４０７ｂの各サブ帯域についてのブロック毎の複素数和の平均又は積算を行う（全時間に亘る平均又は積算）。

ｄ．もし、エンコーダのカップリング周波数が約１０００Ｈｚ以下であるなら、サブ帯域のフレーム平均又はフレーム積算した複素数値を、この周波数以下でカップリング周波数を超えるすべてのサブ帯域に作用する時間平滑器に適用する。

［ステップ４０７ｄの解説］
ステップ４０４ｃの解説を参照のこと。ただし、ステップ４０７ｄの場合は、時間平滑は、代替的に、ステップ４０７ｅ又はステップ４１０の１部として実行されることもある。

ｅ．ステップ４０３の要領で、ステップ４０７ｄの複素数の大きさを計算する。

［ステップ４０７ｅの解説］
この絶対値は以下のステプ４１０ａで用いる。ステップ４０７ｂの簡単な例では、３＋ｊ３の絶対値は√（９＋９）＝４．２４である。

ｆ．ステップ４０３の要領で、複素数値の偏角を計算する。

［ステップ４０７ｆの解説］
ステップ４０７ｂでの簡単な例において、３＋ｊ３の偏角はａｒｃｔａｎ（３／３）＝４５度＝π／４ラジアンである。このサブ帯域の偏角は信号に依存して時間平滑され、以下に説明するように、サブ帯域偏角制御パラメータサイドチェーン情報を生成させるために量子化される。

［ステップ４０８、ビンスペクトルステディネスファクター］
各ビンに対して、以下のように、０から１のレンジでビンスペクトルステディネスファクターを計算する。

ａ．ｘｍ＝ステップ４０３で計算された現ブロックのビン絶対値、とする
ｂ．ｙｍ＝対応する前のブロックのビン絶対値、とする
ｃ．もし、ｘｍ＞ｙｍなら、ビンダイナミック振幅ファクター＝（Ｙｍ／Ｘｍ）２
ｄ．さもなくば、もし、ｙｍ＞ｘｍなら、ビンダイナミック振幅ファクター＝（Ｘｍ／Ｙｍ）２
ｅ．さもなくば、もし、ｙｍ＝ｘｍなら、ビンスペクトルステディネスファクター＝１．
［ステップ４０８の解説］
「スペクトルステディネス」とは時間に関するスペクトル成分（例えば、スペクトル係数又はビン値）の拡がりの尺度である。ビンスペクトルステディネスファクターが１の場合は、与えられた時間内で変化がないことを意味する。

スペクトルステディネスは、トランジェントが存在するかどうかの指標であると考えることもできる。ブロック及びその境界におけるトランジェントの位置によっては、トランジェントは、１以上のブロックにおけるある期間を通じてスペクトルの（ビン）振幅の急激な上昇と下降の原因となる。したがって、少数のブロックでのビンのスペクトルステディネスファクターの高い値から低い値への変化は、低い値を持つブロックにおいてトランジェントが存在することを示すものと解釈してもよい。さらなるトランジェントの存在の確認、あるいは、ビンスペクトルステディネスファクターの採用に代わるものとして、ブロック内のビンの位相角の監視がある（例えば、ステップ４０３の出力である位相角）。トランジェントは、ブロック内で単一の時間的位置を占めるようなので、また、そのブロックで支配的なエネルギーを持つので、トランジェントの存在とその位置を、そのブロックにおいてビンからビンへの位相が実質的に一様に遅れることにより、すなわち周波数の関数として位相角が実質的に線形に傾斜することにより、表示することができる。さらなる確認又は代案としては、小数のブロックでのビン振幅（例えば、ステップ４０３の出力である大きさ）を監視すること、すなわち、スペクトルレベルの急激な上昇と下降を直接見ること、がある。

代案として、ステップ４０８にて、１つのブロックの代わりに３つの連続するブロックを見てもよい。もし、エンコーダのカップリング周波数が約１０００Ｈｚ以下である場合は、ステップ４０８では、４つ以上の連続するブロックを監視してもよい。連続するブロックの数については、周波数の変化を考慮に入れて、サブ帯域周波数レンジが減少するにつれてブロックの数が徐々に増加するようにしてもよい。もし、ビンスペクトルステディネスファクターが２以上のブロックから得られる場合は、先に説明したように、トランジェントの検出は、トランジェントの検出に有用な数のブロックにのみ応答する別のステップにより行ってもよい。

さらなる代案として、ビンの大きさの変わりにビンエネルギーを用いてもよい。

さらには、以下のステップ４０９の解説に記載したような「事象決定」検出技法をステップ４０８で採用してもよい。

［ステップ４０９、サブ帯域スペクトルステディネスファクターの計算］
以下のように、フレームの全ブロックに亘るサブ帯域において、振幅で重み付けを行ったビンスペクトルステディネスファクターを平均化することにより、０から１のスケールで、フレームレートサブ帯域スペクトルステディネスファクターを計算する。

ａ．各ビンに対して、ステップ４０８のビンスペクトルステディネスファクターとステップ４０３のビンの大きさとの積を計算する。

ｂ．角サブ帯域内でこの積を積算する（全周波数に亘る積算）

ｃ．フレーム内のすべてのブロックにおいてステップ４０９ｂの積算値を平均化又は累算させる（全時間に亘る平均化／累算）。

ｄ．もし、エンコーダのカップリング周波数が約１０００Ｈｚ以下であれば、フレーム平均化又はフレーム累算したサブ帯域を、その周波数以下でカップリング周波数を超えるすべてのサブ帯域に作用する時間平滑に適用する。

［ステップ４０９ｄの解説］
ステップ４０４ｃの解説を参照のこと。ただし、ステップ４０９ｄの場合は、引き続いて代替的な時間平滑を実行するステップはない。

ｅ．サブ帯域内で、必要に応じて、ステップ４０９ｃ又はステップ４０９ｄの結果をビンの大きさ（ステップ４０３）の積算値で割る
［ステップ４０９ｅの解説］
ステップ４０９ａにおける大きさを乗算すること及びステップ４０９ｅにおける大きさを積算することは振幅の重み付けを算出することである。ステップ４０８の出力は絶対振幅に依存し、もし振幅の重み付けを行わなければ、ステップ４０９の出力を非常に小さな振幅で制御することになり、これは好ましくないことである。

ｆ．｛０．５．．．１｝から｛０．．．１｝のレンジでマッピングすることにより、この結果を縮小拡大してサブ帯域ペクトルステディネスファクターを得る。これは、結果を２で乗算し、１を引き、０未満から０までの結果に制限することで行ってもよい。

［ステップ４０９ｆの解説］
ステップ４０９ｆは、ノイズのチャンネルのサブ帯域ペクトルステディネスファクターがゼロとなることを確かめるために有用である。

［ステップ４０８と４０９の解説］
ステップ４０８と４０９の目的は、ペクトルステディネス、すなわち、チャンネルのサブ帯域における時間に対するスペクトル成分の変化、を計測することである。あるいは、国際公開番号ＷＯ０２／０９７７９２Ａｌ（米国を指定）に記載されているような“ｅｖｅｎｔ ｄｅｃｉｓｉｏｎ”検出の特徴を、ステップ４０８と４０９に関連して説明した方法の変わりにペクトルステディネスを測定するために用いてもよい。２００３年１１月２０付け米国特許出願Ｓ．Ｎ．１０／４７８，５３８は、公開されたＰＣＴ出願ＷＯ０２／０９７７９２Ａｌの米国内出願である。これらの公開されたＰＣＴ出願と米国内出願は両方ともそのすべてを参照として本出願に組み込まれる。これらの出願によれば、各ビンのＦＦＴの複素係数の大きさが計算され正規化される（例えば、最大値が１に設定される）。そして、連続するブロックの対応するビンの大きさ（ｄＢ）が減算されて（負号は無視）、ビン間の差が合計され、そして、合計が閾値を超えた場合は、ブロックの境界が聴覚イベントの境界と考えられる。あるいは、ブロックとブロックでの振幅の変化も（必要な正規化の量をみることで）、スペクトルの大きさの変化とともに考慮してもよい。

ここに組み込まれたイベントセンシングの出願をペクトルステディネス計測のために採用する場合は、正規化は必要でなくスペクトルの大きさの変化（正規化が省略される場合は振幅の変化を計測する）はサブ帯域基準で考えることが好ましい。上述のステップ４０８を実行する代わりに、各サブ帯域における対応するビン同士のスペクトルの大きさの差のデシベルを、前記出願での開示にしたがって合計してもよい。次いで、ブロックとブロックでのスペクトルの変化の程度を表すこれらの合計のそれぞれを、０から１のレンジを持つスペクトルステディネスファクターになるよう縮小拡大してもよく、ここで、値１は最大のスペクトルステディネスを示し、所定のビンでのブロックとブロックでの変化が０ｄＢである。値０は、最低のステディネスを示し、例えば１２ｄＢのような相応する量以上のデシベルの変化に割り当てられる。これらにより、上述のように、ステップ４０９でステップ４０８の結果を使ったのと同じ方法で、ビンスペクトルステディネスファクターが、ステップ４０９で用いられる。ステップ４０９で、先に説明した代替的なイベントデシジョンセンシング技法を採用することにより得られたビンスペクトルステディネスファクターを受け取るときに、ステップ４０９のサブ帯域のスペクトルステディネスファクターは、トランジェントの表示としても用いることができる。例えば、ステップ４０９で生成された値のレンジが０から１であるならば、サブ帯域スペクトルステディネスファクターが、例えば０．１のような小さな値であるとき、トランジェントが存在すると考えられ、実質的にスペクトル的にステディネスでないことが示される。

ステップ４０８で生成されたビンスペクトルステディネスファクターと、ステップ４０８の代替として記載した方法で生成されたビンスペクトルステディネスファクターはそれぞれ、ブロックからブロックでの相対的な変化の程度の基準となる値に対する可変閾値を本質的に生じさせる。あるいは、例えば、フレーム内の複数のトランジェント又は小さなトランジェントの間の大きなトランジェント（例えば、中間から低レベルの拍手喝さい音の頂点で出て来る大きなトランジェント）に応答して閾値内に具体的にシフトインさせることでこのような本質的な特性を補完させることも役に立つかもしれない。後者の例では、イベント検出器はまず各拍手をイベントとして特定するかもしれないが、大きなトランジェント（例えばドラムを叩いたような）が、ドラムを叩いた音のみをイベントとして特定するような望ましい閾値にシフトさせることができる。

あるいは、時間に対するスペクトルステディネスの測定の代わりに測定基準をランダム化させることを用いてもよい（例えば、米国特許Ｒｅ３６，７１４、これは本出願にそのすべてが組み込まれる、に記載されているように）。

［ステップ４１０、チャンネル間角整合性ファクターの計算］
２以上のビンを有する各サブ帯域に対して、以下のようにチャンネル間角整合性ファクターのフレームレートを計算する。

ａ．ステップ４０７の複素数の和の絶対値をステップ４０５の絶対値の和で割算する。その結果出てきた「生の」角整合性ファクターは、０から１までの数字となる。

ｂ．補正係数を計算する、すなわち、ｎ＝上記ステップにおける２つの数値を導く全サブ帯域に亘る値の数（言い換えれば、「ｎ」はサブ帯域におけるビンの数）とする。もしｎが２より小さければ、角整合性ファクターは１とし、ステップ４１１と４１３に行く。

ｃ．ｒ＝ランダム変化の期待値＝１／ｎとする。ステップ４１０ｂの結果からｒを減算する。

ｄ．ステップ４１０ｃの結果を（１−ｒ）で割ることにより正規化する。この結果、最大値が１となる。必要ならば、最小値を０に制限する。

［ステップ４１０の解説］
チャンネル間角整合性は、フレーム期間にチャンネル間の位相角がどの程度サブ帯域内にはいるかの程度を示す尺度である。もしサブ帯域のすべてのビンのチャンネル間の角が同じであれば、チャンネル間角整合性ファクターは１．０となるが、もしチャンネル間の角がランダムに散らばっていれば、この値はゼロに近づく。

サブ帯域角整合性ファクターは、チャンネル間に仮想音像があるかどうかを表示する。もし、整合性が低いならば、チャンネルをデコリレーションすることが好ましい。高い値は融合した音像を示す。音像の融合は他の信号特性とは独立している。

サブ帯域角角整合性ファクターは、１つの角パラメータであるが、２つの大きさから間接的に決定されることに注意する必要がある。もし、チャンネル間の角がすべて同じならば、複素数値を加算し、大きさ（絶対値）を求めると、すべて同じ大きさ（絶対値）を加えるから同じ結果となるのでその指数は１となる。もし、チャンネル間の角がばらばらであれば、複素数値を加算（異なった偏角を持つベクトルの加算のように）すると、少なくとも部分的に打ち消しあって、絶対値の和より和の絶対値の方が小さくなりその指数は１より小さくなる。

以下は、２つのビンを持つサブ帯域の簡単な例である。２つのビンの複素数値は（３＋ｊ４）と（６＋ｊ８）である。（それぞれの場合で同じ偏角であり、偏角＝ａｒｃｔａｎ（虚部／実部）、したがって偏角１＝ａｒｃｔａｎ（４／３）及び偏角２＝ａｒｃｔａｎ（８／６）＝ａｒｃｔａｎ（４／３）となる）。複素数値を加えて、合計＝（９＋ｊ１２）となり、この絶対値は√（８１＋１４４）＝１５となる。

絶対値の合計は、（３＋ｊ４）の絶対値＋（６＋ｊ８）の絶対値＝５＋１０＝１５、となる。したがって指数は１５／１５＝１（１／ｎ正規化の前、正規化の後も１となる）（正規化された指数＝（１−０．５）／（１−０．５）＝１．０）。

もし、上記ビンのうちの１つが異なった偏角を持っていたなら、例えば、２番目ものが同じ絶対値の複素数値（６−ｊ８）であるとする。複素数同士の和は（９−ｊ４）となり、その絶対値は√（８１＋１６）＝９．８５となる。したがって指数は９．８５／１５＝０．６６＝整合性（正規化前）となる。正規化すると、１／ｎ＝１／２を減算し、（１−１／ｎ）で割算する（正規化された整合性＝（０．６６−０．５）／（１−０．５）＝０．３２となる）。

上述のサブ帯域角整合性ファクターを決定する技法は有用ではあるが、これを使用することが本質的というわけではない。他の適切な技法を用いてもよい。例えば、標準的手法を用いて偏角の標準偏差を計算してもよい。いずれにしろ、計算した整合性の値の小さな信号の影響を最小限にするために振幅の重み付けを採用することが望ましい。

加えて、サブ帯域角整合性ファクターを導く他の方法において、絶対値の変わりにエネルギー（絶対値の２乗）を用いてもよい。これは、ステップ４０５と４０７に入る前にステップ４０３で絶対値を２乗することで実行することができる。

［ステップ４１１、サブ帯域デコリレーションスケールファクターの算出］
以下のように、各サブ帯域のデコリレーションスケールファクターのフレームレートを算出する。

ａ．ｘ＝ステップ４０９ｆのスペクトルステディネスファクターのフレームレート、とする。

ｂ．ｙ＝ステップ４２０ｅの角整合性ファクターのフレームレート、とする。

ｃ．次いで、サブ帯域デコリレーションスケールファクターのフレームレート＝（１−ｘ）＊（１−ｙ）。

［ステップ４１１の解説］
サブ帯域デコリレーションスケールファクターは、チャンネルのサブ帯域における時間に対する信号特性のスペクトルステディネス（スペクトルステディネスファクター）と、参照チャンネルの対応するビンに関するビン角のチャンネルの同じサブ帯域における整合性（チャンネル間の角整合性ファクター）の関数である。サブ帯域デコリレーションスケールファクターは、スペクトルステディネスファクターとチャンネル間の角整合性ファクターの両方が低いときのみ、高くなる。

上述のように、デコリレーションスケールファクターは、デコーダで行われるエンベロープデコリレーションの程度を制御する。時間に対するスペクトルステディネスを表示する信号は、アーティファクト、すなわち、信号の揺れやさらさら音を生じさせる結果となるので、他のチャンネルで起こっていることを考慮しないでエンベロープを変化させることによりデコリレーションさせてはいけない。

［ステップ４１２、サブ帯域振幅スケールファクターの算出］
ステップ４０４のサブ帯域フレームエネルギー値と、他のすべてのチャンネルのサブ帯域フレームエネルギー値から、サブ帯域振幅スケールファクターを以下のように算出する。

ａ．各サブ帯域に対して、すべての入力チャンネルに亘ってフレーム毎のエネルギー値を合計する。

ｂ．フレーム毎の各サブ帯域エネルギー値（ステップ４０４による）を、すべての入力チャンネルに亘るエネルギー値の合計（ステップ４１２ａによる）で割算し、０から１までのレンジの値を作る。

ｃ．−∞から０のレンジで、各比をｄＢに変換する。

ｄ．スケールファクター粒度、例えば１．５ｄＢに設定してもよい、で割算し、非負の値にするために符号を変え、量子化した値とするために最も近い整数に丸める。これらの値は、サブ帯域振幅スケールファクターのフレームレートであり、サイドチェーン情報の１部として伝達される。

ｅ．もしエンコーダのカップリング周波数が約１０００Ｈｚ以下になったら、サブ帯域のフレーム平均された絶対値又はフレーム積算された絶対値を、その周波数以下でかつカップリング周波数を超えるすべてのサブ帯域で作用する時間平滑器に適用する。

［ステップ４１２ｅの解説］
ステップ４０４ｃの解説を参照のこと。ただし、ステップ４１２ｅの場合は、時間平滑が代替的に実行される適切な後続のステップが存在しない。

［ステップ４１２の解説］
ここに示した粒度（分解能）と量子化精度は、有用であることが分かるが本質的なものではなく、他の値でも満足できる結果が得られる。

あるいは、サブ帯域振幅スケールファクターの代わりに振幅を用いてもよい。振幅を用いる場合は、ｄＢ＝ｌｏｇ（振幅比）を用い、もしエネルギーを用いる場合は、ｄＢをｄＢ＝１０＊ｌｏｇ（エネルギー比）を用いる。ここで、振幅比＝√（エネルギー比）である。

［ステップ４１３、チャンネル間のサブ帯域位相角の信号依存時間平滑化］
ステップ４０７ｆで導かれたチャンネル間の偏角のサブ帯域のフレームレートに信号依存時間平滑化を行う。

ａ．ｖ＝ステップ４０９ｄのサブ帯域スペクトルステディネスファクター、とする。

ｂ．ｗ＝ステップ４１０ｅの対応する角整合性ファクター、とする。

ｃ．ｘ＝（１‐ｖ）＊ｗ、とする。これは０と１の間の値であり、スペクトルステディネスファクターが大きく角整合性ファクターが大きい場合は、この値は大きくなる。

ｄ．ｙ＝１‐ｘ、とする。ｙは、スペクトルステディネスファクターが大きく角整合性ファクターが小さい場合に大きくなる。

ｅ．ｚ＝ｙｅｘｐ、とする。ｅｘｐは定数であり、＝０．１としてよい。ｚも０と１の間のレンジであるが、遅い時定数に応じて１の方向にゆがむ。

ｆ．もしこのチャンネルに対するトランジェントフラグ（ステップ４０１）が設定されるなら、トランジエントの存在における第１の時定数に対応してｚ＝０に設定する。

ｇ．ｚの最大許容値であるｌｉｍ、すなわちｌｉｍ＝１−（０．１＊ｗ）、を計算する。角整合性ファクターが大きい場合は、これは０．９から１．０に上がり、角整合性ファクターが小さい場合は０に下がる。

ｈ．必要に応じて、ｚをｌｉｍで制限する。すなわち、もし（ｚ＞ｌｉｍ）ならば、ｚ＝ｌｉｍとする。

ｉ．ｚの値を使い、各サブ帯域で保たれた角の平滑値を実行することにより、ステップ４０７ｆのサブ帯域角を平滑化する。もし、Ａ＝ステップ４０７ｆの角であり、ＲＳＡ＝前のブロックで実行した平滑化された角であり、ＮｅｗＲＳＡが平滑化された角の新しい値であるとすると、ＮｅｗＲＳＡ＝ＲＳＡ＊ｚ＋Ａ＊（１−ｚ）となる。これにより、ＲＳＡの値は、以下のブロックにおける処理に先立ちＮｅｗＲＳＡに等しくなる。新しいＲＳＡは、ステップ４１３の、信号に依存する時間平滑化された角出力となる。

［ステップ４１３の解説］
トランジェントが検出されたとき、サブ帯域角更新時定数が０に設定され、急速なサブ帯域角の変化を可能にする。正常な角更新機構に比較的遅い時定数のレンジを用いることで、定常信号又は擬似定常信号の期間信号がふらつくのを最小限にすることが出来、さらに、速い時定数で速く変化する信号を処理することが出来るので、このことは望ましい。

他の平滑技法及びパラメータを使用することも可能であるが、ステップ４１３に用いられた１次の平滑器が適切であることが分かった。もし、１次の平滑器／ローパスフィルターが用いられた場合は、変数「ｚ」は、フィードフォワード係数（しばしば「ｆｆ１」と表示される）に対応し、「１−ｚ」は、フィードバック係数（しばしば「ｆｂ１」と表示される）に対応する。

［ステップ４１４、平滑化されたチャンネル間サブ帯域位相角の量子化］
ステップ４１３ｉで算出された、平滑化されたチャンネル間サブ帯域位相角を、サブ帯域角制御パラメータを得るために量子化する。

ａ．もしこの値が０以下ならば、２πを加え、すべての量子化すべき偏角値が０から２πのレンジになるようにする。

ｂ．角粒度（分解能）で割算し、角粒度は２π／６４でよい、整数に丸める。最大値は、６ビット量子化に対応して、６３としてもよい。

［ステップ４１４の解説］
量子化された値は非負の整数として扱われるため、角を量子化するための簡単な方法は、それを非負の浮動小数点の数値（０以下の場合は２πを加え、レンジを０から２π（以下）にする）、にマッピングし、粒度（分解能）で縮小拡大し、整数に丸める。同様に、この整数の逆量子化は（ほかには簡単な表を参照することでもなされる）、角粒度ファクターの逆演算により縮小拡大し、非負の整数を非負の浮動小数点で表した角（この場合もやはり、０から２πのレンジ）に変換することで実行することが出来、そして、その後の使用のために±πのレンジでランダム化することができる。このようなサブ帯域角制御パラメータの量子化が有用であることが分かったが、このような量子化は重要ではなく、他の量子化でも満足できる結果を得ることができる。

［ステップ４１５、サブ帯域デコリレーションスケールファクターの量子化］
ステップ４１１により作られたサブ帯域デコリレーションスケールファクターは、例えば、７．４９を乗算し直近の整数に丸めることにより、８レベル（３ビット）に量子化する。このような量子化された値はサイドチェーン情報の一部をなす。

［ステップ４１５の解説］
サブ帯域デコリレーションスケールファクターのこのような量子化が有用であることが分かったが、この例の値を用いることは重要ではなく、他の量子化でも満足できる結果を得ることができる。

［ステップ４１６、サブ帯域角制御パラメータの量子化］
サブ帯域角制御パラメータ（ステップ４１４参照）を、ダウンミキシングの前に用いるために、量子化する
［ステップ４１６の解説］
エンコーダで量子化された値を用いることは、エンコーダとデコーダとの間の共時性を保つのを助ける。

［ステップ４１７、ブロックにアクセスする逆量子化されたサブ帯域角制御パラメータのフレームレートの分配］
ダウンミキシングの準備として、時間についてステップ４１６でフレーム毎に逆量子化されたサブ帯域角制御パラメータをフレーム内の各ブロックのサブ帯域に分配する。

［ステップ４１７の解説］
フレーム内の各ブロックに同じフレーム値を割り当ててもよい。あるいは、フレーム内の全ブロックに亘ってサブ帯域角制御パラメータを補間することも有用である。以下に説明するように全周波数に亘る線形補間のやり方で全時間に亘る線形補間を行ってもよい。

［ステップ４１８、ビンに対するブロックサブ帯域角制御パラメータの補間］
ステップ４１７の、全周波数に亘る各チャンネルのブロックサブ帯域角制御パラメータをビンに分配する。ここで、以下に説明する線形補間を用いることが好ましい。

［ステップ４１８の解説］
全周波数に亘って線形補間を採用する場合は、ステップ４１８により、全サブ帯域境界に亘るビンからビンへの位相角の変化を最小化し、これにより、エイリアシングアーティファクトを最小限にする。このような補間は、例えば、ステップ４２２の説明に続いて以下に説明するように、可能である。サブ帯域の角は、お互いに独立に計算され、それぞれがあるサブ帯域に亘る平均を表す。このようにして、１つのサブ帯域から次のサブ帯域への大きな変化が可能となる。もし、あるサブ帯域に対する正味の角の値がそのサブ帯域のすべてのビンに適用されたとすると（「直交」サブ帯域分配）、あるサブ帯域から隣のサブ帯域での完全な位相変化が２つのビン間で起こる。もしそこに強い信号成分があったとすると、深刻でおそらく可聴なエイリアシングが存在するかもしれない。各サブ帯域の中心間の線形補間により、例えば、サブ帯域におけるすべてビンに位相角の変化を分散させ、例えば、サブ帯域の低い方の端の角をその下のサブ帯域の高い方の端の角に一致させる一方、全体的な平均が、所定の計算したサブ帯域の角と同じに保持されるように、ビン同士のどのペア間においても位相角の変化を最小限にする。言い換えれば、サブ帯域の分配が長方形になる代わりに、サブ帯域角の分配が台形に形成される。

例えば、１番下で結合したサブ帯域は１つのビンを有し、サブ帯域角が２０度であると仮定すると、次のサブ帯域は、３つのビンを有し、サブ帯域角が４０度であり、３番目のサブ帯域は５つのビンを有し、サブ帯域角が１００度である。補間がないとき、最初のビン（１つのサブ帯域）が２０度の角だけシフトしたと仮定すると、次の３つのビン（別のサブ帯域）は４０度角シフトし、次の５つのビン（さらなるサブ帯域）は１００度角シフトする。この例では、ビン４からビン５までで６０度の最大変化がある。補間を行うと、最初のビンは、それでもなお２０度角のシフトするが、次の３つのビンは約３０度、４０度、及び５０度角シフトし、次の５つのビンは約６７度、８３度、１００度、及び１３３度角シフトする。平均サブ帯域角シフトは同じであるが、ビンとビンとの間の最大変化は１７度に減少する。

任意的に、サブ帯域からサブ帯域での振幅の変化は、ステップ４１７のようにここに記載した他のステップとの関連において、同様の補間方法で処理してもよい。しかし、振幅は１つのサブ帯域から次のサブ帯域で自然な連続性があるので、必ずしもこのようにする必要はない。

［ステップ４１９、チャンネルに対するビン変換値への位相角の適用］
各ビン変換値へ以下のように位相角回転を適用する。

ａ．ｘ＝ステップ４１８で計算したようなこのビンに対するビン角、とする。

ｂ．ｙ＝−ｘ、とする。

ｃ．角ｙの、絶対値が一定の複素位相回転スケールファクターｚの計算、ｚ＝ｃｏｓ（ｙ）＋ｊｓｉｎ（ｙ）。

ｄ．ビン値（ａ＋ｊｂ）にｚを乗算する。

［ステップ４１９の解説］
エンコーダに適用される位相角回転は、サブ帯域角制御パラメータから算出される角の反対である。

ここで説明するように、エンコーダ又はダウンミキシング（ステップ４２０）に先立つエンコーディングプロセスでの位相角調整はいくつかの利点がある。すなわち、（１）モノコンポジット信号又に加算されるか又は、複数のチャンネルにマトリックス演算されるチャンネルの打ち消しあいを最小限にすることと、（２）エネルギーの正規化（ステップ４２１）の信頼性を最大限にすることと、（３）デコーダの逆位相角回転をあらかじめ打ち消すことであり、これにより、エイリアシングを減少させる。

そのサブ帯域にある各変換ビンの値の角から各サブ帯域位相補正値を減算することにより位相補正ファクターをエンコーダに適用することができる。このことは、各ビンの複素数値に絶対値が１．０で偏角が位相補正ファクターの符号を反転したものに等しい複素数を乗算したものに等しい。ここで留意すべきは、絶対値が１で偏角Ａの複素数は、ｃｏｓ（Ａ）＋ｊｓｉｎ（Ａ）に等しいことである。後者の値は、各チャンネルの各サブ帯域に対してＡ＝−（このサブ帯域に対する位相補正）、で一度計算し、各ビン複素信号値を乗算して、位相シフトさせたビン値を得る。

位相シフトは循環し、結果として（上述のように）巡回畳み込みとなる。巡回畳み込みは連続的な信号に対して害はないが、異なったサブ帯域に異なった位相角を用いると、（調律笛のような）連続的な複素信号に偽のスペクトル成分を作り出したり、トランジェントによるぶれを引き起こしたりする。そこで、巡回畳み込みを避けるための技法や、例えばトランジェントフラグが真のとき、角計算の結果をオーバーライドさせ、チャンネル中のサブ帯域にゼロ又はランダム化された値のような位相補正ファクターを用いさせるような、トランジェントフラグを採用してもよい。

［ステップ４２０、ダウンミキシング］
例えば以下に説明するように図６に示す例のような方法で、モノコンポジットチャンネルを作るために、全チャンネルに亘って対応する複素変換ビンを加えるか、又は、入力チャンネルをマトリックス化し複数のチャンネルをダウンミキシングすることで、モノラルにダウンミキシングする。

［ステップ４２０の解説］
エンコーダにおいて、いったん、すべてのチャンネルの変換ビンを位相シフトすると、チャンネルが加算されて、モノコンポジットオーディオ信号が作られる。あるいは、図１のＮ：１エンコーディングにおけるように、１つのチャンネル又は複数のチャンネルに単純に総和を提供するような能動マトリックス又は受動マトリックスをチャンネルに入力してもよい。このマトリックスの係数は実数又は複素数（実数と虚数）とすることができる。

［ステップ４２１、正規化］
孤立したビンの削除を避け、位相のそろった信号を強調しすぎないように、以下のように、寄与するエネルギーの合計と実質的に同じエネルギーを持つように、モノコンポジットチャンネルの各ビンの振幅を正規化する。

ａ．ｘ＝ビンエネルギーの全チャンネルに亘る合計（すなわち、ステップ４０３で計算したビンの全体値の２乗）とする。

ｂ．ｙ＝ステップ４０３で計算したようなモノコンポジットチャンネルの対応するビンのエネルギー、とする。

ｃ．ｚ＝スケールファクター＝√（ｘ／ｙ）とし、もしｘ＝０ならｙを０に設定しｚを１に設定する。

ｄ．ｚを最大値以下、例えば１００以下に制限を加える。もしｚが最初１００以上（ダウンミキシングによる強い削除を意味する）であれば、モノコンポジットビンの実部及び虚部に例えば０．０１＊√（ｘ）のような任意の値を加え、以下のステップによる正規化のために十分に大きくする。

ｅ．この複素モノコンポジットビンの値にｚを乗算する。

［ステップ４２１の解説］
一般にエンコーディングとデコーディングの両方に対して、同じ位相ファクターを使うことが望ましいが、最適なサブ帯域位相補正値を選択しても、ステップ４１９の位相シフトがビンというよりむしろサブ帯域を基準に行われるので、エンコードダウンミキシング処理の期間に、サブ帯域中に解消すべき１以上の可聴スペクトル成分を生じさせる。この場合、ビンのエネルギーの和がその周波数において個々のチャンネルビンのエネルギーの和より遥かに小さいことが分かれれば、エンコーダ中の孤立したビンに対して異なった位相ファクターを用いてもよい。孤立したビンが全体の音像の質に対して少ししか影響を与えない限り、一般に必ずしもそのような孤立した補正ファクターをデコーダに適用する必要はない。もし、モノチャンネルではなく複数のチャンネルを採用するならば、同様の正規化を適用してもよい。

［ステップ４２２、組立及びビットストリームへの圧縮］
振幅スケールファクター、角制御パラメータ、デコリレーションスケールファクター、及び、各チャンネルに対するサイドチャンネル情報のトランジェントフラグを、共通のモノコンポジットオーディオ又は複数チャンネルのマトリックスと共に望ましいようにマルチプレックスさせ、記憶、伝達又は記憶、及び、伝達媒体に適した１以上のビットストリームに圧縮する。

［ステップ４２２の解説］
モノコンポジットオーディオ又は複数チャンネルオーディオは、データレートを減少させるエンコーディング処理又は装置、例えば、知覚エンコーダ又は知覚エンコーダ及びエントロピーコーダ（例えば算術コーダ又はハフマンコーダ）（しばしば「無損失」コーダと称される）に圧縮前に適用される。さらに、上述のように、モノコンポジットオーディオ（又は複数チャンネルオーディオ）及び関連するサイドチェーン情報は、特定の周波数（「カップリング」周波数）を超えるオーディオ周波数に対してのみ複数の入力チャンネルから算出することができる。この場合、複数入力チャンネルのそれぞれにおけるカップリング周波数以下のオーディオ周波数は、記憶し、伝達又は記憶し、及び離散チャンネルとして伝達することができ、又は、結合し又はここに記載した以外の方法で処理することができる。離散チャンネル又は他の方法で結合されたチャンネルは、データを減少させるエンコーディング処理又は装置、例えば知覚エンコーダ又は知覚エンコーダ及びエントロピーコーダに適用される。モノコンポジットオーディオ（又は複数チャンネルオーディオ）及び離散マルチチャンネルオーディオは、統合的な知覚エンコーディング又は知覚エンコーディング及びエントロピーエンコーディング処理又は装置に圧縮前に適用される。

［任意的な補間フラグ（図４に示さず）］
サブ帯域角制御パラメータにより行われる基本角シフトの全周波数に亘る補間は、エンコーダ（ステップ４１８）及び／又はデコーダ（下記ステップ５０５）により可能となる。任意的な補間フラグサイドチェーンパラメータは、デコーダにおける補間を可能にするために採用される。補間フラグ又は補間フラグに類似するイネーブリングフラグ（ｅｎａｂｌｉｎｇ ｆｌａｇ）はエンコーダにおいて使うことができる。ここで留意すべきは、エンコーダがビンレベルでデータにアクセスするので、サイドチェーン情報内のサブ帯域角制御パラメータを補間するデコーダとは異なる他の補間値を用いてもよいことである。

エンコーダ又はデコーダにおける全周波数に亘るこのような補間を用いることは、例えば、以下の２つの状態が真ならば可能である。

状態１．実質的に異なった位相角の回転が割り当てられた２つのサブ帯域の境界又はその近傍に強くて孤立したスペクトルのピークが存在する。

理由：補間を行わない場合、その境界での大きな位相変化により、孤立したスペクトル成分にウォーブルを生じさせるかもしれない。帯域内の全ビン値に亘って帯域から帯域へ位相の変化を拡げるために補間を用いることにより、サブ帯域の境界での位相変化の量が減少する。スペクトルピークの強さに対する閾値、境界との密接さ、及び、この状態を満足させるためのサブ帯域からサブ帯域での位相回転の差異は、経験的に調整できる。

状態２．トランジェントの存在に依存して、チャンネル間の位相角（トランジェントが無い）又はチャンネル内の絶対位相角（トランジェントが存在する）がうまく線形連鎖している。

理由：データを再構成させるために補間を用いることで、元のデータとうまく適合できやすくなる。ここで留意すべきは、角データはサブ帯域基準でデコーダに送られるので、線形連鎖の傾きはすべての周波数に亘って一定である必要はなく、各サブ帯域内だけでよいことであり、これが補間ステップ４１８の入力を形成することである。この条件を満足するようにデータを適合させる程度も、経験的に決定することができる。

経験的に得られることのような他の条件も全周波数に亘って補間することの恩恵を受ける。先に説明した２つの条件の存在により、以下のことが決定される。

状態１．実質的に異なった位相角の回転が割り当てられた２つのサブ帯域の境界又はその近傍に強くて孤立したスペクトルのピークが存在する。

デコーダにて用いられる補間フラグに対してサブ帯域角制御パラメータ（ステップ４１４の出力）を、エンコーダ内のステップ４１８に権能を与えるために量子化の前のステップ４１３の出力を、サブ帯域からサブ帯域への角の回転を決定するために用いることができる。

補間フラグのためとエンコーダ内で権能を与えるために、ステップ４０３の出力の絶対値、すなわち、現在のＤＦＴの絶対値は、サブ帯域の境界における孤立したピークを見つけるために使われる。

状態２．トランジェントの存在に依存して、チャンネル間の位相角（トランジェントが無い）又はチャンネル内の絶対位相角（トランジェントが存在する）がうまく線形連鎖している。

もしトランジェントフラグが真でない（トランジェントが存在しない）ならば、うまく線形連鎖させるためにステップ４０６からの相対的なチャンネル間のビン位相角を使い、もしトランジェントフラグが真（トランジェントが存在する）ならば、ステップ４０３からのチャンネル間の絶対的な位相角を使う。

［デコーディング］
デコーディング処理（「デコーディングステップ」）のステップを以下に記述する。デコーディングステップに関して、図５を参照する。これは、フローチャートと機能ブロック図を混合させたものである。分かりやすくするため、１つのチャンネルに対するサイドチェーン情報の派生を示しているが、他で説明したとおり、サイドチェーン情報成分は、そのような成分に対する参照チャンネルでない限り各チャンネルで得られるものであることは了解されている。

［ステップ５０１、サイドチェーン情報の伸張とデコーディング］
必要に応じて各チャンネル（図５には１つのチャンネルが示されている）の各フレームについてサイドチェーン情報の成分（振幅スケールファクター、角制御パラメータ、デコリレーションスケールファクター、及び、トランジェントフラグ）の伸張とデコーディングを行う。振幅スケールファクター、角制御パラメータ、及び、デコリレーションスケールファクターのデコーディングのために参照テーブルを用いてもよい。

［ステップ５０１の解説］
上述の通り、もし参照チャンネルを採用するのならば、参照チャンネルのサイドチェーンデータには角制御パラメータ、デコリレーションスケールファクター、及びトランジェントフラグを含めなくてもよい。

［ステップ５０２、モノコンポジットオーディオ信号又はマルチチャンネルオーディオ信号の伸張とデコーディング］
モノコンポジットオーディオ信号又はマルチチャンネルオーディオ信号の各変換ビンへＤＦＴ係数を提供するために、必要に応じて、モノコンポジットオーディオ信号情報又はマルチチャンネルオーディオ信号情報を伸張及びデコーディングする。

［ステップ５０２の解説］
ステップ５０１とステップ５０２は、１つの伸張及びデコーディングステップの一部と考えてもよい。ステップ５０２には、受動又は能動マトリックスが含まれる。

［ステップ５０３、全ブロックに亘る角パラメータ値の分配］
ブロックサブ帯域角制御パラメータ値は、逆量子化されたフレームサブ帯域角制御パラメータ値から導きだされる。

［ステップ５０３の解説］
ステップ５０３は、フレーム中のすべてのブロックに同じパラメータを分配することにより実行してもよい。

［ステップ５０４、全ブロックに亘るサブ帯域デコリレーションスケールファクターの分配］
ブロックサブ帯域デコリレーションスケールファクター値は、フレームサブ帯域デコリレーションスケールファクター値から導き出される。

［ステップ５０４の解説］
ステップ５０４は、フレーム中のすべてのブロックに同じスケールファクターを分配することにより実行してもよい。

［ステップ５０５、全周波数に亘る線形補間］
任意的に、エンコーダステップ４１８に関連して上述したように、全周波数に亘って線形補間することにより、デコーダステップ５０３のブロックサブ帯域角からビン角を導き出す。ステップ５０５の線形補間は、補間フラグが使われそれが真であるとき可能となる。

［ステップ５０６、ランダム化された位相角オフセットの加算（技法３）］
上述の技法３に従い、トランジェントフラグがトランジェントを示したとき、ステップ５０３で提供されたブロックサブ帯域角制御パラメータに、これはステップ５０５で全周波数に亘って線形補間されていてもよいが、デコリレーションスケールファクターにより縮小拡大された（縮小拡大は本ステップで示すように間接的なものでもよい）ランダム化されたオフセット値を加える。すなわち、
ａ．ｙ＝ブロックサブ帯域デコリレーションスケールファクター、とする。

ｂ．ｚ＝ｙｅｘｐ、とする、ここでｅｘｐは定数、例えば５である。ｚは、０から１のレンジになるが、デコリレーションスケールファクター値が高くない限り、ランダム化された変数が低レベルに向かうバイアスを持つことを反映して、０の方向に傾く。

ｃ．ｘ＝各ブロックの各サブ帯域に対し個別に選択された−１．０と＋１．０の間のランダム化された数値、とする。

ｄ．そして、技法３に従い、ランダム化された角オフセット値を加算するためにブロックサブ帯域角制御パラメータに加えられた値は、ｘ＊ｐｉ＊ｚである。

［ステップ５０６の解説］
当業者に高く評価されているように、デコリレーションスケールファクターにより縮小拡大させるための「ランダム化された」角（又は振幅が縮小拡大されている場合は、「ランダム化された振幅」）には、擬似乱数値と真の乱数値のみならず、位相角又は位相角と振幅に適用するとき）、チャンネル間の相互相関を減らす効果を持つ決定論的に生成した変数も含まれる。このような「ランダム化された」変数は様々な方法で得ることができる。例えば、様々な種となる値を持つ擬似乱数発生器を用いてもよい。あるいは、ハードウェアの乱数発生器を使って真の乱数を発生させてもよい。ランダム化された角分解能がほんの１度であれば十分であり、小数第２位又は３位の十進数（例えば、０．８４又は０．８４４）を採用することができる。このランダム化された値（上記ステップ５０５ｃを参照して−１．０から＋１．０の間の値）は、各チャンネルに統計的に一様に分配させることが好ましい。

ステップ５０６における非線形の間接的な縮小拡大が有用であることは分かったが、これは本質的な事項ではなく、他の適当な縮小拡大を採用してもよく、特に指数について、他の値を同様な結果を得るために用いてもよい。

サブ帯域デコリレーションスケールファクター値が１のとき、−πから＋πの全レンジのランダムな角が加えられる（この場合、ステップ５０３で作られたブロックサブ帯域角制御パラメータは、適切に作られたものでない）。サブ帯域デコリレーションスケールファクター値がゼロに向かって減少してゆくにつれて、ランダム化された角もゼロに向かって減少してゆき、ステップ５０６の出力を、テップ５０３で生成されたサブ帯域角制御パラメータ値に向かって変化させてゆく。

必要に応じて、ダウンミキシングの前に上述のエンコーダは、技法３に従いランダム化し縮小拡大したオフセットをチャンネルに適用した角シフトに加算してもよい。このようにすることでデコーダにおけるエイリアスの除去を改善することができる。これは又、エンコーダとデコーダの同時性を改善するためにも役立つ。

［ステップ５０７、ランダム化された位相角オフセットの加算（技法２）］
上述した技法２により、トランジェントフラグがトランジェントを示さない場合、各ビンについて、ステップ５０３で提供されたフレーム（ステップ５０５はトランジェントフラグがトランジェントを示す場合に動作する）の全てのブロックサブ帯域角制御パラメータにデコリレーションスケールファクターで縮小拡大された（この縮小拡大は本ステップで述べるように直接でもよい）別のランダム化されたオフセット値が加えられる。すなわち、
ａ．ｙ＝ブロックサブ帯域デコリレーションスケールファクター、とする。

ｂ．ｘ＝各フレームの各ビンに対して別々に選択された＋１．０と−１．０の間のランダム化された数値、とする。

ｃ．そして、技法３に従いランダム化されたオフセット値を加えるため、ブロックビン角制御パラメータに加えられる値は、ｘ＊ｐｉ＊ｙである。

［ステップ５０７の解説］
ランダム化された角オフセットについては、上記ステップ５０５についての解説を参照のこと。

ステップ５０７の直接的な縮小拡大が有用なことがわかったが、これはこれは本質的な事項ではなく、他の適当な縮小拡大を採用してもよい。

時間的な不連続点を最小限にするために、各チャンネルの角ビンへの一意的なランダム化された角は時間と共に変化させないことが望ましい。サブ帯域の全てのビンのランダム化された角の値は、フレームレートで更新される同じサブ帯域デコリレーションスケールファクター値により縮小拡大される。このようにして、サブ帯域デコリレーションスケールファクター値が１のとき、−πから＋πの全レンジのランダム角が加算される（この場合、逆量子化されたフレームサブ帯域角の値から導き出されたブロックサブ帯域角の値は適切に作られたものでない）。サブ帯域デコリレーションスケールファクター値がゼロに向かって減少するにつれて、ランダム化された角オフセットもゼロに向かって減少する。ステップ５０４とは異なり、このステップ５０７の縮小拡大は、サブ帯域デコリレーションスケールファクター値の直接的な機能になり得る。例えば、０．５のサブ帯域デコリレーションスケールファクター値により、全ランダム角の変動を０．５倍の比率で減少させる。

縮小拡大された角の値は、次いで、デコーダステップ５０６からのビン角に加算される。デコリレーションスケールファクター値はフレーム毎に１度更新される。過渡的なプレノイズアーティファクトを避けるために、そのフレームについてトランジェントフラグが存在する場合は、このステプは省略される。

必要に応じて、上述のエンコーダは、ダウンミキシングの前に適用した角シフトに、技法２に従いランダム化し縮小拡大したオフセットを加算してもよい。このようにすることで、デコーダにおけるエイリアスの除去を改善することができる。これは又、エンコーダとデコーダの同時性を改善するためにも役立つ。

［ステップ５０８、振幅スケールファクターの正規化］
２乗和が１になるよう全チャンネルに亘って振幅スケールファクターを正規化する。

［ステップ５０８の解説］
例えば、もし２つのチャンネルが−３．０ｄＢ（＝２＊１．５ｄＢの粒度）（０．７０７９５）の逆量子化されたスケールファクターを有するとすると、２乗和は１．００２となる。それぞれ√１．００２＝１．００１で割算すると、２つの値は０．７０７２（‐３．０１ｄＢ）となる。

［ステップ５０９、サブ帯域スケールファクターレベルの押し上げ（任意的）］
任意的に、トランジェントフラグがトランジェントを表示しないとき、サブ帯域デコリレーションスケールファクターレベルに応じて、サブ帯域スケールファクターレベルを少しだけ押し上げる。すなわち、正規化した各サブ帯域振幅スケールファクターに小さなファクター（例えば、１＋０．２＊サブ帯域デコリレーションスケールファクター）を乗算する。トランジエントフラグが真のとき、このステップは省略する。

［ステップ５０９の解説］
最終の逆フィルターバンク処理において、デコーダデコリレーションステップ５０７によりレベルが少しだけ減少するかもしれないので、このステップは有用である。

［ステップ５１０、全ビンに亘るサブ帯域振幅の分配］
同じサブ帯域振幅スケールファクター値を、サブ帯域の全てのビンに分配するためにステップ５１０を実行してもよい。

［ステップ５１０ａ、ランダム化した振幅オフセットの加算（任意的）］
任意的に、サブ帯域デコリレーションスケールファクターレベル及びトランジェントフラグに応じて、正規化されたサブ帯域振幅スケールファクターにランダム化された変化を加える。トランジェントが存在しないとき、ビン毎（bin-by-bin）（ビンからビン(from bin to bin)とは異なる）を基準に時間と共に変化しないランダム化された振幅スケールファクターを加算し、（フレーム又はブロック内に）トランジェントが存在するとき、ブロック毎（block-by-block）（ブロックからブロック(from block to block)とは異なる）を基準に、サブ帯域からサブ帯域（from subband to subband）で変化する（サブ帯域における全てのビンで同じシフトとなり、サブ帯域からサブ帯域で異なる）ランダム化された振幅スケールファクターを加算する。ステップ５１０ａは図示されていない。

［ステップ５１０ａの解説］
ランダム化された振幅が付加される程度はデコリレーションスケールファクターで制御されるが、特定のスケールファクターにより、アーティファクトを減少させるために同じスケールファクター値より得られる対応するランダム化された位相シフトより小さい、振幅シフトが起こると考える。

［ステップ５１１、アップミキシング］
ａ．各出力チャンネルの各ビンに、デコーダステップ５０８の振幅とデコーダステップ５０７のビン角からアップミキシングスケールファクターを組み立てる：すなわち、（振幅＊（ｃｏｓ（角）＋ｊｓｉｎ（角）））。

ｂ．各出力チャンネルに、複素ビン値とアップミキシングスケールファクターを乗算し、そのチャンネルの各ビンのアップミキシングされた複素出力ビン値を生成する。

［ステップ５１２、逆ＤＦＴの実行（任意的）］
任意的に、マルチチャンネル出力ＰＣＭ値を生成させるために、各出力チャンネルのビンに逆ＤＦＴ変換を実行する。よく知られているように、このような逆ＤＦＴ変換との関連において、時間サンプルの各ブロックは窓処理され、最終的な出力ＰＣＭオーディオ信号を構築するために隣り合うブロックと重複して加算される。

［ステップ５１２の解説］
本発明によるデコーダはＰＣＭ出力を出力しない。デコーダ処理が所定のカップリング周波数以上で行われ離散ＭＤＣＴ係数がこの周波数以下の各チャンネルに送られる場合、デコーダアップミキシングステップ５１１ａ及び５１１ｂにより導き出されたＤＦＴ係数をＭＤＣＴ係数に変換するのが好ましく、これにより、低い周波数の離散ＭＤＣＴ係数に結合し、例えば、逆変換が行なわれる外部装置のアプリケーションのための標準的なＡＣ‐３ＳＰ／ＤＩＦビットストリームのような多くのユーザがインストールしているエンコーディングシステムと互換性のあるビットストリームに提供するために、再量子化することができる。逆ＤＦＴ変換は、ＰＣＭ出力を出力するために出力チャンネルの出力に適用される。

［感度ファクター「Ｆ」を付加したＡ／５２Ａ書面の第８．２．２項］
［８．２．２．トランジェントの検出］
プレエコー効率を改善するためにいつ長さの短いオーディオブロックに切り換えるかを決定するために、全帯域幅のチャンネルでトランジェントを検出する。ハイパスフィルターされた信号は、エネルギーを増加させるために、サブブロック時間セグメントから次のサブブロック時間セグメントへと、検査される。サブブロックは異なった時間スケールで検査される。もし、トランジェントがチャンネル中のオーディオブロックの第２番目の半分で検出されたなら、そのチャンネルは短いブロックに切り換えられる。ブロックが切り換えられたチャンネルはＤ４５指数方策を用いる（すなわち、時間分解能を上げた結果生じるデータのオーバーヘッドを低減させるために、データはより粗い周波数分解能を持つ。）。

トランジェント検出器は長い変換ブロック（長さ５１２）から短いブロック（長さ２５６）に切り換えるときを決定するために用いられる。あらゆるオーディオブロックの５１２サンプルに対して動作する。これは、各経路で２５６サンプルの処理を行う２つの経路でなされる。トランジェントの検出は４つのステップに分けられる。すなわち、１）ハイパスフィルター処理、２）ブロックの約数へのセグメント化、３）各サブブロックセグメント内での振幅のピークの検出、４）閾値との比較、である。トランジェント検出器は各全帯域チャンネルに対してフラグbiksw[n]を出力する。このフラグは、「１」に設定されたとき、対応するチャンネルへの５１２長さの入力ブロックにおける第２番半分にトランジェントが存在することを示している。

１）ハイパスフィルター処理：ハイパスフィルターは、８ｋＨｚのカットオフを持つカスケード接続バイクワッドダイレクトフォームIIのＩＩＲフィルターとして実行される。

２）ブロックのセグメント化：ハイパスフィルターされた２５６サンプルは、階層構造ツリーのレベルにセグメント化され、レベル１では、２５６の長さのブロックを表し、レベル２は長さ１２８の２つのセグメントとなり、レベル３は、長さ６４の４つのセグメントとなる。

３）ピークの検出：階層構造ツリーの全てのレベルの各セグメントについて最も絶対値の大きいサンプルが特定される。信号レベルのピークは以下のように検出される。

P[j][k]=max(x(n))
n=(512×(k-1)／2^j), (512×(k-l)／2^j)+1,... (512×k／2^j)-1、そして
k=1,..., 2^(j-1)、である
ここで、
x(n)＝２５６個の長さのブロックでのｎ番目のサンプル
j＝１，２，３は、階層構造のレベル番号
k＝レベルｊ内のセグメント数
である。

ここで留意すべきは、P[j][0]、(すなわちk=0）は、現ツリーの直前に計算されたレベルｊのツリーにおける直前のセグメントのピークと定義される。例えば、先行するツリーのP[3][4]は現ツリーのP[3][0]である。

４）閾値との比較：第１段階の閾値比較器は、現ブロック内に大きな信号レベルがあるかどうかをチェックする。これは現ブロックの全体的なピーク値P[1][1]と「沈黙閾値（ｓｉｌｅｎｃｅ ｔｈｒｅｓｈｏｌｄ）」とを比較することにより行う。もしP[1][1]がこの閾値以下ならば、長いブロックが強制される。沈黙閾値は、１００／３２７６８である。比較器は次の段階で、階層構造のツリーの各レベルにおいて、隣接するセグメントの相対的なピークレベルをチェックする。もし、特定のレベルにある隣接する２つのセグメントのピークの比がそのレベルにおける所定の閾値を超えているなら、現２５６長さのブロックにトランジェントが存在することを示すようにフラグを設定する。比は以下のように比較される。

mag(P[j][k])×T[j]>(F*mag(P[j][(k-1)])) （「Ｆ」は感度ファクター）
ここで、Ｔ［ｊ］はレベルｊにおけるあらかじめ定めた閾値であり、以下のように定義される。

Ｔ［１］＝０．１
Ｔ［２］＝０．０７５
Ｔ［３］＝０．０５
もし、全てのレベルにおけるどの２つのセグメントに対してもこの不等式が成り立つならば、トランジェントは、５１２長さの入力ブロックの最初の半分に対して表示される。この処理において、それ以外の場合は、トランジェントは、５１２長さの入力ブロックの第２番目の半分に存在すると判断する。

［Ｎ：Ｍエンコーディング］
本発明の特徴は、図１に関連して説明したＮ：１エンコーディングに限られるものではない。さらに一般化して、本発明の特徴は、図６のような方法であらゆる数の入力チャンネル（ｎ個の入力チャンネル）をあらゆる数の出力チャンネル（ｍ個の出力チャンネル）に変換するために応用することができる（すなわち、Ｎ：Ｍエンコーディング）。多くの一般的な応用例で入力チャンネルの数ｎは出力チャンネルの数ｍより大きいので、図６のＮ：Ｍエンコーディングの構成は、説明の便宜上「ダウンミキシング」と言われるものとなっている。

図６の詳細を参照すると、図１の構成のように加算的コンバイナ６で角の回転８の出力と角の回転１０の出力とを加算する代わりに、これらの出力はダウンミックスマトリックス装置又は機能６’（「ダウンミックスマトリックス」）に入力されている。ダウンミックスマトリックス６’は、図１のＮ：１エンコーディングのような１つのチャンネル又は複数のチャンネルのどちらかにに単純な加算値を供給する能動マトリックス又は受動マトリックスとすることができる。マトリックス係数は実数でも複素数（実数と虚数）でもよい。図６の装置と機能は、図１の構成と同じであり、同じ参照番号を用いている。

ダウンミックスマトリックス６’は、例えば周波数レンジがｆ１からｆ２のｍ_f1-f2チャンネルと周波数レンジがｆ２からｆ３のｍ_f2-f3チャンネルのような混合的周波数依存機能を備えてもよい。例えば、カップリング周波数、例えば１０００Hz、以下ではダウンミックスマトリックス６’は２チャンネルを出力し、カップリング周波数以上ではダウンミックスマトリックス６’は１チャンネルを出力させてもよい。カップリング周波数以下で２チャンネルを採用することにより、（人間の耳の水平性に適合するように）特に２チャンネルが水平方向を表現するときに、より良い空間的な忠実姓が得られる。

図６は、図１の構成のように各チャンネルに対し同じサイドチェーン情報を生成することを示しているが、１以上のチャンネルがダウンミックスマトリックス６’の出力により提供されるとき、サイドチェーン情報のいくつかは省略することができる。場合によっては、図６の構成で振幅スケールファクターサイドチェーン情報のみが出力されても満足の行く結果が得られる。サイドチェーンの選択に関するさらなる詳細は、図７，８，及び９の説明と関連して以下に述べる。

上述したように、ダウンミックスマトリックス６’により生成される複数のチャンネルは、入力チャンネルの数ｎより少なくする必要はない。図６に示したようにエンコーダの目的が伝送又は記憶のためのビット数を減らすことが目的のとき、ダウンミックスマトリックス６’により生成されるチャンネルの数はたぶん入力チャンネルの数ｎより少なくなると思われる。しかし、図６の構成は、「アップミキサー」としても用いることができる。その場合、ダウンミックスマトリックス６’により生成されるチャンネルの数が入力チャンネルの数ｎより多い用途となるだろう。

図２，５，及び６の例に関連して説明したエンコーダには、オーディオ情報及びサイドチェーン情報がそのデコーダでデコードしたとき適切な結果を出力するかどうかを判断するためのデコーダ又はデコーディング機能も含まれることがある。このような判断の結果は、例えば再帰的なプロセスを採用することによりパラメータを改善するために用いることができるであろう。エンコーディングシステム及びデコーディングシステムのブロックにおいて、オーディオ情報とそれに関連する空間的なパラメータの伝達遅れを最小限にするために、例えば、各ブロックにおいて次のブロックが終わる前に、再帰計算を行うことができる。

エンコーダにデコーダ又はデコーディング機能が含まれる構成も、空間的なパラメータが記憶されず又特定のブロックにのみに送られることもないとき、採用するとよい。空間的なパラメータのサイドチェーン情報を送らないことにより、適切でないデコーディングが結果として得られる場合は、そのようなサイドチェーン情報を特定のブロックに取りに行く。この場合、デコーダは、入ってきたビットストリームから、カップリング周波数以上の周波数に対して空間的なパラメータのサイドチェーン情報を復元する能力と、カップリング周波数以下でステレオ情報から似せて作った空間的なパラメータのサイドチェーン情報を生成する能力の両方をデコーダが有する、図２，５，及び６のデコーダ又はデコーディング機能を修正したものでもよい。

そのようなエンコーダを内蔵したローカルなデコーダに代わる単純化した案の例は、エネルギーがカップリング周波数以上である場合に空間的なパラメータのサイドチェーン情報を記憶又は保存しないというのではなく、ローカルなデコーダ又はデコーダ機能は持たないで、エンコーダがカップリング周波数以下で信号の中身があるかどうかを単純に判断する（適切な方法で判断する。例えば、その周波数レンジ全体での周波数ビンのエネルギーの合計で判断する）ためにチェックし、もしなければ、空間的なパラメータのサイドチェーン情報を記憶又は保存する。エンコーディングの仕組みに応じて、カップリング周波数以下で信号情報が低いということは、サイドチェーン情報を送るために多くのビットが利用可能になるということにもなる。

［Ｍ：Ｎデコーディング］
図２の構成をさらに一般化したものが図７に示されている。ここでは、アップミックスマトリックス機能又は装置（「アップミックスマトリックス」）２０が、図６の構成で生成された１からｍまでのチャンネルを受け取る。アップミックスマトリックス２０は受動マトリックスでもよい。これは、図６の構成におけるダウンミックスマトリックス６’の共役転置（すなわち、補数）でもよいが、そうでなくてもよい。あるいは、アップミックスマトリックス２０は能動マトリックス、すなわち可変マトリックス又は可変マトリックスと組み合わせた受動マトリックス、でもよい。もし能動マトリックスを採用するのならば、その穏やかな又は静的な状態において、それはダウンミックスマトリックスの複素共役でもよく、ダウンミックスマトリックスとは独立なものでもよい。振幅の調整、角の回転、及び（任意的に）補間機能又は装置を制御するために、図７に示したようにサイドチェーン情報を適用することができる。この場合、アップミックスマトリックスは、もし能動マトリックスであるならば、サイドチェーン情報とは独立に動作し、入力されたチャンネルにのみ応答して動作する。あるいは、サイドチェーン情報の一部又はすべてが能動マトリックスに入力しその動作を補助する。このような場合は、振幅の調整、角の回転、及び（任意的に）補間機能又は装置は省略される。図７のデコーダの例でも、図２と５に関連して上述したように、一定の信号状態の下でランダム化された振幅変動の程度を適用する代替案を採用することもできる。

アップミックスマトリックス２０が能動マトリックスであるとき、図７の構成を、「混成マトリックスエンコーダ／デコーダシステム」として動作させるための「混成マトリックスデコーダ」として特徴づけることができる。この文脈における「混成」とはデコーダがその入力オーディオ信号からの制御情報の指標と、空間的なパラメータのサイドチェーン情報の制御情報の指標を導き出すことができる事実を指すものである。図７の他の要素は、図２の構成の通りであり同じ参照番号をつけている。

混成マトリックスデコーダ内での使用に適切な能動マトリックスデコーダには、例えば「Ｐｒｏ Ｌｏｇｉｃ」及び「Ｐｒｏ Ｌｏｇｉｃ ＩＩ」デコーダ（「Ｐｒｏ Ｌｏｇｉｃ」はドルビー・ラボラトリース・ライセンシング・コーポレーションの登録商標である）として知られるマトリックスデコーダを含む上述し参考として組み込んだ能動マトリックスデコーダが含まれる。

［代替的なデコリレーション］
図８及び９は、図７の汎用デコーダの変形を示している。特に、図８の構成と９の構成は、図２及び７のデコリレーション技法の代替案を示している。図８において、それぞれのデコリレータ機能又は装置（「デコリレータ」）４６及び４８は、それぞれそのチャンネルの逆フィルターバンク３０及び３６に続く時間領域にある。図９において、それぞれのデコリレータ機能又は装置（「デコリレータ」）５０及び５２は、そのチャンネルの各逆フィルターバンク３０及び３６に先立つ周波数領域にある。図８と図９の両方の構成において、デコリレータの各々（４６，４８，５０，５２）は、その出力が相互にデコリレートするような独自の特性を持っている。デコリレーションスケールファクターは、例えば、各チャンネルに入力された相関のない信号に対する相関のある信号の割合を制御するために使われる。以下に説明するように、デコリレータの運転モードをシフトさせるために任意的に、トランジェントフラグも用いられる。図８と図９の両方の構成において、各デコリレータは独自のフィルター特性を有するシュレーダー型反射器であってもよく、反射の量又は程度が（例えば、デコリレータの出力がデコリレータ入力とデコリレータ出力の線形結合の一部をなす程度を制御することにより）デコリレーションスケールファクターにより制御される。あるいは、他の制御可能なデコリレーション技法を、単独で、又は相互に組み合わせて又はシュレーダー型反射器と組み合わせて、採用してもよい。シュレーダー型反射器はよく知られており、２つの雑誌、「Ｃｏｌｏｒｌｅｓｓ' Ａｒｔｉｆｉｃｉａｌ Ｒｅｖｅｒｂｅｒａｔｉｏｎ」、Ｍ．Ｒ．Ｓｃｈｒｏｅｄｅｒ及びＢ．Ｆ．Ｌｏｇａｎ著、ＩＲＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｕｄｉｏ、ｖｏｌ．ＡＵ−９、２０９−２１４ページ、１９６１年刊、及び「Ｎａｔｕｒａｌ Ｓｏｕｎｄｉｎｇ Ａｒｔｉｆｉｃｉａｌ Ｒｅｖｅｒｂｅｒａｔｉｏｎ」、Ｍ．Ｒ．Ｓｃｈｒｏｅｄｅｒ著、Ｊｏｕｒｎａｌ，Ａ．Ｅ．Ｓ．、１９６２年１０月刊、ｖｏｌ．１０、ｎｏ．２、２１９−２２３ページでその元をたどることができる。

図８の構成のように、デコリレータ４６及び４８が時間領域で動作するとき、単一の（すなわち広帯域の）デコリレーションスケールファクターが必要となる。これはいくつかの方法で取得することができる。例えば、単一のデコリレーションスケールファクターのみは、図１又は図７のエンコーダで生成することができる。あるいは、もし、図１又は図７のエンコーダがサブ帯域基準でデコリレーションスケールファクターを生成するならば、このサブ帯域デコリレーションスケールファクターは、図１又は図７のエンコーダ又は図８のデコーダにおける振幅又は合計された指数である。

図９の構成のように、デコリレータ５０及び５２が周波数領域で動作するとき、デコリレータは各サブ帯域又はサブ帯域のグループに対してデコリレーションスケールファクターを受け取り、同時に、このようなサブ帯域又はサブ帯域のグループにそれに見合った程度のデコリレーションを行うことができる。

図８のデコリレータ４６及び４８と、図９のデコリレータ５０及び５２とは、任意的に、トランジェントフラグを受け取る。図８の時間領域デコリレータにおいて、このトランジェントフラグを、それぞれのデコリレータの動作モードをシフトさせるために採用してもよい。例えば、デコリレータは、トランジェントフラグがないときシュレーダー型反射器として動作するが、トランジェントフラグを受け取ると、その後の短い期間、例えば１から１０ミリセカンド、は固定時間遅れとして動作するようにしてもよい。各チャンネルは、あらかじめ定められた固定時間遅れを有してもよく、この時間遅れは短期間内の複数のトランジェントに応答して変動させてもよい。図９の周波数領域デコリレータにおいて、このトランジェントフラグを、それぞれのデコリレータの動作モードをシフトさせるために採用してもよい。しかしこの場合、トランジェントフラグを受け取ることが、例えば、フラグの生じたチャンネルにおける短期間（数ミリセカンド）の振幅増加を引き起こすようにしてもよい。

図８及び９の両方の構成において、任意的なトランジェントフラグにより制御される補間器２７（３３）は、上述の方法で、角の回転２８（３２）の出力位相角に全周波数に亘って補間を行うこととしてもよい。

上述のように、サイドチェーン情報に加えて２以上のチャンネルが伝達されるとき、サイドチェーンパラメータの数を減少させることは容認できる。例えば、振幅スケールファクターのみ伝達することも可能であり、この場合は、デコーダ内のデコリレーション装置又は機能及び角装置又は機能は省略できる（この場合図７，８，及び９では同じ構成で小さくしている）。

あるいは、振幅スケールファクター、デコリレーションスケールファクター、及び、任意的にトランジェントフラグを伝達してもよい。この場合図７，８，及び９の構成を採用してもよい（各々の角の回転２８及び３４は省略する）。

他の代替案として、振幅スケールファクターと角制御パラメータのみを伝達する。この場合、図７，８，及び９の構成を採用する（デコリレータ、図７の３８及び４２及び図８及び９の４６，４８，５０，５２を省略する）
図１及び２と同様に、図６〜９の構成は、入出力チャンネル数はどんな数でもよいが、説明を簡単にするために２つのチャンネルのみ示している。

本発明を変形又は修正した他の実施例及びその様々な形態は当業者には明らかであり、上記にて説明した発明の具体的実施形態に限定されるものではないことは了解されよう。したがって、本発明のすべての変形、修正、又はここに開示し請求した基本的な原則及び思想の範囲内のものは、本発明に含まれると考える。

本発明の実施の形態におけるＮ：１エンコーディング処理の原理的な機能又は装置を示す理想化したブロック図である。 本発明の実施の形態における１：Ｎデコーディング処理の原理的な機能又は装置を示す理想化したブロック図である。 （垂直）周波数軸に沿って表したビンとサブ帯域の単純化した構成と（水平）時間軸に沿って表したブロックとフレームの単純化した構成の一例である。ここで、数値の尺度はあわせていない。 本発明の実施の形態におけるエンコーディング処理の機能を行うエンコーディングステップまたはエンコーディングス装置を示したフローチャートとブロック図を組み合わせた特性である。 本発明の実施の形態におけるエンコーディング処理の機能を行うエンコーディングステップまたはエンコーディングス装置を示したフローチャートとブロック図を組み合わせた特性である。 本発明の実施の形態におけるエンコーディング処理の機能を行うデコーディングステップまたはデコーディングス装置を示したフローチャートとブロック図を組み合わせた特性である。 本発明の実施の形態におけるエンコーディング処理の機能を行うデコーディングステップまたはデコーディングス装置を示したフローチャートとブロック図を組み合わせた特性である。 本発明の実施の形態におけるＮ：ｘエンコーディング処理の原理的な機能又は装置を示す理想化したブロック図である。 本発明の実施の形態におけるｘ：Ｍデコーディング処理の原理的な機能又は装置を示す理想化したブロック図である。 本発明の実施の形態におけるｘ：Ｍデコーディング処理の第１の代替案の原理的な機能又は装置を示す理想化したブロック図である。 本発明の実施の形態におけるｘ：Ｍデコーディング処理の第２の代替案の原理的な機能又は装置を示す理想化したブロック図である。

Claims (12)

1. Ｎ個のオーディオチャンネルを表現するＭ個のエンコードされたオーディオチャンネルと、１個以上の空間的なパラメータのセットとをデコードする方法であって、Ｎは２以上であり、該方法は、
   ａ）前記Ｍ個のエンコードされたオーディオチャンネルと、前記空間的なパラメータのセットとを受け取るステップと、
   ｂ）前記Ｍ個のエンコードされたオーディオチャンネルからＮ個のオーディオ信号を導き出すステップであって、各オーディオ信号は、複数の周波数帯域に分割され、各帯域は１以上のスペクトル成分からなることを特徴とするステップと、
   ｃ）前記Ｎ個のオーディオチャンネルと前記空間的なパラメータから複数チャンネルの出力信号を生成するステップと、
   を具備し、
   Ｍは２以上であり、前記Ｎ個のオーディオ信号の少なくとも１つは、前記Ｍ個のエンコードされたオーディオチャンネルの少なくとも２つを重み付けして結合したものから導き出した相関のある信号であり、前記空間的なパラメータのセットには、相関のある信号に混合させる、相関のない信号の量を表現する第１のパラメータが含まれ、前記ステップｃ）には、前記少なくとも１つの相関のある信号から少なくとも１つの相関のない信号を導き出すステップと、前記空間的なパラメータのうちの１つ以上に応答して、前記複数チャンネルの出力信号のうちの少なくとも１つにおいて、前記少なくとも１つの相関のない信号に対する前記少なくとも１つの相関のある信号の割合を制御するステップであって、該制御するステップの少なくとも一部は、前記第１のパラメータに従うことを特徴とするステップとが含まれる、
   ことを特徴とする方法。
2. 前記ステップｃ）には、前記少なくとも１つの相関のある信号に人工的な反射型フィルターを適用することにより前記少なくとも１つの相関のない信号を導き出すことを特徴とする請求項１に記載の方法。
3. 前記ステップｃ）には、前記少なくとも１つの相関のある信号に複数の人工的な反射型フィルターを適用することにより前記少なくとも１つの相関のない信号を導き出すことを特徴とする請求項１に記載の方法。
4. 前記複数の人工的な反射型フィルターは、それぞれが独自のフィルター特性を有することを特徴とする請求項３に記載の方法。
5. 前記ステップｃ）における制御するステップの少なくとも一部は、前記第１のパラメータに従って、前記少なくとも１つの相関のない信号に対する前記少なくとも１つの相関のある信号の割合を、前記複数の周波数帯域のそれぞれに対して別個に導き出すステップが含まれることを特徴とする請求項１に記載の方法。
6. 前記Ｎ個のオーディオチャンネルは、前記Ｍ個のオーディオチャンネルを逆マトリックス化するステップを含む処理により、前記Ｍ個のエンコードされたオーディオチャンネルから導き出されることを特徴とする請求項１に記載の方法。
7. 前記逆マトリックス化するステップの少なくとも一部は、１以上の前記空間パラメータに応答して動作することを特徴とする請求項６に記載の方法。
8. 前記空間パラメータの１つ以上に応答して、前記Ｎ個のオーディオ信号のうちの少なくとも１つにおいてスペクトル成分の振幅のシフトを行うステップをさらに具備することを特徴とする請求項１乃至請求項７のいずれか１項に記載の方法。
9. 前記複数チャンネルの出力信号は、時間領域におけるものであることを特徴とする請求項１乃至請求項８のいずれか１項に記載の方法。
10. 前記複数チャンネルの出力信号は、周波数領域におけるものであることを特徴とする請求項１乃至請求項８のいずれか１項に記載の方法。
11. Ｎが３以上であることを特徴とする請求項１乃至請求項１０のいずれか１項に記載の方法。
12. 請求項１乃至請求項１１のいずれか１項に記載の方法における各ステップを実行するような手段を具備することを特徴とする装置。

Images