JP4625084B2 - バイノーラルキュー符号化方法等のための拡散音の整形 - Google Patents

Description

関連出願のクロスリファレンス
本出願は、２００４年１０月２０日出願の米国特許仮出願第６０／６２０，４８０号（代理人整理番号第Ａｌｌａｍａｎｃｈｅ２−３−１８−４）の優先権を主張するものである。この要旨は、ここに引例として組み込まれている。

また、本出願の内容は、次の米国特許出願の内容に関連し、これらの要旨すべては、ここに引例として組み込まれている。
・米国出願第０９／８４８，８７７号２００１年５月４日出願（代理人整理番号第Ｆａｌｌｅｒ５）
・米国出願第１０／０４５，４５８号２００１年１１月７日出願（代理人整理番号第Ｂａｕｍｇａｒｔｅ１−６−８）。これは、２００１年８月１０日出願の米国仮出願第６０／３１１，５６５号の優先権を主張するものである。
・米国出願第１０／１５５，４３７号２００２年５月２４日出願（代理人整理番号第Ｂａｕｍｇａｒｔｅ２−１０）
・米国出願第１０／２４６，５７０号２００２年９月１８日出願（代理人整理番号第Ｂａｕｍｇａｒｔｅ３−１１）
・米国出願第１０／８１５，５９１号２００４年４月１日出願（代理人整理番号第Ｂａｕｍｇａｒｔｅ７−１２）
・米国出願第１０／９３６，４６４号２００４年９月８日出願（代理人整理番号第Ｂａｕｍｇａｒｔｅ８−７−１５）
・米国出願第１０／７６２，１００号２００４年１月２０日出願（Ｆａｌｌｅｒ１３−１）
・米国出願第１０／ｘｘｘ，ｘｘｘ号は、本出願（代理人整理番号第Ａｌｌａｍａｎｃｈｅ２−３−１８−４）と同日に出願したものである。

本出願の内容は、次の論文の要旨にも関連している。これらの要旨すべては、ここに引例として組み込まれている。
・Ｃ．フォーラ（Ｆａｌｌｅｒ）、Ｆ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）著、「バイノーラルキュー符号化パートＩ：心理音響学基礎および設計原理（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ − Ｐａｒｔ Ｉ： Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ ｆｕｎｄａｍｅｎｔａｌｓ ａｎｄ ｄｅｓｉｇｎ ｐｒｉｎｃｉｐｌｅｓ）」（ＩＥＥＥ会報、スピーチおよび音声学会紀要第１１巻第６号、２００３年１１月）
・Ｃ．フォーラおよびＦ．バウムガルテ著「バイノーラル用キュー符号化パートＩＩ：方法および応用例（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ − Ｐａｒｔ ＩＩ： Ｓｃｈｅｍｅｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ）」（ＩＥＥＥ会報、オーディオおよびスピーチ学会紀要、１１巻、第６号、２００３年１１月）
・Ｃ．フォーラ著、「異なる再生フォーマットと互換性のある空間音声符号化（Ｃｏｄｉｎｇ ｏｆ ｓｐａｔｉａｌ ａｕｄｉｏ ｃｏｍｐａｔｉｂｌｅ ｗｉｔｈ ｄｉｆｆｅｒｅｎｔ ｐｌａｙｂａｃｋ ｆｏｒｍａｔｓ）」（音声工学学会第１１７回大会予稿、２００４年１０月））

本発明は、音声信号を符号化して、次に符号化した音声データから聴覚情景の合成を行うことに関する。

人が特定の音源により生成した音声信号（すなわち、音）を聞く場合、この音声信号は通常、その人の左右の耳に２つの異なる時間で２つの異なる音声（例えば、デシベル）レベルで到達する。それらの異なる時間およびレベルは、音声信号が左右の耳それぞれに到達する経路の差の関数である。人の脳は、聞こえた音声信号が、その人を基準として、特定の位置（例えば、方向および距離）にある音源から生成されているという知覚をその人に与えるために、時間およびレベルのこれらの差を解釈する。聴覚情景は、その人を基準として、１つ以上の異なる位置にある１つ以上の異なる音源が生成した音声信号を同時に聞いている人の正味の影響である。

脳によるこの処理は、聴覚情景を合成するために用いられる。１つ以上の異なる音源からの音声信号は、聴取者を基準として、異なる音源が異なる位置にあるという知覚を与える左右の音声信号を生成するために、意図的に変更される。

図１は、従来のバイノーラル信号合成装置１００の上位ブロック図を示す。この装置は、１つの音源信号（例えば、モノラル信号）をバイノーラル信号の左右の音声信号に変換し、バイノーラル信号は、聴取者の鼓膜で受け取る２つの信号であると定義される。音源信号の他に、合成装置１００は、聴取者を基準として、所望の位置の音源に対応する空間キューのセットを受信する。典型的な実施例では、空間キューのセットは、チャネル間レベル差（ＩＣＬＤ）値（左右の音声信号の間の音声レベルの差を、それぞれ左右の耳で聞こえるように特定する値）と、チャネル間時間差（ＩＣＴＤ）値（左右の音声信号の間の到達時間差を、それぞれ左右の耳で聞こえるように特定する値）とを含んでいる。このほかに、または別のものとして、合成技術の中には、頭部伝達関数（ＨＲＴＦ）とも呼ぶ、信号源から鼓膜への音の方向依存の変換関数モデリングを必要とするものもある。例えば、Ｊ．ブラウエルト（Ｂｌａｕｅｒｔ）、「人のサウンドローカリゼーションの精神物理学（ｐｓｙｃｈｏｐｈｙｓｉｃｓ ｏｆ Ｈｕｍａｎ Ｓｏｕｎｄ Ｌｏｃａｌｉｚａｔｉｏｎ）」（ＭＩＴ出版、１９８３年）を参照のこと、これは、この要旨は、ここに引例として組み込まれている。

ヘッドホンで聞いた場合に、適切な空間キューのセット（例えば、ＩＣＬＤ、ＩＣＴＤ、および／またはＨＲＴＦ）を適用して、それぞれの耳に対して音声信号を生成することにより、音源を空間的に配置したように、図１のバイノーラル信号合成装置１００を用いて、１つの音源が生成したモノラル音声信号を処理することができる。例えば、Ｄ．Ｒ．ベゴールト（Ｂｅｇａｕｌｔ）、「バーチャルリアリティーおよびマルチメディア用３−Ｄサウンド（３−Ｄ Ｓｏｕｎｄ ｆｏｒ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ ａｎｄ Ｍｕｌｔｉｍｅｄｉａ）」（アカデミックプレス社マサチューセッツ州ケンブリッジ１９９４年）を参照のこと。

図１のバイノーラル信号合成装置１００は、聴取者を基準として配置された１つの音源を有する、最も単純な型の聴覚情景を生成する。基本的に、バイノーラル信号合成装置の複数のインスタンスを用いて実施する聴覚情景合成装置を用いることにより、聴取者を基準として、異なる位置に配置された２つ以上の音源を含むもっと複雑な聴覚情景を生成することができる。ここでは、各バイノーラル信号合成装置インスタンスが、異なる音源に対応するバイノーラル信号を生成する。各異なる音源それぞれが、聴取者を基準として異なる場所にあるので、異なる空間キューのセットが、各異なる音源それぞれに対しバイノーラル音声信号を生成するために、用いられる。

米国特許出願番号第０９／８４８，８７７号 米国特許出願番号第１０／０４５，４５８号 米国特許出願番号第１０／１５５，４３７号 米国特許出願番号第１０／２４６，５７０号 米国特許出願番号第１０／８１５，５９１号 米国特許出願番号第１０／９３６，４６４号 米国特許出願番号第１０／７６２，１００号 Ｃ．フォーラ（Ｆａｌｌｅｒ）、Ｆ．バウムガルテ（Ｂａｕｍｇａｒｔｅ）、「バイノーラルキュー符号化パートＩ：心理音響学基礎および設計原理（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ − Ｐａｒｔ Ｉ： Ｐｓｙｃｈｏａｃｏｕｓｔｉｃ ｆｕｎｄａｍｅｎｔａｌｓ ａｎｄ ｄｅｓｉｇｎ ｐｒｉｎｃｉｐｌｅｓ）」、ＩＥＥＥ会報、スピーチおよび音声学会紀要第１１巻第６号、２００３年１１月 Ｃ．フォーラおよびＦ．バウムガルテ、「バイノーラル用キュー符号化パートＩＩ：方法および応用例（Ｂｉｎａｕｒａｌ Ｃｕｅ Ｃｏｄｉｎｇ − Ｐａｒｔ ＩＩ： Ｓｃｈｅｍｅｓ ａｎｄ ａｐｐｌｉｃａｔｉｏｎｓ）」、ＩＥＥＥ会報、オーディオおよびスピーチ学会紀要、１１巻、第６号、２００３年１１月 Ｃ．フォーラ、「異なる再生フォーマットと互換性のある空間音声符号化（Ｃｏｄｉｎｇ ｏｆ ｓｐａｔｉａｌ ａｕｄｉｏ ｃｏｍｐａｔｉｂｌｅ ｗｉｔｈ ｄｉｆｆｅｒｅｎｔ ｐｌａｙｂａｃｋ ｆｏｒｍａｔｓ）」、音声工学学会第１１７回大会予稿、２００４年１０月

一実施の形態によれば、本発明は、入力時間エンベロープを有する入力音声信号を、出力時間エンベロープを有する出力音声信号に変換するための方法および装置である。入力音声信号の入力時間エンベロープは、特徴を調べられる。入力音声信号は、処理された音声信号を生成するために、処理される。前記処理は、前記入力音声信号の非相関することである。処理された音声信号は、出力音声信号を生成するために特徴を調べられた入力時間エンベロープに基づき調整される。出力時間エンベロープは、実質的に入力時間エンベロープに整合する。

別の実施の形態によれば、本発明は、Ｅ個の送信音声チャネルを生成するために、Ｃ個の入力音声チャネルを符号化する装置である。１つ以上のキューコードは２つ以上のＣ個の入力チャネルに対して生成される。Ｃ＞Ｅ＝１である、Ｅ個の送信チャネルに生成するために、Ｃ個の入力チャネルがダウンミキシングされる。Ｅ個の送信チャネルを復号化する間に、Ｅ個の送信チャネルのデコーダが、エンベロープ整形をするかどうかを提示するフラグを生成するために、１つ以上のＣ個の入力チャネルおよびＥ個の送信チャネルは、分析される。

別の実施の形態によれば、本発明は、上述の段落の方法により、符号化音声ビットストリームである。

別の実施の形態によれば、本発明は、Ｅ個の送信チャネル、１つ以上のキューコード、およびフラグを含む符合化音声ビットストリームである。１つ以上のキューコードは、２つ以上のＣ個の入力チャネルに対して１つ以上のキューコードを生成することにより生成される。Ｃ＞Ｅ＝１である、Ｅ個の送信チャネルは、Ｃ個の入力チャネルをダウンミキシングすることにより生成される。Ｅ個の送信チャネルを復号化する間に、フラグは、Ｅ個の送信チャネルのデコーダが、エンベロープ整形をするかどうかを提示し、前記フラグが、１つ以上のＣ個のチャネルおよびＥ個のチャネルを分析することにより、生成される。

以下の詳細な説明、特許請求の範囲、添付の図面から、本発明の他の側面、特徴および利点について、より完全に明らかになるであろう。類似の、または全く同じ構成要素には、同じ参照番号が付されている。
図１は、従来のバイノーラル信号合成装置の上位ブロック図を示す。
図２は、一般バイノーラルキュー符号化（ＢＣＣ）音声処理システムを示すブロック図である。
図３は、図２のダウンミキサに用いることができるダウンミキサのブロック図を示す。
図４は、図２のデコーダに用いることができるＢＣＣ合成装置のブロック図を示す。
図５は、本発明の一実施の形態による、図２のＢＣＣ推定器のブロック図を示す。
図６は、５チャネル音声用ＩＣＴＤおよびＩＣＬＤデータ生成を説明する図である。
図７Ａは、５チャネル音声用ＩＣＣデータを説明する図である。
図７Ｂは、５チャネル音声用ＩＣＣデータを説明する図である。
図８は、ＢＣＣデコーダに用いることができ、１つの送信した和信号ｓ（ｎ）プラス空間キューが与えられたステレオ音声信号またはマルチチャネル音声信号を生成する、図４のＢＣＣ合成装置の一実施例のブロック図を示す。
図９は、周波数関数として、サブバンド内でＩＣＴＤおよびＩＣＬＤがどのように変化するかを説明する図である。
図１０は、本発明の一実施の形態による、ＢＣＣデコーダの少なくとも部分を示すブロック図を示す。
図１１Ａは、図４のＢＣＣ合成装置の条件での図１０のエンベロープ整形方法の典型的なアプリケーションを示す。
図１１Ｂは、図４のＢＣＣ合成装置の条件での図１０のエンベロープ整形方法の典型的なアプリケーションを示す。
図１１Ｃは、図４のＢＣＣ合成装置の条件での図１０のエンベロープ整形方法の典型的なアプリケーションを示す。
図１２Ａは、エンベロープ整形は、時間領域で適用され、図４のＢＣＣ合成装置の条件でのエンベロープ整形方法の代わりとなる典型的なアプリケーションを示す。
図１２Ｂは、エンベロープ整形は、時間領域で適用され、図４のＢＣＣ合成装置の条件でのエンベロープ整形方法の代わりとなる典型的なアプリケーションを示す。
図１２Ｃは、エンベロープ整形は、時間領域で適用され、図４のＢＣＣ合成装置の条件でのエンベロープ整形方法の代わりとなる典型的なアプリケーションを示す。
図１３は、カットオフ周波数ｆ_tpより高い周波数にだけエンベロープ整形が行われる、図１２のＴＰＡおよびＴＰの考えられる実施例である。
図１４は、代理人整理番号第Ｂａｕｍｇａｒｔｅ７−２として２００４年４月１日に出願の米国特許出願番号第１０／８１５，５９１に記載のＩＣＣ合成方法に基づく後期残響の条件での図１０のエンベロープ整形方法の典型的なアプリケーションを示す。
図１５は、図１０に示される方法に代わりに、本発明の実施例により、ＢＣＣデコーダの少なくとも部分を示すブロック図を示す。
図１６は、図１０および図１５に示される方法の代わりに、本発明の実施例により、ＢＣＣデコーダの少なくとも部分を示すブロック図を示す。
図１７は、図４のＢＣＣ合成装置の条件での図１５のエンベロープ整形の典型的なアプリケーションを示す。
図１８Ａは、図１５および図１６のＴＰＡと、図１６のＩＴＰおよびＴＰとの考えられる実施例のブロック図を示す。
図１８Ｂは、図１５および図１６のＴＰＡと、図１６のＩＴＰおよびＴＰとの考えられる実施例のブロック図を示す。
図１８Ｃは、図１５および図１６のＴＰＡと、図１６のＩＴＰおよびＴＰとの考えられる実施例のブロック図を示す。

バイノーラルキュー符号化（ＢＣＣ）は、Ｃ＞Ｅ＝１である、音声チャネルを生成するために、エンコーダがＣ個の入力音声チャネルを符号化される。特に、２つ以上のＣ個の入力チャネルが周波数領域に提供され、周波数領域の２つ以上の入力チャネルで、１つ以上の異なる周波数帯域それぞれに１つ以上のキューコードが生成される。また、Ｃ個の入力チャネルは、Ｅ個の送信チャネルを生成するために、ダウンミキシングされる。ダウンミキシング実施例の中には、Ｅ個の送信チャネルのうちの少なくとも１つのチャネルが２つ以上のＣ個の入力チャネルに基づいていて、Ｅ個の送信チャネルのうちの少なくとも１つのチャネルがＣ個の入力チャネルのうちの１つのチャネルだけに基づいている場合もある。

一実施の形態では、ＢＣＣコーダは、２つ以上のフィルタバンク、コード推定器、およびダウンミキサを備えている。２つ以上のフィルタバンクは、２つ以上のＣ個の入力チャネルを時間領域から周波数領域に変換する。コード推定器は、２つ以上の変換した入力チャネルで１つ以上の異なる周波数帯域それぞれに１つ以上のキューコードを生成する。ダウンミキサは、Ｃ＞Ｅ＝１である、Ｅ個の送信チャネルを生成するために、Ｃ個の入力チャネルをダウンミキシングする。

ＢＣＣ復号化では、Ｃ個の再生音声チャネルを生成するために、Ｅ個の送信音声チャネルが復号化される。特に、１つ以上の異なる周波数帯域それぞれに対して、周波数領域で１つ以上のＥ個の送信チャネルが、Ｃ＞Ｅ＝１である、周波数領域で２つ以上のＣ個の再生チャネルを生成するために、アップミキシングされる。周波数領域の２つ以上の再生チャネルで、１つ以上のキューコードが、２つ以上の変更チャネルを生成するために、１つ以上の異なる周波数帯域それぞれに適用され、２つ以上の変更チャネルが、周波数領域から時間領域に変換される。アップミキシングの実施例の中には、少なくとも１つのＣ個の再生チャネルが、Ｅ個の送信チャネルのうちの少なくとも１つのチャネルと、少なくとも１つのキューコードとに基づいていて、少なくとも１つのＣ個の再生チャネルが、キューコードとは無関係に、Ｅ個の送信チャネルのうちの１つのチャネルだけに基づいている場合もある。

一実施の形態では、ＢＣＣデコーダは、アップミキサ、合成装置、および１つ以上の逆フィルタバンクを備える。１つ以上の異なる周波数帯域それぞれに対して、アップミキサは、Ｃ＞Ｅ＝１である、周波数領域で２つ以上のＣ個の再生チャネルを生成するために、周波数領域で１つ以上のＥ個の送信チャネルをアップミキシングする。合成装置は、２つ以上の変更チャネルを生成するために、周波数領域の２つ以上の再生チャネルで、１つ以上のキューコードを１つ以上の異なる周波数帯域それぞれに適用する。１つ以上の逆フィルタバンクは、２つ以上の変更チャネルを周波数領域から時間領域に変換する。

特定の実施例によるが、任意の再生チャネルは、２つ以上の送信チャネルの組み合わせよりむしろ、１つの送信チャネルに基づいている場合もある。例えば、送信チャネルが１つだけある場合、Ｃ個の再生チャネルのそれぞれは、その１つの送信チャネルに基づいている。このような状況では、アップミキシングは、送信チャネルをコピーすることに対応している。従って、送信チャネルが１つだけある適用例では、各再生チャネルに対して送信チャネルをコピーするレプリケータを用いて、アップミキサを実施してもよい。

ＢＣＣエンコーダおよび／またはデコーダを、例えば、デジタルビデオレコーダ／プレーヤ、デジタル音声レコーダ／プレーヤ、コンピュータ、衛星送信機／受信機、ケーブル送信機／受信機、地上波放送送信機／受信機、ホームエンターテインメントシステム、および映画館システム等の、多数のシステムまたは適用例に組み込むこともできる。

一般ＢＣＣ処理
図２は、エンコーダ２０２とデコーダ２０４とを備える一般バイノーラルキュー符号化（ＢＣＣ）音声処理システム２００を示すブロック図である。エンコーダ２０２は、ダウンミキサ２０６とＢＣＣ推定器２０８とを含んでいる。

ダウンミキサ２０６は、Ｃ＞Ｅ＝１である、Ｃ個の入力音声チャネルｘ_i（ｎ）をＥ個の送信音声チャネルｙ_i（ｎ）に変換する。この明細書では、変数ｎを用いて表す信号は時間領域信号であって、変数ｋを用いて表す信号は周波数領域信号である。特定の実施例によるが、時間領域または周波数領域のいずれかでダウンミキシングを行うことが可能である。ＢＣＣ推定器２０８は、ＢＣＣコードをＣ個の入力音声チャネルから生成して、Ｅ個の送信音声チャネルを基準として、帯域内または帯域外サイド情報のいずれかとしてそれらのＢＣＣコードを送信する。典型的なＢＣＣコードは、１つ以上のチャネル間時間差（ＩＣＴＤ）と、チャネル間レベル差（ＩＣＬＤ）と、周波数および時間の関数として、特定の対の入力チャネル間で推定した、チャネル間相関（ＩＣＣ）データとを含んでいる。特定の実施例では、どの特定の対の入力チャネルでＢＣＣコードを推定するか要求している。

ＩＣＣデータは、音源の知覚した幅に関するバイノーラル信号のコヒーレンスに対応している。音源がより広くなると、得られるバイノーラル信号の左右のチャネル間のコヒーレンスがより低下する。例えば、ホールのステージいっぱいに広がるオーケストラに対応するバイノーラル信号のコヒーレンスは、通常、独奏している１つのバイオリンに対応するバイノーラル信号のコヒーレンスより低い。一般に、コヒーレンスが低い音声信号は通常、聴覚空間ではより広がって知覚される。従って、ＩＣＣデータは通常、明白な音源の幅と、聴取者が包み込まれた状態の度合いに関係する。すなわち、Ｊ．ブラウエルト、「人のサウンドローカリゼーションの精神物理学」（ＭＩＴ出版、１９８３年）を参照のこと。

図２に示すＢＣＣ処理の他に、一般ＢＣＣ音声処理システムは、さらに符号化段、復号化段をさらに備え、エンコーダで音声信号を圧縮して、デコーダで音声信号を復元することもできる。これらの音声コーデックは、パルスコード変調（ＰＣＭ）、差動ＰＣＭ（ＤＰＣＭ）、または適応ＤＰＣＭ（ＡＤＰＣＭ）に基づいた、従来の音声圧縮／復元技術に基づくものであってもよい。

ダウンミキサ２０６が１つの和信号（すなわち、Ｅ＝１）を生成する場合は、ＢＣＣ符号化により、モノラル音声信号を表すのに必要なものよりも若干高いビットレートでマルチチャネル音声信号を表すことが可能である。これは、チャネル対の間の推定したＩＣＴＤ、ＩＣＬＤ、およびＩＣＣデータが、音声波形よりも約２桁小さい情報を含んでいるからである。

ＢＣＣ符号化は、ビットレートが低いことばかりでなく、その後方互換性の点でも関心を集めている。１つの送信した和信号は、元のステレオまたはマルチチャネル信号のモノラルダウンミキシングに対応している。ステレオまたはマルチチャネル音響再生をサポートしていない受信機にとって、送信した和信号を聴取することは、薄型モノラル再生装置で音声素材を表す有効な方法である。従って、ＢＣＣ符号化を用いて、モノラル音声素材をマルチチャネル音声にすることが必要な既存のサービスを向上させることもできる。例えば、ＢＣＣサイド情報が、既存の伝送チャネルに埋め込むことができれば、ステレオまたはマルチチャネル再生が行えるように、既存のモノラル音声無線放送システムを向上させることができる。マルチチャネル音声を、ステレオ音声に対応する２つの和信号にダウンミキシングする際に、類似の能力が存在する。

ＢＣＣにより、ある時間および周波数分解能で音声信号を処理する。用いられる周波数分解能は、人間の聴覚システムの周波数分解能が主な動機となっている。心理音響学では、空間知覚は、音響入力信号の重要な帯域表現に基づいている可能性が一番高いことを示唆している。人間の聴覚システムの重要な帯域幅と同じか、または比例する帯域幅のサブバンドを有する可逆フィルタバンク（例えば、高速フーリエ変換（ＦＦＴ）または直交ミラーフィルタ（ＱＭＦ）に基づくもの）を用いて、この周波数分解能について考える。

一般ダウンミキシング
好適な実施例では、送信した和信号は、入力音声信号の全信号成分を含んでいる。目的は、各信号成分を完全に維持することである。音声入力チャネルを単純に加算することは、信号成分が増幅したり、減衰したりすることがよくある。言い換えれば、“単純に”加算した信号成分のパワーが、各チャネルの対応する信号成分のパワーの合計よりも大きかったり、小さかったりすることがよくある。和信号の信号成分のパワーが全入力チャネルの対応するパワーとほぼ同じになるように、和信号を等しくするダウンミキシング技術を用いることができる。

図３は、ＢＣＣシステム２００のある実施例による、図２のダウンミキサ２０６に用いることができるダウンミキサ３００を示すブロック図である。ダウンミキサ３００は、各入力チャネルｘ_i（ｎ）のフィルタバンク（ＦＢ）３０２と、ダウンミキシングブロック３０４と、オプションのスケーリング／遅延ブロック３０６と、各符号化したチャネルｙ_i（ｎ）の逆ＦＢ（ＩＦＢ）３０８とを備える。

オプションのスケーリングを行う他に、またはこの代わりに、スケーリング／遅延ブロック３０６は、オプションで信号を遅延してもよい。

各逆フィルタバンク３０８は、周波数領域の対応するスケーリング係数のセットを、対応するデジタル送信チャネルｙ_i（ｎ）のフレームに変換する。

図３は、Ｃ個の入力チャネルすべてを周波数領域に変換して、続いてダウンミキシングを行っているが、別の実施例として、１つ以上（しかし、Ｃ−１よりも小さい数）のＣ個の入力チャネルについて、図３に示す処理の一部またはすべてを省略して、同等の数の変更していない音声チャネルとして送信してもよい。特定の実施例によるが、送信ＢＣＣコードの生成に、図２のＢＣＣ推定器２０８がこれらの変更していない音声チャネルを用いても、用いなくてもよい。

係数ｅ（ｋ）は、次の式（５）から得られる。

ここで、Ｕ_ECは、実数値のＥ×Ｃアップミキシング行列である。周波数領域でアップミキシングを行うことにより、異なるサブバンドそれぞれに個別にアップミキシングを行えるようになる。

各遅延４０６は、ＩＣＴＤデータの対応するＢＣＣコードに基づいて、遅延値ｄ_i（ｋ）を適用して、再生チャネルの特定の対の間で確実に所望のＩＣＴＤ値が現れるようにする。各乗算器４０８は、ＩＣＬＤデータの対応するＢＣＣコードに基づいて、倍率ａ_i（ｋ）を適用して、特定の対の再生チャネルの間で確実に所望のＩＣＬＤ値が現れるようにする。相関ブロック４１０は、ＩＣＣデータの対応するＢＣＣコードに基づいて、非相関演算Ａを行って、特定の対の再生チャネルの間で確実に所望のＩＣＣ値が現れるようにする。さらに相関ブロック４１０の演算の記載は、米国出願第１０／１５５，４３７号２００２年５月２４日出願（代理人整理番号第Ｂａｕｍｇａｒｔｅ２−１０）に記載されている。

ＩＣＬＤ合成を行うには、サブバンド信号のスケーリングを行うだけでよいので、ＩＣＬＤ値の合成は、ＩＣＴＤ値およびＩＣＣ値の合成よりも煩わしくない。ＩＣＬＤキューは最も一般的に用いられる方向キューなので、ＩＣＬＤ値により元の音声信号のＩＣＬＤキューを近似することは、通常、さらに重要なことである。従って、ＩＣＬＤデータを、全チャネル対の間で推定する場合もある。好ましくは、各再生チャネルのサブバンドパワーが、元の入力音声チャネルの対応するパワーを近似するように、各サブバンドの倍率ａ_i（ｋ）（１・ｉ・Ｃ）が選択される。

目的の１つは、ＩＣＴＤ値およびＩＣＣ値を合成するために、比較的少ない回数の信号変更を適用することである。従って、ＢＣＣデータは、全チャネル対のＩＣＴＤ値およびＩＣＣ値を含んでいなくてもよい。その場合は、ＢＣＣ合成装置４００は、あるチャネル対の間だけでＩＣＴＤ値およびＩＣＣ値を合成する。

図４は、続いてアップミキシングおよびＢＣＣ処理を行うために、Ｅ個の送信チャネルをすべて周波数領域に変換することを示しているが、別の実施例では、（すべてではないが）１つ以上のＥ個の送信チャネルについて、図４に示す処理の一部またはすべてを回避してもよい。例えば、１つ以上の送信チャネルが、アップミキシングを行っていない、変更していないチャネルであってもよい。１つ以上のＣ個の再生チャネルの他に、必ずしも行う必要はないが、これらの変更していないチャネルを順に、基準チャネルとして用いて、ＢＣＣ処理を行って、１つ以上の他の再生チャネルを合成してもよい。いずれの場合でも、このような変更していないチャネルを遅延して残りの再生チャネルの生成に用いられるアップミキシングおよび／またはＢＣＣ処理に必要な処理時間を補償することもできる。

図４は、Ｃは元の入力チャネルの数である、Ｃ個の再生チャネルをＥ個の送信チャネルから合成することを示しているが、ＢＣＣ合成は、再生チャネルの数に限られるわけではないことに留意されたい。一般に、再生チャネルの数を任意の数のチャネルとすることができ、Ｃより多い、または少ない数や、再生チャネルの数が送信チャネルの数以下である場合も考えられる。

音声チャネル間の“知覚的関連差”
１つの和信号を仮定し、ＩＣＴＤ、ＩＣＬＤ、およびＩＣＣが元の音声信号の対応するキューを近似するように、ＢＣＣは、ステレオ音声信号またはマルチチャネル音声信号を合成する。以下では、聴覚空間イメージ属性に関連したＩＣＴＤ、ＩＣＬＤ、およびＩＣＣの役割が説明される。

空間聴力の知識は、１つの聴覚イベントについて、ＩＣＴＤおよびＩＣＬＤは、知覚した方向に関係していることを意味している。１つの音源のバイノーラル室内インパルス応答（ＢＲＩＲ）を考える場合、聴覚イベントの幅、聴取者が包み込まれた状態、ＢＲＩＲのはじめの部分および後の部分について推定したＩＣＣデータの間に、関係がある。しかしながら、ＩＣＣと、（単にＢＲＩＲばかりでなく）一般的な信号のこれらの特性との間の関係は、直接的なものではない。

ステレオ音声信号およびマルチチャネル音声信号は通常、アクティブな音源信号を、同時に、閉鎖空間でのレコーディングから得られる反射信号成分と重畳したもの、または、レコーディングエンジニアによって、人工的に生成した空間印象を加えられたものの、複雑な混合物を含んでいる。異なる源信号およびそれらの残響は、時間周波数平面で異なる領域を占めている。このことは、ＩＣＴＤ，ＩＣＬＤ、およびＩＣＣに反映され、時間および周波数の関数として変化する。この場合は、瞬時ＩＣＴＤ、ＩＣＬＤ、ＩＣＣ、聴覚イベント方向、空間印象の間の関係は、明白でない。ＢＣＣを行うある実施の形態の手法は、元の音声信号の対応するキューを近似するように、これらのキューを盲目的に合成することである。

時間等価矩形帯域幅（ＥＲＢ）の２倍と等しいサブバンドの帯域幅を持つフィルタバンクを用いる。非公式な聴き取りでは、より高い周波数分解能を選択した場合は、ＢＣＣの音声品質があまり向上しないことが明らかになっている。デコーダに送信する必要があるＩＣＴＤ、ＩＣＬＤ、およびＩＣＣ値が小さくなり、従ってビットレートが低くなるので、より低い周波数分解能が望ましい。

時間分解能については、ＩＣＴＤ、ＩＣＬＤ、およびＩＣＣは、通常、通常の時間間隔で考えられている。ＩＣＴＤ、ＩＣＬＤ、およびＩＣＣを約４〜１６ミリ秒毎に考える場合に、高い音効果が得られる。キューを非常に短時間の間隔で考える場合を除いて、先行音効果については直接考えないことに留意されたい。進みおよび遅れが時間間隔になり、１セットのキューが合成され、進みの局所的な優越については考えない場合は、音刺激の従来の遅れ進み対を想定する。このことにもかかわらず、ＢＣＣにより、平均で、平均ＭＵＳＨＲＡスコアで約８７（すなわち、“非常によい”音声品質）の音声品質になり、ある音声信号については１００近くにまでなる。

基準信号と合成した信号との間の、しばしば見受けられる知覚的に小さな差は、通常の時間間隔でＩＣＴＤ、ＩＣＬＤ、およびＩＣＣを合成することにより、幅の広い聴覚空間イメージ属性の関するキューを暗黙的に考えることを意味している。以下では、ＩＣＴＤ、ＩＣＬＤ、およびＩＣＣが、聴覚空間イメージ属性の幅とどのように関連しているかについて、説明する。

空間キューの推定
以下では、ＩＣＴＤ、ＩＣＬＤ、およびＩＣＣをどのように推定するか、説明する。これらの（量子化および符号化）空間キューを伝送するビットレートは、わずか数キロビット／秒なので、ＢＣＣにより、１つの音声チャネルに必要なものに近いビットレートで、ステレオ音声信号およびマルチチャネル音声信号を送信することが可能である。

図５は、本発明の一実施の形態による、図２のＢＣＣ推定器２０８を示すブロック図である。ＢＣＣ推定器２０８は、図３のフィルタバンク３０２と同じであってもよいフィルタバンク（ＦＢ）５０２と、フィルタバンク５０２によって生成されるそれぞれ異なる周波数サブバンドに対するＩＣＴＤ、ＩＣＬＤ、およびＩＣＣ空間キューを生成する推定ブロック５０４とを備える。

・ＩＣＴＤ［サンプル］

次の式（８）から得られる正規化相互相関関数の短時間推定値による。

ここで、

・ＩＣＬＤ［ｄＢ］：

・ＩＣＣ：

正規化相互相関の絶対値について考慮し、ｃ₁₂（ｋ）の範囲は［０，１］であることに留意されたい。

マルチチャネル音声信号に対するＩＣＴＤＩＣＬＤ、およびＩＣＣの推定
入力チャネルが３つ以上ある場合は、通常、基準チャネル（例えば、チャネルナンバー１）と他のチャネルとの間でＩＣＴＤおよびＩＣＬＤを定義することで十分である。図６には、Ｃ＝５チャネルの場合を示している。τ_1c（ｋ）およびΔ₁₂（ｋ）はそれぞれ、基準チャネル１とチャネルｃとの間のＩＣＴＤおよびＩＣＬＤを表す。

ＩＣＴＤおよびＩＣＬＤとは反対に、ＩＣＣは通常、より自由度がある。定義されているＩＣＣは、考えられるすべての入力チャネル対の間で異なる値をとることができる。Ｃ個のチャネルの場合、Ｃ（Ｃ−１）／２個の考えられるチャネル対がある。例えば、５チャネルの場合は、図７（ａ）に示すように１０個のチャネル対がある。しかしながら、このような方法では、各時間インデックスでの各サブバンドに対し、Ｃ（Ｃ−１）／２個のＩＣＣ値を推定して送信することが必要になり、計算量が大きくなり、ビットレートが高くなってしまう。

また、各サブバンドに対して、ＩＣＴＤおよびＩＣＬＤが、サブバンドの対応する信号成分の聴覚イベントを表現する方向を求める。次に、サブバンド１つ毎に１つのＩＣＣパラメータを用いて、全音声チャネル間の全体的なコヒーレンスを記述してもよい。各時間インデックスで、各サブバンドで最もエネルギーが大きい２つのチャネルの間だけで、ＩＣＣキューを推定して送信することにより、良い結果を得ることができる。このことを、図７（ｂ）に示す。時刻ｋ−１およびｋで、チャネル対（３、４）および（１、２）それぞれが最も強い。発見的規則を用いて、他のチャネル対の間のＩＣＣを求めてもよい。

ＩＣＴＤ合成
次の式（１２）により、ＩＣＴＤτ_1c（ｋ）から遅延ｄ_cを求める。遅延ｄ_cの最大大きさを最小にするように、基準チャネルｄ１の遅延が算出される。変更するサブバンド信号が少なくなるほど、アーティファクトが発生する危険性がより少なくなる。サブバンドのサンプリングレートが、ＩＣＴＤ合成に対する時間分解能が十分高くならない場合は、適したオールパスフィルタを用いることにより、より正確に遅延を行うようにする。

ＩＣＬＤ合成
チャネルｃおよび基準チャネル１の間で出力サブバンド信号が所望のＩＣＬＤΔ₁₂（ｋ）を有するようにするために、利得係数ａ_cは、次の式（１３）を満たす必要がある。

また、好ましくは、全出力チャネルのパワーの合計が、入力和信号のパワーと等しくなるように、出力サブバンドを正規化する。各サブバンドの元の信号パワーのすべてが和信号に保たれているので、この正規化は、各出力チャネルの絶対サブバンドパワーにおいて、元のエンコーダ入力音声信号の対応するパワーを近似することになる。これらの制約条件から、次の式（１４）により、倍率ａ_cが得られる。

ＩＣＣ合成
ある実施の形態では、ＩＣＣ合成の目的は、ＩＣＴＤおよびＩＣＬＤに影響を与えることなく、遅延およびスケーリングを行った後で、サブバンド間の相関を低減することである。平均変動が各サブバンド（聴覚的に重要な帯域）でゼロになるように、周波数の関数としてＩＣＴＤおよびＩＣＬＤが効果的に変化するように、図８のフィルタｈｃを設計することにより、このことを行うことが可能である。

図９は、周波数の関数として、ＩＣＴＤおよびＩＣＬＤがサブバンド内でどのように変化するかを示している。ＩＣＴＤおよびＩＣＬＤ変動の振幅が、非相関の度合いを求め、ＩＣＣの関数として制御する。ＩＣＴＤは滑らかに変化し（図９（ａ）に示す）、ＩＣＬＤはランダムに変化する（図９（ｂ）に示す）ことに留意されたい。ＩＣＬＤを、ＩＣＴＤのように滑らかに変化させることもできるが、このことにより、得られる音声信号をさらに特徴付けることになる。

マルチチャネルＩＣＣ合成を行うのに特に適した、ＩＣＣを合成する別の方法は、次の文献に詳細に記載されている。Ｃ．フォーラ、「パラメトリックマルチチャネル音声符号化：コヒーレンスキューの合成（Ｐａｒａｍｅｔｒｉｃ ｍｕｌｔｉ−ｃｈａｎｎｅｌ ａｕｄｉｏ ｃｏｄｉｎｇ： Ｓｙｎｔｈｅｓｉｓ ｏｆ ｃｏｈｅｒｅｎｃｅ ｃｕｅｓ）」（ＩＥＥＥ会報、スピーチおよびオーディオ学会、２００３年）」（ＩＥＥＥ会報、スピーチおよびオーディオ学会、２００３年）。この要旨は、ここに引例として組み込まれている。時間および周波数の関数として、一定量のアーティフィシャルな後期残響を出力チャネルそれぞれに加算して、所望のＩＣＣを得る。また、得られる信号のスペクトルエンベロープが元々の音声信号のスペクトルエンベロープに近づくように、スペクトル変更を行うこともできる。

ステレオ信号（または音声チャネル対）に対するＩＣＣ合成技術に関係する、または関係しない他の技術が、次の文献に記載されている。Ｅ．シュイエールス（Ｓｃｈｕｉｊｅｒｓ）、Ｗ．オーメン（Ｏｏｍｅｎ）、Ｂ．デン・ブリンカー（ｄｅｎ Ｂｒｉｎｋｅｒ）、Ｊ．ブレーバールト（Ｂｒｅｅｂａａｒｔ）、「高品質音声のためのパラメトリック符号化の進歩（Ａｄｖａｎｃｅｓ ｉｎ ｐａｒａｍｅｔｒｉｃ ｃｏｄｉｎｇ ｆｏｒ ｈｉｇｈ−ｑｕａｌｉｔｙ ａｕｄｉｏ）」（音声工学学会第１１４回大会予稿集、２００３年３月）、Ｊ．エングデガールド（Ｅｎｇｄｅｇａｒｄ）、Ｈプルンハーゲン（Ｐｕｒｎｈａｇｅｎ）、Ｊ．ローデン（Ｒｏｄｅｎ）、Ｌ．リルジェリド（Ｌｉｌｊｅｒｙｄ）、「パラメトリックステレオ符号化における合成環境（Ｓｙｎｔｈｅｔｉｃ ａｍｂｉｅｎｃｅ ｉｎ ｐａｒａｍｅｔｒｉｃ ｓｔｅｒｅｏ ｃｏｄｉｎｇ）」（音声工学学会第１１７回大会予稿集２００４年５月）。これらの要旨は、ここに引例として組み込まれている。

ＣチャネルからＥチャネルへのＢＣＣ
前述のように、２つ以上の伝送チャネルでＢＣＣを行うことができる。ＢＣＣのバリエーションが、１つの（送信した）チャネルだけでなく、Ｅ個のチャネルとしてもＣ個の音声チャネルを表すことについて、説明してきたが、これを、ＣチャネルからＥチャネルへのＢＣＣと記載する。ＣチャネルからＥチャネルへのＢＣＣを行う、（少なくとも）２つの目的がある。
・１つの伝送チャネルで、ＢＣＣは、既存のモノラルシステムをグレードアップして、ステレオ音声再生またはマルチチャネル音声再生を行う後方互換性経路を提供する。グレードアップしたシステムは、既存のモノラルインフラを介してＢＣＣダウンミキシング和信号を送信し、さらにＢＣＣサイド情報を送信する。ＣチャネルからＥチャネルへのＢＣＣを、Ｃチャネル音声のＥチャネル後方互換性符号化に適用することができる。
・ＣチャネルからＥチャネルへのＢＣＣは、送信チャネルの数を異なる度合いで低減するという意味で、拡張性を導入する。送信する音声チャネルの音声品質がさらに向上することが期待できる。
ＩＣＴＤ、ＩＣＬＤ、およびＩＣＣキューをどのように定義するかというような、ＣチャネルからＥチャネルへのＢＣＣの信号処理の詳細は、米国出願第１０／７６２，１００号０１／２０／０４２００４年１月２０日出願（Ｆａｌｌｅｒ１３−１）に記載されている。

拡散音波形整形
ある実施の形態では、ＢＣＣ符号化は、ＩＣＴＤ、ＩＣＬＤおよびＩＣＣ合成のためのアルゴリズムを含む。ＩＣＣキューは、対応するサブバンドの信号成分を非相関させることによって合成されることができる。これは、ＩＣＬＤ、ＩＣＴＤの周波数に依存するバリエーションおよびＩＣＬＤ（全通過のフィルタリング）の、または、残響アルゴリズムに関連した考えを有する周波数に依存するバリエーションによってされることができる。

これらの技術が音声信号に適用される場合に、信号の時間エンベロープ特性は保存されない。具体的には、一時的現象に適用される場合に、瞬間的な信号エネルギーは特定の期間広がりそうである。これは、プレエコーまたはくたびれた一時的現象のアーティファクトである。

本発明のある実施の形態の一般的な原理は、ＢＣＣデコーダによって合成される音が元のそれと類似しているスペクトル特性を有しなければならないだけでなく、類似の知覚的な特性を有するために全く密接に元の時間エンベロープにも似ていなければならないという観察に関する。通常、これは、各信号チャネルの時間エンベロープに近づくために時間様々なスケーリング動作を適用する動的なＩＣＬＤ合成を含むことによって、ＢＣＣのような方式において成し遂げられる。しかしながら、一時的な信号（音の立ち上がり、打楽器、その他）という場合は、このプロセスの時間軸分解度は、十分に密接に元の時間エンベロープに近い合成された信号を生成するために、充分ではなくてもよい。このセクションは、十分に微細な時間分解能によってこれをするために、多くの方法を記載する。

さらに、元の信号の時間エンベロープにアクセスしないＢＣＣデコーダのために、アイデアは、その代わりに近似として送信された「合計信号（ｓ）」の時間エンベロープをとることである。このように、このようなエンベロープ情報を伝達するために、ＢＣＣエンコーダからＢＣＣデコーダまで送信されるのに必要なサイド情報がない。要約すると、本発明は、以下の原理に依存する：
・送信された音声チャンネル（すなわち、「合計チャネル」）または、これらのチャネルの線形結合に基づくＢＣＣ合成は、（例えば、ＢＣＣブロックサイズより著しく微細な）高時間分解を有するそれらの時間エンベロープに対する時間エンベロープ抽出器によって分析される。
・各出力チャネルに対する次の合成された音は、ＩＣＣ合成の後でさえ、できるだけ密接に抽出器により求められた時間エンベロープに整合するように、形成される。これは、一時的な信号の場合さえ、合成された出力音がＩＣＣ合成／信号非相関性処理によって著しく劣化しないことを確実にする。

本発明の一実施の形態によれば、図１０は、少なくとも一部のＢＣＣデコーダ１０００で、ブロック図表示式を示す。図１０において、ブロック１００２は、少なくとも、ＩＣＣ合成を含むＢＣＣ合成処理を表す。ＢＣＣ合成ブロック１００２は、ベースチャンネル１００１を受信して、合成されたチャネル１００３を生成する。特定の実施例において、ブロック１００２は図４のブロック４０６、４０８および４１０の処理を表す。そこにおいて、ベースチャンネル１００１はブロック４０４をアップミキシングすることによって発生する信号であり、そして、合成されたチャネル１００３は相関ブロック４１０によって生成する信号である。図１０は、処理が１つのベースチャンネル１００１’およびその対応する合成されたチャネルのために行うことを表す。類似の処理は、各他のベースチャンネルおよびその対応する合成されたチャネルにも適用される。

エンベロープ抽出器１００４は、ベースチャネル１００１’の微細な時間エンベロープａを決定し、そして、エンベロープ抽出器１００６は、合成されたチャネル１００３’の微細な時間エンベロープｂを決定する。逆エンベロープ調整装置１００８は、フラット（例えば、一様な）時間エンベロープを有する平坦化された信号１００５’を生成するために、合成されたチャネル１００３’のエンベロープ（すなわち、時間的微細なエンベロープの「平坦化」）を規格化するために、エンベロープ抽出器１００６から時間エンベロープｂを使用する。特定の実施例に応じて、平坦化は、アップミキシングする、前または後ろに適用されることができる。エンベロープ調整装置１０１０は、ベースチャネル１００１の時間エンベロープと実質的に等しい時間エンベロープを有している出力信号１００７’を生成するために、平坦化された信号１００５’における元の信号エンベロープを再び課すためのエンベロープ抽出器１００４から時間エンベロープａが使用される。

実施の形態に応じて、この時間エンベロープ処理（また、本明細書において、「エンベロープ整形」と称される）は、全ての合成されたチャネル（示すように）に、または、合成されたチャネル（その後記載されているように）の直交化された一部（例えば後期残響パート、非相関している一部）だけに適用されることができる。さらに、実施例に応じて、エンベロープ整形は、時間領域信号に、または、周波数に依存する方法（例えば、時間エンベロープは、異なる周波数で個々に推定されて、課される）で適用されることができる。

逆エンベロープ調整装置１００８およびエンベロープ調整装置１０１０は、異なる方法で行うことができる。１つの実施の形態の形式において、信号のエンベロープは、時間可変振幅変更関数（例えば、逆エンベロープ調整装置１００８に対する１／ｂおよびエンベロープ調整装置１０１０に対するａ）を有する信号の時間領域のサンプル（または、スペクトル／サブバンドサンプル）の乗算によって乗算される。あるいは、周波数の上の信号のスペクトル表現の畳込み／フィルタリングが、低いビットレートな音声符合化の量子化雑音を成形するために既知の発明において使われて、それに類似した方法で使われることができる。同様に、信号の時間エンベロープは、信号の時間が構築する分析によって、または、周波数の上の信号スペクトルの自己相関を調べることによって直接抽出されることもできる。

図１１は、図４のＢＣＣ合成装置４００の条件で、図１０のエンベロープ整形方式の典型的なアプリケーションを例示する。本実施の形態において、一つの送信された合計信号ｓ（ｎ）があり、Ｃ個のベース信号が、その合計信号を複製することにより生成され、そして、エンベロープ整形が、個々に異なるサブバンドに適用される。別の実施例では、遅延、スケーリングおよび他の処理の順序は、異なってもよい。さらに、別の実施例では、エンベロープ整形は、それぞれに各サブバンドを処理することに制限されない。これは、信号の時間微細構造に関する情報を引き出すために周波数帯の上の共分散を利用する実施例に基づく、特に畳込み／フィルタリングのために当てはまる。

図１１（ａ）において、時間処理分析１１０４（ＴＰＡ）を処理することは、図１０のエンベロープ抽出器１００４に類似している、そして、各時間処理、１１０６はエンベロープ抽出器１００６、逆エンベロープ調整装置１００８および図１０のエンベロープ調整装置１０１０の組合せに類似している（ＴＰ）。

図１１（ｂ）は、ＴＰＡ１１０４の一つの時間領域に基づく実施可能なブロック図を示す。ベース信号サンプルは、二乗され（１１１０）、次に、ベース信号の時間エンベロープａを特徴づけるためにローパスフィルタされる（１１１２）。

図１１（ｃ）は、ＴＰ１１０６の一つの時間領域に基づく実施可能なブロック図を示す。合成された信号サンプルは、二乗され（１１１４）、次に、合成された信号の時間エンベロープｂを特徴づけるためにローパスフィルタされる（１１１６）。倍率（例えば、平方根（ａ／ｂ））が生成されて（１１１８）、次に、元のベースチャンネルのそれに実質的に等しい時間エンベロープを有する出力信号を生成するために、合成された信号に適用される（１１２０）。

ＴＰＡ１１０４およびＴＰ１１０６の他の実施例において、時間エンベロープは、信号サンプルを二乗することによってよりむしろ大きさの演算を使用して特徴づけられる。このような実施の形態では、比率ａ／ｂが、平方根演算を適用することなく、倍率として使用してもよい。

図１１（ｃ）のスケーリング演算が、ＴＰ処理の時間領域ベースの実施例に対応しているが、（以下に説明する）図１７―１８の実施の形態のような、周波数領域信号を使用して、ＴＰ処理（ＴＰＡおよび逆ＴＰ（ＩＴＰ）処理とともに）は行うこともできる。従って、この明細書の目的においては、用語「スケーリング関数」は、図１８ｂおよびｃのフィルタリング演算のように、時間領域または周波数領域のいずれもカバーするように解釈する必要がある。

一般に、好ましくは、それらが信号パワー（すなわちエネルギー）を変更しないように、ＴＰＡ１１０４およびＴＰ１１０６は設計される。ある実施の形態に応じて、この信号パワーは、例えば、合成ウィンドウまたはパワーの若干の他の適した計測によって定義される期間のチャネル当たりの全体の信号パワーに基づく各チャネルにおける短時間平均信号パワーとしてもよい。従って、エンベロープ整形の前か後で、ＩＣＬＤ合成（例えば、乗算器４０８を使用して）のためのスケーリングは、適用されることができる。

なお、各チャネルのために、図１１（ａ）で、２つの出力がある。ＴＰ処理は、それらのうちのわずか１つに適用されることに留意されたい。これは、２つの信号成分を混合するＩＣＣ合成方法を反映する：修正されないおよび直交化された信号、修正されないおよび直交化された信号の成分の比率は、ＩＣＣを決定する。図１１（ａ）の図示した実施例において、ＴＰは、直交された信号成分だけ適用される。和ノード１１０８は、対応する時間的に形作られ、直交化された信号の成分を有する修正されない信号成分に再結合する。

図１２は図４のＢＣＣ合成装置４００の条件で、図１０のエンベロープ整形方法の代わりの典型的なアプリケーションを例示する。エンベロープ整形は時間領域において適用される。そのような実施の形態は、ＩＣＴＤ、ＩＣＬＤおよびＩＣＣ合成が、実行されるスペクトル表現の時間分解能が、所望の時間エンベロープを課すことにより、「プレエコー」を効果的に妨げることが十分に出来ない場合、正当化されてもよい。例えば、ＢＣＣが短いフーリエ変換（ＳＴＦＴ）によって行う場合に、このようなケースでもよい。

図１２（ａ）に示すように、ＴＰＡ１２０４および各ＴＰ１２０６は時間領域において行う。それが所望の時間エンベロープ（例えば、送信された合計信号から推定されるものとしてのエンベロープ）を有するように、全帯域信号はスケーリングされる。図１２（ｂ）および（ｃ）は、図１１（ｂ）および（ｃ）に示されるそれらに類似するＴＰＡ１２０４およびＴＰ１２０６の可能な実施例を示す。

本実施の形態では、直交化された信号成分だけでなく、ＴＰ処理は、出力信号に適用される。別の実施の形態では、時間領域ベールのＴＰ処理は、所望の場合は、直交化された信号成分にちょうど適用されることができる。修正されないおよび直交化されたサブバンドのケースは、別々の逆フィルタバンクを有する時間領域に変換される。

ＢＣＣ出力信号の全帯域スケーリングがアーティファクトとして発生する場合があるので、エンベロープ整形は指定された周波数、例えば、特定のカットオフ周波数ｆ_tp（例えば、５００Ｈｚ）より大きい周波数だけに適用されることができる。分析のための周波数範囲（ＴＰＡ）が、合成（ＴＰ）のための周波数範囲と異なる場合もあることに留意されたい。図１３（ａ）および（ｂ）は、ＴＰＡ１２０４およびＴＡ１２０６の可能な実施例を示す。エンベロープ整形は、カットオフ周波数ｆ_tpより高い周波数でのみ適用される。特に、図１３（ａ）はハイパスフィルタ１３０２のさらに示されており、これは、時間エンベロープ特徴を調べる前に、ｆ_tpより低い周波数をフィルタする。図１３（ｂ）は、２つのサブバンドの間のｆ_tpのカットオフ周波数を有する２帯域フィルタバンクがさらに示されており、高い周波数部分のみ、時間的に整形される。次に、２帯域の逆フィルタバンク１３０６は、出力信号を生成するために、低い周波数部分を時間的に整形される高い周波数部分と再合成する。

図１４は、代理人明細書、ｎｏ．Ｂａｕｍｇａｒｔｅ ７−１２ ０４／０１／０４に出願された米国特許番号１０／８１５，５９１に記載された後期残響に基づくＩＣＣ合成方法の条件で、図１０のエンベロープ整形方法の典型的なアプリケーションを例示する。本実施の形態において、ＴＰＡ１４０４および各ＴＰ１４０６は、図１２または図１３として時間領域において適用される。しかし、各ＴＰ１４０６は、異なる後期残響（ＬＲ）ブロック１４０２から出力に適用される。

図１０に示される方法の変形例である本発明の一実施例によれば、図１５は、少なくとも一部のＢＣＣデコーダ１５００で、ブロック図表示式を示す。図１５において、ＢＣＣ合成ブロック１５０２、エンベロープ抽出器１５０４およびエンベロープ調整装置１５１０は、図１０のＢＣＣ合成ブロック１００２、エンベロープ抽出器１００４およびエンベロープ調整装置１０１０に類似している。図１５において、しかしながら、逆エンベロープ調整装置１５０８は、ＢＣＣ合成の後よりはむしろ、図１０のようなＢＣＣ合成の前に使用される。このようにして、ＢＣＣ合成が適用される前に、逆エンベロープ調整装置１５０８はベースチャンネルを平坦化する。

図１０および図１５に示される方法の変形例である本発明の一実施例によれば、図１６は、少なくとも一部のＢＣＣデコーダ１６００で、ブロック図表示式を示す。図１６において、エンベロープ抽出器１６０４およびエンベロープ調整装置１６１０は、図１５のエンベロープ抽出器１５０４およびエンベロープ調整装置１５１０に類似している。図１５の実施例において、しかしながら、合成ブロック１６０２は、それと類似の残響ベースのＩＣＣ合成が図１６に示されることを表す。この場合、エンベロープ整形は無相関の後期残響信号だけに適用され、そして、和ノード１６１２は時間的に整形された、後期残響信号を最初のベースチャンネル（それは、すでに所望の時間エンベロープを有する）に加える。なお、この場合、逆エンベロープ調整装置は、使用される必要はない、なぜなら、後期残響信号がブロック１６０２のその生成プロセスのためおよそ平坦な時間エンベロープを有するからである。

図１７は、図４のＢＣＣ合成装置４００の条件で、図１５のエンベロープ整形方式の典型的なアプリケーションを例示する。図１７において、ＴＰＡ１７０４、逆ＴＰ（ＩＴＰ）１７０８およびＴＰ１７１０は、図１５におけるエンベロープ抽出器１５０４、逆エンベロープ調整装置１５０８およびエンベロープ調整装置１５１０に類似している。

この周波数ベースの実施例において、拡散音のエンベロープ整形は、周波数軸に沿って畳み込みを（例えばＳＴＦＴ）フィルタバンク４０２の周波数ビンに適用することによって行う。米国特許５，７８１，８８８（Ｈｅｒｒｅ）および米国を参照する、内容の特許５，８１２，９７１（Ｈｅｒｒｅ）（それの教示は本願明細書に引用したものとする）は、この技術に関した。

図１８（ａ）は、図１７のＴＰＡ１７０４の１つの実施可能なブロック図を示す。この実施の形態において、ＴＰＡ１７０４は、周波数の上のスペクトル係数の直列に最適の予測係数を決定する線形予測分析（ＬＰＣ）分析動作として行う。このようなＬＰＣ分析技術は、例えば、周知であるＬＰＣ係数の効果的な算出のための音声符号化および多くのアルゴリズムから、自己相関方法（信号の自己相関関数および次のレビンソン―ダービン再帰の算出を含む）は、公知である。この計算の結果、一組のＬＰＣ係数は、信号の時間エンベロープを表す出力で利用できる。

図１８（ｂ）および（ｃ）は図１７のＩＴＰ１７０８およびＴＰ１７１０の実施可能なブロック図を示す。両方の実施の形態において、処理される信号のスペクトル係数は、（増減するまたは減少する）周波数の順に処理される。それは、スイッチ回路の丸められ、これらの係数を予測フィルタ処理（およびこの処理の後に元のところへ）により処理されるシリアルオーダーに変換されることによって象徴化される。ＩＴＰ１７０８の場合、予測するフィルタリングは、残余の予測を算出して、このようにして時間的信号エンベロープを「平坦化」する。ＴＰ１７１０の場合、逆フィルタは、ＴＰＡ１７０４からＬＰＣ係数によって表される時間エンベロープを再導入する。

ＴＰＡ１７０４による信号の時間エンベロープの算出のために、このようなウィンドウが使われる場合、フィルタバンク４０２の分析ウィンドウの影響を除去することは重要である。これは（知られている）分析ウィンドウ形状によって、または、分析ウィンドウを使用しない別々の分析フィルタバンクを用いることによって、結果として得られるエンベロープを規格化することによって、達成されることも出来る。

図１７の畳み込み／フィルタリングに基づく技術は、図１６のエンベロープ整形方法の条件でも適用される。エンベロープ抽出器１６０４およびエンベロープ調整装置１６１０は、それぞれ、図１８（ａ）のＴＰＡおよび図１８（ｃ）のＴＰに基づいている。

更なる別の実施例
ＢＣＣデコーダは、選択的にエンベロープ整形を可能にして／使用不能にするように設計されることができる。例えば、エンベロープ整形の利点が、エンベロープ整形が生成することができるいかなるアーティファクトを支配するように、合成された信号の時間エンベロープが十分に変動する場合に、ＢＣＣデコーダは、従来のＢＣＣ合成方法を適用することが可能であり、エンベロープ整形を可能にすることができる。この有効な／無効制御は、以下によって成し遂げられることができる：
(1) 一時的な検出：一時的現象が検出される場合、ＴＰ処理は使用可である。一時的現象の検知は、一時的現象だけでなく、一時的現象の前後の短時間にも効果的に形作るために先取りの方法で行うことができる。一時的現象を検出する考えられる方法は、以下を含む：
・一時的現象の発生を示しているパワーの急増があるときに送信されたＢＣＣの時間エンベロープが決定する信号を合計するのを観察すること；そして、
・予測（ＬＰＣ）フィルタの利得を検証すること。ＬＰＣ予測利得が指定された閾値を上回る場合、信号が一時的であるかまたは非常に変動していると仮定されることができる。ＬＰＣ分析は、スペクトルの自己相関により算出される。
(2) ランダム性検出：時間エンベロープが疑似ランダム的に変動するときに、シナリオがある。このようなシナリオにおいて、一時的現象は検出されないかもしれない、しかし、ＴＰ処理はまだ適用されることができる（例えば、密度の高い拍手信号は、このようなシナリオに対応する）。

加えて、ある実施の形態では、音の信号の可能なアーティファクトを防止するために、送信された合計信号の調性が高いときに、ＴＰ処理は適用されない。

さらにまた、いつのＴＰ処理が作動中でなければならないかについて検出するために、類似の方法が、ＢＣＣエンコーダで用いられることができる。エンコーダがすべての元の入力信号にアクセスするので、ＴＰ処理が可能な場合の決定をさせるより高度なアルゴリズム（例えば、推定ブロック２０８の部分）を使用することができる。この決定（ＴＰが作動中の場合、フラグシグナリング）の結果は、ＢＣＣデコーダ（例えば、図２のサイド情報の一部として）に送信されることができる。

本発明が、一つの合計信号があるＢＣＣ符号化方法の条件で、記載されているにもかかわらず、本発明は、２以上の合計信号を有するＢＣＣ符号化方法の条件で、行うことができる。この場合、各異なる「ベース」合計信号のための時間エンベロープは、ＢＣＣ合成を適用する前に推定されることができる、そして、異なるＢＣＣ出力チャネルは異なる時間エンベロープに基づいて発生することができる。そして、それに応じて、合計信号は異なる出力チャネルを合成するために用いられた。２つ以上の異なる合計チャネルから合成される出力チャネルは、成分和チャネルの相対的な効果を考慮する（例えば、加重平均算出を介して）効果的な時間エンベロープに基づいて生成することができる。

本発明がＩＣＴＤ、ＩＣＬＤおよびＩＣＣコードを含んでいるＢＣＣ符号化方法の条件で、記載されていたが、これら３つのタイプのコードのうちの１つまたは２つだけを用いる他のＢＣＣ符号化方法（例えば、ＩＣＴＤではなく、ＩＣＬＤおよびＩＣＣ）および／または１つ以上の別のタイプのコードをさらに用いる他のＢＣＣ符号化方法の条件で、本発明を実施することもできる。さらに、ＢＣＣ合成処理およびエンベロープ整形のシーケンスは、異なる実施例において変形することができる。例えば、図１４および１６に示すように、周波数領域信号に適用される場合に、ＩＣＴＤ合成（ＩＣＴＤ合成を使用するそれらの実施例において）の後、ＩＣＬＤ合成の前であるが、エンベロープ整形を行うこともできる。他の実施の形態において、任意の他のＢＣＣ合成が適用される前に、エンベロープ整形はアップミキシングされた信号に適用されることができる。

ＢＣＣ符号化方法の条件で、本発明について説明してきたが、音声信号を非相関にする他の音声処理システム、または信号を非相関にする必要がある他の音声処理の条件で、本発明を実施することもできる。

エンコーダが時間領域で入力音声信号を受信し、時間領域で送信音声信号を生成し、デコーダが時間領域で送信音声信号を受信し、時間領域で再生音声信号を生成する実施例の条件で、本発明について説明してきたが、本発明はこれに限定されない。例えば、他の実施の形態において、任意の１つ以上の入力し、送信し、再生した音声信号を、周波数領域で表現することができる。

ＢＣＣエンコーダおよび／またはデコーダを、テレビまたは電子音楽配信、映画館、放送、ストリーミング、および／または受信システム等の、様々な異なる適用例またはシステムとともに用いたり、これらに組み込んで用いたりすることもできる。これらは、例えば、地上波、衛星、ケーブル、インターネット、イントラネット、または物理媒体（例えば、コンパクトディスク、デジタルバーサタイルディスク、半導体チップ、ハードドライブ、メモリカード等）を介して、符号化／復号化伝送を行うシステムを含む。ＢＣＣエンコーダおよび／またはデコーダを、ゲームおよびゲームシステムも用いることもできる。これらは、例えば、ユーザインタラクティブな娯楽用（アクションゲーム、ロールプレイングゲーム、戦略ゲーム、アドベンチャーゲーム、シミュレーションゲーム、レーシングゲーム、スポーツゲーム、ゲームセンター、カードゲーム、およびボードゲーム）および／または複数のマシン、プラットフォーム、またはメディア等に発行した教育向けの、インタラクティブなソフトウェア製品を含む。さらに、ＢＣＣエンコーダおよび／またはデコーダを、音声レコーダ／プレーヤまたはＣＤ−ＲＯＭ／ＤＶＤシステムに組み込んでもよい。ＢＣＣエンコーダおよび／またはデコーダを、デジタル復号化（例えば、プレーヤ、デコーダ）を組み込んだＰＣソフトウェアアプリケーション、デジタル符号化する能力（例えば、エンコーダ、リッパ、レコーダ、およびジュークボックス）を組み込んだソフトウェアアプリケーションに組み込むこともできる。

本発明を、回路ベースの処理として実施することもできる。１つの集積回路（ＡＳＩＣまたはＦＰＧＡ等）、マルチチップモジュール、シングルカード、またはマルチカード回路パッケージ等の考えられる実施例が挙げられる。回路素子の各種の関数を、ソフトウェアプログラムの処理工程として実施できることも、当業者にとって明らかになるであろう。このようなソフトウェアを、例えば、デジタル信号プロセッサ、マイクロコントローラ、または汎用コンピュータに用いることもできる。

それらの方法を行う方法および装置の形態で、本発明を実施することができる。本発明を、フロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ、ハードドライブ、または任意の他の機械読み取り可能記憶媒体等の、有形媒体で、プログラムコードの形態で実施することもできる。プログラムコードをコンピュータ等のマシンにロードして実行する場合は、このマシンが本発明を実施する装置となる。本発明を、プログラムコードの形態で実施することもできる。例えば、記憶媒体に記録したり、マシンにロードしたり、マシンで実行したり、マシンにロードしてマシンで実行したり、および／またはマシンで実行したり、電子ワイヤまたはケーブル、光ファイバ、または電磁放射等の、伝送媒体またはキャリアで送信したりする。プログラムコードをコンピュータ等のマシンにロードして実行する場合は、そのマシンが本発明を実施する装置となる。汎用プロセッサ上で実施する場合は、プログラムコードセグメントをプロセッサと組み合わせて、一意のデバイスに送って、特定の論理回路と同様に動作させる。

以下の特許請求の範囲で述べる本発明の範囲を逸脱することなく、この本発明の本質を説明するために、述べ、示してきた、詳細、素材、構成について、当業者が様々に変更できることが、さらに理解できるであろう。

クレームを反復することにより、それらのステップの一部またはすべてを実行する特定のシーケンスを示さない限り、必要の場合は、次の方法クレームのステップを、対応するラベル構成で特定のシーケンスで反復するが、それらのステップを、その特定のシーケンスで実行することを、必ずしも必要としているものではない。

従来のバイノーラル信号合成装置の上位ブロック図を示す。 一般バイノーラルキュー符号化（ＢＣＣ）音声処理システムを示すブロック図である。 図２のダウンミキサに用いることができるダウンミキサのブロック図を示す。 図２のデコーダに用いることができるＢＣＣ合成装置のブロック図を示す。 本発明の一実施の形態による、図２のＢＣＣ推定器のブロック図を示す。 ５チャネル音声用ＩＣＴＤおよびＩＣＬＤデータ生成を説明する図である。 ５チャネル音声用ＩＣＣデータを説明する図である。 ５チャネル音声用ＩＣＣデータを説明する図である。 ＢＣＣデコーダに用いることができ、１つの送信した和信号ｓ（ｎ）プラス空間キューが与えられたステレオ音声信号またはマルチチャネル音声信号を生成する、図４のＢＣＣ合成装置の一実施例のブロック図を示す。 周波数関数として、サブバンド内でＩＣＴＤおよびＩＣＬＤがどのように変化するかを説明する図である。 本発明の一実施の形態による、ＢＣＣデコーダの少なくとも部分を示すブロック図を示す。 図４のＢＣＣ合成装置の条件での図１０のエンベロープ整形方法の典型的なアプリケーションを示す。 図４のＢＣＣ合成装置の条件での図１０のエンベロープ整形方法の典型的なアプリケーションを示す。 図４のＢＣＣ合成装置の条件での図１０のエンベロープ整形方法の典型的なアプリケーションを示す。 エンベロープ整形は、時間領域で適用され、図４のＢＣＣ合成装置の条件でのエンベロープ整形方法の代わりとなる典型的なアプリケーションを示す。 エンベロープ整形は、時間領域で適用され、図４のＢＣＣ合成装置の条件でのエンベロープ整形方法の代わりとなる典型的なアプリケーションを示す。 エンベロープ整形は、時間領域で適用され、図４のＢＣＣ合成装置の条件でのエンベロープ整形方法の代わりとなる典型的なアプリケーションを示す。 カットオフ周波数ｆ_tpより高い周波数にだけエンベロープ整形が行われる、図１２のＴＰＡおよびＴＰの考えられる実施例である。 代理人整理番号第Ｂａｕｍｇａｒｔｅ７−２として２００４年４月１日に出願の米国特許出願番号第１０／８１５，５９１に記載のＩＣＣ合成方法に基づく後期残響の条件での図１０のエンベロープ整形方法の典型的なアプリケーションを示す。 図１０に示される方法に代わりに、本発明の実施例により、ＢＣＣデコーダの少なくとも部分を示すブロック図を示す。 図１０および図１５に示される方法の代わりに、本発明の実施例により、ＢＣＣデコーダの少なくとも部分を示すブロック図を示す。 図４のＢＣＣ合成装置の条件での図１５のエンベロープ整形の典型的なアプリケーションを示す。 図１５および図１６のＴＰＡと、図１６のＩＴＰおよびＴＰとの考えられる実施例のブロック図を示す。 図１５および図１６のＴＰＡと、図１６のＩＴＰおよびＴＰとの考えられる実施例のブロック図を示す。 図１５および図１６のＴＰＡと、図１６のＩＴＰおよびＴＰとの考えられる実施例のブロック図を示す。

Claims (31)

1. 入力時間エンベロープを有する入力音声信号を、出力時間エンベロープを有する出力音声信号に変換する方法であって、
   前記入力音声信号の入力時間エンベロープの特徴を調べるステップと、
   処理は入力信号を非相関処理し、前記処理された音声信号を生成するために、音声信号を処理するステップと、
   前記出力時間エンベロープは実質的に前記入力時間エンベロープに整合し、前記出力音声信号を生成するために、特徴を調べられた入力時間エンベロープに基づき処理された音声信号を調整するステップとを含む方法。
2. 前記処理は、内部チャネル間相関である、請求項１に記載の発明。
3. 前記ＩＣＣ合成は、バイノーラルキュー符号化（ＢＣＣ）合成の部分である、請求項２に記載の発明。
4. 前記ＢＣＣ合成は、さらに、少なくとも、内部チャネル間レベル差（ＩＣＬＤ）合成および内部チャネル間時間差（ＩＣＴＤ）を含む、請求項３に記載の発明。
5. 前記ＩＣＣ合成は、後期残響ＩＣＣ合成を含む、請求項２に記載の発明。
6. 前記調整するステップは、
   前記処理された音声信号の処理された時間エンベロープの特徴を調べるステップと、
   前記出力音声信号を生成するために、前記特徴を調べられた入力および処理された時間エンベロープに基づき、処理された信号を調整するステップを含む、請求項１に記載の発明。
7. 前記調整するステップは、
   前記特徴を調べられた入力および処理された時間エンベロープに基づきスケーリング関数を生成するステップと、
   前記出力音声信号を生成するために、前記処理された音声信号にスケーリング関数を適用するステップとを含む、請求項６に記載の発明。
8. さらに、平坦化された音声信号を生成するために、前記特徴を調べられた入力時間エンベロープに基づき、前記入力音声信号を調整するステップを含み、前記調整するステップは、前記処理された音声信号を生成するために、前記平坦化された音声信号に適用される、請求項１に記載の発明。
9. 非相関処理信号および相関処理信号を生成する処理ステップと、
   調整された処理信号を生成するために、前記非相関処理信号に適用される調整ステップと、
   前記出力信号は、前記調整された処理された音声および相関処理された信号を合計することによって生成する、請求項１に記載の発明。
10. 前記特徴を調べるステップは、前記入力音声信号の明確な周波数のみに適用し、
    前記調整するステップは、前記処理された音声信号の明確な周波数のみに適用する、請求項１に記載の発明。
11. 前記特徴を調べるステップは、明確なカットオフ周波数を超える前記入力音声信号の周波数のみに適用され、
    前記調整するステップは、前記明確なカットオフ周波数を超える前記処理された音声信号の周波数のみに適用される、請求項１０に記載の発明。
12. 前記特徴を調べるステップ、前記処理するステップ、前記調整するステップの各々が、周波数領域の信号に適用される、請求項１に記載の発明。
13. 前記特徴を調べるステップ、前記処理するステップ、前記調整するステップの各々が、異なる信号サブバンドに個別に適用される、請求項１２に記載の発明。
14. 前記周波数領域が、高速フーリエ変換（ＦＦＴ）に対応している、請求項１２に記載の発明。
15. 前記周波数領域が、直交ミラーフィルタ（ＱＭＦ）に対応している、請求項１２に記載の発明。
16. 前記特徴を調べるステップおよび前記調整するステップが、時間領域の信号に適用される、請求項１に記載の発明。
17. 前記処理するステップは、周波数領域の信号に適用される、請求項１６に記載の発明。
18. 前記周波数領域は、ＦＦＴに対応している、請求項１７に記載の発明。
19. 前記周波数領域は、ＱＭＦに対応している、請求項１７に記載の発明。
20. 前記特徴を調べるステップおよび前記調整するステップを有効にするか、無効にするか判定するステップをさらに含む、請求項１に記載の発明。
21. 前記入力音声信号を生成した音声エンコーダによって有効／無効のフラグに基づき判定するステップである、請求項２０に記載の発明。
22. 一時的現象の発生を検出した場合は、前記特徴を調べるステップおよび前記調整するステップを有効にするように前記入力音声信号において一時的現象を検出するために、前記入力信号を分析する分析するステップに基づき判定するステップである、請求項２０に記載の発明。
23. 入力時間エンベロープを有する入力音声信号を、出力時間エンベロープを有する出力音声信号に変換する装置であって、
    前記入力音声信号の入力時間エンベロープの特徴を調べる手段と、
    処理は、前記入力音声信号の非相関に適応されるものであって、処理された音声信号を生成するために、前記入力信号を処理する手段と、
    前記出力時間エンベロープは、実質的に前記入力時間エンベロープに整合し、前記出力音声信号を生成するために、特徴を調べられた入力時間エンベロープに基づき処理された音声信号を調整する手段とを含む装置。
24. エンベロープ抽出器を含む前記特徴を調べる手段と、
    前記入力音声信号を処理するための合成器を含む前記処理する手段と、
    前記処理された音声信号を調整するために適応されるエンベロープ調整器を含む前記調整する手段とを含む、請求項２３に記載の装置。
25. 前記装置は、デジタルビデオプレーヤ、デジタル音声プレーヤ、コンピュータ、衛星受信機、ケーブル受信機、地上波放送受信機、ホームエンターテインメントシステム、および映画館システムからなるグループから選択したシステムであって、
    前記システムが、前記エンベロープ抽出器、前記合成器、および前記エンベロープ調整器を備える、請求項２４に記載の発明。
26. Ｅ個の送信音声チャネルを生成するために、Ｃ個の音声チャネルを符号化する方法であって、
    ２つ以上の前記Ｃ個の入力チャネルに対する１つ以上のキューコードを生成するステップと、
    Ｃ＞Ｅ≧１である、前記Ｅ個の送信チャネルを生成するために、前記Ｃ個の入力チャネルをダウンミックスするステップと、
    前記Ｅ個の送信チャネルを復号化する間に、前記Ｅ個の送信チャネルのデコーダが、エンベロープ整形を行うかどうかを提示するフラグを生成するために、１つ以上のＣ個の入力チャネルおよびＥ個の送信チャネルを分析するステップと、
    デコーダにおいて、一時的現象だけでなく、一時的現象の前後の信号を形成するために先取りの方法における一時的現象の検出を含み、一時的現象が検出されるか、または、検出するためにランダム性検出を含む場合は、前記フラグがセットされ、時間エンベロープが、擬似ランダムの方法において変動している場合は、前記フラグがセットされようとも、前記Ｅ個の送信チャネルが音である場合は、前記フラグがセットされないために、音の検出を含もうとも、時間エンベロープは、擬似ランダムの方法において変動している、前記分析するステップとを含む方法。
27. エンベロープ整形は、送信チャネルに対応する時間エンベロープを実質的に整合するためのデコーダによってデコードされたチャネルの時間エンベロープを調整する、請求項２６に記載の発明。
28. Ｅ個の送信音声チャネルを生成するために、Ｃ個の入力音声チャネルを符号化するための装置であって、
    ２つ以上の前記Ｃ個の入力チャネルに対する１つ以上のキューコードを生成する手段と、
    Ｃ＞Ｅ≧１である、前記Ｅ個の送信チャネルを生成するために、前記Ｃ個の入力チャネルをダウンミックスする手段と、
    前記Ｅ個の送信チャネルを復号化する間に、前記Ｅ個の送信チャネルのデコーダが、エンベロープ整形を行うかどうかを提示するフラグを生成するために、１つ以上のＣ個の入力チャネルおよびＥ個の送信チャネルを分析する手段と、
    デコーダにおいて、一時的現象だけでなく、一時的現象の前後の信号を形成するために先取りの方法における一時的現象の検出を含み、一時的現象が検出されるか、または、検出するためにランダム性検出を含む場合は、前記フラグがセットされ、時間エンベロープが、擬似ランダムの方法において変動している場合は、前記フラグがセットされようとも、前記Ｅ個の送信チャネルが音である場合は、前記フラグがセットされないために、音の検出を含もうとも、時間エンベロープは、擬似ランダムの方法において変動している、前記分析する手段とを含む装置。
29. コード推定器を含む前記生成する手段と、
    ダウンミキサを含む前記ダウンミキシングする手段とを含む、請求項２８に記載の装置。
30. 前記装置が、デジタルビデオプレーヤ、デジタル音声プレーヤ、コンピュータ、衛星受信機、ケーブル受信機、地上波放送受信機、ホームエンターテインメントシステム、および映画館システムからなるグループから選択したシステムであって、
    前記システムが、前記コード推定器および前記ダウンミキサを備える、請求項２７に記載の発明。
31. コンピュータ上で実行する場合は、請求項１に従って、入力音声信号を変換する方法、または請求項２６に従って、Ｃ個の入力音声チャネルを符号化する方法を実行するための機械読み取り可能な指示を有するコンピュータプログラム。

Images