JP5554065B2 - 複雑さの軽減されたパラメトリックステレオデコーダ - Google Patents

Description

本発明は、音声符号化の分野に関する。より詳細には、本発明は、ステレオ音声符号化に関し、特に、本発明は、パラメタ化された音声信号をステレオ音声信号に復号するよう構成される音声デコーダ、及び斯かるデコーダを含むデバイスを提供する。本発明は、復号化方法及び斯かる方法を実行するよう構成されるコンピュータ実行可能プログラムコードも提供する。

シヌソイド符号化（ＳＳＣ）は、完全な帯域幅の高品質音声符号化が可能な、よく知られたパラメトリック符号化スキームである。例えば、[ISO/IEC 14496-3 :2001/AMD2, "Information Technology - Generic Coding of Audiovisual Objects. Part 3: Audio. Amendment 2: High Quality Parametric Audio Coding"]、及び [Werner Oomen, Erik Schuijers, Bert den Brinker, Jeroen Breebaart, "Advances in Parametric Coding for High-Quality Audio", 114th AES Convention, Amsterdam, The Netherlands, March 22-25 2003, preprint 5852]を参照されたい。斯かるＳＳＣ符号化スキームは、モノラル又はステレオ音声信号を多数のオブジェクトへと分割する。各オブジェクトは、パラメタ化され、低ビットレートで効率的にエンコードされることができる。これらの３つのオブジェクトは、トランジエント（時間領域における動的な変化を表す）、シヌソイド（決定論的な要素を表す）及びノイズ（明白な時間的又はスペクトル局所化を持たない要素を表す）である。ステレオ音声信号の場合には、パラメタの４つのセットが関連する。即ち２つのステレオチャネル間の関係を記載する空間画像パラメタのセットである。

通常は、デコーダ側で、音声信号の斯かるパラメトリックなステレオ表現がスペクトル領域においてデコードされる。例えば、[Jeroen Breebaart, Steven van de Par, Armin Kohlrausch, Erik Schuijers, "High-Quality Parametric Spatial Audio Coding at Low Bitrates", 116th AES Convention, Berlin, Germany, May 8-1 1 2004, preprint 6072]を参照されたい。ほとんどの場合、スペクトル領域のステレオ表現は、例えば高速フーリエ変換（ＦＦＴ）又は直交ミラーフィルタ（ＱＭＦ）領域への変換といった計算処理を含む。

例えば[Erik Schuijers, Jeroen Breebaart, Heiko Purnhagen, Jonas Engdegard, "Low Complexity Parametric Stereo Coding", 116th AES Convention, Berlin, Germany, May 8-1 1 2004, preprint 6073]を参照されたい。ＳＳＣデコーダの複雑さを減らすため、シヌソイド要素は、スペクトル領域において直接合成されることができる。しかしながら、シヌソイド要素だけが、スペクトル領域において効率的に合成されることができる。他の要素、即ちトランジエント及びノイズをスペクトル領域に変換することは、実質的なコンピュータの演算負荷を必要とする。

シヌソイド要素の合計である時間信号だけをスペクトル領域に変換し、その後シヌソイド部分のみに関してスペクトル領域においてステレオ相関分離処理を実行することも知られている。この処理から生じるステレオスペクトル領域表現が、時間領域ステレオシヌソイド部分に到達する各チャネルに対して合成フィルタバンクを分離するために適用される。最終的に、ノイズ及びトランジエント要素が、時間領域におけるステレオシヌソイド部分に追加される。しかしながら、斯かるソリューションはノイズ及びトランジエント音声が音像において「目立つ」ように見え、更に、スペクトル領域におけるステレオ相関分離処理が相当の計算量を必要とする複雑な処理であるという知覚的な不都合点を持つ。

結論として、既知のステレオ復号方法は、利用可能な信号処理能力が制限されるデバイス、例えばモバイル及び小型デバイスには適していない。

上記に基づき、本発明の目的は、復号を実行するために必要とされる計算パワーを減らすため、ステレオ、即ち２つのチャネルの音声信号を低い複雑さで復号することが可能な音声デコーダを提供することである。

この目的は、本発明の第１の側面によれば、少なくとも信号パラメタのセットと空間画像パラメタとを含むパラメトリック音声表現に応答して、第１及び第２の音声チャネルを生成する音声デコーダを提供することにより実現され、このデコーダは、
−信号パラメタのセットに基づき、パラメタの第１及び第２のセットを生成するよう構成されるパラメタ処理ユニットであって、パラメタ処理ユニットが、空間画像パラメタに基づき、上記パラメタの第１及び第２のセットの間の差を生成するよう構成される、パラメタ処理ユニットと、
−パラメタの上記第１のセットに基づき、第１の音声チャネルを生成するよう構成される第１の信号合成器と、
−パラメタの上記第２のセットに基づき、第２の音声チャネルを生成するよう構成される第２の信号合成器とを有する。

こうして、上記第１の側面によれば、上記個別のステレオチャネルに対して独立した信号合成器又は生成器、好ましくは独立したシヌソイド合成器を提供することにより、計算量が減らされる。これらの信号合成器が、上記パラメタ処理ユニットからの信号パラメタの個別の第１及び第２のセットと共に提供される。信号パラメタのこれらの第１及び第２のセットは、好ましくは上記パラメタ領域において、即ち上記入力された空間画像データにおける上記ステレオ情報に対応する信号パラメタの第１及び第２のセットを生成するため、信号パラメタの上記入力セットにおける１つ又は複数の要素を操作又は変更することにより準備される。これによって、簡単なパラメタ操作だけがアップミキシングにおいて必要とされる、複雑さが非常に低いデコーダの実施形態を提供することが可能である。なぜなら、これは、上記従来技術においてといった必要とされる計算的に複雑なスペクトル領域変換が関係することなく実行されることができるからである。

第１及び第２の信号合成器は、好ましくは、同じタイプの合成器、例えば同一のタイプの合成器及び好ましくは同一の合成器である。

第１及び第２の信号合成器は、シヌソイド、トランジエントタイプ又はノイズタイプ合成器を含むことができる。しかしながら、好ましくは、上記パラメタ処理ユニットは、第１及び第２の、好ましくは同一の信号合成器に適用される、シヌソイドパラメタの第１及び第２のセットを生成するよう構成される。基本的なデコーダ実施形態において、上記第１及び第２の信号合成器は、周波数、振幅及び位相のセットをパラメタとして取るそれぞれ同一のシヌソイド合成器である。

パラメタ処理ユニットは、チャネル間相関パラメタ、チャネル間強度差パラメタ、チャネル間位相及びチャネル間時間差パラメタの少なくとも１つに基づき、パラメタの上記第１及び第２のセットの間の上記差を生成することができる。好ましくは、これらのパラメタの２つ又はそれ以上が、信号パラメタの上記セットのアップミキシングを実行する際に考慮される。

上記第１及び第２の信号合成器が個別の第１及び第２のシヌソイド合成器を含む実施形態において、上記パラメタ処理ユニットは、シヌソイドパラメタの第１及び第２のセットを生成するように構成されることができる。シヌソイドパラメタの上記２つのセットにおける少なくとも１つの、好ましくは複数のシヌソイド要素が、振幅、周波数及び位相の少なくとも１つ、好ましくは複数に対して異なる。

デコーダは、低周波発振器及び乱数発生器の少なくとも１つを含む値生成器を含むことができる。パラメタ処理ユニットは、上記値生成器から受信される値に基づきパラメタの上記第１及び第２のセットの間の差をもたらすよう、この値生成器を利用する。

デコーダは、好ましくは、信号パラメタの上記セットの少なくとも１つの信号パラメタの遅延されたバージョンを生成するよう構成される遅延ユニットを含む。その後パラメタ処理ユニットは、信号パラメタの上記セットの上記少なくとも１つの信号パラメタに基づき、パラメタの上記第１及び第２のセットを生成するだけでなく、上記少なくとも１つの信号パラメタの上記遅延されたバージョンも生成する。好ましくは、これは、以下の態様で行われる。上記パラメタ処理ユニットは、パラメタの第１の中間ステレオセットを形成するため、信号パラメタの上記セットの上記少なくとも１つの信号パラメタに基づき、アップミキシングをまず実行する。次に、ステレオパラメタの第２の中間セットを形成するため、上記少なくとも１つの信号パラメタの上記遅延されたバージョンに基づき、第２のアップミキシングが実行される。最終的に、ステレオパラメタの上記第１及び第２の中間セットは、パラメタの上記第１及び第２のセットを形成するよう結合される。遅延ユニットが、可変の遅延を提供するように構成されることができる。例えば、上記可変の遅延は、パラメタの上記第１及び第２のセットのうちの１つにおける少なくとも１つのパラメタ要素の関数である。

パラメタ処理ユニットは、パラメタの上記第１及び第２のセットの１つにおける少なくとも１つのシヌソイド要素の振幅、周波数及び位相の少なくとも１つを上記空間画像パラメタに基づき変更する、例えばスケール化するよう構成されることができる。パラメタ処理ユニットは、パラメタの上記第１及び第２のセットのシヌソイド要素の振幅に対する利得、位相に対するシフト及び周波数に対するシフトのうちの少なくとも１つを適用するよう更に構成されることができる。

各ステレオチャネルに関する個別のシヌソイド合成器に基づくデコーダ実施形態は、上記パラメトリック音声表現における個別のノイズ及びトランジエントパラメタに基づき、個別のノイズ及びトランジエント信号を生成するよう構成されるノイズ合成器及び／又はトランジエント合成器を更に含むことができ、上記ノイズ及びトランジエント信号が、上記第１及び第２の音声チャネルと結合される。好ましくは、上記ノイズ及びトランジエント信号は、上記時間領域において上記第１及び第２のシヌソイド合成器の出力と結合される。

トランジエント合成器を含むデコーダ実施形態は、上記個別の第１及び第２の音声チャネルに適用されることになる異なる第１及び第２のトランジエント信号部分を生成するため、上記トランジエント信号に異なる利得を適用するよう構成される利得計算ユニットを更に含むことができる。同様に、ノイズ合成器を持つデコーダの実施形態は、上記個別の第１及び第２の音声チャネルに適用されることになる異なる第１及び第２のノイズ信号部分を生成するため、上記ノイズ信号に異なる利得を適用するよう構成される利得計算ユニットを更に含むことができる。

ノイズ合成器を持つ実施形態は、パラメトリック音声表現における上記ノイズパラメタに基づき、第２のノイズ信号を生成するよう構成される第２のノイズ合成器を更に含むことができる。この第２のノイズ合成器は、上記第１のノイズ合成器により生成される上記ノイズ信号と本質的に無相関のノイズ信号を生成するよう構成され、上記第１及び第２のノイズ信号が、上記個別の第１及び第２の音声チャネルに適用される第１及び第２のノイズ信号部分を形成するためにミックスされる。

ノイズ合成器を持つ実施形態は、低周波ノイズを生成するよう構成される低周波ノイズ発生器を更に含むことができる。この低周波ノイズは、上記ノイズ合成器により生成される上記第１のノイズ信号と本質的に無相関の第２のノイズ信号を生成するため、上記ノイズ合成器により生成される上記ノイズ信号で乗算され、上記第１及び第２のノイズ信号が、上記個別の第１及び第２の音声チャネルに適用される第１及び第２のノイズ信号部分を形成するためにミックスされる。

好ましくは、上記デコーダは、上記入力パラメトリック音声表現の各フレームに対してパラメタの上記第１及び第２のセットを更新するよう構成される。

第２の側面において、本発明は、上記第１の側面に基づかれる音声デコーダを含むデバイスを提供する。このデバイスは、例えば音声映像電子装置といったエンタテインメント電子機器を含む任意のタイプの電子デバイスとすることができ、上述されるように、上記デコーダはモバイル装置にも適している。このデコーダは、パラメトリックデコーダ、ＭＰＥＧ４パラメトリック音声、音楽合成器、モバイルデバイス、リングトーン、ゲームデバイス、携帯プレーヤ（例えばソリッドステート音声）といった分野に含まれ、又はこれらの分野に関連付けられるデバイスに適している。上記第１の側面に関して述べられたのと同じ利点及び同じ実施形態が、上記第２の側面に関しても同様に適用されることを理解されたい。

第３の側面において、本発明は、少なくとも信号パラメタのセットと空間画像パラメタとを含むパラメトリック音声表現に応じて、第１及び第２の音声チャネルを生成する方法を提供する。この方法は、

−信号パラメタの上記セットに基づきパラメタの第１及び第２のセットを生成するステップであって、パラメタの上記第１及び第２のセットの間の差が、上記空間画像パラメタに基づき生成される、ステップと、

−パラメタの上記第１のセットを合成することにより第１の音声チャネルを生成するステップと、

−パラメタの上記第２のセットを合成することにより第２の音声チャネルを生成するステップとを有する。

上記第１の側面に関して述べられたのと同じ利点及び同じ実施形態が、上記第３の側面に関しても同様に適用されることを理解されたい。

第４の側面において、本発明は、上記第３の側面に基づかれる方法を実行するよう構成されるコンピュータ実行可能プログラムコードを提供する。斯かるプログラムコードは原則として、専用の信号プロセッサ又は一般的な計算ハードウェア上で実行されることができる。上記第１の側面に関して述べられたのと同じ利点及び同じ実施形態が、上記第４の側面に関しても同様に適用されることを理解されたい。

第５の側面において、本発明は、上記第４の側面に基づかれるコンピュータ実行可能プログラムコードを有するデータ搬送波又はコンピュータ可読記憶媒体を提供する。ストレージメディアのほんの一例を挙げれば、メモリスティック、メモリカード、ＣＤ、ＤＶＤ又はブルーレイベースのディスク又は例えば携帯ハードディスクといったハードディスクである。上記第１の側面に関して述べられたのと同じ利点及び同じ実施形態が、上記第５の側面に関しても同様に適用されることを理解されたい。

上記第１の側面に関して説明される任意の下位の側面が、上記他の側面のいずれかとそれぞれ結合されることができる点を理解されたい。

本発明による基本的なステレオ音声デコーダの実施形態を示す図である。 別の基本的なステレオ音声デコーダの実施形態を示す図である。 シヌソイド、トランジエント及びノイズ要素を持つパラメトリック信号を復号するよう構成されるステレオ音声デコーダの実施形態を示す図である。 シヌソイド、トランジエント及びノイズ要素を持つパラメトリック信号を復号するよう構成される別のステレオ音声デコーダの実施形態を示す図である。 シヌソイド、トランジエント及びノイズ要素を持つパラメトリック信号を復号するよう構成される更に別のステレオ音声デコーダの実施形態を示す図である。 シヌソイド、トランジエント及びノイズ要素を持つパラメトリック信号を復号するよう構成されるまた別のステレオ音声デコーダの実施形態を示す図である。 パラメトリック音声信号を表すデジタルビットストリームを受信し、２つの音声チャネルにこの信号を復号するデバイスを示す図である。

本発明が以下、例示に過ぎないものを用いて、添付の図面を参照して、説明されることになる。

以下において、図１〜図５に図示される信号ブロック図を参照して、５つのデコーダの実施形態が記載されることになる。全ての図において、デコーダは、点線ボックスにより示される。

図１は、本発明の原理を説明するための基本的なステレオ音声デコーダの実施形態を示す。このデコーダ実施形態は、各フレームに対して信号パラメタＳ１のセットと少なくとも１つの空間画像パラメタＸ１とを含むパラメトリック音声表現Ｓ１、Ｘ１のフレームのストリームを入力として捉える。特に、信号パラメタＳ１は、各要素に対して例えば周波数、振幅及び位相を表す値を含むシヌソイド要素のセットの表現を含むか、又は少なくとも、信号パラメタＳ１は、斯かる値が得られることができる表現を含む。空間画像パラメタＸ１は、１）ステレオチャネル間の相互相関又はコヒーレンスを表すチャネル間相互相関（ＩＣＣ）パラメタ、２）ステレオチャネル間の強度差を表すチャネル間強度差（ＩＩＤ）パラメタ、３）チャネル間位相差（ＩＰＤ）又は時間差パラメタ、及び４）ステレオチャネル間で位相差がどのように分散されるかを表す全体の位相差（ＯＰＤ）パラメタ、の１つ又は複数を含むことができる。例えば、[Heiko Purnhagen, "Low Complexity Parametric Stereo Coding in MPEG-4", Proc. Of the 7th International Conference on Digital Audio Effects (DAFx'04), Naples, Italy, October 5-8, 2004]を参照されたい。

シヌソイドパラメタＳ１及び空間画像パラメタＸ１は、別々のシヌソイド合成器ＳＳ１、ＳＳ２に適用される、シヌソイドパラメタＰ１及びＰ２の２つの分離したセットへのモノラルシヌソイドパラメタデータＳ１のアップミキシングを形成するために空間画像パラメタＸ１を利用するパラメタ処理ユニットＰに適用される。これらのシヌソイド合成器ＳＳ１、ＳＳ２、は、パラメタＰ１、Ｐ２の別々のセットに基づき、別々の音声フレームを生成し、これらの別々の音声フレームは、それぞれ第１及び第２の音声チャネルＣ１、Ｃ２を形成する。

パラメタ処理ユニットＰにおけるアップミキシング処理は、従来技術において知られるように実行されることができる。しかしながら、シヌソイドパラメタＰ１、Ｐ２のステレオセットに到達するよう空間画像パラメタＸ１を適用することにより、パラメタ処理ユニットＰがシヌソイドパラメタのモノラルセット上で直接アップミキシングを実行することが好ましい。本質的には、シヌソイドパラメタＰ１及びＰ２のセットは、入力されたシヌソイドパラメタのコピーから生成されることができる。ここで、チャネル差は、空間画像パラメタＸ１に基づき１つ又は複数のシヌソイド要素に関する振幅、周波数及び位相の１つ又は複数を変える又は操作することにより得られる。この変更又は操作は、１つのチャネルだけに関する又は両方のチャネルに関するパラメタ上で実行されることができる。

従って、上記によれば、ステレオ合成が、入力パラメタの簡単な処理で実行され、計算量を必要とするスペクトル領域変換が回避されることができる。従って、斯かるステレオ音声デコーダは、モバイル及び小型デバイスにおける用途に適している。

従来技術に基づく特定のアップミキシング処理を説明すると、この処理は、上述されるように、ＩＣＣ及びＩＩＤ値を含む空間画像パラメタＸ１に基づかれる。これらのＩＣＣ及びＩＩＤ値は周波数帯ごとに特定されることができる。ここで、周波数スケールは、サイコアコースティック的に(psycho-acoustically)関連する。即ち、Ｂａｒｋ又はＥＲＢのような周波数スケールである。

ステレオ信号

は、

に基づき再構成されることができる。ここで、

は、アップミックス行列であり、

が成り立ち、

であり、

は、

として近似されることができる。Ｍは、復号されたモノラル信号であり、Ｄは、相関分離されたバージョンである。相関分離された信号は、好ましくは適切な全域通過フィルタを用いて生成され、及び好ましくは復号されたモノラル信号に類似するスペクトル及び時間エネルギー分布を持つ。

好ましくは、デコーダは、Ｓ１、Ｘ１から１つの入力フレームを取り出し、それに応じて、入力フレームを表す対応する出力チャネルＣ１、Ｃ２を出力する。

図２は、図１を参照して説明された基本的なデコーダの拡張されたバージョンを説明する。図２のデコーダは信号パラメタ表現Ｓ１を受信する、即ちシヌソイドパラメタのセットを含む遅延ユニットＤを含む。この信号パラメタ表現Ｓ１は、例えば図１に関して上述されるように、パラメタ処理ユニットＰに適用される。しかしながら、遅延ユニットＤは、信号パラメタ表現Ｓ１の追加的な遅延バージョンをパラメタ処理ユニットＰに適用する。従って、特定の時間において、現在のシヌソイドパラメタＳ１は、例えば以前のフレームに対応するパラメタといった以前の時間における入力パラメタに対応する、遅延されたバージョンであるシヌソイドパラメタＳ１ｄと共に両方利用可能である。空間画像パラメタＸ１に基づき、パラメタ処理ユニットＰは、シヌソイドパラメタの合計４つのセットに達する、シヌソイドパラメタＳ１及びＳ１ｄの両方のセットを一度に操作する。即ちステレオシヌソイドパラメタの２つの別々のセットが、両方とも同じ空間画像パラメタＸ１に基づかれる。従って、各チャネルに関して、利用可能なパラメタのセットが２つある。個別のステレオチャネルに対するシヌソイドパラメタのこれらの２つのセットは、個別の出力チャネルＣ１、Ｃ２に対する信号を生成する個別のシヌソイド合成器ＳＳ１、ＳＳ２における合成のため、パラメタＰ１、Ｐ２の第１及び第２のセットを形成するようその後結合される。

図３〜６は、パラメトリック音声表現を入力として取るよう構成される４つの異なるステレオ音声デコーダ実施形態を示す。ここで信号パラメタのセットは、シヌソイドパラメタＳ１、トランジエントパラメタＴ１、及びノイズパラメタＮ１を含む。これらのパラメータは、２つの出力チャネルＣ１、Ｃ２、トランジエント合成器ＴＳ、１つ又は２つのノイズ合成器ＮＳ、ＮＳ１、ＮＳ２及び低周波ノイズ発生器ＬＦＮのそれぞれに関して、別々のシヌソイド合成器ＳＳ１、ＳＳ２により独立に合成される。トランジエントパラメタＴ１は、好ましくは、時間エンベロープ、及び基礎となる周期的パラメタにより表される要素を含む。トランジエントに対する周期的パラメタは通常、シヌソイドパラメタ、即ち周波数振幅及び位相である。ノイズパラメタＮ１は、好ましくは、スペクトル及び時間エンベロープにより表される要素を含む。

２つのシヌソイド合成器ＳＳ１、ＳＳ２、トランジエント合成器ＴＳ、ノイズ合成器ＮＳ、ＮＳ１、ＮＳ２及び低周波ノイズ発生器ＬＦＮから出力が、２つの音声チャネルＣ１、Ｃ２を形成するようその後最終的に結合される。更に、３つのデコーダはすべて、上述されるように１つ又は複数の空間画像パラメタＸ１を入力として取り、４つ全ての実施形態において、デコーダは、空間画像パラメタＸ１を受信し、それに従って利得のセットを出力するよう構成される利得計算ユニットＧＣを含む。利得計算ユニットＧＣのより詳細な機能は、各実施形態に関して説明されることになる。ある実施形態において、パラメタ処理ユニットＰが直接示される。一方、２つの実施形態において、このユニットは遅延ユニットＤ及びアップミキシングマトリクスＭに分割される。

最後に、図３〜６の全てにおいて、「＋」は合計点の合計ユニットを示す。一方、「ｘ」は乗算器又は乗算点を示す。

図３は、図１に関して表されるのと同じ機能を持つ同じ要素Ｐ、ＳＳ１、ＳＳ２を含む実施形態を示す。個別のトランジエント及びノイズ合成器ＴＳ、ＮＳにより生成されるモノラルトランジエント信号及びモノラルノイズ信号は、空間画像パラメタＸ１から利得計算ユニットＧＣにおいて得られる利得パラメタに対する、２つの出力チャネルＣ１、Ｃ２の間で分散される。それぞれノイズ及びトランジエントに関して個別の利得値が使用されることができる。しかしながら更なる簡略化のため、ノイズ及びトランジエントの両方に関して同じ利得が使用されることができる。図示される実施形態において、ノイズ及びトランジエント信号は、各チャネルに対する利得を用いて適用される前に、結合されたノイズ及びトランジエント信号に対して合計される。こうして、ノイズ及びトランジエント信号部分に対して同じ利得が適用される。好ましくは、ノイズ合成器ＮＳは、周波数ワープ（ラゲール）フィルタを使用する。

代替的に、以下シヌソイド要素に関して後述するように、特定の周波数帯におけるそれらの周波数及び適切なＩＩＤ及び／又はＩＣＣ値に対してトランジエント要素を分散させることが可能である。

図３の実施形態において、パラメタ処理ユニットＰは、ステレオパラメタに対するパラメタＳ１の入力セットにおけるシヌソイド要素の元の周波数、振幅及び位相パラメタを変える機能を含む。特に、シヌソイド要素が属する特定の周波数帯に関連付けられる着信ステレオパラメタに関して、要素のシヌソイドパラメタが変更されることが好ましい。より詳細には、１）シヌソイド要素の振幅が、ＩＩＤパラメタに関して変更される、２）シヌソイド要素の周波数が、ＩＣＣパラメタ値及び／又はデコーダに構築される低周波発振器（ＬＦＯ）の現在の設定値に関して変更される、及び３）シヌソイド要素の位相が、ＩＣＣパラメタ、シヌソイド要素の周波数及びデコーダに構築される低周波発振器（ＬＦＯ）の現在の設定値に関して変更される、ことが提案される。

図３の実施形態において、相関分離された信号Ｄ（式（１）〜（６）を参照）は、適切な位相及び周波数シフトと低周波発振器とを結合することによりシミュレーションされる。しかしながら、低周波発振器なしの実施形態を使用することも可能である。この場合、シヌソイド要素の位相は、ＩＣＣパラメタ値及び要素周波数に関して変更される。乱数発生器が、低周波発振器ユニットの追加又は置換として使用されることもできる。

約２ｋＨｚ以下で周波数に関する位相調整を用いて、送信されたＩＣＣ値を正確に再生するため、知覚関連（ＥＲＢ）帯域に含まれる全体の（重みつき）平均相回転が実質的にゼロに近いことが重要である。なぜなら、それ以外の場合、事実上異なる空間画像をもたらすＩＰＤキューが合成されるからである。しかしながら、最も低い知覚関連帯域に対して、これは実現することは難しい。なぜなら、これらの帯域に対する帯域幅は通常、２、３のシヌソイド要素だけが存在することを可能にするからである。従って、別の実施形態において、超低周波に配置される要素に関して、２つのステレオチャネル間の適切な相関分離を確実にするため、小さな周波数調整だけが実行される。一方、高い周波数に配置される要素に関しては、位相調整だけが実行される。

図４は、別のステレオ音声デコーダの実施形態を説明する。ここでは、ステレオ相関分離が、過去の（サブ）フレームからのシヌソイドパラメタを用いて実行され、シヌソイド入力パラメタＳ１のセットの遅延バージョンをアップミキシングユニットＭに提供する遅延ユニットＤを導入することにより、即ち図２の実施形態に関連して説明されるのと類似する態様で、実行される。ノイズ及びトランジエント合成器ＮＳ、ＴＳからのノイズ及びトランジエント信号成分を利得計算ユニットＧＣを用いて出力チャネルＣ１、Ｃ２に分散させることに関して、図３に関して説明された機能が、図４の実施形態にも当てはまる。

好ましくは、遅延ユニットＤは、過去のシヌソイドパラメタをアップミキシングユニットＭに提供するのに使用される遅延線を含む。遅延線の長さは、固定又は可変とすることができる。特に、遅延時間は、シヌソイド要素周波数の関数とすることができる。シヌソイド要素の元の周波数、振幅及び位相パラメタが、相関分離された要素を形成するのに使用される。モノラル及び遅延モノラル信号の両方に対するシヌソイドパラメタが、パラメタアップミキシングユニットＭに提供される。アップミキシングユニットＭは、提供される空間画像パラメタＸ１に基づき、元の及び遅延されたシヌソイド要素の振幅をスケール化する。以下のルールが実現されることができる。１）元のシヌソイド要素の振幅が、特定の要素の周波数に関連するＩＩＤ（及びＩＣＣ）パラメタの値に関して、出力チャネルＣ１、Ｃ２の１つに対して変更される。２）遅延するシヌソイド要素の振幅が、特定の要素の周波数に関連するＩＩＤ及びＩＣＣパラメタの値に関して、出力チャネルの両方に対して変更される。３）出力チャネルのうちの１つに対する遅延シヌソイド要素の位相が、逆にされる（即ち１８０度分変更される）。

より詳細には、ＩＩＤパラメタ値に関係なく、遅延されるシヌソイド要素の振幅が、ＩＣＣパラメタのみに関して変更されることができる。

固定長遅延に基づかれる好ましいソリューションは、全域通過相関分離フィルタ特性を提供するものではない。連続スペクトラムにより特徴付けられる信号に適用される場合、斯かる特性は信号色彩を生じさせるだろう。しかしながら、固定長遅延が静止シヌソイド要素にのみ適用されるので、色彩効果は信号品質に関する負の効果を持たない。

図５は、図４からのものの拡張バージョンである、更に別のステレオ音声デコーダの実施形態を示す。従って、上記の説明は、図５の実施形態にも同様に当てはまる。

拡張は、より好適なステレオ撮像を提供するため、より高度なノイズ合成が図５の実施形態において含まれるということである。図から分かるように、２つのノイズ合成器ＮＳ１、ＮＳ２が含まれ、両方のノイズ合成器ＮＳ１、ＮＳ２は同じ入力ノイズパラメタＮ１を受信する。しかしながら、ノイズ合成器ＮＳ１、ＮＳ２は、通常異なるシードで開始される独立した乱数発生器を用いて作成される、その内部的に生成された源信号が無相関であるという側面においてのみ異なる。合成器ＮＳ１、ＮＳ２の両方における後続の処理（時間エンベロープ、ラゲール周波数ノイズシェーピング）は、同一である。こうして、合成器は、個別の第１及び第２の無相関のノイズ信号ｎ１、ｎ２を生成する。両方のノイズ合成器ＮＳ１、ＮＳ２が本質的に同じ動作であるにもかかわらず、あるノイズ合成器ＮＳ１の出力ノイズ信号ｎ１は、「モノラル」ノイズとして機能する。一方、他のノイズ合成器ＮＳ２からの出力ノイズ信号ｎ２は、ステレオアップミキシングに関する「相関分離された」ノイズをとして機能する。

本実施形態において、利得計算ユニットＧＣは、トランジエント信号に対する、及びノイズ合成器出力信号ｎ１、ｎ２のどちらかに対する個別のパニング利得を（パラメトリック空間画像パラメタＸ１から）計算する。２つの出力チャネルＣ１、Ｃ２への上述した信号の合計前に、これらのパニング利得が適用される。従って、図５に示されるように、２つのノイズ信号ｎ１、ｎ２は共に、出力信号Ｃ１、Ｃ２の両方に貢献する。

トランジエント合成器ＴＳからのトランジエント信号に関するパニング利得は、通常は式（２）から（６）において、１）ＩＩＤに関しては、パラメトリックステレオ帯域にわたる個別のＩＩＤ値の（重みなし又は重みつき）平均で置換することにより、及び２）ＩＣＣに関しては、値「１」（完全相関したトランジエント信号を意味する）で置換することにより計算される。これは、α＝β＝０であること、及び行列Ｈが、

となることを意味する。従って、トランジエントパニング利得は、それぞれＣ_Ｌ及びＣ_Ｒに等しい。

ノイズ合成器ＮＳ１、ＮＳ２からの「モノラル」及び「相関分離された」ノイズ信号ｎ１、ｎ２に関する利得は通常、式（２）から（６）において、１）ＩＩＤに関しては、パラメトリックステレオ帯域にわたる個別のＩＩＤ値の（重みなし又は重みつき）平均で置換することより、及び２）ＩＣＣに関しては、パラメトリックステレオ帯域にわたる個別のＩＣＣの（重みなし又は重みつき）平均で置換することにより計算される。従って、利得係数は、結果として生じる行列Ｈにより規定され、ステレオノイズ貢献は、

となる。ここで、Ｍ_{ｎｏｉｓｅ}及びＤ_{ｎｏｉｓｅ}はそれぞれ、「モノラル」及び「相関分離された」ノイズ合成器出力信号ｎ１、ｎ２に等しい。

図５の実施形態において、トランジエント及びノイズ信号ｎ１、ｎ２に関するパニング利得は好ましくは異なる。

説明が簡単になるという理由から、図５及び図６における利得計算ユニットＧＣからの利得は、ボックスＧＣからの単一の出力線により示される。しかしながら、図５及び６の利得計算ユニットＧＣが全ての乗算点に対して異なる利得を生成することができる点、又は利得のいくつか若しくは全てが同じ値を持つことができる点を理解されたい。

図６は、図５に記載されるものの変形例である、更に別のステレオ音声デコーダの実施形態を示す。従って、上記の説明は、図６の実施形態に関してほとんど同様に適用される。図６における変形例は、より低いデコーダ複雑さを提供するため、より効率的なノイズ合成が実施形態に含まれることを示す。図６に示されるように、ノイズ合成器ＮＳ及び低周波ノイズ発生器ＬＦＮが含まれる。ノイズ合成器ＮＳだけが、入力雑音パラメタＮ１を受信する。第１のノイズ信号ｎ１に本質的に無相関であるが、スペクトル形状及び時間エンベロープに関してノイズ信号ｎ１を近似する第２のノイズ信号ｎ２を作成するよう、その後、ノイズ合成器ＮＳにより生成されるノイズ信号ｎ１が、低周波ノイズ発生器により生成される低周波ノイズ信号ｌｆｎにより乗算される。この場合も、ノイズ信号ｎ１は「モノラル」ノイズとして機能する。一方、ノイズ信号ｎ２はステレオアップミキシングに関する「相関分離された」ノイズとして機能する。低周波ノイズ発生器は通常、単一のノイズ合成器において必要とされる（時間エンベロープ、ラゲール周波数ノイズシェーピング）処理より計算的に複雑でないので、この変形例は、複雑さの減少をもたらす。

図７は、例えばモバイルＤＶＤ又はＭＰ３プレーヤ又は携帯電話又はゲームデバイスといった例えばモバイル又は小型デバイスのようなデバイスＤＶを示す。デバイスＤＶは、パラメトリック表現における符号化ステレオ音声信号を含むデジタルビットストリームＢＳを受信するよう構成される。このパラメトリック表現は、本発明に基づかれる、従って上記説明に基づかれるステレオ音声デコーダＡＤに与えられる。いくつかの実施形態において、ステレオ音声デコーダＡＤは、デジタルステレオＰＣＭ出力信号を提供するよう構成され、この出力信号は、増幅器により増幅されるアナログステレオ信号を出力するデジタルアナログ変換器にその後適用され、こうして、ステレオヘッドホン又はステレオラウドスピーカのセットに対して適用されることができる２つの出力チャネルＯ１、Ｏ２のセットが生じる。

本発明を要約すると、複雑さが低減されたステレオ音声デコーダが提供される。高いステレオ音質が、限られた計算パワーでも得られることができ、こうして、本発明は、小型及びモバイル装置に適している。ステレオデコーダは、信号パラメタ（Ｓ１）及びステレオ関連パラメタ（Ｘ１）を含むパラメトリック音声入力に応答して、ステレオ出力チャネル（Ｃ１、Ｃ２）のセットを生成する。パラメタプロセッサ（Ｍ）は、入力信号パラメタ（Ｓ１）に基づきパラメタ（Ｐ１、Ｐ２）の２つの異なるセットを生成する。こうして、ステレオ関連パラメタ（Ｘ１）に対応する信号パラメタ（Ｓ１）を変更又は操作することにより、信号パラメタ（Ｓ１）がアップミキシングされる。２つの異なるパラメタ（Ｐ１、Ｐ２）は、個別のステレオ出力チャネル（Ｃ１、Ｃ２）を形成する個別の信号合成器（ＳＳ１、ＳＳ２）により最終的に合成される。ステレオ復号がスペクトル領域の代わりにパラメタ領域において実行されることができるので、必要とされる計算負荷は、従来技術において知られるものと比較して減らされる。信号合成器（ＳＳ１、ＳＳ２）は好ましくは、シヌソイド合成器である。デコーダは好ましくは、ステレオ出力チャネル（Ｃ１、Ｃ２）に適用されるトランジエント及びノイズ信号部分を生成するためのトランジエント及びノイズ合成器も含む。更に、ステレオ関連パラメタ（Ｘ１）に基づき異なる利得を適用することにより、異なるトランジエント及びノイズ信号部分が出力チャネル（Ｃ１、Ｃ２）に対して提供されることができる。好ましい実施形態において、２つのパラメタ（Ｐ１、Ｐ２）は、例えば入力遅延経路を用いて、以前の信号パラメタ入力だけでなく現在の信号パラメタから決定される。

本発明は、特定の実施形態と共に説明されてきたが、本書に記載される特定の形式に限定されることを意図するものではない。むしろ、本発明の範囲は、添付された特許請求の範囲によってのみ限定される。特許請求の範囲において、「有する」という用語は、他の要素又はステップの存在を排除するものではない。更に、個別の特徴が異なる請求項に含まれることができるが、これらは可能であれば有利に結合されることができる。異なる請求項に含まれることは、これらの特徴の組み合わせが、実現できない及び／又は有利でないことを意味するものではない。更に、単数形の参照は、複数性を排除するものではない。従って、「a」「an」「第１」「第２」等への参照は、複数性を除外するものではない。更に、請求項における参照符号は、発明の範囲を限定するものとして解釈されるべきではない。

Claims (18)

1. 少なくとも信号パラメタのセットと空間画像パラメタとを含むパラメトリック音声表現に基づき、第１及び第２の音声チャネルを生成する音声デコーダであって、
   前記信号パラメタの領域において前記空間画像パラメタに基づき前記信号パラメタのセットにおける少なくとも１つの要素を操作又は変更することにより、パラメタの第１及び第２のセットを生成するよう構成されるパラメタ処理ユニットであって、前記空間画像パラメタに基づき、前記パラメタの第１及び第２のセットの間の差を生成するよう構成される、パラメタ処理ユニットと、
   前記パラメタの第１のセットに基づき、第１の音声チャネルを生成するよう構成される第１の信号合成器と、
   前記パラメタの第２のセットに基づき、第２の音声チャネルを生成するよう構成される第２の信号合成器とを有する、音声デコーダ。
2. 第１及び第２の信号合成器が、同じタイプの合成器である、請求項１に記載の音声デコーダ。
3. 前記パラメタ処理ユニットが、前記第１及び第２の音声チャネルに関する、チャネル間相関パラメタ、チャネル間強度差パラメタ、チャネル間位相及びチャネル間時間差パラメタの少なくとも１つに基づき、前記パラメタの第１及び第２のセットの間の差を生成する、請求項１に記載の音声デコーダ。
4. 前記パラメタ処理ユニットが、シヌソイドパラメタの第１及び第２のセットを生成するよう構成され、前記第１及び第２の信号合成器は、個別の第１及び第２のシヌソイド合成器を含む、請求項２に記載の音声デコーダ。
5. 前記パラメタ処理ユニットが、シヌソイドパラメタの第１及び第２のセットを生成するよう構成され、前記シヌソイドパラメタの２つのセットの少なくとも１つのシヌソイド要素は、振幅、周波数及び位相の少なくとも１つに関して異なる、請求項２に記載の音声デコーダ。
6. 前記パラメタ処理ユニットが、前記空間画像パラメタに基づき、前記パラメタの第１及び第２のセットのうちの１つにおける少なくとも１つのシヌソイド要素の振幅、周波数及び位相のうちの少なくとも１つを変更するよう更に構成される、請求項４に記載の音声デコーダ。
7. 前記パラメタ処理ユニットが、前記パラメタの第１及び第２のセットのシヌソイド要素の振幅に対する利得、位相に対するシフト及び周波数に対するシフトのうちの少なくとも１つを適用するよう更に構成される、請求項４に記載の音声デコーダ。
8. 前記パラメトリック音声表現における個別のトランジエント及びノイズパラメタに基づき、個別のトランジエント及びノイズ信号を生成するよう構成されるトランジエント合成器及びノイズ合成器を更に含み、前記トランジエント及びノイズ信号が、前記第１及び第２の音声チャネルと結合される、請求項４に記載の音声デコーダ。
9. 前記個別の第１及び第２の音声チャネルに適用されることになる異なる第１及び第２のトランジエント信号部分を生成するため、前記トランジエント信号に異なる利得を適用するよう構成される利得計算ユニットを更に含む、請求項８に記載の音声デコーダ。
10. 前記個別の第１及び第２の音声チャネルに適用されることになる異なる第１及び第２のノイズ信号部分を生成するため、前記ノイズ信号に異なる利得を適用するよう構成される利得計算ユニットを更に含む、請求項８に記載の音声デコーダ。
11. 前記パラメトリック音声表現における前記ノイズパラメタに基づき、第２のノイズ信号を生成するよう構成される第２のノイズ合成器を更に含み、前記第２のノイズ合成器が、前記ノイズ合成器としての第１のノイズ合成器により生成される前記ノイズ信号としての第１のノイズ信号と本質的に無相関のノイズ信号を生成するよう構成され、前記第１及び第２のノイズ信号は、前記個別の第１及び第２の音声チャネルに適用される第１及び第２のノイズ信号部分を形成するためにミックスされる、請求項８に記載の音声デコーダ。
12. 前記デコーダが、前記パラメトリック音声表現の各フレームに対して前記パラメタの第１及び第２のセットを更新するよう構成される、請求項１に記載の音声デコーダ。
13. 請求項１乃至１２のいずれかに記載の音声デコーダを含むデバイス。
14. 少なくとも信号パラメタのセット及び空間画像パラメタを含むパラメトリック音声表現に応じて、第１及び第２の音声チャネルを生成する方法において、
    前記信号パラメタの領域において前記空間画像パラメタに基づき前記信号パラメタのセットにおける少なくとも１つの要素を操作又は変更することにより、パラメタの第１及び第２のセットを生成するステップであって、前記パラメタの第１及び第２のセットの間の差が、前記空間画像パラメタに基づき生成される、ステップと、
    前記パラメタの第１のセットを合成することにより第１の音声チャネルを生成するステップと、
    前記パラメタの第２のセットを合成することにより第２の音声チャネルを生成するステップとを有する、方法。
15. 前記第１及び第２の音声チャネルが、同じタイプの合成により生成される、請求項１４に記載の方法。
16. パラメタの前記第１及び第２のセットが、シヌソイドパラメタを含み、前記パラメタの前記第１及び第２のセットを合成するステップは、シヌソイド合成を含む、請求項１４に記載の方法。
17. 請求項１４に記載の方法を実行するよう構成されるコンピュータ実行可能なプログラム。
18. 請求項１７に記載のコンピュータ実行可能プログラムを表すデータを含むデータ担体。

Images