JP5607626B2 - パラメトリックステレオ変換システム及び方法 - Google Patents

Description

（関連出願）
本出願は、２００７年８月１７日に出願された「Ｐａｒａｍｅｔｒｉｃ Ｓｔｅｒｅｏ Ｃｏｎｖｅｒｓｉｏｎ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ（パラメトリックステレオ変換システム及び方法）」という名称の米国仮出願第６０／９６５，２２７号に対する優先権を主張し、当該出願は、あらゆる目的で引用により本明細書に組み込まれている。

本発明は、オーディオコーダの分野に関し、より具体的には、位相データにおける変化について振動強度データを補償して、位相データが含まれない場合に発生する恐れがあるオーディオアーチファクト又は他の雑音の生成を伴わずに各チャネルにおいて振動強度データのみを伝送可能にするように、振動強度及び位相データを有する多チャネルオーディオデータを調整するためのシステム及び方法に関する。

位相及び振動強度データを含むオーディオ信号から位相データを取り除く多チャネルオーディオ符号化技法は、当該技術分野で公知である。これらの技法は、通常は位相情報を含むはずのステレオ音響音をシミュレートするのに用いられることになる左チャネル信号と右チャネル信号との間の振動強度差を用いたパラメトリックステレオを含む。かかるパラメトリックステレオは、聴取者が、信号内に位相データも含まれていた場合に体感することになる最大音場深さを有するステレオ音響音を体感することは可能ではないが、単純なモノラル音（各チャネルの振幅が等しい場合など）よりも優れた音質を改善する何らかの音場深さを提供する。

振動強度及び位相データを含む多チャネルオーディオデータから、振動強度データのみを含む多チャネルオーディオデータに変換することに伴う１つの問題は、位相データを適正に処理することである。位相データが単に削除された場合、結果として生じる振動強度のみのデータを聴取者にとって不快なものにするオーディオアーチファクトが生成されることになる。先進的オーディオ符号化（ＡＡＣ）システムのような幾つかのシステムは、位相データの取り除きを補償するために受信器によって用いられる側波帯情報を利用するが、かかるシステムは、ユーザが、側波帯データを処理できる特殊な受信器を有することを必要とし、また、不快なオーディオアーチファクトを生成する恐れがある雑音信号が側波帯データ内に導入される場合に起こる可能性がある問題を生じやすい。これに加えて、高周波数位相変化に対して側波帯データを伝送する試みは、低ビットレート伝送処理が用いられる場合にオーディオアーチファクトを生成する恐れがある。

本発明によれば、多チャネルオーディオ信号を処理して位相データの振動強度データを補償するためのシステム及び方法が提供され、これにより位相データ及び振動強度データを有するオーディオデータを振動強度データのみを有するオーディオデータに変換することに関する既知の問題が解決される。

詳細には、多チャネルオーディオ信号を処理して位相データについての振動強度データを補償するシステム及び方法が提供され、これにより側波帯データの必要性を排除し、変換処理中に生じる恐れがあるオーディオアーチファクトが補償される。

本発明の例示的な実施形態によれば、位相変調されたステレオデータからパラメトリックステレオデータを生成するためのシステムが提供される。位相差システムは、左チャネルデータ及び右チャネルデータを受け取り、左チャネルデータと右チャネルデータとの間の位相差を特定する。位相差重み付けシステムは、位相差データを受け取り、位相差データに基づいて左チャネル振幅データ及び右チャネル振幅データを調節するための重み付けデータを生成する。振動強度修正システムは、重み付けデータを用いて左チャネル振幅データ及び右チャネル振幅データを調節し、左チャネルデータ及び右チャネルデータ内の位相データを取り除く。

本発明は、多くの重要な技術的利点を提供する。本発明の１つの重要な技術的利点は、位相データの振動強度データを補償する多チャネルオーディオ信号を処理するためのシステム及び方法であって、位相データにおける変化に基づいて振動強度データを平滑化し、低ビットレートの振動強度データが高周波数位相変化を含むように調節された場合に生じる恐れがあるオーディオアーチファクトの生成を回避するようにする。

当業者であれば、図面を併用して以下の詳細な説明を読むと、本発明の利点及び優れた特徴並びに本発明の他の重要な態様が更に理解されるであろう。

本発明の例示的な実施形態による、位相データ及び振動強度データの両方を有する多チャネルオーディオデータをパラメトリックステレオ等の振動強度データのみを利用する多チャネルオーディオデータに変換するためのシステムの図である。 本発明の例示的な実施形態による、位相差重み付け係数の図である。 本発明の例示的な実施形態による、コヒーレンス空間調整システムの図である。 本発明の例示的な実施形態による、パラメトリック符号化のための方法の図である。 本発明の例示的な実施形態による、動的位相傾向補正のためのシステムの図である。 本発明の例示的な実施形態による、スペクトル平滑化を実施するためのシステムの図である。 本発明の例示的な実施形態による、電力補償強度再パニングのためのシステムの図である。

以下の説明では、本明細書及び図面全体にわたって同様の要素が同じ参照番号で示している。図面は縮尺通りではない場合があり、特定の構成要素が一般的な形式又は概略的な形式で示され、明瞭及び簡潔にする目的で商標により特定することができる。

図１は、本発明の例示的な実施形態による、位相及び振動強度データの両方を有する多チャネルオーディオデータを、パラメトリックステレオ等の振動強度データのみを利用する多チャネルオーディオデータに変換するためのシステム１００の図である。システム１００は、強度又は振動強度データのみを用いてステレオ像データを生成するために、左右チャネルの音データにおける位相差を識別し、位相差を振動強度差に変換する。同様に、適切な場合には追加のチャネルを付加的又は代替的に用いることができる。

システム１００は、時間−周波数変換システム１０２において時間領域右チャネルオーディオデータを受け取り、時間−周波数変換システム１０４において時間領域左チャネルオーディオデータを受け取る。１つの例示的な実施形態では、システム１００は、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの適切な組み合わせで実装することができ、デジタルシステムプロセッサ、汎用処理プラットフォーム、又はその他の適切なプラットフォーム上で動作する１つ又はそれ以上のソフトウェアシステムとすることができる。本明細書で用いるハードウェアシステムは、ディスクリート構成要素、集積回路、特定用途向け集積回路、フィールドプログラマブルゲートアレイ、又はその他の適切なハードウェアの組み合わせを含むことができる。ソフトウェアシステムは、１つ又はそれ以上のオブジェクト、エージェント、スレッド、コード行、サブルーチン、個別ソフトウェアアプリケーション、２つ又はそれ以上のソフトウェアアプリケーション内又は２つ又はそれ以上のプロセッサ上で動作する２つ又はそれ以上のコード行又はその他の適切ソフトウェア構造、或いはその他の適切なソフトウェア構造を含むことができる。１つの例示的な実施形態では、ソフトウェアシステムは、オペレーティングシステム等の汎用ソフトウェアアプリケーション内で動作する１つ又はそれ以上のコード行もしくは他の適切なソフトウェア構造、及び専用ソフトウェアアプリケーション内で動作する１つ又はそれ以上のコード行もしくはその他の適切なソフトウェア構造を含むことができる。

時間−周波数変換システム１０２及び時間−周波数変換システム１０４は、右及び左チャネルの時間領域オーディオデータをそれぞれ周波数領域データに変換する。１つの例示的な実施形態では、周波数領域データは、３０ミリ秒等の適切な時間間隔にわたる周波数データの１，０２４個のビン等のサンプル間隔にわたって取り込まれた周波数データフレームを含むことができる。周波数データのビンは、２０ｋＨｚ等の所定の周波数範囲にわたって均等に間隔を置いて配置することができ、臨界帯域、等価方形帯域幅（ＥＲＢ）等の所定の帯域内に集中することができ、或いは、他の方法で適切に分散させることができる。

時間−周波数変換システム１０２及び時間−周波数変換システム１０４は、位相差システム１０６に結合される。本明細書で用いる用語「結合された」及び「結合する」等の同種の用語は、物理的接続（電線、光ファイバ、通信媒体等）、仮想接続（データメモリデバイスのランダム割り当てメモリーロケーション、又はハイパーテキスト転送プロトコル（ＨＴＴＰ）リンク等を通じて）、論理接続（集積回路内の１つ又はそれ以上の半導体デバイス等を通じて）、又はその他の適切な接続を含むことができる。１つの例示的な実施形態では、通信媒体は、ネットワーク又はその他の適切な通信媒体とすることができる。

位相差システム１０６は、時間−周波数変換システム１０２及び時間−周波数変換システム１０４によって生成された周波数データフレーム内の周波数ビン間の位相差を特定する。これらの位相差は、通常は聴取者により知覚されることになる位相データであって、信号のステレオ音響品質を高める位相データを表す。

位相差システム１０６は、Ｎ−２フレームバッファ１１０、Ｎ−１フレームバッファ１１２、及びＮフレームバッファ１１４を含むバッファシステム１０８に結合される。１つの例示的な実施形態では、バッファシステム１０８は、望ましい個数のフレームからの位相差データを記憶するようにするため、適切な個数のフレームバッファを含むことができる。Ｎ−２フレームバッファ１１０は、時間−周波数変換システム１０２及び時間−周波数変換システム１０４によって変換された最後から２番目のデータフレームについての位相差システム１０６から受け取った位相差データを記憶する。同様にＮ−１フレームバッファ１１２は、位相差システム１０６からの位相差データの前のフレームについての位相差データを記憶する。Ｎフレームバッファ１１４は、位相差システム１０６によって生成された位相差の現在のフレームについての現在位相差データを記憶する。

位相差システム１１６は、Ｎ−２フレームバッファ１１０及びＮ−１フレームバッファ１１２に結合され、これらのバッファ内に記憶された２組の位相差データ間の位相差を特定する。同様に位相差システム１１８は、Ｎ−１フレームバッファ１１２及びＮフレームバッファ１１４に結合され、これらのバッファ内に記憶された２組の位相差データ間の位相差を特定する。同様に、追加の位相差システムを用いて、バッファシステム１０８内に記憶された適切な個数のフレームについての位相差を生成することができる。

位相差システム１２０は、位相差システム１１６及び位相差システム１１８に結合され、各システムから位相差データを受け取り、合計位相差を特定する。この例示的な実施形態では、大きい位相差を有する周波数ビンと小さい位相差を有する周波数ビンとを識別するために、３つの連続する周波数データフレームについての位相差が特定される。追加の位相差システムを付加的又は代替的に用いて、所定数の位相差データフレームについての合計位相差を特定することができる。

位相差バッファ１２２は、３つのフレームからなる前の組についての位相差システム１２０からの位相差データを記憶する。同様にバッファシステム１０８が、３つよりも多くのフレーム差を有する場合には、位相差バッファ１２２は、更なる位相差データを記憶することができる。位相差バッファ１２２は、フレーム（Ｎ−４、Ｎ−３、Ｎ−２）から生成された組、フレーム（Ｎ−３、Ｎ−２、Ｎ−１）から生成された組、フレーム（Ｎ−２、Ｎ−１、Ｎ）から生成された組、フレーム（Ｎ−１、Ｎ、Ｎ＋１）から生成された組、又は位相差データの他の適切な組等、位相差データの追加の前の組についての位相差データを付加的又は代替的に記憶することができる。

位相差重み付けシステム１２４は、位相差バッファ１２２からバッファリングされた位相差データを受け取り、位相差システム１２０から現在の位相差データを受け取り、位相差重み付け係数を適用する。１つの例示的な実施形態では、高度の位相差を呈する周波数ビンには、一定の位相差を呈する周波数ビンよりも小さい重み付け係数が与えられる。このようにして、周波数差データを用いて、連続するフレーム間で高度の位相差を呈する周波数ビンから変化を取り除き、連続するフレーム間で低い位相差を呈している周波数ビンに対してエンファシスを与えるように振動強度データを平滑にすることができる。この平滑化は、特に低ビットレートのオーディオデータが処理又は生成されている場合に、位相及び振動強度データを有するオーディオデータから、パラメトリックステレオデータ等の振動強度データのみを有するオーディオデータへの変換によって導入される可能性のあるオーディオアーチファクトを低減又は取り除くのを助けることができる。

振動強度修正システム１２６は、位相差重み付けシステム１２４から位相差重み付け係数データを受け取り、時間−周波数変換システム１０２及び時間−周波数変換システム１０４からの変換された右チャネル及び左チャネルのデータに振動強度修正データを提供する。このようにして、左右チャネルのオーディオについての現在のフレーム周波数データは、振動強度を調節して位相差を補正するように修正され、左右の振動強度値の間のパニングを用いてステレオ音を作成できるようになる。このようにして、右チャネルと左チャネルとの間の位相差が平滑化されて振幅修正データに変換され、位相データの伝送を必要とすることなく、振幅のみによってステレオ又はその他の多チャネル音をシミュレートするようになる。同様に、バッファシステムを用いて修正中である現在の周波数データフレームをバッファリングし、周波数データの（Ｎ−１、Ｎ、Ｎ＋１）フレームの組、又は他の好適なデータの組からのデータを利用することができる。振動強度修正システム１２６はまた、聴取者に対する見かけ上のステージ幅を減幅又は拡幅するために、所定の周波数ビン、周波数ビン群にわたって、又はその他の適切な方式で２つ又はそれ以上のチャネルの間の振動強度における差を圧縮又は拡大することができる。

周波数−時間変換システム１２８及び周波数−時間変換システム１３０は、振動強度修正システム１２６から修正された振動強度データを受け取り、周波数データを時間信号に変換する。このようにして、周波数−時間変換システム１２８及び周波数−時間変換システム１３０それぞれによって生成される左チャネルデータ及び右チャネルデータは、同相であるが振動強度が異なり、強度のみを用いてステレオデータをシミュレートし、位相データを記憶、伝送、又は他の方法で処理する必要がないようにする。

動作時には、システム１００は、位相及び振動強度データを含む多チャネルオーディオデータを処理して振動強度データのみを有する多チャネルオーディオデータを生成し、ステレオ音響又はその他の多チャネルオーディオデータを生成するために伝送する必要があるデータ量を低減する。システム１００は、周波数データの変化について振動強度データを補償して高周波数位相変化からの作用を低減するようにすることによって、位相及び振動強度データを含むオーディオデータが振動強度データのみを含むオーディオデータに変換される時に生じる可能性があるオーディオアーチファクトを取り除く。このようにして、オーディオデータの伝送に利用可能なビットレートが高周波数位相データを正確に表すのに必要とされるビットレートよりも低い場合に導入される可能性があるオーディオアーチファクトが取り除かれる。

図２は、本発明の例示的な実施形態による位相差重み付け係数２００Ａ及び２００Ｂの図である。位相差重み付け係数２００Ａ及び２００Ｂは、位相変化の関数として振幅データに適用されることになる例示的な正規化重み付け係数を示している。１つの例示的な実施形態では、高度の位相変化を示す周波数ビンは、低度の位相変化を示す周波数ビンよりも小さい正規化重み係数で重み付けされ、パラメトリックステレオデータ又はその他の多チャネルデータがステレオ音を不適切に表す要因となる潜在的雑音又はその他のオーディオアーチファクトを平滑化する。１つの例示的な実施形態では、位相差重み付け係数２００Ａ及び２００Ｂは、位相差重み付けシステム１２４又はその他の適切なシステムが適用することができる。重み付け量は、オーディオデータに対するビットレートにおいて期待される低減に対応するよう修正することができる。例えば、高度のデータ低減が必要とされる場合には、高度の位相変化を呈する周波数ビンに与えられる重み付けは、位相差重み付け係数２００Ａに示される漸近的方式などで有意に低減させることができ、低度のデータ低減が必要とされる場合には、高度の位相変化を呈する周波数ビンに与えられる重み付けは、位相差重み付け係数２００Ｂを用いるなどによって、それ程有意には低減しなくてもよい。

図３は、本発明の例示的な実施形態によるコヒーレンス空間調整システム３００の図である。コヒーレンス空間調整システム３００は、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの適切な組み合わせで実装することができ、１つ又はそれ以上のディスクリートデバイス、汎用処理プラットフォーム上で動作する１つ又はそれ以上のシステム、又はその他の適切なシステムとすることができる。

コヒーレンス空間調整システム３００は、空間調整システムの例示的な実施形態を提示するが、空間調整アルゴリズムを実装するためのその他の適切なフレームワーク、システム、プロセス、又はアーキテクチャを付加的又は代替的に用いることもできる。

コヒーレンス空間調整システム３００は、多チャネルオーディオ信号の空間様相を修正し（すなわち、システム３００は、ステレオ調整システムを例示している）、オーディオ圧縮中のアーチファクトを軽減する。ステレオ入力スペクトルの位相スペクトルは、最初に減算器３０２によって差分され、差分位相スペクトルを作成する。差分位相スペクトルは、乗算器３０４を通じて重み付け係数Ｙ（Ｋ）＝Ｂ₁Ｘ（Ｋ）＋Ｂ₂Ｘ（Ｋ−１）−Ａ₁Ｙ（Ｋ−１）で重み付けされる。ここで、
Ｙ（Ｋ）＝平滑化された周波数ビンＫの振動強度
Ｙ（Ｋ−１）＝平滑化された周波数ビンＫ−１の振動強度
Ｘ（Ｋ）＝周波数ビンＫの振動強度
Ｘ（Ｋ−１）＝周波数ビンＫ−１の振動強度
Ｂ₁＝重み付け係数
Ｂ₂＝重み付け係数
Ａ₁＝重み付け係数
Ｂ₁＋Ｂ₂＋Ａ₁＝１
である。

重み付け係数Ｂ₁、Ｂ₂、及びＡ₁は、観測、システム設計、又はその他の適切な要因に基づいて決定することができる。１つの例示的な実施形態では、重み付け係数Ｂ₁、Ｂ₂、及びＡ₁は、全ての周波数ビンに対して固定される。同様に重み付け係数Ｂ₁、Ｂ₂、及びＡ₁は、臨界帯域又はその他の適切な周波数ビン群に基づいて修正することができる。

次いで、重み付き差分位相信号は２で除算し、減算器３０８によって入力位相スペクトル０から減算して、加算器３０６によって入力スペクトル１と加算する。減算器３０８及び加算器３０６の出力は、それぞれ出力調整された位相スペクトル０及び１である。

動作時には、コヒーレンス空間調整システム３００は、パラメトリックステレオでの使用などのため、単相スペクトル帯域を生成する作用がある。

図４は、本発明の例示的な実施形態によるパラメトリック符号化のための方法４００の図である。方法４００は４０２で始まり、ここでＮ個のオーディオデータチャネルが周波数領域に変換される。１つの例示的な実施形態では、フーリエ変換又はその他の適切な変換を用いること等によって、左右のチャネルステレオデータは各々、所定の間隔にわたって周波数領域データフレームに変換することができる。次に、本方法は４０４に進む。

４０４では、チャネル間の位相差が特定される。１つの例示的な実施形態では、左右のチャネルオーディオデータの周波数ビンを比較して、左チャネルと右チャネルとの間の位相差を特定することができる。次いで、本方法は４０６に進む。

４０６では、フレームについての位相差データがバッファ内に記憶される。１つの例示的な実施形態では、バッファシステムは、位相差データを記憶するために所定数のバッファを含むことができ、バッファは動的に割り当てることができ、又はその他の適切な処理を用いることができる。次に、本方法は４０８に進む。

４０８では、Ｍ個のデータフレームがバッファ内に記憶されたか否かを判定する。１つの例示的な実施形態では、Ｍは、３又は他の何れかの適切な整数に等しいとすることができ、望ましい個数のフレーム間で平滑化を実施できるようにする。４０８で、Ｍ個のデータフレームが記憶されていないと判定された場合、本方法は４０２に戻る。そうでなければ本方法は４１０に進む。

４１０では、Ｍ−１フレームとＭフレームとの間の位相差を特定する。例えば、Ｍが３に等しい場合には、２番目のデータフレームと３番目のデータフレームとの間の位相差が特定される。次いで、本方法は４１２に進み、ここで位相差データがバッファリングされる。１つの例示的な実施形態では、所定数のバッファをハードウェア又はソフトウェア内に作成することができ、バッファシステムは、バッファデータ記憶領域を動的に割り当てることができ、又はその他の適切なプロセスを用いることができる。次に、本方法は４１４に進み、ここでＭを１だけ減少させる。次いで本方法は４１６に進み、ここでＭが０であるか否かを判定する。例えば、Ｍが０である場合には、全てのバッファリングされたデータフレームが処理されている。Ｍが０ではないと判定された場合、本方法は４０２に戻る。そうでなければ、本方法は４１８に進む。

４１８では、バッファリングされたフレームの位相差データ間の位相差が特定される。例えば、２つの位相差データフレームが記憶されている場合には、これらの２つのフレーム間の差が特定される。同様に位相差データの３つ、４つ、又はその他の適切な個数のフレームを用いることができる。次いで、本方法は４２０に進み、ここで多フレーム差分データがバッファリングされる。次に、本方法は４２２に進む。

４２２では、所定数の多フレームバッファ値が記憶されたか否かを判定する。所定数の多フレームバッファ値が記憶されていないと判定された場合には、本方法は４０２に戻る。そうでなければ本方法は４２４に進む。

４２４では、前の多フレームバッファと現在の多フレームバッファについての位相差データが生成される。例えば、２つの多フレームバッファリングされたデータ値が存在する場合には、２つの多フレームバッファ間の位相差が特定される。同様にＮが２よりも大きい場合の現在の多フレームバッファと前の多フレームバッファとの間の位相差も特定することができる。次に、本方法は４２６に進む。

４２６では、位相差データに基づいて周波数データの現在、前回、又はその他の適切なフレーム内の各周波数ビンに対して重み付け係数を適用する。例えば、に、重み付け係数は、小さい位相変化を呈する周波数ビンについて振動強度値により大きい重みを適用することができ、大きい変化を呈する周波数ビンには重みを置かないようにすることができ、位相データが破棄されるか或いは他の方法で考慮される場合にパラメトリックステレオデータ内にオーディオアーチファクトを生じさせる恐れがある位相データを表すオーディオアーチファクト、雑音、又はその他の情報を低減するようにする。重み付け係数は、オーディオデータ伝送ビットレートにおける所定の低減に基づいて選択することができ、周波数ビン又は周波数ビン群に基づいて付加的又は代替的に変更することができる。次に、本方法は４２８に進む。

４２８では、左右のチャネルデータについての重み付き周波数データを周波数領域から時間領域に変換する。１つの例示的な実施形態では、平滑化プロセスは、オーディオデータフレームの先行する組に基づいて、オーディオデータフレームの現在の組に対して実施することができる。別の例示的な実施形態では、平滑化プロセスは、オーディオデータフレームの先行及び後続の組に基づいて、オーディオデータフレームの前の組に対して実施することができる。同様に他の適切なプロセスを付加的又は代替的に用いることができる。このようにして、オーディオデータチャネルは、パラメトリック多チャネル品質を呈し、ここでは位相データが除去されているが、該位相データは振動強度データに変換されており、位相データの記憶又は伝送を必要とせず、更に、チャネル間の位相変化の周波数が、利用可能な伝送チャネル帯域幅によって対応可能な周波数を超える時に生じる恐れがあるオーディオアーチファクトを生成することなく多チャネル音をシミュレートするようになる。

動作時には、方法４００は、パラメトリックステレオ又はその他の多チャネルデータを生成可能にする。方法４００は、ステレオ又はその他の多チャネルデータ間の周波数差を除去して、これらの周波数変化を振動強度変化に変換し、左右又はその他の複数のチャネル間の位相関係を伝送又は他の方法で処理することを必要とせずにステレオ音響又はその他の多チャネル音の様相を保持するようにする。このようにして、既存の受信器を用いて、位相データの取り除きを補償するために受信器によって必要とされることになる側波帯データ又はその他のデータを必要とすることなく位相補償された多チャネルオーディオデータを生成することができる。

図５は、本発明の例示的な実施形態による動的位相傾向補正のシステム５００の図である。システム５００は、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの適切な組み合わせで実装することができ、汎用処理プラットフォーム上で動作する１つ又はそれ以上のソフトウェアシステムとすることができる。

システム５００は、ステレオ音響音源又は他の好適なシステムから生成もしくは受け取った左右のチャネル時間信号を供給できる左時間信号システム５０２と右時間信号システム５０４とを含む。短時間フーリエ変換システム５０６及び５０８は、それぞれ左時間信号システム５０２及び右時間信号システム５０４に結合され、時間信号の時間−周波数領域変換を実施する。フーリエ変換、離散余弦変換、又はその他の適切な変換等の他の変換を付加的又は代替的に用いることができる。

短時間フーリエ変換システム５０６及び５０８からの出力は、それぞれ３フレーム遅延システム５１０及び５２０に供給される。短時間フーリエ変換システム５０６及び５０８の振動強度出力は、それぞれ振動強度システム５１２及び５１８に供給される。短時間フーリエ変換システム５０６及び５０８の位相出力は、それぞれ位相システム５１４及び５１６に供給される。振動強度システム５１２及び５１８並びに位相システム５１４及び５１６によって追加の処理を実施することができ、或いは、これらのシステムは、それぞれの未処理信号又はデータを供給することができる。

臨界帯域フィルタバンク５２２及び５２４は、それぞれ振動強度システム５１２及び５１８から振動強度データを受け取り、周波数データの所定帯域をフィルタリングする。１つの例示的な実施形態では、臨界フィルタバンク５２２及び５２４は、線形に間隔を置いて配置された周波数ビンを、バーク周波数スケール等の周波数ビンの知覚エネルギー及び人間の聴覚応答に基づいて、周波数ビンをグループ化する心理音響フィルタに基づいて非線形周波数ビン群にグループ化することができる。１つの例示的な実施形態では、バーク周波数スケールは、人間の聴覚の第１の２４個の臨界帯域に対応して、１バークから２４バークの範囲にわたることができる。例示的なバーク帯域端は、ヘルツ単位で、０、１００、２００、３００、４００、５１０、６３０、７７０、９２０、１０８０、１２７０、１４８０、１７２０、２０００、２３２０、２７００、３１５０、３７００、４４００、５３００、６４００、７７００、９５００、１２０００、１５５００として与えられる。例示的な帯域中心は、ヘルツ単位で５０、１５０、２５０、３５０、４５０、５７０、７００、８４０、１０００、１１７０、１３７０、１６００、１８５０、２１５０、２５００、２９００、３４００、４０００、４８００、５８００、７０００、８５００、１０５００、１３５００である。

この例示的な実施形態では、バーク周波数スケールは、１５．５ｋＨｚの高さまでしか定義されない。従って、この例示的なバークスケールに対する最高サンプリングレートは、ナイキスト限界又は３１ｋＨｚである。４０ｋＨｚのサンプリングレートを用いることができるように、１９ｋＨｚ（２４番目のバーク帯域端と２３番目の臨界帯域幅との和）の上に広がる２５番目の例示的バーク帯域を利用することができる。同様に、５４ｋＨｚまでのサンプリングレートを用いることができるように、値２０５００及び２７０００を付加すること等によって追加のバーク帯域端を利用することができる。一般的に人間の聴覚は２０ｋＨｚを超えて広がることはないが、実際には４０ｋＨｚよりも高いオーディオサンプリングレートが一般的である。

時間平滑化システム５２６は、フィルタリングされた振動強度データを臨界帯域フィルタバンク５２２及び５２４から受け取り、位相データを位相システム５１４及び５１６から受け取って、データの時間平滑化を実施する。１つの例示的な実施形態では、次式のアルゴリズムを適用すること等によって、又はその他の適切な方式で左右チャネル間の位相デルタを特定することができる。

ここで、
Ｐ＝左右チャネル間の位相差
Ｘ_l＝左ステレオ入力信号
Ｘ_r＝右ステレオ入力信号
ｍ＝現在のフレーム
ｋ＝周波数ビンインデックス

次いで、次式のアルゴリズムを適用すること等によって又はその他の適切な方式でデルタ平滑化係数を特定することができる。

ここで、
δ＝平滑化係数
ｘ＝平滑化バイアスを制御するパラメータ（通常は１であり、パニングを強調するために１よりも大きくすることができ、パニングを低減するために１よりも小さくすることができる）
Ｐ＝左右チャネル間の位相差
ｍ＝現在のフレーム
ｋ＝周波数ビンインデックス

次いで、次式のアルゴリズムを適用すること等によって又はその他の適切な方式でスペクトル優勢度平滑化係数を特定することができる。

ここで、
Ｄ＝平滑化係数
Ｃ＝臨界帯域エネルギー（フィルタバンク出力）
Ｎ＝知覚帯域（フィルタバンク帯域の個数）
ｍ＝現在のフレーム
ｂ＝周波数帯域

次に、次式のアルゴリズムを適用すること等によって又はその他の適切な方式で位相デルタ信号を平滑化することができる。

ここで、
δ＝平滑化係数
Ｄ＝線形等価周波数に再マッピングされたスペクトル優勢度重み
Ｐ＝左右チャネル間の位相差

スペクトル平滑化システム５２８は、時間平滑化システムからの出力を受け取り、望ましくないオーディオアーチファクトを生じる恐れがあるスペクトル変化を低減するなどのために、出力のスペクトル平滑化を実施する。

位相応答フィルタシステム５３０は、スペクトル平滑化システム５２８並びに時間遅延システム５１０及び５２０の出力を受け取り、位相応答フィルタリングを実施する。１つの例示的な実施形態では、位相応答フィルタシステム５３０は、次式を適用すること等によって又はその他の適切な方式で位相シフト係数を計算することができる。
ここで、

ここで、
Ｙ_l＝左チャネル複素フィルタ係数
Ｙ_r＝右チャネル複素フィルタ係数
Ｘ＝入力位相信号

次いで、次式のアルゴリズムを適用すること等によって又はその他の適切な方式で入力信号をフィルタリングすることができる。

ここで、
Ｙ_l＝左複素係数
Ｙ_r＝右複素係数
Ｘ_l＝左ステレオ入力信号
Ｘ_r＝右ステレオ入力信号
Ｈ_l＝左位相シフトされた結果
Ｈ_r＝右位相シフトされた結果

逆短時間フーリエ変換システム５３２及び５３４は、それぞれ位相応答フィルタシステム５３０から左右位相シフトされたデータを受け取り、データに対して逆短時間フーリエ変換を実施する。逆フーリエ変換、逆離散余弦変換、又はその他の適切な変換等の他の変換を付加的又は代替的に用いてもよい。

左時間信号システム５３６及び右時間信号システム５３８は、低ビットレートチャネルを介した伝送用のステレオ音響信号等の左右チャネル信号を供給する。１つの例示的な実施形態では、左時間信号システム５３６及び右時間信号システム５３８によって供給される処理済み信号を用いて、他の場合には望ましくないオーディオアーチファクトを生じるはずのオーディオ成分を取り除くことによって、低ビットレートにおいて改善されたオーディオ品質を有するステレオ音響音データを供給することができる。

図６は、本発明の例示的な実施形態に従ってスペクトル平滑化を実施するためのシステム６００の図である。システム６００は、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの適切な組み合わせで実装することができ、汎用処理プラットフォーム上で動作する１つ又はそれ以上のソフトウェアシステムとすることができる。

システム６００は、時間平滑化システム５０２又はその他の適切なシステム等から処理済み位相信号を受け取ることができる位相信号システム６０２を含む。余弦システム６０４及び正弦システム６０６は、それぞれ処理済み位相信号の位相の余弦値及び正弦値を生成する。ゼロ位相フィルタ６０８及び６１０は、それぞれ余弦値及び正弦値のゼロ位相フィルタリングを実施し、位相推定システム６１２は、ゼロ位相フィルタリングされた余弦データ及び正弦データを受け取り、スペクトル平滑化信号を生成する。

動作時には、システム６００は、フィルタリングして高周波数成分を低減することが困難である可能性がある、Πから−Πまで変化する位相値を有する位相信号を受け取る。システム６００は、位相信号を正弦値及び余弦値に変換し、ゼロ位相フィルタを用いて高周波数成分を低減できるようにする。

図７は、本発明の例示的な実施形態による、電力補償強度の再パニングのためのシステム７００の図である。システム７００は、ハードウェア、ソフトウェア、又はハードウェアとソフトウェアとの適切な組み合わせで実装することができ、汎用処理プラットフォーム上で動作する１つ又はそれ以上のソフトウェアシステムとすることができる。

システム７００は、ステレオ音響音源又は他の好適なシステムから生成もしくは受け取った左右のチャネル時間信号を供給できる左時間信号システム７０２と右時間信号システム７０４とを含む。短時間フーリエ変換システム７０６及び７１０は、それぞれ左時間信号システム７０２及び右時間信号システム７０４に結合され、時間信号の時間−周波数領域変換を実施する。フーリエ変換、離散余弦変換、又はその他の適切な変換等の他の変換を付加的又は代替的に用いることができる。

強度再パニングシステム７０８は、左右チャネル変換信号の強度再パニングを実施する。１つの例示的な実施形態では、強度再パニングシステム７０８は、次式のアルゴリズム又はその他の適切なプロセスを適用することができる。

ここで、
Ｍ_l＝左チャネルの強度パニングされた信号
Ｍ_r＝右チャネルの強度パニングされた信号
Ｘ_l＝左ステレオ入力信号
Ｘ_r＝右ステレオ入力信号
β＝左右信号間の位相差の除去に起因するステレオ像の知覚される崩壊を補償する非線形任意的選択肢（一般的に１であり、パニングを増大するために１よりも大きくすることができ、パニングを低減するために１よりも小さくすることができる）

複合信号生成システム７１２は、左右チャネル変換信号及び左右チャネルの強度パニングされた信号から複合信号を生成する。１つの例示的な実施形態では、複合信号生成システム７１２は、次式のアルゴリズム又はその他の適切な処理を適用することができる。

ここで、
Ｃ_l＝周波数依存窓（Ｗ）によって決定される、強度パニングされた信号と混合された原信号を含む左チャネルの複合信号
Ｃ_r＝周波数依存窓（Ｗ）によって決定される、強度パニングされた信号と混合された原信号を含む左チャネルの複合信号
Ｘ_l＝左ステレオ入力信号
Ｘ_r＝右ステレオ入力信号
Ｍ_l＝左強度パニングされた信号
Ｍ_r＝右強度パニングされた信号
Ｗ＝異なる周波数における混合を決定する周波数依存窓（周波数にわたる可変バイパスであり、０の場合には原信号のみであり、ゼロよりも大きい場合（例えば０．５）には、原信号と強度パニングされた信号との混合が生じる）

電力補償システム７１４は、左右チャネル変換信号及び左右チャネルの複合信号から電力補償された信号を生成する。１つの例示的な実施形態では、電力補償システム７１４は、次式のアルゴリズム又はその他の適切な処理を適用することができる。

ここで、
Ｙ_l＝左チャネルの電力補償された信号
Ｙ_r＝右チャネルの電力補償された信号
Ｃ_l＝左チャネルの複合信号
Ｃ_r＝右チャネルの複合信号
Ｘ_l＝左チャネルのステレオ入力信号
Ｘ_r＝右チャネルのステレオ入力信号

逆短時間フーリエ変換システム７１６及び７１８は、電力補償システム７１４から電力補償されたデータを受け取り、このデータに対して逆短時間フーリエ変換を実施する。逆フーリエ変換、逆離散余弦変換、又はその他の適切な変換等の他の変換を付加的又は代替的に用いてもよい。

左時間信号システム７２０及び右時間信号システム７２２は、低ビットレートチャネルを介した伝送用のステレオ音響信号等の左右チャネル信号を供給する。１つの例示的な実施形態では、左時間信号システム７２０及び右時間信号システム７２２によって供給される処理済み信号を用いて、他の場合には望ましくないオーディオアーチファクトを生じるはずのオーディオ成分を取り除くことによって、低ビットレートにおいて改善されたオーディオ品質を有するステレオ音響音データを供給することができる。

本発明のシステム及び方法の例示的な実施形態を本明細書において詳細に説明したが、当業者であれば、添付の請求項の範囲及び技術的思想から逸脱することなく、これらのシステム及び方法に種々の置き換え及び修正を加えることができる点は理解されるであろう。

１０２、１０４ 時間−周波数変換システム
１０６、１１６、１１８、１２０、１２２ 位相差システム
１０８ バッファシステム
１１０ Ｎ−２フレームバッファ
１１２ Ｎ−１フレームバッファ
１１４ Ｎフレームバッファ
１２４ 位相差重み付けシステム
１２６ 振動強度修正システム
１２８、１３０ 周波数−時間変換システム

Claims (17)

1. 位相変調されたステレオデータからパラメトリックステレオデータを生成するためのシステムであって、
   左チャネルオーディオデータ及び右チャネルオーディオデータを含む前記位相変調されたステレオデータを受け取り、該左チャネルオーディオデータから生成された左チャネル周波数領域データと該右チャネルオーディオデータから生成された右チャネル周波数領域データとの間の位相差に基づいて位相差データを生成する位相差システムであって、
   前記左チャネル周波数領域データが左チャネル振幅データと左チャネル位相データを含み、前記右チャネル周波数領域データが右チャネル振幅データと右チャネル位相データを含む、位相差システムと、
   前記位相差データを受け取り、該位相差データに基づいて前記左チャネル振幅データ及び前記右チャネル振幅データを調節するための重み付けデータを生成する位相差重み付けシステムと、
   前記重み付けデータを用いて前記左チャネル振幅データ及び前記右チャネル振幅データを調節し、前記左チャネル周波数領域データから前記左チャネル位相データを及び前記右チャネル周波数領域データから前記右チャネル位相データを取り除き、前記パラメトリックステレオデータを生成する振動強度修正システムと、
   を備えるシステム。
2. 前記位相差重み付けシステムは、複数の左チャネル周波数領域データフレーム及び右チャネル周波数領域データフレームを受け取る、
   請求項１に記載のシステム。
3. ２つ又はそれ以上の対応する左チャネル周波数領域データフレーム及び右チャネル周波数領域データフレームにおいて前記左チャネル周波数領域データと前記右チャネル周波数領域データとの間の前記位相差データを記憶するバッファシステムを更に備える、
   請求項２に記載のシステム。
4. 前記位相差重み付けシステムは左チャネル周波数領域データ及び右チャネル周波数領域データの第１及び第２対応フレームについて前記位相差データを受け取り、左チャネル周波数領域データ及び右チャネル周波数領域データの第１及び第２対応フレームの間の第１位相差を特定し、
   前記位相差重み付けシステムは左チャネル周波数領域データ及び右チャネル周波数領域データの第２及び第３対応フレームについて前記位相差データを受け取り、左チャネル周波数領域データ及び右チャネル周波数領域データの前記第２及び第３対応フレームの間の第２位相差を特定する、
   請求項３に記載のシステム。
5. 前記位相差重み付けシステムは、前記第１及び第２位相差に基づいて前記左チャネル振幅データ及び前記右チャネル振幅データを調節するための重み付けデータを生成する、請求項４に記載のシステム。
6. 前記振動強度修正システムは、前記重み付けデータを用いて前記左チャネル周波数領域データ及び前記右チャネル周波数領域データの左チャネル振幅データ及び右チャネル振幅データを調節し、前記左チャネル周波数領域データ及び前記右チャネル周波数領域データ内の位相データを取り除く、
   請求項５に記載のシステム。
7. 前記左チャネル位相データが取り除かれた状態になっている前記左チャネル周波数領域データと前記右チャネル位相データが取り除かれた状態になっている右チャネル周波数領域データを前記振動強度修正システムから受け取り、前記左チャネル周波数領域データ及び前記右チャネル周波数領域データを振幅調節された左チャネル時間領域データ及び振幅調節された右チャネル時間領域データに変換する周波数領域−時間領域変換システムを更に備える、
   請求項６に記載のシステム。
8. 位相変調されたオーディオデータからパラメトリックオーディオデータを生成する方法であって、
   時間領域信号からの第１チャネルオーディオデータを第１チャネル周波数領域データに変換する段階であって、
   前記第１チャネル周波数領域データが第１チャネル振幅データ及び第１チャネル位相データを含む、段階と、
   時間領域信号からの第２チャネルオーディオデータを第２チャネル周波数領域データに変換する段階であって、
   前記第２チャネル周波数領域データが第２チャネル振幅データ及び第２チャネル位相データを含む、段階と、
   前記第１チャネル周波数領域データ及び前記第２チャネル周波数領域データ間の位相差を特定する段階と、
   前記第１チャネル周波数領域データ及び前記第２チャネル周波数領域データ間の位相差に基づいて前記第１チャネル振幅データ及び前記第２チャネル振幅データに適用するための重み付けデータを決定する段階と、
   前記重み付けデータを有する前記第１チャネル振幅データを調節して前記第１チャネル周波数領域データから前記第１チャネル位相データを取り除く段階と、及び、
   前記重み付けデータを有する前記第２チャネル振幅データを調節して前記第２チャネル周波数領域データから前記第２チャネル位相データを取り除く段階と、を含む方法。
9. 前記第１チャネル周波数領域データが、第１の複数のフレームを含み、第２チャネル周波数領域データが第２の複数のフレームを含み、
   前記第１の複数のフレームと第２の複数のフレームの２つ又はそれ以上の対応するフレーム間の位相差を特定する段階と、
   を含む、
   請求項８に記載の方法。
10. 前記重み付けデータが前記第１の複数のフレームと第２の複数のフレームの２つ又はそれ以上の対応するフレーム間の位相差に基づいて決定される、
    請求項９に記載の方法。
11. 位相変調されたオーディオデータからパラメトリックオーディオデータを生成するためのシステムであって、
    オーディオデータの第１チャネル及びオーディオデータの第２チャネルを受け取る手段であって、前記第１チャネルオーディオデータが第１チャネル振幅データ及び第１チャネル位相データを含む２つ以上の第１チャネル周波数ビンを含み、前記第２チャネルオーディオデータが第２チャネル振幅データ及び第２チャネル位相データを含む２つ以上の第２チャネル周波数ビンを含む、手段と、
    前記２つ又はそれ以上の第１チャネル周波数ビンと前記２つまたはそれ以上の第２チャネル周波数ビンとの間の位相差を特定する手段と、
    前記位相差を受け取り、前記位相差に基づいて重み付けデータを生成する手段と、
    生成された前記重み付けデータを用いて前記第１チャネル振幅データ及び第２チャネル振幅データを調節し、前記２つ又はそれ以上の第１チャネル周波数ビンから前記第１チャネル位相データ及び前記２つまたはそれ以上の第２チャネル周波数ビンから前記第２チャネル位相データを取り除く手段と、を備えるシステム。
12. 前記位相差を受け取る手段は、前記２つ又はそれ以上のオーディオデータチャネルにおける複数の周波数領域データフレームを受け取る、
    請求項１１に記載のシステム。
13. 前記２つ又はそれ以上の第１チャネル周波数ビンと前記２つまたはそれ以上の第２チャネル周波数ビンについての周波数領域データの複数のフレームについて、前記２つ又はそれ以上の第１チャネル周波数ビンと前記２つまたはそれ以上の第２チャネル周波数ビンの間の位相差を記憶する手段を更に備える、
    請求項１２に記載のシステム。
14. 前記第１チャネルのオーディオデータ第２チャネルのオーディオデータデータに対する前記２つ又はそれ以上の対応する複数のフレームの周波数領域データについて前記２つ又はそれ以上の第１チャネル周波数ビンと前記２つまたはそれ以上の第２チャネル周波数ビンの間の記憶された位相差データの２つ又はそれ以上の組の間の位相差を特定する手段を更に備える、
    請求項１３に記載のシステム。
15. 前記第１チャネルのオーディオデータチ及び第２チャネルのオーディオデータ対して前記２つ又はそれ以上の対応する複数のフレームの周波数領域データについて前記２つ又はそれ以上の第１チャネル周波数ビンと前記２つまたはそれ以上の第２チャネル周波数ビンの間の記憶された位相差の２つ又はそれ以上の組の間の１つ又はそれ以上の位相差に基づいて、１つ又はそれ以上のチャネルの第１チャネルのオーディオデータ及び第２チャネルのオーディオデータにおける前記第１チャネル振幅データ及び第２チャネル振幅データを調節するための前記重み付けデータを生成する手段を更に備える、
    請求項１４に記載のシステム。
16. 前記重み付けデータを用いて前記第１チャネルのオーディオデータチ及び第２チャネルの前記１つ又はそれ以上のチャネルの前記複数のフレームの前記周波数領域データについての振幅データを調節して、重み付けされた周波数領域データを取得する手段を更に備える、
    請求項１５に記載のシステム。
17. 前記重み付き周波数領域データを時間領域に変換する手段を更に備える、
    請求項１６に記載のシステム。

Images