JP5844266B2 - 適応オーバーサンプリングを用いる高周波数オーディオ信号を発生させるための装置および方法 - Google Patents

Description

本発明は、オーディオ信号の符号化に関連しかつ特に高調波トランスポーザ等の周波数領域トランスポーザを含む高周波数再構築方法に関連する。

先行技術において、高調波トランスポジションまたはタイムストレッチ等を使用する高周波数再構築のための方法がいくつか存在する。ある方法は、位相ヴォコーダによるものである。これらは、十分な高周波数分解能で周波数解析を行いかつ信号を合成する前の周波数領域で信号変調を行うことを原則とする。タイムストレッチまたはトランスポジションは、解析ウィンドウ、解析ウィンドウストライド、合成ウィンドウ、合成ウィンドウストライドの組み合わせおよび解析された信号の位相調整に依存する。

これらの方法について避けられない問題の１つは、定常音声のための高品質トランスポジションを得るために必要な周波数分解能と、過渡音声のためのシステムの過渡応答との矛盾である。

たとえば、Ｍ・パケットによる「フェーズロックドヴォコーダ」，オーディオおよび音響に対する信号処理の応用に関するＩＥＥＥ ＡＳＳＰ会議，モホンク，１９９５年（M. Puckette. Phase-locked Vocoder. IEEE ASSP Conference on Applications of Signal Processing to Audio and Acoustics, Mohonk 1995）、ロベル・Ａによる「位相ヴォコーダにおける過渡検出および保存」（Robel, A.: Transient detection and preservation in the phase vocoder; citeseer.ist.psu.edu/679246.html）、ラロッシュ・Ｌ，Ｍ・ドルソンによる「オーディオの改善された位相ヴォコーダ時間スケール修正」，ＩＥＥＥ Ｔｒａｎｓ．スピーチおよびオーディオ処理，ｖｏｌ．７，ｎｏ．３，３２３頁〜３３２頁（Laroche L., Dolson M.: “Improved phase vocoder timescale modification of audio", IEEE Trans. Speech and Audio Processing, vol. 7, no. 3, pp. 323-332）、およびラロッシュ・Ｊおよびドルソン・Ｍの「パッチ発生のための位相ヴォコーダピッチシフティング」と題する米国特許第６５４９８８４号（United States Patent 6549884 Laroche, J. & Dolson, M.: Phase-vocoder pitch-shifting for the patch generation）に記載の位相ヴォコーダを採用するアルゴリズムが、フレデリック・ナゲル，サーシャ・デイッシュによる「オーディオコーディックのための高調波帯域幅拡張法」，音響、音声および信号処理に関するＩＣＡＳＳＰ国際会議，ＩＥＥＥ ＣＮＦ，台北，台湾，２００９年４月（Frederik Nagel, Sascha Disch, “A harmonic bandwidth extension method for audio codecs,” ICASSP International Conference on Acoustics, Speech and Signal Processing, IEEE CNF, Taipei, Taiwan, April 2009）において提示されている。しかしながら、「高調波帯域拡張」（ＨＢＥ）と呼ばれるこの方法は、フレデリック・ナゲル，サーシャ・デイッシュ，ニコラス・レトルバックによる「オーディオコーディックのための新規な過渡取り扱いを伴う位相ヴォコーダ駆動帯域幅拡張法」，第１２６回ＡＥＳ会議，ミュンヘン，ドイツ，２００９年５月（Frederik Nagel, Sascha Disch, Nikolaus Rettelbach, “A phase vocoder driven bandwidth extension method with novel transient handling for audio codecs,” 126th AES Convention, Munich, Germany, May 2009）に記載されるとおりオーディオ信号に含まれる過渡の品質劣化を招きやすい。これは、サブバンドに対する垂直コヒーレンスの保存が標準的な位相ヴォコーダアルゴリズムにおいては保証されていないばかりか、暗示的に円形周期性を呈する変換の分離された時間ブロックに対して、離散フーリエ変換（ＤＦＴ、Ｄｉｓｃｒｅｔｅ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）位相の再計算を行わなければないためである。

ブロックごとの位相ヴォコーダ処理によって特に２種類のアーティファクトが観察できることがわかっている。特定的には、新たに計算された位相を適用することによる信号の時間的巡回畳込効果によって生じる波形の分散および時間的エイリアシングである。

言い換えれば、ＢＷＥアルゴリズムにおけるオーディオ信号のスペクトル値に位相変調を適用することにより、オーディオ信号のブロックに含まれる過渡がブロックに循環され得る、すなわち巡回的に畳み込まれてブロックに戻り得る。これにより、時間的エイリアシングが生じ、かつ結果的にオーディオ信号の劣化が生じる。

したがって、過渡を含む信号部分については特別な処理の方法を採用する必要がある。しかしながら、ＢＷＥアルゴリズムをコーディックチェインのデコーダ側に対して行うので、計算の複雑性が深刻な問題となる。したがって、上記のオーディオ信号の劣化対策によって計算の複雑性が大きく増大するという犠牲を払うことは好ましくない。

したがって、本発明の目的は、高周波数オーディオ信号を発生するための効率的かつ質の高いコンセプトを提供することである。

この目的は、請求項１に記載の高周波数オーディオ信号を発生するための装置、請求項１４に記載の高周波数オーディオ信号を発生するための方法または請求項１５に記載のコンピュータプログラムにより達成される。

本発明は、過渡を別々に、すなわちオーディオ信号の非過渡部分とは別に扱うという特徴を利用する。このため、高周波数オーディオ信号を発生させるための装置は、過渡情報を判別するため入力信号を解析するための解析器を含み、入力信号の第１の部分について、過渡情報が関連付けられかつ入力信号の第２の時間的に後の部分は過渡情報を有していない。解析器は、オーディオ信号自体を実際に、すなわちエネルギー分布またはエネルギーにおける変化を解析することにより解析し、過渡部分を判別できる。これには、解析の結果をコアコーダ出力信号に基づき高周波数オーディオ信号を発生させるために使用できるように、コアコーダ出力信号をある時点で予め解析するよう、ある種の先取りが必要となる。別の例では、符号器側の過渡検出を行い、ビットストリームにおけるあるビット等のあるサイド情報を過渡特性を有する信号の時間部分へ関連付ける。そして、解析器は、この入力オーディオ信号のある部分が過渡かそうでないかを判別するためにビットストリームからこの過渡情報ビットを抽出するよう構成される。また、高周波数オーディオ信号を発生させるための装置は、入力信号を入力スペクトル表現へ変換するためのスペクトル変換器を含む。高周波数再構築を、フィルタバンク領域内で、すなわちスペクトル変換器を利用するスペクトル変換に続いて実行する。このため、スペクトルプロセッサは、入力スペクトル表現を処理して、入力スペクトル表現より高い周波数の値を含む処理されたスペクトル表現を発生させる。時間領域へ戻す変換は、次に接続された、処理されたスペクトル表現を時間表現に変換するための時間変換器により行われる。本発明によれば、スペクトル変換器および／または時間変換器は、過渡情報が関連付けられた入力信号の第１の部分について周波数領域オーバーサンプリングを行いかつ関連の過渡情報を有しない入力信号の第２の部分についての周波数領域オーバーサンプリングは行わないよう制御可能である。

本発明は、組み合わせたフィルタバンクにおける高調波トランスポジション等のトランスポジションについて良好な過渡性能を維持しながらも、結果として複雑性を低減するという点で有利である。したがって、本発明は、フィルタバンクにおける組み合わされたトランスポーザの周波数において適応オーバーサンプリングを有する装置および方法を含み、このオーバーサンプリングは、好ましい実施例では過渡検出器により制御される。

好ましい実施例では、スペクトルプロセッサが、ベースバンドから第１の高帯域部分、好ましくは３または４の高帯域部分等の追加の高帯域部分への高調波トランスポジションを行うことが好ましい。実施例において、各高帯域部分は、逆ＦＦＴ等の単独の合成フィルタバンクを有する。他の実施例では、これは、計算上より効率的で、単一の１０２４逆ＦＦＴ等の単一合成フィルタバンクを使用する。両方の場合とも、周波数領域オーバーサンプリングは、係数１．５等のオーバーサンプリング係数により変換サイズを大きくすることにより得られる。付加的なＦＦＴ入力は、好ましくはゼロパディングを行うこと、すなわちウィンドウ化されたフレームの第１の値の前にいくつかのゼロを加え、かつウィンドウ化されたフレームの終わりにいくつかのゼロを加えることにより得られる。ＦＦＴ制御信号に応答して、ＦＦＴのサイズはオーバーサンプリングにより拡大しかつ好ましくはゼロパディングが行われる。ただし、ゼロとは異なるいくつかの雑音値等の他の値をウィンドウ化されたフレームにパディングすることもできる。

スペクトルプロセッサは、付加的に解析器出力信号によっても制御できる。すなわちＦＦＴが非過渡または非パディングの場合に比べて長い過渡部の場合について、フィルタバンク内のラインのマッピングのための、すなわち異なるトランスポジションの「ラウンド」またはトランスポジション繰り返しのための開始インデックス値を、オーバーサンプリング係数に応じて変更する。この変更は、好ましくは、オーバーサンプリング係数を、使用された変換領域インデックスに乗じて、周波数領域のオーバサンプルの場合についてパッチ動作をするための新たな開始インデックスを得ることを含む。

次に、好ましい実施例について、添付の図面を参照して、説明する。

高周波数オーディオ信号を発生するための装置のブロック図である。 ａは、高周波数オーディ信号を発生するための装置の実施例を示す図であり、かつｂは、図１または図２ａの高周波数オーディオ信号を発生するための装置を含むスペクトル帯域複製プロセッサを帯域幅拡張した信号を最終的に得るＳＢＲ処理全体のブロックとして示す図である。 スペクトルプロセッサ内で行われる処理アクション／ステップの実施例を示す図である。 いくつかの合成フィルタバンクのフレームワークにおける本発明の実施例の図である。 単一の合成フィルタバンクが使用される他の実施例の図である。 図５の実施例のためのフィルタバンクにおけるスペクトルのトランスポジションおよびラインの対応のマッピングを示す図である。 ａは、ウィンドウの中心に近い過渡事象の過渡ストレッチを示す図であり、ｂは、ウィンドウのエッジに近い過渡ストレッチを示す図であり、かつｃは、関連の過渡情報を有する入力信号の第１の部分に発生するオーバーサンプリングを伴う過渡ストレッチを示す図である。

図１は、実施例による高周波数オーディオ信号を発生させるための装置を示す図である。入力信号は、入力信号ライン１０を介して、解析器１２およびスペクトル変換器１４へ与えられる。解析器は、入力信号を解析して、過渡情報ライン１６へ出力されるべき過渡情報を決定するよう構成される。また、解析器は、入力信号のうち過渡情報を有していない第２の後ろの部分が存在するかどうかも見つけ出す。常に過渡的な信号というのは存在しない。複雑であるため、入力信号の過渡部分、すなわち「第１の部分」がめったに発生しないように過渡検出を行うことが好ましいが、これは、発明の周波数領域オーバーサンプリングが、効率を低減するものの、良質のオーディオ処理には必要だからである。本発明によれば、周波数領域のオーバーサンプリングは、実際に必要な時にオンになり、必要でない時、すなわち信号が非過渡的信号である場合にはオフに切り替わる。ただし、周波数領域オーバーサンプリングは、図７ａに関連して説明するとおり、ウィンドウの中心付近に過渡事象を有する過渡信号についてはオフに切り替えることもできる。しかしながら、効率と複雑性の理由で、ある部分が、この過渡事象がウィンドウの中心に近いか否かに関係なく、過渡を含んでいる場合には、過渡部分としてマークすることが好ましい。図４および図５に関連して説明するとおり多重オーバーラッピング処理により、各過渡は、いくつかのウィンドウについては、中心に近くなり、すなわち「良い」過渡であるが、他のいくつかのウィンドウについては、ウィンドウのエッジに近くなり、したがって、これらのウィンドウについては、「悪い」過渡ということにもなる。

スペクトル変換器１４は、入力信号をライン１１上に出力される入力スペクトル表現に変換するよう構成される。スペクトルプロセッサ１３は、ライン１１を介してスペクトル変換器に接続される。

スペクトルプロセッサ１３は、入力スペクトル表現に対して処理を行って、入力されたスペクトル表現よりも高い周波数の値を含む処理されたスペクトル表現を発生するよう構成される。言い換えれば、スペクトルプロセッサ１３は、トランスポジションを行いかつ好ましくは高調波トランスポジションを行う。ただし、スペクトルプロセッサ１３においては他のトランスポジションを行うこともできる。処理されたスペクトル表現は、スペクトルプロセッサ１３からライン１５を介して時間変換器１７へ出力されるが、時間変換器１７は、処理されたスペクトル表現を時間表現に変換するよう構成される。好ましくは、スペクトル表現は、周波数領域またはフィルタバンク領域表現であって、時間表現は、直線的なフル帯域幅時間領域表現である。ただし、時間変換器は、処理されたスペクトル表現１５を各々ＦＦＴフィルタバンクよりも高いある帯域幅を有する個別のサブ帯域信号を有するフィルタバンク領域に直接変換するよう構成することもできる。したがって、出力ライン１８上の出力時間表現も、１またはいくつかのサブ帯域信号を含むことも可能で、各サブ帯域信号が処理されたスペクトル表現における周波数ラインまたは値よりも高い帯域幅を有する。

スペクトル変換器１４もしくは時間変換器１７またはその両方の素子は、オーディオ品質の損失を伴わずに、高い効率と低減された複雑性を実現するため、関連の過渡情報を有するオーディオ信号の第１の部分について周波数領域オーバーサンプリングを行い、過渡情報を有していない入力信号の第２の部分については周波数領域オーバーサンプリングを行わないよう、スペクトル変換アルゴリズムの大きさに関して、制御可能である。

好ましくは、スペクトル変換器は、第２の部分に適用される変換の長さに比べて関連する過渡情報を有する第１の部分の変換長さを長くすることにより、周波数領域オーバーサンプリングを実行するよう構成され、より長い変換長は、パディングされたデータを含む。２つの変換長の長さの差は、１．３から３の範囲が可能な周波数領域オーバーサンプリング係数により表され、できるだけ低く、かつ図７に示す「悪い過渡」がプリエコーを導入しないよう、または導入するのは許容可能な小さなプリエコーだけにすることを確実にするのに十分な大きさであることが好ましい。オーバーサンプリング係数の好ましい値は、１．４〜１．９の範囲である。

次に、図２ａを参照して、好ましい実施例による図１のスペクトル変換器１４、スペクトルプロセッサ１３または時間変換器１７について詳細に説明する。

スペクトル変換器１４は、解析ウィンドワ１４ａおよびＦＦＴプロセッサ１４ｂを含む。また、時間変換器は、逆ＦＦＴモジュール１７ａ、合成ウィンドワ１７ｂおよびオーバーラップ付加プロセッサ１７ｃを含む。発明の装置は、たとえば、図５および図６に関連して説明する単一の時間変換器１７を含んでもよいし、または図４に示すような単一のスペクトル変換器１４およびいくつかの時間変換器を含むこともできる。スペクトル変換器１３はたとえば位相処理／トランスポジションモジュール１３ａを含むのが好ましく、これについては以下に詳説する。しかしながら、位相処理／トランスポジションモジュールは、たとえばＭ・ディーツ，Ｓ・リリヤード，Ｋ・キョルリンクおよびＯ・クンツによる「スペクトル帯域複製、オーディオコーディングにおける新しいアプローチ」，第１１２回ＡＥＳ会議，ミュンヘン，２００２年５月（M. Dietz, S. Liljeryd, K. Kjoerling and O. Kunz “Spectral Band Replication, a Novel Approach in Audio Coding”, in 112^th AES convention, Munich, May 2002）から知られるフィルタバンク内に低周波数ラインから高周波数ラインを発生させるための既知のパッチアルゴリズムのいずれかにより実現できる。パッチアルゴリズムについては、さらにＩＳＯ／ＩＥＣ１４４９６−３：２００１（ＭＰＥＧ−４標準）に記載される。しかしながら、図５の単一の合成フィルタバンクの実施例および図６に関連して詳説するとおり、ＭＰＥＧ−４標準のパッチアルゴリズムとは対照的に、スペクトルプロセッサ１３が、数回の「ラウンド」または繰り返しで高調波トランスポジションを実行する。

図２ｂは、高周波数再構築プロセッサのためのＳＢＲ（スペクトル帯域複製）を示す。入力ライン１０上の、たとえば時間領域出力信号であると考えられるコアデコーダ出力信号が、ブロック２０へ付与され、これが図１または図２ａの処理を表す。この実施例では、時間変換器１８は最終的に真の時間領域信号を出力する。この真の時間領域信号が、次に、好ましくはＱＭＦ（直交ミラーフィルター）解析ステージ２１に入力され、これにより複数のサブバンド信号がライン２２上に付与される。これらの個別のサブバンド信号は、ＳＢＲプロセッサ２３に入力され、プロセッサは付加的にＳＢＲパラメータ２４を受けるが、こられのパラメータは典型的には、入力ビットストリーム由来のものであり、コアデコーダ（図２ｂでは不図示）に入力される符号化された低帯域信号がこれに属する。ＳＢＲプロセッサ２３は、調整された包絡線を出力し、かつそれ以外では、操作された高周波数オーディオ信号をＱＭＦ合成ステージ２５へ出力し、同ステージは最終的にライン２６上に時間領域高帯域オーディオ信号を出力する。ライン２６上の信号は、コンバイナ２７に転送され、コンバイナは、付加的に低帯域信号をバイパスライン２８を介して受ける。バイパスライン２８またはコンバイナが低帯域信号に十分な遅延を導入して、正確な高帯域信号２６が正確な低いバンド信号２８と組み合わされることが好ましい。代替的には、ＱＭＦ合成ステージ２５は、低帯域信号もＱＭＦ表現で得られかつその低帯域のＱＭＦ表現が、ライン２９で示すＱＭＦ合成ステージ２５のより低いチャネルに付与される場合、合成ステージおよびコンバイナの機能を提供することができる。この場合、コンバイナ２７は不要である。ＱＭＦ合成ステージ２５の出力またはコンバイナ２７の出力に、帯域幅拡張したオーディオ信号が出力される。この信号は、その後、ストア、伝送または増幅器およびラウドスピーカーで再生することができる。

図４は、複数の異なる時間変換器１７０ａ，１７０ｂおよび１７０ｃに依存する本発明の実施例を示す。また、図４は、この実施例における１２８サンプルの解析ストライドａを有する図２ａの解析ウィンドワ１４ａの処理を示す。解析ウィンドウについて１０２４サンプルの長さを考える場合、これは解析ウィンドウ１４ａの８倍のオーバーラップ処理を意味する。

ブロック１４の出力に、入力スペクトル表現が存在し、これが、並列に配列された位相プロセッサ４１，４２および４３を介して処理される。位相プロセッサ４１は、図１のスペクトルプロセッサ１３の一部であり、好ましくは、スペクトル変換器１４からの複素数のスペクトル値を入力として受けかつ各値の各位相に２が乗算されるように各値を処理する。位相プロセッサ１４の出力に、前のブロック４１と同じ振幅を有するが、各位相に２が乗算された処理されたスペクトル表現が存在する。同様に、位相プロセッサ４２は、各入力スペクトルラインの位相を決定し、この位相に係数３を乗算する。同様に、位相プロセッサ４３は、このスペクトルコンバータにより出力される各複素数のスペクトルラインの位相を再び回収し、各スペクトルラインの位相に４を乗じる。その後、これら位相プロセッサの出力は、対応する時間変換器１７０ａ，１７０ｂおよび１７０ｃへ転送される。また、ダウンサンプラ４４および４５が設けられ、ダウンサンプラ４４が、３／２のダウンサンプリング係数を有し、かつダウンサンプラ４５が、２のダウンサンプリング係数を有する。ダウンサンプラ４４および４５の出力ならびに時間変換器１７０ａの出力では、すべての信号が、２ｆｓに等しい同じサンプリングレートであり、かつしたがって加算器４６を介するサンプル態様で１つのサンプル内にともに加算され得る。したがって、加算器４６の出力信号は、図４の左側においては、入力信号ｆｓのサンプリング周波数の２倍の周波数を有する。スペクトル時間変換器１７０ａの出力信号が、入力サンプリングレートの大きさの倍なので、この例では、２５６という異なるストライドのオーバーラップ加算処理をブロック１７０ａにおいて行う。結果として、「３」で示す他のオーバーラップ加算処理は、時間変換器ｂにおいて構成され、かつより大きな５１２のストライドが時間変換器１７０ｃにより適用される。アイテム４４および４５が３／２および４／２のダウンサンプリングを行うが、このダウンサンプリングは、ある意味で、位相ヴォコーダ理論により知られる３×ダウンサンプリングおよび４×ダウンサンプリングに相当する。係数１／２は、素子１７０ａの出力がいずれにしても入力に比べて２倍のサンプリング周波数にあるという事実から来ており、たとえばコンバイナ４６による第１の処理は、２倍のサンプリングレートで行われる。これに関しては、サンプリングレートを２倍に増やすかまたは他のより高いサンプリングレートが必要であり、これは、高周波数オーディオ信号のスペクトル成分がより高くかつエイリアシングのない信号を生成するためには、サンプリングレートもサンプリング定理により上げる必要があるからである。

より高い周波数は、異なる時間変換器１７０ａ，１７０ｂおよび１７０ｃに給電して、スペクトルプロセッサ４１、４２および４３が出力する信号が対応の周波数チャネルに入力されるようにすることで発生される。また、時間変換器１７０ａ，１７０ｂおよび１７０ｃは、入力フィルタバンク１４と比較して周波数間隔が大きく、そのためこれらのプロセッサの同じ大きさすなわち同じＦＦＴサイズの代わりに、このプロセッサにより発生させられる信号がより高いスペクトル成分または言い換えれば、より高い最大周波数を表す。

解析器１２は、入力信号からの過渡情報を回収し、プロセッサ１４，１７０ａ，１７０ｂおよび１７０ｃを制御して、より大きな変換サイズを使用しかつウィンドウ化されたフレームの開始前およびウィンドウ化されたフレームの終了後にパッディングされた値を使用するよう構成され、それにより周波数領域オーバーサンプリングが適応的に行われる。図５に示す代替的実施例では、単一の合成フィルタバンク１７が、３つの合成フィルタバンク１７０ａ，１７０ｂおよび１７０ｃの代わりに使用される。この点では、図４に示すブロック４１から４３に示すように位相プロセッサ１３は、２，３および４の乗算に対応する位相処理を一括して行う。また、スペクトル変換器１４は、解析ストライド１２８でウィンドウ化動作を行い、かつ時間変換器１７は、合成ストライド２５６でオーバーラップ加算処理を行う。時間変換器１７は、周波数時間変換を行う一方、個々の周波数ラインの間に二重の間隔を付与する。ブロック１７の出力は、ウィンドウごとに、１０２４値でありかつサンプリングレートが倍であるので、ウィンドウ化されたフレームの時間長は、入力フレームの時間長の量の半分である。長さにおけるこの減分は、２５６の合成ストライド、一般に、解析ストライドの２倍の合成ストライドを付与することにより均衡される。一般に、合成ストライドは、係数により解析ストライドより大きくする必要があるが、この係数は、サンプリング周波数増加の係数と等しくなり得る。

図５は、図４の２つのより低いブランチを省く、トランスポーザのための効率的な組み合わせフィルタバンク構造を示す。３次および４次の高調波が、図５に示すように２次バンクにおいて生成される。フィルタバンクパラメータＴ＝３，４における変化により、図６に関連して説明するように、図３のサブバンドの単純な１対１のマッピングを補間ルールに一般化する必要がある。原則的には、合成フィルタバンクサブバンドの物理的間隔が、解析フィルタバンクのものの２倍になるなら、インデックスｎを有する合成帯域への入力は、インデックスｋおよびｋ＋１を有する解析帯域から入手される。さらに、定義のため、ｋ＋ｒが整数およびｎＱ／Ｔの分数表現を表すと仮定する。大きさについての幾何学的補間を累乗（１−ｒ）およびｒで適用し、位相は、重みＴ（１−ｒ）およびＴｒで線形に結合される。たとえば、Ｑ＝２の場合、各トランスポジション係数の位相マッピングは、図６に示すとおりである。詳細には、図６の左側は、スペクトルのトランスポジションのグラフであり、右側は、フィルタバンク領域のラインのマッピング、すなわち標的ラインへ向かうソースラインの給電を示し、ソースラインは、解析フィルタバンク、すなわちスペクトル変換器の出力であり、かつ標的ラインまたは標的ビンとは、合成または時間変換器への入力である。標的ビンへのこの「再接続」または給電ソースビンは、実際にはより高い周波数を発生する。というのも、最終的に、たとえば、図６のｆｓで示す部分におけるｋに対応する物理的周波数の、標的周波数ｋ，３／２ｋまたは２ｋへのトランスポジションが、それぞれ２，３または４による物理周波数のトランスポジションに相当するようなサンプリングレートが２倍のシステムでは、たとえば、左側の真ん中および下部に見られるように、周波数インデックスｋは、３／２ｋまたは２ｋの周波数へトランスポーズされるからである。

また、インデックスｋを有する周波数ラインが、同じインデックスｋを有する周波数ラインにマッピングされるが、図６の左側の第１の部分は、係数２によるトランスポジションを示す。しかしながら、このトランスポジションは、同じＦＦＴカーネルサイズを用いて、異なる周波数間隔、すなわち倍にされた周波数間隔で暗示的に行う係数２のサンプリングレート変換により生じる。この点で、解析フィルタバンク出力（ソースビン）から合成フィルタバンク入力（標的ビン）へのフィルタバンクにおけるラインのマッピングは、同じインデックスｋを同じインデックスｋにマッピングするため、第１の場合には直線的で、しかしながら各ソースビンスペクトルラインの位相は、２本の矢印６２による乗算によって示されるように２を乗じられる。これによりトランスポジション係数２で２次トランスポジションが生じる。

実際に３次トランスポジションを実現または近似化するために、標的ビンは、周波数に関して３／２ｋから上向きに延びる。標的ビン３／２ｋおよび３／２（ｋ+２）についての結果も直線的なものであり、これは、ソースビンｋ，ｋ＋２における対応のスペクトルラインは、そのまま取ることができ、かつそれらの位相はそれぞれ位相乗算矢印６３で示されるとおり３を乗じられる。しかしながら、標的ビン３／２（ｋ＋１）は、ソースビンにおいて直接の対応部分を有していない。たとえば、ｋ＝４でかつｋ＋１＝５である小さい例を考えると、３／２ｋは６に相当し、これを１．５で除算すれば、結果は、ｋ＝４である。しかしながら、次の標的ビン＝７であり、かつ７を１．５で除算すると４．６６になる。しかしながら、インデックス４．６６を有するソースビンは存在しない。というのも整数のソースビンしか存在しないからである。したがって、隣接または近接するソースビンｋおよびｋ＋１の間の補間が行われる。しかしながら、４．６６は、４（ｋ）よりも５（ｋ＋１）に近いので、ソースビンｋ＋１の位相情報は、矢印６２により示す２を乗算されかつソースビンｋからの位相情報（４に等しい例では）は、１による位相乗算を表す位相矢印６１が示す１を乗算される。これはもちろん位相を単にそのまま取るということに相当する。矢印６１および６２が表す動作を行って得られるこれらのフェーズを、合算するなど組み合わせることが好ましく、両方の矢印による位相の乗算を行い乗算値３を得ることがさらに好ましいが、これは、３次トランスポジションに必要なものである。同様に、３／２ｋ＋２および３／２（ｋ＋２）＋１の位相値を計算する。

４次トランポジションについても同様の計算を行い、補間した値が矢印６２で示すとおり、２つの隣接するソースビンにより計算され、各ソースビンの位相に２が乗算される。一方、整数倍の直接的に対応する標的ビンの位相は、補間する必要はなく、４を乗算したソースビンの位相を用いて計算される。

なお、標的ビンをソースビンから直接的に計算する好ましい実施例においては、位相は、ソースビンについてのみ修正され、かつソースビンの振幅は、そのまま維持される。補間された値については、２つの隣接するソースビンの振幅間で補間を行うことが好ましいが、２つ隣接するソースビンのうち常に高い方の振幅もしくは低い方の振幅を取るか、または幾何学的平均値、算術平均値もしくは隣接するソースビン振幅のなんらかの他の組み合わせを取るなどして、これら２つのソースビンを組み合わせる他の方法を実行することもできる。

図３は、好ましい実施例を図６の手順についてのフローチャートで示す図である。ステップ３０において、標的ビンを選択する。その後、ステップ３１において、可能な場合、トランスポジション係数を用いて単一位相を乗算することにより位相を計算する。したがって、ステップ３１は、３倍の位相乗算を、３次トランスポジションにおいて行うことができるかまたは４次トランスポジションにおいて４を乗算（矢印６４）する出来事について適用する。補間された標的ビンの計算については、これらの値を単一のソースビンから直接計算することは不可能である。その代り、補間するために使用する隣接するソースビンをステップ３２に示すとおり選択する。実施例では、隣接するソースビンは、図５に示す組み合わされたアップサンプリングの場合には、整数トランスポジション係数または分数トランスポジション係数で、計算する標的ビンを除算して得られる非整数の数を囲む２つの整数である。次に、ステップ３３において、対応の位相係数を隣接するソースビン位相に適用して、標的ビン位相を計算する。隣接するソースビンに適用された位相係数の和は、たとえば矢印６１による１倍の位相「乗算」と矢印６２による２倍の位相乗算を行うことによって、中央部に示されたようなトランスポジション係数に等しくなり、３次のトランスポジション係数Ｔ＝３に対応する（１＋２）位相乗算が得られる。

次に、ステップ３４で、標的ビン振幅を、ソースビン振幅を補間することにより決定することが好ましい。代替の実施例では、標的ビン振幅は、ソースビン振幅または直接計算した標的ビンの平均標的ビン振幅に基づきランダムに選択することができる。ランダムな選択を適用する場合、２つのソースビン振幅値の平均または一方をランダム処理の中央値として決めることができる。

周波数領域オーバーサンプリングにより、トランスポーザの改善された過渡応答が得られるが、これは、長さ１０２４ＦのＤＦＴカーネルを使用しかつその長さに対称な解析および合成ウィンドウをゼロパディングすることにより実現される。ここで、Ｆは、周波数領域オーバーサンプリング係数である。

複雑さのため、オーバーサンプリングの量は最小に保つことが重要で、ここで、一連の図面により、以下にその基本的理論を説明する。

プロトタイプの過渡信号が時間ｔ＝ｔ_０におけるディラックパルスであるとする。ここで、位相にＴを乗じることは、ｔ＝Ｔｔ_0-でパルスの変換を行うために正しいことのように思われる。実際、無限持続時間のウィンドウを有する理論上のトランスポーザでは、パルスの正しいストレッチが得られると考えられる。有限持続時間のウィンドウ化解析については、各解析ブロックがＤＦＴの大きさに等しい周期の周期的信号の１周期間隔と解釈されるという事実によりこの状況には混乱が生じる。

図７ａにおいて、様式化された解析および合成ウィンドウがそれぞれ上部と下部に図示される。ｔ＝ｔ_0-における入力パルスは、垂直矢印で上のグラフに描かれる。ＤＦＴ変換ブロックのサイズがＬであると仮定すると、Ｔによる位相乗算の効果によって、ｔ＝Ｔｔ_0-（実線）のパルスのＤＦＴ解析が得られかつ他の寄与部分（点線）は相殺される。次のウィンドウでは、パルスは中心に対して他の位置を有しかつ所望の挙動は、パルスをウィンドウの中心に対してその位置のＴ倍移動させることになる。この挙動によって、すべての寄与分が単一のタイムストレッチされた合成パルスに合算されることが保証される。

パルスがＤＦＴブロックのエッジのより外側に向かって移動する図７ｂの状況には問題が発生する。合成ウィンドウがピックアップする成分は、ｔ＝Ｔｔ_0-−Ｌにおけるパルスである。オーディオに対する最終的な影響は、（かなり長い）トランスポーザウィンドウのスケールに匹敵する時間距離の反響（ｒｅ‐ｅｃｈｏ）の発生である。

周波数領域オーバーサンプリングの有益な効果を図７ｃに示す。ＤＦＴ変換の大きさは、ＦＬに拡大するが、Ｌは、ウィンドウの持続時間であり、Ｆ≧１である。

ここで、パルス列の周期がＦＬでありかつパルスストレッチに対する望ましくない寄与分については、十分に大きい値のＦを選択することにより相殺される。ｔ＝ｔ₀＜Ｌ／２におけるいずれのパルスについても、ｔ＝Ｔｔ₀−ＦＬの望ましくない画像は、ｔ＝−Ｌ／２で合成ウィンドウの左側エッジの左に位置しているはずである。すなわち、ＴＬ／２−ＦＬ≦Ｌ／２であり、以下の法則が導かれる。

より定量的解析によって、この不等式が課す値よりやや劣る周波数領域オーバーサンプリングを用いても、プリエコーが低減されることがわかる。これは、単に、ウィンドウがエッジ近くの小さな値から構成されるためである。

図２のトランスポーズの場合、上記の導出は、オーバーサンプリング係数Ｆ＝２．５を使用して、Ｔ＝２，３，４すべてのケースをカバーすることを示唆する。前の寄与分においては、Ｆ＝２の使用ですでに有意な品質の向上につながることがわかった。図３の組み合わされたフィルタバンク実現例では、より小さい値であるＦ＝１．５を使用することで十分であった。

オーバーサンプリングは、信号の過渡部においてのみ必要であるので、エンコーダにおいて過渡の検出が行われ、過渡フラグが各コアコーダフレームについてデコーダへ送られ、デコーダにおけるオーバーサンプリングの量が制御される。オーバーサンプリングが活性の場合、係数Ｆ＝１．５を、その解析ウィンドウが現在のコアコーダフレームから出発する、少なくともすべてのトランスポーザグラニュールについて使用する。

図７ｃにおいて、「ゼロパディング」を、ウィンドウの第１のノンゼロ値前では部分７０としてかつウィンドウの最後のノンゼロ値後では部分７１として示す。こうして、図７ｃにおけるウィンドウを、その開始と終了にゼロを重みづけ係数を有する新たなより大きいウィンドウとして解釈することができる。このことは、より大きな長さを有するこのウィンドウが解析ウィンドウ１４ａまたは合成ウィンドウ１７ｂにより適用される場合、「ゼロパディング」の単独のステップは不要であることを意味する。これは、開始と終了にゼロ部分を有するウィンドウを適用することにより、ゼロパディングが自動的に行われるからである。しかし、好ましい他の例では、ウィンドウは変更されず、常に同じ形状で使用されるが、過渡検出に成功するとすぐにウィンドウ化フレームの開始前もしくはウィンドウフレームの終了後または開始前および終了後にゼロがパディングされ、これはウィンドウ化とは別でかつ変換の計算とも別の単独のステップとして考慮することができる。したがって、過渡事象の場合、値パダーが起動されてゼロをパディングすることが好ましく、その結果、すなわちウィンドウ化されたフレームおよびパディングされたゼロは、図７ｃに示すゼロ部分７０および７１を有するウィンドウが適用された場合に得られたであろう結果と全く同じである。

同様に、合成の場合でも、過渡事象の場合には、特定のより長い合成ウィンドウを適用することができ、これは、逆ＦＦＴプロセッサ１７ａにより発生するフレームの先頭の値および最後の値をゼロにすることになる。しかしながら、ＦＦＴ^-1出力の開始からの値を単純に削除、すなわち相殺するよりも、同じ合成ウィンドウを常に適用することが好ましい。後者の場合、プロセッサ１７ａが出力したブロックの開始と終了で削除されるゼロ値（パディングされた値）の数がゼロパディングの値の数に相当する。

また、過渡事象の検出は、図２ａにおいて開始インデックス制御ライン２９を介する開始インデックス制御を行う。このため、開始インデックスｋおよび結果的にはインデックス３／２ｋおよび２ｋに、周波数領域オーバーサンプリング係数を乗じる。この係数がたとえば２の場合、図６の左側の各ｋは、２ｋにより置換される。しかしながら、他の手順は、図示のとおり同じ態様で行われる。

高周波数強化信号すなわちいわゆるＳＢＲフレームを発生するために使用されるフレームに過渡の信号が送られることが好ましい。入力信号の第１の部分が過渡事象を含むＳＢＲフレームであると考えられ、かつ第２の部分が過渡を含まない時間的に後ろのＳＢＲフレームであると考えられる。したがって、この過渡フレームの少なくとも単一のサンプル値を有する各ウィンドウは、フレームが１ウィンドウの長さを有しかつ過渡事象が単一のサンプルの場合に、パディング値を有するより長い変換を用いて変換される８つの窓が得られるように、ゼロパディングされる。

本発明は、周波数領域トランスポジションのための装置として考えられ、組み合わせたトランスポーザのフィルタバンクにおいて適応周波数領域オーバーサンプリングが行われ、これは過渡検出器により制御される。

装置に関連して、いくつかの局面について説明したが、これらの局面は対応する方法の説明も示しており、ブロックまたは装置が方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップに関連して記載された局面も対応のブロックもしくはアイテムまたは対応の装置の特徴を表す。

いくつかの実施要件によっては、発明の実施例はハードウェアでもソフトウェアでも実現可能である。この場合、電気的に可読な制御信号を記憶したフロッピーディスク、ＤＶＤ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリ等のデジタル記憶媒体を使用して実現可能であり、これらの媒体は、それぞれの方法が実行されるようにプログラマブルコンピュータシステムと協働する（または協働する能力がある）。

本発明によるいくつかの実施例は、ここに記載の方法のうち１つが実行されるように、プログラマブルコンピュータシステムと協働可能な電気的に可読な制御信号を有するデータキャリアを含む。

一般に、本発明の実施例は、プログラムコードを有するコンピュータプログラム製品として実現でき、プログラムコードは、コンピュータプログラム製品がコンピュータで実行されると、方法の１つを実行するよう動作する。プログラムコードはたとえば機械可読キャリアに記憶され得る。

他の実施例は、機械可読キャリアに記憶された、ここに記載の方法の１つを実行するためのコンピュータプログラムを含む。

したがって、言い換えれば、本発明の方法の実施例は、コンピュータプログラムがコンピュータで実行されると、ここに記載の方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。

したがって、本発明の方法のさらに他の実施例は、ここに記載の方法の１つを実行するためのコンピュータプログラムを記憶して含む、データキャリア（またはデジタル記憶媒体もしくはコンピュータ可読媒体）である。

したがって、本発明の方法のさらに他の実施例はここに記載の方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえばインターネットを介するデータ通信接続により転送されるように構成されてもよい。

さらに他の実施例は、ここに記載の方法の１つを実行するよう構成または適合される処理手段、たとえばコンピュータまたはプログラマブルロジック装置を含む。

さらに他の実施例は、ここに記載の方法の１つを実行するためのコンピュータプログラムをインストールするコンピュータを含む。

いくつかの実施例においては、プログラマブル論理装置（フィールドプログラマブルゲートアレイ等）を使用して、ここに記載の方法の機能性のいくつかまたはすべてを実行してもよい。いくつかの実施例においては、フィールドプログラマブルゲートアレイは、ここに記載の方法の１つを実行するために、マイクロプロセッサと協働してもよい。一般に、方法は何らかのハードウェア装置で実行されることが好ましい。

上記の実施例は、本発明の原則について説明したにすぎない。当業者には、ここに記載の構成および詳細について修正および変形が明らかになることは当然である。したがって、発明は特許請求の範囲によってのみ限定され、明細書中の記載および実施例の説明により提示される特定の詳細により限定されないことを意図する。

Claims (14)

1. 高周波数オーディオ信号（１８）を発生するための装置であって、
   過渡情報を判別するため入力信号を解析するための解析器（１２）を含み、入力信号の第１の時間部分は、関連の過渡情報を有し、入力信号の第２の時間部分は過渡情報を有しておらず、第２の時間部分は、第１の時間部分よりも時間において後であり、さらに
   入力信号を入力スペクトル表現（１１）に変換するためのスペクトル変換器（１４）と、
   入力スペクトル表現を処理して、入力スペクトル表現の周波数より高い周波数の値を含む処理されたスペクトル表現（１５）を発生するためのスペクトルプロセッサ（１３）と、
   処理されたスペクトル表現を時間表現に変換するための時間変換器（１７）とを含み、
   スペクトル変換器（１４）または時間変換器（１７）が、関連の過渡情報を有する入力信号の第１の時間部分について周波数領域オーバーサンプリングを行いかつ入力信号の第２の時間部分についての周波数領域オーバーサンプリングは行わないかまたは入力信号の第１の時間部分に比べてより小さいオーバーサンプリング係数で周波数領域オーバーサンプリングを行うよう制御可能であり、
   スペクトルプロセッサ（１３）が、入力スペクトル表現の２つの値を組み合わせることにより、より高い周波数の値を計算するように構成され、入力スペクトル表現の２つの値は、周波数に関して隣接している、装置。
2. スペクトル変換器（１４）が、第２の時間部分についてスペクトル変換器（１４）が適用する変換に比べて関連の過渡情報を有する第１の時間部分についてより長い変換長を適用することによって周波数領域オーバーサンプリングを行うよう構成され、
   より長い変換長への入力がパディングされたデータを含む、請求項１に記載の装置。
3. スペクトル変換器（１４）が、
   入力オーディオ信号のオーバーラップフレームをウィンドウ化するためのウィンドワ（１４ａ）を含み、フレームはいくつかのウィンドウサンプルを有し、さらに
   フレームを周波数領域へ変換するための時間周波数プロセッサ（１４ｂ）を含み、
   時間周波数プロセッサ（１４ｂ）が、入力信号の第１の時間部分について、第１のウィンドウ化されたサンプルの前またはいくつかの入力サンプルのうちの最後のウィンドウ化されたサンプルに続いて追加の値をパディングし、かつ入力信号の第２の時間部分について、追加の値をパディングしないかまたはより少ない数の追加の値をパディングすることによりウィンドウ化されたサンプルの数を増加させるよう構成される、請求項１に記載の装置。
4. パディングされたデータが、ゼロパディングデータである、請求項２または請求項３に記載の装置。
5. スペクトル変換器（１４）が、制御可能な変換長を有する変換カーネルを含み、第２の時間部分の変換長に対して第１の時間部分の変換長が増大する、請求項１から請求項４のいずれかに記載の装置。
6. スペクトル変換器がいくつかの連続する周波数ラインを設けるよう構成され、
   プロセッサが、そのいくつかの連続する周波数ラインの位相または振幅を修正することにより周波数のより高い周波数ラインのための位相を計算して、処理されたスペクトルを得るよう構成され、
   時間変換器は、時間変換器出力のサンプリングレートが入力オーディオ信号のサンプリングレートより高くなるように変換を実行するよう構成される、請求項１から請求項５のいずれかに記載の装置。
7. スペクトルプロセッサ（１３）が、ある周波数インデックスで始まる入力スペクトル表現のスペクトル部分を処理することによって、トランスポジション係数を使用してトランスポジションを実行するよう構成され、かつ
   ある周波数インデックスが、入力信号の第１の時間部分についてはより高くかつ入力信号の第２の時間部分についてはより低い、請求項１から請求項６のいずれかに記載の装置。
8. スペクトル変換器（１４）または時間変換器（１７）は、オーバーサンプリング係数を用いて第１の入力部分について周波数領域オーバーサンプリングを実行するよう構成され、かつ
   スペクトルプロセッサ（１３）は、入力信号の第１の時間部分についてある周波数インデックスにオーバーサンプリング係数を乗算するよう構成される、請求項７に記載の装置。
9. スペクトルプロセッサが、周波数に関して隣接している２つの値の位相（３３）を補間することにより位相を計算するか、または
   周波数に関して隣接している２つの値の振幅を補間することにより振幅（３４）を計算するよう構成される、請求項１に記載の装置。
10. スペクトルプロセッサが、トランスポジション係数を使用してトランスポジションを実行するよう構成され、トランスポジション係数の整数倍でないかまたはトランスポジション係数の整数倍を時間変換器（１７）が付与するアップサンプリング係数で除算したものである標的周波数（３２）について、スペクトルプロセッサ（１３）が、各々個別の位相係数で乗算された２以上の隣接するスペクトル値からの位相を使用して標的周波数の位相を計算するよう構成され、位相係数の合計がトランスポジション係数に等しくなるよう位相係数が決定される、請求項１から請求項９のいずれかに記載の装置。
11. スペクトルプロセッサが、トランスポジション係数を使用してトランスポジションを実行するよう構成され、トランスポジション係数の整数倍でなく、またはトランスポジション係数の整数倍を時間変換器（１７）が付与するアップサンプリング係数で除算したものである標的周波数について、スペクトルプロセッサが、各々個別の位相係数を乗算した２以上の隣接スペクトル値からの位相を使用して、標的周波数について位相を計算するよう構成され、
    トランスポジション係数で除算またはトランスポジション係数の分数およびアップサンプリング係数で除算した標的周波数のインデックスが、入力スペクトル表現の第２の値により近い場合に、入力スペクトル値の第１の値についての位相係数が、入力スペクトル表現の第２の値についての位相係数より低くなるように位相係数が決定される、請求項１から請求項１０のいずれかに記載の装置。
12. 入力信号が過渡情報を含む関連のサイド情報を有し、かつ
    解析器は入力信号を解析して、サイド情報から過渡情報を抽出するよう構成され、
    解析器（１２）は、入力信号におけるオーディオエネルギー分布またはオーディオエネルギーの変化に基づき入力信号における過渡を解析しかつ検出するための過渡検出器を含む、請求項１から請求項１１のいずれかに記載の装置。
13. 高周波数オーディオ信号（１８）を発生させる方法であって、
    過渡情報を判別するために入力信号を解析するステップ（１２）を含み、入力信号の第１の時間部分は関連する過渡情報を有しかつ入力信号の第２の時間部分は過渡情報を有しておらず、第２の時間部分は、第１の時間部分よりも時間において後であり、さらに
    入力信号を入力スペクトル表現（１１）に変換するステップ（１４）と、
    入力スペクトル表現の周波数より高い周波数の値を含む処理されたスペクトル表現（１５）を発生するよう入力スペクトル表現を処理するステップ（１３）と、
    処理されたスペクトル表現を時間表現に変換するステップ（１７）とを含み、
    入力スペクトル表現への変換ステップ（１４）または時間表現への変換ステップ（１７）において、制御可能な周波数領域オーバーサンプリングが、過渡情報を有する入力信号の第１の時間部分について行われ、
    入力信号の第２の時間部分について、周波数領域オーバーサンプリングが行われないかまたは周波数領域オーバーサンプリングが入力信号の第１の時間部分に比較してより小さいオーバーサンプリング係数で行われ、
    入力スペクトル表現を処理するステップ（１３）は、入力スペクトル表現の２つの値を組み合わせることにより、より高い周波数の値を計算することを含み、
    入力スペクトル表現の２つの値は、周波数に関して隣接している、方法。
14. コンピュータで実行されると、請求項１３に記載の高周波数オーディオ信号を発生するための方法を実行するためのコンピュータプログラム。

Images