JP5244971B2 - オーディオ信号合成器及びオーディオ信号符号器 - Google Patents

Description

本発明は、合成オーディオ信号を生成するためのオーディオ信号合成器と、オーディオ信号符号器と、符号化されたオーディオ信号を含むデータストリームとに関する。

自然オーディオ符号化とスピーチ符号化とは、オーディオ信号の符号化における２つの大きな分類である。自然オーディオ符号器は音楽や中程度ビットレートを用いる任意の信号のために一般的に使用され、通常は幅広いオーディオ帯域を提供する。スピーチ符号器は、基本的にスピーチの再生に限定されており、非常に低いビットレートで使用することができる。幅広い帯域のスピーチは、幅狭な帯域のスピーチと比較して、大きな主観的品質向上をもたらす。帯域を増大させることで、スピーチの自然さを向上させるだけでなく、発話者の認識や了解度をも向上させる。従って、幅広い帯域のスピーチ符号化は、次世代電話システムにおける重要な課題である。さらに、マルチメディア分野の急速な進歩によって、音楽や他の非スピーチ信号を、電話システムを介して高品質で伝送することや、ラジオ／テレビ又は他の放送システムのために記憶したり伝送することは望ましい特徴である。

ビットレートを劇的に削減するために、分離帯域(split-band)知覚的オーディオ符号化を使用するソース符号化を実行することも可能である。このような自然オーディオ符号化は、信号内にある知覚的に無意味な部分や統計的な冗長性を利用するものである。もし、このような不要物の利用だけでは所定のビットレート制限に対処できない場合には、サンプリングレートが削減される。さらに、構成レベルの数を減少させることも一般的であるが、これは時には可聴量子化歪を引き起こす可能性がある。また、ジョイントステレオ符号化又は２つ以上のチャネルのパラメトリック符号化を通じてステレオフィールドを低下させることも一般的な手法である。しかし、このような手法を過剰に使用すると、煩わしい知覚的品質低下をもたらしてしまう。符号化性能を向上させるために、スペクトル帯域複製（ＳＢＲ）のような帯域拡張方法が、ＨＦＲ(高周波再構築)ベースの符号化において高周波信号を生成するための効率の良い方法として使用されている。

高周波信号を複製する過程において、例えば所定の変換が低周波信号に対して適用され、変換された信号が高周波信号として挿入されても良い。このような過程はパッチングとして知られ、様々な変換が使用されても良い。ＭＰＥＧ４オーディオ標準は、ただ１つのパッチングアルゴリズムを全てのオーディオ信号のために使用する。そのため、様々な信号に対するパッチングや符号化スキームを適用する上で柔軟性の欠如をもたらしている。

一方で、ＭＰＥＧ４標準は、再構築される高周波信号に対し多数の重要なＳＢＲパラメータを適用するという精巧な処理も提供している。これらの重要なＳＢＲパラメータとは、スペクトル包絡のデータ、再構築されたスペクトル部分に追加されるべきノイズフロアのデータ、再構築された高周波部分の調性をオリジナル高周波部分の調性へと適応させるための逆フィルタリングツールに関する情報、消失したハーモニクスのデータのような追加的なスペクトル帯域複製処理データなどである。フィルタバンクドメイン内における連続的な帯域通過信号のパッチングにより提供された複製スペクトルに対し、このように精巧に作成された処理を施すことで、高品質を提供できることが証明されており、さらに、処理能力や記憶能力や電力条件に関し、合理的な資源で構成できることが証明されている。

しかし他方、パッチングが実行されるフィルタバンクと、パッチング済の信号に上述の処理が施されるフィルタバンクとが同じであるため、パッチング操作と、そのパッチング操作の結果に対する上述の処理との間に強い関連性が生じてしまう。そのため、このような組み合わせを持つ手法においては、異なるパッチングアルゴリズムを適用することが問題となる。

特許文献１は、スペクトル包絡調整と組み合わせた、スペクトル帯域複製で使用される転移方法を開示している。

特許文献２は、信号はパルストレイン状か又は非パルストレイン状かのいずれかに分類することができる点を教示し、この分類に基づく適応型で切り替えられる転移手段を提案している。この切替型転移手段は、２つのパッチングアルゴリズムを並行して実行し、混合ユニットが両方のパッチされた信号を（パルストレインか非パルストレインかの）分類に依存して結合する。転移手段間の実際の切替又は混合は、包絡調整フィルタバンクの中で、包絡と制御データに応じて実行される。パルストレイン状の信号に対しては、基本帯域信号がフィルタバンクドメインへと変換され、周波数換算操作が実行され、その周波数換算操作の結果に対し、包絡調整が実行される。この手法は、パッチング処理とさらなる処理との結合である。非パルストレイン状の信号に対しては、周波数ドメインの転移手段（ＦＤ転移器）が設けられ、この周波数ドメインの転移手段の結果は、フィルタバンクドメインへと変換され、ここで包絡調整が実行される。このような構成及びその柔軟性を考慮するとき、一方ではパッチン処理とさらなる処理との結合を持ち、他方では、包絡調整が施されるフィルタバンクとは別に設けられた周波数ドメイン転移手段を持つ手法であるため、柔軟性や構成の実現性の点で問題がある。

ＷＯ９８／５７４３６号公報 ＷＯ０２／０５２５４５号公報

本発明の目的は、改良されたオーディオ品質を提供し、かつ効率的な構成を可能にするオーディオ信号合成器を提供することである。

前記目的は、請求項１に係るオーディオ信号合成器、請求項９に係るオーディオ信号符号器、請求項１１に係る合成オーディオ信号の生成方法又は請求項１２に係るデータストリームの生成方法によって達成できる。

本発明は、パッチング操作を一方とし、そのパッチング操作の出力を処理する操作を他方とする場合に、２つの操作が独立したドメインで完全に実行されるべきであるという知見に基づいている。この独立したドメインでの操作により、基礎となるパッチングアルゴリズムとは無関係に、一方ではパッチ生成器内において異なるパッチングアルゴリズムを最適化し、他方では同一の包絡調整を常に使用するという柔軟性をもたらす。つまり、包絡調整が行なわれるスペクトルドメイン以外でいずれかのパッチング済信号を生成することで、後続のＳＢＲのさらなる処理からは完全に独立して、異なる信号部分に対して異なるパッチングアルゴリズムを柔軟に適用できるようになる。また、設計者は、包絡調整に起因するパッチングアルゴリズムの特性を考慮する必要がなく、或いは、所定の包絡調整のためのパッチングアルゴリズムの特性を考慮する必要がない。代わりに、スペクトル帯域複製の異なる要素、即ち、パッチング操作を一方とし、そのパッチング操作の結果のさらなる処理を他方とする操作は、互いに独立して実行することができる。スペクトル帯域複製の全般において、パッチングアルゴリズムが個別に実行され、その結果、パッチング操作とその後のＳＢＲ操作とを互いに独立して最適化することができる。つまり、いかなるパッチングも実行されないスペクトルドメインにおいて、パッチング結果のさらなる処理を実行するパラメータを全く変更する必要なく、次のパッチングアルゴリズムを単純に選択できるという柔軟性を持つ。

本発明は品質の向上を提供する。なぜなら、本発明によれば、基本帯域信号の各信号部分は、各信号部分毎にそれぞれ最適なパッチングアルゴリズムを用いてパッチングされるように、信号の各部分に対して異なるパッチングアルゴリズムを容易に適用できるからである。さらに、フィルタバンクで作動し、ＭＰＥＧ−４ ＨＥ−ＡＡＣなど巧妙に達成されかつ多くのアプリケーションで既に存在する簡素で効率的且つ高品質な包絡調整ツールも、本発明で活用することができる。パッチ結果のさらなる処理を実行するフィルタバンクドメインでは、パッチングアルゴリズムが全く使用されないようにすることで、さらなる処理からパッチングアルゴリズムを分離することができる。よって、使用可能なあらゆるパッチングアルゴリズムに対して、パッチ結果の巧妙に達成されたさらなる処理方法を適用できる。任意ではあるが、パッチングは他のドメインと同様にフィルタバンクドメインでも実行されても良い。

さらに、上述の特徴はスケーラビィティを提供する。なぜなら、低レベルのアプリケーションに対しては、少ない資源しか必要としないパッチングアルゴリズムを使用することができ、他方、高レベルのアプリケーションに対しては、より多くの資源を必要とするパッチングアルゴリズムを使用してより良好なオーディオ品質をもたらすことができるからである。代替的に、パッチングアルゴリズムを同一に維持することも可能であり、他方、パッチング結果の処理の複雑さは必要性に応じて適応させることができる。例えば、低レベルのアプリケーションに対しては、スペクトル包絡調整のための低減された周波数分解能を適用する一方で、高レベルのアプリケーションに対しては、より高い品質を提供できる細かい周波数分解能を適用できる。しかし、細かい分解能は、メモリ、処理手段、電力消費の点でより大きな資源を必要とする点も、特にモバイル機器において考慮すべきである。パッチングツールはスペクトル包絡調整ツールに依存しておらず、逆に、スペクトル包絡調整ツールもパッチングツール依存にしていないため、このことは対応する他のツールを巻き込むことなく実行できる。なぜなら、パッチの生成とパッチされた生データを例えばフィルタバンクによってスペクトル表示へ変換する処理とを分離することは、最も好ましい特徴だからである。

本発明の第１の実施形態によれば、オーディオ信号合成器は、第１の周波数帯域とこの第１の周波数帯域から導出された第２の合成周波数帯域とを有する合成オーディオ信号を生成し、このオーディオ信号合成器は、パッチ生成器とスペクトル変換器と生信号処理器と結合器とを備える。パッチ生成器は少なくとも２つの異なるパッチングアルゴリズムを実行し、各パッチングアルゴリズムは、第１の周波数帯域の信号成分を有するオーディオ信号を使用して、第２の合成周波数帯域の信号成分を有する生信号を生成する。パッチ生成器は、第１の時間部分のために制御情報に応じて少なくとも２つの異なるパッチングアルゴリズムのうちの１つを選択し、第１の時間部分とは異なる第２の時間部分のために制御情報に応じて少なくとも２つの異なるパッチングアルゴリズムのうちの他の１つを選択し、第１と第２の時間部分のための生信号を取得する。前記スペクトル変換器は生信号を生信号スペクトル表示へと変換する。生信号処理器はスペクトルドメインのスペクトル帯域複製パラメータに応じて生信号スペクトル表示を処理して調整済の生信号スペクトル表示を取得する。結合器は、第１の帯域の信号成分を有するオーディオ信号又はこのオーディオ信号から導出された信号と、調整済の生信号スペクトル表示又はこの調整済の生信号スペクトル表示から導出されたさらなる信号とを結合して、合成オーディオ信号を取得する。

他の実施形態においては、オーディオ信号合成器は、少なくとも２つパッチングアルゴリズムが互いに異なるように、詳しくは、第１の周波数帯域の周波数におけるオーディオ信号の信号成分が第２の周波数帯域の目標周波数へとパッチングされ、その目標周波数が両方のパッチングアルゴリズムに関して異なるように構成される。パッチ生成器はさらに、両方のパッチングアルゴリズムについて時間ドメインで作動するように構成される。

本発明の他の実施形態によれば、オーディオ信号符号器は、オーディオ信号からこのオーディオ信号の第１の周波数帯域の成分と制御情報とスペクトル帯域複製パラメータとを含むデータストリームを生成する。オーディオ信号符号器は、周波数選択的フィルタと生成器と制御情報生成器とを備える。周波数選択的フィルタはオーディオ信号の第１の周波数帯域の成分を生成する。生成器は、オーディオ信号の第２の周波数帯域の成分からスペクトル帯域複製パラメータを生成する。制御情報生成器は制御情報を生成し、この制御情報は第１又は第２の異なるパッチングアルゴリズムから好適なパッチングアルゴリズムを識別する。各パッチングアルゴリズムは、オーディオ信号の第１の周波数帯域の成分を使用して、第２の複製された周波数帯域の信号成分を有する生信号を生成する。

本発明のさらに他の実施形態によれば、コンピュータに接続された伝送ラインを介して伝送されるオーディオ信号ビットストリームは、第１の周波数帯域の符号化されたオーディオ信号と制御信号とスペクトル帯域複製パラメータとを有する。

従って、本発明は、スペクトル帯域複製において異なるパッチングアルゴリズムの間を切り替える方法に関し、使用されるパッチングアルゴリズムは、符号器側においては符号器内で行われる決定に依存し、復号器側においては、ビットストリーム内で伝送された情報に依存する。スペクトル帯域複製（ＳＢＲ）を使用することにより、高周波数成分は、例えばＱＭＦ−フィルタバンク（ＱＭＦ＝直交ミラーフィルタ）における低周波数信号成分を高周波数帯域へとコピーする方法などで生成されても良い。このコピー操作はパッチングとしても知られ、本発明の実施例によれば、このパッチングは時間ドメインでも実行可能な方法で代替されるか又は補足されても良い。代替的な方法の例には以下のようなものがある。
（１）（例えばスペクトルのミラーリングによる）アップサンプリング
（２）位相ボコーダ
（３）非線形の歪み付与
（４）ＱＭＦ帯域の順序の交替によるＱＭＦドメインのスペクトルのミラーリング
（５）（特にスピーチのために駆動される）モデル
（６）変調

上述の代替的なパッチングアルゴリズムもまた、スペクトル帯域複製パラメータを取得するために、符号器内において実行されても良い。これらのパラメータは、ノイズ充填、逆フィルタリング、消失ハーモニクスのような例えばＳＢＲツールによって使用される。本発明の実施例によれば、パッチ生成器内のパッチングアルゴリズムは、スペクトル帯域複製ツールを使用している間でも、切り替えることができる。

パッチングアルゴリズムの具体的な選択は、適用されたオーディオ信号に依存する。例えば、位相ボコーダはスピーチ信号の特性を強制的に変化させる。よって、位相ボコーダは、例えばスピーチ又はスピーチのような信号に対しては適切なパッチングアルゴリズムを提供できない。このように、パッチ生成器は、オーディオ信号のタイプに依存して、高周波帯域のためのパッチを生成する様々な可能性の中から１つのパッチングアルゴリズムを選択する。例えば、パッチ生成器は、従来のＳＢＲツール（ＱＭＦ帯域のコピー）と位相ボコーダ又は他のパッチングアルゴリズムの間で切替を実行しても良い。

（例えばＭＰＥＧ−４構成のような）従来のＳＢＲ構成とは対照的に、本発明の実施例では、高周波信号を生成するためのパッチ生成器を使用する。パッチ生成器は周波数ドメインだけに限らず、時間ドメインで作動しても良く、例えばミラーリング、アップサンプリング、位相ボコーダ及び／又は非線形歪付与を実行しても良い。スペクトル帯域複製が周波数ドメイン又は時間ドメインのどちらで行われるかは、後段で説明するように具体的な信号に依存している（即ち信号適応型である）。

スペクトル帯域複製では、多くの場合、オーディオ信号のコア周波数帯域だけを伝送すれば十分であり、高周波帯域の信号成分は復号器において生成すれば十分である、という事実に基づいている。その結果として得られるオーディオ信号は、高い知覚的品質を維持できるであろう。なぜなら、例えばスピーチ信号でも音楽信号でも、高周波成分はコア周波数帯域の低周波成分に対し、大抵は相関関係を持っているからである。このように、消失した高周波成分を生成する適応型のパッチングアルゴリズムを使用することで、高い知覚的品質のオーディオ信号を取得することができる。同時に、高周波帯域をパラメータ主導で生成することは、オーディオ信号の符号化において重要なビットレート削減をもたらす。なぜなら、コア周波帯域のオーディオ信号だけを圧縮符号化して復号器へと伝送するだけで良いからである。残りの周波数成分については、制御情報とスペクトル帯域複製パラメータだけを伝送すれば良い。これらの情報は、復号器におけるオリジナル高周波帯域信号の推定を実行する処理を制御する。厳密に言えば、この処理は次の３つの構成要素を含む。（ｉ）パラメトリックな高周波（ＨＦ）帯域推定（ＳＢＲパラメータの計算）、（ii）生パッチ生成（実際のパッチング）、（iii）さらなる処理への準備（例えばノイズフロア調整など）。

コア周波数帯域は所謂クロスオーバー周波数により定義されても良い。このクロスオーバー周波数とは、周波数帯域内においてオーディオ信号の符号化が実行される上限までの範囲の閾値を定義するものである。コア符号器はクロスオーバー周波数により制限されるコア周波数帯域のオーディオ信号を符号化する。クロスオーバー周波数を始点として、信号成分はスペクトル帯域複製により生成される。スペクトル帯域複製の従来の方法を使用する際に、コア符号器のクロスオーバー周波数において、いくつかの信号が不要なアーチファクトを含むことがしばしば起こる。

本発明の実施例を使用することで、これらのアーチファクトを防止するか、少なくともこれらのアーチファクトが知覚的な影響を及ぼさないような方法で修正する、パッチングアルゴリズムを決定することができる。例えば、パッチングアルゴリズムとして時間ドメインのミラーリングを使用することで、ＡＭＲ−ＷＢ＋（拡張適応型マルチレート・広帯域）における帯域拡張（ＢＷＥ）と同様にスペクトル帯域複製を実行できる。加えて、信号に依存してパッチングアルゴリズムを変化させることは、スピーチ及び音楽に対し、例えば異なる帯域拡張方法を使用できるという可能性をもたらす。また、音楽かスピーチか判別できない信号（即ち混合信号）に対しては、パッチングアルゴリズムを短時間の期間単位で変化させることができる。例えば、与えられたいかなる時間的期間に対しても、このパッチングのために好適なパッチングアルゴリズムを使用することができる。このような好適なパッチングアルゴリズムは、例えば入力データの各処理済ブロックについて、パッチングの結果とオリジナルオーディオ信号とを比較するような、符号器によって決定されても良い。これにより、オーディオ信号合成器によって生成されるオーディオ信号の知覚的品質を有意に向上させることができる。

本発明のさらなる長所は、パッチ生成器と標準的なＳＢＲツールを含んでも良い生信号処理器とを分離することから生まれる。この２つを分離することで、逆フィルタリング、ノイズフロアや消失ハーモニクスの追加、又は他の機能を持っても良い標準的なＳＢＲツールを使用することができる。このようにパッチングを柔軟に調整できる一方で、標準的なＳＢＲツールも使用可能となる。加えて、標準的なＳＢＲツールは周波数ドメインで使用されることから、パッチ生成器と標準的なＳＢＲツールとの分離は、周波数ドメイン又は時間ドメインのいずれにおいてもパッチング処理を可能にする。

以下に、実施例に基づいて本発明を説明する。本発明の特徴がより理解しやすくなるように、添付の図面を参照しながら以下に詳細に説明する。
本発明の実施例に従うオーディオ信号処理のブロック図である。 本発明の実施例に従うパッチ生成器のブロック図である。 時間ドメインで作動する結合器のブロック図である。 パッチングアルゴリズムの様々な例の概略図である。 位相ボコーダによるパッチングの概略図である。 コピーによるパッチングの概略図である。 符号化されたオーディオストリームを処理してＰＣＭサンプルを出力する実施例を示すブロック図である。 符号化されたオーディオストリームを処理してＰＣＭサンプルを出力する他の実施例を示すブロック図である。 符号化されたオーディオストリームを処理してＰＣＭサンプルを出力するさらに他の実施例を示すブロック図である。 符号化されたオーディオストリームを処理してＰＣＭサンプルを出力するさらに別の実施例を示すブロック図である。 本発明の他の実施例に係るオーディオ符号器を示すブロック図である。 本発明のさらに他の実施例に係るオーディオ符号器を示すブロック図である。 本発明のさらに別の実施例に係るオーディオ符号器を示すブロック図である。

以下に説明する実施の形態は、例えばオーディオ復号器と一緒に使用される、スペクトル帯域複製のための本発明の原理を単に例示的に示したにすぎない。本明細書に記載した構成及び詳細について、修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではない。

図１は、第１の周波数帯域とこの第１の周波数帯域から複製された第２の周波数帯域とを備えた合成オーディオ信号１４５を生成するためのオーディオ信号合成器を示す。このオーディオ信号合成器は、少なくとも２つの異なるパッチングアルゴリズムを実行するパッチ生成器１１０を備え、各パッチングアルゴリズムは、第１の周波数帯域内の信号成分を有するオーディオ信号１０５を使用して、第２の複製された周波数帯域内の信号成分を有する生信号１１５を生成する。パッチ生成器１１０は、第１の時間部分のために制御情報１１２に応じて前記少なくとも２つの異なるパッチングアルゴリズムのうちの１つを選択し、且つ、第１の時間部分とは異なる第２の時間部分のために制御情報１１２に応じて前記少なくとも２つの異なるパッチングアルゴリズムのうちの他の１つ選択し、第１及び第２の時間部分のための生信号１１５を取得する。このオーディオ信号合成器は、生信号１１５を第１サブバンドや第２サブバンド等の成分を有する生スペクトル表示１２５へと変換するスペクトル変換器１２０をさらに備える。オーディオ信号合成器は、生信号処理器１３０をさらに備え、スペクトルドメインのスペクトル帯域複製パラメータ１３２に応じて生スペクトル表示１２５を処理し、調整済の生信号スペクトル表示１３５を取得する。オーディオ信号合成器は結合器１４０をさらに備え、第１の周波数帯域の信号成分を有するオーディオ信号１０５又はこのオーディオ信号１０５から導出された信号と、調整済の生信号スペクトル表示１３５又はこの調整済の生信号スペクトル表示１３５から導出されたさらなる信号とを結合し、合成オーディオ信号１４５を取得する。

他の実施例においては、結合器１４０は、オーディオ信号１０５から導出された信号として、生信号スペクトル表示１２５を使用する。また、結合器１４０が使用するオーディオ信号から導出された信号は、分析フィルタバンクのような時間／スペクトル変換器によって処理されたオーディオ信号、時間ドメイン或いはスペクトルドメインで作動するパッチ生成器により生成された低周波帯域信号、遅延されたオーディオ信号、又は結合されるべき信号が同じ基底サンプリングレートを持つようにアップサンプリング操作により処理されたオーディオ信号であっても良い。

さらに他の実施例においては、オーディオ信号合成器は、第１の周波数帯域２０１内の信号成分を有するオーディオ信号１０５の特性を分析して第１パッチングアルゴリズムか第２パッチングアルゴリズムかを識別するための制御情報１１２を提供する、分析器をさらに備えていても良い。

さらに他の実施例においては、前記分析器は、オーディオ信号１０５の中のある程度の声音を有する時間部分に対しては非ハーモニックなパッチングアルゴリズムを識別し、ある特定の時間部分に対してはハーモニックなパッチングアルゴリズムを識別しても良い。

さらに他の実施例においては、オーディオ信号１０５はメタデータと一緒にデータストリームの中へと符号化され、パッチ生成器１１０はこのデータストリームの中のメタデータから制御情報１１２を得ても良い。

さらに他の実施例においては、スペクトル変換器１２０が分析フィルタバンクを含み、又は少なくとも２つの異なるパッチングアルゴリズムが、位相ボコーダアルゴリズム、アップサンプリングパッチングアルゴリズム、非線形歪付与パッチングアルゴリズム又はコピーアルゴリズムを含んでも良い。

さらに他の実施例においては、生信号処理器１３０は、スペクトル帯域のエネルギー調整、スペクトル帯域における逆フィルタリング、スペクトル帯域へのノイズフロアの追加又はスペクトル帯域への消失ハーモニクスの追加を実行する。

図２はパッチ生成器１１０をより詳細に説明するためのブロック図である。パッチ生成器１１０は、制御情報１１２及びオーディオ信号１０５を受け取る制御器１１１と、パッチング手段１１３とを含む。制御器１１１は制御情報１１２に基づいてパッチングアルゴリズムを選択する。パッチ生成器１１０は、第１のアルゴリズム１を実行する第１パッチング手段１１３ａ、第２のアルゴリズム２を実行する第２パッチング手段１１３ｂなどを含む。一般的に、パッチ生成器１１０は、使用可能なパッチングアルゴリズムの数と同数のパッチング手段１１３を含む。例えば、パッチ生成器１１０は、２，３，４又はそれ以上の個数のパッチング手段１１３を含む。制御情報１１２に基づいて、制御器１１１がパッチング手段１１３の中の１つを選択した後で、制御器１１１はそのパッチング手段１１３の中の１つへとオーディオ信号１０５を出力し、この１つのパッチング手段１１３はパッチングアルゴリズムを実行して生信号１１５を出力する。生信号１１５は、複製された周波数帯域２０２，２０３内の信号成分を含む。

図３は結合器１４０をより詳細に説明するためのブロック図である。結合器１４０は、合成フィルタバンク１４１と遅延器１４３と加算器１４７とを備える。調整済の生信号１３５は合成フィルタバンク１４１へと入力され、ここでは、（例えばスペクトル表示の）調整済生信号１３５から時間ドメインの調整済生信号１３５ｔ（時間ドメイン生信号）を生成する。基本帯域オーディオ信号１０５は遅延器１４３へと入力され、この遅延器は、基本帯域信号１０５を所定時間分だけ遅延させ、遅延された基本帯域信号１０５ｄを出力する。遅延された基本帯域信号１０５ｄと時間ドメインの調整済生信号１３５ｔとは加算器１４７により加算され、合成オーディオ信号１４５が結合器１４０の出力として出力される。遅延器１４３の遅延は、時間ドメインの調整済生信号１３５ｔが遅延された基本帯域信号１０５ｄの同一の時間に対応（同期）するように、オーディオ信号合成器の処理アルゴリズムに依存している。

図４の（Ａ）〜（Ｄ）はパッチ生成器１１０でパッチング手段１１３により使用される様々なパッチングアルゴリズムを示す。上述したように、パッチングアルゴリズムは、複製された周波数帯域の中にパッチされた信号を生成する。図４に示す実施例においては、第１の周波数帯域２０１はクロスオーバー周波数ｆ_maxまで延び、このｆ_maxから第２の周波数帯域２０２（又は第２の複製された周波数帯域）が始まり、クロスオーバー周波数の２倍の周波数２^*ｆ_maxまで延びる。この周波数２^*ｆ_maxから、第３の周波数帯域２０３（又は第３の複製された周波数帯域）が開始する。第１の周波数帯域２０１は上述のコア周波数帯域を含んでいても良い。

図４は、４つのパッチングアルゴリズムを例として示す。図４の（Ａ）の第１パッチングアルゴリズムはミラーリング又はアップサンプリングを含み、図４の（Ｂ）の第２パッチングアルゴリズムはコピー及び変調の操作を含み、図４の（Ｃ）の第３パッチングアルゴリズムは位相ボコーダを含み、図４の（Ｄ）の第４パッチングアルゴリズムは歪付与を含む。

図４の（Ａ）に示すミラーリングは、第１の周波数帯域２０１をクロスオーバー周波数ｆ_maxでミラーリングすることで、第２の周波数帯域２０２のパッチされた信号を得る。第３の周波数帯域２０３のパッチされた信号は、第２の周波数帯域２０２の信号をミラーリングすることで得られる。第２の周波数帯域２０２の信号は既にミラーリングされた信号であるから、第３の周波数帯域２０３の信号は、第１の周波数帯域２０１のオーディオ信号１０５を第３の周波数帯域２０３へと単純にシフトすることでも得られる。

図４の（Ｂ）に示す第２パッチングアルゴリズムは、コピー（又は変調）の操作を実行する。この実施例では、第２の周波数帯域２０２の信号は第１の周波数帯域２０１の信号を第２の周波数帯域２０２へとシフト（コピー）することで得られる。同様に、第３の周波数帯域２０３の信号は第１の周波数帯域２０１の信号を第３の周波数帯域２０３へとシフトすることで得られる。

図４の（Ｃ）は位相ボコーダをパッチングアルゴリズムとして使用する実施例を示す。パッチされた信号は以下のようなステップ、即ち、第１ステップでは最大周波数の２倍（２^*ｆ_max）までの信号成分を生成し、第２ステップでは最大周波数の３倍（３^*ｆ_max）までの信号成分を生成することなどにより生成される。位相ボコーダはサンプルの周波数に係数ｎ（ｎ＝２，３，４，・・・）を乗算し、コア周波数帯域（第１の周波数帯域２０１）のｎ倍の周波数領域に渡るサンプル値の拡張をもたらす。

図４の（Ｄ）は、（例えば信号を二乗するなどによる）歪付与を用いたパッチングアルゴリズムを示す。歪付与は色々な方法で得られる。１つの単純な方法は、信号レベルの二乗により高周波成分を生成する方法である。他の歪付与方法は、（例えば所定の閾値を超える信号の切落しによる）クリッピングによるものである。いずれの方法でも、高周波成分を生成できる。基本的に、従来より知られたいかなる歪付与方法でも使用することができる。

図５ａは、位相ボコーダのパッチングアルゴリズムをより詳細に示す。ここでも、第１の周波数帯域２０１は最大周波数（クロスオーバー周波数）ｆ_maxまで延び、このｆ_maxから第２の周波数帯域２０２が始まり、例えば最大周波数の２倍の周波数２^*ｆ_maxまで延びる。この第２の周波数帯域２０２の後には、第３の周波数帯域２０３が開始し、例えば最大周波数の３倍の周波数３^*ｆ_maxまで延びる。

簡単のため、図５ａはスペクトル（周波数ｆの関数としてのレベルＰ）をオーディオ信号１０５のための８本の周波数ライン１０５ａ，１０５ｂ，・・・，１０５ｈを用いて示す。位相ボコーダはこれら８本の周波数ライン１０５ａ，・・・，１０５ｈを矢印で示すようにシフトすることで、新たな信号を生成する。このシフト操作は、上述した乗算に対応する。詳細には、１番目のライン１０５ａは２番目のライン１０５ｂへとシフトされ、２番目のラインは４番目のラインへとシフトされ、最後は８番目のライン１０５ｈが１６番目のライン（第２周波数ドメイン２０２の最終ライン）へとシフトされる。この方法は２を用いた乗算に対応する。最大周波数の３倍の周波数３^*ｆ_maxまでラインを生成するために、ラインの全ての周波数が３で乗算されても良い。即ち、１番目のライン１０５ａは３番目のライン１０５ｃへとシフトされ、２番目のライン１０５ｂは６番目のラインへとシフトされ、最後は８番目のライン１０５ｈが２４番目のライン（第３周波数ドメイン２０３の最終ライン）へとシフトされる。この位相ボコーダによって、ラインはもはや等間隔ではなくなり、高周波数においては拡張していることが明らかである。

図５ｂはコピーによるパッチングアルゴリズムを詳細に示す。周波数ｆの関数としてのレベルＰを再び使用して示す。ここでは、第１の周波数帯域２０１の中に８本のラインが有り、これらが第２の周波数帯域２０２へとコピーされ、さらに第３の周波数帯域２０３へとコピーされる。このコピー操作によると、第１の周波数帯域２０１の中の１番目のライン１０５ａは、第２の周波数帯域２０２の中でも第３の周波数帯域２０３の中でも１番目のラインとなる。つまり、各複製された周波数帯域２０２，２０３の１番目のラインは、第１の周波数帯域２０１の中の１番目のラインからコピーされる。他のラインにも同様の方法が適用され、結果的に、帯域全体がコピーされる。

図４や図５に示すような様々なパッチングアルゴリズムが、時間ドメイン又は周波数ドメインで、様々な方法で適用されても良い。それぞれが異なる長所と短所を含むが、それら長所と短所は様々なアプリケーションについて活用することができる。

例えば、周波数ドメインでのミラーリングが図４の（Ａ）に示されるが、時間ドメインでは、このミラーリングは整数の係数によってサンプリングレートを増大させることで実行できる。つまり、存在しているサンプルの各ペアの間に追加的なサンプルを挿入することで実行できる。これらの追加的なサンプルはオーディオ信号から得られるものではなく、システムから導入され、例えばゼロに近いか等しい値を含む。最も簡素な場合として、もし存在する２つのサンプルの間にただ１つの追加的なサンプルが導入される場合には、サンプルの個数が２倍になり、よってサンプリングレートも２倍になることを意味する。もし、２つ以上の追加的なサンプルが（例えば等間隔に）導入される場合には、その数に従ってサンプリングレートも増大し、よって周波数スペクトルもまた増大する。一般的に、存在する各２つのサンプルの間の追加的なサンプルの個数はいずれの数ｎ（ｎ＝１，２，３，４，・・・）でも良く、サンプリングレートはｎ＋１を係数として増大する。追加的なサンプルの挿入により、与えられたサンプリングレートにおける最高の表示可能な周波数を特定する、ナイキスト周波数における周波数スペクトルのミラーリングがもたらされる。周波数ドメインの基本帯域スペクトルの（第１の周波数帯域のスペクトル）は、このような方法で次の周波数帯域へとミラーリングされる。任意ではあるが、このミラーリングは、使用可能な低域通過フィルタリング及び／又はスペクトル成形と組み合わされても良い。

上述のミラーリングのパッチングアルゴリズムの長所は、以下のようにまとめることができる。即ち、この方法を使用することで、周波数ドメインの同様の方法を使用する場合よりも、信号の時間構造が良好に保存される。さらに、スペクトルミラーリングによって、ナイキスト周波数に近い周波数ラインがラインへとマッピングされ、このラインはまたナイキスト周波数に近くなる。この点は有利である。なぜなら、ミラーリングの後では、ミラーリング周波数（即ちオリジナルオーディオ信号１０５のナイキスト周波数）の周辺のスペクトル領域が、多くの点、例えばスペクトル平面度、調性特性、周波数ポイントの累積又は明瞭性などの特性において類似しているからである。この方法によって、スペクトルは次の周波数帯域へと、より滑らかな方法、例えばコピー操作を用いた場合よりも滑らかな方法で継続される。コピー操作では、オリジナルスペクトルにおいては全く異なる領域から生まれた周波数領域が互いに隣接する結果となり、境界部において非常に異なる特性を表すことになる。コピー操作では、１番目のサンプルは複製された帯域でも１番目のサンプルとなるが、ミラーリングでは、最後のサンプルが複製された帯域の１番目のサンプルとなる。このミラーリングによる滑らかなスペクトルの継続により、他のパッチングアルゴリズムによって生成される再現スペクトルの非連続的な特性に起因するような知覚的アーチファクトを減少させることができる。

最後に、例えば低周波数領域（第１の周波数帯域２０１）において多数のハーモニクスを持つ信号がある。これらのハーモニクスはスペクトルの局部的なピークとして現れる。しかし、スペクトルの高域部分においてはハーモニクスの数は非常に少ないことがある。換言すれば、スペクトルの高域部分におけるハーモニクスの数が低域部分よりも少ないことがある。この場合、もしスペクトルのコピーを単純に使用すれば、複製された信号の中で、多数のハーモニクスを持つスペクトルの低域部分が、オリジナル信号においてはハーモニックの数が非常に少なかった高域の周波数領域の中へとそのままコピーされることになってしまう。その結果、オリジナル信号の高周波帯域と複製された信号の高周波帯域とは、ハーモニクスの数に関して非常に異なってしまい、このような操作は好ましいとは言えず、回避すべきである。

ミラーリングのパッチングアルゴリズムは周波数ドメイン（例えばＱＭＦ領域）でも使用できる。その場合、周波数帯域の前後が逆転し、後ろから前へという逆の順序になる。加えて、サブバンドサンプルについて、各サンプルの虚数部分がその正負符号を変えるように複素共役値を形成させる必要がある。その結果、サブバンド内におけるスペクトルの逆転が発生する。

このパッチングアルゴリズムはパッチの境界に関して高い柔軟性を備える。なぜなら、スペクトルのミラーリングは必ずしもナイキスト周波数において実行されるわけではなく、いかなるサブバンドの境界においても実行されうるからである。

しかし、隣接するＱＭＦ帯域の間のパッチの端部におけるエイリアシングは消去されない可能性があり、この点は許容されることも許容されないこともあり得る。

拡張させること、つまり位相ボコーダを使用（図４の（Ｃ）又は図５ａを参照）することで、周波数構造はハーモニックの点で正確に高周波数領域へと拡張される。なぜなら、１つ又は複数の位相ボコーダが実行する規則正しい乗算によって、基本帯域２０１がスペクトル的に拡張されるからであり、また、基本帯域２０１のスペクトル成分が追加的に生成されたスペクトル成分と結合されるからである。

このような位相ボコーダを用いたパッチングアルゴリズムは、基本帯域２０１が帯域において厳しく制限されている場合、例えば、非常に低いビットレートを使用するよう制限されているような場合に好都合である。つまり、高周波数成分の再構築が比較的低い周波数から始まり、この場合の典型的なクロスオーバー周波数は約５ｋＨｚよりも低い（又は４ｋＨｚよりも低いこともある）。このような領域では、人間の耳は、不正確に配置されたハーモニクスによる不協和音に対して非常に敏感であり、「不自然」な音という印象を与える可能性もある。さらに、スペクトル的に近い間隔にある音同士（約３０Ｈｚから３００Ｈｚまでのスペクトル距離を持つ音）は粗い音として知覚される。基本帯域２０１の周波数構造のハーモニックな継続は、これらの不正確で不快な聴覚的印象を回避する。

コピー操作の第２パッチングアルゴリズム（図４（Ｂ）又は図５ｂを参照）において、スペクトル領域は、高周波数領域又は複製されるべき領域へとサブバンド単位でコピーされる。全てのパッチング方法にとって言えることであるが、コピー操作も、高周波数信号のスペクトル特性が多くの点で基本帯域信号の特性に類似するという観測の上に成り立っている。互いの偏差は非常に少ないとされる。加えて、人間の耳は典型的には高周波数（典型的には５ｋＨｚ以上の周波数）においてはあまり敏感ではなく、特に精密でないスペクトルマッピングに関して敏感ではない。実際、この点がスペクトル帯域複製全般において鍵となる考え方である。コピー操作は特に、容易且つ高速で実行できるという長所を持つ。

コピー操作のパッチングアルゴリズムは、またパッチの境界部分について高い柔軟性を持つ。なぜなら、スペクトルのコピーはいかなるサブバンド境界でも実行できる可能性があるからである。

最後に、歪付与を用いたパッチングアルゴリズム（図４ｄを参照）は、クリッピング、制限法(limiting)、二乗法(squaring)などを用いたハーモニクスの生成を含む。例えば、（上述の位相ボコーダパッチングアルゴリズムを適用した後などのように）もし拡張された信号のスペクトル的な占有率が非常に薄い場合には、その拡張されたスペクトルは、望ましくない周波数の穴を回避するために、歪付与された信号による任意の追加的補足を受けることもできる。

図６ａ〜図６ｄは、オーディオ復号器の中に構成されたオーディオ信号合成器の様々な実施例を示す。

図６ａの実施例では、符号化されたオーディオストリーム３４５がビットストリーム・ペイロード・デフォーマッタ３５０へと入力され、このデフォーマッタは一方では符号化済オーディオ信号３５５を、他方では追加的情報３７５を、分離して出力する。符号化済オーディオ信号３５５は、例えばＡＡＣコア復号器３６０へと入力され、この復号器は復号化されたオーディオ信号１０５を第１の周波数帯域２０１で生成する。オーディオ信号１０５は３２帯域分析ＱＭＦバンク３７０へと入力され、このバンクは、例えば３２個の周波数帯域を持ち、周波数ドメインのオーディオ信号１０５₃₂を生成する。パッチ生成器１１０は高帯域信号だけを生信号として出力し、低帯域信号は出力しないことが望ましい。代替的に、もしブロック１１０内のパッチングアルゴリズムが低帯域をも生成する場合には、ブロック１３０ａへの入力信号を高域通過フィルタリングすることが望ましい。

周波数ドメインのオーディオ信号１０５₃₂はパッチ生成器１１０へと入力され、生成器１１０はこの実施例においてはパッチを周波数ドメイン（ＱＭＦドメイン）で生成する。結果として得られた生信号スペクトル表示１２５はＳＢＲツール１３０ａへと入力され、このツール１３０ａは、例えばノイズフロアの生成、消失したハーモニクスの再構築、又は逆フィルタリングを実行する。

他方、追加的な情報３７５はビットストリーム・パーサ３８０へと入力され、このパーサは追加的な情報を分析して様々な情報３８５を取得し、それらの情報を例えばハフマン復号化及び逆量子化ユニット３９０へと入力し、ユニット３９０は、例えば制御情報１１２とスペクトル帯域複製パラメータ１３２とを抽出する。制御情報１１２はパッチ生成器へと入力され、スペクトル帯域複製パラメータ１３２はＳＢＲツール１３０ａ及び包絡調整器１３０ｂへと入力される。包絡調整器１３０ｂは生成されたパッチの包絡を調整する。その結果、包絡調整器１３０ｂは調整済の生信号１３５を生成して合成ＱＭＦバンク１４０へと入力し、バンク１４０は調整済の生信号１３５と周波数ドメインのオーディオ信号１０５₃₂とを結合する。合成ＱＭＦバンク１４０は例えば６４の周波数帯域を含んでも良く、（調整済の生信号１３５と周波数ドメインのオーディオ信号１０５₃₂とを結合することで）合成オーディオ信号１４５（例えばＰＣＭサンプルの出力：ＰＣＭ＝パルスコード変調）を生成する。

さらに、図６ａはＳＢＲツール１３０ａを示し、このツールは、パッチ生成器１１０から出力されたＱＭＦスペクトルデータに使用されるべき公知のスペクトル帯域複製方法を実行しても良い。図６ａで示すような周波数ドメインで使用されるパッチングアルゴリズムは、例えば周波数ドメイン内でのスペクトルデータの単純なミラーリング又はコピー操作を用いることもできる（図４の（Ａ）と（Ｂ）を参照）。

本発明の実施例の全般的な構成は先行技術に開示された従来の復号器と類似してはいるが、しかし、本発明の実施例におけるパッチ生成器１１０は、従来のパッチ生成器とは異なり、オーディオ信号の知覚的な品質を向上させる上で適合した、異なるパッチングアルゴリズムを実行するよう構成されている。加えて、本発明の実施例では、図６ａで示すような周波数ドメインのパッチングに限らず、時間ドメインのパッチングアルゴリズムも使用しても良い。

図６ｂは、パッチ生成器１１０が周波数ドメイン内でも時間ドメイン内でもパッチングアルゴリズムを使用できる、本発明の実施例を示す。図６ｂの復号器は、ビットストリーム・ペイロード・デフォーマッタ３５０とＡＡＣ復号器３６０とビットストリーム・パーサ３８０とハフマン復号化及び逆量子化ユニット３９０とを備える。この図６ｂの実施例でも、符号化されたオーディオストリーム３４５がビットストリーム・ペイロード・デフォーマッタ３５０へと入力され、このデフォーマッタは一方では符号化済オーディオ信号３５５を生成し、他方ではこのオーディオ信号から分離した追加的な情報３７５を出力する。この追加的情報は、その後ビットストリーム・パーサ３８０によって分析されて別の情報３８５が分離され、この情報３８５はハフマン復号化及び逆量子化ユニット３９０へと入力される。他方、符号化済オーディオ信号３５５はＡＡＣコア復号器３６０へと入力される。

ここで、この実施例では２つの場合に分けられる。即ち、パッチ生成器１１０が周波数ドメインで作動する場合（点線で示す信号ライン）と、時間ドメイン内で作動する場合（破線で示す信号ライン）とのいずれかである。

もしパッチ生成器１１０が時間ドメインで作動する場合には、ＡＡＣコア復号器３６０の出力はパッチ生成器１１０へと入力され（オーディオ信号１０５の破線で示すライン）、この生成器の出力は分析フィルタバンク３７０へと送られる。分析フィルタバンク３７０の出力は生信号スペクトル表示１２５であり、この表示１２５は（生信号調整器１３０の一部である）ＳＢＲツール１３０ａへと入力され、また合成ＱＭＦバンク１４０へも入力される。

他方、もしパッチングアルゴリズムが（図６ａで示すように）周波数ドメインを使用する場合には、ＡＡＣコア復号器３６０の出力は、オーディオ信号１０５の点線で示すラインを介して分析ＱＭＦバンク３７０へと入力され、このバンク３７０は次に周波数ドメインオーディオ信号１０５₃₂を生成し、（点線のように）このオーディオ信号１０５₃₂をパッチ生成器１１０と合成ＱＭＦバンク１４０とに送る。パッチ生成器１１０は、生信号表示１２５を生成し、この生信号表示をＳＢＲツール１３０ａへと伝送する。

このように、この実施例は、点線で示す第１の処理モード（周波数ドメインパッチング）又は破線で示す第２の処理モード（時間ドメインパッチング）のいずれかを実行するが、他の機能的構成要素の間の全ての実線部分は両方の処理モードにおいて使用される。

（破線で示す）時間ドメイン処理モードでは、パッチ生成器１１０からブロック３７０への出力が低周波帯域信号及び高周波周波帯域信号を備えるのが望ましい。この場合、パッチ生成器の出力信号は低周波帯域信号及び高周波帯域信号から成る広周波帯域の信号である。ブロック３７０が出力する低周波帯域信号はブロック１４０へと入力され、高周波帯域信号はブロック１３０ａへと入力される。帯域分割は分析フィルタバンク３７０の中で実行されても良いが、別の構成要素により実行されても良い。さらに、結合器１４０の中で、パッチ生成器１１０の出力信号の低帯域部分が全く使用されずにオリジナルの低帯域部分が使用されるように、ＡＡＣ復号器３６０の出力信号がブロック３７０へと直接的に入力されても良い。

（点線で示す）周波数ドメイン処理モードでは、パッチ生成器１１０は高帯域信号だけを出力し、オリジナルの低帯域信号がＡＡＣコア復号器からブロック３７０へと直接的に入力され、合成バンク１４０へと送られることが望ましい。代替的に、パッチ生成１１０は、全帯域の出力信号を生成し、且つ低帯域信号をブロック１４０へと送っても良い。

ハフマン復号化及び逆量子化ユニット３９０はスペクトル帯域複製パラメータ１３２と制御情報１１２とを生成し、制御情報１１２はパッチ生成器１１０へと入力される。さらに、スペクトル帯域複製パラメータ１３２は包絡調整器１３０ｂとＳＢＲツール１３０ａとに入力される。包絡調整器１３０ｂの出力は調整された生信号１３５であり、結合器１４０（合成ＱＭＦバンク）の中で、（周波数ドメインパッチングのために）スペクトル帯域のオーディオ信号１０５₃₂と結合されるか、又は（時間ドメインパッチングのために）生信号スペクトル表示１２５と結合されて合成オーディオ信号１４５が生成される。この信号１４５は出力としてＰＣＭサンプルを含んでも良い。

この実施例においても、パッチ生成器１１０は（例えば図４の（Ａ）〜図４の（Ｄ）に示した）パッチングアルゴリズムのうちの１つを使用して、第１の周波数帯域２０１の基本帯域信号から、第２の周波数帯域２０２のオーディオ信号又は第３の周波数帯域２０３のオーディオ信号を生成する。第１の周波数帯域２０１内のオーディオ信号サンプルだけが符号化された出力ストリーム３４５の中に含まれ、消失したサンプルはスペクトル帯域複製方法を用いて生成される。

図６ｃは時間ドメインのパッチングアルゴリズムのための実施例を示す。図６ａとの比較において、図６ｃの実施例ではパッチ生成器１１０と分析ＱＭＦバンク１２０との配置が異なる。復号化のシステムにおける他の構成要素は図６ａで示したものと同様であるため、これらの説明は省略する。

パッチ生成器１１０はＡＡＣコア復号器３６０からオーディオ信号１０５を受け取り、時間ドメインでパッチングを実行して生信号１１５を生成する。この生信号１１５は（例えば６４帯域を有する分析ＱＭＦバンクなどの）スペクトル変換器１２０へと入力される。多くの可能性の中の１つであるが、パッチ生成器１１０が時間ドメインで実行するあるパッチングアルゴリズムは、２倍のサンプリングレートを含む生信号１１５をもたらす。この場合、パッチ生成器１１０は存在しているサンプルの間に（例えばゼロに近い値の）追加的なサンプルを導入するようなパッチングを実行する。スペクトル変換器１２０の出力は生信号スペクトル表示１２５であり、ＳＢＲツール１３０ａと包絡調整器１３０ｂとを備えた生信号調整器１３０へと入力される。前述の実施例と同様に、包絡調整器１３０ｂの出力は調整済の生信号１３５を含み、この生信号１３５は結合器１４０でオーディオ信号１０５ｆと周波数ドメインにおいて結合される。この結合器１４０は例えば６４の周波数帯域を有する合成ＱＭＦバンクを含む。

このように、図６（Ａ）との主な相違点は、時間ドメインで例えばミラーリングが実行され、信号１１５が６４帯域の分析フィルタバンク１２０へと入力される前に高周波データが既に再構築されているという点であり、つまり、この信号１１５が既に（二重レートのＳＢＲで）２倍化されたサンプリングレートを含んでいるという点である。このパッチング操作の後で、標準的なＳＢＲツール、即ち、逆フィルタリング，ノイズフロアの追加，又は消失ハーモニクスの追加などを含むＳＢＲツールが使用されても良い。高周波領域の再構築は時間ドメインで行われるが、その後のＳＢＲの手段も有効に活用することができるように、分析／合成はＱＭＦドメインで実行される。

図６ｃの実施例では、パッチ生成器１１０は、低帯域信号と高帯域信号とを備えた全帯域信号（生信号）を出力することが好ましい。代替的に、パッチ生成器は、例えば高域通過フィルタリングによって得られた高帯域部分だけを出力し、ＱＭＦバンク１２０にはＡＡＣコア復号器からの出力１０５が直接的に送られても良い。

さらなる実施例では、パッチ生成器１１０は、時間ドメインの入力インターフェイス及び／又は時間ドメインの出力インターフェイス（時間ドメイン・インターフェイス）を備えても良いし、このブロック内の処理は、ＱＭＦドメインなどのいかなるドメインで実行されても良く、さらには、ＤＦＴ，ＦＦＴ，ＤＣＴ，ＤＳＴ或いは他のいかなる周波数ドメインで実行されても良い。その場合、時間ドメインの入力インターフェイスは、時間／周波数変換器、又は一般的には時間ドメインからスペクトル表示へと変換する変換器に接続されている。スペクトル表示は、次に、周波数ドメインデータに対して作動する少なくとも２つの異なるパッチングアルゴリズムを使用して処理される。代替的に、第１パッチングアルゴリズムが周波数ドメインで作動され、第２パッチングアルゴリズムが時間ドメインで作動されても良い。パッチされた周波数ドメインのデータは時間ドメイン表示へと逆変換され、次に、時間ドメイン出力インターフェイスを介してブロック１２０へと出力される。ライン１１５の信号が、全帯域を持たずに低帯域だけを持つような実施例においては、スペクトル信号を時間ドメインへと逆変換する前に、スペクトルドメインにおいてフィルタリングが実行されことが望ましい。

好適には、ブロック１１０におけるスペクトル分解能はブロック１２０によって得られる分解能よりも高い。ある実施例では、ブロック１１０におけるスペクトル分解能はブロック１２０における分解能の少なくとも２倍の高さを持つ。

この実施例のように、パッチングアルゴリズムを別の機能ブロックに隔離することで、ＳＢＲツールの使用から完全に独立した状態で、任意のスペクトル複製方法を適用することが可能になる。代替的な実施例においては、時間ドメインでのパッチングにより高周波要素を生成し、かつこれと並行して、ＡＡＣ復号器３６０の信号を３２帯域の分析フィルタバンクへと入力することも可能である。この場合、基本帯域とパッチされた信号とはＱＭＦ分析の後でのみ結合される。

図６ｄはパッチングが時間ドメインで実行される実施例を示す。この実施例を図６ａの実施例と比較すれば、図６ｃで示す実施例と同様に、パッチ生成器１１０の配置と分析フィルタバンク３７０の配置が異なっている。ＡＡＣコア復号器３６０，ビットストリーム・ペイロード・デフォーマッタ３５０，ビットストリーム・パーサ３８０，ハフマン復号化及び逆量子化ユニット３９０は、図６ａの実施例と同じであるので、説明の繰り返しは省略する。

図６ｄの実施例においては、復号器３６０から出力されるオーディオ信号１０５を分岐させて、このオーディオ信号１０５をパッチ生成器１１０と３２帯域分析ＱＭＦバンク３７０とに入力する。３２帯域分析ＱＭＦバンク３７０（更なる変換器３７０）は、さらなる生信号スペクトル表示１２３を生成する。パッチ生成器１１０は時間ドメインでパッチングを実行して生信号１１５を生成し、この生信号１１５は、６４帯域の分析ＱＭＦフィルタバンクを含んでいても良いスペクトル変換器１２０へと入力される。スペクトル変換器１２０は生信号スペクトル表示１２５を生成し、この表示１２５は、本実施例においては、第１の周波数帯域２０１と複製された第２又は第３の周波数帯域２０２，２０３との周波数成分を持つ。この実施例は、３２帯域の分析フィルタバンク３７０の出力１２３と生信号スペクトル表示１２５とを加算して、結合された生信号スペクトル表示１２６を得る加算器１２４をさらに備える。この加算器１２４は、一般的には、生信号スペクトル表示１２５から基本帯域成分（第１の周波数帯域２０１の成分）を減算する結合器１２４である。よって、加算器１２４は、正負逆転された信号を加算するか、又は代替的には、分析３２帯域フィルタバンク３７０からの出力信号を逆転させるための任意のインバータを備えていても良い。

例えば、基本周波数帯域２０１内の周波数成分を減算した後で、その出力はスペクトル帯域複製ツール１３０ａへと入力され、このツール１３０ａは、結果として得られた信号を包絡調整器１３０ｂへと送り出す。包絡調整器１３０ｂは、調整された生信号１３５を生成し、この生信号は結合器１４０の中で３２帯域分析フィルタバンク３７０の出力１２３と結合される。その結果、結合器１４０は、（例えば第２及び第３の周波数帯域２０２，２０３内の）パッチされた周波数成分と、３２帯域分析フィルタバンク３７０により出力された基本帯域成分とを結合する。この実施例でも、結合器１４０は６４帯域の合成ＱＭＦフィルタバンクを備え、例えばＰＣＭサンプルを有する合成オーディオ信号を出力しても良い。

図６ｄの実施例では、パッチ生成器１１０は、低帯域信号と高帯域信号とを備えた全帯域信号（生信号）を出力することが好ましい。代替的に、パッチ生成器１１０は、例えば高域通過フィルタリングによって得られた高周波帯域部分だけを出力してブロック１２０へと出力し、図６ｄに示すように、ＱＭＦバンク３７０にはＡＡＣコア復号器３６０からの出力が直接的に入力されても良い。この場合は、加算器１２４は必要ではなく、ブロック１２０の出力はブロック１３０ａへと直接的に送られる。なぜなら、この信号は高帯域だけを含んでいるからである。さらに、ブロック３７０は加算器１２４への出力を必要としない。

他の実施例においては、パッチ生成器１１０は、時間ドメインの入力インターフェイス及び／又は時間ドメインの出力インターフェイス（時間ドメイン・インターフェイス）を備えても良いし、このブロック内の処理は、ＱＭＦドメインなどのいかなるドメインで実行されても良く、さらには、ＤＦＴ，ＦＦＴ，ＤＣＴ，ＭＤＣＴ，ＤＳＴ或いは他のいかなる周波数ドメインで実行されても良い。その場合、時間ドメインの入力インターフェイスは、時間／周波数変換器、又は一般的には時間ドメインからスペクトル表示へと変換する変換器に接続されている。スペクトル表示は、次に、周波数ドメインデータに対して作動する少なくとも２つの異なるパッチングアルゴリズムを使用して処理される。代替的に、第１パッチングアルゴリズムが周波数ドメインで作動され、第２パッチングアルゴリズムが時間ドメインで作動されても良い。パッチされた周波数ドメインのデータは時間ドメイン表示へと逆変換され、次に、時間ドメイン出力インターフェイスを介してブロック１２０へと出力される。

好適には、ブロック１１０におけるスペクトル分解能はブロック１２０によって得られる分解能よりも高い。ある実施例では、ブロック１１０におけるスペクトル分解能はブロック１２０における分解能の少なくとも２倍の高さを持つ。

図６ａ〜図６ｄは復号器の構成に関するものであり、特に、復号器構成の中にパッチ生成器１１０を組み込んだ構成に関するものである。復号器、特にパッチ生成器１１０が高周波成分を生成又は複製できるように、符号器は追加的な情報を復号器へと伝送しても良く、この場合、その追加的な情報は、一方では例えばパッチングアルゴリズムを決定するために使用できる制御情報１１２をもたらし、他方ではスペクトル帯域複製ツール１３０ａによって使用されるスペクトル帯域複製パラメータ１３２をもたらす。

さらに他の実施例は、第１の周波数帯域２０１とこの第１の周波数帯域から導出される第２の複製された周波数帯域２０２とを備えた合成オーディオ信号１４５を生成するための方法である。この方法は、少なくとも２つの異なるパッチングアルゴリズムを実行し、生信号１１５を生信号スペクトル表示１２５へと変換し、その生信号スペクトル表示１２５を処理する。各パッチングアルゴリズムは、第１の周波数帯域２０１の信号成分を有するオーディオ信号１０５を使用して、第２の複製された周波数帯域の信号成分を有する生信号１１５を生成する。パッチングは、第１の時間部分のために制御情報１１２に応じて前記少なくとも２つの異なるパッチングアルゴリズムのうちの１つを選択し、且つ、第１の時間部分とは異なる第２の時間部分のために制御情報１１２に応じて前記少なくとも２つの異なるパッチングアルゴリズムのうちの他の１つ選択し、第１及び第２の時間部分のための生信号１１５を取得する。生信号スペクトル表示１２５の処理は、スペクトルドメインのスペクトル帯域複製パラメータ１３２に応じて実行され、調整済の生信号スペクトル表示１３５を取得する。最後に、この方法は、第１の周波数帯域２０１の信号成分を有するオーディオ信号１０５又はこのオーディオ信号１０５から導出された信号と、調整済の生信号スペクトル表示１３５又はこの調整済の生信号スペクトル表示１３５から導出された別の信号とを結合し、合成オーディオ信号１４５を取得する、結合ステップを備える。

図７ａ，図７ｂ及び図７ｃは符号器の実施例を示す。

図７ａはオーディオ信号３０５を符号化して符号化されたオーディオビットストリーム３４５を生成する符号器を示す。符号化されたオーディオビットストリーム３４５は、その後、図６ａ〜図６ｄに示す復号器へと入力される。図７ａに示す符号器は、低域通過フィルタ３１０（又は一般的な周波数選択的フィルタ）と高域通過フィルタ３２０とを備え、これらのフィルタに対してオーディオ信号３０５が入力される。低域通過フィルタ３１０は第１の周波数帯域２０１内のオーディオ信号成分を分離し、他方、高域通過フィルタ３２０は残りの周波数成分、例えば第２の周波数帯域２０２内及びさらなる周波数帯域内の周波数成分を分離する。その結果、低域通過フィルタ３１０は低域通過フィルタリングされた信号３１５を生成し、高域通過フィルタ３２０は高域通過フィルタリングされたオーディオ信号３２５を生成する。低域通過フィルタリングされたオーディオ信号３１５は、例えばＡＡＣ符号器を含んでも良いオーディオ符号器３３０へと入力される。

さらに、低域通過フィルタリングされたオーディオ信号３１５は制御情報生成器３４０へも入力され、この生成器３４０は好適なパッチングアルゴリズムが識別されるように制御情報１１２を生成し、その結果、パッチ生成器１１０がアルゴリズムを選択できるようにする。高域通過フィルタリングされたオーディオ信号３２５はスペクトル帯域複製データ生成器３２８へと入力され、このデータ生成器３２８はスペクトル帯域複製パラメータ１３２を生成し、このパラメータは一方では制御情報生成器へと入力される。図７ａの符号器はフォーマッタ３４３をさらに備え、オーディオ符号器３３０からの符号化済信号と、スペクトル帯域複製データ生成器３２８からのスペクトル帯域複製パラメータ１３２と、制御情報生成器３４０からの制御情報１１２とを受信する。

スペクトル帯域複製パラメータ１３２はパッチング方法に依存しても良い。一方、異なるパッチングアルゴリズムに対してスペクトル帯域複製パラメータが必ずしも異なる必要はなく、また、ＳＢＲパラメータ１３２を全てのパッチングアルゴリズムに対して決定することも必ずしも必要ではない。（図７ｃはＳＢＲパラメータ１３２の１セットだけを計算する必要がある実施例を示す。）ＳＢＲデータ生成器３２８は異なるパッチングアルゴリズムに対して異なるＳＢＲパラメータ１３２を生成しても良く、従ってＳＢＲパラメータ１３２は、第１パッチングアルゴリズムに適合する１番目のＳＢＲパラメータ１３２ａと、第２パッチングアルゴリズムに適合する２番目ＳＢＲパラメータ１３２ｂと、第３パッチングアルゴリズムに適合する３番目のＳＢＲパラメータ１３２ｃなどを含んでいても良い。

図７ｂは制御情報生成器３４０の実施例をより詳細に示す。制御情報生成器３４０は低域通過フィルタリングされた信号３１５とＳＢＲパラメータ１３２とを受信する。低域通過フィルタリングされた信号３１５は、第１パッチングユニット３４２ａと第２パッチングユニット３４２ｂとその他のパッチングユニット（図示せず）へと入力されても良い。パッチングユニット３４２の個数は、例えば復号器内のパッチ生成器１１０によって実行され得るパッチングアルゴリズムの個数と同じでも良い。パッチングユニット３４２の出力は、第１パッチングユニット３４２ａによる第１パッチング済オーディオ信号３４４ａと、第２パッチングユニット３４２ｂによる第２パッチング済オーディオ信号３４４ｂなどを含む。第２の周波数帯域２０２内の生成分を含むパッチング済オーディオ信号３４４は、スペクトル帯域複製ツールブロック３４６へと入力される。ここでも、スペクトル帯域複製ツールブロック３４６の個数は、例えばパッチングアルゴリズムの個数と同じでも良く、又はパッチングユニット３４２の個数と同じでも良い。ＳＢＲパラメータ１３２もまたスペクトル帯域複製ツールブロック（ＳＢＲツールブロック）３４６へと入力され、このとき、１番目のＳＢＲツールブロック３４６ａが１番目のＳＢＲパラメータ１３２ａと１番目のパッチング済信号３４４ａとを受け取るようにする。同様に、２番目のＳＢＲツールブロック３４６ｂは２番目のＳＢＲパラメータ１３２ｂと２番目のパッチング済信号３４４ｂとを受け取る。ＳＢＲツールブロック３４６は、複製パラメータ１３２に基づいて、第２及び／又は第３の周波数帯域２０２，２０３内の高周波数成分を含む複製オーディオ信号３４７を生成する。

最後に、制御情報生成器３４０は、オリジナルオーディオ信号３０５特にオーディオ信号３０５の高周波成分と、複製オーディオ信号３４７とを比較する、比較ユニット３４８を含む。この比較も各パッチングアルゴリズム毎に実行されても良く、１番目の比較ユニット３４８ａは、オーディオ信号３０５と１番目のＳＢＲツールブロック３４６ａが出力した１番目の複製オーディオ信号３４７ａとを比較する。

同様に、２番目の比較ユニット３４８ｂは、オーディオ信号３０５と２番目のＳＢＲツールブロック３４６ｂからの２番目の複製オーディオ信号３４７ｂとを比較する。比較ユニット３４８は高周波帯域の複製オーディオ信号３４７とオリジナルオーディオ信号３０５との偏差を決定し、最終的には、評価ユニット３４９が、オリジナルオーディオ信号３０５と様々なパッチングアルゴリズムを使用した複製オーディオ信号３４７との間の偏差を比較し、その結果から、１つの好適なパッチングアルゴリズム又はいくつかの適切もしくは不適切なパッチングアルゴリズムを決定できるようにする。制御情報１１２は、好適なパッチングアルゴリズムの１つを識別可能とする情報を含む。制御情報１１２は、例えばオリジナルオーディオ信号３０５と複製オーディオ信号３４７との最小偏差に基づいて決定された、好適なパッチングアルゴリズムの識別番号を含んでも良い。代わりに、制御信号１１２は、オリジナルオーディオ信号３０５と複製オーディオ信号３４７との間に十分な整合性をもたらすいくつかのパッチングアルゴリズム又はパッチングアルゴリズムの順位を提供しても良い。この評価は、例えば知覚的品質に関し、複製オーディオ信号３４７が、人間にとってオリジナルオーディオ信号３０５から区別できないか又は殆ど区別できないような理想的な状態になるように実行されても良い。

図７ｃは、オーディオ信号３０５が入力され、さらに任意的にメタデータ３０６も入力される、符号器のさらなる実施例を示す。オリジナルオーディオ信号３０５は、低域通過フィルタ３１０と高域通過フィルタ３２０とに入力される。低域通過フィルタ３１０の出力はオーディオ符号器３３０へと入力され、高域通過フィルタ３２０の出力はＳＢＲデータ生成器３５０へと入力される。この符号器はメタデータ処理ユニット３０９及び／又は分析ユニット（又は分析手段）３０７をさらに備え、これらの出力は制御情報生成器３４０へと送られる。メタデータ処理ユニット３０９はメタデータ３０６を適切なパッチングアルゴリズムについて分析する。分析ユニット３０７は、例えば、オーディオ信号３０５内の過渡又はパルストレインもしくは非パルストレイン分節の、個数と強度を決定することができる。メタデータ処理ユニット３０９の出力及び／又は分析ユニット３０７の出力に基づいて、制御情報生成器３４０は、好適なパッチングアルゴリズムを決定するか、又はパッチングアルゴリズムの順位を生成し、この情報を制御情報１１２の中に符号化する。フォーマッタ３４３は、制御情報１１２とスペクトル帯域複製パラメータ１３２と符号化済オーディオ信号３５５とを結合して符号化されたオーディオストリーム３４５を生成する。

分析手段３０７は、例えばオーディオ信号の特性を分析し、ある程度の声音を有する時間部分については非ハーモニック信号成分を識別し、ある特定の時間部分についてはハーモニック信号成分を識別するよう構成されても良い。もしオーディオ信号３０５が純粋にスピーチ又は声音である場合には、声音の程度が高くなり、他方、声音と例えば楽音との混合である場合には、声音の程度が低くなる。ＳＢＲパラメータ１３２の計算は、この特徴と好適なパッチングアルゴリズムとに基づいて実行されても良い。

本発明のさらに他の実施例は、オーディオ信号３０５の第１の周波数帯域２０１の成分と、制御信号１１２と、スペクトル帯域複製パラメータ１３２とを含むデータストリームを生成する方法を提案する。この方法は、まずオーディオ信号３０５を周波数選択的にフィルタリングしてオーディオ信号３０５の第１の周波数帯域２０１の成分を生成するステップを含む。またこの方法は、オーディオ信号３０５の第２の周波数帯域２０２の成分からスペクトル帯域複製パラメータ１３２を生成するステップを含む。最後にこの方法は、第１又は第２の異なるパッチングアルゴリズムから好適なパッチングアルゴリズムを識別する制御情報１１２を生成するステップを含み、このとき各パッチングアルゴリズムは、オーディオ信号３０５の第１の周波数帯域２０１の成分を使用して複製された第２の周波数帯域２０２の信号成分を有する生信号１１５を生成する。

本発明のいくつかの実施例、特に図６ａ〜図６ｄに示す実施例においては、低帯域と調整済の高帯域との間の結合が周波数ドメインで実行されたが、この結合は時間ドメインで実行されても良いことに注意すべきである。この場合、コア復号器の出力信号は（パッチング及び調整によって発生した処理遅延を補償するために潜在的に必要となる遅延ステージの出力において）時間ドメインで使用することができ、フィルタバンクドメインで調整された高帯域は、低帯域部分は持たずに高帯域部分を持つ信号として時間ドメインへと変換することができる。図６の実施例においては、この信号は高域の３２個のサブバンドだけを含み、この信号を時間ドメインへと変換した結果は時間ドメインの高帯域信号となる。次に、両方の信号はサンプル毎の加算などによって時間ドメインで結合され、デジタル／アナログ変換されてスピーカへと伝送されるべき出力信号として、例えばＰＣＭサンプルを得ることができる。

これまで本発明のいくつかの態様を装置として説明してきたが、これらの態様は対応する方法の説明でもあることは明らかであり、その場合、ブロック又は装置は、方法ステップ又は方法ステップの特徴に対応する。同様に、方法ステップの文脈における説明は、対応するブロック、項目又は対応する装置の説明にもあてはまる。

本発明の符号化されたオーディオ信号又はビットストリームは、デジタル記憶媒体に記憶されることが可能であり、又は、インターネットのような無線伝送媒体或いは有線伝送媒体等、伝送媒体を介して伝送されることも可能である。

本発明の方法の所定の実施条件に依るが、本発明の方法は、ハードウエア又はソフトウエアにおいて構成可能である。この構成は、その中に格納される電子的に読出し可能な制御信号を有し、本発明の方法が実行されるようにプログラム可能なコンピュータシステムと協働する（又は協働可能な）、デジタル記憶媒体、例えば、フレキシブルディスク，ＤＶＤ，ＣＤ，ＲＯＭ，ＰＲＯＭ，ＥＰＲＯＭ，ＥＥＰＲＯＭ又はフラッシュメモリなどを使用して実行することができる。

本発明の実施例は、機械読出し可能な制御信号を持つデータキャリアを含み、この制御信号はプログラム可能なコンピュータシステムと協働して本明細書に記載の方法のうちの１つを実行するよう作動することができる。一般的に、本発明の実施例は、当該コンピュータプログラム製品がコンピュータ上で作動するときに、本発明の方法の１つを実行するよう作動するプログラムコードを有するコンピュータプログラム製品として構成される。このプログラムコードは例えば機械読出し可能なキャリアに記憶されても良い。本発明の他の実施例は、機械読出し可能なキャリアに記憶され、本発明の方法の１つを実行するコンピュータプログラムを含む。換言すれば、本発明の１つの実施例は、当該コンピュータプログラムがコンピュータ上で作動するときに、本発明の方法の１つを実行するためのプログラムコードを有する、コンピュータプログラムである。本発明の他の実施例は、本発明の方法の１つを実行するためのコンピュータプログラムが記憶された、データキャリア（又はデジタル記憶媒体又はコンピュータ読出し可能な媒体）である。本発明のさらに他の実施例は、本発明の方法の１つを実行するためのコンピュータプログラムを表現するデータストリーム又は信号列である。このデータストリーム又は信号列は、例えばインターネットのようなデータ通信網を介して伝送可能である。本発明のさらに他の実施例は、本発明の方法の１つを実行するよう構成又は適用された、例えばコンピュータ又はプログラム可能な論理回路のような処理手段を含む。本発明のさらに他の実施例は、本発明の方法の少なくとも１つを実行するためのコンピュータプログラムを内蔵したコンピュータを含む。本発明のいくつかの実施例は、本発明の方法のいくつか又は全ての機能を実行するために、（例えば書換え可能ゲートアレイ等の）プログラム可能な論理回路を使用しても良い。本発明のいくつかの実施例では、本発明のある方法を実行するために、書換え可能ゲートアレイはマイクロプロセッサと協働しても良い。一般的に、本発明の方法は、いかなるハードウエア装置によっても実行できることが好ましい。

上述した実施の形態は、本発明の原理を単に例示的に示したにすぎない。本明細書に記載した構成及び詳細について、修正及び変更が可能であることは、当業者にとって明らかである。従って、本発明は、以下に添付する特許請求の範囲の技術的範囲によってのみ限定されるものであり、本明細書に実施形態の説明及び解説の目的で提示した具体的詳細によって限定されるものではない。

Claims (13)

1. 合成オーディオ信号（１４５）を生成するオーディオ信号合成器であって、前記合成オーディオ信号（１４５）は第１の周波数帯域（２０１）とこの第１の周波数帯域から複製された第２の周波数帯域（２０２）とを有するオーディオ信号合成器において、
   少なくとも２つの異なるパッチングアルゴリズムを実行して、前記第１の周波数帯域（２０１）の信号成分を有するオーディオ信号（１０５）から前記第２の周波数帯域（２０２）の信号成分を有する生信号（１１５）を生成するパッチ生成器（１１０）であって、第１の時間部分のために制御情報（１１２）に応じて前記少なくとも２つの異なるパッチングアルゴリズムのうちの１つを選択し、且つ、前記第１の時間部分とは異なる第２の時間部分のために前記制御情報（１１２）に応じて前記少なくとも２つの異なるパッチングアルゴリズムのうちの他の１つを選択し、前記第１及び第２の時間部分のための生信号（１１５）をスペクトルドメイン以外で取得するパッチ生成器（１１０）と、
   スペクトルドメイン以外の前記第１及び第２の時間部分のための生信号（１１５）をスペクトルドメインへと変換して前記第１及び第２の時間部分のための生信号スペクトル表示（１２５）を取得するスペクトル変換器（１２０）と、
   スペクトルドメインのスペクトル帯域複製パラメータ（１３２）に応じて前記第１及び第２の時間部分のための生信号スペクトル表示（１２５）を処理し、前記第１及び第２の時間部分のための調整済の生信号スペクトル表示（１３５）を取得する生信号処理器（１３０）と、
   前記第１の周波数帯域（２０１）の信号成分を有するオーディオ信号（１０５）又はこのオーディオ信号（１０５）から導出された信号と、前記調整済の生信号スペクトル表示（１３５）又はこの調整済の生信号スペクトル表示（１３５）から導出されたさらなる信号とを結合して前記合成オーディオ信号（１４５）を取得する結合器（１４０）と、
   を備えたことを特徴とするオーディオ信号合成器。
2. 前記少なくとも２つのパッチングアルゴリズムは、前記オーディオ信号（１０５）の第１の周波数帯域（２０１）のある周波数における信号成分が第２の周波数帯域（２０２）の目標周波数へとパッチングされ、その目標周波数が各パッチングアルゴリズムに関して異なる、という意味で互いに異なることを特徴とする、請求項１に記載のオーディオ信号合成器。
3. 前記パッチ生成器（１１０）は前記少なくとも２つのパッチングアルゴリズムについて時間ドメインで作動し、又は、前記パッチ生成器は時間ドメイン信号をスペクトル表示に変換する変換器，スペクトル表示の信号を時間ドメインに変換する変換器，及び時間ドメイン出力インターフェイスを備え、このパッチ生成器（１１０）は前記少なくとも２つのパッチングアルゴリズムの中の少なくとも１つのパッチングアルゴリズムについてスペクトルドメインで作動することを特徴とする、請求項１又は２に記載のオーディオ信号合成器。
4. 前記パッチ生成器（１１０）は、前記生信号（１１５）が前記パッチ生成器（１１０）に入力されたオーディオ信号（１０５）のサンプリングレートよりも大きなサンプリングレートを有するさらなる信号成分を前記第１の周波数帯域（２０１）に持つように、前記生信号（１１５）を生成し、
   前記スペクトル変換器は、前記第２の周波数帯域（２０２）の信号成分と前記第１の周波数帯域（２０１）のさらなる信号成分とを前記生信号スペクトル表示（１２５）へと変換することを特徴とする、請求項１乃至３のいずれか１項に記載のオーディオ信号合成器。
5. 更なるスペクトル変換器（３７０）と更なる結合器（１２４）とをさらに備え、
   前記更なるスペクトル変換器（３７０）は、前記第１の周波数帯域（２０１）の信号成分を持つ前記オーディオ信号（１０５）を更なる生信号スペクトル表示（１２３）へと変換し、
   前記更なる結合器（１２４）は、前記生信号スペクトル表示（１２５）と前記更なる生信号スペクトル表示（１２３）とを結合して結合された生信号スペクトル表示（１２６）を取得し、
   前記生信号処理器（１３０）は前記結合された生信号スペクトル表示（１２６）を処理することを特徴とする、請求項４に記載のオーディオ信号合成器。
6. 前記結合器（１４０）は、前記オーディオ信号（１０５）から導出された信号として、前記更なる生信号スペクトル表示（１２３）を使用することを特徴とする、請求項５に記載のオーディオ信号合成器。
7. 前記オーディオ信号（１０５）と前記制御情報（１１２）とはデータストリームの中に符号化され、
   このデータストリームから前記制御情報（１１２）を取得するデフォーマッタをさらに備えることを特徴とする、請求項１乃至６のいずれか１項に記載のオーディオ信号合成器。
8. 前記オーディオ信号と前記スペクトル帯域複製パラメータ（１３２）とはデータストリームの中に符号化され、
   前記生信号処理器（１３０）はこのデータストリームから前記スペクトル帯域複製パラメータ（１３２）を取得することを特徴とする、請求項１乃至７のいずれか１項に記載のオーディオ信号合成器。
9. オーディオ信号（３０５）からデータストリーム（３４５）を生成するオーディオ信号符号器であって、前記データストリームはオーディオ信号（３０５）の第１の周波数帯域（２０１）の成分と制御情報（１１２）とスペクトル帯域複製パラメータ（１３２）とを有する、オーディオ信号符号器において、
   前記オーディオ信号（３０５）の前記第１の周波数帯域（２０１）の成分を生成する周波数選択的フィルタ（３１０）と、
   前記オーディオ信号（３０５）の第２の周波数帯域（２０２）の成分から前記スペクトル帯域複製パラメータ（１３２）を生成する生成器と、
   前記制御情報（１１２）を生成する制御情報生成器（３４０）であって、前記制御情報（１１２）は少なくとも２つの異なるパッチングアルゴリズムから好適なパッチングアルゴリズムを識別するものであり、各パッチングアルゴリズムは、前記オーディオ信号（３０５）の前記第１の周波数帯域（２０１）の成分を使用して前記第２の周波数帯域（２０２）の信号成分を有する生信号（１１５）を生成する、制御情報生成器とを備え、
   前記制御情報生成器（３４０）は、前記オーディオ信号（３０５）と前記少なくとも２つのパッチングアルゴリズムのためのパッチされたオーディオ信号（３４７）とを比較することにより前記好適なパッチングアルゴリズムを識別し、
   異なるようにパッチされたオーディオ信号（３４７）は、スペクトル帯域複製ツール（３４６）を使用してスペクトル帯域複製パラメータ（１３２）に応じて生信号調整を適用することで、前記少なくとも２つのパッチングアルゴリズムに関連した異なる生信号（３４４）から導出されることを特徴とする、オーディオ信号符号器。
10. 前記オーディオ信号（３０５）を分析して前記オーディオ信号の特徴を提供する手段（３０７）をさらに備え、
    前記分析手段（３０７）は、ある程度の声音を有する時間部分については非ハーモニック信号成分を識別し、又はある特定の時間部分についてはハーモニック信号成分を識別することを特徴とする、請求項９に記載のオーディオ信号符号器。
11. 合成オーディオ信号（１４５）を生成する方法であって、前記合成オーディオ信号（１４５）は第１の周波数帯域とこの第１の周波数帯域から複製された第２の周波数帯域（２０２）とを有する方法において、
    少なくとも２つの異なるパッチングアルゴリズムを実行するステップであって、各パッチングアルゴリズムは前記第１の周波数帯域（２０１）の信号成分を有するオーディオ信号（１０５）を使用して前記第２の周波数帯域（２０２）の信号成分を有する生信号（１１５）を生成し、第１の時間部分のために制御情報（１１２）に応じて前記少なくとも２つの異なるパッチングアルゴリズムのうちの１つを選択し、且つ、前記第１の時間部分とは異なる第２の時間部分のために前記制御情報（１１２）に応じて前記少なくとも２つの異なるパッチングアルゴリズムのうちの他の１つを選択し、前記第１及び第２の時間部分のための生信号（１１５）をスペクトルドメイン以外で取得するステップと、
    スペクトルドメイン以外の前記第１及び第２の時間部分のための生信号（１１５）をスペクトルドメインへと変換して前記第１及び第２の時間部分のための生信号スペクトル表示（１２５）を取得するステップと、
    スペクトルドメインのスペクトル帯域複製パラメータ（１３２）に応じて前記第１及び第２の時間部分のための生信号スペクトル表示（１２５）を処理し、前記第１及び第２の時間部分のための調整済の生信号スペクトル表示（１３５）を取得するステップと、
    前記第１の周波数帯域（２０１）の信号成分を有するオーディオ信号（１０５）又はこのオーディオ信号（１０５）から導出された信号と、前記調整済の生信号スペクトル表示（１３５）又はこの調整済の生信号スペクトル表示（１３５）から導出されたさらなる信号とを結合して前記合成オーディオ信号（１４５）を取得するステップと、
    を備えたことを特徴とする、合成オーディオ信号の生成方法。
12. データストリーム（３４５）を生成する方法であって、前記データストリームはオーディオ信号（３０５）の第１の周波数帯域（２０１）の成分と制御情報（１１２）とスペクトル帯域複製パラメータ（１３２）とを備える方法において、
    前記オーディオ信号（３０５）の前記第１の周波数帯域（２０１）の成分を生成するために前記オーディオ信号（３０５）を周波数選択的にフィルタリングするステップと、
    前記オーディオ信号（３０５）の第２の周波数帯域（２０２）の成分から前記スペクトル帯域複製パラメータ（１３２）を生成するステップと、
    前記制御情報（１１２）を生成するステップであって、前記制御情報（１１２）は少なくとも２つの異なるパッチングアルゴリズムから好適なパッチングアルゴリズムを識別するものであり、各パッチングアルゴリズムは、前記オーディオ信号（３０５）の前記第１の周波数帯域（２０１）の成分を使用して前記第２の周波数帯域（２０２）の信号成分を有する生信号（１１５）を生成するステップと、を備え、
    前記少なくとも２つのパッチングアルゴリズムによってパッチされた生信号（３４４）に対して、スペクトル帯域複製ツール（３４６）を使用してスペクトル帯域複製パラメータ（１３２）に応じて生信号調整を適用することで、複製されたオーディオ信号（３４７）が導出され、
    前記オーディオ信号（３０５）と前記複製されたオーディオ信号（３４７）とを比較することにより、前記好適なパッチングアルゴリズムが識別されることを特徴とする方法。
13. コンピュータ上で作動されたときに請求項１１又は１２に記載の方法を実行する、コンピュータプログラム。

Images