JP5308519B2 - 改善されたオーディオ符号化のマルチモード方式 - Google Patents

Description

本発明は、オーディオ符号化の改良に関する。特に、本発明は、符号化装置及び符号化システムにおいて入力信号を符号化する方法に関する。

オーディオ等を符号化する従来の手法は、エンコーダにおいて入力信号の低周波数領域を量子化し、デコーダにおいて再構成コードブックに従いスペクトルの高周波数領域を再構成するというものである。このように、全てのビットは、事前定義された周波数閾値又はインデックスを下回る周波数成分に割り当てられ、残りの（量子化されていない）周波数成分は、デコーダにおいて量子化された周波数成分から再構成される。

可変ビットレートに好適なより高度な手法は、入力の周波数帯域におけるエネルギ等に基づいて量子化される領域及び再構成される領域を動的に検出するというものである。

また、当該入力信号の領域を符号化することの難度に基づいて量子化される領域の大きさを調整することが提案されている。領域は、量子化するのが困難なスペクトルを含む場合はより小さくされ、量子化するのが容易なスペクトルを含む場合はより大きくされる。

しかしながら、オーディオ符号化手法の改良が依然として必要である。

したがって、本発明の目的は、受信端末でのオーディオ品質を改善できる符号化方式を提供する符号化装置及び方法を提供することである。

符号化システムにおいて入力信号を符号化する方法が提供される。方法は、入力信号に第１モードを適用して第１の出力を形成するステップと、入力信号に第２モードを適用して第２の出力を形成するステップとを有する。第１の出力の少なくとも一部から第１の処理出力が形成され、第２の出力の少なくとも一部から第２の処理出力が形成される。第２の処理出力を形成するステップは、第２の出力の少なくとも一部から入力信号の一部を推定するステップを含む。

第１の処理出力及び第２の処理出力に基づいて最適モードが判定され、その最適モードに従って出力が選択される。

更に、符号化装置が提供される。符号化装置は、コントローラと、該コントローラに接続された符号化部とを有する。符号化部は、入力信号に第１モードを適用して第１の出力を形成するとともに、入力信号に第２モードを適用して第２の出力を形成するように構成される。コントローラは、第１の出力の少なくとも一部から第１の処理出力を形成するとともに、第２の出力の少なくとも一部から第２の処理出力を形成するように構成される。コントローラにおいて、第２の処理出力を形成する処理は、第２の出力の少なくとも一部から入力信号の一部を推定する処理を含む。コントローラは更に、第１の処理出力及び第２の処理出力に基づいて最適モードを判定し、その最適モードに従って出力を選択するように構成される。

本発明の重要な利点は、オーディオ信号を送信する品質が改善されるように、符号化の最適モードが複数のモードから選択されることである。

入力信号を量子化する間、使用可能なビット数が制限されるために量子化誤差が発生する。入力信号の選択された部分のみを量子化し残りの部分を再構成することにより、より高い精度の量子化を行うことができる。既知の量子化された低周波数成分から未知の高周波数成分等の信号を再構成することにより、その結果得られる出力信号に再構成アーチファクトが発生する。従って、入力信号を符号化するにあたっては、量子化誤差と再構成アーチファクトとのトレードオフが存在する。

本発明によれば、複数のモードを入力信号に適用した結果として得られる出力を復号化すること等を含む処理に基づいて、最適な出力に対応する最適モードが、第１モード及び第２モードを含む複数モードから判定され選択される。

本発明の上記の特徴及び利点、並びに他の特徴及び利点は、添付の図面を参照して、以下の本発明の例示的な実施形態の詳細な説明を読めば、当業者には容易に理解されよう。

本発明に係る符号化装置の一実施形態を概略的に示す図。 本発明に係る符号化装置の一実施形態を概略的に示す図。 図１の符号化部の一実施形態を概略的に示す図。 図１のコントローラの一実施形態を概略的に示す図。 図２の符号化部の一実施形態を概略的に示す図。 図２のコントローラの一実施形態を概略的に示す図。 本発明に係る符号化装置の一実施形態を概略的に示す図。 本発明に係る符号化装置及び方法において適用される種々モードを示す図。 本発明に係る方法の一実施形態を概略的に示す図。 本発明に係る方法の一実施形態を概略的に示す図。 ２０ｍｓの音声フレームのスペクトル包絡及び圧縮された残差を示す図である。

（略語）
ＡＲ auto-regrressive 自己回帰
ＢＷＥ bandwidth extension 帯域幅拡張
ＤＦＴ discrete Fourier transform 離散フーリエ変換
ＧＭＭ Gaussian mixture models 混合正規分布モデル
ＫＬＴ Karhunen Loeve transform ＫＬ変換
ＭＤＣＴ modified descrete cosine transform 修正離散コサイン変換
ＳＢＲ spectral band replication スペクトル帯域複製
ＳＱ scalar quantizer スカラー量子化器
ＶＱ vector quantizer ベクトル量子化器

（詳細な説明）
図面は、理解しやすいように概略的であり簡略化されたものであり、本発明を理解するのに必須な箇所の詳細のみを示し、その他の詳細は省略する。図中、同一の符号は、同一の部分又は対応する部分に用いるものとする。

本発明に係る方法は、第１モード及び第２モードを含む複数モードを入力信号に適用することを含む。入力信号は、例えば、モードを適用する前にスペクトル包絡を適用することにより前処理されてもよい。

モードを入力信号に適用することは、入力信号の選択された部分を量子化することを含んでもよく、例えば第１モードを入力信号に適用することは、入力信号の第１の部分を量子化することを含んでもよく、及び／又は、第２モードを入力信号に適用することは、入力信号の第２の部分を量子化することを含んでもよい。第１の部分と第２の部分は重複してもよい。

例示的なモードにおいて、量子化閾値を下回るか、あるいは量子化閾値に達する入力信号の周波数又は係数は、量子化されて量子化閾値を上回る周波数又は係数が再構成される。異なる量子化閾値によって異なるモードを特徴付けることができる。

方法において、第２の処理出力を形成することは、帯域幅拡張を使用して入力信号の一部を再構成することを含んでもよい。

本発明に係る方法において、モードの適切な数Mは、入力信号に適用されてM個の出力を形成するようにすることができる。一実施形態において、選択された出力又は好ましくは全ての出力は、処理出力を形成するように処理される。選択された処理出力又は好ましくは全ての処理出力は、最適モードを判定するための基礎を部分的に、あるいは完全に形成してもよい。

方法において、最適モードを判定することは、入力信号、並びに第１の処理出力及び第２の処理出力から算出された選択基準に基づいて最適モードを判定することを含んでもよい。

選択基準は、次式で与えられる最小化問題として定義できる。

ただし、m^(*)は最適モード、Dは歪み、m=(1, ..., M)はM個のモードにわたるインデックス、X=(x₀, ..., x_N-1)は入力信号、Y _m,proc=(y₀, ..., y_N-1)_m,procはモードmでの処理出力である。

全てのモードMに対する基準D(X,Y _m,proc)の計算が非常に複雑である場合、全てのモードのうちのサブセットのみに対する基準及び／又は係数のサブセットのみに対する基準を計算するようにしてもよい。そして、残りのモードについては基準を補間してもよい。これにより、算出すべき基準よりも選択すべきより多くのモードを有することができ、基準が補間されるモードに対するD及びY _m,procの計算が省かれる。すなわち、アルゴリズムの計算にかかる演算量を低くしながら、符号化からＢＷＥへの遷移において高解像度が達成される。

一実施形態において、選択基準は、次式により与えられた最小化問題として定義できる。

ただし、m^(*)は最適モード、Dは歪み、mはM個のモードのサブセットにわたるインデックス、X=(x₀, ..., x_N-1)は入力信号、Y _m,proc=(y₀, ..., y_N-1)_m,procはモードmでの処理出力である。

歪みDは、例えば選択された少なくとも１つのモード又は全てのモードに対して、次式で与えられる。

ただし、Nは入力信号における係数の数、
全ての1≦n＜Nに対して、x₀ ^*＝｜x₀｜及びx_n ^*＝（1−α_n）｜x_n｜＋α_nx^* _n-1,
全ての1≦n＜Nに対して、y₀ ^*＝｜y₀｜及びy_n ^*＝（1−α_n）｜y_n｜＋α_ny^* _n-1 である。

重み係数α_nは次式で与えられる。

かつ／あるいは、ペナルティ係数β_nは定数であってもよく、例えばβ_n=2であるか、又は、次式で与えられることが好ましい。

一実施形態において、歪みDは、例えば選択された少なくとも１つのモード又は全てのモードに対して、次式により与えられる。

ただし、Nは入力信号における係数の数、Iは0〜N-1の整数の部分集合、N_IはIにおける要素数、
全ての1≦n＜Nに対して、x₀ ^*＝｜x₀｜及びx_n ^*＝（1−α_n）｜x_n｜＋α_nx^* _n-1,
全ての1≦n＜Nに対して、y₀ ^*＝｜y₀｜及びy_n ^*＝（1−α_n）｜y_n｜＋α_ny^* _n-1 である。

重み係数α_nは次式で与えられる。

かつ／あるいは、ペナルティ係数β_nは定数であってもよく、又は、次式で与えられることが好ましい。

一実施形態において、歪みDは、例えば選択された少なくとも１つのモード又は全てのモードに対して推定される。

方法は、最適モードに従って選択された出力信号を符号化装置の出力信号に含めるステップ、すなわち、選択された出力信号を送信するステップを含むことができる。選択された最適モードに関する情報は、選択された出力信号と共に送信されてもよい。

入力信号は一般に、符号化装置によりフレームに分割される。最適モードは、フレーム毎に又は選択された周波数において判定され、例えば入力信号の１０個のフレーム毎に１つの出力が判定される。

一般に、オーディオ符号化において、オーディオ信号は、デジタル化され、例えば修正離散コサイン変換（ＭＤＣＴ）により変換される。

符号化装置への入力信号は、デジタル化及び変換された入力信号であるのが好ましい。入力信号が時間領域にある場合、符号化装置は、変換された入力信号をプリプロセッサ又は符号化部に提供するためにＭＤＣＴ部等の変換部を備えてもよい。

入力信号に適用されるモードは、量子化のために考慮される入力信号ベクトルの次元により特徴付けられ、例えば、量子化のために考慮された第１次元の集合は第１モードと関連付けられ、量子化のために考慮された第２次元の集合は第２モードと関連付けられる。種々の集合は重複してもよく、すなわちいくつかの要素を共有してもよい。モードのオプションの数は、トータルのビット数や演算量の制約に依存する。モードの数は、２以上のいかなる正の整数であってもよい。本明細書において、簡潔にするために２つのモードが考慮され、他の箇所において説明するために４つのモードが考慮される。

本発明に係る符号化装置は、本発明に係る方法のステップを実行するように構成されてもよい。

符号化装置の符号化部は、第１モード及び第２モード等の複数モードを連続して適用し、かつ第１の出力及び第２の出力等の出力を例えば第１の接続を介してコントローラにシリアルに転送する。符号化は、量子化、圧縮及び／又は正規化を含むことができる。

符号化部は、第１のエンコーダと第２のエンコーダとを含む。第１のエンコーダは、第１モードを適用するように構成され、第１の出力を第１の接続を介してコントローラに転送するように構成される。第２のエンコーダは、第２モードを適用するように構成され、第２の出力を第２の接続を介してコントローラに転送するように構成される。

符号化部はプリプロセッサを備えてもよい。プリプロセッサは、スペクトル包絡を入力信号に適用し、結果として得られる残差信号をエンコーダに供給するように構成されてもよい。

コントローラは、適用されたモードの中から最適モードを判定し、対応する出力信号を転送するように構成されてもよい。コントローラは、対応するモードに従って、例えばそれぞれ第１モード及び第２モードに従って第１の出力及び第２の出力等の出力を処理するように構成された少なくとも１つのデコーダを備えてもよい。更にコントローラは、入力信号、並びに処理後の又は復号化後の出力、例えば第１の処理出力及び第２の処理出力から算出された選択基準に基づいて最適モードを判定するように構成されたプロセッサを備えてもよい。出力のうちの少なくとも１つの処理出力は、再構成された部分を含んでもよい。すなわち、復号化後の信号又は処理後の信号の一部は、帯域幅拡張等により推定されるか又は再構成される。所定のモードにおける送信機側の再構成コードブック及び受信機側の再構成コードブックは、符号化部が当該モードに提供する出力から生成される。これらのコードブックの好適な目的は、量子化において考慮されない入力ベクトルの次元を推定することである。入力ベクトルが周波数領域を示す場合、これは帯域幅拡張に対応する。

符号化装置は、符号化システムにおいて実現されてもよい。

図１は、本発明に係る符号化装置の一実施形態を示す。符号化装置２は、コントローラ４と符号化部６とを備える。符号化装置への入力信号Xは、デジタル化及び好ましくは変換された入力信号である。入力信号Xは、ＭＤＣＴを使用して変換されるのが好ましいが、ＤＦＴ、ウェーブレット変換又はＫＬ変換等の他の適切な変換方式を用いてもよい。入力信号Xは、シリアルに又はパラレルに接続８を介して符号化部６に供給される。符号化部６は、モードの数Mを入力信号に適用するように構成される。符号化部６の出力Y ₁, Y ₂, ..., Y _Mは、接続１０を介してコントローラ４に供給される。出力Y ₁, Y ₂, ..., Y _Mは、符号化部６とコントローラ４との間に図１に示されたようにシリアルに又は図２に示されたようにパラレルに供給されてもよい。

符号化部６において、入力信号Xの係数は、スペクトル包絡により入力信号Xの係数を平坦化することにより、プリプロセッサにおいて必要に応じて前処理される。更に、平坦化された信号のプリプロセッサは残差信号X _resと呼ばれる。次に、前処理された信号は、符号化部６において第１モードＡ及び第２モードＢを含む種々のモードに従って符号化又は量子化され、出力信号はコントローラ４に提供される。

好適な一実施形態において、モードの数は２である。すなわち、符号化部６は、第１モードＡ及び第２モードＢを入力信号に適用し、出力Y ₁及び出力Y ₂をコントローラ４に供給する。別の好適な実施形態において、モードの数は３である。すなわち、符号化部６は、第１モードＡ、第２モードＢ及び第３モードＣを入力信号に適用し、出力Y ₁、Y ₂及びY ₃をコントローラ４に供給する。

適用されるモードの数は、符号化の品質と符号化部６の符号化容量とのトレードオフの関係にある。一実施形態において、４つのモードＡ、Ｂ、Ｃ及びＤを適用することは適度な妥協であることが示された。符号化容量が継続的に増加するにつれ、５個、６個、７個、８個、９個、又は１０個以上等、より多くの数のモードが考えられる。

コントローラ４は、符号化部６に適用されたモードの最適モードを判定するように構成される。コントローラ４は、出力Y ₁, Y ₂, ..., Y _Mを処理し、少なくとも各出力の一部から処理出力(Y _m,proc, m=1, ..., M)を形成する。出力のうちの少なくとも１つを処理することは、少なくとも処理される出力の一部から入力信号の一部を推定することを含む。コントローラ４は、少なくとも第１の処理出力及び第２の処理出力に基づいて最適モードを判定するように構成される。

最適モードは、事前定義された選択基準等の選択基準を最小限にするモードとして選択される。一実施形態において、最適モードは、選択基準を最大限にするモードとして選択される。

第１モードＡが最適モードである場合、コントローラ４は、符号化出力信号Y _outにおいて出力Y ₁等の最適モードに対応する出力を含むように更に構成される。

符号化出力信号Y _outは、最適モードに関する情報を含むのが好ましい。あるいは又は組み合わせて、符号化出力信号Y _outは、入力信号Xの前処理に関する情報を含んでもよい。符号化出力信号Y _outは、受信機に送信され、受信機側の再構成コードブックに従って、好ましくは最適モード及び／又は入力信号Xの前処理に関する情報に従って再構成されるか又は復号化される。送信機側の再構成コードブックと受信機側の再構成コードブックとは同一であるのが好ましい。

図２は、本発明に係る符号化装置の一実施形態を示す。符号化装置は、４つのモードを入力信号Xに適用するように構成される。符号化装置２’は、出力Y ₁〜Y ₄が図１のようにシリアルではなく符号化部６’からコントローラ４’にパラレルに供給される点を除き、同様の構成要素を含む符号化装置２に類似する。図示する実施形態において、４つの異なるモードは入力信号に適用される。

図１及び図２に示された実施形態において、スペクトル包絡は、符号化部に配置されたプリプロセッサ又は符号化装置の符号化部に接続されたプリプロセッサユニットとして配置されたプリプロセッサにおいて入力信号Xに適用される。一実施形態において、プリプロセッサは符号化装置の外部の別個のユニットであるため、入力信号Xを前処理する必要がなくなる。スペクトル包絡は種々の方法で規定されてもよい。スペクトル包絡は、静的であってもよくかつ事前定義されてもよい。しかし、スペクトル包絡は、周波数領域又は時間領域において入力信号の特性に基づいて動的に判定あるいは算出されうる。従って、スペクトル包絡の特性は、例えば図１に示されたような符号化装置の外部のコントローラから又はコントローラ４からの外部制御信号X _conに従って制御されてもよい。一実施形態において、スペクトル包絡の特性は、ＡＲ係数の周波数応答に基づいて制御される。スペクトル包絡は、ＭＤＣＴ係数をグループ化することにより算出してもよく、各グループにおける平均エネルギを計算する。これらのグループは均一の長さであってもよく、あるいは高周波数に対して長くなってもよい。

図３は、図１の符号化部６の一実施形態を示す。符号化部６は、オプションのプリプロセッサ２０とエンコーダ２２とを備える。入力信号Xは、スペクトル包絡を入力信号Xに適用しかつ残差信号X _resをエンコーダ２２に供給するように構成されるプリプロセッサ２０に供給される。エンコーダ２２は、M個の異なるモードに従って残差信号X _resを符号化又は量子化し、図１に示したように結果として得られる出力をコントローラにシリアルに送出するように構成される。プリプロセッサ２０及びエンコーダ２２は、制御信号X _conにより制御される。X _conは、符号化装置の外部のコントローラからの制御変数及び／又はコントローラ４からの制御変数を含んでもよい。

図４は、図１のコントローラ４の一実施形態を示す。コントローラ４は、デコーダ２４とプロセッサ２６とを備える。出力Y ₁, Y ₂, ..., Y _Mは、少なくとも入力信号の一部の推定値を含む送信機側の再構成コードブックに従って出力Y ₁, Y ₂, ..., Y _Mを復号化するデコーダ２４において処理される。全てのM個のモードに対する処理後の又は復号化後の出力Y _m,procは、全てのモード又は選択されたモードに対する処理された信号Y _m,proc及び入力信号Xに基づいて最適モードを判定するように構成されるプロセッサ２６にシリアルに供給される。

示された実施形態において、コントローラ４は、m^(*)=arg mim_mD(X,Y _m,proc)で与えられる最小化問題を解決するように構成される。ただし、m^(*)は最適モード、Dは歪み、m=(1, ..., M)はM個のモードにわたるインデックス、X=(x₀, ..., x_N-1)は入力信号、Y _m,proc=(y₀, ..., y_N-1)_m,procはモードmでの処理出力である。

歪みDは次式で与えられる。

ただし、Nは入力信号における係数の数、すなわちベクトルの次元であり、
全ての1≦n＜Nに対して、x₀ ^*＝｜x₀｜及びx_n ^*＝（1−α_n）｜x_n｜＋α_nx^* _n-1,
全ての1≦n＜Nに対して、y₀ ^*＝｜y₀｜及びy_n ^*＝（1−α_n）｜y_n｜＋α_ny^* _n-1、

である。

一実施形態において、β_nは定数値であり、例えば全てのnに対してβ_n=2である。

ベクトル係数から符号が除去されて、ベクトル係数が平滑化される。本実施形態においては、重み係数α_nは（N、すなわちベクトルの次元数により）高周波に向かうにつれ増加するが、重み係数α_nはあらゆる適切な形態をとってもよい。

「ペナルティ係数」β_nは、「新しい」スペクトル成分に対してより重いペナルティを追加しかつ上述したような「失われた」スペクトル成分に対してより軽いペナルティを追加してもよいし、あるいはその逆であってもよい。このようなペナルティ係数は、従来は音声／オーディオ符号化の分野では使用されていなかったものである。

全てのモードMに対する基準D(X,Y _m,proc)が非常に複雑である場合、全てのモードのサブセットのみに対する基準を計算するようにしてもよい。そして、残りモードに対しては、基準は、補間されてもよく又は省略されてもよい。これにより、算出すべき基準よりも選択すべきモードをより多く有することができ、基準が補間されるモードに対するD及びY _m,procの計算が省かれる。すなわち、アルゴリズムの計算にかかる演算量を低く保ちつつ、符号化から帯域幅拡張（ＢＷＥ）への遷移において高解像度が達成される。

コントローラ４は、符号化出力信号Y _outにおいて最適モードに従って出力を含むように更に構成される。制御信号X _conは、プリプロセッサ２０に適用されたスペクトル包絡に関する情報を含みうる。符号化出力信号Y _outは、最適モードに関する情報及び／又はプリプロセッサ２０に適用されたスペクトル包絡に関する情報を含みうる。

本発明の重要な利点は、従来技術において示唆されたように入力信号の特性に従って符号化又は量子化を動的に適合させるのではなく、入力信号と復号化された出力信号との比較に基づいて最適モードを判定することである。

図５は、図２の符号化部６’の一実施形態を示す。符号化部６’は、オプションのプリプロセッサ２０と、各モードに対する、４つのエンコーダ２８、３０、３２、３４とを備える。入力信号Xは、制御信号X _con及び／又は事前定義された動作パラメータに従ってスペクトル包絡を入力信号Xに適用するように構成されるプリプロセッサ２０に供給される。プリプロセッサが省略される場合、残差信号X _res又は入力信号Xは、エンコーダ２８、３０、３２、３４に供給される。エンコーダ２８、３０、３２、３４は、４つの異なるモードを残差信号X _res又は入力信号Xに適用することにより、残差信号X _res又は入力信号Xを符号化する。出力Y ₁、Y ₂、Y ₃、Y ₄は、コントローラにパラレルに供給される。エンコーダ２８、３０、３２、３４の各々は、複数のモードに従って符号化し複数の出力をコントローラにシリアルに供給するように構成されてもよい。従って、出力信号Yをコントローラにシリアルに供給することとパラレルに供給することとの組合せが採用されてもよい。

示された実施形態において、エンコーダ２８、３０、３２、３４は事前定義された動作パラメータに従って動作するが、エンコーダ２８、３０、３２、３４の動作は制御信号X _conにより動的に制御されてもよい。

図６は、図２のコントローラ４’の一実施形態を示す。コントローラ４’は、出力Y ₁、Y ₂、Y ₃、Y ₄がコントローラ４のようにシリアルではなくパラレルに処理されるか又は復号化されるように出力毎にデコーダ３６、３８、４０、４２が提供されることを除き、図４に関連して説明したコントローラ４に類似する。コントローラ４’は、全てのモード又は選択されたモードに対する処理された信号Y _m,proc及び入力信号Xに基づいて最適モードを判定するように構成されるプロセッサ２６’を更に備える。デコーダ３６、３８、４０、４２は、送信機側の再構成コードブックに従って出力Y ₁、Y ₂、Y ₃、Y ₄を処理又は復号化する。デコーダ３６、３８、４０、４２は、それぞれ、デコーダ３６、３８、４０、４２にシリアルに供給される複数の出力を復号化するように構成されうる。

図７は、本発明に係る符号化装置の一実施形態を示す。符号化装置２”において、入力信号Xはスペクトル包絡で前処理され、残差信号X _resは符号化部６”に供給される。

図８は、４つの異なるモードＡ、Ｂ、Ｃ、Ｄを有する一例を示す。第１モードＡが例えば符号化装置２、２’、２”のうちの１つにおいて適用される場合、必要に応じて前処理された入力信号全体が実線で示されたように量子化されるため、使用可能なビットは全ての次元0〜N-1にわたり拡散される。第２モードＢにおいては、使用可能なビットが、実線で示されたようなベクトルの最初の４分の３の量子化のために使用され、破線で示されたような残りの次元又は係数、すなわち、ベクトルの量子化されていない部分に対応する周波数が、再構成コードブックに従って再構成される。第３モードＣにおいては、使用可能なビットが、ベクトルの初めの半分を量子化するために使用され、残りの半分、すなわち、ベクトルの量子化されていない部分に対応する周波数が、帯域幅拡張を使用して、すなわち再構成コードブックに従って再構成又は推定される。第４モードＤにおいては、全てのベクトルが下部の４分の１のベクトルを量子化するために用いられ、残りの次元が再構成される。

一般に、人間の知覚は低周波数領域における微細構造の誤差に対して感度が高いので、ビット数が少なくなるほど、モードの基本設定は、スペクトルのより多くの部分の量子化からスペクトルのより少ない部分の量子化になる（図８において、モードＡからモードＤになる。）。十分なビットが使用可能である場合、低周波数領域は十分な解像度で量子化され、上記の例における好適なモードはＡ及びＢである。再構成の処理でなるべく異音が生じないよう、信号の自己相似性が高くなるにつれ、基本設定はスペクトルの大部分の符号化からスペクトルのより小部分の符号化になる（図８の例においては、モードＡからモードＤになる。）。

符号化装置は、全てのモードにわたって探索することにより、低周波数領域の高解像度量子化と高周波数領域における異音の発生との間でバランスを保ち、符号化された信号の品質を高める。

図９及び図１０は、本発明に従って符号化システムにおいて入力信号を符号化する方法の実施形態を示す。方法１００、１００’は、第１モードを入力信号X又は入力信号の残差に適用して第１の出力を形成するステップ１０２を含む。更に方法は、第２モードを入力信号又は入力信号の残差に適用して第２の出力を形成するステップ１０４を含む。ステップ１０２及び１０４は、図９のように並列に実行してもよいし、図１０のように順番に実行してもよい。他のモードが、並列に適用されてもよいし、順番に実行されてもよい。ステップ１０２及び１０４は、入力信号の部分又は入力信号の残差信号を量子化すること、すなわち第１モードに対して入力信号の第１の部分を量子化すること及び第２モードに対して入力信号の第２の部分を量子化することを含む。

各モードの適用後又は適用中、少なくとも第１の出力の一部から第１の処理出力を形成し、少なくとも第２の出力の一部から第２の処理出力を形成するステップ１０５に進む。第２の処理出力を形成することは、少なくとも第２の出力の一部から入力信号の一部を推定することを含む。次に、ステップ１０６において、第１の処理出力及び第２の処理出力に基づいて最適モードを判定する。示された実施形態において、ステップ１０６は、m^(*)=arg mim_mD(X,Y _m,proc)により与えられた最小化問題を解決することを含む。式中、m^(*)は最適モード、Dは歪み、m=(1, ..., M)はM個のモード（本実施形態においてはM=2）にわたるインデックス、X=(x₀, ..., x_N-1)は入力信号、Y _m,proc=(y₀, ..., y_N-1)_m,procはモードmでの処理出力である。入力信号の残差信号X _resは、入力信号Xを置換してもよい。

歪みDは次式で与えられる。

ただし、Nは入力信号における係数の数、すなわちベクトルの次元数、
全ての1≦n＜Nに対して、x₀ ^*＝｜x₀｜及びx_n ^*＝（1−α_n）｜x_n｜＋α_nx^* _n-1,
全ての1≦n＜Nに対して、y₀ ^*＝｜y₀｜及びy_n ^*＝（1−α_n）｜y_n｜＋α_ny^* _n-1、

である。

ステップ１０６において最適モードを判定すると、最適モードに従って出力を選択するステップ１０８に進む。ステップ１０８は、選択された出力信号を送信すると共に選択されたモードに関する情報を送信すること又は示すことを含む。

本発明に係る方法は、入力信号の各フレームに適用されてもよいし、特定の周波数で適用されてもよい。例えば方法は、１０番目のフレーム毎に及び次に最適モードが判定されるまでフレームに対して適用される最適モードに適用されてもよい。

本発明に係る残差量子化によるマルチモード方式によれば、変換オーディオ符号化方式における品質を向上させることができる。最適モードを選択することにより、現状のビットレート及び入力源の特性に対し、改善される。

図１のスペクトル包絡及び圧縮された残差で、図８に係るモード及び広帯域音源でシミュレーションを行った。表１及び表２は、ビットレート及び音源の種類（音声-ドイツ人男性、音楽-カスタネット）ごとのモード選択の統計である。表３は、従来手法に対するマルチモード方式の全体的な品質の改善を示す。

送信機側の再構成コードブック及び受信機側の再構成コードブックは、スペクトルの量子化された領域におけるスペクトル係数から生成することができる。一般に量子化アルゴリズムは、量子化された領域において使用可能なトータルのビット数を係数の部分集合のみに分配する。残りの係数は、通常、ゼロに設定されるか、あるいはノイズ・フィル・アルゴリズム（noise fill algorithm）等の他の何らかのアルゴリズムにより近似される。再構成コードブックについては、再構成コードブックを構成する他の手法がいくつかある。ビットを全く受信しないスペクトルの量子化された領域における係数は、再構成コードブックにおいて省略されるか、ゼロに設定されるか、あるいはそれらの推定された値が使用される。

このように受信されたスペクトル係数は、高周波数領域を再構成するために必ずしも直接使用されないが、再構成コードブックを作成するように処理される。そのような処理の一例は２つのステップからなる。すなわち、１）上位１０％の係数を絶対値の最大値で圧縮。絶対値の最高値を含む０．１Ｎ個の係数は、残りの係数の絶対値の極大値に設定される。２）全体的なエネルギ減衰（初期レベルの７０％しか維持されない）。

再構成コードブックにおけるベクトルの減衰は、一般に、スペクトルの高周波数部分においてエネルギ低下を招く。デコーダにおいて、これは、H(z)=1-μ・z^-1の形式の傾斜補償フィルタで補償される。ただし、μは適切な値であり、例えばμ=0.4である。

高周波数の低下を補償するフィルタの別の形式は、H(z)=α・z^-1−β+α・z⁺¹である。ただし、例えば、α=0.0825、β=0.5825である。

これらの傾斜補償フィルタは、従来の形式又はピッチポストフィルタと組み合わされてもよい。

受信機側において、デコーダが受信した信号に含まれたモード情報からモード情報を取得することにより、デコーダで量子化された入力信号スペクトルの部分及び再構成されるものを判定する。スペクトルの量子化された部分が直接使用される。再構成コードブックは、上述されたように生成され、スペクトルの量子化されていない部分をデータを埋めるために使用される。次に、２つの状況が区別される。すなわち、ａ）拡張された領域が再構成コードブックより大きい場合、ｂ）拡張された領域が再構成コードブックより小さい場合。ａ）の場合、再構成コードブックは、スペクトル全体にデータが埋められるまで繰り返される。ｂ）の場合は、再構成コードブックは単に打ち切られる。

図８の例に戻ると、モードＢの場合は再構成コードブックの１／３のみが使用され、モードＣの場合は再構成コードブックは正確に適合し、モードＤの場合は再構成コードブックは２回繰り返されなければならない。ここで、量子化のためのビットを受信しなかった量子化領域の係数が再構成コードブックに含まれると仮定する。

オプションの傾斜補償フィルタを適用してもよく、本発明に関連しないポストフィルタ等の他のオプションの処理ステップに加えて、最後に、スペクトル全体に対してスペクトル包絡の制限を加えるようにしてもよい。

なお、本発明は、添付の図面に示された本発明の例示的な実施形態のみならず、種々の形態で実施することが可能であり、本明細書において説明した実施形態に限定されるものと解釈されるべきではない。これらの実施形態は、その開示内容が完璧で完全なものとなり、本発明の概念が当業者に完全に理解されるように提供されるものである。

Claims (11)

1. 符号化システムにおいて入力信号を符号化するための方法であって、
   前記入力信号の周波数領域表現のうち第１モードを特徴付ける量子化閾値までの第１の部分を量子化することにより、前記入力信号の周波数領域表現（X）に前記第１モードを適用して第１の出力（Y ₁）を形成するステップ（１０２）と、
   前記入力信号の周波数領域表現のうち第２モードを特徴付ける量子化閾値までの第２の部分を量子化することにより、前記入力信号の周波数領域表現（X）に前記第２モードを適用して第２の出力（Y ₂）を形成するステップ（１０４）と、
   前記第１の出力（Y ₁）の少なくとも一部から第１の処理出力（Y _1,proc）を形成するとともに、前記第２の出力（Y ₂）の少なくとも一部から第２の処理出力（Y _2,proc）を形成するステップ（１０５）であって、前記第２の処理出力を形成するステップは、帯域幅拡張を用いて、前記入力信号の周波数領域表現のうち前記第２モードを特徴付ける量子化閾値を超える部分を再構成することにより、前記第２の出力（Y ₂）の少なくとも一部から前記入力信号の周波数領域表現の一部を推定するステップを含むステップ（１０５）と、
   前記第１の処理出力（Y _1,proc）及び前記第２の処理出力（Y _2,proc）に基づいて、かつ、前記入力信号の周波数領域表現と前記第１及び第２の処理出力とから算出される選択基準に基づいて、最適モードを判定するステップ（１０６）と、
   前記最適モードに従って前記出力（Y ₁、Y ₂）を選択するステップ（１０８）と、
   を有し、
   m^(*)を最適モード、Dを歪み、m=(1, ..., M)をＭ個のモードにわたるインデックス、X=(x₀, ..., x_N-1)を前記入力信号の周波数領域表現、Y _m,proc=(y₀, ..., y_N-1)_m,procをモードmでの前記処理出力とするとき、前記選択基準は、
   

   

   で与えられる最小化問題として定義されることを特徴とする方法。
2. 前記入力信号の周波数領域表現にＭ個（Ｍ＞２）のモードを適用してＭ個の出力を形成することを特徴とする請求項１に記載の方法。
3. Nを前記入力信号の周波数領域表現における係数の数、
   全ての1≦n＜Nに対して、x₀ ^*＝｜x₀｜及びx_n ^*＝（1−α_n）｜x_n｜＋α_nx^* _n-1、
   全ての1≦n＜Nに対して、y₀ ^*＝｜y₀｜及びy_n ^*＝（1−α_n）｜y_n｜＋α_ny^* _n-1、
   

   

   とするとき、少なくとも１つのモードにおける前記歪みDは、
   

   

   で与えられることを特徴とする請求項１又は２に記載の方法。
4. Nを前記入力信号の周波数領域表現における係数の数、Iを0からN-1までの整数の部分集合、N_IをIにおける要素数、
   全ての1≦n＜Nに対して、x₀ ^*＝｜x₀｜及びx_n ^*＝（1−α_n）｜x_n｜＋α_nx^* _n-1、
   全ての1≦n＜Nに対して、y₀ ^*＝｜y₀｜及びy_n ^*＝（1−α_n）｜y_n｜＋α_ny^* _n-1、
   

   

   とするとき、少なくとも１つのモードにおける前記歪みDは、
   

   

   で与えられることを特徴とする請求項１乃至３のいずれか１項に記載の方法。
5. 前記歪みDは、少なくとも１つのモードに対して推定されることを特徴とする請求項１乃至４のいずれか１項に記載の方法。
6. 前記最適モードに関する情報を送信するステップを更に有することを特徴とする請求項１乃至５のいずれか１項に記載の方法。
7. コントローラ（４、４’）と、該コントローラ（４、４’）に接続された符号化部（６、６’）とを有する符号化装置（２、２’、２”）であって、
   前記符号化部は、前記入力信号の周波数領域表現のうち第１モードを特徴付ける量子化閾値までの第１の部分を量子化することにより、前記入力信号の周波数領域表現（X）に前記第１モードを適用して第１の出力（Y ₁）を形成するとともに、前記入力信号の周波数領域表現のうち第２モードを特徴付ける量子化閾値までの第２の部分を量子化することにより、前記入力信号の周波数領域表現（X）に前記第２モードを適用して第２の出力（Y ₂）を形成するように構成され、
   前記コントローラ（４、４’）は、前記第１の出力（Y ₁）の少なくとも一部から第１の処理出力（Y _1,proc）を形成するとともに、前記第２の出力（Y ₂）の少なくとも一部から第２の処理出力（Y _2,proc）を形成するように構成され、該第２の処理出力を形成する処理は、帯域幅拡張を用いて、前記入力信号の周波数領域表現のうち前記第２モードを特徴付ける量子化閾値を超える部分を再構成することにより、前記第２の出力（Y ₂）の少なくとも一部から前記入力信号の周波数領域表現の一部を推定する処理と、前記第１の処理出力及び前記第２の処理出力に基づいて、かつ、前記入力信号の周波数領域表現と前記第１及び第２の処理出力とから算出される選択基準に基づいて、最適モードを判定する処理と、前記最適モードに従って前記出力（Y ₁、Y ₂）を選択する処理とを含み、
   m^(*)を最適モード、Dを歪み、m=(1, ..., M)をＭ個のモードにわたるインデックス、X=(x₀, ..., x_N-1)を前記入力信号の周波数領域表現、Y _m,proc=(y₀, ..., y_N-1)_m,procをモードmでの前記処理出力とするとき、前記選択基準は、
   

   

   で与えられる最小化問題として定義されることを特徴とする符号化装置。
8. 前記符号化部（６）は、前記第１モード及び前記第２モードを順番に適用し、前記第１の出力及び前記第２の出力を第１の接続（１０）を介して前記コントローラ（４、４’）にシリアルに転送するように構成されるエンコーダ（２２）を含むことを特徴とする請求項７に記載の符号化装置。
9. 前記符号化部（６）は、第１のエンコーダ（２８）と、第２のエンコーダ（３０）とを含み、前記第１のエンコーダは、前記第１モードを適用して前記第１の出力を第１の接続を介して前記コントローラに転送するように構成され、前記第２のエンコーダは、前記第２モードを適用して前記第２の出力を第２の接続を介して前記コントローラに転送するように構成されることを特徴とする請求項７に記載の符号化装置。
10. 前記コントローラ（４、４’）は、それぞれ前記第１モード及び前記第２モードに従って前記第１の処理出力及び前記第２の処理出力を形成するように構成された少なくとも１つのデコーダと、前記入力信号の周波数領域表現並びに前記第１の処理出力及び前記第２の処理出力から算出された選択基準に基づいて前記最適モードを判定するように構成されたプロセッサと、を含むことを特徴とする請求項７乃至９のいずれか１項に記載の符号化装置。
11. 請求項７乃至１０のいずれか１項に記載の符号化装置を含む符号化システム。

Images