JP6207404B2 - 高周波数の再構成方法を使用するコーディング・システムの性能拡大方法 - Google Patents

Description

本発明は、高周波数再構成（ＨＦＲ）方法を使用するデジタル音声のコーディング・システムに関する。本システムは、より整合的なコア・コーデック性能を可能にすることから、コア・コーデックとＨＦＲとを組み合わせたシステムによる向上した音声品質が確立される。

音声ソースのコーディング技術は、自然音声コーディングと発語コーディングの２つのクラスに分類することができる。自然音声コーディングは一般に、音楽又は中程度のビットレートでの任意の信号用に使用される。発話コーデックは、基本的には発話の再生に限定されるが、一方で超低ビットレートでの使用が可能である。両クラス共に、信号は概して、スペクトル包絡線及び対応する残留信号の２つの主な信号成分に分離される。このような分割を利用するコーデックは、スペクトル包絡線のコーディングの方が残留信号に比べて格段に効率的であるという事実を活用している。高周波数再構成を使用するシステムでは、ハイバンドに対応する残留信号は全く送信されない。代わりに、コア・コーデックによってカバーされたローバンドからデコーダ側でハイバンドが生成され、所望のハイバンド・スペクトル包絡線を取得するように成形される。ダブルエンドＨＦＲシステムでは、より上の周波数領域に対応する包絡線データが送信されるが、シングルエンドＨＦＲシステムでは、ローバンドからハイバンド包絡線が導出される。何れのケースにおいても、先行技術による音声コーデックは、コア・コーデック周波数領域とＨＦＲ周波数領域との間に時間に独立なクロスオーバ周波数を印加する。したがって、所与のビットレートでは、クロスオーバ周波数は、典型的なプログラム材料に関してコア・コーデック導入型のアーティファクトとＨＦＲシステム導入型のアーティファクトとの間で良好なトレードオフが確立されるように選択される。こうした静的なセッティングは、特殊な信号に関しては最適とはほど遠いことが明白である。即ち、コア・コーデックは、過大応力に曝されて必要以上に高めのローバンド・アーティファクトがもたらされ、ＨＦＲ方法に固有であるこの点がハイバンド品質をも低下させるか、又は、その全ポテンシャルまでは使用されない、即ち必要なＨＦＲ周波数範囲より大きいポテンシャルが使用されるか、の何れかである。したがって、先行技術システムの場合は、合同コーディング・システムの最大のパフォーマンスは偶発的にしか到達されない。さらに、クロスオーバを、音調領域及び雑音状領域の本質的に異なるスペクトル特性を有する領域間の遷移領域に並べる可能性は活用されていない。

本発明は、高周波数再構成（ＨＦＲ）方法が使用される、コーディング・システムを改善するための新規方法及び装置を提供する。本発明は、ローバンド・コーデック及びＨＦＲシステムによってそれぞれ導入されるアーティファクト間の最適なトレードオフを生じさせるクロスオーバ周波数の継続的な推定及び印加によって、従来のコーディング・スキーム（ＭＰＥＧ層３又はＡＡＣ等）が使用されるローバンドと、ＨＦＲコーディング・スキームが使用されるハイバンドとの間の固定クロスオーバ周波数の従来の利用とは異なったものとなっている。本発明によれば、クロスオーバ周波数の選択は、信号をコア・コーデックで符号化する困難さの程度の測度、短期ビット・デマンドの検出及びスペクトル調性の解析又はこれらの任意の組合せを基礎とすることが可能である。困難さの測度は、知覚エントロピー又は心理音響学に関連するコア・コーデック歪みから導出することができる。最適な選択は経時的に頻繁に変化することから、可変クロスオーバ周波数の印加は実質的に向上した音声品質、また同時にプログラム材料の特質に依存しない音声品質をもたらす。本発明は、シングルエンド及びダブルエンドの両ＨＦＲシステムに適用可能である
。

次に、添付の図面を参照して、本発明を本発明の範囲又は精神を限定しない例示的な例によって説明していく。

以下で説明する実施形態は、本発明の原理を単に例示するものである。本明細書に記述されている装置及び詳細の修正及び変形がこの技術に精通した他の者にとって明白となることは理解される。したがって本発明は、本明細書における実施形態を記述しかつ説明するものとして提示された特定の詳細内容ではなく、添付の特許請求の範囲によってのみ限定されるべきものである。

図１において１０１で指示されるローバンド又は低周波数領域がコア・コーデックによって符号化され、かつハイバンド又は高周波数領域１０２が適切なＨＦＲ方法によって対処されるシステムでは、これらの２つの領域の間の境界をクロスオーバ周波数１０３と定義することができる。符号化のスキームは、ブロック状フレーム単位方式で作用するため、処理されるフレーム毎にクロスオーバ周波数を変更することができる。本発明によれば、組み合わされたコーディング・システムにとって最適な品質が達成されるようにクロスオーバ周波数を適合させる検出アルゴリズムを設定することが可能である。このアルゴリズムの実装を、以後クロスオーバ周波数制御モジュールと称する。

コア・コーデックの音声品質はまた、再構成されたハイバンドの品質にとっての基礎でもあることを考慮すると、ローバンド領域における優れた、かつ一定した音声品質が望まれることは明白である。クロスオーバ周波数を下げれば、コア・コーデックが対応しなければならない周波数領域が小さくなり、よって符号化も容易になる。したがって、フレームの符号化の困難さの程度を測定してクロスオーバ周波数を適宜調整すれば、コア・エンコーダのより一定した音声品質を達成することができる。

困難さの程度を測定する方法の一例としては、知覚エントロピー［ISO/IEC 13818-7、
付属書類B.2.1］を使用することができる。そこでは、スペクトル解析を基礎とする心理
音響学モデルが適用される。一般に、解析フィルタ・バンクのスペクトル線は複数のバンドに分類される。但し、１つのバンド内の線の数はバンドの中心周波数に依存し、かつ全バンドに関する知覚的に一定の周波数分解能を目標として周知のバーク・スケールにより選定される。スペクトル又は時間マスキング等の効果を活用する心理音響学モデルの使用により、あらゆるバンドの可聴性のしきい値が取得される。したがって、バンド内の知覚エントロピーは、

によって与えられる。但し、

であり、かつ、
ｉ＝あるバンド内のスペクトル線指数、
ｓ（ｉ）＝線ｉのスペクトル値、
Ｌ（ｂ）＝あるバンド内の線の数、
ｔ（ｂ）＝あるバンドの心理音響学的しきい値、
ｂ＝バンド指数、
ｌ＝あるバンド内の線の数で、ｒ（ｉ）＞１．０となるもの、
であり、総和にはｒ（ｉ）＞１．０であるような項のみが使用される。

ローバンド周波数領域においてコード化されなければならない全バンドの知覚エントロピーを総和することにより、あるフレームに関する符号化の困難さの測度が取得される。

類似のアプローチには、

に従ってあらゆるバンドの歪みエネルギーを総和することにより、コア・コーデックの符号化プロセスの終わりにおける歪みエネルギーを計算するというものがある。但し、
ｎ_ｑ(ｂ)／ｔ(ｂ)＞１．０については、ｎ(ｂ)＝ｎ_ｑ(ｂ)−ｔ(ｂ)、それ以外は、ｎ（ｂ）＝０であり、かつ、
ｎ_ｑ(ｂ)＝量子化雑音エネルギー、
ｔ(ｂ)＝心理音響学的しきい値、
ｂ＝バンド指数、
Ｂ＝バンド数
である。

さらに、歪みエネルギーは、その心理音響学的関連における実際の歪みの重さを測るために、音の大きさの曲線によって重さを計量することができる。一例として、式２の加算は、

のように変更することができる。但し、Zwickerによるラウドネス関数の単純化が使用さ
れている［Eberhard Zwicker、Hugo Fastl共著「心理音響学」Springer-Verlag、ベルリ
ン、１９９０年］。

次には、符号化の困難さ又はワークロードの測度を合計歪みの関数として定義することができる。図２は、知覚音声コーデックの歪みエネルギー及び対応するワークロードの測度の例を示している。但し、ワークロードの計算には非線形帰納が使用されている。ワークロードは経時的な高偏差を示し、かつ入力される材料特性に依存する点が観察される。

高い知覚エントロピー又は高い歪みエネルギーは、限定されたビットレートでは信号が心理音響学的にコード化されにくいこと、及びローバンドでは可聴アーティファクトが出現する可能性があることを表している。こうした場合には、知覚音声エンコーダを所与の信号に対応し易くさせるために、クロスオーバ周波数制御モジュールはより低いクロスオーバ周波数を使用するように信号を送る。言い換えると、低い知覚エントロピー又は低い歪みエネルギーは、コード化容易の信号を表す。したがって、ローバンド用により広い周波数領域を可能にして、従来のどのＨＦＲ方法も能力が限定されているためにハイバンドで導入されることが予想されるアーティファクトを低減するためには、クロスオーバ周波数はより高く選定される。解析段階でクロスオーバ周波数の調整が指定されているならば、これらのアプローチはまた共に、あるフレームを符号化し直すことにより、合成による解析法の利用を可能にする。しかしながら、大部分の最新の音声コーデックでは重複する送信が使用されるため、感度抑圧効果を引き起こす可能性のあるクロスオーバ周波数の頻繁すぎる切換を回避するために、経時的な解析入力パラメータの平滑化を適用することによって、本システムの性能は向上される可能性がある。プロセス遅延に関連して実際の実装を最適化する必要がなければ、より大きいルックアヘッドを適宜使用して検出アルゴリズムをさらに改善することが可能であり、最小の切換アーティファクトでシフトを実行できるポイントを適宜発見する可能性がもたらされる。リアルタイムのアプリケーションはこれの特殊ケースを表すものではないが、所望されれば符号化されるファイル全体の解析を行うこともできる。

一定のビットレート（ＣＢＲ）の音声コーデックの場合には、短期ビット−デマンド差異解析をクロスオーバ決定における追加的な入力パラメータとして使用することができる。すなわち、ＭＰＥＣ層３又はＭＰＥＧ−２ ＡＡＣ等の最新式音声エンコーダは、フレーム当たりの利用可能平均ビット数からの短期ピーク・ビット−デマンド偏差を補償するために、ビット・リザーバ技術を使用する。このようなビット・リザーバの充填度は、コア・エンコーダがやがて来る符号化困難フレームに十分に対応する能力があるかどうかを表す。図３は、フレーム当たりの使用ビット数及び経時的なビット・リザーバの充填度の実際例を示したものである。したがって、ビット・リザーバの充填度が高ければ、コア・エンコーダは困難なフレームに対処することが可能であり、より低いクロスオーバ周波数を選定する必要はない。言い換えると、ビット・リザーバの充填度が低ければ、コア・エンコーダのビット・デマンドを下げるために、符号化されなければならない周波数領域が狭まるためにビット・リザーバが満杯にされうるように、クロスオーバ周波数を下げることにより、音声品質は次のフレームにおいて実質的に向上され得る結果となる。この場合もやはり、ビット・リザーバの充填度の動作をかなり前に予測可能であることから、大きなルックアヘッドにより本検出方法を改善することができる。

あるフレームの符号化の困難さの他に、クロスオーバ周波数の選定の基礎とされる重要なパラメータは、発話や楽器の幾つかのような多くの音声信号は、スペクトル領域がピッチのある領域又は音調領域と雑音状領域とに分割され得るという特性を示すことにある。図４は、この特性が明白に表れた音声入力信号のスペクトルを示している。スペクトル・ドメインにおいて調性及び／又は雑音解析法を使用すれば、各々音調領域及び雑音状領域として分類されることが可能な２つの領域を検出することができる。調性は、例えばＡＡＣ規格に規定されているように計算することが可能である［ISO/IEC 13818-7:1997年（Ｅ）、96-98ページ、§B.2.1.4「しきい値計算のステップ」］。その他、スペクトルの平坦
さの測度のような周知の調性又は雑音検出アルゴリズムもまた、目的に沿うものである。このように、これらの領域間のクロスオーバ周波数は、音調及び雑音状のスペクトル領域をより適正に分離しかつこれらを各々ＨＦＲ方法のコア・エンコーダに供給するために、本発明におけるクロスオーバ周波数として使用される。したがって、こうしたケースでは、組み合わされたコーデック・システムの全体的な音声品質を実質的に向上させることができる。

上述の方法は、明らかにダブルエンド及びシングルエンドのＨＦＲシステムに同様に適用可能である。後者の場合は、可変バンド幅のローバンドのみがコア・コーデックで符号化されて送信される。次にＨＦＲデコーダは、包絡線をローバンドのカットオフ周波数から上へと外挿する。さらに本発明は、ローバンドのコード化に使用されるものとは異なる任意方法によってハイバンドが生成されるシステムにも適用可能である。

周波数変換のような従来の変換方法を適用する場合、ＨＦＲ開始周波数をローバンド信号の変動するバンド幅に適合させることは極めて長い単調な作業となる。これらの方法は、概してローバンド信号を濾波して低域通過信号又は帯域通過信号を抽出することを含み、この信号は時間ドメインにおいて実質的に変調され、周波数シフトが起こる。したがって適合化は、低域通過又は帯域通過フィルタの交換と変調周波数の変更とを統合させる。さらに、フィルタの交換は出力信号の不連続性を引き起こし、これによりウィンドウ技術の利用が促される。しかしながら、フィルタバンクを基礎とするシステムでは、濾波は、連続するフィルタバンド・セットからのサブバンド信号の抽出によって自動的に達成される。次いで、フィルタバンク内の抽出されたサブバンド信号のリパッチによって、時間ドメイン変調の等価が取得される。リパッチは変動するクロスオーバ周波数に簡単に適合化され、かつ前述のウィンドウ機能はサブバンド・ドメインに固有のものであるため、変換パラメータの変更は少しの複雑さの追加によって達成される。

図５は、本発明によって拡張されたＨＦＲを基礎とするコーデックのエンコーダ側の一例を示している。アナログ入力信号はＡ／Ｄ変換器５０１へ供給され、デジタル信号が形成される。デジタル音声信号はコア・エンコーダ５０２へ供給され、ここでソースのコード化が実行される。さらに本デジタル信号は、ＨＦＲ包絡線エンコーダ５０３へも供給される。ＨＦＲ包絡線エンコーダの出力は、図１に示されたクロスオーバ周波数１０３で始まるハイバンド１０２をカバーする包絡線データを表す。包絡線エンコーダにおいて包絡線データに必要なビット数はコア・エンコーダに送られ、所与のフレームの利用可能な合計ビット数から減算される。次にコア・エンコーダは、残りのローバンド周波数帯域をクロスオーバ周波数まで符号化する。クロスオーバ周波数制御モジュール５０４は、本発明の教示に従ってエンコーダに追加される。本クロスオーバ周波数制御モジュールには、入力信号の時間及び／又は周波数ドメインの表示並びにコア・コーデックのステータス信号が供給される。モジュール５０４の出力は、符号化される周波数領域を指定するように、クロスオーバ周波数の最適選定の形式でコア・エンコーダ及び包絡線エンコーダに供給される。また、２つのコード化スキームの各々の周波数領域は、例えば効率的なテーブルルックアップ・スキームによっても符号化される。連続する２つのフレーム間の周波数領域が変わらなければ、ビットレートのオーバーヘッドを可能な限り小さく保つために、周波数領域は単一のビットによって指定することが可能であり、したがって周波数領域は、あらゆるフレームで明示的に送信される必要はない。両エンコーダで符号化されたデータは次にマルチプレクサへ供給され、連続するビット・ストリームが形成されて送信又は記憶される。

図６は、クロスオーバ周波数制御モジュール５０４及び６０１の各々におけるサブシステムの例を示している。エンコーダのワークロード測度解析モジュール６０２は、例えば上述の知覚エントロピー又は歪みエネルギー法を使用して、あるフレームをコア・エンコ
ーダ用にコード化する困難さの度合いを探る。コア・コーデックがビット・リザーバを使用するのであれば、バッファ充填度解析モジュール６０３を包含することができる。調性解析モジュール６０４は、適用可能であれば音調／雑音遷移周波数に対応するターゲット・クロスオーバ周波数を指定する。合同決定モジュール６０６へ入力される全パラメータは、最大の全体的パフォーマンスを取得するために、使用するクロスオーバ周波数を計算する際に使用されたコア・コーデック及びＨＦＲコーデックの実際の実装によって組み合わされ、かつ平衡化される。

図７には、対応するデコーダ側が示されている。デマルチプレクサ７０１は、ビット・ストリーム信号を、コア・デコーダ７０２へ供給されるコア・コーデック・データと、ＨＦＲ包絡線デコーダ７０３へ供給される包絡線データとに分離する。コア・デコーダは、ローバンド周波数領域をカバーする信号を生成する。同様にＨＦＲ包絡線デコーダは、データを復号してハイバンド周波数領域用のスペクトル包絡線を表示させる。復号された包絡線データは、次に利得制御モジュール７０４へ供給される。コア・デコーダからのローバンド信号はトランスポジション・モジュール７０５へルーティングされ、トランスポジション・モジュール７０５は、クロスオーバ周波数を基礎としてローバンドから複製されたハイバンド信号を生成する。ハイバンド信号は、ハイバンドのスペクトル包絡線を送信された包絡線のそれに適合化させるために、利得制御モジュールへ供給される。こうして、出力は包絡線を調整されたハイバンド音声信号となる。この信号は、遅延ユニット７０６からの出力に追加される。遅延ユニット７０６にはローバンド音声信号が供給され、同遅延ユニットはハイバンド信号のプロセス時間を補償する。最後に、取得されたデジタル・ワイドバンド信号がＤ／Ａ変換器７０７でアナログ音声信号に変換される。

この発明は、高周波数再構成（ＨＦＲ）方法が使用される、コーディング・システムを改善するための新規方法及び装置に適用される。

ローバンド、ハイバンド及びクロスオーバ周波数という用語を示すグラフである。 コア・コーデックのワークロード測度を示すグラフである。 定ビットレート・コーデックの短期ビット・デマンドの変動を示すグラフである。 信号のトーン及び雑音調周波数領域への分割を示すグラフである。 クロスオーバ周波数制御モジュールによって拡張されたＨＦＲベースのエンコーダのブロック図である。 クロスオーバ周波数制御モジュールの詳細を示すブロック図である。 対応するＨＦＲベースのデコーダのブロック図である。

５０１ ＡＤＣ、５０２ エア・エンコーダ、５０３ 包絡線エンコーダ、５０４，６０１ クロスオーバ周波数制御装置、５０５ ＭＵＸ、６０２ ワークロード測度解析モジュール、６０３ バッファ充填度解析モジュール、６０４ 調性解析モジュール、６０６ 合同決定モジュール、７０１ デマルチプレクサ、７０２ コア・デコーダ、７０３
ＨＦＲ包絡線デコーダ、７０４ 利得制御モジュール、７０５ トランスポジション・モジュール、７０６ 遅延ユニット、７０７ Ｄ／Ａ変換器。

Claims (10)

1. クロスオーバ周波数に至るまでのより低い周波数バンドをコード化するためのコア・コーデックと、前記クロスオーバ周波数で始まるより高い周波数バンドを発生させるＨＦＲ（ＨＦＲ＝高周波数再構成）システムであって、コア復号されたより低い周波数バンドから前記より高い周波数バンドを発生するように構成されたＨＦＲシステムとを備える自然音声コーディング・システムの性能を向上させるための方法であって、
   エンコーダでは、前記コア・コーデックで信号を符号化する困難さの度合いの測度に依存して前記クロスオーバ周波数の時間可変値を経時的に適合して推定し、かつ、前記クロスオーバ周波数の時間可変値を適用し、
   高い度合いの困難さは、前記値を下げ、低い度合いの困難さは、前記値を上げることを特徴とする方法。
2. 前記困難さの度合いの測度は、信号の知覚エントロピーを基礎とすることを特徴とする請求項１記載の方法。
3. 前記困難さの度合いの測度は、前記コア・コーデックによるコード化の後の歪みエネルギーを基礎とすることを特徴とする請求項１記載の方法。
4. 前記困難さの度合いの測度は、前記コア・コーデックに関連づけられたビット・リザーバのステータスを基礎とすることを特徴とする請求項１記載の方法。
5. 前記値は、知覚エントロピーと、コア・コーデックの歪みと、コア・コーデックのビット・リザーバ・ステータスとの任意の組合せを使用して取得されることを特徴とする請求項１記載の方法。
6. 前記値は、前記コア・コーデックのエンコーダで前記より低い周波数バンドを有する信号を符号化する困難さの測度と、前記より低い周波数バンドと前記より高い周波数バンドとを含む信号の音調及び雑音調周波数領域間の境界との組合せを基礎とすることを特徴とする請求項１記載の方法。
7. クロスオーバ周波数に至るまでのより低い周波数バンドをコード化するための手段と、前記クロスオーバ周波数で始まるより高い周波数バンドの高周波数再構成のための手段であって、コア復号されたより低い周波数バンドから前記より高い周波数バンドを発生するように構成された高周波数再構成のための手段とを備える自然音声のコーディング・システムであって、
   前記自然音声のコーディング・システムのエンコーダは、前記コア・コーデックで信号を符号化する困難さの度合いの測度に依存して前記クロスオーバ周波数の時間可変値を経時的に適合して推定し、かつ、前記クロスオーバ周波数の時間可変値を適用するための手段を有し、
   高い度合いの困難さは、前記値を下げ、低い度合いの困難さは、前記値を上げることを特徴とするシステム。
8. 時宜を得て変動するクロスオーバ周波数に至るまでの変動するバンド幅を有するより低い周波数バンドを表すローバンドデータを生成するための復号手段と、
   再構成されたより高い周波数バンドを得るために前記ローバンドデータから導出されるより低い周波数バンドを使用する高周波数再構成開始周波数で始まるより高い周波数バンドの高周波数再構成のための手段であって、前記高周波数再構成開始周波数を前記時宜を得て変動するクロスオーバ周波数に適合させるように構成された高周波数再構成のための手段と、
   前記時宜を得て変動するクロスオーバ周波数に至るまでの変動するバンド幅を有するローバンドデータと、前記時宜を得て変動するクロスオーバ周波数で始まる前記再構成されたより高い周波数バンドとを追加してデジタルワイドバンド信号を得るための追加手段とを備える自然音声のコーディング・システムのデコーダ。
9. 前記高周波数再構成のための手段は、サブバンド信号を有するフィルターバンクを基礎とするシステムを含み、前記高周波数再構成開始周波数の適合は、前記サブバンド信号のリパッチの前記時宜を得て変動するクロスオーバ周波数への適合を含む請求項８に記載のデコーダ。
10. 時宜を得て変動するクロスオーバ周波数に至るまでの変動するバンド幅を有するより低い周波数バンドを表すローバンドデータを生成するための復号を行うステップと、
    再構成されたより高い周波数バンドを得るために前記ローバンドデータから導出されるより低い周波数バンドを使用する高周波数再構成開始周波数で始まるより高い周波数バンドを高周波数再構成するステップであって、前記高周波数再構成開始周波数を前記時宜を得て変動するクロスオーバ周波数に適合させるように構成された高周波数再構成するステップと、
    前記時宜を得て変動するクロスオーバ周波数に至るまでの変動するバンド幅を有するローバンドデータと、前記時宜を得て変動するクロスオーバ周波数で始まる前記再構成されたより高い周波数バンドとを追加してデジタルワイドバンド信号を得るためのステップとを備える自然音声のコーディング・システムのためのデコード方法。

Images