JP4682154B2 - 自動音声認識チャンネルの正規化 - Google Patents

Description

本願は、２００４年１月１２日に出願された米国仮出願第６０／５３５，８６３号の優先権を主張する。

本発明は自動音声認識チャンネルの正規化に関する。

自動音声認識システムの認識性能（例えば、精度）は通信チャンネルの変動によって悪影響を受ける場合がある。通信チャンネルの変動の原因は、話者（例えば、声道構造、声門音の励振）、伝送チャンネル（例えば、マイクロホンに対する位置と方向、室内音響、周囲騒音）、及び使用されるマイクロホンの様々な特性等による。

通信チャンネルの認識性能に与える影響を抑えるために、多くの案が提案されている。そのようなテクニックの１つは、時間ｔに関して、各特性配列ｆｅａｔｕｒｅ［ｉ］が、そのゼロ平均で単位分散となるように、ケプストラム（ｃｅｐｓｔｒａｌ）係数の認識特性ベクトルを正規化することである。一般的に、このテクニックは、非正規化された認識特性を計算するために、Ｋ個のケプストラム（ｃｅｐｓｔｒａｌ）係数（又は、メル周波数ケプストラム（ｃｅｐｓｔｒａｌ）係数）、及びそれらの１次導関数と２次導関数（Δｃｅｐｓｔｒｕｍ［ｉ］及びΔΔｃｅｐｓｔｒｕｍ［ｉ］）を利用する。
ｆｅａｔｕｒｅ［ｉ］＝（ｃｅｐ［ｉ］−μ［ｉ］）／σ［ｉ］ （０≦ｉ＜３Ｋ）であり、ここで、
ｃｅｐ［ｉ］＝ｃｅｐｓｔｒｕｍ［ｉ］
ｃｅｐ［ｉ＋Ｋ］＝Δｃｅｐｓｔｒｕｍ［ｉ］
ｃｅｐ［ｉ＋Ｋ］＝ΔΔｃｅｐｓｔｒｕｍ［ｉ］
（０≦ｉ＜Ｋ）である。
ここで、μ［ｉ］は時間ｔにおけるｃｅｐ［ｉ］の平均値、そしてσ^２［ｉ］は時間ｔにおけるｃｅｐ［ｉ］の分散値である。

ケプストラム（ｃｅｐｓｔｒａｌ）平均正規化（すなわち、μ［ｉ］の減算）によって未知関数ではあるが、定常関数及び直線関数であるチャンネル転送関数を除外する。ケプストラム（ｃｅｐｓｔｒａｌ）分散の正規化（すなわち、σ［ｉ］で除算）は、付加される雑音によるケプストラム（ｃｅｐｓｔｒａｌ）係数の分散の減少を補完する。

チャンネル特性を推定する上で基礎となる時間量は、音声認識装置の性能に影響を与える。時間ウィンドウが長すぎる場合は、チャンネルは不変であるとみなすことができず、時間ウィンドウが短すぎる場合は、スピーチセグメントの音声内容がチャンネル特性の推定にバイアスをかけることがある。妥協策として、多くの認識システムが発話の完全な発声に基づいてチャンネルを推定している。認識システムの処理速度によるが、発声が終わるまで発声の処理が開始しないので、発声に基づいた正規化は望ましくないシステムの処理遅延を生じさせる。一般的に、時刻同期（又は、オンライン処理）法は、ある種のチャンネルの正規化を再帰的に実現する手法を利用する。この手法においては、ケプストラム（ｃｅｐｓｔｒａｌ）機能（係数）の平均と分散の時間予測値は、時間ｔにおいてτ＝１０〜２０ミリ秒毎に増加するように更新される。
μ［ｉ，ｔ］＝αμ［ｉ，ｔ−τ］＋（１＋α）ｃｅｐ［ｉ，ｔ］
σ^２［ｉ，ｔ］＝ασ^２［ｉ，ｔ］＋（１−α）（ｃｅｐ［ｉ，ｔ］−μ［ｉ，ｔ］）^２

非スピーチセグメントは、チャンネル推定における別の複雑な要素である。伝送チャンネルはマイクロホンと発話者を分離するので、伝送チャンネルの効果は、スピーチセグメントにおいてのみ聴覚的に明らかである。その結果、非スピーチセグメントとスピーチセグメントの可変比は、チャンネル特性の推定に大きく影響する。しかしながら、スピーチセグメントと非スピーチセグメントの違いが不明確であるため、固定比の使用が制限される。

１つの側面において、本発明の特徴は、概して、（音声）データを処理する方法、その方法を実装するソフトウェア（プログラム）、及びそれらを含むシステムである。前記方法は、音声発話の開始部の統計値を取得するステップであって、前記開始部が前記発話にて発声される最初の母音の発生に基づいて決定される複数のスピーチフレームを含むステップと、前記統計値に基づいた特性正規化パラメータ、及び前記統計値と該正規化パラメータに関連して統計的に導かれる複数のマッピング情報の中から選択して使用するようマッピング情報を推定するステップと、を含む。

本発明の側面は以下の特徴の１つ以上を含む。

取得された統計値には、音声発話部分のエネルギー標準を含む。

エネルギー標準はエネルギー極値を含む。

また、前記方法は、対応する前記各特性正規化パラメータに関連する複数の発声を受け付けるステップを含む。複数の各音声発話から統計値を取得し、統計的に導かれるマッピング（情報）は、前記統計値及び前記複数の音声発話に対応する前記特性正規化パラメータに基づいて形成される。前記複数の音声発話は、各音声発話の開始部や全体部を含む。

統計的に導かれるマッピング（情報）の形成とは、統計（線形）回帰を使用して形成を含む。

複数の各音声発話に対応する前記特性正規化パラメータは、前記複数の発声時間における平均値と分散値を含む。

本発明の側面は以下の利点の１つ以上を含む。

通信チャンネル特性の確実な推定に使用される発話量が減少するので、チャンネル推定と正規化の処理に関連するシステムの遅延は減少する。スピーチセグメントと非スピーチセグメントの明白な識別をせず、雑音の多い発話に対して自動音声認識の信頼性を改善する。

本発明の上記に記述した以外の特徴、及び利点は以下の説明、及び本願請求項から明らかとなる。

自動音声認識チャンネルを正規化する処理システム（ソフトウェアプログラム）は、正規化パラメータを生成するオフライン処理とオンライン処理を含む。システムは、通信チャンネル特性の観測を利用するために構成される。例えば、発話者、及び室内、マイクロホン、及び環境騒音を含む通信チャンネル（特性）において以下の観測をすることができる。

長時間の発話者のスペクトルは、主に２つのパラメータで特徴付けることができる。それらは全体的なラウドネス、及び全体的なスペクトルのスロープを示すスペクトルの傾きである。スペクトルの傾きとは、各ピッチ周期において、声門が開かれている時間と声門が閉じている時間の比率である。この比率は異なる発話者と発話者の声の出し方（正常、絶叫）の関係でわずかに変化するが、スペクトルの傾きは一般的に−１２ｄＢ／オクターブである。ケプストラム（ｃｅｐｓｔｒａｌ）領域では、全体的なラウドネスは０次ケプストラム（ｃｅｐｓｔｒａｌ）係数により取得され、スペクトルの傾きは１次ケプストラム（ｃｅｐｓｔｒａｌ）係数より取得される。高次のケプストラム（ｃｅｐｓｔｒａｌ）係数は、長時間のスペクトルにおいてはゼロ近傍であり、それは長時間のスペクトルが周波数領域において滑らかな形を示すためである。

室内の伝達関数はリバーブとエコーのため強いピークとノッチを示す。ケプストラム（ｃｅｐｓｔｒａｌ）領域において、これらの周波数間の変化は主に、音声認識システムで使用されるケプストラム（ｃｅｐｓｔｒａｌ）係数より高次のケプストラム（ｃｅｐｓｔｒａｌ）係数に影響する。これらの変化分は別として、発話者とマイクロホンの間の距離と方向によって、主に全体的なラウドネスが減衰し、第０次のケプストラム（ｃｅｐｓｔｒａｌ）係数に影響する。

マイクロホンと音声回路からオーディオ信号上の帯域濾波の様々な種類の特性が得られる。一般に、対応する周波数特性は全ての次数のケプストラム（ｃｅｐｓｔｒａｌ）係数に影響する。

スピーチセグメントにおいて、環境雑音は全次数のケプストラム（ｃｅｐｓｔｒａｌ）係数分散を減少させる。この減少は、信号対ノイズ比の減少によって強まる。

処理システム（ソフトウェアプログラム）の多くの特性は以下の観測に基づく。

μ［０］の信頼性のある推定は、少なくとも複数のスピーチセグメント（例えば、スピーチフレームであり、ここで“フレーム”は有限の時間ウィンドウにおいて取得される発話信号Ｖ_ｓ［ｔ］に由来する時刻ｔにおけるケプストラム（ｃｅｐｓｔｒａｌ）係数ｃｅｐ［ｉ，ｔ］の値）を含む。それは、発話者のラウドネス、及び発話者及び／又はマイクロホンの位置に依存しているからである。チャンネル平均μの高次係数は主にマイクロホンと音声回路に依存し、その結果、必ずしもスピーチフレームである必要のないフレームから推定される。チャンネル分散はＳＮ比に依存する。非スピーチフレームから雑音レベルを単独で推定することができるが、信号レベルの推定は少なくとも複数のスピーチフレームによって行なわれる。

図１を参照すると、自動音声認識チャンネルを正規化する処理システム（ソフトウェアプログラム）１０は、通信チャンネル１２のケプストラム（ｃｅｐｓｔｒａｌ）の平均値と分散値を、いくつかのスピーチフレームに基づいて高速に集める初期処理モジュール１４からのデータを入力パラメータとする機能マップを使用し、マッピングモジュール２０によって推定する。特に、以下の線形マップは明らかに発話開始の時間を検出する必要性を排除しながら、発話開始に高速に応じる。
μ［ｉ，ｔ］＝ａ_０（Ｓ［ｔ］−Ｎ［ｔ］）＋ｂ_０＋Ｎ［ｔ］ （ｉ＝０）
μ［ｉ，ｔ］＝ＣＥＰ［ｉ，ｔ］ （０＜ｉ＜Ｋ）
μ［ｉ，ｔ］＝０ （Ｋ≦ｉ＜３Ｋ）
σ［ｉ，ｔ］＝ａ_ｉ＋１（Ｓ［ｔ］−Ｎ［ｔ］）＋ｂ_ｉ＋１ （０≦ｉ＜３Ｋ）

ここで、ａ_ｉ及びｂ_ｉは機能マップの重み付け係数である。Ｓ［ｔ］及びＮ［ｔ］は、それぞれ信号レベルと雑音レベルの推定値である。ケプストラム（ｃｅｐｓｔｒａｌ）係数ＣＥＰ［ｉ，ｔ］はケプストラム（ｃｅｐｓｔｒａｌ）係数の全体の時間におけるｃｅｐ［ｉ，ｔ］の平均値である。

初期処理モジュール１４は、全体の時間におけるフレームエネルギーｃｅｐ［０］の極値を探して、オンラインで信号レベルと雑音レベルを推定する。
Ｓ［ｔ］＝ｍａｘ｛ｃｅｐ［０，τ］｝ （０≦τ≦ｔの範囲）
Ｎ［ｔ］＝ｍｉｎ｛ｃｅｐ［０，τ］｝ （０≦τ≦ｔの範囲）

また、ＳとＮの推定には、ｃｅｐ［０，τ］の百分位数（例えば、ｃｅｐ［０，τ］の第８０分位数及び第２０分位数の各々）を用いた他の方法を使用することができる。

初期処理モジュール１４は、ケプストラム（ｃｅｐｓｔｒａｌ）係数ｃｅｐ［ｉ，ｔ］の平均値を、得られた全フレーム値を平均することで、オンラインで推定する。
ＣＥＰ［ｉ，ｔ］＝Σｃｅｐ［ｉ，τ］／（ｔ＋１） （０≦τ≦ｔ）

あるいは、再帰法を使用してもよい。

線形重み付け係数ａ_ｉ及びｂ_ｉは、先のオフライン処理の間、様々な音響装置で記録された、様々な音響環境における多数の発話者の発声Ｖ_１［ｔ］、…、Ｖ_ｎ［ｔ］を含む発話データベース１６を使用して決定される。マッピングモジュール２０の対応する「入力パターン」と「出力パターン」に基づいて、線形回帰モジュール１８で実行された線形回帰を使用して重み付け係数が決定される。「入力パターン」として、システム１０は各音声発話後に得られる信号と雑音レベルを使用し、ここで、各音声発話は区別される。システム１０は各音声発話（例えば、発声の開始部、又は全体部）に基づいて、それらの信号レベルと雑音レベルを測定する。「出力パターン」として、システム１０は、標準式を使用して得られるセッション全てのスピーチフレームに基づくチャンネルの平均値及び分散値を利用する。
μ［ｉ］＝Σｃｅｐ［ｉ，τ］／（ｔ＋１） （０≦τ≦ｔ）
σ^２［ｉ］＝Σ（ｃｅｐ［ｉ，τ］−μ［ｉ］）^２／（ｔ＋１） （０≦τ≦ｔ）
ここで、セッションは、通信チャンネル１２が不変であるとみなす全ての発声を含む。このステップで使用される発話と沈黙の識別は、線形重み付け係数がデータのグローバル傾向をモデル化するだけなので重要とならない。

システム１０によって使用されるチャンネル推定法によって、少ない数のスピーチフレームでも十分に機能する理由は、主にオーディオ信号の２つの特性の推定値に依存するからである。これらの特性とは、エネルギーの最小値と最大値である。一般的にエネルギーの最終最小値に近い値は、最初のいくつかのフレーム、つまり、発声が始まる前において得られる。エネルギーの最終最大値に近い値は、音声的な意味にかかわらず、発話の最初の母音において測定される。

発声が始まる前において、提案されるチャンネル推定法によって信号対ノイズ比（ＳＮＲ）をＳＮＲ＝Ｓ−Ｎと過小評価する。したがって、ＳＮＲの推定値が、システム１０がうまく動作すると期待する最も騒々しい音響環境のＳＮＲ値となるときに、より正確な結果が得られる。また、ＳＮＲの推定、及びチャンネルの正規化の２つの処理において発生する遅延が１００〜２００ミリ秒と小さい場合に、改良されたチャンネル推定法は、発声の最初の母音に先行する数少ないスピーチフレームに対して適用される。

本願明細書に、（チャンネルを）正規化するソフトウェア（プログラムコード）が添付される。

他の実施例は、本願請求項の範囲に含まれる。

＜付録＞

自動音声認識チャンネルを正規化する処理システム（ソフトウェアプログラム）のブロック図である。

符号の説明

１２ 通信チャンネル
１４ 初期処理モジュール
１６ 発話データベース
１８ 線形回帰モジュール
２０ マッピングモジュール

Claims (18)

1. 自動音声認識チャンネルを正規化する方法であって、
   音声発話の開始部の統計値を取得するステップであって、前記開始部が前記発話にて発声される最初の母音の発生に基づいて決定される複数のスピーチフレームを含むステップと、
   前記統計値に基づいた特性正規化パラメータ、及び、前記統計値と該正規化パラメータに関連して統計的に導かれる複数のマッピング情報の中から選択して使用するようマッピング情報を推定するステップと、を含む方法。
2. 前記統計値を取得するステップは、前記音声発話の開始部のエネルギー値を測定するステップを含む請求項１記載の方法。
3. 前記エネルギー値を測定するステップは、エネルギー極値を測定するステップを含む請求項２記載の方法。
4. 対応する前記各特性正規化パラメータに関連する複数の前記音声発話を受け付けるステップと、
   複数の前記音声発話の統計値を取得するステップと、
   前記統計値及び複数の前記音声発話に対応する前記特性正規化パラメータに基づいて前記統計的に導かれるマッピング情報を形成するステップと、をさらに含む請求項１記載の方法。
5. 複数の前記各音声発話は、前記各音声発話の開始部を含む請求項４記載の方法。
6. 複数の前記各音声発話は、前記各音声発話の全体部を含む請求項４記載の方法。
7. 前記統計的に導かれるマッピングを形成するステップは、線形回帰を使用して形成するステップを含む請求項４記載の方法。
8. 複数の前記音声発話に対応する前記特性正規化パラメータは、複数の前記音声発話時間における平均値と分散値を含む請求項４記載の方法。
9. 自動音声認識チャンネルを正規化する処理システムであって、
   初期処理モジュール、及びマッピングモジュールを備え、
   前記初期処理モジュールにより、音声発話の開始部の統計値を取得し、前記開始部が前記発話にて発声される最初の母音の発生に基づいて決定される複数のスピーチフレームを含み、
   前記マッピングモジュールにより、前記統計値に基づいた特性正規化パラメータ、及び前記統計値と該特性正規化パラメータに関連して統計的に導かれる複数のマッピング情報の中から選択して使用するようマッピング情報を推定することで、自動音声認識チャンネルを正規化する処理システム。
10. 前記初期処理モジュールにより、前記音声発話の開始部のエネルギー値を測定する請求項９記載の処理システム。
11. 線形回帰モジュールをさらに備え、
    前記線形回帰モジュールにより、対応する前記各特性正規化パラメータに関連する複数の音声発話を受け付け、
    複数の前記各音声発話の統計値を取得し、
    前記統計値及び複数の前記音声発話に対応する前記特性正規化パラメータに基づいて前記統計的に導かれるマッピング情報を形成する請求項９記載の処理システム。
12. 複数の前記各音声発話は、前記各音声発話の開始部を含む請求項１１記載の処理システム。
13. 複数の前記各音声発話は、各音声発話の全体部を含む請求項１１記載の処理システム。
14. コンピュータに、
    音声発話の開始部の統計値を取得するステップであって、前記開始部が前記発話にて発声される最初の母音の発生に基づいて決定される複数のスピーチフレームを含むステップと、
    前記統計値に基づいた特性正規化パラメータ、及び前記統計値と該特性正規化パラメータに関連して統計的に導かれる複数のマッピング情報の中から選択して使用するようマッピング情報を推定するステップと、
    を実行させるためのプログラム。
15. 前記統計値を取得するステップは、音声発話の開始部のエネルギー値を測定するステップを含む請求項１４記載のプログラム。
16. 対応する前記各特性正規化パラメータに関連する複数の音声発話を受け付けるステップと、
    複数の前記音声発話の統計値を取得するステップと、
    前記統計値及び複数の前記音声発話に対応する前記特性正規化パラメータに基づいて前記統計的に導かれるマッピングを形成するステップと、をさらに含む請求項１４記載のプログラム。
17. 複数の前記各音声発話は、前記各音声発話の開始部を含む請求項１６記載のプログラム。
18. 複数の前記各音声発話は、前記各音声発話の全体部を含む請求項１６記載のプログラム。

Images