JPH08508107A - 話者認識のための方法および装置 - Google Patents

Abstract

(57)【要約】 各々が複数の周波数帯域での短期スペクトル量を示す複数の係数からなる一連の係数セットにより構成される複数の特徴データを音声信号に応答して発生する手段（２１０，２２０，２３０）と、前記特徴データを所定の話者参照データ比較し、この比較に依存して対応する話書の認識を示す手段（２６０）とにより構成され、前記周波数帯域は周波数軸に沿って不均一に間隔が取られ、前記係数の少なくとも１つの長期平均スペクトル量を抽出し、前記長期平均によって前記少なくとも１つを正規化する手段によって特徴づけられる話者認識装置。

Description

【発明の詳細な説明】 話者認識のための方法および装置 本発明は音声処理に関し、特に、話者認識のための処理に関する。認識処理に は、話者の身元の検出または検証を行う話者の認識、および特定の単語（または 場合によっては句または音素、あるいは他の話される要素）を検出する音声認識 がある。音声認識には、いわゆる複数の話者から得られた音声データが認識処理 に使用される話者独立認識、および一人の話者から得られた音声データが認識処 理に使用される話者依存認識がある。一般的には、音声認識においては、処理は 、さまざまな話者により話された単語の影響を削減することを目的とするのに対 し、話者認識ではその反対のことが当てはまる。 認識処理においては、代表的にはデジタル形態で音声データをいわゆるフロン トエンドプロセッサに入力することが共通している。フロントエンドプロセッサ は入力音声データ系列から最もコンパクトで、最も知覚的に重要であり、フロン トエンド特徴セットまたはベクトルと参照されるデータセットを取り出す。例え ば、音声は、通常、マイクを通して入力され、サンプリングされ、デジタル化さ れ、１０−２０ｍｓの長さのフレームにセグメント化され（例えば８ＫＨｚでサ ンプリングされる）、フレーム毎に１セットのＫ係数（通常は、ｉ−２５）が計 算される。１単語あたりＮ個のフレーム、例えば２５−１００個が存在するので 、１個の特徴ベクトルにはＮＸＫ（約１，０００）の係数が存在する。話者認識 においては、一般的には、認識対象の話者は、認識装置および話者に既知の、所 定の単語（例えば、バンキングの個人識別番号）を話していると想定される。テ ンプレートとして知られる単語の記憶された表記は、本人であることが分かって いる話者から以前に得られたその単語の参照特徴マトリックスを構成する。認識 対象の話者から得られる入力特徴マトリックスがこのテンプレートと比較され、 この２つの間の類似性の度合が許諾決定のためしきい値と比較される。 話者の単語を話す速度が変化するという傾向から問題が生じるため、ある指定 された単語に対応する入力音声マトリックスが、その単語のテンプレートに比較 して長い（つまり、構成されるフレームの数が多い）または短い場合がある。し たがって、認識装置が、比較を実施する前に２つのマトリックスの時間調整を行 うことが必要となり、時間調整および比較の１つの有名な方法が、例えば、ラビ ナー（Ｒａｂｉｎｅｒ）その他による「クラスタ化技法を用いた単語の話者独立 認識」、ＡＳＳＰのＩＥＥＥＴｒａｎｓ．第２４巻、第４号、１９７９年８月に 記述されるダイナミックタイムワープ（ＤＴＷ）法である。 認識処理には、さまざまな特徴が使用または提案されている。一般的には、音 声認識に使用される特徴は、話者を検知せずにある単語を別の単語から区別する ことを意図しているのに対し、話者認識のための特徴は１つまたは複数の単語に 関して話者を区別することを意図しているため、一方の種類の認識に適当な特徴 が、他方に不適当である場合がある。話者認識用のいくつかの特徴は、アタル（ Ａｔａｌ）による「話者のその声からの自動認識」Ｐｒｏｃ ＩＥＥＥ、第６４ 巻、４６０−４７５ページ、１９７６年４月に記述されている。 既知の形態の特徴係数はケプストラム（cepstrum）である。ケプストラ（ceps tra）は、スペクトル分解（例えば、フーリエ変換のようなスペクトル変換）を 実行し、変換係数の対数を取り、逆スペクトル分解を実行することにより形成さ れる。 話者認識においては、ＬＰＣ（線形予測係数）ケプストラムおよびＦＦＴ（高 速フーリエ変換）ケプストラムが既知であり、ＬＰＣケプストラムの方がより広 く採用されている。 音声認識において既知の特徴は、メル周波数ケプストラム係数（ＭＦＣＣ）で ある。ＭＦＣＣを計算するためのアルゴリズム、およびＭＦＣＣ特徴ベクトルと ダイナミックタイムワーブを使用したワード・テンプレートとの間の距離基準の 計算については、本明細書に（その参照も含めて）その全体が取り入れられる、 コレット（Chollet）およびギャクノウレ（Gagnoulet）による「参照システムを 使用する音声認識およびデータベースの評価について、」１９８２年ＩＥＥＥ音 響、音声および信号処理国際会議、２０２６−２０２９ページに記述されている 。 一般的には、ＭＦＣＣ特徴ベクトルは、音声信号の各フレームでスペクトル変 換（例えば、ＦＦＴ）を実行し、信号スペクトルを得て、スペクトルの限界点を 、不均等な、いわゆる「メル周波数」スケールで周波数軸に沿って分散される一 連の広帯域に積分し、各帯域の振幅の対数を取ってから、さらに変換（例えば、 距 離コサイン変換（ＤＣＴ））を実行し、そのフレームのＭＦＣＣ係数セットを作 り出すことにより得られる。有効情報は、一般的にはより低位の係数に制限され ることが分かっている。メル周波数スケールは、例えば、０−１Ｋｈｚの間の線 形周波数スケールで均等に間隔を取り、１ＫＨｚを超える対数周波数スケールで 均等に間隔を取る周波数帯域を使用できる。 ＭＦＣＣは、話者間で異なるために音声認識には有効であるが、話者認識には 望ましくないピッチ情報を排除する。したがって、ＭＦＣＣは、話者認識には望 ましくない。 Ｓ．フルイ（Ｓ．Ｆｕｒｕｉ）による「統計的な特徴および動的特徴による話 者認識」、電気通信実験室レビュー（Ｒｅｖｉｅｗ ｏｆ Ｅｌｅｃｔｒｉｃａ ｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｌａｂｏｒａｔｏｒｉｅs）、第３０巻、 第３号、４６７−４８２ページ、１９８２年は、４種類の話者認識法を記述、比 較している。スペクトル包絡線は、これらの内の２つの方法で、ログ・エリア定 量（log area rations）により表され、他の２つの方法では、ＬＰＣ−ケプスト ラム係数により表されている。ＬＰＣ−ケプストラム係数を使用した場合には、 係数は、数個の単語（例えば、最高７個）である可能性がある発話全体の期間で 平均化され、その平均値が、各フレームのケプストラム係数から差し引かれ、伝 送システムにより生じる周波数−応答歪みを補正する。その後で、正規化された ケプストラム係数の時間関数が、１０ｍｓごとに９０ｍｓの間隔で直交多項式表 示（orthogonal polynomial representation）により拡張される。多項式処理に より、各セグメントの各ケプスト・ラム係数の平均値、勾配および曲率に対応す る多項式表示が生じる。ケプストラム係数の元の時間関数が、第一次および第二 次多項式係数とともに、第零次多項式係数の代わりに使用されるため、各発話は 、３０次元ベクトルの時間回数により表記される。これらの３０個の要素から、 （拡張トレーニング／登録段階の間に決定される）顧客および詐欺サンプル発話 の全体的な距離分布を拡張するために、１８個の要素のセットが選択される。代 替処理装置では、ＬＰＣ分析の後に、とりわけフーリエ・コサイン拡大係数の作 成を含む統計特徴抽出プロセスが続く。この代替処理を使用すると、最終的な特 徴のセットは、６０個の選択された要素で構成される。ＬＰＣケプストラム係数 および基 本周波数の時間関数から抽出されるフーリエ係数を含む統計特徴を使用したこの 後者の処理装置（「方法２」）は、使用された特定のトレーニングおよび詐欺用 のデータで９９．９の認識精度を出したと報告された。フルイは、結果は「ＬＰ Ｃケプストラム係数が、ログ・エリア定量よりはるかに効率的であることを示し ている」と結論づけている。フルイは、それ以外のケプストラムの使用について は教示していないし、入力音声を複数の所定周波数帯域にフィルタもしていない 。さらに、フルイは、特に関連する認識装置の母集団が非常に大きい場合に、非 常に大きな特徴セット（例えば、最高６０個の要素）を利用した場合 - 明らか に回避することが望ましいこと - の値を教示している。 「長距離電話回線での話者確認」ＩＣＡＳＳＰ８９、第１巻、１９８９年５月 ２３日において、Ｊ．Ｍ．ナイク（Ｊ．Ｍ．Ｎａｉｋ）その他は、テンプレート をベースにしたダイナミックタイムワープ（template-based Dynamic Time Warp ing）または隠されたマルコフ型モデル（Hidden Makkov Modelling）のどちらか を用いて、話者確認技法を比較する。ここでも、ＬＰＣ分析が実行され、特徴の 抽出元となった前処理済み情報を提供した。最初に、３２個のパラメータが、以 下に示すＬＰＣデータの各フレームから計算された。 ＊ｄＢ単位の音声レベル推定値 ＊ｄＢ単位のＲＭＳフレーム・エネルギー ＊スペクトル変化率のスカラー基準 ＊ｄＢ単位の１４フィルターバンク振幅（filter-bank magnitudes） - メル間隔のシミュレーション済みフィルタ・バンク - フレーム・エネルギーにより正規化済み ＊４０ｍｓを超えるフレーム・エネルギーの時間差異 ＊４０ｍｓの間の１４フィルタ・バンク振幅の時間差異 １つのテンプレートとして使用するための１８個の特徴のセットを作り出すた めに、参照テンプレートとテスト・テンプレートの比較に使用される音声特徴が 、これらの３２個のパラメータの線形変換により得られた。メル間隔が取られた フィルタ・バンクの使用には説明や理山は示されておらず、ＬＰＣ以外の形式の ケプストラムの使用も絶対的に示唆されていない。 本発明は、改善されたフロントエンド特徴を用いて、話者認識のための方法お よび装置を提供することを目的とする。 したがって、本発明は、その内の少なくとも１つが任意の時間間隔でその平均 レベルにより正規化される複数のスペクトル振幅係数を構成する認識特徴を得る ために、音声信号を処理する話者認識のための方法および装置を提供する。 正規化は、音声信号が通過する電気通信回線による音声信号の長期フィルタ化 の効果を削減する役割を果たす。 例えば、係数は、メル周波数スケール上で分散できる。この場合には、係数を メル周波数ケプストラム係数とすることができる。正規化は、各係数値の長期算 術平均値を形成し、これを各係数値から差し引くことにより簡便に実行される。 係数は対数であるため、減算は、各メル周波数帯域内のソース信号の幾何平均に よる除算に相当する。 メル周波数ケプストラム係数が、このようにして正規化された場合、比較的少 ない係数だけを使用して、信頼性ある特徴セットとなり、さらに、話者と認識装 置間の伝送チャネルが大幅に削減されるため、その使用が特に電気通信の応用例 に適していることが分かっている。 本発明のそれ以外の点および実施例には、これ以降明かになる優位点があり、 本明細書に開示され、請求される通りである。 本発明は、以下の記述および図を参照し、例によってのみ記述される。 図１は、電気通信環境での本発明に従った認識プロセッサの利用の概要図であ る。 図２は、本発明の実施例に従った認識プロセッサの機能要素を図式により示す ブロック図である。 図３は、図２の部分を形成するＭＦＣＣ生成プログラムの動作を図式で示すフ ロー図である。 図４は、図３のプロセスの部分を図解する周波数領域内の説明図である。 図５は、図２の部分を形成する終了点検出器の動作を詳細に示すフロー図であ る。 図６は、図５のプロセスを図解するための時間に比較した振幅の説明図である 。 図７は、実施例の図２の部分を形成する正規化プロセッサの動作を図式で示す フロー図である。 図８ａは、話者確認の実施例での図２の部分を形成する比較プロセッサの動作 を図解するフロー図である。 図８ｂは、話者識別の実施例での図２の部分を形成する比較プロセッサの動作 を図解するフロー図である。 図９は、図７の実施例の代わりの実施例で図２の部分を形成する正規化プロセ ッサの動作を示すフロー図である。 図１０ａは、２つの異なった電気通信回線の時間に比較したＭＦＣＣ係数値の 図解プロットである。 図１０ｂは、図７の実施例に従って正規化された係数の対応するプロットであ る。 最適実施例 図１を参照すると、話者認識を含む電気通信システムは、通常は電話受話器の パーツとなる１本のマイク１、電気通信網（通常はアナログ式公衆交換電話網） ２、ネットワーク２からの音声信号を受信するために接続される認識プロセッサ ３、および認識プロセッサ３に接続され、そこから、特定の話者の認識またはそ の反対を示す音声認識信号を受け、それに応答する処置を行うため配置された活 用装置４により構成される。例えば、活用装置４を、銀行業務のトランザクショ ンを実行するための遠隔操作式銀行業務用端末とすることができる。 多くの場合、活用装置４は、話者に対して、ネットワーク２を介して、通常は 加入者受話器の一部となるスピーカ５に伝送される可聴応答を生成する。 動作時には、話者は、マイク１に向かって話し、アナログ音声信号がマイク１ からネットワーク２の中に、認識プロセッサ３まで伝送され、そこで音声信号は 解析され、特定の話者の識別またはそうでないことを示す信号が生成され、活用 装置４に伝送され、活用装置はそれから話者を認識した場合に適切な処置を行う 。 通常、認識プロセッサは、音声信号を確認するために比較する話者の身元に関 するデータを得る必要があり、このデータを得るためには、認識プロセッサが活 用装置４に接続されていないが、その話者の認識データを形成するためにマイク １から音声信号を受信する動作の第２モードにある認識プロセッサにより実行で きる。ただし、話者認識データ獲得のそれ以外の方法も考えられる。例えば、話 者認識データは、話者によって携帯され、カードリーダに挿入可能なカードに保 持されてもよい。音声信号を伝送する前に、カードからデータが読み出され、Ｐ ＳＴＮを介して認識プロセッサに伝送される。 通常、認識プロセッサ３は、マイク１からネットワーク２まで、またはネット ワーク２を通って、信号が取る経路を知らない。例えば、マイク１が、移動アナ ログ式無線リンクまたは移動デジタル式無線リンクを通してネットワーク２に接 続されたり、別の国または広範囲に渡る種類および品質の受話器から発生するこ とがある。同様にして、ネットワーク２の中で、無線リンク、アナログ経路およ びデジタル経路などを含む、非常に多様な伝送経路の内の１つが取られることも ある。したがって、認識プロセッサ３に到達する音声信号Ｙは、マイク１で受信 される音声信号Ｓに対応し、マイク１、ネットワーク２へのリンク、ネットワー ク２を通るチャネル、および認識プロセッサ３へのリンクの転送特性で巻き込ま れる。これら転送特性は単一の転送特性Ｈにより統括され、指定されてもよい。 認識プロセッサ３ 図２には、実施例に従った認識装置の機能要素を図示する。高エンファシス・ フィルタ２１０が、８ビットの数のシーケンスとして、例えば８ＫＨｚのサンプ リング速度で、デジタル化された音声波形を受信し、（１−０．９５ｚ・１フィ ルタを実行するなどして）高エンファシス・フィルタ化プロセスを実行し、さら に高い周波数の振幅を増加させる。音声フレーム生成プログラム２２０は、フィ ルタ化された信号を受信し、連続するサンプルのフレームのシーケンスを形成す る。例えば、フレームは、それぞれ２５６個の隣接するサンプルを構成し、１６ ｍｓごとに１という割合で長さ３２ｍｓのフレームを与えるために、各フレーム は後続フレームと先行フレームに５０％重なる。例えば、１６ｍｓの差動遅延の あるフレーム・バッファ２２１、２２２のペアが、平行に広げられ、１つ置きに 読み出される。 各フレームの始まりと終わりでの不連続点が原因のスプリアス周波数のアーチ ファクトを排除するために、各フレームが、（周知のように）各ウィンドウのエ ッジに向かってサンプルを縮小するハミング・ウィンドウ・プロセッサ２２３を 通して渡される。 それから、２５６個のウィンドウ化されたサンプルの各フレームが、ＭＦＣＣ 生成プログラム２３０により処理され、ＭＦＣＣ係数のセット（例えば、８個の 係数）を抽出する。同時に、ウィンドウ化されたフレームのそれぞれは、音声発 話の始まりと終わりを検出し、音声／非音声制御信号を、係数記憶装置２５１お よび正規化プロセッサ２５２でなる正規化器２５０に供給するエンドポインタ２ ４０に供給される。エンドポインタ２４０からの「音声開始」信号を受信してか ら、正規化器２５０は、「音声信号の終わり」がエンドポインタ２４０から受信 されるまで、正規化器係数記憶装置２５１内に各連続フレームの８個の係数のい くつかまたはすべてを記憶する。この時点で、正規化プロセッサ２５２は、記憶 装置２５１内の音声フレーム毎の記憶係数から、８個の係数の各々につき算術平 均係数値を計算する。それから、各係数の算術平均係数値がフレーム毎の対応記 憶係数値から差し引かれ、８×Ｎ個の係数を構成する正規化マトリックスを実現 する（この場合、Ｎは、話された発話の開始点と終了点の間のフレーム数である ）。 この正規化係数マトリックスが、話者テンプレート２７０から指定された話者 に結び付いた、対応するマトリックスを読み取り、２つの比較を行い、正規化音 声ベクトルと話者テンプレートの間の類似度に応じて、話者テンプレート記憶装 置２７０から認識／非認識出力信号を生成する比較プロセッサ２６０に供給され る。 高エンファシス・フィルタ２１０、ウィンドウ・プロセッサ２２３、ＭＦＣＣ 生成プログラム２３０、エンドポインタ２４０、正規化プロセッサ２５２、およ び比較プロセッサ２６０は、１以上のデジタル信号プロセッサ（ＤＳＰ）装置ま たは／およびマイクロプロセッサにより構成されてもよい。マイクロプロセッサ は適当にプログラムされ、そこに接続される読書き記憶装置内に設けられるフレ ーム・バッファ２２１、２２２、係数記憶装置２５１、および話者テンプレート 記憶装置２７０を備えている。 ＭＦＣＣ生成 図３を参照すると、ＭＦＣＣ生成プログラム２３０により実行されるプロセス は、ステップ４０１で２５６個の変換係数を実現するために、各フレームでフー リエ変換を実行し、ステップ４０２で１２８個の係数べきスペクトルを実現する ために、各周波数での実数構成要素と虚数構成要素の平方を合計することにより 、フーリエ係数から音声信号のパワースペクトルを形成し、図４を参照して以下 に述するようにステップ４０３でパワースペクトルを１９個の周波数帯域につい て積分し、ステップ４０４で１９個の係数の各々の（例えば、基数１０に対する ）対数を求め、ステップ４０５で１９個の対数値で離散コサイン変換を行ない、 ステップ４０６で下位８個の係数を選択することから成る。 離散コサイン変換は周知であり、例えば、前記に参照したコレットおよびギャ グノウレの論文に記述されている。簡略すると、Ｎ番目のＭmのコサイン構成要 素は、以下により指定される。 この場合、Ｎは離散周波数帯域数（この場合には、２０で、周波数領域回転が２ ０番目の点を得るために適用されている）であり、Ａ（ｎ）はｍ番目の周波数帯 域の振幅である。ＤＣＴの効果は、係数Ａ（ｎ）をかなりの程度まで相関としな い。 図４を参照すると、図４ａは、概念上、ステップ４０２で作成されたパワース ペクトルの一部を示す。図４ｂは、周波数軸に沿ったメル周波数の三角形の積分 ウィンドウの対応する部分を示す。三角形のウィンドウは、そのそれぞれが０− １ＫＨｚの間で隣のウィンドウと５０％重なる、周波数軸に沿って線状に間隔が 取られた１０個のウィンドウ、および三角形で１ＫＨｚ以上の対数周波数スケー ル上で５０％重なるさらに１０個のウィンドウを有する。 図４ｃは、三角形のウィンドウの１つの対応する期間で、パワースペクトル内 の各サンプルを点単位で乗算する効果を図示している。明確化のために、偶数の ウィンドウだけが図示されている。 次に、図４ｃのウィンドウ化された値は各ウィンドウを横切って積分され、図 ４ｄに示されるように、そのウィンドウに対応する１個の合計係数を実現する。 このようにして作り出された１９個の係数（ゼロ周波数係数Ｍ0は無視されて いる）は、パワーに対応しており、このパワーは対応するセットの帯域通過フィ ルタの各々の出力で発生され、１ＫＨｚ以下のフィルタは、均等に広い等しい帯 域幅を有し、１ＫＨｚ以上のフィルタは対数周波数スケールで等しく均等に広が る帯域幅を有する。 エンドポイント処理 ここでは、図５と６を参照し、図２のエンドポインタ２４０の動作を、さらに 詳細に説明する。 エンドポインタ２４０は、最初に、各フレーム内の信号値を２乗し、加算し、 フレームのパワー、即ちエネルギの測定値Ｐを求める。 Ｐの値は、ときおりノイズ信号により妨害されるかもしれない比較的低いレベ ルに設定されている第１しきい値ＰLに対してテストされる。フレームがこの低 しきい値ＰLを上回るパワーレベルを持つまで処理は行なわれない。低しきい値 ＰLを超えるフレームでは、そのフレームに割り当てられる数を示すフラグが記 憶される（図５の変数”ＳＴＡＲＴ”として示される）。 フレーム内のパワーＰ値が、音声の存在に対応し、適当なノイズ・レベルを超 えたレベルにある高しきい値ＰHを超えると、音声が存在すると見なされる。音 声の開始点として解釈される点とは、信号が低しきい値ＰLを超えたその点（” ＳＴＡＲＴ”）の前にある所定数（”ＬＥＡＤ”）のフレームから成るフレーム である。このようにして、音声は、信号レベルが高しきい値を超えるときにのみ 存在すると確認されるが、発話の開始は失われない。したがって、このようにし て開始点として計算されるフレーム数は、正規化器２５０を制御するためにエン ドポインタ２４０により出力される。 音声信号のレベルが所定時間Ｔmaxより長い間２つのしきい値の間にとどまる と、値”ＳＴＡＲＴ”がクリアされる。 フレーム・エネルギーが高しきい値ＰHから、低しきい値ＰL以下に低下すると 、 エンドポインタ２４０は、「オーバハング」時間Ｔohと呼ぶ所定のフレーム数の 間待機する。レベルが、オーバハング時間内に再び低しきい値ＰＬを超えると、 音声は依然として存在すると見なされる。一旦、信号のパワーレベルが、Ｔohフ レーム以上に対して、低しきい値ＰL以下に低下してしまうと、発話は終了した と見なされ、エンドポインタは、フレームTohの数（つまり、信号がしきい値ＰL で最後だった点）以下の原フレーム数と“ＬＡＧ”と称する所定数のフレームと の加算値に対応する終点フレーム番号を出力する。 正規化 図７を参照して、ここで正規化器２５０により実行される正規化プロセスを詳 細に説明する。 フレーム当たり８個のＭＦＣＣ係数から成るフレームは、係数バッファ２５１ に連続して記憶される。エンドポインタ２４０は、発話の終端を検出してから、 正規化器２５０に開始フレーム番号と終了フレーム番号の信号を送る。その後で 、正規化プロセッサ２５２が、８個の係数の各々毎に、開始フレームと終了フレ ームの間のすべてのフレームに対して記憶装置からその係数の値を再呼び出しし 、係数値を加算し、開始フレームと終了フレームの間のフレーム数をＮで除算す ることにより、算術平均を求める。これにより、８個の平均値Ｍｉ（ｉ＝１から ８）のセットが得られる。 次に、各フレームの係数ごとに、正規化プロセッサ２５２が、各係数値Ｍikか ら対応する平均値Ｍiを減算することにより、正規化係数値Ｇi.k（この場合、Ｋ はフレーム数である）が計算される。 それから、正規化ベクトルＧikを構成する８×Ｎ個の係数のセットが、正規化 プロセッサ２５２により出力される。 比較処理 比較プロセッサ２６０の動作は従来の動作であるため、その詳細な説明は不必 要である。図８ａは、話者確認での比較プロセッサの動作を図により示している 。本質的には、比較プロセッサは、正規化ＭＦＣＣを構成する特徴ベクトルＧを 読み取り、係数の対応する参照ベクトルを読み取り、周知のダイナミックタイム ワープ・アルゴリズムなどを使って２つのベクトル間の比較を実行し、２つのベ ク トルを（前記コレットおよびギャグノウレの論文で指定されるアルゴリズムなど を使用して）時間調整し、２つのベクトル間の差異を示すスカラー距離基準を作 成し、しきい値に対して距離基準Ｄをテストする。距離Ｄがしきい値を下回る場 合には、話者は、記憶されているテンプレートに対応するとして受け入れられる 。下回らない場合には、話者は拒絶される。図８ｂは、話者識別における比較プ ロセッサ２６０の対応する動作を示す。この場合、複数の異なったベクトルＴが 連続してテンプレート記憶装置２７０から読み取られ、音声ベクトルＧが、代わ りにそれぞれと比較され、対応するメートル法距離Ｄiを求める。そうすると、 話者は、音声ベクトルが（つまり、最少メートルＤiとする）下位値とは異なる テンプレートに対応すると識別される。 代替実施例 前述の実施例では、図７に関連して説明したように、正規化器２５０は、Ｎ（ 開始点と終了点の間のフレーム数）、係数値ＭTOTの合計、従って各係数の平均 値、およびひいては各係数の正規化された値を計算する前に、発話の開始点と終 了点の両方を知っている必要がある。従って、正規化器２５０は、エンドポイン タ２４０により終了点が検出されるまで待たなければならず、それ以降の認識処 理は、発話の最後まで遅延される。多くのアプリケーションにおいて、および高 速ハードウェアを使用する場合、この遅延により困難は生じない可能性がある。 しかしながら、それ以外のアプリケーションでは、発話の終了前に正規化を開始 するのが望ましい。 従って、第１の代替実施例においては、各係数の算術平均値を減算することに より係数の正規化を行う代わりに、係数は、定期的に（例えば、フレーム単位で ）更新される移動平均を減算することにより、正規化される。 従って、図９を参照すると、この実施例では、エンドポインタ２４０が発話の 開始を合図してから、正規化プロセッサ２５２が、係数毎に、その係数Ｍiの現 平均値を読み出し、これをＭＦＣＣ係数の値Ｍiから減算し、正規化された係数 Ｇiを求め、フレーム・カウンタＮを増加し、係数値Ｍiを現在の合計値ＭTOTに 加算し、その合計をフレーム・カウンタＮで除算し、その結果は係数平均値Ｍi の新しい値として記憶される。従って、フレームごとの正規化された係数値Ｇは 、ただ ちに解除し得る。 この種の移動平均は、初期に「平均」値がサンプルの代表数から求められない ため、実施例をわずかに下回る程度に実行するだろうと予測されている。ただし 、正規化されていない係数と比較した場合に、それでも性能の改善がある程度期 待されている。当然、（過去のサンプルの移動ウィンドウを使用するか、あらゆ るフレームほど頻繁ではなく更新して）移動平均値を計算する他の方法は、等し く可能である。この種の実施例では、係数記憶装置２５１は、使用しなくても済 む。 前述の実施例においては、単独の連続発話（つまり、１個の単語）でのエンド ポイント処理および正規化について説明した。複数の別個の単語に基づいた話者 識別を実行する必要がある場合には、前記実施例で記述されたプロセスが孤立し た連続単語のそれぞれに対して反復される。ただし、話者区別に有効な情報が、 互いに関連した各単語の係数値の相対レベルで発見されることがある。 従って、それ以降の実施例においては、正規化器５０により形成される長期平 均値Ｍiが、発話の全単語で形成される。本発明に従う第１の例では、これは、 単語が単独の発話として次々とすぐに続くかのように、各単語の開始点と終了点 の間の全フレームでの平均値を形成し、単語間の非音声フレームを無視すること により達成される。 同じ結果は、前記実施例での場合のように単語ごとに別個の平均を得てから、 すべての単語の重み付け平均を求めることができるように、その引き出し元であ る単語の各フレーム数により重みが加えられた各平均を加算して、その後で全単 語で得た重み付け平均で各単語の各係数を除算することにより、第２の例でも達 成される。 前記の２つの例では、個々の単語のそれぞれに対応する平均に加えられる重み は、話者が、単語を話す速度（話者の単語の話し方のスペクトル特性には関係な く、可変である）に従って変化する単語の長さに応じて変化する。 従って、代替実施例においては、長期平均は、以前のように孤立した各単語の 全体について平均を求めてから、個々の平均から重み付け平均を形成するが、過 去の例でのように単語の実際の期間ではなく、その単語を表すテンプレート記憶 装置内に記憶される対応するテンプレートの長さなどに対応して所定の重みを利 用することにより求められる。このようにして、単語が話される速度に対する依 存が削減される。 ある状況下において、エンドポインタ２４０を使用しないで済ませ、長期平均 を電話の通話期間全体で求めることは可能であるが、非音声の期間中、受信され た信号レベルが概して低すぎて通信回線のスペクトルの信頼できる表示を行うこ とができず、さらには、存在するノイズ・スペクトルから回線スペクトルを分離 するのが困難であるため、実際には、これは一般的に好まれない。 前記に記述される例では、電気通信交換機に連結するのに適した認識処理装置 を説明した。ただし、別の実施例では、本発明が、電話網に接続される従来の加 入者局に接続される単純な装置で実現される場合がある。この場合、アナログか らデジタルへの変換手段が、入信アナログ電話信号のデジタル化に用意される。 プログラマブルデジタル信号処理（ＤＳＰ）装置の使用法を参照しているが、 十分な速度で動作している従来の汎用マイクロプロセッサを利用することが可能 であることも等しく認識されるであろう。同様に、カスタム設計された大規模集 積（ＬＳＩ）論理回路を利用することもできる。 ＭＦＣＣを参照して本発明を説明してきたが、メル周波数スケールに近似して いるか、メル周波数スケールと異なっている、不均等な周波数スケール上のフィ ルタ・バンクを利用できる。周波数領域における積分に関して、三角形のウィン ドウについて前述したが、ウィンドウの他の形状も等しく利用できることが理解 されるであろう。ＭＦＣＣ値を計算するためのデジタル・プロセッサについて説 明したが、原則的には、図５ｂに図示される帯域に対応する、複数の帯域通過ア ナログ・フィルタまたは帯域通過デジタル・フィルタを代わりに提供し、各フィ ルタ・バンド内のべきをサンプリングすることは可能である。 本発明がＭＦＣＣへの適用で驚くほど優位であることが分かったが、他のフロ ントエンド特徴（ケプストラム特徴であることが望ましい）へのその適応は除外 されていない。 ダイナミックタイムワープ（ＤＴＷ）プロセスを使った比較プロセスについて 説明してきたが、本発明は、他の種類の比較処理を利用する認識にも等しく適用 できる。例えば、英国電気通信技術ジャーナル（Ｂｒｉｔｉｓｈ Ｔｅｌｅｃｏ ｍ Ｔｅｃｈｎｏｌｏｇｙ Ｊｏｕｒｎａｌ）、第６巻、第２号、１９８８年４ 月２日、Ｓ．Ｊ．コックス（Ｓ．Ｊ．Ｃｏｘ）による「自動音声認識用ヒッデン マルコフ型モデル：理論と応用」、１０５−１１５ページ、またはニューラル・ ネットワーク（周知の多層認識（ＭＬＰ）または「自主的組織」型などで、その 両方とも英国電気通信技術ジャーナルの同じ発行物に説明されている）に開示さ れるように、ヒッデンマルコフ型モデル（ＨＭＭ）を利用する比較処理を利用す ることもできる。 本発明の話者認識への適用について本明細書で説明してきたが、本発明の解釈 が（音声認識のような）他の認識タスクにも適用できることは明かであろう。 テンプレート生成 一般的には、本発明は、識別対象の話者または各話者のために記憶されていた 参照モデル（ＤＴＷ認識の場合は「テンプレート」）を利用する。参照モデルを 引き出す方法は周知であるため、本発明を理解するには、各テンプレートが、あ る話者による同じ単語の複数の発話を入力し、発話をデジタル化し、係数Ｇiの 正規化されたセットを、発話のそれぞれに関して前述したのと同じように抽出し 、ダイナミックタイムワープ・プロセスなどを使用して発話を調整してから、参 照モデルＴを提供する平均化された係数ベクトルを得るために、発話の時間調整 された係数ベクトルを平均化するプロセスにより求めることができることを示す ことで十分である。言い替えると、それ以降の認識で指定された特徴セットと使 用するために参照モデルを形成するプロセスは、一般的には、特徴セット自体を 得るプロセスと同じであり、特徴セットの数は参照モデルを指定するために平均 化される。 本発明の効果 図１０を参照すると、図１０ａ（左側の欄）に、８個のＭＦＣＣの各々につい て、発話期間中を通しての係数値のグラフを示す。それぞれの場合に、２つのト レースが示されている。これらは、２つの異なった伝送チャネルを経由して伝送 される同じ記録済み発話に対応する。特に、第２の係数と第７の係数において、 回線は、２つの回線間の対応する周波数帯域での転送特性の差異に対応して、２ つのトレース間の実質上一定したオフセットを生じさせる。 ダイナミックタイムワープ・プロセスでは、比較対象の２つのパターンの部分 が時間調整に取り入れられる他のプロセスでの場合と同様に、ダイナミックタイ ムワープ・プロセスが、本来、時間軸に沿って波形の部分を移動し、別の波形と の一致を見つける。本明細書でのように、２つの波形が垂直に変位されている場 合は、この時間軸に沿って移動するというプロセスの結果、不一致が生じ、従っ て誤認識の可能性が増加し、正しい認識の確率が減少する結果となるであろう。 図１０ｂを参照すると、右側の欄に、本発明に従った正規化されたＭＦＣＣの 対応するプロットが示されている。特に、第２の係数、第６の係数、および第７ の係数を参照することにより、平均値を削除すると、それぞれの場合に２つのト レースがさらに緊密に調整されることが分かる。このようにして、音声ベクトル が、別の通信回線を経山して得られた可能性があるテンプレートと比較されると 、ダイナミックタイムワープ比較処理では、伝送チャネルの効果のために、話者 を誤識別する可能性が少なくなる。 前記のように、話者から認識プロセッサまでの（一般的には線形の）経路は、 経路の連続ステージのカスケード化転送関数の積で構成する総括的転送特性Ｈに より表すことができる。このようにして、周波数領域では、認識プロセッサによ り受信される音声信号の各スペクトル成分が、話者の声のスペクトル成分と通信 チャネルまたは通信経路の転送関数の対応するスペクトル成分との積で構成され る。従って、チャネルの転送特性Ｈが既知であれば、音声信号に対するチャネル の影響は、受信信号スペクトルの各期間を転送特性Ｈの対応する期間で除算する ことにより除外できる。 ただし、電気通信システムにおいては、複数の多様な代替信号経路のため、チ ャネル転送関数Ｈを直接モデル化することは不可能である。ただし、チャネル転 送関数が、一般的にはスペクトル的に静止している（つまり、時間が経過しても それほど変化しない）ことが分かる。従って、単一スペクトル成分の時系列を調 べると、転送関数は、その列内の各値に対する１つの一定した乗法数的因子とし て作用する。従って、時系列の各成分の幾何平均は、この一定の因子と原時系列 の幾何平均の積である。このようにして、受信音声信号スペクトルの各時間がそ の長期平均で除算される場合には、チャネルの影響は排除される。 各スペクトル期間の対数を取るときに、長期幾何平均を求め、それによって除 算するよりも、対数化スペクトル期間の長期算術平均を求め、この算術平均を各 スペクトル期間から減算することができる。 ＭＦＣＣ生成のウィンドウ化段および積分段においては、この関係にいくらか の変形があり、故に前述の分析が完全にＭＦＣＣの正規化に適用せず、単に本発 明の効果を図解しているに過ぎないと考えられる。 正規化プロセスは、チャネルの影響だけではなく、音声情報および話者情報も 削除する。従って、これは、二人の話者を区別するのに使用できるデータを削除 することにより、認識の精度を削減すると考えられる。実際には、驚くべきこと に、広範囲な実験を行った後に、これが当てはまらないことが分かった。

Claims (1)

1. 【特許請求の範囲】 １．所定周波数帯域における音声信号量に各々が関連する複数の係数で構成され る認識特徴データを入力音声信号から抽出するステップと、前記特徴データを所 定の話者参照データと比較するステップと、この比較に依存して話者の認識を示 すステップとから成る音声認識方法において、前記周波数帯域が周波数軸に沿っ て不均一に間隔を置かれ、前記係数生成ステップは、長期平均スペクトル量を得 るステップと、前記長期量の影響が実質的に減少される正規化係数を発生するよ うに前記係数の少なくとも１つを処理するステップを有することを特徴とする音 声認識方法。 ２．周波数帯域がメル周波数スケールで間隔が取られる請求項１に記載される方 法。 ３．周波数帯域が所定限界を下回る周波数で線形的に間隔が取られ、前記限界を 上回る周波数では対数的に間隔が取られる請求項１に記載される方法。 ４．前記係数生成ステップは、前記量の対数を発生するステップと、対数長期平 均値を発生するステップと、対数量から対数長期平均を差し引くステップとを含 む請求項１から３のいずれかに記載される方法。 ５．前記比較が特徴データを参照データに時間調整するためのである請求項１か ら４のいずれかに記載される方法。 ６．比較がダイナミックタイムワープ・プロセスを利用する請求項５に記載され る方法。 ７．前記入力音声信号内で音声開始点と音声終了点を認識するステップと、前記 開始点と前記終了点の間の期間で前記長期平均を抽出するステップとを含む請求 項１から６のいずれかに記載される方法。 ８．前記長期平均が長期算術平均を構成する請求項１から７のいずれかに記載さ れる方法。 ９．前記長期平均が、定期的に更新される移動平均を構成する請求項１から７の いずれかに記載される方法。 １０．複数の単語を順次入力し、前記単語のすべてについて前記長期平均を求め ることを含む前述の請求項のいずれかに記載される方法。 １１．各セットが複数の周波数帯域で短期スペクトル量を示す複数の係数からな る一連の係数セットで構成される複数の特徴データを 音声信号に応答して発生する手段（２１０，２２０，２３０）と、前記特徴デー タを所定の話者参照データと比較し、前記比較に依存して対応する話者の認識を 示す手段（２６０）とにより構成される話者認識装置において、前記周波数帯域 は周波数軸に沿って不均一に間隔を置かれており、前記係数の少なくとも１つの 長期平均スペクトル量を抽出し、前記長期平均によって前記少なくとも１つの係 数を正規化する手段（２５０）を有することを特徴とする話者認識装置。 １２．周波数帯域がメル周波数スケールで間隔が取られる請求項１１に記載され る装置。 １３．周波数帯域が、所定の限界を下回る周波数で線形的に間隔が取られ、前記 限界を上回る周波数で対数的に間隔が取られる請求項１１記載の装置。 １４．前記係数を発生する手段（２３０）が、前記量の対数を生成し、対数長期 平均値を生成し、対数係数量から対数長期平均を差し引くよう構成される請求項 １１ないし１３に記載される装置。 １５．前記比較手段（２６０）が、参照データと特徴データを時間調整するため に設けられる請求項１１ないし１４のいずれかに記載される装置。 １６．前記比較手段（２６０）がダイナミックタイムワープ・プロセスを利用す る請求項１５記載の装置。 １７．さらに、前記音声信号内の開始点と終了点を認識するための手段（２４０ ）を具備し、前記正規化手段（２５０）が前記開始点と前記終了点の間の発話の 期間で前記長期平均を得るために設けられる請求項１１ないし１６のいずれかに 記載される装置。 １８．前記長期平均が長期算術平均を構成する請求項１１ないし１７のいずれか に記載される装置。 １９．前記長期平均が、定期的に更新される移動平均を構成する請求項１１ない し１７のいずれかに記載される装置。 ２０．複数の単語を次々に入力するために設けられ、前記正規化手段（２５０） が前記単語のすべてに対して前記長期平均を求める請求項１１ないし１９のいず れかに記載される装置。 ２１．電話網に接続されるように適応される請求項１１ないし２０のいずれかに 記載される装置。 ２２．電話ネットワークに接続される請求項２１に記載される装置。 ２３．各々が音声信号の対応する周波数帯域での短期量に関連する複数の信号か らなる認識データを抽出する手段（２１０，２２０，２３０）および前記認識デ ータに依存して認識処理を行う手段（２６０）とにより構成される音声信号の認 識処理装置において、前記周波数帯域での移動長期平均スペクトル量を周期的に 発生または更新し、静止スペクトル包絡線成分への依存度を減少するために前記 長期平均を用いて情報を処理する手段が設けられることを特徴とする音声信号認 識処理装置。