JPH07508360A - ボキャブラリーモデル予備選択を利用した音声認識システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 ボキャブラリーモデル予備選択を利用した音声認識システム発明の背景 本発明は、音声認識に係わり、特に、未知の音声セグメントとの正確なマツチン グのために候補モデルを予備選択（ｐｒｅｓｅｌｅｃｔ）あるいはスクリーニン グする方法に係わる。

多くのユーザーの用途に有用であるためには、音声認識システムは多量の単語ボ キャブラリーを認識できなければならない。多量のボキャブラリー系中の単語間 の判別には、未知の音声セグメントと単語ボキャブラリー（ｖｏｃａｂｕｌａｒ ｙ　ｗｏｒｄ）を表すモデルとの比較において高い精度の能力をシステムが有す ることを必要とする。周知のように、高い精度は計算上の複雑さの点でかなりの コストを伴い、必要な計算を効率的に行うための種々の方法が開発されているが 、高精度マツチングアルゴリズムを適用する前に候補モデルをスクリーニングま たは予備選択するための何らかの方法が益々必要となってきている。本発明にお いては、尤もらしくない（ｕｎｌｉｋｅｌｙ）候補を迅速に排除し、しかも最適 なマツチングを除去してしまうリスクを最小限にするような方法で、候補モデル の予備選択を行ういくつかの新規な方法が採用される。

発明の要旨 未知の音声セグメントは、フレームの細かいシーケンス（ｆｉｎｅ　５ｅｑｕｅ ｎｃｅ　ｏｆ　ｆｒａｍｅｓ）によって表され、ボキャブラリーモデルはそれぞ れの状態の細かいシーケンス（ｆｉｎｅ　５ｅｑｕｅｎｃｅ　ｏｆ　５ｔａｔｅ ｓ）によって表される。好ましくは、モデル状態は、所定の状態の限定された集 合の中から引き出される。未知のセグメント及びモデルの両方はサブサンプリン グされ、それぞれの粗いシーケンスを与え、それが本発明のスクリーニング距離 測定機能に使用される。サブサンプリングされたシーケンスは実際に各比較のた めのマトリックスを規定する。

本発明の１つの態様によれば、未知の音声セグメントのそれぞれについてテーブ ルか予め計算される。そのテーブルは、前記限定された集合のそれぞれの状態に ついて、それぞれの可能な状態位置においてその状態との最適なマツチング（適 合）を与えるサブサンプリングされた入力フレームのマツチングの程度の尺度を 有する。好ましくは、最適のマツチングの選択は、粗いシーケンス中の隣接する 状態に基づいた選択を拘束することなく、即ち、例えばビタビ翻訳による、マツ チング計算に通常課される時間ワーブ拘束（ｔｉｍｅ　ｗａｒｐ　ｃｏｎｓｔｒ ａｉｎｔ）なしになされる。従って、考慮されるべきそれぞれのモデルについて 、フレームの粗シーケンスと状態の粗シーケンスのそれぞれとの全体のマツチン グを示す累積値が、　゛単に前記テーブルにアクセスし、得られた値を累積する だけで迅速に得られるものである。

本発明の他の１の形態によれば、未知の音声シーケンスにおける単語の尤もらし い開始端点及び終了端点が特定されるが、終点の外部のフレームが全てのボキャ ブラリーモデルに共通の予備選択されたノイズモデルと比較され、これによりマ トリックスの角辺外の位置においてマトリックスを出入するためのコスト値を予 備計算する。この手法は、端点検出における起こりそうな（ｆｏｒｐｏｓｓｉｂ ｌｅ）エラーに適応し、かつ計算の全体的コストを殆ど増加させないものであり 、これは未知の各音声人力セグメントについて、ノイズモデルに対するセグメン トのマツチングの評価が、考慮される全ての参照モデルに共通であることによる ものである。

両方の距離測定機能についてのさらに別の改良は、サブサンプリングされた個々 の入力フレームとモデル状態との比較のそれぞれについて、サブサンプリングさ れたフレームのみならず、サブサンプリングされたフレームの前及び後の一定数 のフレームをも考慮することである。この他のフレームを考慮することは、連続 するサブサンプリングされたフレームの近隣のものとの組合せや並べ変えにおい てではなく、個々のマツチングベースにおいて行われるので、計算上の負荷はそ れほど上昇しない。

図面の簡単な説明 図１は、本発明によるボキャブラリーモデル予備選択方法を使用する音声認識装 置のブロック図である。

図２は、その後の未知の音声セグメントとの高精度比較のために候補モデルを予 備選択する方法の全体を表すフローチャートである。

図３は、未知の音声セグメントを表すフレームのシーケンスのサブサンプリング を示す図である。

図４は、ボキャブラリーモデルを表す状態のシーケンスのサブサンプリングを示 す図である。

図５は、図２の距離計算機能の作動を図解的に表す図である。

図６は、図１の方法において使用される第１の距離測定機能を示すフローチャー トである。

図７は、端点の特定において起こり得るエラーに適応するための、未知の音声セ グメント中の単語の所定の端点の外部のフレームと単語モデルに付加された予備 選択ノイズモデルとの比較を示す。

図８は、余分のフレームの最初のセットを最初のノイズモデルと比較して、未知 の単語をモデルと比較するマトリックスに異なるエントリーポイントで入るため のコスト値を得る方法を示す。

図９は、異なる点での比較マトリックスから出るエキジットのコストを計算する 方法を示す。

図１０は、図８及び図９に示されたようにして誘導されたエントリー値及びエキ ジット値を圧縮するための方法を示す図である。

図１１は、サブサンプリングされた人力フレーム及びサブサンプリングされたボ キャブラリーモデル状態のマトリックスを通しての時間ワーブ方法を示す図であ る。

対応する参照文字はいくつかの図を通して対応する部分を示している。

好ましい態様の説明 多くの先行技術のシステムと同様に、本発明の装置は最初に音響音声波形を変換 して対応する電気信号を得ることによって作動し、次にその信号をデジタル化す る。図１を参照すると、そこに示されたトランスデユーサは、適当なプリアンプ １３を介してアナログ−デジタル変換器１５に接続されたマイクロフォン１１で ある。

やはり当業界で常用されているように、音声信号を処理して、一連のサンプル時 間における、音声を特性化するデジタル値のシーケンスを得る。示した態様にお いては、このような値は、音声信号を、入力音声を特性化するスペクトル特性を 抽出するようにフーリエ変換をおこなうデジタル信号プロセッサ１７を通すこと により得られる。時間の所与の瞬間における入カスベクトルを規定するデジタル 値の集合を、以後本明細書においてフレームと呼ぶ。当業者に理解されるように 、各フレームは多次元ベクトルと考えることができる。

フロントエンド回路機構は集合的に参照番号２０で特定されている。入ノｊ信号 の処理はデジタル的に実行されるように示されているが、アナログフィルタリン グとそれに続くアナログ−デジタル変換も使用できることは理解されるであろう 。

同様に、現時点では多チヤンネルフィルタリングが好ましいが、未加工入力信号 を処理またはコード化するその他の方法も使用でき、例えば特別な用途のハード ウェアにおいても行われる線形予測コード化（ｌｉｎｅａｒ　ｐｒｅｄｉｃｔｉ ｖｅ　ｅｎｃｏｄｉｎｇ）によって行うことができることは理解されるであろう 。

汎用マイクロコンピュータシステム２３は、例えばインテル８０３８６マイクロ プロセツサを使用したもので、全体的システムマネジメント及び制御機能、並び に本発明の距離の処理またはスコア計算、及びアルゴリズムの実行のためのもの である。慣用されるように、コンピュータ２３はシステムのユーザとの対話のた めに与えられるビデオディスプレイ２４及びキーボード２６を備えている。

フロントエンド回路機構２０からの未知ニスベクトル情報はコンピュータ２３に よってさらに予備処理され、各試料スペクトルを１対のインデックス、即ちポイ ンタに置き換える。これら１対のインデックスの最初の１つは、準スペクトル分 布の所与のセットの１つに対応またはそれを特定し、もう１つは標準エネルギー レベル値の所与のセットの１つを特定する。記載される特定の態様においては、 ２５６のそのような標準スペクトルが使用される。その他のコードブックサイズ ももちろん使用できる。システムは２５６の標準エネルギー値を収容できるが、 システム中で実際に必要であり使用されるのは約８０である。当業界においては 、この置換はベクトル量子化と指称されるのが慣例であり、前記インデックスは ＶＱインデックスと呼ばれる。

先に示したように、ボキャブラリーモデルは状態のシーケンスで示され、各状態 はスペクトルインデックス及びエネルギーインデックスにより規定される。フレ ームスベクトルインデックスに対応するのではなく、状態スペクトルインデック スか確率分布を特定しあるいはそれに対応するものである。状態スペクトルイン デックスは、各状態インデックスについて、各フレームあるいはＶＱインデック スが前記状態インデックスに対応するものとして観察されることになる、確率の セットを特定するテーブルへのポインタとして働く。テーブルは、実際、全ての 可能なフレームスベクトルインデックス及び全ての状態スペクトルインデックス の間を予備；Ｉ算マンピングしたものである。フレームエネルギーインデックス を状態エネルギーインデックスとともにマツピングするためのテーブルが対応し て設けられる。従って、単一のフレームと単一の状態を比較するために、距離測 定、即ちマツチングの尺度は、各インデックスを使用してテーブル中に直接イン デックスし、得られた値に適当な重み付けを組合せることにより得ることができ る。本発明に記載する特定の実施においては、スペクトルマツピングテーブルか ら得られた距離を２倍にし、エネルギーマツピングテーブルから得られた値に加 え、入ってくるフレームと所与の状態との間のマツチングの程度を示す全距離あ るいはコスト値を得る。

記載する特定の態様においてはインデックスの対が人力データの単一のフレーム を特定あるいは特性化するのに使用されるが、単一インデックスシステムが当業 界において知られており、本発明の方法はそのようなシステムに適用できること か理解されるであろう。以下の記載の一部においては、実際に、単一のＶＱイン デックスあるいはそのようなインデックスの対（スペクトル及びエネルギー）の いずれをも使用できる場合においては、記載を簡明にするためにしばしばフレー ムインデックスと称している。

当業者に理解されるように、テーブルを埋める距離あるいは尤もらしさの値は統 計的トレーニング法により生成することかできる。種々のそのようなトレーニン グ方法か当業界において知られており、それらは本発明の特徴の一部をなすもの ではないので、本明細書においてはさらに詳しくは記載しない。それよりも、本 発明の目的においては、！ｌに、人力フレーム及びボキャブラリーモデルを表す のに使用される状態の間の対応のマツチングあるいは尤もらしさの程度を測定す るいくつかの計量法かあるとする。コンピュータ２３による入力データの予備処 理には、未知の音声入力セグメントにおける単語の始まりと終わりをエネルギー レベル値に基づいて見積もることが含まれる。記載される特定の態様は連続的な 音声の認識装置ではなく分離した単語の認識装置であるが、本発明の方法はいず れにも適用できることも理解すべきである。

やはり当業者に理解されるように、会話速度の自然な変化により、未知の音声セ グメントを示すフレームのシーケンスを、単語ボキャブラリーを示す状態のシ　 ゛−ケンスのそれぞれと時間的に整数するための何等かの方法が必要となる。こ の方法は通常、時間ワーブ（ｔｉｍｅ　ｗａｒｐｉｎｇ）と呼ばれる。未知の音 声セグメントを構成するフレームのシーケンスは、ボキャブラリーモデルを表す 状態のシーケンスとともに実際にマトリックスを規定し、時間ワーブプロセスは 、最適なスコア、例えば最小の距離あるいはコストを生成するマトリックスを横 切るパスを発見することを含む。距離あるいはコストには、典型的には、ＶＱ（ ベクトル量子化）方法について前述したように、フレームインデックスの状態イ ンデックスとのそれぞれの対形成に関連したコストまたは距離値を蓄積すること により到達できる。

当業者に理解されるように、未知の音声セグメントと競合ボキャブラリーモデル （ｃｏｍｐｅｔｉｎｇ　ｖｏｃａｂｕｌａｒｙ　ｍｏｄｅｌｓ）との最終的な比 較は、方法が多量のボキャブラリーを有するシステム中の同じような競合ボキャ ブラリーモデル間を識別しなければならない場合、高度に正確でなければならな い。高精度比較は、ベクトル量子化を使用したとしても計算上負担の大きいもの であり、これはマトリックスを横切る多数の可能性のあるバスを探査しなければ ならないからである。最終的な、即ち最も正確なマツチング機能のための時間ワ ーブの現時点での好ましい形態は、同時に係属中であり同一人に譲渡された出願 で、Ｖｌａｄｉｍｉｒ　５ｅｊｎｏｈａにより１９９２年６月９日に出願された 出願番号０７７８９５．６１８号の音声認識装置の題名を有する出願に開示され ている。

実施しなければならない高精度比較の数を減らすため、本発明では連続的なスク リーニングステップを使用して候補を予備選択する。予備選択方法により尤もら しくない候補が迅速に排除されるか、良好な候補を不正確にスクリーニングから もらす危険は極めて低い。

記載される特定の態様で実施されるスクリーニングシステムにおいては、２種の 異なる高速度の距離測定機能を使用し、連続的に候補モデルを選択してマツチン グ測定の正確さを徐々に改善する。これらの距離測定機能は、本明細書中におい て後により詳細に記載するが、以下の簡潔な記載は前記２種の機能を全体的に特 徴付け、全体的なシステム中でのそれらの使用を説明するのに役立つであろう。

両方の距離測定機能は、未知の音声セグメント及び未知のセグメントが比較され るモデルのサブサンプリングあるいは圧縮を利用する。本明細書において以後Ｄ Ｍ２と指称する、第２の、即ちより詳細な距離測定機能は、本質的には、各サブ サンプリングされた候補モデルに対するサブサンプリングされた未知のものの慣 用の時間ワープを行うものであるが、サブサンプリングすることにもかかわらず 正確さを顕著に改近する、高精度の示唆的端点決定方法を使用するものである。

以後ＤＭＩと指称する、最初の最高速度の測定機能は、各状態のインデックスに ついての最小距離値の前もって計算されたテーブルを使用することによって、サ ブサンプリングされたシーケンスの非常にルーズに拘束された時間ワーブと考え られるものを行うものであり、これは多数のモデルと未知のものとの比較を可能 とするが計算上の負荷は最小であるようにするものである。

先に記載したように、本発明は、多数のボキャブラリーの音声認識システム、例 えば５０．０００３５のオーダーのボキャブラリーを有するようなシステムにお いて特に有用性を有する。そのようなシステムにおいては、ボキャブラリーか区 分されており、それぞれ区分されたものの中のモデルはモデル中の代表により示 されていることか非常に望ましい。ボキャブラリーを区分し、ボキャブラリーの 中から候補を選択する方法は、同時に係属中であり同一人に譲渡された出願で、 Ｗｉｌｌｉａｍ　Ｆ、　Ｇａｎｏｎｇ、　ＩＩＩ：　Ｗｉｌｌｉａｍ　Ｆ、　Ｂ ａｕｅｒ：　Ｄａｎｉｅｌ　５ｅｖｕｓｈ及びＨａｒｌｅｙ　Ｍ、　Ｒｏ唐獅盾 翌■ より１９８９年１０月１９日に出願された出願番号０７／４２４．１３９号の音 声認識の題名を有する出願に開示されている。出願番号０７／４２４　、１３９ 号の開示は引用により本明細書の一部とする。

未知の音声セグメントと高精度に比較されるための候補を予備選択する全体的な 方法は図２に示されており、理解されるように、距離測定機能（ＤＭＩ及び０Ｍ ２）のそれぞれは、群あるいは区分の代表、及びその後のより良好なスコアを付 けた群及び／または区分のメンバーの両者に適用される。第１のステップとして 、最も速い距離測定機能を群の代表の集合の全体に適用してこれらの代表のうち 最尤であるＮ１を選択する。このステップは参照番号４１で示される。その後、 より正確な距離測定機能ＤＭ２がＮ１群代表に適用され（ステップ４３）、それ らの中の最尤のものを、第２の予備選択数Ｎ２まで、選択し再配列する。最尤群 即ち区分を選択した後、最高速距離測定機能ＤＭＩを再度使用しくステップ４５ ）、このときは選択された区分のメンバーに適用し、所定の距離基準に合致する 候補を選択し、これにより選択された候補の数をＮ３とする。さらにより詳細な 距離測定機能ＤＭ２を、先に得られたＮ３候補に適用しくステップ４７）、これ により、それらのうちのより小さい数、Ｎ４を選択し再配列する。次にフル解像 度細密ワープ、即ちフレームの細密シーケンス及びモデル状態の細密シーケンス を利用するものを、ボキャブラリーからの単語のリストを最終的に決定し配列す るのに適用しくステップ４９）、それはその後ユーザープログラムに出力される 。

先に示したように、当初の未知の音声人ツノはフレームの細密シーケンスで表さ れ、各ボキャブラリーモデルは状態のシーケンスで表される。フレーム及び状態 のシーケンスは長さにおいて等しくなく、即ちそれらが異なる数のエレメントを イ■しているかもしれない。それぞれのエレメントの数は、典型的には１００の オーダーである。入力セグメント及びモデルを圧縮するため、シーケンスを線形 にサブサンプリングし、圧縮バージョンが最初と最後のエレメントを含み、各シ ーケンスのエレメントの合計数が合計１６になるようにする。入力フレームに適 用されるこのようなサブサンプリングを図３に図解的に示す。先に示した通り、 音声入力の予備処理は、話される単語の尤もらしい開始端点及び終末端点を指示 することを含む。しかしこの端点決定の操作にはいくらかのエラーがあり得るの で、システムは実際には開始端点の前の所定の数のフレーム及び終了端点の後の 同数のフレームを処理し記憶する。示した態様においては、各末端に１０のその ような余分のフレームがある。微細シーケンスからのこれらの余分のフレームは 、第２の距離測定機能ＤＭ２について本明細書で後に記載するように、ある種の 計算に使用されて粗シーケンスあるいは圧縮シーケンスのための余分のフレーム を与え、これらの計算は、細密シーケンスからの余分のフレームの単なる線形の サブサンプリングよりもより正確な表示を与える。図４は、ボキャブラリーモデ ルを表す状態の微細シーケンスの線形サブサンプリングの同様な図である。

先に示したように、距離測定機能の最も速いもの（ＤＭｌ）は、通常は時間ワー プ手法に適用される拘束のいくつかのものなしに作動し、前もって計算された最 小距離測定を使用し、多数の候補モデルのスクリーニングをスピードアップする 。図５及び６を参照すると、距離測定機能ＤＭＩは、未知の音声シーケンスから 線形にサブサンプリングされた１６のフレームを、考慮される各ボキャブラリー モデルから線形にサブサンプリングされた１６の状態と比較し、この比較は図５ におけるマトリックスにより示される。マド１ルツクス内の全ての位置か考慮さ れるわけではなく、各状態のカラムに関して考慮されるフレームの数は所定のサ イズのウィンドウに制限される。図５においては、ウィンドウは各状態カラムに ついて閉鎖されたブロックにより示されている。従来のこのようなマド１ルツク スを通る時間ワーブされたパスを決定する際においては、ノくスは何等かの位置 的制限を受け、例えば、各位置はその左から、あるいは下から、あるいはその２ 方向の間の斜め方向からのみ接近できる。しかし、距離機能ＤＭ１には、そのよ うな制限は見られず、各状態カラムにおいて、カラムを占める状態について、前 記方法か最適のマツチング、即ち最低の距離あるいはコストを与えるフレームを 決定し、ここでその状態のカラムについて予備選択されたウィンドウまたは通路 （ｃｏｒｒｉｄｏｒ）内のそれらのフレームのみが考慮され、その時点の状態の カラムのいずれの側であるかの決定は考慮されない。これは本質的に、ウィンド ウ内で利用可能な鎖中て最小のものを発見することを含む計算である。

本発明の別の形態においては、考慮される新しいモデルのそれぞれにつ（１てこ のような最小値を計算する必要はない。そうではなく、人力フレームのサブサン プリングシーケンスか一旦決定されると、各状態カラムについて及びそのカラム を占め得る２５６の各状態について、前記方法により、最小コストあるいは距離 、即ち、最適のマツチングを与える考慮されるフレームの１つについてのコスト あるいは距離か決定される。コスト値はテーブルに記憶され、これか全てのモデ ルにスコアを付けるのに使用される。従って、これは、１６ｘ２５６のエントリ ーを含むテーブルであり、各テーブルの位置において、対応する状態カラムを占 める対応する状態インデックスについて対応する最小物を表す値を含む。従って 、新しい各モデルが考慮する際には、各状態カラムについてのコスト値は、単に カラム番号及びそのカラムを占める状態のインデックスを使用してテーブル中に インデックスし、最小のコスト値を抽出するだけで得られる。そして未知の人力 セグメントとモデルとのマツチングの全体的な尺度はこれらのコストまたは距離 値の単なる合計値である。当業者には理解されるであろうように、このテーブル 検査及び合計操作は非常に簡単な操作であり、比較的迅速に達成できる。従って 、多数のモデルを迅速に考慮することができる。この方法は図６のフローチャー トに示した。

先に示したように、この距離測定機能により得られる蓄積的マツチング測定の正 確さは、最終的な選択には適当でない。しかしエラーは、良好な候補のスコアを 低下させることよりも、より良いスコアを付ける候補を生成する傾向にあるので 、前記方法は、尤もらしくない候補を排除するのに極めて効果的であり、一方、 予備選択段階で良好な候補をυ１除してしまう危険を殆ど生成しない。確率数学 の点からみると、距離測定機能ＤＭＩのスコアを付ける手順は以下のように説明 できる。

参照モデルは固定されており、大力ベクトルシーケンスは、誤った終点決定、線 型サブサンプリング等のためにエラーを受けると仮定した。

各モデルＭについて、固定された参照シーケンスＲが与えられたならば、入力ベ クトルシーケンスＦ又は変化したものか観察される可能性を計算する必要かある 。各ベクトルｆｊは、任意の時間ｊにおいて参照状態ｒｉにより発生され得た。

従って、Ｆにおけるベクトルか固定された状態シーケンスＲにより発生された確 率は、 Ｐ（Ｆ／Ｍ）　二Ｐ（ｆｊｉ／ｒｉ）　＊　Ｐ（ｆｊｉ）　（１）ｊ で表され、ここでＰ（ｆｊｉ）はベクトルｆｊがシーケンスにおいてｉ番目であ る確率を示す。

Ｐ（ｆｊｉ／ｒｉ）　二〇（ｆｊ、ｒｉ）　＝　状態ｒｉにおいてベクトルｆｊ を観察する確率式（１）を簡略化するためにいくつかの仮定を使用する。

（１）一時的にＦに近い、少しのへりトルシーケンスのみが、与えられた入力発 声について適当なシーケンスでありそうだと仮定する。即ち、Ｐ（ｆｊｉ）　＝ 　Ｗｊｉ　ｍａｘ（１，１−Ｎ）　ｊ　ｍ１ｎ（１６，ｊ＋Ｎ）　（Ｗｊｉ　１ ／２Ｎ＋１の場合）・０　そうでない場合 ＩＩＩａｘ及びｗｉｎ操作は境界における適当な挙動のために与えられる。

（２）確率の合計は、これらの確率の最大値により近似され得ると仮定する。

そこで式（１）は、ｍａｘ（１，１−Ｎ）　ｊ　ｍ１ｎ（１６，ｉ＋Ｎ）につい て、Ｐ（Ｆ／Ｍ）　＝　ｍａｘ　ｏｖｅｒ　ｊ　（０（ｆｊ、ｒｉ）本Ｗｊｉ　 ｌ　（２）ｊ と書き換えることができる。

ウィンドウｉ−Ｎからｉ＋Ｎ内の全ての」について確率は１／（２Ｎ＋１）に等 しいものとし、その結果の全ての参照モデルについて同じである定数は無視する 。式の両辺１こついてｍ１ｎｇ（ンを取り、−１ｏｇ　Ｏ＜ｆｊ、ｒｉ）をｄ（ ｆｊ、ｒｉ）、−１ｏｇＰ（Ｆ／Ｍ）をＤ（Ｆ、　ｗ）と表す。

ｍａｘ（１，１−Ｎ）　ｊ　ｍ１ｎ（１６，ｉ＋Ｎ）について、Ｄ（Ｆ、　ｉｔ ）　＝　ｍｉｎ　ｄ（ｆｊ、ｒｉ）　（２）このアルゴリズムは、 ＢＥＧＩＮ　イニシャライズｉ　＝１：　Ｄ（Ｆｌｗ）　：０：と要約すること ができる。

モデルＭにおけるそれぞれの参照状態ｒ１について、ステップ１：境界において 適当なウィンドウサイズを適用するｆｊ周辺の２Ｎ＋１ベクトルのウィンドウ内 でｒｌ及び各ベクトルｆｊについてｄ（ｆｊ、ｒｉ）を得、ステップ２：これら のｄ（ｆｊ　、ｒｉ）の最小値を見つけ、ステップ３：これをＤ（Ｆ、ｗ）に加 え、ステップ４・１−１６の場合、ストップしてＤ（Ｆ、　Ｗ）を出力し、さも なければ、１を増加させてステップ１から繰り返す。

当業者に理解されるように、エレメントの細密シーケンスのサブサンプリングに 基づいたシステムは、前記細密シーケンスがらサブサンプルが採られる特定のタ イミングあるいは同期に影響されやすい。そのようなエラーは、仮定される端点 に直接基づいてサブサンプリングされたシーケンスのみに本発明の距離測定機能 を適用するばかりではなく、当初シーケンスから線形にシフトしたサブサンプル にも測定機能を適用することによって、実質的に減じることができる。この手順 は試行されるシフトシーケンスの数だけ実施されなければならない計算の数を増 加させるが、本発明の距離測定機能が必要とする計算能力は最小限のものであり 、従って余分な計算時間も比較的容易に耐えられるものである。この代替物は確 率の用語においては以下のように表現される。

線形サブサンプリングの問題を克服するために、ただ１つのシーケンスではなく 、同じ入力発声から誘導された多数のシーケンスを観察する確率を最大にするよ うにする。これらシーケンスのそれぞれは、当初の入力ベクトルシーケンスを、 終了において適当なパッディングを使用して、線形に移動させ、その後各移動し たシーケンスをサンプリングすることにより誘導されると仮定される。これらの ｒｎＪ代替シーケンスをＦｓと表して、確率Ｐ（Ｆｓ／Ｍ）Ｐ（Ｆｓ／Ｍ）　： Ｐ（Ｆｌ／Ｍ）本（Ｆ２／Ｍ）、、、、、Ｐ（Ｆｎ／Ｍ）を最大にすることがで きる。これは、Ｆ中の各ベクトルｆｉをそれの周りのベクトルｓ１％ｓ２　、　 、　、　、　、　ｓｎのセントにより置き換えることにより達成される。これに より距離ｄ（ｆｎ、ｒｉ）か合計 ｄ（ｆｊ、ｒｉ）　＝−ｌｏｇ（０（ｆｎ、ｒｉ）　）　（３）となるように修 正される。ここで１つのサンプルベクトルｆｊの代わりに入力ベクトルのセット が詰め込まれるので、この手順を便宜的に「フレームスタッフィング」と呼ぶ。

（３）における合計の代わりに平均を使用することにより、距離のダイナミック レンジか保存される。この「フレームスタッフィング」法は、第２の距離測定機 能にも有利に適用される。

先に示したように、第２の距離測定機能ＤＭ２は、サブサンプリングされたシー ケンスのマトリックスを横切る、より慣用的な時間ワーブを行うものであり、こ こでは時間ワーブは、左から、下から、またはこれらの２方向の間の斜め方向か ら所与の位置に接近するパスのみが考慮されるという通常の拘束が見られる。

しかしこの距離測定は、斜め角に加えた地点におけるマトリックスへのエントリ ーとマトリックスからのエキジットを可能とすることにより実質的に改善された 正確性を与える。これは、推定される単語終点の前及び後の余分のフレームと、 ボキャブラリー単語モデルに付加されたノイズモデルとマツチングすることによ り達成される。これらは参照番号７３及び７５によりそれぞれ示される。

図７に図解的に示したように、未知の音声セグメント７１は、予備処理の間の端 点決定機能により決定されるように開始と終末の端点により区画された１６のフ レームを圧縮した形態で含む。しかし、距離測定機能ＤＭ２によれば、未知の入 力セグメントは、ＪＩＰ定される人力＋１１語の前及び後に続く１０の余分のフ レームも含む。未知の人力セグメントと比較されるボキャブラリーモデルのそれ ぞれは、参照番号８１において示されるように、圧縮された形態で１６の状態を 含む。各モデルに付加されているのは、最初のノイズモデル８３及び最終ノイズ モデル８５である。これらのノイズモデルは、典型的なバックグラウンドノイズ に基づくものであり、同じノイズモデルが、考慮される異なる単語モデルの全て について使用される。最初の余分のフレーム及び最初のノイズモデルが、図７中 の参照番号８７で示されるようにエントリー延長ワーブ領域（ｅｎｔｒｙ　ｅｘ ｔｅｎｓｉｏｎ　ｗａｒｐ　ｒｅｇｉｏｎ）を規定し、後に続く余分のフレーム 及び最後のノイズモデルがエキジット延長ワーブ領域８８を規定する。未知の単 語の前及び後の余分のフレーム及び最初及び最後のノイズモデルの両方は、最初 に採られたように、圧縮されていない、あるいは細密に段階化された（ｇｒａｄ ｉａｔｅｄ）形態にある。

余分のフレームは、連続的なモデルか試験入力と比較される際に同一のままであ り、ノイズモデルが連続的な１１１語モデルについて使用されるので、エントリ ー延長領域を通る異なるワープパスに関連したコスト値は、図８に示したように 一旦計算され、その後参照番号８９で示されるようにテーブル中に記憶されるこ とができる。記憶された値は、次に、考慮されるへき異なるボキャブラリーモデ ルの全てについてのマツチング計算の間に種々の位置において主フープマトリッ クス領域にエントリーするためのコスト値として使用できる。エキジット延長ワ ーブ類ｖｔ、８８においては、図９に示したように逆時間ワープ（ｒｅｖｅｒｓ ｅ　ｔｉｍｅ　ｗａｒｐ）が行わね、即ち、北部右手の角から出発し、種々の位 置において主ワーブ領域８６をエキジットすることに関連するコストを与える。

これらの値も、参照番号９ｏで示したように、カラムテーブル中に記憶される。

当業者に理解されるように、前方あるいは逆の方向においてパスか計算されても 同し値が得られる。

先に示した通り、延長ワープ領域を横切ることに関連するコスト値は、フレーム と状態の細かに段階化されたシーケンスに基づいて３１算される。細密シーケン スは次に、図１０に示したように圧縮され、延長領域における時間ワーブの間に コスト値はノーマライズされて、横断されるより多い数のフレーム及び状態につ いて補償する。提案された端点から余分の１０フレームの最初に向かって、４番 目ごとにサンプルを選択することにより、最初の端点の前の１０フレームから２ つのサンプルを取る。同様に、終末端点の後の余分の１０のフレームにおいて、 提案された端点から余分の１０フレームの端点に向かって、４番目ごとのサンプ ルを選択する。これにより提案された最後の端点の後に２つのサンプルが得られ る。

次に、ＤＭ２中の、ノーマライズされた、より細密なノイズカラムからの対応す るサンプルを使用する。圧縮された延長領域を有する圧縮された試験入力はその 後、図１１に示されたように圧縮された参照トークン（ｔｏｋｅｎ）に対して時 間ワーブすることができる。時間ワーブを行う場合、考慮される位置は通路（ｃ ｏｒｒｉｄｏｒ）内に限定され計算の合計数を実質的に減じることが好ましい。

示した態様においては、それぞれの状態、カラムについて、通路は最短の斜めの パスからのプラス及びマイナスの３つのフレーム位置を包含するウィンドウを与 える。この時間ワーブからｉ！）られた最良のスコアは、前処理することにより 行われた端点決定におけるエラーを許容し或いは含み、未知の入力及びそれぞれ のボキャブラリー単語モデルの間のマツチングの程度のより正確な測定を与える 。

先に示したように、この第２の距離測定機能ＤＭ２は全体のシステム中において ２回使用され、より速い距離測定機能ＤＭＩによる最初のスクリーニングを改良 する。それぞれの距離測定機能は最初に区分を示すモデルの集合に適用され、そ の後よりよいスコア区分のメンバーに適用される。従って、選択方法は多数の段 階を含むが、これらの段階は、最も早いスクリーニングを最も速い機能により行 い、正確さにおいて段階化されている。さらに、スクリーニング機能が正確な結 果を与えない程度において、尤もらしい候補のスコアを悪化させるのではなく、 尤もらしくない候補がより良いスコアを示すことをより許す方向にあり、従って 選択の全体的速度は顕著に数群され、最良あるいは任意の良好な候補を不適当に 排除する危険を最小にする。

上記より、本発明のいくつかの目的が達成され、その他の有利な結果が得られた ことが判るであろう。

本発明の範囲から離れることなく上記の構成について種々の変更を加えることが 可能であり、上記の記載に含まれ、添付した図面に示した全ての事項は例示的な ものであり、限定的な意味にあるものでないと解されるべきと理解されなければ ならない。

図面 １６　サブサンプリングされｔこ状態 ｒｏ　ｒｌ　ｒ２　ｒｌ６ ［王妃された状ｑぢ　→１ Ｗ潜１ ！Ｑ ｑ← ヰｂ 和卆 ヒ和 フロントページの続き （７２）発明者　イエナナラヤマン、ギリシャアメリカ合衆国、マサチューセッ ツ州 ０１８６３、エヌケルムフォード、ウェルマンアベニュー　５１９ （７２）発明者　七ノワ、ウラジミールアメリカ合衆国、マサチューセッツ州 ０２１４０、ケンブリッジ、マウント　バーノン　ストリート　２９ （７２）発明者　ギヤノン、ウィリアム　エフ　ザ　サードアメリカ合衆国、マ サチューセッツ州 ０２１４６、プルツクリン、ディビス　アベニュー　１２８

Claims (8)

【特許請求の範囲】
1. １．フレームの細密シーケンスによって表される未知の音声セグメントが、それ ぞれの状態の細密シーケンスと比較され、ここで前記状態は所定の状態の限定さ れた集合から選択されるものであり、これにより最良のマッチングを決定する音 声認識システムにおける、正確な比較のために候補モデルを予備選択するための 方法であって、 考慮されるそれぞれのモデルについて、対応する状態の細密シーケンスをサブサ ンプリングして所定の数の状態を含むそれぞれの粗シーケンスを得、前記フレー ムの細密シーケンスをサブサンプリングして所定の数のフレームを含む粗シーケ ンスを得、ここで所定の数は全部でマトリックスを規定するものであり、該マト リックス内には前記方法により調べられる予備選択された領域があるものであり 、 前記限定された集合内のそれぞれの状態につき、前記マトリックスにおけるそれ ぞれの状態位置について、その状態と最良のマッチングを与える入力フレームを 決定し、ここで前記予備選択された領域内にあるフレームのみが考慮され調べら れるものであり、マッチングの尺度はテーブルに記憶されているものであり；前 記テーブルを使用して、考慮される各モデルについて前記フレームの粗シーケン スとそれぞれの状態の粗シーケンスとの全体的マッチングを示す値を計算し、正 確な比較のために、そのように計算されたような、より良い全体的マッチングを 有するこれらのモデルを予備選択することを含む前記方法。
2. ２．前記全体的マッチングの値を、前記テーブルに格納されたマッチングの尺度 のそれぞれを累積することによって得る請求項１に記載の方法。
3. ３．各可能なマトリックスの位置において各可能な状態について最良のマッチン グを与える入力フレームを決定する際に、該方法がそれぞれのサブサンプリング されたフレームのみではなく、前記フレームの細密シーケンス中のそれぞれのサ ブサンプリングされたフレームの前及び後の所定の数のフレームをも調べるもの である請求項１に記載の方法。
4. ４．未知の入力音声セグメントが、ボキャブラリーモデルと比較され、入力音声 はフレームの細密シーケンスとしてコード化され、前記細密シーケンス中の単語 の尤もらしい開始端点及び終了端点を同定するための手段が与えられており、前 記モデルは状態の細密シーケンスにより対応して表されるものである音声認識シ ステムにおける、正確な比較のために候補モデルを予備選択するための方法であ って、 考慮されるそれぞれのモデルについて、対応するフレームの細密シーケンスをサ ブサンプリングして所定の数の状態を含むそれぞれの粗シーケンスを得、前記端 点間の前記フレームの細密シーケンスをサブサンプリングして所定の数のフレー ムを含む粗シーケンスを得、ここで所定の数は全部でマトリックスを規定するも のであり、 前記開始端点の前の所定の数のフレームを予備選択されたノイズモデルと比較し 、これにより種々の位置におけるマトリックスヘのエントリーのためのコスト値 を予備計算し、 前記終了端点の後の所定の数のフレームを予備選択されたノイズモデルと比較し 、これにより種々の位置におけるマトリックスからのエキジットのためのコスト 値を予備計算し、 考慮される各モデルについて、種々の位置におけるマトリックスヘのエントリー 及びマトリックスからのエキジットのコストを含む前記マトリックスを横切る最 良のマッチングバスを決定し、その最良のパスに基づいてモデルにスコアを付け 、 入力音声セグメントとの正確な比較のために、そのように得られた最良のスコア を有するモデルを選択することを含む前記方法。
5. ５．各可能なマトリックスの位置において各可能な状態について最良のマッチン グを与える人力フレームを決定する際に、該方法がそれぞれのサブサンプリング されたフレームのみではなく、前記フレームの微細シーケンス中のそれぞれのサ ブサンプリングされたフレームの前及び後の所定の数のフレームをも調べるもの である請求項４に記載の方法。
6. ６．フレームの細密シーケンスによって表される未知の音声セグメントを、それ ぞれの状態の微細シーケンスによって表されるボキャブラリーのモデルと比較し 、これにより最良のマッチングを決定する音声認識システムにおける、正確な比 較のために候補モデルを予備選択するための方法であって、考慮されるそれぞれ のモデルについて、対応する状態の細密シーケンスをサブサンプリングして所定 の数の状態を含むそれぞれの粗シーケンスを得、前記フレームの細密シーケンス をサブサンプリングして所定の数のフレームを含む粗シーケンスを得、ここで所 定の数は全部でマトリックスを規定するものであり、該マトリックス内には前記 方法により調べられる予備選択された領域があるものであり、 前記マトリックスにおけるそれぞれの状態位置について、その状態との最良のマ ッチングを与える入力フレームを決定し、ここで前記予備選択された領域内にあ るフレームのみが考慮され調べられ、マッチングの程度の尺度が与えられるもの であり； いくつかの状態位置についての尺度を組合わせて、これにより前記フレームの粗 シーケンスとそれぞれの状態の粗シーケンスとの全体的マッチングを示す値を得 ； 正確な比較のために、そのように計算されたような、より良い全体的マッチング を有するこれらのモデルを予備選択することを含む前記方法。
7. ７．各可能なマトリックスの位置において各可能な状態について最良のマッチン グを与える入力フレームを決定する際に、該方法がそれぞれのサブサンプリング されたフレームのみではなく、前記フレームの細密シーケンス中のそれぞれのサ ブサンプリングされたフレームの前及び後の所定の数のフレームをも調べるもの である請求項６に記載の方法。
8. ８．フレームの細密シーケンスによって表される未知の音声セグメントが、それ ぞれの状態の細密シーケンスにより表されるボキャブラリーモデルと比較され、 ここで前記ボキャブラリーは音響的に類似するモデルの群に区分されており、各 群の１つのモデルはその群を代表するものであり、これにより最良のマッチング を決定する音声認識システムにおける、正確な比較のために候補モデルを予備選 択するための方法であって、 各モデルについて、対応する状態の細密シーケンスをサブサンプリングして所定 の数の状態を含むそれぞれの粗シーケンスを得、前記フレームの細密シーケンス をサブサンプリングして所定の数のフレームを含む粗シーケンスを得、ここで所 定の数は全部でマトリックスを規定するものであり、該マトリックス内には前記 方法により調べられる予備選択された領域があるものであり、 前記マトリックスにおける各状態位置について、その状態と最良のマッチングを 与える入力フレームを決定する、第１の距離測定機能を与え、ここで前記予備選 択された領域内にあるフレームのみが考慮され調べられ、マッチングの程度の尺 度が与えられるものであり； いくつかの状態位置についての尺度を組合わせて、これにより前記フレームの粗 シーケンスとそれぞれの状態の粗シーケンスとの全体的マッチングを示す第１の 値を得、 前記マトリックスを横切る連結されたバスを決定し、前記フレームの粗シーケン スとそれぞれの状態の粗シーケンスとの全体的マッチングを示す第２の値を計算 する第２の距離測定機能を与え、 前記第１の距離測定機能を群を代表するモデルに適用し、より良いスコアの代表 モデルを選択し、選択されたモデルに前記第２の距離測定機能を適用し、これに より減少した数のより良いスコアの群を同定し、前記第１の距離測定機能を前記 より良いスコアの群のメンバーに適用し、より良いスコアのモデルのメンバーを 選択し、選択されたモデルのメンバーに前記第２の距離測定機能を適用し、これ により前記未知の音声セグメントとの正確な比較のために、減少した数のモデル のメンバーを予備選択することを含む前記方法。