JPH09230885A - パターン位置決定方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】標本的入力信号において、分離的に入力された
パターンの位置を決定する方法を提供する。 【解決手段】入力信号を、該入力信号と実質的に同じパ
ターンを含む複数の接続されたパターンを表す信号に対
応付ける（Ｓ２１）。次に、上記対応付け（アライメン
ト）の結果から位置を決定する。この装置を用いて決定
されたその位置は、分離標準モデルを決定するのに用い
られる。これは検出された位置から入力信号の特徴を抽
出することによってなされる（Ｓ２３）。この分離標準
モデルは、パターンの連続標準モデルを生成するのに用
いられ得る（Ｓ２５、Ｓ２７）。これは、分離標準モデ
ルを、モデル化すべきパターンを含む複数の接続パター
ンを表す信号に対応付けることで実現される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、標本的な信号内に
おけるパターンの位置を識別するための方法及び装置に
関する。本発明は、連続音声認識システムにおいて使用
するためのワードモデルの決定に関して説明されるが、
これに限定されるものではない。

【０００２】

【従来の技術】音声認識は未知の発声音声を認識する処
理である。現在、数種類の異なるタイプの有用な音声認
識システムが存在し、これらは数種類の方法で分類され
る。例えば、あるシステムは話者依存型であり、他のも
のは話者非依存型である。また、あるシステムは大量の
語彙（１００００ワード以上）に関して動作し、他のも
のは限られた量の語彙（１０００ワード以下）に関して
動作する。幾つかのシステムは分離ワード（単語）のみ
を認識し得るものであり、他のものは一連の連続単語を
含むフレーズを認識しうる。

【０００３】入力された発声音声を認識するために、音
声認識システムは入力された発声音を既知の音声の特徴
と比較する。既知の音声の特徴は、標準パターン（特
徴）の生成のために既知の音声サンプルが提供される学
習セッションのおいて決定される。

【０００４】連続音声認識（文音声認識）システムにお
いては、一般に、標準パターンは与えられた言語の音素
を表す。ＩＢＭはそのような連続音声認識システムを創
るための開発システムを製造した。これはＩＢＭ連続音
声シリーズ（IBM continuousspeech series、ＩＣＳ
Ｓ）と呼ばれる。この開発システムは、音声標記によっ
て綴られたワードの巨大な辞書と、北米英語の音素の標
準音響モデルと、音声認識システムで使用するための言
語モデルを生成するためのツールとを備える。ＩＢＭシ
ステムによれば、アプリケーション開発者が、例えばＰ
Ｃもしくは電話システムといった特定の応用において使
用される音声認識システムを開発することが可能とな
る。開発者は、まず始めに音声認識システムにおいて用
いられることになるであろう文をタイプ入力してファイ
ルにし、ＩＢＭ辞書に存在しないあらゆるワードについ
て音声標記を提供し、最後に文章ファイルをコンパイル
することにより、適切な言語モデルを構築できる。結果
として得られる音声認識システムは、こうしてエンドユ
ーザに売られ、適応した使用範囲で用いられることにな
る。

【０００５】

【発明が解決しようとする課題】上述した種類の連続音
声認識システムの一つの問題は、標準モデルが音素であ
ることである。このため、システムは言語及びアクセン
トに依存したものとなる。加えて、このシステムにおい
ては、エンドユーザに提供される言語モデルは固定的で
あり、新たな文章を含ませるべくこれを更新することは
できないという欠点を有している。

【０００６】全ての連続音声認識システムが音素に対応
する標準モデルを使用するわけではない。ＵＳＰ4,783,
808（Texas Instruments Incorporated）は、全ワード
に対応する標準モデルを使用した連続音声認識システム
を提案する。従って、このシステムは、音素ベースのシ
ステムが有していた言語及びアクセント依存性という問
題を有することは無いであろう。しかしながら、このよ
うなワードベースの連続音声認識システムは、連続音声
において発声されたときのワードを識別可能とするため
の良いワードモデルを生成することが困難であるという
問題を有する。分離的に発声されたワードを識別するた
めの良いワードモデルを生成することは、比較的簡単で
ある。しかしながら、接続音声において発声されたワー
ドは、それらが分離的に発声された場合と大きく異な
る。このため、分離ワードモデルは接続音声において発
声された場合の対応ワードを識別するには十分に適した
ものではない。このような相違の理由の一つは、接続音
声において発声されるワードは、一般に、同じワードが
分離的に発声される場合に比べてかなり速いことにあ
る。また、相違に対するもう一つの理由は、接続音声に
おいて発声されるワードには言語音の相互作用（co-art
iculation effect）、すなわち隣接するワードとの結合
が生じてしまうことにある。

【０００７】ＵＳＰ4,783,808によれば、接続ワードモ
デルは次の手順で生成される。すなわち、まずはじめに
ワードの分離的な発声音から分離ワードモデルを生成
し、次に、異なる発声速度に対応するよう分離ワードモ
デルを圧縮し、続いて、分離ワードモデルと接続音声と
のマッチングを行い、最後に、マッチングがとれたワー
ドから音声的特徴を抽出することによって接続ワードモ
デルを決定する、という手順となる。

【０００８】ＵＳＰ4,783,808において開示されたシス
テムの一つの問題点は、自動的にワードモデルを生成し
ないことである。それは、ワードモデルから生成された
出力音声信号に基づいて、分離ワードモデルそして連続
ワードモデルが十分にあることを示すアクノリッジメン
トという形態のユーザの仲介を必要とする。ＵＳＰ4,78
3,808において開示されたシステムのもう一つの問題点
は、分離ワードモデルに対して一定の圧縮を実行するこ
とである。このような一定の圧縮処理は現実的でない
し、ある場合においては、分離ワードモデルとそのワー
ドを含む連続単語音声とのマッチングを低下させてしま
う。

【０００９】本発明は上記の問題に鑑みてなされたもの
であり、接続パターン中に現れる分離パターンに対応し
た部分の信号的特徴を容易に抽出可能とすることを目的
とする。

【００１０】また、本発明の目的は、上記のようにして
抽出された信号的特徴を用いて、接続されたパターンの
認識に適応しうる分離標準モデルを容易に構築可能とす
ることにある。特に、連続音声認識のための分離ワード
モデルの生成を容易化するとともに、その更新及び追加
をも極めて容易化することを目的とする。

【００１１】

【課題を解決するための手段】本発明の一態様によれ
ば、入力信号と、位置付けるべきパターンを含む複数の
標本的な信号を比較することによって、標本的入力信号
内においてパターンの位置を決定する方法及び装置が提
供される。

【００１２】本発明の一実施形態では、分離的に入力さ
れたときのパターンの、標本的入力信号内における位置
を決定する方法が提供される。この方法は、入力信号と
実質的にこの入力信号と同じパターンを含む複数の接続
パターンを表す信号との対応付けを行う工程を備える。
また、好ましくは、そのパターンは音声の部分を表すも
のである。

【００１３】この方法を用いて決定された位置は分離標
準モデルを決定するのに用いられる。すなわち、その検
出された位置から入力信号の特徴を抽出することで分離
標準モデルが決定され得る。更に、この分離標準モデル
はパターンの連続標準モデルを生成するのにも用いられ
得る。これは、分離標準モデルを、モデル化されるべき
パターンを含む複数の接続パターンを表す信号に対して
対応付けるアライメント処理を実行することで行なわれ
る。

【００１４】他の実施形態によれば、新たな入力フレー
ズに対処するために、音声認識システムにおいて用いる
ための言語モデルを適応させる方法が提供される。ここ
で、言語モデルは少なくともスタートノードとエンドノ
ードとを有し、（ａ）第１のワードをスタートノードの
出力に接続し、（ｂ）前記フレーズ中の最後のワードを
除く全てに対して、（ｉ）中間ノードを生成してその入
力に前記フレーズ中の現在のワードを接続し、（ii）前
記フレーズ中の次のワードを該中間ノードの出力側に追
加し、そして、（ｃ）最後のワードをエンドノードの入
力側に接続する。

【００１５】また、本発明の第２の態様によれば、エン
ドユーザが新しいワードを継続的にワードモデルに追加
できる連続単語音声認識システムが提供される。

【００１６】本発明の別の実施形態によれば、連続音声
認識装置が提供される。この装置は、認識されるべき信
号を入力する入力手段と、前記入力信号と複数の標準モ
デルとをマッチングするマッチング手段と、前記マッチ
ング手段に応答して、認識結果を提供する認識手段とを
備え、エンドユーザが継続的に新たな標準モデルを追加
することを可能とする手段を更に備えることを特徴とす
る。好ましい実施形態においては、音声認識システムは
さらに言語モデルを備える。この言語モデルは、出力さ
れるワードの許容シーケンスを限定し、エンドユーザに
よって更新され得る。

【００１７】

【発明の実施の形態】以下、添付の図面を参照して本発
明の一実施形態を説明する。

【００１８】本発明の実施形態はコンピュータのハード
ウェアで実施され得るが、以下に説明する実施形態は、
例えばパーソナルコンピュータ、ワークステーション、
複写機、ファクシミリ等の装置の処理ハードウェアとと
もに動作するソフトウェアにおいても用いられ得るもの
である。

【００１９】図１は、本発明の一実施形態を処理するよ
うに構成されたパーソナルコンピュータ（ＰＣ）１を示
す。キーボード３、ポインティングデバイス５、マイク
ロフォン７および電話線９は、インタフェース１１を介
して接続される。キーボード３およびポインティングデ
バイス５によって、ユーザはシステムを制御できる。マ
イクロフォン７は、ユーザの音響的音声信号をそれに相
当する電気信号に変換し、この電気信号をＰＣ１に処理
のために供給する。本実施形態において、処理されるべ
き入力音声の始点および終点は、入力発声音が継続され
ている間キーボード３上のスペースバーを押すことによ
って認識される。このような方法で、システムは認識さ
れるべき入力発声音を処理する。内蔵モデムおよび音声
受信回路（図示されていない）は電話線９に接続され、
ＰＣ１は、例えば遠隔地のコンピュータまたはユーザと
通信することができる。

【００２０】本発明で規定するようにＰＣ１を動作させ
るためのプログラム命令は、既存のＰＣで用いるために
磁気ディスク１３のような記憶装置上に供給されてもよ
いし、または電話線９を介してリモートコンピュータと
通信する内蔵モデムによって供給されてもよい。

【００２１】本実施形態の限定された語彙による連続音
声認識システムの処理を、図２を参照して説明する。例
えば、マイクロフォン７からの入力音声を示す電気信号
は、プリプロセッサ（PREPROCESSOR）１５に入力され
る。プリプロセッサ１５は、入力音声信号をパラメータ
フレームのシーケンスに変換する。ここで、各パラメー
タフレームは、入力音声信号に対応する時間フレームを
示すものである。次に、パラメータフレームのシーケン
スは、認識ブロック（RECOGNITION）１７に供給され
る。認識ブロック１７において、入力されたパラメータ
フレームのシーケンスを標準モデル即ちワードモデル
（WORD MODELS）１９と比較することによって、入力音
声が認識される。標準モデル、即ちワードモデル１９の
各モデルは、認識されるべき入力音声と同様の種類のパ
ラメータで表されるパラメータフレームのシーケンスで
構成されている。

【００２２】言語モデル（LANGUAGE MODEL）２１および
ノイズモデル（NOISE MODEL）２３も認識ブロック１７
に対する入力として供給され、認識プロセスにおいて用
いられる。本実施形態において、ノイズモデルは沈黙ま
たはバックグラウンドのノイズを示し、認識されるべき
入力音声信号のパラメータフレームと同様のタイプの１
つのパラメータフレームから構成される。言語モデル２
１が用いられ、システムに認知されたワードのシーケン
スに適応させるように、認識ブロック１７から出力され
たワードの取り得るシーケンスを制限する。認識ブロッ
ク１７から出力されたワードシーケンスはコピーされ、
例えばワードプロセッシングパッケージ等で用いられ
る。または、そのワードシーケンスは、オペレータコマ
ンドとして用いられ、ＰＣ１の動作を開始したり、中止
させたりまたは修正したりする。

【００２３】以下、上記の装置に関するより詳細な説明
を行う。

【００２４】＜プリプロセッサ＞プリプロセッサ１５に
ついて図３〜図１０を参照して説明する。

【００２５】プリプロセッサ１５の機能は、必要な情報
を音声から抽出することにより処理されるべきデータを
削減することである。音声分析の技術分野において、音
声を前処理する方法は多数知られており、以下に説明す
る方法は、一実施形態として示されているものである。
よって、以下に説明するような方法に限定されると解釈
されるべきではない。本実施形態において、プリプロセ
ッサ１５は、「フォルマント（formant）」関連情報を
抽出するように設計されている。フォルマントとは、ユ
ーザの声道の共振周波数として定義され、声道の変化に
したがって変化する。

【００２６】図３は、入力音声信号に対して行われる前
処理を示すブロック図である。マイクロフォン７または
電話線９からの入力音声Ｓ（ｔ）は、フィルタブロック
（FILTER）６１に供給され、入力音声信号内のあまり重
要でない情報を含む周波数を除去する。音声信号の中
で、もっとも重要な情報は、４ＫＨｚ以下の周波数に含
まれる。したがって、フィルタブロック６１は、４ＫＨ
ｚを上回るすべての周波数を除去する。その後、濾過音
声信号は、ＡＤコンバータ（ＡＤＣ）６３によって、デ
ィジタルサンプルに変換される。ナイキストサンプリン
グ基準にしたがって、ＡＤＣ６３は、８０００回／秒の
レートで濾過信号をサンプリングする。本実施形態にお
いて、全入力発声音声はディジタルサンプルに変換さ
れ、音声信号を処理するための次のステップの前に、バ
ッファ（図示されていない）に記憶される。

【００２７】入力音声が抽出された後、入力音声は、分
割ブロック（DIVISION INTO FLAMES）６５で互いに一部
が重なり合う等しい長さのフレームに分割される。入力
音声をフレームに分割する理由をより詳細に説明する。
上記のとおり、連続的に音声が発せられる間、フォルマ
ント関連情報は連続的に変化し、その変化の割合は、生
理学的抑制によって制限される音声発声器官の動作の割
合に直接的に関連する。したがって、変化するフォルマ
ント周波数を追跡するためには、音声信号は短時間の周
期または短いフレームで分析されなければならない。こ
の方法は、音声分析の技術分野において、「短時間」音
声分析として知られている。短時間分析を行う際、考慮
しなければならない点が２つある。すなわち、（ｉ）ど
のくらいの速度で、時間フレームが音声信号から抽出さ
れなければならないか、（ｉｉ）どのくらいの大きさの
時間フレームが用いられなければならないか、という２
点である。

【００２８】第１の考慮に関しては、音声発声器官の動
作速度に依存する。すなわち、重要なイベントを見逃さ
ないことを保証するとともに、適当な連続性を保証する
ようように、フレームは十分に近寄っている必要があ
る。本実施形態において、１つのフレームは１０ｍｓｅ
ｃに１回の割合で抽出される。第２の考慮に関しては、
フレーム間の音声信号の特性が一定になるような十分に
短い時間フレームと、フォルマントを区別するのに十分
な周波数を提供するのに十分に長い時間フレームとの間
の妥協しうる点で決定される。 本実施形態において、
フレームの長さは２０ｍｓｅｃであり、上記サンプリン
グ速度で、１つのフレームにつき１６０個のサンプルに
相当する。

【００２９】これらのフレームを音声サンプルから直接
抽出することによって発生させる場合、かなりの周波数
のひずみが生じる。したがって、このようなひずみを低
減するため、スムーズウィンドウ機能を用いるべきであ
る。ハミング（Hamming）、ハニング（Hanning）、ブラ
ックマン（Blackman）、バートレット（Bartlett）およ
びカイザー（Kaiser）等のようなウィンドウは多数存在
し、何れも適用可能である。これらすべてのウィンドウ
は、音声分析の当業者に知られている。本実施形態にお
いて、ハミングウィンドウが用いられ、これは以下の等
式によって表される。

【００３０】

【数１】

【００３１】ここで、Nsはウィンドウ内のサンプルの
数、すなわち、１６０個のサンプルを示す。

【００３２】図４は、本実施形態において行われる短時
間分析処理を詳細に示す図である。フレーム１（Flame
1）、すなわち、時刻ａと時刻ｂとの間の音声信号に、
上記の式（１）で求められるウィンドウ関数が乗算され
る。さらに、選択されたフレームの速度およびフレーム
の長さに従って、次のフレームであるフレーム２は、フ
レーム１の中間、すなわち時刻ｃから始まる。

【００３３】入力音声信号のフレームがいったん抽出さ
れると、ブロック６７（ＤＦＴ６７）においてフレーム
の離散フーリエ変換（ＤＦＴ）の振幅が計算される。す
なわち、｜Sk(f)｜が計算される。ここで、ｆは離散周
波数変数を示す。このプリプロセッサの多くの態様は、
人間の聴覚システムの動作をシミュレートするために設
計されているので、振幅情報のみが必要であり、入力音
声信号の位相に対しては比較的敏感でない。図５は、１
６０個のサンプル、すなわちｒ＝０，１，．．．１５９
から構成される１つのフレームSk(r)の典型的な音声信
号を示す。高速フーリエ変換（ＦＦＴ）アルゴリズムを
ＤＦＴの計算で有効に用いるため、フレームSk(r)内の
サンプルの数を２のべき乗まで増加させる必要がある。
これを達成する方法の１つとして、１６０個のサンプル
の後に９６個の０を追加し、２５６個のサンプルを得る
ことが挙げられる。この技術は「０の充填」として知ら
れ、音声分析の分野において公知であるので、これ以上
の説明はしない。

【００３４】Sk(r)のＤＦＴをコンピュータで演算する
場合、計算処理のために、スペクトルの第１の１２８個
のサンプルだけが必要である。なぜならば、音声は実際
の信号であり、後半の１２８個のサンプルは前半の１２
８個のサンプルの鏡像だからである。図６は、図５に示
されるフレームSk(r)内の音声信号のＤＦＴ｜ Sk(f)｜
の振幅の最初の１２８個のサンプルを示し、最終のサン
プルはサンプリング周波数の半分の周波数、すなわち、
４ＫＨｚの周波数で発生するものとなる。

【００３５】上記のとおり、プリプロセッサ１５の目的
は、データレートを低減し、入力音声信号の特定成分を
強調することである。１つのフレームにつき１２８個の
サンプルしか存在しないので、ＤＦＴによるデータレー
トの低減はわずかである。さらにデータレートを低減す
る方法の１つとして、スペクトルを等しい周波数帯に分
割し、各周波数帯内のサンプルを平均化することが挙げ
られる。すなわち、図６に示されるサンプルをフィルタ
バンクに通過させることである。

【００３６】人間の聴覚システムに関する研究によれ
ば、耳の周波数分解能が周波数が増加するとともに減少
することが示されている。従って、高周波数領域と比較
して低周波数領域の中に多くの周波数帯を有するフィル
タバンク、すなわち対数スペースフィルタバンクは、直
線スペースフィルタバンクよりも好ましい。なぜなら、
対数スペースフィルタバンクの方が知覚的に重要な情報
をより多く保持することができるからである。

【００３７】本実施形態において、４０個の周波数帯を
有するメルスペースフィルタバンク（MEL FILTER BAN
K）６９が用いられる。メルスケールは音声分析の分野
で公知であり、音声の知覚周波数を線形スケール上にマ
ップしようとする対数スケールである。図７は、メルス
ペースフィルタバンク６９の出力｜S~k(f')｜を示し、
図６に示されるサンプルがバンク６９を通過したときの
出力を示す。振幅スペクトルの結果エンベロープ１００
は、フィルタバンク６９の平均化効果のためにかなりな
めらかであるが、フィルタバンクの対数スペースのため
に低周波数帯ではなめらかではない。

【００３８】次に、フォルマント関連情報が、図３のブ
ロック７１、７３および７５を用いて、下記のプロセス
によって音声から抽出される。

【００３９】励起信号E(t)およびフィルタV(t)の項を用
いて、ユーザの音声信号S(t)をモデルにすることができ
る。ここで、励起信号E(t)は声道に入る空気流を示し、
フィルタV(t)は声道の濾過効果を示す。結果的に、音声
信号の周波数スペクトル｜S(f)｜の振幅は、励起信号の
周波数スペクトル｜E(f)｜の振幅と声道フィルタのスペ
クトル｜V(f)｜の振幅を乗算することによって求められ
る。すなわち、以下の（２）式によって求められる。

【００４０】

【数２】

【００４１】ケプストラム法（cepstral method）とし
て知られる方法、すなわち、音域情報を入力音声から抽
出する方法の一つを以下に示す。この方法は、音声振幅
応答｜S(f)｜の対数を取ることによって、音域フィルタ
振幅応答｜V(f)｜を励起振幅応答｜E(f)｜から分離する
ことを含む。この結果、励起および声道フィルタの特性
の和で表わされるようになる。すなわち、（３）式によ
って求められる。

【００４２】

【数３】

【００４３】図８は、メルフィルタバンク６９からのロ
グ出力のエンベロープ、すなわち、log｜S~k(f')｜を示
し、２つの成分１０１および１０３の加算性を図示する
ものである。成分１０１は、声道特性、すなわち、 log
｜V(f)｜を示す。成分１０３は、励起特性、すなわち、
log｜E(f)｜を示す。成分１０１のピークは、声道のフ
ォルマント周波数で発生する。また、成分１０３の等間
隔のピークは、話者のピッチのハーモニック周波数で発
生する。

【００４４】声道特性１０１は、ブロック（ＬＯＧ）７
１から出力されたサンプルに離散コサイン変換（ＤＣ
Ｔ）を行い、その結果をフィルタリングすることによっ
て、励起特性１０３から抽出できる。

【００４５】図９は、ＤＣＴブロック７３の出力を示
す。これは、ケプストラム（cepstrum）Ck(m)として知
られている。ケプストラムの独立変数（図９のｘ軸）は
時間の次元を有し、「クエフレンシ（quefrency）」と
名づけられている。図８に示される強い周期性を有する
成分１０３は、話者のピッチ周期Ｔに等しい位置で、ケ
プストラムのピーク１０５になる。また、図８に示され
るゆっくり変化する成分１０１は、ケプストラムの原点
付近の多数の小さいピーク１０に変換され、その位置お
よび振幅はフォルマントに依存する。

【００４６】音声の声道特性および励起特性がクエフレ
ンシスケール上の分離した部分にあらわれるので、これ
らは、濾過プロセスまたはケプストラム用語で言ういわ
ゆる「リフタリング（liftering）」プロセスによっ
て、互いに分離される。図９に示されるケプストラムCk
(m)は、１組の離散ケプストラム係数（discrete cepstr
al coefficient）（C0, C1, ... C39）から構成され
る。したがって、リフタリングは、１つの矩形ウィンド
ウによって達成されうる。しかしながら、信頼性が劣る
と考えられるスペクトルの部分を強調しないようにする
ため、より漸次的なウィンドウ機能が好ましい。本実施
形態において、以下のウィンドウ機能が、リフタリング
ブロック（LIFTERING）７５で用いられる。

【００４７】

【数４】

【００４８】ここで、 Ncは、リフタリングブロック７
５から各フレーム毎に出力されたケプストラム係数の所
望の個数であり、本実施形態では１２である。

【００４９】また、上記の１２個のケプストラム係数に
加えて、各フレーム内の音声信号のパワー、すなわち、
「フレームパワー」もまた計算される。これは、フレー
ム内の入力音声信号が発生音声信号に対応するか否かを
示すのに用いられるので、とりわけ重要な特徴である。
フレームパワーは、音声分析の分野では公知の一般的な
方法を用いて、図３に示されるフレームパワーブロック
（FRAME POWER）８１で計算される。変化しうる記録環
境や音の大きさ等に影響されないように、ブロック８１
で決定されたパワーは、パワー正規化ブロック（POWER
NORMALIZING）８３で正規化され、パワー係数Pkを求め
る。パワー係数Pkは、リフタリングブロック７５から出
力されたケプストラム係数に結合される。パワーは、バ
ッファ（図示されていない）に記憶された発声音全域に
わたって最大パワー（ｄＢ）を決定し、これを各フレー
ムのパワーから減じ、その結果と正規化定数とを掛ける
ことによって、ブロック８３で正規化される。

【００５０】本実施形態においては、各フレーム内の入
力音声信号のパワーが決定されるが、各フレーム内の入
力音声信号を示す他の値も用いられる。例えば、フレー
ム内の入力音声信号の平均振幅の尺度が決定され、正規
化され得る。

【００５１】以上のように、プリプロセッサ１５は、各
時間フレームで、１組の係数、すなわち、１２個のケプ
ストラム係数および１つのパワー係数を出力する。便宜
上、フレームｋを示す係数は、パラメータフレームｆk
として示され、次のフレームを示す係数は、パラメータ
フレームｆk+1等として示す。

【００５２】＜バッファ＞プリプロセッサ１５から出力
されたパラメータフレームｆkは、図２に示されるバッ
ファ（BUFFER）１６に供給される。本実施形態におい
て、バッファ１６は、ＡＤＣ６３から出力された入力音
声のディジタルサンプルを記憶するバッファ（図示され
ていない）に記憶された音声に関して生成されたすべて
のパラメータフレームを記憶するのに十分な容量を有す
る。全入力発声音がプリプロセッサ１５によって処理さ
れた後、バッファ１６に記憶されたパラメータフレーム
は、それらが受信された順番で認識ブロック１７に供給
され、入力発声音が認識される。

【００５３】＜標準モデル＞上記のとおり、どのワード
がプリプロセッサ１５からの出力信号によって表現され
ているかを決定するため、出力信号は記憶されている標
準モデルと比較される。この記憶された標準モデルは、
システムに既に認知されたワードおよびシステム周辺の
音響環境をモデルにしたものである。特定のワードに関
連する各モデルは、上記プリプロセッサ１５から出力さ
れたパラメータフレームと同じタイプのパラメータフレ
ームのシーケンスで構成される。しかしながら、ワード
モデルのフレームと認識されるべき入力発声音のフレー
ムとを区別するため、ワードモデルのフレームはステー
ト（state）と表現することにする。

【００５４】本実施形態による音声認識システムの１つ
の特徴は、ワードモデル、環境（または、ノイズ）モデ
ルまたは言語モデルがシステムに前もって記憶されてい
ないエンドユーザに供給され得ることである。これによ
って、ユーザは自由にシステムを学習させ、ユーザが必
要とするフレーズを認識させるようにすることができ
る。さらに、ユーザにとって有用でないワードが予め記
憶されていることで、システムが過負荷となることを防
止できる。さらに、以下の記載から明らかなように、記
載された特定の学習方法はこの状況において特に適して
いる。なぜならば、それは、学習のために費やされる時
間を必要とせずに新しいフレーズがシステムによって学
習されることを可能とするからである。さらに、標準モ
デルは、すべてのワードに対応し、音素には対応しない
ので、システムは、いかなる言語または言語の組み合わ
せに対しても動作する。学習プロセスを、図１０から図
１７を参照してより詳細に説明する。

【００５５】＜学習＞図１０は、学習プロセスで用いら
れる構築／更新モジュール（BUILD/UPDATE MODULE）９
１を示す概略図である。特に、構築／更新モジュール９
１は、システムによって学習されるべき１つ以上のワー
ドを示すパラメータフレームｆkのシーケンスと、矢印
９２で示される１つ以上の入力音声ワードに対応するテ
キストを示すユーザ情報とを受ける。十分な情報が構築
／更新モジュール９１に入力されると、入力ワードに対
応するワードモデルを発生し、言語モデル２１を更新す
る。本実施形態において、ワードモデルおよび言語モデ
ルの両方は、ハードディスク９３のような高容量のデー
タ記憶装置に記憶される。

【００５６】ノイズモデル２３が本実施形態において決
定される方法を以下に説明する。まず、ユーザは新しい
ノイズモデルを構築したり、または既存のノイズモデル
２３を変化させる必要があることを指示する。この指示
に応じて、システムは、ユーザに沈黙を示す音を入力す
るよう促す。この処理は、沈黙状態の間、ユーザがキー
ボード３上のスペースバーを押すことによって行われ
る。沈黙の周期の終わりには、ユーザはワードを発生し
なければならない。システムが沈黙を示すべく生成され
たパラメータフレームのパワー係数を正規化できるよう
にするためである。ユーザが沈黙の周期の終わりにワー
ドを発声しない場合、ノイズモデル２３のパワー係数が
非現実的に高くなり、非認識エラーが生じることにな
る。最後に、ノイズモデル２３を決定するため、システ
ムは沈黙の期間に対して生成されたパラメータフレーム
を平均化し、ノイズモデル２３として用いられる１つの
パラメータフレームを形成する。

【００５７】本実施形態の音声認識システムは、連続的
に発声されるワード、すなわち、フレーズ内に含まれる
ワードを認識するために設計されている。良い認識結果
を得るため、標準モデル（または、連続ワードモデル）
は、重要なワードを含むフレーズ例から得るべきであ
る。好ましくないことに、連続的に発声されたフレーズ
内のワードの始めと終わりを確認する作業は容易ではな
い。本実施形態が連続ワードモデルを発生させる方法の
概略を以下に示す。まず、システムは、分離的に発声さ
れたワードからワードモデルを決定する。このモデル
は、分離ワードモデルとして示す。しかし、音声認識の
当業者が以下の記載から理解するように、これらの分離
ワードモデルは、本技術分野における一般的な分離モデ
ルには相当しない。システムは分離ワードモデルを用
い、分離ワードモデルとそれに相当するワードを含むフ
レーズ例とを比較することによって、連続ワードモデル
を生成する。

【００５８】分離ワードモデルを生成するため、ワード
は、マイクロフォン７または電話線を介して分離的にシ
ステムに入力されなければならない。上記のとおり、ス
ペースバーが用いられ、各入力発声音を確認する。した
がって、分離的に発声されたワードの発声音を示すパラ
メータフレームのシーケンスは、沈黙に対応するパラメ
ータフレームをワードの始めと終わりに有する。次にシ
ステムは、分離ワードの発声音と当該ワードを含むフレ
ーズ例とを比較する。この比較によって、分離的発声音
内のワードのおよその始めと終わりを確認する。この始
点と終点は平均化され、そのワードに対する分離ワード
モデルは、確認された始点と終点との間にある平均化さ
れたパラメータフレームのシーケンスを抽出することに
よって、決定される。この方法で分離ワードモデルを決
定することによって、ワードの始めと終わりの沈黙を除
去するだけではなく、そのワードの部分であって、連続
的な発声音声の間において発音されない部分も除去され
る。したがって、本実施形態の分離ワードモデルは一般
的な分離的ワードモデルには対応せず、沈黙を入力発声
音の始めと終わりから除去することによって決定され、
連続音声が発せられているときのワードをより適切に表
すものとなる。

【００５９】いったん分離ワードモデルが決定される
と、フレーズ内の当該ワードの位置を確認するために、
当該ワードを含むフレーズ例と整合される。最後に、標
準ワードモデルまたは連続ワードモデルは、フレーズに
おける確認位置からの音声を抽出及び結合することによ
って、決定される。システムがワードモデルを生成する
方法の詳細について、以下に説明する。

【００６０】ユーザがシステムに１つ以上の新しいフレ
ーズを教えたい場合、図１１に示されるサブルーチンを
起動する。ステップＳ１で、ユーザは、新しいワードま
たはフレーズのテキストをキーボード３を介してシステ
ムに入力する。システムは、ステップＳ３において、そ
のワードまたはフレーズが既知のものであるか否かをチ
ェックし、そのワードまたはフレーズが未知のものであ
れば同じワードまたはフレーズをマイクロフォン７を介
して入力するようユーザに促す。そして、ステップＳ１
に入力されたワードまたはフレーズに対応するテキスト
に、マイクロフォン７を介して入力されたフレーズを関
連させる。次にステップＳ５において、ＰＣ１は、前も
って入力されていたすべてのテキストを用い、フレーズ
内のどのワードが（分離された状態で）既知となってい
るかをチェックし、未入力（未知）のワードをマイクロ
フォン７を介して入力するようユーザに促す。

【００６１】ステップＳ５の後、ユーザは、ステップＳ
７にて他の新しいワードまたはフレーズを入力するかど
うかを決定する。新たに入力する場合は、ステップＳ１
に戻る。他方、ユーザがこれ以上ワードを入力しないこ
とを決定した場合、処理はステップＳ９に移動する。ス
テップＳ９において、標準モデルは、システムに入力さ
れた少なくとも２つのフレーズに含まれる未知ワードに
ついて生成される。例えば、学習フレーズが入力されて
おらず、システムには標準モデルがまだ記憶されていな
い状態で、ユーザが「get an image（画像を得る）」お
よび「get theearth（接地する）」という２つのフレー
ズを入力し、ステップＳ７でユーザがこれ以上フレーズ
を入力する意志がないことを指示した場合を説明する。
この場合、入力フレーズの両方に含まれるワードは「ge
t（得る）」の１つだけなので、システムは「get」とい
うワードのワードモデルを生成するだけでよい。他方、
ユーザが「get an image（画像を得る）」というフレー
ズを２回入力する場合、システムは、当該フレーズ内の
各ワードの標準モデルを生成させ得る。さらに、上記の
前者の例を取れば、ユーザが「get an image（画像を得
る）」および「get the earth（接地する）」という２
つのフレーズを入力した後、第２の学習セッションで
「get the earth（接地する）」というフレーズを入力
した場合、「get（得る）」というワードは既に分離し
て入力されているので、システムは、ステップＳ５で
「get（得る）」というワードを入力する必要がないこ
とをユーザに伝える。さらに、「the（その）」及び
「アース（earth）」というワードはシステムに入力さ
れている２つのフレーズによって表されるので、システ
ムは「the（その）」及び「アース（earth）」というワ
ードの標準モデルを発生させることができる。この方法
で学習を進めることにより、ユーザはシステムをユーザ
にとって都合よく学習させることができる。

【００６２】図１２を参照すると、上記方法で入力され
た各フレーズは、フレーズ番号Ｐを付され、ハードディ
スク９３のフレーズアレー１１５に記憶される。同様
に、入力される各分離ワードにはワード番号Ｗが付さ
れ、ハードディスク９３のワードアレー１１７に記憶さ
れる。図１２に示されるように、フレーズアレー１１５
内の各フレーズＰは、自身に関連する次のようなデータ
を有する。すなわち、パラメータフレーム（PARAMETER
FRAMES）１２３、フレーズを形成するワードシーケンス
（PHRASE WORDS）１２５およびステータスフラグ（STAT
US）１２７を有する。ワードシーケンス１２５内の各ワ
ードは、自身に関連するテキスト（TEXT）１２９、フレ
ーズ番号Ｐ、ワード番号（WORD No.）１３１（すなわ
ち、フレーズ内のワードの位置）、フレーズ内のワード
の（最初は認知されていない）時間境界（TIME BOUNDRI
ES）１３３、およびワードアレー１１７内の対応するワ
ードＷを示すワードインデックス（WORD INDEX）１３５
を有する。

【００６３】ワードアレー１１７内の各分離ワードＷ
は、自身に関連する次のようなデータを有する。すなわ
ち、パラメータフレーム（PARAMETER FRAMES）１３７、
当該ワードが見出されたフレーズへの戻りを示す発声音
インデックス（UTTERANCE INDEX）１３９およびステー
タスフラグ（STATUS）１４１を有する。まず、分離ワー
ドおよび分離フレーズがシステムに入力されると、各ワ
ードまたはフレーズに関連するステータスフラグ１２７
および１４１は、それらがまだ処理されていないことを
示すFLEXIにセットされる。なお、時間境界１３３は、
フレーズのワードシーケンス内の各ワード毎に存在し、
UNKNOWN（未知）に設定される。

【００６４】次に、図１１のステップＳ９で行われる未
知ワードのワードモデルを生成するための処理の詳細を
図１２から図１６を参照して説明する。ここでは、学習
フレーズとして「get an image（画像を得る）」という
フレーズが２回、「get theearth（接地する）」という
フレーズが１回入力された場合を例として用いて説明す
る。したがって、フレーズアレー１１５には３つの要素
Ｐ１、Ｐ２およびＰ３が存在し、「get an image（画像
を得る）」という発声音声のフレーズが２つと「get th
e earth（接地する）」という発声音声のフレーズが１
つ含まれる。さらに、ワードアレー１１７には５つの要
素Ｗ１、Ｗ２、Ｗ３、Ｗ４、Ｗ５があり、上記２種類の
フレーズを構成するそれぞれ異なるワードが１つずつ含
まれる。上記のとおり、各フレーズおよび異なる各ワー
ドに対応するパラメータフレームのシーケンスは、フレ
ーズアレー１１５およびワードアレー１１７の各対応す
る要素毎に記憶される。

【００６５】図１３には、２つの「get an image（画像
を得る）」のフレーズの発声音を示す音声信号１５１お
よび１５３と、「get the earth（接地する）」のフレ
ーズの発声音を示す音声信号１５５とが示されている。
また、図１３には、「get（得る）」、「an（１つ
の）」および「image（画像）」という各ワードの分離
的発声音を示す発声信号１５７、１５９および１６１も
示されている。更に、図１３には、「get an image（画
像を得る）」の２つのフレーズの発声音に相当するパラ
メータフレーム１５２および１５４と、「get the eart
h（接地する）」のフレーズの発声音に相当するパラメ
ータフレーム１５６と、「得る（get）」、「１つの（a
n）」および「画像（image）」という各分離ワードの発
声音に相当するパラメータフレーム１５８、１６０、１
６２も示す。なお、「the（その）」および「earth（接
地）」というワードについては、それらが入力された２
つ以上のフレーズに含まれていないためワードモデルは
生成されない。従って、これら、「その（the）」およ
び「接地（earth）」というワードは、図１３には示さ
れていない。

【００６６】図１４は、各未知ワードのワードモデルを
生成するために必要な処理を詳細に示すフローチャート
である。ステップＳ２１で、未知ワードを含むフレーズ
に対応するパラメータフレームシーケンスが、分離して
発声された当該未知ワードに対応するパラメータフレー
ムシーケンスと関連付けられる。この関連付け処理に
は、フレキシブルダイナミックプログラミングアライン
メント処理が用いられる。このアラインメント処理は、
そのプロセスの初期段階における未知ワードの始点と終
点に関する情報の欠乏を緩和する、特に、各ワードの最
適アラインメントパスが始まらなければならない場所或
いは終わらなければならない場所を制限しないフレキシ
ブルダイナミックプログラミングアラインメントプロセ
スが用いられる。このフレキシブルダイナミックアライ
ンメントプロセスについては、ダイナミックプログラミ
ングアラインメントについて論じた後に、詳細に後述す
る。

【００６７】このフレキシブルダイナミックプログラミ
ングアラインメントの結果、未知ワードに対するパラメ
ータフレームシーケンス内の当該未知ワードのおよその
始点および終点が特定される。例えば、「get an image
（画像を得る）」というフレーズの第１の発声音に相当
するパラメータフレームシーケンス１５２が、未知ワー
ド「get（得る）」の発声音に相当するパラメータフレ
ームシーケンス１５８に関連付けられるとき、パラメー
タフレームシーケンス１５８内の始点および終点は上記
アラインメントの結果から確認される。上記のとおり、
始点前および終点後のパラメータフレームは、バックグ
ラウンドのノイズまたはフレーズ例におけるワードの発
音されない部分に相当しているので、除去される。

【００６８】ステップＳ２１において、学習フレーズ例
に対して行われるアラインメントでは、「get（得
る）」というワードの３組の始点および終点と（「ge
t」というワードは３つのフレーズに含まれているた
め）、「an（１つの）」と「image（画像）」のワード
の２組の始点および終点と（「an」と「image」のワー
ドは、２つのフレーズに示されているので）を確認す
る。ステップＳ２３で、それぞれの未知ワードの平均始
点および平均終点が決定され、平均スタートフレームの
前にあるフレームおよび平均エンドフレームの後にある
フレームが捨てられる。例えば、「get」というワード
をステップＳ２１で処理した後、３つのフレーズ１５
１、１５３、１５５を用いて確認された始点がそれぞれ
フレームｆ8W1、フレームｆ9W1、フレームｆ13W1である
場合、その平均はフレームｆ10W1（［８＋９＋１３］／
３）である。そして、フレームｆ10W1の前にあるパラメ
ータフレーム１５８のシーケンス内のすべてのフレーム
は、捨てられる。終点についても、捨てられるフレーム
がエンドフレームを越えるものであるという点を除い
て、上記した始点の場合と同様の手順が用いられる。そ
の結果、各ワードのパラメータフレームシーケンスは、
上記のワードの分離ワードモデルとなる。

【００６９】図１５は、「get」、「an」、「image」の
各ワードの分離ワードモデル音声信号１５７'、１５
９'、１６１'、およびそれぞれに対応するパラメータフ
レームシーケンス１５８'、１６０'、１６２'を示す。
処理のこの段階で、処理された各ワードのステータスフ
ラッグ１４１（図１２）は、FLEXIからCHOPPEDに変わ
る。なお、CHOPPEDは、未知ワードが始めと終わりが除
去されたフレームシーケンスを有していることを示す。

【００７０】次に、図１４に示されるステップＳ２５に
おいて、未知ワードを含むフレーズに対応するパラメー
タフレームシーケンスは、当該ワードの分離ワードモデ
ルのパラメータフレームシーケンスに関連付けられる。
例えば、「get」というワードが出現するフレーズの発
声音に対応するパラメータフレームシーケンス１５２、
１５４、１５６の各シーケンスと、「get」というワー
ドの分離ワードモデル１５８’に対応するパラメータフ
レームシーケンスとの整合がチェックされる。図１６
は、本例を行った対応付け（アラインメント）の結果を
示し、ここで破線は、フレーム間のアラインメントを示
す。例えば、パラメータフレームシーケンス１５２と分
離ワードモデルのパラメータフレームシーケンス１５
８’とのパラメータフレームのシーケンスとの間のアラ
インメントでは、フレームｆ2P1およびｆ3P1がフレーム
ｆ10W1に関連付けられ、フレームｆ4P1およびｆ5P1がフ
レームｆ11W1に関連付けられる等、アラインメントが確
立されている。

【００７１】次に、図１４のステップＳ２７において、
分離ワードモデルの個々のフレームを、フレーズに対応
するパラメータフレームのシーケンスからの関連フレー
ムの平均で置き換えることによって未知ワードの標準モ
デルが生成される。例えば、図１６に示される分離ワー
ドモデル１５８'のパラメータフレームシーケンスにお
いて、フレームｆ10W1は、フレームｆ2P1、 ｆ3P1、 ｆ
1P2、 ｆ2P3の平均に置き換えられる。また、フレーム
ｆ11W1は、フレームｆ4P1、 ｆ5P1、 ｆ2P2、ｆ3P2、ｆ
3P3の平均に置き換えられる。分離ワードモデルのフレ
ームの１つに関連付けられるフレームがフレーズに存在
しない場合、そのフレームは、隣接する置き換えられた
フレームの間を捕間するかまたはフレームから外挿する
ことによって得られるフレームに置き換えられる。例え
ば、図１６に示されるパラメータフレーム１５８'のシ
ーケンスにおいて、フレームｆ12W1は、パラメータフレ
ームシーケンス１５２、１５４または１５６内のいずれ
のフレームにも関連付けられない。従って、ｆ12W1は、
ｆ11W1、ｆ13W1の置換後のフレームで捕間することに
よって得られたフレームに置き換えられる。或いは、分
離ワードモデル内における、入力フレーズのいずれのフ
レームにも関連しないフレームを捨てるように構成して
も良い。

【００７２】ステップＳ２７で生成された基準ワードモ
デルは、システムの音声認識部で用いられるものであ
り、その詳細を以下に示す。なお、処理された各ワード
のステータスフラグ１４１は、CHOPPEDからIN-USEに変
化する。

【００７３】いったん標準ワードモデルがフレーズ内の
すべてのワードについて生成されると、フレーズは、図
２に示される言語モデル２１に追加される。本実施形態
において、言語モデル２１は、バイグラムモデル（Bigr
am Model）と同様で、網目上に相互に接続するノードを
備える。ここで、相互接続は、システムに既知となった
ワードを示す。しかしながら、この相互接続には、例え
ば、正しい英語の用法に関する文法規則は含まれていな
い。すなわち、システムに認知されたフレーズに従っ
て、どのワードが他のどのワードに続くかを制限するだ
けである。図１７ａは、以下の各フレーズがシステムに
よって学習されたときに取り出される言語モデル２１を
示す。

【００７４】

【表１】

【００７５】図１７ａに示されるように、スタートノー
ドＮ0、エンドノードＮn、８個の中間ノードＮ1からＮ8
がある。認識されるべき入力フレーズのために、システ
ムは、スタートノードＮ0からエンドノードＮnまでのパ
スを見つけなければならない。しかしながら、システム
は一度学習されると妥当な程度にフレキシブルになり、
ユーザが「make it smaller」というフレーズの代わり
に「make smaller」と入力しても、システムはその入力
されたフレーズを認識することができる。しかしなが
ら、フレーズの個々のワードが既知であっても、そのフ
レーズがシステムに認知されていない場合、システムは
フレーズを認識しない。例えば、上記の言語モデルにお
いて、ユーザが「save the image」と言った場合、たと
えシステムにとって「save」、「the」、「image」の各
ワードが既知であっても、システムはこの入力フレーズ
（「save the image」）を認識しない。

【００７６】言語モデル２１は、図１１のステップＳ３
で入力されたテキストによって示される必要なワードの
シーケンスを抽出することによって作成され、各新しい
フレーズが入力された後に更新され、フレーズ内の各ワ
ードにはワードモデルが提供される。言語モデル２１を
更新する方法について、図１７ｂを参照して以下に説明
する。

【００７７】新しいフレーズが入力され、入力フレーズ
の各ワードに対応するワードモデルが決定されると、ス
テップＳ３０においてシステムは、フレーズの第１のワ
ードがスタートノードＮ0の出力に接続されているかど
うかを判断する。接続されている場合、処理はステップ
Ｓ３２に進む。他方、第１のワードがスタートノードＮ
0の出力にまだ接続されていない場合は、ステップＳ３
１でスタートノードＮ0からの新しい出力として第１の
ワードが追加される。

【００７８】処理はステップＳ３２に進み、ここでシス
テムはワードループカウンタｗを初期化する。以降の処
理で、システムは、このワードループカウンタｗを用い
て、当該フレーズ内の全ワードを数える。処理はステッ
プＳ３３に進み、ここでシステムはワードｗが当該フレ
ーズの最後のワードか否かを判断する。ワードｗが最後
のワードでない場合、処理はステップＳ３４に進み、ワ
ードｗがノード（エンドノードＮnを除いた）の入力に
接続されているか否かを判断する。接続されていれば処
理はステップＳ３６に進み、ここでシステムは、次のワ
ードｗ＋１がワードｗを入力として有するノードの出力
に接続されているかどうかをチェックする。他方、ステ
ップＳ３４で、ワードｗがいずれのノードの入力にも接
続されていないとシステムが判断した場合、処理はステ
ップＳ３５に進み、ここで新しいノードが作成され、ワ
ードｗは、新しいノードの入力に接続される。それか
ら、上記のとおり、処理はステップＳ３６に進む。

【００７９】ステップＳ３６で、次のワードｗ＋１がワ
ードｗを入力として有するノードの出力に接続されてい
ないとシステムが判断した場合、処理はステップＳ３７
に進む。ステップＳ３７では、次のワードｗ＋１が当該
ノードの出力として追加される。一方、ステップＳ３６
で、次のワードｗ＋１が既にワードｗを入力として有す
るノードの出力に接続されているとシステムが判断した
場合は、そのままステップＳ３８に進み、ここでワード
カウンタｗがインクリメントされる。そして、処理はス
テップＳ３３に戻り、入力フレーズの次のワードに対し
て同様の処理が行われる。また、ステップＳ３３で、ワ
ードｗがフレーズの最後のワードであることを判定され
た場合、処理はステップＳ３９に進む。ステップＳ３９
において、システムは、最後のワードがエンドノードＮ
nの入力に接続されているか否かを判断する。最後のワ
ードがエンドノードＮnの入力に接続されていない場
合、処理はステップＳ４０に進み、ここでシステムは、
フレーズの最後のワードをエンドノードＮnの入力に接
続する。最後のワードがエンドノードＮnに既に接続さ
れているか、またはステップＳ４０で最後のワードがエ
ンドノードＮnに接続されると、本処理を完了し、処理
された入力フレーズは言語モデル２１の一部を形成する
ことになる。

【００８０】本学習プロセスの特徴の１つは、システム
に個々にフレーズを学習させることもできるし、一度に
多数のフレーズを学習させることもできる。新しいフレ
ーズが入力され、この時点でシステムが既にフレーズ内
のいくつかのワードのワードモデルを有する場合、シス
テムは言語モデル２１を更新する前に、当該フレーズの
未知ワードについてワードモデルを生成する必要があ
る。

【００８１】＜ダイナミックプログラミング（ＤＰ）＞
図１４のステップＳ２１およびＳ２５で行われる処理に
おいて、フレーズのパラメータフレームとワードのパラ
メータフレームとを関連付けるために、アラインメント
処理が用いられた。より効果的な方法で２つのシーケン
スを関連させるため、アラインメントプロセスは、例え
ば、ワードが分離して発せられたり、ワードが連続的に
発せられるフレーズに含まれる場合に生じるワードの発
声速度の差を補償することが要求される。上記のダイナ
ミックプログラミング（ＤＰ）のアラインメントプロセ
スは、あるワードを別のワードに合致させる一つの方法
である。これは、最適な非線形の時間スケールのひずみ
を適用して、すべての時点で最適にマッチさせる方法で
行われる。

【００８２】ＤＰマッチングプロセスの概略を、図１８
から図２０を参照して以下に説明する。図１８は、横座
標方向に入力ワードを示すパラメータフレームのシーケ
ンスを示し、縦座標方向にワードモデルを示すパラメー
タフレームのシーケンスを示す。本例を図１４のステッ
プＳ２５で行われる処理と比較すると、入力ワードを示
すパラメータフレームは、入力フレーズの１つに相当す
るパラメータフレームシーケンスの一部分を示す。ま
た、ワードモデルを示すパラメータフレームシーケンス
は、切り出されたワードの１つに相当するフレームシー
ケンスを示す。

【００８３】ワードモデルと入力ワードとのトータル的
な違いを見つけるため、図１８の左下隅と右上隅との間
のあらゆるパスに沿って最短累積距離が得られる数対の
フレームに関してすべての距離の和を求める必要があ
る。この限定は、類似するワードの対応するフレームが
正しく関連付けられることを保証する。このような総距
離を計算する１つの方法は、すべてのありうるパスを考
慮し、各パスに沿った各点のｄ（ｋ，ｊ）の値（フレー
ムｋとフレームｊとの間の距離）を加算することであ
る。２つのワードの間で評価された距離の最小値を取
り、累積距離を求める。この方法は正しい答えを与える
が、有効パスの数が増加するので、実用的な音声認識シ
ステムのためのコンピュータ処理は不可能となる。

【００８４】ダイナミックプログラミングは数学的技術
であり、すべての取り得るパスの距離を計算することは
行わずに、最適なパスの累積距離を求めることができ
る。累積距離が計算されるべきパスの数は、さらにＤＰ
プロセスを制限することによって、低減される。例え
ば、最適パスは負の傾斜にはなり得ない。負方向の傾斜
に進む場合、ワードの１つは他のワードの時間を逆にさ
かのぼる状態になる。ＤＰプロセスに対するもう１つの
制限は、基準ワードに対する入力ワードの時間圧縮／拡
張の最大量を制限することである。本実施形態におい
て、この制限は、マッチングプロセスで飛ばされたりま
たは繰り返されるフレームの数を制限することによっ
て、実現される。例えば、図１９において、フレームシ
ーケンスは、フレームｆkがフレームｆjmに合致する場
合、フレームｆk+1がフレームｆjm、ｆj+1m、ｆj+2mま
たはｆj+3mに合致するように制限される。したがって、
入力ワードのフレームｆkおよびワードモデルのフレー
ムｆjmが最適パス上にある場合、上記制限において、最
適パス上で直ちに処理する点は、図２０に示すように、
（ｋ−１，ｊ）、（ｋ−１，ｊ−１）、（ｋ−１，ｊ−
２）、（ ｋ−１，ｊ−３）のいずれかである。

【００８５】図１８は、フレームｆk-1まで伝わる「有
効パス」を示し、入力ワードとワードモデルとの間のマ
ッチング候補を示す。フレームｆkが認識ブロック１７
に入力されるとき、各有効パスは、現フレームｆkと有
効パスの最後にあるワードモデルのフレームとの間の局
部距離を有する。この局部距離は累積距離に追加される
べきものである。多数のパスが同じ点で出会う場合、最
短の累積距離の有効パスが継続され、他のパスは捨てら
れる。例えば、図１８で、パスＡ、Ｂ、Ｃは点（ｋ，
ｊ）で出会うが、最短累積距離を有するパス（Ａ、Ｂま
たはＣのいずれか）は継続され、その他の２つのパスは
捨てられる。

【００８６】したがって、Ｄ（ｋ，ｊ）を、ワードの始
めから点（ｋ，ｊ）までの有効パスに沿った累積距離と
すれば、

【００８７】

【数５】

【００８８】で表される。

【００８９】また、上述した制限は以下のとおりであ
る。すなわち、

【００９０】

【数６】

【００９１】となる。

【００９２】上記制限で、Ｄ（０，０）の値は、ｄ
（０，０）、ｄ（１，０）、ｄ（２，０）またはｄ
（３，０）と等しくなければならず、すべてのパスはこ
れらの点のうちの１つから始まらなければならない。し
たがって、始点の１つから始め、Ｄ（ｋ，ｊ）の値は、
帰納的な処理ルーチンを介して決定され得る。ルーチン
がマッチングされるべきワードの終わりに到達すると、
ＤＰプロセスによって計算された最小累積距離は、２つ
のワードをマッチさせる最適なパスのスコアを示す。認
識されるべき入力発声音がワードシーケンスから構成さ
れる場合、採用された方向を示すバックポインタが用い
られなければならない。ＤＰプロセスが最適のパスの終
わりを示した後、そのバックポインタで戻りながら跡を
たどることによって、入力発声音を認識することができ
るようにするためである。

【００９３】上記のＤＰプロセスは、すべてのパスを網
羅して探索することと比較して、大幅にコンピュータ処
理の付加を低減するが、各入力ワードとのマッチングを
行うために多数のワードモデルと比較しなければならな
い場合、他のコンピュータ処理も重要となり得る。した
がって、認識結果の精度に大した影響を及ぼさないコン
ピュータ処理を省略することは望ましい。可能なコンピ
ュータ処理の省略は、スコアの悪いパスが必要以上に形
成されることを防ぐことである。成長するパスが木の枝
に似ているので、この処理は「刈り込み（pruning）」
として知られている。このようにパスの刈り込みによっ
て、最適パスの両側の候補パスを含むパスの狭帯のみが
考慮される。このような借り込みが用いられる部分で
は、ダイナミックプログラミングプロセスが最適のパス
を確実に見つけるとは限らないことが認められる。しか
しながら、刈り込みしきい値を用いて、例えば５〜１０
の要因でコンピュータ処理の平均量を低減し、ワードが
よく類似する場合であれば殆ど常時正しいパスが求めら
れる。

【００９４】なお、本実施形態において、図２に示され
る認識ブロック１７は、上記と同様のダイナミックプロ
グラミングマッチングプロセスを用い、ワードモデル１
９およびノイズモデル２３で認識されるべき発声音のパ
ラメータフレームのシーケンスのマッチングを行う。

【００９５】＜認識検索＞本実施形態による音声認識シ
ステムのもう１つの特徴は、ダイナミックプログラミン
グプロセスが行われる方法にある。特に、本実施形態
は、上記等式（６）で行われた最小値の計算、すなわ
ち、以下の式（７）が処理される現フレームｆkに影響
されないことを利用する。したがって、前フレームｆk-
1が処理されるとき、等式（６）のこの部分が計算され
る。

【００９６】

【数７】

【００９７】ダイナミックプログラミングプロセスを実
施する方法を、図２１〜図３１を参照して以下に説明す
る。

【００９８】図２１は、認識すべき入力発声音を入力し
た際に、認識ブロック１７で行われる処理を示すフロー
チャートである。システムは、プリプロセッサ１５によ
って生成された入力発声音のパラメータフレームシーケ
ンスを処理する。フレームカウンタ変数ｋはこの処理に
供され、変数ｋは、ステップＳ４１で０に初期化され、
各フレームが処理される毎にステップＳ６１で順次イン
クリメントされる。処理される各フレームは、ステップ
Ｓ４７で用いられ、各ワードモデル内の他の有効パスの
累積距離を更新する。ワードカウンタｗはこの処理に供
され、ステップＳ４３で０に初期化され、ステップＳ４
７の後、ステップＳ４９でインクリメントされる。ステ
ップＳ４５で、システムは、現フレームを用いて、すべ
てのワードモデルが処理されたかどうかをチェックす
る。すなわち、システムは、ワードカウンタｗがシステ
ムに認識されたワードの数ｎwを下回るかどうかをチェ
ックする。

【００９９】現フレームｆkを用いて、全ワードモデル
がいったん処理されると、処理はステップＳ５１に進
み、ここで図１７ａに示される言語モデル２１のノード
が、現フレームを用いて処理される。ステップＳ５１で
行われる処理は、現パラメータフレームが、入力音声の
始めと終わりまたは入力音声の許されたワードシーケン
ス間の沈黙に対応するという状況を処理する。また、こ
の処理は、有効パスが、許容されたワードシーケンスの
範囲に沿って成長するのを保証する。

【０１００】ステップＳ５１でノードが処理された後、
各ワードモデルの始め、即ち「エントリステート」の１
つで終わる有効パスの累積距離がステップＳ５７で更新
される。この処理は、現パラメータフレームｆkがある
ワードモデルの終わりにマッチングするときに、次のパ
ラメータフレームｆk+1が他のワードモデルの始めに合
致するという状況に対処する。これを達成するため、ワ
ードカウンタｗは、ステップＳ５３で再度初期化され
る。ステップＳ５５でシステムは、すべてのワードモデ
ルが処理されているかどうかをチェックする。ステップ
Ｓ５７でシステムは、現ワードモデルのエントリステー
トに対する累積距離を更新し、ワードカウンタｗが、ス
テップＳ５９でインクリメントされる。そして処理は、
ステップＳ５５に戻る。

【０１０１】すべてのワードモデルが現パラメータフレ
ームｆkについて処理された後、パラメータフレームカ
ウンタ変数ｋは、ステップＳ６１でインクリメントされ
る。ステップＳ６３でシステムは、処理されるべき入力
発声音がこれ以上存在するかどうかを判断する。これは
ステップＳ６３で変数ｋをシステム限界（ＬＩＭＩＴ）
及び音声終了識別子（ＥＯＳ）と比較することによっ
て、この処理は行われる。システム限界は、図３に示さ
れるＡＤＣ６３から出力された音声サンプルを記憶する
ために用いられるバッファの容量によって決定される。

【０１０２】入力発声音のすべてのパラメータフレーム
が処理された場合、ＤＰプロセスが完了し、回帰アルゴ
リズムを用いて最適パスを決定し、それによって、認識
結果を決定する。他方、ステップＳ６３でシステムが処
理されるべきパラメータフレームがさらに存在すると判
断された場合、ステップＳ６５でシステムは刈り込みし
きい値を調整し、ステップＳ４３に戻る。刈り込みしき
い値Ｔｈは、次の入力フレームが処理されるとき、ステ
ップＳ４７、Ｓ５１、Ｓ５７で処理される有効パスの数
を制限するべくステップＳ６５で調整される。

【０１０３】図２１のステップＳ４７で行われる処理の
詳細を、ワードモデルの特定の例を示す図２２から図２
６を参照して以下に説明する。図２２は、ワードモデル
２０１の一例を示す。特に例示されているワードモデル
２０１は、学習セッションの間に得られたステートＳ0
〜Ｓ9のシーケンスと、ワードモデル２０１の終わりの
出口ステートＳDとを備える。これらの目的を以下に説
明する。

【０１０４】ワードモデル（WORD）２０１の各ステート
Ｓは、そのステートで終わる有効パスの累積距離を記憶
する累積距離記憶Ｄ[Ｓ]を有する。本実施形態におい
て、ワードモデル２０１は、現フレームｆkの現アクテ
ィブリスト（ACTIVE LIST）２０３を有する。ここで、
現アクティブリストは、現フレームｆkの有効パスの終
わりにあるワードモデルのステートを降順に登録する。
したがって、現アクティブリスト２０３の各ステート
は、そのステートで終わる各有効パスの累積距離を記憶
する。この例において、現フレームｆkの現アクティブ
リスト２０３は、ステートＳ7、Ｓ5、Ｓ4、Ｓ3、Ｓ2、
Ｓ1、Ｓ0を登録している。現アクティブリスト２０３に
掲載されたステートはアクティブステートとして示され
る。本実施形態において、ワードモデル２０１は、関連
付けられた新アクティブリスト（NEW ACTIVE LIST）２
０５も有する。この新アクティブリスト２０５は、ステ
ップＳ４７で行われる処理の間に完成し、次のフレーム
ｆk+1のための有効パスの終わりにおけるワードモデル
２０１のステートを登録する。

【０１０５】現アクティブリスト２０３および新アクテ
ィブリスト２０５の重要性を図２３を参照して説明す
る。図２３は、ｐ１〜ｐ７の７つの有効パスを示し、７
つの有効パスは、入力されたワードとワードモデル２０
１との間の現フレームｆkまでの７つのマッチング候補
を示す。図示されるとおり、７つの有効パスｐ１〜ｐ７
はそれぞれ、ワードモデル２０１のステートＳ7、Ｓ5、
Ｓ4、Ｓ3、Ｓ2、Ｓ1、Ｓ0で終わっている。現アクティ
ブリスト２０３で降順に登録されているのは、これら有
効パスの終わりのステートである。新アクティブリスト
２０５に登録すべきステートを決定するため、すなわ
ち、次の入力フレームｆk+1に残るパスを決定するた
め、ある入力パラメータフレームから他のパラメータフ
レームへの移行が許可されている状態を考慮しなければ
ならない。

【０１０６】入力発声音に対する標準モデルの時間圧縮
の最大量は、入力発声音の隣接するフレーム間において
スキップできるステートの最大数によって決定される。
本実施形態において、この最大数は２に設定される。す
なわち、ＤＰプロセスは、図１９に示される状態遷移図
に従う。入力発声音に対する標準モデルの時間伸長の最
大量は、同じステートにマッチし得る連続した入力フレ
ームの最大数によって決定される。本実施形態において
は、続いて入力される２つの連続フレームが同じステー
トにマッチし得る。これらの状態を監視するため、各ス
テートＳは、関連する自己反復カウンタ、すなわち、SE
LFを有する。SELFは、対応する有効パスが入力フレーム
ｆkから次のフレームｆk+1が同じステートで終わる度に
インクリメントされる。したがって、例えば、パスｐ５
は、図２３に破線で示されるパス２０７の１つまたはす
べてに沿って伝わる。図２３に示される他のパスｐ１〜
ｐ４およびｐ６、ｐ７も、同様の方法で伝わる。２つ以
上のパスが同じ点で合う場合、最小の累積距離を有する
パスが維持され、他のパスは捨てられる。さらに、パス
の累積距離が刈り込みしきい値より大きい場合、このパ
スも捨てられる。このように、新しいパスが連続的に作
成され、一方、他のパスは捨てられる。刈り込みしきい
値の目的は、各入力パラメータフレームのために処理さ
れる有効パスの数を制限し、それによって、アルゴリズ
ムに必要な時間量およびメモリを制限することである。

【０１０７】図２４は、図２１のステップＳ４７で行わ
れる処理ステップを詳細に示す。まず、ステップＳ７１
でポインタＬＡが初期化される。また、ワードモデル２
０１の出口ステートに記憶される累積距離、すなわちＤ
［ＳD］は、大きい値を示すHUGEに設定される。ポイン
タＬＡは、新アクティブリスト２０５に登録された最後
のアクティブステートを示すのに用いられる。最初、新
アクティブリスト２０５にはアクティブステートがな
く、従って、ポインタＬＡは、出口ステートＳDを示す
ように設定される。ステップＳ７３でシステムは、現ア
クティブリスト２０３にアクティブなステートがあるか
どうかをチェックする。言い換えれば、現ワードにおけ
る、現フレームｆkで終わる有効パスがあるかどうかチ
ェックする。本例では、現アクティブリスト２０３には
７つのアクティブステートがあり、システムは各アクテ
ィブステートを順次処理する。カウント変数ｉが与えら
れ、カウント変数ｉは、現アクティブリスト２０３にお
けるアクティブステートすべてをカウントするために用
いられる。カウント変数ｉは、ステップＳ７５で０に設
定され、現アクティブリスト２０３の全アクティブステ
ートが処理されるまで、ステップＳ７９でインクリメン
トされる。システムは、ステップＳ８１でカウント変数
ｉと現アクティブリスト２０３のアクティブステートの
数ｎａとを比較することによって、すべてのアクティブ
ステートが処理されたかどうかを判断する。

【０１０８】現アクティブリスト２０３のすべてのアク
ティブステートがいったん処理されると、ステップＳ７
７の処理の間に発生された新アクティブリスト２０５
が、ステップＳ８３にて、処理されるべき入力発声音の
次のフレームｆk+1の現アクティブリスト２０３に置き
換えられる。実際には、２つのアクティブリストを示す
ために用いられるポインタを交換することによってこの
処理は行われる。古くなった現アクティブリストは、次
の入力フレームｆk+1の処理中に新アクティブリストと
して上書きされる。最後に、ステップＳ８５において、
アクティブステートになり、新アクティブリスト２０５
に登録された、ポインタＬＡによって示される最終ステ
ートが図２１に示されるステップＳ５７で用いるために
格納される。

【０１０９】ステップＳ７７で行われる処理の概略を、
アクティブステートＳ7、Ｓ5を例に揚げて説明する。図
２３に示されるように、アクティブステートＳ7、Ｓ5は
それぞれ、パスｐ１、ｐ２の終わりである。図２５は、
２つの有効パスｐ１、ｐ２の一部分を示し、有効パスｐ
１、ｐ２はそれぞれ、現フレームｆkのアクティブステ
ートＳ7、Ｓ5で終わる。図２５の破線は、各２つのパス
ｐ１、ｐ２が次のフレームｆk+1に伝わり得る態様を示
す。破線２１３で示すように、パスｐ１は、フレームｆ
k+1で他のワードに拡張することができる。したがっ
て、（アクティブステートＳ7に記憶される）パスｐ１
の累積距離は、出口ステートＳDに複写される。破線２
１５、２１７、２１９で示すように、パスｐ１は、ステ
ートＳ9、Ｓ8、Ｓ7のそれぞれにも伝わり得る。したが
って、パスｐ１の累積距離がステートＳ9、Ｓ8、Ｓ7に
複写される。更に、ステートＳ9、Ｓ8、Ｓ7は、降順に
新アクティブリスト２０５に追加され（ただし、入力フ
レームと比較されず、当該ワードを離れる全てのパスの
最短累積距離を記憶するためだけに用いられる出口ステ
ートは追加されない）、最終アクティブポインタＬＡ
は、最後に追加されたステート（すなわち、ステートＳ
7）を示すように設定される。

【０１１０】図２６ａは、現アクティブリスト２０３の
第１のステートＳ7が処理された後の新アクティブリス
ト２０５を示す。図示されるように、ステートＳ9、Ｓ
8、Ｓ7はそれぞれ、新アクティブリスト２０５の最初の
３つの要素で、最終アクティブポインタＬＡは、ステー
トＳ7を示す。

【０１１１】図２５をもう一度参照すると、破線２２
１、２２３、２２５、２２７で示すように、パスｐ２
は、ステートＳ8、Ｓ7、Ｓ6、Ｓ5それぞれに伝わリ得
る。しかしながら、２つのステートＳ8、Ｓ7は次のフレ
ームｆk+1のために記憶された累積距離をすでに有する
ので、パスｐ２の累積距離を単に各ステートにコピーす
るという処理だけではない。すなわち、これら２つのス
テートＳ8、Ｓ7では、すでに記憶されている累積距離と
パスｐ２に関連する累積距離とを比較し、最小の累積距
離がこれら２つのステートにコピーされることになる。
言い換えれば、図２３に示されるパスのステートＳ8、
Ｓ7に記憶されるべき累積距離は、アクティブステート
Ｓ5を処理した後に、min(D[S7], D[S5])によって求めら
れる。一方アクティブステートＳ5に記憶された累積距
離はステートＳ6に直接に複写される。ステートＳ6に
は、次のフレームｆk+1に対する累積距離が記憶されて
いないからである。２つのステートＳ6、Ｓ5は、新アク
ティブリスト２０５に追加され、最終アクティブポイン
タＬＡは、ステートＳ5を示すように設定される。

【０１１２】図２６ｂは、現アクティブリスト２０３の
第２番目のアクティブステートＳ5が処理された後の新
アクティブリスト２０５を示す。図示されるように、ス
テートＳ8、Ｓ7、Ｓ6、Ｓ5はそれぞれ、新アクティブリ
スト２０５の最初の５つの要素となり、最終アクティブ
ポインタＬＡは、ステートＳ5を示す。現アクティブリ
スト２０３の他のアクティブステートも同様の方法で処
理され、処理は図２１で示されるステップＳ４９に進
み、ここでワードカウントがインクリメントされる。

【０１１３】最終アクティブポインタＬＡが設けられて
いるので、システムは比較処理を必要とするステートお
よび比較を必要としないステートを確認するために新ア
クティブリスト２０５を検査する必要が無くなる。即
ち、ステートがアクティブポインタＬＡによって示され
たステート番号と等しいかまたは上回る場合、比較処理
が必要であることがわかる。また、ステート番号よりも
下回る場合、累積距離がそのステートにコピーされれば
よい。

【０１１４】図２４に示されるステップＳ７７で行われ
る処理を、図２２に示されるワードモデル２０１の例を
用いて、図２７ａおよび図２７ｂを参照して詳細に説明
する。ステップＳ７７でｉ＝０の場合に、処理をしなけ
ればならない第１のアクティブステートＳは、ステート
Ｓ7である。したがって、図２７ａのステップＳ９１
で、システムは、ステートＳ7で終わる有効パスの累積
距離が刈り込みしきい値Ｔｈを下回るかどうかをチェッ
クする、すなわち、Ｄ［Ｓ7］はＴｈと比較される。 Ｄ
［Ｓ7］が刈り込みしきい値Ｔｈを上回る場合、このパ
スは捨てられ、処理は、図２４に示されるステップＳ７
９に移行する。 Ｄ［Ｓ7］が刈り込みしきい値Ｔｈを下
回る場合、処理は、ステップＳ９２に進み、ここで現フ
レームｆkのために処理されるアクティブステートの総
数を数えるために用いられる変数ACOUNTをインクリメン
トする。ステップＳ９３で、システムは、処理中である
現アクティブステートＳ7と処理中である現フレームｆk
との間の局部距離を計算し、この計算結果を累積距離Ｄ
［Ｓ7］に加算する。

【０１１５】本実施形態においては、以下のユークリッ
ドの距離公式を用い、現フレームｆkと現アクティブス
テートＳとの間の局部距離の値を得る。

【０１１６】

【数８】

【０１１７】累積距離Ｄ［Ｓ7］がステップＳ９３で更
新された後、ステップＳ９５でシステムは、現アクティ
ブステートＳ7で終わる有効パスが次の入力フレームｆk
+1でワードから離れ得るかどうかをチェックする。上記
ＤＰの制限によって、この処理では、処理される現アク
ティブステートＳの先の３つ目のステートがワードモデ
ル２０１の最後のステートの先に進むかどうかを決定し
て示す。本例では、現アクティブステートＳ7の先の３
つのステートが最後のステートＳ9を過ぎているので、
ステップＳ９７に進み、ワードモデル２０１の終わりで
ある出口ステートＳDを示すようにポインタｊが設定さ
れる。ステップＳ１０１で、ポインタｊによって示され
るステートが最終アクティブポインタＬＡによって示さ
れるステートと比較される。この処理は（現時点で
は）、処理されるべき現アクティブリスト２０３内の第
１番目のアクティブステートであるので、最終アクティ
ブポインタＬＡは、出口ステートＳDを示している（図
２４に示されるステップＳ７１を参照）。したがって、
処理はステップＳ１０３に進み、ここでポインタｊによ
って示されたステート、すなわち、出口ステートＳDに
記憶された累積距離が、処理される現アクティブステー
トＳ7で終わる有効パスｐ１の累積距離と比較される。

【０１１８】図２４のステップＳ７１で、出口ステー
ト、すなわち、Ｄ［ＳD］に記憶された累積距離は、大
きな値を示すHUGEに設定されている。したがって、累積
距離は、処理される現アクティブステートＳ7に記憶さ
れている累積距離を上回る。結果的に、処理は、ステッ
プＳ１０５に進み、ここでＤ［Ｓ7］がＤ［ＳD］にコピ
ーされる。次に、ステップＳ１０７で、ポインタｊによ
って示されるステート、すなわち、出口ステートＳDに
対応する自己反復カウンタは０に設定される。ステップ
Ｓ１０９で、ポインタｊはデクリメントされ、ステート
Ｓ9を示すようになり、処理はステップＳ１０１に戻
る。

【０１１９】次に、ポインタｊによって示されるステー
ト（ステートＳ9）は、最終アクティブポインタＬＡに
よって示されるステート（ステートＳD）の前なので、
処理は図２７ｂに示されるステップＳ１１１に進む。ス
テップＳ１１１で、システムは、ポインタｊによって示
されるステート、すなわち、ステートＳ9が処理される
現アクティブステートＳ7と等しいかどうかをチェック
する。ここでは、等しくないので、処理はステップＳ１
１３に進み、ここでステートＳ9に記憶された累積距離
が現アクティブステートＳ7に記憶された累積距離と等
しくされる。言い換えれば、パスｐ１の累積距離がステ
ートＳ9に複写される。そして、ステップＳ１１５で、
ステートＳ9が、図２２に示される新アクティブリスト
２０５に追加される。ステップＳ１１７で、ステートＳ
9に対応する自己反復カウンタが０に再設定される。そ
して、続くステップＳ１１９でポインタｊがデクリメン
トされ、ポインタｊはステートＳ8を示す。処理はステ
ップＳ１１１に戻り、ステートＳ8はステートＳ9と同様
の方法で処理される。

【０１２０】ステートＳ8がステップＳ１１３、Ｓ１１
５、Ｓ１１７で処理された後、ｊはステップＳ１１９で
デクリメントされてステートＳ7を示すようになる。ス
テートＳ7は処理される現アクティブステートでもあ
る。したがって、このとき、処理はステップＳ１１１か
らステップＳ１２１に進み、ここでステートＳ7に関連
する自己反復カウンタがチェックされる。すなわち、ス
テートＳ7で終わる有効パスが、当該入力発声音の過去
の２つのフレームに渡ってそこで終わったかどうかをチ
ェックする。ステートＳ7に対応する自己反復カウンタ
の値が２つのフレームと等しい場合、ステートＳ7は新
アクティブリスト２０５には追加されず、処理はステッ
プＳ１２３に進む。ステップＳ１２３では、最終アクテ
ィブポインタＬＡが、現アクティブステートに１を加え
られた値に設定され、ステートＳ8を示すようになる。
このルーチンによって、現アクティブステートに対応す
る自己反復カウンタが２つのフレームと等しいかどうか
確認され、等しい場合には現アクティブステートで終わ
る有効パスが、次のフレームｆk+1の同じステートに伝
わることを防ぐ。図２３に示されるパスの例において
は、現フレームｆkのステートＳ7で終わるパスｐ１はス
テートＳ6から入るので、自己反復カウンタは０となっ
ている。結果的に、ステートＳ7は、ステップＳ１２５
で新アクティブリスト２０５に追加される。ステートＳ
7の自己反復カウンタは、ステップＳ１２７でインクリ
メントされ、ステップＳ１２９で、最終アクティブポイ
ンタＬＡが現アクティブステート、すなわち、ステート
Ｓ7を示すように設定される。

【０１２１】ステップＳ１２９またはステップＳ１２３
の後、処理はステップＳ１３１に進み、ここで現アクテ
ィブステートＳ7に記憶された累積距離は、現フレーム
ｆkのために処理されたすべてのワードにおけるすべて
の有効パスの最短累積距離MINSCOREと比較される。ステ
ートＳ7に記憶された累積距離がMINSCORE を下回る場合
は、 ステップＳ１３３でMINSCOREがステートＳ7に記憶
された累積距離に置き換えられる。その後、処理は、図
２４に示されるステップＳ７９に戻る。一方、MINSCORE
に記憶された累積距離が現ステートＳ7に対応する累積
距離を下回る場合、処理は、そのまま図２４に示される
ステップＳ７９に戻る。ステップＳ７９に戻ると、カウ
ント変数ｉがインクリメントされ、現アクティブリスト
２０３の次のアクティブステート、すなわち、ステート
Ｓ5が、ステップＳ７７で処理されることになる。

【０１２２】アクティブステートＳ5は、上記アクティ
ブステートＳ7と同様の方法で処理される。ステートＳ5
で終わる有効パスの累積距離が刈り込みしきい値Ｔｈを
下回る場合、ステップＳ９３で、システムは、現アクテ
ィブステートＳ5と処理される現フレームｆkとの間の局
部距離を計算し、その計算結果を現アクティブステート
Ｓ5に記憶された累積距離に加算する。ステップＳ９５
で、システムは、現アクティブステートＳ5で終わるパ
スｐ２が、上記ＤＰの制限によって、次のフレームｆk+
1の他のワードに拡張できないと判断する。言い換えれ
ば、ステートＳ5から３つ目のステートは、ステートＳD
と等しくないかまたはステートＳDを越えないので、処
理はステップＳ９９に進み、ここでポインタｊが、ステ
ートＳ5の３段階先のステート、すなわち、ステートＳ8
を示すように設定される。次に、ステップＳ１０１で、
ポインタｊによって示されるステートが、最終アクティ
ブポインタＬＡによって示されるステートと比較され
る。

【０１２３】この時点において、最終アクティブポイン
タＬＡはステートＳ7を示し、ポインタｊはステートＳ8
を示す。したがって、処理がステップＳ１０３に進み、
ここで（アクティブステートＳ7の処理の結果として）
ステートＳ8にすでに記憶されていた累積距離が、アク
ティブステートＳ5に記憶された累積距離と比較され
る。ステートＳ8に記憶された累積距離がステートＳ5に
記憶された累積距離を上回る場合、ステートＳ8に記憶
された累積距離は、ステートＳ5に記憶された累積距離
に置き換えられる。ステップＳ１０７で、ステートＳ8
に関連する自己反復カウンタは０に再設定され、ポイン
タｊは、ステップＳ１０９でデクリメントされ、ステー
トＳ7を示すようになる。そして、処理はステップＳ１
０１に進み、ここで上記と同様の処理が行われる。

【０１２４】この再帰処理ルーチンは、システムに認知
されたすべての標準ワードの全ての現アクティブステー
トについて行われる。

【０１２５】現フレームｆkについて上記方法で各ワー
ドを処理した後、言語モデル２１の各ノードが順次処理
される。上記のとおり、言語モデル２１は、許容される
ワードのシーケンスを決定する。この情報は、ノードに
よって、特にノードの入力および出力に接続されるワー
ドによって、決定される。図２１のステップＳ５１のノ
ードの処理によって、有効パスは確実に許容されたワー
ドシーケンスの中を伝わる。以下、ステップＳ５１で行
われる処理を、図２８を参照して詳細に説明する。

【０１２６】まず、ノードを処理する前に、バックグラ
ウンドのノイズを示すフレームと現フレームｆk（すな
わち、d(noise, ｆk)）との間の局部距離が、ステップ
Ｓ１５１で計算される。ステップＳ１５３で、ノードポ
インタｖがスタートノードＮ0を示すように初期化され
る。ステップＳ１５５で、ノードポインタｖによって示
されるノードに記憶された累積距離、すなわち、Ｄ
［ｖ］が、刈り込みしきい値Ｔｈと比較される。 Ｄ
［ｖ］が刈り込みしきい値Ｔｈを下回る場合、処理はス
テップＳ１５７に進み、ここでd(noise, ｆk)が、処理
される現ノードｖに記憶された累積距離に加算される。
ステップＳ１５９で、システムは、Ｄ［ｖ］と最小値記
憶MINSCOREに記憶された値を比較する。 Ｄ［ｖ］がMIN
SCOREに記憶された値を下回る場合、ステップＳ１６１
でＤ［ｖ］をMINSCOREにコピーする。カウント値ACOUNT
（現フレームのために処理されたアクティブステートお
よびノードの数を示す）はステップＳ１６３でインクリ
メントされ、処理はステップＳ１６５に進む。一方、ス
テップＳ１５５において、Ｄ［ｖ］が刈り込みしきい値
Ｔｈを上回る場合は、ステップＳ１６７でＤ［ｖ］は大
きな値を示すHUGEに設定され、処理はステップＳ１６５
に進む。

【０１２７】ステップＳ１６５、Ｓ１６８で行われる処
理について、図２９に示されるノードＮを例にして説明
する。図示のノードＮには、３つのワード「get」、「s
ave」、「load」がその入力に接続され、２つのワード
「an」、「the」がその出力に接続されている。このよ
うなノードの生成は、図１７ｂに示される手順を用いて
は実現できないが、ダイナミックプログラミングプロセ
スがより複雑な言語モデルのために動作することを示す
ために本例が選択されている。特に、定型文法では、ノ
ードが図２９に示されるようなものが一般的である。

【０１２８】ステップＳ１６５で、システムは、ノード
Ｎの入力に接続されたワードの出口ステート、すなわ
ち、ワード「get」、「save」、「load」の出口ステー
トに記憶されたすべての累積距離の最小値を決定する。
一般的な場合、この計算は以下の式によって、示され
る。

【０１２９】

【数９】

【０１３０】ここで、Ｉｗ［ｖ］は、ノードｖの入力に
接続されたすべてのワードを示す。システムがノードＮ
についてこの最小累積距離を決定した後、その最小累積
距離がすでに記憶されている累積距離を下回る場合に
は、当該最小累積距離がノードＮに記憶された累積距離
Ｄ［Ｎ］に複写される。事実上、これは、当該ノードの
入力に接続されたワードの一つであって、現在そのノー
ドにおいて成長しているパスの累積距離よりも小さい累
積距離を有する有効パスが存在するかどうかの判断であ
る。

【０１３１】バックグラウンドのノイズフレームにマッ
チするギャップが、フレーズ内の各ワードの手前、間及
び終わりに存在し得るので、有効パスはそのノード内を
伝わることができる。図２９の矢印２３１が示すよう
に、有効パスが、入力されたフレームから次の入力フレ
ームまでの間１つのノードに残ることもできる。この場
合、有効パスはノードＮを出発してノードＮに戻る。ワ
ードモデルのステートと異なり、パスは、連続して入力
されたフレームのいくつ分でも、ノード内に残ることが
可能である。システムがステップＳ１６５の処理を行っ
た後、ノードＮに記憶された累積距離がすでに記憶され
ている値より小さい場合、ノードＮに記憶された累積距
離は、ステップＳ１６８で、一時的記憶INSCOREに複写
される。この一時的記憶INSCOREは、ワード「an」、「t
he」のためのボックス２３３、２３５で示される。２つ
以上のワードがノードの出力に接続されるので、比較処
理が行われなければならない。接続ワードに伝わるのは
最小累積距離を有するパスだけだからである。図２１に
示されるステップＳ５７の処理において、ワードの一時
的記憶INSCOREに記憶された累積距離を用いて当該ワー
ドのエントリステートが更新される。

【０１３２】ステップＳ１６９で、システムは、Ｄ
［ｖ］がHUGEに等しいかどうかをチェックする。等しい
場合、終了する有効パスが無いかまたは、ノードｖを通
過して次のフレームｆk+1に接続されたワードに入って
いる有効パスが無いことを示す。Ｄ［ｖ］が値HUGEを下
回る場合、有効パスが、ノードｖで終わっているかまた
は、ノードｖを通過して、次のフレームｆk+1でノード
ｖに接続されているワードに入っていることを示す。し
たがって、次のフレームｆk+1における潜在的にアクテ
ィブなステート（およびノード）の数を表すカウンタPA
COUNTは、そのノードに関連する沈黙ステートが次のフ
レームｆk+1でアクティブステートとなり得るので、ス
テップＳ１７１でインクリメントされる。ノードポイン
タｖは、ステップＳ１７３でインクリメントされ、言語
モデル２１の次のノードを示すようになる。システム
は、ステップＳ１７５で、ノードポインタｖが言語モデ
ル２１のエンドノードＮnを越えるノードを示すかどう
かをチェックすることによって、言語モデル２１のすべ
てのノードが処理されているかどうかをチェックする。
システムがすべてのノード処理を完了していない場合、
処理はステップＳ１５５に戻る。一方、処理を完了して
いる場合、処理は図２１に示されるステップＳ５３に戻
る。

【０１３３】次に、図２１に示されるステップＳ５７で
行われる処理を、図２２に示されるワードモデル２０
１、図３０および図３１を参照して、詳細に説明する。
図３０において、ステップＳ１８１でシステムは、INSC
OREに記憶された累積距離がHUGEと等しいかどうかをチ
ェックする。等しい場合、次の時点でこのワードに入る
有効パスがないことを示す。したがって、このワードを
再処理する必要がないので、処理はステップＳ２０７に
進み、ここで次の入力フレームｆk+1のアクティブステ
ートの数（図２４のステップＳ８３の処理によって現ア
クティブリスト２０３に現在記憶されているステートの
数となる）が、カウントPACOUNTに加算される。その
後、処理は、図２１に示されるステップＳ５９に戻り、
ここでワードカウントがインクリメントされ、次のワー
ドモデルが処理される。

【０１３４】他方、INSCOREがHUGEと等しくない場合
は、有効パスが先のワードを出て、処理すべき現ワード
に入っていることを示す。したがって、別のワードモデ
ル（エントリステート）から延びてきたパスによって到
達され得る現ワードモデルのステートは、INSCOREに記
憶された累積距離を用いて更新されなければならない。
上記ＤＰ制限を用いる本実施形態において、エントリス
テートは、ステートＳ0、Ｓ1、Ｓ2である。この更新手
順は、以下の方法で行われる。まず、ステップＳ１８３
で、システムは、処理される現ワードを示すワードモデ
ルが（出口ステートは含まない）３つより多いステート
を含むことをチェックする。３つより多いステートがあ
る場合、ステップＳ１８５でステートＳ２を示すように
ステータスポインタｊが設定される。他方、現ワードの
ステートが３つより少ない場合、ステップＳ１８７でス
テータスポインタｊが、当該処理ワードの終わりの出口
ステートＳDを示すべく設定される。このように、ステ
ップＳ１８７またはＳ１８５でステートＳD、Ｓ2のいず
れかに向かうようにステータスポインタｊが設定される
と、処理はステップＳ１８９に進み、ポインタｊによっ
て示されたステートと最終アクティブポインタＬＡによ
って示されるステートとが比較される。

【０１３５】図２７ａおよび２７ｂにおいてステップの
シーケンスで行われた処理のように、ポインタｊによっ
て示されるステートが、アクティブポインタＬＡによっ
て示されるステートを越える場合、そのステートに既に
記憶された累積距離とINSCOREに記憶された累積距離が
比較される。

【０１３６】図２３に示されるＤＰパスの例として、パ
スｐ７は、次のフレームｆk+1でステートＳ1、Ｓ2、Ｓ3
に伝わり得るが、ステートＳ0には伝わらない。パスｐ
７が先の２つのフレームにおいてステートＳ0で終わっ
ているからである。したがって、最終アクティブポイン
タＬＡは、ステートＳ1を示すようになる（ステップＳ
１２１、１２３）。

【０１３７】図３１は、図２２に示されるワードモデル
２０１のエントリステート（すなわち、最初の３つのス
テート）を示す。図示されるように、アクティブポイン
タＬＡは、ステートＳ1に向かう。ワードモデル２０１
に３つよりも多くのステートがあるので、ステータスポ
インタｊは、ステートＳ2を示す。ステップＳ１８９
で、システムは、ポインタｊによって示されたステート
が、最終アクティブポインタＬＡによって示されたステ
ート、すなわちステートＳ1を過ぎているかどうかを判
断する。したがって、ここでは、処理はステップＳ１９
１に進む。ステップＳ１９１で、システムは、ステート
Ｓ2に記憶された累積距離と、ワードモデル２０１に関
連する一時的記憶INSCOREに記憶された累積距離とを比
較する。ワードモデル２０１の一時的記憶INSCOREは、
図３１に示される矩形のボックス２４１で示される。IN
SCOREに記憶された累積距離がステートＳ2に記憶された
累積距離より小さい場合、ステップＳ１９３でINSCORE
に記憶された累積距離がステートＳ2に複写される。そ
して、ステップＳ１９５で、ステートＳ2の自己反復カ
ウンタが０に再設定され、処理はステップＳ１９７に進
む。一方、INSCOREに記憶された累積距離がステートＳ2
に記憶された累積距離より大きい場合、ステートＳ2に
記憶された累積距離は変化せず、処理はステップＳ１９
７に進む。ステップＳ１９７において、ポインタｊはデ
クリメントされ、ステートＳ1を示すようになる。処理
はステップＳ１８９に戻り、同様の処理が、ステートＳ
1について行われる。

【０１３８】ステートＳ1について処理した後、ポイン
タｊは、ステップＳ１９７で再びデクリメントされ、ス
テートＳ0を示すようになる。したがって、処理はステ
ップＳ１８９からステップＳ１９８に進み、ここでシス
テムは、処理すべきステートがあるかどうかをチェック
する。本例の場合、ステートＳ0がまだ処理されるべき
であるので、処理はステップＳ１９９に進む。ステップ
Ｓ１９９において、INSCOREに記憶された累積距離が、
ステートＳ0に複写される。このステートは、最終アク
ティブポインタＬＡによって示される最後のアクティブ
ステートの手前なので、ステートＳ0について累積距離
の比較は行われない。ステップＳ２０１で、システム
は、ステートＳ0を現アクティブリスト（このリスト
は、図２４のステップＳ８３の処理の前では新アクティ
ブリスト２０５だったものである）に追加する。そし
て、ステップＳ２０３で、ポインタｊはデクリメントさ
れ、ステートＳー1を示すようになる。その後、処理はス
テップＳ１９８に戻り、ここでシステムは、処理される
べき現ワードにエントリステートがこれ以上ないと判断
する。従って処理はステップＳ２０５に進み、ここで対
応する一時的記憶INSCOREに記憶された累積距離が、HUG
Eに再設定される。そして、ステップＳ２０７で、現ア
クティブリストのステートの数が、カウントPACOUNTに
追加され、処理は、図２１に示されるステップＳ５９に
戻る。

【０１３９】＜刈り込み（Pruning）＞図２１によれ
ば、ステップＳ６３で、処理されるべき入力フレームが
更に存在するとシステムが判断した場合、処理はステッ
プＳ６５に進み、ここで刈り込みしきい値Ｔｈが調整さ
れる。刈り込みを用いる目的は、ある時点からつぎの時
点まで伝わるＤＰパスの数を制限することである。特
に、本実施形態では、刈り込みしきい値を調整し、実際
に処理されるアクティブステートの数を前もって決めら
れた範囲に制限できるようにすることを狙う。なお、こ
の限られた範囲は、利用できる動作メモリの量および処
理時間によって左右される。さらに、本実施形態の目的
は、高価なコンピュータ処理のオーバーヘッドを必要と
せずに、以上の目的を達成させることである。本実施形
態において、刈り込みしきい値は、可変差分値（PRUNIN
G）を処理された入力フレームのために決定されたすべ
ての最小累積スコアMINSCOREに追加することによって、
決定される。すなわち、刈り込みしきい値は、等式（１
０）によって、求められる。

【０１４０】

【数１０】

【０１４１】アクティブステートの設定数のみが各入力
フレームのために処理されることを確実にする方法の１
つは、そこに記憶された累積距離を増加させるために、
処理されつつある入力フレームに対するすべてのアクテ
ィブリストにあるアクティブステートをソートし、最小
累積距離を有する入力フレームで始まる所望の数を処理
する。しかしながら、この技術は、アクティブステート
をソートするために長時間のコンピュータ処理時間を要
する。コストのかかるコンピュータ処理によるソートを
行うのではなく、本実施形態で用いられる技術は、最後
の入力フレームを処理した後に利用できる情報を用い
る。特に、本実施形態において、差分値（PRUNING）
は、処理されるべき次の入力フレームの潜在的なアクテ
ィブステートの数（PACOUNTに格納されている）に依存
して変化し、実際に処理されるステートの数を２つのし
きい値の間にあるように維持する。刈り込みしきい値Ｔ
ｈが調整される方法を、図３２を参照して詳細に説明す
る。

【０１４２】ステップＳ２１１において、システムは、
処理される次のフレームの潜在的アクティブステートの
数（PACOUNTに記憶される）とステートしきい値（STATE
TH）を比較する。ここで、ステートしきい値（STATET
H）は、利用できる動作メモリの量によって決定される
絶対的最大ステートしきい値を下回るが、その値の付近
に設定される。PACOUNTに記憶された値がSTATETHを下回
る場合、すべての潜在的なアクティブステートが処理さ
れ得ることを意味するので、直前の時点で用いられた差
分値PRUNINGは増加される。したがって、ステップＳ２
１３で、調整定数ｄｐ１が既存の差分値PRUNINGに追加
される。ｄｐ１の値は、妥当な局部距離を上回るように
設定されるので、すべてではないがほとんどの潜在的ア
クティブステートが処理される。

【０１４３】PRUNINGに記憶された値は、ステップＳ２
１５で、高い刈り込みしきい値HIGHPRTHと比較される。
上限が差分値PRUNINGに設定されているので、これ以上
進む必要のない最大差分値が存在する。 PRUNINGに記憶
された値がHIGHPRTHを下回る場合、処理はステップＳ２
１９に進む。 一方、PRUNINGに記憶された値がHIGHPRTH
を上回る場合、PRUNINGは、ステップＳ２１７で、HIGHP
RTHに設定される。ステップＳ２１５またはＳ２１７の
処理の後、システムは、差分値PRUNINGを追加された他
の有効パスの最小累積距離MINSCOREとPRUNINGとの和に
等しくなるように刈り込みしきい値Ｔｈが設定される。
そして、処理は、図２１に示されるステップＳ４３に戻
る。

【０１４４】ステップＳ２１１で、次のフレームの潜在
的アクティブステートの数（PACOUNT）がSTATETHを上回
るとシステムが判断した場合、ステップＳ２２１で、シ
ステムは、直前の入力フレームの処理においてアクティ
ブステートとして処理されたステートの数（ACOUNTに記
憶されている）と、低ステートしきい値LOWSTTHとを比
較する。このLOWSTTHの値は、ACOUNTがLOWSTTHを下回っ
た場合には、多くの時間またはメモリ量を費やさずに次
の入力フレームのすべての潜在的なアクティブステート
を処理できることを保証できるような値に設定される。
したがって、ACOUNTがLOWSTTHを下回る場合、処理はス
テップＳ２２１からステップＳ２１３に進み、上述した
ような処理によって差分値PRUNINGが調整される。他
方、ACOUNTがLOWSTTHを上回る場合、すべての潜在的ア
クティブステートが処理された場合に、それほどの処理
時間またはメモリ量を費やさずに済むという保証は無
い。したがって、差分値PRUNINGを低減する必要がある
かもしれない。

【０１４５】差分値PRUNINGを低減させる必要があるか
どうかを判断するため、システムは、ステップＳ２２３
で、ACOUNTとSTATETHを比較する。ACOUNTがSTATETHを下
回る場合、システムは、差分値PRUNINGがHIGHPRTHと等
しいかどうかをチェックする。差分値PRUNINGがHIGHPRT
Hと等しい場合、システムはすべてのアクティブステー
トを処理するように試みてきたことを示す。したがっ
て、次の入力フレームのために処理されるアクティブス
テートの数によって、長時間の処理時間または大容量メ
モリを要する処理になってしまうようなことはまず起こ
らないとみてよい。したがって、差分値PRUNINGを変化
させずにステップＳ２１９に処理を進め、ここで刈り込
みしきい値は、MINSCOREに差分値PRUNINGを加算したも
のと等しくなるように設定される。他方、差分値PRUNIN
GがHIGHPRTHと等しくない場合（この場合、差分値PRUNI
NGがHIGHPRTH を下回ることになる）、次の入力フレー
ムのために処理されるアクティブステートの数は、長時
間の処理時間または大容量のメモリを費やす可能性があ
る。したがって、処理されるアクティブステートの実際
の数が計算されなければならない。この計算は、変更さ
せていない差分値PRUNINGを用いてステップＳ２３１で
設定された刈り込みしきい値を用いてステップＳ２３３
で行われる。

【０１４６】ステップＳ２２３に戻って、ACOUNTがSTAT
ETHを上回るとシステムが判断した場合、ステップＳ２
２５で、差分値PRUNINGは、調整定数ｄｐ１によって低
減される。ステップＳ２２５で差分値PRUNINGが減らさ
れた後、システムはステップＳ２２７において、差分値
PRUNINGが低刈り込みしきい値LOWPRTHを下回るかどうか
を判断する。低刈り込みしきい値は、次の入力フレーム
について処理されるアクティブステートの数が設定され
た非常しきい値EMGSTTHを上回ることを保証するのに用
いる。この処理を行う理由は、大量に刈り込まれた場
合、ダイナミックプログラミングプロセスが行えないか
らである。差分値PRUNINGが低刈り込みしきい値LOWPRTH
を下回る場合、ステップＳ２２９で差分値PRUNINGをLOW
PRTHに等しくする。ステップＳ２３１では、調整された
差分値PRUNINGをMINSCOREに加算したもの等しくなるよ
うに刈り込みしきい値Ｔｈが設定される。次にステップ
Ｓ２３３で、システムは、次の入力フレームのために処
理されるアクティブステートの数をカウントする。この
処理は、すべてのアクティブステートに記憶された累積
距離と、新たに決定された刈り込みしきい値Ｔｈを有す
るすべてのノードに記憶された累積距離とを比較するこ
とによって行われる。

【０１４７】総数（ｎsa）は、次の入力フレームに関し
て処理されるアクティブステートとノードの総数を示
す。総数ｎsaが非常しきい値EMGSTTHを下回る場合、刈
り込みしきい値の設定が低すぎることを意味する。従っ
て、処理はステップＳ２１３に進み、ここで差分値PRUN
INGが増加され、刈り込みしきい値Ｔｈが再設定され
る。一方、ｎsaが非常しきい値EMGSTTHを下回らない場
合、ステップＳ２３７で、ｎsaはLOWSTTHと比較され
る。 ｎsaがLOWSTTHを上回る場合、ステップＳ２３１で
設定された刈り込みしきい値Ｔｈは受け入れ可能であ
り、処理は、図２１に示されるステップＳ４３に戻る。
他方、ｎsaがLOWSTTHを下回る場合、刈り込みしきい値
は増加させることができる。よって、ステップＳ２１９
で刈り込みしきい値Ｔｈが再設定される前に、ステップ
Ｓ２３９で、第２の調整定数ｄｐ２を差分値PRUNINGに
加算する。本実施形態において、この第２の調整定数ｄ
ｐ２は、調整定数ｄｐ１の半分に設定される。

【０１４８】当業者には明らかなように、刈り込みしき
い値を変化させる方法はコンピュータ処理に高価なコス
トを費やさせない。さらに、各時点で処理されるアクテ
ィブステートの数を制限するという方法を用いて刈り込
みしきい値が調整される。このため、割り当てられる処
理時間およびメモリが限界を越えないように調整するこ
とができる。

【０１４９】図２１に示される処理ステップのシーケン
スを用いて入力シーケンスのすべてのフレームが処理さ
れた後、ダイナミックプログラミングプロセスによって
決定された最適パスにより正しいパスを決定するために
バックトラッキングルーチンが要求される。本実施形態
において、バックトラッキングルーチンは、各パスが伝
わるワードのシーケンスを示すバックポインタを追跡す
る。このようなバックトラッキングルーチン（再帰ルー
チン）が行われる方法、およびポインタを発生させる方
法の詳細については、音声処理の当業者によく知られて
いるので、これ以上説明はしない。

【０１５０】＜初期化＞システムに入力発声音を認識さ
せる前に、認識処理中に用いられるシステムのしきい値
および変数を初期化しなければならない。この処理は、
以下の方法で行われる。まず、スタートノードＮ0に記
憶される累積距離は０に設定され、他のノードに記憶さ
れる累積距離は、大きな値を示すHUGEに等しくなるよう
に設定される。各ワードモデルに関連付けられ、潜在的
なアクティブステートの数をカウントするカウンタPACO
UNTは０に設定される。各ワードモデルに関連付けられ
た最終アクティブポインタＬＡは、それぞれのモデルの
エンドステートＳDを示すように設定される。各ワード
モデルに関連付けられた一時的記憶INSCOREは、大きい
値を示すHUGEに設定される。その後、すべてのノードが
処理され、各ワードの入力に接続されるすべてのノード
の累積距離の最小値は、各ワードに関連付けられた一時
的記憶INSCOREに複写される。これは、スタートノード
Ｎ0に接続された各ワードの一時的記憶INSCOREが０に設
定されることを保証する。最後に、各ワードのINSCORE
に記憶された値を用いて、各ワードモデルのエントリス
テートを作動させ、初期化する。各ワードモデルのエン
トリステートを初期化する処理ステップは、図３０を参
照して上述したエントリステートを更新するために用い
られる処理ステップと同一である。刈り込みしきい値お
よび差分値PRUNINGもまた、第１の入力フレームを処理
する前に、初期化される。特に、刈り込みしきい値Ｔｈ
は大きい値を示すHUGEに設定され、差分値PRUNINGは、
高刈り込みしきい値HIGHPRTHと等しくなるように設定さ
れる。

【０１５１】＜フレキシブルダイナミックプログラミン
グアラインメント＞上記において、本実施形態における
ワードモデルの生成方法について、図１３から図１６を
参照して詳細に説明を行った。特に、先ずはじめに、フ
レーズに含まれるワードについて分離ワードモデルが、
フレキシブルダイナミックプログラミングアラインメン
トを用いて生成される。すなわち、フレキシブルダイナ
ミックプログラミングアラインメントを用いて、そのフ
レーズに対応するパラメータフレームのシーケンスを、
分離して発声された当該フレーズに含まれるワードに対
応するパラメータフレームに関連付けることで分離ワー
ドモデルが生成される。以下、このフレキシブルアライ
ンメントプロセスについて詳細に説明する。なお、ここ
では、学習フレーズ「get an image」が与えられ、か
つ、そのフレーズに存在するワードに対するワードモデ
ルが無い場合を例に揚げて説明する。

【０１５２】図３３は、「get an image」というフレー
ズの発声音声に対応するパラメータフレームシーケンス
１５２と、「get」、「an」及び「image」の各分離ワー
ドの発声音声に対応するパラメータフレームシーケンス
１５８、１６０及び１６２を示す。パラメータフレーム
シーケンス１５２におけるパラメータフレームの幾つか
はバックグラウンドノイズもしくは沈黙に対応するの
で、フレーズに含まれる各分離ワードの間、先頭の分離
ワードの開始部分、最終の分離ワードの後部分にノード
２５１、２５３、２５５、２５７が提供される。これら
のノードは図１７ａで示された言語モデル中のノードに
類似の態様で動作し、処理中であるパラメータフレーム
１５２の現パラメータフレームが沈黙もしくはバックグ
ラウンドノイズに対応したものであるという状況に対応
可能である。この可能性は、図３３において、ノード２
５１，２５３、２５５及び２５７における沈黙フレーム
ｆsil（これは図１０において示されたノイズモデル２
３である）によって示されている。

【０１５３】パラメータフレームシーケンス１５８、１
６０、１６２のそれぞれの開始部分もしくは終了部分に
おけるフレームのいくつかは沈黙或いはバックグラウン
ドノイズに対応するものであるかもしれないが、パラメ
ータフレームシーケンス１５２内の沈黙或いはバックグ
ラウンドノイズに対応するパラメータフレームは、シー
ケンス１５８、１６０及び１６２内の沈黙に対応するフ
レームよりも、ノード２５１，２５２、２５５及び２５
７に格納された沈黙フレームｆsilによりよくマッチす
る。これは、沈黙フレームｆsilが全沈黙フレームの平
均を示すものであり、シーケンス１５２内の沈黙に対応
するフレームと沈黙フレームｆsilとの間の変動量が、
シーケンス１５２内の沈黙に対応するフレームと各シー
ケンス１５８、１６０及び１６２内の沈黙に対応するフ
レームとの間の変動量よりも小さいからである。

【０１５４】フレキシブルアラインメントプロセスが実
行される方法は、図１８〜３２を参照して説明したよう
な、入力音声が、格納されている標準モデルに関連付け
られる方法に類似している。特に、パラメータフレーム
１５８、１６０及び１６２を標準モデルとして、ノード
２５１，２５３、２５５、２５７、そしてシーケンスフ
レーム１５２を入力されたフレームとして用いる場合、
フレキシブルアラインメントプロセスの全体的な処理ス
テップは図２１に示されたフローチャートに従う。混乱
を避けるために、分離的に発声されたワードを表すパラ
メータフレームシーケンス１５８、１６０、１６２は、
ステートと称する。未知の入力音声を認識するために用
いられた標準モデルのステートと同様に、これらのステ
ートも関連する累積距離格納部を有する。この累積距離
格納部は、処理中のシーケンス１５２の現フレームに関
して、当該ステートまでのダイナミックプログラミング
パスの累積距離を格納する。

【０１５５】フレキシブルアラインメントプロセスと未
知の入力発声音声を認識するために用いられたアライン
メントプロセスとの主要な相違は次の通りである。すな
わち、フレキシブルアラインメントにおいては、（ｉ）
各ダイナミックプログラミングパスがあらゆる位置で
（エントリステートの一つに限らず）ワードに入ること
ができる、（ii）各ダイナミックプログラミングパスは
そこに存在するあらゆるステートから出ることができ
る。

【０１５６】フレキシブルアラインメントプロセスの動
作を上記例を用いて以下に説明する。なお、以下の説明
は、シーケンスパラメータフレーム１５２のはじめの少
しのパラメータフレームについて行う。

【０１５７】まず、第１のフレームを処理する前に、ノ
ード及びワードモデル内のステートの累積距離スコアを
初期化する。この初期化処理手順は、上述の、未知入力
音声を認識するのに先立って実行される初期化処理に類
似している。特に、スタートノード、すなわちノード２
５１に格納される累積距離はゼロに設定され、他の全て
のノードに格納される累積距離は大きな値を示すHUGEに
設定される。その後、ワードＷ１、Ｗ２及びＷ３におけ
るステートの累積距離スコアは、それらのワードの入力
に接続されたノードに格納された累積距離スコアを用い
て更新される。これは、フレームｆ0P1が処理されてい
るときに、ダイナミックプログラミングパスが第１のワ
ードＷ１及び第１のノード２５１の各ステートからスタ
ートできることを保証する。

【０１５８】初期化の後、第１フレームｆ0P1が、ワー
ドＷ１、Ｗ２及びＷ３に関して順次処理される。しかし
ながら、ワードＷ２及びＷ３内のステートに関連した累
積距離は値HUGEを有するので、第１ワードＷ１内のステ
ートに関してのみ、第１フレームが処理されることにな
る。ワードＷ１に関して第１フレームを処理する際、フ
レームｆ0P1とワードＷ１内の各ステートとの間の距離
は各ステートに対応付けられた累積距離格納部に格納さ
れる。フレキシブルアラインメントプロセスは図２８に
示された処理ステップを用いて、ノード２５１，２５
３、２５５及び２５７を順次処理する。最後に、ノード
処理の結果を用いてワードＷ１、Ｗ２及びＷ３内のステ
ートの累積距離スコアを更新することにより、第１フレ
ームｆ0P1の処理が完了する。この更新処理は、エント
リステート（すなわち、最初の３つのステート）だけで
なくワード内の全てのステートが更新されるということ
を除けば、図３０に示される処理と同様である。

【０１５９】シーケンス１５２の第１のパラメータフレ
ームが処理されると、第１のパラメータフレームｆ0P1
の処理によってスタートされたダイナミックプログラミ
ングパスを成長させるために第２のパラメータフレーム
ｆ1P1が処理される。入力された発声音声の認識に用い
られたダイナミックプログラミング手法で行ったよう
に、各ワードＷ１、Ｗ２及びＷ３のステートは逆方向の
順序で処理される。ここで、本実施形態において、図１
９及び図２０を参照して記述された伝搬の制限に類似し
た制限が用いられる。相違点は、未知の入力音声を認識
する場合では最後の３つのステートからのみ現ワードを
抜けることが許されたが、あらゆるステートから現ワー
ドを抜けることができるという点のみである。ワードＷ
１、Ｗ２及びＷ３が第２のパラメータフレームｆ1P1を
用いて処理されると、各ノード内で現在伝わっているダ
イナミックプログラミングパスを更新するために、ノー
ド２５１，２５３、２５５及び２５７が処理される。こ
の処理がなされると、ノード処理の結果を考慮するた
め、ダイナミックプログラミングパスを更新するため
に、ワードＷ１、Ｗ２及びＷ３が再び処理される。

【０１６０】パラメータフレームシーケンス１５２の残
りのパラメータフレームも、同様の方法で順次処理され
る。シーケンス１５２内の全てのパラメータフレームが
処理されると、最も低い累積スコアを有するダイナミッ
クプログラミングパスが決定される。パラメータフレー
ムシーケンス１５８、１６０及び１６２内の開始及び終
了フレームを特定するために、フレキシブルアラインメ
ントプロセスの間の各ダイナミックプログラミングパス
の成長が記録される。ここで、これら開始及び終了フレ
ームは、対応するワードを表す（沈黙は表さない）それ
らパラメータフレームの境界を示す。

【０１６１】特に、ダイナミックプログラミングパスが
手前のワードから、あるいはワードの手前からワードへ
入ったときはいつも、そのダイナミックプログラミング
パスが入ったステートが記録され、そのパスに関連付け
られる。同様に、ダイナミックプログラミングパスがワ
ードから出て、それが出たステートが記録されたとき、
そのパスに関連するスコアはそのワードから出た全ての
前のダイナミックプログラミングパスに関連するスコア
よりも低い。従って、パラメータフレームシーケンス１
５２内の最後のパラメータフレームが処理され、最良の
スコアを有するダイナミックプログラミングパスが特定
されると、パラメータフレームシーケンス１５８、１６
０、１６２内のワードのおおよその開始及び終了位置
が、ダイナミックプログラミングパスに関連する記録を
参照することにより、特定される。

【０１６２】当業者には明らかなように、フレキシブル
アラインメントプロセスに関する上記記載は、入力フレ
ーズ中に含まれる各ワードについてワードモデルが存在
しないという状況に特化されたものである。しかしなが
ら、標準モデルの学習は自然に増加するように、すなわ
ちユーザが適宜システムに学習させることができるよう
に設計されているので、入力フレーズ中のワードに対す
るワードモデルが既に存在するという状況が発生し得
る。この場合、フレーズとこのワードとの間のアライン
メントの最中において、既にワードモデルを有するワー
ドに対しては通常のダイナミックプログラミングプロセ
スを適用し、まだワードモデルの存在しない他のワード
に対してはフレキシブルダイナミックプログラミングア
ラインメントを適用するという、混合型のダイナミック
プログラミングアラインメントプロセスが採用される。

【０１６３】図１４のステップＳ２５、Ｓ２６を参照し
て説明したように、フレーズ内の未知のワードに対して
分離ワードモデルが決定されると、それらはワードを含
む入力フレーズのパラメータフレームシーケンスに関連
付けられ、ワードモデルがその結果から生成される。

【０１６４】＜ワードモデルの適用＞本実施形態による
音声認識システムの他の特徴は、図１０のワードモデル
１９、ノイズモデル２３および言語モデル２１が構築／
更新モジュール９１によって更新され、修正されること
である。したがって、記憶されたワードモデル１９は、
別のユーザの入力音声によって、修正されたり適応させ
られたりする。

【０１６５】図３４は、ワードモデル１９が別のユーザ
に適用される方法を示すフローチャートである。ステッ
プＳ２５１で、新しいユーザは、既知のワードまたはフ
レーズをマイクロフォン７またはキーボード３を介して
システムに入力する。したがって、構築／更新モジュー
ル９１は、新しいユーザから入力された発声音に対応す
るパラメータフレームのシーケンスと、キーボード３を
介して入力された対応するテキストとを有することにな
る。ステップＳ２５３で、システムは、入力発声音と、
当該発声音に存在することが認知されているワードの既
存のワードモデルとを、ダイナミックプログラミングル
ーチンを用いて関連付ける。すなわち、ダイナミックプ
ログラミングルーチンは入力発声音のパラメータフレー
ムと適切なワードモデルとを関連付ける。ステップＳ２
５５で、システムは、ワードモデルのステートをそのワ
ードモデルに関連付けられたパラメータフレームのシー
ケンスで直接に置き換える。ステップＳ２５７で、新し
いユーザが他のフレーズを入力することを決定した場
合、処理はステップＳ２５１に戻り、同様のルーチンが
次の入力発声音のために再度行われる。ステップＳ２５
７で、新しいユーザがこれ以上フレーズを用いないと決
定した場合、当該処理は完了する。

【０１６６】図３５は、ワードモデル１９が別のユーザ
のために用いられる第２の方法を示すフローチャートで
ある。ステップＳ２６１で、新しいユーザは、マイクロ
フォンを介して複数回およびキーボードを介して１回、
既知のワードまたはフレーズをシステムに入力する。し
たがって、構築／更新モジュール９１は、パラメータフ
レームの複数のシーケンスおよびキーボード３を介して
入力された対応テキストを有するようになる。ここで、
これら複数のシーケンスは、新しいユーザによって発声
された既知のワードまたはフレーズに対応する。ステッ
プＳ２６３で、システムは、各入力発声音と、当該発声
音に含まれることが既知であるワードに対応する既存の
ワードモデルとを、ダイナミックプログラミングルーチ
ンを用いて関連付ける。

【０１６７】ダイナミックプログラミングルーチンは、
各入力発声音のパラメータフレームと、適正なワードモ
デルのステートとを関連付ける。ステップＳ２６５で、
システムは、ワードモデルのステートをワードモデルに
関連付けられたパラメータフレームの平均で置き換え
る。本実施形態において、ワードモデルのステートが発
声音のパラメータフレームのいずれにも関連付けられな
かった場合、システムは、置き換えられた隣接ステート
を用いて捕間または外挿する。ステップＳ２６７で、新
しいユーザが他のフレーズを用いることを決定する場
合、処理はステップＳ２６１に戻り、同様のルーチンが
次のフレーズに対して再度行われる。ステップＳ２６７
で、新しいユーザがこれ以上フレーズを入力しないこと
を決定すると、処理は完了する。したがって、当業者に
明らかなように、新しいユーザは、ユーザの便宜上、既
存のワードモデルを増加させながら用いることができ
る。さらに、新しいユーザは、新しいワードまたはフレ
ーズを上述した方法でシステムに追加することもでき
る。

【０１６８】＜他の実施形態＞多数の変形が、本発明の
進歩性の概念から逸脱することなく、上記音声認識シス
テムになされ得る。これら種々の変形例のいくつかを以
下に説明する。

【０１６９】上記実施形態においては、すべての発声音
が処理される前に受信されるが、本システムは、音声を
受信しながら処理するというように、ワードモデルを漸
進的に動作させることができる。このような実施形態に
おいて、入力バッファが必要であるが、１つのフレーム
に相当する入力音声、すなわち、２０ｍｓｅｃの音声を
記憶しさえすればよい。当業者には明らかなように、本
システムを動作させるため、入力された音声の１つのフ
レームに対する処理のすべて（プリプロセッサおよび認
識ブロックで行なわれる）は、入力音声のその次のフレ
ームについて、処理のための準備が整う前に完了してい
なければならない。上記フレーム速度およびフレーム継
続時間を用いれば、入力音声のフレームを処理するため
に費やされる時間は１０ｍｓｅｃを下回るにちがいな
い。これは現在のプロセッサで達成し得るものである。
さらに、入力発声音の各フレームのパワーパラメータ
は、異なる方法で正規化されなければならない。このよ
うな実施形態におけるパワーの正規化の方法の１つとし
ては、例えば過去の２０個にわたる入力音声のパワーに
基づいて適応される適応正規化係数を用いることが揚げ
られる。

【０１７０】また、第１の実施形態において、ダイナミ
ックプログラミングパスの終わりにあったワードモデル
のステートは、そのワードモデルに対応するアクティブ
リストに登録されていた。他の実施形態においては、総
括アクティブリストを１つ備え、そこに、すべてのワー
ドモデルのすべてのアクティブステートを登録する。こ
のような他の実施形態においては、総括アクティブリス
トに関連して、特定のアクティブステートがどのワード
モデルに属するかの情報が記憶されなければならない。

【０１７１】第１の実施形態において、ワードモデルの
ステートは、持続時間において、認識されるべき入力音
声のフレームと対応する。他の実施形態において、ワー
ドモデルの各ステートは、持続時間に関して、例えば入
力音声の３つの連続フレームと等しい。このような他の
実施形態において、入力フレームは、３つのフレームグ
ループによって平均化され、ワードモデルのステートに
関連付けられる。

【０１７２】さらに、他の実施形態は、ワードモデルに
統計モデル、例えば隠れマルコフモデルを採用するもの
であり、これは音声認識の当業者に知られている。この
ような実施形態においては、入力発声音とワードモデル
のシーケンスとの間の最小累積距離を決定するのではな
く、隠れマルコフモデルの特定のシーケンスによって入
力シーケンスが生成された最大の可能性が決定される。
このような実施形態において、隠れマルコフモデルは、
第１の実施形態で発生された連続標準モデルと同様の方
法で発生される。特に、ワードの分離標準モデルは、ワ
ードの発声音とそのワードを含むフレーズの１つ以上の
発声音とを比較することによって、生成される。平均パ
ラメータフレームおよび隠れマルコフモデルのステート
の共分散マトリクスを生成し、ステートの遷移確率を生
成するために、分離標準モデルはワードを含む複数のフ
レーズ例とともに用いられる。この処理が行われる方法
は、音声認識の当業者には明らかである。

【０１７３】第１の実施形態において用いられる標準モ
デルは、すべてのワードに対応する。当業者に明らかな
ように、このことは本質的なことではない。標準モデル
は、ワードの部分、例えば、音節、複数のワード、個々
の音素にさえ相当する。しかしながら、音素に相当する
標準モデルを用いると、システムが言語に依存するよう
になり、不利である。すべてのワードに対応する標準モ
デルは、すべてのフレーズに対応する標準モデルより好
ましい。なぜなら、時間およびコンピュータ処理の手間
を節約することができるからである。特に、フレーズ内
のワードをモデルにし、言語モデルを用いることによっ
て、システムに少量のワードしか用いない多くの異なる
フレーズを教えられる。他方、標準モデルがすべてのフ
レーズに相当する場合、標準モデルは、システムによっ
て学習されるべき種々のフレーズのそれぞれに必要とな
る。また、この利点に加えて、ワードに相当する標準モ
デルを用いると、フレーズのワード間の間隔に対するシ
ステムの柔軟性が増す。これは、フレーズの始めまたは
終わりおよびフレーズのワードの間に現れる環境モデル
によって可能になる。

【０１７４】さらに他の実施形態において、モデルの連
続フレームが類似する場合、標準モデルは圧縮される。
標準モデルが圧縮されると、類似の連続フレームは、１
つのフレームに置き換えられる。このような実施形態に
おいて、入力発声音の連続フレームが２回までしかワー
ドモデルの同じステートに関連付けられないというよう
なダイナミックプログラミングプロセスに対する制限
は、除去されなければならない。

【０１７５】図１７に示される言語モデルにおいて、あ
るワードに２つの異なるワードが続く場合、それら２つ
のワードの何れが当該ワードに続くかについて優先度は
ない。他の実施形態においては、いくつかのワードのシ
ーケンスに他のシーケンスより優先度を高めるよう、重
みを付けることができる。例えば、図１７ａに示される
フレーズについては、「make it more…」（ここで、
「…」の部分には色名称が続く）というフレーズは、
「make it smaller」または「makr it larger」または
「make it brighter」というフレーズより一般的である
ことが知られているとする。従って、この場合は、ノー
ドＮ７からノードＮ８までの遷移が、ノードＮ７からノ
ードＮnまでの遷移よりも強くなるように設定される。
これは、ノードＮ７から「more」、「smaller」、「lar
ger」、「brighter」というワードへ伝わる累積距離に
重み付けを行う重み係数を用いることによって達成され
る。

【０１７６】当業者には明らかなように、許容されたワ
ードのシーケンスを決めるために用いられる言語モデル
は、バイグラム（二重字）モデルである必要はないが、
いかなる知られたタイプの言語モデル、例えば定型文法
モデルでもよい。用いられた言語モデルのタイプが変更
される場合、上記のダイナミックプログラミングマッチ
ングプロセスにはいくつかの変更が必要となるが、この
ような改造は、音声認識の当業者には明らかである。し
かしながら、マッチングプロセスの重要な特徴部分は変
化されないままとなる。どんなパターンの合致プロセス
にも合うように設計されているからである。

【０１７７】第１の実施形態において、あるワードの標
準モデルを生成する前に、そのワードを含む少なくとも
２つのフレーズが入力されなければならない。これは、
操作上の好ましい方法であり、ワードモデルを、そのワ
ードを含む１つのフレーズ例のみから各ワード毎に発生
させることもできる。しかしながら、このような実施形
態によって得られる標準モデルは、どのようなフレーズ
が与えられた場合でも、あまり典型的なものとはならな
い。さらに、第１の実施形態で用いられた学習方法にお
いて、１つのワードに対していったん標準モデルを決定
すると、ワードモデルは、次の入力学習フレーズがその
ワードを含むかどうかに関らず、変更されない。他の実
施形態においては、すでにワードモデルがあるワード例
を含む入力フレーズを用いて、学習セッション中に既存
のワードモデルを更新することを可能とする。

【０１７８】ユーザが音声認識システムを学習させて、
既に分離して入力された複数のワードを含むフレーズを
入力すると、システムは、それらのワードについて分離
した状態で再度入力するようユーザに促すことはしな
い。これに対して、他の実施形態においては、システム
は、ユーザにそのようなワードを再度入力するよう促
し、ワードの２つの発声音が大して違わないことを確認
するべくチェックを実行する。

【０１７９】第１の実施形態において、標準モデルが学
習されたりまたは用いられる場合、ユーザはテキストを
入力し、それに相当する音声コマンド入力しなければな
らない。音声認識の当業者には分かるように、これは必
須ではない。テキストを入力する代わりに、ユーザはキ
ーボード、ファクシミリ、複写機等の相当するキーまた
はキーの組み合わせを押すようにしてもよい。例えば、
複写機で用いるためにシステムに学習させる場合におい
て、音声コマンド「copy（複写）」と入力し、これに対
する所望の機械の応答は、ユーザが複写ボタンを押しさ
えすれば、入力される。

【０１８０】さらに、上記のダイナミックプログラミン
グマッチングプロセス、標準モデルの発生および適応プ
ロセスを実行させる方法が、他のタイプのパターンマッ
チングのためにも用いられることは、パターンマッチン
グの当業者に明らかである。例えば、上記パターン合致
プロセスは、手書き文字の認識または他のパターン合致
技術で用いられることが考えられる。

【０１８１】連続ワード音声認識システム（文音声認識
システム）は、上記の第１の実施形態に記載されている
が、記載されたシステムの多くの特徴が他の種類の音声
認識システムにも等しく適用できることは当業者には明
らかである。例えば、分離ワードモデルを決定する方法
および上記分離ワードモデルは、分離ワード音声認識シ
ステム（単語音声認識システム）で用いられる。同様
に、ダイナミックプログラミングプロセスが行われる方
法の多くの特徴および刈り込みしきい値が調整される方
法は、いずれの音声認識システムでも用いられ、ここで
標準モデルは、音声のいかなる部分、例えば音素、音節
等にも対応させ得る。

【０１８２】第１の実施形態に記載された音声認識シス
テムは、多くの異なるソフトウェアアプリケーション、
例えばスプレッドシートパッケージ、グラフィックパッ
ケージ、ワードプロセッサパッケージ等とともに用いる
ことができる。音声認識システムがそのような複数のソ
フトウェアパッケージとともに用いられる場合、特に、
各アプリケーションで用いられるフレーズが異なる場
合、各パッケージ毎にワードおよび言語モデルを分ける
ことが有利である。この理由は、ワードモデルの数が増
加したり、言語モデルのサイズが大きくなるにつれて、
システムが入力発声音を認識するための時間が長くなる
からである。したがって、各アプリケーション毎にワー
ドおよび言語モデルを分けることによって、音声認識シ
ステムの速度を維持できる。さらに、いくつかのワード
および言語モデルは、各アプリケーションに用いられ得
る。

【０１８３】さらに、当業者に明らかなように、上記音
声認識システムは、多くの異なるタイプのハードウェア
でも用いられる。例えば、パーソナルコンピュータ等の
機器で用いられるのは明らかであるが、それ以外に、音
声認識システムは、ファクシミリ、電話、プリンタ、複
写機等、人間と機械のインタフェースを有する各種機器
のユーザインタフェースとして用いられ得る。

【０１８４】また、本発明は上記実施形態によって限定
されるものではなく、種々の変形および実施形態が当業
者には明らかである。

【０１８５】なお、本発明は、複数の機器（例えばホス
トコンピュータ，インタフェイス機器，リーダ，プリン
タなど）から構成されるシステムに適用しても、一つの
機器からなる装置（例えば、複写機，ファクシミリ装置
など）に適用してもよい。

【０１８６】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。

【０１８７】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。

【０１８８】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。

【０１８９】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。

【０１９０】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。

【０１９１】

【発明の効果】以上説明したように、本発明によれば、
接続パターン中に現れる所望の分離パターンに対応した
部分の信号的特徴が容易に抽出できるようになる。

【０１９２】また、本発明によれば、抽出された上記信
号的特徴を用いて、接続されたパターンの認識に適応し
得る分離標準モデルを容易に構築できるようになる。特
に、連続音声認識のための分離ワードモデルの生成が容
易となるとともに、その更新及び追加も極めて容易に行
える。

【０１９３】

【図面の簡単な説明】

【図１】本発明の一実施形態を操作するためにプログラ
ムされ得るコンピュータの概略図である。

【図２】音声認識システムの概略構成を示すブロック図
である。

【図３】図２に示されたシステムの一部であるプリプロ
セッサの構成を示すとともに、入力音声信号に行われる
処理ステップを示すブロック図である。

【図４】入力音声信号Ｓ（ｔ）を一連の時間フレーム
（FRAME）に分割した状態を示す図である。

【図５】１つの時間フレームの典型的な音声信号例を示
す線図である。

【図６】図５に示される音声信号の離散フーリエ変換の
振幅応答を示す図でる。

【図７】メルスケールフィルタバンクの平均振幅応答出
力を示す図である。

【図８】メルスケールフィルタバンクからの出力の対数
振幅スペクトルを示す図である。

【図９】図８に示される対数振幅スペクトルのセプスト
ラムを示す図である。

【図１０】学習処理中に用いられる標準モデル構築部の
恒星を示すブロック図である。

【図１１】音声認識システムで用いるワードモデルを発
生させるための学習処理中に行われる処理を示すフロー
チャートである。

【図１２】学習処理中に学習フレーズおよび学習ワード
が記憶される一形態例を示す図である。

【図１３】複数の入力フレーズ及び入力ワードと、それ
らのフレーズ及びワードに対応するパラメータフレーム
シーケンスを示す図である。

【図１４】学習処理中に入力された入力発声音からワー
ドモデルを決定するための処理を示すフローチャートで
ある。

【図１５】端の部分が切り捨てられた学習ワード及びそ
れに対応するパラメータフレームシーケンスを示す図で
ある。

【図１６】図１５に示されるワードのパラメータフレー
ムと、そのワードが含まれる入力フレーズのパラメータ
フレームとの関連付けを示す図である。

【図１７Ａ 】複数の入力フレーズ例を学習処理してい
る間に発生された言語モデル例を示す図である。

【図１７Ｂ 】システムが新しいフレーズを言語モデル
に追加する方法を示すフローチャートである。

【図１８】ダイナミック処理技術を用いて入力ワードが
ワードモデルに関連付けられる際の処理を説明する図で
ある。

【図１９】ある入力フレームから次の入力フレームのス
テートへの許可された移行シーケンスを示す図である。

【図２０】図１９に示される許容された状態移行シーケ
ンスの他の例を示す図である。

【図２１】第１の実施形態で用いられるダイナミックプ
ログラミングアラインメント技術の実行手順を示すフロ
ーチャートである。

【図２２】 ワードモデル、現アクティブリストおよび
それらに関連する新アクティブリストを示す概略図であ
る。

【図２３】標準モデル内で伝わるダイナミックプログラ
ミングパスの複数の例を示す図である。

【図２４】図２１のステップＳ４７に含まれる処理を示
すフローチャートである。

【図２５】図２３で示された２つのダイナミックプログ
ラミングパスが現入力フレームから次の入力フレームに
伝わる方法を説明する図である。

【図２６Ａ 】図２２に示されるワードモデルの現アク
ティブリストの第１の状態が処理された後の新アクティ
ブリストの内容を示す図である。

【図２６Ｂ 】図２２に示されるワードモデルの現アク
ティブリストの第２の状態が処理された後の新アクティ
ブリストの内容を示す図である。

【図２７Ａ 】図２４のステップＳ７７で行われる処理
を示すフローチャートである。

【図２７Ｂ 】図２４のステップＳ７７で行われる処理
を示すフローチャートである。

【図２８】図２１のステップＳ５１で行われる処理を示
すフローチャートである。

【図２９】図２８に示される処理中において、ノードＮ
に対して行われる処理を示す図である。

【図３０】図２１のステップＳ５７で行なわれる処理を
示すフローチャートである。

【図３１】図２２に示されるワードモデルのエントリス
テートを示す図である。

【図３２】図２１のステップＳ６５で行われる処理を示
すフローチャートである。

【図３３】入力フレーズのパラメータフレームシーケン
スと、入力フレーズ内に含まれるワードの分離的発声に
よるパラメータフレームシーケンスとを示す図である。

【図３４】他の実施形態による第１の代替技術を用い
て、ワードモデルを異なるユーザに適用するための処理
を示すフローチャートである。

【図３５】他の実施形態による第２の代替技術を用い
て、ワードモデルを異なるユーザに適用するための処理
を示すフローチャートである。

Claims (24)

【特許請求の範囲】
1. 【請求項１】 入力信号内において、分離的に入力され
   たパターンの位置を決定する方法であって、 （ａ）前記入力信号を、該入力信号と同様のパターンを
   含む複数の接続されたパターンと関連させるアライメン
   ト工程と、 （ｂ）前記アライメント工程の結果から前記位置を決定
   する決定工程とを備えることを特徴とするパターン位置
   決定方法。
2. 【請求項２】 前記入力信号は音声信号であり、該入力
   信号内の前記パターンは分離的に発声された音声の一部
   であり、前記複数の接続されたパターンを表す信号は連
   続的に発声されたフレーズを表すものでることを特徴と
   する請求項１に記載の方法。
3. 【請求項３】 前記発声された音声の部分はワードもし
   くはワードのグループであることを特徴とする請求項２
   に記載の方法。
4. 【請求項４】 前記入力信号は複数の接続パターンを表
   す複数の信号に関連付けられ、該複数の接続されたパタ
   ーンの一つが該入力信号内のパターンと同様であり、 当該方法は更に、前記アライメント工程によってなされ
   た各アライメントに基づいて前記決定工程によって決定
   された位置を平均化する平均化工程を更に備えることを
   特徴とする請求項１乃至３のいずれかに記載の方法。
5. 【請求項５】 前記複数の信号は少なくとも２つの異な
   る信号を備えることを特徴とする請求項４に記載の方
   法。
6. 【請求項６】 前記アライメント工程は、前記入力信号
   内におけるパターンの開始及び終了位置を制限しないフ
   レキシブルダイナミックプログラミング処理を用いるこ
   とを特徴とする請求項１乃至５のいずれかに記載の方
   法。
7. 【請求項７】 分離して入力されたパターンの分離的標
   準モデルを決定する方法であって、 （ａ）請求項１乃至６のいずれかに記載の方法を用い
   て、入力信号表現中の前記パターンの位置を決定する決
   定工程と、 （ｂ）前記位置から前記入力信号の特徴を抽出し、分離
   された標準モデルを検出、形成する抽出工程とを備える
   ことを特徴とする標準モデル決定方法。
8. 【請求項８】 パターンに対する統計的な標準モデルを
   決定する方法であって、 （Ａ）各々が、モデル化されるべきパターンを含む複数
   の接続されたパターンを表す複数の信号を入力し、 （Ｂ）請求項７に従った方法を用いて前記モデル化され
   るべきパターンの分離した標準モデルを決定し、 （Ｃ）分離された標準モデルと前記複数の信号とを用い
   て前記統計的な標準モデルを生成することを特徴とする
   標準モデル決定方法。
9. 【請求項９】 前記統計的標準モデルは、隠れモルコフ
   モデルであることを特長刀する請求項８に記載の方法。
10. 【請求項１０】 パターンに対する連続的な標準モデル
    を決定する方法であって、 （Ａ）モデル化されるべきパターンを含む複数の接続さ
    れたパターンを表す一つまたはそれ以上の信号を入力
    し、 （Ｂ）請求項７に従った方法を用いて、前記モデル化さ
    れるべきパターンに対する分離された標準モデルを決定
    し、 （Ｃ）前記分離された標準モデルを、モデル化されるべ
    きパターンを含む複数の接続されたパターンを表す信号
    に対応付けるアライメント工程と、 （Ｄ）前記対応付けの結果を結合することにより、連続
    的な標準モデルを決定する決定工程とを備えることを特
    徴とする方法。
11. 【請求項１１】 前記分離された標準モデルはパラメー
    タフレームシーケンスを備え、複数の接続されたパター
    ンを表す各信号はパラメータフレームシーケンスを備
    え、前記ステップ（Ｄ）が、 （ｉ）複数の接続されたパターンを表す信号の少なくと
    も一つのパラメータフレームに対応付けられた分離標準
    モデルの各パラメータフレームに対して、それに対応付
    けられたパラメータフレームを平均化することにより連
    続的な標準モデルの対応するパラメータフレームを生成
    することを特徴とする請求項１０に記載の方法。
12. 【請求項１２】 分離された標準モデルのパラメータフ
    レームのうちの、どのパラメータフレームにも対応つけ
    られないパラメータフレームについて、連続標準モデル
    の対応するパラメータフレームを該連続標準モデルの隣
    接するパラメータフレームを用いた補間或いは外挿によ
    って生成することを特徴とする請求項１１に記載の方
    法。
13. 【請求項１３】 前記対応するパラメータフレームは、
    連続的標準モデルの最も近くに隣接するパラメータフレ
    ームを用いて補間もしくは外挿することによって生成さ
    れることを特徴とする請求項１２に記載の方法。
14. 【請求項１４】 前記連続的標準モデルは音声の部分を
    表す言を特徴とする請求項１０乃至１３のいずれかに記
    載の方法。
15. 【請求項１５】 前記音声の部分がワードもしくはワー
    ドのグループに対応することを特徴とする請求項１４に
    記載の方法。
16. 【請求項１６】 請求項１４または１５に従った方法を
    用いて得られた連続標準モデルを用いる音声認識方法。
17. 【請求項１７】 図１３乃至１６を用いて記述されるよ
    うにして、入力信号表現中における、分離的に入力され
    たパターンの位置を決定する方法。
18. 【請求項１８】 請求項１乃至１７のいずれかに従った
    方法を実行することを特徴とする装置。
19. 【請求項１９】 図１３乃至１６を用いて記述されるよ
    うにして、入力信号表現中における、分離的に入力され
    たパターンの位置を決定するための装置。
20. 【請求項２０】 新たな入力フレーズに対処するため
    に、音声認識システムにおいて用いるための言語モデル
    を適応させる方法であって、ここで、言語モデルは少な
    くともスタートノードとエンドノードとを有し、 （ａ）前記フレーズ中の第１のワードが前記スタートノ
    ードの出力に接続されていない場合、該第１のワードを
    外スタートノードの出力に接続し、 （ｂ）前記フレーズ中の最後のワードを除く全てに対し
    て、（ｉ）前記フレーズ中の現在のワードが中間ノード
    に接続されていない場合、中間ノードを生成してその中
    間ノードの入力に前記現在のワードを接続し、（ii）前
    記フレーズ中の次のワードが現在のワードがその入力側
    に接続された中間ノードに接続されていない場合、該次
    のワードを該中間ノードの出力側に追加し、 （ｃ）前記フレーズ中の前記最後のワードが前記エンド
    ノードの入力側に接続されていない場合、該最後のワー
    ドを該エンドノードの入力が和に接続することを特徴と
    する方法。
21. 【請求項２１】 言語モデルを適用するために請求項２
    ０に従った方法用いることを特徴とする連続的音声認識
    方法。
22. 【請求項２２】 請求項１乃至１７、２０及び２１のい
    ずれかに記載の方法を実行するためのソフトウエアプロ
    グラムが格納されたデータ搬送媒体。
23. 【請求項２３】 認識されるべき音声を表す信号を入力
    する入力手段と、 前記入力音声と複数の標準モデルとをマッチングするマ
    ッチング手段と、 前記マッチング手段に応答して、入力音声に対応する標
    準モデルのうちのもっとも類似した標準モデルもしくは
    シーケンスに基づいて認識結果を提供する認識手段とを
    備え、 エンドユーザが継続的に新たな標準モデルを追加するこ
    とを可能とする手段を更に備え、入力された音声が該新
    たな標準モデルの一つ或いはシーケンスに対応する場合
    にシステムがその入力音声を認識可能とすることを特徴
    とする連続音声認識装置。
24. 【請求項２４】 前記認識手段は、出力されるワードの
    シーケンスを制限する言語モデルに応答し、該言語モデ
    ルは、エンドユーザが標準モデルに新たなフレーズを追
    加したときに更新されることを特徴とする請求項２３に
    記載の装置。