JPS62194295A - ワード・マルコフ・モデル生成方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 以下の順序で本発明を説明する。

Ａ、産業上の利用分野 Ｂ、開示の概要 Ｃ２従来の技術 り６発明が解決しようとする問題点 Ｅ１問題点を解決するための手段 Ｆ、実施例 Ｆｌ、　音声認識システムの環境（第２図〜第４図） Ｆ　２．　　聴覚モデルおよび音声語Ｒシステムの音響
プロセッサにおけるその実現（第８図〜第１４図） Ｆ　３．　　精密突合せ（第４図、第１５図、第１６図
） Ｆ　４．　　音素木構造（第１７図） Ｆ　５．　　言語モデル（第２図） Ｆ　６．　　概算による整形（第１８図）Ｆ　７．　　
音響突合せにより選択されたワードによるワード・パス
の延長（第５図〜第７図、第１９図） Ｆ　８．　　ワードの複数の発声から構築するマルコフ
・モデル（第１Ａ図、第１Ｂ図、第１Ｃ図、第２０図〜
第２６図） Ｇ９発明の効果 Ａ、産業上の利用分野 本発明は一般に音声認識の分野、詳細に説明すれば、音
声認識システムにおける基本形式の構築に係わる。

Ｂ、開示の概要 本発明は、ワードの発音で発声ごとの変動を考慮に入れ
たフエネメの基本形式を構築する問題に取組むものであ
る。詳細に述べれば、本発明は、（ａ）　　ワードの複
数の発声をそれぞれのフエネメ・ストリングに変換し、 （ｂ）　　フエネメのマルコフ・モデル音素マシンのセ
ットを形成し、 （ｃ）　　複数のフエネメ・ストリングを生成するため
最良の１つの音素マシンＰ１を確定し、（ｄ）　　複数
のフエネメ・ストリングを生成するため形式Ｐ１Ｐ２ま
たはＰ　２　Ｐ　１の最良の２つの音素基本形式を確定
し、 （ａ）　　各々のフエネメ・ストリングに対して最良の
２つの音素基本形式を整列させ、 （ｆ）　　各々のフエネメ・ストリングを左の部分と右
の部分に分割し、左の部分は２つの音素基本形式の第１
の音素マシンに対応させ、右の部分は２つの音素基本形
式の第２の音素マシンに対応させ、 （ｇ’ｌ　　左の部分の各々を左サブストリング、右の
部分の各々を右サブストリングとして識別し、（ｈ）　
　複数の発声に対応するフエネメ・ストリングのセット
と同じように左サブストリングのセットおよび右すプス
）　ＩＪングのセットを処理し、更に、その単一音素基
本形式が、最良の２音素基本形式が生成するよシも高い
確率でそのサブストリングを生成する場合には、そのサ
ブストリングのそれ以上分割を禁止するステップを含み
、 （ｉ）　　未分割の単一音素を、それらが対応するフエ
ネメ・サブストリングの順序に対応する順序に連結する ステップを含むワード・セグメントの語零でワードのフ
エネメ基本形式を構築する方法に係わる。

Ｃ１従来の技術 ある音声認識システムでは、音響プロセッサは音声を入
力として受取り、それにラベルのストリングを生成する
。これらのラベルは、音響プロセッサによりアルファベ
ット、すなわち入力された音声の成る特徴に基づいた独
特なラベルのセットから選択する。

一般に、音響プロセッサは、センチ秒間隔にわたって入
力された音声のパワー・スペクトルの特徴を検査し、（
フエネメと呼ばれる）ラベルを各間隔に割当てる。従っ
て、入力された音声に従つて、音響プロセッサは対応す
るフエネメのストリングを生成する。

音声を認識する統計的な方法では、限定されたセットの
モデルが決められる。各モデルは、マルコフ・モデル、
すなわち確率的に限定された状態の音！マシンであって
、フエネメを生成する。この手法は、　　ＩＥｌｉｌ：
Ｅ会報：パターン分析および計算機情報（ＰＡＭＩ）第
５巻第２号（ｉ９８３年３月号）のエル・アール・バー
ル外の論文“連続音声を認識する最尤法″（Ｌ、Ｒ，Ｂ
ａｈｌ　　ｅｔ　　ａｌ。

”Ａ　Ｍａｘｉｍｕｍ　Ｌｉｋｅｌｉｈｏｏｄ　　Ａｐ
ｐｒｏａｃｈｔｏ　　Ｃｏｎｔｉｎｕｏｕｓ　　５ｐｅ
ｅｃｈ　Ｒｅｃｏｇｎｉｔｔｏｕ”。

ＩＥ　ＥＥ　　Ｔｒａｎｓａｃｔｉｏｕ　　ｏｎ　　Ｐ
ａｔｔｅｒｎＡｎａｌｙｓ　ｊｓ　　ａｎｄ　Ｍａｃｈ
　ｉｎｅ　　Ｉｎｔｅｌ：１！ｔｇｅｎｃｅ。

Ｖｏｌ、　ＰＡＭｒ−５，Ａ２．　Ｍａｒｃｈ　　１９
８３　）などに記載されている。

確率的な方法に従って、各音素マシンは、その特徴とし
て、 （ａ）複数の状態、 （ｂ）状態間の遷移（各遷移はそれに関連した確率を有
する）、 （ｃ）　　少なくともいくつかの遷移の各々の、その特
定のフエネメを生成する確率を表わす複数の出力確率 を有する。音素７７ンは、フエネメを生成しないナル遷
移を含むことがある。通常、非ナル遷移では、アルファ
ベットの各フエネメに割当てられた確率がある。

入力された音声がフエネメあストリングに変換された後
、音素マシンを検査し、その音素マシンの尤度を確定し
て該ストリング中にフエネメのサブストリングを生成す
ることができる。検査は音素ごとに実行し、サブストリ
ングを生成する各音素マシンのそれぞれの尤度を確定す
ることができる。同様に、音素のシーケンスの検査は、
そのシーケンスで音素の尤度を確定するように行い、該
生成されたストリングに７エネメを生成することもでき
る。

ＩＢＭ社の研究により、種々の型の音素マシンが認めら
れている。１つの型は“音標型音素マシン″で、（発声
された場合に）フエネメ・ストリングのフエネメを生成
する所与の音標要素の尤度を反映する統計値を記憶する
。もう１つの型は°。

フエネメ型音素マシン″で、（発声された場合に）フエ
ネメ・ストリングのフエネメを生成する所与のフエネメ
要素の尤度を反映する統計値を記憶する。

フエネメの音素マシンは２つの状態Ｓ１およびＳ２を有
する。１つの非ナル遷移はＳｌからそれ自身に戻る。も
う１つの非ナル遷移およびナル遷移はＳｌと８２の間で
行われる。

語粟中の各ワードは、“ワード基本形式”と呼ばれる所
定の音素シーケンス（すなわち音素マシン）で表現され
る。フエネメ基本形式は、所与のワードを表現するよう
に連結されているフエネメ音素シーケンスである。音標
の基本形式は、所与のワードを表現するように連結され
ている音標の音素シーケンスである。

入力された音声にワードが適合する尤度は、そのために
、ストリング中にフエネメを生成する基本形式の確率を
反映する。すなわち、フエネメ・ストリングを生成する
最高の確率を有する基本形式は、入力音声に最も密接に
適合するワードを表す。

基本形式が、それによって表現されるワードにいかに良
く対応するかは、確率的な方法により得られる精度に影
響する重要な要因である。

語粟中のワードごとに基本形式を決める１つの手法はシ
ングルトン・フエネメ基本形式の手法と呼ばれる。この
手法では、各ワードは１回だけ発声される。各々のフエ
ネメに関連して、そのワードの１つの発声で生成される
のは、そのフエネメを生成する最高の確率を有する音素
マシンである。

シングルトン・フエネメ基本形式の手法では、各音素マ
シンは１つのフエネメに関連する。従って、ストリング
中の生成されたフエネメごとに、１つの最も見込みのあ
る対応する音素マシンがある。ワードの発声に対応する
音素マシンのシーケンスはそのワードを表す。

Ｄ１発明が解決しようとする問題点 シングルトン・フエネメ基本形式の手法にはいくつかの
問題を伴う。特定のワードの発声はかなシ変動すること
がある。基本形式を構築する１つの発声が、そのワード
の別の時点での発音とかなシ異なる場合、音声認識の質
が低下することがある。

しかしながら、各ワードの複数の発声に基づいた基本形
式を構築するのは簡単なことではない。

ちなみに、複数の発声が接合する最大の確率を有する音
素シーケンスすなわち基本形式はＢ＝Ｐ　１Ｐ２’・・
・Ｐｍ（ＰＨ（ｉ＝１．２、・・・・、ｍ）は音素であ
る）は、 ／７　　Ｐｒ　（Ｂ　ｌ−ｒ　１１ｆｉ２ｆｊ３°””
　ｉ　１ｉ　）ｉ　＝　１ である。ここでｆｉｌ　・・・・ｆ、１．　は１番目の
発声のフエネメ・ストリングである。この式による計算
は既知のあらゆる方法によっても受入れがたい高い費用
がかかる。

本発明の目的は、ワード・セグメントの発音で、その１
つの発声と別の発声の間に起こりうる変化を考慮に入れ
ることにより、シングルトン・フエネメ基本形式の手法
を改良することである。ワード・セグメントは通常のワ
ードまたはその一部分を用いることができる。

更に本発明の目的は、反復するプロセスにより基本的な
基本形式を改良することである。

更に本発明の目的は、音標の音素または他の型の音素か
ら構築された基本形式も同様に使用できるようにするこ
とである。

Ｅ１問題点を解決するための手段 本発明により、各基本形式は、時間すなわち計算上のき
びしい要求なしに有効に基本形式を構築できる、いわゆ
る個別解決方式で、対応するワード・セグメントの複数
の発声に基づいて構築する。

詳細に述べれば、本発明の１つの実施例は下記ステップ
を含む。

（ａ）ワード・セグメントの複数の発声をそれぞれのフ
エネメ・ストリングに変換する。

（ｂ）フエネメのマルコフ・モデル音素マシンのセット
を形成する。

（ｃ）複数のフエネメ・ストリングを生成するため最良
の単一音素マシンＰ１を確定する。

（ｄ）　　複数のフエネメ・ストリングを生成するため
形式Ｐ１Ｐ２またはＰ２Ｐ１の最良の２音素基本形式を
確定する。

（ａ）　　各々のフエネメ・ストリングに対して最ｉの
２音素基本形式を整列させる。

（ｆ）　　各々のフエネメ・ストリングを左の部分と右
の部分に分割し、左の部分は２音素基本形式の第１の音
素マシンに対応させ、右の部分は２音素基本形式の第２
の音素マシンに対応させる。

０）左の部分の各々を左サブストリング、右の部分の各
々を右サブストリングとして識別する。

（ｈ）左サブストリングのセットを、複数の発声に対応
するフエネメ・ストリングのセットと同じように処理し
、更に、その単一音素基本形式が、最良の２音素基本形
式が生成するよりも高い確率でそのサブストリングを生
成する場合に１そのサブストリングのそれ以上の分割を
禁止する。

０）右サブストリングのセットを、複数の発声に対応す
るフエネメ・ストリングのセットと同じように処理し、
更に、その単一音素基本形式が、最良の２音素基本形式
が生成するようも高い確率でそのサブス）　ＩＪングを
生成する場合に、そのサブストリングのそれ以上の分割
を禁止する。

（ｊ）　　未分割の単一音素を、それらが対応するフエ
ネメ・サブストリングの順序に対応する順序に連結する
。

Ｆ、実施例 Ｆ　１．　　音声認識システムの環境（第２図〜第４図
）第２図は本発明の環境を与える音声認識システム１０
００の概要ブロック図を示す。このシステムは、スタッ
ク・デコーダ１００２．およびそれに接続された音響プ
ロセッサ（ＡＰ）１００４、高速概算音響突合せを実行
するアレイ・プロセッサ１００６、精密な音響突合せを
実行するアレイ・プロセッサ１００８．言語モデル１０
１０．ならびにワークステーション１０１２を含ｔｒ。

音響プロセッサ１００４は、音声波形入力をラベル、す
なわち、その各々が対応する単音符号を大体識別するフ
エネメのストリングに変換するように設計されている。

一般に単音符号は、スペクトル・エネルギまたは他の特
徴に関するガウス分布もしくは他の分布を反映すること
ができるクラスタ化アルゴリズムにより定義される。本
システムでは、音響プロセッサ１００４は、人間の聴覚
の独特なモデルに基づくもので、米国特許出願第０６／
６６５４０１号（ｉ９８４年１０月２６日出願）に記載
されている。

音響プロセッサ１００４からのラベル、すなわちフエネ
メはスタック・デコーダ１００２に送られる。第３図は
、スタック・デコーダ１００２の論理装置を示す。すな
わち、スタック・デコーダ１００２は探索装置１０２０
、およびそれに接続すしたワークステーション１０１２
、インタフェース１０２２．１０２４．１０２６ならび
に１０２８を含む。これらのインタフェースの各々は、
音響プロセッサ１００４．アレイ・プロセッサ１００６
．１００８ならびに言語モデル１０１０にそれぞれ接続
される。第２図に示すシステムにおいて、音響プロセッ
サ１００４からのフエネメは探索装置１０２０によりア
レイ・プロセッサ１００６（高速突合せ）に送付される
。アレイ・プロセッサ１００６は、ワードの語粟でワー
ドを検査し、所与の到来ラベルのストリングの候補ワー
ドの数を少なくするように設計されている。高速突合せ
は確率的に限定された状態マシン（本明細書ではマルコ
フ・モデル音素マシンともいう）で行う。

精密突合せは、これらのワードを、話されたワードとし
て適度の尤度を有する高速突合せ候補リストから、言語
モデル計算により検査することが望ましい。

代替的に、精密突合せを、語禽中の各ワードに用いるこ
とができる。この場合は、高速突合せは省略する。精密
突合せは、音素が音標型の場合の、第４図に示すような
マルコフ・モデル音素マシンにより実行する。

精密突合せの後、言語モデルを再び呼出し、ワードの尤
度を決定することが望ましい。

高速突合せ、言語モデル、精密突合せ、および言語モデ
ル手順は、本発明を利用することができる１つのシステ
ムとして認識しなければならない。

（音標、フエネメ、または他の音素の型の）精密突合せ
しか含まないシステムも同様に本発明を利用することが
できる。

スタック・デコーダ１００２の目的は、ラベルｙ１ｙ２
ｙ３・・・・のストリングに最高の確率を与えるワード
・ストリングを決定することである。

これは数学的には次のように表現する。

Ｍａｘ　（Ｐｒ　（Ｗ　ｌ　Ｙ　）　　　　　　　（ｉ
）これは全ワード・ストリングＷにわたってＹを与える
Ｗの最大確率である。周知のように、　Ｐｒ（ＷＩＹ）
は次のように書くことができる。

Ｐｒ　（ＷＩＹ）＝Ｐｒ（ｗ）Ｐｒ（ＷＩＹ）／Ｐｒ（
Ｙ）ただし、Ｐｒ（Ｙ）はＷに無関係である。

連続するワードＷ０の最も起こりうるパス（すなわち列
）を決定する１つの方法は、それぞれの可能なパスを調
べ、復号しようとするラベル・ストリングを生じるパス
の各々の確率を決定することである。そして、関連する
最高の確率を有するパスを選択する。５０００ワードの
語粟の場合、この方法は、特にワードの列が長いとき、
扱いにくくなり、非実際的である。

最尤ワード列Ｗ中を発見する公知の他の２つの方法は、
ビテルビ（Ｖｉｔｅｒｂｉ）復号化およびスタック復号
化である。これらの手法の各々は、パターン解析および
マシン情報に関するＩ　ＥＥＥ会報、ＰＡＭＩ第５巻第
２号、１９８３年６月号記載のエル・アール・バール外
の論文、パ連続音声認識の最尤アプローチ’　（Ｌ　　
ＲＢａｈｌ　　ａｔ　ａｌ、”Ａ　Ｍａｘｉｍｕｍ　Ｌ
ｉｋｅｌｔｈｏｏｄ　Ａｐｐｒｏａｃｈ　　ｔ。

Ｃｏｎ日ｎｕｏｕｓ　　５ｐｅｅｃｈ　　Ｒｅｃｏｇｎ
ｉｔｉｏｎ、”Ｉ　　ＥＦＪＥ　　Ｔｒａｎｓａｃｔｉ
ｏｎｓ　　　ｏｎ　　ＰａｔｔｅｒｎＡｎａｌｙｓｉｓ
　　ａｎｄ　　Ｍａｃｈｉｎｅ　　Ｉｎｔｅｌｌｉｇｅ
ｎｃｅ。

Ｖｏｌ、ＰＡＭｒ−５、Ａ２　、Ｍａｒｃｈ　　１９８
３）の第７項および第■項にそれぞれ記載されている。

この論文のスタック復号手法は単一のスタック復号化に
関連する。すなわち、長さの異なるパスは尤度により単
一スタックにリストされ、復号はこの単一のスタックに
基づいて行われる。単一スタック復号は、尤度がいくら
かパスの長さに左右され、従って一般に正規化が行われ
るという事実によるものである。しかしながら、正規化
は、もし正規化ファクタが正しく、推定されなければ、
不適切な探索により過度の探索および探索エラーを生じ
ることがある。

ビテルビ手法は、正規化は必要としないが、一般に小さ
なタスクの場合にしか実際的ではない。

大規模な語粟を使用すると、基本的に時間に同期するビ
テルビ・アルゴリズムは、非同期の音響突合せ成分とイ
ンタフェースしなければならないことがある。この場合
、インタフェースは適切ではないという結果になる。

エル・アール・バーン（Ｌ、Ｒ，Ｂａｈｌ　）他の発明
による代替の新規装置および方法（後述）は、最も起こ
りうるワード列Ｗｏを、他の手法に比し低い計算要求と
高い精度で復号することができる方法に関係する。特に
、多重スタック復号および独特の決定方法により所与の
時刻にどのワード列を展開すべきかを決定することを特
徴とする手法が設けられている。この決定方法に従って
、相対的に長さの短かいパスは、その短かさの故に不利
にはならないが、その代り、その相対的な尤度により判
定される。第５図、第６図および第７図に示す新規の装
置および方法について下記に詳細に説明する。

スタック・デコーダ１００２は、実際には、他の要素を
制御するように作用するが、実行する計算の量は多くは
ない。従って、スタック・デコーダ１００２は、ＩＢＭ
　　ＶＭ／３７０ｔ’：Ｌ／−ｆインク・システム（モ
デル１５５．ＶＳ２．＋）’）−ス１．７）の制御の下
にランする４６４１プロセツサを含むことが望ましい。

相当な量の計算を実行するプレイ・プロセッサは、フロ
ーティング・ポイント・システム（ＦＰＳ）社製の市販
の１９ＯＬにより実現されている。

Ｆ　２．　　聴覚モデルおよび音声認識システムの音響
プロセッサにおけるその実現（第８図〜第１４図） 第８図は、前述のような音響プロセッサ１１００の特定
の実施例を示す。音響波入力（例えば、自然の音声）が
、所定の速度でサンプリングするＡ　／　Ｄ変換器１１
０２に入る。代表的なサンプリング速度は毎５０マイク
ロ秒当り１サンプルである。ディジタル信号の端を整形
するために、時間窓発生器１１０４が設けられている。

時間窓発生器１１０４の出力は、時間窓ごとに周波数ス
ペクトル出力を与えるＦＦＴ　（高速フーリエ変換）装
置１１０６に入る。

そして、ＦＦＴ装置１１０６の出力は、ラベルＬＬ　　
・・・・Ｌ、を生成するように処理される。

特徴選択装置１１０８．クラスタ装置１１１０、原型装
置１１１２および記号化装置１１１４は共同してラベル
を生成する。ラベルを生成する際、原型は、選択された
特徴に基づき空間に点（またはベクトル）として形成さ
れる。音響入力は、選択された同じ特徴により、原型に
比較しうる対応する点（またはベクトル）を空間に供給
するように特徴づけられている。

詳細に言えば、原型を定義する際、クラスタ装置１１１
０により点のセットを集めてクラスタに群化する。クラ
スタを形成する方法は、音声に適用される（ガウス分布
のような）確率分布に基づいている。各クラスタの原型
は、（クラスタの中心軌跡または他の特徴に関連して）
原型装置１１１２により生成される。生成された原型お
よび音響入力（どちらも同じ特徴が選択されている）は
記号化装置１１１４に入る。記号化装置１１１４は比較
手順を実行し、その結果、特定の音響入力にラベルを割
当てる。

適切な特徴の選択は、音響（音声）波入力を表すラベル
を取出す際の重要な要素である。音響プロセッサは改良
された特徴選択装置１１０８に関係する。音響プロセッ
サに従って、独特の聴覚モデルが取出され使用される。

聴覚モデルを、第９図により説明する。

第９図は人間の内耳の部分を示す。詳細に述べれば、白
毛細胞１２００と、液体を含有する溝１２０４に広がる
末端部１２０２が詳細に示されている。また、白毛細胞
１２００から上流には、外来細胞１２０６と、溝１２０
４に広がる末端部１２０８が示されている。白毛細胞１
２００と外来細胞１２０６には、脳に情報を伝達する神
経が結合している。電気化学的変化は、基底膜１２１０
の機械的運動により刺激される。

基底膜１２１０が音響波入力の周波数分析器として作用
し、基底膜１２１０に沿った部分がそれぞれの臨界周波
数バンドに応答することは従来から知られている。対応
する周波数バンドに応答する基底膜１２１０のそれぞれ
の部分は、音響波形入力を知覚する音量に影響を与える
。すなわち、トーンの音量は、類似のパワーの強度の２
つのトーンが同じ周波数バンドを占有する場合よりも、
２つのトーンが別個の臨界周波数バンドにある場合の方
が大きく知覚される。基底膜１２１０により規定された
２２０等級の臨界周波数バンドがあることが分っている
。

基底膜１２１００周波数レスポンスに合わせて、本発明
は良好な形式で、臨界周波数バンドの一部または全部に
入力された音響波形を定め、次いで、規定された臨界周
波数バンドごとに別個に信号成分を検査する。この機能
は、ＦＦ’Ｔ装置１１０６（第８図）からの信号を適切
に濾波し、検査された臨界周波数バンドごとに特徴選択
装置１１０８に別個の信号を供給することにより行われ
る。

別個の入力も、時間官発生器１１０４により（できれば
２５．６４１７秒の）時間フレームにブロックされる。

それゆえ、特徴選択装置１１０８は２２の信号を含むこ
とが望ましい。これらの信号の各々は、時間フレームご
とに所与の周波数バンドの音の強さを表す。

信号は、第１０図の通常の臨界バンド・フィルタ１３０
０により濾波することが望ましい。次いで、信号は個別
に、音量の変化を周波数の関数として知覚する音量等化
変換器１３０２により処理する。ちなみに、１つの周波
数で所与のｄＢレベルの第１のトーンの知覚された音量
は、もう１つの周波数で同じｄＢレベルの第２のトーン
の音量と異なることがある。音量等化変換器１３０２は
、経験的なデータに基づき、それぞれの周波数バンドの
信号を変換して各々が同じ音量尺度で測定されるように
する。例えば、音量等化変換器１３０２は、１９３３年
のフレクチャおよびムンソン（Ｆｌｅｔｃｈｅｒ　　ａ
ｎｄ　Ｍｕｎｓｏｎ　）の研究に多少変更を加えること
により、音響エネルギを同等の音量に写像することがで
きる。第１１図は前記研究に変更を加えた結果を示す。

第１１図により、４０ｄＢで１ｋＨｚのトーンシま６０
ｄＢで１００Ｈｚのトーンの音量レベルに対応すること
が分る。

音量等化変換器１３０２は、第１１図に示す曲線に従っ
て音量を調整し、周波数と無関係に同等の音量を生じさ
せる。

周波数への依存性のほか、第１１図で特定の周波数を調
べれば明らかなように、パワーの変化は音量の変化に対
応しない。すなわち、音の強度、すなわち振幅の変動は
、すべての点で、知覚された音量の同様の変化に反映右
れない。例えば、１００Ｈｚの周波数では、１１０ｄＢ
付近における１　０　ｄＢの知覚された音量変化は、２
０ｄＢ付近における１　０　ｄＢの知覚された音量変化
よシもずっと大きい。この差は、所定の方法で音量を圧
縮する音量圧縮装置１３０４により処理する。音量圧縮
装置１６０４は、ホン単位の音量振幅測定値をソーン単
位に置換えることにより、パワーＰをその立方根Ｐ１／
３に圧縮することができる。

第１２図は、経験的に決められた既知のホン対ソーンの
関係を示す。ンーン単位の使用により、本発明のモデル
は大きな音声信号振幅でもほぼ正確な状態を保持する。

１ソーンは、１ｋＨｚのトーンで４０ｄＢの音量と規定
されている。

第１０図には、新規の時変レスポンス装置１３０６が示
されている。この装置は、各臨界周波数バンドに関連し
た音量等化および音量圧縮信号により動作する。詳細に
述べれば、検査された周波数バンドごとに、神経発火率
ｆが各時間フレームで決められる。発火率ｆは本発明の
音響プロセッサに従って次のように定義される。

ｆ　＝（Ｓｏ＋ＤＬ）　ｎ　　　　　　　　　（ｉ）た
だし、ｎは神経伝達物質の量：Ｓｏは音響波形入力と無
関係に神経発火にかかわる自発的な発火定数；Ｌは音量
測定値；Ｄは変位定数である。

５ｏ−ｎ　は音響波入力の有無に無関係に起きる自発的
な神経発火率に相当し、ＤＬｎは音響波入力による発火
率に相当する。

重要な点は、本発明では、ｎの値は次式により時間とと
もに変化するという特徴を有することである。

ｄｎ／ｄｔ＝Ａｏ−（Ｓｏ＋Ｓｈ＋ＤＬ）ｎ　　　　（
２）ただし、Ａｏは補充定数：Ｓｈは自発的な神経伝達
物質減衰定数である。式（２）に示す新しい関数は、神
経伝達物質が一定の割合Ａｏで生成されながら、（ａ）
　　減衰（Ｓｈ−ｎ）、（ｂ）　　自発的な発火（Ｓｏ
−ｎ）、および（Ｃ）音響波入力による神経発火（ＤＬ
−ｎ）により失われることを考慮している。これらのモ
デル化された現象は第９図に示された場所で起きるもの
と仮定する。

式（２）で明らかなように、神経伝達物質の欠食および
次発火車が少なくとも神経伝達物質の現量の自乗に比例
しておシ、本発明の音響プロセッサが非線形であるとい
う事実を示している。すなわち、状態（ｔ＋Δｔ）での
神経伝達物質の量は、状態（ｔ　＋　ｄｎ／ｄ　ｔ・Δ
ｔ）での神経伝達物質の量に等しい。よって、 ｎ（ｔ＋Δｔ）＝ｎ（ｔ）＋（ｄｎ／ｄｔ）−△ｔ　　
（３）が成立する。

式（ｉ）、（２）および（６）は、時変信号分析器の動
作を表す。時変信号分析器は、聴覚器官系が時間に適応
性を有し、聴神経の信号が音響波入力と非直線的に関連
させられるという事実を示している。ちなみに、本発明
の音響プロセッサは、神経系統の明白な時間的変化によ
りよく追随するように、音声認識システムで非線形信号
処理を実施する最初のモデルを提供するものである。

式（ｉ）および（２）において未知の項数を少なくする
ため、本発明では、一定の音量りに適用される次式を用
いる。

Ｓｏ　＋Ｓｈ　＋ＤＬ　＝　１　／Ｔ　　　　　　　　
（４）ただし、Ｔはオーディオ波入力が生成された後、
聴覚レスポンスがその最大値の３７％に低下するまでの
時間の測定値である。Ｔは、音量の関数であり、本発明
の音響プロセッサにより、種々の音量レベルのレスポン
スの減衰を表示する既知のグラフから取出す。すなわち
、一定の音量のトーンが生成されると、最初、高いレベ
ルのレスポンスが生じ、その後、レスポンスは時定数Ｔ
により、安定した状態のレベルに向って減衰する。音響
波入力がない場合、Ｔ＝Ｔｏである。これは５０ミリ秒
程度である。音量がＬｍａＸの場合、Ｔ＝ＴｍａｌＸで
ある。これは３０ミリ秒程度である。Ａｏ＝１に設定す
ることにより、１／（Ｓｏ＋Ｓｈ）は、Ｌ＝０の場合、
５センチ秒と決定される。ＬがＬｍａｘでｓ　Ｌｍａｘ
＝２０ンーンの場合、次式が成立つ。

Ｓｏ　＋Ｓｂ　＋Ｄ　（２０）　＝　１／３０　　　　
　　　（５）前記データおよび式により、Ｓｏおよびｓ
ｈは下記に示す式（６）および（７）により決まる。

５ｏ＝ＤＬ　　　／［Ｒ＋（ＤＬ　　　　Ｔ　　Ｒ）−
１］ｍａｘ　　　　　　　　　　　　ｍａｘ　　　０Ｓ
ｈ　”　１　／’ｒｏｓｏ（７） ただし、 ｆ安定状態は、ｄ　ｎ　／ｄ　ｔが００場合、所与の音
量での発火率を表わす。

Ｒは、音響プロセッサに残っている唯一の変数である。

それゆえ、このプロセッサの性能はＲを変えるだけで変
更される。すなわち、Ｒは、性能を変更するのに調整す
ることができる１つのパラメータで、通常は、過渡状態
の効果に対し安定状態の効果を最小限にすることを意味
する。類似の音声入力の場合に出カバターンが一貫性に
欠けることは一般に、周波数レスポンスの相違、話者の
差異、背景雑音ならびに、（音声信号の安定状態部分に
は影響するが過渡部分には影響しない）歪みにより生ず
るから、安定状態の効果を最小限にすることが望ましい
。Ｒの値は、完全な音声認識システムのエラー率を最適
化するように設定することが望ましい。このようにして
見つかった最適値はＲ＝　１．５である。その場合、Ｓ
ｏおよびｓｈの値はそれぞれ０．０８８８および［１，
１１１１１であシ、Ｄの値は０．００６６６が得られる
。

第１３図は本発明による音響プロセッサの動作の流れ図
である。できれば、２０ｋ）Ｉ　　でサンプリングされ
た、２５．６ミＩＪ秒の時間フレーム中のディジタル化
音声は、ノ・ユング窓１５２０を通過し、その出力は１
０ミリ秒間隔で、ＤＦＴ　１５２２において２重フーリ
エ変換されることが望ましい。変換出力はブロック１６
２４で濾波され、少なくても１つの周波数バンド（でき
ればすべての臨界周波数バンドか、または少なくとも２
０のバンド）の各々にパワー密度出力を供給する。次い
で、パワー密度はブロック１５２６で、記録された大き
さから音量レベルに変換される。この動作は、第１１図
のグラフの変更により、または、後に第１４図に概要を
示すプロセスにより取出された限界値に基づいて実行さ
れる。

第１４図において、最初に濾波された周波数バンドｍの
各々の感覚限界Ｔ　および可聴限界Ｔｈがそれぞれ、１
２０ｄＢおよびＯｄＢになるように設定される（ブロッ
ク１５４０　）。その後、音声カウンタ、合計フレーム
・レジスタおよびヒストグラム・レジスタをリセットす
る（ブロック１３４２）。

ヒストグラムの各々はビン（ｂｉｎ　）を含み、ビンの
各々は、（所与の周波数バンドで）二クワ−または類似
の測定値がそれぞれのレンジ内にある間のサンプル数す
なわちカウントを表す。本発明では、ヒストグラムは、
（所与の周波数バンドごとに）音量が複数の音量レンジ
の各々の中にある期間のセンチ秒数を表すことが望まし
い。例えば、第３の周波数バンドでは、１０ｄＢと２０
　ｄＢのパワーの間が２０センチ秒の場合がある。同様
に、第２０の周波数バンドでは、５０ｄＢと６０　ｄＢ
の間に、合計１０００センチ秒のうちの１５０センチ秒
がある場合がある。合計サンプル数（すなわちセンチ秒
）およびビンに含まれたカウントから百分位数が取出さ
れる。

ブロック１６４４で、それぞれの周波数バンドのフィル
タ出力のフレームが検査され、ブロック１３４６で、適
切なヒストグラム（フィルタ当９１つ）中のビンが増分
される。ブロック１３４８で、振幅が５５ｄＢを越える
ビンの合計数がフィルタ（すなわち周波数バンド）ごと
に集計され、音声の存在を示すフィルタ数を決定する。

ブロック１６５０で、音声の存在を示す最小限（例えば
２０のうちの６）のフィルタがない場合、ブロック１３
４４で次のフレームを検査する。音声の存在を示す十分
なフィルタがある場合、ブロック１６５２で、音声カウ
ンタを増分する。音声カウンタは、ブロック１３５４で
音声が１０秒間現われ、ブロック１３５６で新しいＴ、
およびＴｈの値がフィルタごとに決定されるまで増分さ
れる。

所与のフィルタの新しいＴ、およびＴｈの値は次のよう
に決定される。Ｔｆの場合、１０００ビンの最上位から
３５番目のサンプルを保持するビンのｄＢ値（すなわち
、音量の９６．５番目の百分位数）はＢ工ＮＨと定義さ
れ、Ｔ、はＴ、　＝Ｂ　ＩＮＨ＋４０ｄＢに設定される
。Ｔｈの場合、最下位のビンから（０，０１）（ビン総
数−音声カウント）番目の値を保持するビンのｄＢ値が
Ｂ工ＮＬと定義される。すなわち、Ｂ■ＮＬは、ヒスト
グラム中の、音声として分類されたものを除いたサンプ
ル数の１チのビンである。ＴｈはＴｈ＝Ｂ■ＮＬ　　３
０ｄＢと定義される。

第１３図のブロック１３６０および１　’３３２で、音
の振幅は、前述のように、限界値を更新し、更新された
限界値に基づいてソーン単位に変換され、圧縮される。

ソーン単位を導入し圧縮する代替方法は、（ビンが増分
された後）フィルタ振幅“ａ″を取出し、次式忙よりｄ
Ｂに変換する。

ａ”＝２０１ｏｇ１（ｉ（ａ）　　１０　　　　　（９
）次に、フィルタ振幅の各々は、次式により同等の音量
を与えるようＫＯｄＢと１２０　ｄＢ　　の間のレンジ
に圧縮される。

ａｅｑ’＝１２０（ａ　　　Ｔｈ）／（Ｔ（Ｔ）、）　
（ｉ０）。

次にａｅｑｌは次式により、音量レベル（ホン単′位）
からソーン単位の音量の近似値に変換（４０ｄＢでｌＫ
Ｈ２の信号を１に写像）することが望ましい。

ＬｄＢ＝　（ａ”１−３０　）　／　４　　　　　　（
ｉ１）次に、ンーン単位の音量の近似値しｓは次式で与
えられる。

Ｌ　　＝１０（Ｌ　　　）／２０　　　　　　　　（ｉ
２）ステップ１３３４で、Ｌ、は式（ｉ）および（２）
の入力として使用され、周波数ノ（ンドごとの出力発火
率ｆを決定する。２２周波数バンドの場合、２２次元の
ベクトルが、連続する時間フレームにわたる音響波入力
を特徴づける。しかしながら、一般に、２０周波数バン
ドは、メルでスケーリングされた通常のフィルタ・バン
クを用いて検査する。

次の時間フレームを処理する前に、ブロック１３３７で
、ｎの“次状態”を式（３）に従って決定する。

前述の音響プロセッサは、発火率ｆおよび神経伝達物質
量ｎが大きいＤＣペデスタルを有する場合の使用につい
ての改善を必要とする。すなわち。

ｆおよびｎの式の項のダイナミックレンジが重要な場合
、下記の式を導いてペデスタルの高さを下げる。

安定状態で、かつ音響波入力信号が存在しない（Ｌ＝０
）場合、式（２）は次のように安定状態の内部状態ｎ′
　について解くことができる。

ｎ’　＝Ａ　／　（Ｓｏ　＋　Ｓｈ　）　　　　　　　
　（ｉ３）神経伝達物質の量ｎ（ｉ）の内部状態は、次
のように安定状態部分および変動部分として示される。

ｎ（ｔ）＝ｎ’＋ｎ”（ｔ）　　　　　　　　　　（ｉ
４）式（ｉ）および（ｉ４）を結合すると、次のように
発火率が得られる。

ｆ（ｔ）＝（Ｓｏ＋Ｄ−Ｌ）（ｎ’＋ｎ”（ｔ））（ｉ
５）Ｓｏ−ｎ′の項は定数であるが、他のすべての項は
、ｎの変動部分か、または（Ｄ−Ｌ）により表わされた
入力信号を含む。爾後の処理は出力ベクトル間の差の二
乗のみ忙関連するので、定数項は無視される。式（ｉ５
）および（ｉ３）から次式が得られる。

ｆ“（ｔ）＝（ＳＯ＋Ｄ−Ｌ）　・Ｃ（ｎ”　（ｔ）＋
Ｄ−Ｌ−Ａ）／（ＳＯ＋５ｈ））　　　　　　　　　　
（ｉ６）式（３）を考慮すると、１次状態”は次のよう
Ｋなる。

ｎ（ｔ＋Δｔ）＝ｎ’（ｔ＋Δｔ）＋ｎ“（ｔ＋Δｔ）
　　　　（ｉ７）ｎ（ｔ＋△ｔ）＝＝ｎ“（ｔ）＋Ａ−
（Ｓｏ＋Ｓｈ＋ＤＩＩＬ）　−（ｎ’　＋ｎ″（ｔ））
　　　　　　　　　　　　　（ｉ８）ｎ（ｔ＋Δｔ　）
＝＝ｎ＃（ｔ　）−（Ｓｈ−ｎ″（ｔ）　　（Ｓｏ＋Ａ
ｏ−Ｌ　　）・ｎ″（ｔ）−（ＡＯ−ＬＡ・Ｄ）／（Ｓ
Ｏ十Ｓｈ）＋Ａｏ−（Ｓｏ−Ａｏ）＋（Ｓｈ−Ａｏ））
／（Ｓｏ＋Ｓｈ）　　　　　　　　　　　　（ｉ９）式
（ｉ９）はすべての常数環を無視すれば次のようになる
。

ｎ’（を十Δｔ）＝ｎ“（ｔ）（Ｉ　　Ｓｏ・Δ１）−
ｆ“（ｉ）式（ｉ５）および（２０）は、それぞれの１
０ミリ秒時間フレーム中に各フィルタに適用される出力
式および状態更新式を構成する。これらの式の使用結果
は１０ミリ秒ごとの２０要素のベクトルであシ、このベ
クトルの各要素は、メルでスケーリングされたフィルタ
・パンクにおけるそれぞれの周波数バンドの発火率に対
応する。

前述の実施例に関し、第１３図の流れ図は、発火率ｆお
よび゛次状態”ｎ（ｔ＋Δｔ）の特別の場合の式をそれ
ぞれ定義する式（ｉ１）および（ｉ６）により、ｆ、ｄ
ｎ／ｄｔおよびｎ（ｔ＋Δｔ）の式を置換える以外は当
てはまる。

それぞれの式の項に特有の値（すなわち、１０＝５　ｃ
ｓｅｃ、ｔ　Ｌ＝３　ｃｓｅｃ％Ａｏ＝１、Ｒ＝１゜５
およびＬｍａｘ＝２０）は他の値に設定することができ
、Ｓｏ　、ＳｈおよびＤの項は、他の項が異なった値に
設定されると、それぞれの望ましい値０．０８８８．０
．１１１１１、および０．００６６６とは異なる値にな
る。

本発明は種々のソフトウェアまたは／％−ドウエアによ
り実施することができる。

Ｆ　３．　　精密突合せ（第４図、第１５図、第１６図
）第４図は一例として音標型の音素マシン２０００を示
す。音標型突合せの各マシンは、確率的に限定された状
態マシンであり、 （ａ）　　複数の状態Ｓｌ：　　　。

（ｂ）　　複数の遷移ｔｒ（Ｓｊ−８ｔ）：ある遷移は
異なった状態間で、ある遷移は同じ状態間で遷移し、各
遷移は対応する確率を有する：（ｃ）　　特定の遷移で
生成しうるラベルごとに対応する実際のラベル確率 を有することを特徴とする。

第４図では、７つの状態ｓ　　−８７ならびに１５の遷
移ｔｒ１〜ｔｒ１３が精密突合せ音素マシン２０００に
設けられ、その中の３つの遷移ｔｒｌｌ、ｔｒ１２およ
びｔｒ１３のバスは破線で示されている。これらの３つ
の遷移の各々で、音素はラベルを生成せずに１つの状態
から別の状態に変わることがある。従って、このような
遷移はナル遷移と呼ばれる。遷移ｔｒ１〜ｔｒ　１０に
沿って、ラベルを生成することができる。詳細に述べれ
ば、遷移ｔｒ１〜ｔｒ１０の各々に沿って少なくとも１
つのラベルは、そこに生成される独特の確率を有するこ
とがある。遷移ごとに、システムで生成することができ
る各ラベルに関連した確率がある。すなわち、もし選択
的に音響チャンネルにより生成することができるラベル
が２００あれば、（ナルではない）各遷移はそれに関連
した“実際のラベル確率”を２００有し、その各々は、
対応するラベルが特定の遷移で音素により生成される確
率に対応する。遷移ｔｒ１の実際のラベル確率は、図示
のように、記号Ｐと、それに続くブラケットに囲まれた
１〜２０００列で表わされる。これらの数字の各々は所
与のラベルを表す。ラベル１の場合は、精密突合せ音素
マシン２０００が遷移ｔｒ１　でラベル１を生成する確
率Ｐ〔１〕がある。種々の実際のラベル確率は、ラベル
および対応する遷移に関連して記憶されている。

ラベルｙ１　ｙ２　ｙ５・・・・のストリングが、所与
の音素に対応する精密突合せ音素マシン２０００に捷示
されると、突合せ手順が実行される。精密突合せ音素マ
シンに関連した手順について第１５図により説明する。

第１５図は第４図の音素マシンのトレリス図である。前
記音素マシンの場合のように、このトレリス図も状態Ｓ
１から状態Ｓ７へのナル遷移、状態Ｓ１から状態Ｓ２へ
の遷移、および状態Ｓ１から状態Ｓ４への遷移を示す。

他の状態間の遷移も示されている。また、トレリス図は
水平方向に、測定された時刻を示す。開始時確率ｑ。％
　　ｑｌ、およびｑ２は、音素がその音素の時刻ｔ　＝
ｔ　ｏ。

１＝１　　またはｔ　＝ｔ　２のそれぞれにおいて開始
時刻を有する確率を表す。各開始時刻におけるぞれぞれ
の遷移も示されている。ちなみに、連続する開始（およ
び終了）時刻の間隔は、ラベルの時間間隔に等しい長さ
であることが望ましい。

精密突合せ音素マシン２０００を用いて所与の音素が到
来ストリングのラベルにどれくらいぴったりと突合され
るかを決定する際、その音素の終了時刻分布を探索して
、その音素の突合せ値を決めるのに使用する。精密な突
合せを実行するため終了時刻分布を生成する際、精密突
合せ音素マシン２０００は、正確で複雑な計算を必要と
する。

最初に、第１５図のトレリス図により、時刻ｔ＝ｔｏで
開始時刻および終了時刻を得るのに必要な計算について
調べる。第４図に示された音素マシン構造の例の場合は
、下記の確率式が当てはまる。

Ｐｒ（Ｓ７．ｔ＝ｔｏ）＝ｑｏ−Ｔ（ｉ→７）＋Ｐｒ（
Ｓ２゜ｔ＝ｔｏ）−Ｔ（２→７）＋ Ｐｒ（Ｓ３．ｔ＝ｔｏ）− Ｔ（３→７）　　　　　　　（２１） ただし、Ｐｒは確率を表し、Ｔは括弧内の２つの状態の
間の遷移確率を表す。この式は、ｔ＝ｔ。

で終了時刻になることがある３つの状態のそれぞれの確
率が、この例では、状態Ｓ７における終了時刻生起に限
定されることを示する。

次に、終了時刻ｔ＝ｔ１を調べると、状態Ｓ１以外のあ
らゆる状態に関する計算を行わなければならない。状態
Ｓ１は前の音素の終了時刻で開始する。説明の都合上、
状態Ｓ４に関する計算だけを示す。

Ｓ４の場合、計算は次のようになる。

ｐｒ（Ｓ４．ｔ＝ｔ１）＝ｐｒ（ｓｌ、ｔ＝ｔｏ）−’
ｒ（ｉ−＋４）・Ｐｒ（ｙｌ、１→４）＋ Ｐｒ（ｓ４．ｔ＝ｔｏ）Ｔ（４→４） ｓｐｙ　（ｙｌ　、　４→４）　　　（２２）式（２２
）は、時刻ｔ　＝ｔ　１で音素マシンが状態Ｓ４である
確率は下記の２つの項： （ａ）　　時刻１＝１ｏで状態Ｓ１である確率に、状態
Ｓ１から状態Ｓ４への遷移確率を乗じ、更に、生成中の
ストリング中の所与のラベルｙ１が状態Ｓ１から状態Ｓ
４へ遷移する確率を乗じて得た値と、（ｂ）時刻ｔ　＝
ｔ　ｏで状態ｓ４である確率に、状態Ｓ４からそれ自身
への遷移確率を乗じ、更に、状態Ｓ４からそれ自身に遷
移するものとして所与のラベルｙ１を生成する゛確率を
乗じて得た値と の和によって決まることを示す。

同様に、（状態Ｓ１を除く）他の状態に関する計算も実
行され、その音素が時刻ｔ　：”　ｔ　１で特定の状態
である対応する確率を生成する。一般に、所与の時刻に
対象状態である確率を決定する際、精密な突合せは、 （ａ）　　対象状態に導く遷移を生じる前の各状態およ
び前記前の各状態のそれぞれの確率を認識し、（ｂ”ｌ
　　前記前の状態ごとに、そのラベル・ストリングに適
合するように、前記網の各状態と現在の状態の間の遷移
で生成しなければならないラベルの確率を表す値を認識
し、 （ｃ）前の各状態の確率とラベル確率を表すそれぞれの
値を組合せて、対応する遷移による対象状態の確率を与
える。

対象状態である全体的な確率は、それに導くすべての遷
移による対象状態確率から決定される。

状態Ｓ７に関する計算は、３つのナル遷移に関する項を
含み、その音素が状態Ｓ７で終了する音素たより時刻ｔ
　””　ｔ　１で開始・終了することを可能にする。

時刻ｔ＝ｔｏおよびｔ　”　ｔ　１に関する確率を決定
する場合のように、他の終了時刻の組の確率の決定は、
終了時刻分布を形成するように行うことが望ましい。所
与の音素の終了時刻分布の値は、所与の音素がどれ位良
好に到来ラベルに突合されるかを表示する。

ワードがどれ位良好に到来ラベルに突合されるかを決定
する際、そのワードを表す音素は順次に処理される。各
音素は確率値の終了時刻分布を生成する。音素の突合せ
値は、終了時刻確率を合計し、その合計の対数をとるこ
とにより得られる。

次の音素の開始時刻分布は終了時刻分布を正規化するこ
とにより引出される。この正規化では、例えば、それら
の値の各々を、それらの合計で割ることによりスケーリ
ングし、スケーリングされた値の合計が１になるように
する。

所与のワードまたはワード・ストリングの検査すべき音
素数りを決定する方法が少なくとも２つある。深さ優先
方法では、計算は基本形式に沿って行う（連続する音素
の各々により連続して小計を計算する）。この小計がそ
れに沿った所与の音素位置の所定の限界値以下であると
分った場合、計算は終了する。もう１つの方法、幅優先
方法では、各ワードにおける類似の音素位置の計算を行
う。計算は、各ワードの第１の音素の計算、続いて各ワ
ードの第２の音素の計算というように、順次に行う。幅
優先方法では、それぞれのワードの同数の音素に沿った
計算値は、相対的に同じ音素位置で比較する。いずれの
方法でも、突合せ値の雇大の和を有するワードが、求め
ていた目的ワードである。

精密な突合せはＡＰＡＬ　（アレイ・プロセッサ・アセ
ンブリ言語）で実現されている。これは、７０−ティン
グ・ポイント・システムズ社（Ｆｌｏｏｔｊｎｇ　　Ｐ
ｏ１ｎｔ　　Ｓｙｓｔｅｍｓ、、Ｉｎｃ、）製のアセン
ブラ１９０Ｌである。ちなみに、精密な突合せは、実際
のラベル確率（すなわち、所与の音素が所与の遷移で所
与のラベルとｙを生成する確率）、音素マシンごとの遷
移確率、および所与の音素が所定の開始時刻後の所与の
時刻で所与の状態である確率の各々を記憶するためにか
なシのメモリを必要とする。前述の１９ＯＬは、終了時
刻、できれば終了時刻確率の対数和に基づいた突合せ値
、前に生成された終了時刻確率に基づいた開始時刻、お
よびワード中の頑次音素の突合せ値に基づいたワード突
合せ得点のそれぞれの計算をするようにセットアンプさ
れる。更に、精密な突合せは、突合せ手順の末尾確率を
計算することが望ましい。末尾確率はワードとは無関係
に連続するラベルの尤度を測定する。簡単な実施例では
、所与の末尾確率はもう１つのラベルに続くラベルの尤
度に対応する。この尤度は、例えば、成るサンプル音声
により生成されたラベルのストリングから容易に決定さ
れる。

それ故、精密な突合せは基本形式、マルコフ・モデルの
統計値、および末尾確率を含むのに十分な記憶装置を備
える。各ワードが約１０の音素を含む５０００ワードの
語索の場合、基本痛式は５０００Ｘ１０の記憶量を必要
とする。（音素ごとにマルコフ・モデルを有する）７０
の別個の音素、２００の別個のラベル、および任意のラ
ベルが生成される確率を有する１ｏの遷移がある場合、
統計値は７０Ｘ１０Ｘ２００の記憶ロケーションを必要
とすることになる。しかしながら、音素マシンは３つの
部分（開始部分、中間部分および終了部分）に分割され
、統計表はそれに対応することが望ましい（３つの自己
ループの１つが各部分に含まれることが望ましい）。従
って、記憶要求は６０Ｘ２Ｘ２００に減少する。末尾確
率に関しては、２００Ｘ２００の記憶ロケーションが必
要である。この配列では、５０にの整数および８２にの
浮動小数点の記憶装置であれば満足に動作する。

以上の説明は、第４図に示すような音標型音素マシンの
シーケンスを含む音標基本形式に関するものである。

しかしながら、更に、前記概設した精密突合せと類似の
精密突合せでフェネメ基本形式を使用することがある。

第１６図は、７エネメ音素マシン（その例は第１９図に
示す）に基づいた格子を示す。この図は、任意の所与の
時刻に、３つの遷移の中のどれかが生じうろことを示す
。（破線表示の）ナル遷移は、ラベルを生成せずに、あ
る状態から別の状態に移る。２番目の遷移は、ある状態
からそれ自身への自己ループ中にラベルの生成を可能に
する。３番目の遷移は、ある状態から別の状態への遷移
中にラベルの生成を可能にする。

前に示唆したように、高速突合せは、（第２図に示され
てはいるが、）任意選択である。下記の説明は、精密な
突合せで検査するワード数を少なくする高速突合せを含
む環境に関連する。しかしながら、希望すれば、高速突
合せを省略することができ、その場合は、各ワードは精
密な突合せにより処理される。

Ｆ　４．　　音素木構造（第１７図） 音素突合せ値は、いったん確定されると、第１７図に示
すように、木構造４１００の分枝に沿って比較し、音素
のどのパスが最も起こシうるかを゛判定する。第１７図
において、（点４１ｏ２かち分枝４１０４に出る）話さ
れたワードｔｈｅ″の音素ＤＨおよびＵＨｌの音素突合
せ値の和は、音素ＭＸから分岐する音素のそれぞれのシ
ーケンスの場合よシもずっと高い値でなければならない
。

ちなみに、最初の音素ＭＸの音素突合せ値は１回だけ計
算され、それから広がる各基本形式に使用される。（分
枝４１ｏ４および４１ｏ６を参照されたい。）更に、分
枝の最初のシーケンスに沿って計算された合計得点が、
限界値よりもずっと低いか、普たは分岐の他のシーケン
スの合計得点よシもずっと低いことが分ると、最初のシ
ーケンスから広がるすべての基本形式は同時に候補ワー
ドから削除されることがある。例えば、分枝４１０８〜
４１１８に関連した基本形式は、ＭＸが起こりそりなバ
スでないことが確定されると、同時に捨てられる。高速
突合せ実施例および木構造により、順序づけられた候補
ワードのリストが生成され、それに伴なう計算は大幅に
節約される。

記憶要求については、音素の木構造、音素の統計値、お
よび末尾確率が記憶されることになっている。木構造に
ついては、２５０００の弧と６弧を特徴づける４つのデ
ータワードがある。第１のデータワードは後続の弧すな
わち音素の指標を表す。第２のデータワードは分枝に沿
った後続の音素の数を表わす。第６のデータワードは木
構造のどのノードに弧が置かれているかを表す。第４の
データワードは現在の音素を表す。従って、この木構造
の場合、２５０［］ＯＸ４の記憶空間が必要である。高
速突合せでは、１００の異なった音素と２００の異なっ
た７エネメがある。フエネメは音素中のどこかで生成さ
れる１つの確率を有するから、１００Ｘ２００の統計的
確率の記憶空間が必要である。末尾構造については、２
００Ｘ２００の記憶空間が必要である。高速突合せの場
合、１００にの整数と６０にの浮動小数点の記憶空間が
あれば十分である。

Ｆ　５．　　言語モデル（第２図） 前述のように、文脈中のワードに関する（三重字のよう
な）情報を記憶する言語モデルを包含することにより、
正しくワードを選択する確率を高めることができる。言
語モデルは前記論文に記載されている。

言語モデル１０１０は独特の文字を有することが望まし
い。詳細に言えば、修正三重手法が使用される。本発明
に従って、サンプル・テキストが検査され、語粟中の、
順序づけられた三重ワードおよびワード対ならびに単一
ワードの各々の尤度を確定する。そして、最も起こシう
る三重ワードおよびワード対のリストが形成される。更
に、三重ワードのリスト中にない三重ワードおよびワー
ド対のリスト中にないワード対の尤度がそれぞれ決定さ
れる。

言語モデルに従って、対象ワードが２ワードに続く場合
、この対象ワードと先行する２ワードが三重ワードのリ
ストにあるかどうかについて判定する。三重ワードのリ
ストにある場合、その三重ワードに割当てられた、記憶
されている確率が指定される。対象ワードと先行２ワー
ドが三重ワードのリストにない場合は、その対象ワード
とそれに隣接する先行ワードがワード対のリストにある
かどうかについて判定する。ワード対のリストにある場
合、そのワード対の確率と、前述の三重ワードのリスト
に三重ワードがない確率を掛け、その積を対象ワードに
割当てる。対象ワードを含む前記三重ワードおよびワー
ド対がそれぞれ三重ワードのリストおよびワード対のリ
ストにない場合には、対象ワードだけの確率に、前述の
三重ワードが三重ワードのリストにない確率、ならびに
ワード対がワード対のリストにない確率を掛け、その積
を対象ワードに割当てる。

Ｆ　６．　　概算による整形（第１８図）第１８図の流
れ図は音響突合せで使用する音素マシンの整形を示す。

ブロック５００２で、ワードの語業（一般的に５０００
ワードのオーダ）が定義される。ブロック５００４で、
各ワードを音素マシンのシーケンスにより表示する。音
素マシンは、例えば、音標型音素マシンとして表示され
ているが、代替的に、フエネメ音素のシーケンスを含む
こともある。音標型音素マシンのシーケンスまたはフエ
ネメ型音素マシンのシーケンスによるワードの表示につ
いては下記に説明する。ワードの音素マシン・シーケン
スはワード基本形式と呼ぶ。

ブロック５００６で、ワード基本形式を前述の木構造に
配列する。各ワードの基本形式での音素マシンごとの統
計は、ＩＥＥＥ会報第６４巻（ｉ９７６年）５３２〜５
５６頁記載のエフ・ジエリネクの論文“統計的方法によ
る連続音声認識”（Ｆ、Ｊｅｌｉｎｅｋ、”Ｃｏｎｔｉ
ｎｕｏｕｓ　　ＳｐｅｅｃｈＲｅｃｏｇｎｉｔｉｏｎ　
　ｂｙ　　ＳｔａｔｉｓｔｉｃａｌＭｅｔｈｏｄｓ”Ｐ
ｒｏｃｅｅｄｉｎｇｓ　　ｏｆ　　ｔｈｅ　　Ｉ　ＥＥ
Ｅ、Ｖａｔ、　６４，１９７６、ｐｐ５６２−５５６）
に示された周知のフォワード・バンクワード・アルゴリ
ズムによる整形により決定される（ブロック５００８）
。

ブロック５００９で、精密な突合せに用いる値を記憶す
る。ブロック５０１０で、高速突合せ手順に対応する概
算をそれぞれのモデルに使用する。

概算は、実際の統計値と概算統計値との取替え、および
（または）突合せで検査するラベル数の限定に関係する
ことがある。

高速突合せで使用する概算パラメータ値はブロック５０
１２で設定する。この時点で、それぞれのワード基本形
式の各音素マシンは所望の概算によって整形されている
。更に、精密突合せ音素マシンも形成される。精密な突
合せだけで、または高速突合せと共に音響突合せを実行
することができる。それぞれのワード基本形式の音素は
、木構造のパスに７Ｂって検査される。

Ｆ７　　音響突合せにより選択されたワードによるワー
ド・パスの延長（第５図〜第７図、第１９図） 次に、第２図の音声認識で使用する良好なスタック復号
方法について説明する。

第５図および第６図において、連続する°゛ラベル間隔
″すなわち“ラベル位置”で生成された複数の連続ラベ
ルｙ１・・・・が示されている。

また、第６図には、生成された複数のワード・パス、ス
なわちバスＡ１パスＢおよびパスＣが示されている。第
５図の文脈で、パスＡはエントリ″’ｔｏ　　ｂｅ　　
ｏｒ”に、パスＢはエントリ　ｔｖｒ。

ｂ＃に、パスＣはエントリ“ｔｏｏ”　に対応するであ
ろう。対象ワード・パスの場合、終了している最高の確
率を対象ワード・パスが有するラベル（すなわち等測的
にラベル間隔）がある。このようなラベルを”境界ラベ
ル”という。

ワードのシーケンスを表わすワード・パスＷの場合、最
も起とシうる終了時刻（２ワ一ド間の“境界ラベル″と
してラベル・ストリングに表示されている）は、ＩＢＭ
技術開示会報、第２３巻第４号、１９８０年９月号、エ
ル・アール・ノく−ル外の論文“高速音響突合せ計算”
　（Ｌ、Ｒ，Ｂａｈｌｅｔ　　ａｌ、”Ｆａａｔｅｒ　
　ＡｃｏｕＬ口ｃＭａｔｃｈＣｏｍｐｕｔａｔｉｏｎτ
Ｉ　ＢＭ　ＴｅｃｈｎｉｃａｌＤｉｓｃｌｏｓｕｒｅ　
　Ｂｕｌｌｅｔｉｎ、Ｖｏｌ、２３．Ａ４゜Ｓｅｐｔｅ
ｍｂｅｒ　　１９８０　）　　に記載されているような
既知の方法により発見することができる。簡単に言えば
、この論文は、下記の２つの重要な事項； （ａ）　　どれだけ多くのラベル・ストリングＹがワー
ド（またはワード・シーケンス）によるものであるか、
（ｂ）どのラベル間隔で、（ラベル・ストリングの部分
に対応する）部分的な文が終了するか に取組む方法について説明している。

任意の所与のワード・パスの場合、ラベル・ストリング
の最初のラベル−境界ラベルを含む各々のラベルすなわ
ちラベル間隔に関連した゛尤度値″がある。所与のワー
ド・パスの尤度値の全部は一括して、所与のワード・パ
スの“尤度ベクトル”を表わす。従って、ワード・パス
ごとに、対応する尤度ベクトルがある。尤度値し、は第
６図に示されている。

２　、。

ワード・パスＷｌ、Ｗ、　　・・、Ｗ８′の集まりのラ
ベル間隔ｔでの“尤度包絡線”Ｊｔは数学的に次のよう
に定義される。

Ａｔ＝ｍａ　ｘ　（Ｌ　ｔ　（Ｗｌ）　、　・”・、　
Ｌｔ　（Ｗ３）　）すなわち、ラベル間隔ごとに、尤度
包絡線は前記集シの中の任意のワード・パスに関連した
最高の尤度値を含む。第６図に尤度包絡線８０４０が示
されている。

ワード・パスは、完全な文に対応する場合には“完全”
とみなされる。完全なパスは、入力している話者が、文
の終了に達したとき、例えばボタンを押すことにより識
別されることが望ましい。

入力は、文終了をマークするラベル間隔と同期される。

完全なワード・パスは、それにワードを付加して延長す
ることはできない。部分的なワード・パスは不完全な文
に対応し、延長することができる。

部分的なパスは生きている”または”死んでいる″バス
に分類される。ワード・パスは、それが既に延長されて
いるときは“死んでいる″が、まだ延長されていないと
きは“生きている”。この分類により、既に延長されて
少なくとも１つの、よυ長く延長されたワード・パスを
形成しているパスは、次の時刻で延長が再び考慮される
ことはない。

各々のワード・パスは、尤度包絡線に対して”良い”、
または”悪い″ものとして特徴づけることが可能である
。ワード・パスは、その境界ラベルに対応するラベルで
、そのワード・パスが、最大尤度包絡線内にある尤度値
を有する場合は良いワード・パスである。その他の場合
は、ワード・パスは悪いワード・パスである。最大尤度
包絡線の６値を一定の値だけ減少して良い（悪い）限界
レベルとして作用させることは、望ましいことではある
が、必ずしも必要ではない。

ラベル間隔の各々についてスタック要素がある。

生きているワード・パスの各々は、このような生きてい
るパスの境界ラベルに対応するラベル間隔に対応するス
タック要素に割当てられる。スタック要素は、（尤度値
の順序にリスト化されている）０．１またはより多くの
ワード・パス・・エントリヲ有することがある。

次に、第２図のスタック・デコーダ１００２により実行
されるステップについて説明する。

尤度包結線を形成し、どのワード・パスが良いかを決定
することは、第７図のスタック復号手法の流れ図に示す
ように相互に関係する。

第７図の流れ図において、ブロック８０５０で、最初に
、ナル・パルスが第１のスタック（０）に入る。ブロッ
ク８ｏ５２で、前に確定されている完全なパスを含む（
完全な）スタック要素が、もしあれば、供給される。（
完全な）スタック要素中の完全なパスの各々は、それに
関連する尤度ベクトルを有する。その境界ラベルに最高
の尤度を有する完全なパスの尤度ベクトルは、最初に最
尤包絡線を決める。もしく完全な）スタック要素に完全
なパスがなければ、最尤包絡線は各ラベル間隔で一閃に
初期設定される。更に完全なパスが指定されていない場
合にも、最尤包絡線が−に初期設定されることがある。

包絡線の初期設定はブロック８０５４および８０５６で
行われる。

最尤包絡線は、初期設定された後、所定の量だけ減少さ
れ、減少された尤ｉの上方に△−良い領域を形成し、減
少された尤度の下方にΔ−悪い領域を形成する。Δが大
きければ大きいほど、延長が可能とみなされるワード・
パス数が大きくなる。

Ｌ　を確定するのにｌｏｇｌｏを用いる場合、Δの値が
２であれば満足すべき結果が得られる。Δの値がラベル
間隔の長さに沿って均一であることは、望ましいけれど
も、必ずしも必要ではない。

ワード・パスが、Δ−良い領域内にある境界ラベルに尤
度を有する場合、そのワード・パスは”良い″とマーク
される。その他の場合には、ワード・パスは“悪い″と
マークされる。

第７図に示すように、尤度包絡線を更新し、ワード・パ
スを“良い“（延長が可能な）パス、または”悪い”パ
スとしてマークするループは、マークされていない最長
ワード・パスを探すブロック８０５８で始まる。２以上
のマークされていないワード・パスが最長のワード・バ
ス長に対応するスタックにある場合、その境界ラベルに
最高の尤度を有するワード・パスが選択される。ワード
・パスが発見された場合、ブロック８０６０で、その境
界ラベルでの尤度がΔ−良い領域内にあるかどうかを調
べる。もし良い領域内になければ、ブロック８０６２で
、Δ−悪い領域内のパスとマークし、ブロック８０５８
で、次のマークされていない生きているパスを探す。も
し良い領域内にあれば、ブロック８０６４で、Δ−良い
領域内のパスとマークし、ブロック８０６６で、尤度包
絡線を更新して、”良い”とマークされたパスの尤度値
を包含する。すなわち、ラベル間隔ごとに、更新された
尤度値は、（ａ）　　その尤度包線内の現在の尤度値と
、（ｂ）　　”良い”とマークされたワード・パスに関
連した尤度値 の間のよシ大きい尤度値として確定される。この動作は
ブロック８０６４および８０６６で行われる。包絡線が
更新された後、ブロック８０５８に戻り、マークされて
いない最長、最良の生きているワード・パスを再び探す
。

このループは、マークされていないワード・パスがなく
なるまで反復される。マークされていないワード・パス
がなくなると°、ブロック８０７０で、最短の”良い″
とマークされたワード・パスが選択される。もし、最短
の長さを有する２以上の“良い”ワード・パスがあれば
、ブロック８０７２で、その境界ラベルに最高の尤度を
有するワード・パスが選択され、選択された最短のパス
は延長される。すなわち、少なくとも１つの、見込みの
ある後続ワードが、前述のように、高速突合せ、言語モ
デル、精密突合せ、および言語モデル手順を良好に実行
することＫより確定される。見込みのある後続ワードご
とに、延長されたワード・パスが形成される。詳細に述
べれば、延長されたワード・パスは、選択された最短ワ
ード・パスの終りに、見込みのある後続ワードを付加す
ることにより形成される。

選択された最短ワード・パスが、延長されたワード・パ
スを形成した後、該選択されたワード・パスは、それが
エントリであったスタックから除去され、その代わシに
、各々の延長されたワード・パスは適切なスタックに挿
入される。特に、延長されたワード・パスはその境界ラ
ベルに対応するスタックへのエントリになる（ブロック
８０７２）。

ブロック８０７２における選択されたパルスを延長する
動作を第１９図の流れ図に関連して説明する。

第１９図のブロック６０００で、（第２図の）音響プロ
セッサ１０ｏ４はラベルのストリングを生成する。ラベ
ルのストリングはブロック６００２に入力として供給さ
れ、ブロック６００２で、基本の、または改良された概
算突合せ手順の１つが実行され、順序づけられた候補ワ
ードのリストを得る。その後、ブロック６００４で、前
記言語モデルを前述のように使用する。言語モデルを使
用した後、ブロック６００６で、残っている対象ワード
は、生成されたラベルと一緒に精密突合せプロセッサに
送られる。ブロック６００８で、精密な突合せは、残っ
ている候補ワードのリストを生じ、言語モデルに良好に
提示される。（概算突合せ、精密突合せおよび言語モデ
ルにより確定された）見込みのあるワードは；第７図の
ブロック８０７０で発見されたパスの延長に用いる。ブ
ロック６００８（第１９図）で確定された、見込みのあ
るワードの各々は、発見されたワード・パスに別個に付
加され、複数の延長されたワード・パスを形成すること
ができる（ブロック６０１０）。

第７図で、延長バスが形成され、スタックが再形成され
た後、ブロック８０５２に戻ってプロセスを反復する。

従って、反復ごとに、最短、最良の゛良い”ワード・パ
スが選択され、延長される。ある反復で″悪い″バスと
マークされたワード・パスは後の反復で”良い”パスに
なることがある。よって、生きているワード・パスが６
良い”パスか、　”悪い”パスかという特徴は、各々の
反復で独立して付与される。実際には、尤度包絡線は１
つの反復と次の反復とで大幅には変化しないので、ワー
ド・パスが良いか悪いかを決定する計算は効率的に行わ
れる。更に、正規化も不要になる。

完全な文を識別する場合、ブロック８０７４を包含する
ことが望ましい。すなわち、生きているワード・パスで
マークされずに残っているものはなく、延長すべき”良
い”ワード・パスがない場合、復号は終了する。その境
界ラベルのそれぞれに最高の尤度を有する完全なワード
・パスが、入力ラベル・ストリングの最も見込みのある
ワード・シーケンスとして識別される。

文終了が識別されない連続音声の場合、バス延長は、継
続して行われるか、またはそのシステムのユーザが希望
する所定のワード数まで行われる。

Ｆ　８．　　ワードの複数の発声から構築するマルコフ
・モデル（第１Ａ図、第１Ｂ図、第１Ｃ図、第２０図〜
第２６図） 第１Ａ図、第１Ｂ図からなる流れ図（第１Ａ図、第１Ｂ
図の配置関係は第１Ｃ図に示す）は、基本的な基本形式
を構築するステップの概略を示す。

“基本形式”は、音声認識システムの語禽で見つかった
ワード・セグメント（ａワードであることが望ましい）
を表す音素マシンのシーケンスである。

ワード・セグメントは、辞書ワードであることが望まし
いが、辞書ワードのシラブルのような、辞書ワードの所
定の部分を示すこともある。

第１Ａ図、第１Ｂ図の本発明の実施例の最初のステップ
（ブロック９０００）で、ワード・セグメントの発声を
７エネメ（すなわちラベル）のストリングに変換する。

前述のように、一般に音響プロセッサは、ワード・セグ
メントの発声に応答してフエネメのストリングを生成す
る。発声ごとに、それに対応するフエネメ・ストリング
がある。

第２０図はＮのフエネメ・ストリングＦＳ１〜ＦＳＮを
示す。これらのフエネメ・ストリングはそれぞれ、対応
する所与のワード・セグメントの発声に応答して生成さ
れる。各ブロックはストリング中の７エネメを表す。こ
れらのフエネメは、各ストリングで、フエネメ１〜ｌｉ
　　として識別される。

本発明に従って、１組の音素マシン（すなわちマルコフ
・モデル）が形成される。各音素マシンは、少なくとも
２つの状態：それぞれが成る状態から成る状態に移る遷
移：各遷移に関連した確率：および、少なくとも幾つか
の遷移について複数の出力確率（各出力確率は、所与の
７エネメを特定の遷移において生成する尤度に対応する
）を有することを特徴とする。第２１図は簡単なサンプ
ルのフエネメ音素マシン９００２を示す。

音素マシン９００２は状態Ｓ１およびＳ２を有する。１
つの遷移ｔ１は状態Ｓ１から出てそれ自身に戻シ、確率
Ｐｔ１（Ｓ１１Ｓ１）を有する。遷移ｔ１の場合、フエ
ネメｆ１〜ｆｒｎの各々を遷移ｔ１で生成するのに関連
するそれぞれの確率がある。同様に、状態Ｓ１およびＳ
２の間の遷移ｔ２は、（ａ）　　それに関連した確率ｐ
、（ｓ２Ｉｓ１）、（ｂ）　　フエネメｆ１〜ｆｍの各
々を生成するそれの確率 を有する。ナル遷移ｔ３は、出力すなわちフエネメを生
成しない遷移を表わし、それに関連するＰｔ３（Ｓ２１
８１）を有する。音素マシン９００２′は、それにより
、（遷移ｔ１’７ｆ反復する場合のように）任意数のフ
エネメの生成を可能にするが、遷移ｔ３が続く場合は、
フエネメは生成されない。

各音素マシンはそれ建関連する異なった確率すなわち統
計値を有する。同じ組の音素マシンが同じ構成を有し統
計値だけが異なることは、望ましいことではあるが、必
ずしも必要ではない。統計値は一般に、整形セツション
中に決められる。

音’Ｘマシンのセットが形成され、所与のワード・セグ
メントの発声により生成されたフエネメ・ストリングの
すべてに適用された場合、どの音素マシンが長さ１の最
良の基本形式を与えるかＫついて決定がなされる（ブロ
ック９００４）。音素長１の最良の基本形式（Ｐｌ）は
、セット内の各音素マシンの検査、ならびに、音素ごと
の、フエネメ・ストリングＦＳ１〜ＦＳＮの各々を生成
する確率の決定により見つかる。特定の音素マシンごと
に取出されたＮ個の確率は、それらの積をとることによ
り、その特定の音素マシンに割当てられる同時確率を生
じる。最高の同時確率を生じる音素マシンは長さ１の最
良の基本形式Ｐ１として選択される。

音素Ｐ１を保持しつつ、Ｐ１Ｐ２またはＰ　２　Ｐ　１
の形式を有する長さ２の最良の基本形式を探す。

すなわち、各音素なＰｌの後縁に付加してそれぞれの順
序づけられた音素対を形成し、かつ各音素なＰｌの前縁
に付加してそれぞれの順序づけられた音素対を形成する
。そして、各々の順序づけられた音素対の同時確率が得
られる。フエネメ・ストリングを生成する最高の同時確
率を生じる顆序づけられた音素対が、長さ２の最良の基
本形式とみなされる（ブロック９００（Ｓ）。

次に、長さ２の最良の基本形式、すなわち、最高の同時
確率の順序づけられた対を、周知のビテルビ整列のよう
に整列させる（ブロック９００８）。

簡増に言えば、整列は、各ストリング中のどのフエネメ
が、順序づけられた音素対のそれぞれの音素に対応する
かを表す。（この時点で、音素は音素マシンにより表示
されている。それゆえ、音素および音素マシンの項は対
応する存在である。）整列に続き、フエネメ・表トリン
グＦＳ１〜ＦＳＮの各々で一致点をみつける。フエネメ
・ストリングＦＳ　　−ＦＳＮの各々について、一致点
は、（長さ２の最良の基本形式の）音素Ｐ１およびＰ２
が接する見込みが最大の点として定義される。別の見方
として、一致点は、フエネメ・ストリングＦＳ　−ＦＳ
Ｎの各々を左部分と右部分に分ける点とみなすこともで
きる。この場合、すべてのフエネメ・ストリングの左部
分は共通する単音セットを表わし、すべてのフエネメ・
ストリングの右部分も同様に共通する単音セットを表す
（ブロック９０１０）。左部分の各々は左すブス）　Ｉ
Ｊング、右部分の各々は右サブストリングとみなされる
（ブロック９０１２）。

その後、左サブストリングおよび右サブストリングは、
個別処理方式により、類似してはいるが、別個に扱われ
る。

左すプス）　ＩＪングの場合、その代わりに最高の同時
確率を有する最良の単一音素基本形式ＰＬを見つける（
ブロック９０１４）。音素ＰＬを保持しながら、セット
中の各音素をその前に付加した順序で対を形成し、かつ
セット中の各音素をその後に付加した順序で対を形成す
る。次いで、左サブストリングでフエネメを生成する最
高の同時確率を有する一定順序の対ＰＬＰＡｔたはＰＡ
ＰＬを見つける（ブロック９０１６）。前述のように、
これは左サブストリングの長さ２の最良の基本形式とみ
なされる。

左サブストリングの長さ２の最良の同時確率を、同時確
率ＰＬだけと比較する（第１Ｂ図のブロック９０１８）
。同時確率ＰＬの方が大きい場合、連結された基本形式
に音素ＰＬを配置する（ブロック９０２０）。同時確率
ＰＬの方が小さい場合、ＰＰ　　またはＰＡＰＬを左サ
ブストリングに対しＡ し整列させる（ブロック９０２２）。左サブストリング
の各々で一致点が見つかり、各左サブストリングはその
時点で、（新しい）左部分と（新しい）右部分に分割さ
れる（ブロック９０２４）。

同じ手順が、最初に分割されたフエネメ・ストリングＦ
Ｓ１〜ＦＳ、の各右サブストリングにも適用される。（
ブロック９０３０からの）最良の１つの基本形式ＰＲと
、ブロック９０６４で見つかった長さ２の最良の基本形
式ＰＲＰＢまたはＰＲＰＲとが、ブロック９０３２で比
較される。ＰＲの同時確率の方が大きい場合、連結され
た基本形式に音素ＰＲを配置する（ブロック９０２０）
。

ＰＲの方が小さい場合には、２つの音素の基本形式の整
列を行い、各右サブストリングをその一致点で左部分と
右部分に分割する（ブロック９０３６）。

分割サイクルは、長さ２の最良の基本形式が最良の１つ
の音素の基本形式よシも高い同時確率を有するサブスト
リングごとに反復する。すなわち、サブストリングを２
つの部分に分割し、その一方または双方を（整列後）新
しいサブストリングに分割する動作を、１つの音素基本
形式しか残らなくなるまで、次々に実行することができ
る。

１つの音素の基本形式は、その基本形式が表すサブスト
リングと同じ順序で連結される。連結された基本形式は
、フエネメ・ストリングＦＳ１〜ＦＳＮの連続するサブ
ストリングに対応する、連続する１つの音素を表す。後
に説明するように、サブストリングは０．．１、または
２以上のフエネメを含み、それが発声ごとに発音が変化
する原因となる。

前述の連結された基本形式はワード・セグメント、例え
ば語業ワードの基本的な基本形式を表す。

連結された基本形式の改良は第２２図の流れ図に組込ま
れている。第２２図は、第１Ｂ図で、１つの音素（ＰＬ
およびＰＲ）を配置し、連結された基本形式を形成する
ブロック９０２０から続く。

この改良により、連結された基本形式をフエネメ・スト
リングに対して整列させる（ブロック９０５０）。フエ
ネメ・ストリングＦ　Ｓ　ｉ〜ＦＳＮの各々に対し、こ
の整列は、そのストリング中のフエネメが（もしあれば
）それぞれの音素マシンに対応することを表わし、音素
対応に基づいたストリングの分割に役立つ（ブロック９
０５２）。

分割されるセクションごとに分析を行い、その分割に最
良の１つの音素を確定する（ブロック９０５４）。整列
により、分割されたセクション内のフエネメの最良の単
一音素は、前に整列され連結された基本形式中の単一音
素と異なることがある。

両者が異なる場合（ブロック９０５８）、各最良の単一
音素を、前に整列され連結された基本形式中の対応する
単一音素と置換え、新たに連結された基本形式を生成す
る（ブロック９０５６）。

次いで、新しい基本形式は、必要なら、整列（ブロック
９０５０）、分割（９０５２）、新しい最良の音素の探
索（ブロック９０５４）、ならびに、連結された基本形
式での音素の置換えを適切に行う。第２２図の流れ図に
示すように、このサイクルは、連続的に処理される基本
形式を得るように反復することができる。

連結された基本形式中の古い最良の音素が所与の分割の
新しい最良の音素と同じ場合（ブロック９０５８）、こ
の音素は連結された基本形式中の所定位置に固定される
（ブロック９０６０）。すべての音素がそれぞれの順序
の位置に固定されると、改良された基本形式が生じる（
ブロック９０６２）。

第２３図〜第２６図によりフエネメ基本形式について説
明する。Ｐｌはフエネメ・ストリングＦＳ１〜ＦＳＮの
長さ１の最良の基本形式であることが最初に分っている
。

Ｐｌを１つの音素として用い、フエネメ・ストリングＦ
Ｓ１〜ＦＳＮの最良の順序の音素対を形成するように第
２の音素を決定する。これは第２３図に示されている。

第２４図では、フエネメ・ストリングＦＳ１〜ＦＳＮの
各々は、音素Ｐ１が音素Ｐ２に接する見込みが最大の点
で分割される。

第２５図では、左部分と右部分が決められる。これらの
部分は、その後、第２３図の複数のフエネメ・ストリン
グのように別個に検査される。個別処理により、各スト
リング中のフエネメは連続的により多くの音素により表
示される。所与の音素の確率が、取出された２つの音素
の確率よりも大きい場合、分割は停止され、このような
分割されない音素のシーケンスに沿ったそれぞれの位置
に、所与の音素を配置する。

第２６図は配置された１つの音素Ｐ１のサンプルで、そ
れに対応するフエネメ・ストリングＦＳ１〜ＦＳＮのサ
ブストリングを表す。ＦＳｌでは、音素Ｐ１は１つの７
エネメに関連し、ＦＳ２では、Ｐｌはナルに関連し、Ｆ
Ｓ３では、Ｐｌは２つのフエネメの生成に関連する。以
下同様である。

基本形式を改良するには、連結された基本形式に対する
各々の発声のフエネメ・ストリングのビテルビ整列を実
行する。連結された基本形式では音素ごとに順次、それ
に対して整列されだフエネメが決定される。音素に対し
て整列されるフエネメがない場合、その音素は削除され
る。その他の場合には、それにより整列された（すなわ
ち、そのために分割されたセクション中の）フエネメを
生成する確率を最大化する音素を見つけ、前からある音
素を、前からあるその音素が最大確率の音素である見込
みがより小さい場合、取替える。希望により、このステ
ップは反復されることもあり、反復されないこともある
。反復される場合、その反復は音素が取替えられると終
了する。

本発明は、Ｘ８Ｍシステム３０８４のＭＶＳにおいてＰ
Ｌ／Ｉで実現されているが、種々の計算システムの中の
任意のシステムにおいて種々の言語の中の任意の言語で
実現することもできる。

最良の基本形式は、前述の実施例により、同時確率が各
フエネメ・ストリングに関連した確率の積になっている
場合、最高の同時確率を有する基本形式として特徴づけ
られている。最良の基本形式および層高の同時確率は本
発明に従って別な方法で決められることがある。ちなみ
に、最高平均確率、または所定のある分布は、最高の同
時確率を決定する際に使用することができる。

更に、本発明は、同時に６以上の部分に分割することに
より実施されることがある。例えば、発声ごとのフエネ
メ・ストリングを、最初に６つの部分（左、中央および
右のセクション）に分割することがある。次に、分割さ
れた各々のセクションは、個別処理方式で別個に検査さ
れる。しかしながら、３以上に分割するよりも、２つに
分割されたセクションの方が望ましい。

また、分割および整列の順序に一定の制限はない。１つ
の実施例では、分割および整列は、分割が停止するまで
実行され、連続的に小さくなる左の部分を決める。連結
された基本形式における最も左の音素は、それにより最
初に決められる。その後、連結された基本形式で左から
２番目の音素が決められる。代替方法として、本発明は
分割および整列する他のルーチンにより、連結された基
本形式で所望の音素を選択することも企図している。

Ｇ１発明の効果 本発明により音声認識システムで構築される基本形式を
改良することができる。

【図面の簡単な説明】

第１Ａ図および第１Ｂ図は本発明により複数の発声に基
づいたワード・セグメントの基本的な基本形式を構築す
る方法を示す流れ図、第１ｃ図は第１Ａ図と第１Ｂ図の
配置関係を示す図、第２図は本発明を実施しうるシステ
ム環境の概要ブロック図、第３図は第２図のシステム環
境の中のスタック・デコーダを詳細に示したブロック図
、第４図は整形セツション中に得られた統計値たより記
憶装置で識別され、表示される音標型音素マシンを示す
図、第５図は連続するスタック復号のステップを示す図
、第６図はスタック復号手法を示す図、第７図はスタッ
ク復号手法の流れ図、第８図は音響プロセッサの要素を
示す図、第９図は音響モデルの構成要素を形成する場所
を表わす代表的な人間の耳の部分を示す図、第１０図は
音響プロセッサの部分を示すブロック図、第１１図は音
響プロセッサの設計に用いる。音の強度と周波数の関係
を示す図、第１２図はソーンとホンの関係を示す図、第
１３図は第８図の音響プロセッサにより音響の特徴をど
のように示すかを表す流れ図、第１４図は第１３図で限
界値をどのように更新するかを示す流れ図、第１５図は
精密突合せ手順のトレリスすなわち格子を示す図、第１
６図は突合せを実行するのに用いる音素マシンを示す図
、第１７図は同時に複数のワードの処理を可能にする音
素の木構造を示す図、第１８図はマルコフ・モデル音素
マシンの整形を示す流れ図、第１９図はワード・パスの
延長を示す流れ図、第２０図は１つのワード・セグメン
トの〃の発声から得たフエネメ・シーケンスを示す図、
第２１図はサンプルのフエネメ型音素マシンを示す図、
第２２図はワード・セグメントの基本形式を向上させる
ため第１Ａ図および第１Ｂ図の流れ図に付加する流れ図
、第２５図は複数の発声の１つに応答して生成される各
フエネメ・ストリングに使用する音素の長さ２の最良の
基本形式を示す図、第２４図は音素Ｐ１が音素Ｐ２に一
貫して接する点に決められた点で分割された各フエネメ
・ストリングを示す図、第２５図は左の部分と右の部分
として識別される分割された部分を示す図、第２６図は
フエネメ・ストリングＦＳ１〜ＦＳＮの各々の音素およ
び対応する部分を示す図である。 １０００・・・・音声認識システム、１００２・・・・
スタック・デコーダ、１００４・・・・音響プロセッサ
、１００６，１ｏ０８・・・・アレイ・プロセッサ、１
０１０・・・・言語モデル、１０１２・・・・ワークス
テーション、１０２０・・・・探索装置、１ｏ２２．１
０２４．１０２６．１０２８・・・・インタフェース。 出　Ｈ人　インターサジ６七〜いビジネス・マシーンズ
・コー汁も−クタン復代理人　弁理士　　合　　　　　
１）　　　　潔第５図 ”Ｔｏ　ＢＥ　ＯＲＮＯＴ　　Ｔｏ　ＢＥ’　＆スフ・
ソゲ−７ａスｆ　％−／　７’煩贋ムＹ→　呂 −〉 藪ゞ モ 第１３図 音響アロー２．ｆの動作の流水 第１５図 網１乞マッナンク゛格多 時間 ｔｌ　　　　　ｔ２　　　　　ｔ３ フェネメ音索マシンに基フ゛いた十６子第１６図 ｅ　′″′１ →綜 Ａω フエネメのシーブンス 第２０図 フェネメｙ−Ｉ素マシンのすりフ″′ンレ第２１図 Ｐ＋　　　　　　　　　Ｐ２ 長さ２０鴛哀の基本形式 ７エネメ・ヌトリヅグの分秒１ 第２４図 友部分　　　　　ち部分 鰭１さ剌たち側合と左部分 Ｎ口

Claims (1)

1. 【特許請求の範囲】 音響プロセッサを有する音声認識システムにおいて、ワ
   ードのフエネメ基本形式を構築する際のワードごとの複
   数発声処理方法であつて、 （ａ）ワードの発声に応答して音響プロセッサにより生
   成されたフエネメ・ストリングを入力として供給し、 （ｂ）複数の発声のそれぞれについてステップ（ａ）を
   反復し、 （ｃ）入力されたフエネメ・ストリングの各々における
   一致点の位置を決め、その一致点でフエネメ・ストリン
   グの各々を左部分と右部分に分割し、（ｉ）入力された
   フエネメ・ストリングのすべての左部分が単音の共通シ
   ーケンスを表わし、（ｉｉ）入力されたフエネメ・スト
   リングのすべての右部分が単音の共通部分を表わす ステップを含むことを特徴とするワードごとの複数発声
   処理方法。