JPH0583918B2

JPH0583918B2 -

Info

Publication number: JPH0583918B2
Application number: JP2053912A
Authority: JP
Inventors: Rai Baaru Raritsuto; Fuitsushu Buraun Piitaa; Uinsento Desooza Piitaa; Reroi Maakaa Robaato
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1989-03-14
Filing date: 1990-03-07
Publication date: 1993-11-30
Also published as: US5033087A; EP0387602B1; JPH02273795A; DE69010941T2; DE69010941D1; EP0387602A3; EP0387602A2

Description

【発明の詳細な説明】Ａ産業上の利用分野本発明は一般に音声認識の分野に関し、具体的
には、音声情報を処理して、例えば、連続音声認
識を容易にするために使用できる音韻規則を自動
的に生成するための方法に関するものである。

Ｂ従来の技術多くの音声認識装置は、少なくとも高い抽象レ
ベルではほぼ同じ方式で動作する。発声された不
連続な単語が、サンプリングされたデータ電気信
号に変換され、次にそれらの信号が解析されて、
特定の音を表す一連のトークンが発生される。こ
れらのトークンが解析されて、一連のトークンに
どの単語が対応するかが決定される。そのように
決定された単語が、音声認識装置の出力として供
給される。

この種の音声認識装置の多くは不連続音声、す
なわち、間に休止を挿んで発声された単語のみを
解析する。この制限を設けると、装置は設計し易
くなる。何故ならば、このように発声される単語
の音韻モデルは、より自然な連続音声に適用され
る規則よりも一貫性が高くなる傾向があるからで
ある。これらの音韻モデルは、サンプリングされ
た電気信号の解析で使用される。

不連続に発声された単語を認識するための代表
的装置を、第１図ないし第４図を参照して以下に
説明する。この装置では、定義された語彙中の各
単語は、音素と呼ばれる一連の構成要素部分とし
て表される。これらのシーケンスの各々は「ベー
スフオーム」と呼ばれ、単語の理想化された発音
を表している。これまで、音声ベースフオームは
音声学者によつて作られてきた。

以下に説明する装置では、ベースフオームの各
要素は、「音素フオーン・マシーン」と呼ばれる
統計モデルによつて表される。音素フオーン・マ
シーンは、音素を、「フイーニーム」、またはもつ
と簡単に「ラベル」と呼ばれる音のサンプルの確
率論的組合せとして表す。話された既知のテキス
トを解析することにより、各フオーン・マシーン
ごとに統計が作成される。既知の音声認識装置の
幾つかは、音素ではなくフイーニームを構成要素
部分とするベースフオームを使用している。この
場合には、フイーニーム・フオーン・マシーン、
すなわち、各フイーニームがフイーニームの確率
論的組合せとして表されるフオーン・マシーンを
使つて、フイーニームの発音のモデルが作られ
る。第１図ないし第４図に示した代表的装置は、
音素ベースフオーム及び音素フオーン・マシーン
を使用する。

フオーン・マシーン用の統計が作成されると、
それらを使つて、個々に発音された単語から得ら
れたフイーニームを表すサンプリングされたデー
タ信号を解析して、サンプリングされたデータ信
号に対応する１つまたは複数のもつともらしい音
素シーケンスを決定することができる。

次にこの音素シーケンスを、もつともらしい音
素シーケンスを含むベースフオームから選択され
た音素シーケンスと比較して、定義された語彙中
のどの単語が発声された公算が最も大きいかを決
定する。

この種の音声認識装置は不連続音声の場合かな
りよく働く。何故ならば、別々に発声された単語
は、理想化されたベースフオームに従う傾向があ
るからである。しかし、連続音声では、単語間の
同時調音により、発声された単語がベースフオー
ム等の理想化されたモデルに従う度合が低下する
傾向がある。

ベースフオームをそれが発音される文脈に基づ
いて修正する規則を指定することにより、音声ベ
ースフオームに対する同時調音効果を補償するこ
とができる。一般には、これらの規則も音声学者
によつて指定される。しかし、限定された語彙中
でさえ広範な同時調音効果が生じる可能性がある
ので、これらの修正規則の指定は手におえそうに
ない仕事になる恐れがある。

米国特許第4759068号は、発声された単語から
得られたトークン・ストリングを解析して、発声
された単語に最も対応する個々のフイーニームの
シーケンスを得る方法に関するものである。この
特許は典型的な音声認識装置の構造を詳細に開示
している。

米国特許第4559604号は、入力パターンを１組
の標準パターンと比較して、他のどのパターンよ
りも入力パターンに一致する公算が大きい１組の
パターンを定義するように構成したパターン認識
装置に関するものである。これらの選択されたパ
ターンのうち特定の１つが、４つの好ましい推論
基準の１つに基づいて、最も公算が大きいものと
推定される。

米国特許第4363102号は、対応する複数の話者
によつて発声された既知の単語に対応する複数の
テンプレートを作成する話者認識装置に関するも
のである。ある話者が発声した単語と、既知の話
者の１人に対応するテンプレートの間の確率論的
距離が最小の話者が識別される。

Ｃ発明の要約本発明の目的は、一組の単語の発音上の相異を
それらの単語が発声される文脈に基づいて記述す
る、音韻規則を自動的に生成するための方法及び
装置を提供することである。

本発明のもう１つの目的は、これらの音韻規則
を使つて、連続的に発声された単語を認識するこ
とである。

本発明は、所定の語彙を記述する一組の言語構
成要素を含む連続音声認識装置で具体化される。
既知のテキストに対応する発音を処理して、これ
らの発音を表すサンプルを言語構成要素と関連づ
ける。音韻的に類似した言語構成要素と関連づけ
たサンプルをクラスタにまとめて、その構成要素
の種々の発音を決定する。次にこれらのサンプル
を処理して、これらのクラスタを、サンプルによ
つて表される言語構成要素の文脈上の発生を示す
データと関係づける決定機構を作成する。この決
定グラフは、構成要素が発生する文脈による種々
の言語構成要素の発音上の変化を記述する音韻規
則を定義するものである。

Ｄ実施例孤立音声認識では、語彙中の各単語に関する１
つの静的音響モデルにより良好な結果を得ること
ができる。孤立して発声された単語間の同時調音
は無視できるので、所与の任意の単語の発音は事
例によつて非常にわずかしか変化せず、したがつ
て、単語の発音は静的モデルで十分に表せる。

しかし、連続音声認識では、単一の静的音響モ
デルでは不十分である。これは、間に休止を挿ま
ずに発声された単語間の同時調音が相当大きいた
めである。したがつて、各単語は多くの発音が可
能である。

この変動性を処理するための１つの方法は、音
韻規則を用いて同時調音の効果のモデルを作るこ
とである。これらの規則を使用すると、依然とし
て語彙中の各単語ごとに１つの音響モデルがある
が、それはもはや静的なものではない。各単語モ
デルは、同時調音がない場合の単語の発音を表
し、ベースフオームと呼ばれる。音韻規則はベー
スフオームに作用して、当該の場合、同時調音の
効果を反映するように、それらを変形する。した
がつて、音声認識装置によつて使用される実際の
単語モデルは、単語が現れる文脈に応じて動的に
変化することができる。

この手法の成否は、明らかに音韻規則の精度と
十分さによつて決まる。従来、音韻規則は音声学
に通じた言語学者により手作業で作られてきた。

以下に説明する本発明の実施例は、訓練テキス
ト及び対応する発音を解析することにより、一組
の音韻規則を生成することができる、自動音韻規
則生成機構を含む。これらの規則は、以下に説明
する実施例で音声認識装置に適用される。それら
の規則を音声合成装置に適用して、単語の発音を
その文脈に応じて変えることもでき、また、単に
言語学者がそれを解析して、この難解な技術に関
する知識を増大させることもできる。

音韻規則が連続音声認識装置でどのように使用
されるかを説明するには、まず孤立音声を認識す
るための装置について説明するのが有用である。
第１図は、米国特許第4759063号に開示されてい
るのと同様な音声認識装置のブロツク・ダイヤグ
ラムである。この特許を引用により本明細書に合
体する。この装置について、まず以下に簡単に説
明し、次に、装置の選択した態様について適宜詳
細に説明する。

第１図に示す装置で、マイクロホン及び増幅器
（図示せず）から供給された音声入力が、音響プ
ロセツサ１００４に供給される。プロセツサ１０
０４は、連続した1/100秒間隔にわたつて音声入
力のスペクトル特性を解析し、各間隔にラベル
（すなわち、フイーニーム）を割り当てる。ラベ
ルは、1/100秒間隔の間の入力音声の特性のある
組合せに基づいて、異なるラベルのアルフアベツ
トから音響プロセツサが選択する。

音響プロセツサ１００４によつて生成されたラ
ベルはスタツク・デコーダ１００２に供給され
る。デコーダ１００２は、高速突合せプロセツサ
１００６、詳細突合せプロセツサ１００８、言語
モデル１０１０及びワークステーシヨン１０１２
とインターフエースしている。デコーダ１００２
はワークステーシヨン１０１２によつて制御され
て、詳細突合せプロセツサ１００８と高速突合せ
プロセツサ１００６及び言語モデルを、一連のフ
イーニームをワークステーシヨン１０１２に供給
される一連の単語に変換するように条件づける。

高速突合せプロセツサ１００６及び詳細突合せ
プロセツサ１００８は、それぞれ異なる確率論的
有限状態マシーン、すなわちフオーン・マシーン
のセツトを使用して、フイーニーム・シーケンス
を固定語彙中の単語と関連づける。高速突合せプ
ロセツサ１００６は一組の比較的粗いフオーン・
マシーンを使つて、語彙中のより公算の大きい少
数の単語を迅速に選択する。詳細突合せプロセツ
サはより厳密な一組のフオーン・マシーンを使つ
て、高速突合せプロセツサから供給された少数の
単語から最も公算の大きい単語を選択する。

高速突合せプロセツサ１００６及び詳細突合せ
プロセツサ１００８は、発声された単語が占める
時間間隔の間に音声入力にのみ基づいて突合せを
行なうので、発声される単語はその音声的文脈に
関係する。したがつて、詳細突合せプロセツサか
ら供給される出力値は、一群の同音異義語を表す
ことがある。詳細突合せプロセツサ１００８から
供給される同音異義語は、真の同音異義語である
ことも近似音語であることもある。たとえ、１つ
の単語が真の同音異義語でなくても、詳細突合せ
プロセツサによつて使用される確率論的方法を使
つて、音響プロセツサ１００４から供給される信
号に基づいて、その単語を別の単語から確実に区
別することができない場合は、その単語は別の単
語の近似音語である。近似音語対の一例はアルフ
アベツト“Ｂ”と“Ｄ”の呼び名である。混乱を
避けるため、本明細書で「同音異義語」という用
語を使用する場合は、全て近似音語を含むものと
する。

同音異義語のグループから正しい単語を決定す
るため、言語モデル１０１０を使用する。本発明
のこの実施例で使用する言語モデル１０１０は、
音声認識装置によつて得られた先行の２つの単語
に基づいて、グループのどの単語が公算が最も大
きいかを決定する。この言語モデル解析によつて
決定された単語が、音声認識装置の出力となる。

第２図は、音響プロセツサ１００４として使用
するのに適した装置のブロツク・ダイヤグラムで
ある。第２図で、音波入力（例えば、自然音声）
を表すアナログ電気信号が、アナログ・デイジタ
ル変換器（ADC）１１０２に供給される。ADC
１１０２は、音波を表すデイジタル・サンプルを
定義速度で発生する。典型的なサンプリング速度
は、50マイクロ秒毎に１サンプルである。ADC
１１０２から供給されたサンプルは、タイム・ウ
インドウ生成機構１１０４に供給され、タイム・
ウインドウ生成機構１１０４はデイジタル・サン
プルを、例えば400サンプルのオーバラツプ・グ
ループに分割する。タイム・ウインドウ生成機構
１１０４から供給されたデイジタル・サンプルの
グループは、高速フーリエ変換（FFT）要素１
１０６に供給される。

FFT要素１１０６はサンプル・グループを処
理して、一連のスペクトル・ベクトルを含む信号
SAを供給する。これらのベクトルはそれぞれ、
例えば、音波の出力を200個の互いに区別された
周波数帯で表す、200個１組の出力信号である。
各スペクトル・ベクトルは10ミリ秒（1/100秒）
間隔の間の音波を表す。

次にFFT要素１１０６から供給される信号SA
が処理されて、ラベル（またはフイーニーム）
y1，y2，……yfを発生する。４つの処理要素、
すなわち特徴選択要素１１０８、クラスタ要素１
１１０、プロトタイプ要素１１１２及びラベル表
示機構１１１４が、協働して信号SAからフイー
ニームを生成する。これらの要素は２つのモー
ド、すなわち、訓練モードとラベル表示モードで
働く。どちらのモードでも、特徴選択要素１１０
８は、ベクトル信号SAの選択された値を組み合
わせて、音響特徴信号のベクトルAFを発生する。
特定の周波数の出力レベルに加えて、音響特徴ベ
クトルの１要素は、例えば、信号の全体的ラウド
ネス、特定の周波数帯域でのラウドネス、また
は、音響入力が感覚しきい値T_fまたは聴覚しき
い値T_hよりも高いとの指示を表すことができる。

訓練モードでは、比較的大きな一組の音響入力
から音響特徴ベクトルが生成され、クラスタ要素
１１１０に記憶される。記憶されたこれらのベク
トルの各々が、可能な音響特徴の状態ベクトルに
よつて定義される状態空間中の１点と見なされる
場合は、訓練データによつて発生された全ての点
の集合は状態空間中でクラスタにまとめることが
できる。所与のクラスタ中の各点は、クラスタ中
の他の点によつて表される音に統計的に類似した
声音の1/100秒サンプルとなる。

状態空間中の各クラスタは、それぞれ確率分布
の代表的サンプルであると考えることができる。
これらの確率分布の各々は、例えばガウス分布と
仮定することができ、ラベルすなわちフイーニー
ムのプロトタイプを定義する。音響プロセツサ１
００４が訓練モードにあるときは、クラスタ要素
は、プロトタイプ要素にクラスタを供給する。プ
ロトタイプ要素は、ガウス分布を各クラスタにあ
てはめて、そのクラスタ内の全ての点を表すプロ
トタイプ・ラベルを定義する。音響プロセツサが
ラベル表示モードにあるときは、ラベル表示機構
１１１４はこれらのプロトタイプを使つて、特徴
選択要素１１０８によつて生成された特徴ベクト
ルにラベルを割り当てる。このようにプロトタイ
プ・ラベルを生成するための代表的装置は、A.
ナダス（Nadas）等の論文「ブートストラツピン
グ又はクラスタ化によつて得られる自動的に選択
された音響プロトタイプによる連続音声認識
（Continuous Speech Recognition with
Automatically Selected Acoustic Prototypes
Obtained By Either Bootstrapping or
Clustering）」、Proceedings of the ICASSP，
1981，pp.1153−1155に開示されている。

第３図は、第１図に示した音声認識装置のブロ
ツク・ダイヤグラムであり、スタツク・デコーダ
１００２をさらに詳細に示してある。スタツク・
デコーダの中央の要素は探索プロセツサ１０２０
である。上述のように、ラベル・シーケンスがス
タツク・デコーダに供給されたとき、探索プロセ
ツサ１０２０はまずそれを高速突合せプロセツサ
１００６に供給する。プロセツサ１００６は、ラ
ベルのシーケンスとの突合せ相手となる語彙中の
比較的公算が大きい少数の単語以外の全ての単語
を除去する。高速突合せプロセツサ１００６によ
つて決定された単語が、次に探索プロセツサ１０
２０により、ラベル・シーケンスと共に詳細突合
せプロセツサに供給される。詳細突合せプロセツ
サ１０２０は、供給された単語のうちのどれが、
供給されたラベル・シーケンスに対応する公算が
最も大きいかを決定する。

本発明のこの実施例で使用される探索プロセツ
サ１０２０、高速突合せプロセツサ１００６、詳
細突合せプロセツサ１００８及び言語モデル１０
１０によつて実施される方法は、上で引用した米
国特許第4759068号に記載されたものとほぼ同じ
である。代表的な実施例を以下に説明する。

第３図に示す認識装置では、辞書の各単語は音
素シーケンスとして表され、各音素はフオーン・
マシーンにより表される。フオーン・マシーンは
音素の発音のマルコフ・モデルであり、音素とラ
ベル・シーケンスの間の確率論的関係を定義す
る。

高速突合せ動作では、音響プロセツサ１００４
によつて生成されたラベル・シーケンスは、高速
突合せプロセツサ１００６により、語彙中の単語
を表す簡略フオーン・マシーンと突き合わされ
る。これらの単語は、プロセツサ１００６で使用
するため木構造に配列されているので、共通の語
頭音素を有する単語は、分化するまで、木中で共
通経路を通る。高速突合せプロセツサ１００６
は、語彙中の他の単語よりもラベル・シーケンス
に一致する公算が大きい一組の単語を供給する。
これらの単語が次に言語モデル１０１０によつて
解析されて、例えば、２つの最も最近に認識され
た単語に照らして、その文脈に基づく公算の小さ
い単語が除去される。この処理で比較的小さな一
組の候補単語が発生し、これらの単語が次に、音
響プロセツサ１００４から供給されたラベル・シ
ーケンスと共に、詳細突合せプロセツサ１００８
に供給される。

詳細突合せ動作は、一組のより厳密なフオー
ン・マシーンを使つて、音響プロセツサ１００４
から供給されたラベルをその一組の候補単語と突
き合わせるものである。次に第４Ａ図及び第４Ｂ
図を参照しながら詳細突合せプロセツサによつて
使用される代表的フオーン・マシーンについて説
明する。この説明に続いて、高速突合せプロセツ
サ１００６用の簡略フオーン・マシーンを作るた
めのこのフオーン・マシーンの修正について説明
する。

音素フオーン・マシーン１２００を第４Ａ図に
示す。このフオーン・マシーンは、マルコフの過
程として音素の発音のモデルを作る。音素フオー
ン・マシーンは、音声ベースフオームによつて指
示されるように連結されて、単語の発音のマルコ
フ・モデルを生成する。

フオーン・マシーン１２００は７種類の状態
S1ないしS7を含み、また選択された状態の間の
13種類の遷移を含む。各遷移は確率を伴い、さら
に、破線で示したもの（すなわち、tr１１，tr１
２，及びtr１３）を除くこれらの遷移の各々は、
当該の200種類の可能なラベルのそれぞれがその
遷移で現れる確率を表す200個の確率値のベクト
ルを伴つている。破線の遷移は、ラベルが生成さ
れない、ある状態から別の状態への遷移を表す。
これらの遷移は空遷移と呼ばれる。実線の遷移
は、ある状態から別の状態に遷移する際の発声を
表す。破線の遷移は、完了するのに時間がかから
ず、発声がない、言い換えると、単語モデルにラ
ベルがない、ある状態から別の状態への遷移を表
す。遷移がある状態で始まつて同じその状態で終
る場合、この遷移は、１サンプル期間（すなわ
ち、1/100秒）よりも長く保持される発声を表す。

フイーニーム・フオーン・マシーン１２１０を
第４Ｂ図に示す。このマシーンは、フイーニーム
の発音をマルコフ過程としてモデル化する。全て
のフイーニーム・フオーン・マシーンは、第４Ｂ
図に示す構造、すなわち、２つの状態SiとSf、及
び３つの遷移tr１とtr２とtr３を有する。遷移tr
１及びtr２はそれぞれ遷移確率及び、200個のフ
イーニームのどれかが遷移中に生成される確率を
表す200個の確率値のベクトルを有する。遷移tr
３は空遷移である。フイーニーム・フオーン・マ
シーンは、音素フオーン・マシーンと同じように
連結して、単語の発音を記述するマルコフ・モデ
ルを生成することができる。これらのモデルは、
単語を表すフイーニーム・シーケンス中のフイー
ニームを当該のフイーニーム・フオーン・マシー
ンで置き換えることにより、自動的に生成するこ
とができる。フイーニーム・フオーン・マシーン
は、音素フオーン・マシーンの代替物として提供
される。第３図に示す音声認識装置に関する議論
でフオーン・マシーンと言うときはすべて、音素
フオーン・マシーンを指すものとする。

詳細突合せプロセツサ１００８では、音響プロ
セツサ１００４によつて生成されたラベル・シー
ケンスが、高速突合せ動作によつて生成された当
該の候補単語に関連するフオーン・マシーン・シ
ーケンスと突き合わさせる。高速突合せプロセツ
サ１００６及び詳細突合せプロセツサ１００８の
どちらにも使用される代表的突合せ手順は、F.ジ
エリネク（Jelinek）の論文「統計的方法による
連続音声認識（“Continuous Speech
Recognition by Statistical Methods）」，
Proceedings of the IEEE，Vo1.64，1976，
pp.532−556に記載された周知の「将来確率」手
法である。

第４Ａ図に示すモデルは、高速突合せプロセツ
サ１００６で使用するため、単語モデルでの種々
の遷移に関連する200個の値ラベル確率ベクトル
のそれぞれを単一の200値確率ベクトルで置き換
えることにより、簡略化することができる。この
ベクトルの各要素は、そのモデルで使用される全
てのベクトル中で対応する最大の値である。これ
らの簡単なフオーン・マシーンを評価するために
必要な計算は、より厳密なフオーン・マシーンを
評価する場合よりもはるかに少ない。

上述のように、高速突合せ動作と詳細突合せ動
作の後、探索プロセツサ１０２０が、言語モデル
１０１０を呼び出して、新たに選択された単語
が、前に選択された単語の文脈に適合するかどう
か決定する。言語モデル１０１０は、詳細突合せ
プロセツサに供給する候補単語を減らす他に、詳
細突合せ動作の結果供給される一組の同音異義語
の区別を行なう。第３図に示すシステムで使用さ
れる言語モデルは、３グラム言語モデル、言い換
えると、３つの連続した単語のグループの出現尤
度に関する統計を有する言語モデルである。

以下の例は、言語モデル１０１０の動作を示す
ものである。“To be or not to be”という句が
発声されたものと仮定する。高速突合せプロセツ
サ及び詳細突合せプロセツサによる処理後、
“TO”と“TOO”と“TWO”から成る第１の同
音異義語グループが探索プロセツサ１０２０によ
つて決定される。これは句の始めなので、文脈を
利用することはできず、したがつて、言語モデル
１０１０が１グラム言語モデルとして呼び出さ
れ、第１の同音異義語グループ中の３つの単語の
出現の相対確率をもたらす。この同音異義語グル
ープは探索プロセツサ１０２０に記憶される。次
の単語がこのシステムで処理されるとき、“BE”
と“BEE”と“Ｂ”及び“Ｄ”という単語から
なる第２の同音異義語グループが発声される。
“Ｄ”という文字がこのグループに含まれている
のは、他の“Ｂ”単語の近似音語だからである。
言い換えると、たとえ“Ｂ”単語の同音異義語で
はなくとも、統計モデルを使つてそれを他の
“Ｂ”単語から確実に区別することができないの
で、同音異義語として扱われる。これら２つの単
語グループに基づいて、“TOO”及び“BEE”と
いう単語は公算が小さいとして除外される。これ
で、３種類の可能な２語の組合せ“TO BE”，
“TWO Ｂ及び“TWO Ｄ”が残る。認識装置に
供給される次の単語は、“OR”と“OAR”と
“ORE”からなる第３の同音異義語グループを生
成する。このグループ及び可能な２語の組合せを
言語モデルに適用することにより、第１のグルー
プから単語“TWO”、第２のグループから単語
“Ｂ”及び“Ｄ”、第３のグループから単語
“OAR”及び“ORE”が除外される。句全体が
解析されるまで、この処理が継続される。

高速突合せプロセツサ１００６、詳細突合せプ
ロセツサ１００８及び言語モデル１０１０を使用
して探索プロセツサ１０２０によつて決定された
単語のシーケンスが、上で概説したように、音声
認識装置の出力となる。

上述のように、この従来技術の音声認識装置
は、状態間の遷移で生成されるフイーニームに対
して一定の確率値を有するフオーン・マシーンを
使用するので、連続的に発声された単語の認識が
困難である。２つの単語の同時調音によつて単語
の一方の構成音素の発音が変わる場合は、詳細突
合せプロセツサは、その発音が固定したフオー
ン・マシーンで表される正しい目標音素に一致す
る公算が小さいと見なす。この場合、音声認識装
置は誤まつた結果を生じる可能性がある。

以下に説明する本発明の実施例は、この問題に
対する解決策である。この実施例では、音韻規則
プロセツサ（PRP）１０３０は音声認識装置に
含まれている。このプロセツサは、訓練データか
ら文脈における音素の発音に関する音韻規則を生
成する。これらの規則はとりわけ同時調音の効果
を補償するが、認識される単語の文脈に基づいて
プロセツサ１００８が使用するフオーン・マシー
ンを変更するため、詳細突合せプロセツサ１００
８に供給される。

本発明のこの実施例で使用されるPRP１０３
０はプログラム式デイジタル・コンピユータであ
り、探索プロセツサ１０２０から独立しているこ
とが望ましい。PRP１０３０は、PRPインター
フエース回路１０３２を介して探索プロセツサ１
０２０と連絡する。PRP１０３０は、２つのモ
ード、すわなち既知のテキストから音韻規則を生
成する訓練モードと、これらの音韻規則を使つて
発声された未知の単語を認識する動作モードで動
作する。

以下はPRP１０３０の動作の要約である。次
に第６Ａ図ないし第９Ｄ図を参照しながらPRP
１０３０を制御するプログラムの詳細について説
明する。訓練モードでは、PRP１０３０は訓練
テキスト中のどのフイーニーム・シーケンスがど
の音素を表すかを決定する。次に各音素に対する
フイーニーム・シーケンスが、音素の類似した発
音を表すグループにまとめられる。訓練モードの
最後のステツプでは、音素が出現する文脈に基づ
いて音素の発音を予測する２進判断木が生成され
る。左（Ｌ）文脈、すなわち目標音素に先行する
音素と、右（Ｒ）文脈、すなわち目標音素に続く
音素と、音節で表した、目標音素が出現する単語
の長さとが、グラフを生成する際の文脈上の標識
として使用される。

動作モードでは、PRP１０３０は、探索プロ
セツサ１０２０から現在のＬ文脈及び目標単語の
音声ベースフオームを供給される。この情報に基
づいて、プロセツサ１０３０は、目標単語中のそ
れぞれの音素のベースフオームを定義するフイー
ニーム・フオーン・マシーンのシーケンスを見つ
ける。これらのフイーニーム・ベースフオーム
は、詳細突合せプロセツサ１００８に供給され
る。詳細突合せプロセツサ１００８は、これらの
フイーニーム・ベースフオームを連結してその単
語のマルコフ・モデルを形成し、次にこのモデル
を使つて、認識しようとするフイーニーム・シー
ケンスが目標単語を表す尤度を決定する。

第６Ａ図、第６Ｂ図及び第６Ｃ図は、PRP１
０３０を制御するプログラムを記述する流れ図を
構成する。第６Ａ図及び第６Ｂ図は訓練モードを
記述し、第６Ｃ図は動作モードを記述する。第６
Ａ図のステツプ1602で、すべての訓練データがフ
イーニーム・アルフアベツトを使つてラベルをつ
けられる。この手順は、受け取つた際の入力デー
タの通常のラベル付けとは異なる。何故ならば、
音韻規則を定義する以下のステツプがこのデータ
に繰返しアクセスするからである。次のステツプ
1604は、ラベル付き訓練データ、訓練データで表
される既知のテキスト、及び音声ベースフオーム
のアルフアベツトを使つて、音声ベースフオーム
に対応する音声フオーン・マシーンを定義する統
計を集める。これらの統計は、例えば、周知の順
逆アルゴリズムを使つてラベル付き訓練データを
既知のテキストによつて示された音声ベースフオ
ームに適用することにより、決定することができ
る。次に、ステツプ1606で、この処理によつて定
義された音声フオーン・マシーンが、ラベル付き
訓練データにおけるフイーニーム・シーケンスに
整合される。この整合動作は周知のヴイテルビ
（Viterbi）整合アルゴリズムを使用する。順逆ア
ルゴリズム及びヴイテルビ・アルゴリズムは、L.
R.バール（Bahl）等の論文「連続音声認識のた
めの最大尤度法（Ａ Maximum Likelihood
Approach to Continuous Speech
Recognition）」，IEEE Transactions on
Pattern Analysis and Machine Intelligence，
Vo1.5，No.２，1983年３月、pp.179−190に記載
されている。

次のステツプ1608では、訓練テキスト内の個々
の音素に対応する全てのフイーニーム・シーケン
スを抜き出す。これらのフイーニーム・シーケン
スは、それらが表す音素に従つてグループにまと
められる。特定グループ中のシーケンスは、その
グループに関連する音素のそれぞれ異なる可能な
発音に対応する。

ステツプ1610で、各グループの各フイーニー
ム・シーケンスについてフイーニーム・ベースフ
オームが生成される。この動作はフイーニーム・
シーケンスを複写し、複写されたシーケンス中の
フイーニームをフイーニーム・フオーン・マシー
ンに変換し、次にフイーニーム・フオーン・マシ
ーンを連結してフイーニーム・ベースフオームを
生成する。代表的なフイーニーム・フオーン・マ
シーンについては、第４Ｂ図に関連して上で説明
した。各ベースフオームは、基礎となるフイーニ
ーム・シーケンスをそこから得た特定の音素の発
音のモデルを作るフイーニーム・フオーン・マシ
ーンのシーケンスを表す。次のステツプ1612で、
順逆アルゴリズムを用いて、各フイーニーム・ベ
ースフオーム中の構成フイーニーム・フオーン・
マシーンについて、訓練された統計を得る。以下
に述べるように、これらの訓練された統計を使つ
て、フイーニーム・フオーン・マシーンをクラス
タにまとめる。

ステツプ1614で、音素の発音の文脈上の相異を
記述する一組の音韻規則を生成するため、第１の
音素及びその対応するフイーニーム・ベースフオ
ーム・グループを選択する。ステツプ1616で、こ
の動作を開始して、選択されたグループの各フイ
ーニーム・シーケンスに、そのＬ文脈及びＲ文
脈、ならびにフイーニーム・シーケンスがそこか
ら得られた元の単語の長さで注釈を付ける。本発
明のこの実施例では、Ｌ文脈は、訓練テキスト中
でこのシーケンスがそこから得られた元の音素の
前に現れる５つの音素を含み、Ｒ文脈は、元の音
素の後に現れる５つの音素を含む。ステツプ1616
の実行後、第６Ａ図及び第６Ｂ図の結合子Ａで示
すように、第６Ｂ図のステツプ1618に移る。

ステツプ1618で、選択されたグループのフイー
ニーム・シーケンスを、それに関連するフイーニ
ーム・ベースフオームを使つてクラスタにまとめ
る。このステツプでは、選択された音素の類似の
発音を表すフイーニーム・シーケンスを、クラス
タと呼ばれるそれぞれ異なるサブグループに関連
付ける。これらのクラスタにはそれぞれ固有の識
別番号を割り当てる。フイーニーム・シーケンス
のクラスタ化動作については、後で第７図に関し
て説明する。

ステツプ1620で、グループ内の各フイーニー
ム・シーケンスにそのクラスタ番号で注釈を付け
る。各クラスタ番号は、選択された音素の類似の
発音のクラスを示す。

ステツプ1620に続くステツプ1621で、訓練デー
タを２つの部分に分割する。第１の部分は生成用
データと呼ばれ、以下に説明するように、２進判
断木に対する質問を生成するために使用される。
第２の部分は検査用データと呼ばれ、生成用デー
タを使つて生成された質問が特定の１組の生成用
データについてだけでなく、一般に有効となるよ
うにするために使用される。

次のステツプ1622で、生成用データ及び検査用
データを使つて、判断グラフを作成する。このグ
ラフは、所与のフイーニーム・シーケンスのＬ文
脈とＲ文脈及び単語長データからクラスタ番号を
予測するために使用される。本発明のこの実施例
では、判断グラフは、パイロン条件を有する２進
木に基づくイデイオツト・システムである。イデ
イオツト・システムとは、自習エキスパート・シ
ステム、すなわち、エキスパート・ガイダンスな
しで構成されたエキスパート・システムである。
一般に、このグラフはグループ内のフイーニー
ム・シーケンスを、木の葉の所にあるサブセツト
に区分する。サブセツト内の各フイーニーム・シ
ーケンスは、その音素のほぼ同じ発音を表す。判
断木の構成については、後で第８Ａ図、ないし第
８Ｄ図、第９Ａ図及び第９Ｂ図に関して説明す
る。

所与のフイーニーム・シーケンスの文脈に関す
る質問をすることにより判断木を走査してサブセ
ツトに達する。これらの質問は自動的に生成さ
れ、木のノードで「パイロン」に配置される。後
で第８Ａ図及び第８Ｂ図に関して説明するよう
に、パイロンは、あるノードでデータを２つの適
当なサブセツトに分割する。理想的には、これら
のサブセツトはほぼ等しい数の異なるクラスタを
含む。しかし、サブセツトが等しくないときで
も、パイロンによる分割によつて、親サブセツト
に関して知られている情報に比べて各子サブセツ
トの内容に関して知られている情報が増加する傾
向がある。この２進木の構成は、自動規則生成機
構が注釈付きフイーニーム・シーケンスからそれ
以上情報を引き出すことができなくなるまで継続
する。木の構成が終了したとき、木の各葉は、一
組の文脈環境における選択された音素の発音を記
述する一組のフイーニーム・シーケンスを含む。

次のステツプ1624で、音素に対する一組のベー
スフオーム（判断木の各葉ごとに１つのベースフ
オーム）を生成する。これらのベースフオームは
それぞれ一連のフイーニーム・フオーン・マシー
ンから成る。ベースフオームを生成するには、例
えば、葉ノードで異なるフイーニーム・シーケン
スの全てから１つまたは複数の包括的ベースフオ
ームを生成し、次に順逆アルゴリズムを使つて、
包括的ベースフオームを構成するフイーニーム・
フオーン・マシーンに関する統計を集める。

選択された音素に対する判断木の各葉に対する
フイーニーム・ベースフオームを生成した後、ス
テツプ1626で、選択された音素が音素アルフアベ
ツト中で最後のものであつたかどうか判定する。
そうでない場合は、アルフアベツト中の次の音素
を選択し、次に結合子Ｂを介して第６Ａ図のステ
ツプ1616に分岐して戻り、新たに選択された音素
に対する判断木を生成する。しかし、ステツプ
1626で選択された音素がアルフアベツト中で最後
のものである場合は、結合子Ｌを介して第６Ｃ図
のステツプ1630に分岐する。

第６Ｃ図の流れ図は、第５図に示した音声認識
装置の動作を示す。ステツプ1630で、受け取つた
発話が、第１図及び第２図に関連して上述したよ
うに、フイーニーム・アルフアベツトを使つて音
響プロセツサ１００４によりラベルをつけられ
る。次に、ステツプ1632で、発話に応答して生成
された一連のフイーニーム（ラベル）が高速突合
せプロセツサ１００６に供給される。プロセツサ
１００６は上述のように動作して、一連のラベル
が表す公算の大きな単語の予備セツト（シヨー
ト・リスト）を提供する。

これらの単語の各々に対する音声ベースフオー
ム、及び以前に認識された単語から得られた関連
のＬ文脈が、探索プロセツサ１０２０により音韻
規則プロセツサ１０３０に加えられる。ステツプ
1634で、適用された単語のシラブルで表した単語
長、供給されたＬ文脈、及び適用されたベースフ
オームから得られた部分的なＬ文脈とＲ文脈を使
つて、その単語を構成する音素に対する適当なフ
イーニーム・ベースフオームを見つける。次にス
テツプ1635で、プロセツサ１０３０は、詳細突合
せプロセツサ内の対応する音素フオーン・マシー
ンを、判断木から決定された音素のフイーニー
ム・ベースフオームの連結によつて得られたフイ
ーニーム・フオーン・マシーンで置き換える。

やはりステツプ1635で、詳細突合せプロセツサ
１００８は、第３図に関連して上述したように、
目標ラベル・シーケンスを、適用された単語の音
声ベースフオームと対照して評価する。ただし、
詳細突合せプロセツサは、音素フオーン・マシー
ンを使用する代りに、音韻規則プロセツサ１０３
０から供給されたフイーニーム・ベースフオーム
から得られたフイーニーム・フオーン・マシーン
を使用する。この種の評価は、ステツプ1636及び
1637に示すように、シヨート・リスト内の各ワー
ドについて実行される。目標ラベル・シーケンス
が単語の各々に一致する尤度を示す値が、探索プ
ロセツサ１０２０に供給される。これらの尤度値
は、言語モデル１０１０に適用される単語として
シヨート・リストから最も公算の大きな単語を選
択するため、ステツプ1638で探索プロセツサ１０
２０が使用する。

言語モデル１０１０は上述のように動作して、
探索プロセツサ１０２０により最も公算が大きい
と決定された音声ベースフオームで表される任意
の同音異義語のうちから１単語を選ぶ。さらに、
言語モデル１０１０は、前に認識された単語のシ
ーケンスを評価して、シーケンス中のいずれかの
単語が公算が小さいかどうか決定することができ
る。

ステツプ1642でそのシーケンスが公算が大きい
ことが判明した場合、ステツプ1644で、最も最近
認識された単語がワークステーシヨン１０１２に
供給される。しかし、そのシーケンスが公算が小
さいと決定された場合は、ステツプ1646で、音韻
規則プロセツサ１０３０及び詳細突合せプロセツ
サ１０２０を使つて、シーケンス内の各単語を、
そのシヨート・リスト内の他の単語と対照して再
評価する。目標単語の各々に続く公算の大きな単
語が決定されているので、この再評価ステツプで
より完全なＲ文脈を利用することができる。この
追加文脈は、音韻規則プロセツサ１０３０に一組
のより正確なフイーニーム・フオーン・マシーン
を詳細突合せプロセツサ１００８に供給させるこ
とにより、単語の一層正確な認識を可能にするこ
とができる。

ステツプ1648で、再評価された選択の各々が言
語モデル１０１０に適用されて、同音異義語のう
ちから１つの単語を選ぶ。その結果得られた単語
が、ステツプ1650でワークステーシヨン１０１２
に供給される。ステツプ1644とステツプ1650の後
で、ステツプ1630に分岐して戻り、次の発話によ
つて生成されたラベル・シーケンスを得る。音声
認識処理はこのラベル・シーケンスで継続する。
不必要な複雑さを避けるため、音声認識アルゴリ
ズムが逐次処理であるとして説明してきた。しか
し、パイプライン式処理も使用できるようになつ
ている。パイプライン式システムでは、音響プロ
セツサ１００６、詳細突合せプロセツサ１００８
及び言語モデル１０１０によつて実行される処理
ステツプを、オーバーラツプさせることができ
る。

上述のように、第７図は、第６Ｂ図のステツプ
1618の一層の詳細、すなわち、注釈付きのフイー
ニーム・シーケンスをクラスタにまとめるための
アルゴリズムを示す流れ図である。このアルゴリ
ズムは、フイーニーム・シーケンス中のフイーニ
ームの生成をポアツソン過程として処理するモデ
ルに基づいている。このアルゴリズムでは、第６
Ａ図のステツプ1612で生成されたフイーニーム・
フオーン・マシーンが、各フイーニーム・シーケ
ンスごとに、フイーニーム・アルフアベツト中の
各フイーニームの予想出現頻度を提供する。さら
に、クラスタ内のフイーニーム・シーケンスは、
アルフアベツト中の各フイーニームの実測出現頻
度を提供する。２つのクラスタの予想頻度と実測
頻度を統計的に比較して、２つのクラスタの実測
シーケンスが同じフイーニーム・フオーン・マシ
ーンによつて生成された公算が大きいかどうかが
決定される。この尤度が所定のしきい値よりも高
く、これらのクラスタが互いに最も類似している
場合は、この２つのクラスタが組み合わされる。
この処理は、それ以上クラスタを組み合わせるこ
とができなくなるまで、組み合わされたクラスタ
で継続する。

このアルゴリズムの最初のステツプ1702で、各
フイーニーム・シーケンスをそれ自体のクラスタ
に割り当てることにより、最初のクラスタ・セツ
トを設定する。このステツプは、実測フイーニー
ム・ヒストグラム（フイーニーム・シーケンスの
ヒストグラム）及びマルコフ・モデル（対応する
フイーニーム・ベースフオームのヒストグラム）
を各クラスタと関連付ける。次に、ステツプ1704
で、式(1)で定義される近似を使つて、フイーニー
ム・アルフアベツト中の各フイーニームの予想
頻度μ_iを計算する。

μ_i＝_N 〓^j=1 ×jPr（f_i｜F_j） (1) 式(1)で、f_iはｉ番目のフイーニームを表示し、
F_iは、フオーン・アルフアベツト中に合計Ｎ個の
フオーンがある場合のｊ番目のフイーニーム・フ
オーンを表示し、X_jはクラスタのヒストグラム
中のf_jの実測頻度を示し、Pr（f_i｜F_j）は、フイー
ニームf_iが、フイーニーム・フオーンF_jによつて
生成されたとマルコフ・モデルから決定される確
率を表す。

第７図の流れ図の次のステツプ1706で、各クラ
スタを他の全てのクラスタと比較して、それらの
クラスタを結合して１つのクラスタにすべきかど
うか判断する。このステツプを実行するとき、プ
ログラムは、２つのクラスタを比較する対数尤度
比を計算する。対数尤度比をＬで表すと、関数−
2Lは漸近x2乗分布を有する。したがつて、関数
−2Lの値が定数Ｋを超える場合は、２つのクラ
スタは大きく異なつていると見なせる。この定数
を変更すると、最終的に生成されるクラスタの数
を変えることがでる。本発明のこの実施例では、
Ｋの値は、約3000個のフイーニーム・シーケンス
から50個ないし100個のクラスタを発生するよう
に選択される。式(2)は、受入れ可能な結果をもた
らすものと本発明者等が決定した対数尤度比の近
似値を定義するものである。

Ｌ＝n_1N 〓ⁱ⁼¹ ｛x_i1nμ_i（M₃） −μ_i（M₃）｝− n_1N 〓ⁱ⁼¹ ｛x_i1nμ_i（M₁）−μ_i（M₁）｝＋ n_2N 〓ⁱ⁼¹ ｛y_i1nμ_i（M₃）−μ_i（M₃）｝− n_2N 〓ⁱ⁼¹ ｛y_i1nμ_i（M₂）−μ_i（M₂）｝ (2) 式(2)で、M₁及びM₂項は、評価される２つのク
ラスタを表示し、値n₁及びn₂はそれぞれこれら２
つのクラスタ中のフイーニーム・シーケンスの数
を表す。M₃項は、クラスタM₁とM₂を組み合わ
せることによつて発生されるクラスタを表す。変
数ｉはフイーニーム・アルフアベツト中のＮ個の
フイーニームのうちの１つを示し、値x_i及びy_i
は、それぞれクラスタM₁及びM₂内のフイーニー
ムｉの実測フイーニーム頻度の平均を示し、μ_i
（M₁），μ_i（M₂），μ_i（M₃）項は、それぞれクラス
タM₁，M₂，M₃内のフイーニームｉの予想フイ
ーニーム頻度を示す。μ_i（M₁），μ_i（M₂）の値は式
(1)を使つて決定することができ、μ_i（M₃）の値
は、式(3)で記述した近似値を使つて計算すること
ができる。

μ_i（M₃）＝｛n₁μ_i(M₁）＋n₂μ_i（M₂）｝／（n₁＋n₂）（ｉ＝１〜Ｎの場合） (3) ステツプ1708で、ステツプ1706で評価された各
クラスタ対について、値−2Lが決定され、しき
い値Ｋよりも小さい最小の−2L値を有する、比
較されたクラスタ対が組み合わされる。組み合わ
されたクラスタの予想フイーニーム頻度は、式(3)
を使つて計算された値μ_i（M₃）である。

ステツプ1710で、ステツプ1708の組合せ動作後
のクラスタの数が、ステツプ1708の前に存在した
数と比較される。これらの数が等しくない場合
は、プログラムは、ステツプ1706に分岐して、存
在するクラスタをさらに組み合わせようとする。
しかし、これらの数が等しい場合は、それ以上ク
ラスタを組み合わせることができず、プログラム
はステツプ1712に分岐して、クラスタに識別番号
を割り当てる。上述のように、これらの識別番号
は、第６Ｂ図のステツプ1620で、フイーニーム・
シーケンスに注釈を付けるために使用される。

第６Ａ図及び第６Ｂ図は、それぞれパイロン条
件を有する２進決定木の概念及びパイロン条件の
概念を示す。第８Ａ図に示す木構造は、３つの判
断ノードN0，N1，N2と４つの葉ノードL1，L2，
L3，L4を有する。各判断ノードは、第８Ｂ図に
さらに詳細に示すパイロン条件と関連付けられて
いる。第８Ａ図に示す形式の判断木を作成するに
は、一組のデータ、この例では一組の注釈付きフ
イーニーム・シーケンスを使つてパイロン条件、
例えば、ノードN0におけるパイロン条件を生成
する。この条件は、データを２つの別々の部分、
すなわち、パイロン条件が「真」と評価される部
分（すなわち、N1）と、パイロン条件が「偽」
と評価される部分（すなわち、N2）に分割する。
次にノードN1におけるデータを使つて、そのデ
ータを２つの部分L1とL2に分割する第２のパイ
ロン条件を生成する。同じ様にして、ノードN2
におけるデータを使つて、ノードN2におけるデ
ータを２つの部分L3とL4に分割する第３のパイ
ロン条件を生成する。本発明のこの実施例では、
葉ノードL1ないしL4におけるデータは、それぞ
れ所与の音素を、その音素が出現する文脈に基づ
いて発音する種々の方法を表す。

第８Ｂ図は代表的なパイロン条件を示す。一般
に、パイロン条件は幾つかの質問、この例では５
つの質問から成る。これらの質問の各々は、「x_i
は集合S_iの構成要素か」（すなわち、x_iεS_i）とい
う形とする。ただし、x_iは、テストされるフイー
ニーム・シーケンスに対する特定の文脈標識を表
し、S_iはその文脈標識に対する一組の可能な値を
表す。例えば、評価されるフイーニーム・シーケ
ンスのグループが音素“Ｂ”の異なる発音を表す
場合、質問の例は、「フイーニーム・シーケンス
の後に“Ｒ”が続いているか」、すなわち、目標
フイーニーム・シーケンス（x_i）の各文脈内の最
初の音素が“Ｒ”音素の集合（S_i）の構成要素で
あるかとなる。

第８Ｂ図に示す最初の質問Q1について、この
質問を生成するために使用された全てのデータは
「偽」とマークされる。この質問が評価されると
き、このデータのうちのあるもの、すなわち、質
問に対する答えが肯定であるものが「真」とマー
クされる。この質問は、予測されるデータ、すな
わちクラスタ番号を、このとき「真」と「偽」の
マークをつけられたデータに分離させる場合に、
有効であると見なされる。言い換えると、質問後
の「偽」データの集合が「真」データの集合より
も、クラスタ番号Ｑで注釈を付けられたシーケン
スのずつと大きな部分を占める場合、またはそれ
と逆の場合に、その質問は有効と見なされる。こ
の分離の概念は、情報理論ではデータのエントロ
ピーの減少として知られている。何故ならば、元
の集合のデータの構成について知られていたより
も多くのことが、サブセツトの各々におけるデー
タの構成について知られているからである。有効
な質問と見なされた場合のみ、その質問はパイロ
ン条件に含まれる。

次に質問Q1によつて「真」とマークされたデ
ータを使つて、質問Q2が評価される。質問Q2は
「真」データのあるものを「偽」に変えることが
できる。質問Q2の有効性が前と同様に評価され、
質問が有効であると決定された場合は、この質問
は保持される。質問Q2によつて「偽」とマーク
されたデータは、Q1の評価後に「偽」のままで
あつたデータと組み合わされる。次にこの組み合
わされたデータを使つて、質問Q3を評価する。
Q3によつて「真」と決定されたデータは、Q2の
評価後に「真」のままであつたデータと組み合わ
され、組み合わされたデータを使つて質問Q4が
評価される。

この処理は、「真」及び「偽」とマークされた
データのエントロピーをさらに減少させる質問を
それ以上見つけることができなくなるまで継続す
る。例えば、第６Ａ図ノードN0でそういう状態
になると、「偽」とマークされたデータは同様に
処理されて、ノードN1でパイロン条件を生成し、
「真」とマークされたデータは処理されて、ノー
ドN2でパイロン条件を生成する。データのエン
トロピーをさらに減少させる質問を見つけること
ができなくなると、葉ノード、例えば、L1ない
しL4が生成される。

第８Ｃ図及び第８Ｄ図は、第６Ｂ図のステツプ
1622に関連して上述した、２進決定木を構成する
ための代表的アルゴリズムを示す。第８Ｃ図及び
第８Ｄ図に記述されたアルゴリズムは、再帰的ア
ルゴリズム、すなわち、それ自体のコピーを呼び
出すことができるアルゴリズムである。アルゴリ
ズムが呼び出される度に、一組のデータが、パイ
ロン質問によつて決定される２つの適切なサブセ
ツトに分割される。呼出しの度に、アルゴリズム
は、サブセツトをさらに分割することが望ましい
かどうかを決定するため、生成された２つのサブ
セツトの各々について１度ずつそれ自体を呼び出
す。最後の呼出しで、それ以上の分割が望ましく
ないと判断されたとき、２進判断木が完成する。

このアルゴリズムの最初のステツプ1802で、生
成用データ及び検査用データの全てを「偽」とマ
ークする。この動作で、パイロン質問を生成し、
評価するために使用されるデータの初期条件が設
定される。

ステツプ1804で、「偽」とマークされる生成用
データの条件付きエントロピーを最小にし、検査
用データのエントロピーの正味の減少を生じるx_i
εS_iの形の質問を生成する。ステツプ1804で使用
されるアルゴリズムについては、後で第９Ａ図及
び第９Ｂ図に関連して説明する。この質問がステ
ツプ1806で「良」と判定された場合は、ステツプ
1810でそれがパイロンに記憶される。この質問が
良でない、すなわち無効な質問である場合は、ス
テツプ1808で、x_iεOがパイロンに加えられる。
無効な質問は「真」データを「偽」に変えず、ま
た「偽」データを「真」に変えない。ステツプ
1804，1806，1808及び1810によつて生成される質
問が、「偽」とマークされたデータに適用されて、
そのデータの幾つかを「真」としてマークする。
したがつて、この質問は、第８Ｂ図に関連して上
述した質問Q1，Q3またはQ5の１つでしかありえ
ない。ステツプ1812，1814，1816及び1818は、
「真」とマークされたデータを処理して、そのデ
ータの幾つかに「偽」とマークする質問を生成す
るために使用される。

ステツプ1812で、「真」とマークされたデータ
の条件エントロピーを最小にするx_iεS_iの形の質
問を見つける。ステツプ1012で発生された質問が
「良」だつた場合は、ステツプ1814及びステツプ
1816でそれが（例えば、第８Ｂ図に示す例では
Q2またはQ4として）パイロンに記憶される。質
問が「良」でなかつた場合は、ステツプ1818で無
効な質問が記憶される。

ステツプ1818に続いて、ステツプ1820で、パイ
ロンに記憶された最後の２つの質問が無効であつ
たかどうか決定する。無効でなかつた場合は、さ
らに質問をパイロンに加えることにより、エント
ロピーがさらに多少減少する。この条件は、ステ
ツプ1816が実行された後でも満たされる。したが
つて、ステツプ1820の「否定」分岐でもステツプ
1816でも制御がステツプ1804に移り、ステツプ
1804で「偽」データに対する次の質問を生成す
る。

しかし、最後の「真」質問及び最後の「偽」質
問が共に無効な質問であつた場合は（すなわち、
ステツプ1820からの「肯定」分岐）、ステツプ
1022で、パイロンに記憶された質問を検査する。
少なくとも１つの無効でない質問がパイロンに記
憶されていた場合は、判断木構成アルゴリズムは
ステツプ1824でそれ自体を呼び出して、「真」と
マークされた生成用データ及び検査用データをそ
れぞれ第１の呼出しに対する生成用データ及び検
査用データとして提供し、ステツプ1826で、「偽」
とマークされた生成用データ及び検査用データを
それぞれ第２の呼出しに対する生成用データ及び
検査用データとして提供する。これらの呼出しは
それぞれ木のサブノードを構成する。ステツプ
1824では、第８Ａ図に示すように右側のサブノー
ドを形成し、ステツプ1826では左側のサブノード
を形成する。

ステツプ1822で、最後のパイロン条件に無効な
質問のみが記憶されていると決定した場合は、ス
テツプ1830で、そのノードに対する生成用データ
及び検査用データが組み合わされ、ノードは葉ノ
ードと呼ばれる。ステツプ1830の後、ステツプ
1832が実行されて、判断木生成アルゴリズムがス
テツプ1622，1824または1826で呼び出されたかど
うかによつて、それぞれ主プログラム（すなわ
ち、第６Ｂ図のステツプ1624）、ステツプ1826ま
たはステツプ1828に制御が戻る。

パイロン条件に関する個々の質問を生成及び検
査するためのアルゴリズムを、第９Ａ図及び第９
Ｂ図に示す。このアルゴリズムの目的は、質問x_i
εS_iによつてフイーニーム・シーケンスができる
だけ大きなエントロピーの減少をもたらすサブセ
ツトに分割されるような、文脈変数x_iの値の集合
S_iを見つけることである。あるパイロン条件に対
して１つの質問を生成するため、以下に説明する
アルゴリズムは、各文脈変数ごとに１ずつ、11の
質問を生成する。これら11の質問のうち１つの質
問だけが、すなわち生成用データに適用されたと
き最大のエントロピー減少を生じる質問だけが保
持される。次にこの質問が、第８Ｃ図のステツプ
1804に関連して上述したように、検査用データに
対して検査される。

集合S_iには、左文脈変数及び右文脈変数に対す
る音素集合と、単語長文脈変数に対する数値集合
の２種類がある。最初、所与の文脈変数に対する
集合S_iは空である。すなわち、空集合である。音
素集合では、音素アルフアベツトから１度に１つ
の音素が、その集合の初期項またはシード項とし
て試される。このアルゴリズムは次に音素アルフ
アベツト中の可能な各音素を、１度に１つづつ集
合S_iに加え、その質問が生成用データに適用され
たとき、どの追加が最大のエントロピー減少を生
じるかを決定する。次に、集合内の各項を試しに
削除して、どの削除が生成用データに対して最大
のエントロピー減少を生じるかを決定する。この
処理は、初めに１つの新しい項を試みに集合に追
加し、次に１つの既存項を集合から削除して、そ
れ以上エントロピーの減少が認められなくなるま
で続行する。この質問は、所与の文脈変数に対す
る最良の質問として選択される。単語長変数の集
合S_iの生成は、シラブル数で表した可能な単語長
の代りに、音素アルフアベツトの音素を使用する
点を除いて、上で概説したのと同じ方法で進行す
る。

11の質問が（11個の文脈変数の各々について１
つずつ）見つかつたとき、生成用データに適用さ
れたとき最大のエントロピー減少を生じる質問が
「最良の」質問として選択される。次にこの最良
の質問x_iεS_iを検査用データに対して検査して、
そのデータの正味のエントロピー減少もあること
を確認する。

本明細書では、エントロピーは、ある状況に関
する情報の欠如の度合を意味する。この例では、
注釈付きフイーニーム・シーケンスの集合におけ
る情報の欠如または混乱の度合である。シーケン
スの集合のクラスタ番号注釈は、その集合の混乱
の量、すなわちエントロピーを決定するために使
用され、文脈注釈は、集合を再分割して、親集合
よりも混乱の少ないサブセツトを生成するために
使用される。ｎ個の可能な値y1，y2，…，ynを
有する離散確率変数ＹのエントロピーＨ（Ｙ）を
定義する式は式(4)で表される。

Ｈ（Ｙ）＝−_o 〓ⁱ⁼¹ Pr（Ｙ＝y_i）log₂Pr（Ｙ＝y_i） (4) ｍ個の可能な値x_i，x₂，…，x_nを有するもう１
つの離散確率変数をｘとすると、ｘが与えられた
ときのＹの平均条件エントロピーは式(5)で表され
る。

Ｈ（Ｙ｜Ｘ）＝−_n 〓ⁱ⁼¹ Pr（Ｘ＝x_i）_o 〓ⁱ⁼¹ Pr（Ｙ＝y_i｜Ｘ＝x_j）log₂Pr（Ｙ＝y_i｜Ｘ＝x_i）(5) 確率変数Ｘに対するデータのサンプルが与えら
れると、式(5)における確率をこのサンプルにおけ
る値y_i及びx_jの出現頻度及び出現の相対頻度で置
き換えることにより、条件エントロピーＨ（Ｙ｜
Ｘ）の推定値を得ることができる。以下に述べる
アルゴリズムの説明では、式Ｈ（Ｙ｜Ｓ）（ただ
し、Ｓはデータの集合）は、Ｘが与えられたとき
のＹの条件エントロピーの近似値を意味する。た
だし、サンプルとして使用されるx_iのみが集合Ｓ
に含まれるx_iである。

質問生成アルゴリズムを開始する前に、２種類
のテーブル、すなわち、音素アルフアベツト中の
全ての音素のテーブルと、可能な全ての単語長の
テーブルが存在するものと仮定する。

質問生成アルゴリズムの最初のステツプは、変
数ｉに値０を割り当てることである。次のステツ
プ1904で、ｉの値が増分される。ステツプ1906
で、ｉをＮと比較する。ただし、Ｎは可能な文脈
変数の数である。本発明のこの実施例では、Ｎは
11に等しい。ステツプ1906でｉがＮよりも小さい
場合は、ステツプ1910が実行されて、文脈変数x_i
の最初の可能な値v_iを含むように集合S_iを初期設
定し、文脈値の集合S_iが与えられたとき確率変数
Ｙの条件エントロピー値を含むように変数H_iを
初期設定する。ステツプ1912で、H_iの値が変数
H。にセーブされる。ステツプ1914で、可能な各
文脈値が集合S_iへの追加項として試みられて、集
合S_iに加えられたとき、どれが確率変数Ｙの条件
エントロピーの最大の減少をもたらすかを決定す
る。ステツプ1916で、v_iで表された選択された文
脈値が、集合S_iの諸要素と共に集合S_iに含まれ、
ステツプ1914で決定された最小条件エントロピー
値が変数H′にセーブされる。

ステツプ1918で、値H′が値H_iと比較されて、
文脈値v_iを集合S_iに加えることにより正味のエン
トロピー減少があつたかどうかが決定される。そ
うであつた場合は、ステツプ1920でS_iをS′で置き
換え、H_iをH′で置き換える。次のステツプ1922
で、集合S_i内の各項の削除を試みて、いずれかの
項が削除されたとき、確率変数Ｙの条件エントロ
ピーの正味の減少が生じるかどうか決定する。最
低の条件エントロピー値を生じる、削除された文
脈値はv″で表され、文脈標識の集合S_i−v″はS″で
表され、ステツプ1922で決定された最小の条件エ
ントロピー値はH″で表される。ステツプ1924で、
H″がH_iよりも小さいことがわかつた場合は、ス
テツプ1926が実行されて、S″がS_iに割り当てら
れ、H″がH_iに割り当てられる。

ステツプ1928で、H_iの値が、ステツプ1912で
保管された値H。と比較されて、v′を集合S_iに加
え、または集合S_iからv″を削除し、あるいはその
両方を行なうことにより、生成用データのエント
ロピーの正味の減少があつたかどうかが決定され
る。正味の減少があつた場合は、ステツプ1928の
肯定分岐からステツプ1912に分岐して、上述した
ように別の文脈標識の追加または削除あるいはそ
の両方を行なうことにより、Ｙの条件エントロピ
ーをさらに減少させようとする。

しかし、エントロピーの減少がなかつたと決定
された場合は、ステツプ1928の否定分岐からステ
ツプ1904に分岐して、変数ｉを増分して次の文脈
変数に対する集合S_iを生成する。

Ｎ個の条件エントロピー値（H_i）が（Ｎ個の
文脈変数の各々について１つずつ）決定される
と、ステツプ1906からステツプ1930に分岐する。
ステツプ1930で、最大のエントロピー減少を生じ
た集合S_iを見つけ、その集合のインデツクスを変
数ｉに割り当てる。次にステツプ1932で、集合S_i
に基づく生成用データでの２つの相対頻度分布
P′及びP″を計算する。xjがS_iの構成要素であると
すると、P′は確率変数Ｙの相対頻度分布であり、
xjがS_iの構成要素であるとすると、P″は確率変数
Ｙの相対頻度分布である。したがつて、これらの
分布は、頻度分布Ｐで記述される親ノードの
「真」及び「偽」の子ノードに関係する。

アルゴリズムの次のステツプ1934では、式(6)及
び(7)で示されるような、分布Ｐ，P′及びP″から
得られた、平滑化された分布Q′及びQ″を使つて、
２つの子ノードの条件エントロピーを計算し、合
計する。

Q′（Ｙ｜x_iεS_i）＝wp（Ｙ）＋（１−ｗ）（P′（Ｙ｜x_iεS_i） (6) Q″（Ｙ｜x_iεS_i）＝wp（Ｙ）＋（１−ｗ）（P″（Ｙ｜x_iεS_i） (7) 平滑分布Q′及びQ″を条件付き頻度分布Pr（Ｙ＝
y_i｜Ｘ＝x_j）の代りに式(5)に代入して、「真」及
び「偽」の子ノードにおける検査用データの条件
エントロピーをそれぞれ計算するために使用され
る２つの式を得る。

平滑相対頻度分布Q′及びQ″は分布P′及びP″の
代りに使用される。何故ならば、親ノードに対す
る生成用データに現れるが、一方または他方の子
ノードの生成用データには現れない文脈値があり
得るからである。この例で、頻度分布P′及び
P″を、式(5)で使用して一方の子ノードの条件エ
ントロピーを計算した場合は、式(5)のlog₂因子
は、無効なゼロの値の引数をもつことになる。

平滑分布Q′及びQ″は、例えば、ｗの値を0.1刻
みで0.1から1.0まで変化させ、分布Q′及びQ″を使
つて得られる条件エントロピーの和を最小にする
ｗの値を選ぶことにより得ることができる。この
和が、条件エントロピー値であり、ステツプ1934
で示すように、変数Hcに割り当てられる。

次のステツプ1936で、親ノードの頻度分布Ｐ及
び式(4)を使つて、そのノードにおける検査用デー
タの条件エントロピーHuを計算する。ステツプ
1940で、HcとHuを比較する。HcがHuよりも小
さい場合は、その質問は検査用データに対する正
味のエントロピー減少を生じ、ステツプ1942でそ
の質問が「良」とマークされる。そうでない場合
は、ステツプ1944でその質問は「不良」とマーク
される。これらのマークされた表示は、ステツプ
1806及び1814で、第８Ｃ図に関連して上述したよ
うに、パイロン条件に質問を選択的に加えるため
に使用される。

第６Ｂ図に関連して上述したように、音韻規則
プロセツサ１０３０は２進判断木を生成すると、
次に木の各葉に対するフイーニーム・フオーン・
マシーンを生成する。この処理は第６Ｂ図のステ
ツプ1624で示されている。木内の各音素は、それ
が現れる文脈に基づく音素の代替発音を表す一組
の葉で表される。ステツプ1624で生成される各フ
オーン・マシーンは、葉の１枚で表された音素の
ある代替発音の統計モデルである。

第１０図は、音韻規則プロセツサ１０３０で２
進判断木を使つてこれらのフイーニーム・フオー
ン・マシーンを生成する方法を示す流れ図であ
る。第１０図で示されるプログラムは、例えば、
再帰的２進木走査アルゴリズムを使つて判断木の
各葉にアクセスする。この種のアルゴリズムは当
技術では周知である。第１０図では、このアルゴ
リズムはサブルーチンNEXT LEAFで表されて
いる。このサブルーチンを繰り返して呼び出すこ
とにより、２進判断木の各葉が調べられる。

第１０図に示すプログラムの最初のステツプ
11002で、変数LEAFを０に初期設定する。次の
ステツプ11004でサブルーチンNEXT LEAFを
呼び出して、木の最初の葉を選択する。次にステ
ツプ11006で、選択された葉に属する全てのフイ
ーニーム・シーケンスを集める。これらのフイー
ニーム・シーケンスは、第７図に関連して上述し
たのと同じアルゴリズムを使つて、ステツプ
11008でクラスタにまとめられる。判断木を生成
し、検査するために使用されるデータは、各音素
ごとに約3000個のフイーニーム・シーケンスを含
み、かつ２進判断木はこれら3000個のシーケンス
を分割して、各音素ごとに50ないし100枚の葉を
形成するものと仮定すると、クラスタ化ステツプ
11008で、各葉におけるフイーニーム・シーケン
スをほぼ５つのクラスタに分割することが望まし
い。

ステツプ11010で、選択された葉におけるクラ
スタの各々に対してフイーニーム・ベースフオー
ムを生成する。これは、ジエリネク等の上記論文
に記載された順逆アルゴリズムを使つて実現され
る。次のステツプ11012でこれらのフイーニー
ム・ベースフオームを接続して、複合ベースフオ
ームを定義する１つのネツトワークにする。この
ネツトワークは、人為的な初期状態及び最終状態
を、この初期状態から選択された葉の各フイーニ
ーム・ベースフオームの最初の状態への空遷移、
及び各フイーニーム・ベースフオームから人為的
最終状態への空遷移で定義することにより形成さ
れる。フイーニーム・シーケンスの５つのクラス
タを有する葉に対する複合ベースフオームを第１
０Ａ図に示す。ステツプ11014で変数LEAFをテ
ストして、それが木の最後の葉を表しているかど
うか決定する。表していない場合は、ステツプ
11004に分岐して戻り、次の葉を選択して、その
複合フイーニーム・ベースフオームを生成する。
ステツプ11014で最後の葉が処理されたと決定し
た場合は、ステツプ11016が実行されて、判断木
の葉にインデツクスされたテーブルに全ての複合
ベースフオームを記憶する。

動作モードでは、音韻規則プロセツサ１０３０
は、高速突合せプロセツサ１００６から供給され
た音声単語モデル中の各音素シーケンスごとに呼
び出される。供給された音素に文脈で注釈が付け
られる。これらの文脈注釈を使つて、プロセツサ
１０３０は、シーケンス内の各音素に対応する音
韻上の葉を探し出す。各葉に対する複合フイーニ
ーム・ベースフオームが連結されて、単語全体に
対するフイーニーム・フオーン・マシーンを生成
する。このフイーニーム・フオーン・マシーン
は、第６Ｃ図のステツプ1635に関連して上述した
ように、詳細突合せプロセツサに適用される。

音声認識装置で音韻規則を生成し、使用するた
めの方法及び装置について上述した。頭記の特許
請求の範囲で定義された本発明の範囲から逸脱す
ることなく、本明細書で開示した方法及び装置に
修正及び変更を加えることができる。

【図面の簡単な説明】

第１図（従来技術）は、既知の音声認識装置の
ブロツク・ダイヤグラムである。第２図（従来技
術）は、第１図に示した音声認識装置での使用に
適した音響プロセツサのブロツク・ダイヤグラム
である。第３図（従来技術）は、スタツク・プロ
セツサ要素をさらに詳細に示す、第１図に示した
音声認識装置のブロツク・ダイヤグラムである。
第４Ａ図及び第４Ｂ図（共に従来技術）は、幾つ
かの文脈で第１図及び本発明の実施例で示す音声
認識装置によつて使用されるマルコフ・モデルを
表す状態図である。第５図は、本発明の一実施例
を含む音声認識装置のブロツク・ダイヤグラムで
ある。第６Ａ図、第６Ｂ図及び第６Ｃ図は、第５
図に示した音韻規則生成機構の動作を示す流れ図
である。第７図は、本発明で使用できるポアツソ
ン投票手順を示す流れ図である。第８Ａ図及び第
８Ｂ図は、パイロン条件及び、パイロン条件を有
する２進木の概念を説明するのに有用な説明図で
ある。第８Ｃ図及び第８Ｄ図は、第５図に示した
規則生成機構で使用できる、パイロン条件を有す
る２進判断木を構成するための方法を示す流れ図
である。第９Ａ図及び第９Ｂ図は、パイロン条件
の単一構成要素質問を定義するための方法を示す
流れ図である。第１０図は、第５図に示す音韻規
則プロセツサが２進判断木を使つてフイーニー
ム・フオーン・マシーンを生成する方法を示す流
れ図である。第１０Ａ図は、フイーニーム・シー
ケンスの５つのクラスタを有する葉に対する複合
ベースフオームを示す状態図である。１０００……音声認識装置、１００２……スタ
ツク・デコーダ、１００４……音響プロセツサ、
１００６……高速突合せプロセツサ、１００８…
…詳細突合せプロセツサ、１０１０……言語モデ
ル、１０１２……ワークステーシヨン、１０２０
……探索プロセツサ、１０３０……音韻規則プロ
セツサ。

Claims

【特許請求の範囲】１言語成分の発音に関する音韻規則を自動的に
生成する音声認識方法であつて、Ａ訓練テキスト及び、訓練テキストを表す発声
を処理して、上記発声の言語成分を表す複数の
サンプルを得るステツプ、Ｂ上記複数のサンプルから、発声における選択
された言語成分のそれぞれを表す一組のサンプ
ルを選択するステツプ、Ｃ上記の選択されたサンプルの各々に、上記の
選択されたサンプルと文脈的に関係のある少な
くとも１つの言語成分の標識で注釈を付けるス
テツプ、及び、Ｄ上記選択されたサンプルを、それぞれ異なる
文脈における上記選択された言語成分の発音を
表す個別の葉グループに、上記文脈標識に基づ
いて分離する判断木を、上記選択され注釈を付
けられたサンプルから、生成するステツプ、を含むことを特徴とする連続音声認識方法。２一連の言語成分を、連続して発声された一連
の単語を表すサンプリングされたデータ信号に関
連付ける連続音声認識方法であつて、Ａ第１の言語成分を上記のサンプリングされた
データ信号の第１の組のサンプルと関連付ける
ステツプ、Ｂ上記のサンプリングされたデータ信号の第２
の組のサンプルを第２の言語成分と関連付ける
ステツプ、Ｃ選択された言語成分に対する複数の文脈標識
によつて、上記選択された言語成分のそれぞれ
異なつた発音を表す複数の確率モデルを定義す
ることのできる判断手段に、上記第一の言語成
分を文脈標識としてアクセスして、上記第２の
組のサンプルを上記第２の言語成分に関連付け
るために使用される確率モデルを定義するステ
ツプ、及び、Ｄ上記の定義された確率モデルから、上記第２
の言語成分が上記第２の組のサンプルに対応す
る尤度を計算するステツプを含むことを特徴とする連続音声認識方法。