JPH03181999A - Ｈｍｍ装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は音声認識等のパターン認識に適用可能な新しい
ＨＭＭ　　（ヒトラン　マルコフ　モチ゛ル　（Ｈｉｄ
ｄｅｎ　　Ｍａｒｋ□ｙ　Ｍｏｄｅｌ））のパラメータ
の推定方法および装置に関する。

従来の技術 本発明は一般の時系列信号に適用可能なものである力交
　説明の便宜のために　以下、音声認識を例に説明する
。

先ずＨＭＭを用いた音声認識装置について説明する。

第２図＋；！、ＨＭＭを用いた音声認識装置のブロック
図である。　１０１は音声分析部であって、入力音声信
号をフィルタパン久　フーリエ変ａＬＰＧ分析等の周知
の方法により、一定時間間隔（フレームと呼ぶ）例えば
１０ｍ５ｅｃ毎に特徴ベクトルに変換すん　従って、入
力音声信号は特徴ベクトルの系列Ｘ＝ｘ＋　、　ｘｅ　
、・・・、ＸＴに変換される。Ｔはフレーム数である。

　１０２はコードブックと呼ばれるもので、ラベル付け
された代表ベクトルを保持してい＆　　１０３はベクト
ル量子化部であって、前記ベクトル系列Ｘのそれぞれの
ベクトルをそれに最も近い前記代表ベクトルのラベルに
置き換えるものである。　１０４はＨＭＭ作戒作成あっ
て、訓練データから認識語業たる各単語に対応するＨＭ
Ｍを作成するものである。節板　単語Ｗに対応するＨＭ
Ｍを作るにζ上　先ず、ＨＭＭの構造（状態数やそれら
状態の間に許される遷移規則）を適当に定数　然る後に
前記の如くして単語Ｗを多数回発声して得られたラベル
系列から、それらラベル系列の発生確率が出来るだけ高
くなるように前記モデルにおける状態遷移確率や状態の
遷移に伴って発生するラベルの発生確率を求めるもので
ある。　２０５はＨＭＭ記憶部であって、このようにし
て得られたＨＭＭを各単語毎に記憶するものである。　
１０６は尤度計算部であって、認識すべき未知人力音声
のラベル系列に対し　前記ＨＭＭ記憶部１０５に記憶さ
れているそれぞれのモデルからそのラベル系列の発生す
る尤度を計算するものである。　１０７は比較判定部で
あって尤度計算部１０６で得られた前記それぞれのモデ
ルに対する尤度の最大値を与えるモデルに対応する単語
を認識結果として判定するものである。

ＨＭＭによる認識は次のようにして行われる。

節板　未知入力に対して得られたラベル系列を０＝Ｏ−
１，０２，・・・、ＯＴ、モデルλゞにより発生される
Ｔの長さの任意の状態系列をＳ　＝　ｓｌ、ｓｅ、・・
・、ＳＴとするとき、λ９からラベル系列Ｏの発生する
光度は〔厳密解〕 Ｌ＋　（ｖ）　−”ｊ；ｉ　Ｐ（０，Ｓｌλ’）　−−
−−−−−−−−−−（１）〔近似解〕 Ｌ２（Ｖ）　＝　ｍｇｘ［Ｐ（０，Ｓｌλｖ）］・・・
・・・・・・・・・（２）−７ また（戴　対数をとって り、（ｖ）　＝　ｍｇｘ［ｌｏｇ（Ｐ（０，Ｓｌλｖ）
）］・・・・・・・・・（３）で与えられる。ここで、
Ｐ（Ｘ、　ｙｌλｖ）１１　　モデルλ９におけるｘ、
ｙの同時確率密度である。

従って、例えば　式（１）を用いれば ？　＝　ａｒｇｍａｘ［Ｌ＋（ｖ）］・・・・・・・・
・・・・・・・・・・（４）とするとき、９が認識結果
となる。式（２）、　（３）を用いるときも同様である
。

Ｐ（０，３１λ）は式（１）の場合は　次のようにして
求められる。

いま、ＨＭＭλの状態ｑ＋　（ｉ−１〜Ｉ）に対して、
状態ｑ■毎に　ラベルＯの発生確率ｂ＋（ｏ）と状態ｑ
１から状態ｑ」への遷移確率ａｚが与えられているとき
、状態系列Ｓ　＝　ｓＩ、ｓｅ、・・・、Ｓｙ＋＋　に
対してラベル系列０−ｏ＋　、　ａｔ　、・・・、０丁
のＨＭＭλから発生する確率は と定義出来る。ここでａ＠１．は状態Ｓ１の初期確率で
ある。ま７”、、　　ＳＴ・ｊ　−ｑｆ　は最終状態で
あって、如何なるラベルも発生しな賎 この例では入力の特徴ベクトルＸをラベルに変換した力
１　各状態におけるラベルの発生確率の代りに特徴ベク
トルＸをそのまま用い、各状態において特徴ベクトルＸ
の確率密度関数を与える方法もある。このときは式（５
）における前記ラベル０の状態ｑ１における発生確率ｂ
＋（ｏ）の代わりに特徴ベクトルＸの確率密度ｂ＋　（
ｘ）を用いることになる。このときは、前記式（１）、
　（２）、　（３）は次のようになる。

〔厳密解〕

Ｌｌｏ（Ｖ）＝　Σ　ｐ（ｘ、　ｓ　１入り）・・・・
・・・・・・・・（１′）〔近似解〕 Ｌ２°（ｖ）　　−ｍａｘ［Ｐ（Ｘ、Ｓｌλｖ）］・・
・・・・・・・・・・（２′）また（よ　対数をとれば
次式が得られる。

Ｌｓ’（ｖ）　−ｍａｘ　［ｌｏｇ　（Ｐ（Ｘ、Ｓｌλ
ｖ））］−（３’）以上、何れの方式を用いるにしても
最終的な認識結果（よ　それぞれの単語Ｖに対してＨＭ
ＭλＶをｖ−１〜Ｖについて準備しておけば　入力音声
信号Ｘに対して ？　　−ａｒｇｍａｘ　　［Ｐ（ＸＩλＶ）コ　　・・
・・・・・・・・・・・・・（６）がＸの認識結果とな
る。加電　ここでのＸは前記それぞれ方法に応じて、入
力されたラベル系丸特徴ベクトル系列等である。

発明が解決しようとする課題 従来　音声認識に用いられている典型的なＨＭＭは第３
図に示されるようなものであも　図において、ｑｌは６
番目の状態ａｌＪは状態ｑｌから状態ｑＪに遷移する遷
移離散り＋（ｘ）はラベルあるいは特徴ベクトルＸの状
態ｑ＋において観測される確率密度であも このとき、ＨＭＭの゛状態”ｑｌは、そのＨＭＭに対応
する音声の部分区間（セグメント）ｉに対応していると
考えられも　従って、状態ｑ１　においてＸの観測され
る確率密度ｂ＋（ｘ）　ＬＪ、　　セグメントｌにおい
てＸが発生する確率密度であり、遷移確率ａｌｌは時刻
ｔにおけるｘｔがセグメントｉに含まれるとき、時点ｔ
＋１におけるｘｔ・１が再びセグメントｉに含まれる確
率であると解される。このような考えに立てば　従来の
ＨＭＭにおける間０− 照点として次の２点が指摘できる。

（１）関数ＬＨ（ｘ）を規定するパラメータは、例えば
Ｘが正規分布とした場合、平均ベクトルと共分散行列で
ある力交　それらは状態ｑｌ　に関して一定であるとし
ているの弘　音韻によっては特徴ベクトルの時間的な変
化の特徴（動的特徴）が重要であるにもかかわらず、従
来のモデルでは　その特徴が適切に表現できな賎 （２）セグメントｉの長さτはある確率分布に従ってい
るものと考えられるが、従来のモデルで（よ遷移確率ａ
ｌｌ、　ａｌｌは状態ｑ１の連の長さとは無関係に一定
であるとしているので、結果的にセグメントｉの長さは
指数分布に従うことになり、その分布形状は現実を適切
に表現するものとはなっていなりも （２）の問題を解決する方法としては、状態ｑ１の連の
長さτに関する確率密度関数ｄＩ（τ）としてＰｏｌｓ
ｓｏｎ分布や１分布を用いるものが既に公知である。

本発明の目的（上　状態ｑｌ　における特黴ベクト１１ ルの時間的変化傾向力丈　同一セグメント（状態）内に
おいては時間的に一定の傾向を持つと言う仮定のもとに
　各状態毎に線形予測モデルを定義し入力パターンＸに
対する予測誤差信号の累積確率をそのモデルのＸに対す
る尤度と定義したＨＭＭを構成することによって、（１
）の問題を解決することにある。

課題を解決するための手段 ８ＭＭ記憶装置を、状態遷移確率を記憶する状態遷移確
率記憶手段と、入力パターンたる特徴ベクトル系列の時
刻ｔにおける特徴ベクトルをｘｔとするとき、ｘｔ以外
の１つまたは複数の特徴ベクトルからなる前記特徴ベク
トル系列の部分系列を人力し　状態毎に定義され　状態
ｌにおいて（上　前記部分系列を前記ｘｔの予測値［Ｘ
ｔ］ｌに変換する線形予測手段と、この線形予測手段の
予測係数を記憶する予測係数記憶手段と、前記予測値［
ｘｔ］ｉと入力ベクトルｘｔとの予測誤差ベクトルを算
出する予測誤差算出手段と、この予測誤差算出手段の出
力ベクトルの確率分布を規定するパラメータを記憶する
確率分布パラメータ記憶手段とを備えた構成とする。

また第１のＨＭＭ作戊装置ｃｔ　　カテゴリＶに対応す
る第ｒ（＝１．２．・・・、Ｒ）の訓練用パターンをＸ
ｒ　＝＝　ｘ　ｒｌ、Ｘ’２．”’、Ｘ’Ｔとし　前記
Ｖに対応するＨＭＭをＭｖ、Ｍｖの状態１で定義されて
いる予測器Ｐｉにより予測された前記ベクトルｘｒｔの
予測値［ｚ’ｔ］ｉとｘ　ｒ　ａとの予測誤差ベクトル
α　前記Ｍｖから得られる状態系列Ｓに対応する予測誤
差系列をＥｒ、前記ＳとＥ・の同時確率密度のＳに関す
る総和をＰ（Ｅ’　ＩＭｖ）とする定を行うパラメータ
推定手段を含ム　この推定されたパラメータを上記のＨ
ＭＭのパラメータとする構成とする。

また第１のパターン認識装置法　認識すべきカテゴリｖ
＝１〜Ｖに対して設けられた上記構成の８ＭＭ記憶装置
と、入力パターンＸに対応してカテゴ°すＶに対応する
モデルＭｖの任意に定められる状態系列を＆　Ｓに対応
する上記構成の８ＭＭ記憶装置における線形予測手段の
出力たる予測値に対３− する予測誤差ベクトル系列をＥとするとき、人カッくタ
ーンＸに対するＭｖの尤度をΣＰ（Ｅ、ＳＩＭｖ）で定
義し　この尤度をｖ＝１〜■について計算する尤度計算
手段と、その最大値を与えるＶを求める最大値判定手段
を含ム　前記最大値を与えるＶをＱとするとき、この９
を認識結果と判定する構成とすもさらに第２のパターン
認識装置は　認識すべきカテゴリｖ＝１〜Ｖに対して設
けられた上記構成の８ＭＭ記憶装置と、入力パターンＸ
に対応してカテゴリＶに対応するモデルＭｖの任意に定
められる状態系列を＆Ｓに対応する上記構成の８ＭＭ記
憶装置における線形予測手段の出力たる予測値に対する
予測誤差ベクトル系列をＥとするとき、入力パターンＸ
に対するＭｖの尤度をｍａｘ［Ｐ（Ｅ、ＳＩＭｖ）］あ
るいはｍａｘ［ｌｏｇ　Ｐ（Ｅ、ＳＩＭｖ）］で定義し
　この尤度をｖ＝１−Ｖについて計算する尤度計算手段
と、その最大値を与えるＶを求める最大値判定手段を含
ム　前記最大値を与えるＶを９とするとき、この９を認
識結果と判定するする構成とする。

さらに第２のＨＭＭ作戒作置装置　上記第２のパ４− ターン認識装置の構成に記載の方法によって、第１番の
訓練パターンに対する最適の状態系列を束数　その状態
系列上の状態１部分に対応するフレーム数のｒ−１−Ｒ
に対する分布から、状態ｉの連長の確率分布ｄｉ（τ）
を求める連長確率密度算出手段と、前記状態１部分に対
応するＲ通りの特徴ベクトル系列から、　上記８ＭＭ記
憶装置の構成に記載の線形予測手段の係数を求める線形
予測係数計算手段と、前記Ｒ通りの状態ｉ部分に対応す
る予測誤差ベクトル系列からその分布を規定するパラメ
ータを求める確率分布パラメータ算出手段とを備えた構
成とする。

作用 ８ＭＭ記憶装置は　状態遷移確率記憶手段により状態遷
移確率を記憶し　入力パターンたる特徴ベクトル系列の
時刻ｔにおける特徴ベクトルをｘｔとするとき、ｘｔ以
外の１つまたは複数の特徴ベクトルからなる前記特徴ベ
クトル系列の部分系列を入力し　状態毎に定義され　状
態ｌにおいて（友前記部分系列を前記ｘｔの予測値［ｘ
ｔ］１に変換する線１５− 形予測手段の予測係数を予測係数記憶手段により記憶し
、予測誤差算出手段により前記予測値［Ｘ、］と人力ベ
クトルｘｔとの予測誤差ベクトルを算出しこの予測誤差
算出手段の出力ベクトルの確率分布を規定するパラメー
タを確率分布パラメータ記憶手段により記憶する。

第１のＨＭＭ作成装置ば　カテゴリＶに対応する第ｒ　
（＝１．２．−・・、　Ｒ）の訓練用パターンを、Ｘｒ
＝Ｘｒ＋。

Ｘ’２．・・・ｚｒ丁とし　前記Ｖに対応するＨＭＭを
Ｍｖ。

Ｍｖの状態ｉで定義されている予測器Ｐｉにより予測さ
れた前記ベクトルｘｒｔの予測値［ｘｒｔ］ｉとｘｒｔ
との予測誤差ベクトルの、前記Ｍｖから得られる状態系
列Ｓに対応する予測誤差系列をＥｒ、前記ＳとＥ′の同
時確率密度のＳに関する総和をＰ（Ｅ’１Ｍｖ）とする
定をパラメータ推定手段により行へ　この推定されたパ
ラメータを上記構成のＨＭＭのパラメータとする。

第１のパターン認識装置は　認識すべきカテゴリｖ＝１
〜Ｖに対して設けられた上記構成のＨＭＭ記憶装置に記
憶されているパラメータを用（＼入力パターンＸに対応
してカテゴリＶに対応するモデルＭｖの任意に定められ
る状態系列を８．８に対応する上記構成のＨＭＭ記憶装
置における線形予測手段の出力たる予測値に対する予測
誤差ベクトル系列をＥとするとき、入力パターンＸに対
するＭｖの尤度をΣＰ（Ｅ、　ＳＩＭｖ）で定義し　尤
度計算手段によりこの尤度をｖ＝１〜Ｖについて計算し
　その最大値を与えるＶを最大値判定手段により求へ前
記最大値を与える■を９とするときこのＱを認識結果と
判定する。

第２のパターン認識装置（戴　認識すべきカテゴリｖ＝
１〜Ｖに対して設けられた上記構成のＨＭＭ記憶装置に
記憶されているパラメータを用ｔ、Ｘ。

入力パターンＸに対応してカテゴリＶに対応するモデル
Ｍｖの任意に定められる状態系列を＆Ｓに対応する上記
構成のＨＭＭ記憶装置における線形予測手段の出力たる
予測値に対する予測誤差ベクトル系列をＥとするとき、
入力パターンＸに対するＭｖの尤度をｍａｘ［Ｐ（Ｅ、
ＳＩＭｖ）］あるいはｍａｘ［ｌｏｇ　Ｐ（Ｅ。

７− ８７−８Ｉ］で定義し　この尤度を尤度計算手段により
ｖ＝１〜Ｖについて計算し　その最大値を与えるＶを最
大値判定手段により求ぬ　前記最大値を与えるＶを９と
するとき、このＱを認識結果と判定する。

第２のＨＭＭ作戒作置装置　上記第２のパターン認識装
置の構成に記載の方法によって、第１番の訓練パターン
に対する最適の状態系列を求へ　連長確率密度計算手段
によって、その状態系列上の状態ｉ部分に対応するフレ
ーム数のｒ＝１−Ｈに対する分布から、　状態ｉの連長
の確率分布ｄｉ（τ）を束数線形予測係数算出手段によ
って、状態ｉ部分に対応する前記Ｒ通りの特徴ベクトル
系列から、　上記構成のＨＭＭ記憶装置における線形予
測手段の係数を木取　確率分布パラメータ算出手段によ
って、前記Ｒ通りの訓練パターンの状態ｉ部分に対応す
る予測誤差ベクトルの分布からその分布を規定するパラ
メータを求める。

実施例 ここで、以後用いるべき記号の定義をまとめて１８− おく。簡単のために　誤解を生じない限り、状態ｑ１、
ｑ」等は単にｉｓ　　Ｊ等と表記することにする。

また　モデルの学習は単語Ｖについて行う場合を述べる
こととし　区別する必要のある場合はパラメータの右肩
に添字Ｖを付加し　通常はこれを省くものとする。

ｉ−１，２，・・・、Ｉ：第ｉ番の状態［ａｌ」コニ遷
移マトリクス ａｌ」：状態ｌから状態ｊへの遷移確率ｒ：単語Ｖに対
する訓練パターン番号（ｒ−１，・・・、Ｒ）ｘｒｔ：
　訓練パターンｒの第ｔフレームにおける観測ベクトル ｂ＋（ｘｒｔ）：状態ｉにおけ水　訓練パターンｒのフ
レームｔの観測ベクトルｘｒｔの確率密度ａ１：状態ｉ
の線形予測パラメータベクトル（α１冨（（ＩＩＩ、Ｑ
ｌ！＋・・・、ａｌ内）１）交・ｔ：Ｘ’の部分系列を
入力として得られる前記ニューラルネットの出力ベクト
ル（ｘｉの予測ベクトル） ｅ’ｔ：予測誤差ベクトル（ｅ’　ｔ　−ｘ’　ｔ　−
ｉ’　ｔ　）＝１９− ｂ＋（ｅ’ｔ）：状態ｊにおける前記ベクトルｅ’ｔの
確率密度 Ｘ’　−Ｘ　’　ｌ　Ｘ　’　”　・・・Ｘ　’　Ｔ　
ｒ　：単語Ｖに対する第ｒ番のパターン（ただし　ｒ＝
１．２．・・・、Ｒ）Ｓ’　−３’　ｌ　Ｓ　’　２　
”・Ｓ　’　ｒ　ｒ　Ｓ　’　ｙ　ｒ　：　Ｘ　’に対
応する状態系列ｓ’ｔ：単語Ｖに対する第ｒ番の訓練パ
ターンの第ｔフレームにおける状態 Ｔ′＝単語Ｖに対する第ｒ番の訓練パターンのフレーム
数 ξ１：状態ｉにおける観測ベクトルの確率分布および状
態ｉの連の長さの確率分布を規定するパラメータの集合 合 λ−（ＸＩ）：全パラメータの集合（λをパラメータと
するモデルをモデルλと呼ぶ場合が ある） Ｐ（Ｘｌλ）：観測ベクトル系列Ｘがモデルλから発生
する確率 ｑｔ：最終の状態（”　Ｓ’Ｔ・１） π１＝ａｓ、ｌ：状態ｌがｔ＝１で生じる確率単語■に
対応するＨＭＭを学習する方法について述べる。

問題は　単語Ｖについて準備されたｒ＝ｌ−Ｒの訓練パ
ターンに対して尤度関数Ｐ（ＸＩ、Ｘ’、・・・ＸＲＩ
λ）を最大にするパラメータλを推定することである。

Ｘ′が互いに独立であるとすれば Ｐ（ＸＩ　、・・・ＸＲＩλ） で与えられる。ここで、次の補助関数Ｑ（λ、λ°）を
定義する。

Ｑ（λ、λ°） このとき、 次のことが言えも ２１ Ｑ（λ、　１’　）≧Ｑ（１，λ）ノトキ、Ｐ（ＸＩ、
・、ＸＩ１２’）≧Ｐ（Ｘ’。

・・・ＸＲＩλ）であって、等号はλ”＝λの時に成り
立っ。

故に λ　−ａｒｇｍａｘ　　［Ｑ（λ、λ″）コ　　　・・
・・・・・・・・・・（９）λ１ を求めることが出来れば　λ−λとして式（９）を繰り
返し適用することによって、λはＰ（Ｘ’、・・・ＸＲ
Ｉλ）の停留点　即−＋２　　Ｐ（ＸＩ、・・・Ｘｌ′
ｌλ）の極大値または鞍点を与える点に収束することに
なり、Ｐ（Ｘ’　、・・・ＸＲＩλ）の変化率が予め定
めた閾値以下になるまでこの操作を繰り返すことにより
局所最適解が得られる。

次にＱ（λ、λ”）を用いてパラメータを推定する方法
について説明する。

式（９）を変形すれば　次式が得られる。

×Σ　Ｐ（Ｘ’　、　Ｓ’　ｌλ）　　ｌｏｇ　Ｐ（Ｘ
’、Ｓ’ｌλ’）　　−−−−−−（１０）前述の説明
に従えＧｆ、　　Ｑ（λ、λ°）をλ′の関数と児なし
てＱ（λ、λ’）＞Ｑ（λ、λ）なるλ′を見出せば　
それはλの更新されたものとなるカーＬ　　Ｐ（ＸＩ、
・・・）（Ｒ１λ）はλ′に関しては一定値となるか転
　これは −曽− Ｑ”（λ、λ′） ＝Ｑ（λ、λ’）／Ｐ（Ｘ’、・・・　Ｘ１ｌｌλ）と
と同様である。ただし　ここでｃｒ＝Ｉ／Ｐ（Ｘ’ｌλ
）とおいている。

式（１１）はさらに次のようになる。

Ｑ”（λ、λ′） ここで考えているＨＭＭは１ｅｆｔ　ｔｏ　ｒｉｇｈｔ
（７）モデルであって、−旦離れた状態には再び戻るこ
とはないとすれば　状態系列Ｓ゛において、状１１ｉの
開始時点をｔ＋（Ｓ’）、状態ｉの持続時間をτＩ（Ｓ
’　）、節板　τ＋（Ｓ’）＝ｔ＋（Ｓ’）−ｔ＋（Ｓ
’）　（ただし　状態ｌの次の状態がｊであるとする〉
とすれば（第４図参照）、式（１２）から式（１３）が
得られる。

ａＱ”ｃλ、λ゛） ａ１１１ −幻− ただＬＡｉｌを状態ｉの連における最初の状態を意味す
るものとするとき Ｐ（ｒ＋ｉ＋ｊ＋　ｔ＋ｒ）＝Ｐ（Ｘ’、ｓ’ｔ−ｖ−
ｉｔ、ｓ’ｔ−ｊｌ　ｌλ）とおいていも 同様に式（１４）が得られる。

ａＱ”（λ、λ′） 式（１３）、（１４）においてＰ（Ｘ、ｓ’ｔ−τ−ｉ
＋、ｓ′ｔ＝ｊ＋ｌλ）はモデルλにおけるＸｌ、Ｓ’
ｔ−ｖ−Ｌｌ、ｓ’ｔ＝ｊ＋ノ同時確率密度であって、
図示すれば　第５図における斜線部を通る径路の生起確
率密度の総和と言うことになる。これを用いることによ
って式（１３）、（１４）における径路Ｓ′に関する総
和の計算Ｃヨ２段階に分けて行うことが出来る。節板　
先ず、　ｔ、τ、ｊの全範囲において前記斜線部を通る
径路についての総和計算を行Ｌ＼　得られた結果のｔ、
τ、ｊの全範囲にわたる総和を取ればよ賎　式（１３）
、（１４）における第１の式から第２の式への変化はこ
の考え方に基づくものである。

ｐ（ｒ、ｉ、　ｊ、ｔ、り＝Ｐ（Ｘ、Ｓ’ｔ−ｖ＝ｉ＋
、ｓ’ｔ−ｊｌ　ｌλ）は次のようにして求められる。

節板 とおけば ｐ（ｒ、ｉ、ｊｌ　Ｌｌ） ”Ｐ（Ｘ、ｓ’ｔ−τ＝ｉ＋　、Ｓ’ｔ−ｊｌ　ｌλ）
２５− このとき Ｘβ゛ｔ・τ（ｊ）・・・・・・・・・・・・・・・・
・・・・・（１８）なる漸化式が成り立１　従って、α
’＋（１）＝　１としてパラメータλに適当な初期値を
５丸ｔ＝ｌ−Ｔ′＋ｌ。

ｊ−１〜■について式（１７）に従ってα’ｔ（ｊ）を
、β’、、、、（ｆ）−１としてｔ＝Ｔ’＋１−１．　
　ｉ−Ｉ　〜Ｉニツいて式（１８）に従ってβ’ｔ（ｉ
）をそれぞれ順次計算して行けば　式（１６〉が計算で
きも （以下余白） −あ− ラグランシュの未定乗数法により、 」”につい てＭｌ”（λ、λ’　）／　ａ　ａ ｏをとく。

即執 式（１３）を であるか転 両辺にａｌｌ’を掛けて、 ｊ−１〜Ｉについ となる。

状態ｉの連の長さの確率密度を規定するパラメータを推
定する。

例えばａ 冨　γ （ｃｏｎｓｔ、　）の場合 −刀 ｄ （τ）＝γ −−＋（１ ） となる。

他の例として、 Ｐｏｌｓｓｏｎ分布で当てほめを行うとすれば であるから、 同様にして ・・・・・・・・・（２２） ノく　− ｂ＋　（ｘ）は従来のＨＭＭにおいては特徴ベクトルＸ
の状態１における確率密度として定義されるのが普通で
あっｔも 本発明は　入力音声信号の時刻ｔにおける特徴ベクトル
Ｘｉに対する予測値を各状態毎に定義された線形予測器
により予測し　予測値ｉｔを株　その予測誤差の確率密
度をｂｌ（ｘｔ　）とするものである。

例えｉ′Ｌｘｔ−＋、　　ｘｔ−ｐ、　　・−、ｘｔ−
ｗからｘｔを予測するものとし　この予測誤差が正規分
布で与えられるものとすれば ｂ＋　（ｘｔ　） 一四一 となる。

対数をとれば ｏｇ （ｘｔ） となる。

ここで、 Σ ＝［σ ５ｎｌ−［σ “］ １はｘｔ Ｘｔ の分散共分散行列であって、 節板 一加− Ｒｔ、ｍｎ　　＝　　Ｘｔ−ｍｌ”Σ　ｌ−’Ｘ１−ｎ
＋１−３（ｔ−ｎ◆１τΣ＋−’ｘｔ−−十１＝Ｒｔ、
ｓ　　・・・・・・・・・・・・・・・・・・・・・・
・・（２５）である。この場合推定すべきパラメータ（
よ　分散共分散８行列Σ１と予測係数ａｌである。

（ａ）線形予測係数０１の推定 簡単のために次のようにおく。

Ｂｔ−Ｒｔ、＋＋ Ｃｔ　”　−（Ｒｔ Ｒｔ、１ｔ。

Ｒｉ、＋ｎ） 式（２４）、　（２６）から ＝　　−Ｃｔ−τ Ｄｉ−τ であるから、 −３１ となる。

ここで とおけば　ａｌの再推定式は ａ＋　−−Ｈ＋−’　Ｇ＋　　−−−−（２７）で与え
られる。

式（２７）の解の存在性は次のようにして示される。

ΣＩ従ってΣ１１は正値対称行列であるから、式％式％
） ）］ であって、Ｒｉも正位対称行列となり、式（２６）から
ＤｔはＲ１のｐｌｉｎｃｉｐａｌ　ｍ１ｎｏｒであるか
らＤｔも正値対称行列となる。また　正値対称行列の線
形結合は正値対称行列であるから、Ｈｌも正値対称行列
になる。故ニＨ１は非特異マトリクスであるから、　式
％式％ （ｂ）分散共分散行列Σ１の推定 σ１．の全因子をＡ１ｍ１１．　　σ、ａｎの全因子を
Ａ、ａｎとすれば　σ１ｓｎ＝１７’ｌｎｍ、　　（７
ｌ”＝σｌ”従って、Ａ　ｌｓｎ−Ａｌｎｍ、　ＡＩ”
＝Ａｌ”であることに注意して、を用いれば （σ １１）Ｑ −−σ１１′（σ１“０″）２ であるから、 田− となる。

故に ×（σ １１）２ となるからΣ の再推定値は次のようになる。

・・・・・・（２８） ただし ここで、 ｅ’を一τ ｅ’ｔ−ｖ−１＋に丁 ・・・・・・（２９） Σ ｏｎａｍ（ｒ） ３４− とおいている。

パラメータ推定の実際の計算手順は次のようになる。

単語Ｖに対応するモデルλ９を作成するに当たって、単
語Ｖに対応するパターンＸ’　−ｘ’　＋　、・・・、
Ｘ’ｒ（ｒ−１〜Ｒ；　ｘｒｔはパターンｒの第を番の
特徴ペクト／ｌｚ、　　Ｔ’はパターンｒのフレーム数
）が訓練用パターンとして与えられているものとする。

ま？、：、ｊ＞ｉで、　Ｉ＝ｆ、　　ｉ＝１〜Ｉ−１，
ｊ＝２〜■とＬｄｉ（τ）＝γ、Ｔ−′（１−γ１）と
する。

適当な初期値を与える。

え糺蓚皇立亙淀 （２）ｒ−１〜Ｒについてステップ（３）を実行する。

（３）ｔ＝２〜Ｔゝ＋１．τ＝１〜ｔ−１．ｉ＝１〜Ｉ
−１．ｊ＝２〜工番こついてλ＝（λ幕）として式（１
６）〜（１８）に従ってｐ（ｒ、　ｉ、　ｊ、　ｔ。

τ）、ｆ゛を計算する。また　次式に従って−３５− １，ｎｕｓ（ｒ）。

」・ｄ・ｎ・−（ｒ＞を計算する。

（４）ｉ＝１〜Ｉ−１，ｊ＝２〜工についてａｚの推定
値を式（１９）に従って計算する。

においてａｌｌ−ａｌｌなる書換えを行う。

ノく　− （６）ｒ−１〜Ｒについてステップ（７）を実行する。

（７）ｔ−２〜Ｔ’＋１．τ−１−ｔ−１，１＝ｌ−Ｉ
−１．ｊ＝２〜Ｉについてλ−（λ１）として式（１６
）〜（１８）に従ってｐ（ｒ＋　ｌ、Ｌ　ｊ＋τ）、Ｃ
′を計算する。また　次式に従って（８）ｉ−１〜Ｉに
ついてγ 算する。

の推定値を式（２０）に従って計 （９）ｉ＝１〜Ｉ−１についてλ１−（（ａ　ｌ　４　
）　Ｊ　、　ｅ　＋　７　＋　＋　’　Ｉ＋Σ１）にお
いてγ１＝γ１なる書換えを行う。

べ （１０）ｒ＝１〜Ｒについてステップ（１１）を実行す
る。

（１１）ｔ＝２〜Ｔ’＋１．τ−１−ｔ−１．ｉ＝１〜
Ｉ−１，ｊ＝２〜■についてλ−（λ１）として式（１
６）〜（１８）に従ってｐ（ｒ＋１＋ｊ＋ｔ、τ）、Ｃ
１を計算する。また　式（２５）〜（２６）を用（１２
）ｉ−１〜Ｉについてａ 計算する。

の推定値を式（２７）に従って においてａｌ”ａｌなる書換えを行う。

′−１ （１４）ｒ＝Ｉ〜Ｒについてステップ（１５）を実行す
る。

−訂一 （１５）ｔ−２〜Ｔ’＋１．τ−１〜ｔ−１．ｉ−１〜
■１、ｊ＝２〜Ｉについ てλ−（λＪ）として式（１６）〜（１８）に従ってｐ
（ｒ＋ＬＬｔ、τ〉。

Ｃ゛を計算する。

また 次式を計算する（ 式（２９）、　（３０））。

％式％ （） の推定値を式（２８）に従って においてΣ 一Σ なる書換えを行う。

（１９） Ｌ＋−Ｌａ ／Ｌ１〉δならＬ＋−Ｌｅとしてステップ（２）へそう
でなければ終了する。

前記ステップ（１９）におけるδは収束の幅を決める一
羽一 適当に小さな正の数であって、これが小さいとパラメー
タの推定の精度は上がるが収束に時間がかかると力＼　
″学習のし過ぎ″と言った状況の生じることがある。こ
こで、　゛学習のし過ぎ″と（よ学習１ｔｅｒａｔｉｏ
ｎを繰り返すにつれて各パラメータは学習サンプルに対
しては幾らでも゛′最適化パされる力ｔ　これは飽くま
で学習サンプルに対してであって、同じ母集団に属する
学習サンプル以外のサンプルに対しては必ずしも最適化
されるとは限らないからである。加電　学習サンプルの
数が十分にあって、その属すべき母集団の特性がそこに
十分に反映されているときはこの限りではな（１また　
δが大きいと収束は速くなるが精度は悪くなる。

従って、δの値は状況によって実用的な値が選ばれも 第１図ζよ　本発明のＨＭＭ作成装置の一実施例である
。本実施例において（よ　ａ＋＋＝１　（ｆｏｒ　ｊ＝
ｉ＋１）、　ａ＋＋＝ｏ　（ｆｏｒ　ｊ≠ｉ＋１）の場
合であって、以下図面に従って説明する。

５０１は特徴抽出部であって、周知の方法によ−諦− って、訓練単語ｒ＝ｌ〜Ｒの音声信号を特徴ベクトルの
系列Ｘ’＝Ｘ’ｌ、ｌ’、・・・、Ｘ’Ｐに変換するも
のである。

５０２は単語パターン記憶部であって、モデルλを作成
するための訓練用単語を前記特徴ベクトル系列の、形で
複数個（本例ではＲ個）記憶するものである。

５０３はバッファメモリであって、単語パターン記憶部
５０２に記憶されている単語パターンを１つづつ取り出
して一時的に記憶するものである。

５０４は状態ｉにおけるパラメータを推定するに先だっ
て、ｐ（ｒ、　ｉ、　ｊ、ｔ、τ）、Ｃ゛を計算するも
のである。

５０５は連長期待値計算部であって、状態１の連の長さ
τおよびτ−１α　径路に関する期待値を計算するもの
である。これは式（２０）に示される遷移確率の式の分
母および分子である。さらにここでは計算された前記τ
の期待値は式（２８）に示される誤差信号の分散共分散
行列を与える式の分母ともなる。

５１１は誤差分散共分散行列分子計算部であって、式（
２９）を計算するものである。

５１３は予測係数算出行列計算部であって、式（２７）
を計算するに必要な諸量を計算するものである。

５０６は第一の累積和計算部であって、連長計算部５０
５で計算された値Ｑ　訓練単語に関する累積和を計算す
るものである。

５１２は第二の累積和計算部であって、誤差分散共分散
分子計算部５１１で計算された値の訓練単語に関する累
積和を計算するものである。

５１４は第三の累積和計算部であって、予測係数算出行
列計算部５１３で計算された諸量の訓練単語に関する累
積和を計算するものである。

５０７は第一のパラメータ計算部であって、前記第コ　
第二の累積和計算部５０６、５１２で計算されたそれぞ
れのパラメータの分子、分母の比をとることにより、前
記状態ｉにおける遷移確率γ１、予測誤差の分散共分散
Σ書それぞれの推定値を求めるものである。

４１− ５１５は第二のパラメータ計算部であって、前記第三の
累積和計算部５１４で計算された諸量から、式（２７）
に従って、状態ｉにおける予測係数０１の推定値を求め
るものである。

５０８はパラメータ記憶部であって、前記推定されたパ
ラメータを記憶するものである。

５０９は全体尤度計算部であって、パラメータ記憶部５
０９に記憶されたパラメータ推定値から尤度Ｐ（Ｘ’ｌ
λ）のｒに関する総和を求めるものである。

５１０１：Ｌ　　全体尤度計算部５０９で計算された全
体尤度を記憶するものである。

５１６は制御部であって、前記各機能ブロックに対すム
　諸量の設定　それらの動作に関する各種の指令等を行
うものである。

例えば　単語Ｖに対応するモデルλゞの作成は次のごと
く行われる。

単語ＶをＲ回発声し　特徴抽出部５０１によって特徴の
系列に変換されたＲ個のパターンが単語パターン記憶部
５０２に記憶される。単語パター＝４２− ン記憶部５０２から、制御部５１６からの学習単語読み
出し指令によって、　ｒ番目（ｒ＝１−Ｒ）の単語パタ
ーンＸ′が読み出され　バッファメモリ５０３に記憶さ
れる。前記パラメータの計算におけるｔ１τが前記制御
部５１６からの区間設定信号としてバッファメモリ５０
３に供給され　それに対応するバッファメモリ５０３に
記憶された単語パターンＸｒの区間に対し　部分尤度計
算部５０４（上　ｐ（ｒ＋　ｌ＋　ｊ＋　ｉ＋で）、Ｃ
′を計算する。この値を基に連長期待、値計算部５０５
により、γｌの分母分子が計算される。このとき、これ
ら分母分子に含まれるパラメータ（よ　パラメータ記憶
部５０８に状態ｉにおけるパラメータとして記憶されて
いる値λ＝（γｌ、（ＩＩ、Σ１）を用いも　第一の累
積和計算部５０６は前記訓練単語パターンＸ’　（ｒ　
＝　１〜Ｒ）についての前記分母分子の累積和をそれぞ
れ計算する。

パラメータ計算部５０７はこのようにして求められた訓
練単語パターンｘ１のｒ＝１〜Ｒの状態１についての前
記分母分子の累積和からその比をとって状態ｉの遷移確
率γ「の新たな推定値を計算す−４３− る。これを１＝１−Ｉについて行う。パラメータ記憶部
５０８はこのようにして得られた遷移確率の新しい推定
値を古いものと取り替えて、単語Ｗに対応する更新され
たパラメータλ−（λＶ　＋　）として記憶する。この
更新されたパラメータλを基に全体尤度計算部５０９に
より、前記説明に従って訓練単語全単語に対する尤度を
束数　更新前のパラメータに対して既に計算され　全体
尤度記憶部５１０に記憶されている尤度と比較され　そ
の判定結果が制御部５１６に送られると共に　前記計算
された新たな尤度が全体尤度記憶部５１０に記憶される
。制御部５１６は前記判定結果を基に改善の効果が予め
定めた閾値以下になれば　パラメータの推定計算を打ち
切り、その閾値以上であればまだ改善の余地があるとし
て、今度は式（２８）に従って予測誤差の分散共分散の
推定を行う。

節水　単語パターン記憶部５０２から、　制御部５１６
からの学習単語読み出し指令によって、　ｒ番目（ｒ−
１−Ｒ）の単語パターンＸ′が読み出されバッファメモ
リ５０３に記憶されも　前記パラメータの計算における
ｔ１τが前記制御部５１６からの区間設定信号としてバ
ッファメモリ５０３に供給され　それに対応するバッフ
ァメモリ５０３に記憶された単語パターンＸ′の区間に
対し　部分尤度計算部５０４はｐ（ｒ、　ｉ、　ｊ、　
ｔ、τ）、Ｃ′を計算する。

この値を基に連長期待値計算部５０５により、前記説明
に従って、予測誤差の分散共分散の分母が計算され　誤
差分散共分散分子計算部５１１により予測誤差の分散共
分散の分子が計算される。このとき、　これら分母分子
に含まれるパラメータ（よパラメータ記憶部５０８に状
態１におけるパラメータとして記憶されている値λ１＝
（γｌ、（１１，Σ１）を用いる。第一の累積和計算部
５０６は前記訓練単語パターンＸ’（ｒ＝１−Ｒ）につ
いての前記分母Ｑ第二の累積和計算部８１２は分子の累
積和をそれぞれ計算する。パラメータ計算部５０７はこ
のようにして求められた訓練単語パターンＸ′のｒ＝１
〜Ｒの状態ｉについての前記分母分子の累積和からその
比をとって状態ｌの予測誤差の分散共分散の新たな推定
値を計算する。これをｉ＝１〜■につ４５− いて行う。パラメータ記憶部５０８はこのようにして得
られた予測誤差の分散共分散の新しい推定値を古いもの
と取り替えて、単語Ｖに対応する更新されたパラメータ
λ＝（λｖＩ）として記憶する。この更新されたパラメ
ータλを基に全体尤度計算部５０９により、前記説明に
したがって訓練単語全単語に対する尤度を束数　更新前
のパラメータに対して既に計算され　全体尤度記憶部５
１０に記憶されている尤度と比較され　その判定結果が
制御部５１６に送られると共に　前記計算された新たな
尤度が全体尤度記憶部８１０に記憶されも制御部５１６
は前記判定結果を基に改善の効果が予め定めた閾値以下
になれば　パラメータの推定計算を打ち切り、その閾値
以上であれば　まだ改善の余地があるとして、今度は予
測係数０１の推定を行う。節水　単語パターン記憶部５
０２から、制御部５１６からの学習単語読み出し指令に
よって、　ｒ番目（ｒ−１〜Ｒ）の単語パターンＸ゛が
読み出され　バッファメモリ５０３に記憶される。

前記パラメータの計算におけるｔ、　τが前記制御部−
柘一 ５１６からの区間設定信号としてノくソファメモリ５０
３に供給され　それに対応するノ＜・ソファメモリ５０
３に記憶された単語パターンＸ゛の区間に対し　部分尤
度計算部５０目よ　ｐ（ｒ、ｌ＋　ｊ、Ｌτ）を計算す
る。この値を基に予測係数算出行列計算部５１３により
、前記説明に従って、式（２６）、ステ・ツブ（１１）
に示される諸量が計算される。このとき、これら計算に
含まれるパラメータ（よ　）くラメータ記憶部５０８に
状態ｉにおけるノくラメータとして記憶されている値λ
１＝（γｌ、Ｑｌ、Σ１）を用Ｌ）る。第三の累積和計
算部５１４は前記訓練単語ノくターンＸ’＜ｒ＝１−Ｒ
）についての前記諸量の累積和をそれぞれ計算する。パ
ラメータ計算部５１５はこのようにして求められた訓練
単語ノくターンＸ゛のｒ−１−Ｈの状態ｉについての前
記累積和から式（２７）の行列計算により、状態ｉの予
測係数Ｈの新たな推定値を計算する。これをｉ＝１〜Ｉ
につ〜）で行う。

パラメータ記憶部５０８はこのようにして得られた予測
係数の新しい推定値を古いものと取り替えて、単語Ｗに
対応する更新されたノくラメータλ＝（−４７− λｖ１）として記憶すん　この更新されたパラメータλ
を基に全体尤度計算部５０９により、前記説明に従って
訓練単語全単語に対する尤度を束数　更新前のパラメー
タに対して既に計算され　全体尤度記憶部５１０に記憶
されている尤度と比較されその判定結果が制御部５１６
に送られると共に前記計算された新たな尤度が全体尤度
記憶部５１０に記憶される。制御部５１６は前記判定結
果を基に改善の効果が予め定めた閾値以下になればパラ
メータの推定計算を打ち切り、その閾値以上であれば　
まだ改善の余地があるとして、再び遷移確率の計算に戻
る。同様な計算を前記判定結果を基に改善の効果が予め
定めた閾値以下になるまで繰り返すことにより、λ＝（
λＶ　＋　ｌは一定の値に収束し　それが求めるべきパ
ラメータとなる。

次に　以上のようなモデルを用いて実際の入力音声を認
識する方法及び装置について説明する。

いわゆる厳密解（よ　未知入力パターンＸが人力された
とき、Ｐ（Ｘ　ｌ　Ｍｖ）をｖ−１〜Ｖについて計算し
Ｐ（ＸＩＭｖ）の最大値を与えるＶを認識結果とすれば
よ（も　これ（よ　前記モデルの作成過程において、入
力パターンｘ′に対するモデルＭの尤度ｃ’−Ｐ（Ｘ’
　ＩＭ）を求める過程において、Ｘ゛をＸにＭをＭｖに
単に置き換えただけである。

ここでは前記式（２′）に相当する近似解を求める方法
について説明する。

φ（ｉ、ｔ）を時刻ｔ、状態１までの最大累積尤度とす
れば　式（２”）に対応して漸化式が成立する。ただし
、　ここで ｆｔ、ｙ（ｉ）　−ｄｌ（ｒ）　　　ｂＩ　（Ｘｔ−ｖ
−１＋ｋ）Ｋ・１に である。従って、　φ（ｉ、ｔ）をｉ＝１〜１．１．　
ｔ＝２〜Ｔ＋１について順次求めれば　φ（Ｉ、Ｔ＋１
）が入カッくターンＸに対するモデルλ（モデルＭ）の
最大尤度となる。

このとき、漸化式（３１）をそのまま計算するとなると
、　フレームｔ（−１〜Ｔ）毎に　τ−２〜ｔ−１．　
　ｉ−１〜■のあらゆる組合せについてｆｔ、τ（ｉ）
の計算を行うことになり、計算量が膨大となる。

４９− この計算量Ｃヨ　　過去の計算値を用いることによって
、削減することが出来る。ここ玄　後の議論の便宜のた
めに次なる量を定義する。

Ｂ（ｉ、ｔ、ｚ）−ｂＩ　　（Ｘｉ−τ−１＋ｋ）””
”””””’（３２）このとき、次の事が言える。

Ｂ（ｉ、　ｔ、　１）−ｂＩ　（ｘｔ−＋　）Ｂ（ｉ、
　ｔ、　２）＝Ｂ（ｉ、　ｔ、　１）ｂＩ　（ｘｔ−２
）Ｂ（ｉ＋　ｔ＋　３　）＝Ｂ　（１１ｔ　＋　２　）
ｂＩ（ｘｔ　−ａ　）Ｂ（ｉ、　ｔ、　Ｔ）−Ｂ（ｉ、
　ｔ、　Ｔ−１）ｂＩ　（ｘｔ−τ）　　−・−＝　＝
−・−−−−−（３３）ま？、、、　　ｄｉ（τ）はτ
−１−Ｔについて予め計算してテーブルに記憶しておく
。このとき、式（３１）は次の手順で計算できる。ただ
Ｌ　　Ｂ（ｉ、ｔ、０）＝１とする。

（１）τ−１〜ｔ−１について次式を実行Ｂ（ｉ、　ｔ
、τ）＝Ｂ（ｉ、　ｔ、τ−１）ｂｌ（Ｘｔ−τ）η（
τ）−φ（ｉ、　ｔ−ｒ）１３（ｉ、　ｔ、τ）ｄｌ（
τ）・・・・・・（３４）（２）φ（ｉ＋１．ｔ）＝　
ｍａｘ　［７７（Ｔ）］τ 第６図は以上の原理に基づく装置の一実施例である。

一力一 ６０１は特徴抽出部であって、入力音声信号を特徴ベク
トルの系列ＸＩ　、　Ｘ２　、・・・、ＸＴに変換する
。

６０２はバッファメモリであって、前記特徴ベクトルの
系列ＸＩ　、　Ｘ２　、・・・、ＸＴを一時的に蓄える
ものである。

６０３はフレームベクトル発生確率計算部であって、フ
レームｔ−ｉにおける予測誤差ｘｓ−＋−ｉｔ−＋の確
率密度ｂ＋、（Ｘｔ−＋）を計算するものである。

６０４はパラメータ記憶部であって、前記確率密度の計
算に必要な確率密度関数のパラメータを記憶する部分で
ある。節板ｉ＝１〜Ｉ−１におけるγｌ、　Ｑｌ、Σ１
を記憶していも ６０５は累積確率密度計算部であって、式（３３）に従
って、Ｂ（ｉ、　ｔ、τ）を計算するものである。

６０７は状態持続時間確率密度計算部であって、パラメ
ータ記憶部６０４に記憶されている状態ｉの連の長さの
確率密度を規定するパラメータから、状態ｉの連の長さ
がτになる確率密度ｄｉ（τ）をτ＝１〜Ｔについて計
算し　記憶するものである。

６０６は累積確率密度記憶部であって、前記累−５１− 積確率密度計算部６０５の計算結果を逐次記憶するもの
である。その記憶内容を読み出すことによって前記累積
確率密度計算部６０５において、式（３３）の計算が漸
化的に行われる。

６０８は漸化式計算部であって、状態持続時間確率密度
記憶部６１０の記憶内容を読みだし　累積確率密度計算
部６０５の出力と共に　前記ステップ（１）、　（２）
を実行することによって、式（３１）をｉ−１〜Ｉ、　
ｔ−１〜Ｔ＋１について計算し　最終的にφ（Ｉ、Ｔ＋
１）を求めるものである。

６０９は途中累積確率密度記憶部であって、式（３１）
に従って漸化式計算部６０８で計算される途中累積確率
密度φ（ｉ、ｔ）を逐次記憶し　この記憶された途中累
積確率密度は漸化式計算部６０８における以後の漸化式
計算に用いられる。

６１１は区間設定信号発生部であって、フレーム番号ｔ
、状態番号ｉ、状態ｑ１の連の長さτを順次設定するも
のであって、これらの値は前記各ブロックに供給さｉｔ
、　　ｉ、　ｔ、τの種々の値について前記処理が行わ
れる。

以上のようにして、求められたφ（Ｉ、Ｔ＋１）が前記
モデルλからベクトル系列ＸＩ、Ｘ２．・・・、ＸＴが
発生する確率密度を与えることになる。

本装置を用いて、単語音声認識を行うときζよ次のよう
にする。

いま、認識すべき単語をｖ＝１〜■とし　単語Ｖに対し
てモデルλ９が準備されているとする。このとき、モデ
ルλ９に対して前記処理とまったく同様にして求められ
たφ（１，Ｔ＋１）をφ’（Ｉ、Ｔ＋１）と書くことに
すれば が認識結果となる。

な抵　漸化式（３１）の両辺の対数をとることにより、
式（ａｌ）、　（３３）〜（３４）は次の式（３１°）
、　（３３’　）〜（３４″）のように掛は算を足し算
に変換することが出来る。

ただし　式（３１’　）、　（３３’　）〜（３４′）
においてΦ（ｉ、ｔ）　　−ｌｏｇ　　φ（ｉ、ｔ）△
（ｉ、τ）−ｌｏｇ　　ｄｉ（τ） ｒ’（ｉ、ｔ、τ）　　−ｌｏｇ　　Ｂ（ｉ、ｔ、Ｔ）
−詔一 ○（ｉ、ｘｉ）　　＝　　ｌｏｇ　ｂ＋（ｘｔ）とする
。このとき Ｆ（ｉ、ｔ、ｒ）＝ｒ’　（ｉ、ｔ、ｒ−１）十〇（ｉ
、ｘｔ−τ）　　−−−（３３’）Ｈ（τ）−Φ（ｉ、
　ｔ−ｚ）＋ｒ’　（Ｌ　ｔ、τ）＋Δ（ｉ、τ）・旧
・・・・・（３４’　）であって、前記ステップ（１）
、（２）は次のようになる。

（１）τ−１−１−１について次式を実行ｒ　（ｉ、　
ｔ、　τ）＝ｐ　（ｉ、　ｔ、　ｒ−１）＋ｅ　（ｉ、
　ｘｔ−ｔ）Ｈ（０＝Φ（ｉ、　を−τ）＋ｒ’（ｉ、
ｔ、τ）＋△（１１τ）（２）Φ（ｉ＋１．ｔ）−ｍａ
ｘ　［Ｈ（Ｔ）］この場合の実施例（よ　第１Ｏ図にお
いて、前記式（３１）、　（３３）〜（３４）に対応し
て行っていた各ブロックにおける計算を前記式（３１°
）、　（３３’　）〜（３４’）に変更するのみであり
、構成自体はまったく同じである。このようにすること
によって、得られる結果は同じである力丈　計算量を大
幅に減することが出来る。

な抵　モデルの作成ＣＬ　　本発明においては前記ステ
ップ（１）〜（１９）のような方法の他に　前記漸化式
（３１）あるいは（３１’）により、それぞれのｒにつ
ぃ５４− て尤度最大の径路を束数　その径路の状態ｉ部分に対応
する特徴ベクトル系列か転　前記ｂ＋　（ｘ）のパラメ
ータと状態の連長の分布ｄｉ（τ）のパラメータを計算
する方法も考えられる。即６　　ｄｉ（τ）について（
上　訓練パターンｒにおいて状態ｉに対応する径路のフ
レーム数ｌ＋（ｒ）をｒ＝１〜Ｒについて求へ　そのｒ
に関する平均値をｃｌ（τ）の平均値とすることが出来
る。例えば　ｄｉ（τ）−γ＋”−’（１−γ１）のと
き１よその平均値はｌ／（１−γ１）であるから、であ
って、 となる。ま？％　　ｂｌ（Ｘ）のパラメータＱｌ、　　
ΣＩの推定は次のように行われる。

訓練パターンＸ゛においてｘ’を一τ〜Ｘ’　ｔ　−１
が状態ｉに対応するときｘ　ｒ　ｉ−τ−１◆にの予測
値Ｒ’ｓ−τ−１◆ｋを、ｘｒｔ−τ−１＋に−ＮＮＸ
’ｔ−τ−１十に−１の線形結合）（’ｔ−ｒ−１　＋
に−ａ＋　＋Ｘ’ｔ−ｔ−＋＋に一＋＋８０１＋ａ＋ｎ
Ｘ’　ｔ−τ−＋　＋ｙ−ｎで表し −５５− ’　　（Ｘ’ｔ−τ−１＋ｋ　　−？ｔ−τ−１＋ｋ）
を最小にするように０１を推定する。また×（Ｘ’５−
ｖ−１＋ｋ　　−Ｒ’ｔ−τ−１＋ｋ）”により、Σ１
の推定値が求められる。この場合状態ｌの区間は式（３
１）、　　（３１“）の漸化式の計算においてｔ、１に
対するτの最適値τｏｐｔに対しＢＢ（ｉ＋１．ｔ）＝
ｔ−τｏａｔ を、ｔ＝１−’ｒ’＋ｔ、　ｉ＝１〜■について順次記
憶しておけＩＣｒに対応する最適径路における状態ｉの
開始フレームｔ１（よ ｔ＋＝Ｔ’＋１．　　ｔ＋−＋＝ＢＢ（ｔ＋）、　　ｔ
＋−２’＝ＢＢ（ｂ−＋）。

・・・・・・・・・ｔａ＝ＢＢ（ｔｓ）、　ｔ＋＝ＢＢ
（ｔａ）＝１として求めることが出来る。

発明の効果 以上のように　本発明により、各状態毎に線形予測モデ
ルを定義し　入力パターンＸに対する予測誤差信号の累
積確率をそのモデルのＸに対する尤度と定義したＨＭＭ
を構成することによって、入力パターンの動的特徴が表
現可能となり、従来に比べてより高精度の時系列パター
ンの認識を可能とする確率モデルの実現が可能となった
な抵　本実施例において（よ　同一状態における遷移確
率（よ　その停留回数に関わりなく一定として説明した
力文　前記ｄｉ（τ）を１分布やＰｏｌｓｓｏｎ分布で
与えることも勿論可能である。この場合は仮定した分布
のパラメータを訓練データから推定することになり、本
発明で述べた方法により、同様に求められる。

【図面の簡単な説明】

第１図は本発明によるＨＭＭのパラメータ推定を行う装
置の一実施例を示すブロックは　第２図はＨＭＭを用い
た音声認識装置の従来例を説明するブロックは　第３図
は従来のＨＭＭの構成を示すＨＭＭの構成飄　第４図は
本発明のＨＭＭの概念を示すトレリス線は　第５図は本
発明のＨＭＭのパラメータを推定する方法を説明する説
明は第６図は本発明の原理により構成されたＨＭＭに５
７− 対してそのモデルから発生する未知入力パターンの発生
尤度を計算する尤度計算装置の一実施例を示すブロック
図であも ５０１・・・・特徴抽出数 ５０２・・・・単語パターン記憶組 ５０３・・・・バッファメモリ、 ５０４・・・・部分尤度計算餓 ５０５・・・・連長期待値計算訊 ５０６・・・・麺−の累積和計算敵 ５０７・・・・第一のパラメータ計算敵５０８・・・・
パラメータ記憶数 ５０９・・・・全体尤度計算訊 ５１０・・・・　全体尤度記憶数 ５１１・・・・誤差分散共分散行列分子計算敵５１２・
・・・第二の累積和計算敵 ５１３・・・・予測係数算出行列計算敵５１４・・・・
第三の累積和計算敵 ５１５・・・・第二のパラメータ計算敵５１６・・・・
制御訛

Claims (5)

【特許請求の範囲】
1. （１）状態遷移確率を記憶する状態遷移確率記憶手段と
   、入力パターンたる特徴ベクトル系列の時刻ｔにおける
   特徴ベクトルをｘ＿ｔとするとき、ｘ＿ｔ以外の１つま
   たは複数の特徴ベクトルからなる前記特徴ベクトル系列
   の部分系列を入力し、状態毎に定義され、状態ｉにおい
   ては、前記部分系列を前記ｘ＿ｔの予測値［ｘ＿ｔ］＿
   ｉに変換する線形予測手段と、この線形予測手段の予測
   係数を記憶する予測係数記憶手段と、前記予測値［ｘ＿
   ｔ］＿ｉと入力ベクトルｘ＿ｔとの予測誤差ベクトルを
   算出する予測誤差算出手段と、この予測誤差算出手段の
   出力ベクトルの確率分布を規定するパラメータを記憶す
   る確率分布パラメータ記憶手段とを備えたことを特徴と
   するＨＭＭ記憶装置。
2. （２）カテゴリｖに対応する第ｒ（＝１、２、・・・、
   Ｒ）の訓練用パターンをＸ＾ｒ＝ｘ＾ｒ＿１、ｘ＾ｒ＿
   ２、・・・、ｘ＾ｒ＿Ｔとし、前記ｖに対応するＨＭＭ
   をＭ＾ｖ、Ｍ＾ｖの状態ｉで定義されている予測器Ｐ＿
   ｉにより予測された前記ベクトルｘ＾ｒ＿ｔの予測値［
   ｘ＾ｒ＿ｔ］＿ｉとｘ＾ｒ＿ｔとの予測誤差ベクトルの
   、前記Ｍ＾ｖから得られる状態系列Ｓに対応する予測誤
   差系列をＥ＾ｒ、前記ＳとＥ＾ｒの同時確率密度のＳに
   関する総和をＰ（Ｅ＾ｒ｜Ｍ＾ｖ）とするとき、▲数式
   、化学式、表等があります▼（Ｅ＾ｒ｜Ｍ＾ｖ）を最大
   にするパラメータの推定を行うパラメータ推定手段を含
   み、この推定されたパラメータを請求項１記載のＨＭＭ
   のパラメータとすることを特徴とするＨＭＭ作成装置。
3. （３）認識すべきカテゴリｖ＝１〜Ｖに対して設けられ
   た請求項１記載のＨＭＭ記憶装置と、入力パターンＸに
   対応してカテゴリｖに対応するモデルＭ＾ｖの任意に定
   められる状態系列をＳ、Ｓに対応する請求項１記載の線
   形予測手段の出力たる予測値に対する予測誤差ベクトル
   系列をＥとするとき、入力パターンＸに対するＭ＾ｖの
   尤度を▲数式、化学式、表等があります▼Ｐ（Ｅ、Ｓ｜
   Ｍ＾ｖ）で定義し、この尤度をｖ＝１〜Ｖについて計算
   する尤度計算手段と、その最大値を与えるｖを求める最
   大値判定手段を含み、前記最大値を与えるｖを■とする
   とき、この■を認識結果と判定することを特徴とするパ
   ターン認識装置。
4. （４）認識すべきカテゴリｖ＝１〜Ｖに対して設けられ
   た請求項１記載のＨＭＭ記憶装置と、入力パターンＸに
   対応してカテゴリｖに対応するモデルＭ＾ｖの任意に定
   められる状態系列をＳ、Ｓに対応する請求項１記載の線
   形予測手段の出力たる予測値に対する予測誤差ベクトル
   系列をＥとするとき、入力パターンＸに対するＭ＾ｖの
   尤度を▲数式、化学式、表等があります▼［Ｐ（Ｅ、Ｓ
   ｜Ｍ＾ｖ）］あるいは▲数式、化学式、表等があります
   ▼［ｌｏｇＰ（Ｅ、Ｓ｜Ｍ＾ｖ）］で定義し、この尤度
   をｖ＝１〜Ｖについて計算する尤度計算手段と、その最
   大値を与えるｖを求める最大値判定手段を含み、前記最
   大値を与える■をｖとするとき、この■を認識結果と判
   定することを特徴とするパターン認識装置。
5. （５）請求項４記載の方法によって、第ｒ番の訓練パタ
   ーンに対する最適の状態系列を求め、その状態系列上の
   状態ｉ部分に対応するフレーム数のｒ＝１〜Ｒに対する
   分布から、状態ｉの連長の確率分布ｄ＿ｉ（τ）を求め
   る連長確率密度算出手段と、前記状態ｉ部分に対応する
   Ｒ通りの特徴ベクトル系列から請求項１記載の線形予測
   手段の係数を求める線形予測係数算出手段と、前記Ｒ通
   りの訓練パターンの状態ｉ部分に対応する予測誤差ベク
   トルの分布からその分布を規定するパラメータを求める
   確率分布パラメータ算出手段とを備えたことを特徴とす
   るＨＭＭ作成装置。