JPH03113571A - パターン認識方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、隠れマルコフモデルを用いたパターン認識
方法に関するものである。

【従来の技術〕

音声や画像を対象としたパターン認識技術は近年急速に
進歩し、人間にとって特別な訓練を必要としない情報入
力手段の１つとして、音声認識装置、画像認識装置、文
字認識装置などの実用化が活発に行なわれている。ここ
数年、パターン認識技術の一つとして、隠れマルコフモ
デルに代表される統計的・確率的認識法が研究されてい
る。

隠れマルコフモデルは、その基本的要素として、いくつ
かの状態および状態と状態を接続する技を持ち、また、
モデルが表す確率的時系列事象が特徴づける確率パラメ
ータとして、各状態が初期状態となる確率、状態から状
態への遷移確率、状態遷移におけるシンボルの出力確率
の３つが各状態と各校に付随して定義されている。基本
的な隠れマルコフモデルを用いたパターン認識は、与え
られたパターンの特徴時系列があらかじめ作成されたモ
デルから発生する確率（以下、パターン生成確率と称す
る）を各モデルにおいて算出し、それらを相互に比較す
ることにより行なわれる。

隠れマルコフモデルを用いたパターン認識法に関する基
本的なアルゴリズムであるフォワード・バックワードア
ルゴリズムやビタビ算法およびこれらのアルゴリズムの
数値計算上での問題点とその解決法については、例えば
、ｒｌＥＥＥ　ＡＳＳＰ　Ｍａｇａｚｉｎｅ　、　Ｖｏ
ｌ、　　３　＋　ｔ’ｈ　１　、　ｐｐ　４４６＋　Ｊ
ａｎ、、１９８６に掲載されている論文”Ａｎ　Ｉｎｔ
ｒｏｄｕｃｔｉｏｎ　ｔｏ　ＨｉｄｄｅｎＭａｒｋｏｖ
　Ｍｏｄｅｌｓ　　Ｊ　　（以下、文献（１）と称する
）やｒＡ＋ｌ１ｅｒｉｃａｎ　Ｔｅ１ｅｐｈｏｎｅ　ａ
ｎｄ　Ｔｅｌｅｇｒａｐｈ　ＣｏｍｐａｎｙのＴｈｅ　
Ｂｅ１ｌ　Ｓｙｓｔｅｍ　Ｔｅｃｈｎｉｃａｌ　Ｊｏｕ
ｒｎａｌ　、　Ｖｏｌ、６２゜阻４　、ｐｐ　１０３５
−１０７４　（１９８３年４月）に掲載されている論文
″Ａｎ　Ｉｎｔｒｏｄｕｃｔｉｏｎ　ｔｏ　ｔｈｅ　Ａ
ｐｐｌｉｃａｔｉｏｎｏｆ　ｔｈｅ　Ｔｈｅｏｒｙ　ｏ
ｆ　Ｐｒｏｂａｂｉｌｉｓｔｉｃ　Ｆｕｎｃｔｉｏｎｓ
　ｏｆＭａｒｋｏｖ　Ｐｒｏｃｅｓｓ　ｔｏ　　Ａｕｔ
ｏｍａｔｉｃ　５ｐｅｅｃｈ　Ｒｅｃｏｇｎｉｔｉｏｎ
　　Ｊ　　（以下、文献〔２〕と称する）で紹介されて
いる。また、隠れマルコフモデルを音声認識に適用した
場合の例として、「＾ｍｅｒｉｃａｎ　Ｔｅ１ｅｐｈｏ
ｎｅａｎｄ　Ｔｅｌｅｇｒａｐｈ　Ｃｏ＋ｅｐａｎｙの
Ｔｈｅ　Ｂｅ１ｌ　ＳｙｓｔｅｍＴｅｃｈｎｉｃａｌ　
Ｊｏｕｒｎａｌ、　Ｖｏｌ、６２　＋　Ｎａ４　　＊　
ｐｐ　１０７５１１０５　（１９８３年４月）に掲載さ
れている論文“０ｎｔｈｅ　　Ａｐｐｌｉｃａｔｉｏｎ
　　ｏｆ　　Ｖｅｃｔｏｒ　　Ｑｕａｎｔｉｚａｔｉｏ
ｎ　　ａｎｄ旧ｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌｓ
　ｔｏ　５ｐｅａｋｅｒ−１ｎｄｅｐｅｎｄｅｎｔ＋ｌ
５ｏｌａｔｅｄ　Ｗｏｒｄ　Ｒｅｃｏｇｎｉｔｉｏｎ”
」　（以下、文献〔３〕と称する）では、文献〔２〕で
紹介された基本的なアルゴリズムを音声の特徴時系列に
対するベクトル量子化技術と組み合わせて使用し、不特
定の話者が発声した英語の１０数字単語の認識実験にお
いて９６．５％の認識率を得ている。

〔発明が解決使用とする課題〕

とごろで文献〔３〕で用いられている方法では、人力さ
れた音声の特徴時系列に対してベクトル量子を行い、つ
まりあらかじめ設定しておいた複数令−・ 個の代表特徴盪（以下、代表特徴量の集合コードブック
、個々の代表特徴量をコードベクトルと称する）の中で
最も近いコードベクトルに変換した後、各コードベクト
ルに対するシンボル出力確率を用いて、フＡ・ワード・
バックワード法またはビタビ算法により、与えられた音
声のパターン生成確率を算出している。

この方法は、コードベクトルの数が有限個であることか
ら、モデルのシンボル出力確率分布は離散的かつノンパ
ラメトリックであり、あらかじめ各モデルにおいて各コ
ードベクトルに対する出力確率を求めテーブル化するこ
とが可能である。

方、この方法では入力パターンをコードベクトル系列に
ベクトル量子化する際には、量子化誤差の発生が避けら
れず、特に不特定話者音声認識の問題など、量子化誤差
が小さいコードブックの設計が困難な場合では、性能低
下の原因となっている。

これに対して、ベクトル量子化誤差を解消するものとし
て、モデルのシンボル出力確率を多次元の正規分布など
のパラメトリックな連続関数の線形和として与える方法
が’ＡＴ＆Ｔ　Ｂｅ１ｌ　ＬａｂｏｒＩ］ｔｏｒｌｅｓ
のＡＴ＆ＴＴｅｃｈｎｉｃａｌ　Ｊｏｕｒｎａｌ　＋　
Ｖｏｌ、　６４　＋　Ｎａ６１ｐｐ１２１１−１２３４
　　（１９８５年７−８月）に記載されている論文”Ｒ
ｅｃｏｇｎｉｔｉｏｎ　ｏｆ　ｌ５ｏｌａＬｅｄ　Ｄｉ
ｇｉｔｓ　ＬＩｓｉｎｇｌｌｉｄｄｅｎ　Ｍａｒｋｏｖ
　ＭｏｄｅｌＳＷｉｔｈ　Ｃｏｎｔｉｎｕｏｕｓ　Ｍｉ
ｘｔｕｒｅＤｅｎｓｉｔｉｅｓ　　Ｊ　　（以下、文献
〔４〕と称する）で紹介されている。

この場合は、シンボルは無限集合となり、あらかじめシ
ンボル出力確率をテーブル化しておけない。また、状態
遷移毎にシンボル出力確率を算出するための連続関数の
パラメータが定義されているために、認識対象のパター
ンが入力された後、パターン生成確率をフォワード・バ
ックワード法またはビタビ算法によって算出する際には
、状態遷移を決定するごとに毎回シンボル出力確率を求
める必要があり、計算量が多いという問題がある。

またこの場合、モデルの作成時に推定するべきパラメー
タの数が文献〔３〕の方法に比べて多いために、有限個
の学習データから求められた各パラメータの推定精度が
低くなり易いという問題点もある。

このような上記文献（３）（４）に代表される従来法が
持つ問題点を解消する一方法として、「電子情報通信学
会研究報告〔音声）　、　５Ｐ８９−２１゜Ｊｕｎ、、
１９８９に掲載されている論文“擬似連続分布１１ＭＭ
による不特定話者電話音声認識°゛」（以下、文献〔５
〕と称する）では、文献〔３〕の方法と同様にあらかじ
めコードブックと各コードベクトルに対する離散的なシ
ンボル出力確率を設定し、入力パターンの各特徴時系列
要素（以下、フレームと称する）に対する隠れマルコフ
モデルのシンボル出力確率を、各コードベクトルを平均
値とする複数個の多次元正規分布重み関数に対する各フ
レームの関数値と、各コードベクトルに対する離散的な
シンボル出力確率値との積和として算出し、フォワード
・バークワード法またはビタビ算法により、入力パター
ンに対するパターン生成確率を算出している。

文献〔５〕の方法では、使用するコードブックを一般的
なりラスタリングアルゴリズム、例えばｒｌＥＥＥ　Ｔ
ｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｃｏｍｍｕｎｉｃａｔ
ｉｏｎ　、Ｖｏｌ。

Ｃ０Ｎ−２８，Ｎａｌ、ｐｐ　８４−９５．　Ｊａｎ、
、　１９８０に掲載されている論文”Ａｎ　ａ１ｇｏｒ
ｉｔｈ＋ｗ　ｆｏｒ　ｖｅｃｔｏｒ　ｑｕａｎｔｉｚｅ
ｒｄｅｓｉｇｎ　　Ｊ　　（以下、文献〔６〕と称する
）で紹介されている方法で、学習用データから求めてい
る。

しかし、このようなコードブックは、必ずしも入力パタ
ーン全体の特徴量の出現確率密度分布を反映したものと
は限らないため、最もパターン認識性能が向上するよう
に入力パターンの各フレームに対する隠れマルコフモデ
ルのシンボル出力確率を算出することができないという
問題がある。

この発明は、上記の諸問題を解消し、文献〔５〕の方法
の認識性能をさらに向上させることが可能なパターン認
識方法を提供することを目的としている。

〔課題を解決するための手段〕 この目的を達成するために、この発明ではコードブック
と各コードベクトル（代表ベクトル）に対するシンボル
出力確率を設定し、入力パターンの各フレームに対する
隠れマルコフモデルのシンボル出力確率を、各コードベ
クトル（代表ベクトル）を平均値とする複数個の多次元
正規分布重み関数に対する各フレームの関数値と、各コ
ードベクトル（代表ベクトル）に対するシンボル出力確
率値との積和から算出し、フォワード・バックワード法
またはビタビ算法によりパターン生成確率を求める際に
おいて、全入力パターンの特徴量の出現確率密度分布が
、複数個の多次元正規分布関数の重み付き線形和で表わ
されるとして、学習用データから統計的に求めた各多次
元正規分布関数の平均値を各コードベクトル　（代表ベ
クトル）として用い、認識を行なう構成としている。

〔実施例〕

以下では、この発明を音声認識方法に適用した実施例に
ついて、図面を参照しながら説明する。

第１図において、１は音声入力部、２は音声分析部、３
はシンボル出力確率ｄ１算部、４は音声パターン生成確
率計算部、５は認識判定部、６は認識結果出力部、７は
コードベクトル記憶部、８はモデルパラメータ記憶部、
９はコードベクトル推定部、ｌＯは推定・認識モード切
替部である。第２図はこの実施例におけるコードベクト
ル推定モードの動作を示すフローチャートである。

最初に本実施例全体にかかわる説明に関する前提条件を
述べる。まずここでは認識対象としてに単語の語霊を考
えることとし、それぞれ次のように番号ｋが付けられて
いるものとする。

認識対象単語：１１・　（ｋｌｋ・１．２，３．・・・
、Ｋ）・・・（１）また、コードベクトル記憶部７には
、コードベクトル推定モードの動作の結果として得られ
るＭ個のコードベクトル（代表ベクトル）が記憶される
ものとし、それぞれ次のように番号ｍが付けられるもの
とする。

：２−　トヘクトル：　ν＝　（Ｖｌｌ　　ｌ　＋ｎ　
＝１＋２＋３＋　　・ＩＭ）・・・（２） さらに各認識対象単語：ｋに対応して、モデルパラメー
タ記憶部８には、隠れマルコフモデルの構造を特徴づけ
る基本的なパラメータとして、状態数Ｎｋ、状態ｌが初
期状態となる確率π□、状態ｉから状態ｊへの遷移確率
ａｋｉｊ、また各コードベクトルにも対応して、各状態
遷移におけるコードベクトルＶいに対するシンボル出力
確率ｂ　ｈ＋ｊ（Ｉｌｌ）、各入力音声フレームに対す
るシンボル出力確率の算出に使用する各コードベクトル
を平均値とする多次元正規分布重み関数における分散・
共分散行列がＭ個だけ記憶されているものとする。

分散・共分散行列：σ５１．σ、・・・、σ、・・・（
３）０ これら初期状態確率π１、遷移確率ａｈｉｊ、シンボル
出力確率ｂ＊＝＝　（ＩＩＩ）　、分散・共分散行列に
ついては、例えば文献（１）で紹介されているバウムウ
ェルヒ再推定法を応用することにより、学習データを用
いて最適値に設定することができる。

以上の前提条件の下に、本実施例における音声認識手順
を説明する。本実施例の動作は、コードベクトル推定モ
ードと認識モードに分かれており、コードベクトル推定
モードにおいて学習データからコードブックが生成され
た後に、認識モードで入力音声の認識が可能となる。

まずコードベクトル推定モードでは、推定・認識モード
切替部１０において音声分析部２の出力はコードベクト
ル推定部９に接続されており、コードベクトルを作成す
るための学習用音声データが複数個続けて音声入力部１
から入力されると、音声分析部２で特徴パラメータに変
換、され、全体でＴ個のフレームデータとしてコードベ
クトル推定部９に蓄積される。この複数個の学習用音声
データからなる蓄積されたフレームデータの集合を１ 次のように表わすことにする。

フレームデータの集合： Ｙ”’　（Ｙｔ　、Ｙｚ・・・ｙｔ）　　　・・・（４
）次にフレームデータの集合Ｙが出現する確立密度Ｐ（
ＩＢ）を、（５）式のように複数個の多次元正規分布関
数の重み付き線形和であると仮定して、以下のような第
２図のフローチャートに示す統計的手順から（５）式に
含まれているパラメータである混合係数λ、および多次
元正規分布関数の平均値μ１、分散・共分散行列Σ１を
推定する。

Ｐ（ＹＩＢ）−π　Ｐ（ＹＬ　ＩＢ）　　　　　　　・
・・（５）但し、 Ｐ（Ｙｔ　ｌＢ）　　　Σ　λｌ、Ｎ（ＹＬＩＩＩ１１
＋　　Σ、）　　・・・（６）Ｂ＝　　（λ１．μい。

Σ。

ｍ＝１〜Ｍ　） λ、；混合係数、　　Σ Ｎ（Ｙｔ＋／／＋＋＋＋　　Σｌ１１）＝［（２π）″
１Σ１ト１／ｌ・ｅｘｐ ］Σ−］−’［Ｙｔ−μｍ１／２） λ１　＝ （ ［ｙｔ ・・・（７） μ　］１ ・・・（８） ２ ：平均値がμ１、分散・共分散行列がΣ、の多次元正規
分散関数 Σｎ　１は、分散・共分散行列Σ、の行列式％式％ １Σ、１−１は、分散・共分散行列Σ、の逆行列を表す
。

［ｙｔ−μ　］１は、列ヘクトル行列［ｙｔ−μｍ１の
転置行列を表す。

まずステップ（１）において混合係数λい、平均値μｍ
、分散・共分散行列Σ、の初期値として任意の値を設定
する。これらを用いてステップ（２）では（５）式から
フレームデータの集合Ｙが出現する確率密度Ｐ　（Ｙ　
Ｉ　Ｂ）を求める。次にステップ（３）では、全フレー
ムデータを用いて（９）、　Ｇ［Ｉｌ、　（Ｉｔ）式に
よって新しい混合係数λい′、平均値μ、′、分散・共
分散行列Σ、′を推定する。

λ、′　−Σ　（λｎＮ（Ｙｔ＋　　ｌＩ＋ｍ、Σ、）
／Ｐ　（ＹＬ　　Ｉ　Ｂ））　／Ｔ　　　　　・・・（
９）μｍ　′　−Σ　（λｍＮ　（Ｙｔ　ｌｕ＃　、Σ
、）Ｙｔ／３ Ｐ（Ｙｔ Ｂ））／　　Σ （λｌＩＮ　（ＹＬ μｎ＋ Σ、）／ Ｐ（ｖｉＢ））　　　　　　　・・・０ωΣ、′　−Σ
　　（λｍＮ（Ｙｔ＋　　μｍ　、ΣｌＩ）［ｙｔ　−
μ、］［ｙｔ　−μｍ　］ｔ／　　Ｐ（Ｙｔ　　ＩＢ）
）　／Σ　（λＢＩＮ（Ｙｔ＋＃＋ａ＋　　２ｍ　）／
　Ｐ（Ｙｔ　　　Ｂ））・・・（１０ 但し、ｍ＝１〜Ｍ この新たに求められた混合係数λ１′、平均値μ、′、
分散・共分散行列Σ、′を、ステップ（４）において（
５）、　（６）、（８）式に適用することによって、フ
レームデータの集合Ｙが出現する新しい確率密度Ｐ（Ｙ
：Ｂ’）’を求める。次にステップ（５）では、さきに
求めておいた確率密度Ｐ　（Ｙ　：　Ｂ）と新しい確率
密度Ｐ（Ｙ：Ｂ’）’との差の絶対値（以下では、推定
誤差と称する）が、予め定めておいた誤差基準Ｅ、以下
であるかどうかの判定を行なう。この判定において推定
誤差がＥ９以下ではないと判定された場合にはステップ
（６）において、混合係数λ。

４ をλ、′で、平均値μ、をμ、′で、分散・共分散行列
Σ１をΣ１′で、確率密度Ｐ　（Ｙ　：　Ｂ）を新しい
確率密度Ｐ（Ｙ：Ｂ’）’で置き換えた後、再びステッ
プ（３）に戻って推定を継続する。またステップ（５）
の判定において、推定誤差がＥ２以下であると判断され
た場合には、ステップ（７）で、推定された平均値ベク
トルμ、をコードベクトルＶ、とじてコードベクトル記
憶部７に転送し、コードベクトル推定モードの動作を終
了する。

次に認識モードでは、推定・認識モード切替部１０にお
いて音声分析部２の出力は、シンボル出力確率計算部３
に接続されており、利用者が認識語霊中の任意の単語に
対する発声を音声入力部１へ入力すると、入力された音
声は音声分析部２によって特徴量の抽出が行なわれ、長
さＴの特徴ベクトルの時系列Ｘ””　（Ｘ＋’、Ｘ２　
、・・・、Ｘｔ）に変換される。ここで、得られた各特
徴ベクトルＸｔの次元は、コードベクトル記憶部７に記
憶されている各コードベクトルの次元と等しいものとす
る。

これに引続きシンボル出力確率計算部３では、５ 得られた特徴ベクトルの時系列Ｘを用いて、コードベク
トル記憶部７に記憶されている各コードベクトル■、と
モデルパラメータ記憶部８に記憶されている単語ｋにお
けるコードベクトル■１に対応する分散・共分散行列σ
工とから０り式で示される多次元正規分布関数によって
、各認識対象単語におよび各時刻りごとに重み係数ｕｋ
・（Ｘｔ）を求める。これとモデルパラメータ記憶部８
に記憶されている単語ｋにおける状態遷移ｉ−＋ｊでの
コードベクトル■、に対するシンボル出力確率す、目（
蒙）との積和を測成のように算出することにより、単語
ｋにおける状態遷移ｉ→ｊでの時刻ｔの各入力音声フレ
ームに対するシンボル出力確率ω■。

（Ｘ、）を求める。

ｕｋ＋＊　（Ｘｔ）　−Ｎ　（Ｘｔ　：　Ｖｓ　、　　
σｈｌＩ）＝〔（２π）Ｎ　Ｉσに、１）　−１／ｌ・
ｅｘｐ　（−ＣＸＬ−Ｖｌｌ）　’　（σ工）　−’　
（ｘｔ−ｖ、）　／２）・・・Ｑ２１ 但し、 σに、１は、分散・共分散行列σに、の行列式の６ 値を表す。

〔σ、〕−１は、分散 表す。

（ｘｔ−ｖ、）’は、 の転置行列を表す。

・共分散行列σ、の逆行列を 列ベクトル行列（Ｘ、−Ｖ。

〕 ωｋｉｊ　　（ｘｔ　　）　　＝　Σ　ｕｋ＋＋＋　（
ｘｔ　　）　　−ｂｋｉｊ　　（ａ＋）・・・側 音声パターン生成確率計算部４では、単語ｋにおける状
態遷移ｉ　−＋　ｊでの各入力音声フレームのシンボル
出力確率ω□ｊ（ＸＬ）を用いて、各単語に対する隠れ
マルコフモデルからの入力音声パターンの生成確率を算
出する。ここでの計算手法は、文献〔１〕で紹介されて
いる隠れマルコフモデルでの基本的なアルゴリズムであ
るフォワード・バックワード法またはビタビ算法におい
て、各状態遷移におけるコードベクトル■、に対するシ
ンボル出力確率ｂｋｔｊ（ｍ）　　（但し、■、は時刻
りの入力音声フレームをベクトル量子化した場合のコー
ドベクトルである）をω１＊（Ｘｔ）を置き換７ えた算出法によることができる。以下に、フォワード・
バックワード法を適用した場合の計算方法を示す。まず
、単語にのモデルにおいて、時刻ｔで部分的な特徴ベク
トルの時系列Ｘ’　ｔ　＝　（Ｘｔ　。

Ｘｔ、・・・、Ｘｔ）を生成して状態ｉにいる条件付き
確率α□（ｉ）は、状態ｉが初期状態となる確率π■、
状態ｊから状態ｉへの遷移確率ａｋｊ！、各入力音声フ
レームのシンボル出力確率ωＩｌＪ！（Ｘｔ）を用いて
、（財）、　０５１式の漸化式より求められる。

α１゜（ｉ）−π■　　　　　　　　　　　・・・（ロ
）αｋｔ（ｉ）−Σαｈｔ−＋（Ｄ　　ａ　ｋＪ＊　　
ωｋｊｉ（Ｘｔ）−１ ・・・０つ 但しｔ＝１．２．・・・、Ｔ 以上のα□（ｉ）の定義から明らかなように、単語にの
モデルにおいて、長さＴの特徴ベクトルの時系列Ｘ＝　
（Ｘ、、ｘｚ　、　・、ＸＴ）が生成される確率Ｐ（Ｘ
ｌｋ）は、ａｅ式によって求められる。

Ｐ　（Ｘ　　ｌ　ｋ）　　＝　Σｃｒ＊ｔ（ｉ）’　　
　　　　　−Ｏｅ８ 最後に認識判定部５では、すべての認識対象単語ｋに対
応する隠れマルコフモデルから得られた入力音声パター
ンの生成確率Ｐ（χ　ｌｋ）を単語間で相互比較し、音
声パターンの生成確率が最大値となる単語に′を決定し
、認識結果出力部６へ認識結果として出力する。

以上の動作により、本実施例では、認識に必要なパター
ン生成確率をフォワード・バックワード法またはビタビ
算法によって算出するにさきだって、入力パターンの各
フレームに対する隠れマルコフモデルのシンボル出力確
率を、予め設定した各コードベクトルに対する離散的な
シンボル出力確率と、各コードベクトルを平均値とする
複数個の多次元正規分布重み関数に対する各フレームの
関数値との積和として算出する際に、全人カバターンの
特徴量の出現確率密度分布が、複数個の多次元正規分布
関数の重み付き線形和で表わされるとして、学習用デー
タから統計的に求めた各多次元正規分布関数の平均値を
各コードベクトルとして用いることによって、入力パタ
ーン全体の特徴９ 量の出現確率密度分布を反映したコードブックからシン
ボル出力確率を算出できるという利点があり、従来の隠
れマルコフモデルを用いたパターン認識方法を持つ問題
点を解消した良好な認識性能を発揮するパターン認識を
実現することができる。

なお、第１図に示した実施例は、この発明を音声認識に
適用した場合についてであったが、認識対象となるパタ
ーンは音声情報だけではなく、画像、文字情報等にもこ
の発明によるパターン認識方法を適用することができる
。

〔発明の効果〕

この発明によるパターン認識方法では、パターン生成確
率をフォワード・バックワード法またはビタビ算法によ
って算出するにさきだって、入力パターンの各フレーム
に対する隠れマルコフモデルのシンボル出力確率を、予
め設定した各コードベクトルに対する離散的なシンボル
出力確率と、各コードベクトルを平均値とする複数個の
多次元正規分布重み関数に対する各フレームの関数値と
の積和として算出する際に用いるコードベクトル０ として、全入力パターンの特徴量の出現確率密度分布が
複数個の多次元正規分布関数の重み付き線形和で表わさ
れるとし、学習用データから統計的に求めた各多次元正
規分布関数の平均値を用いている。

この発明において、モデルを構成するために必要なパラ
メータは、コードベクトルｖ１、状態数Ｎｋ、状態ｉが
初期状態となる確率π５ム、状態ｉから状態ｊへの遷移
確率ａｋｉｊ、各状態遷移におけるコードベクトルＶ、
に対するシンボル出力確率ｂ□Ｊ（＃）　、各入力音声
フレームに対するシンボル出力確率の算出に使用する各
コードベクトルを平均値とする多次元正規分布重み関数
における分散・共分散行列σ工である。コードベクトル
Ｖ、は、コードベクトル推定モードにおいて、全入力パ
ターンの特徴量の出現確率密度分布が複数個の多次元正
規分布関数の重み付き線形和で表わされるとの仮定の下
で最適となるように、学習用のデータから求められてい
る。また、状態数Ｎ。

は、認識対象単語に応じて任意に設定でき、初期１ 状態確率π１、遷移確率ａ□１、シンボル出力確率ｂｋ
！、（Ｉｍ）、分散・共分散行列σに、についても、例
えば文献〔１〕で紹介されているバウムウェルヒ再推定
法を応用して、学習データを用いてその最適値を容易に
推定することができる。

このように本発明では、パターン生成確率を求めるため
のフォワード・バックワード法またはビタビ算法にさき
だって、入力パターンの各フレームに対するシンボル出
力確率が算出できると同時に、その構成に必要な各モデ
ルのパラメータが学習によって容易に求められ、またコ
ードベクトルについても入力パターン全体の特徴量の出
現確率密度分布を反映したものを容易に推定できるとい
う利点があり、従来の隠れマルコフモデルを用いたパタ
ーン認識方法が持つ問題点を解消した良好な認識性能を
発揮するパターン認識を実現することができものである
。

【図面の簡単な説明】

第１図はこの発明を音声認識に適用した場合の実施例を
示す装置のブロック構成図、第２図はこ２ の実施例におけるコードベクトル推定モードの動作を示
すフローチャートである。

Claims (1)

【特許請求の範囲】
1. （１）入力パターンの各フレームに対するシンボル出力
   確率を、あらかじめ定められた複数個の代表ベクトルを
   各平均値とする複数個の多次元正規分布重み関数に対す
   るその各フレームの各関数値と、各代表ベクトルに対す
   るシンボル出力確率値との積和で与えることを特徴とす
   る隠れマルコフモデルを用いたパターン認識方法におい
   て、全入力パターンの特徴量の出現確率密度分布が、複
   数個の多次元正規分布関数の重み付き線形和で表わされ
   るとして、学習用データから統計的に求めたその多次元
   正規分布関数の各平均値を上記代表ベクトルとすること
   を特徴とするパターン認識方法。