JPH02291600A - パターン認識装置および標準パターン作成装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、音声などのように特徴ベクトルの系列として
表わされた入力パターンの属するカテゴリを決定（認識
）するためのパターン認識装置と、そのパターン認識装
置で用いる各カテゴリの標準パターンを自動学習によっ
て作成するためのａ準パターン作成装置の改良に関する
． （従来の技術） 従来から状態モデルの連鎖で表わされる標準パターンモ
デルを用いて、特徴ベクトルの系列として表わされた入
力パターンを認識するパターン認識法として、隠れマル
コフモデルによる統計的パターン認識法が良く知られて
いる。隠れマルコフモデルのｍ造および学習アルゴリズ
ムの詳紺に関しては、社団法人電子情報通信学会編「確
率モデルによる音声認識《中川聖一茗》」に解説されて
いる。

隠れマルコフモデルにおいては、認識対象の各カテゴリ
の標準パターンモデルは複数の状態モデルの連鎖で表わ
され、各状態モデルは入力された特徴ベクトルを受理す
る事後確率分布を有し、各状態モデル間は状ｉ遷移確率
で結ばれている，入力パターンと各カテゴリの類似度は
これらの事後確率分布と状態遷移確率から算出される尤
度で与えられる。さらに隠れマルコフモデルでは学習用
のデータから各状態モデルの事後確率分布と状態遷移確
率を自動的に作成する学習アルゴリズムの存在が知られ
ている． （発明が解決しようとする課題） 隠れマルコフモデルは扱うパターンの特徴ベクトル系列
かマルコフ性を有することが前提になっているために、
状態モデルの事後確率分布を近接した状態モデルに依存
した形式に拡張することが困難であり、複雑なパターン
系列を扱う際の記述能力に限界があり、満足なモデルで
はなかった。

また状態モデル間の状態遷移に基づいて認識・学習を行
なうので、処理の並列性が低く、将来の並列ハードウェ
アによる高速化は困難であった。

このように、従来のパターン認識技術には、記述能力お
よび処理の並列性に関し解決すべき課題があった。

本発明の目的は、各状態モデルの処理を近接する状態モ
デルに依存した形式に拡張することが容易で、マルコフ
性を有しないようなパターン系列もモデル化（記述）す
る能力を有し、かつ並列性の高いパターン認識装置と、
そのモデルの全パラメータを学習によって自動的に決定
することを可能にする標準パターン作成装置を提供する
ことにある。

（課題を解決するための手段） 本発明のパターン認識装置は、特徴ベクトルの系列とし
て表わされた入力パターンの属するカテゴリを認識する
に際して、認識対象カテゴリ毎に複数の状態モデルから
構成される標準パターンを格納する標準パターン格納部
と、入力パターンの各特徴ベクトルと各カテゴリの各状
態モデルとの組み合せで指定される展開状態モデルの各
々に対して、各展開状態モデルの出力値の初期値を設定
する出力値初期設定部と、前記特徴ベクトルと前記状態
モデルとの類似度を算出する状態類似度算出部と、全展
開状態モデルの中から出力値を更新する任意の展開状態
モデルを１つ選出する選出部と、前記選出部で選出され
た展開状態モデルに対して、前記類似度と該展開状態モ
デルと同一カテゴリに属する該展開状態モデル以外の展
開状態モデルの出力値から、該展開状態モデルの出力値
を再決定し更新する出力値更新部と、全展開状態モデル
の出力値から各カテゴリの標準パターンに対する入力パ
ターンの類似度を算出するカテゴリ類似度算出部と、あ
らかじめ定められた出力値更新終了条件を満足していな
ければ、選出部へ制御を戻し、該条件を満足していれば
次の認識結果判定部へ制御を進める出力値更新制御部と
、この出力値更新制御部で前記条件力９角足されている
と判断されたとき、前記カテゴリ類似度算出部の出力で
ある前記入力パターンと各カデゴリの標準パターンとの
類似度を用いて、入力パターンの属するカテゴリを判定
する認識結果判定部から構成されることを特徴とする。

各カテゴリの標準パターンを作成する標準パターン作成
装置は、カテゴリの標準パターン作成用として、その属
するカテゴリが既知である学習用入力パターンを格納す
る学習用入力パターン格納部と、各カテゴリの標準パタ
ーンを格納する標準パターン格納部と、各カテゴリの標
準パターンの初期値を前記標準パターン格納部に設定・
格納する標準パターン初期値設定部と、前記学習用入力
パターンの各特徴ベクトルと各カテゴリの各状態モデル
との組み合せで指定される展開状態モデルの各々に対し
て、各展開状態モデルの出力値の初期値を設定する出力
値初期設定部と、前記特徴ベクトルと前記状態モデルと
の類似度を算出する状態類似度算出部と、全展開状態モ
デルの中から出力値を更新する任意の展開状態モデルを
１つ選出する選出部と、前記選出部で選出された展開状
態モデルに対して、前記類似度と該展開状態モデルと同
一カテゴリに属する該展開状態モデル以外の展開状態モ
デルの出力値から、該展開状態モデルの出力値を再決定
し更新する出力値更新部と、全展開状態モデルの出力値
から各カテゴリの標準パターンに対する前記学習用入力
パターンの類似度を算出するカテゴリ類似度算出部と、
あらがしめ定められた出力値更新終了条件を満足してい
なければ、前記選出部へ制御を戻し、満足していれば次
の標準パターン修正部へ制御を進める出力値更新制御部
と、前記カテゴリ類似度算出部の出力である前記学習用
入力パターンと各カテゴリの標準パターンとの類似度を
用いて、学習用入カパターンとカテゴリの標準パターン
が同一カテゴリの場合には、類似度を増加させる方向に
、カテゴリが異なる場合には類似度が減少する方向に前
記標準パターン格納部に格納された標準パターンを修正
更新する標準パターン修正部と、あらかじめ定められた
標準パターン修正終了条件を満足していなければ前記出
力値初期設定部へ処理を戻し、満足していれば全体の処
理を終了させる標準パターン修正制御部から梢成される
ことを特徴とする．（作用） 本発明のパターン認識装置は、各認識対象カテゴの標準
パターンとして、複数の状態モデルの集まり《連′Ｍ）
で表わされた標準パターンモデルを用いており、入力パ
ターンが提示されると、各カテゴリの標準パターンモデ
ルと照合を行ない、その結果得られるカテゴリ類似度を
基にして、入力パターンの属するカテゴリを決定する。

カテゴリの標準パターンモデルを構成する各状態モデル
は多大力１出力の素子で、入力は特徴ベクトルと近接す
る他の状態モデルの出力値である。

特徴ベトクルの系列で表わされた入力パターンが提示さ
れたときに、あるカテゴリの標準パターンモデルと入力
パターン系列の照合（カテゴリ類似度の決定）を行なう
様子は次の通りである。

第３図は横軸ｉに入力パターンの特徴ベクトル系列を、
縦ｌｌｌｌＪにカテゴリの標準パターンの状態モデルを
とった２次元ｉ−Ｊ平面を表わしている．この平面の各
格子点（ｔ，ｊ）上に状態モデルを配置する。ｊが等し
い格子点上には同じ状態モデルが置かれる。このように
２次元的に展開された状態モデルを展開状態モデルと呼
ぶ。（ｔ，ｊ）で指定される各展開状態モデルは、対応
するｉ軸上の特徴ベクトルとｊ軸上の状態モデルとの間
の類似度（ここで類似度とは、状態モデルが特徴ベクト
ルを受理する程度を表わす量である）を算出し、その類
似度と近接する池の展開状態モデルの出力値を用いて、
自分の出方値を更新（変史）する。あらかじめ定められ
た終了条件が満足されるまで、各展開状態モデルは独自
のタイミングで、その出力値を更新していく。

カテゴリ類似度は上舵の２次元平面上の全格子点の展開
状態モデルの出力値の組に対して定義されている。パタ
ーン認識装置は出力値更新の終了条件が満足された時点
でのカテゴリ類似度を用いて、入力パターンの属するカ
テゴリを決定（認識）する。

ここで本発明のパターン認識装置の要件は、入力パター
ンと状態モデルの集合で表わされた標準パターンモデル
の照合過程を、２次元平面に展開された展開状態モデル
の集合の緩和過程で表わし、その２次元平面上での全展
開状態モデルの出力値でカテゴリ類似度を与え、緩和の
結果得られるカテゴリ類似度を認識に用いた点である。

以下に本発明のパターン認識装置の動作について詳細に
説明する。入力パターンの特徴ベクトル系列（長さＩ）
を （１）　　ａ（１），＝−，ａ（ｉ），−，ａ（Ｉ）と
し、認識対象カテゴリ数をＣ、カテゴリＣ（ｃ＝１〜Ｃ
）の標準パターンの状態数をＪｃとする。このときカテ
ゴリＣの展開状態モデルは第３図に示したようにｉ　（
ｉ＝１〜Ｉ）とｊ＝（１〜Ｊｃ）で表わされるｉ−Ｊ平
面の格子点に対応し、座標（ｃ，ｉ，Ｊ）で特定するこ
とができる．展開状態モデル（Ｃ＋ｌ＋Ｊ）における入
力特徴ベクトルａ（ｉ）とカテゴリＣの状態ｊとの類似
度をｄ　（ｃ，ｔ，ｊ）とし、同一カテゴリＣで（ｃ，
ｔ，ｊ）以外の展開状態モデル（ｃ，ｍ，ｎ）の出力値
の集合を（ｙ　（ｃ，ｍ，ｎ））で表わしたときに、展
開状態モデル（ｃ．ｉ，Ｊ）の出力値ｙ（ｃ，ｔ，Ｊ）
は、次式で与えられる。

（２）　　ｄ（ｃ，ｉ，ｊ） Ｄ［ａ（ｉ）．（ｂ（ｃ，Ｊ）１１． （３）　　ｙ　（ｃ，ｉ，Ｊ） ＝Ｆ　［ｄ　（ｃ，ｔ，ｊ），（ｙ　（ｃ，ｍ，ｎ））
，（ｗ（ｃ，Ｊ−）！］． ここでＤ［］，Ｆ［コはすべての（ｃ，ｔ，Ｊ）に共通
な関数で、ｔｂ　（ｃ，ｊ））と（ｗ（ｃ，ｊ）｝は各
々カテゴリＣの状ＢｊにおけるＤ［］とＦ［］を特徴づ
けるパラメータの集合である（関数形の具体例に関して
は後述する）。また、カテゴリ内の全展開状態モデルの
出力値から次式に従って、入力パターン系列とカテゴリ
Ｃの標準パターンモデルの間のカテゴリ類似度が計算さ
れる。

（４）　　ｅ　（Ｃ） Ｅ　　［ｄ　　（Ｃ，　　　１　　，　　Ｊ）　　，　
　（ｙ　　＜ｃ　　，　　１１ＪＨ，Ｉｗ（ｃ．Ｊ）ｌ
］． 入力パターン系列が与えられたときの全体の処理の流れ
は次のようになる． ■各展開状態モデルの出力初期値ｙ（ｃ，ｉ，ｊ）を適
当な値（例えば乱数など）に設定する。

■式《２）に従って類似度ｄ（ｃ，ｉ，ｊ）を算出する
。

■全展開状態モデルの集合（　（ｃ，ｉ，ｊ＞）の中か
ら適当に（例えば乱数などにより）なた一つの展開状態
モデル（ｃ，ｉ，ｊ）を選び出す。

■選ばれた展開状態モデル（ｃ，ｔ，Ｊ）の出力値ｙ（
ｃ，ｉ，ｊ）を式（３）に従って再計算（更新）する， ■入力パターン系列とカテゴリＣの標準パターンとのカ
テゴリ類似度ｅ（ｃ）を式（４）に従って計算する． ■処理■〜■をあらかじめ定められた出力値更新終了条
件が満足されたと判断されるまで繰り返し実行する． ■全認識対象カテゴリの中でカテゴリ類似度が最大にな
るカテゴリを認識結果として出力する．次に．本発明の
標準パターン作成装置の動作について説明する。標準パ
ターン作成の基本的な戦略は、学習用の入力パターンを
用いて、入力パターンの属するカテゴリと標準パターン
のカテゴリが同じ場合には大きなカテゴリ類似度を与え
、異なる場合は小さなカテゴリ類似度を与えるような標
準パターンを自動作成することにある．そこで、カテゴ
リが既知の学習用入力パターンを上記のパターン認識装
置に入力して得られたカテゴリ類似度ｅ（１）・・・ｅ
　（Ｃ）を、入力パターンの属するカテゴリと標準パタ
ーンのカテゴリが同じ場合には増加させるように、異な
る場合は減少させるように、標準パターンの状態モデル
を特徴づけるパラメータｆｗ（ｃ．ｊ））を修正する。

即ち、入力パターンの属するカテゴリと標準パターンの
カテゴリが同じ場合にはｔｗ（ｃ．ｊ））を次式のよう
に修正する， （５）　　ｗ（ｃ．ｊ） →ｗ（ｃ，Ｊ）＋Δ（ｃ．Ｊ）， 《６》　Δ（ｃ，Ｊ）＝εθＥ／θｗ（ｃ，ｊ）．ここ
でεは充分小さい正の定数で、Ｅはカテゴリ類似度を与
える関数（式（４）参照）である。また、カテゴリが異
なるときは式（′７）の代わりに次式を用いる． （７》　Δ（ｃ，ｊ） ＝−εθＥ／θｗ（ｃ，ｊ）− このような修正を行なったときのカテゴリ類似度の変化
は、εが充分小さいとすれば次式で与えられる． （８）　　Ｅ［ｗ（ｃ，ｊ）＋Δ（ｃ．Ｊ）１〜Ｅ［ｗ
（ｃ，Ｊ）＋Δ（ｃ＋ｊ）θＥ／ｗ（ｃ，Ｊ） よって修正量に式（７）を用いた場合（同一カテゴリ）
は （９）　　　Ｅ［ｗ（ｃ，ｊ）　　＋Δ　（ｃ，ｊ）］
≧Ｅ［ｗ（ｃ，ｊ）］ となり、カテゴリ類似度は増加し、式（７）を用いた場
合（異なるカテゴリ）には （１０）　　Ｅ　［ｗ（ｃ，ｊ）十Δ（ｃ．ｊ）］≦Ｅ
［ｗ（ｃ，Ｊ）］ となり、カテゴリ類似度は減少する。

結局、各カテゴリの標準パターンのパラメータｆｗ（ｃ
，ｊ）ｌの初期値を〈乱数などを用いて）適当な値に設
定して、上述のパラメータ逐次修正を繰り遅し行なえば
、学習用入力パターンを適切に分類・識別できるような
カテゴリ類似度を与える標準パターンのパラメータが得
られる。

本発明のパターン認識装置およびパターン作成装置の基
本的な動作は以上の通りであるが、つぎに展開状態モデ
ル出力値更新間数Ｆ［］およびカテゴリ類似度Ｅ［］の
実際上特に有効と考えられる具体形を与える。

カテゴリ類似度関数Ｂ［］はｙ（ｃ，ｔ，Ｊ）の２次元
形式とする。

（１１）　　　ｅ　　（ｃ）＝１／２Σｙ　　（ｃ，１
１　　Ｊ　）ｗ（ｃ，　　ｉ，ｊ，ｍ，ｎ）ｙ（ｃ，ｍ
，ｎ）一Σθ　（ｃ，ｊ）ｄ　　（ｃ，　　ｔ，ｊ）ｙ
（ｃ，　　ｔ．　　ｊ） ここで、ｗ（ｃ，ｔ，ｊ，ｍ，ｎ）とθ（ｃ．ｊ）はカ
テゴリの標準パターンを特徴づけるパラメータで、上式
の和はｉ，ｊ，ｍ，ｎに関する和でｉ≠ｍｊ≠ｎとする
．またｗ（ｃ，ｉ，ｊ，ｍ，ｎ）は第４図に示すように
２つの展開状態モデル（Ｃ＋ｌ＋Ｊ）と（ｃ，ｍ，ｎ）
のあいだの関係を表わす係数で、（ｔ，Ｊ）と（ｍ，ｎ
）の入れ換えに対して対称で、さらにｉとｍに対する依
存性をその差ｉ−ｍにだけ依存するように関数形を限定
する。

（１２）　　ｗ（ｃ，ｉ，ｊ，ｍ．ｎ）＝ｗ（ｃ，ｉ，
ｎｌ　ｉ−ｍｌ）． ｗ（ｃ，　　　ｊ，　　　ｎｌ　　　ｉ−ｍｌ　　）＝
ｗ　（ｃ，　ｎ．　ｊ　ｌ　ｉ−ｍｌ　）　．このよう
なカテゴリ類似度を用いて、さらに展開状態モデルの出
力値を更新する際に、部分和ｘ（ｃ，　　ｉ，　　ｊ） （１３）　　　ｘ（ｃ，　　ｉ，　　ｊ　）＝Σｗ（ｃ
，ｉ，ｊ，ｍ，ｎ）ｙ　（ｃ，ｍ，ｎ）十θ（ｃ，ｊ）
ｄ（ｃ，　　ｔ，　　ｊ） が正またはゼロのとき出力値ｙ（ｃ，ｔ，ｊ）を１．０
に、負のとき０．０にするような、更新規則（開数Ｆ［
コ）を用いる。

（１４）　　　　ｙ（ｃ，　　　ｆ，　　ｊ）１．Ｑ　
　ｗｈ．ｅｎ ｘ（ｃ　　ｉ．ｊ）≧Ｏ Ｑ．Ｑｗｈｅｎ ｘ（ｃ，ｉ，Ｊ）＜Ｏ． ところで、上記の式（１３），（１４）で表わされるよ
うな動作を実現する装置として、ニューラルネットワー
クのモデルの一つであるところのホップフィールド・ネ
ットワーク（ｌｌｏｐｆｉｅｌｄｎｃ！ｔＷＯｒｋ）が
知られている．（ホップフィールド・ネッワークに関し
てはジエイ・ジエイ・ホップフィールド（　Ｊ．Ｊ．ｔ
｛ｏｐｆｉｅｌｄ）が論文誌［プロシーディングス・オ
ブ・ナチュラル・アカデミー・オブ・サイエンス・ユー
エスエ−　（　Ｐｒｏｃ．Ｎａｔ１．八ｃａｄＳｃ．　
ＵＳＡＳ　」の１９８２年第７９巻２５５４頁から２５
５８頁に発表した論文「ニュートラル・ネットワークス
・アンド・フィジカル・システムス・ウィズ・エマージ
エント・コレクティブ・コンビュテーショナル・アビリ
ティース（Ｎｅｕｒａｌ　ｎｅｔｖ＋ｏｒｋｓ　ａｎｄ
　ｐｈｙｓｉｃａｌ　ｓｙｓｔｅｎｓ　ｗｉｔｈｅｌｌ
ｏｒ（ｌｅｎｔ　ＣＯＩＩｅＣｔｉＶｅ　ＣＯＩＩｌｐ
ｌＪｔａｔｉＯｎａｌ　ａｂｉｌｉｔｉｅｓ　Ｊに詳し
い。）即ち、本発明の展開状態モデルをニューロンモデ
ルで表わせば、本発明の展開状態モデルと入力パターン
系列の照合を行なう過程は、ホップフィールド・ネット
ワークで実現することができる。ホップフィールドによ
って示されているように、出力値更新規則式（１３），
（１４）に従って装置を動作させると展開状態モデルの
出力値の集合（ｙ　（ｃ，ｔ．ｊ））は、自動的に式（
１１）で与え．られるカテゴリ類似度ｅ（ｃ）の極値を
与える（ｙ（ｃ，ｔ．ｊ）ｌに収束する．また、式《１
４》の規則の代わりに確率Ｐ（ｃｉ，Ｊ） （１５）　　　Ｐ（ｃ，ｉ，Ｊ）＝１／（１＋ｅｘｐ（
−ｘ　　（ｃ，　　ｉ　，　　Ｊ　）／Ｔ）　　）（Ｔ
はパラメータ） を用いて、確率的に展開状態モデルの出力値ｙ（ｃ．ｔ
，ｊ）を更新すると、本発明のパターン認識装置のパタ
ーン照合過程の動作はボルツマンマシンによって実現す
ることが可能である，即ち、確率Ｐ″Ｃ″ｙ（ｃ，ｔ，
Ｊ）を１．０にして、確率１−Ｐで０．０にする。この
確率的動作規則にしたがって装置を動作させると展開状
態モデルの出力値の集合（ｙ　（ｃ，ｔ，ｊ）　｝は、
自動的に式（１１）で与えられるカテゴリ類似度ｅ（ｃ
）の最大値を与える（ｙ　（ｃ，ｉ，ｊ）ｌに収束する
ことが示されている（この証明も含めてボルツマンマシ
ンに関してはエス・ギーマンとディ・ギーマンが論文誌
［アイトリプルイー・トランザクションズ・オン・パタ
ーン・アナリシス・アンド・マシン・インテリジェンス
（　ＩＥＥＥＴｒａｎＳａＣｔｉＯｎＳ　Ｏｎ　ｐａｔ
ｔｅｒｎ　ａｎａｌｙｓｉｓ　ａｎｄｌａｃｈｉｎｅ　
ｉｎｔｅｌｌｉｇｅｎｃｅ）　Ｊの１９８４年第６巻７
２１頁から７４１頁に発表した論文「ストキャスティッ
ク・リラクセーション、ギブス・デイストリビューショ
ン、アンド・ザ・ベイジアン・リストレーション・オブ
・イメージズ（　Ｓｔｏｃｈａｓｔ　ｉｃＲｅｌａｘａ
ｔｉｏｎ，Ｇｉｂｂｓ　Ｄｉｓｔｒｉｂｕｔｉｏｎｓ，
ａｎｃｌ　ｔｈｅＢａｙｅｓｉａｎ　Ｒｅｓｔｏｒａｔ
ｉｏｎ　ｏｆ　Ｉｎａｑｅｓ）　Ｊに詳しい）。

本発明の目的はく発明が解決しようとする課題）の項に
も述べたように、各状態モデルの処理を近接する状態モ
デルに依存した形式に拡張することか容易で、マルコフ
性を有しないようなパターン系列をモデル化（記述）す
る能力を有し、かつ並列性の高いパターン認識装置と、
そのモデルの全パラメータを学習によって自動的に決定
することを可能にする漂準パターン作成装置を提供する
ことにあった。式（３）および（１３），（１４）より
明らかなように本発明の状態モデルの処理は、明白に近
接する状態モデルに依存しているので、マルコフ性を有
しないような複雑なパターン系列をモデル化することも
可能である，また、パターン照合過程が２次元平面に展
開された展開状態モデルの緩和過程で実現されているの
で、処理は各展開状態モデルのレベルまで完全に並列的
である．さらに本発明の標準パターン作成装置によれば
、学習パターンの識別を最適に行えるような標準パター
ンを自動的に作成することができる。

（実施例） 第１図は本発明のパターン認識装置を実現したー実施゜
例を示したブロック図である．標準パターン格納部１は
、認識対象カテゴリ毎に複数の状態モデルから構成され
る標準パターン（の状態モデルを特徴づけるパラメータ
）（ｗ（ｃ，ｊ）ｌを格納している。

状態類似度算出部２は、特徴ベクトルの系列として表わ
された入力パターンが与えられると、標準パターン格納
部１に格納されたパラメータを用いて、その入力特徴ベ
クトルａ（ｉ）とカテゴリＣの状態モデルｊの間の類似
度ｄ　（ｃ，ｉ　ｌ　Ｊ　）を式（２）に従ってすべて
（ｃ＝１　〜Ｃ，ｉ＝１〜Ｉ，ｊ＝１〜Ｊｃ）計算する
。

出力値初期設定部３は、入力パターンが与えられると１
回だけですべての展開状態モデル｛ｙ（ｃ，ｉ，ｊ）ｌ
の初期値を適当な値に（乱数などを用いて）＠期設定す
る。

選出部４はすべての展開状態モデル（（ｃ，ｉ，ｊ）｝
の中から（乱数などを用いて）ただ一つの展開状態モデ
ル（ｃ＋　　ｉ＋Ｊ）を選出し、出力値更新部５に伝え
る。

出力値更新部５は選出部４によって選出された展開状態
モデル（ｃ，ｉ，ｊ）の出力値ｙ（ｃ，ｔ，ｊ）を、標
準パターン格納部に格納されたパラメータ（ｗ（ｃ，ｊ
））と、状態類似度算出部２で算出された類似度ｄ　（
ｃ，ｔ，ｊ））と、他の展開状態モデルの出力値（ｙ（
ｃ，ｔ，ｊ）１を用いて、式（３》に従って更新する。

カテゴリ類似度算出部６は、出力値更新部５によって更
新された全展開状態モデルの出力値｛ｙ（ｃ，ｔ，ｊ）
ｌと、標準パターン格納部ｌに格納された各カテゴリの
標準パターン（Ｗ（Ｃ，ｊ｝｝と、状態類似度算出部２
で算出された類似度（ｄ　（ｃ，ｉｔ　ｊ）ｌを用いて
、入力パターンと各カテゴリの標準パターンの間の類似
度｛ｅ（Ｃ）｝を算出する。

出力値更新制御部７は、あらかじめ定められた出力値更
新終了条件を満足していなければ、選出部４と出力値更
新部５とカテゴリ類似度算出部６を再起動し、該条件を
満足していれば認識結果判定部８を起動する。出力値更
新制御部７が用いる終了判定条件としては、上記の出力
値更新部５の再起動の回数があらかじめ定めておいた上
限回数を上回った場合に終了判定条件を満足したと判定
する「再起動の回数による条件Ｊや、上記のカテゴリ類
似度算出部６のｎ回目の再起動によって再計算されるカ
テゴリ類似度（ｅ　（ｃ，ｎ）ｌと、その一回前に計算
されたカテゴリ類似度（ｅ　（ｃ，ｎ−１））の間の変
化量Δ （１８）　Δ＝Σ［ｅ　（ｃ，ｎ） （ｃ，　ｎ−１）］２ （和ΣはカテゴリＣに関する和、ｃ＝１〜Ｃ）があらか
じめ定めておいた下限値δを下回った場合に終了判定条
件を満足したと判定する［カテゴリ類似度の変化量によ
る条件」や、これらの終了判定条件の組み合わせなどを
用いる． 認識結果判定部８は出力値更新制御部７によって終了条
件を満足したと判定されると起動されて、カテゴリ類似
度算出部６の出力である入力パターンと各カテゴリの標
準パターンの間の類似度１，ｅ　（ｃ）　）を用いて、
最大の類似度を与えるカテゴリを入力パターンの属する
カデゴリと判定する。

第２図は本発明の標準パターン作成装置を実現したー実
施例を示したブロック図である。

学習用入力パターン格納部９は、その属するカテゴリが
既知の入力パターンを複数格納している。

標準パターン格納部１は、認識対象カテゴリ毎に複数の
状態モデルから構成される標準パターン（の状態モデル
を特徴づけるパラメータ）（ｗ（ｃ，ｊ）｝を格納する
． 標準パターン初期値設定部１０は、各カテゴリの標準パ
ターンｔｗ（ｃ．ｊ）ｌの初期値を乱数などを用いて適
当な値に初期設定する。

状態類似度算出部２は、特徴ベクトルの系列として表わ
された学習用入力パターンの一つが学習用入力パターン
格納部９がら与えられると、標孕パターン格納部１に格
納されたパラメータ（ｗ（ｃ，ｊ））を用いて、その特
徴ベクトルａ（ｉ）とカテゴリＣの状態モデルｊの間の
類似度ｄ　（ｃ，　　ｉ　ｌ　Ｊ　）を式（２）に従っ
てすべて（Ｃ”１”’−Ｃ，ｉ　＝１〜Ｉ　，ｊ　＝１
〜Ｊｃ　）計算する。

出力値初期設定部３は、新しい学習用入力パターンが与
えられると１回だけすべての展開状態モデル（ｙ　（ｃ
，ｔ，ｊ）ｌの初期値を適当な値に（乱数などを用いて
冫初期設定する。

選出部４はすべての展開状態モデル（ｙ　（ｃ，ｉ，ｊ
））の中から（乱数などを用いて）ただ一つの展開状態
モデル（ｃ，ｉ，ｊ）を選出し、出力値更新部５に伝え
る。

出力値更新部５は選出部４によって選出された展開状態
モデル（ｃ，Ｌ，ｊ）の出力値ｙ（ｃｉ，ｊ）を、標準
パターン格納部１に格納されたパラメータ（ｗ（ｃ，ｊ
））と、状態類似度算出部２で算出された類似度（ｄ　
（ｃ，ｉ．ｊ）ｌと、他の展開状態モデルの出力値（ｙ
（ｃ，ｉ，ｊ）１を用いて、式（３）に従って更新する
。

カテゴリ類似度算出部６は、出力値更新部５によって更
新された全展開状態モデルの出力値｛ｙ（ｃ，ｉ，ｊ）
ｌと、標準パターン格納部１に格納された各カテゴリの
標準パターンｆ　ｗ　（　ｃＪ｝｝と、状態類似度算出
部２で算出された類似度（ｄ　（ｃ，ｉ，ｊ））を用い
て、入力パターンと各カテゴリの標準パターンの間の類
似度｛ｅ（Ｃ）｝を式（４）に従って算出する。

出力値更新制御部７は、あらかじめ定められた出力値更
新終了条件を満足してなければ、選出部４と出力値更新
部５とカテゴリ類似度算出部６を再起動し、満足してい
れば標準パターン修正部１１を起動する． 標準パターン修正部１１は、カテゴリ類似度算出部６の
出力である学習用入力パターンと各カテゴリの標準パタ
ーンの類似度１ｅ　（ｃ））を用いて、学習用入力パタ
ーンとカテゴリの標準パターンが同一カテゴリの場合に
は、類似度を増加させる方向に、カテゴリが異なる場合
には類似度が減少する方向に標準パターン格納部１に格
納された標準パターン（ｗ（ｃ．Ｊ）ｌを修正更新する
。

標準パターン修正制御部１２は、あらかじめ定められた
標準パターン修正終了条件を満足していなければ出力値
初期設定部３と選出部４と出力値更新部５とカテゴリ類
似度算出部６と出力値更新制御部７を再起動し、高足し
ていれば全外の処理を終了させる。

（発明の効果） 以上述べたように、本発明のパターン認識装置によれば
、隠れマルコフモデルを用いた認識装置では困難であっ
た、各状態モデルの処理を近接する状態モデルに依存し
た形式に拡張することが容易に可能で、柔軟なパターン
系列のモデル化（記述）能力を有するパターン認識装置
を提供することができる。また本発明のパターン認識装
置は隠れマルコフモデルを用いた認識装置に比べて、そ
の処理が高度に並列的であるので、将来の高速な並列プ
ロセッサの能力を有効に生かすことができると考えられ
る。

加えて本発明によれば、学習用のデータを用いて、上記
パターン認識装置の全パラメータを学習によってＩ＆適
に自動決定することを可能にする標準パターン作成装置
を提供することができる６

【図面の簡単な説明】

第１図は本発明のパターン認識装置の一実施例を示すブ
ロック図である。第２図は本発明の標準パターン作成装
置の一実施例を示すブロック図である。第３図は展開状
態モデルの配置を示す図である。第４図は標準パターン
を特徴づけるパラメータを表わす図である。 １・・・標準パターン格納部、２・・・状態類似度算出
部、３・・・出力値初期設定部、４・・・選出部、５・
・・出力値更新部、６・・・カテゴリ類似度算出部、７
・・・出力値更新制御部、８・・・認識結果判定部、９
・・・学習用入力パターン格納部、１０・・・標準パタ
ーン初期値設定部、１１・・・標準パターン修正部、１
２・・・標準パターン修正制御部。 入力ｌぐターシ歴．９つ

Claims (6)

【特許請求の範囲】
1. （１）特徴ベクトルの系列として表わされた入力パター
   ンの属するカテゴリを認識するに際して、認識対象カテ
   ゴリ毎に複数の状態モデルから構成される標準パターン
   を格納する標準パターン格納部と、入力パターンの各特
   徴ベクトルと各カテゴリの各状態モデルとの組み合せで
   指定される展開状態モデルの各々に対して、各展開状態
   モデルの出力値の初期値を設定する出力値初期設定部と
   、前記特徴ベクトルと前記状態モデルとの類似度を算出
   する状態類似度算出部と、全展開状態モデルの中から出
   力値を更新する任意の展開状態モデルを１つ選出する一
   選出部と、前記選出部で選出された展開状態モデルに対
   して、前記類似度と該展開状態モデルと同一カテゴリに
   属する該展開状態モデル以外の展開状態モデルの出力値
   から、該展開状態モデルの出力値を再決定し更新する出
   力値更新部と、全展開状態モデルの出力値から各カテゴ
   リの標準パターンに対する入力パターンの類似度を算出
   するカテゴリ類似度算出部と、あらかじめ定められた出
   力値更新終了条件を満足していなければ選出部へ制御を
   戻し、該条件を満足していれば次へ制御を進める出力値
   更新制御部と、この出力値更新制御部で前記条件が満足
   されていると判断されたとき、前記カテゴリ類似度算出
   部の出力である前記入力パターンと各カテゴリの標準パ
   ターンとの類似度を用いて、入力パターンの属するカテ
   ゴリを判定する認識結果判定部から構成されることを特
   徴とするパターン認識装置。
2. （２）前記出力値更新部が、前記状態類似度算出部の出
   力する該展開状態モデルに対する類似度と、該展開状態
   モデルと同一カテゴリに属する該展開状態モデル以外の
   展開状態モデルの出力値の荷重和と、該カテゴリの該状
   態の有する閾値との比較を行ない、あらかじめ定められ
   た閾値論理に従って、該展開状態モデルの出力値を再決
   定し更新することを特徴とする請求項１記載のパターン
   認識装置。
3. （３）前記出力値更新部が、前記状態類似度算出部の出
   力する該展開状態モデルに対する類似度と、該展開状態
   モデルと同一カテゴリに属する該展開状態モデル以外の
   展開状態モデルの出力値の荷重和と、該カテゴリの該状
   態の有する閾値との比較を行ない、あらかじめ定められ
   た確率論理に従って、該展開状態モデルの出力値を再決
   定し更新することを特徴とする請求項１記載のパターン
   認識装置。
4. （４）請求項１記載のパターン認識装置の各カテゴリの
   標準パターンを作成するに際して、カテゴリの標準パタ
   ーン作成用として、その属するカテゴリが既知である学
   習用入力パターンを格納する学習用入力パターン格納部
   と、各カテゴリの標準パターンを格納する標準パターン
   格納部と、各カテゴリの標準パターンの初期値を前記標
   準パターン格納部に設定・格納する標準パターン初期値
   設定部と、前記学習用入力パターンの各特徴ベクトルと
   各カテゴリの各状態モデルとの組み合せで指定される展
   開状態モデルの各々に対して、各展開状態モデルの出力
   値の初期値を設定する出力値初期設定部と、前記特徴ベ
   クトルと前記状態モデルとの類似度を算出する状態類似
   度算出部と、全展開状態モデルの中から出力値を更新す
   る任意の展開状態モデルを１つ選出する選出部と、前記
   選出部で選出された展開状態モデルに対して、前記類似
   度と該展開状態モデルと同一カテゴリに属する該展開状
   態モデル以外の展開状態モデルの出力値から、該展開状
   態モデルの出力値を再決定し更新する出力値更新部と、
   全展開状態モデルの出力値から各カテゴリの標準パター
   ンに対する前記学習用入力パターンの類似度を算出する
   カテゴリ類似度算出部と、あらかじめ定められた出力値
   更新終了条件を満足していなければ、前記選出部へ制御
   を戻し、満足していれば次の標準パターン修正部へ制御
   を進める出力値更新制御部と、前記カテゴリ類似度算出
   部の出力である前記学習用入力パターンと各カテゴリの
   標準パターンとの類似度を用いて、学習用入力パターン
   とカテゴリの標準パターンが同一カテゴリの場合には、
   類似度を増加させる方向に、カテゴリが異なる場合には
   類似度が減少する方向に前記標準パターン格納部に格納
   された標準パターンを修正更新する標準パターン修正部
   と、あらかじめ定められた標準パターン修正終了条件を
   満足していなければ前記出力値初期設定部へ処理を戻し
   、満足していれば全体の処理を終了させる標準パターン
   修正制御部から構成されることを特徴とする標準パター
   ン作成装置。
5. （５）出力値更新部が、前記状態類似度算出部の出力す
   る該展開状態モデルに対する類似度と、該展開状態モデ
   ルと同一カテゴリに属する該展開状態モデル以外の展開
   状態モデルの出力値の荷重和と、該カテゴリの該状態の
   有する閾値との比較を行ない、あらかじめ定められた閾
   値論理に従って、該展開状態モデルの出力値を再決定し
   更新することを特徴とする請求項４記載の標準パターン
   作成装置。
6. （６）出力値更新部が、前記状態類似度算出部の出力す
   る該展開状態モデルに対する類似度と、該展開状態モデ
   ルと同一カテゴリに属する該展開状態モデル以外の展開
   状態モデルの出力値の荷重和と、該カテゴリの該状態の
   有する閾値との比較を行ない、あらかじめ定められた確
   率論理に従って、該展開状態モデルの出力値を再決定し
   更新することを特徴とする請求項４記載の標準パターン
   作成装置。