JPH09231366A

JPH09231366A - パターン認識方法およびパターン認識装置

Info

Publication number: JPH09231366A
Application number: JP8041831A
Authority: JP
Inventors: Akitoshi Tsukamoto; 明利塚本
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 1996-02-28
Filing date: 1996-02-28
Publication date: 1997-09-05

Abstract

(57)【要約】【課題】クラスが既知の多次元サンプルパターンにつ
いて予め学習を行なっておき、入力パターンがどのクラ
スに所属するかの識別は、前記学習の結果に基づいて行
なうパターン認識方法であって、安定な認識性能を示す
方法を提供する。【解決手段】前記学習として、前記クラスごとのサン
プルパターンについて多変量解析をしてクラスごとの特
徴量を算出するという学習をする。該学習により算出し
たクラスごとの特徴量を参照して、入力パターンの、前
記各クラスに所属する度合を表す値（ポテンシャル値）
を、それぞれ算出する。該算出したポテンシャル値が最
大となったクラスに前記入力パターンは所属すると識別
する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、例えば文字認識
などに利用できるパターン認識方法およびその実施に好
適なパターン認識装置に関するものである。

【０００２】

【従来の技術】文献Ｉ（「ニューラルネットとファジイ
システム」阿部重夫、近代科学社、pp.154-156,1995
）には、多数のサンプルパターンから代表パターンを
選択する一方法（チュウの方法）が開示されている。こ
の方法ではサンプルパターン間の距離に関する正規分布
関数を用い（文献の(6.3) 式）、各サンプルパターンの
ポテンシャル値が算出される。そしてこのポテンシャル
値に基づきかつ所定手順により、１または複数の代表パ
ターンが順次選択される。ここで代表パターンが決まる
とその他のサンプルパターンのポテンシャル値が文献中
の(6.5) 式により変更される。この代表パターンは、入
力パターン（認識対象のパターン）をこれに最も近い代
表パターンが所属するクラスに分類するために利用され
る。

【０００３】また、文献II（「認識工学」鳥脇純一
郎、コロナ社、pp.154-156,1995 ）には、あるパターン
が複数のクラスのいずれに属するかを識別する一方法が
開示されている。この方法では、ある入力パターンｘが
与えられた時に、これと各クラスのサンプルパターンと
の間の距離に関する正規分布関数（文献中の(3.17),(3.
20) 式）を用い、該入力パターンｘのクラス毎の生起確
率の推定値（ポテンシャル値）が算出される（文献中の
(3.17),(3.20) 式など）。そして入力パターンｘは、最
も生起確率の推定値が高いクラスに属すると、識別され
る。

【０００４】

【発明が解決しようとする課題】しかしながら、文献Ｉ
の方法および文献IIの方法いずれの場合も、ポテンシャ
ル値は、パターン間の距離に関する正規分布関数を用い
て算出される（文献Ｉについては(6.3) 式および(6.5)
式、文献IIについては特に(3.20)式で示された窓関数参
照）。このため、文献Ｉの(6.3) 式で表される多次元正
規分布、同じく(6.5) 式で表される多次元正規分布、文
献IIの(3.17)式および(3.20)式で表される多次元正規分
布の形状はサンプルパターンの分布によらず一定であ
る。しかも、算出されるポテンシャル値は、文献Ｉの
(6.3) 式を用いる場合にあってはパラメータｒ_a ²により
大きく変化し、文献Ｉの(6.5) 式を用いる場合にあって
はパラメータｒ_b ²により大きく変化し、文献IIの(3.17)
式および(3.20)式を用いる場合にあってはパラメータσ
により大きく変化する。これらパラメータｒ_a ²、ｒ_b ²、
σそれぞれは例えば経験的に決められるものである。よ
って、パラメータの決め方いかんで、文献Ｉの方法にあ
っては選ばれる代表パターンが変わるという問題点が生
じ、文献IIの方法にあってはパターンの識別性能が大き
く変化するという問題点が生じる（詳細は後述の比較例
参照）。

【０００５】

【課題を解決するための手段】上記の問題点の解決を図
るためには、：正規分布関数におけるパラメータ（従
来例でいえばｒ_a ²、ｒ_b ²、σ）の最適化を図る方法、或
は、：正規分布関数におけるパラメータ（従来例でい
えばｒ_a ²、ｒ_b ²、σ）として適当な値を与えてもそれに
起因する認識性能低下が生じにくくする方法が考えられ
る。この出願に係る発明者は後者の方法を探究すること
により、上記問題点の改善を図った。

【０００６】そこで、この出願のパターン認識方法によ
れば、所属クラスが明らかな多次元サンプルパターンに
ついて予め学習を行なっておき、入力パターンがいずれ
のクラスに所属するかの識別は、前記学習の結果に基づ
いて行なう、パターン認識方法において、以下の処理を
含むことを特徴とする。(1).前記学習として、前記クラ
スごとのサンプルパターンについて多変量解析をしてク
ラスごとの特徴量を算出するという学習をする処理。
(2).該算出したクラスごとの特徴量を参照して、入力パ
ターンの、前記各クラスに所属する度合を表す値（ポテ
ンシャル値）を、それぞれ算出するという処理。(3).該
算出したポテンシャル値が最大となったクラスに前記入
力パターンは所属すると識別する処理。

【０００７】このパターン認識方法の発明によれば、ク
ラスごとのサンプルパターンについて多変量解析をしク
ラスごとの特徴量を算出するので、サンプルパターンが
有する要素のうち変動の大きい要素をクラスごとの特徴
量として抽出できる。さらにこのパターン認識方法の発
明によれば、上記特徴量を参照して入力パターンのポテ
ンシャル値を算出するので、上記変動の大きい要素のポ
テンシャル値算出への影響度を低下させることができ
る。これらのことから、また後述の実施の形態における
実験結果からも明らかなように、正規分布関数における
パラメータ（従来例でいえばｒ_a ²、ｒ_b ²、σ）として適
当な値を与えてもそれによる認識結果への影響が従来に
比べ少ないパターン認識方法が実現される。

【０００８】またこの出願のパターン認識装置によれ
ば、所属クラスが明らかな多次元サンプルパターンにつ
いて予め学習を行なっておき、入力パターンがいずれの
クラスに所属するかの識別は、前記学習の結果に基づい
て行なう、パターン認識装置において、前記学習を行な
う手段としての、前記クラスごとのサンプルパターンに
ついて多変量解析をしてクラスごとの特徴量を算出する
認識パラメータ算出手段と、該算出した前記クラスごと
の特徴量を参照して、入力パターンの、前記各クラスに
所属する度合を表す値（ポテンシャル値）を、それぞれ
算出するポテンシャル値算出手段と、該算出したポテン
シャル値が最大となったクラスに前記入力パターンは所
属すると識別する識別結果出力手段とを具えたことを特
徴とする。

【０００９】このパターン認識装置の発明によれば、上
述のパターン認識方法の発明を容易に実施出来る。

【００１０】

【発明の実施の形態】以下、図面を参照してこの出願に
係るパターン認識方法およびパターン認識装置の実施の
形態について併せて説明する。しかしながら説明に用い
る各図はこの発明を理解出来る程度に概略的に示してあ
る。また、各図において同様な構成成分については同一
の符号を付して示しその重複する説明を省略する。

【００１１】１．第１の実施の形態１ー１．発明の構成の説明図１はパターン認識方法およびパターン認識装置の第１
の実施の形態の説明図であり、特に第１の実施の形態に
係るパターン認識装置の全体構成を示した図である。

【００１２】この図１において、１１はパターン入力装
置、１３は切換部、１５は認識パラメータ算出装置、１
７は認識パラメータ記憶装置、１９はポテンシャル値算
出装置、２１は識別結果（クラス情報）出力装置をそれ
ぞれ示す。

【００１３】パターン入力装置１１は、本発明のパター
ン認識装置に、処理の対象となる多次元の情報を入力す
るものである。多次元の情報とは、サンプルパターンや
入力パターン（認識対象のパターン）のことであり、具
体的には例えば画像や音声などのパターン情報や、適当
な特徴抽出処理により得られたいくつかの特徴量の組み
合わせなどが挙げられる。後に説明する「あやめデー
タ」による試行実験の例で考えると、がく片の幅、
がく片の長さ、花弁の幅、花弁の長さという４次元
の次元を持つあやめデータそれぞれは、ここでいう多次
元の情報に当たる。なお、パターン入力装置１１の構成
は多次元の情報の形態に応じた任意好適なもの、例えば
画像入力装置、音声入力装置、キーボード、ハードディ
スク等とでき、特に限定されない。

【００１４】切換部１３は、パターン入力装置１１と後
段の装置１５または１９との接続関係を切り換えるもの
である。具体的には、パターン入力装置１１から入力さ
れた多次元の情報を本発明のパターン認識装置の学習
（詳細は後述する）のため用いる場合は、切換部１３
は、パターン入力装置１１と認識パラメータ算出装置１
５との間が有効となるように接続関係を切り換える。ま
た入力された多次元の情報をパターン認識のため用いる
場合は、切換部１３は、パターン入力装置１１とポテン
シャル値算出装置１９との間が有効となるように接続関
係を切り換える。

【００１５】認識パラメータ算出装置１５は、所属クラ
スが明らかな多次元サンプルパターンについて多変量解
析をしてクラスごとの特徴量を算出するという学習を行
なうものである。後に説明する「あやめデータ」による
認識実験の例で考えると、所属クラスとは、３種類のあ
やめにおけるその種類Ａ，Ｂ，Ｃのことであり、サンプ
ルパターンとは、５０個ずつで構成されるとした３種類
のあやめの各群からそれぞれ選んだ２５個ずつのあやめ
のことである。なお「あやめデータ」の場合のクラスご
との特徴量については後述する。ただしクラスごとの特
徴量は、認識対象のパターン（入力パターン）をクラス
に分類する際の認識パラメータと考えることが出来るか
ら、特徴量を算出する装置についてここでは認識パラメ
ータ算出装置と称している。なお、入力パターンとは、
後に説明する「あやめデータ」による認識実験の例で考
えると、５０個ずつで構成されるとした３種類のあやめ
の各群それぞれにおける残りの２５個ずつのあやめ（サ
ンプルパターンとしなかったあやめ）のことである。

【００１６】ここでこの実施の形態では、認識パラメー
タ算出装置１５は、図２に示したように、サンプルパタ
ーン・所属クラス格納部１５ａ、主成分分析部１５ｂ、
主成分ベクトル格納部１５ｃ、投影パターン作成部１５
ｄおよび分布パラメータ算出部１５ｅを具えた構成とし
てある。

【００１７】これら構成成分１５ａ〜１５ｅのうちの、
サンプルパターン・所属クラス格納部１５ａは、パター
ン入力装置１１から入力されるサンプルパターンと、そ
れが所属するクラス（所属クラス）を示す情報とを記憶
するものである。また、主成分分析部１５ｂはクラスご
とのサンプルパターンに対し主成分分析を行ない前記特
徴量の１つとしての主成分ベクトルを出力するものであ
る。主成分ベクトルを得る方法については後の動作説明
において説明する。また主成分ベクトル格納部１５ｃ
は、主成分分析部から出力される主成分ベクトルを格納
するものである。また投影パターン作成部１５ｄは、主
成分ベクトルで構成される空間にサンプルパターンをそ
れぞれ投影して、前記特徴量の１つとしての、各サンプ
ルデータについての主成分ベクトル上への投影パターン
を、それぞれ作成し出力するものである。投影パターン
の作成手順についても後の動作説明において説明する。
また分布パラメータ算出部１５ｅは、投影パターン作成
手段１５ｄにおいて求めた投影パターンの主成分ベクト
ル上での分布で表される、前記特徴量の１つとしての分
布パラメータを出力するものである。分布パラメータの
算出手順についても後の動作説明において説明する。

【００１８】さらにこの実施の形態では、上記の主成分
分析部１５ｂを、図３に示したように、ベクトルパッキ
ング部１５ｂａ、共分散行列作成部１５ｂｂ、固有値・
固有ベクトル算出部１５ｂｃおよび固有ベクトル選択部
１５ｂｄを具えた構成としてある。

【００１９】これら構成成分１５ｂａ〜１５ｂｄのうち
の、ベクトルパッキング部１５ｂａは、多変量解析（主
成分解析）をする前に動作するものであって、同一クラ
スに分類されたサンプルパターンそれぞれが値が同じ次
元を持つ場合はこれらサンプルパターンからその次元を
削除する処理をするものである。具体例でいえば、同一
クラスに分類されたＮ個（Ｎは２以上の整数）のサンプ
ルパターンそれぞれが例えばｏ，ｐ，ｑという３つの次
元を持つものである場合でＮ個のサンプルパターンそれ
ぞれの次元ｐの値がすべて同じ（例えばＭ）であった場
合は、次元ｐはないものとして削除し、各サンプルパタ
ーンは２つの次元ｏ，ｑをもつものとして扱うというこ
とである。こうすると、主成分分析部１５ｂの処理量を
軽減できるので主成分分析の効率向上が図れる。また、
共分散行列作成部１５ｂｂは、サンプルパターンから共
分散行列を作成するものである。また、固有値・固有ベ
クトル算出部１５ｂｃは、共分散行列作成部１５ｂｂで
作成された共分散行列から固有値および固有ベクトルを
算出するものである。また、固有ベクトル選択手段１５
ｂｄは、固有値・固有ベクトル算出部１５ｂｃで算出さ
れる固有ベクトルのそれぞれの寄与率を算出し、かつ、
これら固有ベクトルのうち固有値の大きい固有ベクトル
からそれらの寄与率を順に足し合わせ累積寄与率を算出
し、かつ、該累積寄与率が閾値を越えるまでの固有ベク
トルを主成分ベクトルとして出力するものである。これ
ら構成成分１５ｂａ〜１５ｂｄの詳細は後の動作説明に
おいて行なう。

【００２０】ポテンシャル値算出装置１９は、認識パラ
メータ算出装置１５により算出されたクラスごとの特徴
量を参照して、入力パターンの、前記各クラスに所属す
る度合を表す値（ポテンシャル値）を、それぞれ算出す
るものである。この実施の形態のポテンシャル値算出装
置１９は、図４に示すように、ベクトルパッキング部１
９ａ、投影パターン作成部１９ｂ、窓関数生成部１９
ｃ、窓関数値算出部１９ｄおよびポテンシャル値算出部
１９ｅを具える構成のものとしてある。ここで、ベクト
ルパッキング部１９ａは、サンプルパターン用のベクト
ルパッキング部１５ｂａに対応して入力パターン用に設
けられたものであり、サンプルパターンから次元を削除
した場合それと同じ次元を入力パターンから削除するた
めのものである。もちろん、このベクトルパッキング部
１９ａはサンプルパターン用のベクトルパッキング部１
５ｂａと兼用される構成としても良い。また投影パター
ン作成部１９ｂは、入力パターンについて主成分ベクト
ルに対する投影パターンを求めるものである。また窓関
数生成部１９ｃは、認識パラメータ算出装置１５で求め
たクラスごとの特徴量および入力パターンに基づいて窓
関数と称される関数を生成するものである。また窓関数
値算出部１９ｄは、窓関数生成部１９ｃで生成した窓関
数をクラスにおけるサンプルパターンそれぞれについて
解き、入力パターンのこれらサンプルパターンに対して
の窓関数値をそれぞれ求めるものである。すなわち、入
力パターンについての各サンプルパターンに対する窓関
数値（窓関数計算結果）を求めるものである。また、ポ
テンシャル値算出部１９ｅは、該求めた窓関数値を足し
合わせこれをサンプルパターン数で除した値を当該ポテ
ンシャル値として出力するものである。これら構成成分
１９ａ〜１９ｅの詳細は後の動作説明において行なう。

【００２１】識別結果出力装置２１は、入力パターンが
どこのクラスに属するかを、ポテンシャル値算出装置１
９で算出したクラスごとのポテンシャル値に基づいて識
別するものである。具体的には、ポテンシャル値が最大
となったクラスに前記入力パターンは所属すると識別す
るものである。

【００２２】なお、上述した切換部１３、認識パラメー
タ算出装置１５、主成分分析部１５ｂ、投影パターン作
成部１５ｄ、分布パラメータ算出部１５ｅ、ベクトルパ
ッキング部１５ｂａ、共分散行列作成部１５ｂｂ、固有
値・固有ベクトル算出部１５ｂｃ、固有ベクトル選択部
１５ｂｄ、ポテンシャル値算出装置１９、窓関数生成部
１９ａ、窓関数値算出部１９ｂ、ポテンシャル値算出部
１９ｃ、ポテンシャル値算出部１９ｅおよび識別結果出
力装置２１それぞれは、例えばコンピュータにより構成
出来る。また、認識パラメータ記憶装置１７、サンプル
パターン・所属クラス格納部１５ａおよび主成分ベクト
ル格納部１５ｃそれぞれは、例えば、コンピュータ内部
の記憶部或はコンピュータ外部の任意好適な記憶手段に
より構成出来る。

【００２３】次に、パターン認識方法の発明によりパタ
ーン認識をする手順について、図１に示したパターン認
識装置の動作と共に、説明する。

【００２４】先ず、学習動作について説明する。ただ
し、以下の説明においては、クラスはＣ個（Ｃは典型的
には複数である。ただし１の場合があっても良い。）あ
るものとし、Ｃ個のクラスのうちのあるクラスｃについ
てのパラメータについて上付きの小文字のｃを付して表
すものとする（後のＮ^c 等）。また各クラスにはそれぞ
れｎ次元のサンプルパターンがＮ^c 個それぞれ予め用意
されているものとする。もちろん、各クラスのサンプル
パターン数は同じ場合も異なる場合もあって良い。ま
た、以下においては、クラスｃに属するＮ^c 個のサンプ
ルパターンそれぞれを、ｎ次元ベクトルｘ^c _i（１≦ｉ≦
Ｎ^c ）と称したり、単にサンプルパターンと称したりす
る。

【００２５】Ｎ^c 個のｎ次元ベクトルｘ^c _iは先ずベクト
ルパッキング部１５ｂａに入力される。そして、ここに
おいてＮ^c 個のｎ次元ベクトルｘ^c _iはそれぞれが値が同
じ次元を持つ場合は、Ｎ^c 個のｎ次元ベクトルｘ^c _i（す
なわち各サンプルパターン）からその次元を削除する処
理がなされる。この処理の流れ図を図５に示した。ただ
し、図５中ではｉはｎ次元ベクトルｘ^c _iの個数Ｎ^c に関
する記号ではなく、次元１〜ｎに関する記号となってい
ることを付記する。さらに、図５を用いて説明する処理
ではｎ次元ベクトルｘ^c _iの個数Ｎ^c に関する記号として
ｋを用いていることを付記する。このベクトルパッキン
グ部１５ｂａでの処理手順は大きく分けてフラグ作成処
理とパッキング処理とに分けられる。なおここではｎ次
元に対応する意味でｎ個のチェック用フラグ（以下、次
元フラグという）ｆｌａｇ（ｉ）を用いる例で考える。
まず、これら次元フラグｆｌａｇ（ｉ）の値をそれぞれ
１に初期化する（図５のステップＳ１）。次に、Ｎ^c 個
のｎ次元ベクトルｘ^c _iの例えば次元１の値をチェックす
るためｉ＝１の次元フラグｆｌａｇ（１）に着目する
（図５のステップＳ２）。そして、クラスｃのＮ^c 個の
ｎ次元ベクトルｘ^c _iの次元１の値同士を順次に等しいか
否かすなわちｘ^c _k(i) ≠ｘ^c _k-1(i) についてチェックす
る（図５のステップＳ３〜Ｓ６）。このチェックの過程
において１つでも次元１の値が等しくないｎ次元ベクト
ルｘ^c _iが出現したら、すなわちｘ^c _k(i)≠ｘ^c _k-1(i) が
成立したら、この次元についての次元フラグｆｌａｇ
（ｉ）の値を０にし（図５のステップＳ７）、次の次元
すなわちｉ＋１の次元のチェックに移行する（図５のス
テップＳ８）。ｎ次元すべてのチェックが終了するまで
ステップＳ３〜Ｓ８の処理を行ない、ｎ次元すべてのチ
ェックが終了したら（図５のステップＳ９）、パッキン
グ処理に移行する。パッキング処理では次元フラグｆｌ
ａｇ（ｉ）についてその値が１か否かをチェックする
（図５のステップＳ１０）。次元フラグｆｌａｇ（ｉ）
が１でない次元は残す必要があるから、Ｎ^c 個のｎ次元
ベクトルｘ^c _i（図５ではすべてのｋと表している。）そ
れぞれについてのこの次元の値（図５ではｘ^c _k(i) と表
している。）を、新しいベクトル（図５ではｘ'^c _k(j)と
表している）にそれぞれ代入する（図５のステップＳ１
１，Ｓ１２）。一方、次元フラグｆｌａｇ（ｉ）が１で
ある次元は新しいベクトルへの代入はしない。すなわ
ち、次元フラグｆｌａｇ（ｉ）が１である次元は削除さ
れる（図５のステップＳ１１からＳ１４へのジャンプ処
理）。ここでステップＳ１２の処理がとられて新しいベ
クトルｘ^c'_k(j)へ代入がなされた場合は、次の次元用の
新しいベクトルを用意するべくｊを更新し（図５のステ
ップＳ１３）、さらに別の次元の次元フラグｆｌａｇ
（ｉ）についてその値が１か否かをチェックするべくｉ
を更新し（図５のステップＳ１４）、そして、ステップ
Ｓ１１からの処理を繰り返す。この処理を次元がｎにな
るまで繰り返す（図５のステップＳ１５）。このベクト
ルパッキング処理により、クラスｃに所属する各サンプ
ルパターンの次元数はｎからｎ^c に変化する。もちろ
ん、各次元の次元フラグｆｌａｇ（ｉ）がいずれも１で
ある場合はｎ^c ＝ｎである。ベクトルパッキング処理が
済んだＮ^c 個のｎ次元ベクトルｘ^c _iを、それ以前のベク
トルと区別するため、Ｎ^c 個のｎ^c 次元ベクトルｘ'^c _i
と表すことにする。

【００２６】次に、共分散行列作成部１５ｂｂにおいて
Ｎ^c 個のｎ^c 次元ベクトルｘ'^c _i から、すなわちベクト
ルパッキングが終了したＮ^c 個のサンプルパターンか
ら、クラスｃについての共分散行列Σ^c を作成する。作
成された行列を下記の（１）式に示す。ただし、（１）
式中のσ^c _ij （σ^c ₁₁ 、σ^c ₁₂ など）は下記の（２）式
で示されるものである。

【００２７】

【数１】

【００２８】また（２）式中の

【００２９】

【外１】

【００３０】はベクトルｘ'^c _k （１≦ｋ≦Ｎ^c ）の第ｉ
成分の平均値である。また（２）式中の

【００３１】

【外２】

【００３２】はベクトルｘ'^c _k （１≦ｋ≦Ｎ^c ）の第ｊ
成分の平均値である。

【００３３】次に、固有値・固有ベクトル算出部１５ｂ
ｃにおいて、共分散行列Σ^c に関する固有値および固有
ベクトルの算出を行なう。共分散行列は対角行列であ
る。対角行列の固有値、固有ベクトルは、Jacobi法や、
Householder 法とＱＬ法とによる方法など様々な方法で
算出するができる。そしてこれら算出方法は例えば文献
III （「ニューメリカルレシピ・イン・シー（日本語
版）」、丹慶勝市他訳、技術評論社、平成５年６月
２５日の第１１章）に詳しいので、共分散行列Σ^cに関
する固有値および固有ベクトルの算出手順の説明はここ
では省略する。共分散行列より得られたｎ^c 個の固有値
を以下λ^c _i、それに対応する固有ベクトルを以下ｖ^c _iと
それぞれ表す（１≦ｉ≦ｎ^c ）。ただし、固有ベクトル
は長さが１に規格化され、かつ、固有値の大きい順に並
べられているものとする。すなわち、λ^c _i≧λ^c _i+1、｜
｜ｖ^c _i｜｜＝１となっているものとする。

【００３４】次に、固有ベクトル選択部１５ｂｄにおい
て、主成分ベクトル格納部１５ｃに格納すべき固有ベク
トルの選択を行なう。すなわち、得られた固有ベクトル
それぞれの寄与率を計算し、これら寄与率を順に足し合
わせた累積寄与率が閾値Ｔを越えるまでのベクトルを選
択する。このように選択した固有ベクトル（すなわち主
成分ベクトル）を、主成分ベクトル格納部１５ｃに格納
する。なお、固有値は対応する固有ベクトルの方向にサ
ンプルパターンの分布の変動（分散）がどの程度あるか
を示す尺度であり、寄与率は分布の全変動（分散の和）
に対するその方向への変動（分散）の比で定義される。
すなわち、サンプルパターンの分布状況を表現するの
に、その固有ベクトルがどの程度寄与するかを示す尺度
がここでいう寄与率になる。固有ベクトルｖ^c _iの寄与率
をｐ（ｉ，ｃ）と表すとした場合、これを以下の（３）
式で定義する。なお、既に説明したがここでｃはクラス
を示し、クラスがＣ個であるなら１≦ｃ≦Ｃである。ま
た、固有ベクトルｖ^c ₁からｖ^c _iまでの累積寄与率をａｐ
（ｉ，ｃ）と表すとした場合、これを以下の（４）式で
定義する。

【００３５】

【数２】

【００３６】ここで述べた固有ベクトル選択部１５ｂｄ
での処理手順の一例を図６に示した。この手順では先
ず、固有値の和が計算される（図６のステップＳ１）。
次に累積寄与率が算出されると共にその都度累積寄与率
が閾値Ｔと比較される（図６のステップＳ３，Ｓ４）。
累積寄与率が閾値Ｔに達しない場合はその累積寄与率計
算をしている固有ベクトルｖ^c _iを選択ベクトル（主成分
ベクトル）に追加する（図６のステップＳ５）。ｉが次
元数ｎ^c になるまで上記処理を行なう（図６のステップ
Ｓ６）。なお、以下の説明では、選択されたベクトル
（主成分ベクトル）をｖ^c _i（１≦ｉ≦ｎ'^c）と表すこと
にする。もちろん、ｎ'^c＝ｎ^c となる場合もあり得る。

【００３７】次に、投影パターン作成部１５ｄは、主成
分ベクトル格納部１５ｃに格納されたｎ'^c個の主成分ベ
クトルを用い、各ｎ次元ベクトルｘ^c _i（すなわち各サン
プルパターン）をこの主成分ベクトルで構成されるｎ'^c
次元の部分空間内の１点（ｎ'^c次元ベクトル）に投影す
る処理を行なう。すなわち、ｎ次元ベクトルｘ^c _iが対応
づけられる点をｙ^c _iとすると、その第ｊ成分ｙ^c _i(j) の
値が下記（５）式で表される投影パターン（投影ベクト
ル）を求める。

【００３８】ｙ^c _i(j) ＝ｘ'^c _i ・ｖ^c _j ・・・（５）これはパッキングされたベクトルｘ'^c _i の主成分ベクト
ルｖ^c _j上への射影を求めることに等しい。

【００３９】分布パラメータ算出部１５ｅは、投影パタ
ーン作成部１５ｄで得られたｎ'^c次元ベクトルｙ^c _i（１
≦ｉ≦Ｎ^c ）から各次元の標準偏差σ^c _i（１≦ｉ≦
ｎ'^c）を測定する。この標準偏差σ^c _iは下記（６）式に
より求めることができる。

【００４０】

【数３】

【００４１】ただし、（６）式中

【００４２】

【外３】

【００４３】は投影ベクトルｙ^c の第ｉ成分の平均値で
ある。

【００４４】次に、上記のように得られた各次元の標準
偏差σ^c _iに対して相乗平均による規格化を行ない、分布
パラメータσ'^c _i を求める。これは下記の（７）で与え
られる。この分布パラメータσ'^c _i は、サンプルパター
ンの値の変動が各主成分ベクトル方向にどの程度あるか
を示す指標となる。

【００４５】

【数４】

【００４６】得られた分布パターンσ'^c _i は、投影パタ
ーン作成部１５ｄで作成された投影パターンｙ^c _i、ベク
トルパッキング部１５ｂａで用いられた次元フラグ、お
よび主成分ベクトルｖ^c _iと共に、認識パラメータ記憶装
置１７に、格納される。この実施の形態では、分布パタ
ーンσ'^c _i 、投影パターンｙ^c _i、次元フラグおよび主成
分ベクトルｖ^c _iそれぞれが、クラスｃの特徴量（認識パ
ラメータ）に相当する。ここまでの処理を各クラスごと
のサンプルパターンについてそれぞれ行なうことによ
り、クラスごとの特徴量を算出するという学習が終了す
る。

【００４７】次に、パターン認識動作について説明す
る。パターン認識動作においては先ず、認識パラメータ
記憶装置１７（図１参照）に上記のごとく格納されたク
ラスごとの特徴量を参照し、認識対象パターンである入
力パターンの、各クラスに所属する度合を表す値（ポテ
ンシャル値）を、それぞれ算出する。この処理はポテン
シャル値算出装置１９において以下の手順で行なわれ
る。その説明を図７に示した流れ図を参照して行なう。
ここで、図７はパターン認識動作の大まかな流れを示し
た図である。なお、以下の説明では識別対象パターンで
ある入力パターンをｎ次元入力ベクトルｘと称したり、
単に入力パターンと称したりする。

【００４８】ｎ次元入力ベクトルｘは、ポテンシャル値
算出装置１９のベクトルパッキング部１９ａにおいてベ
クトルパッキング処理される（図７のステップＳ１）。
すなわち、サンプルパターンについて次元の削除がなさ
れた場合は、該削除された次元と同じ次元をｎ次元入力
ベクトルから削除する処理をするのである。この処理は
図５を参照して既に説明したサンプルパターンに対する
ベクトルパッキング処理で用いた次元フラグを参照し、
該フラグの値が１である次元と同じ次元はｎ次元入力ベ
クトル（入力パターン）から削除することで行なう。こ
の処理の結果ｎ次元入力ベクトルｘはｎ^c 次元ベクトル
ｘ'^cに変換される。もちろん、ｎ^c ＝ｎとなる場合もあ
り得る。

【００４９】次に、投影パターン作成部１９ｂにおいて
部分空間への投影が行なわれる。これは、ｎ^c 次元ベク
トルｘ'^cと、認識パラメータ記憶装置１７（図１）に格
納されているクラスｃの主成分ベクトルｖ^c _iとを用い、
下記（８）式により与えられる。この結果、ｎ^c 次元ベ
クトルｘ'^cはｎ'^c次元ベクトルｙ^c に変換される（図７
のステップＳ２）。

【００５０】ｙ^c(i)＝ｘ'^c・ｖ^c _i ・・・（８）次に、入力パターンについてのクラスｃに関するポテン
シャル値が次の手順で次に、入力パターンについてのク
ラスｃに関するポテンシャル値が次の手順で算出され
る。

【００５１】先ず、窓関数生成部１９ｃ（図４参照）に
おいて、入力パターンとクラスごとの特徴量とに基づい
て窓関数なる関数を生成する。ここでは、入力パターン
の主成分ベクトルへの投影パターン（投影ベクトルとも
いう。これを以下、ｙ^c で表す）と、クラスごとの特徴
量である投影パターン（投影ベクトルともいう。これを
以下ｙ^c _jと表す。）および分布パラメータσ'^c _i と、正
値パラメータαとにより、窓関数が生成される。ここで
生成された窓関数を、下記の（９）式で示されるものと
する。ただし、ｙ^c(i)あるいはｙ^c _j(i) は、それぞれ投
影パターンｙ^cあるいはｙ^c _jの第ｉ次元の値である。

【００５２】

【数５】

【００５３】次に、窓関数値算出部１９ｄは、この窓関
数にクラスにおけるサンプルパターン（実際は投影ベク
トルｙ^c _j）それぞれを代入し、前記入力パターンのこれ
らサンプルパターンに対しての窓関数値をそれぞれ求め
る。すなわち、上記（９）式においてｙ^c _j(i) のｊを１
〜サンプルパターン数Ｎ^c とそれぞれ変えて計算をす
る。

【００５４】次に、ポテンシャル値算出部１９ｅは、該
求めた窓関数値を足し合わせこれをサンプルパターン数
で除した値を当該ポテンシャル値として出力する。すな
わち、下記の（１０）式に従い、ｎ次元入力ベクトル
（入力パターン）ｘのクラスｃに関するポテンシャル値
Ｐ^c を算出する（図７のステップＳ３）。入力パターン
の、Ｃ個のクラス関してのポテンシャル値Ｐ¹ 〜Ｐ^C を
それぞれ求める。

【００５５】

【数６】

【００５６】次に、識別結果出力装置２１は、上記求め
たポテンシャル値Ｐ¹ 〜Ｐ^C を比較してポテンシャル値
が最大となったクラスを探索する。そして、識別結果出
力装置２１は、この入力パターンｘをポテンシャル値が
最大となったクラスに所属すると認識する（図７のステ
ップＳ４）。

【００５７】１−２．実験結果の説明次に、この発明のパターン認識方法の効果を、上記文献
IIに記載のデータを対象にした以下の実験結果を通じて
説明する。ここで、文献IIに記載のデータとは、３種類
のあやめＡ，Ｂ，Ｃそれぞれ５０サンプルについて、が
く片の幅、がく片の長さ、花弁の幅および花弁の長さを
それぞれ計測した４次元データ（「あやめデータ」）で
ある。図８（Ａ）、（Ｂ）は、このデータの説明図であ
り、３種類のあやめそれぞれ５０個、合計１５０個の分
布を示した図である。そのうちの（Ａ）図は、がく片の
長さを横軸にとり、花弁の長さを縦軸にとって、各あや
めについてプロットした図である。（Ｂ）図は、がく片
の幅を横軸にとり、花弁の幅を縦軸にとって、各あやめ
についてプロットした図である。

【００５８】先ず第１の実験として、１５０個のあやめ
のデータについて、文献IIの方法（比較例の方法）と、
この発明に係る第１の実施の形態の方法とにより、ポテ
ンシャル場をそれぞれ以下のように求める。

【００５９】はじめに、図８（Ｂ）のデータ（１５０個
のデータ）を用い、かつ、下記（１１）式すなわち文献
IIに記載の式を用い、しかも、（１１）式中のパラメー
タσを４通り（０．０１，０．０５、０．１、０．５の
４通り）に設定した場合それぞれでの、ポテンシャル場
を算出する。

【００６０】

【数７】

【００６１】その結果を、図９（Ａ）〜（Ｄ）にそれぞ
れに示す。ただし、式（１１）中のパラメータは式（１
２）により定義されている。また式（１１）、式（１
２）は、文献II中の(3.17)式、(3.20)式にそれぞれ対応
する。ここで、（１２）式はパーゼンの窓関数である。
また、図９（Ａ）〜（Ｄ）において横軸はがく片の幅、
縦軸は花弁の幅、紙面に垂直な方向はポテンシャル値の
大きさをそれぞれ示す。さらに、図９（Ａ）〜（Ｄ）に
おいて、右斜め斜線を付した領域、左斜め斜線を付した
領域、網点を付した領域それぞれは別々のクラスに識別
されるデータの範囲を示し、無印の部分はサンプルパタ
ーン（あやめ）が何れのクラスにも属さないとされる場
を示す。

【００６２】図９（Ａ）〜（Ｄ）からも明らかなよう
に、比較例の方法で作成されるポテンシャル場は、各デ
ータを中心とした２次元正規分布を重畳することにより
構成されるものであることが分かる。しかも、その広が
りがパラメータσの値によって変化するものであること
が分かる。比較例の方法で作成されるポテンシャル場が
各データを中心とした２次元正規分布を重畳することに
より構成されるものであるという点は、特に、図９
（Ａ）により理解出来る。さらにこの図９（ａ）から、
各データを中心とした２次元正規分布の断面形状（紙面
に平行な断面形状）が円であることも、良く理解出来
る。

【００６３】次に、図８（Ｂ）に示したデータ（１５０
個のデータ）を用い、かつ、本発明のパターン認識方法
に係る第１の実施の形態で説明した手順により、しか
も、上記の（１０）式中のパラメータαを比較例と同様
に、０．０１，０．０５、０．１、０．５の４通りに設
定した場合それぞれでの、ポテンシャル場を算出する。
その結果を、図９と同様の表記方法により、図１０
（Ａ）〜（Ｄ）にそれぞれに示す。ただし、この発明に
係る処理においては、累積寄与率に対する閾値Ｔを１．
０と設定して、全ての固有ベクトルを主成分ベクトルと
して用いた。この発明の方法の場合、ポテンシャル値を
算出するための（１０）式中に、サンプルパターンにお
ける各主成分ベクトル方向の分布パラメータσ'^c _i が組
み込まれている。そのため、１つのサンプルパターン
（あやめ）が生成するポテンシャル場は、この分布パラ
メータσ'^c _i に比例して各軸方向に変形される。従って
該ポテンシャル場は、図１０の紙面に平行な断面形状が
楕円形状を示す正規分布となる（特に図１０（Ａ）参
照）。また、このポテンシャル場の広がりは、パラメー
タαの値によって変化している（図１０（Ａ）〜（Ｄ）
参照）。

【００６４】また第２の実験として、以下のような認識
実験を行なう。３種類のあやめＡ，Ｂ，Ｃ５０個ずつの
うち各々半分（２５個）ずつをランダムに選んでそれら
をサンプルパターンとする。残りの２５ずつを入力パタ
ーン（認識対象のパターン）とする。次に、この発明に
係る方法については、３種類のあやめ各々２５個ずつの
サンプルパターンについて、上述の実施の形態の方法に
よる学習をして特徴量を求め、そして、残りのあやめ７
５個（入力パターン）について上記の（１０）式による
ポテンシャル値の算出およびそれに基づくクラス分け
（識別）を行なう。一方、比較例として、入力パターン
である７５個のあやめについて上記の（１１）式による
ポテンシャル値の算出およびそれに基づくクラス分け
（識別）を行なう。ただし、実施の形態および比較例そ
れぞれの認識実験は、（１０）式中のαや（１２）式中
のσの値を種々に変えて、然も、それぞれの値について
２０回ずつの認識実験を行なう。そして、各認識実験に
おいてあやめ（入力パターン）が正確にクラス分けされ
た割り合いをそれぞれ算出し、さらに、パラメータ（α
やσ）が同じである認識実験での上記割り合いを平均し
た値（２０回分の平均値）を認識率とする。図１１はこ
のような認識実験の結果を示した図である。縦軸に上記
の認識率をとり、横軸にαやσをとって、認識率と正規
関数中のパラメータαやσとの関係を示した図である。
図１１中の実線で示す特性は比較例の方法によるもの、
破線で示す特性は第１の実施の形態の方法によるもので
ある。この図１１より、比較例の場合（パーゼンの関数
を用いて場合）の認識率は最高で０．９６５（σ＝０．
３８のとき）であり、一方この発明の方法の場合の認識
率は最高で０．９７５（α＝０．４０のとき）であり、
本発明の方法の方が最高値同士の比較で０．０１ポイン
ト改善できることが分かる。また、本発明の方法の方が
比較例の方法に比べ、パラメータαの変化に対する認識
率の変化が少ないことが分かる。したがって、本発明の
方法によれば、認識性能が正規分布関数中のパラメータ
の変化による影響を受けにくいことが分かる。これは、
サンプルパターンについ多変量解析して得た特徴量（各
主成分方向の分布の標準偏差によって修正したため、標
準偏差の小さい主成分方向にはパラメータαを変化させ
てもポテンシャル値があまり変化せず、識別境界の移動
が小さかったことによる。このように、発明によれば、
パラメータαの値の変動に対しても変動が小さいポテン
シャル場を生成できるので、認識率が高くかつ性能の安
定したパターン認識方法とその実施に好適なパターン認
識装置が実現されることが分かる。

【００６５】２．第２の実施の形態上述の第１の実施の形態では、サンプルパターンの各次
元の値をそのまま用いる例を説明した。これに対しこの
第２の実施の形態では、サンプルパターンの各次元が単
位の異なる特徴量から構成される場合等に対処すること
も考慮した方法について説明する。具体的には以下に説
明するような規格化または標準化のいずれかの方法をさ
らに加える方法を用いる。また、規格化または標準化を
実施するためにパターン認識装置は、規格化処理及び又
は標準化処理を実施するための前処理部を具えた構成と
する。その構成例を図１２（Ａ）および（Ｂ）に示し
た。ここで図１２（Ａ）は、第２の実施の形態における
記憶パラメータ算出装置の構成図であり、図２を用い説
明した装置に前処理部１５ｘが付加された構成となって
いる。また、図１２（Ｂ）は、第２の実施の形態におけ
るポテンシャル値算出装置の構成図であり、図４を用い
説明した装置に前処理部１９ｘが付加された構成となっ
ている。これら前処理部１５ｘ，１９ｘそれぞれは例え
ばコンピュタにより構成出来る。もちろん、記憶パラメ
ータ算出装置とポテンシャル値算出装置とで、前処理部
１５ｘ，１９ｘを兼用する場合があっても良い。

【００６６】第１の方法として、学習を行なう前に全サ
ンプルパターンの各次元の値を、同じ次元の値が０以上
１以下の範囲に含まれるように、それぞれ規格化し、然
も、ポテンシャル値を算出する前に、全入力パターンの
各次元の値をサンプルパターンについて行なった規格化
条件と同じ条件で、それぞれ規格化するという方法をと
る。これは以下の（１３）式により行なえる。ただし、
式中、ｍｉｎ（ｉ）、ｍａｘ（ｉ）はそれぞれ次元ｉに
関する全サンプルパターンの最小値、最大値である。

【００６７】

【数８】

【００６８】この規格化について、学習前に行なう規格
化の例で具体的に説明すれば、次のようである。例えば
図８（Ａ）のデータ分布図ではがく片の長さのデータ存
在範囲は４．３〜７．９なので、がく片の長さという次
元についてのｍｉｎ（ｉ）は４．３、ｍａｘ（ｉ）は
７．９である。よって各サンプルパターンについてのが
く片の長さを規格化する時には、それぞれのサンプルパ
ターンのがく片の長さの値から４．３を引きそして１／
３．６倍することにより規格化が行なえる。花弁の長さ
の場合は、図８（Ａ）よりデータ存在範囲は１．０〜
６．９であるので、各サンプルパターンについての花弁
の長さを規格化する時には、それぞれのサンプルパター
ンの花弁の長さの値から１．０を引きそして１／５．９
倍することにより規格化が行なえる。

【００６９】第２の方法として、学習を行なう前に全サ
ンプルパターンの各次元の値を、同じ次元の値について
の平均値が０で標準偏差が１になるように、それぞれ標
準化し、然も、ポテンシャル値を算出する前に、全入力
パターンの各次元の値についての平均値が０で標準偏差
が１になるように、それぞれ標準化するという方法をと
る。これは以下の（１４）式により行なえる。ただし、
式中、ａｖｅ（ｉ）、ｓｄ（ｉ）はそれぞれ次元ｉに関
する全サンプルパターンの平均値、標準偏差である。

【００７０】

【数９】

【００７１】なお、上記の学習前の規格化又は標準化
は、認識パラメータ算出装置１５に設けた前処理部１５
ｘにおいて行なえる。また、パターン認識処理に際して
のポテンシャル値算出前の規格化又は標準化処理はポテ
ンシャル算出装置１９に設けた前処理部１９ｘにより例
えば以下のように行なえる。

【００７２】認識パラメータ算出装置１５に設けた前処
理部１５ｘが規格化に用いた最少値ｍｉｎ（ｉ）や最大
値ｍａｘ（ｉ）および又は標準化に用いた平均値ａｖｅ
（ｉ）や標準偏差ｓｄ（ｉ）と、サンプルパターンに対
し規格化をしたのか標準化をしたのかを示す情報とを、
前処理部１５ｘは認識パラメータ記憶装置１７に格納す
る。ポテンシャル値算出装置１９に設けた前処理部１９
ｘは、これら情報に基づいて入力パターンに対し規格化
又は標準化を、サンプルパターンに対し行なった条件で
行なう。

【００７３】この第２の実施の形態の方法によれば、例
えば長さと重さなど単位の異なる複数の数値データから
なるパターンをクラス分類する際に、次元間の大小によ
る影響を受けないで学習や認識を行なうことができる。
これは様々な特徴量を統合して認識する際に有効であ
る。

【００７４】この第２の実施の形態についても認識実験
を行なう。すなわち、前処理として規格化処理を行なっ
たこと以外は第１の実施の形態において説明した認識実
験と同様な手順で認識実験を行なう。その結果を図１３
に図１１と同様の表記方法により示した。この図１３よ
り、比較例の場合（パーゼンの関数を用いた場合）の認
識率は最高で０．９６３（σ＝０．１６のとき）であ
り、一方この発明の方法の場合の認識率は最高で０．９
７３（α＝０．１０のとき）であり、本発明の方法の方
が最高値同士の比較で０．０１ポイント改善できること
が分かる。また、この場合も本発明の方法の方が比較例
の方法に比べ、パラメータαの変化に対する認識率の変
化が少ないことが分かる。また、この第２の実施の形態
の場合はパラメータαの値を０．１程度にすることによ
り認識率を最高にできることが分かる。

【００７５】３．第３の実施の形態上述の第１および第２の実施の形態の説明では、サンプ
ルパターンとして予め用意されたものを用いる例を説明
した。ところで、上記の式（１０）から分かるように、
入力パターンのクラスｃについてのポテンシャル値は、
クラスｃに所属する各サンプルパターンについて独立に
計算した窓関数値を足し合わせることにより行なわれ
る。このことは、パターン認識処理によりクラス分けが
終了した入力パターンは、当該クラスのサンプルパター
ンとして追加して用い、そしてその窓関数値を算出して
これをポテンシャル値の算出に用い得ることも可能なこ
とを意味する。すなわち、式（１０）中のＮ^c を（Ｎ^c
＋クラス分けが終了した入力パターン数）と置き換えて
計算をしても良いのである。そこで、この第３の実施の
形態では、クラスへの識別が済んだ入力パターンを該ク
ラスのサンプルパターンとして追加し、該追加したパタ
ーンを少なくとも入力パターンのクラスｃについてのポ
テンシャル値算出に用いる。なお、クラスへの識別が済
んだ入力パターンをそのクラスのサンプルパターンとし
て追加する場合、：学習結果（特徴量）は予め用意さ
れたサンプルパターンについての学習結果をそのまま用
いる方法、：学習動作についても、追加されたサンプ
ルパターンを含む全サンプルパターンについてし直す方
法を、設計に応じ選択すれば良い。また、後者の方法を
とる場合は、サンプルパターンを追加するごとに学習を
し直す方法、適当な間隔（サンプルパターンを複数個追
加するごと）で学習をし直す方法を、設計に応じ選択す
れば良い。なお、この第３の実施の形態の方法を実施す
る場合の装置構成図を図１４に示した。この図１４に示
した装置の場合は、識別結果出力装置２１が、クラスへ
の識別が済んだ入力パターンを、認識パラメータ記憶装
置１７にも出力する。認識パラメータ記憶装置１７は当
該入力パターンを記憶する。また、ポテンシャル値算出
装置１９は、認識パラメータ記憶装置１７に記憶されて
いる当該入力パターンをも用いてポテンシャル値を算出
する。

【００７６】この第３の実施の形態によれば、クラスへ
の識別が済んだ入力パターンをサンプルパターンに追加
し、かつ、入力パターンのポテンシャル値算出に該追加
パターンを用いる。そのためより多くのパターンをクラ
スごとのポテンシャル場の構成に用いることができる。
あるパターンｘのクラスごとの存在密度関数の推定値
（生起確率の推定値）を当該存在密度関数に近づけるた
めにはデータ数を無限に多くすることが良い点を考える
と、この第３の実施の形態におけるサンプルパターンの
追加という処理は、データ数追加に寄与するので、認識
性能を漸近的に向上させる意味で有効なことが分かる。
この第３の実施の形態の方法は、事前に十分なサンプル
パターンが準備できない場合に特に有効といえる。

【００７７】上述の実施の形態ではあやめデータについ
て本発明を適用する例を述べたが、この出願のパターン
認識方法およびパターン認識装置は、種々のパターン認
識に用いることが出来る。例えば、光学的スキャナやカ
メラ等で読み取られた文字画像や、あるいはマイクロホ
ンで記録された人の発声パターンなどから、その文字や
音の内容を認識する方法や装置等に適用出来る。

【００７８】

【発明の効果】上述した説明から明らかなようにこの出
願のパターン認識方法の発明によれば、クラスごとのサ
ンプルパターンについて多変量解析をしてクラスごとの
特徴量を算出するという学習をし、該算出したクラスご
との特徴量を参照して、入力パターンの、前記各クラス
に所属する度合を表す値（ポテンシャル値）を、それぞ
れ算出し、該算出したポテンシャル値が最大となったク
ラスに前記入力パターンは所属すると識別する。クラス
ごとのサンプルパターンについて多変量解析をしクラス
ごとの特徴量を算出するので、サンプルパターンが有す
る要素のうち変動の大きい要素をクラスごとの特徴量と
して抽出できる。さらに上記特徴量を参照して入力パタ
ーンのポテンシャル値を算出するので、上記変動の大き
い要素のポテンシャル値算出への影響度を低下させるこ
とができる。これらのことから、正規分布関数における
パラメータαの値を適当に与えた場合でも、入力パター
ンのクラス識別を安定に行なえる。

【００７９】また、この出願のパターン認識装置によれ
ば、クラスごとのサンプルパターンについて多変量解析
をしてクラスごとの特徴量を算出する手段と、前記クラ
スごとの特徴量を参照して、入力パターンの、前記各ク
ラスに所属する度合を表す値（ポテンシャル値）を、そ
れぞれ算出する手段と、該算出したポテンシャル値が最
大となったクラスに前記入力パターンは所属すると識別
する手段とを具えたので、上記のパターン認識方法を容
易に実施することが出来る。

【図面の簡単な説明】

【図１】パターン認識方法およびパターン認識装置の第
１の実施の形態の説明図である。

【図２】認識パラメータ（特徴量）算出装置１５の構成
例を示す図である。

【図３】主成分分析部１５ｂの構成例を示す図である。

【図４】ポテンシャル値算出装置１９の構成例を示す図
である。

【図５】ベクトルパッキング処理の説明図である。

【図６】主成分ベクトルを求める処理の説明図である。

【図７】ポテンシャル値を算出する処理の説明図であ
る。

【図８】（Ａ）および（Ｂ）は実験データの説明図であ
る。

【図９】（Ａ）〜（Ｄ）は第１の実施の形態における比
較例の説明図である。

【図１０】（Ａ）〜（Ｄ）は第１の実施の形態における
実験結果の説明図（その１）であり、図９に対応する図
である。

【図１１】第１の実施の形態における実験結果の説明図
（その２）であり、比較例および第１の実施の形態それ
ぞれでの認識実験結果を併せて示した図である。

【図１２】第２の実施の形態の説明図であり、（Ａ）は
認識パラメータ算出装置の構成例、（Ｂ）はポテンシャ
ル算出装置の構成例をそれぞれ示した図である。

【図１３】第２の実施の形態における実験結果の説明図
であり、比較例および第２の実施の形態それぞれでの認
識実験結果を併せて示した図である。

【図１４】第３の実施の形態の説明図であり、第３の実
施の形態のパターン認識装置の構成例を示した図であ
る。

【符号の説明】

１１：パターン入力装置１３：切換部１５：認識パラメータ（特徴量）算出装置１７：認識パラメータ記憶装置１９：ポテンシャル値算出装置２１：識別結果出力装置

Claims

【特許請求の範囲】

【請求項１】所属クラスが明らかな多次元サンプルパ
ターンについて予め学習を行なっておき、入力パターン
がいずれのクラスに所属するかの識別は、前記学習の結
果に基づいて行なう、パターン認識方法において、前記学習として、前記クラスごとのサンプルパターンに
ついて多変量解析をしてクラスごとの特徴量を算出する
という学習をし、該算出したクラスごとの特徴量を参照して、入力パター
ンの、前記各クラスに所属する度合を表す値（ポテンシ
ャル値）を、それぞれ算出し、該算出したポテンシャル値が最大となったクラスに前記
入力パターンは所属すると識別することを特徴とするパ
ターン認識方法。
【請求項２】請求項１に記載のパターン認識方法にお
いて、前記多変量解析の手法として主成分分析を用い、かつ、前記クラスごとのサンプルパターンについて主成分分析
をして主成分ベクトルを求め、該主成分ベクトルで構成される空間に前記サンプルパタ
ーンをそれぞれ投影して各サンプルパターンについての
主成分ベクトル上への投影パターンをそれぞれ求め、該求めた投影パターンの主成分ベクトル上での分布で示
される分布パラメータを求め、これら主成分ベクトル、投影パターンおよび分布パラメ
ータを少なくとも前記クラスごとの特徴量とすることを
特徴するパターン認識方法。
【請求項３】請求項１または２に記載のパターン認識
方法において、前記ポテンシャル値は以下の処理により求めることを特
徴とするパターン認識方法。（Ａ）入力パターンとクラスごとの特徴量とに基づいて
窓関数と称される関数を生成する処理。（Ｂ）該生成した窓関数に前記入力パターンおよび該ク
ラスにおけるサンプルパターンそれぞれを代入して、前
記入力パターンのこれらサンプルパターンに対しての窓
関数値をそれぞれ求める処理。（Ｃ）該求めた窓関数値を足し合わせこれをサンプルパ
ターン数で除した値を前記ポテンシャル値とする処理。
【請求項４】請求項３に記載のパターン認識方法にお
いて、前記窓関数が、入力パターンおよび各サンプルパターンそれぞれを請求
項２で求めた主成分ベクトルで構成される空間に投影し
て求めた投影パターンと、請求項２で求めた分布パラメ
ータとで特徴づけられる関数であることを特徴とするパ
ターン認識方法。
【請求項５】請求項３または４に記載のパターン認識
方法において、前記窓関数が、請求項２で求めた分布パラメータを請求
項２で求めた主成分ベクトルの方向に伸縮させた多次元
正規分布関数であることを特徴とするパターン認識方
法。
【請求項６】請求項１〜５のいずれか１項に記載のパ
ターン認識方法において、前記クラスごとの認識パラメータを算出するに当たり、
同一クラスに分類されたサンプルパターンそれぞれが値
が同じ次元を持つ場合はこれらサンプルパターンからそ
の次元を削除してから前記特徴量を算出し、かつ、このように次元を削除した場合は、前記入力パターンに
おける当該次元を削除してから前記ポテンシャル値を算
出することを特徴とするパターン認識方法。
【請求項７】請求項２〜５のいずれか１項に記載のパ
ターン認識方法において、前記主成分ベクトルは以下の処理により求めることを特
徴とするパターン認識方法。（Ａ）前記主成分分析において作成される共分散行列か
ら得られる固有ベクトルそれぞれの寄与率を算出する処
理。（Ｂ）前記得られる固有ベクトルのうち固有値の大きい
固有ベクトルからそれらの寄与率を順に足し合わせて累
積寄与率を算出する処理。（Ｃ）該累積寄与率が閾値を越えるまでの固有ベクトル
を前記主成分ベクトルとする処理。
【請求項８】請求項１〜７のいずれか１項に記載のパ
ターン認識方法において、前記学習を行なう前に、全サンプルパターンの各次元の
値を、同じ次元の値が０以上１以下の範囲に含まれるよ
うに、それぞれ規格化し、前記ポテンシャル値を算出する前に、全入力パターンの
各次元の値を、サンプルパターンについて行なった前記
規格化と同じ処理で、それぞれ変換することを特徴とす
るパターン認識方法。
【請求項９】請求項１〜７のいずれか１項に記載のパ
ターン認識方法において、前記学習を行なう前に、全サンプルパターンの各次元の
値を、同じ次元の値についての平均値が０でかつ標準偏
差が１になるように、それぞれ標準化し、前記ポテンシャル値を算出する前に、全入力パターンの
各次元の値を、サンプルパターンについて行なった前記
標準化と同じ処理で、それぞれ変換することを特徴とす
るパターン認識方法。
【請求項１０】請求項１〜９のいずれか１項に記載の
パターン認識方法において、クラスへの識別が済んだ入力パターンを該クラスのサン
プルパターンとして追加し、該追加したパターンを少な
くとも前記ポテンシャル値の算出に用いることを特徴と
するパターン認識方法。
【請求項１１】所属クラスが明らかな多次元サンプル
パターンについて予め学習を行なっておき、入力パター
ンがいずれのクラスに所属するかの識別は、前記学習の
結果に基づいて行なう、パターン認識装置において、前記学習を行なう手段としての、前記クラスごとのサン
プルパターンについて多変量解析をしてクラスごとの特
徴量を算出する認識パラメータ算出手段と、該算出した前記クラスごとの特徴量を参照して、入力パ
ターンの、前記各クラスに所属する度合を表す値（ポテ
ンシャル値）を、それぞれ算出するポテンシャル値算出
手段と、該算出したポテンシャル値が最大となったクラスに前記
入力パターンは所属すると識別する識別結果出力手段と
を具えたことを特徴とするパターン認識装置。
【請求項１２】請求項１１に記載のパターン認識装置
において、前記認識パラメータ算出手段は、前記クラスごとのサンプルパターンに対し主成分分析を
行ない前記特徴量の１つとしての主成分ベクトルを出力
する主成分分析手段と、該主成分ベクトルで構成される空間に前記サンプルパタ
ーンをそれぞれ投影して、前記特徴量の１つとしての、
各サンプルパターンについての主成分ベクトル上への投
影パターンを、それぞれ出力する投影パターン作成手段
と、該求めた投影パターンの主成分ベクトル上での分布で表
される、前記特徴量の１つとしての分布パラメータを出
力する分布パラメータ算出手段とを具えたものであるこ
とを特徴とするパターン認識装置。
【請求項１３】請求項１１または１２に記載のパター
ン認識装置において、前記ポテンシャル値算出手段は、入力パターンとクラスごとの特徴量とに基づいて窓関数
と称される関数を生成する手段と、該生成した窓関数に前記入力パターンおよび該クラスに
おけるサンプルパターンそれぞれを代入して、前記入力
パターンのこれらサンプルパターンに対しての窓関数値
をそれぞれ求める手段と、該求めた窓関数値を足し合わせこれをサンプルパターン
数で除した値を当該ポテンシャル値として出力する手段
とを具えたものであることを特徴とするパターン認識装
置。
【請求項１４】請求項１３に記載のパターン認識装置
において、前記窓関数を生成する手段は、請求項１２に記載の分布
パラメータ算出手段から出力される分布パラメータを請
求項１２に記載の主成分分析手段から出力される主成分
ベクトルの方向に伸縮させた多次元正規分布関数を出力
するものであることを特徴とするパターン認識装置。
【請求項１５】請求項１３に記載のパターン認識装置
において、前記ポテンシャル値算出手段は、入力パターンを請求項１２に記載の主成分分析手段から
出力される主成分ベクトルで構成される空間にそれぞれ
投影して投影パターンを作成する手段をさらに具えたこ
とを特徴とするパターン認識装置。
【請求項１６】請求項１１〜１５のいずれか１項に記
載のパターン認識装置において、前記認識パラメータ算出手段は、前記多変量解析をする
前に動作するベクトルパッキング手段であって、同一ク
ラスに分類されたサンプルパターンそれぞれが値が同じ
次元を持つ場合はこれらサンプルパターンからその次元
を削除するベクトルパッキング手段をさらに具え、前記ポテンシャル値算出手段は、ポテンシャル値を算出
する前に動作するベクトルパッキング部であって、前記
サンプルパターンから削除した次元と同じ次元を前記入
力パターンから削除するベクトルパッキング手段をさら
に具えたことを特徴とするパターン認識装置。
【請求項１７】請求項１２〜１５のいずれか１項に記
載のパターン認識装置において、前記主成分分析手段は、サンプルパターンから共分散行列を作成する共分散行列
作成手段と、該作成された共分散行列から固有値および固有ベクトル
を算出する固有値・固有ベクトル算出手段と、前記算出される固有ベクトルのそれぞれの寄与率を算出
し、かつ、これら固有ベクトルのうち固有値の大きい固
有ベクトルからそれらの寄与率を順に足し合わせ累積寄
与率を算出し、かつ、該累積寄与率が閾値を越えるまで
の固有ベクトルを主成分ベクトルとして出力する固有ベ
クトル選択手段とを具えたことを特徴とするパターン認
識装置。
【請求項１８】請求項１１〜１７のいずれか１項に記
載のパターン認識装置において、前記認識パラメータ算出手段は、前記多変量解析をする
前に動作し、全サンプルパターンの各次元の値を、同じ
次元の値が０以上１以下の範囲に含まれるように、それ
ぞれ規格化する前処理手段をさらに具え、前記ポテンシャル値算出手段は、ポテンシャル値を算出
する前に動作し、全入力パターンの各次元の値を、サン
プルパターンについて行なった前記規格化と同じ処理
で、それぞれ変換する前処理手段をさらに具えたことを
特徴とするパターン認識装置。
【請求項１９】請求項１１〜１７のいずれか１項に記
載のパターン認識装置において、前記認識パラメータ算出手段は、前記学習を行なう前に
動作し、全サンプルパターンの各次元の値を、同じ次元
の値についての平均値が０でかつ標準偏差が１になるよ
うに、それぞれ標準化する前処理手段をさらに具え、前記ポテンシャル値算出手段は、ポテンシャル値を算出
する前に動作し、全入力パターンの各次元の値を、サン
プルパターンについて行なった前記標準化と同じ処理
で、それぞれ変換する前処理手段をさらに具えたことを
特徴とするパターン認識装置。
【請求項２０】請求項１１〜１９のいずれか１項に記
載のパターン認識装置において、クラスへの識別が済んだ入力パターンを該クラスのサン
プルパターンとして追加し、該追加したパターンを少な
くとも前記ポテンシャル値の算出に用いるための手段
を、さらに具えたことを特徴とするパターン認識装置。