JP2737733B2 - パターン分類装置 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、パターン分類装置
に関し、特に、学習機能を有するパターン分類装置に関
する。

【０００２】

【従来の技術】指紋分類を例にとり従来の技術を説明す
る。従来、この種の指紋分類装置は、入力指紋と辞書と
の類似度を計算し、最も良い類似度を持つカテゴリに入
力指紋を分類するために用いられる。図１１は従来の指
紋分類装置の例を示すブロック図である。図１１に示す
指紋分類装置は、スキャナ等の入力部１１０１と、特徴
抽出部１１０２と、特定カテゴリＡ，Ｌ，Ｒ，Ｗにそれ
ぞれ対応するＡ認識部１１０３、Ｌ認識部１１０６、Ｒ
認識部１１０９、Ｗ認識部１１１２と、各認識部の分類
結果を統合する統合認識部１１１５と、ディスプレイ装
置等の出力部１１１６と、データベース１１１７とから
構成される。Ａ認識部１１０３は照合部１１０４と認識
辞書部１１０５よりなり、Ｌ認識部１１０６は照合部１
１０７と認識辞書部１１０８よりなり、Ｒ認識部１１０
９は照合部１１１０と認識辞書部１１１１よりなり、Ｗ
認識部１１１３は照合部１１１３と認識辞書部１１１４
より構成される。

【０００３】入力部１１０１から与えられた入力指紋デ
ータは、特徴抽出部１１０２において、判別分析や主成
分分析などの統計手法により特徴を抽出されｚ次元の特
徴量ベクトルに変換され、各認識部の照合部に供給され
る。Ａ認識部１１０３の照合部１１０４ではｚ次元の特
徴量ベクトルを認識辞書部１１０５を用い特定カテゴリ
Ａとその他のカテゴリに分類し、Ｌ認識部１１０６の照
合部１１０７ではｚ次元の特徴量ベクトルを認識辞書部
１１０８を用い特定カテゴリＬとその他のカテゴリに分
類し、Ｒ認識部１１０９の照合部１１１０ではｚ次元の
特徴量ベクトルを認識辞書部１１１１を用い特定カテゴ
リＲとその他のカテゴリに分類し、Ｗ認識部１１１２の
照合部１１１３ではｚ次元の特徴量ベクトルを認識辞書
部１１１４を用い特定カテゴリＷとその他のカテゴリに
分類し、各認識部の分類結果は統合認識部１１１５に供
給される。統合認識部１１１５では各認識部の分類結果
を比較し、１認識部の分類結果がその認識部の特定カテ
ゴリをしめし、残りの認識部の分類結果がその他のカテ
ゴリをしめす場合、前記特定カテゴリを分類結果とし、
それ以外の場合を棄却とする。出力部１１１６では統合
認識部１１１５の結果を表示する。また 認識辞書部の
学習には、たとえば「１９８６年、イン・パラレル・デ
ィストリビュティド・プロセッシング、第１巻、３１８
〜３６２頁（Ｉｎ Ｐａｒａｌｌｅｌ Ｄｉｓｔｒｉｂ
ｕｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ、Ｖｏｌ．１、ｐｐ．
３１８ー３６２）」に示されるような誤差逆伝搬法が用
いられ、学習の際、データベース１１１７は原画像を入
力部１０１に渡し、同時に原画像のカテゴリにもとづく
教師信号を各認識辞書部に渡し各認識辞書部内の辞書が
更新される。教師信号は原画像のカテゴリ（複数のカテ
ゴリを示す指紋が存在する。）中の１カテゴリと一致す
る特定カテゴリを分類結果とする認識部では、特定カテ
ゴリを示すユニットに１、その他のカテゴリを示すユニ
ットに０を教師信号として与え、それ以外の認識部で
は、特定カテゴリを示すユニットに０、その他のカテゴ
リを示すユニットに１を教師信号として与える。

【０００４】

【発明が解決しようとする課題】この従来のパタン分類
装置では、学習用原画像のカテゴリに基ずく教師信号を
学習時変更することができないので、学習時に認識部の
識別面の境界の重なりを教師信号により調整することが
できない。そのため、識別面の重なり部分にある入力デ
ータを棄却とする場合、入力データの棄却量を調整する
ことができないという問題がある。

【０００５】本発明の目的は、学習時に、認識部の識別
面の重なりを調整することにある。

【０００６】

【課題を解決するための手段】このため本発明のパタン
認識装置では、学習時に用いられる原画像のカテゴリ以
外に複数の指定したカテゴリを確率分布に従い学習用原
画像に付与するカテゴリ付与部を設け、付与されたカテ
ゴリに基ずく教師信号により認識部の学習を行うことに
より上記目的を達成している。

【０００７】本発明ではカテゴリ付与部により、学習時
に用いられる原画像に付与されているカテゴリ以外に複
数の指定したカテゴリを確率分布に従い、学習用原画像
に付与するカテゴリ付与部と、前記カテゴリ付与部で付
与したカテゴリを保存する付与結果保存部を有し、付与
結果保存部のカテゴリに基ずく教師信号により認識辞書
の学習を行うことにより、学習時に識別面の広がりを変
更し、各認識部の識別面の重なりからカテゴリ境界付近
の入力データの棄却量を調整することが可能になり、正
分類率が上昇する。

【０００８】

【発明の実施の形態】次に、本発明の実施の形態につい
て図面を参照して説明する。

【０００９】図１は本発明の一実施の形態を示す構成図
である。本実施の形態では、指紋カテゴリを弓状紋（Ａ
ｒｃｈ），左流蹄状紋（Ｌｅｆｔ Ｌｏｏｐ），右流蹄
状紋（Ｒｉｇｈｔ Ｌｏｏｐ）、渦状紋（Ｗｈｏｒｌ）
の４種とし、弓状紋（Ａｒｃｈ）をＡ，左流蹄状紋（Ｌ
ｅｆｔ Ｌｏｏｐ）をＬ，右流蹄状紋（ＲｉｇｈｔＬｏ
ｏｐ）をＲ，渦状紋（Ｗｈｏｒｌ）をＷで示す。図１に
おいて、認識すべき指紋は指紋画像としてスキャナ等の
入力部１より入力され、特徴抽出部２において特徴量ベ
クトルとなり、Ａ認識部３とＬ認識部６とＲ認識部９と
Ｗ認識部１２とに入力され、それぞれの照合部４，７，
１０，１３で認識処理がなされ、その４種類の結果が統
合認識部１５において統合され認識結果が出力部１６よ
り出力される。データベース１７に保存される学習用指
紋原画像に付与されたカテゴリに対し、カテゴリ付与部
１８で、２カテゴリを指定し、データベース１７の学習
用指紋原画像に対し付与されたカテゴリが前記指定した
２カテゴリのどちらか一方のみに一致する場合、データ
ベース１７の学習用指紋原画像に対し、すでに付与され
ているカテゴリ以外に、確率分布に従い前記指定した２
カテゴリの内の未付与カテゴリを与え、付与結果保存部
２９に保存する。また学習の際には、データベース１７
の指紋原画像を入力部１に渡し、同時に付与結果保存部
２９のカテゴリに基ずく教師信号を用いてＡ認識部、Ｌ
認識部、Ｒ認識部、Ｗ認識部内の認識辞書部５，８，１
１，１４で学習がなされる。

【００１０】次に、このように構成されたパターン分類
装置の動作について説明する。

【００１１】入力部１より入力された指紋画像は、横ｍ
画素、縦ｎ画素の二値画像とする。黒画素が１、白画素
が０に対応する。ここで、ｍ，ｎは二値画像の指紋が判
別できる程度の解像度となる自然数であればよいが、便
宜上ｍを２５６、ｎを２５６とする。特徴抽出部２にお
いてｍ×ｎの原画像に対してｍ’×ｎ’領域ごとの隆線
方向データに変換する。便宜上ｍ’とｎ’は８とする。
変換方法は、たとえば「１９９１年２月、電子情報通信
学会、第Ｊ７４−Ｄ−ＩＩ、第４号、１９９ー２０７
頁」に示される方法を用いる。図３に示す画像ｆ（ｘ，
ｙ）において原点を通りｘ軸と角度λをなす直線Ｌλに
対して、画像ｆ（ｘ，ｙ）は下式によりμ、ｖ軸上の画
像に変換される。

【００１２】

【００１３】座標変換された画像のμ軸上への投影ｆp
（μ；λ）を下式より求める。

【００１４】

【００１５】ｆp （μ；λ）より下式により変換される
Ｓλを求める。

【００１６】

【００１７】ｍ’×ｎ’の領域内でλ＝0.0,22.5,45.0,
67.5,90.0,112.5,135.0,157.5 度に対するＳλを求め、
最大となった軸と垂直方向をその領域の隆線方向として
図４に示す方向コードで示し、領域ｉ、ｊの方向コード
をｇijとする。但し、ｉ、ｊは１≦ｉ≦３２、１≦ｊ≦
３２なる自然数を表す。これにより３２×３２＝１０２
４次元の特徴量となり、認識部３，６，９，１２に入力
される。データベース１７は指紋原画像と、０，１を要
素とする４桁の数値のカテゴリ信号を辞書として持つ。
１桁目がＡ、２桁目がＬ，３桁目がＲ，４桁目がＷを表
す。１０００ならば、その指紋のカテゴリーはＡを示
し、１１００ならＡ、Ｌであることを示す。図２のステ
ップ３０からステップ４１は認識部の認識辞書の学習の
流れを示す。処理３０のカテゴリー付与部での教師信号
の作成方法は図５にしたがう。処理５０でデータベース
の全指紋の４桁の数値を付与結果保存部に転記する。処
理５１で第２候補を付与する指紋の組み合わせｉ，ｊ
（整数）を選択する。但し１≦ｉ≦４、１≦ｊ≦４、ｉ
≠ｊとし、ｉ，ｊはカテゴリー信号の桁数を示す。処理
５２で処理５１で選択した組合わせに対し何割の第２種
目のカテゴリを付与するか選択しその割合をｑijとす
る。処理５３で第２種目のカテゴリを付与するか決定す
る。処理５３の処理は処理５１で選択されたｉ，ｊの組
みに対して行う。処理５４でカテゴリ付与処理が終了し
たかの判定を行い、未終了の場合には次のカテゴリ信号
を入力して再び処理５３の処理から再開する。さらに、
第２候補を付与する場合は再び処理５１の処理から再開
する。

【００１８】処理５３のｉ，ｊの組み合わせに対し第２
種目のカテゴリーを付与する処理の流れを図６で示す。
処理６１で付与結果保存部２９のｉ桁の要素が１かつｊ
桁の要素が０である場合、処理６２で０から１０までの
実数Ｒを発生し、処理６３でＲ≧ｑijの場合処理６４で
ｊ桁の要素を０のままとし、そうでない場合処理６５で
ｊ桁の要素を０から１に変更する。処理６６でｉ桁の要
素が０かつｊ桁の要素が１である場合、処理６７で０か
ら１０までの実数Ｒを発生し、処理６８でＲ≧ｑijの場
合処理６９でｉ桁の要素を０のままとし、そうでない場
合処理７０でｉ桁の要素を０から１に変更し、処理７１
で変更結果を付与結果保存部２９に保存する。

【００１９】処理３１のＬ，Ｒ，Ｗ認識部の切りはなし
では図１のスイッチ１９，２０，２１，２２，２３，２
４，２５，２６，２７を切断し、Ａ認識部の認識辞書の
学習中に他の認識部が作動しないようにする。また、学
習に必要な教師信号を付与結果保存部２９からＡ認識部
に取り込めるようにスイッチ２８を接続する。Ａ認識部
の学習３２が終了した段階で、次の処理３３にすすみ、
Ｌ認識部の学習のために、Ａ認識部の切り離しを行う。
図１の構成では、スイッチ２８を切断する。処理３４で
はＬ認識部の接続をする。図１の構成では、スイッチ１
９，２７の接続をする。これによりＡ認識部の学習を停
止し、Ｌ認識部の学習３５を開始する。Ｌ認識部の学習
３５が終了した段階で、次の処理３６にすすみ、Ｒ認識
部の学習のために、Ｌ認識部の切り離しを行う。図１の
構成では、スイッチ１９，２７を切断する。処理３７で
はＲ認識部の接続をする。図１の構成では、スイッチ２
０，２６を接続する。これによりＬ認識部の学習を停止
し、Ｒ認識部の学習３８を開始する。Ｒ認識部の学習３
８が終了した段階で、次の処理３９にすすみ、Ｗ認識部
の学習のために、Ｒ認識部の切り離しを行う。図１の構
成では、スイッチ２０，２６を切断する。処理４０では
Ｗ認識部の接続をする。図１の構成では、スイッチ２
１，２５を接続する。これによりＲ認識部の学習を停止
し、Ｗ認識部の学習４１を開始する。

【００２０】認識部の学習は各認識部とで共通であるの
でこれらをまとめて以下に説明する。但しｎを１≦ｎ≦
４なる整数とし、１がＡ、２がＬ，３がＲ，４がＷに対
応する。ｎ認識部は、照合部と認識辞書部とからなり、
認識辞書はＷkij 、Ｗ’k 、μmk、μ’m なる行列値の
集合をさす。ただしｋ，ｉ，ｊ、ｍは１≦ｋ≦４０、１
≦ｉ≦３２，１≦ｊ≦３２、１≦ｍ≦２、なる整数とす
る。ｍを２以下としたのは、ｎ認識部では指紋カテゴリ
ーをｎかそれ意外の２カテゴリに判別するためである。
データベース１７に数千の指紋データを用意し、それら
指紋原画像を順に入力部１に渡し、同時に対応するカテ
ゴリ信号を付与結果保存部２９より認識辞書部に渡し、
認識処理をしながら、ｎ認識部の学習をおこなう。カテ
ゴリ信号のｎ桁目の要素が１の場合、ｎに対応するカテ
ゴリが１、その他に対応するカテゴリが０となるベクト
ルである信号を入力し、カテゴリ信号のｎ桁目の要素が
０の場合、ｎに対応するカテゴリが０、その他に対応す
るカテゴリが１となるベクトルである信号を入力する。

【００２１】１指紋ごとの処理の流れは、図７にしたが
う。認識辞書が未学習の段階では判定７０１により処理
７０２に進み、１と−１の間での乱数により認識辞書が
設定されたのちに処理７０３へすすみ、既に学習が始め
られている状態では処理７０２の初期化は省略され処理
７０３へとすすむ。認識処理７０３では、図８に示す１
指紋ごとの認識処理をおこない、その結果の出力ベクト
ルｑm を計算する。ｑm は入力された指紋データと第ｍ
カテゴリとの類似度をあらわす。ここでは学習段階であ
るので、判定７０４では処理７０５へすすみ、カテゴリ
信号を付与結果保存部より入力し、図９を参照して後に
詳述する学習をおこなってｎ認識部の認識辞書を修正す
る。１指紋毎の処理を用意した全指紋データについてお
こない、出力ベクトルと教師信号との誤差の二乗平均０
に収束するか、または与えられた回数になるまで繰り返
す。

【００２２】各認識部の学習が終了後、処理４２に進み
全認識部の接続を行う。図１においてはスイッチ１９，
２０，２１，２２，２３，２４の接続を行い、スイッチ
２５を切断する。実際の認識処理では、入力された指紋
に対してＡ認識部での認識処理４３、Ｌ認識部での認識
処理４４、Ｒ認識部での認識処理４５、Ｗ認識部での認
識処理４６が同時に実行される。処理４３，４４，４
５，４６とも図８に示した流れにしたがい処理される。
認識辞書は初期設定されているので判定７０１ではＹＥ
Ｓのほうにすすみ、それぞれの認識辞書により認識処理
７０３をする。各認識部では判定７０４でＮＯの方に進
み学習をしない。

【００２３】処理４７では認識処理４３，４４，４５，
４６の結果を統合認識部１５で統合し、認識結果を出力
部１６より出力する。統合認識部１５での処理の流れは
図１０に示す。処理１００１ではＡ認識部の照合部４か
らの出力ベクトルの要素の内での最大値ｍａｘｖをもつ
カテゴリｍ* を選択する。処理１００２ではＬ認識部の
照合部６からの出力ベクトルの要素の内での最大値ｍａ
ｘｖをもつカテゴリｍ* を選択する。処理１００３では
Ｒ認識部の照合部９からの出力ベクトルの要素の内での
最大値ｍａｘｖをもつカテゴリｍ* を選択する。処理１
００４ではＷ認識部の照合部１２からの出力ベクトルの
要素の内での最大値ｍａｘｖをもつカテゴリｍ* を選択
する。認識結果の判定１００５では、各認識部の分類結
果を比較し、１認識部の分類結果がその認識部の特定カ
テゴリをしめし、残りの認識部の分類結果がその他のカ
テゴリをしめす場合以外を認識結果に矛盾があるとしリ
ジェクト判定１００７とし、さもなければ処理１００６
で、ｍ* を認識結果とする。

【００２４】処理４８では認識処理が終了したかの判定
を行い、未終了の場合には次の指紋を入力して再び処理
４３，４４，４５，４６から再開する。認識処理が終了
した場合には各認識部の認識辞書を保存して処理を終了
する。

【００２５】以上が、本発明の実施の形態の流れの説明
であるが、この中で行った認識処理と学習処理は各認識
部で共通であるのでこれらをまとめて以下に説明する。
処理を以下に説明する。各認識部の処理の流れを図８に
示す。処理８０１で特徴抽出部で作られた特徴量のベク
トルｇijを入力し、処理８０２において認識辞書Ｗkij
とバイアスＷ’k とにより下式により変換しｈk を求め
る。

【００２６】

【００２７】処理８０３では、このｈk に下に示すシグ
モイド関数をかけｈk とする。 ｓ（ｘ）＝１／（１＋ｅｘｐ（−ｖｘ）） ｈ'k＝ｓ（ｈk ） ｖはシグモイド関数の傾きを制御するが、ここでは０．
７に設定する。さらに、処理８０４では認識辞書中のｕ
mkとｕ'mとをもちいてｈk を以下の式で変換し、ｑm と
する。

【００２８】

【００２９】処理８０５では、以下の式でｑm をシグモ
イド関数により変換しｑ'mを求め、処理８０６により出
力ベクトルとする。 ｑm ＝ｓ（ｑm ） 以上が、認識処理の流れの説明であるが、学習処理はこ
こで求めたｑ'm、ｈ'kと認識辞書および教師信号ｔ'mと
線形認識部の出力値ｈm の差を用いて行う。

【００３０】学習処理の流れは図９に示す。ブロック９
０１では教師信号ｔ'mの入力を行う。教師信号とは出力
ベクトルの期待値であり、正解カテゴリではｔ'mが１
で、それ以外のｔ'mは０の値を取るベクトルとする。処
理９０２では出力ベクトルと教師信号との差分データが
計算される。 δm=ｔ' ｍ−ｑ' ｍ 更に、処理９０３においてｑm の誤差の評価値であるδ
m を下式で求める。 δm ＝δ'm・ｑ'm・（１−ｑ'm） このδm はｕmkの修正と処理９０６に始まる誤差の逆伝
搬の計算に用いられる。ｕmkの修正項の計算は処理９０
４で下式によりなされる。 Δｕmk＝ε・δm ・ｈk Δｕm ＝ξ・δm ここで与えたパラメータε、ξはそれぞれ学習の効果を
表すもので、大きくすると１回の学習での変化量は大き
い発散の危険性があり、小さくすると学習に時間がかか
る。ここではε、ξともに０．１とする。その修正項を
用いて処理９０５においてｕmkの修正が以下の式でなさ
れる。 ｕmk←ｕmk＋Δｕmk ｕ'm←ｕ'm＋Δｕ'm 処理９０６からは誤差δm をさらに伝搬させ、Ｗkij 、
Ｗ’k を修正する。処理９０７ではｈk の誤差評価をお
こない以下の式でδk を求める。

【００３１】δ'k＝Σｕmk・δm これより処理９０７においてｈk の誤差評価をおこない
以下の式でσk を計算する。 σk ＝σ'k・ｈ'k・（１−ｈ'k） このσk をもちいてＷkij の修正項を処理９０８におい
て、以下の式で計算する。 ΔＷkij ＝ε・σk ・ｇij ΔＷ’k ＝ξ・σk ここで用いたパラメータε，ξともに前述の値と同じも
のを用いる。最後にこれらの修正項を用いて処理９０９
においてＷkij の修正をする。 Ｗkij ←Ｗkij ＋ΔＷkij Ｗ’k ←Ｗ’k ＋ΔＷ’k 以上に、本発明の実施の形態について詳細に述べた。こ
こで、実施の形態中で用いたパラメータは説明のために
便宜的に設定したが、これらのパラメータは説明中で用
いた値以外でも本願発明には適用できる。実施の形態の
説明では、特徴量として二値の指紋画像から得た方向特
徴を用いたが、従来の文字認識装置などで用いられてい
る特徴量を適用することも容易にできる。また、実施の
形態では２段階の神経回路網シミュレーションを用いた
方法により認識処理及び学習処理を構成し説明したが、
より多段の神経回路網シミュレーションを用いたものも
容易類推可能である。さらに、実施の形態では、４カテ
ゴリーに分類するため４認識部を用いたが、より多数の
カテゴリーに対応する多認識部を用いたものも容易に類
推可能である。

【００３２】

【発明の効果】以上説明したように、本発明によるパタ
ン分類装置は学習時に用いられる原画像に付与されてい
るカテゴリ以外に複数の指定したカテゴリを確率分布に
従い学習用原画像に付与するカテゴリ付与部を有し、付
与されたカテゴリに基づく教師信号により認識辞書の学
習を行うことにより、学習時に識別面の広がりを変更
し、各認識部の識別面の重なりからカテゴリー境界付近
の入力データの棄却量を調整することが可能になり、正
分類率が上昇するという効果がある。

【図面の簡単な説明】

【図１】本願発明の一実施の形態を示すブロック図であ
る。

【図２】本願発明の処理を示す流れ図である。

【図３】指紋画像のμ軸への投影を示す図である。

【図４】指紋隆線の方向コードを示す図である。

【図５】図２中のカテゴリー付与部での処理の流れを示
す図である。

【図６】図５中の第二付与カテゴリーの決定処理を示す
流れ図である。

【図７】図１中の認識部での処理を示す流れ図である。

【図８】図７中の認識処理を示す流れ図である。

【図９】図１中の認識部での学習処理を示す流れ図であ
る。

【図１０】図１中の統合認識部での処理を示す流れ図で
ある。

【図１１】従来例を示すブロック図である。

【符号の説明】

１ 入力部 ２ 特徴抽出部 ３ Ａ認識部 ４ Ａ認識部内照合部 ５ Ａ認識部内認識辞書部 ６ Ｌ認識部 ７ Ｌ認識部内照合部 ８ Ｌ認識部内認識辞書部 ９ Ｒ認識部 １０ Ｒ認識部内照合部 １１ Ｒ認識部内認識辞書部 １２ Ｗ認識部 １３ Ｗ認識部内照合部 １４ Ｗ認識部内認識辞書部 １５ 統合認識部 １６ 出力部 １７ データベース １８ カテゴリー付与部 ２９ 付与結果保存部

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 データを入力する入力部と、前記入力部
   から得られたデータから特徴を抽出する特徴抽出部と、
   前記特徴抽出部からの出力値と教師信号に基づいて神経
   回路網の学習方式を用いて作成するカテゴリ毎の認識辞
   書部、および、前記特徴抽出部からの出力値と前記認識
   辞書部を用いて分類結果を出力するカテゴリ毎の照合部
   を含むカテゴリ毎の認識部と、前記カテゴリ毎の認識部
   からの出力値を統合する統合認識部と、前記認識辞書部
   の学習時、教師信号として、複数の指定したカテゴリを
   確率分布に従い付与するカテゴリ付与部とを備えたこと
   を特徴とするパターン分類装置。
2. 【請求項２】 前記認識辞書部が神経回路網の学習方式
   である誤差逆伝搬法を用いて作成されることを特徴とす
   る請求項１記載のパターン分類装置。
3. 【請求項３】 前記カテゴリ付与部において付与したカ
   テゴリを保存する付与結果保存部を備えたことを特徴と
   する請求項１記載のパターン分類装置。