JPH07105372A - パターン認識装置および方法 - Google Patents

Abstract

(57)【要約】 【目的】 パターン識別の誤認識率を低減し、識別精度
の高いパターン認識装置および方法を提供する。 【構成】 特徴抽出手段２によって抽出された特徴ベク
トルと、識別手段３から出力される補正カテゴリベクト
ルに基づいて特徴想起手段５によって想起された特徴ベ
クトルとの類似度Ｌを、類似度算出手段６によって算出
する。識別結果判定手段４は、算出された類似度Ｌをレ
ベル弁別し、類似する度合が大きい場合にのみ、識別手
段３から出力された識別結果を正しいものとして出力手
段７に出力する。したがって未知パターンや大きなノイ
ズが重畳したパターンなどに対する識別結果を棄却する
ことができ、誤認識を著しく低減させることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像や音声などの入力
パターンを、複数の予め定めた種類のカテゴリのどのカ
テゴリに属するかを識別するパターン認識装置および方
法に関する。

【０００２】

【従来の技術】図１０は、典型的な従来例であるパター
ン認識装置４１の構成を示すブロック図である。画像や
音声などの入力パターンは、特徴抽出手段４２に与えら
れる。特徴抽出手段４２は、入力パターンからそのパタ
ーンを特徴づける特徴量を抽出する。特徴量とは、たと
えば画像であれば、画像パターンをより簡潔に表現し、
後述する識別に用いられる本質的な情報のことである。
抽出された特徴量を要素とする特徴ベクトルは、識別手
段４３に与えられる。

【０００３】識別手段４３は、入力された特徴ベクトル
に基づいて、前記入力パターンが複数の予め定めた種類
のカテゴリのどのカテゴリに属するかを表現するカテゴ
リベクトルを算出して出力する。識別手段４３は、特徴
ベクトルとカテゴリベクトルとの関係を予め学習させた
ニューラルネットワークで実現される。算出されたカテ
ゴリベクトルは、識別結果判定手段４４に与えられる。
識別結果判定手段４４は、与えられたカテゴリベクトル
に基づいて、入力パターンが属するカテゴリを決定し、
識別結果として出力する。識別結果は、出力手段４５に
与えられる。出力手段４５は、たとえばＣＲＴ（陰極線
管）などの表示装置で実現され、識別結果を外部（操作
者）に出力（報知）する。

【０００４】前記識別手段４３に用いられるニューラル
ネットワークとしては、たとえば、公知の技術であるバ
ックプロパゲーションニューラルネットワーク（以下、
「ＢＰＮＮ」と略称する）が使用される。このＢＰＮＮ
については、「NATURE vol.323 9 p536-553 (Oct 1986)
Learning Representations by backpropagationerror
s」に述べられている。

【０００５】ＢＰＮＮは、入力層、出力層、および１つ
または複数の中間層から成り、これらの各層は複数のノ
ード群で構成される。ニューラルネットワークによる識
別では、たとえばニューラルネットワークの出力層の各
ノードを識別させたいカテゴリに１対１で対応させた一
般的な構成の場合、出力層を構成する複数のノードの中
で最大値を出力しているノードに対応したカテゴリを識
別結果としている。

【０００６】

【発明が解決しようとする課題】しかしながら、上述の
パターン認識装置４１は、入力パターンをいずれかのカ
テゴリに強制的に分類するため、識別手段４３からのカ
テゴリベクトルに基づく識別結果を棄却する何らかの手
段が必要である。この点を考慮して、識別結果を棄却す
る信号識別装置が、特開平４−２９４４４４号公報に開
示されている。この信号識別装置では、識別手段を構成
するニューラルネットワークの出力層を構成する各ノー
ドの中の最大値を、予め設定した閾値と比較し、閾値を
超えたときはそのノードに対応したカテゴリを識別結果
とし、閾値以下のときには識別結果の信頼度は低いとし
て識別結果を棄却している。上記公開公報においては、
識別手段を構成するニューラルネットワークの出力を処
理し、識別結果の信頼性を判定する方法がいくつか記載
されている。

【０００７】しかしながら、ＢＰＮＮのようなシグモイ
ド関数を用いた層状のニューラルネットワークでは、そ
の出力値に閾値を設けて識別結果を判定することはでき
ないことが知られている。これは、たとえば「電子情報
通信学会春季大会vol6 p35 (1992)AIC情報量基準を用い
たクラスタリング形ニューロの最適化」に述べられてい
る。

【０００８】また上述のことは、実験からも確認されて
いる。図１１および図１２は、上述の従来技術による識
別結果の出力例を示す図である。ここでは、航空機のシ
ルエット画像から航空機の機種を識別する画像認識装置
の場合を示している。図１１は未知パターン４６を識別
した場合を示しており、図１２は画像の一部が欠落した
機種Ａ１１のパターン４７を識別した場合を示してい
る。

【０００９】図１１において、未知パターン４６の識別
結果は識別結果表示欄４８に表示され、識別手段４３か
らの出力であるカテゴリベクトルはカテゴリベクトル表
示欄４９に表示される。表示欄４９の表示内容は下記の
表１に示されている。

【００１０】

【表１】

【００１１】未知パターン４６を識別した場合、上述の
パターン識別装置４１では、未知パターンとは識別せず
に、機種Ａ９と識別している。これは、上記表１に示さ
れているように、カテゴリベクトルの要素のうち、最大
値０．９９７４６９は他の値に比べて充分大きく、また
他の数値は最大値に比べて非常に小さい値であるため、
表１に示すカテゴリベクトルに基づいて識別結果を判定
した場合、機種Ａ９と誤って認識してしまう。

【００１２】また図１２では、画像の一部が欠落した機
種Ａ１１のパターン４７を識別させている。この場合の
カテゴリベクトルは、下記の表２に示されている。

【００１３】

【表２】

【００１４】図１２の場合は、本来は機種Ａ１１または
未知パターンとして識別させたいが、カテゴリベクトル
の要素のうち、最大値０．９８４３４５は他の値に比べ
て充分大きく、それに比べて他の数値は非常に小さいた
め、機種Ａ２と誤って識別している。

【００１５】このように、カテゴリベクトルを構成する
数値のみに基づいて、絶対的にあるいは相対的に識別結
果を判定した場合であっても、最大値が他の数値に比べ
て充分大きく、かつそれに比べて他の数値が充分に小さ
い場合は、入力パターンを誤って認識・識別してしま
う。

【００１６】パターン識別装置において、未知パターン
を棄却できる能力は、実用的なパターン認識の意味から
も重要である。特に、上述したように入力パターンが画
像であったり、音声などであったりする場合には、使用
範囲を限定しない限り、どのような入力がなされるかが
わからず、上記未知パターンの棄却能力は非常に重要で
ある。

【００１７】このように、従来のパターン識別装置で
は、どのカテゴリにも属しない未知パターン、部分的に
画像が欠落したパターン、クラッタなどの大きなノイズ
が重畳したパターンなどに起因する誤認識が非常に多く
発生し、識別精度が著しく劣化することが問題となって
いる。

【００１８】本発明の目的は、上述の問題点を解決し、
パターン識別の誤認識率を低減し、識別精度の高いパタ
ーン認識装置および方法を提供することである。

【００１９】

【課題を解決するための手段】本発明は、入力パターン
を複数の予め定めた種類のカテゴリに識別する識別手段
と、前記識別手段からの出力カテゴリに基づいて、入力
パターンを想起する想起手段と、前記入力パターンと前
記想起手段からのパターンとを比較してパターンの類似
度を算出する算出手段と、前記算出手段からの類似度を
レベル弁別し、類似度が高いとき、前記識別手段からの
出力カテゴリを正しいものとして出力する判定手段とを
含むことを特徴とするパターン認識装置である。

【００２０】また本発明は、入力パターンから、パター
ンを特徴づける特徴量を要素とする特徴ベクトルを算出
する特徴抽出手段と、前記特徴抽出手段からの特徴ベク
トルに基づいて、入力パターンが複数の予め定めた種類
のカテゴリのどのカテゴリに属するかを表現するカテゴ
リベクトルを算出する識別手段と、前記識別手段からの
カテゴリベクトルに基づいて、特徴ベクトルを算出する
特徴想起手段と、前記特徴抽出手段からの特徴ベクトル
と、前記特徴想起手段からの特徴ベクトルとに基づい
て、両ベクトルの類似度を算出する算出手段と、前記算
出手段からの類似度をレベル弁別し、類似度が高いと
き、前記識別手段からのカテゴリベクトルによって表現
されるカテゴリを識別結果として出力する判定手段とを
含むことを特徴とするパターン認識装置である。

【００２１】また本発明は、入力パターンを複数の予め
定めた種類のカテゴリに識別するステップと、識別した
カテゴリに基づいて、入力パターンを想起するステップ
と、前記入力パターンと想起されたパターンとを比較し
てパターンの類似度を算出するステップと、算出された
類似度をレベル弁別し、類似度が高いとき識別したカテ
ゴリを正しいものとして出力するステップとを含むこと
を特徴とするパターン認識方法である。

【００２２】

【作用】本発明に従えば、入力パターンは識別手段によ
って複数の予め定めた種類のカテゴリに識別され、出力
カテゴリは想起手段および判定手段に与えられる。想起
手段では、出力カテゴリに基づいて入力パターンが想起
され、この想起された入力パターンは算出手段に与えら
れる。算出手段では、入力パターンと前記想起手段によ
って想起された入力パターンとを比較し、類似度が算出
され、算出された類似度は判定手段に与えられる。判定
手段は、算出された類似度をレベル弁別し、類似度が高
いとき、前記識別手段からの出力カテゴリを正しいもの
として出力する。

【００２３】また本発明に従えば、パターンが入力され
ると、特徴抽出手段によって入力パターンからパターン
を特徴づける特徴量を要素とする特徴ベクトルを算出す
る。特徴ベクトルは、識別手段および算出手段に与えら
れる。識別手段では、与えられる特徴ベクトルに基づい
て、入力パターンが複数の予め定めた種類のカテゴリの
どのカテゴリに属するかを表現するカテゴリベクトルを
算出し、特徴想起手段と判定手段に与える。特徴想起手
段では、前記識別手段から与えられるカテゴリベクトル
に基づいて、特徴ベクトルが算出され、算出された特徴
ベクトルは算出手段に与えられる。算出手段では、前記
特徴抽出手段からの特徴ベクトルと、前記特徴想起手段
からの特徴ベクトルとに基づいて、両ベクトルの類似度
が算出され、算出された類似度は判定手段に与えられ
る。判定手段では、算出された類似度をレベル弁別し、
類似度が高いときは前記識別手段から与えられるカテゴ
リベクトルによって表現されるカテゴリを正しい識別結
果として出力する。

【００２４】さらに本発明に従えば、入力パターンは複
数の予め定めた種類のカテゴリに識別され、識別された
カテゴリに基づいて入力パターンが想起される。続いて
入力パターンと想起されたパターンとを比較してパター
ンの類似度が算出され、算出された類似度をレベル弁別
し、類似度が高いときは識別したカテゴリを正しいもの
として出力する。

【００２５】

【実施例】図１は、本発明の一実施例であるパターン認
識装置１の構成を示すブロック図である。入力パターン
は、特徴抽出手段２に与えられる。特徴抽出手段２は、
入力パターンから識別に用いる特徴量を抽出し、この特
徴量を要素とする特徴ベクトルを出力する。出力された
特徴ベクトルは、識別手段３および類似度算出手段６に
与えられる。識別手段３は、たとえばニューラルネット
ワークを含んで構成され、特徴ベクトルをカテゴリベク
トルに変換して出力するとともに、後述する補正によっ
て得られる補正カテゴリベクトルを出力する。本実施例
では、特徴ベクトルは６要素から成り、カテゴリベクト
ルおよび補正カテゴリベクトルは１１要素から成る。カ
テゴリベクトルは、識別結果判定手段４に与えられ、補
正カテゴリベクトルは識別結果判定手段４および特徴想
起手段５に与えられる。

【００２６】特徴想起手段５は、与えられた補正カテゴ
リベクトルに基づいて、当該補正カテゴリベクトルによ
って示されるカテゴリに属する標準的な特徴ベクトルを
想起する。想起された特徴ベクトルは、類似度算出手段
６に与えられる。類似度算出手段６は、前記特徴抽出手
段２からの特徴ベクトルと、前記特徴想起手段５からの
特徴ベクトルとに基づいて、両ベクトルの類似度Ｌを算
出する。算出された類似度Ｌは、識別結果判定手段４に
与えられる。

【００２７】識別結果判定手段４は、前記識別手段３か
らのカテゴリベクトルと、前記類似度算出手段６からの
類似度Ｌとに基づいて、識別結果を判定して出力する。
判定は、類似度Ｌの大小に基づいて実行され、類似度Ｌ
が高いときだけカテゴリベクトルによって示される特定
のカテゴリを識別結果として出力する。識別結果は、出
力手段７に与えられる。出力手段７は、たとえばＣＲＴ
などの表示装置および音声合成装置を含んで構成され、
識別結果を外部（操作者）に出力（報知）する。

【００２８】このように、入力パターンから抽出された
特徴ベクトルと、識別手段３によって変換・補正された
補正カテゴリベクトルに基づいて想起された特徴ベクト
ルとに基づいて類似度Ｌを算出し、識別手段３からのカ
テゴリベクトルが信頼できるか否かを判定して最終的な
識別結果を出力するようにし、これによって誤認識を防
いでいる。

【００２９】まず特徴抽出手段２について説明する。前
述したように、特徴抽出手段２は、入力パターンから識
別に用いる特徴量を抽出して、特徴ベクトルとして出力
する。ここで画像の特徴量について説明する。画像の特
徴とは、画像パターンをより簡潔に表現し、識別にとっ
て本質的な情報のことである。画像の特徴は、画像を構
成する部分的な画像パターンである１次特徴（エッジパ
ターン、領域パターンなど）と、１次特徴から計測され
る２次特徴とに分けられる。たとえば、端点、分岐点な
どは１次特徴であり、それらの端点および分岐点などの
位置、個数などは２次特徴である。本実施例では２次特
徴を識別手段３に入力している。

【００３０】実際の画像認識に使用される２次特徴とし
ては、領域パターン（面）の２次特徴量が用いられる場
合が多い。２次特徴量の一例としては、面積、周囲長、
外接長方形の幅および高さ、コンパクト比（＝縦横
比）、複雑度（＝（周囲長）²／面積）、領域内の濃度
平均および濃度分散、濃度ヒストグラム、モーメント、
フーリエ記述子（偏角関数のフーリエスペクトル）、テ
クスチャ特徴（濃度値、濃度勾配の大きさ、方向の平均
値や分散、２次元フーリエ変換の空間周波数スペクトル
による特徴量、共起行列に基づく特徴量など）、位相幾
何学的特徴（穴の数、オイラー数など）などが挙げられ
る。

【００３１】本実施例のパターン認識装置１では、画像
認識に有効と考えられる特徴量の１つとして、不変モー
メント特徴を用いる。不変モーメントは、１９６２年に
Ｈｕによって提案された特徴量であり、広く用いられて
いる。

【００３２】不変モーメントの最大の性質は、画像パタ
ーンの並進、伸縮、平面内での回転に対して不変なこと
であり、これらの幾何学的変換に依存しない画像認識が
可能となる。不変モーメントについては、たとえば「NA
ECON vol.2 p743-749 (May 1991) Effect of noise in
moment invariant neural network aircraftclassifica
tion」に述べられている。以下、不変モーメント特徴の
導出について説明する。

【００３３】不変モーメント特徴の原型となるモーメン
ト特徴は、画像の濃度値をｆ（ｘ，ｙ）で表すと次式で
与えられる。

【００３４】

【数１】

【００３５】ここでｐ，ｑは０以上の整数 位置不変性は、式（１）を重心位置からのモーメント式
に変更することで得られる。

【００３６】

【数２】

【００３７】ただしｘａ＝ｍ₁₀／ｍ₀₀，ｙａ＝ｍ₀₁／ｍ
₀₀ サイズ不変性は、式（２）を正規化することで得られ
る。

【００３８】 η_pq ＝ μ_pq／μ₀₀ ^(p+q+2)/2 …（３） 回転不変性は、低次の成分を組合わせることで得られ、
最終的な不変モーメント特徴は次式で表される。

【００３９】 Ｉ1 ＝ η₂₀＋η₀₂ …（４） Ｉ2 ＝（η₂₀−η₀₂）²＋４η₁₁ ² …（５） Ｉ3 ＝（η₃₀−３η₁₂）²＋（η₀₃−３η₂₁）² …（６） Ｉ4 ＝（η₃₀＋η₁₂）²＋（η₀₃＋η₂₁）² …（７） Ｉ5 ＝（η₃₀−３η₁₂）（η₃₀＋η₁₂）｛（η₃₀＋η₁₂）²−３（η₂₁＋ η₀₃）²｝＋（η₀₃−３η₂₁）（η₀₃＋η₂₁）｛（η₀₃＋η₂₁）² −３（η₁₂＋η₃₀）²｝ …（８） Ｉ6 ＝（η₂₀−η₀₂）｛（η₃₀＋η₁₂）²−（η₀₃＋η₂₁）²｝ ＋４η₁₁（η₃₀＋η₁₂）（η₀₃＋η₂₁） …（９） Ｉ7 ＝（３η₂₁−η₀₃）（η₃₀＋η₁₂）｛（η₃₀＋η₁₂）²−３（η₀₃＋ η₂₁）²｝−（３η₁₂−η₃₀）（η₀₃＋η₂₁）｛（η₀₃＋η₂₁）² −３（η₁₂＋η₃₀）²｝ …（10） ７次以降の高次成分は、非常に小さいので導かれていな
い。本実施例では上記不変モーメント特徴のうち、Ｉ１
〜Ｉ６までを用い、これらの特徴量を要素とするベクト
ルを特徴ベクトルと称する。

【００４０】次に、識別手段３および特徴想起手段５に
ついて説明する。本実施例においては、識別手段３およ
び特徴想起手段５は、共にニューラルネットワークを含
んで構成されている。以下、図２を参照してニューラル
ネットワークについて説明する。

【００４１】図２は、ニューラルネットワーク１１の概
略的構成を示す図である。ニューラルネットワーク１１
は、上述のＢＰＮＮであり、入力層１２、中間層１３お
よび出力層１４とで構成される。入力層１２は、複数の
ノードＮＩ１〜ＮＩｍで構成される。中間層１３は、１
または複数の層構造であり、各層はそれぞれ複数のノー
ドＮＭで構成される。出力層１４は、複数のノードＮＯ
１〜ＮＯｎで構成される。前記入力層１２および出力層
１４を構成する各ノードの数は、入力される数値の数お
よび出力すべき数値の数に対応して決定される。本実施
例では特徴ベクトルは６つの要素から成り、またカテゴ
リベクトルは１１の要素から成る。したがって、識別手
段３にニューラルネットワーク１１を用いる場合、入力
層１２は６つのノードＮＩ１〜ＮＩ６で構成され、出力
層１４は１１個のノードＮＯ１〜ＮＯ１１で構成され
る。また特徴想起手段５にニューラルネットワーク１１
を用いた場合、入力層１２は１１個のノードＮＩ１〜Ｎ
Ｉ１１で構成され、出力層１４は６個のノードＮＯ１〜
ＮＯ６で構成される。本実施例では中間層１３は１層と
し、構成するノードの数は経験的に１０とした。

【００４２】図３は、識別手段３の機能を説明するため
の図である。識別手段３は、特徴ベクトル（Ｉｆ１，Ｉ
ｆ２，…Ｉｆ６）が入力されると、カテゴリベクトル
（Ｃ１，Ｃ２，…，Ｃ１１）を出力する。識別手段３を
構成するニューラルネットワークは、予め特徴ベクトル
とカテゴリベクトルとの関係を学習させてある。カテゴ
リベクトルは、識別したいカテゴリをニューラルネット
ワークの出力層のノードの状態で表現したものである。
出力層のノードと識別したいカテゴリとを１対１に対応
させている。識別手段３を構成するニューラルネットワ
ークの学習は、たとえば出力層の４番目のノードに対応
したカテゴリを学習させるときは、特徴ベクトルとして
下記の表３に示すベクトルを与えるとともに、教師信号
として下記の表４に示されるカテゴリベクトルを与え
る。

【００４３】

【表３】

【００４４】

【表４】

【００４５】図４は、特徴想起手段５の機能を説明する
ための図である。特徴想起手段５は、カテゴリベクトル
（Ｃ１，Ｃ２，…，Ｃ１１）が入力されると、特徴ベク
トル（Ｏｆ１，Ｏｆ２，…，Ｏｆ６）を出力する。特徴
想起手段５を構成するニューラルネットワークは、予め
カテゴリベクトルと特徴ベクトルとの関係を学習させて
ある。ニューラルネットワークの学習は、カテゴリベク
トルとして下記の表５に示すベクトルを与えるととも
に、教師信号として下記の表６に示される特徴ベクトル
を与えることによって実現される。

【００４６】

【表５】

【００４７】

【表６】

【００４８】図５は、識別結果判定手段４の概略的構成
を示すブロック図である。識別結果判定手段４は、処理
手段２１、レベル弁別手段２２および基準値出力手段２
３を含んで構成される。処理手段２１は、識別手段３か
ら与えられる補正カテゴリベクトルを、前記レベル弁別
手段２２からの弁別結果に基づいて処理した後、最終的
な識別結果として出力する。識別結果には、補正前のカ
テゴリベクトルが含まれる。レベル弁別手段２２は、類
似度算出手段６からの類似度Ｌと、基準値出力手段２３
からの予め定める基準値とをレベル弁別し、類似度Ｌが
大きい場合（類似する度合が大きい場合）は識別結果が
正しいことを表す信号を処理手段２１に出力する。

【００４９】続いて類似度算出手段６について説明す
る。類似度算出手段６は、特徴抽出手段２によって抽出
された特徴ベクトルと、特徴想起手段５によって想起さ
れた特徴ベクトルとの類似度Ｌを算出する。類似度Ｌと
は、２つのベクトルがどれくらい近似しているかを表す
度合であり、種々の計算方法が考えられる。したがっ
て、計算方法によって、類似度Ｌの値が大きければ近似
している場合と、類似度Ｌの値が小さければ近似してい
る場合とがある。類似度Ｌは、たとえば下記の数式（１
１）に従って算出される。

【００５０】

【数３】

【００５１】ただし、ｆｍｉ＝ｍｉｎ（│Ｉｆｉ│，│
Ｏｆｉ│） 上記類似度Ｌは、本願発明者が任意に作成した評価関数
である。この関数は、特徴ベクトルの各成分の相対誤差
の総和を示している。上記式（11）において、ｆｍｉ＝
０のときはその項は無視して計算する。

【００５２】たとえば、（Ｉｆ１，Ｉｆ２，Ｉｆ３，Ｉ
ｆ４，Ｉｆ５，Ｉｆ６）＝（１，２，３，４，５，６）
と、（Ｏｆ１，Ｏｆ２，Ｏｆ３，Ｏｆ４，Ｏｆ５，Ｏｆ
６）＝（２，１，３，２，０，２）との類似度Ｌは、

【００５３】

【数４】

【００５４】となる。

【００５５】類似度Ｌとしては、下記数式（１２）によ
って算出される類似度Ｌａを用いてもよいし、下記の数
式（１３）によって算出されるユークリッド距離Ｌｂを
用いてもよいし、また下記の数式（１４）によって算出
される内積Ｌｃを用いてもよい。

【００５６】

【数５】

【００５７】 Ｌｂ＝｛(Ｉｆ１−Ｏｆ１）²＋（Ｉｆ２−Ｏｆ２）²＋（Ｉｆ３−Ｏｆ３）² ＋(Ｉｆ４−Ｏｆ４)²＋(Ｉｆ５−Ｏｆ５)²＋(Ｉｆ６−Ｏｆ６)²｝^1/2 …（13） Ｌｃ＝Ｉｆ１・Ｏｆ１＋Ｉｆ２・Ｏｆ２＋Ｉｆ３・Ｏｆ３＋Ｉｆ４・Ｏｆ４ ＋Ｉｆ５・Ｏｆ５＋Ｉｆ６・Ｏｆ６ …（14） さらに類似度Ｌとして、たとえばマンハッタン距離、角
度などを用いてもよい。

【００５８】図６は、出力手段７の出力例を示す図であ
る。出力手段７を構成する表示装置の表示画面が図６に
示されている。出力手段７には、入力パターンとして航
空機のシルエット画像であるパターン３１が表示され、
パターン３１の識別結果が識別結果表示欄３２に表示さ
れるとともに、前記識別手段３から出力されるカテゴリ
ベクトルと、カテゴリベクトルの各要素に対応するカテ
ゴリである機種名とがカテゴリベクトル表示欄３３に表
示される。パターン認識装置１の使用者は、出力手段７
の出力結果を見ることによって入力パターンの識別結果
を知ることができる。音声合成装置によって識別結果を
音響化して出力してもよい。

【００５９】図７は、パターン認識装置１の動作を説明
するフローチャートである。ここでは類似度Ｌとしてベ
クトルのユークリッド距離Ｌｂを用いた場合を説明す
る。ステップａ１では、特徴抽出手段２によって入力パ
ターンから特徴量が抽出され、特徴ベクトルが算出され
る。ここでは、たとえば下記の表７に示される入力特徴
ベクトルが算出された場合を想定して説明する。

【００６０】

【表７】

【００６１】ステップａ２では、識別手段３を構成する
ニューラルネットワークによってカテゴリベクトルが算
出される。ここでは、下記の表８に示すカテゴリベクト
ルが算出されたものとする。

【００６２】ステップａ３では、識別手段３においてニ
ューラルネットワークによって算出されたカテゴリベク
トルの中から最大の値を持つカテゴリを検索する。これ
は、カテゴリベクトルの各要素の値を相互に比較するこ
とで簡単に見つけることができる。検索後、表８に示す
ように、最大カテゴリに対応する値を１．０とし、他の
値を０．０とした補正カテゴリベクトルを求める。

【００６３】

【表８】

【００６４】ステップａ４では、識別手段３から出力さ
れる補正カテゴリベクトルを特徴想起手段５に与えるこ
とによって、検索された最大カテゴリの標準的な特徴ベ
クトルを想起する。ここでは前記表７に示される想起特
徴ベクトルが想起されたものとする。

【００６５】ステップａ５では、想起した特徴ベクトル
と算出した特徴ベクトルとの類似度であるユークリッド
距離Ｌｂが算出される。

【００６６】ステップａ６では、識別結果判定手段４が
備えるレベル弁別手段２２において類似度のレベル弁別
が行われる。すなわち算出された距離Ｌｂが予め定める
閾値以下であるかどうかが判断される。判断が肯定の場
合はステップａ７に進み、判断が否定の場合はステップ
ａ８に進む。

【００６７】ステップａ７では、距離Ｌｂが閾値以下の
場合であるので、想起した標準的な特徴ベクトルと算出
した特徴ベクトルとは類似する度合が高く、ニューラル
ネットワークによる識別結果を信頼できるものと判断し
て、最大カテゴリを識別結果として出力する。すなわち
前記表８に示されるカテゴリベクトルに基づいて、前記
の表８に示す識別結果を出力する。

【００６８】ステップａ８では、距離Ｌｂが閾値を超え
た場合であり、想起した標準的な特徴ベクトルと算出し
た特徴ベクトルとは類似する度合が低く、ニューラルネ
ットワークによる識別結果は信頼できないと判断して、
識別結果を棄却し、未知パターンとしての識別結果を出
力する。

【００６９】たとえば、下記の表９に示される入力特徴
ベクトルが抽出されて識別手段３に入力された場合、識
別手段３からは表１０に示されるカテゴリベクトルおよ
び補正カテゴリベクトルが出力される。表１０に示され
る補正カテゴリベクトルを特徴想起手段５に与えること
によって表９に示される想起特徴ベクトルが想起され
る。この場合、表９に示される入力特徴ベクトルと想起
特徴ベクトルとの類似する度合は低いため、識別結果判
定手段４は識別手段３の識別結果を棄却し、表１０に示
される識別結果を出力する。

【００７０】

【表９】

【００７１】

【表１０】

【００７２】ここで、表１０に示されるカテゴリベクト
ルに対して、前述の公開公報に開示されている棄却方法
を適用した場合、最大値０．９９７３８３が他の数値に
比べて充分大きいため、識別結果は棄却されずに、カテ
ゴリＣ９を識別結果として出力し、誤認識が発生する。
しかしながら、本実施例では、当該識別結果は棄却さ
れ、誤認識は発生しない。

【００７３】ステップａ９では、出力手段７によって識
別結果が出力される。識別結果の出力は、表示装置への
表示および音声合成装置による発声などによって実現さ
れる。

【００７４】図８および図９は、パターン認識装置１で
識別結果を棄却したときの出力例を示す図である。図８
および図９は、従来技術で説明した図１１および図１２
にそれぞれ対応している。図８は、未知パターン４６を
識別させた場合であり、識別結果表示欄３２には「未知
パターン」と表示される。カテゴリベクトル表示欄３３
には、前述の表１に示される内容が表示される。

【００７５】図９は、機種Ａ１１の一部が欠落したパタ
ーン４７を識別させた場合であり、未知パターン４６の
場合と同様に識別結果表示欄３２には「未知パターン」
と表示される。カテゴリベクトル表示欄３３には、前述
の表２に示される内容が表示される。

【００７６】ここでは、下記表１１に示される入力特徴
ベクトルおよび想起特徴ベクトルに基づいて、前記数式
（１１）に従って類似度Ｌ＝７．６０が算出される。予
め定めた閾値は、ここでは経験的に２．５に設定されて
いる。したがって、識別手段３による識別結果は棄却さ
れる。

【００７７】

【表１１】

【００７８】このように、従来のパターン認識装置１で
は複数のカテゴリの中のいずれかの機種として認識され
ていたパターンが未知パターンとして認識されており、
パターン認識の精度が向上している。

【００７９】以上のように本実施例によれば、実際の入
力パターンと想起された入力パターンとの類似度に基づ
いて識別結果を判定するので、未知パターンや大きなノ
イズが重畳したパターンなどに対する識別結果を棄却す
ることができ、誤認識の発生を著しく低減することがで
きる。これによって精度の高いパターン認識を実現する
ことができる。

【００８０】また識別手段３および特徴想起手段５にぞ
れぞれニューラルネットワークを使用しているため、高
速かつ汎化性の高いパターン認識を実現することができ
る。さらに、抽出した特徴量と分類させたいカテゴリと
の間のロジックを考えることなく、事例の学習によりそ
れを獲得することができる。このため、識別対象を変更
してもアルゴリズムを新たに考えたり変更したりする必
要がなく、事例を用意し、ニューラルネットワークに学
習させるだけで対応させることができる。このことは特
徴想起手段５についても同様である。このように主要な
認識部分にニューラルネットワークを用いるので、ニュ
ーラルネットワークが持つ、高速処理、汎化能力、事例
学習による入出力特性の獲得、フォールトトレランス性
などの性質を持ったパターン認識装置を実現することが
できる。

【００８１】なお、識別手段３および特徴想起手段５と
して、カテゴリ毎に標準的な特徴ベクトルをルックアッ
プテーブルに格納しておき、逐次検索させるようにして
もよい。

【００８２】本実施例では、パターン認識の一例とし
て、航空機シルエットの画像認識の場合を説明したけれ
ども、その他の物体認識や文字認識などにも使用でき
る。また、画像以外にも、音声、超音波、レーダなどの
電磁気、地震波、地磁気などのパターン識別に用いても
構わない。さらに、これらの複数のパターンを入力する
場合も本発明の適用範囲である。

【００８３】たとえば、文字認識の場合には、画像から
適当な処理によって切り出した文字を正規化した後、特
徴量として縦方向濃淡ヒストグラムなどを、識別手段３
を構成するニューラルネットワークに入力してもよい。
また、音声認識の場合には、音声波形に窓関数を掛けて
切り出した波形からフーリエスペクトルなどの特徴量を
抽出して用いてもよい。

【００８４】上述のＢＰＮＮは、層の数や各層を構成す
るノード数が変わっても同じ効果が得られることは勿論
である。また、ニューラルネットワークをＢＰＮＮとし
て説明したが、シグモイド関数以外の非線形関数を用い
たり、さらにＢＰＮＮ以外の他のどのようなニューラル
ネットワークを使用した場合でも、未知パターンに対す
る誤認識を低減して識別精度を向上させる効果がある。

【００８５】さらに、識別手段３を構成するニューラル
ネットワークの部分を、入力パターンと各カテゴリとの
距離を直接求めない他の識別方法、たとえばベイズ（Ｂ
ａｙｅｓ）識別法などの統計的パターン識別方法に置き
換えても、未知パターンに対する誤認識を低減して識別
精度を向上させる効果がある。これらのパターン認識方
法は、ハードウェアで構成しても構わない。

【００８６】本実施例における特徴想起、比較、判定と
いう操作は、いわゆるパターンマッチング手法と混同さ
れ、処理時間がかかると思われがちであるが、パターン
マッチング手法のように逐次検索をする必要はなく、た
だ１つの特徴量を呼出して計算すればよいので、非常に
高速な処理が実現される。また、識別および想起にそれ
ぞれニューラルネットワークを用いているので、識別と
想起の両方ともが高速処理できるので、高速なパターン
識別ができる。

【００８７】本実施例では、特徴ベクトルとカテゴリと
が１対１の関係であることが必要であるが、厳密に１対
１の関係がなくても識別結果を棄却することができ、誤
認識を低減することができる。

【００８８】また、特徴量に１つまたは複数の適当なパ
ラメータを付加して、そのパラメータとカテゴリベクト
ルを合わせたものを改めてカテゴリベクトルとすること
で、１対１の関係をとることも可能である。この場合に
は、そのパラメータは連続して変化するアナログ量で与
えることができるけれども、この場合は特徴ベクトルの
想起にはルックアップテーブルを用いるよりもニューラ
ルネットワークを用いた方がよい。なぜならば、ニュー
ラルネットワークを識別と想起とに使用することで特徴
ベクトルとカテゴリベクトルの変換を連続量で行うこと
ができ、ニューラルネットワークの汎化能力が活かせる
ためである。

【００８９】

【発明の効果】以上のように本発明によれば、実際に入
力されたパターンと、識別されたカテゴリに基づいて想
起された入力パターンとを比較し、類似度を求め、類似
度の高いときだけ識別手段の出力カテゴリを正しいもの
として出力するので、未知パターンやノイズが重畳され
たパターンなどに対する誤った認識結果を棄却すること
ができ、精度の高い識別を実現することができる。

【００９０】また本発明によれば、入力されたパターン
から、パターンを特徴づける特徴量を要素とする特徴ベ
クトルを算出し、当該特徴ベクトルに基づいて識別を行
うパターン認識装置においても、上述と同様に入力パタ
ーンから算出された特徴ベクトルと、識別手段からのカ
テゴリベクトルに基づいて算出された特徴ベクトルとを
比較して類似度を求め、類似度が高いときだけ識別手段
からの識別結果であるカテゴリベクトルを正しいものと
出力しているので、未知パターンやノイズが重畳された
パターンに対する誤った認識結果を棄却することがで
き、精度の高いパターン認識を実現することができる。

【図面の簡単な説明】

【図１】本発明の一実施例であるパターン認識装置１の
構成を示すブロック図である。

【図２】ニューラルネットワーク１１の構成を示す図で
ある。

【図３】識別手段３の機能を説明するための図である。

【図４】特徴想起手段５の機能を説明するための図であ
る。

【図５】識別結果判定手段４の構成を示すブロック図で
ある。

【図６】出力手段７による識別結果の出力例を示す図で
ある。

【図７】パターン認識装置１の動作を説明するフローチ
ャートである。

【図８】パターン認識装置１において認識結果を棄却し
た際の出力例を示す図である。

【図９】パターン認識装置１において認識結果を棄却し
た際の出力例を示す図である。

【図１０】従来のパターン認識装置４１の構成を示すブ
ロック図である。

【図１１】従来のパターン認識装置４１による識別結果
の表示例を示す図である。

【図１２】従来のパターン認識装置４１による識別結果
の表示例を示す図である。

【符号の説明】

１ パターン認識装置 ２ 特徴抽出手段 ３ 識別手段 ４ 識別結果判定手段 ５ 特徴想起手段 ６ 類似度算出手段 ７ 出力手段 １１ ニューラルネットワーク １２ 入力層 １３ 中間層 １４ 出力層 ２１ 処理手段 ２２ レベル弁別手段 ２３ 基準値出力手段 ３１ パターン ３２ 識別結果表示欄 ３３ カテゴリベクトル表示欄 Ｌ 類似度 ＮＩ１〜ＮＩｍ，ＮＭ，ＮＯ１〜ＮＯｎ ノード

Claims (3)

【特許請求の範囲】
1. 【請求項１】 入力パターンを複数の予め定めた種類の
   カテゴリに識別する識別手段と、 前記識別手段からの出力カテゴリに基づいて、入力パタ
   ーンを想起する想起手段と、 前記入力パターンと前記想起手段からのパターンとを比
   較してパターンの類似度を算出する算出手段と、 前記算出手段からの類似度をレベル弁別し、類似度が高
   いとき、前記識別手段からの出力カテゴリを正しいもの
   として出力する判定手段とを含むことを特徴とするパタ
   ーン認識装置。
2. 【請求項２】 入力パターンから、パターンを特徴づけ
   る特徴量を要素とする特徴ベクトルを算出する特徴抽出
   手段と、 前記特徴抽出手段からの特徴ベクトルに基づいて、入力
   パターンが複数の予め定めた種類のカテゴリのどのカテ
   ゴリに属するかを表現するカテゴリベクトルを算出する
   識別手段と、 前記識別手段からのカテゴリベクトルに基づいて、特徴
   ベクトルを算出する特徴想起手段と、 前記特徴抽出手段からの特徴ベクトルと、前記特徴想起
   手段からの特徴ベクトルとに基づいて、両ベクトルの類
   似度を算出する算出手段と、 前記算出手段からの類似度をレベル弁別し、類似度が高
   いとき、前記識別手段からのカテゴリベクトルによって
   表現されるカテゴリを識別結果として出力する判定手段
   とを含むことを特徴とするパターン認識装置。
3. 【請求項３】 入力パターンを複数の予め定めた種類の
   カテゴリに識別するステップと、 識別したカテゴリに基づいて、入力パターンを想起する
   ステップと、 前記入力パターンと想起されたパターンとを比較してパ
   ターンの類似度を算出するステップと、 算出された類似度をレベル弁別し、類似度が高いとき識
   別したカテゴリを正しいものとして出力するステップと
   を含むことを特徴とするパターン認識方法。