JP3094070B2

JP3094070B2 - 光学的パターン認識分類装置

Info

Publication number: JP3094070B2
Application number: JP03260693A
Authority: JP
Inventors: 武居利治; 竹村安弘
Original assignee: Sumitomo Osaka Cement Co Ltd
Current assignee: Sumitomo Osaka Cement Co Ltd
Priority date: 1991-10-08
Filing date: 1991-10-08
Publication date: 2000-10-03
Anticipated expiration: 2015-10-03
Also published as: JPH05101029A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、物体、文字、音声等の
認識及び情報の検索、推論、連想等に用いられるパター
ン認識及び分類を行なう光学的パターン認識分類装置に
関する。

【０００２】

【従来の技術】近年、認識、連想、推論等のノイマン型
コンピュータにおいて、不得意とされる情報処理を効果
的に行なう方法として、ニューラルネットワーク技術が
注目されている。特に、ニューラルネットワークの学習
手法である誤差逆伝搬学習法（Error Back Propagatio
n:以下ＢＰ法と略記する）を用いて、ネットワーク内の
ユニット（ニューロンをモデルとして通常多入力、出力
の信号処理素子）間の結合荷重を決定することにより、
各入力パターンの特徴を捉えたフレキシブルな認識を行
なうことができる。

【０００３】図２は、従来のニューラルネットワークの
構造を示す構成図である。ＢＰ法による学習を行なうニ
ューラルネットワークでは、通常、ユニットの集合を３
層以上の層構造とし、その内でパターンの信号入力を行
なう層を入力層、認識出力信号を出力する層を出力層、
残りを中間層或いは隠れ層と称する。さて、入力層の各
ユニットから出力された出力値Ｉｎ（ｎ：ユニット番
号）は、中間層ユニットへの伝播し、更に、中間層の各
ユニットから出力された出力値Ｃｎ（ｎ：ユニット番
号）は、出力層の各ユニットへの伝播し、この出力層の
各ユニットから出力値Ｏｎ（ｎ：ユニット番号）が得ら
れる。（図２においては、入力層及び中間層ユニットの
出力が複数のユニットと結合しているので、多出力のよ
うに見えるが、これは、１つのユニットからの出力を複
数のユニットに入力しているためであり、出力値は、１
つのユニットに付き、１つのみである。）このとき、原
則として、同一層内に含まれるユニット同志の結線はな
いものとし、また、出力に近い層から、より入力層に近
い層への信号のフィードバックのないものとする。

【０００４】図２において、各ユニット間の結合は、矢
印で示されており、入力層のユニットと中間層のユニッ
トとの結合荷重値を対応するユニット番号を添え字とし
て、付けたＶｉｊ（ｉ：中間層ユニット番号であり、
ｊ：入力層ユニット番号である）、中間層のユニットと
出力のユニットとの結合荷重値を対応するユニット番号
を添え字として付けたＷｉｊ（ｉ：出力層ユニット番号
であり、ｊ：中間層ユニット番号である）で表わすもの
とする。例えば、入力層ユニット１と中間層ユニット１
との結合荷重値は、Ｖ₁₁と表わされる。また、中間層ユ
ニット３と出力層ユニット５の結合荷重値は、Ｗ₅₃と表
わされる。

【０００５】通常、中間層ユニット及び出力層ユニット
の入力出力特性は、次の式で表わされる。Ｃ_i＝ｆ（ΣＶ_ijＩ_j＋ξ_i）・・・・・・・・・（１）Ｏ_i＝ｆ（ΣＷ_ijＣ_j）＋θ_i）・・・・・・・・（２）ｆ（ｘ）＝１／［１＋ｅｘｐ（ーｘ）］・・・・（３）ここで、ｉ、ｊは、各々、上述のように対応するユニッ
ト番号であり、ξ、θは各々のユニットにおけるバイア
ス値である。また、式（３）に示した関数は、シグモイ
ド関数と呼ばれている。

【０００６】以上に説明したニューラルネットワークの
構成において、ある入力パターン即ち入力層ユニットの
出力ベクトル（Ｉ₁Ｉ₂Ｉ₃Ｉ₄Ｉ₅）を与えたときの
出力層からの所望の出力と、実際の出力Ｏ_i（ここで
は、ｉ＝１、２、・・・５）との各ユニットの誤差の２
乗和が小さくなるように、各ユニット間結合荷重の大き
さを修正することにより、ある入力パターンに対して所
望の出力パターンを出力するニューラルネットワークを
得ることができる。ＢＰは、このときの荷重の修正係数
を計算する方法であり（一般化δルールとも称され
る）、この修正係数を用いて効率よく学習を収束させる
ために、いくつかの方法が提案されている。

【０００７】ところが、上記した階層型のニューラルネ
ットワークの他にも種々のニューラルネットワークが提
案されているが、入力空間内に必要なカテゴリーを割り
当てるようなニューラルネットワークにおいては、入力
空間内のほとんどすべての点は、提示されたカテゴリー
のいずれかに属するように学習される。このようにすれ
ば、ニューラルネットワークに入力されたことがない信
号でもいずれかのカテゴリーの出力を出すことになる。
これをニューラルネットワークの汎化と呼ぶ。

【０００８】ところが、この汎化の状態というのは、学
習の仕方や中間ニューロン数或いは中間ニューロンの組
合わせ方で大きく変わり、実際には、根拠に乏しいもの
であった。従って、ニューラルネットワークがトレーニ
ングデータに対して、収束しても、新しいデータに対し
て、正しい出力を出すことに対する確からしさを保証す
ることは、困難であった。また、画像等の認識や連想を
行なう場合には、画像を構成する画素数が多く入力ニュ
ーロン数が、非常に多くなると、中間ニューロンとの結
線が膨大になり、ニューラルネットワークを実現する際
の大きな障壁となっていた。

【０００９】

【発明が解決しようとする課題】本発明は、上記の問題
点を解決するために為されたもので、ニューラルネット
ワークの出力と入力空間内に設けた認識分類したいパタ
ーンの属する閉領域の入力に対する出力を比較すること
により、被検パターンの認識分類を確実に行なうことが
できる光学的パターン認識分類装置を提供することを目
的とする。

【００１０】

【課題を解決するための手段】本発明は，上記の技術的
な課題の解決のために成されたもので、光学的パターン
認識分類装置において、パターンの認識分類手段がＮ個
の異なるパラメータを座標軸とするＮ次元の入力空間に
おいて、認識分類したいパターンが属する閉領域を前記
認識分類したいパターンの属するカテゴリーの数だけ作
成し、前記Ｎ次元の入力空間すべてを少なくとも前記カ
テゴリーの数に対応した閉領域に分割し、被検パターン
の認識分類を行なうニューラルネットワークと、前記Ｎ
個の異なる入力ユニットに入力される前記認識分類した
いパターンに対応した信号の代表値とバラツキを示す諸
量或いは前記認識分類したいパターンに対応した信号の
第１の代表値と、異なる認識分類したいパターンに対応
した信号の第２の代表値と、前記第１の代表値から最も
近い前記第２の代表値との前記Ｎ次元の入力空間内の距
離を示す諸量とを基準にして、前記認識分類したいパタ
ーンが属する閉領域を作成し、該閉領域との照合によ
り、被検パターンの認識を行なう手段とよりなり、前記
ニューラルネットワークの出力と前記手段の出力とを比
較して前記ニューラルネットワークが出力するカテゴリ
ーと前記手段の出力する照合パターンとの一致度によ
り、前記被検パターンの認識分類を行い、前記ニューラ
ルネットワークが出力するカテゴリーと前記手段の出力
する照合パターンとの一致度が望ましくない場合には、
前記ニューラルネットワークの再学習或いは前記手段に
おける閉領域の追加を行なうことを特徴とする光学的パ
ターン認識分類装置を提供する。

【００１１】更に、前記ニューラルネットワークは、３
層以上の層構造を有するニューラルネットワークが好適
である。そして、前記ニューラルネットワークは、前記
認識分類したいパターンの属するカテゴリーを代表する
前記Ｎ次元の入力空間内の幾つかのポイントからの距離
に準じた量に荷重値を掛けたモーメント量を求め、該モ
ーメント量を、前記ポイントの全てにわたり、加えた関
数を基準にしたニューラルネットワークが好適である。
前記の関数は、前記の認識分類したいパターンの属する
カテゴリーの数を、Ｍ個としたとき、ＬＯＧ₂Ｍの小数
点を切り上げた整数個以上とするものが好適である。ま
た、前記の認識分類したいパターンが属する閉領域を作
成し、該閉領域との照合により前記被検パターンの認識
を行なう手段は、認識分類したいクラス毎に前記Ｎ個の
入力ユニットに対応したメンバーシップ関数を作成した
後、入力信号と認識分類したいクラス毎に割り当てられ
ている前記メンバーシップ関数とのメンバーシップ値を
取り、該メンバーシップ値の最も小さいメンバーシップ
値、又は、該メンバーシップ値の平均値を前記入力信号
の前記認識分類したいクラスに属する程度とするものが
好適である。

【００１２】そして、前記の認識分類したいパターンが
属する閉領域を作成し、該閉領域との照合により前記被
検パターンの認識を行なう手段は、前記代表値からの距
離に準じる量を前記Ｎ次元空間の各座標軸の径とする２
次の閉領域を作成するニューラルネットワークを用い、
前記被検パターンの有する座標値と該閉領域との関係よ
り、前記入力信号の前記認識分類したいクラスに属する
程度とするものが好適である。そして、前記Ｎ個の異な
る入力ユニットへの入力は、認識分類したいクラスに属
するパターンと複数の参照パタ−ンとの光学的相関出力
とするものが好適である。また、前記複数の参照パター
ンとの相関出力は、認識分類したいクラスに属するパタ
ーン若しくは被検パターンとの光学的自己相関出力或い
は相互相関出力のピーク値を取ることが好適である。そ
して、前記複数の参照パターンとの相関出力は、認識分
類したいクラスに属するパターン若しくは被検パターン
と光学的自己相関出力或いは相互相関出力の広がりに応
じた受光範囲の全光量或いは平均光値を取るものが好適
である。また、前記複数の参照パターンとの相関出力
は、認識分類したいクラスに属するパターン若しくは被
検パターンとの光学的自己相関出力或いは相互相関出力
のピーク値と相関出力出力或いは相互相関出力のピーク
値と相関出力の広がりに応じた受光範囲の全光量或いは
平均光量を取ることにより得るものが好適である。

【００１３】前記複数の参照パターンとの相関出力は、
マッチドフィルターを用いて得るものが好適である。そ
して、前記複数の参照パターンとの相関出力は、認識分
類したいクラスに属するパターン若しくは被検パターン
と各参照パターンとの合同フーリエ変換を個別に行なう
ことにより得られた強度パターンを、再び、光学的に個
別にフーリエ変換するか、又は、認識分類したいクラス
に属するパターン若しくは被検パターンと各参照パター
ンとの合同フーリエ変換を一括して行なうことにより得
られた強度パターンを、再び、光学的に一括してフーリ
エ変換することにより得るものが好適である。そして、
前記複数の参照パターンとの相関出力は、光透過率分布
或いは光反射率分布で表された認識分類したいクラスに
属するパターン若しくは被検パターンと各参照パターン
とを重ねインコヒーレント光で照射し、透過或いは反射
してきた光量を取ることにより得るものが好適である。
前記複数の参照パターンとの相関出力は、認識分類した
いクラスに属するパターン若しくは被検パターンのフー
リエ変換面に各参照パターン若しくは各参照パターンの
フーリエ変換パターンの強度パターンを表すマスク或い
は空間光変調器を配置し、該マスク或いは空間光変調器
を透過或いは反射してきた光量を取るか、又は、前記複
数の参照パターンのフーリエ変換面に認識分類したいク
ラスに属するパターン若しくは被検パターンのフーリエ
変換パターンの強度パターンを表したマスク或いは空間
光変調器を配置し、該マスク或いは空間光変調器を透過
或いは反射してきた光量を取ることにより得るものが好
適である。

【００１４】

【作用】上記のような本発明の光学的パターン認識分類
装置によれば、前記ニューラルネットワークでは、Ｎ個
の異なる入力ユニットに入力される信号により、出力し
たいカテゴリー数に対応して入力空間に閉領域が形成さ
れる。一方、前記の閉領域との照合により被検パターン
の認識を行なう手段では、入力ユニットに入力された信
号の代表値（例えば平均値）を中心にしてバラツキを示
す量（例えば標準偏差）だけ広がりを有するメンバ−シ
ップ関数により、入力空間にＮ次元の直方体を、或い
は、前記代表値を中心にバラツキを示す量を径とするＮ
次元の２次閉曲面を入力空間に形成しているので、Ｎ次
元空間内に認識分類したいパターンの占める領域が独立
的に分布している。

【００１５】尚、１つ１つの領域の広がりを示す量をあ
る領域からの距離が最も近い領域との距離の約半分に取
ることもできる。このようにすると、ニューラルネット
ワークでは、入力した信号に基づいてすべての入力空間
を認識分類したいカテゴリーの数の部分領域に分離し、
所謂、汎化を行っているのに対し、後者の手段では、認
識分類したいパターンを入力空間に独立的に分布されて
いるので、入力空間内のある範囲内に存在するパターン
を特定していることになる。従って、汎化と特定化の２
つの関連は、しているが、異なる情報を基準にして、被
検パターンの認識分類の確度をあげることができる。即
ち、ニューラルネットワークの出力値と後者の手段によ
る出力値を比較して、両方共に高い数値を有するものを
認識出力とさせたり、ニューラルネットワークでは、分
類すべきカテゴリーを出力するようにしておけば、ある
入力に対して、ニューラルネットワークの出力は、分類
対象を選び出し、後者の手段からは、認識対象を選び出
すことができる等の使い方ができるのである。

【００１６】更に、前記の汎化と特定化の出力が、望ま
しくない出力を取った場合や、ある入力に対して汎化さ
れたニューラルネットワークからは、何等かの出力を得
るが、特定化されたものからは、入力信号も出ない場合
がある。そのような場合には、入力信号に特定の領域を
割り当てて後者の手段の判断材料を付加したり、ニュー
ラルネットワークの汎化状態を、この入力信号に基づ
き、再学習して変えていくなどの使い方もできる。特
に、入力ユニット数が、少数で、且つ認識分類したいパ
ターン或いはカテゴリーの数が非常に多い場合には、入
力空間に割り振られる各々のパターン或いはカテゴリー
の占有する領域の境界は複雑になるので、入力される信
号の基づき、汎化状態の変更や特定化領域の追加を、行
なうことにより、境界をより明確にすることができる。

【００１７】このような場合として、光学的な相関出力
を入力信号として、被検画像パターン等の膨大な情報を
相関出力に圧縮して、入力することにより、極めて少な
い入力ユニット数で、画像等の膨大な情報量に対する認
識分類を行なう方法を挙げることができる。また、画像
等は、入力面内の特定の場所にあることはないので、入
力面内での移動に対して、位置不変の認識をすることが
望ましいが、相関出力を、そのパターンの広がり以上の
範囲で取ることにより、位置不変性を保持した状態で入
力ユニットに情報を与えることができるので、ニューラ
ルネットワークの負担を大幅に軽減させることができる
のである。

【００１８】次に、本発明の光学的パターン認識分類装
置を具体的に実施例により説明するが、本発明はそれら
によって限定されるものではない。

【００１９】

【実施例１】図１は、本発明の光学的パターン認識分類
装置の１例の構成を説明する模式的構成図である。図１
の光学的配置図において、入力ユニットからの出力は、
２つに分かれ、一方は、入力層、中間層、出力層の３層
構造のニューラルネットワークの入力層に入力され、他
方は、コンピュータに入力される。以下、ニューラルネ
ットワークとコンピュータで行なうことを詳細に述べ
る。

【００２０】簡単のために、入力ユニットは２つで、各
ユニットへの入力信号は、あるシステムの状態を監視す
るセンサＡ、Ｂからの出力信号とする。図３は、このよ
うなセンサＡとセンサＢの出力が、構成する２次元入力
空間と対応するシステムの状態の関係を示した図であ
る。例えば、システムの状態が正常な状態が代表的に
（Ａ１、Ｂ１）で表わされる状態であり、１つの異常状
態が代表的に（Ａ２、Ｂ２）、他の異常状態におけるセ
ンサ出力が代表的に（Ａ３、Ｂ３）であったとする。こ
のとき、各センサ出力は、システムの状態により時々刻
々変化するものであるので、正常状態にあっても（Ａ
１、Ｂ１）の出力値の周りにある大きさの揺らぎを生じ
て分布している。また、異常状態においても同様であ
る。従って、図３に点線で囲むエリア内でシステムの状
態（１、２、３）を示す尺度になる。

【００２１】さて、このようなシステムの状態を、３層
構造のニューラルネットワークでは、入力層ユニット数
２、中間層ユニット数２、出力層ユニット数３でＢＰ法
により学習させた場合、直線で領域区分を行なうので、
図３に示す２つの直線α、βに近い状態で学習が収束す
る。ところが、このような直線で領域区分を行なうと、
例えば、×、△で示されるセンサ出力を得た場合にも、
このニューラルネットワークは、各々、正常状態１、異
常状態２と判断してしまう。これを回避させるために、
中間ユニットの数を非常に大きくして、領域１、２、３
を直線近似により作ることが考えられるが、中間ユニッ
ト数が膨大になり、結線数が多くなってしまう。

【００２２】また、実際には、システムの状態は、もっ
と細かい情報量を必要とするので、識別したい状態の数
は、もっと多いのが普通である。このように、識別した
い状態が多くなると、ほとんど最適な状態に学習が収束
することが不可能になり、所謂、ローカルミニマな状態
に系が収束してしまうことが、多い。但し、学習がうま
く行けば、学習した状態についての情報は確実に識別で
きる状態に系は収束する。ところが、中間ニューロンの
数を如何に多くしても、学習した情報以外の情報につい
ては、所謂、汎化が行なわれているので、センサＡ、Ｂ
の出力状態を何等かの学習時に使用したカテゴリーに割
り振ってしまい、これが正しい出力なのかそうでないの
かを判別することは、ニューラルネットワーク単独では
困難である。

【００２３】一方、コンピュータでは、センサＡ、Ｂの
出力信号を次々に入力し、正常状態における代表値（例
えば平均値）とバラツキ具合（例えば標準偏差値）及
び、異常状態２、３における同様の量を計測しておく。
このように計測された平均値と標準偏差を元にメンバー
シップ関数を台形型として、例えば、平均値から標準偏
差の大きさの範囲までを、メンバーシップ値１とし、標
準偏差の大きさの３倍をメンバーシップ値０として、台
形の斜辺に相当する部分を標準偏差の等倍から３倍まで
とする。図４は、このようにして得た正常状態における
センサＡ、Ｂの出力をメンバーシップ関数として表した
グラフである。同様に、図５、図６は、異常状態２、３
におけるセンサＡ、Ｂの出力をメンバーシップ関数とし
て表したグラフである。このようにして、すべての認識
したい状態についてメンバーシップ関数を作成し、コン
ピュータ内に認識したい状態の情報と共に蓄えておく。
但し、標準偏差量が複数回の試行においれまたまた非常
に小さいということもあるので、若干の補正を加えるこ
とも必要である。尚、図３における四角に囲まれた点線
のエリアは、メンバーシップ値が０になる境界線を示し
ている。

【００２４】また、上記のメンバーシップ関数の作成の
方法については、各状態における代表値（例えば平均
値）を台形のメンバーシップ関数の上辺の中心値とし
て、その代表値間の距離の半分で、メンバーシップ値が
０となるように、各々のメンバーシップ関数を作成して
も良い。この場合には、図３において、隣接した状態間
に入力情報があると、隣接したどちらか近い方の状態を
出力し易くなり、入力の状態により、このようにした方
が良い場合もある。

【００２５】次に、センサＡ、Ｂの未知の出力をコンピ
ュータに取り込み、上記した認識したい状態のメンバー
シップ関数と照合する。例えば、正常状態１、異常状態
２、３のメンバーシップ関数が、各々、図４、図５、図
６に示されたものであるとする。このとき、センサＡの
出力がａでセンサＢの出力がｂであったとする。図７
は、このａ点、ｂ点が各認識したい状態に対して、どの
程度のメンバーシップ値を有するかを示したグラフであ
る。

【００２６】さて、図７に示したメンバーシップ値か
ら、ファジー論理的にＡＮＤの演算を行なえば、各認識
したい状態のメンバーシップの最小値を取ることにな
り、センサＡ、Ｂの出力状態は、正常状態１、異常状態
２、異常状態３に対して、各々、０、０．８、０とな
る。従って、センサＡ、Ｂの状態は、８０％くらいの確
率で異常状態２にあるということができる。以上の手法
を用いると、図３における×や△の状態は、これらのど
の状態にも属さない状態と言うことができる。

【００２７】前記のように、ニューラルネットワークで
は、入力空間を出力カテゴリーの数だけの閉領域で分割
するために、学習に使用したデータ以外の領域も汎化を
行なう。一方、コンピュータでは、入力データの代表値
やバラツキを示す諸量に基づいて、認識領域を決定する
と、特定の認識領域が入力空間内に独立的に形成される
ことになる。

【００２８】そこで、本発明において、特徴的なこと
は、以下に述べるように、ニューラルネットワークの出
力と前記のコンピュータからの出力との間で情報のやり
取りを行なうことである。

【００２９】前記のように、ニューラルネットワークか
らの出力は、汎化されているので、ほとんど確実に前記
した特定領域を含んでいる。従って、認識を行なう場
合、ニューラルネットワークからの出力とコンピュータ
からの出力を比較し、両者の出力が同じであれば、その
出力を認識結果とすることができる。一方、両者の出力
が異なったり、特に、コンピュータからの出力がなかっ
た場合、このシステムが警告を発するようにし、人間が
望ましい出力になるように、特定領域の追加やニューラ
ルネットワークに教師信号として、新たな情報を加える
などの処理をすることができる。これは、従来のニュー
ラルネットワークでは、できなかったことであり、いっ
たん系を収束させた後には、汎化状態にある出力値を常
に出力しており、その出力が正しいか否かの判断をする
ことができなかった。ところが、前記のように、特定領
域は、一種の知識であり、これと汎化、即ち、一種の概
念との相互作用をさせることで、知識及び概念の再構築
を行なうことが可能になったのである。

【００３０】また、認識及び分類を行なうときにも、非
常に大きな効果をもたらす。これは、例えば、ニューラ
ルネットワークにおいては、上位の概念を形成させ、特
定領域は、認識対象そのものを記憶させることで達成さ
せることができる。即ち、［犬］［猫］を［動物］とし
て、［桜］［ひまわり］を［植物］としたとする。この
場合、ニューラルネットワークの出力カテゴリーは、
［動物］［植物］の２つとなり、一方、特定領域は、
［犬］［猫］［桜］［ひまわり］の４つにする。この場
合、入力ユニットに［犬］の情報を入れれば、特定領域
との照合により、［犬］が出力され、ニューラルネット
ワークからは、［動物］が出力される。ところが、異な
る入力を入力すると、特定領域の知識にはないので、コ
ンピュータの出力はないが、ニューラルネットワークの
出力は、［動物］か［植物］を出力する。もし、［動
物］か［植物］のどちらかに属するものであれば、特定
領域の追加を行なうことで、認識対象を増やせば良い
し、それが［動物］ではなく、［植物］であるならば、
ニューラルネットワークの汎化状態を変えるように再学
習することで達成できる。更に、入力されるものがまっ
たく概念形成されていないようなものの場合には、ニュ
ーラルネットワークの出力ニュ−ロン数を増やして、新
しい概念を形成すれば良い。このように、特定領域と汎
化された領域との相互作用を行なうことにより、より確
実な認識分類、特定領域の追加やニューラルネットワー
クの再学習が効率的にしかも確実に行なうことができる
のである。

【００３１】特に、入力ユニット数が、少数で、且つ、
認識分類したいパターン或いはカテゴリーの数が非常に
多い場合には、入力空間に割り振られた各々のパターン
或いはカテゴリーの占有する領域の境界は、複雑になる
ので、入力される信号に基づき、汎化状態の変更や特定
化領域の追加を行なっていくことにより、境界をより明
確にすることができる。前記の装置では、汎化させる領
域を作成する手段として、ニューラルネットワークを用
い、特定領域を作成する手段として、コンピュータを用
いるようにしたが、これらを実質上同じニューラルネッ
トワークを用いて作成することもできる。次に、このよ
うな装置の１例を説明する。

【００３２】

【実施例２】図８は、本発明の別の光学的パターン認識
分類装置の模式的構成図である。本実施例では、ニュー
ラルネットワークは、入力ユニットと第１層、第２層、
第３層及び出力層１、出力層２より成り、簡単のため
に、入力ユニットは２とした。さて、認識したいパター
ンの数を、Ｎ個認識したいパターンを分類するために必
要なカテゴリーの数をＭ個とする。各層に必要なニュ−
ロン数は、第１層がＮ×Ｍ個、第２層がＮ個、出力層１
がＭ個、出力層２がＮ個で、第３層のニューラルネット
ワーク数は、ＬＯＧ₂Ｍの小数点を切り上げた整数個以
上とする。

【００３３】各ニュ−ロン間の結線は、以下のようにな
る。各入力ユニットからは、第１層のニュ−ロンと結合
荷重値１で１対１に結線され、第１層の２つのペアが第
２層のＮ個のニュ−ロンと結合荷重値１で結線され、第
２層から第３層、第３層から出力層１の各層間の結合
は、すべてのニュ−ロン間で結線されている。これらの
層間の結線の荷重値は、後で説明するが、一意に決定す
ることができる。一方、第２層から出力層２へは、結合
荷重値１対１に結線され、更に、出力層２の外にあるバ
イアスを与えるニュ−ロンからも出力層２の各ニュ−ロ
ンの出力値を規定する荷重値で出力層２の各ニュ−ロン
と結線が行なわれている。

【００３４】次に、各層の役割を説明する。図９は、入
力空間が２次元のある前処理をして入力したアルファベ
ットの１５のパターンの分布を示すものである。この前
処理の方法は、実施例３で述べる。さて、入力ユニット
と結線された１組の第１層のニュ−ロンは、２次元入力
空間上の１点、例えば、アルファベットＡの座標値（Ａ
ｘ、Ａｙ）の各座標値と入力ユニットからの出力値
（Ｘ、Ｙ）の各座標値との差の２乗の出力（Ｘ−Ａｘ）
²と（Ｙ−Ａｙ）²を各々出力し、第２層の１つのニュ
−ロンに和の出力、即ち、ある座標と入力座標との距離
の２乗である（Ｘ−Ａｘ）²＋（Ｙ−Ａｙ）²を与え
る。他のアルファベットについても、各々他の１組の第
１層のニュ−ロンと１つの第２層のニュ−ロンを使用し
て、入力座標と各々のアルファベットの座標との距離の
２乗を表現することができる。第２層では、平方根の演
算を行ない、各アルファベットの座標と入力座標との距
離を求めて出力する。この距離の情報を使用して、第３
層の出力層１により、既に、知られているラジアルベイ
シスファンクションの手法(Neural networkand radial
basis functions in classifying static speech patte
rns;Computer Speech and Language(’90) 4.275〜289:
参照)を使用して、第２層と第３層間の結線の荷重値を
決定する。

【００３５】これを図８により説明すると、出力層１の
カテゴリーが４つであるとすると、第３層は、２つのニ
ュ−ロンで十分である。これは、出力カテゴリーを、
（１、−１）、（−１、１）、（１、１）、（−１、−
１）の組合わせで表現することができるからであり、第
３層と出力層の結線の荷重値は、この組合わせで表現し
て、閾値を１．５にすると、入力値に応じて、カテゴリ
ーの１つを必ず表現することになる。さて、第２層と第
３層の結合荷重値は、次のように決定すれば良い。

【００３６】図９に示す例を用いて、これを説明する．
図９は、後に詳細するが、光学的相互相関手法を用い
て、１５個のアルファベットと参照アルファベットＬ、
Ｖに対する相互相関出力値も、各参照アルファベットに
対応した入力ユニットの座標をマッピングしたものであ
る。図９に示すように、１５個のアルファベットが２次
元入力空間に各々別の座標値（Ｘｉ、Ｙｉ）（ｉは１か
ら１５まで整数値をとる）として、表されている。前記
のように、第２層からの出力は、１５個のアルファベッ
トの座標と入力値（Ｘ、Ｙ）の座標との距離を出力して
いる。即ち、第２層の第Ｉ番目の出力値Ｒｉは、Ｒｉ＝√｛（Ｘ−Ｘｉ）²＋（Ｙ−Ｙｉ）²｝（４）を出力する。ここで、ｉは、１から１５までの整数値を
とるものである。さて、第３層の１番目への入力値Ｉ_１
は、距離を示す出力値Ｒｉと荷重値を示すＷｉとの積で
示されるモーメント量を全てのポイントにわたり加えた
関数である。Ｉ_１＝Σ（Ｗｉ₁×Ｒｉ）同様にして、第３層の２番目への入力値Ｉ₂は、Ｉ₂＝Σ（Ｗｉ₂×Ｒｉ）となる。ここで、Ｗｉ₁、Ｗｉ₂は、第２層のｉ番目のニ
ューロンと第３層の１番目及び２番目のニューロンとの
結合荷重値を示している。

【００３７】さて、アルファベット１５文字を出力カテ
ゴリー４つに割り振ると、例えば、１つのアルファベッ
トＡが第３層の出力として、（１、１）のカテゴリーに
属するとすれば、そのアルファベットの入力値（Ａｘ、
Ａｙ）により、（Ｉ₁、Ｉ₂）＝（１、１）となる。但
し、アルファベットＡに対応した距離は０とする。この
ようにすると、１５個のアルファベットの座標値を入力
した場合の第３層への距離Ｒｉが各々求められる。従っ
て、３０個の１次方程式が３０個の未知の荷重値に対し
て、作成されるので、この方程式を解くことにより、一
意的に第２層と第３層のニュ−ロン間の結合荷重値を決
定することができる。更に、第３層の出力値を閾値を０
として、０以上であれば、出力１を、０未満であれば出
力−１を出力するようにすると、入力空間内のすべての
座標を４つのカテゴリーに振り分けることができる。し
かも、各アルファベットの座標を中心とする距離に応じ
て属するカテゴリーが決定されるので、各アルファベッ
トの座標は、設定されたカテゴリーに確実に属させるこ
とができる。

【００３８】一方、第２層からの出力は、前記のよう
に、１５個のアルファベットの座標と入力値（Ｘ、Ｙ）
の座標との距離を出力している。即ち、第２層の第Ｉ番
目の出力値Ｒｉは、Ｒｉ＝√｛（Ｘ−Ｘｉ）²＋（Ｙ−Ｙｉ）²｝（４）を出力している。ここで、ｉは１から１５までの整数値
を取るものである。さて、出力層２の第Ｉ番目のニュ−
ロンのバイアス値をΘｉ（即ち、図８におけるバイアス
ニュ−ロンから出力層２への結合荷重値を表す）とし、
出力層２の第Ｉ番目の出力Ｒｉが、Θｉ未満のとき、発
火し、ＲｉがΘｉ以上のとき、発火しないようにすれ
ば、各アルファベットに対応した出力層２のニュ−ロン
の発火状態を検出することにより、入力されたアルファ
ベットの認識を行なうことができる。しかも、各アルフ
ァベットの座標からの距離に応じてある程度広い範囲の
領域を認識領域としているので、入力されたアルファベ
ットの多少の変形や入力値の揺らぎ等による影響を軽減
することができる。ここで、バイアス値Θｉは、入力デ
ータの代表値やバラツキを示す諸量に基づいて決定され
る。

【００３９】さて、以上のようにして、入力層１では、
出力カテゴリーの決定をすべての入力空間内において行
ない、出力層２では、入力対象の認識を行なうことによ
り、実施例１で述べたように、出力層１では、学習に使
用したデータ以外の領域も汎化し、出力層２では、入力
データの代表値やバラツキを示す諸量に基づいて認識領
域を決定することになるので、特定の認識領域が入力空
間内に独立的に形成されることとなる。以下、汎化領域
と特定領域との相互作用により、より確実な認識分類を
行なわせることができることは、実施例１と同様なので
説明を省略する。但し、本実施例では、同じような機能
を有するニューラルネットワークを用いているので、非
常に簡単な構成にすることができるとともに、ハ−ド化
する際にも非常に簡単になるという利点を有する。

【００４０】尚、前記の実施例１と実施例２で使用した
汎化を行なうニューラルネットワークと特定領域を作成
する手段は、各々別々の手段としたが、これを組合わせ
ても同様なことができる。例えば、特定領域の作成手段
に、実施例１で述べたコンピュータでメンバ−シップ関
数を作成し、汎化領域の作成手段として、実施例２で述
べた距離に準じた量に基づいたニューラルネットワーク
を用いることもできる。また、前記の実施例で、第２層
から出力層２への出力は、基準の量からの距離の値を用
いたが、これに準じる値であれば、どのようなものを用
いても良い。例えば、距離の代わりに、距離の２乗に当
る量でも良い。次に、本実施例の説明で使用した図９の
入力ユニットへの入力手段について述べる。これは、本
発明の方法における入力ユニットへの１つの有力な入力
方法である。実施例１で述べたように、入力ユニット数
に比較して、認識分類したいパターン或いはカテゴリー
の数が非常に多い場合に該当するためである。

【００４１】

【実施例３】一般に、画像等の非常に情報量の多い認識
対象を認識分類するのは、入力ユニット数が非常に多く
なり、ニューラルネットワークを用いると、その結線数
が膨大になることは、良く知られている。そこで、本発
明者らは、光学的相互相関出力を用いて、ニューラルネ
ットワークへの入力としたり、或いは、メンバ−シップ
関数を作成する際の代表値及びバラツキ量を決定するた
めに使用する等を行なっている。（特願平３−４１５２
６の明細書参照）。この方法では、画像等の非常に膨大
な情報量をいくつかの参照パタ−ンとの相互相関出力と
して表すことにより、その参照パタ−ンの数だけの入力
ユニット数で入力パターンを表現することができるの
で、非常に効率的なパターンの認識分類を行なうことが
できる。このような方法を用いれば、本発明での入力ユ
ニットへの入力手段としては、非常に効果が上がるの
で、以下簡単に説明する。

【００４２】即ち、図１０は、本発明の光学的パターン
認識分類装置で使用する光学的相関処理装置の１例の機
能を示す模式的構成図である。図１０の光学的配置にお
いて、光学的相関処理装置は、画像出力手段１、光学的
フーリエ変換手段２、画像出力手段３、光学的フーリエ
変換手段４、光検出手段５とから本質的に構成される既
知の合同フーリエ変換光学系であるので、その構成につ
いて、簡単に説明する。

【００４３】画像表示装置１６に描かれた認識分類した
いパターン１つと参照パタ−ン群をレーザ１１から出射
されたコヒ−レント光束１２で読み出し、フーリエ変換
レンズ２１によりスクリーン３１上に合同フーリエ変換
パターンを作る。この合同フーリエ変換パターンを、２
次元光電変換素子３２で読み込み、液晶駆動回路３３
で、電気アドレス型の液晶パネルライトバルブ（以下Ｌ
ＣＬＶと略称する）３５上に描き、光束３７で読み出
し、フーリエ変換レンズ４１により再びフーリエ変換
し、スクリーン４２上の相関強度を２次元光電変換素子
４３により検出する。

【００４４】本発明の光学的パターン認識分類装置にお
いては、認識分類したいパターンと各参照パタ−ンとの
相関度を、前記光学系により検出した後、認識したいパ
ターン１つ１つに対する各参照パタ−ンとの相互相関出
力を、各参照パタ−ンに対応した図１或いは図８に示し
た入力ユニットに入力することが特徴である。ここで、
前記の相互相関出力が、どのようになるかの１例を具体
的に示す。例えば、参照画像群として、２つの文字パタ
ーンＥ、Ｖを選定し、認識分類したい文字パターンをＨ
として、図１１のように、２つの文字パターンを同心円
上に、認識分類したい文字パターンを同心円の中心に、
画像表示装置１６上に描いたとする。この場合、２次元
光電変換素子４３の出力、即ち、文字パターンＨと各参
照文字パタ−ンとの相関出力は、画像表示装置１６上に
描かれた対応する各参照文字位置に現れ、図１２に示す
ように、光強度として検出される。ここでは、相関出力
強度のピーク値の大きいもの程、大きい丸印で表してい
る。即ち、Ｈを構成する２つの平行線と横棒が、各参照
文字パターンの構成要素の横棒と縦棒と反応した結果、
相関出力強度に図示したような差が生じるためである。
尚、図１２において、光軸上に現れる自己相関は、ここ
では、関係がないので省略してある。

【００４５】さて、このようにして得た相関出力強度の
ピーク値を入力ユニットに送り、更に、識別分類したい
パターンを次々に画像表示装置１６上に提示し、得られ
た相関強度のピーク値を、入力ユニットに次々と入力し
て行く。更に、これらの動作を各識別分類したいパター
ンについて複数回行なう。これは、コヒ−レント光によ
るスペックルノイズや、画像表示装置１６及びＬＣＬＶ
３５の時間的な不安定性や２次元光電変換素子３２の信
号の入力タイミング等の影響により、相関出力強度のピ
ーク値が揺らぐので、唯１回の相関出力値を用いて、認
識分類を行なうと正確な識別分類を行なうことができな
いためである。そこで、実施例１や実施例２で述べたの
と同様に、複数回のデータから各クラスに属するパター
ンに対するピーク値の平均値と標準偏差量を計算し、メ
ンバ−シップ関数を作成したり、各パターンの有する座
標を中心とし、距離に準じた値をＮ次元の入力空間の２
次閉曲面の径にすることにより、特定領域を作成し、前
記の複数回のデータを入力ユニットに入力し、これに基
づいて、ニューラルネットワークを学習して、汎化領域
を作成する。

【００４６】以下、特定領域と汎化領域との相互作用に
よる認識分類方法については、前記の実施例１や２と同
様なので省略する。尚、図９は、入力ユニット１、２に
対する入力値を、各々アルファベットＶ．Ｌに対する各
アルファベットの相互相関出力値として、マッピングし
たものである。この場合にように、入力ユニット数に比
較して認識分類したいパターンが非常に多い場合には、
パターンの占有する入力空間内の領域が複雑になるの
で、入力情報に基づき、汎化状態の変更や特定領域の追
加を行っていくことにより、より確実な境界を決定して
行くことができる。

【００４７】更に、相互相関出力値の取り方としては、
前記のピーク値以外にも、相互相関出力パターンの広が
りに応じた受光範囲の全光量或いはその平均値を併用し
ても良い。さて、ピーク値の場合には、参照パタ−ンと
認識分類したいパターンの重心位置が、一致した点での
重なり具合を示すのに対し、受光範囲の全光量を取る
と、参照パタ−ンと認識分類したいパターンをシフトし
て重ねたパターンができる。従って、ピーク値検出の場
合には、参照パタ−ンとの一致度が、全光量検出の場合
には、参照パタ−ンの一部と認識分類したいパターンと
の一致度が表現されることとなる。どちらの情報とも意
味合いが少し異なる情報として、取り入れることができ
るので、これらを併用すれば、より効果が上がる。

【００４８】尚、合同フーリエ変換光学系においても、
種々の光学系が提案されているが、図１０は、スクリー
ン３１、２次元光電変換素子３２、画像表示装置３３、
電気アドレス型液晶ライトバルブ３５を有する。電気ア
ドレス型液晶ライトバルブの代わりに、光アドレス型液
晶ライトバルブを用いても同様なことができる。前記の
実施例においては、相関出力を得るための光学系として
は、合同フーリエ変換器を用いたが、この場合には、参
照パタ−ンの追加や書き換えが簡単であるという長所を
有する。然し乍ら、分類能力を高めるためには、合同フ
ーリエ変換相関器でない方が良い。この理由は、参照パ
タ−ン群と被検パターンを同時にフーリエ変換すると、
図１０のスクリーン３１上の多重干渉縞パターンのコン
トラスト比が、参照パタ−ン数の増大と共に、低下する
ために、得られる相関出力が低下することにより、メン
バ−シップ関数の割り当てられるダイナミックレンジが
低くなり、実質上のパターン識別能力を低下させること
になるからである。そこで、前記の相関出力の低下を避
ける相関処理方式のほうが、効率的である。次に、この
ような相関処理方式を用いた例を以下に説明する。

【００４９】

【実施例４】図１３は、既知のマッチドフィルタを再生
する光学系を示す。マッチドフィルタ６１は、予め複数
の参照パタ−ンを光学的にフーリエ変換したパターン
を、各参照パタ−ン毎に平面波の照射方向を変えなが
ら、多重記録したものを用いる。図１３に示すように、
レーザ１１より出射された光束１２は、ビームエキスパ
ンダ１３により適当な光束径に広げられ、画像表示装置
１６に描かれた識別分類したパターンを照射する。次
に、パターンの複素振幅分布を有する光束は、フーリエ
変換レンズ２１によりフーリエ変換され、マッチドフィ
ルタ上に描かれた多重干渉縞パターンを照射する。この
とき、識別分類したいパターンと同じ空間周波数スペク
トラムを有する参照パタ−ンからその参照パタ−ンパタ
ーンを作成したときに用いた平面波の方向に回折光が出
射される。この回折光を集光レンズ２２により、スクリ
ーン３１上に集光すれば、一方の回折光は、参照パタ−
ンと識別分類したいパターンとの相互相関パターンにな
り、他方は、コンボリュ−ションとなる。そこで、各参
照パタ−ンによる相互相関出力が現れる位置は、予め分
かっているので、その位置の相関出力強度のピーク値或
いは全光量を測定することができる。

【００５０】以下、他の認識分類したいパターンについ
て同様に相関出力強度を測定し、実施例１や実施例２で
述べるのと同様に、複数回のデータから各クラスに属す
るパターンに対するピーク値や相関出力パターンの広が
りに応じた全光量等の平均値と標準偏差量を計算し、メ
ンバ−シップ関数を作成したり、各パターンの有する座
標を中心として、距離に準じた値をＮ次元の入力空間の
２次閉曲面の径にすることにより、特定領域を作成し、
前記の複数回のデータを入力ユニットに入力し、これに
基づいて、ニューラルネットワークを学習して汎化領域
を作成する。以下、特定領域と汎化領域との相互作用に
よる認識分類手段についは、前記の実施例１や２と同様
なので省略する。

【００５１】さて、この場合、マッチドフィルタには、
各参照パタ−ン同志のフーリエ成分が重畳されていない
ので、相関出力のコントラスト比が、参照パタ−ンを増
加させることにより低下する程度が少なくなる。従っ
て、メンバ−シップ関数の割り当てられるダイナミック
レンジが低下することが少ないので、極めて多くのパタ
ーンを少数の参照パタ−ンで識別することができる。

【００５２】また、同様に、本出願人が平成２年に出願
した合同フーリエ変換装置によっても、同様な効果をも
たらすことができる。詳細な説明は、省略するが、簡単
にして言えば、合同フーリエ変換の各参照パタ−ンと認
識分類したいパターンとの合同フーリエ変換をレンズの
アレイを用いて、個別に同時に並列的に行なうというも
のである。この方法により、各参照パタ−ン同志のフー
リエ変換成分が重なり、参照パタ−ンと認識分類したい
パターンとの相互相関強度のコントラスト比を低下させ
るという問題がなくなる。更に、マッチドフィルタと異
なり、参照パタ−ンの増加や書き換えが可能になるの
で、より柔軟な処理を行なうことができる。例えば、認
識において、予めセットした参照パタ−ンでは完全に分
離が行なえないなどの時に、参照パタ−ンの一部を書き
換えたいなどの要求に答えることができるものである。

【００５３】前記の実施例１、２ともに、コヒ−レント
光学系を基にしているために、入力パターンの並進ズレ
に強いという特徴を有することは言うまでないことであ
る。これは、相関出力位置が入力パターンの並進ズレに
対して、対応して動くからである。

【００５４】次に、簡単で、集積化が比較的に容易な光
学系の１例を挙げる。図１４は、既知のインコヒ−レン
ト系の相関光学系を示す構成図である。光学系として
は、画像表示装置１６と参照パタ−ンマスク６２を近接
して並べ、画像表示装置１６上に描かれたパターンと参
照パタ−ンとの積の出力を集光レンズアレイ７１を用い
て、スクリーン３１上に集光し、２次元光電変換素子４
３により集光された各参照パタ−ンからの出力を検出す
るものである。本実施例では、画像表示装置１６上に
は、参照パタ−ンマスク６２に対応した画素に識別分類
したいパターンをアレイ状に並べて表示することとな
る。この場合、各参照パタ−ンと識別分類したいパター
ンとの相互相関ピークが検出されることになる。以下、
他の認識分類したいパターンについて、同様に、相関出
力強度を測定し、実施例１や実施例２で述べたように、
複数回のデータから各クラスに属するパターンに対する
ピーク値や相関出力パターンの広がりに応じた全光量等
の平均値と標準偏差量を計算し、メンバ−シップ関数を
作成したり、各パターンの有する座標を中心とし、距離
に準じた値をＮ次元の入力空間の２次閉曲線の径とする
ことにより、特定領域を作成し、前記の複数回のデータ
を入力ユニットに入力し、これに基づいて、ニューラル
ネットワークを学習して、汎化領域を作成する。以下、
特定領域と汎化領域との相互作用による認識分類手段に
ついては、前記の実施例１、２と同様なので省略する。

【００５５】この場合には、入力パターンの並進ズレに
対する許容度はまったくなくなってしまうが、非常に簡
単な構成で、しかも、集積化し易いという特徴を有す
る。

【００５６】更に、非常に簡単な構成による被検画像の
入力面内の移動に対して、不変な相関処理光学系につい
て述べる。さて、図１５は、本出願人が別に提案してい
る光学的相互相関処理装置の構成を示す模式的構成図で
ある。図１５の光学的配置において、光学的パターン識
別分類装置は、画像出力手段１’、光学的フーリエ変換
手段２’、画像出力手段３’、光検出手段４’、検出信
号処理手段５’とから本質的に構成されている。パター
ン表示装置１５’に描かれた認識分類したいクラスに属
するパターン１つを、レーザ１１’から出射されたコヒ
−レント光束１２’で読み出し、フーリエ変換レンズ２
１’によりパターン表示装置３１’上にフーリエ変換パ
ターンを作る。

【００５７】一方、コンピュータ５１’内にメモリ−し
てある参照パタ−ンをパターン表示装置１６’に描き、
これをビームスプリッタ１４’で分岐された光束１７’
で読み出し、フーリエ変換レンズ２２’によりスクリー
ン３３’上にフーリエ変換パターンを作る。前記の参照
パタ−ンのフーリエ変換パターンをＣＣＤ等の２次元受
光素子４２’で受光し、パターン表示装置３１’に描
く。この場合、参照パタ−ンのフーリエ変換パターンの
強度パターンが、パターン表示装置３１’上に透過度分
布として描かれるので、認識分類したいクラスに属する
パターンのフーリエ変換パターンは、前記の参照パタ−
ンのフーリエ変換パターンの強度パターンにより変調を
受け、被検パターンと参照パタ−ンの各対応する空間周
波数成分の積が出力され、結像レンズ３２’により、受
光素子４１’で、前記の空間周波数成分の積の和の出力
（被検パターンのフーリエ変換パターンと参照パタ−ン
のフーリエ変換パターンの相互相関出力）を得ることが
できる。このようにして、参照パタ−ンを、パターン表
示装置１６’に次々と提示して、認識分類したいパター
ンについて、繰り返し相互相関出力のデータを取ること
は、実施例１と同様なので省略する。

【００５８】このようにすると、フーリエ変換面３１に
おいては、認識分類したいクラスに属するパターンのフ
ーリエ変換パターンと参照パタ−ンのフーリエ変換パタ
ーンとの相互相関処理が、行なわれていることになるの
で、被検パターンが、入力面内で移動しても、位置不変
性が確保することができる。更に、一般的には、パター
ンを表示する画素数は、非常に多いので、少数の参照パ
タ−ンのフーリエ変換パターンとの相互相関出力に情報
を圧縮することにより、非常に少ない参照パタ−ンのセ
ットで認識分類することができるようになる。以後、識
別分類する方法、即ち、コンピュータ５１により、メン
バ−シップ関数を作成し、照合する方法及びニューラル
ネットワークの入力ニュ−ロンに入力する方法について
も、前記実施例と同様なので省略する。尚、前記実施例
では、参照パタ−ンをパターン表示装置に表示し、フー
リエ変換したパターンを、パターン表示装置３１に表示
していくが、参照パタ−ンを直接パターン表示装置３
１’に表示しても良い。この場合には、被検パターンの
フーリエ変換パターンと、参照パタ−ンとの相互相関演
算も行なう変化となり、参照パタ−ンの幾つかが、互い
に、画素を共有することがなければ、検出される情報量
を完全に直交させることができ、認識分類したパターン
間の直交性が良くなり、分離し易くなるという利点も有
する。

【００５９】更に、実時間で被検パターンの認識を行な
わせることもできる。これは、図１５において、コンピ
ュータ５１’からの信号をパターン表示装置１６’では
なく、パターン表示装置１５’への入力することとし、
パターン表示装置１５’上に異なる参照パタ−ンを図１
６に示すように、同時並列的に表示し、被検パターンを
パターン表示装置上に１つだけ表示することにより達成
することができる。これは、パターン表示装置１５’上
に描かれた個々の参照パタ−ンがフーリエ変換レンズ２
１’により、同時にフーリエ変換され、パターン表示装
置３１’に入力される。一方、被検パターンは、フーリ
エ変換レンズ２２’によりフーリエ変換され、その強度
パターンが２次元受光素子４２’を経て、パターン表示
装置３１’上にマスクパターンとして描かれる。

【００６０】従って、個々の参照パタ−ンのフーリエ変
換パターンは、このマスクにより同時並列的に変調さ
れ、結像レンズ３２’に入力される。この結像レンズ３
２’を受光素子４１’とパターン表示装置１５’とが共
役な関係になるような位置に配置しておけば、受光素子
４１’上には、各参照パタ−ンのパターン表示装置１
５’上の共役な位置に被検パターンのフーリエ変換パタ
ーンの強度パターンで、変調された参照パタ−ンが表示
される。この変調された個々の参照パタ−ンを受光素子
４１’で検出することにより、同時並列的に参照パタ−
ンのフーリエ変換パターンと被検パターンのフーリエ変
換パターンとの相互相関出力を得ることができる。この
場合、更に、参照パタ−ンのセットを予め決めておき、
パターン表示装置１５’の代わりに、写真フィルム等を
用いれば、参照パタ−ンの提示をすることなく、非常に
容易に、完全に並列的な演算をすることができる。

【００６１】尚、本実施例における相関光学系は、どの
ようなものであっても良い。また、本発明の光学的パタ
ーン認識分類装置において、空間光変調器の働きをして
いる部分については、仕様上の差異があるが、原理的に
は、すべて同様の電気アドレス型のもの及び光アドレス
型のものが、使用可能である。また、アナログ的なもの
やデジタル的なものも使用可能である。アナログ的なも
のとしては、以下に述べる大半のデバイスがこれに属す
るが、デジタル的なデバイスとしては、強誘電性材料を
用いたものが、相当する。電気アドレス型の例として
は、前記の液晶ライトバルブの他に、ＰＬＺＴやＫＤ
Ｐ、Ｂｉ₁₂ＳｉＯ₂₀（ＢＳＯ）の電気光学効果を付加し
たものが、良く使用されている。

【００６２】光アドレス型の例でも、電気アドレス型と
同様の材料に、光導電層を組合わせたものが、一般的で
ある。但し、Ｂｉ₁₂ＳｉＯ₂₀（ＢＳＯ）やBaTiO₃等の光
起電力効果を有する結晶では、入力光強度に応じた自発
分極により光誘起屈折率変化を起こすので、光導電層も
付加する必要はない。尚、これらの空間光変調器は、透
過型としても、反射型としても構成することができる。
但し、光アドレス型で読み出し光が、書き込み光の情報
を完全に打ち消してしまうような場合には、読み出し光
と書き込み光の波長域を分離して、読み出し光が、書き
込み情報に影響を与えないようにする等の工夫が必要で
ある。また、電気アドレス型を使用する場合は、その入
力情報を得るための２次元光電変換素子及びそのための
駆動回路が必要になるが、その信号を加工し易いという
利点がある。

【００６３】

【発明の効果】以上説明したように、本発明の光学的パ
ターン認識分類装置により、前記のような効果が得られ
た。それらをまとめると、次のような顕著な技術的効果
となる。即ち、第１に、Ｎ個の入力ユニットに入力され
た信号に基づき、Ｎ次元の入力空間を認識分類したいカ
テゴリー数の部分領域に汎化するニューラルネットワー
クの出力と、Ｎ次元の入力空間のある範囲内に存在する
パターンを特定化する手段からの出力とを比較すること
により、被検パターンの認識分類の確度を大幅に向上さ
せることができた。

【００６４】第２に、ニューラルネットワークの出力値
と、パターンの特定化の手段に基づいた出力値の比較に
より、入力情報が既存の概念や知識にあるかどうかの判
断を半自動的に行なうことができるので、望ましい出力
になるようにニューラルネットワークの汎化状態を変更
したり、特定化の領域の追加を行なうことが効率的に行
なえるようになった。第３に、特に、入力ユニット数が
少数で且つ認識分類したいパターン或いはカテゴリーの
数が、非常に多い場合には、入力空間に割り振られる各
々のパラメータ或いはカテゴリーの占有する領域の境界
は、複雑になるので、入力される信号の基づいた汎化状
態の変更や特定化領域の追加を行っていくことにより、
領域の境界をより明確にできるので、更に、確実な認識
分類の確度を向上させていることができた。

【００６５】第４に、光学的な相互相関出力を入力ユニ
ットへ入力させることにより、画像等の膨大な情報を相
関出力に圧縮することができ、且つ、入力面内のパター
ンの移動に対しても位置不変性を確保することができる
ので、極めて少数の入力ユニット数で、非常に多くの認
識分類したいパターン或いはカテゴリーに対処できると
共に、入力される信号に基づいて汎化状態の変更や特定
化領域の追加を行なっていくことにより、領域の境界
を、より明確にできるので、更に確実な認識分類の確度
を向上させていることができた。

【図面の簡単な説明】

【図１】本発明の光学的パターン認識分類装置の一例の
構成を示す模式的構成図である。

【図２】従来の３層ニューラルネットワーク１例を示す
模式的構成図である。

【図３】本発明に係わる認識分類したいパターンのフー
リエ変換パターンの１例を示した説明図である。

【図４】本発明に用いる参照パターンの１例の分布領域
を示す説明図である。

【図５】本発明に係わる認識分類したいパターンのフー
リエ変換パターンと参照パターンとの相互相関パターン
の１例を示す説明図である。

【図６】本発明に係わる１つの認識分類したいパターン
と参照パターンとの相互相関出力に基づいて作成された
メンバーシップ関数を示す説明図である。

【図７】本発明に係わる別の１つの認識分類したいパタ
ーンと参照パターンとの相互相関出力に基づいて作成さ
れたメンバーシップ関数を示す説明である。

【図８】本発明に係わる更に別のの認識分類したいパタ
ーンと参照パターンとの相互相関出力に基づいて作成さ
れたメンバーシップ関数を示す説明前記である。

【図９】本発明に係わる未知のパターンに対して測定さ
れた相関度が認識分類されるべきパターンに対して有し
たメンバーシップ値を表す説明図である。

【図１０】本発明に係わる参照パターンと認識分類した
いパターンとの相互相関出力をニューラルネットワーク
に入力することを示す説明図である。

【図１１】本発明の光学的パターン認識分類装置の別の
構成を示す模式的構成図である。

【図１２】本発明の光学的パターン認識分類装置の一部
の表示される参照パターンを示す説明図である。

【図１３】本発明の光学的パターン認識分類装置の更に
別の構成を示す模式的構成図である。

【図１４】本発明の光学的パターン認識分類装置の他の
構成を示す模式的構成図である。

【図１５】本発明の光学的パターン認識分類装置の他の
構成を示す模式的構成図である。

【図１６】本発明の光学的パターン認識分類装置の他の
構成を示す模式的構成図である。

【符号の説明】

１、１’、３、３’ 画像出力手段２、２’、４光学的フーリエ
変換手段４’、５光検出手段５’ 検出信号処理手
段１１、１１’ レーザ１２、１２’、１７’、３７光束１３、１３’ ビームエキスパ
ンダ１４、１４’ ビームスプリッ
ター１５’、１６、１６’、３１’ パターン表示装
置２１、２１’、２２’、４１フーリエ変換レ
ンズ２２集光レンズ３２’ 結像レンズ３１、３３’、４２スクリーン３２、４２’、４３２次元受光素子３３画像処理装置及
び液晶駆動回路３４ミラー３５液晶ライトバル
ブ５１、５１’ コンピュータ６１マッチドフィル
タ６２参照パターンマ
スク７１集光レンズアレ
イ

───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06F 15/18 G02F 3/00 502 G06T 7/00 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】光学的パターン認識分類装置において、パ
ターンの認識分類手段がＮ個の異なるパラメータを座標
軸とするＮ次元の入力空間において、認識分類したいパ
ターンが属する閉領域を前記認識分類したいパターンの
属するカテゴリーの数だけ作成し、前記Ｎ次元の入力空
間すべてを少なくとも前記カテゴリーの数に対応した閉
領域に分割し、被検パターンの認識分類を行なうニュー
ラルネットワークと、前記Ｎ個の異なる入力ユニットに
入力される前記認識分類したいパターンに対応した信号
の代表値とバラツキを示す諸量或いは前記認識分類した
いパターンに対応した信号の第１の代表値と、異なる認
識分類したいパターンに対応した信号の第２の代表値
と、前記第１の代表値から最も近い前記第２の代表値と
の前記Ｎ次元の入力空間内の距離を示す諸量とを基準に
して、前記認識分類したいパターンが属する閉領域を作
成し、該閉領域との照合により、被検パターンの認識を
行なう手段とよりなり；前記ニューラルネットワークの
出力と前記手段の出力とを比較して前記ニューラルネッ
トワークが出力するカテゴリーと前記手段の出力する照
合パターンとの一致度により、前記被検パターンの認識
分類を行い；前記ニューラルネットワークが出力するカ
テゴリーと前記手段の出力する照合パターンとの一致度
が望ましくない場合には、前記ニューラルネットワーク
の再学習或いは前記手段における閉領域の追加を行なう
ことを特徴とする光学的パターン認識分類装置。
【請求項２】前記ニューラルネットワークは、３層以上
の層構造を有するニューラルネットワークであることを
特徴とする請求項１に記載の光学的パターン認識分類装
置。
【請求項３】前記ニューラルネットワークは、前記認識
分類したいパターンの属するカテゴリーを代表する前記
Ｎ次元の入力空間内の幾つかのポイントからの距離に準
じた量Ｒｉに荷重値Ｗｉを掛けた量であるモーメント量
を求め、該モーメント量を、前記ポイントの全てにわた
り、加えたものである関数を基準にしたニューラルネッ
トワークであることを特徴とする請求項１に記載の光学
的パターン認識分類装置。
【請求項４】前記の関数は、前記の認識分類したいパタ
ーンの属するカテゴリーの数を、Ｍ個としたとき、ＬＯ
Ｇ₂Ｍの小数点を切り上げた整数個以上とすることを特
徴とする請求項３に記載の光学的パターン認識分類装
置。
【請求項５】前記の認識分類したいパターンが属する閉
領域を作成し、該閉領域との照合により前記被検パター
ンの認識を行なう手段は、認識分類したいクラス毎に前
記Ｎ個の入力ユニットに対応したメンバーシップ関数を
作成した後、入力信号と認識分類したいクラス毎に割り
当てられている前記メンバーシップ関数とのメンバーシ
ップ値を取り、該メンバーシップ値の最も小さいメンバ
ーシップ値、又は、該メンバーシップ値の平均値を前記
入力信号の前記認識分類したいクラスに属する程度とす
ることを特徴とする請求項１〜４のいずれかに記載の光
学的パターン認識分類装置。
【請求項６】前記の認識分類したいパターンが属する閉
領域を作成し、該閉領域との照合により前記被検パター
ンの認識を行なう手段は、前記代表値からの距離に準じ
る量を前記Ｎ次元空間の各座標軸の径とする２次の閉領
域を作成するニューラルネットワークを用い、前記被検
パターンの有する座標値と該閉領域との関係より、前記
入力信号の前記認識分類したいクラスに属する程度とす
ることを特徴とする請求項１〜４のいずれかに記載の光
学的パターン認識分類装置。
【請求項７】前記Ｎ個の異なる入力ユニットへの入力
は、認識分類したいクラスに属するパターンと複数の参
照パタ−ンとの光学的相関出力とすることを特徴とする
請求項１〜６のいずれかに記載の光学的パターン認識分
類装置。
【請求項８】前記複数の参照パターンとの相関出力は、
認識分類したいクラスに属するパターン若しくは被検パ
ターンとの光学的自己相関出力或いは相互相関出力のピ
ーク値を取ることを特徴とする請求項１〜７のいずれか
に記載の光学的パターン認識分類装置。
【請求項９】前記複数の参照パターンとの相関出力は、
認識分類したいクラスに属するパターン若しくは被検パ
ターンと光学的自己相関出力或いは相互相関出力の広が
りに応じた受光範囲の全光量或いは平均光値を取ること
を特徴とする請求項１〜７のいずれかに記載の光学的パ
ターン認識分類装置。
【請求項１０】前記複数の参照パターンとの相関出力
は、認識分類したいクラスに属するパターン若しくは被
検パターンとの光学的自己相関出力或いは相互相関出力
のピーク値と相関出力出力或いは相互相関出力のピーク
値と相関出力の広がりに応じた受光範囲の全光量或いは
平均光量を取ることにより得ることを特徴とする請求項
１〜７のいずれかに記載の光学的パターン認識分類装
置。
【請求項１１】前記複数の参照パターンとの相関出力
は、マッチドフィルターを用いて得ることを特徴とする
請求項１〜１０のいずれかに記載の光学的パターン認識
分類装置。
【請求項１２】前記複数の参照パターンとの相関出力
は、認識分類したいクラスに属するパターン若しくは被
検パターンと各参照パターンとの合同フーリエ変換を個
別に行なうことにより得られた強度パターンを、再び、
光学的に個別にフーリエ変換するか、又は、認識分類し
たいクラスに属するパターン若しくは被検パターンと各
参照パターンとの合同フーリエ変換を一括して行なうこ
とにより得られた強度パターンを、再び、光学的に一括
してフーリエ変換することにより得ることを特徴とする
請求項１〜１０のいずれかに記載の光学的パターン認識
分類装置。
【請求項１３】前記複数の参照パターンとの相関出力
は、光透過率分布或いは光反射率分布で表された認識分
類したいクラスに属するパターン若しくは被検パターン
と各参照パターンとを重ねインコヒーレント光で照射
し、透過或いは反射してきた光量を取ることにより得る
ことを特徴とする請求項１〜１０のいずれかに記載の光
学的パターン認識分類装置。
【請求項１４】前記複数の参照パターンとの相関出力
は、認識分類したいクラスに属するパターン若しくは被
検パターンのフーリエ変換面に各参照パターン若しくは
各参照パターンのフーリエ変換パターンの強度パターン
を表すマスク或いは空間光変調器を配置し、該マスク或
いは空間光変調器を透過或いは反射してきた光量を取る
か、又は、前記複数の参照パターンのフーリエ変換面に
認識分類したいクラスに属するパターン若しくは被検パ
ターンのフーリエ変換パターンの強度パターンを表した
マスク或いは空間光変調器を配置し、該マスク或いは空
間光変調器を透過或いは反射してきた光量を取ることに
より得ることを特徴とする請求項１〜１０のいずれかに
記載の光学的パターン認識分類装置。