JP3094070B2 - 光学的パターン認識分類装置 - Google Patents
光学的パターン認識分類装置Info
- Publication number
- JP3094070B2 JP3094070B2 JP03260693A JP26069391A JP3094070B2 JP 3094070 B2 JP3094070 B2 JP 3094070B2 JP 03260693 A JP03260693 A JP 03260693A JP 26069391 A JP26069391 A JP 26069391A JP 3094070 B2 JP3094070 B2 JP 3094070B2
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- recognized
- output
- classified
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Analysis (AREA)
Description
【0001】
【産業上の利用分野】本発明は、物体、文字、音声等の
認識及び情報の検索、推論、連想等に用いられるパター
ン認識及び分類を行なう光学的パターン認識分類装置に
関する。
認識及び情報の検索、推論、連想等に用いられるパター
ン認識及び分類を行なう光学的パターン認識分類装置に
関する。
【0002】
【従来の技術】近年、認識、連想、推論等のノイマン型
コンピュータにおいて、不得意とされる情報処理を効果
的に行なう方法として、ニューラルネットワーク技術が
注目されている。特に、ニューラルネットワークの学習
手法である誤差逆伝搬学習法(Error Back Propagatio
n:以下BP法と略記する)を用いて、ネットワーク内の
ユニット(ニューロンをモデルとして通常多入力、出力
の信号処理素子)間の結合荷重を決定することにより、
各入力パターンの特徴を捉えたフレキシブルな認識を行
なうことができる。
コンピュータにおいて、不得意とされる情報処理を効果
的に行なう方法として、ニューラルネットワーク技術が
注目されている。特に、ニューラルネットワークの学習
手法である誤差逆伝搬学習法(Error Back Propagatio
n:以下BP法と略記する)を用いて、ネットワーク内の
ユニット(ニューロンをモデルとして通常多入力、出力
の信号処理素子)間の結合荷重を決定することにより、
各入力パターンの特徴を捉えたフレキシブルな認識を行
なうことができる。
【0003】図2は、従来のニューラルネットワークの
構造を示す構成図である。BP法による学習を行なうニ
ューラルネットワークでは、通常、ユニットの集合を3
層以上の層構造とし、その内でパターンの信号入力を行
なう層を入力層、認識出力信号を出力する層を出力層、
残りを中間層或いは隠れ層と称する。さて、入力層の各
ユニットから出力された出力値In(n:ユニット番
号)は、中間層ユニットへの伝播し、更に、中間層の各
ユニットから出力された出力値Cn(n:ユニット番
号)は、出力層の各ユニットへの伝播し、この出力層の
各ユニットから出力値On(n:ユニット番号)が得ら
れる。(図2においては、入力層及び中間層ユニットの
出力が複数のユニットと結合しているので、多出力のよ
うに見えるが、これは、1つのユニットからの出力を複
数のユニットに入力しているためであり、出力値は、1
つのユニットに付き、1つのみである。)このとき、原
則として、同一層内に含まれるユニット同志の結線はな
いものとし、また、出力に近い層から、より入力層に近
い層への信号のフィードバックのないものとする。
構造を示す構成図である。BP法による学習を行なうニ
ューラルネットワークでは、通常、ユニットの集合を3
層以上の層構造とし、その内でパターンの信号入力を行
なう層を入力層、認識出力信号を出力する層を出力層、
残りを中間層或いは隠れ層と称する。さて、入力層の各
ユニットから出力された出力値In(n:ユニット番
号)は、中間層ユニットへの伝播し、更に、中間層の各
ユニットから出力された出力値Cn(n:ユニット番
号)は、出力層の各ユニットへの伝播し、この出力層の
各ユニットから出力値On(n:ユニット番号)が得ら
れる。(図2においては、入力層及び中間層ユニットの
出力が複数のユニットと結合しているので、多出力のよ
うに見えるが、これは、1つのユニットからの出力を複
数のユニットに入力しているためであり、出力値は、1
つのユニットに付き、1つのみである。)このとき、原
則として、同一層内に含まれるユニット同志の結線はな
いものとし、また、出力に近い層から、より入力層に近
い層への信号のフィードバックのないものとする。
【0004】図2において、各ユニット間の結合は、矢
印で示されており、入力層のユニットと中間層のユニッ
トとの結合荷重値を対応するユニット番号を添え字とし
て、付けたVij(i:中間層ユニット番号であり、
j:入力層ユニット番号である)、中間層のユニットと
出力のユニットとの結合荷重値を対応するユニット番号
を添え字として付けたWij(i:出力層ユニット番号
であり、j:中間層ユニット番号である)で表わすもの
とする。例えば、入力層ユニット1と中間層ユニット1
との結合荷重値は、V11と表わされる。また、中間層ユ
ニット3と出力層ユニット5の結合荷重値は、W53と表
わされる。
印で示されており、入力層のユニットと中間層のユニッ
トとの結合荷重値を対応するユニット番号を添え字とし
て、付けたVij(i:中間層ユニット番号であり、
j:入力層ユニット番号である)、中間層のユニットと
出力のユニットとの結合荷重値を対応するユニット番号
を添え字として付けたWij(i:出力層ユニット番号
であり、j:中間層ユニット番号である)で表わすもの
とする。例えば、入力層ユニット1と中間層ユニット1
との結合荷重値は、V11と表わされる。また、中間層ユ
ニット3と出力層ユニット5の結合荷重値は、W53と表
わされる。
【0005】通常、中間層ユニット及び出力層ユニット
の入力出力特性は、次の式で表わされる。 Ci =f(ΣVijIj+ξi)・・・・・・・・・(1) Oi =f(ΣWijCj)+θi)・・・・・・・・(2) f(x)=1/[1+exp(ーx)]・・・・(3) ここで、i、jは、各々、上述のように対応するユニッ
ト番号であり、ξ、θは各々のユニットにおけるバイア
ス値である。また、式(3)に示した関数は、シグモイ
ド関数と呼ばれている。
の入力出力特性は、次の式で表わされる。 Ci =f(ΣVijIj+ξi)・・・・・・・・・(1) Oi =f(ΣWijCj)+θi)・・・・・・・・(2) f(x)=1/[1+exp(ーx)]・・・・(3) ここで、i、jは、各々、上述のように対応するユニッ
ト番号であり、ξ、θは各々のユニットにおけるバイア
ス値である。また、式(3)に示した関数は、シグモイ
ド関数と呼ばれている。
【0006】以上に説明したニューラルネットワークの
構成において、ある入力パターン即ち入力層ユニットの
出力ベクトル(I1 I2 I3 I4 I5 )を与えたときの
出力層からの所望の出力と、実際の出力Oi (ここで
は、i=1、2、・・・5)との各ユニットの誤差の2
乗和が小さくなるように、各ユニット間結合荷重の大き
さを修正することにより、ある入力パターンに対して所
望の出力パターンを出力するニューラルネットワークを
得ることができる。BPは、このときの荷重の修正係数
を計算する方法であり(一般化δルールとも称され
る)、この修正係数を用いて効率よく学習を収束させる
ために、いくつかの方法が提案されている。
構成において、ある入力パターン即ち入力層ユニットの
出力ベクトル(I1 I2 I3 I4 I5 )を与えたときの
出力層からの所望の出力と、実際の出力Oi (ここで
は、i=1、2、・・・5)との各ユニットの誤差の2
乗和が小さくなるように、各ユニット間結合荷重の大き
さを修正することにより、ある入力パターンに対して所
望の出力パターンを出力するニューラルネットワークを
得ることができる。BPは、このときの荷重の修正係数
を計算する方法であり(一般化δルールとも称され
る)、この修正係数を用いて効率よく学習を収束させる
ために、いくつかの方法が提案されている。
【0007】ところが、上記した階層型のニューラルネ
ットワークの他にも種々のニューラルネットワークが提
案されているが、入力空間内に必要なカテゴリーを割り
当てるようなニューラルネットワークにおいては、入力
空間内のほとんどすべての点は、提示されたカテゴリー
のいずれかに属するように学習される。このようにすれ
ば、ニューラルネットワークに入力されたことがない信
号でもいずれかのカテゴリーの出力を出すことになる。
これをニューラルネットワークの汎化と呼ぶ。
ットワークの他にも種々のニューラルネットワークが提
案されているが、入力空間内に必要なカテゴリーを割り
当てるようなニューラルネットワークにおいては、入力
空間内のほとんどすべての点は、提示されたカテゴリー
のいずれかに属するように学習される。このようにすれ
ば、ニューラルネットワークに入力されたことがない信
号でもいずれかのカテゴリーの出力を出すことになる。
これをニューラルネットワークの汎化と呼ぶ。
【0008】ところが、この汎化の状態というのは、学
習の仕方や中間ニューロン数或いは中間ニューロンの組
合わせ方で大きく変わり、実際には、根拠に乏しいもの
であった。従って、ニューラルネットワークがトレーニ
ングデータに対して、収束しても、新しいデータに対し
て、正しい出力を出すことに対する確からしさを保証す
ることは、困難であった。また、画像等の認識や連想を
行なう場合には、画像を構成する画素数が多く入力ニュ
ーロン数が、非常に多くなると、中間ニューロンとの結
線が膨大になり、ニューラルネットワークを実現する際
の大きな障壁となっていた。
習の仕方や中間ニューロン数或いは中間ニューロンの組
合わせ方で大きく変わり、実際には、根拠に乏しいもの
であった。従って、ニューラルネットワークがトレーニ
ングデータに対して、収束しても、新しいデータに対し
て、正しい出力を出すことに対する確からしさを保証す
ることは、困難であった。また、画像等の認識や連想を
行なう場合には、画像を構成する画素数が多く入力ニュ
ーロン数が、非常に多くなると、中間ニューロンとの結
線が膨大になり、ニューラルネットワークを実現する際
の大きな障壁となっていた。
【0009】
【発明が解決しようとする課題】本発明は、上記の問題
点を解決するために為されたもので、ニューラルネット
ワークの出力と入力空間内に設けた認識分類したいパタ
ーンの属する閉領域の入力に対する出力を比較すること
により、被検パターンの認識分類を確実に行なうことが
できる光学的パターン認識分類装置を提供することを目
的とする。
点を解決するために為されたもので、ニューラルネット
ワークの出力と入力空間内に設けた認識分類したいパタ
ーンの属する閉領域の入力に対する出力を比較すること
により、被検パターンの認識分類を確実に行なうことが
できる光学的パターン認識分類装置を提供することを目
的とする。
【0010】
【課題を解決するための手段】本発明は,上記の技術的
な課題の解決のために成されたもので、光学的パターン
認識分類装置において、パターンの認識分類手段がN個
の異なるパラメータを座標軸とするN次元の入力空間に
おいて、認識分類したいパターンが属する閉領域を前記
認識分類したいパターンの属するカテゴリーの数だけ作
成し、前記N次元の入力空間すべてを少なくとも前記カ
テゴリーの数に対応した閉領域に分割し、被検パターン
の認識分類を行なうニューラルネットワークと、前記N
個の異なる入力ユニットに入力される前記認識分類した
いパターンに対応した信号の代表値とバラツキを示す諸
量或いは前記認識分類したいパターンに対応した信号の
第1の代表値と、異なる認識分類したいパターンに対応
した信号の第2の代表値と、前記第1の代表値から最も
近い前記第2の代表値との前記N次元の入力空間内の距
離を示す諸量とを基準にして、前記認識分類したいパタ
ーンが属する閉領域を作成し、該閉領域との照合によ
り、被検パターンの認識を行なう手段とよりなり、前記
ニューラルネットワークの出力と前記手段の出力とを比
較して前記ニューラルネットワークが出力するカテゴリ
ーと前記手段の出力する照合パターンとの一致度によ
り、前記被検パターンの認識分類を行い、前記ニューラ
ルネットワークが出力するカテゴリーと前記手段の出力
する照合パターンとの一致度が望ましくない場合には、
前記ニューラルネットワークの再学習或いは前記手段に
おける閉領域の追加を行なうことを特徴とする光学的パ
ターン認識分類装置を提供する。
な課題の解決のために成されたもので、光学的パターン
認識分類装置において、パターンの認識分類手段がN個
の異なるパラメータを座標軸とするN次元の入力空間に
おいて、認識分類したいパターンが属する閉領域を前記
認識分類したいパターンの属するカテゴリーの数だけ作
成し、前記N次元の入力空間すべてを少なくとも前記カ
テゴリーの数に対応した閉領域に分割し、被検パターン
の認識分類を行なうニューラルネットワークと、前記N
個の異なる入力ユニットに入力される前記認識分類した
いパターンに対応した信号の代表値とバラツキを示す諸
量或いは前記認識分類したいパターンに対応した信号の
第1の代表値と、異なる認識分類したいパターンに対応
した信号の第2の代表値と、前記第1の代表値から最も
近い前記第2の代表値との前記N次元の入力空間内の距
離を示す諸量とを基準にして、前記認識分類したいパタ
ーンが属する閉領域を作成し、該閉領域との照合によ
り、被検パターンの認識を行なう手段とよりなり、前記
ニューラルネットワークの出力と前記手段の出力とを比
較して前記ニューラルネットワークが出力するカテゴリ
ーと前記手段の出力する照合パターンとの一致度によ
り、前記被検パターンの認識分類を行い、前記ニューラ
ルネットワークが出力するカテゴリーと前記手段の出力
する照合パターンとの一致度が望ましくない場合には、
前記ニューラルネットワークの再学習或いは前記手段に
おける閉領域の追加を行なうことを特徴とする光学的パ
ターン認識分類装置を提供する。
【0011】更に、前記ニューラルネットワークは、3
層以上の層構造を有するニューラルネットワークが好適
である。そして、前記ニューラルネットワークは、前記
認識分類したいパターンの属するカテゴリーを代表する
前記N次元の入力空間内の幾つかのポイントからの距離
に準じた量に荷重値を掛けたモーメント量を求め、該モ
ーメント量を、前記ポイントの全てにわたり、加えた関
数を基準にしたニューラルネットワークが好適である。
前記の関数は、前記の認識分類したいパターンの属する
カテゴリーの数を、M個としたとき、LOG2 Mの小数
点を切り上げた整数個以上とするものが好適である。ま
た、前記の認識分類したいパターンが属する閉領域を作
成し、該閉領域との照合により前記被検パターンの認識
を行なう手段は、認識分類したいクラス毎に前記N個の
入力ユニットに対応したメンバーシップ関数を作成した
後、入力信号と認識分類したいクラス毎に割り当てられ
ている前記メンバーシップ関数とのメンバーシップ値を
取り、該メンバーシップ値の最も小さいメンバーシップ
値、又は、該メンバーシップ値の平均値を前記入力信号
の前記認識分類したいクラスに属する程度とするものが
好適である。
層以上の層構造を有するニューラルネットワークが好適
である。そして、前記ニューラルネットワークは、前記
認識分類したいパターンの属するカテゴリーを代表する
前記N次元の入力空間内の幾つかのポイントからの距離
に準じた量に荷重値を掛けたモーメント量を求め、該モ
ーメント量を、前記ポイントの全てにわたり、加えた関
数を基準にしたニューラルネットワークが好適である。
前記の関数は、前記の認識分類したいパターンの属する
カテゴリーの数を、M個としたとき、LOG2 Mの小数
点を切り上げた整数個以上とするものが好適である。ま
た、前記の認識分類したいパターンが属する閉領域を作
成し、該閉領域との照合により前記被検パターンの認識
を行なう手段は、認識分類したいクラス毎に前記N個の
入力ユニットに対応したメンバーシップ関数を作成した
後、入力信号と認識分類したいクラス毎に割り当てられ
ている前記メンバーシップ関数とのメンバーシップ値を
取り、該メンバーシップ値の最も小さいメンバーシップ
値、又は、該メンバーシップ値の平均値を前記入力信号
の前記認識分類したいクラスに属する程度とするものが
好適である。
【0012】そして、前記の認識分類したいパターンが
属する閉領域を作成し、該閉領域との照合により前記被
検パターンの認識を行なう手段は、前記代表値からの距
離に準じる量を前記N次元空間の各座標軸の径とする2
次の閉領域を作成するニューラルネットワークを用い、
前記被検パターンの有する座標値と該閉領域との関係よ
り、前記入力信号の前記認識分類したいクラスに属する
程度とするものが好適である。そして、前記N個の異な
る入力ユニットへの入力は、認識分類したいクラスに属
するパターンと複数の参照パタ−ンとの光学的相関出力
とするものが好適である。また、前記複数の参照パター
ンとの相関出力は、認識分類したいクラスに属するパタ
ーン若しくは被検パターンとの光学的自己相関出力或い
は相互相関出力のピーク値を取ることが好適である。そ
して、前記複数の参照パターンとの相関出力は、認識分
類したいクラスに属するパターン若しくは被検パターン
と光学的自己相関出力或いは相互相関出力の広がりに応
じた受光範囲の全光量或いは平均光値を取るものが好適
である。また、前記複数の参照パターンとの相関出力
は、認識分類したいクラスに属するパターン若しくは被
検パターンとの光学的自己相関出力或いは相互相関出力
のピーク値と相関出力出力或いは相互相関出力のピーク
値と相関出力の広がりに応じた受光範囲の全光量或いは
平均光量を取ることにより得るものが好適である。
属する閉領域を作成し、該閉領域との照合により前記被
検パターンの認識を行なう手段は、前記代表値からの距
離に準じる量を前記N次元空間の各座標軸の径とする2
次の閉領域を作成するニューラルネットワークを用い、
前記被検パターンの有する座標値と該閉領域との関係よ
り、前記入力信号の前記認識分類したいクラスに属する
程度とするものが好適である。そして、前記N個の異な
る入力ユニットへの入力は、認識分類したいクラスに属
するパターンと複数の参照パタ−ンとの光学的相関出力
とするものが好適である。また、前記複数の参照パター
ンとの相関出力は、認識分類したいクラスに属するパタ
ーン若しくは被検パターンとの光学的自己相関出力或い
は相互相関出力のピーク値を取ることが好適である。そ
して、前記複数の参照パターンとの相関出力は、認識分
類したいクラスに属するパターン若しくは被検パターン
と光学的自己相関出力或いは相互相関出力の広がりに応
じた受光範囲の全光量或いは平均光値を取るものが好適
である。また、前記複数の参照パターンとの相関出力
は、認識分類したいクラスに属するパターン若しくは被
検パターンとの光学的自己相関出力或いは相互相関出力
のピーク値と相関出力出力或いは相互相関出力のピーク
値と相関出力の広がりに応じた受光範囲の全光量或いは
平均光量を取ることにより得るものが好適である。
【0013】前記複数の参照パターンとの相関出力は、
マッチドフィルターを用いて得るものが好適である。そ
して、前記複数の参照パターンとの相関出力は、認識分
類したいクラスに属するパターン若しくは被検パターン
と各参照パターンとの合同フーリエ変換を個別に行なう
ことにより得られた強度パターンを、再び、光学的に個
別にフーリエ変換するか、又は、認識分類したいクラス
に属するパターン若しくは被検パターンと各参照パター
ンとの合同フーリエ変換を一括して行なうことにより得
られた強度パターンを、再び、光学的に一括してフーリ
エ変換することにより得るものが好適である。そして、
前記複数の参照パターンとの相関出力は、光透過率分布
或いは光反射率分布で表された認識分類したいクラスに
属するパターン若しくは被検パターンと各参照パターン
とを重ねインコヒーレント光で照射し、透過或いは反射
してきた光量を取ることにより得るものが好適である。
前記複数の参照パターンとの相関出力は、認識分類した
いクラスに属するパターン若しくは被検パターンのフー
リエ変換面に各参照パターン若しくは各参照パターンの
フーリエ変換パターンの強度パターンを表すマスク或い
は空間光変調器を配置し、該マスク或いは空間光変調器
を透過或いは反射してきた光量を取るか、又は、前記複
数の参照パターンのフーリエ変換面に認識分類したいク
ラスに属するパターン若しくは被検パターンのフーリエ
変換パターンの強度パターンを表したマスク或いは空間
光変調器を配置し、該マスク或いは空間光変調器を透過
或いは反射してきた光量を取ることにより得るものが好
適である。
マッチドフィルターを用いて得るものが好適である。そ
して、前記複数の参照パターンとの相関出力は、認識分
類したいクラスに属するパターン若しくは被検パターン
と各参照パターンとの合同フーリエ変換を個別に行なう
ことにより得られた強度パターンを、再び、光学的に個
別にフーリエ変換するか、又は、認識分類したいクラス
に属するパターン若しくは被検パターンと各参照パター
ンとの合同フーリエ変換を一括して行なうことにより得
られた強度パターンを、再び、光学的に一括してフーリ
エ変換することにより得るものが好適である。そして、
前記複数の参照パターンとの相関出力は、光透過率分布
或いは光反射率分布で表された認識分類したいクラスに
属するパターン若しくは被検パターンと各参照パターン
とを重ねインコヒーレント光で照射し、透過或いは反射
してきた光量を取ることにより得るものが好適である。
前記複数の参照パターンとの相関出力は、認識分類した
いクラスに属するパターン若しくは被検パターンのフー
リエ変換面に各参照パターン若しくは各参照パターンの
フーリエ変換パターンの強度パターンを表すマスク或い
は空間光変調器を配置し、該マスク或いは空間光変調器
を透過或いは反射してきた光量を取るか、又は、前記複
数の参照パターンのフーリエ変換面に認識分類したいク
ラスに属するパターン若しくは被検パターンのフーリエ
変換パターンの強度パターンを表したマスク或いは空間
光変調器を配置し、該マスク或いは空間光変調器を透過
或いは反射してきた光量を取ることにより得るものが好
適である。
【0014】
【作用】上記のような本発明の光学的パターン認識分類
装置によれば、前記ニューラルネットワークでは、N個
の異なる入力ユニットに入力される信号により、出力し
たいカテゴリー数に対応して入力空間に閉領域が形成さ
れる。一方、前記の閉領域との照合により被検パターン
の認識を行なう手段では、入力ユニットに入力された信
号の代表値(例えば平均値)を中心にしてバラツキを示
す量(例えば標準偏差)だけ広がりを有するメンバ−シ
ップ関数により、入力空間にN次元の直方体を、或い
は、前記代表値を中心にバラツキを示す量を径とするN
次元の2次閉曲面を入力空間に形成しているので、N次
元空間内に認識分類したいパターンの占める領域が独立
的に分布している。
装置によれば、前記ニューラルネットワークでは、N個
の異なる入力ユニットに入力される信号により、出力し
たいカテゴリー数に対応して入力空間に閉領域が形成さ
れる。一方、前記の閉領域との照合により被検パターン
の認識を行なう手段では、入力ユニットに入力された信
号の代表値(例えば平均値)を中心にしてバラツキを示
す量(例えば標準偏差)だけ広がりを有するメンバ−シ
ップ関数により、入力空間にN次元の直方体を、或い
は、前記代表値を中心にバラツキを示す量を径とするN
次元の2次閉曲面を入力空間に形成しているので、N次
元空間内に認識分類したいパターンの占める領域が独立
的に分布している。
【0015】尚、1つ1つの領域の広がりを示す量をあ
る領域からの距離が最も近い領域との距離の約半分に取
ることもできる。このようにすると、ニューラルネット
ワークでは、入力した信号に基づいてすべての入力空間
を認識分類したいカテゴリーの数の部分領域に分離し、
所謂、汎化を行っているのに対し、後者の手段では、認
識分類したいパターンを入力空間に独立的に分布されて
いるので、入力空間内のある範囲内に存在するパターン
を特定していることになる。従って、汎化と特定化の2
つの関連は、しているが、異なる情報を基準にして、被
検パターンの認識分類の確度をあげることができる。即
ち、ニューラルネットワークの出力値と後者の手段によ
る出力値を比較して、両方共に高い数値を有するものを
認識出力とさせたり、ニューラルネットワークでは、分
類すべきカテゴリーを出力するようにしておけば、ある
入力に対して、ニューラルネットワークの出力は、分類
対象を選び出し、後者の手段からは、認識対象を選び出
すことができる等の使い方ができるのである。
る領域からの距離が最も近い領域との距離の約半分に取
ることもできる。このようにすると、ニューラルネット
ワークでは、入力した信号に基づいてすべての入力空間
を認識分類したいカテゴリーの数の部分領域に分離し、
所謂、汎化を行っているのに対し、後者の手段では、認
識分類したいパターンを入力空間に独立的に分布されて
いるので、入力空間内のある範囲内に存在するパターン
を特定していることになる。従って、汎化と特定化の2
つの関連は、しているが、異なる情報を基準にして、被
検パターンの認識分類の確度をあげることができる。即
ち、ニューラルネットワークの出力値と後者の手段によ
る出力値を比較して、両方共に高い数値を有するものを
認識出力とさせたり、ニューラルネットワークでは、分
類すべきカテゴリーを出力するようにしておけば、ある
入力に対して、ニューラルネットワークの出力は、分類
対象を選び出し、後者の手段からは、認識対象を選び出
すことができる等の使い方ができるのである。
【0016】更に、前記の汎化と特定化の出力が、望ま
しくない出力を取った場合や、ある入力に対して汎化さ
れたニューラルネットワークからは、何等かの出力を得
るが、特定化されたものからは、入力信号も出ない場合
がある。そのような場合には、入力信号に特定の領域を
割り当てて後者の手段の判断材料を付加したり、ニュー
ラルネットワークの汎化状態を、この入力信号に基づ
き、再学習して変えていくなどの使い方もできる。特
に、入力ユニット数が、少数で、且つ認識分類したいパ
ターン或いはカテゴリーの数が非常に多い場合には、入
力空間に割り振られる各々のパターン或いはカテゴリー
の占有する領域の境界は複雑になるので、入力される信
号の基づき、汎化状態の変更や特定化領域の追加を、行
なうことにより、境界をより明確にすることができる。
しくない出力を取った場合や、ある入力に対して汎化さ
れたニューラルネットワークからは、何等かの出力を得
るが、特定化されたものからは、入力信号も出ない場合
がある。そのような場合には、入力信号に特定の領域を
割り当てて後者の手段の判断材料を付加したり、ニュー
ラルネットワークの汎化状態を、この入力信号に基づ
き、再学習して変えていくなどの使い方もできる。特
に、入力ユニット数が、少数で、且つ認識分類したいパ
ターン或いはカテゴリーの数が非常に多い場合には、入
力空間に割り振られる各々のパターン或いはカテゴリー
の占有する領域の境界は複雑になるので、入力される信
号の基づき、汎化状態の変更や特定化領域の追加を、行
なうことにより、境界をより明確にすることができる。
【0017】このような場合として、光学的な相関出力
を入力信号として、被検画像パターン等の膨大な情報を
相関出力に圧縮して、入力することにより、極めて少な
い入力ユニット数で、画像等の膨大な情報量に対する認
識分類を行なう方法を挙げることができる。また、画像
等は、入力面内の特定の場所にあることはないので、入
力面内での移動に対して、位置不変の認識をすることが
望ましいが、相関出力を、そのパターンの広がり以上の
範囲で取ることにより、位置不変性を保持した状態で入
力ユニットに情報を与えることができるので、ニューラ
ルネットワークの負担を大幅に軽減させることができる
のである。
を入力信号として、被検画像パターン等の膨大な情報を
相関出力に圧縮して、入力することにより、極めて少な
い入力ユニット数で、画像等の膨大な情報量に対する認
識分類を行なう方法を挙げることができる。また、画像
等は、入力面内の特定の場所にあることはないので、入
力面内での移動に対して、位置不変の認識をすることが
望ましいが、相関出力を、そのパターンの広がり以上の
範囲で取ることにより、位置不変性を保持した状態で入
力ユニットに情報を与えることができるので、ニューラ
ルネットワークの負担を大幅に軽減させることができる
のである。
【0018】次に、本発明の光学的パターン認識分類装
置を具体的に実施例により説明するが、本発明はそれら
によって限定されるものではない。
置を具体的に実施例により説明するが、本発明はそれら
によって限定されるものではない。
【0019】
【実施例1】図1は、本発明の光学的パターン認識分類
装置の1例の構成を説明する模式的構成図である。図1
の光学的配置図において、入力ユニットからの出力は、
2つに分かれ、一方は、入力層、中間層、出力層の3層
構造のニューラルネットワークの入力層に入力され、他
方は、コンピュータに入力される。以下、ニューラルネ
ットワークとコンピュータで行なうことを詳細に述べ
る。
装置の1例の構成を説明する模式的構成図である。図1
の光学的配置図において、入力ユニットからの出力は、
2つに分かれ、一方は、入力層、中間層、出力層の3層
構造のニューラルネットワークの入力層に入力され、他
方は、コンピュータに入力される。以下、ニューラルネ
ットワークとコンピュータで行なうことを詳細に述べ
る。
【0020】簡単のために、入力ユニットは2つで、各
ユニットへの入力信号は、あるシステムの状態を監視す
るセンサA、Bからの出力信号とする。図3は、このよ
うなセンサAとセンサBの出力が、構成する2次元入力
空間と対応するシステムの状態の関係を示した図であ
る。例えば、システムの状態が正常な状態が代表的に
(A1、B1)で表わされる状態であり、1つの異常状
態が代表的に(A2、B2)、他の異常状態におけるセ
ンサ出力が代表的に(A3、B3)であったとする。こ
のとき、各センサ出力は、システムの状態により時々刻
々変化するものであるので、正常状態にあっても(A
1、B1)の出力値の周りにある大きさの揺らぎを生じ
て分布している。また、異常状態においても同様であ
る。従って、図3に点線で囲むエリア内でシステムの状
態(1、2、3)を示す尺度になる。
ユニットへの入力信号は、あるシステムの状態を監視す
るセンサA、Bからの出力信号とする。図3は、このよ
うなセンサAとセンサBの出力が、構成する2次元入力
空間と対応するシステムの状態の関係を示した図であ
る。例えば、システムの状態が正常な状態が代表的に
(A1、B1)で表わされる状態であり、1つの異常状
態が代表的に(A2、B2)、他の異常状態におけるセ
ンサ出力が代表的に(A3、B3)であったとする。こ
のとき、各センサ出力は、システムの状態により時々刻
々変化するものであるので、正常状態にあっても(A
1、B1)の出力値の周りにある大きさの揺らぎを生じ
て分布している。また、異常状態においても同様であ
る。従って、図3に点線で囲むエリア内でシステムの状
態(1、2、3)を示す尺度になる。
【0021】さて、このようなシステムの状態を、3層
構造のニューラルネットワークでは、入力層ユニット数
2、中間層ユニット数2、出力層ユニット数3でBP法
により学習させた場合、直線で領域区分を行なうので、
図3に示す2つの直線α、βに近い状態で学習が収束す
る。ところが、このような直線で領域区分を行なうと、
例えば、×、△で示されるセンサ出力を得た場合にも、
このニューラルネットワークは、各々、正常状態1、異
常状態2と判断してしまう。これを回避させるために、
中間ユニットの数を非常に大きくして、領域1、2、3
を直線近似により作ることが考えられるが、中間ユニッ
ト数が膨大になり、結線数が多くなってしまう。
構造のニューラルネットワークでは、入力層ユニット数
2、中間層ユニット数2、出力層ユニット数3でBP法
により学習させた場合、直線で領域区分を行なうので、
図3に示す2つの直線α、βに近い状態で学習が収束す
る。ところが、このような直線で領域区分を行なうと、
例えば、×、△で示されるセンサ出力を得た場合にも、
このニューラルネットワークは、各々、正常状態1、異
常状態2と判断してしまう。これを回避させるために、
中間ユニットの数を非常に大きくして、領域1、2、3
を直線近似により作ることが考えられるが、中間ユニッ
ト数が膨大になり、結線数が多くなってしまう。
【0022】また、実際には、システムの状態は、もっ
と細かい情報量を必要とするので、識別したい状態の数
は、もっと多いのが普通である。このように、識別した
い状態が多くなると、ほとんど最適な状態に学習が収束
することが不可能になり、所謂、ローカルミニマな状態
に系が収束してしまうことが、多い。但し、学習がうま
く行けば、学習した状態についての情報は確実に識別で
きる状態に系は収束する。ところが、中間ニューロンの
数を如何に多くしても、学習した情報以外の情報につい
ては、所謂、汎化が行なわれているので、センサA、B
の出力状態を何等かの学習時に使用したカテゴリーに割
り振ってしまい、これが正しい出力なのかそうでないの
かを判別することは、ニューラルネットワーク単独では
困難である。
と細かい情報量を必要とするので、識別したい状態の数
は、もっと多いのが普通である。このように、識別した
い状態が多くなると、ほとんど最適な状態に学習が収束
することが不可能になり、所謂、ローカルミニマな状態
に系が収束してしまうことが、多い。但し、学習がうま
く行けば、学習した状態についての情報は確実に識別で
きる状態に系は収束する。ところが、中間ニューロンの
数を如何に多くしても、学習した情報以外の情報につい
ては、所謂、汎化が行なわれているので、センサA、B
の出力状態を何等かの学習時に使用したカテゴリーに割
り振ってしまい、これが正しい出力なのかそうでないの
かを判別することは、ニューラルネットワーク単独では
困難である。
【0023】一方、コンピュータでは、センサA、Bの
出力信号を次々に入力し、正常状態における代表値(例
えば平均値)とバラツキ具合(例えば標準偏差値)及
び、異常状態2、3における同様の量を計測しておく。
このように計測された平均値と標準偏差を元にメンバー
シップ関数を台形型として、例えば、平均値から標準偏
差の大きさの範囲までを、メンバーシップ値1とし、標
準偏差の大きさの3倍をメンバーシップ値0として、台
形の斜辺に相当する部分を標準偏差の等倍から3倍まで
とする。図4は、このようにして得た正常状態における
センサA、Bの出力をメンバーシップ関数として表した
グラフである。同様に、図5、図6は、異常状態2、3
におけるセンサA、Bの出力をメンバーシップ関数とし
て表したグラフである。このようにして、すべての認識
したい状態についてメンバーシップ関数を作成し、コン
ピュータ内に認識したい状態の情報と共に蓄えておく。
但し、標準偏差量が複数回の試行においれまたまた非常
に小さいということもあるので、若干の補正を加えるこ
とも必要である。尚、図3における四角に囲まれた点線
のエリアは、メンバーシップ値が0になる境界線を示し
ている。
出力信号を次々に入力し、正常状態における代表値(例
えば平均値)とバラツキ具合(例えば標準偏差値)及
び、異常状態2、3における同様の量を計測しておく。
このように計測された平均値と標準偏差を元にメンバー
シップ関数を台形型として、例えば、平均値から標準偏
差の大きさの範囲までを、メンバーシップ値1とし、標
準偏差の大きさの3倍をメンバーシップ値0として、台
形の斜辺に相当する部分を標準偏差の等倍から3倍まで
とする。図4は、このようにして得た正常状態における
センサA、Bの出力をメンバーシップ関数として表した
グラフである。同様に、図5、図6は、異常状態2、3
におけるセンサA、Bの出力をメンバーシップ関数とし
て表したグラフである。このようにして、すべての認識
したい状態についてメンバーシップ関数を作成し、コン
ピュータ内に認識したい状態の情報と共に蓄えておく。
但し、標準偏差量が複数回の試行においれまたまた非常
に小さいということもあるので、若干の補正を加えるこ
とも必要である。尚、図3における四角に囲まれた点線
のエリアは、メンバーシップ値が0になる境界線を示し
ている。
【0024】また、上記のメンバーシップ関数の作成の
方法については、各状態における代表値(例えば平均
値)を台形のメンバーシップ関数の上辺の中心値とし
て、その代表値間の距離の半分で、メンバーシップ値が
0となるように、各々のメンバーシップ関数を作成して
も良い。この場合には、図3において、隣接した状態間
に入力情報があると、隣接したどちらか近い方の状態を
出力し易くなり、入力の状態により、このようにした方
が良い場合もある。
方法については、各状態における代表値(例えば平均
値)を台形のメンバーシップ関数の上辺の中心値とし
て、その代表値間の距離の半分で、メンバーシップ値が
0となるように、各々のメンバーシップ関数を作成して
も良い。この場合には、図3において、隣接した状態間
に入力情報があると、隣接したどちらか近い方の状態を
出力し易くなり、入力の状態により、このようにした方
が良い場合もある。
【0025】次に、センサA、Bの未知の出力をコンピ
ュータに取り込み、上記した認識したい状態のメンバー
シップ関数と照合する。例えば、正常状態1、異常状態
2、3のメンバーシップ関数が、各々、図4、図5、図
6に示されたものであるとする。このとき、センサAの
出力がaでセンサBの出力がbであったとする。図7
は、このa点、b点が各認識したい状態に対して、どの
程度のメンバーシップ値を有するかを示したグラフであ
る。
ュータに取り込み、上記した認識したい状態のメンバー
シップ関数と照合する。例えば、正常状態1、異常状態
2、3のメンバーシップ関数が、各々、図4、図5、図
6に示されたものであるとする。このとき、センサAの
出力がaでセンサBの出力がbであったとする。図7
は、このa点、b点が各認識したい状態に対して、どの
程度のメンバーシップ値を有するかを示したグラフであ
る。
【0026】さて、図7に示したメンバーシップ値か
ら、ファジー論理的にANDの演算を行なえば、各認識
したい状態のメンバーシップの最小値を取ることにな
り、センサA、Bの出力状態は、正常状態1、異常状態
2、異常状態3に対して、各々、0、0.8、0とな
る。従って、センサA、Bの状態は、80%くらいの確
率で異常状態2にあるということができる。以上の手法
を用いると、図3における×や△の状態は、これらのど
の状態にも属さない状態と言うことができる。
ら、ファジー論理的にANDの演算を行なえば、各認識
したい状態のメンバーシップの最小値を取ることにな
り、センサA、Bの出力状態は、正常状態1、異常状態
2、異常状態3に対して、各々、0、0.8、0とな
る。従って、センサA、Bの状態は、80%くらいの確
率で異常状態2にあるということができる。以上の手法
を用いると、図3における×や△の状態は、これらのど
の状態にも属さない状態と言うことができる。
【0027】前記のように、ニューラルネットワークで
は、入力空間を出力カテゴリーの数だけの閉領域で分割
するために、学習に使用したデータ以外の領域も汎化を
行なう。一方、コンピュータでは、入力データの代表値
やバラツキを示す諸量に基づいて、認識領域を決定する
と、特定の認識領域が入力空間内に独立的に形成される
ことになる。
は、入力空間を出力カテゴリーの数だけの閉領域で分割
するために、学習に使用したデータ以外の領域も汎化を
行なう。一方、コンピュータでは、入力データの代表値
やバラツキを示す諸量に基づいて、認識領域を決定する
と、特定の認識領域が入力空間内に独立的に形成される
ことになる。
【0028】そこで、本発明において、特徴的なこと
は、以下に述べるように、ニューラルネットワークの出
力と前記のコンピュータからの出力との間で情報のやり
取りを行なうことである。
は、以下に述べるように、ニューラルネットワークの出
力と前記のコンピュータからの出力との間で情報のやり
取りを行なうことである。
【0029】前記のように、ニューラルネットワークか
らの出力は、汎化されているので、ほとんど確実に前記
した特定領域を含んでいる。従って、認識を行なう場
合、ニューラルネットワークからの出力とコンピュータ
からの出力を比較し、両者の出力が同じであれば、その
出力を認識結果とすることができる。一方、両者の出力
が異なったり、特に、コンピュータからの出力がなかっ
た場合、このシステムが警告を発するようにし、人間が
望ましい出力になるように、特定領域の追加やニューラ
ルネットワークに教師信号として、新たな情報を加える
などの処理をすることができる。これは、従来のニュー
ラルネットワークでは、できなかったことであり、いっ
たん系を収束させた後には、汎化状態にある出力値を常
に出力しており、その出力が正しいか否かの判断をする
ことができなかった。ところが、前記のように、特定領
域は、一種の知識であり、これと汎化、即ち、一種の概
念との相互作用をさせることで、知識及び概念の再構築
を行なうことが可能になったのである。
らの出力は、汎化されているので、ほとんど確実に前記
した特定領域を含んでいる。従って、認識を行なう場
合、ニューラルネットワークからの出力とコンピュータ
からの出力を比較し、両者の出力が同じであれば、その
出力を認識結果とすることができる。一方、両者の出力
が異なったり、特に、コンピュータからの出力がなかっ
た場合、このシステムが警告を発するようにし、人間が
望ましい出力になるように、特定領域の追加やニューラ
ルネットワークに教師信号として、新たな情報を加える
などの処理をすることができる。これは、従来のニュー
ラルネットワークでは、できなかったことであり、いっ
たん系を収束させた後には、汎化状態にある出力値を常
に出力しており、その出力が正しいか否かの判断をする
ことができなかった。ところが、前記のように、特定領
域は、一種の知識であり、これと汎化、即ち、一種の概
念との相互作用をさせることで、知識及び概念の再構築
を行なうことが可能になったのである。
【0030】また、認識及び分類を行なうときにも、非
常に大きな効果をもたらす。これは、例えば、ニューラ
ルネットワークにおいては、上位の概念を形成させ、特
定領域は、認識対象そのものを記憶させることで達成さ
せることができる。即ち、[犬][猫]を[動物]とし
て、[桜][ひまわり]を[植物]としたとする。この
場合、ニューラルネットワークの出力カテゴリーは、
[動物][植物]の2つとなり、一方、特定領域は、
[犬][猫][桜][ひまわり]の4つにする。この場
合、入力ユニットに[犬]の情報を入れれば、特定領域
との照合により、[犬]が出力され、ニューラルネット
ワークからは、[動物]が出力される。ところが、異な
る入力を入力すると、特定領域の知識にはないので、コ
ンピュータの出力はないが、ニューラルネットワークの
出力は、[動物]か[植物]を出力する。もし、[動
物]か[植物]のどちらかに属するものであれば、特定
領域の追加を行なうことで、認識対象を増やせば良い
し、それが[動物]ではなく、[植物]であるならば、
ニューラルネットワークの汎化状態を変えるように再学
習することで達成できる。更に、入力されるものがまっ
たく概念形成されていないようなものの場合には、ニュ
ーラルネットワークの出力ニュ−ロン数を増やして、新
しい概念を形成すれば良い。このように、特定領域と汎
化された領域との相互作用を行なうことにより、より確
実な認識分類、特定領域の追加やニューラルネットワー
クの再学習が効率的にしかも確実に行なうことができる
のである。
常に大きな効果をもたらす。これは、例えば、ニューラ
ルネットワークにおいては、上位の概念を形成させ、特
定領域は、認識対象そのものを記憶させることで達成さ
せることができる。即ち、[犬][猫]を[動物]とし
て、[桜][ひまわり]を[植物]としたとする。この
場合、ニューラルネットワークの出力カテゴリーは、
[動物][植物]の2つとなり、一方、特定領域は、
[犬][猫][桜][ひまわり]の4つにする。この場
合、入力ユニットに[犬]の情報を入れれば、特定領域
との照合により、[犬]が出力され、ニューラルネット
ワークからは、[動物]が出力される。ところが、異な
る入力を入力すると、特定領域の知識にはないので、コ
ンピュータの出力はないが、ニューラルネットワークの
出力は、[動物]か[植物]を出力する。もし、[動
物]か[植物]のどちらかに属するものであれば、特定
領域の追加を行なうことで、認識対象を増やせば良い
し、それが[動物]ではなく、[植物]であるならば、
ニューラルネットワークの汎化状態を変えるように再学
習することで達成できる。更に、入力されるものがまっ
たく概念形成されていないようなものの場合には、ニュ
ーラルネットワークの出力ニュ−ロン数を増やして、新
しい概念を形成すれば良い。このように、特定領域と汎
化された領域との相互作用を行なうことにより、より確
実な認識分類、特定領域の追加やニューラルネットワー
クの再学習が効率的にしかも確実に行なうことができる
のである。
【0031】特に、入力ユニット数が、少数で、且つ、
認識分類したいパターン或いはカテゴリーの数が非常に
多い場合には、入力空間に割り振られた各々のパターン
或いはカテゴリーの占有する領域の境界は、複雑になる
ので、入力される信号に基づき、汎化状態の変更や特定
化領域の追加を行なっていくことにより、境界をより明
確にすることができる。前記の装置では、汎化させる領
域を作成する手段として、ニューラルネットワークを用
い、特定領域を作成する手段として、コンピュータを用
いるようにしたが、これらを実質上同じニューラルネッ
トワークを用いて作成することもできる。次に、このよ
うな装置の1例を説明する。
認識分類したいパターン或いはカテゴリーの数が非常に
多い場合には、入力空間に割り振られた各々のパターン
或いはカテゴリーの占有する領域の境界は、複雑になる
ので、入力される信号に基づき、汎化状態の変更や特定
化領域の追加を行なっていくことにより、境界をより明
確にすることができる。前記の装置では、汎化させる領
域を作成する手段として、ニューラルネットワークを用
い、特定領域を作成する手段として、コンピュータを用
いるようにしたが、これらを実質上同じニューラルネッ
トワークを用いて作成することもできる。次に、このよ
うな装置の1例を説明する。
【0032】
【実施例2】図8は、本発明の別の光学的パターン認識
分類装置の模式的構成図である。本実施例では、ニュー
ラルネットワークは、入力ユニットと第1層、第2層、
第3層及び出力層1、出力層2より成り、簡単のため
に、入力ユニットは2とした。さて、認識したいパター
ンの数を、N個認識したいパターンを分類するために必
要なカテゴリーの数をM個とする。各層に必要なニュ−
ロン数は、第1層がN×M個、第2層がN個、出力層1
がM個、出力層2がN個で、第3層のニューラルネット
ワーク数は、LOG2 Mの小数点を切り上げた整数個以
上とする。
分類装置の模式的構成図である。本実施例では、ニュー
ラルネットワークは、入力ユニットと第1層、第2層、
第3層及び出力層1、出力層2より成り、簡単のため
に、入力ユニットは2とした。さて、認識したいパター
ンの数を、N個認識したいパターンを分類するために必
要なカテゴリーの数をM個とする。各層に必要なニュ−
ロン数は、第1層がN×M個、第2層がN個、出力層1
がM個、出力層2がN個で、第3層のニューラルネット
ワーク数は、LOG2 Mの小数点を切り上げた整数個以
上とする。
【0033】各ニュ−ロン間の結線は、以下のようにな
る。各入力ユニットからは、第1層のニュ−ロンと結合
荷重値1で1対1に結線され、第1層の2つのペアが第
2層のN個のニュ−ロンと結合荷重値1で結線され、第
2層から第3層、第3層から出力層1の各層間の結合
は、すべてのニュ−ロン間で結線されている。これらの
層間の結線の荷重値は、後で説明するが、一意に決定す
ることができる。一方、第2層から出力層2へは、結合
荷重値1対1に結線され、更に、出力層2の外にあるバ
イアスを与えるニュ−ロンからも出力層2の各ニュ−ロ
ンの出力値を規定する荷重値で出力層2の各ニュ−ロン
と結線が行なわれている。
る。各入力ユニットからは、第1層のニュ−ロンと結合
荷重値1で1対1に結線され、第1層の2つのペアが第
2層のN個のニュ−ロンと結合荷重値1で結線され、第
2層から第3層、第3層から出力層1の各層間の結合
は、すべてのニュ−ロン間で結線されている。これらの
層間の結線の荷重値は、後で説明するが、一意に決定す
ることができる。一方、第2層から出力層2へは、結合
荷重値1対1に結線され、更に、出力層2の外にあるバ
イアスを与えるニュ−ロンからも出力層2の各ニュ−ロ
ンの出力値を規定する荷重値で出力層2の各ニュ−ロン
と結線が行なわれている。
【0034】次に、各層の役割を説明する。図9は、入
力空間が2次元のある前処理をして入力したアルファベ
ットの15のパターンの分布を示すものである。この前
処理の方法は、実施例3で述べる。さて、入力ユニット
と結線された1組の第1層のニュ−ロンは、2次元入力
空間上の1点、例えば、アルファベットAの座標値(A
x、Ay)の各座標値と入力ユニットからの出力値
(X、Y)の各座標値との差の2乗の出力(X−Ax)
2 と(Y−Ay)2を各々出力し、第2層の1つのニュ
−ロンに和の出力、即ち、ある座標と入力座標との距離
の2乗である(X−Ax)2 +(Y−Ay)2 を与え
る。他のアルファベットについても、各々他の1組の第
1層のニュ−ロンと1つの第2層のニュ−ロンを使用し
て、入力座標と各々のアルファベットの座標との距離の
2乗を表現することができる。第2層では、平方根の演
算を行ない、各アルファベットの座標と入力座標との距
離を求めて出力する。この距離の情報を使用して、第3
層の出力層1により、既に、知られているラジアルベイ
シスファンクションの手法(Neural networkand radial
basis functions in classifying static speech patte
rns;Computer Speech and Language(’90) 4.275〜289:
参照)を使用して、第2層と第3層間の結線の荷重値を
決定する。
力空間が2次元のある前処理をして入力したアルファベ
ットの15のパターンの分布を示すものである。この前
処理の方法は、実施例3で述べる。さて、入力ユニット
と結線された1組の第1層のニュ−ロンは、2次元入力
空間上の1点、例えば、アルファベットAの座標値(A
x、Ay)の各座標値と入力ユニットからの出力値
(X、Y)の各座標値との差の2乗の出力(X−Ax)
2 と(Y−Ay)2を各々出力し、第2層の1つのニュ
−ロンに和の出力、即ち、ある座標と入力座標との距離
の2乗である(X−Ax)2 +(Y−Ay)2 を与え
る。他のアルファベットについても、各々他の1組の第
1層のニュ−ロンと1つの第2層のニュ−ロンを使用し
て、入力座標と各々のアルファベットの座標との距離の
2乗を表現することができる。第2層では、平方根の演
算を行ない、各アルファベットの座標と入力座標との距
離を求めて出力する。この距離の情報を使用して、第3
層の出力層1により、既に、知られているラジアルベイ
シスファンクションの手法(Neural networkand radial
basis functions in classifying static speech patte
rns;Computer Speech and Language(’90) 4.275〜289:
参照)を使用して、第2層と第3層間の結線の荷重値を
決定する。
【0035】これを図8により説明すると、出力層1の
カテゴリーが4つであるとすると、第3層は、2つのニ
ュ−ロンで十分である。これは、出力カテゴリーを、
(1、−1)、(−1、1)、(1、1)、(−1、−
1)の組合わせで表現することができるからであり、第
3層と出力層の結線の荷重値は、この組合わせで表現し
て、閾値を1.5にすると、入力値に応じて、カテゴリ
ーの1つを必ず表現することになる。さて、第2層と第
3層の結合荷重値は、次のように決定すれば良い。
カテゴリーが4つであるとすると、第3層は、2つのニ
ュ−ロンで十分である。これは、出力カテゴリーを、
(1、−1)、(−1、1)、(1、1)、(−1、−
1)の組合わせで表現することができるからであり、第
3層と出力層の結線の荷重値は、この組合わせで表現し
て、閾値を1.5にすると、入力値に応じて、カテゴリ
ーの1つを必ず表現することになる。さて、第2層と第
3層の結合荷重値は、次のように決定すれば良い。
【0036】図9に示す例を用いて、これを説明する.
図9は、後に詳細するが、光学的相互相関手法を用い
て、15個のアルファベットと参照アルファベットL、
Vに対する相互相関出力値も、各参照アルファベットに
対応した入力ユニットの座標をマッピングしたものであ
る。図9に示すように、15個のアルファベットが2次
元入力空間に各々別の座標値(Xi、Yi)(iは1か
ら15まで整数値をとる)として、表されている。前記
のように、第2層からの出力は、15個のアルファベッ
トの座標と入力値(X、Y)の座標との距離を出力して
いる。即ち、第2層の第I番目の出力値Riは、 Ri=√{(X−Xi)2+(Y−Yi)2} (4) を出力する。ここで、iは、1から15までの整数値を
とるものである。さて、第3層の1番目への入力値I1
は、距離を示す出力値Riと荷重値を示すWiとの積で
示されるモーメント量を全てのポイントにわたり加えた
関数である。 I1=Σ(Wi1×Ri) 同様にして、第3層の2番目への入力値I2は、 I2=Σ(Wi2×Ri) となる。ここで、Wi1、Wi2は、第2層のi番目のニ
ューロンと第3層の1番目及び2番目のニューロンとの
結合荷重値を示している。
図9は、後に詳細するが、光学的相互相関手法を用い
て、15個のアルファベットと参照アルファベットL、
Vに対する相互相関出力値も、各参照アルファベットに
対応した入力ユニットの座標をマッピングしたものであ
る。図9に示すように、15個のアルファベットが2次
元入力空間に各々別の座標値(Xi、Yi)(iは1か
ら15まで整数値をとる)として、表されている。前記
のように、第2層からの出力は、15個のアルファベッ
トの座標と入力値(X、Y)の座標との距離を出力して
いる。即ち、第2層の第I番目の出力値Riは、 Ri=√{(X−Xi)2+(Y−Yi)2} (4) を出力する。ここで、iは、1から15までの整数値を
とるものである。さて、第3層の1番目への入力値I1
は、距離を示す出力値Riと荷重値を示すWiとの積で
示されるモーメント量を全てのポイントにわたり加えた
関数である。 I1=Σ(Wi1×Ri) 同様にして、第3層の2番目への入力値I2は、 I2=Σ(Wi2×Ri) となる。ここで、Wi1、Wi2は、第2層のi番目のニ
ューロンと第3層の1番目及び2番目のニューロンとの
結合荷重値を示している。
【0037】さて、アルファベット15文字を出力カテ
ゴリー4つに割り振ると、例えば、1つのアルファベッ
トAが第3層の出力として、(1、1)のカテゴリーに
属するとすれば、そのアルファベットの入力値(Ax、
Ay)により、(I1、I2)=(1、1)となる。但
し、アルファベットAに対応した距離は0とする。この
ようにすると、15個のアルファベットの座標値を入力
した場合の第3層への距離Riが各々求められる。従っ
て、30個の1次方程式が30個の未知の荷重値に対し
て、作成されるので、この方程式を解くことにより、一
意的に第2層と第3層のニュ−ロン間の結合荷重値を決
定することができる。更に、第3層の出力値を閾値を0
として、0以上であれば、出力1を、0未満であれば出
力−1を出力するようにすると、入力空間内のすべての
座標を4つのカテゴリーに振り分けることができる。し
かも、各アルファベットの座標を中心とする距離に応じ
て属するカテゴリーが決定されるので、各アルファベッ
トの座標は、設定されたカテゴリーに確実に属させるこ
とができる。
ゴリー4つに割り振ると、例えば、1つのアルファベッ
トAが第3層の出力として、(1、1)のカテゴリーに
属するとすれば、そのアルファベットの入力値(Ax、
Ay)により、(I1、I2)=(1、1)となる。但
し、アルファベットAに対応した距離は0とする。この
ようにすると、15個のアルファベットの座標値を入力
した場合の第3層への距離Riが各々求められる。従っ
て、30個の1次方程式が30個の未知の荷重値に対し
て、作成されるので、この方程式を解くことにより、一
意的に第2層と第3層のニュ−ロン間の結合荷重値を決
定することができる。更に、第3層の出力値を閾値を0
として、0以上であれば、出力1を、0未満であれば出
力−1を出力するようにすると、入力空間内のすべての
座標を4つのカテゴリーに振り分けることができる。し
かも、各アルファベットの座標を中心とする距離に応じ
て属するカテゴリーが決定されるので、各アルファベッ
トの座標は、設定されたカテゴリーに確実に属させるこ
とができる。
【0038】一方、第2層からの出力は、前記のよう
に、15個のアルファベットの座標と入力値(X、Y)
の座標との距離を出力している。即ち、第2層の第I番
目の出力値Riは、 Ri=√{(X−Xi)2+(Y−Yi)2} (4) を出力している。ここで、iは1から15までの整数値
を取るものである。さて、出力層2の第I番目のニュ−
ロンのバイアス値をΘi(即ち、図8におけるバイアス
ニュ−ロンから出力層2への結合荷重値を表す)とし、
出力層2の第I番目の出力Riが、Θi未満のとき、発
火し、RiがΘi以上のとき、発火しないようにすれ
ば、各アルファベットに対応した出力層2のニュ−ロン
の発火状態を検出することにより、入力されたアルファ
ベットの認識を行なうことができる。しかも、各アルフ
ァベットの座標からの距離に応じてある程度広い範囲の
領域を認識領域としているので、入力されたアルファベ
ットの多少の変形や入力値の揺らぎ等による影響を軽減
することができる。ここで、バイアス値Θiは、入力デ
ータの代表値やバラツキを示す諸量に基づいて決定され
る。
に、15個のアルファベットの座標と入力値(X、Y)
の座標との距離を出力している。即ち、第2層の第I番
目の出力値Riは、 Ri=√{(X−Xi)2+(Y−Yi)2} (4) を出力している。ここで、iは1から15までの整数値
を取るものである。さて、出力層2の第I番目のニュ−
ロンのバイアス値をΘi(即ち、図8におけるバイアス
ニュ−ロンから出力層2への結合荷重値を表す)とし、
出力層2の第I番目の出力Riが、Θi未満のとき、発
火し、RiがΘi以上のとき、発火しないようにすれ
ば、各アルファベットに対応した出力層2のニュ−ロン
の発火状態を検出することにより、入力されたアルファ
ベットの認識を行なうことができる。しかも、各アルフ
ァベットの座標からの距離に応じてある程度広い範囲の
領域を認識領域としているので、入力されたアルファベ
ットの多少の変形や入力値の揺らぎ等による影響を軽減
することができる。ここで、バイアス値Θiは、入力デ
ータの代表値やバラツキを示す諸量に基づいて決定され
る。
【0039】さて、以上のようにして、入力層1では、
出力カテゴリーの決定をすべての入力空間内において行
ない、出力層2では、入力対象の認識を行なうことによ
り、実施例1で述べたように、出力層1では、学習に使
用したデータ以外の領域も汎化し、出力層2では、入力
データの代表値やバラツキを示す諸量に基づいて認識領
域を決定することになるので、特定の認識領域が入力空
間内に独立的に形成されることとなる。以下、汎化領域
と特定領域との相互作用により、より確実な認識分類を
行なわせることができることは、実施例1と同様なので
説明を省略する。但し、本実施例では、同じような機能
を有するニューラルネットワークを用いているので、非
常に簡単な構成にすることができるとともに、ハ−ド化
する際にも非常に簡単になるという利点を有する。
出力カテゴリーの決定をすべての入力空間内において行
ない、出力層2では、入力対象の認識を行なうことによ
り、実施例1で述べたように、出力層1では、学習に使
用したデータ以外の領域も汎化し、出力層2では、入力
データの代表値やバラツキを示す諸量に基づいて認識領
域を決定することになるので、特定の認識領域が入力空
間内に独立的に形成されることとなる。以下、汎化領域
と特定領域との相互作用により、より確実な認識分類を
行なわせることができることは、実施例1と同様なので
説明を省略する。但し、本実施例では、同じような機能
を有するニューラルネットワークを用いているので、非
常に簡単な構成にすることができるとともに、ハ−ド化
する際にも非常に簡単になるという利点を有する。
【0040】尚、前記の実施例1と実施例2で使用した
汎化を行なうニューラルネットワークと特定領域を作成
する手段は、各々別々の手段としたが、これを組合わせ
ても同様なことができる。例えば、特定領域の作成手段
に、実施例1で述べたコンピュータでメンバ−シップ関
数を作成し、汎化領域の作成手段として、実施例2で述
べた距離に準じた量に基づいたニューラルネットワーク
を用いることもできる。また、前記の実施例で、第2層
から出力層2への出力は、基準の量からの距離の値を用
いたが、これに準じる値であれば、どのようなものを用
いても良い。例えば、距離の代わりに、距離の2乗に当
る量でも良い。次に、本実施例の説明で使用した図9の
入力ユニットへの入力手段について述べる。これは、本
発明の方法における入力ユニットへの1つの有力な入力
方法である。実施例1で述べたように、入力ユニット数
に比較して、認識分類したいパターン或いはカテゴリー
の数が非常に多い場合に該当するためである。
汎化を行なうニューラルネットワークと特定領域を作成
する手段は、各々別々の手段としたが、これを組合わせ
ても同様なことができる。例えば、特定領域の作成手段
に、実施例1で述べたコンピュータでメンバ−シップ関
数を作成し、汎化領域の作成手段として、実施例2で述
べた距離に準じた量に基づいたニューラルネットワーク
を用いることもできる。また、前記の実施例で、第2層
から出力層2への出力は、基準の量からの距離の値を用
いたが、これに準じる値であれば、どのようなものを用
いても良い。例えば、距離の代わりに、距離の2乗に当
る量でも良い。次に、本実施例の説明で使用した図9の
入力ユニットへの入力手段について述べる。これは、本
発明の方法における入力ユニットへの1つの有力な入力
方法である。実施例1で述べたように、入力ユニット数
に比較して、認識分類したいパターン或いはカテゴリー
の数が非常に多い場合に該当するためである。
【0041】
【実施例3】一般に、画像等の非常に情報量の多い認識
対象を認識分類するのは、入力ユニット数が非常に多く
なり、ニューラルネットワークを用いると、その結線数
が膨大になることは、良く知られている。そこで、本発
明者らは、光学的相互相関出力を用いて、ニューラルネ
ットワークへの入力としたり、或いは、メンバ−シップ
関数を作成する際の代表値及びバラツキ量を決定するた
めに使用する等を行なっている。(特願平3−4152
6の明細書参照)。この方法では、画像等の非常に膨大
な情報量をいくつかの参照パタ−ンとの相互相関出力と
して表すことにより、その参照パタ−ンの数だけの入力
ユニット数で入力パターンを表現することができるの
で、非常に効率的なパターンの認識分類を行なうことが
できる。このような方法を用いれば、本発明での入力ユ
ニットへの入力手段としては、非常に効果が上がるの
で、以下簡単に説明する。
対象を認識分類するのは、入力ユニット数が非常に多く
なり、ニューラルネットワークを用いると、その結線数
が膨大になることは、良く知られている。そこで、本発
明者らは、光学的相互相関出力を用いて、ニューラルネ
ットワークへの入力としたり、或いは、メンバ−シップ
関数を作成する際の代表値及びバラツキ量を決定するた
めに使用する等を行なっている。(特願平3−4152
6の明細書参照)。この方法では、画像等の非常に膨大
な情報量をいくつかの参照パタ−ンとの相互相関出力と
して表すことにより、その参照パタ−ンの数だけの入力
ユニット数で入力パターンを表現することができるの
で、非常に効率的なパターンの認識分類を行なうことが
できる。このような方法を用いれば、本発明での入力ユ
ニットへの入力手段としては、非常に効果が上がるの
で、以下簡単に説明する。
【0042】即ち、図10は、本発明の光学的パターン
認識分類装置で使用する光学的相関処理装置の1例の機
能を示す模式的構成図である。図10の光学的配置にお
いて、光学的相関処理装置は、画像出力手段1、光学的
フーリエ変換手段2、画像出力手段3、光学的フーリエ
変換手段4、光検出手段5とから本質的に構成される既
知の合同フーリエ変換光学系であるので、その構成につ
いて、簡単に説明する。
認識分類装置で使用する光学的相関処理装置の1例の機
能を示す模式的構成図である。図10の光学的配置にお
いて、光学的相関処理装置は、画像出力手段1、光学的
フーリエ変換手段2、画像出力手段3、光学的フーリエ
変換手段4、光検出手段5とから本質的に構成される既
知の合同フーリエ変換光学系であるので、その構成につ
いて、簡単に説明する。
【0043】画像表示装置16に描かれた認識分類した
いパターン1つと参照パタ−ン群をレーザ11から出射
されたコヒ−レント光束12で読み出し、フーリエ変換
レンズ21によりスクリーン31上に合同フーリエ変換
パターンを作る。この合同フーリエ変換パターンを、2
次元光電変換素子32で読み込み、液晶駆動回路33
で、電気アドレス型の液晶パネルライトバルブ(以下L
CLVと略称する)35上に描き、光束37で読み出
し、フーリエ変換レンズ41により再びフーリエ変換
し、スクリーン42上の相関強度を2次元光電変換素子
43により検出する。
いパターン1つと参照パタ−ン群をレーザ11から出射
されたコヒ−レント光束12で読み出し、フーリエ変換
レンズ21によりスクリーン31上に合同フーリエ変換
パターンを作る。この合同フーリエ変換パターンを、2
次元光電変換素子32で読み込み、液晶駆動回路33
で、電気アドレス型の液晶パネルライトバルブ(以下L
CLVと略称する)35上に描き、光束37で読み出
し、フーリエ変換レンズ41により再びフーリエ変換
し、スクリーン42上の相関強度を2次元光電変換素子
43により検出する。
【0044】本発明の光学的パターン認識分類装置にお
いては、認識分類したいパターンと各参照パタ−ンとの
相関度を、前記光学系により検出した後、認識したいパ
ターン1つ1つに対する各参照パタ−ンとの相互相関出
力を、各参照パタ−ンに対応した図1或いは図8に示し
た入力ユニットに入力することが特徴である。ここで、
前記の相互相関出力が、どのようになるかの1例を具体
的に示す。例えば、参照画像群として、2つの文字パタ
ーンE、Vを選定し、認識分類したい文字パターンをH
として、図11のように、2つの文字パターンを同心円
上に、認識分類したい文字パターンを同心円の中心に、
画像表示装置16上に描いたとする。この場合、2次元
光電変換素子43の出力、即ち、文字パターンHと各参
照文字パタ−ンとの相関出力は、画像表示装置16上に
描かれた対応する各参照文字位置に現れ、図12に示す
ように、光強度として検出される。ここでは、相関出力
強度のピーク値の大きいもの程、大きい丸印で表してい
る。即ち、Hを構成する2つの平行線と横棒が、各参照
文字パターンの構成要素の横棒と縦棒と反応した結果、
相関出力強度に図示したような差が生じるためである。
尚、図12において、光軸上に現れる自己相関は、ここ
では、関係がないので省略してある。
いては、認識分類したいパターンと各参照パタ−ンとの
相関度を、前記光学系により検出した後、認識したいパ
ターン1つ1つに対する各参照パタ−ンとの相互相関出
力を、各参照パタ−ンに対応した図1或いは図8に示し
た入力ユニットに入力することが特徴である。ここで、
前記の相互相関出力が、どのようになるかの1例を具体
的に示す。例えば、参照画像群として、2つの文字パタ
ーンE、Vを選定し、認識分類したい文字パターンをH
として、図11のように、2つの文字パターンを同心円
上に、認識分類したい文字パターンを同心円の中心に、
画像表示装置16上に描いたとする。この場合、2次元
光電変換素子43の出力、即ち、文字パターンHと各参
照文字パタ−ンとの相関出力は、画像表示装置16上に
描かれた対応する各参照文字位置に現れ、図12に示す
ように、光強度として検出される。ここでは、相関出力
強度のピーク値の大きいもの程、大きい丸印で表してい
る。即ち、Hを構成する2つの平行線と横棒が、各参照
文字パターンの構成要素の横棒と縦棒と反応した結果、
相関出力強度に図示したような差が生じるためである。
尚、図12において、光軸上に現れる自己相関は、ここ
では、関係がないので省略してある。
【0045】さて、このようにして得た相関出力強度の
ピーク値を入力ユニットに送り、更に、識別分類したい
パターンを次々に画像表示装置16上に提示し、得られ
た相関強度のピーク値を、入力ユニットに次々と入力し
て行く。更に、これらの動作を各識別分類したいパター
ンについて複数回行なう。これは、コヒ−レント光によ
るスペックルノイズや、画像表示装置16及びLCLV
35の時間的な不安定性や2次元光電変換素子32の信
号の入力タイミング等の影響により、相関出力強度のピ
ーク値が揺らぐので、唯1回の相関出力値を用いて、認
識分類を行なうと正確な識別分類を行なうことができな
いためである。そこで、実施例1や実施例2で述べたの
と同様に、複数回のデータから各クラスに属するパター
ンに対するピーク値の平均値と標準偏差量を計算し、メ
ンバ−シップ関数を作成したり、各パターンの有する座
標を中心とし、距離に準じた値をN次元の入力空間の2
次閉曲面の径にすることにより、特定領域を作成し、前
記の複数回のデータを入力ユニットに入力し、これに基
づいて、ニューラルネットワークを学習して、汎化領域
を作成する。
ピーク値を入力ユニットに送り、更に、識別分類したい
パターンを次々に画像表示装置16上に提示し、得られ
た相関強度のピーク値を、入力ユニットに次々と入力し
て行く。更に、これらの動作を各識別分類したいパター
ンについて複数回行なう。これは、コヒ−レント光によ
るスペックルノイズや、画像表示装置16及びLCLV
35の時間的な不安定性や2次元光電変換素子32の信
号の入力タイミング等の影響により、相関出力強度のピ
ーク値が揺らぐので、唯1回の相関出力値を用いて、認
識分類を行なうと正確な識別分類を行なうことができな
いためである。そこで、実施例1や実施例2で述べたの
と同様に、複数回のデータから各クラスに属するパター
ンに対するピーク値の平均値と標準偏差量を計算し、メ
ンバ−シップ関数を作成したり、各パターンの有する座
標を中心とし、距離に準じた値をN次元の入力空間の2
次閉曲面の径にすることにより、特定領域を作成し、前
記の複数回のデータを入力ユニットに入力し、これに基
づいて、ニューラルネットワークを学習して、汎化領域
を作成する。
【0046】以下、特定領域と汎化領域との相互作用に
よる認識分類方法については、前記の実施例1や2と同
様なので省略する。尚、図9は、入力ユニット1、2に
対する入力値を、各々アルファベットV.Lに対する各
アルファベットの相互相関出力値として、マッピングし
たものである。この場合にように、入力ユニット数に比
較して認識分類したいパターンが非常に多い場合には、
パターンの占有する入力空間内の領域が複雑になるの
で、入力情報に基づき、汎化状態の変更や特定領域の追
加を行っていくことにより、より確実な境界を決定して
行くことができる。
よる認識分類方法については、前記の実施例1や2と同
様なので省略する。尚、図9は、入力ユニット1、2に
対する入力値を、各々アルファベットV.Lに対する各
アルファベットの相互相関出力値として、マッピングし
たものである。この場合にように、入力ユニット数に比
較して認識分類したいパターンが非常に多い場合には、
パターンの占有する入力空間内の領域が複雑になるの
で、入力情報に基づき、汎化状態の変更や特定領域の追
加を行っていくことにより、より確実な境界を決定して
行くことができる。
【0047】更に、相互相関出力値の取り方としては、
前記のピーク値以外にも、相互相関出力パターンの広が
りに応じた受光範囲の全光量或いはその平均値を併用し
ても良い。さて、ピーク値の場合には、参照パタ−ンと
認識分類したいパターンの重心位置が、一致した点での
重なり具合を示すのに対し、受光範囲の全光量を取る
と、参照パタ−ンと認識分類したいパターンをシフトし
て重ねたパターンができる。従って、ピーク値検出の場
合には、参照パタ−ンとの一致度が、全光量検出の場合
には、参照パタ−ンの一部と認識分類したいパターンと
の一致度が表現されることとなる。どちらの情報とも意
味合いが少し異なる情報として、取り入れることができ
るので、これらを併用すれば、より効果が上がる。
前記のピーク値以外にも、相互相関出力パターンの広が
りに応じた受光範囲の全光量或いはその平均値を併用し
ても良い。さて、ピーク値の場合には、参照パタ−ンと
認識分類したいパターンの重心位置が、一致した点での
重なり具合を示すのに対し、受光範囲の全光量を取る
と、参照パタ−ンと認識分類したいパターンをシフトし
て重ねたパターンができる。従って、ピーク値検出の場
合には、参照パタ−ンとの一致度が、全光量検出の場合
には、参照パタ−ンの一部と認識分類したいパターンと
の一致度が表現されることとなる。どちらの情報とも意
味合いが少し異なる情報として、取り入れることができ
るので、これらを併用すれば、より効果が上がる。
【0048】尚、合同フーリエ変換光学系においても、
種々の光学系が提案されているが、図10は、スクリー
ン31、2次元光電変換素子32、画像表示装置33、
電気アドレス型液晶ライトバルブ35を有する。電気ア
ドレス型液晶ライトバルブの代わりに、光アドレス型液
晶ライトバルブを用いても同様なことができる。前記の
実施例においては、相関出力を得るための光学系として
は、合同フーリエ変換器を用いたが、この場合には、参
照パタ−ンの追加や書き換えが簡単であるという長所を
有する。然し乍ら、分類能力を高めるためには、合同フ
ーリエ変換相関器でない方が良い。この理由は、参照パ
タ−ン群と被検パターンを同時にフーリエ変換すると、
図10のスクリーン31上の多重干渉縞パターンのコン
トラスト比が、参照パタ−ン数の増大と共に、低下する
ために、得られる相関出力が低下することにより、メン
バ−シップ関数の割り当てられるダイナミックレンジが
低くなり、実質上のパターン識別能力を低下させること
になるからである。そこで、前記の相関出力の低下を避
ける相関処理方式のほうが、効率的である。次に、この
ような相関処理方式を用いた例を以下に説明する。
種々の光学系が提案されているが、図10は、スクリー
ン31、2次元光電変換素子32、画像表示装置33、
電気アドレス型液晶ライトバルブ35を有する。電気ア
ドレス型液晶ライトバルブの代わりに、光アドレス型液
晶ライトバルブを用いても同様なことができる。前記の
実施例においては、相関出力を得るための光学系として
は、合同フーリエ変換器を用いたが、この場合には、参
照パタ−ンの追加や書き換えが簡単であるという長所を
有する。然し乍ら、分類能力を高めるためには、合同フ
ーリエ変換相関器でない方が良い。この理由は、参照パ
タ−ン群と被検パターンを同時にフーリエ変換すると、
図10のスクリーン31上の多重干渉縞パターンのコン
トラスト比が、参照パタ−ン数の増大と共に、低下する
ために、得られる相関出力が低下することにより、メン
バ−シップ関数の割り当てられるダイナミックレンジが
低くなり、実質上のパターン識別能力を低下させること
になるからである。そこで、前記の相関出力の低下を避
ける相関処理方式のほうが、効率的である。次に、この
ような相関処理方式を用いた例を以下に説明する。
【0049】
【実施例4】図13は、既知のマッチドフィルタを再生
する光学系を示す。マッチドフィルタ61は、予め複数
の参照パタ−ンを光学的にフーリエ変換したパターン
を、各参照パタ−ン毎に平面波の照射方向を変えなが
ら、多重記録したものを用いる。図13に示すように、
レーザ11より出射された光束12は、ビームエキスパ
ンダ13により適当な光束径に広げられ、画像表示装置
16に描かれた識別分類したパターンを照射する。次
に、パターンの複素振幅分布を有する光束は、フーリエ
変換レンズ21によりフーリエ変換され、マッチドフィ
ルタ上に描かれた多重干渉縞パターンを照射する。この
とき、識別分類したいパターンと同じ空間周波数スペク
トラムを有する参照パタ−ンからその参照パタ−ンパタ
ーンを作成したときに用いた平面波の方向に回折光が出
射される。この回折光を集光レンズ22により、スクリ
ーン31上に集光すれば、一方の回折光は、参照パタ−
ンと識別分類したいパターンとの相互相関パターンにな
り、他方は、コンボリュ−ションとなる。そこで、各参
照パタ−ンによる相互相関出力が現れる位置は、予め分
かっているので、その位置の相関出力強度のピーク値或
いは全光量を測定することができる。
する光学系を示す。マッチドフィルタ61は、予め複数
の参照パタ−ンを光学的にフーリエ変換したパターン
を、各参照パタ−ン毎に平面波の照射方向を変えなが
ら、多重記録したものを用いる。図13に示すように、
レーザ11より出射された光束12は、ビームエキスパ
ンダ13により適当な光束径に広げられ、画像表示装置
16に描かれた識別分類したパターンを照射する。次
に、パターンの複素振幅分布を有する光束は、フーリエ
変換レンズ21によりフーリエ変換され、マッチドフィ
ルタ上に描かれた多重干渉縞パターンを照射する。この
とき、識別分類したいパターンと同じ空間周波数スペク
トラムを有する参照パタ−ンからその参照パタ−ンパタ
ーンを作成したときに用いた平面波の方向に回折光が出
射される。この回折光を集光レンズ22により、スクリ
ーン31上に集光すれば、一方の回折光は、参照パタ−
ンと識別分類したいパターンとの相互相関パターンにな
り、他方は、コンボリュ−ションとなる。そこで、各参
照パタ−ンによる相互相関出力が現れる位置は、予め分
かっているので、その位置の相関出力強度のピーク値或
いは全光量を測定することができる。
【0050】以下、他の認識分類したいパターンについ
て同様に相関出力強度を測定し、実施例1や実施例2で
述べるのと同様に、複数回のデータから各クラスに属す
るパターンに対するピーク値や相関出力パターンの広が
りに応じた全光量等の平均値と標準偏差量を計算し、メ
ンバ−シップ関数を作成したり、各パターンの有する座
標を中心として、距離に準じた値をN次元の入力空間の
2次閉曲面の径にすることにより、特定領域を作成し、
前記の複数回のデータを入力ユニットに入力し、これに
基づいて、ニューラルネットワークを学習して汎化領域
を作成する。以下、特定領域と汎化領域との相互作用に
よる認識分類手段についは、前記の実施例1や2と同様
なので省略する。
て同様に相関出力強度を測定し、実施例1や実施例2で
述べるのと同様に、複数回のデータから各クラスに属す
るパターンに対するピーク値や相関出力パターンの広が
りに応じた全光量等の平均値と標準偏差量を計算し、メ
ンバ−シップ関数を作成したり、各パターンの有する座
標を中心として、距離に準じた値をN次元の入力空間の
2次閉曲面の径にすることにより、特定領域を作成し、
前記の複数回のデータを入力ユニットに入力し、これに
基づいて、ニューラルネットワークを学習して汎化領域
を作成する。以下、特定領域と汎化領域との相互作用に
よる認識分類手段についは、前記の実施例1や2と同様
なので省略する。
【0051】さて、この場合、マッチドフィルタには、
各参照パタ−ン同志のフーリエ成分が重畳されていない
ので、相関出力のコントラスト比が、参照パタ−ンを増
加させることにより低下する程度が少なくなる。従っ
て、メンバ−シップ関数の割り当てられるダイナミック
レンジが低下することが少ないので、極めて多くのパタ
ーンを少数の参照パタ−ンで識別することができる。
各参照パタ−ン同志のフーリエ成分が重畳されていない
ので、相関出力のコントラスト比が、参照パタ−ンを増
加させることにより低下する程度が少なくなる。従っ
て、メンバ−シップ関数の割り当てられるダイナミック
レンジが低下することが少ないので、極めて多くのパタ
ーンを少数の参照パタ−ンで識別することができる。
【0052】また、同様に、本出願人が平成2年に出願
した合同フーリエ変換装置によっても、同様な効果をも
たらすことができる。詳細な説明は、省略するが、簡単
にして言えば、合同フーリエ変換の各参照パタ−ンと認
識分類したいパターンとの合同フーリエ変換をレンズの
アレイを用いて、個別に同時に並列的に行なうというも
のである。この方法により、各参照パタ−ン同志のフー
リエ変換成分が重なり、参照パタ−ンと認識分類したい
パターンとの相互相関強度のコントラスト比を低下させ
るという問題がなくなる。更に、マッチドフィルタと異
なり、参照パタ−ンの増加や書き換えが可能になるの
で、より柔軟な処理を行なうことができる。例えば、認
識において、予めセットした参照パタ−ンでは完全に分
離が行なえないなどの時に、参照パタ−ンの一部を書き
換えたいなどの要求に答えることができるものである。
した合同フーリエ変換装置によっても、同様な効果をも
たらすことができる。詳細な説明は、省略するが、簡単
にして言えば、合同フーリエ変換の各参照パタ−ンと認
識分類したいパターンとの合同フーリエ変換をレンズの
アレイを用いて、個別に同時に並列的に行なうというも
のである。この方法により、各参照パタ−ン同志のフー
リエ変換成分が重なり、参照パタ−ンと認識分類したい
パターンとの相互相関強度のコントラスト比を低下させ
るという問題がなくなる。更に、マッチドフィルタと異
なり、参照パタ−ンの増加や書き換えが可能になるの
で、より柔軟な処理を行なうことができる。例えば、認
識において、予めセットした参照パタ−ンでは完全に分
離が行なえないなどの時に、参照パタ−ンの一部を書き
換えたいなどの要求に答えることができるものである。
【0053】前記の実施例1、2ともに、コヒ−レント
光学系を基にしているために、入力パターンの並進ズレ
に強いという特徴を有することは言うまでないことであ
る。これは、相関出力位置が入力パターンの並進ズレに
対して、対応して動くからである。
光学系を基にしているために、入力パターンの並進ズレ
に強いという特徴を有することは言うまでないことであ
る。これは、相関出力位置が入力パターンの並進ズレに
対して、対応して動くからである。
【0054】次に、簡単で、集積化が比較的に容易な光
学系の1例を挙げる。図14は、既知のインコヒ−レン
ト系の相関光学系を示す構成図である。光学系として
は、画像表示装置16と参照パタ−ンマスク62を近接
して並べ、画像表示装置16上に描かれたパターンと参
照パタ−ンとの積の出力を集光レンズアレイ71を用い
て、スクリーン31上に集光し、2次元光電変換素子4
3により集光された各参照パタ−ンからの出力を検出す
るものである。本実施例では、画像表示装置16上に
は、参照パタ−ンマスク62に対応した画素に識別分類
したいパターンをアレイ状に並べて表示することとな
る。この場合、各参照パタ−ンと識別分類したいパター
ンとの相互相関ピークが検出されることになる。以下、
他の認識分類したいパターンについて、同様に、相関出
力強度を測定し、実施例1や実施例2で述べたように、
複数回のデータから各クラスに属するパターンに対する
ピーク値や相関出力パターンの広がりに応じた全光量等
の平均値と標準偏差量を計算し、メンバ−シップ関数を
作成したり、各パターンの有する座標を中心とし、距離
に準じた値をN次元の入力空間の2次閉曲線の径とする
ことにより、特定領域を作成し、前記の複数回のデータ
を入力ユニットに入力し、これに基づいて、ニューラル
ネットワークを学習して、汎化領域を作成する。以下、
特定領域と汎化領域との相互作用による認識分類手段に
ついては、前記の実施例1、2と同様なので省略する。
学系の1例を挙げる。図14は、既知のインコヒ−レン
ト系の相関光学系を示す構成図である。光学系として
は、画像表示装置16と参照パタ−ンマスク62を近接
して並べ、画像表示装置16上に描かれたパターンと参
照パタ−ンとの積の出力を集光レンズアレイ71を用い
て、スクリーン31上に集光し、2次元光電変換素子4
3により集光された各参照パタ−ンからの出力を検出す
るものである。本実施例では、画像表示装置16上に
は、参照パタ−ンマスク62に対応した画素に識別分類
したいパターンをアレイ状に並べて表示することとな
る。この場合、各参照パタ−ンと識別分類したいパター
ンとの相互相関ピークが検出されることになる。以下、
他の認識分類したいパターンについて、同様に、相関出
力強度を測定し、実施例1や実施例2で述べたように、
複数回のデータから各クラスに属するパターンに対する
ピーク値や相関出力パターンの広がりに応じた全光量等
の平均値と標準偏差量を計算し、メンバ−シップ関数を
作成したり、各パターンの有する座標を中心とし、距離
に準じた値をN次元の入力空間の2次閉曲線の径とする
ことにより、特定領域を作成し、前記の複数回のデータ
を入力ユニットに入力し、これに基づいて、ニューラル
ネットワークを学習して、汎化領域を作成する。以下、
特定領域と汎化領域との相互作用による認識分類手段に
ついては、前記の実施例1、2と同様なので省略する。
【0055】この場合には、入力パターンの並進ズレに
対する許容度はまったくなくなってしまうが、非常に簡
単な構成で、しかも、集積化し易いという特徴を有す
る。
対する許容度はまったくなくなってしまうが、非常に簡
単な構成で、しかも、集積化し易いという特徴を有す
る。
【0056】更に、非常に簡単な構成による被検画像の
入力面内の移動に対して、不変な相関処理光学系につい
て述べる。さて、図15は、本出願人が別に提案してい
る光学的相互相関処理装置の構成を示す模式的構成図で
ある。図15の光学的配置において、光学的パターン識
別分類装置は、画像出力手段1’、光学的フーリエ変換
手段2’、画像出力手段3’、光検出手段4’、検出信
号処理手段5’とから本質的に構成されている。パター
ン表示装置15’に描かれた認識分類したいクラスに属
するパターン1つを、レーザ11’から出射されたコヒ
−レント光束12’で読み出し、フーリエ変換レンズ2
1’によりパターン表示装置31’上にフーリエ変換パ
ターンを作る。
入力面内の移動に対して、不変な相関処理光学系につい
て述べる。さて、図15は、本出願人が別に提案してい
る光学的相互相関処理装置の構成を示す模式的構成図で
ある。図15の光学的配置において、光学的パターン識
別分類装置は、画像出力手段1’、光学的フーリエ変換
手段2’、画像出力手段3’、光検出手段4’、検出信
号処理手段5’とから本質的に構成されている。パター
ン表示装置15’に描かれた認識分類したいクラスに属
するパターン1つを、レーザ11’から出射されたコヒ
−レント光束12’で読み出し、フーリエ変換レンズ2
1’によりパターン表示装置31’上にフーリエ変換パ
ターンを作る。
【0057】一方、コンピュータ51’内にメモリ−し
てある参照パタ−ンをパターン表示装置16’に描き、
これをビームスプリッタ14’で分岐された光束17’
で読み出し、フーリエ変換レンズ22’によりスクリー
ン33’上にフーリエ変換パターンを作る。前記の参照
パタ−ンのフーリエ変換パターンをCCD等の2次元受
光素子42’で受光し、パターン表示装置31’に描
く。この場合、参照パタ−ンのフーリエ変換パターンの
強度パターンが、パターン表示装置31’上に透過度分
布として描かれるので、認識分類したいクラスに属する
パターンのフーリエ変換パターンは、前記の参照パタ−
ンのフーリエ変換パターンの強度パターンにより変調を
受け、被検パターンと参照パタ−ンの各対応する空間周
波数成分の積が出力され、結像レンズ32’により、受
光素子41’で、前記の空間周波数成分の積の和の出力
(被検パターンのフーリエ変換パターンと参照パタ−ン
のフーリエ変換パターンの相互相関出力)を得ることが
できる。このようにして、参照パタ−ンを、パターン表
示装置16’に次々と提示して、認識分類したいパター
ンについて、繰り返し相互相関出力のデータを取ること
は、実施例1と同様なので省略する。
てある参照パタ−ンをパターン表示装置16’に描き、
これをビームスプリッタ14’で分岐された光束17’
で読み出し、フーリエ変換レンズ22’によりスクリー
ン33’上にフーリエ変換パターンを作る。前記の参照
パタ−ンのフーリエ変換パターンをCCD等の2次元受
光素子42’で受光し、パターン表示装置31’に描
く。この場合、参照パタ−ンのフーリエ変換パターンの
強度パターンが、パターン表示装置31’上に透過度分
布として描かれるので、認識分類したいクラスに属する
パターンのフーリエ変換パターンは、前記の参照パタ−
ンのフーリエ変換パターンの強度パターンにより変調を
受け、被検パターンと参照パタ−ンの各対応する空間周
波数成分の積が出力され、結像レンズ32’により、受
光素子41’で、前記の空間周波数成分の積の和の出力
(被検パターンのフーリエ変換パターンと参照パタ−ン
のフーリエ変換パターンの相互相関出力)を得ることが
できる。このようにして、参照パタ−ンを、パターン表
示装置16’に次々と提示して、認識分類したいパター
ンについて、繰り返し相互相関出力のデータを取ること
は、実施例1と同様なので省略する。
【0058】このようにすると、フーリエ変換面31に
おいては、認識分類したいクラスに属するパターンのフ
ーリエ変換パターンと参照パタ−ンのフーリエ変換パタ
ーンとの相互相関処理が、行なわれていることになるの
で、被検パターンが、入力面内で移動しても、位置不変
性が確保することができる。更に、一般的には、パター
ンを表示する画素数は、非常に多いので、少数の参照パ
タ−ンのフーリエ変換パターンとの相互相関出力に情報
を圧縮することにより、非常に少ない参照パタ−ンのセ
ットで認識分類することができるようになる。以後、識
別分類する方法、即ち、コンピュータ51により、メン
バ−シップ関数を作成し、照合する方法及びニューラル
ネットワークの入力ニュ−ロンに入力する方法について
も、前記実施例と同様なので省略する。尚、前記実施例
では、参照パタ−ンをパターン表示装置に表示し、フー
リエ変換したパターンを、パターン表示装置31に表示
していくが、参照パタ−ンを直接パターン表示装置3
1’に表示しても良い。この場合には、被検パターンの
フーリエ変換パターンと、参照パタ−ンとの相互相関演
算も行なう変化となり、参照パタ−ンの幾つかが、互い
に、画素を共有することがなければ、検出される情報量
を完全に直交させることができ、認識分類したパターン
間の直交性が良くなり、分離し易くなるという利点も有
する。
おいては、認識分類したいクラスに属するパターンのフ
ーリエ変換パターンと参照パタ−ンのフーリエ変換パタ
ーンとの相互相関処理が、行なわれていることになるの
で、被検パターンが、入力面内で移動しても、位置不変
性が確保することができる。更に、一般的には、パター
ンを表示する画素数は、非常に多いので、少数の参照パ
タ−ンのフーリエ変換パターンとの相互相関出力に情報
を圧縮することにより、非常に少ない参照パタ−ンのセ
ットで認識分類することができるようになる。以後、識
別分類する方法、即ち、コンピュータ51により、メン
バ−シップ関数を作成し、照合する方法及びニューラル
ネットワークの入力ニュ−ロンに入力する方法について
も、前記実施例と同様なので省略する。尚、前記実施例
では、参照パタ−ンをパターン表示装置に表示し、フー
リエ変換したパターンを、パターン表示装置31に表示
していくが、参照パタ−ンを直接パターン表示装置3
1’に表示しても良い。この場合には、被検パターンの
フーリエ変換パターンと、参照パタ−ンとの相互相関演
算も行なう変化となり、参照パタ−ンの幾つかが、互い
に、画素を共有することがなければ、検出される情報量
を完全に直交させることができ、認識分類したパターン
間の直交性が良くなり、分離し易くなるという利点も有
する。
【0059】更に、実時間で被検パターンの認識を行な
わせることもできる。これは、図15において、コンピ
ュータ51’からの信号をパターン表示装置16’では
なく、パターン表示装置15’への入力することとし、
パターン表示装置15’上に異なる参照パタ−ンを図1
6に示すように、同時並列的に表示し、被検パターンを
パターン表示装置上に1つだけ表示することにより達成
することができる。これは、パターン表示装置15’上
に描かれた個々の参照パタ−ンがフーリエ変換レンズ2
1’により、同時にフーリエ変換され、パターン表示装
置31’に入力される。一方、被検パターンは、フーリ
エ変換レンズ22’によりフーリエ変換され、その強度
パターンが2次元受光素子42’を経て、パターン表示
装置31’上にマスクパターンとして描かれる。
わせることもできる。これは、図15において、コンピ
ュータ51’からの信号をパターン表示装置16’では
なく、パターン表示装置15’への入力することとし、
パターン表示装置15’上に異なる参照パタ−ンを図1
6に示すように、同時並列的に表示し、被検パターンを
パターン表示装置上に1つだけ表示することにより達成
することができる。これは、パターン表示装置15’上
に描かれた個々の参照パタ−ンがフーリエ変換レンズ2
1’により、同時にフーリエ変換され、パターン表示装
置31’に入力される。一方、被検パターンは、フーリ
エ変換レンズ22’によりフーリエ変換され、その強度
パターンが2次元受光素子42’を経て、パターン表示
装置31’上にマスクパターンとして描かれる。
【0060】従って、個々の参照パタ−ンのフーリエ変
換パターンは、このマスクにより同時並列的に変調さ
れ、結像レンズ32’に入力される。この結像レンズ3
2’を受光素子41’とパターン表示装置15’とが共
役な関係になるような位置に配置しておけば、受光素子
41’上には、各参照パタ−ンのパターン表示装置1
5’上の共役な位置に被検パターンのフーリエ変換パタ
ーンの強度パターンで、変調された参照パタ−ンが表示
される。この変調された個々の参照パタ−ンを受光素子
41’で検出することにより、同時並列的に参照パタ−
ンのフーリエ変換パターンと被検パターンのフーリエ変
換パターンとの相互相関出力を得ることができる。この
場合、更に、参照パタ−ンのセットを予め決めておき、
パターン表示装置15’の代わりに、写真フィルム等を
用いれば、参照パタ−ンの提示をすることなく、非常に
容易に、完全に並列的な演算をすることができる。
換パターンは、このマスクにより同時並列的に変調さ
れ、結像レンズ32’に入力される。この結像レンズ3
2’を受光素子41’とパターン表示装置15’とが共
役な関係になるような位置に配置しておけば、受光素子
41’上には、各参照パタ−ンのパターン表示装置1
5’上の共役な位置に被検パターンのフーリエ変換パタ
ーンの強度パターンで、変調された参照パタ−ンが表示
される。この変調された個々の参照パタ−ンを受光素子
41’で検出することにより、同時並列的に参照パタ−
ンのフーリエ変換パターンと被検パターンのフーリエ変
換パターンとの相互相関出力を得ることができる。この
場合、更に、参照パタ−ンのセットを予め決めておき、
パターン表示装置15’の代わりに、写真フィルム等を
用いれば、参照パタ−ンの提示をすることなく、非常に
容易に、完全に並列的な演算をすることができる。
【0061】尚、本実施例における相関光学系は、どの
ようなものであっても良い。また、本発明の光学的パタ
ーン認識分類装置において、空間光変調器の働きをして
いる部分については、仕様上の差異があるが、原理的に
は、すべて同様の電気アドレス型のもの及び光アドレス
型のものが、使用可能である。また、アナログ的なもの
やデジタル的なものも使用可能である。アナログ的なも
のとしては、以下に述べる大半のデバイスがこれに属す
るが、デジタル的なデバイスとしては、強誘電性材料を
用いたものが、相当する。電気アドレス型の例として
は、前記の液晶ライトバルブの他に、PLZTやKD
P、Bi12SiO20(BSO)の電気光学効果を付加し
たものが、良く使用されている。
ようなものであっても良い。また、本発明の光学的パタ
ーン認識分類装置において、空間光変調器の働きをして
いる部分については、仕様上の差異があるが、原理的に
は、すべて同様の電気アドレス型のもの及び光アドレス
型のものが、使用可能である。また、アナログ的なもの
やデジタル的なものも使用可能である。アナログ的なも
のとしては、以下に述べる大半のデバイスがこれに属す
るが、デジタル的なデバイスとしては、強誘電性材料を
用いたものが、相当する。電気アドレス型の例として
は、前記の液晶ライトバルブの他に、PLZTやKD
P、Bi12SiO20(BSO)の電気光学効果を付加し
たものが、良く使用されている。
【0062】光アドレス型の例でも、電気アドレス型と
同様の材料に、光導電層を組合わせたものが、一般的で
ある。但し、Bi12SiO20(BSO)やBaTiO3等の光
起電力効果を有する結晶では、入力光強度に応じた自発
分極により光誘起屈折率変化を起こすので、光導電層も
付加する必要はない。尚、これらの空間光変調器は、透
過型としても、反射型としても構成することができる。
但し、光アドレス型で読み出し光が、書き込み光の情報
を完全に打ち消してしまうような場合には、読み出し光
と書き込み光の波長域を分離して、読み出し光が、書き
込み情報に影響を与えないようにする等の工夫が必要で
ある。また、電気アドレス型を使用する場合は、その入
力情報を得るための2次元光電変換素子及びそのための
駆動回路が必要になるが、その信号を加工し易いという
利点がある。
同様の材料に、光導電層を組合わせたものが、一般的で
ある。但し、Bi12SiO20(BSO)やBaTiO3等の光
起電力効果を有する結晶では、入力光強度に応じた自発
分極により光誘起屈折率変化を起こすので、光導電層も
付加する必要はない。尚、これらの空間光変調器は、透
過型としても、反射型としても構成することができる。
但し、光アドレス型で読み出し光が、書き込み光の情報
を完全に打ち消してしまうような場合には、読み出し光
と書き込み光の波長域を分離して、読み出し光が、書き
込み情報に影響を与えないようにする等の工夫が必要で
ある。また、電気アドレス型を使用する場合は、その入
力情報を得るための2次元光電変換素子及びそのための
駆動回路が必要になるが、その信号を加工し易いという
利点がある。
【0063】
【発明の効果】以上説明したように、本発明の光学的パ
ターン認識分類装置により、前記のような効果が得られ
た。それらをまとめると、次のような顕著な技術的効果
となる。即ち、第1に、N個の入力ユニットに入力され
た信号に基づき、N次元の入力空間を認識分類したいカ
テゴリー数の部分領域に汎化するニューラルネットワー
クの出力と、N次元の入力空間のある範囲内に存在する
パターンを特定化する手段からの出力とを比較すること
により、被検パターンの認識分類の確度を大幅に向上さ
せることができた。
ターン認識分類装置により、前記のような効果が得られ
た。それらをまとめると、次のような顕著な技術的効果
となる。即ち、第1に、N個の入力ユニットに入力され
た信号に基づき、N次元の入力空間を認識分類したいカ
テゴリー数の部分領域に汎化するニューラルネットワー
クの出力と、N次元の入力空間のある範囲内に存在する
パターンを特定化する手段からの出力とを比較すること
により、被検パターンの認識分類の確度を大幅に向上さ
せることができた。
【0064】第2に、ニューラルネットワークの出力値
と、パターンの特定化の手段に基づいた出力値の比較に
より、入力情報が既存の概念や知識にあるかどうかの判
断を半自動的に行なうことができるので、望ましい出力
になるようにニューラルネットワークの汎化状態を変更
したり、特定化の領域の追加を行なうことが効率的に行
なえるようになった。第3に、特に、入力ユニット数が
少数で且つ認識分類したいパターン或いはカテゴリーの
数が、非常に多い場合には、入力空間に割り振られる各
々のパラメータ或いはカテゴリーの占有する領域の境界
は、複雑になるので、入力される信号の基づいた汎化状
態の変更や特定化領域の追加を行っていくことにより、
領域の境界をより明確にできるので、更に、確実な認識
分類の確度を向上させていることができた。
と、パターンの特定化の手段に基づいた出力値の比較に
より、入力情報が既存の概念や知識にあるかどうかの判
断を半自動的に行なうことができるので、望ましい出力
になるようにニューラルネットワークの汎化状態を変更
したり、特定化の領域の追加を行なうことが効率的に行
なえるようになった。第3に、特に、入力ユニット数が
少数で且つ認識分類したいパターン或いはカテゴリーの
数が、非常に多い場合には、入力空間に割り振られる各
々のパラメータ或いはカテゴリーの占有する領域の境界
は、複雑になるので、入力される信号の基づいた汎化状
態の変更や特定化領域の追加を行っていくことにより、
領域の境界をより明確にできるので、更に、確実な認識
分類の確度を向上させていることができた。
【0065】第4に、光学的な相互相関出力を入力ユニ
ットへ入力させることにより、画像等の膨大な情報を相
関出力に圧縮することができ、且つ、入力面内のパター
ンの移動に対しても位置不変性を確保することができる
ので、極めて少数の入力ユニット数で、非常に多くの認
識分類したいパターン或いはカテゴリーに対処できると
共に、入力される信号に基づいて汎化状態の変更や特定
化領域の追加を行なっていくことにより、領域の境界
を、より明確にできるので、更に確実な認識分類の確度
を向上させていることができた。
ットへ入力させることにより、画像等の膨大な情報を相
関出力に圧縮することができ、且つ、入力面内のパター
ンの移動に対しても位置不変性を確保することができる
ので、極めて少数の入力ユニット数で、非常に多くの認
識分類したいパターン或いはカテゴリーに対処できると
共に、入力される信号に基づいて汎化状態の変更や特定
化領域の追加を行なっていくことにより、領域の境界
を、より明確にできるので、更に確実な認識分類の確度
を向上させていることができた。
【図1】本発明の光学的パターン認識分類装置の一例の
構成を示す模式的構成図である。
構成を示す模式的構成図である。
【図2】従来の3層ニューラルネットワーク1例を示す
模式的構成図である。
模式的構成図である。
【図3】本発明に係わる認識分類したいパターンのフー
リエ変換パターンの1例を示した説明図である。
リエ変換パターンの1例を示した説明図である。
【図4】本発明に用いる参照パターンの1例の分布領域
を示す説明図である。
を示す説明図である。
【図5】本発明に係わる認識分類したいパターンのフー
リエ変換パターンと参照パターンとの相互相関パターン
の1例を示す説明図である。
リエ変換パターンと参照パターンとの相互相関パターン
の1例を示す説明図である。
【図6】本発明に係わる1つの認識分類したいパターン
と参照パターンとの相互相関出力に基づいて作成された
メンバーシップ関数を示す説明図である。
と参照パターンとの相互相関出力に基づいて作成された
メンバーシップ関数を示す説明図である。
【図7】本発明に係わる別の1つの認識分類したいパタ
ーンと参照パターンとの相互相関出力に基づいて作成さ
れたメンバーシップ関数を示す説明である。
ーンと参照パターンとの相互相関出力に基づいて作成さ
れたメンバーシップ関数を示す説明である。
【図8】本発明に係わる更に別のの認識分類したいパタ
ーンと参照パターンとの相互相関出力に基づいて作成さ
れたメンバーシップ関数を示す説明前記である。
ーンと参照パターンとの相互相関出力に基づいて作成さ
れたメンバーシップ関数を示す説明前記である。
【図9】本発明に係わる未知のパターンに対して測定さ
れた相関度が認識分類されるべきパターンに対して有し
たメンバーシップ値を表す説明図である。
れた相関度が認識分類されるべきパターンに対して有し
たメンバーシップ値を表す説明図である。
【図10】本発明に係わる参照パターンと認識分類した
いパターンとの相互相関出力をニューラルネットワーク
に入力することを示す説明図である。
いパターンとの相互相関出力をニューラルネットワーク
に入力することを示す説明図である。
【図11】本発明の光学的パターン認識分類装置の別の
構成を示す模式的構成図である。
構成を示す模式的構成図である。
【図12】本発明の光学的パターン認識分類装置の一部
の表示される参照パターンを示す説明図である。
の表示される参照パターンを示す説明図である。
【図13】本発明の光学的パターン認識分類装置の更に
別の構成を示す模式的構成図である。
別の構成を示す模式的構成図である。
【図14】本発明の光学的パターン認識分類装置の他の
構成を示す模式的構成図である。
構成を示す模式的構成図である。
【図15】本発明の光学的パターン認識分類装置の他の
構成を示す模式的構成図である。
構成を示す模式的構成図である。
【図16】本発明の光学的パターン認識分類装置の他の
構成を示す模式的構成図である。
構成を示す模式的構成図である。
1、1’、3、3’ 画像出力手段 2、2’、4 光学的フーリエ
変換手段 4’、5 光検出手段 5’ 検出信号処理手
段 11、11’ レーザ 12、12’、17’、37 光束 13、13’ ビームエキスパ
ンダ 14、14’ ビームスプリッ
ター 15’、16、16’、31’ パターン表示装
置 21、21’、22’、41 フーリエ変換レ
ンズ 22 集光レンズ 32’ 結像レンズ 31、33’、42 スクリーン 32、42’、43 2次元受光素子 33 画像処理装置及
び液晶駆動回路 34 ミラー 35 液晶ライトバル
ブ 51、51’ コンピュータ 61 マッチドフィル
タ 62 参照パターンマ
スク 71 集光レンズアレ
イ
変換手段 4’、5 光検出手段 5’ 検出信号処理手
段 11、11’ レーザ 12、12’、17’、37 光束 13、13’ ビームエキスパ
ンダ 14、14’ ビームスプリッ
ター 15’、16、16’、31’ パターン表示装
置 21、21’、22’、41 フーリエ変換レ
ンズ 22 集光レンズ 32’ 結像レンズ 31、33’、42 スクリーン 32、42’、43 2次元受光素子 33 画像処理装置及
び液晶駆動回路 34 ミラー 35 液晶ライトバル
ブ 51、51’ コンピュータ 61 マッチドフィル
タ 62 参照パターンマ
スク 71 集光レンズアレ
イ
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06F 15/18 G02F 3/00 502 G06T 7/00 JICSTファイル(JOIS)
Claims (14)
- 【請求項1】光学的パターン認識分類装置において、パ
ターンの認識分類手段がN個の異なるパラメータを座標
軸とするN次元の入力空間において、認識分類したいパ
ターンが属する閉領域を前記認識分類したいパターンの
属するカテゴリーの数だけ作成し、前記N次元の入力空
間すべてを少なくとも前記カテゴリーの数に対応した閉
領域に分割し、被検パターンの認識分類を行なうニュー
ラルネットワークと、前記N個の異なる入力ユニットに
入力される前記認識分類したいパターンに対応した信号
の代表値とバラツキを示す諸量或いは前記認識分類した
いパターンに対応した信号の第1の代表値と、異なる認
識分類したいパターンに対応した信号の第2の代表値
と、前記第1の代表値から最も近い前記第2の代表値と
の前記N次元の入力空間内の距離を示す諸量とを基準に
して、前記認識分類したいパターンが属する閉領域を作
成し、該閉領域との照合により、被検パターンの認識を
行なう手段とよりなり;前記ニューラルネットワークの
出力と前記手段の出力とを比較して前記ニューラルネッ
トワークが出力するカテゴリーと前記手段の出力する照
合パターンとの一致度により、前記被検パターンの認識
分類を行い;前記ニューラルネットワークが出力するカ
テゴリーと前記手段の出力する照合パターンとの一致度
が望ましくない場合には、前記ニューラルネットワーク
の再学習或いは前記手段における閉領域の追加を行なう
ことを特徴とする光学的パターン認識分類装置。 - 【請求項2】前記ニューラルネットワークは、3層以上
の層構造を有するニューラルネットワークであることを
特徴とする請求項1に記載の光学的パターン認識分類装
置。 - 【請求項3】前記ニューラルネットワークは、前記認識
分類したいパターンの属するカテゴリーを代表する前記
N次元の入力空間内の幾つかのポイントからの距離に準
じた量Riに荷重値Wiを掛けた量であるモーメント量
を求め、該モーメント量を、前記ポイントの全てにわた
り、加えたものである関数を基準にしたニューラルネッ
トワークであることを特徴とする請求項1に記載の光学
的パターン認識分類装置。 - 【請求項4】前記の関数は、前記の認識分類したいパタ
ーンの属するカテゴリーの数を、M個としたとき、LO
G2 Mの小数点を切り上げた整数個以上とすることを特
徴とする請求項3に記載の光学的パターン認識分類装
置。 - 【請求項5】前記の認識分類したいパターンが属する閉
領域を作成し、該閉領域との照合により前記被検パター
ンの認識を行なう手段は、認識分類したいクラス毎に前
記N個の入力ユニットに対応したメンバーシップ関数を
作成した後、入力信号と認識分類したいクラス毎に割り
当てられている前記メンバーシップ関数とのメンバーシ
ップ値を取り、該メンバーシップ値の最も小さいメンバ
ーシップ値、又は、該メンバーシップ値の平均値を前記
入力信号の前記認識分類したいクラスに属する程度とす
ることを特徴とする請求項1〜4のいずれかに記載の光
学的パターン認識分類装置。 - 【請求項6】前記の認識分類したいパターンが属する閉
領域を作成し、該閉領域との照合により前記被検パター
ンの認識を行なう手段は、前記代表値からの距離に準じ
る量を前記N次元空間の各座標軸の径とする2次の閉領
域を作成するニューラルネットワークを用い、前記被検
パターンの有する座標値と該閉領域との関係より、前記
入力信号の前記認識分類したいクラスに属する程度とす
ることを特徴とする請求項1〜4のいずれかに記載の光
学的パターン認識分類装置。 - 【請求項7】前記N個の異なる入力ユニットへの入力
は、認識分類したいクラスに属するパターンと複数の参
照パタ−ンとの光学的相関出力とすることを特徴とする
請求項1〜6のいずれかに記載の光学的パターン認識分
類装置。 - 【請求項8】前記複数の参照パターンとの相関出力は、
認識分類したいクラスに属するパターン若しくは被検パ
ターンとの光学的自己相関出力或いは相互相関出力のピ
ーク値を取ることを特徴とする請求項1〜7のいずれか
に記載の光学的パターン認識分類装置。 - 【請求項9】前記複数の参照パターンとの相関出力は、
認識分類したいクラスに属するパターン若しくは被検パ
ターンと光学的自己相関出力或いは相互相関出力の広が
りに応じた受光範囲の全光量或いは平均光値を取ること
を特徴とする請求項1〜7のいずれかに記載の光学的パ
ターン認識分類装置。 - 【請求項10】前記複数の参照パターンとの相関出力
は、認識分類したいクラスに属するパターン若しくは被
検パターンとの光学的自己相関出力或いは相互相関出力
のピーク値と相関出力出力或いは相互相関出力のピーク
値と相関出力の広がりに応じた受光範囲の全光量或いは
平均光量を取ることにより得ることを特徴とする請求項
1〜7のいずれかに記載の光学的パターン認識分類装
置。 - 【請求項11】前記複数の参照パターンとの相関出力
は、マッチドフィルターを用いて得ることを特徴とする
請求項1〜10のいずれかに記載の光学的パターン認識
分類装置。 - 【請求項12】前記複数の参照パターンとの相関出力
は、認識分類したいクラスに属するパターン若しくは被
検パターンと各参照パターンとの合同フーリエ変換を個
別に行なうことにより得られた強度パターンを、再び、
光学的に個別にフーリエ変換するか、又は、認識分類し
たいクラスに属するパターン若しくは被検パターンと各
参照パターンとの合同フーリエ変換を一括して行なうこ
とにより得られた強度パターンを、再び、光学的に一括
してフーリエ変換することにより得ることを特徴とする
請求項1〜10のいずれかに記載の光学的パターン認識
分類装置。 - 【請求項13】前記複数の参照パターンとの相関出力
は、光透過率分布或いは光反射率分布で表された認識分
類したいクラスに属するパターン若しくは被検パターン
と各参照パターンとを重ねインコヒーレント光で照射
し、透過或いは反射してきた光量を取ることにより得る
ことを特徴とする請求項1〜10のいずれかに記載の光
学的パターン認識分類装置。 - 【請求項14】前記複数の参照パターンとの相関出力
は、認識分類したいクラスに属するパターン若しくは被
検パターンのフーリエ変換面に各参照パターン若しくは
各参照パターンのフーリエ変換パターンの強度パターン
を表すマスク或いは空間光変調器を配置し、該マスク或
いは空間光変調器を透過或いは反射してきた光量を取る
か、又は、前記複数の参照パターンのフーリエ変換面に
認識分類したいクラスに属するパターン若しくは被検パ
ターンのフーリエ変換パターンの強度パターンを表した
マスク或いは空間光変調器を配置し、該マスク或いは空
間光変調器を透過或いは反射してきた光量を取ることに
より得ることを特徴とする請求項1〜10のいずれかに
記載の光学的パターン認識分類装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03260693A JP3094070B2 (ja) | 1991-10-08 | 1991-10-08 | 光学的パターン認識分類装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP03260693A JP3094070B2 (ja) | 1991-10-08 | 1991-10-08 | 光学的パターン認識分類装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH05101029A JPH05101029A (ja) | 1993-04-23 |
JP3094070B2 true JP3094070B2 (ja) | 2000-10-03 |
Family
ID=17351466
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP03260693A Expired - Fee Related JP3094070B2 (ja) | 1991-10-08 | 1991-10-08 | 光学的パターン認識分類装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3094070B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7331172B2 (ja) * | 2017-05-11 | 2023-08-22 | キヤノン株式会社 | 画像認識装置および学習装置 |
JP7457647B2 (ja) * | 2017-09-19 | 2024-03-28 | ラモット・アット・テル・アビブ・ユニバーシテイ・リミテッド | 画像コンテンツ認識のための方法およびシステム |
-
1991
- 1991-10-08 JP JP03260693A patent/JP3094070B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPH05101029A (ja) | 1993-04-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Kurniawan et al. | Traffic congestion detection: learning from CCTV monitoring images using convolutional neural network | |
US5963667A (en) | Multiplexing optical system and feature vector transformation apparatus using the same; feature vector detecting and transmitting apparatus; and recognition and classification system using these apparatuses | |
US5793932A (en) | Image recognition device and an image recognition method | |
US4995088A (en) | Super resolution | |
US5754693A (en) | Method of optical recognition and classification of patterns | |
WO1991002323A1 (en) | Adaptive network for classifying time-varying data | |
JP3094070B2 (ja) | 光学的パターン認識分類装置 | |
US5361311A (en) | Automated recongition of characters using optical filtering with positive and negative functions encoding pattern and relevance information | |
Sheng et al. | Invariant pattern recognition using Fourier-Mellin transforms and neural networks | |
JP3099203B2 (ja) | 光学的パタ−ン認識分類装置 | |
EP0499469A2 (en) | Artificial neural network pattern recognition system | |
JP3014155B2 (ja) | 光学的パタ−ン認識分類方法 | |
JP3096819B2 (ja) | ニュ−ラルネットワ−ク | |
Tipper et al. | A neural network approach to the phase unwrapping problem in fringe analysis | |
JP3096717B2 (ja) | ニュ−ラルネットワ−ク | |
Caudell et al. | Adaptive Resonance Theory networks in the Encephalon autonomous vision system | |
Rosandich | Artificial vision: Three-dimensional object recognition using neural networks | |
JP2937536B2 (ja) | 光学的認識分類方法 | |
Lu et al. | Hybrid neural networks for nonlinear pattern recognition | |
Mahmood et al. | Using SIFT Descriptors for Face Recognition Based on Neural Network and Kepenekci Approach | |
Nutter | 3-D modelling and classification in automated target recognition | |
JP3275311B2 (ja) | 創作装置およびニューラルネットワーク | |
Kaméus et al. | Comparing Convolutional Neural Networks to traditional methods and the human eye for copy-move forgery detection | |
JPH09185713A (ja) | 特徴ベクトル抽出装置及びこれを用いた情報処理装置 | |
Eglen et al. | Unsupervised discovery of invariances |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080804 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090804 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |