JP3096819B2 - ニュ−ラルネットワ−ク - Google Patents

ニュ−ラルネットワ−ク

Info

Publication number
JP3096819B2
JP3096819B2 JP03043600A JP4360091A JP3096819B2 JP 3096819 B2 JP3096819 B2 JP 3096819B2 JP 03043600 A JP03043600 A JP 03043600A JP 4360091 A JP4360091 A JP 4360091A JP 3096819 B2 JP3096819 B2 JP 3096819B2
Authority
JP
Japan
Prior art keywords
pattern
light
neural network
test pattern
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP03043600A
Other languages
English (en)
Other versions
JPH04280385A (ja
Inventor
竹村安弘
武居利治
山崎英樹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Osaka Cement Co Ltd
Original Assignee
Sumitomo Osaka Cement Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Osaka Cement Co Ltd filed Critical Sumitomo Osaka Cement Co Ltd
Priority to JP03043600A priority Critical patent/JP3096819B2/ja
Priority to EP92301191A priority patent/EP0499469A3/en
Publication of JPH04280385A publication Critical patent/JPH04280385A/ja
Application granted granted Critical
Publication of JP3096819B2 publication Critical patent/JP3096819B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、物体、文字、音声等の
認識及び情報の検索、推論、連想等に用いられるパタ−
ン認識を行なうニュ−ラルネットワ−クに関する。
【0002】
【従来の技術】近年、認識、連想、推論等の、ノイマン
型コンピュ−タにおいて、不得意とされる情報処理を効
果的に行なう技術として、ニュ−ラルネットワ−ク技術
が注目されている。特に、ニュ−ラルネットワ−クの学
習手法である、誤差逆伝搬(以下BPと称する)法を用
いてネットワ−ク内のユニット、即ち、ニュ−ロンをモ
デルとした通常多入力で1出力の信号処理素子、の間の
結合荷重を決定することにより、各入力パタ−ン間の特
徴を捉えたフレキシブルな認識を行なうことができる。
【0003】光学的に認識分類したい被検パタ−ンと各
参照パタ−ンの相関演算を行なって得られた、各参照パ
タ−ン毎の相関出力光強度に応じた値を入力とする。図
2は、前記のような従来の代表的ニュ−ラルネットワ−
クの構成を示す構成図である。即ち、ニュ−ラルネット
ワ−ク、特に、誤差逆伝搬(以下、BPと称する)法に
よる学習を行なうニュ−ラルネットワ−クでは、通常、
ユニットの集合を3層以上の層構造とし、そのうち、パ
タ−ン信号入力を行なう層を入力層と、認識出力信号を
出力する層を出力層、残りを中間層或いは隠れ層と称す
る。ここでは、中間層の層数を1、入力層に含まれるユ
ニット数を5、中間層に含まれるユニット数を3、出力
層に含まれるユニット数を5としているが、これは、構
成を説明するための、1つの例示であり、中間層数及び
各層におけるユニット数は要求に応じて種々の値を取る
ことができる。
【0004】各入力値、即ち、光学的相関系から得られ
た相関出力光強度に応じた値は、そのまま入力層より出
力として、各々出力され、中間層、そして、出力層へと
入力し、出力層より出力される。中間層の各ユニットへ
の入力値と出力層の各ユニットへの入力値は、各々の前
段の層からの出力値に、その結線に対応した結合荷重値
を掛け合わせ、その得られた値の総和にバイアス値を加
算したものをxとすると、その入力値を、F(x)と表
わす。 F(x)=1/[1+exp(−x)] と表わし、単調な増加傾向を有する非線形関数である。
【0005】また、入力層と中間層との間、そして、出
力層と中間層との間における結合荷重値及びバイアス値
は、各々独立した値である。前記のようなニュ−ラルネ
ットワ−クの構成において、ある入力パタ−ン即ち入力
層ユニットの出力ベクトル(I1,I2,I3,I4,I5)を与
えたときの出力層からの所望の出力と、実際の出力との
各ユニットの誤差の二乗和が小さくなるように、各ユニ
ット間の結合荷重値を修正することにより、ある入力パ
タ−ンに対して所望の出力パタ−ンを出力するニュ−ラ
ルネットワ−クを得ることができる。BP法は、このと
き、荷重の修正係数を計算することができ、その修正係
数を用いて効率良く学習を収束させて行くために、いく
つかの方法が提案されている。
【0006】また、相関出力光強度を得るための光学的
相関系には、従来、ジョイントトランスフォ−ム法、マ
ッチドフィルタ−法、又は、レンズアレイを用いたジョ
イントトランスフォ−ム法等があるが、いずれの場合も
認識分類したい被検パタ−ンと各参照パタ−ンを光学的
に表示するために、画像表示装置として、空間光変調器
や写真フィルムを用いている。
【0007】然し乍ら、前記のような光学的に得られた
相関出力強度に応じた値を入力とするニュ−ラルネット
ワ−クでは、ニュ−ラルネットワ−クの前処理となる光
学的相関系の画像表示装置にある時刻T1に被検パタ−
ンを表示したときに得られる各参照パタ−ンに対する相
関出力光強度と、画像表示装置にT1と異なる時刻T2
に同じ被検パタ−ンを表示したときに得られる各参照パ
タ−ンに対する相関出力光強度とでは、多少異なる値が
得られていた。これは、画像表示装置として用いられて
いる空間光変調器での透過、又は反射光の揺らぎ、又
は、スペックルノイズによる揺らぎが非常に大きかっ
た。
【0008】また、画像表示装置に、被検パタ−ンの欠
損パタ−ンを表示した場合、得られる各参照パタ−ンに
対する相関出力光強度は、欠損していない被検パタ−ン
を表示した場合に得られる各参照パタ−ンに対する相関
出力光強度よりも、小さい値となる。このため、ニュ−
ラルネットワ−クに入力される入力パタ−ンは、被検パ
タ−ンを表示した場合と欠損被検パタ−ンを表示した場
合とでは、全く異なったものとなってしまい、被検パタ
−ンを表示した場合についてのみ学習を行なったニュ−
ラルネットワ−クでは、欠損被検パタ−ンについては誤
認識を生じていた。欠損被検パタ−ンについても認識が
できるように、学習させるとしても、欠損被検パタ−ン
と無欠損な被検パタ−ンの両方についての学習を行なわ
なければならず、学習時間に多くの時間を費やしてい
た。
【0009】また、構成の決まっているニュ−ラルネッ
トワ−クにおいて、無欠損な被検パタ−ンを認識分類で
きるカテゴリ−数が、決まっているものとする。そこ
に、欠損被検パタ−ンについても認識ができるように学
習させ、欠損被検パタ−ンをあるカテゴリ−に属させよ
うとすると、カテゴリ−数は、無欠損な被検パタ−ンを
認識できるカテゴリ−数に比べて、減少してしまい、ニ
ュ−ラルネットワ−クの認識における性能を落としてし
まっていた。
【発明が解決しようとする課題】
【0010】本発明は、上記の問題点を解決するために
為されたもので、光学的相関系の画像表示装置における
透過光、又は、反射光の揺らぎやスペックルノイズが原
因で、得られる相関出力光強度にバラツキがあったとし
ても、認識をすることが可能であり、被検パタ−ンを認
識分類できるカテゴリ−の数の減少を少なくして、欠損
被検パタ−ンの認識分類に対する性能が高く、学習時間
が少なくてすむニュ−ラルネットワ−クを提供すること
を目的とする。
【0011】
【課題を解決するための手段】本発明は、上記の技術的
な課題の解決のために、成されたもので、基本的構成が
階層型であるニュ−ラルネットワ−クにおいて、その層
数を3層以上とし、入力層へは、光学的に認識分類した
い被検パタ−ンと複数の各参照パタ−ンの相関演算を行
なって得られた各参照パタ−ン毎の相関出力光強度に応
じた値を被検パタ−ン又は被検パタ−ンと1つ以上の参
照パタ−ンとを構成する画素数に対応する値で規格化し
た値を入力し、入力層から出力層までの各結合荷重値を
教師付き学習により決定されたニュ−ラルネットワ−ク
を提供する。
【0011】その被検パタ−ンを構成する画素数に対応
する値は、被検パタ−ンを表示した画像表示装置からの
透過光又は反射光強度に応じた値であるものが好適であ
る。更に、被検パタ−ンと1つ以上の参照パタ−ンとを
構成する画素数に対応する値は、被検パタ−ンと各参照
パタ−ンのうちの1つ或いは1つ以上の参照パタ−ンと
の、透過光又は反射光強度に応じた値の和であるニュ−
ラルネットワ−クが好適である。また、各参照パタ−ン
毎の相関出力光強度は、被検パタ−ンと各参照パタ−ン
との自己相関出力或いは相互相関出力のピ−ク値をとる
ニュ−ラルネットワ−クが好適である。各参照パタ−ン
毎の相関出力光強度は、被検パタ−ンと各参照パタ−ン
との自己相関出力或いは相互相関出力の広がりに応じた
受光範囲の全光量或いは、平均光量をとるニュ−ラルネ
ットワ−クが好適である。更に、各参照パタ−ン毎の相
関出力光強度は、被検パタ−ンと各参照パタ−ンとの自
己相関出力或いは相互相関出力のピ−ク値と相関出力の
広がりに応じた受光範囲の全光量或いは平均光量をとる
ことによるニュ−ラルネットワ−クが好適である。
【0012】各参照パタ−ン毎の相関出力光強度は、2
次元光電変換素子の線形範囲若しくは、該相関出力光強
度の一部が、該2次元光電変換素子の最大受光量を超え
る範囲で得られたものが好適である。更に、光学的に認
識分類したい被検パタ−ンと複数の各参照パタ−ンの相
関演算は、フ−リエ変換ホログラムに基づいたフィルタ
−を用いて行なうことにより得られたニュ−ラルネット
ワ−クが好適である。光学的に認識分類したいる被検パ
タ−ンと複数の各参照パタ−ンの相関演算は、被検パタ
−ンと各参照パタ−ンとの合同フ−リエ変換を個別に行
なうことにより得られた強度パタ−ンを、再び、光学的
に個別にフ−リエ変換して行なうか、或いは、被検パタ
−ンと各参照パタ−ンとの合同フ−リエ変換を一括して
行なうことにより得られた強度パタ−ンを、再び、光学
的に一括してフ−リエ変換して行なったニュ−ラルネッ
トワ−クが好適である。更に、光学的に認識分類したい
被検パタ−ンと複数の各参照パタ−ンとの相関演算は、
光透過率分布或いは光反射率分布で表わされた被検パタ
−ンと各参照パタ−ンを重ね、インコヒ−レント光で照
射し、反射し或いは透過してきた光量をとることによ
り、得られたニュ−ラルネットが好適である。
【0013】
【作用】本発明のニュ−ラルネットワ−クの構成による
と、光学的相関系の画像表示装置からの透過光又は反射
光に揺らぎが生じることが原因で得られる相関出力光強
度に応じた値にバラツキがあっても、相関出力光強度に
応じた値を被検パタ−ン又は被検パタ−ンと1つ以上の
参照パタ−ンとを構成する画素数に対応する値で、規格
化することにより、被検パタ−ンと欠損被検パタ−ンの
ニュ−ラルネットワ−クの入力パタ−ンは、ほぼ同じも
のとなり、被検パタ−ンを認識分類できるカテゴリ−数
の減少もなくなり、欠損被検パタ−ンの認識分類に対す
る性能も高まる。そして、欠損被検パタ−ンについて別
に学習をする必要もなく、学習時間も少なくて済み、欠
損被検パタ−ンの認識も比較的に容易に且つ効率的に行
なうことができる。
【0014】次に、本発明のニュ−ラルネットワ−クを
具体的に実施例により説明するが、本発明はそれらによ
って限定されるものではない。
【0015】
【実施例1】図1は、本発明のニュ−ラルネットワ−ク
の1例を具体的構成を示す模式的構成図である。ここ
で、ユニットで構成されているニュ−ラルネットワ−ク
の部分は、既知の通りであるので省略し、ここでは、先
ず、ニュ−ラルネットワ−クの前処理に当る光学的相関
系の部分に着目し、その光学的相関系の光束について詳
細な説明を行なう。従って、図1には、ニュ−ラルネッ
トワ−クの前処理に当る光学的相関系の模式的構成図を
示す。
【0016】図1の光学的相関系の模式的構成図におい
て、光学的相関系は、画像出力手段1、光学的フ−リエ
変換手段2、画像出力手段3、光学的フ−リエ変換手段
4、光検出手段5とから本質的に構成されている合同フ
−リエ変換光学系である。
【0017】次に前記構成について簡単に説明する。画
像表示装置16に描かれた認識分類したい被検パタ−ン
1つと複数の参照パタ−ン群をレ−ザ11から出射され
たコヒ−レント光束12で同時に読み出し、画像表示装
置16を通過した光束12は、次にビ−ムスプリッタ−
15に入射し、光束17、そして光束18に分けられ
る。光束18は、フ−リエ変換レンズ21によりスクリ
−ン31上に合同フ−リエ変換パタ−ンを作る。
【0018】この合同フ−リエ変換パタ−ンを2次元光
電変換素子32で読み込み、画像処理及び液晶駆動回路
33により、電気アドレス型の液晶ライトバルブ35上
に描き、光束37で読み出し、フ−リエ変換レンズ41
により、再びフ−リエ変換し、スクリ−ン42上の相関
出力光強度を2次元光電変換素子43により検出し、コ
ンピュ−タ51内にメモリ−する。一方、光束17は、
レンズ54によりスクリ−ン53上に被検パタ−ンと複
数の参照パタ−ン群の像を結像する。
【0019】スクリ−ン53上に結像された被検パタ−
ンと複数の各参照パタ−ン群の各々の光強度は、2次元
光電変換素子52により、2次元光電変換素子43とほ
ぼ同じタイミングで、読み込み、コンピュ−タ51内に
メモリ−する。ここで、コンピュ−タ51内にメモリ−
された被検パタ−ンと各参照パタ−ンの各々の相関出力
光強度と、光束17による被検パタ−ンと複数の各参照
パタ−ン群の各々の光強度は、コンピュ−タ51内にメ
モリ−されるが、メモリ−されるのは、これらに限ら
ず、得られた光強度に対応した値、例えば、CCDのよ
うに、受光した光強度を8ビットの256階調で表わし
たものや、フォトデイテクタ−などのように、光強度を
線形的に受光したものもメモリ−する。
【0020】次に、被検パタ−ンと各参照パタ−ンとの
相関出力を得るためのそれらの相関出力光強度の決定方
法について説明する。例えば、参照画像群として、5つ
の文字パタ−ンA、E、N、T、Vを選定し、認識分類
したい文字パタ−ンをHとして、図3に示すように、5
つの文字パタ−ンを同心円上に、認識分類したいパタ−
ンを同心円の中心に、画像表示装置16上に描いたとす
る。この場合、2次元光電変換素子43の出力、即ち、
文字パタ−ンHと各参照パタ−ンとの相関出力は、画像
表示装置16上に描かれた対応する各参照パタ−ン位置
に現れ、図4に示すように、相関出力光強度として検出
される。ここでは、相関出力光強度のピ−ク値の大きい
ものほど、大きい丸印で示す。また、ここでは、参照パ
タ−ンをA、E、N、T、Vの5パタ−ンとしたが、そ
れは、説明を簡単にするためであり、参照パタ−ンとそ
の数は、A、E、N、T、Vのみ、又は5パタ−ンのみ
と限定されたものでは、ない。
【0021】以上のようにして得られた相関出力光強度
のピ−ク値は、コンピュ−タ51内にメモリ−される。
尚、図4で、光軸上に現れる自己相関は、ここでは、関
係がないので省略してある。
【0022】さて、一般的に相関出力は、2つのパタ−
ンをA(x、y)、B(x、y)とした時、以下に示さ
れる式で表わされる。 I(x’,y’)=∬A(x,y)B*(X’-X,Y’-Y)dxdy・・・・・・・・・・(1) ここで、*は、複素共役量を表わす。(1)式から分
かるように、相関出力は、1次元方向にパタ−ンの大き
さの2倍の広がりを有し、従って、相関出力の取り方
は、前記のピ−ク値以外に、相関出力の広がりに応じた
受光範囲の全光量、或いは、その平均光量をとっても、
パタ−ンの相関度を表わした情報として同様な扱いをす
ることができる。
【0023】図5に相関光量分布がどのようになるかを
模式的に表わすが、2つのパタ−ンの重なり具合を紙面
の上下方向にずらせて、表現してある。このとき、パタ
−ンEとHの相関光量は、図5(a)に示すように、完
全に重なったとき、ピ−ク値となり、図5(b)のよう
に、パタ−ンの大きさだけずれるとパタ−ンHの1つの
縦棒とパタ−ンEの縦棒が重なるので、ピ−ク値より小
さい相関光量が得られる。図5(c)は、このようにし
てできたパタ−ンEとパタ−ンHの相関光量分布を示し
たもので、中央の大きい丸が、ピ−ク量、上下の小さい
丸が横棒の反応、横の小さい丸が縦棒の反応を各々示し
ている。従って、これらの全光量或いは平均光量中に
は、ピ−ク光量には見られない各パタ−ンの特徴がより
よく、反映された情報を得ることになる。
【0024】従って、相関出力光強度を2次元光電変換
素子を用いて、検出する場合、相関出力光強度のピ−ク
値を、最大光量を超える範囲で受光し、相関出力光強度
の弱い部分を強調することにより、ピ−ク光量には見ら
れない各パタ−ンの特徴を強調し、よりよく反映した情
報を得ることができる。
【0025】次に、コンピュ−タ51内にメモリ−され
た被検パタ−ンと各参照パタ−ンとの各々の相関出力光
強度は、光束17による被検パタ−ンと複数の各参照パ
タ−ン群の各々の光強度で、コンピュ−タ51により規
格化され、ニュ−ラルネットワ−クの入力層の各ユニッ
トに入力されるわけであるが、ここでは、前記の規格化
方法について説明する。
【0026】規格化方法には、規格化方法aとして、被
検パタ−ンと各参照パタ−ンの各々の相関出力光強度を
光束17による被検パタ−ンの光強度で規格化する方法
があり、規格化方法bとして、被検パタ−ンと各参照パ
タ−ンの各々の相関出力光強度を、被検パタ−ンと各参
照パタ−ンのうちの1つ或いは1つ以上の参照パタ−ン
との、透過光又は反射光の強度に応じた値の和で、各々
規格化する方法がある。この2種類の規格化方法のう
ち、先ず、前者の規格化方法aは、欠損パタ−ンをニュ
−ラルネットワ−クを用いて認識させる場合、また、被
検パタ−ンを透過する光又は反射する光が、揺らいでい
る際に、非常に有効な手段である。
【0027】仮に、欠損又は無欠損な被検パタ−ンHの
参照パタ−ンA、E、N、T、Vに対する相関出力光強
度を各々I(ha),I(he),I(hn),I(ht),I(hv)とし、そ
して、2次元光電変換素子52により得られる。欠損又
は無欠損な被検パタ−ンHの透過光又は反射光の量を、
I( h)とする。前出願のニュ−ラルネットワ−クでは、
前記の得られた各々の相関出力光強度I(ha),I(he),I
(hn),I(ht),I(hv)をそのまま入力し、教師付き学習を
行なって、パタ−ン認識を行なっていた。
【0028】然し乍ら、通常、被検パタ−ンが欠損して
いたときに得られる相関出力光強度は、被検パタ−ンが
欠損していないときに得られる相関出力光強度と比べ
て、欠損した分に応じて低いものとなる。従って、前記
の低い相関出力光強度もニュ−ラルネットワ−クに入力
していたのでは、同じパタ−ンを認識させるのに、被検
パタ−ンが欠損した場合も考慮した多数の相関出力光強
度を入力し、学習しなければならなく、多くの学習時間
を要していた。また、構成の決まったニュ−ラルネット
ワ−クにおいて、無欠損な被検パタ−ンを認識分類でき
るカテゴリ−数は、決まっているものとする。そして、
そこに、欠損被検パタ−ンについても認識ができるよう
に学習させ、欠損被検パタ−ンをあるカテゴリ−に属さ
せることとする。すると、カテゴリ−数は、無欠損な被
検パタ−ンを認識できるカテゴリ−数に比べて、減少し
てしまい、ニュ−ラルネットワ−クのパタ−ン認識にお
ける性能を落としていた。
【0029】然し乍ら、本発明のニュ−ラルネットワ−
クでは、以下の式で表わされる規格化した値(規格化方
法aでは、被検パタ−ンの透過光又は反射光の量は規格
化する)を、入力層の各ユニットに入力し、教師付き学
習を行なったり、パタ−ン認識を行なう。 I1(ha)=I(ha)/I( h)・・・・・・・・・・・・・・・・・・(2) I1(he)=I(he)/I( h)・・・・・・・・・・・・・・・・・・(3) I1(hh)=I(hh)/I( h)・・・・・・・・・・・・・・・・・・(4) I1(ht)=I(ht)/I( h)・・・・・・・・・・・・・・・・・・(5) I1(hv)=I(hv)/I( h)・・・・・・・・・・・・・・・・・・(6)
【0030】次に、何故 前記の(2)(3)(4)(5)(6)
式で示される規格化された値をニュ−ラルネットワ−ク
に入力することにより、前記のように、欠損パタ−ンを
ニュ−ラルネットワ−クを用いて認識させる場合に、被
検パタ−ンを透過又は反射する光が揺らいで、得られる
相関出力光強度にバラツキが生じる際に非常に有効な手
段であるのかを、次に説明する。
【0031】例えば、無欠損の被検パタ−ンHと参照パ
タ−ンAから得られる相関出力光強度は、In(ha)と
し、そして、無欠損被検パタ−ンHの透過光又は反射光
の量は、In( h)とする。ここで、仮に、被検パタ−ン
Hの一部が欠損していたとしよう。そして、この時得る
ことのできる欠損被検パタ−ンHの参照パタ−ンAに対
する相関出力光強度が、In(ha)よりも、△In(ha)だ
け小さいものとする。つまり、被検パタ−ンHが欠損し
た分だけ、相関出力光強度が、In(ha)よりも、△In
(ha)だけ落ちたものとする。
【0032】また、このとき得ることができる欠損被検
パタ−ンHの透過光又は反射光の量は、In(h)より
も、△In(h)だけ小さいものとする。即ち、被検パタ
−ンHが欠損した分だけ被検パタ−ンHの透過光又は反
射光量が、In( h)よりも△In( h)だけ落ちたものと
する。以上より、被検パタ−ンHが欠損した時に得られ
る相関出力光強度は、 In(ha)−△In(ha)・・・・・・・・・・・・・・・(7) また、被検パタ−ンHが欠損した時に得られる欠損被検
パタ−ンHの透過光又は反射光量は、 In(h)−△In(h)・・・・・・・・・・・・・・・・・(8) である。
【0033】(7)(8)式を用いて、(2)式に従っ
て規格化を行なうと、 [In(ha)−△In(ha)]/[In(h)−△In(h)]= {In(ha)−△In(ha)}*{1/In(h)}/[1−{△In(h)/In(h)}]・・・・(9) ここで、In(h)>△In(h)・・・・・・・・・・・・・・・・・・(10) は、常に成立するので、(9)式は、 {In(ha)−△In(ha)}*{1/In(h)}*[1+{△In(h)/In(h)}]・・・・(11) となる。(11)式について考えてみると、 {In(ha)−△In(ha)}*{1/In(h)}・・・・・・・・(12) は、被検パタ−ンHが欠損した時に得られる相関出力光
強度を無欠損被検パタ−ンHの透過光又は反射光量で規
格化したことを表わしている。
【0034】従って、(11)式は、被検パタ−ンHが
無欠損又は欠損した時に得られた相関出力光強度を、得
られた相関出力光強度に対応した無欠損、又は欠損した
被検パタ−ンHの透過光又は反射光量で規格化したもの
は、被検パタ−ンHが欠損した時に得られる相関出力光
強度を無欠損被検パタ−ンHの透過光又は反射光量で規
格化した値と比べて、 {In(ha)−△In(ha)}*{△In(h)}/[In(h)2}・・・・(13) だけ大きいものとなることを意味している。ここで、被
検パタ−ンHが欠損した時としない時に得られる相関出
力光強度を常に無欠損被検パタ−ンHの透過光又は反射
光量で規格化した場合、それらの比率というものは、常
に、規格化しない時の相関出力光強度の比率となってし
まう。
【0035】従って、規格化した結果、(13)式の
分、大きくなっただけ、被検パタ−ンHが、欠損した時
としない時の相関出力光強度の比が、小さくなったとい
うことになる。従って、被検パタ−ンHが、欠損した時
としない時の相関出力光強度の差は、規格化することに
より殆どなくなり、ニュ−ラルネットワ−クに入力され
る。従って、本来、欠損被検パタ−ンの認識のために減
少していた認識分類できるカテゴリ−数は、殆ど減少す
ることがなくなる。また、欠損被検パタ−ンを認識する
ことができるニュ−ラルネットワ−クを形成するための
学習時間は、被検パタ−ンについて、別の学習をする必
要がなくなったために、少なくてすみ、欠損被検パタ−
ンの認識も容易に且つ効率的に行なうことができる。
【0036】以上のことは、他の被検パタ−ン又は参照
パタ−ンについても、同様であるので、明白であるの
で、ここでは省略する。次に、規格化方法bについて、
説明する。規格化方法bは、欠損パタ−ンをニュ−ラル
ネットワ−クを用いて認識させる場合において、非常に
有効な手段であり、且つ、被検パタ−ン、参照パタ−ン
の透過光量又は反射光量の揺らぎを考慮したものであ
る。
【0037】規格化方法bの手順は、規格化方法aのよ
うに、被検パタ−ンをH、参照パタ−ンをA、E、N、
T、Vとした時、欠損又は無欠損なひけんパタ−ンHの
参照パタ−ンA、E、N、T、Vに対する相関出力光強
度は、各々I(ha),I(he),I(hn),I(ht),I(hv)とし、
そして、2次元光電変換素子52により得られる。欠損
又は無欠損な被検パタ−ンHの透過光又は反射光の量
は、I( h)である。また、規格化方法bでは、2次元光
電変換素子52により被検パタ−ンだけではなく、参照
パタ−ンA、E、N、T、Vの透過又は反射光量である
各々Ir(a),Ir(e),Ir(n),Ir(t),Ir(v)も検出し、コ
ンピュ−タ51にメモリ−する。
【0038】以上の、光学的相関系で得られた各値を用
いて、規格化方法bでは、以下の式で表わされる規格化
を行ない、その規格化した値を、教師付き学習を行なっ
たり、パタ−ン認識を行なう際に、ニュ−ラルネットワ
−ク入力層の各ユニットに各々入力する。 I2(ha)=I(ha)/{I( h)+Ir(a)}・・・・・・・・・・・・・・・・・(14) I2(he)=I(he)/{I( h)+Ir(e)}・・・・・・・・・・・・・・・・・(15) I2(hh)=I(hN)/{I( h)+Ir(N)}・・・・・・・・・・・・・・・・・(16) I2(ht)=I(ht)/{I( h)+Ir(t)}・・・・・・・・・・・・・・・・・(17) I2(hv)=I(hv)/{I( h)+Ir(v)}・・・・・・・・・・・・・・・・・(18)
【0039】それでは、何故前記の(14)(15)(16)
(17)(18)式で示される規格化された値をニュ−ラル
ネットワ−クに入力することで、欠損パタ−ンをニュ−
ラルネットワ−クを用いて認識又は参照パタ−ンの透過
又は反射する光が揺らいでいる際に、非常に有効な手段
であるのか、次に説明する。また、ここでは、説明を簡
単にするために、被検パタ−ンと1つの透過又は反射光
量の和としているが、参照パタ−ンは1つ以上としても
同様な扱いが可能である。
【0040】規格化方法aの時の説明と同様に、無欠損
な被検パタ−ンHと参照パタ−ンAの間で、得られる相
関出力光強度をIn(ha)とし、そして、無欠損被検パタ
−ンHの透過又は反射光量は、In( h)とする。また、
被検パタ−ンHが欠損したり、参照パタ−ンAの透過又
は反射光量が揺らいでいる時に、得ることができる欠損
被検パタ−ンHの参照パタ−ンAに対する相関出力光強
度は、In(ha)よりも△In(ha)だけ小さいものとし、
また、この時得ることができる欠損被検パタ−ンHの透
過又は反射光量は、In(h)よりも△In(h)だけ小さい
ものとする。
【0041】また、規格化方法bでは、参照パタ−ンの
透過又は反射光量の揺らぎも考慮するので、参照パタ−
ンAの透過又は反射光量の平均値をIy(a)、そして、参
照パタ−ンAの透過又は反射光量が△Iy(a)だけ小さい
ものとする。但し、ここでは、参照パタ−ンAの透過又
は反射光量の揺らぎに対する基準値を平均値Iy(a)とし
ているが、これは、説明を簡単にするためであり、基準
値は、これに限定されるもんではない。以上に示した値
を用いて、(14)式に従って規格化を行なうと、
【0042】 [In(ha)−△In(ha)]/[{In(h)−△In(h)}+{Iy(a)−△Iy(a)}] = [In(ha)−△In(ha)]*[1/{In(h)+Iy(a)}]/ [1−{△In(h)+△Iy(a)}/{In(h)+Iy(a)}]..................(19) ここで、△In(h)+△Iy(a)<In(h)+Iy(a)であ
るので、(19)式は、 [In(ha)−△In(ha)]*[1/{In(h)+Iy(a)}]* [1+{△In(h)+△Iy(a)}/{In(h)+Iy(a)}]..................(20) となる。(20)式から分かるように、参照パタ−ンの
透過又は反射光量が揺らいで、△Iy(a)が正であったと
しても、[In(ha)−△In(ha)]の項は、減少し、ま
た、△Iy(a)が負であったとしても、[In(ha)−△I
n(ha)]の項は、増加することにより、揺らぎを吸収で
きる。
【0043】欠損被検パタ−ンの効果は、規格化方法a
で示してあるので、省略する。また、以上のことは、他
の被検パタ−ン又は参照パタ−ンについても同様であ
り、1つ以上の参照パタ−ンと被検パタ−ンとの透過又
は反射光の和で規格化しても同様であることは、明白で
あるので、ここでは、省略する。上記のおいては、相関
出力光強度の取り方、相関出力光強度の規格化に仕方に
ついて述べたが、何れの方法をとり、何れの方法と組合
わせて、ニュ−ラルネットワ−クの入力値を決めたとし
ても、従来のニュ−ラルネットワ−クと比べれば、学習
時間の効率の良さ、パタ−ン認識での性能の高さ、特
に、欠損パタ−ンや光量の揺らぎに対する認識能力の高
さの点で、歴然とした差があることは、上記の説明より
明らかである。
【0044】
【実施例2】この実施例は、相関演算を行なう部分がフ
−リエ変換ホログラムに基ずいたフィルタ−を用いたニ
ュ−ラルネットワ−クを示す。これは、マッチドフィル
タ−を用いた相関系によるニュ−ラルネットワ−クを説
明する。図6は、既知のマッチドフィルタ−を再生する
光学系を示す。マッチドフィルタ−61は、予め複数の
参照パタ−ンを光学的にフ−リエ変換したパタ−ンを、
各参照パタ−ン毎に平面波の照射方向を変えながら多重
記録したものを用いる。
【0045】図6に示すように、レ−ザ11より出射さ
れた光束12は、ビ−ムエキスパンダ−13により適当
な光束径に広げられ、画像表示装置16に描かれた認識
分類したいパタ−ンを照射する。次に、パタ−ンの複素
振幅分布を有する光束は、ビ−ムスプリッタ−15に入
射し、透過光と反射光に分けられ、透過光は、フ−リエ
変換レンズ21によりフ−リエ変換され、マッチドフィ
ルタ−61上に描かれた多重干渉縞パタ−ンを照射す
る。このとき、認識分類したいパタ−ンと同じ空間周波
数スペクトラムを有する参照パタ−ンからその参照パタ
−ンを作成した時に用いた平面波の方向に回折光が、出
射される。
【0046】この回折光を集光レンズ22によりスクリ
−ン31上に集光すれば、一方の回折光は、参照パタ−
ンと認識分類したいパタ−ンとの相互相関パタ−ンとな
り、他方の回折光は、コンボリュ−ションとなる。そこ
で、各参照パタ−ンによる相互相関出力が表れる位置
は、予め判っているので、その位置の相関出力強度のピ
−ク値或いは全光量は、測定することができ、コンピュ
−タ51内にメモリ−される。また、ビ−ムスプリッタ
−15による反射光は、レンズ54により、スクリ−ン
42上に被検パタ−ンの複素振幅分布に応じた像を結像
する。
【0047】スクリ−ン42上に結像された被検パタ−
ンの光強度は、2次元光電変換素子52により、2次元
光電変換素子43とほぼ同じタイミングで読み込み、コ
ンピュ−タ51内にメモリ−する。コンピュ−タ51内
にメモリ−された各値は、実施例1と同様に、コンピュ
−タ51により規格化され、得られた規格化値は、各々
ニュ−ラルネットワ−クの入力層に入力する。
【0048】尚、実施例2による方法では、各参照パタ
−ンの透過又は反射光の光強度を測定することは、出来
ないので、実施例1で示した規格化方法bを行なうこと
は出来ない。前記のマッチドフィルタ−には、各参照パ
タ−ン同志のフ−リエ変換成分が重畳されていないの
で、相関出力のコントラスト比が、参照パタ−ンを増加
させることにより低下する程度が少なくなる。従って、
得られる相関出力のダイナミックレンジが低下すること
が少ないので、相関出力光強度、又は、その規格化され
た値の分離度が大きくなり、ニュ−ラルネットワ−クで
認識を行なう際の認識率が高まる。また、同様に、本出
願人が出願した特許願の明細書に示される合同フ−リエ
変換装置によっても、同様な効果をもたらす。
【0049】本発明のニュ−ラルネットワ−クは、合同
フ−リエ変換の各参照パタ−ンと認識分類したいパタ−
ンとの合同フ−リエ変換をレンズアレイで個別に同時に
並列的行なうことによっても得られる。また、本発明の
ニュ−ラルネットワ−クを用いると、各参照パタ−ンや
各被検パタ−ンの透過又は反射光の光強度の検出が、実
施例1で示した方法と同様な方法で、画像表示装置を透
過後の複素振幅分布を有する光束をビ−ムスプリッタ−
等を用いて分割することにより、簡単に行なうことがで
きる。また、この光学系で得られるニュ−ラルネットワ
−クの基づく相関出力光強度は、各参照パタ−ン、各被
検パタ−ンの光強度を用いて、実施例1、実施例2で示
す規格化方法a及びbにより、規格化され、ニュ−ラル
ネットワ−クに入力される。
【0050】本発明のニュ−ラルネットワ−クを用いる
と、各参照パタ−ン同志のフ−リエ変換成分が重なり、
参照パタ−ンと認識分類したいパタ−ンとの相互相関強
度のコントラスト比を低下させるという問題がなくな
る。また、実施例1、2共に、コヒ−レント光を用いた
例を示しているが、入力パタ−ンの並進ずれには、強い
ものである。
【0051】
【実施例3】図7は、既知のインコヒ−レント光を用い
た相関光学系を示し、これに、本発明のニュ−ラルネッ
トワ−クを適応した場合について説明する。この光学系
では、画像表示装置16と参照パタ−ンマスク62を接
近させて並べ、画像表示装置16上に描かれたパタ−ン
と参照パタ−ンとの積の出力を集光レンズアレイ71を
用いてスクリ−ン31上に集光し、2次元光電変換素子
43で集光された各参照パタ−ンからの出力を検出し、
コンピュ−タ51にメモリ−するものである。また、本
実施例では、被検パタ−ンの反射光を検出するために、
画像表示装置16と参照パタ−ンマスク62との間にビ
−ムスプリッタ−15を設置し、画像表示装置16から
の透過光をビ−ムスプリッタ−15で反射し、レンズ5
4によりスクリ−ン53上に結像した像の光強度を2次
元光電変換素子52で、検出し、コンピュ−タ51にメ
モリ−する。
【0052】本実施例では、画像表示装置16上には、
参照パタ−ンマスク62に対応した画素に識別分類した
いパタ−ンを、アレイ状に並べて表示することになる。
このとき、各参照パタ−ンと識別分類したいパタ−ンと
の相互相関ピ−クが検出される。得られた相関出力光強
度は、実施例1、2と同様に、規格化方法aに基づい
て、被検パタ−ンの光強度により規格化され、ニュ−ラ
ルネットワ−クの入力層に入力する。
【0053】以上のような、光学的相関系では、入力パ
タ−ンの並進ずれに対する許容度は、全くなくなってし
まうが、非常に簡単な構成で、しかも、集積化し易いと
いう特徴を有する。
【0054】
【発明の効果】以上説明したように、本発明のニュ−ラ
ルネットワ−クにより、前記のような効果が得られた。
それらをまとめると、次のような顕著な技術的効果とな
る。即ち、第1に、光学的相関系の画像表示装置からの
透過光又は反射光に揺らぎが生じ、得られる相関出力光
強度に応じた値にバラツキがあっても、被検パタ−ンを
認識することが可能であり、欠損被検パタ−ンの認識も
可能である、装置化し易いニュ−ラルネットワ−クを提
供することができた。
【0055】第2に、欠損被検パタ−ンに対しても学習
を行なう際も、被検パタ−ンを認識分類できるカテゴリ
−数を減らすことなく、学習時間が少なくて済むニュ−
ラルネットワ−クを提供することができた。
【図面の簡単な説明】
【図1】本発明の光学的ニュ−ラルネットワ−クの前処
理に当る光学的相関系の模式的構成図である。
【図2】従来の代表的なニュ−ラルネットワ−クの構成
を示す構成図である。
【図3】本発明において、光学的相関系の画像表示装置
で認識分類したい被検パタ−ンと各参照パタ−ンを表示
した様子を示す模式図である。
【図4】図3の被検パタ−ンと各参照パタ−ンを、光学
的相関系で、合同フ−リエ変換処理を行なった場合の相
関出力の状態を示す説明図である。
【図5】本発明における、相関出力光強度の分布を示す
説明図である。
【図6】本発明で、マッチドフィルタ−を用いた光学的
相関系を示す模式的構成図である。
【図7】被検パタ−ンと各参照パタ−ン、フ−リエ変換
レンズをアレイ状とした、インコヒ−レント光を用いた
光学的相関系を示す模式的構成図である。
【符号の説明】
1、3 画像出力手段 2、4 光学的フ−リエ変換手段 11 レ−ザ 12、17、18 光束 13 ビ−ムエキスパンダ− 14、15 ビ−ムスプリッタ− 16 画像表示装置 21、41 フ−リエ変換レンズ 22 集光レンズ 31、42、53 スクリ−ン 32、43、52 2次元光電変換素子 33 画像処理及び液晶駆動回路 34 ミラ− 35 液晶ライトバルブ 51 コンピュ−タ 54 レンズ 61 マッチドフィルタ− 62 参照パタ−ンマスク 63 反射膜 71 レンズアレイ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 山崎英樹 千葉県船橋市豊富町585番地 住友セメ ント株式会社新規事業本部内 (56)参考文献 特開 平4−236370(JP,A) 特開 平3−21914(JP,A) 特開 平2−293827(JP,A) 特許2676268(JP,B2) (58)調査した分野(Int.Cl.7,DB名) G06G 7/60 G02F 3/00 502 G06F 15/18

Claims (10)

    (57)【特許請求の範囲】
  1. 【請求項1】基本的構成が階層型であるニュ−ラルネッ
    トワ−クにおいて、その層数を3層以上とし、その入力
    層へは、光学的に認識分類したい被検パタ−ンと複数の
    各参照パタ−ンの相関演算を行なって得られた各参照パ
    タ−ン毎の相関出力光強度に応じた値を被検パタ−ン又
    は被検パタ−ンと1つ以上の参照パタ−ンとを構成する
    画素数に対応する値で規格化した値を入力し、該入力層
    から出力層までの各結合荷重値を教師付き学習により決
    定されたことを特徴とするニュ−ラルネットワ−ク。
  2. 【請求項2】前記の被検パタ−ンを構成する画素数に対
    応する値は、被検パタ−ンを表示した画像表示装置から
    の透過光又は反射光強度に応じた値であることを特徴と
    する請求項1に記載のニュ−ラルネットワ−ク。
  3. 【請求項3】前記の、被検パタ−ンと1つ以上の参照パ
    タ−ンとを構成する画素数に対応する値は、被検パタ−
    ンと各参照パタ−ンのうちの1つ或いは1つ以上の参照
    パタ−ンとの、透過光又は反射光強度に応じた値の和で
    あることを特徴とする請求項1に記載のニュ−ラルネッ
    トワ−ク。
  4. 【請求項4】前記の、各参照パタ−ン毎の相関出力光強
    度は、被検パタ−ンと各参照パタ−ンとの自己相関出力
    或いは相互相関出力のピ−ク値をとることを特徴とする
    請求項1に記載のニュ−ラルネットワ−ク。
  5. 【請求項5】前記の、各参照パタ−ン毎の相関出力光強
    度は、被検パタ−ンと各参照パタ−ンとの自己相関出力
    或いは相互相関出力の広がりに応じた受光範囲の全光量
    或いは、平均光量をとることを特徴とする請求項1に記
    載のニュ−ラルネットワ−ク。
  6. 【請求項6】前記の、各参照パタ−ン毎の相関出力光強
    度は、被検パタ−ンと各参照パタ−ンとの自己相関出力
    或いは相互相関出力のピ−ク値と相関出力の広がりに応
    じた受光範囲の全光量或いは平均光量をとることを特徴
    とする請求項1に記載のニュ−ラルネットワ−ク。
  7. 【請求項7】前記の、各参照パタ−ン毎の相関出力光強
    度は、2次元光電変換素子の線形範囲若しくは、該相関
    出力光強度の一部が、該2次元光電変換素子の最大受光
    量を超える範囲で得られたものであることを特徴とする
    請求項1に記載のニュ−ラルネットワ−ク。
  8. 【請求項8】前記の、光学的に認識分類したい被検パタ
    −ンと複数の各参照パタ−ンの相関演算は、フ−リエ変
    換ホログラムに基づいたフィルタ−を用いて行なうこと
    を特徴とする請求項1に記載のニュ−ラルネットワ−
    ク。
  9. 【請求項9】前記の、光学的に認識分類したいる被検パ
    タ−ンと複数の各参照パタ−ンの相関演算は、被検パタ
    −ンと各参照パタ−ンのの合同フ−リエ変換を個別に行
    なうことにより得られた強度パタ−ンを、再び、光学的
    に個別にフ−リエ変換して行なうか、或いは、被検パタ
    −ンと各参照パタ−ンとの合同フ−リエ変換を一括して
    行なうことにより得られた強度パタ−ンを、再び、光学
    的に一括してフ−リエ変換して行なうことを特徴とする
    請求項1に記載のニュ−ラルネットワ−ク。
  10. 【請求項10】前記の、光学的に認識分類したい被検パ
    タ−ンと複数の各参照パタ−ンとの相関演算は、光透過
    率分布或いは光反射率分布で表わされた被検パタ−ンと
    各参照パタ−ンを重ね、インコヒ−レント光で照射し、
    反射し或いは透過してきた光量をとることにより、行な
    うことを特徴とする請求項1に記載のニュ−ラルネット
    ワ−ク。
JP03043600A 1991-02-13 1991-03-08 ニュ−ラルネットワ−ク Expired - Fee Related JP3096819B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP03043600A JP3096819B2 (ja) 1991-03-08 1991-03-08 ニュ−ラルネットワ−ク
EP92301191A EP0499469A3 (en) 1991-02-13 1992-02-13 Artificial neural network pattern recognition system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP03043600A JP3096819B2 (ja) 1991-03-08 1991-03-08 ニュ−ラルネットワ−ク

Publications (2)

Publication Number Publication Date
JPH04280385A JPH04280385A (ja) 1992-10-06
JP3096819B2 true JP3096819B2 (ja) 2000-10-10

Family

ID=12668312

Family Applications (1)

Application Number Title Priority Date Filing Date
JP03043600A Expired - Fee Related JP3096819B2 (ja) 1991-02-13 1991-03-08 ニュ−ラルネットワ−ク

Country Status (1)

Country Link
JP (1) JP3096819B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0541520U (ja) * 1991-11-15 1993-06-08 守圀 斉藤 保冷用具

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5425688B2 (ja) 2010-03-31 2014-02-26 株式会社日立ソリューションズ 地図連携型施肥設計システム
JP7522858B2 (ja) * 2021-06-30 2024-07-25 株式会社フジクラ 光演算装置及び光演算方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0541520U (ja) * 1991-11-15 1993-06-08 守圀 斉藤 保冷用具

Also Published As

Publication number Publication date
JPH04280385A (ja) 1992-10-06

Similar Documents

Publication Publication Date Title
US4637056A (en) Optical correlator using electronic image preprocessing
US5724447A (en) Optical transform system for three-dimensional object recognition
US5274716A (en) Optical pattern recognition apparatus
JP3776500B2 (ja) 多重化光学系及びそれを用いた特徴ベクトル変換装置、特徴ベクトル検出伝送装置、及び、それらを用いた認識分類装置
US5151822A (en) Transform digital/optical processing system including wedge/ring accumulator
CA3179390A1 (en) A computer-implemented method and a system for estimating a pith location with regard to a timber board
US5754693A (en) Method of optical recognition and classification of patterns
JPH03224068A (ja) 画像パターンを確認する方法および装置
JP3096819B2 (ja) ニュ−ラルネットワ−ク
JP2021149355A (ja) 処理装置、処理方法、学習装置およびプログラム
CN115482225A (zh) 非干涉、非迭代式复振幅读取方法和装置
EP0499469A2 (en) Artificial neural network pattern recognition system
Kane et al. POPART: partial optical implementation of adaptive resonance theory 2
JP3325934B2 (ja) 光学的パターン認識分類装置
JP3094070B2 (ja) 光学的パターン認識分類装置
JP3295104B2 (ja) 光学的相関出力の検出方法
JP3020680B2 (ja) パターン認識分類方法
JP3096717B2 (ja) ニュ−ラルネットワ−ク
JP3014155B2 (ja) 光学的パタ−ン認識分類方法
JP3225179B2 (ja) パターン欠陥検査装置
JP3099203B2 (ja) 光学的パタ−ン認識分類装置
EP4202869A1 (en) Method and apparatus for determining at least one optical parameter of at least one spectacle lens
JPH05101186A (ja) 光学的パターン識別方法
US20240161448A1 (en) System and method for object recognition using whole-image triangulation
JP2898666B2 (ja) 光学的パターン識別装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees