JPH04259086A - ニュ−ラルネットワ−ク - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、物体、文字、音声等の
認識及び情報の検索、推論、連想等に用いられるパタ−
ン認識を行なうニュ−ラルネットワ−クに関する。

【０００２】

【従来の技術】近年、認識、連想、推論等の、ノイマン
型コンピュ−タにおいて、不得意とされる情報処理を効
果的に行なう技術として、ニュ−ラルネットワ−ク技術
が注目されている。特に、ニュ−ラルネットワ−クの学
習手法である、誤差逆伝搬（以下ＢＰと称する）法を用
いてネットワ−ク内のユニット、即ち、ニュ−ロンをモ
デルとした通常多入力で１出力の信号処理素子、の間の
結合荷重を決定することにより、各入力パタ−ン間の特
徴を捉えたフレキシブルな認識を行なうことができる。

【０００３】図２は、前記のような従来の代表的ニュ−
ラルネットワ−クの構成を示す構成図である。ＢＰ法に
よる学習を行なうニュ−ラルネットワ−クでは、通常、
ユニットの集合を３層以上の層構造とし、そのうちでパ
タ−ン信号入力を行なう層を入力層と、認識出力信号を
出力する層を出力層、残りを中間層或いは隠れ層と称す
る。従来のニュ−ラルネットワ−クでは、中間層の層数
を１、入力層に含まれるユニット数を５、中間層に含ま
れるユニット数を３、出力層に含まれるユニット数を５
としているが、これは、構成を説明するための、１つの
例示であり、中間層数及び各層におけるユニット数は要
求に応じて種々の値を取ることができる。

【０００４】入力層の各ユニットから出力された出力値
Ｉｉ（ｉはユニット番号である）は　、中間層の各ユニ
ットへ伝搬し、更に、中間層の各ユニットから出力され
た出力値Ｃｉ　（ｉはユニット番号である）は、出力層
の各ユニットへ伝搬して、この出力層の各ユニットから
出力値Ｏｉ（ｉはユニット番号である）が得られる。尚
、　図２では、入力層及び中間層ユニットの出力が複数
のユニットと結合しているので、多出力のように見える
が、これは、１つのユニットからの出力を複数のユニッ
トに入力しているためで、出力値は、１つのユニットに
つき１つのみである。このとき、原則として、同一層内
に含まれるユニット同志の結線は無いものとし、また、
出力層に近い層から、より入力層に近い層への信号のフ
ィ−ドバックも無いものとする。

【０００５】図２において、各ユニット間の結合は、矢
印で示しており、入力層のユニットと中間層のユニット
との結合荷重値を対応するユニット番号を添え字として
つけたＶｉｊ（ｉは中間層ユニット番号であり、ｊは入
力層ユニット番号である）と、中間層のユニットと出力
層のユニットとの結合荷重値を対応するユニット番号を
添え字として付けたＷｉｊ（ｉは出力層ユニット番号で
あり、ｊは中間層ユニット番号である）で表わすものと
する。例えば、入力層ユニット１と中間層ユニット１と
の結合荷重値は、Ｖ１１と表される。また、中間層ユニ
ット３と出力層ユニット５との結合荷重値はＷ５３と表
される。

【０００６】通常、中間層ユニット及び出力層ユニット
の出入力の入出力特性は、次の式で表わされる。 　　ここで、ｉ、ｊは、各々、前記のように対応するユ
ニット番号であり、ξ、θは各々のユニットでのバイア
ス値である。また、式（３）に示す関数は、シグモイド
関数と呼ばれている。尚、これらのバイアス値は、各層
に出力１のダミ−のユニットを設け、この出力が、次の
層の各ユニットに結合荷重値ξｉ或いはθｉで結合する
ものとすることにより、ユニット間の結合荷重として表
わすことができ、それにより、他の結合荷重値と同様に
学習により、その値を決定することができる。

【０００７】前記のようなニュ−ラルネットワ−クの構
成において、ある入力パタ−ン即ち入力層ユニットの出
力ベクトル（Ｉ１　、Ｉ２　、Ｉ３　、Ｉ４　、Ｉ５　
）を与えたときの出力層からの所望の出力と、実際の出
力Ｏｉ　（ここで、ｉ＝１、２・・・５）との各ユニッ
トの誤差の二乗和が小さくなるように、各ユニット間荷
重の大きさを修正することにより、ある入力パタ−ンに
対して所望の出力パタ−ンを出力するニュ−ラルネット
ワ−クを得ることができる。ＢＰ法は、このときの荷重
の修正係数を計算する方法であり、これは、一般化δル
−ルとも呼ばれているが、この修正係数を用いて効率良
く学習を収束させるために、この修正係数を用いて実際
の修正値を求めるいくつかの方法が提案されている。

【０００８】この方法では、認識させたい入力パタ−ン
のセットにより、各々のパタ−ンの特徴に応じた識別ネ
ットワ−クが自動的に構成され、フレキシブルな認識を
行なうことができるが、ネットワ−クの構成上、ユニッ
ト間の配線数が問題となる。前記の構成においては、中
間層のユニット数は最低でも識別したいカテゴリ−数を
Ｎとしたときに、ｌｏｇ２　Ｎ個以上が必要であるとさ
れている。この数は各カテゴリ−の特徴が比較的はっき
りしているときには、前記の数で充足する。然し乍ら、
その特徴が複雑になると、より多くの中間層ユニットを
必要とするようになる。このとき、入力パタ−ンが複雑
なパタ−ンであると、即ち、入力層ユニット数が大きい
と、入力層と中間層との間の決線数は、それらの積で表
わされるので、非常に大きな数となり、現実的に装置化
が困難となる。

【発明が解決しようとする課題】

【０００９】本発明は、上記の問題点を解決するために
為されたもので、入力パタ−ンが複数であっても、また
、識別カテゴリ−の数が多くなっても、ユニット間結線
数が比較的少なく、装置化を実現し易いニュ−ラルネッ
トワ−クを提供することを目的とする。

【００１０】

【課題を解決するための手段】本発明は、上記の技術的
な課題の解決のために、成されたもので、基本的構成が
階層型であるニュ−ラルネットワ−クにおいて、その層
数を４層以上とし、入力層に含まれるユニットと、該入
力層に隣接する第１の中間層に含まれるユニットとの間
のユニット間結合荷重値を固定し、上記第１の中間層の
各ユニットからの出力値は、該ユニットへの入力層ユニ
ットからの結合荷重値を並べた荷重パタ−ンと入力層の
各ユニットの出力値を並べた入力パタ−ンとの相互相関
に関わる値で、アナログ値乃至３値以上の多値のデジタ
ル値で表わされ、且つ、その絶対値は有限値であり、該
第１の中間層から出力層までの各ユニット間の各結合荷
重値を、教師付き学習により決定することを特徴とする
ニュ−ラルネットワ−クを提供する。

【００１１】前記の荷重パタ−ンの１つは、入力パタ−
ン群に含まれるパタ−ンのうちの１つと同等であること
が好適である。そして、前記の相互相関に関わる値の演
算は、光学的相関演算を用いて行なうことができる。ま
た、前記の光学的相関演算処理方法は、光学的フ−リエ
変換面におけるパタ−ンの類似性を基にする方法を用い
ることができる。また、前記の光学的相関演算処理方法
は、少なくとも、コヒ−レント光源と、入力パタ−ン及
び参照パタ−ンに応じて第１の光束の複素振幅分布を変
調する（振幅のみ或いは位相のみの変調を含む）第１の
空間光変調器と；該第１の空間光変調器上の第１の光束
の複素振幅分布を光学的にフ−リエ変換するための第１
フ−リエ変換レンズと；前記第１の光束のフ−リエ変換
された光量分布に応じて第２の光束の複素振幅分布を変
調する第２の空間光変調器と；該第２の空間光変調器上
の第２の光束の複素振幅分布を光学的にフ−リエ変換す
るための第２のフ−リエ変換レンズと；該第２の光束の
フ−リエ変換された光量分布を受光する受光素子とから
なる光学的相関検出装置において；前記第１の空間光変
調器上に、相関検出を行なう複数の参照パタ−ンを同時
並列的に配置し、その各々の参照パタ−ンの近傍に、各
参照パタ−ンに１つずつ入力パタ−ンを同時並列的に配
置し；前記第１フ−リエ変換レンズは、各々の参照パタ
−ンと入力パタ−ンの対に対応した個別のレンズのアレ
イとし、また；前記第２フ−リエ変換レンズは、前記第
１フ−リエ変換レンズアレイにより生じた第２空間光変
調器上の各フ−リエ変換パタ−ンに対応した個別のレン
ズのアレイとすることにより、光学的フ−リエ変換面で
のパタ−ン類似性を基にして、相関検出するニュ−ラル
ネットワ−クが好適である。

【００１２】前記の光学的相関演算処理の出力は、光学
的相関パタ−ンに応じた有限の領域内での光量に対応し
た量であるニュ−ラルネットワ−クが好適であり、そし
て、前記の光学的相関演算処理の出力は、光学的相関パ
タ−ンに応じた有限の領域内での光量に対応した量と、
該領域内での単位面積当りの光量のピ−ク近傍での光量
との両方をとることが好適である。

【００１３】

【作用】本発明の構成によると、第１の中間層の各ユニ
ットからの出力は、入力パタ−ンと、該ユニットへの入
力層ユニットからの結合パタ−ンとの相関に関わる値で
あり、アナログ値である。入力パタ−ンをこの第１の中
間層内の各ユニットの出力の組合わせで表わすものとす
ると、例えば、所定ユニットの出力が、Ａ：１のダイナ
ミックレンジを有するものとし、また、この第１の中間
層内のユニット数がＢ個であるとすれば、この第１の中
間層内の各ユニットの出力の組合わせにより、ＡＢ　個
の入力パタ−ンを識別することができることになる。従
って、この第１の中間層を、新たな入力層と考え、より
出力層に近い中間層及び出力層での層間の接続の荷重値
を、所謂、教師付き学習により決定することにより、そ
のニュ−ラルネットワ−クに入力パタ−ンを提示して、
パタ−ン認識を行なうことができる。

【００１４】このときの最低の、即ち、最も見分け易い
パタ−ンの場合に必要な、結線数、Ｗｎ　ｍｉｎ．の従
来例との比較を試みる。先ず、本発明のニュ−ラルネッ
トワ−クの層数が４つの場合、前記の第１の中間層でな
い第２の中間層の層数は、従来例と同様と考えられるの
で、最低結線数は、次の式で表わすことができる。 Ｗｎ　ｍｉｎ．＝Ｉｎ×Ｃ１ｎ＋Ｃ１ｎ×Ｃ２ｎ＋Ｃ２
ｎ×Ｏｎ　　　　　　　　＝Ｉｎ×ＩＮＴ（ＬｏｇＡ　
Ｎ）＋ＩＮＴ（Ｌｏｇ２　Ｎ）＋　　　　　　　　　　
　　ＩＮＴ（Ｌｏｇ２Ｎ）×Ｎ・・・・・（４）但し、
出力層は、識別カテゴリ−１つに付き１つのユニットを
割り当てるものとした。また、Ｃ１及びＣ２は第１及び
第２の中間層を表わし、添え字ｎは、各層におけるユニ
ット数を表わす。他の記号は、従来例での説明と同様で
ある。

【００１５】これに対して、従来例のような３層のニュ
−ラルネットワ−クでは、最低結線数は、Ｗｎ　ｍｉｎ
．＝Ｉｎ×Ｃ１ｎ＋Ｃ１ｎ×Ｏｎ　　　　　　　　＝Ｉ
ｎ×ＩＮＴ（Ｌｏｇ２Ｎ）×Ｎ・・・・・（５）で与え
ることができる。尚、ここで、ＩＮＴ（ｘ）は、ｘに最
も近いｘ以上の整数を示す。

【００１６】例えば、識別カテゴリ−数Ｎ＝５で、入力
層ユニット数Ｉｎ＝８で、第１の中間層ユニットの出力
ダイナミクレンジＡ＝１０の場合、両方とも、Ｗｎ　ｍ
ｉｎ．は、２６で等しいが、Ｎ＝１００、Ｉｎ＝１００
００、Ａ＝１０の場合、従来例では、６０６００の結線
が必要であるのに対して、本発明のニュ−ラルネットワ
−クでは、２０２１２の結線でよい。この結線数の差は
、入力層ユニット数及び識別カテゴリ−数が増える程、
大きく開くので、画像パタ−ン等の識別を行なう場合に
は、ネットワ−クの規模に大きな差ができることが分か
る。

【００１７】また、入力層と第１の中間層とのユニット
間結合パタ−ンは、全く任意に設定することができるが
、識別したい入力パタ−ンの中から幾つかを選択して、
前記結合パタ−ンとして用いることにより、実際に識別
したいパタ−ンに近い参照パタ−ンを使用することにな
り、相関度の差を大きくとることができ、前記第１の中
間層のユニットの有効な出力ダイナミックレンジを大き
くすることができる。

【００１８】尚、通常のニュ−ラルネットワ−クでは、
前記相互相関は、各々のパタ−ンをベクトルと見做した
ときに、入力パタ−ンベクトルと結合パタ−ンベクトル
との内積をとったものに相当し、即ち、その出力は、相
互相関ピ−クの出力と考えられるが、光学的に相関演算
を行なうことにより、相関ピ−クの検出を行なうことが
できる。また、フ−リエ変換面でのパタ−ンの類似性を
基にした相関演算処理である合同フ−リエ変換（ＪＴ）
法や、マッチドフィルタ−の手法を用いることにより、
ピ−ク以外の出力も含めた相関値の検出を行なうことも
できる。これは、その相関出力を検出する受光領域の設
置により、その領域を、ピ−ク近傍の小さい領域に制限
すれば、検出される値は、相関ピ−クに応じた出力とな
り、その面積を相関パタ−ンに応じて有限の領域とすれ
ば、相関ピ−クのみでなく、ピ−ク以外の出力も含めて
検出することができる。特に、ピ−ク以外の出力を含め
て検出した場合は、パタ−ンを構成する部分パタ−ンの
類似性を評価していると考えることもできる。従って、
このピ−ク出力とピ−ク以外の出力も含めた相関値との
両方を第１の中間層のユニットからの出力として利用す
れば、更に、多くの情報を得ることができる。

【００１９】通常の内積演算では、入力パタ−ンと参照
パタ−ンとを重ねる位置により演算結果が異なるが、前
記の手法においては、相関出力はシフトインバリアント
となり、入力パタ−ンの位置ズレに影響されない認識を
行なうことができる。このような、光学的相関演算処理
を用いる場合、式（４）での入力パタ−ンが複雑な場合
に最も結線量の多くなる第１項の演算を光学系で行なう
ことになるので、ネットワ−ク規模の大幅な縮小につな
がると同時に、認識の高速化に大きく貢献する。更に、
ＪＴ法に基づく相関検出を空間光変調器とレンズアレイ
を用いて、複数の参照パタ−ン、即ち、ニュ−ラルネッ
トワ−クでの結合荷重パタ−ン、に対して同時的並列的
に行なうと、ネットワ−クの演算速度は大きく向上した
ものと見做すことができる。

【００２０】次に、本発明のニュ−ラルネットワ−クを
具体的に実施例により説明するが、本発明はそれらによ
って限定されるものではない。

【００２１】

【実施例１】図１は、本発明のニュ−ラルネットワ−ク
の１例を具体的構成を示す模式的構成図である。ここで
、ニュ−ラルネットワ−クの層数は４とし、入力層、第
１中間層、第２中間層、出力層でのユニット数は、各々
、５、２、３、５とした。これらの層数及びユニット数
は、説明のために便宜上決めたもので、実際のニュ−ラ
ルネットワ−クの構成を限定するものではない。但し、
一般的に、ＢＰ法では、中間層の層数は、１乃至２とす
る場合が多く、これをいたずらに大きくしてもその効果
は小さいと言われている。従って、本発明のニュ−ラル
ネットワ−クでは、第１中間層から出力層までの間の結
合を学習により決定するので、この間に含まれる中間層
の数を第１中間層を除いて１乃至２とし、全体の層数で
は、４〜５とするのが適当と考えられる。

【００２２】また、各々の層内におけるユニット数は、
従来のもの及び作用の項で説明したように、入力パタ−
ンの要素数（即ち画素数）、識別カテゴリ−数、第１中
間層のユニットの出力ダイナミックレンジ等により決定
することができる。上記の式（４）及び（５）に示した
ユニット数を示す各項は、最低限必要なユニット数の目
安に過ぎず、実際には、これより多くの数をそのトレ−
ニングセット数やパタ−ンの直交性の程度等に応じて設
ける必要がある。

【００２３】本例のニュ−ラルネットワ−クでは、入力
層に与えられたパタ−ンＳＩは、 ＳＩ＝（Ｉ１　、Ｉ２　、Ｉ３　、Ｉ４　、Ｉ５）と表
わすことができる。また、入力層の各ユニットからの第
１の中間層の第ｉ番目のユニットへの結合荷重Ｖｉ　は
、 Ｖｉ　＝（Ｖｉ１、Ｖｉ２、Ｖｉ３、Ｖｉ４、Ｖｉ５）
＝（ｎ｜Ｖｉｎ）・・・・（６）と表わすことができる
。但し、ｎは、入力層の各ユニットのユニット番号であ
る。

【００２４】ここで、第１の中間層の第１番目のユニッ
トの出力Ｐｉ　は、 Ｐｉ　＝ｇ（ＳＩ・Ｖｉ　）・・・・・・・・・（７）
と表わすことができる。但し、・は内積演算を示す。こ
のとき、ｇ（ｘ）がリニアな関数であれば、Ｐｉ　は入
力パタ−ンベクトルと荷重パタ−ンベクトルとの内積に
比例した量となり、言い替えれば、入力パタ−ンと荷重
パタ−ンとの相互相関ピ−ク値が出力されることになる
。 この関数ｇ（ｘ）は、必ずしも厳密にリニアな関数であ
る必要はなく、例えば、ｘの値の大きい領域及び小さい
領域に飽和領域があったり、ｄｇ（ｘ）／ｄｘの値が一
定でなくてもかまわない。但し、単調性は必要である。 また、ｘの値を多値の離散値に変換するような関数にす
ることができる。

【００２５】尚、ここで、入力層ユニットから第１の中
間層のユニットへの荷重パタ−ンベクトルの選び方は基
本的に全く無作為なパタ−ンを用いることができるが、
なるべくは、認識したい入力パタ−ンと同様の空間周波
数成分を有するパタ−ンであることが好適である。これ
は、入力パタ−ンと荷重パタ−ンとの空間周波数成分が
大きく異なっていると、どの入力パタ−ンに対しても相
互相関出力即ち第１の中間層のユニットからの出力が平
均化してしまい、入力パタ−ンによる第１の中間層のユ
ニットの出力パタ−ンの差が小さくなる可能性があるか
らである。

【００２６】従って、例えば、入力パタ−ンの中から、
第１の中間層のユニットの数だけのパタ−ンを選択して
、それらを、入力層から第１の中間層へのユニット結合
荷重パタ−ンとして用いると、それらが、適当な空間周
波数成分を有し、且つ、必ず、自己相関に相当する大き
な相関度を有するパタ−ンが存在するため、第１の中間
層のユニットからの出力は、入力パタ−ンにより、ある
程度大きな差が出ることが保証される。

【００２７】ここで、入力パタ−ンＳＩの要素Ｉｎ（添
え字ｎは、ユニット番号である）は、アナログ値、（１
、０）の２値、（１、−１）の２値、（１、０、−１）
の３値、或いは４値以上の多値等の様々の形態の数値を
用いることができる。また、この入力パタ−ンに応じて
、入力層から第１の中間層への荷重パタ−ンＶｉ　の要
素Ｖｉｎの値も同様の形態をとることができる。各々の
値の取り得る範囲によって、第１の中間層のユニットで
の関数ｇ（ｘ）の領域も変わる。然し乍ら、その出力値
の範囲は、手段の項で説明した条件を満たしていれば、
負の領域を含んでいてもいなくても良い。但し、一般に
、ユニットからの出力値か、次の層へのユニット間結合
荷重値からのいずれかに負の値が必要となる場合が多い
。

【００２８】このようにして得られた第１の中間層のユ
ニットの出力は、第２の中間層のユニットの入力となり
、この第１、第２の中間層及び出力層を通常の３層のニ
ュ−ラルネットワ−クと考えることができる。従って、
トレ−ニングセットに含まれる入力パタ−ンを提示して
、第１の中間層のユニットの出力を得て、この出力と出
力層ユニットの出力教師信号との組合わせによって第２
の中間層と出力層とのユニット間結合荷重及びバイアス
値、更に第１及び第２の中間層とのユニット間結合荷重
及びバイアス値を学習させれば良い。

【００２９】尚、第２の中間層と出力層との間に、更に
中間層が加わった場合でも、第２の中間層以降でのユニ
ット間結合荷重及びバイアス値を学習させる過程は同様
である。

【００３０】

【実施例２】本発明のニュ−ラルネットワ−クの入力層
から第１の中間層への相関演算の部分は、ユニット間結
合荷重が一定であるので、光学系を用いて簡単に実現で
きる。図３は、その光学系の一例を示す説明図である。 入力層の入力パタ−ンは、２次元に配列されて液晶パネ
ル等の空間光変調器Ａ１２に表示され、入力層から第１
の中間層へのユニット間結合荷重は、同様に２次元に配
列されて、やはり、液晶パネル等の空間光変調器Ｂ１３
に表示される。これらの空間光変調器は、近接して、或
いはレンズ系により互いに共役位置に配置され、これを
光束１１で照明し、透過光束を集光レンズ１４により集
光して、透過光量を受光素子１５により検出する。

【００３１】このときの受光素子１５の出力を、第１の
中間層のユニットの出力Ｐｉとすることができ、第１の
中間層のユニット数が複数の場合は、空間光変調器Ｂ１
３に順次、そのユニットに対応する荷重パタ−ンを表示
して、受光素子１５の出力を取れば、各ユニット出力を
順次得ることができる。また、結合荷重パタ−ンは、一
定であるので、空間光変調器Ｂ１３に代わり、第１の中
間層の各ユニットに対する荷重パタ−ンの固定マスクを
ユニット数だけ並列に並べても良い。勿論、固定マスク
ではなく、空間光変調器を並列に並べる、或いは、高分
解能の空間光変調器を用いて複数の荷重パタ−ンマスク
を同時に提示する等の方法でも良い。

【００３２】この場合は、当然、入力パタ−ンをその数
だけ並べるために、空間光変調器Ａをその数だけ用意す
るか、結像光学系により複数の像が得られるようにして
、受光素子１５を、そのユニット数だけアレイ化する必
要がある。特に、画像パタ−ン等では、入力層ユニット
数が、非常に大きな数になることが考えられるが、この
ように、光学的に装置化することにより、最も結線数の
大きな部分を高速且つ並列に実行することができる。

【００３３】

【実施例３】図４は、入力層と第１中間層との間の相関
演算を光学的フ−リエ変換面におけるパタ−ンの類似性
を基にして行なう場合の光学系の一例の説明図を示し、
これを基に更に他の実施例につき説明する。

【００３４】図４の光学系は、一般的にマッチドフィル
タリングと呼ばれている手法を基にしたもので、レ−ザ
２１を出射した光束２８は、ビ−ムエキスパンダ２２に
より、その光束系を適当な大きさに広げられ、入力パタ
−ンを表示した空間光変調器２３に入射する。そして、
入力パタ−ンに対応した空間的変調を受けた光束２８は
、フ−リエ変換レンズ２４を通り、そのフ−リエ変換面
に置かれたマッチドフィルタ２５に入射する。このマッ
チドフィルタ２５は、参照パタ−ン、即ちユニット間結
合荷重パタ−ンのフ−リエ変換ホログラムを基に作られ
たもので、もし、ホログラム記録のときの参照パタ−ン
のフ−リエ変換パタ−ンと入力パタ−ンのフ−リエ変換
パタ−ンとの相関が高ければ、そのホログラム記録時の
参照光束の方向に、参照光束に共役な光束を発生する。

【００３５】この参照光束が並行光束であれば、これを
再度光学的にフ−リエ変換したものが、入力パタ−ンと
参照パタ−ンとの相関パタ−ンとなる。即ち、厳密には
、相関の２乗のパタ−ンである。従って、マッチドフィ
ルタ２５を出射した光束２８は、フ−リエ変換レンズ２
６を通過して、光電変換素子アレイ２７に入射し、この
相関パタ−ンが検出される。

【００３６】ここで、相関パタ−ンの中心の位置は、マ
ッチドフィルタ作成のときの参照光束の方向で予め決ま
っているから、この部分に光電変換素子が配置されるよ
うにすれば良い。また、この光電変換素子の面積により
、相関パワ−スペクトルの検出領域を調整することがで
き、この面積を小さくすれば、通常の内積演算に近い演
算結果となり、この面積を大きく取れば、パタ−ンの変
形やシフトに影響され難い演算結果となる。

【００３７】以上のようにして得られた光電変換素子の
出力を、第１の中間層のユニットの出力Ｐｉとして用い
、第２の中間層から出力層にかけては、実施例１で述べ
たと同様にニュ−ラルネットワ−クを構成することがで
きる。尚、このとき、複数の参照パタ−ン（即ち、結合
荷重パタ−ン）を一つのマッチドフィルタに参照光束の
方向を変えて、記録しておけば、光電変換素子アレイ２
７上には、それらの相関パタ−ンが異なる場所に現れ、
第１の中間層の複数のユニットの出力を同時に取り出す
ことができる。従って、非常にコンパクト且つ高速にニ
ュ−ラルネットワ−クの演算を行なうことができる。

【００３８】この他に、光学的フ−リエ変換面でのパタ
−ンの類似性を基にした光学的相関演算法に合同フ−リ
エ変換（ジョイントトランスフォ−ム：ＪＴ）法がある
。この方法は、現状の仕様の空間光変調器を用いて装置
化を行ない易い特長があり、マッチドフィルタ法と同様
に本発明のニュ−ラルネットワ−クで用いることができ
る。然し乍ら、同時に複数の参照パタ−ンとの相関出力
を得る能力では、マッチドフィルタ法より劣る。そこで
、本発明者等は、このＪＴ法による相関光学系をアレイ
化した光学的多重相関検出装置を提案し、更に、この相
関検出装置を用いた本発明のニュ−ラルネットワ−クの
例について、説明する。

【００３９】

【実施例４】図５は、前記の光学的多重相関検出装置を
用いたニュ−ラルネットワ−クの一例についての光学系
の機能を示す説明図である。

【００４０】コヒ−レント光源４１を出射した光束４２
は、ビ−ムエキスパンダ４３により、光束径を適当な大
きさに広げられ、ビ−ムスプリッタ−４４で光路を２つ
に分けられる。ビ−ムスプリッタ−４４を透過した光束
４２ａは、全反射ミラ−４６で反射され、ビ−ムスプリ
ッタ−４７で反射されて、光アドレス型空間光変調器４
９の読み出し面に入射する。この空間光変調器４９の書
き込み面（即ちアドレス面）には、入力パタ−ン３１を
複数結像した像と、参照パタ−ン群３４の像が書き込ま
れる。このときの書き込み光学系は、次のように構成さ
れる。

【００４１】入力パタ−ン３１は、インコヒ−レント或
いはコヒ−レントに照明され、レンズアレイ３２の各レ
ンズ３２ａ、３２ｂ、・・・により、各々別々の像が空
間光変調器４９の書き込み面上に結像される。これに対
して、参照パタ−ン（即ちユニット間結合荷重パタ−ン
）群３４の各参照パタ−ンは、レンズアレイ３２の各レ
ンズ３２ａ、３２ｂ、・・・によりできる空間光変調器
４９の書き込み面上の各入力パタ−ン像に対応した位置
に配置され、インコヒ−レント或いはコヒ−レントに照
明されて結像レンズ３６により、空間光変調器４９の書
き込み面上に結像される。このとき、入力パタ−ン３１
と参照パタ−ン群３４の露光を同時に行なう場合は、ビ
−ムスプリッタ−３３を用いて、各々の光路を合成する
。図５には、この他に全反射ミラ−３５が参照パタ−ン
の結像光学系の光路を曲げるために用いられる。

【００４２】ここで、空間光変調器４９に書き込まれた
パタ−ンの配置の一例を図６に示す。各々の参照パタ−
ン３４’と、レンズアレイ光学系により複製された各々
の入力パタ−ン３１’が各々の対を成して、空間光変調
器４９上に配置される。従って、各々の対のジョイント
・トランスフォ−ムによる相関演算を行なうことにより
、各参照パタ−ンと入力パタ−ンとの相関演算処理を一
度に行なうことができる。即ち、空間光変調器４９の読
み出し面では、以上の書き込みパタ−ンの光強度に対応
した強度反射率分布或いは位相反射率分布或いはその両
方（これらをまとめて、強度反射率分布×位相反射率分
布の形で複素信号反射率分布と称する）が現れる。従っ
て、空間光変調器４９に入射した光束４２ａは、これら
の書き込みパタ−ンに対応した強度分布或いは位相分布
或いはその両方（これらをまとめて、強度分布×位相分
布の形で複素振幅分布と称する）を持って、空間光変調
器４９を出射する。

【００４３】ここで、空間光変調器４９の読み出し面と
、空間光変調器５１の書き込み面とは、レンズアレイ５
０の各レンズ５０ａ、５０ｂ、・・・に対して、各々、
前側焦点面と後ろ側焦点面に配置されており、光束４２
ａは、その各々の参照パタ−ンと入力パタ−ンとの対に
対応したレンズ５０ａ、５０ｂ、・・・を有するレンズ
アレイ５０を通過して、空間光変調器５１の書き込み面
上に前記各々の参照パタ−ンと入力パタ−ンとの対のパ
タ−ンに対応したパワ−スペクトルパタ−ン、即ち、前
記各々の参照パタ−ンと入力パタ−ンとの対のパタ−ン
に対応した複素振幅分布のフ−リエ変換の強度を取る光
強度パタ−ンを形成する。

【００４４】これにより、空間光変調器５１の読み出し
面上には、前記パワ−スペクトルパタ−ンに対応した複
素振幅反射率分布が形成され、この空間光変調器５１の
読み出し面には、ビ−ムスプリッタ−４４を反射した光
束４２ａが更にビ−ムスプリッタ−４８で反射されて入
射する。従って、空間光変調器５１を出射する光束４２
ｂは、空間光変調器５１の読み出し面上で、各々の参照
パタ−ンと入力パタ−ンとの対のパタ−ンに対応したパ
ワ−スペクトルパタ−ンに対応した複素振幅分布を有し
、この光束４２ｂが、レンズ５０ａ、５０ｂ、・・・を
有するレンズアレイ５２を通過して、受光面５３に到達
する。このとき、空間光変調器５１の読み出し面と受光
面５３とは、レンズアレイ５２の各レンズ５０ａ、５０
ｂ、・・・の各々の前側焦点面及び後ろ側焦点面に配置
され、また、各レンズ５２ａ、５２ｂ、・・・は、前記
各対に対応したパワ−スペクトルに対応して配置される
ので、受光面上で観察される光強度分布は、空間光変調
器５１の読み出し面上での各パワ−スペクトルパタ−ン
に対応した複素振幅分布のフ−リエ変換の強度分布、即
ち、各参照パタ−ンと入力パタ−ンとの対のパタ−ンの
自己相関の二乗パタ−ンとなる。

【００４５】得られた各参照パタ−ンと入力パタ−ンと
の対のパタ−ンの自己相関の二乗のパタ−ンは、各レン
ズの光軸上に各参照パタ−ンの自己相関の二乗及び入力
パタ−ンの自己相関の二乗パタ−ンが現れ、その光軸に
対して参照パタ−ンと入力パタ−ンとの相対的位置に対
応した相対的位置に、参照パタ−ンと入力パタ−ンとの
相関の二乗パタ−ンが現れる。従って、各参照パタ−ン
及び入力パタ−ンが提示される位置は、予め分かってい
るから、受光面５３上の各相関パタ−ンが現れる位置の
光強度を観測することにより、各参照パタ−ンと入力パ
タ−ンとの相関の検出を行なうことができる。

【００４６】ここで用いた各レンズアレイとしては、光
学系が大きく、レンズの数があまり多くない場合には、
単体レンズを組合わせて作成したものでも良い。然し乍
ら、光学系が小さく、多数のレンズが必要な場合は、屈
折率分布型の平板マイクロレンズアレイや１枚の基板上
に多数の球面レンズを集積したレンズアレイが市販され
ているので、これらを使用することができる。

【００４７】また、ここで使用した各空間光変調器は、
光アドレス型空間光変調器であり、このような変調器と
しては、液晶パネルに光導電層を組合わせたものが一般
的であり、ネマテイック型液晶を用いたものが米国ヒュ
−ズ社から販売されている。また、強誘電性液晶を用い
た空間光変調器も開発されてい、特に、強誘電性液晶を
用いた空間光変調器は、原理的に分解能が高く、コント
ラストも高いので好適である。

【００４８】更に、光アドレス型空間光変調器としては
、ＢＳＯ（ビスマス・シリコン・オキサイド：Ｂｉ１２
ＳｉＯ２０）等の光誘起屈折率変化を有する媒体を用い
たものも考えられる。特に、ＢＳＯでは、書き込み光と
して、感度の高い短波長よりの可視光を用い、読み出し
光として、書き込み感度の低い赤色から赤外での波長域
の光を用いることにより、書き込み及び読み出しを同時
に行なうことができる。但し、ＢＳＯは、反射板を使用
することにより反射型で使うこともできるが、通常、透
過型として用いることが多い。この場合、ＢＳＯに入射
する読み出し光の入射方向を変更する必要がある。尚、
液晶を用いた空間光変調器も、ＢＳＯを用いた空間光変
調器も、通常は、これらの素材と偏光子とを組合わせて
、光の強度変調を行なう場合が多いが、偏光子を用いず
に、入射光の偏光方向と各デバイスの光学軸方向とを適
当に選択することにより、光の位相変調を行なうことも
できる。位相変調を行なう場合は、元々、光の利用効率
が良く、且つ、適当な位相△を与えることにより、回折
効率を上げることができるので、感度の高い検出を行な
うことができる。

【００４９】また、空間光変調器５１には、撮像素子と
電気アドレス型空間光変調器とを組合わせて用いること
もできる。尚、受光面５３には、フォトダイオ−ドアレ
イ等を配置する方法と、撮像管やＣＣＤ等の撮像デバイ
スを配置する方法が考えられる。これらにより、所望の
位置、即ち、各参照パタ−ンと入力パタ−ンとの相互相
関パタ−ンが現れる位置、の光強度を観測することによ
り各参照パタ−ンと入力パタ−ンとの相関の検出を行な
うことができる。

【００５０】以上のようにして得られた光電変換素子の
出力を、第１の中間層のユニットの出力Ｐｉとして用い
、第２の中間層から出力層にかけては、実施例１で説明
したと同様にニュ−ラルネットワ−クを構成することが
できる。尚、ここで、述べた光学的多重相関検出光学系
では、更に、その他の光学系の光学的多重相関検出構成
を使用することができる。

【００５１】以上のような相関検出光学系では、全て入
手可能な空間光変調器を使用しているので、参照パタ−
ンの追加や変更が容易に行なえるという長所がある。こ
の長所は、実施例２の荷重パタ−ンマスクに空間光変調
器を用いた場合でも同様である。更に、ここでは、一つ
の参照パタ−ンに対する相関検出の受光領域を、ある程
度広くとることにより、単なる内積演算とは異なる位置
不変（シフトインバリアント）な類似性に基づいた位相
出力を得ることができる。また、この受光領域を狭い範
囲に限定すれば、内積演算に相当する相関出力を得るこ
とができる。従って、これらのうちの片方或いは両方を
、第１の中間層のユニットからの出力とすることにより
、ニュ−ラルネットワ−クを構成することができる。

【００５２】尚、本発明のニュ−ラルネットワ−クでは
、識別カテゴリ−を追加する必要が生じた場合には、新
たに入力パタ−ンと所望の出力パタ−ンとのトレ−ニン
グセットを追加して、第１の中間層から出力層に至るユ
ニット間結合荷重及びバイアス値の学習を行なえば良い
。このとき、識別不能な入力パタ−ンが発生した場合に
は、参照パタ−ンを増やす、即ち、第１の中間層ユニッ
ト数を増やす、参照パタ−ン、即ち結合荷重パタ−ン、
を適当に変更する等の方法がある。特に、並列に参照パ
タ−ンを提示する場合には、参照パタ−ンを増やす場合
に既に存在すている参照パタ−ンには、影響を与えない
で、容易に識別能力を向上させることができる。また、
参照パタ−ンの変更も、空間光変調器を使用することに
より、容易に実現できる。更に、そのような光学系の変
更を行なうときには、即ち、参照パタ−ンの追加、変更
を行なうのは系の大幅な変更であり、日常的に行なうニ
ュ−ラルネットワ−クの学習では、その学習速度が装置
の性能の１つの評価尺度となるのに対して、このような
系の大幅な変更では、リアルタイム性をあまり要求しな
いことを考え合わせると、ウエット過程を用いたり、低
速の空間光変調器を用いたりしても、有効なニュ−ラル
ネットワ−クを得ることができる。

【００５３】

【発明の効果】以上説明したように、本発明のニュ−ラ
ルネットワ−クにより、前記のような効果が得られた。 それらをまとめると、次のような顕著な技術的効果とな
る。即ち、第１に、入力パタ−ンが複雑なパタ−ンであ
っても、また、識別カテゴリ−数が多くなっても、ユニ
ット間の結線数が少なく、装置化し易いニュ−ラルネッ
トワ−クを提供することができた。

【００５４】第２に、光学的相関演算を用いた高速な認
識が有効に行なわれる可能性が高いニュ−ラルネットワ
−クを提供することができた。第３に、入力パタ−ンの
位置ずれや歪みに影響されずに有効な認識が行なわれる
可能性が高いニュ−ラルネットワ−クを提供することが
できた。

【図面の簡単な説明】

【図１】本発明の光学的ニュ−ラルネットワ−クの１実
施例の構成を示す模式構成図である。

【図２】従来の代表的なニュ−ラルネットワ−クの構成
を示す構成図である。

【図３】本発明の光学的ニュ−ラルネットワ−クの１実
施例の光学系の機能を示す模式構成図である。

【図４】本発明の光学的ニュ−ラルネットワ−クの他の
例の光学系の機能を示す模式構成図である。

【図５】本発明の光学的ニュ−ラルネットワ−クの更に
他の実施例の光学系の機能を示す模式構成図である。

【図６】本発明で空間光変調器４９に書き込まれたパタ
−ンの配置の１例を示す説明図である。

【符号の説明】

１１、２８、４２　　　　　　光束 １２、１３、２３、４９、５１　　　　　　　　空間光
変調器１４　　　　　　　　　　　　集光レンズ１５　
　　　　　　　　　　　受光レンズ２４、２６　　　　
　　フ−リエ変換レンズ２５　　　　　　　　　　　　
マッチドフィルタ２７　　　　　　　　　　　　光電変
換素子アレイ３１　　　　　　　　　　　　入力パタ−
ン３２、５０、５２　　　　　　　　　　レンズアレイ
３３、４４、４７、４８　　　　　　　　　　ビ−ムス
プリッタ−３４　　　　　　　　　　　　参照パタ−ン
群５３　　　　　　　　　　　　受光面

Claims (7)

【特許請求の範囲】
1. 【請求項１】基本的構成が階層型であるニュ−ラルネッ
   トワ−クにおいて、その層数を４層以上とし、入力層に
   含まれるユニットと、該入力層に隣接する第１の中間層
   に含まれるユニットとの間のユニット間結合荷重値を固
   定し、上記第１の中間層の各ユニットからの出力値は、
   該ユニットへの入力層ユニットからの結合荷重値を並べ
   た荷重パタ−ンと入力層の各ユニットの出力値を並べた
   入力パタ−ンとの相互相関に関わる値で、アナログ値乃
   至３値以上の多値のデジタル値で表わされ、且つ、その
   絶対値は有限値であり、該第１の中間層から出力層まで
   の各ユニット間の各結合荷重値を、教師付き学習により
   決定することを特徴とするニュ−ラルネットワ−ク。
2. 【請求項２】前記の荷重パタ−ンの１つは、入力パタ−
   ン群に含まれるパタ−ンのうちの１つと同等であること
   を特徴とする請求項１に記載のニュ−ラルネットワ−ク
   。
3. 【請求項３】前記の相互相関に関わる値の演算は、光学
   的相関演算を用いて行なうことを特徴とする請求項１、
   請求項２に記載のニュ−ラルネットワ−ク。
4. 【請求項４】前記の光学的相関演算処理方法は、光学的
   フ−リエ変換面におけるパタ−ンの類似性を基にする方
   法を用いることを特徴とする請求項３に記載のニュ−ラ
   ルネットワ−ク。
5. 【請求項５】前記の光学的相関演算処理方法は、少なく
   とも、コヒ−レント光源と、入力パタ−ン及び参照パタ
   −ンに応じて第１の光束の複素振幅分布を変調する第１
   の空間光変調器と、該第１の空間光変調器上における第
   １の光束の複素振幅分布を光学的にフ−リエ変換するた
   めの第１フ−リエ変換レンズと、前記第１の光束のフ−
   リエ変換された光量分布に応じて第２の光束の複素振幅
   分布を変調する第２の空間光変調器と、該第２の空間光
   変調器上の第２の光束の複素振幅分布を光学的にフ−リ
   エ変換するための第２のフ−リエ変換レンズと、該第２
   の光束のフ−リエ変換された光量分布を受光する受光素
   子とからなる光学的相関検出装置において、前記第１の
   空間光変調器上に、相関検出を行なう複数の参照パタ−
   ンを同時並列的に配置し、その各々の参照パタ−ンの近
   傍に、各参照パタ−ンに１つずつ入力パタ−ンを同時並
   列的に配置し、前記第１フ−リエ変換レンズは、各々の
   参照パタ−ンと入力パタ−ンの対に対応した個別のレン
   ズのアレイとし、また、前記第２フ−リエ変換レンズは
   、前記第１フ−リエ変換レンズアレイにより生じた第２
   空間光変調器上の各フ−リエ変換パタ−ンに対応した個
   別のレンズのアレイとすることにより、光学的フ−リエ
   変換面でのパタ−ンの類似性を基にして、相関検出する
   ことを特徴とする請求項４に記載のニュ−ラルネットワ
   −ク。
6. 【請求項６】前記の光学的相関演算処理の出力は、光学
   的相関パタ−ンに応じた有限の領域内での光量に対応し
   た量であること特徴とする請求項３、請求項４或いは請
   求項５に記載のニュ−ラルネットワ−ク。
7. 【請求項７】前記の光学的相関演算処理の出力は、光学
   的相関パタ−ンに応じた有限の領域内での光量に対応し
   た量と、該領域内での単位面積当りの光量のピ−ク近傍
   での光量との両方をとることを特徴とする請求項３、請
   求項４或いは請求項５に記載のニュ−ラルネットワ−ク
   。