JP3096717B2 - ニュ−ラルネットワ−ク - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、物体、文字、音声等の
認識及び情報の検索、推論、連想等に用いられるパタ−
ン認識を行なうニュ−ラルネットワ−クに関する。

【０００２】

【従来の技術】近年、認識、連想、推論等の、ノイマン
型コンピュ−タにおいて、不得意とされる情報処理を効
果的に行なう技術として、ニュ−ラルネットワ−ク技術
が注目されている。特に、ニュ−ラルネットワ−クの学
習手法である、誤差逆伝搬（以下ＢＰと称する）法を用
いてネットワ−ク内のユニット、即ち、ニュ−ロンをモ
デルとした通常多入力で１出力の信号処理素子、の間の
結合荷重を決定することにより、各入力パタ−ン間の特
徴を捉えたフレキシブルな認識を行なうことができる。

【０００３】図２は、前記のような従来の代表的ニュ−
ラルネットワ−クの構成を示す構成図である。ＢＰ法に
よる学習を行なうニュ−ラルネットワ−クでは、通常、
ユニットの集合を３層以上の層構造とし、そのうちでパ
タ−ン信号入力を行なう層を入力層と、認識出力信号を
出力する層を出力層、残りを中間層或いは隠れ層と称す
る。従来のニュ−ラルネットワ−クでは、中間層の層数
を１、入力層に含まれるユニット数を５、中間層に含ま
れるユニット数を３、出力層に含まれるユニット数を５
としているが、これは、構成を説明するための、１つの
例示であり、中間層数及び各層におけるユニット数は要
求に応じて種々の値を取ることができる。

【０００４】入力層の各ユニットから出力された出力値
Ｉ_i（ｉはユニット番号である）は 、中間層の各ユニッ
トへ伝搬し、更に、中間層の各ユニットから出力された
出力値Ｃ_i （ｉはユニット番号である）は、出力層の各
ユニットへ伝搬して、この出力層の各ユニットから出力
値Ｏ_i（ｉはユニット番号である）が得られる。尚、 図
２では、入力層及び中間層ユニットの出力が複数のユニ
ットと結合しているので、多出力のように見えるが、こ
れは、１つのユニットからの出力を複数のユニットに入
力しているためで、出力値は、１つのユニットにつき１
つのみである。このとき、原則として、同一層内に含ま
れるユニット同志の結線は無いものとし、また、出力層
に近い層から、より入力層に近い層への信号のフィ−ド
バックも無いものとする。

【０００５】図２において、各ユニット間の結合は、矢
印で示しており、入力層のユニットと中間層のユニット
との結合荷重値を対応するユニット番号を添え字として
つけたＶ_ij（ｉは中間層ユニット番号であり、ｊは入力
層ユニット番号である）と、中間層のユニットと出力層
のユニットとの結合荷重値を対応するユニット番号を添
え字として付けたＷ_ij（ｉは出力層ユニット番号であ
り、ｊは中間層ユニット番号である）で表わすものとす
る。例えば、入力層ユニット１と中間層ユニット１との
結合荷重値は、Ｖ₁₁と表される。また、中間層ユニット
３と出力層ユニット５との結合荷重値はＷ₅₃と表され
る。

【０００６】通常、中間層ユニット及び出力層ユニット
の出入力の入出力特性は、次の式で表わされる。 ここで、ｉ、ｊは、各々、前記のように対応するユニ
ット番号であり、ξ、θは各々のユニットでのバイアス
値である。また、式（３）に示す関数は、シグモイド関
数と呼ばれている。尚、これらのバイアス値は、各層に
出力１のダミ−のユニットを設け、この出力が、次の層
の各ユニットに結合荷重値ξｉ或いはθｉで結合するも
のとすることにより、ユニット間の結合荷重として表わ
すことができ、それにより、他の結合荷重値と同様に学
習により、その値を決定することができる。

【０００７】前記のようなニュ−ラルネットワ−クの構
成において、ある入力パタ−ン即ち入力層ユニットの出
力ベクトル（Ｉ₁ 、Ｉ₂ 、Ｉ₃ 、Ｉ₄ 、Ｉ₅ ）を与えた
ときの出力層からの所望の出力と、実際の出力Ｏ_i （こ
こで、ｉ＝１、２・・・５）との各ユニットの誤差の二
乗和が小さくなるように、各ユニット間荷重の大きさを
修正することにより、ある入力パタ−ンに対して所望の
出力パタ−ンを出力するニュ−ラルネットワ−クを得る
ことができる。ＢＰ法は、このときの荷重の修正係数を
計算する方法であり、これは、一般化δル−ルとも呼ば
れているが、この修正係数を用いて効率良く学習を収束
させるために、この修正係数を用いて実際の修正値を求
めるいくつかの方法が提案されている。

【０００８】この方法では、認識させたい入力パタ−ン
のセットにより、各々のパタ−ンの特徴に応じた識別ネ
ットワ−クが自動的に構成され、フレキシブルな認識を
行なうことができるが、ネットワ−クの構成上、ユニッ
ト間の配線数が問題となる。前記の構成においては、中
間層のユニット数は最低でも識別したいカテゴリ−数を
Ｎとしたときに、ｌｏｇ₂ Ｎ個以上が必要であるとされ
ている。この数は各カテゴリ−の特徴が比較的はっきり
しているときには、前記の数で充足する。然し乍ら、そ
の特徴が複雑になると、より多くの中間層ユニットを必
要とするようになる。このとき、入力パタ−ンが複雑な
パタ−ンであると、即ち、入力層ユニット数が大きい
と、入力層と中間層との間の決線数は、それらの積で表
わされるので、非常に大きな数となり、現実的に装置化
が困難となる。

【発明が解決しようとする課題】

【０００９】本発明は、上記の問題点を解決するために
為されたもので、入力パタ−ンが複数であっても、ま
た、識別カテゴリ−の数が多くなっても、ユニット間結
線数が比較的少なく、装置化を実現し易いニュ−ラルネ
ットワ−クを提供することを目的とする。

【００１０】

【課題を解決するための手段】本発明は、上記の技術的
な課題の解決のために、成されたもので、基本的構成が
階層型であるニュ−ラルネットワ−クにおいて、その層
数を４層以上とし、入力層に含まれるユニットと、該入
力層に隣接する第１の中間層に含まれるユニットとの間
のユニット間結合荷重値を固定し、上記第１の中間層の
各ユニットからの出力値は、該ユニットへの入力層ユニ
ットからの結合荷重値を並べた荷重パタ−ンと入力層の
各ユニットの出力値を並べた入力パタ−ンとの相互相関
に関わる値で、アナログ値乃至３値以上の多値のデジタ
ル値で表わされ、且つ、その絶対値は有限値であり、該
第１の中間層から出力層までの各ユニット間の各結合荷
重値を、教師付き学習により決定することを特徴とする
ニュ−ラルネットワ−クを提供する。

【００１１】前記の荷重パタ−ンの１つは、入力パタ−
ン群に含まれるパタ−ンのうちの１つと同等であること
が好適である。そして、前記の相互相関に関わる値の演
算は、光学的相関演算を用いて行なうことができる。ま
た、前記の光学的相関演算処理方法は、光学的フ−リエ
変換面におけるパタ−ンの類似性を基にする方法を用い
ることができる。また、前記の光学的相関演算処理方法
は、少なくとも、コヒ−レント光源と、入力パタ−ン及
び参照パタ−ンに応じて第１の光束の複素振幅分布を変
調する（振幅のみ或いは位相のみの変調を含む）第１の
空間光変調器と；該第１の空間光変調器上の第１の光束
の複素振幅分布を光学的にフ−リエ変換するための第１
フ−リエ変換レンズと；前記第１の光束のフ−リエ変換
された光量分布に応じて第２の光束の複素振幅分布を変
調する第２の空間光変調器と；該第２の空間光変調器上
の第２の光束の複素振幅分布を光学的にフ−リエ変換す
るための第２のフ−リエ変換レンズと；該第２の光束の
フ−リエ変換された光量分布を受光する受光素子とから
なる光学的相関検出装置において；前記第１の空間光変
調器上に、相関検出を行なう複数の参照パタ−ンを同時
並列的に配置し、その各々の参照パタ−ンの近傍に、各
参照パタ−ンに１つずつ入力パタ−ンを同時並列的に配
置し；前記第１フ−リエ変換レンズは、各々の参照パタ
−ンと入力パタ−ンの対に対応した個別のレンズのアレ
イとし、また；前記第２フ−リエ変換レンズは、前記第
１フ−リエ変換レンズアレイにより生じた第２空間光変
調器上の各フ−リエ変換パタ−ンに対応した個別のレン
ズのアレイとすることにより、光学的フ−リエ変換面で
のパタ−ン類似性を基にして、相関検出するニュ−ラル
ネットワ−クが好適である。

【００１２】前記の光学的相関演算処理の出力は、光学
的相関パタ−ンに応じた有限の領域内での光量に対応し
た量であるニュ−ラルネットワ−クが好適であり、そし
て、前記の光学的相関演算処理の出力は、光学的相関パ
タ−ンに応じた有限の領域内での光量に対応した量と、
該領域内での単位面積当りの光量のピ−ク近傍での光量
との両方をとることが好適である。

【００１３】

【作用】本発明の構成によると、第１の中間層の各ユニ
ットからの出力は、入力パタ−ンと、該ユニットへの入
力層ユニットからの結合パタ−ンとの相関に関わる値で
あり、アナログ値である。入力パタ−ンをこの第１の中
間層内の各ユニットの出力の組合わせで表わすものとす
ると、例えば、所定ユニットの出力が、Ａ：１のダイナ
ミックレンジを有するものとし、また、この第１の中間
層内のユニット数がＢ個であるとすれば、この第１の中
間層内の各ユニットの出力の組合わせにより、Ａ^B 個の
入力パタ−ンを識別することができることになる。従っ
て、この第１の中間層を、新たな入力層と考え、より出
力層に近い中間層及び出力層での層間の接続の荷重値
を、所謂、教師付き学習により決定することにより、そ
のニュ−ラルネットワ−クに入力パタ−ンを提示して、
パタ−ン認識を行なうことができる。

【００１４】このときの最低の、即ち、最も見分け易い
パタ−ンの場合に必要な、結線数、Ｗn min.の従来例と
の比較を試みる。先ず、本発明のニュ−ラルネットワ−
クの層数が４つの場合、前記の第１の中間層でない第２
の中間層のユニット数は、従来例と同様と考えられるの
で、最低結線数は、次の式で表わすことができる。 Ｗn min.＝Ｉｎ×Ｃ１ｎ＋Ｃ１ｎ×Ｃ２ｎ＋Ｃ２ｎ×Ｏｎ ＝Ｉｎ×ＩＮＴ（Ｌｏｇ_AＮ）＋ＩＮＴ（Ｌｏｇ _A Ｎ）× ＩＮＴ（Ｌｏｇ₂Ｎ）＋ＩＮＴ（Ｌｏｇ₂Ｎ）×Ｎ・・・・・（４） 但し、出力層は、識別カテゴリ−１つに付き１つのユニ
ットを割り当てるものとした。また、Ｃ１及びＣ２は第
１及び第２の中間層を表わし、添え字ｎは、各層におけ
るユニット数を表わす。他の記号は、従来例での説明と
同様である。

【００１５】これに対して、従来例のような３層のニュ
−ラルネットワ−クでは、最低結線数は、 Ｗn min.＝Ｉｎ×Ｃ１ｎ＋Ｃ１ｎ×Ｏｎ ＝Ｉｎ×ＩＮＴ（Ｌｏｇ₂Ｎ）＋ＩＮＴ（Ｌｏｇ ₂ Ｎ）×Ｎ・・・（５） で与えることができる。尚、ここで、ＩＮＴ（ｘ）は、
ｘに最も近いｘ以上の整数を示す。

【００１６】例えば、識別カテゴリ−数Ｎ＝５で、入力
層ユニット数Ｉｎ＝８で、第１の中間層ユニットの出力
ダイナミクレンジＡ＝１０の場合、両方とも、Ｗn min.
は、２６で等しいが、Ｎ＝１００、Ｉｎ＝１００００、
Ａ＝１０の場合、従来例では、６０６００の結線が必要
であるのに対して、本発明のニュ−ラルネットワ−クで
は、２０２１２の結線でよい。この結線数の差は、入力
層ユニット数及び識別カテゴリ−数が増える程、大きく
開くので、画像パタ−ン等の識別を行なう場合には、ネ
ットワ−クの規模に大きな差ができることが分かる。

【００１７】また、入力層と第１の中間層とのユニット
間結合パタ−ンは、全く任意に設定することができる
が、識別したい入力パタ−ンの中から幾つかを選択し
て、前記結合パタ−ンとして用いることにより、実際に
識別したいパタ−ンに近い参照パタ−ンを使用すること
になり、相関度の差を大きくとることができ、前記第１
の中間層のユニットの有効な出力ダイナミックレンジを
大きくすることができる。

【００１８】尚、通常のニュ−ラルネットワ−クでは、
前記相互相関は、各々のパタ−ンをベクトルと見做した
ときに、入力パタ−ンベクトルと結合パタ−ンベクトル
との内積をとったものに相当し、即ち、その出力は、相
互相関ピ−クの出力と考えられるが、光学的に相関演算
を行なうことにより、相関ピ−クの検出を行なうことが
できる。また、フ−リエ変換面でのパタ−ンの類似性を
基にした相関演算処理である合同フ−リエ変換（ＪＴ）
法や、マッチドフィルタ−の手法を用いることにより、
ピ−ク以外の出力も含めた相関値の検出を行なうことも
できる。これは、その相関出力を検出する受光領域の設
置により、その領域を、ピ−ク近傍の小さい領域に制限
すれば、検出される値は、相関ピ−クに応じた出力とな
り、その面積を相関パタ−ンに応じて有限の領域とすれ
ば、相関ピ−クのみでなく、ピ−ク以外の出力も含めて
検出することができる。特に、ピ−ク以外の出力を含め
て検出した場合は、パタ−ンを構成する部分パタ−ンの
類似性を評価していると考えることもできる。従って、
このピ−ク出力とピ−ク以外の出力も含めた相関値との
両方を第１の中間層のユニットからの出力として利用す
れば、更に、多くの情報を得ることができる。

【００１９】通常の内積演算では、入力パタ−ンと参照
パタ−ンとを重ねる位置により演算結果が異なるが、前
記の手法においては、相関出力はシフトインバリアント
となり、入力パタ−ンの位置ズレに影響されない認識を
行なうことができる。このような、光学的相関演算処理
を用いる場合、式（４）での入力パタ−ンが複雑な場合
に最も結線量の多くなる第１項の演算を光学系で行なう
ことになるので、ネットワ−ク規模の大幅な縮小につな
がると同時に、認識の高速化に大きく貢献する。更に、
ＪＴ法に基づく相関検出を空間光変調器とレンズアレイ
を用いて、複数の参照パタ−ン、即ち、ニュ−ラルネッ
トワ−クでの結合荷重パタ−ン、に対して同時的並列的
に行なうと、ネットワ−クの演算速度は大きく向上した
ものと見做すことができる。

【００２０】次に、本発明のニュ−ラルネットワ−クを
具体的に実施例により説明するが、本発明はそれらによ
って限定されるものではない。

【００２１】

【実施例１】図１は、本発明のニュ−ラルネットワ−ク
の１例を具体的構成を示す模式的構成図である。ここ
で、ニュ−ラルネットワ−クの層数は４とし、入力層、
第１中間層、第２中間層、出力層でのユニット数は、各
々、５、２、３、５とした。これらの層数及びユニット
数は、説明のために便宜上決めたもので、実際のニュ−
ラルネットワ−クの構成を限定するものではない。但
し、一般的に、ＢＰ法では、中間層の層数は、１乃至２
とする場合が多く、これをいたずらに大きくしてもその
効果は小さいと言われている。従って、本発明のニュ−
ラルネットワ−クでは、第１中間層から出力層までの間
の結合を学習により決定するので、この間に含まれる中
間層の数を第１中間層を除いて１乃至２とし、全体の層
数では、４〜５とするのが適当と考えられる。

【００２２】また、各々の層内におけるユニット数は、
従来のもの及び作用の項で説明したように、入力パタ−
ンの要素数（即ち画素数）、識別カテゴリ−数、第１中
間層のユニットの出力ダイナミックレンジ等により決定
することができる。上記の式（４）及び（５）に示した
ユニット数を示す各項は、最低限必要なユニット数の目
安に過ぎず、実際には、これより多くの数をそのトレ−
ニングセット数やパタ−ンの直交性の程度等に応じて設
ける必要がある。

【００２３】本例のニュ−ラルネットワ−クでは、入力
層に与えられたパタ−ンＳＩは、 ＳＩ＝（Ｉ₁ 、Ｉ₂ 、Ｉ₃ 、Ｉ₄ 、Ｉ₅） と表わすことができる。また、入力層の各ユニットから
の第１の中間層の第ｉ番目のユニットへの結合荷重Ｖ_i
は、 Ｖ_i ＝（Ｖ_i1、Ｖ_i2、Ｖ_i3、Ｖ_i4、Ｖ_i5）＝（ｎ｜Ｖ_in）・・・・（６） と表わすことができる。但し、ｎは、入力層の各ユニッ
トのユニット番号である。

【００２４】ここで、第１の中間層の第１番目のユニッ
トの出力Ｐ_i は、 Ｐ_i ＝ｇ（ＳＩ・Ｖ_i ）・・・・・・・・・（７） と表わすことができる。但し、・は内積演算を示す。こ
のとき、ｇ（ｘ）がリニアな関数であれば、Ｐ_i は入力
パタ−ンベクトルと荷重パタ−ンベクトルとの内積に比
例した量となり、言い替えれば、入力パタ−ンと荷重パ
タ−ンとの相互相関ピ−ク値が出力されることになる。
この関数ｇ（ｘ）は、必ずしも厳密にリニアな関数であ
る必要はなく、例えば、ｘの値の大きい領域及び小さい
領域に飽和領域があったり、ｄｇ（ｘ）／ｄｘの値が一
定でなくてもかまわない。但し、単調性は必要である。
また、ｘの値を多値の離散値に変換するような関数にす
ることができる。

【００２５】尚、ここで、入力層ユニットから第１の中
間層のユニットへの荷重パタ−ンベクトルの選び方は基
本的に全く無作為なパタ−ンを用いることができるが、
なるべくは、認識したい入力パタ−ンと同様の空間周波
数成分を有するパタ−ンであることが好適である。これ
は、入力パタ−ンと荷重パタ−ンとの空間周波数成分が
大きく異なっていると、どの入力パタ−ンに対しても相
互相関出力即ち第１の中間層のユニットからの出力が平
均化してしまい、入力パタ−ンによる第１の中間層のユ
ニットの出力パタ−ンの差が小さくなる可能性があるか
らである。

【００２６】従って、例えば、入力パタ−ンの中から、
第１の中間層のユニットの数だけのパタ−ンを選択し
て、それらを、入力層から第１の中間層へのユニット結
合荷重パタ−ンとして用いると、それらが、適当な空間
周波数成分を有し、且つ、必ず、自己相関に相当する大
きな相関度を有するパタ−ンが存在するため、第１の中
間層のユニットからの出力は、入力パタ−ンにより、あ
る程度大きな差が出ることが保証される。

【００２７】ここで、入力パタ−ンＳＩの要素Ｉｎ（添
え字ｎは、ユニット番号である）は、アナログ値、
（１、０）の２値、（１、−１）の２値、（１、０、−
１）の３値、或いは４値以上の多値等の様々の形態の数
値を用いることができる。また、この入力パタ−ンに応
じて、入力層から第１の中間層への荷重パタ−ンＶ_i の
要素Ｖ_inの値も同様の形態をとることができる。各々の
値の取り得る範囲によって、第１の中間層のユニットで
の関数ｇ（ｘ）の領域も変わる。然し乍ら、その出力値
の範囲は、手段の項で説明した条件を満たしていれば、
負の領域を含んでいてもいなくても良い。但し、一般
に、ユニットからの出力値か、次の層へのユニット間結
合荷重値からのいずれかに負の値が必要となる場合が多
い。

【００２８】このようにして得られた第１の中間層のユ
ニットの出力は、第２の中間層のユニットの入力とな
り、この第１、第２の中間層及び出力層を通常の３層の
ニュ−ラルネットワ−クと考えることができる。従っ
て、トレ−ニングセットに含まれる入力パタ−ンを提示
して、第１の中間層のユニットの出力を得て、この出力
と出力層ユニットの出力教師信号との組合わせによって
第２の中間層と出力層とのユニット間結合荷重及びバイ
アス値、更に第１及び第２の中間層とのユニット間結合
荷重及びバイアス値を学習させれば良い。

【００２９】尚、第２の中間層と出力層との間に、更に
中間層が加わった場合でも、第２の中間層以降でのユニ
ット間結合荷重及びバイアス値を学習させる過程は同様
である。

【００３０】

【実施例２】本発明のニュ−ラルネットワ−クの入力層
から第１の中間層への相関演算の部分は、ユニット間結
合荷重が一定であるので、光学系を用いて簡単に実現で
きる。図３は、その光学系の一例を示す説明図である。
入力層の入力パタ−ンは、２次元に配列されて液晶パネ
ル等の空間光変調器Ａ１２に表示され、入力層から第１
の中間層へのユニット間結合荷重は、同様に２次元に配
列されて、やはり、液晶パネル等の空間光変調器Ｂ１３
に表示される。これらの空間光変調器は、近接して、或
いはレンズ系により互いに共役位置に配置され、これを
光束１１で照明し、透過光束を集光レンズ１４により集
光して、透過光量を受光素子１５により検出する。

【００３１】このときの受光素子１５の出力を、第１の
中間層のユニットの出力Ｐｉとすることができ、第１の
中間層のユニット数が複数の場合は、空間光変調器Ｂ１
３に順次、そのユニットに対応する荷重パタ−ンを表示
して、受光素子１５の出力を取れば、各ユニット出力を
順次得ることができる。また、結合荷重パタ−ンは、一
定であるので、空間光変調器Ｂ１３に代わり、第１の中
間層の各ユニットに対する荷重パタ−ンの固定マスクを
ユニット数だけ並列に並べても良い。勿論、固定マスク
ではなく、空間光変調器を並列に並べる、或いは、高分
解能の空間光変調器を用いて複数の荷重パタ−ンマスク
を同時に提示する等の方法でも良い。

【００３２】この場合は、当然、入力パタ−ンをその数
だけ並べるために、空間光変調器Ａをその数だけ用意す
るか、結像光学系により複数の像が得られるようにし
て、受光素子１５を、そのユニット数だけアレイ化する
必要がある。特に、画像パタ−ン等では、入力層ユニッ
ト数が、非常に大きな数になることが考えられるが、こ
のように、光学的に装置化することにより、最も結線数
の大きな部分を高速且つ並列に実行することができる。

【００３３】

【実施例３】図４は、入力層と第１中間層との間の相関
演算を光学的フ−リエ変換面におけるパタ−ンの類似性
を基にして行なう場合の光学系の一例の説明図を示し、
これを基に更に他の実施例につき説明する。

【００３４】図４の光学系は、一般的にマッチドフィル
タリングと呼ばれている手法を基にしたもので、レ−ザ
２１を出射した光束２８は、ビ−ムエキスパンダ２２に
より、その光束系を適当な大きさに広げられ、入力パタ
−ンを表示した空間光変調器２３に入射する。そして、
入力パタ−ンに対応した空間的変調を受けた光束２８
は、フ−リエ変換レンズ２４を通り、そのフ−リエ変換
面に置かれたマッチドフィルタ２５に入射する。このマ
ッチドフィルタ２５は、参照パタ−ン、即ちユニット間
結合荷重パタ−ンのフ−リエ変換ホログラムを基に作ら
れたもので、もし、ホログラム記録のときの参照パタ−
ンのフ−リエ変換パタ−ンと入力パタ−ンのフ−リエ変
換パタ−ンとの相関が高ければ、そのホログラム記録時
の参照光束の方向に、参照光束に共役な光束を発生す
る。

【００３５】この参照光束が並行光束であれば、これを
再度光学的にフ−リエ変換したものが、入力パタ−ンと
参照パタ−ンとの相関パタ−ンとなる。即ち、厳密に
は、相関の２乗のパタ−ンである。従って、マッチドフ
ィルタ２５を出射した光束２８は、フ−リエ変換レンズ
２６を通過して、光電変換素子アレイ２７に入射し、こ
の相関パタ−ンが検出される。

【００３６】ここで、相関パタ−ンの中心の位置は、マ
ッチドフィルタ作成のときの参照光束の方向で予め決ま
っているから、この部分に光電変換素子が配置されるよ
うにすれば良い。また、この光電変換素子の面積によ
り、相関パワ−スペクトルの検出領域を調整することが
でき、この面積を小さくすれば、通常の内積演算に近い
演算結果となり、この面積を大きく取れば、パタ−ンの
変形やシフトに影響され難い演算結果となる。

【００３７】以上のようにして得られた光電変換素子の
出力を、第１の中間層のユニットの出力Ｐｉとして用
い、第２の中間層から出力層にかけては、実施例１で述
べたと同様にニュ−ラルネットワ−クを構成することが
できる。尚、このとき、複数の参照パタ−ン（即ち、結
合荷重パタ−ン）を一つのマッチドフィルタに参照光束
の方向を変えて、記録しておけば、光電変換素子アレイ
２７上には、それらの相関パタ−ンが異なる場所に現
れ、第１の中間層の複数のユニットの出力を同時に取り
出すことができる。従って、非常にコンパクト且つ高速
にニュ−ラルネットワ−クの演算を行なうことができ
る。

【００３８】この他に、光学的フ−リエ変換面でのパタ
−ンの類似性を基にした光学的相関演算法に合同フ−リ
エ変換（ジョイントトランスフォ−ム：ＪＴ）法があ
る。この方法は、現状の仕様の空間光変調器を用いて装
置化を行ない易い特長があり、マッチドフィルタ法と同
様に本発明のニュ−ラルネットワ−クで用いることがで
きる。然し乍ら、同時に複数の参照パタ−ンとの相関出
力を得る能力では、マッチドフィルタ法より劣る。そこ
で、本発明者等は、このＪＴ法による相関光学系をアレ
イ化した光学的多重相関検出装置を提案し、更に、この
相関検出装置を用いた本発明のニュ−ラルネットワ−ク
の例について、説明する。

【００３９】

【実施例４】図５は、前記の光学的多重相関検出装置を
用いたニュ−ラルネットワ−クの一例についての光学系
の機能を示す説明図である。

【００４０】コヒ−レント光源４１を出射した光束４２
は、ビ−ムエキスパンダ４３により、光束径を適当な大
きさに広げられ、ビ−ムスプリッタ−４４で光路を２つ
に分けられる。ビ−ムスプリッタ−４４を透過した光束
４２ａは、全反射ミラ−４６で反射され、ビ−ムスプリ
ッタ−４７で反射されて、光アドレス型空間光変調器４
９の読み出し面に入射する。この空間光変調器４９の書
き込み面（即ちアドレス面）には、入力パタ−ン３１を
複数結像した像と、参照パタ−ン群３４の像が書き込ま
れる。このときの書き込み光学系は、次のように構成さ
れる。

【００４１】入力パタ−ン３１は、インコヒ−レント或
いはコヒ−レントに照明され、レンズアレイ３２の各レ
ンズ３２ａ、３２ｂ、・・・により、各々別々の像が空
間光変調器４９の書き込み面上に結像される。これに対
して、参照パタ−ン（即ちユニット間結合荷重パタ−
ン）群３４の各参照パタ−ンは、レンズアレイ３２の各
レンズ３２ａ、３２ｂ、・・・によりできる空間光変調
器４９の書き込み面上の各入力パタ−ン像に対応した位
置に配置され、インコヒ−レント或いはコヒ−レントに
照明されて結像レンズ３６により、空間光変調器４９の
書き込み面上に結像される。このとき、入力パタ−ン３
１と参照パタ−ン群３４の露光を同時に行なう場合は、
ビ−ムスプリッタ−３３を用いて、各々の光路を合成す
る。図５には、この他に全反射ミラ−３５が参照パタ−
ンの結像光学系の光路を曲げるために用いられる。

【００４２】ここで、空間光変調器４９に書き込まれた
パタ−ンの配置の一例を図６に示す。各々の参照パタ−
ン３４’と、レンズアレイ光学系により複製された各々
の入力パタ−ン３１’が各々の対を成して、空間光変調
器４９上に配置される。従って、各々の対のジョイント
・トランスフォ−ムによる相関演算を行なうことによ
り、各参照パタ−ンと入力パタ−ンとの相関演算処理を
一度に行なうことができる。即ち、空間光変調器４９の
読み出し面では、以上の書き込みパタ−ンの光強度に対
応した強度反射率分布或いは位相反射率分布或いはその
両方（これらをまとめて、強度反射率分布×位相反射率
分布の形で複素信号反射率分布と称する）が現れる。従
って、空間光変調器４９に入射した光束４２ａは、これ
らの書き込みパタ−ンに対応した強度分布或いは位相分
布或いはその両方（これらをまとめて、強度分布×位相
分布の形で複素振幅分布と称する）を持って、空間光変
調器４９を出射する。

【００４３】ここで、空間光変調器４９の読み出し面
と、空間光変調器５１の書き込み面とは、レンズアレイ
５０の各レンズ５０ａ、５０ｂ、・・・に対して、各
々、前側焦点面と後ろ側焦点面に配置されており、光束
４２ａは、その各々の参照パタ−ンと入力パタ−ンとの
対に対応したレンズ５０ａ、５０ｂ、・・・を有するレ
ンズアレイ５０を通過して、空間光変調器５１の書き込
み面上に前記各々の参照パタ−ンと入力パタ−ンとの対
のパタ−ンに対応したパワ−スペクトルパタ−ン、即
ち、前記各々の参照パタ−ンと入力パタ−ンとの対のパ
タ−ンに対応した複素振幅分布のフ−リエ変換の強度を
取る光強度パタ−ンを形成する。

【００４４】これにより、空間光変調器５１の読み出し
面上には、前記パワ−スペクトルパタ−ンに対応した複
素振幅反射率分布が形成され、この空間光変調器５１の
読み出し面には、ビ−ムスプリッタ−４４を反射した光
束４２ａが更にビ−ムスプリッタ−４８で反射されて入
射する。従って、空間光変調器５１を出射する光束４２
ｂは、空間光変調器５１の読み出し面上で、各々の参照
パタ−ンと入力パタ−ンとの対のパタ−ンに対応したパ
ワ−スペクトルパタ−ンに対応した複素振幅分布を有
し、この光束４２ｂが、レンズ５０ａ、５０ｂ、・・・
を有するレンズアレイ５２を通過して、受光面５３に到
達する。このとき、空間光変調器５１の読み出し面と受
光面５３とは、レンズアレイ５２の各レンズ５０ａ、５
０ｂ、・・・の各々の前側焦点面及び後ろ側焦点面に配
置され、また、各レンズ５２ａ、５２ｂ、・・・は、前
記各対に対応したパワ−スペクトルに対応して配置され
るので、受光面上で観察される光強度分布は、空間光変
調器５１の読み出し面上での各パワ−スペクトルパタ−
ンに対応した複素振幅分布のフ−リエ変換の強度分布、
即ち、各参照パタ−ンと入力パタ−ンとの対のパタ−ン
の自己相関の二乗パタ−ンとなる。

【００４５】得られた各参照パタ−ンと入力パタ−ンと
の対のパタ−ンの自己相関の二乗のパタ−ンは、各レン
ズの光軸上に各参照パタ−ンの自己相関の二乗及び入力
パタ−ンの自己相関の二乗パタ−ンが現れ、その光軸に
対して参照パタ−ンと入力パタ−ンとの相対的位置に対
応した相対的位置に、参照パタ−ンと入力パタ−ンとの
相関の二乗パタ−ンが現れる。従って、各参照パタ−ン
及び入力パタ−ンが提示される位置は、予め分かってい
るから、受光面５３上の各相関パタ−ンが現れる位置の
光強度を観測することにより、各参照パタ−ンと入力パ
タ−ンとの相関の検出を行なうことができる。

【００４６】ここで用いた各レンズアレイとしては、光
学系が大きく、レンズの数があまり多くない場合には、
単体レンズを組合わせて作成したものでも良い。然し乍
ら、光学系が小さく、多数のレンズが必要な場合は、屈
折率分布型の平板マイクロレンズアレイや１枚の基板上
に多数の球面レンズを集積したレンズアレイが市販され
ているので、これらを使用することができる。

【００４７】また、ここで使用した各空間光変調器は、
光アドレス型空間光変調器であり、このような変調器と
しては、液晶パネルに光導電層を組合わせたものが一般
的であり、ネマテイック型液晶を用いたものが米国ヒュ
−ズ社から販売されている。また、強誘電性液晶を用い
た空間光変調器も開発されてい、特に、強誘電性液晶を
用いた空間光変調器は、原理的に分解能が高く、コント
ラストも高いので好適である。

【００４８】更に、光アドレス型空間光変調器として
は、ＢＳＯ（ビスマス・シリコン・オキサイド：Ｂｉ₁₂
ＳｉＯ₂₀）等の光誘起屈折率変化を有する媒体を用いた
ものも考えられる。特に、ＢＳＯでは、書き込み光とし
て、感度の高い短波長よりの可視光を用い、読み出し光
として、書き込み感度の低い赤色から赤外での波長域の
光を用いることにより、書き込み及び読み出しを同時に
行なうことができる。但し、ＢＳＯは、反射板を使用す
ることにより反射型で使うこともできるが、通常、透過
型として用いることが多い。この場合、ＢＳＯに入射す
る読み出し光の入射方向を変更する必要がある。尚、液
晶を用いた空間光変調器も、ＢＳＯを用いた空間光変調
器も、通常は、これらの素材と偏光子とを組合わせて、
光の強度変調を行なう場合が多いが、偏光子を用いず
に、入射光の偏光方向と各デバイスの光学軸方向とを適
当に選択することにより、光の位相変調を行なうことも
できる。位相変調を行なう場合は、元々、光の利用効率
が良く、且つ、適当な位相△を与えることにより、回折
効率を上げることができるので、感度の高い検出を行な
うことができる。

【００４９】また、空間光変調器５１には、撮像素子と
電気アドレス型空間光変調器とを組合わせて用いること
もできる。尚、受光面５３には、フォトダイオ−ドアレ
イ等を配置する方法と、撮像管やＣＣＤ等の撮像デバイ
スを配置する方法が考えられる。これらにより、所望の
位置、即ち、各参照パタ−ンと入力パタ−ンとの相互相
関パタ−ンが現れる位置、の光強度を観測することによ
り各参照パタ−ンと入力パタ−ンとの相関の検出を行な
うことができる。

【００５０】以上のようにして得られた光電変換素子の
出力を、第１の中間層のユニットの出力Ｐｉとして用
い、第２の中間層から出力層にかけては、実施例１で説
明したと同様にニュ−ラルネットワ−クを構成すること
ができる。尚、ここで、述べた光学的多重相関検出光学
系では、更に、その他の光学系の光学的多重相関検出構
成を使用することができる。

【００５１】以上のような相関検出光学系では、全て入
手可能な空間光変調器を使用しているので、参照パタ−
ンの追加や変更が容易に行なえるという長所がある。こ
の長所は、実施例２の荷重パタ−ンマスクに空間光変調
器を用いた場合でも同様である。更に、ここでは、一つ
の参照パタ−ンに対する相関検出の受光領域を、ある程
度広くとることにより、単なる内積演算とは異なる位置
不変（シフトインバリアント）な類似性に基づいた位相
出力を得ることができる。また、この受光領域を狭い範
囲に限定すれば、内積演算に相当する相関出力を得るこ
とができる。従って、これらのうちの片方或いは両方
を、第１の中間層のユニットからの出力とすることによ
り、ニュ−ラルネットワ−クを構成することができる。

【００５２】尚、本発明のニュ−ラルネットワ−クで
は、識別カテゴリ−を追加する必要が生じた場合には、
新たに入力パタ−ンと所望の出力パタ−ンとのトレ−ニ
ングセットを追加して、第１の中間層から出力層に至る
ユニット間結合荷重及びバイアス値の学習を行なえば良
い。このとき、識別不能な入力パタ−ンが発生した場合
には、参照パタ−ンを増やす、即ち、第１の中間層ユニ
ット数を増やす、参照パタ−ン、即ち結合荷重パタ−
ン、を適当に変更する等の方法がある。特に、並列に参
照パタ−ンを提示する場合には、参照パタ−ンを増やす
場合に既に存在すている参照パタ−ンには、影響を与え
ないで、容易に識別能力を向上させることができる。ま
た、参照パタ−ンの変更も、空間光変調器を使用するこ
とにより、容易に実現できる。更に、そのような光学系
の変更を行なうときには、即ち、参照パタ−ンの追加、
変更を行なうのは系の大幅な変更であり、日常的に行な
うニュ−ラルネットワ−クの学習では、その学習速度が
装置の性能の１つの評価尺度となるのに対して、このよ
うな系の大幅な変更では、リアルタイム性をあまり要求
しないことを考え合わせると、ウエット過程を用いた
り、低速の空間光変調器を用いたりしても、有効なニュ
−ラルネットワ−クを得ることができる。

【００５３】

【発明の効果】以上説明したように、本発明のニュ−ラ
ルネットワ−クにより、前記のような効果が得られた。
それらをまとめると、次のような顕著な技術的効果とな
る。即ち、第１に、入力パタ−ンが複雑なパタ−ンであ
っても、また、識別カテゴリ−数が多くなっても、ユニ
ット間の結線数が少なく、装置化し易いニュ−ラルネッ
トワ−クを提供することができた。

【００５４】第２に、光学的相関演算を用いた高速な認
識が有効に行なわれる可能性が高いニュ−ラルネットワ
−クを提供することができた。第３に、入力パタ−ンの
位置ずれや歪みに影響されずに有効な認識が行なわれる
可能性が高いニュ−ラルネットワ−クを提供することが
できた。

【図面の簡単な説明】

【図１】本発明の光学的ニュ−ラルネットワ−クの１実
施例の構成を示す模式構成図である。

【図２】従来の代表的なニュ−ラルネットワ−クの構成
を示す構成図である。

【図３】本発明の光学的ニュ−ラルネットワ−クの１実
施例の光学系の機能を示す模式構成図である。

【図４】本発明の光学的ニュ−ラルネットワ−クの他の
例の光学系の機能を示す模式構成図である。

【図５】本発明の光学的ニュ−ラルネットワ−クの更に
他の実施例の光学系の機能を示す模式構成図である。

【図６】本発明で空間光変調器４９に書き込まれたパタ
−ンの配置の１例を示す説明図である。

【符号の説明】

１１、２８、４２ 光束 １２、１３、２３、４９、５１ 空間光変調器 １４ 集光レンズ １５ 受光レンズ ２４、２６ フ−リエ変換レンズ ２５ マッチドフィルタ ２７ 光電変換素子アレイ ３１ 入力パタ−ン ３２、５０、５２ レンズアレイ ３３、４４、４７、４８ ビ−ムスプリッタ− ３４ 参照パタ−ン群 ５３ 受光面

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平２−178759（ＪＰ，Ａ) 特開 平４−40580（ＪＰ，Ａ) 特開 平４−205577（ＪＰ，Ａ)

Claims (7)

(57)【特許請求の範囲】
1. 【請求項１】基本的構成が階層型であるニュ−ラルネッ
   トワ−クにおいて、その層数を４層以上とし、入力層に
   含まれるユニットと、該入力層に隣接する第１の中間層
   に含まれるユニットとの間のユニット間結合荷重値を固
   定し、上記第１の中間層の各ユニットからの出力値は、
   該ユニットへの入力層ユニットからの結合荷重値を並べ
   た荷重パタ−ンと入力層の各ユニットの出力値を並べた
   入力パタ−ンとの相互相関に関わる値で、アナログ値乃
   至３値以上の多値のデジタル値で表わされ、且つ、その
   絶対値は有限値であり、該第１の中間層から出力層まで
   の各ユニット間の各結合荷重値を、教師付き学習により
   決定することを特徴とするニュ−ラルネットワ−ク。
2. 【請求項２】前記の荷重パタ−ンの１つは、入力パタ−
   ン群に含まれるパタ−ンのうちの１つと同等であること
   を特徴とする請求項１に記載のニュ−ラルネットワ−
   ク。
3. 【請求項３】前記の相互相関に関わる値の演算は、光学
   的相関演算を用いて行なうことを特徴とする請求項１、
   請求項２に記載のニュ−ラルネットワ−ク。
4. 【請求項４】前記の光学的相関演算処理方法は、光学的
   フ−リエ変換面におけるパタ−ンの類似性を基にする方
   法を用いることを特徴とする請求項３に記載のニュ−ラ
   ルネットワ−ク。
5. 【請求項５】前記の光学的相関演算処理方法は、少なく
   とも、コヒ−レント光源と、入力パタ−ン及び参照パタ
   −ンに応じて第１の光束の複素振幅分布を変調する第１
   の空間光変調器と、該第１の空間光変調器上における第
   １の光束の複素振幅分布を光学的にフ−リエ変換するた
   めの第１フ−リエ変換レンズと、前記第１の光束のフ−
   リエ変換された光量分布に応じて第２の光束の複素振幅
   分布を変調する第２の空間光変調器と、該第２の空間光
   変調器上の第２の光束の複素振幅分布を光学的にフ−リ
   エ変換するための第２のフ−リエ変換レンズと、該第２
   の光束のフ−リエ変換された光量分布を受光する受光素
   子とからなる光学的相関検出装置において、前記第１の
   空間光変調器上に、相関検出を行なう複数の参照パタ−
   ンを同時並列的に配置し、その各々の参照パタ−ンの近
   傍に、各参照パタ−ンに１つずつ入力パタ−ンを同時並
   列的に配置し、前記第１フ−リエ変換レンズは、各々の
   参照パタ−ンと入力パタ−ンの対に対応した個別のレン
   ズのアレイとし、また、前記第２フ−リエ変換レンズ
   は、前記第１フ−リエ変換レンズアレイにより生じた第
   ２空間光変調器上の各フ−リエ変換パタ−ンに対応した
   個別のレンズのアレイとすることにより、光学的フ−リ
   エ変換面でのパタ−ンの類似性を基にして、相関検出す
   ることを特徴とする請求項４に記載のニュ−ラルネット
   ワ−ク。
6. 【請求項６】前記の光学的相関演算処理の出力は、光学
   的相関パタ−ンに応じた有限の領域内での光量に対応し
   た量であること特徴とする請求項３、請求項４或いは請
   求項５に記載のニュ−ラルネットワ−ク。
7. 【請求項７】前記の光学的相関演算処理の出力は、光学
   的相関パタ−ンに応じた有限の領域内での光量に対応し
   た量と、該領域内での単位面積当りの光量のピ−ク近傍
   での光量との両方をとることを特徴とする請求項３、請
   求項４或いは請求項５に記載のニュ−ラルネットワ−
   ク。