JP2774331B2 - 全光型多層ニユーラル・ネツトワーク・システム - Google Patents
全光型多層ニユーラル・ネツトワーク・システムInfo
- Publication number
- JP2774331B2 JP2774331B2 JP1269718A JP26971889A JP2774331B2 JP 2774331 B2 JP2774331 B2 JP 2774331B2 JP 1269718 A JP1269718 A JP 1269718A JP 26971889 A JP26971889 A JP 26971889A JP 2774331 B2 JP2774331 B2 JP 2774331B2
- Authority
- JP
- Japan
- Prior art keywords
- storage matrix
- output function
- held
- image
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/067—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means
- G06N3/0675—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using optical means using electro-optical, acousto-optical or opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Neurology (AREA)
- Image Analysis (AREA)
Description
本発明は、全光型多層ニユーラル・ネツトワーク・シ
ステムに係り、特に、光の並列性を利用して、学習及び
想起のための演算時間を大幅に短縮することが可能な、
全ての演算を光演算によつて行う全光型の多層ニユーラ
ル・ネツトワーク・システムに関するものである。
ステムに係り、特に、光の並列性を利用して、学習及び
想起のための演算時間を大幅に短縮することが可能な、
全ての演算を光演算によつて行う全光型の多層ニユーラ
ル・ネツトワーク・システムに関するものである。
近年、従来のフオン・ノイマン型のコンピユータのア
ーキテクチヤとは違つて、人間の脳の情報処理様式のモ
デルであるニユーラル・ネツトワーク・モデルに基づい
た新しい処理アーキテクチヤを実現しようとする研究が
盛んに行われている。このニユーラル・ネツトワーク・
モデルは、神経細胞モデルを基本単位とする大規模並列
処理モデルであり、情報処理機能を自律的に自己組織可
能である点に特徴がある。 従つて、このニユーラル・ネツトワーク・モデルの構
造を本質的に実現しようとする場合には、演算機構、ネ
ツトワーク、入出力等、全ての処理機構に関して完全並
列処理を行う必要がある。 しかしながら、従来のコンピユータは、逐次処理に基
本をおいており、ニユーラル・ネツトワークの元来持つ
並列性をうまく生かすのが難しいシステムであつた。特
に、ニユーロン数ｎの増加に関しては、計算量がn2で増
大していくことになり、大規模ニユーラル・ネツトワー
クの実現は困難であつた。 一方、前記完全並列処理を実現するべく、原理的に高
い空間的並列性を有する光を情報の媒体として利用する
光演算並びに光接続が注目されている。この光を用いる
方法によれば、大規模並列演算並びに高密度の並列接続
が実現可能であるため、ニユーラル・ネツトワーク・モ
デルの大規模並列性を実現するのに効果的なハードウエ
アとして期待が持たれている。 ニユーラル・ネツトワーク・モデルの中でも、とりわ
け連想記憶モデルは、演算構造が均質な並列性を持つた
め、光演算の特徴を生かして高密度の演算構造を実現で
きる可能性がある。 そこで発明者らは、1988年７月７日に開催された電子
情報通信学会や、特開昭64−78491、63−307437等で、
光アソシアトロンと呼ぶ、学習機能を導入した光連想記
憶システムを提案している。この光アソシアトロンは、
空間光変調管のアナログの並列演算・記憶機能を利用
し、直交学習法を導入することにより、適応性の高い連
想記憶を光演算により実現したものである。又、光アソ
シアトロン以外にも、光の持つ大規模並列性を用いて連
想記憶方式を実現しようとする例は多くみられる（例え
ば特開平１−112225やホツプフイールドモデル）。 ここで、連想記憶方式とは、記憶装置にいくつものパ
ターンを重複させて記憶させておき、必要なパターンの
一部分のみを演算装置に与えることによつて、必要なパ
ターンだけを記憶装置から分離して取り出すことのでき
る一種の検索方式である。この連想記憶方式を採用する
ことによつて、従来のコンピユータが不得手である、曖
昧な入力からの連想処理が実現できると共に、演算時間
の大幅な短縮が可能となる。
ーキテクチヤとは違つて、人間の脳の情報処理様式のモ
デルであるニユーラル・ネツトワーク・モデルに基づい
た新しい処理アーキテクチヤを実現しようとする研究が
盛んに行われている。このニユーラル・ネツトワーク・
モデルは、神経細胞モデルを基本単位とする大規模並列
処理モデルであり、情報処理機能を自律的に自己組織可
能である点に特徴がある。 従つて、このニユーラル・ネツトワーク・モデルの構
造を本質的に実現しようとする場合には、演算機構、ネ
ツトワーク、入出力等、全ての処理機構に関して完全並
列処理を行う必要がある。 しかしながら、従来のコンピユータは、逐次処理に基
本をおいており、ニユーラル・ネツトワークの元来持つ
並列性をうまく生かすのが難しいシステムであつた。特
に、ニユーロン数ｎの増加に関しては、計算量がn2で増
大していくことになり、大規模ニユーラル・ネツトワー
クの実現は困難であつた。 一方、前記完全並列処理を実現するべく、原理的に高
い空間的並列性を有する光を情報の媒体として利用する
光演算並びに光接続が注目されている。この光を用いる
方法によれば、大規模並列演算並びに高密度の並列接続
が実現可能であるため、ニユーラル・ネツトワーク・モ
デルの大規模並列性を実現するのに効果的なハードウエ
アとして期待が持たれている。 ニユーラル・ネツトワーク・モデルの中でも、とりわ
け連想記憶モデルは、演算構造が均質な並列性を持つた
め、光演算の特徴を生かして高密度の演算構造を実現で
きる可能性がある。 そこで発明者らは、1988年７月７日に開催された電子
情報通信学会や、特開昭64−78491、63−307437等で、
光アソシアトロンと呼ぶ、学習機能を導入した光連想記
憶システムを提案している。この光アソシアトロンは、
空間光変調管のアナログの並列演算・記憶機能を利用
し、直交学習法を導入することにより、適応性の高い連
想記憶を光演算により実現したものである。又、光アソ
シアトロン以外にも、光の持つ大規模並列性を用いて連
想記憶方式を実現しようとする例は多くみられる（例え
ば特開平１−112225やホツプフイールドモデル）。 ここで、連想記憶方式とは、記憶装置にいくつものパ
ターンを重複させて記憶させておき、必要なパターンの
一部分のみを演算装置に与えることによつて、必要なパ
ターンだけを記憶装置から分離して取り出すことのでき
る一種の検索方式である。この連想記憶方式を採用する
ことによつて、従来のコンピユータが不得手である、曖
昧な入力からの連想処理が実現できると共に、演算時間
の大幅な短縮が可能となる。
しかしながら、光演算をニユーラル・ネツトワークに
用いた従来のシステムは、いずれも、入力層と出力層が
直結され、中間層が存在しない、１層のニユーラル・ネ
ツトワーク・モデルを実現しているにとどまつていた。
そのため、排他的論理和が処理できない等の限界が指摘
されており、これから、多層のニユーラル・ネツトワー
クへの期待が集つていた。 本発明は、前記従来の課題を考慮してなされたもの
で、全光型の多層ニユーラル・ネツトワーク・システム
を提供することを課題とする。
用いた従来のシステムは、いずれも、入力層と出力層が
直結され、中間層が存在しない、１層のニユーラル・ネ
ツトワーク・モデルを実現しているにとどまつていた。
そのため、排他的論理和が処理できない等の限界が指摘
されており、これから、多層のニユーラル・ネツトワー
クへの期待が集つていた。 本発明は、前記従来の課題を考慮してなされたもの
で、全光型の多層ニユーラル・ネツトワーク・システム
を提供することを課題とする。
【課題を解決するための手段】 本発明は、全光型多層ニユーラル・ネツトワーク・シ
ステムを、第１図に示す如く、入力パターンｘを多重化
して結像する多重結像系10と、該多重結像された像を保
持する入力パターン変換装置12と、ターゲツトパターン
ｔを多重化して結像する多重結像系14と、該多重結像さ
れた像を保持するターゲツトパターン変換装置16と、入
力パターンｘと中間層出力パターンｕの相関に応じた記
憶行列w01を保持する第１の記憶行列保持装置18と、入
力パターンｘと想起出力パターンｙの相関に応じた記憶
行列w02を保持する第２の記憶行列保持装置20と、中間
層出力パターンｕと想起出力パターンｙの相関に応じた
記憶行列w12を保持する第３の記憶行列保持装置22と、
前記入力パターン変換装置及び第１の記憶行列保持装置
に保持された画像を続けて読み出すことによつて、それ
らのアダマール積を光演算する第１の相関演算手段24
と、該第１の相関演算手段によつて形成された画像を局
所結像して、部分和を光演算する局所結像系26と、該局
所結像された画像に対して出力関数を光演算して中間層
出力パターンｕとする第１の出力関数演算装置28と、前
記入力パターン変換装置及び第２の記憶行列保持装置に
保持された画像を続けて読み出すことによつて、それら
のアダマール積を光演算する第２の相関演算手段30と、
前記第１の出力関数演算装置及び第３の記憶行列保持装
置に保持された画像を続けて読み出すことによつて、そ
れらのアダマール積を光演算する第３の相関演算手段31
と、該第２及び第３の相関演算手段によつて形成された
画像を局所結像して、部分和を光演算する局所結像系32
と、該局所結像された画像に対して出力関数を光演算し
て想起出力パターンｙとする第２の出力関数演算装置34
と、同じく出力関数の微分を光演算する出力関数微分演
算装置36と、前記第１及び第２の出力関数演算装置、出
力関数微分装置及びターゲツトパターンの変換装置に保
持された画像を用いて、中間層−出力層の学習を行い、
前記第３の記憶行列保持装置に保持された記憶行列w12
を修正する手段38と、前記ターゲツトパターン変換装
置、第２の出力関数演算装置、出力関数微分演算装置及
び入力パターン変換装置に保持された画像を用いて、入
力層−出力層の学習を行い、前記第２の記憶行列保持装
置に保持された記憶行列w02を修正する手段40と、前記
入力パターン変換装置、第２の出力関数演算装置、出力
関数微分演算装置、ターゲツトパターン変換装置及び第
３の記憶行列保持装置に保持された画像を用いて、入力
層−中間層の学習を行い、前記第１の記憶行列保持装置
に保持された記憶行列w01を修正する手段42とを用いて
構成することにより、前記課題を達成したものである。 又、前記第３の記憶行列保持装置22に保持された記憶
行列w12を修正する手段38を、前記第１の出力関数演算
装置、出力関数微分演算装置及びターゲツトパターン変
換装置に保持された画像を続けて読み出すことによつ
て、それらの透過率の乗算を光演算する乗算手段と、該
乗算結果を前記第３の記憶行列保持装置に保持された画
像に加算する手段と、前記第１、第２の出力関数演算装
置及び出力関数微分演算装置に保持された画像を続けて
読み出すことによつて、それらの透過率の乗算を光演算
する乗算手段と、該乗算結果を前記第３の記憶行列保持
装置に保持された画像から減算する手段とを用いて構成
したものである。 又、前記第２の記憶行列保持装置20に保持された記憶
行列w02を修正する手段40を、前記ターゲツトパターン
変換装置、出力関数微分演算装置及び入力パターン変換
装置に保持された画像を続けて読み出すことによつて、
それらの透過率の乗算を光演算する乗算手段と、該乗算
結果を前記第２の記憶行列保持装置に保持された画像に
加算する手段と、前記第１の出力関数演算装置、出力関
数微分演算装置及び入力パターン変換装置に保持された
画像を続けて読み出すことによつて、それらの透過率の
乗算を光演算する乗算手段と、該乗算結果を前記第２の
記憶行列保持装置に保持された画像から減算する手段と
を用いて構成したものである。 又、前記第１の記憶行列保持装置18に保持された記憶
行列w01を修正する手段42を、前記ターゲツトパターン
変換装置及び出力関数微分演算装置に保持された画像を
続けて読み出すことによつて、それらの透過率の乗算を
光演算する第１の乗算手段と、前記第２の出力関数演算
装置及び出力関数微分演算装置に保持された画像を続け
て読み出すことによつて、それらの透過率の乗算を光演
算する第２の乗算手段と、前記第１の乗算手段の出力を
加算し、第２の乗算手段の出力を減算した結果を保持す
る演算結果保持装置と、該演算結果保持装置及び第３の
記憶行列保持装置に保持された画像を続けて読み出すこ
とによつて、それらのアダマール積を光演算する第４の
相関演算手段と、該第４の相関演算手段によつて形成さ
れた画像を局所結像して、部分和を光演算する局所結像
系と、該局所結像系によつて形成された部分和を保持す
る部分和保持装置と、該部分和保持装置、入力パターン
変換装置及び出力関数微分演算装置に保持された画像を
続けて読み出すことによつて、それらのアダマール積を
光演算する第５の相関演算手段と、該演算結果を前記第
１の記憶行列保持装置に保持された画像に加減算する手
段とを用いて構成したものである。 又、前記加減算手段が、加算と減算を分割して、まず
正の部分の演算結果を前記画像に加算し、ついで負の部
分の演算結果を前記画像から減算するようにしたもので
ある。
ステムを、第１図に示す如く、入力パターンｘを多重化
して結像する多重結像系10と、該多重結像された像を保
持する入力パターン変換装置12と、ターゲツトパターン
ｔを多重化して結像する多重結像系14と、該多重結像さ
れた像を保持するターゲツトパターン変換装置16と、入
力パターンｘと中間層出力パターンｕの相関に応じた記
憶行列w01を保持する第１の記憶行列保持装置18と、入
力パターンｘと想起出力パターンｙの相関に応じた記憶
行列w02を保持する第２の記憶行列保持装置20と、中間
層出力パターンｕと想起出力パターンｙの相関に応じた
記憶行列w12を保持する第３の記憶行列保持装置22と、
前記入力パターン変換装置及び第１の記憶行列保持装置
に保持された画像を続けて読み出すことによつて、それ
らのアダマール積を光演算する第１の相関演算手段24
と、該第１の相関演算手段によつて形成された画像を局
所結像して、部分和を光演算する局所結像系26と、該局
所結像された画像に対して出力関数を光演算して中間層
出力パターンｕとする第１の出力関数演算装置28と、前
記入力パターン変換装置及び第２の記憶行列保持装置に
保持された画像を続けて読み出すことによつて、それら
のアダマール積を光演算する第２の相関演算手段30と、
前記第１の出力関数演算装置及び第３の記憶行列保持装
置に保持された画像を続けて読み出すことによつて、そ
れらのアダマール積を光演算する第３の相関演算手段31
と、該第２及び第３の相関演算手段によつて形成された
画像を局所結像して、部分和を光演算する局所結像系32
と、該局所結像された画像に対して出力関数を光演算し
て想起出力パターンｙとする第２の出力関数演算装置34
と、同じく出力関数の微分を光演算する出力関数微分演
算装置36と、前記第１及び第２の出力関数演算装置、出
力関数微分装置及びターゲツトパターンの変換装置に保
持された画像を用いて、中間層−出力層の学習を行い、
前記第３の記憶行列保持装置に保持された記憶行列w12
を修正する手段38と、前記ターゲツトパターン変換装
置、第２の出力関数演算装置、出力関数微分演算装置及
び入力パターン変換装置に保持された画像を用いて、入
力層−出力層の学習を行い、前記第２の記憶行列保持装
置に保持された記憶行列w02を修正する手段40と、前記
入力パターン変換装置、第２の出力関数演算装置、出力
関数微分演算装置、ターゲツトパターン変換装置及び第
３の記憶行列保持装置に保持された画像を用いて、入力
層−中間層の学習を行い、前記第１の記憶行列保持装置
に保持された記憶行列w01を修正する手段42とを用いて
構成することにより、前記課題を達成したものである。 又、前記第３の記憶行列保持装置22に保持された記憶
行列w12を修正する手段38を、前記第１の出力関数演算
装置、出力関数微分演算装置及びターゲツトパターン変
換装置に保持された画像を続けて読み出すことによつ
て、それらの透過率の乗算を光演算する乗算手段と、該
乗算結果を前記第３の記憶行列保持装置に保持された画
像に加算する手段と、前記第１、第２の出力関数演算装
置及び出力関数微分演算装置に保持された画像を続けて
読み出すことによつて、それらの透過率の乗算を光演算
する乗算手段と、該乗算結果を前記第３の記憶行列保持
装置に保持された画像から減算する手段とを用いて構成
したものである。 又、前記第２の記憶行列保持装置20に保持された記憶
行列w02を修正する手段40を、前記ターゲツトパターン
変換装置、出力関数微分演算装置及び入力パターン変換
装置に保持された画像を続けて読み出すことによつて、
それらの透過率の乗算を光演算する乗算手段と、該乗算
結果を前記第２の記憶行列保持装置に保持された画像に
加算する手段と、前記第１の出力関数演算装置、出力関
数微分演算装置及び入力パターン変換装置に保持された
画像を続けて読み出すことによつて、それらの透過率の
乗算を光演算する乗算手段と、該乗算結果を前記第２の
記憶行列保持装置に保持された画像から減算する手段と
を用いて構成したものである。 又、前記第１の記憶行列保持装置18に保持された記憶
行列w01を修正する手段42を、前記ターゲツトパターン
変換装置及び出力関数微分演算装置に保持された画像を
続けて読み出すことによつて、それらの透過率の乗算を
光演算する第１の乗算手段と、前記第２の出力関数演算
装置及び出力関数微分演算装置に保持された画像を続け
て読み出すことによつて、それらの透過率の乗算を光演
算する第２の乗算手段と、前記第１の乗算手段の出力を
加算し、第２の乗算手段の出力を減算した結果を保持す
る演算結果保持装置と、該演算結果保持装置及び第３の
記憶行列保持装置に保持された画像を続けて読み出すこ
とによつて、それらのアダマール積を光演算する第４の
相関演算手段と、該第４の相関演算手段によつて形成さ
れた画像を局所結像して、部分和を光演算する局所結像
系と、該局所結像系によつて形成された部分和を保持す
る部分和保持装置と、該部分和保持装置、入力パターン
変換装置及び出力関数微分演算装置に保持された画像を
続けて読み出すことによつて、それらのアダマール積を
光演算する第５の相関演算手段と、該演算結果を前記第
１の記憶行列保持装置に保持された画像に加減算する手
段とを用いて構成したものである。 又、前記加減算手段が、加算と減算を分割して、まず
正の部分の演算結果を前記画像に加算し、ついで負の部
分の演算結果を前記画像から減算するようにしたもので
ある。
本発明は、例えば第２図に示すような入力層−中間層
−出力層から成る多層（第２図では３層）型ニユーラル
・ネツトワーク・システムを、全光形式で構成したもの
である。出力結果の誤りを逆に入力側に送り、それを元
にして入力信号の重み付け量の変更を繰り返すことによ
つて正解を出力するネツトワークを形成するバツクプロ
パゲーシヨンを始めとするニユーラル・ネツトワーク・
システムは、積和演算、出力関数演算等の単純な演算か
ら構成され、均質性の良い演算であるため光演算に相性
が良く、連想、認識処理を可能とすることができる。本
発明においては、柔軟な処理を実現できる多層ニユーラ
ル・ネツトワーク・システムを、並列性の高い光演算を
用いて全光方式で構成したので、学習及び想起のための
演算時間を大幅に短縮できる。
−出力層から成る多層（第２図では３層）型ニユーラル
・ネツトワーク・システムを、全光形式で構成したもの
である。出力結果の誤りを逆に入力側に送り、それを元
にして入力信号の重み付け量の変更を繰り返すことによ
つて正解を出力するネツトワークを形成するバツクプロ
パゲーシヨンを始めとするニユーラル・ネツトワーク・
システムは、積和演算、出力関数演算等の単純な演算か
ら構成され、均質性の良い演算であるため光演算に相性
が良く、連想、認識処理を可能とすることができる。本
発明においては、柔軟な処理を実現できる多層ニユーラ
ル・ネツトワーク・システムを、並列性の高い光演算を
用いて全光方式で構成したので、学習及び想起のための
演算時間を大幅に短縮できる。
以下図面を参照して、バツクプロパゲーシヨンによつ
て学習が行われる多層ニユーラル・ネツトワーク・シス
テムに適用した、本発明の実施例を詳細に説明する。 本実施例は、第３図に示す如く、前出第１図に示した
多重結像系10を構成するレンズアレイ50と、前記入力パ
ターン変換装置12を構成する入力パターン変換用空間光
変調管（MSLM）52と、前記多重結像系14を構成するレン
ズアレイ54と、前記ターゲツトパターン変換装置16を構
成するターゲツトパターン変換用MSLM56と、前記第１の
記憶行列保持装置18を構成する記憶行列保持用MSLM58
と、前記第２の記憶行列保持装置20を構成する記憶行列
保持用MSLM60と、前記第３の記憶行列保持装置22を構成
する記憶行列保持用MSLM62と、前記第１の相関演算手段
24を構成するレーザ光源64、ハーフミラー66、68、70、
ミラー72、74、76、ハーフミラー78及びミラー80と、前
記局所結像系26を構成するレンズアレイ82と、前記第１
の出力関数演算装置28を構成する出力関数演算用MSLM84
と、前記第２の相関演算手段30を構成する前記レーザ光
源64、ハーフミラー66、68、70、ミラー72、74、76、ハ
ーフミラー78、ミラー86、ハーフミラー88、ミラー90及
びハーフミラー92と、前記第３の相関演算手段31を構成
するレーザ光源96、ハーフミラー98、ミラー100、ハー
フミラー102、106、108及び92と、前記局所結像系32を
構成するレンズアレイ110、111、113と、前記第２の出
力関数演算装置34を構成する出力関数演算用MSLM112
と、前記出力関数微分演算装置を構成する出力関数微分
演算用MSLM114と、前記レンズアレイ110の出力を該MSLM
112と114に振り分けるためのハーフミラー116及び120
と、前記第１の記憶行列修正手段38を構成する前記レー
ザ光源96、ハーフミラー98、ミラー100、ハーフミラー1
02、ミラー122、ハーフミラー124、ミラー126、ハーフ
ミラー128、ハーフミラー130、132、66、ミラー134、13
6、ハーフミラー138及び140と、前記第２の記憶行列修
正手段40を構成する前記レーザ光源96、ミラー143、12
2、ハーフミラー124、ミラー126、ハーフミラー128、13
0、132、68、レーザ光源142及びハーフミラー140と、前
記記憶行列修正手段42を構成する前記レーザ光源96、ミ
ラー143、122、ハーフミラー124、ミラー126、ハーフミ
ラー128、ハーフミラー130、132、66、ミラー134、ハー
フミラー144、δ演算用MSLM146、ハーフミラー138、14
0、ハーフミラー106、108、148、150、152、局所結像用
レンズアレイ154、レーザ光源156、ハーフミラー158、6
8、160、162、部分和保持用MSLM166、ミラー170及びハ
ーフミラー172と、から構成されている。 前記第１の記憶行列修正手段38は、更に詳しくは、前
記第１の出力関数演算用MSLM84、出力関数微分演算用11
4及びターゲツトパターン変換用MSLM56に保持された画
像を続けて読み出すことによつて、それらの透過率の乗
算を光演算する乗算手段を構成する前記レーザ光源96、
ハーフミラー98、ミラー100、ハーフミラー102、ミラー
122、ハーフミラー124、ミラー126、ハーフミラー128及
び130と、該乗算結果を前記第３の記憶行列保持用MSLM6
2に保持された画像に加算する手段を構成するハーフミ
ラー132、66、ミラー134及び136と、前記第１、第２の
出力関数演算用MSLM84、112及び出力関数微分演算用SML
M114に保持された画像を続けて読み出すことによつて、
それらの透過率の乗算を光演算する乗算手段を構成する
前記レーザ光源96、ハーフミラー98、ミラー100、ハー
フミラー102、ミラー122、ハーフミラー124、138、140
及び130と、該乗算結果を前記第３の記憶行列保持用MSL
M62に保持された画像から減算する手段を構成するハー
フミラー132、66ミラー134及び136と、から構成されて
いる。 前記第２の記憶行列修正手段40は、更に詳しくは、前
記ターゲツトパターン変換用MSLM56、出力関数微分演算
用MSLM114及び入力パターン変換用MSLM52に保持された
画像を続けて読み出すことによつて、それらの透過率の
乗算を光演算する乗算手段を構成する前記レーザ光源9
6、ミラー143、122、ハーフミラー124、ミラー126、ハ
ーフミラー128、130、132と、該乗算結果を、前記第２
の記憶行列保持用MSLM60に保持された画像に加算する手
段を構成する前記ハーフミラー68と、前記第１の出力関
数演算用MSLM112、出力関数微分演算用MSLM114及び入力
パターン変換用MSLM52に保持された画像を続けて読み出
すことによつて、それらの透過率の乗算を光演算する乗
算手段を構成する前記レーザ光源142、ハーフミラー14
0、130及び132と、該乗算結果を前記第２の記憶行列保
持用MSLM60に保持された画像から減算する手段を構成す
る前記ハーフミラー68と、から構成されている。 前記第３の記憶行列修正手段42は、更に詳しくは、前
記ターゲツトパターン変換用MSLM56及び出力関数微分演
算用MSLM112に保持された画像を続けて読み出すことに
よつて、それらの透過率の乗算を光演算する第１の乗算
手段を構成する前記レーザ光源96、ミラー143、122、ハ
ーフミラー124、ミラー126、ハーフミラー128及び130
と、前記第２の出力関数演算用MSLM112及び出力関数微
分演算用MSLM114に保持された画像を続けて読み出すこ
とによつて、それらの透過率の乗算を光演算する第２の
乗算手段を構成する前記レーザ光源96、ミラー143、12
2、ハーフミラー124、138、140及び130と、ハーフミラ
ー130、132、66、ミラー134及びハーフミラー144を介し
て入力される前記第１の乗算手段の出力を加算し、第２
の乗算手段の出力を減算した結果δを保持するδ演算用
MSLM146と、該δ演算用MSLM146及び第３の記憶行列保持
用MSLM62に保持された画像を続けて読み出すことによつ
て、それらのアダマール積を光演算する第４の相関演算
手段を構成する前記レーザ光源96、ミラー143、ハーフ
ミラー106、108、148及び150と、該第４の相関演算手段
によつて形成され、ハーフミラー150、ミラー122、ハー
フミラー124、152を介して入力される画像を局所結像し
て、部分和を光演算する局所結像系を構成するレンズア
レイ154と、該レンズアレイ154によつて形成された部分
和を保持する前記部分和保持用MSLM166と、該部分和保
持用MSLM166、入力パターン変換用MSLM52及び出力関数
微分演算用MSLM122に保持された画像を続けて読み出す
ことによつて、それらのアダマール積を光演算する第５
の相関演算手段を構成する前記レーザ光源156及びハー
フミラー130、132、68、160、162と、該演算結果を前記
第１の記憶行列保持用MSLM58に保持された画像に加減算
する手段を構成する前記ハーフミラー162と、から構成
されている。 前記MSLM52、56、58、60、62、84、112、114、146、1
66は、例えば第４図に示す如く、レンズ（例えば50）を
介して入射される入力像を光電子像に変換するための光
電陰極52Aと、該光電陰極52Aから放出される光電子像を
増倍するためのマイクロチヤンネルプレート（MCP）52B
と、該MCP52Bで増倍された光電子を加速するためのメツ
シユ電極52Cと、該メツシユ電極52Cを通過した電子によ
つて、図の左側の電荷蓄積面52Dに電荷パターンが形成
される電気光学結晶52Eとから構成されている。 このMSLM（例えば52）においては、入力像に応じて電
気光学結晶52Eの電荷蓄積面52Dに電荷パターンが形成さ
れ、この電荷パターンに応じて電気光学結晶52Eを横切
る電界が変化し、ポツケルス効果によつて電気光学結晶
52Eの屈折率が変化する。従つて、直線偏向のレーザ光
を電気光学結晶52Eに図の右側から照射すると、電荷蓄
積面52Dからの反射光は、該電気光学結晶52Eの複屈折性
により偏向状態が変化しているので、検光子53を通過さ
せれば、入力像の光強度に対応した光強度を持つ出力像
が得られる。なお、第３図においては、図を簡単にする
ため、偏光板の図示を省略しているが、実際には、１つ
のMSLMに対して１つの偏光板が設けられている。 このMSLMは、インコヒーレント光→コヒーレント光変
換機能や記憶機能に加えて、電荷を適当な条件で制御す
ることにより、加減算機能、実時間閾値動作機能、AND
演算機能等の優れた機能を有しており、この機能を利用
した光連想記憶装置が、例えば、特開昭63−307437、特
開昭64−78491等に開示されている。 このMSLMやレンズアレイを用いることによつて、光演
算における次のような基礎演算を実行することができ
る。 （１）乗算 ２つ以上のMSLMと偏光板を用いて、保持されている画
像を続けて読み出せば、それぞれの透過率の乗算が実行
される。 （２）加算、減算 MSLMに印加する電圧設定により、２次元の加算、減算
を実行することができる。 （３）部分和演算 レンズの集光によつて和が実現できる。従つて、マル
チレンズアレイや回折格子によつて部分和を求めること
ができる。 （４）出力関数演算 出力関数には、第５図に示すようなシグモイド関数
や、第６図に示すような閾値関数等があるが、MSLMは、
管内で閾値操作が可能である。又、MSLMを通常モードで
使用したときの入出力特性はsin2θであるので、この関
数も出力関数として用いることができる。更に、MSLMへ
の印加電圧を制御することによつて、sin2θを基本とし
た任意の関数を得ることができる。 （５）出力関数の微分 バツクプロパゲーシヨン中で行われる出力関数の微分
ｆ′（net）（第７図参照）は、例えば次のようにして
実行することができる。 出力＝sin2（入力）の関係を利用する。 MSLMを通常モードで用いると、入出力特性はsin2の曲
線となる。従つて、MSTLMへの印加電圧を、θがπにな
るように設定することによつて、第７図のような入出力
関係を実現できる。 出力＝入力（１−入力）で表現する。 この表現は、例えば第８図に示すような、２本のMSLM
200、202と、互いに偏光方向が直交するように配置した
２枚の偏光板204、206と、ハーフミラー208、210、21
2、214とを用いた光学系で実現することができる。即
ち、MSLMに入力ｘが書き込まれている場合、偏光板を90
゜回転させると、明暗が逆のパターンとなり、（１−
ｘ）のパターンが取り出させる。従つて、レーザを用い
て（１−ｘ）、ｘを続けて読み出せば、次式の演算が可
能となる。 ｙ＝ｘ（１−ｘ） ここでｙは出力である。 又、第９図に示す如く、上式を実現する光学系を、１
本のMSLM200と、２枚の偏光板204（偏光方向をレーザに
水平とする）、偏光板206（偏光方向をレーザに垂直と
する）と、1/2波長板216と、ハーフミラー212、214、21
8と、ミラー220、222、224とを用いて構成することも可
能である。即ち、レーザから信号成分が１のフラツト
光を入射し、MSLM200に書込まれた信号ｘを読み出
す。読み出された信号ｘは、ハーフミラー212及び
ハーフミラー218で反射され、更に、ミラー224、222で
反射された後、偏光板204によつて（１−ｘ）成分が
強度として取り出され、1/2波長板216によつて偏光方
向が90゜回転される。更に、ミラー220及びハーフ
ミラー212で反射されて、MSLM200に入射される。そし
て、もう一度MSLM200を読み出すことによつて、ｘ
（１−ｘ）の演算が実行され、ハーフミラー214で反
射された後、偏光板206を介して取り出される。 以下実施例の作用を説明する。 今、入力パターンをｘ、中間層出力パターンをｕ、想
起出力パターンをｙ、ターゲツトパターンをｔと置く。
即ち、学習パターンは（x,t）の一対で１つのパターン
を表し、複数の組（x1、t1）、（x2、t2）、・・・
（xn、tn）を学習することにより記憶行列を作り、想起
のときに入力ｘ′を入力すると、学習したパターンx1・
・・xnの中から、相関の強いパターンに対する出力t0が
連想できることになる。 動作は、大きく５つに分けることができる。以下、順
に説明を行う。 中間層出力ｕの想起（第２図の想起１） この想起１の過程は、次式を実現するものである。 ｕ＝ｆ（Σw01・ｘ） …（１） ここで、ｆは出力関数、Σは部分和、w01は、第１の
記憶行列保持用MSLM58に保持される記憶行列、ｘは入力
パターンである。 第10図に示す如く、レーザ光源64から放射されるレー
ザによつて、入力パターン変換用MSLM52及び第１の記憶
行列保持用MSLM58に保持されている画像ｘ、w01を続け
て読み出すことにより、２次元の各点毎のアダマール積
（透過率の乗算）w01・ｘが実現される。この乗算結果
に対して、更に第１の出力関数演算用MSLM84の入側にあ
るレンズアレイ82で部分和Σの演算を行い、出力関数演
算用MSLM84内で出力関数ｆの演算を行つて、中間層出力
パターンｕを得る。 出力ｙの想起（第２図の想起２） この想起２の過程は、次式を実現するものである。 ｙ＝ｆ（Σw02・ｘ＋Σw12・ｕ） …（２） ここで、w02は、前記第２の記憶行列保持用MSLM60に
保持された記憶行列、w12は、前記第３の記憶行列保持
用MSLM62に保持された記憶行列である。 この想起２の過程は、（２）式の右辺第１項と第２項
に分けて光演算を行う。 即ち、まず第11図に示す如く、レーザ光源64から放射
されるレーザにより、入力パターン変換用MSLM52及び第
２の記憶行列保持用MSLM60に保持された画像ｘ、w02を
続けて読み出すことによつて、w02・ｘの演算を行う。
演算結果は、部分和演算用のレンズアレイ110を介して
第２の出力関数演算用MSLM112に到達する。 続いて、第12図に示す如く、レーザ光源96から放射さ
れるレーザにより、第１の出力関数演算用MSLM84及び第
３の記憶行列保持用MSLM62に保持された画像ｕ、w12を
続けて読み出すことによつて、w12・ｕの演算を行う。
演算結果は、やはり部分和演算用のレンズアレイ110を
介して第２の出力関数演算用MSLM112に到達する。 以上のようにして右辺の括弧内の演算が実現され、レ
ンズアレイ110で部分和Σを演算し、第２の出力関数演
算用MSLM112で出力関数ｆを施すことによつて、想起出
力パターンｙを得る。 このとき、出力関数微分演算用MSLM114にも、学習時
に利用するため、第11図に破線で示した如く、出力層へ
の信号の部分和net2を記憶する。 中間層−出力層の学習（第２図の学習１） この学習１は、次式に示す如く、第３の記憶行列保持
用MSLM62に保持された記憶行列w12を修正する過程であ
る。 w12（ｎ＋１）＝w12（ｎ）＋Δw12 …（３） ここで、ｎは学習回数、Δw12は修正項であり、次式
で表わされる。 Δw12＝ηδ2u ＝η｛（ｔ−ｙ）ｆ′（net2）｝ｕ ＝η１・ｔ・ｆ′（net2）ｕ −η２・ｙ・ｆ′（net2）・ｕ …（４） ここでη、η１、η２は学習ゲインである。 この（４）式の演算も、右辺第１項と第２項に分けて
行う。 まず、第13図に示す如く、レーザ光源96から放射され
るレーザを、第１の出力関数演算用MSLM84、ターゲツト
パターン変換用MSLM56、出力関数微分演算用MSLM114に
順次照射して、これらに保持された画像ｕ、ｔ及びｆ′
（net）を続けて読み出すことによつて、透過率の掛け
算ｕ・ｔ・ｆ′（net2）を実現する。この演算結果を、
記憶行列w12が保持された第３の記憶行列保持用MSLM62
に入力して、該MSLM62内で加算を行うことにより、
（３）式の内、（４）式の右辺第１項に対応する部分が
実現される。ここで、学習ゲインη１、η２は、MSLM62
への電圧制御等により実現される。 続けて、第14図に示す如く、レーザ光源96から放射さ
れるレーザを、第１の出力関数演算用MSLM84、第２の出
力関数演算用MSLM112、出力関数微分演算用MSLM114に順
次照射し、これらに保持された画像ｕ、ｙ及びｆ′（ne
t2）を続けて読み出すことによつて、透過率の掛け算ｕ
・ｙ・ｆ′（net2）が実現される。この演算結果を前記
記憶行列保持用MSLM62に入力し、管内で減算を行うこと
により、（３）式の内、（４）式の右辺第２項に対応す
る部分が実現され、結局、（３）式が実現される。 入力層−出力層の学習（第２図の学習２） この学習２の過程では、次式に示す如く、第２の記憶
行列保持用MSLM60に保持された記憶行列w02の修正が行
われる。 w02（ｎ＋１）＝w02（ｎ）＋Δw02 …（５） ここでΔw02は記憶行列w02の修正項で、次式で表わさ
れる。 Δw02＝ηδ2x ＝η｛（ｔ−ｙ）ｆ′（net2）｝ｘ ＝η１・ｔ・ｆ′（net2）・ｘ −η２・ｙ・ｆ′（net2）・ｘ …（６） この学習２の過程においても、（６）式の右辺第１項
と第２項に分けて演算を行う。 即ち、まず第15図に示す如く、レーザ光源96から放射
されるレーザを、ターゲツトパターン変換用MSLM56、出
力関数微分演算用MSLM114及び入力パターン変換用MSLM5
2に順次照射して、これらに保持されている画像ｔ、
ｆ′（net2）及びｘを続けて読み出すことによつて、透
過率の掛け算ｔ・ｆ′（net2）・ｘが実現される。この
演算結果を第２の記憶行列保持用MSLM60に入力すること
によつて、該MSLM60内で加算を行い、（５）式の内、
（６）式の右辺第１項に対応する部分が実現される。 次いで、第16図に示す如く、レーザ光源142から照射
されるレーザを、第２の出力関数演算用MSLM112、出力
関数微分演算用MSLM114、入力パターン変換用MSLM52に
順次照射して、これらに保持された画像ｙ、ｆ′（net
2）及びｘを続けて読み出すことによつて、透過率の掛
け算ｙ・ｆ′（net2）・ｘが実現される。この演算結果
を第２の記憶行列保持用MSLM60に入力し、該MSLM60内で
減算を行うことによつて、（５）式の内、（６）式の右
辺第２項に対応する部分が実現される。 入力層−中間層の学習（第２図の学習３） この学習３の過程は、次式に示す如く、第１の記憶行
列保持用MSLM58に保持された記憶行列w01を修正する過
程である。 w01（ｎ＋１）＝w01（ｎ）＋Δw01 …（７） ここでΔw01は記憶行列w01の修正項で、次式で表わさ
れる。 Δw01＝ηδ1x ＝η（ｔ′（net1）Σδ2w12）ｘ …（８） なお、（８）式の括弧内の値Σδ2w12は正・負の値と
なり、強度信号で正値のみの表現となる光演算ではその
まま実行できない。そこで、次式に示す如く正負に分け
て、正の量をまずMSLMに加算して書込み、負の量を減算
するというように分割して演算を行う。 Δw01＝η１（ｆ′（net1） ＊（Σδ2w12）＋ −η２（ｆ′（net1）（Σδ2w12）− …（９） 即ち、ここでは記憶行列w01の修正信号として、ま
ず、（９）式の右辺第１項を演算して第１の記憶行列保
持用MSLM58に書込み、次いで、同じルートを経た結果を
同じく記憶行列保持用MSLM58から減算することによつ
て、実現する。まずδ２を計算する過程を説明する。 学習１で用いたΔw12の計算過程から、このδ２は次
式で表わされる。 δ２＝（ｔ−ｙ）ｆ′（net2） ＝tf′（net2）−yf′（net2） …（10） これは、第17図及び第18図に示すように、それぞれδ
演算用MSLM146に加算及び減算で書き込まれる。ここでM
SLMは正の値のみ表現のため、演算結果が負の量は零と
なる。即ち、 （tf′（net2）−yf′（net2）） の演算で、δ２として （tf′（net2）−yf′（net2）） の正の量のみが表わされ、 （tf′（net2）−yf′（net2））、 即ち、MSLMへの入力にyf′（net2）を加算し、tf′（ne
t2）を引く場合、 （tf′（net2）−yf′（net2）） の負の量が絶対値（即ち正の光強度）として表わされ
る。 次に、Σδ２・w12の演算を、第19図に示す如く、レ
ーザ光源96から放射されるレーザ光を、第３の記憶行列
保持用MSLM62及び演算用MSLM146に順次照射し、これら
に保持されている画像w12及びδを続けて読み出し、更
にレンズアレイ154で部分和Σをとつて部分和保持用MSL
M166に書き込むことによつて実現する。 又、η１｛ｆ′（net1）Σ（δ2w12）・ｘ｝＋の演算
は、次のようにして行う。即ち、「中間層出力ｕの想
起」に示した経路と同様にして、net1＝Σw01xを計算
し、これを出力関数微分演算用MSLM114に入力して、
ｆ′（net1）を得る。この演算結果ｆ′（net1）は、第
20図に示す如く、レーザ光源142から放射されるレーザ
光を、ハーフミラー66、68、70、ミラー72、74、76、ハ
ーフミラー78、ミラー80、ハーフミラー172、ミラー170
を介して出力関数微分演算用MSLM114に照射して、該MSL
M114に保持しておく。そして、第21図に示す如く、レー
ザ光源156から放射されるレーザ光を、出力関数微分演
算用MSLM114、入力パターン変換用MSLM52及び部分和保
持用MSLM166に順次照射し、これらに保持されている画
像ｆ′（net1）、ｘ及びδw12を続けて読み出すことに
よつて実現できる。 以上の説明は（９）式の右辺第１項、即ち正の値の部
分についてであるが、（９）式の右辺第２項、即ち負の
値の部分についても同様の系路で実現できる。 本実施例においては、多重結像系及び局所結像系をレ
ンズアレイにより構成しているので、構成が簡略であ
る。なお、多重結像系の構成はこれに限定されず、例え
ば回折格子を用いることも可能である。 又、前記実施例においては、入力層、中間層、出力層
の３層とされていたが、層数はこれに限定されず、中間
層が２層以上の多層ニユーラル・ネツトワーク・システ
ムにも対応が可能である。 又、前記実施例においては、バツクプロパゲーシヨン
方式による学習が採用されていたが、本発明の対象とな
る学習方式はこれに限定されない、例えば標本同士を互
いに競合させることにより、標本の中から１つを選択す
るカウンタプロパゲーシヨンや、閾値論理操作（ADALIN
E）の多層化であるMADALINEに対しても対応可能であ
る。 又、前記実施例においては、いずれも、光デバイスと
してMSLMを用いていたが、記憶行列のダイナミツクレン
ジ及び線形性が連想能力に影響するため、特に線形性の
良い２次元アナログ光デバイスが必要である。 従つて、MSLMを用いる場合には、ターゲツトパターン
ｔの設定に際して、複数の信号から形成される入力パタ
ーンｘ（例えば、物体認識システムにおける多種のセン
サからの信号）に対してターゲツトパターンｔを設定す
る場合、各ターゲツトパターンｔの平均値を記憶行列Ｍ
のダイナミツクレンジの平均値に合せて設定することに
より、記憶行列Ｍの飽和を少くし、安定した連想記憶を
行うことが可能である。 又、学習開始時の記憶行列の初期値Ｍ（０）を、記憶
行列Ｍのダイナミツクレンジの中心に持つていくことに
より、記憶行列Ｍの飽和を少なくすることもできる。 又、MSLMは、入力−出力関数特性に、sin2の関係を有
する。しかしながら、学習においては、線形性の高いほ
うが、収束時の歪みが少ないために都合がよい。そこ
で、入力パターン表示用のMSLM及び記憶行列用のMSLMの
動作電圧（電気光学結晶への印加電圧Vb）を、第22図に
示す如く、ダイナミツクレンジを最大とするための通常
の設定電圧である（Vbw1（書込み時）、Vbe1（消去
時））の組合せから、（Vbw2、Vbe2）の組み合せに変更
して、線形性の良い中心部を使用し、線形性の良い入出
力特性を得ることもできる。 なお、光デバイスとしては、前記MSLMのほか、液晶ラ
イトバルブLCLVやBSOの光変調器PROM等を用いることが
可能である。
て学習が行われる多層ニユーラル・ネツトワーク・シス
テムに適用した、本発明の実施例を詳細に説明する。 本実施例は、第３図に示す如く、前出第１図に示した
多重結像系10を構成するレンズアレイ50と、前記入力パ
ターン変換装置12を構成する入力パターン変換用空間光
変調管（MSLM）52と、前記多重結像系14を構成するレン
ズアレイ54と、前記ターゲツトパターン変換装置16を構
成するターゲツトパターン変換用MSLM56と、前記第１の
記憶行列保持装置18を構成する記憶行列保持用MSLM58
と、前記第２の記憶行列保持装置20を構成する記憶行列
保持用MSLM60と、前記第３の記憶行列保持装置22を構成
する記憶行列保持用MSLM62と、前記第１の相関演算手段
24を構成するレーザ光源64、ハーフミラー66、68、70、
ミラー72、74、76、ハーフミラー78及びミラー80と、前
記局所結像系26を構成するレンズアレイ82と、前記第１
の出力関数演算装置28を構成する出力関数演算用MSLM84
と、前記第２の相関演算手段30を構成する前記レーザ光
源64、ハーフミラー66、68、70、ミラー72、74、76、ハ
ーフミラー78、ミラー86、ハーフミラー88、ミラー90及
びハーフミラー92と、前記第３の相関演算手段31を構成
するレーザ光源96、ハーフミラー98、ミラー100、ハー
フミラー102、106、108及び92と、前記局所結像系32を
構成するレンズアレイ110、111、113と、前記第２の出
力関数演算装置34を構成する出力関数演算用MSLM112
と、前記出力関数微分演算装置を構成する出力関数微分
演算用MSLM114と、前記レンズアレイ110の出力を該MSLM
112と114に振り分けるためのハーフミラー116及び120
と、前記第１の記憶行列修正手段38を構成する前記レー
ザ光源96、ハーフミラー98、ミラー100、ハーフミラー1
02、ミラー122、ハーフミラー124、ミラー126、ハーフ
ミラー128、ハーフミラー130、132、66、ミラー134、13
6、ハーフミラー138及び140と、前記第２の記憶行列修
正手段40を構成する前記レーザ光源96、ミラー143、12
2、ハーフミラー124、ミラー126、ハーフミラー128、13
0、132、68、レーザ光源142及びハーフミラー140と、前
記記憶行列修正手段42を構成する前記レーザ光源96、ミ
ラー143、122、ハーフミラー124、ミラー126、ハーフミ
ラー128、ハーフミラー130、132、66、ミラー134、ハー
フミラー144、δ演算用MSLM146、ハーフミラー138、14
0、ハーフミラー106、108、148、150、152、局所結像用
レンズアレイ154、レーザ光源156、ハーフミラー158、6
8、160、162、部分和保持用MSLM166、ミラー170及びハ
ーフミラー172と、から構成されている。 前記第１の記憶行列修正手段38は、更に詳しくは、前
記第１の出力関数演算用MSLM84、出力関数微分演算用11
4及びターゲツトパターン変換用MSLM56に保持された画
像を続けて読み出すことによつて、それらの透過率の乗
算を光演算する乗算手段を構成する前記レーザ光源96、
ハーフミラー98、ミラー100、ハーフミラー102、ミラー
122、ハーフミラー124、ミラー126、ハーフミラー128及
び130と、該乗算結果を前記第３の記憶行列保持用MSLM6
2に保持された画像に加算する手段を構成するハーフミ
ラー132、66、ミラー134及び136と、前記第１、第２の
出力関数演算用MSLM84、112及び出力関数微分演算用SML
M114に保持された画像を続けて読み出すことによつて、
それらの透過率の乗算を光演算する乗算手段を構成する
前記レーザ光源96、ハーフミラー98、ミラー100、ハー
フミラー102、ミラー122、ハーフミラー124、138、140
及び130と、該乗算結果を前記第３の記憶行列保持用MSL
M62に保持された画像から減算する手段を構成するハー
フミラー132、66ミラー134及び136と、から構成されて
いる。 前記第２の記憶行列修正手段40は、更に詳しくは、前
記ターゲツトパターン変換用MSLM56、出力関数微分演算
用MSLM114及び入力パターン変換用MSLM52に保持された
画像を続けて読み出すことによつて、それらの透過率の
乗算を光演算する乗算手段を構成する前記レーザ光源9
6、ミラー143、122、ハーフミラー124、ミラー126、ハ
ーフミラー128、130、132と、該乗算結果を、前記第２
の記憶行列保持用MSLM60に保持された画像に加算する手
段を構成する前記ハーフミラー68と、前記第１の出力関
数演算用MSLM112、出力関数微分演算用MSLM114及び入力
パターン変換用MSLM52に保持された画像を続けて読み出
すことによつて、それらの透過率の乗算を光演算する乗
算手段を構成する前記レーザ光源142、ハーフミラー14
0、130及び132と、該乗算結果を前記第２の記憶行列保
持用MSLM60に保持された画像から減算する手段を構成す
る前記ハーフミラー68と、から構成されている。 前記第３の記憶行列修正手段42は、更に詳しくは、前
記ターゲツトパターン変換用MSLM56及び出力関数微分演
算用MSLM112に保持された画像を続けて読み出すことに
よつて、それらの透過率の乗算を光演算する第１の乗算
手段を構成する前記レーザ光源96、ミラー143、122、ハ
ーフミラー124、ミラー126、ハーフミラー128及び130
と、前記第２の出力関数演算用MSLM112及び出力関数微
分演算用MSLM114に保持された画像を続けて読み出すこ
とによつて、それらの透過率の乗算を光演算する第２の
乗算手段を構成する前記レーザ光源96、ミラー143、12
2、ハーフミラー124、138、140及び130と、ハーフミラ
ー130、132、66、ミラー134及びハーフミラー144を介し
て入力される前記第１の乗算手段の出力を加算し、第２
の乗算手段の出力を減算した結果δを保持するδ演算用
MSLM146と、該δ演算用MSLM146及び第３の記憶行列保持
用MSLM62に保持された画像を続けて読み出すことによつ
て、それらのアダマール積を光演算する第４の相関演算
手段を構成する前記レーザ光源96、ミラー143、ハーフ
ミラー106、108、148及び150と、該第４の相関演算手段
によつて形成され、ハーフミラー150、ミラー122、ハー
フミラー124、152を介して入力される画像を局所結像し
て、部分和を光演算する局所結像系を構成するレンズア
レイ154と、該レンズアレイ154によつて形成された部分
和を保持する前記部分和保持用MSLM166と、該部分和保
持用MSLM166、入力パターン変換用MSLM52及び出力関数
微分演算用MSLM122に保持された画像を続けて読み出す
ことによつて、それらのアダマール積を光演算する第５
の相関演算手段を構成する前記レーザ光源156及びハー
フミラー130、132、68、160、162と、該演算結果を前記
第１の記憶行列保持用MSLM58に保持された画像に加減算
する手段を構成する前記ハーフミラー162と、から構成
されている。 前記MSLM52、56、58、60、62、84、112、114、146、1
66は、例えば第４図に示す如く、レンズ（例えば50）を
介して入射される入力像を光電子像に変換するための光
電陰極52Aと、該光電陰極52Aから放出される光電子像を
増倍するためのマイクロチヤンネルプレート（MCP）52B
と、該MCP52Bで増倍された光電子を加速するためのメツ
シユ電極52Cと、該メツシユ電極52Cを通過した電子によ
つて、図の左側の電荷蓄積面52Dに電荷パターンが形成
される電気光学結晶52Eとから構成されている。 このMSLM（例えば52）においては、入力像に応じて電
気光学結晶52Eの電荷蓄積面52Dに電荷パターンが形成さ
れ、この電荷パターンに応じて電気光学結晶52Eを横切
る電界が変化し、ポツケルス効果によつて電気光学結晶
52Eの屈折率が変化する。従つて、直線偏向のレーザ光
を電気光学結晶52Eに図の右側から照射すると、電荷蓄
積面52Dからの反射光は、該電気光学結晶52Eの複屈折性
により偏向状態が変化しているので、検光子53を通過さ
せれば、入力像の光強度に対応した光強度を持つ出力像
が得られる。なお、第３図においては、図を簡単にする
ため、偏光板の図示を省略しているが、実際には、１つ
のMSLMに対して１つの偏光板が設けられている。 このMSLMは、インコヒーレント光→コヒーレント光変
換機能や記憶機能に加えて、電荷を適当な条件で制御す
ることにより、加減算機能、実時間閾値動作機能、AND
演算機能等の優れた機能を有しており、この機能を利用
した光連想記憶装置が、例えば、特開昭63−307437、特
開昭64−78491等に開示されている。 このMSLMやレンズアレイを用いることによつて、光演
算における次のような基礎演算を実行することができ
る。 （１）乗算 ２つ以上のMSLMと偏光板を用いて、保持されている画
像を続けて読み出せば、それぞれの透過率の乗算が実行
される。 （２）加算、減算 MSLMに印加する電圧設定により、２次元の加算、減算
を実行することができる。 （３）部分和演算 レンズの集光によつて和が実現できる。従つて、マル
チレンズアレイや回折格子によつて部分和を求めること
ができる。 （４）出力関数演算 出力関数には、第５図に示すようなシグモイド関数
や、第６図に示すような閾値関数等があるが、MSLMは、
管内で閾値操作が可能である。又、MSLMを通常モードで
使用したときの入出力特性はsin2θであるので、この関
数も出力関数として用いることができる。更に、MSLMへ
の印加電圧を制御することによつて、sin2θを基本とし
た任意の関数を得ることができる。 （５）出力関数の微分 バツクプロパゲーシヨン中で行われる出力関数の微分
ｆ′（net）（第７図参照）は、例えば次のようにして
実行することができる。 出力＝sin2（入力）の関係を利用する。 MSLMを通常モードで用いると、入出力特性はsin2の曲
線となる。従つて、MSTLMへの印加電圧を、θがπにな
るように設定することによつて、第７図のような入出力
関係を実現できる。 出力＝入力（１−入力）で表現する。 この表現は、例えば第８図に示すような、２本のMSLM
200、202と、互いに偏光方向が直交するように配置した
２枚の偏光板204、206と、ハーフミラー208、210、21
2、214とを用いた光学系で実現することができる。即
ち、MSLMに入力ｘが書き込まれている場合、偏光板を90
゜回転させると、明暗が逆のパターンとなり、（１−
ｘ）のパターンが取り出させる。従つて、レーザを用い
て（１−ｘ）、ｘを続けて読み出せば、次式の演算が可
能となる。 ｙ＝ｘ（１−ｘ） ここでｙは出力である。 又、第９図に示す如く、上式を実現する光学系を、１
本のMSLM200と、２枚の偏光板204（偏光方向をレーザに
水平とする）、偏光板206（偏光方向をレーザに垂直と
する）と、1/2波長板216と、ハーフミラー212、214、21
8と、ミラー220、222、224とを用いて構成することも可
能である。即ち、レーザから信号成分が１のフラツト
光を入射し、MSLM200に書込まれた信号ｘを読み出
す。読み出された信号ｘは、ハーフミラー212及び
ハーフミラー218で反射され、更に、ミラー224、222で
反射された後、偏光板204によつて（１−ｘ）成分が
強度として取り出され、1/2波長板216によつて偏光方
向が90゜回転される。更に、ミラー220及びハーフ
ミラー212で反射されて、MSLM200に入射される。そし
て、もう一度MSLM200を読み出すことによつて、ｘ
（１−ｘ）の演算が実行され、ハーフミラー214で反
射された後、偏光板206を介して取り出される。 以下実施例の作用を説明する。 今、入力パターンをｘ、中間層出力パターンをｕ、想
起出力パターンをｙ、ターゲツトパターンをｔと置く。
即ち、学習パターンは（x,t）の一対で１つのパターン
を表し、複数の組（x1、t1）、（x2、t2）、・・・
（xn、tn）を学習することにより記憶行列を作り、想起
のときに入力ｘ′を入力すると、学習したパターンx1・
・・xnの中から、相関の強いパターンに対する出力t0が
連想できることになる。 動作は、大きく５つに分けることができる。以下、順
に説明を行う。 中間層出力ｕの想起（第２図の想起１） この想起１の過程は、次式を実現するものである。 ｕ＝ｆ（Σw01・ｘ） …（１） ここで、ｆは出力関数、Σは部分和、w01は、第１の
記憶行列保持用MSLM58に保持される記憶行列、ｘは入力
パターンである。 第10図に示す如く、レーザ光源64から放射されるレー
ザによつて、入力パターン変換用MSLM52及び第１の記憶
行列保持用MSLM58に保持されている画像ｘ、w01を続け
て読み出すことにより、２次元の各点毎のアダマール積
（透過率の乗算）w01・ｘが実現される。この乗算結果
に対して、更に第１の出力関数演算用MSLM84の入側にあ
るレンズアレイ82で部分和Σの演算を行い、出力関数演
算用MSLM84内で出力関数ｆの演算を行つて、中間層出力
パターンｕを得る。 出力ｙの想起（第２図の想起２） この想起２の過程は、次式を実現するものである。 ｙ＝ｆ（Σw02・ｘ＋Σw12・ｕ） …（２） ここで、w02は、前記第２の記憶行列保持用MSLM60に
保持された記憶行列、w12は、前記第３の記憶行列保持
用MSLM62に保持された記憶行列である。 この想起２の過程は、（２）式の右辺第１項と第２項
に分けて光演算を行う。 即ち、まず第11図に示す如く、レーザ光源64から放射
されるレーザにより、入力パターン変換用MSLM52及び第
２の記憶行列保持用MSLM60に保持された画像ｘ、w02を
続けて読み出すことによつて、w02・ｘの演算を行う。
演算結果は、部分和演算用のレンズアレイ110を介して
第２の出力関数演算用MSLM112に到達する。 続いて、第12図に示す如く、レーザ光源96から放射さ
れるレーザにより、第１の出力関数演算用MSLM84及び第
３の記憶行列保持用MSLM62に保持された画像ｕ、w12を
続けて読み出すことによつて、w12・ｕの演算を行う。
演算結果は、やはり部分和演算用のレンズアレイ110を
介して第２の出力関数演算用MSLM112に到達する。 以上のようにして右辺の括弧内の演算が実現され、レ
ンズアレイ110で部分和Σを演算し、第２の出力関数演
算用MSLM112で出力関数ｆを施すことによつて、想起出
力パターンｙを得る。 このとき、出力関数微分演算用MSLM114にも、学習時
に利用するため、第11図に破線で示した如く、出力層へ
の信号の部分和net2を記憶する。 中間層−出力層の学習（第２図の学習１） この学習１は、次式に示す如く、第３の記憶行列保持
用MSLM62に保持された記憶行列w12を修正する過程であ
る。 w12（ｎ＋１）＝w12（ｎ）＋Δw12 …（３） ここで、ｎは学習回数、Δw12は修正項であり、次式
で表わされる。 Δw12＝ηδ2u ＝η｛（ｔ−ｙ）ｆ′（net2）｝ｕ ＝η１・ｔ・ｆ′（net2）ｕ −η２・ｙ・ｆ′（net2）・ｕ …（４） ここでη、η１、η２は学習ゲインである。 この（４）式の演算も、右辺第１項と第２項に分けて
行う。 まず、第13図に示す如く、レーザ光源96から放射され
るレーザを、第１の出力関数演算用MSLM84、ターゲツト
パターン変換用MSLM56、出力関数微分演算用MSLM114に
順次照射して、これらに保持された画像ｕ、ｔ及びｆ′
（net）を続けて読み出すことによつて、透過率の掛け
算ｕ・ｔ・ｆ′（net2）を実現する。この演算結果を、
記憶行列w12が保持された第３の記憶行列保持用MSLM62
に入力して、該MSLM62内で加算を行うことにより、
（３）式の内、（４）式の右辺第１項に対応する部分が
実現される。ここで、学習ゲインη１、η２は、MSLM62
への電圧制御等により実現される。 続けて、第14図に示す如く、レーザ光源96から放射さ
れるレーザを、第１の出力関数演算用MSLM84、第２の出
力関数演算用MSLM112、出力関数微分演算用MSLM114に順
次照射し、これらに保持された画像ｕ、ｙ及びｆ′（ne
t2）を続けて読み出すことによつて、透過率の掛け算ｕ
・ｙ・ｆ′（net2）が実現される。この演算結果を前記
記憶行列保持用MSLM62に入力し、管内で減算を行うこと
により、（３）式の内、（４）式の右辺第２項に対応す
る部分が実現され、結局、（３）式が実現される。 入力層−出力層の学習（第２図の学習２） この学習２の過程では、次式に示す如く、第２の記憶
行列保持用MSLM60に保持された記憶行列w02の修正が行
われる。 w02（ｎ＋１）＝w02（ｎ）＋Δw02 …（５） ここでΔw02は記憶行列w02の修正項で、次式で表わさ
れる。 Δw02＝ηδ2x ＝η｛（ｔ−ｙ）ｆ′（net2）｝ｘ ＝η１・ｔ・ｆ′（net2）・ｘ −η２・ｙ・ｆ′（net2）・ｘ …（６） この学習２の過程においても、（６）式の右辺第１項
と第２項に分けて演算を行う。 即ち、まず第15図に示す如く、レーザ光源96から放射
されるレーザを、ターゲツトパターン変換用MSLM56、出
力関数微分演算用MSLM114及び入力パターン変換用MSLM5
2に順次照射して、これらに保持されている画像ｔ、
ｆ′（net2）及びｘを続けて読み出すことによつて、透
過率の掛け算ｔ・ｆ′（net2）・ｘが実現される。この
演算結果を第２の記憶行列保持用MSLM60に入力すること
によつて、該MSLM60内で加算を行い、（５）式の内、
（６）式の右辺第１項に対応する部分が実現される。 次いで、第16図に示す如く、レーザ光源142から照射
されるレーザを、第２の出力関数演算用MSLM112、出力
関数微分演算用MSLM114、入力パターン変換用MSLM52に
順次照射して、これらに保持された画像ｙ、ｆ′（net
2）及びｘを続けて読み出すことによつて、透過率の掛
け算ｙ・ｆ′（net2）・ｘが実現される。この演算結果
を第２の記憶行列保持用MSLM60に入力し、該MSLM60内で
減算を行うことによつて、（５）式の内、（６）式の右
辺第２項に対応する部分が実現される。 入力層−中間層の学習（第２図の学習３） この学習３の過程は、次式に示す如く、第１の記憶行
列保持用MSLM58に保持された記憶行列w01を修正する過
程である。 w01（ｎ＋１）＝w01（ｎ）＋Δw01 …（７） ここでΔw01は記憶行列w01の修正項で、次式で表わさ
れる。 Δw01＝ηδ1x ＝η（ｔ′（net1）Σδ2w12）ｘ …（８） なお、（８）式の括弧内の値Σδ2w12は正・負の値と
なり、強度信号で正値のみの表現となる光演算ではその
まま実行できない。そこで、次式に示す如く正負に分け
て、正の量をまずMSLMに加算して書込み、負の量を減算
するというように分割して演算を行う。 Δw01＝η１（ｆ′（net1） ＊（Σδ2w12）＋ −η２（ｆ′（net1）（Σδ2w12）− …（９） 即ち、ここでは記憶行列w01の修正信号として、ま
ず、（９）式の右辺第１項を演算して第１の記憶行列保
持用MSLM58に書込み、次いで、同じルートを経た結果を
同じく記憶行列保持用MSLM58から減算することによつ
て、実現する。まずδ２を計算する過程を説明する。 学習１で用いたΔw12の計算過程から、このδ２は次
式で表わされる。 δ２＝（ｔ−ｙ）ｆ′（net2） ＝tf′（net2）−yf′（net2） …（10） これは、第17図及び第18図に示すように、それぞれδ
演算用MSLM146に加算及び減算で書き込まれる。ここでM
SLMは正の値のみ表現のため、演算結果が負の量は零と
なる。即ち、 （tf′（net2）−yf′（net2）） の演算で、δ２として （tf′（net2）−yf′（net2）） の正の量のみが表わされ、 （tf′（net2）−yf′（net2））、 即ち、MSLMへの入力にyf′（net2）を加算し、tf′（ne
t2）を引く場合、 （tf′（net2）−yf′（net2）） の負の量が絶対値（即ち正の光強度）として表わされ
る。 次に、Σδ２・w12の演算を、第19図に示す如く、レ
ーザ光源96から放射されるレーザ光を、第３の記憶行列
保持用MSLM62及び演算用MSLM146に順次照射し、これら
に保持されている画像w12及びδを続けて読み出し、更
にレンズアレイ154で部分和Σをとつて部分和保持用MSL
M166に書き込むことによつて実現する。 又、η１｛ｆ′（net1）Σ（δ2w12）・ｘ｝＋の演算
は、次のようにして行う。即ち、「中間層出力ｕの想
起」に示した経路と同様にして、net1＝Σw01xを計算
し、これを出力関数微分演算用MSLM114に入力して、
ｆ′（net1）を得る。この演算結果ｆ′（net1）は、第
20図に示す如く、レーザ光源142から放射されるレーザ
光を、ハーフミラー66、68、70、ミラー72、74、76、ハ
ーフミラー78、ミラー80、ハーフミラー172、ミラー170
を介して出力関数微分演算用MSLM114に照射して、該MSL
M114に保持しておく。そして、第21図に示す如く、レー
ザ光源156から放射されるレーザ光を、出力関数微分演
算用MSLM114、入力パターン変換用MSLM52及び部分和保
持用MSLM166に順次照射し、これらに保持されている画
像ｆ′（net1）、ｘ及びδw12を続けて読み出すことに
よつて実現できる。 以上の説明は（９）式の右辺第１項、即ち正の値の部
分についてであるが、（９）式の右辺第２項、即ち負の
値の部分についても同様の系路で実現できる。 本実施例においては、多重結像系及び局所結像系をレ
ンズアレイにより構成しているので、構成が簡略であ
る。なお、多重結像系の構成はこれに限定されず、例え
ば回折格子を用いることも可能である。 又、前記実施例においては、入力層、中間層、出力層
の３層とされていたが、層数はこれに限定されず、中間
層が２層以上の多層ニユーラル・ネツトワーク・システ
ムにも対応が可能である。 又、前記実施例においては、バツクプロパゲーシヨン
方式による学習が採用されていたが、本発明の対象とな
る学習方式はこれに限定されない、例えば標本同士を互
いに競合させることにより、標本の中から１つを選択す
るカウンタプロパゲーシヨンや、閾値論理操作（ADALIN
E）の多層化であるMADALINEに対しても対応可能であ
る。 又、前記実施例においては、いずれも、光デバイスと
してMSLMを用いていたが、記憶行列のダイナミツクレン
ジ及び線形性が連想能力に影響するため、特に線形性の
良い２次元アナログ光デバイスが必要である。 従つて、MSLMを用いる場合には、ターゲツトパターン
ｔの設定に際して、複数の信号から形成される入力パタ
ーンｘ（例えば、物体認識システムにおける多種のセン
サからの信号）に対してターゲツトパターンｔを設定す
る場合、各ターゲツトパターンｔの平均値を記憶行列Ｍ
のダイナミツクレンジの平均値に合せて設定することに
より、記憶行列Ｍの飽和を少くし、安定した連想記憶を
行うことが可能である。 又、学習開始時の記憶行列の初期値Ｍ（０）を、記憶
行列Ｍのダイナミツクレンジの中心に持つていくことに
より、記憶行列Ｍの飽和を少なくすることもできる。 又、MSLMは、入力−出力関数特性に、sin2の関係を有
する。しかしながら、学習においては、線形性の高いほ
うが、収束時の歪みが少ないために都合がよい。そこ
で、入力パターン表示用のMSLM及び記憶行列用のMSLMの
動作電圧（電気光学結晶への印加電圧Vb）を、第22図に
示す如く、ダイナミツクレンジを最大とするための通常
の設定電圧である（Vbw1（書込み時）、Vbe1（消去
時））の組合せから、（Vbw2、Vbe2）の組み合せに変更
して、線形性の良い中心部を使用し、線形性の良い入出
力特性を得ることもできる。 なお、光デバイスとしては、前記MSLMのほか、液晶ラ
イトバルブLCLVやBSOの光変調器PROM等を用いることが
可能である。
第１図は、本発明の基本的な構成を示すブロツク線図、 第２図は、多層ネツトワークシステムの基本構造を示す
ブロツク線図、 第３図は、本発明の実施例の構成を示す光路図、 第４図は、実施例で用いられている空間光変調器の基本
的な構成を示す断面図、 第５図、第６図は、実施例で用いられている出力関数の
例を示す線図、 第７図は、出力関数の微分波形の例を示す線図、 第８図及び第９図は、出力関数の微分演算を実現する光
学系の例を示す線図、 第10図は、前記実施例における想起１の動作を示す光路
図、 第11図及び第12図は、同じく想起２の動作を示す光路
図、 第13図及び第14図は、同じく学習１の動作を示す光路
図、 第15図及び第16図は、同じく学習２の動作を示す光路
図、 第17図乃至第21図は、同じく学習３の動作を示す光路
図、 第22図は、前記実施例の変形例における、線形性を重視
した空間光変調器の電圧設定例を示す線図である。 10、14……多重結像系、 12……入力パターン変換装置、 16……ターゲツトパターン変換装置、 18、20、22……記憶行列保持装置、 24、30、31……相関演算手段、 26、32……局所結像系、 28、34……出力関数演算装置、 36……出力関数微分演算装置、 38、40、42……記憶行列修正手段、 50、54……多重結像用レンズアレイ、 52……入力パターン変換用空間光変調管（MSLM）、 56……ターゲツトパターン変換用MSLM、 58、60、62……記憶行列保持用MSLM、 82、110、154……局所結像用レンズアレイ、 64、96、142、156……レーザ光源、 84、112……出力関数演算用MSLM、 114……出力関数微分演算用MSLM、 146……δ演算用MSLM、 166……部分和保持用MSLM、 ｘ……入力パターン、 ｕ……中間層出力パターン、 ｙ……想起出力パターン、 ｔ……ターゲツトパターン、 w01、w02、w12……記憶行列、 Δw01、Δw02、Δw12……修正項。
ブロツク線図、 第３図は、本発明の実施例の構成を示す光路図、 第４図は、実施例で用いられている空間光変調器の基本
的な構成を示す断面図、 第５図、第６図は、実施例で用いられている出力関数の
例を示す線図、 第７図は、出力関数の微分波形の例を示す線図、 第８図及び第９図は、出力関数の微分演算を実現する光
学系の例を示す線図、 第10図は、前記実施例における想起１の動作を示す光路
図、 第11図及び第12図は、同じく想起２の動作を示す光路
図、 第13図及び第14図は、同じく学習１の動作を示す光路
図、 第15図及び第16図は、同じく学習２の動作を示す光路
図、 第17図乃至第21図は、同じく学習３の動作を示す光路
図、 第22図は、前記実施例の変形例における、線形性を重視
した空間光変調器の電圧設定例を示す線図である。 10、14……多重結像系、 12……入力パターン変換装置、 16……ターゲツトパターン変換装置、 18、20、22……記憶行列保持装置、 24、30、31……相関演算手段、 26、32……局所結像系、 28、34……出力関数演算装置、 36……出力関数微分演算装置、 38、40、42……記憶行列修正手段、 50、54……多重結像用レンズアレイ、 52……入力パターン変換用空間光変調管（MSLM）、 56……ターゲツトパターン変換用MSLM、 58、60、62……記憶行列保持用MSLM、 82、110、154……局所結像用レンズアレイ、 64、96、142、156……レーザ光源、 84、112……出力関数演算用MSLM、 114……出力関数微分演算用MSLM、 146……δ演算用MSLM、 166……部分和保持用MSLM、 ｘ……入力パターン、 ｕ……中間層出力パターン、 ｙ……想起出力パターン、 ｔ……ターゲツトパターン、 w01、w02、w12……記憶行列、 Δw01、Δw02、Δw12……修正項。
Claims (5)
- 【請求項１】入力パターンを多重化して結像する多重結
像系と、 該多重結像された像を保持する入力パターン変換装置
と、 ターゲツトパターンを多重化して結像する多重結像系
と、 該多重結像された像を保持するターゲツトパターン変換
装置と、 入力パターンと中間層出力パターンの相関に応じた記憶
行列を保持する第１の記憶行列保持装置と、 入力パターンと想起出力パターンの相関に応じた記憶行
列を保持する第２の記憶行列保持装置と、 中間層出力パターンと想起出力パターンの相関に応じた
記憶行列を保持する第３の記憶行列保持装置と、 前記入力パターン変換装置及び第１の記憶行列保持装置
に保持された画像を続けて読み出すことによつて、それ
らのアダマール積を光演算する第１の相関演算手段と、 該第１の相関演算手段によつて形成された画像を局所結
像して、部分和を光演算する局所結像系と、 該局所結像された画像に対して出力関数を光演算して中
間層出力パターンとする第１の出力関数演算装置と、 前記入力パターン変換装置及び第２の記憶行列保持装置
に保持された画像を続けて読み出すことによつて、それ
らのアダマール積を光演算する第２の相関演算手段と、 前記第１の出力関数演算装置及び第３の記憶行列保持装
置に保持された画像を続けて読み出すことによつて、そ
れらのアダマール積を光演算する第３の相関演算手段
と、 該第２及び第３の相関演算手段によつて形成された画像
を局所結像して、部分和を光演算する局所結像系と、 該局所結像された画像に対して出力関数を光演算して想
起出力パターンとする第２の出力関数演算装置と、 同じく出力関数の微分を光演算する出力関数微分演算装
置と、 前記第１及び第２の出力関数演算装置、出力関数微分演
算装置及びターゲツトパターン変換装置に保持された画
像を用いて、中間層−出力層の学習を行い、前記第３の
記憶行列保持装置に保持された記憶行列を修正する手段
と、 前記ターゲツトパターン変換装置、第２の出力関数演算
装置、出力関数微分演算装置及び入力パターン変換装置
に保持された画像を用いて、入力層−出力層の学習を行
い、前記第２の記憶行列保持装置に保持された記憶行列
を修正する手段と、 前記入力パターン変換装置、第２の出力関数演算装置、
出力関数微分演算装置、ターゲツトパターン変換装置及
び第３の記憶行列保持装置に保持された画像を用いて、
入力層−中間層の学習を行い、前記第１の記憶行列保持
装置に保持された記憶行列を修正する手段と、 を含むことを特徴とする全光型多層ニユーラル・ネツト
ワーク・システム。 - 【請求項２】請求項１において、前記第３の記憶行列保
持装置に保持された記憶行列を修正する手段が、 前記第１の出力関数演算装置、出力関数微分演算装置及
びターゲツトパターン変換装置に保持された画像を続け
て読み出すことによつて、それらの透過率の乗算を光演
算する乗算手段と、 該乗算結果を前記第３の記憶行列保持装置に保持された
画像に加算する手段と、 前記第１、第２の出力関数演算装置及び出力関数微分演
算装置に保持された画像を続けて読み出すことによつ
て、それらの透過率の乗算を光演算する乗算手段と、 該乗算結果を前記第３の記憶行列保持装置に保持された
画像から減算する手段と、 からなることを特徴とする全光型多層ニユーラル・ネツ
トワーク・システム。 - 【請求項３】請求項１において、前記第２の記憶行列保
持装置に保持された記憶行列を修正する手段が、 前記ターゲツトパターン変換装置、出力関数微分演算装
置及び入力パターン変換装置に保持された画像を続けて
読み出すことによつて、それらの透過率の乗算を光演算
する乗算手段と、 該乗算結果を前記第２の記憶行列保持装置に保持された
画像に加算する手段と、 前記第１の出力関数演算装置、出力関数微分演算装置及
び入力パターン変換装置に保持された画像を続けて読み
出すことによつて、それらの透過率の乗算を光演算する
乗算手段と、 該乗算結果を前記第２の記憶行列保持装置に保持された
画像から減算する手段と、 からなることを特徴とする全光型多層ニユーラル・ネツ
トワーク・システム。 - 【請求項４】請求項１において、前記第１の記憶行列保
持装置に保持された記憶行列を修正する手段が、 前記ターゲツトパターン変換装置及び出力関数微分演算
装置に保持された画像を続けて読み出すことによつて、
それの透過率の乗算を光演算する第１の乗算手段と、 前記第２の出力関数演算装置及び出力関数微分演算装置
に保持された画像を続けて読み出すことによつて、それ
らの透過率の乗算を光演算する第２の乗算手段と、 前記第１の乗算手段の出力を加算し、第２の乗算手段の
出力を減算した結果を保持する演算結果保持装置と、 該演算結果保持装置及び第３の記憶行列保持装置に保持
された画像を続けて読み出すことによつて、それらのア
ダマール積を光演算する第４の相関演算手段と、 該第４の相関演算手段によつて形成された画像を局所結
像して、部分和を光演算する局所結像系と、 該局所結像系によつて形成された部分和を保持する部分
和保持装置と、 該部分和保持装置、入力パターン変換装置及び出力関数
微分演算装置に保持された画像を続けて読み出すことに
よつて、それらのアダマール積を光演算する第５の相関
演算手段と、 該演算結果を前記第１の記憶行列保持装置に保持された
画像に加減算する手段と、 からなることを特徴とする全光型多層ニユーラル・ネツ
トワーク・システム。 - 【請求項５】請求項４において、前記加減算手段が、加
算と減算を分割して、まず正の部分の演算結果を前記画
像に加算し、ついで負の部分の演算結果を前記画像から
減算するものであることを特徴とする全光型多層ニユー
ラル・ネツトワーク・システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1269718A JP2774331B2 (ja) | 1989-10-17 | 1989-10-17 | 全光型多層ニユーラル・ネツトワーク・システム |
| US07/598,173 US5167007A (en) | 1989-10-17 | 1990-10-12 | Multilayered optical neural network system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1269718A JP2774331B2 (ja) | 1989-10-17 | 1989-10-17 | 全光型多層ニユーラル・ネツトワーク・システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03131827A JPH03131827A (ja) | 1991-06-05 |
| JP2774331B2 true JP2774331B2 (ja) | 1998-07-09 |
Family
ID=17476202
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1269718A Expired - Fee Related JP2774331B2 (ja) | 1989-10-17 | 1989-10-17 | 全光型多層ニユーラル・ネツトワーク・システム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5167007A (ja) |
| JP (1) | JP2774331B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5297232A (en) * | 1991-10-30 | 1994-03-22 | Westinghouse Electric Corp. | Wireless neural network and a wireless neural processing element |
| JP2722906B2 (ja) * | 1991-12-27 | 1998-03-09 | ダイキン工業株式会社 | 未知数量推定方法およびその装置 |
| US5995954A (en) * | 1992-03-18 | 1999-11-30 | Loos; Hendricus G. | Method and apparatus for associative memory |
| US5704015A (en) * | 1992-10-20 | 1997-12-30 | Fuji Photo Film Co., Ltd. | Optical operation element, optical data processing circuit and photoelectric operation element |
| US5664065A (en) * | 1996-06-17 | 1997-09-02 | The United States Of America As Represented By The Secretary Of The Army | Pulse-coupled automatic object recognition system dedicatory clause |
| US11373089B2 (en) * | 2018-02-06 | 2022-06-28 | Massachusetts Institute Of Technology | Serialized electro-optic neural network using optical weights encoding |
| CN109272110A (zh) * | 2018-10-31 | 2019-01-25 | 上海交通大学 | 基于光子神经网络芯片的光电融合智能信号处理系统 |
| US11604978B2 (en) | 2018-11-12 | 2023-03-14 | Massachusetts Institute Of Technology | Large-scale artificial neural-network accelerators based on coherent detection and optical data fan-out |
| KR20200097369A (ko) | 2019-02-07 | 2020-08-19 | 삼성전자주식회사 | 광학 장치 및 이를 포함하는 광신경망 장치 |
| KR20220132301A (ko) * | 2021-03-23 | 2022-09-30 | 삼성전자주식회사 | 신경망 처리 장치를 포함하는 애플리케이션 프로세서, 및 이의 동작 방법 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4815027A (en) * | 1984-04-13 | 1989-03-21 | Canon Kabushiki Kaisha | Optical operation apparatus for effecting parallel signal processing by detecting light transmitted through a filter in the form of a matrix |
| US4862406A (en) * | 1986-01-29 | 1989-08-29 | The United States Of America As Represented By The Secretary Of The Navy | Adaptive associative-processing optical computing architectures |
| JPH0731337B2 (ja) * | 1987-06-10 | 1995-04-10 | 浜松ホトニクス株式会社 | 光学的連想記憶装置 |
| US4837843A (en) * | 1987-06-19 | 1989-06-06 | Hughes Aircraft Company | Hybrid optical and electronic associative memory |
| US4961615A (en) * | 1987-06-19 | 1990-10-09 | Hughes Aircraft Company | Associative memory system with spatial light modulator |
| US4860253A (en) * | 1987-06-19 | 1989-08-22 | Hughes Aircraft Company | Associative memory system with spatial light modulator and feedback for adjustable thresholding and enhancement |
| US5004309A (en) * | 1988-08-18 | 1991-04-02 | Teledyne Brown Engineering | Neural processor with holographic optical paths and nonlinear operating means |
| US4959532A (en) * | 1989-02-16 | 1990-09-25 | Hughes Aircraft Company | Optical neural network and method |
-
1989
- 1989-10-17 JP JP1269718A patent/JP2774331B2/ja not_active Expired - Fee Related
-
1990
- 1990-10-12 US US07/598,173 patent/US5167007A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US5167007A (en) | 1992-11-24 |
| JPH03131827A (ja) | 1991-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Fisher et al. | Optical implementations of associative networks with versatile adaptive learning capabilities | |
| US5121231A (en) | Incoherent/coherent multiplexed holographic recording for photonic interconnections and holographic optical elements | |
| US5080464A (en) | Optical neural network apparatus using primary processing | |
| JP2774331B2 (ja) | 全光型多層ニユーラル・ネツトワーク・システム | |
| US4862406A (en) | Adaptive associative-processing optical computing architectures | |
| EP0411108B1 (en) | Optical neural network and training method | |
| Saxena et al. | Adaptive multilayer optical neural network with optical thresholding | |
| US5068801A (en) | Optical interconnector and highly interconnected, learning neural network incorporating optical interconnector therein | |
| Athale et al. | Compact architectures for adaptive neural nets | |
| JP2843066B2 (ja) | 光―電気ハイブリツド型多層ニユーラル・ネツトワーク・システム | |
| Liu et al. | Optical implementation of terminal-attractor-based associative memory | |
| JP3121148B2 (ja) | 光学情報処理回路 | |
| Sasaki et al. | Dynamic digital photorefractive memory for optoelectronic neural network learning modules | |
| Peterson et al. | An optoelectronic architecture for multilayer learning in a single photorefractive crystal | |
| Owechko et al. | Holographic neurocomputer utilizing laser diode light source | |
| Silveira et al. | Optical finite impulse response neural networks | |
| JP2840128B2 (ja) | 光リアルタイム演算器 | |
| JPH06259157A (ja) | 自己組織化パターン学習システム | |
| JP2889275B2 (ja) | 光学的連想識別装置 | |
| Owechko et al. | An optical neural network based on distributed holographic gratings for ATR | |
| Saxena et al. | Adaptive Multilayer Optical Neural Network Design | |
| Francis et al. | Content-addressable polychromatic neural net using a specially doped LiNbO3 photorefractive crystal | |
| Peterson et al. | Adaptive learning with hidden units using a single photorefractive crystal | |
| da Silveira | Optoelectronic signal processing using finite impulse response neural networks | |
| Downie et al. | Adaptive holographic implementation of a neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |