JP2843066B2 - 光―電気ハイブリツド型多層ニユーラル・ネツトワーク・システム - Google Patents
光―電気ハイブリツド型多層ニユーラル・ネツトワーク・システムInfo
- Publication number
- JP2843066B2 JP2843066B2 JP1248334A JP24833489A JP2843066B2 JP 2843066 B2 JP2843066 B2 JP 2843066B2 JP 1248334 A JP1248334 A JP 1248334A JP 24833489 A JP24833489 A JP 24833489A JP 2843066 B2 JP2843066 B2 JP 2843066B2
- Authority
- JP
- Japan
- Prior art keywords
- calculator
- output
- pattern
- input
- intermediate layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Description
本発明は、光−電気ハイブリツド型多層ニユーラル・
ネツトワーク・システムに係り、特に、光の並列性を利
用して、学習及び想起のための演算時間を大幅に短縮す
ることが可能な、光−電気ハイブリツド型の多層ニユー
ラル・ネツトワーク・システムに関するものである。
ネツトワーク・システムに係り、特に、光の並列性を利
用して、学習及び想起のための演算時間を大幅に短縮す
ることが可能な、光−電気ハイブリツド型の多層ニユー
ラル・ネツトワーク・システムに関するものである。
近年、従来のフオン・ノイマン型のコンピユータのア
ーキテクチヤとは違つて、人間の脳の情報処理様式のモ
デルであるニユーラル・ネツトワーク・モデルに基づい
た新しい処理アーキテクチヤを実現しようとする研究が
盛んに行われている。このニユーラル・ネツトワーク・
モデルは、神経細胞モデルを基本単位とする大規模並列
処理モデルであり、情報処理機能を自律的に自己組織可
能である点に特徴がある。 従つて、このニユーラル・ネツトワーク・モデルの構
造を本質的に実現しようとする場合には、演算機構、ネ
ツトワーク、入出力等、全ての処理機構に関して完全並
列処理を行う必要がある。 しかしながら、従来のコンピユータは、逐次処理に基
本をおいており、ニユーラル・ネツトワークの元来持つ
並列性をうまく生かすのが難しいシステムであつた。特
に、ニユーロン数ｎの増加に関しては、計算量がn2で増
大していくことになり、大規模ニユーラル・ネツトワー
クの実現は困難であつた。 一方、前記完全並列処理を実現するべく、原理的に高
い空間的並列性を有する光を情報の媒体として利用する
光演算並びに光接続が注目されている。この光を用いる
方法によれば、大規模並列演算並びに高密度の並列接続
が実現可能であるため、ニユーラル・ネツトワーク・モ
デルの大規模並列性を実現するのに効果的なハードウエ
アとして期待が持たれている。 ニユーラル・ネツトワーク・モデルの中でも、とりわ
け連想記憶モデルは、演算構造が均質な並列性を持つた
め、光演算の特徴を生かして高密度の演算構造を実現で
きる可能性がある。 そこで発明者らは、1988年７月７日に開催された電子
情報通信学会や、特開昭64−78491、63−307437等で、
光アソシアトロンと呼ぶ、学習機能を導入した光連想記
憶システムを提案している。この光アソシアトロンは、
空間光変調管のアナログの並列演算・記憶機能を利用
し、直交学習法を導入することにより、適応性の高い連
想記憶を光演算により実現したものである。又、光アソ
シアトロン以外にも、光の持つ大規模並列性を用いて連
想記憶方式を実現しようとする例は多くみられる（例え
ば特開平１−112225やホツプフイールドモデル）。 ここで、連想記憶方式とは、記憶装置にいくつものパ
ターンを重複させて記憶させておき、必要なパターンの
一部分のみを演算装置に与えることによつて、必要なパ
ターンだけを記憶装置から分離して取り出すことのでき
る一種の検索方式である。この連想記憶方式を採用する
ことによつて、従来のコンピユータが不得手である、曖
昧な入力からの連想処理が実現できると共に、演算時間
の大幅な短縮が可能となる。
ーキテクチヤとは違つて、人間の脳の情報処理様式のモ
デルであるニユーラル・ネツトワーク・モデルに基づい
た新しい処理アーキテクチヤを実現しようとする研究が
盛んに行われている。このニユーラル・ネツトワーク・
モデルは、神経細胞モデルを基本単位とする大規模並列
処理モデルであり、情報処理機能を自律的に自己組織可
能である点に特徴がある。 従つて、このニユーラル・ネツトワーク・モデルの構
造を本質的に実現しようとする場合には、演算機構、ネ
ツトワーク、入出力等、全ての処理機構に関して完全並
列処理を行う必要がある。 しかしながら、従来のコンピユータは、逐次処理に基
本をおいており、ニユーラル・ネツトワークの元来持つ
並列性をうまく生かすのが難しいシステムであつた。特
に、ニユーロン数ｎの増加に関しては、計算量がn2で増
大していくことになり、大規模ニユーラル・ネツトワー
クの実現は困難であつた。 一方、前記完全並列処理を実現するべく、原理的に高
い空間的並列性を有する光を情報の媒体として利用する
光演算並びに光接続が注目されている。この光を用いる
方法によれば、大規模並列演算並びに高密度の並列接続
が実現可能であるため、ニユーラル・ネツトワーク・モ
デルの大規模並列性を実現するのに効果的なハードウエ
アとして期待が持たれている。 ニユーラル・ネツトワーク・モデルの中でも、とりわ
け連想記憶モデルは、演算構造が均質な並列性を持つた
め、光演算の特徴を生かして高密度の演算構造を実現で
きる可能性がある。 そこで発明者らは、1988年７月７日に開催された電子
情報通信学会や、特開昭64−78491、63−307437等で、
光アソシアトロンと呼ぶ、学習機能を導入した光連想記
憶システムを提案している。この光アソシアトロンは、
空間光変調管のアナログの並列演算・記憶機能を利用
し、直交学習法を導入することにより、適応性の高い連
想記憶を光演算により実現したものである。又、光アソ
シアトロン以外にも、光の持つ大規模並列性を用いて連
想記憶方式を実現しようとする例は多くみられる（例え
ば特開平１−112225やホツプフイールドモデル）。 ここで、連想記憶方式とは、記憶装置にいくつものパ
ターンを重複させて記憶させておき、必要なパターンの
一部分のみを演算装置に与えることによつて、必要なパ
ターンだけを記憶装置から分離して取り出すことのでき
る一種の検索方式である。この連想記憶方式を採用する
ことによつて、従来のコンピユータが不得手である、曖
昧な入力からの連想処理が実現できると共に、演算時間
の大幅な短縮が可能となる。
しかしながら、光演算をニユーラル・ネツトワークに
用いた従来のシステムは、いずれも、入力層と出力層が
直結され、中間層が存在しない、１層のニユーラル・ネ
ツトワーク・モデルを実現しているにとどまつていた。
そのため、排他的論理和が処理できない等の限界が指摘
されており、これから、多層のニユーラル・ネツトワー
クへの期待が集つていた。 本発明は、前記従来の課題を考慮してなされたもの
で、光−電気ハイブリツド型の多層ニユーラル・ネツト
ワーク・システムを提供することを課題とする。
用いた従来のシステムは、いずれも、入力層と出力層が
直結され、中間層が存在しない、１層のニユーラル・ネ
ツトワーク・モデルを実現しているにとどまつていた。
そのため、排他的論理和が処理できない等の限界が指摘
されており、これから、多層のニユーラル・ネツトワー
クへの期待が集つていた。 本発明は、前記従来の課題を考慮してなされたもの
で、光−電気ハイブリツド型の多層ニユーラル・ネツト
ワーク・システムを提供することを課題とする。
本発明は、光−電気ハイブリツド型多層ニユーラル・
ネツトワーク・システムを、第１図に示す如く、入力パ
ターンを多重化して表示する第１の入力パターン変換装
置12と、該第１の入力パターン変換装置12及び後出第１
の記憶行列演算器22からの信号のアダマール積を光演算
する第１の相関演算器14と、該第１の相関演算器14出力
の部分和を電気的に並列演算する第１の部分和演算器16
と、該第１の部分和演算器16からの出力に対して出力関
数を施して中間層出力パターンを得る第１の出力関数演
算器18と、該中間層出力パターンと入力パターン及び出
力パターンよりエラー信号を計算する第１のエラー信号
演算器20と、該第１のエラー信号演算器20から表示され
る信号に従い、入力層−中間層用の記憶行列を演算・保
持する第１の記憶行列演算器22と、前記入力パターン及
び中間層出力パターンを多重化して表示する第２の入力
パターン変換装置32と、該第２の入力パターン変換装置
32及び後出第２の記憶行列演算器42からの信号のアダマ
ール積を光演算する第２の相関演算器34と、該第２の相
関演算器34出力の部分和を電気的に並列演算する第２の
部分和演算器36と、該第２の部分和演算器36からの出力
に対して出力関数を施して出力パターンを得る第２の出
力関数演算器38と、該出力パターンと前記入力パターン
を比較してエラー信号を計算する第２のエラー信号演算
器40と、該第２のエラー信号演算器40から表示される信
号に従い、中間層−出力層用の記憶行列を演算・保持す
る第２の記憶行列演算器42とを用いて構成することによ
り、前記課題を達成したものである。
ネツトワーク・システムを、第１図に示す如く、入力パ
ターンを多重化して表示する第１の入力パターン変換装
置12と、該第１の入力パターン変換装置12及び後出第１
の記憶行列演算器22からの信号のアダマール積を光演算
する第１の相関演算器14と、該第１の相関演算器14出力
の部分和を電気的に並列演算する第１の部分和演算器16
と、該第１の部分和演算器16からの出力に対して出力関
数を施して中間層出力パターンを得る第１の出力関数演
算器18と、該中間層出力パターンと入力パターン及び出
力パターンよりエラー信号を計算する第１のエラー信号
演算器20と、該第１のエラー信号演算器20から表示され
る信号に従い、入力層−中間層用の記憶行列を演算・保
持する第１の記憶行列演算器22と、前記入力パターン及
び中間層出力パターンを多重化して表示する第２の入力
パターン変換装置32と、該第２の入力パターン変換装置
32及び後出第２の記憶行列演算器42からの信号のアダマ
ール積を光演算する第２の相関演算器34と、該第２の相
関演算器34出力の部分和を電気的に並列演算する第２の
部分和演算器36と、該第２の部分和演算器36からの出力
に対して出力関数を施して出力パターンを得る第２の出
力関数演算器38と、該出力パターンと前記入力パターン
を比較してエラー信号を計算する第２のエラー信号演算
器40と、該第２のエラー信号演算器40から表示される信
号に従い、中間層−出力層用の記憶行列を演算・保持す
る第２の記憶行列演算器42とを用いて構成することによ
り、前記課題を達成したものである。
本発明は、例えば第２図に示すような入力層−中間層
−出力層から成る多層（第２図では２層）型ニユーラル
・ネツトワーク・システムを、光−電気ハイブリツド形
式で構成したものである。出力結果の誤りを逆に入力側
に送り、それを元にして入力信号の重み付け量の変更を
繰り返すことによつて正解を出力するネツトワークを形
成するバツクプロパゲーシヨンを始めとするニユーラル
・ネツトワーク・システムは、積和演算、出力関数演算
等の単純な演算から構成され、均質性の良い演算である
ため光演算に相性が良く、連想、認識処理を可能とする
ことができる。本発明においては、特に、均質性及び並
列性の高い積の部分の演算を並列的に行う相関演算器1
4、34、54の周辺を光学システムとしたので、効率が良
く、光の並列性を利用することによつて、学習及び想起
のための演算時間を大幅に短縮できる。又、光−電気ハ
イブリツド方式を用いているので、全光方式に比べて構
成が容易である。 特に、光演算に際して、単層の光学系を分割して中間
層用と出力層用に割当てた場合には、簡単な光学系で多
層ニユーラル・ネツトワーク・システムを実現できる。
−出力層から成る多層（第２図では２層）型ニユーラル
・ネツトワーク・システムを、光−電気ハイブリツド形
式で構成したものである。出力結果の誤りを逆に入力側
に送り、それを元にして入力信号の重み付け量の変更を
繰り返すことによつて正解を出力するネツトワークを形
成するバツクプロパゲーシヨンを始めとするニユーラル
・ネツトワーク・システムは、積和演算、出力関数演算
等の単純な演算から構成され、均質性の良い演算である
ため光演算に相性が良く、連想、認識処理を可能とする
ことができる。本発明においては、特に、均質性及び並
列性の高い積の部分の演算を並列的に行う相関演算器1
4、34、54の周辺を光学システムとしたので、効率が良
く、光の並列性を利用することによつて、学習及び想起
のための演算時間を大幅に短縮できる。又、光−電気ハ
イブリツド方式を用いているので、全光方式に比べて構
成が容易である。 特に、光演算に際して、単層の光学系を分割して中間
層用と出力層用に割当てた場合には、簡単な光学系で多
層ニユーラル・ネツトワーク・システムを実現できる。
以下図面を参照して、バツクプロパゲーシヨンによつ
て学習が行われる多層ニユーラル・ネツトワーク・シス
テムに適用した、本発明の実施例を詳細に説明する。 本実施例は、第３図に示す如く、第１図に示した前記
第１の入力パターン変換装置12の一部を構成する発光ダ
イオード（LED）アレイ70、レンズ72及び入力パターン
変換用空間光変調管（MSLM）74と、前記第１の記憶行列
演算器22を構成するLEDアレイ76、レンズ78及び記憶行
列用MSLM80と、前記第１の相関演算器14を構成するレー
ザ光源82、コリメータレンズ84、ハーフミラー86、88、
検光子90、92及びフオトトランジスタ（PTR）アレイ94
と、前記第２の入力パターン変換装置32の一部を構成す
るLEDアレイ100、レンズ102及び入力パターン変換用MSL
M104と、前記第２の記憶行列演算器42を構成するLEDア
レイ106、レンズ108及び記憶行列用MSLM110と、前記第
２の相関演算器34を構成するレーザ光源112、コリメー
タレンズ114、ハーフミラー116、118、検光子120、122
及びPTRアレイ124と、前記第１及び第２の部分和演算器
16、36を構成する並列アナログ電気回路130と、前記第
１及び第２の出力関数演算器18、38、第１及び第２のエ
ラー信号演算器20、40、第１及び第２の記憶行列演算器
22、42の一部、及び、第１及び第２の入力パターン変換
装置13、32の一部（入力パターンの多重化部分）を構成
すると共に、各装置の制御を行うコンピユータ132と、
から構成されている。 前記MSLM74、80、104、110は、例えば第４図に示す如
く、レンズ（例えば72）を介して入射される入力像を光
電子像に変換するための光電陰極74Aと、該光電陰極74A
から放出される光電子像を増倍するためのマイクロチヤ
ンネルプレート（MCP）74Bと、該MCP74Bで増倍された光
電子を加速するためのメツシユ電極74Cと、該メツシユ
電極74Cを通過した電子によつて、図の左側の電荷蓄積
面74Dに電荷パターンが形成される電気光学結晶74Eとか
ら構成されている。 このMSLM（例えば74）においては、入力像に応じて電
気光学結晶74Eの電荷蓄積面74Dに電荷パターンが形成さ
れ、この電荷パターンに応じて電気光学結晶74Eを横切
る電界が変化し、ポツケルス効果によつて電気光学結晶
74Eの屈折率が変化する。従つて、直線偏向のレーザ光
を電気光学結晶74Eに図の右側から照射すると、電荷蓄
積面74Dからの反射光は、該電気光学結晶74Eの複屈折性
により偏向状態が変化しているので、検光子（例えば9
2）を通過させれば、入力像の光強度に対応した光強度
を持つ出力像が得られる。 このMLSMは、インコヒーレント光→コヒーレント光変
換機能や記憶機能に加えて、電荷を適当な条件で制御す
ることにより、加減算機能、実時間閾値動作機能、AND
演算機能等の優れた機能を有しており、この機能を利用
した光連想記憶装置が、例えば、特開昭63−307437、特
開昭64−78491等に開示されている。 前記LEDアレイ70、76、100、106は、それぞれ対応す
るMSLM74、80、104、110の光電陰極74Aに入力パターン
又は記憶行列を書込むためのものである。 又、前記レーザ光源82、114は、それぞれMSLM74と8
0、又はMSLM104と110を並列的に読み出すためのもので
あり、前記PTRアレイ94、124は、その光演算結果を検出
するためのものである。 なお本実施例においては、コンピユータ132で電気的
に多重パターンを形成しているが、多重パターンを形成
する方法はこれに限定されず、例えば、レンズ72、78、
102、108の代わりに回折格子等を用いて、ここで光学的
に多重化することも可能である。 以下、第２図に示した如く、入力層細胞が２、中間層
細胞が２、出力層細胞が２のネツトワークを例にとつ
て、本実施例の作用を説明する。 なお、学習入力パターンを（x0、x1）、中間層出力パ
ターンを（u0、u1）、想起出力パターンを（y1、y2）と
表わしている。 １回の学習は、以下のように、 入力層−中間層の想起 中間層−出力層の想起 中間層−出力層の学習 入力層−中間層の学習 から構成される。 入力層−中間層の想起（第２図の想起１） 第５図（Ａ）に示すような学習入力パターンｘ（x0、
x1）が、コンピユータ132において、第５図（Ｂ）に示
すように多重化されてLEDアレイ70に提示され、入力パ
ターン変換用MSLM74に書込まれる。このとき、記憶行列
用MSLM80には、コンピユータ132の出力に応じて、第５
図（Ｃ）に示すような入力層−中間層間の重みw
01（０）〜w01（３）（学習信号１）を示す記憶行列M01
が提示されている。 想起過程では、まず入力パターン変換用MSLM74に提示
されている入力パターンｘ（x0、x1）と、記憶行列用MS
LM80に提示されている重み（w01（ｉ））を示す記憶行
列M01を、レーザ光源84により光学的に読み出すことに
よつて、第５図（Ｄ）に示す如く、各点毎のアダマール
積が並列的に演算される。従つて、並列アナログ電気回
路130でこれの部分和をとることによつて、次式の演算
を行う。 net0＝w01（０）＊x0＋w01（１）＊x1 …（１） net1＝w01（２）＊x0＋w01（３）＊x1 …（２） 従つて、第５図（Ｅ）に示すような中間層出力ｕは、
次式で表わされる。 u0＝ｆ（net0） …（３） u1＝ｆ（net1） …（４） ここで、ｆは出力関数である。この出力関数ｆは、例
えば第６図に示すようなシグモイド関数や第７図に示す
ような閾値関数とされ、コンピユータ132内で計算され
た結果、中間層出力ｕ（u0、u1）を得ることができる。 中間層−出力層の想起（第２図の想起２） で得られた中間層出力ｕ（u0、u1）は、コンピユー
タ132で多重化された後、LEDアレイ100に送られ、中間
層−出力層についても、と同様の演算が行われる。即
ち、第５図（Ｆ）に示すような中間層出力ｕ及び入力ｘ
が、コンピユータ132によつて多重化され、第５図
（Ｇ）に示すようなパターンがLEDアレイ100に提示され
る。又、記憶行列用MSLM110には、第５図（Ｈ）に示す
ような記憶行列M2（w02、w12）が記憶されている。これ
によつて、次式の演算が行われて、第５図（Ｉ）に示す
ようなPTRアレイ124上のパターンを経て、第５図（Ｊ）
に示すような想起出力ｙ（y0、y1）が得られる。 y0＝ｆ｛w02（０）＊x0＋w02（１） ＊x1＋w12（０）＊u0 ＋w12（１）＊u1｝ …（５） y1＝ｆ｛w02（２）＊x0＋w02（３） ＊x1＋w12（２）＊u0 ＋w12（３）＊u1｝ …（６） 中間層−出力層の学習（第２図の学習１） 学習は、前記想起結果ｙを用いて、バツクプロパゲー
シヨン方式により、最終層（中間層−出力層）の重みか
ら、順に修正を行う。修正パターンは、次式によつて表
わされる。 dw（ｉ）＝ａ＊Δ（ｉ）＊ｙ（ｉ） …（７） ここで、 Δ（ｉ）＝（ｔ（ｉ）−ｙ（ｉ）） ＊ｆ′（net（ｉ）） …（８） ｔ（ｉ）：学習教師パターン ｙ（ｉ）：想起出力パターン a:学習ゲイン このエラー信号演算を前記コンピユータ132内で行
い、LEDアレイ106から修正信号dwを加減することによつ
て、記憶行列用MSLM110に蓄積されている記憶行列M02、
M12の各要素（w02（ｉ）、w12（ｉ））を、次式のよう
に修正する。 w12（ｉ）＝w12（ｉ）＋dw（ｉ） …（９） w02（ｉ）＝w02（ｉ）＋dw（ｉ） …（10） 入力層−中間層の学習（第２の学習２） この入力層−中間層の学習は、次式で表わされる。 dw01（ｉ）＝ａ＊Δ（ｉ）＊ｙ（ｉ） …（11） ここで、 Δ（ｉ）＝ｆ′（net（ｉ）＊（Σ（Δ（ｋ） ＊w12（ｋ））） …（12） Δ（ｋ）：中間層−出力層の修正信号 w12（ｋ）：中間層−出力層の重み これに従つて、と同様にして、記憶行列M01（w
01（ｉ））が修正される。 複数のパターン対｛（x0、x1）−（y0、y1）の一対が
１パターン｝に対して、からを繰返すことによつ
て、バツクプロパゲーシヨン方式の学習が進む。このよ
うにして学習された記憶行列M01を用いることによつ
て、パターン認識や分類等の処理機能を実現することが
できる。 なお前記実施例においては、入力層細胞が２、中間層
細胞が２、出力層細胞が２のネツトワークを例にとつて
説明していたが、層数やそれぞれの層の細胞数が増加し
た場合でも、記憶行列と入力の配置を調和させることに
より、演算速度の増加なしで対応が可能である。 又、前記実施例においては、バツクプロパゲーシヨン
方式による学習が採用されていたが、本発明の対象とな
る学習方式はこれに限定されない。例えば、標本同士を
互いに競合させることにより、標本の中から１つを選択
するカウンタープロパゲーシヨンや、閾値論理操作（AD
ALINE）を複数用いたMADALINEに対しても対応可能であ
る。特に、本実施例においては、エラー信号の演算をコ
ンピユータで行つているので、コンピユータ内での変更
によつて容易に対応できる。 又、前記実施例においては、２次元の光メモリ、光演
算器としてMLSMを用いていたが、記憶行列のダイナミツ
クレンジ及び線形性が連想能力に影響するため、特に線
形性の良い２次元アナログ光デバイスが必要である。 従つて、MLSMを用いる場合には、学習出力パターンｔ
の設定に際して、複数の信号から形成される入力学習パ
ターンｘ（例えば、物体認識システムにおける多種のセ
ンサからの信号）に対して出力パターンｔを設定する場
合、各学習出力パターンｔの平均値を記憶行列Ｍのダイ
ナミツクレンジの平均値に合せて設定することにより、
記憶行列Ｍの飽和を少くすることが可能である。 又、学習開始時の記憶行列の初期値Ｍ（０）を、記憶
行列Ｍのダイナミツクレンジの中心に持つていくことに
より、記憶行列Ｍの飽和を少なくすることもできる。 又、MSLMは、入力−出力関数特性に、sin2の関係を有
する。しかしながら、学習においては、線形性の高いほ
うが、収束時の歪みが少ないために都合がよい。そこ
で、入力パターン表示用のMSLM74、104及び記憶行列用
のMSLM80、110の動作電圧（電気光学結晶への印加電圧V
b）を、第８図に示す如く、ダイナミツクレンジを最大
とするための通常の設定電圧である（Vbw1（消去時）、
Vbe1（書込み時））の組合せから、（Vbw2、Vbe2）の組
み合せに変更して、線形性の良い中心部を使用し、線形
性の良い入出力特性を得ることができる。 なお、光デバイスとしては、前記MSLMの他、液晶ライ
トバルブLCLVやBSO光変調器PROM等を用いることが可能
である。
て学習が行われる多層ニユーラル・ネツトワーク・シス
テムに適用した、本発明の実施例を詳細に説明する。 本実施例は、第３図に示す如く、第１図に示した前記
第１の入力パターン変換装置12の一部を構成する発光ダ
イオード（LED）アレイ70、レンズ72及び入力パターン
変換用空間光変調管（MSLM）74と、前記第１の記憶行列
演算器22を構成するLEDアレイ76、レンズ78及び記憶行
列用MSLM80と、前記第１の相関演算器14を構成するレー
ザ光源82、コリメータレンズ84、ハーフミラー86、88、
検光子90、92及びフオトトランジスタ（PTR）アレイ94
と、前記第２の入力パターン変換装置32の一部を構成す
るLEDアレイ100、レンズ102及び入力パターン変換用MSL
M104と、前記第２の記憶行列演算器42を構成するLEDア
レイ106、レンズ108及び記憶行列用MSLM110と、前記第
２の相関演算器34を構成するレーザ光源112、コリメー
タレンズ114、ハーフミラー116、118、検光子120、122
及びPTRアレイ124と、前記第１及び第２の部分和演算器
16、36を構成する並列アナログ電気回路130と、前記第
１及び第２の出力関数演算器18、38、第１及び第２のエ
ラー信号演算器20、40、第１及び第２の記憶行列演算器
22、42の一部、及び、第１及び第２の入力パターン変換
装置13、32の一部（入力パターンの多重化部分）を構成
すると共に、各装置の制御を行うコンピユータ132と、
から構成されている。 前記MSLM74、80、104、110は、例えば第４図に示す如
く、レンズ（例えば72）を介して入射される入力像を光
電子像に変換するための光電陰極74Aと、該光電陰極74A
から放出される光電子像を増倍するためのマイクロチヤ
ンネルプレート（MCP）74Bと、該MCP74Bで増倍された光
電子を加速するためのメツシユ電極74Cと、該メツシユ
電極74Cを通過した電子によつて、図の左側の電荷蓄積
面74Dに電荷パターンが形成される電気光学結晶74Eとか
ら構成されている。 このMSLM（例えば74）においては、入力像に応じて電
気光学結晶74Eの電荷蓄積面74Dに電荷パターンが形成さ
れ、この電荷パターンに応じて電気光学結晶74Eを横切
る電界が変化し、ポツケルス効果によつて電気光学結晶
74Eの屈折率が変化する。従つて、直線偏向のレーザ光
を電気光学結晶74Eに図の右側から照射すると、電荷蓄
積面74Dからの反射光は、該電気光学結晶74Eの複屈折性
により偏向状態が変化しているので、検光子（例えば9
2）を通過させれば、入力像の光強度に対応した光強度
を持つ出力像が得られる。 このMLSMは、インコヒーレント光→コヒーレント光変
換機能や記憶機能に加えて、電荷を適当な条件で制御す
ることにより、加減算機能、実時間閾値動作機能、AND
演算機能等の優れた機能を有しており、この機能を利用
した光連想記憶装置が、例えば、特開昭63−307437、特
開昭64−78491等に開示されている。 前記LEDアレイ70、76、100、106は、それぞれ対応す
るMSLM74、80、104、110の光電陰極74Aに入力パターン
又は記憶行列を書込むためのものである。 又、前記レーザ光源82、114は、それぞれMSLM74と8
0、又はMSLM104と110を並列的に読み出すためのもので
あり、前記PTRアレイ94、124は、その光演算結果を検出
するためのものである。 なお本実施例においては、コンピユータ132で電気的
に多重パターンを形成しているが、多重パターンを形成
する方法はこれに限定されず、例えば、レンズ72、78、
102、108の代わりに回折格子等を用いて、ここで光学的
に多重化することも可能である。 以下、第２図に示した如く、入力層細胞が２、中間層
細胞が２、出力層細胞が２のネツトワークを例にとつ
て、本実施例の作用を説明する。 なお、学習入力パターンを（x0、x1）、中間層出力パ
ターンを（u0、u1）、想起出力パターンを（y1、y2）と
表わしている。 １回の学習は、以下のように、 入力層−中間層の想起 中間層−出力層の想起 中間層−出力層の学習 入力層−中間層の学習 から構成される。 入力層−中間層の想起（第２図の想起１） 第５図（Ａ）に示すような学習入力パターンｘ（x0、
x1）が、コンピユータ132において、第５図（Ｂ）に示
すように多重化されてLEDアレイ70に提示され、入力パ
ターン変換用MSLM74に書込まれる。このとき、記憶行列
用MSLM80には、コンピユータ132の出力に応じて、第５
図（Ｃ）に示すような入力層−中間層間の重みw
01（０）〜w01（３）（学習信号１）を示す記憶行列M01
が提示されている。 想起過程では、まず入力パターン変換用MSLM74に提示
されている入力パターンｘ（x0、x1）と、記憶行列用MS
LM80に提示されている重み（w01（ｉ））を示す記憶行
列M01を、レーザ光源84により光学的に読み出すことに
よつて、第５図（Ｄ）に示す如く、各点毎のアダマール
積が並列的に演算される。従つて、並列アナログ電気回
路130でこれの部分和をとることによつて、次式の演算
を行う。 net0＝w01（０）＊x0＋w01（１）＊x1 …（１） net1＝w01（２）＊x0＋w01（３）＊x1 …（２） 従つて、第５図（Ｅ）に示すような中間層出力ｕは、
次式で表わされる。 u0＝ｆ（net0） …（３） u1＝ｆ（net1） …（４） ここで、ｆは出力関数である。この出力関数ｆは、例
えば第６図に示すようなシグモイド関数や第７図に示す
ような閾値関数とされ、コンピユータ132内で計算され
た結果、中間層出力ｕ（u0、u1）を得ることができる。 中間層−出力層の想起（第２図の想起２） で得られた中間層出力ｕ（u0、u1）は、コンピユー
タ132で多重化された後、LEDアレイ100に送られ、中間
層−出力層についても、と同様の演算が行われる。即
ち、第５図（Ｆ）に示すような中間層出力ｕ及び入力ｘ
が、コンピユータ132によつて多重化され、第５図
（Ｇ）に示すようなパターンがLEDアレイ100に提示され
る。又、記憶行列用MSLM110には、第５図（Ｈ）に示す
ような記憶行列M2（w02、w12）が記憶されている。これ
によつて、次式の演算が行われて、第５図（Ｉ）に示す
ようなPTRアレイ124上のパターンを経て、第５図（Ｊ）
に示すような想起出力ｙ（y0、y1）が得られる。 y0＝ｆ｛w02（０）＊x0＋w02（１） ＊x1＋w12（０）＊u0 ＋w12（１）＊u1｝ …（５） y1＝ｆ｛w02（２）＊x0＋w02（３） ＊x1＋w12（２）＊u0 ＋w12（３）＊u1｝ …（６） 中間層−出力層の学習（第２図の学習１） 学習は、前記想起結果ｙを用いて、バツクプロパゲー
シヨン方式により、最終層（中間層−出力層）の重みか
ら、順に修正を行う。修正パターンは、次式によつて表
わされる。 dw（ｉ）＝ａ＊Δ（ｉ）＊ｙ（ｉ） …（７） ここで、 Δ（ｉ）＝（ｔ（ｉ）−ｙ（ｉ）） ＊ｆ′（net（ｉ）） …（８） ｔ（ｉ）：学習教師パターン ｙ（ｉ）：想起出力パターン a:学習ゲイン このエラー信号演算を前記コンピユータ132内で行
い、LEDアレイ106から修正信号dwを加減することによつ
て、記憶行列用MSLM110に蓄積されている記憶行列M02、
M12の各要素（w02（ｉ）、w12（ｉ））を、次式のよう
に修正する。 w12（ｉ）＝w12（ｉ）＋dw（ｉ） …（９） w02（ｉ）＝w02（ｉ）＋dw（ｉ） …（10） 入力層−中間層の学習（第２の学習２） この入力層−中間層の学習は、次式で表わされる。 dw01（ｉ）＝ａ＊Δ（ｉ）＊ｙ（ｉ） …（11） ここで、 Δ（ｉ）＝ｆ′（net（ｉ）＊（Σ（Δ（ｋ） ＊w12（ｋ））） …（12） Δ（ｋ）：中間層−出力層の修正信号 w12（ｋ）：中間層−出力層の重み これに従つて、と同様にして、記憶行列M01（w
01（ｉ））が修正される。 複数のパターン対｛（x0、x1）−（y0、y1）の一対が
１パターン｝に対して、からを繰返すことによつ
て、バツクプロパゲーシヨン方式の学習が進む。このよ
うにして学習された記憶行列M01を用いることによつ
て、パターン認識や分類等の処理機能を実現することが
できる。 なお前記実施例においては、入力層細胞が２、中間層
細胞が２、出力層細胞が２のネツトワークを例にとつて
説明していたが、層数やそれぞれの層の細胞数が増加し
た場合でも、記憶行列と入力の配置を調和させることに
より、演算速度の増加なしで対応が可能である。 又、前記実施例においては、バツクプロパゲーシヨン
方式による学習が採用されていたが、本発明の対象とな
る学習方式はこれに限定されない。例えば、標本同士を
互いに競合させることにより、標本の中から１つを選択
するカウンタープロパゲーシヨンや、閾値論理操作（AD
ALINE）を複数用いたMADALINEに対しても対応可能であ
る。特に、本実施例においては、エラー信号の演算をコ
ンピユータで行つているので、コンピユータ内での変更
によつて容易に対応できる。 又、前記実施例においては、２次元の光メモリ、光演
算器としてMLSMを用いていたが、記憶行列のダイナミツ
クレンジ及び線形性が連想能力に影響するため、特に線
形性の良い２次元アナログ光デバイスが必要である。 従つて、MLSMを用いる場合には、学習出力パターンｔ
の設定に際して、複数の信号から形成される入力学習パ
ターンｘ（例えば、物体認識システムにおける多種のセ
ンサからの信号）に対して出力パターンｔを設定する場
合、各学習出力パターンｔの平均値を記憶行列Ｍのダイ
ナミツクレンジの平均値に合せて設定することにより、
記憶行列Ｍの飽和を少くすることが可能である。 又、学習開始時の記憶行列の初期値Ｍ（０）を、記憶
行列Ｍのダイナミツクレンジの中心に持つていくことに
より、記憶行列Ｍの飽和を少なくすることもできる。 又、MSLMは、入力−出力関数特性に、sin2の関係を有
する。しかしながら、学習においては、線形性の高いほ
うが、収束時の歪みが少ないために都合がよい。そこ
で、入力パターン表示用のMSLM74、104及び記憶行列用
のMSLM80、110の動作電圧（電気光学結晶への印加電圧V
b）を、第８図に示す如く、ダイナミツクレンジを最大
とするための通常の設定電圧である（Vbw1（消去時）、
Vbe1（書込み時））の組合せから、（Vbw2、Vbe2）の組
み合せに変更して、線形性の良い中心部を使用し、線形
性の良い入出力特性を得ることができる。 なお、光デバイスとしては、前記MSLMの他、液晶ライ
トバルブLCLVやBSO光変調器PROM等を用いることが可能
である。
第１図は、本発明の基本的な構成を示すブロツク線図、 第２図は、多層ネツトワークシステムの基本構成を示す
ブロツク線図、 第３図は、本発明の第１実施例の構成を示す光路図、 第４図は、第１実施例で用いられている空間光変調器の
基本的な構成を示す断面図、 第５図は、第１実施例の作用を説明するための線図、 第６図、第７図は、第１実施例で用いられている出力関
数の例を示す線図、 第８図は、前記実施例の変形例における、線形性を重視
した空間光変調管の電圧設定例を示す線図である。 12、32……入力パターン変換装置、 14、34……相関演算器、 16、36……部分和演算器、 18、38……出力関数演算器、 20、40……エラー信号演算器、 22、42……記憶行列演算器、 70、76、100、106……発光ダイオード（LED）アレイ、 74、80、104、110……空間光変調管（MSLM）、 82、112……レーザ光源、 94、124……フオトトランジスタ（PTR）アレイ、 130……並列アナログ電気回路、 132……コンピユータ、 ｘ……入力パターン、 ｕ……中間層出力パターン、 ｕ……想起出力パターン、 M01、M02、M12……記憶行列。
ブロツク線図、 第３図は、本発明の第１実施例の構成を示す光路図、 第４図は、第１実施例で用いられている空間光変調器の
基本的な構成を示す断面図、 第５図は、第１実施例の作用を説明するための線図、 第６図、第７図は、第１実施例で用いられている出力関
数の例を示す線図、 第８図は、前記実施例の変形例における、線形性を重視
した空間光変調管の電圧設定例を示す線図である。 12、32……入力パターン変換装置、 14、34……相関演算器、 16、36……部分和演算器、 18、38……出力関数演算器、 20、40……エラー信号演算器、 22、42……記憶行列演算器、 70、76、100、106……発光ダイオード（LED）アレイ、 74、80、104、110……空間光変調管（MSLM）、 82、112……レーザ光源、 94、124……フオトトランジスタ（PTR）アレイ、 130……並列アナログ電気回路、 132……コンピユータ、 ｘ……入力パターン、 ｕ……中間層出力パターン、 ｕ……想起出力パターン、 M01、M02、M12……記憶行列。
Claims (1)
- 【請求項１】入力パターンを多重化して表示する第１の
入力パターン変換装置と、 該第１の入力パターン変換装置及び後出第１の記憶行列
演算器からの信号のアダマール積を光演算する第１の相
関演算器と、 該第１の相関演算器出力の部分和を電気的に並列演算す
る第１の部分和演算器と、 該第１の部分和演算器からの出力に対して出力関数を施
して中間層出力パターンを得る第１の出力関数演算器
と、 該中間層出力パターンと入力パターン及び後出出力パタ
ーンよりエラー信号を計算する第１のエラー信号演算器
と、 該第１のエラー信号演算器から表示される信号に従い、
入力層−中間層用の記憶行列を演算・保持する第１の記
憶行列演算器と、 前記入力パターン及び中間層出力パターンを多重化して
表示する第２の入力パターン変換装置と、 該第２の入力パターン変換装置及び後出第２の記憶行列
演算器からの信号のアダマール積を光演算する第２の相
関演算器と、 該第２の相関演算器出力の部分和を電気的に並列演算す
る第２の部分和演算器と、 該第２の部分和演算器からの出力に対して出力関数を施
して出力パターンを得る第２の出力関数演算器と、 該出力パターンと前記入力パターンを比較してエラー信
号を計算する第２のエラー信号演算器と、 該第２のエラー信号演算器から表示される信号に従い、
中間層−出力層用の記憶行列を演算・保持する第２の記
憶行列演算器と、 を含むことを特徴とする光−電気ハイブリツド型多層ニ
ユーラル・ネツトワーク・システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1248334A JP2843066B2 (ja) | 1989-09-25 | 1989-09-25 | 光―電気ハイブリツド型多層ニユーラル・ネツトワーク・システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1248334A JP2843066B2 (ja) | 1989-09-25 | 1989-09-25 | 光―電気ハイブリツド型多層ニユーラル・ネツトワーク・システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03110614A JPH03110614A (ja) | 1991-05-10 |
| JP2843066B2 true JP2843066B2 (ja) | 1999-01-06 |
Family
ID=17176542
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1248334A Expired - Fee Related JP2843066B2 (ja) | 1989-09-25 | 1989-09-25 | 光―電気ハイブリツド型多層ニユーラル・ネツトワーク・システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2843066B2 (ja) |
-
1989
- 1989-09-25 JP JP1248334A patent/JP2843066B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| 石川 正俊著「学習を導入した光連想システム」電子情報通信学会研究会資料，ＣＰＳＹ８８−１５，ｐ６１〜ｐ６８，１９８８ |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH03110614A (ja) | 1991-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5080464A (en) | Optical neural network apparatus using primary processing | |
| JP3707804B2 (ja) | 光学情報処理装置 | |
| US5129041A (en) | Optical neural network processing element with multiple holographic element interconnects | |
| US5784309A (en) | Optical vector multiplier for neural networks | |
| US5220643A (en) | Monolithic neural network element | |
| Collins et al. | Deformable mirror device spatial light modulators and their applicability to optical neural networks | |
| US4849940A (en) | Optical neural net memory | |
| JPS63502624A (ja) | 光デ−タ処理システム及びマトリックス反転、乗算、及び加算方法 | |
| JP2774331B2 (ja) | 全光型多層ニユーラル・ネツトワーク・システム | |
| US5448749A (en) | Data processing apparatus with optical vector matrix multiplier and peripheral circuits | |
| US5220642A (en) | Optical neurocomputer with dynamic weight matrix | |
| JP2843066B2 (ja) | 光―電気ハイブリツド型多層ニユーラル・ネツトワーク・システム | |
| WO1987004548A1 (en) | Optical analog data processing systems for handling bipolar and complex data | |
| US4972348A (en) | Opto-electric hybrid associative memory | |
| JPH0490015A (ja) | 光ニューロコンピュータ | |
| JPH05233859A (ja) | 光ニューラルネットワークシステム | |
| US4974202A (en) | Optical associative memory employing an autocorrelation matrix | |
| Ishikawa et al. | Experimental studies on adaptive optical associative memory | |
| CATHEY et al. | Optical information processing systems | |
| JPH022537A (ja) | 光学習認識機械 | |
| JP2840128B2 (ja) | 光リアルタイム演算器 | |
| Kyuma et al. | Three Dimensional Optical Interconnection Technology for Massively-Parallel Computing Systems | |
| JP3121148B2 (ja) | 光学情報処理回路 | |
| JPH03108193A (ja) | 光フーリエ変換を用いた２次元画像光連想記憶装置 | |
| JPH0614161B2 (ja) | 光学的演算を実行する方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |