JP2619575B2

JP2619575B2 - ニューラルネットワーク装置及びその実行方法

Info

Publication number: JP2619575B2
Application number: JP3256520A
Authority: JP
Inventors: 晴義豊田
Original assignee: Hamamatsu Photonics KK
Current assignee: Hamamatsu Photonics KK
Priority date: 1991-10-03
Filing date: 1991-10-03
Publication date: 1997-06-11
Anticipated expiration: 2012-06-11
Also published as: JPH05101025A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、信号処理用のニューラ
ルネットワーク装置及びその実行方法に関するものであ
る。

【０００２】

【従来の技術】光の並列性を用いて、画像についての学
習・連想・想起等のニューラルネットワーク（以下ＮＮ
と略す）の処理を高速に行なわせる光連想記憶装置がい
くつか提案されている。このようなものは、例えば光ア
ソシアトロンに関する特開昭６４−７８４９１（向坂）
で報告され、また、「光アソシアトロン」（石川、別冊
「数理科学」脳と情報、ニューロサイエンス、サイエン
ス社刊、pp.144-148）で報告されている。以上の報告で
は、光演算を用いてＮＮの基本演算が実現できることが
示されている。光ＮＮでは、光の２次元並列性を用いる
ことにより、２次元パターンがそのままの形で高速に処
理できる特徴を持つ。

【０００３】

【発明が解決しようとする課題】しかしながら、ＮＮの
能力（学習、連想等）は、学習方法の選択、学習パラメ
ータの設定、ハードウェア（デバイス）の特性、入力パ
ターンの特性（直交性、ランダム性）等の多くの要素の
影響を受ける。例えば入力パターンの特性に注目した場
合、手書き文字等の実際のパターンの強度の総計（入力
面内の総和＝ON/OFF比＝トータル・アクティビテ
ィ）は均一な値を持っていないため、そのままＮＮに入
力した場合には、正確な連想を行なうことができない。
例えば、“ｗ”という文字と“ｉ”という文字の処理を
比較した場合、“ｗ”の方が総和が大きいため、出力値
が大きくなり誤認しやすい。つまり、総和の異なったパ
ターンを記憶させることは、雑音の原因になる。このこ
とは、例えば甘利による「神経回路網の数理」（産業図
書刊）に示されている。

【０００４】このため、従来のＮＮでは連想等の処理能
力の向上を図ることが容易でなかった。本発明は、この
ような従来技術の欠点を解決することを課題としてい
る。

【０００５】

【課題を解決するための手段】請求項１記載のニューラ
ルネットワーク装置は、学習用の入力信号をトータルア
クティビティが所定範囲内にある複数の２値要素からな
る複数の信号列として学習することによって得られた情
報を、２値要素からなる記憶行列として保存するメモリ
手段と、連想あるいは想起用の入力信号をトータルアク
ティビティが所定範囲内にある複数の２値要素からなる
信号列として、前記メモリ手段に保存されている前記記
憶行列に基づき処理することによって得られた情報を、
トータルアクティビティが所定範囲内にある複数の２値
要素からなる信号列に変換する出力規格化手段とを備え
るニューラルネットワーク装置。また、請求項２記載の
ニューラルネットワーク装置は、請求項１記載のニュー
ラルネットワーク装置の前記メモリ手段が、記憶行列の
保存を光学的に実行し、前記出力規格化手段が、信号列
への変換を光学的に実行することを特徴とする。また、
請求項３記載のニューラルネットワーク装置は、請求項
１記載のニューラルネットワーク装置に、更に、入力信
号の学習、連想あるいは想起のため、この入力信号をト
ータルアクティビティが所定範囲内にある複数の２値要
素からなる規格化信号に規格化し出力する入力規格化手
段を備えることを特徴とする。また、請求項４記載のニ
ューラルネットワーク装置は、請求項３記載のニューラ
ルネットワーク装置に、更に、前記入力規格化手段から
の信号列を用いて学習信号を形成する学習信号演算手段
を備えるとともに、該学習信号演算手段からの複数の学
習信号を積算して２値化することによって得られた記憶
行列をメモリ手段に保存させることを特徴とする。ま
た、請求項５記載のニューラルネットワーク装置は、請
求項４記載のニューラルネットワーク装置の前記学習信
号演算手段が、学習信号の形成を光学的に実行すること
を特徴とする。また、請求項６記載のニューラルネット
ワーク装置は、請求項３記載のニューラルネットワーク
装置に、更に、前記メモリ手段に保存された記憶行列と
前記入力規格化手段からの信号列との積を演算する積演
算手段と、該積演算手段からの出力に出力関数演算を施
す出力関数演算手段とを備えるとともに、該出力関数演
算手からの出力を出力規格化手段に入力することを特徴
とする。また、請求項７記載のニューラルネットワーク
装置は、請求項６記載のニューラルネットワーク装置の
前記積演算手段は、積の演算を光学的に実行し、前記出
力関数演算手段は、出力関数演算を光学的に実行するこ
とを特徴とする。

【０００６】また、請求項８記載のニューラルネットワ
ークの実行方法は、学習用の入力信号をトータルアクテ
ィビティが所定範囲内にある複数の２値要素からなる複
数の信号列として学習することによって得られた情報
を、２値要素からなる記憶行列としてメモリ手段に保存
するステップと、連想あるいは想起用の入力信号をトー
タルアクティビティが所定範囲内にある複数の２値要素
からなる信号列として前記メモリ手段に保存されている
前記記憶行列に基づき処理することによって得られた情
報を、トータルアクティビティが所定範囲内にある複数
の２値要素からなる信号列に変換するステップとを備え
る。

【０００７】

【作用】本発明によれば、トータルアクティビティに関
して規格化された学習用の信号列を学習した情報が２値
要素からなる記憶行列としてメモリ手段に保存されると
ともに、規格化された連想あるいは想起用の信号列を記
憶行列で処理した情報が規格化された信号列として出力
されるので、トータルアクティビティが低く一定に保た
れた信号列をすべて２値的に演算処理することができ、
連想、想起等の処理におけるエラーを減少させることが
でき、処理能力の向上を図ることができる。

【０００８】

【実施例】以下、図１〜図８を参照しつつ、実施例の光
ＮＮ装置及びその実行方法を説明する。

【０００９】図１は実施例のＮＮ装置の基本構成を示す
図である。実施例のＮＮ装置は、本体部分１０と、この
入力段に接続された入力信号規格化装置２０と、本体部
分１０の出力段に接続された出力信号規格化装置３０と
から構成される。入力信号規格化装置２０は、複数の要
素からなるパターン状の入力信号ｘ´を規格化し、その
トータルアクティビティがある範囲内に制御された複数
の要素列から成る（ベクトル状の）規格化信号ｘとして
出力する。出力信号規格化装置３０も、入力信号規格化
装置２０と同様の構成を有し、本体部分１０の処理出力
ｙを規格化して出力信号ｙ´を発生する。なお、トータ
ルアクティビティ（以下ＴＡ略す）とは、信号ｘ、ｙ´
等を構成する２値要素の総計（ON/OFF比）のことをい
う。本体部分１０は、学習信号演算装置１２と、記憶行
列２値化保持装置１４と、ベクトルマトリックス演算装
置１６と、出力関数演算装置１８とを備える。学習信号
演算装置１２は、入力信号規格化装置２０からの規格化
信号ｘを用いて学習信号Ｘを形成する。記憶行列２値化
保持装置１４は、学習信号演算装置１２からの複数の学
習信号Ｘを積算して２値化して記憶行列Ｍを形成すると
ともにこれを保存する。ベクトルマトリックス演算装置
１６は、記憶行列Ｍと入力信号規格化装置２０からの規
格化信号ｘとの積Ｍｘを演算する。出力関数演算装置１
８は、ベクトルマトリックス演算装置１６から出力され
た積Ｍｘに出力関数演算を施して処理出力ｙ＝ｆ（Ｍ
ｘ）を発生する。

【００１０】図１のＮＮ装置の動作を信号の流れに沿っ
て説明する。入力信号ｘ´は、入力信号規格化装置２０
により、スパースな２値パターンからなる規格化信号ｘ
に規格化される。ここで、“スパースな２値パターンへ
の規格化”とは、得られた規格化信号ｘのＴＡを低い一
定値に設定することを意味する。この規格化信号ｘがＮ
Ｎ装置の本体部分１０の入力となる。本体部分１０の動
作は、学習と、連想・想起等の処理とにわけられる。こ
こでは、学習法として相関学習法を用いた場合を例にと
って説明する。

【００１１】相関学習法は、以下の式で表される。

【００１２】Ｍ_n+1＝Ｍ_n＋ｘｘ^T・・・・・・（学習）ｙ＝ｆ（Ｍｘ）・・・・・・・・・（連想）ここで、Ｔは転置行列を表し、ｘｘ^Tは自己相関行列を
表す。また、Ｍの添字ｎは学習の度数を表す。ここで
は、記憶行列Ｍを２値化したものとして扱うので、上式
は以下のように書き直すことができる。

【００１３】Ｍ_n+1＝１｛Ｍ_n＋ｘｘ^T｝・・・（学習）ここで、関数１｛ｚ｝は、ｚ＜ＴＨ（閾値）の条件で０
となり、ｚ＞＝ＴＨの条件で１となる。

【００１４】学習時には、学習用の入力信号ｘ´を入力
信号規格化装置２０で規格化信号ｘに変換する。学習信
号演算装置１２は、規格化信号ｘの自己相関行列ｘｘ^T
を計算し、これを学習信号Ｘとして記憶行列２値化保持
装置１４に出力する。記憶行列２値化保持装置１４は、
学習信号Ｘ＝ｘｘ^Tを記憶行列Ｍ_nに加えるとともに、
これを関数１｛ｚ｝で２値化する。この結果、記憶行列
Ｍ_n+1が更新される。かかる更新はそれぞれの学習パタ
ーンすなわち入力信号ｘ´に対して一度づつ行われる。

【００１５】連想時には、連想あるいは想起用の入力信
号ｘ´を入力信号規格化装置２０で規格化信号ｘに変換
する。ベクトルマトリックス演算装置１６は、記憶行列
Ｍと規格化信号ｘとのベクトルマトリックス演算を実行
する。出力関数演算装置１８は、ベクトルマトリックス
演算の結果に、出力関数ｆの演算を施す。この処理出力
ｙ＝ｆ（Ｍｘ）を出力段の出力信号規格化装置３０に通
すことによって最終結果ｙ´が得られる。

【００１６】以上、相関学習法について説明したが、直
交学習法、BAck-PROPAGATION法等も学習時の演算方式を
変更することで適応させることができる。

【００１７】図２は図１のＮＮ装置を具体化した光ＮＮ
装置の構成図である。ＮＮ装置を以下のように光学部品
で構成した場合、高解像度の２値デバイスであるＦＬＣ
−ＳＬＭがそのまま利用できる点で装置の構成が容易に
なるとともに、演算時のノイズの影響も大幅に削減でき
る。図面中、ＳＬＭは空間光変調器を表し、ＳＮＵは信
号規格化ユニットを表わし、ＨＲはハーフミラーまたは
ミラーを表し、Ｌはレンズまたはシリンドリカルレンズ
を表す。学習時には、入力信号規格化装置２０と、学習
信号演算装置１２と、記憶行列２値化保持装置１４とが
動作する。連想処理時には、入力信号規格化装置２０
と、記憶行列２値化保持装置１４と、ベクトルマトリッ
クス演算装置１６と、出力関数演算装置１８と、出力信
号規格化装置３０とを動作させる。

【００１８】図３は、入力信号規格化装置２０の具体的
作製例を示す。なお、出力信号規格化装置３０も入力信
号規格化装置２０と同様の構成とすることができる。こ
こでは、入力の空間光変調器（ＳＬＭ）として反射型の
空間光変調管（ＭＳＬＭ）２１ａが用いられ、信号分離
器としてハーフミラー２２が用いられている。なお、読
み出しレーザー用のハーフミラー２１ｂはハーフミラー
２２の図面右側に設けることもできる。入力光から分岐
された制御光は、ミラー２３、レンズ２４を介して受光
素子２５に集光され、その光電変換出力はアンプ２６で
増幅されてＭＳＬＭ２１ａに与えられる。ＭＳＬＭは閾
値演算モードで用いることにより任意の閾値レベルでの
画像演算が可能である。ここで、アンプ２６のゲインは
設定値により調整され、ＭＳＬＭ２１ａの閾値レベルが
調整される。なお、レンズ２４、受光素子２５及びアン
プ２６は信号規格化ユニットに対応する。

【００１９】信号分離器は前述のハーフミラー２２の他
にグレーティング、ホログラム素子等によって構成する
こともできる。入力のＳＬＭとしては、閾値機能すなわ
ち２値化機能を持つものを利用する。２値化処理のでき
る空間光変調器としては、ＦＬＣ−ＳＬＭ（強誘電性液
晶−空間光変調器）や、ＭＳＬＭなどがある。ＦＬＣ−
ＳＬＭの場合、制御光を光検出器で電気信号に変え、こ
れによりＦＬＣ−ＳＬＭの駆動電圧を制御することによ
り、２値化する際のしきい値レベルを制御できる。この
とき、規格化のレベルは光検出器のゲインや感度等の動
作条件を設定することによって任意に変更できる。

【００２０】入力信号の規格化を行なう際の、規格化レ
ベルの設定法について簡単に説明する。多値の信号要素
を処理する従来の光ＮＮ装置に使用される光デバイス
は、一般に表現できる値が有限である。つまり、飽和レ
ベルがあり、学習時に記憶行列が飽和レベルに達する
と、学習が進まなくなる。これを回避する方法として、
規格化のレベルを低く抑える方法があり、本実施例はこ
れを用いる光ＮＮ装置である。さらに、この方法によっ
て、連想能力および記憶パターン数が増大する効果が期
待できる。このことは、スパースコーディング法とし
て、甘利により紹介されている。

【００２１】図４は、学習信号演算装置１２の具体的作
製例を示す。学習信号演算装置１２は、一対のシリンド
リカルレンズ１２ａ、１２ｂと、一対のＳＬＭ１２ｃ、
１２ｄと、ローテータ１２ｅとから構成される。規格化
信号ｘに変換された入射光は、ハーフミラーＭＲで一部
分岐されてローテータ１２ｅに入射する。もとの入射光
と９０°回転された入射光とは、ともにシリンドリカル
レンズ１２ａ、１２ｂで直交する方向に拡大されてＳＬ
Ｍ１２ｃ、１２ｄに入射する。各ＳＬＭ１２ｃ、１２ｄ
の出力光は、ハーフミラーＭＲで重ね合わされて自己相
関信号ｘｘ^Tの行列を形成する。

【００２２】図５は、記憶行列２値化保持装置１４の具
体的作製例を示す。図５（ａ）は、第１の作製例を示
し、アナログの光メモリ機能を持ったＳＬＭ１４ａと、
２値化機能を持ったＳＬＭ１４ｂとの組み合わせによっ
て構成される。アナログメモリ用のＳＬＭ１４ａには、
空間光変調管（ＭＳＬＭ）やＤＫＤＰ、ＢＳＯ結晶等を
用いたＳＬＭが利用ができる。また、２値化用のＳＬＭ
１４ｂには、閾値演算機能を持つＭＳＬＭ等が利用でき
る。学習信号となる自己相関行列ｘｘ^Tは、アナログメ
モリ用のＳＬＭ１４ａにアナログ値Σｘｘ^Tとして保存
される。これを２値化用のＳＬＭ１４ｂにて１｛Σｘｘ
^T｝に２値化して保持する。２値化によって得られた記
憶行列Ｍは、アナログ値を用いた記憶行列よりも一般に
情報量が減少するとも考えられるが、以下に説明する実
験結果から、上記のスパースな２値パターンへの規格化
との組み合わせによって、連想光演算の高速性を維持し
たままで、エラーの少ない安定した学習、連想等を実行
できることが分かった。

【００２３】図５（ｂ）は、図５（ａ）の記憶行列２値
化保持装置の変形例を示し、これはアナログメモリ用の
ＭＳＬＭ２１４ａと、２値化用のＴＮ−ＳＬＭ（ツイス
トネマチック結晶ＳＬＭ）２１４ｂとの組み合わせによ
って構成される。まず、シャッターＳ１を開状態としシ
ャッターＳ２を閉状態として、アナログメモリ用のＭＳ
ＬＭ２１４ａにΣｘｘ^Tを蓄積する。その後、シャッタ
ーＳ１を閉状態としシャッターＳ２を開状態として、Ｍ
ＳＬＭ２１４ａに蓄積されたΣｘｘ^TをＴＮ−ＳＬＭ２
１４ｂで２値化し、得られた１｛Σｘｘ^T｝を再びＭＳ
ＬＭ２１４ａに書き込む。

【００２４】図５（ｃ）は、図５（ａ）の記憶行列２値
化保持装置第２の別の変形例を示す。この場合、ＦＬＣ
−ＳＬＭ等の、２値メモリ特性を持ったＳＬＭ３１４を
利用しているので、単一のデバイスで記憶行列の２値化
保持が可能になる。つまり、学習信号となる自己相関行
列ｘｘ^TがこのＳＬＭ３１４に書き込まれると同時に２
値化処理も行われることとなる。

【００２５】図６は、ベクトルマトリックス演算装置１
６の具体的作製例を示す。このベクトルマトリックス演
算装置は、図４の学習信号演算装置１２の一部を利用す
る。規格化信号ｘに変換された連想用の入射光は、シリ
ンドリカルレンズ１２ａとＳＬＭ１２ｃとによって縦方
向に拡大された後、ハーフミラーＭＲで偏向され、さら
にもう一つハーフミラーＭＲで反射されて記憶行列２値
化保持装置の出力面に入射する。この出力面で記憶行列
Ｍと規格化信号ｘとの乗算が行われ、次にシリンドリカ
ルレンズ１６ａによって縮小されて横方向の和が算出さ
れる。つまり、図示のベクトルマトリックス演算装置で
は、記憶行列２値化保持装置の前・後段にシリンドリカ
ルレンズを直交して配置させる構成となっており、これ
によってＭｘの積和演算を行うことができる。

【００２６】出力関数演算装置１８の具体的作製例につ
いては図面を省略する。この出力関数演算装置は、閾値
関数やシグモイド関数に似た単一増加関数の入出力特性
を持ったＳＬＭを用いることにより実現できる。こうし
たＳＬＭとして、例えばＭＳＬＭ、ＦＬＣ−ＳＬＭ等を
利用することができる。

【００２７】以上の説明では、例として入力パターンを
ベクトルそのものとして扱ったが、空間コーディング法
（「光アソシアトロン」、石川、別冊「数理科学」脳と
情報、ニューロサイエンス、サイエンス社刊、pp.144-1
48）を用いることによって、２次元パターンを直接扱う
こともできる。

【００２８】図７および図８は、シュミレーションの実
験結果を示す。図７が記憶行列として２値メモリを用い
た場合を示し、図８が記憶行列として多値メモリを用い
た場合を示す。ここでは、学習方法として既に述べた相
関学習法を用いている。グラフ中のパラメータはＴＡの
設定値（スパース度）を示し、その値を０．０３、０．
０５、０．０７、０．１、０．２と変更した。グラフ中
の横軸はパターン数を示し、グラフ中の縦軸はパターン
を想起したときのエラーを示している。このエラーは、
１つの学習パターンからハミング距離が１０だけ離れた
パターンを２０パターン連想した場合のエラーを表して
いる。つまり、エラーが大きくなるほど連想能力が低い
ことになる。例えば、太線で示したＴＡ＝０．０７の場
合で比較してみると、２値メモリの場合は１７０通りの
パターンまでほとんどエラー無く連想を行えるが、多値
メモリの場合は７０通りのパターンを超えるとエラーが
生じる。このように、記憶行列として２値メモリを使用
することによって、連想能力が大幅に向上していること
が分かる。

【００２９】図９〜図１１は図２の光ＮＮ装置の光学部
品を電気回路に置換して同様のＮＮ装置を構成した例を
示す。電気回路を用いたＮＮ装置では、回路を簡略なも
のとすることができ、演算量の軽減を図ることができ
る。

【００３０】図９は、入力信号規格化装置を構成する電
気回路の一例を示す。この入力信号規格化装置は、入力
信号ｘ´を蓄えるメモリー、閾値演算を行う出力関数演
算装置、その総和を計算するためのカウンタ及び規格値
制御装置からなる。入力信号ｘ´は、クロック信号によ
って順次メモリーから取り出され、出力関数演算装置に
より２値化される。２値化された出力の総和がカウンタ
で計算され、規格値制御装置によりこの総和の値と規格
化したい値との比較が行われる。この結果、出力関数演
算装置の閾値ＴＨが変更され、出力関数演算装置で入力
信号ｘ´が再度規格化される。この操作を出力すなわち
規格化信号ｘの総和が規格値になるまで繰り返す。この
入力信号規格化装置は出力信号規格化装置にもそのまま
流用することができる。

【００３１】図１０は、学習信号演算装置および記憶行
列２値化保持装置を構成する電気回路の一例を示す。こ
の装置は、規格化信号ｘを保持する第１および第２のシ
フトレジスタ、記憶行列を保存するメモリ、アドレスカ
ウンタ等によって構成される。学習時には、規格化信号
ｘを第１および第２のシフトレジスタに入れ、その先頭
ビット同士のアンドをとる。この場合、第１のシフトレ
ジスタのみｎ分周されたクロックでシフトさせれば、ｘ
ｘ^Tの演算が可能になる。この演算結果は１ビット単位
で記憶するメモリに加えられる。

【００３２】図１１は、ベクトルマトリックス演算装置
等を構成する電気回路の一例を示す。この装置は、規格
化信号ｘを保持するシフトレジスタ、カウンタ、アドレ
スカウンタ等によって構成される。想起時には、規格化
信号ｘをシフトレジスタに入れ、規格化信号ｘとメモリ
からの記憶行列Ｍの１ビットづつとのアンドをとり、そ
の結果をｎクロック分だけカウンタにより積算する。こ
の結果を一旦適当なメモリに蓄えるなどした後、出力関
数演算回路で処理し、処理出力ｙを得る。この処理出力
ｙは、図９に示す入力信号規格化装置と同様の出力信号
規格化装置によって規格化され、出力信号ｙ´が発生さ
れる。

【００３３】

【発明の効果】以上のように本発明では、トータルアク
ティビティに関して規格化された信号列を学習した情報
が２値要素からなる記憶行列としてメモリ手段に保存さ
れるとともに、規格化された信号列としての入力を記憶
行列で処理した情報が規格化された信号列として出力さ
れるので、トータルアクティビティが低く一定に保たれ
た信号列をすべて２値的に演算処理することができ、連
想、想起等の処理におけるエラーを減少させることがで
き、処理能力の向上を図ることができる。

【図面の簡単な説明】

【図１】ニューラルネットワーク装置の基本構成図であ
る。

【図２】ニューラルネットワーク装置の具体的構成図で
ある。

【図３】信号規格化装置の構成例を示した図である。

【図４】学習信号演算装置の構成例を示した図である。

【図５】記憶行列２値化保持装置の構成例を示した図で
ある。

【図６】ベクトルマトリックス演算装置の構成例を示し
た図である。

【図７】２値メモリを用いた場合のシュミレーションの
実験結果を示す図である。

【図８】多値メモリを用いた場合のシュミレーションの
実験結果を示す図である。

【図９】電気回路を用いたニューラルネットワーク装置
を構成する入力信号規格化装置の回路図である。

【図１０】電気回路を用いたニューラルネットワーク装
置を構成する記憶行列２値化保持装置等の回路図であ
る。

【図１１】電気回路を用いたニューラルネットワーク装
置を構成するベクトルマトリックス演算装置等の回路図
である。

【符号の説明】

１０…ＮＮ装置の本体部分１２…学習信号演算装置１４…記憶行列２値化保持装置１６…ベクトルマトリックス演算装置１８…出力関数演算装置２０…入力信号規格化装置３０…出力信号規格化装置

フロントページの続き (56)参考文献特開平２−227787（ＪＰ，Ａ) ＩＪＣＮＮＪＵＮＥ 18−22 1989 ＶＯＬＵＭＥＩＩＰＩＩ−465 〜ＩＩ−471 ＫＥＮ−ＩＣＨＩＫＩＴＡＹＡＭＡ，ＨＩＳＡＯＹＯＳＨＩＮＡＧＡ, ＴＳＵＴＯＭＵＨＡＲＡ “ＥＸＰＥＲＩＭＥＮＴＳＯＦＬＥＡＲＮＩＮＧＩＮＯＰＴＩＣＡＬＰＥＲＣＥＰＴＲＯＮ−ＬＩＫＥＡＮＤＭＵＬＴＩＬＡＹＥＲＮＥＵＲＡＬＮＥＴＷＯＲＫＳ”ＯＰＴ．ＬＥＴＴ．ＶＯＬＵＭＥ14，ＮＯ．４Ｐ．202−204 1989 ＨＹＯＡＨＩＮＡＧＡ，ＫＫＩＴＡＹＡＭＡ，ＴＨＡＲＡ “ＡＬＬ− ＯＰＴＩＣＡＬＥＲＲＯＲ−ＳＩＧＮＡＬＧＥＮＥＲＡＴＩＯＮＦＯＲＢＡＣＫＰＲＯＰＡＧＡＴＩＯＮＬＥＡＲＮＩＮＧＩＮＯＰＴＩＣＡＬＭＵＬＴＩＬＡＹＥＲＮＥＵＲＡＬＮＥＴＷＯＲＫＳ" コンピュータ・サイエンス誌Ｂｉｔ臨時増刊ＶＯＬ．21 ＮＯ．11 1989．９甘利俊一・後藤英一編「人工ニューラルシステム」共立出版第148 頁乃至第165頁久間和生「光ニューロシステム」菊地豊彦著「入門ニューロコンピュータ」オーム社（Ｈ２．１．20）第33頁（特に図２・14）及び第53頁乃至第74頁

Claims

(57)【特許請求の範囲】

【請求項１】学習用の入力信号をトータルアクティビ
ティが所定範囲内にある複数の２値要素からなる複数の
信号列として学習することによって得られた情報を、２
値要素からなる記憶行列として保存するメモリ手段と、連想あるいは想起用の入力信号をトータルアクティビテ
ィが所定範囲内にある複数の２値要素からなる信号列と
して、前記メモリ手段に保存されている前記記憶行列に
基づき処理することによって得られた情報を、トータル
アクティビティが所定範囲内にある複数の２値要素から
なる信号列に変換する出力規格化手段と、を備えるニューラルネットワーク装置。
【請求項２】前記メモリ手段は、記憶行列の保存を光
学的に実行し、前記出力規格化手段は、信号列への変換
を光学的に実行することを特徴とする請求項１記載のニ
ューラルネットワーク装置。
【請求項３】入力信号の学習、連想あるいは想起のた
め、この入力信号をトータルアクティビティが所定範囲
内にある複数の２値要素からなる規格化信号に規格化し
出力する入力規格化手段をさらに備えることを特徴とす
る請求項１記載のニューラルネットワーク装置。
【請求項４】前記入力規格化手段からの信号列を用い
て学習信号を形成する学習信号演算手段をさらに備える
とともに、該学習信号演算手段からの複数の学習信号を
積算して２値化することによって得られた記憶行列をメ
モリ手段に保存させることを特徴とする請求項３記載の
ニューラルネットワーク装置。
【請求項５】前記学習信号演算手段は、学習信号の形
成を光学的に実行することを特徴とする請求項４記載の
ニューラルネットワーク装置。
【請求項６】前記メモリ手段に保存された記憶行列と
前記入力規格化手段からの信号列との積を演算する積演
算手段と、該積演算手段からの出力に出力関数演算を施
す出力関数演算手段とをさらに備えるとともに、該出力
関数演算手からの出力を出力規格化手段に入力すること
を特徴とする請求項３記載のニューラルネットワーク装
置。
【請求項７】前記積演算手段は、積の演算を光学的に
実行し、前記出力関数演算手段は、出力関数演算を光学
的に実行することを特徴とする請求項６記載のニューラ
ルネットワーク装置。
【請求項８】学習用の入力信号をトータルアクティビ
ティが所定範囲内にある複数の２値要素からなる複数の
信号列として学習することによって得られた情報を、２
値要素からなる記憶行列としてメモリ手段に保存するス
テップと、連想あるいは想起用の入力信号をトータルアクティビテ
ィが所定範囲内にある複数の２値要素からなる信号列と
して前記メモリ手段に保存されている前記記憶行列に基
づき処理することによって得られた情報を、トータルア
クティビティが所定範囲内にある複数の２値要素からな
る信号列に変換するステップと、を備えるニューラルネットワークの実行方法。