JPH0610824B2 - 光学神経ネットワーク及びその方法 - Google Patents

Description

【発明の詳細な説明】 政府権利 この発明は、空軍局によって与えられた条約 Ｎｏ．Ｆ
４９６２０−Ｃ−００６３を基に、合衆国政府の支援を
受けてなされたものである。合衆国政府はこの発明に関
する幾つかの権利を有する。

発明の背景 発明の利用分野 この発明は光学神経ネットワークに関する。

従来の技術 神経ネットワークは遺伝子工学的処理過程にモデルを形
成することができる、コンピュータ構造である。このモ
デルは多数の非線形コンピュータ要素から構成され、こ
のコンピュータ要素は並列に動作し、遺伝子工学的神経
ネットに類似する層内に配置される。コンピュータ要
素、即ちノード（ｎｏｄｅｓ）は、一般に使用されると
きに適合する重み（ｗｅｉｇｈｓ）を介して接続され、
性能が改善される。神経単位、即ちニューロン（ｎｅｕ
ｒｏｎ）の各出力は相互接続重みを介して他の多くのニ
ューロンに接続することができ、又、この出力はこれら
接続されたニューロンの重み付けされた合計出力の非線
形機能である。この非線形関数は一般にニューロン作動
機能（ｎｅｕｒｏｎ ａｃｔｉｖａｔｉｏｎ ｆｕｎｃ
ｔｉｏｎ）と呼ばれる。神経ネットワークは、会話及び
パターンの認識と分類、焦点平面アレイ（ｆｏｃａｌ
ｐｌａｎｅ ａｒｒａｙ）の非線形性と結合された複合
計画問題（ｃｏｍｐｌｅｘ ｓｃｈｅｄｕｌｉｇ ｐｒ
ｏｂｌｅｎｓ）の補償に関する領域に特定のポテンシャ
ルを有し、それら領域において多くの仮説が並列に実行
され、高いコンピュータ計算レート（ｒａｔｅ）が要求
されるが、現在入手できるシステムの性能は人間の能力
に匹敵しない。

一般的なコンピュータのように、命令によって構成され
るプログラムを順番に実行する代わりに、神経ネットワ
ークは、可変重みを有するリンクによって接続される多
数のコンピュータ要素により構成される大規模な並列ネ
ットワークを用いて、多くの競合する仮説を発展させ
る。神経ネットワークは“教えられる”ことができ、調
節の反復シーケンスによる与えられた入力に応答して、
所望の出力を発生する。この主題に関する一般的な解説
は、リップマン（ｌｉｐｐｍａｎｎ）による“神経ネッ
トのコンピュータ処理に関する解説”（“Ａｎ Ｉｎｔ
ｒｏｄｕｃｔｉｏｎ ｔｏ Ｃｏｍｐｕｔｉｎｇ ｗｉ
ｔｈ Ｎｅｕｒａｌ Ｎｅｔｓ”，ＩＥＥＥ ＡＳＳＰ
Ｍａｇａｚｉｎ，Ａｐｒｉｌ １９８７，ｐａｇｅｓ
４−２２）において解説されている。

神経ネットワークは“教育され（ｔｒａｉｎｅｄ）”、
学習フェーズ（ｌｅａｒｎｉｎｇ ｐｈａｓｅ）の間、
十分多くの例によって示される入力のクラスに対する適
切な応答を示す。これらの例を提供することによって、
学習アルゴリズムの特性に従って調整されるネットワー
クを構成するニューロン間の相互接続を強化することが
できる。優れた学習処理は、以前みられた例、及び既知
のパターンに類似する他の入力が供給されたとき、正確
な応答性を示す教育済みのネットワークを生成する。

多数の神経ネットワークモデルが、関連するメモリ、ス
ーパーバイズされない（ｕｎｓｕｐｅｒｖｉｓｅｄ）パ
ターン分類、パターン認識及びその他の処理のような処
理タスクに関して文書で解説された。これらのモデル
は、相互接続性の程度、及び入力パターンに応答して相
互接続重みを調節する（“学習”）ための方程式におい
て異なる。殆どのモデルは“ヘビアン（Ｈｅｂｂｉａ
ｎ）”学習の幾つかの形式を使用し、このヘビアン学習
において、２つのニューロンを接続する重み内の増加チ
ャージはニューロンの差動レベルの積によって与えられ
る。

光学手段による神経ネットワークの導入についての研究
が最近行われた。大規模な相互接続性、並列性、及び光
学的構造のアナログ的特性は、神経ネットワークモデル
に対する要求に良く合致する。連想メモリを含む一連の
関連する研究において、位相結合ミラー（ＰＣＭｓ）が
ホログラフィック・メモリシステムに使用され、このメ
モリシステムにおいて、情報パターンの対は、一つのパ
ターンの導入が他のパターンのリコール（ｒｅｃａｌ
ｌ）となるように格納される。しかしそのような連想メ
モリは、一般のクラスに属するパターンを認識、例えば
ある例から一般化するように教え込むことができる、さ
らに一般化した神経ネットワークに反するものとして、
特定画像のみを認識することができる。連想メモリ装置
は特許 Ｎｏｓ．４，７３９，４９６、４，７５０，１
５３及び４，７６２，３９７に説明されており、これら
の特許は全て、この発明の譲渡人であるヒューズエアク
ラフト社（Ｈｕｇｈｅｓ Ａｉｒｃｒａｆｔ Ｃｏｍｐ
ａｎｙ）に譲渡されている。

以前、神経ネットワークモデルへの光学ホログラフィッ
クの導入は、光屈折性クリスタル内の単一格子を使用
し、２つのニューロン間の相互接続重みを格納し、入出
力平面内の各画素は一つのニューロンに一致した。２つ
のビーム間には、サン形状のグレーティング（ｇｒａｔ
ｉｎｇ）を形成するためのインターフェースが構成さ
れ、その後光屈折効果によって、読み出しビーム内の位
相シフトを引き起こした。ニューロンの各ペアの間の相
互接続の重み付けは、関連する単一格子の変調深さにコ
ード化された。光学ホログラフィックな方法は次の文献
に示される。サルティス（Ｐｓａｌｔｉｓ）、ユー（Ｙ
ｕ）、グー（Ｇｕ）及びリー（Ｌｅｅ）による“立体ホ
ログラムが導入される光学神経ネット”（“Ｏｐｔｉｃ
ａｌ Ｎｅｕｒａｌ Ｎｅｔｓ Ｉｍｐｌｅｍｅｎｔｅ
ｄ ｗｉｔｈ ｖｏｌｕｍｅ Ｈｏｌｏｇｒａｍｓ”、
Ｌａｋｅ Ｔａｈｏｅ Ｍｅｅｔｉｎｇ １９８７、ｐ
ａｇｅｓ １２９−１３２；サルティス、ブラディ（Ｂ
ｒａｄｙ）及びワグナー（Ｗａｇｎｅｒ）による“光屈
折性クリスタルを用いた適合性光学ネットワーク”（Ａ
ｄａｐｔｉｖｅ ＯＰＴＩＣＡＬ Ｎｅｔｗｏｒｋｓ
Ｕｓｉｎｇ Ｐｈｏｔｏｒｅｆｒａｃｔｉｖｅ Ｃｒｙ
ｓｔａｌｓ”，Ａｐｐｌｉｅｄ Ｏｐｔｉｃｓ，Ｖｏ
ｌ．２７，Ｎｏ．９，１ Ｍａｙ １９８８，ｐａｇｅ
ｓ１７５２−１７５９）；ワグナー及びサルディスによ
る“多層光学学習ネットワーク”（“Ｍｕｌｔｉ−Ｌａ
ｙｅｒ ＯＰＴＩＣＡＬ Ｌｅａｒｎｉｎｇ Ｎｅｔｗ
ｏｒｋｓ”，Ａｐｐｌｉｅｄ Ｏｐｔｉｃｓ，Ｖｏｌ．
２６，Ｎｏ．２３，１ Ｄｅｃｅｎｂｅｒ １９８７
ｐａｇｅｓ ５０６１−５０７６；オーウィッコー（Ｏ
ｗｅｃｈｋｏ）による”光電気的共振器神経ネットワー
ク”（“Ｏｐｔｏｅｌｅｃｔｒｏｎｉｃ Ｒｅｓｏｎａ
ｔｏｒ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ”，Ａｐｐｌ
ｉｅｄ Ｏｐｔｉｃｓ，Ｖｏｌ．２６，Ｎｏ．２３，１
Ｄｅｃｅｍｂｅｒ １９８７，ｐａｇｅｓ ５１０４
−５１１０；及びオーウィッコー、ソファー（Ｓｏｆｆ
ｅｒ）及びダンニングによる”ホログラフィックに接続
された画像処理装置に基づく光電気的神経ネットワーク
（“Ｏｐｔｏｅｌｅｃｔｒｏｎｉｃ Ｎｅｕｒａｌ Ｎ
ｅｔｗｏｒｋｓ”，ＳＰＩＥ Ｖｏｌ．８８２，１９８
８，ｐａｇｅｓ １４３−１５３）。

最後の２つの文献は、光電気的非線形ホログラフィック
な連想メモリを説明しており、この連想メモリは４波ミ
キシング（ｆｏｕｒ−ｗａｖｅ ｍｉｘｉｎｇ）によっ
て形成される位相結合共振器内に置かれるホログラムに
よって構成される。ホログムストレージ機構から分離す
るＰＣＭは位相結合及び光学経路を提供する。

２つのニューロン間の相互接続重みを格納するために、
光屈折性位相結合クリスタル内に単一格子を、開示され
るように使用することは、グレーティングからの角度的
選択的屈折に関するブラッグ条件（Ｂｒａｇｇ ｃｏｎ
ｄｉｔｉｏｎ）に依存し、ニューロン間のクロストーク
（ｃｒｏｓｓ−ｔａｌｋ）を避けることができる。しか
し、ブラッグ条件の角度的衰退によって、ニューロンの
絶縁は不完全であり、神経ネットワークの正しい動作を
妨げるクロストークが発生する。このクロストークを避
けるために、ニューロンは入出力平面の特定なパターン
内に配置されなければならない。これによって、入力画
像を表すのに用いられる空間光変調器（ＳＬＭｓ：ｓｐ
ａｔｉａｌ ｌｉｇｈｔ ｍｏｄｕｌａｔｏｒｓ）から
得ることができる総合出力を不適切に使用し、及びＳＬ
Ｍｓを不完全に使用することになる。特に、ＳＬＭｓが
Ｎ×Ｎ画素を表示できる場合、開示された方法はＮ^3/2
ニューロン及びＮ^３相互接続のみを格納することができ
る。ＳＬＭｓの全容量が使用されるとき、これはＮ^２ニ
ューロン及びＮ^４相互接続の最適な格納容量に匹敵す
る。Ｎは代表的に５００−１０００の範囲であるから、
ＳＬＭの容量を下回る使用は実際的である。更に、従来
のホログラフィックなシステムは、リチューム・ニオブ
酸塩の媒体を使用してホログラムを格納するのでシステ
ムは運転の困難な大型システムとなった。

発明の概要 この発明は光学神経ネットワークシステム及びその方法
を提供することを目的とし、入出力平面内のクロストー
クを実質的に取り除き、ＳＬＭの全容量を使用してネッ
トワーク内に更に多くの相互接続を供給することがで
き、比較的コンパクト、プログラマブル、セルフアライ
ニング（ｓｅｌｆ ａｌｉｇｎｉｎｇ）であり、角度選
択性ばかりでなく空間的選択性を使用する。

これらの目的は新しい形式の光学神経ネットワーク及び
その方法によって達成することができ、この光学神経ネ
ットワーク及びその方法において、ＰＣＭが位相結合及
び方向付けの両方に使用され、ニューロン間の相互接続
重みを格納する。分離した外部ポンプ機構を使用するこ
となく、刺激される処理過程を使用して位相結合した帰
還ビームを発生する特定形式のＰＣＭは、この目的のた
めに角度的及び空間的に分散された格子を形成する。自
己ポンプ（ｓｅｌｆ−ｐｕｍｐｅｄ）及び相互ポンプ
（ｍｕｔｕａｌｌｙ ｐｕｍｐｅｄ）ＰＣＭｓはこの目
的に適しており、従来の光学神経ネットワークに使用さ
れる４波ミキシングＰＣＭｓは適していない。

ＰＣＭは入出力パターンの画素間の光学送信重みを、分
散された格子として格納する。光学送信システムは入力
パターンからの画素化された入力ビームをＰＣＭに方向
付け、入力ビームの結合は、画素化された出力光学パタ
ーンとしてＰＣＭから帰還される。

このネットワークを多層にするために、一つ以上の中間
画像パターンをＰＣＭから帰還した目的ビームのから形
成することができ、中間画像パターンはＰＣＭに戻さ
れ、最終出力パターンの生成に影響する。好適実施例に
おいて、入力パターンはＳＬＭの一つの表面部分上に形
成され、この中間パターンはＳＬＭ表面の展開部分上に
形成される。

システムを教育するために、格子調節機構が提供され、
この機構は画素化された出力光学パターンと所望される
出力光学パターンの間の差に応答し、ＰＣＭに光学エラ
ー信号を供給する。この光学エラー信号は、対応するそ
の入力パターンが受信されたとき、所望される出力パタ
ーンを生成するために、ＰＣＭの格子を調節する。この
エラー信号は、入力パターン及びＳＬＭ表面上のあらゆ
る中間画像に従って供給することができる。

エラーを発生する機能は電気的に供給されるのが望まし
い。これを達成するために、出力光学パターンは電気出
力信号に変換され、入力光学信号は電気入力信号として
供給され、エラー信号は電気的に発生する。入力光学パ
ターンは、電気的格納機構、又は電気信号に変換される
ライブの光学画像から得ることができる。この発明のこ
れらの特徴及び他の利点は、添付図面を参照して行われ
た次に示す好適実施例の詳細な説明を検討することによ
って、当業者には容易に理解される。

図面の簡単な説明 第１ａ図は従来の光学神経ネットワークシステムに使用
される単一格子ＰＣＭｓの動作を示す図； 第１ｂ図はこの発明に使用される角度的及び空間的に分
散された格子を有するＰＣＭの動作を示す図； 第２図は光学的リアルタイム入力を含む、この発明によ
る光学神経ネットワークの一例を示すブロック図； 第３ａ及び３ｂ図はこの発明による２レベルネットワー
クに関するＳＬＭ上の光学パターンの構成を示す図； 第４ａ及び４ｂ図はこの発明による３レベルネットワー
クに関するＳＬＭ上の光学パターンの構成を示す図； 第５図はこの発明の他の実施例を示すブロック図であ
り、この例は４レベル光学神経ネットワークに関して設
計されたものであり； 第６ａ図及び６ｂ図は第５図の実施例に関するＳＬＭ上
の光学パターンの構成を示す図である。

発明の詳細な説明 第１図は分離ホログラム格子を使用して、重み要因を光
学神経ネットワークに対して格納する従来例を示す。格
納装置はあらゆる光屈折性クリスタルを使用することが
できるが、代表的にはリチュームニオブ酸塩である。格
子は平行平面２によって示され、平行平面２は格子周期
に等しい距離によって分離される。ＰＣＭがこのような
ホログラフィックな神経ネットワークに用いられると
き、ＰＣＭは、ホログラムを読み出すためにビームを方
向付ける、便利なビーム方向器（ｄｉｒｅｃｔｏｒ）と
して役立つ。ＰＣＭはホログラム格納機構から分離さ
れ、ミラーやビーム分光器（ｓｐｌｉｔｔｅｒｓ）のよ
うな他の光学方向装置の代わりに使用できる。

この方法に関する一つの問題は、円錐６の周囲が初期書
き込みビームの角度に等しい格子に対する絶対角を設定
する限り、格子ホログラムが書き込みビームによって特
定角で一度書き込まれると、ホログラムは、円錐角６の
全ての角度に沿って格子に当たるあらゆる読み出しビー
ム４によって読み出すことができることである。出力ビ
ーム８の方向は入力読み出しビーム４の方向により変化
し、入力円錐６に対応する出力円錐１０に沿って位置す
る。その結果、入力ビーム内の異なる画素の中にクロス
トークが発生し、又入力円錐６のあらゆる部分に沿っ
て、ホログラムに到達する、意図しなかった光からの出
力を発生する可能性が生じる。

単一格子ホログラムを相互接続重み（ｉｎｔｅｒｃｏｎ
ｎｅｃｔｉｏｎ ｗｅｉｇｈｔｉｎｇｓ）を格納するの
に使用し、ＰＣＭをビーム方向器として分離するのでは
なく、この発明は角度的及び空間的に分散された格子の
連続体を形成して相互接続重みを記録し、読み出しビー
ムの方向付けを支援する。ＰＣＭは、情報を有すること
のない分離した外部ポンプビーム（ｅｘｔｅｒｎａｌ
ｐｕｍｐ ｂｅａｍｓ）を使用せずに、刺激された処理
を使用し位相結合帰還を生成するものでなければならな
い。従来システムにビーム方向器として使用された分離
外部ポンプビームに基づくＰＣＭは、この発明に関して
作動しない。角度的空間的に分散された格子の所望する
連続体を形成し、従ってこの発明に使用することができ
る。２つの形式のＰＣＭは、自己ポンプ及び相互ポンプ
ＰＣＭである。フェインバーク（Ｆｅｉｎｂｅｒｇ）に
よる“光屈折性非線形光学”（Ｐｈｏｔｏｒｅｆｒａｃ
ｔｉｖｅ Ｎｏｎｌｉｎｅａｒ Ｏｐｔｉｃｓ”，Ｐｈ
ｙｓｉｃｓ Ｔｏｄａｙ，Ｏｃｔｏｂｅｒ １９８８，
ｐａｇｅｓ ４６−５２）に解説されており、一方、相
互ポンプＰＣＭは、ウエイス（Ｓ．ｗｅｉｓｓ）、スタ
ンクラ（Ｓ．Ｓｔｅｒｎｋｌａｒ）及びフィッシヤー
（Ｂ．Ｆｉｓｃｈｅｒ）による、“二重位相結合ミラ
ー：分析、実証及び応用”（Ｄｏｕｂｌｅ Ｐｈａｓｅ
Ｃｏｎｊｕｇａｔｅ Ｍｉｒｒｏｒ：Ａｎａｌｙｓｉ
ｓ，Ｄｅｍｏｎｓｔｒａｔｉｏｎ ａｎｄ Ａｐｐｌｉ
ｃａｔｉｏｎｓ”，Ｏｐｔｉｃｓ Ｌｅｔｔｅｒｓ，Ｖ
ｏｌ．１２，Ｎｏ．２，Ｆｅｂｒｕａｒｙ １９８７，
ｐａｇｅｓ １１４−１１６）、及びエバンク（Ｍ．
Ｄ．Ｅｗｂａｎｋ）による“コヒーレントではないビー
ムを用いる光屈折性位相結合を目的とする機構”（“Ｍ
ｅｃｈａｎｉｓｍ ｆｏｒ Ｐｈｏｔｏｒｅｆｒａｃｔ
ｉｖｅ Ｐｈａｓｅ Ｃｏｎｊｕｇａｔｉｏｎ Ｕｓｉ
ｎｇ Ｉｎｃｏｈｅｒｅｎｔ Ｂｅａｍｓ”，Ｏｐｔｉ
ｃｓ Ｌｅｔｔｅｒｓ，Ｖｏｌ．１３，Ｎｏ．１，Ｊａ
ｎｕａｒｙ １９８８，ｐａｇｅｓ ４７−４９）に解
説が掲載されている。

自己ポンプＰＣＭを使用して、ネットワーク内の各ニュ
ーロンは他のニューロンに接続されるばかりでなく、自
己接続する。二重ＰＣＭとして参照される相互ポンプＰ
ＣＭを使用して、各ニューロンは他のニューロンのみに
接続される。相互ポンプＰＣＭは一方のビームが他方を
ポンプする２つの入力ビームを有するので、自己ポンプ
ＰＣＭに対して一つのみに反するとき、２つの入力画像
を支援することができる。相互ポンプＰＣＭは多層、大
容量神経ネットワークに特に適している。

ＢａＴｉＯ_３クリスタルのような光屈折性材料における
自己ポンプ位相結合を説明する幾つかの解説が提供され
た。それらはフレスネル（Ｆｒｅｓｎｅｌ）によって支
援された内部４波ミキシング、及び刺激された光屈折性
後方散乱（ｓｔｉｍｕｌａｔｅｄ ｐｈｏｔｏｒｅｆｒ
ａｃｔｉｖｅ ｂａｃｋｓｃａｔｔｅｒｉｎｇ）を含
む。実際の機構がいかなるものであっても、入力ビーム
内の各画素は、他の全ての画素（自身を含む）を格子に
書き込み、そしてポンプし、位相結合帰還ビームを形成
する。これによって大規規模に相互接続された並列のシ
ステムが構成され、このシステムは神経ネットワークモ
デルの導入に関して好適な媒体である。

自己ポンプＰＣＭに構成することができ、角度的空間的
に分散された格子の連続体が第１ｂ図に示されている。
クリスタル媒体の様々な面に関連する３組の格子１２、
１４、１６が示されている。そのような格子は、入力書
き込みビームの結果として、正確な角度及び空間的に互
いに正確な方向に設定されることが判明した。格子を読
み出すために（神経ネットワークの相互接続重みを示
す）、読み出しビーム１８は、格子に書き込むのに本来
使用したビームと正確に同じ角度でクリスタルに当たら
なければならない。この角度で読み出しビームは一つの
格子から他の格子へ方向付けられ、初段格子１２に戻
る。そこで、ビームは読み出しビーム１８の反対側の経
路に沿って、帰還結合ビーム２０としてクリスタルを屈
折する。

読み出しビーム１８の入射角が変化する場合、クリスタ
ル内のその経路は、予め設定された一つの格子から次の
格子へ既に伝播することができないようにシフトされ、
格子が読み出されることはない。従って格子に含まれる
本来の重み情報を得るためには、読み出しビーム１８は
格子を書き込むのに本来使用されたビームと同一の角度
で、クリスタルに当たる必要がある。これによって、従
来のホログラッフィクな方法に特徴的であった円錐角度
の瞹昧さに関するビーム画素間のクロストークを実質的
に取り除くことができる。

この発明に導入することができる、システムのブロック
図が第２図に示される。読み出しビーム２２は偏光ビー
ム分光器２４によって、ＳＬＭ２６の読み出し表面方向
に方向付けられる。この実施例において、ＳＬＭは、電
気的に駆動される陰極線管３０によって呼み出される液
晶光バルブ２８によって構成される。一般に、電気−光
変換に影響するあらゆるＳＬＭを使用することができ
る。この発明は電磁−光学的装置、ポッケル（Ｐｏｃｋ
ｅｌｓ）読み出し光学メモリ、変形可能ミラー、液晶テ
レビジョンを含むことができる。

読み出しビーム２２は目的平面３２として考えることが
できるＬＣＬＶ２８の前面から入力画像パターンを得
る。

“目的平面”３２はＬＣＬＶ上の画素によって示される
ニューロン平面に一致する。ＬＣＬＶから反射した画素
化された読み出しビームはビーム分光器３４及びレンズ
３６を介して、自己ポンプＰＣＭ３８へ伝送される。格
子がＰＣＭに最初書かれる場合、強力ビームが使用さ
れ、強力ビームは比較的長い時間持続し、長時間格子メ
モリを設定し、このメモリは神経ネットワークに関する
相互接続重みを設定する。格子が予めＰＣＭに書き込ま
れており、現在それらを読み出すことが所望されると
き、弱いビームが短時間の間供給される。格子形成の速
度はビーム強度に依存しているので、短時間の弱いビー
ムを使用することによって、長い周期の格子メモリを消
去又は変化することなく、ＰＣＭ格子に格納された相互
接続重みが入力ビーム画素を重み付けすることができ
る。

読み出しビームが、格子を書き込むのに本来使用された
ビームと同一の角度でＰＣＭに当たる場合を仮定する
と、ビームは重み情報を獲得し、反転ビーム（ｒｅｔｒ
ｏｆｌｅｃｔｅｄ ｂｅａｍ）としてＰＣＭから帰還す
る。ビーム分光器３４を反射した後、ビームはレンズ４
０によって光・電気検出器４２に集光される。検出器４
２は電荷結合装置（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄ
ｅｖｉｃｅ）又はビジコン（ｖｉｄｉｃｏｎ）によって
導入することができる。処理された読み出しビームを受
信するその装置の前面は神経ネットワークシステムの画
像平面４４と考えることができる。

神経ネットワークシステムが予め“教育”された状態で
あるとき、検出器４２の出力は神経ネットワークの出力
と考えることができ、処理は完了する。しかし、ネット
ワークが“教育”されている場合、処理は更に施され
る。検出器４２からの電気信号は画像プロセッサ４６に
転送される。画像プロセッサ４６はホストコンピュータ
４８にリンクされる。画像プロセッサ４６はフレームグ
ラバー（ｆｒａｍｅ ｇｒａｂｂｅｒ）を含み、フレー
ムグラバーは検出器４２からの連続するビデオフレーム
を電気的メモリに格納する。コンピュータ４８は、画像
プロセッサ４６を介して伝達される入力画像をＣＲＴ３
０に格納し、入力パターンがＬＣＬＶ２８の前面に現れ
るようにする。

ホストコンピュータは一組の所望される出力画像を格納
し、一つの画像は入力画像に関するものである。出力画
像が検出器４２から画像プロセッサ４６に電気的に供給
されるとき、その画像は現在の入力パターンに関する所
望の出力画像と比較され、２画像間の差を示すエラー信
号が発生する。この比較及びエラー信号の発生は、コン
ピュータ４８又は画像プロセッサ４６の中で生成するこ
とができる。ここで、画像プロセッサは一般に汎用コン
ピュータより高速に動作する。なぜならば、画像プロセ
ッサはフレームごとの減算を実行できるからである。こ
の目的に適する画像プロセッサは画像技術社（Ｉｍａｇ
ｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｒｐ）によって供
給されるフレームグラバー／画像プロセッサである。

格納された入力パターンの代わりとして、リアルタイム
入力画像５０を供給することができ、その画像はビデオ
検出器５０によって電気信号に変換され、このビデオ検
出器５０は検出器４２に類似したものである。要素５０
及び５２が点線で示されるが、それらはオプションであ
る。

検出器５２からのオプションの光・電気信号は、スイッ
チ５４を介して画像プロセッサ４６に供給することがで
きる。このスイッチは、入力画像の準備を目的として、
リアルタイム検出器５２とホストコンピュータの選択を
することができる。一方、リアルタイム検出器は加算ノ
ード（ｓｕｍｍｉｎｇ ｎｏｄｅ）５６を介してシステ
ムに接続することができ、この加算ノードは電気的なリ
アルタイム入力画像と検出器４２からの出力画像を、画
像プロセッサ／コンピュータによる処理のために結合
し、実際の出力画像と所望の出力画像間の差を判別す
る。

ここで説明されるシステムの重要な点は、自己ポンプ又
は相互ポンプＰＣＭ３８を用いて、ＳＬＭ２６の目的平
面から方向付けられる光のみがＰＣＭを介して処理さ
れ、出力検出器４２の画像平面４４に到達することであ
る。ＰＣＭに到達する他のあらゆる方向からの光は、検
出器４２ではない位置の後方に方向付けられる。

第３ａ図は、第２図のＬＣＬＶ２８、即ちＳＬＭ２６の
他の読み出し面の略図であり、簡単な２層光学神経ネッ
トワークに使用することができる教育機構を示す。入力
層Ｌ１及び出力層Ｌ２からの２個の画素は、各々第３ｂ
図に示される。様々な画素間のベクトル矢印は、各入力
画素が各出力画素に関する相互接続重みを有することを
示している。

ＬＣＬＶの出力平面は２つの部分に割けて示され、その
半分５８は画素化された入力画像Ｌ１を示し、他の半分
６０はＬ２のニューロンに対応する画素化された出力画
像を示す。入力画像が最初にＬＣＬＶに供給されると
き、コンピュータ４８内に格納された画像から、又はリ
アルタイム画像５０から入力画像はＬＣＬＶ部５８上に
表示され、出力部６０はオフである。入力画像は読み出
され、神経ネットワークループを介して、検出器４２か
ら出力画像が供給され、画像プロセッサ４６によってポ
イント毎のバイアスに基づいて処理される。実際の出力
信号と格納された所望の出力信号の間のポイント毎の比
較からエラー信号が形成され、ＬＣＬＶ部６０に表示さ
れる。表示されたエラー信号は光ビームを変調し、光ビ
ームはＰＣＭに供給され、部分的にその中の格子を書き
替え、実際の出力画像を所望の出力に近付ける。

サイクルは所望される追加入力の数だけ反復され、即ち
一つのエラー構成の反復が所望される全ての入力パター
ンについて完了するまで繰り返される。追加的教育の反
復は、様々の入力パターン各々についての実際の出力が
所望される出力に一致するまで実行される。

前述された教育サイクルは、パーセプトロン学習（Ｐｅ
ｒｃｅｐｔｒｏｎ ｌｅａｒｎｉｇ）（ここで画像プロ
セッサはステップ機能スレショルド（ｔｈｒｅｓｈｏｌ
ｄ）を導入する）や、最小手段２乗エラー学習（ｌｅａ
ｓｔ ｍｅａｎｓ ｓｑｕａｒｅ ｅｒｒｏｒ ｌｅａ
ｒｉｎｇ）（ここで正弦スレショルド機能が導入され
る）などの様々な神経ネットワーク学習システムに適用
することができる。そのように教育技術は前述のリップ
マン（ｌｉｐｐｍａｎｎ）による発行物に説明されてい
る。

他の層を有する光学神経ネットワークに関する状況が第
４ａ及び４ｂ図に示されている。３つの層Ｌ１、Ｌ２、
及びＬ３が示され、入力層Ｌ１は中間層Ｌ２に伝播し、
中間層Ｌ２は出力層Ｌ３に伝播する。Ｌ１に関する入力
画像はＬＣＬＶ読み出し平面のセクション５８上に先ず
表示される。ネットワークループを介した一度の処理の
後、出力検出器４２によって見られる像は、ＬＣＬＶ読
み出し表面のセクション６２に表示され、ＬＣＬＶ読み
出し表面は中間表面Ｌ２に対応する。Ｌ１がオフの状態
で、Ｌ２画像はループを介して処理され、最終出力画像
を得る。エラー信号はこの出力画像から発生し、ＬＣＬ
Ｖセクション６０に表示される。エラー画像はＰＣＭ格
子を部分的に構成するのに使用され、この処理の反復に
よって他の格子接続が追加される。これによって、多層
神経ネットワークに関する後方伝播学習アルゴリズム
（ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎ ｌｅａｒｎｉｎ
ｇ ａｌｇｏｒｉｔｈｍ）の導入が可能となる。

ポジティブ又はネガティブな形式で、即ち格子を要求さ
れるように強化又は部分的に消去することによって、Ｐ
ＣＭ格子を構成する能力が供給されるのが望ましい。Ｃ
ＲＴ３０はポジティブな信号出力のみを供給するので、
このような能力は、ＬＣＬＶ２８又はシステムに用いら
れる他の電気光変調の位相特性をシフトすることによっ
て、又はポジティブ及びネガティブな重みを示すのに分
離した一組の格子を使用することによって、供給するこ
とができる。

例えば、ＣＲＴ３０はＬＣＬＶ光学出力の強度に影響す
るばかりでなく、その位相にも影響する。ＬＣＬＶを偏
光ビーム分光器２４に関して回転することによって、動
作点は、ＬＣＬＶに対して、２つの異なる、しかしポジ
ティブなＣＲＴ入力が同一のＬＣＬＶ出力強度になる点
に到達するが、相対位相シフトは１８０゜となる。ＰＣ
Ｍ内に書かれた格子の位相はＬＣＶ出力の位相に従うの
で、新たな格子に書き込むことができ、２個のＣＲＴ入
力レベルを切り替えることによって、旧い格子は消去又
は強化される。このようにしてポジティブ又はネガティ
ブのエラー信号を光学的に導入することができる。一
方、１ニューロンあたり２組の分離した格子はポジティ
ブ及びネガティブの重みを示すのに用いることができ
る。これは一つのニューロンを示すのに、２個の画素を
ＬＣＬＶ上に使用することによって達成できる。一つの
画素はポジティプな入力の合計値を受信し、第２画素は
ネガティブな入力の合計値を受信する。２個の画素の出
力は減算され、電気的にスレショルドと比較され、ニュ
ーロン出力を形成する。

第５図は、４層光学神経ネットワークを目的として設計
されたこの発明の他の実施例を示し、入力平面、出力平
面、及び２個の中間平面を有する。システムの電気的及
び光電要素は、第２図のものと基本的に同一であり、同
一の参照番号によって示される。相互ポンプＰＣＭ６４
は、２個の入力画像を処理するのに使用される。右角度
ミラー６６はＬＣＬＶ２８からの読み出しビームの内、
半分をレンズ６８を介して、上方のミラー７０に対して
偏向し、ビームの他の半分は、他のレンズ７２を介し
て、下方の第２ミラー７４に対して偏向する。ミラー７
０及び７４はそれらに入射するビームを、各々ビームＡ
及びＢとしてＰＣＭに反射する。リトロ反射された（ｒ
ｅｔｒｏｒｅｆｌｅｃｔｅｄ）ビームＡ^＊及びＢ^＊がＰ
ＣＭから帰還し、ミラーによって結合された出力ビーム
７６に方向付けられ、ビーム７６は検出器４２へ伝播す
る。

相互ポンプＰＣＭ６４において、あらゆる実質的なクロ
スカップリングを特定の層内に伴わずに、ビームＡはビ
ームＢをポンプし、又逆にビームＢはビームＡをポンプ
する。ビームＢはビームＢの角度に関連する格子を読み
出しＡ^＊を形成し、一方ビームＡはビームＡの角度に関
連する格子を読み出しＢ^＊を形成する。Ａ^＊及びＢ^＊は
ビームＡ及びＢから、それらの総合強度を各々得る。

第５図の神経ネットワークは第６ａ及び６ｂ図に簡略さ
れた形式で示され、４個の平面はＬ１、Ｌ２、Ｌ３、及
びＬ４として示される。ＬＣＬＶディスプレイ２８は２
つの部分に分割され、一方はビームＡに関し、他方はビ
ームＢに関する。ビームＡは平面Ｌ１及びＬ３に関する
ディスプレイを含み、一方ビームＢは平面Ｌ２及びＬ４
に関するディスプレイを含む。動作において、先ずＬ２
を得るためにＬ１がシステムを介して処理され、Ｌ３を
得るためにループを介してＬ２が処理され、最後にＬ４
を得るためにループを介してＬ３が処理される。実際の
Ｌ４は、ホストコンピュータ４８に格納された所望の出
力画像と比較され、その差を示すエラー信号が発生しＬ
４に表示される。そしてエラー信号はシステムを介して
送信され、格子を所望される出力に対して調節する。第
１のＬ１画像と、同一クラス内の他の多数のＬ１画像
を、各Ｌ１画像に対する連続する校正反復を用いて相互
ミキシング（ｉｎｔｅｒｍｉｘｉｎｇ）することによっ
て、正しいＰＣＭ格子が最後に得られる。

Ｎ^3/2ニューロン及びＮ^３相互接続のみを格納できる従
来の光学神経ネットワークを対比して、ここで開示され
たシステムは、ＰＣＭの格納容量が超過されなければ、
実質的なクロストークを伴わないで、Ｎ^２及びＮ^４相互
接続を格納することができる。１０^９〜１０¹⁰の相互接
続を有し、１０^５固までのニューロンによって構成され
る神経ネットワークを導入することができると考えられ
る。電気的構成部分に要求されるような、ニューロンの
複合化や、競合、配線及び通信に関する決定的な問題を
扱うことなく、この構造に関する神経ネットワークモデ
ルのマッピング（ｍａｐｐｉｎｇ）が本質的に生じるの
で、従ってネットワークのプログラミングを簡素化する
ことができる。

この発明の幾つかの例示的実施例が示され説明された
が、当業者には、この発明の範囲を越えることのない数
多くの修正や変更が考えられるものである。従ってこの
発明は単にここに説明された実施例に限るものではな
い。更に、そのような修正や他の変更は、添付された特
許請求の範囲に定義されるこの発明の範囲の中に含まれ
るものである。

Claims (24)

【特許請求の範囲】
1. 【請求項１】画素化された入力光学パターンを供給する
   手段と、 画素化された出力光学パターンを受信する手段と、 入出力パターンの画素間の光学的送信重みを、角度的及
   び空間的に分散された格子として位相結合ミラー（ＰＣ
   Ｍ）内に格納する前記ＰＣＭ手段と、及び 前記入力パターンからの画素化された入力ビームを、前
   記ＰＣＭ及び、前記ＰＣＭから帰還した前記入力ビーム
   の位相結合に方向付ける光学送信手段と、 を具備することを特徴とする光学神経ネットワーク。
2. 【請求項２】画素化された入力光学パターンを供給する
   手段と、 画素化された出力光学パターンを供給する手段と、 入出力パターンの画素間の光学的送信重みを、角度的及
   び空間的に分散した格子としてＰＣＭ内に格納する位相
   結合ミラー（ＰＣＭ）と、 前記入力パターンからの画素化された入力ビームを、前
   記ＰＣＭ及び、前記ＰＣＭから帰還した前記入力ビーム
   の位相結合に方向付ける光学的送信手段と、及び 前記画素化された出力光学パターンと所望の出力光学パ
   ターンの間の差に応答し、光学エラー信号を前記ＰＣＭ
   に供給する格子調整手段と、ここで前記エラー信号は、
   前記入力ビームから前記所望の出力パターンを生成する
   ことを目的として前記ＰＣＭの格子を調整し、 を具備することを特徴とする光学神経ネットワーク。
3. 【請求項３】前記ネットワークは、 前記入力ビームが前記ＰＣＭから帰還するとき、前記入
   力ビームの結合を示す中間画像を受信し、前記中間画像
   を示すビームを前記ＰＣＭに送信するために構成され
   る、少なくとも一つの中間画像パターン手段、ここで前
   記ＰＣＭは前記画素化された出力光学パターの生成にお
   いて前記中間画像ビームに応答し、 を更に具備することを特徴とする請求項１または２記載
   の光学神経ネットワーク。
4. 【請求項４】前記入力及び中間画像パターンは、空間光
   学変調器（ＳＬＭ）表面の展開部分に形成され、画素化
   された入力光学パターンを供給する手段は、前記入力光
   学パターンを前記ＳＬＭに入力する手段を含む前記ＳＬ
   Ｍを具備することを特徴とする請求項３記載の光学神経
   ネットワーク。
5. 【請求項５】画素化された入力光学パターンを供給する
   前記手段は、前記ＳＬＭへの前記入力の供給を制御する
   画像処理手段を含む前記ＳＬＭを具備することを特徴と
   する請求項２記載の光学神経ネットワーク。
6. 【請求項６】前記光学送信手段は、特定の所定角で前記
   ＰＣＭに入射する入力ビームのみに関して、入力ビーム
   の結合を前記出力パターン受信手段に方向付けることを
   特徴とする請求２項記載の光学神経ネットワーク。
7. 【請求項７】前記画素化された入力光学パターンを供給
   する前記手段は、入力電気信号に応答して前記入力光学
   パターンを供給し、及び前記格子調整手段は前記出力光
   学パターンを電気的出力信号に変換する光・電気手段を
   含み、前記入力光学パターンを電気的入力信号として供
   給し、前記電気的入力信号と出力信号を比較して電気的
   エラー信号を発生し、及び目的の前記電気的目的の信号
   とエラー信号を電気的入力制御信号として、前記画素化
   された入力光学パターンに供給することを特徴とする請
   求項２記載の光学神経ネットワーク。
8. 【請求項８】前記入力光学パターンを電気的入力信号と
   して供給する手段は、電気的画像格納手段と、前記画像
   格納手段を呼び出す手段を具備することを特徴とする請
   求項７記載の光学神経ネットワーク。
9. 【請求項９】前記入力光学パターンを電気的入力信号と
   して供給する手段は生の光学パターンを電気信号に変換
   する手段を具備することを特徴とする請求項７記載の光
   学神経ネットワーク。
10. 【請求項１０】空間光変調器（ＳＬＭ）と、 光・電気出力画像検出器と、 光学的送信重みを角度的及び空間的に分散された格子と
    してＰＣＭ内に格納する位相結合ミラー（ＰＣＭ）と、 前記ＳＬＭからの入力ビームを前記ＰＣＭに方向付け、
    及び前記ＰＣＭから帰還した前記入力ビームの位相結合
    を、出力ビームとして前記出力画像検出器に方向付ける
    光学的送信手段と、ここで前記光学的送信手段は前記Ｓ
    ＬＭ以外の方向から受信した光を、前記出力画像検出器
    への方向から逸らし、 入力画像を電気的入力信号として供給する手段と、 前記入力画像に対応する所望の出力画像を電気的に格納
    する手段を含み、前記所望の出力画像を、前記出力画像
    検出器によって受信される実際の出力画像と比較し、前
    記２つの出力画像間の差を示す電気的エラー信号を発生
    し、前記エラー信号を前記ＳＬＭに供給するエラー削減
    ネットワークと、ここで前記エラー信号は前記ＳＬＭ及
    びＰＣＭを介して、前記出力ビームを前記所望の出力画
    像に適合するように動作し、 を具備することを特徴とする光学神経ネットワーク。
11. 【請求項１１】前記エラー削減ネットワークは前記ＳＬ
    Ｍを制御し、入力画像を前記ＳＬＭの一部に表示し、エ
    ラー画像を前記ＳＬＭの他の部分に表示することを特徴
    とする請求項１０記載の光学神経ネットワーク。
12. 【請求項１２】前記エラー削減ネットワークは前記ＳＬ
    Ｍを制御し、前記入力画像から得られた少なくとも一つ
    の中間画像を前記ＳＬＭの第３部分に表示することを特
    徴とする請求項１１記載の光学神経ネットワーク。
13. 【請求項１３】前記ＳＬＭは液晶光バルブを具備するこ
    とを特徴とする請求項５または１０記載の光学神経ネッ
    トワーク。
14. 【請求項１４】前記ＰＣＭは刺激された処理を使用し、
    分離した外部ポンプ機構によらずに、位相結合された帰
    還ビームを発生することを特徴とする請求項１または２
    または１０記載の光学神経ネットワーク。
15. 【請求項１５】前記ＰＣＭは自己ポンプＰＣＭであるこ
    とを特徴とする請求項１４記載の光学神経ネットワー
    ク。
16. 【請求項１６】前記ＰＣＭは相互ポンプＰＣＭであるこ
    とを特徴とする請求項１４記載の光学神経ネットワー
    ク。
17. 【請求項１７】入力光学画像の表示情報を含む入力ビー
    ムを、特定角及び特定方向より位相結合ミラー（ＰＣ
    Ｍ）に供給するステップと、ここで前記ＰＣＭは角度的
    及び空間的に分散した格子を前記入力ビームに応答して
    発生し、 前記ＰＣＭから帰還した前記入力ビームの結合により構
    成される出力ビームを、前記特定角及び特定方向より前
    記ＰＣＭに入射する入力ビームのみに関して検出するス
    テップと、 前記検出した出力ビームと、前記入力光学画像に対応す
    る所望出力光学画像を比較し、それら画像間の差を示す
    エラー信号を発生するステップと、 前記エラー信号を用いて前記入力ビームを調整し、検出
    したビームと所望のビーム間の差を削減するステップ
    と、 を有することを特徴とし、前記入力光学画像に応答して
    所望出力光学画像を生成する、光学神経ネットワークを
    教育する方法。
18. 【請求項１８】前記入力ビームは、連続するエラー信号
    の反復において、前記検出された出力ビームと所望の出
    力ビーム間の前記差を減少するように調整されることを
    特徴とする請求項１７記載の方法。
19. 【請求項１９】複数の入力光学画像表示情報は前記反復
    中に各々連続的に供給され、各反復中に所望の出力ビー
    ムに各々対応する各入力光学画像表示情報に関して、エ
    ラー信号が発生し、前記エラー信号は前記ＰＣＭ内の分
    散された格子を調整し、前記検出された出力ビームと前
    記所望の出力ビーム間の差を減少するように前記出力ビ
    ームを調整することを特徴とする請求項１８記載の方
    法。
20. 【請求項２０】少なくとも一つの前記中間光学画像は、
    前記ＰＣＭによって前記入力光学画像から形成され、前
    記中間光学画像は前記入力光学画像と結び付いて、前記
    出力ビームを生成することを特徴とする請求項１７記載
    の方法。
21. 【請求項２１】前記エラー信号は空間的に展開したエラ
    ー光学画像として前記入力光学画像に結合され、前記入
    力画像及びエラー光学画像は空間光変調器（ＳＬＭ）の
    空間的に展開された出力部分に表示され、前記入力ビー
    ムは前記ＳＬＭを読み出すことによって形成されること
    を特徴とする請求項１７記載の方法。
22. 【請求項２２】前記検出するステップ及び比較するステ
    ップは電気的に実行され、前記入力光学画像及びエラー
    信号は電気的に結合され、電気・光空間光変調器によっ
    て表示され、前記入力ビームを形成することを特徴とす
    る請求項１７記載の方法。
23. 【請求項２３】光学神経ネットワークを教育し、入力光
    学画像に応答して、所望の出力光学画像を生成する方法
    において、 特定の角度を有する前記入力光学画像の表示情報を含む
    入力画像を位相結合ミラー（ＰＣＭ）に供給するステッ
    プと、ここで前記ＰＣＭは前記入力ビームに応答して、
    角度的空間的に分散した格子を発生し、 前記ＰＣＭから帰還した前記入力ビームの結合により構
    成される出力ビームを検出するステップと、 を有することを特徴とする方法。
24. 【請求項２４】少なくとも一つの前記中間光学画像は、
    前記入力光学画像から前記ＰＣＭによって形成され、前
    記中間光学画像は前記入力光学画像と結び付いて使用さ
    れ、前記出力ビームを生成し、前記入力及び中間光学画
    像は空間光変調器（ＳＬＭ）の空間的に展開した部分に
    表示され、前記入力ビームは前記ＳＬＭを読み出すこと
    によって形成されることを特徴とする請求項２３記載の
    方法。