JPH06504636A - 神経回路網の訓練方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 神経回路網の訓練方法 本発明は、入力ベクトルの入力用の入力と出力ベクトルの出力用の出力と、与え られた入力ベクトルの入力に応答して回路網により出力される出力ベクトルを決 定するための調節可能な応答決定手段とを有する神経回路網の訓練方法に関する 。

通常神経回路網は直列のノードと考えられ、各ノードはそのノードが結合される 他のノードの出力の関数である出力をノードに出力を与える。例えば特定のノー ドは、他のノードの出力の加重合計が設定されたしきい値を越えると第１のレベ ルで信号を出力し、他のノードの出力の加重合計がしきい値を越えないと第２の レベルで信号を出力する。異なったノードはノードに特定の加重およびしきい値 で他のノードの異なったセットからの出力を受信する。入力ベクトルは回路網の 入力を介してノードのセットに結合され、出力ベクトルは回路網の出力で生成さ れる。入力ベクトルへの神経回路網の応答は、この場合、このタイプの回路網用 の応答決定手段を集積して形成する加重としきい値により決定される。

神経回路網の他の装置は前述の加重およびしきい値技術と異なった技術を使用す るが、入力ベクトルに応答する特定の回路網により提供される出力ベクトルを決 定する応答決定手段を有する。

神経回路網の光装置の例は文献（Ｎ、　Ｍ、　Ｂａｒｎｅｓ、　Ｐ、　Ｂｅａｌ ｅ７．　Ｐ。

ＭｃＫ＊ｅ、　Ａ、　Ｗ、０’　Ｎｅ１ｌｌ、　Ｍ、＾、　２．　Ｒｅ　ｊｍｘ ｎ−Ｇｒｔｅｕ、　Ｅ、　Ｇ、　５ｃｏｆｆ、　Ｒ，Ｐ、　vｅ ｂｂ、　Ｄ、　Ｗｏｏｄによる“旧ｇｈ　５ｐｅｅｄ　０ｐｔｏ−Ｅｌ＜ｃ（ｒ ｏｎｉｃ　Ｎｔｕｒａｌ　Ｎｅ１ｖｏｒｋ　”　、　Ｅｌｅｃｔｒｏｎｉｃｓ　 Ｌｅ目ｅｒｓ　５１９９０年７月１９日、巻２６、Ｎｏ、１５．１１１０〜１１ １２頁）に記載されている。これは高い処理能力を与えるための並列処理と光相 互接続の可能性を開拓した。即ち神経回路網は供給された入力ベクトルに急速な 応答を有し、この入力ベクトルは報告された構造では毎秒１０Ｍビットを超過す る速度でクロックされることができる。回路網はこの出願の図１で示されている 。２層の知覚回路網は入力流ＡＳＢの対の排他的オア（ＥＸＯＲ）の組合わせを 認識することができる。

基本的な動作は４×４の光検出器アレイ８０の各行が行に入射した光強度の合計 に対応した電気信号を提供するマトリックスベクトル乗算を行うことである。

コンピュータ生成のホログラム１００とレンズ１０２と１０４は変調器アレイ８ ２のそれぞれの変調器に入射する単一のレーザ源１０６から直接強度コード化ビ ーム（図示せず）を生成する。

ビームの相対的な強度は変調器の数字により示されている。

これらの異なった強度のビームは、検出器の行により形成されるノードに対する 接続中の変調器の出力に供給される異なった加重を提供する。

信号はこの加重された合計がバイアス供給源８６からの固定したバイアスまたは 他の加重された合計の１つに関する設定されたしきい値より上または下であるか によって前置増幅器８４により次のレベルに通過するか或いはまたは通過されな い。

例えばソースアレイからのそれぞれのビームの強度をフィルタするための固定し たマスクの使用を含む強度のコード化された多数のビームが生成される方法が幾 つかある。

先神経コンピュータ用の本出願人（この出願の出願時には未公開）により発明さ れた加重の決定方法は多重量子ウェル（ＭＱＷ）変調器に対する与えられた波長 で達成された変調の深さがデジタル駆動の電圧スイングだけではなく変調器を横 切って供給されるバイアスにも決定される事実に基づく。

Ｎ、　Ｍ、　Ｂａ　ｒｎｅｓ、　Ｐ、　ｌｅａ　Ｉｅｙ、　、　Ｍ、　Ａ、　２ ．　Ｒｅ　ｊ＋＋■−Ｇｒｅｅｎｅ、　Ｅ、　Ｇ、　５ｃｏ■■A　Ｒ，Ｐ 、Ｗｒｂｂによる“１６　Ｃｈａｎｎｅｌ　Ｐａｒａｌｌｅｌ　０ｐｔｉｃａｌ 　ＩｎｔｅｒｃｏｎｎｅｃｔＤｅｍｏｎｓｌｔｘｔｉｏｎ　ｗＨｈ　ａｎ　１ｎ ＧａＡｓ／ＩｎＰ　ＭＱＷ　Ｍｏｄｕｌａｔｏｒ　Ａｒｒａ７　”（Ｅｌｃｃｔ 　Ｌｅ目、２６．１１２６〜１１２７頁、１９９０年）の図３を参照する。この 性質は、変調器がインまたはオフ状態のいずれであるかを決定するデジタル駆動 の電圧スイングが変更されなくても、変調の深さが調節可能であることを意味す る。ローパスフィルタを図１の回路に付加することにより、低速で変化する（１ ０〜ｌ００ＫＨｚ）アナログバイアス電圧は高速の（約５０Ｍｈｚ）のデジタル データに重畳されることができる。信号の加重に対応する変調の深さは１０〜１ ００ＫＨｚの速度で変化されることができる。この低速変化の電圧レベルはコン ピュータ制御の下で標準的な低帯域幅アナログ駆動により設定される。多重ビー ムを生成するホログラムには予めプログラムされた加重のマトリックスによりビ ームを生成する必要はない。ビームの均一アレイは代りに使用されることができ 、加重は変調器の独立して調節可能なバイアス電圧により決定される。さらに加 重は神経回路網訓練位相期間中に調節されることができる。

光神経回路網のこの構成は神経回路網を通って高速デジタルデータを伝送する手 段を提供し、一方コンピュータ制御下でより遅い速度で加重を変化することがで きる。

特にデータ信号が外部的に生成され変調器／検出器アレイの積層体を照射して高 データ処理能力が達成される他の方法が存在する。変調器は独立して加重を調節 するようにアドレスされることができる。

しきい値レベルを決定するバイアス電圧もまたこれらの設計では同一の遅い時間 スケールで調節可能である。

既知の人力ベクトルのセット（訓練セット）に対応した所望の出力ベクトルのセ ット（ターゲットセット）が知られている場合には、応答決定手段の適切な構造 は回路網の管理された訓練により達成できる。即ち回路網は入力ベクトルの訓練 セットと、回路網からの実際の出力ベクトルと出力ベクトルのターゲットセット との間のエラー（例えば類似的に増加する）を減少するためのアルゴリズムによ り調節される応答決定手段を与えられる。

神経回路網の既知の訓練方法は、訓練セットからの各入力ベクトルを順番に回路 網に供給することを含む。回路網からの出力ベクトルと人力ベクトルに対するタ ーゲット出力ベクトルの類似性の測定が得られ、応答決定手段は少なくとも類似 性の測定にある程度依存する方法で調節される。このことは順番に訓練セットの 入力ベクトルで反復される。

このような訓練方式の例は文献（Ｐ、　Ｄ、　ＷｌｓｓｃｒｍｓｎとＴ、Ｓｃｈ ｗａｒｊｔの“Ｎｅｕｒｉｌ　Ｎｅｎｏｒｋ　Ｐａ目２　”　８２９４．　ＩＥ ＥＥ　Ｅｘｐｅｒｔ、巻３（１９８８年）、春、Ｎｏｌ、１０〜１５頁）に記載 されている。

神経回路網のこの訓練方法は、このような可変双安定変調器を使用する回路網お よび光強度が加重決定のために変化できる他の回路網に応用可能である。しかし ながら、このような光神経回路網に供給されるようなこのような訓練方法の特徴 は、所定の入力ベクトルに対して行うべき加重としきい値の変化の算出が次の入 力ベクトルが回路網に供給される前に完了しなければならないことである。即ち 回路網の高いデータ処理能力は、人力ベクトルが回路網に供給される速度が変化 の計算される比較的低速度に限定されるため訓練位相期間には利益はない。

Ｄ、　Ｐ、　Ｃａ５ａｓｅｎＩとＥ、　Ｂｓｒｒｌｌｒｄは文献”Ａｄ＋＋ｐｔ ｉｙｅ−ＣＩｕｓｔｅｒｉＢＯｐｔｉｃａｌ　Ｎｅｕｒａｌ　Ｎｅｔ”で入力を クラスに分けるためネットが訓練ベクトルの入力セットで訓練される神経回路網 方法と結合した集合および線形判別機能選択の認識技術のパターンを説明してい る。訓練アルゴリズムは回路網に順番に人力訓練ベクトルをそれぞれ入力するこ とを含み、それぞれが適切なりラスの中で最も活性な隠れたニューロンおよび他 のクラスの中の最も活性な隠れたニューロンを決定する。このことが−回行われ るとこれらの２つの隠れたニューロン用の加重ベクトルと入力ベクトルのベクト ル内積が計算され、パーセブトロンエラー関数が計算され、エラーのペナルティ が計算され、エラー関数に加えられる。セットの次の訓練ベクトルは人力され、 計算はこの次の入力ベクトルに対して反復される。

全ての訓練ベクトルが入力された後、全てのエラーとエラー勾配は累積され、ネ ットの加重は共役勾配アルゴリズムを使用して適合される。訓練ベクトルのセッ トは人力ベクトルの試験セットの適切な動作が得られるまで反復される。

この文献で説明されているように隠されたノードの加重と入力ベクトルの内部ベ クトル積は光学的に実行される。

Ｃａ５ａｓｃｎｌその他諸々による訓練方法は決定される２つのクラスの最大と 、次がネットに入力可能になる前に１つの入力ベクトル用に計算されるエラー関 数とエラーペナルティを必要とするためにベクトル内積が電子ドメインではなく 光学的に、ｉ速ｊご計算されるが、神経回路網の高データ処理能力を利用しない 。

本発明によると、入力ベクトルの入力用の入力と、出力ベクトルの出力用の出力 と、与えられた入力ベクトルの入力に応答して回路網により出力される出力ベク トルを決定するための調節可能な応答決定手段とを有する神経回路網の訓練方法 において、 一連の対応する出力ベクトルを得るため一連の人力ベクトルを回路網に入力し、 各出力ベクトルを各ターゲットベクトルと比較し、一連の出力ベクトル中の出力 ベクトルが各ターゲットベクトルと異なっている場合の平均数である平均不整合 値に依存して応答決定手段を調節することを含む。

与えられた一連の入力の出力セットとターゲットセット全体の平均不整合値を測 定し、それぞれのベクトルの対を比較した直後ではなく、このグローバル測定に 依存して応答決定手段を調節し、これらに基づくエラー関数を計算しないで応答 決定手段が調節される速度より高いデータ処理能力速度を有する神経回路網の強 化した訓練速度を提供する。これは入力ベクトルを低速の計算要素に依存する回 路網の比較的低速な加重調整速度に供給する速度を制限しないことにより訓練の 速度を高める。

便宜的に入力ベクトルの訓練セットのメンバーは反復して複数の一連の入力ベク トルを供給するために回路網に入力され、応答決定手段は各一連の平均不整合値 に応じて調節される。

訓練ベクトルのセットの非全般的な数に基づいて本発明の訓練方法によって調節 が行われ、即ちベクトルの訓練セットと非同期である。このことは訓練セットが 回路網に再供給される前に計算が完了するまで待つ必要なしに必要な調節が計算 されるような高速度で回路網の調節を許容する。

訓練方法の別の特別の利点は、収集が非常に困難であるかまたは高価であるデー タを含む入力ベクトルの小さい訓練セットがランダム雑音または歪みの付加によ り大きな訓練セ・ソトに容易に拡大されることである。ランダム付加は回路網内 のあらゆる場所のデータまたは加重およびしきい値に対して能にする。

本発明の訓練方法は、高データ処理能力速度を有する訓練神経回路網に適用され るとき特別な利点を有することが認められるが、それは他のハードウェア神経回 路網構造に適用されることができる。これはまたデータ処理能力速度が例えば加 重変化の計算が容易である加重更新速度と匹敵するシステムにも適用される。

前述の例で、加重、しきい値の応答決定手段について行われる調節を計算するの に使用されるアルゴリズムは不整合値を究局的に最小化しようとする任意の所望 のアルゴリズムでよい。

例えばＳ、　Ｋｉｒｋｐｘｌｒｉｃ、　Ｃ，Ｄ、　Ｇｅｌ［ｔ　Ｊｒｌ、　Ｍ、 　Ｐ、　Ｖｅｃｃｈｉによる’０ｐｊｉａ＋１ｓｔｌｊｉｏｎ　ｂ７　Ｓｉｍｕ ｌ［ｅｄ　Ａｎｎｕｌｉｎｇ’　５ｃｉｅｎｃｅ、２２０，６７１〜６８０頁（ １９８３年）に記載されているシミュレートしたアニーリングアルゴリズムまた はそれらに関連するアルゴリズムは特に変形が不連続値のみを取るタイプの複雑 な問題のための全体的な最大値を発見するのに効率的である。しかしこれらの技 術は計算時間に関して非常に高価であり、従って現在広く使用されていない。非 常に高速のハードウェア発生によって、入力ベクトルのセットの計算時間は少な くなり、技術は実行可能になる。例えば回路網が５０ＭＨｚの速度でデータを取 り、訓練セットが１０００のメンバーを含むならば、出力ベクトルのセットとタ ーゲットセットの類似性のデータは５０ＫＨｚの速度で集められ、それ故、原理 的に５０．０００の反復が毎秒行われ（加重およびしきい値の計算はこの速度で 行われることか可能であるものと仮定する）、各反復は出力ベクトルとターゲッ トベクトルのみの比較よりも１０００の出力ベクトル全体の情報で計算される。

即ち、この訓練方法はこの実施例の回路網の訓練速度の潜在的に１０００倍の増 加を提供する。

実際の増加は使用されるアルゴリズムに応じて決定される。

本発明の方法は添付図面を参照して実施例によって説明される。

図１は従来技術の光神経回路網の概略図である。

図２は非同期の訓練を提供する一般化した神経回路網に関する本発明の段階を示 す概略図である。

図３は本発明の訓練方法が適用可能である例示的な神経回路網の概略図である。

図４は本発明の方法により訓練された光神経回路網としての構成に適した神経回 路網回路網の構造の概略図である。

図５は特定の応答を有する訓練後の図４の訓練神経回路網の構造を具備する光神 経回路網の概略図である。

図６は図５の回路網の加重で得られた変調の深さのグラフである。

図７は図５で示された方向回路網のＥＸ−ＯＲおよび奇数−偶数のパリティ関数 を示している。

図１の神経回路網は既に説明した。

本発明による神経回路網の訓練方法を図２を参照して一般的な事項について説明 する。

特定の設備は以下の説明には重要ではないが、−膜化された神経回路網２は入力 ４において入力ベクトル１．（ｉ−１乃至ｎ）のセットの１つを受け、出力６で 対応する出力ベクトル０．を提供する。入力ベクトル！、のセットの入力で得＋ １ られる出力ベクトル０．のセットは神経回路網２の応答決定手段（図示せず）に より決定される。応答決定手段は例えば内部ノード加重およびしきい値のような 回路網を特徴づける種々のパラメータを変化することにより調節可能であること が仮定される。この場合これらは制御バス１０により神経回路網２と連結する制 御装置８により制御可能であり、それはハードウェア構成の神経回路網を制御す る一般的目的のコンビエータでもよく、或いは一般的目的のコンピュータのソフ トウェアシミュレーションのソフトウェアルーチンであってもよく、または光学 的に構成された神経回路網であってもよい。

神経回路網２が入力ベクトルのセットＩｌからＩ、のために訓練されることを考 慮すると、それは各所望の出力ベクトル０１からＯｌを出力する。望ましい出力 ベクトルＯ１は神経回路網２の出力ベクトルのターゲットセットと訓練セット入 力ベクトル１．のターゲットセットを形成する。

直 入力ベクトルＩ、の訓練セットのメンバーは出力ポートロ！ で対応する出力ベクトルのセット０′１乃至Ｏ′。を提供する神経回路網２の入 力ポート４に連続的に供給され、それらは訓練されていない回路網では通常ター ゲットセットＯ１からＯのターゲットセットと同一ではない。

ターゲットセットの一連のベクトルＯ１と神経回路２からの各出力ベクトルＯ′ は出力ベクトルＯ′とターゲット出力ベクトル０１との不整合の数のカウントを 維持するエラー記録器１２に入力される。

このカウントは平均不整合値にしたがって神経回路網２のパラメータを調節する コンピュータ制御装置８に利用されており、平均不整合値は一連の出力ベクトル の出力ベクトルが各ターゲットベクトルと異なりでいる時の平均数である。この 調節は通常、ベクトルの訓練セットの入力と非同期的に為されており、即ち訓練 セットの全数の繰返しが回路網に入力される前に作られる。

訓練セットとターゲットセットはアルゴリズムが決定する限り反復的に神経回路 網２とエラー記録器１２にそれぞれ供給される。

コンピュータが神経回路網パラメータに対する必要な変化を計算することが可能 な速度と比較して処理能力が非常に高い神経回路網である場合、一連の入力ベク トルに対する平均不整合値を見る方法は入力ベクトルの回路網への供給と計算と の間の同期を必要とすることなく訓練が大きな訓練セットで作動することを可能 にする。即ち本発明の訓練方法は回路網への所望の変化を計算することができる 速度でアルゴリズムを実行するコンピュータにより決定される平均不整合値を有 する非同期訓練を可能にし、一方訓練データと不整合値はハードウェアが許容す る高い処理能力速度で形成される。

本発明はハードウェアとして構成される神経回路網が適切にプログラムされた汎 用コンピュータであるか、その他の方法で構成される点が強調される。

図３を参照すると、第１、第２の層２２．２４をそれぞれ有する簡単な神経回路 網２０の機能図を示しており、回路網２０は本発明のコンピュータシミュレーシ ョンのモデルで使用されている。回路網２０は３ビツト二進ワードの入力ベクト ル［ａ。

ｂ、ｃｌを受信するための入力ボート２６と、単一の二進ビットの出力ベクトル ［ｄ］が出力される出力ボート２８とを具備している。

第１の層は４つのノード３０．３２．３４．３６から構成されている。

ノード３０では入力ベクトル［ａ、ｂ、ｃｌの個々のビットはそれぞれ加重ｗ− 、ｗ”　、ｗ”３により加重される。加重された入力ビットは加算器３８により 合計され、その出力はＴＩと表示されるしきい値試験を受け、これは合計がしき い値ＴＩより下ならばゼロレベル信号を生成し、合計がしきい値Ｔｌより上であ るならばルベル信号を生成する。

して構成される。これらのノードの加算器は同一であり、それぞれ標準３８であ る。

しきい値Ｔ１、Ｔ２、Ｔ３、Ｔ４　（Ａ、Ｂ、Ｃ，Ｄ）からの出力は単一のノー ドからなる第２の層２４に入力される４ビツト入カベクトルを形成する。この第 ２の層（またはノード）出力が神経回路網２０の出力ベクトル［ｄ］を構成する しきい値要素Ｔ５によりしきい値試験を受ける。

ツクパラメータである本発明の方法により訓練可能である。

例えば図１で示されているように神経回路網が光神経回路網として構成されてい ると、全てのビーム強度が正の値を有するとき負の加重を有することは不可能で ある。この制限に適合するための図３の神経回路網の変形は図４のしきい値およ び加重ブロックで示されており、図４では図３のノード３０、３２．３４．３６ の加算器からの出力Ａ、Ｂ、Ｃ，Ｄのいくつかは他の出力に関してバイアスされ る。この場合比較器４２．４４．４６はそれぞれしきい値要素４８．５０．５２ に入力されるそれぞれの出力Ａ−Ｂ、Ｂ−Ｃ，Ａ−Ｃを形成する。図４の神経回 路網の残余は図３の回路網と同一である。

本発明の訓練方法を図４の神経回路網に適用するコンビニ５のステップで０．５ から１．５の１１のレベルに限定される。

出力ベクトル［１］が生成されるとき、［０，１，０］を除いて全ての二進３ビ ツト入カベクトル［ａ、ｂ、ｃｌに対する出力ベクトル［０］を生成するように 回路網は訓練された。

３つの二進入力データチャンネルの８つの可能な組合わせが存在する。これらの ８つの組合わせは閉ループの訓練セ・ソトとして人力される。ランダムで均一の 雑音は回路網の第１の層に対してしきい値要素Ｔ５の後で信号２に付加された。

ランダム雑音の付加は訓練データループの長さの増加を生成し、回路網は所望の 出力を与えるだけでなく雑音レベルに対して頑丈な出力を生成する加重およびし きい値レベルを発見しなければならない。数千のループ長は訓練方法のコンピュ ータシミュレーションで使用された。結果的な加重およびしきい値は図４で示さ れている。

他の構造は神経回路網の特定の設備に便利であるように訓練セットを拡張するた めに雑音を導入するのに使用されることができる。

訓練ループのエラーカウントを最小化するためシミュレートのアニーリングの形 態を使用して、解決策は８つの可能な入カバターンのうちの１または２つの要素 およびパリティチェックの認識を含む試みられたあらゆる論理または認識問題に 対して図４の回路網で発見される。アルゴリズムでは加重またはしきい値レベル と計算された訓練ループの新しいエラーカウントの１つに対する変化が提案され る。新しい平均不整合値が以前よりも低ければ変化が受けられる。新しい平均不 整合値がΔｅの量だけ大きければ、変化はｅｘｐ　（−Δｅ／Ｔ）が偽の“温度 ”Ｔの領域０から１のランダムな数より小さいと受入れられる。はとんど全ての 提案した変化が受けられるように反復はＴの大きさで開始する。Ｔは次第に冷却 され、即ち単調なとき減少され、その結果平均不整合値かを増加する変化が減少 された可能性で受けられ、回路網はエラーを最少化する構造にされる。反復は平 均不整合値が許容できる数に達したときに停止される。ランダムな雑音がシステ ムに付加されないときゼロエラーを与える多数の可能な構造が存在し、訓練方式 はすぐに解決策を発見する。雑音レベルが増加したとき、許容される解決策の数 は減少し、解決策を発見するのにより多くの反復が必要となる。多量の雑音の存 在で訓練された回路網はこのレベルまで雑音の付加に対して頑強になる。

図４の２層神経回路網のソフトウェアのシミュレーションは３ビツト入カデータ の認識または論理機能を行うように訓練されることが可能なことを示している。

しかしソフトウェアシミュレーションは非常に時間を消費し、各パターンの計算 時間に数時間を必要とする。

図５を参照すると、光神経回路網は本発明の訓練方法を試験的に示すように図４ の神経回路網として構成されている。

１．５μｍレーザ４０はこの場合、公称上等強度の光ビームの４Ｘ４アレイ（図 示せず）を生成するレンズ４４により１６通りの光相互連結を生成するコンピュ ータ生成２伎相ホログラム４２を照射し、光ビームはレンズ４５により高速５Ｍ Ｏ３回路４６により駆動される多重量子ウェル（ＭＱＷ）変調器の４Ｘ４の平面 アレイの各変調要素Ｍ１．に焦点を結ぶ。変調ビームはトランスインピーダンス 増幅器と比較器に出力を供給する検出器アレイ４８の各検出器り３、に焦点を結 ぶ。リン化インジウＪ ム検出器アレイは感度を改良するため多重量子ウェルの代りに使用された。

ＭＱＷ変調器駆動回路は調節可能な相互接続強度または加重を提供する。これは ＭＱＷ変調器からの変調の深さがａＣ結合データ信号と同様に装置を横切って供 給されるｄｃバイアスに決定されるため可能である。図６は５つの帯域コード化 された加重値と変調器の単一のリターン・ツーゼロ（ＲＺ）変換への結果的な変 調の深さを示している。可変ｄｃバイアスまたはしきい値は訓練可能なしきい値 機能を生成するため各比較器の変換入力に付加された。加重としきい値に対する アナログ電圧は両者とも８ビツトのデジタルアナログコンバータから得られる。

アナログ速度回路の時定数は結果的に２５μｓの最大固定時間となり、しきい値 回路は２μｓの固定時間を有し、一方変調器、検出器、増幅器は４０Ｍピッ）　 ／　ｓ　ＲＺで駆動されることができる。

から下への行を示す。１つの例示的な変調器Ｍ２１と検出器り第１の３つの列の 変調器Ｍ２．と検出器り、は神経回路網４０の第１の層を形成し、一方変調器Ｍ 、と検出器り、の第４の１」 列は神経回路網４０の第２の層を形成する。

３つの高速二進入力チャンネル５０．５２．５４が存在し、それぞれ独立した加 重変調器の４つの列に接続されている。各変調器わせて変調器駆動装置５６によ り独立してアドレスされる。

検出器からの出力は行で合計されたり１．である。Ａ、ＢＳＣ。

１」 Ｄ出力の比較器から決定される４つの二進入力（Ａ−Ｄ、Ｂ−ＣＳＡ−Ｃ，Ｄ） はしきい値制御装置５９によりセットされるバイアス電圧に対してしきい値と比 較される。これらは加重制御装置５８により提供される変調器用の加重を変調器 駆動装置６０と信号バス６２により変調器アレイ４６における第４の列の残って いる加重変調器に帰還される。４つの検出器６４の第２の層からの出力は合計さ れ、出力６８で回路網からの最終的な二進出力を与えるためしきい値６に対して 比較される。

ビームの異なった光強度と同様に加重がここでコード化されるとき、これらは正 の値を取らなければならない。

パターン発生器は必要な論理関数と一致したターゲット出カバターンと共に３ビ ツトワードの全ての数の入力の組合わせを連続して反復するように設定される。

訓練セットは８つの可能な組合わせの大きな倍数であるように配置された。この ことは、各組合わせを区別する能力と種々の雑音源の影響による能力の平均の低 下の両者を反映する不整合値を確実にする。選択された倍数は訓練時間の厳密な 妥協をすることなく合理的な統計上の平均不整合値を生成する必要性により決定 される。この特定の場合では、訓練データは約１０．０００ワード（試験パター ンの１．２５０反復）からなる各訓練サイクルで１０Ｍビット／　ｓ　ＲＺで回 路網に供給された。同一の“温度”ｔは減少される前に２５０のこのようなサイ クル（２５０加重／しきい値変化）で使用された。各Ｔの新しい値で回路網パラ メータは得られる最低のエラーカウントに関連してリセットされた。回路網は全 ての３ビット組合わせ関数を識別するように訓練され、特に２つの層の回路網を 必要とすることで知られる可成のＥＸ−ＯＲと奇数／偶数パリティ関数を再生し た。これらの関数は隠れた層のニューロンへのアクセスに依存しない手段の成功 を最も良く示す。図７は各パターンの訓練後の回路網の出力を示し、各入力ワー ドと比較されている。

訓練の実行の分析は単一ワードの識別は通常１，０００サイクル（２０秒）を必 要としないことを示している。ＥＸ−ＯＲと奇数／偶数パリティ関数のようなよ り複雑な組合わせタスクは２層処理の必要性を反映する平均１０．０００サイク ルを必要とする。シミュレーション結果との直接的比較はハードウェアシステム の量および特性と人工（シミュレーション）雑音に高度に依存する訓練シイクル 数により非現実的なものとなる。

概念上ハードウェアからの計算とエラーカウントが理想的なシミュレーションと 比較してより複雑な関係を有する事実のために、ハードウェアがより訓練サイク ルを必要とすることが予測される。しかし高速ハードウェアの使用により得られ た内在的な蓄積を計算できる。神経回路網のシミュレーションは訓練セットの１ サイクルを処理するのに３０秒を要し、一方ハードウエアは１ミリ秒を必要とし 、３つの残留した訓練領域で費やす時間より３万倍の高速はコンピュータ処理２ ５％、コンピュータインターフェイス７０％、光電子ハードウェア処理的５％の ように配分する。それ故より大きな訓練セット（より大きな回路網または雑音不 感性）を処理するのに十分な能力が存在する。ハードウェアとコンピュータの間 の通信に費やす時間の大部分は１つのみのメツセージが毎訓練サイクルにおいて 一方の方向で送信される必要があるとき基本的な問題ではない。それ故インター フェイスを組立てる目的により平均訓練時間を非常に減少することが可能である 。これらの試験は、解決空間が非常に粒状で隠れた層の監視が行われなくても敏 速に規則的に解決できることを示す。本発明による訓練方法は、ハードウェアの 性能が光パワーの費用を調整し、特に光神経回路網に供給されるとき訓練方法の 頑強さを示す光タイミング不整列等を導入することにより意図的に低下されたと きでも解決策を見付けることができることが認められる。

［ｄｌ ”−一一一一一″″−−−″″ｉ−一−−″′″−−−　＝　＝＝＝−’１１　 ｊ　１ （Ｉ し２４１ ］　４゜ ＋　ｗ２　ｗ、、　１ デジタルコード化加重 各加重コードに対して得られた変調の深さのグラフ時間ｔｌＪｓｌ ＥＸ−ＯＲおよび奇数／偶数パリティ関数の表示１、．１．．１．１．Ｎ・　Ｐ ＣＴ／錦９１１０１９６７

Claims (6)

【特許請求の範囲】
1. （１）入力ベクトルの入力用の入力と、出力ベクトルの出力用の出力と、与えら れた入力ベクトルの入力に応答して回路網により出力される出力ベクトルを決定 するための調節可能な応答決定手段とを有する神経回路網の訓練方法において、 一連の対応した出力ベクトルを得るように回路網に一連の入力ベクトルを入力し 、 各出力ベクトルを各ターゲットベクトルと比較し、一連の出力ベクトルの出力ベ クトルが各ターゲットベクトルと異なっている場合の平均数である平均不整合値 に応じて応答決定手段を調節することからなる神経回路網の訓練方法。
2. （２）入力ベクトルの訓練セットのメンバーが複数の一連の入力ベクトルを提供 するように回路網に繰返し入力され、応答決定手段は各一連の平均不整合値によ って調節される請求項１記載の方法。
3. （３）応答決定手段は、シミュレートされたアニールアルゴリズムに応じて調節 される請求項１または２項記載の方法。
4. （４）次の一連の入力ベクトルに対する平均不整合値Δｅの変化が負のとき、正 のとき、またはｅｘｐ（−Δｅ／Ｔ）＜ｒのとき応答決定手段への調節は維持さ れ、Ｔは定数であり、ｒは０から１の範囲のランダム数である請求項３記載の方 法。
5. （５）訓練中、Ｔは単調に減少される請求項４記載の方法。
6. （６）神経回路網が光神経回路網を有する請求項１乃至５のいずれか１光記載の 方法。