JPH04507026A

JPH04507026A - 学習機械シナプス・プロセッサ・システム装置

Info

Publication number: JPH04507026A
Application number: JP3510421A
Authority: JP
Inventors: ピチャネック、ジェラルド、ジョージ; ヴァシリデイス、スタマテイス; デルガドーフライアズ、ホセ、グアダルーペ
Original assignee: インターナショナル・ビジネス・マシーンズ・コーポレーション
Priority date: 1990-05-22
Filing date: 1991-05-17
Publication date: 1992-12-03
Anticipated expiration: 2013-05-06
Also published as: JPH05500429A; JP2502867B2; WO1991018350A1; EP0484522A1; US5617512A; US5509106A; EP0486635A1; WO1991018351A1; JP2663996B2; EP0486684A4; EP0484506A4; JPH04505824A; EP0484506A1; US5542026A; JPH04507027A; JP2663995B2; JP2746350B2; EP0486684A1; WO1991018349A1; WO1992001257A1

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】学習機械シナプス・プロセッサ・システム装置［関連出願に対する相互参照］本出願は優先権を主張し、以下の関連同時係属特許出願の一部継続出願である。

１９９０年５月２２ヨ出願のＡＰＰＡＲＡＴＵＳ　ＡＮＤ　ＭＥＴＨＯＤ　ＦＯＲＮＥＵＲＡＬ　ＰＲＯＣＥＳＳＯＲ”と題するＳ、ヴアッシリアディス（Ｖａｓｓｉｌｉａｄｉｓ）及びＧ、Ｇ。ペチャネク（Ｐｅｃｈａｎｅｋ）の米国特許畠願第０７１５２６８６６号（ＩＢＭドヶット番号ＥＮ９−９０−０４５）（” ５ＮＡＰ”と呼ぶことがある）。

１９９１年４月８日出願の”Ａ　ＴＲＩＡＮＧＵＬＡＲ５ＣＡＬＡＢＬＥＮＥＵＲ，ＡＬ　ＡＲＲＡＹ　ＰＲＯＣＥＳＳＯＲ”と題するＧ、Ｇ、ペチャネク及びＳ。

ヴアッシリアディスの米国特許出願第０７／６８２７８５号ＣＩ　ＢＭＦケッ）一番％ＥＮ９−９１−０１８）（”Ｔ−３ＮＡＰ”と呼ぶことがある）、。

１９９１年４月８日出願（７）　”５ＰＩＮ：Ａ　５ＥＱＵＥＮＴＩＡＬＰＩＰＥＬＩＮＥＤ　ＮＥＵＲＯＣＯＭＰＵＴＥＲ”と題するＳ、ヴアッシリアディス、Ｇ、　Ｇ、ペチャネク及びＪ、　Ｇ、デルガードエフリアス（Ｄｅｌｇａｄｏ −Ｆｒｉａｓ）の米国特許出願第０７／６８１８４２号（ＩＢＭドケット番号ＥＮ９−９１−０２６）（”５ＰＩＮ’と呼ぶことがある）。

さらに、以下の関連出願が同時に出°願されている。

１９９１年５月１７日出願の”ＶＩＲＴＵＡＬ　ＮＥＵＲＯＣＯＭＰＵＴＥＲＡＲＣＨＩＴＥＣＴＵＲＥＳ　ＦＯＲＮＥＵＲＡＬ　ＮＥＴＷＯＲＫＳ”と題すルＧ、Ｇ、ヘチャネク、Ｊ、Ｇ、デルガードエフリアス及びＳ、ヴアッシリアディスの米国特許出願筒０７７７０２２６０号（ＩＢＭドケット番号ＥＮ９−９１− ０５３）（”ＶＩＲＴＵＡＬ”と呼ぶことがある）。

１９９１年５月１７日出願の”ＰＬＡＮ：ＰＹＲＡＭＩＤ　ＬＥＡＲＮＩＮＧＡＲＣＨＩＴＥＣＴＵＲＥ　ＮＥＵＲＯＣＯＭＰＵＴＥＲ”と題するＧ、Ｇ、ペチャネク、Ｓ、ヴアッシリアディス及びＪ、　Ｇ、デルガードエフリアスの米国特許出願第０７／７０２２６３号（ＩＢＭドケット番号ＥＮ９−９１．−０５５）　（”ＰＬＡＮ”と呼ぶことがある）。

１９９１年５月１７日出願の“Ｓ（１：ＡＬＡＢＬＥ　ＦＬＯＷ　ＶＩＲＴＵＡＬＬＥＡＲＮＩＮＧ　ＮＥＵＲＯＣＯＭＰＵＴＥＲ”と題するＧ、Ｇ、ペチャネク、Ｓ、ヴアッシリアディス及びＪ、　Ｇ、デルガードエフリアスの米国特許出願第０７／７０２２６２号（ＩＢＭドケット番号ＥＮ９−９１−０５４）　（” ＳＶＬＭ″と呼ぶコトカアル）。

これらの同時係属出願及び本出願は同じ譲受人、すなわち、米国ニューヨーク州アーモンクのインターナショナル・ビジネス・マシーンズ・コーポレーションによって所有されている。

これらの同時係属出願に記載の記述を、この引用によって本明細書に合体する。

［技術分野］本発明はコンピュータ・システムに関し、具体的には記載されたコンピュータ・システムによって実施できる例によって例示される後方伝播、ボルツマン様機械、及びマトリックス処理を提供できる学習機械シナプス・プロセッサ・システム・アーキテクチャに関する。

［発明の検討で使用する参照文献コ本発明者等の諸発明の詳細な検討では、従来技術ではないが議論を理解する助けとなる本発明者等自身の未発表研究を含む他の研究を引用する。このような追加の文献には以下のものがある。

Ｄ、Ｅ、ルーメルハルト（Ｒｕｍｅｌｈａｒｔ）　、Ｊ、Ｌ、　マツフレランド（ＭｃＣｌｅｌ　１ａｎｄ）及びＰＤＭリサーチ・グループ（ｔｈｅ　ＰＤＰＲｅｓｅａｒｃｈ　Ｇｒｏｕｐ）の著書″Ｐａｒａｌｌｅｌ　ＤｉｓｔｒｉｂｕｔｅｄＰｒｏｃｅｓｓｉｎｇ　Ｖｏｌ、１：　Ｆｏｕｎｄａｔｉｏｎｓ”、米国マサチューセッツ州ケンブリッジ、ＭＩＴ　Ｐｒｅｓｓ、　１９８６年刊（以下では”Ｒｕｍｅｌｈａｒｔ８６”と呼ぶ）。

Ｊ、　Ｎ、ホワン（Ｈｗａｎｇ）　、Ｊ、Ａ、ヴロンツォス（Ｖｌｏｎｔｚｏｓ）及びＳ、Ｙ、クング（Ｋｕｎｇ）の論文”Ａ　５ｙｓｔｏｌｉｃ　ＮｅｕｒａｌＮｅｔｗｏｒｋ　Ａｒｃｈｉｔｅｃｔｕｒｅ　ｆｏｒ　Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌｓ”、　ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ　ｏｎ　ＡｃｏｕｓｔｉｃｓＳＳｐｅｅｃｈ、ａｎｄ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｉｎｇ。

Ｖｏｌ、３７．　Ｎｏ１２．　ｐｐ、１９６７−１９７９．１９８９年（以下では”Ｈｗａｎｇ８９’と呼ぶ）。

Ｍ、コープイル（Ｃａｕｄｉｌｌ）の論文”Ｎｅｕｒａ、Ｉ　ＮｅｔｗｏｒｋｓＰｒｉｍｅｒ−Ｐａｒｔ　”、　ＡＴＥｘｐｅｒｔ、　ｐｐ、５３−５９．１９８８年６月刊（以下では”Ｃａｕｄｉｌｌ　８８”と呼ぶ。）１９９０年５月１８日出願の”ＡＰＰＡＲＡＴＵＳ　ＡＮＤ　ＭＥＴＨＯＤ　ＦＯＲＮＥＵＲＡＬ　ＰＲＯＣＥＳＳＯＲ”と題するＳ、ヴアッシリアディス及びＧ。

Ｇ、ペチャネクの米国特許出願第０７１５２６８６６号（ＩＢＭドケット番号ＥＮ９−９０−０４５）（以下では”５ＮＡＰ″または’ｆｆａｓｓｉｌｉａｄｉｓ　Ｓ　Ｎ　Ａ　Ｐ　９０”と呼ぶことがある）、。

１９９１年４月８日出願の”Ａ　ＴＲＩＡＮＧＵＬＡＲ５ＣＡＬＡＢＬＥＮＥＵＲＡＬ　ＡＲＲＡＹ　ＰＲＯＣＥＳＳＯＲ”と題するＧ、Ｇ、ベチャネク及びＳ。

ヴアッシリアディスの米国特許出願第０７／６８２７８５号（ＩＢＭドケット番号ＥＮ９−９１−０１８）　（以下では”Ｔ−３ＮＡＰ”と呼ぶことがある）。

１９９１年４月８日出願の”５ＰＩＮ：　Ａ　５ＥＱＵＥＮＴＩＡＬＰＩＰＥＬＩＮＥＤ　ＮＥＵＲＯＣＯＭＰＵＴＥＲ”と題するＳ、ヴアッシリアディス、Ｇ、　Ｇ、ペチャネク及びＪ、　Ｇ、デルガードエフリアスの米国特許出願第０７／６８１８４２号（Ｉ　ＢＭドケット番号ＥＮ９−９１−０２６）（以下Ｑは’ ５ＰＩＮ’Ｊたは”Ｖａｓｓｉｌｉａｄｉｓ　９１”と呼ぶことがある）。

Ｂ、ウィドロウ（Ｗｉｄｒｏｗ）及びＭ、Ｅ、ホップ（Ｈｏｆｆ）の論文”Ａｄａｐｔｉｖｓ　Ｓｗｊ、ｔｃｈｉｎｇ　Ｃ１ｒｃｕｉｔｓ”、　ＩＲＥ　ＷＥＳＣＯＮ　ＣｏｎｖｅｎｔｉｏｎＲ，ｅｃｏｒｄ、　ｐｐ、９６−１０４．１９６０年（以下では”Ｗｉｄｒｏｗ　６０”と呼ぶ）。

Ｓ、グロスベルブ（Ｇｒｏｓｓｂｅｒｇ）の論文”ＣｏｍｐｅｔｉｔｉｖｅＬｅａｒｎｉｎｇ：　Ｆｒｏｍ　Ｉｎｔｅｒａｃｔｉｖｅ　Ａｃｔｉｖａｔｉｏｎ　ｔｏ　ＡｄａｐｔｉｖｅＲｅｓｏｎａｎｃｅ’、　Ｃｏｇｎｉｔｉｖｅ　５ｃｉｅｎｃｅ　１１．　ｐｐ、２３−６３．１９８７年（以下ではＧｒｏｓｓｂｅｒｇ　８７’と呼ぶ。）Ｅ、Ｂ、アイヒエルベルガー（Ｅｉｃｈｅｌｂｅｒｇｅｒ）及びＴ、Ｗ、ウィリアムス（Ｗｉｌｌｊ、ａｍｓ）の論文”Ａ　Ｌｏｇｉｃ　Ｄｅｓｉｇｎ　５ｔｒｕｃｔｕｒｅｆｏｒ　Ｔｅ５ｔａｂｉｌｉｔｙ”、　Ｐｒｏｃｅｅｄｉｎｇｓ　１４ｔｈ　Ｄｅｓｉｇｎ　ＡｕｔｏｍａｔｉｏｎＣｏｎｆｅｒｅｎｃｅ、　ＩＥＥＥ、１９７７年（以下では”Ｅｉｃｈｅｌｂｅｒｇｅｒ　７７’と呼ぶ）。

Ｊ、Ｊ、ホップフィールド（Ｉ（ｏｐｆｉｅＬｄ）の論文”ＮｅｕｒｏｎｓＷｉｔｈ　Ｇｒａｄｅｄ　Ｒｅ５ｐｏｎｓｅ　Ｈａｖｅ　Ｃｏ１１ｅｃｔｉｖｅ　ＣｏｍｐｕｔａｔｉｏｎａｌＰｒｏｐｅｒｔｉｅｓ　Ｌｉｋｅ　Ｔｈｏｓｅ　ｏｆ　Ｔｗｏ−５ｔａｔｅ　Ｎｅｕｒｏｎｓ”。

Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　Ｎａｔｉｏｎａｌ　Ａｃａｄｅｍｙ　ｏｆ　５ｃｉｅｎｃｅｓ　８１．　ｐｐ。

３０８８−３０９２．１９８４年５月（以下では”Ｈｏｐｆｉｅｌｄ　８４”と呼ぶ）。

Ｄ、Ｈ，アクレイ（Ａｃｋｌｅｙ）　、Ｇ、Ｅ、ヒントン（Ｈｉｎｔｏｎ）及びＴ、Ｊ、セイノフスキ（Ｓｅｊｎｏｗｓｋｉ）の論文“Ａ　ＬｅａｒｎｉｎｇＡｌｇｏｒｉｔｈｍ　ｆｏｒ　Ｂｏｌｔｚｍａｎｎ　Ｍａｃｈｉｎｅｓ”、　Ｃｏｇｎｉｔｉｖｅ　５ｃｉｅｎｃｅ　９゜ｐｐ、１４７−１６９．１９８５年（以下では”Ａｃｋｌｅｙ　８５’と呼ぶ）。

Ｊ、Ｌ、マツフレランド及びり、　Ｅ、ルーメルハルトの著書“Ｅｘｐｌｏｒａｔｉｏｎｓ　ｉｎ　Ｐａｒａｌｌｅｌ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｐｒｏｃｅｓｓｉｎｇ：　ＡＨａｎｄｂｏｏｋ　ｏｆ　Ｍｏｄｅｌｓ、Ｐｒｏｇｒａｍｓ　ａｎｄ　Ｅｘｅｒｃｉｓｅｓ”、米国マサチューセッツ州ケンブリッジ、ＨＩＴ　Ｐｒｅｓｓ、　１９８８年刊（以下では”ＭｃＣｌｅｌｌａｎｄ　８８”と呼ぶ）。

Ｊ、　Ｊ、ホップフィールドの論文“Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋｓ　ａｎｄＰｈｙｓｉｃａｌ　Ｓｙｓｔｅｍｓ　ｗｉｔｈ　Ｅｍｅｒｇｅｎｔ　Ｃｏ１．１ｅｃｔｉｖｅＣｏｍｐｕｔａｔｉｏｎａｌ　Ａｂｉｌｉｔｉｅｓ“、　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　ＮａｔｉｏｎａｌＡｃａｄｅｍｙ　ｏｆ　５ｃｉｅｎｃｅｓ　７９．　ｐｐ、２５５４−２５５８．１９８２年（以下では”Ｈｏｐｆ　１ｅｌｄ　８２”と呼ぶ）。

［背景技術］Ｗｅｂｓｔｅｒ’ｓ　Ｎｅｗ　ＣＯｌｌｅＣｏｌｌｅ　Ｄｉｃｔｉｏｎａｒｙによれば、″学習する（ｌｅａｒｎ）“という単語は、「勉強、教育、または経験によって知識または理解または技能を得ること」を意味する。ニューラル・ネットワークの知識は、ニューロン間の相互接続の強度または重みによって符号化される。Ｎ個のニューロンからなる完全に接続されたネットワークでは、学習規則によって修正可能なＮ２個の相互結合重みが使用可能である。ネットワークが経験するといわれる「ｔ−習」過程は、Ｗｅｂｓｔｅｒの定義と類似の意味で、相互結合重み値の修正を支配する機構または規則を意味する。このような学習規則の１つは、Ｄ、Ｅ。

ルーメルハルト、Ｊ、Ｌ、マツフレランド及びＦＤＰリサーチ・グループの著書 ”Ｐａｒａｌｌｅｌ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｐｒｏｃｅｓｓｉｎｇ　Ｖｏｌ、１：Ｆｏｕｎｄａｔｉｏｎｓ”、米国マサチューセッツ州ケンブリッジ、ＭＩＴＰｒ６ｓｓ、　１９８６年刊（以下では”Ｒｕｍｅｌｈａｒｔ　８６ｎと呼ぶ）によって示されるように後方伝播と呼ばれる。後方伝播学習規則についてまず説明し、その後で学習機械の実施態様に使用されるシナプス・プロセッサ・アーキテクチャについて論じる。

次に、入出力エンコーダ・ニューラル・ネットワークを使用する後方伝播の例を示す。本発明の主題であるこのシナプス・プロセッサ・アーキテクチャは、他のニューラル・ネットワークのモデル化、及びより一般的なりラスの並列データ・アルゴリズムの実行に連層できるので、以後の一連の例で、この新しいシステムを用いたボルツマン様機械及びマトリックス処理の実施態様を示すことにする。

本発明者等の諸発明の詳細な考察の際、上述したように、我々自身の未発表研究を含む他の研究を引用する。これらの背景文献は、引用によって本明細書に合体する。

［発明の開示］本発明者等の新しく開発したコンピュータ・システムは、シナプス処理要素用の新しいアーキテクチャを有するニューラル・シナプス・プロセッサ装置として記述することができる。好ましい装置は、命令及びデータ記憶ユニットを含み、命令及びデータを受け取り、命令を実行する、シナプス処理ユニットを有するＮニューロン構造をもつ。二〇Ｎニューロン構造は、通信加算器ツリー、ニューロン活動化関数ユニット、及び通信加算器ツリーによって命令、データ、及びニューロン活動化関数ユニットの出力をすべて入力シナプス処理ユニットに返送するための配置を含むべきである。

以下で説明する好ましい装置は、Ｎ２個のシナプス処理ユニットを含む。各ユニットは、エミュレートされるＮニューラル・ネットワーク内の結合重みと関連づけられ、対角線セル及び一般セルから構成される対角線に沿って折り畳まれたＮ ×Ｎマトリックスの形に配置されている。

好ましいシステムでは、対角線セルは、それぞれ単一のシナプス処理ユニットを利用し、折り畳まれたＮＸＮ結合重みマトリックスの対角線結合重みと関連づけられ、一般セルは、それぞれ合併された２つのシナプス処理ユニットをもち、折り畳まれたＮＸＮ結合重みマトリックスの対称結合重みと関連づけられている。

これらの改良を実施するために我々が知っている最良の形で以下に記述するシナプス処理要素用の本発明者等の新しいアーキテクチャを使用すると、後方伝播及びボルツマン様機械アルゴリズムが利用でき、入出力エンコーダ・ニューラル・ネットワークの例について考察するように、本発明者等の「汎用学習機械Ｊ　（Ｇ　Ｐ　ＬＭ）上で後方伝播及びボルツマン機械が共に実施でき、かつマトリックス乗算、加算、及びプール演算用のデータ並列アルゴリズムがＧＰＬＭで実施できる。

上記及びその他の改良は、以下の詳細な説明に記載されている。これらの発明ならびにその利点と特徴をよく理解するには、本発明者等がこの分野で行った他の開発に関する同時係属の特許出願を参照しなければならないこともあろう。しかし、特に本明細書に記載する改良、利点及び特徴に関しては、添付の図面に沿った説明中で参照を行なう。

口図面の簡単な説明］第１図は、多層後方伝播ネットワークの概略図である。

第２図は、３層後方伝播ネットワークの概略図である。

第３図は、重み／Ｙ値乗算構造を２つの部分に分けて示した概略図である。

第３Ａ図は対角線セルについて、第３Ｂ図は一般セルについての概略図である。

第４図は、本発明の好ましいシナプス・プロセッサ・アーキテクチャを２つの部分に分けて示した概略図である。

第４Ａ［ｌは対角線シナプス・プロセッサＤＳＹＰ、第４Ｂ図は一般シナプス・プロセッサＧＳＹＰの概略図である。

第５図は、好ましい通信加算器ツリーの概略図である。

第６図は、シナプス・プロセッサ・アーキテクチャを有する４ニユ一ロン汎用学習機械の概略図である。

第７図は、シナプス・プロセッサによってタグ付けされた命令／データ形式を示す図である。

第８図は、入出力コード化問題用のニューラル・ネットワークの概略図である。

第９図は、ＧＰＬＭ上で実施された本発明のシナプス・プロセッサ・アーキテクチャの概略図である。

（注：　図示の都合上、第９−２０図は分割することがある。

何枚も使用する場合は、慣例に従って、図の上端を１枚目とし、以下上から順に並べることにする。）第１０図は、本発明のシステムでの初期設定及び第１層実行の概略図である。

第１１図は、本発明のシステムでの第２層実行の概略図である。

第１２図は、本発明のシステムでの第３層実行の概略図である。

第１３図は、本発明のシステムでの第４層実行の概略図である。

第１４図は、学習モード−逆通信Ｅ８、Ｅ９、ＥＩＯＳＥｌｌの概略図である。

第１５図は、学習モード−重み付き誤差総和作成ＥＲ４、ＥＲＡ、ＥＲ６、ＥＲ７の概略図である。

第１６図は、学習モード−逆通信Ｅ４、Ｅ５、Ｅ６、Ｅ７、及び誤差総和作成ＥＲ２の概略図である。

第１７図は、学習モード−逆通信Ｅ３の概略図である。

第１８図は、学習モード−ステップ１重み更新の概略図である。

第１９図は、学習モード−ステップ２重み更新（ｐ＝ρ）の概略図である。

第２０図は、学習モード−ステップ３重み更新の概略図である。

第２１図は、マトリックス演算としてのニューロン計算の概略図である。

第２２図は、一般マトリックス乗算の概略図である。

［発明の好ましい実施例コこの詳細な説明は、例によって提供される本発明者等の諸発明の好ましい実施例を説明する一部分である。

後方伝播学習の背景後方伝播学習アルゴリズムは、通常、フィードフォワード多層ニューラル・ネットワーク上で実施されるが、再帰的ネットワークへの適用もすでに試みられている。たとえば、”Ｒ，ｕｕｅｌｈａｒｔ　８６”及び’８ｗａｎｇ　８９”を参照されたい。ここでは、フィードフォワード・ネットワークだけを考察する。フィードフォワード・ネットワークは、パターン分類機構またはパターン・マツプ機構として機能し、入カバターンが加えられたとき、フィードフォワード・ネットワークはこれらの入カバターンからパターンの出力セットへのマツピングまたは分類を学習する。ネットワークの「教師」として機能する分類または入出力マツピングのサブセットは最初に既知であると仮定する。分類のサブセットを学習した後は、ネットワークは、見えないパターンに応答して、それらのパターンをすでに学習した分類にマツプすることができる。以前に見たことのないパターンを正しく分類できるネットワークの能力は、「−膜化」と呼ばれる。ネットワークは、ニューロンの入力層、出力層、及び１つまたは複数の隠れ層からなり、入カバターン内の各文字については入力ニューロン・ユニットによって、出カバターン内の各分類または文字については出力ニューロン・ユニットによってセットアツプされる（第１図）。

隠れニューロン層の数、及び各隠れ層内のニューロンの数はさらに決定が難しい。コルモゴロフの定理（”Ｃａｕｄｉｌｌ　８８”参照）は、ｍ個の入力ニューロン、ｎ個の出力ニューロン、及び２ｍ＋１個の隠れ層ニューロンからなる３層ニューラル・ネットワークが、ｍ個の文字からなる入カバターンをｎ個の文字からなる出カバターンにマツプできることを示している。

ここで、入力文字はＯ≦値≦１に制約される。しかし、コルモゴロフの定理は、マツピング問題に対するニューラル・ネットワークの最小解を保証しない（Ｃａｕｄｉｌｌ　８８”参照）。最適解を得るための隠れユニットの最小数を選択する方法は知られていない。隠れユニットの数を選択するには通常、経験、常識、コルモゴロフ定理の使用、または実験的方法が使用される。層の数と層当たりのニューロンの数が選択されると、次に接続構造が決定される。フィードフォワード・ネットワークは通常、隣接する層同士の間で完全な接続が可能であり、また非隣接層間で接続をもつこともできるが、すべての接続はフィードフォワード方向だけである。このフィードフォワード接続の制限は、フィードバック結合重みがないこと、及び層内のニューロン同士の間に接続がないことを意味すると思われる。この接続構造では、’Ｒ，ｕｍｅｌｈａｒｔ　８６″におけるように、通常、重みは訓練の前にランダムに決定される。

第１図及びその他の図で、以下の記号を使用する。

・全ネットワーク内にＮ個のニューロン。

・添え字りはに個の層を番号付けするのに使用する。ただし、１≦Ｌ≦に０・各層内にはＭＬ個のニューロンがあり、したがってＭ１＋Ｍ２＋、、、＋ＭＫ＝Ｎ。

・重みは二重添え字を付けて示す。Ｗｌ、は接続されたユニットｊからユニットｉへの接続の重みを示す。

・外部入力は新しい変数Ｅｘｌで表す。ただし、１≦ｉ≦Ｎ。

各ニューロンは外部人力Ｅｘ、をもつことができる。

・すべてのニューロン出力はＹｌで表す。

・ニューロンは以下のように順次番号付けするニー　層Ｌ＝１のニューロン：Ｙｔ、Ｙｌ、、、、、Ｙ減１−　層Ｌ＝２のニューロン：Ｙ酩１＋１＊　Ｙば１＋２ｔ　ａ　６．ｔＹＭ１十堕２ −　層Ｌ＝にのニューコン：ＹＮ−ッに十、、　ＹＮ−にに＋２ｐ　ｍ　＋　＋　ｔＮニューロン・シグモイド関数を、以前に採用した形から式１の形に変形する　（たとえば”Ｖａｓｓｉｌｉａｄｉｓ　Ｓ　ＮＡ　Ｐ　９０“、”Ｔ−３ＮＡＰ” 、及び”Ｖａｓｓｉｌｉａｄｉｓ　Ｓ　Ｐ　Ｉ　Ｎ　９１”参照）。変更点は、ニューロン処理要素への外部入力を表す項Ｅｘ１を追加したことである。

多（のフィードフォワード・ニューラル・ネットワークでは、入力ニューロン層だけが外部入力を使用する。文献、たとえば”Ｒｕｍｅｌｈａｒｔ　８６”では、フィードフォワード・ネットワークの入力ニューロンは、ニューラル・ネットワーク内の他のニューロンが使用するシグモイド関数ではなく、識別活動化／出力関数を使用する。この場合、Ｙ１＝Ｅｘ１゜その代わり、シグモイド関数が入力ニューロンに使用でき、Ｅｘｌの範囲を−Ａ≦Ｅｘ、≦＋Ａにまで拡大することによって、すべてのニューロンが同じ活動化関数をもつことができる。ただし、Ｅｘ、が１つのニューロンへの唯一の入力であると仮定すると、−八はＹ、＝Ｏに等しく、＋ＡはＹ、≦１に等しい。許容可能な誤差範囲内で、外部人力ＥＸ、の使用によって、入力ニューロンを０”状態または”１″′状態に強制することができる。ネットワーク内のその他のニューロンのＥｘ、は、必要でなければ、Ｏに等しくすることができる。

ニューロン活動化関数Ｆ（Ｚｌ）をシグモイド関数に等しく決定する。その形は、たとえば次の通りである。

−ｅ＝自然対数（２，７１８２８，、、）−関数ｒ（ｚｌ）について、 −〇≦Ｆ（ｚ＋）　≦１ −　Ｔは、所与の１組の２．値に対するシグモイド関数の勾配を変更するために使用する大域制御パラメータである。

既知の１組の入力／教師パターンが与えられた場合、既知入力が後方伝播ネットワークに加えられ、そのネットワークは実行モードで実行しである出力を生ずる。次にネットワークは学習モードに置かれ、ある規則に従って重みが調整される。教師パターンと実際に生じた出カバターンの不一致度が誤差である。後方伝播学習規則の背後にある基本概念は、全ネットワーク誤差Ｅ　（Ｗ）を調整可能な重みの関数としてすべての入力／教師パターンについて最小化することである。

ネットワーク誤差Ｅ　（Ｗ）は、教師入力及びネットワーク出力の２次関数として選択される（”Ｒｕｍｅｌｈａｒｔ　８６″の後方伝播／デルタ規則方程式）ニーＱはパターンｐの数に等しい。

−出カニニット上に教師入力しＰｌがある。

特定のパターンｐについて、　Ｅ　（Ｗ）’は、ウィドロウとホフ（”Ｗｉｄｒｏｗ　６０”）の研究によれば、連続値出力をもつユニットのシステムではなく単一層線形しきい値ユニット・システムでは、２次誤差関数をある範囲のネットワーク重みの値に対してプロットした曲線は、１つの最小値をもつ滑らかな関数となる。平均２乗誤差を最小化する手順を使用することによって、ネットワークは、誤差面に沿って単一の最小値に達するまで勾配を下げる。言い替えると、誤差関数が最小になるように重みが変更される。より具体的には、重み変化を誤差関数の導関数の負数に比例させることによって勾配降下が達成される。線形しきい値ニューロンに使用されたこの勾配降下の概念が、シグモイド型応答を有するニューロンに拡張される。

式１及び式２で定義された活動化関数を有するニューロンで平均２乗誤差を最小にするには、重み変化に対する誤差関数の導関数を計算しなければならない。重みは、勾配降下方程式に従って変化しなければならない。

（上式で、ρは比例定数である。）連鎖体を使用して重みに対する誤差関数（式５）の導関数をとると、式７の最初の部分（ｄ　Ｅ’）　／　（ｄ　ｚ’、）は、第ｉユニットの入力の変化に対して誤差Ｅ′がどのように変化するかを表す。

式７の第２の部分（ｄ　ｚ’ｚ）　／　（ｄＷｔＪ）は、特定の重みＷｌＪの変化に対して第ｉ入力がどのように変化するかを表す。

外部人力Ｅｘ、はネットワーク実行中一定と仮定されるので、式７の第２の部分の導関数は次のようになる。

式７の第１部分の導関数は、”Ｒｕｍｅｌｈａｒｔ　８６”によって解釈された線形ニューロンで使用される元のデルタ規則アルゴリズムに基づいている。ニューロンが線形であるなら、Ｙ′、は入力ｚＰ、またはその定数倍に等しくなるはずである。この線形式と「一貫性」をもつようにするため、第１の導関数は、” Ｒｕｍｅｌｈａｒｔ　８６”に従って次のように定義する。

誤差面Ｅ上で勾配降下を実施するため、弐６に基づくこの学習規則に従って重みを変化させる。

ΔＷ、、＝ρδ’１Ｙ’、　（１０）（上式で、ρは学習速度（比例定数）を表す。）多層ネットワーク内のすべてのニューロンについてδ′、を決定することが、後方伝播アルゴリズムの核心である。式９に対して微分連鎖規則を適用すると、次式が得られる。

第１項（ｄＥ’）／　（ｄＹ’りは、ニューロンの出力の関数としての誤差の変化を表し、第２項（ｄ　Ｙ’＋）　／　（ｄ　Ｚ’＋）は入力の変化の関数としての出力の変化を表す。第２項は出力ニューロンと隠れニューロンの両方に有効である。活動化関数（式２）の導関数は次の通りである。

式１１の第１項の計算は、ユニットが出力ニューロンであるか、それとも隠れニューロンの１つであるかによって変わる。

出カニニットの場合は、教育入力が使用可能なので、出力ニューロンに関する式１２を式１４に代入すると二δへ＝　（ｔ’！−ｙｐ、）ＹＰｌ（１−Ｙ’１）　（１５）従って、出力ニューロンについては、式１０は次のようになる。

ΔＷ１．＝ρＹ’Ｊ　（ｕ’＋　Ｙ’ｚ）Ｙ’＋（Ｉ　Ｙ’、）　（１６）出力Ｙ、をもちＹ、がフィードフォワード層に接続されている層り内の第１の隠れユニットについて、連鎖体を使用して（ｄ　Ｅ’）／（ｄ　Ｙ’１）を書き直すと、上式で、ｍ＝Ｍ１＋Ｍ２＋、、、＋ＭＬ式１７は、ニューロンのフィードラオワ−１’層Ｙｔ＋ｉ？Ｙ　ｍ＋２＋　Ｉ　Ｔ　−＃　ｙＮに対する層り内のＹ、の効果を表す。続は調べている唯一の効果はＹ、によるものなので、フィードフォワード層内のすべての入力のＹｌに対する導関数は次のように式９を式１９に代入すると：Ｗｃ、は、１つのフィードフォワード層内における隠れユニットｉからニューロン・ユニットＣへの結合重みであると解釈される。式１１を整理すると、式１２及び２０を式１１に代入すると：次に、式１０に基づいて、 ΔＷ、Ｊ＝ρｙ　Ｐ　Ｊｙ　’　、（Ｉ　Ｙ　’　＋　）Σ　δＰｃＷｃ、（２２）Ｃ１１口十１層りの隠れユニットの誤差信号δ′１を、Ｌより前の層に後方伝播させて、重み修正プロセスを続行することができる。

多層ニューラル・ネットワークでは、式１６及び２２が後方伝播学習規則を構成する。すべての重みが、下記の一般規則に従って更新される。

新しいＷ１ｊ＝古いＷ、＋ΔＷｉ、（２３）いま図を詳細に参照すると、後方伝播は、高水準からは第２図に示すように見える。第２図は、３層後方伝播ネットワークを示している。　’Ｇｒｏｓｓｂｅｒｇ　８７”参照。第１図は、３層Ｆ１、Ｆ２、Ｆ３の後方伝播ネットワーク内に含まれる主要な計算ブロックの概略を示す。このネットワークへの入力は、３つの層Ｆｌ、Ｆ２、Ｆ３を通過して、Ｆ３層から実際のネットワーク出力を発生する。ユニットのＦ１層、Ｆ２層、Ｆ３層は、各層内でニューロンの出力を直接生成する、非線形で、微分可能な、非減少の活動化関数をもつ。これらの活動化関数は、微分器ブロックＦ６、Ｆ７、及び誤差信号ブロックＦ４、Ｆ５に送られる。ブロックＦ６及びＦ７は、それぞれ層Ｆ３及びＦ２からの活動化関数を微分し、対応する誤差ブロックＦ４及びＦ５に信号を供給する。またブロックＦ４は、層Ｆ３からの直接出力と、予想出力と記された教育入力とを受け取る。ブロックＦ４は、予想出力と実際の出力Ｆ３の差に実際の出力Ｆ３の導関数を掛けた積に基づ（学習信号を作成する（式１５）。次に、Ｆ３とＦ２の間の重みが、学習信号によって修正される（式１６及び２３）。隠れ層とも呼ばれる層Ｆ２への重みは、多少異なる規則によって修正される。というのは、教師、すなわちＦ２層に対する予想出力が存在しないからである。Ｆ５ブロックからの学習信号は式２１に等しく、重みは式２２及び２３に基づいて更新される。

このネットワークは、２つのフェーズ、すなわち実行または順方向伝播フェーズと、Ｆ３層から出発して重みを修正し入力層へ後方伝播する、ネットワークを介する後方伝播である学習フェーズで働（。このサイクル、すなわち新しい出力を発生する順方向伝播フェーズと、その後に続く重みを更新する後方伝播フェーズは、実際値と目標値が一致する、または許容範囲内に入るまで続く。

学習機械シナプス・プロセッサ・アーキテクチャ”Ｔ−３ＮＡＰ″に記述されたＴＳＮＡＰ構造は、ＴＳＮＡＰが重み修正機構を提供しなかったので、ホスト・プロセッサが、ニューラル・ネットワーク・モデルが必要とする学習機能を提供することを必要とした。さらに、Ｔ　Ｓ　ＮＡ　Ｐは、式１で記述されるニューロン実行機能も提供しない。複数の学習アルゴリズム及び新しいニューロン定義（式１）に対応するには、ＴＳＮＡＰアーキテクチャの大きな変更が必要である。これらの変更は、ニューラル・ネットワーク・パラダイムに通常付随する能力を超える能力をもたらすものである。

ＴＳＮＡＰで提供された固定乗算機能の代わりに、命令を受け取って実行する新しいタイプの計算要素で乗算要素を置き換えた、より一般的なプロセッサ・アーキテクチャが使用される。この新しいアーキテクチャをシナプス・プロセッサ・アーキテクチャ（ＳＰＡ）と呼ぶ。ビット直列通信が、システム装置の好ましい実施例によって実施される以下のアーキテクチャの議論の基礎となる仮定であるが、このビット直列のＳＰＡ実施例は、ビット直列の実施態様だけに限定されるものではな（、このアーキテクチャはやはり以下で詳細に説明するワード並列形式にも適用できる。

重み／Ｙ値乗算機能は、式１及び２で定義されるように、生物ニューロンとの粗い機能的類推では、入力シナプス処理に対応する。拡張された乗算セルまたは［シナプスコプロセッサ・アーキテクチャは、重み／Ｙ値乗算機能及び以下で説明する追加の機能を含む。学習なしのニューラル実行能力、一般セル構造及び対角線セル構造を実施するには、２つのタイプのプロセッサ「セル」構造が必要である。

学習なしの基本実行構造、及び学習をサポートする新しいプロセッサ構造は、第３図及び第４図に示されている。以下の説明で使用する「要素」という用語は、重み変更能力なしのシナプス処理に必要な最小のアーキテクチャ機能ユ・ニット、すなわち重みレジスタ、Ｙ値しジスタ、及びＷ、ｊＹ、で象徴的に示される乗算器を意味する。第１の「セル」　（第３Ａ図）は、対角線要素ｗ、ｘｙ、と関連し、第２の「セルＪ、Ｇセル（第３Ｂ図）は残りの要素Ｗ１．Ｙ、と関連し、上端及び下端配置で示された、Ｇセル内に置かれた２つの要素を含む。基本的ニューラル実行構造（第３Ａ図及び第３Ｂ図）に対する変更点は、第４Ａ図及び第４Ｂ図に示されており、タグ比較機能、コマンド（ＣＭＤ）レジスタ、一時（ＴＥＭＰ）レジスタ、各データ・レジスタ内の条件付き実行ビット（ＣＥＢ）、データ経路レジスタ、コマンド経路ビット、セレクタ及びディストリビュータ制御構造、及び実行ユニット（ＥＸＵ）ブロックで表される乗算以外の拡張機能を追加したことである。

簡潔に言うと、タグ比較機能により、同報通信Ｂビットを用いて個々のシナプス・プロセッサ「要素」またはすべてのプロセッサを選択することが可能になる。

コマンド制御命令とデータ経路、ならびに拡張ＥＸＵ機能、データ経路レジスタ、コマンド経路ビットはプログラマブルな記憶要素である。一時レジスタは、各要素内で追加の記憶能力を提供し、セレクタ及びディストリビュータ制御構造は、記憶されたデータ／コマンド経路とコマンドのソース・アドレス及び宛先アドレスとに基づく内部要素経路の選択を制御する。この新しい形のプロセッサ・セルは、シナプス・プロセッサ（ＳＹＰ）と呼び、対角線セルはＤＳＹＰ、一般セル（Ｇセル）はＧＳＹＰと呼ぶ。第３Ａ［ｆｆｉ及び第３Ｂ図を検討して、ニューラル・ネットワーク・モデルにおける完全な接続性をサポートするＳＹＰセルの本質的かつ新規なアーキテクチャ上の特徴を簡潔に考察する。たとえば、各処理セル内での乗算を暗示する、実行モードにあるニューラル・ネットワーク・モデルでは、対角線セルは、その記憶された重みにその記憶されたＹ値を掛け、乗算結果を関連する加算器ツリーに供給する。対角線セルの逆通信モードでは、関連する加算器ツリーからＹ値を受け取って、Ｙ値しジスタに記憶する。またこの構造の「Ｇセル」は、重みとＹ値の積を生成し、この積を関連する加算器ツリーに供給する。これらの「Ｇセル」の逆通信モードでは、下端の乗数加算器ツリーから受け取ったＹ、値は、上端のＹ値しジスタに記憶され、同様に上端の乗数加算器ツリーから受け取ったＹ１値は、下端のＹ値しジスタに記憶される。このＹ値記憶の切替えは、完全な接続性をサポートする本質的特徴である。拡張されたセル（第４Ａｊｌ及び第４Ｂ図）では、この経路切替えはプログラマブルであり、そのために、処理のためのさらに別の独特のアーキテクチャ上の特徴が可能になる。シナプス・プロセッサのプログラマブル性は、逆通信モードにある関連する加算器ツリーからシナプス・プロセッサＣＭＤレジスタで受け取ったコマンドまたは命令を介して得られる。命令を受け取ると、各ＳＹＰ要素は、その命令で指定される操作を実行する。命令のタイプには、データ及びコマンド経路命令、算術命令、及び論理命令がある。各ＳＹＰは、ソース経路と宛先経路及びＥＸＵ機能を指定する、各処理要素用のコマンド・レジスタを含む。ＤＳＹＰは、１つのコマンド・レジスタを含み、ＧＳＹＰは２つのコマンド・レジスタを含む。ここで、好ましい重み／ＹＹ値算構造については第３図を、このシナプス・プロセッサ・アーキテクチャの例については第４図を参照されたい。

第５図を参照して通信加算器ツリーの機能（”Ｔ−３ＮＡＰ″参照）について考察する。象徴的加算器ツリーが第５図の左側に示され、各段の加算器は文字Ａで表されている。パイプライン・ラッチは、わかりやすくするために省略した。使用される通信加算器ツリー構造のより詳細な表現は第５図の右側に示されている。３つの加算器要素が、２段パイプライン式ツリー配置で示されている。加算器要素は、その出力上のブロックである１つのスイッチ１　（ＳＷＩ）、及び加算器をバイパスするブロックである２つのスイッチ２　（ＳＷ２）をもつ。通信加算器ツリーは、２つのモード、すなわち順方向加算モード及び逆通信モード（バイパス・モードともいう）のうちの１つに置（ことができる。ツリーのすべてのノードが同じ関数を提供することを保証するために、各加算器要素で共通の制御信号が使用される。ただし、一般的には、ツリー処理ノードは拡張機能能力のものでよく、各ツリー・ノード内に別々の制御機構を設けることによって処理ノードの制御をより柔軟にすることができる。別々の制御線の使用、またはツリー処理ノードへのタグ付けされたコマンドの使用は、ツリーの処理能力を拡張する機構の２つの例である。ツリー・ノード機能ユニットのより拡張された機能は、機能の定義によって必要とされる追加の記憶要素を含むことができる。

この説明では、通信加算器ツリー処理ノードはすべて、中心制御点からイネーブル／ディスエーブルされる共通のツリー制御信号を利用して、その入力データに対して同じ機能、すなわち加算またはバイパス通信を提供する。ツリー制御信号によって指定される機能の１つは加算器バイパスである。スイッチＳＷＩとＳＷ２はともにオン／オフ制御機構をもち、「オフ」状態にあるときはスイッチを開すなわち高インピーダンス状態に保ち、「オン」状態にあるときは加算器をバイパスして低インピーダンス経路を通る。ＳＷＩがイネーブルされたとき、ＳＷ２はディスエーブルされ、逆も同様である。

こうして、加算器ツリーは、たとえばＳＷＩがオン、ＳＷ２がオフの１方向で加算機能を提供することができ、またＳＷｌがオフ、ＳＷ２がオンの加算器バイパス・モードでは本質的に通信経路として機能する。２−１加算器などの２−１機能要素を使用する加算器ツリーは、ｌｏｇ２Ｎ個の段を必要とする。また、すべて同じ要素タイプのまたは組み合わせた、３−１．４−１．、、、、Ｎ−１加算器などの３−１．４−１、、、、、Ｎ−１機能要素及びそのバイパス・スイッチを用いて、順方向加算器及び通信経路機能を実施して、指定された関数を生成することができる。通信加算器（第５図）はその論理関数を表すことに留意されたい。というのは、たとえば、使用する技術に応じて、「オフ」が高インピーダンス状態に等しいＳＷＩの機能を、各加算器要素の最終内部段で必要とされるゲート装置内に組み込むことができ、それによって加算機能への遅延を増大させないからである。また、別々の通信ツリー経路を設け、それによってたとえば加算機能の進行中に通信を行なうことができる。

４ニユーロンの例を第６図に示す。これは、通信加算器ツリーとシグモイド生成機構を接続して、汎用学習機械（ＧＰＬＭ）に使用される修正ＳＰＡ構造の全体像を提供し、加算器ツリーの上端−下端結合を象徴的に示すことができる。第６図で、シグモイド生成機構ＳＩＧは、式２及び３で記述される関数を提供し、Ｙ導関数生成機構Ｓ　Ｉ　Ｇ’は式１２で記述される関数を提供する。ネットワークの外部人力Ｅｘ１は、最終加算器段に供給されてからシグモイド生成機構に供給される。学習プロセッサは、シナプス・プロセッサのアレイの中心制御点であり、ホスト・コンピュータとインターフェースする。ホスト・コンピュータは、モデル化されたネットワークの結合重み、ニューロンＹ値、Ｙ導関数値、「教師」値、及びトレース値を格納する学習プロセッサの内部記憶装置にアクセスできる。学習プロセッサがもついくつかの機能は以下の通りである。

１、すべてのシナプス・プロセッサの初期設定２．０ＰＬＭの始動３、ＧＰＬＭの停止・モデル化されたネットワークの出力の、所望出力との比較による、収束検査・ホスト指定のＲ更新サイクルが完了した。

４０通信加算器ツリーの制御５、シナプス・プロセッサ命令の発行６、多層ネットワークのシーケンス制御７、シナプス・プロセッサ・データの発行８、学習アルゴリズムにおけるすべてのδ、の計算ニューロン入力と関連するシナプス・プロセッサ・レジスタは、ＬＳＳＤ走査のためにシリアル・ディジー・チェーン方式で互いに接続されている（’Ｅｉｃｈｅｌｂｅｒｇｓｒ　７７” 参照）、ＬＳＳＤ走査は、テスト及びレジスタの初期設定をサポートする。各ニューロンは、実施技術に応じて１つまたは複数の走査ストリングをもつことができる。たとえば、各ニューロンごとにただ１つの重みレジスタを含む１つの独立の走査経路を設けて、学習プロセッサとインターフェースするＮ個の重みレジスタ走査経路を得ることができる。学習プロセッサは、走査経路を介して重みレジスタを初期設定し、学習モードでの重み更新はＧＰＬＭ構造内で並列に実行される。必要ならば、加算器ツリー構造を介してＹ値を逆通信することによって、Ｙ値が初期設定される。ニューロン３に対するニューラル計算で必要な要素の記憶の例を、ここに記述し、第６図に強調して示す。

Ｙ、＝Ｆ　（Ｗ、、１Ｙ工＋Ｊ、２Ｙ２＋Ｗ３．３Ｙ３＋Ｗ３，４Ｙ４）第６図は、シナプス・プロセッサ・アーキテクチャをもつ４ニユ一ロン汎用学習機械を示している。各ニューロン出力Ｙ、は、学習プロセッサに接続され、学習プロセッサは、加算器ツリーの逆通信経路を介してＹ、ニューロンのシナプス・プロセッサに命令を発行する。特定のシナプス・プロセッサ要素とグループ・シナプス・プロセッサの制御は、すべての通信にタグ・ビットと同報通信”　Ｂ　”ビットを追加すること、及び各シナプス・プロセッサ内のタグ及び”Ｂ”ビット比較機能によって得ることができる。第７図に、命令及びデータのフォーマットを示す。”Ｂ”ビットは、フィールド内の第１ビツトとして追加され、Ｂ＝１の場合は同報通信コマンド／データを示し、Ｂ＝Ｏの場合はタグ付きコマンド／データを示す。

同報通信メツセージ／データは、ＴＡＧと独立な特定のＹ、ニューロンにリンクされたＮ個すべてのシナプス・プロセッサに行く。ＴＡＧフィールドは、少な（ともｌｏｇ２Ｎビットの長さでなければならず、あるニューロンに属するすべてのシナプス・プロセッサの識別を可能にする。受は取ったタグは、各シナプス処理要素内に記憶されたタグとビットごとに比較され、最終タグ・ビットの比較が完了した後は、後続のコマンド／データが特定のシナプス・プロセッサ要素によって受け取られるかどうかが既知となる。タグが一致すると、コマンドまたはデータが受け取られ、一致しないとコマンド／データの受取りが妨げられる。また、エラー処理のために、第７図に示すように、Ｐで表されるパリティ・ビットまたはエラー訂正ビットをタグ・フィールドに含めることもできる。

また逆通信されたコマンドまたはデータは、ビット・ストリングがデータなのかそれともコマンドなのかを示す単一のビット（ＣＭＤ）　、特別の自動実行モードを示すＡＵＴ○ビット、及びエラー訂正／検出ビット（ＥＣＣ）を含む。コマンド・ビットの長さ及びデータ・ビットの長さは等しいと仮定されている。表１はシナプス・プロセッサ命令セットを含む。

一例として、ホップフィールド・ニューラル・ネットワーク・モデル（”Ｈｏｐｆｉｅｌｄ　８４”参照）を利用すると、ネットワーク操作のために自動モードを指定することができる。この場合、次のネットワーク・サイクルを開始するために各ネットワーク実行サイクル後にＭＰＹ命令を繰り返し送ることを必要とせず、新しく計算されたＹ値を受け取った後に、自動モードで次の更新サイクルが自動的に開始することになる。この自動モードは、所望のコマンド内のＡＵＴＯビットを”１′にセットすることによって開始される。たとえば、ホップフィールド・ネットワーク・モデルで使用するＭＰＹは、シナプス・プロセッサ内で自動モード・フラグをセットする。この最初の操作は、ＡＵＴＯビットが１″にセットされた命令の受け取りによって開始される。新しい更新済みデータを受け取る度にこの命令が繰り返され、ＮＯＰ命令の受け取りなど新しいコマンドを受け取った時に処理が停止する。たとえばＭＰＹＡのように、大文字のＡが命令二− モニックに追加されると、自動ビットを”１″にセットすべきことを指示する。

ソース・アドレス及び宛先アドレスは、コマンド・レジスタに対する相対なものである。この相対的アドレス指定を第４Ｂ図に示す。図では上端のコマンド・レジスタＣＭＤ　ＴＲＥＧの相対アドレスが、レジスタ・ブロックの右にある欄に示され、下端のコマンド・レジスタＣＭＤ　ＢＲＥＧの相対アドレスはレジスタ・ブロックの左にある欄に示されている。たとえば、下端のコマンド・レジスタＲ２は上端のコマンド・レジスタＲ５と同じであることに留意されたい。加算器ツリーから受け取ったビット・ストリングは、それがコマンドである場合、直列化されて、各Ｇセル内の２個のＣＭＤレジスタのうちの１個、及び対角線セルの単一〇ＭＤレジスタに入れられる。一方、加算器ツリーから受け取ったデータ・ビット・ストリングは、直列化されて、Ｇセル内で使用可能な他の６個のレジスタのうちの１個、及び対角線セル内で使用可能な他の３個のレジスタのうちの１個に入れられる。

ＤＳＹＰでは、Ｒ４ないしＲ６及びＣ，Ｒ２のソース・アドレスまたは宛先アドレスは以下のようにマツプされる：たとえば、ソース・アドレスまたは宛先アドレスが３ビツトと仮定する。ＧＳＹＰに３ビツトすべてを使用させ、ＤＳＹＰには２つの最下位ビットだけを使用させることによって、適切なマツピングを行なうことができる。

−０００→　ＣＲＩ宛先レジスタ経路は、ＰＡＴＨ命令によって指定されたままとなり、データ経路レジスタまたはコマンド経路ビット・レジスタに記憶される。異なる経路を希望する場合は、ＰＡＴＨコマンドを再発行しなければならない。コマンドが指定されない場合、省略時のレジスタ経路は”Ｔ−３ＮＡＰ”に記述されているようになる。すべてのシナプス・プロセッサ・データ・レジスタは、各データ・レジスタ内に条件付き実行ビットがあるために、長さくＤ＋１）ビットである。命令及びデータのフォーマットを示した第７図を参照のこと。ＣＥＢがある命令の宛先レジスタ内で７ｊｏ″にセットされている場合、そのコマンドはＮＯＰ命令として扱われる、すなわち宛先レジスタの内容は変更されず、′○”が加算器ツリーに送られる。ＣＥＢが”１″にセットされている場合は、レジスタの内容を変更することができる。たとえば、このビットを重みレジスタ上で使用して、結合の有無を識別することができる。

というのは、後で提示するボルツマン様機械の例に見られるように、Ｏの重み値は必ずしもこれを実施するのに十分ではないからである。加算器ツリーが宛先点でない場合、あるいはＮＯＰ状況が発生している場合は、必ず″ゼロ″が加算器ツリーに送られる。ＣＥＢは、初期設定時にチップの走査機能または経路コマンドを用いてセットすることができる。

第１表は、本発明の好ましい命令セット機能を列挙する。

第１表　シナプス・プロセッサ命令セット第１表のように、ＰＡＴＨコマンドは、加算器ツリー中を逆通信される情報用のシナプス・プロセッサ内部のデータ及びコマンド経路をセットアツプし、この経路は、その経路を変更する新しいＰＡＴＨコマンドを受け取らない限り、同じままとなる。たとえば、ＧＰＬＭ上のホップフィールド・ネットワーク・モデルでは、省略時の経路が以前の処理のために変更されていた場合、逆通信モードで、上端の加算器ツリーがその受け取ったＹ値を下端のＹ値しジスタに結合し、下端加算器ツリーがその受け取ったＹ値を上端のＹ値しジスタに結合することができるようになると、ＰＡＴＨコマンドが発行されることになる。ホップフィールド・モデルでは、この経路コマンドは、固定重み実行モードを仮定すると、ネットワーク実行中ずつと有効なままとなる。また、ＰＡＴＨコマンドは、次のコマンドに対する経路の指定を可能にする。

これは、ニューロンが、２つの独特なモードで動作できるので、興味深い新しい機能を意味する。Ｙ　ＩＮＭＯＤＥと呼ばれる第１のモードでは、すべてのニューロンについて、下端の加算器ツリーから受け取ったコマンドはＣＭＤ　ＢＲＥＧ（ＣＲＩ）に送られ、上端の加算器ツリーから受け取ったコマンドはＣＭＤ　ＴＲＥＧ　（ＣＲＩ）に送られる。この場合、ＹＩＮＭＯＤＥでは、すべてのニューロン入力ＳＹＰがコマンド・フィールドで指定された通りに機能する。こうして、各ニューロンを、そのニューロンへのすべての入力に共通な、異なる入力シナプス処理機能で指定することができる。たとえば、ニューロン８へのすべての入力は、重みレジスタ値とニューロンＹ［の乗算によって指定でき、ニューロン７へのすべての入力は、一時レジスタ値とニューロンＹ値の乗算によって指定できる。すべてのニューロン通信加算器ツリーは互いに独立なので、異なるニューロンではＹＩＮＭＯＤＥで各ニューロン入力機能の実行回数が異なることがあり得るが、このような場合、加算結果が異なる時に発生し、そのため、処理しなければ学習プロセッサで同期の問題が発生する可能性があることに留意されたい。ＹＩＮＭＯＤＥを使って、処理すべきニューロンを非同期的に選択することができる。ＹＯＵＴＭＯＤＥと呼ばれる第２のモードでは、すべてのニューロンについて、下端の加算器ツリーから受け取ったコマンドは、ＣＭＤ　ＴＲＥＧ　（ＣＲ２）に送られ、上端の加算器ツリーから受け取ったコマンドは、ＣＭＤ　ＢＲＥＧ　（ＣＲ２）に送られる。この場合、ＹＯＵＴＭＯＤＥでは、すべてのニューロンＹ値出力は、その入力宛先ＳＹＰで適用されるのと同じシナプス関数をもつ。こうして、各ニューロンはその入力ＳＹＰで複数の関数をもつことができる。たとえば、すべてのＹ８宛先ＳＹＰは、重みレジスタ値とニューロンＹ値の乗算によって指定でき、すべてのＹ７宛先ＳＹＰは、一時レジスタ値とニューロンＹ値の乗算によって指定できる。

１つのニューロン入力で指定されたすべての関数は、それらの関数が異なっていても同じ長さの時間で実行しなければならない。一般的ニ、ＹＩＮＭＯＤＥ、！：ＹＯＵＴＭＯＤＥ＋、ｔ、争奪が発生する可能性があるので、単一のネットワーク構造内で相互に交換できない。”Ｔ−３ＮＡＰ”におけるＴＳＮＡＰの最初の記載では、これらのニューロンは、ＧＰＬＭにおけるＹＯＵＴＭＯＤＥに対応する固定動作モードで機能し、すべてのニューロンは同じ関数によって指定された。入出力エンコーダ問題及びボルツマン様機械の例では、Ｙ　Ｉ　ＮＭＯＤＥを利用する。ボルツマン様機械の例は、この説明で提示する後方伝播の例の後に挙げる。

多くの命令は、個々のシナプス・プロセッサにとって局所である宛先を指定する。この局所処理は、正しく処理しない場合、同期の問題を発生し得る。ＧＰＬＭ構造全体に同期機構を拡散させる代わりに、同期の問題が学習プロセッサのニューロン出力点に局在することになる。シナプス・プロセッサからは局所処理完了の通知は生成されない。そうではな（て、操作の安全を保証するために、ニューロン出力点に固定されたハードウェア機構が設けられる。また、この問題をシナプス・プロセッサ位置にある待ち行列を使って「解決する」ことは望ましくない。というのは、そうすると、シナプス・プロセッサのサイズが増大し、単一のチップ上に配置できるその数が制限されるからである。そうせずに、命令発行点で問題を解決し、すべての危険を回避する。同じシナプス・プロセッサへのどの局所処理コマンドも、その同じシナプス・プロセッサへの次のコマンドから指定されたシナプス・プロセッサ命令の実行時間だけ分離しなければならない。たとえば、ＭＰＹコマンドを完了するのに２Ｌクロツクを要する乗算は、第２のコマンドが送られる前に完了しなければならない。こうする必要があるのは、コマンド・バッファ・レジスタを必要としないためである。というのは、各コマンドは、指令された機能の動作中、シナプス・プロセッサ内で一定のままでなければならないからである。非局所命令、すなわち、宛先が加算ツリーである命令は、収束したツリー結果が学習プロセッサに届いたとき、動作完了の通知を提供する。非局所命令では、学習プロセッサは、結果を受け取るまで待ってから、新しい命令をそのツリーに接続されたシナプス・プロセッサに送る。次に、学習プロセッサ内の各ニューロン出力点を同期機構でセットアツプして、各シナプスに命令を最大速度で安全に発行することができる。

最後に、ここに記載した命令セットを使用してプログラム内で宛先争奪が起こらないようにするために、ＧＰＬＭコンパイラが必要になる。

後方伝播学習の例ＧＰＬＭ構造上で後方伝播がどのように使用されるかを実証するために入出力エンコーダ問題を使用する。第２表は、入カー出カバターンのコード化問題を示す。”Ｒｕｍｅｌｈａｒｔ　８６”を参照のこと。

第２表　入出力コード化問題この問題に使用するネットワーク構造を第８図に示す。第８図は、入出力コード化問題のためのニューラル・ネットワークを図示している。すべてのニューロン出力が学習プロセッサに使用可能なので、ＧＰＬＭ構造上にマツプされるとき、多層ネットワークにおける隠れユニットのようなものはない、多層ネットワークは、重みレジスタの条件付き実行ビットがＯにセットされることによって未使用の接続経路がゼロの重み値に保たれた、完全に結合されたネットワーク構造上にマツプされる。１１ニユ一ロンＧＰＬＭ構造を必要とする入出力コード化問題では１１個のニューロンが使用される。入出力エンコーダ問題は、１１ニユ一ロンＧＰＬＭ構造で使用可能なすべての可能な結合を必要としない。たとえば、ニューロン９に関する入出力エンコーダ・ネットワーク方程式は次のようになる。

Ｙ、＝Ｆ　（ｗ、、’ｙ、＋ｗ５．．ｙ、＋ｗ、、、ｙ６＋ｗ、、□ｙ　７　）第９図は、一般の１１ニユ一ロンＧＰＬＭを、完全に結合された１１ニユーロン構造の各ニューロンのコマンド、重み、Ｙ値、及び一時レジスタ値と共に示す。

学習プロセッサ、シグモイド、及び導関数ブロックはわかりやすいように省略した。必要に応じて、加算器段遅延と等価な、遅延ブロックを伴うシーリング（ｌ　ｏ　ｇ　２Ｎ）加算器段が使用される。シーリング関数は、オペランド値の次に大きな整数をとる。すなわち、シーリング（ｌｏｇ２１１＝３．４５９．、、）＝４である。

実行モード中、Ｙ値は層ごとに計算される。すなわち、層ｌが最初に計算され、そのＹ値結果が層２のために使用され、以下最後の層までこれを繰り返す。ニューロンのに個の層がすべて処理された後、ネットワークは学習モードに置かれる。

出力ニューロンは、出力層から誤差信号を計算し、次いで誤差信号値をツリーを介してシナプス処理セルに逆通信する。

誤差信号の後方伝播は、出力層から開始し、入力層に向かって次々に層ごとに実行される。様々なシナプス・プロセッサ内で適切な命令を実行することによって、後方伝播アルゴリズムを実行することができる。

順序通り並べられた手順を用いる詳細な例で、ＧＰＬＭ上にマツプされたとき、入出力エンコーダ学習問題が後方伝播アルゴリズムによってどのように実施されるかを説明する。

あるパターンｐ（一般に、肩付き文字ｐはわかりやすいように省略する）について、ＧＰＬＭニューロコンピュータ内で以下に箇条書きにする手順に従う。「無結合」重みはわかりやす（するために省略する。コマンド・レジスタに対するレジスタの相対位置は、第９図に示されている。

１、ＧＰＬＭが、第１０図に示すように、重みレジスタのＣＥＢビットが１ｎにセットされている、重み値の初期セット内を走査することによって初期設定される。その他の重み値及びすべてのＹ値しジスタはゼロ値で走査される。

２、初期設定後ＧＰＬＭが実行モードに置かれ、入カバターン（ＥＸＩ及びＥＸ２）が加えられ、省略時経路が一般シナプス・プロセッサを通るものとして設定される。具体的には、上端のＡＤＤツリーから受け取ったコマンドは下端のコマンド・レジスタＣＲ２に行き、下端のＡＤＤツリーから受け取ったコマンドは上端のコマンド・レジスタＣＲ２に行く。

上端のＡＤＤツリーから受け取ったデータはＲ５Ｙルジスタに行き、下端のＡＤＤツリーから受け取ったデータはＲ５Ｙ３レジスタに行り、（相対アドレス指定を仮定する。）３、ニューロン１．２１．、、．１１がＭＰＹＡ　Ｒ１掌Ｒ２→ ＡＤＤ　ＴＲＥＥを発行する。（ＡＤＤツリーが加算用に指定される）。ネットワーク実行の各層について乗算命令を再発行する必要なしに性能を向上させるために自動モードが使用される。ＧＰＬＭ構造内のＹ値しジスタは最初０なので、すべての重み×Ｙ値は積０を生じ、したがって加算されるとＯの加算値を生ずる。

４、ニューロンの第１層がＧＰＬＭ構造上で実行されて、第１層ニューロン出力及びその導関数を生成する（第１０図）。

（学習プロセッサは、他のニューロン出力値、すなわちＹ３、Ｙ４１．、、、Ｙｌｌを無視する。）５、第１層ニューロン出力が、ＧＰＬＭにフィードバックされ、ニューロンの第２層が実行されて、ニューロン出力の第２層及びその導関数を生成する（第１１図）。にニューロン３だけは、データなしとして応答する。あるいは、他のニューロンではコマンドは逆通信され、ニューロン３だけは有効重み、重みレジスタＣＥＢ＝１、及びＹ値の積をもつ。）・Ｙｌ及びＹ２を逆通信する、Ｙ３＝＝Ｆ　（Ｗ３．ＩＹ、＋Ｗ３．２Ｙ２）”　Ｄｒ　３＝Ｙ３　（１−Ｙ３）６、すべての層が実行されてネットワーク出力及びそれらの導関数が得られるまで上記のプロセスが繰り返される（第１２図及び第１３図）。

・Ｙ、を逆通信する・Ｙ４”Ｆ　（Ｗ４．３Ｙ３）・Ｙ５”Ｆ　（ｗ、、、ｙ、）・Ｙ６＝Ｆ　（Ｗ、、３Ｙ、）・Ｙ７＝Ｆ　（Ｗｔ、３Ｙ３）・Ｙ４、Ｙ、ＡＹ６、及びＹ７を逆通信する一Ｙ８＝Ｆ　（ｗ８，４ｙ４＋ｗ８．ｙ、＋ｗ８，６ｙ、＋ｗ、、了Ｙ了）・Ｙ、＝Ｆ　（ｗ３．、ｙ、＋ｗ９．．ｙ、＋ｗ、、６ｙ、＋ｗ７，７ｙ７）・Ｙ１ｏ＝Ｆ　（ｗ、。、４ｙ４＋ｗ、。

、、ｙ、＋ｗ、０．．ｙ６＋ｗ、。、７’ｙ丁）−Ｙ　１１＝Ｆ　（Ｗｌｌ、４Ｙ４＋Ｗ１１，５Ｙ５＋ＷＨ，６Ｙ６＋Ｗ１１，７Ｙ７）・Ｄｒ６＝Ｙ、、（１ −Ｙ８）・Ｄｒ、＝Ｙ、（１−Ｙ、）・Ｄｒ１０＝Ｙ１０（１’１’１０） ”　Ｄｒ１１＝Ｙ１１　（１−Ｙｌｌ）７．１１個のニューロン値及びその導関数がすべて計算され、Ｙ値及びＹ導関数アレイに入れられた後、ＧＰＬＭは学習モードに置かれる。

８、学習プロセッサが、最小指定誤差に収束するかどうかＹｌを検査する。到達している場合、パターンｐについての学習プロセスを停止することができる。収束に達していない場合は、パターンｐについての学習が続行される。

・収束テストＹｅ＝ｌ　（ｔｅ　Ｙｅ）ｌ≦最小誤差・収束テストＹ９＝　ｌ　（ｔｇ　ｙ、）ｌ≦最小誤差・収束テストＹｔｏ＝ｌ（ｔｉ。−Ｙｌ。）Ｉ≦最小誤差・収束テストＹｔｔ＝　ｌ　（ｔ　１１　Ｙｔｔ）　ｌ≦最小誤差９、学習プロセッサは、出力ニューロンと前の層内のニューロンとの間の重みを更新する際に使用するために出力ニューロンに関するδ′、を計算する。

δ’１＝　（ｔ’１−Ｙ’、）Ｄｒ’１・δ６＝Ｅ８＝　（ｔ６−ＹＢ）Ｄｒ６・δｇ＝　Ｅ　９　＝　（ｔ　ｇ　Ｙｇ）　Ｄ　ｒ９・　δｔｏ＝Ｅ１””　（ｔ、。−Ｙｌｏ）Ｄｒｌ。

・δＬ１＝Ｅ１””　（ｔＩＬ−Ｙｌｌ）Ｄｒｌｌｌｏ、データ経路が変更され、次に誤差信号が当該の各乗数入力セル一時レジスタに逆通信される（第１４図）。・ニューロン１．２１．、、．１１が、ＰＡＴＨＲ４を発行することによってデータ経路を変更する。ＰＡＴＨＲ４が発行されると、上記のステップ３で発行されたＭＰＹＡによって指定される自動乗算モードが停止する。受は取り中のデータは、ＧＳＹＰ内の相対アドレスＲ４及びＤＳＹＰ内のＲ３一時レジスタに行く。コマンド経路は変更されないままとなる。

・Ｒ８、Ｒ９、Ｅｇｏ、及びＥｌｌが、Ｙ８、Ｙ３、Ｙｌ。、及びＹ工、ソース点から逆通信される。

１１、誤差信号と適当な重みとを乗算するためのＭＰＹ命令を発行する。積が加算されて、誤差水和合計ＥＲ’、を生成する。これは、次層後方重み修正プロセスで使用される（第１５図）。コマンド経路、すなわち上端のＡＤＤツリー・コマンドから下端のコマンド・レジスタ　（ＣＲ２）、及び下端のＡＤＤツリー・コマンドから上端のコマンド・レジスタ（ＣＲ２）への経路は変更されなかったので、誤差信号は受け取ったコマンドに関する一時レジスタ・アドレスＲ３内にある。

上式でｍ＝＝Ｍ、＋Ｍ２＋−、、＋ＭＬ・ニューロン８．９．１０．及び１１が、ＭＰＹ　Ｒ６”Ｒ３→ＡＤＤ　ＴＲＥＥを発行する。下端のコマンドＲ６重みレジスタ（下端のコマンドに関する重みレジスタ）のＣＥＢビットが０に等しいので、有効な積の和は、ＧＳＹＰの上端ＡＤＤツリーを介してのみ得られる。

−ＥＲ，＝Ｗ、、４Ｅ８＋Ｗ９，４Ｅ９＋ＷｔＯ，４Ｅ１ｏ＋Ｗ１．．４Ｅ、１ −　Ｅ　Ｒ５＝Ｗ＋５．、Ｅ　、＋Ｗ９．５Ｅ　９＋ＷｔＱ、、Ｅ　１．＋Ｗ１１，５Ｅ　１１−　Ｅ　Ｒ，＝Ｗ９．．Ｅ　、＋Ｗ９，６Ｅ　９＋ＷｔＯ，６Ｅ　１０＋Ｗ１１．、Ｅ　ｔｔ−Ｅ　Ｒ７＝Ｗ、、７Ｅ　８＋Ｗ９，７Ｅ　９＋ＷｔＯ，、Ｅ　１．＋Ｗ１１．．Ｅ　ｔｔ１２、層り内の誤差信号が計算される。

これは、新しく計算された導関数に関する式２１、式２４、及び誤差水和方程式２５を使用して、Ｌより前の次の層（が存在する場合、そこ）で使用される　（第１６図）。ニューロン３はＰＡＴＨＣＲＩを通ってＹＩＮＭＯＤＥに置かれ、次にニューロン３に乗算コマンドが発行され、最後にニューロン３がＰＡＴＨＣＲ２を通って￥ＯＵＴＭＯＤＥに置かれ、ＧＰＬＭ構造内の他のニューロンと一貫性をもつようになる。

δ’、＝Ｄ　ｒ’、ＥＲ’１　（２６）・δ４＝Ｅ４＝Ｄｒ４ＥＲ４・δ５＝Ｅ５＝Ｄｒ５ＥＲ５・δ６＝Ｅ６＝Ｄｒ６ＥＲ６・δ、＝　Ｅ　７　＝Ｄ　ｒ７Ｅ　Ｒ７・Ｒ４、Ｒ５、Ｒ６、及びＲ７を当該の各乗数入力セルに逆通信する。

・ＰＡＴＨＣＲＩ・ニューロン３がＭＰＹ　Ｒ６”Ｒ３→ＡＤＤ　ＴＲＥＥを発行する。

・ＥＲ３＝Ｗ４，３Ｅ４＋Ｗ９．、Ｅ、＋Ｗ６，３Ｅ６＋Ｗ、、３Ｅ。

・ＰＡＴＨＣＲ２１３、層２について誤差信号（Ｒ３）が計算され、構造内に逆通信される（第１７図）。

δ’ｉ　＝　Ｄ　ｒ　’ｓ　Ｅ　Ｒ’ｓ　（２６）・δ３＝Ｅ３＝Ｄｒ３ＥＲ３・Ｒ３を当該の乗数入力セルに逆通信する。

・第１層内では重みを調整する必要がないので、ここで後方伝播アルゴリズムを停止することができる。

１４、このとき、ニューロンのΔＷ１Ｊは３つの命令ステップで計算することができる。８．＝Ｅ、を代入すると、ΔＷ１．＝ρＹｐ、Ｅ１ｐ　（２７）８、ステップ１−ニューロン１．２１．、、．１１が、ＭＰＹ　Ｒ５京Ｒ３→Ｒ４を発行する（第１８図）。

・ＴＥＭＰＲＥＧ３，１＝Ｙ、Ｅ　３・ＴＥＭＰＲＥＧ、、２＝Ｙ２Ｅ　３・ＴＥＭＰＲＥＧ４，３＝Ｙ３Ｅ４・以下になるまで継続する・Ｔ　ＥＭＰ　ＲＥＧｌｌ　、７＝Ｙ７Ｅ　１１ｂ、ステップ２−ニューロン１．２１０００．１１が、ＭＰＹ　Ｒ４“ＩＭ、Ｄ−４Ｒ４を発行する（第１９図）。ＩＭＤは学習速度ρを含んでいる。

・ΔＷ、、、＝ρＴＥＭＰＲＥＧ３，１・ΔＷ３．２＝ρＴＥＭＰＲＥＧ、、２・ΔＷ、、３＝ρＴＥＭＰＲＥＧ、、３・以下になるまで継続する・ΔＷ１１．７＝ρＴＥＭＰＲＥＧ１．、。

ｃ、ステップ３−ニューロン１．２、・・・・　１１が・ＡＤＤ　Ｒ６＋Ｒ４→ Ｒ６を発行する（新しい重み値がこれで計算された）（第２０図）。新しい重み値はｗ’　、ｊで示される。

新Ｗ、Ｊ＝旧Ｗ、Ｊ＋ΔＷ１．すべてのニューロンについての式２３％式％・以下になるまで継続するニーｗ’　１１．＝ｗ１１．７＋ΔＷ、、７１５、新しい経路コマンドが、次の学習サイクルＰＡＴＨＲ２に備えて送られ、従って新しいＹ値が適切なレジスタに送られる。

１６．０ＰＬＭが実行モードに置かれ、調整された重みによって出カバターンが教育パターンと最小指定誤差で一致するまで既存のパターンｐが再び加えられる。最小指定誤差に達するまで、ＧＰＬＭは実行モードと学習モードに交互に切り替わる。最小指定誤差に収束した後、新しいパターンを加え、すべての教育パターンが加えられるまでこのプロセスを繰り返すことができる。

フィードフォワード実行及び後方伝播の性能実行の各種モードのステップを以下に示す。

実行モード：第１層タイミング：ＭＰＹＡ命令発行：　（Ｌ−１）＋　（ｌｏｇｚＮ）δ６ＭＰＹプラスＡＤＤツリー二δｗ＋　（ｌ　Ｏｇ　２Ｎ）　δ６＋６６シグモイド遅延：δ３第２層タイミング：シグモイド遅延とオーバーラツプさせたＹ値の逆通信＝（ｌｏｇｚＮ）δ６ＭＰＹプラスＡ、ＤＤツリー二δに＋　（ｌ　ｏ　ｇ　２Ｎ　）　δ６＋６６シグモイド遅延：６にれかに個の層すべてについて繰り返され、従って一般にに個の層の場合、フィードフォワード実行遅延は下記のようになる（各層は順次実行されることに留意されたい）。

（Ｌ−１）＋Ｋ　（δ）ＩＩ　＋　２　（ｌ　ｏ　ｇ　２Ｎ）　δ６＋６６＋６６）学習モード：新しい定義は次のようになる。

・δＦ、、＝誤差信号計算遅延・δｃＴ＝収束テスト遅延・δ。や。／ＮＤ＝　（Ｌ　−１）　＋　（ｌ　ｏ　ｇ２Ｎ）　δ６コマンド（ＣＭＤ）または別々のオーバーラツプしないデータ（ＮＤ）を通信する際の遅延・δＡＩ）Ｄ＝Ｌδ６＋トデータ・ワード及びコマンド・ワードの長さＬビット入出力エンコーダ・ニューラル・ネットワークと同様、第１層上に計算する必要のある重み付けされた入力がな（、かつすべてのＹ値導関数が利用できるものと仮定すると、セットアツプ：収束テスト及びＰＡＴＨコマンド：δＣＴ＋δＣゎ第１後方伝播：誤差信号を計算し、計算された誤差信号を逆通信する：δε１＋δＮＤＭＰＹ及び誤差信号加算： δ。、Ｄ＋δ、＋　（ｌ　ｏ　ｇ　２Ｎ）δ６第２後方伝播：誤差信号を計算し、ＰＡＴＨを発行し、計算された誤差信号コδ５．＋δＮＤを道通信し、ＰＡＴＨを発行する。

ＭＰＹ及び誤差信号加算：δ。ゎ＋δイ＋（ｌｏｇｚＮ）δにれを、Ｋ−２個の類似の後方伝播について繰り返し、従って一般にに個の層の場合、（Ｋ−２）（ δ。１＋６．０＋δｃＭｒ）＋δ、！＋　２　（ｌ　ｏ　ｇ２Ｎ）δＡ）最終後方伝播は前進加算を必要とせず、従って：δ訓＋δＮつ最終重み更新は、３個の局所コマンド、すなわち２個のＭＰＹと１個のＡＤＤからなる３つのステップで実行される：３δｃ、０＋２δＭ＋δ＾ｒ：ＩＤ δＣＮＩＤとδＮＤに代入し整理すると、一般にに個の層の場合の学習モード・タイミング遅延が得られる：δＣ丁十　δｃｖｒｙ＋　（Ｋ　２　）（δ５１＋ δＮＤ＋　δＣＭＤ＋　δ、＋２（ｌｏｇｚＮ）δＡ）＋６５．＋δＮＤ＋３３ｃ、Ｉ！。＋２６゜＋δＡＤＤδ６が１時間単位に等しいと仮定すると、学習モード・タイミング遅延は次式で与えられる： δ。ア＋（Ｋ−１，）δ８．十にδい＋２　（Ｋ＋　１　）Ｌ＋（４Ｋ　３）（ｌｏｇｚＮ）　２ＫＮのサイズが増加するとき、学習遅延はｌｏｇｚＮ及び収束テスト時間及び誤差信号計算遅延時間という小さな量だけ増加する。たとえば、Ｎ＝１２８ニューロン、Ｌ＝５２ビットと仮定すると、学習モード・タイミング遅延は次のようになるδＣＴ（Ｎ−１２８）＋（Ｋ　１）δｖ、ｓ　＜Ｎ−１２ｅ、＋　Ｋ　５　Ｎ！＋　１３０　Ｋ　＋Ｎ＝１０２４及びＬ＝５８ビットの場合、学習時間は次のようになる：６０丁（Ｎ−１０２４）＋　（Ｋ　−１）δシミ（Ｎ・１０２４）＋にδ閘＋　１５４に＋ボルツマン様機械の学習の例以下の考察は、ボルツマン機械（”Ａｃｋｌｅｙ　８５”参照）の紹介を意図したものではなく、ボルツマン・アルゴリズムが（”Ａｃｋｌｅｙ　８５”、”Ｒｕｍｅｌｈａｒｔ　８６”、及び”ＭｃＣｌｅｌｌａｎｄ　８８’から）ＧＰＬＭ上にどのようにマツプできるかを示すものである。

ボルツマン機械は、元のホップフィールド・ネットワーク（”Ｈｏｐｆｉｅｌｄ　８２”）の場合と全く同様に、完全に結合された２進しきい値ニューラル・ユニットのネットワークから構成される。ホップフィールドが使用した決定論的更新規則と組み合わせたランダム及び非同期ニューロン選択の代わりに、非同期的に選択されたニューロン・ユニットに対しては確率論的更新規則が使用される。

さらに、ニューロンのホップフィールド単一層の代わりに、入カニニット、隠れユニット、及び出カニニットをもつ多層機械としてボルツマン機械を指定することができる。ただし、入カニニット及び出カニニットは「クランプ」、すなわち所望の値に設定できる。結合重みを修正するために、すべてのニューロン出力を監視し、それらの活動化値の統計を記録しなければならない。というのは、結合された２つのユニット間の結合重みの変化は、ネットワークが自由実行モードと「クランプ」モードの双方でｒ平衡」を達成した後で、この両方のモードで同時にこれらの結合されたユニットが「オン」となる確率の差に比例するからである。ボルツマン機械では温度パラメータＴの使用を含むシミュレートされたアニーリングが重要な役割を演じ、温度の制御によって「平衡」が得られる。Ａｃｋｌｅｙ　８５ｎに記述された入出力エンコーダ問題では、使用された「平衡」手順は「９．。

すべての未クランプ・ユニットが等しい確率でランダムに「オン」または「オフ」にされ（温度を無限に上げることに対応する）、次いでネットワークが以下の時間の間、以下の温度で（２＠２０，２＠１５．２＠１２、及び４＠１０）走行させられる。このアニーリング・スケジュールの後、ネットワークは平衡に達したと仮定され、１００時間単の間、１０種の温度で統計を収集する。（注）１時間単位は、各ユニットに平均して１回その状態を変化させる機会を与えるのに必要な時間と定義する。これは、ｎ個の未クランプ・ユニットがある場合、１時間間隔にｎ回のランダム試行が行なわれ、その間にあるユニットがその状態を変化させる機会を与えられることを意味する」というものであった。統計は、ユニット同士の結合された対がどれだけ頻繁に「平衡」状態で一緒に「オン」になるかに関するものである。

次にＧＰＬＭ上でモデル化された入出力エンコーダ問題のボルツマン様機械による実施態様について説明する。ニューロンのネットワークは３層であり、層１、層２、層３内にそれぞれＭ１個、Ｍ２個、Ｍ３個のニューロンがあると仮定する。

層１と層３は、それぞれの層内で完全に結合されているが、互いには結合されていない。その代わりに、層１と層３は共に隠れ層２に完全に結合されているが、隠れ層２内では隠れユニット同士は互いに結合されていない。指示された結合の重みはすべて、最初、Ｏにセットされ、すべての有効結合重みについて重みＣＥＢビットが°′１”にセットされる。各ニューロンは２進型でＩＩ　Ｏ＋＋または“１”の活動状態をとる。第１ニユーロンについてのｒオン」／「オフ」エネルギ差ΔＥ、は次のように定義される。

指定された結合重みをもつＮニューロン入出力エンコーダ・ネットワークがＧＰＬＭ上で初期設定され、教師として機能できる既知の１組の入出カバターンが存在すると仮定すると、サイクルを反復可能にするためにランダム「シード」が指定されている場合、１、入カニニット及び出カニニットを入出力エンコーダ・パターンの１つに「クランプ」することによって、ネットワーク更新サイクルを開始する。

・ＧＰＬＭでは、これは、ネットワーク入力Ｙ値及びネットワーク出力Ｙ値を当該の各シナプス・プロセッサに道通信し、上端のＡＤＤツリー値が下端のＹ値しジスタに、及びその逆方向に行くように経路を切り替えることによって達成される。隠れユニットについてはｒオン」または「オフ」になる確率が等しいランダムＹ値を選択し、入出力Ｙ値と同様に逆通信する。

２、入力／出カニニットがクランプされているとき、更新すベキ隠れユニット・ニューロンをランダムに選択する。

・学習プロセッサは、１とＮの間で一様に分布する整数乱数を発生できる乱数発生器を必要とする。

・選択されたニューロンにＰＡＴＨコマンドを発行して、切り替えが起こらないように、すなわち上端のＡＤＤツリー・コマンドが上端コマンド・レジスタに、及び逆方向に行くようにコマンド経路を変更する。（ＰＡＴＨＣＲＩ）（データ経路は変更されない。）・ＭＰＹ　Ｒ１本Ｒ２→ＡＤＤ　ＴＲＥＥを選択された二ニーロンに発行する。

３、選択された第１ニユーロンの「オン」状態確率ｏＳＰを決定する。

■ ・シグモイド生成機構は、学習プロセッサからロード可能なＴパラメータ入力をもたなければならない。

４．０ｓｐは、選択されたニューロンにＭＰＹ　Ｒ１ゞＲ２→ＡＤＤ　ＴＲＥＥ命令が以前に発行されたことによる、選択されたニューロンに関するシグモイド関数の出力である。

５、学習プロセッサは、選択されたニューロンの活動化値Ｙを決定する。

ＩＦ（乱数≦○ＳＰりＴＨＥＮ　Ｙ、＝１ＥＬＳＥ　Ｙ、＝０６、新しく更新されたＹ値がネットワーク内で逆通信される。

７、統計的に有意なニューロン活動度を得るのに十分なサイクルが走行され、ネットワークがアニーリング・スケジュールによって、すなわちパラメータＴを変化させることによって「平衡」に達するまで、ニューロン選択及び更新プロセスを続ける。学習プロセッサは、結合されたニューロンについて、結合されたユニットがどれほど頻繁に同時に「オン」であったかを示す値を記録する。

８、走行すべきパターンがまだ他にある場合、次の入出力エンコーダ・パターンを選択し、それをネットワーク上で「クランプ」し、ステップ２から始めて、上で定義したようにネットワークを走行させる。ネットワーク上で走行されたすべてのパターンに関する統計を取り続ける。

９、すべてのパターンを走行した後、記録された統計値は、１対の結合されたニューロンが共に「オン」であった確率を表す。学習プロセッサは「クランプ」された統計値のアレイを保持する。

１０、ネットワークは「未クランプ」であり、すべてのニューロン値はランダム化されて「オン」または「オフ」である確率が等しくなり、ネットワークはアニーリング・スケジュールに従って「平衡Ｊに達することができる。

１１、「クランプ」動作モードの場合と同じ回数のアニーリングの間「オンＪのユニットの対の統計が記録される。学習プロセッサは「未クランプ」統計のアレイを保持する。

１２、ネットワーク構造内で結合重みを更新するための２つの方法は下記の通りである。

ａ・ΔＷ、＝ρ　（ｐｕ　ｐ’　１ｄｂ−ｐｘａ＞ｐ’　１３の場合 △Ｗ５．＝十固定重みステップｐｉａ＜ｐ’　ＩＪの場合 ΔＷ１．＝−固定重みステップ・上式で、ｐｏｐは「クランプ」モードで対１、ｊが同時に「オン」となる平均確率、ｐ’　ｓＪは自由走行動作モードで対ｉ、ｊが同時に「オン」となる平均確率である。

たとえば、上記の第１の重み更新法は、シナプス・プロセッサＹと一時レジスタ、及び以下のようなＰＡ　Ｓ　ＣＡ　Ｌ様擬似コード（括弧内は説明）に基づく手順を使用することによって達成できる。ＦＯＲループは、Ｎ個のニューロンにまたがるＮ個の並列操作に変換されることになる。

ａ、Ｆｏｒ　ｉ＝１　ｔｏ　Ｎ（次の操作がＮ個のニューロンすべてにわたって並列に実行される。）ｂ、−Ｆｏｒ　ｊ＝１　ｔｏ　Ｎシフト・レジスタ、Ｐ、ＪをニューロンｉのＹレジスタ内に走査する（Ｎ個のニューロンについてＮ個の値が、並列に実行された１回の操作でＹレジスタ内に走査される）ｃ、　−−Ｆｏｒ　ｊ＝１　ｔｏ　Ｎシフト・レジスタ走査、ｐｒ、Ｊをニューロン１の一時レジスタ内に走査する（Ｎ個のニューコンについてＮ個の値が、並列に実行された１回の操作で一時レジスタ内に走査される）ｄ、−−−ＡＤＤ　Ｒ２＋Ｒ３→Ｒ３？　（ＰＩＪ　Ｐ’　ＩＪ）→Ｒ３（Ｎ個のＡＤＤ命令がニューロンごとに１個ずつ並列に発行される。）ｅ、−−−ＭＰＹ　Ｒ３を工ＭＤ１／２　→Ｒ３，Δ”ＪＪ　ｉ、　→Ｒ３（Ｎ個のＭＰＹ命令がニューロンごとに１個ずつ並列に発行される。）ｆ、−−−ＡＤＤ　Ｒ１＋Ｒ３→Ｒ１，Ｗ’、Ｊ→Ｒ１（Ｎ個のＡＤＤ命令がニューロンごとに１個ずつ並列に発行される。）１３、差ｐｓｒＱ’ｓＪが指定された最小誤差以下になるまで上記のプロセスを繰り返す。

並列データ・アルゴリズムマトリックス乗算積計算のニューロン入力和は、第２１図に示すようなｉ列及び５行のマトリックス乗算と見ることができる。ニューロン入力マトリックスＺｉは次のように定義される。

ｚｌ＝Ｙ、Ｗ１□＋Ｙ２ＷＢ＋、、、＋Ｙ、Ｗ、Ｎマトリックス演算としてのニューロン計算ニューロン計算は第２１図に示されている。これは、一般のマトリックス乗算のサブセットである。第２２図に示すようなｉ列及び５行の２つのＮＸＮマトリックスを考える。

一般のマトリックス乗算第２２図に一般のマトリックス乗算を示す。結果マトリックスＺの各結果第９行に対してＹマトリックスの第５行を逆通信することにより、Ｙ値マトリックスの１行がＧＰＬＭにコードされると仮定すると、結果マトリックスＺのＮ個の値が、ＰＡＳＣＡＬ様擬似コードに基づいて下記のような一般形で並列に計算される。ＦＯＲループは、Ｎ個のニューロンにまたがるＮ個の並列操作に変換される。

１、ＦＯＲｉ＝１　ｔｏ　Ｎ２、ＦＯＲｋ＝１　ｔｏ　Ｎ３、ＥＮＤ　ＦＯＲ４、ＥＮＤ　ＦＯＲ以下の手順に従う：　（括弧内の遅延は、ＡＤＤツリ一段遅延δ６＝１を仮定する。）１、Ｗマトリックスをロードする（１ニユーロンにつきＮ個のＷ値があり、Ｎ個のニューロンのＮ個のＷ値を並列に走査するのに（ＮＬ）時間を要すると仮定する）２、Ｙ値を逆通信することによって最初のＹ行をロードする（　（Ｌ　１　）　＋　ｌ　ｏ　ｇ２Ｎ）３、ＭＰＹＡ　Ｒ１本Ｒ２→ＡＤＤ　ＴＲＥＥ　（この場合、ＡＤＤツリーが水和プロセスのために初期設定されている。）（（Ｌ− １）＋ｌ　ｏｇ２Ｎ）４、結果Ｚマトリックスの第１行を計算する。Ｙレジスタ及びＷレジスタを乗算し、続いて加算器ツリーを乗算する（δＭ＋ｌｏｇ２Ｎ）５、Ｎ個のＺ値を学習プロセッサに記憶する（δ６ア。８５）６、第２のＹ行を逆通信する（（Ｌ　−１）＋　ｌ　ｏ　ｇ２Ｎ）７、新しいＹ値を受け取ったとき、結果Ｚマトリックスの第２行を計算する。Ｙレジスタ及びＷレジスタを乗算し、続いて加算器ツリーを乗算する（δや＋ｌｏｇ２Ｎ）８、Ｎ個のＺ値を学習プロセッサに記憶する（δ８ＴＯＲ１）９、最後まで行計算を続ける１０、第Ｎ番目のＹ行を逆通信する（（Ｌ　−１）＋　ｌ　ｏ　ｇ　２Ｎ）１１、新しいＹ値を受け取ったとき、結果Ｚマトリックスの第８行を計算する。Ｙレジスタ及びＷレジスタを乗算し、続いて加算器ツリーを乗算する（δ、４＋　ｌ　ｏ　ｇ　２Ｎ）１２、結果Ｚマトリックスの最終行を学習プロセッサに記憶する（δｌ５ＴＯＲ０）１３．終了Ｗ値を走査し、記憶操作が次の行のＹ値の道通信とオーバーラツプできると仮定することによって、Ｗマトリックスを初期設定した後、ＮＸＮ２計算の全処理時間は次のようになる。

ＮＸＮマトリックス乗算＝　（Ｌ−１）＋ｌｏｇ２Ｎ＋Ｎ　（δＮ　＋　（Ｌ　１　）　＋　２　ｌ　ｏ　ｇ　２Ｎ）＋δ５ＴＯＲＥマトリックス加算及びプール演算第２２図に示したものと同じ形のマトリックスを仮定すると、ＹマトリックスとＷマトリックスを共にＧＰＬＭ構造にロードすることができる。というのは、ＧＰＬＭ構造内にはＮ２個の固有なＹレジスタ及びＷレジスタがあるからである。

Ｙレジスタ及びＷレジスタ上の局所加算またはプール演算は、ＧＰＬＭ構造内で実行することができ、結果は一時レジスタに送られる。演算完了時に、元のＹマトリックス及びＷマトリックスは、ＧＰＬＭ構造内にそのまま残り、一時レジスタは結果マトリックスを含むようになる。結果は、走査出力し、あるいはシナプス・プロセッサ・セルから個別に読み出し、あるいは以後の操作（命令の連鎖またはリンク）のために使用することができる。

駆上、本発明の好ましい実施例について説明したが、当業者ならこれらの論議を理解すれば、現在でも将来でも下記の特許請求の範囲に含まれる様々な改良及び機能強化をそれに加えるであろう。この特許請求の範囲は、最初に開示した諸発明に対する適切な保護を維持するものと解釈すべきである。

シナプス・プロセッサのアーキテクチャ対角線シナプス・プロセッサ（ＤＳＹＰ）遥宜加３１１４１ツリーＦＩＧ、５シナプス・プロセッサのタグ付き自令／データ形式＾　！！　腹籾　嘲　嘲 Σ マトリックス演算としてのニコーロン計算ＦＩＧ、２１Ｆ　Ｉ　Ｇ、２２［要約コ装置のシナプス処理要素に対するニューロン・アーキテクチャを有するニューラル・シナプス・プロセッサ装置が開示される。好ましい装置は、命令およびデータ記憶ユニットを含み、命令およびデータを受け取り、命令を実行する、シナプス処理ユニットを有するＮニューロン構造を有する。このＮニューロン構造は、通信加算器ツリーと、ニューロン活動化関数ユニットと、通信加算器ツリーによって命令、データ、及びニューロン活動化関数ユニットの出力をすべて入力シナプス処理ユニットに戻し通信するための配置とを含むべきである。この装置は、ビット直列システムまたはワード並列システムとして構築できる。好ましい構造は、Ｎ２個のシナプス処理ユニットを含み、各シナプス処理ユニットは、エミュレートすべきＮニューラル・ネットワーク内の結合重みと関連付けられ、対角線セルおよび一般セルからなる対角線に沿って折り畳まれたＮＸＮマトリックスの形に配置されている。

それぞれが単一のシナプス処理ユニットを利用する対角線セルは、折り畳まれたＮＸＮ結合重みマトリックスの対角線結合重みと関連付けられ、それぞれが合併された２つのシナプス処理ユニットを有する一般セルは、折り畳まれたＮＸＮ結合重みマトリックスの対称結合重みと関連付けられる。後方伝播学習アルゴリズムを最初に検討し、続いて学習機械シナプス・プロセッサ・アーキテクチャを提示する。次に、後方伝播学習アルゴリズムの実施態様の例を示す。続いてボルツマン様機械の例および前記アーキテクチャ上にマツプされたデータ並列の例を示す。

国際調査報告

Claims

【特許請求の範囲】

１．命令及びデータ記憶ユニットを含み、命令及びデータを受け取り、命令を実行する、シナプス処理ユニットを有するＮニューロン構造を含み、前記Ｎニューロン構造が、通信加算器ツリーと、ニューロン活動化関数ユニットと、前記通信加算器ツリーによって命令、データ、及びニューロン活動化関数ユニットの出力をすべて入力シナプス処理ユニットに戻し通信するための手段とを含む、ニューラル・シナプス．プロセッサ・アーキテクチャを有するコンピュータ・システム装置。
２．さらに、対角線セル及び一般セルからなり、対角線に沿って折り畳まれたＮ ×Ｎマトリックスの形に配置された、エミュレートすべきＮニューラル・ネットワーク内で結合重みとそれぞれ関連付けられているＮ２個のシナプス処理ユニットを含む、請求項１の装置。
３．それぞれ単一のシナプス処理ユニットを含む前記の対角線セルが、折り畳まれたＮ×Ｎ結合重みマトリックスの対角線結合重みと関連付けられ、それぞれ合併された２つのシナプス処理ユニットを有する一般セルが、折り畳まれたＮ×Ｎ結合重みマトリックスの対称結合重みと関連付けられている、請求項２の装置。
４．対角線セルの単一のシナプス処理ユニットが、それぞれタグ突合せユニットと、命令／データ復号機構、データ経路記憶ユニット及び分配ユニットによる、外部で受け取った命令及びデータ用の宛先経路制御機構と、１つの命令記憶ユニット、１つの重み値記憶ユニット、１つのニューロン活動化関数ユニット出力値記憶ユニット（Ｙ値記憶ユニットと呼ぶ）及び１つの一時データ記憶ユニットから構成される命令及びデータ記憶ユニットと、命令復号機構、セレクタ・ユニット及び命令記憶ユニットに関するアドレス指定手段によって制御される記憶ユニット・オペランド選択機構と、命令復号機構及び分配ユニットによって制御される結果宛先経路制御機構と、プログラマブル実行ユニットとから構成される、請求項３の装置。
５．対角線セルのシナプス処理ユニットが、結果をＮニューロン構造の付属の通信加算器ツリーに供給し、そこから命令及びデータを受け取る、請求項３の装置。
６．一般セルの合併された２つのシナプス処理ユニットが、２つのタグ突合せユニットと、２つの命令／データ復号機構、２つのデータ経路記憶ユニット、２つのコマンド経路ビット及び共通の分配ユニットによる、外部で受け取った命令及びデータ用の共通の宛先経路制御機構と、２つの命令記憶ユニット、２つの重み値記憶ユニット、２つのＹ値記憶ユニット及び２つの一時データ記憶ユニットから構成される命令及びデータ記憶ユニットと、２つの命令復号機構、共通のセレクタ・ユニット及び２つの命令記憶ユニットに関する２つのアドレス指定手段によって制御される２つの記憶ユニット・オペランド選択機構と、２つの命令復号機構及び共通の分配ユニットによって制御される２つの結果宛先経路制御機構と、２つのプログラマブル実行ユニットとから構成される、請求項３の装置。
７．一般セルの２つの合併されたシナプス処理ユニット構造が、象徴的に上端シナプス処理ユニット及び下端シナプス処理ユニットとして編成され、前記の各上端シナプス処理ユニット及び下端シナプス処理ユニットがそれぞれＮニューロン構造の付加された通信加算器ツリーに結果を供給し、そこから命令及びデータを受け取る、請求項３の装置。
８．シナプス・プロセッサのデータ記憶ユニットがデータ記憶ユニットごとに１ビットの条件付き実行ビットを含み、前記ビットがデータの使用、及びデータが重ね書きできるかどうかを制御する、請求項１の装置。
９．ニューロン活動化関数ユニットが、Ｙ値出力を提供する非線形シグモイド生成機構及びＹ（１−Ｙ）値出力を提供するシグモイド導関数生成機構である、請求項１の装置。
１０．通信加算器ツリーがｌｏｇ２Ｎ個の２／１通信加算器段を含む、請求項１の装置。
１１．通信加算器ツリーの各段が、２／１加算器からなる２／１通信加算器と、加算から得られた方向とは逆方向に値を通信するための加算器バイパス経路と、加算機能と逆通信経路の間で切り替えるための手段とを含む、請求項１０の装置。
１２．各通信加算器ツリーがそれぞれ追加の加算段に接続され、外部入力値が通信加算器ツリーの出力と加算され、前記の追加加算段が結果をニューロン活動化関数ユニットに提供する、請求項１の装置。
１３．接続されたホスト・コンピュータ及びＮ個の通信加算器ツリーとインターフェースするプログラマブル・プロセッサ制御装置が、・通信加算器ツリーの制御・シナプス・プロセッサの初期設定・シナプス・プロセッサ命令の発行・アルゴリズムによるデータ計算・シナプス・プロセッサ・データの発行・ニューラル・ネットワーク・エミュレーションの開始多層ネットワークのシーケンス制御・ニューラル・ネットワーク・エミュレーションの停止−所望の結果への収束テストによる停止−ホストが指定した回数のエミュレーション・サイクルの完了による停止の諸機能を提供する、請求項１の装置。
１４．重みアレイ、Ｙ値アレイ、Ｙ（１−Ｙ）アレイ、教師アレイ、及びトレース・アレイを含む、請求項１３の制御装置プログラマブル・プロセッサ。
１５．Ｎ２個のシナプス処理ユニットと、Ｎ個の通信加算器ツリーと、Ｎニューロン構造用のＮ個のニューロン活動化関数ユニットとがある、請求項１の装置。
１６．各通信加算器ツリーがそれぞれそのツリーのリーフ・ノードにあるＮ個のシナプス処理ユニットと、ツリーのルートに接続された１つのニューロン活動化関数ユニットとに接続されて結果をプログラマブル・プロセッサ制御装置に提供し、Ｎニューロン構造を構成する、前記の通信加算器ツリーと、シナプス処理ユニットと、ニューロン活動化関数ユニットとが、・重み及びデータ値を各シナプス処理ユニットに入力する手段と、・タグ付けされた命令、データ、及びニューロン出力値（Ｙ値と呼ぶ）を入力シナプス処理ユニットに戻し通信する手段と、・各シナプス処理ユニット内で命令、データ、及びＹ値の宛先を制御する手段と、・各シナプス処理ユニット内で受け取った命令を実行する手段と、・自動モードで次の操作で使用されるデータを受け取ったとき、前に受け取った命令を実行する手段と、結果を局所的に各シナプス処理ユニットに留まらせ、あるいは付加された通信加算器ツリーに送らせる、オペランド選択及び宛先経路制御手段と、・シナプス処理ユニットから受け取った値を加算する手段と、・外部入力値を各ニューロン活動化関数ユニットに入力する手段と、・新しい命令、データ、及びニューロン活動化関数ユニットＹ値を生成する手段とを有する、請求項１５の装置。
１７．重み及びデータ値を各シナプス処理ユニットに入力する手段が、各シナプス処理ユニット内の各重み及びデータ値記憶ユニットにアクセス可能なプログラマブル・プロセッサ制御装置の形のホスト・インターフェース制御機構を含む、請求項１６の装置。
１８．タグ付けされた命令、データ及びニューロン出力値（Ｙ値と呼ぶ）を入力シナプス処理ユニットに逆通信する手段が、通信モードで動作する通信加算器ツリーと、各シナプス処理ユニット内のタグ突合せユニットによるものであり、タグが同報通信ビット及びタグ・アドレス・フィールドを含む、請求項１６の装置。
１９．各シナプス処理ユニット内で命令、データ、及びＹ値の宛先を制御する手段が、命令については、一般セル中では命令復号機構と、コマンド経路ビットと、分配論理回路とにより、対角線セル中では命令復号機構と、Ｒ４→Ｒ３、Ｒ５ →Ｒ２、Ｒ６→Ｒ１、ＣＲ２→ＣＲ１のマッピングを行うレジスタ・マッピング論理回路と、分配論理回路とにより、Ｙ値を含めたデータについては、対角線セル中でも一般セル中でも、データ復号機構と、データ経路記憶ユニットとによるものである、請求項１６の装置。
２０．ＹＩＮＭＯＤＥと呼ばれる一般セルの１つの動作モードでは、上端通信加算器ツリーから受け取った命令が上端シナプス処理ユニットの命令記憶ユニットに送られ、下端通信加算器ツリーから受け取った命令が下端シナプス処理ユニットの命令記憶ユニットに送られ、上端通信加算器ツリーから受け取ったデータが上端シナプス処理ユニットの指定されたデータ記憶ユニットに送られ、下端通信加算器ツリーから受け取ったデータが下端シナプス処理ユニットの指定されたデータ記憶ユニットに送られるように、データ経路記憶ユニット及びコマンド経路ビットがセットアップされる、請求項１９の装置。
２１．ＹＯＵＴＭＯＤＥと呼ばれる一般セルの第２の動作モードでは、上端通信加算器ツリーから受け取った命令が下端シナプス処理ユニットの命令記憶ユニットに送られ、下端通信加算器ツリーから受け取った命令が上端シナプス処理ユニットの命令記憶ユニットに送られ、上端通信加算器ツリーから受け取ったデータが下端シナプス処理ユニットの指定されたデータ記憶ユニットに送られ、下端通信加算器ツリーから受け取ったデータが上端シナプス処理ユニットの指定されたデータ記憶ユニットに送られるように、データ経路記憶ユニット及びコマンド経路ビットがセットアップされる、請求項１９の装置。
２２．各シナプス処理ユニット内で受け取った命令を実行する手段が、自動動作モード、ソース・オペランド、結果の宛先、及び即値データの指定を含む、ＮＯＰ、ＰＡＴＨ、算術命令、及び論理命令に応答するプログラマブル実行ユニットを介するものである、請求項１６の装置。
２３．自動モードで次の操作で使用されるデータを受け取ったとき、前に受け取った命令を実行する手段が、自動モードを設定する能力をもつ命令を受け取り、かつ争奪が起こらないようにプログラマブルなプロセッサ制御装置内のタイムアウト機構によって制御される、十分なタイミング遅延の後にだけ送られる有効データを受け取ることによってセットされる、自動モード・フラグによるものである、請求項１６の装置。
２４．結果を各シナプス処理ユニット内で局所に留まらせ、または付加された通信加算器ツリーに送らせるオペランド選択及び宛先経路制御手段が、命令復号機構及び分配論理回路によるものであり、シナプス処理ユニット内で局所に留まる結果に対しては、接続されたプログラマブル・プロセッサ制御装置に操作完了指示が与えられない、請求項１６の装置。
２５．シナプス処理ユニットから受け取った値を加算する手段が、関数実行モードで活動する、付加された通信加算器ツリーを介するものである、請求項１６の装置。
２６．外部入力値を各ニューロン活動化関数ユニットに入力する手段が、外部から通信加算器ツリーの出力側にある最終加算段に印加された入力を介するものである、請求項１６の装置。
２７．新しい命令、データ、及びニューロン活動化関数ユニットＹ値を生成する手段が、ニューロン活動化関数ユニットと、接続されたホスト・コンピュータ及びＮ個の通信加算器ツリーにインターフニースするプログラマブル・プロセッサ制御装置とによるものである、請求項１６の装置。
２８．構造に対する危険を避けるために、タイムアウト状態機械制御機構が命令及びデータ発行機構上で使用される、請求項２７のプログラマブル・プロセッサ制御装置。
２９．データがビット直列形式であり、データに関して、ビットを対角線セルまたは一般セルで受け取る順序が、最初に同報通信ビット、次にタグ・フィールド、次に誤差処理ビット、続いて非活動状態にセットされるとデータを指示するコマンド・ビット、予備ビット、データ・フィールド、最後に誤差処理ビットである、請求項１６の装置。
３０．命令がビット直列形式であり、命令に関して、ビットを対角線セルまたは一般セルで受け取る順序が、最初に同報通信ビット、次にタグ・フィールド、次に誤差処理ビット、続いて活動状態にセットされると命令を指示するコマンド・ビット、自動ビット、命令のタイプを指示するコマンド・フィールド、第１オペランドを指示するソース１フィールド、第２オペランドを指示するソース２フィールド、結果の宛先を指示する宛先フィールド、即値データ・フィールド、最後に誤差処理ビットである、請求項１６の装置。
３１．完全に接続されたＮニューラル・ネットワークをエミュレートするために、ａ）Ｎ個の通信加算器ツリーを通信モードに置くステップと、ｂ）初期重み、Ｙ値、一般セルのデータ経路、及びＹＯＵＴＭＯＤＥにセットされたコマンド経路ビットを構造にロードするステップと、ｃ）Ｎ個の通信加算器ツリーに乗算命令を発行するステップと、ｄ）シナプス処理ユニットの命令記憶ユニット内で乗算命令を受け取るステップと、ｅ）Ｎ個の通信加算器ツリーを機能モードに置くステップと、ｆ）ニューロンＹｊ値と重みＷｉｊ値を乗算するステップと、ｇ）付加された通信加算器ツリーにＹ値×重みの積を送るステップと、ｈ）機能モードの通信加算器ツリー上で送られてきた積値を加算するステップと、ｉ）外部入力値を印加し、それを通信加算器ツリーから送られてきた積値の求和に加算するステップと、ｊ）ニューロン活動化関数ユニットからＮニューロンＹ値を生成するステップと、ｋ）通信加算器ツリーを通信モードに置くステップと、１）Ｎ個の通信加算器ツリーにＮニューロンＹ値を発行し、それによって１つのニューラル・ネットワーク更新サイクルを完了するステップとを順次実行するための手段が設けられている、請求項１６の装置。
３２．第１層が外部入力をもつ２個のニューロンを含み、第２層が１個のニューロンを含み、第３層が４個のニューロンを含み、第４層が４個のニューロンを含み、レジスタが記憶ユニットとして使用される、４層から構成されるＮ（＝１１）ニューロン構造からなる多層ニューラル・ネットワーク上で、入出力エンコーダ問題のために、後方伝播学習をエミュレートするための順次実行手段が設けられ、レジスタが記憶ユニットとして使用され、ＭＰＹが乗算命令を示すときこの構造及び制御機構がプロセスをイネーブルし、ＡＤＤＴＲＥＥの宛先が結果を付加された通信加算器ツリーに送る（プログラマブル・プロセッサ制御装置を学習プロセッサと呼び、このＮニューロン構造をＧＰＬＭで示す）、請求項１６の装置であって、ａ）重みレジスタＣＥＢビット・セットが“１”にセットされた重み値の初期セットを走査入力することによってＧＰＬＭが初期設定され、その他の重み値及びすべてのＹ値レジスタが０値で走査入力され、ｂ）初期設定後、ＧＰＬＭが実行モードに置かれ、入力パターンＥＸ１及びＥＸ２が印加され、ｃ）ニューロン１、２、・・・、１１がＭＰＹＡＲ１＊Ｒ２→ＡＤＤＴＲＥＥを発行し（ＡＤＤツリーは加算のために指定されている）、ｄ）ニューロンの第１層がＧＰＬＭ構造上で実行されて、第１層ニューロン出力及びその導関数を生成し、第１層ニューロン出力がＧＰＬＭにフィードバックされ、ニューロンの第２層が実行されて第２層ニューロン出力及びその導関数を生成し、ｅ）すべての層が実行され、ネットワーク出力及びその導関数が得られるまで、このプロセスを繰り返し、ｆ）１１個のニューロンの値及びその導関数がすべて計算されてＹ値及びＹ導関数アレイに入れられた後、ＧＰＬＭが学習モードに置かれ、ｇ）Ｙｉが最小指定誤差に収束するかどうか学習プロセッサが検査し、到達しない場合は、パターンｐに関する学習プロセスが停止できるが、収束に達成しない場合は、パターンｐに関する学習を続行し、ｈ）学習プロセッサが、出力ニューロンと前の層内のニューロンの間の結合重みを更新する際に使用される、出力ニューロンに関するδ■ｉを計算し、ｉ）ニューロン１、２、・・・、１１がＰＡＴＨＲ４を発行することによってデータ経路が変更され、誤差信号が当該の各乗算器入力セル一時レジスタに逆通信され、ｊ）誤差信号と適当な重みを乗算するためのＭＰＹ命令を発行するようにシステム装置が制御され、これらの積が加算されて次層後方伝播重み修正プロセスで使用される誤差和ＥＲｐｉを生成し、ｋ）ニューロン８、９、１０、１１がＭＰＹＲ６＊Ｒ３→ＡＤＤＴＲＥＥを発行し、１）層Ｌより前の次層（が存在する場合にその）内で使用される層Ｌ内の誤差信号が計算され、ニューロン３がＰＡＴＨＣＲ１を介してＹＩＮＭＯＤＥに置かれ、その結果ニューロン３に対して乗算コマンドが発行され、最後にニューロン３がＰＡＴＨＣＲ２を介してＹＯＵＴＭＯＤＥに置かれて、ＧＰＬＭ構造内の他のニューロンと一貫性をもつようになり、ｍ）ニューロン３がＭＰＹＲ６＊Ｒ３→ ＡＤＤＴＲＥＥを発行し、ｎ）層２に対する誤差信号（Ｅ３）が計算され、構造内で逆通信され、ｏ）ニューロンのΔＷｉｊが計算され、次いでｐ）ステップ１として、ニューロン１、２、・・・、１１がＭＰＹＲ５＊Ｒ３→Ｒ４を発行し、ｑ）ステップ２として、ニューロン１、２、・・・、１１がＭＰＹＲ４＊ＩＭＤ →Ｒ４を発行し（ＩＭＤは学習速度ρを含む）、ｒ）ステップ３として、ニューロン１、２、・・・、１１がＡＤＤＲ６＋Ｒ４→ Ｒ６を発行し、新しい重み値が計算され、ｓ）次の学習サイクルＰＡＴＨＲ２の準備として新しい経路コマンドが送られ、その結果新しいＹ値が適切なレジスタに送られ、ｔ）ＧＰＬＭが実行モードに置かれ、調整された重みによって出力パターンが最小指定誤差で教育パターンに一致するようになるまで、既存パターンｐが再び印加され、最小指定誤差に収束した後、新しいパターンが印加され、すべての教育パターンが印加されるまでこのプロセスが繰り返されるという、装置。
３３．３層のニューロンから構成される、入出力エンコーダ問題のボルッマン様機械をエミュレートするための順次実行手段が設けられ、レジスタが記憶ユニットとして使用され、ＭＰＹが乗算命令を示すときこのシステム装置用の構造及び制御機構がプロセスをイネーブルし、ＡＤＤＴＲＥＥの宛先が結果を付加された通信加算器ツリーに送る（プログラマブル・プロセス制御装置を学習プロセッサと呼び、Ｎニューロン構造をＧＰＬＭで示す）、請求項１６の装置であって、シーケンスがａ）入出力ユニットを１つの入出力エンコーダ・パターンに「クランプ（固定）」することによってネットワーク更新サイクルを開始するステップと、ｂ）入出力ユニットがクランプされているとき、更新のために隠れユニット・ニューロンをランダムに選択するステップと、ｃ）選択された第ｉニューロンの「オン」状態確率（ＯＳＰ）を決定するステップと、ｄ）学習プロセッサが選択されたニューロンの活動化値Ｙを決定するステップと、ｆ）新しく更新されたＹ値をネットワーク内で逆通信するステップと、ｇ）学習プロセッサが、結合されたニューロンについて、結合されたユニットがどれだけ頻繁に同時に「オン」であったかを示す値を記録して、統計的に有意なニューロン活動度を得るのに十分なサイクルが走行され、アニーリング・スケジュールによりパラメータＴを変えることによってネットワークが「平衡」に達するまで、ニューロン選択及び更新プロセスを続行するステップと、ｈ）実行すべきパターンが他にもまだある場合、次の入出力エンコーダ・パターンを選択し、それをネットワーク上でクランプし、上記で定義されるようにネットワークをステップ２から走行させ、ネットワークで走行されるすべてのパターンについて統計をとり続けるステップと、ｉ）すべてのパターンを走行させた後、１対の結合されたニューロンがともに「オン」であった確率を表す統計を記録し、その結果学習プロセッサが「クランプ」された統計のアレイを保持するステップと、ｊ）ネットワークを「クランプせず」、すべてのニューロン値を「オン」または「オフ」となる確率が等しくなるようにランダムにし、ネットワークがアニーリング・スケジュールに従って「平衡」に達することができるようにするステップと、ｋ）次いで「クランプ」操作モードで実行されたのと同数のアニーリングの間「オン」ユニットの対の統計を記録して、学習プロセッサが「非クランプ」統計のアレイを保持するステップと、１）得られた統計値を使用して、レジスタにＰｉｊ及び−ｐ′ｉｊをロードし、次に記憶された値を加算し、続いて即値データとして記憶された学習速度ρを乗算することによって、重みの変化ΔＷｉｊ＝ρ（Ｐｉｊ−ｐ′ｉｊ）を計算するステップと、ｍ）旧重み値にΔＷｉｊを加算し、結果を旧重みの代わりに記憶することによって、新重みを計算するステップとを含む、装置。
３４．１つはＷマトリックスと呼ばれ、もう１つはＹマトリックスと呼ばれる２つのＮ×Ｎマトリックスのマトリックス乗算を順次実行するための手段が設けられており、この乗算によってｚマトリックスと呼ばれる第３のＮ×Ｎマトリックスが生成され、レジスタが記憶ユニットとして使用され、ＭＰＹが乗算命令を示すときプロセスをイネーブルし、ＡＤＤＴＲＥＥの宛先が結果を付加された通信加算器ツリーに送る（プログラマブル・プロセッサ制御装置を学習プロセスと呼び、Ｎニューロン構造をＧＰＬＭで示す）、請求項１６の装置であって、処理ステップが、ａ）Ｗマトリックスをロードする（１ニューロンごとにＮ個のＷ値があると仮定して値を走査する）ステップと、ｂ）Ｙ値を逆通信することによって最初のＹ行をロードするステップと、ｃ）ＭＰＹＡＲ１＊Ｒ２→ＡＤＤ　ＴＲＥＥを発行する（ＡＤＤツリーは加算プロセスのために初期設定されている）ステップと、ｄ）結果のｚマトリックスの第１行を計算する、すなわちＹレジスタとＷレジスタを乗算し、続いて加算ツリーを棄算するステップと、ｅ）Ｎ個のｚ値を学習プロセッサに記憶するステップと、ｆ）第２のＹ行を逆通信するステップと、ｇ）新しいＹ値を受け取ったとき、結果ｚマトリックスの第２行を計算する、すなわちＹレジスタとＷレジスタを乗算し、続いて、加算器ツリーを乗算するステップと、ｈ〕Ｎ個のｚ値を学習プロセッサに記憶するステップと、ｉ）最後まで行計算を続行するステップと、ｊ）Ｎ番目のＹ行を逆通信するステップと、ｋ）新しいＹ値を受け取ったとき、結果ｚマトリックスの第Ｎ行を計算する、すなわちＹレジスタとＷレジスタを乗算し、続いて、加算器ツリーを乗算するステップと１）結果ｚマトリックスの最終行を学習プロセッサに記憶するステップとを含む、装置。
３５．１つはＷマトリックスと呼ばれ、もう１つはＹマトリックスと呼ばれる２つのＮ×Ｎマトリックスのマトリックス加算を順次実行するための手段が設けられており、この乗算によってｚマトリックスと呼ばれる第３のＮ×Ｎマトリックスが生成されて一時記憶ユニット内のシナプス・プロセッサに内部記憶され、レジスタが記憶ユニットとして使用され、ＹマトリックスとＷマトリックスの両方がＧＰＬＭ構造（Ｎニューロン構造をＧＰＬＭで示す）にロードされ、かつ前記の構造内にＮ２個の固有なＹおよびＷ（重み）レジスタがあると仮定して、システムがＹおよびＷレジスタ上で局所加算を実行するようにイネーブルされ、この加算が前記構造内で実行され、その結果がシナプス処理ユニットの一時レジスタに送られ、加算完了後元のＹおよびＷマトリックスが前記構造内にそのまま残り、一時レジスタが加算結果マトリックスを格納し、このマトリックスが走査出力し、あるいはシナプス処理セルから個別に読み出し、あるいは以後の操作のために使用することができる、請求項１６の装置。
３６．１つはＷマトリックスと呼ばれ、もう１つはＹマトリックスと呼ばれる２つのＮ×Ｎマトリックスのマトリックスブール演算を順次実行するための手段が設けられており、このブール演算によってｚマトリックスと呼ばれる第３のＮ× Ｎマトリックスが生成されて一時記憶ユニット内のシナプス・プロセッサに内部記憶され、レジスタが記憶ユニットとして使用され、ＹマトリックスとＷマトリックスの両方がＧＰＬＭ構造（Ｎニューロン構造をＧＰＬＭで示す）にロードされ、かつ前記の構造内にＮ２個の固有なＹおよびＷ（重み）レジスタがあると仮定して、前記のＹおよびＷレジスタ上での局所ブール演算が前記の構造内で実行され、その結果がシナプス処理ユニットの一時レジスタに送られ、ブール演算完了後元のＹおよびＷマトリックスが前記構造内にそのまま残り、一時レジスタがブール演算結果マトリックスを格納し、このマトリックスが走査出力し、あるいはシナプス処理セルから個別に読み出し、あるいは以後の操作のために使用することができる、請求項１６の装置。