JPH05500429A - スケーラブル・フロー仮想学習ニューロコンピュータ - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 スケーラプル・フロー仮想学習ニューロコンピュータ［技術分野］ 本発明は、スケーラプル・フロー仮想学習ニューロコンピュータ・システム及び 装置に関し、具体的には、新しいグループ区分アルゴリズムを使用するスケーラ プル混成制御フロー／データ・フロー仮想学習ニューロコンピュータ、及び仮想 学習のための後方伝播能力を有する、スケーラプル仮想学習アーキテクチャ、シ ナプス・プロセッサ・アーキテクチャ（ＳＰＡ）マツピング、内部正方形折畳み 、及びアレイ分離に関する。 ［関連出願に対する相互参照コ 本出願は優先権を主張し、以下の関連同時係属特許出願の一部継続出願である。 １９９０年５月２２８出願の”ＡＰＰＡＲＡＴＵＳ　ＡＮＤ　ＭＥＴＨＯＤ　Ｆ ＯＲＮＥＵＲＡＬ　ＰＲＯＣＥＳＳＯＲ”と題するＳ、ヴアッシリアディス（Ｖ ａｓｓｉｌｉａｄｉｓ）及びＧ、Ｇ、ペチャネク（Ｐｅｃｈａｎｅｋ）の米国特 許出願第０７７５２６８６６号（ＩＢＭドケット番号ＥＮ９−９０−０４５）（ ”５ＮＡＰ”ト呼ぶコトがある）。 １９９１年４月８日出願の”Ａ　ＴＲＩＡＮＧＵＬＡＲＳＣ：ＡＬＡＩＪＬＥＮ ＥＵＲＡＬ　ＡＲＲＡＹ　ＰＲＯＣＥＳＳＯＲ”と題するＧ、Ｇ、ペチャネク及 びＳ。 ヴアッシリアディスの米国特許出願第０７／６８２７８５号（ＩＢＭドケット番 号ＥＮ９−９１−０１８）（”Ｔ−８ＮＡＰ　Ｉ＋と呼ぶことがある）。 １９９１年４月８日出願の”５ＰＩＮ：Ａ　５ＥＱＵＥＮＴＩＡＬＰＩＰＥＬＩ ＮＥＤ　ＮＥＵＲＯＣＯＭＰＵＴＥＲ”と題するＳ、ヴアッシリアディス、Ｇ、 　Ｇ、ペチャネク及びＪ、Ｇ、デルガードエフリアス（Ｄｅｌｇａｄｏ−Ｆｒｉ ａｓ）の米国特許出願第０７／６８１８４２号（ＩＢＭドケット番号ＥＮ９−９ １−０２６）（”５ＰＩＮ”と呼ぶことがある）。 さらに、以下の関連出願が同時に出願されている。 １９９１年５月１７日出願の”Ａ　ＬＥＡＲＮＩＮＧ　ＭＡＣＨＩＮＥＳＹＮＡ ＰＳＥ　ＰＲＯＣＥＳＳＯＲＳＹＳＴＥＭ　ＡＰＰＡＲＡＴＵＳ　’と題するＧ 、Ｇ、ペチャネク、Ｊ、Ｇ、デルガードエフリアス及びＳ、ヴアッシリアディス の米国特許出願第０７／７０２２６１号（Ｉ　ＢＭドケット番号ＥＮ９−９１− ０５１）（”ＬＭ″または”ＰｅｃｈａｎｅｋＬＭ９１”と呼ぶことがある）。 １９９１年５月１７日出願の”ＶＩＲＴＵＡＬ　ＮＥＵＲＯＣＯＭＰＵＴＥＲＡ ＲＣＨＩＴＥＣ：ＴＵＲＥＳ　ＦＯＲＮＥＵＲＡＬ　ＮＥＴＷＯＲＫＳ”と題す るＧ、　Ｇ、ペチャネク、Ｊ、Ｇ、デルガードエフリアス及びＳ、ヴアッシリア ディスの米国特許出願筒０７／７０２２６０号（ＩＢＭドケット番号ＥＮ９−９ １−０５３）（”ＶＩＲＴＵＡＬ”または”Ｐｅｃｈａｎｅｋ　Ｖ　Ｉ　ＲＴ　 Ｕ　Ａ　Ｌ　９１″と呼ぶことがある）。 １９９１年５月１７０出願の”ＰＬＡＮ：ＰＹＲＡＭＩＤ　ＬＥＡＲＮＩＮＧＡ ＲＣＨＩＴＥＣＴＵＲＥ　ＮＥＵＲＯＣＯＭＰＵＴＥＲ”と題するＧ、　Ｇ、ペ チャネク、Ｓ、ヴアッシリアディス及びＪ、　Ｇ、デルガードエフリアスの米国 特許出願第０７／７０２２６３号（ＩＢＭドケット番号ＥＮ９−９１−０５５） 　（”ＰＬＡＮ”と呼ぶことがある）。 これらの同時係属出願及び本出願は同じ譲受人、すなわち、米国ニューヨーク州 アーモンクのインターナショナル・ビジネス・マシーンズ・コーポレーションに よって所有されている。 これらの同時係属出願に記載の記述を、この引用によって本明細書に合体する。 ［発明の検討で使用する参照文献コ 本発明者等の諸発明の詳細な検討では、従来技術ではないが議論を理解する助け となる本発明者等自身の未発表研究を含む他の研究を引用する。このような追加 の文献には以下のものがある。 Ｄ、　Ｅ、ルーメルハルト（Ｒｕｍｅｌｈａｒｔ）　、Ｊ、Ｌ、マツフレランド （ＭｃＣｌｅｌｌａｎｄ）及びＰＤＰリサーチ・グループ（ｔｈｅ　ＰＤＰＲｅ ｓｅａｒｃｈ　Ｇｒｏｕｐ）の著書″Ｐａｒａｌｌｅｌ　Ｄｉｓｔｒｉｂｕｔｅ ｄＰｒｏｃｅｓｓｉｎｇ　Ｖｏｌ、１：　Ｆｏｕｎｄａｔｉｏｎｓ”、米国マサ チュセッッ州ケンブリッジ、ＭＩＴ　Ｐｒｅｓｓ、　１９８６年刊（以下では” 　Ｒｕｍｅ　ｌ　ｈａｒｔ８６″と呼ぶ）。 Ｊ、Ｊ、ホップフィールド（Ｈｏｐｆ　１ｅｌｄ）の論文”ＮｅｕｒｏｎｓＷｉ ｔｈ　Ｇｒａｄｅｄ　Ｒｅ５ｐｏｎｓｅ　Ｈａｖｅ　Ｃｏ１１ｅｃｔｉｖｅ　Ｃ ｏｍｐｕｔａｔｉｏｎａｌＰｒｏｐｅｒｔｉｅｓ　Ｌｉｋｅ　Ｔｈｏｓｅ　ｏｆ 　Ｔｗｏ−３ｔａｔｅ　Ｎｅｕｒｏｎｓ”。 Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　Ｎａｔｉｏｎａｌ　Ａｃａｄｅｍｙ　 ｏｆ　５ｃｉｅｎｃｅｓ　８１．　ｐｐ。 ３０８８−３０９２．１９８４年５月（以下では”Ｈｏｐｆｉｅｌｄ　８４”と 呼ぶ）。 １９９１年５月１７出願の”Ａ　ＬＥＡＲＮＩＮＧ　ＭＡＣＨＩＮＥ　５ＹＮＡ ＰＳＥＰＲＯＣＥＳＳＯＲＳＹＳＴＥＭ　ＡＰＰＡＲＡＴＵＳ″と題するＧ、Ｇ 、ペチャネク、Ｊ、Ｇ、デルガードエフリアス及びＳ、ヴアッシリアディスの米 国特許出願第０７／７０２２６１号（ＩＢＭドケット番号ＥＮ９−９１−０５１ ）（”ＬＭ”または”Ｐｅｃｈａｎｅｋ　ＬＭ　９１”と呼ぶことがある）。 １９９１年５月１７　日出ＩＪｔ（７）”ＶＩＲＴＵＡＬ　ＮＥＵＲＯＣＯＭＰ ＵＴＥＲＡＲＣＨＩＴＥＣＴＵＲＥＳ　ＦＯＲＮＥＵＲＡＬ　ＮＥＴＷＯＲＫＳ ”と題するＧ、Ｇ、ヘチャネク、Ｊ、　Ｇ、デルガードエフリアス及びＳ、ヴア ッシリアディスの米国特許出願第０７／７０２２６０号（ＩＢＭドケット番号Ｅ Ｎ９−９１−０５３）（”ＶＩＲＴＵＡＬ″または”Ｐｅｃｈａｎｅｋ　Ｖ　Ｉ 　ＲＴ　Ｕ　Ａ　Ｌ　９１″と呼ぶことがある）。 Ｈ，Ｈｅｌｌｅｒｍａｎの著書”Ｄｉｇｉｔａｌ　Ｃｏｍｐｕｔｅｒ　Ｓｙｓｔ ｅｍＰｒｉｎｃｉｐｌｅｓ”、　ＭｃＧｒａｗ−Ｈｉｌｌ　Ｂｏｏｋ　Ｃｏｍｐ ａｎｙ、　ｐｐ、３４６−３４８゜（以後”Ｈｅｌｌｅｒｍａｎ　６７”と呼ぶ 。）［背景技術］ 仮想学習とは、外部メモリに記憶された仮想結合重み及び仮想ニューラル状態値 を修正できる能力を意味する。この機能は、同時係属の諸特詐出願で開発された その他の機能の完全なスケーラビリティを要求する環境にとって望ましいもので ある。この機能及びそれを達成するための装置はまだ開発されていない。 ［発明の要約］ 本発明者等は、スケーラプル仮想学習機械（ＳＶＬＭ）と呼ばれる仮想学習ニュ ーロコンピュータ装置を提供した。これは完全に結合されたスケーラプルなアー キテクチャにおいて高性能直接エミュレーション及び仮想学習能力を提供するも のである。本発明者等のＳＶＬＭは、本装置が接続できる外部メモリに記憶され た仮想結合重み及び仮想ニューラル状態値を修正できる能力を提供する。本発明 者等の諸発明によれば、本発明者等は、シナプス処理ユニットのグループに区分 されたＮニューロン構造を有するスケーラプル・グループ区分仮想ニューラル・ シナプス・プロセッサ・アーキテクチャ装置を提供した。各グループは、命令及 びデータ記憶ユニットを含み、命令及びデータを受け取り、命令を実行し、７個 のニューロンに対する重み及びニューロン出力値用の外部データ記憶装置とイン ターフェースする、複数のシナプス処理ユニットを有する。ただし、Ｖ）Ｎ、か つＶはグループ区分Ｎニューロン構造上でエミュレートされるニューラル・ネッ トワーク内のニューロンの数である。これらのグループは、グループ命令を実行 し、通信加算器ツリーを有する。Ｎニューロン構造は、好ましくはシグモイド生 成機構の形のニューロン活動化関数ユニットを有し、この構造は、７個のニュー ロンをサポートするＮニューロン構造にこれらのグループを相互接続することが でき、通信加算器ツリーを介して命令とデータ、及びニューロン活動化関数ユニ ットの出力を入力シナプス処理ユニットに通信に戻すことができる。 スケーラプル・フロー仮想学習ニューロコンピュータ・システム装置は、スケー ラプル混成制御フロー／データ・フローを有し、スケーラプル仮想学習アーキテ クチャ用のグループ区分アルゴリズムを使用する。本発明者等は、仮想学習のた めの後方伝播能力を有するシナプス・プロセッサ・アーキテクチャ・マツピング 、内部正方形折畳み、及びアレイ分離を提供する。 グループ区分アルゴリズムは、それ自体の外部メモリを含むシナプス・プロセッ サの共通構成単位を作成する。これらのプロセッサ・グループは、完全な結合度 を維持する高性能の汎用仮想学習機械を作成するために使用される。シナプス・ プロセッサ・グループによって、システムは仮想サイズでスケーラプルになり、 直接実行能力が提供される。プロセッサ・グループ内部で、シナプス・プロセッ サは、外部メモリ・アクセスが可能で同期の問題が軽減された混成制御フロー／ データ・フロー・アーキテクチャとして設計される。 開発されている、ニューラル・ネットワークをサポートする一般のコンピュータ ・アーキテクチャは、「シナプス」プロセッサのアレイを折り畳み分離して、ニ ューロコンピュータ実施の共通構成単位であるプロセッサのクラスタまたはプロ セッサ・グループを作成する方法を利用するものである。 これらのプロセッサ・グループからなるニューロコンピュータは、完全に結合さ れたＮニューロン・ネットワーク・モデルを直接実行し、Ｎ個より多いニューロ ンを含むネットワーク・モデルに対しては仮想実行モードをサポートする。グル ープ内の各プロセッサのシナプス・プロセッサ・アーキテクチャ（ＳＰＡ）は、 グループ区分アルゴリズムから得られる直接エミュレーション・スケーラビリテ ィをサポートし、外部メモリの使用によって仮想シナプス・スケーラビリティを サポートする。この独特なＳＰＡの特徴の１つは、順次命令実行による制御フロ ー操作と、実行が有効タグ付きデータ・フローの受取りに依存するデータ・フロ ー操作の両方が可能なことである。このアーキテクチャのもう１つの独特の特徴 は、実施態様で複数のプロセッサ・グループが利用されるとしてもニューラル・ ネットワーク・モデルにおける完全な結合度をサポートする、プロセッサ・グル ープにインターフェースする方法である。このニューロコンピュータの他の独特 の特徴は、シナプス・プロセッサにとって局所的な動作完了のグループ通知、及 び学習アルゴリズムのサポートである。 前記及びその他の改良は、以下の詳細な説明に記載されている。これらの発明な らびにその利点と特徴をよく理解するには、本発明者等がこの分野で行った他の 開発に関する同時係属の特許出願を参照しなければならないこともあろう。しか し、特に本明細書に記載する改良、利点及び特徴に関しては、添付の図面に沿っ た説明で参照を行う。 ［図面の簡単な説明コ 第１図は、１６個の仮想ニューロン重み（２５６重み）をサポートする４ニユー ロン構造の概略図である。 第２図は、８ニユーロン・アレイ・モデルの概略図である。 第３図は、１個の正方形プロセッサ・アレイと２個のより小さい三角形プロセッ サ・アレイに分割された８ニユーロン・アレイ・モデルの概略図である。 第４図は、８ニユーロン・アレイ・モデルの折り畳まれた内部正方形の概略図で ある。 第５図は、２個の三角形アレイに分離された折り畳まれた内部正方形の概略図で ある。 第６図は、好ましい外部水和、シグモイド生成機構、及び逆通信経路の概略図で ある。 第７図は、ニューロンＹ値を伴う１６ニユーロン・アレイ・モデル重みマトリッ クスを示す図である。 第８図は、三角形アレイ１及び２を示す図である。 第９図は、三角形アレイ３及び４を示す図である。 第１０図は、２個の三角形アレイに分離された、折り畳まれた内部正方形５を示 す図である。 第１１図は、２個の三角形アレイに分離された、折り畳まれた内部正方形６を示 す図である。 第１２図は、２個の三角形アレイに分離された、折り畳まれた内部正方形７を示 す図である。 第１３図は、２個の三角形アレイに分離された、折り畳まれた内部正方形８を示 す図である。 第１４図は、２個の三角形アレイに分離された、折り畳まれた内部正方形９を示 す図である。 第１５図は、２個の三角形アレイに分離された、折り畳まれた内部正方形１ｏを 示す図である。 第１６図は、逆通信経路を伴う好ましい外部水和、シグモイド生成機構の概略図 である。 第１７図は、切替え機構の概略図である。 第１８図は、学習をサポートするための修正された８ニューロン切替え機構の概 略図である。 第１９図は、学習をサポートするための修正された１６ニユーロン切替え機構の 概略図である。 第２０図は、学習をサポートするための修正された１６ニユーロン切替え機構の 別の部分の概略図である。 第２１図は、■及びＮと記憶及び動作サイクルの関係を示す表である。 第２２図は、■＝１６、Ｎ＝４、Ｇ　＝　４　ノ４　ニー　：ｘ　−０ン・スケ ーラプル仮想学習機械の概略図である。 第２３図は、外部メモリ構造の概略図である。 第２４図は、１プロセツサ要素につき１個の重み、１個のＹ値ビット、１プロセ ツサ・グループにつき１で個の重み要素を有する、■＝１６、Ｎ＝４、Ｈ＝１６ のスケーラプル仮想学習機械の外部メモリ構造の概略図である。 第２５図は、外部メモリ、対角線シナプス・プロセッサ（ＤＳＹＰ）　、及び一 般シナプス・プロセッサ（ＧＳＹＰ）を有するシナプス・プロセッサ・アーキテ クチャの概略図である。 第２６図は、１６ニユーロン・ニューラル・ネットワークに関する４ニユ一ロン ＳＶＬＭタイミングを示す図である。 第２７図は、詳細なタイミングを示すために拡大したサイクル時間を示す図であ る。 第２８図は、各シナプス・プロセッサ・グループ及び外部メモリ・アドレス指定 構造と関連するメモリ・サブシステムの概略図である。 第２９図は、ニューロン・プロセッサのタグ付き命令／データ形式を示す図であ る。 第３０図は、入出力問題を解（ためのニューラル・ネットワークの概略図である 。 第３１図は、■＝１６、Ｎ＝４、Ｇ　＝　４　（７）　４　ニー　ニー　Ｃ１’ ／　・スケーラプルＳＶＬＭ上にマツプされた、１１ニユ一ロン入出力エンコー ダ問題を示す図である。 第３２図は、初期設定の概略図である。 第３３図は、第１層実行の概略図である。 第３４図は、モードを進めＹｌ’及びＹ２’　を逆通信するためのセットＳＯカ ウントを示す図である。 第３５図は、第２層実行の概略図である。 第３６図は、逆通信Ｙ３’　の概略図である。 第３７図は、第３層実行の概略図である。 第３８図は、逆通信Ｙ４’　、Ｙ５’　、Ｙ６″、及びＹ７’の概略図である。 第３９図は、第４層実行の概略図である。 第４０図は、ロードＳビット＆Ｉビット、及びＳ○カウントとＩＡカウント、Ｒ ４へのデータ経路変更、及び逆通信Ｅ８、Ｒ９、ＥＩＯ，Ｅｌｌの学習モードを 示す図である。 第４１図は、重み付き誤差和ＥＲ４、ＥＲ５、ＥＲ６、ＥＲ７に関する乗算を開 始するためのＭＰＹ　Ｒ６＊Ｒ３Ｔ発行の学習モードを示す図である。 第４２図は、重み付き誤差和ＥＲ４、ＥＲ５、ＥＲ６，及びＥＲ７作成の学習モ ードを示す図である。 第４３図は、ステップ１重み更新ＭＰＹ　Ｒ５＊Ｒ３→Ｒ４の学習モードを示す 図である。 第４４図は、ステップ２重み更新ＭＰＹ　Ｒ４＊ＩＭＤ→Ｒ４の学習モードを示 す図である。 第４５図は、外部メモリ内での重み更新ＡＤＤ　Ｒ６＋Ｒ４→ＥＸＴＭＥＭ２の 学習モードを示す図である。 （注：図示の都合上、図は分割することがある。何枚も使用する場合は、慣例に 従って、図の上端を１枚目とし、以下上から順に並べることにする。） この詳細な説明は、例によって提供される本発明者等の諸明の好ましい実施例を 説明する一部分である。 ［発明の好ましい実施例コ 本発明者等の好ましい実施例を検討する前に、好ましい実施例を説明する際に使 用するいくつかの共通の特徴を紹介しておくことが有用であろう。 この説明では、数Ｖは、ニューロコンピュータ上でモデル化されるネットワーク 内に含まれるニューロンの数を表すために使用し、数Ｎは、物理的実施態様で使 用可能な物理ニューロンの数を意味する。仮想処理ではＶ）Ｎである。この説明 で記述するニューロコンピュータ・アーキテクチャによって実施される計算タス クは、式１及び２で与えられる。これらの式は、”Ｒｕｍｅｌｈａｒｔ　８６” の完全並列分散処理モデル及び”Ｈｏｐｆｉｅｌｄ　８４”のホップフィールド ネットワークのサブセットに基づいている。 ・Ｖはニューラル・ネットワーク内のニューロンの数・重みＷの下付き文字Ｗ１ ．などは、ニューロン３からニューロ　ン１への結合の重みを意味する。 ・Ｙｊは結合重みＷｌｊで１番目のニューロン入力に結合された５番目のニュー ロン出力の値 ・Ｅｘ、は１番目のニューロンへの外部入力・−Ａ≦Ｅｘ１≦＋Ａ、ただし、Ｅ ｘ、がそのニューロンへのただ１つの入力である場合は、−ＡはＹ１＝０に等し く、＋ＡはＹ、≦１に等しくなる（士受容可能な範囲の誤差）。 ・Ｆ（Ｚｉ）はニューロン活動化関数であり、しばしば下記の形のシグモイド活 動化関数に等しく設定される。 上式で、 ・０≦Ｆ（ｚ、）≦１ ・Ｔは所与の１組のＺ、値に対するシグモイド関数の勾配を修正するのに使われ る大域制御パラメータ・ｅ＝自然対数（２，７１８２８，、、）完全に結合され たＶニューロン・ネットワークでは、式１及び２は４つの基本操作を含む。 １．７２回の乗算 ２、Ｖ回の積加算 ３、Ｖ個の活動化関数 ４、ＶＸＶ回の通信 ニューロコンピュータ実施態様には、克服しなければならない多くの問題があり 、高性能を達成するには高度の並列性が必要である。ニューラル実行の４つの基 本操作との関係で、７２個の乗算エンジン、Ｖ個の積加算及び活動化機構、及び 遅延時間が最小のｖｘｖ個の通信媒体を有することが望ましい。 通常、ＶはＮに比べて大きい。ただし、Ｎは物理的に実現可能なニューロコンピ ュータを表す。Ｖ）Ｎなので、多数のサイズのニューラル・ネットワークモデル をサポートするために、ニューロコンピュータ内に仮想エミュレーション能力が 望ましい。さらに、ニューロコンピュータ・アーキテクチャではより多くの汎用 実行能力が必要であるので、学習にはいくつかの要件を満たす必要がある。仮想 能力及び直接エミュレーション能力の両方でスケーラプルなアーキテクチャを提 供しながら、完全な結合度ならびに仮想能力及び学習能力と関連した高性能をも たらすことは困難なタスクであった。これらの問題は、スケーラプル仮想学習機 械（ＳＶＬＭ）によって対処される。 本発明者等の他の同時係属出願は、基本的なものであり、多くの状況に適用可能 で必要な問題に解を与える最良の方法を提供するが、特殊な環境で見られるある 種の制限があることが認められる。たとえば、本発明者等の”Ｐｅｃｈａｎｅｋ 　ＬＭ９１″の汎用学習機械（ＧＰＬＭ）シナプス・プロセッサ・アーキテクチ ャ　（ＳＰＡ）は、ニューラル・ネットワークモデルの直接実行に適切なシナプ ス処理要素光たり単一の結合重み及びニューロン値だけの記憶容量を有する。こ の直接エミュレーション能力により、ＶがＮ以下に制限される。さらに、ＧＰＬ Ｍは、自動モードの同期制御のためにタグ付きデータの利用を必要としない、単 純な状態機械制御機構を利用していた（”Ｐｅｃｈａｎｅｋ　ＬＭ　９１”参照 ）。■が大きくなり、仮想能力が追加されると、状態機械制御は複雑になる。こ のＳＰＡはまた、命令を発行する学習プロセッサに完了通知を提供しない局所処 理命令を含んでいた。学習プロセッサ内の状態機械制御動作は、タイムアウトが 、命令のタイプに応じてシナプス・プロセッサにいつ新しい命令を送れるかを決 定するようなものと仮定された。”Ｐｅｃｈａｎｅｋ　ＶＩＲＴＵＡＬ　９１’ の仮想ＴＳＮＡＰは、シナプス処理要素内に仮想結合重み及びニューロン値の記 憶域を含んでおり、７個（Ｖ＞Ｎ）のニューロンのエミュレーションが可能であ ったが、それによってＶは固定数に設定され、■及びＮは技術能力に連係されて いた。さらに、この仮想ＴＳＮＡＰは学習能力をサポートせず、その代りに単純 な乗算機能ユニット及び必要な重み及びＹ値記憶域だけを使用していた。どちら の手法でも、エミュレートされるニューロンの数Ｖが増加するにつれて、前記の 特徴のために多数の難点が生ずる。１つの難点は、構造上でエミュレートできる ニューラル・ネットワークのサイズの制限である。ＧＰＬＭは、Ｎ個のニューロ ンの物理的実施態様に制限され、■≦Ｎがエミュレートできる７個のニューロン のネットワークだけが可能になる。ＧＰＬＭではＮが制限されたが、仮想Ｔ　Ｓ 　ＮＡ　Ｐでは、やはり技術的考慮により、■が制限される。■が選択され、仮 想ＴＳＮＡＰ用のチップが作成された後は、■を増加することはできない。もう １つの難点は、選択された技術のセル及び入出力容量による、１つのチップ上に 配置できるシナプス・プロセッサの数を実際的に考慮しなければならないことで ある。チップ上に多数のシナプス処理要素があり、望ましいシステムで多数のチ ップが利用されると仮定すると、同期制御はきわめて困難になる。 すべての動作に対する状態機械制御手法は、大きなシステムでは実現不可能であ る。状態機械で制御されるシステムは、構築された後は、容易には拡張できない 。命令の自動動作モードの同期化を解決するために、制御フロー（順次命令実行 ）動作モードとデータ・フロー（データ依存実行）動作モードの両方をサポート できる新しいアーキテクチャが開発された。 命令の自動動作モードは、データ・フローで制御される動作として定義されるよ うになり、機能を「発火」する前に有効なタグ付きデータを受け取ることを必要 とする。通知なしの命令の局所処理も大型システムでは問題になる。グループ加 算ツリーを利用して、成功裡の動作完了を実現するだけでな（、動作中に発生す る誤差の通信をも行う、局所処理完了通知の新しい方法が定義される。このよう にして、すべての動作の完了が命令／データ発行プロセッサに通知され、従って 適切な制御が保証され、さらにスケーラビリティが実現される。 チップ上に限られた数のシナプス・プロセッサがあるという、発生する可能性の ある特別な状況が起こった場合、問題は、７個（Ｖ≧Ｎ）のニューロンをサポー トする多数のシナプス・プロセッサ・チップからなる学習能力をもつ大きなＮニ ューロコンピュータをどのように構築すれば、重み及びニューロン値記憶域を拡 張して仮想容量を増加させるだけでなく、シナプス処理要素をも拡張して、直接 実行容量を増加させ、性能を向上させて将来の成長を可能にできるかである。 この説明では、学習及びモデル化されたニューロン間の完全な結合度を保持し、 高いエミュレーション性能を提供しながら、実際的スケーリング機構を可能にす る、新規な区分アルゴリズムによってプロセッサの大きな三角形アレイをより小 さな三角形プロセッサ・アレイ・グループに分割する方法を提示する。利用され る外部メモリの量のみに依存する、結合重み及びニューロン値記憶域の成長が可 能な、外部メモリ・アーキテクチャが開発された。同時係属出願のＧＰＬＭも同 時係属出願の仮想ＴＳＮＡＰも、容量と性能の両方でスケーラビリティを達成す るには不十分である。学習のサポートを維持し、スケーラプル仮想学習機械’（ ＳＶＬＭ）と呼ばれる新しいタイプのニューロコンピュータを表す、新しいニュ ーロコンピュータ・アーキテクチャが開発された。この種の機械を開発する最善 の方法を例示するため、好ましい実施例を提示する。最初に、シナプス・プロセ ッサ・アーキテクチャの仮想ＴＳＮＡＰ構造上へのマツピングを提示する。次に 、内部正方形折畳み及びアレイ分離グループ区分アルゴリズムを提示し、続いて 外部メモリをサポートする新しいシナプス・プロセッサ・アーキテクチャ及びグ ループ・アーキテクチャ、混成制御フロー／データ・フロー操作、及び誤差のあ るまたは誤差のない局所シナプス処理完了通知について述べる。 また、この新しいアーキテクチャの利用を実証する後方伝播学習の例も提示する 。 ”Ｐｅｃｈａｎｅｋ　Ｖ　工ＲＴ　Ｕ　Ａ　Ｌ　９１”の仮想ＴＳＮＡＰは、シ ナプス・プロセッサ・セル内に重み及びニューロン値を含み、乗算器及び加算器 ツリーを循環的に共用し、反復加算器を使用する。各反復加算サイクルで、部分 和を生成し、それが反復加算器（ＩＡ）に記憶され反復加算器が各反復加算サイ クルごとにネットワーク和を累計する。 仮想ＴＳＮＡＰのレジスタ乗算器アーキテクチャは、”Ｐｅｃｈａｎｅｋ　ＬＭ 　９１”のシナプス・プロセッサ・アーキテクチャ上にマツプすることができる 。対角線シナプス処理「セル」ＤＳＹＰと一般シナブス処理「セルＪ　ＧＳＹＰ の２種のタイプのプロセッサ「セル」構造がシナプス・プロセッサ・アーキテク チャにおける学習に使用される。ＤＳＹＰは１個の重み／Ｙ値乗算要素を含み、 ＧＳＹＰは２個の重み／Ｙ値乗算要素を含む。４物理ニユ一ロンＧＰＬＭ上にマ ツプされた仮想１６ニユーロン・ネットワークに対する結合重み及びニューロン 値記憶要件を第１図に示す、ＤＳＹＰは点線で、ＧＳＹＰは破線で囲んである。 ＤＳＹＰ及びＧＳＹＰ内の重みは、４列にグループ分けされ、各列は４つの反復 加算サイクルと関連する結合重みから構成される。この例では、１個のニューロ ン出力を生ずるのに４つの反復加算サイクルが必要である。図のように、４つの 反復加算サイクルからなる第１セツトはＹｌ’　、Ｙ２’　、Ｙ３’　、Ｙ４’ 　を生成する。４つの反復加算サイクルからなる第２セツトはＹ５’　、Ｙ６’ 　、Ｙ７’、Ｙ８’　を生成する。１６個のニューロン出力すべてが出力される までこれが続行する。合併された構造は、新しいＳＶＬＭアーキテクチャを記述 するための出発点となる。 内部正方形折畳み及びアレイ分離 ８ニユーロンの場合の”Ｐｅｃｈａｎｅｋ　ＬＭ　９１”のＧＰＬＭ構造を第２ 図に示す。ここで、 第２図の大きな三角形構造の内部に、シナプス・プロセッサ・セルからなる１つ の正方形配置及び２つのより小さい三角形配置があることに留意されたい。これ らを主構造から分離し、加算ツリーの最終段をシナプス・プロセッサの配置の外 部に置（と、第３図に示す構造が得られる。第３図は、３つの構造、すなわち２ つの三角形アレイ及び１つの正方形アレイを含む。スケーラビリティをサポート するには、共通の反復可能な設計が望ましい。第３図に示した２つのタイプの構 造、すなわちシナプス・プロセッサからなる１つの正方形配置及び２つの三角形 配置があるので、単一の設計によるスケーラビリティは実現できない。正方形編 成の構造をどのように変えれば、元の８ニユーロン・モデルを構成する他の２つ の三角形アレイと同じサイズの２つの三角形アレイになり、共通の反復可能な設 計が得られるかを以下に示す。これを達成するために、まず正方形構造を第４図 に示すようにその対角線に沿って折り畳むが、すべてのシナプス・プロセッサは そのまま保ち、加算器ツリーだけを折り畳む。各シナプス・プロセッサ内の重み 及びＹ値記憶域を配置替えすることにより、第４図の折り畳んだ構造を第５図に 示すように２つの別々の三角形処理アレイとして書き直すことができる。この手 順に従うことにより、第２図の大きな三角形構造が４つのより小さい三角形アレ イから構成されることが示された。 ここでプロセッサのグループに関する新しい表記法を導入する。Ｇはグループの 数を表し、ＨはグループＧ内のシナプス・プロセッサ要素の数を表す。より小さ な各三角形構造は、この場合サイズＨ＝１６のグループＧを表す。第３図は、Ａ １、Ａ２、Ａ３、Ａ４を生成するグループと、Ｂ５、Ｂ６、Ｂ７、Ｂ８を生成す る第２のグループの２つのグループを示　゛す。第５図は、Ｂ１、Ｂ２、Ｂ３、 Ｂ４を生成する三角形アレイ・グループとＡ５、Ａ６．Ａ７、Ａ８を生成するも う１つの三角形アレイ・グループの２つの分離された三角形アレイ・グループを 示す。第２図のＮ＝８ニューロン三角形アレイをつくるには、４つのグループ、 Ｇ＝４が必要である。外部水和及びシグモイド生成関数、ならびに８ニユーロン ・モデルを完成する逆通信経路を第６図に示す。同図で、（→）は順方向水和経 路を示し、（←）は逆通信経路を示す。 この区分概念を、次に１６ニユーロン・ニューロコンピュータについて提示する 。第１ステツプでは、第７図に示すように１６ニユーロン構造を三角形アレイと 正方形アレイのグループに区分する。１６のグループ・サイズＨを使用する１６ ニユーロン・モデルでは、１．２．３．４で表す４つの三角形アレイ、及び５． ６．７．８．９．１ｏで表す６つの正方形アレイがある。次に、これらの正方形 アレイを折り畳み、所望の三角形アレイに分離する。この場合、その結果得られ る１６個の三角形アレイを第８図ないし第１５図に示す。各図には、第７図を参 照するグループ・ラベルがつけである。 外部加算及びシグモイド生成関数、ならびに１６ニユーロン・モデルを完成する 逆通信経路を第１６図に示す。同図で（→）は順方向加算経路を示し、（←）は 逆通信経路を示す。 第８図ないし第１７図の表現を容易にするために、次のことに留意されたい。 一般に、グループ区分アルゴリズムは所与のサイズＨのより大きな構造に適用さ れるので、外部加算器ツリーにさらに水和段が追加される。単一のチップ上に１ つのプロセッサ・グループが、すなわち１チツプ上にＨ個のシナプス処理要素が 配置される実施態様を仮定すると、追加のグループ・チップを追加するとき、外 部加算器ツリーだけを修正すればよい、スケーラプル・ニューロコンピュータ設 計を構築することができる。これは、８及び１６ニユーロン・モデルの例で見る ことができる。 Ｙ値の配列を変えると、１つの正方形アレイを２つの三角形アレイに構造を変え ることができ、逆通信経路に影響が及ぶ。経路切替え機構を第１７図に詳細に示 す。第１７Ａ図は、８ニユーロンの例でＹｌ及びＹ５に対する切替え機構を示し 、第１７Ｂ図は、１６ニユーロンの例でＹｌ、Ｙ５、Ｙ９、及びＹＤに対する切 替え機構を示す。各側でその他のニューロン出力に対しても同じ切替え機構が使 用される。逆通信経路内での経路の切替えはこの切替え機構によって実施される ことに留意されたい。たとえば、第１７Ａ図で、道通信用のスイッチ位置Ｙ１は Ａ１及び請求和経路に逆通信されるが、Ｙ５はＢ１及びＢ５に逆通信される。三 角形構造だけの第３図及び第５図に戻ると、ＤＳＹＰ及びＧＳＹＰ内で、受は取 られたＹ値が直列化して当該の加算器ツリーの原点と向き合った正しいレジスタ に入れられることがわかる。逆通信経路内のスイッチは、第１７Ｂ図の１６ニユ ーロンの例でも同じである。 第１７図の外部切替え機構は後方伝播学習をサポートするようにさらに修正する 必要がある。外部処理切替え機構によってサポートされる動作モードには４つの 異なる動作モードがある。そのうちの２つは第１７Ａ図及び第１７Ｂ図に示すよ うにニューロン実行によるものであり、２つは後方伝播学習によるものである。 １、ニューロン人力求和関数の外部水和。 ２、ニューロン出力Ｙ値の逆通信。 ３、学習における誤差信号Ｅ、の逆通信。 ４、学習における重み付き誤差水和ＥＲ，の外部水和。 動作モード１及び４は順方向加算経路に関し、動作モード２及び３は逆通信経路 に関するものである。学習のためとニューロン実行のための外部水和要件及び逆 通信要件は異なる。したがって、ハードウェアがニューロン実行モードにあるか それとも学習モードにあるかに応じて、異なる値が外部加算され、異なる値が逆 通信される。さらに詳しく、ニューロン実行用の逆通信経路を、学習の場合と比 較して考察する。 ニューロン実行モードでは、逆通信されたＹ、をその適切なＷ、Ｊと乗算しなけ ればならないが、学習モードでは逆通信された誤差信号Ｅ、をその適切なＷ３． と乗算しなければならない。 逆通信された値Ｙ、とＥｌの下付き文字のこの見たところ小さな変化は、Ｅ、値 と比較してＹ、値には異なる逆通信経路が必要なことを示している。これらの異 なる経路は、折り畳まれた正方形の分離された三角形によるものである。第１７ 図の例の外部スイッチは、異なる置方の経路要件をサポートするように修正しな ければならない。順方向水和要件に対処できるように、第１７図の切替え機能に 追加の変更を加える。第１８図は、８ニユーロンの例での修正された外部切替え 機構を示し、付記した数字１−４は上述の４つの切替え動作モードに対応する。 第１９図及び第２０図は、１６ニユーロンの例での修正された外部切替え機構を 示す。第１９図は、切替え動作モード１及び２に対応し、第２０図は切替え動作 モード３及び４に対応する。動作モードに応じてすべての経路が変化するのでは ないことに留意されたい。例として第１８図を使用すると、Ａ１及びＢ５に対す るニューロン入力順方向水和経路（１）は、Ａ１及びＢ５に対する重み付き誤差 和（４）に必要な経路と同じである。さらに、Ａ１及びＢ５に対する逆通信経路 も、ニューロン実行と学習とで同じである。 第３図から理解できるように、Ａ１及びＢ５は、折り畳みアルゴリズムの使用を 必要としない対角線三角形アレイと関連している。動作モードに応じて変更しな ければならない経路は、折り畳まれた内部正方形から分離された三角形構造と関 連する経路である。 第４図の分離する前の折り畳んだ内部正方形は、共通の複製可能な構造単位とし て使用できることに留意されたい。折り畳んだアレイの半分に対する重み及びＹ 値をゼロにすることによって、折り畳んだアレイで、２倍の数のプロセッサを使 用するエツジ三角形アレイの諸機能をモデル化することができる。このグループ 配置でも、なお外部切替え機能に対する要件がある。折り畳んだ内部正方形から 三角形アレイが分離されているために切替え機能を必要とする代りに、折り畳ん だ正方形構成単位上でモデル化されたエツジ三角形アレイに対する切替え機能が 必要である。折畳み正方形構成単位手法は、所与のサイズの対角線三角形アレイ では１つのプロセッサ・グループ内に２倍の数のプロセッサを必要とし、なお外 部切替え機能に対する要件があるので、この説明では折畳み正方形構成単位手法 についてはこれ以上検討しない。 第２図ないし第１７図の８ニユーロンの例でも１６ニユーロンの例でも、どちら の場合もＶ＝Ｎなので仮想能力を必要としない。仮想ニューラル処理能力は、シ ナプス処理要素光たり１個を越える重み及びＹ値の記憶に加えて、ニューロン入 力の積の和関数の一部分を処理する方法を必要とする。部分和（ＰＳ）記憶要素 を備えた反復加算器によって、ニューロン処理全体を複数のサイクルに分割し、 以前の部分和を生成された最新の部分和に加えることができる。次に、プロセッ サ・グループの概念に仮想能力を追加する例を、■＝１６、Ｎ＝４、Ｈ＝４、Ｇ ＝４の場合について説明する（第２２図）。 これは、後で仮想学習の例の説明で使用する。第２２図は、修正された切替え機 構、部分和（ＰＳ）記憶機構を備える反復加算器、及びホスト・コンピュータと インターフェースする初期設定及び制御学習プロセッサを含む。ホスト・コンピ ュータは、学習プロセッサを介してプロセッサ・グループを初期設定する責任を 負う。たとえば、エミュレートされるネットワーク内のニューロンの数、すべて の結合重み、（必要なら、初期ニューロン値）、学習アルゴリズムをサポートす る「教師」値、走行すべきネットワーク更新サイクルの数をロードすること、な らびにモデルの実行を開始することが、エミュレーション・サイクルを開始する 前に満たさなければならない要件である。さらに、学習プロセッサはネットワー クの実行を監視するための追跡機能を含むことができる。 Ｇ＝４個のグループがあり、各グループが、第２２図でＧ１、Ｇ２、Ｇ３、Ｇ４ で記されたＨ＝４個の処理要素を含む。 ただし、 ・Ｇ１はＡ１及びＡ２を生成する ・Ｇ２はＡ３及びＡ４を生成する ・Ｇ３はＢ１及びＢ２を生成する ・Ｇ４はＢ３及びＢ４を生成する ■＝１６なので、７２個の結合重みがメモリに記憶される。 この例（第２２図）では、４個の処理要素からなる４個のグループがあり、各グ ループは完成したシステムで合計１６個の処理要素を存する。したがって、１６ ニユーロンの完全に結合されたネットワークをサポートするには、各処理要素内 に１６個の結合重みが必要である。 構造出力サイクルをＳｏ１部分和反復加算サイクルをＩＡで表すものとする。一 般に、７個の仮想ニューロン及びＮ個の物理的ニューロンが与えられており、簡 単にするために、ＶとＮはどちらも２の累乗であり、結合重み及びニューロン値 記憶域が各シナプス処理要素と関連付けられていると仮定すると、仮想学習構造 が形成される。 ・　（Ｖ／Ｎ）個のＹ値が各シナプス・プロセッサ要素に記憶される（ＩＤＳＹ Ｐ当り１要素、ＩＧＳＹＰ当り２要素）。 ・　（■２／Ｎ２）個の結合重みが各シナプス・プロセッサ要素に記憶される。 ・１構造出力（Ｓ　Ｏ）サイクル当りＮ２回の重みとＹ値の乗算からなる（Ｖ／ Ｎ）回の反復加算（ＩＡ）サイクル。 ・ＩＳＯサイクル当りＮ個のニューロン値からなる（Ｖ／Ｎ）回のＳｏプサイル 。 たとえば、第２１図は、■及びＮと記憶サイクル及び動作サイクルの関係を示す 。 第２２図では、１６個の重み値からなる各結合重みメモリが、結合重み記憶ブロ ック上でＳＯ１、ＳＯ２、ＳＯ３、ＳＯ４と記されたそれぞれ４つの値からなる ４つのＳＯ上セツト編成されている。各セットは、ニューロンＮ＝４個の値から なる１セツトを生成するために、４つの部分和反復加算サイクルを必要とする。 切替え機構及び反復加算器に関するさらに二三の一般的コメントを第２２図の順 に行う。図の切替え機構は、この構造の４つの切替え動作モードをサポートする のに必要なすべての経路の合成図である。反復加算器の概念は、同時係属出願” Ｐｅｃｈａｎｅｋ　Ｖ　Ｉ　ＲＴ　ＵＡ　Ｌ　９１”に提示されている。この場 合、反復加算器があるために、加算経路内に追加の遅延が必要であった。このア ーキテクチャでは、反復加算器遅延は必要でないことに留意されたい。というの は、この機能は、３−１加算器を利用して加算器ツリーの最終段に組み込まれて いるからである（第２２図）。さらに、同時係属出願”Ｐｅｃｈａｎｅｋ　ＬＭ 　９１”で提示された外部入力Ｅｘｌ経路が、ニューロン活動化関数入力の前に 提供される。 外部メモリ拡張 ”Ｐｅｃｈａｎｅｋ　ＬＭ　９１”で提供されるシナプス・プロセッサ・アーキ テクチャ（ＳＰＡ）は、ニューラル・ネットワーク・モデルの直接実行に適当な 、１シナプス処理要素当り１つの結合重みの記憶容量しかもたなかった。７個（ ＶＡＮ）のニューロンを含むより大きなネットワーク・モデルでは、性能に大き な影響を与えずに、または拡張された内部記憶域を含む新しいチップ設計を必要 とせずに、重み及びニューロン値記憶域を拡張する一般的方法が必要である。　 ”Ｐｅｃｈａｎｅｋ　ＬＭ９１”で提供されたデータ並列システム処理でも、同 じスケーリング問題が当てはまり、マトリックス要素がシナプス・プロセッサ・ レベルから容易にアクセスされなければならない。 メモリは、シナプス・プロセッサのグループ間で分割されていると考えることが でき、各グループは独立の読取り／書込み能力及びアドレス指定能力を有する。 この概念を、第２３図に示す。同図は、好ましい外部メモリ構造を示している。 第２４図に示した外部結合重みメモリ構成を仮定すると、メモリは０個のグルー プに配置される。ここで、１プロセツサ・グループ内にＮ個の物理ニューロン及 びＨ個のプロセッサ要素があるとすると、Ｇ＝Ｎ２／Ｈである。たとえば、Ｎ＝ ２５６、Ｈ＝２５６と仮定すると、Ｇ＝２５６２／２５６　＝２５６である。１ チツプが単一のプロセッサ・グループを含むと仮定すると、２５６ニユーロン・ ニューロコンピュータは２５６個のグループ・チップから構成され、したがって 合計６５５３６個のシナプス処理要素が含まれる。外部メモリ・ワード長は２つ のピースから構成される。１つのピースは結合重みインターフェースと関連し、 他のピースはニューロンＹ値インターフェースと関連する。重みもＹ値もビット 直列形式である。１つの重みメモリ・アドレスは、Ｈ個の重みビットにアクセス する。ただし、プロセッサ・グループ内には１プロセッサ要素当り１個の重みビ ットがある。（対角線シナプス・プロセッサＤＳＹＰ当り１シナプス・プロセッ サ要素、一般シナブス・プロセッサＧＳＹＰ当り２シナプス・プロセッサ要素、 第２５図）。話を簡単にするために、Ｈ及びＮを指定するために２の偶数乗の基 準を仮定すると、Ｆ「はプロセッサ・グループ内で利用されるＹ値の数を表す。 したがって、外部メモリ・インターフェースは、（Ｈ＋ＥＣＣ１＋Ａ／Ｔ＋ＥＣ Ｃ２）ビットの合成ワード長をもつ。ＥＣＣ１ビットは、Ｈビットからなる各グ ループ上の誤差訂正コード・ビットに対応し、ＥＣＣ２ビットは各ＥＷビット上 の誤差訂正コード・ビットに対応する。ＥＣＣｌビットとＥＣＣ２ビットはとも に、”Ｈｅｌｌｅｒｍａｎ　６７”に示されたハミング単一誤差訂正コードなど の誤差検出及び誤差訂正コード化方式を使って決定される。これには式４及び式 ５に基づ＜ＥＣＣ追加ビットが必要である。 ２”ＣＣ１≧Ｈ＋ＥＣＣ１＋　１　（４）２シＣＣ２≧Ｆπ＋ＥＣＣ２＋１　（ ５）たとえば、６４個のシナプス処理要素に対応するＨ＝６４の場合、ＥＣＣ１ ＝７個の追加ビットを使用しなければならない。ＥＣＣインターフェースは、誤 りがあることが検出されたデータの固定を可能にする。重みアレイ・インターフ ェースは双方向であり、学習をサポートするのに必要な外部重み値記憶域への各 シナプス・プロセッサ書込みアクセスが可能である。重みメモリに加えて、他の ２つの外部メモリ・アレイを使用する。１つは現ニューロン状態値（Ｙ）用、も う１つは更新されたニューロン状態値（Ｙ′）用である。各プロセッサ・グルー プごとに、７７個のＹ値出力がある。現Ｙ値アレイ及び新Ｙ値アレイをネットワ ーク更新サイクルごとに前後にトグルすることもできる。たとえば、更新された Ｙ値が新Ｙ値アレイにロードされている間に、現Ｙ値アレイが全ネットワーク更 新サイクルに対するＹ値を出力する０次のネットワーク更新サイクルでは、これ らのアレイは役割を替え、新しく更新されたＹ値（新Ｙ値アレイ）が次のネット ワーク更新サイクルで現在値として使用され、前の現Ｙ値アレイが新Ｙ値で重ね 書きされる。出力用に一方のアレイを選択し、Ｙ値をロードするためにもう一方 のアレイを選択するアレイ・セレクタ信号によって、これらのアレイを前後にト グルすることができる。別の動作モードでは、現Ｙ値アレイだけを使用し、新Ｙ 値は前に記憶されたＹ値を重ね書きする。使用する各パラメータのビット長に対 応するシナプス・プロセッサ内部レジスタ長は、長さＤビットであり、Ｄビット 内に条件付き実行ビット（ＣＥＢ）を含む（第２９図）。Ｄ個の外部メモリ・ア ドレスは、それぞれＤビットのＨ個の分離値に対応し、これにはプロセッサ要素 当り１つの値をビット直列方式でロードすることができる。外部重みメモリは、 Ｑ＊Ｈ値、またはそれと等価であるが、１メモリ位置当りＨ＋ＥＣＣ１ビットの Ｑ＊Ｄ個のメモリ位置を保持する。メモリ値はプロセッサのグループに対してア クセスされ、メモリ値はグループ・プロセッサ制御機構を介して読み取り、また は書き込むことができる。 シナプス・プロセッサ・セルへのメモリ接続を第２５図に示す。メモリは対角線 シナプス・プロセッサ・セルに接続され（第２５Ａ図）、２本の外部メモリ入出 力線は分配機構に行く。外部メモリからの重み及びＹ値組路は、記憶されたＰＡ ＴＨアドレスによって制御される。両方向入出力線を有する重みメモリに対して １個のアドレスがある、すなわち重み値は別々にしかし同期せずにメモリから読 み出し、またはメモリに書き込むことができる。Ｙ値アレイに対して２個のアド レスがあり、各アレイごとに１組ずつあって、それぞれ独立に制御される。Ｇセ ル・シナプス・プロセッサ（第２５Ｂ図）では、各シナプス・プロセッサ要素に 対する両方向重みビット及び出力Ｙ値ビットが分配機構に接続され、ＧＳＹＰ内 部の２個のプロセッサ要素への別々の経路ができている。 すべてのメモリ・アクセスは、内部プロセッサ・レジスタにロードされる。更新 されたＹ値、Ｙ′は外部メモリに向かい、各入口点からプロセッサ・グループ・ チップに直接向かう。 外部メモリからきたＹ値は、プロセッサ・グループ・チップ上でファンアウトさ れて、各シナプス・プロセッサ要素に向かう。 ソース・アドレス及び宛先アドレスは、コマンド・レジスタに対する相対値であ る。相対アドレス指定を第２５Ａ図及び第２５Ｂ図に示す。図では上端コマンド ・レジスタＣＭＤＴＲＥＧの相対アドレスは、レジスタ・ブロックの右の欄に示 され、下端コマンド・レジスタＣＭＤ　ＢＲＥＧの相対アドレス指定はレジスタ ・ブロックの左の欄に示されている。 たとえば、下端コマンド・レジスタＲ２は上端コマンド・レジスタＲ５と同じで あることに留意されたい。加算器ツリーから受け取ったビット・ストリングは、 それがコマンドである場合、直列化されて、各Ｇセル内の２個のＣＭＤレジスタ のうちの１つ、及び対角線セルの単一〇ＭＤレジスタに入る。 別法として、加算器ツリーから受け取ったデータ・ビット・ストリングは、直列 化されて、Ｇセル内の使用可能な他の６つのレジスタのうちの１つ、及び対角線 セル内で使用可能な他の３つのレジスタのうちの１つに入る。ＤＳＹＰでは、Ｒ ４ないしＲ６及びＣＲ２のソースまたは宛先アドレスは以下のようにマツプされ る。 ・ＣＲ２→ＣＲＩ ■＝１６のニューロン容量を有する４ニユ一ロンＳＶＬＭのタイミング図の例を 第２６図に示す。この場合、それぞれ４ＩＡサイクルからなる１６／４＝４個の ＳＯプサイルがある。 各ＳＯプサイルはＶ／Ｎ個のＩＡプサイルからなる。１工Ａサイクルは、重みと Ｙ値を乗算し、続いてＶ／Ｎ倍した値の和をめ、部分和結果を反復加算器に記憶 することから構成される。良好な性能を得るには、次のＩＡプサイル用の重み及 びＹ値へのアクセスが、最初のＩＡの乗算時間中に済んでいる必要がある。そう するには、ＥＸＵに入るすべてのオペランドがＥＸＵの外部で関数実行中に固定 されないように、ＥＸＵの乗算器（または任意のＥＸＵ関数）に対して要件が課 せられる。乗算器にとって、これは、乗算器が必要ならそれ自体のオペランド・ レジスタを含まなければならないことを意味し、良好な性能を得るために、その 対応するオペランド・ビットが乗算器に入ってから１サイクル後に結果ビットが 生成される。災害が起こらないようにするには、実行二ニット（ＥＸＵ）乗算器 について以下の関係式６が成立しなければならない。この関係式は、他のＥＸＵ 関数にも適用可能である（式７）。 乗算（ユつぃ−ＣＤδ。８．。。。≦δや　（６）一般に　Ｄδｅｘｔｍｅａ＋ ≦δＺＫＵＣ４ｎ）　（７）上式で、 ・読取り／書込みアクセスごとにＤビット・δｅｘｔ＋ｎｅｍは外部メモリ・ア クセス遅延・δやは乗算器遅延、通常は長さ２＊（Ｄ−１）クロック・サイクル ・δ２ゎ（ｆｎ）はＥＸＵによって指定される関数の遅延ＥＸＵのすべての関数 は、より短い実行関数に埋込みを行うことによって、同じ時間内に実行されるよ うにすることができる。このようにして、最も長い実行関数によって、外部メモ リ・アクセス・タイミングの基準が決まる。たとえば、乗算関数が最長のＥＸＵ 実行関数であり、２つの３２ビツト・オペランドの乗算を実行するのに６４クロ ツク・サイクルかかると仮定すると、１つの３２ビツト・オペランドの最大外部 メモリ・アクセス遅延は６４クロツク・サイクルである。 すべてのＥＸＵ関数が同じ遅延時間になるようにすることによって、外部メモリ ・アクセス遅延時間に対してより厳しい要件が課されることはない。第２７図に 、１組Ｎ個のニューロン値を生成するＩＳＯサイクルのタイミング図を示す。以 下の項目について詳細に説明する。 １、直列化してＥＸＵ乗算器に入れられた第１ビツトから工Ａ１サイクルを開始 する。 ２、乗算された結果の第１ビツトが乗算器を出て、加算ツリーに入る。 ３、乗算された結果の第１ビツトとＯの部分和が３−１加算器を出て、部分和レ ジスタに入る。 ４、乗算された結果の最終ビットが乗算器を出て、加算ツリーに入る。 ５、乗算された結果の最終ビットとＯの部分和が３−１加算器を出て、部分和レ ジスタに入る。 ６、第２ＩＡサイクルの部分和の最終ビットが部分和レジスタに記憶される。 ７、第３ＩＡサイクルの部分和の最終ビットが部分和レジスタに記憶される。 ８、第４ＩＡサイクルの部分和の最終ビットがシグモイド生成機構に入る。 ９、シグモイド結果の第１ビツトがシグモイド生成機構を出て、加算ツリーに入 り、外部メモリまたはシナプス・プロセッサ内のレジスターに逆通信される。 １０、シグモイド結果の最終ビットがシグモイド生成機構を出て、加算ツリーに 入り、逆通信される。 １１、シグモイド結果の最終ビットが、外部メモリまたはレジス・りで受け取ら れる（第１組のＮ個のＹ値が記憶される）。 １から４までの時間は、第２７図に示すように、外部メモリから新しいＹ値また は重み値をロードするために使用可能な時間を表す。図では、詳細なタイミング を示すために時間スケールを拡大しである。 プロセッサ・グループのサイズは、チップ技術セル及び入出力仕様に応じて変わ る。第２８図に示すように、各シナプス・プロセッサ・グループ・チップに１つ のメモリ・サブシステムが関連付けられている。 プロセッサ・グループの概念をサポートするのに必要な２つのタイプのコマンド 、すなわち１つはグループ専用コマンド専用のもの、もう１つはシナプス・プロ セッサと関連するものがなければならない。またコマンド形式は、新しいソース 及び宛先点として外部メモリをサポートしなければならない。外部メモリに関す るアドレス指定は、シナプス・コマンドの即値データ・フィールドを使用するこ とによって得ることができる。さらに、条件付き実行ビット（ＣＥＢ）は、外部 メモリに記憶された各重み及びＹ値と関連していなければならない。 たとえば、Ｎ＝２５６ニユーロン、Ｈ＝２５６、Ｄ＝３３ビットの場合、コマン ド形式りは次のように定義される。 Ｂ同報通信ビット　１ビット タグ−８ビツト（ｌｏｇ２Ｎ２／Ｈ） タグ・パリティ　−＝１ビット Ｃ，ＭＤピッ上　１ビツト グループ・ビット　−一一一　１ビツト自動ビツト　−−−−−−−−−−−− →　１ビットＣＭＤ　−−一一一−−−→　４ビツト（１６コマンド）ソース１ −一−−−−−−→　４ビツト（１６ソ一ス位置）ソース２−一−−−−−−→ 　４ビツト（１６ソ一ス位置）宛先−一一一一一−−−→　４ビツト（１６宛先 位置）即値データ／外部 メモリ・アドレス　−一一１５ビット（１５ビツト・データ／３２Ｋ　Ｄビット 位置） ＥＣＣ−一一一一一−−−→　６ビツト合計−−５０ビット Ｎ＝２５６ニユーロン、Ｈ＝２５６．Ｄ＝３３ビット（ＣＥＢ＋３２ビット・デ ータ）のデータ・ワードの例では、データ形式りは次のように定義される。 Ｂ同報通信ビット　１ビット タグ−８ビツト＜　ｌ　ｏ　ｇ　２Ｎ２／　Ｈ）タグ、パリティ　１ビット ＣＭＤビット　−−−−−→　１ビツトＣＥＢビツト　１ビツト データ　３２ビツト ＥＣＣ−一一一一一一−→　６ビツト 合計−→５ｏビット 内部命令及びデータは長さＤビットであり（第２９図）、それぞれ丸ごと受け取 らなければならないので、外部メモリ・アドレスは、命令フィールドで指定され たシーリング（１ｏｇ２Ｄ）ビットをメモリ・アドレスに付加することによって 形成される。シーリング関数は、括弧内の結果の関数の次に大きな整数をとる。 たとえば、メモリに記憶された３３ビツト・データ・ワードのアドレスには６ビ ツトが付加され、３２ビツト・ワードには５ビツトが付加される。追加のビット は、カウンタから自動的に生成され、カウンタはメモリからのビット・スライス ・アクセスごとに増分される。命令によって指定されたメモリ・アドレスごとに Ｄビットがアクセスされた後、カウンタは次のアクセスに備えてＯに戻る。Ｄ＝ ３２ビットの例では、命令内の１５ビツトの外部メモリ・アドレス・フィールド が１５＋５ビツトの外部メモリ・アドレスに変換され、２０ビツト・フィールド またはＱ＊Ｄ＝２２０すなわちそれぞれＨ＋ＥＣＣビットからなるＩＭＥＧの位 置または２１５＊Ｈ（３２に＊Ｈ）の重み値を収容する。Ｄ＝３２ビットのＨ＝ ２５６個のプロセッサ・グループでは、プロセッサ・グループ・チップ当り最大 ８ＭＥＧの結合重みがアドレス可能である。 同報通信ビット 同報通信ビットは以下のことを示す。 ・Ｂ＝Ｏ：コマンド／データは特定のグループ用。 ・Ｂ＝１＝コマンド／データはすべてのグループ用。 グループ・コマンド 各プロセッサ・グループ・チップ内には単一のグループ・コマンド・レジスタが ある。グループ・コマンド・レジスタを利用してすべてのシナプス処理要素のコ マンド・ソースとして機能させる代替方法が存在する。プロセッサ・グループ当 り１個のコマンド・レジスタを利用することにより、シナプス・プロセッサ・コ マンドをグループ・コマンドと結合することによって個々の処理要素コマンド・ レジスタを省略することができる。１つのグループ・コマンド・レジスタでＨ個 のコマンド・レジスタが節約されるので、チップ面積がかなり節約できる。しか し、Ｈ−ＥＸＵ、Ｈ分配機構、及びＨセレクタを制御するために、グループ・コ マンド・デコードを各処理要素に分配しなければならないので、チップ面積の節 約は自由には得られない。配線の問題に加えて、集中されたソースからの信号の 潜在的に大きなファンアウトによるタイミング・ペナルティもある。したがって 、シナプス処理要素コマンド・レジスタはそのまま残し、通常は外部メモリ制御 機構と関連するグループ・コマンドだけを実施する。単一のグループ・タグがあ り、初期設定時にすべてのＨタグ・レジスタにロードされる。２つのタイプのコ マンドが指定され、コマンドをデータ（コマンド・ビットが“０″にセットされ る）から区別するために、どちらもコマンド・ビットが１”にセットされる。グ ルータ・ピッＬ−（Ｇ）は、コマンドがシナプス・プロセッサ（、Ｇ＝・０）に 関するものか、それともシナプス・プロセッサのグループ（Ｇ＝１）に関するも のかを指定する。第１表に、現在定義されているグループ・コマンドをリストす る。ＳＯカウンタは、要件に応じて、増分または減分するように設定することが できる。例えば、ニューラル実行モードでは増分し、後方伝播学習モードでは減 分する。増分の場合、カウンタは１から始まり、指定されたＳ○カウントまで増 分され、次に１に戻る。減分の場合は、カウンタはＳ○カウントから始まり、ｌ まで減分され、次にＳＯカウントに戻る。疎に接続されたネットワークでは、各 グループに関するＳＯカウント及びＩＡカウントが５＝ＯＯ＆工＝０のグループ ・コマンドＧＬＤＧＴによって指定でき、後方伝播学習の例で示すように、それ によってＳＯカウントまたはＩＡカウントをクロックする必要がなくなる。カウ ントするように指定されたとき、ＩＡカウンタは常に命令実行の完了時に増分さ れる。Ｓｏカウンタは、すべてのＩＡカウント・サイクルの完了時に増分または 減分される。 どんなニューラル・ネットワーク・エミュレーションでも、ネットワーク・モデ ル内の７個のニューロンのエミュレーションに必要なＳＯサイクル当りのＩＡプ サイルの数及びＳＯプサイルの総数を指定するために、グループ・レベル・コマ ンドを発行しなければならない。さらに、１（Ｓ″′′ビツト１　Ｉ　Ｆ１ビッ ト、及びｔｔＵ″ビットは、プロセッサ・グループが外部メモリにどのようにア クセスするかを指定する。 ＩＩ　Ｓ　Ｆ＋ビットとＲＩ　Ｉ＋ビットを用いてアドレス指定を制御し、“Ｕ ”ビットを用いて外部Ｙ値アレイがどのように利用されるかを制御することがで きる。ｕ　Ｓ　ｎビットがＩＩ　Ｏ○″にセッ゛トされた場合、外部メモリ・ア ドレスは現在定義されているＳＯプサイルを超えては増分されないが、ｒＥ”＝ １の場合、メモリ・アドレスは各ＩＡプサイルごとに増分され、現在定義されて いるＳｏプサイルについてＩＡプサイルの完全な実行が可能になる。′Ｓ″が“ ０１″にセットされた場合は、ＳＯカウントは次の命令が実行された後に増分さ れる。 それには、指定された回数のＩＡプサイルが完了することが必要である。ＳＯカ ウンタ及びＩＡカウンタを増分することすることができる。ＳＯカウントを固定 することによって、Ｎ個のニュー゛ロン値の反復実行が可能となるが、これは、 多層ニューラル・ネットワークの複数層がＮ個のニューロンの単−Ｓ○サイクル ゛・ゼット上にマツプされるときに使用される機能である。′Ｕ”ビットが“０ ”にセットされた場合、１つのＹ値アレイだけ、′たとえば現Ｙ値アレイが利用 され、これは、新しく更新されたＹ値でアレイ内に記憶された旧Ｙ値を重ね書き させる。ａ　Ｕ　ｎビットがＲ１７１にセットされた場合は、両方のＹ値アレイ が使用され、従って、新しいＹ値は現在のネットワーク・エミュレーションに使 用されているものと対向するアレイに書き込まれるだけであり、これらのアレイ は７個のニューロンが更新された後に交互にその役割を替える。Ｙ値が外部メモ リに書き込まれている間に、その外部メモリからＹ値を読み取ることができる。 １ＩＵｊｌ　＝“ＯｔＴの場合、この同時操作は同じ外部メモリ・アレイから起 こらなければならず、１アレイ２ポ一ト操作が必要となる。 グループ・コマンドはチップ上のすべてのシナプス・プロセッサに共通なので、 そのグループと通信するにはただ１つの入力経路があればよい。これを実現する ために、プロセッサ加算ツリー経路の１つが、グループ通信経路としても機能す る独特なものとして指定される。いったん指定されると、この経路は一義的に識 別され、初期設定及び制御学習プロセッサからのグループ通信に使用される。 第１表　プロセッサ・グループ命令セリトンナプス・プロセッサ・コマンド コマンド・ビットが“１”にセットされ、グループ・ビットがＫＩ　Ｏｊｔにセ ットされた場合、受は取ったコマンドがシナプス・プロセッサ用に指定される。 第２表に、外部メモリをサポートするシナプス・プロセッサの命令セットをリス トする。外部メモリ・アドレスは命令の即値データ・フィールド内で指定するこ とができる、またそのアドレスに対する現在のＳ○及びＩＡカウント値を使用す るために、すなわち外部メモリの局所アドレス制御のために指定することもでき る。 ソースまたは宛先コードが、どのアドレス指定モードを使用するかを指定する。 第２表　シナプス・プロセッサ命令セット自動ビットの定義は、グループ・コマ ンドによってロードされるＳビットの設定に依存する。その定義は次の通りであ る。 −Ａ＝Ｏ％５＝ＯＯ：単−ＳＯサイクル更新。′工”＝１の場合、現在のＳＯプ サイルにおけるすべてのＩＡが実行され、次の命令を待つ。Ｓｏカウントは増分 されない。 ・Ａ＝Ｏ，Ｓ＝０１またはｌＯ：現在のＳ○プサイルを実行し、ＳＯカウントを 増分または減分し、新しいコマンドをべてのＩＡが実行される。 ・Ａ＝１、Ｓ＝ＯＯ：現在のＳ○プサイルを実行し、新しいデータを待つ。有効 なタグ付きデータを受け取ると、同じＳ○プサイルを実行し、新しいデータを待 つ。有効なタグ付きデータを受け取るごとにこの手順を繰り返し、この手順を停 止する新しいコマンドを受け取るまで続行する。 ・Ａ＝Ｏ１Ｓ；０１または１０：現在のＳＯプサイルを実行し、Ｓ○カウントを 増分または減分し、新しいコマンドを待つ。有効なタグ付きデータを受け取ると Ｓｏプサイルを実行し、そのＳＯカウントを増分または減分し、新しいデータを 待つ。有効なタグ付きデータを受け取るごとにこの手順を繰り返し、この手順を 停止する新しいコマンドを受け取るまで続行する。 自動ビットは、本質的には、いつ実行サイクルが始まるかを指定する。Ａ＝Ｏの 場合、実行サイクルは命令を受け取つた時にだけ開始し、Ａ＝１の場合、実行サ イクルは自動命令の最初の実行後、有効なタグ付きデータを受け取るごとに開始 する。 シナプス・プロセッサ命令セットの検討を続ける前に、“Ａ”ビット、ＩＺ　Ｓ 　７７　ビット、′工″ビット、及びｒｔ　Ｕ　ＦＦビットを２種の「古典的」 タイプのニューラル・ネットワークに適用する際のそれらの使用法の簡単な説明 を行ってお（。 まずホップフィールド・ネットワークでは、自動ビットは１１１　Ｉ７にセット され、（ｌ　Ｓ　ｎビットはｏ１”にセットされ、“、工″ビット及び１（Ｕ　 １１ビツトはそれぞれ１”にセットされる。Ｎ個のＹ値の各セットは各ＳＯプサ イルごとに現在のＶニューロン・ネットワーク・エミュレーションに使用されて いるＹアレイと対向するＹアレイに書き込まれる。これは、各Ｙ値アレイごとに 別々のアドレス線及び制御線を利用することにより、書込み操作を現Ｙ値のセッ トの取出しとオーバーラツプさせることによって実施される。 ■ニューロン・エミュレーションを構成する最後の１ｉＮ個の値を受け取った後 、Ｙアレイの選択はトグルし、最近に更新されたＹ値が次のネットワーク更新サ イクルの現Ｙ値として扱われる。このプロセスは、この動作を停止させるＮ。 Ｐ命令などの新しいコマンドを受け取るまで続行する。多層ネットワーク・エミ ュレーションでは、自動ビットは恐らく“１”にセットされ、“Ｓ”ビット及び “工”ビットはネットワーク実行シーケンスに応じてセットされ、′Ｕ″ビット はＩＩ　ＯＩＩにセットされる。複数の層がＳＶＬＭ内の１組Ｎ個のニューロン 上にマツプされる場合、ｔｔ　Ｓ　ｎビットはそれらの層のサブセットを実行す るためにｕ　ＯＯｙｙにセットされる。 たとえば、３層が１組Ｎ個のニューロン上にマツプされる場合、′Ｓ″は最初の ２層を実行するためにＲＯＯ）＋にセットされ続ける。次に、グループ・コマン ドが発行されて、ＩＩ　Ｓ　７７をｌ（０１ＩＩに変更し、ネットワーク・エミ ュレーションは次の層の実行後、ＳＯカウントの増分を続けることができる（す なわち、第３層はＮ個のニューロンのＩＳＯサイクル・セット上にマツプされる ）、′Ｕ”は“０７１にセットされているので、新しいＹデータが現Ｙ値アレイ 内のＹデータを重ね書きし、従って各層の実行は前の層で計算されたＹ値データ を利用することになる。これは、フィードフォワード多層ニューラル・ネットワ ークで通常の動作である。′Ｕ”ビット、４４　Ｉ”ビット、及び“Ａ”ビット を指定するために、大文字のｊ（Ｕ　ＩＩ、′工”、及び“Ａ”が命令二−モニ ックに付加されて、指定されたビットが′１”にセットされているかどうかを示 す。ｔｔＵ”、′工”、及び”Ａ”が命令に付加されていない場合、これらのビ ットは“Ｏ”にセットされる。 “′Ｓ”ビットが“００”であることを示す指定はなく、１１”は現在定義され ていないので、′Ｓ”ビット値は“１″または′２″として指定される。 シナプス・プロセッサ命令セットは、外部メモリ・アドレス・フィールド（即値 データ・フィールド）を含む。このために、ＰＡＴＨ（ＥＸＴ、ＭＥＭ、）コマ ンドを使用して外部メモリをデータ・ソースとして指定することができる。外部 メモリによるＰＡＴＨコマンドの使用についてまず説明し、続いて、他の命令が 外部メモリへの書込みで使用する共通の方法を説明する。 Ｐ　Ａ　、Ｔ　Ｈコマンドは、加算ツリー宛先経路を１つの経路レジスタに、Ｅ ＸＴ、ＭＥＭ、レジスタ宛先経路を別のレジスタにロードすることにより（第２ ５図）、加算器ツリーに逆通信された、または外部メモリからアクセスされた情 報に対するデータ及びコマンド経路をシナプス・プロセッサ内でセットアツプす る。ＰＡＴＨコマンドのソース１フイールドは、どのレジスタを使用すべきか、 及びどのレジスタがＰＡＴＨコマンドをさらに定義する拡張コマンド・フィール ドと見なせるかを決定する。ＰＡＴＨコマンドは、加算器ツリーからまたは外部 メモリから受け取ったデータの宛先点だけを指定する。このため、外部メモリの 宛先と共に外部メモリから受け取ったデータを指定するＰＡＴＨコマンドは、同 じデータが受け取られ、何の処理もなしにすなわちＮＯＰ動作で同じ位置に送ら れるので、何も哲わない。いったん指定された経路は、経路を変更する新しい経 路コマンドを受け取らない限り同じままになる。たとえば、ＳＶＬＭ上のホップ フィールド・ネットワーク・モデルでは、省略時経路が前の処理によフて変更さ れた場合、逆通信されたＹ値及び仮想重みに対するＰＡＴＨコマンドが一度発行 されて、ＧＳＹＰシナプス処理セル内部で逆通信モードで、上端加算器ツリーが そのＹ値を下端Ｙ値しジスタに供給し、下端加算器ツリーがそのＹ値を上端Ｙ値 しジスタに供給することができる。ホップフィールド・モデルでは、この経路コ マンドは、固定重み実行モードを仮定すると、ネットワークの実行全体を通して 有効なままになる。またＰＡＴＨコマンドは、次のコマンド用の経路を指定させ る。ホップフィールド・ネットワークの仮想モードの例では、外部メモリからの 重み値の取出しは、以前に取り出された重゛みの乗算時間中に実行される。 データ・フロー計算では、命令の実行は、すべてのオペランドを受け取るまで待 ち、受は取った時点でその命令が「発火」される。データ依存制御機構は、一致 するタグを有する有効なデータ・オペランドを受け取らたときその命令が実行さ れるように、タグ付きデータを使用するものと見なすことができる。これらのオ ペランドが同時には受け取られないと仮定すると、このデータ依存制御機構は大 きな潜在的性能及び同期問題の解決策を提供する。自動モードは、一致するタグ を有する有効データを受け取るまでその命令の実行が行われないので、データ依 存動作である。たとえば、プロセッサ・グループに送り戻された、逆通信された Ｙ値は、共通のグループ・タグを含む。受取り側のプロセッサ・グループは、シ ナプス処理要素内の各Ｙ値のタグをグループ・タグと比較し、それらが一致した 場合に、自動命令が実行される。このアーキテクチャの例では、プロセッサ・グ ループ・チップに対する。／７個のタグがすべて、同じグループ・タグをもたな ければならず、そうでないとグループ・エラーが発生する。 同様に、外部メモリからのデータにタグを付けることができる。各プロセッサ・ グループ・チップはそれ自体の１組の外部メモリ・アレイとインターフェースす るので、タグ付は制御は、外部ソースから逆通信されたデータと同じ方法では実 行できない。タグは記憶された値すべてについて同じなので、たとえば、タグを 使用することは、タグがメモリ内の各重み及びＹ値と関連付けられていることを 暗示せず、適当な時点でデータ線上に多重化される外部メモリ内でタグ・ソース を設定することができる。別法として、インターフェースの影響を最小にするた めに、外部メモリ・インターフェース上で異なるタイプのタグを使用することが できる。メモリとグループ・チップは緊密に結合されているので、異なるグルー プ・チップ間の識別が不要であるため、逆通信ツリー経路から必要とされるより も小さいタグ・フィールドが使用できる。 実施態様の判断に応じて弐６及び式７を再度使用しなければならない。 多（の命令は、個々のシナプス・プロセッサにとって局所である宛先を指定する 。この局所処理は、正しく処理しない場合、同期の問題を発生する可能性がある 。同時係属出願の”Ｐｅｃｈａｎｅｋ　ＬＭ　９１”のＧＰＬＭでは、同期の問 題が、学習プロセッサのニューロン出力点に局在していた。シナプス・プロセッ サからは局所処理完了の通知は生成されなかった。そうではな（て、操作の安全 を保証するために、ニューロン出力点に固定されたハードウェア機構が設けられ た。同じシナプス・プロセッサへのどの局所処理コマンドも、その同じシナプス ・プロセッサへの次のコマンドから指定された命令の実行時間だけ分離しなけれ ばならなかった。たとえば、第２のコマンドを送れるようになる前にＭＰＹコマ ンドが完了するようにするために、乗算は２’（Ｄ−１）クロックを要すること があり得た。ＳＶＬＭでは、このタイムアウト法は、同期の問題を解決するには 十分ではない。すべての局所命令が実行の完了を発行点に通知する、新しい方法 を使用する。こ動作が各シナプス処理要素で実行され、その結果が局所シナプス ・レジスタに戻されて記憶される例を考えてみる。この局所動作の完了に成功し た時点で、各シナプス処理要素が加算ツリーに“１”の値を入力したと仮定する 。その場合は、ｌｏｇ２Ｎサイクルの遅延後に、Ｎの加算値が得られ、特定の加 算ツリーに関連するＮ回の局所１作すべての正常な完了を示す。他のどんな値も 、操作シーケンス中でエラーが発生したことを示す。各プロセッサ・グループ・ チップが、他のグループ・チップとは異なる誤差値を付加できる′ようにするこ とによって、障害チップの特定が可能になる。同様に、異なる加算値で、異なる タイプのエラーが検出されたことを示すこともできよう。この局所動作完了の通 信は、完了通知を受け取るまでプロセッサ・グループば次め命令を送ること゛が できないので、タイムアウト手法に比べて時間のペナルティが小さい。命令゛完 了を通信するのに要する時間が短く、局所実行時間がｌｏｇ２Ｎの遅延だけ増加 するだけである。非局所命令、すなわち宛先が加算ツリーである命令は、収束し たツリー結果が学習プロセッサに届いたとき、動作完了通知を提供する。 学習プロセッサは、同期制御を発行する命令について局所命令と非局所命令を区 別しなければならず、可変タイムアウト制御は不要である。 最後に、ここに記載した命令セットを使用してプログラム内で宛先争奪が起こら ないように保証するために、ＳＶＬＭコンパイラが必要になる。 後方伝播仮想学習の例 ＳＶＬＭ構造上で後方伝播がどのように使用されるかを実証するために入出力エ ンコーダ問題を使用する。第３表は、”Ｒｕｍｅｌｈａｒｔ　８６”によって認 識された入カー出カバターンのエンコーダ問題を示す。 第３表　入出力エンコーダ問題 この問題に使用するネットワーク構造を第３０図に示す。 第３０図は、入出力エンコーダ問題のためのニューラル・ネットワークを図示し ている。 多層ネットワークは、重みレジスタの条件付き実行ビットが０にセットされるこ とによって未使用の接続経路がゼロの重み値に保たれた、完全に結合されたネッ トワーク構造上にマツプされる。仮想機械の場合、ニューロンの最大層のサイズ によって、ＳＶＬＭ構造内の物理ニューロンの数Ｎの最小サイズが規定される。 入出力エンコーダ問題では１１個のニューロンがあるが、物理ニューロンの数を 決定するための基準である最大層は４個のニューロンしかもたない。入出力エン コーダ問題では４ニユ一ロンＳＶＬＭ構造が使用される。 たとえば、第２２図に示したＳＶＬＭ構造は、４つのグル−ブＧ＝４からなり、 それぞれサイズＨ＝４で１６ニユーロン・ネットワークをエミュレートすること ができる。 入出力エンコーダ問題は、１１ニユ一ロンＳＶＬＭ構造で使用可能なすべての可 能な結合を必要としない。たとえば、ニューロン９に関する入出力エンコーダ・ ネットワーク方程式は次のようになる。 Ｙ　ｇ＝　Ｆ　（Ｗｇ　、４Ｙ　４＋　Ｗｇ　、５Ｙ　５＋Ｗｇ　、６　Ｙ　６ ＋　Ｗ９．７　Ｙ７）第３１図は、一般の１１ニユ一ロンＳＶＬＭを、完全に結 合された１１ニユーロン構造の各シナプス処理外部メモリの重み及びＹ値と共に 示す。完全に結合された１１ニユーロン・ネットワーク内には１２１個の重みが あり、そのすべてが第３１＠に示されている。ニューロン・マツピングは第２２ 図に示したものとは異なっており、Ｎ個のニューロンの最大層の処理がＮ個のニ ューロンの１更新サイクルで実現できるようになっていることに留意されたい。 さらに、層１及び２、ニューロン出力Ｙ１、Ｙ２、及びＹ３が、Ｎ個のニューロ ンのＳ０１サイクルにマツプされることにも留意されたい。 実行モード中、Ｙ値は層ごとに計算される。すなわち、層１が最初に計算され、 そのＹ値結果が層２に使用され、以下最後の全層までこれを繰り返す。ニューロ ンのに個の層がすべて処理された後、ネットワークは学習モードに置かれる。 出力ニューロンは、出力層から誤差信号を計算し、次いで誤差信号値をツリーを 介してシナプス処理セルに逆通信する。 誤差信号の後方伝播は、出力層から開始し、入力層に向かって次々に層ごとに実 行される。これらの誤差信号は重み更新アルゴリズムで使用される。様々なシナ プス・プロセッサ内で適切な命令を実行することによって、後方伝播アルゴリズ ムを実行することができる。 順序通り並べられた手順を用いる詳細な例で、ＳＶＬＭ上にマツプされたとき、 入出力エンコーダ学習問題が後方伝播アルゴリズムによってどのように実施され るかを説明する。 あるパターンｐ（一般に、肩付き文字ｐはわかりやすいように省略する）につい て、ＳＶＬＭニューロコンピュータ内で以下に箇条書きする手順に従う（「無結 合」重みはわかりやす（するために省略する。各シナプス処理要素内での、コマ ンド・レジスタに対するレジスタの相対位置は、第３１図に示しである）。 １、ＳＶＬＭが、外部メモリから１組の初期重み値及びＹ値を読み込むことによ って初期設定され、モデル内で使用されない結合に対するＣＥＢビットは“０” にセットされる（第３２図）。この入出力エンコーダの例では、完全に結合され た１１ニユーロン・モデルの１２１個の可能な結合重みのうち２２個だけが使用 される。それぞれ３つのＩＡプサイルからなる３つのＳＯプサイルが１１ニユー ロン出力を得るために実行される。この入出力エンコーダ問題ではニューロン１ ３．１４．１５、または１６はないので、この例では第４のＳ○プサイル及びＩ Ａプサイルは不要である。ＩＡカウントとＳＯカウントをロードし、′″Ｓ　Ｉ Ｉ、′Ｉ”、ＩＩ　Ｕ　ＩＩの各制御ビットをセットするために、グループ・コ マンドが発行サレル。ＧＬＤＣＴｏ、１，１命令は、′Ｓ″、′■”、“Ｕｆｊ を”Ｏ’Ｍ：セットし、５Ｏ＝１及びＩＡ＝１をＣＩ−）’する。 ２、初期設定の後、ＳＶＬＭが実行モードに置かれ、入カバターン（ＥＸｌ及び ＥＸ、２）が印加される。省略時経路が一般シナプス・プロセッサを通るものと して設定される。具体的には、上端加算器ツリーから受け取ったコマンドは下端 コマンド・レジスタＣＲ２に行き、及び下端加算器ツリーから受け取ったコマン ドは上端コマンド・レジスタＣＲ２に行（。上端加算器ツリーから受け取ったデ ータはＲ５Ｙ、レジスタに行き、下端加算器ツリーから受け取ったデータはＲ５ Ｙ、レジスタに行（。（相対アドレス指定を仮定する。）３．４個の物理ニュー ロンがＭＰＹＡ　Ｒ１富Ｒ２→ＡＤＤＴＲＥＥ　（Ｔ）を発行する。ネットワー ク実行の各層について゛乗算命令を再発行する必要なしに性能を向上させるため に自動モードが使用される。層１及び２はＮ個のニューロンのＳ０１サイクルに マツプされるので、Ｓ”＝“ｏＯ”のとき、ＳｏカウンタはＳＯカウントを増分 しない。さらに、“Ｕ”ビットが０”にセットされた場合、新しく更新されたＹ 値が次のニューロン更新で使用される。ＳＶＬＭ構造内のＹ値しジスタは最初０ なので、すべての重みとＹ値の積はＯとなり、したがって加算されると０の加算 値を生ずる。 ４、ＳＶＬＭ構造上でニューロンの第１層が実行されて、第１層ニューロン出力 及びその導関数を生成する（第３３図）。 （学習プロセッサは、他の２個のニューロン出力値を無視す５、ネットワーク・ モデルの第２層をエミュレートし、続いて第３層及び第４層に進むために、第２ 層の実行後、Ｓ○カウントを増分しなければならない。これを実現するために、 新しいグループ命令ＧＬＤＣＴＩ、３，１が発行されて、“′Ｓ”の状態を“０ １”に変更する。′工”ビット及びＩＺＵ”ビットは指定されていず、共に“０ ”にセットされたままとなる。 ＧＬＤＣＴＩ、３，１命令が送られた後、第１層ニューロン出力がＳＶＬＭにフ ィードバックされる（第３４図）。自動ＭＰＹ命令が指定されたので、Ｙｌ及び Ｙ２を受け取ったときニューロンの第２層が実行され、第２層ニューロン出力及 びその導関数を生成する（第３５図）。第２層の実行後、ＳＯカウントが２に増 分される。 ・Ｙｌ及びＹ２を逆通信する ・Ｙ３＝＝Ｆ　（Ｗ３，１Ｙ１＋Ｗ３，２Ｙ２）・Ｄ　ｒ３＝Ｙ３　（１−Ｙ３ ） ６、すべての層が実行されて、ネットワーク出力及びその導関数が得られるまで 、上記のプロセスが続行される（第３６図、第３７図、第３８図、及び第３９図 ）。Ｙ３’　を受け取ったとき、第２のＳＯプサイルが開始されて、第３層出力 、すなわちＹ４、Ｙｅ、Ｙｅ、Ｙｌを発生する。次いでＳＯカウントが３に増分 される。第３層Ｙ値が逆通信され、第３のＳＯプサイルが開始されて、第４層出 力を発生し、ネットワーク・エミュレーションが完了したときＳＯカウントを１ に増分させる。 ・第３層の実行はＳＯカウント＝２から開始する。 ・ＹＪを逆通信する（第３６図）。 ・第３層の実行（第３７図）。 −Ｙ４＝　Ｆ　（Ｗ４．３Ｙ３） Ｙ、、＝Ｆ　（ｗ５．３Ｙ、） −Ｙ６＝Ｆ　（Ｗ６，３Ｙ３） −Ｙ７＝Ｆ　（Ｗ、、３Ｙ３） −Ｄ　ｒ４＝Ｙ４　（１−ＹＪ −Ｄｒ５＝Ｙ５　（１−Ｙ５） −Ｄｒ６＝Ｙ６（１−Ｙｅ） Ｄ　ｒ７＝　ｙ７（Ｉ　ＹＴ） −Ｓｏカウントを３に増分する。 ・ＧＬＤＣＴＩ、３，２を発行して、ＩＡカウントに２をロードし、外部メモリ から適当な重みにアクセスできるようにする。 ′″Ｓ　Ｉ＋ビット＝＝　ＬＩ　ＯＩ　Ｉ＋及びＳ○カウント＝３は同じままで ある。 ・第４層の実行はＳ○カウント＝３から開始する。 ・Ｙ４、Ｙ９、Ｙｅ、及びＹｌを逆通信する（第３８図）。 ・第４層の実行（第３９図）。 Ｙ　８＝　Ｆ　（Ｗ、　、、Ｙ４＋Ｗ、　、５Ｙ　５＋Ｗ、　、６Ｙ　、＋Ｗ８ ，７Ｙ　７）−Ｙｇ＝Ｆ（Ｗｇ、４Ｙ４＋Ｗｇ、５Ｙ５＋Ｗｇ、６Ｙ６＋Ｗｇ、 ７Ｙ７）−ｙ１０＝Ｆ（Ｗｌｏ、４Ｙ、＋Ｗ１ｇ、５Ｙ５＋Ｗ１ｇ、６Ｙ６＋Ｗ 　ｔｏ　、７　Ｙ　７） −Ｙｌ、：Ｆ（Ｗ、１．、Ｙ４＋Ｗ１．、、Ｙ、＋Ｗ、１．６Ｙ６＋Ｗｔ１．７ Ｙ７） −Ｄ　ｒ６＝Ｙ６（１−ｙ８） −Ｄｒｇ＝Ｙｇ（１−ｙ、） −Ｄ　ｒｔｏ＝Ｙｔｏ（１−ｙｌｏ） −Ｄ　ｒ１４＝Ｙ１１（１−Ｙｌｌ） −Ｓ○カウントを１に進める。 ７．１１個のニューロン値及びその導関数がすべて計算され、Ｙ値及びＹ導関数 アレイに入れられた後、ＳＶＬＭは学習モードに置かれる。この例のように疎に 結合されたネットワークでは、ＩＡカウント及びＳＯカウントが、非クロック方 式で使用され、新しいＩＡカウントまたはＳ○カウントが必要なときは、グルー プ・コマンド命令によって明示的にそれが変更される。 ８、学習プロセッサが、Ｙｌが最小指定誤差に収束するかどうか検査する。達し た場合は、パターンｐに関する学習過程を停止することができる。収束に達して いない場合は、パターンｐに関する学習が統′行される。 ・収束テストＹｓ＝　１　（！−ｓ　Ｙｅ）ｌ≦最小誤差・収束テストＹ９＝　 ｌ　（ｔ、−Ｙ９）ｌ≦最小誤差・収束テストＹ１゜＝１（ｔ□。−Ｙｌ。）１ ≦最小誤差・収束テストＹｒｔ＝　ｌ　（ｔ　ｔｌＹｔ、）　ｌ≦最小誤差９、 学習プロセッサが、出力ニューロンと前の層のニューロンの間の重みを更新する 際に使用する、出力ニューロンのδ戸、を計算する。 δ’１＝　（ｔ’ｌ−Ｙ’、）Ｄｒ’１・δ、＝Ｅ８＝　（ｔ、−Ｙｌ５）Ｄｒ ６・δ、＝ｌ：９＝　（ｔ、−ｙ、）Ｄｒｇ゛δＬＯ＝Ｅ１０＝　（ｔｔｏ　Ｙ ＩＯ）　ＤｒｉＯ・δｔｔ：）：　１１　＝　（ｔ　１１　Ｙｌｌ）　Ｄ　ｒ　 ５１１０、Ｓ○カウント及びＩＡカウントに、指定された非クロッキング・モー ドをロードする。データ経路が変更され、次に誤差信号が当該の各シナプス・プ ロセッサ要素の一時レジスタに逆通信される（第４０図）。 ・ＧＬＤＣＴｏ、３，２が、Ｓ○＝３及びＩＡ＝２をロードする。 これは、すべての重みが外部メモリ内のどこにあるかを指し、ＳＯカウンタとＩ Ａカウ°ンタがロックされないこと、すなわち５＝ｏｏ、■＝０を保証する。 ・４個の物理ニューロンが、ＰＡＴＨＲ４を発行することによってデータ経路を 変更する。ＰＡＴＨＲ４が発行されると、前記のステップ３で発行されたＭＰＹ Ａによって指定される自動乗算モードが停止する。次に受け取られるデータは、 ＧＳＹＰ内の相対アドレスＲ４一時レジスタ及びＤＳＹＰ内のＲ３に行く。コマ ンド経路は変更されないままとなる。 −Ｒ８，Ｒ９，ＥＩＯ，Ｅｌ　１が、Ｙ８、Ｙ５．Ｙ、。、Ｙｔｔソース点から 逆通信される。 １１、誤差信号と適当な重みの乗算を開始するためにＭＰＹ命令を発行する（第 ４１図）。積が加算されて、誤差和ＥＲｐ、を生成する。これは、次層後方重み 修正プロセスで使用される（第４２図）。コマンド経路は変更されなかった、す なわち上端加算器ツリーからのコマンドは下端コマンド・レジスタ（ＣＲ２）へ 行き、下端の加算器ツリーからのコマンドは上端のコマンド・レジスタ（ＣＲ２ ）へ行（ので、誤差信号はＲ３一時レジスタの受け取ったコマンドに対する相対 アドレスにある。 ・ニューロン８．９．１０，１１が、ＭＰＹ　Ｒ６富Ｒ３→ＡＤＤ　ＴＲＥＥ　 （Ｔ）を発行する（第４１図）。 ・重み付き誤差和ＥＲ４、ＥＲ５、ＥＲ６、ＥＲ７を生成する（第４２図）。 −ＥＲ４＝Ｗ８，４Ｅ８＋Ｗ、、４Ｅ、＋Ｗ１０．．ＥｔＱ＋ｗｔｔ、＋Ｆ’ｔ ｔ −ＥＲ５＝Ｗ８．、Ｅ、＋Ｗ、、、Ｅ、＋Ｗ、。、、Ｅｌ。＋Ｗ１！、５Ｅｉ１ −ＥＲ６＝Ｗ、、６Ｅ、＋Ｗり、６Ｅ９＋ＷＩＱ、６ＥｔＯ＋Ｗｉｉ、６Ｅｉ１ −　ＥＲ７＝Ｗ、、７Ｅ８＋Ｗ、□７Ｅ、＋Ｗよ。１□Ｅ１゜＋Ｗ１１．７Ｅｉ １ １２、層３と層４の間の重みが、ここで学習規則によって修正される。△Ｗ１． は、ρＹ）Ｅｉによって２命令ステツプで生成される。 ａ、ステップ１−ＭＰＹ　Ｒ５”Ｒ３−Ｒ４（第４３図）。 ・ＴＥＭＰＲＥＧ、、４＝Ｙ４Ｅ８ ・ＴＥＭＰＲＥＧ、、、＝Ｙ、Ｅ８ ・ＴＥＭＰＲＥＧ８，６＝Ｙ６Ｅ８ ・ＴＥＭＰＲＥＧ、、７＝Ｙ７Ｅ８ ・ＴＥＭＰＲＥＧ、、４＝Ｙ４Ｅ９ ・以下になるまで継続する ・ＴＥＭＰＲＥＧ、１．７＝Ｙ７Ｅ１１ｂ、ステップ２−ＭＰＹ　Ｒ４”１ＭＤ −Ｒ４（第４４図）。 ・ΔＷ、、４＝ρＴＥＭＰＲＥＧ、、。 ・ΔＷ、、、＝ρＴＥＭＰＲＥＧ、、。 ・ΔＷｅ、６＝ｐＴＥＭＰＲＥＧ８，６、　・ΔＷ８，７＝ρＴＥＭＰＲＥＧ、 、。 ・ΔＷ、、４＝ρＴＥＭＰＲＥＧ、、。 ・以下になるまで継続する ・ΔＷ１１．７”ρＴＥＭＰＲＥＧ１１，７１３、さらに１ステツプで層３と層 ４の間の新しい重みを生成する。新ｗ１ｊ＝ｗ’　、、＝旧Ｗ、＋ΔＷ、。新し い重みは外部メモリに記憶される。ＡＤＤ　Ｒ６＋Ｒ４→ＥＸＴ、ＭＥＭ、２は 、現在のＳ○カウント及びＩＡカウントを外部メモリへのアドレスとして使用す る（第４５図）。 −ｗ’　８．、＝ｗ８．４＋ΔＷ８．４・ｗ’　８．、＝ｗ８．．＋ΔＷ８．。 −ｗ’　ｅ、６＝ｗ８．６＋ΔＷｅ、６・ｗ’　＝ｗ　＋ΔＷ８．７ ８．７　８．７ ・ｗ’　、、４＝ｗ９．．＋ΔＷ９．４・以下になるまで継続する ・ｗ’　＝ｗ　＋ΔＷ１１．７ ｔｔ、ｖ　ｔｔ、ｖ １４、この手順に従って、ネットワーク内の他の層に関する重みを更新すること ができる。第３層については、一般式Ｅ１＝＝ＤｒＩＥＲ１から５Ｏ＝２及びＩ 　Ａ＝　１　、誤差信号Ｅ４、Ｒ５、Ｒ６、Ｒ７を学習プロセッサ内で生成し、 次いでこれらの誤差信号を構造内で逆通信することができる。次に、誤差信号Ｅ Ｒ３を生成することができ、続いて重みＷ４，３、Ｗ６，３、Ｗ６，３、Ｗ７． 、について重み更新シーケンスを実行する。 すべての重みが更新されるまでこのプロセスを続行する。 １５、次の学習サイクルＰＡＴＨＲ２に備えて新しい経路コマンドが送られ、そ の結果、新しいＹ値が適切なレジスタに送られる。 １６、ＳＶＬＭが実行モードに置かれ、調整された重みによって出カバターンが 教育パターンと最小指定誤差で一致するまで既存のパターンｐが再度印加される 。最小指定誤差に達するまで、ＳＶＬＭは実行モードと学習モードに交互に切り 替わる。最小指定誤差に収束した後、新しいパターンを印加し、すべての教育パ ターンが印加されるまでこのプロセスを繰り返すことができる。 ［要約コ それ自体の外部メモリを含むシナプス・プロセッサの共通構成単位を作成するグ ループ区分アルゴリズムを提示した。 このプロセッサ・グループを使って、高性能で完全な結合度を維持する汎用仮想 学習機械を作成する。このシナプス・プロセッサ・グループにより、システムは 仮想サイズでスケーラプルになり、直接実行能力をもつようになる。プロセッサ ・グループの内部で、シナプス・プロセッサは、外部メモリ・アクセスが可能で 、同期の問題が軽減された、混成制御フロー／データ・フロー・アーキテクチャ として設計される。 ＧＳＹＰ破線で囲む　−一一一 ６ＧＳＹＰ　＊　２要素／ＧＳＹＰ＋４ＤＳＹＰｋｌ要素／ＤＳＹＰ＝１６シナ プス処理要素８ニユーロン・アレイ・モデルの折り畳んだ内部正方形ニューロン Ｙ値を伴う１６ニユーロン・アレイ・モデル重みマトリックスＷ７．６本Ｙ６　 Ｗ７，７＊Ｙ７ 累 経路位置　衣料用の経路位置 （３）（す Ｆ、順方向水和 Ｒ−逆通信 Ｆ）Ｇ、２１ Ｖ＝１６．　Ｈ＝４．　Ｇ−４のニューロンＳＶＬＭＡＩ　ＢＩ　Ａ３　８３ ｎα乙旦 Ａ２　８２　Ａ４　８４ ｖ＝ｉ６．　Ｎ＝４．　Ｈ，，１６のＳＶＬＭ外部メモリ構造Ｖ＝１６．　Ｈ＝ ４．　Ｇ−４の４ニユーロン・スケーラプルＳＶＬＭ上にマツプされた１１ニユ 一ロン入出力エンコーダ問題 ＡＩ　ＢＩ　Ａ３８３ Ａ２　Ｂ２　Ａ４　Ｂ４ 初期設定 ＡＩ　ＢＩ　Ａ３　Ｂ５ Ａ２　Ｂ２　Ａ４　８４ 第１層実行 Ａ１　ＢＩ　Ａ３　Ｂ５ Ａ２　８２　Ａ４　８４ モードを前進させＹｌ’及びＹ２°を Ａｊ　ＢＩ　Ａ３　Ｂ３ 第２層実行 Ａ１８１　Ａ３　Ｂ５ Ａ２　Ｂ２　Ａ４　Ｂ４ Ｙ３°を逆通信する Ａｔ　ＢＩ　Ａ３　Ｂ５ ０Ｇ、３６Ｂ Ａ２　Ｂ２　Ａ４　Ｂ４ 第３層実行 Ａ１　８１　Ａ３　Ｂ５ Ａ２　Ｂ２　Ａ４　８４ ＦＩＧ、３７ Ｙ４°Ｙ５’　Ｙ６’及び費“を逆通信するＡ１　ＢＩ　Ａ３　Ｂ５ Ａ２　Ｂ２　Ａ４　８４ ＦＩＧ、３８ 第４層実行 Ａｔ　ＢＩ　Ａ３　８３ ＦＩＧ、３９Ｂ Ａ２　Ｂ２　Ａ４　８４ ｏｏ　０００−Ｏｏ−０００００ ＡＩ　ＢＩ　Ａ３　Ｂ５ Ａ２　Ｂ２　、Ａ４　８４ ＦＩＧ、４０ 学習モード−重み付き誤差和ａ４．　ＥＲ５，ＥＲ６，及１．ＦＥＲ７について のＡ１　８１Ａ３　Ｂ５ Ａ２　Ｂ２　Ａ４　８４ ＡＩ　ＢＩ　Ａ３　Ｂ５ Ａ２　Ｂ２　Ａ４　８４ 学習モード−ステップ１：重み更新ＭＰＹＡＩ　Ｂｉ　Ａ３　Ｂ５ Ａ２　Ｂ２　Ａ４　８４ Ａｉ　８１Ａ３　８３ Ａ２　Ｂ２　Ａ４　８４ ０Ｇ、４４ 学習モード−外部メモリ内での重み更新ＡＤＤＡ１８１　Ａ３　Ｂ５ Ａ２　Ｂ２　Ａ４　８４ スケーラプル・フロー仮想学習ニューロコンピュータ［要約コ グループ区分アルゴリズムを使用するスケーラプル混成制御フロー／データ・フ ローを備えたスケーラプル・フロー仮想学習ニューロコンピュータと、仮想学習 のための後方伝播能力を備えたスケーラプル仮想学習アーキテクチャ、シナプス ・プロセッサ・アーキテクチャ・マツピング、内部正方形折畳み及びアレイ分離 が提供される。グループ区分アルゴリズムは、それ自体の外部メモリを含むシナ プス・プロセッサの共通構成単位を作成する。このプロセッサ・グループを使っ て、完全な結合度を維持する高性能の汎用仮想学習機械を作成する。このシナプ ス・プロセッサ・グループにより、システムは仮想サイズ・スケーラプルとなり 、直接実行能力をもつようになる。プロセッサ・グループの内部で、シナプス・ プロセッサは、外部メモリ・アクセスが可能で、同期の問題が軽減された、混成 制御フロー／データ・フロー・アーキテクチャとして設計される。 国際調査報告

Claims (56)

【特許請求の範囲】
1. １．シナプス処理ユニットのグループに区分されたＮニューロン構造を含む、ス ケーラブル・グループ区分仮想ニューラル・シナプス・プロセッサ・アーキテク チャ装置を備えたコンピュータ・システム装置であって、 前記グループが、命令及びデータ記憶ユニットを含み、命令及びデータを受け取 り、命令を実行し、Ｖ＞Ｎであり、かつＶが前記グループ区分Ｎニューロン構造 上でエミュレートされるニューラル・ネットワーク中のニューロンの数であると して、Ｖ個のニューロンに対する重み及びニューロン出力値用の外部データ記憶 装置とのインターフエースする、複数のシナプス処理ユニットを有し、 前記グループがさらに、グループ命令実行手段と通信加算器ツリーとを含み、 前記Ｎニューロン構造がさらに、ニューロン活動化関数ユニットと、Ｖ個のニュ ーロンをサポートするＮニユーロン構造に前記グループを相互接続し、かつ前記 通信加算器ツリーによって命令、データと、ニューロン活動化関数ユニットの出 力とを通信して入力シナプス処理ユニットに戻す手段とを含む、 コンピュータ・システム装置。
2. ２．対角線セル及び一般セルからなり、対角線に沿って折り畳まれたＮ×Ｎマト リックスの形に配置された、Ｎニューラル・ネットワーク内で結合重みとそれぞ れ関連付けられているＮ２個のシナプス処理ユニットを含む、請求項１に記載の 装置。
3. ３．それぞれ単一のシナプス処理ユニットからなる対角線セルが、折り畳んだＮ ×Ｎ結合重みマトリックスの対角線結合重みと関連付けられ、それぞれ合併され た２個のシナプス処理ユニットからなる一般セルが、折り畳んだＮ×Ｎ結合重み マトリックスの対角線結合重みと関連付けられている、請求項２に記載の装置。
4. ４．対角線セルのシナプス処理ユニットが、Ｎニューロン構造の付加された通信 加算器ツリーに結果を供給し、そこから命令及びデータを受け取る、請求項３に 記載の装置。
5. ５．一般セルの２個の合併されたシナプス処理ユニットからなる構造が、象徴的 に上端シナプス処理ユニット及び下端シナプス処理ユニットとして編成され、前 記の上端シナプス処理ユニット及び下端シナプス処理ユニットが、Ｎニューロン 構造の付加された通信加算器ツリーに結果を供給し、そこから命令及びデータを 受け取る、請求項３に記載の装置。
6. ６．折り畳んだＮ×Ｎマトリックスが、すべての一般セルから構成される２Ｈ個 のシナプス処理ユニットをそれぞれ含む１個または複数の正方形マトリックスと 、対角線セル及び一般セルの形のＨ個のシナプス処理ユニットをそれぞれ含む複 数の三角形マトリックスとに分割され、Ｈの値は、チップ上にＨ個のシナプス処 理ユニットからなるグループをパッケージする目的で技術及び設計の諸制約によ ってその値が決定され、ＨとＮの大きさが与えられると、折り畳んだ元のＮ×Ｎ マトリックスから分割された三角形マトリックスと正方形マトリックスの数が決 まるという、請求項３に記載の装置。
7. ７．２Ｈ個のシナプス処理ユニットを含む各正方形マトリックスが、シナプス処 理ユニットはそのままにして、シナプス処理ユニットに付加された通信加算器ツ リーのみを折り畳んで、その対角線に沿って折り畳まれる、請求項６に記載の装 置。
8. ８．各シナプス処理ユニット中の重み及びＹ値の再配置によって、折り畳んだ正 方形構造を、それぞれがＨ個のシナプス処理ユニットを含み、かつそれぞれが１ つのプロセッサ・グループを表す別々の２個の三角形アレイとして、それぞれ描 き直すことができる、請求項７に記載の装置。
9. ９．Ｎ２個のシナプス処理ユニットを含むＮニューロン構造がＧ個のグループに 区分され、Ｈ個のシナプス処理ユニットを含む前記の各グループが対角線セルと 一般セルから構成され、前記の各対角線セルがある通信加算器ツリーに付加され 、前記の各一般セルが上端及び下端の通信加算器ツリーに付加されている、請求 項２に記載の装置。
10. １０．Ｇ個のグループが、 グループの通信加算器ツリーから生成されたＮ２個のＷｉｊＹｊ積のＮ個の部分 ニューロン入力和の外部求和、Ｎ個のニューロン活動化関数ユニットの出力Ｙｉ 値のそれぞれを、結合重み記憶ユニットＷｉｊを格納するＮ個のシナプス処理ユ ニットのＹｊ＝ｉ記憶ユニットに通信し、それによって各シナプス処理ユニット 内でｊ番目のＹ値をそれと一致するｊ番目の下付き文字をもつ結合重みと関連付 けることによる、前記Ｙｉ値の逆方向通信、 Ｎ個のニューロン誤差信号Ｅｉ値のそれぞれを、結合重み記憶ユニットＷｉｊを 格納するＮ個のシナプス処理装置の記憶ユニットに通信し、それによって各シナ プス処理ユニット内で、ｉ番目の誤差信号値をそれと一致するｉ番目の下付き文 字をもつ結合重みと関連付けることによる、前記Ｅｉ値の逆方向通信、及び グループの通信加算器ツリーから生成されたＷｉｊＥｉ積の部分的重み付け誤差 和の外部求和 を行なう目的で、外部求和及び切換え機構に接続されている、請求項９に記載の 装置。
11. １１．外部求和及び切換え機構が、それぞれ１つの累計記憶ユニットを含む反復 加算器に接続されている、請求項１０に記載の装置。
12. １２．反復加算器が外部求和ツリーの最終求和段に組み込まれている、請求項１ １に記載の装置。
13. １３．Ｎ個の反復加算器がそれぞれ追加の求和段に接続され、前記追加の求和段 が、外部入力値と反復加算器の出力との和をとって、結果をニューロン活動化関 数ユニットに供給する、請求項１１に記載の装置。
14. １４．対角線セルの単一シナプス処理ユニットがそれぞれ、タグ突合せユニット と、命令／データ復号機構を介して外部から受け取った命令及びデータ用の宛先 経路制御機構と、加算器ツリー・データ経路記憶ユニットと、外部記憶データ経 路記憶ユニットと、分配ユニットと、１つの命令記憶ユニット、１つの重み値記 憶ユニット、Ｙ値記憶ユニットと呼ぶ１つのニューロン活動化関数ユニット出力 値記憶ユニット及び１つの一時データ記憶ユニットからなる命令及びデータ記憶 ユニットと、命令復号機構を介して制御される記憶ユニット・オペランド選択機 構と、選択ユニットと、命令記憶ユニットに関するアドレス指定手段と、命令復 号機構及び分配ユニットを介して制御される結果宛先経路制御機構と、外部記憶 装置読取り専用Ｙ値データ経路と、外部記憶装置読み書き重み値データ経路と、 プログラマブル実行ユニットとから構成される、請求項３に記載の装置。
15. １５．一般セルの合併された２個のシナプス処理ユニットが、２個のタグ突合せ 機構と、２個の命令／データ復号機構を介して外部から受け取った命令及びデー タ用の共通宛先経路制御機構と、２個の加算器ツリー・データ経路記憶ユニット と、２個の外部記憶データ経路記憶ユニットと、２個のコマンド経路ピットと、 共通分配ユニットと、２個の記憶ユニット、２個の重み値記憶ユニット、２個の Ｙ値記憶ユニット及び２個の一時データ記憶ユニットからなる命令及びデータ記 憶ユニットと、２個の命令復号機構を介して制御される２個の記憶ユニット・オ ペランド選択機構と、共通選択ユニットと、２個の命令記憶ユニットに関する２ 個のアドレス指定手段と、２個の命令復号機構及び共通分配ユニットを介して制 御される２個の結果宛先経路制御機構と、２個の外部記憶装置読取り専用Ｙ値デ ータ経路と、２個の外部記憶装置読み書き重み値データ経路と、２個のプログラ マブル実行ユニットとから構成される、請求項３に記載の装置。
16. １６．シナプス処理ユニットのデータ記憶ユニットが、データ記憶ユニットごと に１ビットの条件付き実行ビットを格納し、前記ピットがデータの使用、及びデ ータを重ね書きできるかどうかを制御する、請求項１に記載の装置。
17. １７．Ｈが２の偶数乗であるとして、各グループが１個の外部記憶装置とインタ ーフェースし、前記インターフエースがＨ個の読み書き重み値データ経路と、√ Ｈ個の読取り専用Ｙ値データ経路と、√Ｈ個の書込み専用Ｙ値データ経路と、グ ループ重み値アドレス指定及びＹ値書込み経路とＹ値読取り経路の個別アドレス 指定を制御する手段と、選択されたアドレスでのデータの読取り及び書込みを制 御する手段とを含む、請求項９に記載の装置。
18. １８．外部記憶装置が、１個の重みアレイと、それぞれ現Ｙ値アレイ及び新Ｙ値 アレイと呼ばれる２個のＹ値アレイとを含む、請求項１７に記載の装置。
19. １９．Ｖ及びＮが２の累乗であるとして、外部記憶装置が、Ｖ２／Ｎ２個の重み 値と、各Ｙ値アレイ中にＶ／Ｎ個のＹ値を含み、すべてのアレイ重み値及びＹ値 が条件付き実行ビットを含んでいる、請求項１８に記載の装置。
20. ２０．Ｖ個のニユーロンをサポートするグループ区分Ｎニューロン構造が、シナ プス経路装置のグループとインターフェースする各外部記憶装置内にさらに多く の外部記憶装置を追加することにより、より大きなＶにスケーリングできる、請 求項１８に記載の装置。
21. ２１．共通重み値読み書き制御手段のもとで、Ｈ個の重み値が同時に外部記憶装 置から読み取られ、あるいはＨ個の重み値が同時に外部記憶装置に書き込まれる 、請求項１７に記載の装置。
22. ２２．Ｈが２の偶数乗であるとして、別々のＹ値読取り制御手段及びＹ値書込み 制御手段のもとで、√Ｈ個のＹ値の同時読取りと√Ｈ個のＹ値の同時書込みが別 々にまたは並列に行なわれる、請求項１７に記載の装置。
23. ２３．現Ｙ値アレイからのＹ値をニューラル計算に使用しながら、新しく生成さ れたＹ値を新Ｙ値アレイに記憶する第１の動作モードと、新しく作成されたＹ値 を現Ｙ値アレイに書き込む第２の動作モードの、２種の動作モード用の制御手段 が設けられている、請求項２２に記載の装置。
24. ２４．重み値及びＹ値がビット直列形式で外部記憶装置に記憶される、請求項１ ８に記載の装置。
25. ２５．プログラマブル・グループ実行ユニットが、外部記憶インターフエースを 制御する目的で、選択されたグループに付加された通信加算器ツリーから受け取 ったグループ・コマンドに応答する、請求項１７に記載の装置。
26. ２６．ニユーロン活動化関数ユニットが、Ｙ値出力を提供する非線形シグモイド 生成機構及びＹ（１−Ｙ）値出力を提供するシグモイド導関数生成機構である、 請求項１に記載の装置。
27. ２７．通信加算器ツリーが、ｌｏｇ２Ｎ個の２−１通信加算器段を含む、請求項 １に記載の装置。
28. ２８．通信加算器ツリーの各段が、２−１加算器からなる２−１通信加算器と、 加算から得られるのとは逆方向に値を通信するための加算器バイパス経路と、加 算機能と逆方向通信経路の間で切り換える手段とを含んでいる、請求項２７に記 載の装置。
29. ２９．接続されたホスト・コンピュータならびにＮ個の外部求和及び切換え機構 とインターフエースするプログラマブル・プロセッサ制御装置が、 外部求和及び切換え機構の制御 通信加算器ツリーの制御 反復加算器の制御 シナプス・プロセッサの初期設定 シナプス・プロセッサ命令の発行 アルゴリズムによるデータの計算 シナプス・プロセッサ・データの発行 ニユーラル・ネットワークのエミユレーシヨンの開始多層ネットワークのシーケ ンス制御 ニューラル・ネットワーク・エミユレーシヨンの停止−所期の結果への収束テス トによる停止、または−ホストによって指定された回数のエミユレーション・サ イクルの完了による停止 の諸機能を提供する、請求項１に記載の装置。
30. ３０．重みアレイ、Ｙ値アレイ、Ｙ（１−Ｙ）アレイ、教師アレイ、及びトレー ス・アレイを含む、請求項２９に記載のプログラマブル・プロセッサ制御装置。
31. ３１．Ｎ２個のシナプス処理ユニットと、Ｎ個の通信加算器ツリーと、Ｎ個のニ ユーロン活動化関数ユニットと、グループ当りＨ個のシナプス処理ユニットから なるＧ個のグループに区分され、各グループが外部記憶装置とインターフェース してＶ個（Ｖ＞Ｎ）のニューロンの記憶能力を提供する、Ｎニューロン構造用の Ｎ個のニューロン活動化関数ユニット及びＮ個の外部求和及び切換え機構と、プ ログラマブル・プロセッサ制御装置とが存在する、請求項１に記載の装置。
32. ３２．グループ区分Ｎニューロン構造が、既存の構造にグループを追加し、かつ 外部求和及び切換え機構とプログラマブル・プロセッサ制御装置とを追加のニュ ーロンをサポートできるように修正することにより、より大きなＮにスケーリン グできる、請求項３１に記載の装置。
33. ３３．各通信加算器ツリーが、ツリーのリーフ・ノードにあるＮ個のシナプス処 理ユニットと、追加の外部入力求和段の外部求和ツリーの出力部のルートに接続 された１個のニューロン活動化関数とに接続されて、結果をプログラマブル・プ ロセッサ制御装置に提供し、Ｎニューロン構造を構成する、前記の通信加算器ツ リーと、外部求和及び切換え機構と、反復加算器と、外部記憶装置とインターフ エースするシナプス処理ユニットのグループと、ニューロン活動化関数ユニット とが、 重み値及びデータ値を各シナプス処理ユニットに入力する手段と、 タグ付き命令、データ、及びニューロン出力値（Ｙ値と呼ぶ）を入力シナプス処 理ユニットに通信して戻す手段と、データを外部記憶装置から入力シナプス処理 ユニットに読み取り、外部記憶装置から入力シナプス処理ユニットに書き込む手 段と、 各シナプス処理ユニット内で、付加された通信加算器ツリーから受け取った命令 、データ及びＹ値の宛先を制御する手段と、 各シナプス処理ユニット内で、外部記憶装置から受け取ったデータの宛先を制御 する手段と、 動作モードに応じて外部求和及び切換え機構を制御する手段と、 各シナプス処理ユニット内で、受け取ったシナプス・プロセッサ命令を実行する 手段と、 各グループ内で、受け取ったグループ命令を実行する手段と、 自動モードで次の動作に使用するデータを受け取つたとき、前に受け取つた命令 を実行する手段と、結果を局所的に各シナプス処理ユニットに留まらせ、あるい は外部記憶装置に送らせ、あるいは付加された通信加算器ツリーに送らせる、オ ペランド選択及び宛先経路制御手段と、その結果が局所的に各シナプス処理ユニ ットに留まる動作について、付加されたプログラマブル・プロセッサ制御装置に 動作完了を通信する手段と、 シナプス処理ユニットから受け取った値の和を求める手段と、 外部入力値を各ニューロン活動化関数ユニットに入力する手段と、 新しい命令、データ及びニューロン活動化関数ユニットＹ値を生成する手段と を有する、請求項３１に記載の装置。
34. ３４．重み値及びデータ値を各シナプス処理ユニットに入力する手段が、各シナ プス処理ユニット内及び外部記憶装置内の各重み値及びデータ値記憶ユニットに アクセス可能な、プログラマブル・プロセッサ制御装置の形のホスト・インター フエース制御機構を含む、請求項３３に記載の装置。
35. ３５．タグ付き命令、データ及びニューロン出力値（Ｙ値と呼ぶ）を入力シナプ ス処理ユニットに通信して戻す手段が、通信モードで動作する通信加算器ツリー と、各シナプス処理ユニット内のタグ突合せユニットとによるものであり、受け 取った値がそれぞれ同報通信ビットとタグ・フィールドからなるタグ・ヘッダを 含んでいる、請求項３３に記載の装置。
36. ３６．タグ・フィールドが、あるグループ中のすべてのシナプス処理ユニットに 共通なグループ・タグである、請求項３５に記載の装置。
37. ３７．データを外部記憶装置から入力シナプス処理ユニットに通信する手段が、 １個の重み外部記憶アドレスと、２個のＹ値外部記憶アドレスと、選択的読み書 き制御とからなるグループ外部記憶装置読み書き制御機構によるものであり、そ のアドレス指定及び制御機構が受け取つたグループ命令によってセットアップさ れ、外部記憶装置に記憶されたＤビット重み値が、それぞれＨビットのＤ回のア クセスを必要とし、シーリング関数が、ｌｏｇ２Ｄが分数の場合にｌｏｇ２Ｄの 次に大きな整数を取るものとして、そのアドレス指定が、命令即値データ・フィ ールドで指定される記憶アドレスにシーリング（ｌｏｇ２Ｄ）ビットを付加する ことによつて実現される、請求項３３に記載の装置。
38. ３８．各シナプス処理ユニット内で付加された通信加算器ツリーから受け取った 命令、データ及びＹ値の宛先を制御する手段が、命令については、一般セル中で は命令復号機構と、コマンド経路ビットと、分配論理機構とにより、また対角線 セル中では、命令復号機構と、Ｒ１、Ｒ２、・・・、Ｒ６がある命令からアドレ ス可能なデータ記憶ユニットを表すものとして、Ｒ４→Ｒ３、Ｒ５→Ｒ２、Ｒ６ →Ｒ１、ＣＲ２→ＣＲ１のマッピングを行なう記憶ユニット・マッピング論理機 構と、分配論理機構とにより、またＹ値を含めたデータについては、対角線セル 中でも一般セル中でも、データ復号機構と、データ経路記憶ユニットとによるも のである、請求項３３に記載の装置。
39. ３９．各シナプス処理ユニット内で外部記憶装置から受け取つたデータの宛先を 制御する手段が、対角線セル中でも一般セル中でも外部記憶装置データ経路記憶 ユニットによるものである、請求項３３に記載の装置。
40. ４０．ＹＩＮＭＯＤＥと呼ぶ一般セルの１つの動作モードでは、上端通信加算器 ツリーから受け取つた命令が上端シナプス処理ユニットの命令記憶ユニットに送 られ、下端通信加算器ツリーから受け取った命令が下端シナプス処理ユニットの 命令記憶ユニットに送られ、上端通信加算器ツリーから受け取ったデータが上端 シナプス処理ユニットの指定されたデータ記憶ユニットに送られ、下端通信加算 器ツリーから受け取ったデータが下端シナプス処理ユニットの指定されたデータ 記憶ユニットに送られるように、データ経路記憶ユニットとコマンド経路ビット がセットアップされる、請求項３８に記載の方法。
41. ４１．ＹＯＵＴＭＯＤＥと呼ぶ一般セルの１つの動作モードでは、上端通信加算 器ツリーから受け取つた命令が下端シナプス処理ユニットの命令記憶ユニットに 送られ、下端通信加算器ツリーから受け取つた命令が上端シナプス処理ユニット の命令記憶ユニットに送られ、上端通信加算器ツリーから受け取ったデータが下 端シナプス処理ユニットの指定されたデータ記憶ユニットに送られ、下端通信加 算器ツリーから受け取ったデータが上端シナプス処理ユニットの指定されたデー タ記憶ユニットに送られるように、データ経路記憶ユニットとコマンド経路ビッ トがセットアップされる、請求項３８に記載の方法。
42. ４２．動作モードに応じて外部求和及び切換え機構を制御する手段が、動作モー ドに応じてアルゴリズム制御が変化する、プログラマブル・プロセッサ制御装置 からのアルゴリズム制御によるものである、請求項３３に記載の装置。
43. ４３．各シナプス処理ユニット内で受け取ったシナプス・プロセッサ命令を実行 する手段が、自動動作モードの指定と、原始オペランドと、結果宛先と、ソース 指定及び宛先指定に応じてデータまたは外部記憶装置をアドレス指定するための 即値データの指定とを含む、非動作（ＮＯＰ）命令、（加算器ツリー経路をセッ トアップするための）ＰＡＴＨ命令、（外部記憶経路をセットアップするための ）ＰＡＴＨ命令、算術命令、論理命令、外部記憶装置読取り命令、及び外部記憶 装置書込み命令に応答する、プログラマブル実行ユニットによるものである、請 求項３３に記載の装置。
44. ４４．実行の短い命令には埋込みを行なつて、実行が最長の命令によって外部記 憶アクセス・タイミングの判断基準が決まるようにすることにより、すべての命 令が同じ量の時間で実行される、請求項４３に記載の装置。
45. ４５．各グループ内で受け取つたグループ命令を実行する手段が、外部記憶アド レス形成を制御し、かつＳ＝００（カウントせず）、Ｓ＝０１（カウント増分） 、Ｓ＝１０（カウント減分）、Ｓ＝１１（使用せず）の各指定と、Ｉ＝０（カウ ントせず）、Ｉ＝１（カウント）、Ｕ＝０（１個のＹ値アレイ使用）、Ｕ＝１（ 両方のＹ値アレイ使用及びトグル使用）の各指定と、ＳＯカウント（ＳＯは構造 化出力サイクルの略語であつて、各ＳＯサイクルごとにＮ個のニユーロン出力が 生成される）とＩＡカウント（ＩＡは反復加算サイクルの略語であって、Ｖニュ ーロン・ネットワーク中の各ニューロンごとにＶ／Ｎ回の反復加算が実行される ）とを含む、非動作（ＮＯＰ）命令、（Ｓ、Ｉ、Ｕパラメータをセットするため の）ＧＳＥＴ命令、及び（Ｓ、Ｉ、Ｕ、ＳＯカウント、ＩＡカウントの各パラメ ータをセットするための）ＧＬＤＣＴ命令に応答する、指定したグループ論理機 構によるものである、請求項３３に記載の装置。
46. ４６．自動モードで次の動作で使用するデータを受け取ったとき前に受け取った 命令を実行する手段が、自動モードをセットする能力をもつ命令を受け取ること によって、かつ・Ａ＝０、Ｓ＝００：単一ＳＯサイクル更新、“Ｉ”＝１の場合 、現ＳＯサイクルのすべてのＩＡが実行され、次の命令を待ち、ＳＯカウントは 増分されない・Ａ＝０、Ｓ＝０１または１０：現ＳＯサイクルを実行してＳＯカ ウントを増分または減分し、新しいコマンドを待ち、“Ｉ”＝１の場合、現ＳＯ サイクルのすべてのＩＡが実行される ・Ａ＝１、Ｓ＝００：現ＳＯサイクルを実行し、新しいデータを待ち、有効なタ グ付きデータを受け取つたとき、同じＳＯサイクルを実行し、新しいデータを待 ち、有効なタグ付きデータを受け取るたびにこの手順を繰り返し、これを停止さ せる新しいコマンドを受け取るまで続行する・Ａ＝１、Ｓ＝０１または１０：現 ＳＯサイクルを実行してＳＯカウントを増分または減分し、新しいデータを待ち 、有効なタグ付きデータを受け取つたとき、ＳＯサイクルを実行してＳＯカウン トを増分または減分し、新しいデータを待ち、有効なタグ付きデータを受け取る たびにこの手順を繰り返し、これを停止させる新しいコマンドを受け取るまで続 行する 方式で前に発行されたグループ命令によつて指定されるＳビツトの設定によって 、かつ プログラマブル・プロセッサ制御装置から送られた有効なタグ付きデータを受け 取ることによつてセットされる自動モード・フラグによるものである、請求項３ ３に記載の装置。
47. ４７．結果を局所的に各シナプス処理ユニットに留まらせ、あるいは外部記憶装 置に送らせ、あるいは付加された通信加算器ツリーに送らせるようにオペランド 選択及び宛先経路の制御を行なう手段が、命令復号機構と、外部記憶装置宛先用 のグループ・アドレス指定制御及びアドレス形成と、分配論理機構とによるもの である、請求項３３に記載の装置。
48. ４８．その結果が局所的に各シナプス処理ユニットに留まる動作について、付加 されたプログラマブル・プロセッサ制御装置に動作完了を通信する手段が、求和 モードでの通信加算器ツリーの使用によるものであり、その際に、動作を首尾よ く完了したシナプス・プロセッサはツリーに“１”を注入し、動作が不成功に終 わると、シナプス・プロセッサはツリーに“０”を注入し、それによって、Ｎ個 のシナプス・プロセッサ局所動作が首尾よく完了した場合はＮの求和値が得られ 、いずれかのシナプス・プロセッサ動作が不成功であった場合はそれが得られな いという、請求項３３に記載の装置。
49. ４９．シナプス処理ユニットから受け取った値の和を求める手段が、関数実行モ ードで動作する付加された通信加算器ツリーと、求和モードの外部求和及び切換 え機構とによるものである、請求項３３に記載の装置。
50. ５０．外部入力値を各ニユーロン活動化関数ユニットに入力する手段が、プログ ラマブル・プロセッサ制御装置から供給され、反復加算器の出力部にある最終求 和段に外部から印加される入力によるものである、請求項３３に記載の装置。
51. ５１．新しい命令、データ及びニューロン活動化関数ユニットＹ値を生成する手 段が、ニューロン活動化関数ユニットと、接続されたホスト・コンピュータなら びにＮ個の外部求和及び切換え機構とインターフェースするプログラマブル・プ ロセッサ制御装置とによるものである、請求項３３に記載の装置。
52. ５２．プログラマブル・プロセッサ制御装置によつて発行される局所及び非局所 シナプス・プロセッサ命令が、構造上での災害を避けるために、命令及びデータ 発行機構として、動作のために外部求和経路から受け取った値の使用を決定する 、請求項５１に記載のプログラマブル・プロセッサ制御装置。
53. ５３．データがビット直列形式であり、ビットが対角線セルまたは一般セル中で 受け取られる順序が、まず同報通信ビット、次にタグ・フィールド、次にエラー 処理ビット、続いてデータを示す非活動状態にセットされたコマンド・ビット、 条件付き実行ビット、データ・フィールド、最後にエラー処理ビットである、請 求項３３に記載の装置。
54. ５４．シナプス・プロセッサ命令がビット直列形式であり、ビットが対角線セル または一般セル中で受け取られる順序が、まず同報通信ビット、次にタグ・フィ ールド、次にエラー処理ビット、続いて命令を示す活動状態にセットされたコマ ンド・ビット、シナプス・プロセッサ命令を示す非活動状態にセットされたグル ープ・ビット、自動ビット、命令のタイプを示すコマンド・フィールド、最初の オペランドを示すソース１フィールド、第２のオペランドを示すソース２フィー ルド、結果の宛先を示す宛先フィールド、即値データまたは外部メモリ・アドレ ス用の即値データ・フィールド、最後にエラー処理ビットである、請求項３３に 記載の装置。
55. ５５．グループ命令がビット直列形式であり、ビットが対角線セルまたは一般セ ル中で受け取られる順序が、まず同報通信ビット、次にタグ・フィールド、次に エラー処理ビット、続いて命令を示す活動状態にセットされたコマンド・ビット 、グループ命令を示す活動状態にセットされたグループ・ビット、２個の命令出 力カウンタ制御ビット、反復加算器カウンタ制御ビット、Ｙアレイ使用ビット、 命令のタイプを示すコマンド・フィールド、ＳＯカウント・フィールド、ＩＡカ ウント・フィールド、最後にエラー処理ビットである、請求項３３に記載の装置 。
56. ５６．４つのグループを含み（Ｇ＝４）、各グループごとにＨ＝４個のシナプス 処理ユニットを有するグループ区分Ｎ（＝４）ニューロン構造上にマップされた Ｖ（＝１１）ニューロン構造からなり、ＳＯ１サイクルにマップされる外部入力 をもつ２個のニューロンを含む第１層と、やはりＳＯ１サイクルにマップされる １個のニューロンを含む第２層と、ＳＯ２サイクルにマップされる４個のニュー ロンを含む第３層と、ＳＯサイクルにマップされる４個のニューロンを含む第４ 層の４層から構成される多層ニューラル・ネットワーク上で、入出力エンコーダ 問題のために後方伝播学習をエミユレートするために、レジスタが記憶ユニット として使用され、ＭＰＹが複数命令を指し、加算器ツリーの宛先が付加された通 信加算器ツリーに結果を送り、プログラマブル・プロセッサ制御装置を学習プロ セッサと呼び、ＳＶＬＭ（スケーラブル仮想学習機械）がＶ個のニユーロンをサ ポートするグループ区分Ｎニューロン構造を指すものとして、以下のステップを 順次実行するための手段が設けられている、請求項３３に記載の装置： ａ）外部メモリから、このモデルで使用されない結合に対してＣＥＢビットが“ ０”にセットされた１組の初期重み値とＹ値を読み込むことによつて、ＳＶＬＭ を初期設定する。 完全に結合された１１ニューロン・モデルの可能な１２１個の結合重みのうちの ２２個だけが入出力エンコーダ問題で使用される。１１個のニューロン出力を得 るために、それぞれ３つのＩＡサイクルからなる３つのＳＯサイクルを実行する 。 入出力エンコーダ問題ではニューロン１３、１４、１５または１６はないので、 この例では第４のＳＯサイクル及びＩＡサイクルは不要である。ＩＡカウントと ＳＯカウントをロードし、“Ｓ”、“Ｉ”、“Ｕ”の各制御ビットをセットする ために、グループ・コマンドが発行される。ＧＬＤＣＴＯ，１，１命令が“Ｓ” 、“Ｉ”、“Ｕ”を“Ｏ”にセットし、ＳＯ＝１及びＩＡ＝１をロードする。 ｂ）初期設定の後、ＳＶＬＭを実行モードに置き、入力パターンＥＸ１とＥＸ２ を印加する。省略時経路を一般シナプス・プロセッサを通るものとして設定する 。具体的には、上端加算器ツリーから受け取ったコマンドは下端コマンド・レジ スタＣＲ２に入り、下端加算器ツリーから受け取つたデータは上端コマンド・レ ジスタＣＲ２に入る。上端加算器ツリーから受け取つたデータはＹｉレジスタＲ ５に入り、下端加算器ツリーから受け取ったデータはＹｊレジスタＲ５に入る（ 相対アドレス指定を仮定する）。 ｃ）４個の物理ニューロンがＭＰＹＡ　Ｒ１＊Ｒ２→ＡＤＤＴＲＥＥ（Ｔ）を発 行する。各ネットワーク実行層ごとに乗算命令を再発行せずに性能を向上させる ために、自動モードを使用する。層１と２はＮ個のニユーロンのＳＯ１サイクル 上にマップされるので、“Ｓ”＝“００”のとき、ＳＯカウンタはＳＯカウント を増分しない。さらに、“Ｕ”ビットが“０”にセットされた場合、新しく更新 されたＹ値が次のニユーロン更新で利用される。ＳＶＬＭ構造中のＹ値レジスタ は最初０なので、すべての重みとＹ値の積は０となり、したがって加算されると ０の加算値を生じる。 ｄ）ＳＶＬＭ構造上でニューロンの第１層を実行して、第１層ニューロン出力及 びその導関数を生成する（学習プロセッサは他の２個のニューロン出力値を無視 する）。 ・Ｙ１＝Ｆ（ＥＸ１） ・Ｙ２＝Ｆ（ＥＸ２） ・Ｄｒ１＝Ｙ１（１−Ｙ１） ・Ｄｒ２＝Ｙ２（１−Ｙ２） ｅ）ネットワーク・モデルの第２層をエミユレートし、続いて第３層及び第４層 に進むために、第２層の実行後、ＳＯカウントを増分しなければならない。これ を実現するために、新しいグループ命令ＧＬＤＣＴ１，３，１命令を発行して、 “Ｓ”の状態を“０１”に変更する。“Ｉ”ビットと“Ｕ”ビットは指定されて いず、共に“Ｏ”にセットされたままとなる。 ＧＬＤＣＴ１，３，１命令が送られた後、第１層ニューロン出力がＳＶＬＭにフ ィードバックされる。自動ＭＰＹ命令が指定されたので、Ｙ１とＹ２を受け取っ たときニューロンの第２層が実行され、第２層ニューロン出力とその導関数を生 成する。 第２層の実行後、ＳＯカウントが２に増分される。 ・Ｙ１及びＹ２を逆方向通信する。 ・Ｙ３＝Ｆ（Ｗ３，１Ｙ１十Ｗ３，２Ｙ２）・Ｄｒ３＝Ｙ３（１−Ｙ３） ｆ）すべての層が実行され、ネットワーク出力とその導関数が得られるまで、こ れを続行する。Ｙ３′を受け取ったとき、第２のＳＯサイクルが開始されて、第 ３層出力、すなわちＹ４、Ｙ５、Ｙ６、Ｙ７を発生し、ＳＯカウントが３に増分 される。第３層Ｙ値が逆方向通信され、第３ＳＯサイクルが開始されて、第４層 出力を発生し、ネットワーク・エミユレーシヨンが完了したときＳＯカウントを １に増分させる。 　・第３層の実行はＳＯカウント＝２から始まる・Ｙ３を逆方向通信する ・第３層の実行 −Ｙ４＝Ｆ（Ｗ４，３Ｙ３） −Ｙ５＝Ｆ（Ｗ５，３Ｙ３） −Ｙ６＝Ｆ（Ｗ６，３Ｙ３） −Ｙ７＝Ｆ（Ｗ７，３Ｙ３） −Ｄｒ４＝Ｙ４（１−Ｙ４） −Ｄｒ５＝Ｙ５（１−Ｙ５） −Ｄｒ６＝Ｙ６（１−Ｙ６） −Ｄｒ７＝Ｙ７（１−Ｙ７） −ＳＯカウントを３に増分する ・ＧＬＤＣＴ１，３，２命令を発行してＩＡカウントに２をロードし、外部記憶 装置から正しい重みにアクセスできるようにする。“Ｓ”ビット＝“０１”及び ＳＯカウント＝３は同じままである ・第４層の実行はＳＯカウント＝３から始まる・Ｙ４、Ｙ５、Ｙ６、Ｙ７を逆方 向通信する・第４層の実行 −Ｙ８＝Ｆ（Ｗ８，４Ｙ４＋Ｗ８，５Ｙ５＋Ｗ８，６Ｙ６＋Ｗ８，７Ｙ７）−Ｙ ９＝Ｆ（Ｗ９，４Ｙ４＋Ｗ９，５Ｙ５＋Ｗ９，６Ｙ６＋Ｗ９，７Ｙ７）−Ｙ１０ ＝Ｆ（Ｗ１０，４Ｙ４＋Ｗ１０，５Ｙ５＋Ｗ１０，６Ｙ６＋Ｗ１０，７Ｙ７） −Ｙ１１＝Ｆ（Ｗ１１，４Ｙ４＋Ｗ１１，５Ｙ５＋Ｗ１１，６Ｙ６＋Ｗ１１，７ Ｙ７） −Ｄｒ８＝Ｙ８（１−Ｙ８） −Ｄｒ９＝Ｙ９（１−Ｙ９） −Ｄｒ１０＝Ｙ１０（１−Ｙ１０） −Ｄｒ１１＝Ｙ１１（１−Ｙ１１） −ＳＯカウントを１に進める ｇ）１１個のニューロン値及びその導関数がすべて計算され、Ｙ値アレイ及びＹ 導関数アレイに入れられた後、ＳＶＬＭを学習モードに置く。この例のように疎 に結合したネットワークでは、ＩＡカウント及びＳＯカウントを非クロッキング 方式で使用し、新しいＩＡカウントまたはＳＯカウントを望むときには、グルー プ・コマンド命令によつて明示的にそれを変更する。 ｈ）学習プロセッサが、Ｙｉ値が最小指定誤差に収束するかどうか検査する。最 小誤差に達した場合は、パターンｐに関する学習過程を停止することができる。 収束に達していない場合は、パターンｐに関する学習を続行する。 ・収束テストＹ８＝｜（ｔ８−Ｙ８）｜≦最小誤差・収束テストＹ９＝｜（ｔ９ −Ｙ９）｜≦最小誤差・収束テストＹ１０＝｜（ｔ１０−Ｙ１０）｜≦最小誤差 ・収束テストＹ１１＝｜（ｔ１１−Ｙ１１）１≦最小誤差ｉ）学習プロセッサが 、出力ニューロンと前の層のニューロンの間の重みを更新する際に使用する、出 力ニューロンのδｉｐを計算する。 δｉｐ＝（ｔｉｐ−Ｙｉｐ）Ｄｒｉｐ ・δ８＝Ｅ８＝（ｔ８−Ｙ８）Ｄｒ８ ・δ９＝Ｅ９＝（ｔ９−Ｙ９）Ｄｒ９ ・δ１０＝Ｅ１０＝（ｔ１０−Ｙ１０）Ｄｒ１０・δ１１＝Ｅ１１＝（ｔ１１− Ｙ１１）Ｄｒ１１ｊ）クロッキング・モードの指定なしでＳＯカウントとＩＡカ ウントをロードする。データ経路が変更され、次に誤差信号が当該のシナプス・ プロセッサ要素の一時レジスタに逆通信される。 ・ＧＬＤＣＴ０，３，２命令がＳＯ＝３及びＩＡ＝２をロードする。これは、す べての重みが外部メモリ中のどこにあるかを指し、ＳＯカウンタとＩＡカウンタ がクロックされないこと、すなわちＳ＝００、Ｉ＝０を保証する。 ４個の物理ニューロンが、ＰＡＴＨ　Ｒ４を発行してデータ経路を変更する。Ｐ ＡＴＨ　Ｒ４を発行すると、前記ステップＣ）で発行されたＭＰＹＡによって指 定される自動乗算モードが停止する。次に受け取られるデータは、ＧＳＹＰ内の 相対アドレスＲ４一時レジスタ及びＤＳＹＰ内のＲ３に入る。コマンド経路は変 更されないままとなる。 ・Ｅ８、Ｅ９、Ｅ１０、Ｅ１１がＹ８、Ｙ９、Ｙ１０、Ｙ１１ソース点から逆通 信される。 ｋ）誤差信号と適切な重みの乗算を開始するためにＭＰＹ命令を発行する。積を 加算して、次層後方重み修正プロセスで使用される誤差和ＥＲｉｐを生成する。 コマンド経路が変更されなかった、すなわち上端加算器ツリーからのコマンドは 下端コマンド・レジスタＣＲ２に入り、下端加算器ツリーからのコマンドは上端 コマンド・レジスタＣＲ２に入るので、誤差信号はＲ３一時レジスタの受け取っ たコマンドに対する相対アドレスにある。 ▲数式、化学式、表等があります▼ 上式でｍ＝Ｍｉ＋Ｍ２＋・・・＋ＭＬ ・ニューロン８、９、１０、１１がＭＰＹＲ６＊Ｒ３→ＡＤＤ　ＴＲＥＥ（Ｔ） を発行する ・重み付き誤差和ＥＲ４、ＥＲ５、ＥＲ６、ＥＲ７を生成する。 ＥＲ４＝Ｗ８，４Ｅ８＋Ｗ９，４Ｅ９＋Ｗ１０，４Ｅ１０＋Ｗ１１，４Ｅ１１Ｅ Ｒ５＝Ｗ８，５Ｅ８＋Ｗ９，５Ｅ９＋Ｗ１０，５Ｅ１０＋Ｗ１１，５Ｅ１１ＥＲ ６＝Ｗ８，６Ｅ８＋Ｗ９，６Ｅ９＋Ｗ１０，６Ｅ１０＋Ｗ１１，６Ｅ１１ＥＲ７ ＝Ｗ８，７Ｅ８＋Ｗ９，７Ｅ９＋Ｗ１０，７Ｅ１０＋Ｗ１１，７Ｅ１１１）層３ と層４の間の重みが、ここで学習規則によって修正される。ΔＷｉｊはｐＹｊＥ ｉによつて２命令ステップで生成される。 ステップ１　ＭＰＹ　Ｒ５＊Ｒ３→Ｒ４・ＴＥＭＰＲＥＧ８，４＝Ｙ４Ｅ８ ・ＴＥＭＰＲＥＧ８，５＝Ｙ５Ｅ８ ・ＴＥＭＰＲＥＧ８，６＝Ｙ６Ｅ８ ・ＴＥＭＰＲＥＧ８，７＝Ｙ７Ｅ８ ＴＥＭＰＲＥＧ９，４＝Ｙ４Ｅ９ ・以下になるまで続ける ・ＴＥＭＰＲＥＧ１１，７＝Ｙ７Ｅ１１ステップ２　ＭＰＹＲ４＊ＩＭＤ→Ｒ４ ・ΔＷ８，４＝ｐＴＥＭＰＲＥＧ８，４・ΔＷ８，５＝ｐＴＥＭＰＲＥＧ８，５ ・ΔＷ８，６＝ｐＴＥＭＰＲＥＧ８，６・ΔＷ８，７＝ｐＴＥＭＰＲＥＧ８，７ ・ΔＷ９，４＝ｐＴＥＭＰＲＥＧ９，４・以下になるまで続ける ・ΔＷ１１，７＝ｐＴＥＭＰＲＥＧ１１，７ｍ）さらに１ステップで層３と層４ の間の新しい重み値を生成する。新Ｗｉｊ＝Ｗ′ｉｊ＝旧Ｗｉｊ＋ΔＷｉｊ。新 しい重みを外部記憶装置に記憶する。ＡＤＤ　Ｒ６＋Ｒ４→ＥＸＴ．ＭＥＭ．２ は現ＳＯカウントと現ＩＡカウントを外部記憶装置へのアドレスとして使用する 。 ・ΔＷ′８，４＝ｐＴＥＭＰＲＥＧ８，４・ΔＷ′８，５＝ｐＴＥＭＰＲＥＧ８ ，５・ΔＷ′８，６＝ｐＴＥＭＰＲＥＧ８，６・ΔＷ′８，７＝ｐＴＥＭＰＲＥ Ｇ８，７・ΔＷ′９，４＝ｐＴＥＭＰＲＥＧ９，４・以下になるまで続ける ・ΔＷ′１１，７＝ｐＴＥＭＰＲＥＧ１１，７ｎ）この手順に従って、ネットワ ーク内の他の層に関する重みを更新することができる。第３層については、一般 式Ｅ１＝ＤｒｉＥＲｉからＳＯ＝２、ＩＡ＝１、誤差信号Ｅ４、Ｅ５、Ｅ６、Ｅ ７を学習プロセッサ内で生成し、次いで誤差信号を構造内で逆通信することがで きる。次に誤差信号ＥＲ３を生成することができ、続いて重みＷ４，３、Ｗ５， ３、Ｗ６，３、Ｗ７，３について重み更新シーケンスを実行する。すべての重み が更新されるまでこれを続行する。 ｏ）次の学習サイクルに備えて新しい経路コマンドＰＡＴＨ　Ｒ２を送り、その 結果、新しいＹ値が適切なレジスタに送られる。 ｐ）ＳＶＬＭを実行モードに置き、調整された重みによって出力パターンが最小 指定誤差で学習パターンと一致するまで既存のパターンｐを再度印加する。最小 指定誤差に達するまで、ＳＶＬＭは実行モードと学習モードに交互に切り替わる 。最小指定誤差に収束した後、新しいパターンを印加し、すべての学習パターン が印加済みとなるまでこのプロセスを繰り返すことができる。