JPH06139218A - ディジタル集積回路を用いて神経回路網を完全に並列にシミュレートするための方法及び装置 - Google Patents

Abstract

(57)【要約】 【構成】 多層型のニューラルネットワークの学習にお
いて、出力層の出力値に対する目標の他に、他の各層の
出力層に対する仮想目標を設け、入力層以外の各層の入
力を前層の目標値自身とすること、各層の出力値とター
ゲット値との誤差が少なくなるように各層の重みと出力
層の目標値以外の目標値自身を変更することを特徴とす
るものである。 【効果】 並列学習を行うことができるため、予測やパ
ターン認識、制御分野等で利用されている多層型のニュ
ーラルネットワークの高速学習が可能となる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明はディジタル集積回路又
は、複数のディジタル集積回路を含むシステムを用いて
神経回路網をシミュレートするための方法及び装置に関
する。

【０００２】

【従来の技術】この発明は並列処理を使用した人工の神
経回路網に関し、特に、従来よりも極めて大量の並列演
算を可能にした人工の神経回路網に関する。

【０００３】人工神経回路網をシミュレートする、典型
的な専用のディジタル集積回路又はシステムは、中央処
理装置（ＣＰＵ）と、人工神経回路網を制御するための
データ及びプログラムを記憶するメモリと、各入力及び
出力装置とを含んでいる。記憶されるプログラムはディ
ジタル集積回路において利用可能なデータに関して所定
の演算、転送又は論理動作を行うようにディジタル集積
回路に指示する一連の命令である。かかるデータは最終
的に入力装置からディジタル集積回路に与えられ、そし
てＣＰＵ動作の結果は出力装置へと供給される。人工神
経回路網をシミュレートするために使用される典型的な
専用のディジタル集積回路において、この一連の命令は
一度に１つづつ直列に実行されるか又は、シミュレート
されつつあるニューロンつまり神経細胞の単一の層に関
して、その命令のすべて又はいくつかを並列に実行す
る。

【０００４】ここ１０数年間、人工神経回路網は専用の
ディジタル集積回路を用いてシミュレートされて来た
が、ディジタル集積回路及びそれらを実行するプログラ
ムはますます複雑になって来ている。その複雑さは通
常、単一の専用のディジタル集積回路上でのプロセッサ
の数、サイズ及び精度における増大、並びに、それらメ
モリのサイズ及びそこに記憶されるプログラム及び／又
はデータの増大となって現われ、或る意味でディジタル
集積回路又はシステムはますます非能率的になって来て
いる。

【０００５】多層型の人工神経回路網のシミュレーショ
ンでは、入力層を除いたいずれかの与えられた層の計算
は前の層の出力層に依存している。特定の入力データ成
分に対して、同一の層に専用されているプロセッサは多
層回路網において同時に計算できる。また、人工神経回
路網をシミュレートするための典型的な専用のディジタ
ル集積回路はしばしば、各種プロセッサ間でデータを通
信するための広域バスつまりグローバル・バスを採用し
ており、いずれかのプロセッサがそのデータをグローバ
ル・バス上でのすべてのプロセッサに同時に通信するの
を可能にしている。次の層にあって、そしてグローバル
データバス上でのデータを予定している情報や組合せ命
令を含む目標プロセッサの同定は種々な方法によって検
証される。その方法のうちの最も一般的なものは“タグ
付”アドレスの使用である（例えば、タグ付アドレスを
用いたグローバル・バスについては、ＩＪＣＮＮ '９
１シンガポール，Vol.III，ページ１８４４−１８４
９，“ウェーハ・スクールＬＳＩにおける１１５２ディ
ジタル神経細胞から成る自己学習神経回路網”を参照；
グローバルデータバスについては、アダプティブ・ソル
ューションズ，インコーポレーテッド，“神経回路網シ
ュミレーションのための高度に並行なディジタル・アー
キテクチャ”を参照）。しかしながら、かかるグローバ
ル・バスの使用は、グローバルデータバス上でのすべて
のプロセッサがそのグローバルデータバス上にあるデー
タの目標“タグ付アドレス”を含んでいないので、専用
のディジタル集積回路の計算能率を制限する。それ故、
いずれかの与えられたタスクにおいては、専用のディジ
タル集積回路つまりシステムの一部のみが実際に使用さ
れることになる。それは、専用のディジタル集積回路に
より実行されつつある命令が２，３よりも多くないプロ
セッサにおいてのみ生じ、２，３の他の場所のみにおい
てデータに影響するためである。更に、専用のディジタ
ル集積回路のメモリのサイズやプロセッサの数が大きく
なるにつれて、いずれかのタスクで動作しないプロセッ
サの数も計算上ばかにならない。

【０００６】これらの問題は特に、多くの層の多層回路
網が必要とされる応用において強烈で、特に５つ又は、
それ以上の層の回路網がしばしば必要とされる著しい特
徴の応用に際してはなはだしい。

【０００７】代わりに、このような動作を行うための時
間は、もしもそれが多層の人工神経回路網の多くの層の
動作を並列に行うことが可能ならば、大いに減少でき
る。

【０００８】１９８９年に、多層回路網に局所学習つま
りローカル学習を始めて使用した幾つかの新しい学習ア
ルゴリズムが公表された（神経情報処理システム１９９
０，Ｒ．ローエル，“移動目標訓練アルゴリズム”，ペ
ージ５５８〜５６５；Ｔ．グロスマン，Ｒ．メイア及び
Ｅ．ドマニイ，“内部表示の選択による学習”，ページ
７３〜８０；Ａ．クロフ，Ｇ．Ｉ．ソーアバーグソン及
びＪ．Ａ．ヘルツ，“内部表示に対するコスト・ファン
クション”，ページ７３３〜７４０を参照）。こうした
新しいアルゴリズムは、その層に対する入力に与えられ
るパターンに依存して、内部ニューロンの各々に学習し
て際して意図する目標状態が割当てられる技術を使用し
ている。これらのアルゴリズムは、逆伝搬の問題の１つ
を克服するために工夫されたもので、アルゴリズムを複
雑にしている学習でのデータの逆伝搬に必要な新しい重
みの計算に関係している。これらの新しいアルゴリズム
はその計算上の複雑さを内部表示を決定する複雑さに移
され、クローは、逆伝搬法に比較して、そうした方法を
ハードウェアで実施する方が容易であることを示唆して
いる。しかしながら、こうしたアルゴリズムが並列処理
のために構成されたという記事は、いずれの刊行物にも
見当らない。クローにより示唆されている１つのアルゴ
リズムは発明者等により発明されたものと類似している
が、内部目標を用いた定式化や評価方法の点で、発明者
等の技術と異なっている。すなわち、前者の定式化では
２層回路網に対するもので、そこでは、最後の層のみが
新しい重みを評価するために内部目標を使用している。
別な差違としては、定式化が２値入力パターン、２値内
部及び外部目標に対して設計された点である。この点
は、株価予測などのような入出力値が流動的であるアプ
リケーション、または特徴抽出などのような２層以上の
ネットワークを必要とするアプリケーションには適用で
きない点という問題を生じさせる。

【０００９】こうした概念はムーレイによって更に展開
され（“アナログＶＬＳＩ及び多層パーセプトロン−精
度，雑音及びオン・チップ学習”、神経回路網に関する
第２回国際会議、ミュンヘン，−１９９１年、参照）、
アナログＶＬＳＩ回路で使用するのに適している新しい
神経学習アルゴリズムを示唆している。マーレイによ
る、ローカル学習のみを使用する新しいアルゴリズムは
一般に使用されている逆搬アルゴリズムと対照的であ
る。マーレイの提案によると、彼が仮想目標と呼んでい
るシステムを使用した新しいアルゴリズムは神経の問題
を解決して、アナログＶＬＳＩ学習プロセスとして育ち
得るものであった。マーレイの主な目的は、ディジタル
ではなくて、アナログのＶＬＳＩに対して最適化された
システムを作り出すことであって、これは記述される順
次学習シーケンス及び提案された予備のアナログ学習チ
ップ・アーキテクチャにおいて例示された。

【００１０】この仮想目標システムの１つの結果による
と、神経アルゴリズムは、ローカル学習を使用するため
に、各層が別々に処理されるのを可能にした。しかしな
がら、マーレイのアルゴリズムつまりアーキテクチャを
使用して各層を並列に処理することは、２つの理由によ
って不可能であった。第１に、そのアルゴリズムはすべ
ての層を横切ったエラーを同時に最小にするために数学
的に引き出されていなかった。更に、そのアルゴリズム
の各部分が経験的に構成されていたので、勾配降下を保
証しなかった。

【００１１】

【発明が解決しようとする課題】本発明は、２つの隣接
する層間でのシナプス接続が並列に処理されるのみなら
ず、２つ以上の層からなる回路網では、その回路網にお
けるすべてのシナプス接続が並列に処理される人工神経
回路網処理システムの方法及び装置を工夫し、高速な学
習を行うことを目的とする。

【００１２】

【課題を解決するための手段】並列処理アレイはプロセ
ッサ／メモリのアレイと、データが１つの特定の層では
いずれかのプロセッサ／メモリからいずれかの隣接する
層でのいずれか他のプロセッサ／メモリへ進められる少
なくとも２つのノードを持つ２次元パターンにおいてプ
ロセッサ／メモリを相互接続するための手段とを含んで
いる。

【００１３】各プロセッサ／メモリは読出し／書込みメ
モリと、読出し／書込みメモリから読出されたデータ及
び命令情報に少なくとも部分的に依存した出力を作り出
すためのプロセッサとを含んでいる。相互接続手段はい
ずれかのプロセッサから隣接の層に割当てられたいずれ
かの他のプロセッサへと情報を転送するための手段を含
んでいる。

【００１４】ここでのシステムは、各々が、入力信号を
それ自体に取り入れ且つ出力信号をそこから取り出すた
めの複数のシステム端子を持っている複数の層プロセッ
サを備え、各層プロセッサがメモリアクセス裁定ロジッ
クを持つメモリと、神経プロセッサとを含み、各神経プ
ロセッサが、デコーダで受信された命令に応答して出力
を発生する命令を復号するための制御ロジックと、シス
テム及び／又は他のプロセッサと通信するための複数の
メモリ及び／又は他のアドレス発生器と、そして計算面
とを含み、各計算面が、そこで人工神経回路網のシュミ
レーションが計算される、複数のシナプス・プロセッサ
／メモリを含み、更に、層プロセッサの外部での入力デ
ータを記憶するためのもので、各々が入力信号をそれ自
体に取り入れ、出力信号をそこから取り出すための複数
のシステム端子を持っている複数のパターン記憶ユニッ
トを備え、各パターン記憶ユニットがメモリアクセス裁
定ロジックを持つメモリからなり、更に入力信号をそれ
自体に取り入れ且つ出力信号をそこから取り出すための
複数のシステム端子を持つ制御ブロックを備え、以っ
て、正常な動作状態にある層プロセッサ及びパターン記
憶ユニットの機能を整合させ、そして層プロセッサ及び
パターン記憶ユニットを他の外部システムに結合するよ
うに構成されている。

【００１５】

【作用】本発明は、多層型のニューラルネットワークの
学習において、出力層の出力値に対する目標の他に、他
の各層の出力層に対する仮想目標を設け、入力層以外の
各層の入力を前層の目標値自身とすること、各層の出力
値とターゲット値との誤差が少なくなるように各層の重
みと出力層の目標値以外の目標値自身を変更することを
特徴とするものである。

【００１６】本発明によれば、多層型ニューラルネット
ワークの学習高速化のために、ネットワークのフォーワ
ード処理とバックワード処理のいずれの層に関しても並
列に計算することができる。

【００１７】

【実施例】以下、本発明のアルゴリズムは並列伝搬目標
アルゴリズムつまりＰＰＴとして扱う。

【００１８】アルゴリズムの説明 図１は学習プロセスの表示を示している。図に例示され
ている層は４プリ・シナプス・ユニット及び２ポスト・
シナプス・ユニットを持っている。丸はニューロン・ユ
ニットを示し、そして四角は仮想目標を示している。ニ
ューロンはそれへの全入力を合計し、そしてこの和のシ
グモイド変換を出力する。仮想目標は、ＰＰＴによって
設定され且つその学習プロセスにおいて使用されるデー
タである。この仮想目標は学習中に修正されるが、常
に、０及び１の限度間にとどまる。各パターンに対して
は組合せでの仮想目標がある。故に、仮想目標にとって
必要とされるメモリはニューロンの数及び層数の関数で
ある。しかしながら、仮想目標は学習プロセスにおいて
のみ必要とされる。２つのセットの仮想目標は、Ｔ k及
びＴ ｋ+1 として示され、ここでｋは層数を示してい
る。Ｏ K は前の層からの入力パターンである。もしもk
＝０であるならば、そのパターンはユーザによって指定
される。Ｉ K は層内で局所的に計算され、そして重み
Ｗ k の掛け合わされたＴ k の和である。シグモイド変
換関数を通してＩ k を通過させることにより、次の層
への入力であるＯ k+1 を計算することができる。

【００１９】学習プロセスにおける第１のステップはプ
リ・シナプス仮想目標ベクトルＴ Kに重みベクトルＷ k
を掛け合わせ、そして、初めに、Ｉ k を、その後Ｏ K
+1を評価する。このステップでのすべての計算は並列に
実施される。

【００２０】第２のステップは、その重みの更新を含ん
でいる。ＰＰＴアルゴリズムにおいて、重みは次の層へ
の入力つまりＯ k+1 と次の層の仮想目標Ｔ k+1 との間
におけるエラーを使用して局所的に更新される。このエ
ラーは比較ユニットにより図式的に示されている。重み
更新はそのエラー及びプリ・シナプス仮想目標Ｔ kを使
用することにより計算される。再度指摘するに、このス
テップにおける計算はすべて、並列に計算される。

【００２１】第３及び最終ステップは、プリ・シナプス
仮想目標への更新を計算する。この計算を行うには、ポ
スト及びプリ・シナプス仮想目標Ｔ k 及びＴ k+1 、プ
リ及びポスト・シナプス入力パターンＯ k 及びＯ k+1
、そして更新された重みＷ kを使用することが必要で
ある。このシーケンスにおける計算はすべて並列に計算
される。

【００２２】ここで、ＰＰＴアルゴリズムを使用した層
内での学習に対する処理ステップを終了する。

【００２３】図２はＰＰＴとＢＰとの間の比較を図式的
に示している。第１に、ＰＰＴアルゴリズムは多くの共
通する特長をＢＰアルゴリズムと分担し、第２に、ＢＰ
は現在最も広く使用されている神経アルゴリズムで、試
験問題での比較に対して良いベンチマークを与える。

【００２４】システム内でのデータフローは、情報又は
データが検査されつつあるシステム内で、やがて、送ら
れる方向として規定される。図２の左側に示されている
ＢＰアルゴリズムデータフローによると、それは双方向
性であって、そして２つの明確な相、つまり、フィード
フォワード及びフィードバックワードへと分けられる。
フィードフォワード相において、入力パターンは回路網
の第１の層に適用される（）。第１の層の数値を求め
（）、求められた第１の層のパターンを第２の層に適
用する（）。このデータは、その出力層に達するま
で、その回路網でのすべての層を通して伝搬される。各
層内での計算は並列であるけれども、第１の層を除いた
いずれかの層の計算は前の層からのデータをあてにする
ので、いずれかの瞬間における計算は唯１つの層につい
てのみ行われる。それ故、自動特徴抽出のような多くの
層を必要とする問題に対して、その計算は過大になる。
第１のフィードフォワード相の終結において、最終的な
出力ベクトルはエラーベクトルを作り出すために所望の
出力ベクトルに対して比較される（）。これは、その
総合出力が所望の出力から離れている距離の大きさを与
える。第２のフィールドバックワード相はこのエラーベ
クトルを使用して、その出力エラーを減少させるよう
に、層内での重みを調整する（）。最終出力層におい
て、ＢＰアルゴリズムはその重みを調整し、その後、ど
の程度のエラーを前の層に戻すかについて計算する
（）。第２の計算は、前の層がその重みに対する調整
を計算するために、必要とされる（）。特定の層にお
ける重み更新は並列に計算でき且つエラー比計算も並列
に計算できるけれども、それら演算は連続的に行われな
ければならない。フィードフォーロード計算と同様な態
様において、各層は順に計算されなければならない。故
に、多くの層を持つシステムは延長された学習時間を持
っている。

【００２５】ＰＰＴデータフローは図２の右側に示され
ている。ＰＰＴアルゴリズム内でのデータフローは単一
方向（フィードフォワード）である。層に対する計算は
すべて局所的であるので、学習サイクル中、情報を層間
で通過させる必要はない。それ故、ＰＰＴアルゴリズム
での層はすべて並列に計算できるので、回路網の計算能
率を大いに改善できる。図２は２層回路網を示してい
る。ＢＰとＰＰＴとの間の性能を対比させるためには、
ＢＰ回路網及びＰＰＴ回路網のアーキテクチャが同じで
あると仮定する。もしも、そのシステム性能すなわちク
ロック速度、メモリ速度などが等価であるならば、それ
は、アルゴリズムの相対的性能がそのアルゴリズムによ
ることを意味する。

【００２６】ＢＰアルゴリズムを使用して単一の学習反
復を実行するには、パターンが初めに第１の層に適用さ
れて、そこで、シナプス重みで倍率されなければならな
い。これには１期間かかるものと仮定しよう。このプロ
セスは第２の層を用いて繰り返されなければならないの
で、入力パターンを最終層の出力へ伝搬するには２期間
かかることになる。そこで、このデータはエラーベクト
ルを作り出すために所望の目標に対して比較されなけれ
ばならず、これにも１期間かかる。その後、エラーベク
トルは最後の層における更新された重みを計算するため
に使用され、これにも１期間かかる。ここで、エラーベ
クトルは、入力層における重みを更新するのに使用され
る（１期間かかる）前に、その入力層へと伝搬されなけ
ればならず、これにも別な１期間が必要である。それ
故、ＢＰアルゴリズムを使用する単一の反復には６つの
期間を必要とする。

【００２７】ＰＰＴアルゴリズムでもって単一の反復を
行うには、パターンがまず第１の層に適用される。目標
はシナプス重みにより倍率され、これには１期間かか
る。仮想目標を含む結果的出力は更新された重みを計算
するために使用され（１期間かかる）、引続いて、更新
された目標の計算が行われる（１期間かかる）。従っ
て、ＰＰＴを使用した単一の学習反復には３期間を要す
る。

【００２８】以上の説明から明らかなように、単一の学
習反復を計算するには、ＰＰＴの方がＢＰよりも少ない
期間で済む。ＰＰＴにおける各層は局所的に計算できる
ので、ＰＰＴにおける層はすべて学習サイクルを同時に
行なう。並列学習については次のセクションで論議され
る。この説明において、両ＰＰＴ及びＢＰで必要とされ
る計算サイクルは同一期間を取るものと仮定している。
しかしながら、実際には、ＰＰＴアルゴリズムの方がＢ
Ｐよりも一層複雑であるので、必要とする計算期間幾分
長い。

【００２９】図３は３層ＰＰＴ神経回路網の図式的表示
を示す。図の底部で連続せるチェーンとして示されてい
る３層回路網は説明を助けるために３つの区間に分割さ
れている。層についての図式的表示は図１に使用された
ものと同じである。図３において、ニューロン・ユニッ
トは丸で示され、仮想目標は四角により示され、そして
比較ユニットは長方形のボックスとして示されている。

【００３０】既に論議されたように、すべての層学習を
同時に持つことはＰＰＴアルゴリズムを使用することで
可能である。図３は、層 k-1 がパターン１を計算し、
層 kがパターン３を計算し、そして層 k+1 がパターン
２を計算していることを示している。ベクトルＯ k ，
Ｏ k+1 ，Ｔ k 及びＴ k+1 はすべてパターン依存性で
ある。つまり、 k は同じであるが、ベクトルの値は、
その時刻にどのパターンが層上にあるのかに依存して異
なっている。図から見られるように、層 k-1 上にはベ
クトルＯ k があり、層 k 上にはベクトルＯ k があ
る。しかしながら、それは同じベクトルではない。層 k
-1 上でのＯ k は、層 k-1 のシナプス重み及びその引
続くシグモイド変換とのパターン１の層 k-1 上におけ
る仮想目標の現行の乗算の結果である。層 k 上におけ
るＯ k は層 k-1 のシナプス重み及びその引続くシグモ
イド変換とのパターン２の層 k-1 上における仮想目標
の前の計算の結果である。従って、重みはパターン依存
性でなく、そこには、層当り１セットの重みのみがあ
る。

【００３１】回路網上でのパターンについての計算シー
ケンスは、図３のベースにおける図を検討することによ
り理解できる。この図は、神経回路網の標準的表示であ
るチェーンにおいて一緒に連結された層を示している。
初めに、回路網上にはパターンがないものと仮定して、
第１のパターン２が層 k-1 上にロードされる。これ
は、層 k-1 上でのパターン２に対する仮想目標と、入
力パターン２情報とを含む。重みＷ k を用いて学習反
復を始めると、パターン２に対して、出力ベクトルＯ k
と、更新された仮想目標Ｔ k とを生じる。また、層 k
-1 上における重みＷ k は学習プロセス中に修正され
る。これで、第１の学習反復を完了する。第２の反復
は、パターン２に対する情報を層 k 上にロードするこ
と、パターン３に対する情報を層 k-1 上にロードする
ことを含んでいる。層 k は、パターン２が層 k-1 上で
計算されたときに、Ｏ k 情報を前の学習反復から受信
する。この反復において、両層 k 及び k-1 は学習反復
を同時に行う。第３の学習反復においては、パターン２
に対する情報が層 k+1 上にロードされ、パターン３に
対する情報が層 k 上にロードされ、パターン１に対す
る情報が層 k-1 上にロードされる。このセットにおい
て、それら３つの層はすべて学習反復を並列に行う。計
算は第１の層に適用されつつある他のパターンについて
継続され、その後、記述されたシーケンスにおいて計算
されたものへと進む。学習されるべきすべてのパターン
が回路網に適用されると、第１のパターンが再び層 k-1
において適用され、そのプロセスは、出力層での所望
の目標が達成されるまで継続する。

【００３２】ハードウェア履行の説明 図４は、制御ブロック１００と、複数の層プロセッサ２
００と、そしてパターン記憶メモリー３００とからなる
ディジタルシステムを例示している。制御ブロックは、
システム１００への入力信号を他のディジタルシステム
５００から取り入れ、システム１００からの出力信号を
他のディジタルシステム５００へ与えるための複数のシ
ステム端子１０１を持ち、システム端子１０１は入力端
子１０３と、出力端子１０４と、双方向端子１０２とを
含んでいる。

【００３３】制御ブロック１００は、複数のシステム端
子１０５を持つグローバル・データ・バスを使用して、
複数のプロセッサ２００及び複数のパターン記憶メモリ
３００と連通し、複数のシステム端子１０５は制御ブロ
ック１００への入力信号と、制御ブロック１００からの
出力信号とを取扱う。グローバル・バス端子１０５は入
力端子１０６と、出力端子１０８と、そして双方向端子
１０７とを含んでいる。

【００３４】層プロセッサ２００は、複数のシステム端
子２０９を持つ同じグローバル・データ・バスを使用し
て、制御ブロック１００及び複数のパターン記憶メモリ
３００と連通し、複数のシステム端子２０９は層プロセ
ッサ２００への入力信号と、層プロセッサ２００からの
出力信号とを取扱う。グローバル・データ・バス端子２
０９は、入力端子２１０と、出力端子２１２と、そして
双方向端子２１１とを含んでいる。

【００３５】パターン記憶メモリ３００は、複数のシス
テム端子３０１を持つグローバル・データバスを介し
て、制御ブロック１００及び複数の層プロセッサ２００
と連通し、複数のシステム端子３０１は、パターン記憶
メモリ３００への入力信号と、パターン記憶メモリ３０
０からの出力信号とを取扱う。グローバル・バス端子３
０１は入力端子３０２と、出力端子３０４と、そして双
方向端子３０３とを含んでいる。

【００３６】グローバル・データバスは、必要な情報を
層プロセッサ２００及びパターン記憶メモリ３００にロ
ードするために初期化中に使用される。他方、通常の動
作中、出力データは層プロセッサ２００から制御ブロッ
ク１００へ転送される。

【００３７】複数の層プロセッサ２００は１次元アレイ
において配列され、そのアレイにおける第１の層プロセ
ッサは図の左側にあり、そして最後の層は図の右側にあ
る。第１の層プロセッサ２００Ａはそこへの入力データ
をパターン記憶メモリ３００Ａから取り入れるための複
数のシステム端子２２３を持っている。そのシステム端
子は入力端子２１３及び２１４と、そして出力端子２１
５とを含んでいる。

【００３８】アレイでの第１の層プロセッサ２００Ａに
じかに接続されたパターン記憶メモリ３００Ａは、その
メモリ３００Ａからの出力データを連結する複数のシス
テム端子３０５をして、層プロセッサ２００Ａに連通し
ている。このシステム端子は入力端子３０６と、そして
出力端子３０７及び３０８とを含んでいる。

【００３９】隣接する層プロセッサ２００間での情報は
ローカル通信バスを使用して適用される。入力端子２０
８と、出力端子２０６及び２０７とを含んでいる複数の
システム端子２０５は送り手層プロセッサ２００Ｂから
のデータを、層プロセッサ２００Ｂを連結しているロー
カル通信バスを介して、層プロセッサ２００Ｃに結合す
るために使用されている。出力端子２１５と、入力端子
２１３及び２１４とを含んでいる。複数のシステム端子
２２１は、層プロセッサ２００Ｂを層プロセッサ２００
Ａに連結しているローカル通信バスを介して受け手層プ
ロセッサ２００Ｂにデータを結合するために使用されて
いる。

【００４０】また、隣接する層プロセッサ２００間での
情報は第２のローカル通信バスを用いて通過される。入
力端子２０３及び２０４とそして出力端子２０２とを含
んでいる複数のシステム端子２０１は、層プロセッサ２
００Ｂを層プロセッサ２００Ｃに連結している第２のロ
ーカル通信バスを介して送り手層プロセッサ２００Ｂに
データを結合するために使用されている。入力端子２１
６と、出力端子２１７及び２１８とを含んでいる複数の
システム端子２２０は、層プロセッサ２００Ｂを層プロ
セッサ２００Ａに連結している第２のローカル通信バス
に対して、送り手層プロセッサ２００Ｂからのデータを
連結している。

【００４１】チェーンにおける最後の層プロセッサ２０
０Ｃは、パターン記憶メモリ３００Ｃからのデータを層
プロセッサ２００Ｃに読み込むための複数のシステム端
子からなるローカル通信バス２２２によりパターン記憶
メモリ３００Ｃに接続されている。そのシステム端子は
入力端子２０３及び２０４と、そして出力端子２０２と
を含んでいる。

【００４２】図５は層プロセッサ２００を例示してい
る。それは仮想目標メモリ４００と、神経プロセッサ６
００とからなっている。仮想目標メモリ４００は、それ
自体への入力信号を神経プロセッサ６００から取り入
れ、それ自体からの出力信号を神経プロセッサに与える
ための複数のシステム端子を持っている。このシステム
端子は入力端子４０４と、出力端子４０６と、双方向端
子４０５とを含んでいる。

【００４３】神経プロセッサ６００は仮想目標メモリ４
００へ又はからの情報を取り扱うための対応する組合せ
端子を持ち、システム端子には、入力端子６０３と、出
力端子６０１と、そして双方向端子６０２とが含まれ
る。

【００４４】仮想目標メモリ４００は神経プロセッサ６
００が表わしているその層に対するローカル仮想目標情
報を記憶するために使用されている。この仮想目標メモ
リ４００に保持された情報はローカル神経プロセッサ６
００によるのみならず、また、前の神経プロセッサ６０
０によっても必要である。前の層プロセッサ２００は、
入力端子４０１と、出力端子４０２及び４０３とを含ん
でいる複数のシステム端子を介して仮想目標メモリ４０
０をアクセスできる。

【００４５】神経プロセッサ６００は複数のシステム端
子６０１〜６１５により示されている幾つかの通信ポー
トを持っている。複数のシステム端子６０１〜６０３は
プリ目標インタフェースに関与し、入力端子６０３、出
力端子６０１及び双方向性端子６０２となっている。シ
ステム端子６０４〜６０６はプリ入力インタフェースに
関与し、入力端子６０１及び６０５、出力端子６０６と
なっている。システム端子６０７〜６０９はポスト目標
インタフェースに関与し、入力端子６０９、出力端子６
０７及び６０８となっている。システム端子６１０〜６
１２はポスト入力インタフェースに関与し、入力端子６
１１及び６１２、出力端子６１０となっている。複数の
システム端子６１３〜６１５はグローバル・データバス
に関与し、入力端子６１３、出力端子６２３、双方向端
子６２２となっいる。

【００４６】図６は仮想目標メモリ４００を一層詳細に
例示している。仮想目標メモリ４００はメモリアクセス
裁定ロジック４２０及び読出し書込みメモリ４４０によ
って構成されている。仮想目標メモリ４００は２ポート
装置であって、第１のポートは複数の端子４２１〜４２
３、つまり、入力端子４２１と出力端子４２２及び４２
３とからなっており、第２のポートは複数の端子４２４
〜４２６、つまり、入力端子４２４と、出力端子４２６
と、そして双方向状端子４２５とからなっている。

【００４７】メモリアクセス裁定ロジック４２０は、出
力端子４２７及び双方向端子４２８を含む複数の端子を
通してメモリ４４０に連結されている。

【００４８】メモリ・アクセス裁定ロジック４２０の機
能は、通信チャネル４２１〜４２３又は４２４〜４２６
のどれがメモリへのアクセスを持っているのかを判定す
ることにある。ここでは、複数の端子４２４〜４２６か
らなるチャネルをポートＡとし、複数の端子４２１〜４
２３からなるチャネルをポートＢとする。もしもポート
Ａがメモリをアクセスしたいとし、そしてポートＢがす
でにそれをアクセスしていないとするならば、メモリア
クセス裁定ロジック４２０はそのメモリをポートＡに割
当てる。もしもポートＢが、ポートＡに割当てられてい
るメモリへのアクセスを要請するならば、ポートＢは、
ポートＡがバスのアクセスを終えて、そのメモリを釈放
するまで、持たされる。

【００４９】図７は神経プロセッサ６００を一層詳細に
例示している。プロセッサの詳細は、その機能が神経プ
ロセッサの動作を整合することにある制御ロジック６２
０と、通信チャネルとして機能する複数のアドレス発生
器６４０及び複数のメモリ記憶装置６８０及び６９０
と、演算動作がそこで行われる計算面６７０とからなっ
ている。

【００５０】制御ロジック６２０は幾つかの仕方におい
て履行される。第１はマイクロコントローラの形態にお
いて履行され、そこでの命令はグローバル・データバス
２０９を介してローカル制御ロジック６２０により復号
される予定の主制御ブロック１００から層プロセッサ２
００へと通過される。その後、マイクロコントローラは
主制御ブロック１００から受信される命令により指示さ
れるそのマイクロプログラム・メモリに保持されている
一連のプログラム・ステップを実行する。マイクロプロ
グラムを用いたマイクロコントローラは正しい制御信号
をその動作を行わせる指定されたシーケンスにおいて発
生する。代替として、マイクロコントローラは有限状態
マシンにより置き変えられても良い。有限状態マシンは
神経プロセッサ・ハードウェア６００を制御する制御信
号をじかに発生する。制御ロジック６２０は、入力端子
６２１と、出力端子６２２と、そして双方向端子６２３
とを含む複数の端子を介してグローバル・データバスに
連結されている。また、制御ロジックは、入力端子６２
５と、出力端子６２７と、そして双方向端子６２６とか
らなる複数の端子を持つ神経プロセッサ・グローバル・
データバス６２４によって神経プロセッサのハードウェ
アにも連結されている。神経プロセッサへの各種制御信
号、アドレス及びデータは神経プロセッサ・グローバル
データバス６２４を通して伝達される。

【００５１】神経プロセッサ６００は５つの通信チャネ
ルを持っている。グローバル・データバス２０９に対す
る接続は既に述べられた。複数の端子６４１，６４５，
６５１及び６５２はポスト目標インタフェースに関与
し、入力端子６４５及び６５２、出力端子６４１となっ
ている。複数の端子６４７，６４６，６５５はプリ目標
インタフェースに関与し、入力端子６４７、出力端子６
４１、双方向端子６５５となっている。複数の端子６４
９，６４８及び６５６はプリ入力インタフェースに関与
し、入力端子６４９及び６５６、出力端子６４８となっ
ている。複数の端子６５７，６５８及び６５９はポスト
入力インタフェースに関与し、入力端子６５８及び６５
７、出力端子６５９となっている。

【００５２】すべてのアドレス発生器６４０は、入力端
子６４２と、出力端子６４３と、そして双方向端子６４
４とを含む複数の端子によって神経プロセッサ・グロー
バル・データバス６２４に接続されている。また、神経
プロセッサ６８０及び６９０内でのすべてのメモリ記憶
ユニットは、入力端子６５２と、出力端子６５３と、そ
して双方向端子６５４とからなる複数の端子により神経
プロセッサ・グローバル・データバス６２４にも接続さ
れている。更に、計算面６７０は単一の通信ポートを持
つ神経プロセッサ・グローバル・データバス６２４に結
合されている。そのポートは入力端子６７１と、出力端
子６７３と、双方向端子６７２からなる複数の端子を含
んでいる。

【００５３】図８は単一の通信チャネルに対する２つの
層プロセッサ２００間における通信ハードウェアを例示
している。

【００５４】接尾辞Ａ又はＢは異なる層プロセッサ２０
０に属するハードウェア間を区別するのに使用されてい
る。接尾辞Ａは現行の層に関係したハードウェアを示
し、接尾辞Ｂは先の層における層プロセッサに属するハ
ードウェアを示している。アドレス発生器６４０Ａ及び
メモリ記憶装置６８０Ａは現行層プロセッサ２００Ａに
関与し、メモリ記憶装置４００Ｂはチェーンにおける次
の層プロセッサ２００Ｂに関与している。この例で、必
要とされるデータはメモリ４４０Ｂに保持されていて、
それをメモリ６８０Ａへと転送する必要がある。

【００５５】図８はアドレス発生器６４０Ａの一層詳細
なブロック図である。アドレス発生器６４０Ａは、アド
レス復号兼裁定ロジック６４１０Ａと、カウンタ６４４
０Ａと、レジスタ６４２０Ａと、そして比較器６４３０
Ａとを含んでいる。アドレス復号兼裁定ロジック６４１
０Ａ、カウンタ６４４０Ａ及びレジスタ６４２０Ａはす
べて、複数の双方向端子６４５１Ａを含む共通のデータ
バスを介して、外部の神経プロセッサ・データバス６２
４Ａに連結されている。レジスタ６４２０Ａ及び比較器
６４３０Ａは単一方向端子からなるバス６４５２Ａを介
して連結されていて、複数の端子６４５２Ａはレジスタ
６４２０Ａから出力されて、６４３０Ａへ入力されてい
る。カウンタ６４４０Ａはアドレス復号兼裁定ロジック
６４１０Ａからカウンタ動作を制御するための複数の入
力端子６４５８Ａを持っている。更に、カウンタ６４４
０Ａは、比較器６４３０Ａ、アドレス復号兼裁定ロジッ
ク６４１０Ａ、そしてメモリアクセス裁定ロジック４２
０Ａ及び４２０Ｂへアドレス情報を供給するための複数
の出力端子６４５０２Ａを持っている。比較器６４３０
Ａは、カウンタ６４４０Ａから現行のアドレス情報を受
信するための複数の入力端子６４５０２Ａと、レジスタ
６４２０Ａからの最後のアドレス情報を比較器６４３０
Ａに連結するための複数の入力端子６４５０２Ａとを持
っている。比較器６４３０Ａは、比較器６４３０Ａから
の比較情報をアドレス復号兼裁定ロジック６４１０Ａに
連結するための複数の出力端子６４５３Ａを持ってい
る。アドレス復号兼裁定ロジック６４１０Ａはメモリア
クセス裁定ロジック４２０Ａからの裁定情報を連結する
ための複数の入力端子６４５６Ａを持っている。アドレ
ス復号兼裁定ロジック６４１０Ａはメモリアクセス裁定
ロジック４２０Ｂからの裁定情報を連結するための複数
の入力端子６４５７Ａを持っている。アドレス復号兼裁
定ロジックはまた、入力端子６４５４Ａ、出力端子６４
５５Ａ及び双方向端子６４５１Ａにより神経プロセッサ
・グローバル・データバス６２４Ａに連結されている。
最後に、アドレス復号兼裁定ロジック６４１０Ａはメモ
リアクセス要請信号を与える複数の出力端子６４５０１
Ａによりメモリアクセス兼裁定ロジック・ユニット４２
０Ａ及び４２０Ｂに連結されている。バス６４５０１Ａ
はカウンタ６４４０Ａからの出力端子６４５０２Ａと一
緒に、バス６４５０Ａを構成する。

【００５６】転送シーケンスは神経プロセッサ制御ロジ
ック６２０により始まって、神経プロセッサ・グローバ
ル・データバス６２４Ａを介して制御信号をアドレス発
生器６４０Ａに出す。その転送シーケンスは神経プロセ
ッサ制御ロジック６２０により開始されて、神経プロセ
ッサ・グローバル・データバス６２４Ａを介して、第１
のデータについてのアドレスをカウンタ６４４０Ａにロ
ードする。その後、神経プロセッサ制御ロジック６２０
は、再び神経プロセッサ・グローバル・データバス６２
４Ａを介して最後のデータについてのアドレスをレジス
タ６４２０Ａにロードする。転送を開始するために、神
経プロセッサ制御ロジック６２０は、神経プロセッサ・
グローバル・データバス６２４Ａを介して、制御情報を
アドレス復号兼裁定ロジック６４１０Ａへ転送する。コ
ードの受信に際して、アドレス復号兼裁定ロジック６４
１０Ａは、メモリアクセス裁定ロジック４２０Ｂに対し
て制御信号を出すことによって、その転送を開始する。
もしもメモリ４４０Ｂが現にアクセスされていないとす
ると、メモリアクセス裁定ロジック４２０Ｂは、そのメ
モリをアドレス発生器６４０Ａに割り当てをして、アド
レス発生器６４０Ａがメモリ４４０Ｂを持つことを確認
するために、信号６４５７Ａをアドレス復号兼裁定ロジ
ック６４１０Ａに送り戻す。もしもメモリ４４０Ｂが他
のチャネル４２４Ｂ，４２５Ｂ及び４０６Ｂを介してす
でにアクセスされつつあるとすると、確認信号６４５７
Ａは送られず、アドレス信号兼裁定ロジック６４１０Ａ
は、それがメモリアクセス裁定ユニットにより出される
まで、待たなければならない。アドレス復号兼裁定ロジ
ック６４１０Ａがメモリ４４０Ｂに割当てられた場合、
それは、メモリ４４０Ａをアクセスするための要請をメ
モリアクセス裁定ロジック４２０Ａに出す。もしもメモ
リ４４０Ａが現に割当てられていないとすると、メモリ
アクセス裁定ロジック４２０Ａは、それがメモリ４４０
Ａに割当てられたことを示すために、確認信号６４５６
Ａをアドレス兼裁定ロジック６４１０Ａに送出する。メ
モリ４４０Ａからメモリ４４０Ｂへのメモリ転送は、ア
ドレス復号兼裁定ロジック６４１０Ａが両メモリ４４０
Ａ及び４４０Ｂに割当てられた時点で開始できる。カウ
ンタ６４４０Ａは転送されるべきデータに対する送り手
及び受け手アドレスを含んでいる。このアドレスは、読
出し／書込み及びチップ・ユネーブルのようなメモリの
正しい動作にとって必要とする制御信号と共に、複数の
出力端子６４５０Ａを使用して、カウンタ６４４０Ａか
らメモリアクセス裁定ロジック４２０Ｂ及び４２０Ａに
連結される。カウンタ６４４０Ａの値は最後のデータの
アドレスと比較されて、比較器６４３０Ａにより、レジ
スタ６４２０Ａに保持される。もしもそのアドレスが同
じであるならば、その転送が完了するにつれて、アドレ
ス兼裁定ロジック６４１０Ａはメモリ４４０Ａ及び４４
０Ｂを解放する。もしも比較器６４３０Ａの結果が同じ
でないならば、アドレス復号兼裁定ロジック６４１０Ａ
がカウンタ６４４０Ａをインクリメントし、次のデータ
が転送される。これは、すべてのデータが転送されるま
で、続行する。

【００５７】図９は計算面６７０の一層詳細なブロック
図を例示している。その計算面は複数のシナプス・プロ
セッサ６７０１０及び複数のローカルメモリ６７１００
とを含んでいる。計算表面内でのデータフローは複数の
マルチプレクサ（ＭＵＸ）６７０２０，６７０３０、及
び６７０４０により指示される。ローカル・メモリ６７
１００の外に、そこには、ローカル記憶装置としてのラ
ンダムアクセス・メモリ（ＲＡＭ）６７０７０と、シグ
モイド転送ルックアップテーブル６７０５０として機能
するランダムアクセスメモリ（ＲＡＭ）とが存在する。
最後に、そこには、計算表面に対するポートとして機能
する幾つかのバッファ６７１１０，６７０９０及び６７
０６０がある。

【００５８】制御ロジック６２０は計算面の機能性を制
御する制御信号を与える。こうした信号は複数の入力端
子６７２００を通して神経プロセッサグローバル・デー
タバス６２４から連結される。また、そこには、複数の
出力端子６７２１０を通して、状態フラグのようなステ
ータス情報を制御ロジック６２０に結合するマイクロプ
ログラムステータス・バスも存在する。

【００５９】各シナプス・プロセッサ６７０１０は人工
の神経回路網のシミュレーションで必要とされる重み情
報を記憶するローカル・メモリ６７１００に結合されて
いる。シナプス・プロセッサ６７０１０は、複数の出力
端子６７２２０を通して、アドレス、読出し／書込み及
びチップ・ユネーブルのような制御信号情報をローカル
メモリ６７１００に与え、そして複数の双方向端子６７
２３０を含んでいるローカル・データバスを通して、メ
モリ６７１００からデータを読み出したり、そのメモリ
にデータを書き込んだりする。

【００６０】各シナプス・プロセッサ６７０１０は、シ
ナプス・プロセッサ６７０１０からシナプス・プロセッ
サ６７０１０へ情報を転送するための４つのデータチャ
ネルを持っている。２つのチャネルは、図９に示されて
いるように、データを左から右へ通過させ、そして他の
２つのチャネルは情報を右から左へと通過させる。４つ
のチャネルは、出力端子６７２４０，６７２５０，６７
２６０及び６７２７０と、入力端子６７２８０，６７２
９０，６７２３０及び６７３１０とを含む複数のシステ
ム端子からなっている。複数の端子６７２４０及び６７
２８０はチャネルＡを形成し、複数の端子６７２５０及
び６７２９０はチャネルＢを形成し、複数の端子６７２
６０及び６７３００はチャネルＣを形成し、そして最後
に、複数の端子６７２７０及び６７３１０はチャネルＤ
を形成している。また、すべてのシナプス・プロセッサ
は共通の出力バス６７３３０を共有し、複数の出力端子
６７３２０を使用して連結されている。

【００６１】シナプス・プロセッサ６７０１０は神経計
算を行う演算ハードウェアを含んでいる。すべてのシナ
プス・プロセッサ６７０１０は並列に動作可能である。

【００６２】出力バス６７３３０は複数の入力端子を通
してシグモイド転送ルックアップテーブル６７０５０に
連結している。このユニットはアドレスであるシナプス
・プロセッサ６７０１０からの出力を入力データとして
取り、そしてバス６７３４０上でのそのアドレスにデー
タを出力する。シグモイド転送ルックアップテーブル６
７０５０にデータをロードすることにより、入力アドレ
スをマップして、それを出力データに与えることができ
る。このように、ユーザが工夫できるいずれの数学的変
換でも実施することができる。シグモイド転送ルックア
ップテーブル６７０５０は伝達関数でもっての初期化に
おいてロードされる。もしも伝達関数がそのシミュレー
ション中に変更されることが必要であれば、それは、神
経プロセッサ・グローバル・データバス６２４及びシナ
プス・プロセッサ６７０１０を介して、マイクロプログ
ラム制御ロジック６２０を使用してシグモイド転送ルッ
クアップテーブル６７０５０へとデータを書き込むこと
により容易に更新される。

【００６３】シグモイド転送ルックアップテーブル６７
０５０からの結果出力は４入力チャネル、１出力チャネ
ル・マルチプレクサ６７０３０を用いてローカル・メモ
リ６７０７０に記憶される。シグモイド転送ルックアッ
プ・テーブル６７０５０は、複数の入力端子と複数の出
力端子とを含んでいるバス６７３４０を使用することに
よりマルチプレクサ６７０３０に連結されている。マル
チプレクサ６７０３０はバス６７３５０によりローカル
メモリ６７０７０に接続されている。また、シナプス・
プロセッサ６７０１０は、バス６７３３０がマルチプレ
クサ６７０３０に連結されているので、ローカルメモリ
６７０７０へとデータを書込むことができる。ローカル
メモリ６７０７０をアクセスする際に必要とされるアド
レス情報はマイクロプログラム制御下にあるアドレス発
生器６７０８０により供給される。

【００６４】データは、複数の端子を通して神経プロセ
ッサグローバル・データバス６２４を連結する２つのポ
ートを使用して、シナプス・プロセッサ６７０へ入力さ
れたり、それから出力される。ポートＡ６７０６０は神
経プロセッサ・グローバルデータ・バス６２４からのみ
のデータを受信する単方向ポートである。ポートＢ６７
０９０及び６７１１０は双方向であり、ポート６７０９
０はグローバルデータバス６２４にデータを出力するの
に使用されるが、ポート６７１１０はグローバル・デー
タバス６２４からのデータを受信する。両ポートは、マ
イクロプログラム制御の下にあって、そして複数の入力
端子を介してバス６７１からマイクロプログラム制御信
号を受信する。神経プロセッサ６７０内でのデータフロ
ーはマルチプレクサ６７０４０，６７０３０及び６７０
２０によって調節される。

【００６５】図１０はシナプス・プロセッサ６７０１０
を一層詳細に例示している。このシナプス・プロセッサ
は３つのレジスタ６７０１１０，６７０１３０及び６７
０１２０を含んでいる。こうしたレジスタの各々は、デ
ータをレジスタに入れるための複数の入力端子と、デー
タをレジスタから取り出すための複数の出力端子と、そ
してレジスタの動作を制御するための複数の入力端子と
を含んでいる。また、シナプス・プロセッサはベースプ
ロセッサ６７０１４０を含んでいる。レジスタ６７０１
１０，６７０１３０及び６７０１２０の目的は、単一の
バスが複数のデータ値を保持するのを可能にすることで
ある。これは、各プロセッサ６７０１４０が個々のデー
タバスを持つことを必要とすることもなしに、各プロセ
ッサ６７０１４０が異なる情報を並列に計算するのを可
能にする。レジスタ６７０１１０，６７０１３０及び６
７０１２０と、ベースプロセッサ６７０１４０とはすべ
て、マイクロプログラムによって制御される。

【００６６】図１１はベースプロセッサ６７０１４０を
一層詳細に例示している。ベースプロセッサ６７０１４
０はマルチプレクサ６７０１５１０，６７０１５００，
６７０１４５０及び６７０１４４０と、レジスタ６７０
１４８０，６７０１４７０，６７０１４２０及び６７０
１４３０と、乗算器ユニット６７０１４９０と、演算論
理ユニット（ＡＬＵ）６７０１４６０と、そしてカウン
タ６７０１４１０とから成っている。マルチプレクサ６
７０１５１０，６７０１５００，６７０１４５０及び６
７０１４４０は神経プロセッサ６７０１４０でもってデ
ータフローを制御し、そしてマイクロプログラム制御下
に置かれる。こうしたマルチプレクサは複数の入力端子
によりマイクロプログラムバスに連結される。レジスタ
６７０１４８０，６７０１４７０，６７０１４２０及び
６７０１４３０は変数の一時記憶のために使用され、且
つマイクロプログラム制御下に置かれる。こうしたレジ
スタは複数の入力端子によりマイクロプログラムバスに
対して結合されている。乗算器６７０１４９０は算術的
乗算を実行する。このユニットは応用に依存して浮動小
数点及び／又は整数型に作られる。また、乗算器ユニッ
トは除算や論理桁送りのような動作を可能にする桁送り
機能を含むこともできる。乗算器は２つの演算数入力バ
ス６７０１６００及び６７０１６１０を持ち、データが
複数の入力端子を用いて、マルチプレクサ６７０１５１
０及び６７０１５００から乗算器６７０１４９０に結合
されるのを可能にする。結果は、バス６７０１６２０上
への複数の出力端子により、マルチプレクサ６７０１４
５０又はレジスタ６７０１４８０に結合される。乗算器
ユニット６７０１４９０はマイクロプログラムにより制
御され、そして複数の入力端子を介して、マイクロプロ
グラム入力バス６７２００から制御信号を受信する。こ
うした入力は乗算器が実行する各種動作を制御する。ま
た、乗算器ユニットは、複数の出力端子を使用して、マ
イクロプログラム・バス６７２１０へと出力するので、
乗算器のステータスはビットオーバフローなどに対して
監視されることになる。演算論理ユニット（ＡＬＵ）６
７０１４６０は、複数の入力端子を介して、２つの演算
数入力６７０１６３０及び６７０１６４０を持ってい
る。これらは、データが加算のためにＡＬＵへと通され
るのを可能にする。結果は、複数の出力端子を介して、
ＡＬＵからデータバス６７３３０へと通過される。ＡＬ
Ｕ６７０１４６０の動作はマイクロプログラムによって
制御され、そして複数の入力端子を介して制御信号を受
信する。また、ＡＬＵ６７０１４６０は、複数の出力端
子を使用して、マイクロプログラム・バス６７２１０へ
出力するので、ＡＬＵ６７０１４６０のステータスは加
算オーバフローなどに対して監視される。プロセッサ
は、双方向バス６７２３０を介してローカルメモリ６７
１００に連結でき、そこでのアドレスはカウンタ６７０
１４１０によって供給される。更に、そのカウンタはマ
イクロプログラム制御下に置かれ、そして複数の入力端
子を介して、マイクロプログラム入力バス６７２００に
結合される。

【００６７】尚、図１２は、図７に使用されるメモリ記
憶装置６８０の一実施例にかかる概念図であり、メモリ
アクセス裁定ロジック４２０、メモリ４４０を含む。

【００６８】また、図１３は、図７のプリ目標インター
フェースの一実施例にかかる概念図であり、メモリアク
セス裁定ロジック４２０、メモリ４４０を含む。

【００６９】図１４は、本発明を適用した財政予測シス
テムのハードウエアの一構成例を示している。その財政
データは、将来のストック価格の予測のためにネットワ
ークを訓練するのに用いられる。

【００７０】図１４に示したものは、ａ）マイクロプロ
グラムＲＡＭまたはＲＯＭにおけるマイクロプログラム
命令のシーケンスからなるＰＰＴアルゴリズムは、専用
の集積回路にて実装されるハードウエアユニットとして
構成することができ、さらに、ｂ）ＰＰＴアルゴリズム
は、汎用のコンピュータシステムを用いてソフトウエア
のプログラムとして構成することができる。

【００７１】図１５は、本発明を適用した光学的パター
ン認識システムのハードウエアの一構成例を示してい
る。データは光学的な読み取り装置を介してＰＰＴシス
テムに取り込まれる。固有の文字のサンプルの学習は、
ユーザ特有の入力を光学的な読み取り装置を介して取り
込むことで行われる。ユーザ特有の入力は、ＰＰＴアル
ゴリズムの学習における目標として用いられる。全ての
文字の全てのサンプルが正確に学習されたとき、システ
ムは、学習されたそれらのパターンに対して近いパター
ンを呼出し、入力された新しい文字を認識する。その結
果、様々な出力装置、例えば図１５に示したディスプレ
イに出力を行うことができる。（なお、図１５のＰＰＴ
ハードウエアの詳細は、図１４に示したものと同様であ
る。）図１５に示したものは、ａ）マイクロプログラム
ＲＡＭまたはＲＯＭにおけるマイクロプログラム命令の
シーケンスからなるＰＰＴアルゴリズムは、専用の集積
回路にて実装されるハードウエアユニットとして構成す
ることができ、さらに、ｂ）ＰＰＴアルゴリズムは、汎
用のコンピュータシステムを用いてソフトウエアのプロ
グラムとして構成することができる。

【００７２】

【発明の効果】本発明によれば、並列学習を行うことが
できるため、予測やパターン認識、制御分野等で利用さ
れている多層型のニューラルネットワークの高速学習が
可能となる。

【図面の簡単な説明】

【図１】本発明のアルゴリズムを用いて単一の層に対す
る学習シーケンスを例示している図である。

【図２】典型的な逆伝搬アルゴリズムと本発明のアルゴ
リズムのデータフローとの間における相違を例示してい
る図である。

【図３】本発明のアルゴリズムを使用したパターンシー
ケンス計算を例示している図である。

【図４】本発明の実施例によるディジタル人工神経回路
網システムの概略図である。

【図５】図４の層プロセッサの１つの履行の概略図であ
る。

【図６】図５の仮想ターゲットメモリの１つの履行の概
略図である。

【図７】図５の神経プロセッサの１つの履行の概略図で
ある。

【図８】図７の２つの隣り合う層プロセッサ間における
通信回路の１つの履行の概略図である。

【図９】図７の計算面の１つの履行の概略図である。

【図１０】図９のシナプス・プロセッサの１つの履行の
概略図である。

【図１１】図１０のベース・プロセッサの１つの履行の
概略図である。

【図１２】図７に使用されているメモリ記憶装置の１つ
の履行の概略図である。

【図１３】図７に使用されているプリ目標インタフェー
スで使用されるメモリ記憶装置の１つの履行の概略図で
ある。

【図１４】本発明を適用した光学的パターン認識システ
ムのハードウエアの一構成例を示している。

【図１５】本発明を適用した光学的パターン認識システ
ムのハードウエアの一構成例を示している。

【符号の説明】

１００…制御ブロック、２００…層プロセッサ、３００
…パターン記憶メモリ、４００…仮想目標メモリ、４２
０…メモリ裁定ロジック、４４０…メモリ、６００…神
経プロセッサ、６２０…制御ロジック、６４０…アドレ
ス発生器、６７０…計算面、６８０…メモリ記憶装置、
６９０…メモリ記憶装置。

Claims (3)

【特許請求の範囲】
1. 【請求項１】ディジタル集積回路を用いて神経回路網を
   完全に並列にシミュレートするための方法であって、 シナプス計算手段により、組合せでの一連の命令が、シ
   ナプスが関係する層とは無関係に、修正されるべき人工
   神経回路網により学習されるパターンを符号化するよう
   に、人工神経回路網内における単一のシナプス重みが修
   正されるのを可能にするために実行されるシナプス計算
   のすべて又は幾つかは並列に実行され、 シナプス計算手段により、組合せでの一連の命令が、仮
   想目標が関係する層とは無関係に、修正されるべき人工
   神経回路網により学習されるパターンを符号化するよう
   に、人工神経回路網内における単一の仮想目標が修正さ
   れるのを可能にするために実行される仮想目標計算のす
   べて又は幾つかは並列に実行され、 最大数が前記多層神経回路網における層数に等しい、１
   つ又はそれ以上の入力パターンを前記回路網により同時
   に学習することを特徴とするディジタル集積回路を用い
   て神経回路網を完全に並列にシミュレートするための方
   法。
2. 【請求項２】ディジタル集積回路を用いて神経回路網を
   完全に並列にシミュレートするための装置であって、 各々が複数のプロセッサ／メモリを含んでいる１次元状
   アレイの層プロセッサを備え、前記複数のプロセッサ／
   メモリの各々は、データがそこに書き込まれ且つデータ
   がそこから読み出されるメモリ手段と、そして各層プロ
   セッサが多層神経回路網の単一の層を表わしている場
   合、前記メモリ手段及び命令情報から読み出されたデー
   タに少なくとも部分的に依存した出力を作り出すための
   プロセッサとを含んでおり、 各層プロセッサが多層神経回路網の単一の層を表わすこ
   とのできる１次元アレイにおいて前記層プロセッサを相
   互接続するための手段を有し、 前記アレイにおけるすべての層プロセッサがシナプス重
   みか又は仮想目標に含まれるすべての又は幾つかの計算
   が並列に計算できるようにする手段とを備え、１つの特
   定の層に関連したすべての計算は１つの特定の層プロセ
   ッサに関連されており、 前記１次元アレイにおける１つの層プロセッサにより発
   生されたデータ情報を別な隣接の層プロセッサへ通過さ
   せるための手段を備えたことを特徴とするディジタル集
   積回路を用いて神経回路網を完全に並列にシミュレート
   するための装置。
3. 【請求項３】請求項２の装置において、１つの層プロセ
   ッサにより発生されたデータ情報を別な手段へ通過させ
   るための手段を含み、 いずれかの特定の層プロセッサは、各々が隣接する層プ
   ロセッサ／メモリへの入力端子及び出力端子を含む複数
   の端子を意味する少なくとも３つの並列データチャネル
   と、データがそこに書き込まれ且つそこからデータが読
   み出されるメモリ手段を有し、 入力パターンを記憶するための手段における、入力パタ
   ーンはデータチャネルを通して１次元アレイの層プロセ
   ッサ上でシミュレートされつつある人工の多層神経回路
   網に与えられるデータを意味し、 目標パターンを記憶するための手段における、目標パタ
   ーンは前記シミュレーションにおいて使用される前記人
   工の多層神経回路網に与えられるデータを意味すること
   を特徴とするディジタル集積回路を用いて神経回路網を
   完全に並列にシミュレートするための装置。