JPH07117948B2 - コンピユータ装置 - Google Patents
コンピユータ装置Info
- Publication number
- JPH07117948B2 JPH07117948B2 JP3125109A JP12510991A JPH07117948B2 JP H07117948 B2 JPH07117948 B2 JP H07117948B2 JP 3125109 A JP3125109 A JP 3125109A JP 12510991 A JP12510991 A JP 12510991A JP H07117948 B2 JPH07117948 B2 JP H07117948B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- response
- input
- state
- operating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000006870 function Effects 0.000 claims description 73
- 230000001537 neural effect Effects 0.000 claims description 68
- 238000004891 communication Methods 0.000 claims description 67
- 238000012545 processing Methods 0.000 claims description 41
- 230000000694 effects Effects 0.000 claims description 40
- 230000004044 response Effects 0.000 claims description 37
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 claims description 28
- 210000002569 neuron Anatomy 0.000 claims description 28
- 238000004364 calculation method Methods 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 24
- PXHVJJICTQNCMI-UHFFFAOYSA-N Nickel Chemical compound [Ni] PXHVJJICTQNCMI-UHFFFAOYSA-N 0.000 claims description 18
- 238000012905 input function Methods 0.000 claims description 18
- 229910052757 nitrogen Inorganic materials 0.000 claims description 15
- 229910052759 nickel Inorganic materials 0.000 claims description 9
- 239000004677 Nylon Substances 0.000 claims description 4
- 229920001778 nylon Polymers 0.000 claims description 4
- CWGBFIRHYJNILV-UHFFFAOYSA-N (1,4-diphenyl-1,2,4-triazol-4-ium-3-yl)-phenylazanide Chemical compound C=1C=CC=CC=1[N-]C1=NN(C=2C=CC=CC=2)C=[N+]1C1=CC=CC=C1 CWGBFIRHYJNILV-UHFFFAOYSA-N 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 2
- QJGQUHMNIGDVPM-UHFFFAOYSA-N nitrogen group Chemical group [N] QJGQUHMNIGDVPM-UHFFFAOYSA-N 0.000 claims 3
- 230000002194 synthesizing effect Effects 0.000 claims 3
- 238000011017 operating method Methods 0.000 claims 2
- 230000005540 biological transmission Effects 0.000 claims 1
- 241001442055 Vipera berus Species 0.000 description 64
- 238000010586 diagram Methods 0.000 description 40
- 238000007792 addition Methods 0.000 description 35
- 239000011159 matrix material Substances 0.000 description 28
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000003491 array Methods 0.000 description 4
- 230000009977 dual effect Effects 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004088 simulation Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 125000000524 functional group Chemical group 0.000 description 2
- 101100042610 Arabidopsis thaliana SIGB gene Proteins 0.000 description 1
- 241000754160 Devonia Species 0.000 description 1
- 101100294408 Saccharomyces cerevisiae (strain ATCC 204508 / S288c) MOT2 gene Proteins 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000012067 mathematical method Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 238000005312 nonlinear dynamic Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 101150117326 sigA gene Proteins 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Complex Calculations (AREA)
Description
【０００１】
【産業上の利用分野】本発明はコンピユータ装置に関
し、特に汎用デイジタルコンピユータシステムにおける
新しい有用な改善に関する。詳細には、本発明は完全に
接続したネツトワークモデルについて配列構造内で内部
通信機構を用いる神経ネツトワークアーキテクチヤに関
する。
し、特に汎用デイジタルコンピユータシステムにおける
新しい有用な改善に関する。詳細には、本発明は完全に
接続したネツトワークモデルについて配列構造内で内部
通信機構を用いる神経ネツトワークアーキテクチヤに関
する。
【０００２】
【従来の技術】神経計算パラダイム（neural computing
paradigm ）は一般に、入力重み付け乗算、積加算、神
経状態計算及びニユーロン間の完全な接続からなる動的
で高度に並列計算するようになされた内部的なシステム
である点に特徴がある。
paradigm ）は一般に、入力重み付け乗算、積加算、神
経状態計算及びニユーロン間の完全な接続からなる動的
で高度に並列計算するようになされた内部的なシステム
である点に特徴がある。
【０００３】ほとんどの市販用の人工的神経システム
（ＡＮＳ）はフオンノイマンコンピユータにおいてモデ
ル化される。これは処理アルゴリズムを容易に変更し得
るようにすると共に、異なつたネツトワーク構造を使用
し得るようにするが、最新のネツトワークであつても実
行速度が低い。これに対して神経ネツトワークを援助す
る並列構造のものが開発されているが、システムモデル
が要求する範囲で処理エレメントがニユーロン動作を実
行させるので、応用業務（すなわちアプリケーシヨン）
に適合するように機能しようとする実際のニユーロンの
現在の知識がずれるおそれがある。
（ＡＮＳ）はフオンノイマンコンピユータにおいてモデ
ル化される。これは処理アルゴリズムを容易に変更し得
るようにすると共に、異なつたネツトワーク構造を使用
し得るようにするが、最新のネツトワークであつても実
行速度が低い。これに対して神経ネツトワークを援助す
る並列構造のものが開発されているが、システムモデル
が要求する範囲で処理エレメントがニユーロン動作を実
行させるので、応用業務（すなわちアプリケーシヨン）
に適合するように機能しようとする実際のニユーロンの
現在の知識がずれるおそれがある。
【０００４】神経ネツトワーク処理要素により要求され
る代表的な計算タスクの一例は（１）ＭＩＴプレス1986
年版の「並列分散処理第１巻、基礎（Parallel Distrib
utedProcessing Vol.1 、foundations ）」に示される
完全並列分散処理モデルに示されている。そのような処
理要素すなわちニユーロンのネツトワークは（２）「プ
ロシーデイングス・オブ・ナシヨナル・アカデミ・オブ
・サイエンス８１」、1984年５月、pp3088−3092に示さ
れている。これを図３９及び表１に示す。
る代表的な計算タスクの一例は（１）ＭＩＴプレス1986
年版の「並列分散処理第１巻、基礎（Parallel Distrib
utedProcessing Vol.1 、foundations ）」に示される
完全並列分散処理モデルに示されている。そのような処
理要素すなわちニユーロンのネツトワークは（２）「プ
ロシーデイングス・オブ・ナシヨナル・アカデミ・オブ
・サイエンス８１」、1984年５月、pp3088−3092に示さ
れている。これを図３９及び表１に示す。
【表１】
【０００５】図３９において、神経ネツトワーク処理ユ
ニツトすなわちニユーロン４０は一般に入力機能Ｉi ４
４と活動機能Ｙi ４２を含む処理タスクと、接続ネツト
ワーク４６及び４８を含んでおり、これらのネツトワー
ク４６及び４８は最悪の場合ニユーロン４０を自身を含
む他のすべてのニユーロンに接続する。
ニツトすなわちニユーロン４０は一般に入力機能Ｉi ４
４と活動機能Ｙi ４２を含む処理タスクと、接続ネツト
ワーク４６及び４８を含んでおり、これらのネツトワー
ク４６及び４８は最悪の場合ニユーロン４０を自身を含
む他のすべてのニユーロンに接続する。
【０００６】活動機能Ｙi ４２はシグモイド（sigmoid
）機能と呼ばれる形式の非線形機能である。活動機能
Ｙi ４２の他の例はしきい値機能、確率機能等を含む。
そのような非線形シグモイド処理要素４０のネツトワー
クはデイジタルプロセツサによつてシミユレートし得る
動的システムを表す。数学的には、ニユーロンの非線形
動的モデルは時間についてのニユーロン機能を支配する
非線形式の導関数をとり、またその関数の計算のために
数値的微分技術を用いることによりデイジタル的にシミ
ユレートし得る。この数学的な方法は神経ネツトワーク
の非線形連続関数をデイジタル表記にマツピングし得る
ようにする。独立した時間ステツプにおいて入力機能Ｉ
i がデイジタル重み値Ｗijを各ニユーロン入力について
デイジタル信号値Ｙj で乗算し、かつこれら積のデイジ
タル値の和をつくる。活動機能Ｙi への入力は入力機能
Ｉi の出力であり、この場合の出力は直接に活動機能Ｙ
i となる。又はその出力は機能Ｙi になり得る。
）機能と呼ばれる形式の非線形機能である。活動機能
Ｙi ４２の他の例はしきい値機能、確率機能等を含む。
そのような非線形シグモイド処理要素４０のネツトワー
クはデイジタルプロセツサによつてシミユレートし得る
動的システムを表す。数学的には、ニユーロンの非線形
動的モデルは時間についてのニユーロン機能を支配する
非線形式の導関数をとり、またその関数の計算のために
数値的微分技術を用いることによりデイジタル的にシミ
ユレートし得る。この数学的な方法は神経ネツトワーク
の非線形連続関数をデイジタル表記にマツピングし得る
ようにする。独立した時間ステツプにおいて入力機能Ｉ
i がデイジタル重み値Ｗijを各ニユーロン入力について
デイジタル信号値Ｙj で乗算し、かつこれら積のデイジ
タル値の和をつくる。活動機能Ｙi への入力は入力機能
Ｉi の出力であり、この場合の出力は直接に活動機能Ｙ
i となる。又はその出力は機能Ｙi になり得る。
【０００７】
【発明が解決しようとする課題】神経ネツトワークの非
線形デイジタルシミユレートの精度は重み精度、ニユー
ロン値、積、積和及び活動値と、シミユレーシヨンに用
いられる時間ステツプのサイズとにより決まる。特定の
シミユレーシヨンに必要な精度は問題に依存する。時間
ステツプのサイズは活動機能に組込まれる乗算係数とし
て扱うことができる。１つのネツトワークにおけるニユ
ーロンはすべて同一の機能をもち得るが、これは必要条
件ではない。
線形デイジタルシミユレートの精度は重み精度、ニユー
ロン値、積、積和及び活動値と、シミユレーシヨンに用
いられる時間ステツプのサイズとにより決まる。特定の
シミユレーシヨンに必要な精度は問題に依存する。時間
ステツプのサイズは活動機能に組込まれる乗算係数とし
て扱うことができる。１つのネツトワークにおけるニユ
ーロンはすべて同一の機能をもち得るが、これは必要条
件ではない。
【０００８】神経プロセツサでモデル化されるニユーロ
ンは、「直接」及び又は「仮想」インプレメンテーシヨ
ンでシミユレートし得る。直接法では各ニユーロンは物
理的な処理要素（ＰＥ）を有し、この処理要素は当該シ
ステム内において活動する他のニユーロン処理要素と同
時に並列に動作し得る。「仮想」インプレメンテーシヨ
ンにおいては、複数のニユーロンが各ハードウエア処理
要素（ＰＥ）に割り当てられ、処理要素の処理がその
「仮想」ニユーロンを共用する必要がある。このネツト
ワークの性能は「直接」法を採用したことにより大きく
できるが、最新の人工神経システムはアーキテクチヤ及
び技術上の限界のためにこの「仮想」ニユーロンの概念
を利用している。
ンは、「直接」及び又は「仮想」インプレメンテーシヨ
ンでシミユレートし得る。直接法では各ニユーロンは物
理的な処理要素（ＰＥ）を有し、この処理要素は当該シ
ステム内において活動する他のニユーロン処理要素と同
時に並列に動作し得る。「仮想」インプレメンテーシヨ
ンにおいては、複数のニユーロンが各ハードウエア処理
要素（ＰＥ）に割り当てられ、処理要素の処理がその
「仮想」ニユーロンを共用する必要がある。このネツト
ワークの性能は「直接」法を採用したことにより大きく
できるが、最新の人工神経システムはアーキテクチヤ及
び技術上の限界のためにこの「仮想」ニユーロンの概念
を利用している。
【０００９】神経ネツトワークの「直接」インプレメン
テーシヨンにおける２つの大きな問題はニユーロン間の
相互接続ネツトワーク及びニユーロン関数の計算速度で
ある。第１に、多数のニユーロン（処理ユニツト又は処
理要素）を有する人工神経システムでは処理要素を接続
する方法が性能及びコストの点で臨界的なものとなる。
そのような直接システムの物理的インプレメンテーシヨ
ンにおいて完全な接続を必要とすると、非常に多数の相
互接続ラインが必要なために、不可能ではないにしても
非常に達成が困難である。第２に、神経処理負荷は各ニ
ユーロンへの入力信号の「重み付け」について行れねば
ならない多重の並列計算を含む。
テーシヨンにおける２つの大きな問題はニユーロン間の
相互接続ネツトワーク及びニユーロン関数の計算速度で
ある。第１に、多数のニユーロン（処理ユニツト又は処
理要素）を有する人工神経システムでは処理要素を接続
する方法が性能及びコストの点で臨界的なものとなる。
そのような直接システムの物理的インプレメンテーシヨ
ンにおいて完全な接続を必要とすると、非常に多数の相
互接続ラインが必要なために、不可能ではないにしても
非常に達成が困難である。第２に、神経処理負荷は各ニ
ユーロンへの入力信号の「重み付け」について行れねば
ならない多重の並列計算を含む。
【００１０】神経処理負荷の比較的大きいサイズのもの
は、対称的な重みに完全に接続される64×64要素ホツプ
フイールド（Hopfield）ネツトワークを用いて表示する
ことができる。この種のネツトワークは64×64＝4096個
のニユーロンを有し、その完全相互接続ネツトワークは
4096×4096すなわち約16×106 個の重み値を有する。12
8 ×128 要素のホツプフイールドネツトワークは256 ×
106 個の重みをもつ128 ×128 ＝16384 個のニユーロン
を有する。値（重み）×（ニユーロン入力値）のすべて
のニユーロンについての和は、前述のシグモイド活動機
能のような各ニユーロンの活動機能に対する入力にな
る。各計算は、ネツトワークの更新サイクルごとにすべ
てのニユーロンについて完了しなければならない処理負
荷全体について求めたものである。
は、対称的な重みに完全に接続される64×64要素ホツプ
フイールド（Hopfield）ネツトワークを用いて表示する
ことができる。この種のネツトワークは64×64＝4096個
のニユーロンを有し、その完全相互接続ネツトワークは
4096×4096すなわち約16×106 個の重み値を有する。12
8 ×128 要素のホツプフイールドネツトワークは256 ×
106 個の重みをもつ128 ×128 ＝16384 個のニユーロン
を有する。値（重み）×（ニユーロン入力値）のすべて
のニユーロンについての和は、前述のシグモイド活動機
能のような各ニユーロンの活動機能に対する入力にな
る。各計算は、ネツトワークの更新サイクルごとにすべ
てのニユーロンについて完了しなければならない処理負
荷全体について求めたものである。
【００１１】神経コンピユータを満足する１つの構造は
リングシストリツク（ring systolic ）配列である。シ
ストリツク配列はデータをリズミカルに計算してシステ
ムを通過させるプロセツサネツトワークを形成する。神
経コンピユータを満足するシストリツク配列の一例は
「ジヤーナル・オブ・パラレル・アンド・デイストリビ
ユーテツド・コンピユーテイング６」、第358 頁−第38
7 頁，1989年の「ア・ユニフアイド・シストリツク・ア
ーキテクチヤ・フオー・アーテイフイシアル・ニユーラ
ル・ネツトワーク」に示されるパイプライン配列アーキ
テクチヤであり、これを図４０及び表２に示す。
リングシストリツク（ring systolic ）配列である。シ
ストリツク配列はデータをリズミカルに計算してシステ
ムを通過させるプロセツサネツトワークを形成する。神
経コンピユータを満足するシストリツク配列の一例は
「ジヤーナル・オブ・パラレル・アンド・デイストリビ
ユーテツド・コンピユーテイング６」、第358 頁−第38
7 頁，1989年の「ア・ユニフアイド・シストリツク・ア
ーキテクチヤ・フオー・アーテイフイシアル・ニユーラ
ル・ネツトワーク」に示されるパイプライン配列アーキ
テクチヤであり、これを図４０及び表２に示す。
【表２】
【００１２】この構造において、符号５０、５２、…
…、５４によつて示す処理要素ＰＥ−１、ＰＥ−２、…
…、ＰＥ−Ｎは１つのニユーロンＹi として取扱われ
る。各ニユーロンは重み記憶手段５１、５３、……、５
５を含み、この重みは処理要素から処理要素に直線的に
シフトされるときのｊ番目のニユーロン値に対応する循
環シフト順に記憶される。初期ニユーロン値及び重みが
ホストから処理要素５０、５２、……、５４に予めロー
ドされているとすると、ネツトワーク更新サイクルは、
表２に示すように、Ｉi 値（ステツプ１〜７）及びＹi
値（ステツプ８）を計算する。このように神経ネツトワ
ークはシストリツク配列によつてモデル化し得る。
…、５４によつて示す処理要素ＰＥ−１、ＰＥ−２、…
…、ＰＥ−Ｎは１つのニユーロンＹi として取扱われ
る。各ニユーロンは重み記憶手段５１、５３、……、５
５を含み、この重みは処理要素から処理要素に直線的に
シフトされるときのｊ番目のニユーロン値に対応する循
環シフト順に記憶される。初期ニユーロン値及び重みが
ホストから処理要素５０、５２、……、５４に予めロー
ドされているとすると、ネツトワーク更新サイクルは、
表２に示すように、Ｉi 値（ステツプ１〜７）及びＹi
値（ステツプ８）を計算する。このように神経ネツトワ
ークはシストリツク配列によつてモデル化し得る。
【００１３】リングシストリツク配列アーキテクチヤ
（図４０及び表２）は重畳動作を仮定すると次の性能特
性を有する。
（図４０及び表２）は重畳動作を仮定すると次の性能特
性を有する。
【数１】 ただし、各処理要素を通る際の遅延を次の遅延変数によ
つて表す。 δM ＝乗算器の遅延量 δΛ＝通信加算器（２−１加算段遅延） δS ＝シグモイド発生器遅延 δBUS ＝通信加算器（通信バイパス段遅延） Ｎ＝ニユーロンの総数。 本発明の目的は改善された配列プロセツサ装置及び方法
を提供することである。
つて表す。 δM ＝乗算器の遅延量 δΛ＝通信加算器（２−１加算段遅延） δS ＝シグモイド発生器遅延 δBUS ＝通信加算器（通信バイパス段遅延） Ｎ＝ニユーロンの総数。 本発明の目的は改善された配列プロセツサ装置及び方法
を提供することである。
【００１４】本発明の他の目的は改善された神経システ
ムアーキテクチヤ及び方法を提供することである。本発
明の他の目的は大型神経ネツトワークの改善された直接
モデル化を与える人工神経システムを提供することであ
る。本発明の他の目的は総合的接続性に特徴をもつ神経
配列についてその物理的な構成が複雑な問題点を解消す
る改善された相互接続ネツトワークを提供することであ
る。本発明の他の目的は複数の相互に接続された半導体
チツプ全体に効率の良い分布を与える改善された神経配
列アーキテクチヤ及び方法を提供することである。
ムアーキテクチヤ及び方法を提供することである。本発
明の他の目的は大型神経ネツトワークの改善された直接
モデル化を与える人工神経システムを提供することであ
る。本発明の他の目的は総合的接続性に特徴をもつ神経
配列についてその物理的な構成が複雑な問題点を解消す
る改善された相互接続ネツトワークを提供することであ
る。本発明の他の目的は複数の相互に接続された半導体
チツプ全体に効率の良い分布を与える改善された神経配
列アーキテクチヤ及び方法を提供することである。
【００１５】
【課題を解決するための手段】本発明の装置において
は、配列プロセツサが複数の入力機能要素を含み、各入
力機能要素は選択的に一群のニユーロンに割り当てら
れ、また各ニユーロンは選択された入力機能要素群から
ニユーロン値を発生してそのニユーロン値を上記選択さ
れた入力機能要素群に戻すための手段を含む。
は、配列プロセツサが複数の入力機能要素を含み、各入
力機能要素は選択的に一群のニユーロンに割り当てら
れ、また各ニユーロンは選択された入力機能要素群から
ニユーロン値を発生してそのニユーロン値を上記選択さ
れた入力機能要素群に戻すための手段を含む。
【００１６】
【作用】本発明の装置及び方法によれば、各ニユーロン
のそれ自身を含む全ての他のニユーロンに対する総合的
接続性はニユーロンの直交関係により達成される。すな
わち与えられた１つの乗算要素は第１サイクルにおいて
列ニユーロンに対して入力機能内の行要素として動作
し、第２サイクルにおいて行ニユーロンに対して入力機
能内の列要素として動作する。本発明の方法によれば、
直交ニユーロン群と複数の入力機能要素を含む配列プロ
セツサは、（１）入力機能の第１サブセツトについて第
１ニユーロンを１つのニユーロン値を発生し、かつそれ
をその第１サブセツトにロードするように動作させるス
テツプと、（２）入力機能の上記第１サブセツトのそれ
ぞれを直交ニユーロンセツトの内の１つに割り当てるス
テツプとを含む方法に従つて動作する。
のそれ自身を含む全ての他のニユーロンに対する総合的
接続性はニユーロンの直交関係により達成される。すな
わち与えられた１つの乗算要素は第１サイクルにおいて
列ニユーロンに対して入力機能内の行要素として動作
し、第２サイクルにおいて行ニユーロンに対して入力機
能内の列要素として動作する。本発明の方法によれば、
直交ニユーロン群と複数の入力機能要素を含む配列プロ
セツサは、（１）入力機能の第１サブセツトについて第
１ニユーロンを１つのニユーロン値を発生し、かつそれ
をその第１サブセツトにロードするように動作させるス
テツプと、（２）入力機能の上記第１サブセツトのそれ
ぞれを直交ニユーロンセツトの内の１つに割り当てるス
テツプとを含む方法に従つて動作する。
【００１７】
【実施例】以下図面について本発明の一実施例を詳述す
る。
る。
【００１８】本発明はニユーロン要素の直交するセツト
を含む神経プロセツサ及び要素間にニユーロン値を移送
させる。１つのニユーロンは、（１）一般に入力機能要
素のセツト又はそれぞれ入力値及び重み値に応じて重み
付けされた出力を与える乗算要素によつて形成される入
力機能、（２）一般に乗算要素からの重み付けされた出
力を１つの値に合成する加算器ツリーでなる合成又は減
算機能、及び（３）この１つの値に応じてニユーロン出
力を発生する活動機能を含む。最悪の場合総合的な接続
はＮ×Ｎニユーロン配列内の各ニユーロンはニユーロン
出力をそれ自体を含む全てのニユーロンの入力値として
通信するように接続され、従つてその入力機能にＮ個の
乗算要素群を有する。本発明の好適な実施例によれば、
この合成機能はニユーロン出力をそれ自体の入力機能に
戻すための戻り通信パスを含む。各ニユーロンのそれ自
体を含む全てのニユーロンへの総合的な接続はニユーロ
ンの直交関係により達成される。すなわち１つの与えら
れた乗算要素は第１サイクルでは列ニユーロンに対し入
力機能内の行要素として動作し、また第２サイクルにお
いて行要素に対し入力機能内の列要素として動作する。
を含む神経プロセツサ及び要素間にニユーロン値を移送
させる。１つのニユーロンは、（１）一般に入力機能要
素のセツト又はそれぞれ入力値及び重み値に応じて重み
付けされた出力を与える乗算要素によつて形成される入
力機能、（２）一般に乗算要素からの重み付けされた出
力を１つの値に合成する加算器ツリーでなる合成又は減
算機能、及び（３）この１つの値に応じてニユーロン出
力を発生する活動機能を含む。最悪の場合総合的な接続
はＮ×Ｎニユーロン配列内の各ニユーロンはニユーロン
出力をそれ自体を含む全てのニユーロンの入力値として
通信するように接続され、従つてその入力機能にＮ個の
乗算要素群を有する。本発明の好適な実施例によれば、
この合成機能はニユーロン出力をそれ自体の入力機能に
戻すための戻り通信パスを含む。各ニユーロンのそれ自
体を含む全てのニユーロンへの総合的な接続はニユーロ
ンの直交関係により達成される。すなわち１つの与えら
れた乗算要素は第１サイクルでは列ニユーロンに対し入
力機能内の行要素として動作し、また第２サイクルにお
いて行要素に対し入力機能内の列要素として動作する。
【００１９】完全に接続したＮ個のニユーロンネツトワ
ークをシミユレートする神経コンピユータにより通常実
行される４つの基本的動作は次の通りである。 １．Ｎ2 回の乗算。 ２．Ｎ回の積加算。 ３．Ｎ回の活動関数演算。 ４．Ｎ×Ｎ回の通信。 後述するように、本発明の一実施例によれば、スカラブ
ル（scalable）な神経配列プロセツサ（ＳＮＡＰ）はＮ
2 個の乗算器によるＮ2 回の乗算、ツリー構造によるＮ
回の積加算、別個の活動関数演算モジユールによるＮ回
の活動関数演算、及び加算ツリー構造に含まれている逆
方向のパスメカニズムによるＮ×Ｎ回の通信を行う。
ークをシミユレートする神経コンピユータにより通常実
行される４つの基本的動作は次の通りである。 １．Ｎ2 回の乗算。 ２．Ｎ回の積加算。 ３．Ｎ回の活動関数演算。 ４．Ｎ×Ｎ回の通信。 後述するように、本発明の一実施例によれば、スカラブ
ル（scalable）な神経配列プロセツサ（ＳＮＡＰ）はＮ
2 個の乗算器によるＮ2 回の乗算、ツリー構造によるＮ
回の積加算、別個の活動関数演算モジユールによるＮ回
の活動関数演算、及び加算ツリー構造に含まれている逆
方向のパスメカニズムによるＮ×Ｎ回の通信を行う。
【００２０】後述する本発明の好適な実施例に関連し
て、神経プロセツサによつて実行される関数演算は次式
で表される。
て、神経プロセツサによつて実行される関数演算は次式
で表される。
【数２】 ただし、Ｎはニユーロンの数、Ｆ（Ｘ）は好適な実施例
においては次式のシグモイド活動関数に等しくセツトさ
れるニユーロン活動関数である。
においては次式のシグモイド活動関数に等しくセツトさ
れるニユーロン活動関数である。
【数３】 ただし、（２）式において重みＷの添字はニユーロン間
の接続の重みを表し、例えばＷ13はニユーロン３からニ
ユーロン１への接続の重みを表す。
の接続の重みを表し、例えばＷ13はニユーロン３からニ
ユーロン１への接続の重みを表す。
【００２１】後述する本発明の実施例では、重みはネツ
トワークの実行期間の間固定される。しかしながら、こ
れらの重みはホストコンピユータからロードできるの
で、学習アルゴリズムはホストにおいて実行され、重み
が更新される。さらに図２５について後述する本発明の
好適な実施例においては、ホストコンピユータ３０が、
（１）アーキテクチヤによりシミユレートされるべきネ
ツトワーク内のニユーロンの数（ａ）、全ての接続重み
（ｂ）、初期ニユーロン値（ｃ）及び走るべきネツトワ
ーク更新サイクルの数（ｄ）をロードし、（２）このモ
デルの実行をスタートし、（３）ネツトワーク実行の完
了時にニユーロン値を読取ることによりネツトワーク３
２のアーキテクチヤを初期化する。
トワークの実行期間の間固定される。しかしながら、こ
れらの重みはホストコンピユータからロードできるの
で、学習アルゴリズムはホストにおいて実行され、重み
が更新される。さらに図２５について後述する本発明の
好適な実施例においては、ホストコンピユータ３０が、
（１）アーキテクチヤによりシミユレートされるべきネ
ツトワーク内のニユーロンの数（ａ）、全ての接続重み
（ｂ）、初期ニユーロン値（ｃ）及び走るべきネツトワ
ーク更新サイクルの数（ｄ）をロードし、（２）このモ
デルの実行をスタートし、（３）ネツトワーク実行の完
了時にニユーロン値を読取ることによりネツトワーク３
２のアーキテクチヤを初期化する。
【００２２】その後、種々の神経処理アーキテクチヤの
性能をアクセスして比較する際に、実行中の性能だけを
考慮し、初期化時間及びホスト処理時間は考慮しないよ
うにする。本発明の好適な実施例によれば、後述する乗
算器及び加算器ツリー配列構造はニユーロン要素間のニ
ユーロン値の転送手段を与える。スカラブル神経配列プ
ロセツサ（ＳＮＡＰ）のこの実施例についての（２）式
の解釈は、各ニユーロンｉについて同一のＹi 入力にお
いて異なる重みをもつ重み乗算をする点に特徴がある。
これは各ニユーロン値について（２）式を拡張し、かつ
複数のニユーロン出力についてこれらの式を比較するこ
とにより明らかに分る。（２）式から形成されるＮ個の
ニユーロン出力は次の（４）式の通りである。
性能をアクセスして比較する際に、実行中の性能だけを
考慮し、初期化時間及びホスト処理時間は考慮しないよ
うにする。本発明の好適な実施例によれば、後述する乗
算器及び加算器ツリー配列構造はニユーロン要素間のニ
ユーロン値の転送手段を与える。スカラブル神経配列プ
ロセツサ（ＳＮＡＰ）のこの実施例についての（２）式
の解釈は、各ニユーロンｉについて同一のＹi 入力にお
いて異なる重みをもつ重み乗算をする点に特徴がある。
これは各ニユーロン値について（２）式を拡張し、かつ
複数のニユーロン出力についてこれらの式を比較するこ
とにより明らかに分る。（２）式から形成されるＮ個の
ニユーロン出力は次の（４）式の通りである。
【数４】
【００２３】図１において、一例としてＮ2 個の相互接
続を有する４（Ｎ＝４）ニユーロン配列が示されてお
り、総合接続の原理（Ｎが非常に大きくなつたときにＮ
ニユーロンマトリクスを物理的に実現することがほとん
ど不可能であること）を示している。ここではニユーロ
ン６０は加算器ツリー６２、乗算器６４、６６、６８、
７０及びシグモイド発生器７２を含む。このニユーロン
構造は複製されてさらに３個のニユーロン９０、９２、
９４を形成し、図示するようにシグモイド発生器７４、
７６、７８が加算器ツリー８０、８２、８４及び乗算器
回路（９１、９３、９５、９７）、（６１、６３、６
５、６７）、（７１、７３、７５、７７）と関連付けら
れる。ニユーロン９０のシグモイド発生器７４からの出
力値Ｙ２′は乗算器６６、９３、６３、７３の入力に帰
還され（すなわちデータパス６９で相互接続され）、こ
れらの乗算器が４×４乗算器マトリクスの第２行を形成
する。ニユーロン９２のシグモイド発生器７６の出力Ｙ
３′は乗算器６８、９５、６５、７５の入力に帰還され
（データパス７９により相互接続される）、これらが４
×４乗算器マトリクスの第３行を形成する。図示しない
が、ニユーロン６０及び９４のシグモイド発生器７２及
び７８は乗算器マトリクスの第１行を形成する乗算器６
４、９１、６１、７１の入力端に帰還され（相互接続さ
れ）、これによりマトリクスの第４行を形成する乗算器
７０、９７、６７、７７の入力に帰還される。ここでは
重み及びニユーロン値は、例えば16又は32ビツト表記の
ような値の精度を反映するデータ通信パス上の任意のビ
ツト数で表される。
続を有する４（Ｎ＝４）ニユーロン配列が示されてお
り、総合接続の原理（Ｎが非常に大きくなつたときにＮ
ニユーロンマトリクスを物理的に実現することがほとん
ど不可能であること）を示している。ここではニユーロ
ン６０は加算器ツリー６２、乗算器６４、６６、６８、
７０及びシグモイド発生器７２を含む。このニユーロン
構造は複製されてさらに３個のニユーロン９０、９２、
９４を形成し、図示するようにシグモイド発生器７４、
７６、７８が加算器ツリー８０、８２、８４及び乗算器
回路（９１、９３、９５、９７）、（６１、６３、６
５、６７）、（７１、７３、７５、７７）と関連付けら
れる。ニユーロン９０のシグモイド発生器７４からの出
力値Ｙ２′は乗算器６６、９３、６３、７３の入力に帰
還され（すなわちデータパス６９で相互接続され）、こ
れらの乗算器が４×４乗算器マトリクスの第２行を形成
する。ニユーロン９２のシグモイド発生器７６の出力Ｙ
３′は乗算器６８、９５、６５、７５の入力に帰還され
（データパス７９により相互接続される）、これらが４
×４乗算器マトリクスの第３行を形成する。図示しない
が、ニユーロン６０及び９４のシグモイド発生器７２及
び７８は乗算器マトリクスの第１行を形成する乗算器６
４、９１、６１、７１の入力端に帰還され（相互接続さ
れ）、これによりマトリクスの第４行を形成する乗算器
７０、９７、６７、７７の入力に帰還される。ここでは
重み及びニユーロン値は、例えば16又は32ビツト表記の
ような値の精度を反映するデータ通信パス上の任意のビ
ツト数で表される。
【００２４】Ｙj 入力（例えばＹ１、Ｙ２、Ｙ３、Ｙ
４）及び対応する重みは別個に使用することができかつ
Ｎ個の並列乗算器（例えば乗算器６４、６６、６８、７
０）があるとすれば、与えられたニユーロン「ｉ」（例
えばニユーロン６０）について、Ｎ個の積が１乗算器遅
延時間内に並列に（すなわち乗算器６４、６６、６８、
７０の出力端において）形成される。これらＮ個の積は
ツリー構造（例えば加算器ツリー６２）に配列される２
対１（２−１）加算器を用いて加算されて最終和Ｘを形
成し、この最終和ＸがＦ（Ｘ）ユニツト（例えばシグモ
イド発生器７２）に加えられてｉ番目のニユーロン出力
（例えばＹ１′）を形成する。このようなＮ個のニユー
ロン（例えば６０、９０、９２、９４）によりＮ個のニ
ユーロン値（例えば相互接続されたニユーロン値Ｙ
１′、Ｙ２′、Ｙ３′、Ｙ４′）が形成される。
４）及び対応する重みは別個に使用することができかつ
Ｎ個の並列乗算器（例えば乗算器６４、６６、６８、７
０）があるとすれば、与えられたニユーロン「ｉ」（例
えばニユーロン６０）について、Ｎ個の積が１乗算器遅
延時間内に並列に（すなわち乗算器６４、６６、６８、
７０の出力端において）形成される。これらＮ個の積は
ツリー構造（例えば加算器ツリー６２）に配列される２
対１（２−１）加算器を用いて加算されて最終和Ｘを形
成し、この最終和ＸがＦ（Ｘ）ユニツト（例えばシグモ
イド発生器７２）に加えられてｉ番目のニユーロン出力
（例えばＹ１′）を形成する。このようなＮ個のニユー
ロン（例えば６０、９０、９２、９４）によりＮ個のニ
ユーロン値（例えば相互接続されたニユーロン値Ｙ
１′、Ｙ２′、Ｙ３′、Ｙ４′）が形成される。
【００２５】各ニユーロンの出力がマトリクス内のそれ
自身のニユーロンを含んで他の全てのニユーロンの入力
端に相互接続されると、図１のＮ個のニユーロン６０、
９０、９２、９４はＮ2 個の接続６９、７９……を必要
とし、これはＮが増加すると物理的に不可能ではなくと
も困難である。本発明によれば、（２）式によつて要求
されるようなスカラブル神経配列プロセツサ（ＳＮＡ
Ｐ）における完全な相互接続を図１に示すような相互接
続法で表される方法によつて困難性を伴わずに達成する
ために、ニユーロン値を移送するための新規な方法が提
供される。これは図２及び図３のスカラブル神経配列プ
ロセツサ（ＳＮＡＰ）加算ツリー、図４及び図５のスカ
ラブル神経配列プロセツサ（ＳＮＡＰ）乗算器、図６及
び図７のスカラブル神経配列プロセツサ（ＳＮＡＰ）シ
グモイド発生器の直交ニユーロンのマトリクス（以下図
８の４ニユーロンスカラブル神経配列プロセツサ（ＳＮ
ＡＰ）について述べる）を使用することにより達成され
る。ここでは一対のニユーロンはそれらが１つの入力機
能要素を時間的に共用するとき直交するという。他の相
互接続ネツトワークはそれらが複数入力を１つの値に縮
減する属性をもつていれば利用することができ、この１
つの値は図２及び図３のスカラブル神経配列プロセツサ
（ＳＮＡＰ）加算ツリーによつて後述するように入力に
戻される。
自身のニユーロンを含んで他の全てのニユーロンの入力
端に相互接続されると、図１のＮ個のニユーロン６０、
９０、９２、９４はＮ2 個の接続６９、７９……を必要
とし、これはＮが増加すると物理的に不可能ではなくと
も困難である。本発明によれば、（２）式によつて要求
されるようなスカラブル神経配列プロセツサ（ＳＮＡ
Ｐ）における完全な相互接続を図１に示すような相互接
続法で表される方法によつて困難性を伴わずに達成する
ために、ニユーロン値を移送するための新規な方法が提
供される。これは図２及び図３のスカラブル神経配列プ
ロセツサ（ＳＮＡＰ）加算ツリー、図４及び図５のスカ
ラブル神経配列プロセツサ（ＳＮＡＰ）乗算器、図６及
び図７のスカラブル神経配列プロセツサ（ＳＮＡＰ）シ
グモイド発生器の直交ニユーロンのマトリクス（以下図
８の４ニユーロンスカラブル神経配列プロセツサ（ＳＮ
ＡＰ）について述べる）を使用することにより達成され
る。ここでは一対のニユーロンはそれらが１つの入力機
能要素を時間的に共用するとき直交するという。他の相
互接続ネツトワークはそれらが複数入力を１つの値に縮
減する属性をもつていれば利用することができ、この１
つの値は図２及び図３のスカラブル神経配列プロセツサ
（ＳＮＡＰ）加算ツリーによつて後述するように入力に
戻される。
【００２６】図２において、本発明の加算ツリー１０８
が記号的に示されており、２−１（２対１）加算器をＡ
で示している。図３において、このスカラブル神経配列
プロセツサ（ＳＮＡＰ）の加算ツリー１０８の詳細を示
す。３個のスカラブル神経配列プロセツサ（ＳＮＡＰ）
２−１加算要素（２−１ＡＤＤＥＲ）１２０、１２２、
１２４が２段パイプラインツリー構成として示されてい
る。出力段１１０の２−１加算要素１２４はその出力端
に第１ドライバー（ＤＲＶＲ１）１２６を有すると共
に、加算器１２４を逆方向にバイパスする２個の第２ド
ライバー（ＤＲＶＲ２）１２８及び１３０を有する。ド
ライバ１２６、１２８及び１３０は、デイスエーブル状
態のときドライバ出力を高インピーダンス状態に維持
し、イネーブル状態のときドライバを非反転バツフアに
するイネーブル／デイスエーブル信号（図２５の状態特
定制御装置３４において発生される）に応答する。第１
ドライバ（ＤＲＶＲ１）１２６がイネーブルになると、
第２ドライバ（ＤＲＶＲ２）１２８及び１３０はデイス
エーブルになり、又はその逆になる。この構造は入力段
においても同様であり、入力加算器１１６及び１１８が
出力段１１０への入力を形成する出力１１２及び１１４
をそれぞれ有する。このように加算器ツリーは第１ドラ
イバ（ＤＲＶＲ１）がイネーブルかつ第２ドライバ（Ｄ
ＲＶＲ２）がデイスエーブルのとき一方向に加算機能を
もつことができ、これに対して本質的には第１ドライバ
（ＤＲＶＲ１）がデイスエーブルかつ第２ドライバ（Ｄ
ＲＶＲ２）がイネーブルのとき逆方向に通信パスとして
機能する。また図２８について後述するように、別々の
逆方向通信パスを利用することもできる。なお通常パイ
プラインラツチ（図示せず）がこれら加算器の入力端に
設けられている。
が記号的に示されており、２−１（２対１）加算器をＡ
で示している。図３において、このスカラブル神経配列
プロセツサ（ＳＮＡＰ）の加算ツリー１０８の詳細を示
す。３個のスカラブル神経配列プロセツサ（ＳＮＡＰ）
２−１加算要素（２−１ＡＤＤＥＲ）１２０、１２２、
１２４が２段パイプラインツリー構成として示されてい
る。出力段１１０の２−１加算要素１２４はその出力端
に第１ドライバー（ＤＲＶＲ１）１２６を有すると共
に、加算器１２４を逆方向にバイパスする２個の第２ド
ライバー（ＤＲＶＲ２）１２８及び１３０を有する。ド
ライバ１２６、１２８及び１３０は、デイスエーブル状
態のときドライバ出力を高インピーダンス状態に維持
し、イネーブル状態のときドライバを非反転バツフアに
するイネーブル／デイスエーブル信号（図２５の状態特
定制御装置３４において発生される）に応答する。第１
ドライバ（ＤＲＶＲ１）１２６がイネーブルになると、
第２ドライバ（ＤＲＶＲ２）１２８及び１３０はデイス
エーブルになり、又はその逆になる。この構造は入力段
においても同様であり、入力加算器１１６及び１１８が
出力段１１０への入力を形成する出力１１２及び１１４
をそれぞれ有する。このように加算器ツリーは第１ドラ
イバ（ＤＲＶＲ１）がイネーブルかつ第２ドライバ（Ｄ
ＲＶＲ２）がデイスエーブルのとき一方向に加算機能を
もつことができ、これに対して本質的には第１ドライバ
（ＤＲＶＲ１）がデイスエーブルかつ第２ドライバ（Ｄ
ＲＶＲ２）がイネーブルのとき逆方向に通信パスとして
機能する。また図２８について後述するように、別々の
逆方向通信パスを利用することもできる。なお通常パイ
プラインラツチ（図示せず）がこれら加算器の入力端に
設けられている。
【００２７】２−１加算器（例えば加算器１２０、１２
２、１２４）を用いる図３に示すような加算器ツリー１
０８はlog2Ｎ個の加算段を必要とする。スカラブル神経
配列プロセツサ（ＳＮＡＰ）の通信加算器１０８は、例
えば回路技術により、第１ドライバ（ＤＲＶＲ１）１２
６の機能が出力段１１０及び入力段１１６、１１８にそ
れぞれ必要なゲート装置として組込まれることにより加
算機能に付加的な遅延を与えないようにすることができ
るから、その論理機能を表すことに注意すべきである。
又は一般的に順方向加算及び逆方向加算の通信パスを２
−１、３−１、……、Ｎ−１加算器又はそれらの組合せ
によつて作ることもできる。また、一般にこの加算機能
は複数の入力を１つの出力値にまとめる任意の機能（プ
ール又は算術又はそれらの組合せ）を実現できる。
２、１２４）を用いる図３に示すような加算器ツリー１
０８はlog2Ｎ個の加算段を必要とする。スカラブル神経
配列プロセツサ（ＳＮＡＰ）の通信加算器１０８は、例
えば回路技術により、第１ドライバ（ＤＲＶＲ１）１２
６の機能が出力段１１０及び入力段１１６、１１８にそ
れぞれ必要なゲート装置として組込まれることにより加
算機能に付加的な遅延を与えないようにすることができ
るから、その論理機能を表すことに注意すべきである。
又は一般的に順方向加算及び逆方向加算の通信パスを２
−１、３−１、……、Ｎ−１加算器又はそれらの組合せ
によつて作ることもできる。また、一般にこの加算機能
は複数の入力を１つの出力値にまとめる任意の機能（プ
ール又は算術又はそれらの組合せ）を実現できる。
【００２８】図４及び図５において、スカラブル神経配
列プロセツサ（ＳＮＡＰ）乗算器１６０は通信加算器１
０８と共に動作するようになされている。ニユーロン値
用の記憶手段がレジスタ（ＲＥＧ）１６２として用意さ
れ、対応する重みがレジスタ（ＷＴ）１６４として用意
される。（２）式のＹj 及びＷijの値すなわち被演算子
はホストコンピユータからレジスタ１６２及び１６４に
初期化されて乗算器１６６に入力される。初期化後のレ
ジスタ１６２の値Ｙj は通信モード、すなわち第１ドラ
イバ（ＤＲＶＲ１）１２６、１６８……がデイスエーブ
ルかつ第２ドライバ（ＤＲＶＲ２）１２８、１３０……
がイネーブルのとき、通信加算器からパス１７０を介し
て入力する。図４及び図５の場合、乗算器１６６を用い
ているが本発明はこれに限らず、他の機能を本発明の範
囲内でドライバ１６８への出力機能を発生するために用
意することができる。
列プロセツサ（ＳＮＡＰ）乗算器１６０は通信加算器１
０８と共に動作するようになされている。ニユーロン値
用の記憶手段がレジスタ（ＲＥＧ）１６２として用意さ
れ、対応する重みがレジスタ（ＷＴ）１６４として用意
される。（２）式のＹj 及びＷijの値すなわち被演算子
はホストコンピユータからレジスタ１６２及び１６４に
初期化されて乗算器１６６に入力される。初期化後のレ
ジスタ１６２の値Ｙj は通信モード、すなわち第１ドラ
イバ（ＤＲＶＲ１）１２６、１６８……がデイスエーブ
ルかつ第２ドライバ（ＤＲＶＲ２）１２８、１３０……
がイネーブルのとき、通信加算器からパス１７０を介し
て入力する。図４及び図５の場合、乗算器１６６を用い
ているが本発明はこれに限らず、他の機能を本発明の範
囲内でドライバ１６８への出力機能を発生するために用
意することができる。
【００２９】図６及び図７において、スカラブル神経配
列プロセツサ（ＳＮＡＰ）シグモイド発生器１８０は、
まず第１ドライバ（ＤＲＶＲ１）がイネーブルかつ第２
ドライバ（ＤＲＶＲ２）がデイスエーブルのとき、重み
付け入力の加算からニユーロン値Ｙi をシグモイド発生
器（ＳＩＧ）１８２において計算してレジスタ（ＲＥ
Ｇ）１８４に記憶し、その後発生されたニユーロンＹi
の値を、第１ドライバ（ＤＲＶＲ１）がデイスエーブル
かつ第２ドライバ（ＤＲＶＲ２）がイネーブルのとき、
加算器１０８を逆方向に通じて乗算器１６０に戻すこと
により通信加算器ツリー１０８と共に動作する。前述の
ように、シグモイド機能以外の機能を本発明の範囲内
で、活動関数発生器１８０において実行することができ
る。
列プロセツサ（ＳＮＡＰ）シグモイド発生器１８０は、
まず第１ドライバ（ＤＲＶＲ１）がイネーブルかつ第２
ドライバ（ＤＲＶＲ２）がデイスエーブルのとき、重み
付け入力の加算からニユーロン値Ｙi をシグモイド発生
器（ＳＩＧ）１８２において計算してレジスタ（ＲＥ
Ｇ）１８４に記憶し、その後発生されたニユーロンＹi
の値を、第１ドライバ（ＤＲＶＲ１）がデイスエーブル
かつ第２ドライバ（ＤＲＶＲ２）がイネーブルのとき、
加算器１０８を逆方向に通じて乗算器１６０に戻すこと
により通信加算器ツリー１０８と共に動作する。前述の
ように、シグモイド機能以外の機能を本発明の範囲内
で、活動関数発生器１８０において実行することができ
る。
【００３０】図８において、本発明の好適な実施例によ
る４ニユーロンスカラブル神経配列プロセツサ（ＳＮＡ
Ｐ）マトリクスを述べる。図８の実施例の場合、図３の
構成において加算器ツリーを通じて通信パスを利用する
ことができるような構造を図２〜図７の構成に加えるよ
うになされている。この付加構造はＮ個の通信加算ツリ
ー（その１つが加算ツリー２３２である）からなる他の
ツリー群であり、シグモイド発生器２２０、２２２、２
２４及び２２６が第１群２１０、２１２、２１４及び２
１６に直角に配置されている。図８は４ニユーロンスカ
ラブル神経配列プロセツサ（ＳＮＡＰ）内のこれら付加
的なＮ個の構造を示す。通信加算ツリー２３２等及びそ
の活動、又はシグモイド発生器２２０、２２２、２２４
及び２２６を含むこの付加された水平構造（すなわち行
セクシヨン）は図２及び図３、図４及び図５、図６及び
図７について上述した垂直構造と全く同じであるが、行
セクシヨンに新しいドライバイネーブル／デイスエーブ
ル信号（図示せず）が必要な点が異なる。図８〜図１６
に、便宜上垂直コラム加算ツリー（例えば加算器２３
０）に組合されたシグモイド発生器（例えば２１０）を
垂直については添字ｖを付して示し、水平加算ツリー
（例えば２３２）及びこれに組合されたシグモイド発生
器（例えば２２４）を水平について添字ｈを付して示し
ている。同様に、垂直加算ツリーに関連する第１ドライ
バ（ＤＲＶＲ１）及び第２ドライバ（ＤＲＶＲ２）と、
対応するシグモイド発生器（図８〜図１６には図示して
いない）が添字ｖで識別される。同様に水平ツリーに関
連するドライバ及び発生器は添字ｈで識別される。ここ
で乗算器２４６のような各入力機能は直交ニユーロンと
関連付けられており、すなわち次に述べるように１つの
垂直ニユーロン２３０と、１つの水平ニユーロン２３２
とに時分割的に割り当てられる。
る４ニユーロンスカラブル神経配列プロセツサ（ＳＮＡ
Ｐ）マトリクスを述べる。図８の実施例の場合、図３の
構成において加算器ツリーを通じて通信パスを利用する
ことができるような構造を図２〜図７の構成に加えるよ
うになされている。この付加構造はＮ個の通信加算ツリ
ー（その１つが加算ツリー２３２である）からなる他の
ツリー群であり、シグモイド発生器２２０、２２２、２
２４及び２２６が第１群２１０、２１２、２１４及び２
１６に直角に配置されている。図８は４ニユーロンスカ
ラブル神経配列プロセツサ（ＳＮＡＰ）内のこれら付加
的なＮ個の構造を示す。通信加算ツリー２３２等及びそ
の活動、又はシグモイド発生器２２０、２２２、２２４
及び２２６を含むこの付加された水平構造（すなわち行
セクシヨン）は図２及び図３、図４及び図５、図６及び
図７について上述した垂直構造と全く同じであるが、行
セクシヨンに新しいドライバイネーブル／デイスエーブ
ル信号（図示せず）が必要な点が異なる。図８〜図１６
に、便宜上垂直コラム加算ツリー（例えば加算器２３
０）に組合されたシグモイド発生器（例えば２１０）を
垂直については添字ｖを付して示し、水平加算ツリー
（例えば２３２）及びこれに組合されたシグモイド発生
器（例えば２２４）を水平について添字ｈを付して示し
ている。同様に、垂直加算ツリーに関連する第１ドライ
バ（ＤＲＶＲ１）及び第２ドライバ（ＤＲＶＲ２）と、
対応するシグモイド発生器（図８〜図１６には図示して
いない）が添字ｖで識別される。同様に水平ツリーに関
連するドライバ及び発生器は添字ｈで識別される。ここ
で乗算器２４６のような各入力機能は直交ニユーロンと
関連付けられており、すなわち次に述べるように１つの
垂直ニユーロン２３０と、１つの水平ニユーロン２３２
とに時分割的に割り当てられる。
【００３１】図９〜図１６において、図８の４ニユーロ
ンスカラブル神経配列プロセツサ（ＳＮＡＰ）の状態の
説明を本発明による２サイクルの更新動作について行
う。図９〜図１６においてそれぞれのプロセスステツプ
又は状態で実行される機能部分に×印を付してある。図
９〜図１６のマトリクスは図８に対応するが、データパ
スラインを含んでおらず、水平加算ツリー２３２（及び
加算器ツリー２８６、２８８、２９０）を水平バーで表
し、また垂直加算器２３０（及び加算ツリー２８０、２
８２、２８４）を垂直バーで表すことにより簡略化して
ある。説明の便宜上、図１０〜図１６においては選択さ
れた活性要素を参照数字で識別する。
ンスカラブル神経配列プロセツサ（ＳＮＡＰ）の状態の
説明を本発明による２サイクルの更新動作について行
う。図９〜図１６においてそれぞれのプロセスステツプ
又は状態で実行される機能部分に×印を付してある。図
９〜図１６のマトリクスは図８に対応するが、データパ
スラインを含んでおらず、水平加算ツリー２３２（及び
加算器ツリー２８６、２８８、２９０）を水平バーで表
し、また垂直加算器２３０（及び加算ツリー２８０、２
８２、２８４）を垂直バーで表すことにより簡略化して
ある。説明の便宜上、図１０〜図１６においては選択さ
れた活性要素を参照数字で識別する。
【００３２】この実施例の場合、図８及び図９のマトリ
クスは、ホストが重み（図３、図５）と、第１ニユーロ
ン値Ｙ１、Ｙ２、Ｙ３、Ｙ４を各列の乗算器レジスタ１
６２、１６４（図５）にロードすることによつて初期化
される。その後このスカラブル神経配列プロセツサ（Ｓ
ＮＡＰ）構造は次のように動作する。ステツプ１（ＭＵ
ＬＴＩＰＬＹ）図９においてニユーロン値Ｙi が乗算器
２４０、２４２、……２５０、……、２７８において並
列に重みＷijを乗算される。ステツプ２（ＶＥＲＴＩＣ
ＡＬ ＦＯＲＷＡＲＤ）
クスは、ホストが重み（図３、図５）と、第１ニユーロ
ン値Ｙ１、Ｙ２、Ｙ３、Ｙ４を各列の乗算器レジスタ１
６２、１６４（図５）にロードすることによつて初期化
される。その後このスカラブル神経配列プロセツサ（Ｓ
ＮＡＰ）構造は次のように動作する。ステツプ１（ＭＵ
ＬＴＩＰＬＹ）図９においてニユーロン値Ｙi が乗算器
２４０、２４２、……２５０、……、２７８において並
列に重みＷijを乗算される。ステツプ２（ＶＥＲＴＩＣ
ＡＬ ＦＯＲＷＡＲＤ）
【００３３】図１０において、垂直列加算ツリー２３
０、２８０、２８２、２８４がドライバＤＲＶＲ１v を
イネーブル、かつドライバＤＲＶＲ２v 、ＤＲＶＲ
１h 、ＤＲＶＲ２h をデイスエーブルに動作して重み付
けニユーロン値の合成（ここでは加算）をする。ステツ
プ３（ＧＥＮＥＲＡＴＥ ＶＥＲＴＩＣＡＬ） 図１１において垂直活動関数演算をすることにより、シ
グモイド発生器２１０、２１２、２１４、２１６が垂直
ニユーロン値Ｙiv、Ｙ１′、Ｙ２′、Ｙ３′、Ｙ４′を
発生する。ステツプ４（ＶＥＲＴＩＣＡＬ ＲＥＶＥＲ
ＳＥ）
０、２８０、２８２、２８４がドライバＤＲＶＲ１v を
イネーブル、かつドライバＤＲＶＲ２v 、ＤＲＶＲ
１h 、ＤＲＶＲ２h をデイスエーブルに動作して重み付
けニユーロン値の合成（ここでは加算）をする。ステツ
プ３（ＧＥＮＥＲＡＴＥ ＶＥＲＴＩＣＡＬ） 図１１において垂直活動関数演算をすることにより、シ
グモイド発生器２１０、２１２、２１４、２１６が垂直
ニユーロン値Ｙiv、Ｙ１′、Ｙ２′、Ｙ３′、Ｙ４′を
発生する。ステツプ４（ＶＥＲＴＩＣＡＬ ＲＥＶＥＲ
ＳＥ）
【００３４】図１２において、垂直加算ツリー２３０、
２８０、２８２、２８４がドライバＤＲＶＲ２v をイネ
ーブルかつドライバＤＲＶＲ１v、ＤＲＶＲ１h 、ＤＲ
ＶＲ２h をデイスエーブルにして垂直ニユーロン値Ｙiv
を乗算器２４０、２４２、……、２５０、……、２７８
の入力レジスタ１６２（図５）に戻すように動作する。
これは第１更新サイクルを完了させるものであり、列に
初期化される入力値Ｙ１、Ｙ２、Ｙ３、Ｙ４が変更され
てそれぞれ値Ｙ１′、Ｙ２′、Ｙ３′、Ｙ４′としてこ
のマトリクスの行に置かれる。ステツプ５（ＭＵＬＴＩ
ＰＬＹ ＶＥＲＴＩＣＡＬ） 図１３、図５において、垂直ニユーロン値Ｙiv（レジス
タ１６２内の値）に重みＷij（レジスタ１６４内の値）
が乗算（乗算器１６６において）される。
２８０、２８２、２８４がドライバＤＲＶＲ２v をイネ
ーブルかつドライバＤＲＶＲ１v、ＤＲＶＲ１h 、ＤＲ
ＶＲ２h をデイスエーブルにして垂直ニユーロン値Ｙiv
を乗算器２４０、２４２、……、２５０、……、２７８
の入力レジスタ１６２（図５）に戻すように動作する。
これは第１更新サイクルを完了させるものであり、列に
初期化される入力値Ｙ１、Ｙ２、Ｙ３、Ｙ４が変更され
てそれぞれ値Ｙ１′、Ｙ２′、Ｙ３′、Ｙ４′としてこ
のマトリクスの行に置かれる。ステツプ５（ＭＵＬＴＩ
ＰＬＹ ＶＥＲＴＩＣＡＬ） 図１３、図５において、垂直ニユーロン値Ｙiv（レジス
タ１６２内の値）に重みＷij（レジスタ１６４内の値）
が乗算（乗算器１６６において）される。
【００３５】ステツプ６（ＨＯＲＩＺＯＮＴＡＬ ＦＯ
ＲＷＡＲＤ） 図１４、図３において、水平加算ツリー２３２、２８
６、２８８、２９０がドライバＤＲＶ１h をイネーブル
かつドライバＤＲＶＲ２h 、ＤＲＶＲ１v 、ＤＲＶＲ２
v をデイスエーブルにして重み付けニユーロン値の加算
を加算器１７１において行うように動作する。ステツプ
７（ＧＥＮＥＲＡＴＥ ＨＯＲＩＺＯＮＴＡＬ） 図１５、図７において、水平シグモイド発生器２２０、
２２２、２２４、２２６が水平ニユーロン値Ｙih、Ｙ
１″、Ｙ２″、Ｙ３″、Ｙ４″を発生する。ステツプ８
（ＨＯＲＩＺＯＮＴＡＬ ＲＥＶＥＲＳＥ）
ＲＷＡＲＤ） 図１４、図３において、水平加算ツリー２３２、２８
６、２８８、２９０がドライバＤＲＶ１h をイネーブル
かつドライバＤＲＶＲ２h 、ＤＲＶＲ１v 、ＤＲＶＲ２
v をデイスエーブルにして重み付けニユーロン値の加算
を加算器１７１において行うように動作する。ステツプ
７（ＧＥＮＥＲＡＴＥ ＨＯＲＩＺＯＮＴＡＬ） 図１５、図７において、水平シグモイド発生器２２０、
２２２、２２４、２２６が水平ニユーロン値Ｙih、Ｙ
１″、Ｙ２″、Ｙ３″、Ｙ４″を発生する。ステツプ８
（ＨＯＲＩＺＯＮＴＡＬ ＲＥＶＥＲＳＥ）
【００３６】図１６において、水平加算ツリー２３２、
２８６、２８８、２９０がドライバＤＲＶＲ２h をイネ
ーブルかつドライバＤＲＶＲ１h、ＤＲＶＲ１v 、ＤＲ
ＶＲ２v をデイスエーブルにして水平ニユーロン値
Ｙih、Ｙ１″、Ｙ２″、Ｙ３″、Ｙ４″を乗算器２４
０、２４２、……２５０、……２７８の入力レジスタに
戻すように動作する。これが第２更新サイクルを完了さ
せ、２回変更された元の入力値Ｙ１、Ｙ２、Ｙ３、Ｙ４
が列にＹ１″、Ｙ２″、Ｙ３″、Ｙ４″として置かれ
る。ステツプ１〜８はホストが指定する反復回数の完了
まで繰り返される。
２８６、２８８、２９０がドライバＤＲＶＲ２h をイネ
ーブルかつドライバＤＲＶＲ１h、ＤＲＶＲ１v 、ＤＲ
ＶＲ２v をデイスエーブルにして水平ニユーロン値
Ｙih、Ｙ１″、Ｙ２″、Ｙ３″、Ｙ４″を乗算器２４
０、２４２、……２５０、……２７８の入力レジスタに
戻すように動作する。これが第２更新サイクルを完了さ
せ、２回変更された元の入力値Ｙ１、Ｙ２、Ｙ３、Ｙ４
が列にＹ１″、Ｙ２″、Ｙ３″、Ｙ４″として置かれ
る。ステツプ１〜８はホストが指定する反復回数の完了
まで繰り返される。
【００３７】本発明のオブジエクトについてスカラブル
神経配列プロセツサ（ＳＮＡＰ）アーキテクチヤの性能
を評価するために、次のそれぞれの名前付きの要素の遅
延を表す遅延変数が用いられる。 δM ＝乗算器遅延。 δA ＝通信加算器（２−１加算段の遅延）。 δS ＝シグモイド発生器の遅延。 δB ＝通信加算器（通信バイパス段の遅延）。 また次の一般的仮定がある。 １．システム限定クロツク周期はＣであり、全ての遅延
がＣの倍数である。２．このスカラブル神経配列プロセ
ツサ（ＳＮＡＰ）では２対１加算器が、Ｎをシミユレー
トされるニユーロンの総数としてニユーロン入力の数に
等しいとすると、log2Ｎ個の加算段をもつ加算ツリー機
能をもつように使用される。
神経配列プロセツサ（ＳＮＡＰ）アーキテクチヤの性能
を評価するために、次のそれぞれの名前付きの要素の遅
延を表す遅延変数が用いられる。 δM ＝乗算器遅延。 δA ＝通信加算器（２−１加算段の遅延）。 δS ＝シグモイド発生器の遅延。 δB ＝通信加算器（通信バイパス段の遅延）。 また次の一般的仮定がある。 １．システム限定クロツク周期はＣであり、全ての遅延
がＣの倍数である。２．このスカラブル神経配列プロセ
ツサ（ＳＮＡＰ）では２対１加算器が、Ｎをシミユレー
トされるニユーロンの総数としてニユーロン入力の数に
等しいとすると、log2Ｎ個の加算段をもつ加算ツリー機
能をもつように使用される。
【００３８】このスカラブル神経配列プロセツサ（ＳＮ
ＡＰ）アーキテクチヤの性能はニユーロン出力を発生す
るに必要な時間で表される。スカラブル神経配列プロセ
ツサ（ＳＮＡＰ）はリングシストリツク配列をもつもの
は（２）式により表される再帰式に基づいて動作するか
ら、Ｙi （ｔ＋１）の計算は前のＹi （ｔ）値が計算さ
れて入力に入る前には開始できない。この実施例では乗
算及びシグモイド機能はパイプラインとされておらず、
それらの入力を全ての乗算器又はシグモイド遅延期間の
間一定値に維持しなければならない（勿論これらをパイ
プラインとすることはできる）。構造と性能の安全につ
いての計算のための値が必要なとき、種々の機能ユニツ
トの入力にあり、かつ入力論理及び重みアクセスが乗算
動作と並列、すなわちパイプラインモードで動作するこ
とが望ましい。付加的な遅延を導入せずに安全性を得る
ためには各動作が次のように前の動作の完了時に順次生
じなくてはならない。 １．乗算器。 ２．加算ツリー。 ３．シグモイド発生器。 ４．通信ツリー。
ＡＰ）アーキテクチヤの性能はニユーロン出力を発生す
るに必要な時間で表される。スカラブル神経配列プロセ
ツサ（ＳＮＡＰ）はリングシストリツク配列をもつもの
は（２）式により表される再帰式に基づいて動作するか
ら、Ｙi （ｔ＋１）の計算は前のＹi （ｔ）値が計算さ
れて入力に入る前には開始できない。この実施例では乗
算及びシグモイド機能はパイプラインとされておらず、
それらの入力を全ての乗算器又はシグモイド遅延期間の
間一定値に維持しなければならない（勿論これらをパイ
プラインとすることはできる）。構造と性能の安全につ
いての計算のための値が必要なとき、種々の機能ユニツ
トの入力にあり、かつ入力論理及び重みアクセスが乗算
動作と並列、すなわちパイプラインモードで動作するこ
とが望ましい。付加的な遅延を導入せずに安全性を得る
ためには各動作が次のように前の動作の完了時に順次生
じなくてはならない。 １．乗算器。 ２．加算ツリー。 ３．シグモイド発生器。 ４．通信ツリー。
【００３９】この事象シーケンスはリストされた事象を
表す遅延値、すなわち乗算器遅延、log2Ｎ加算ツリー加
算モード遅延、シグモイド遅延、log2Ｎ通信加算ツリー
通信モード遅延に対して比較される出力値を有するカウ
ンタを使用するような簡単な制御メカニズムを必要とす
る。遅延の一致が生じると、このシーケンスの次の事象
がスタートする。この制御シーケンスに従えば、ニユー
ロン値間の周期は次のようになる。
表す遅延値、すなわち乗算器遅延、log2Ｎ加算ツリー加
算モード遅延、シグモイド遅延、log2Ｎ通信加算ツリー
通信モード遅延に対して比較される出力値を有するカウ
ンタを使用するような簡単な制御メカニズムを必要とす
る。遅延の一致が生じると、このシーケンスの次の事象
がスタートする。この制御シーケンスに従えば、ニユー
ロン値間の周期は次のようになる。
【数５】
【００４０】ここでδA ＝δB ＝１Ｃとすれば、スカラ
ブル神経配列プロセツサ（ＳＮＡＰ）の周期は、
ブル神経配列プロセツサ（ＳＮＡＰ）の周期は、
【数６】 となる。これまでの仮定は、重み及びニユーロン値が、
例えば16又は32ビツトのようにその値の精度を反映する
ような任意のビツト数で表されるということである。こ
の値についての表記の選択は、アレイ内の各乗算器がそ
の表記をサポートしなければならないからスカラブル神
経配列プロセツサ（ＳＮＡＰ）の実際の物理的構成を大
きく制限する。例えばＮ2 個の32ビツト乗算器は物理的
な構成により支持されるニユーロン数Ｎを大きく制限す
る。この設計思想においては、スカラブル神経配列プロ
セツサ（ＳＮＡＰ）構成にマツピングされる神経ネツト
ワークの問題にはどの程度の精度が必要かという問題が
生じる。精度は特別の問題であり、従つてこのスカラブ
ル神経配列プロセツサ（ＳＮＡＰ）アーキテクチヤの所
望の特徴はユーザ指定の精度をアプリケーシヨンに必要
なものとし得ることである。プログラム可能な指定ビツ
ト長を用いて、逐次ビツト法を使用すれば、ユーザが選
択可能な精度問題を解決するばかりでなく、物理的な実
施を著しく容易にする。各乗算器の重み及びＹi レジス
タは被演算子のビツト長Ｌがホストからプログラム可能
であるような可変長シフトレジスタとして機能する。乗
算器は精度Ｌ又は２Ｌビツトの逐次ビツト乗算を与え、
結果のビツトが同じく逐次ビツト形の通信加算器に挿入
される。逐次ビツト乗算の一例は「ＩＥＥＥトランザク
シヨンズ・オン・コミユニケーシヨンズ」、1976年４
月、第 418頁、第 425頁の「ツース・コンプリメント・
パイプライン・乗算器」に示されている。シグモイド発
生器は逐次ビツト形か、又は積の値の可変長の和を処理
できるものである。
例えば16又は32ビツトのようにその値の精度を反映する
ような任意のビツト数で表されるということである。こ
の値についての表記の選択は、アレイ内の各乗算器がそ
の表記をサポートしなければならないからスカラブル神
経配列プロセツサ（ＳＮＡＰ）の実際の物理的構成を大
きく制限する。例えばＮ2 個の32ビツト乗算器は物理的
な構成により支持されるニユーロン数Ｎを大きく制限す
る。この設計思想においては、スカラブル神経配列プロ
セツサ（ＳＮＡＰ）構成にマツピングされる神経ネツト
ワークの問題にはどの程度の精度が必要かという問題が
生じる。精度は特別の問題であり、従つてこのスカラブ
ル神経配列プロセツサ（ＳＮＡＰ）アーキテクチヤの所
望の特徴はユーザ指定の精度をアプリケーシヨンに必要
なものとし得ることである。プログラム可能な指定ビツ
ト長を用いて、逐次ビツト法を使用すれば、ユーザが選
択可能な精度問題を解決するばかりでなく、物理的な実
施を著しく容易にする。各乗算器の重み及びＹi レジス
タは被演算子のビツト長Ｌがホストからプログラム可能
であるような可変長シフトレジスタとして機能する。乗
算器は精度Ｌ又は２Ｌビツトの逐次ビツト乗算を与え、
結果のビツトが同じく逐次ビツト形の通信加算器に挿入
される。逐次ビツト乗算の一例は「ＩＥＥＥトランザク
シヨンズ・オン・コミユニケーシヨンズ」、1976年４
月、第 418頁、第 425頁の「ツース・コンプリメント・
パイプライン・乗算器」に示されている。シグモイド発
生器は逐次ビツト形か、又は積の値の可変長の和を処理
できるものである。
【００４１】図１７において、乗算器が精度Ｌビツトを
与える場合にはシグモイド発生器は逐次化されず、長さ
Ｌの積入力の和を処理し、逐次ビツトスカラブル神経配
列プロセツサ（ＳＮＡＰ）周期は次の通りになる。
与える場合にはシグモイド発生器は逐次化されず、長さ
Ｌの積入力の和を処理し、逐次ビツトスカラブル神経配
列プロセツサ（ＳＮＡＰ）周期は次の通りになる。
【数７】 図１８はＮが大きい配列についての有利なパツケージ及
び配線特性を有する物理的レイアウト構造を与える本発
明の一実施例を示し、これによればＮ×Ｎの乗算器配列
が４つの象限に区分され、それぞれがＮ／２×Ｎ／２乗
算器を表すようにされ、シグモイド発生器を有する加算
ツリーがこれら象限間に水平及び垂直に置かれる。
び配線特性を有する物理的レイアウト構造を与える本発
明の一実施例を示し、これによればＮ×Ｎの乗算器配列
が４つの象限に区分され、それぞれがＮ／２×Ｎ／２乗
算器を表すようにされ、シグモイド発生器を有する加算
ツリーがこれら象限間に水平及び垂直に置かれる。
【００４２】図１９及び図２０に例えば図１８のアレイ
構造の４つのニユーロンスカラブル神経配列プロセツサ
（ＳＮＡＰ）乗算器象限の１つを示す。図１９及び図２
０において、大文字Ａは２対１加算器を示す。これらは
図２について述べたように、符号３００及び３０２で示
すような水平及び垂直加算ツリーとして配置される。乗
算器セルＭは図４について上述したものである。これに
より大きい配列は同一のブロツクを用いてスペース及び
配線に有利なマトリクスが得られる。大きな配列につい
て、加算ツリーデータパスに交差するワイヤの数は水平
及び垂直ワイヤリングチヤンネルにおいてlog2（Ｎ／
２）より大きくはならない。シグモイド発生器３１０〜
３２４はこのマトリクスの行方向に用意され、またシグ
モイド発生器３３０〜３４４は列方向に用意される。
構造の４つのニユーロンスカラブル神経配列プロセツサ
（ＳＮＡＰ）乗算器象限の１つを示す。図１９及び図２
０において、大文字Ａは２対１加算器を示す。これらは
図２について述べたように、符号３００及び３０２で示
すような水平及び垂直加算ツリーとして配置される。乗
算器セルＭは図４について上述したものである。これに
より大きい配列は同一のブロツクを用いてスペース及び
配線に有利なマトリクスが得られる。大きな配列につい
て、加算ツリーデータパスに交差するワイヤの数は水平
及び垂直ワイヤリングチヤンネルにおいてlog2（Ｎ／
２）より大きくはならない。シグモイド発生器３１０〜
３２４はこのマトリクスの行方向に用意され、またシグ
モイド発生器３３０〜３４４は列方向に用意される。
【００４３】図２１及び図２２において、本発明のスカ
ラブル神経配列プロセツサ（ＳＮＡＰ）アーキテクチヤ
についてのパツケージ法の一例を述べる。ここでは２つ
の形式の異なるチツプが用いられ、一方は図１９及び図
２０に示す形式の乗算器配列（Ｍ−ＣＨＩＰ）４００〜
４３６であり、他方はそれぞれ４５０〜４５６のような
ＳＩＧＩv ……ＳＩＧ−Ｎv 及びＳＩＧ１h ……ＳＩＧ
−Ｎh について入力通信加算ツリー４６０、４６２、４
６４、４６６を含むニユーロン活動関数演算チツプ４４
０、４４２、４４４、４４６である。このパツケージ法
は拡張を可能にするために、ＳＩＧチツプ入力通信加算
ツリー４６０〜４６６をそれぞれ図２３及び図２４に示
すように僅かに変更している。
ラブル神経配列プロセツサ（ＳＮＡＰ）アーキテクチヤ
についてのパツケージ法の一例を述べる。ここでは２つ
の形式の異なるチツプが用いられ、一方は図１９及び図
２０に示す形式の乗算器配列（Ｍ−ＣＨＩＰ）４００〜
４３６であり、他方はそれぞれ４５０〜４５６のような
ＳＩＧＩv ……ＳＩＧ−Ｎv 及びＳＩＧ１h ……ＳＩＧ
−Ｎh について入力通信加算ツリー４６０、４６２、４
６４、４６６を含むニユーロン活動関数演算チツプ４４
０、４４２、４４４、４４６である。このパツケージ法
は拡張を可能にするために、ＳＩＧチツプ入力通信加算
ツリー４６０〜４６６をそれぞれ図２３及び図２４に示
すように僅かに変更している。
【００４４】図２４において、符号４８０及び４８２で
示すような付加的ドライバＤＲＶＲ３が加算段４８４及
び４８６に付加され、加算段例えば１２０が、ドライバ
（ＤＲＶＲ２）１２８、１３０によつて逆方向に与えら
れる例えば１２４のような加算器のバイパスと同様に順
方向において状態特定制御手段３４（図２５）の制御に
よつてバイパスされ得るようにする。１つの加算段が構
成中のシステムにおいて不要なときにはその段が順方向
においてバイパスされる。より小さいシステムでは使用
されるチツプが加算段内の正しいレベルに接続するよう
にそれらチツプが接続され、かつ入力加算段がバイパス
される。３つの加算段４８４、４８６、４８８を有する
図２３及び図２４のＳＩＧチツプの例の場合には、２つ
の異なるシステムが構成し得るのであり、その１つは象
限当り１つのチツプＭ−ＣＨＩＰであり、第２は図２１
及び図２２に示すように象限当り４つのチツプＭ−ＣＨ
ＩＰ４００、４０２、４０４、４０６をもつものであ
る。勿論より大きい入力ツリーをＳＩＧチツプに組込ん
でより大きい成長を可能にすることができる。これは加
算ツリーの接続が逐次ビツト形であるから特別のチツプ
入出力を必要としない。この方法によれば、拡張は象限
内で対称Ｎ／２×Ｎ／２関係を維持するために各象限内
で４倍する必要がある。この関係を例えば表３に示す。
示すような付加的ドライバＤＲＶＲ３が加算段４８４及
び４８６に付加され、加算段例えば１２０が、ドライバ
（ＤＲＶＲ２）１２８、１３０によつて逆方向に与えら
れる例えば１２４のような加算器のバイパスと同様に順
方向において状態特定制御手段３４（図２５）の制御に
よつてバイパスされ得るようにする。１つの加算段が構
成中のシステムにおいて不要なときにはその段が順方向
においてバイパスされる。より小さいシステムでは使用
されるチツプが加算段内の正しいレベルに接続するよう
にそれらチツプが接続され、かつ入力加算段がバイパス
される。３つの加算段４８４、４８６、４８８を有する
図２３及び図２４のＳＩＧチツプの例の場合には、２つ
の異なるシステムが構成し得るのであり、その１つは象
限当り１つのチツプＭ−ＣＨＩＰであり、第２は図２１
及び図２２に示すように象限当り４つのチツプＭ−ＣＨ
ＩＰ４００、４０２、４０４、４０６をもつものであ
る。勿論より大きい入力ツリーをＳＩＧチツプに組込ん
でより大きい成長を可能にすることができる。これは加
算ツリーの接続が逐次ビツト形であるから特別のチツプ
入出力を必要としない。この方法によれば、拡張は象限
内で対称Ｎ／２×Ｎ／２関係を維持するために各象限内
で４倍する必要がある。この関係を例えば表３に示す。
【表３】
【００４５】図２５において、ホスト３０はスカラブル
神経配列プロセツサ３２に対し２方向通信を行うことが
でき、このプロセツサはここに述べるプロトコルに従つ
てイネーブル／デイスエーブル状態特定制御手段３４に
応答する種々のドライバＤＲＶＲ１、ＤＲＶＲ２、ＤＲ
ＶＲ３を含む。図２６において、本発明の行（ロー）ス
カラビリテイ（scalability)を述べる。この実施例にお
いて、一時にＮ行より少ない行数（この実施例の場合２
行）ごとにＮ×Ｎ神経配列マトリクスを処理する。かく
してそれぞれＮ個の乗算器５０４、５０６の長さをもつ
２つの行５００、５０２が、それぞれ垂直通信加算ツリ
ー５１４、５１６、……、５１８の出力側に設けられる
反復加算器５０８、５１０、……、５１２を有する。
神経配列プロセツサ３２に対し２方向通信を行うことが
でき、このプロセツサはここに述べるプロトコルに従つ
てイネーブル／デイスエーブル状態特定制御手段３４に
応答する種々のドライバＤＲＶＲ１、ＤＲＶＲ２、ＤＲ
ＶＲ３を含む。図２６において、本発明の行（ロー）ス
カラビリテイ（scalability)を述べる。この実施例にお
いて、一時にＮ行より少ない行数（この実施例の場合２
行）ごとにＮ×Ｎ神経配列マトリクスを処理する。かく
してそれぞれＮ個の乗算器５０４、５０６の長さをもつ
２つの行５００、５０２が、それぞれ垂直通信加算ツリ
ー５１４、５１６、……、５１８の出力側に設けられる
反復加算器５０８、５１０、……、５１２を有する。
【００４６】図２７において、会話型加算器５１２は加
算器（２−１ＡＤＤＥＲ）５２０及び記憶レジスタ（Ｒ
ＥＧ）５２２を含む。会話型加算器５１２は、列５１８
が最終加算が形成されてシグモイド発生器５２４に与え
られるまでＮ／＃ＲＯＷＳ回繰返されるとき、垂直加算
ツリー５１８の部分和をレジスタ５２２に累積する。同
様に、会話型５０８及び５１０は一時に２行（ロー）５
００、５０２（＃ＲＯＷＳ）ずつ加算器ツリー５１４、
５１６からの部分和を累積し、最終加算を活動（シグモ
イド）機能５２６、５２８にそれぞれ与える。これら列
（コラム）加算が完了した後に、Ｎ個のニユーロン値が
図２８〜図３２について述べるように、活動関数演算５
２４、５２６、５２８……によつて発生されて加算ツリ
ー５１４、５１６、……５１８から水平加算ツリー５０
０、５０２に戻される。
算器（２−１ＡＤＤＥＲ）５２０及び記憶レジスタ（Ｒ
ＥＧ）５２２を含む。会話型加算器５１２は、列５１８
が最終加算が形成されてシグモイド発生器５２４に与え
られるまでＮ／＃ＲＯＷＳ回繰返されるとき、垂直加算
ツリー５１８の部分和をレジスタ５２２に累積する。同
様に、会話型５０８及び５１０は一時に２行（ロー）５
００、５０２（＃ＲＯＷＳ）ずつ加算器ツリー５１４、
５１６からの部分和を累積し、最終加算を活動（シグモ
イド）機能５２６、５２８にそれぞれ与える。これら列
（コラム）加算が完了した後に、Ｎ個のニユーロン値が
図２８〜図３２について述べるように、活動関数演算５
２４、５２６、５２８……によつて発生されて加算ツリ
ー５１４、５１６、……５１８から水平加算ツリー５０
０、５０２に戻される。
【００４７】図２８において、垂直加算ツリー５１８
（図２６）は本発明のデユアルパス形式を有する。ここ
では、性能並びに加算ツリー１０８（図３）との対比の
ために、別個の逆方向通信パス５３０、５３１、５３
２、５３４、５３６がシグモイド５２４のレジスタ５７
０（図３２）の出力ＹN から乗算器５０４、５０６、…
…に与えられる（図２８には４本の逆方向通信パス５３
０〜５３６を示しているが、図２７の実施例では２行に
は２個だけが必要である。）ツリー１０８のサイズによ
り、かつ用いられる回路技術により、ドライバＤＲＶＲ
２、５３８及び５４０がローデイングの処理のために逆
方向の通信パス５３０〜５３６で使用される。逆方向の
通信パス５３０、５３２、５３４、５３６は加算ツリー
パス５４０〜５５０の後段となつているが、これらのあ
て先は例えば５０４、５０６のような乗算器の入力レジ
スタ５６４（図２８）であるからこれは必要ではない。
（図２６）は本発明のデユアルパス形式を有する。ここ
では、性能並びに加算ツリー１０８（図３）との対比の
ために、別個の逆方向通信パス５３０、５３１、５３
２、５３４、５３６がシグモイド５２４のレジスタ５７
０（図３２）の出力ＹN から乗算器５０４、５０６、…
…に与えられる（図２８には４本の逆方向通信パス５３
０〜５３６を示しているが、図２７の実施例では２行に
は２個だけが必要である。）ツリー１０８のサイズによ
り、かつ用いられる回路技術により、ドライバＤＲＶＲ
２、５３８及び５４０がローデイングの処理のために逆
方向の通信パス５３０〜５３６で使用される。逆方向の
通信パス５３０、５３２、５３４、５３６は加算ツリー
パス５４０〜５５０の後段となつているが、これらのあ
て先は例えば５０４、５０６のような乗算器の入力レジ
スタ５６４（図２８）であるからこれは必要ではない。
【００４８】図２９及び図３０、図３１及び図３２にお
いて乗算器５０４、５０６及びシグモイド発生器５２４
はこの逆方向の通信パスのためにライン５６０、５６２
を与えることによつて変更されている。図３０におい
て、例えば乗算機能５０４はニユーロン値Ｎ／＃ＲＯＷ
Ｓ及びそれに関連するＹ値スタツク５６４及び重みスタ
ツク５６６内の重みを記憶する。スタツク５６４、５６
６はＦＩＦＯ構成でニユーロン値Ｎ／＃ＲＯＷＳを記憶
する。同様に図３２において各行（ロー）５００、５０
２はＮ／＃ＲＯＷＳ回繰返し演算しなければならないか
ら、シグモイド発生器５２４（図３１）はレジスタ５７
０を含むことにより、重畳動作を可能にするようなパイ
プライン形式になされている。
いて乗算器５０４、５０６及びシグモイド発生器５２４
はこの逆方向の通信パスのためにライン５６０、５６２
を与えることによつて変更されている。図３０におい
て、例えば乗算機能５０４はニユーロン値Ｎ／＃ＲＯＷ
Ｓ及びそれに関連するＹ値スタツク５６４及び重みスタ
ツク５６６内の重みを記憶する。スタツク５６４、５６
６はＦＩＦＯ構成でニユーロン値Ｎ／＃ＲＯＷＳを記憶
する。同様に図３２において各行（ロー）５００、５０
２はＮ／＃ＲＯＷＳ回繰返し演算しなければならないか
ら、シグモイド発生器５２４（図３１）はレジスタ５７
０を含むことにより、重畳動作を可能にするようなパイ
プライン形式になされている。
【００４９】図３３及び図２６をみるに、本発明の行
（ロー）スカラビリテイでは２つの行が行５００、５０
２についてそれぞれ１つずつの２−７段デユアルパス加
算器及びコラム５１４、……、５１８についてそれぞれ
１つの１２８個の１段加算器５９１、５９３を有すると
共に、Ｎ＝１０２４ニユーロンシステムを作るための２
×１２８乗算器レイチツプ６０１について最小ビルデイ
ングブロツクを表す。ラインＲＯＷ−１（ｘｘｘ）ｈ５
９０はライン５９４で置き代えられた第１行５００につ
いての７段通信加算器５９２の出力であり、また第２行
５０２についての加算器５９６の出力である。ここでは
コラム出力部分和ラインＰＳ１、ＰＳ２、ＰＳ３……Ｐ
Ｓ１２８が設けられ、それぞれがシグモイド発生器チツ
プ内の会話型加算器５０８、５１０、……５１２にバイ
パスされた入力ツリーを接続する。拡張は、このシステ
ムに行を加え、かつシグモイド発生器チツプを図３４及
び図３５に示すように接続することにより行われる。
（ロー）スカラビリテイでは２つの行が行５００、５０
２についてそれぞれ１つずつの２−７段デユアルパス加
算器及びコラム５１４、……、５１８についてそれぞれ
１つの１２８個の１段加算器５９１、５９３を有すると
共に、Ｎ＝１０２４ニユーロンシステムを作るための２
×１２８乗算器レイチツプ６０１について最小ビルデイ
ングブロツクを表す。ラインＲＯＷ−１（ｘｘｘ）ｈ５
９０はライン５９４で置き代えられた第１行５００につ
いての７段通信加算器５９２の出力であり、また第２行
５０２についての加算器５９６の出力である。ここでは
コラム出力部分和ラインＰＳ１、ＰＳ２、ＰＳ３……Ｐ
Ｓ１２８が設けられ、それぞれがシグモイド発生器チツ
プ内の会話型加算器５０８、５１０、……５１２にバイ
パスされた入力ツリーを接続する。拡張は、このシステ
ムに行を加え、かつシグモイド発生器チツプを図３４及
び図３５に示すように接続することにより行われる。
【００５０】行スカラビリテイを有するスカラブル神経
配列プロセツサ（ＳＮＡＰ）の性能はコラムＹｉの発生
に関連する周期及び行Ｙｉの発生に関連する別の周期に
よつて予想されるような対称形ではない。
配列プロセツサ（ＳＮＡＰ）の性能はコラムＹｉの発生
に関連する周期及び行Ｙｉの発生に関連する別の周期に
よつて予想されるような対称形ではない。
【数８】 ただし、δIAは会話型加算器遅延である。
【数９】 行が付加されると性能はより対称に近くなり、Ｎ列×Ｎ
行では前述のように行スカラビリテイを伴わないスカラ
ブル神経配列プロセツサ（ＳＮＡＰ）の性能に等しくな
る。
行では前述のように行スカラビリテイを伴わないスカラ
ブル神経配列プロセツサ（ＳＮＡＰ）の性能に等しくな
る。
【００５１】図３６及び図３７において、本発明のスカ
ラブル神経配列プロセツサ（ＳＮＡＰ）直交スイツチン
グの概念はニユーロン限定における２次元行／列スイツ
チからニユーロン面間の３次元スイツチに拡張される。
図３６の立方形構造６４０では４個の面６４２、６４
４、６４６、６４８はそれぞれ４ニユーロンネツトワー
クにおけるニユーロンの１つを表す。加算収斂(add con
vergence) は４個のピラミツド形構造６５０、６５２、
６５４、６５６で示されており、ニユーロンそれぞれに
１つとなつて２対１加算要素を含む。このように側面
１、６４２はそれぞれ値Ｙ１、Ｙ２、Ｙ３、Ｙ４に初期
化された入力要素６６０、６６２、６６４、６６６を含
む第１ニユーロンを表す。第１動作サイクルにおいてこ
の第１ニユーロン値Ｙ１′が発生されて入力要素６６
０、６６２、６６４、６６６にロードされる。第２サイ
クルにおいて入力要素６６０からのＹ１′値、入力要素
６７０からのＹ２′値及び側面３、６４６及び側面４、
６４８からの対応する入力要素からのＹ３′及びＹ４′
値がシグモイド発生器７００に加えられて値Ｙ１″を作
る。図３７及び図３８においては図３６の立方形構造を
展開して２回の更新サイクルによる４−ニユーロンスカ
ラブル神経配列プロセツサ（ＳＮＡＰ）を示している。
直交の概念は、例えば要素６６０であるそれぞれの入力
要素が２つのニユーロン間で時分割されている限り、こ
の実施例においても維持されており、この場合には第１
ニユーロンが入力要素６６０、６６２、６６４、６６６
を含み、また第２ニユーロンが入力要素６６０、６７０
を含む。
ラブル神経配列プロセツサ（ＳＮＡＰ）直交スイツチン
グの概念はニユーロン限定における２次元行／列スイツ
チからニユーロン面間の３次元スイツチに拡張される。
図３６の立方形構造６４０では４個の面６４２、６４
４、６４６、６４８はそれぞれ４ニユーロンネツトワー
クにおけるニユーロンの１つを表す。加算収斂(add con
vergence) は４個のピラミツド形構造６５０、６５２、
６５４、６５６で示されており、ニユーロンそれぞれに
１つとなつて２対１加算要素を含む。このように側面
１、６４２はそれぞれ値Ｙ１、Ｙ２、Ｙ３、Ｙ４に初期
化された入力要素６６０、６６２、６６４、６６６を含
む第１ニユーロンを表す。第１動作サイクルにおいてこ
の第１ニユーロン値Ｙ１′が発生されて入力要素６６
０、６６２、６６４、６６６にロードされる。第２サイ
クルにおいて入力要素６６０からのＹ１′値、入力要素
６７０からのＹ２′値及び側面３、６４６及び側面４、
６４８からの対応する入力要素からのＹ３′及びＹ４′
値がシグモイド発生器７００に加えられて値Ｙ１″を作
る。図３７及び図３８においては図３６の立方形構造を
展開して２回の更新サイクルによる４−ニユーロンスカ
ラブル神経配列プロセツサ（ＳＮＡＰ）を示している。
直交の概念は、例えば要素６６０であるそれぞれの入力
要素が２つのニユーロン間で時分割されている限り、こ
の実施例においても維持されており、この場合には第１
ニユーロンが入力要素６６０、６６２、６６４、６６６
を含み、また第２ニユーロンが入力要素６６０、６７０
を含む。
【００５２】上述したように、通信加算ツリーを用いる
ことにより、又は同様の相互接続構造及び本発明のスカ
ラブル神経配列プロセツサ（ＳＮＡＰ）構造を用いるこ
とにより、Ｎ2 個の接続の本質的な制限が著しく低下し
て完全な相互接続を維持しつつ正規の構造の拡張を可能
にする。さらに必要とするＮ2 回の通信の性能上のイン
パクトはlog2Ｎであり、これはＮが増加したときのイン
パクトを小さいものにする。表４は、本発明の「ＳＮＡ
Ｐ」、「ＢＩＴ ＳＥＲＩＡＬ ＳＮＡＰ」及び「ＳＮ
ＡＰ ＲＯＷ」アーキテクチヤと、従来の「ＳＹＳＴＯ
ＬＩＣ ＲＩＮＧ」アーキテクチヤ間のハードウエアコ
スト及び性能の比較を含む要約パフオーマンス評価及び
別のアーキテクチヤとの比較を示す。
ことにより、又は同様の相互接続構造及び本発明のスカ
ラブル神経配列プロセツサ（ＳＮＡＰ）構造を用いるこ
とにより、Ｎ2 個の接続の本質的な制限が著しく低下し
て完全な相互接続を維持しつつ正規の構造の拡張を可能
にする。さらに必要とするＮ2 回の通信の性能上のイン
パクトはlog2Ｎであり、これはＮが増加したときのイン
パクトを小さいものにする。表４は、本発明の「ＳＮＡ
Ｐ」、「ＢＩＴ ＳＥＲＩＡＬ ＳＮＡＰ」及び「ＳＮ
ＡＰ ＲＯＷ」アーキテクチヤと、従来の「ＳＹＳＴＯ
ＬＩＣ ＲＩＮＧ」アーキテクチヤ間のハードウエアコ
スト及び性能の比較を含む要約パフオーマンス評価及び
別のアーキテクチヤとの比較を示す。
【表４】
【００５３】
【発明の効果】上述のように本発明によれば、新しい神
経システムアーキテクチヤが構成され、大型神経ネツト
ワークの直接的モデル化をすることができる。また神経
配列の物理的な構成上の複雑さが軽減される。
経システムアーキテクチヤが構成され、大型神経ネツト
ワークの直接的モデル化をすることができる。また神経
配列の物理的な構成上の複雑さが軽減される。
【図１】総合接続法を表す４ニユーロン配列を示す略線
的接続図である。
的接続図である。
【図２】本発明による通信加算器を示す略線的接続図で
ある。
ある。
【図３】本発明による通信加算器を示す略線的接続図で
ある。
ある。
【図４】本発明による乗算器を示す略線的接続図であ
る。
る。
【図５】本発明による乗算器を示す略線的接続図であ
る。
る。
【図６】本発明による活動関数発生器（シグモイド発生
器）を示す略線的接続図である。
器）を示す略線的接続図である。
【図７】本発明による活動関数発生器（シグモイド発生
器）を示す略線的接続図である。
器）を示す略線的接続図である。
【図８】４ニユーロンマトリクスを形成するための通信
加算器、乗算器及びシグモイド発生器の相互接続を示す
略線的接続図である。
加算器、乗算器及びシグモイド発生器の相互接続を示す
略線的接続図である。
【図９】２回のニユーロン更新サイクル動作を通じて図
８の４ニユーロンマトリクスの選択された要素の乗算動
作状態を示す略線的接続図である。
８の４ニユーロンマトリクスの選択された要素の乗算動
作状態を示す略線的接続図である。
【図１０】２回のニユーロン更新サイクル動作を通じて
図８の４ニユーロンマトリクスの選択された要素の垂直
順方向加算動作状態を示す略線的接続図である。
図８の４ニユーロンマトリクスの選択された要素の垂直
順方向加算動作状態を示す略線的接続図である。
【図１１】２回のニユーロン更新サイクル動作を通じて
図８の４ニユーロンマトリクスの選択された要素の垂直
活動関数演算動作状態を示す略線的接続図である。
図８の４ニユーロンマトリクスの選択された要素の垂直
活動関数演算動作状態を示す略線的接続図である。
【図１２】２回のニユーロン更新サイクル動作を通じて
図８の４ニユーロンマトリクスの選択された要素の垂直
逆方向通過動作状態を示す略線的接続図である。
図８の４ニユーロンマトリクスの選択された要素の垂直
逆方向通過動作状態を示す略線的接続図である。
【図１３】２回のニユーロン更新サイクル動作を通じて
図８の４ニユーロンマトリクスの選択された要素の垂直
乗算動作状態を示す略線的接続図である。
図８の４ニユーロンマトリクスの選択された要素の垂直
乗算動作状態を示す略線的接続図である。
【図１４】２回のニユーロン更新サイクル動作を通じて
図８の４ニユーロンマトリクスの選択された要素の水平
順方向動作状態を示す略線的接続図である。
図８の４ニユーロンマトリクスの選択された要素の水平
順方向動作状態を示す略線的接続図である。
【図１５】２回のニユーロン更新サイクル動作を通じて
図８の４ニユーロンマトリクスの選択された要素の水平
活動関数演算動作状態を示す略線的接続図である。
図８の４ニユーロンマトリクスの選択された要素の水平
活動関数演算動作状態を示す略線的接続図である。
【図１６】２回のニユーロン更新サイクル動作を通じて
図８の４ニユーロンマトリクスの選択された要素の水平
逆方向動作状態を示す略線的接続図である。
図８の４ニユーロンマトリクスの選択された要素の水平
逆方向動作状態を示す略線的接続図である。
【図１７】本発明の逐次ビツト実施例についてのタイミ
ングを示すタイミング図である。
ングを示すタイミング図である。
【図１８】ニユーロンマトリクスのパツケージング及び
ワイヤリングについての物理的レイアウト構造を示す略
線図である。
ワイヤリングについての物理的レイアウト構造を示す略
線図である。
【図１９】１６ニユーロンマトリクスの乗算器象限部分
の構成を示す略線的接続図である。
の構成を示す略線的接続図である。
【図２０】１６ニユーロンマトリクスの乗算器象限部分
の構成を示す略線的接続図である。
の構成を示す略線的接続図である。
【図２１】乗算器配列チツプ及びニユーロン活動機能チ
ツプを有するニユーロンマトリクスのパツケージング及
びワイヤリングについての物理的レイアウト構造を示す
略線図である。
ツプを有するニユーロンマトリクスのパツケージング及
びワイヤリングについての物理的レイアウト構造を示す
略線図である。
【図２２】乗算器配列チツプ及びニユーロン活動機能チ
ツプを有するニユーロンマトリクスのパツケージング及
びワイヤリングについての物理的レイアウト構造を示す
略線図である。
ツプを有するニユーロンマトリクスのパツケージング及
びワイヤリングについての物理的レイアウト構造を示す
略線図である。
【図２３】図２１のニユーロンマトリクスのニユーロン
活動機能チツプの一実施例の略線図である。
活動機能チツプの一実施例の略線図である。
【図２４】図２１のニユーロンマトリクスのニユーロン
活動機能チツプの一実施例の略線図である。
活動機能チツプの一実施例の略線図である。
【図２５】ホストエンドバイロンメント内の本発明の神
経アレイネツトワークを示すブロツク図である。
経アレイネツトワークを示すブロツク図である。
【図２６】本発明の行スカラビリテイ実施例について会
話型加算器の使用態様を示す略線的接続図である。
話型加算器の使用態様を示す略線的接続図である。
【図２７】図２６の会話型加算器を示すブロツク図であ
る。
る。
【図２８】本発明のデユアルパス加算器を示すブロツク
図である。
図である。
【図２９】本発明の他のデユアルパス加算器について乗
算器機能の構成を示す略線的接続図である。
算器機能の構成を示す略線的接続図である。
【図３０】本発明の他のデユアルパス加算器について乗
算器機能の構成を示す略線的接続図である。
算器機能の構成を示す略線的接続図である。
【図３１】１０２２の行スカラビリテイについてのシグ
モイド乗算器活動機能の構成を示す略線的接続図であ
る。
モイド乗算器活動機能の構成を示す略線的接続図であ
る。
【図３２】１０２２の行スカラビリテイについてのシグ
モイド乗算器活動機能の構成を示す略線的接続図であ
る。
モイド乗算器活動機能の構成を示す略線的接続図であ
る。
【図３３】行スカラビリテイについての乗算器チツプの
一例を示す略線的接続図である。
一例を示す略線的接続図である。
【図３４】Ｎ＝１０２４ニユーロンシステムについて２
行ビルデイングブロツクを用いた本発明の行スカラビリ
テイ用の乗算器配列チツプの一例を示す略線的接続図で
ある。
行ビルデイングブロツクを用いた本発明の行スカラビリ
テイ用の乗算器配列チツプの一例を示す略線的接続図で
ある。
【図３５】Ｎ＝１０２４ニユーロンシステムについて２
行ビルデイングブロツクを用いた本発明の行スカラビリ
テイ用の乗算器配列チツプの一例を示す略線的接続図で
ある。
行ビルデイングブロツクを用いた本発明の行スカラビリ
テイ用の乗算器配列チツプの一例を示す略線的接続図で
ある。
【図３６】４ニユーロンスカラブル神経配列プロセツサ
（ＳＮＡＰ）についての本発明の３次元構成例を示す略
線的接続図である。
（ＳＮＡＰ）についての本発明の３次元構成例を示す略
線的接続図である。
【図３７】図３６の３次元４ニユーロンスカラブル神経
配列プロセツサ（ＳＮＡＰ）を示す略線的接続図であ
る。
配列プロセツサ（ＳＮＡＰ）を示す略線的接続図であ
る。
【図３８】図３６及び図３７の３次元４ニユーロンスカ
ラブル神経配列プロセツサ（ＳＮＡＰ）の２回の更新サ
イクルにおけるニユーロン入力値を示す略線図である。
ラブル神経配列プロセツサ（ＳＮＡＰ）の２回の更新サ
イクルにおけるニユーロン入力値を示す略線図である。
【図３９】代表的ニユーロン機能を示すブロツク図であ
る。
る。
【図４０】従来のリングシストロリツク配列を示すブロ
ツク図である。
ツク図である。
６０、９２、９４……ニユーロン、６２、８０、８３、
８４……加算ツリー、６１、６３、６４、６５、６６、
６７、６８、７０、７１、７３、７５、７７、９１、９
３、９５、９７……乗算器、７２、７４、７６、７８…
…シグモイド発生器、７９……データパス、１１０、１
１６、１１８、１２０、１２２、１２４……加算器。
８４……加算ツリー、６１、６３、６４、６５、６６、
６７、６８、７０、７１、７３、７５、７７、９１、９
３、９５、９７……乗算器、７２、７４、７６、７８…
…シグモイド発生器、７９……データパス、１１０、１
１６、１１８、１２０、１２２、１２４……加算器。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ゲラルド・ジヨージ・ペチヤネツク アメリカ合衆国、ニユーヨーク州13760、 エンドウエル、デボネイアー・ドライブ 945番地 (56)参考文献 特開 平２−58157（ＪＰ，Ａ) 特開 平２−29851（ＪＰ，Ａ)
Claims (29)
- 【請求項１】複数の入力機能要素を含み、各入力機能要
素は直交するニユーロンに選択的に割り当てられ、 前記各ニユーロンは 選択された入力機能要素群から１つのニユーロン値を発
生する手段と 前記ニユーロン値を前記入力機能要素群に通信する手段
とを含むことを特徴とするコンピユ−タ装置。 - 【請求項２】前記入力機能要素は重み付け入力値を発生
するために入力値に重み値を適用する手段を含むことを
特徴とする特許請求の範囲第１項に記載のコンピユータ
装置。 - 【請求項３】前記ニユーロン値発生手段は前記入力機能
要素のそれぞれからの前記重み付けられた入力値を合成
する手段と、当該合成手段の出力に活動関数を適用する
手段とを含むことを特徴とする特許請求の範囲第２項に
記載のコンピユータ装置。 - 【請求項４】前記適用する手段はデイジタル乗算器を含
むことを特徴とする特許請求の範囲第２項に記載のコン
ピユータ装置。 - 【請求項５】前記適用する手段は加算ツリーを含むこと
を特徴とする特許請求の範囲第３項に記載のコンピユー
タ装置。 - 【請求項６】前記活動関数はシグモイド関数を含むこと
を特徴とする特許請求の範囲第３項に記載のコンピユー
タ装置。 - 【請求項７】前記通信する手段は前記ニユーロン値及び
前記重み付けられた入力値を前記活動関数適用手段に通
信するために選択的に動作し得る通信パスを含むことを
特徴とする特許請求の範囲第３項に記載のコンピユータ
装置。 - 【請求項８】前記通信パス手段は前記重み付けられた入
力値及び前記ニユーロン値に対する各別の伝送パスを含
むことを特徴とする特許請求の範囲第７項に記載のコン
ピユータ装置。 - 【請求項９】前記入力機能要素のそれぞれを１つの列ニ
ユーロン内の行要素及び行ニユーロン内の列要素として
選択的に割り当てる手段を含むことを特徴とする特許請
求の範囲第１項に記載のコンピユータ装置。 - 【請求項１０】前記発生する手段及び前記通信する手段
をビツト逐次モードで動作させる手段を含むことを特徴
とする特許請求の範囲第３項に記載のコンピユータ装
置。 - 【請求項１１】前記合成する手段は重み付けられた入力
値の部分和を累積するための会話型加算手段を含むこと
を特徴とする特許請求の範囲第３項に記載のコンピユー
タ装置。 - 【請求項１２】それぞれが入力機能要素、活動機能要素
及び接続ネツトワークを含む複数のニユーロンを含み、
さらに、 計算状態及び通信状態を特定する状態手段と、 上記状態手段に応答して上記入力機能要素及び上記活動
機能要素をニユーロン値を発生するように動作させる手
段と、 上記計算状態に応答して上記入力機能要素の出力を上記
活動機能要素に通信するためのデータパス手段と、 上記通信状態に応答して上記データパスを、上記ニユー
ロン値を上記入力機能要素に通信するように動作させる
手段とを具えることを特徴とするスカラブル神経配列プ
ロセツサ。 - 【請求項１３】接続ネツトワークを含む神経配列プロセ
ツサに用い、 計算状態及び通信状態を特定する状態手段と、 上記計算状態に応じて少なくとも２つの入力を合成して
上記加算器の出力を発生する加算手段と、 上記計算状態に応答して上記加算器出力をデータパスに
通信する第１ドライバ手段と、 上記通信状態に応答して上記データパスを上記入力に接
続する第２ドライバ手段とを具えることを特徴とする加
算ツリー。 - 【請求項１４】さらに、 前記加算状態及び前記加算出力に応答して活動関数を適
用することによりニユーロン値を発生する関数演算発生
器手段と、 前記通信状態に応答して上記ニユーロン値を前記データ
パスに通信する第３ドライバ手段とを具えることを特徴
とする特許請求の範囲第１３項に記載の神経配列プロセ
ツサに使用するための活動関数発生器。 - 【請求項１５】さらに、 第１被演算子を記憶するための第１被演算子手段と、 第２被演算子を記憶するための第２被演算子手段と、 前記加算状態と上記第１及び第２被演算子とに応答して
前記加算手段に通信するための出力を発生する乗算器
と、 前記通信状態に応答して前記データパス上の前記ニユー
ロン出力を上記第２被演算子手段に通信するための通信
手段とを具えることを特徴とする特許請求の範囲第１４
項に記載の神経配列プロセツサに使用するための乗算
器。 - 【請求項１６】複数の相互接続構造及び当該相互接続構
造の内の１つからの出力信号に応じて活動関数を適用す
ることによりニユーロン値を発生する活動関数発生器か
らなる直交群を含むスカラブル神経配列プロセツサ。 - 【請求項１７】さらに、 前記相互接続構造は第１状態において複数の入力に選択
的に応答して前記出力信号を発生し、第２状態において
前記ニユーロン値を上記入力に戻すように動作する加算
ツリーを 具えることを特徴とする特許請求の範囲第１６項に記載
の神経配列プロセツサ。 - 【請求項１８】入力機能の第１副群に基づき１つのニユ
ーロン値を発生して上記第１副群に戻すように第１ニユ
ーロンを演算するステツプと、 上記入力機能要素の第１副群のそれぞれを直交ニユーロ
ン群の異なつたものに割り当てるステツプとを具えるこ
とを特徴とする複数の入力機能要素と直交するニユーロ
ン群を含む配列プロセツサの動作方法。 - 【請求項１９】乗算器配列と、複数の直交する垂直及び
水平加算ツリー群と、活動関数発生器とを含むスカラブ
ル神経配列について、 計算状態及び通信状態を同期的に特定するステツプと、 第１計算状態に応答して上記乗算器を第１の重み付けニ
ユーロン値群を発生するように動作させるステツプと、 第１通信状態に応答して上記垂直加算ツリーを上記第１
重み付けニユーロン値群によりこの第１重み付けニユー
ロン値の第１加算を行うように動作させるステツプと、 第２計算状態に応答して上記垂直活動関数発生器を上記
第１加算に応じて活動関数を適用することにより垂直ニ
ューロン値を発生するように演算させるステツプと、 第２通信状態に応答して上記垂直加算ツリーを上記垂直
ニユーロン値を上記乗算器の入力に戻すように動作させ
るステツプと、 第３計算状態に応答して上記乗算器を上記垂直ニユーロ
ン値に応じて第２重み付けニユーロン値群を発生するよ
うに動作させるステツプと、 第３通信状態に応答して上記水平加算ツリーを上記第２
重み付けニユーロン値群の第２加算を発生するように動
作させるステツプと、 第４計算状態に応答して上記水平活動関数発生器を上記
第２加算に応じて活動関数を適用することにより水平ニ
ユーロン値を発生させるように動作させるステツプと、 第４通信状態に応答して上記水平加算ツリーを上記水平
ニユーロン値を上記乗算器の入力に戻すように動作させ
るステツプとを具えることを特徴とするスカラブル神経
配列プロセツサの動作方法。 - 【請求項２０】機能要素配列と、通信、計算及び減算の
ための複数の直交する垂直及び水平処理要素群を含むス
カラブル神経配列プロセツサについて、 計算状態及び通信状態を周期的に特定するステツプと、 第１計算状態に応答して上記機能要素を第１出力値群を
発生するように動作させるステツプと、 第１通信状態に応答して上記垂直処理要素を第１出力値
群に応じて上記出力値から第１計算値及び第１減算値を
発生させるように動作させるステツプと、 第２計算状態に応答して上記垂直処理要素を上記第１減
算値に応じて垂直出力値を発生するように動作させるス
テツプと、 第２通信状態に応答して上記垂直処理要素を上記垂直出
力を上記機能要素の入力に戻すように動作させるステツ
プと、 第３計算状態に応答して上記機能要素を上記垂直出力値
に応じて第２出力値群を発生するように動作させるステ
ツプと、 第３通信状態に応答して上記水平処理要素を第２計算値
及び第２減算値を発生するように動作させるステツプ
と、 第４計算状態に応答して上記水平処理要素を上記第２減
算値に応じて水平出力値を発生するように動作させるス
テツプと、 第４通信状態に応答して上記水平処理要素を上記水平出
力値を上記機能要素の入力に戻すように動作させるステ
ツプとを具えることを特徴とする神経配列プロセツサの
動作方法。 - 【請求項２１】複数の機能要素手段と、計算、減算及び
通信のための複数の直交垂直及び水平処理手段群とを具
え、さらに、 第１計算状態に応答して第１出力値群を発生する上記機
能要素手段と、 第１通信状態に応答して上記第１出力値群から第１減算
値を計算する上記垂直処理手段と、 第２計算状態に応答して上記第１減算値から垂直出力値
を発生する上記垂直処理手段と、 第２通信状態に応答して上記垂直出力値を上記機能要素
手段の入力に戻す上記垂直処理手段と、 第３計算状態に応答して上記垂直出力値から第２出力値
群を発生する上記機能要素手段と、 第３通信状態に応答して上記第２出力値群から第２減算
値を計算する上記水平処理手段と、 第４計算状態に応答して上記第２減算値から水平出力値
を発生する上記水平処理手段と、 第４通信状態に応答して上記水平出力値を上記機能要素
手段の入力に戻す上記水平処理手段とを具えることを特
徴とする配列プロセツサ。 - 【請求項２２】前記直交ニユーロンは複数Ｎの行ニユー
ロンと複数Ｎの列ニユーロンとを含み 、各入力機能要素は列ニユーロン内の行入力機能及び行
ニユーロン内の列入力機能として選択的に割り当てられ
ることを特徴とする特許請求の範囲第１項に記載のコン
ピユータ装置。 - 【請求項２３】さらに、 Ｎ個の列入力機能要素において少なくとも２つの行ニユ
ーロンを並列動作させて部分列ニユーロン値を発生する
手段と、 上記部分列ニユーロン値を累積して列ニユーロン値を発
生する手段とを具えることを特徴とする特許請求の範囲
第２２項に記載のコンピユータ装置。 - 【請求項２４】さらに、 Ｎ個の列入力機能要素において少なくとも２つの行ニユ
ーロンを並列動作させて行ニユーロン値を発生する手段
を具えることを特徴とする特許請求の範囲第２２項に記
載のコンピユータ装置。 - 【請求項２５】さらに、 Ｎ個の列入力機能要素において少なくとも２つの列ニユ
ーロンを並列動作させて部分行ニユーロン値を発生する
手段と、 上記部分行ニユーロン値を累積して行ニユーロン値を発
生する手段とを具えることを特徴とする特許請求の範囲
第２２項に記載のコンピユータ装置。 - 【請求項２６】さらに、 Ｎ個の行入力機能要素において少なくとも２つの列ニユ
ーロンを並列動作させて列ニユーロン値を発生する手段
を具えることを特徴とする特許請求の範囲第２２項に記
載のコンピユータ装置。 - 【請求項２７】前記直交ニユーロンは行又は列ニユーロ
ンと等価な複数の動作面を含むことを特徴とする特許請
求の範囲第１項に記載のコンピユータ装置。 - 【請求項２８】前記行ニユーロンは平面構造として構成
されることを特徴とする特許請求の範囲第２２項に記載
のコンピユータ装置。 - 【請求項２９】前記列ニユーロンは平面構造として構成
されることを特徴とする特許請求の範囲第２２項に記載
のコンピユータ装置。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US07/526,866 US5065339A (en) | 1990-05-22 | 1990-05-22 | Orthogonal row-column neural processor |
| US07/526866 | 1990-05-22 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04232562A JPH04232562A (ja) | 1992-08-20 |
| JPH07117948B2 true JPH07117948B2 (ja) | 1995-12-18 |
Family
ID=24099135
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3510394A Expired - Fee Related JP2575565B2 (ja) | 1990-05-22 | 1991-04-08 | Ｓｐｉｎ：順次パイプライン式ニューロコンピュータ |
| JP3507999A Expired - Fee Related JP2666830B2 (ja) | 1990-05-22 | 1991-04-08 | トライアングル・スケーラブル・ニューラル・アレイ・プロセッサ |
| JP3125109A Expired - Fee Related JPH07117948B2 (ja) | 1990-05-22 | 1991-04-26 | コンピユータ装置 |
Family Applications Before (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3510394A Expired - Fee Related JP2575565B2 (ja) | 1990-05-22 | 1991-04-08 | Ｓｐｉｎ：順次パイプライン式ニューロコンピュータ |
| JP3507999A Expired - Fee Related JP2666830B2 (ja) | 1990-05-22 | 1991-04-08 | トライアングル・スケーラブル・ニューラル・アレイ・プロセッサ |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5065339A (ja) |
| EP (3) | EP0484507A4 (ja) |
| JP (3) | JP2575565B2 (ja) |
| WO (2) | WO1991018348A1 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5278945A (en) * | 1992-01-10 | 1994-01-11 | American Neuralogical, Inc. | Neural processor apparatus |
| DK170490B1 (da) * | 1992-04-28 | 1995-09-18 | Multi Inform As | Databehandlingsanlæg |
| JP2647330B2 (ja) * | 1992-05-12 | 1997-08-27 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 超並列コンピューティングシステム |
| FR2692702A1 (fr) * | 1992-06-17 | 1993-12-24 | Philips Electronique Lab | Dispositif de traitement de données ayant une architecture à instruction commune agissant sur des données multiples. |
| US5517667A (en) * | 1993-06-14 | 1996-05-14 | Motorola, Inc. | Neural network that does not require repetitive training |
| JP3524250B2 (ja) * | 1995-11-27 | 2004-05-10 | キヤノン株式会社 | デジタル画像処理プロセッサ |
| US6023753A (en) * | 1997-06-30 | 2000-02-08 | Billion Of Operations Per Second, Inc. | Manifold array processor |
| US6167502A (en) * | 1997-10-10 | 2000-12-26 | Billions Of Operations Per Second, Inc. | Method and apparatus for manifold array processing |
| EP1182609A1 (de) * | 2000-08-25 | 2002-02-27 | Peter Bezler | Schaltungsanordnung zur Simulation neuronaler Netzwerke und zur positionsunabhängigen Mustererkennung |
| KR20130090147A (ko) * | 2012-02-03 | 2013-08-13 | 안병익 | 신경망 컴퓨팅 장치 및 시스템과 그 방법 |
| EP3035249B1 (en) * | 2014-12-19 | 2019-11-27 | Intel Corporation | Method and apparatus for distributed and cooperative computation in artificial neural networks |
| US10496855B2 (en) | 2016-01-21 | 2019-12-03 | Hewlett Packard Enterprise Development Lp | Analog sub-matrix computing from input matrixes |
| CN107315571B (zh) * | 2016-04-27 | 2020-07-31 | 中科寒武纪科技股份有限公司 | 一种用于执行全连接层神经网络正向运算的装置和方法 |
| WO2018093935A1 (en) * | 2016-11-15 | 2018-05-24 | Google Llc | Training neural networks using a clustering loss |
| US10241971B2 (en) | 2016-12-15 | 2019-03-26 | Hewlett Packard Enterprise Development Lp | Hierarchical computations on sparse matrix rows via a memristor array |
| US10459876B2 (en) * | 2018-01-31 | 2019-10-29 | Amazon Technologies, Inc. | Performing concurrent operations in a processing element |
| US10621489B2 (en) * | 2018-03-30 | 2020-04-14 | International Business Machines Corporation | Massively parallel neural inference computing elements |
| CN108977897B (zh) * | 2018-06-07 | 2021-11-19 | 浙江天悟智能技术有限公司 | 基于局部内在可塑性回声状态网络的熔纺工艺控制方法 |
| JP2022075295A (ja) | 2020-11-06 | 2022-05-18 | 富士通株式会社 | 機械学習プログラム、機械学習方法および情報処理装置 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS58181168A (ja) * | 1982-04-17 | 1983-10-22 | Nippon Telegr & Teleph Corp <Ntt> | 自律型プロセツサアレイ方式 |
| FR2625347B1 (fr) * | 1987-12-23 | 1990-05-04 | Labo Electronique Physique | Structure de reseau de neurones et circuit et arrangement de reseaux de neurones |
| JPH01265330A (ja) * | 1988-04-15 | 1989-10-23 | Sanyo Electric Co Ltd | データ駆動型のデータ処理装置 |
| EP0349820B1 (de) * | 1988-07-05 | 1995-04-19 | Siemens Aktiengesellschaft | Netzwerk -Baustein und Architektur für die programmierbare Emulation künstlicher neuronaler Netze mit digitaler Arbeitsweise |
| JPH0229851A (ja) * | 1988-07-20 | 1990-01-31 | Fujitsu Ltd | 複数配列データ比較方法 |
| JP2679731B2 (ja) * | 1988-08-31 | 1997-11-19 | 富士通株式会社 | パイプライン処理を用いたニューラルアーキテクチュア |
| GB2224139A (en) * | 1988-10-24 | 1990-04-25 | Philips Electronic Associated | Digital data processing apparatus |
-
1990
- 1990-05-22 US US07/526,866 patent/US5065339A/en not_active Expired - Fee Related
-
1991
- 1991-04-08 JP JP3510394A patent/JP2575565B2/ja not_active Expired - Fee Related
- 1991-04-08 WO PCT/US1991/002252 patent/WO1991018348A1/en not_active Application Discontinuation
- 1991-04-08 WO PCT/US1991/002251 patent/WO1991018347A1/en not_active Application Discontinuation
- 1991-04-08 JP JP3507999A patent/JP2666830B2/ja not_active Expired - Fee Related
- 1991-04-08 EP EP19910910720 patent/EP0484507A4/en not_active Withdrawn
- 1991-04-08 EP EP91908377A patent/EP0484479A1/en not_active Withdrawn
- 1991-04-26 JP JP3125109A patent/JPH07117948B2/ja not_active Expired - Fee Related
- 1991-05-15 EP EP91107862A patent/EP0459222A2/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| EP0459222A3 (ja) | 1994-03-30 |
| JPH04507025A (ja) | 1992-12-03 |
| JP2575565B2 (ja) | 1997-01-29 |
| EP0459222A2 (en) | 1991-12-04 |
| EP0484507A1 (en) | 1992-05-13 |
| WO1991018347A1 (en) | 1991-11-28 |
| JPH04232562A (ja) | 1992-08-20 |
| EP0484479A1 (en) | 1992-05-13 |
| JP2666830B2 (ja) | 1997-10-22 |
| EP0484479A4 (ja) | 1994-04-13 |
| EP0484507A4 (en) | 1992-07-15 |
| WO1991018348A1 (en) | 1991-11-28 |
| US5065339A (en) | 1991-11-12 |
| JPH04506879A (ja) | 1992-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5542026A (en) | Triangular scalable neural array processor | |
| US5146543A (en) | Scalable neural array processor | |
| JPH07117948B2 (ja) | コンピユータ装置 | |
| EP3373210B1 (en) | Transposing neural network matrices in hardware | |
| Ramacher | SYNAPSE—A neurocomputer that synthesizes neural algorithms on a parallel systolic engine | |
| US5148515A (en) | Scalable neural array processor and method | |
| US5285524A (en) | Neural network with daisy chain control | |
| US5179714A (en) | Parallel bit serial data processor | |
| EP0421639B1 (en) | Parallel data processing system | |
| US5243688A (en) | Virtual neurocomputer architectures for neural networks | |
| JPH06502265A (ja) | 信号処理におけるマトリクス演算の計算回路装置 | |
| US5146420A (en) | Communicating adder tree system for neural array processor | |
| JP2024028901A (ja) | ハードウェアにおけるスパース行列乗算 | |
| Penz et al. | Digital signal processor accelerators for neural network simulations | |
| Ramacher et al. | Fine-grain system architectures for systolic emulation of neural algorithms | |
| GB2206428A (en) | Computer | |
| US5251287A (en) | Apparatus and method for neural processing | |
| JP2825133B2 (ja) | 並列データ処理方式 | |
| Roth et al. | Efficient on-line computation of connectivity: architecture of the connection unit of NESPINN | |
| Mihu et al. | Specifications and FPGA implementation of a systolic Hopfield-type associative memory | |
| Strey et al. | A massively parallel neurocomputer with a reconfigurable arithmetical unit | |
| Lin | Trading bitwidth for array size: a unified reconfigurable arithmetic processor design | |
| JPH02287862A (ja) | ニューラルネットワーク演算装置 | |
| Rybarczyk et al. | The concept of a microcontroller with neural-matrix coprocessor for control systems that exploits reconfigurable FPGAs | |
| JPH05101031A (ja) | ニユーラルネツトワーク装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |