JP2663996B2 - ニューラル・ネットワーク用の仮想ニューロコンピュータ・アーキテクチュア - Google Patents
ニューラル・ネットワーク用の仮想ニューロコンピュータ・アーキテクチュアInfo
- Publication number
- JP2663996B2 JP2663996B2 JP3517778A JP51777891A JP2663996B2 JP 2663996 B2 JP2663996 B2 JP 2663996B2 JP 3517778 A JP3517778 A JP 3517778A JP 51777891 A JP51777891 A JP 51777891A JP 2663996 B2 JP2663996 B2 JP 2663996B2
- Authority
- JP
- Japan
- Prior art keywords
- neuron
- adder
- communication
- weight
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Devices For Executing Special Programs (AREA)
- Multi Processors (AREA)
- Feedback Control In General (AREA)
- Complex Calculations (AREA)
- Executing Machine-Instructions (AREA)
- Advance Control (AREA)
Description
【発明の詳細な説明】 ［発明の分野］ 本発明は、コンピュータ及びコンピュータ・システム
に関し、より詳しくは、ニューラル・ネットワーク用の
仮想ニューロコンピュータ・アーキテクチュアに関す
る。
に関し、より詳しくは、ニューラル・ネットワーク用の
仮想ニューロコンピュータ・アーキテクチュアに関す
る。
［関連出願に対する相互参照］ 本出願は優先権を主張し、以下の関連同時係属特許出
願の一部継続出願である。
願の一部継続出願である。
1990年５月22日出願の“APPARATUS AND METHOD FOR N
EURAL PROCESSOR"と題するS.ヴァッシリアディス（Vass
iliadis）及びG.G.ペチャネク（Pechanek）の米国特許
出願第07/526866号（IBMドケット番号EN9−90-045）、
“SNAP"と呼ぶことがある。
EURAL PROCESSOR"と題するS.ヴァッシリアディス（Vass
iliadis）及びG.G.ペチャネク（Pechanek）の米国特許
出願第07/526866号（IBMドケット番号EN9−90-045）、
“SNAP"と呼ぶことがある。
1991年４月８日出願の“A TRIANGULAR SCALABLE NEUR
AL ARRAY PROCESSOR"と題するG.G.ペチャネク及びS.ヴ
ァッシリアディスの米国特許出願第07/682785号（IBMド
ケット番号EN9−91-018）、“Ｔ−SNAP"と呼ぶことがあ
る。
AL ARRAY PROCESSOR"と題するG.G.ペチャネク及びS.ヴ
ァッシリアディスの米国特許出願第07/682785号（IBMド
ケット番号EN9−91-018）、“Ｔ−SNAP"と呼ぶことがあ
る。
1991年４月８日出願の“SPIN:A SEQUENTIAL PIPELINE
D NEURO COMPUTER"と題するS.ヴァッシリアディス、G.
G.ペチャネク及びJ.G.デルガード＝フリアス（Delgado-
Frias）の米国特許出願第07/681842号（IBMドケット番
号EN9−91-026）、“SPIN"と呼ぶことがある。
D NEURO COMPUTER"と題するS.ヴァッシリアディス、G.
G.ペチャネク及びJ.G.デルガード＝フリアス（Delgado-
Frias）の米国特許出願第07/681842号（IBMドケット番
号EN9−91-026）、“SPIN"と呼ぶことがある。
さらに、以下の関連出願が同時に出願されている。
1991年５月17日出願の“A LEARNING MACHINE SYNAPSE
PROCESSOR SYSTEM APPARATUS"と題するG.G.ペチャネ
ク、S.ヴァッシリアディス及びJ.G.デルガード＝フリア
スの米国特許出願第07/702260号（IBMドケット番号EN9
−91-053）、“LEARNING MACHINE"と呼ぶことがある。
PROCESSOR SYSTEM APPARATUS"と題するG.G.ペチャネ
ク、S.ヴァッシリアディス及びJ.G.デルガード＝フリア
スの米国特許出願第07/702260号（IBMドケット番号EN9
−91-053）、“LEARNING MACHINE"と呼ぶことがある。
1991年５月17日出願の“SCALABLE FLOW VIRTUAL LEAR
NING NEUROCOMPUTER"と題するG.G.ペチャネク、S.ヴァ
ッシリアディス及びJ.G.デルガード＝フリアスの米国特
許出願第07/702262号（IBMドケット番号EN9−91-05
4）、“SVLM"と呼ぶことがある。
NING NEUROCOMPUTER"と題するG.G.ペチャネク、S.ヴァ
ッシリアディス及びJ.G.デルガード＝フリアスの米国特
許出願第07/702262号（IBMドケット番号EN9−91-05
4）、“SVLM"と呼ぶことがある。
1991年５月17日出願の“PLAN:PYRAMID LEARNING ARCH
ITECTURE NEUROCOMPUTER"と題するG.G.ペチャネク、S.
ヴァッシリアディス及びJ.G.デルガード＝フリアスの米
国特許出願第07/702263号（IBMドケット番号EN9−91-05
5）、“PLAN"と呼ぶことがある。
ITECTURE NEUROCOMPUTER"と題するG.G.ペチャネク、S.
ヴァッシリアディス及びJ.G.デルガード＝フリアスの米
国特許出願第07/702263号（IBMドケット番号EN9−91-05
5）、“PLAN"と呼ぶことがある。
これらの同時係属出願及び本出願は同じ譲受人、すな
わち、米国ニューヨーク州アーモンクのインターナショ
ナル・ビジネス・マシーンズ・コーポレーションによっ
て所有されている。
わち、米国ニューヨーク州アーモンクのインターナショ
ナル・ビジネス・マシーンズ・コーポレーションによっ
て所有されている。
これらの同時係属出願に記載の記述は、この引用によ
って本明細書に合体される。
って本明細書に合体される。
［本発明者等の発明の検討において使用される文献］ 本発明者等の発明の詳細な検討においては、従来技術
ではないが本発明者等の説明を理解する助けとなる我々
自身の未発表研究を含む他の研究を引用する。このよう
な追加の文献は以下のものである。
ではないが本発明者等の説明を理解する助けとなる我々
自身の未発表研究を含む他の研究を引用する。このよう
な追加の文献は以下のものである。
R.ヘヒト＝ニールセン（Hecht-Neilsen）の著書“Neu
rocomputing",Adison Wesley Publishing Company,1990
年刊、pp.297〜315（以下では“Hecht 90"と呼ぶ）。
rocomputing",Adison Wesley Publishing Company,1990
年刊、pp.297〜315（以下では“Hecht 90"と呼ぶ）。
R.T.セイヴリー（Savely）編“The implementation o
f Neural Network Technology"IEEE第１回国際ニューラ
ル・ネットワーク会議（IEEE First International Con
ference on Neural Networks）,IV.pp.477〜488,IEEE,1
987年６月（以下では“Savely,b IEEE1987"と呼ぶ）。
f Neural Network Technology"IEEE第１回国際ニューラ
ル・ネットワーク会議（IEEE First International Con
ference on Neural Networks）,IV.pp.477〜488,IEEE,1
987年６月（以下では“Savely,b IEEE1987"と呼ぶ）。
P.トレリーヴァン（Treleavin）、M.パケコ（Pachec
o）及びM.ヴェラスコ（Vellasco）の論文“VLSI Archit
ectures for Neural Networks",IEEE Micro,pp.8〜27,1
989年12月（以下では“Treleavin 89"と呼ぶ）。
o）及びM.ヴェラスコ（Vellasco）の論文“VLSI Archit
ectures for Neural Networks",IEEE Micro,pp.8〜27,1
989年12月（以下では“Treleavin 89"と呼ぶ）。
S.スーチェク（Souc′ek）及びM.スーチェク（Souc′
ek）の著書“Neural and Massively Parallel Computer
s",米国ニューヨーク州ニューヨーク,John Wiley ＆ So
ns,1988年刊（以下では“Souc′ek 88"と呼ぶ）。
ek）の著書“Neural and Massively Parallel Computer
s",米国ニューヨーク州ニューヨーク,John Wiley ＆ So
ns,1988年刊（以下では“Souc′ek 88"と呼ぶ）。
D.E.ルーメルハルト（Rumelhart）、J.L.マックレラ
ンド（McClelland）及びPDMリサーチ・グループ（the P
DP Research Group）の著書“Parallel Distributed Pr
ocessing Vol.1:Foundations"、米国マサチューセッツ
州ケンブリッジ、MIT Press,1986年刊。（以下では“Ru
melhart 86"と呼ぶ。
ンド（McClelland）及びPDMリサーチ・グループ（the P
DP Research Group）の著書“Parallel Distributed Pr
ocessing Vol.1:Foundations"、米国マサチューセッツ
州ケンブリッジ、MIT Press,1986年刊。（以下では“Ru
melhart 86"と呼ぶ。
J.J.ホップフィールド（Hopfield）の論文“Neurons
With Graded Response Have Collective Computational
Properties Like Those of Two−State Neurons",Proc
eedings of the National Academy of Sciences 81,pp.
3088-3092,1984年５月。（以下では“Hopfield 84"と呼
ぶ。） 1990年５月18日出願の“APPARATUS AND METHOD FOR N
EURAL PROCESSOR"と題するS.ヴァッシリアディス及びG.
G.ペチャネクの米国特許出願第07/526866号（IBMドケッ
ト番号EN9−90-045）、以下では“SNAP"または“Vassil
iadis SNAP 90"と呼ぶことがある。
With Graded Response Have Collective Computational
Properties Like Those of Two−State Neurons",Proc
eedings of the National Academy of Sciences 81,pp.
3088-3092,1984年５月。（以下では“Hopfield 84"と呼
ぶ。） 1990年５月18日出願の“APPARATUS AND METHOD FOR N
EURAL PROCESSOR"と題するS.ヴァッシリアディス及びG.
G.ペチャネクの米国特許出願第07/526866号（IBMドケッ
ト番号EN9−90-045）、以下では“SNAP"または“Vassil
iadis SNAP 90"と呼ぶことがある。
1991年４月８日出願の“A TRIANGULAR SCALABLE NEUR
AL ARRAY PROCESSOR"と題するG.G.ペチャネク及びS.ヴ
ァッシリアディスの米国特許出願第07/682785号（IBMド
ケット番号EN9−91-081）、以下では“Ｔ−SNAP"と呼ぶ
ことがある。
AL ARRAY PROCESSOR"と題するG.G.ペチャネク及びS.ヴ
ァッシリアディスの米国特許出願第07/682785号（IBMド
ケット番号EN9−91-081）、以下では“Ｔ−SNAP"と呼ぶ
ことがある。
以上の追加の参照文献を引用により本明細書に合体す
る。
る。
［発明の背景］ ［序論］ ニューラル・プロセッサ上でモデル化したニューロン
を、「直接」または「仮想」実施態様でシミュレートす
る。直接的方法では、各ニューロンが、システム内で活
動状態の他のニューロン処理要素（PE）と並列に同時に
動作できる利用可能な物理的処理要素（PE）をもつこと
になる。「仮想」実施態様では、PE処理がその「仮想」
ニューロンの間で共用されることを必要とする個々のハ
ードウェア処理要素（PE）に複数のニューロンが割り当
てられる。ネットワークの性能は「直接的」手法の方が
高くなるが、多くのネットワーク・シミュレーションで
は多数のニューロンが利用され、かつ技術的制約によっ
て実施できる「直接」ニューロンPEの数が制限されるの
で、多くのニューロコンピュータ設計では、「仮想」ニ
ューロンという概念を利用して、直接利用できるよりも
多数のニューロンをシミュレートしている。
を、「直接」または「仮想」実施態様でシミュレートす
る。直接的方法では、各ニューロンが、システム内で活
動状態の他のニューロン処理要素（PE）と並列に同時に
動作できる利用可能な物理的処理要素（PE）をもつこと
になる。「仮想」実施態様では、PE処理がその「仮想」
ニューロンの間で共用されることを必要とする個々のハ
ードウェア処理要素（PE）に複数のニューロンが割り当
てられる。ネットワークの性能は「直接的」手法の方が
高くなるが、多くのネットワーク・シミュレーションで
は多数のニューロンが利用され、かつ技術的制約によっ
て実施できる「直接」ニューロンPEの数が制限されるの
で、多くのニューロコンピュータ設計では、「仮想」ニ
ューロンという概念を利用して、直接利用できるよりも
多数のニューロンをシミュレートしている。
仮想ニューロコンピュータに関係する基本概念は、可
能ならば、ある程度の並列性を与え、次いで、ネットワ
ークで実施しようとするニューロンの合計数を利用可能
な並列処理要素の間で分割し、物理的処理要素１個ごと
の時分割多重化を用いることにある。こうすると、もち
ろん１時間単位が、単一の物理的PEに割り当てられた仮
想ニューラル・ノードの数に応じて必要な処理をカバー
するように拡大される。仮想ニューラル・ノードは、シ
ミュレートされているネットワーク中の１ニューロンを
表す。単一プロセッサも使用できるが、全ニューラル・
ノードについてすべての処理を順次扱わなければならな
い。このため、多くの仮想ニューロコンピュータは、並
列に配列したマイクロプロセッサを用いている。
能ならば、ある程度の並列性を与え、次いで、ネットワ
ークで実施しようとするニューロンの合計数を利用可能
な並列処理要素の間で分割し、物理的処理要素１個ごと
の時分割多重化を用いることにある。こうすると、もち
ろん１時間単位が、単一の物理的PEに割り当てられた仮
想ニューラル・ノードの数に応じて必要な処理をカバー
するように拡大される。仮想ニューラル・ノードは、シ
ミュレートされているネットワーク中の１ニューロンを
表す。単一プロセッサも使用できるが、全ニューラル・
ノードについてすべての処理を順次扱わなければならな
い。このため、多くの仮想ニューロコンピュータは、並
列に配列したマイクロプロセッサを用いている。
“Hecht-Nielsen 90"、“Savely IEEE 87"及び“Trelea
vin 89"を参照させたい。通常用いられる構造では、各
ニューラル・ノードの計算能率を改善するため、浮動小
数点ハードウェア加速機構を追加することができる。性
能を改善するには、並列処理要素間に物理的PE間の効率
的な通信ネットワークも必要である。これらの仮想ニュ
ーロコンピュータが機能するには、ネットワーク相互接
続構造、重みマトリックス、及び仮想PE活動化状態メモ
リを含む物理的プロセッサ用の局所メモリがなければな
らない。また、ネットワークを初期設定し、入力パター
ンまたは入力データを供給し、さらに出力パターンまた
は出力データを検索して解析する必要に応じて、ホスト
・コンピュータ（パーソナル・コンピュータと同程度に
簡単なものでよい）へのインタフェースもなければなら
ない。
vin 89"を参照させたい。通常用いられる構造では、各
ニューラル・ノードの計算能率を改善するため、浮動小
数点ハードウェア加速機構を追加することができる。性
能を改善するには、並列処理要素間に物理的PE間の効率
的な通信ネットワークも必要である。これらの仮想ニュ
ーロコンピュータが機能するには、ネットワーク相互接
続構造、重みマトリックス、及び仮想PE活動化状態メモ
リを含む物理的プロセッサ用の局所メモリがなければな
らない。また、ネットワークを初期設定し、入力パター
ンまたは入力データを供給し、さらに出力パターンまた
は出力データを検索して解析する必要に応じて、ホスト
・コンピュータ（パーソナル・コンピュータと同程度に
簡単なものでよい）へのインタフェースもなければなら
ない。
［発明の要約］ 一般に、本発明者等の仮想システムは、スケーラブル
で、ネットワークに適用可能であり、他の出願で例示さ
れている本発明者等の改良されたハードウェアを、物理
的ハードウェアに所望の適用業務の結果を達成するのに
充分なニューロンが設けられていない場合に、使用でき
るようにするものである。仮想スケーラブル・ニューラ
ル・アレイ・プロセッサ装置として機能するこの新しい
装置は、乗算器、重み記憶域及びＶ個のニューロン用の
ニューロン出力値記憶域を含む重み乗算ユニットを備え
たＮニューロン構造を有する。ただし、Ｖ＞Ｎであり、
ＶはＮニューロン構造上でエミュレートされるニューラ
ル・ネットワーク中のニューロンの数である。本発明者
等はまた、通信加算器ツリー、ニューロン活動化関数ユ
ニット、及び通信加算器ツリーを介してニューロン活動
化関数ユニットの出力を入力重み乗算ユニットに通信す
る方法も提供する。
で、ネットワークに適用可能であり、他の出願で例示さ
れている本発明者等の改良されたハードウェアを、物理
的ハードウェアに所望の適用業務の結果を達成するのに
充分なニューロンが設けられていない場合に、使用でき
るようにするものである。仮想スケーラブル・ニューラ
ル・アレイ・プロセッサ装置として機能するこの新しい
装置は、乗算器、重み記憶域及びＶ個のニューロン用の
ニューロン出力値記憶域を含む重み乗算ユニットを備え
たＮニューロン構造を有する。ただし、Ｖ＞Ｎであり、
ＶはＮニューロン構造上でエミュレートされるニューラ
ル・ネットワーク中のニューロンの数である。本発明者
等はまた、通信加算器ツリー、ニューロン活動化関数ユ
ニット、及び通信加算器ツリーを介してニューロン活動
化関数ユニットの出力を入力重み乗算ユニットに通信す
る方法も提供する。
第１のアーキテクチュア上好ましい実施例は、以下で
論じる手法である。これは、物理的シナプス処理要素が
共用でき、その結果ニューロン入力がＮ個のシナプス・
プロセッサからなる１つの行または列で表されるのはな
く、シナプス・プロセッサの複数の行または列で表され
るように、SNAP構造を修正するものである。以下で論じ
る第２のアーキテクチュア上好ましい実施例は、Ｎ個の
活動化関数生成機構（シグモイド生成機構）を保持しな
がら、モデル化しようとするＶ個のニューロンをカバー
するのに充分なシナプス処理要素が利用可能となるま
で、シナプス処理要素のグループを複製する、TSNAP用
の手法である。以下で論じる第３のアーキテクチュア上
好ましい実施例は、部分和記憶要素付きの反復加算器を
Ｎ個のシグモイド生成機構の各入力に追加し、重み記憶
域を各シナプス・プロセッサで適切に増加させる、SNAP
またはTSNAP用の普通の手法に当たる、一般的手法であ
る。
論じる手法である。これは、物理的シナプス処理要素が
共用でき、その結果ニューロン入力がＮ個のシナプス・
プロセッサからなる１つの行または列で表されるのはな
く、シナプス・プロセッサの複数の行または列で表され
るように、SNAP構造を修正するものである。以下で論じ
る第２のアーキテクチュア上好ましい実施例は、Ｎ個の
活動化関数生成機構（シグモイド生成機構）を保持しな
がら、モデル化しようとするＶ個のニューロンをカバー
するのに充分なシナプス処理要素が利用可能となるま
で、シナプス処理要素のグループを複製する、TSNAP用
の手法である。以下で論じる第３のアーキテクチュア上
好ましい実施例は、部分和記憶要素付きの反復加算器を
Ｎ個のシグモイド生成機構の各入力に追加し、重み記憶
域を各シナプス・プロセッサで適切に増加させる、SNAP
またはTSNAP用の普通の手法に当たる、一般的手法であ
る。
この３つのアーキテクチャ手法すべてのを例示する上
記及びその他の改良は、以下の詳細な説明に記載されて
いる。これらの発明ならびにその利点と特徴をよく理解
するには、本発明者等がこの分野で行った他の開発に関
する同時係属の特許出願を参照しなければならないこと
もあろう。しかし、特に本明細書に記載する改良、利点
及び特徴に関しては、添付の図面に沿った説明で参照を
行う。
記及びその他の改良は、以下の詳細な説明に記載されて
いる。これらの発明ならびにその利点と特徴をよく理解
するには、本発明者等がこの分野で行った他の開発に関
する同時係属の特許出願を参照しなければならないこと
もあろう。しかし、特に本明細書に記載する改良、利点
及び特徴に関しては、添付の図面に沿った説明で参照を
行う。
［図面の簡単な説明］ 第１図は、仮想ニューロコンピュータの説明図であ
る。
る。
第２図は、８個の仮想ニューロンを含むSNA-V1の構成
図である。
図である。
第３図は、SNAP-V1のバイパス加算器の配線図であ
る。
る。
第４図は、SNAPのタグ突合せ乗算器の配線図である。
第５図は、SNAP−ショット１〜４の構成図である。
第６図は、SNAP−ショット５の構成図である。
第７図は、SNAP−ショット６〜９の構成図である。
第８図は、SNAP−ショット10の構成図である。
第９図は、８個の仮想ニューロンを含むSNAP-V2の配
線図である。
線図である。
第10図は、４ニューロンのＴ−SNAPの構成図である。
第11図は、ニューロンＹ値を含む９ニューロンＴ−SN
APの重みマトリックスを示す図である。
APの重みマトリックスを示す図である。
第12図は、４個の物理ニューロンを含む８ニューロン
仮想Ｔ−SNAPの構成図である。
仮想Ｔ−SNAPの構成図である。
第13図は、ニューロンＹ値を含む16ニューロンＴ−SN
APの重みマトリックスを示す図である。
APの重みマトリックスを示す図である。
第14図は、16ニューロン仮想Ｔ−SNAP及びステップ１
のY1′、Y2′、Y3′、Y4′の計算の説明図である。
のY1′、Y2′、Y3′、Y4′の計算の説明図である。
第15図は、16ニューロン仮想Ｔ−SNAP及びステップ２
のY5′、Y6′、Y7′、Y8′の計算の説明図である。
のY5′、Y6′、Y7′、Y8′の計算の説明図である。
第16図は、16ニューロン仮想Ｔ−SNAP及びステップ３
のY9′、YA′、YB′、YC′の計算の説明図である。
のY9′、YA′、YB′、YC′の計算の説明図である。
第17図は、４つの３角形区画を含む16ニューロン仮想
Ｔ−SNAP及びステップ４のUD′、YE′、YF′、YG′の計
算の説明図である。
Ｔ−SNAP及びステップ４のUD′、YE′、YF′、YG′の計
算の説明図である。
第18図は、16のニューロン重みを含む４ニューロンＴ
−SNAP-V2の構成図である。
−SNAP-V2の構成図である。
第19図は、仮想アーキテクチュア比較の要約図であ
る。（注：図示の便宜上、図を分割することがあるが、
何枚もを使用する場合は、慣例に従って、図の上端を１
枚目とし、以下上から順に並べることにする。） 次に、例として本発明の好ましい実施例を説明する部
分として、詳細な説明を行う。
る。（注：図示の便宜上、図を分割することがあるが、
何枚もを使用する場合は、慣例に従って、図の上端を１
枚目とし、以下上から順に並べることにする。） 次に、例として本発明の好ましい実施例を説明する部
分として、詳細な説明を行う。
［発明の詳細な説明］ 好ましい実施例を詳しく考察する前に、ハードウェア
を、そのハードウェア限界を超えて、利用できるよりも
多くのニューロンを必要とする適用業務を扱えるように
拡張することのできる、本発明者等が発明したニューラ
ル・ネットワーク用の仮想ニューロコンピュータ・アー
キテクチャの理解を深めるのに役立つと思われる仮想ニ
ューロコンピュータを例示することは価値があろう。
を、そのハードウェア限界を超えて、利用できるよりも
多くのニューロンを必要とする適用業務を扱えるように
拡張することのできる、本発明者等が発明したニューラ
ル・ネットワーク用の仮想ニューロコンピュータ・アー
キテクチャの理解を深めるのに役立つと思われる仮想ニ
ューロコンピュータを例示することは価値があろう。
仮想ニューロコンピュータの特性を、図１に示す。こ
こで、“Sou′cek 88"が例示しているヘヒト＝ニールセ
ンの関連システムを参照することができよう。最大Ｒ個
の物理的処理要素が、第１図に示されている。Ｋ×Ｒニ
ューロンのニューラル・ネットワークでは、各物理プロ
セッサにＫニューロン用のニューラル・ノード計算タス
クを割り当てることになる。このタスクは、積（重み×
結合されたニューロンの出力）の和、活動化関数、それ
に恐らく出力関数を計算することである。並列同報通信
バスを使って、ネットワーク相互接続情報、ニューロン
活動化状態値などを物理プロセッサ間で通信する。第１
図の構造では、バス争奪が起こらないように、システム
制御装置によって並列バスを制御する。仮想ニューロン
活動化出力値を計算した後、各ニューラル処理要素で、
これらの値に対する局所システム・コピーを更新しなけ
ればならない。
こで、“Sou′cek 88"が例示しているヘヒト＝ニールセ
ンの関連システムを参照することができよう。最大Ｒ個
の物理的処理要素が、第１図に示されている。Ｋ×Ｒニ
ューロンのニューラル・ネットワークでは、各物理プロ
セッサにＫニューロン用のニューラル・ノード計算タス
クを割り当てることになる。このタスクは、積（重み×
結合されたニューロンの出力）の和、活動化関数、それ
に恐らく出力関数を計算することである。並列同報通信
バスを使って、ネットワーク相互接続情報、ニューロン
活動化状態値などを物理プロセッサ間で通信する。第１
図の構造では、バス争奪が起こらないように、システム
制御装置によって並列バスを制御する。仮想ニューロン
活動化出力値を計算した後、各ニューラル処理要素で、
これらの値に対する局所システム・コピーを更新しなけ
ればならない。
好ましい実施例及びそれらの実施例で例示されるアー
キテクチュアを例示する際に、数Ｖは、ニューロコンピ
ュータ上でモデル化しようとするネットワークに含まれ
るニューロンの数を示すために用いる。数Ｎは、物理的
実施態様で利用可能な物理ニューロンの数を示す。仮想
処理の場合は、Ｖ＞Ｎである。別段の指示がない限り、
ＮとＶは２の累乗とする。本明細書に所載のニューロコ
ンピュータ・アーキテクチュアによって実施される計算
タスクは、完全並列分散処理モデルのサブセットに基づ
く方程式（１）及び（２）で与えられる。“Rumelhart
86"、ならびに“Hopfield 84"で例示されるホップフィ
ールド・ネットワークを参照されたい。
キテクチュアを例示する際に、数Ｖは、ニューロコンピ
ュータ上でモデル化しようとするネットワークに含まれ
るニューロンの数を示すために用いる。数Ｎは、物理的
実施態様で利用可能な物理ニューロンの数を示す。仮想
処理の場合は、Ｖ＞Ｎである。別段の指示がない限り、
ＮとＶは２の累乗とする。本明細書に所載のニューロコ
ンピュータ・アーキテクチュアによって実施される計算
タスクは、完全並列分散処理モデルのサブセットに基づ
く方程式（１）及び（２）で与えられる。“Rumelhart
86"、ならびに“Hopfield 84"で例示されるホップフィ
ールド・ネットワークを参照されたい。
・Ｖは、ニューラル・ネットワーク中のニューロンの数
である。
である。
・W13など、重みＷの下付き文字は、ニューロン３から
ニューロン１への結合の重みを指すものとする。
ニューロン１への結合の重みを指すものとする。
・Yjは、Wijの結合重みを介して第ｉニューロンの入力
に結合されている第ｊニューロンの出力値である。
に結合されている第ｊニューロンの出力値である。
・Ｆ（Ｚ）は、しばしばシグモイド活動化関数に等しく
設定される、ニューロン活動化関数であり、たとえば次
の形をとる。
設定される、ニューロン活動化関数であり、たとえば次
の形をとる。
ただし、 ・関数Ｆ（ｚ）で、 ・Ｏ≦Ｆ（ｚ）≦１ ・Ｔは、ｚ値のある集合に対するシグモイド関数の勾配
を修正するのに用いられる大域制御パラメータである。
を修正するのに用いられる大域制御パラメータである。
・ｅ＝自然対数（2.71828…） 式１及び２は、完全に接続されたＶニューロン・ネッ
トワークでは、次の４種の基本演算を含む。
トワークでは、次の４種の基本演算を含む。
1.V2回の乗算 2.V回の積和 3.V個の活動化関数 4.V×Ｖ回の通信 望ましい実施例によれば、一般にホスト・コンピュー
タは、ネットワーク・アーキテクチュアを初期設定する
責任を負う。たとえば、ホスト・コンピュータは、アー
キテクチュアによってシミュレートされるネットワーク
中のニューロンの数、すべての結合重み、初期ニューロ
ン値、走行すべきネットワーク更新サイクルの数をロー
ドし、モデルの実行を開始する責任を負う。ホスト・コ
ンピュータはまた、ネットワークの実行終了時にニュー
ロン値を読み取る能力を備えている。様々なニューラル
処理アーキテクチュアの性能を評価し比較する際、初期
設定時間及びホスト処理時間を別々の問題と考え、実行
中の性能のみを考察する。
タは、ネットワーク・アーキテクチュアを初期設定する
責任を負う。たとえば、ホスト・コンピュータは、アー
キテクチュアによってシミュレートされるネットワーク
中のニューロンの数、すべての結合重み、初期ニューロ
ン値、走行すべきネットワーク更新サイクルの数をロー
ドし、モデルの実行を開始する責任を負う。ホスト・コ
ンピュータはまた、ネットワークの実行終了時にニュー
ロン値を読み取る能力を備えている。様々なニューラル
処理アーキテクチュアの性能を評価し比較する際、初期
設定時間及びホスト処理時間を別々の問題と考え、実行
中の性能のみを考察する。
第１のアーキテクチュア上好ましい実施例は、以下で
論じる手法である。これは、物理的シナプス処理要素が
共用でき、その結果ニューロン入力がＮ個のシナプス・
プロセッサからなる１つの行または列で表されるのでは
なく、シナプス・プロセッサの複数の行または列で表さ
れるように、SNAP構造を修正するものである。（“Vass
iliadis SNAP 90"参照）以下で論じる第２のアーキテク
チュア上好ましい実施例は、Ｎ個の活動化関数生成機構
（シグモイド生成機構）を保持しながら、モデル化しよ
うとするＶ個のニューロンをカバーするのに充分なシナ
プス処理要素が利用可能となるまで、シナプス処理要素
のグループを複製する、TSNAP用の手法である（“Pecha
nek T−SNAP"参照）。以下で論じる第３のアーキテクチ
ュア上好ましい実施例は、部分和記憶要素付きの反復加
算器をＮ個のシグモイド生成機構の各入力に追加し、重
み記憶域を各シナプス・プロセッサで適切に増加させ
る、SNAPまたはTSNAP用の普通の手法に当たる、一般的
手法である。各アーキテクチュア手法について検討した
後で、各仮想ニューロコンピュータの性能について論じ
る。要約として、各仮想アーキテクチュア手法を実施コ
スト及び性能の点で比較する。所与の適用業務に対する
「最善の」アーキテクチュアは、これらのコストに応じ
て変わり、適用業務の種類に応じて選択される。
論じる手法である。これは、物理的シナプス処理要素が
共用でき、その結果ニューロン入力がＮ個のシナプス・
プロセッサからなる１つの行または列で表されるのでは
なく、シナプス・プロセッサの複数の行または列で表さ
れるように、SNAP構造を修正するものである。（“Vass
iliadis SNAP 90"参照）以下で論じる第２のアーキテク
チュア上好ましい実施例は、Ｎ個の活動化関数生成機構
（シグモイド生成機構）を保持しながら、モデル化しよ
うとするＶ個のニューロンをカバーするのに充分なシナ
プス処理要素が利用可能となるまで、シナプス処理要素
のグループを複製する、TSNAP用の手法である（“Pecha
nek T−SNAP"参照）。以下で論じる第３のアーキテクチ
ュア上好ましい実施例は、部分和記憶要素付きの反復加
算器をＮ個のシグモイド生成機構の各入力に追加し、重
み記憶域を各シナプス・プロセッサで適切に増加させ
る、SNAPまたはTSNAP用の普通の手法に当たる、一般的
手法である。各アーキテクチュア手法について検討した
後で、各仮想ニューロコンピュータの性能について論じ
る。要約として、各仮想アーキテクチュア手法を実施コ
スト及び性能の点で比較する。所与の適用業務に対する
「最善の」アーキテクチュアは、これらのコストに応じ
て変わり、適用業務の種類に応じて選択される。
性能序論 仮想アーキテクチュアの性能を評価するため、「名前
付き」要素を使って遅延を表すδnameで遅延変数を示す
ものとする。以下の遅延変数が用いられる。
付き」要素を使って遅延を表すδnameで遅延変数を示す
ものとする。以下の遅延変数が用いられる。
・δM＝乗算器の遅延 ・δA＝通信加算器の２−１加算段の遅延 ・δS＝シグモイド生成機構の遅延 ・δB＝通信加算器の通信バイパス段の遅延 次のような一般的仮定及びその他の表記法にも注意さ
れたい。
れたい。
1.システム定義のクロック期間はＣであり、すべての遅
延はＣの倍数として指定される。
延はＣの倍数として指定される。
2.通信加算器ツリー中の段数はlog2Nである。ただし、
Ｎは物理ニューロンの合計数である。
Ｎは物理ニューロンの合計数である。
アーキテクチュアの性能は、ニューロンの出力を生成
する期間で表される。遅延を増加させずに安全性を実現
するには、 1.乗算 2.加算器ツリー 3.シグモイド生成機構 4.通信ツリー のように、各動作が順次、前の動作終了に続いて行なわ
れなければならない。こうした事象のシーケンスには、
カウンタの使用など簡単な制御機構が必要であり、その
出力値を、リストされている事象を表す遅延、すなわち
乗算器の遅延、log2N通信加算器ツリーの加算モードの
遅延、シグモイド遅延及びlog2N通信加算器ツリーの通
信モードの遅延の値と比較する。
する期間で表される。遅延を増加させずに安全性を実現
するには、 1.乗算 2.加算器ツリー 3.シグモイド生成機構 4.通信ツリー のように、各動作が順次、前の動作終了に続いて行なわ
れなければならない。こうした事象のシーケンスには、
カウンタの使用など簡単な制御機構が必要であり、その
出力値を、リストされている事象を表す遅延、すなわち
乗算器の遅延、log2N通信加算器ツリーの加算モードの
遅延、シグモイド遅延及びlog2N通信加算器ツリーの通
信モードの遅延の値と比較する。
SNAP-V1（SNAP仮想アーキテクチュア１） 以下で述べるSNAP-V1と呼ばれる第１の手法は、ＶをN
2の最大値までに制限する。N2より多くのニューロンも
このアーキテクチュアでシミュレートできるが、より複
雑な制御処理が必要となり、この拡張能力についてはこ
の説明では論じないことにする。SNAP-V1アーキテクチ
ュアでは、SNAPのニューロン定義（“Vassiliadis SNAP
90"）を、１ニューロン当り必要な重み付き入力の数が
より大きくなっても対処できるように変更する。
2の最大値までに制限する。N2より多くのニューロンも
このアーキテクチュアでシミュレートできるが、より複
雑な制御処理が必要となり、この拡張能力についてはこ
の説明では論じないことにする。SNAP-V1アーキテクチ
ュアでは、SNAPのニューロン定義（“Vassiliadis SNAP
90"）を、１ニューロン当り必要な重み付き入力の数が
より大きくなっても対処できるように変更する。
第２図は、４ニューロンSNAP上でモデル化した仮想８
ニューロン・ネットワークを示している。重み及びＹ値
用の充分な内部記憶域が乗算器セル構造内で利用可能で
あると仮定する。
ニューロン・ネットワークを示している。重み及びＹ値
用の充分な内部記憶域が乗算器セル構造内で利用可能で
あると仮定する。
Ｖ＝2NのSNAP-V1中のニューロンは、２列の物理ニュ
ーロンを用いて、モデル化したネットワーク中のＶ個の
ニューロンの一つを表す。２列構造の全域にわたる完全
な加算を実施するには、加算器ツリー中で使用される通
信加算器の変更が必要である。第３図のSNAP-V1バイパ
ス加算器に示されているこうした変更により、加算器を
順方向ならびに逆方向通信モード方向にバイパスさせる
ことが可能となる。第３図には様々なバイパス経路が矢
印で示されている。この表記法は、第２図でも、どこで
バイパス加算器が使用されるかを示すのに利用する。
ーロンを用いて、モデル化したネットワーク中のＶ個の
ニューロンの一つを表す。２列構造の全域にわたる完全
な加算を実施するには、加算器ツリー中で使用される通
信加算器の変更が必要である。第３図のSNAP-V1バイパ
ス加算器に示されているこうした変更により、加算器を
順方向ならびに逆方向通信モード方向にバイパスさせる
ことが可能となる。第３図には様々なバイパス経路が矢
印で示されている。この表記法は、第２図でも、どこで
バイパス加算器が使用されるかを示すのに利用する。
第１表は、D3、D2及びD1制御信号からコード化され
た、中央の共通ツリー制御点から駆動される、駆動制御
機構DR1、DR2、DR3、DR4、DR5を表している。
た、中央の共通ツリー制御点から駆動される、駆動制御
機構DR1、DR2、DR3、DR4、DR5を表している。
ニューロン値が適切なニューロン入力に逆方向通信さ
れることを保証するため、シグモイド生成機構はまた生
成された値にタグ付けしなければならない。このタグ
は、加算器ツリーを通るその戻り経路でニューロン値に
付随する。次に、乗算器セルＹ値入力レジスタは、ニュ
ーロンＹ値タグ突合せ比較機能を必要とする。これは、
第４図に示されている。第４図では、Ｙ値レジスタのロ
ードがタグ突合せ機能の制御を受ける。古い値と新しい
値の２つのＹ値のレジスタが必要である。
れることを保証するため、シグモイド生成機構はまた生
成された値にタグ付けしなければならない。このタグ
は、加算器ツリーを通るその戻り経路でニューロン値に
付随する。次に、乗算器セルＹ値入力レジスタは、ニュ
ーロンＹ値タグ突合せ比較機能を必要とする。これは、
第４図に示されている。第４図では、Ｙ値レジスタのロ
ードがタグ突合せ機能の制御を受ける。古い値と新しい
値の２つのＹ値のレジスタが必要である。
初期設定で既に重み、タグ、第１ニューロン値が乗算
レジスタにロード済みであると仮定すると、SNAP構造は
次のように動作する。（番号付けした各関数は、第５図
はSNAP−ショット１〜４に、第６図がSNAP−ショット５
に、第７図がSNAP−ショット６〜９に、第８図がSNAP−
ショット10にというように図に対応している。） 1.ニューロン値Y1に重みWijを乗じる 2.順方向部分和−垂直列加算器ツリーを操作して、各列
ごとに重み付きニューロン値の部分和を生成する。
レジスタにロード済みであると仮定すると、SNAP構造は
次のように動作する。（番号付けした各関数は、第５図
はSNAP−ショット１〜４に、第６図がSNAP−ショット５
に、第７図がSNAP−ショット６〜９に、第８図がSNAP−
ショット10にというように図に対応している。） 1.ニューロン値Y1に重みWijを乗じる 2.順方向部分和−垂直列加算器ツリーを操作して、各列
ごとに重み付きニューロン値の部分和を生成する。
3.逆方向部分和及び最終合計−バイパス加算器を使って
部分和が行加算器ツリーに逆方向通信される。また、加
算関数が行ツリーのそのレベルで不要な場合には、加算
器をバイパスするのでなく、入り部分和にゼロを加えれ
ばよい。
部分和が行加算器ツリーに逆方向通信される。また、加
算関数が行ツリーのそのレベルで不要な場合には、加算
器をバイパスするのでなく、入り部分和にゼロを加えれ
ばよい。
4.ニューロン値Y1′及びY2′を生成する−上端の２つの
シグモイド生成機構がY1′及びY2′を生成する。
シグモイド生成機構がY1′及びY2′を生成する。
5.Y1′及びY2′を逆方向通信してニューロン入力側に戻
す−上端の２つの行加算器ツリーが通信モードに置か
れ、２個のニューロン値がそのタグと共に、逆方向通信
で戻されて、一致するタグを含む乗算器入力レジスタ中
で受け取られる。
す−上端の２つの行加算器ツリーが通信モードに置か
れ、２個のニューロン値がそのタグと共に、逆方向通信
で戻されて、一致するタグを含む乗算器入力レジスタ中
で受け取られる。
6.ニューロン値Y1に重みWijを乗じる。
7.順方向部分和−垂直列加算器ツリーを操作して、各列
ごとに重み付きニューロン値の部分和を生成する。
ごとに重み付きニューロン値の部分和を生成する。
8.逆方向部分和及び最終合計−バイパス加算器を使って
部分和が行加算器ツリーに逆方向通信される。また、加
算関数が行ツリーのそのレベルで不要な場合には、加算
器をバイパスするのでなく、入り部分和にゼロを加えれ
ばよい。
部分和が行加算器ツリーに逆方向通信される。また、加
算関数が行ツリーのそのレベルで不要な場合には、加算
器をバイパスするのでなく、入り部分和にゼロを加えれ
ばよい。
9.ニューロン値Y3′及びY4′を生成する−下端の２行の
シグモイド生成機構がY1′及びY2′を生成する。
シグモイド生成機構がY1′及びY2′を生成する。
10.Y3′及びY4′を逆方向通信してニューロン入力側に
戻す。下端の２行の加算器ツリーが通信モードに置か
れ、２個のニューロン値がそのタグと共に、逆方向通信
で戻されて、一致するタグを含む乗算器入力レジスタ中
で受け取られる。
戻す。下端の２行の加算器ツリーが通信モードに置か
れ、２個のニューロン値がそのタグと共に、逆方向通信
で戻されて、一致するタグを含む乗算器入力レジスタ中
で受け取られる。
11.上端の２行のシグモイド生成機構から生成された
Y5′及びY6′と、下端の２つのシグモイド生成機構から
生成されたY7′及びY8′について、同様に続行する。
Y5′及びY6′と、下端の２つのシグモイド生成機構から
生成されたY7′及びY8′について、同様に続行する。
12.ホストによって指定された反復回数が終了するま
で、続行する。
で、続行する。
複数列（行）の共用は、全乗算器が一時に１個のニュ
ーロンについて重みにニューロン値を乗じた関数を与え
る。Ｖ＝N2まで拡張可能である。こうした状況で、１ニ
ューロン更新サイクルにつき、１つのシグモイド生成機
構だけが使用される。逆方向通信経路は、各タグ付きニ
ューロン値がすべての乗算器セルに到着して、そこでタ
グ突合せ操作が行なわれるように制御される。このよう
にして、１ネットワーク更新サイクルは、１サイクル当
り１ニューロンのベースでＶ個のSNAPサイクルを要する
ことになる。従って、各乗算器セルの重み記憶域は、Ｖ
＝N2ニューロンの仮想ネットワークでは、１セル当り最
高N2個の重みまで増加することになる。Ｙ値記憶域は、
１セル当り現在値と新しい値の同じ２つの値のままとな
る。水平シグモイド生成機構は、直接シミュレーション
で必要なだけなので、全仮想実施態様ではこれを除去す
ることができる。
ーロンについて重みにニューロン値を乗じた関数を与え
る。Ｖ＝N2まで拡張可能である。こうした状況で、１ニ
ューロン更新サイクルにつき、１つのシグモイド生成機
構だけが使用される。逆方向通信経路は、各タグ付きニ
ューロン値がすべての乗算器セルに到着して、そこでタ
グ突合せ操作が行なわれるように制御される。このよう
にして、１ネットワーク更新サイクルは、１サイクル当
り１ニューロンのベースでＶ個のSNAPサイクルを要する
ことになる。従って、各乗算器セルの重み記憶域は、Ｖ
＝N2ニューロンの仮想ネットワークでは、１セル当り最
高N2個の重みまで増加することになる。Ｙ値記憶域は、
１セル当り現在値と新しい値の同じ２つの値のままとな
る。水平シグモイド生成機構は、直接シミュレーション
で必要なだけなので、全仮想実施態様ではこれを除去す
ることができる。
Ｖ＝K*Ｎの場合、１乗算器セル当りの重み記憶域は、 として与えられる。
SNAP-V2（SNAP仮想アーキテクチュア２） 上記で論じたSNAP上での仮想処理のもう一つの手法
は、各シグモイド入力部に記憶要素付き加算器である反
復加算器を設けるものである。Ｖ＝2Nの場合は、シグモ
イド関数の前に完全求和を形成するために、各ニューロ
ンの２サイクルが必要である。Ｖ＝K*Ｎの場合には、完
全求和を行うためにＫサイクルが必要となる。この構造
は第９図、SNAP-V2に示されており、代替実施例と見な
すべきである。
は、各シグモイド入力部に記憶要素付き加算器である反
復加算器を設けるものである。Ｖ＝2Nの場合は、シグモ
イド関数の前に完全求和を形成するために、各ニューロ
ンの２サイクルが必要である。Ｖ＝K*Ｎの場合には、完
全求和を行うためにＫサイクルが必要となる。この構造
は第９図、SNAP-V2に示されており、代替実施例と見な
すべきである。
SNAP-V2では、重み及びニューロン値レジスタの数を
決定する関係式 が成り立つ。（ただし、Γは、（V/N）が分数の場合、
次に大きな整数を生じるシーリング演算子である）。
決定する関係式 が成り立つ。（ただし、Γは、（V/N）が分数の場合、
次に大きな整数を生じるシーリング演算子である）。
Ｋで表した重みレジスタの総数は、 重みレジスタの総数＝(2N-1)NK2 （対角線セルでK2個の重み、その他のセルでは2K2個の
重みから構成される） 対角線セルにＫ個のＹ値レジスタ、他のセルには2K個
のＹ値レジスタが存在する。
重みから構成される） 対角線セルにＫ個のＹ値レジスタ、他のセルには2K個
のＹ値レジスタが存在する。
SNAP-V2期間＝Ｋ（ＫδM＋（Ｋ＋１）（log2N）Ｃ＋δ1
A＋δS （４） TSNAP-V1（TSNAP仮想アーキテクチュア１） TSNAP上での仮想実施態様は、Ｔ−SNAPによって実現
される諸機能を実施する、本発明者等の通常好ましい実
施例である。これを、４ニューロンTSNAP上でモデル化
した４、８、16ニューロンのネットワークを用いて例示
することにする。第10図は、４ニューロンTSNAPを示し
ている。たとえば、第10図で、Y3を生成するニューロン
３は、ボールド体で強調表示されているＮ＝４の積項の
輪郭線で表される。第10図と共に参照しやすいように、
ニューロン３についての式をここに示しておく。
A＋δS （４） TSNAP-V1（TSNAP仮想アーキテクチュア１） TSNAP上での仮想実施態様は、Ｔ−SNAPによって実現
される諸機能を実施する、本発明者等の通常好ましい実
施例である。これを、４ニューロンTSNAP上でモデル化
した４、８、16ニューロンのネットワークを用いて例示
することにする。第10図は、４ニューロンTSNAPを示し
ている。たとえば、第10図で、Y3を生成するニューロン
３は、ボールド体で強調表示されているＮ＝４の積項の
輪郭線で表される。第10図と共に参照しやすいように、
ニューロン３についての式をここに示しておく。
Y3＝Ｆ（W31Y1＋W32Y2＋W33Y3＋W34Y4） 第10図、第12図及び第14〜17図で、Ｓはシグモイド生
成機構を表す。
成機構を表す。
第11図は、８ニューロンTSNAP上でモデル化する時に
必要な８個のニューロン重み及びＹ値を表している。第
12図は、対角線セル、Ｇセル及び加算器ツリーを複製
し、構造の対角線上で部分和を生成することによって、
第10図のTSNAP構造を修正したものである。求和ツリー
構造が必要に応じて配置できることを実証するため、求
和が対角線上に示されている。複製された３角形の区画
は、シグモイド生成機構を除外しているが、区画の大き
さは、TSNAP区画の物理ニューロンの数Ｎに等しいシグ
モイド生成機構の数に基づく。TSNAP-V1では、システム
上でモデル化される最大のネットワークを扱うのに充分
な回数で３角形区画が複製されるものと仮定する。複製
される３角形区画の数は、 で与えられる。（ただし、Γは（V/N）が分数値の場
合、（V/N）の次に大きな整数を生じるシーリング演算
子である）。
必要な８個のニューロン重み及びＹ値を表している。第
12図は、対角線セル、Ｇセル及び加算器ツリーを複製
し、構造の対角線上で部分和を生成することによって、
第10図のTSNAP構造を修正したものである。求和ツリー
構造が必要に応じて配置できることを実証するため、求
和が対角線上に示されている。複製された３角形の区画
は、シグモイド生成機構を除外しているが、区画の大き
さは、TSNAP区画の物理ニューロンの数Ｎに等しいシグ
モイド生成機構の数に基づく。TSNAP-V1では、システム
上でモデル化される最大のネットワークを扱うのに充分
な回数で３角形区画が複製されるものと仮定する。複製
される３角形区画の数は、 で与えられる。（ただし、Γは（V/N）が分数値の場
合、（V/N）の次に大きな整数を生じるシーリング演算
子である）。
第12図のステップ１の例では、わかりやすいように、
ニューロン１〜４に対する重み及び出力値が最初に示さ
れている。第12図のステップ２は、ニューロン５〜８に
必要な重み及び構造を示している。例えば、第12図で
は、Y3を生じるニューロン３及びY7を生じるニューロン
７は、ステップ１及びステップ２にボールド体で強調表
示されているＮ＝８の積項の輪郭線で表される。第12図
と共に参照しやすいように、ニューロン３及び７につい
ての式をここに示しておく。
ニューロン１〜４に対する重み及び出力値が最初に示さ
れている。第12図のステップ２は、ニューロン５〜８に
必要な重み及び構造を示している。例えば、第12図で
は、Y3を生じるニューロン３及びY7を生じるニューロン
７は、ステップ１及びステップ２にボールド体で強調表
示されているＮ＝８の積項の輪郭線で表される。第12図
と共に参照しやすいように、ニューロン３及び７につい
ての式をここに示しておく。
Y3＝Ｆ（W31Y1＋W32Y2＋W33Y3＋W34Y4＋W35Y5＋W36Y6＋
W37Y7＋W38Y8） Y7＝Ｆ（W71Y1＋W72Y2＋W73Y3＋W74Y4＋W75Y5＋W76Y6＋
W77Y7＋W78Y8） 逆方向通信経過では、正しいニューロン値だけが適切
な３角形区画にロードされるように、ニューロン値にタ
グ付けすることになる。ニューロン値を３角形区画にあ
るいは各Ｙ値記憶レジスタに送る前に、タグの比較を行
うことができる。
W37Y7＋W38Y8） Y7＝Ｆ（W71Y1＋W72Y2＋W73Y3＋W74Y4＋W75Y5＋W76Y6＋
W77Y7＋W78Y8） 逆方向通信経過では、正しいニューロン値だけが適切
な３角形区画にロードされるように、ニューロン値にタ
グ付けすることになる。ニューロン値を３角形区画にあ
るいは各Ｙ値記憶レジスタに送る前に、タグの比較を行
うことができる。
本発明者等が好ましいとする上記に例示した実施例の
利点の一つは、ニューロン活動化関数生成機構を同じ数
に保持しながら、乗数器及び通信加算器ツリーの複製に
よって、第12図に示した基本概念を反復してより大きな
ネットワーク用に拡張できることである。16ニューロン
のネットワークに対するこの手法が、第14図ないし第17
図に示されている。参考のため、16ニューロンTSNAPで
使用される、16ニューロン用のすべての重みとニューロ
ン値が第13図に示されている。第14図ないし第17図は、
４つの複製されたTSNAP区画を含んでいる。ニューロン
１〜４用の重み及び出力値が、第14図のステップ１に示
されている。第15図のステップ２は、ニューロン５〜８
に必要な重み及び構造を示している。同様に、第16図の
ステップ３は、ニューロン９〜12を示し、第17図のステ
ップ４は、ニューロン13〜16を示している。わかりやす
いように、Ａ＝10、Ｂ＝11、Ｃ＝12、Ｄ＝13、Ｅ＝14、
Ｆ＝15、Ｇ＝16とすると、たとえば、第14図ないし第17
図で、Y3を生じるニューロン３、Y7を生じるニューロン
７、Y12を生じるニューロン12、Y14を生じるニューロン
14が、ステップ１ないしステップ４にボールド体で強調
表示されている各ニューロンに対するＮ＝16の積項の輪
郭線で表される。第14図ないし第17図と参照しやすいよ
うに、ニューロン３、７、12、14についての式をここに
示しておく。
利点の一つは、ニューロン活動化関数生成機構を同じ数
に保持しながら、乗数器及び通信加算器ツリーの複製に
よって、第12図に示した基本概念を反復してより大きな
ネットワーク用に拡張できることである。16ニューロン
のネットワークに対するこの手法が、第14図ないし第17
図に示されている。参考のため、16ニューロンTSNAPで
使用される、16ニューロン用のすべての重みとニューロ
ン値が第13図に示されている。第14図ないし第17図は、
４つの複製されたTSNAP区画を含んでいる。ニューロン
１〜４用の重み及び出力値が、第14図のステップ１に示
されている。第15図のステップ２は、ニューロン５〜８
に必要な重み及び構造を示している。同様に、第16図の
ステップ３は、ニューロン９〜12を示し、第17図のステ
ップ４は、ニューロン13〜16を示している。わかりやす
いように、Ａ＝10、Ｂ＝11、Ｃ＝12、Ｄ＝13、Ｅ＝14、
Ｆ＝15、Ｇ＝16とすると、たとえば、第14図ないし第17
図で、Y3を生じるニューロン３、Y7を生じるニューロン
７、Y12を生じるニューロン12、Y14を生じるニューロン
14が、ステップ１ないしステップ４にボールド体で強調
表示されている各ニューロンに対するＮ＝16の積項の輪
郭線で表される。第14図ないし第17図と参照しやすいよ
うに、ニューロン３、７、12、14についての式をここに
示しておく。
Y3＝Ｆ（W3,1Y1＋W3,2Y2＋W3,3Y3＋W3,4Y4＋W3,5Y5＋W
3,6Y6＋W3,7Y7＋W3,8Y8）＋（W3,9Y9＋W3,10Y10＋W3,11
Y11＋W3,12Y12＋W3,13Y13＋W3,14Y14＋W3,15Y15＋W3,16
Y16） Y7＝Ｆ（W7,1Y1＋W7,2Y2＋W7,3Y3＋W7,4Y4＋W7,5Y5＋W
7,6Y6＋W7,7Y7＋W7,8Y8）＋（W7,9Y9＋W7,10Y10＋W7,11
Y11＋W7,12Y12＋W7,13Y13＋W7,14Y14＋W7,15Y15＋W7,16
Y16） Y12＝Ｆ（W12,1Y1＋W12,2Y2＋W12,3Y3＋W12,4Y4＋W12,5
Y5＋W12,6Y6＋W12,7Y7＋W12,8Y8）＋W12,9Y9＋W12,10Y
10＋W12,11Y11＋W12,12Y12＋W12,13Y13＋W12,14Y14＋W
12,15Y15＋W12,16Y16） Y14＝Ｆ（W14,1Y1＋W14,2Y2＋W14,3Y3＋W14,4Y4＋W14,5
Y5＋W14,6Y6＋W14,7Y7＋W14,8Y8）＋W14,9Y9＋W14,10Y
10＋W14,11Y11＋W14,12Y12＋W14,13Y13＋W14,14Y14＋W
14,15Y15＋W14,16Y16） 第14図ないし第17図で、Ｓはシグモイド生成機構を表
す。
3,6Y6＋W3,7Y7＋W3,8Y8）＋（W3,9Y9＋W3,10Y10＋W3,11
Y11＋W3,12Y12＋W3,13Y13＋W3,14Y14＋W3,15Y15＋W3,16
Y16） Y7＝Ｆ（W7,1Y1＋W7,2Y2＋W7,3Y3＋W7,4Y4＋W7,5Y5＋W
7,6Y6＋W7,7Y7＋W7,8Y8）＋（W7,9Y9＋W7,10Y10＋W7,11
Y11＋W7,12Y12＋W7,13Y13＋W7,14Y14＋W7,15Y15＋W7,16
Y16） Y12＝Ｆ（W12,1Y1＋W12,2Y2＋W12,3Y3＋W12,4Y4＋W12,5
Y5＋W12,6Y6＋W12,7Y7＋W12,8Y8）＋W12,9Y9＋W12,10Y
10＋W12,11Y11＋W12,12Y12＋W12,13Y13＋W12,14Y14＋W
12,15Y15＋W12,16Y16） Y14＝Ｆ（W14,1Y1＋W14,2Y2＋W14,3Y3＋W14,4Y4＋W14,5
Y5＋W14,6Y6＋W14,7Y7＋W14,8Y8）＋W14,9Y9＋W14,10Y
10＋W14,11Y11＋W14,12Y12＋W14,13Y13＋W14,14Y14＋W
14,15Y15＋W14,16Y16） 第14図ないし第17図で、Ｓはシグモイド生成機構を表
す。
実施コストは、次の通りである。
・１乗算器セル当りＫ個の重みレジスタ ・１乗算器セル当り１個のＹ値レジスタ ・合計KN2個の乗算器 ・合計KN（Ｎ−１）個の加算器 TSNAP-V1の性能は、次の通りである。
TSNAP-V1期間＝Ｋ（δM＋２（log2N＋log2K）δA＋
δS） TSNAP-V2（TSNAP仮想アーキテクチュア２） 乗算器及び通信加算器区画を複製せずに、仮想TSNAP
を開発するもう一つの手法は、重み及びニューロン値を
セルに入れ、乗算器及び加算器ツリーを循環式に共用す
ることによるものである。これを実施するには、活動化
関数を入力する前に、各サイクルごとに部分和を記憶
し、部分和を加算する反復加算器が必要となる。４物理
ニューロンのTSNAP上でのこの構造が、16ニューロン仮
想ネットワークに必要な重み及びニューロン値記憶域と
共に、第18図に示されている。
δS） TSNAP-V2（TSNAP仮想アーキテクチュア２） 乗算器及び通信加算器区画を複製せずに、仮想TSNAP
を開発するもう一つの手法は、重み及びニューロン値を
セルに入れ、乗算器及び加算器ツリーを循環式に共用す
ることによるものである。これを実施するには、活動化
関数を入力する前に、各サイクルごとに部分和を記憶
し、部分和を加算する反復加算器が必要となる。４物理
ニューロンのTSNAP上でのこの構造が、16ニューロン仮
想ネットワークに必要な重み及びニューロン値記憶域と
共に、第18図に示されている。
実施コストは、次の通りである。
・１乗算器セル当りK*K個の重みレジスタ ・１乗算器セル当りＫ個のＹ値レジスタ ・合計KN2個の乗算器 ・合計Ｎ（Ｎ−１）＋Ｎ（IA）個の加算器 TSNAP-V2の性能は、次の通りである。
TSNAP-V2期間＝Ｋ（δM＋２（log2N＋δA＋δIA＋δS） 使用する実施例は選択するのに用いられる要約表 第19図は、異なる４種のSNAP仮想プロセッサ設計のハ
ードウェア・コスト及び性能の比較を示している。Ｖと
Ｎは共に２の累乗であると仮定する。すべての仮想実施
態様だけを考察し、Ｋ＝V/Nであると仮定する。したが
って、本発明者等が好ましいとする様々な実施例が一般
に異なる様々な場合に有用であり、どれを選択するか
は、適用業務の種類、所望の適用業務でのコスト及び性
能の比較に基づくことがわかるであろう。
ードウェア・コスト及び性能の比較を示している。Ｖと
Ｎは共に２の累乗であると仮定する。すべての仮想実施
態様だけを考察し、Ｋ＝V/Nであると仮定する。したが
って、本発明者等が好ましいとする様々な実施例が一般
に異なる様々な場合に有用であり、どれを選択するか
は、適用業務の種類、所望の適用業務でのコスト及び性
能の比較に基づくことがわかるであろう。
以上、本発明者等の諸発明の好ましい実施例を記載し
たが、当業者なら、現在でも将来でも、これらの議論を
理解すれば、下記の特許請求の範囲に含まれる様々な改
良及び機能強化を行なえることが理解されよう。特許請
求の範囲は、最初に開示された発明に対して適切な保護
を維持するものと解釈すべきである。
たが、当業者なら、現在でも将来でも、これらの議論を
理解すれば、下記の特許請求の範囲に含まれる様々な改
良及び機能強化を行なえることが理解されよう。特許請
求の範囲は、最初に開示された発明に対して適切な保護
を維持するものと解釈すべきである。
フロントページの続き (72)発明者 デルガドーフライアズ、ホセ、グアダル ーペ アメリカ合衆国ニューヨーク州ヴェスタ ル、アパートメント11、プラザ・ドライ ブ431番地
Claims (4)
- 【請求項１】Ｎニューロン構造を備える仮想的スケーラ
ブル・ニューラル・アレイ・プロセッサ装置であって、
ここでＮは１より大きい整数であって、前記Ｎニューロ
ン構造は、 乗算器、重み記憶域及びＶ個のニューロン出力値記憶域
を含む重み乗算器ユニットと、 前記重み乗算器ユニットに接続された通信加算器ツリー
であって、前記通信加算器ツリーは通信加算器段を含
み、前記通信加算器ツリーの各段は、加算器と、加算経
路によって使用されるものと逆方向に値を通信する加算
器バイパス経路と、加算経路と同じ方向に値を通信する
加算器バイパス経路と、加算経路と異なる通信経路の間
で切り換える手段とから構成されているものと、 前記通信加算器ツリーに接続され、ニューロン活動化関
数を用いて出力を生成するニューロン活動化関数ユニッ
トと、 前記通信加算器ツリーを使って、ニューロン活動化関数
ユニットの出力を通信して入力重み乗算器ユニットに戻
す手段と、 を有し、ここでＶはＶ＞Ｎであり、ＶはＮニューロン構
造上で前記の構成を有することによりエミュレートされ
るニューラル・ネットワーク中のニューロンの数である
前記装置。 - 【請求項２】Ｎニューロン構造を備える仮想的スケーラ
ブル・ニューラル・アレイ・プロセッサ装置であって、
ここでＮは１より大きい整数であって、前記Ｎニューロ
ン構造は、 乗算器、重み記憶域及びＶ個のニューロン出力値記憶域
を含む重み乗算器ユニットと、 前記重み乗算器ユニットに接続された複数の通信加算器
段よりなる通信加算器ツリーと、 前記通信加算器ツリーに接続され、ニューロン活動化関
数を用いて出力を生成するニューロン活動化関数ユニッ
トであって、前記ニューロン活動化関数ユニットに接続
された通信加算器段は、加算器と、加算経路によって使
用されるものと逆方向に値を通信する加算器バイパス経
路であって前記加算器バイパス経路に記憶要素が設けら
れているものと、加算経路と逆方向通信経路との間で切
り換える手段とを有するものと、 前記通信加算器ツリーを使って、ニューロン活動化関数
ユニットの出力を通信して入力重み乗算器ユニットに戻
す手段と、 を有し、ここでＶはＶ＞Ｎであり、ＶはＮニューロン構
造上で前記の構成を有することによりエミュレートされ
るニューラル・ネットワーク中のニューロンの数である
前記装置。 - 【請求項３】Ｎニューロン構造を備える仮想的スケーラ
ブル・ニューラル・アレイ・プロセッサ装置であって、
ここでＮは１より大きい整数であって、前記Ｎニューロ
ン構造は、 乗算器、重み記憶域及びＶ個のニューロン出力値記憶域
を含むN2個の重み乗算器ユニットであって、前記重み乗
算ユニットは対角線に沿って対称的に配置されたＮ×Ｎ
重みマトリックスの形で含まれており、各重み乗算ユニ
ットが、Ｋ個の重み記憶ユニットと、１個のニューロン
出力値記憶ユニットと、１個の乗算器と、重み乗算ユニ
ットのタグと一致するタグの付いたニューロン出力値だ
けをその重み乗算ユニットに含まれるニューロン出力値
記憶ユニットに記憶するようにするタグ突合せ手段とを
含むものと、 前記重み乗算器ユニットに接続された通信加算器ツリー
と、 前記通信加算器ツリーに接続され、ニューロン活動化関
数を用いて出力を生成するニューロン活動化関数ユニッ
トと、 前記通信加算器ツリーを使って、ニューロン活動化関数
ユニットの出力を通信して入力重み乗算器ユニットに戻
す手段と、 を有し、ここでＶはＶ＞Ｎであり、ＶはＮニューロン構
造上で前記の構成を有することによりエミュレートされ
るニューラル・ネットワーク中のニューロンの数であ
り、ＫはV/Nに等しい数である前記装置。 - 【請求項４】Ｎニューロン構造を備える仮想的スケーラ
ブル・ニューラル・アレイ・プロセッサ装置であって、
ここでＮは１より大きい整数であって、前記Ｎニューロ
ン構造は、 乗算器、重み記憶域及びＶ個のニューロン出力値記憶域
を含むN2個の重み乗算器ユニットと、前記重み乗算ユニ
ットは対角線に沿って対称的に配置されたＮ×Ｎマトリ
ックスの形で含まれ、各重み乗算ユニットは、K2個の重
み記憶ユニットとＫ個のニューロン出力値記憶ユニット
と１個の乗算器とを含むものと、 それぞれがＮ個の通信加算器ツリーと前記重み乗算器ユ
ニットの間に接続された部分和記憶ユニットを含んでい
るＮ個の累算器と、 前記重み乗算器ユニットに接続されたＮ個の通信加算器
ツリーと、 前記通信加算器ツリーに接続され、ニューロン活動化関
数を用いて出力を生成するＮ個のニューロン活動化関数
ユニットと、 前記通信加算器ツリーを使って、ニューロン活動化関数
ユニットの出力を通信して入力重み乗算器ユニットに戻
す手段と、 を有し、ここでＶはＶ＞Ｎであり、ＶはＮニューロン構
造上で前記の構成を有することによりエミュレートされ
るニューラル・ネットワーク中のニューロンの数であ
り、ＫはV/Nに等しい数である前記装置。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US07/526,866 US5065339A (en) | 1990-05-22 | 1990-05-22 | Orthogonal row-column neural processor |
| US526,866 | 1990-05-22 | ||
| US68278691A | 1991-04-08 | 1991-04-08 | |
| US682,786 | 1991-04-08 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04505824A JPH04505824A (ja) | 1992-10-08 |
| JP2663996B2 true JP2663996B2 (ja) | 1997-10-15 |
Family
ID=27062243
Family Applications (4)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3517778A Expired - Fee Related JP2663996B2 (ja) | 1990-05-22 | 1991-05-17 | ニューラル・ネットワーク用の仮想ニューロコンピュータ・アーキテクチュア |
| JP3509437A Expired - Fee Related JP2663995B2 (ja) | 1990-05-22 | 1991-05-17 | スケーラブル・フロー仮想学習ニューロコンピュータ |
| JP3510421A Expired - Fee Related JP2746350B2 (ja) | 1990-05-22 | 1991-05-17 | 学習機械シナプス・プロセッサ・システム装置 |
| JP3510818A Expired - Lifetime JP2502867B2 (ja) | 1990-05-22 | 1991-05-17 | Ｐｌａｎ―ピラミッド型学習ア―キテクチャ・ニュ―ロコンピュ―タ |
Family Applications After (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3509437A Expired - Fee Related JP2663995B2 (ja) | 1990-05-22 | 1991-05-17 | スケーラブル・フロー仮想学習ニューロコンピュータ |
| JP3510421A Expired - Fee Related JP2746350B2 (ja) | 1990-05-22 | 1991-05-17 | 学習機械シナプス・プロセッサ・システム装置 |
| JP3510818A Expired - Lifetime JP2502867B2 (ja) | 1990-05-22 | 1991-05-17 | Ｐｌａｎ―ピラミッド型学習ア―キテクチャ・ニュ―ロコンピュ―タ |
Country Status (4)
| Country | Link |
|---|---|
| US (3) | US5509106A (ja) |
| EP (4) | EP0484506A1 (ja) |
| JP (4) | JP2663996B2 (ja) |
| WO (4) | WO1991018350A1 (ja) |
Families Citing this family (36)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2647327B2 (ja) * | 1992-04-06 | 1997-08-27 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 大規模並列コンピューティング・システム装置 |
| JP2572522B2 (ja) * | 1992-05-12 | 1997-01-16 | インターナショナル・ビジネス・マシーンズ・コーポレイション | コンピューティング装置 |
| US5517667A (en) * | 1993-06-14 | 1996-05-14 | Motorola, Inc. | Neural network that does not require repetitive training |
| CN1160450A (zh) * | 1994-09-07 | 1997-09-24 | 摩托罗拉公司 | 从连续语音中识别讲话声音的系统及其应用方法 |
| US6128720A (en) * | 1994-12-29 | 2000-10-03 | International Business Machines Corporation | Distributed processing array with component processors performing customized interpretation of instructions |
| US5659785A (en) * | 1995-02-10 | 1997-08-19 | International Business Machines Corporation | Array processor communication architecture with broadcast processor instructions |
| US5799134A (en) * | 1995-03-13 | 1998-08-25 | Industrial Technology Research Institute | One dimensional systolic array architecture for neural network |
| US6023753A (en) * | 1997-06-30 | 2000-02-08 | Billion Of Operations Per Second, Inc. | Manifold array processor |
| US6167502A (en) * | 1997-10-10 | 2000-12-26 | Billions Of Operations Per Second, Inc. | Method and apparatus for manifold array processing |
| JP2001502834A (ja) * | 1997-12-19 | 2001-02-27 | ブリテッシュ エアロスペース パブリック リミテッド カンパニー | ニューラルネットワーク及びニューラルメモリ |
| US7254565B2 (en) * | 2001-07-26 | 2007-08-07 | International Business Machines Corporation | Method and circuits to virtually increase the number of prototypes in artificial neural networks |
| JP3987782B2 (ja) * | 2002-10-11 | 2007-10-10 | Ｎｅｃエレクトロニクス株式会社 | アレイ型プロセッサ |
| GB2400201A (en) * | 2003-04-05 | 2004-10-06 | Hewlett Packard Development Co | Network modelling its own response to a requested action |
| US8443169B2 (en) * | 2005-03-28 | 2013-05-14 | Gerald George Pechanek | Interconnection network connecting operation-configurable nodes according to one or more levels of adjacency in multiple dimensions of communication in a multi-processor and a neural processor |
| CN111291873A (zh) * | 2014-07-21 | 2020-06-16 | 徐志强 | 预制性突触的模拟方法及装置 |
| US9747546B2 (en) | 2015-05-21 | 2017-08-29 | Google Inc. | Neural network processor |
| CN105512724B (zh) * | 2015-12-01 | 2017-05-10 | 中国科学院计算技术研究所 | 加法器装置、数据累加方法及数据处理装置 |
| JP6833873B2 (ja) | 2016-05-17 | 2021-02-24 | シリコン ストーリッジ テクノロージー インコーポレイテッドＳｉｌｉｃｏｎ Ｓｔｏｒａｇｅ Ｔｅｃｈｎｏｌｏｇｙ， Ｉｎｃ． | 不揮発性メモリアレイを使用したディープラーニングニューラルネットワーク分類器 |
| CA2990709C (en) * | 2016-05-26 | 2018-09-04 | The Governing Council Of The University Of Toronto | Accelerator for deep neural networks |
| CN107688853B (zh) * | 2016-08-05 | 2020-01-10 | 中科寒武纪科技股份有限公司 | 一种用于执行神经网络运算的装置及方法 |
| US9946539B1 (en) | 2017-05-23 | 2018-04-17 | Google Llc | Accessing data in multi-dimensional tensors using adders |
| US10534607B2 (en) | 2017-05-23 | 2020-01-14 | Google Llc | Accessing data in multi-dimensional tensors using adders |
| US11769042B2 (en) | 2018-02-08 | 2023-09-26 | Western Digital Technologies, Inc. | Reconfigurable systolic neural network engine |
| US11741346B2 (en) | 2018-02-08 | 2023-08-29 | Western Digital Technologies, Inc. | Systolic neural network engine with crossover connection optimization |
| US10853034B2 (en) | 2018-03-30 | 2020-12-01 | Intel Corporation | Common factor mass multiplication circuitry |
| JP6902000B2 (ja) | 2018-07-10 | 2021-07-14 | 株式会社東芝 | 演算装置 |
| US20220035762A1 (en) | 2018-10-18 | 2022-02-03 | Shanghai Cambricon Information Technology Co., Ltd. | Network-on-chip data processing method and device |
| CN113591754B (zh) * | 2018-11-16 | 2022-08-02 | 北京市商汤科技开发有限公司 | 关键点检测方法及装置、电子设备和存储介质 |
| CN109657788A (zh) * | 2018-12-18 | 2019-04-19 | 北京中科寒武纪科技有限公司 | 数据处理方法、装置及相关产品 |
| US11270763B2 (en) | 2019-01-18 | 2022-03-08 | Silicon Storage Technology, Inc. | Neural network classifier using array of three-gate non-volatile memory cells |
| US11409352B2 (en) | 2019-01-18 | 2022-08-09 | Silicon Storage Technology, Inc. | Power management for an analog neural memory in a deep learning artificial neural network |
| US11023559B2 (en) | 2019-01-25 | 2021-06-01 | Microsemi Soc Corp. | Apparatus and method for combining analog neural net with FPGA routing in a monolithic integrated circuit |
| US10720217B1 (en) | 2019-01-29 | 2020-07-21 | Silicon Storage Technology, Inc. | Memory device and method for varying program state separation based upon frequency of use |
| US11783176B2 (en) | 2019-03-25 | 2023-10-10 | Western Digital Technologies, Inc. | Enhanced storage device memory architecture for machine learning |
| US10929058B2 (en) | 2019-03-25 | 2021-02-23 | Western Digital Technologies, Inc. | Enhanced memory device architecture for machine learning |
| US11423979B2 (en) | 2019-04-29 | 2022-08-23 | Silicon Storage Technology, Inc. | Decoding system and physical layout for analog neural memory in deep learning artificial neural network |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4796199A (en) * | 1987-02-24 | 1989-01-03 | Oregon Graduate Center | Neural-model, information-handling architecture and method |
| US4858147A (en) * | 1987-06-15 | 1989-08-15 | Unisys Corporation | Special purpose neurocomputer system for solving optimization problems |
| US5014235A (en) * | 1987-12-15 | 1991-05-07 | Steven G. Morton | Convolution memory |
| FR2625347B1 (fr) * | 1987-12-23 | 1990-05-04 | Labo Electronique Physique | Structure de reseau de neurones et circuit et arrangement de reseaux de neurones |
| US4953099A (en) * | 1988-06-07 | 1990-08-28 | Massachusetts Institute Of Technology | Information discrimination cell |
| EP0349819B1 (de) * | 1988-07-05 | 1993-12-22 | Siemens Aktiengesellschaft | In integrierter Schaltungstechnik ausgeführtes digitales neuronales Netz |
| GB2224139A (en) * | 1988-10-24 | 1990-04-25 | Philips Electronic Associated | Digital data processing apparatus |
| FR2639461A1 (fr) * | 1988-11-18 | 1990-05-25 | Labo Electronique Physique | Arrangement bidimensionnel de points memoire et structure de reseaux de neurones utilisant un tel arrangement |
| EP0377221B1 (en) * | 1988-12-29 | 1996-11-20 | Sharp Kabushiki Kaisha | Neuro-computer |
| JPH02287670A (ja) * | 1989-04-27 | 1990-11-27 | Mitsubishi Electric Corp | 半導体神経回路網 |
| US5148514A (en) * | 1989-05-15 | 1992-09-15 | Mitsubishi Denki Kabushiki Kaisha | Neural network integrated circuit device having self-organizing function |
| JP2517410B2 (ja) * | 1989-05-15 | 1996-07-24 | 三菱電機株式会社 | 学習機能付集積回路装置 |
| US5148515A (en) * | 1990-05-22 | 1992-09-15 | International Business Machines Corp. | Scalable neural array processor and method |
| US5243688A (en) * | 1990-05-22 | 1993-09-07 | International Business Machines Corporation | Virtual neurocomputer architectures for neural networks |
-
1991
- 1991-05-17 EP EP91910713A patent/EP0484506A1/en not_active Withdrawn
- 1991-05-17 EP EP91920989A patent/EP0484522A1/en not_active Withdrawn
- 1991-05-17 WO PCT/US1991/003316 patent/WO1991018350A1/en not_active Application Discontinuation
- 1991-05-17 JP JP3517778A patent/JP2663996B2/ja not_active Expired - Fee Related
- 1991-05-17 JP JP3509437A patent/JP2663995B2/ja not_active Expired - Fee Related
- 1991-05-17 JP JP3510421A patent/JP2746350B2/ja not_active Expired - Fee Related
- 1991-05-17 WO PCT/US1991/003318 patent/WO1992001257A1/en not_active Application Discontinuation
- 1991-05-17 EP EP91910047A patent/EP0486635A1/en not_active Withdrawn
- 1991-05-17 WO PCT/US1991/003315 patent/WO1991018349A1/en not_active Application Discontinuation
- 1991-05-17 JP JP3510818A patent/JP2502867B2/ja not_active Expired - Lifetime
- 1991-05-17 WO PCT/US1991/003317 patent/WO1991018351A1/en not_active Application Discontinuation
- 1991-05-17 EP EP91918394A patent/EP0486684A1/en not_active Withdrawn
-
1994
- 1994-04-22 US US08/231,853 patent/US5509106A/en not_active Expired - Fee Related
- 1994-12-22 US US08/362,087 patent/US5542026A/en not_active Expired - Fee Related
-
1995
- 1995-06-02 US US08/459,191 patent/US5617512A/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH05500429A (ja) | 1993-01-28 |
| JP2502867B2 (ja) | 1996-05-29 |
| WO1991018350A1 (en) | 1991-11-28 |
| EP0484522A1 (en) | 1992-05-13 |
| US5617512A (en) | 1997-04-01 |
| US5509106A (en) | 1996-04-16 |
| EP0486635A1 (en) | 1992-05-27 |
| JPH04507026A (ja) | 1992-12-03 |
| WO1991018351A1 (en) | 1991-11-28 |
| EP0486684A4 (ja) | 1994-03-23 |
| EP0484506A4 (ja) | 1994-03-23 |
| JPH04505824A (ja) | 1992-10-08 |
| EP0484506A1 (en) | 1992-05-13 |
| US5542026A (en) | 1996-07-30 |
| JPH04507027A (ja) | 1992-12-03 |
| JP2663995B2 (ja) | 1997-10-15 |
| JP2746350B2 (ja) | 1998-05-06 |
| EP0486684A1 (en) | 1992-05-27 |
| WO1991018349A1 (en) | 1991-11-28 |
| WO1992001257A1 (en) | 1992-01-23 |
| EP0486635A4 (ja) | 1994-03-23 |
| EP0484522A4 (ja) | 1994-03-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2663996B2 (ja) | ニューラル・ネットワーク用の仮想ニューロコンピュータ・アーキテクチュア | |
| US5146543A (en) | Scalable neural array processor | |
| US5517596A (en) | Learning machine synapse processor system apparatus | |
| US5065339A (en) | Orthogonal row-column neural processor | |
| US5148515A (en) | Scalable neural array processor and method | |
| KR20160111795A (ko) | 인공 신경망의 뉴로모픽 하드웨어 구현 방법 | |
| Lehmann et al. | A generic systolic array building block for neural networks with on-chip learning | |
| US5243688A (en) | Virtual neurocomputer architectures for neural networks | |
| US5640586A (en) | Scalable parallel group partitioned diagonal-fold switching tree computing apparatus | |
| Murray et al. | Bit-serial neural networks | |
| US5146420A (en) | Communicating adder tree system for neural array processor | |
| JPH07210534A (ja) | ニューラルネットワーク | |
| US20210142153A1 (en) | Resistive processing unit scalable execution | |
| Mihu et al. | Specifications and FPGA implementation of a systolic Hopfield-type associative memory | |
| Myers et al. | HANNIBAL: A VLSI building block for neural networks with on-chip backpropagation learning | |
| US20220027712A1 (en) | Neural mosaic logic unit | |
| US5251287A (en) | Apparatus and method for neural processing | |
| Misra et al. | Implementation of Sparse Neural Networks on Fixed Size Arrays | |
| International Neural Network Society (INNS), the IEEE Neural Network Council Cooperating Societies et al. | Implementation of back-propagation on a VLSI asynchronous cellular architecture | |
| Nagrani et al. | Neural Network Architectures for Integrated Circuits | |
| Delgado-Frias et al. | A VLSI pipelined neuroemulator | |
| Krikelis et al. | Implementing neural networks with the associative string processor | |
| JPH02287862A (ja) | ニューラルネットワーク演算装置 | |
| Faure et al. | A cellular architecture dedicated to neural net emulation | |
| Aikens II et al. | A neuro-emulator with embedded capabilities for generalized learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |