JPH04182769A - デジタル・ニューロプロセッサ - Google Patents

デジタル・ニューロプロセッサ

Info

Publication number
JPH04182769A
JPH04182769A JP31248490A JP31248490A JPH04182769A JP H04182769 A JPH04182769 A JP H04182769A JP 31248490 A JP31248490 A JP 31248490A JP 31248490 A JP31248490 A JP 31248490A JP H04182769 A JPH04182769 A JP H04182769A
Authority
JP
Japan
Prior art keywords
neural network
digital
arithmetic units
output
storage means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP31248490A
Other languages
English (en)
Inventor
Hiroshi Ikeda
博 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP31248490A priority Critical patent/JPH04182769A/ja
Publication of JPH04182769A publication Critical patent/JPH04182769A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Feedback Control In General (AREA)
  • Complex Calculations (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 A、産業上の利用分野 本発明は、ニューラルネットワークをデジタル回路によ
り実現するデジタル・ニューロプロセッサに関する。
B、従来の技術 近年、VLSI技術の進歩により、人間の神経細胞にニ
ューロン)が形成する回路にニューラルネットワーク)
を1チツプ上に収めたニューロチップと呼ばれる素子が
提案、開発されつつある。
ここで、神経細胞の機能を電子回路で実現する場合につ
いて考えると、人間の神経回路は、第5図に示すように
、細胞体aと、この細胞体aから放射状に延びる複数の
樹状突起すと、同様のこの細胞体aから延びる1本の軸
索Cとから概略構成されている。軸索Cの先端は、シナ
プスdと呼ばれる結合部を介して、他の神経細胞の樹状
突起すに結合されている。このように、各神経細胞間が
結合されて神経回路が構成される。
神経回路内を流れる信号は、一定電圧のパルス信号(神
経インパルス)の形で伝達される。神経インパルスは、
シナプスdから樹状突起すを介して細胞体aに伝達され
る。細胞体aは、他の多数の神経細胞からの信号を加算
し、この加算された信号がある閾値に達すると、軸索C
を介して他の神経細胞へと信号を出力する。
シナプスdと神経細胞との結合強度は一定ではなく、こ
の結合強度に対応した信号が神経細胞へと伝達される。
また、シナプスdには興奮性シナプスと抑制性シナプス
とがあり、前者は神経細胞内に正の電位を与えて神経細
胞を興奮させ、後者は神経細胞内に負の電位を与えて神
経細胞の興奮を抑制する。
従って、神経細胞の機能を電子回路で実現するには、細
胞体a、樹状突起b、軸索C及びシナプスdの各機能を
実現する回路部品を製作すれば良いことになる。現在提
案、実現されているニューロチップは、このような発想
の下に各神経細胞の機能を実現する電子回路にューロン
回路)を多数製作し、これらニューロン回路間を一定の
法則に従って接続することで神経回路を模したものであ
る。
なお、現在提案、実現されている二ニーロチツブによる
ニューラルネットワークは、各ニューロンを入力層、中
間層及び出力層に分けて層間を結ぶ階層型と、すべての
ニューロンとネットワーク状に結合できるマトリクス型
に大別できる。
第6図は、階層型のネットワークを形成するデジタル回
路を用いた従来のニューロチップの〜例を示す図である
(日経エレクトロニクス、1990年3月5日号(No
、494)参照)。図において、Nは人間の神経細胞と
同様に機能するニューロ・プロセッサ、Mはシナプスの
結合強度等を記憶するメモリであり、これらニューロ・
プロセッサNとメモリMとはそれぞれ組になって複数個
設けられている。ニューロ・プロセッサNの数(図中で
はn)は、実現しようとするニューラルネットワークに
より定まる。各ニューロ・プロセッサNは、リング状の
パスラインBrにより結合されている。また、Pはプロ
セッサ、MpはこのプロセッサPに接続されたメモリで
あり、このプロセッサPと各ニューロ・プロセッサNと
は単一のパスラインBにより接続されている。
プロセッサPは、メモリMpに記憶された情報に従って
、各ニューロ・プロセッサNに同一の信号x1を出力す
る。ニューロ・プロセッサNでは、メモリM内に記憶さ
れたシナプスの結合強度wij (iはニューロ・プロ
セッサの番号、jはネットワークの層の番号)に従って
、y i j X x 1なる演算を行い、その結果を
プロセッサPに戻す。
これを順次繰り返すことで、所定の結果を得るのである
。この場合、リング状のパスラインBrは、特にバック
・プロパゲーション等の学習アルゴリズムを実現する際
に、各プロセッサN間での信号の受は渡しを行う。
なお、上述の例において、1チツプ上には2つのニュー
ロ・プロセッサが集積されている。
一方、第7図は、デジタル回路を用いた従来のニューロ
チップの他の例を示す図である(コンピユートロール(
No、29) pp、91〜98参照)。図において、
1は細胞体回路、2は興奮性シナプス回路。
3は抑制性シナプス回路であり、1つの細胞体回路1に
、6個の興奮性シナプス回路2及び抑制性シナプス回路
3が、樹状突起回路4を介して接続され、1個のニュー
ロンの機能を行う回路(デジタルニューロン)が構成さ
れている。この例では、6個のデジタルニューロンが並
列に接続されている。また、7は興奮性外部入力用の端
子、8は抑制性外部入力用の端子である。これら端子か
らの入力は、各デジタルニューロンにそれぞれ設けられ
た入力用興奮性、抑制性シナプス回路9.10に入力さ
れる。細胞体回路1、あるいは樹状突起回路4からの出
力は、マルチプレクサ11を介して、出力端子12から
取り出される。同様に、樹状突起回路4への直接的な入
出力端子13も設けられている。一方、各デジタルニュ
ーロンの興奮性、抑制性シナプス回路2.3は、マルチ
プレクサ11を介して6個の入力端子14に並列に接続
されている。従って、入力端子14及び出力端子12を
適宜接続することで、任意のネットワークが構築可能で
ある。同様に、樹状突起回路4間を端子間で直接接続す
ることで、1つの細胞体回路1に結合しているシナプス
回路数を無制限に拡張することができる。第8図は、第
7図に示す二二−ロチツブ15を複数個(72個)用い
たニューラルネットワークの構成例を示す図である。こ
れらニューロチップ15は、ホストコンピュータ16を
介してその信号処理等が制御される。
C6発明が解決しようとする課題 従来提案、実現されているニューロチップは、1チツプ
当たり1〜数士ニューロン程度の回路しか集積されてお
らず、実際に特定の機能を実現するニューラルネットワ
ークを構成しようとする場合、そのチップ数が膨大にな
って余り実用的ではない。また、従来のニューロチップ
では、そのチップ内部に学習アルゴリズムが組み込まれ
てはおらず、他のホストコンピュータで計算しているた
め、チップ単体では厳密な意味でのニューロチップとは
言えない。
本発明の目的は、1チツプ上に多数のニューロン回路を
実現でき、しかもチップ内部に学習アルゴリズムを組み
込むことのできるデジタル・ニューロプロセッサを実現
することにある。
01課題を解決するための手段 そこで本発明は、複数のデジタル人力に対して。
ニューラルネットワーク型の並列処理をデジタル回路を
用いて行うデジタル・ニューロプロセッサ20を、記憶
手段22を有する中核部21と、該中核部21との間で
データの授受を行い、積和演算器25.26を備えた複
数の演算ユニット24とを備えたものとし、かつ、該演
算ユニット24を、全体としてリング状に接続されるよ
うに相互に接続し、前記記憶手段22に、ニューロン入
出力値、重み係数、8力関数、学習信号等のニューラル
ネットワークの情報を格納したことを特徴とする。
81作用 本発明では、ニューラルネットワークの各情報は記憶手
段22内に格納され、これら情報が演算ユニット24に
入力され、この演算ユニット24内で積和演算が行われ
ることでニューラルネットワークの演算処理が行われる
なお、本発明の詳細な説明する前記り項及びE項では1
本発明を分かり易くするために実施例の符号を用いたが
、これにより本発明が実施例に限定されるものではない
F、実施例 以下、図面を参照して、本発明の実施例について詳細に
説明する。
第1図は、本発明のデジタル・ニューロプロセッサによ
る一実施例を示す概略構成図である。図において、20
は本実施例にかかるデジタル・ニューロプロセッサ、2
1は中核部であり、この中核部21はメモリ(記憶手段
)22と算術論理ユニット(ALU)23とから構成さ
れている。
メモリ22には、各ニューロンの入出力値Uij、重み
係数Wkl(ij)、重み係数の補正値ΔWkl (i
j)、ニューロン高力関数(シグモイド関数等) F 
(V) 、学習信号Ymj等がデジタル値で格納されて
いる。すなおち、このメモリ22には、第2図に示すよ
うなニューラルネットワークの各情報が格納されており
、こ九ら情報がニューラルネットワークの実体となって
いる。
また、24は演算ユニットであり、1つの二二一口プロ
セッサ20について複数(本実施例では4個)設けられ
ている。各演算ユニット24は中核部21に接続され、
これら相互間でのデータの授受が可能となっている。同
様に、各演算ユニット24間も、全体としてリング状に
接続されるように、相互に接続されている。
演算ユニット24は、第3図に示すように、中核部21
からのデータが2種類入力される乗算器25と、この乗
算器25の出力と他の演算ユニット24からの通信入力
とが入力される加算器26と、加算器26の8力を一時
的に格納するバッファ・レジスタ27とから構成されて
いる。このバッファ・レジスタ27は、他の演算ユニッ
ト24及び中核部21に接続されている。
次に、第1図〜第3図を参照して、本実施例にかかるデ
ジタル・ニューロプロセッサの動作について説明する。
第1図に示すデジタル・ニューロプロセッサを用いて、
第2図に示すニューラルネットワークの第1層の演算を
行う。まず、算術論理ユニット23は、メモリ22内に
記憶されている第1層目のニューロン入力値Uijと第
1層目の重み係数W01(j)とを、入力28−a、2
8−bとして演算ユニット24−aに出力し、積和演算
を行う。
この際、他の演算ユニット(図中では演算ユニット24
−d)からの入力29−dは0にリセットしておく。積
和演算の結果は、出力30−aとして中核部20に戻さ
れる。このような演算を、演算ユニット24− a =
 dを用いて、ニューラルネットワークの第1層のニュ
ーロンの数だけ行い、積和出力U□j*WOI(j)を
直列的に得る。
これは、第1層のニューロン出力値Uljに相当し、こ
の値はメモリ22内に格納される。なお、第1層のニュ
ーロンの数が演算ユニット24の数より多い場合は、パ
イプライン演算により順に演算が行われる。
次いで、ニューラルネットワークの第2層の演算を行う
。すなわち、算術論理ユニット23は。
上述の動作で得られた第1層のニューロン出力値Ull
と第1.2層間の重み係数W12 (1,1)とを、入
力28−a、28−bとして演算ユニット24−aに出
力し、積和演算を行う。この際、他の演算ユニット24
−dからの入力29−dは同様に○にリセットしておく
。積和演算の結果は、通信出力29−aとして隣接する
演算ユニット24−bに出力される。これと同時に、算
術論理ユニット23は、ニューロン出力値U21と重み
係数W12 (2,1)とをパイプライン的に演算ユニ
ット24−bに出力し、通信人力29−aとの積和演算
を行う。このような演算を、演算ユニット24− a 
” dを用いて、ニューラルネットワークの第1層のニ
ューロンの数だけ繰り返すと、第2層のニューロン出力
U21が得られる。このニューロン出力U21は、バッ
ファ・レジスタ27を介してメモリ22に戻され、ニュ
ーロン出力値が書き換えられる。同様にして、第2層の
他のニューロンの出力値も得られる。なお、第2層のニ
ューロンの数が演算ユニット24の数より多い場合は、
リング状に接続された演算ユニット24間をデータが何
周か回ることになる。このようなニューロプロセッサ2
0の動作はデータフロー型プロセッサに類似するが、本
実施例の場合は、ニューラルネットの構造を予め定めて
おけばデータの動きは一意的に定まるので、データフロ
ー型プロセッサのように複雑な制御は必要としない。
以上のような動作を、ニューラルネットワークの最終層
(第m層)まで繰り返して行えば、ニューラルネットワ
ークの処理結果たる出力値U m jがメモリ22内に
格納され、第2図に示すようなニューラルネットワーク
が行う並列処理が仮想的に実行できたことになる。
また、第1図に示す構成のニューロプロセッサの学習機
能の動作について説明する。理想的には、処理用と別に
学習用の演算ユニット24を並列的に設けることが望ま
しいが、これを設けずども学習は可能である。
まず、メモリ22内の学習信号Ymj、すなわちある入
カバターンに対する望ましい出力と、実際の出力U m
 jの差djを算術論理ユニット23により計算し、さ
らに、ニューロン出力関数F(V)の微分関数F’  
(V)を算術論理ユニット23を用いて掛け、教師信号
Dj= (Urnj−Ymj)本F’  (V)を求め
る。次に、算術論理ユニット23は、この教師信号Dj
、及び最終層とその手前の層との間の重み係数Wm−1
m(1゜j)を入力28−a、28−bとして演算ユニ
ット24− a ” dに出力し、積和演算を行う。こ
の結果に、さらに微分関数F’(V)、ニューロン出力
Um−11及び学習パラメータ(−η)を掛ければ1重
み係数の補正量ΔWm  1 m (1+ j)が求め
られる。この結果は算術論理ユニット23に戻され、算
術論理ユニット23は、メモリ22内に格納されている
重み係数Wm−1m (1,j)に補正量ΔWm−1m
 (1,j)を加算し、これを新しい重み係数としてメ
モリ22内に格納する。
以上の動作を、ニューラルネットワークの出力側の層か
ら入力側に向けて順次繰り返せば、パックプロパゲーシ
ョン型の学習が行える。
以上示した動作により、所望のニューラルネットワーク
を実現するニューロプロセッサを構成することができる
。ここで、本実施例では、メモリ22内にニューラルネ
ットワークの各情報が格納され、この各情報に基づいて
、演算ユニット24でニューラルネットワークの演算処
理が行われているので、従来のニューロチップのように
、ハードウェアによりプロセッサ20内のニューロン数
が原理的に制限を受けることがない。当然、演算ユニッ
ト24に対してニューロン数が多ければ、これに対応し
て処理速度は遅くなるが、中核部21と各演算ユニット
24との間でのデータの授受が可能であり、かつ、各演
算ユニット24は相互に接続されて全体としてリング状
となっているので、データの流れをパイプライン化した
り並列化するのが容易な構成である。従って、与えられ
たハードウェアに対して最大限の処理速度が達成できる
また、メモリ22内に学習機能のための情報を格納でき
るため、このプロセッサ20単体で学習機能を持つこと
ができる、という優れた利点を有する。
なお、本発明によるデジタル・ニューロプロセッサは、
その細部が前記実施例に限定されず、種々の変形例が可
能である。例えば、第4図に示すように、第1図に示す
構成に比較して多数の演算ユニット24を備えたような
構成としてもよい。
この場合、第1図の構成に比較して並列処理、パイプラ
イン演算による処理速度の高速化が図り得る。なお、全
ての演算ユニット24と中核部21とが接続されている
必要はない。また、算術論理ユニット23の行うべき機
能を演算ユニット24が代行することも可能である。但
し、演算ユニット24が代行した場合にはオーバーヘッ
ドが生ずる可能性がある。さらに、前述の実施例は多層
型のニューラルネットワークであったが、それ以外のニ
ューラルネットワークも実現できるのは言うまでもない
G0発明の効果 以上詳細に説明したように、本発明によれば、複数のデ
ジタル入力に対して、ニューラルネットワーク型の並列
処理をデジタル回路を用いて行うデジタル・ニューロプ
ロセッサを、記憶手段を有する中核部と、該中核部との
間でデータの授受を行う複数の演算ユニットとを備えた
ものとし、かつ、該演算ユニットを、全体としてリング
状に接続されるように相互に接続し、前記記憶手段に、
ニューロン入出力値、重み係数、出力関数、学習信号等
のニューラルネットワークの情報を格納したので、記憶
手段内に格納された各情報に基づいて、演算ユニットで
ニューラルネットワークの演算処理が行われる。従って
、従来の二ニーロチツブのようにハードウェアによりプ
ロセッサ内のニューロン数が原理的に制限を受けること
がない。
また、記憶手段内に学習機能のための情報を格納できる
ため、このプロセッサ単体で学習機能を持つことができ
る、という優れた利点を有する。
【図面の簡単な説明】
第1図は本発明によるデジタル・ニューロプロセッサの
一実施例を示す概略構成図、第2図はデジタル・ニュー
ロプロセッサにより実現されるニューラルネットワーク
の一例を示す図、第3図は演算ユニットを示す概略構成
図、第4図は本発明によるデジタル・ニューロプロセッ
サの他の実施例を示す概略構成図、第5図は人間の神経
細胞を示す図、第6図〜第8図は従来の二ニーロチツブ
を示す図である。 20:デジタル・ニューロプロセッサ 21:中核部 22:メモリ(記憶手段) 23:算術論理ユニット 24:演算ユニット 25:乗算器 26:加算器

Claims (1)

  1. 【特許請求の範囲】  複数のデジタル入力に対して、ニューラルネットワー
    ク型の並列処理をデジタル回路を用いて行うデジタル・
    ニューロプロセッサにおいて、記憶手段を有する中核部
    と、 この中核部との間でデータの授受を行い、積和演算器を
    備えた複数の演算ユニットとを備え、この演算ユニット
    は全体としてリング状に接続されるように相互に接続さ
    れ、 前記記憶手段には、ニューロン入出力値、重み係数、出
    力関数、学習信号等のニューラルネットワークの情報が
    格納されていることを特徴とするデジタル・ニューロプ
    ロセッサ。
JP31248490A 1990-11-17 1990-11-17 デジタル・ニューロプロセッサ Pending JPH04182769A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP31248490A JPH04182769A (ja) 1990-11-17 1990-11-17 デジタル・ニューロプロセッサ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP31248490A JPH04182769A (ja) 1990-11-17 1990-11-17 デジタル・ニューロプロセッサ

Publications (1)

Publication Number Publication Date
JPH04182769A true JPH04182769A (ja) 1992-06-30

Family

ID=18029770

Family Applications (1)

Application Number Title Priority Date Filing Date
JP31248490A Pending JPH04182769A (ja) 1990-11-17 1990-11-17 デジタル・ニューロプロセッサ

Country Status (1)

Country Link
JP (1) JPH04182769A (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120011087A1 (en) * 2010-07-07 2012-01-12 Qualcomm Incorporated Methods and systems for replaceable synaptic weight storage in neuro-processors
JP2013529342A (ja) * 2010-05-19 2013-07-18 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア ニューラル処理ユニット
US11216717B2 (en) 2017-04-04 2022-01-04 Hailo Technologies Ltd. Neural network processor incorporating multi-level hierarchical aggregated computing and memory elements
US11221929B1 (en) 2020-09-29 2022-01-11 Hailo Technologies Ltd. Data stream fault detection mechanism in an artificial neural network processor
US11237894B1 (en) 2020-09-29 2022-02-01 Hailo Technologies Ltd. Layer control unit instruction addressing safety mechanism in an artificial neural network processor
US11238334B2 (en) 2017-04-04 2022-02-01 Hailo Technologies Ltd. System and method of input alignment for efficient vector operations in an artificial neural network
US11263077B1 (en) 2020-09-29 2022-03-01 Hailo Technologies Ltd. Neural network intermediate results safety mechanism in an artificial neural network processor
US11811421B2 (en) 2020-09-29 2023-11-07 Hailo Technologies Ltd. Weights safety mechanism in an artificial neural network processor

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013529342A (ja) * 2010-05-19 2013-07-18 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア ニューラル処理ユニット
US9558444B2 (en) 2010-05-19 2017-01-31 The Regents Of The University Of California Neural processing unit
US20120011087A1 (en) * 2010-07-07 2012-01-12 Qualcomm Incorporated Methods and systems for replaceable synaptic weight storage in neuro-processors
US8676734B2 (en) * 2010-07-07 2014-03-18 Qualcomm, Incorporated Methods and systems for replaceable synaptic weight storage in neuro-processors
US11238331B2 (en) 2017-04-04 2022-02-01 Hailo Technologies Ltd. System and method for augmenting an existing artificial neural network
US11216717B2 (en) 2017-04-04 2022-01-04 Hailo Technologies Ltd. Neural network processor incorporating multi-level hierarchical aggregated computing and memory elements
US11238334B2 (en) 2017-04-04 2022-02-01 Hailo Technologies Ltd. System and method of input alignment for efficient vector operations in an artificial neural network
US11263512B2 (en) 2017-04-04 2022-03-01 Hailo Technologies Ltd. Neural network processor incorporating separate control and data fabric
US11461614B2 (en) 2017-04-04 2022-10-04 Hailo Technologies Ltd. Data driven quantization optimization of weights and input data in an artificial neural network
US11221929B1 (en) 2020-09-29 2022-01-11 Hailo Technologies Ltd. Data stream fault detection mechanism in an artificial neural network processor
US11237894B1 (en) 2020-09-29 2022-02-01 Hailo Technologies Ltd. Layer control unit instruction addressing safety mechanism in an artificial neural network processor
US11263077B1 (en) 2020-09-29 2022-03-01 Hailo Technologies Ltd. Neural network intermediate results safety mechanism in an artificial neural network processor
US11811421B2 (en) 2020-09-29 2023-11-07 Hailo Technologies Ltd. Weights safety mechanism in an artificial neural network processor

Similar Documents

Publication Publication Date Title
CN109901878B (zh) 一种类脑计算芯片及计算设备
US5544336A (en) Parallel data processing system which efficiently performs matrix and neurocomputer operations, in a negligible data transmission time
KR101686827B1 (ko) 인공 신경망의 뉴로모픽 하드웨어 구현 방법
US6581049B1 (en) Artificial neurons including power series of weights and counts that represent prior and next association
EP0504932A2 (en) A parallel data processing system
Eldredge et al. RRANN: a hardware implementation of the backpropagation algorithm using reconfigurable FPGAs
EP0631254A2 (en) Neural network and method of using same
Lehmann et al. A generic systolic array building block for neural networks with on-chip learning
US5535309A (en) Single layer neural network circuit for performing linearly separable and non-linearly separable logical operations
Aybay et al. Classification of neural network hardware
JPH02193251A (ja) エラー後方伝ぱん法と神経網システム
JPH06266868A (ja) ニューロン素子
JPH04182769A (ja) デジタル・ニューロプロセッサ
Tanaka et al. Hardware implementation of brain-inspired amygdala model
Svensson et al. Execution of neural network algorithms on an array of bit-serial processors
International Neural Network Society (INNS), the IEEE Neural Network Council Cooperating Societies et al. The Lneuro-chip: a digital VLSI with on-chip learning mechanism
JPH05346914A (ja) ニューロプロセッサ
KR20040040075A (ko) 재구성능력 및 확장능력을 가진 신경회로망 하드웨어
EP0841621B1 (en) Learning method in binary systems
Viredaz MANTRA I: An SIMD processor array for neural computation
Ghorbani et al. Incremental communication for multilayer neural networks
Kim et al. An Asynchronous Inter-Processor Communication Based, Input Recycling Parallel Architecture for Large Scale Neural Network Simulation
Suzuki et al. A study of regular architectures for digital implementation of neural networks
McGinnity et al. Novel architecture and synapse design for hardware implementations of neural networks
US20240054330A1 (en) Exploitation of low data density or nonzero weights in a weighted sum computer