JPH04182769A

JPH04182769A - デジタル・ニューロプロセッサ

Info

Publication number: JPH04182769A
Application number: JP31248490A
Authority: JP
Inventors: Hiroshi Ikeda; 博池田
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 1990-11-17
Filing date: 1990-11-17
Publication date: 1992-06-30

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】Ａ、産業上の利用分野本発明は、ニューラルネットワークをデジタル回路によ
り実現するデジタル・ニューロプロセッサに関する。

Ｂ、従来の技術近年、ＶＬＳＩ技術の進歩により、人間の神経細胞にニ
ューロン）が形成する回路にニューラルネットワーク）
を１チツプ上に収めたニューロチップと呼ばれる素子が
提案、開発されつつある。

ここで、神経細胞の機能を電子回路で実現する場合につ
いて考えると、人間の神経回路は、第５図に示すように
、細胞体ａと、この細胞体ａから放射状に延びる複数の
樹状突起すと、同様のこの細胞体ａから延びる１本の軸
索Ｃとから概略構成されている。軸索Ｃの先端は、シナ
プスｄと呼ばれる結合部を介して、他の神経細胞の樹状
突起すに結合されている。このように、各神経細胞間が
結合されて神経回路が構成される。

神経回路内を流れる信号は、一定電圧のパルス信号（神
経インパルス）の形で伝達される。神経インパルスは、
シナプスｄから樹状突起すを介して細胞体ａに伝達され
る。細胞体ａは、他の多数の神経細胞からの信号を加算
し、この加算された信号がある閾値に達すると、軸索Ｃ
を介して他の神経細胞へと信号を出力する。

シナプスｄと神経細胞との結合強度は一定ではなく、こ
の結合強度に対応した信号が神経細胞へと伝達される。

また、シナプスｄには興奮性シナプスと抑制性シナプス
とがあり、前者は神経細胞内に正の電位を与えて神経細
胞を興奮させ、後者は神経細胞内に負の電位を与えて神
経細胞の興奮を抑制する。

従って、神経細胞の機能を電子回路で実現するには、細
胞体ａ、樹状突起ｂ、軸索Ｃ及びシナプスｄの各機能を
実現する回路部品を製作すれば良いことになる。現在提
案、実現されているニューロチップは、このような発想
の下に各神経細胞の機能を実現する電子回路にューロン
回路）を多数製作し、これらニューロン回路間を一定の
法則に従って接続することで神経回路を模したものであ
る。

なお、現在提案、実現されている二ニーロチツブによる
ニューラルネットワークは、各ニューロンを入力層、中
間層及び出力層に分けて層間を結ぶ階層型と、すべての
ニューロンとネットワーク状に結合できるマトリクス型
に大別できる。

第６図は、階層型のネットワークを形成するデジタル回
路を用いた従来のニューロチップの〜例を示す図である
（日経エレクトロニクス、１９９０年３月５日号（Ｎｏ
、４９４）参照）。図において、Ｎは人間の神経細胞と
同様に機能するニューロ・プロセッサ、Ｍはシナプスの
結合強度等を記憶するメモリであり、これらニューロ・
プロセッサＮとメモリＭとはそれぞれ組になって複数個
設けられている。ニューロ・プロセッサＮの数（図中で
はｎ）は、実現しようとするニューラルネットワークに
より定まる。各ニューロ・プロセッサＮは、リング状の
パスラインＢｒにより結合されている。また、Ｐはプロ
セッサ、ＭｐはこのプロセッサＰに接続されたメモリで
あり、このプロセッサＰと各ニューロ・プロセッサＮと
は単一のパスラインＢにより接続されている。

プロセッサＰは、メモリＭｐに記憶された情報に従って
、各ニューロ・プロセッサＮに同一の信号ｘ１を出力す
る。ニューロ・プロセッサＮでは、メモリＭ内に記憶さ
れたシナプスの結合強度ｗｉｊ　（ｉはニューロ・プロ
セッサの番号、ｊはネットワークの層の番号）に従って
、ｙ　ｉ　ｊ　Ｘ　ｘ　１なる演算を行い、その結果を
プロセッサＰに戻す。

これを順次繰り返すことで、所定の結果を得るのである
。この場合、リング状のパスラインＢｒは、特にバック
・プロパゲーション等の学習アルゴリズムを実現する際
に、各プロセッサＮ間での信号の受は渡しを行う。

なお、上述の例において、１チツプ上には２つのニュー
ロ・プロセッサが集積されている。

一方、第７図は、デジタル回路を用いた従来のニューロ
チップの他の例を示す図である（コンピユートロール（
Ｎｏ、２９）　ｐｐ、９１〜９８参照）。図において、
１は細胞体回路、２は興奮性シナプス回路。

３は抑制性シナプス回路であり、１つの細胞体回路１に
、６個の興奮性シナプス回路２及び抑制性シナプス回路
３が、樹状突起回路４を介して接続され、１個のニュー
ロンの機能を行う回路（デジタルニューロン）が構成さ
れている。この例では、６個のデジタルニューロンが並
列に接続されている。また、７は興奮性外部入力用の端
子、８は抑制性外部入力用の端子である。これら端子か
らの入力は、各デジタルニューロンにそれぞれ設けられ
た入力用興奮性、抑制性シナプス回路９．１０に入力さ
れる。細胞体回路１、あるいは樹状突起回路４からの出
力は、マルチプレクサ１１を介して、出力端子１２から
取り出される。同様に、樹状突起回路４への直接的な入
出力端子１３も設けられている。一方、各デジタルニュ
ーロンの興奮性、抑制性シナプス回路２．３は、マルチ
プレクサ１１を介して６個の入力端子１４に並列に接続
されている。従って、入力端子１４及び出力端子１２を
適宜接続することで、任意のネットワークが構築可能で
ある。同様に、樹状突起回路４間を端子間で直接接続す
ることで、１つの細胞体回路１に結合しているシナプス
回路数を無制限に拡張することができる。第８図は、第
７図に示す二二−ロチツブ１５を複数個（７２個）用い
たニューラルネットワークの構成例を示す図である。こ
れらニューロチップ１５は、ホストコンピュータ１６を
介してその信号処理等が制御される。

Ｃ６発明が解決しようとする課題従来提案、実現されているニューロチップは、１チツプ
当たり１〜数士ニューロン程度の回路しか集積されてお
らず、実際に特定の機能を実現するニューラルネットワ
ークを構成しようとする場合、そのチップ数が膨大にな
って余り実用的ではない。また、従来のニューロチップ
では、そのチップ内部に学習アルゴリズムが組み込まれ
てはおらず、他のホストコンピュータで計算しているた
め、チップ単体では厳密な意味でのニューロチップとは
言えない。

本発明の目的は、１チツプ上に多数のニューロン回路を
実現でき、しかもチップ内部に学習アルゴリズムを組み
込むことのできるデジタル・ニューロプロセッサを実現
することにある。

０１課題を解決するための手段そこで本発明は、複数のデジタル人力に対して。

ニューラルネットワーク型の並列処理をデジタル回路を
用いて行うデジタル・ニューロプロセッサ２０を、記憶
手段２２を有する中核部２１と、該中核部２１との間で
データの授受を行い、積和演算器２５．２６を備えた複
数の演算ユニット２４とを備えたものとし、かつ、該演
算ユニット２４を、全体としてリング状に接続されるよ
うに相互に接続し、前記記憶手段２２に、ニューロン入
出力値、重み係数、８力関数、学習信号等のニューラル
ネットワークの情報を格納したことを特徴とする。

８１作用本発明では、ニューラルネットワークの各情報は記憶手
段２２内に格納され、これら情報が演算ユニット２４に
入力され、この演算ユニット２４内で積和演算が行われ
ることでニューラルネットワークの演算処理が行われる
。

なお、本発明の詳細な説明する前記り項及びＥ項では１
本発明を分かり易くするために実施例の符号を用いたが
、これにより本発明が実施例に限定されるものではない
。

Ｆ、実施例以下、図面を参照して、本発明の実施例について詳細に
説明する。

第１図は、本発明のデジタル・ニューロプロセッサによ
る一実施例を示す概略構成図である。図において、２０
は本実施例にかかるデジタル・ニューロプロセッサ、２
１は中核部であり、この中核部２１はメモリ（記憶手段
）２２と算術論理ユニット（ＡＬＵ）２３とから構成さ
れている。

メモリ２２には、各ニューロンの入出力値Ｕｉｊ、重み
係数Ｗｋｌ（ｉｊ）、重み係数の補正値ΔＷｋｌ　（ｉ
ｊ）、ニューロン高力関数（シグモイド関数等）　Ｆ　
（Ｖ）　、学習信号Ｙｍｊ等がデジタル値で格納されて
いる。すなおち、このメモリ２２には、第２図に示すよ
うなニューラルネットワークの各情報が格納されており
、こ九ら情報がニューラルネットワークの実体となって
いる。

また、２４は演算ユニットであり、１つの二二一口プロ
セッサ２０について複数（本実施例では４個）設けられ
ている。各演算ユニット２４は中核部２１に接続され、
これら相互間でのデータの授受が可能となっている。同
様に、各演算ユニット２４間も、全体としてリング状に
接続されるように、相互に接続されている。

演算ユニット２４は、第３図に示すように、中核部２１
からのデータが２種類入力される乗算器２５と、この乗
算器２５の出力と他の演算ユニット２４からの通信入力
とが入力される加算器２６と、加算器２６の８力を一時
的に格納するバッファ・レジスタ２７とから構成されて
いる。このバッファ・レジスタ２７は、他の演算ユニッ
ト２４及び中核部２１に接続されている。

次に、第１図〜第３図を参照して、本実施例にかかるデ
ジタル・ニューロプロセッサの動作について説明する。

第１図に示すデジタル・ニューロプロセッサを用いて、
第２図に示すニューラルネットワークの第１層の演算を
行う。まず、算術論理ユニット２３は、メモリ２２内に
記憶されている第１層目のニューロン入力値Ｕｉｊと第
１層目の重み係数Ｗ０１（ｊ）とを、入力２８−ａ、２
８−ｂとして演算ユニット２４−ａに出力し、積和演算
を行う。

この際、他の演算ユニット（図中では演算ユニット２４
−ｄ）からの入力２９−ｄは０にリセットしておく。積
和演算の結果は、出力３０−ａとして中核部２０に戻さ
れる。このような演算を、演算ユニット２４−　ａ　＝
　ｄを用いて、ニューラルネットワークの第１層のニュ
ーロンの数だけ行い、積和出力Ｕ□ｊ＊ＷＯＩ（ｊ）を
直列的に得る。

これは、第１層のニューロン出力値Ｕｌｊに相当し、こ
の値はメモリ２２内に格納される。なお、第１層のニュ
ーロンの数が演算ユニット２４の数より多い場合は、パ
イプライン演算により順に演算が行われる。

次いで、ニューラルネットワークの第２層の演算を行う
。すなわち、算術論理ユニット２３は。

上述の動作で得られた第１層のニューロン出力値Ｕｌｌ
と第１．２層間の重み係数Ｗ１２　（１，１）とを、入
力２８−ａ、２８−ｂとして演算ユニット２４−ａに出
力し、積和演算を行う。この際、他の演算ユニット２４
−ｄからの入力２９−ｄは同様に○にリセットしておく
。積和演算の結果は、通信出力２９−ａとして隣接する
演算ユニット２４−ｂに出力される。これと同時に、算
術論理ユニット２３は、ニューロン出力値Ｕ２１と重み
係数Ｗ１２　（２，１）とをパイプライン的に演算ユニ
ット２４−ｂに出力し、通信人力２９−ａとの積和演算
を行う。このような演算を、演算ユニット２４−　ａ　
”　ｄを用いて、ニューラルネットワークの第１層のニ
ューロンの数だけ繰り返すと、第２層のニューロン出力
Ｕ２１が得られる。このニューロン出力Ｕ２１は、バッ
ファ・レジスタ２７を介してメモリ２２に戻され、ニュ
ーロン出力値が書き換えられる。同様にして、第２層の
他のニューロンの出力値も得られる。なお、第２層のニ
ューロンの数が演算ユニット２４の数より多い場合は、
リング状に接続された演算ユニット２４間をデータが何
周か回ることになる。このようなニューロプロセッサ２
０の動作はデータフロー型プロセッサに類似するが、本
実施例の場合は、ニューラルネットの構造を予め定めて
おけばデータの動きは一意的に定まるので、データフロ
ー型プロセッサのように複雑な制御は必要としない。

以上のような動作を、ニューラルネットワークの最終層
（第ｍ層）まで繰り返して行えば、ニューラルネットワ
ークの処理結果たる出力値Ｕ　ｍ　ｊがメモリ２２内に
格納され、第２図に示すようなニューラルネットワーク
が行う並列処理が仮想的に実行できたことになる。

また、第１図に示す構成のニューロプロセッサの学習機
能の動作について説明する。理想的には、処理用と別に
学習用の演算ユニット２４を並列的に設けることが望ま
しいが、これを設けずども学習は可能である。

まず、メモリ２２内の学習信号Ｙｍｊ、すなわちある入
カバターンに対する望ましい出力と、実際の出力Ｕ　ｍ
　ｊの差ｄｊを算術論理ユニット２３により計算し、さ
らに、ニューロン出力関数Ｆ（Ｖ）の微分関数Ｆ’　　
（Ｖ）を算術論理ユニット２３を用いて掛け、教師信号
Ｄｊ＝　（Ｕｒｎｊ−Ｙｍｊ）本Ｆ’　　（Ｖ）を求め
る。次に、算術論理ユニット２３は、この教師信号Ｄｊ
、及び最終層とその手前の層との間の重み係数Ｗｍ−１
ｍ（１゜ｊ）を入力２８−ａ、２８−ｂとして演算ユニ
ット２４−　ａ　”　ｄに出力し、積和演算を行う。こ
の結果に、さらに微分関数Ｆ’（Ｖ）、ニューロン出力
Ｕｍ−１１及び学習パラメータ（−η）を掛ければ１重
み係数の補正量ΔＷｍ　　１　ｍ　（１＋　ｊ）が求め
られる。この結果は算術論理ユニット２３に戻され、算
術論理ユニット２３は、メモリ２２内に格納されている
重み係数Ｗｍ−１ｍ　（１，ｊ）に補正量ΔＷｍ−１ｍ
　（１，ｊ）を加算し、これを新しい重み係数としてメ
モリ２２内に格納する。

以上の動作を、ニューラルネットワークの出力側の層か
ら入力側に向けて順次繰り返せば、パックプロパゲーシ
ョン型の学習が行える。

以上示した動作により、所望のニューラルネットワーク
を実現するニューロプロセッサを構成することができる
。ここで、本実施例では、メモリ２２内にニューラルネ
ットワークの各情報が格納され、この各情報に基づいて
、演算ユニット２４でニューラルネットワークの演算処
理が行われているので、従来のニューロチップのように
、ハードウェアによりプロセッサ２０内のニューロン数
が原理的に制限を受けることがない。当然、演算ユニッ
ト２４に対してニューロン数が多ければ、これに対応し
て処理速度は遅くなるが、中核部２１と各演算ユニット
２４との間でのデータの授受が可能であり、かつ、各演
算ユニット２４は相互に接続されて全体としてリング状
となっているので、データの流れをパイプライン化した
り並列化するのが容易な構成である。従って、与えられ
たハードウェアに対して最大限の処理速度が達成できる
。

また、メモリ２２内に学習機能のための情報を格納でき
るため、このプロセッサ２０単体で学習機能を持つこと
ができる、という優れた利点を有する。

なお、本発明によるデジタル・ニューロプロセッサは、
その細部が前記実施例に限定されず、種々の変形例が可
能である。例えば、第４図に示すように、第１図に示す
構成に比較して多数の演算ユニット２４を備えたような
構成としてもよい。

この場合、第１図の構成に比較して並列処理、パイプラ
イン演算による処理速度の高速化が図り得る。なお、全
ての演算ユニット２４と中核部２１とが接続されている
必要はない。また、算術論理ユニット２３の行うべき機
能を演算ユニット２４が代行することも可能である。但
し、演算ユニット２４が代行した場合にはオーバーヘッ
ドが生ずる可能性がある。さらに、前述の実施例は多層
型のニューラルネットワークであったが、それ以外のニ
ューラルネットワークも実現できるのは言うまでもない
。

Ｇ０発明の効果以上詳細に説明したように、本発明によれば、複数のデ
ジタル入力に対して、ニューラルネットワーク型の並列
処理をデジタル回路を用いて行うデジタル・ニューロプ
ロセッサを、記憶手段を有する中核部と、該中核部との
間でデータの授受を行う複数の演算ユニットとを備えた
ものとし、かつ、該演算ユニットを、全体としてリング
状に接続されるように相互に接続し、前記記憶手段に、
ニューロン入出力値、重み係数、出力関数、学習信号等
のニューラルネットワークの情報を格納したので、記憶
手段内に格納された各情報に基づいて、演算ユニットで
ニューラルネットワークの演算処理が行われる。従って
、従来の二ニーロチツブのようにハードウェアによりプ
ロセッサ内のニューロン数が原理的に制限を受けること
がない。

また、記憶手段内に学習機能のための情報を格納できる
ため、このプロセッサ単体で学習機能を持つことができ
る、という優れた利点を有する。

【図面の簡単な説明】

第１図は本発明によるデジタル・ニューロプロセッサの
一実施例を示す概略構成図、第２図はデジタル・ニュー
ロプロセッサにより実現されるニューラルネットワーク
の一例を示す図、第３図は演算ユニットを示す概略構成
図、第４図は本発明によるデジタル・ニューロプロセッ
サの他の実施例を示す概略構成図、第５図は人間の神経
細胞を示す図、第６図〜第８図は従来の二ニーロチツブ
を示す図である。２０：デジタル・ニューロプロセッサ２１：中核部２２：メモリ（記憶手段）２３：算術論理ユニット２４：演算ユニット２５：乗算器２６：加算器

Claims

【特許請求の範囲】　複数のデジタル入力に対して、ニューラルネットワー
ク型の並列処理をデジタル回路を用いて行うデジタル・
ニューロプロセッサにおいて、記憶手段を有する中核部
と、この中核部との間でデータの授受を行い、積和演算器を
備えた複数の演算ユニットとを備え、この演算ユニット
は全体としてリング状に接続されるように相互に接続さ
れ、前記記憶手段には、ニューロン入出力値、重み係数、出
力関数、学習信号等のニューラルネットワークの情報が
格納されていることを特徴とするデジタル・ニューロプ
ロセッサ。