JPH05159087A

JPH05159087A - ニューロプロセッサ

Info

Publication number: JPH05159087A
Application number: JP32267891A
Authority: JP
Inventors: Tadayuki Morishita; 賢幸森下; Yoichi Tamura; 洋一田村; Shinichi Katsu; 新一勝; Atsuo Inoue; 敦雄井上; Takami Satonaka; 孝美里中
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1991-12-06
Filing date: 1991-12-06
Publication date: 1993-06-25

Abstract

(57)【要約】【目的】演算処理部のシナプス荷重を複数のメモリに
分割して計算順序に合わせて割り付けし、さらに、複数
の演算処理部で同時に並列に動作するデータ転送回路を
使用することによって、大規模なニューラルネットワー
クの計算を高速に処理するニューロプロセッサを提供す
る。【構成】入力層、中間層、出力層からなる３層階層型
ニューラルネットワークを計算する場合、各層に対応し
て、複数個のチップを図１のように接続する。ここで、
チップ１０１、１０２、１０３、１０４が入力層、チッ
プ１０５、１０６、１０７、１０８が中間層、チップ１
０９、１１０が出力層に対応している。シナプス荷重を
これらのチップに内蔵しているメモリに、計算順序に分
割して割り付けることにより、シナプス荷重の転送を実
行しなくても、ニューラルネットワークの前向き伝搬と
逆向き伝搬の計算ができる。この結果、演算処理部間の
データ転送数は大幅に低減されて大規模なニューラルネ
ットワークの計算を高速に行うことができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、階層構造ニューラルネ
ットワークの前向き伝搬の計算、及びバックプロパゲー
ションアルゴリズムによる学習の計算を実行するニュー
ロプロセッサに関するものである。

【０００２】

【従来の技術】ニューラルネットワークは、人間の脳の
神経細胞の働きをモデル化して模倣することによって、
従来のいわゆるノイマン形のコンピュータが苦手として
いた認識や、連想、最適化問題、音声合成等を得意とす
る新しいコンピュータを実現しようするものである。

【０００３】ニューラルネットワークには、ニューロン
が層状に配置された階層構造のものや、すべてのニュー
ロンが相互に結合した相互結合構造のものなど、さまざ
まな構造のものがある。その中で階層構造のネットワー
クは、例えばバックプロパゲーションアルゴリズムと呼
ばれる学習アルゴリズムで簡単に学習させることがで
き、制御、文字認識、画像認識、画像処理などに幅広く
応用することができると考えられている。

【０００４】図３は階層構造のネットワークの例を示し
たものである。図３で、３０１は各層中に配置されたニ
ューロン、３０２はシナプスと呼ばれるニューロン間の
結合、３０３は入力層、３０４は中間層、３０５は出力
層を示す。図３では３層のネットワークの例を示してい
るが、中間層を複数にすることによって４層以上の階層
構造のネットワークにすることもできる。以後は３層の
ネットワークの例で説明するが、４層以上のネットワー
クに対してもまったく同様の扱いである。また、図３で
は各層のニューロンの数は、それぞれ３個，２個，３個
として例示したものであるが、各層のニューロンの数を
増減させても同様である。ニューラルネットワークへの
入力信号は、おのおの、入力層３０３の各ニューロンに
与えられる。そして、信号が入力層、中間層、出力層の
順番に伝搬していき、出力層３０５のニューロンの信号
がネットワークの出力になる。このような入力層、中間
層、出力層の順番に伝搬していく通常の伝搬を前向きの
伝搬と呼ぶ。

【０００５】図４はニューロンの働きを示した図であ
る。図４で、４０１、４０７、４０８、４０９はニュー
ロン、４０２はシナプス、４０６はニューロンの特性関
数ｆである。ニューロンはシナプスを介して１つ前の層
のニューロンの出力を受け取る。それぞれのシナプスは
結合の重みと呼ばれる値を持っており、前の層のニュー
ロンの出力値にその結合の重みの値を乗算した結果を次
のニューロンに与える。シナプスの結合の重みは、それ
ぞれのシナブスで異なった値になっている。例えば、図
４のｋ層目のｉ番目のニューロン４０８とｋ＋１層目の
ｊ番目のニューロン４０１との間のシナプスは結合の重
みｗ_kjiを持っており、ｌ層目のｉ番目のニューロン４
０８の出力Ｏ_kiにその結合の重みの値を乗算した結果ｗ
_kji×Ｏ_kiがｋ＋１層目のｊ番目のニューロン４０１に
与える。そして、ニューロン４０１はそれに結合するす
べてのシナプスより与えられる入力をすべて加算し、そ
の加算結果にニューロンの特性関数４０６を作用させ
て、その関数値をニューロン４０１の出力Ｏ_k+1,jとし
て出力する。これを式で表すと次式のようになる。

【０００６】

【数１】

【０００７】したがって、３層のネットワークの場合の
前向き伝搬は、つぎの手順で計算される。まず最初にす
べての中間層のニューロンについて、その出力を、

【０００８】

【数２】

【０００９】に従って計算する。次にその結果を使って
すべての出力層のニューロンについて、その出力を、

【００１０】

【数３】

【００１１】に従って計算する。次に、図３の３層の階
層構造ネットワークのバックプロパゲーションアルゴリ
ズムによる学習の方法について説明する。バックプロパ
ゲーションアルゴリズムでは、入力とそれに対する理想
的な出力の組を用意し、その入力に対する実際の出力と
理想的な出力の差が減少するようにシナプスの結合の重
みを修正する。この理想的な出力のことを通常は教師信
号と呼ぶ。以下に、３層のネットワークについて具体的
な計算方法を、順を追って、説明する。１．前向きの伝搬によって実際の出力を計算する。２．次式に従って出力層の各ニューロンの誤差に対応し
た値（以下、単にデルタと呼ぶ）を計算する。

【００１２】

【数４】

【００１３】δ_3jは出力層である３層目のｊ番目のニュ
ーロンに対するデルタ、ｔ_jは出力層のｊ番目のニュー
ロンに対する教師信号、ｇは

【００１４】

【数５】

【００１５】で表されるようにニューロンの特性関数ｆ
の微分係数である。ニューロンの特性関数ｆは、単調非
減少の関数が用いられるので、（数５）に示したよう
に、特性関数の微分係数を特性関数の関数値の関数とし
て表すことができる。３．中間層と出力層との間のシナプス荷重の修正量を、
次式に従って計算し、重みを修正する。

【００１６】

【数６】

【００１７】ηは修正係数である。４．中間層のニューロンに対するデルタを、次式に従っ
て計算する。

【００１８】

【数７】

【００１９】５．中間層と入力層の間のシナプス荷重の
修正量を、次式に従って計算し、重みを修正する。

【００２０】

【数８】

【００２１】実際の学習では、以上に述べた手順を、複
数個の入力と教師信号の組に対して行い、さらにそれを
何回も繰り返す。すなわち、上の１から５までの手順を
１回の学習と呼ぶことにすると、総学習回数は、（学習
に用いる入力と教師信号の組の数）×（繰り返しの回
数）となる。

【００２２】以上より明かなように、ニューラルネット
ワークの計算には、シナプス荷重を保存するメモリが必
要である。１チップに集積できるメモリの容量には上限
があるため、その数よりも大きなニューラルネットワー
クを計算する場合には、複数個のチップを接続すること
が必要になる。また、処理速度の点でも、複数個のチッ
プを使用した方が高速化できる。そこで、複数個のディ
ジタルシグナルプロセッサ（ＤＳＰ）やマイクロプロセ
ッサを使用して、データを各々のチップ間で転送しなが
ら計算を実行している。入力層、中間層、出力層のニュ
ーロン数がそれぞれ、３２個、３２個、３２個である図
５のような３層の階層型ニューラルネットワークをＤＳ
Ｐ１、ＤＳＰ２、ＤＳＰ３、ＤＳＰ４の４つのＤＳＰで
実行する場合、ＤＳＰ１、ＤＳＰ２で入力層と中間層の
間の（数２）の計算を実行し、ＤＳＰ３とＤＳＰ４で中
間層と出力層の間の（数３）の計算を実行する。ＤＳＰ
１は、１から３２までと３３から４８までの（数２）の
計算を分担し、ＤＳＰ２は、１から３２までと４９から
６４までの（数２）の計算を分担する。相当するシナプ
ス荷重をそれぞれのＤＳＰ内部に分割して保持しておけ
ば、これらの計算は並列して実行することができるため
高速な処理もできる。ところが、バックプロパゲーショ
ンの場合、ＤＳＰ１は、１から３２までと３３から４８
までの（数７）の計算が必要になるため、ＤＳＰ２に保
持されている１から３２までと４９から６４までのシナ
プス荷重を通信により転送しなければならない。１クロ
ックで１つのメモリを転送できる高速の転送回路が存在
しても、この転送には５１２クロックもかかる。

【００２３】

【発明が解決しようとする課題】以上に述べたように、
大規模なニューラルネットワークを処理する場合、演算
器単体の処理速度を高速化しても、シナプス荷重のデー
タ転送に時間がかかり、ネットワーク全体の処理速度は
低下する。

【００２４】本発明は上記課題を解決するもので、大規
模のニューラルネットワークを高速に処理できるニュー
ロプロセッサを提供することを目的としている。

【００２５】

【課題を解決するための手段】以上の課題を解決するた
め、本発明のニューロプロセッサでは、演算処理部のシ
ナプス荷重を複数のメモリに分割して計算順序に合わせ
て割付けし、さらに、複数の演算処理部で同時に並列に
動作するデータ転送回路を使用している。

【００２６】

【作用】上記構成により、演算処理部間のデータ転送数
は大幅に低減されて大規模なニューラルネットワークの
計算を高速に処理することができる。

【００２７】

【実施例】以下、本発明の実施例を図面により説明す
る。

【００２８】図１は本発明の実施例の複数個のチップを
接続したニューロプロセッサの構成図である。入力層、
中間層、出力層のニューロン数がそれぞれ、３２個、３
２個、３２個からなる図５の３層の階層型ニューラルネ
ットワークを計算する場合を考える。チップ１０１から
チップ１１０までの１０個のチップで構成されている。
チップ１０１は、５０１から５１６までと５３３から５
４８までの間のシナプス荷重を保持し、チップ１０２
は、５１７から５３２までと５３３から５４８までのシ
ナプス荷重を保持している。同様に、チップ１０３は、
５０１から５１６までと５４９から５６４まで、チップ
１０４は、５１７から５３２までと５４９から５６４ま
で、チップ１０５は５３３から５４８までと５６５から
５８０まで、チップ１０６は５４９から５６４までと５
６５から５８０まで、チップ１０７は５３３から５４８
までと５８１から５９６まで、チップ１０８は５４９か
ら５６４までと５８１から５９６までのシナプス荷重を
保持している。これらのチップの計算手順は、図２のよ
うになる。これらのチップの制御は、ホストとなるＣＰ
Ｕが行う。各チップはホストＣＰＵとアドレスバス、デ
ータバス、コントロールバスによって接続されており、
それぞれ固有のアドレスを持っている。アドレスバスは
１６ビットのアドレス情報、データバスは８ビットのデ
ータ、コントロールバスは書き込み、読み込み、チップ
セレクト、リセット等の制御信号線で構成されている。
また、この構成図の中には、ニューラルネットワークの
学習事例の入力と出力の組を保持するメモリも含まれて
いる。

【００２９】ステップ０では、ＣＰＵ１１７からチップ
１０１−１１０に接続したバスを通して、ネットワーク
の層数や各層内のニューロン数、学習回数等のデータ
を、各チップの対応するレジスタに書き込む。

【００３０】ステップ１では、学習事例をそれぞれの学
習事例保持用メモリ１１１−１１４に保存する。ＣＰＵ
１１７がチップ１０１からチップ１０４までの各チップ
に対応する学習事例の入力側データの送信を開始する命
令を送信する。このモードでは、学習事例用メモリはチ
ップ内部でＣＰＵ１１７のバスと直結され、ＣＰＵ１１
７がアドレスと共にデータを送信する。ただし、チップ
１０１とチップ１０３、チップ１０２とチップ１０４は
同じ番号の入力層ニューロンを持っているので、データ
は２つのチップに同時に書き込まれる。チップ１０９と
チップ１１０についても同様な手順で学習事例の出力側
データが書き込まれる。

【００３１】ステップ２では、学習事例を各入力層チッ
プへ読み込む。ＣＰＵ１１７から入力データの読み込み
信号をチップ１０１からチップ１０４へ送信することに
より、それぞれのチップが独立に、それぞれのチップに
付属した学習事例保持用メモリからニューラルネットワ
ークへの対応する入力データを読み込む。全てのチップ
がレディ状態になると、ＣＰＵ１１７は次のステップに
進む。

【００３２】ステップ３では、入力層と中間層の間のシ
ナプス荷重の積を求める計算開始命令をホストＣＰＵか
ら受ける。チップ１０１でｋ＝５０１から５１６までと
ｊ＝５３３から５４８までのニューロン間のシナプス荷
重の積和を

【００３３】

【数９】

【００３４】に従って計算し、５３３から５４８までに
対応するアドレスのメモリへ格納する。同時に、チップ
１０２でｋ＝５１７から５３２までとｊ＝５３３から５
４８まで、チップ１０３でｋ＝５０１から５１６までと
ｊ＝５４９から５６４まで、チップ１０４でｋ＝５１７
から５３２までとｊ＝５４９から５６４までの積和を計
算して各チップ内の対応するメモリへ保存する。

【００３５】ステップ４では、チップ１０１、１０２、
１０３、１０４のメモリへ保存された値をチップ１０
５、１０６、１０７、１０８に転送して（数２）の括弧
内部の計算を完成させる。チップ１０５ではｊ＝５３３
の場合にｋ＝５０１から５１６までの積和をチップ１０
１のメモリのアドレス３３から読み出し、その値に、チ
ップ１０２のメモリのアドレス３３からｋ＝５１６から
５３２までの積和を読み出して加算して、メモリのアド
レス３３に格納する。この操作をｊ＝５３４から５４８
まで繰り返す。チップ１０７は、チップ１０５で発生し
た信号を受けてチップ１０５と同期しながら同じ演算を
行う。チップ１０６は、チップ１０５でｊ＝５４９から
５６４までの演算を行い、チップ１０８はチップ１０７
でｊ＝５４９から５６４までの演算を行う。

【００３６】ステップ５では、（数２）の関数ｆによる
変換と（数３）の括弧内部の演算を行う。チップ５で
は、まず、メモリのアドレスを順番に読み出し、関数ｆ
の変換を行う。この変換は実際に計算を実行してもよい
し、関数の引き数をアドレスとして変換テーブルを参照
して求めてもよい。こうしてＯ_2iを計算し、アドレスｉ
に保存する。この操作をｉ＝５３３から５４８まで実行
する。次に、ステップ３と同様の操作で中間層の出力に
中間層と出力層の間のシナプス荷重を掛け、加算を行
い、（数３）の関数の引き数に相当する値を求め、メモ
リに格納する。チップ１０６、１０７、１０８でもそれ
ぞれこの操作を行う。

【００３７】ステップ６では、ステップ４と同様なデー
タ転送を実行する。すなわち、チップ１０９は、チップ
１０５のメモリのアドレス６５を読み出し、その値に、
チップ１０６のメモリのアドレス６５を読み出して加
え、メモリのアドレス６５に保存する。この操作をｊ＝
５６５から５８０まで繰り返す。チップ１１０はｊ＝５
８１から５９６までを実行する。

【００３８】以上で、ニューラルネットワークの前向き
伝搬が終了する。この処理だけであれば、従来法でもシ
ナプス荷重を転送する必要がなく処理は変わらない。

【００３９】次に、ニューラルネットワークの最大の特
徴である学習の手順について説明する。このネットワー
クはバックプロパゲーション学習法により学習させる。

【００４０】ステップ７では、学習事例の出力信号保存
用メモリ１１５、１１６のデータと前向き伝搬で求めた
ネットワークの出力データとの差を求めて、チップ１０
９及び１１０対応するメモリのアドレスへ格納する。

【００４１】ステップ８では、チップ１０９と１１０の
メモリの内容をチップ１０５から１０８へ転送する。

【００４２】ステップ９では、関数ｆの微分（数５）を
掛け、（数４）のδ₃を計算する。チップ５では、（数
４）のｊ＝５６５から５８０までを計算し対応するメモ
リのアドレスに格納する。さらに、ηとＯ_2iをかけて、
（数６）によりΔｗを求める。次に、（数９）をｋ＝５
６５から５８０までとｊ＝５３３から５４８まで計算し
てメモリのアドレスに格納する。最後に、同じ添字を持
つｗにΔｗを加えて、同じアドレスに値を戻す。チップ
１０６もチップ１０５と同期して、ｊ＝５４９から５６
４までとなることを除いて同じ計算を実行する。チップ
１０７はチップ１０５とチップ１０８はチップ１０６と
同様な動作をする。ただし、ｋ＝５８１から５９６とな
る。

【００４３】（数７）を求める演算を実行するために
は、例えば、チップ１０１において、（数７）の積和部
分はｋ＝５３２から５６４でなければならないので、チ
ップ１０５とチップ１０７でもとめた（数９）のメモリ
の値を転送し加算する必要がある。

【００４４】ステップ１１０では、チップ１０１におい
て、チップ１０５のメモリのアドレスｊの値をチップ１
０１に転送し、その値にチップ１０７の同じ値を転送し
て加算し、メモリのアドレスｊに格納する。これをｊ＝
５０１から５１６まで繰り返す。チップ１０２では、チ
ップ１０１と同期して同様な計算を行う。チップ１０３
はチップ１０１に対応し、チップ１０４はチップ１０２
に対応する計算を実行する。

【００４５】ステップ１１では、この値からδを（数
７）に従って求め、さらにニューロンの出力をかけて、
（数８）によりΔｗを計算する。

【００４６】以上の操作によれば、ステップ１０とステ
ップ１１の計算のためのデータ転送は、１６クロックで
実行できるため、データ転送による処理速度の低下は小
さい。これは、重みを転送する従来法に比べて１０倍以
上高速となっている。完全結合したネットワークでは、
シナプスの数はニューロン数の２乗で増加するため、ネ
ットワークの規模が大きいほど本発明で構成したニュー
ロプロセッサの方が高速にニューラルネットワークの演
算を処理できる。

【００４７】以上の操作の中で、データ転送は複数のチ
ップ間で同時に実行すると効率がさらに良くなる。例え
ば、ステップ４では、チップ１０１、１０２とチップ１
０５、１０６のデータ転送とチップ１０３、１０４とチ
ップ１０７、１０８の間のデータ転送を同時に実行す
る。同様に、ステップ１０６、１０８、１１０でもチッ
プ間のデータ転送を並列化できる。

【００４８】なお、本発明のニューロプロセッサは、１
チップになっていても、他のプロセッサや演算ブロック
やメモリ等と同一のチップ上に存在してもかまわない。
また、演算部分はチップごとにステップで示した様な種
類の異なる演算部分を含んだ数種類のチップを用いて構
成してもよし、どのステップも計算できる演算処理部を
含んだチップを用いてもよい。

【００４９】

【発明の効果】以上の実施例から明かなように、本発明
によれば、演算処理部分のデータ転送の数が大幅に低減
されて、大規模な階層構造のニューラルネットワークの
前向き伝搬と学習の計算が高速にできるニューロプロセ
ッサを提供できる。

【図面の簡単な説明】

【図１】本発明の一実施例の複数個のチップを接続した
ニューロプロセッサの構成図

【図２】計算手順の流れ図

【図３】階層型ニューラルネットワークの系統図

【図４】ニューロンの働きを示した概念図

【図５】３２−３２−３２のニューロンからなるニュー
ラルネットワークの系統図

【符号の説明】

１０１−１１０演算処理用チップ１１１−１１４入力用学習事例保持メモリ１１５−１１６出力用学習事例保持メモリ１１７ホストＣＰＵ１１８コントロール、アドレス、データバス３０１ニューロン３０２シナプス３０３入力層３０４中間層３０５出力層４０１ニューロン４０６ニューロンの特性関数４０７−４０９ニューロン５０１−５９６ニューロン

───────────────────────────────────────────────────── フロントページの続き (72)発明者井上敦雄大阪府門真市大字門真1006番地松下電器産業株式会社内 (72)発明者里中孝美大阪府門真市大字門真1006番地松下電器産業株式会社内

Claims

【特許請求の範囲】

【請求項１】シナプスの結合重み保持用メモリをチップ
上あるいはチップ外に持ち、ニューラルネットワークの
バックプロパゲーション学習則に従って学習する演算処
理部分を１チップ上に複数個有し、それらを１チップ上
で接続したニューロプロセッサ。
【請求項２】シナプスの結合重み保持用メモリをチップ
上あるいはチップ外に持ち、ニューラルネットワークの
バックプロパゲーション学習則に従って学習する演算処
理部分の１部分を１チップ上に有し、当該チップを複数
個接続するニューロプロセッサ。
【請求項３】ニューラルネットワークのバックプロパゲ
ーション学習則に従って学習する複数個に分割された演
算処理部分を、１チップ上または複数のチップ上に持
ち、当該複数演算処理部の間で同時に並列的にデータの
転送をするニューロプロセッサ。