JPH04233063A - ニューロプロセッサ - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、階層構造ニューラルネ
ットワークの前向き伝搬の計算、及びバックプロパゲー
ションアルゴリズムによる学習の計算を高速に行なうた
めのニューロプロセッサに関するものである。

【０００２】

【従来の技術】ニューラルネットワークは、人間の脳の
神経細胞の働きをモデル化して模倣することによって、
従来のいわゆるノイマン形のコンピュータが苦手として
いた認識や、連想，最適化問題，音声合成等を得意とす
る新しいコンピュータを実現しようとするものである。

【０００３】ニューラルネットワークには、ニューロン
が層状に配置された階層構造のものや、すべてのニュー
ロンが相互に結合した相互結合構造のものなど、さまざ
まな構造のものがある。その中で階層構造のネットワー
クは、例えばバックプロパゲーションアルゴリズムと呼
ばれる学習アルゴリズムで簡単に学習させることができ
、制御，文字認識，画像認識，画像処理などに幅広く応
用することができると考えられている。

【０００４】図１０は階層構造のネットワークの例を示
したものである。図１０で、１０１は各層中に配置され
たニューロン、１０２はシナプスと呼ばれるニューロン
間の結合、１０３は入力層、１０４は中間層、１０５は
出力層を示す。図１０では３層のネットワークの例を示
しているが、中間層を複数にすることによって４層以上
の階層構造のネットワークにすることもできる。以後は
３層のネットワークに限って説明するが、４層以上のネ
ットワークに対してもまったく同様の扱いである。また
、図１０では各層のニューロンの数は、それぞれ３，２
，３として例示したものであるが、各層のニューロンの
数を増減させても同様である。ニューラルネットワーク
への入力信号は、おのおの、入力層１０３の各ニューロ
ンに与えられる。そして、信号が入力層，中間層，出力
層の順番に伝搬していき、出力層１０５のニューロンの
信号がネットワークの出力になる。このような入力層、
中間層，出力層の順番に伝搬していく通常の伝搬を前向
きの伝搬と呼ぶ。

【０００５】図１１はニューロンの働きを示した図であ
る。図１１で、１０１，１０７，１０８，１０９はニュ
ーロン、１０２はシナプス、１０６はニューロンの特性
関数ｆである。ニューロンは１つ前の層のニューロンの
出力をシナプスを介して受け取る。それぞれのシナプス
は結合の重みと呼ばれる値を持っており、前の層のニュ
ーロンの出力値にその結合の重みの値を乗算した結果を
次のニューロンに与える。シナプスの結合の重みは、そ
れぞれのシナプスで異なった値になっている。例えば、
図１１のｌ層目のｉ番目のニューロン１０８とｌ＋１層
目のｊ番目のニューロン１０１との間のシナプスは結合
の重みｗｌｊｉを持っており、ｌ層目のｉ番目のニュー
ロン１０８の出力Ｏｌｉにその結合の重みの値を乗算し
た結果ｗｌｊｉ×Ｏｌｉがｌ＋１層目のｊ番目のニュー
ロン１０１に与える。そして、ニューロン１０１はそれ
に結合するすべてのシナプスより与えられる入力をすべ
て加算し、その加算結果にニューロンの特性関数１０６
を作用させて、その関数値をニューロン１０１の出力Ｏ
ｌ＋１，ｊとして出力する。これを式で表すと次式のよ
うになる。

【０００６】

【数１】

【０００７】したがって、３層のネットワークの場合の
前向き伝搬は、つぎの手順で計算される。まず最初にす
べての中間層のニューロンについて、その出力を、

【０
００８】

【数２】

【０００９】に従って計算する。次にその結果を使って
すべての出力層のニューロンについて、その出力を、

【
００１０】

【数３】

【００１１】に従って計算する。次に、図１０の３層の
階層構造ネットワークのバックプロパゲーションアルゴ
リズムによる学習の方法について説明する。バックプロ
パゲーションアルゴリズムでは、入力とそれに対する理
想的な出力の組を用意し、その入力に対する実際の出力
と理想的な出力の差が減少するようにシナプスの結合の
重みを修正する。この理想的な出力のことを通常は教師
信号と呼ぶ。以下に、３層のネットワークについて具体
的な計算方法を順を追って説明する。 １．前向きの伝搬によって実際の出力を計算する。 ２．次式に従って出力層の各ニューロンの誤差に対応し
た値（以下、単にデルタと呼ぶ）を計算する。

【００１２】

【数４】

【００１３】δｌｊはｌ層目のｊ番目のニューロンに対
するデルタ、ｔｊは出力層のｊ番目のニューロンに対す
る教師信号、ｇは

【００１４】

【数５】

【００１５】で表されるようにニューロンの特性関数ｆ
の微分係数である。ニューロンの特性関数ｆは、単調非
減少の関数が用いられるので、（数５）に示したように
、特性関数の微分係数を特性関数の関数値の関数として
表すことができる。 ３．中間層と出力層との間のシナプスの結合の重みの修
正量を、次式に従って計算し、重みを修正する。

【００１６】

【数６】

【００１７】ηは修正係数である。 ４．中間層のニューロンに対するデルタを、次式に従っ
て計算する。

【００１８】

【数７】

【００１９】５．中間層と入力層の間のシナプスの結合
の重みの修正量を、次式に従って計算し、重みを修正す
る。

【００２０】

【数８】

【００２１】実際の学習では、以上に述べた手順を、複
数個の入力と教師信号の組に対して行い、さらにそれを
何回も繰り返す。すなわち、上の１から５までの手順を
１回の学習と呼ぶことにすると、総学習回数は、（学習
に用いる入力と教師信号の組の数）×（繰り返しの回数
）となる。

【００２２】以上より明らかなように、ニューラルネッ
トワークの計算は、演算量が非常に多いのが特徴である
。また、そのためにメモリのアクセス回数も非常に多く
なる。特に学習は繰り返しが必要なので、非常に演算量
が多くなる。そのため、従来、ニューラルネットワーク
の研究においては大型計算機やワークステーションのよ
うなかなり大きなハードウェアが必要であった。しかし
、ニューラルネットワークを例えば家電製品のようなも
のに応用することを考えた場合に、もっと小さなハード
ウェアでニューラルネットワークが計算できることが必
要になってくる。

【００２３】そこで、通常の汎用のマイクロプロセッサ
や、乗算器と加算器を持ちそれらを並列に動作させ、そ
の積和演算をパイプライン処理するディジタルシグナル
プロセッサ（ＤＳＰ）のようなものも用いられている。 しかし、汎用のマイクロプロセッサでは計算に膨大な時
間が必要になる。またＤＳＰでも膨大な回数のメモリの
アクセスがネックになって積和演算のパイプラインを十
分に活かすことができなくなり、乗算器や加算器が使用
されていない時間が多くなり、計算時間の短縮は大きく
ならない。そのため、特に学習の計算を汎用のマイクロ
プロセッサやＤＳＰで行うのは困難である。したがって
、学習は大型計算機やワークステーションのような大き
なハードウェアで行い、学習結果のデータをマイクロプ
ロセッサやＤＳＰに移し、学習結果を用いた前向きの伝
搬の計算のみをマイクロプロセッサやＤＳＰで行うとい
う方法などがとられている。

【００２４】

【発明が解決しようとする課題】以上に述べたように、
ニューラルネットワークの計算は、演算量とメモリのア
クセス回数が多いのが特徴である。そのためニューラル
ネットワークを例えば家電製品のようなものに応用する
ことを考えた場合に、汎用のマイクロプロセッサやＤＳ
Ｐでは学習を行うことが困難である。したがって、学習
は大型計算機やワークステーションのような大きなハー
ドウェアで行い、学習結果のデータをマイクロプロセッ
サやＤＳＰに移し、学習結果を用いた前向きの伝搬の計
算のみをマイクロプロセッサやＤＳＰで行うというよう
な方法をとらざるを得ない。

【００２５】この場合、ニューラルネットワークの動作
は固定的になってしまい、ニューラルネットワークの特
長の一つである、ユーザが自分で学習させて自分好みの
動作をするニューラルネットワークを実現することがで
きるということが、できなくなってしまう。例えば、エ
アコンをニューラルネットワークを用いて制御する場合
、学習結果のデータをマイクロプロセッサやＤＳＰに移
し、学習結果を用いた前向きの伝搬の計算のみをマイク
ロプロセッサやＤＳＰで行う方法だと、制御方法はメー
カーが学習させた方法に固定されてしまい、ユーザが自
分好みの制御方法を学習させることができない。

【００２６】そこで、ユーザが自分で学習させて自分好
みの動作をするニューラルネットワークを実現するため
に、学習が高速に行えるニューロプロセッサが必要にな
ってくる。本発明は上記課題を解決するもので、高速の
ニューロプロセッサを提供することを目的としている。

【００２７】

【課題を解決するための手段】以上の課題を解決するた
め、本発明のニューロプロセッサでは、シナプスの結合
重み用メモリ，ニューロン出力用メモリ，ニューロンの
誤差に対応した値用メモリ，ニューロン特性関数用メモ
リ，ニューロン特性関数微分係数用メモリ，教師信号用
メモリを持ち、前記複数メモリの信号を選択的に処理す
る。

【００２８】さらに、本発明のニューロプロセッサでは
、各々のメモリの信号が、順次、パイプライン処理で演
算処理可能である。

【００２９】

【作用】上記構成により、メモリが分割されているため
、複数メモリから同時に信号読みだしがされ、乗算器，
加算器に入力され、処理が行われる。さらに、パイプラ
イン処理により順次信号読みだしがなされているため、
乗算器，加算器などによる処理が効率よく行われる。

【００３０】したがって、多量の演算を効率よく処理す
るため高速化が図れる。

【００３１】

【実施例】以下、本発明の実施例を図面により説明する
。

【００３２】図１は本発明の一実施例のニューロプロセ
ッサの構成図である。図１の１１は入出力部で、外部と
のデータの入出力を行う。図１の１２は制御部で、命令
のデコードと各ブロックを制御する信号を発生する働き
をする。図１の１３のアドレスカウンタ群で、制御部１
２の制御信号に従って各メモリのアドレスを発生させる
働きをする。

【００３３】図１の１は乗算器で、レジスタ２１と２２
に入れられたデータを乗算し、乗算結果をレジスタ２３
に入れる動作をする。乗算器は並列型乗算器で、乗算は
１クロックの間で行うことができる。レジスタ２１，２
２への入力はセレクタ４１，４２で選択できるようにな
っている。セレクタ４１，４２がどのデータを選択する
かの制御信号は制御部１２で発生させる。

【００３４】図１の２は加算器で、２つの入力を加算し
、結果をレジスタ２４に入れる。加算器は加算を１クロ
ックの間で行うことができる。加算器への入力はセレク
タ４３，４４で選択できるようになっている。加算器は
減算の機能も有する。セレクタ４３，４４がどのデータ
を選択するかの制御信号は制御部１２で発生させる。

【００３５】図１の３はバレルシフタで、レジスタ２５
で与えられるシフト量だけデータをシフトさせる。この
バレンシフタは修正係数ηの乗算に用いる。

【００３６】図１の４は、シナプスの結合の重み用メモ
リで、５はニューロンの出力用メモリで、６はデルタ用
のメモリで、７はニューロンの特性関数のテーブル用の
メモリで、８はニューロンの特性関数の微分係数のテー
ブル用のメモリで、９は教師信号用のメモリである。

【００３７】図１の６１はデータの入出力用のバスで、
データを入出力する必要のあるメモリと入出力部１１と
に接続されている。

【００３８】以下に本実施例のニューロプロセッサの動
作について詳しく説明する。まず、制御部１２内の命令
デコーダによって命令がデコードされる。制御部１２は
命令に応じて各ブロックを制御する信号を発生し、それ
ぞれのブロックにその制御信号を送る。アドレスカウン
タ群１３は、制御部１２からの制御信号によって、命令
に応じたアドレスを発生させる。

【００３９】本ニューロプロセッサの動作はいくつかの
モードに分けることができる。各動作モードでは、図１
中のセレクタ４１〜４６を切り替えることによって、そ
れぞれのモードの計算が行えるようにデータが流れるよ
うにする。そしてアドレスカウンタ群１３でそれぞれの
動作のモードにあわせてアドレスを発生させることによ
って、各モードの計算を実現する。以下に、本実施例の
ニューロプロセッサの各動作モードでの動作について説
明する。

【００４０】まず、前向き伝搬の計算のモードについて
説明する。図２は、前向き伝搬の場合のデータの流れを
示した図である。アドレス５１は、シナプスの結合の重
み用のメモリ４のアドレスで、アドレスカウンタ群１３
より与えられる。アドレス５２は、ニューロンの出力用
メモリ５のアドレスで、アドレスカウンタ群１３より与
えられる。セレクタ４１によって、レジスタ２１にはシ
ナプスの結合の重みが入るようにする。セレクタ４２に
よってレジスタ２２にはニューロンの出力が入るように
する。セレクタ４３と４４によって加算器２にはレジス
タ２４とレジスタ２３が入力されるようにする。セレク
タ４３は、加算器２のもう一方の入力を０にするか、レ
ジスタ２４の値にするか選択できるようになっている。

【００４１】図３は、前向き伝搬の場合の計算のタイミ
ングの例を示した図である。図３には入力層が３ニュー
ロンの時に中間層のニューロンの出力を計算する場合の
動作のタイミングを示している。まず時刻１でアドレス
５１と５２がセットされる。そして、時刻２でそのアド
レスの指すデータがレジスタ２１と２２にラッチされる
。それと同時にアドレス５１と５２には次のアドレスが
セットされる。そして乗算が行われて、時刻３で乗算結
果がレジスタ２３にラッチされる。そして加算器２で加
算が行われて、時刻４で加算結果がレジスタ２４にラッ
チされる。加算器２のもう一方の入力はセレクタ４３で
選択される。セレクタ４３の欄に０と示してあるのは０
を選択することを表し、レジスタ２４と示してあるのは
レジスタ２４のデータを選択することを表している。 セケクタ４３を図３のように切り替えることによって乗
算結果を累積加算することができる。

【００４２】メモリの読み出しと、積の計算と和の計算
（いわゆる、積和演算）は、パイプライン処理で次々に
行われて、時刻６でレジスタ２４にシナプス３つ分の積
和演算の結果がラッチされる。この演算結果の値をアド
レスとしてニューロンの特性関数用のメモリ７のデータ
を読み出すことによって、時刻７でレジスタ２８にニュ
ーロンの出力がラッチされる。このときにニューロンの
出力用メモリ５を書き込みにすることによって、このニ
ューロンの出力をメモリに書き込む。時刻７ではアドレ
ス５２にはレジスタ２８の値を書き込むアドレスをセッ
トしておく。そして、時刻８からは次のニューロンの出
力の計算を始める。図３よりわかるように、重み用のメ
モリとニューロンの出力用のメモリとが独立しているの
で、両方の値を同時に並列に読み出せることと、メモリ
の読み出しと、積と和の計算がパイプライン処理で行わ
れることによって、時刻２から時刻４まで連続して乗算
器が使用されている。また加算器は時刻３から時刻５ま
で連続して使用されている。このように乗算器と加算器
を効率よく使用することが可能になり、その結果、計算
が高速に行えるようになる。図３では１つのニューロン
に前の層の３つのニューロンが結合している場合につい
て示しているが、結合しているニューロン数が多くなる
と、乗算器や加算器が連続して使用される時間がさらに
長くなり、乗算器と加算器の使用の効率はより一層高く
なる。

【００４３】次に、出力層のデルタの計算のモードにつ
いて説明する。図４は、出力層のデルタの計算の場合の
データの流れを示した図である。アドレス５３と５２は
、それぞれ教師信号用メモリ９のアドレスとニューロン
の出力用メモリ５のアドレスとであり、アドレスカウン
タ群１３より与えられる。セレクタ４６と４３、同４５
と４４によって、加算器２には教師信号９とニューロン
の出力とが入るようにする。加算器２では（レジスタ２
６の値）−（レジスタ２７の値）の計算を行う。セレク
タ４１によって、レジスタ２１には加算器の出力が入る
ようにする。セレクタ４２によってレジスタ２２にはニ
ューロンの特性関数の微分係数が入るようにする。レジ
スタ２１，２２のデータは乗算器１で乗算処理され、レ
ジスタ２３を経て、デルタ用メモリ６に書き込まれる。

【００４４】図５は、出力層のデルタの計算のモードの
動作のタイミングの例を示した図である。図５には出力
層の３つのニューロンに対する計算のタイミングを示し
ている。まず、時刻１でアドレス５３と５２がセットさ
れる。時刻２でそのアドレスの指すデータがレジスタ２
６と２７，２９にラッチされる。それと同時にアドレス
５３と５２には次のアドレスがセットされる。そして、
加算器２で減算が行われて、時刻３で減算結果がレジス
タ２４にラッチされる。それと同時にニューロンの特性
関数の微分係数の値がレジスタ３０にラッチされる。時
刻４でレジスタ２４と３０の中身が、それぞれ、セレク
タ４１と４２を介して、レジスタ２１と２２にラッチさ
れる。そして、乗算器１で乗算が行われて、時刻５でそ
の乗算結果、すなわちデルタの値がレジスタ２３にラッ
チされる。このとき、アドレス５４に計算結果を書き込
むためのアドレス信号がセットされ、このアドレス信号
によってデルタ用メモリ６にデルタの値の書き込みが行
われる。図５によりわかるように、教師信号用のメモリ
とニューロン出力用のメモリとニューロンの特性関数の
微分係数用のメモリとデルタ用のメモリがそれぞれアド
レス５２〜５４の各アドレスにもとづいて並列にアクセ
スできることと、クロック信号によって、順次、各レジ
スタのデータを加算、あるいは乗算するパイプライン処
理によって、加算器と乗算器の使用の効率が高くなり、
高速な計算が可能になる。図５では３つの出力層のニュ
ーロンの場合について示しているが、出力層のニューロ
ン数が多くなると、乗算器や加算器が連続して使用され
る時間がさらに長くなり、乗算器と加算器の使用の効率
はより一層高くなる。

【００４５】次に、シナプスの結合の重みの修正のモー
ドについて説明する。図６は、シナプスの結合の重みの
修正の場合のデータの流れを示した図である。セレクタ
４１と４２によって、レジスタ２１と２２にはそれぞれ
デルタの値とニューロンの出力の値が入るようにする。 乗算器１の出力は、レジスタ２３を介し、バレルシフタ
３を通して、セレクタ４５とレジスタ２７およびセレク
タ４４によって加算器２に入るようにする。加算器２の
もう一方の入力はセレクタ４６とレジスタ２６、および
セレクタ４３によってシナプスの結合の重みになるよう
にする。

【００４６】図７は、シナプスの結合の重みの修正の場
合の動作のタイミングの例を示した図である。図７には
中間層が２ニューロンのネットワークで、中間層と出力
層との間のシナプスの結合の重みを修正する場合の動作
のタイミングを示している。まず時刻１でアドレス５４
と５２がセットされる。時刻２でそのアドレスの指すデ
ルタ用メモリ６およびニューロン出力用メモリ５の各デ
ータがレジスタ２１と２２にラッチされる。それと同時
にアドレス５４と５２には次のアドレスがセットされる
。そして乗算器１で乗算が行われて、時刻３で乗算結果
がレジスタ２３にラッチされる。そしてバレルシフタ３
で修正係数ηの乗算が行われて、時刻４で修正量Δｗが
レジスタ２７にラッチされる。一方、時刻３でアドレス
５１に修正する重みのアドレスがセットされ、時刻４で
重みの値がレジスタ２６にラッチされる。そして加算器
２で加算が行われ、時刻５でレジスタ２４に加算結果が
ラッチされる。さらにアドレス５１に計算結果を書き込
むアドレスをセットし、重み用メモリ４を書き込みにす
ることによって、修正した重みがメモリに書き込まれる
。

【００４７】次の重みの修正は、最初の重みの修正より
１クロック遅れて実行する。そして、さらにその次の重
みの修正はさらに３クロック遅れて実行する。すなわち
アドレス５４と５２は２ずつ連続して発生させて、その
間に２クロックの空白を作る。それによってアドレス５
１は読み出しと書き込みの両方で連続して意味のあるア
ドレスを示すようになる。図７よりわかるように、デル
タ用のメモリとニューロンの出力用のメモリとシナプス
の結合の重み用のメモリが並列にアクセスできることと
、パイプラインによって、加算器と乗算器の使用の効率
が高くなり、高速な計算が可能になる。

【００４８】次に、中間層のデルタの計算のモードにつ
いて説明する。図８は、中間層のデルタの計算の場合の
信号の流れを示した図である。このモードでは乗算器１
をセレクタ４１，４２の切り替えによって２通りに使用
する。まず、最初はセレクタ４１と４２によって、レジ
スタ２１と２２にはデルタ用メモリ６および重み用メモ
リ４から、それぞれデルタとシナプスの結合の重みの各
データが入るようにする。セレクタ４３と４４によって
加算器２にはレジスタ２４とレジスタ２３が入力される
ようにする。この状態で乗算器１および加算器２によっ
て積和演算を行い、この積和演算が終了したら、セレク
タ４１と４２とをそれぞれ切り替えて、レジスタ２１と
２２には、それぞれ、レジスタ２４と３０の各値が入る
ようにする。

【００４９】図９は、中間層のデルタの計算の場合の動
作のタイミングの例を示した図である。図９には出力層
が３ニューロンの時に中間層のデルタを計算する場合の
動作のタイミングを示している。まず、時刻１でアドレ
ス５４と５１がセットされる。セレクタ４１，４２の欄
がＡとしてあるのは、セレクタを切り替えてレジスタ２
１と２２にはそれぞれデルタとシナプスの結合の重みが
入るようにしている状態であることを表わしている。そ
して時刻２でそのアドレスの指すデルタ用メモリ６およ
び重み用メモリ４中の各データがレジスタ２１と２２に
ラッチされる。それと同時に、アドレス５４と５１には
次のアドレスがセットされると共に、乗算器１で乗算が
行われて、時刻３で、その乗算結果がレジスタ２３にラ
ッチされると共に加算器２でその加算が行われる。そし
て、時刻４で加算結果がレジスタ２４にラッチされる。 加算器２のもう一方の入力はセレクタ４３で選択される
。図９の中のセレクタ４３のデータ欄に０と示してある
のは０を選択することをあらわし、レジスタ２４と示し
てあるまはレジスタ２４のデータを選択することをあら
わしている。セレクタ４３を切り替えることによって、
図９のように、レジスタ２３にラッチされた乗算結果を
時刻タイミングによって順次累積加算することができる
。

【００５０】メモリの読み出しと、積の計算と和の計算
とがパイプラインで次々に行われて、時刻６でレジスタ
２４にシナプス３つ分の積和演算の結果がラッチされる
。ここでセレクタ４１と４２をＢに切り替えて、この演
算結果の値を時刻７でレジスタ２１にラッチし、ニュー
ロンの特性関数の微分係数の値ｇ（Ｏ２１）を、対応の
メモリ８からアクセスして、レジスタ２２にラッチする
。時刻７でニューロンの特性関数の微分係数の値ｇ（Ｏ
２１）レジスタ２２にラッチするために、時刻４でアド
レス５２をセットし、時刻５でニューロンの出力の値を
レジスタ２９にラッチし、時刻６でニューロンの特性関
数の微分係数の値をレジスタ３０にラッチしておく。 時刻６でセレクタ４１，４２のデータ欄がＢとしてある
のは、同セレクタを切り替えて、レジスタ２１と２２に
はそれぞれレジスタ２４と３０の値が入るようにしてい
る状態であることを表わしている。そして、乗算器１の
乗算結果が時刻８でレジスタ２３にラッチされる。この
とき、アドレス５４に計算結果を書き込むアドレスをセ
ットし、デルタ用メモリ６を書き込みにすることによっ
てデルタの値がメモリに書き込まれる。そして次の時刻
のタイミングで、中間層の次のニューロンに対するデル
タの計算がはじまる。図９よりわかるように、デルタ用
のメモリとシプナスの結合の重み用のメモリとニューロ
ンの出力用のメモリとニューロンの特性関数の微分係数
のテーブル用のメモリが並列にアクセスできることと、
パイプラインによって、加算器と乗算器の使用の効率が
高くなり、高速な計算が可能になる。

【００５１】以上の動作の説明よりわかるように、本プ
ロセッサでは、シナプスの結合の重み用のメモリ４と、
ニューロンの出力用のメモリ５と、デルタ用のメモリ６
と、ニューロンの特性関数のテーブル用のメモリ７と、
ニューロンの特性関数の微分係数のテーブル用のメモリ
８と、教師信号用のメモリ９をそれぞれ独立したメモリ
として持つことによって、それらに対して並列にアクセ
スすることを可能にする。また、メモリの読み出しと積
と和の計算が、パイプラインになるように配置する。そ
の結果、乗算器と加算器が効率よく使用されるようにな
るので、階層構造のニューラルネットワークの前向き伝
搬と学習の計算が高速に行える。

【００５２】なお、本発明のニューロプロセッサは、そ
れだけで１チップになっていても、他のプロッセサや演
算ブロックやメモリ等と同一のチップ上に存在してもか
まわない。

【００５３】

【発明の効果】以上の実施例から明らかなように、本発
明によれば、メモリの分割によってメモリの並列アクセ
スを可能にしていることと、パイプライン処理を行って
いることによって計算が効率よく行われて、階層構造の
ニューラルネットワークの前向き伝搬と学習の計算が高
速にできるニューロプロセッサを提供できる。

【図面の簡単な説明】

【図１】本発明の一実施例のニューロプロセッサの構成
図

【図２】前向き伝搬の時のデータの流れの図

【図３】前
向き伝搬の時の動作のタイミングの図

【図４】出力層の
デルタの計算のデータ流れの図

【図５】出力層のデルタ
の計算の動作のタイミングの図

【図６】重みの修正のデ
ータ流れの図

【図７】重みの修正の動作のタイミングの図

【図８】中
間層のデルタの計算のデータ流れの図

【図９】中間層の
デルタの計算の動作のタイミングの図

【図１０】階層構
造ニューラルネットワークの図

【図１１】ニューロンの
働きを示した図

【符号の説明】

１　　乗算器 ２　　加算器 ３　　バレルシフタ ４　　シナプスの結合の重み用メモリ ５　　ニューロン出力用メモリ ６　　デルタ用メモリ ７　　ニューロンの特性関数のテーブル用のメモリ８　
　ニューロンの特性関数の微分係数のテーブル用のメモ
リ ９　　教師信号用のメモリ １１　　入出力部 １２　　制御部 １３　　アデレスカウンタ群 ２１〜３０　　レジスタ ４１〜４６　　セレクタ ５１〜５４　　アドレス ６１　　入出力バス １０１　　ニューロン １０２　　シナプス １０３　　入力層 １０４　　中間層 １０５　　出力層 １０６　　ニューロンの特性関数 １０７〜１０９　　ニューロン

Claims (2)

【特許請求の範囲】
1. 【請求項１】ニューラルネットワークの演算処理部分と
   して、シナプスの結合重み用メモリ，ニューロン出力用
   メモリ，ニューロンの誤差に対応した値用メモリ，ニュ
   ーロン特性関数用メモリ，ニューロン特性関数微分係数
   用メモリ，教師信号用メモリを持ち、前記複数メモリの
   信号を選択的に処理するニューロプロセッサ。
2. 【請求項２】請求項１記載の各々のメモリの信号が順次
   、パイプライン処理されるニューロプロセッサ。