JPH05128285A - ニユーロプロセツサ - Google Patents

Abstract

(57)【要約】 【目的】多次元配列変数のメモリに対するアドレスの発
生に、アドレス計算を行う必要がないようにすることに
よって、ニューラルネットワークの計算が高速にできる
ニューロプロセッサを提供する。 【構成】カウンタ１、２、３を、それぞれ、多次元配列
変数の１つずつの添字に対応させ、それらの出力を並列
に並べることによって、多次元配列変数のメモリに対す
るアドレスにする。ニューラルネットワークの計算にお
いては、多次元配列変数を全くランダムな順番でアクセ
スすることはなく、添字のどれかをインクリメントして
いくような順番にアクセスする。したがって、上記構成
のアドレス発生器を持つことによって、多次元配列変数
のメモリに対するアドレスの発生にアドレス計算を行う
必要がなくなり、高速化が図れる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワー
クの計算を高速に行なうためのニューロプロセッサに関
するものである。

【０００２】

【従来の技術】ニューラルネットワークは、人間の脳の
神経細胞の働きをモデル化して模倣することによって、
従来のいわゆるノイマン形のコンピュータが苦手として
いた認識や、連想、最適化問題、音声合成等を得意とす
る新しいコンピュータを実現しようするものである。

【０００３】ニューラルネットワークには、ニューロン
が層状に配置された階層構造のものや、すべてのニュー
ロンが相互に結合した相互結合構造のものなど、さまざ
まな構造のものがある。その中で階層構造のネットワー
クは、例えばバックプロパゲーションアルゴリズムと呼
ばれる学習アルゴリズムで簡単に学習させることがで
き、制御、文字認識、画像認識、画像処理などに幅広く
応用することができると考えられている。

【０００４】図３は階層構造のネットワークの例を示し
たものである。図３で、１０１は各層中に配置されたニ
ューロン、１０２はシナプスと呼ばれるニューロン間の
結合、１０３は入力層、１０４は中間層、１０５は出力
層を示す。図３では３層のネットワークの例を示してい
るが、中間層を複数にすることによって４層以上の階層
構造のネットワークにすることもできる。以後は３層の
ネットワークに限って説明するが、４層以上のネットワ
ークに対してもまったく同様の扱いである。また、図３
では各層のニューロンの数は、それぞれ３，２，３とし
て例示したものであるが、各層のニューロンの数を増減
させても同様である。ニューラルネットワークへの入力
信号は、おのおの、入力層１０３の各ニューロンに与え
られる。そして、信号が入力層、中間層、出力層の順番
に伝搬していき、出力層１０５のニューロンの信号がネ
ットワークの出力になる。このような入力層、中間層、
出力層の順番に伝搬していく通常の伝搬を前向きの伝搬
と呼ぶ。

【０００５】図４はニューロンの働きを示した図であ
る。図４で、１０１、１０７、１０８、１０９はニュー
ロン、１０２はシナプス、１０６はニューロンの特性関
数ｆである。ニューロンは１つ前の層のニューロンの出
力をシナプスを介して受け取る。それぞれのシナプスは
結合の重みと呼ばれる値を持っており、前の層のニュー
ロンの出力値にその結合の重みの値を乗算した結果を次
のニューロンに与える。シナプスの結合の重みは、それ
ぞれのシナブスで異なった値になっている。例えば、図
４のｌ層目のｉ番目のニューロン１０８とｌ＋１層目の
ｊ番目のニューロン１０１との間のシナプスは結合の重
みｗ_ljiを持っており、ｌ層目のｉ番目のニューロン１
０８の出力Ｏ_liにその結合の重みの値を乗算した結果ｗ
_lji×Ｏ_liがｌ＋１層目のｊ番目のニューロン１０１に
与える。そして、ニューロン１０１はそれに結合するす
べてのシナプスより与えられる入力をすべて加算し、そ
の加算結果にニューロンの特性関数１０６を作用させ
て、その関数値をニューロン１０１の出力Ｏ_l+1,jとし
て出力する。これを式で表すと次式のようになる。

【０００６】

【数１】

【０００７】したがって、３層のネットワークの場合の
前向き伝搬は、つぎの手順で計算される。まず最初にす
べての中間層のニューロンについて、その出力を、

【０００８】

【数２】

【０００９】に従って計算する。次にその結果を使って
すべての出力層のニューロンについて、その出力を、

【００１０】

【数３】

【００１１】に従って計算する。次に、図３の３層の階
層構造ネットワークのバックプロパゲーションアルゴリ
ズムによる学習の方法について説明する。バックプロパ
ゲーションアルゴリズムでは、入力とそれに対する理想
的な出力の組を用意し、その入力に対する実際の出力と
理想的な出力の差が減少するようにシナプスの結合の重
みを修正する。この理想的な出力のことを通常は教師信
号と呼ぶ。以下に、３層のネットワークについて具体的
な計算方法を順を追って説明する。 １．前向きの伝搬によって実際の出力を計算する。 ２．次式に従って出力層の各ニューロンの誤差に対応し
た値（以下、単にデルタと呼ぶ）を計算する。

【００１２】

【数４】

【００１３】δ_ljはｌ層目のｊ番目のニューロンに対す
るデルタ、ｔ_jは出力層のｊ番目のニューロンに対する
教師信号、ｇは

【００１４】

【数５】

【００１５】で表されるようにニューロンの特性関数ｆ
の微分係数である。ニューロンの特性関数ｆは、単調非
減少の関数が用いられるので、（数５）に示したよう
に、特性関数の微分係数を特性関数の関数値の関数とし
て表すことができる。 ３．中間層と出力層との間のシナプスの結合の重みの修
正量を、次式に従って計算し、重みを修正する。

【００１６】

【数６】

【００１７】ηは修正係数である。 ４．中間層のニューロンに対するデルタを、次式に従っ
て計算する。

【００１８】

【数７】

【００１９】５．中間層と入力層の間のシナプスの結合
の重みの修正量を、次式に従って計算し、重みを修正す
る。

【００２０】

【数８】

【００２１】実際の学習では、以上に述べた手順を、複
数個の入力と教師信号の組に対して行い、さらにそれを
何回も繰り返す。すなわち、上の１から５までの手順を
１回の学習と呼ぶことにすると、総学習回数は、（学習
に用いる入力と教師信号の組の数）×（繰り返しの回
数）となる。

【００２２】以上より明らかなように、ニューラルネッ
トワークの計算は、演算量が非常に多いのが特徴であ
る。また、メモリのアクセス回数も非常に多くなる。

【００２３】これらの演算を高速に行うために、図２の
ようなニューロプロセッサが考えられている。図２の１
４は入出力部で、外部とのデータの入出力を行う。図２
の１５は制御部で、命令のデコードと、各ブロックを制
御する信号を発生する働きと、各メモリのアドレスを発
生させる働きをする。図２の５は乗算器で、６は加算器
で、７はバレルシフタである。図２の８は、シナプスの
結合の重み用メモリで、９はニューロンの出力用メモリ
で、１０はデルタ用のメモリで、１１はニューロンの特
性関数のテーブル用のメモリで、１２はニューロンの特
性関数の微分係数のテーブル用のメモリで、１３は教師
信号用のメモリである。

【００２４】図２のニューロプロセッサでは、メモリが
分割してあるので、複数のメモリに対して並列にアクセ
スを行うことが可能になる。さらに、パイプライン処理
によって、乗算器や加算器が効率よく使用されるので、
大量の演算を高速に実行することができる。

【００２５】しかし、そのためには、メモリに対するア
ドレスを、時間的に連続して発生させることが必要にな
る。ここで、時間と言っているのはクロック等で離散化
された時間のことである。したがって、時間的に連続と
いうのは、各クロックごとにアドレスが発生されなけれ
ばならないということである。アドレスを連続して発生
させることができず、空白の時間が生じれば、その間、
パイプラインにデータが流れないので、パイプラインは
有効に機能しない。その結果、乗算器や加算器の遊び時
間が増え、使用効率が低くなり、計算速度は低下する。

【００２６】ここで、シナプスの結合の重みを表す変数
ｗに着目すると、変数ｗはｌ、ｊ、ｉの３つの添字を持
った３次元配列変数である。変数ｗを図５のａのように
メモリに記憶させたとする。すると、（数２）の計算の
場合は、ｉを順番にインクリメントして、ｗを読み出し
て積和演算を実行していけばよいので、図５のｂに示し
たように、メモリを上から順番に読み出していくことに
なる。図５のｂ中の番号は、読み出す順番を示してい
る。すなわちアドレスは、順番にインクリメントするだ
けでよい。インクリメントの計算には時間がかからない
ので、アドレスは時間的に連続して発生させることがで
きる。したがって、この場合は、図２のようなニューロ
プロセッサで、パイプラインが有効に機能し、乗算器や
加算器が効率よく使用され、高速に計算ができる。

【００２７】ところが（数７）の計算の場合は、ｊを順
番にインクリメントして、ｗを読み出して積和演算を実
行していかなければならない。したがって、図５のｃに
示したように、メモリを飛び飛びに読み出していくこと
が必要になる。図５のｃ中の番号は、読み出す順番を示
している。この場合、アドレスを得るために、アドレス
計算として、（ｊ−１）×ｉｍａｘ＋ｉの計算を行わな
ければならない。ここでｉｍａｘは添字ｉの最大値であ
る。アドレス計算には時間が必要なので、この場合は、
アドレスを時間的に連続して発生させることができず、
図２のようなニューロプロセッサでパイプラインが有効
に機能せず、乗算器や加算器の使用効率が低くなり、計
算速度が低下する。

【００２８】

【発明が解決しようとする課題】以上に述べたように、
ニューラルネットワークの計算は、演算量とメモリのア
クセス回数が多いのが特徴である。そして、多量の計算
を高速に実行するために、メモリを分割して、複数のメ
モリに対して並列にアクセスを行うことを可能にし、さ
らにパイプライン処理によって、乗算器や加算器が効率
よく使用できるようにしたニューロプロセッサにおいて
も、多次元配列変数のメモリに対するアドレスの計算が
ネックになってパイプラインが有効に機能せず、乗算器
や加算器の使用効率が上がらず、計算速度は低い。

【００２９】ニューラルネットワークの応用のために
は、高速に計算ができるニューロプロセッサが必要であ
る。そこで、本発明は、上記課題を解決し、ニューラル
ネットワークの計算が高速にできるニューロプロセッサ
を提供することを目的としている。

【００３０】

【課題を解決するための手段】以上の課題を解決するた
め、本発明のニューロプロセッサには、カウンタを複数
個備え、それらのカウンタを、それぞれ、多次元配列変
数の１つずつの添字に対応させ、それらの出力を並列に
並べることによって、多次元配列変数のメモリを示すア
ドレスとするアドレス発生器を持たせる。

【００３１】

【作用】ニューラルネットワークの計算においては、多
次元配列変数を全くランダムな順番でアクセスすること
はなく、添字のどれかをインクリメントしていくような
順番にアクセスする。したがって、上記構成のアドレス
発生器を持つことによって、多次元配列変数のメモリに
対するアドレスの発生に、アドレス計算を行う必要がな
くなる。したがって、アドレスは時間的に連続して発生
でき、パイプラインが有効に機能し、乗算器や加算器が
効率よく使用される。

【００３２】その結果、多量の演算を効率よく処理する
ことができ、高速化が図れる。

【００３３】

【実施例】以下、本発明の実施例を図面により説明す
る。

【００３４】図１は本発明の１実施例のアドレス発生器
の構成図である。図１のアドレス発生器は、シナプスの
結合の重み用メモリに対するアドレスを発生させるもの
である。図１の１は、シナプスの結合の重みｗ_ljiの３
つの添字の中のｌに対応したカウンタである。図１の２
は、シナプスの結合の重みｗ_ljiの３つの添字の中のｊ
に対応したカウンタである。図１の３は、シナプスの結
合の重みｗ_ljiの３つの添字の中のｉに対応したカウン
タである。図１の４はカウンタ制御部で、３つのカウン
タに対して、イネーブル信号やクリア信号、プリセット
信号、プリセット値などを出力し、また、３つのカウン
タのキャリー信号を検出する働きをする。

【００３５】アドレスは、３つのカウンタの出力を並列
に並べることによって作る。図１の実施例では、ｌのカ
ウンタ１がａビットの出力を持ち、ｊのカウンタ２がｂ
ビットの出力を持ち、ｉのカウンタ３がｃビットの出力
を持つ場合を示している。この場合は、それらを並列に
並べることによって、アドレスは（ａ＋ｂ＋ｃ）ビット
になる。

【００３６】以上のような構成のアドレス発生器を用い
たアドレスの発生方法を具体的に説明する。例えば、
（数２）の計算の時には、カウンタ制御部４は、ｉのカ
ウンタ３に対してイネーブル信号を常に出力し、ｉを順
番にインクリメントし、ｉのカウンタ３のキャリー信号
が検出されると、ｊのカウンタ２に対してイネーブル信
号を出力し、ｊをインクリメントさせる。この結果、図
５のｂに示したような順番にアドレスが、時間的に連続
して出力される。

【００３７】また、（数７）の計算の時には、カウンタ
制御部４は、ｊのカウンタ２に対してイネーブル信号を
常に出力し、ｊを順番にインクリメントし、ｊのカウン
タ２のキャリー信号が検出されると、ｉのカウンタ３に
対してイネーブル信号を出力し、ｉをインクリメントさ
せる。この結果、図５のｃに示したような順番にアドレ
スが、時間的に連続して出力される。

【００３８】以上に述べたように、ニューラルネットワ
ークの計算においては、多次元配列変数を全くランダム
な順番でアクセスすることはなく、添字のどれかをイン
クリメントしていくような順番にアクセスするので、図
１のような構成のアドレス発生器を用いることによっ
て、多次元配列変数のメモリに対するアドレスが、アド
レス計算なしに得られる。したがって、アドレスは時間
的に連続して発生でき、パイプラインが有効に機能し、
乗算器や加算器が効率よく使用される。その結果、多量
の演算を効率よく処理することができ、高速化が図れ
る。

【００３９】なお、本実施例では、シナプスの結合の重
みを表す変数ｗのメモリに対するアドレスの発生に関し
て示したが、その他の多次元配列変数も同様に扱える。
また、本発明のアドレス発生器は、ニューロプロセッサ
以外にも応用できる。

【００４０】

【発明の効果】以上の実施例から明かなように、本発明
によれば、多次元配列変数のメモリに対するアドレスの
発生に、アドレス計算を行う必要がなくなる。その結
果、アドレスは時間的に連続して発生でき、パイプライ
ンが有効に機能し、乗算器や加算器が効率よく使用され
る。したがって、ニューラルネットワークの計算が高速
にできるニューロプロセッサを提供できる。

【図面の簡単な説明】

【図１】本発明の一実施例のアドレス発生器の構成図

【図２】ニューロプロセッサの構成図

【図３】階層構造ニューラルネットワークの図

【図４】ニューロンの働きを示した図

【図５】シナプスの結合の重み用メモリのアクセスの順
番を示した図

【符号の説明】

１〜３ カウンタ ４ カウンタ制御部 ５ 乗算器 ６ 加算器 ７ バレルシフタ ８ シナプスの結合の重み用メモリ ９ ニューロン出力用メモリ １０ デルタ用メモリ １１ ニューロンの特性関数のテーブル用のメモリ １２ ニューロンの特性関数の微分係数のテーブル用
のメモリ １３ 教師信号用のメモリ １４ 入出力部 １５ 制御部 ２１〜３０ レジスタ ４１〜４６ セレクタ １０１ ニューロン １０２ シナプス １０３ 入力層 １０４ 中間層 １０５ 出力層 １０６ ニューロンの特性関数 １０７〜１０９ ニューロン

Claims (2)

【特許請求の範囲】
1. 【請求項１】複数個のカウンタを備え、前記カウンタ
   を、それぞれ、多次元配列変数の１つずつの添字に対応
   させ、前記カウンタの出力を、並列に並べることによっ
   て多次元配列変数のメモリを示すアドレスとするアドレ
   ス発生器。
2. 【請求項２】請求項１記載のアドレス発生器を備えたニ
   ューロプロセッサ。