JPH02287862A - ニューラルネットワーク演算装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明は、演算処理を高速に行うことができるニューラ
ルネットワーク演算装置に関する。

（従来の技術） 最近、人間の右脳に似た情報処理能力を実現する方法と
してニューラルネットワークが注目されている。ニュー
ラルネットワークは、神経細胞をモデルとしたニューロ
ンを池数個結合した構成をとり、各ニューロンて入力信
号の重みつき総和をとり、これにしきい値作用と非線形
関数を作用させることにより、人間が出す解と同様の解
を得ようとするものである。

例えば、Ｎ個のニューロンが相互に結合されたホップフ
ィールド（Ｈｏｐｆｉｅｌｄ　）モデルにおいて、ｊ番
目のニューロンに対するｉ番目のニューロンの重みをＷ
ｉｊ（ｊ−１，・・・Ｎ）、しきい値をθ１１各ニュー
ロンの出力をＸｊ（ｊ−１，・・Ｎ）とするとき、ｉ番
目のニューロンの行う演算はｒ　（Σ　　ＷｉｊφＸｊ
・−θｉ　）なる式で表わされる。

この演算を通常の計算機で行うと１サイクルでＮ２回の
乗算とＮ２回の加算を必要とするため、ニューロン数が
多くなると多大な計算時間を必要とする。このため、こ
の演算を高速化する方式が研究されている（小池他：専
用ハードウェアによるニューロン・コンピユーテイング
、情報処理１９８８年９月）。

その主な方式として、アナログ演算を行う方式、ＤＳＰ
を用いる方式、並列計算機を用いる方式がある。

アナログ演算を行う方式では、ニューロンの出力を電圧
で表わし、重みＷｉｊを抵抗により実現することで高速
処理が行えるが、精度、高密度実装性、可変抵抗の実現
法等に問題があり、大規模なネットワークは実現されて
いない。

ＤＳＰを用いる方式では、乗算、加算は高速化できるが
、計算量が多いため、その効果はあまり大きくないとい
う問題がある。

並列計算機を用いる方式では、ニューロン単位の並列処
理により計算量を減少できるが、プロセッサ間の通信に
多大の処理時間を要するという問題がある。

このように、ニューラルネットワークの演算を高速化す
るには各種の方式が考えられるが、大規模なネットワー
クをり扱うには、いずれも欠点がある。

（発明が解決しようとする課題） 以上のように、ニューラルネットワークの演算を高速化
するためには、多数の積和演算を高速処理する必要があ
り、従来の方式では効率よく処理できないという問題が
ある。

そこで、本発明は、ニューラルネットワークの演算を効
率よく高速処理することができる演算装置を提供するこ
とを目的とする。

［発明の構成コ （課題を解決するための手段） 本発明では、乗算器を複数個用い、それらの出力を木構
造に接続された加算器アレイ（加算器トリー）に入力す
ることを基本とする。さらに、このような基本構造に対
して、非線形関数を実行するステージや、加算器トリー
の部分木からの出力をとり出すパスや、乗算器アレイへ
の人カデタを準備するシフトレジスタや、シフトレジス
タの途中からデータの入力を可能にするパスを具備させ
る。

（作用） 乗算器アレイ及びこれに接続される加算器トリーは、共
通のクロックにより全体としてパイプライン的に動作し
、ニューラルネットワークの演算でしばしばあられれる
Σ　Ｗｉｊ−Ｘｉで表現さ１においてｉ番目のニューロ
ンにおける重みＷ＋１と出力Ｘｉを乗算器の入力側から
投入し、時刻２においては次の組み合わせＷｉ２．Ｘｉ
を投入する。このように規則的に投入されていく重みＷ
ｉｊと出力Ｘｉの組が、パイプラインによって時間的に
並列処理される。

一方、パイプライン処理する場合、特に、演算器単体に
パイプライン式のタイプのものを入力するデータの時間
方向の数が多くないと良好な性能が得られないという問
題が生じる。そこで、乗算器の個数をＭとすると、パイ
プラインの段数は、ｌｏｇ２Ｍとなるので、ニューロン
数ＮがＭと同等もしくは、それより大きい場合、パイプ
ライン段数Ｍよりベクトル長Ｎのほうが十分大きいので
、最大性能が出やすい。

ニューラルネットワーク演算をするためには、さらにし
きい値との減算やｓｉｇｍｏｉｄ関数のような非線形関
数を積和演算の結果に対して作用させる必要があるが、
このような後処理は加算器アレイから次々と出力されて
くる結果を受ける非線形間れる積和演算を並列に実行す
る。すなわち、時刻数ステージを追加することによりバ
イブライン的に処理することが可能である。

演算器アレイのサイズはハードウェアなので固定してい
るが、扱いたいニューラルネッＩ・ワークのニューロン
数Ｎやシナプス数Ｓは問題によって変動する。ＳはＮと
同数、あるいは、ある層のニューロン数Ｎと同数となっ
ていることが一般的である。

ネットワークの規模が小さく、ニューロン１個のシナプ
ス数の最大値Ｓが乗算器数Ｍの半分より小さい場合は、
加算器トリーの途中の段で結果が山るので、加算器トリ
ーの部分木の１４１力をとり出すパスは、この結果の回
収に用いられる。非線形関数を通して得られる各ニュー
ロンの次の出力は、１個ずつ山でくるのでこれらをシフ
トレジスタに通すことにより、目的の乗算器まで効率的
に渡すことが可能である。

ニューロン１個のシナプス数の最大値Ｓが乗％器数Ｍよ
り小さい場合でも、シフ［・レジスタの途中からデータ
を入れることにより転送の待ち時間の増加を防ぐことが
可能である。

（実施例） 以下、本発明の詳細な説明する。

第１図は本発明一実施例に係るニューラルネットワーク
演算装置の構成を示す図である。

図示のように、本例の演算装置は、８個の乗算器１〜８
と、この出力端に接続されるトリー構造の加算器９〜１
５を有して構成されている。

前記トリー構造の加算器の内、１段目の最初の加算器９
、及び２段目の最初の加算器１３、並びに最高段の加算
器１５の出力は、セレクタ１６に入力されるようになっ
ている。

前記セレクタ１６の出力は非線形関数ステージ１７に人
力されるようになっている。

一方、前記乗算器１〜８の入力端には、メモリＭ１〜Ｍ
８と、オペランド用のレジスタｒ１〜「２及びレジスタ
Ｒ１〜Ｒ８の直列回路が接続されている。

レジスタＲ１〜Ｒ８については、第８番目の出力がそれ
より１番若い第７番目の入力となるが如く１番目のレジ
スタＲ１まで順次接続され、全体として１つのシフトレ
ジスタを構成するようになっている。さらに、このよう
に接続されたンフトレジスタＲ１〜Ｒ８の途中には、レ
ジスタＲ２Ｒ４の手前側にセレクタ１．８，１．９が介
在され、これらセレクタ１８．１９の一方の入力端、及
び第８番目のレジスタＲ８の入力端には前記非線形関数
ステージ］７の出力が入力されるようになっている。

上記の構成において、本例の演算装置では、セレクタ１
８に非線形ステージ］７の出力を採択させる場合には、
レジスタＲ，，Ｒ２の出力に関係する２つの乗算器１，
２を作動させ、加算器９の出力がセレクタ１６によって
採択されるようになる。同様にセレクタ１つが非線形関
数ステージ１７の出力を採択する場合は、加算器に３の
出力か採択されるようになる。さらに、両セレクタ１８
］９が共に前段のレジスタＲ３，Ｒ５の出力を採択する
場合にはセレクタ］６は最」二段の加算器］５の出力を
採択するようになる。

次に、上記の如く構成された演算装置により、第２図、
第３図、第４図に示すようなニューロン数が２．４．８
個のＨｏｐＮｅｌｄモデルのニューラルネットワークに
ついてその演算方式を説明する。

まず、第２図は、２つのニューロンＮ、、Ｎ２を有し、
その日」力ｘ、、ｘ２は各ニューロンＮ１Ｎ２にそれぞ
れ２個づつ設けられたシナプス２０に人力されるれよう
になっている。

各シナプス２０の爪みＷｉｊは、ニューロンｊからの出
力Ｘｊがニューロン１に対して与える影響に対する重み
を意味するものである。

第３図に示すモデルは、ニューロン数か４個で、各ニュ
ーロンに対しては、他のニューロンの影響を計算するた
め、それぞれ４個のシナプス２０が接続されている。

第４図に示すモデルは、ニューロン数が８個で、各ニュ
ーロンには８個のシナプスが接続されている。

そこで、本例では、これら第２図〜第４図に対するモデ
ルに対し、適正な演算を行うべく、前記のセレクタ１６
．１８，１．９を操作することにより、第５図〜第７図
に示すような演算装置を構築するのである。

すなわち、第５図の例では、第１図において加算器９よ
り図において右方に位置する素子を休止状態とする。同
様に、第６図の例では加神器１３より右方に位置する素
子を休止状態とする。第７図の例では、全素子を動作さ
せ加算器１５の出力を非線形関数ステージ１７に人力し
、この出力を第８番目のレジスタＲ８に入力する。

そこで、第５図〜第７図に示すように、メモリＭ、〜（
Ｍ８）のアドレス１にはニューロン１に関する重みＷｌ
ｊを、アドレス２にはニューロン２に関する重みＷＩｊ
を、というようにアドレス１にはニューロンｉに関する
重みＷｉｊを書き込んでおき、またオペランド用のレジ
スタｒ１〜ｒ８には各ニューロンの出力の初期値Ｘ１〜
（Ｘ８）を書き込んでおく。

次いで、時刻ｔ１でアドレス１、時刻Ｅ２でアドレス２
、時刻ｔｉでアドレスｉをリードするように制御すると
、ニューロンごとにパイプライン処理されて次の出力ｘ
、、ｘ２・・・が次々と非線形関数ステージ１７から出
力されてくる。

これらはやがてシフトレジスタＲ１〜Ｒ８を通って、最
後のニューロンの出力が非線形関数ステジ１７から出力
された直後の時刻でニューロンＮ１の新しい出力Ｘ１が
最後のレジスタＲ１に到達する。この次の時刻でシフト
レジスタＲ１〜Ｒ８の値を一勢にオペランド用のレジス
タｒ１〜ｒ８に転送して、１サイクルが終了する。この
サイクルを何回もくり返しているうちに、やがて出力Ｘ
ｉが収束して、Ｈｏｐｆｉｅｌｄネットワークの最終的
な安定状態を計算することができる。

このように、本実施例によれば、Ｎ個のニュロンのＨｏ
ｐｆｉｅｌｄモデルのニューラルネットワークを０　（
Ｎ）の乗算器、加算器を用いて、Ｏ（Ｎ十ｌｏｇ２Ｎ）
の時間で１サイクルの計算をすることが可能になる。

本例を適用したニューラルネットワーク演算装置では、
通信がローカルとなるので実装も容易であり、パイプラ
イン構成なので、原理的には一般のパイプライン式スー
パーコンピュータの実装技術を適用するならば、クロッ
クサイクルを数ｎｓにすることも可能である。しかし、
そのようなコストのかかる実装をしなくても、並列度が
０　（Ｎ）であるので、１００ｎｓぐらいのごく一般的
なりロックサイクルで作動する安価な実装をしても高速
な性能を得ることができる。つまり、パイプラインの段
数はＯＬｌｏｇ２Ｎ）であり、ベクトル長すなわちニュ
ーロン数ＮはＮが大きいはと差が開き、パイプラインの
ほぼ最大性能を達成することができる。パイプラインの
ピッチが１００ｎｓたとしても、例えばニューロン数が
Ｎ＝２ＩＯならば、加算器・乗算器が各２１０個並列に
ほぼ最大性能で動作するので、２＋　＋　ｘｌＯＭＦＬ
ＯＰｓすなわち２０ＧＦＬＯＰＳの性能が得られる。ま
た、制御方式は極めて単純であるので、たとえ２１１個
の演算器を用いたとしても、現実的な体積で実装が可能
である。

さらに、本例では、比較的小さなニューラルネットワー
クに対してもオーバーヘッドを軽減する構成をとること
が可能である。

このように、本例では、実装コスト、制御容易性、規模
に対する柔軟性、および速度に関して、ニューラルネッ
トワーク演算に与える効果は顕著である。

また、ディジタル方式なので、精度良く演算することも
可能である。

現在までに提案されているニューラルネットワークの演
算をディジタル方式で高速化する方式では、コネクショ
ンマシンのようにニューロンごとに別の演算装置で処理
するような空間並列処理方式と、Ａ　Ｎ　Ｚ　Ａ　ｐｌ
ｕｓやＤＥＬＴＡのようにシリアルにパイプライン処理
する時間的並列処理方式をとるものに二極化しており、
シナプスを空間並列処理し、ニューロンを時間的並列処
理（パイプライン処理）するものは、本発明固有の作用
である。

各演算器単体は、内部でパイプライン処理をしていても
良いし、していなくても良い。このため比較的中純なハ
ードウェアですむ固定小数点の演算器を用いても、精度
が充分な場合はかまわないし、高速化のためにパイプラ
イン構造であることが望ましい浮動小数点演算器を用い
ることも可能である。

第８図は他の実施例を示し、第１図に示す最」−段の加
算器１５を除いた状態で、２つの加算器１３．１４の出
力を入力する２つの非線形関数演算ステージ１７Ａ、１
７Ｂを設け、加算器Ｉ・リーの部分木からのフィードバ
ックループを並列化し、レジスタＲ１〜Ｒ８へのセレク
タを適宜行うことにより、乗算器数よりニューロン数の
少ないネットワークに対しても、演算器の利用率の向」
−による高速化を図ることができる例である。

本発明は、上記実施例に限定されるものではなく、適宜
の設計的変更を行うことにより、この他適宜の態様で実
施し得るものである。

［発明の効果］ 以上の通り、本発明は複数個並列にならべられた乗算器
アレイの出力を木構造に接続された加算器アレイに供給
することによって、ニューロン単位にパイプライン処理
することを特徴とするニュラルネットワーク演算装置で
あるから、ニュラルネットワークの演算を効率よく高速
処理することができる。

【図面の簡単な説明】

第１図は本発明の一実施例に係るニューラルネットワー
ク演算装置の構成図、第２図、第３図。 第４図はＨｏｐｆｉｅｌｄモデルによるニューラルネッ
トワークの一例を示す説明図、第５図は第２図のネット
ワークを第１図のシステムで演算する場合の動作説明図
、第６図は第３図のネットワークを第１図のシステムで
演算する場合の動作説明図、第７図は第４図のネットワ
ークを第１図のシステムで演算する場合の動作説明図、
第８図は第３図のネットワークを演算器全てを使用して
演算する場合の動作説明図 １〜８・・・乗算器　９〜１５・・加算器１７・・・非
線形関数演算部　Ｍ１〜Ｍ８・・・メモリ１６．１８．
１９・・・セレクタ ］　６ Ｒ１−Ｒ８・・・シフト用レジスタ

Claims (5)

【特許請求の範囲】
1. （１）複数個ならべられた乗算器アレイの出力を木構造
   に接続された加算器アレイに供給することによってニュ
   ーロン単位にパイプライン処理することを特徴とするニ
   ューラルネットワーク演算装置。
2. （２）請求項１に記載のニューラルネットワーク演算装
   置において、前記加算器トリーの部分木からの出力をフ
   ィードバックさせるループを持つことを特徴とするニュ
   ーラルネットワーク演算装置。
3. （３）請求項１に記載のニューラルネットワーク演算装
   置において、前記加算器トリーからの出力を受け、非線
   形関数を作用させるパイプラインステージを持つことを
   特徴とするニューラルネットワーク演算装置。
4. （４）請求項１に記載のニューラルネットワーク演算装
   置において、前記乗算器アレイへの入力データをシフト
   レジスタにより供給するパスを持つことを特徴とするニ
   ューラルネットワーク演算装置。
5. （５）請求項４に記載のニューラルネットワーク演算装
   置において、前記シフトレジスタの途中からデータを入
   力できるパスを持つことを特徴とするニューラルネット
   ワーク演算装置。