JPH0471063A - 神経回路網型計算装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （目　次〕 概要 産業上の利用分野 従来の技術　　　　　（第１０図、第１１図）発明が解
決しようとする課題 課題を解決するための手段 作用 実施例 本発明の要素プロセッサの説明 （第１図〜第６図） 複数の要素プロセッサで構成したリング網の説明　　　
　　　（第７図〜第９図）発明の効果 〔概　要〕 多層構造型の神経回路網型計算装置に関し、計算の高速
化を達成することを目的とし、入力層、少なくとも１層
の中間層および出力層で構成された多層構造型の神経回
路網型計算装置であって、前記入力層を構成するユニッ
ト前記中間層を構成するユニットおよび前記出力層を構
成するユニットのそれぞれの機能を有する要素プロセッ
サを具備し、該要素プロセッサは、バックプロパゲーシ
ョン法による学習機能を実現するための複数の乗算器、
複数のＡＬＵ、　　レジスタ、マルチプレクサ、および
、それらを制御する制御回路を備え、ニューラルネット
ワークにおける前向き積和計算を同時に複数の重み付け
和をとることによって高速に演算できるように構成する
。

［産業上の利用分野］ 本発明はニューラルネットワーク（神経回路網）のハー
ドウェアシミュレータに関し、特に、多層構造型の神経
回路網型計算装置に関する。

近年、ニューロ技術の応用の要求に伴って、高速なニュ
ーロ動作が可能な神経回路網型計算装置が要望されてい
る。

〔従来の技術〕

第１Ｏ図は多層構造型の神経回路網型計算装置を示す図
であり、入力層、中間層および出力層の三層で構成され
たニューラルネットワークを示すものである。

第１０図に示されるように、多層構造型のニューラルネ
ットワークは、ニューロンを模擬したユニットと呼ばれ
る素子Ｕと、それらを結ぶ結線りとから構成される。す
なわち、ニューラルネットワークは、ユニットＩ［Ｉ＋
−ＩＬ１６を有する入力層、ユニットＭＵ、〜ＭｔｌＳ
を有する中間層、および、ユニッ）’　００．〜ＯＵ、
を有する出力層の３つの層から構成される。各ユニット
は、同じ層のユニ・ストとの間には結合はなく、一つ下
（上）の層のすべてのユニットと結合している。例えば
、中間層のユニットＭＵ、は、入力層の全てのユニット
ＩＵ、〜Ｉｌｌ。

と結線Ｌ１によって結ばれ、また、例えば、出力層のユ
ニットＯＵ１　は、中間層の全てのユニ７）ＭＵ、−Ｍ
ｔ１５と結線ＬＭＯによって結ばれている。ここで、入
力層は外部からの入力を受は取る層であり、出力層はニ
ューラルネットワークの応答を外部へ出力する層である
。また、中間層は、入力層からの信号を加工して出力層
に渡す層である。そして、中間層は、ニューラルネット
ワークによっては複数の層から構成されることもある。

第１１図は第１０図の多層構造型の神経回路網型計算装
置に使用する各ユニットＵを示す図である。

第１１図に示されるように、ユニット間の結合はそれぞ
れ重みを持っている。各ユニット（入力層のユニットは
除く）の働きは、１つ下の層のユニットからの出力（Ｖ
、〜Ｖ、）と、そのユニットＵ、との間の結合の重み（
Ｗ；＋−Ｗｉｎ）との積を取ったもの（ＬＬ＋〜Ｖアー
４，１）を、すべてのユニットに渡って総和（Σ）を取
り、さらに、成る闇値を加えた量にシグモイド関数と呼
ばれる非線形関数（ｆ）を施したものを出力するように
なっている。ここで、第に層（ただし入力層は除く）の
ｉ番目のユニットＵｉ（ｋ）の働きを式で表すと次のよ
うになる。

ｖ％ｋｌ、＝［（Σｗ、、　（ｋ−１１ｖ　Ｊ（ｋ−１
）−θ％ｋｌ）ｆ　　（ｘ）　　＝’Ａ　（１＋ｔａｎ
ｈ　（ｘ／　Ｘｏ））　　（２）ただし、ｖ　、　（舅
−１）　は第（ｋ−１）層のｊ番目のユニットの出力で
あり、ｗ　、　、　（ｋ　−１１は第に層のｉ番目のユ
ニットと第（ｋ−１）層のｊ番目のユニットとの間の結
合の重みである。また、θ、（ｋ）はこのユニットの闇
値である。さらに、（２）式はシグモイド関数を表して
おり、Ｘｏはシグモイド関数の形状を決める定数である
。

多層構造のニューラルネットワークは、入力データに対
してニューラルネットワークの出力と、ニューラルネッ
トワークが出力すべき正解データとの差（誤差）が小さ
くなるように、ユニット間の結合の重みを変化させてい
くことによって学習する。この学習のアルゴリズムとし
ては、へ゛ツタプロパゲーション法が広く知られている
。このバックプロパゲーション法では、結合の重みは次
のように修正される。

ここで、６ｗ　＝　Ｊ”’　（ｎ）は第に層のｉ番目の
ユニットと、第（ｋ−１）層のｊ番目のユニットとの間
の結合の重みｗ　、　Ｊ′に’　（ｎ）の修正量で、（
４）式または（５）式によって与えられる。

である。ここでη及びαは学習定数と呼ばれる定数であ
る。（５）式でΣ２というのは、ネットワークに学習さ
せるすべてのパターンｐについて総和をとるということ
を示している。つまり（４）式はネットワークに１つの
パターンを１度学習させるたびに重みを修正するという
ことを示し、（５）式はネットワークにすべてのパター
ンを１度ずつ学習させてから重みを修正するということ
を示している。

また、出力層のユニットに対してはδは次のように与え
られる。

（ｋ）２　　　　　　　（ｋ）　　　（ｋ）　　　　　
（ｋ）δ　　−一　（乞　　−ｖ　　　）ｖ　　　（１
−ｖ　　　）ｉｕ　　　　ｉ　　　　　ｉ　　　　　１
ｔここでｔ、は出力層のｉ番目のユニットが出力すべき
教師データである。また中間層のユニットに対してδは
、 で与えられる。

［発明が解決しようとする課題］ 上述した多層構造型の神経回路網型計算装置において、
神経回路網の計算には多くの積和演算や関数計算を全て
のユニットに対して行わなければならない。従来は、こ
の計算をプログラムを作成して計算機に実行させていた
ため、計算が全てのユニットに対して逐次的に行われ、
計算に長い時間を要していた。また、ユニットの機能を
果たす要素プロセッサによりリング網を構成し、並列に
計算を実行して高速化を図る手法も研究されているが、
要素プロセッサの数が中間層と出力層の内でユニット数
の多い方により決定されるため、中間層および出力層に
比べて入力層のユニット数が極端に多い場合には、充分
な並列度が得られないことがあった。さらに、前述した
（６）式および（７）弐の実行には、演算の途中結果を
一時レジスタに格納する必要があるため、実行サイクル
数が長くなり、動作速度が遅くならざるをえなかった。

本発明は、上述した課題に鑑み、計算の高速化を達成す
ることを目的とする。

〔課題を解決するための手段〕

本発明によれば、入力層、少なくとも１層の中間層およ
び出力層で構成された多層構造型の神経回路網型計算装
置であって、前記入力層を構成するユニット、前記中間
層を構成するユニシトおよび前記出力層を構成するユニ
ットのそれぞれの機能を有する要素プロセッサＰＥを具
備し、該要素プロセッサＰＥは、バ・ツクプロパゲーシ
ョン法による学習機能を実現するための複数の乗算器１
１．複数のＡＬＵ１２．　　レジスタ１３．マルチプレ
クサ１４．および、それらを制御する制御回路１５を備
え、ニューラルネットワークにおける前向き積和計算を
同時に複数の重み付け和をとることによって高速に演算
できるようにしたことを特徴とする神経回路網型計算装
置が提供される。

（作　用〕 本発明の神経回路網型計算装置は、中間層を構成するユ
ニットおよび出力層を構成するユニットのそれぞれの機
能を有する要素プロセッサＰＥを備えている。この要素
プロセッサＰＥには、バックプロパゲーション法による
学習機能を実現するために使用する複数の乗算器１１．
複数のＡＬＵ１２．　　レジスタ１３．マルチプレクサ
１４．および、それらを制御する制御回路１５が設けら
れている。これによって、ニューラルネットワークにお
ける前向き積和計算を同時に複数の重み付け和をとって
高速に演算し、計算の高速化を達成することができる。

すなわち、本発明の神経回路網型計算装置によれば、要
素プロセッサＰＥには、複数の乗算器１１と複数のＡＬ
Ｕ１２が搭載され、そして、乗算器１１の出力がツリー
（２進木）状に繋がれてＡＬｔＪ１２で総和がとられる
。これによって、高速な積和演算が可能になる。また、
実行している計算のステージに応じて、演算器を繋ぎ変
えることができ、前述した（６）式および（７）式もパ
イプライン処理されて、計算の高速化が実現されること
になる。ここで、要素プロセッサＰＥを複数個差べて１
次元のリング網を構成し、神経回路網の計算を並列に行
って学習の高速化を図ることもできる。

〔実施例〕

以下、図面を参照して本発明に係る神経回路網型計算装
置の実施例を説明する。

第１図は本発明に係る神経回路網型計算装置に使用する
要素プロセッサの一実施例を示すブロック図であり、第
２図〜第６図は、第１図の要素ブロモ、すにおける各種
の計算を説明するための図である。

第１図に示されるように、要素ブロモ・ンサＰＥには、
乗算器１１およびＡＬＵ１２が各々４個ずつ搭載され、
各演算器の入力のマルチプレクサ１４を切り替えること
によって、演算器間の繋がりを実行したい計算にあった
構成に変更し、高速な計算を可能にしている。

バックプロパゲージジン学習法は次に示すように６種類
の計算ステージから構成される。

（ａ）前向き積和演算 （ｂ）シグモイド関数計算 （ｃ）出力層ユニットの誤差計算 （ｄ）後向き誤差伝搬計算 （ｅ）中間層ユニットの誤差計算 （ｆ）重みの修正量および重みの更新計算以下、第１図
に示した要素プロセッサＰＥで、各演算ステージをどの
ように実現するかを説明する。

（ａ）前向き積和演算 前向きの積和演算を行うときには、第２図に示すように
マルチプレクサ１４を切り替えて計算を行う。下の層の
ユニットの出力Ｖは、ローカルメモリＬＭもしくはリン
グ網に接続した左側の要素プロセッサＰＥからレジスタ
１３（Ｒ１）に読み込まれる。重みデータＷはローカル
メモＩＪＬＩ））らレジスタ１３（Ｒ２）に読み込まれ
る。４つの乗算器１１（１１１〜１１４）テユニットの
出力と重みの積が同時に４つ計算される。

ここで、乗算器１１１　と乗算器１１２の出力はＡＬＵ
１２（１２１）で加算され、乗算器１１３と乗算器１１
４の出力はＡ　Ｌ　Ｕ１２（１２４）で加算される。こ
れらの２つＡ　Ｌ　Ｕ１２Ｌ１２４の出力は、Ａ　Ｌ　
Ｕ１２（１２３）で加算される。そして、Ａ　Ｌ　Ｕ１
２（１２２）において全ての結果が合計されることにな
る。このようにして、入力の重み付け総和ΣＷｇＶ、が
計算され、その結果はレジスタ１３（Ｗｌ）を通してロ
ーカルメモリＬＭに書き込まれる。

（ｂ）シグモイド関数計算 シグモイド関数計算については、展開式を要素プロセッ
サＰＥの乗算器１１とＡＬＵ１２を用いて計算するか、
或いは、シグモイド関数発生器を要素プロセッサＰＥに
内蔵または外付けにして計算をする。

（Ｃ）出力層ユニットの誤差計算 出力層ユニットの誤差の計算を行うときには、第３図に
示すようにマルチプレクサ１４を切り替えて計算を行う
。レジスタ１３　（Ｒ２）に教師データｔを、レジスタ
１３（Ｒ３）に出力層ユニットの出力Ｖをローカルメモ
リＬＭから読み込む。ＡＬＵ１２１で（ｔＶ）を、ＡＬ
Ｕ１２４で（１−ｖ）を計算し、ソノ結果を乗算器１１
Ｌ　１１２．１１４に送る。乗算器１１１は定数２η／
　ｕ　ｏと（ｔ−ｖ）の積を計算し、乗算器１１２は誤
差（ｔ−ｖ）の二乗を計算する。乗算器１１４はレジス
タ１３（Ｔ）の内容Ｖと（１−Ｖ）の積を計算する。ま
た、乗算器１１３は乗算器１１１と乗算器１１４の出力
を受は取って、その積を計算する。その結果が出力層ユ
ニットの誤差δになる。

さらに、ＡＬＵ１２２は乗算器１１２の出力の総和を計
算する。そして、乗算器１１３で計算された誤差δは、
レジスタ１３（Ｗｌ）を通じてローカルメモリＬＭに書
き出される。

（ｄ）後向き誤差伝搬計算 後向きの積和演算を行うときには、第４図に示すように
マルチプレクサ１４を切り替え、乗算器１１１−１１４
とＡＬＵ１２１〜１２４を１つずつ組み合わせて４つの
ユニットの積和を同時に計算する。

また、重みデータＷはローカルメモリＬＭからレジスタ
１３（Ｒ１）に読み込まれ、上の層のユニットの誤差δ
はローカルメモリＬＭからレジスタ１３（Ｒ２）に読み
込まれる。さらに、乗算器１１１〜１１４で重みとユニ
ットの誤差の積を計算し、ＡＬＵ１２１〜１２４でそれ
をすべて足し合わせる。そして、計算された結果はレジ
スタ１３（Ｗｌ）を通じてローカルメモリレに書き出さ
れる。

（ｅ）中間層ユニットの誤差計算 中間層ユニットの誤差の計算を行うときには、第５図に
示すようにマルチプレクサ１４を切り替えて計算を行う
。まず、レジスタ１３　（Ｒ２）に対して、上記した計
算（ｄ）で計算された後向き積和演算の結果δ３２ゝ”
を、また、レジスタ１３（Ｒ３）に中間層ユニットの出
力ＶをローカルメモリＬ門からロードする。次に、ＡＬ
Ｕ１２４で（１−ｖ）を計算し、その結果を乗算器１１
４に送る。また、乗算器１１１は定数２　／　ｕ　ｏと
δ３２ゝ°の積を計算し、乗算器１１４はＡＬＵ１２４
で計算された（１−Ｖ）とＶの積を計算し、そして、乗
算器１１３は乗算器１１１と乗算器１１４の結果を掛は
合わせる。この結果が中間層ユニットの誤差６３２２　
になる。さらに、計算された中間層ユニットの誤差はレ
ジスタ１３（Ｗｌ）を通じてローカルメモリＬＭに書き
出される。

（ｆ）重みの修正量および重みの更新計算重みの修正量
を計算して、重みを更新するときには、第６図に示すよ
うにマルチプレクサ１４を切り替えて計算を行う。まず
、レジスタ１３（Ｒ２）に対してユニットの誤差δを、
レジスタ１３（Ｒ３）に対して重みの修正量の前回の値
ΔＷを、レジスタ１３　（Ｒ４）に対して重みの前回の
値Ｗを、それぞれローカルメモリＬＭからロードする。

また、レジスタ１３（Ｒ１）にはユニットの出力値Ｖを
ローカルメモリレまたは左隣の要素プロセッサＰＥから
ロードする。次に、乗算器１１１でユニットの誤差と出
力の積を計算し、乗算器１１２で学習定数αと前回の重
みの修正量ΔＷの積を計算する。また、ＡＬＵ１２１で
乗算器１１１および１１２の出力を足す合わせ、新しい
重みの修正量を計算する。さらに、ＡＬＵ１２３てＡＬ
Ｕ１２１で計算された新しい重みの修正量と、前回の重
みを足し合わせ、新しい重みを計算する。同様に、同じ
計算を乗算器１１３並びに１１３およびＡＬＵ１２４並
びに１２２を使用して行う。そして、更新された重みの
修正量はレジスタ１３（Ｗｌ）を通じて、また、更新さ
れた重みはレジスタ１３（Ｗ２）を通じてローカルメモ
リレに格納される。

上述した（ａ）〜（ｆ）において、（ｂ）のシグモイド
関数の計算以外は、全てパイプライン処理されて高速な
計算が可能である。バックプロパゲーション学習法では
、次の（１）〜（８）までの計算を行うことで一回の学
習計算が終了する。

このように、本実施例の神経回路網型計算装置は、神経
回路網のシミュレーションにおいて、複数のユニットの
出力の重み付け和が同時にとることができ、またシグモ
イド関数の計算以外はすべてパイプラインで流れるので
計算の著しい高速化が達成できる。

以上において、要素プロセッサＰＥに乗算器１１および
ＡＬＵ１２をさらに４個ずつ搭載して、同じ原理で計算
を行わせればより高速な計算が可能である。また、この
要素プロセッサＰＥを１つだけ用いても高速な計算は行
えるが、第７図に示すように、この要素プロセッサＰＥ
を複数個リング網に結合して、並列に計算を行わせるこ
とによってさらに高速な計算が可能になる。

以下、第７図〜第９図を参照して、中間層が１層だけの
３層構造の神経回路網の計算を説明する。

中間層が１層だけの３層構造の神経回路網の計算では、
計算は次のような順序で行われる。

（１）入力層→中間層の前向き積和演算（２）中間層ユ
ニットのシグモイド関数計算（３）中間層→出力層の前
向き積和演算（４）出力層ユニットのシグモイド関数計
算（５）出力層ユニットの誤差計算 （６）出力層→中間層の後向き誤差伝搬計算（７）中間
層ユニットの誤差計算 （８）重みの修正の計算 第７図は本発明に係る神経回路網型計算装置の一例の全
体的なシステム構成を示す図であり、第８図は本発明の
神経回路網型計算装置の一例における要素プロセッサへ
のユニットの割り当てを説明するための図である。

本実施例の神経回路網型計算装置は、第８図に示される
ように、中間層が１層だけで、各層のユニットの数は入
力層が１２個、中間層が１２個、出力層が１２個となっ
ており、また、要素プロセッサは３個となっている。

すなわち、第８図に示されるように、各要素プロセッサ
ＰＥＩ、ＰＨ２，ＰＨ，が受は持つ各層のユニットの割
り当ては、要素プロセッサＰＥ、に対して入力層のユニ
ット■υＩ＋ＩυＺ＋　ｌ１１３．　ＩＵ、、中間層の
ユニットＭｔｌ＋、ＭＵｚ、ＭＵ：＋、Ｍｕ４および出
力層のユニットＯＵ＋、ＯＵｚ。

ＯＵ３．ＯＵ、が割り当てられ、要素プロセッサＰＥ２
に対して入力層のユニッ目ＵＳ、　ＩＵ＆、　Ｉｔｌｔ
、　ＩＩＪａ、中間層のユニットＭＩＩＳ、　ＭＬ＋６
．　ＭＵＤ、　Ｍｕｓおよび出力層のユニットＯＵｓ、
ＯＵｂ、ＯＬ＋７．Ｏｌｅが割り当てられ、そして、要
素プロセッサＰＥ３に対して入力層のユニットＩＩＩ。

ＩＵｒｏ、ＩＵ、１．ＩＩＪ＋ｚ、中間層のユニ・ノド
ＭＵ９．ＭＩＪＩＯ，ＭＬＩＩＩ。

ＭＵ＋２および出力層のユニットＯＵ９，０Ｕ１０，０
Ｌｌｌｌ、０ＵＩ２が割り当てられるようになっている
。ここで、各要素プロセッサＰＥ、、ＰＥ、、ＰＨ３に
対応するローカルメモリには、予め必要なデータ（入力
データ、教師データ、重みの初期値等）がロードされて
いるものとする。

次に、計算の流れを概略する。この計算の流れは、（１
）入力層→中間層の前向き積和演算、（２）中間層ユニ
ットのシグモイド関数計算、（３）中間層→出力層の前
向き積和演算、（４）出力層ユニットのシグモイド関数
計算、（５）出力層ユニットの誤差計算、（６）出力層
→中間層の後向き誤差伝搬計算、（７）中間層ユニット
の誤差計算、および、（８）重みの修正の計算の順で行
われる。

第９図は第８図の神経回路網型計算装置の動作を説明す
るための図である。第８図および第９図を参照して、上
記（１）〜（８）の計算方法について順に説明する。

（１）人力層→中間層の前向き積和演算まず、第８図に
示されるように、左端の要素プロセッサＰＥ、は１番目
〜４番目の中間層ユニット１’ｌＵ、〜？ＩＩｊ、の計
算を担当し、中央の要素プロセッサＰＥ２は５番目〜８
番目の中間層ユニットＭｕｓ〜Ｍｔ１．の計算を担当し
、そして、右端の要素プロセッサＰＥ３は９番目〜１２
番目の中間層ユニットＭＵ。

〜ＭＵ＋ｚの計算を担当するが、最初は、それぞれ１番
目、５番目、９番目の中間層ユニットＭｔｌ、、Ｍ［１
５ＭＩＪ、の計算から始める。

まず、各要素ユニットＰＥＩ、ＰＥｚ、ＰＥ４は、対応
するローカルメモリから、それぞれが受は持っている入
力層ユニットのうち、１番目〜４番目、５番目〜８番目
、９番目〜１２番目のユニットの出力ｖｌ　　””’Ｖ
４　　＊　　ｖＳ　　〜■、　　＋　　Ｖ９”〜Ｖ１２
および、その入力層ユニットとの間の結合の重みｗ　、
　、　Ｎ　１〜ｗ、４（１）、Ｗｓｓ”’〜ｗ、ｓ”’
、ｗ、、（１）〜ｗ１，１□（１）をそれぞれ読み込む
。そして、それらの加重和を計算する（第９図（ａ）参
照）。

次に、読み込んだ入力層ユニットの出力を右隣の要素プ
ロセッサに転送する。各要素プロセッサは、左隣の要素
プロセッサから送られてくるデータに対応した重みデー
タをローカルメモリから読み込み、それらの積を計算し
て、先はどの結果と加え合わせる（第９図（ｂ）参照）
。さらに、もう−度、入カニニットの出力を右隣の要素
ユニットに転送し、同様に重みデータと掛は合わせて加
え合わせる（第９図（ｃ）参照）。これで、各要素プロ
セッサでは、それぞれ１番目、５番目、９番目の中間層
ユニットＭＵ＋　１ＭＵＳ、　ＭＵ９に入力する１２個
の信号の加重和が計算されたことになる。次に、闇値を
ローカルメモリから読み込んで計算結果に加える（第９
図（ｄ）参照）。

ここで、第９図（ａ）〜（ｄ）において、ローカルメモ
リＬＭＩ、ＬＭ２．ＬＭ３から要素プロセッサＰＥ、、
ＰＥ、。

ＰＨ３に向かう矢印は、該ローカルメモリから要素プロ
セッサに読み込んだデータを示し、また、要素プロセッ
サＰＥＩ、ＰＥＲ５ＰＥ：ＩからローカルメモリＬＭ。

ＬＭ２．ＬＭ：ｌに向かう矢印は、該要素プロセッサか
らローカルメモリに書き込むデータを示す。さらに、隣
接する要素プロセッサ間の矢印（ＰＥ、−＋ＰＥ２．　
ＰＥｚ→ＰＥ３．　ＰＥ、→ＰＥ、）は、隣接する要素
プロセッサ間で転送されるデータを示している。この関
係は、第９図の全ての図においても同様であり、各図に
於ける参照符号は、読み出し、書き込みおよび転送され
るデータを示している。

同様にして、２番目、６番目、１０番目の中間層ユニッ
）ＭＬＩｚ、ＭＵ６．ＭＵ＋ａに対する計算をそれぞれ
の要素プロセッサで行う（第９図（ｅ）参照）。次に、
３番目、７番目、１１番目の中間層ユニット阿υ３．Ｍ
（１，。

ＭＵｔ＋の計算を、その後、４番目、８番目、１２番目
の中間層ユニットＭＵ４．ＭＵ８．　ＭＵ＋２の計算を
行う（第９図（ｆ）参照）。計算結果は、４データずつ
まとめてローカルメモリに書き込む（第９図（ｇ）参照
）。

（２）中間層ユニットのシグモイド関数計算上述した（
１）で計算された入力層ユニットの出力の加重和をロー
カルメモリから読み出し、要素プロセッサにおいてシグ
モイド関数ｆを施して結果を再びローカルメモリに書き
込む（第９図（ｈ）〜（ｉ）参照）。

（３）　、　（４）　　中間層→出力層の前向き積和演
算および出力層ユニットのシグモイド関数計算前述した
（１）と同様に、中間層ユニットの出力をローカルメモ
リから読み出して加重和をとり、さらに、シグモイド関
数ｆを施してローカルメモリに書き込む（第９図（ｊ）
参照）。

（５）出力層ユニットの誤差計算 ローカルメモリから出力層ユニットの出力ｖ、　（２）
（２）　　　　　　　　　（Ｚ）　　　　　　　　　（
２）〜■４　Ｉ　■５　Ｎｖｌｌ　Ｉ　ｖｑ　〜ｖ１２
（２）および、その出カニニットに対応する教師データ
ｔ１〜ｔ　４＋　ｔ　Ｓ〜１８．１．〜ｔ１２を読み出
し、（６）式に従って出力層ユニットの誤差δ１（３）
を計算し、その結果６１′３）〜δ、（３）、δ、（３
）〜δ８（３）δ、り３）〜δ、％３）をローカルメモ
リに書き込む（第９図（ｋ）〜（１）参照）。

（６）出力層→中間層の後向き誤差伝搬計算ここでは、
（７）式の右辺の積和の項の計算を行う。各要素プロセ
ッサは４ユニット分の計算を並列に行う。１番目の要素
プロセッサＰＥ、は、１番目〜４番目の中間層ユニット
ＭＵ、〜Ｍ１１．の計算を、２番目の要素プロセッサＰ
Ｅ２は５番目〜８番目の中間層ユニノｌ”Ｍｔｌｓ〜？
ｌＵａの計算を、そして、３番目の要素プロセッサＰＥ
３は９番目〜１２番目の中間層ユニットＭＵ９〜ＭＩＪ
、□の計算を同時に行う。

まず、ローカルメモリから出カニニットの誤差δ、。ゝ
を読み出す。そして、読み込んだ出力層ユニットの誤差
データの第１の要素（１番目の要素プロセッサではδ　
（：１１．　２番目の要素プロセッサではδ　＋３１．
　３番目の要素プロセッサではδ、３３′になる。）に
対応する重みデータ（１番目の要素プロセッサではｗ　
、　、　”〜Ｗ、４”、２番目の要素プロセッサではＷ
５５（２ゝ〜ｗ５．”、３番目の要素プロセッサではＷ
　９９　”〜Ｗ１１．．！”　になる。）を読み出し、
４組の乗算器、ＡＬＵを用いてその積を同時に計算する
（第９図（ｍ）参照）。次に、出力層ユニットの誤差の
第２の要素（それぞれ６２°ｌδ、　＋３１．δ１゜（
３））に対応する重みデータをローカルメモリから読み
出し、その積を先程の結果に加え合わせる（第９図（ｏ
）　、　（ｐ）参照）。そして、前向きの積和演算の場
合とは異なり、ここでは加重和を右隣の要素プロセッサ
に転送する。

２番目の要素プロセッサには１〜４番目の中間層ユニッ
トの途中のデータδ、（２）’が送られてくる。次に、
この要素プロセッサの保持している出力層ユニットの誤
差データの第１の要素（δ　＋１１　）に対応する重み
データをローカルメモリから読み出し、その積を１番目
の要素プロセッサから送られてきたデータにそれぞれ加
え合わせる（第９図（ｑ）参照）。同様に、出力層ユニ
ットの誤差の２番目、３番目、４番目の要素に対応する
重みデータをローカルメモリから読み出し、積をそれぞ
れ加え合わせる（第９図（ｒ）参照）。４つの要素の全
てに対して加重和が計算されると、もう−度その結果を
右隣の要素プロセッサに転送する。そして、同じように
出力層ユニットの誤差と、それに対応する重みデータの
積を加え合わせる（第９図（ｓ）　、　（ｔ）参照）。

本実施例では、要素プロセッサの数は３個なので、２回
の転送で全ての加重和が取られることになる。計算され
た加重和は、もう−度右隣の要素プロセッサに転送され
、元の要素ブロセ・ンサのローカルメモリに格納される
（第９図（ｕ）参照）。

（７）中間層ユニットの誤差計算 ローカルメモリから中間層ユニットの出力値■、　＋２
１と、（６）で計算したその中間層ユニ、ントの後向き
の積和結果δＪ１２１’を読み込み、（７）式に従って
中間層ユニットの誤差δＪ′２）を計算し、その結果を
再びローカルメモリＬＭ＋　、　ＬＭ２．　ＬＭ３に書
き込む（第９図（ｖ）〜（−）参照）。

（８）重みの修正の計算 まず、入力層および中間層の重みから更新する。

ローカルメモリから中間層ユニ・ントの誤差δ、（２）
入力層ユニットの出力ｖ　、　＋　１　＋を読み出す。

読み込んだ中間層ユニットの誤差データの第１の要素（
１番目の要素プロセッサではδ　（り、２番目の要素プ
ロセッサではδ　（２１，３番目の要素プロセッサでは
δ、４）　になる。）に対応する重みの修正量ΔＷ　ｉ
　ｊ　”’　＋重みＷ、ｊ”ゝの前回のデータを読み出
す。（４）および（３）式に従って新しい重みの修正量
Δｗ　、、　”’　および重みＷ　、ｊ　（１）　を計
算する（第９図（ｘ）参照）。その結果をローカルメモ
リに書き出す（第９図（ｙ）参照）。

次に、中間層ユニットの誤差データの第２の要素（それ
ぞｉＬ”、　　δｂ（２）、６．、”＞　に対応する重
みの修正量ΔＷｉｊ”’、重みＷ、ｊ”ゝ　の前回のデ
ータを読み出し、（４）および（３）式に従って新しい
重みの修正量ΔＷｉｊ”’　および重みＷｉｊ”’ヲ計
算し、その結果をローカルメモリに書き出す（第９図（
ｚ）　、　（Ａ）参照）。同様に、３番目、４番目の要
素に対しても重みの修正量および重みを更新する（第９
図（Ｂ）参照）。

さらに、入力層ユニットの出力データは、右隣の要素プ
ロセッサに転送される。左隣の要素プロセッサから送ら
れた入力層ユニットに対応する重みおよびその重みの修
正量をローカルメモリから読み出し、先程と同様にして
、新しい重みおよび重みの修正量を計算してローカルメ
モリに書き出す（第９図（Ｄ）〜（Ｅ）参照）。同様に
して、中間層、出力層間の結合を含め全ての重みと重み
の修正量を計算し、更新した結果をローカルメモリに書
き出す（第９図（Ｆ）参照）。

［発明の効果〕 以上、詳述したように、本発明の神経回路網型計算装置
によれば、複数の乗算器および複数のＡＬ　Ｕを備えた
要素プロセッサを使用してニューラルネットワークにお
ける前向き積和計算を同時に複数の重み付け和をとるこ
とによって、計算の高速化を達成することができる。さ
らに、計算の種類によって演算器の繋ぎ方を変更し、シ
グモイド関数を除く全ての計算をパイプライン処理する
ことにより、計算の高速化を達成することができる。

【図面の簡単な説明】

第１図は本発明に係る神経回路網型計算装置に使用する
要素プロセッサの一実施例を示すブロック図、 第２図は第１図の要素プロセッサにおける前向き積和演
算の計算を説明するための図、第３図は第１図の要素プ
ロセッサにおける出力層ユニットの誤差の計算を説明す
るための図、第４図は第１図の要素プロセッサにおける
後向き積和演算の計算を説明するための図、第５図は第
１図の要素プロセッサにおける中間層ユニットの誤差の
計算を説明するための図、第６図は第１図の要素プロセ
ッサにおける重みの修正量および重みの更新の計算を説
明するための図、 第７図は本発明に係る神経回路網型計算装置の一例の全
体的なシステム構成を示す図、第８図は本発明の神経回
路網型計算装置の一例における要素プロセッサへのユニ
ットの割り当てを説明するための図、 第９図は第８図の神経回路網型計算装置の動作を説明す
るための図、 第１０図は多層構造型の神経回路網型計算装置を示す図
、 第１１図は第１０図の多層構造型の神経回路網型計算装
置に使用する各ユニットを示す図である。 （符号の説明） ＬＭ、ＬＭＩ、ＬＭ２．Ｌ？ｈ・・・ローカルメモリ、
ＰＥ、ＰＥ、、ＰＥＡ、ＰＥ３・・・要素プロセッサ、
１１・・・乗算器、 １２・・・ＡＬＵ、 １３・・・レジスタ、 １４・・・マルチプレクサ、 １５・・・制御回路。

Claims (3)

【特許請求の範囲】
1. １．入力層、少なくとも１層の中間層および出力層で構
   成された多層構造型の神経回路網型計算装置であって、 前記入力層を構成するユニット，前記中間層を構成する
   ユニットおよび前記出力層を構成するユニットのそれぞ
   れの機能を有する要素プロセッサ（ＰＥ）を具備し、 該要素プロセッサは、バックプロパゲーション法による
   学習機能を実現するための複数の乗算器（１１），複数
   のＡＬＵ（１２），レジスタ（１３），マルチプレクサ
   （１４），および，それらを制御する制御回路（１５）
   を備え、ニューラルネットワークにおける前向き積和計
   算を同時に複数の重み付け和をとることによって高速に
   演算できるようにしたことを特徴とする神経回路網型計
   算装置。
2. ２．入力層を構成するユニット，中間層を構成するユニ
   ットおよび出力層を構成するユニットのそれぞれの機能
   を有し、リング網として構成された複数の要素プロセッ
   サ（ＰＥ）と、該各要素プロセッサに対してそれぞれ設
   けられた複数のローカルメモリ（ＬＭ）とを具備する多
   層構造型の神経回路網型計算装置であって、 前記各要素プロセッサは、バックプロパゲーション法に
   よる学習機能を実現するための複数の乗算器（１１），
   複数のＡＬＵ（１２），レジスタ（１３），マルチプレ
   クサ（１４），および，それらを制御する制御回路（１
   ５）を備え、ニューラルネットワークにおける前向き積
   和計算を同時に複数の重み付け和をとることによって高
   速に演算できるようにしたことを特徴とする神経回路網
   型計算装置。
3. ３．前記神経回路網型計算装置は、計算の種類によって
   演算器の繋ぎ方を変更し、シグモイド関数を除く全ての
   計算をパイプライン処理するようになっている請求項第
   ２項に記載の神経回路網型計算装置。