JPH03123959A - 学習処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 Ａ　産業上の利用分野 本発明は、それぞれニューロンに対応する信号処理を行
う複数のユニットにより構成された所謂ニューラルネッ
トワーク（Ｎｅｕｒａｌ　Ｎｅｔｗｏｒｋ　：神経回路
網）を用いた信号処理部に対して、ハックプロパゲーシ
ョン（Ｂａｃｋ　ｐｒｏｐａｇａｔｉｏｎ　：逆転ｔｌ
）学習則に従った学習処理を施す学習処理装置に関する
。

Ｂ　発明の概要 本発明は、ニューラルネントワークによる信号処理部に
対してパックプロパゲーション学習則に従った学習処理
を行う学習処理装置において、多数のプロセッシング・
エレメントをメツシュ結合して並列処理により高速学習
処理を実現したものである。

Ｃ従来の技術 それぞれニューロンに対応する信号処理を行う複数のユ
ニットにより構成された所謂ニューラルネットワークを
用いた信号処理部に対する学習処理の手法として、ｒＰ
ａｒａｌｌｅｌ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｐｒ。

ｃｅｓｓｉｎｇ　Ｊ　Ｖｏｌ、Ｉ　Ｔｈｅ　ＭＩＴ　Ｐ
ｒｅｓｓ　１９８６や日経エレクトロニクス１９８７年
８月１０日号、Ｎｏ、４２７．ｐｐＨ５−１２４等にお
いて、バンクプロパゲーション学習器が提案されている
。

そして、上記バンクプロパゲーション学習器は、第５図
に示すように、入力層（１１）と出力層（１３）の間に
中間層（１２）を有する多層構造のニューラルネットワ
ークにより構成される信号処理部（１０）に適用され、
高速画像処理やパターン認識等の各種の信号処理への応
用が試みられている。

すなわち、第５図に示すように、このニューラルネット
ワークを構成する各ユニット（Ｕｊ）は、ユニット（Ｕ
、）からユニット（Ｕ、）への結合係数Ｗ４．で結合さ
れるユニット（Ｕ、）の出力値０゜の総和ｎｅｔ、を例
えばｓｉｇｍｏｉｄ関数などの所定の関数ｒで変換され
た値０．を出力する。すなわち、パターンｐの値が入力
層の各ユニット（ＵＪ）に入力値としてそれぞれ供給さ
れたとき、中間層および出力層の各ユニッ）（Ｕｊ）の
出力値○２、は、０ｐｊ＝　ｒ　ｊ　　（ｎｅｔＤＪ） −ｆＪ（ΣＷＪ、、Ｏｐ、。）・、・・・第１式なる第
１式で表される。

そして、人力！（１１）から出力層（１３）へ向かって
、各ニューロンに対応するユニット（Ｕ、）の出力値を
順次計算していくことで、上記出力層（１３）のユニッ
ト（Ｕ、）の出力値Ｏｐｊが得られる。

バンクプロパゲーション学習アルゴリズムにおいては、
上記信号処理部（１０）に対して、学習処理部（２０）
により、入カバターンｐを与えたときの、出力層（１３
）の各ユニット（Ｕ、）の実際の出力値０９、と望まし
い出力値Ｔ９Ｊすなわち教師信号との二乗誤差の総和Ｅ
。

Ｅｐ＝−Σ（Ｔｐｊ−０，ｊ）”　　・・・・・・・第
２式を極小化するように、結合係数Ｗ　ｊ　ｉを変える
学習処理を出力層（１３）から入力層（１１）へ向かっ
て順次に行うことによって、教師信号の値Ｔ９．に最も
近い出力値Ｏｐｊが上記出力層（１３）のユニット（Ｕ
、）から出力されるようになる。

そして、二乗誤差の総和Ｅ、を小さくする結合係数Ｗ　
ｊ　ｉの変化量ΔＷ４、を、 ΔＷＪｔ□ｑ　　９Ｅｐ／ａＷ７＋　　、−・ｉ［と決
めると、上記第３式は、 ΔＷ、、＝η・δ２、・０，８　　・・・・・・・・・
・第４式に変形することができる（この過程は上述の文
献を参照）。

ここで、ηは学習レート（定数）で、ユニットの数や層
の数さらには入出力の値等から経験的に決定される。ま
た、δｐＪはユニッ）（ｔＪＪ）のもつ誤差値である。

従って、上記変化量ΔＷ　ｊ　ｉを決定するためには、
上記誤差値δＰ１をネットワークの出力層から入力層に
向かって逆向きに求めていけば良い。出力層のユニット
（ＵＪ）の誤差値δ２．は、δ、Ｊ＝　（Ｔｐ＝　　０
ｐ＝）　ｒ　’Ｊ（ｎｅＪ）　＝・・・第５式なる第５
式で与えられ、中間層のユニット（Ｕｊの誤差値δｐ１
は、そのユニッＩ−（Ｕ、）が結合されている各ユニッ
ト（Ｕｋ）　　（この例では出力層の各ユニット）の結
合係数Ｗ３．および誤差値δ、を用いて、 δｐＪ＝　ｆ　’＝（ｎｅｔ；）Σδ９　ｋ　Ｗ　ｋ、
・・・・・第６式なる再帰関数により計算される（上記
第５式および第６式を求める過程は上述の文献を参照）
。

なお、上記”　＝　（ｎｅＪ）は、出力関数ｆ　Ｊ（ｎ
ｅｔ、）の微分値である。

そして、変化量ΔＷ＝ｔは、上記第５式および第６式の
結果を用いて上述の第４式によって求められるが、前回
の学習結果を用いて、 ΔＷＪ、ｆｎｌｌ＝η・δｐＪ・Ｏｐ＋＋α・ΔＷｊｉ
ｆｎ＋・・・・・・第７式 なる第７式により求めることで、より安定した結果が得
られる。なお、αはエラーの振動を減らし、収束を速め
るための安定化定数である。

そして、この学習を繰り返し行い、出力値０９゜と教師
信号の値ＴｐＪとの二乗誤差の総和Ｅｐが十分に小さく
なった時点で学習を完了する。

このようなニューラルネットワークを利用して画像処理
や音声認識などの分野において実用に適した装置を実現
するためには、各相のユニットすなわちニューロンの数
を増やし、ネットワークの規模を大きくすることが必要
とされ、それに伴い結合係数の学習に膨大な計算量が必
要となる。

従来より、ニューラルネットワークを利用した装置では
、ニューラルネットワークにおける計算処理は元来並列
処理であることから、並列処理によって計算速度を高め
る試みがなされている。並列化の方法としては、１つの
ニューロンを１つの計算素子に対応させる方法や、複数
のニューロンを担当するプロセッサを結合して用いる方
法があるが、前者はハードウェアが大きくなり、現在の
技術で大規模なネットワークを実現するのは実用的でな
い。

従って、現在提案されているシステムは、その多くが後
者に基づいており、プロセッサとしては信号処理プセッ
サ（ＤＳＰ）、汎用のマイクロプロセッサ専用のチップ
を用いたもの等がある。いずれも、複数のプロセンサが
、互いに通信しながら並列的にニューラルネットワーク
の計算処理を実行する。また、ニューラルネットワーク
の並列処理方式としては、ネットワークを複数に分割し
て処理を行うネットワーク分割法やデータを複数のプロ
セッサに分散させて処理を行うデータ分割法が知られて
いる。

Ｄ　発明が解決しようとする課題 ところで、上述の如き多層型のニューラルネットワーク
に対するバックプロパゲーション学習量に従った結合重
みの学習処理にネットワーク分割法を採用した場合、ネ
ットワークの分割数すなわちプロセッサ数が多くなると
、プロセッサ間の通信時間が増大し、性能の向上が期待
できなくなる９また、データ分割法を採用した場合には
、大量の学習量が必要であり、データの分割数すなわち
プロセッサ数が例えば１００以上になると、プロセッサ
間の通信時間が増大し、性能の向上が期待できなくなる
。

そこで、本発明は、上述の如き従来の実情に鑑み、多数
のプロセッサによる並列処理によって、高速且つ少ない
オーバーヘッドでニューラルネットワークに対するバッ
クプロパゲーション学習量に従った結合重みの学習処理
を効率良く行うことができるようにした学習処理装置を
堤供することを目的とする。

Ｅ　課題を解決するための手段 本発明は、上述の目的を達成するために、それぞれニュ
ーロンに対応する信号処理を行う複数のユニットにより
構成された入力層、中間層および出力層を備える信号処
理部と、上記入力層に入力される入力信号パターンに対
する上記出力層の出力値と教師信号として与えられる所
望の出力値との誤差情報に基づいて上記各ユニットの間
の結合の強さの係数を上記出力層側から上記入力層側に
向かって順次に繰り返し計算し、上記結合の強さの係数
の学習処理を行う学習処理部とを備えて成る学習処理装
置において、それぞれ垂直リング結合用のデータ転送メ
モリと水平リング結合用のデータ転送メモリとを介して
メツシュ結合されたＮ×Ｄ個のプロセッシング・エレメ
ントを備え、ネットワークをＮ分割し、入力データをＤ
グループに分散させて、上記メツシュ結合されたＮ×Ｄ
個のプロセッシング・エレメントに学習処理アルゴリズ
ムをマツピングしたことを特徴とするものである。

Ｆ　作用 本発明に係る学習処理装置において、メツシュ結合され
た各プロセンシング・エレメントは、周囲の４つのプロ
セッシング・エレメントとの間で通信は非同期にデータ
の通信を行う。また、同一プロセッシング・エレメント
を結合する構成のためシステムの拡張が容易となる。

Ｇ　実施例 以下、本発明の実施例について、図面を参照しながら詳
細に説明する。

本発明に係る学習処理装置は、第１図に示すように、そ
れぞれ垂直リング結合用のデータ転送メモリＶＭ（。）
〜ＶＭ（、−、）と水平リング結合用のデータ転送メモ
’月（Ｍ　＋。＋　〜ＨＭ　、ｏ−ｎとを介してメツシ
ュ結合されたＮ×Ｄ個のプロセッシング・エレメントＰ
Ｅｆ。、。、〜Ｐ　Ｅ　ｆＤ−１，Ｎ−１１を備え、ネ
・ソトワークをＮ分割し、入力データをＤグループに分
散させて、上記メツシュ結合されたＮ×Ｄ個のプロセン
シング・エレメントＰＥ＋。、。、〜Ｐ　Ｅ　ｔ。

Ｎ−１１にバックプロパゲーション学習処理アルゴリズ
ムをマツピングしてなる。

この実施例の学習処理装置は、上述の第５図に示したそ
れぞれニューロンに対応する信号処理を行う複数のユニ
ットにより構成された入力層（１１）、中間層（１２）
および出力層（１３）を備える信号処理部（１０）に対
する上記各ユニットの間の結合の強さの係数をバックプ
ロパゲージジン学習則に従って上記学習処理部（２０）
により行う学習処理装置に本発明を適用したものである
。

上記各プロセッシング・エレメントＰ　Ｅ　ｆＯ＋　ｏ
＋〜ＰＥＮＤ〜Ｉ＋Ｎ−１１には、第２図に示すように
、例えば、ＩｎＬｅ１社によって開発された６４ビット
；　Ｒｔｓｃタイプの汎用マイクロプロセッサ（８０８
６０）がそれぞれ用いられ、ニューロン間の結合の重み
すなわち結合係数や出力をストアするために４Ｍバイト
のローカルメモリＲＡＭが設けられている。また、上記
垂直リング結合用の各データ転送メモリＶＭ、。、〜Ｖ
Ｍ（、−Ｈ及び水平リング結合用の各データ転送メモリ
ＨＭ　、。）〜ＨＭ　＋ｎ−ｎ　　としては、Ｆ　Ｉ　
Ｆ　０（Ｆｉｒｓｔ　ｉｎ　Ｆｉｒｓｔｏｕｔ）メモリ
がそれぞれ用いられている。

そして、上記各プロセッシング・エレメントＰＥ、。、
。、〜ＰＥｆ。−ｌ＋Ｎ−１１は、隣接する４つのプロ
セッシング・エレメントＰＥとＦＩＦＯによるデータ転
送メモリＶＭ、ＨＭを介して結合されており、上記デー
タ転送メモリＶＭ、ＨＭを介して上記隣接する４つのプ
ロセッシング・エレメントＰＥと非同期に通信を行うこ
とができる。

上記Ｎ×Ｄ個のプロセッシング・エレメントＰＥ、。、
。、〜Ｐ　Ｅ　ｕ＋−１＋　Ｍ−ｎをそれぞれ垂直リン
グ結合用のデータ転送メモリＶＭ＋ｏ＋〜ＶＭ＋ト＋＋
と水平リング結合用の各データ転送メモリＨＭｆ。、〜
ＨＭｃｏ−Ｉ＋　　とを介してメツシュ結合してなるこ
の実施例の学習処理装置において、その垂直方向のリン
グは、ネットワークをＮ分割しており、その垂直リング
内の各プロセッシング・エレメントＰＥ、。、〜Ｐ　Ｅ
　ｔＮ−ｕは異なった結合係数を持ち、上記信号処理部
（１０）の中間層（１２）の出力値及び逆伝播での上記
中間１　（１２）の誤差計算の中間結果が転送される。

また、水平方向のリングは、入力データをＤグループに
分散させており、その水平リング内の各プロセッシング
・エレメントＰＥｆ。、〜Ｐ　Ｅ　Ｌｏ−ｎ　　は異な
ったデータを持ち、全データの結合係数Ｗ　、に対する
変化量ΣΔＷ　＋　＝と更新された結合係数Ｗ３．のみ
が転送される。

次に、この学習処理装置は、上述の第５図に示した入力
層（１１）、中間層（１２）及び出力層（１３）を備え
る３層構造のニューラル不ソットワークに対して、例え
ばネットワークを４　（Ｎ＝４）分割して、次の処理ア
ルゴリズム（１）〜０２１に従って学習処理を行う。

（１）゛　入力データＩを与えたときの中間層（１２）
のユニットＵＪへの入力の総和ｎｅｔ７は、ｎｅｔＪ＝
　　Σｗ、Ｊｒ。

により求める。

（２）中間層（１２χのユニットＵ１の出力Ｈ，は、１
＋ｅ により求める。

（３）出力層（１３）のユニットＵ４への入力は、上記
（１）と同様な積和演算の中間結果ｎｅｔＪを第３図の
（１＋）、（む２）、（ｔ　３Ｌ（ｔ　４）　　に示す
ように上記垂直リング上を転送することにより各プロセ
ッシング・エレメントＰ　Ｅ　＋。ｒ、　Ｐ　Ｅ　ｔ、
＋、　Ｐ　Ｅ　ｕ＋。

ＰＥ、３．で求める。

（４）出力層（１３）のユニットＵＪの出力Ｏ４は、上
記（２）と同様に求める。

（５）出力層（１３）の誤差値δ。□は、上記出力層、
（１３）のユニットＵ、の出力Ｏ４と教師信号Ｔ、とか
ら、 δ。、＝（Ｔ、−０ｊ）ＯＪ（１−０Ｊ）により求める
。

（６）中間層（１２）の誤差値δ５．は、上記出力層（
１３）の誤差値δ。、を第４図の（ｔ　＋）、（ｔ　ｚ
）、（ｔ　３）（Ｌ４）に示すように上記垂直リング上
を転送しながら、各プロセッシング・エレメントＰＥ＋
。）。

Ｐ　Ｅ　（１１，Ｐ　Ｅ　ｃｚ＋、　Ｐ　Ｅ　＋ｓ、で
、δ、、＝Ｈ，（１−ＨＪ）（Σδ。ｋＷア、）により
求める。

（７）ｍ番目入力データに対する結合係数の変化量ΔＷ
、、（ｍ）を各層について ΔＷ、（ｍ）＝δＩＯＪ＋ΔＷｔＪ（ｍ−１）により求
める。

ここで、全データ数をＡＤとすると、上記ｍは、ｍ＝１
．−　・−、ＡＤ／Ｄである。

（８）分割された全データに対して（ＡＤ／Ｄ）間上記
（１）〜（７）の処理を繰り返し行う。

（９）水平リングを使い、データ分割された結合係数の
総和を求める。

００）結合係数Ｗ　、　、　（ｔ）を更新する。

ΔＷｉｊ（ｔ）−ηΣδＷ、（ＡＤ／Ｄ）十αΔＷｔＪ
（ｔ−１） ＬＪ（ｔ）−八ＷＢ（ｔ）＋Ｗ；＝（ｔ−１）ここで、
ηは学習定数、αは安定化定数、Ｌは学習回数である。

０１）水平リングを使い、更新された結合係数Ｗ　ｉ　
ｊ（１）をデータ分割された他のプロセッシングエレメ
ントＰＥに転送する。

θり　出力層の誤差値が目標値以下になるまで、−に記
（１）〜（１１）の処理を繰り返し行う。

上述の如き構成の学習処理装置では、例えば入力層が２
５６ユニツト、中間層が８０ユニツト、出力層が３２ユ
ニツトで構成され３層構造のニューラルネットにおいて
、５１２０パターンの学習処理を行う場合、ネットワー
クを４　（Ｎ＝４）分割し、入力データを３２　（Ｄ＝
３２）ＰＥグループに分散して、メツシュ結合された１
２８個のプロセッシング・エレメントに上述の（１）〜
面の学習処理を行うバックプロパゲーション学習処理ア
ルゴリズムをマツピングし、各プロセッシング・エレメ
ントを５０ＭＨｚで動作させるとＩＧｃＰｓの学習速度
が得られる。

Ｈ発明の効果 上述のように、本発明に係る学習処理装置では、メソシ
ュ結合された各プロセッシング・エレメントが周囲の４
つのプロセンシング・エレメントとの間で非同期にデー
タの通信を行うことにより、プロセンサのオーバーヘッ
ドを小さく抑えることができる。また、同一プロセッシ
ング・エレメントを結合する構成のためシステムの拡張
が容易であり、プロセッシング・エレメント数を多くす
ることによって、全体の処理能力を向上することができ
る。

従って、本発明によれば、多数のプロセッサによる並列
処理によって、ニューラルネットワークに対するバック
プロパゲーション学習則に従った結合係数の学習処理を
高速且つ少ないオーバーヘッドで行う学習処理装置を実
現することができる。

【図面の簡単な説明】

第１図は本発明に係る学習処理装置の構成を概念的に示
すブロック図、第２図は上記学習処理装置を構成するプ
ロセッシング・エレメントの構成概念的に示すブロック
図、第３図は上記学習処理装置の垂直リング上の各プロ
センシング・エレメントによるバンクプロパゲーション
学習処理の前向きの学習処理過程における動作説明図、
第４図は、同じく上記垂直リング上の各プロセッシング
・エレメントによるバンクプロパゲーション学習処理の
後向きの学習処理過程における動作説明図、第５図は本
発明を適用する３層構造の二−ラル不ノドワークによる
信号処理部を備える学習処理装置の構成を概念的に示す
ブロフク図である。 （１０）・・・・・・信号処理部 （１１）・・・・・・入力層 （１２）・・・・・・中間層 （１３）・・・・・・出力層 （２０）・・・・・・学習処理部 ＰＥ、。、。ｌ、ＰＥ（。１．〜ＰＥ＋ｏ、□１４Ｎ−
１１・・・・プロセッシング・エレメント ＶＭ　＋Ｏ＋６１＋　ＶＭ　（１１，１１〜ＶＭ（Ｄ−
１，Ｎ・・・・垂直転送用データ転送メモリ ＨＭ　、。、。＋　、　ＨＭ　（。１．〜ｌ−Ｉ　Ｍ　
ｔｏ−＋−Ｎ・・・水平転送用データ転送メモリ

Claims (1)

1. 【特許請求の範囲】 それぞれニューロンに対応する信号処理を行う複数のユ
   ニットにより構成された入力層、中間層および出力層を
   備える信号処理部と、上記入力層に入力される入力信号
   パターンに対する上記出力層の出力値と教師信号として
   与えられる所望の出力値との誤差情報に基づいて上記各
   ユニットの間の結合の強さの係数を上記出力層側から上
   記入力層側に向かって順次に繰り返し計算し、上記結合
   の強さの係数の学習処理を行う学習処理部とを備えて成
   る学習処理装置において、 それぞれ垂直リング結合用のデータ転送メモリと水平リ
   ング結合用のデータ転送メモリとを介してメッシュ結合
   されたＮ×Ｄ個のプロセッシング・エレメントを備え、 ネットワークをＮ分割し、入力データをＤグループに分
   散させて、上記メッシュ結合されたＮ×Ｄ個のプロセッ
   シング・エレメントに学習処理アルゴリズムをマッピン
   グしたことを特徴とする学習処理装置。