JP3271186B2 - 学習処理装置 - Google Patents
学習処理装置Info
- Publication number
- JP3271186B2 JP3271186B2 JP26148689A JP26148689A JP3271186B2 JP 3271186 B2 JP3271186 B2 JP 3271186B2 JP 26148689 A JP26148689 A JP 26148689A JP 26148689 A JP26148689 A JP 26148689A JP 3271186 B2 JP3271186 B2 JP 3271186B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- processing
- layer
- processing unit
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Complex Calculations (AREA)
- Image Analysis (AREA)
Description
【発明の詳細な説明】 Ａ 産業上の利用分野 本発明は、それぞれニューロンに対応する信号処理を
行う複数のユニットにより構成された所謂ニューラルネ
ットワーク（Neural Network:神経回路網）を用いた信
号処理部に対して、バックプロパゲーション（Back pro
pagation:逆伝播）学習則に従った学習処理を施す学習
処理装置に関する。
行う複数のユニットにより構成された所謂ニューラルネ
ットワーク（Neural Network:神経回路網）を用いた信
号処理部に対して、バックプロパゲーション（Back pro
pagation:逆伝播）学習則に従った学習処理を施す学習
処理装置に関する。
Ｂ 発明の概要 本発明は、ニューラルネットワークによる信号処理部
に対してバックプロパゲーション学習則に従った学習処
理を行う学習処理装置において、多数のプロセッシング
・エレメントをメッシュ結合して並列処理により高速学
習処理を実現したものである。
に対してバックプロパゲーション学習則に従った学習処
理を行う学習処理装置において、多数のプロセッシング
・エレメントをメッシュ結合して並列処理により高速学
習処理を実現したものである。
Ｃ 従来の技術 それぞれニューロンに対応する信号処理を行う複数の
ユニットにより構成された所謂ニューラルネットワーク
を用いた信号処理部に対する学習処理の手法として、
「Parallel Distributed Processing」Vol.1 The MIT P
ress 1986や日経エレクトロニクス1987年８月10月号,N
o.427.pp115−124等において、バックプロパゲーション
学習則が提案されている。
ユニットにより構成された所謂ニューラルネットワーク
を用いた信号処理部に対する学習処理の手法として、
「Parallel Distributed Processing」Vol.1 The MIT P
ress 1986や日経エレクトロニクス1987年８月10月号,N
o.427.pp115−124等において、バックプロパゲーション
学習則が提案されている。
そして、上記バックプロパゲーション学習則は、第５
図に示すように、入力層（11）と出力層（13）の間に中
間層（12）を有する多層構造のニューラルネットワーク
により構成される信号処理部（10）に適用され、高速画
像処理やパターン認識等の各種の信号処理への応用が試
みられている。
図に示すように、入力層（11）と出力層（13）の間に中
間層（12）を有する多層構造のニューラルネットワーク
により構成される信号処理部（10）に適用され、高速画
像処理やパターン認識等の各種の信号処理への応用が試
みられている。
すなわち、第５図に示すように、このニューラルネッ
トワークを構成する各ユニット（Uj）は、ユニット
（Ui）からユニット（Uj）への結合係数Wjiで結合され
るユニット（Ui）の出力値Oiの総和netjを例えばsigmoi
d関数などの所定の関数ｆで変換された値Ojを出力す
る。すなわち、パターンｐの値が入力層の各ユニット
（Uj）に入力値としてそれぞれ供給されたとき、中間層
および出力層の各ユニット（Uj）の出力値Opjは、 なる第１式で表される。
トワークを構成する各ユニット（Uj）は、ユニット
（Ui）からユニット（Uj）への結合係数Wjiで結合され
るユニット（Ui）の出力値Oiの総和netjを例えばsigmoi
d関数などの所定の関数ｆで変換された値Ojを出力す
る。すなわち、パターンｐの値が入力層の各ユニット
（Uj）に入力値としてそれぞれ供給されたとき、中間層
および出力層の各ユニット（Uj）の出力値Opjは、 なる第１式で表される。
そして、入力層（11）から出力層（13）へ向かって、
各ニューロンに対応するユニット（Uj）の出力値を順次
計算していくことで、上記出力層（13）のユニット
（Uj）の出力値Opjが得られる。
各ニューロンに対応するユニット（Uj）の出力値を順次
計算していくことで、上記出力層（13）のユニット
（Uj）の出力値Opjが得られる。
バックプロパゲーション学習アルゴリズムにおいて
は、上記信号処理部（10）に対して、学習処理部（20）
により、入力パターンｐを与えたときの、出力層（13）
の各ユニット（Uj）の実際の出力値Opjと望ましい出力
値Tpjすなわち教師信号との二乗誤差の総和Ep を極小化するように、結合係数Wjiを変える学習処理を
出力層（13）から入力層（11）へ向かって順次に行うこ
とによって、教師信号の値Tpjに最も近い出力値Opjが上
記出力層（13）のユニット（Uj）から出力されるように
なる。
は、上記信号処理部（10）に対して、学習処理部（20）
により、入力パターンｐを与えたときの、出力層（13）
の各ユニット（Uj）の実際の出力値Opjと望ましい出力
値Tpjすなわち教師信号との二乗誤差の総和Ep を極小化するように、結合係数Wjiを変える学習処理を
出力層（13）から入力層（11）へ向かって順次に行うこ
とによって、教師信号の値Tpjに最も近い出力値Opjが上
記出力層（13）のユニット（Uj）から出力されるように
なる。
そして、二乗誤差の総和Epを小さくする結合係数Wji
の変化量ΔWjiを、 ΔWji∝−∂Ep/∂Wji ……第３式 と決めると、上記第３式は、 ΔWji＝η・δpj・Opj ……第４式 に変形することができる（この過程は上述の文献を参
照）。
の変化量ΔWjiを、 ΔWji∝−∂Ep/∂Wji ……第３式 と決めると、上記第３式は、 ΔWji＝η・δpj・Opj ……第４式 に変形することができる（この過程は上述の文献を参
照）。
ここで、ηは学習レート（定数）で、ユニットの数や
層の数さらには入出力の値等から経験的に決定される。
また、δpjはユニット（Uj）のもつ誤差値である。
層の数さらには入出力の値等から経験的に決定される。
また、δpjはユニット（Uj）のもつ誤差値である。
従って、上記変化量ΔWjiを決定するためには、上記
誤差値δpjをネットワークの出力層から入力層に向かっ
て逆向きに求めていけば良い。出力層のユニット（Uj）
の誤差値δpjは、 δpj＝（Tpj−Opj）f'j（netj） ……第５式 なる第５式で与えられ、中間層のユニット（Uj）の誤差
値δpjは、そのユニット（Uj）が結合されている各ユニ
ット（Uk）（この例では出力層の各ユニット）の結合係
数Wkjおよび誤差値δpkを用いて、 なる再帰関数により計算される（上記第５式および第６
式を求める過程は上述の文献を参照）。
誤差値δpjをネットワークの出力層から入力層に向かっ
て逆向きに求めていけば良い。出力層のユニット（Uj）
の誤差値δpjは、 δpj＝（Tpj−Opj）f'j（netj） ……第５式 なる第５式で与えられ、中間層のユニット（Uj）の誤差
値δpjは、そのユニット（Uj）が結合されている各ユニ
ット（Uk）（この例では出力層の各ユニット）の結合係
数Wkjおよび誤差値δpkを用いて、 なる再帰関数により計算される（上記第５式および第６
式を求める過程は上述の文献を参照）。
なお、上記f'j（netj）は、出力関数fj（netj）の微
分値である。
分値である。
そして、変化量ΔWjiは、上記第５式および第６式の
結果を用いて上述の第４式によって求められるが、前回
の学習結果を用いて、 ΔWji(n+1)＝η・δpj・Opj＋α・ΔWji(n) ……第７式 なる第７式により求めることで、より安定した結果が得
られる。なお、αはエラーの振動を減らし、収束を速め
るための安定化定数である。
結果を用いて上述の第４式によって求められるが、前回
の学習結果を用いて、 ΔWji(n+1)＝η・δpj・Opj＋α・ΔWji(n) ……第７式 なる第７式により求めることで、より安定した結果が得
られる。なお、αはエラーの振動を減らし、収束を速め
るための安定化定数である。
そして、この学習を繰り返し行い、出力値opjと教師
信号の値Tpjとの二乗誤差の総和Epが十分に小さくなっ
た時点で学習を完了する。
信号の値Tpjとの二乗誤差の総和Epが十分に小さくなっ
た時点で学習を完了する。
このようなニューラルネットワークを利用して画像処
理や音声認識などの分野において実用に適した装置を実
現するためには、各相のユニットすなわちニューロンの
数を増やし、ネットワークの規模を大きくすることが必
要とされ、それに伴い結合係数の学習に膨大な計算量が
必要となる。
理や音声認識などの分野において実用に適した装置を実
現するためには、各相のユニットすなわちニューロンの
数を増やし、ネットワークの規模を大きくすることが必
要とされ、それに伴い結合係数の学習に膨大な計算量が
必要となる。
従来より、ニューラルネットワークを利用した装置で
は、ニューラルネットワークにおける計算処理は元来並
列処理であることから、並列処理によって計算速度を高
める試みがなされている。並列化の方法としては、１つ
のニューロンを１つの計算素子に対応させる方法や、複
数のニューロンを担当するプロセッサを結合して用いる
方法があるが、前者はハードウェアが大きくなり、現在
の技術で大規模なネットワークを実現するのは実用的で
はない。
は、ニューラルネットワークにおける計算処理は元来並
列処理であることから、並列処理によって計算速度を高
める試みがなされている。並列化の方法としては、１つ
のニューロンを１つの計算素子に対応させる方法や、複
数のニューロンを担当するプロセッサを結合して用いる
方法があるが、前者はハードウェアが大きくなり、現在
の技術で大規模なネットワークを実現するのは実用的で
はない。
従って、現在提案されているシステムは、その多くが
後者に基づいており、プロセッサとしては信号処理プセ
ッサ（DSP）、汎用のマイクロプロセッサ専用のチップ
を用いたもの等がある。いずれも、複数のプロセッサ
が、互いに通信しながら並列的にニューラルネットワー
クの計算処理を実行する。また、ニューラルネットワー
クの並列処理方式としては、ネットワークを複数に分割
して処理を行うネットワーク分割法やデータを複数のプ
ロセッサに分散させて処理を行うデータ分割法が知られ
ている。
後者に基づいており、プロセッサとしては信号処理プセ
ッサ（DSP）、汎用のマイクロプロセッサ専用のチップ
を用いたもの等がある。いずれも、複数のプロセッサ
が、互いに通信しながら並列的にニューラルネットワー
クの計算処理を実行する。また、ニューラルネットワー
クの並列処理方式としては、ネットワークを複数に分割
して処理を行うネットワーク分割法やデータを複数のプ
ロセッサに分散させて処理を行うデータ分割法が知られ
ている。
Ｄ 発明が解決しようとする課題 ところで、上述の如き多層型のニューラルネットワー
クに対するバックプロパゲーション学習則に従った結合
重みの学習処理にネットワーク分割法を採用した場合、
ネットワークの分割数すなわちプロセッサ数が多くなる
と、プロセッサ間の通信時間が増大し、性能の向上が期
待できなくなる。また、データ分割法を採用した場合に
は、大量の学習量が必要であり、データの分割数すなわ
ちプロセッサ数が例えば100以上になると、プロセッサ
間の通信時間が増大し、性能の向上が期待できなくな
る。
クに対するバックプロパゲーション学習則に従った結合
重みの学習処理にネットワーク分割法を採用した場合、
ネットワークの分割数すなわちプロセッサ数が多くなる
と、プロセッサ間の通信時間が増大し、性能の向上が期
待できなくなる。また、データ分割法を採用した場合に
は、大量の学習量が必要であり、データの分割数すなわ
ちプロセッサ数が例えば100以上になると、プロセッサ
間の通信時間が増大し、性能の向上が期待できなくな
る。
そこで、本発明は、上述の如き従来の実情に鑑み、多
数のプロセッサによる並列処理によって、高速且つ少な
いオーバーヘッドでニューラルネットワークに対するバ
ックプロパゲーション学習則に従った結合重みの学習処
理を効率良く行うことができるようにした学習処理装置
を提供することを目的とする。
数のプロセッサによる並列処理によって、高速且つ少な
いオーバーヘッドでニューラルネットワークに対するバ
ックプロパゲーション学習則に従った結合重みの学習処
理を効率良く行うことができるようにした学習処理装置
を提供することを目的とする。
Ｅ 課題を解決するための手段 本発明は、上述の目的を達成するために、それぞれニ
ューロンに対応する信号処理を行う複数のユニットによ
り構成された入力層、中間層および出力層を備える信号
処理部と、上記入力層に入力される入力信号パターンに
対する上記出力層の出力値と教師信号として与えられる
所望の出力値との誤差情報に基づいて上記各ユニットの
間の結合の強さの係数を上記出力層側から上記入力層側
に向かって順次に繰り返し計算し、上記結合の強さの係
数の学習処理を行う学習処理部とを備えて成る学習処理
装置において、上記信号処理部として、それぞれ垂直リ
ング結合用のデータ転送メモリと水平リング結合用のデ
ータ転送メモリとを介してメッシュ結合されたＮ×Ｄ個
のプロセッシング・エレメントを備え、上記学習処理部
は、ネットワークをＮ分割し、入力データをＤグループ
に分散させて、上記メッシュ結合されたＮ×Ｄ個のプロ
セッシング・エレメントに学習処理アルゴリズムをマッ
ピングして、上記メッシュ結合されたＮ×Ｄ個のプロセ
ッシング・エレメントによる演算結果を垂直リングと水
平リングを介して転送し、重み更新時に必要な重み変化
量の総和を複数の水平リングにより求め、上記各ユニッ
トの間の結合の強さの係数の学習処理を行うことを特徴
とするものである。
ューロンに対応する信号処理を行う複数のユニットによ
り構成された入力層、中間層および出力層を備える信号
処理部と、上記入力層に入力される入力信号パターンに
対する上記出力層の出力値と教師信号として与えられる
所望の出力値との誤差情報に基づいて上記各ユニットの
間の結合の強さの係数を上記出力層側から上記入力層側
に向かって順次に繰り返し計算し、上記結合の強さの係
数の学習処理を行う学習処理部とを備えて成る学習処理
装置において、上記信号処理部として、それぞれ垂直リ
ング結合用のデータ転送メモリと水平リング結合用のデ
ータ転送メモリとを介してメッシュ結合されたＮ×Ｄ個
のプロセッシング・エレメントを備え、上記学習処理部
は、ネットワークをＮ分割し、入力データをＤグループ
に分散させて、上記メッシュ結合されたＮ×Ｄ個のプロ
セッシング・エレメントに学習処理アルゴリズムをマッ
ピングして、上記メッシュ結合されたＮ×Ｄ個のプロセ
ッシング・エレメントによる演算結果を垂直リングと水
平リングを介して転送し、重み更新時に必要な重み変化
量の総和を複数の水平リングにより求め、上記各ユニッ
トの間の結合の強さの係数の学習処理を行うことを特徴
とするものである。
Ｆ 作用 本発明に係る学習処理装置において、メッシュ結合さ
れた各プロセッシング・エレメントは、周囲の４つのプ
ロセッシング・エレメントとの間で通信は非同期にデー
タの通信を行う。また、同一プロセッシング・エレメン
トを結合する構成のためシステムの拡張が容易となる。
れた各プロセッシング・エレメントは、周囲の４つのプ
ロセッシング・エレメントとの間で通信は非同期にデー
タの通信を行う。また、同一プロセッシング・エレメン
トを結合する構成のためシステムの拡張が容易となる。
Ｇ 実施例 以下、本発明の実施例について、図面を参照しながら
詳細に説明する。
詳細に説明する。
本発明に係る学習処理装置は、第１図に示すように、
それぞれ垂直リング結合用のデータ転送メモリVM(0)〜V
M(N-1)と水平リング結合用のデータ転送メモリHM(0)〜H
M(D-1)とを介してメッシュ結合されたＮ×Ｄ個のプロセ
ッシング・エレメントPE（0,0）〜PE（Ｄ−1,N−１）を
備え、ネットワークをＮ分割し、入力データをＤグルー
プに分散させて、上記メッシュ結合されたＮ×Ｄ個のプ
ロセッシング・エレメントPE（0,0）〜PE
（Ｄ−1,N−１）にバックプロパゲーション学習処理ア
ルゴリズムをマッピングしてなる。
それぞれ垂直リング結合用のデータ転送メモリVM(0)〜V
M(N-1)と水平リング結合用のデータ転送メモリHM(0)〜H
M(D-1)とを介してメッシュ結合されたＮ×Ｄ個のプロセ
ッシング・エレメントPE（0,0）〜PE（Ｄ−1,N−１）を
備え、ネットワークをＮ分割し、入力データをＤグルー
プに分散させて、上記メッシュ結合されたＮ×Ｄ個のプ
ロセッシング・エレメントPE（0,0）〜PE
（Ｄ−1,N−１）にバックプロパゲーション学習処理ア
ルゴリズムをマッピングしてなる。
この実施例の学習処理装置は、上述の第５図に示した
それぞれニューロンに対応する信号処理を行う複数のユ
ニットにより構成された入力層（11）、中間層（12）お
よび出力層（13）を備える信号処理部（10）に対する上
記各ユニットの間の結合の強さの係数をバックプロパゲ
ーション学習則に従って上記学習処理部（20）により行
う学習処理装置に本発明を適用したものである。
それぞれニューロンに対応する信号処理を行う複数のユ
ニットにより構成された入力層（11）、中間層（12）お
よび出力層（13）を備える信号処理部（10）に対する上
記各ユニットの間の結合の強さの係数をバックプロパゲ
ーション学習則に従って上記学習処理部（20）により行
う学習処理装置に本発明を適用したものである。
上記プロセッシング・エレメントPE（0,0）〜PE
（Ｄ−1,N−１）には、第２図に示すように、例えば、I
ntel社によって開発された64ビット、RISCタイプの汎用
マイクロプロセッサ（80860）がそれぞれ用いられ、ニ
ューロン間の結合の重みすなわち結合係数や出力をスト
アするために4MバイトのローカルメモリRAMが設けられ
ている。また、上記垂直リング結合用の各データ転送メ
モリVM(0)〜VM(N-1)及び水平リング結合用の各データ転
送メモリHM(0)〜HM(D-1)としては、FIFO（First in Fir
stout）メモリがそれぞれ用いられている。
（Ｄ−1,N−１）には、第２図に示すように、例えば、I
ntel社によって開発された64ビット、RISCタイプの汎用
マイクロプロセッサ（80860）がそれぞれ用いられ、ニ
ューロン間の結合の重みすなわち結合係数や出力をスト
アするために4MバイトのローカルメモリRAMが設けられ
ている。また、上記垂直リング結合用の各データ転送メ
モリVM(0)〜VM(N-1)及び水平リング結合用の各データ転
送メモリHM(0)〜HM(D-1)としては、FIFO（First in Fir
stout）メモリがそれぞれ用いられている。
そして、上記各プロセッシング・エレメントPE
（0,0）〜PE（Ｄ−1,N−１）は、隣接する４つのプロセ
ッシング・エレメントPEとFIFOによるデータ転送メモリ
VM,HMを介して結合されており、上記データ転送メモリV
M,HMを介して上記隣接する４つのプロセッシング・エレ
メントPEと非同期に通信を行うことができる。
（0,0）〜PE（Ｄ−1,N−１）は、隣接する４つのプロセ
ッシング・エレメントPEとFIFOによるデータ転送メモリ
VM,HMを介して結合されており、上記データ転送メモリV
M,HMを介して上記隣接する４つのプロセッシング・エレ
メントPEと非同期に通信を行うことができる。
上記Ｎ×Ｄ個のプロセッシング・エレメントPE
（0,0）〜PE（Ｄ−1,N−１）をそれぞれ垂直リング結合
用のデータ転送メモリVM(0)〜VM(N-1)と水平リング結合
用の各データ転送メモリHM(0)〜HM(D-1)とを介してメッ
シュ結合してなるこの実施例の学習処理装置において、
その垂直方向のリングは、ネットワークをＮ分割してお
り、その垂直リング内の各プロセッシング・エレメント
PE(0)〜PE(N-1)は異なった結合係数を持ち、上記信号処
理部（10）の中間層（12）の出力値及び逆伝播での上記
中間層（12）の誤差計算の中間結果が転送される。ま
た、水平方向のリングは、入力データをＤグループに分
散させており、その水平リング内の各プロセッシング・
エレメントPE(0)〜PE(D-1)は異なったデータを持ち、全
データの結合係数Wijに対する変化量ΣΔWijと更新され
た結合係数Wijのみが転送される。
（0,0）〜PE（Ｄ−1,N−１）をそれぞれ垂直リング結合
用のデータ転送メモリVM(0)〜VM(N-1)と水平リング結合
用の各データ転送メモリHM(0)〜HM(D-1)とを介してメッ
シュ結合してなるこの実施例の学習処理装置において、
その垂直方向のリングは、ネットワークをＮ分割してお
り、その垂直リング内の各プロセッシング・エレメント
PE(0)〜PE(N-1)は異なった結合係数を持ち、上記信号処
理部（10）の中間層（12）の出力値及び逆伝播での上記
中間層（12）の誤差計算の中間結果が転送される。ま
た、水平方向のリングは、入力データをＤグループに分
散させており、その水平リング内の各プロセッシング・
エレメントPE(0)〜PE(D-1)は異なったデータを持ち、全
データの結合係数Wijに対する変化量ΣΔWijと更新され
た結合係数Wijのみが転送される。
次に、この学習処理装置は、上述の第５図に示した入
力層（11）、中間層（12）及び出力層（13）を備える３
層構造のニューラルネットワークに対して、例えばネッ
トワークを４（Ｎ＝４）分割して、次の処理アルゴリズ
ム（１）〜（12）に従って学習処理を行う。
力層（11）、中間層（12）及び出力層（13）を備える３
層構造のニューラルネットワークに対して、例えばネッ
トワークを４（Ｎ＝４）分割して、次の処理アルゴリズ
ム（１）〜（12）に従って学習処理を行う。
（１） 入力データＩを与えたときの中間層（12）のユ
ニットUjへの入力の総和netjは、 により求める。
ニットUjへの入力の総和netjは、 により求める。
（２） 中間層（12）のユニットUjの出力Hjは、 により求める。
（３） 出力層（13）のユニットUjへの入力は、上記
（１）と同様な積和演算の中間結果netjを第３図の
（t1），（t2），（t3），（t4）に示すように上記垂直
リング上を転送することにより各プロセッシング・エレ
メントPE(0),PE(1),PE(2),PE(3)で求める。
（１）と同様な積和演算の中間結果netjを第３図の
（t1），（t2），（t3），（t4）に示すように上記垂直
リング上を転送することにより各プロセッシング・エレ
メントPE(0),PE(1),PE(2),PE(3)で求める。
（４） 出力層（13）のユニットUjの出力Ojは、上記
（２）と同様に求める。
（２）と同様に求める。
（５） 出力層（13）の誤差値δojは、上記出力層（1
3）のユニットUjの出力Ojと教師信号Tjとから、 δoj＝（Tj−Oj）Oj（１−Oj） により求める。
3）のユニットUjの出力Ojと教師信号Tjとから、 δoj＝（Tj−Oj）Oj（１−Oj） により求める。
（６） 中間層（12）の誤差値δhjは、上記出力層（1
3）の誤差値δojを第４図の（t1），（t2），（t3），
（t4）に示すように上記垂直リング上を転送しながら、
各プロセッシング・エレメントPE(0),PE(1),PE(2),PE
(3)で、 により求める。
3）の誤差値δojを第４図の（t1），（t2），（t3），
（t4）に示すように上記垂直リング上を転送しながら、
各プロセッシング・エレメントPE(0),PE(1),PE(2),PE
(3)で、 により求める。
（７） ｍ番目入力データに対する結合係数の変化量Δ
Wij（ｍ）を各層について ΔWij（ｍ）＝δiOj＋ΔWij（ｍ−１） により求める。
Wij（ｍ）を各層について ΔWij（ｍ）＝δiOj＋ΔWij（ｍ−１） により求める。
ここで、全データ数をADとすると、上記ｍは、ｍ＝1,
・・・,AD/Dである。
・・・,AD/Dである。
（８） 分割された全データに対して（AD/D）回上記
（１）〜（７）の処理を繰り返し行う。
（１）〜（７）の処理を繰り返し行う。
（９） 水平リングを使い、データ分割された結合係数
の総和を求める。
の総和を求める。
（10） 結合係数Wij（ｔ）を更新する。
ここで、ηは学習定数、αは安定化定数、ｔは学習回
数である。
数である。
（11） 水平リングを使い、更新された結合係数W
ij（ｔ）をデータ分割された他のプロセッシング・エレ
メントPEに転送する。
ij（ｔ）をデータ分割された他のプロセッシング・エレ
メントPEに転送する。
（12） 出力層の誤差値が目標値以下になるまで、上記
（１）〜（10）の処理を繰り返し行う。
（１）〜（10）の処理を繰り返し行う。
上述の如き構成の学習処理装置では、例えば入力層が
256ユニット、中間層が80ユニット、出力層が32ユニッ
トで構成される３層構造のニューラルネットにおいて、
5120パターンの学習処理を行う場合、ネットワークを４
（Ｎ＝４）分割し、入力データを32（Ｄ＝32）PEグルー
プに分散して、メッシュ結合された128個のプロセッシ
ング・エレメントに上述の（１）〜（12）の学習処理を
行うバックプロパゲーション学習処理アルゴリズムをマ
ッピングし、各プロセッシング・エレメントを50MHzで
動作させると1GCPSの学習速度が得られる。
256ユニット、中間層が80ユニット、出力層が32ユニッ
トで構成される３層構造のニューラルネットにおいて、
5120パターンの学習処理を行う場合、ネットワークを４
（Ｎ＝４）分割し、入力データを32（Ｄ＝32）PEグルー
プに分散して、メッシュ結合された128個のプロセッシ
ング・エレメントに上述の（１）〜（12）の学習処理を
行うバックプロパゲーション学習処理アルゴリズムをマ
ッピングし、各プロセッシング・エレメントを50MHzで
動作させると1GCPSの学習速度が得られる。
Ｈ 発明の効果 上述のように、本発明に係る学習処理装置では、メッ
シュ結合された各プロセッシング・エレメントが周囲の
４つのプロセッシング・エレメントとの間で非同期にデ
ータの通信を行うことにより、プロセッサとオーバーヘ
ッドを小さく抑えることができる。また、同一プロセッ
シング・エレメントを結合する構成のためシステムの拡
張が容易であり、プロセッシング・エレメント数を多く
することによって、全体の処理能力を向上することがで
きる。
シュ結合された各プロセッシング・エレメントが周囲の
４つのプロセッシング・エレメントとの間で非同期にデ
ータの通信を行うことにより、プロセッサとオーバーヘ
ッドを小さく抑えることができる。また、同一プロセッ
シング・エレメントを結合する構成のためシステムの拡
張が容易であり、プロセッシング・エレメント数を多く
することによって、全体の処理能力を向上することがで
きる。
従って、本発明によれば、多数のプロセッサによる並
列処理によって、ニューラルネットワークに対するバッ
クプロパゲーション学習則に従った結合係数の学習処理
を高速且つ少ないオーバーヘッドで行う学習処理装置を
実現することができる。
列処理によって、ニューラルネットワークに対するバッ
クプロパゲーション学習則に従った結合係数の学習処理
を高速且つ少ないオーバーヘッドで行う学習処理装置を
実現することができる。
第１図は本発明に係る学習処理装置の構成を概念的に示
すブロック図、第２図は上記学習処理装置を構成するプ
ロセッシング・エレメントの構成概念的に示すブロック
図、第３図は上記学習処理装置の垂直リング上の各プロ
セッシング・エレメントによるバックプロパゲーション
学習処理の前向きの学習処理過程における動作説明図、
第４図は、同じく上記垂直リング上の各プロセッシング
・エレメントによるバックプロパゲーション学習処理の
後向きの学習処理過程における動作説明図、第５図は本
発明を適用する３層構造のニーラルネットワークによる
信号処理部を備える学習処理装置の構成を概念的に示す
ブロック図である。 （10）……信号処理部 （11）……入力層 （12）……中間層 （13）……出力層 （20）……学習処理部 PE（0,0）,PE（0,1）〜PE（Ｄ−1,N−１）……プロセッ
シング・エレメント VM（0,0）,VM（0,1）〜VM（Ｄ−1,N−１）……垂直転送
用データ転送メモリ HM（0,0）,HM（0,1）〜HM（Ｄ−1,N−１）……水平転送
用データ転送メモリ
すブロック図、第２図は上記学習処理装置を構成するプ
ロセッシング・エレメントの構成概念的に示すブロック
図、第３図は上記学習処理装置の垂直リング上の各プロ
セッシング・エレメントによるバックプロパゲーション
学習処理の前向きの学習処理過程における動作説明図、
第４図は、同じく上記垂直リング上の各プロセッシング
・エレメントによるバックプロパゲーション学習処理の
後向きの学習処理過程における動作説明図、第５図は本
発明を適用する３層構造のニーラルネットワークによる
信号処理部を備える学習処理装置の構成を概念的に示す
ブロック図である。 （10）……信号処理部 （11）……入力層 （12）……中間層 （13）……出力層 （20）……学習処理部 PE（0,0）,PE（0,1）〜PE（Ｄ−1,N−１）……プロセッ
シング・エレメント VM（0,0）,VM（0,1）〜VM（Ｄ−1,N−１）……垂直転送
用データ転送メモリ HM（0,0）,HM（0,1）〜HM（Ｄ−1,N−１）……水平転送
用データ転送メモリ
───────────────────────────────────────────────────── フロントページの続き (72)発明者 井上 真 東京都品川区北品川６丁目７番35号 ソ ニー株式会社内 (56)参考文献 特開 昭63−245553（ＪＰ，Ａ) 特開 平２−105253（ＪＰ，Ａ) 特開 平２−306365（ＪＰ，Ａ) 特開 昭63−217462（ＪＰ，Ａ) 特開 平１−88767（ＪＰ，Ａ) 特開 平１−189755（ＪＰ，Ａ) Ｔ．Ｗａｔａｎａｂｅ ｅｔ．ａ ｌ．，Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｓｉｍｕｌａｔｉｏｎ ｏｎ ａ Ｍａ ｓｓｉｖｅｌｙ Ｐａｒａｌｌｅｌ Ｃ ｅｌｌｕｌａｒ Ａｒｒａｙ Ｐｒｏｃ ｅｓｓｏｒ：ＡＡＰ−２，Ｉｎｔｅｒｎ ａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆ ｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｎ ｅｔｗｏｒｋｓ（ＩＪＣＮＮ−89），Ｖ ｏｌ．▲ＩＩ▼，ｐ．▲ＩＩ▼−155− ｐ．▲ＩＩ▼−161 (58)調査した分野(Int.Cl.7，ＤＢ名) G06N 3/00 - 3/10 G06F 15/16 - 15/177 ＪＩＣＳＴファイル（ＪＯＩＳ)
Claims (1)
- 【請求項１】それぞれニューロンに対応する信号処理を
行う複数のユニットにより構成された入力層、中間層お
よび出力層を備える信号処理部と、上記入力層に入力さ
れる入力信号パターンに対する上記出力層の出力値と教
師信号として与えられる所望の出力値との誤差情報に基
づいて上記各ユニットの間の結合の強さの係数を上記出
力層側から上記入力層側に向かって順次に繰り返し計算
し、上記結合の強さの係数の学習処理を行う学習処理部
とを備える学習処理装置において、 上記信号処理部として、それぞれ垂直リング結合用のデ
ータ転送メモリと水平リング結合用のデータ転送メモリ
とを介してメッシュ結合されたＮ×Ｄ個のプロセッシン
グ・エレメントを備え、 上記学習処理部は、ネットワークをＮ分割し、入力デー
タをＤグループに分散させて、上記メッシュ結合された
Ｎ×Ｄ個のプロセッシング・エレメントに学習処理アル
ゴリズムをマッピングして、上記メッシュ結合されたＮ
×Ｄ個のプロセッシング・エレメントによる演算結果を
垂直リングと水平リングを介して転送し、重み更新時に
必要な重み変化量の総和を複数の水平リングにより求
め、上記各ユニットの間の結合の強さの係数の学習処理
を行うことを特徴とする学習処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26148689A JP3271186B2 (ja) | 1989-10-06 | 1989-10-06 | 学習処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26148689A JP3271186B2 (ja) | 1989-10-06 | 1989-10-06 | 学習処理装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH03123959A JPH03123959A (ja) | 1991-05-27 |
| JP3271186B2 true JP3271186B2 (ja) | 2002-04-02 |
Family
ID=17362579
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26148689A Expired - Fee Related JP3271186B2 (ja) | 1989-10-06 | 1989-10-06 | 学習処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3271186B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11907826B2 (en) | 2017-03-23 | 2024-02-20 | Samsung Electronics Co., Ltd | Electronic apparatus for operating machine learning and method for operating machine learning |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109961135B (zh) * | 2017-12-14 | 2020-06-23 | 中科寒武纪科技股份有限公司 | 集成电路芯片装置及相关产品 |
-
1989
- 1989-10-06 JP JP26148689A patent/JP3271186B2/ja not_active Expired - Fee Related
Non-Patent Citations (1)
| Title |
|---|
| Ｔ．Ｗａｔａｎａｂｅ ｅｔ．ａｌ．，Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ Ｓｉｍｕｌａｔｉｏｎ ｏｎ ａ Ｍａｓｓｉｖｅｌｙ Ｐａｒａｌｌｅｌ Ｃｅｌｌｕｌａｒ Ａｒｒａｙ Ｐｒｏｃｅｓｓｏｒ：ＡＡＰ−２，Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｉｎｔ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ（ＩＪＣＮＮ−８９），Ｖｏｌ．▲ＩＩ▼，ｐ．▲ＩＩ▼−１５５−ｐ．▲ＩＩ▼−１６１ |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11907826B2 (en) | 2017-03-23 | 2024-02-20 | Samsung Electronics Co., Ltd | Electronic apparatus for operating machine learning and method for operating machine learning |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH03123959A (ja) | 1991-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2663996B2 (ja) | ニューラル・ネットワーク用の仮想ニューロコンピュータ・アーキテクチュア | |
| CN112529166A (zh) | 融合神经元模型、神经网络结构及训练、推理方法、存储介质和设备 | |
| JPH0713949A (ja) | ニューラルネットワークおよびその使用方法 | |
| WO1993000655A1 (en) | Sparse comparison neural network | |
| JPH04290155A (ja) | 並列データ処理方式 | |
| JP2001188767A (ja) | ニューラルネットワーク演算装置及びニューラルネットワークの演算方法 | |
| US5535309A (en) | Single layer neural network circuit for performing linearly separable and non-linearly separable logical operations | |
| Wu et al. | Parallelizing the self-organizing feature map on multiprocessor systems | |
| US5491776A (en) | Signal processing apparatus and learning method therefor | |
| US20040019469A1 (en) | Method of generating a multifidelity model of a system | |
| JP2810170B2 (ja) | 多層型ネットワークの学習装置 | |
| JP3271186B2 (ja) | 学習処理装置 | |
| JPH076146A (ja) | 並列データ処理システム | |
| JPH07210534A (ja) | ニューラルネットワーク | |
| Kuroe et al. | A learning method of nonlinear mappings by neural networks with considering their derivatives | |
| Sudhakar et al. | Efficient mapping of backpropagation algorithm onto a network of workstations | |
| JPH06110864A (ja) | 学習処理装置 | |
| JP2699447B2 (ja) | 信号処理装置 | |
| Wan et al. | Introducing cost-sensitive neural networks | |
| Krikelis et al. | Implementing neural networks with the associative string processor | |
| Maria et al. | 1d and 2d systolic implementations for radial basis function networks | |
| Oglesby et al. | Dynamic scheduling for feed-forward neural nets using transputers | |
| JP3137996B2 (ja) | メンバシップ関数を用いたニューラルネットワーク及びその学習方式 | |
| Papadrakakis et al. | Computationally efficient techniques for structural optimization | |
| d’Acierno et al. | A parallel implementation of the back-propagation of errors learning algorithm on a SIMD parallel computer |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |