JPH02266458A - ニューラルネットワークシミュレーション装置 - Google Patents
ニューラルネットワークシミュレーション装置Info
- Publication number
- JPH02266458A JPH02266458A JP1085829A JP8582989A JPH02266458A JP H02266458 A JPH02266458 A JP H02266458A JP 1085829 A JP1085829 A JP 1085829A JP 8582989 A JP8582989 A JP 8582989A JP H02266458 A JPH02266458 A JP H02266458A
- Authority
- JP
- Japan
- Prior art keywords
- partial
- vector
- vectors
- output
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004088 simulation Methods 0.000 title claims abstract description 31
- 238000013528 artificial neural network Methods 0.000 title claims description 18
- 238000012545 processing Methods 0.000 claims abstract description 73
- 239000013598 vector Substances 0.000 claims abstract description 73
- 239000011159 matrix material Substances 0.000 claims abstract description 27
- 238000012546 transfer Methods 0.000 claims abstract description 21
- 238000000034 method Methods 0.000 claims description 40
- 230000008569 process Effects 0.000 claims description 27
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012937 correction Methods 0.000 claims description 8
- 238000013404 process transfer Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- GVBNSPFBYXGREE-UHFFFAOYSA-N Visnadine Natural products C1=CC(=O)OC2=C1C=CC1=C2C(OC(C)=O)C(OC(=O)C(C)CC)C(C)(C)O1 GVBNSPFBYXGREE-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は高速かつ汎用性のあるニューラルネットワーク
シミュレーション装置に関する。
シミュレーション装置に関する。
従来、多層ニューラルネットワークの逆伝播学習則のシ
ミュレーション方式としては、汎用計算機によるシミュ
レーション方式、ベクトル計算機やスーパーコンピュー
タの高速なベクトル演算機能をシミュレーションに必要
な行列演算に利用したシミュレーション方式、バス結合
された複数の処理装置に部分重み行列をνＩり当て各処
理装置で部分重み行列の演算を並列に行うシミュレーシ
ョン方式、１次元の処理装置配列を用い各処理装置にそ
れぞれ異なる学習サンプルを割り当て並列にシミュレー
ションを行った後各処理装置で計算された重み行列の修
正値を累算するシミュレーション方式等が知られている
。
ミュレーション方式としては、汎用計算機によるシミュ
レーション方式、ベクトル計算機やスーパーコンピュー
タの高速なベクトル演算機能をシミュレーションに必要
な行列演算に利用したシミュレーション方式、バス結合
された複数の処理装置に部分重み行列をνＩり当て各処
理装置で部分重み行列の演算を並列に行うシミュレーシ
ョン方式、１次元の処理装置配列を用い各処理装置にそ
れぞれ異なる学習サンプルを割り当て並列にシミュレー
ションを行った後各処理装置で計算された重み行列の修
正値を累算するシミュレーション方式等が知られている
。
〔発明が解決しようとする課題〕
上述した従来のシミュレーション方式にあっては以下の
欠点がある。
欠点がある。
（イ）汎用計算機によるシミュレーション方式では、ニ
ューラルネットワークの持つ並列性を引き出せず、高速
化が困難であった。
ューラルネットワークの持つ並列性を引き出せず、高速
化が困難であった。
（ロ）ベクトル計算機や、スーパーコンピュータによる
シミュレーション方式では、高速なシミュレーションが
可能であるが、装置が大がかりで高価になる。
シミュレーション方式では、高速なシミュレーションが
可能であるが、装置が大がかりで高価になる。
（ハ）バス結合された複数の処理装置によるシミュレー
ション方式では、複数処理装置による並列処理を行える
が、バス結合のため、バスのデータ転送能力により全体
の性能゛が抑えられてしまう。
ション方式では、複数処理装置による並列処理を行える
が、バス結合のため、バスのデータ転送能力により全体
の性能゛が抑えられてしまう。
（ニ）１次元の処理装置配列によるシミュレーション方
式では、複数の学習サンプル毎の重み行列の修正しかで
きないため、逆伝播学習則の最急降下アルゴリズムと確
率的降下アルゴリズムのうち最急降下アルゴリズムにし
か対応できない。
式では、複数の学習サンプル毎の重み行列の修正しかで
きないため、逆伝播学習則の最急降下アルゴリズムと確
率的降下アルゴリズムのうち最急降下アルゴリズムにし
か対応できない。
本発明の目的は、上記課題を解決し、多層ニューラルネ
ットワークの逆伝播学習則による高速かつ汎用性のある
ニューラルネットワークシミュレーション装置を提供す
ることにある。
ットワークの逆伝播学習則による高速かつ汎用性のある
ニューラルネットワークシミュレーション装置を提供す
ることにある。
本発明は、Ｐ行Ｐ列の２次元正方格子状に配置したＰ×
Ｐ台の処理装置で構成され、多層ニューラルネットワー
クの各層間のリンクの重みを行列表現し、各層のノード
の出力値と誤差信号をベクトル表現し、順方向出力伝播
過程、逆方向誤差伝播過程及び重み修正過程からなる逆
伝播学習則を行うニューラルネットワークシミュレーシ
ョン装置であって、 前記処理装置は、記憶装置と、数値演算装置と、上下左
右の４近傍の処理装置とのデータ転送手段と、記憶装置
、数値演算装置及びデータ転送手段を制御する制御装置
とを備えてなり、かつ重み行列をＰ×Ｐ分割した部分重
み行列を記憶装置に保持するものであり、またこれら処
理装置のうち２次元正方格子の対角要素に位置する処理
装置は、出力値ベクトルと誤差ベクトルをＰ分割した部
分ベクトルを記憶装置に保持するものであり、前記順方
向出力伝播過程は、前記対角処理装置から縦方向に部分
出力ベクトルを転送し、他の処理装置が転送された部分
出力ベクトルと部分重み行列の部分積ベクトルを計算し
、対角処理装置へ横方向に部分積ベクトルを累算するこ
とによりなされるものであり、 前記逆方向誤差伝播過程は、対角処理装置から横方向に
部分誤差ベクトルを転送し、他の処理装置が転送された
部分誤差ベクトルと部分重み行列の部分積ベクトルを計
算し、対角処理装置へ根方向に部分積ベクトルを累算す
ることによりなされるものであり、 前記重み更新過程は、対角処理装置から横方向に部分誤
差ベクトルを転送し、対角処理装置から横方向に部分出
力ベクトルを転送し、転送された部分誤差ベクトルと転
送された出力ベクトルとから部分重み行列を更新するこ
とによりなされるものであることを特徴とする。
Ｐ台の処理装置で構成され、多層ニューラルネットワー
クの各層間のリンクの重みを行列表現し、各層のノード
の出力値と誤差信号をベクトル表現し、順方向出力伝播
過程、逆方向誤差伝播過程及び重み修正過程からなる逆
伝播学習則を行うニューラルネットワークシミュレーシ
ョン装置であって、 前記処理装置は、記憶装置と、数値演算装置と、上下左
右の４近傍の処理装置とのデータ転送手段と、記憶装置
、数値演算装置及びデータ転送手段を制御する制御装置
とを備えてなり、かつ重み行列をＰ×Ｐ分割した部分重
み行列を記憶装置に保持するものであり、またこれら処
理装置のうち２次元正方格子の対角要素に位置する処理
装置は、出力値ベクトルと誤差ベクトルをＰ分割した部
分ベクトルを記憶装置に保持するものであり、前記順方
向出力伝播過程は、前記対角処理装置から縦方向に部分
出力ベクトルを転送し、他の処理装置が転送された部分
出力ベクトルと部分重み行列の部分積ベクトルを計算し
、対角処理装置へ横方向に部分積ベクトルを累算するこ
とによりなされるものであり、 前記逆方向誤差伝播過程は、対角処理装置から横方向に
部分誤差ベクトルを転送し、他の処理装置が転送された
部分誤差ベクトルと部分重み行列の部分積ベクトルを計
算し、対角処理装置へ根方向に部分積ベクトルを累算す
ることによりなされるものであり、 前記重み更新過程は、対角処理装置から横方向に部分誤
差ベクトルを転送し、対角処理装置から横方向に部分出
力ベクトルを転送し、転送された部分誤差ベクトルと転
送された出力ベクトルとから部分重み行列を更新するこ
とによりなされるものであることを特徴とする。
Ｃ作用〕
本発明のニューラル名ットヮークシミュレーシコン装置
においては、重み行列、出力ベクトル及び誤差ベクトル
を部分行列と部分ベクトルに分割し、Ｐ（Ｐは１以上の
整数）行Ｐ列の２次元正方格子状に配置したＰ×Ｐ台の
処理装置により並列に部分行列と部分ベクトルの演算を
実行する。
においては、重み行列、出力ベクトル及び誤差ベクトル
を部分行列と部分ベクトルに分割し、Ｐ（Ｐは１以上の
整数）行Ｐ列の２次元正方格子状に配置したＰ×Ｐ台の
処理装置により並列に部分行列と部分ベクトルの演算を
実行する。
各処理装置は格子状に配置され上下左右の４近傍に隣接
する処理装置とデータ転送が可能である。
する処理装置とデータ転送が可能である。
対角処理装置から部分出力ベクトルと部分誤差ベクトル
の縦方向及び横方向の各処理装置への転送は隣接する処
理装置間のデータ転送手段を用いてパイプライン的に実
行しデータ転送を高速化する。
の縦方向及び横方向の各処理装置への転送は隣接する処
理装置間のデータ転送手段を用いてパイプライン的に実
行しデータ転送を高速化する。
以上の複数処理装置による並列処理と処理装置間の効率
的なデータ転送により高速なシミュレーションを行うこ
とができる。
的なデータ転送により高速なシミュレーションを行うこ
とができる。
本発明の実施例について図面を参照して説明する。
第１図は本発明の一実施例に係るニューラルネントワー
クシミュレーション装置の全体構成図である。
クシミュレーション装置の全体構成図である。
図によれば、処理装置１ （ＰＥ）をＰ行Ｐ列に配置し
、各列毎データ転送路２でループ接続しかつ各行毎デー
タ転送路２でループ接続した構成となっている。従って
各処理装置１には上下左右の隣接する４個の処理装置１
が接続されている。
、各列毎データ転送路２でループ接続しかつ各行毎デー
タ転送路２でループ接続した構成となっている。従って
各処理装置１には上下左右の隣接する４個の処理装置１
が接続されている。
各処理装置１は、第２図に示すように、数値演算装置３
と、記憶装置４と、隣接する４つの処理装置と通信をす
るための通信装置５と、これらの装置３，４．５間でデ
ータ転送を行うための内部データ通信路６と、制御装置
７とにより構成されている。
と、記憶装置４と、隣接する４つの処理装置と通信をす
るための通信装置５と、これらの装置３，４．５間でデ
ータ転送を行うための内部データ通信路６と、制御装置
７とにより構成されている。
第３図は多層ニューラルネットワークの逆伝播学習則の
説明図である。
説明図である。
ニューラルネットワークはＬ層から構成され、第１Ｎを
入力層、第り層を出力層とする。
入力層、第り層を出力層とする。
図において、Ｘ＋″（ｊ）は第Ｎ層のｊ番目のノードの
出力値であり第Ｎ層の出力ベクトルの成分を示す。δ’
（Ｄはそのノードの誤差であり誤差ベクトルの成分を示
す。θ′４Ｎ）はその闇値ベクトルの成分、ΔθＮ（ｊ
）は闇値の修正値ベクトルの成分である。またＷＮ″１
・Ｎ（ｉ、ｊ）は第Ｎ層のｊ番目のノードから第Ｎ＋１
層のｉ番目のノードをつなぐリンクの重みであり重み行
列の成分を示す。△Ｗｌ′″”（ｉ、ｊ）はその修正値
行列の成分である。
出力値であり第Ｎ層の出力ベクトルの成分を示す。δ’
（Ｄはそのノードの誤差であり誤差ベクトルの成分を示
す。θ′４Ｎ）はその闇値ベクトルの成分、ΔθＮ（ｊ
）は闇値の修正値ベクトルの成分である。またＷＮ″１
・Ｎ（ｉ、ｊ）は第Ｎ層のｊ番目のノードから第Ｎ＋１
層のｉ番目のノードをつなぐリンクの重みであり重み行
列の成分を示す。△Ｗｌ′″”（ｉ、ｊ）はその修正値
行列の成分である。
ここで、順方向出力伝播過程、即ち、第Ｎ層から第Ｎ＋
１層にノードの出力値を前向きに伝播する過程は、次式
に従う。
１層にノードの出力値を前向きに伝播する過程は、次式
に従う。
％式％（）
但し、ｆ （Ｘ）は出力関数で、シグモイド関数ｆ （
Ｘ）＝１／１＋ｅ−Ｘ が用いられる。Ｉ （ｋ）は人力層のに番目のノード
の入力値であり入力ベクトルの成分である。
Ｘ）＝１／１＋ｅ−Ｘ が用いられる。Ｉ （ｋ）は人力層のに番目のノード
の入力値であり入力ベクトルの成分である。
逆方向誤差伝播過程、即ち、第Ｎ±１層から第Ｎ層ヘノ
ードδ値（誤差）を後向きに伝播する過程は、次式に従
う。
ードδ値（誤差）を後向きに伝播する過程は、次式に従
う。
％式％（）
（１−ＸＨ（ｊ））であり、ｔは今回の後向き伝播訓練
が何回目の訓練であるかを示す整数、δＬ（ｋ）は出力
層のに番目のノードの誤差ベクトル、Ｘ’（ｋ）はその
出力ベクトルの成分、Ｔ （ｋ）はその教師ベクトルの
成分である。
が何回目の訓練であるかを示す整数、δＬ（ｋ）は出力
層のに番目のノードの誤差ベクトル、Ｘ’（ｋ）はその
出力ベクトルの成分、Ｔ （ｋ）はその教師ベクトルの
成分である。
重み修正過程、即ち、ノードの出力値とδ値とから重み
を更新する過程は、次式に従う。
を更新する過程は、次式に従う。
％式％（）
＋７６ｗ”’・’（ｉ、 ｊ）
＝ηδＨ″’ （ｉ） ＋αΔθド’ （ｉ）但
し、ηとαは正定数である。
し、ηとαは正定数である。
第４図は行列ＷとベクトルＸの乗算を複数の部分行列と
部分ベクトルの乗算で行う方法の説明図である。本図は
Ｐ−２の場合において行列Ｗを２×２の４分割にしかつ
ベクトルＸを２分割したものである。ｙｌ、ｙ２．ｘｉ
、ｘ２は部分ベクトル、ｗｌｌ−ｗ２２は°部分行列で
ある。部分積ｙｌｌ〜ｙ２２を計算した後に部分積同士
の加算をすることによりｙｌとｙ２を求めることができ
る。
部分ベクトルの乗算で行う方法の説明図である。本図は
Ｐ−２の場合において行列Ｗを２×２の４分割にしかつ
ベクトルＸを２分割したものである。ｙｌ、ｙ２．ｘｉ
、ｘ２は部分ベクトル、ｗｌｌ−ｗ２２は°部分行列で
ある。部分積ｙｌｌ〜ｙ２２を計算した後に部分積同士
の加算をすることによりｙｌとｙ２を求めることができ
る。
本シミュレーション装置ではシミュレーションの大きな
部分を占める行列演算を以上の様に部分行列の演算に分
割し複数の処理装置で並列処理することにより高速なシ
ミュレーションを実現する。
部分を占める行列演算を以上の様に部分行列の演算に分
割し複数の処理装置で並列処理することにより高速なシ
ミュレーションを実現する。
第５図はＰ＝４とした場合の全体の構成図を筒略化した
ものである。以下ではこの構成で順方向出力伝播過程、
逆方向誤差伝播過程及び重み修正過程がどのように実行
されるかを詳細に述べる。
ものである。以下ではこの構成で順方向出力伝播過程、
逆方向誤差伝播過程及び重み修正過程がどのように実行
されるかを詳細に述べる。
各処理装置ＰＥ１ｊ （ｉ、ｊ−１〜Ｐ）は重み行列Ｗ
Ｎ″ｌ＋Ｎ１重み修正行列△ＷＮ″トドを列方向にＰ分
割、行方向にＰ分割した部分行列Ｗ Ｎ Ｉ Ｉ ＋
Ｎｉｊ、ΔＷ）ｌ″Ｉ、）ＩｉＪを保持している（以下
ではＭｉｊは行列Ｍの第ｉｊ要素ではなく第ｉｊ部分行
列を表すことにする（第４図参照）。
Ｎ″ｌ＋Ｎ１重み修正行列△ＷＮ″トドを列方向にＰ分
割、行方向にＰ分割した部分行列Ｗ Ｎ Ｉ Ｉ ＋
Ｎｉｊ、ΔＷ）ｌ″Ｉ、）ＩｉＪを保持している（以下
ではＭｉｊは行列Ｍの第ｉｊ要素ではなく第ｉｊ部分行
列を表すことにする（第４図参照）。
また各対角処理装置ＰＥ１ｉは出力ベクトルＸＮ、誤差
ベクトルδ８．闇値ベクトルθ８．闇値修正ベクトルΔ
θドをＰ分割した部分ベクトルＸＮｉ、 δＮｉ、θ
Ｍ＋、ΔθＮｉを保持する（ＶｉはベクトルＶの第ｉ要
素ではなく第１部分ベクトルを表すこととする（第４図
参照））。
ベクトルδ８．闇値ベクトルθ８．闇値修正ベクトルΔ
θドをＰ分割した部分ベクトルＸＮｉ、 δＮｉ、θ
Ｍ＋、ΔθＮｉを保持する（ＶｉはベクトルＶの第ｉ要
素ではなく第１部分ベクトルを表すこととする（第４図
参照））。
第６図は順方向出力伝播過程がどのように行われるかを
示したものである。まず対角処理装置ＰＥ、、が部分出
力ベクトルＸ Ｎ Ｊを縦方向に（ＰＥｌｊ−ＰＥ４ｊ
に）転送する（第６図（ａ））。
示したものである。まず対角処理装置ＰＥ、、が部分出
力ベクトルＸ Ｎ Ｊを縦方向に（ＰＥｌｊ−ＰＥ４ｊ
に）転送する（第６図（ａ））。
次に各処理装置ＰＥ１ｊは次の部分積
ｎ ｅ ｔ Ｘ” ｒ ｊ ＝Ｗ””ｉ ｊ −Ｘ’ｊ
を並列に計算する（第６図（ｂ））。次に部分積ｎｅＬ
Ｘ’″Ｉ Ｉ Ｊを横方向に伝播し結果を対角処理装置
ＰＥ１ｉに累算する（第６図（Ｃ））。
を並列に計算する（第６図（ｂ））。次に部分積ｎｅＬ
Ｘ’″Ｉ Ｉ Ｊを横方向に伝播し結果を対角処理装置
ＰＥ１ｉに累算する（第６図（Ｃ））。
ｎｅｔＸ”’ｉ’ −ΣｎｅＬＸ”’ｉｊ対角処理装置
ＰＥ１ｉは累算された部分積ｎｅｔＸＮ″ｉ′から闇値
を減算し最終的なｎ ｅ ｔ ＸＮ″１ｊを計算し、出
力関数ｆを適用して出力ＸＳ″１を求める。
ＰＥ１ｉは累算された部分積ｎｅｔＸＮ″ｉ′から闇値
を減算し最終的なｎ ｅ ｔ ＸＮ″１ｊを計算し、出
力関数ｆを適用して出力ＸＳ″１を求める。
ｎｅＬＸ’″’１＝ｎｅｔＸＮ″ｌｉｔ −θＮｉ１Ｘ
”’ｉ −ｆ （ｎｅｔＸ”’ｉ）第７図は逆
方向誤差伝播過程の説明図である。
”’ｉ −ｆ （ｎｅｔＸ”’ｉ）第７図は逆
方向誤差伝播過程の説明図である。
ここでは順方向出力伝播過程と同様な処理を行うため重
複記載を省略する。
複記載を省略する。
第８図に重み修正過程を示す。各処理装置ＰＥ１ｊはΔ
Ｗ ’ ” ’”Ｎｉ Ｊを更新するために部分誤差ベ
クトルδ９゛１１と部分出力ベクトルＸ Ｎ Ｊを必要
とする。このため対角処理装置からδｓ＋＋ ｉを横方
向に転送しく第８図（ａ））、次にχＮＪを縦方向に転
送する（第８図（ｂ））。その後各処理装置ＰＥ１ｊは
ΔＷＮ″１・ＮｉｊとＷＮ”・Ｎｉ Ｊを並列に更新す
る。このとき対角処理袋Ｗ Ｐ Ｅ ｉ ｉはθ８゛１
とΔθ８゛１の更新も行う（第８図（Ｃ））。
Ｗ ’ ” ’”Ｎｉ Ｊを更新するために部分誤差ベ
クトルδ９゛１１と部分出力ベクトルＸ Ｎ Ｊを必要
とする。このため対角処理装置からδｓ＋＋ ｉを横方
向に転送しく第８図（ａ））、次にχＮＪを縦方向に転
送する（第８図（ｂ））。その後各処理装置ＰＥ１ｊは
ΔＷＮ″１・ＮｉｊとＷＮ”・Ｎｉ Ｊを並列に更新す
る。このとき対角処理袋Ｗ Ｐ Ｅ ｉ ｉはθ８゛１
とΔθ８゛１の更新も行う（第８図（Ｃ））。
以上のように本発明のニューラルネントワークシミュレ
ーション装置においては、重み行列、出力ベクトル、誤
差ベクトルを部分行列と部分ベクトルに分割しＰ行Ｐ列
の２次元正方格子状に配置したＰ×Ｐ台の処理装置によ
り並列に部分行列と部分ベクトルの演算を実行するため
以下の効果かある。
ーション装置においては、重み行列、出力ベクトル、誤
差ベクトルを部分行列と部分ベクトルに分割しＰ行Ｐ列
の２次元正方格子状に配置したＰ×Ｐ台の処理装置によ
り並列に部分行列と部分ベクトルの演算を実行するため
以下の効果かある。
（イ）各処理装置は格子状に配置され」二下左右の４近
傍に隣接する処理装置とデータ転送か可能である。
傍に隣接する処理装置とデータ転送か可能である。
（ロ）対角処理装置から部分出力ベクトル、部分誤差ベ
クトルの縦方向、横方向の各処理装置への転送は隣接す
る処理装置間のデータ転送手段を用いてバイブライン的
に実行しデータ転送を高速化する。
クトルの縦方向、横方向の各処理装置への転送は隣接す
る処理装置間のデータ転送手段を用いてバイブライン的
に実行しデータ転送を高速化する。
（ハ）以上の複数処理装置による並列処理と処理装置間
の効率的なデータ転送により高速なシミュレーションを
実現する。
の効率的なデータ転送により高速なシミュレーションを
実現する。
第１図は本発明の一実施例に係るニューラルネットワー
クシミュレーション装置を示す全体構成図、 第２図は第１図の装置に用いられる処理装置のブロック
図、 第３図は多層ニューラルネットワークの逆伝播学習則の
説明図、 第４図は行列ＷとベクトルＸの乗算を複数の部分行列と
部分ベクトルの乗算で行う方法の説明図、第５図はＰ＝
４とした場合の全体構成簡略図、第６図（ａ）〜（ｃ）
は順方向出力伝播過程の説明図、 第７図（ａ）〜（ｃ）は逆方向誤差伝播過程の説明図、 第８図（ａ）〜（ｃ）は重み修正過程の説明図である。
クシミュレーション装置を示す全体構成図、 第２図は第１図の装置に用いられる処理装置のブロック
図、 第３図は多層ニューラルネットワークの逆伝播学習則の
説明図、 第４図は行列ＷとベクトルＸの乗算を複数の部分行列と
部分ベクトルの乗算で行う方法の説明図、第５図はＰ＝
４とした場合の全体構成簡略図、第６図（ａ）〜（ｃ）
は順方向出力伝播過程の説明図、 第７図（ａ）〜（ｃ）は逆方向誤差伝播過程の説明図、 第８図（ａ）〜（ｃ）は重み修正過程の説明図である。
Claims (1)
- （１）Ｐ行Ｐ列の２次元正方格子状に配置したＰ×Ｐ台
の処理装置で構成され、多層ニューラルネットワークの
各層間のリンクの重みを行列表現し、各層のノードの出
力値と誤差信号をベクトル表現し、順方向出力伝播過程
，逆方向誤差伝播過程及び重み修正過程からなる逆伝播
学習則を行うニューラルネットワークシミュレーション
装置であって、 前記処理装置は、記憶装置と、数値演算装置と、上下左
右の４近傍の処理装置とのデータ転送手段と、記憶装置
，数値演算装置及びデータ転送手段を制御する制御装置
とを備えてなり、かつ重み行列をＰ×Ｐ分割した部分重
み行列を記憶装置に保持するものであり、またこれら処
理装置のうち２次元正方格子の対角要素に位置する処理
装置は、出力値ベクトルと誤差ベクトルをＰ分割した部
分ベクトルを記憶装置に保持するものであり、前記順方
向出力伝播過程は、前記対角処理装置から縦方向に部分
出力ベクトルを転送し、他の処理装置が転送された部分
出力ベクトルと部分重み行列の部分積ベクトルを計算し
、対角処理装置へ横方向に部分積ベクトルを累算するこ
とによりなされるものであり、 前記逆方向誤差伝播過程は、対角処理装置から横方向に
部分誤差ベクトルを転送し、他の処理装置が転送された
部分誤差ベクトルと部分重み行列の部分積ベクトルを計
算し、対角処理装置へ縦方向に部分積ベクトルを累算す
ることによりなされるものであり、 前記重み更新過程は、対角処理装置から横方向に部分誤
差ベクトルを転送し、対角処理装置から横方向に部分出
力ベクトルを転送し、転送された部分誤差ベクトルと転
送された出力ベクトルとから部分重み行列を更新するこ
とによりなされるものであることを特徴とするニューラ
ルネットワークシミュレーション装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1085829A JPH02266458A (ja) | 1989-04-06 | 1989-04-06 | ニューラルネットワークシミュレーション装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1085829A JPH02266458A (ja) | 1989-04-06 | 1989-04-06 | ニューラルネットワークシミュレーション装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH02266458A true JPH02266458A (ja) | 1990-10-31 |
Family
ID=13869740
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1085829A Pending JPH02266458A (ja) | 1989-04-06 | 1989-04-06 | ニューラルネットワークシミュレーション装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH02266458A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5315701A (en) * | 1992-08-07 | 1994-05-24 | International Business Machines Corporation | Method and system for processing graphics data streams utilizing scalable processing nodes |
| US6466924B1 (en) | 1997-12-02 | 2002-10-15 | Denso Corporation | Verification method of neural network and verification apparatus thereof |
| JP2009199430A (ja) * | 2008-02-22 | 2009-09-03 | Fujitsu Ltd | ベクトル積の並列処理方法 |
| WO2020246598A1 (ja) * | 2019-06-07 | 2020-12-10 | 国立研究開発法人理化学研究所 | 演算装置、演算方法、および演算プログラム |
| JP2021508125A (ja) * | 2017-12-29 | 2021-02-25 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 行列乗算器 |
| JP2022554371A (ja) * | 2019-11-07 | 2022-12-28 | 清華大学 | メモリスタに基づくニューラルネットワークの並列加速方法およびプロセッサ、装置 |
-
1989
- 1989-04-06 JP JP1085829A patent/JPH02266458A/ja active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5315701A (en) * | 1992-08-07 | 1994-05-24 | International Business Machines Corporation | Method and system for processing graphics data streams utilizing scalable processing nodes |
| US6466924B1 (en) | 1997-12-02 | 2002-10-15 | Denso Corporation | Verification method of neural network and verification apparatus thereof |
| JP2009199430A (ja) * | 2008-02-22 | 2009-09-03 | Fujitsu Ltd | ベクトル積の並列処理方法 |
| JP2021508125A (ja) * | 2017-12-29 | 2021-02-25 | ホアウェイ・テクノロジーズ・カンパニー・リミテッド | 行列乗算器 |
| US11334648B2 (en) | 2017-12-29 | 2022-05-17 | Huawei Technologies Co., Ltd. | Matrix multiplier |
| US11934481B2 (en) | 2017-12-29 | 2024-03-19 | Huawei Technologies Co., Ltd. | Matrix multiplier |
| WO2020246598A1 (ja) * | 2019-06-07 | 2020-12-10 | 国立研究開発法人理化学研究所 | 演算装置、演算方法、および演算プログラム |
| JP2020201659A (ja) * | 2019-06-07 | 2020-12-17 | 国立研究開発法人理化学研究所 | 演算装置、演算方法、および演算プログラム |
| JP2022554371A (ja) * | 2019-11-07 | 2022-12-28 | 清華大学 | メモリスタに基づくニューラルネットワークの並列加速方法およびプロセッサ、装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107578098B (zh) | 基于脉动阵列的神经网络处理器 | |
| US10650301B2 (en) | Utilizing a distributed and parallel set of neurosynaptic core circuits for neuronal computation and non-neuronal computation | |
| JP2663996B2 (ja) | ニューラル・ネットワーク用の仮想ニューロコンピュータ・アーキテクチュア | |
| US5170463A (en) | Neuro-computer | |
| JPH04290155A (ja) | 並列データ処理方式 | |
| US5228113A (en) | Accelerated training apparatus for back propagation networks | |
| Meng et al. | Accelerating proximal policy optimization on cpu-fpga heterogeneous platforms | |
| Bilski et al. | Parallel realisation of the recurrent multi layer perceptron learning | |
| Wu et al. | Parallelizing the self-organizing feature map on multiprocessor systems | |
| US11709520B2 (en) | Path-number-balanced universal photonic network | |
| JPH02266458A (ja) | ニューラルネットワークシミュレーション装置 | |
| Malluhi et al. | Efficient mapping of ANNs on hypercube massively parallel machines | |
| Rogers et al. | Parallel Processing in a control systems environment | |
| JPH076146A (ja) | 並列データ処理システム | |
| JP2825133B2 (ja) | 並列データ処理方式 | |
| Ayoubi et al. | Efficient mapping algorithm of multilayer neural network on torus architecture | |
| JP2766858B2 (ja) | ニューラルネットワーク並列シミュレーション方法及びそれに用いる装置 | |
| Shams et al. | Parallel implementations of neural networks | |
| Amin et al. | Parallel backpropagation neural network training techniques using graphics processing unit | |
| JPH06110864A (ja) | 学習処理装置 | |
| Kumar et al. | Algorithmic mapping of neural network models onto parallel SIMD machines | |
| Fujimoto | An enhanced parallel planar lattice architecture for large scale neural network simulations | |
| JP3271186B2 (ja) | 学習処理装置 | |
| Krikelis et al. | Implementing neural networks with the associative string processor | |
| Song et al. | Implementation of two-dimensional systolic algorithms for multi-layered neural networks |