JPH06110864A - 学習処理装置 - Google Patents
学習処理装置Info
- Publication number
- JPH06110864A JPH06110864A JP4285349A JP28534992A JPH06110864A JP H06110864 A JPH06110864 A JP H06110864A JP 4285349 A JP4285349 A JP 4285349A JP 28534992 A JP28534992 A JP 28534992A JP H06110864 A JPH06110864 A JP H06110864A
- Authority
- JP
- Japan
- Prior art keywords
- output
- learning
- learning processing
- calculation
- switching means
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Multi Processors (AREA)
Abstract
(57)【要約】
【構成】 ２次元メッシュのトーラス結合構造を有する
ローカル結合方式の学習装置において、横方向の結合軸
又は縦方向の結合軸に切り換え手段を設け、該切り換え
手段を、アプリケーション問題のサイズや計算量に応じ
て切り換え制御する。上記切り換え手段は、該切り換え
手段の設けられた列のノードからの出力及び一段違いの
列のノードからの出力を切り換え選択して出力し、ま
た、該切り換え手段の設けられた行のノードからの出力
及び一段違いの行のノードからの出力を切り換え選択し
て出力する。 【効果】 アプリケーション問題のサイズや計算量に応
じて、１つの計算を分割して行うことができ、計算速度
の高速化を図ることができる。
ローカル結合方式の学習装置において、横方向の結合軸
又は縦方向の結合軸に切り換え手段を設け、該切り換え
手段を、アプリケーション問題のサイズや計算量に応じ
て切り換え制御する。上記切り換え手段は、該切り換え
手段の設けられた列のノードからの出力及び一段違いの
列のノードからの出力を切り換え選択して出力し、ま
た、該切り換え手段の設けられた行のノードからの出力
及び一段違いの行のノードからの出力を切り換え選択し
て出力する。 【効果】 アプリケーション問題のサイズや計算量に応
じて、１つの計算を分割して行うことができ、計算速度
の高速化を図ることができる。
Description
【０００１】
【産業上の利用分野】本発明は、それぞれニューロンに
対応する信号処理を行う複数のユニットにより構成され
た、いわゆるニューラルネットワーク(Neural Network
: 神経回路網) を用いた信号処理部に対して、バック
プロパゲーション(Back propagation :逆伝播) 学習則
に従った学習処理を施す学習処理装置に関し、特に上記
複数のユニットのうち縦方向のユニット又は横方向のユ
ニットを、アプリケーション問題のサイズや計算量に応
じて分割して並列的に計算を行わせることより、計算速
度の高速化を図った学習処理装置に関する。
対応する信号処理を行う複数のユニットにより構成され
た、いわゆるニューラルネットワーク(Neural Network
: 神経回路網) を用いた信号処理部に対して、バック
プロパゲーション(Back propagation :逆伝播) 学習則
に従った学習処理を施す学習処理装置に関し、特に上記
複数のユニットのうち縦方向のユニット又は横方向のユ
ニットを、アプリケーション問題のサイズや計算量に応
じて分割して並列的に計算を行わせることより、計算速
度の高速化を図った学習処理装置に関する。
【０００２】
【従来の技術】それぞれニューロンに対応する信号処理
を行う複数のユニットにより構成された所謂ニューラル
ネットワークを用いた信号処理部に対する学習処理の手
法として、「Parallel Distributed Processing 」Vol.
1 The MIT Press 1986や日経エレクトロニクス1987年８
月１０日号，Ｎｏ．４２７．ｐｐ１１５−１２４等にお
いて、バックプロパゲーション学習則が提案されてい
る。
を行う複数のユニットにより構成された所謂ニューラル
ネットワークを用いた信号処理部に対する学習処理の手
法として、「Parallel Distributed Processing 」Vol.
1 The MIT Press 1986や日経エレクトロニクス1987年８
月１０日号，Ｎｏ．４２７．ｐｐ１１５−１２４等にお
いて、バックプロパゲーション学習則が提案されてい
る。
【０００３】そして、上記バックプロパゲーション学習
則は、図６に示すように、入力層１１と出力層１３の間
に中間層１２を有する多層構造のニューラルネットワー
クにより構成される信号処理部１０に適用され、高速画
像処理やパターン認識等の各種の信号処理への応用が試
みられている。
則は、図６に示すように、入力層１１と出力層１３の間
に中間層１２を有する多層構造のニューラルネットワー
クにより構成される信号処理部１０に適用され、高速画
像処理やパターン認識等の各種の信号処理への応用が試
みられている。
【０００４】すなわち、図６に示すように、このニュー
ラルネットワークを構成する各ユニット（Ｕj ）は、ユ
ニット（Ｕi ) からユニット（Ｕj ）への結合係数Ｗji
で結合されるユニット（Ｕi ) の出力値Ｏi の総和ｎｅ
ｔj を例えば sigmoid関数等の所定の関数ｆで変換され
た値Ｏj を出力する。
ラルネットワークを構成する各ユニット（Ｕj ）は、ユ
ニット（Ｕi ) からユニット（Ｕj ）への結合係数Ｗji
で結合されるユニット（Ｕi ) の出力値Ｏi の総和ｎｅ
ｔj を例えば sigmoid関数等の所定の関数ｆで変換され
た値Ｏj を出力する。
【０００５】パターンｐの値が入力層の各ユニット（Ｕ
j ) に入力値としてそれぞれ供給されたとき、中間層お
よび出力層の各ユニット（Ｕj ) の出力値Ｏpjは、
j ) に入力値としてそれぞれ供給されたとき、中間層お
よび出力層の各ユニット（Ｕj ) の出力値Ｏpjは、
【０００６】
【数１】
【０００７】なる第１式で表される。
【０００８】そして、上記入力層１１から上記出力層１
３へ向かって、各ニューロンに対応するユニット
（Ｕj ) の出力値を順次計算していくことで、上記出力
層１３のユニット（Ｕj ) の出力値Ｏpjが得られる。
３へ向かって、各ニューロンに対応するユニット
（Ｕj ) の出力値を順次計算していくことで、上記出力
層１３のユニット（Ｕj ) の出力値Ｏpjが得られる。
【０００９】バックプロパゲーション学習アルゴリズム
においては、上記信号処理部１０に対して、学習処理部
２０により、入力パターンｐを与えたときの、上記出力
層１３の各ユニット（Ｕj ) の実際の出力値Ｏpjと望ま
しい出力値Ｔpj、すなわち教師信号との二乗誤差の総和
Ｅp は、
においては、上記信号処理部１０に対して、学習処理部
２０により、入力パターンｐを与えたときの、上記出力
層１３の各ユニット（Ｕj ) の実際の出力値Ｏpjと望ま
しい出力値Ｔpj、すなわち教師信号との二乗誤差の総和
Ｅp は、
【００１０】
【数２】
【００１１】を極小化するように、結合係数Ｗjiを変え
る学習処理を上記出力層１３から入力層１１へ向かって
順次に行うことによって、教師信号の値Ｔpjに最も近い
出力値Ｏpjが上記出力層１３のユニット（Ｕj ) から出
力されるようになる。
る学習処理を上記出力層１３から入力層１１へ向かって
順次に行うことによって、教師信号の値Ｔpjに最も近い
出力値Ｏpjが上記出力層１３のユニット（Ｕj ) から出
力されるようになる。
【００１２】そして、二乗誤差の総和Ｅp を小さくする
結合係数Ｗjiの変化量ΔＷjiを、
結合係数Ｗjiの変化量ΔＷjiを、
【００１３】
【数３】
【００１４】と決めると、上記第３式は、
【００１５】
【数４】
【００１６】に変形することができる（この過程は上述
の文献を参照）。
の文献を参照）。
【００１７】ここで、ηは学習レート（定数）で、ユニ
ットの数や層の数さらには入出力の値等から経験的に決
定される。また、δpjはユニット（Ｕj ) のもつ誤差値
である。
ットの数や層の数さらには入出力の値等から経験的に決
定される。また、δpjはユニット（Ｕj ) のもつ誤差値
である。
【００１８】従って、上記変化量ΔＷjiを決定するため
には、上記誤差値δpjをネットワークの出力層から入力
層に向かって逆向きに求めていけば良い。出力層のユニ
ット（Ｕj ) の誤差値δpjは、
には、上記誤差値δpjをネットワークの出力層から入力
層に向かって逆向きに求めていけば良い。出力層のユニ
ット（Ｕj ) の誤差値δpjは、
【００１９】
【数５】
【００２０】なる第５式で与えられ、中間層のユニット
（Ｕj ) の誤差値δpjは、そのユニット（Ｕj ) が結合
されている各ユニット（Ｕk ) （この例では出力層の各
ユニット）の結合係数Ｗkjおよび誤差値δpkを用いて、
（Ｕj ) の誤差値δpjは、そのユニット（Ｕj ) が結合
されている各ユニット（Ｕk ) （この例では出力層の各
ユニット）の結合係数Ｗkjおよび誤差値δpkを用いて、
【００２１】
【数６】
【００２２】なる再帰関数により計算される（上記第５
式および第６式を求める過程は上述の文献を参照）。な
お、上記ｆ' j （ｎｅｔj ）は、出力関数ｆj （ｎｅｔ
j ）の微分値である。
式および第６式を求める過程は上述の文献を参照）。な
お、上記ｆ' j （ｎｅｔj ）は、出力関数ｆj （ｎｅｔ
j ）の微分値である。
【００２３】そして、変化量ΔＷjiは、上記第５式およ
び第６式の結果を用いて上述の第４式によって求められ
るが、前回の学習結果を用いて、
び第６式の結果を用いて上述の第４式によって求められ
るが、前回の学習結果を用いて、
【００２４】
【数７】
【００２５】なる第７式により求めることで、より安定
した結果が得られる。なお、αはエラーの振動を減ら
し、収束を速めるための安定化定数である。
した結果が得られる。なお、αはエラーの振動を減ら
し、収束を速めるための安定化定数である。
【００２６】そして、この学習を繰り返し行い、出力値
ｏpjと教師信号の値Ｔpjとの二乗誤差の総和Ｅp が十分
に小さくなった時点で学習を完了する。
ｏpjと教師信号の値Ｔpjとの二乗誤差の総和Ｅp が十分
に小さくなった時点で学習を完了する。
【００２７】このようなニューラルネットワークを利用
して画像処理や音声認識などの分野において実用に適し
た装置を実現するためには各相のユニット、すなわちニ
ューロンの数を増やし、ネットワークの規模を大きくす
ることが必要とされ、それに伴い結合係数の学習に膨大
な計算量が必要となる。
して画像処理や音声認識などの分野において実用に適し
た装置を実現するためには各相のユニット、すなわちニ
ューロンの数を増やし、ネットワークの規模を大きくす
ることが必要とされ、それに伴い結合係数の学習に膨大
な計算量が必要となる。
【００２８】従来より、ニューラルネットワークを利用
した装置では、ニューラルネットワークにおける計算処
理は元来並列処理であることから、並列処理によって計
算速度を高める試みがなされている。並列化の方法とし
ては、１つのニューロンを１つの計算素子に対応させる
方法や、複数のニューロンを担当するプロセッサを結合
して用いる方法があるが、前者はハードウェアが大きく
なり、現在の技術で大規模なネットワークを実現するの
は実用的でない。
した装置では、ニューラルネットワークにおける計算処
理は元来並列処理であることから、並列処理によって計
算速度を高める試みがなされている。並列化の方法とし
ては、１つのニューロンを１つの計算素子に対応させる
方法や、複数のニューロンを担当するプロセッサを結合
して用いる方法があるが、前者はハードウェアが大きく
なり、現在の技術で大規模なネットワークを実現するの
は実用的でない。
【００２９】従って、現在提案されているシステムは、
その多くが後者に基づいており、プロセッサとしては信
号処理プセッサ（ＤＳＰ）、汎用のマイクロプロセッサ
専用のチップを用いたもの等がある。いずれも、複数の
プロセッサが、互いに通信しながら並列的にニューラル
ネットワークの計算処理を実行する。また、ニューラル
ネットワークの並列処理方式としては、ネットワークを
複数に分割して処理を行うネットワーク分割法やデータ
を複数のプロセッサに分散させて処理を行うデータ分割
法が知られている。
その多くが後者に基づいており、プロセッサとしては信
号処理プセッサ（ＤＳＰ）、汎用のマイクロプロセッサ
専用のチップを用いたもの等がある。いずれも、複数の
プロセッサが、互いに通信しながら並列的にニューラル
ネットワークの計算処理を実行する。また、ニューラル
ネットワークの並列処理方式としては、ネットワークを
複数に分割して処理を行うネットワーク分割法やデータ
を複数のプロセッサに分散させて処理を行うデータ分割
法が知られている。
【００３０】
【発明が解決しようとする課題】しかし、従来の学習処
理装置は、アプリケーション問題のサイズや計算量に応
じて効率良く計算を行うために、限られたプロセッサの
数を最適なトポロジで配置してある等のように、結合ト
ポロジが固定されているため、上記アプリケーション問
題のサイズや計算量が異なってくると計算効率が悪くな
るという問題を生じていた。
理装置は、アプリケーション問題のサイズや計算量に応
じて効率良く計算を行うために、限られたプロセッサの
数を最適なトポロジで配置してある等のように、結合ト
ポロジが固定されているため、上記アプリケーション問
題のサイズや計算量が異なってくると計算効率が悪くな
るという問題を生じていた。
【００３１】本発明は、上述の問題点に鑑みてなされた
ものであり、アプリケーション問題のサイズや計算量が
異なる場合でも、それに応じて効率良く且つ迅速に計算
を行うことができるような学習処理装置の提供を目的と
する。
ものであり、アプリケーション問題のサイズや計算量が
異なる場合でも、それに応じて効率良く且つ迅速に計算
を行うことができるような学習処理装置の提供を目的と
する。
【００３２】
【課題を解決するための手段】本発明に係る学習処理装
置は、２次元メッシュのトーラス結合構造を有するロー
カル結合方式の学習処理装置において、横方向の結合軸
に設けられた切り換え手段を有し、上記切り換え手段
は、該切り換え手段の設けられた列のノードからの出力
及び一段違いの列のノードからの出力を切り換え選択し
て出力することを特徴として上述の課題を解決する。
置は、２次元メッシュのトーラス結合構造を有するロー
カル結合方式の学習処理装置において、横方向の結合軸
に設けられた切り換え手段を有し、上記切り換え手段
は、該切り換え手段の設けられた列のノードからの出力
及び一段違いの列のノードからの出力を切り換え選択し
て出力することを特徴として上述の課題を解決する。
【００３３】また、本発明に係る学習処理装置は、２次
元メッシュのトーラス結合構造を有するローカル結合方
式の学習処理装置において、縦方向の結合軸に設けられ
た切り換え手段を有し、上記切り換え手段は、該切り換
え手段の設けられた行のノードからの出力及び一段違い
の行のノードからの出力を切り換え選択して出力するこ
とを特徴として上述の課題を解決する。
元メッシュのトーラス結合構造を有するローカル結合方
式の学習処理装置において、縦方向の結合軸に設けられ
た切り換え手段を有し、上記切り換え手段は、該切り換
え手段の設けられた行のノードからの出力及び一段違い
の行のノードからの出力を切り換え選択して出力するこ
とを特徴として上述の課題を解決する。
【００３４】また、本発明に係る学習処理装置は、２次
元メッシュのトーラス結合構造のニューラルネットワー
クを用いて構成することを特徴として上述の課題を解決
する。
元メッシュのトーラス結合構造のニューラルネットワー
クを用いて構成することを特徴として上述の課題を解決
する。
【００３５】
【作用】本発明に係る学習処理装置は、２次元メッシュ
のトーラス結合構造を有するローカル結合方式の学習処
理装置において、横方向の結合軸に切り換え手段が設け
られており、この切り換え手段を、アプリケーション問
題のサイズや計算量に応じて切り換え制御する。これに
より、上記切り換え手段は、該切り換え手段の設けられ
た列のノードからの出力及び一段違いの列のノードから
の出力を切り換え選択して出力する。
のトーラス結合構造を有するローカル結合方式の学習処
理装置において、横方向の結合軸に切り換え手段が設け
られており、この切り換え手段を、アプリケーション問
題のサイズや計算量に応じて切り換え制御する。これに
より、上記切り換え手段は、該切り換え手段の設けられ
た列のノードからの出力及び一段違いの列のノードから
の出力を切り換え選択して出力する。
【００３６】また、本発明に係る学習処理装置は、２次
元メッシュのトーラス結合構造を有するローカル結合方
式の学習処理装置において、縦方向の結合軸に切り換え
手段が設けられており、この切り換え手段を、アプリケ
ーション問題のサイズや計算量に応じて切り換え制御す
る。これにより、上記切り換え手段は、該切り換え手段
の設けられた行のノードからの出力及び一段違いの行の
ノードからの出力を切り換え選択して出力する。
元メッシュのトーラス結合構造を有するローカル結合方
式の学習処理装置において、縦方向の結合軸に切り換え
手段が設けられており、この切り換え手段を、アプリケ
ーション問題のサイズや計算量に応じて切り換え制御す
る。これにより、上記切り換え手段は、該切り換え手段
の設けられた行のノードからの出力及び一段違いの行の
ノードからの出力を切り換え選択して出力する。
【００３７】また、本発明に係る学習処理装置は、２次
元メッシュのトーラス結合構造のニューラルネットワー
クを用いて構成し、上記切り換え手段の切り換えをアプ
リケーション問題のサイズや計算量に応じて制御する。
元メッシュのトーラス結合構造のニューラルネットワー
クを用いて構成し、上記切り換え手段の切り換えをアプ
リケーション問題のサイズや計算量に応じて制御する。
【００３８】
【実施例】以下、本発明に係る学習処理装置の実施例に
ついて、図面を参照しながら詳細に説明する。本実施例
に係る学習処理装置は、上述の図６に示したそれぞれニ
ューロンに対応する信号処理を行う複数のユニット（ニ
ューラルネットワーク）により構成された入力層１１、
中間層１２および出力層１３を備える信号処理部１０に
対する上記各ユニットの間の結合の強さの係数をバック
プロパゲーション学習則に従って上記学習処理部２０に
より行う学習処理装置に本発明を適用したものである。
ついて、図面を参照しながら詳細に説明する。本実施例
に係る学習処理装置は、上述の図６に示したそれぞれニ
ューロンに対応する信号処理を行う複数のユニット（ニ
ューラルネットワーク）により構成された入力層１１、
中間層１２および出力層１３を備える信号処理部１０に
対する上記各ユニットの間の結合の強さの係数をバック
プロパゲーション学習則に従って上記学習処理部２０に
より行う学習処理装置に本発明を適用したものである。
【００３９】具体的な構成としては、図１に示すよう
に、それぞれ垂直リング結合用のデータ転送メモリＶＭ
(0) 〜ＶＭ(N-1) と、水平リング結合用のデータ転送メ
モリＨＭ(0) 〜ＨＭ(D-1) と、上記垂直リング結合用の
データ転送メモリＶＭ(0) 〜ＶＭ(N-1) 及び水平リング
結合用のデータ転送メモリＨＭ(0) 〜ＨＭ(D-1) を介し
てメッシュ結合されたＮ×Ｄ個のプロセッシング・エレ
メントＰＥ(0,0) 〜ＰＥ(D-1,N-1) と、上記水平リング
結合をなす結合軸にそれぞれ設けられた切り換え手段で
ある第１〜第ｎの切り換えスイッチ３０〜ｎ（ｎ：自然
数）とを備え、ネットワークをＮ分割し、入力データを
Ｄグループに分散させて、上記メッシュ結合されたＮ×
Ｄ個のプロセッシング・エレメントＰＥ(0,0) 〜ＰＥ
(D-1,N-1) にバックプロパゲーション学習処理アルゴリ
ズムをマッピングしてなる。
に、それぞれ垂直リング結合用のデータ転送メモリＶＭ
(0) 〜ＶＭ(N-1) と、水平リング結合用のデータ転送メ
モリＨＭ(0) 〜ＨＭ(D-1) と、上記垂直リング結合用の
データ転送メモリＶＭ(0) 〜ＶＭ(N-1) 及び水平リング
結合用のデータ転送メモリＨＭ(0) 〜ＨＭ(D-1) を介し
てメッシュ結合されたＮ×Ｄ個のプロセッシング・エレ
メントＰＥ(0,0) 〜ＰＥ(D-1,N-1) と、上記水平リング
結合をなす結合軸にそれぞれ設けられた切り換え手段で
ある第１〜第ｎの切り換えスイッチ３０〜ｎ（ｎ：自然
数）とを備え、ネットワークをＮ分割し、入力データを
Ｄグループに分散させて、上記メッシュ結合されたＮ×
Ｄ個のプロセッシング・エレメントＰＥ(0,0) 〜ＰＥ
(D-1,N-1) にバックプロパゲーション学習処理アルゴリ
ズムをマッピングしてなる。
【００４０】上記各プロセッシング・エレメントＰＥ
(0,0) 〜ＰＥ(D-1,N-1) には、図２に示すように、例え
ば、Ｉｎｔｅｌ社によって開発された６４ビット、ＲＩ
ＳＣタイプの汎用マイクロプロセッサ（８０８６０）が
それぞれ用いられ、ニューロン間の結合の重み、すなわ
ち結合係数や出力をストアするために４Ｍバイトのロー
カルメモリＲＡＭが設けられている。また、上記垂直リ
ング結合用の各データ転送メモリＶＭ(0) 〜ＶＭ(N-1)
及び水平リング結合用の各データ転送メモリＨＭ(0) 〜
ＨＭ(D-1) としては、ＦＩＦＯ(First in First out)メ
モリがそれぞれ用いられている。
(0,0) 〜ＰＥ(D-1,N-1) には、図２に示すように、例え
ば、Ｉｎｔｅｌ社によって開発された６４ビット、ＲＩ
ＳＣタイプの汎用マイクロプロセッサ（８０８６０）が
それぞれ用いられ、ニューロン間の結合の重み、すなわ
ち結合係数や出力をストアするために４Ｍバイトのロー
カルメモリＲＡＭが設けられている。また、上記垂直リ
ング結合用の各データ転送メモリＶＭ(0) 〜ＶＭ(N-1)
及び水平リング結合用の各データ転送メモリＨＭ(0) 〜
ＨＭ(D-1) としては、ＦＩＦＯ(First in First out)メ
モリがそれぞれ用いられている。
【００４１】また、上記各プロセッシング・エレメント
ＰＥ(0,0) 〜ＰＥ(D-1,N-1) は、隣接する４つのプロセ
ッシング・エレメントＰＥとＦＩＦＯによるデータ転送
メモリＶＭ，ＨＭを介して結合されており、上記データ
転送メモリＶＭ，ＨＭを介して上記隣接する４つのプロ
セッシング・エレメントＰＥと非同期に通信を行うこと
ができるようになっている。
ＰＥ(0,0) 〜ＰＥ(D-1,N-1) は、隣接する４つのプロセ
ッシング・エレメントＰＥとＦＩＦＯによるデータ転送
メモリＶＭ，ＨＭを介して結合されており、上記データ
転送メモリＶＭ，ＨＭを介して上記隣接する４つのプロ
セッシング・エレメントＰＥと非同期に通信を行うこと
ができるようになっている。
【００４２】上記Ｎ×Ｄ個のプロセッシング・エレメン
トＰＥ(0,0) 〜ＰＥ(D-1,N-1) をそれぞれ垂直リング結
合用のデータ転送メモリＶＭ(0) 〜ＶＭ(N-1) と水平リ
ング結合用の各データ転送メモリＨＭ(0) 〜ＨＭ(D-1)
とを介してメッシュ結合してなるこの実施例の学習処理
装置において、その垂直方向のリングは、ネットワーク
をＮ分割しており、その垂直リング内の各プロセッシン
グ・エレメントＰＥ(0) 〜ＰＥ(N-1) は異なった結合係
数を持ち、上記信号処理部１０の中間層１２の出力値及
び逆伝播での上記中間層１２の誤差計算の中間結果が転
送される。また、水平方向のリングは、入力データをＤ
グループに分散させており、その水平リング内の各プロ
セッシング・エレメントＰＥ(0) 〜ＰＥ(D-1) は異なっ
たデータを持ち、全データの結合係数Ｗijに対する変化
量ΣΔＷijと更新された結合係数Ｗijのみが転送され
る。
トＰＥ(0,0) 〜ＰＥ(D-1,N-1) をそれぞれ垂直リング結
合用のデータ転送メモリＶＭ(0) 〜ＶＭ(N-1) と水平リ
ング結合用の各データ転送メモリＨＭ(0) 〜ＨＭ(D-1)
とを介してメッシュ結合してなるこの実施例の学習処理
装置において、その垂直方向のリングは、ネットワーク
をＮ分割しており、その垂直リング内の各プロセッシン
グ・エレメントＰＥ(0) 〜ＰＥ(N-1) は異なった結合係
数を持ち、上記信号処理部１０の中間層１２の出力値及
び逆伝播での上記中間層１２の誤差計算の中間結果が転
送される。また、水平方向のリングは、入力データをＤ
グループに分散させており、その水平リング内の各プロ
セッシング・エレメントＰＥ(0) 〜ＰＥ(D-1) は異なっ
たデータを持ち、全データの結合係数Ｗijに対する変化
量ΣΔＷijと更新された結合係数Ｗijのみが転送され
る。
【００４３】上記各切り換えスイッチ３０〜ｎは、各出
力端が、第１行目の垂直リング内の各プロセッシング・
エレメントＰＥ(0,0) 〜ＰＥ(0,N-1) の入力端にそれぞ
れ接続されている。また、上記各切り換えスイッチ３０
〜ｎは、一方の入力端Ａが、最後の行の各プロセッシン
グ・エレメントＰＥ(0,0) 〜ＰＥ(0,N-1) の出力端に接
続された水平リング結合用の各データ転送メモリＨＭ
(D-1,0) 〜ＨＭ(D-1,N-1) の出力端にそれぞれ接続され
ている。また、上記各切り換えスイッチ３０〜ｎの一方
の入力端Ａは、次の列の切り換えスイッチの他方の入力
端Ｂに接続されている。また、第ｎの切り返えスイッチ
ｎの一方の入力端Ａが、第１の切り換えスイッチ３０の
他方の出力端Ｂに接続されている。
力端が、第１行目の垂直リング内の各プロセッシング・
エレメントＰＥ(0,0) 〜ＰＥ(0,N-1) の入力端にそれぞ
れ接続されている。また、上記各切り換えスイッチ３０
〜ｎは、一方の入力端Ａが、最後の行の各プロセッシン
グ・エレメントＰＥ(0,0) 〜ＰＥ(0,N-1) の出力端に接
続された水平リング結合用の各データ転送メモリＨＭ
(D-1,0) 〜ＨＭ(D-1,N-1) の出力端にそれぞれ接続され
ている。また、上記各切り換えスイッチ３０〜ｎの一方
の入力端Ａは、次の列の切り換えスイッチの他方の入力
端Ｂに接続されている。また、第ｎの切り返えスイッチ
ｎの一方の入力端Ａが、第１の切り換えスイッチ３０の
他方の出力端Ｂに接続されている。
【００４４】そして、上記各切り換えスイッチ３０〜ｎ
は、該各切り換えスイッチ３０〜ｎの設けられた列のノ
ードからの出力及び一段違いの列のノードからの出力
を、アプリケーション問題のサイズや計算量に応じて切
り換え選択するように制御されるようになっている。
は、該各切り換えスイッチ３０〜ｎの設けられた列のノ
ードからの出力及び一段違いの列のノードからの出力
を、アプリケーション問題のサイズや計算量に応じて切
り換え選択するように制御されるようになっている。
【００４５】次に、この学習処理装置は、上述の図６に
示した入力層１１、中間層１２及び出力層１３を備える
３層構造のニューラルネッットワークに対して、例えば
ネットワークを４（Ｎ＝４）分割して、以下に説明する
処理アルゴリズムに従って学習処理を行う。
示した入力層１１、中間層１２及び出力層１３を備える
３層構造のニューラルネッットワークに対して、例えば
ネットワークを４（Ｎ＝４）分割して、以下に説明する
処理アルゴリズムに従って学習処理を行う。
【００４６】入力データＩを与えたときの中間層１２の
ユニットＵj への入力の総和ｎｅｔj は、
ユニットＵj への入力の総和ｎｅｔj は、
【００４７】
【数８】
【００４８】により求める。
【００４９】上記中間層１２のユニットＵj の出力Ｈj
は、
は、
【００５０】
【数９】
【００５１】により求める。
【００５２】上記出力層１３のユニットＵj への入力
は、上記第８式と同様な積和演算の中間結果ｎｅｔj を
図３の (ｔ1),(ｔ2),(ｔ3),(ｔ4) に示すように上記垂
直リング上を転送することにより各プロセッシング・エ
レメントＰＥ(0),ＰＥ(1),ＰＥ(2),ＰＥ(3) で求める。
は、上記第８式と同様な積和演算の中間結果ｎｅｔj を
図３の (ｔ1),(ｔ2),(ｔ3),(ｔ4) に示すように上記垂
直リング上を転送することにより各プロセッシング・エ
レメントＰＥ(0),ＰＥ(1),ＰＥ(2),ＰＥ(3) で求める。
【００５３】上記出力層１３のユニットＵj の出力Ｏj
は、上記第９式と同様に求める。
は、上記第９式と同様に求める。
【００５４】上記出力層１３の誤差値δojは、上記出力
層１３のユニットＵj の出力Ｏj と教師信号Ｔj とか
ら、
層１３のユニットＵj の出力Ｏj と教師信号Ｔj とか
ら、
【００５５】
【数１０】
【００５６】により求める。
【００５７】上記中間層１２の誤差値δhjは、上記出力
層１３の誤差値δojを図４の（ｔ1），（ｔ2 ），（ｔ3
），（ｔ4 ）に示すように上記垂直リング上を転送し
ながら、各プロセッシング・エレメントＰＥ(0),ＰＥ
(1),ＰＥ(2),ＰＥ(3) で、
層１３の誤差値δojを図４の（ｔ1），（ｔ2 ），（ｔ3
），（ｔ4 ）に示すように上記垂直リング上を転送し
ながら、各プロセッシング・エレメントＰＥ(0),ＰＥ
(1),ＰＥ(2),ＰＥ(3) で、
【００５８】
【数１１】
【００５９】により求める。
【００６０】ｍ番目入力データに対する結合係数の変化
量ΔＷij（ｍ）を各層について、
量ΔＷij（ｍ）を各層について、
【００６１】
【数１２】
【００６２】により求める。
【００６３】ここで、全データ数をＡＤとすると、上記
ｍは、ｍ＝１，・・・，ＡＤ／Ｄである。
ｍは、ｍ＝１，・・・，ＡＤ／Ｄである。
【００６４】分割された全データに対して（ＡＤ／Ｄ）
回上記〜の処理を繰り返し行う。
回上記〜の処理を繰り返し行う。
【００６５】水平リングを使い、データ分割された結合
係数の変化量の総和を求める。
係数の変化量の総和を求める。
【００６６】結合係数Ｗij(t) を更新する。
【００６７】
【数１３】
【００６８】
【数１４】
【００６９】ここで、ηは学習定数、αは安定化定数、
ｔは学習回数である。
ｔは学習回数である。
【００７０】水平リングを使い、更新された結合係数Ｗ
ij(t) をデータ分割された他のプロセッシング・エレメ
ントＰＥに転送する。
ij(t) をデータ分割された他のプロセッシング・エレメ
ントＰＥに転送する。
【００７１】出力層の誤差値が目標値以下になるまで、
このような処理アルゴリズムを繰り返し実行する。
このような処理アルゴリズムを繰り返し実行する。
【００７２】これにより、例えば入力層が２５６ユニッ
ト、中間層が８０ユニット、出力層が３２ユニットで構
成され３層構造のニューラルネットにおいて、５１２０
パターンの学習処理を行う場合、ネットワークを４分割
（Ｎ＝４）し、入力データを３２ＰＥグループ（Ｄ＝３
２）に分散して、メッシュ結合された１２８個のプロセ
ッシング・エレメントに上述した処理アルゴリズムであ
るバックプロパゲーション学習処理アルゴリズムをマッ
ピングし、各プロセッシング・エレメントを５０ＭＨｚ
で動作させると１ＧＣＰＳの学習速度を得ることができ
る。
ト、中間層が８０ユニット、出力層が３２ユニットで構
成され３層構造のニューラルネットにおいて、５１２０
パターンの学習処理を行う場合、ネットワークを４分割
（Ｎ＝４）し、入力データを３２ＰＥグループ（Ｄ＝３
２）に分散して、メッシュ結合された１２８個のプロセ
ッシング・エレメントに上述した処理アルゴリズムであ
るバックプロパゲーション学習処理アルゴリズムをマッ
ピングし、各プロセッシング・エレメントを５０ＭＨｚ
で動作させると１ＧＣＰＳの学習速度を得ることができ
る。
【００７３】ここで、このような計算処理は、アプリー
ケーション問題のサイズや計算量に応じて分割して行っ
たほうが効率の良い場合がある。このため、本実施例に
係る学習処理装置は、アプリーケーション問題のサイズ
や計算量に応じて、上記第１〜第ｎの切り換えスイッチ
３０〜ｎが一斉に同じ方向に切り換え制御されるように
なっている。
ケーション問題のサイズや計算量に応じて分割して行っ
たほうが効率の良い場合がある。このため、本実施例に
係る学習処理装置は、アプリーケーション問題のサイズ
や計算量に応じて、上記第１〜第ｎの切り換えスイッチ
３０〜ｎが一斉に同じ方向に切り換え制御されるように
なっている。
【００７４】一例として、ｙ＝Σ（Ａ・Ｂｊ）の計算を
本実施例に係る学習処理装置で行うとする。なお、ｊ＝
１〜Ｄ，ＡはＰ×Ｑのマトリクス、ＢはＱ×１のマトリ
クスとする。また、ＢｘはＤ個のサンプルがあり、ｆ
（Ｘ）の計算量は内積計算と比較してはるかに大きいも
のとする。
本実施例に係る学習処理装置で行うとする。なお、ｊ＝
１〜Ｄ，ＡはＰ×Ｑのマトリクス、ＢはＱ×１のマトリ
クスとする。また、ＢｘはＤ個のサンプルがあり、ｆ
（Ｘ）の計算量は内積計算と比較してはるかに大きいも
のとする。
【００７５】まず、上記Ｐが非常に大きく、マトリクス
Ａのサイズが１個のプロセッシング・エレメントの記憶
容量を越えている場合、上記各切り換えスイッチ３０〜
ｎは、Ａ側の出力を選択するように一斉に切り換え制御
される。これにより、Ｍ×Ｎ個の２次元メッシュのトー
ラス結合構造の並列計算機が構成されることとなる。
Ａのサイズが１個のプロセッシング・エレメントの記憶
容量を越えている場合、上記各切り換えスイッチ３０〜
ｎは、Ａ側の出力を選択するように一斉に切り換え制御
される。これにより、Ｍ×Ｎ個の２次元メッシュのトー
ラス結合構造の並列計算機が構成されることとなる。
【００７６】上記マトリクスＡを、Ｍ個の（Ｐ／Ｍ）×
Ｎの大きさのマトリクスＡ, に分割して垂直方向の各プ
ロセッシング・エレメントに格納する。このとき、水平
方向の各プロセッシング・エレメントには、全て同じ内
容の（Ｐ／Ｍ）×Ｎのマトリクスを格納する。
Ｎの大きさのマトリクスＡ, に分割して垂直方向の各プ
ロセッシング・エレメントに格納する。このとき、水平
方向の各プロセッシング・エレメントには、全て同じ内
容の（Ｐ／Ｍ）×Ｎのマトリクスを格納する。
【００７７】一方、上記マトリクスＢについては、Ｄ個
のサンプルを、Ｄ／Ｎ個をＮ個のグループに分割して、
Ｄ／Ｎ個を水平方向の各プロセッシング・エレメントに
格納する。このとき、垂直方向の各プロセッシング・エ
レメントには、全て同じ内容のサンプル群を格納する。
のサンプルを、Ｄ／Ｎ個をＮ個のグループに分割して、
Ｄ／Ｎ個を水平方向の各プロセッシング・エレメントに
格納する。このとき、垂直方向の各プロセッシング・エ
レメントには、全て同じ内容のサンプル群を格納する。
【００７８】このような状態において、本実施例に係る
学習処理装置は、まず、上記各プロセッシング・エレメ
ントが、Ｃ, ＝Ａ, ・Ｂの計算を行う。
学習処理装置は、まず、上記各プロセッシング・エレメ
ントが、Ｃ, ＝Ａ, ・Ｂの計算を行う。
【００７９】次に、１×（Ｐ／Ｍ）のマトリクスＣ, を
上記垂直方向の各プロセッシング・エレメントに転送す
る。これを、Ｐ／Ｍ回繰り返すことにより、各プロセッ
シング・エレメントにはＣ＝Ａ・Ｂのデータが揃う。
上記垂直方向の各プロセッシング・エレメントに転送す
る。これを、Ｐ／Ｍ回繰り返すことにより、各プロセッ
シング・エレメントにはＣ＝Ａ・Ｂのデータが揃う。
【００８０】次に、上記Ｃのデータを上記水平方向の各
プロセッシング・エレメントに転送する。これにより、
上記水平方向の各プロセッシング・エレメントに、ｆ
（Ｃ）が累積され、Ｄ／Ｎ回後に計算結果が得られる。
プロセッシング・エレメントに転送する。これにより、
上記水平方向の各プロセッシング・エレメントに、ｆ
（Ｃ）が累積され、Ｄ／Ｎ回後に計算結果が得られる。
【００８１】これに対して、マトリクスＡのサイズが、
１個のプロセッシング・エレメントの記憶容量に対して
小さいときは、上述のような垂直方向への分割は不要で
ある。
１個のプロセッシング・エレメントの記憶容量に対して
小さいときは、上述のような垂直方向への分割は不要で
ある。
【００８２】このため、本実施例に係る学習処理装置
は、上記各切り換えスイッチ３０〜ｎをＢ側に切り換え
て、当該学習処理装置を１次元のリング型結合の構成と
する。なお、この場合は、上記垂直方向の各プロセッシ
ング・エレメントの結合軸は使用されない。
は、上記各切り換えスイッチ３０〜ｎをＢ側に切り換え
て、当該学習処理装置を１次元のリング型結合の構成と
する。なお、この場合は、上記垂直方向の各プロセッシ
ング・エレメントの結合軸は使用されない。
【００８３】この場合、プロセッシング・エレメントの
数はＭ×Ｎ個となり、ＢのサンプルはＤ／（Ｍ×Ｎ）個
に分割されるため、前者と比較して並列度はＭ倍にな
り、計算速度の高速化を図ることができる。
数はＭ×Ｎ個となり、ＢのサンプルはＤ／（Ｍ×Ｎ）個
に分割されるため、前者と比較して並列度はＭ倍にな
り、計算速度の高速化を図ることができる。
【００８４】以上の説明から明らかなように、本実施例
に係る学習処理装置は、アプリーケーション問題のサイ
ズや計算量に応じて、上記第１〜第ｎの切り換えスイッ
チ３０〜ｎを切り換え制御することにより、計算速度の
高速化を図ることができる。
に係る学習処理装置は、アプリーケーション問題のサイ
ズや計算量に応じて、上記第１〜第ｎの切り換えスイッ
チ３０〜ｎを切り換え制御することにより、計算速度の
高速化を図ることができる。
【００８５】次に、本発明に係る学習処理装置の他の実
施例の説明をする。上述の実施例の説明では、図１に示
したように、水平リング結合をなす結合軸にそれぞれ第
１〜第ｎの切り換えスイッチ３０〜ｎを設けたが、この
他の実施例に係る学習処理装置では、図５に示すよう
に、垂直リング結合をなす結合軸にそれぞれ第１〜第ｎ
の切り換えスイッチ５０〜ｎを設けた。
施例の説明をする。上述の実施例の説明では、図１に示
したように、水平リング結合をなす結合軸にそれぞれ第
１〜第ｎの切り換えスイッチ３０〜ｎを設けたが、この
他の実施例に係る学習処理装置では、図５に示すよう
に、垂直リング結合をなす結合軸にそれぞれ第１〜第ｎ
の切り換えスイッチ５０〜ｎを設けた。
【００８６】なお、上述の実施例と同様の構成を示す箇
所には同符号を付し、その説明を省略する。
所には同符号を付し、その説明を省略する。
【００８７】すなわち、上記第１の切り換えスイッチ５
０の出力端は第１のプロセッシング・エレメントＰ
Ｅ(0, N-1)の入力端に接続され、上記第２の切り換えス
イッチ５１の出力端は第１のプロセッシング・エレメン
トＰＥ(1, N-1)の入力端に接続される等のように、各切
り換えスイッチ５０〜ｎ及びプロセッシング・エレメン
トＰＥ(0, N-1)，ＰＥ(1, N-1)・・・が接続されてい
る。
０の出力端は第１のプロセッシング・エレメントＰ
Ｅ(0, N-1)の入力端に接続され、上記第２の切り換えス
イッチ５１の出力端は第１のプロセッシング・エレメン
トＰＥ(1, N-1)の入力端に接続される等のように、各切
り換えスイッチ５０〜ｎ及びプロセッシング・エレメン
トＰＥ(0, N-1)，ＰＥ(1, N-1)・・・が接続されてい
る。
【００８８】また、上記第１の切り換えスイッチ５０の
一方の入力端Ａは上記第２の切り換えスイッチ５１の他
方の入力端Ｂに接続されており、上記第２の切り換えス
イッチ５１の一方の入力端Ａは上記第３の切り換えスイ
ッチ５２の他方の入力端Ｂに接続されている等のよう
に、各切り返スイッチ５０〜ｎの一方の入力端Ａ及び他
方の入力端Ｂが接続されている。
一方の入力端Ａは上記第２の切り換えスイッチ５１の他
方の入力端Ｂに接続されており、上記第２の切り換えス
イッチ５１の一方の入力端Ａは上記第３の切り換えスイ
ッチ５２の他方の入力端Ｂに接続されている等のよう
に、各切り返スイッチ５０〜ｎの一方の入力端Ａ及び他
方の入力端Ｂが接続されている。
【００８９】また、各垂直リング上の最後の各データ転
送メモリＶＭ(0,0) 〜ＶＭ(D-1,0)の各出力端は、上記
第１〜第ｎの切り換えスイッチ５０〜ｎの各一方の入力
端Ａにそれぞれ接続されている。そして、上記第ｎの切
り換えスイッチｎの一方の入力端Ａは、第１の切り換え
スイッチ５０の他方の入力端Ｂに接続されている。
送メモリＶＭ(0,0) 〜ＶＭ(D-1,0)の各出力端は、上記
第１〜第ｎの切り換えスイッチ５０〜ｎの各一方の入力
端Ａにそれぞれ接続されている。そして、上記第ｎの切
り換えスイッチｎの一方の入力端Ａは、第１の切り換え
スイッチ５０の他方の入力端Ｂに接続されている。
【００９０】このように、垂直リング結合をなす結合軸
にそれぞれ第１〜第ｎの切り換えスイッチ５０〜ｎを設
けた他の実施例に係る学習処理装置も、上述の実施例に
係る学習処理装置と同様に、アプリーケーション問題の
サイズや計算量に応じて、上記第１〜第ｎの切り換えス
イッチ５０〜ｎを切り換え制御することにより、計算速
度の高速化を図ることができる。
にそれぞれ第１〜第ｎの切り換えスイッチ５０〜ｎを設
けた他の実施例に係る学習処理装置も、上述の実施例に
係る学習処理装置と同様に、アプリーケーション問題の
サイズや計算量に応じて、上記第１〜第ｎの切り換えス
イッチ５０〜ｎを切り換え制御することにより、計算速
度の高速化を図ることができる。
【００９１】
【発明の効果】本発明に係る学習処理装置は、２次元メ
ッシュのトーラス結合構造を有するローカル結合方式の
学習処理装置において、横方向の結合軸に、その列のノ
ードからの出力及び一段違いの列のノードからの出力が
供給されるように切り換え手段を設け、この切り換え手
段を、アプリケーション問題のサイズや計算量に応じて
切り換え制御することにより、該アプリケーション問題
のサイズや計算量に応じて１つの計算を分割して行うこ
とができるため、計算速度の高速化を図ることができ
る。
ッシュのトーラス結合構造を有するローカル結合方式の
学習処理装置において、横方向の結合軸に、その列のノ
ードからの出力及び一段違いの列のノードからの出力が
供給されるように切り換え手段を設け、この切り換え手
段を、アプリケーション問題のサイズや計算量に応じて
切り換え制御することにより、該アプリケーション問題
のサイズや計算量に応じて１つの計算を分割して行うこ
とができるため、計算速度の高速化を図ることができ
る。
【００９２】また、本発明に係る学習処理装置は、２次
元メッシュのトーラス結合構造を有するローカル結合方
式の学習処理装置において、縦方向の結合軸に、その行
のノードからの出力及び一段違いの行のノードからの出
力が供給されるように切り換え手段を設け、この切り換
え手段を、アプリケーション問題のサイズや計算量に応
じて切り換え制御することにより、該アプリケーション
問題のサイズや計算量に応じて１つの計算を分割して行
うことができるため、計算速度の高速化を図ることがで
きる。
元メッシュのトーラス結合構造を有するローカル結合方
式の学習処理装置において、縦方向の結合軸に、その行
のノードからの出力及び一段違いの行のノードからの出
力が供給されるように切り換え手段を設け、この切り換
え手段を、アプリケーション問題のサイズや計算量に応
じて切り換え制御することにより、該アプリケーション
問題のサイズや計算量に応じて１つの計算を分割して行
うことができるため、計算速度の高速化を図ることがで
きる。
【００９３】また、本発明に係る学習処理装置は、２次
元メッシュのトーラス結合構造のニューラルネットワー
クを用いて構成することにより、上記アプリケーション
問題のサイズや計算量に応じて、上記切り換え手段をよ
り最適に切り換え制御することができるため、計算速度
をさらに高速化することができる。
元メッシュのトーラス結合構造のニューラルネットワー
クを用いて構成することにより、上記アプリケーション
問題のサイズや計算量に応じて、上記切り換え手段をよ
り最適に切り換え制御することができるため、計算速度
をさらに高速化することができる。
【図１】本発明に係る学習処理装置の実施例の構成を概
念的に示すブロック図である。
念的に示すブロック図である。
【図２】上記学習処理装置を構成するプロセッシング・
エレメントの構成を概念的に示すブロック図である。
エレメントの構成を概念的に示すブロック図である。
【図３】上記学習処理装置の垂直リング上の各プロセッ
シング・エレメントによるバックプロパゲーション学習
処理の前向きの学習処理過程における動作説明図であ
る。
シング・エレメントによるバックプロパゲーション学習
処理の前向きの学習処理過程における動作説明図であ
る。
【図４】上記垂直リング上の各プロセッシング・エレメ
ントによるバックプロパゲーション学習処理の後向きの
学習処理過程における動作説明図である。
ントによるバックプロパゲーション学習処理の後向きの
学習処理過程における動作説明図である。
【図５】本発明に係る学習処理装置の他の実施例の構成
を概念的に示すブロック図である。
を概念的に示すブロック図である。
【図６】本発明を適用する３層構造のニーラルネットワ
ークによる信号処理部を備える学習処理装置の構成を概
念的に示すブロック図である。
ークによる信号処理部を備える学習処理装置の構成を概
念的に示すブロック図である。
１０・・・・・・・・・・・・・・・・・・信号処理部 １１・・・・・・・・・・・・・・・・・・入力層 １２・・・・・・・・・・・・・・・・・・中間層 １３・・・・・・・・・・・・・・・・・・出力層 ２０・・・・・・・・・・・・・・・・・・学習処理部 ＰＥ(0,0) 〜ＰＥ(D-1,N-1) ・・・・・・・プロセッシ
ング・エレメント ＶＭ(0,0) 〜ＶＭ(D-1,N-1) ・・・・・・・垂直転送用
データ転送メモリ ＨＭ(0,0) 〜ＨＭ(D-1,N-1) ・・・・・・・水平転送用
データ転送メモリ ３０〜ｎ・・・・・・・・・・・・・・・・切り換えス
イッチ ５０〜ｎ・・・・・・・・・・・・・・・・切り換えス
イッチ
ング・エレメント ＶＭ(0,0) 〜ＶＭ(D-1,N-1) ・・・・・・・垂直転送用
データ転送メモリ ＨＭ(0,0) 〜ＨＭ(D-1,N-1) ・・・・・・・水平転送用
データ転送メモリ ３０〜ｎ・・・・・・・・・・・・・・・・切り換えス
イッチ ５０〜ｎ・・・・・・・・・・・・・・・・切り換えス
イッチ
Claims (3)
- 【請求項１】 ２次元メッシュのトーラス結合構造を有
するローカル結合方式の学習処理装置において、 横方向の結合軸に設けられた切り換え手段を有し、 上記切り換え手段は、該切り換え手段の設けられた列の
ノードからの出力及び一段違いの列のノードからの出力
を切り換え選択して出力することを特徴とする学習処理
装置。 - 【請求項２】 ２次元メッシュのトーラス結合構造を有
するローカル結合方式の学習処理装置において、 縦方向の結合軸に設けられた切り換え手段を有し、 上記切り換え手段は、該切り換え手段の設けられた行の
ノードからの出力及び一段違いの行のノードからの出力
を切り換え選択して出力することを特徴とする学習処理
装置。 - 【請求項３】 ２次元メッシュのトーラス結合構造のニ
ューラルネットワークを用いて構成することを特徴とす
る請求項１又は請求項２記載の学習処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4285349A JPH06110864A (ja) | 1992-09-30 | 1992-09-30 | 学習処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4285349A JPH06110864A (ja) | 1992-09-30 | 1992-09-30 | 学習処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06110864A true JPH06110864A (ja) | 1994-04-22 |
Family
ID=17690412
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4285349A Withdrawn JPH06110864A (ja) | 1992-09-30 | 1992-09-30 | 学習処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06110864A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020508532A (ja) * | 2017-02-23 | 2020-03-19 | セレブラス システムズ インク． | 加速化ディープラーニング |
| US10657438B2 (en) | 2017-04-17 | 2020-05-19 | Cerebras Systems Inc. | Backpressure for accelerated deep learning |
| JP2020517030A (ja) * | 2017-04-17 | 2020-06-11 | セレブラス システムズ インク． | ディープラーニング加速化のためのデータ構造記述子 |
| US11488004B2 (en) | 2017-04-17 | 2022-11-01 | Cerebras Systems Inc. | Neuron smearing for accelerated deep learning |
-
1992
- 1992-09-30 JP JP4285349A patent/JPH06110864A/ja not_active Withdrawn
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020508532A (ja) * | 2017-02-23 | 2020-03-19 | セレブラス システムズ インク． | 加速化ディープラーニング |
| US11934945B2 (en) | 2017-02-23 | 2024-03-19 | Cerebras Systems Inc. | Accelerated deep learning |
| JP2021082317A (ja) * | 2017-02-23 | 2021-05-27 | セレブラス システムズ インク． | 加速化ディープラーニング |
| US10699189B2 (en) | 2017-02-23 | 2020-06-30 | Cerebras Systems Inc. | Accelerated deep learning |
| JP2020205067A (ja) * | 2017-04-17 | 2020-12-24 | セレブラス システムズ インク． | 加速化ディープラーニングのニューロンスメアリング |
| US10762418B2 (en) | 2017-04-17 | 2020-09-01 | Cerebras Systems Inc. | Control wavelet for accelerated deep learning |
| US10726329B2 (en) | 2017-04-17 | 2020-07-28 | Cerebras Systems Inc. | Data structure descriptors for deep learning acceleration |
| JP2020517030A (ja) * | 2017-04-17 | 2020-06-11 | セレブラス システムズ インク． | ディープラーニング加速化のためのデータ構造記述子 |
| US11062200B2 (en) | 2017-04-17 | 2021-07-13 | Cerebras Systems Inc. | Task synchronization for accelerated deep learning |
| US11157806B2 (en) | 2017-04-17 | 2021-10-26 | Cerebras Systems Inc. | Task activating for accelerated deep learning |
| US11232347B2 (en) | 2017-04-17 | 2022-01-25 | Cerebras Systems Inc. | Fabric vectors for deep learning acceleration |
| US11232348B2 (en) | 2017-04-17 | 2022-01-25 | Cerebras Systems Inc. | Data structure descriptors for deep learning acceleration |
| US11475282B2 (en) | 2017-04-17 | 2022-10-18 | Cerebras Systems Inc. | Microthreading for accelerated deep learning |
| US11488004B2 (en) | 2017-04-17 | 2022-11-01 | Cerebras Systems Inc. | Neuron smearing for accelerated deep learning |
| US10657438B2 (en) | 2017-04-17 | 2020-05-19 | Cerebras Systems Inc. | Backpressure for accelerated deep learning |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5506998A (en) | Parallel data processing system using a plurality of processing elements to process data and a plurality of trays connected to some of the processing elements to store and transfer data | |
| EP0421639B1 (en) | Parallel data processing system | |
| US5465375A (en) | Multiprocessor system with cascaded modules combining processors through a programmable logic cell array | |
| CN107301456B (zh) | 基于向量处理器的深度神经网络多核加速实现方法 | |
| US5812993A (en) | Digital hardware architecture for realizing neural network | |
| EP0505179A2 (en) | A parallel data processing system | |
| JP2002533823A (ja) | 重み付けされたシナプスアレイを最大限に使用する入力アーキテクチャを備えたニューラル処理モジュール | |
| JPH06131308A (ja) | 多次元シストリックアレイ処理装置及び方法 | |
| US5799134A (en) | One dimensional systolic array architecture for neural network | |
| CN113159285A (zh) | 神经网络加速器 | |
| WO1993003443A1 (en) | Signal processor and learning method thereof | |
| JP2810170B2 (ja) | 多層型ネットワークの学習装置 | |
| JPH05346914A (ja) | ニューロプロセッサ | |
| JPH06110864A (ja) | 学習処理装置 | |
| US5627944A (en) | Parallel data processing system | |
| JPH0590141A (ja) | 荷電ビーム描画用データ作成装置 | |
| JPH04344970A (ja) | ニューラルネット処理装置 | |
| CN112115665B (zh) | 存算一体存储阵列及其卷积运算方法 | |
| CN114724595A (zh) | 一种卷积运算加速器及卷积运算方法 | |
| JP2825133B2 (ja) | 並列データ処理方式 | |
| Jenq et al. | Feedforward backpropagation artificial neural networks on reconfigurable meshes | |
| JP3271186B2 (ja) | 学習処理装置 | |
| Kumar et al. | Algorithmic mapping of neural network models onto parallel SIMD machines | |
| Jing-Fu Jenq | Artificial Neural Networks on Reconfigurable Meshes | |
| Jenq et al. | Artificial neural networks on reconfigurable meshes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19991130 |