JPH04195251A - ニューラルネットの学習計算方法 - Google Patents
ニューラルネットの学習計算方法Info
- Publication number
- JPH04195251A JPH04195251A JP2265496A JP26549690A JPH04195251A JP H04195251 A JPH04195251 A JP H04195251A JP 2265496 A JP2265496 A JP 2265496A JP 26549690 A JP26549690 A JP 26549690A JP H04195251 A JPH04195251 A JP H04195251A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- neural network
- layer
- calculation
- accelerator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004364 calculation method Methods 0.000 title claims abstract description 61
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 47
- 238000012546 transfer Methods 0.000 claims abstract description 8
- 238000000034 method Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 22
- 150000001875 compounds Chemical class 0.000 claims description 8
- 239000002131 composite material Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 4
- 230000001537 neural effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 235000002492 Rungia klossii Nutrition 0.000 description 1
- 244000117054 Rungia klossii Species 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔概要］
ニューラルネットのバックプロパゲーションの学習計算
を行うのに、汎用計算機に、ディジタルシグナルプロセ
ッサ（ＤＳＰ）を具備したアクセラレータを接続して行
う方法に関し、 ニューラルネットのバックプロパゲーションの学習計算
を高速に行うことを目的とし、ニューラルネットの各層
間の出力を計算する前向き処理を、各入力パターンにつ
いて実行し、その出力値を、上記人カバターンに対応し
てメモリに記憶することを、全ての入力パターンに対し
て実行した後、上記記憶されている各層間の出力値を用
いて、入力パターンと教師パターンとの差を求める各層
間のデルタ計算処理と、各層間の重み更新処理を実行す
るとともに、上記ディジタルシグナルプロセッサ（ＤＳ
Ｐ）が具備している、積和演算と、メモリからのデータ
転送とを並行して行う複合演算命令を使用して、上記パ
ックプロパゲーションの学習計算中の積和演算を実行す
るように構成する。
を行うのに、汎用計算機に、ディジタルシグナルプロセ
ッサ（ＤＳＰ）を具備したアクセラレータを接続して行
う方法に関し、 ニューラルネットのバックプロパゲーションの学習計算
を高速に行うことを目的とし、ニューラルネットの各層
間の出力を計算する前向き処理を、各入力パターンにつ
いて実行し、その出力値を、上記人カバターンに対応し
てメモリに記憶することを、全ての入力パターンに対し
て実行した後、上記記憶されている各層間の出力値を用
いて、入力パターンと教師パターンとの差を求める各層
間のデルタ計算処理と、各層間の重み更新処理を実行す
るとともに、上記ディジタルシグナルプロセッサ（ＤＳ
Ｐ）が具備している、積和演算と、メモリからのデータ
転送とを並行して行う複合演算命令を使用して、上記パ
ックプロパゲーションの学習計算中の積和演算を実行す
るように構成する。
本発明は、ニューラルネットのパックプロパゲーション
の学習計算を行うのに、汎用計算機に、ディジタルシグ
ナルプロセンサ（ＤＳＰ）を具備したアクセラレータを
接続して行う方法に関する。
の学習計算を行うのに、汎用計算機に、ディジタルシグ
ナルプロセンサ（ＤＳＰ）を具備したアクセラレータを
接続して行う方法に関する。
近年、コンピュータ技術の進歩に伴って、高速なデータ
処理が可能になって（ると共に、知的な情報処理のニー
ズが高まっている。
処理が可能になって（ると共に、知的な情報処理のニー
ズが高まっている。
特に、最近、注目されている技術に、ニューラルネット
がある。
がある。
該ニューラルネットは、音声や画像などのパターン認識
、ロボットなどの機械制御、エキスバー ゛トシステ
ムなどの知識処理２等々、非常に広い応用分野が考えら
れ、近年、関連研究が盛んに行われている。
、ロボットなどの機械制御、エキスバー ゛トシステ
ムなどの知識処理２等々、非常に広い応用分野が考えら
れ、近年、関連研究が盛んに行われている。
現在、ニューラルネットの開発には、多数のコンピュー
タが使用されているが、最近のパーソナルコンピュータ
（パソコン）の性能の向上と共に、該パソコン上でニュ
ーラルネットのシミュレーションを行って、該学習を行
う例が多くなっている。
タが使用されているが、最近のパーソナルコンピュータ
（パソコン）の性能の向上と共に、該パソコン上でニュ
ーラルネットのシミュレーションを行って、該学習を行
う例が多くなっている。
この場合、該パソコンに、ディジタルシグナルプロセッ
サ（ＤＳＰ） と、メモリとを備えたアクセラレータと
呼ばれるハードウェアを付加しで、高速に該ニューラル
ネットの学習を行わせる。
サ（ＤＳＰ） と、メモリとを備えたアクセラレータと
呼ばれるハードウェアを付加しで、高速に該ニューラル
ネットの学習を行わせる。
この方法は、該ニューラルネットの学習には、多くの繰
り返し演算が必要であることから、上記アクセラレータ
内に記憶された、ニューラルネットの学習を行うファー
ムウェアにより、高速に、該ニューラルネットの学習を
行わせようとするものであるため、該コニ一うルネット
の学習計算中の主要部を占める繰り返し演算を効果的に
行い、より高速に学習できる計算方式が要求される。
り返し演算が必要であることから、上記アクセラレータ
内に記憶された、ニューラルネットの学習を行うファー
ムウェアにより、高速に、該ニューラルネットの学習を
行わせようとするものであるため、該コニ一うルネット
の学習計算中の主要部を占める繰り返し演算を効果的に
行い、より高速に学習できる計算方式が要求される。
〔従来の技術と発明が解決しようとする課Ｈ］第３図は
ニューラルネットの従来の学習計算方式 誘を説明する図であり、（ａｌ） 、 （ａ２） 、
（ａ３１） 〜（ａ３３）は、ニューラルネットのパッ
クプロパゲーション学習の理論を概念的に示し、（ｂ）
は従来の計算手順を示している。
ニューラルネットの従来の学習計算方式 誘を説明する図であり、（ａｌ） 、 （ａ２） 、
（ａ３１） 〜（ａ３３）は、ニューラルネットのパッ
クプロパゲーション学習の理論を概念的に示し、（ｂ）
は従来の計算手順を示している。
パックプロパゲーション法を通用するニューラルネット
は、（ａｌ） 、 （ａ２）図に示したように、多層（
本例では、入力層、中間層、出力層の３層）のネットワ
ークである。
は、（ａｌ） 、 （ａ２）図に示したように、多層（
本例では、入力層、中間層、出力層の３層）のネットワ
ークである。
各層は多くのユニットｉ、ｊ、にで構成されており、各
層のユニット間は、互いに、ある重み（Ｗｊｉ、 Ｗｋ
ｊ）で結合されている。
層のユニット間は、互いに、ある重み（Ｗｊｉ、 Ｗｋ
ｊ）で結合されている。
このネットワークに入力パターンｐ（ｙｐｉ） と、望
ましい出カバターン（教師信号）（ｄｐｋ）の組を与え
ることによって、ネットワークの重みを学習させること
ができる。
ましい出カバターン（教師信号）（ｄｐｋ）の組を与え
ることによって、ネットワークの重みを学習させること
ができる。
該学習は、以下のようにして進められる。
ニューラルネットにある入力パターン（ｙｐｉ）を与え
、出力（ｙｐｋ）を得る。その出力が正しくなければ、
正しい（望ましい）出力値（ｄｐｋ）を、該ニューラル
ネットに教える。
、出力（ｙｐｋ）を得る。その出力が正しくなければ、
正しい（望ましい）出力値（ｄｐｋ）を、該ニューラル
ネットに教える。
すると、ニューラルネットは、正しい出力と実際の出力
値との差（Ｅｐ）が減少するように、該ニューラルネッ
トの内部構造（上記結合の強さ＝重み）を調整する。
値との差（Ｅｐ）が減少するように、該ニューラルネッ
トの内部構造（上記結合の強さ＝重み）を調整する。
この処理を何度も繰り返すことにより、該ニューラルネ
ットは、ある入出力関係を満たすような重みを、自動的
に学習していく。この学習アルゴリズムをバックプロパ
ゲーション法という。
ットは、ある入出力関係を満たすような重みを、自動的
に学習していく。この学習アルゴリズムをバックプロパ
ゲーション法という。
このバックプロパゲーション法による学習計算式の例を
（ａ３１）〜（ａ３３）図に示す。
（ａ３１）〜（ａ３３）図に示す。
上記の（ａｌ）図は、該計算式の各用語の定義を示して
おり、（ａ２）図は、前述のように、該ニューラルネッ
ト （但し、３層ニューラルネット）の構成例を示して
いる。
おり、（ａ２）図は、前述のように、該ニューラルネッ
ト （但し、３層ニューラルネット）の構成例を示して
いる。
上記の計算式において、０〜０式までが、各層の出力を
計算する、前向き処理を示し、■〜■弐。
計算する、前向き処理を示し、■〜■弐。
及び、■〜［相］式が、入力パターン（ｙ ｐｉ）と教
師パターン（ｄｐｋ） との差を求めるデルタ計算を示
し、＠〜［相］、及び、［相］〜Ｏ式が各層間の結合重
みを更新する計算式を示している。
師パターン（ｄｐｋ） との差を求めるデルタ計算を示
し、＠〜［相］、及び、［相］〜Ｏ式が各層間の結合重
みを更新する計算式を示している。
（ｂ）図は上記（ａ３１）〜（ａ３３）図に示したバッ
クプロパゲーションの学習計算を行う時の手順の一例を
示している。
クプロパゲーションの学習計算を行う時の手順の一例を
示している。
即ち、全ての入力パターン（ｙｐｉ）について、該ニュ
ーラルネットの各層の出力を計算する前向き処理１１０
．１１１と、各入力パターン（ｙｐｉ）と教師出力（ｄ
ｐｋ）との差を計算するデルタ計算１１２゜１１３とを
実行した後、各層間の結合重みの更新処理１１４．１１
５を行うことを繰り返し、該入力パターン（ｙｐｉ）と
教師出力（ｄｐｋ）との差が、例えば、ある程度以上小
さ（ならなくなり、該学習が収束した時点、或いは、予
め、定められている最大学習回数を学習した時点で、学
習の終了とする手順で計算を行うのが、−船釣な手法で
あった。
ーラルネットの各層の出力を計算する前向き処理１１０
．１１１と、各入力パターン（ｙｐｉ）と教師出力（ｄ
ｐｋ）との差を計算するデルタ計算１１２゜１１３とを
実行した後、各層間の結合重みの更新処理１１４．１１
５を行うことを繰り返し、該入力パターン（ｙｐｉ）と
教師出力（ｄｐｋ）との差が、例えば、ある程度以上小
さ（ならなくなり、該学習が収束した時点、或いは、予
め、定められている最大学習回数を学習した時点で、学
習の終了とする手順で計算を行うのが、−船釣な手法で
あった。
然して、（ａ３１）〜（ａ３３）図に示したニューラル
ネットの学習計算では、図示されている如くに、多くの
積和演算処理（ΣｗＸｙ）が繰り返される。
ネットの学習計算では、図示されている如くに、多くの
積和演算処理（ΣｗＸｙ）が繰り返される。
前述のアクセラレータが備えているディジタルシグナル
プロセッサ（以下、ＤＳＰという）は、上記積和演算処
理（ΣｗＸｙ）を、汎用のプロセッサ（ＣＰＵ）に比較
して、非常に高速に処理することができる。
プロセッサ（以下、ＤＳＰという）は、上記積和演算処
理（ΣｗＸｙ）を、汎用のプロセッサ（ＣＰＵ）に比較
して、非常に高速に処理することができる。
その為、該ＤＳＰを搭載したアクセラレータをパソコン
に接続してニューラルネットの学習させることで、該ハ
ックプロパゲーションの学習計算を高速に行うことがで
きることが予想されるが、上記（ｂ）図に示した、従来
の計算の手順では、多くの積和演算を含む前向き処理と
、該積和演算を含まないデルタ計算とをシリアルに計算
する処理である為、該ＤＳＰの性能をフルに引き出せな
い問題があった。
に接続してニューラルネットの学習させることで、該ハ
ックプロパゲーションの学習計算を高速に行うことがで
きることが予想されるが、上記（ｂ）図に示した、従来
の計算の手順では、多くの積和演算を含む前向き処理と
、該積和演算を含まないデルタ計算とをシリアルに計算
する処理である為、該ＤＳＰの性能をフルに引き出せな
い問題があった。
本発明は上記従来の欠点に鑑み、ニューラルネットのハ
ックプロパゲーションの学習計算を行うのに、ＤＳＰを
具備したアクセラレータを接続した汎用計算機で行う方
式において、該ＤＳＰの性能をフルに引き出して、該ニ
ューラルネットのバックプロパゲーションの学習計算を
高速に行うことができる方法を提供することを目的とす
るものである。
ックプロパゲーションの学習計算を行うのに、ＤＳＰを
具備したアクセラレータを接続した汎用計算機で行う方
式において、該ＤＳＰの性能をフルに引き出して、該ニ
ューラルネットのバックプロパゲーションの学習計算を
高速に行うことができる方法を提供することを目的とす
るものである。
第１図は本発明の原理構成図であり、（ａ）はＤｓｐの
複合演算命令の実行形式の例を示し、（ｂ）は計算手順
を示す動作フローである。
複合演算命令の実行形式の例を示し、（ｂ）は計算手順
を示す動作フローである。
上記の問題点は下記の如く構成したニューラルネットの
学習計算方法によって解決される。
学習計算方法によって解決される。
（１）ニューラルネットのバックプロパゲーションの学
習計算を、汎用計算機に、ディジタルシグナルプロセッ
サ（ＤＳＰ）を具備したアクセラレータ１を接続して行
う方法であって、 上記ディジタルシグナルプロセッサ（ＤＳＰ） １０が
具備している、積和演算と、メモリ１１がらのデータ転
送とを並行して行う複合演算命令を使用して、上記ハッ
クプロパゲーションの学習計算中の積和演算を実行する
ようしに構成する。
習計算を、汎用計算機に、ディジタルシグナルプロセッ
サ（ＤＳＰ）を具備したアクセラレータ１を接続して行
う方法であって、 上記ディジタルシグナルプロセッサ（ＤＳＰ） １０が
具備している、積和演算と、メモリ１１がらのデータ転
送とを並行して行う複合演算命令を使用して、上記ハッ
クプロパゲーションの学習計算中の積和演算を実行する
ようしに構成する。
（２）ニューラルネットのバックプロパゲーションの学
習計算を行うのに、汎用計算機に、ディジタルシグナル
プロセッサ（ＤＳＰ）を具備したアクセラレータ１を接
続して行う方法であって、ニューラルネットの各層間の
出力を計算する前向き処理１１０．Ｉｌｌを、各人カバ
ターンについて実行し、その出力値を、上記人カバター
ンに対応してメモリ １１に記憶することを、全ての入
力パターンに対して実行した後、 上記記憶されている各層間の出方値を用いて、入力パタ
ーンと教師パターンとの差を求める各層間のデルタ計算
処理１１２．１１３と、各層間の結合重み更新処理１１
４，１１５を実行するように構成する。
習計算を行うのに、汎用計算機に、ディジタルシグナル
プロセッサ（ＤＳＰ）を具備したアクセラレータ１を接
続して行う方法であって、ニューラルネットの各層間の
出力を計算する前向き処理１１０．Ｉｌｌを、各人カバ
ターンについて実行し、その出力値を、上記人カバター
ンに対応してメモリ １１に記憶することを、全ての入
力パターンに対して実行した後、 上記記憶されている各層間の出方値を用いて、入力パタ
ーンと教師パターンとの差を求める各層間のデルタ計算
処理１１２．１１３と、各層間の結合重み更新処理１１
４，１１５を実行するように構成する。
第１図（ａ）は、ＤＳＰでの複合演算命令の実行形式を
示した図である。
示した図である。
アクセラレータｌに具備されている、ＤＳＰ １０にお
いては、本図に示したように、レジスタＡとレジスタＢ
との掛は算を行い、その結果をレジスタＰに格納し、即
、レジスタＣで積和する動作と並行に、メモリ１１の記
憶領域ＭＤの内容をレジスタＡに格納する。即ち、一つ
の積和演算と１次のデータの、メモリ １１からの転送
とを並行して行うことができる。
いては、本図に示したように、レジスタＡとレジスタＢ
との掛は算を行い、その結果をレジスタＰに格納し、即
、レジスタＣで積和する動作と並行に、メモリ１１の記
憶領域ＭＤの内容をレジスタＡに格納する。即ち、一つ
の積和演算と１次のデータの、メモリ １１からの転送
とを並行して行うことができる。
本発明は、該ＤＳＰ １０が備えている、上記複合演算
命令に着目し、上記、第３図（ａ３１）〜（ａ３３）に
示したバックプロパゲーション学習計算式中の、例えば
、■式で示した積和演算、 Ｘｐｉ＝ΣＷｊｉ−ｙｐｉ を実行させるものである。
命令に着目し、上記、第３図（ａ３１）〜（ａ３３）に
示したバックプロパゲーション学習計算式中の、例えば
、■式で示した積和演算、 Ｘｐｉ＝ΣＷｊｉ−ｙｐｉ を実行させるものである。
このとき、ユニットｉの中間層出力ｙｐｉは固定値であ
るので、該積和計算に先立って、上記レジスタＢに設定
しておき、ユニットｊ〜ユニットｉの結合重みＷｊｉを
メモリ １１から順次読み出し、レジスタＡに記憶する
ことで、該■式を高速に実行することができる。
るので、該積和計算に先立って、上記レジスタＢに設定
しておき、ユニットｊ〜ユニットｉの結合重みＷｊｉを
メモリ １１から順次読み出し、レジスタＡに記憶する
ことで、該■式を高速に実行することができる。
この積和演算を、より効果的に行う為に、バックプロパ
ゲーション学習計算の手順を、第１図（ｂ）に示した、
動作フローに従って行うようにする。
ゲーション学習計算の手順を、第１図（ｂ）に示した、
動作フローに従って行うようにする。
即ち、積和演算を含む各層の前向き処理１１０，１１１
のみを、全ての入力パターンについて実行し、その結果
をメモリ １１に、該入力パターン毎に記憶しておくこ
を全ての入力パターンについて終了した後、入力パター
ンと教師パターンとの差の計算を含むデルタ計算１１２
．１１３と、該計算された差に基づいて、各層間の結合
重みを更新する処理１１４、１１５を行うようにするこ
とにより、該積和演算が主体である前向き処理を高速に
実行することができ、その結果として、高速（例えば、
第３図（ｂ）に示した従来方式に比較して、約１．５倍
程度の高速化）に、ニューラルネットの学習計算を実行
することができる効果がある。
のみを、全ての入力パターンについて実行し、その結果
をメモリ １１に、該入力パターン毎に記憶しておくこ
を全ての入力パターンについて終了した後、入力パター
ンと教師パターンとの差の計算を含むデルタ計算１１２
．１１３と、該計算された差に基づいて、各層間の結合
重みを更新する処理１１４、１１５を行うようにするこ
とにより、該積和演算が主体である前向き処理を高速に
実行することができ、その結果として、高速（例えば、
第３図（ｂ）に示した従来方式に比較して、約１．５倍
程度の高速化）に、ニューラルネットの学習計算を実行
することができる効果がある。
以下本発明の実施例を図面によって詳述する。
前述の第１図が、本発明の原理構成図であり、第２図は
本発明の一実施例を示した図であり、パソコンに、アク
セラレータ１を接続し、該アクセラレータ１に備えられ
ているＤＳＰ １０を用いて、ニューラルネットのバッ
クプロパゲーション学習の計算を行うのに、該ＤＳＰ
１０が備えている複合演算命令を使用して、該バックプ
ロパゲーション学習計算中の積和演算を高速に行う手段
が、本発明を実施するのに必要な手段である。尚、全図
を通して同じ符号は同じ対象物を示している。
本発明の一実施例を示した図であり、パソコンに、アク
セラレータ１を接続し、該アクセラレータ１に備えられ
ているＤＳＰ １０を用いて、ニューラルネットのバッ
クプロパゲーション学習の計算を行うのに、該ＤＳＰ
１０が備えている複合演算命令を使用して、該バックプ
ロパゲーション学習計算中の積和演算を高速に行う手段
が、本発明を実施するのに必要な手段である。尚、全図
を通して同じ符号は同じ対象物を示している。
以下、第１図を参照しながら、第２図によって、本発明
のニューラルネットのバックプロパゲージタンの学習計
算方法を説明する。
のニューラルネットのバックプロパゲージタンの学習計
算方法を説明する。
第２図に示した実施例として、パソコンの共通バスに、
アクセラレータ１を接続したシステムを例に挙げる。
アクセラレータ１を接続したシステムを例に挙げる。
このアクセラレータ１内の、図示されていない制御メモ
リに、第１図（ｂ）に示した本発明のニューラルネット
のバックプロパゲーション学習計算手順を指示するファ
ームウェアがロードされる。
リに、第１図（ｂ）に示した本発明のニューラルネット
のバックプロパゲーション学習計算手順を指示するファ
ームウェアがロードされる。
パソコンの中央処理装置（ＣＰＵ）から、このファーム
ウェアを制御する為に、該アクセラレータｌのリセット
、ニューラルネットの構造パラメータ定義（例えば、第
３図（ａ２）に示した３層ニューラルネットの入力層、
中間層、出力層の各ユニット数Ｌｊ＋ｋ） 、学習パラ
メータ定義（例えば、第３図（ａ３）に示したハックプ
ロパゲーション学習計算式中の０式のε、αとか、最大
学習回数等）。
ウェアを制御する為に、該アクセラレータｌのリセット
、ニューラルネットの構造パラメータ定義（例えば、第
３図（ａ２）に示した３層ニューラルネットの入力層、
中間層、出力層の各ユニット数Ｌｊ＋ｋ） 、学習パラ
メータ定義（例えば、第３図（ａ３）に示したハックプ
ロパゲーション学習計算式中の０式のε、αとか、最大
学習回数等）。
学習データ（入力パターン）の書き込み等を行った後、
学習の開始指示、学習の終了監視を行い、該バックプロ
パゲーション学習計算の全てが終了した時点で、学習結
果、例えば、出力層の出力を読み出すことを行う。
学習の開始指示、学習の終了監視を行い、該バックプロ
パゲーション学習計算の全てが終了した時点で、学習結
果、例えば、出力層の出力を読み出すことを行う。
このようにして、アクセラレータ１は、第１図（ｂ）に
示したフローに基づいて、バックプロパゲーション学習
計算を、高速に実行することができる。
示したフローに基づいて、バックプロパゲーション学習
計算を、高速に実行することができる。
即ち、本発明は、パソコンに、アクセラレータ１を接続
し、該アクセラレータ１に備えられているＤＳＰ １０
を用いて、ニューラルネットのバックプロパゲーション
学習の計算を行うのに、該ＤＳＰ１０が備えている複合
演算命令を使用して、該バックプロパゲーション学習計
算中の積和演算を効率良く実行する、即ち、全ての入力
パターンに対して、各層の出力を求める前向き処理を実
行した後、入力パターンと教師パターンとの差を求める
デルタ計算と、その差に基づいて、各層間の結合重みの
更新処理を行うようにしものである。
し、該アクセラレータ１に備えられているＤＳＰ １０
を用いて、ニューラルネットのバックプロパゲーション
学習の計算を行うのに、該ＤＳＰ１０が備えている複合
演算命令を使用して、該バックプロパゲーション学習計
算中の積和演算を効率良く実行する、即ち、全ての入力
パターンに対して、各層の出力を求める前向き処理を実
行した後、入力パターンと教師パターンとの差を求める
デルタ計算と、その差に基づいて、各層間の結合重みの
更新処理を行うようにしものである。
以上、詳細に説明したように、本発明のニューラルネッ
トのバックプロパゲーション学習方法は、例えば、パソ
コンに、ＤＳＰを具備したアクセラレータを接続し、そ
のアクセラレータにおいて、ニューラルネットの各層間
の出力を計算する前向き処理を、全ての入力パターンに
ついて実行し、その出力値を、上記入力パターンに対応
してメモリに記憶することを、全ての入力パターンに対
して実行した後、上記記憶されている各層間の出力値を
用いて、入力パターンと教師パターンとの差を求める各
層間のデルタ計算処理と、各層間の重み更新処理を実行
するとともに、上記ＤＳＰが具備している、積和演算と
、メモリからのデータ転送とを並行して行う複合演算命
令を使用して、上記バックプロパゲーションの学習計算
中の積和演算を効率よく実行するようにしたものである
ので、従来の学習計算手順に比較して、約、１．５倍程
度の高速化が図れる効果がある。
トのバックプロパゲーション学習方法は、例えば、パソ
コンに、ＤＳＰを具備したアクセラレータを接続し、そ
のアクセラレータにおいて、ニューラルネットの各層間
の出力を計算する前向き処理を、全ての入力パターンに
ついて実行し、その出力値を、上記入力パターンに対応
してメモリに記憶することを、全ての入力パターンに対
して実行した後、上記記憶されている各層間の出力値を
用いて、入力パターンと教師パターンとの差を求める各
層間のデルタ計算処理と、各層間の重み更新処理を実行
するとともに、上記ＤＳＰが具備している、積和演算と
、メモリからのデータ転送とを並行して行う複合演算命
令を使用して、上記バックプロパゲーションの学習計算
中の積和演算を効率よく実行するようにしたものである
ので、従来の学習計算手順に比較して、約、１．５倍程
度の高速化が図れる効果がある。
第１図は本発明の原理構成図。
第２図は本発明の実施例を示した図。
第３図はニューラルネットの従来の学習計算方式を説明
する図。 である。 図面において、 ｌはアクセラレータ。 １０はディジタルシグナルプロセッサ（ＤＳＰ） 。 １１はメモリ。 １１０〜１１５は処理ステップ。 ■〜＠は計算式。 をそれぞれ示す。 ＤＳＰ 第 １ 図（そのｌ） 第 １ 図（その２） 第２図 （ａｌ） ニューラルネットの構成（３層ニューラル不フト）（ａ
２） ニューラルネットの従来の学習計夏方式を説明する図第
３ 図 （そのｌ） ｅ Ｏ■ ｅ ・タニ ＞Ｘ＞Ｘ ゝ − し−一一一一一」 Ｌ−一一一一一」
する図。 である。 図面において、 ｌはアクセラレータ。 １０はディジタルシグナルプロセッサ（ＤＳＰ） 。 １１はメモリ。 １１０〜１１５は処理ステップ。 ■〜＠は計算式。 をそれぞれ示す。 ＤＳＰ 第 １ 図（そのｌ） 第 １ 図（その２） 第２図 （ａｌ） ニューラルネットの構成（３層ニューラル不フト）（ａ
２） ニューラルネットの従来の学習計夏方式を説明する図第
３ 図 （そのｌ） ｅ Ｏ■ ｅ ・タニ ＞Ｘ＞Ｘ ゝ − し−一一一一一」 Ｌ−一一一一一」
Claims (2)
- （１）ニューラルネットのバックプロパゲーションの学
習計算を、汎用計算機に、ディジタルシグナルプロセッ
サ（ＤＳＰ）（１０）を具備したアクセラレータ（１）
を接続して行う方法であって、 上記ディジタルシグナルプロセッサ（ＤＳＰ）（１０）
が具備している、積和演算と，メモリ（１１）からのデ
ータ転送とを並行して行う複合演算命令を使用して、上
記バックプロパゲーションの学習計算中の積和演算を実
行することを特徴とするニューラルネットの学習計算方
法。 - （２）ニューラルネットのバックプロパゲーションの学
習計算を行うのに、ディジタルシグナルプロセッサ（Ｄ
ＳＰ）（１０）を具備したアクセラレータ（１）を接続
した汎用計算機で行う方法であって、ニューラルネット
の各層間の出力を計算する前向き処理（１１０，１１１
）を、各入力パターンについて実行し、その出力値を、
上記入力パターンに対応してメモリ（１１）に記憶する
ことを、全ての入力パターンに対して実行した後、 上記記憶されている各層間の出力値を用いて、入力パタ
ーンと教師パターンとの差を求める各層間のデルタ計算
処理（１１２，１１３）と，各層間の結合重み更新処理
（１１４，１１５）を実行することを特徴とするニュー
ラルネットの学習計算方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2265496A JPH04195251A (ja) | 1990-10-03 | 1990-10-03 | ニューラルネットの学習計算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2265496A JPH04195251A (ja) | 1990-10-03 | 1990-10-03 | ニューラルネットの学習計算方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH04195251A true JPH04195251A (ja) | 1992-07-15 |
Family
ID=17417992
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2265496A Pending JPH04195251A (ja) | 1990-10-03 | 1990-10-03 | ニューラルネットの学習計算方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH04195251A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2020042782A (ja) * | 2018-08-10 | 2020-03-19 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 人工知能チップに適用される算出方法および人工知能チップ |
| CN111291880A (zh) * | 2017-10-30 | 2020-06-16 | 上海寒武纪信息科技有限公司 | 计算装置以及计算方法 |
-
1990
- 1990-10-03 JP JP2265496A patent/JPH04195251A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111291880A (zh) * | 2017-10-30 | 2020-06-16 | 上海寒武纪信息科技有限公司 | 计算装置以及计算方法 |
| JP2020042782A (ja) * | 2018-08-10 | 2020-03-19 | ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド | 人工知能チップに適用される算出方法および人工知能チップ |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chinn et al. | Systolic array implementations of neural nets on the MasPar MP-1 massively parallel processor | |
| Guo et al. | Customisable control policy learning for robotics | |
| Puskorius et al. | Truncated backpropagation through time and Kalman filter training for neurocontrol | |
| Seow et al. | Recurrent neural network as a linear attractor for pattern association | |
| JPH04195251A (ja) | ニューラルネットの学習計算方法 | |
| JP3168204B2 (ja) | ネットワーク構成データ処理装置 | |
| JPH04237388A (ja) | ニューロプロセッサ | |
| Murali et al. | A New Crab Shell Search Algorithm for Optimal Assembly Sequence Generation | |
| JP2606317B2 (ja) | 学習処理装置 | |
| Li et al. | Covid-19 Epidemic Trend Prediction Based on CNN-StackBiLSTM | |
| Berke | Application of artificial neural networks to the design optimization of aerospace structural components | |
| KR20190125694A (ko) | 학습 및 추론 장치 및 그 방법 | |
| JPH04291662A (ja) | 階層ネットワーク構成演算素子 | |
| JPH05128285A (ja) | ニユーロプロセツサ | |
| JP2877413B2 (ja) | 余剰ニューロン決定処理方式 | |
| Ichikawa et al. | Realization model for brain computing | |
| Wang et al. | Neural network simulation on shared-memory vector multiprocessors | |
| Turchenko | Fine-grain approach to development of parallel training algorithm of multi-layer perceptron | |
| Samad | Neurocontrol: Concepts and applications | |
| JPH04180152A (ja) | ニューラルネットワークシステム | |
| JP3137669B2 (ja) | 階層ネットワーク構成演算素子 | |
| JPH05197702A (ja) | 神経回路網シミュレータ装置 | |
| JPH03123959A (ja) | 学習処理装置 | |
| CN115481688A (zh) | 基于特征自适应迁移强化学习的机器人装配方法及系统 | |
| Belikov et al. | Calculation of the control signal in MIMO NN-based ANARX models: Analytical approach |