JP3220021B2 - Neural network learning acceleration system - Google Patents
Neural network learning acceleration systemInfo
- Publication number
- JP3220021B2 JP3220021B2 JP24758696A JP24758696A JP3220021B2 JP 3220021 B2 JP3220021 B2 JP 3220021B2 JP 24758696 A JP24758696 A JP 24758696A JP 24758696 A JP24758696 A JP 24758696A JP 3220021 B2 JP3220021 B2 JP 3220021B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- neural network
- coupling coefficient
- linear sum
- acceleration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Feedback Control In General (AREA)
Description
【0001】[0001]
【発明の属する技術分野】本発明は、ニューラルネット
ワークに関し、特に、学習時の繰り返し回数の減少に関
する。[0001] 1. Field of the Invention [0002] The present invention relates to a neural network, and more particularly to a method for reducing the number of repetitions during learning.
【0002】[0002]
【従来の技術】従来、ニューラルネットワークの学習に
は、BP(Back Propagation Alg
orithm,誤差逆伝搬アルゴリズム)が用いられる
ことが多い。ニューラルネットワークは、一つ以上のニ
ューロンからなる入力層,出力層,少なくとも1つの中
間層から構成される階層構造を有する。2. Description of the Related Art Conventionally, in neural network learning, BP (Back Propagation Alg) has been used.
orthm, an error back propagation algorithm) is often used. The neural network has a hierarchical structure composed of an input layer, an output layer, and at least one intermediate layer composed of one or more neurons.
【0003】図4は、従来のニューラルネットワークの
動作の一例を示すフローチャートである。この図では、
ニューロン数を3とし、1つの中間層から構成されてい
る。FIG. 4 is a flowchart showing an example of the operation of a conventional neural network. In this figure,
The number of neurons is 3, and it is composed of one intermediate layer.
【0004】一般に、層の数をK,第k層のニューロン
数をNk ,第k層の出力をX(k) =X(k) i:i=1〜
Nk 、第(k−1)層と第k層の結合係数をW(k) =W
(k)ij:i=1〜Nk-1 ,j=1〜Nk と記すとする
と、ニューラルネットワークの動作とは、第(k−1)
層の出力X(k-1) から第k層の出力X(k) を、Generally, the number of layers is K, the number of neurons in the k-th layer is N k , and the output of the k-th layer is X (k) = X (k) i: i = 1 to
N k , the coupling coefficient between the (k−1) th layer and the kth layer is W (k) = W
(k) ij: If i = 1 to N k−1 and j = 1 to N k , the operation of the neural network is (k−1)
The output X of the layers of the (k-1) from the k-th layer output X (k),
【0005】[0005]
【数1】 (Equation 1)
【0006】として求め、最終的に入力層から入力され
たデータを出力層から出力するデータに変換することで
ある。ここで、k=1の層が入力層,k=Kの層が出力
層である。また、関数fは、飽和特性を持つ単調増加関
数である。And converting the data finally input from the input layer into data output from the output layer. Here, the layer of k = 1 is the input layer, and the layer of k = K is the output layer. The function f is a monotonically increasing function having a saturation characteristic.
【0007】ニューラルネットワークの学習とは、入力
層に入った入力値に対する出力層の出力値が、期待され
る値となるように全層の結合係数W(k) ijを修正して
ゆく動作のことである。[0007] Learning of the neural network is an operation of correcting the coupling coefficients W (k) ij of all the layers so that the output value of the output layer with respect to the input value entering the input layer becomes an expected value. That is.
【0008】出力層の出力X(K) と期待される値T=
(Ti:i=1〜Nk )との差が学習結果の評価を与え
る。また、2乗誤差E=1/2|X(k) −T|2 のW
(k) ijによる偏微分値δE/δW(k) ijが0に近づ
くことで、繰り返し学習の効果が飽和した(収束した)
ことが示される。The output X (K) of the output layer and the expected value T =
The difference from (Ti: i = 1 to N k ) gives an evaluation of the learning result. In addition, the square error E = 1/2 | X ( k) -T | 2 of W
(k) ij Partial differential value δE / δW (k) ij approaches 0, the effect of iterative learning is saturated (converged)
Is shown.
【0009】[0009]
【発明が解決しようとする課題】上述した従来の技術に
おいては、学習の収束には、非常に多くの繰り返し学習
を行わなければならない。従って、ニューラルネットワ
ークの学習時に、学習時間が膨大にかかるという問題を
有している。In the prior art described above, a great number of repetitive learnings must be performed for the convergence of the learning. Therefore, there is a problem that it takes an enormous amount of learning time when learning the neural network.
【0010】従って、本発明の目的は、ニューラルネッ
トワークの学習時の繰り返し回数を減少させることによ
り、学習時間を短縮することにある。Accordingly, an object of the present invention is to reduce the number of repetitions at the time of learning of a neural network, thereby shortening the learning time.
【0011】[0011]
【課題を解決するための手段】本発明は、1つ以上のニ
ューロンからなる入力層および出力層と少なくとも1つ
の中間層から構成されるニューラルネットワークと、前
記ニューラルネットワークで計算される結合係数、およ
び出力層の出力と期待される値との差である評価誤差
を、学習が行われる毎に保存するデータ保存装置と、前
記学習の回数をカウントしていき、学習回数が一定回数
に達していない場合には、前記ニューラルネットワーク
に処理を返す学習回数カウンタと、前記学習回数カウン
タにより一定回数の学習が終了していたら、前記データ
保存装置により保存された結合係数と評価誤差とを利用
し、結合係数の最適線形和を計算し、それを新しい結合
係数として前記ニューラルネットワークに渡す学習加速
装置と、前記学習加速装置で計算された最適線形和を新
しい結合係数としてニューラルネットワークを実行した
ときに、学習加速の効果があったかどうかを判定する学
習加速判定装置とを備え、学習時の繰り返し回数を減少
させることを特徴とするニューラルネットワーク学習加
速システムである。SUMMARY OF THE INVENTION The present invention providesOne or more d
And at least one of the input and output layers
Composed of an intermediate layerNeural networks,Previous
Coupling coefficients calculated by the neural network, and
Error, the difference between the output of the output layer and the expected value
And a data storage device that saves each time learning is performed.
The number of times of learning is counted, and the number of times of learning is constant
If not reached,The neural network
A learning counter that returns the process to the learning counter.
If a certain number of learnings have been completed by the
Use the coupling coefficient and evaluation error stored by the storage device
Calculate the optimal linear sum of the coupling coefficients,
As a coefficientThe neural networkLearning to pass to
Device and the optimal linear sum calculated by the learning accelerator
Neural network implemented as new coupling coefficient
Sometimes learning to determine whether the effect of learning acceleration was effective
Equipped with a learning acceleration judgment device to reduce the number of repetitions during learning
Neural network learning
Speed system.
【0012】また、データ保存装置が、結合係数と評価
誤差とをファイルに書き出すデータ出力部と、ファイル
を保存するディスク装置とを有すると好ましい。It is preferable that the data storage device has a data output unit for writing the coupling coefficient and the evaluation error to a file, and a disk device for storing the file.
【0013】さらに、学習回数カウンタが、カウンタ変
数に0を代入する初期化部と、カウンタ変数の値を1増
加させるカウントアップ部と、カウンタ変数を予め決め
られた定数と大きさとを比較する判定部とを有すると好
ましい。[0013] Further, the learning number counter includes an initialization unit for substituting 0 for the counter variable, a count-up unit for increasing the value of the counter variable by 1, and a judgment for comparing the counter variable with a predetermined constant and magnitude. It is preferable to have a part.
【0014】またさらに、判定部において、予め決めら
れた定数が8であると良い。また、予め決められた定数
が、使用者によって自由に設定できると良い。Further, it is preferable that the predetermined constant is 8 in the determination section. Further, it is preferable that a predetermined constant can be freely set by the user.
【0015】また、学習加速装置が、ディスク装置上の
ファイルから結合係数および評価誤差を読み込むデータ
入力部と、線形和の線形予測誤差が最小の意味で最適と
なるように、最適線形和を計算する最適線形和計算部と
を有すると好ましい。[0015] Further, the learning acceleration device calculates the optimum linear sum so that the linear prediction error of the linear sum is optimal in the minimum sense, and a data input unit for reading the coupling coefficient and the evaluation error from the file on the disk device. It is preferable to have an optimal linear sum calculation unit that performs the calculation.
【0016】本発明のニューラルネットワーク値の学習
加速システムは、ニューラルネットワークの学習時に結
合係数Wを改善する。The neural network value learning acceleration system of the present invention improves the coupling coefficient W during learning of the neural network.
【0017】より具体的には、学習の繰り返し毎の結合
係数および出力層の出力値Xと期待される値Tとの差
(評価誤差)|X−T|を保存する手段と、学習の繰り
返し回数をカウントする手段と、結合係数Wを改善する
手段と、学習加速の効果を判定する手段とを有する。More specifically, means for storing a coupling coefficient for each learning iteration and a difference (evaluation error) | X−T | between the output value X of the output layer and the expected value T; It has means for counting the number of times, means for improving the coupling coefficient W, and means for determining the effect of learning acceleration.
【0018】結合係数および評価誤差を保存する手段で
保存された学習繰り返し毎の結合係数と評価誤差とを用
いて、結合係数Wを改善する手段で、結合係数および評
価誤差をより小さくするように改善する。結合係数Wの
改善は、保存されている今までの結合係数の最適線形和
を新たな結合係数として、採用することにより行う(最
終線形和については後述)。学習開始時には、最適線形
和をとるための過去の結合係数がないので、一定回数は
従来のBPにより学習の繰り返しを行う。その繰り返し
回数をカウントする手段でカウントし、最適線形和によ
る結合係数Wの改善を始める時を決定する。また、最適
線形和による結合係数Wの改善の効果が現れない場合も
あるので、学習加速の効果を判定する手段により、その
結果を判定する。A means for improving the coupling coefficient W by using the coupling coefficient and the evaluation error for each learning iteration stored by the means for storing the coupling coefficient and the evaluation error is used to reduce the coupling coefficient and the evaluation error. Improve. The improvement of the coupling coefficient W is performed by using the stored optimal linear sum of the coupling coefficients so far as a new coupling coefficient (the final linear sum will be described later). At the start of learning, since there is no past coupling coefficient for obtaining an optimal linear sum, learning is repeated a predetermined number of times using a conventional BP. The number of repetitions is counted by means for counting, and the time when the improvement of the coupling coefficient W by the optimal linear sum is started is determined. In some cases, the effect of improving the coupling coefficient W by the optimal linear sum does not appear, and the result is determined by means for determining the effect of learning acceleration.
【0019】最適線形和の定義および決定法について
は、一意的でないが、ここでは線形和の線形予測誤差
が、最小2乗の意味で最適となるように最適線形和を決
定する方法を述べる。この他には、例えば線形予測誤差
がミニマックスの意味で最適となるようにする選択(チ
ェビシェフ加速)も有効である。Although the definition and determination method of the optimal linear sum are not unique, here, a method for determining the optimal linear sum such that the linear prediction error of the linear sum is optimal in the sense of least square will be described. In addition to this, for example, selection (Chebyshev acceleration) for making the linear prediction error optimal in the sense of minimax is also effective.
【0020】まず、層kの蓄積された結合係数の線形和
をFirst, the linear sum of the accumulated coupling coefficients of the layer k is
【0021】[0021]
【数2】 (Equation 2)
【0022】とし、線形和W(k) (k=2〜K)に対す
る線形推定誤差D’をAnd the linear estimation error D ′ for the linear sum W (k) (k = 2 to K) is
【0023】[0023]
【数3】 (Equation 3)
【0024】とする。ここで、(A,B)は線形和に利
用する蓄積データの範囲を表し、線形和係数C(n)
は、It is assumed that Here, (A, B) represents the range of the accumulated data used for the linear sum, and the linear sum coefficient C (n)
Is
【0025】[0025]
【数4】 (Equation 4)
【0026】を満たす未知数である。An unknown that satisfies.
【0027】(式3)の条件下で、誤差ベクトルの(式
2)の2乗ノルム|D’|2 を最小にするようなC
(n):n=A〜Bは、例えば未定定数法で容易に求め
られる。Under the condition of (Equation 3), a C that minimizes the square norm | D '| 2 of (Equation 2) of the error vector
(N): n = AB is easily obtained by, for example, the undetermined constant method.
【0028】最適線形和から求められた結合係数が、評
価誤差をより小さくするような真の結合係数に近づくか
どうかは、次のように説明できる。 (1)もし、「真の結合係数Wと各回の結合係数Wnと
の差」と「評価誤差」とが線形関係にあり、|Wn−W
|の張る空間が完全ならば、最適線形和は、真の結合係
数Wと一致する。 (2)もし、「真の結合係数Wと各回の結合係数Wnと
の差」と「評価誤差」とが線形関係にあれば、有限N個
の|Wn−W|の基底空間においては、最適線形和は、
「最適な結合係数」である。Whether or not the coupling coefficient obtained from the optimal linear sum approaches a true coupling coefficient that reduces the evaluation error can be explained as follows. (1) If "the difference between the true coupling coefficient W and the coupling coefficient Wn of each time" and the "evaluation error" have a linear relationship, | Wn-W
If the space spanned by | is perfect, the optimal linear sum matches the true coupling coefficient W. (2) If the “difference between the true coupling coefficient W and the coupling coefficient Wn of each time” and the “evaluation error” are in a linear relationship, the optimal space in the finite N | Wn−W | The linear sum is
"Optimal coupling coefficient".
【0029】元々、最適線形和は、評価誤差を最小にす
るように求められるので、|Wn−W|が張る基底空間
内では、最適な結合係数になる。すなわち、|Wn−W
|と評価誤差とは線形関係という仮定なので、評価誤差
が最小であるということは、|Wn−W|が最小という
ことである。Originally, the optimum linear sum is obtained so as to minimize the evaluation error, so that the optimum coupling coefficient is obtained in a base space spanned by | Wn-W |. That is, | Wn-W
Since | and the evaluation error are assumed to be in a linear relationship, minimizing the evaluation error means that | Wn-W | is minimum.
【0030】また、n回目の評価誤差を、|Wn−W|
の各成分でテーラー展開することができる。このとき、
Wnが十分Wに近ければ2次以降の高次式は、ほとんど
の場合無視でき、線形関係が成り立つ。Further, the n-th evaluation error is given by | Wn-W |
Can be tailored with each component. At this time,
If Wn is sufficiently close to W, higher-order expressions of second and higher orders can be ignored in most cases, and a linear relationship holds.
【0031】また、Wnの線形和を計算するときに高次
項同志が打ち消しあう場合もある。よって、最適線形和
は、各Wnのどれよりも真の結合係数Wに近くなる可能
性が大きい。When calculating the linear sum of Wn, higher-order terms may cancel each other. Therefore, the optimal linear sum is more likely to be closer to the true coupling coefficient W than any of the Wn.
【0032】[0032]
【発明の実施の形態】次に、本発明の実施例について図
面を参照して詳細に説明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Next, embodiments of the present invention will be described in detail with reference to the drawings.
【0033】図1は、本発明のニューラルネットワーク
学習加速システムの実施例の構成を示すブロック図であ
る。このシステムは、従来のニューラルネットワーク1
と、データ保存装置2と、学習回数カウンタ3と、学習
加速装置4と、学習加速判定装置5とから構成されてい
る。各機能については、まず、従来のニューラルネット
ワーク1において、従来通りのBPによる学習が行われ
る。次に、データ保存装置2において、従来のニューラ
ルネットワーク1で計算される結合係数とそのときの評
価誤差(出力層の出力と期待される値との差)を、学習
が行われる毎に保存する。学習回数カウンタ3では、学
習回数をカウントしていき、一定回数の学習が終了して
いたら、学習加速装置4に処理を渡す。学習回数が一定
回数に達していない場合には、従来のニューラルネット
ワーク1に処理を返す。学習加速装置4では、データ保
存装置2により保存された結合係数と評価誤差とを利用
し、結合係数の最適線形和を計算し、それを新しい結合
係数として従来のニューラルネットワーク1に渡す。学
習加速判定装置5では、学習加速装置4で計算された最
適線形和を新しい結合係数としてニューラルネットワー
クを実行したときに、学習加速の効果があったかどうか
を判定する。FIG. 1 is a block diagram showing the configuration of an embodiment of the neural network learning acceleration system of the present invention. This system uses a conventional neural network 1
, A data storage device 2, a learning counter 3, a learning acceleration device 4, and a learning acceleration determination device 5. For each function, the conventional neural network 1 first performs the conventional BP learning. Next, in the data storage device 2, the coupling coefficient calculated by the conventional neural network 1 and the evaluation error at that time (the difference between the output of the output layer and the expected value) are stored every time learning is performed. . The learning number counter 3 counts the number of times of learning, and passes the processing to the learning acceleration device 4 when the learning of a certain number of times has been completed. If the number of times of learning has not reached the certain number, the process returns to the conventional neural network 1. The learning acceleration device 4 calculates the optimal linear sum of the coupling coefficients by using the coupling coefficients and the evaluation error stored by the data storage device 2 and passes the calculated linear sum to the conventional neural network 1 as a new coupling coefficient. The learning acceleration determination device 5 determines whether or not the effect of learning acceleration has been obtained when the neural network is executed using the optimal linear sum calculated by the learning acceleration device 4 as a new coupling coefficient.
【0034】次に、図2は、本発明のニューラルネット
ワーク学習加速システムの実施例の動作を示すフローチ
ャートである。この図を参照して動作を説明する。 1.まず、ニューラルネットワークの各層間の結合係数
Wに初期値を設定する(ステップA1)。 2.学習用入力データを読み込む(ステップA2)。学
習用入力データとは、正しい出力値が、予め分かってい
るデータである。 3.学習回数カウンタを初期化する(ステップA3)。 4.学習用入力データでニューラルネットワークを実行
し、出力層から出力値Xを得る(ステップA4)。 5.評価誤差|X−T|を計算する(ステップA5)。 6.評価誤差が収束判定値より小さいかどうかを調べる
(ステップA6)。FIG. 2 is a flowchart showing the operation of the embodiment of the neural network learning acceleration system according to the present invention. The operation will be described with reference to FIG. 1. First, an initial value is set for the coupling coefficient W between each layer of the neural network (step A1). 2. The input data for learning is read (step A2). The learning input data is data for which a correct output value is known in advance. 3. The learning counter is initialized (step A3). 4. A neural network is executed with the learning input data, and an output value X is obtained from an output layer (step A4). 5. An evaluation error | X−T | is calculated (step A5). 6. It is checked whether the evaluation error is smaller than the convergence judgment value (step A6).
【0035】もし評価誤差が収束判定値より小さけれ
ば、学習を終了する。もし評価誤差が収束誤差よりも大
きければ、ステップA7を行う。 7.ニューラルネットワーク実行前に学習加速を行って
いるか調べる(ステップA7)。If the evaluation error is smaller than the convergence judgment value, the learning is terminated. If the evaluation error is larger than the convergence error, step A7 is performed. 7. Before executing the neural network, it is checked whether learning acceleration is performed (step A7).
【0036】学習加速を行っていれば、ステップA14
を行い、学習加速を行っていなければステップA8を行
う。 8.結合係数Wと評価誤差とを比較する(ステップA
8)。 9.学習回数カウンタをカウントアップする(ステップ
A9)。 10.学習回数が一定回数より大きいかどうかを調べる
(ステップA10)。If learning acceleration has been performed, step A14
Is performed, and if learning acceleration is not performed, step A8 is performed. 8. The coupling coefficient W is compared with the evaluation error (step A
8). 9. The learning counter is counted up (step A9). 10. It is checked whether the number of times of learning is greater than a certain number (step A10).
【0037】小さければ従来のBPによる学習(ステッ
プA11)を行い、結合係数を更新してステップA4に
もどり、更新した結合係数でニューラルネットワークを
実行する。If it is smaller, learning by the conventional BP (step A11) is performed, the coupling coefficient is updated, and the process returns to step A4 to execute the neural network with the updated coupling coefficient.
【0038】大きければ、ステップA8で保存していた
過去の結合係数と評価誤差とを読み込み(ステップA1
2)、結合係数の最適線形和を計算する(ステップA1
3)。計算した最適線形和を新しい結合係数とし、ステ
ップA3へ戻る。 11.学習加速終了後の一回目のニューラルネットワー
ク実行後に、学習加速の評価を行う(ステップA1
4)。 12.学習加速の効果があるかどうか判断し(ステップ
A15)、効果がなければ、学習加速直前の結合係数お
よび評価誤差を今回の結合係数および評価誤差として再
設定し、ステップA8を行う。効果があれば、そのまま
ステップA8を行う。If it is larger, the past coupling coefficient and the evaluation error stored in step A8 are read (step A1).
2) Calculate the optimal linear sum of the coupling coefficients (step A1)
3). The calculated optimal linear sum is used as a new coupling coefficient, and the process returns to step A3. 11. After the first neural network is executed after the completion of the learning acceleration, the learning acceleration is evaluated (step A1).
4). 12. It is determined whether or not the learning acceleration is effective (step A15). If there is no effect, the coupling coefficient and the evaluation error immediately before the learning acceleration are reset as the current coupling coefficient and the evaluation error, and step A8 is performed. If there is an effect, step A8 is performed as it is.
【0039】以上、本発明の実施例の動作について説明
したが、次に、各ステップにおける動作がどの装置にお
いて行われるかについて説明する。The operation of the embodiment of the present invention has been described above. Next, the apparatus in which the operation in each step is performed will be described.
【0040】ステップA1,ステップA2,ステップA
4〜A6,ステップA11は、図1における従来のニュ
ーラルネットワーク1で行う。ステップA3,ステップ
A9,ステップA10は、図1における学習カウンタ3
で行う。ステップA8は、図1における保存装置2で行
う。ステップA12,ステップA13は、図1における
学習加速装置4で行う。ステップA7,ステップA14
〜A16は、図1における学習加速判定装置5で行う。Step A1, Step A2, Step A
4 to A6 and step A11 are performed by the conventional neural network 1 in FIG. Steps A3, A9 and A10 correspond to learning counter 3 in FIG.
Do with. Step A8 is performed by the storage device 2 in FIG. Steps A12 and A13 are performed by the learning acceleration device 4 in FIG. Step A7, Step A14
Steps A16 to A16 are performed by the learning acceleration determination device 5 in FIG.
【0041】次に、図3は、本発明のニューラルネット
ワーク学習加速システムの実施例の構成を詳細に示した
ブロック図である。これによれば、データ保存装置2
は、結合係数と評価誤差をファイルに書き出すデータ出
力部21と、ファイルを保存するディスク装置22から
構成される。学習回数カウンタ3はカウンタ変数に0を
代入する初期化部31と、カウンタ変数の値を1増加さ
せるカウントアップ部32と、カウンタ変数を予め決め
られた定数と大きさとを比較する判定部33から構成さ
れる。判定部33の予め決められた定数はここでは8が
設定されているものとする。学習加速装置4は、ディス
ク装置22上のファイルから結合係数および評価誤差を
読み込むデータ入力部41と、線形和の線形予測誤差が
最小の意味で最適となるように、最適線形和を計算する
最適線形和計算部42から構成される。学習加速判定装
置5は、学習加速の直前と直後の評価誤差を比較し、学
習加速の効果があるかどうかの判定を行う。FIG. 3 is a block diagram showing in detail the configuration of an embodiment of the neural network learning acceleration system according to the present invention. According to this, the data storage device 2
Is composed of a data output unit 21 for writing a coupling coefficient and an evaluation error to a file, and a disk device 22 for storing the file. The learning number counter 3 includes an initialization unit 31 that substitutes 0 for a counter variable, a count-up unit 32 that increases the value of a counter variable by 1, and a determination unit 33 that compares a counter variable with a predetermined constant and size. Be composed. Here, it is assumed that the predetermined constant of the determination unit 33 is set to 8 here. The learning acceleration device 4 includes a data input unit 41 that reads a coupling coefficient and an evaluation error from a file on the disk device 22 and an optimal device that calculates an optimal linear sum so that a linear prediction error of the linear sum is optimal in a minimum sense. It comprises a linear sum calculation unit 42. The learning acceleration determination device 5 compares the evaluation errors immediately before and immediately after the learning acceleration, and determines whether the learning acceleration is effective.
【0042】次に、図3により、本発明の実施例の動作
について、さらに詳細に説明する。Next, the operation of the embodiment of the present invention will be described in more detail with reference to FIG.
【0043】まず、従来のニューラルネットワーク1に
は、結合係数Wの初期値が設定されている(ステップA
1)。First, an initial value of the coupling coefficient W is set in the conventional neural network 1 (step A).
1).
【0044】このニューラルネットワークに正しい出力
値が、(1,2,3)となるような学習用入力データを
入力する(ステップA2)。Learning input data such that the correct output value is (1, 2, 3) is input to this neural network (step A2).
【0045】学習カウンタ3の初期化部31で、カウン
タ変数に0を代入し(ステップA3)、初期値の結合係
数でニューラルネットワークを実行する(ステップA
4)。ニューラルネットワークの出力X1(X11,X
12,X13)と正しい出力値(1,2,3)の差(X
11−1,X12−2,X13)を評価誤差として計算
する(ステップA5)。評価誤差のRMS(2乗平均の
ルート、Root MeanSquare)が収束判定
値より小さいかどうかを判定する(ステップA6)。小
さければ、学習を終了する。大きければ、ニューラルネ
ットワーク実行前に学習加速を行っているかどうかを調
べる。この場合行っていないので、データ保存装置2の
データ出力部21で、結合係数と評価誤差とを、ディス
ク装置22上にファイルを作成し、そのファイルに書き
込む(ステップA8)。学習加速を行っていれば、学習
加速の評価を行う(ステップA14,後述)。学習回数
カウンタ3のカウントアップ部32で、カウンタ変数の
値を1増加させ(ステップA9)、判定部33のカウン
タ変数の値がある一定値より大きいかどうか調べる(ス
テップA10)。ある一定値は、ここでは8が設定され
ているものとする。カウンタ変数の値が8より小さけれ
ば、BPによる従来の学習方法によって、結合係数を更
新し(ステップA11)、その結合係数を使用して、再
度ニューラルネットワークの実行へ戻り、後の処理を繰
り返す。繰り返し時に、結合係数と評価誤差とを保存す
る時には、ディスク上にファイルができているので、そ
のファイルにアペンド(追加)する。また、カウンタ変
数が8より大きいときには学習加速装置4で学習加速を
行う。学習の繰り返しが8回未満で、学習が終了する
と、本発明の学習加速は行わないが、その場合は、学習
の繰り返し回数が少ないので、加速の必要がないのであ
る。The initialization section 31 of the learning counter 3 substitutes 0 for the counter variable (step A3), and executes the neural network with the coupling coefficient of the initial value (step A).
4). The output X1 (X11, X
12, X13) and the correct output value (1, 2, 3) (X
11-1, X12-2, X13) are calculated as evaluation errors (step A5). It is determined whether the RMS (root mean square, root mean square) of the evaluation error is smaller than the convergence determination value (step A6). If it is smaller, the learning ends. If it is larger, check whether learning acceleration is performed before executing the neural network. In this case, since the processing has not been performed, the data output unit 21 of the data storage device 2 creates a file on the disk device 22 and writes the coupling coefficient and the evaluation error in the file (step A8). If the learning acceleration has been performed, the learning acceleration is evaluated (step A14, described later). The count-up unit 32 of the learning counter 3 increments the value of the counter variable by 1 (step A9), and checks whether the value of the counter variable of the determination unit 33 is larger than a certain value (step A10). It is assumed that a certain constant value is set to 8 here. If the value of the counter variable is smaller than 8, the coupling coefficient is updated by the conventional learning method using BP (step A11), and the process returns to the execution of the neural network using the coupling coefficient again to repeat the subsequent processing. At the time of repetition, when the coupling coefficient and the evaluation error are stored, a file is created on the disk, and the file is appended (added) to the file. When the counter variable is larger than 8, the learning acceleration device 4 accelerates the learning. If the learning is repeated less than eight times and the learning is completed, the learning acceleration of the present invention is not performed.
【0046】学習加速装置4のデータ入力部41では、
ディスク上のファイルから結合係数と評価誤差とを読み
込む(ステップA12)。ファイルには、結合係数と評
価誤差の組が8組保存されているので、全て読み込む。
最適線形計算部42で、8個の結合係数の最適線形和を
計算する(ステップA13)。最適線形和の計算は、
(式2)で計算される評価誤差の線形和D’の2乗ノル
ム|D’|2 が最小になるように線形和係数を求め、
(式1)に示すようにその線形和係数を使用して結合係
数の最適線形和を計算する。このように計算された結合
係数の最適線形和は、線形和をとった結合係数より評価
誤差が小さくなるような結合係数になる。この最適線形
和を結合係数として、ステップA3に戻り、後の処理を
繰り返す。このとき、ステップA7では、学習加速を行
った直後なので、学習加速の評価(ステップA14)に
分岐する。学習加速判定装置5では、現在の評価誤差を
学習加速直前の評価誤差と比較する。現在の評価誤差の
ほうが小さければ、そのまま現在の結合係数と評価誤差
を保存する(ステップA8)。現在の評価誤差のほうが
大きければ、学習加速の効果がないものとし、学習加速
直前の結合係数と評価誤差として再設定し、それを保存
する。In the data input section 41 of the learning acceleration device 4,
The coupling coefficient and the evaluation error are read from a file on the disk (step A12). Since eight sets of coupling coefficients and evaluation errors are stored in the file, they are all read.
The optimum linear calculator 42 calculates the optimum linear sum of the eight coupling coefficients (step A13). The calculation of the optimal linear sum is
A linear sum coefficient is calculated such that the square norm | D ′ | 2 of the linear sum D ′ of the evaluation errors calculated by (Equation 2) is minimized,
As shown in (Equation 1), the optimal linear sum of the coupling coefficients is calculated using the linear sum coefficient. The optimal linear sum of the coupling coefficients calculated in this manner is a coupling coefficient whose evaluation error is smaller than that of the linearly summed coupling coefficient. The process returns to step A3 with this optimum linear sum as a coupling coefficient, and the subsequent processing is repeated. At this time, in step A7, since the learning acceleration has just been performed, the flow branches to evaluation of learning acceleration (step A14). The learning acceleration determination device 5 compares the current evaluation error with the evaluation error immediately before the learning acceleration. If the current evaluation error is smaller, the current coupling coefficient and the evaluation error are stored as they are (step A8). If the current evaluation error is larger, it is determined that there is no effect of the learning acceleration, and the coupling coefficient and the evaluation error immediately before the learning acceleration are reset and stored.
【0047】さらに、図2のステップA9において、学
習回数が一定回数(実施例では8)以下かどうかを判定
しているが、この一定回数を使用者が使えるようにする
と良い。Further, in step A9 of FIG. 2, it is determined whether the number of times of learning is equal to or less than a certain number (8 in the embodiment). It is preferable that the user can use the certain number of times.
【0048】[0048]
【発明の効果】本発明においては、学習繰り返し時に、
学習加速装置により、最適な結合係数を計算することが
できる。従って、ニューラルネットワーク学習時に学習
の繰り返し回数を減少することができ、短時間で学習を
終了させられるようになるという効果を奏する。According to the present invention, when learning is repeated,
An optimal coupling coefficient can be calculated by the learning accelerator. Therefore, it is possible to reduce the number of times of learning during the neural network learning, and it is possible to end the learning in a short time.
【図1】本発明のニューラルネットワークの学習加速装
置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a learning acceleration device for a neural network according to the present invention.
【図2】本発明のニューラルネットワークの学習加速装
置の処理動作を示すフローチャートである。FIG. 2 is a flowchart showing a processing operation of a learning acceleration device for a neural network according to the present invention.
【図3】本発明のニューラルネットワークの学習加速シ
ステムの実施例の構成を示すブロック図である。FIG. 3 is a block diagram showing a configuration of an embodiment of a learning acceleration system for a neural network according to the present invention.
【図4】従来のニューラルネットワークの動作を示す図
である。FIG. 4 is a diagram showing the operation of a conventional neural network.
1 従来のニューラルネットワーク 2 データ保存装置 3 学習回数カウンタ 4 学習加速装置 5 学習加速判定装置 21 データ出力部 22 ディスク装置 31 初期化部 32 カウントアップ部 33 判定部 41 データ入力部 42 最適線形和計算部 DESCRIPTION OF SYMBOLS 1 Conventional neural network 2 Data storage device 3 Learning number counter 4 Learning acceleration device 5 Learning acceleration judgment device 21 Data output unit 22 Disk device 31 Initialization unit 32 Count up unit 33 Judgment unit 41 Data input unit 42 Optimal linear sum calculation unit
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平5−6350(JP,A) 森正武、杉原正顕、室田一雄、「岩波 講座 応用数学 線形計算」、株式会社 岩波書店、p.34−p.38(1994) (58)調査した分野(Int.Cl.7,DB名) G06N 3/00 - 3/08 JICSTファイル(JOIS) INSPEC(DIALOG)──────────────────────────────────────────────────続 き Continuation of the front page (56) References JP-A-5-6350 (JP, A) Masatake Mori, Masaaki Sugihara, Kazuo Murota, "Iwanami Course Applied Mathematics Linear Calculation", Iwanami Shoten, p. 34-p. 38 (1994) (58) Field surveyed (Int. Cl. 7 , DB name) G06N 3/00-3/08 JICST file (JOIS) INSPEC (DIALOG)
Claims (6)
び出力層と少なくとも1つの中間層から構成されるニュ
ーラルネットワークと、前記ニューラルネットワークで計算される結合係数、お
よび出力層の出力と期待される値との差である評価誤差
を、学習が行われる毎に保存するデータ保存装置と、 前記学習の回数をカウントしていき、学習回数が一定回
数に達していない場合には、前記ニューラルネットワー
クに処理を返す学習回数カウンタと、 前記学習回数カウンタにより一定回数の学習が終了して
いたら、前記データ保存装置により保存された結合係数
と評価誤差とを利用し、結合係数の最適線形和を計算
し、それを新しい結合係数として前記ニューラルネット
ワークに渡す学習加速装置と、 前記学習加速装置で計算された最適線形和を新しい結合
係数としてニューラルネットワークを実行したときに、
学習加速の効果があったかどうかを判定する学習加速判
定装置と、 を備え、学習時の繰り返し回数を減少させることを特徴
とするニューラルネットワーク学習加速システム。 1. An input layer comprising one or more neurons.
A neural network comprising an output layer and at least one hidden layer; a coupling coefficient calculated by the neural network;
And a data storage device for storing an evaluation error , which is a difference between the output of the output layer and an expected value, every time learning is performed, and counting the number of times of learning, and the number of times of learning reaches a certain number of times. If not, use the neural network
A learning number counter that returns the process to the network, and if a certain number of learnings have been completed by the learning number counter, the optimal linear sum of the coupling coefficient is calculated by using the coupling coefficient and the evaluation error stored by the data storage device. calculated, the neural net it as a new coupling coefficient
A learning accelerator to be passed to the workpiece , and when the neural network is executed with the optimal linear sum calculated by the learning accelerator as a new coupling coefficient,
A neural network learning acceleration system comprising: a learning acceleration determining device for determining whether or not the learning acceleration is effective; and reducing the number of repetitions during learning.
差とをファイルに書き出すデータ出力部と、ファイルを
保存するディスク装置とを有することを特徴とする、請
求項1に記載のニューラルネットワーク学習加速システ
ム。2. The neural network learning according to claim 1, wherein the data storage device has a data output unit for writing a coupling coefficient and an evaluation error to a file, and a disk device for storing the file. Acceleration system.
0を代入する初期化部と、カウンタ変数の値を1増加さ
せるカウントアップ部と、カウンタ変数を予め決められ
た定数と大きさとを比較する判定部とを有することを特
徴とする、請求項1または2に記載のニューラルネット
ワーク学習加速システム。3. The learning counter according to claim 1, wherein the initialization unit substitutes 0 for the counter variable, a count-up unit increases the value of the counter variable by 1, and compares the counter variable with a predetermined constant and magnitude. The neural network learning acceleration system according to claim 1, further comprising a determination unit.
定数が8であることを特徴とする、請求項3に記載のニ
ューラルネットワーク学習加速システム。4. The neural network learning acceleration system according to claim 3, wherein said predetermined constant is 8 in said determination unit.
定数が、使用者によって自由に設定できることを特徴と
する、請求項3に記載のニューラルネットワーク学習加
速システム。5. The neural network learning acceleration system according to claim 3, wherein said predetermined constant can be freely set by a user in said determination unit.
のファイルから結合係数および評価誤差を読み込むデー
タ入力部と、線形和の線形予測誤差が最小の意味で最適
となるように、最適線形和を計算する最適線形和計算部
とを有することを特徴とする、請求項1〜5のいずれか
に記載のニューラルネットワーク学習加速システム。6. A data input unit for reading a coupling coefficient and an evaluation error from a file on the disk device, wherein the learning acceleration device has an optimal linear sum so as to minimize a linear prediction error of the linear sum. The neural network learning acceleration system according to any one of claims 1 to 5, further comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24758696A JP3220021B2 (en) | 1996-09-19 | 1996-09-19 | Neural network learning acceleration system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP24758696A JP3220021B2 (en) | 1996-09-19 | 1996-09-19 | Neural network learning acceleration system |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH1091607A JPH1091607A (en) | 1998-04-10 |
JP3220021B2 true JP3220021B2 (en) | 2001-10-22 |
Family
ID=17165717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP24758696A Expired - Fee Related JP3220021B2 (en) | 1996-09-19 | 1996-09-19 | Neural network learning acceleration system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3220021B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013242761A (en) | 2012-05-22 | 2013-12-05 | Internatl Business Mach Corp <Ibm> | Method, and controller and control program thereof, for updating policy parameters under markov decision process system environment |
-
1996
- 1996-09-19 JP JP24758696A patent/JP3220021B2/en not_active Expired - Fee Related
Non-Patent Citations (1)
Title |
---|
森正武、杉原正顕、室田一雄、「岩波講座 応用数学 線形計算」、株式会社岩波書店、p.34−p.38(1994) |
Also Published As
Publication number | Publication date |
---|---|
JPH1091607A (en) | 1998-04-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Werner et al. | Partial-update NLMS algorithms with data-selective updating | |
Gopalakrishnan et al. | An inequality for rational functions with applications to some statistical estimation problems | |
US7065487B2 (en) | Speech recognition method, program and apparatus using multiple acoustic models | |
US8036975B2 (en) | Systems and methods for compound risk factor sampling with integrated market and credit risk | |
US20070233435A1 (en) | Boosted linear modeling of non-linear time series | |
JP4974470B2 (en) | Representation of deleted interpolation N-gram language model in ARPA standard format | |
US7530036B2 (en) | Random test generation using an optimization solver | |
Pan | Computation of approximate polynomial GCDs and an extension | |
WO2002039254A1 (en) | System and method for building a time series model | |
US20180293209A1 (en) | Noise and bound management for rpu array | |
US8527921B2 (en) | Constrained random simulation coverage closure guided by a cover property | |
US8056045B2 (en) | System and method for circuit simulation | |
US20050027494A1 (en) | Accurate linear parameter estimation with noisy inputs | |
JP3220021B2 (en) | Neural network learning acceleration system | |
US20020156628A1 (en) | Speech recognition system, training arrangement and method of calculating iteration values for free parameters of a maximum-entropy speech model | |
US20020143720A1 (en) | Data structure for improved software implementation of a neural network | |
US6385607B1 (en) | Generating regression trees with oblique hyperplanes | |
JP3450522B2 (en) | Information processing method and apparatus | |
Üreyen | H-harmonic Bergman projection on the real hyperbolic ball | |
Marsi et al. | On reduced-complexity approximations of quadratic filters | |
JP3091504B2 (en) | Speech recognition method using neural network model | |
US6192336B1 (en) | Method and system for searching for an optimal codevector | |
CN116206188B (en) | Image recognition method, system, equipment and storage medium | |
CN116312534A (en) | Speech recognition method, hardware calling method, related device, processor and medium | |
JPH11110420A (en) | Circuit simulation method and device therefor, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070810 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080810 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080810 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090810 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090810 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100810 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |