JPH09265463A - ニューラルネットワークの学習装置 - Google Patents
ニューラルネットワークの学習装置Info
- Publication number
- JPH09265463A JPH09265463A JP8076541A JP7654196A JPH09265463A JP H09265463 A JPH09265463 A JP H09265463A JP 8076541 A JP8076541 A JP 8076541A JP 7654196 A JP7654196 A JP 7654196A JP H09265463 A JPH09265463 A JP H09265463A
- Authority
- JP
- Japan
- Prior art keywords
- output
- neural network
- function
- learning
- weighted sum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【課題】 階層型ニューラルネットワーク(Ｎ.Ｎ)の学
習において、学習課程における局所的最小値状態を回避
して、最適最小値状態に収束させる。 【解決手段】 Ｎ.Ｎ演算手段１には学習対象の学習デ
ータＸが入力され、Ｎ.Ｎの演算を行いＮ.Ｎ出力Ｙが算
出される。ペナルティ関数算出手段２では、Ｎ.Ｎの非
線形関数をもつ素子の出力が極値のときに、出力値が最
大となるようなペナルティ関数の値を求め、第１重み付
け和算出手段３で算出したＮ.Ｎ出力と教師信号との２
乗誤差と前記ペナルティ関数値の重み付け和を評価関数
として、結合係数更新手段４によりバックプロパゲーシ
ョン法によりＮ.Ｎの結合係数を求めることにより、学
習課程における局所的最小値状態を回避して、最適最小
値状態に収束する学習をさせることができる。
習において、学習課程における局所的最小値状態を回避
して、最適最小値状態に収束させる。 【解決手段】 Ｎ.Ｎ演算手段１には学習対象の学習デ
ータＸが入力され、Ｎ.Ｎの演算を行いＮ.Ｎ出力Ｙが算
出される。ペナルティ関数算出手段２では、Ｎ.Ｎの非
線形関数をもつ素子の出力が極値のときに、出力値が最
大となるようなペナルティ関数の値を求め、第１重み付
け和算出手段３で算出したＮ.Ｎ出力と教師信号との２
乗誤差と前記ペナルティ関数値の重み付け和を評価関数
として、結合係数更新手段４によりバックプロパゲーシ
ョン法によりＮ.Ｎの結合係数を求めることにより、学
習課程における局所的最小値状態を回避して、最適最小
値状態に収束する学習をさせることができる。
Description
【０００１】
【発明の属する技術分野】本発明は、ニューラルネット
ワーク(以下、単にＮ.Ｎという)の学習装置に関するも
ので、特に非線形でパラメータが未知な対象の特性をそ
の対象の入出力データからＮ.Ｎに学習するために用い
られるものである。
ワーク(以下、単にＮ.Ｎという)の学習装置に関するも
ので、特に非線形でパラメータが未知な対象の特性をそ
の対象の入出力データからＮ.Ｎに学習するために用い
られるものである。
【０００２】
【従来の技術】以下、図面を参照しながら、「Parallel
Distributed Processing」 Vol.1 TheMIT Press 1986や
特開平２−201607号公報等に示されている従来のニュー
ラルネットワークの学習装置であるバックプロパゲーシ
ョン学習則について説明する。
Distributed Processing」 Vol.1 TheMIT Press 1986や
特開平２−201607号公報等に示されている従来のニュー
ラルネットワークの学習装置であるバックプロパゲーシ
ョン学習則について説明する。
【０００３】図５は、従来のＮ.Ｎの学習装置の構成図
を示すものである。図５において、51はＮ.Ｎ演算手
段、52は結合係数更新手段である。図６は、図５で構成
されているＮ.Ｎ演算手段51の説明図である。図６に示
すように、ｍ入力ｓ出力の３層Ｎ.Ｎであり、中間層素
子数ｎで、中間層の出力関数は非線形連続関数、入出力
層の出力関数は線形関数である。以後、図６に示す３層
Ｎ.Ｎを例として従来例を説明する。
を示すものである。図５において、51はＮ.Ｎ演算手
段、52は結合係数更新手段である。図６は、図５で構成
されているＮ.Ｎ演算手段51の説明図である。図６に示
すように、ｍ入力ｓ出力の３層Ｎ.Ｎであり、中間層素
子数ｎで、中間層の出力関数は非線形連続関数、入出力
層の出力関数は線形関数である。以後、図６に示す３層
Ｎ.Ｎを例として従来例を説明する。
【０００４】図５において、上記Ｎ.Ｎ演算手段51には
正規化された学習データＸが入力され、Ｎ.Ｎ出力Ｙが
算出される。まず、Ｎ.Ｎへの入力であるｐ番目の学習
データＸ(p)をＸ1(p)，Ｘ2(p)…，Ｘm(p)とすると、中
間層のｊ番目の素子への入力Ｕj(p)は、閾値をθwj、ｉ
番目の入力層素子からｊ番目の中間層素子への結合係数
Ｗijとして
正規化された学習データＸが入力され、Ｎ.Ｎ出力Ｙが
算出される。まず、Ｎ.Ｎへの入力であるｐ番目の学習
データＸ(p)をＸ1(p)，Ｘ2(p)…，Ｘm(p)とすると、中
間層のｊ番目の素子への入力Ｕj(p)は、閾値をθwj、ｉ
番目の入力層素子からｊ番目の中間層素子への結合係数
Ｗijとして
【０００５】
【数１】
【０００６】と算出される。ここで、Ｗ0j＝θwj、Ｘ0
(p)＝１としている。
(p)＝１としている。
【０００７】中間層のｊ番目の素子の出力Ｈj(p)は、中
間層の出力関数をｆとすると
間層の出力関数をｆとすると
【０００８】
【数２】Ｈj(p)＝ ｆ(Ｕｊ（ｐ）） となる。
【０００９】次にｒ番目の出力層への入力Ｏｒは、閾値
をθvr、ｊ番目の中間層素子からｒ番目の出力層素子へ
の結合係数Ｖjrとすると
をθvr、ｊ番目の中間層素子からｒ番目の出力層素子へ
の結合係数Ｖjrとすると
【００１０】
【数３】
【００１１】と算出される。ここで、Ｖ0r＝θvr、Ｈ0
(p)＝１としている。
(p)＝１としている。
【００１２】ｒ番目の出力層素子の出力Ｙr(p)は、
【００１３】
【数４】Ｙr(p)＝ Ｏr(p) と算出される。
【００１４】次に前記結合係数更新手段52では、前記
Ｎ.Ｎ演算手段51の出力と教師信号53との２乗誤差の和
Ｅ
Ｎ.Ｎ演算手段51の出力と教師信号53との２乗誤差の和
Ｅ
【００１５】
【数５】
【００１６】を評価関数として、バックプロパゲーショ
ン法により２乗誤差の和Ｅを極小化するようにＮ.Ｎの
結合係数を算出する。ここで、dr(p)は、ｒ番目の出力
層素子の出力Ｙr(p)に対する教師信号である。ｉ番目の
入力層素子からｊ番目の中間層素子への結合係数Ｗij
は、(数６)のように
ン法により２乗誤差の和Ｅを極小化するようにＮ.Ｎの
結合係数を算出する。ここで、dr(p)は、ｒ番目の出力
層素子の出力Ｙr(p)に対する教師信号である。ｉ番目の
入力層素子からｊ番目の中間層素子への結合係数Ｗij
は、(数６)のように
【００１７】
【数６】
【００１８】更新される。
【００１９】
【外１】
【００２０】
【数７】
【００２１】ここで、ｆ´(Ｕj(p))は、出力関数ｆ(Ｕj
(p))の微分値である。
(p))の微分値である。
【００２２】ｊ番目の中間層素子からｒ番目の出力層素
子への結合係数Ｖjrは、(数８)のように
子への結合係数Ｖjrは、(数８)のように
【００２３】
【数８】
【００２４】と更新される。
【００２５】
【外２】
【００２６】
【数９】
【００２７】上記(数６)，(数８)のｎは学習回数、Ｐは
学習データ総数であり、μは学習係数(０＜μ)、λはモ
ーメント係数(０＜λ＜１)であり、通常、学習開始時に
設定しておく。
学習データ総数であり、μは学習係数(０＜μ)、λはモ
ーメント係数(０＜λ＜１)であり、通常、学習開始時に
設定しておく。
【００２８】この学習を繰り返し行い、前記２乗誤差の
和Ｅが十分小さくなった時点で学習を終了する。
和Ｅが十分小さくなった時点で学習を終了する。
【００２９】
【発明が解決しようとする課題】しかしながら、前記に
示すような従来のＮ.Ｎの学習装置では、出力関数の微
分値が０付近の値になるような結合係数をとると誤差勾
配が微小な値になるため、学習誤差が大きくても結合係
数がほとんど更新されない状態、すなわち局所最小値に
陥った状態になり、２乗誤差の和Ｅが十分に小さくなら
ないといった問題があった。
示すような従来のＮ.Ｎの学習装置では、出力関数の微
分値が０付近の値になるような結合係数をとると誤差勾
配が微小な値になるため、学習誤差が大きくても結合係
数がほとんど更新されない状態、すなわち局所最小値に
陥った状態になり、２乗誤差の和Ｅが十分に小さくなら
ないといった問題があった。
【００３０】本発明は、バックプロパゲーション法に従
ったＮ.Ｎの学習装置において、学習課程における局所
的最小値状態を回避して、最適最小値状態に収束させる
ことを目的とするものである。
ったＮ.Ｎの学習装置において、学習課程における局所
的最小値状態を回避して、最適最小値状態に収束させる
ことを目的とするものである。
【００３１】
【課題を解決するための手段】本発明は、上記課題を解
決し目的を達成するためにＮ.Ｎの素子の出力関数が非
線形関数である素子に対して、素子出力が極値をとると
きに、出力値が最大となるペナルティ関数を求めるペナ
ルティ関数算出手段と、Ｎ.Ｎ演算手段の出力と教師信
号との２乗誤差とペナルティ関数値の重み付け和を算出
する第１重み付け和算出手段と、結合係数更新手段を有
し、前記重み付け和を評価関数としてバックプロパゲー
ション法により結合係数の更新を結合係数更新手段でも
って行うようにしたものである。
決し目的を達成するためにＮ.Ｎの素子の出力関数が非
線形関数である素子に対して、素子出力が極値をとると
きに、出力値が最大となるペナルティ関数を求めるペナ
ルティ関数算出手段と、Ｎ.Ｎ演算手段の出力と教師信
号との２乗誤差とペナルティ関数値の重み付け和を算出
する第１重み付け和算出手段と、結合係数更新手段を有
し、前記重み付け和を評価関数としてバックプロパゲー
ション法により結合係数の更新を結合係数更新手段でも
って行うようにしたものである。
【００３２】これによれば、学習課程における局所的最
小値状態を回避して、最適最小値状態に収束する学習を
させることができる。
小値状態を回避して、最適最小値状態に収束する学習を
させることができる。
【００３３】
【発明の実施の形態】請求項１記載の発明の実施の形態
は、学習対象の入力を学習データとしてＮ.Ｎの演算を
行うＮ.Ｎ演算手段と、前記Ｎ.Ｎの非線形出力関数をも
つ素子の出力が極値をとるときに、出力値が最大となる
ペナルティ関数を算出するペナルティ関数算出手段と、
前記Ｎ.Ｎ演算手段の出力と教師信号との２乗誤差と前
記ペナルティ関数値の重み付け和を求める第１重み付け
和算出手段と、前記第１重み付け和算出手段から得られ
る重み付け和を評価関数としてバックプロパゲーション
法によりＮ.Ｎの結合係数を求める結合係数更新手段を
有することを特徴とするものであり、学習課程において
各素子の出力関数の微分値が０付近の値をとることによ
って生じる局所的最小値状態を回避して、最適最小値状
態に収束する学習をさせることができるという作用を有
する。
は、学習対象の入力を学習データとしてＮ.Ｎの演算を
行うＮ.Ｎ演算手段と、前記Ｎ.Ｎの非線形出力関数をも
つ素子の出力が極値をとるときに、出力値が最大となる
ペナルティ関数を算出するペナルティ関数算出手段と、
前記Ｎ.Ｎ演算手段の出力と教師信号との２乗誤差と前
記ペナルティ関数値の重み付け和を求める第１重み付け
和算出手段と、前記第１重み付け和算出手段から得られ
る重み付け和を評価関数としてバックプロパゲーション
法によりＮ.Ｎの結合係数を求める結合係数更新手段を
有することを特徴とするものであり、学習課程において
各素子の出力関数の微分値が０付近の値をとることによ
って生じる局所的最小値状態を回避して、最適最小値状
態に収束する学習をさせることができるという作用を有
する。
【００３４】請求項２記載の発明の実施の形態は、学習
対象の入力を学習データとしてＮ.Ｎの演算を行うＮ.Ｎ
演算手段と、前記Ｎ.Ｎの非線形出力関数をもつ素子の
出力が極値をとるときに、出力値が最大となるペナルテ
ィ関数を算出するペナルティ関数算出手段と、前記Ｎ.
Ｎ演算手段の出力と教師信号との誤差の大きさに応じて
重み付け係数を変更する重み付け係数変更手段と、前記
重み付け係数に応じて前記Ｎ.Ｎ演算手段の出力と教師
信号との２乗誤差と前記ペナルティ関数値との重み付け
和を求める第２重み付け和算出手段と、前記第２重み付
け和算出手段から得られる重み付け和を評価関数として
バックプロパゲーション法によりＮ.Ｎの結合係数を求
める結合係数更新手段を有することを特徴とするもので
あり、学習課程において各素子の出力関数の微分値が０
付近の値をとることによって生じる局所的最小値状態を
回避して、高速、かつ精度よく最適最小値状態に収束す
る学習をさせることができるという作用を有する。
対象の入力を学習データとしてＮ.Ｎの演算を行うＮ.Ｎ
演算手段と、前記Ｎ.Ｎの非線形出力関数をもつ素子の
出力が極値をとるときに、出力値が最大となるペナルテ
ィ関数を算出するペナルティ関数算出手段と、前記Ｎ.
Ｎ演算手段の出力と教師信号との誤差の大きさに応じて
重み付け係数を変更する重み付け係数変更手段と、前記
重み付け係数に応じて前記Ｎ.Ｎ演算手段の出力と教師
信号との２乗誤差と前記ペナルティ関数値との重み付け
和を求める第２重み付け和算出手段と、前記第２重み付
け和算出手段から得られる重み付け和を評価関数として
バックプロパゲーション法によりＮ.Ｎの結合係数を求
める結合係数更新手段を有することを特徴とするもので
あり、学習課程において各素子の出力関数の微分値が０
付近の値をとることによって生じる局所的最小値状態を
回避して、高速、かつ精度よく最適最小値状態に収束す
る学習をさせることができるという作用を有する。
【００３５】以下、本発明の各実施の形態について、図
１から図４、及び図６を用いて説明する。なお、本発明
の実施の形態１および２では、従来例と同様に図６に示
すｍ入力ｓ出力の３層ニューラルネットワーク(Ｎ.Ｎ)
を用いて説明し、中間層素子数ｎで、中間層の出力関数
は非線形連続関数、入出力層の出力関数は線形関数とす
る。
１から図４、及び図６を用いて説明する。なお、本発明
の実施の形態１および２では、従来例と同様に図６に示
すｍ入力ｓ出力の３層ニューラルネットワーク(Ｎ.Ｎ)
を用いて説明し、中間層素子数ｎで、中間層の出力関数
は非線形連続関数、入出力層の出力関数は線形関数とす
る。
【００３６】(実施の形態１)図１は、本発明の実施の形
態１におけるＮ.Ｎの学習装置の構成図を示すものであ
る。図１において、１はＮ.Ｎ演算手段、２はペナルテ
ィ関数算出手段、３は第１重み付け和算出手段、４は結
合係数更新手段である。
態１におけるＮ.Ｎの学習装置の構成図を示すものであ
る。図１において、１はＮ.Ｎ演算手段、２はペナルテ
ィ関数算出手段、３は第１重み付け和算出手段、４は結
合係数更新手段である。
【００３７】Ｎ.Ｎ演算手段１には、従来例と同様に正
規化された学習データＸが入力され、Ｎ.Ｎ出力Ｙが算
出される。ペナルティ関数算出手段２では、Ｎ.Ｎの素
子の出力関数が非線形関数である素子に対して、素子出
力が極値をとるときに、出力値が最大となるペナルティ
関数の値を前記Ｎ.Ｎ演算手段１から得られる各素子の
入出力値等から算出する。
規化された学習データＸが入力され、Ｎ.Ｎ出力Ｙが算
出される。ペナルティ関数算出手段２では、Ｎ.Ｎの素
子の出力関数が非線形関数である素子に対して、素子出
力が極値をとるときに、出力値が最大となるペナルティ
関数の値を前記Ｎ.Ｎ演算手段１から得られる各素子の
入出力値等から算出する。
【００３８】ここで、非線形出力関数が(数10)に示すシ
グモシド型関数のように連続関数であり、最大，最小の
極限値をとるときに微分値の極限値が０となる関数なら
ば、ペナルティ関数ｇは(数11)のように求められる。
グモシド型関数のように連続関数であり、最大，最小の
極限値をとるときに微分値の極限値が０となる関数なら
ば、ペナルティ関数ｇは(数11)のように求められる。
【００３９】
【数１０】 ｆ（Ｕj(p)）＝２／｛１＋exp（−２Ｕj(p))｝＋１
【００４０】
【数１１】
【００４１】ここで、Ｕj(p)は学習データｐに対するｊ
番目の中間層素子への入力である。なお、ｓｉｎ関数の
ように最大，最小値をとるときに微分値が０とする関数
が出力関数の場合にも同様にペナルティ関数値を求める
ことができる。
番目の中間層素子への入力である。なお、ｓｉｎ関数の
ように最大，最小値をとるときに微分値が０とする関数
が出力関数の場合にも同様にペナルティ関数値を求める
ことができる。
【００４２】次に第１重み付け和算出手段３で、前記
Ｎ.Ｎ演算手段１から得られるＮ.Ｎ出力Ｙr(p)と教師信
号dr(p)の２乗誤差Ｅと前記ペナルティ関数ｇの重み付
け和Ｅ２を(数12)のように求める。
Ｎ.Ｎ演算手段１から得られるＮ.Ｎ出力Ｙr(p)と教師信
号dr(p)の２乗誤差Ｅと前記ペナルティ関数ｇの重み付
け和Ｅ２を(数12)のように求める。
【００４３】
【数１２】
【００４４】ここで、βは重み付け定数(０＜β)であ
り、学習開始時に設定しておく。結合係数更新手段４で
は、前記重み付け和Ｅ２を評価関数として、バックプロ
パゲーション法に従って結合係数を更新する。
り、学習開始時に設定しておく。結合係数更新手段４で
は、前記重み付け和Ｅ２を評価関数として、バックプロ
パゲーション法に従って結合係数を更新する。
【００４５】次にｉ番目の入力層素子からｊ番目の中間
層素子への結合係数Ｗijは、(数13)のように
層素子への結合係数Ｗijは、(数13)のように
【００４６】
【数１３】
【００４７】更新され、Ｐは学習データ総数である。
【００４８】
【外３】
【００４９】
【数１４】
【００５０】ここで、Ｘi(p)はｉ番目の入力層素子への
入力、ｆ′(Ｕj(p))は出力関数ｆ(Ｕj(p))の微分値であ
る。
入力、ｆ′(Ｕj(p))は出力関数ｆ(Ｕj(p))の微分値であ
る。
【００５１】次にｊ番目の中間層素子からｒ番目の出力
層素子への結合係数Ｖjrは、(数15)のように
層素子への結合係数Ｖjrは、(数15)のように
【００５２】
【数１５】
【００５３】更新される。
【００５４】
【外４】
【００５５】
【数１６】
【００５６】上記(数13)，(数15)のｎは学習回数、Ｐは
学習データ総数であり、μは学習係数(０＜μ)であり、
通常、学習開始時に設定しておく。
学習データ総数であり、μは学習係数(０＜μ)であり、
通常、学習開始時に設定しておく。
【００５７】図２は上述した図１の学習処理のフローを
示し、この処理は、全学習データの２乗誤差の総和Ｅsu
mが予め定めた規定値より小さくなるまで繰り返され
る。
示し、この処理は、全学習データの２乗誤差の総和Ｅsu
mが予め定めた規定値より小さくなるまで繰り返され
る。
【００５８】まず、Ｓ21で従来例で示した前記(数１)か
ら(数４)のＮ.Ｎの演算を学習データに対して行い、Ｎ.
Ｎ出力を算出する。
ら(数４)のＮ.Ｎの演算を学習データに対して行い、Ｎ.
Ｎ出力を算出する。
【００５９】次に、Ｓ22では、全学習データに対する
Ｎ.Ｎ出力と教師信号との２乗誤差の総和Ｅsumを(数17)
のように算出する。
Ｎ.Ｎ出力と教師信号との２乗誤差の総和Ｅsumを(数17)
のように算出する。
【００６０】
【数１７】
【００６１】Ｓ23では、２乗誤差の総和Ｅsumと学習開
始時に設定した学習終了誤差εを比較して、２乗誤差の
総和Ｅsumが学習終了誤差ε以下であれば、学習を終了
する。Ｓ23で学習終了条件に達していなければ、Ｓ24に
進み、ペナルティ関数値ｇを(数11)のように算出する。
始時に設定した学習終了誤差εを比較して、２乗誤差の
総和Ｅsumが学習終了誤差ε以下であれば、学習を終了
する。Ｓ23で学習終了条件に達していなければ、Ｓ24に
進み、ペナルティ関数値ｇを(数11)のように算出する。
【００６２】Ｓ25では、Ｎ.Ｎ出力Ｙr(p)と教師信号dr
(p)の２乗誤差Ｅと前記ペナルティ関数ｇの重み付け和
Ｅ２を(数12)から算出し、Ｓ26で、バックプロパゲーシ
ョン法により、ｉ番目の入力層素子からｊ番目の中間層
素子への結合係数Ｗijは、前記(数13)のように更新し、
ｊ番目の中間層素子からｒ番目の出力層素子への結合係
数Ｖjrは、前記(数15)のように更新する。Ｓ26を終了
後、Ｓ21に戻る。
(p)の２乗誤差Ｅと前記ペナルティ関数ｇの重み付け和
Ｅ２を(数12)から算出し、Ｓ26で、バックプロパゲーシ
ョン法により、ｉ番目の入力層素子からｊ番目の中間層
素子への結合係数Ｗijは、前記(数13)のように更新し、
ｊ番目の中間層素子からｒ番目の出力層素子への結合係
数Ｖjrは、前記(数15)のように更新する。Ｓ26を終了
後、Ｓ21に戻る。
【００６３】なお、本発明は、多入力多出力、または多
入力１出力の３層以上の階層型ニューラルネットワーク
の学習にも同様に用いることが可能であり、また、出力
層の出力関数が非線形関数の場合にも用いることが可能
である。
入力１出力の３層以上の階層型ニューラルネットワーク
の学習にも同様に用いることが可能であり、また、出力
層の出力関数が非線形関数の場合にも用いることが可能
である。
【００６４】以上のような処理を行うことにより、局所
的最小値状態を回避して、最適最小値状態に収束する学
習をさせることができる。
的最小値状態を回避して、最適最小値状態に収束する学
習をさせることができる。
【００６５】(実施の形態２)図３は本発明の実施の形態
２におけるＮ.Ｎの学習装置の構成図を示すものであ
る。図３において、31はＮ.Ｎ演算手段、32はペナルテ
ィ関数算出手段、33は重み付け係数更新手段、34は第２
重み付け和算出手段、35は結合係数更新手段である。
２におけるＮ.Ｎの学習装置の構成図を示すものであ
る。図３において、31はＮ.Ｎ演算手段、32はペナルテ
ィ関数算出手段、33は重み付け係数更新手段、34は第２
重み付け和算出手段、35は結合係数更新手段である。
【００６６】Ｎ.Ｎ演算手段31には、従来例と同様に正
規化された学習データＸが入力され、Ｎ.Ｎ出力Ｙが算
出される。ペナルティ関数算出手段32では、前記実施の
形態１と同様にして、Ｎ.Ｎの素子の出力関数が非線形
関数である素子に対して、素子出力が極値をとるとき
に、出力値が最大となるペナルティ関数ｇの値を前記
(数11)より算出する。
規化された学習データＸが入力され、Ｎ.Ｎ出力Ｙが算
出される。ペナルティ関数算出手段32では、前記実施の
形態１と同様にして、Ｎ.Ｎの素子の出力関数が非線形
関数である素子に対して、素子出力が極値をとるとき
に、出力値が最大となるペナルティ関数ｇの値を前記
(数11)より算出する。
【００６７】次に重み付け係数更新手段33では、前記
Ｎ.Ｎ演算手段31のＮ.Ｎ出力Ｙr(p)と教師信号dr(p)の
誤差ｅの大きさに応じて、(数18)のように重み付け係数
βを変更する。
Ｎ.Ｎ演算手段31のＮ.Ｎ出力Ｙr(p)と教師信号dr(p)の
誤差ｅの大きさに応じて、(数18)のように重み付け係数
βを変更する。
【００６８】
【数１８】
【００６９】ここで、γは定数(γ＞０)であり、学習開
始時に設定しておく。なお、重み付け係数βは、誤差ｅ
の大きさを前回の結合係数更新時に求めた誤差ｅoldの
大きさと比較して(数19)のように求めても良い。
始時に設定しておく。なお、重み付け係数βは、誤差ｅ
の大きさを前回の結合係数更新時に求めた誤差ｅoldの
大きさと比較して(数19)のように求めても良い。
【００７０】
【数１９】 ｜ｅ｜−｜ｅold｜＞０ならば β(p)＝β(p)＋ｂ１ ｜ｅ｜−｜ｅold｜≦０ならば β(p)＝β(p)−ｂ２・
β(p) ここでｂ１，ｂ２は定数(０＜ｂ１，０＜ｂ２＜１)であ
り、β(p)の初期値(β(p)＞０)とｂ１，ｂ２は学習開始
時に設定しておく。
β(p) ここでｂ１，ｂ２は定数(０＜ｂ１，０＜ｂ２＜１)であ
り、β(p)の初期値(β(p)＞０)とｂ１，ｂ２は学習開始
時に設定しておく。
【００７１】次に第２重み付け和算出手段34で、前記
Ｎ.Ｎ演算手段31から得られるＮ.Ｎ出力Ｙr(p)と教師信
号dr(p)の２乗誤差Ｅと前記ペナルティ関数ｇの重み付
け和Ｅ２を前記重み付け係数更新手段33から得られた重
み付け係数β(p)を用いて、前記(数12)のように求め
る。
Ｎ.Ｎ演算手段31から得られるＮ.Ｎ出力Ｙr(p)と教師信
号dr(p)の２乗誤差Ｅと前記ペナルティ関数ｇの重み付
け和Ｅ２を前記重み付け係数更新手段33から得られた重
み付け係数β(p)を用いて、前記(数12)のように求め
る。
【００７２】結合係数更新手段35では、前記重み付け和
Ｅ２を評価関数として、バックプロパゲーション法に従
い、前記(数13)から(数15)を用いて結合係数を更新す
る。
Ｅ２を評価関数として、バックプロパゲーション法に従
い、前記(数13)から(数15)を用いて結合係数を更新す
る。
【００７３】図４は上述した図３の学習処理のフローを
示し、この処理は、全学習データの２乗誤差の総和Ｅsu
mが予め定めた規定値より小さくなるまで繰り返され
る。
示し、この処理は、全学習データの２乗誤差の総和Ｅsu
mが予め定めた規定値より小さくなるまで繰り返され
る。
【００７４】まず、Ｓ41で従来例で示した前記(数１)か
ら(数４)のＮ.Ｎの演算を学習データに対して行い、Ｎ.
Ｎ出力を算出する。
ら(数４)のＮ.Ｎの演算を学習データに対して行い、Ｎ.
Ｎ出力を算出する。
【００７５】次にＳ42では、全学習データに対するＮ.
Ｎ出力と教師信号との２乗誤差の総和Ｅsumを(数17)の
ように算出して、Ｓ43で、２乗誤差の総和Ｅsumが学習
開始時に設定した学習終了誤差ε以下であれば、学習を
終了する。Ｓ43で学習終了条件に達していなければ、Ｓ
44に進み、ペナルティ関数値ｇを(数11)から算出する。
Ｎ出力と教師信号との２乗誤差の総和Ｅsumを(数17)の
ように算出して、Ｓ43で、２乗誤差の総和Ｅsumが学習
開始時に設定した学習終了誤差ε以下であれば、学習を
終了する。Ｓ43で学習終了条件に達していなければ、Ｓ
44に進み、ペナルティ関数値ｇを(数11)から算出する。
【００７６】Ｓ45では、重み付け係数β(p)をＮ.Ｎ出力
と教師信号との誤差ｅの大きさに応じて、(数18)、また
は(数19)から算出する。Ｓ46では、Ｎ.Ｎ出力Ｙr(p)と
教師信号dr(p)の２乗誤差Ｅと前記ペナルティ関数ｇの
重み付け和Ｅ２を(数12)で算出し、Ｓ47で、バックプロ
パゲーション法により、ｉ番目の入力層素子からｊ番目
の中間層素子への結合係数Ｗijは、前記(数13)のように
更新し、ｊ番目の中間層素子からｒ番目の出力層素子へ
の結合係数Ｖjrは、前記(数15)のように更新する。Ｓ47
を終了後、Ｓ41に戻る。
と教師信号との誤差ｅの大きさに応じて、(数18)、また
は(数19)から算出する。Ｓ46では、Ｎ.Ｎ出力Ｙr(p)と
教師信号dr(p)の２乗誤差Ｅと前記ペナルティ関数ｇの
重み付け和Ｅ２を(数12)で算出し、Ｓ47で、バックプロ
パゲーション法により、ｉ番目の入力層素子からｊ番目
の中間層素子への結合係数Ｗijは、前記(数13)のように
更新し、ｊ番目の中間層素子からｒ番目の出力層素子へ
の結合係数Ｖjrは、前記(数15)のように更新する。Ｓ47
を終了後、Ｓ41に戻る。
【００７７】なお、本発明は、多入力多出力、または多
入力１出力の３層以上の階層型ニューラルネットワーク
の学習にも同様に用いることが可能であり、また、出力
層の出力関数が非線形関数の場合にも用いることが可能
である。
入力１出力の３層以上の階層型ニューラルネットワーク
の学習にも同様に用いることが可能であり、また、出力
層の出力関数が非線形関数の場合にも用いることが可能
である。
【００７８】以上のような処理を行うことにより、局所
的最小値状態を回避して、高速、かつ精度良く最適最小
値状態に収束する学習をさせることができる。
的最小値状態を回避して、高速、かつ精度良く最適最小
値状態に収束する学習をさせることができる。
【００７９】
【発明の効果】以上説明したように本発明のＮ.Ｎの学
習装置はＮ.Ｎの素子の出力関数が非線形関数である素
子に対して、素子出力が極値をとるときに、出力値が最
大となるペナルティ関数の値とＮ.Ｎ出力と教師信号の
２乗誤差の重み付け和を評価関数として、バックプロパ
ゲーション法を用いて結合係数の更新を行うことによ
り、学習課程における局所的最小値状態を回避して、最
適最小値状態に収束する学習をさせることができる。
習装置はＮ.Ｎの素子の出力関数が非線形関数である素
子に対して、素子出力が極値をとるときに、出力値が最
大となるペナルティ関数の値とＮ.Ｎ出力と教師信号の
２乗誤差の重み付け和を評価関数として、バックプロパ
ゲーション法を用いて結合係数の更新を行うことによ
り、学習課程における局所的最小値状態を回避して、最
適最小値状態に収束する学習をさせることができる。
【図１】本発明の実施の形態１におけるニューラルネッ
トワークの学習装置の構成図である。
トワークの学習装置の構成図である。
【図２】図１の学習処理のフロー図である。
【図３】本発明の実施の形態２におけるニューラルネッ
トワークの学習装置の構成図である。
トワークの学習装置の構成図である。
【図４】図３の学習処理のフロー図である。
【図５】従来のニューラルネットワークの学習装置の構
成図である。
成図である。
【図６】ニューラルネットワークの説明図である。
１，31…Ｎ.Ｎ演算手段、 ２，32…ペナルティ関数算
出手段、 ３…第１重み付け和算出手段、 ４，35…結
合係数更新手段、 33…重み付け係数更新手段、34…第
２重み付け和算出手段。
出手段、 ３…第１重み付け和算出手段、 ４，35…結
合係数更新手段、 33…重み付け係数更新手段、34…第
２重み付け和算出手段。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 瀧川 益生 大阪府門真市大字門真1006番地 松下電器 産業株式会社内
Claims (2)
- 【請求項１】 学習対象の入力を学習データとしてニュ
ーラルネットワークの演算を行うニューラルネットワー
ク演算手段と、前記ニューラルネットワークの非線形関
数をもつ素子の出力が極値をとるときに、出力が最大と
なるペナルティ関数を算出するペナルティ関数算出手段
と、前記ニューラルネットワーク演算手段の出力と教師
信号との２乗誤差と前記ペナルティ関数値の重み付け和
を求める第１重み付け和算出手段と、前記第１重み付け
和算出手段から得られる重み付け和を評価関数としてバ
ックプロパゲーション法によりニューラルネットワーク
の結合係数を求める結合係数更新手段を有することを特
徴とするニューラルネットワークの学習装置。 - 【請求項２】 学習対象の入力を学習データとしてニュ
ーラルネットワークの演算を行うニューラルネットワー
ク演算手段と、前記ニューラルネットワークの非線形関
数をもつ素子の出力が極値をとるときに、出力値が最大
となるペナルティ関数を算出するペナルティ関数算出手
段と、前記ニューラルネットワーク演算手段の出力と教
師信号との誤差の大きさに応じて重み付け係数を変更す
る重み付け係数変更手段と、前記重み付け係数に応じて
前記ニューラルネットワーク演算手段の出力と教師信号
との２乗誤差と前記ペナルティ関数値との重み付け和を
求める第２重み付け和算出手段と、前記第２重み付け和
算出手段から得られる重み付け和を評価関数としてバッ
クプロパゲーション法によりニューラルネットワークの
結合係数を求める結合係数更新手段を有することを特徴
とするニューラルネットワークの学習装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8076541A JPH09265463A (ja) | 1996-03-29 | 1996-03-29 | ニューラルネットワークの学習装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8076541A JPH09265463A (ja) | 1996-03-29 | 1996-03-29 | ニューラルネットワークの学習装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09265463A true JPH09265463A (ja) | 1997-10-07 |
Family
ID=13608137
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8076541A Pending JPH09265463A (ja) | 1996-03-29 | 1996-03-29 | ニューラルネットワークの学習装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09265463A (ja) |
-
1996
- 1996-03-29 JP JP8076541A patent/JPH09265463A/ja active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bodyanskiy et al. | Hybrid adaptive wavelet-neuro-fuzzy system for chaotic time series identification | |
| Chuntao et al. | A neural networks model for hysteresis nonlinearity | |
| EP1021752B1 (en) | Model-free adaptive process control | |
| US5943660A (en) | Method for feedback linearization of neural networks and neural network incorporating same | |
| Boulkroune et al. | Indirect adaptive fuzzy control scheme based on observer for nonlinear systems: A novel SPR-filter approach | |
| Mizutani et al. | On derivation of MLP backpropagation from the Kelley-Bryson optimal-control gradient formula and its application | |
| Li et al. | Hybrid adaptive fuzzy control for uncertain MIMO nonlinear systems with unknown dead-zones | |
| Li | A sigma-pi-sigma neural network (SPSNN) | |
| Kambhampati et al. | Inverse model control using recurrent networks | |
| Ramacher | Hamiltonian dynamics of neural networks | |
| JPH07121498A (ja) | ニューラルネットワーク構築方法 | |
| Ren et al. | Optimal output feedback control of nonlinear partially-unknown constrained-input systems using integral reinforcement learning | |
| JPH09265463A (ja) | ニューラルネットワークの学習装置 | |
| Lv et al. | Adaptive neural finite-time control of nonlinear systems subject to sensor hysteresis | |
| Canelon et al. | A new approach for neural control of nonlinear discrete dynamic systems | |
| Lee et al. | Neural Network | |
| Ayoubi | Comparison between the dynamic multi-layered perceptron and the generalised Hammerstein model for experimental identification of the loading process in diesel engines | |
| JP2674167B2 (ja) | 神経回路網モデルを用いたプロセス制御方法 | |
| Cannas et al. | Performance analysis of locally recurrent neural networks | |
| JPH0981535A (ja) | ニューラルネットワークの学習方法 | |
| JPH09138786A (ja) | ニューラルネットワークの学習装置 | |
| Koivisto | Minimum prediction error neural controller | |
| Xu et al. | A robust recurrent simultaneous perturbation stochastic approximation training algorithm for recurrent neural networks | |
| Wang et al. | Minimal model dimension/order determination algorithms for recurrent neural networks | |
| Rodriguez et al. | Identification of nonlinear dynamical systems by means of complex-valued fuzzy-neural multi-model |