JPH0981535A - ニューラルネットワークの学習方法 - Google Patents
ニューラルネットワークの学習方法Info
- Publication number
- JPH0981535A JPH0981535A JP7231877A JP23187795A JPH0981535A JP H0981535 A JPH0981535 A JP H0981535A JP 7231877 A JP7231877 A JP 7231877A JP 23187795 A JP23187795 A JP 23187795A JP H0981535 A JPH0981535 A JP H0981535A
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- learning
- coupling coefficient
- differential value
- coefficient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【課題】 従来のニューラルネットワーク(以後N.
N)の学習方法では、教師信号とN.N出力の2乗誤差
が最小となるように結合係数を学習させるだけであっ
て、N.N出力の微分値の精度に対してはなんら保証し
ていないため、N.N出力が教師信号に対して振動的に
なるという問題点を有していた。 【解決手段】 N.Nを入力パラメータで全微分して得
られる線形近似式に入力データの差分値を入力してN.
N出力の微分値を求める微分値算出手段2と、N.Nの
出力と教師信号との2乗誤差と微分値算出手段2から得
られる微分値と教師信号の差分値の2乗誤差の和からバ
ックプロパゲーション法によりN.Nの結合係数を求め
る結合係数更新手段3を有し、N.Nの演算、前記微分
値の演算、前記2乗誤差和の演算およびN.Nの結合係
数の演算を順に繰り返し、前記2乗誤差和が学習終了誤
差以下となるN.Nの結合係数を求める。
N)の学習方法では、教師信号とN.N出力の2乗誤差
が最小となるように結合係数を学習させるだけであっ
て、N.N出力の微分値の精度に対してはなんら保証し
ていないため、N.N出力が教師信号に対して振動的に
なるという問題点を有していた。 【解決手段】 N.Nを入力パラメータで全微分して得
られる線形近似式に入力データの差分値を入力してN.
N出力の微分値を求める微分値算出手段2と、N.Nの
出力と教師信号との2乗誤差と微分値算出手段2から得
られる微分値と教師信号の差分値の2乗誤差の和からバ
ックプロパゲーション法によりN.Nの結合係数を求め
る結合係数更新手段3を有し、N.Nの演算、前記微分
値の演算、前記2乗誤差和の演算およびN.Nの結合係
数の演算を順に繰り返し、前記2乗誤差和が学習終了誤
差以下となるN.Nの結合係数を求める。
Description
【0001】
【発明の属する技術分野】本発明は、ニューラルネット
ワーク(以下、N.Nと略す)の学習方法に関するもの
で、特に非線形でパラメータが未知な対象の特性をその
対象の入出力データから学習するために使用されるもの
である。
ワーク(以下、N.Nと略す)の学習方法に関するもの
で、特に非線形でパラメータが未知な対象の特性をその
対象の入出力データから学習するために使用されるもの
である。
【0002】
【従来の技術】以下、図面を参照しながら、従来のN.
Nの学習方法について説明する。図9はN.Nの学習の
基本構成図である。図9において、91は正規化された学
習データが入力され、N.Nの演算を行い、N.N出力
を算出するN.N演算手段であり、結合係数更新手段92
によりその結合係数が更新される。
Nの学習方法について説明する。図9はN.Nの学習の
基本構成図である。図9において、91は正規化された学
習データが入力され、N.Nの演算を行い、N.N出力
を算出するN.N演算手段であり、結合係数更新手段92
によりその結合係数が更新される。
【0003】図10はN.N演算手段91により演算される
N.Nの説明図である。N.Nは図10に示すように、m
入力p出力の3層ニューラルネットワークであり、中間
層素子数nで、中間層の出力関数はシグモイド型関数、
入出力層の出力関数は線形関数である。
N.Nの説明図である。N.Nは図10に示すように、m
入力p出力の3層ニューラルネットワークであり、中間
層素子数nで、中間層の出力関数はシグモイド型関数、
入出力層の出力関数は線形関数である。
【0004】N.Nが図10に示す3層ニューラルネット
ワークであるとしてN.N演算手段91によるN.Nの演
算を説明する。N.N演算手段91への入力をX1、X
2、X3、・・・、Xmとしている。
ワークであるとしてN.N演算手段91によるN.Nの演
算を説明する。N.N演算手段91への入力をX1、X
2、X3、・・・、Xmとしている。
【0005】まず、中間層のj番目の素子への入力Uj
を、閾値をθwj、i番目の入力層素子からj番目の中
間層素子への結合係数Wijとして、式(1)により算
出する。
を、閾値をθwj、i番目の入力層素子からj番目の中
間層素子への結合係数Wijとして、式(1)により算
出する。
【0006】
【数1】
【0007】ここで、W0j=θwj、X0=1として
いる。次に中間層のj番目の素子の出力Hjを、式
(2)により算出する。
いる。次に中間層のj番目の素子の出力Hjを、式
(2)により算出する。
【0008】
【数2】
【0009】式(2)におけるf(Uj)は、式(3)
に示すシグモイド型関数である。
に示すシグモイド型関数である。
【0010】
【数3】
【0011】次に出力層のk番目の素子への入力Ok
を、閾値をθvk、j番目の中間層素子からk番目の出
力層素子への結合係数Vjkとして、式(4)により算
出する。
を、閾値をθvk、j番目の中間層素子からk番目の出
力層素子への結合係数Vjkとして、式(4)により算
出する。
【0012】
【数4】
【0013】ここで、V0k=θvk、H0=1として
いる。次に出力層のk番目の素子の出力Ykを、式
(5)により算出し、N.N出力が求められる。
いる。次に出力層のk番目の素子の出力Ykを、式
(5)により算出し、N.N出力が求められる。
【0014】
【数5】
【0015】次に前記結合係数更新手段92による結合係
数更新の演算を説明する。まず、N.N演算手段91の出
力Yと教師信号dとの2乗誤差Eを式(6)により算出
する。
数更新の演算を説明する。まず、N.N演算手段91の出
力Yと教師信号dとの2乗誤差Eを式(6)により算出
する。
【0016】
【数6】
【0017】次に算出した2乗誤差Eを誤差関数とし
て、バックプロパゲーション法によりN.N演算手段91
の結合係数Wij,Vjkを算出する。すなわち、i番
目に入力層素子からj番目の中間層素子への結合係数W
ijは、式(7)式(8)により算出されて更新され
る。
て、バックプロパゲーション法によりN.N演算手段91
の結合係数Wij,Vjkを算出する。すなわち、i番
目に入力層素子からj番目の中間層素子への結合係数W
ijは、式(7)式(8)により算出されて更新され
る。
【0018】
【数7】
【0019】
【数8】
【0020】またj番目の中間層素子から、k番目の出
力層素子への結合係数Vjkは、式(9)式(10)に
より算出されて更新される。
力層素子への結合係数Vjkは、式(9)式(10)に
より算出されて更新される。
【0021】
【数9】
【0022】
【数10】
【0023】上記式(7)、式(9)のμは学習係数で
あり、通常、学習開始時に設定しておく。そして、前記
N.N演算手段91によるN.Nの演算、前記結合係数更
新手段92による前記2乗誤差Eの演算およびN.N演算
手段91の結合係数Wij,Vjkの更新を順に繰り返
し、2乗誤差Eが最少となるように結合係数Wij,V
jkを学習させている。
あり、通常、学習開始時に設定しておく。そして、前記
N.N演算手段91によるN.Nの演算、前記結合係数更
新手段92による前記2乗誤差Eの演算およびN.N演算
手段91の結合係数Wij,Vjkの更新を順に繰り返
し、2乗誤差Eが最少となるように結合係数Wij,V
jkを学習させている。
【0024】以上のようなバックプロパゲーション法に
よる学習方法は、たとえば、特開平2−201607号
公報などに記載されている。
よる学習方法は、たとえば、特開平2−201607号
公報などに記載されている。
【0025】
【発明が解決しようとする課題】しかしながら上記に示
すような従来の方法では、教師信号dとN.N出力Yの
2乗誤差Eが最小となるようにN.N演算手段91の結合
係数Wij,Vjkを学習させるだけであって、N.N
出力Yの微分値の精度に対してはなんら保証していない
ため、N.N出力Yが教師信号dに対して振動的になる
という問題点を有していた。
すような従来の方法では、教師信号dとN.N出力Yの
2乗誤差Eが最小となるようにN.N演算手段91の結合
係数Wij,Vjkを学習させるだけであって、N.N
出力Yの微分値の精度に対してはなんら保証していない
ため、N.N出力Yが教師信号dに対して振動的になる
という問題点を有していた。
【0026】また、バックプロパゲーション法で算出さ
れる結合係数の更新量は、入力の大きさに依存するた
め、入力が小さいと学習誤差が大きくても結合係数の更
新量は、小さくなってしまうという問題点を有してい
た。
れる結合係数の更新量は、入力の大きさに依存するた
め、入力が小さいと学習誤差が大きくても結合係数の更
新量は、小さくなってしまうという問題点を有してい
た。
【0027】そこで本発明は、微分値を精度よく用いて
振動を防ぎ、従来より高速で精度の良いニューラルネッ
トワークの学習方法を提供することを目的とするもので
ある。
振動を防ぎ、従来より高速で精度の良いニューラルネッ
トワークの学習方法を提供することを目的とするもので
ある。
【0028】
【課題を解決するための手段】前述した目的を達成する
ために、本発明のうち請求項1記載の発明のニューラル
ネットワークの学習方法は、学習対象の入力を学習デー
タとして前記ニューラルネットワークの演算を行うニュ
ーラルネットワーク演算手段と、前記ニューラルネット
ワーク演算手段のニューラルネットワークを、前記学習
データを入力パラメータとする非線形関数で表し、非線
形関数を入力パラメータで全微分して得られる線形近似
式に、学習データの差分値を入力して微分値を求める微
分値算出手段と、前記ニューラルネットワーク演算手段
の出力と教師信号との2乗誤差と前記微分値算出手段か
ら得られる微分値と教師信号の差分値の2乗誤差の和か
らバックプロパゲーション法によりニューラルネットワ
ークの結合係数を求める結合係数更新手段とを有し、前
記ニューラルネットワーク演算手段によるニューラルネ
ットワークの演算、前記微分値算出手段による前記微分
値の演算、前記結合係数更新手段による前記2乗誤差和
の演算およびニューラルネットワークの結合係数の演算
を順に繰り返し、前記2乗誤差和が学習終了誤差以下と
なるニューラルネットワークの結合係数を求めることを
特徴とするものである。
ために、本発明のうち請求項1記載の発明のニューラル
ネットワークの学習方法は、学習対象の入力を学習デー
タとして前記ニューラルネットワークの演算を行うニュ
ーラルネットワーク演算手段と、前記ニューラルネット
ワーク演算手段のニューラルネットワークを、前記学習
データを入力パラメータとする非線形関数で表し、非線
形関数を入力パラメータで全微分して得られる線形近似
式に、学習データの差分値を入力して微分値を求める微
分値算出手段と、前記ニューラルネットワーク演算手段
の出力と教師信号との2乗誤差と前記微分値算出手段か
ら得られる微分値と教師信号の差分値の2乗誤差の和か
らバックプロパゲーション法によりニューラルネットワ
ークの結合係数を求める結合係数更新手段とを有し、前
記ニューラルネットワーク演算手段によるニューラルネ
ットワークの演算、前記微分値算出手段による前記微分
値の演算、前記結合係数更新手段による前記2乗誤差和
の演算およびニューラルネットワークの結合係数の演算
を順に繰り返し、前記2乗誤差和が学習終了誤差以下と
なるニューラルネットワークの結合係数を求めることを
特徴とするものである。
【0029】上記方法によって、ニューラルネットワー
クの演算出力だけではなく、その微分値の挙動も考慮し
たニューラルネットの学習をすることができるため、従
来より高精度なニューラルネットワークの学習を行うこ
とができ、ニューラルネットワークの出力のみならず、
その微分値も精度良く用いることができる。
クの演算出力だけではなく、その微分値の挙動も考慮し
たニューラルネットの学習をすることができるため、従
来より高精度なニューラルネットワークの学習を行うこ
とができ、ニューラルネットワークの出力のみならず、
その微分値も精度良く用いることができる。
【0030】また請求項2記載の発明のニューラルネッ
トワークの学習方法は、学習対象の入力を学習データと
してニューラルネットワークの演算を行うニューラルネ
ットワーク演算手段と、前記ニューラルネットワーク演
算手段のニューラルネットワークを、前記学習データを
入力パラメータとする非線形関数で表し、非線形関数を
入力パラメータで全微分して得られる線形近似式に、学
習データの差分値を入力して微分値を求める微分値算出
手段と、前記ニューラルネットワーク演算手段の出力と
教師信号との2乗誤差と前記微分値算出手段から得られ
る微分値と教師信号の差分値の2乗誤差の大きさに応じ
て2乗誤差和の重み係数を求める重みづけ係数変更手段
と、前記ニューラルネットワーク演算手段の出力と教師
信号との2乗誤差と前記微分値算出手段から得られる微
分値と教師信号の差分値の2乗誤差を前記重みづけ係数
変更手段から得られる重み係数により重みづけを行って
その和を求め、この2乗誤差和からバックプロパゲーシ
ョン法によりニューラルネットワークの結合係数を求め
る結合係数更新手段とを有し、前記ニューラルネットワ
ーク演算手段によるニューラルネットワークの演算、前
記微分値算出手段による前記微分値の演算、前記重みづ
け係数変更手段による前記重み係数の演算、前記結合係
数更新手段による前記2乗誤差和の演算およびニューラ
ルネットワークの結合係数の演算を順に繰り返し、前記
2乗誤差和が学習終了誤差以下となるニューラルネット
ワークの結合係数を求めることを特徴とするものであ
る。
トワークの学習方法は、学習対象の入力を学習データと
してニューラルネットワークの演算を行うニューラルネ
ットワーク演算手段と、前記ニューラルネットワーク演
算手段のニューラルネットワークを、前記学習データを
入力パラメータとする非線形関数で表し、非線形関数を
入力パラメータで全微分して得られる線形近似式に、学
習データの差分値を入力して微分値を求める微分値算出
手段と、前記ニューラルネットワーク演算手段の出力と
教師信号との2乗誤差と前記微分値算出手段から得られ
る微分値と教師信号の差分値の2乗誤差の大きさに応じ
て2乗誤差和の重み係数を求める重みづけ係数変更手段
と、前記ニューラルネットワーク演算手段の出力と教師
信号との2乗誤差と前記微分値算出手段から得られる微
分値と教師信号の差分値の2乗誤差を前記重みづけ係数
変更手段から得られる重み係数により重みづけを行って
その和を求め、この2乗誤差和からバックプロパゲーシ
ョン法によりニューラルネットワークの結合係数を求め
る結合係数更新手段とを有し、前記ニューラルネットワ
ーク演算手段によるニューラルネットワークの演算、前
記微分値算出手段による前記微分値の演算、前記重みづ
け係数変更手段による前記重み係数の演算、前記結合係
数更新手段による前記2乗誤差和の演算およびニューラ
ルネットワークの結合係数の演算を順に繰り返し、前記
2乗誤差和が学習終了誤差以下となるニューラルネット
ワークの結合係数を求めることを特徴とするものであ
る。
【0031】上記方法によって、ニューラルネットワー
クの演算出力だけではなく、その微分値の挙動も考慮し
たニューラルネットの学習をすることができるため、さ
らにニューラルネットワーク出力の2乗誤差とニューラ
ルネットワーク出力の微分値の2乗誤差の和の重みづけ
を学習状態によって変更することにより、従来より高速
に、なおかつ高精度なニューラルネットワークの学習を
行うことができる。
クの演算出力だけではなく、その微分値の挙動も考慮し
たニューラルネットの学習をすることができるため、さ
らにニューラルネットワーク出力の2乗誤差とニューラ
ルネットワーク出力の微分値の2乗誤差の和の重みづけ
を学習状態によって変更することにより、従来より高速
に、なおかつ高精度なニューラルネットワークの学習を
行うことができる。
【0032】また請求項3記載の発明のニューラルネッ
トワークの学習方法は、学習対象の入力を学習データと
してニューラルネットワークの演算を行うニューラルネ
ットワーク演算手段と、前記ニューラルネットワーク演
算手段の出力と教師信号との2乗誤差からバックプロパ
ゲーション法によりニューラルネットワークの結合係数
を求める結合係数更新手段と、前記ニューラルネットワ
ーク演算手段の入力の2乗和の大きさに応じて、前記結
合係数更新手段で結合係数更新量を算出するときに用い
る学習係数を変更する第1学習係数変更手段とを有し、
前記ニューラルネットワーク演算手段によるニューラル
ネットワークの演算、前記結合係数更新手段による前記
2乗誤差の演算、前記第1学習係数変更手段による前記
学習係数の演算、前記結合係数更新手段によるニューラ
ルネットワークの結合係数の演算の演算を順に繰り返
し、前記2乗誤差が学習終了誤差以下となるニューラル
ネットワークの結合係数を求めることを特徴とするもの
である。
トワークの学習方法は、学習対象の入力を学習データと
してニューラルネットワークの演算を行うニューラルネ
ットワーク演算手段と、前記ニューラルネットワーク演
算手段の出力と教師信号との2乗誤差からバックプロパ
ゲーション法によりニューラルネットワークの結合係数
を求める結合係数更新手段と、前記ニューラルネットワ
ーク演算手段の入力の2乗和の大きさに応じて、前記結
合係数更新手段で結合係数更新量を算出するときに用い
る学習係数を変更する第1学習係数変更手段とを有し、
前記ニューラルネットワーク演算手段によるニューラル
ネットワークの演算、前記結合係数更新手段による前記
2乗誤差の演算、前記第1学習係数変更手段による前記
学習係数の演算、前記結合係数更新手段によるニューラ
ルネットワークの結合係数の演算の演算を順に繰り返
し、前記2乗誤差が学習終了誤差以下となるニューラル
ネットワークの結合係数を求めることを特徴とするもの
である。
【0033】上記方法により、入力の大きさに影響され
ずに結合係数の更新量を算出することができ、学習速度
が速く、精度良く学習することができる。さらに請求項
4記載の発明のニューラルネットワークの学習方法は、
学習対象の入力を学習データとしてニューラルネットワ
ークの演算を行うニューラルネットワーク演算手段と、
前記ニューラルネットワーク演算手段の出力と教師信号
との2乗誤差からバックプロパゲーション法によりニュ
ーラルネットワークの結合係数を求める結合係数更新手
段と、前記ニューラルネットワーク演算手段のニューラ
ルネットワークの各層間の結合係数への入力の2乗和の
大きさに応じて、前記結合係数更新手段で結合係数更新
量を算出するときに用いる前記各層の学習係数を変更す
る第2学習係数変更手段とを有し、前記ニューラルネッ
トワーク演算手段によるニューラルネットワークの演
算、前記結合係数更新手段による前記2乗誤差の演算、
前記第2学習係数変更手段によるニューラルネットワー
クの各層の学習係数の演算、前記結合係数更新手段によ
るニューラルネットワークの結合係数の演算を順に繰り
返し、前記2乗誤差が学習終了誤差以下となるニューラ
ルネットワークの結合係数を求めることを特徴とするも
のである。
ずに結合係数の更新量を算出することができ、学習速度
が速く、精度良く学習することができる。さらに請求項
4記載の発明のニューラルネットワークの学習方法は、
学習対象の入力を学習データとしてニューラルネットワ
ークの演算を行うニューラルネットワーク演算手段と、
前記ニューラルネットワーク演算手段の出力と教師信号
との2乗誤差からバックプロパゲーション法によりニュ
ーラルネットワークの結合係数を求める結合係数更新手
段と、前記ニューラルネットワーク演算手段のニューラ
ルネットワークの各層間の結合係数への入力の2乗和の
大きさに応じて、前記結合係数更新手段で結合係数更新
量を算出するときに用いる前記各層の学習係数を変更す
る第2学習係数変更手段とを有し、前記ニューラルネッ
トワーク演算手段によるニューラルネットワークの演
算、前記結合係数更新手段による前記2乗誤差の演算、
前記第2学習係数変更手段によるニューラルネットワー
クの各層の学習係数の演算、前記結合係数更新手段によ
るニューラルネットワークの結合係数の演算を順に繰り
返し、前記2乗誤差が学習終了誤差以下となるニューラ
ルネットワークの結合係数を求めることを特徴とするも
のである。
【0034】上記方法により、各層間の結合係数への入
力の2乗和の大きさに応じて、学習係数を変更すること
により、入力の大きさに影響されずに結合係数の更新量
を算出することができ、高速に、なおかつ精度良く学習
することができる。
力の2乗和の大きさに応じて、学習係数を変更すること
により、入力の大きさに影響されずに結合係数の更新量
を算出することができ、高速に、なおかつ精度良く学習
することができる。
【0035】
【発明の実施の形態】以下、本発明の実施の形態を図面
に基づいて説明する。なお、従来例と同様に図10に示す
m入力p出力の3層ニューラルネットワークを用いて説
明する。
に基づいて説明する。なお、従来例と同様に図10に示す
m入力p出力の3層ニューラルネットワークを用いて説
明する。
【0036】図1は本発明の請求項1の実施の形態を示
すニューラルネットワークの学習の基本構成図である。
図1において、1はN.N演算手段、2は微分値算出手
段、3は結合係数変更手段である。
すニューラルネットワークの学習の基本構成図である。
図1において、1はN.N演算手段、2は微分値算出手
段、3は結合係数変更手段である。
【0037】N.N演算手段1は、従来例と同様に図10
に示すm入力p出力の3層ニューラルネットワークの演
算を行う演算手段であり、N.N演算手段1には正規化
された学習データが入力され、N.N出力が算出され
る。
に示すm入力p出力の3層ニューラルネットワークの演
算を行う演算手段であり、N.N演算手段1には正規化
された学習データが入力され、N.N出力が算出され
る。
【0038】ここで、N.N演算手段1の入力パラメー
タをX1、X2、X3、・・・、Xmと表し、N.N演
算手段1を、出力層のk番目の素子の出力Ykを出力す
る非線形関数fnn,kとして式(11)のように表
す。
タをX1、X2、X3、・・・、Xmと表し、N.N演
算手段1を、出力層のk番目の素子の出力Ykを出力す
る非線形関数fnn,kとして式(11)のように表
す。
【0039】
【数11】
【0040】前記微分値算出手段2は、まず前記非線形
関数fnn,kを入力パラメータで全微分して得られる
線形近似式を式(12)により求める。
関数fnn,kを入力パラメータで全微分して得られる
線形近似式を式(12)により求める。
【0041】
【数12】
【0042】次に式(12)の線形近似式に学習データ
の差分値ΔXを入力することにより、N.N出力の微分
値ΔYkを求める。ここで、前記式(12)のΔYkは
N.N出力の微分値、ΔX1、ΔX2、・・・、ΔXm
はN.N入力の差分値であり、差分値の求め方は、通
常、前向き差分を用いるが、後ろ向き差分でも良い。ま
た、前記N.N演算手段1への入力パラメータのうち、
教師信号と特に相関性の高い入力パラメータ群のみで、
前記非線形関数fnnを偏微分することにより線形近似
式を求めても良い。
の差分値ΔXを入力することにより、N.N出力の微分
値ΔYkを求める。ここで、前記式(12)のΔYkは
N.N出力の微分値、ΔX1、ΔX2、・・・、ΔXm
はN.N入力の差分値であり、差分値の求め方は、通
常、前向き差分を用いるが、後ろ向き差分でも良い。ま
た、前記N.N演算手段1への入力パラメータのうち、
教師信号と特に相関性の高い入力パラメータ群のみで、
前記非線形関数fnnを偏微分することにより線形近似
式を求めても良い。
【0043】前記結合係数変更手段3は、まず前記N.
N演算手段1の出力Ykと教師信号dkとの誤差ek、
および前記微分値算出手段2から得られる微分値ΔYk
と教師信号の差分値Δdkの誤差Δekの2乗誤差和E
を、式(13)により求める。
N演算手段1の出力Ykと教師信号dkとの誤差ek、
および前記微分値算出手段2から得られる微分値ΔYk
と教師信号の差分値Δdkの誤差Δekの2乗誤差和E
を、式(13)により求める。
【0044】
【数13】
【0045】ここで、αは重みづけ定数であり、学習開
始時に設定する。次に、2乗誤差和Eを誤差関数とし
て、バックプロパゲーション法によりN.N演算手段1
の結合係数を更新する。すなわち、i番目の入力層素子
からj番目の中間層素子への結合係数Wijを、前記式
(7)から求めて更新し、またj番目の中間層素子か
ら、k番目の出力層素子への結合係数Vjkを、前記式
(9)から求めて更新する。
始時に設定する。次に、2乗誤差和Eを誤差関数とし
て、バックプロパゲーション法によりN.N演算手段1
の結合係数を更新する。すなわち、i番目の入力層素子
からj番目の中間層素子への結合係数Wijを、前記式
(7)から求めて更新し、またj番目の中間層素子か
ら、k番目の出力層素子への結合係数Vjkを、前記式
(9)から求めて更新する。
【0046】学習処理の手順を図2のフローチャートに
したがって説明する。この処理は、誤差Eがあらかじめ
定めた規定値より小さくなるまで繰り返される。 〔STEP21〕N.N演算手段1において従来例で示
したN.Nの演算を行う。
したがって説明する。この処理は、誤差Eがあらかじめ
定めた規定値より小さくなるまで繰り返される。 〔STEP21〕N.N演算手段1において従来例で示
したN.Nの演算を行う。
【0047】まず、中間層のj番目の素子への入力Uj
を、閾値をθwj、i番目の入力層素子からj番目の中
間層素子への結合係数Wijとして、前記式(1)によ
り求め、中間層のj番目の素子の出力Hjを、前記式
(2)により求める。次に出力層のk番目の素子への入
力Okを、閾値をθvk、j番目の中間層素子からk番
目の出力層素子への係合係数をVjkとして、前記式
(4)により求める。そして、出力層のp番目の素子の
出力Ykを、前記式(5)により求める。 〔STEP22〕次に、N.Nを各入力で偏微分した係
数を式(14)により求める。
を、閾値をθwj、i番目の入力層素子からj番目の中
間層素子への結合係数Wijとして、前記式(1)によ
り求め、中間層のj番目の素子の出力Hjを、前記式
(2)により求める。次に出力層のk番目の素子への入
力Okを、閾値をθvk、j番目の中間層素子からk番
目の出力層素子への係合係数をVjkとして、前記式
(4)により求める。そして、出力層のp番目の素子の
出力Ykを、前記式(5)により求める。 〔STEP22〕次に、N.Nを各入力で偏微分した係
数を式(14)により求める。
【0048】
【数14】
【0049】〔STEP23〕前記式(12)の線形近
似式により、ニューラルネット出力の微分値ΔYkを求
める。 〔STEP24〕次にニューラルネット出力Ykと教師
信号dkとの誤差ek、およびSTEP23で求めた
N.N出力の微分値ΔYkと教師信号の差分値Δdkの
誤差Δekの2乗誤差和Eを、前記式(13)により求
める。 〔STEP25〕2乗誤差和Eと学習開始時に設定した
学習終了誤差εを比較して、2乗誤差和Eが学習終了誤
差ε以下であれば、学習を終了する。 〔STEP26〕学習開始時に設定した学習回数に達し
た場合にも学習を終了する。
似式により、ニューラルネット出力の微分値ΔYkを求
める。 〔STEP24〕次にニューラルネット出力Ykと教師
信号dkとの誤差ek、およびSTEP23で求めた
N.N出力の微分値ΔYkと教師信号の差分値Δdkの
誤差Δekの2乗誤差和Eを、前記式(13)により求
める。 〔STEP25〕2乗誤差和Eと学習開始時に設定した
学習終了誤差εを比較して、2乗誤差和Eが学習終了誤
差ε以下であれば、学習を終了する。 〔STEP26〕学習開始時に設定した学習回数に達し
た場合にも学習を終了する。
【0050】STEP25、STEP26で学習終了条
件に達していなければ、STEP27に進む。 〔STEP27〕バックプロパゲーション法によりi番
目の入力層素子からj番目の中間層素子への結合係数W
ijを、前記式(7)で求めて更新し、またj番目の中
間層素子から、k番目の出力層素子への結合係数Vjk
を、前記式(9)で求めて更新する。
件に達していなければ、STEP27に進む。 〔STEP27〕バックプロパゲーション法によりi番
目の入力層素子からj番目の中間層素子への結合係数W
ijを、前記式(7)で求めて更新し、またj番目の中
間層素子から、k番目の出力層素子への結合係数Vjk
を、前記式(9)で求めて更新する。
【0051】ここで、式(7)の∂E/∂Wijは式
(15)により求められ、式(9)の∂E/∂Vjkは
式(16)により求められる。
(15)により求められ、式(9)の∂E/∂Vjkは
式(16)により求められる。
【0052】
【数15】
【0053】
【数16】
【0054】STEP27を終了後、STEP21に戻
る。以上のように、N.N出力誤差ekとN.N出力の
微分値の誤差Δekの2乗誤差和Eを誤差関数として、
バックプロパゲーション法により結合係数を更新させる
ことにより、従来よりも高精度なN.Nの学習を行うこ
とができ、N.Nの出力のみならず、その微分値も精度
良く用いることができ振動を防止できる。
る。以上のように、N.N出力誤差ekとN.N出力の
微分値の誤差Δekの2乗誤差和Eを誤差関数として、
バックプロパゲーション法により結合係数を更新させる
ことにより、従来よりも高精度なN.Nの学習を行うこ
とができ、N.Nの出力のみならず、その微分値も精度
良く用いることができ振動を防止できる。
【0055】図3は本発明の請求項2の実施の形態を示
すニューラルネットワークの学習の基本構成図である。
図3において、31はN.N演算手段、32は微分値算出手
段、33は結合係数変更手段、34は重みづけ係数変更手段
である。
すニューラルネットワークの学習の基本構成図である。
図3において、31はN.N演算手段、32は微分値算出手
段、33は結合係数変更手段、34は重みづけ係数変更手段
である。
【0056】N.N演算手段31は、上記N.N演算手段
1と同じN.N演算手段であり、正規化された学習デー
タが入力され、N.N出力が算出される。前記微分値算
出手段32は、上記微分値算出手段2と同様に、N.Nを
入力パラメータで全微分して得られる線形近似式に学習
データの差分値ΔXを入力することにより、出力層のk
番目の素子の出力の微分値ΔYkを前記式(12)より
求める。
1と同じN.N演算手段であり、正規化された学習デー
タが入力され、N.N出力が算出される。前記微分値算
出手段32は、上記微分値算出手段2と同様に、N.Nを
入力パラメータで全微分して得られる線形近似式に学習
データの差分値ΔXを入力することにより、出力層のk
番目の素子の出力の微分値ΔYkを前記式(12)より
求める。
【0057】また重みづけ係数変更手段34は、N.N演
算手段31の出力Ykと教師信号dkとの誤差ek、およ
び微分値算出手段32から得られる微分値ΔYkと教師信
号の差分値Δdの誤差Δekの2乗誤差和E2を式(1
7)により求める。
算手段31の出力Ykと教師信号dkとの誤差ek、およ
び微分値算出手段32から得られる微分値ΔYkと教師信
号の差分値Δdの誤差Δekの2乗誤差和E2を式(1
7)により求める。
【0058】
【数17】
【0059】次にこの2乗誤差和E2が、前回の結合係
数更新時に求めた2乗誤差和E2oldより小さけれ
ば、重み係数αに定数b1(b1>1)を乗じ、大きけ
れば定数b2(b2<1)を乗じる。ここで、重み係数
αの初期値はα<1とし、また、定数b1、およびb2
は学習開始時に設定しておく。
数更新時に求めた2乗誤差和E2oldより小さけれ
ば、重み係数αに定数b1(b1>1)を乗じ、大きけ
れば定数b2(b2<1)を乗じる。ここで、重み係数
αの初期値はα<1とし、また、定数b1、およびb2
は学習開始時に設定しておく。
【0060】また結合係数更新手段33は、重み係数αで
重みづけされた2乗誤差和Eの前記式(13)から、上
記結合係数更新手段3と同様にバックプロパゲーション
法によりN.Nの結合係数を算出する。
重みづけされた2乗誤差和Eの前記式(13)から、上
記結合係数更新手段3と同様にバックプロパゲーション
法によりN.Nの結合係数を算出する。
【0061】学習処理の手順を図4のフローチャートに
したがって説明する。この処理は、誤差Eがあらかじめ
定めた規定値より小さくなるまで繰り返される。STE
P41からSTEP43までは、図2の学習処理フロー
チャートのSTEP21からSTEP23と同様である
ので、説明を省略する。 〔STEP44〕前記式(17)により2乗誤差和E2
を求める。 〔STEP45〕2乗誤差和E2と学習開始時に設定し
た学習終了誤差εを比較して、2乗誤差和E2が学習終
了誤差ε以下であれば、学習を終了する。 〔STEP46〕次に、学習開始時に設定した学習回数
に達した場合にも学習を終了する。
したがって説明する。この処理は、誤差Eがあらかじめ
定めた規定値より小さくなるまで繰り返される。STE
P41からSTEP43までは、図2の学習処理フロー
チャートのSTEP21からSTEP23と同様である
ので、説明を省略する。 〔STEP44〕前記式(17)により2乗誤差和E2
を求める。 〔STEP45〕2乗誤差和E2と学習開始時に設定し
た学習終了誤差εを比較して、2乗誤差和E2が学習終
了誤差ε以下であれば、学習を終了する。 〔STEP46〕次に、学習開始時に設定した学習回数
に達した場合にも学習を終了する。
【0062】STEP45、STEP46で学習終了条
件に達していなければ、STEP47に進む。 〔STEP47〕2乗誤差和E2と前回の結合係数更新
時に求めた2乗誤差和E2oldを比較する。 〔STEP48〕STEP47において、2乗誤差和E
2が前回の結合係数更新時に求めた2乗誤差和E2ol
dより小さければ、重み係数αに定数b1(b1>1)
を乗じる。 〔STEP49〕STEP48により求めた重み係数α
と最大重み定数αmaxを比較する。重み係数αが最大
重み定数αmaxより小さければ、STEP412に進
む。 〔STEP410〕STEP49において、重み係数α
が最大重み定数αmaxより大きければ、αにαmax
を代入し、STEP412に進む。 〔STEP411〕STEP47において、2乗誤差和
E2が前回の結合係数更新時に求めた2乗誤差和E2o
ld以上であれば、重み係数αに定数b2(b2<1)
をαに乗じて、STEP412に進む。 〔STEP412〕前記式(13)から、重みづけされ
た2乗誤差和Eを算出する。 〔STEP413〕2乗誤差和Eより図2のSTEP2
7と同様に、バックプロパゲーション法によって、結合
係数を更新する。
件に達していなければ、STEP47に進む。 〔STEP47〕2乗誤差和E2と前回の結合係数更新
時に求めた2乗誤差和E2oldを比較する。 〔STEP48〕STEP47において、2乗誤差和E
2が前回の結合係数更新時に求めた2乗誤差和E2ol
dより小さければ、重み係数αに定数b1(b1>1)
を乗じる。 〔STEP49〕STEP48により求めた重み係数α
と最大重み定数αmaxを比較する。重み係数αが最大
重み定数αmaxより小さければ、STEP412に進
む。 〔STEP410〕STEP49において、重み係数α
が最大重み定数αmaxより大きければ、αにαmax
を代入し、STEP412に進む。 〔STEP411〕STEP47において、2乗誤差和
E2が前回の結合係数更新時に求めた2乗誤差和E2o
ld以上であれば、重み係数αに定数b2(b2<1)
をαに乗じて、STEP412に進む。 〔STEP412〕前記式(13)から、重みづけされ
た2乗誤差和Eを算出する。 〔STEP413〕2乗誤差和Eより図2のSTEP2
7と同様に、バックプロパゲーション法によって、結合
係数を更新する。
【0063】STEP413終了後、STEP41に戻
る。このように、学習誤差が大きいときには、結合係数
の更新にN.N出力と教師信号との誤差の影響を大きく
反映させ、学習誤差が小さくなるにつれて、N.N出力
の微分値の誤差の影響を大きく反映させることで、従来
よりも高精度なN.Nの学習を行うことができ、なおか
つ高速に学習することができる。
る。このように、学習誤差が大きいときには、結合係数
の更新にN.N出力と教師信号との誤差の影響を大きく
反映させ、学習誤差が小さくなるにつれて、N.N出力
の微分値の誤差の影響を大きく反映させることで、従来
よりも高精度なN.Nの学習を行うことができ、なおか
つ高速に学習することができる。
【0064】図5は本発明の請求項3の実施の形態を示
すニューラルネットワークの学習の基本構成図である。
図5において、51はN.N演算手段、52は微分値算出手
段、53は第1学習係数変更手段である。
すニューラルネットワークの学習の基本構成図である。
図5において、51はN.N演算手段、52は微分値算出手
段、53は第1学習係数変更手段である。
【0065】N.N演算手段51は、上記N.N演算手段
1と同じN.N演算手段であり、正規化された学習デー
タが入力され、N.N出力が算出される。第1学習係数
変更手段53は、N.N演算手段51の入力の2乗和の大き
さに応じて、式(18)により式(7)式(9)の学習
係数μを変更する。
1と同じN.N演算手段であり、正規化された学習デー
タが入力され、N.N出力が算出される。第1学習係数
変更手段53は、N.N演算手段51の入力の2乗和の大き
さに応じて、式(18)により式(7)式(9)の学習
係数μを変更する。
【0066】
【数18】
【0067】ここで、cは学習開始時に設定する定数で
ある。結合係数更新手段52は、第1学習係数変更手段53
で求めた学習係数μを用いて、N.N演算手段51の出力
と教師信号との2乗誤差より、バックプロパゲーション
法によりN.Nの結合係数を算出する。
ある。結合係数更新手段52は、第1学習係数変更手段53
で求めた学習係数μを用いて、N.N演算手段51の出力
と教師信号との2乗誤差より、バックプロパゲーション
法によりN.Nの結合係数を算出する。
【0068】学習処理の手順を図6のフローチャートに
したがって説明する。この処理は、誤差Eがあらかじめ
定めた規定値より小さくなるまで繰り返される。 〔STEP61〕上記STEP21と同様に、N.Nの
演算を行う。 〔STEP62〕次に、式(6)によりN.N出力と教
師信号との2乗誤差Eを算出する。 〔STEP63〕2乗誤差Eと学習開始時に設定した学
習終了誤差εを比較して、2乗誤差Eが学習終了誤差ε
以下であれば、学習を終了する。 〔STEP64〕学習開始時に設定した学習回数に達し
た場合にも学習を終了する。
したがって説明する。この処理は、誤差Eがあらかじめ
定めた規定値より小さくなるまで繰り返される。 〔STEP61〕上記STEP21と同様に、N.Nの
演算を行う。 〔STEP62〕次に、式(6)によりN.N出力と教
師信号との2乗誤差Eを算出する。 〔STEP63〕2乗誤差Eと学習開始時に設定した学
習終了誤差εを比較して、2乗誤差Eが学習終了誤差ε
以下であれば、学習を終了する。 〔STEP64〕学習開始時に設定した学習回数に達し
た場合にも学習を終了する。
【0069】STEP63、STEP64で学習終了条
件に達していなければ、STEP65に進む。 〔STEP65〕学習係数μをN.N入力の大きさに応
じて、前記式(18)により求める。 〔STEP66〕バックプロパゲーション法を用いて、
結合係数を更新する。
件に達していなければ、STEP65に進む。 〔STEP65〕学習係数μをN.N入力の大きさに応
じて、前記式(18)により求める。 〔STEP66〕バックプロパゲーション法を用いて、
結合係数を更新する。
【0070】STEP66終了後、STEP61に戻
る。このように、N.N入力の大きさに応じて学習係数
μを変更させることにより、入力の大きさに影響されず
に結合係数の更新量を算出することができ、学習速度が
速く、なおかつ精度良く学習することができる。
る。このように、N.N入力の大きさに応じて学習係数
μを変更させることにより、入力の大きさに影響されず
に結合係数の更新量を算出することができ、学習速度が
速く、なおかつ精度良く学習することができる。
【0071】図7は本発明の請求項4の実施の形態を示
すニューラルネットワークの学習の基本構成図である。
図7において、71はN.N演算手段、72は微分値算出手
段、73は第2学習係数変更手段である。
すニューラルネットワークの学習の基本構成図である。
図7において、71はN.N演算手段、72は微分値算出手
段、73は第2学習係数変更手段である。
【0072】N.N演算手段71は、上記N.N演算手段
1と同じN.N演算手段であり、正規化された学習デー
タが入力され、N.N出力が算出される。第2学習係数
変更手段73は、各層間の結合係数への入力の2乗和の大
きさに応じて、学習係数μを変更する。すなわち、入力
層から中間層への結合係数の更新に用いる式(7)の学
習係数μは、前記式(18)により変更し、中間層から
出力層への結合係数の更新に用いる式(9)の学習係数
μ2は、式(19)により変更する。
1と同じN.N演算手段であり、正規化された学習デー
タが入力され、N.N出力が算出される。第2学習係数
変更手段73は、各層間の結合係数への入力の2乗和の大
きさに応じて、学習係数μを変更する。すなわち、入力
層から中間層への結合係数の更新に用いる式(7)の学
習係数μは、前記式(18)により変更し、中間層から
出力層への結合係数の更新に用いる式(9)の学習係数
μ2は、式(19)により変更する。
【0073】
【数19】
【0074】ここで、c2は学習開始時に設定する定数
である。結合係数更新手段72は、第2学習係数変更手段
73で求めた学習係数μ、μ2を用いて、前記N.N演算
手段71の出力と教師信号との2乗誤差より、バックプ
ロパゲーション法によりN.Nの結合係数を算出する。
である。結合係数更新手段72は、第2学習係数変更手段
73で求めた学習係数μ、μ2を用いて、前記N.N演算
手段71の出力と教師信号との2乗誤差より、バックプ
ロパゲーション法によりN.Nの結合係数を算出する。
【0075】学習処理の手順を図8のフローチャートに
したがって説明する。この処理は、誤差Eがあらかじめ
定めた規定値より小さくなるまで繰り返される。 〔STEP81〕上記STEP21と同様に、N.Nの
演算を行う。 〔STEP82〕次に、式(6)によりN.N出力と教
師信号との2乗誤差Eを算出する。 〔STEP83〕2乗誤差Eと学習開始時に設定した学
習終了誤差εを比較して、2乗誤差Eが学習終了誤差ε
以下であれば、学習を終了する。 〔STEP84〕学習開始時に設定した学習回数に達し
た場合にも学習を終了する。
したがって説明する。この処理は、誤差Eがあらかじめ
定めた規定値より小さくなるまで繰り返される。 〔STEP81〕上記STEP21と同様に、N.Nの
演算を行う。 〔STEP82〕次に、式(6)によりN.N出力と教
師信号との2乗誤差Eを算出する。 〔STEP83〕2乗誤差Eと学習開始時に設定した学
習終了誤差εを比較して、2乗誤差Eが学習終了誤差ε
以下であれば、学習を終了する。 〔STEP84〕学習開始時に設定した学習回数に達し
た場合にも学習を終了する。
【0076】STEP83、STEP84で学習終了条
件に達していなければ、STEP85に進む。 〔STEP85〕学習係数μ、μ2を各層間の結合係数
への入力の2乗和の大きさに応じて、前記式(18)、
式(19)から求める。 〔STEP86〕次に、バックプロパゲーション法によ
りN.Nの結合係数を算出する。
件に達していなければ、STEP85に進む。 〔STEP85〕学習係数μ、μ2を各層間の結合係数
への入力の2乗和の大きさに応じて、前記式(18)、
式(19)から求める。 〔STEP86〕次に、バックプロパゲーション法によ
りN.Nの結合係数を算出する。
【0077】STEP86終了後、STEP81に戻
る。このように、各層間の結合係数への入力の大きさに
応じて学習係数μ、μ2を変更させることにより、入力
の大きさに影響されずに結合係数の更新量を算出するこ
とができ、精度良く、なおかつ高速に学習することがで
きる。
る。このように、各層間の結合係数への入力の大きさに
応じて学習係数μ、μ2を変更させることにより、入力
の大きさに影響されずに結合係数の更新量を算出するこ
とができ、精度良く、なおかつ高速に学習することがで
きる。
【0078】なお、上記4つの実施の形態の本発明は、
3層以上の階層型ニューラルネットワークの学習にも同
様に用いることが可能であり、また、中間層出力関数が
シグモイド型以外の非線形連続関数の場合にも、出力層
の出力関数が非線形連続関数の場合にも用いることが可
能である。
3層以上の階層型ニューラルネットワークの学習にも同
様に用いることが可能であり、また、中間層出力関数が
シグモイド型以外の非線形連続関数の場合にも、出力層
の出力関数が非線形連続関数の場合にも用いることが可
能である。
【0079】
【発明の効果】以上述べたように請求項1記載の発明に
よれば、ニューラルネットワーク出力誤差とニューラル
ネットワーク出力の微分値の誤差の2乗和からバックプ
ロパゲーション法により結合係数を求めることによっ
て、従来よりも高精度なニューラルネットワークの学習
を行うことができ、ニューラルネットワークの出力のみ
ならず、その微分値も精度良く用いることができ振動を
防止できる。
よれば、ニューラルネットワーク出力誤差とニューラル
ネットワーク出力の微分値の誤差の2乗和からバックプ
ロパゲーション法により結合係数を求めることによっ
て、従来よりも高精度なニューラルネットワークの学習
を行うことができ、ニューラルネットワークの出力のみ
ならず、その微分値も精度良く用いることができ振動を
防止できる。
【0080】また請求項2記載の発明によれば、学習状
態によって重み係数を求め、ニューラルネットワーク出
力の2乗誤差とニューラルネットワーク出力の微分値の
2乗誤差を重み係数により重みづけを行ってその和を求
めることにより、高速に、なおかつ精度良く学習するこ
とができる。
態によって重み係数を求め、ニューラルネットワーク出
力の2乗誤差とニューラルネットワーク出力の微分値の
2乗誤差を重み係数により重みづけを行ってその和を求
めることにより、高速に、なおかつ精度良く学習するこ
とができる。
【0081】さらに請求項3記載の発明によれば、学習
係数をニューラルネットワーク入力に応じて変更するこ
とにより、入力の大きさに影響されずに結合係数の更新
量を算出することができ、高速で、精度の良い学習をす
ることができる。
係数をニューラルネットワーク入力に応じて変更するこ
とにより、入力の大きさに影響されずに結合係数の更新
量を算出することができ、高速で、精度の良い学習をす
ることができる。
【0082】また請求項4記載の発明によれば、各層間
の結合係数への入力の2乗和の大きさに応じて、学習係
数を変更することにより、入力の大きさに影響されずに
結合係数の更新量を算出することができ、高速に、なお
かつ精度良く学習することができる。
の結合係数への入力の2乗和の大きさに応じて、学習係
数を変更することにより、入力の大きさに影響されずに
結合係数の更新量を算出することができ、高速に、なお
かつ精度良く学習することができる。
【図1】本発明の請求項1の実施の形態を示すニューラ
ルネットワークの学習の基本構成図である。
ルネットワークの学習の基本構成図である。
【図2】同ニューラルネットワークの学習方法を示すフ
ローチャートである。
ローチャートである。
【図3】本発明の請求項2の実施の形態を示すニューラ
ルネットワークの学習の基本構成図である。
ルネットワークの学習の基本構成図である。
【図4】同ニューラルネットワークの学習方法を示すフ
ローチャートである。
ローチャートである。
【図5】本発明の請求項3の実施の形態を示すニューラ
ルネットワークの学習の基本構成図である。
ルネットワークの学習の基本構成図である。
【図6】同ニューラルネットワークの学習方法を示すフ
ローチャートである。
ローチャートである。
【図7】本発明の請求項4の実施の形態を示すニューラ
ルネットワークの学習の基本構成図である。
ルネットワークの学習の基本構成図である。
【図8】同ニューラルネットワークの学習方法を示すフ
ローチャートである。
ローチャートである。
【図9】従来のニューラルネットワークの学習の基本構
成図である。
成図である。
【図10】ニューラルネットワークの説明図である。
1 N.N演算手段 2 微分値算出手段 3 結合係数更新手段 31 N.N演算手段 32 微分値算出手段 33 結合係数更新手段 34 重みづけ係数変更手段 51 N.N演算手段 52 結合係数更新手段 53 第1学習係数変更手段 71 N.N演算手段 72 結合係数更新手段 73 第2学習係数変更手段
Claims (4)
- 【請求項1】 学習対象の特性をニューラルネットワー
クに学習させる学習方法であって、 前記学習対象の入力を学習データとして前記ニューラル
ネットワークの演算を行うニューラルネットワーク演算
手段と、 前記ニューラルネットワーク演算手段のニューラルネッ
トワークを、前記学習データを入力パラメータとする非
線形関数で表し、非線形関数を入力パラメータで全微分
して得られる線形近似式に、学習データの差分値を入力
して微分値を求める微分値算出手段と、 前記ニューラルネットワーク演算手段の出力と教師信号
との2乗誤差と前記微分値算出手段から得られる微分値
と教師信号の差分値の2乗誤差の和からバックプロパゲ
ーション法によりニューラルネットワークの結合係数を
求める結合係数更新手段とを有し、 前記ニューラルネットワーク演算手段によるニューラル
ネットワークの演算、前記微分値算出手段による前記微
分値の演算、前記結合係数更新手段による前記2乗誤差
和の演算およびニューラルネットワークの結合係数の演
算を順に繰り返し、前記2乗誤差和が学習終了誤差以下
となるニューラルネットワークの結合係数を求めること
を特徴とするニューラルネットワークの学習方法。 - 【請求項2】 学習対象の特性をニューラルネットワー
クに学習させる学習方法であって、 学習対象の入力を学習データとしてニューラルネットワ
ークの演算を行うニューラルネットワーク演算手段と、 前記ニューラルネットワーク演算手段のニューラルネッ
トワークを、前記学習データを入力パラメータとする非
線形関数で表し、非線形関数を入力パラメータで全微分
して得られる線形近似式に、学習データの差分値を入力
して微分値を求める微分値算出手段と、 前記ニューラルネットワーク演算手段の出力と教師信号
との2乗誤差と前記微分値算出手段から得られる微分値
と教師信号の差分値の2乗誤差の大きさに応じて2乗誤
差和の重み係数を求める重みづけ係数変更手段と、 前記ニューラルネットワーク演算手段の出力と教師信号
との2乗誤差と前記微分値算出手段から得られる微分値
と教師信号の差分値の2乗誤差を前記重みづけ係数変更
手段から得られる重み係数により重みづけを行ってその
和を求め、この2乗誤差和からバックプロパゲーション
法によりニューラルネットワークの結合係数を求める結
合係数更新手段とを有し、 前記ニューラルネットワーク演算手段によるニューラル
ネットワークの演算、前記微分値算出手段による前記微
分値の演算、前記重みづけ係数変更手段による前記重み
係数の演算、前記結合係数更新手段による前記2乗誤差
和の演算およびニューラルネットワークの結合係数の演
算を順に繰り返し、前記2乗誤差和が学習終了誤差以下
となるニューラルネットワークの結合係数を求めること
を特徴とするニューラルネットワークの学習方法。 - 【請求項3】 学習対象の特性をニューラルネットワー
クに学習させる学習方法であって、 学習対象の入力を学習データとしてニューラルネットワ
ークの演算を行うニューラルネットワーク演算手段と、 前記ニューラルネットワーク演算手段の出力と教師信号
との2乗誤差からバックプロパゲーション法によりニュ
ーラルネットワークの結合係数を求める結合係数更新手
段と、 前記ニューラルネットワーク演算手段の入力の2乗和の
大きさに応じて、前記結合係数更新手段で結合係数更新
量を算出するときに用いる学習係数を変更する第1学習
係数変更手段とを有し、 前記ニューラルネットワーク演算手段によるニューラル
ネットワークの演算、前記結合係数更新手段による前記
2乗誤差の演算、前記第1学習係数変更手段による前記
学習係数の演算、前記結合係数更新手段によるニューラ
ルネットワークの結合係数の演算の演算を順に繰り返
し、前記2乗誤差が学習終了誤差以下となるニューラル
ネットワークの結合係数を求めることを特徴とするニュ
ーラルネットワークの学習方法。 - 【請求項4】 学習対象の特性をニューラルネットワー
クに学習させる学習方法であって、 学習対象の入力を学習データとしてニューラルネットワ
ークの演算を行うニューラルネットワーク演算手段と、 前記ニューラルネットワーク演算手段の出力と教師信号
との2乗誤差からバックプロパゲーション法によりニュ
ーラルネットワークの結合係数を求める結合係数更新手
段と、 前記ニューラルネットワーク演算手段のニューラルネッ
トワークの各層間の結合係数への入力の2乗和の大きさ
に応じて、前記結合係数更新手段で結合係数更新量を算
出するときに用いる前記各層の学習係数を変更する第2
学習係数変更手段とを有し、 前記ニューラルネットワーク演算手段によるニューラル
ネットワークの演算、前記結合係数更新手段による前記
2乗誤差の演算、前記第2学習係数変更手段によるニュ
ーラルネットワークの各層の学習係数の演算、前記結合
係数更新手段によるニューラルネットワークの結合係数
の演算を順に繰り返し、前記2乗誤差が学習終了誤差以
下となるニューラルネットワークの結合係数を求めるこ
とを特徴とするニューラルネットワークの学習方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7231877A JPH0981535A (ja) | 1995-09-11 | 1995-09-11 | ニューラルネットワークの学習方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP7231877A JPH0981535A (ja) | 1995-09-11 | 1995-09-11 | ニューラルネットワークの学習方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0981535A true JPH0981535A (ja) | 1997-03-28 |
Family
ID=16930430
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP7231877A Pending JPH0981535A (ja) | 1995-09-11 | 1995-09-11 | ニューラルネットワークの学習方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0981535A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6172117B1 (en) | 1998-02-27 | 2001-01-09 | Akzo Nobel N.V. | Biocidal preservatives |
CN104238367A (zh) * | 2014-10-11 | 2014-12-24 | 西安交通大学 | 一种基于神经网络的壳体结构表面振动一致性控制方法 |
US10867244B2 (en) | 2016-09-30 | 2020-12-15 | Fujitsu Limited | Method and apparatus for machine learning |
US11514308B2 (en) | 2017-09-08 | 2022-11-29 | Fujitsu Limited | Method and apparatus for machine learning |
-
1995
- 1995-09-11 JP JP7231877A patent/JPH0981535A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6172117B1 (en) | 1998-02-27 | 2001-01-09 | Akzo Nobel N.V. | Biocidal preservatives |
CN104238367A (zh) * | 2014-10-11 | 2014-12-24 | 西安交通大学 | 一种基于神经网络的壳体结构表面振动一致性控制方法 |
CN104238367B (zh) * | 2014-10-11 | 2017-04-19 | 西安交通大学 | 一种基于神经网络的壳体结构表面振动一致性控制方法 |
US10867244B2 (en) | 2016-09-30 | 2020-12-15 | Fujitsu Limited | Method and apparatus for machine learning |
US11514308B2 (en) | 2017-09-08 | 2022-11-29 | Fujitsu Limited | Method and apparatus for machine learning |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yazdizadeh et al. | Adaptive time delay neural network structures for nonlinear system identification | |
EP0384709B1 (en) | Learning Machine | |
Hines | A logarithmic neural network architecture for unbounded non-linear function approximation | |
JPH0981535A (ja) | ニューラルネットワークの学習方法 | |
JPH0451384A (ja) | ニューラルネットワークの構築方法 | |
JP2674167B2 (ja) | 神経回路網モデルを用いたプロセス制御方法 | |
JPH05128284A (ja) | ニユーロプロセツサ | |
JPH04127239A (ja) | ファジィ推論パラメータの自動調節方法および学習状態の表示方法 | |
JPH09138786A (ja) | ニューラルネットワークの学習装置 | |
Su et al. | Neural network based fusion of global and local information in predicting time series | |
JPH0535710A (ja) | ニユーラルネツトワークの学習方法および学習装置 | |
Abid et al. | Evaluation of the feedforward neural network covariance matrix error | |
JPH02231670A (ja) | ニューラル・ネットワークの学習装置 | |
JPH01241667A (ja) | 学習機構を有するダイナミック・ニユーラル・ネットワーク | |
Nikravesh et al. | Process control of nonlinear time variant processes via artificial neural network | |
KR101790319B1 (ko) | 상호연결된 시간 지연 시스템의 최소 예측 기반 분산 제어를 위한 장치 및 방법 | |
Takase et al. | Longer Distance Weight Prediction for Faster Training of Neural Networks | |
Stubberud | A VECTOR MATRIX REAL TIME RECURSIVE BACKPROPAGATION ALGORITHM FOR RECURRENT NEURAL NETWORKS THAT APPROXIMATE MULTI-VALUED PERIODIC FUNCTIONS | |
CN117763974A (zh) | 一种基于事件触发机制的模型训练与策略优化方法及系统 | |
Wan et al. | Network reciprocity: A simple approach to derive gradient algorithms for arbitrary neural network structures | |
JP2607351B2 (ja) | 多層パーセプトロンの神経回路網の効率的な学習のための誤差信号の発生方法 | |
JPH0744195A (ja) | 音声認識用リカレントニューラルネットワーク | |
JPH11259445A (ja) | 学習装置 | |
JPH09265463A (ja) | ニューラルネットワークの学習装置 | |
JPH05233860A (ja) | 時系列パターンの学習方式 |