JP3276035B2 - 神経回路網モデルの逐次型加速化学習方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、神経回路網モデルの学
習方法に関する。

【０００２】

【従来の技術】まず、本発明が適用できる神経回路網モ
デルの一例を挙げ、これに対する学習方法を説明する。
ここでは、階層型神経回路網モデルを典型例として用い
るが、回帰結合をもつ神経回路網モデルなど、他の形式
のモデルにも適用できる。

【０００３】階層型神経回路網モデルは、１層の入力
層、複数層の中間層、１層の出力層からなる層状のネッ
トワークモデルであり、各層はユニット、重み、バイア
スから構成される（図５参照）。ユニットは、前層のユ
ニットの出力値（ｘ_i （ｉ＝１，２，…，Ｌ，Ｌ：前層
のユニット数）と重み（ｗ_i，ｉ＝重みの番号）の積の
総和、および、バイアス（ｂ_i，ｉ＝ユニットの番号）
を加算した値を入力値として受け、入力値にある非線形
変換（ｆ（・））を施した値（ｙ）を出力し、この出力
値を次層のユニットへ伝達する構造をもつ（図５，式
（１））。但し、ここでは、入力層のユニットの入出力
変換関数は、線形、入力層以外の層のユニットの非線形
変換関数ｆ（・）は、典型例であるシグモイド関数を用
いる（式（１））が、モデルに応じて他の変換関数を用
いることも考えられる。

【０００４】

【数１】 今、神経回路網モデル上にＮ個の重み

【０００５】

【外１】 があり、ある評価基準を最小化するような重みの値を推
定するための重みの更新則を考える。ここでは、評価基
準の典型例として神経回路網モデルの出力値（Ｏ _j （ｊ
＝１，２，…，Ｍ），Ｍ：出力層のユニットの番号）と
学習用出力値である教師データ（Ｔ_j （ｊ＝１，２，
…，Ｍ））の残差二乗和（式（２））を用いる。

【０００６】

【数２】 Ｄ．Ｅ．Ｒｕｍｅｌｈａｒｔらは神経回路網モデルの学
習方法として重みの更新則に慣性項を付加した学習方法
［参考文献１］を提案した。しかし、学習率が固定値で
あるため収束速度を改良するために、Ｊａｃｏｂｓら
は、学習率を変化させる学習率の更新則を追加した学習
方法［参考文献２］を提案した。更に、重みの振動を完
全に抑制するために、落合らは、重みの更新則に補正項
を付加した学習方法を提案した［参考文献３］。この学
習法を以下に示す。但し、ｋ反復目の重み、勾配（評価
関数の一次変微分）、学習率、平滑化微係数、学習率の
増加率、減少率を

【０００７】

【外２】 とし、過去の反復点での勾配を考慮した平滑化微分を

【０００８】

【外３】 、慣性率をαとする。 参考文献 ［１］Ｒｕｍｅｌｈａｒｔ，Ｄ．Ｅ．Ｈｉｎｔｏｎ，
Ｇ．Ｅ．ａｎｄ Ｗｉｌｌｉａｍｓ，Ｒ．Ｊ．：“Ｌｅ
ａｒｎｉｎｇ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｂｙ
ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎ ｅｒｒｏｒｓ”，
Ｎａｔｕｒｅ，３２３，ｐｐ，５３３−５３６（１９８
６）． ［２］Ｊａｃｏｂｓ，Ｒ．Ａ．：“Ｉｎｃｒｅａｓｅｄ
ｒａｔｅｓ ｏｆ ｃｏｎｖｅｒｇａｎｃｅ ｔｈｒ
ｏｕｇｈ Ｌｅａｒｎｉｎｇ ｒａｔｅ ａｄａｐｔａ
ｔｉｏｎ”，Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ，１，Ｎ
ｕｍ．１，ｐｐ．２９５−３０７（１９８８）． ［３］落合慶広、戸田尚宏、臼井支朗：“重みの振動を
抑制する階層型ニューラルネットワークの加速化−Ｋｉ
ｃｋ Ｏｕｔ法−”，電気学会論文誌Ｖｏｌ．１１３−
Ｃ，Ｎｏ．１２，ｐｐ．１１５４−１１６２（１９９
３）． Ｋｉｃｋ Ｏｕｔ法 重みの更新則：

【０００９】

【数３】 学習率の更新則：

【００１０】

【数４】

【００１１】

【発明が解決しようとする課題】上記のＫｉｃｋ Ｏｕ
ｔ法は、評価関数曲面上の谷の形状を考慮した補正係数
を決定するために、全学習パターンに対する評価関数曲
面の形状に対する学習法である。

【００１２】このため、Ｋｉｃｋ Ｏｕｔ法は、学習す
べきパターンを全て提示した後に一回だけ重みを更新す
る一括学習装置を用いており、重みの振動を補正するた
めの補正項の計算は、内積演算を含む逐次計算となって
いる。

【００１３】従って、学習パターン数が増加すると、上
記の逐次計算があるために、学習アルゴリズムを一反復
するのに要する時間は、パターン数の増加に対して指数
関数的に増加し、学習時間も膨大になるという問題があ
る。これを改善するためには、学習パターンを１パター
ン提示する度に重みを更新する逐次学習を導入する必要
があるが、一括学習型のＫｉｃｋ Ｏｕｔ法を単純に逐
次学習型に変更しても、収束の加速化はできない。

【００１４】本発明の目的は、学習パターンが多数ある
場合、または、時系列データなどを神経回路網モデルに
学習させる課題において、学習時間を短縮する逐次型加
速化学習方法を提供することにある。

【００１５】本発明の他の目的は、更に、学習時の収束
の安定性を保証する逐次型加速化学習学習方法を提供す
ることにある。

【００１６】

【課題を解決するための手段】本発明の逐次型加速化学
習方法は、神経回路網モデルの重みの初期値、学習率の
初期値、学習率の増加率と減少率、平滑化微係数、慣性
率、補正係数の初期値、学習の停止基準値および教師デ
ータを与える第１の段階と、学習すべき入力データの１
パターンを前記神経回路網モデルに提示し、これにより
該神経回路網モデルの出力値を計算し、この出力値と１
パターンの教師データから計算される評価基準値に基づ
き、現在の反復点（ｋ反復目とする）における、前記重
みに関する評価関数の一次偏微分である勾配を計算する
第２の段階と、１から前記平滑化微係数を引いた値を第
２の段階で求めたｋ反復目の勾配に乗じ、この値と、
（ｋ−１）反復目の平滑化微分に前記平滑化微係数を乗
じた値を加算することにより、ｋ反復目における平滑化
微分を各要素毎に独立に計算する第３の段階と、第２の
段階で求めたｋ反復目の勾配と第３の段階で求めた（ｋ
−１）反復目の平滑化微分を各要素ごとに独立に乗じ、
その乗算結果が正値の場合、学習率に前記学習率の増加
率を加えて学習率を減少させ、乗算結果が負値の場合、
学習率に前記学習率の減少率を乗じて学習率を増加させ
ることにより、各学習率を独立に更新する第４の段階
と、第２の段階で求めた勾配と第４の段階で求めた、各
重みに対応した個別の学習率を乗じた修正量を各要素毎
に独立に計算し、この修正量に、（ｋ−１）反復目の慣
性項に前記慣性率を乗じた修正量を各重み毎に独立に加
える第５の段階と、第２の段階で求めたｋ反復目の勾配
と（ｋ−１）反復目の勾配からｋ反復目における勾配の
差分を計算する第６の段階と、第２の段階で求めたｋ反
復目の勾配と（ｋ−１）反復目の平滑化微分を各要素ご
とに乗算し、この結果が負値の場合には、さらに、第５
の段階で求めた重みの修正量に、現在の反復点における
勾配の差分に固定値である前記補正係数を乗じた補正量
を各要素ごとに独立して各重み毎に加え、前記結果が正
値の場合には、補正量を付加しない第７の段階と、第５
と第７の段階で求めた重みの修正量を加算して、これを
重みに加算して重みを要素ごとに独立に更新する第８の
段階を有し、前記評価基準値と前記学習の停止基準値の
関係から、学習が停止したと判断するまで第２から第８
の段階を反復実行する。

【００１７】本発明の他の逐次型加速化学習方法は、神
経回路網モデルの重みの初期値、学習率の初期値、学習
率の増加率と減少率、平滑化微係数、慣性率、補正係数
の初期値、学習の停止基準値および入力教師データを与
える第１の段階と、学習すべき入力データの１パターン
を前記神経回路網モデルに提示し、これにより該神経回
路網モデルの出力値を計算し、この出力値と１パターン
の教師データから計算される評価基準値に基づき、現在
の反復点（ｋ反復目とする）における、前記重みに関す
る評価関数の一次偏微分である勾配を計算する第２の段
階と、１から前記平滑化微係数を引いた値を（ｋ−１）
反復目の平滑化微分値に乗じ、この値と、前記平滑化微
係数を前記勾配に乗じた値を加算してｋ反復目の平滑化
微分を各要素ごとに独立に計算する第３の段階と、第３
の段階で求めたｋ反復目の平滑化微分と（ｋ−１）反復
目の平滑化微分を各要素ごとに独立に乗じ、その演算結
果が正値の場合、前記学習率に前記学習率の増加率を加
えて前記学習率を増加させ、前記演算結果が負値の場
合、前記学習率に前記学習率の減少率を乗じて前記学習
率を減少させることにより、前記学習率を要素ごとに独
立して更新する第４の段階と、第２の段階で求めた勾配
と第４の段階で求めた、各重みに対応した個別の学習率
を乗じた修正量を各要素毎に独立に計算し、この修正量
に、（ｋ−１）反復目の慣性項に前記慣性率を乗じた修
正量を各重み毎に独立に加える第５の段階と、第２の段
階で求めたｋ反復目の勾配と（ｋ−１）反復目の勾配か
らｋ反復目における勾配の差分を計算する第６の段階
と、第３の段階で求めたｋ反復目の平滑化微分と（ｋ−
１）反復目の平滑化微分を各要素ごとに乗算し、この演
算結果が負値の場合には、さらに、第５の段階で求め
た、現在の反復点における勾配の差分に可変の前記補正
係数を乗じた補正量を求めて、これを重みの停止量に加
算し、前記演算結果が正値の場合には、前記補正量を計
算しない第７の段階と、ｋ反復目の平滑化微分値と（ｋ
−１）反復目の平滑化微分を各要素毎に乗算し、結果が
正値の場合には補正係数を減少させ、負値の場合には補
正係数を増加させる第８の段階と、第５と第７の段階で
求めた重みの修正量を加算して、これを重みに加算して
重みを要素ごとに独立に更新する第９の段階を有し、前
記評価基準値と前記学習の停止基準値の関係から、学習
が停止したと判断するまで第２から第９の段階を反復実
行する。

【００１８】

【作用】本発明は、評価関数曲面上に谷などの条件数の
大きい曲面が存在する場合、この領域において発生する
重みの振動を抑制し、収束を加速化するために、各要素
ごとに独立に、重みと学習率を更新するようにしたもの
である。

【００１９】本発明における補正項は、重みの振動を判
定するために、評価関数曲面上の大域的な勾配を表す平
滑化微分と勾配を利用して求める。従来の加速化学習法
では、重みの補正基準としてｋ，ｋ−１反復目の勾配の
差分の内積値

【００２０】

【数５】 が用いられており、かつ、補正係数

【００２１】

【数６】 にも内積演算が含まれているために逐次処理を行なわね
ばならず、各要素ごとに独立に重みを更新することがで
きない。

【００２２】ここで、Ｋｉｃｋ Ｏｕｔ法による学習方
法と、本発明の逐次型学習方法の違いを概念図により説
明する。ここでは、学習パターンを４パターン用いて学
習する場合を考える。

【００２３】図３はＫｉｃｋ Ｏｕｔ法による学習装置
を用いた場合、重みが評価関数曲面を降下する様子を示
した図である。Ｋｉｃｋ Ｏｕｔ法では、全学習パター
ンに対して重みなどが更新されるため、４つの学習パタ
ーン全てに対する評価関数曲面を降下するように学習が
進行する。

【００２４】これに対して、本発明の逐次型学習方法を
用いた場合、各々のパターンに対する評価関数曲面の形
状が異なり、個々の評価関数曲面に対して重みの振動を
抑制するように学習が進行する。図４（１）〜（４）
は、この様子を示したものであり、各学習パターンに対
する評価関数曲面上においてアルゴリルズムが一反復す
る過程を表している。

【００２５】以上の図３と図４（１）〜（４）を比較す
ると分かるように、Ｋｉｃｋ Ｏｕｔ法を用いた学習方
法を用いた場合、４つの学習パターンを提示しても一回
しか重みが更新されないのに対して、本発明の学習方法
を用いた場合、各学習パターンの提示に対して各々重み
が更新されるため、早く収束するという利点をもつ。請
求項１の学習方法では、記憶容量、計算量を極力低減さ
せるために、学習率の更新基準または重みの補正基準と
してｋ反復目の勾配と（ｋ−１）反復目の平滑化微分の
積を用いた。更に、補正係数として計算値ではなく設定
値を用いることにより、内積演算を排除し、重みの振動
を各要素ごとに独立して補正することを可能にした。

【００２６】請求項２の学習方法では、学習を安定して
収束するためには、学習率と、補正項付加の判断基準に
用いる勾配などの評価関数曲面の情報として全パターン
に対する大域的な情報を用いる必要があるため、ｋおよ
び（ｋ−１）反復目の平滑化微分の積を用いた。更に、
補正係数を学習の状況に応じて変化させることにより、
適切な補正を可能にした。

【００２７】従って、請求項１の学習方法を用いること
により、多くの学習パターンをもつ課題の学習、また
は、時系列データなどを用いた逐次学習などにおいて、
学習時間の短縮が可能となる。

【００２８】また、請求項２の学習方法を用いることに
より、請求項１の学習方法と比較すると、記憶容量、計
算量は増加するが、学習時の収束の不安定性を減少させ
ることが可能になる。

【００２９】なお、評価基準としては、神経回路網モデ
ルの出力値と学習パターンに含まれる教師データの残差
二乗和が広く用いられている。この評価基準は（２）式
のように表される。本発明において述べた評価基準とし
ては、上記以外にも、Ｋｕｌｌｂａｃｋ ｄｉｖｅｒｇ
ｅｎｃｅ（ゆう度対数）、絶対値誤差などの他の基準を
用いることも可能である。

【００３０】ここで、本発明の学習方法の各段階につい
て説明する。

【００３１】第３の段階は、学習率を更新する際、数値
的発散などを防止するため、評価関数曲面の大域的な勾
配を用いたものである。第４の段階は、第３の段階と同
様に、学習率の値が発散したり、小さくなり過ぎたりす
るのを防ぐ。なお、学習率を増加させる場合、増加率を
加えるのは、学習率の発散を防ぐためであり、学習率を
減少させる場合、減少率を乗じるのは学習率を早く減少
させるためである。第５の段階は、収束の速さを向上さ
せるために、勾配項（ｋ反復目の勾配に学習率を乗じた
量）のみではなく、慣性項（（ｋ−１）反復目の慣性項
に慣性率を乗じた量）を用いたものである。第７の段階
は、学習の過程で、谷における重みの振動の有無を判定
するためである。第８の段階は、学習の進行に伴い、評
価関数曲面の形状も変化するために、これに応じて、重
みの補正量（補正係数）も変化させる必要があるためで
ある。

【００３２】

【実施例】次に、本発明の実施例について図面を参照し
て説明する。

【００３３】図１は本発明の第１の実施例で、逐次型学
習装置のブロック図である。

【００３４】本実施例の逐次型学習装置は、学習に用い
る各種変数を読み込む入力部１００と、神経回路網モデ
ルの学習を行なう処理部２００と、学習結果を出力する
出力部３００で構成されている。

【００３５】入力部１００は、学習率の増加率と減少
率、平滑化微係数、慣性率、学習の停止基準値および教
師データをファイルから読み込むファイル読み込み装置
１０１と、時系列データを計測するセンサ１０２および
ＴＶカメラ１０３から構成されている。

【００３６】処理部２００は、変数初期化部２０１とデ
ータ提示部２０２と学習率更新部２０３と重み更新部２
０４と勾配の差分計算部２０５と補正項付加判断部２０
６とと重み補正部２０８と収束判定部２０９から構成さ
れている。

【００３７】変数初期化部２０１は、入力部１０１から
学習率の増加率と減少率、平滑化微係数、慣性率、学習
の停止基準値をおよび教師データを入力するとともに、
神経回路網モデルの重み、学習率および補正係数の各初
期値を設定し、データ提示部２０２に出力する。

【００３８】データ提示部２０２はセンサ１０２、ＴＶ
カメラ１０３を用いて計測した時系列データを入力し、
一時的に蓄え、時系列データの１パターンを神経回路網
モデルに提示し、前向きの計算により神経回路網モデル
の出力値を計算し、この出力値と１パターンの教師デー
タを用いて評価基準値を計算する。この後、この評価基
準値に基づいて神経回路網モデルの逆方向計算を行な
い、勾配、すなわち現在の反復点（ｋ反復目）におけ
る、重みに関する評価関数の一次偏微分を計算する。

【００３９】学習率更新部２０３は、（１−平滑化微係
数）を、データ表示部２０２で求めたｋ反復目の勾配に
乗じ、この値と、（ｋ−１）反復目の平滑化微分に平滑
化微係数を乗じた値を加算することにより、ｋ反復目に
おける平滑化微分値を各要素ごとに求める。次に、学習
率更新部２０３は、ｋ反復目の勾配と（ｋ−１）反復目
の平滑化微分値を各要素ごと独立に乗じ、その演算結果
が正値の場合、学習率に学習率の増加率を加えて学習率
を増加させ、演算結果が負値の場合、学習率に学習率の
減少率を乗じて学習率を減少させることにより、各学習
率を独立に更新する。

【００４０】重み更新部２０４は、先に求めた勾配に各
重みに対応した個別の学習率を乗じて修正量を各要素毎
に独立に計算し、この修正量に、（ｋ−１）反復目の慣
性項に慣性率を乗じた修正量を各重み毎に独立に加え
る。

【００４１】勾配の差分計算部２０５はデータ提示部２
０２において求めたｋ反復目の勾配と（ｋ−１）反復目
の勾配からｋ反復目における勾配の差分を計算する。

【００４２】補正項付加判断部２０６は、ｋ反復目の勾
配と（ｋ−１）反復目の平滑化微分を各要素ごとに乗算
し、乗算結果を判定する。

【００４３】

【００４４】重み補正部２０８は、ｋ反復目の勾配と
（ｋ−１）反復目の平滑化微分の乗算結果が負値の場合
には、重み更新部２０４で求めた重みの修正量に、現在
の反復点における勾配の差分に補正係数（固定値）を乗
じた補正量を各要素毎に独立して各重みに加え、正値の
場合、補正量を付加しない。

【００４５】収束判定部２０９は評価基準値（重みの関
数）と学習の停止基準値の関係から、評価基準値が学習
の停止基準値を満たし、学習が終了したと判定する場
合、学習を終了し、学習結果を出力部３００に表示し、
学習が終了してないと判定される場合には、データ提示
部２０２に戻り、前述の処理を繰り返す。例えば評価基
準として（２）式を用い、学習の停止基準値を０．１と
して与えた場合、（２）式の値が０．１以下になった場
合、学習の停止条件を満たしたとみなすことができる。
また、学習課題によっては、評価基準値が停止基準値以
上となった場合、学習の停止条件を満たしたとみなす場
合もある。

【００４６】図２は本発明の第２の実施例で、逐次型学
習装置のブロック図である。

【００４７】本実施例は、図１の実施例と、学習率更新
部２０３′、補正項付加判断部２０６′、補正量計算部
２０７′、重み補正部２０８′のみ異なっている。

【００４８】学習率更新部２０３′は、（１−平滑化微
分係数）を（ｋ−１）反復目の平滑化微分値に乗じ、こ
の値と、平滑化微係数を勾配に乗じた値を加算して、ｋ
反復目の平滑化微分値を各要素系ごとに求める。次に、
学習率更新部２０３′は、ｋ反復目の平滑化微分と（ｋ
−１）反復目の平滑化微分値を各要素ごとに独立に乗
じ、この演算結果が正値の場合、学習率に学習率の増加
率を加えて学習率を増加させ、演算結果が負値の場合、
学習率に学習率の減少率を乗じて学習率を減少させるこ
とにより、学習率を要素ごとに独立に更新する。

【００４９】補正項付加判断部２０６′は、ｋ反復目の
平滑化微分と（ｋ−１）反復目の平滑化微分を各要素ご
とに乗算し、乗算結果を判定する。

【００５０】補正量計算部２０７’は、ｋ反復目の平滑
化微分と（ｋ−１）反復目の平滑化微分を要素毎に乗算
した結果が負値の場合にのみ、現在の反復点における勾
配の差分に補正係数（可変値）を乗じた補正量を求め、
これを重みの修正量に加算する。そしてｋ反復目の平滑
化微分と（ｋ−１）反復目の平滑化微分を乗算した結果
が正値の場合は、補正係数を減少させ、負値の場合は、
補正係数を増加させる。

【００５１】重み補正部２０８’は、ｋ反復目の勾配と
（ｋ−１）反復目の平滑化微分の乗算結果が負値の場合
には、重み更新部２０４で求めた重みの修正量に、現在
の反復点における勾配の差分に補正係数（可変値）を乗
じた補正量を各要素毎に独立して各重みに加え、正値の
場合、補正量を付加しない。

【００５２】なお、第１の実施例の学習装置には以下の
場合も含まれる。 １）全ての学習率を同じ値に設定し、この値を学習過程
において固定（学習率の増加率を０、学習率の減少率を
１と設定）とする。 ２）平滑化微係数を０、すなわち、重みの補正基準、学
習率の更新基準に勾配のみを用いる。 ３）慣性率の値を０に設定する。

【００５３】第２の実施例の学習装置には、以下の場合
も含まれる。 １）補正係数を増加させる際、補正係数に正の値を加算
する、または、１より大きい値を乗算する。 ２）補正係数を減少させる際、補正係数に、０より大き
く、かつ、１未満の値を乗じる、または、補正係数から
正の値を減算する。 ３）上記１），２）を併用して、補正係数を増減する。

【００５４】

【発明の効果】以上説明したように、本発明は、以下に
示すような効果がある。 （１）請求項１の発明は、学習率の更新基準または重み
の補正基準としてｋ反復目の勾配と（ｋ−１）反復目の
平滑化微分の積を用い、さらに補正係数として設定値を
用いることにより、記憶容量が少なくて済み、時系列デ
ータなどのように学習データが無限個存在する課題の学
習時間が短縮される。 （２）請求項２の発明は、ｋおよび（ｋ−１）反復目の
平滑化微分の積を用い、更に補正係数を学習の状況に応
じて変化させることにより、時系列データなどのように
学習データが無限個存在する課題の学習が短時間で終了
し、かつ、安定した収束が可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の逐次型学習装置のブロ
ック図である。

【図２】本発明の第２の実施例の逐次型学習装置のブロ
ック図である。

【図３】Ｋｉｃｋ Ｏｕｔ法による学習装置を用いた場
合に重みが評価関数曲面を降下する様子を示す図であ
る。

【図４】本発明の逐次型学習方法を用いた場合に重みの
評価関数曲面を降下する様子を示す図である。

【図５】神経回路網モデルの一例を示す図である。

【符号の説明】

１００ 入力部 １０１ ファイル読み込み装置 １０２ センサ １０３ ＴＶカメラ ２００ 処理部 ２０１ 変数初期化部 ２０２ データ提示部 ２０３，２０３′ 学習率更新部 ２０４ 重み更新部 ２０５ 勾配の差分計算部 ２０６，２０６′ 補正項付加判断部 ２０７′ 補正量計算部 ２０８，２０８′ 重み補正部 ２０９ 収束判定部 ３００ 出力部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 臼井 支朗 愛知県豊橋市天伯町字雲雀々丘１−１ 豊橋技術科学大学 情報工学系内 (56)参考文献 特開 平７−56880（ＪＰ，Ａ) 落合慶広，新しい学習率の更新則によ るＫｉｃｋ Ｏｕｔ法の改良，電子情報 通信学会技術研究報告，日本，社団法人 電子情報通信学会，1992年12月17日，Ｎ Ｃ92−94，Ｖｏｌ．92，Ｎｏ．38，ｐ. 111−118 落合慶広，重みの振動を抑制する階層 型ニューラルネットワークの学習の加速 化，電子情報通信学会研究報告，日本, 社団法人電子情報通信学会，1992年３月 18日，ＮＣ91−129，Ｖｏｌ91，Ｎｏ 529，ｐ．229−236 落合慶広，重みの振動を抑制する階層 型ニューラルネットワークの学習法 − Ｋｉｃｋ Ｏｕｔ法 −，電気学会論 文誌Ｃ，日本，社団法人電気学会，Ｖｏ ｌ．113−Ｃ，Ｎｏ．12，ｐ．1154− 1162 相澤益男，ニューロ・ファジィ・ＡＩ ハンドブック，日本，オーム社，1994年 ５月25日，ｐ．88−90 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/08

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 神経回路網モデルの重みの初期値、学習
   率の初期値、学習率の増加率と減少率、平滑化微係数、
   慣性率、補正係数の初期値、学習の停止基準値および教
   師データを与える第１の段階と、 学習すべき入力データの１パターンを前記神経回路網モ
   デルに提示し、これにより該神経回路網モデルの出力値
   を計算し、この出力値と１パターンの前記教師データか
   ら計算される評価基準値に基づき、現在の反復点（ｋ反
   復目とする）における、前記重みに関する評価関数の一
   次偏微分である勾配を計算する第２の段階と、 １から前記平滑化微係数を引いた値を第２の段階で求め
   たｋ反復目の勾配に乗じ、この値と、（ｋ−１）反復目
   の平滑化微分に前記平滑化微係数を乗じた値を加算する
   ことにより、ｋ反復目における平滑化微分を各要素毎に
   独立に計算する第３の段階と、 第２の段階で求めたｋ反復目の勾配と第３の段階で求め
   た（ｋ−１）反復目の平滑化微分を各要素ごとに独立に
   乗じ、その乗算結果が正値の場合、学習率に前記学習率
   の増加率を加えて学習率を増加させ、乗算結果が負値の
   場合、学習率に前記学習率の減少率を乗じて学習率を減
   少させることにより、各学習率を独立に更新する第４の
   段階と、 第２の段階で求めた勾配と第４の段階で求めた、各重み
   に対応した個別の学習率を乗じた修正量を各要素毎に独
   立に計算し、この修正量に、（ｋ−１）反復目の慣性項
   に前記慣性率を乗じた修正量を各重み毎に独立に加える
   第５の段階と、第２の段階で求めたｋ反復目の勾配と
   （ｋ−１）反復目の勾配からｋ反復目における勾配の差
   分を計算する第６の段階と、 第２の段階で求めたｋ反復目の勾配と（ｋ−１）反復目
   の平滑化微分を各要素ごとに乗算し、この結果が負値の
   場合には、さらに、第５の段階で求めた重みの修正量
   に、現在の反復点における勾配の差分に固定値である前
   記補正係数を乗じた補正量を各要素ごとに独立して各重
   み毎に加え、前記結果が正値の場合には、補正量を付加
   しない第７の段階と、 第５と第７の段階で求めた重みの修正量を加算して、こ
   れを重みに加算して重みを要素ごとに独立に更新する第
   ８の段階を有し、 前記評価基準値と前記学習の停止基準値の関係から、学
   習が停止したと判断するまで第２から第８の段階を反復
   実行する、神経回路網モデルの逐次型加速化学習方法。
2. 【請求項２】 神経回路網モデルの重みの初期値、学習
   率の初期値、学習率の増加率と減少率、平滑化微係数、
   慣性率、補正係数の初期値、学習の停止基準値および教
   師データを与える第１の段階と、 学習すべき入力データの１パターンを前記神経回路網モ
   デルに提示し、これにより該神経回路網モデルの出力値
   を計算し、この出力値と１パターンの前記教師データか
   ら計算される評価基準値に基づき、現在の反復点（ｋ反
   復目とする）における、前記重みに関する評価関数の一
   次偏微分である勾配を計算する第２の段階と、 １から前記平滑化微係数を引いた値を（ｋ−１）反復目
   の平滑化微分値に乗じ、この値と、前記平滑化微係数を
   前記勾配に乗じた値を加算してｋ反復目の平滑化微分を
   各要素ごとに独立に計算する第３の段階と、 第３の段階で求めたｋ反復目の平滑化微係分と（ｋ−
   １）反復目の平滑化微分を各要素ごとに独立に乗じ、そ
   の演算結果が正値の場合、前記学習率に前記学習率の増
   加率を加えて前記学習率を増加させ、前記演算結果が負
   値の場合、前記学習率に前記学習率の減少率を乗じて前
   記学習率を減少させることにより、前記学習率を要素ご
   とに独立して更新する第４の段階と、 第２の段階で求めた勾配と第４の段階で求めた、各重み
   に対応した個別の学習率を乗じた修正量を各要素毎に独
   立に計算し、この修正量に、（ｋ−１）反復目の慣性項
   に前記慣性率を乗じた修正量を各重み毎に独立に加える
   第５の段階と、第２の段階で求めたｋ反復目の勾配と
   （ｋ−１）反復目の勾配からｋ反復目における勾配の差
   分を計算する第６の段階と、 第３の段階で求めたｋ反復目の平滑化微分と（ｋ−１）
   反復目の平滑化微分を各要素ごとに乗算し、この演算結
   果が負値の場合には、さらに、第５の段階で求めた現在
   の反復点における勾配の差分に可変の前記補正係数を乗
   じた補正量を求めて、これを重みの修正量に加算し、前
   記演算結果が正値の場合には、前記補正量を計算しない
   第７の段階と、 ｋ反復目の平滑化微分値と（ｋ−１）反復目の平滑化微
   分を各要素毎に乗算し、結果が正値の場合には補正係数
   を減少させ、負値の場合には補正係数を増加させる第８
   の段階と、 第５と第７の段階で求めた重みの修正量を加算して、こ
   れを重みに加算して重みを要素ごとに独立に更新する第
   ９の段階を有し、 前記評価基準値と前記学習の停止基準値の関係から、学
   習が停止したと判断するまで第２から第９の段階を反復
   実行する、神経回路網モデルの逐次型加速化学習方法。
3. 【請求項３】 前記補正係数を増加させる際、前記補正
   係数に正の値を加算するか、１より大きい値を乗算し、
   前記補正係数を減少させる際、前記補正係数に、０より
   大きく、かつ、１未満の値を乗算するか、前記補正係数
   から正の値を減算し、またはこれらの方法を併用して補
   正係数を増減する、請求項２に記載の方法。