JPH0348363A - 誤差逆伝搬学習法に於ける初期値設定方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は誤差逆伝搬学習法に於ける初期値設定方法に
関するものであり、特に、多層ニューラルネットワーク
を使用してパターン認識或は、分離等の情報処理機能を
学習的に獲得させる処理装置の学習速度並びに学習効率
を向上した誤差逆伝搬学習法に於ける初期値設定方法に
関するものである。

［従来の技術］ 従来、多層ニューラルネツ下ワークの学習方式として誤
差逆伝搬学習法が用いられているが、不ツトワークの規
模の増大に伴い膨大な学習回数か必要となるため、学習
率を動的に更新するなど学習速度を向上させる対策がと
られてきた。しかし、より一層の高速化或は局所最小値
の回避に対しては、非線形素子からなるニューラルネッ
ｌ−’７−クの複雑な並列構造のため飛躍的な改善は困
難とされ、実用上の大きな障害となっている。

一方、学習は各ニューロン素子の入力重みと出力の非線
形特性の動作点を決めるしきい値を更新しながら進めら
れるが、その初期値の設定に関しては、一様乱数が用い
られており、学習の速い局所最小点を回避できる初期値
設定方法の開発が望まれている。

［発明が解決しようとする課題］ 従来、人力の重み係数としきい値の初期設定値は、通常
±ｌの範囲の一様乱数が使用されている。

前記初期設定値は使用者の経験と直感にたよって試行錯
誤的に行っており、多層ニューラルネットワークの情報
伝達構造を考慮していないため、ニューロン素子の入力
数が大である場合に問題となる。即ち、多層ニューラル
ネットワークにおけるニューロン素子の入力は、一般に
Ｏから１　１１７）浬続値であり、ｎ入力素子の入力空
間はｎ次元超キューブを形成する。そのような入力空間
の各点に対し、素子はＯからｌまでの１つの値を出力す
る。出力値が０．５より大きいかあるいは小さいかで入
力空間を２つに分離することができるが、その境界はネ
ットワークの構造と素子の特性から入力空間において超
平面となる。この面から入力値が離れるとともに、出力
値は次第に増加または減少し（活性領域）、遠く離れた
点ではＯまたはｌに漸近する（飽和領域）。重み及びし
きい値は、この分離超平面の位置と活性領域の幅（急峻
さ）を決定するため、それらの学習前の初期値は素子の
こうした情報伝達構造をよく考慮したものである必要が
ある。

入力数の増加に伴って、超キューブのサイズは入力数ｎ
に対しｆｎの比率で増大する一方、従来のしきい値並び
に重み係数の初期設定では分離超平面は入力超キューブ
の原点に近づくとともに、急峻度が増し活性領域は著し
く狭くなる。依って、ニューロン素子の人力数が大であ
る場合は学習速度の低下、並びに局所最小値への落込み
が発生し、実用に際して大きな問題となっている。

そこで、学習の収束成功率の向上並びに収束に要する学
習反復回数を減少して学習速度の高速化を図るために解
決せられるべき技術的課題が生じてくるのであり、本発
明は該課題を解決することを目的とする。

［課題を解決するための手段１ この発明は上記目的を達成するために提案せられたもの
であり、多層ニューラルネットワークの誤差逆伝搬学習
法に於て、入力空間である超キューブの分離超平面が前
記超キューブの中心を通るようにしきい値を設定し、且
つ、前記超キューブに於ける出力の活性領域の幅が前記
超キュープのサイズと整合するように重み係数を設定し
たことを１！ｆ徴とする誤差逆伝搬学習法に於ける初期
値設定方法を堤供せんとするものである。

［作用］ この発明は多層ニューラルネットワークの情報伝達構造
に基づく演算により、分離超平面が超キ１−ブの中心を
通るようにしきい値を設定し、活姓領域の幅か超キュー
ブのサイズと整合するように重み係数を設定する。依っ
て、入力数の増大に件う活１ｉ１領域の狭小化はおこら
ず、誤゜差逆伝搬学習法の学習速度並びに学習成功率が
著しく向上する。

［実施例］ 以下、この発明の一実施例を別紙添付図面に従って詳述
する。初期値の生威は以下の手順に従って行う。先ず、
従来通り（一δ，＋δ）の一様乱数ｒｌ　（　ｉ＝１．
２，　・＝，ｎ）を生１戊し、次式により活性領域の幅
ｄを求める。ここで、δは通常１程度でよい。

次に外線形関数（通常はｓｉｇｍｏｌｄ関数）のしきい
値ｒ。を次式により求める。

゛・ｒ　　　　．．．．．．３。、 ２ 続いて、活性領域の幅ｄを入力超キューブの→ノ”イズ
（−’ｎ）と整合させるべ＜ｒ＋　にスケールファクタ
ｋ　（　ｄ／（　２〜３）　ｖ’ｎ　）をかけ、Ｗｋｒ
，（　ｉ＝ｏ，ｌ，２，　・・・，ｎ）を求める。これ
により得られたＷ。をしきい値、ｗｔ（ｌ＝ｔ，２，・
・・，ｎ）を重み係数の初期値とする。

第１図は２人カユニットに対する初期値の分布を示し、
同図（ａ）は生成した乱数、同図（ｈは（１）式により
変換されたしきい値とｗ，、同図（Ｃ）はＷ，とＷ２の
分布を表わしている。

第２図は１００人カユニットに対する例を示し、同図（
ａ）は生成した乱数、同図（９）は変換されたしきい値
とｗ，、同図（Ｃ）はｗ１　とｗ２の分布である。

前述した方法で生威した初期値を従来から知られている
ｋｕａ＋ｅｌｈａｒｔ法、Ｖｏｇｌ法等種々の誤差逆伝
搬学習法に適用した例を第３図及び第４図に示す。

第３図は２人力、２中間ユニット、１出力からなル多層
ニューラル不ツトワークでＸＱＲ問題を学習させた結果
を示し、同図（ωは従来方法による初期値を設定したＲ
ｕｍｅｌｈａｒｔ法による学習結果、同図（ト）は前記
初期値をＶｏｇｌ法に適用したものである。之に対し、
同図（Ｃ）及び（Φは夫々ＲｕｍｅｌｈａｒＬ法並びに
Ｖｏｇｌ法に本発明による初期値を設定した学習結果を
示す。

又、第４図は５人力、７中間ユニット、５出力からなる
多層ニューラルネットワークでランダムマツピング問題
を学習させた桔果であり、同図（ａ）及び（ト）は夫々
従来方法による初期値をＲｕａ＋ｅｌｈａｒＬ法並びに
Ｖｏｇｌ法に適用した学習結果であり、同図（Ｃ）及び
（山は夫々本発明による初期値を導入した学習結果を示
している。

いずれの例に於でも、本発明による初期値を設定した場
合の収束に至る学習回数は、従来の初期値設定方法に比
し著しく減少しており、そのばらつきも小さくなってい
る。更に、誤差かあるレベル以下にならない、所謂局所
最小値への落込みも少なくなることが確認できる。

［発明の効果］ この発明は上記一実施例に詳述したように、超キューブ
の分離超平面が前記超キューブの中心を通り、且つ、活
性領域が前記超キューブのサイズと整合し、人力数に係
わらず前記活仕領域が狭小化しないようにしきい伯並び
に重み係数を設定している。即ち、多層ニューラル不ツ
トヮークの規模に適した初期値を設定することにより学
習速度並びに学習戊功率が著しく向上する。

尚、この発明は、この発明の粕神を逸脱しない限り種々
の改変を為す事ができ、そして、この発明が該改変せら
れたものに及ぶことは当然である。

【図面の簡単な説明】

図は本発明の一実施例を示し、第１図（ａ）（ロ）（Ｃ
）は夫々２人カユニットに対する初期値の分布図、第２
図（ω（Ｌｍ　（ｃ）は夫々１００人カユニットに対す
る初期値の分布図、第３図（掲（ロ）は従来方法による
ＸＯＲ問題の学習結果を示すグラフであり、同図（Ｃ）
（イ）は本発明による初期値を適用してＸＯＲ問題を学
習さ吐た結果を示すグラフ、第４図（ａ）（ｔカは従来
方法によるランダムマツビング問題の学習結果を示すグ
ラフ、同図（Ｃ）（山は夫々本発明による初期値を設定
した場合の学習結果を示すグラフである。

Claims (1)

【特許請求の範囲】
1. 　多層ニューラルネットワークの誤差逆伝搬学習法に於
   て、入力空間である超キユーブの分離超平面が前記超キ
   ユーブの中心を通るようにしきい値を設定し、且つ、前
   記超キユーブに於ける出力の活性領域の幅が前記超キユ
   ーブのサイズと整合するように重み係数を設定したこと
   を特徴とする誤差逆伝搬学習法に於ける初期値設定方法
   。