JPH04253260A - ニューラルネットワークの学習方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はパターン識別、システム
同定などで用いられるニューラルネットワークの学習方
法に関し、さらに詳しくは学習過程で局所最小に陥る確
率を減少させる学習方法に関する。

【０００２】

【従来の技術】計算機の発達に伴い、従来は難しいとさ
れていた非線形システムの同定が可能になってきている
。そこでパラメータによって、適当な非線形関数を構成
することが必要になる。代表的な構成関数として、隠れ
層及び非線形処理素子を持ったフィードフォワード型ニ
ューラルネットワークがある。この関数はいくつかの典
型的な値に対して模範となる答えを持っているとする。 そしてそのような関数を構成するためには、ｎ（・）を
適当なノルムとして

【０００３】

【数１】

【０００４】を最小にするようなパラメータの組ｘ＝（
ｘ１　，…，ｘＭ　）を求めることになる。ここでｔｐ
　は教師データというべき所望の値をとるベクトルであ
り、ｏｐ　はデータからパラメータ化されたモデルによ
って得られる出力値のベクトルである。従来法のフロー
を図３に示す。はじめに初期パラメータｘと学習停止誤
差εを設定しておく。次いで入力データｓｐ　と教師デ
ータｔｐ　の組の集合Ｉを設定する。そして式（１）の
誤差の評価関数Ｅ（ｘ）が学習停止誤差εより小さくな
るまで、ｘを更新しながら学習を行うものである。

【０００５】従来技術ではすでに得られたデータのみに
対しての学習であり、またそのデータも学習の間不変で
あるとしている。また別の技術として、学習の過程で教
師データを変更する技術も知られている。（大塚、布木
、小西、門口、第３２回自動制御連合講演会要旨集Ｐ２
９５〜２９８、１９８９年）

【０００６】

【発明が解決しようとする課題】ところが従来技術のよ
うに、すでに得られたデータのみを学習の対象としてい
ると、局所最小に陥りやすいという問題点がある。また
学習の過程で教師データを変更する技術も、この問題を
解決するものではない。本発明では、局所最小に陥りや
すいという問題点を除くニューラルネットワークの学習
方法を提供するものである。

【０００７】

【課題を解決するための手段】本発明者は、データの数
が相対的に不足している場合でも、そのデータから適切
な回帰関数を構成し、その回帰関数に従って新しいデー
タを新規に作製し、本来のデータと新しいデータを合わ
せて学習の対象とすることにより、局所最小に陥る場合
が少なくなることを発見した。

【０００８】特に、線形分離が不可能な学習用入力デー
タと所望値である教師データの組に対しても、線形項の
組に簡単な非線形項を導入することで分離が可能になる
ことを発見した。たとえば、学習用入力データとなる提
示データが２つの値を取るベクトルであり、そのおのお
のをｘ，ｙで表すとき、累乗項であるｘ２　，ｙ２　や
交絡項である，ｘｙを導入することによって分離が可能
になることが分った。しかしこのような多項式をもとに
する内挿の式では、入力データを補外した場合に、モデ
ルの出力値が爆発的に増大してしまうという欠点がある
。一方、ニューラルネットワークにおけるデータの補間
は入力データを補外した場合でも出力値が増大すること
はないので、補間及び補外の双方にわたって都合がよい
。

【０００９】従って、学習用入力データと教師データの
組を補間する新たな学習用入力データと教師データの組
の構成にはニューラルネットワークには使用しない関数
を用い、その補間学習用入力データと補間教師データの
組をニューラルネットワークの学習に使うことにより、
学習が滞りなく進み、かつ補間及び補外の双方に都合が
よいニューラルネットワークができることになる。

【００１０】従って、問題を解決するには、学習用入力
データと教師データの組（原データ）を回帰式で計算す
る手順、その回帰式に基づいて新たな学習用入力データ
と教師データの組（新データ）を構成する手順、原デー
タと新データを用いてニューラルネットのパラメータを
計算し、更新する手順が必要不可欠である。よって本発
明は、入力層、隠れ層及び出力層の結合重みを示す初期
パラメータ及び学習停止誤差を設置しておき、複数の教
師データと複数組の学習用入力データから求められる複
数組の出力データに従って該パラメータを変化させて、
該出力データと該教師データの誤差の評価関数が該学習
停止誤差以下となるように学習を行わせるニューラルネ
ットワークの学習方法に適用されるものであり次の方法
を採った。すなわち、学習を始める前に該学習用入力デ
ータから該入力データに対応する該教師データを近似的
に生成する該評価関数とは別異の回帰関数を求めておき
、該入力データの他に構成した補間入力データを該回帰
関数に作用させて得られた出力データを補間制御データ
として求め、該入力データ、該付加入力及び該教師デー
タ該付加教師データを用いて学習させることをことを特
徴とするニューラルネットワークの学習方法である。

【００１１】回帰関数に非線形項が含まれていてもよい
。さらに、非線形項は重複を許す２つ以上の入力データ
間の積で構成してもよい。

【００１２】

【作用】以下本発明の作用を説明する。図１は本発明の
概要を表すフローである。以下のこの図に従って説明す
る。誤差の評価関数が学習用入力データに対して各学習
用入力データごとの同一のノルムの線形和になっている
場合を考える。ここでノルムとしてはＬ２　ノルム、す
なわち二乗ノルムを考える。まず誤差の評価関数が出力
データと教師データの二乗和の１／２で表されていると
する。これを式にすると次のようになる。

【００１３】

【数２】

【００１４】ここでｘはパラメータ、ｔｐ　はｐ番目の
教師データ、ｏｐ　はｐ番目の学習用入力データの組ｓ
ｐ　を用いたニューラルネットワークモデルの出力値で
ある。 具体的には学習用入力データｓｐに対する出力ユニット
ｋの出力データをｏｐｋ（ｘ），そのときの中間ユニッ
トの出力データをｈｐｋ（ｘ）とすると、

【００１５】

【数３】

【００１６】

【数４】

【００１７】

【数５】σ（・）＝１／（１＋ｅｘｐ（−・））

【００
１８】

【数６】 　　　　ｘ＝（ｖ００　　ｖ０１　　…　　ｖＯＩ　　
ｖ１０　　…　　ｖＪ−１Ｉ　　ｗ００　　…　　ｗＫ
−１Ｊ）となる。学習には上述の誤差の評価関数の勾配
ベクトルを用いる。結果のみを記すと、教師ベクトルを
表すパターンの部分集合について

【００１９】

【数７】

【００２０】

【数８】

【００２１】が成り立つ、とくにｗｋｊは中間ユニット
ｊと出力ユニットｋの結合重み係数でありｖｊｉは入力
ユニットｉと中間ユニットｊの結合重み係数である。こ
こまでは従来の図３と同じである。次いで、本発明では
、学習用入力データｓｐ　から教師データｔｐ　を回帰
する関数ｆを構成する。この関数ｆはニューラルネット
ワークには使用しない関数であり、線形回帰によって求
めてもよいし、或は非線形項を含んでいてもよい。これ
らの選択は任意である。次いで入力データｓｐ　以外の
新たな補間用の入力データのｓｐ＋を作り、これに対応
する教師データｔｐ＋を前述の回帰関数ｆから求める。

【００２２】このようにして学習用入力データｓｐ　と
教師データｔｐ　の組の集合Ｉと、補間

【００２３】

【外１】

【００２４】設定する。以上の準備をした上で、学習を
開始する。具体的な学習は公知のモーメント付バックプ
ロパゲーションといわれる方法であり、手順は以下のと
おりである。ま

【００２５】

【外２】

【００２６】回数を表す。つぎに修正ベクトルΔｘ（τ
）を次の式で求める。

【００２７】

【数９】

【００２８】ここでηは学習効率と呼ばれる定数であり
、この値が大きいほど収束に必要な回数も短くなるが、
同時に不安定性も増す。またαはモーメントと呼ばれる
定数であり、この値を大きくすると不安定性が少なくな
る。この修正ベクトルによって新しいパラメータを以下
の式で求める。 ｘ（τ＋１）＝ｘ（τ）＋Δｘ（τ）

【００２９】

【外３】

【００３０】小さくなったとき学習を終了する。

【００３１】

【実施例】以下に本発明の実施例を説明する。この例は
線形分離が不可能であるＸＯＲ（排他的論理和）問題を
ニューラルネットワークによって解くものである。ここ
では入力ユニットが２、隠れユニットが２、出力ユニッ
トが１のニューラルネットワークを考える。ただしこの
ユニット数ｎは入力データｓｐ　にかかわらず絶えず１
を出力するユニットであるｓＰＩ（ｉ＝Ｉ）及びｈｐＪ
（ｊ＝Ｊ）は含んでいない。ユニット間の結合は入力ユ
ニットから隠れユニットに向かう結合、及び隠れユニッ
トから出力ユニットに向かう結合のみである。入力デー
タと教師データは表１に示す。表１に示した学習用入力
データの集合ｓｐ　から教師データｔｐ　を回帰する式
を導くために、非線形項（交絡項）を導入した。具体的
な式は以下の通りである。

【００３２】 ｔｐｏ＝ａｓｐｏ＋ｂｓｐｏｓｐ１＋ｃｓｐ１＋ｄｓｐ
２この式にｐ＝１から４までのベクトルｓｐ　，ｔｐ　
を代入して係数ａ，ｂ，ｃ，ｄの値を定め、補間データ
（識別番号２，４，６，８）を構成したところ表２が得
られた。このようにして本方法を適用し、従来方法と比
較した。従来方法では、提示入

【００３３】

【外４】

【００３４】習を行った。本方法と従来方法を３０組の
異なる初期パラメータと異なるモーメントを持つニュー
ラルネットワークの学習に適用し、収束に至るまでの学
習回数を調べた。ただし回数が５０００回を超えた場合
は学習を打ち切った。この結果を図２に示した。この図
３から本方法では３０組が全て収束しているのに対し、
従来の方法では２０００回以上の学習でも収束しないこ
とがわかる。この結果、従来の方法より本方法が優れて
いることは明らかである。

【００３５】

【表１】

【００３６】

【表２】

【００３７】

【発明の効果】本発明によれば、ネットワークの構造を
変更することなく局所最小に落ち込む確率を減らすこと
ができるので、複雑なパターン認識や最適化問題などの
解を短時間で得ることができ、その効果は大きい。

【図面の簡単な説明】

【図１】本発明のフローを表す模式図である。

【図２】本発明の効果を示すグラフである。

【図３】従来のフローを表す模式図である。

【符号の説明】

ｘ　　　　パラメータ ε　　　　学習停止誤差 ｓｐ　　　学習用入力データ ｔｐ　　　教師データ ｆ　　　　補間（回帰）関数 ｓｐ＋　　補間学習用入力データ ｔｐ＋　　補間教師データ Ｉ　　　　ｓｐ　とｔｐ　の組の集合 Ｉ＋　　　ｓｐ＋とｔｐ＋の組の集合

【外５】

Claims (3)

【特許請求の範囲】
1. 【請求項１】　　入力層、隠れ層及び出力層の結合重み
   を示す初期パラメータ及び学習停止誤差を設定しておき
   、教師データと学習用入力データから求められる出力デ
   ータに従って該パラメータを変化させて、該出力データ
   と該教師データの誤差の評価関数が該学習停止誤差以下
   となるように学習を行わせるニューラルネットワークの
   学習方法において、学習を始める前に、該学習用入力デ
   ータから該入力データに対応する該教師データを近似的
   に生成する該評価関数とは別異の回帰関数を求めておき
   、該入力データの他に構成した補間入力データを該回帰
   関数に作用させて得られた出力データを補間教師データ
   として求め、該入力データ、該補間入力データ及び該教
   師データ、該補間教師データを用いて学習させることを
   ことを特徴とするニューラルネットワークの学習方法。
2. 【請求項２】　　該回帰関数が非線形項を含む請求項１
   記載のニューラルネットワークの学習方法。
3. 【請求項３】　　該非線形項は重複を許す２つ以上の入
   力データ間の積である請求項２記載のニューラルネット
   ワークの学習方法。