JPH05250164A

JPH05250164A - 学習方法

Info

Publication number: JPH05250164A
Application number: JP4675092A
Authority: JP
Inventors: Akira Maeda; 章前田; Yoshikane Sugimura; 好謙杉村; Seiju Funabashi; 誠壽舩橋; Toshihiko Nakano; 利彦中野
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1992-03-04
Filing date: 1992-03-04
Publication date: 1993-09-28

Abstract

(57)【要約】【目的】教師データを持つ学習装置において、二つの
教師データの誤差を同時に表示することにより、オーバ
ラーニングを避け、かつ、学習の繰返し回数を少なくす
る。【構成】教師データ記憶手段として、学習用データ記
憶手段３２１と検証用データ記憶手段３２２の二つを持
つ。また、推論はファジィ推論実行手段３１４により行
なわれ、学習パラメータ記憶手段３２４に学習用データ
については出力値と推論状態、検証用データについては
出力値だけが記憶される。このデータをもとに誤差の同
時表示と最良メンバシップ関数の記憶を行ない、割込み
機能により学習状況の評価を随時行なう。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力値と出力値の組か
らなる教師データが用意されており、その入力値に対し
て、ある計算方法に従って出力値を計算し、その出力値
を与えられた教師データの出力値に近づけるように計算
方法を調整する機能を持つ学習装置の学習方法に関し、
特に対話的に学習を進めてオーバラーニングを防ぎ、操
作者の手間を省くのに好適な学習方法に関する。

【０００２】

【従来の技術】従来、ニューラルネットワークの重みや
しきい値の調整やファジイ推論のメンバシップ関数の調
整には、学習の対象となるものの入力値と出力値の組か
らなる教師データを用意して、その入力値に対し、所定
の計算方法に従って出力値を計算し、その出力値を与え
られた教師データの出力値に近づけるように計算方法を
調整する学習装置が用いられている。このような学習装
置では、図２に示すように、まず、学習を始める前に、
学習回数、学習係数等の初期設定を行ない、また、ニュ
ーラルネットワークの場合は結合係数やしきい値、ネッ
トワークの構成を初期値として与え、ファジイ推論の場
合はメンバシップ関数の形状やルールを初期値として与
える（２０１，２０２）。次に、与えられた教師データ
と学習用データと検証用データに分け、学習用データの
うちの入力値を使ってニューラルネットワークまたはフ
ァジイ推論により出力値を計算する。この手続きを学習
用データの個数だけ繰り返す。その出力値と学習用デー
タの出力値との誤差を使って、ニューラルネットワーク
やメンバシップ関数を調整する。以上のことを初期値と
して設定された学習回数だけ繰り返して学習を終わる
（２０３）。学習の結果の判定は、学習用データによる
誤差の大きさや、または、学習用データとは別に検証用
データを用いて学習することなく出力値を計算し、誤差
を求め、その大きさで判定がなされる（２０４）。も
し、学習結果が満足するものでなければ、ステップ２０
２に戻って初期設定を変えて学習を繰り返す。なお、フ
ァジィ推論を用いてパラメータの調節を行なう学習制御
装置については、例えば「自己調整ファジィコントロー
ラ、計測自動制御学会論文集、第２４巻第２号（１９８
４）、ｐｐ．１９１〜１９７」において論じられてい
る。

【０００３】

【発明が解決しようとする課題】上記従来技術に示した
方法で学習を繰返していると、オーバーラーニングとい
う問題が発生する。オーバーラーニングは、教師データ
に存在する入力に対しては正しい出力をするが、教師デ
ータにない入力値で教師データにあるものと比べて、ユ
ーザが適当だと思う出力とは大きく違う出力をするもの
である。ユーザはこの問題を避けるために、初期値を決
めて、学習用データで学習し、検証用データでその結果
を検討するというプロセスを満足のいく学習結果が得ら
れるまで繰り返さなくてはならない。そのため、ユーザ
が満足のいく学習結果を得るためには多くの時間と手間
が掛かる。本発明の目的は、このような問題点を改善
し、マンマシンインタフェースを向上させ、オーバラー
ニングを防止するのに好適な学習方法を提供することに
ある。

【０００４】

【課題を解決するための手段】上記目的を達成するた
め、本発明の学習方法は、入力値と出力値からなる教師
データを学習用データと検証用データに分け、学習用デ
ータを入力し、所定の計算方法に基づいて出力値を計算
し、その出力値を学習用データの出力値に近づけるよう
にその計算方法で用いるパラメータを調整する場合、両
者を学習用データ入力手段および検証用データ入力手段
から入力して、学習用データ記憶手段および検証用デー
タ記憶手段に記憶しておき、その計算方法による両者の
出力の誤差の変化を、例えばグラフ化等して、誤差表示
手段に同時に表示することに特徴がある。また、学習用
データおよび検証用データから得た出力の誤差を用い、
評価方法指定手段により指示された基準（例えば誤差の
２乗和を用いたもの）で現在の学習状況を逐次評価し、
最適な評価を得た学習対象を自動的に最良メンバシップ
関数記憶手段に保存する機能を有することに特徴があ
る。さらに、割り込み監視手段を有し、学習途中の任意
の時点で一時停止させ、その時点までの途中経過を評価
して表示することに特徴がある。

【０００５】

【作用】本発明においては、学習用データの誤差と検証
用データの誤差をグラフ化して同時に表示することによ
り、学習の進み具合と検証用データの誤差の変化を同時
に見ることができるので、オーバラーニングを避けるこ
とができる。これは、学習用データについて学習回数が
増えると、誤差は小さな増加が見られるかも知れない
が、大域的には単調減少であり、一方、検証用データの
誤差は最初は減少であるが、オーバラーニングが発生す
ると誤差は増加に転じることによる。また、学習中に逐
次、誤差を調べ、最も良い結果が出ているときには自動
的にパラメータをセーブする機能を有するので、従来の
ように最も良い結果を出した学習回数をユーザが覚えて
おき、その回数だけ再度学習を繰り返すという手間を省
くことができる。従って、操作性を向上させて、オーバ
ラーニングを防ぎ、作業の能率を高めることが可能であ
る。

【０００６】

【実施例】以下、本発明の一実施例を図面により説明す
る。図３は、本発明の一実施例における学習装置の構成
図、図４は本発明の一実施例における学習装置の機能構
成を示すブロック図である。図３において、３１は中央
処理装置であって、学習用データ入力制御手段３１１、
検証用データ入力制御手段３１２、ファジィルール入力
制御手段３１３、ファジィ推論実行手段３１４、メンバ
シップ関数調整手段３１５、誤差表示制御手段３１６、
割り込み監視手段３１７、および学習状況表示制御手段
３１８を有する。また、３２は中央処理装置３１の動作
を記述したプログラムを格納する領域を有するメモリで
あって、学習用データ記憶手段３２１、検証用データ記
憶手段３２２、ファジィルール・メンバシップ関数記憶
手段３２３、学習パラメータ記憶手段３２４、および最
良メンバシップ関数記憶手段３２５として機能する記憶
領域を有する。また、３３はポインティングデバイス、
３４はキーボード、３５はディスプレイであり、これら
は本実施例の学習制御装置（計算機システム）のハード
ウェア構成を示す。また、ポインティングデバイス３
３、キーボード３４、およびディスプレイ３５は、学習
用データ入力制御手段３１１や検証用データ入力制御手
段３１２等とともに図４に示す学習用データ入力手段４
１や検証用データ入力手段４２の機能を実現する。ま
た、中央処理装置３１は、メモリ３２に格納されたプロ
グラムを実行することにより、ファジィ推論実行手段３
１４、メンバシップ関数調整手段３１５等の機能を実現
する。また、図４において、４１は学習の対象となるも
のの入力値と出力値の組からなる学習用データを入力す
る学習用データ入力手段、４２は同じ学習対象の入力値
と出力値の組からなる検証用データを入力する検証用デ
ータ入力手段、４３は学習状態を表示する学習状況表示
手段、４４は学習用データを使った推論の誤差と検証用
データを使った推論の誤差を同時に表示する誤差表示手
段、４５はファジイルールとメンバシップ関数のパラメ
ータを入力するファジィルール入力手段、４６は学習状
態の評価方法を入力する評価方法指定手段である。ま
た、学習用データ記憶手段３２１は学習用データを記憶
し、検証用データ記憶手段３２２は検証用データを記憶
する。また、ファジィルール・メンバシップ関数記憶手
段３２３はファジイルールとメンバシップ関数のパラメ
ータを記憶し、学習パラメータ記憶手段３２４は学習用
データまたは検証用データのケースごとに出力値と推論
状態を記憶し、最良メンバシップ関数記憶手段３２５は
最良のメンバシップ関数のパラメータを記憶する。ま
た、ファジィ推論実行手段３１４は学習用データまたは
検証用データの入力値に基づいてファジィ推論を実行
し、メンバシップ関数調整手段３１５はメンバシップ関
数のパラメータを調整し、割り込み監視手段３１７は入
力装置３３，３４からの割込みを監視する。本実施例で
は、このような構成によりファジイ推論のメンバシップ
関数の調整を行なうものである。なお、ここでのメンバ
シップ関数は３から６個のパラメータで規定され、メン
バシップ関数の調整とは、このパラメータを教師データ
の出力値に近づけるように変化させることである。

【０００７】次に、図４に示した各手段の動作について
述べる。学習用データ記憶手段３２１は、ユーザによっ
て学習用データ入力手段４１から入力された学習用デー
タを記憶する。同様に、検証用データ記憶手段３２２
は、検証用データ入力手段４２から入力された検証用デ
ータを記憶する。また、ファジィルール・メンバシップ
関数記憶手段３２３は、ファジィルール入力手段４５か
ら入力されたファジィルールを記憶する。また、ファジ
ィ推論実行手段３１４は、ファジィルール・メンバシッ
プ関数記憶手段３２３を参照しながら学習用データ記憶
手段３２１の学習用データの入力値、または検証用デー
タ記憶手段３２２の検証用データの入力値を使ってファ
ジィ推論を実行する。そして、その結果を出力値とし、
学習用データの場合は推論状態を出力する。なお、推論
状態とは、ルールの前件部の適合度やそれを出力したメ
ンバシップ関数、後件部のメンバシップ関数の合成の状
態等を指す。また、学習パラメータ記憶手段３２４は、
ファジィ推論実行手段３１４の出力と、学習用データの
出力値または検証用データの出力値との誤差を記憶す
る。また、メンバシップ関数調整手段３１５は、現在の
学習パラメータ記憶手段３２４の情報をもとにファジィ
ルール・メンバシップ関数記憶手段３２３のメンバシッ
プ関数を決定するパラメータを調節する。また、最良メ
ンバシップ関数記憶手段３２５は、学習パラメータ記憶
手段３２４からの学習用データでの誤差と検証用データ
での誤差から自動セーブのモードに従ってファジィルー
ル・メンバシップ関数記憶手段３２３のデータが最良な
場合はそれを複写しておく。また、誤差表示手段４４
は、評価方法指定手段４６から入力された評価基準（誤
差の２乗和等）に従い、例えば、学習パラメータ記憶手
段３２４の学習用データの誤差と検証用のデータの誤差
をもとに誤差の２乗和を計算し、スケーリングの定数に
従ってそれらの誤差を表示装置３５に逐次表示する。こ
のスケーリングの定数は学習用データ／検証用データの
それぞれについて、１回目の推論のときの誤差が表示画
面に入るように決定する。また、先の誤差の２乗和は学
習の状態が分かる数値であれば他のものでもよい。ま
た、割込み監視手段３１７は、入力装置３３，３４から
の入力を監視し、入力があれば学習を一時停止させ、コ
マンドを実行する。本実施例では、メンバシップ関数も
含めてファジィルールの保存、学習状況の評価、および
学習の続行を指示するコマンドがある。また、学習状況
表示手段４３は、割込み監視手段３１７によって学習が
停止された場合に、学習パラメータ記憶手段３２４とフ
ァジィルール・メンバシップ関数記憶手段３２３の学習
一時停止点の情報をもとに学習状況を評価する。

【０００８】次に、本実施例における学習方法について
述べる。図５は、本発明の一実施例における学習方法を
示すＰＡＤ図である。まず、ユーザは、評価基準（例え
ば、誤差の２乗和によるもの）を指定して、ファジィル
ール、学習用データ、検証用データを入力し、学習回
数、表示間隔、学習係数、慣性係数、終了条件等、自動
セーブのモードの設定を行なう（５００１）。なお、自
動セーブのモードとしては、検証用データ誤差（例えば
２乗和）最小、学習用データ誤差（例えば２乗和）最小
等がある。また、ファジィルール・メンバシップ関数記
憶手段３２３の内容を最良メンバシップ関数記憶手段３
２５に複写しておく。このあと、プロセスは二つに分か
れて、一方（ステップ５００２以下）は学習を行ない、
もう一方（ステップ５０１３以下）は入力装置３３，３
４からの割込みを監視する。本実施例ではＣ言語を使っ
てインプリメントされ、この操作には関数ｆｏｒｋ
（）が使われる。学習を行うプロセスでは、検証用デ
ータ記憶手段３２２から教師データの入力値をファジィ
推論実行手段３１４に入力して推論を実行し、推論結果
を学習パラメータ記憶手段３２４に記憶する（５００
３）。この動作を検証用データの個数だけ実行し、全て
の出力値を記憶する。次に、学習パラメータ記憶手段３
２４の検証用データについての出力値と検証用データ記
憶手段３２２の教師データの出力値との誤差の２乗和を
計算する。さらに、この２乗和からグラフを適当なスケ
ールで表示するために、検証データの誤差のためのスケ
ーリング定数を決定し、それに従ってグラフを描画する
（５００４）。以下、検証用データの誤差の表示時には
この定数を用いる。次に、学習用データ記憶手段３２１
から教師データのうち入力値をファジィ推論実行手段３
１４に入力して推論を実行し、出力値と後のメンバシッ
プ関数の調整に必要な推論状態を学習パラメータ記憶手
段３２４に入力し、そこに記憶する（５００５）。この
動作を学習用データの個数だけ実行し、全ての場合につ
いての出力値と推論状態を記憶する。次に、ステップ５
００５と同様に、学習パラメータ記憶手段３２４の学習
用データについての出力値と学習用データ記憶手段３２
１の教師データの出力値との２乗和を計算する。この誤
差の２乗和から学習用データの誤差のためのスケーリン
グ定数を決定し、それに従ってグラフを描画する（５０
０６）。以下、学習用データの誤差の表示時にはこの定
数を用いる。そして、ステップ５００４，５００５で計
算した誤差をもとに現在の学習したメンバシップ関数が
最良メンバシップ関数記憶手段３２５にあるものよりも
自動セーブのモードに従って良い場合（５００７）、フ
ァジィルール・メンバシップ関数記憶手段３２３の内容
を最良メンバシップ関数記憶手段３２５に複写する（５
００８）。また、ステップ５００７で評価が最大ではな
かった場合には、学習パラメータ記憶手段３２４とファ
ジィルール・メンバシップ関数記憶手段３２３のデータ
をもとにメンバシップ関数調整手段３１５がファジィル
ール・メンバシップ関数記憶手段３２３のメンバシップ
関数を規定するパラメータを調整する（５００９）。最
後に、ユーザからの割込みを監視しているプロセスから
学習の一時停止命令が来ていないかを確かめ（５０１
０）、命令があればそれを実行し（５０１１）、無けれ
ば次に進む。これらのステップ５００３〜５０１１は、
終了条件が満たされまで繰り返される（５００２）。本
実施例では、終了条件は学習回数で決められるものとす
る。こうして学習が終わると、監視用のプロセスを停止
させ、パラメータをファイルにセーブして終了する（５
０１２）。次に、ユーザ割込み監視プロセスについて説
明する。これは、最初、ユーザからの指示を待ち続け
（５０１４）、指示があれば、学習プロセスに指示の内
容をメッセージとして送る（５０１５）。これを繰り返
す（５０１３）。

【０００９】次に、本実施例において誤差の同時表示の
行う場合の画面構成について述べる。図１は、本発明の
一実施例における誤差表示画面を示す図である。本実施
例では、画面中央にグラフ表示を行ない、横軸に学習回
数１１、左側の縦軸に学習用データについての誤差１
２、右側の縦軸に検証用データの誤差１３を取ってい
る。また、グラフは、実線が学習用データについての誤
差の変化１４、破線が検証用データの差の変化１５をそ
れぞれ表わしている。また、学習中に「中止」表示部分
１６をポインティングデバイスでクリックすると、学習
が一時停止され、学習状況評価、パラメータの保存、学
習続行等のコマンドを選ぶことができる。また、この他
に現在の学習回数１７、現在の学習用データの誤差１
８、検証用データの誤差１９を表示する。本実施例で
は、ファジィ推論のメンバシップ関数の調整を例に挙げ
て説明したが、この他にもニューラルネットワークの学
習等に適用することができる。また、評価の際に誤差の
２乗和をそのまま用いているが、これに重み付けを行な
うことも可能である。

【００１０】

【発明の効果】本発明によれば、ユーザは、オーバラー
ニングの状況を視覚的に確かめることができるようにな
り、オーバラーニングが起こる前の時点の学習すべきパ
ラメータは自動的に保存されるので、ユーザが、学習を
繰り返す必要がなくなる。また、誤差を同時に表示する
画面を見ながら学習を停止させることができるので、自
動セーブが働かない時点での学習するパラメータの保存
が可能になり、その学習回数での学習の状況を把握する
ことができる。これにより、マンマシンインタフェース
を向上させ、オーバラーニングを防止することができ
る。

【００１１】

【図面の簡単な説明】

【図１】本発明の一実施例における誤差表示画面を示す
図である。

【図２】従来の学習方法を示すＰＡＤ図である。

【図３】本発明の一実施例における学習装置の構成図で
ある。

【図４】本発明の一実施例における学習装置の機能構成
を示すブロック図である。

【図５】本発明の一実施例における学習方法を示すＰＡ
Ｄ図である。

【符号の説明】

３１中央処理装置３２メモリ３３ポインティングデバイス３４キーボード３５ディスプレイ

───────────────────────────────────────────────────── フロントページの続き (72)発明者中野利彦茨城県日立市大みか町五丁目２番１号株式会社日立製作所大みか工場内

Claims

【特許請求の範囲】

【請求項１】入力値と出力値の組からなる学習用デー
タと検証用データを教師データとして、該学習用データ
の入力値を入力し、所定の計算方法に基づいて算出した
出力値を該学習用データの出力値に近づけるように該計
算方法を調整する学習方法において、上記検証用データ
の入力値を用いて算出した出力値と検証用データの出力
値との誤差、および、上記学習用データの入力値を用い
て算出した出力値と学習用データの出力値との誤差の変
化を同時表示し、指示された時点で学習を一時停止さ
せ、該時点における学習状況を評価して表示することを
特徴とする学習方法。
【請求項２】入力値と出力値の組からなる学習用デー
タと検証用データを該学習用データとして、該学習用デ
ータの入力値を入力し、所定の計算方法に基づいて算出
した出力値を該学習用データの出力値に近づけるように
該計算方法を調整する学習方法において、上記検証用デ
ータの入力値を用いて算出した出力値と検証用データの
出力値との誤差、および、上記学習用データの入力値を
用いて算出した出力値と学習用データの出力値との誤差
の変化を同時表示するとともに、該誤差を用いて現在の
学習状況を逐次評価し、最適な評価を得た学習対象を保
存することを特徴とする学習方法。
【請求項３】上記評価の基準を任意に指定することを
特徴とする請求項２記載の学習方法。