JPH0660050A - ニューラルネットワークの学習支援装置 - Google Patents

Abstract

(57)【要約】 【目的】 学習能力が動的に変化する場合であっても学
習終了までの時間を確実に予測し、学習の進行状況を把
握できるようにする。 【構成】 順次に提示される学習データに基づいて学習
を実行させて現在時点での学習能力を測定し、その測定
した学習能力に基づいて未学習の学習データの学習が終
了するまでの時間を予測して利用者に提示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワー
クシミュレータによりニューラルネットワークの学習を
対話的に実行する際の学習支援装置に関する。

【０００２】多層型ニューラルネットワークは、ノード
を層状に並べ、隣接した層のノードの間を重みを付けて
結合した構造のものである。

【０００３】多層型ニューラルネットワークでは、誤差
逆伝播法というアルゴリズムにより、多数の事例データ
（学習データ）を繰り返し提示し、ニューラルネットワ
ーク中の結合係数ｗの値を修正することで、事例データ
中の入力と出力の関係を自動的に獲得することができ
る。この誤差逆伝播法は、Ｄ．Ｅ．ラメルハート他著
「ＰＤＰモデル」（１９８９）ｐ３２１−３６５で述べ
られている。

【０００４】この誤差逆伝播法のアルゴリズムから、多
層型ニューラルネットワークが学習開始から学習終了ま
での学習時間を予測する計算式を求めることができる。
学習時間は、ニューラルネットワークシミュレータを構
成するコンピュータ等の装置における結合係数の大きさ
を修正する学習能力と、ニューラルネットワークの各ノ
ードを結ぶ結合の数と、学習にもちいる事例データの事
例の数と、学習終了までの事例データの提示回数の積に
より予測することができる。

【０００５】

【数１】学習時間≒学習能力×結合数×事例データ数×
提示回数 この式を用いることにより、全ての事例データによる学
習が終了するまでの学習時間を計算することができる。

【０００６】

【発明が解決しようとする課題】ところで、ニューラル
ネットワークにおいては、事例データ数が多い場合は、
それに比例して学習時間が増加する。

【０００７】そこで、学習時間を短縮するための一手法
として、学習の実行中に各事例の誤差を監視し、事例の
誤差が利用者の与えた基準値を下回っている場合、学習
に用いる事例から基準値を下回った事例を除外すること
が行われる。この手法を用いると、学習に用いる事例の
数が少なくなり、上記数式から分かるように学習終了ま
での時間も少なくなる。

【０００８】しかし、実際にどの程度の所要時間がかか
るかは不明である。そこで、予想以上に時間がかかる場
合は、学習を中止するといった選択が可能なように、学
習を開始するに際して、学習終了までの時間を上記数式
に基づいて予測し、この予測値に基づいて学習を実行す
るかどうかを指示させる手法がある。

【０００９】一方、ニューラルネットワークをコンピュ
ータのソフトウェアでシミュレーションするニューラル
ネットワークシミュレータで構成した場合、ニューラル
ネットワークシミュレータに割当てることのできるコン
ピュータの計算能力は、同じコンピュータで並行して実
行されるプロセスの数に影響を受け変化する。

【００１０】すなわち、コンピュータに他のプロセスが
多く割り当てられた場合、ニューラルネットワークシミ
ュレータに割当てられる計算能力は少なくなり、ニュー
ラルネットワークの学習能力は低下する。

【００１１】このように学習能力が動的に変化する場合
は、学習終了までの時間を再予測する必要がある。しか
し、利用者は学習能力が固定であれば上記数式を用いて
学習終了までの時間を計算することはできるが、学習能
力が動的に変化する場合は不可能になるという問題があ
る。

【００１２】本発明の目的は、学習能力が動的に変化す
る場合であっても学習終了までの時間を確実に予測し、
その結果を利用者に提示し、学習の支援を行うことがで
きるニューラルネットワークの学習支援装置を提供する
することにある。

【００１３】

【課題を解決するための手段】上記目的を達成するため
に本発明は、順次に提示される学習データに基づいて学
習を実行させて現在時点での学習能力を測定し、その測
定した学習能力に基づいて未学習の学習データの学習が
終了するまでの時間を予測する予測手段と、予測結果を
利用者に提示する出力手段とを設けた。

【００１４】

【作用】上記手段によれば、順次に提示される学習デー
タに基づいて学習を実行させて現在時点での学習能力を
測定し、その測定した学習能力に基づいて未学習の学習
データの学習が終了するまでの時間を予測して利用者に
提示するので、利用者が学習終了までの時間を計算せず
にすみ、しかも学習能力が動的に変化する場合であって
も学習終了までの時間を確実に予測し、学習の進行状況
を把握することが容易になる。

【００１５】

【実施例】以下、図面に基づいて本発明を詳細に説明す
る。

【００１６】図１は本発明を組み込んだニューラルネッ
トワークシミュレータの一実施例を示すシステム構成図
である。このシステムは、多層型ニューラルネットワー
クに、データベースに蓄積された事例データの入力と出
力の関係を学習させるものである。また、学習実行中に
各事例とニューラルネットワーク出力との間の誤差を調
べ、誤差が利用者が与えた基準値を下回る事例は、学習
に用いる事例から省く操作を行う。

【００１７】図１において、キーボード等よりなる入力
手段１と、半導体メモリ装置や磁気ディスク装置等より
なる記憶手段２と、ディスプレイ装置等よりなる表示装
置３と、中央処理装置等よりなる演算処理手段４と、演
算処理手段４中にあってニューラルネットワークの学習
を実行する学習手段５と、演算処理手段４中にあって学
習終了までの時間を計算する学習時間予測手段６より構
成される。

【００１８】図２はこの実施例の全体処理フロー、図３
は記憶手段２上のニューラルネットワークシミュレータ
を制御する変数を格納する学習戦略格納領域の構成図、
図４は記憶手段２上のニューラルネットワークの構造を
定義する情報を格納するネットワーク定義情報格納領域
の構成図である。図５は記憶手段２上のニューラルネッ
トワークの学習に用いる事例を格納する事例データ格納
領域の構成図、図６は記憶手段２上の作業領域である。
図７〜図１０は詳細な処理フロー、図１１は残り学習時
間の表示例である。

【００１９】以下、処理フローに基づきシステムの動作
を説明する。

【００２０】まず、図２をもとに本システム全体の処理
の流れを説明する。

【００２１】まず、ニューラルネットワークの学習を行
うにあたって、利用者が入力手段１から記憶手段２上の
領域に、学習戦略、ネットワーク定義、事例データを入
力し、記憶手段２上の作業領域を初期化するなどの初期
設定を行う（ステップ７）。

【００２２】次に学習時間表示手段６により学習終了ま
でに必要な時間を予測し、予測結果を表示手段３に表示
する（ステップ８）。

【００２３】この後、入力手段１で学習中止ボタンが押
されたか否かを検出し（ステップ９）、学習中止ボタン
が押されたことが検出されたならば、ニューラルネット
ワークの学習を中止する。

【００２４】しかし、学習中止ボタンが押されていなけ
れば、事例提示の繰り返し回数が学習戦略で与えた繰り
返し回数を越えているかどうかを判定し（ステップ１
０）、越えていれば学習を中止する。

【００２５】しかし、越えていない場合は、記憶手段２
中の学習戦略、ネットワーク定義、事例データから学習
手段５を用いてニューラルネットワークの学習を実行す
る（ステップ１１）。そして、この学習結果により、学
習時の各事例の誤差と学習戦略中の基準値とを用いて事
例提示リストを更新する（ステップ１２）。すなわち、
誤差範囲に収まった事例を外した新しい事例リストを作
成する。

【００２６】この後、繰り返し回数を１増分し（ステッ
プ１３）、ステップ８に戻る。

【００２７】次に処理の詳細を説明する。

【００２８】図７では、このニューラルネットワークシ
ミュレータの初期設定処理を示す。初期設定では、記憶
手段２中の学習戦略格納領域（図３）、ネットワーク定
義情報格納領域（図４）、事例データ格納領域（図
５）、作業領域（図６）に初期値を与える。

【００２９】すなわち、学習に用いるデータの事例数、
データ提示の最大繰り返し回数、提示リストから除外す
るときの誤差の基準値を入力手段１から入力し、図３の
対応する領域１４〜１６に格納する（ステップ３２）。
同様に、ネットワーク定義情報として、ネットワークの
層の数、各層のノード数を入力し、図４の対応する領域
１７〜１８に格納する（ステップ３４）。さらにネット
ワークの各結合係数を格納する領域１９に初期値を代入
する（ステップ３４）。

【００３０】また、入力手段１からＮ個の事例データを
入力し（ステップ３６）、図５の対応する領域２０に格
納し、さらに図６の作業領域２１に繰り返し回数を設定
し、作業領域２４には経過時間として「０」を代入す
る。

【００３１】また、図４の領域１７，１８に格納された
ニューラルネットワークの層の数および各層のノード数
からニューラルネットワークの結合数を求め（ステップ
３７）、領域２５に代入する。

【００３２】続いて、学習手段５の学習能力を測定し、
その測定結果として、学習開始時刻と学習終了時刻を領
域２６に代入する（ステップ３８）。ここで、学習能力
とは、ネットワークの各ノードを結ぶ結合線１本当りの
計算時間を言う。

【００３３】次に残り繰り返し回数（＝提示回数）とし
て、最大繰り返し回数を代入し、領域２７に格納する
（ステップ３９）。さらに、現在の事例数として図３の
領域１４に格納された事例数を代入し、領域２９に格納
する（ステップ４０）。続いて提示事例リストとして全
事例の番号を代入し、領域３０に格納する（ステップ４
１）。

【００３４】次に、図２のステップ８の詳細を図８によ
って説明する。

【００３５】まず、作業領域２２，２３に格納された学
習開始時刻と学習終了時刻とから経過時間を求め（ステ
ップ４２）、作業領域２４に格納する。

【００３６】次に、作業領域２５に格納された結合数と
作業領域２４に格納された経過時間をもとに、シュミュ
レータを実行している計算機の学習能力を求め、作業領
域２６に格納する（ステップ４３）。次に、作業領域２
１より現在までの事例の繰り返し回数を取り出し、さら
に図３の領域１５から最大繰り返し回数を取り出し、学
習終了までの残り繰り返し回数を求め、作業領域２７に
格納する（ステップ４４）。

【００３７】次に作業領域２６に格納された学習能力
と、作業領域２５に格納されたネットワークの結合数
と、作業領域２７に格納された残り提示回数と、作業領
域２９に格納された現在の事例数の積から残り学習時間
を求め、作業領域２８に格納する（ステップ４５）。最
後に、学習開始からの経過時間と作業領域２８に格納し
た残り学習時間の計算結果を表示手段３に表示する（ス
テップ４６）。この表示例を図１１に示す。すなわち、
表示手段３の画面上に表示領域６１，６２を確保し、表
示領域６１に学習開始からの経過時間を、表示領域６２
に残り学習時間の予測値を表示する。

【００３８】次に、図２のステップ１１の詳細を図９に
基づいて説明する。

【００３９】まず学習開始時刻を求め（ステップ４
９）、図６の作業領域２２に格納する。続いて作業領域
３０の提示事例リストから学習に用いる提示事例番号を
１個取り出し、その事例番号をキーとして１個の事例を
取り出す（ステップ５０）。

【００４０】次に、その事例をニューラルネットワーク
に提示し、ニューラルネットワークの出力を求め、事例
の出力部とニューラルネットワークの出力を比較して誤
差を求め、誤差に基づいてネットワークの結合係数を修
正し、修正した結合係数を図４の領域１９に代入する。
また事例の誤差を図６の作業領域３１に格納する（ステ
ップ５１，５２）。この操作を提示事例リストの最後ま
で繰り返す。

【００４１】提示事例番号リストの中のすべての事例の
学習が終了したら（ステップ５３）、終了時刻を作業領
域２３に代入する（ステップ５４）。

【００４２】全事例を提示したら、学習に用いる事例リ
ストの更新操作を行う。

【００４３】この処理の詳細を図１０に示す。まず、図
６の作業領域３１に格納されている各事例の誤差を１個
取り出し（ステップ５５）、その誤差の大きさが学習を
除外する誤差の基準値（図３の領域１６に格納されてい
る）以下であれば（ステップ５６）、提示事例リストか
ら削除する。これを提示事例リスト中のすべての事例を
調べるまで繰り返す（ステップ５７，５８）。

【００４４】この後、提示事例リストの更新後の事例数
を求め（ステップ５９）、現在の事例数を格納する領域
２９に代入し、作業領域２１の繰り返し回数を１増加さ
せてステップ４２にもどる。

【００４５】以上の説明から理解されるように、本実施
例によれば、提示事例数の変化や、学習能力の変化に対
応して学習終了までの時間を予測し、その予測値を利用
者に提示するので、利用者は提示された予測値にもとづ
いて学習を継続するか、中止するかを制御することがで
きる。

【００４６】なお、上記実施例は本発明をニューラルネ
ットワークシミュレータに組み込んだものであるが、単
体で構成することも可能である。

【００４７】

【発明の効果】以上説明したように本発明は、順次に提
示される学習データに基づいて学習を実行させて現在時
点での学習能力を測定し、その測定した学習能力に基づ
いて未学習の学習データの学習が終了するまでの時間を
予測して利用者に提示するので、利用者が学習終了まで
の時間を計算せずにすみ、しかも学習能力が動的に変化
する場合であっても学習終了までの時間を確実に予測
し、学習の進行状況を把握したり、残り時間を参考にし
て、学習の打ち切りなどの判断を行うことができる。

【図面の簡単な説明】

【図１】 本発明を組み込んだニューラルネットワーク
シミュレータの一実施例を示すシステム構成図である。

【図２】 実施例の処理の概略を示すフローチャートで
ある。

【図３】 記憶手段中の学習戦略定義情報格納領域の構
成図である。

【図４】 記憶手段中のネットワーク定義情報格納領域
の構成図である。

【図５】 記憶手段中の事例データ格納領域の構成図で
ある。

【図６】 記憶手段中の作業領域の構成図である。

【図７】 図２の初期設定処理の詳細を示すフローチャ
ートである。

【図８】 図２の学習時間表示処理の詳細を示すフロー
チャートである。

【図９】 図２の学習処理の詳細を示すフローチャート
である。

【図１０】 図２の提示事例更新処理の詳細を示すフロ
ーチャートである。

【図１１】 残り学習時間の表示例を示す説明図であ
る。

【符号の説明】

１…入力手段、２…記憶手段、３…表示手段、４…演算
処理手段、５…学習手段、６……学習時間表示手段。

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ニューラルネットワークの学習を支援す
   る装置であって、順次に提示される学習データに基づい
   て学習を実行させて現在時点での学習能力を測定し、そ
   の測定した学習能力に基づいて未学習の学習データの学
   習が終了するまでの時間を予測する予測手段と、予測結
   果を利用者に提示する出力手段とを備えるニューラルネ
   ットワークの学習支援装置。