JPH0535707A

JPH0535707A - ニユ−ラルネツトを利用したパタ−ン分類方法および装置

Info

Publication number: JPH0535707A
Application number: JP3186089A
Authority: JP
Inventors: Hirotaka Mizuno; 浩孝水野
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1991-07-25
Filing date: 1991-07-25
Publication date: 1993-02-12
Anticipated expiration: 2017-10-15
Also published as: US5577166A; JP3334807B2

Abstract

(57)【要約】【目的】パタ−ン分類のためのニュ−ラルネットにお
ける出力パタ−ンの信頼度を判断することができ、正解
率の低下を検出できるようなニュ−ラルネットを利用し
たパタ−ン分類装置とその処理方法を実現する。【構成】ニュ−ラルネットに与えられた入力パタ−ン
と学習用デ−タとを比較し、さらにパタ−ン分類の実行
履歴を蓄積しながらこの実行履歴を監視して、正解率が
低下したとき、利用者に対してその旨を通知し、ニュ−
ラルネットの再学習を行わせる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニュ−ラルネットを用
いたパタ−ン分類方法および装置に関し、特に分類対象
となる入力パタ−ンが学習用デ−タの入力パタ−ンの分
布から外れる可能性がある場合や、ニュ−ラルネットの
学習を行った後に問題の構造が変化して、分類対象の入
力パタ−ンとそれに対する正解出力パタ−ンの組が学習
用デ−タの内容と矛盾する可能性がある場合に、それら
を修正して適切な分類を行うことが可能なニュ−ラルネ
ットを利用したパタ−ン分類方法および装置に関する。

【０００２】

【従来の技術】従来、入力パタ−ンを予め決められたカ
テゴリ−に分類するパタ−ン分類処理に、ニュ−ラルネ
ットを用いて行う方法は、『ニュ−ラルネットワ−ク情
報処理』麻生英樹著（産業図書）1988に記載されてい
る。ここでは、階層的なネットワ−クの情報処理は、パ
タ−ンの識別またはパタ−ンの変換であり、また、ネッ
トワ−クの学習は、変換の例を提示されることにより、
ネットワ−クが望ましい変換を真似することであると述
べている。図４は、従来におけるニュ−ラルネットの原
理を示す模式図である。ニュ−ラルネット１１は、神経
細胞を真似したノ−ド４１を階層形に配列し、隣り合う
層のノ−ド４１間をア−ク４２で結合したネットワ−ク
状の計算モデルである。ア−ク４２には結合の重み付け
が行われているので、ノ−ド４１間を伝達する信号の強
弱を調節することができる構造となっている。また、ノ
−ド４１には閾値が付与されており、前の層の各ノ−ド
４１から伝達される入力の総和がこの閾値より大きくな
ると、次の層のノ−ド４１に信号が伝達される。入力パ
タ−ン１８は、第１層の各ノ−ド４１の状態値として付
与される。これに従って、第２層、第３層に順次ノ−ド
４１の状態値が求められ、ネットワ−クの出力パタ−ン
１９は最終層のノ−ドの状態値として得られる。

【０００３】図４において、入力パタ−ン１８がｍ個の
要素Ｘｉ（ｉ＝１，２，・・ｍ）からなる場合には、入
力パタ−ン１８は以下に示すようなベクトルＸとして表
わされる。Ｘ＝（Ｘ１，Ｘ２，・・・・Ｘｍ）・・・・・・・・・・・・・・（１）いま、入力パタ−ン１８をｎ個のカテゴリ−のいずれか
に分類しようとする場合、分類結果である出力パタ−ン
１９は、ｎ個の要素Ｙｉ（ｉ＝１，２，・・・ｎ）から
なる以下に示すようなベクトルＹとして表わされる。Ｙ＝（Ｙ１，Ｙ２，・・・・Ｙｎ）・・・・・・・・・・・・・（２）なお、入力パタ−ン１８がｉ番目のカテゴリ−に属する
ときには、Ｙｉ＝１となり、ｉ番目に属さないときに
は、Ｙｉ＝０となる。ニュ−ラルネット１１の学習を行
う場合、先ず、ニュ−ラルネット１１に入力パタ−ンで
あるベクトルＸを入力して、出力パタ−ンであるベクト
ルＹを計算させる。そして、これら入力パタ−ンＸに対
する望ましい出力パタ−ンとしての教師パタ−ンＴを教
示する。ここで、ＴはＹと同じようにｎ個の要素Ｔ₁〜
Ｔｎからなるベクトルである。Ｔを教示されることによ
り、ニュ−ラルネット１１は、現状の出力パタ−ンＹと
望ましい出力パタ−ンＴとの差を減少させる方向に各ア
−クの重みを修正する。このようにして、変換の例示と
重み修正の過程を入力パタ−ンＸと教師パタ−ンＴの組
の全てに対して、繰り返し行うことにより、ニュ−ラル
ネット１１は入力パタ−ンＸから出力パタ−ンＹへの望
ましい変換を真似るようになる。

【０００４】

【発明が解決しようとする課題】ところで、前述した従
来の技術では、ニュ−ラルネットが入力パタ−ンの全範
囲にわたる学習用デ−タを用いて学習を行った場合を前
提としているが、もし全範囲にわたる学習用デ−タを用
いて学習を行ったという保証がない場合には、ニュ−ラ
ルネットによる分類結果はどのようになるか不明であ
り、これについては、前述の文献には何も述べられてい
ない。すなわち、例えば、時系列に得られるデ−タから
なる入力パタ−ンが分類の対象である場合、学習用デ−
タとして利用できるものは現在までに得られている過去
のデ−タだけである。そして、これ以降の将来に得られ
るデ−タから作られる入力パタ−ンが、過去の入力パタ
−ンのいずれにも似ていない場合が起り得る。過去には
現われなかった入力パタ−ンが入力された場合にも、ニ
ュ−ラルネットは何らかの出力パタ−ンを分類結果とし
て出力するが、従来の文献では、このような場合の出力
パタ−ンの解釈方法については全く触れていなかった。
本発明の目的は、このような従来の課題を解決し、入力
パタ−ンが学習用デ−タの入力パタ−ンの分布から外れ
ているときでもそれを判断して、正解率の低下を検出で
き、出力パタ−ンの信頼度を判断できるニュ−ラルネッ
トを利用したパタ−ン分類方法および装置を提供するこ
とにある。

【０００５】

【課題を解決するための手段】上記目的を達成するた
め、本発明によるニュ−ラルネットを利用したパタ−ン
分類方法は、（イ）与えられた入力パタ−ンに対するニ
ュ−ラルネットの出力パタ−ンと、入力パタ−ンについ
て後から出力される正解出力パタ−ンとを比較し、比較
結果を実行履歴として順次蓄積しておき、常時、蓄積さ
れた結果を監視して、結果の異常を検出することに特徴
がある。また、本発明によるニュ−ラルネットを利用し
たパタ−ン分類装置は、（ロ）与えられた入力パタ−ン
と上記ニュ−ラルネットの学習に用いる学習用デ−タの
入力パタ−ンとを比較する入力パタ−ン監視モジュ−
ル、学習用デ−タを格納する学習用デ−タファイル、与
えられた入力パタ−ンに対するニュ−ラルネットの出力
パタ−ンと入力パタ−ンについての正解出力パタ−ンと
を比較して、比較結果を履歴として蓄積し、比較結果か
ら異常を判断する実行履歴監視モジュ−ル、比較結果の
履歴を格納する実行履歴ファイル、および実行履歴ファ
イルの内容と学習用デ−タファイルの内容を読み出し、
新たに学習用デ−タを作成してファイル内容を更新する
学習用デ−タ更新処理モジュ−ルを具備することに特徴
がある。また、（ハ）入力パタ−ン監視モジュ−ルは、
分類対象として与えられた入力パタ−ンが全学習用デ−
タの入力パタ−ンの分布上のどこに位置するかを計算す
るとともに、分類対象として与えられた上記入力パタ−
ンに類似する入力パタ−ンを持つ学習用デ−タを検索す
ることにも特徴がある。また、（ニ）実行履歴監視モジ
ュ−ルは、分類対象として与えられた入力パタ−ンと、
入力パタ−ンについてのニュ−ラルネットの出力パタ−
ンと、入力パタ−ンについての正解出力パタ−ンとを、
実行履歴として実行履歴ファイルに蓄積することにも特
徴がある。また、（ホ）実行履歴監視モジュ−ルは、分
類対象である入力パタ−ンについてのニュ−ラルネット
の出力パタ−ンと、入力パタ−ンについての正解出力パ
タ−ンとの間の誤差を全実行履歴について平均した平均
誤差を算出して、算出結果を実行履歴ファイルに保持
し、平均誤差が予め定められた閾値を越えたときには、
ニュ−ラルネットの再学習を行う必要があることを利用
者に通知することにも特徴がある。さらに、（ヘ）ニュ
−ラルネットの再学習では、前回の学習に用いた学習用
デ−タに、前回の学習以後に得られた実行履歴を加えた
ものを新たに学習用デ−タとして用い、前回の学習用デ
−タのうち実行履歴中のデ−タと矛盾するものを再学習
の対象から除去することにも特徴がある。

【０００６】

【作用】本発明においては、入力パタ−ン監視モジュ−
ルにより、入力パタ−ンとニュ−ラルネットの学習に用
いる各学習用デ−タの入力パタ−ンとを比較するととも
に、入力パタ−ンと学習用デ−タの入力パタ−ン全体の
分布とを比較する。すなわち、与えられた入力パタ−ン
の学習用デ−タの入力パタ−ン全体の分布における位置
を計算し、かつ与えられた入力パタ−ンに類似した入力
パタ−ンを持つ学習用デ−タを検索する。これにより、
与えられた入力パタ−ンがどの学習用デ−タの入力パタ
−ンとも類似していない場合には、この事実を検出する
ことができるので、利用者は与えられた入力パタ−ンに
対しての分類結果の信頼度が低いことを知ることができ
る。さらに、実行履歴監視モジュ−ルにより、出力パタ
−ンと後に得られる入力パタ−ンに対する正解出力パタ
−ンとを比較し、その結果を実行履歴として蓄積して、
蓄積された実行履歴を監視し、正解率が低下した場合に
ニュ−ラルネットの再学習の必要性を通知する。すなわ
ち、与えられた入力パタ−ンについての正解出力パタ−
ンが得られた時点で、与えられた入力パタ−ンに対する
ニュ−ラルネットの出力パタ−ンと正解出力パタ−ンと
を比較し、その結果を実行履歴として蓄積する。次に、
蓄積された実行履歴からニュ−ラルネットの出力パタ−
ンと正解出力パタ−ンとの間の平均誤差（分類の誤りの
頻度）が増加したときには、これを検出して、利用者に
この事実を通知する。これにより、利用者は、現状のニ
ュ−ラルネットのままでは問題があるので、これまでに
蓄積していた実行履歴デ−タを新たに学習用デ−タに追
加して、ニュ−ラルネットの学習を再度実行する必要が
あることを知る。

【０００７】

【実施例】以下、本発明の実施例を、図面により詳細に
説明する。図２は、本発明の一実施例を示すパタ−ン分
類装置のハ−ドウェア構成図である。本発明のパタ−ン
分類装置は、ニュ−ラルネットを利用してパタ−ンを分
類するコンピュ−タ２１と、ニュ−ラルネツトの学習の
ための学習用デ−タおよびパタ−ン分類の実行結果の履
歴を格納しておくための補助記憶装置２２と、分類対象
である入力パタ−ンを外部から受け付けるパタ−ン入力
装置２３と、パタ−ン分類の結果を表示するディスプレ
イ装置２４と、利用者からの指示を受け付けるキ−ボ−
ド２５とを具備している。本発明の特徴は、このハ−ド
ウェア構成にあるのではなく、パタ−ン分類を実行する
コンピュ−タ２１内の機能モジュ−ルの構成にある。以
下、図１により機能モジュ−ルの構成を説明する。

【０００８】図１は、本発明の一実施例を示すパタ−ン
分類装置の機能ブロック図である。図１に示すように、
ニュ−ラルネット１１、入力パタ−ン監視処理部１２、
実行履歴監視処理部１３、学習用デ−タ更新処理部１
４、およびこれらの起動を制御する制御処理部１５が、
コンピュ−タ２１内にプログラムモジュ−ルとして内蔵
されている。また、学習用デ−タファイル１６および実
行履歴ファイル１７が、補助記憶装置２２内に格納され
ている。ニュ−ラルネット１１は、分類実行時には、パ
タ−ン入力装置２３を介して外部から入力された入力パ
タ−ン１８を変換して、分類結果である出力パタ−ン１
９を出力する。また、ニュ−ラルネット１１は、学習実
行時には、学習用デ−タファイル１６から学習用デ−タ
を読み込み、学習用デ−タの入力パタ−ンから出力パタ
−ンへの変換を真似るように、ニュ−ラルネット１１内
部のパラメ−タを修正する。次に、入力パタ−ン監視処
理部１２は、パタ−ン入力装置２３から入力パタ−ン１
８を、また学習用デ−タファイル１６から学習用デ−タ
を、それぞれ入力して、入力パタ−ン監視結果１１０を
出力する。さらに、実行履歴監視処理部１３は、パタ−
ン入力装置２３からの入力パタ−ン１８と、パタ−ン入
力装置２３からの正解出力パタ−ンと、ニュ−ラルネッ
ト１１からの出力パタ−ンとを、それぞれ入力して、こ
れらを実行履歴ファイル１７に追加記録する。また、実
行履歴監視処理部１３は、内部に保持している平均誤差
に基づいて実行履歴監視結果１１２を出力する。学習用
デ−タ更新処理部１４は、再学習の指示があったとき
に、実行履歴ファイル１７の内容と学習用デ−タファイ
ル１６の内容を読み込み、新たに学習用デ−タを作成し
て、学習用デ−タファイル１６に追加記録する。

【０００９】図３は、本発明の一実施例を示すパタ−ン
分類装置の処理フロ−チャ−トである。先ず制御処理部
１５は、ディスプレイ装置２４の画面にガイダンス表示
を行って、利用者に対し学習実行か、あるいは分類実行
か、いずれかの指示を入力するように要求する。制御処
理部１５は、これに対する利用者からの指示をキ−ボ−
ド２５を介して受け付け、これをコンピュ−タに入力す
る（ステップ３１）。利用者からの指示が学習実行であ
る場合には、制御処理部１５はニュ−ラルネット１１を
起動して、学習実行を命令する。これにより、起動され
たニュ−ラルネット１１は、学習用デ−タファイル１６
から学習用デ−タを読み込み、この学習用デ−タを用い
て学習を実行する（ステップ３２）。利用者からの指示
が分類実行である場合には、制御処理部１５はニュ−ラ
ルネット１１を起動して、分類実行を命令するととも
に、入力パタ−ン監視処理部１２、実行履歴監視処理部
１３を起動する。ニュ−ラルネット１１は、入力パタ−
ン１８がパタ−ン入力装置２３を介して外部から入力さ
れると、入力パタ−ン１８を変換して分類結果である出
力パタ−ン１９を、ディスプレイ装置２４と実行履歴監
視処理部１３に出力する（ステップ３３，３４）。次
に、入力パタ−ン監視処理部１２は、入力パタ−ン１８
と学習用デ−タファイル１６から読み込んだ学習用デ−
タとを入力し、入力パタ−ン監視結果１１０をディスプ
レイ装置２４に出力する（ステップ３５）。さらに、実
行履歴監視処理部１３は、入力パタ−ン１８と、ニュ−
ラルネット１１の出力パタ−ン１９とを入力し、これら
の値を保持しておく（ステップ３６）。そして、ステッ
プ３３に戻る。

【００１０】正解出力パタ−ン１１１がパタ−ン入力装
置２３を介して入力された場合には（ステップ３３）、
実行履歴監視処理部１３は、保持していた入力パタ−ン
と出力パタ−ンと入力された正解出力パタ−ン１１１と
を、実行履歴ファイル１７に格納していく。また、分類
開始時点から保持していた平均誤差を更新する（ステッ
プ３７）。もし、平均誤差が予め設定されている一定値
を越えた場合には（ステップ３８）、ディスプレイ装置
２４の画面に実行履歴監視結果１１２を出力表示し、平
均誤差が増加したことを利用者に通知する。制御処理部
１５は、ニュ−ラルネット１１の再学習を行うか否かの
指示を入力するように、利用者に要求する。そして、利
用者からの指示をキ−ボ−ド２５を介して入力する（ス
テップ３９）。利用者からの指示が再学習である場合に
は、制御処理部１５は学習用デ−タ更新処理部１４を起
動する。起動された学習用デ−タ更新処理部１４は、実
行履歴ファイル１７の内容と学習用デ−タファイル１６
の内容を読み込んで、新たに学習用デ−タを作成する。
そして、作成した学習用デ−タを学習用デ−タファイル
１６に記録し、次に実行履歴ファイル１７の内容を消去
する（ステップ３１０）。再びステップ３２に戻って、
制御処理部１５はニュ−ラルネット１１を起動し、学習
を実行させる。

【００１１】図５は、図１における学習用デ−タファイ
ルの内部構成図である。学習用デ−タファイル１６に
は、入力パタ−ン５１と教師パタ−ン５２の組である学
習用デ−タ、および学習終了後のニュ−ラルネット１１
が入力パタ−ン５１に対して出力した出力パタ−ン５３
からなるデ−タが複数個格納されている。また、このフ
ァイル１６には、全ての学習用デ−タの入力パタ−ン５
１の分布を表わす量が格納される。すなわち、全ての学
習用デ−タの入力パタ−ン５１についての平均５４と、
標準偏差５５と、最小値５６と、最大値５７とが、それ
ぞれ格納されている。いま、学習用デ−タファイル１６
に格納された学習用デ−タの個数をＮＬとし、第ｊ番目
の学習用デ−タの入力パタ−ン５１を次のように置く。ＸＬ（ｊ）＝（ＸＬ（ｊ）１，ＸＬ（ｊ）２，・・・・，ＸＬ（ｊ）ｍ）ここでｊ＝１，・・・，ＮＬ・・・・・・・・・・・（３）この場合には、平均５４と標準偏差５５は、それぞれ次
の値で示される。Ｍ＝（Ｍ１，Ｍ２，・・・，Ｍｍ）・・・・・・・・・・・・・（４）Ｓ＝（Ｓ１，Ｓ２，・・・，Ｓｍ）・・・・・・・・・・・・・（５）ただし、上記ＭｉとＳｉ（ｉ＝１，・・・，ｍ）は、次
式により得られる。

【数１】

【数２】最小値と最大値は、それぞれ次の式で表わされる。Ａ＝（Ａ１，Ａ２，・・・・，Ａｍ）・・・・・・・・・・・（６）Ｂ＝（Ｂ１，Ｂ２，・・・・，Ｂｍ）・・・・・・・・・・・（７）ここで、上記ＡｉとＢｉ（ｉ＝１，２，・・・，ｍ）
は、次式により得られる。

【００１２】図６は、本発明における入力パタ−ン監視
処理部の処理フロ−チャ−トである。ここでは、先ず学
習用デ−タファイル１６の中の入力パタ−ン５１の分布
上での現在の入力パタ−ン１８の位置Ｐを計算する（ス
テップ６１）。入力パタ−ン１８を次式で置くと、Ｘ＝（Ｘ１，Ｘ２，・・・，Ｘｍ）・・・・・・・・・・・・（10）位置Ｐは次式で与えられる。Ｐ＝（Ｐ１，Ｐ２，・・・・，Ｐｍ）・・・・・・・・・・・(11）ただし、Ｐｉ（ｉ＝１，・・・，ｍ）は、次式により得
られる。Ｐｉ＝（Ｘｉ−Ｍｉ）／Ｓｉ・・・・・・・・・・・・・・・（12）つまり、ＰｉはＸｉの平均Ｍｉからの偏差を標準偏差Ｓ
ｉで規格化して表現したものである。これにより、利用
者は入力パタ−ンＸが分布のどこに位置するかを知るこ
とができる。Ｐｉの絶対値が大きいほど、入力パタ−ン
１８の第ｉ要素は非常に希な位置、つまり分布の端の方
に位置していることが判る。

【００１３】次に、学習用デ−タで、現在の入力パタ−
ン１８に最も似ている入力パタ−ン５１を持つものを検
索する。ここでは、学習用デ−タの個数をＮＬ、第ｊ番
目の学習用デ−タの入力パタ−ンをＸＬ（ｊ）、教師パ
タ−ンをＴＬ（ｊ）、入力パタ−ンＸＬ（ｊ）について
の学習後のニュ−ラルネットの出力パタ−ンをＹＬ
（ｊ）とする。ＸＬ（ｊ）＝（ＸＬ（ｊ）１，ＸＬ（ｊ）２，・・，ＸＬ（ｊ）ｍ）ｊ＝１，・・・，ＮＬ・・・・・・・・・（13）ＴＬ（ｊ）＝（ＴＬ（ｊ）１，ＴＬ（ｊ）２，・・，ＴＬ（ｊ）ｍ）ｊ＝１，・・・，ＮＬ・・・・・・・・・（14）ＹＬ（ｊ）＝（ＹＬ（ｊ）１，ＹＬ（ｊ）２，・・，ＹＬ（ｊ）ｍ）ｊ＝１，・・・，ＮＬ・・・・・・・・・（15）現在の入力パタ−ンＸと上記学習用デ−タの入力パタ−
ンＸＬ（ｊ）との距離Ｄ（ｊ）を、ｊ＝１，・・・，Ｎ
Ｌについてそれぞれ計算する（ステップ６２）。なお、
距離Ｄ（ｊ）は、次の式により求められる。Ｄ（ｊ）＝ｓｑｒｔ（Ｄ（ｊ）１²＋Ｄ（ｊ）２²＋・・＋Ｄ (ｊ)²ｍ）ｓｑｒｔは√を示す。・・・・・・・・・・・・・（16）ただし、Ｄ(ｊ)ｉ＝ａｂｓ（（Ｘｉ−ＸＬ(ｊ)ｉ）／Ｓ
ｉ）（ｉ＝１，・・・，ｍ、またａｂｓは絶対値記号を示す。）・・・・（17）次に、学習用デ−タを、上記距離Ｄｊが小さいものか
ら順に並べ替える。求められた第ｊｍｉｎ番の学習用デ
−タについて、入力パタ−ンＸＬ（ｊｍｉｎ）、教師パ
タ−ンＴＬ（ｊｍｉｎ）、入力パタ−ンＸＬ（ｊｍｉ
ｎ）についての学習後のニュ−ラルネットの出力パタ−
ンＹＬ（ｊｍｉｎ）をディスプレイ装置２４に出力し
て、利用者に知らせる（ステップ６３）。

【００１４】図７は、ニュ−ラルネットの出力結果と入
力パタ−ン監視処理部の出力結果を表示した画面の図で
ある。図７に示すように、画面の上部には、与えられた
入力パタ−ンＸ１８と、これに対する分類結果であるニ
ュ−ラルネット１１の出力パタ−ンＹ１９とが表示され
ている。また、画面の中央部には、学習用デ−タファイ
ル１６内の学習用デ−タの入力パタ−ン全体の分布が表
示されている。具体的には、上方から順に最小値Ａ５
６、最大値Ｂ５７、平均値Ｍ５４、標準偏差Ｓ５５が表
示され、さらにその下方の行には、上記分布における入
力パタ−ン１８の位置Ｐ７１が表示されている。さら
に、画面の下部には、学習用デ−タファイル１６内の学
習用デ−タの中で与えられた入力パタ−ンＸ１８に類似
した入力パタ−ンを持つものを検索した結果が表示され
る。画面では、入力パタ−ン間の距離７２、入力パタ−
ンＸＬ（ｊｍｉｎ）５１、教師パタ−ンＴＬ（ｊｍｉ
ｎ）５２、学習後のニュ−ラルネット１１の出力パタ−
ンＹＬ（ｊｍｉｎ）５３の順序で表示される。

【００１５】図８は、本発明における実行履歴監視処理
部の処理フロ−チャ−トである。先ず、入力パタ−ンＸ
と出力パタ−ンＹが得られると、これらを時系列に保持
しておく（ステップ８１）。正解出力パタ−ンＴが得ら
れた時点で、これに対応した入力パタ−ンＸと、そのＸ
に対するニュ−ラルネット１１の出力パタ−ンＹと、正
解出力パタ−ンＴとを実行履歴ファイル１７に時系列に
記録していく（ステップ８２）。次に、出力パタ−ンＹ
と正解出力パタ−ンＴの誤差（Ｙ−Ｔ）を用いて平均誤
差Ｅを求め、これを実行履歴ファイル１７に記録する
（ステップ８３）。平均誤差Ｅが閾値より大きいときに
は（ステップ８４）、利用者に対して平均誤差Ｅが増加
したことを通知する（ステップ８５）。これにより、利
用者は再学習を実行する。平均出力誤差Ｅの監視と、通
知については、次の図９によりさらに詳述する。

【００１６】図９は、本発明における実行履歴ファイル
の内部構成図である。このファイル１７には、入力パタ
−ンＸＨ９１、入力パタ−ンＸＨ９１に対するニュ−ラ
ルネット１１の出力パタ−ンＹＨ９２、後で得られる正
解出力パタ−ンＴＨ９３、および出力パタ−ン間の誤差
９４が時系列に格納される。また、出力誤差の累積誤差
９５および平均誤差９６も、記録される。平均出力誤差
９６をＥとし、分類が始まってから現在までにファイル
１７に蓄積された履歴デ−タの個数をＮＨとすると、Ｅ
は次式により算出される。

【数３】実行履歴監視処理部１３は、保持している平均出力誤差
Ｅを監視して、Ｅが予め設定された閾値を越えたときに
は、利用者にニュ−ラルネットの再学習を行う必要があ
ることを通知する（図８のステップ８４，８５）。

【００１７】ニュ−ラルネットの再学習では、前回の学
習に用いた学習用デ−タと、前回の学習以後に得られた
実行履歴の両方を学習用デ−タとして用いる。先ず、実
行履歴ファイル１７の中の入力パタ−ン９１および正解
出力パタ−ン９３を、学習用デ−タファイル１６に入力
パタ−ンおよび教師パタ−ンとして追加記録する。ただ
し、前回の学習用デ−タ中のデ−タで、実行履歴ファイ
ル１７中のデ−タと矛盾するものは学習の対象から除外
する。再学習が開始されると、ニュ−ラルネット１１は
学習用デ−タファイル１６の中の入力パタ−ン５１と教
師パタ−ン５２の組を提示されることにより、学習を実
行する。本実施例では、利用者は図７に示す画面を見る
ことにより、次の事項を確認することができる。（イ）入力パタ−ンＸと学習用デ−タの入力パタ−ンＸ
Ｌ（ｊｍｉｎ）との距離が大きい場合には、入力パタ−
ンＸが過去に学習したどの入力パタ−ンとも似ていない
ことを意味するので、入力パタ−ンＸに対するニュ−ラ
ルネットの出力結果である出力パタ−ンＹの信頼度は低
いと判断することができる。（ロ）入力パタ−ンＸと学習用デ−タの入力パタ−ンＸ
Ｌ（ｊｍｉｎ）との距離が小さく、かつ学習後の出力パ
タ−ンＹＬ（ｊｍｉｎ）と教師パタ−ンＴＬ（ｊｍｉ
ｎ）とが等しく、出力パタ−ンＹが学習後の出力パタ−
ンＹＬ（ｊｍｉｎ）と類似である場合には、出力パタ−
ンＹの信頼度は高いと判断することができる。（ハ）また、実行履歴監視処理部１３は、保持してい
る平均出力誤差Ｅを常に監視し、Ｅが予め設定された閾
値を越えたときには、利用者に対して平均誤差が増加し
たことを通知するので、それにより利用者はニュ−ラル
ネットの再学習を行う必要のあることを知ることができ
る。

【００１８】

【発明の効果】以上説明したように、本発明によれば、
入力パタ−ンと学習用デ−タとを比較して、入力パタ−
ンが学習用デ−タの入力パタ−ンの分布から外れている
か否かを知ることができるので、利用者はニュ−ラルネ
ットの出力パタ−ンの信頼度を判断することができる。
また、実行履歴の監視により、正解率の低下を検出で
き、再学習の通知を受けるので、利用者はニュ−ラルネ
ットの再学習を行って信頼度を向上させることができ
る。

【００１９】

【図面の簡単な説明】

【図１】本発明の一実施例を示すパタ−ン分類装置の機
能ブロック図である。

【図２】本発明の一実施例を示すパタ−ン分類装置のハ
−ドウェア構成図である。

【図３】図１におけるパタ−ン分類装置の処理フロ−チ
ャ−トである。

【図４】従来のニュ−ラルネットの動作原理を示す図で
ある。

【図５】図１における学習用デ−タファイルの内部構成
図である。

【図６】図１における入力パタ−ン監視処理部の処理フ
ロ−チャ−トである。

【図７】図１における入力パタ−ン監視結果の画面を示
す図である。

【図８】図１における実行履歴監視処理部の処理フロ−
チャ−トである。

【図９】図１における実行履歴ファイルの内部構成図で
ある。

【符号の説明】

１１ニュ−ラルネット、１２入力パタ−ン監視処理
部、１３実行履歴監視処理部、１４学習用デ−タ更
新処理部、１５制御処理部、１６学習用デ−タファ
イル、１７実行履歴ファイル、１８入力パタ−ン、
１９出力パタ−ン、１１０入力パタ−ン監視結果、
１１１正解出力パタ−ン、１１２実行履歴監視結
果、２１コンピュ−タ、２２補助記憶装置、２３
パタ−ン入力装置、２４ディスプレイ装置、２５キ
−ボ−ド、４１ニュ−ラルネットのノ−ド、４２ニ
ュ−ラルネットのア−ク、５１学習用デ−タファイル
内の入力パタ−ン、５２教師パタ−ン、５３ニュ−
ラルネットの出力パタ−ン、５４入力パタ−ン全体の
平均、５５入力パタ−ン全体の標準偏差、５６入力
パタ−ンの最小値、５７入力パタ−ンの最大値、７１
学習用デ−タの入力パタ−ン分布の現在の入力パタ−
ンの位置、７２入力パタ−ンと学習用デ−タの入力パ
タ−ンの距離、９１実行履歴ファイル内の入力パタ−
ン、９２同じく出力パタ−ン、９３同じく正解出力
パタ−ン、９４同じく出力パタ−ン間の誤差、９５
同じく出力パタ−ン間の誤差の累積値、９６同じく出
力パタ−ン間の誤差の平均値。

Claims

【特許請求の範囲】

【請求項１】ニュ−ラルネットを用いて分類対象であ
る入力パタ−ンを分類結果である出力パタ−ンに変換す
るパタ−ン分類方法において、与えられた入力パタ−ン
に対する上記ニュ−ラルネットの出力パタ−ンと、該入
力パタ−ンについて後から出力される正解出力パタ−ン
とを比較し、比較結果を実行履歴として順次蓄積してお
き、常時、蓄積された結果を監視して、結果の異常を検
出することを特徴とするニュ−ラルネットを利用したパ
タ−ン分類方法。
【請求項２】ニュ−ラルネットを用いて分類対象であ
る入力パタ−ンを分類結果である出力パタ−ンに変換す
るパタ−ン分類装置において、与えられた入力パタ−ン
と上記ニュ−ラルネットの学習に用いる学習用デ−タの
入力パタ−ンとを比較する入力パタ−ン監視モジュ−
ル、学習用デ−タを格納する学習用デ−タファイル、与
えられた入力パタ−ンに対する上記ニュ−ラルネットの
出力パタ−ンと該入力パタ−ンについての正解出力パタ
−ンとを比較して、比較結果を履歴として蓄積し、該比
較結果から異常を判断する実行履歴監視モジュ−ル、該
比較結果の履歴を格納する実行履歴ファイル、および該
実行履歴ファイルの内容と上記学習用デ−タファイルの
内容を読み出し、新たに学習用デ−タを作成してファイ
ル内容を更新する学習用デ−タ更新処理モジュ−ルを具
備することを特徴とするニュ−ラルネットを利用したパ
タ−ン分類装置。
【請求項３】請求項２に記載のニュ−ラルネットを利
用したパタ−ン分類装置において、上記入力パタ−ン監
視モジュ−ルは、分類対象として与えられた入力パタ−
ンが全学習用デ−タの入力パタ−ンの分布上のどこに位
置するかを計算するとともに、分類対象として与えられ
た上記入力パタ−ンに類似する入力パタ−ンを持つ学習
用デ−タを検索することを特徴とするニュ−ラルネット
を利用したパタ−ン分類装置。
【請求項４】請求項２に記載のニュ−ラルネットを利
用したパタ−ン分類装置において、上記実行履歴監視モ
ジュ−ルは、分類対象として与えられた入力パタ−ン
と、該入力パタ−ンについてのニュ−ラルネットの出力
パタ−ンと、該入力パタ−ンについての正解出力パタ−
ンとを、実行履歴として実行履歴ファイルに蓄積するこ
とを特徴とするニュ−ラルネットを利用したパタ−ン分
類装置。
【請求項５】請求項２に記載のニュ−ラルネットを利
用したパタ−ン分類装置において、上記実行履歴監視モ
ジュ−ルは、分類対象である入力パタ−ンについてのニ
ュ−ラルネットの出力パタ−ンと、該入力パタ−ンにつ
いての正解出力パタ−ンとの間の誤差を全実行履歴につ
いて平均した平均誤差を算出して、算出結果を実行履歴
ファイルに保持し、該平均誤差が予め定められた閾値を
越えたときには、上記ニュ−ラルネットの再学習を行う
必要があることを利用者に通知することを特徴とするニ
ュ−ラルネットを利用したパタ−ン分類装置。
【請求項６】請求項５に記載のニュ−ラルネットを利
用したパタ−ン分類装置において、上記ニュ−ラルネッ
トの再学習では、前回の学習に用いた学習用デタに、前
回の学習以後に得られた実行履歴を加えたものを新たに
学習用デ−タとして用い、前回の学習用デ−タのうち実
行履歴中のデ−タと矛盾するものを該再学習の対象から
除去することを特徴とするニュ−ラルネットを利用した
パタ−ン分類装置。