JP3334807B2 - ニュ−ラルネットを利用したパタ−ン分類方法および装置 - Google Patents

ニュ−ラルネットを利用したパタ−ン分類方法および装置

Info

Publication number
JP3334807B2
JP3334807B2 JP18608991A JP18608991A JP3334807B2 JP 3334807 B2 JP3334807 B2 JP 3334807B2 JP 18608991 A JP18608991 A JP 18608991A JP 18608991 A JP18608991 A JP 18608991A JP 3334807 B2 JP3334807 B2 JP 3334807B2
Authority
JP
Japan
Prior art keywords
pattern
neural network
learning data
input pattern
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP18608991A
Other languages
English (en)
Other versions
JPH0535707A (ja
Inventor
浩孝 水野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP18608991A priority Critical patent/JP3334807B2/ja
Priority to US07/916,541 priority patent/US5577166A/en
Publication of JPH0535707A publication Critical patent/JPH0535707A/ja
Application granted granted Critical
Publication of JP3334807B2 publication Critical patent/JP3334807B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/40Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41Interactive pattern learning with a human teacher
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10STECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S706/00Data processing: artificial intelligence
    • Y10S706/902Application using ai with detail of the ai system
    • Y10S706/925Business

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、ニュ−ラルネットを用
いたパタ−ン分類方法および装置に関し、特に分類対象
となる入力パタ−ンが学習用デ−タの入力パタ−ンの分
布から外れる可能性がある場合や、ニュ−ラルネットの
学習を行った後に問題の構造が変化して、分類対象の入
力パタ−ンとそれに対する正解出力パタ−ンの組が学習
用デ−タの内容と矛盾する可能性がある場合に、それら
を修正して適切な分類を行うことが可能なニュ−ラルネ
ットを利用したパタ−ン分類方法および装置に関する。
【0002】
【従来の技術】従来、入力パタ−ンを予め決められたカ
テゴリ−に分類するパタ−ン分類処理に、ニュ−ラルネ
ットを用いて行う方法は、『ニュ−ラルネットワ−ク情
報処理』麻生英樹著(産業図書)1988に記載されてい
る。ここでは、階層的なネットワ−クの情報処理は、パ
タ−ンの識別またはパタ−ンの変換であり、また、ネッ
トワ−クの学習は、変換の例を提示されることにより、
ネットワ−クが望ましい変換を真似することであると述
べている。図4は、従来におけるニュ−ラルネットの原
理を示す模式図である。ニュ−ラルネット11は、神経
細胞を真似したノ−ド41を階層形に配列し、隣り合う
層のノ−ド41間をア−ク42で結合したネットワ−ク
状の計算モデルである。ア−ク42には結合の重み付け
が行われているので、ノ−ド41間を伝達する信号の強
弱を調節することができる構造となっている。また、ノ
−ド41には閾値が付与されており、前の層の各ノ−ド
41から伝達される入力の総和がこの閾値より大きくな
ると、次の層のノ−ド41に信号が伝達される。入力パ
タ−ン18は、第1層の各ノ−ド41の状態値として付
与される。これに従って、第2層、第3層に順次ノ−ド
41の状態値が求められ、ネットワ−クの出力パタ−ン
19は最終層のノ−ドの状態値として得られる。
【0003】図4において、入力パターン18がm個の
要素Xi(i=1,2,・・m)からなる場合には、入
力パターン18は以下に示すようなベクトルXとして表
わされる。 X=(X1,X2,・・・Xm)・・・・・・・・・・・・・・・(1) いま、入力パターン18をn個のカテゴリーのいずれか
に分類しようとする場合、分類結果である出力パターン
19は、n個の要素Yi(i=1,2,・・・n)から
なる以下に示すようなベクトルYとして表わされる。 Y=(Y1,Y2,・・・・Yn) ・・・・・・・・・・・・・(2) なお、入力パターン18がi番目のカテゴリーに属する
ときには、Yi=1となり、i番目に属さないときに
は、Yi=0となる。ニューラルネット11の学習を行
う場合、先ず、ニューラルネット11に入力パターンで
あるベクトルXを入力して、出力パターンであるベクト
ルYを計算させる。そして、これら入力パターンXに対
する望ましい出力パターンとしての教師パターンを教
示する。ここで、SはYと同じようにn個の要素S1〜
Snからなるベクトルである。Sを教示されることによ
り、ニューラルネット11は、現状の出力パターンYと
望ましい出力パターンSとの差を減少させる方向に各ア
ークの重みを修正する。このようにして、変換の例示と
重み修正の過程を入力パターンXと教師パターンSの
の全てに対して、繰り返し行うことにより、ニューラル
ネット11は入力パターンXから出力パターンYへの望
ましい変換を真似るようになる。
【0004】
【発明が解決しようとする課題】ところで、前述した従
来の技術では、ニュ−ラルネットが入力パタ−ンの全範
囲にわたる学習用デ−タを用いて学習を行った場合を前
提としているが、もし全範囲にわたる学習用デ−タを用
いて学習を行ったという保証がない場合には、ニュ−ラ
ルネットによる分類結果はどのようになるか不明であ
り、これについては、前述の文献には何も述べられてい
ない。すなわち、例えば、時系列に得られるデ−タから
なる入力パタ−ンが分類の対象である場合、学習用デ−
タとして利用できるものは現在までに得られている過去
のデ−タだけである。そして、これ以降の将来に得られ
るデ−タから作られる入力パタ−ンが、過去の入力パタ
−ンのいずれにも似ていない場合が起り得る。過去には
現われなかった入力パタ−ンが入力された場合にも、ニ
ュ−ラルネットは何らかの出力パタ−ンを分類結果とし
て出力するが、従来の文献では、このような場合の出力
パタ−ンの解釈方法については全く触れていなかった。
本発明の目的は、このような従来の課題を解決し、入力
パタ−ンが学習用デ−タの入力パタ−ンの分布から外れ
ているときでもそれを判断して、正解率の低下を検出で
き、出力パタ−ンの信頼度を判断できるニュ−ラルネッ
トを利用したパタ−ン分類方法および装置を提供するこ
とにある。
【0005】
【課題を解決するための手段】上記目的を達成するた
め、本発明によるニューラルネットを利用したパターン
分類方法は、(イ)ニューラルネットを用いて分類対象
である入力パターンを分類結果である出力パターンに変
換するパターン分類装置において、与えられた入力パタ
ーンと上記ニューラルネットの学習に用いる学習用デー
タの入力パターンとを比較する入力パターン監視モジュ
ール、学習用データを格納する学習用データファイル、
与えられた入力パターンに対する上記ニューラルネット
の出力パターンと該入力パターンについての正解出力パ
ターンとを比較して、比較結果を履歴として蓄積し、該
比較結果から異常を判断する実行履歴監視モジュール、
該比較結果の履歴を格納する実行履歴ファイル、および
該実行履歴ファイルの内容と上記学習用データファイル
の内容を読み出し、新たに学習用データを作成してファ
イル内容を更新する学習用データ更新処理モジュールを
具備することに特徴がある。また、(ロ)上記入力パタ
ーン監視モジュールは、分類対象として与えられた入力
パターンが全学習用データの入力パターンの分布上のど
こに位置するかを計算するとともに、分類対象として与
えられた上記入力パターンに類似する入力パターンを持
つ学習用データを検索することにも特徴がある。また、
(ハ)上記実行履歴監視モジュールは、分類対象として
与えられた入力パターンと、該入力パターンについての
ニューラルネットの出力パターンと、該入力パターンに
ついての正解出力パターンとを、実行履歴として実行履
歴ファイルに蓄積することにも特徴がある。また、
(ニ)上記実行履歴監視モジュールは、分類対象である
入力パターンについてのニューラルネットの出力パター
ンと、該入力パターンについての正解出力パターンとの
間の誤差を全実行履歴について平均した平均誤差を算出
して、算出結果を実行履歴ファイルに保持し、該平均誤
差が予め定められた閾値を越えたときには、上記ニュー
ラルネットの再学習を行う必要があることを利用者に通
知することにも特徴がある。さらに、(ホ)上記ニュー
ラルネットの再学習では、前回の学習に用いた学習用デ
ータに、前回の学習以後に得られた実行履歴を加えたも
のを新たに学習用データとして用い、前回の学習用デー
タのうち実行履歴中のデータと矛盾するものを該再学習
の対象から除 去することにも特徴がある。
【0006】
【作用】本発明においては、入力パタ−ン監視モジュ−
ルにより、入力パタ−ンとニュ−ラルネットの学習に用
いる各学習用デ−タの入力パタ−ンとを比較するととも
に、入力パタ−ンと学習用デ−タの入力パタ−ン全体の
分布とを比較する。すなわち、与えられた入力パタ−ン
の学習用デ−タの入力パタ−ン全体の分布における位置
を計算し、かつ与えられた入力パタ−ンに類似した入力
パタ−ンを持つ学習用デ−タを検索する。これにより、
与えられた入力パタ−ンがどの学習用デ−タの入力パタ
−ンとも類似していない場合には、この事実を検出する
ことができるので、利用者は与えられた入力パタ−ンに
対しての分類結果の信頼度が低いことを知ることができ
る。さらに、実行履歴監視モジュ−ルにより、出力パタ
−ンと後に得られる入力パタ−ンに対する正解出力パタ
−ンとを比較し、その結果を実行履歴として蓄積して、
蓄積された実行履歴を監視し、正解率が低下した場合に
ニュ−ラルネットの再学習の必要性を通知する。すなわ
ち、与えられた入力パタ−ンについての正解出力パタ−
ンが得られた時点で、与えられた入力パタ−ンに対する
ニュ−ラルネットの出力パタ−ンと正解出力パタ−ンと
を比較し、その結果を実行履歴として蓄積する。次に、
蓄積された実行履歴からニュ−ラルネットの出力パタ−
ンと正解出力パタ−ンとの間の平均誤差(分類の誤りの
頻度)が増加したときには、これを検出して、利用者に
この事実を通知する。これにより、利用者は、現状のニ
ュ−ラルネットのままでは問題があるので、これまでに
蓄積していた実行履歴デ−タを新たに学習用デ−タに追
加して、ニュ−ラルネットの学習を再度実行する必要が
あることを知る。
【0007】
【実施例】以下、本発明の実施例を、図面により詳細に
説明する。図2は、本発明の一実施例を示すパタ−ン分
類装置のハ−ドウェア構成図である。本発明のパタ−ン
分類装置は、ニュ−ラルネットを利用してパタ−ンを分
類するコンピュ−タ21と、ニュ−ラルネツトの学習の
ための学習用デ−タおよびパタ−ン分類の実行結果の履
歴を格納しておくための補助記憶装置22と、分類対象
である入力パタ−ンを外部から受け付けるパタ−ン入力
装置23と、パタ−ン分類の結果を表示するディスプレ
イ装置24と、利用者からの指示を受け付けるキ−ボ−
ド25とを具備している。本発明の特徴は、このハ−ド
ウェア構成にあるのではなく、パタ−ン分類を実行する
コンピュ−タ21内の機能モジュ−ルの構成にある。以
下、図1により機能モジュ−ルの構成を説明する。
【0008】図1は、本発明の一実施例を示すパタ−ン
分類装置の機能ブロック図である。図1に示すように、
ニュ−ラルネット11、入力パタ−ン監視処理部12、
実行履歴監視処理部13、学習用デ−タ更新処理部1
4、およびこれらの起動を制御する制御処理部15が、
コンピュ−タ21内にプログラムモジュ−ルとして内蔵
されている。また、学習用デ−タファイル16および実
行履歴ファイル17が、補助記憶装置22内に格納され
ている。ニュ−ラルネット11は、分類実行時には、パ
タ−ン入力装置23を介して外部から入力された入力パ
タ−ン18を変換して、分類結果である出力パタ−ン1
9を出力する。また、ニュ−ラルネット11は、学習実
行時には、学習用デ−タファイル16から学習用デ−タ
を読み込み、学習用デ−タの入力パタ−ンから出力パタ
−ンへの変換を真似るように、ニュ−ラルネット11内
部のパラメ−タを修正する。次に、入力パタ−ン監視処
理部12は、パタ−ン入力装置23から入力パタ−ン1
8を、また学習用デ−タファイル16から学習用デ−タ
を、それぞれ入力して、入力パタ−ン監視結果110を
出力する。さらに、実行履歴監視処理部13は、パタ−
ン入力装置23からの入力パタ−ン18と、パタ−ン入
力装置23からの正解出力パタ−ンと、ニュ−ラルネッ
ト11からの出力パタ−ンとを、それぞれ入力して、こ
れらを実行履歴ファイル17に追加記録する。また、実
行履歴監視処理部13は、内部に保持している平均誤差
に基づいて実行履歴監視結果112を出力する。学習用
デ−タ更新処理部14は、再学習の指示があったとき
に、実行履歴ファイル17の内容と学習用デ−タファイ
ル16の内容を読み込み、新たに学習用デ−タを作成し
て、学習用デ−タファイル16に追加記録する。
【0009】図3は、本発明の一実施例を示すパタ−ン
分類装置の処理フロ−チャ−トである。先ず制御処理部
15は、ディスプレイ装置24の画面にガイダンス表示
を行って、利用者に対し学習実行か、あるいは分類実行
か、いずれかの指示を入力するように要求する。制御処
理部15は、これに対する利用者からの指示をキ−ボ−
ド25を介して受け付け、これをコンピュ−タに入力す
る(ステップ31)。利用者からの指示が学習実行であ
る場合には、制御処理部15はニュ−ラルネット11を
起動して、学習実行を命令する。これにより、起動され
たニュ−ラルネット11は、学習用デ−タファイル16
から学習用デ−タを読み込み、この学習用デ−タを用い
て学習を実行する(ステップ32)。利用者からの指示
が分類実行である場合には、制御処理部15はニュ−ラ
ルネット11を起動して、分類実行を命令するととも
に、入力パタ−ン監視処理部12、実行履歴監視処理部
13を起動する。ニュ−ラルネット11は、入力パタ−
ン18がパタ−ン入力装置23を介して外部から入力さ
れると、入力パタ−ン18を変換して分類結果である出
力パタ−ン19を、ディスプレイ装置24と実行履歴監
視処理部13に出力する(ステップ33,34)。次
に、入力パタ−ン監視処理部12は、入力パタ−ン18
と学習用デ−タファイル16から読み込んだ学習用デ−
タとを入力し、入力パタ−ン監視結果110をディスプ
レイ装置24に出力する(ステップ35)。さらに、実
行履歴監視処理部13は、入力パタ−ン18と、ニュ−
ラルネット11の出力パタ−ン19とを入力し、これら
の値を保持しておく(ステップ36)。そして、ステッ
プ33に戻る。
【0010】正解出力パタ−ン111がパタ−ン入力装
置23を介して入力された場合には(ステップ33)、
実行履歴監視処理部13は、保持していた入力パタ−ン
と出力パタ−ンと入力された正解出力パタ−ン111と
を、実行履歴ファイル17に格納していく。また、分類
開始時点から保持していた平均誤差を更新する(ステッ
プ37)。もし、平均誤差が予め設定されている一定値
を越えた場合には(ステップ38)、ディスプレイ装置
24の画面に実行履歴監視結果112を出力表示し、平
均誤差が増加したことを利用者に通知する。制御処理部
15は、ニュ−ラルネット11の再学習を行うか否かの
指示を入力するように、利用者に要求する。そして、利
用者からの指示をキ−ボ−ド25を介して入力する(ス
テップ39)。利用者からの指示が再学習である場合に
は、制御処理部15は学習用デ−タ更新処理部14を起
動する。起動された学習用デ−タ更新処理部14は、実
行履歴ファイル17の内容と学習用デ−タファイル16
の内容を読み込んで、新たに学習用デ−タを作成する。
そして、作成した学習用デ−タを学習用デ−タファイル
16に記録し、次に実行履歴ファイル17の内容を消去
する(ステップ310)。再びステップ32に戻って、
制御処理部15はニュ−ラルネット11を起動し、学習
を実行させる。
【0011】図5は、図1における学習用デ−タファイ
ルの内部構成図である。学習用デ−タファイル16に
は、入力パタ−ン51と教師パタ−ン52の組である学
習用デ−タ、および学習終了後のニュ−ラルネット11
が入力パタ−ン51に対して出力した出力パタ−ン53
からなるデ−タが複数個格納されている。また、このフ
ァイル16には、全ての学習用デ−タの入力パタ−ン5
1の分布を表わす量が格納される。すなわち、全ての学
習用デ−タの入力パタ−ン51についての平均54と、
標準偏差55と、最小値56と、最大値57とが、それ
ぞれ格納されている。いま、学習用デ−タファイル16
に格納された学習用デ−タの個数をNLとし、第j番目
の学習用デ−タの入力パタ−ン51を次のように置く。 XL(j)=(XL(j)1,XL(j)2,・・・・,XL(j)m) ここでj=1,・・・,NL ・・・・・・・・・・・(3) この場合には、平均54と標準偏差55は、それぞれ次
の値で示される。 M=(M1,M2,・・・,Mm) ・・・・・・・・・・・・・(4) S=(S1,S2,・・・,Sm) ・・・・・・・・・・・・・(5) ただし、上記MiとSi(i=1,・・・,m)は、次
式により得られる。
【数1】
【数2】 最小値と最大値は、それぞれ次の式で表わされる。 A=(A1,A2,・・・・,Am) ・・・・・・・・・・・(6) B=(B1,B2,・・・・,Bm) ・・・・・・・・・・・(7) ここで、上記AiとBi(i=1,2,・・・,m)
は、次式により得られる。
【0012】図6は、本発明における入力パタ−ン監視
処理部の処理フロ−チャ−トである。ここでは、先ず学
習用デ−タファイル16の中の入力パタ−ン51の分布
上での現在の入力パタ−ン18の位置Pを計算する(ス
テップ61)。入力パタ−ン18を次式で置くと、 X=(X1,X2,・・・,Xm) ・・・・・・・・・・・・(10) 位置Pは次式で与えられる。 P=(P1,P2,・・・・,Pm) ・・・・・・・・・・・(11) ただし、Pi(i=1,・・・,m)は、次式により得
られる。 Pi=(Xi−Mi)/Si ・・・・・・・・・・・・・・・(12) つまり、PiはXiの平均Miからの偏差を標準偏差S
iで規格化して表現したものである。これにより、利用
者は入力パタ−ンXが分布のどこに位置するかを知るこ
とができる。Piの絶対値が大きいほど、入力パタ−ン
18の第i要素は非常に希な位置、つまり分布の端の方
に位置していることが判る。
【0013】次に、学習用デ−タで、現在の入力パタ−
ン18に最も似ている入力パタ−ン51を持つものを検
索する。ここでは、学習用デ−タの個数をNL、第j番
目の学習用デ−タの入力パタ−ンをXL(j)、教師パ
タ−ンをTL(j)、入力パタ−ンXL(j)について
の学習後のニュ−ラルネットの出力パタ−ンをYL
(j)とする。 XL(j)=(XL(j)1,XL(j)2,・・,XL(j)m) j=1,・・・,NL ・・・・・・・・・(13) TL(j)=(TL(j)1,TL(j)2,・・,TL(j)m) j=1,・・・,NL ・・・・・・・・・(14) YL(j)=(YL(j)1,YL(j)2,・・,YL(j)m) j=1,・・・,NL ・・・・・・・・・(15) 現在の入力パタ−ンXと上記学習用デ−タの入力パタ−
ンXL(j)との距離D(j)を、j=1,・・・,N
Lについてそれぞれ計算する(ステップ62)。なお、
距離D(j)は、次の式により求められる。 D(j)=sqrt(D(j)12+D(j)22+・・+D (j)2m) sqrtは√を示す。 ・・・・・・・・・・・・・(16) ただし、D(j)i=abs((Xi−XL(j)i)/S
i) (i=1,・・・,m、またabsは絶対値記号を示す。)・・・・(17) 次に、学習用デ−タを、上記距離Djが小さいものか
ら順に並べ替える。求められた第jmin番の学習用デ
−タについて、入力パタ−ンXL(jmin)、教師パ
タ−ンTL(jmin)、入力パタ−ンXL(jmi
n)についての学習後のニュ−ラルネットの出力パタ−
ンYL(jmin)をディスプレイ装置24に出力し
て、利用者に知らせる(ステップ63)。
【0014】図7は、ニュ−ラルネットの出力結果と入
力パタ−ン監視処理部の出力結果を表示した画面の図で
ある。図7に示すように、画面の上部には、与えられた
入力パタ−ンX18と、これに対する分類結果であるニ
ュ−ラルネット11の出力パタ−ンY19とが表示され
ている。また、画面の中央部には、学習用デ−タファイ
ル16内の学習用デ−タの入力パタ−ン全体の分布が表
示されている。具体的には、上方から順に最小値A5
6、最大値B57、平均値M54、標準偏差S55が表
示され、さらにその下方の行には、上記分布における入
力パタ−ン18の位置P71が表示されている。さら
に、画面の下部には、学習用デ−タファイル16内の学
習用デ−タの中で与えられた入力パタ−ンX18に類似
した入力パタ−ンを持つものを検索した結果が表示され
る。画面では、入力パタ−ン間の距離72、入力パタ−
ンXL(jmin)51、教師パタ−ンTL(jmi
n)52、学習後のニュ−ラルネット11の出力パタ−
ンYL(jmin)53の順序で表示される。
【0015】図8は、本発明における実行履歴監視処理
部の処理フローチャートである。先ず、入力パターンX
と出力パターンYが得られると、これらを時系列に保持
しておく(ステップ81)。正解出力パターンTが得ら
れた時点で、これに対応した入力パターンXと、そのX
に対するニューラルネット11の出力パターンYと、正
解出力パターンTとを実行履歴ファイル17に時系列に
記録していく(ステップ82)。次に、出力パターンY
と正解出力パターンTの誤差(Y−T)を用いて平均誤
差Eを求め、これを実行履歴ファイル17に記録する
(ステップ83)。平均誤差Eが閾値より大きいときに
は(ステップ84)、利用者に対して平均誤差Eが増加
したことを通知する(ステップ85)。これにより、利
用者は再学習を実行する。平均出力誤差Eの監視と、通
知については、次の図9によりさらに詳述する。なお、
正解出力パターンTについて説明すると、現在のデータ
から作った入力パターンXをネットワークに入力し、結
果として分類結果を示す出力パターンYが出力される
が、その時点では正解出力パターンTは不明である。そ
して、ある時間が経過した時点で、入力パターンXに対
応する正解出力パターンTが判明する場合がある。その
時点で、パターンXについて、YとTとの比較結果を蓄
積するのである。
【0016】図9は、本発明における実行履歴ファイル
の内部構成図である。このファイル17には、入力パタ
−ンXH91、入力パタ−ンXH91に対するニュ−ラ
ルネット11の出力パタ−ンYH92、後で得られる正
解出力パタ−ンTH93、および出力パタ−ン間の誤差
94が時系列に格納される。また、出力誤差の累積誤差
95および平均誤差96も、記録される。平均出力誤差
96をEとし、分類が始まってから現在までにファイル
17に蓄積された履歴デ−タの個数をNHとすると、E
は次式により算出される。
【数3】 実行履歴監視処理部13は、保持している平均出力誤差
Eを監視して、Eが予め設定された閾値を越えたときに
は、利用者にニュ−ラルネットの再学習を行う必要があ
ることを通知する(図8のステップ84,85)。
【0017】ニュ−ラルネットの再学習では、前回の学
習に用いた学習用デ−タと、前回の学習以後に得られた
実行履歴の両方を学習用デ−タとして用いる。先ず、実
行履歴ファイル17の中の入力パタ−ン91および正解
出力パタ−ン93を、学習用デ−タファイル16に入力
パタ−ンおよび教師パタ−ンとして追加記録する。ただ
し、前回の学習用デ−タ中のデ−タで、実行履歴ファイ
ル17中のデ−タと矛盾するものは学習の対象から除外
する。再学習が開始されると、ニュ−ラルネット11は
学習用デ−タファイル16の中の入力パタ−ン51と教
師パタ−ン52の組を提示されることにより、学習を実
行する。本実施例では、利用者は図7に示す画面を見る
ことにより、次の事項を確認することができる。 (イ)入力パタ−ンXと学習用デ−タの入力パタ−ンX
L(jmin)との距離が大きい場合には、入力パタ−
ンXが過去に学習したどの入力パタ−ンとも似ていない
ことを意味するので、入力パタ−ンXに対するニュ−ラ
ルネットの出力結果である出力パタ−ンYの信頼度は低
いと判断することができる。 (ロ)入力パタ−ンXと学習用デ−タの入力パタ−ンX
L(jmin)との距離が小さく、かつ学習後の出力パ
タ−ンYL(jmin)と教師パタ−ンTL(jmi
n)とが等しく、出力パタ−ンYが学習後の出力パタ−
ンYL(jmin)と類似である場合には、出力パタ−
ンYの信頼度は高いと判断することができる 。(ハ)また、実行履歴監視処理部13は、保持してい
る平均出力誤差Eを常に監視し、Eが予め設定された閾
値を越えたときには、利用者に対して平均誤差が増加し
たことを通知するので、それにより利用者はニュ−ラル
ネットの再学習を行う必要のあることを知ることができ
る。
【0018】
【発明の効果】以上説明したように、本発明によれば、
入力パタ−ンと学習用デ−タとを比較して、入力パタ−
ンが学習用デ−タの入力パタ−ンの分布から外れている
か否かを知ることができるので、利用者はニュ−ラルネ
ットの出力パタ−ンの信頼度を判断することができる。
また、実行履歴の監視により、正解率の低下を検出で
き、再学習の通知を受けるので、利用者はニュ−ラルネ
ットの再学習を行って信頼度を向上させることができ
る。
【0019】
【図面の簡単な説明】
【図1】本発明の一実施例を示すパタ−ン分類装置の機
能ブロック図である。
【図2】本発明の一実施例を示すパタ−ン分類装置のハ
−ドウェア構成図である。
【図3】図1におけるパタ−ン分類装置の処理フロ−チ
ャ−トである。
【図4】従来のニュ−ラルネットの動作原理を示す図で
ある。
【図5】図1における学習用デ−タファイルの内部構成
図である。
【図6】図1における入力パタ−ン監視処理部の処理フ
ロ−チャ−トである。
【図7】図1における入力パタ−ン監視結果の画面を示
す図である。
【図8】図1における実行履歴監視処理部の処理フロ−
チャ−トである。
【図9】図1における実行履歴ファイルの内部構成図で
ある。
【符号の説明】
11 ニュ−ラルネット、12 入力パタ−ン監視処理
部、13 実行履歴監視処理部、14 学習用デ−タ更
新処理部、15 制御処理部、16 学習用デ−タファ
イル、17 実行履歴ファイル、18 入力パタ−ン、
19 出力パタ−ン、110 入力パタ−ン監視結果、
111 正解出力パタ−ン、112 実行履歴監視結
果、21 コンピュ−タ、22 補助記憶装置、23
パタ−ン入力装置、24 ディスプレイ装置、25 キ
−ボ−ド、41 ニュ−ラルネットのノ−ド、42 ニ
ュ−ラルネットのア−ク、51 学習用デ−タファイル
内の入力パタ−ン、52 教師パタ−ン、53 ニュ−
ラルネットの出力パタ−ン、54 入力パタ−ン全体の
平均、55 入力パタ−ン全体の標準偏差、56 入力
パタ−ンの最小値、57 入力パタ−ンの最大値、71
学習用デ−タの入力パタ−ン分布の現在の入力パタ−
ンの位置、72 入力パタ−ンと学習用デ−タの入力パ
タ−ンの距離、91 実行履歴ファイル内の入力パタ−
ン、92 同じく出力パタ−ン、93 同じく正解出力
パタ−ン、94 同じく出力パタ−ン間の誤差、95
同じく出力パタ−ン間の誤差の累積値、96 同じく出
力パタ−ン間の誤差の平均値。
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06N 1/00 - 7/08 G06G 7/60 JSTファイル(JOIS) CSDB(日本国特許庁)

Claims (5)

    (57)【特許請求の範囲】
  1. 【請求項1】 ニューラルネットを用いて分類対象であ
    る入力パターンを用類結果である出力パターンに変換す
    るパターン分類装置において、 与えられた入力パターンと上記ニューラルネットの学習
    に用いる学習用データの入力パターンとを比較する入力
    パターン監視モジュール、学習用データを格納する学習
    用データファイル、与えられた入力パターンに対する上
    記ニューラルネットの出力パターンと該入力パターンに
    ついての正解出力パターンとを比較して、比較結果を履
    歴として蓄積し、該比較結果から異常を判断する実行履
    歴監視モジュール、該比較結果の履歴を格納する実行履
    歴ファイル、および該実行履歴ファイルの内容と上記学
    習用データファイルの内容を読み出し、読み出された該
    実行履歴ファイルの内容を該学習用データファイルに追
    加記録し、該実行履歴ファイルと比較して矛盾が検出さ
    れない学習用データを新たに作成してファイル内容を更
    新する学習用データ更新処理モジュールを具備すること
    を特徴とするニューラルネットを利用したパターン分類
    装置。
  2. 【請求項2】 請求項1に記載のニューラルネットを利
    用したパターン分類装置において、 上記入力パターン監視モジュールは、分類対象として与
    えられた入力パターンが全学習用データの入力パターン
    の分布上のどこに位置するかを計算するとともに、分類
    対象として与えられた上記入力パターンに類似する入力
    パターンを持つ学習用データを検索することを特徴とす
    るニューラルネットを利用したパターン分類装置。
  3. 【請求項3】 請求項1に記載のニューラルネットを利
    用したパターン分類装置において、 上記実行履歴監視モジュールは、分類対象として与えら
    れた入力パターンと、該入力パターンについてのニュー
    ラルネットの出力パターンと、該入力パターンについて
    の正解出力パターンとを、実行履歴として実行履歴ファ
    イルに蓄積することを特徴とするニューラルネットを利
    用したパターン分類装置。
  4. 【請求項4】 請求項1に記載のニューラルネットを利
    用したパターン分類装置において、 上記実行履歴監視モジュールは、分類対象である入力パ
    ターンについてのニューラルネットの出力パターンと、
    該入力パターンについての正解出力パターンとの間の誤
    差を全実行履歴について平均した平均誤差を算出して、
    算出結果を実行履歴ファイルに保持し、該平較誤差が予
    め定められた閾値を越えたときには、上記ニューラルネ
    ットの再学習を行う必要があることを利用者に通知する
    ことを特徴とするニューラルネットを利用したパターン
    分類装置。
  5. 【請求項5】 請求項4に記載のニューラルネットを利
    用したパターン分類装置において、 上記ニューラルネットの再学習では、前回の学習に用い
    た学習用データに、前回の学習以後に得られた実行履歴
    を加えたものを新たに学習用データとして用い、前回の
    学習用データのうち実行履歴中のデータと矛盾するもの
    を該再学習の対象から除去することを特徴とするニュー
    ラルネットを利用したパターン分類装置。
JP18608991A 1991-07-25 1991-07-25 ニュ−ラルネットを利用したパタ−ン分類方法および装置 Expired - Fee Related JP3334807B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP18608991A JP3334807B2 (ja) 1991-07-25 1991-07-25 ニュ−ラルネットを利用したパタ−ン分類方法および装置
US07/916,541 US5577166A (en) 1991-07-25 1992-07-20 Method and apparatus for classifying patterns by use of neural network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP18608991A JP3334807B2 (ja) 1991-07-25 1991-07-25 ニュ−ラルネットを利用したパタ−ン分類方法および装置

Publications (2)

Publication Number Publication Date
JPH0535707A JPH0535707A (ja) 1993-02-12
JP3334807B2 true JP3334807B2 (ja) 2002-10-15

Family

ID=16182177

Family Applications (1)

Application Number Title Priority Date Filing Date
JP18608991A Expired - Fee Related JP3334807B2 (ja) 1991-07-25 1991-07-25 ニュ−ラルネットを利用したパタ−ン分類方法および装置

Country Status (2)

Country Link
US (1) US5577166A (ja)
JP (1) JP3334807B2 (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5619619A (en) * 1993-03-11 1997-04-08 Kabushiki Kaisha Toshiba Information recognition system and control system using same
US5706364A (en) * 1995-04-28 1998-01-06 Xerox Corporation Method of producing character templates using unsegmented samples
US5805731A (en) * 1995-08-08 1998-09-08 Apple Computer, Inc. Adaptive statistical classifier which provides reliable estimates or output classes having low probabilities
US5768422A (en) * 1995-08-08 1998-06-16 Apple Computer, Inc. Method for training an adaptive statistical classifier to discriminate against inproper patterns
US5805730A (en) * 1995-08-08 1998-09-08 Apple Computer, Inc. Method for training an adaptive statistical classifier with improved learning of difficult samples
GB9720720D0 (en) * 1997-10-01 1997-11-26 Rolls Royce Plc An apparatus and a method for locating a source of acoustic emissions in an article
GB9824552D0 (en) * 1998-11-09 1999-01-06 Royal Holloway University Of L Data classification apparatus and method thereof
US6901383B1 (en) 1999-05-20 2005-05-31 Ameritrade Holding Corporation Stock purchase indices
US8266025B1 (en) 1999-08-09 2012-09-11 Citibank, N.A. System and method for assuring the integrity of data used to evaluate financial risk or exposure
US20050091151A1 (en) * 2000-08-23 2005-04-28 Ronald Coleman System and method for assuring the integrity of data used to evaluate financial risk or exposure
US8458059B2 (en) * 2000-12-13 2013-06-04 Capguard.Com, Inc. Apparatus and method for assessing market conditions
EP1225517B1 (en) * 2001-01-17 2006-05-17 International Business Machines Corporation System and methods for computer based searching for relevant texts
US20030130991A1 (en) * 2001-03-28 2003-07-10 Fidel Reijerse Knowledge discovery from data sets
EP1388812A1 (en) * 2002-07-04 2004-02-11 Ronald E. Dr. Kates Method for training a learning-capable system
US7113636B2 (en) * 2002-08-30 2006-09-26 Lockheed Martin Corporation Method and computer program product for generating training data for a new class in a pattern recognition classifier
US20050208457A1 (en) * 2004-01-05 2005-09-22 Wolfgang Fink Digital object recognition audio-assistant for the visually impaired
JP4963110B2 (ja) * 2008-01-25 2012-06-27 インターナショナル・ビジネス・マシーンズ・コーポレーション サービス検索システム、方法及びプログラム
JP6109037B2 (ja) * 2013-10-23 2017-04-05 本田技研工業株式会社 時系列データ予測装置、時系列データ予測方法、及びプログラム
DE112016006264T5 (de) * 2016-01-20 2018-09-27 Mitsubishi Electric Corporation Anomalie-Detektionseinrichtung und Anomalie-Detektionssystem
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
US20170255864A1 (en) * 2016-03-05 2017-09-07 Panoramic Power Ltd. Systems and Methods Thereof for Determination of a Device State Based on Current Consumption Monitoring and Machine Learning Thereof
JP7006585B2 (ja) * 2016-03-28 2022-01-24 ソニーグループ株式会社 情報処理装置及び情報処理方法
CN106127248A (zh) * 2016-06-24 2016-11-16 平安科技(深圳)有限公司 基于深度学习的车牌分类方法及系统
JP2018060268A (ja) * 2016-10-03 2018-04-12 株式会社日立製作所 認識装置および学習システム
KR102408426B1 (ko) * 2016-10-12 2022-06-10 삼성에스디에스 주식회사 설비 노화 지수를 이용한 이상 감지 방법 및 장치
JP6306775B2 (ja) * 2017-05-01 2018-04-04 東芝テック株式会社 情報処理装置、及びプログラム
WO2019090325A1 (en) 2017-11-06 2019-05-09 Neuralmagic, Inc. Methods and systems for improved transforms in convolutional neural networks
US20190156214A1 (en) 2017-11-18 2019-05-23 Neuralmagic Inc. Systems and methods for exchange of data in distributed training of machine learning algorithms
JP7108395B2 (ja) * 2017-11-27 2022-07-28 ホーチキ株式会社 行動監視システム
US10963787B2 (en) 2018-05-31 2021-03-30 Neuralmagic Inc. Systems and methods for generation of sparse code for convolutional neural networks
US11449363B2 (en) 2018-05-31 2022-09-20 Neuralmagic Inc. Systems and methods for improved neural network execution
US11216732B2 (en) 2018-05-31 2022-01-04 Neuralmagic Inc. Systems and methods for generation of sparse code for convolutional neural networks
US10832133B2 (en) 2018-05-31 2020-11-10 Neuralmagic Inc. System and method of executing neural networks
US10965708B2 (en) * 2018-06-06 2021-03-30 Whitehat Security, Inc. Systems and methods for machine learning based application security testing
CN108960328A (zh) * 2018-07-04 2018-12-07 温州大学 一种基于汉克尔矩阵的诊断汽车轮毂轴承故障的方法
JP7091174B2 (ja) * 2018-07-09 2022-06-27 キヤノン株式会社 システム、システムの制御方法及びプログラム
JP6795562B2 (ja) * 2018-09-12 2020-12-02 ファナック株式会社 検査装置及び機械学習方法
US11636343B2 (en) 2018-10-01 2023-04-25 Neuralmagic Inc. Systems and methods for neural network pruning with accuracy preservation
JP2020107012A (ja) * 2018-12-27 2020-07-09 ルネサスエレクトロニクス株式会社 演算処理装置および機械学習方法
US11544559B2 (en) 2019-01-08 2023-01-03 Neuralmagic Inc. System and method for executing convolution in a neural network
CN109738790B (zh) * 2019-01-28 2020-05-15 北京航空航天大学 考虑模糊组预判别的组合神经网络电路故障诊断方法
EP3686805A1 (en) * 2019-01-28 2020-07-29 Koninklijke Philips N.V. Associating a population descriptor with a trained model
JP7279445B2 (ja) * 2019-03-20 2023-05-23 富士通株式会社 予測方法、予測プログラムおよび情報処理装置
US11126898B2 (en) 2019-05-29 2021-09-21 Markov Llc Computer vision classifier using item micromodels
US11195095B2 (en) 2019-08-08 2021-12-07 Neuralmagic Inc. System and method of accelerating execution of a neural network
JP2021144415A (ja) * 2020-03-11 2021-09-24 本田技研工業株式会社 情報処理方法、情報処理装置、異常判定システム、異常判定装置、異常判定方法、及びプログラム
US11556757B1 (en) 2020-12-10 2023-01-17 Neuralmagic Ltd. System and method of executing deep tensor columns in neural networks
US11960982B1 (en) 2021-10-21 2024-04-16 Neuralmagic, Inc. System and method of determining and executing deep tensor columns in neural networks

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4805225A (en) * 1986-11-06 1989-02-14 The Research Foundation Of The State University Of New York Pattern recognition method and apparatus
US4914708A (en) * 1987-06-19 1990-04-03 Boston University System for self-organization of stable category recognition codes for analog input patterns
US4979124A (en) * 1988-10-05 1990-12-18 Cornell Research Foundation Adaptive, neural-based signal processor
US5003490A (en) * 1988-10-07 1991-03-26 Hughes Aircraft Company Neural network signal processor
US4912653A (en) * 1988-12-14 1990-03-27 Gte Laboratories Incorporated Trainable neural network
US4941122A (en) * 1989-01-12 1990-07-10 Recognition Equipment Incorp. Neural network image processing system
US5041976A (en) * 1989-05-18 1991-08-20 Ford Motor Company Diagnostic system using pattern recognition for electronic automotive control systems
US5140523A (en) * 1989-09-05 1992-08-18 Ktaadn, Inc. Neural network for predicting lightning
US5282261A (en) * 1990-08-03 1994-01-25 E. I. Du Pont De Nemours And Co., Inc. Neural network process measurement and control

Also Published As

Publication number Publication date
US5577166A (en) 1996-11-19
JPH0535707A (ja) 1993-02-12

Similar Documents

Publication Publication Date Title
JP3334807B2 (ja) ニュ−ラルネットを利用したパタ−ン分類方法および装置
JP3329806B2 (ja) ニューラルネット構築装置
Shukla Neuro-genetic prediction of software development effort
US8160981B2 (en) Event-based anticipation systems, methods and computer program products for associative memories wherein times of future events occurring are predicted
Luo et al. An alternating-direction-method of multipliers-incorporated approach to symmetric non-negative latent factor analysis
Ribeiro Reinforcement learning agents
US20140129499A1 (en) Value oriented action recommendation using spatial and temporal memory system
Lu et al. On robust control of uncertain chaotic systems: a sliding-mode synthesis via chaotic optimization
CN111797854B (zh) 场景模型建立方法、装置、存储介质及电子设备
CN113627471A (zh) 一种数据分类方法、系统、设备及信息数据处理终端
Liang et al. Research on intrusion detection based on improved DBN-ELM
CN111222762A (zh) 太阳能电池板镀膜工艺状态监控及质量控制系统
JP2760145B2 (ja) 知識情報処理装置
WO2020168451A1 (zh) 睡眠预测方法、装置、存储介质及电子设备
WO2020049666A1 (ja) 時系列データ処理装置
Cao et al. H/sub/spl infin//control of uncertain dynamical fuzzy discrete-time systems
JP2007018530A (ja) 忘却型ヒストグラム計算装置及びそれを用いた外れ値度計算装置
Cotta et al. Adjusting weights in artificial neural networks using evolutionary algorithms
JP2000516739A (ja) ニューラルネットワークの訓練データを選択するためのコンピュータ支援された方法
CN111914567A (zh) 人工智能判别模型的解释方法、装置、设备和存储介质
JP4662702B2 (ja) 外れ値度計算装置
CN115269845B (zh) 一种基于社交网络用户人格的网络对齐方法及系统
JPH07107667A (ja) 電力系統監視装置
Bordignon et al. Extreme learning for evolving hybrid neural networks
JPH0554014A (ja) ニユーラルネツトワークの学習装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees