JP3804364B2 - ニューラルネットワークの出力値の評価装置 - Google Patents
ニューラルネットワークの出力値の評価装置 Download PDFInfo
- Publication number
- JP3804364B2 JP3804364B2 JP32213099A JP32213099A JP3804364B2 JP 3804364 B2 JP3804364 B2 JP 3804364B2 JP 32213099 A JP32213099 A JP 32213099A JP 32213099 A JP32213099 A JP 32213099A JP 3804364 B2 JP3804364 B2 JP 3804364B2
- Authority
- JP
- Japan
- Prior art keywords
- neural network
- similarity
- evaluation
- case
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ニューラルネットワークの出力値の信頼性評価及び評価の根拠を示す（以下このことを説明するともいう）ニューラルネットワークの評価装置に関する
【０００２】
【従来の技術】
ニューラルネットワークは学習能力を持ち、非線形性、パターンマッチングに優れているなどの特性から、現在制御、予測、診断など多くの分野において用いられている。
【０００３】
ニューラルネットワークは種々な構造のものが提案されているが、実用化されているその多くは３階層型のネットワーク構造のものである。３階層型のニューラルネットワークは、通常はバックプロパゲーション法と呼ばれるアルゴリズムにより事前に学習を行い、内部の結合状態を調整しておく。この学習は、与えられたデータに基づいて所望の機能を獲得するようにニューラルネットワーク内部の結合荷重を調節するもので、入力に対して正しい出力が決まっている場合にはニューラルネットワークが正しく出力したかどうかを判定し、間違いが無くなるように、結合荷重を調節することにより行われる。
【０００４】
こうして学習したニューラルネットワークでは、学習時に与えた学習データと同一の入力データを与えると、学習データの時と同一のデータを出力する。また学習データに近い入力データを与えると、学習データに近い出力を行う特徴を持つ。よって入力される事例が学習時に与えられたものと同じであれば、その出力値は十分に信頼できるが、学習に用いられた事例と異なるものであれば１００％信頼できるわけではない。よって、与えられた入力事例に対して得られた出力値が適切なものかどうか評価する出力値の信頼性評価が重要となる。
【０００５】
従来のニューラルネットワーク出力値の信頼性の評価方法としては、例えば特願平４−２６５６２号（特開平５−２２５１６３号）「ニューラルネットワークシステムおよびニューラルネットの学習方法」が提案されている。
【０００６】
この公報に開示されている評価方法は、通常用いるニューラルネットワークとは別に、その信頼性を評価するための評価用のニューラルネットワークを設けることを特徴としている。この評価用のニューラルネットワークは、学習済みのデータが入力されると０を、未学習のデータが入力されると１を出力する。よって、評価用ニューラルネットワークが０に近い値を出力するときには、その入力データのパターンは学習済みのパターンであるため、ニューラルネットワークの出力値は通常信頼性が高く、評価用ニューラルネットワークが１に近い値を出力するときには、その入力データのパターンは未学習のパターンであるため、信頼性が低いと評価する。
【０００７】
またニューラルネットワークの別の評価方法として、特開平５−２８２２７６号「ニューラルネットワーク出力状態の信頼性レベルの決定方法および決定システム」に開示されている方法がある。
【０００８】
この評価方法は、パターン認識に特化したニューラルネットワークに対する評価方法であり、その出力がデジタル的かつ多出力で、１つの出力のみが１、その他の出力が全て０になる場合において信頼性を評価することができる評価方法である。この評価方法では、全出力中１つの出力値だけが１に近く、それ以外の出力値が０に近い場合を信頼性の高い出力結果であると判断する。
【０００９】
また出力値に対する根拠を説明する方式の出力評価方法としては、特開平１０−７４１８８号「データ学習装置およびプラント制御装置」に開示されている方法がある。
【００１０】
この評価方法は、ニューラルネットワークの出力値を事前に蓄積された学習事例の中から類似データを検索し、類似データが見つかった場合はこれを予測の根拠とし、見つからなかった場合には、例外的データであるとして、出力値を説明するものである。
【００１１】
【発明が解決しようとする課題】
ニューラルネットワークは、その学習能力、非線形能力、パターンマッチング能力などのため多くの分野において利用されているが、内部構造が非線形かつ複雑なため、ニューラルネットワークの出力値が信頼性の高いものであるかを判定評価することは難しかった。またその出力値がどうして出力されたのか容易に説明することも困難であった。
【００１２】
例えば上述した従来の各評価方法において、まず１番目の「ニューラルネットワークシステムおよびニューラルネットの学習方法」に開示されている方法では、入力パターンを学習済みか未学習かを判定する評価用ニューラルネットワークを別途用意する必要があるため、システムが複雑になるという欠点を持つ。また評価用ニューラルネットワーク自体の信頼性についての問題があり、例えば評価用ニューラルネットワークの学習が良好にできていなければ、信頼性の評価値自体が信頼度の低いものになってしまう。
【００１３】
また上述した２番目の「ニューラルネットワーク出力状態の信頼性レベルの決定方法および決定システム」に開示されている方法では、ニューラルネットワークの構造が多出力であり、その１つの出力のみ１もしくは０．９、他の全ての出力が０もしくは０．１になるようなデジタル的な場合に特化した場合にのみ用いることが出来る評価方法であり、他の構造を持つニューラルネットワークに対しては適用することが出来ない。
【００１４】
更に上述した３番目の「データ学習装置およびプラント制御装置」に開示されている評価方法では、説明対象の入力データと過去事例の入力データとの類似度をユークリッド距離より算出する方法であり、簡便かつ運用者への説明が容易な方法ではある。しかし、複数ある入力データの重み付けが考慮されていないため、ニューラルネットワークの出力値に対する類似事例として抽出した事例の出力値が実際値とは大きく異なってしまう可能性がある。
【００１５】
この点を説明する簡単な例として、回帰式を用いた問題例を挙げる。回帰式ｙ＝１００＊ｘ１＋ｘ２（ｘ１，ｘ２ともに０〜１の範囲）において、説明対象事例を（ｘ１，ｘ２）＝（１，１）とし、過去事例を事例１（ｘ１，ｘ２）＝（１，０）、事例２（ｘ１，ｘ２）＝（０．５，１）とした場合、ユークリッド距離により判断すると事例２の方が事例１より説明対象事例に近いため、事例２の方が類似事例とされてしまう問題がある。これを回避するためには、回帰式では入力因子ｘ２の重要度はｘ１に比べ１／１００であることを考慮し、入力因子ｘ１を重視した検索を行う必要であることが分かる。
【００１６】
本発明は、上記問題点を鑑みたニューラルネットワーク出力値の説明・評価のための１手法を提供することを課題とする。また運用者に対し簡単にニューラルネットワーク出力値の根拠を示すことができるニューラルネットワークの評価装置を提供することを課題とする。
【００１７】
【課題を解決するための手段】
本発明は、学習済みのニューラルネットワークの出力値の評価装置であって、学習事例記憶手段、重要度判定手段及び類似度評価手段を備える。
【００１８】
学習事例記憶手段は、上記ニューラルネットワークの学習に用いられた複数の学習事例を記憶する。
重要度判定手段は、上記ニューラルネットワークの各入力因子の重要度を該ニューラルネットワークの結合状態から求める。
【００１９】
類似度評価手段は、評価対象事例と上記学習事例記憶手段に記憶されている各学習事例との類似度を上記重要度判定手段が求めた各入力因子の重要度を用いて求める。
【００２０】
また本発明は、出力値評価手段を更に備える構成としてもよい。この出力値評価手段は上記類似度評価手段による類似度が特定値以上の学習事例を類似事例として該類似度と共に出力する。この類似度は、例えばパーセンテージ表現で出力される。或は出力値評価手段は、類似度の高い複数の類似事例の出力値を、該類似度を重みにして荷重平均して出力する構成としてもよい。
【００２１】
本発明によれば、重要度判定手段によりニューラルネットワークの各入力因子の重要度がニューラルネットワークの結合状態から求められ、この重要度を用いて学習事例記憶手段内の学習事例から評価対象事例と各学習事例との類似度が求められる。よって、類似事例の抽出は入力因子の重要度を考慮して行われるので、重要度の高い入力データに重きをおき、重要度の低い入力データを軽視した類似事例の抽出を行うことが出来る。
【００２２】
また複数の類似事例を用いて説明することにより、より精度の高い評価を行うことが出来る。
【００２３】
【発明の実施の形態】
図１は、本実施形態に置けるニューラルネットワークの評価装置の基本構成を示す図である。
【００２４】
ニューラルネットワーク２０は、入力と出力が対になった多数の事例を事前に学習してから用いられる。学習済みのニューラルネットワーク２０はその学習事例と同じ入力データを入力すると、学習事例と同じ出力値を出力する。また、入力されたデータが学習事例にないパターンであっても、そのパターンに近い入力値の学習事例の出力値に近い値を出力する特徴がある。本実施形態の評価装置１０では、この特徴を利用して、ニューラルネットワーク２０が学習に用いた事例の中から入力データの類似事例を検索し抽出する。
【００２５】
ニューラルネットワーク２０は学習により、内部の結合状態を変化させる。ある重要な入力データに対しては内部状態の結合が強くなり、また不要な入力データに対しては内部状態の結合が弱く、もしくは結合が無くなるという特徴がある。つまり、必ずしも全ての入力データを同じ様に用いて計算しているのではなく、各入力データには出力結果に大きく影響するものとあまり影響がないものとがある。この点を考慮し、本実施形態では、類似事例の抽出をこのニューラルネットワーク内部の結合状態からニューラルネットワークの各入力因子に対する重要度判定を行い、この重要度に基づいて類似度を求めて行う。これにより、重要度の高い入力因子に重きを置き、重要度の低い入力因子を軽視した類似事例の検索を可能とする。
【００２６】
そしてこの検索により、入力パターンに非常に近い類似事例が学習データの中に見つかれば、ニューラルネットワークの出力値の信頼性は高いものとし、またその類似事例が既に学習されているためその値を出力したと説明することが可能である。また逆に類似度の高い類似事例が見つからなければ、ニューラルネットワークの出力値の信頼性は低いものとし、また学習事例に類似した入力パターンがないためにその値を出力したと説明可能となる。
【００２７】
図１の評価装置１０は、重要度判定部１１、類似度計算部１２、学習事例記憶部１３及び出力評価部１４を備えている。
学習事例記憶部１３は、出力値の評価を行うニューラルネットワーク２０の学習時に用いられた複数の学習事例を入力値（ｘ1 ,ｘ2 ，．．ｘi ）とその結果として出力された出力値（ｙ1 ，ｙ2 ，．．ｙo ）を対応させて記憶している。重要度判定部１１は、ニューラルネットワーク２０内部の結合状態を読みだし、この内部結合の状態からニューラルネットワーク２０の各入力因子ｘ1 〜ｘi に対する重要度を求める。尚ニューラルネットワーク２０は既に学習が完了しておりその結合状態は変化しないので、重要度判定部１１は、ニューラルネットワーク２０の結合状態をニューラルネットワーク２０から読み出すのではなく、事前に記憶しておく構成としてよい。類似度計算部１２は、評価を行う事例と学習事例記憶部１３に記憶されている各学習事例との類似度を、重要度判定部１１が求めた各入力因子ｘ1 〜ｘi に対する重要度を用いて求める。
【００２８】
出力値評価部１４は、類似度計算部１２が求めた類似度が最も高い学習事例、あるいは類似度が一定値以上の学習事例を類似事例とし、その類似度と共に出力値の評価として出力する。
【００２９】
尚本実施形態では、評価を行うニューラルネットワーク２０は、図２に示す様な入力層素子ｉ個、中間層素子ｈ個、出力層素子ｏ個からなる構成の３層階層型ニューラルネットワークに対する出力値の信頼性の評価を行うことを前提条件としている。
【００３０】
また以下の説明は、ｘはニューラルネットワークへの入力データ、ｙは出力データを示す。また図２に示した入力数ｉ、出力数ｏのニューラルネットワーク２０の学習に用いられるｎ個の学習データを
ｘ11〜ｘ1i，ｙ11〜ｙ1o
：
：
ｘn1〜ｘni，ｙn1〜ｙno
とし、これらが学習事例として学習事例記憶部１３に記憶されているものとする。そしてこの学習事例によって学習されているニューラルネットワーク２０に入力データｘ1 〜ｘi とこの入力データが与えられたときに出力された出力データｙ1 〜ｙo を説明対象の事例とし、その評価として、類似事例とその類似度を出力して出力値に対する説明を行うものとする。
【００３１】
評価装置１０では、まず重要度判定部１１がニューラルネットワーク２０の結合状態からニューラルネットワーク２０の各入力因子ｘ1 〜ｘi に対する重要度の判定を行う。そして、この重要度を用いて類似度計算部１２が学習事例記憶部１３内の各学習事例の類似度を求める。これによりニューラルネットワーク２０内部の結合度に基づいた類似事例の検索が可能となり、重要度の高い入力因子に重きを置き、重要度の低い入力因子を軽視した類似事例の抽出を行える。
【００３２】
この重要度の判定方法としては種々なものが考えられるが、その一例を以下に示す。図２の入力層素子ｉ個、中間層素子ｈ個、出力層素子ｏ個からなり、各層間の結合をｗ、ｖとするニューラルネットワークの場合、入力因子ｘk （ｋ＝１〜ｉ）の重要度は例えば以下の式により表記できる。
【００３３】
【数４】
【００３４】
ここで、式(1) は、入力層と中間層の結合状態のみに注目して重要度を表した式であり、また式(2) は入力層と中間層、中間層と出力層の２つの結合状態に着目して重要度を表した式である。この式(1) 、(2) のいずれによる判定方法においても良好な重要度判定が可能である。重要度判定部１１は、ニューラルネットワーク２０から内部の結合状態を読みだし、各上記式等によって各入力因子の重要度を求める。
【００３５】
こうして求めた重要度を用いて類似度計算部１２は、学習事例記憶部１３に記憶してあるニューラルネットワーク２０の各学習事例と説明対象となっている入力事例との類似度を計算する。類似度は比較する入力因子ｘの差分とその入力因子の重要度から算出出来、その具体的な算出式は種々なものが考えられるが、その一例を以下に示す。
【００３６】
【数５】
【００３７】
上記式(3) 〜(6) は、入力事例ｘ1 〜ｘi と学習事例記憶部１３内に記憶されている各学習事例ｘj1〜ｘji（ｊ＝１〜ｎ）との類似度ｊを表す式である。この式(3) 〜(6) では、類似度ｊは値が大きいほど類似性が高いことを意味している。この式(3) 〜(6) のいずれを用いて類似度を求めても、各入力因子の重要度を考慮した類似度の算出が可能となる。
【００３８】
またこの式(3) 〜(6) で表した類似度ｊからは、値が大きい方が類似度合いが高いことは分かるが、マイナスの値で示される為、どの程度類似しているのかまでは運用者には感覚的に分かりづらい。そこで、この点を考慮して、類似の度合いをパーセンテージで表すことで、運用者に対しより分かりやすい出力値とすることが考えられる。このための計算式は種々のものが考えられるが、例えば上記式(4) から以下の式が求まる。
【００３９】
【数６】
【００４０】
この様な式によって、入力事例と各学習事例との類似度は０〜１００％の度合いで表わされ、この類似度合いを各学習事例と共に表示出力することによって、運用者は、対象となっている事例と類似した事例が学習事例としてどの程度類似したものがどれだけ存在するか容易に把握出来るようになる。尚この式(7) では、入力データｘは０〜１の値に正規化されているものとする。
【００４１】
類似度計算部１２から、各学習事例が説明対象事例との類似度と共に評価部１４に出力され、評価部１４ではこれらの中から最も類似度の高い事例、若しくは類似度が一定値以上の学習事例を類似事例としてその類似度と共に出力値に対する評価として出力する。
【００４２】
また上記構成では、類似度が一定値より高い事例を単に抽出していたが、この方法の場合、類似度が同じか若しくはほとんど同じ類似事例が複数のあるときは複数の事例が出力されるため、運用者はこのうちのどの事例の出力値を信じればよいかが分からない。また１つの事例のみを類似事例として抽出する構成の場合には、学習事例の出力値とニューラルネットワークの実際の出力値が一致しないこともある。
【００４３】
このことに対処する構成として、評価部１４が類似度合いの高い複数の類似事例を抽出してこれらを平均し、これを説明結果である値として出力にする構成とすることも出来る。この抽出の仕方としては、類似度が一定値以上のもの、最大の類似度にする類似度の割合が特定以上のもの、類似度の高い順に上位から特定数のものなどが考えられる。
【００４４】
この構成の場合、類似度合いの高い複数の類似事例の平均値を取るため、説明結果である値が１つになる特徴を持つ。またこれによりニューラルネットワークの出力と説明結果の一致度合いが高くなる。
【００４５】
図３は、評価装置１０による入力事例の評価処理を示すフローチャートである。
評価装置１０では、まず説明対象となるニューラルネットワーク２０への入力データｘ（ｘ1 〜ｘi ）が入力されると、ステップＳ１としてネットワーク２０から内部の結合状態を読み出す。そしてこの結合状態から式(1) 等によってニューラルネットワーク２０の各入力因子に対する重要度を算出する（ステップＳ２）。
【００４６】
次に、ステップＳ３として学習事例記憶部１３からニューラルネットワーク２０の学習に用いた事例を順次読みだし、ステップＳ２で求めた各入力因子に対する重要度を用いて、式(3) 〜(7) 等によってニューラルネットワーク２０の入力値ｘとの類似度を算出する。そしてステップＳ５として、類似度が最も大きなもの若しくは類似度が一定値以上のものを類似事例として出力する。
【００４７】
図４は、複数の類似事例の平均をとり、説明結果である値を１つ出力する構成の場合の評価装置の処理を示すフローチャートである。
図４の処理では、ニューラルネットワーク２０に入力データｘが入力されてから、この入力事例と学習事例記憶部１３内の各事例との類似事例を求めるステップＳ１１からステップＳ１４までの処理動作は、図３の場合のステップＳ１からステップＳ４までの処理と同じなので説明は省略する。
【００４８】
ステップＳ１４までの処理で、入力事例と各学習事例との類似度が求まった後、次にステップＳ１５として類似事例を抽出するための類似度合いの範囲を設定する。この類似度合いは、運用者の入力によって例えば類似度９０％以上というように決定され、この範囲にある類似度の学習事例をステップＳ１６として検索して抽出する。そして、ステップＳ１７としてこれら複数の類似事例をその類似度によって荷重平均を行い、結果を出力する。
【００４９】
次に、これまで説明した本実施形態による評価装置１０を用いたより具体的なシステム構成例及び実施例を説明する。
以下の説明は、ダムへの水の流入量予測をニューラルネットワークで行うシステムに図１の評価装置を用いた場合を例にしている。
【００５０】
図５は、この予測システムの構成例を示す図である。
この予測システム１００は、各測定地から通信ネットワーク２００を介して収集された流量や雨量の計測データからダムへの流入量をニューラルネットワーク２０により予測するシステムで、ニューラルネットワーク２０による予測結果と共に評価装置１０による評価結果を運用者に表示する。
【００５１】
この予測システム１００は、評価装置１１０とニューラルネットワーク１２０、データ集積部１３０、計測データ記憶部１４０、出力処理部１５０、表示部１６０及び予測結果記憶部１７０を備えている。このうち評価部１１０及びニューラルネットワーク１２０は、図１の評価装置１０及びニューラルネットワーク２０と同じものである。またニューラルネットワーク１２０は、過去の事例によって各測定データからダムの流入量の差分を予測結果として出力するように事前に学習されている。
【００５２】
またデータ集積部１３０は、通信ネットワーク２００を介して各測定地から集められてくる計測データを管理し、計測データ記憶部１４０に記憶してゆくものである。またデータ集積部１３０は、通信ネットワーク２００からの現在地の測定データとデータ集積部１３０内の過去の測定データをニューラルネットワーク１２０への入力データとして出力する。出力処理部１５０は、ニューラルネットワーク１２０及び評価装置１１０からの出力データを予測結果記憶部１７０に記憶してゆくと共に、グラフ形式等の画像データに加工して表示部１６０に出力表示する。予測結果記憶部１７０は、ニューラルネットワーク１２０による予測結果と評価装置１１０によるその評価を対応させて記憶するもので、この予測結果記憶部１７０に記憶されたデータはニューラルネットワーク１２０の再教育等に用いられる。
【００５３】
図６は、予測システム１００内のニューラルネットワーク１２０の入力因子と出力因子を示すものである。同図中（０）は現在時刻の計測値、（−１）、（−２）、．．は１時間前、２時間前、．．の計測値を示している。
【００５４】
本実施形態の予測システム１００では、現在時刻から２０時間前までの雨量及び３時間前までのダムへの流入量とダムの上流にある河川１、河川２及び河川３からの流量をニューラルネットワーク１２０への入力因子とし、これらのデータがデータ集積部１３０からニューラルネットワーク１２０に入力される。そしてニューラルネットワーク１２０の出力因子としてダムへの流入量の差分を出力して、１時間先のダムの流入量変化分を予測する。またその予測値と共に、その信頼性と予測結果の根拠を説明するものとしてニューラルネットワーク１２０の学習に用いられた過去事例の中から類似事例を抽出して示す。
【００５５】
図７は図６に示したニューラルネットワーク１２０の各入力因子ｘk （ｋ＝１〜３５）それぞれに対する重要度を示す図である。予測システム１００ではこの重要度の値に基づいて、説明対象となっている入力事例と各学習事例との類似度を求めている。尚同図の重要度は式(1) を用いて求めてある。
【００５６】
また類似度は、この図７の重要度を用いて次式から求まる。
【００５７】
【数７】
【００５８】
またこの式(8) をパーセンテージで類似度を表すようにしたものが次式となる。
【００５９】
【数８】
【００６０】
ただし、式(9) では、入力値ｘは０〜１の値に正規化してある。
図８及び図９に表示部１６０に表示される予測結果とその根拠となる類似事例の表示例を示す。図８は２１時に行った予測結果の表示例で、予測の為の入力データとして用いられた過去約２０時間分の流域の状態を示すデータと共に１時間後のダムへの流量の予測値がグラフ表示されている。同図中棒グラフが各時間での雨量を示し、折れ線グラフがダムの流量及び上流の各河川での流量を示している。また図中の×部分が現在時点（２１時の時点）を示しており、ここから過去２０時間分（１〜２１時）の測定データ及び１時間先（２２時の時点）の流入量の変化分の予測値が示されている。
【００６１】
図９は、図８の予測結果の根拠となる類似事例を示すもので、学習事例として用いられたものの中から類似度合いが最も高い過去事例が抽出されて図８の予測結果と同じ形式でグラフ表示されている。
【００６２】
もし抽出した類似事例が説明対象の入力事例と似ている場合には、ニューラルネットワークの出力値は類似事例に近いものを示し、また抽出した類似事例が説明対象の入力事例に似ていない場合には、ニューラルネットワークの出力値は、過去事例と異なる傾向を示す。この図８と図９の事例の場合、式(8) から求めた類似度は９６．７１％であり、予測に用いられた入力データと抽出した事例との類似度は高いものとなっている。また１時間後（２２時）のダムへの流入量の変化量も共に１００［ｍ3 ／ｓ］強であり、非常に似通ったものとなっている。この結果から、運用者は図８の予測結果は信頼性が高いものと判断できる。尚上記例では図８の予測値に対し、１つの類似事例のみを表示出力していたが、特定値以上の類似度をもつ複数の類似事例を表示出力する構成としても良い。
【００６３】
このように、本実施形態の予測システムでは、ニューラルネットワーク１２０による出力（予測値）を学習事例（過去事例）により説明し信頼性を評価することができる。例えば上記図８の予測結果に対しては図９を類似事例として「学習事例の中にある類似事例の流入量の変化量が１００［ｍ3 ／ｓ］強であるので、ニューラルネットワーク１２０による予測値も約１００［ｍ3 ／ｓ］になる」と説明することが可能である。また学習事例の中から抽出した類似事例との類似度合いもパーセンテージで表わすことが出来るので、信頼性の指標としてこの値を用いることが出来、運用者は予測値の信頼性を容易に把握することが出来る。
【００６４】
次に、上述したように最も類似度が高い例を単に出力するのではなく、類似事例として複数の事例を抽出し、これらを平均したものをニューラルネットワークによる予測結果に対する評価とする場合を説明する。
【００６５】
この事例の抽出の仕方としては、入力事例と各学習事例との類似度を求めた後、例えば類似度が最も高いものから順に（上位３事例等）、類似度が特定値以上（９０％以上等）のもの、類似例の最大の類似度に対してある割合以上のもの（例えば類似度が大きい事例の類似度が９０％であったときその９０％、つまり８１％以上等）などの方法により行うことが出来る。
【００６６】
以下に簡単な例として、２入力１出力の足し算を学習データにもつニューラルネットワークの出力値を説明することを考える。ただし、類似度の判定式は次式
【００６７】
【数９】
【００６８】
とした。また簡単のため入力１、入力２の重要度は共に１としている。
上記前提において、説明対象となる入力事例を図１０に、またニューラルネットワークの学習事例を図１１に示す。図１１には各学習事例と式(10)から求めた図１０の説明対象事例との類似度が示してある。同図中事例２及び事例３が類似度−１で最も類似度が高い事例であり、２つの学習事例が同じ類似度となっている。また事例２の出力値は２、事例３の出力値は４であり、どちらの事例の場合でも図１０で示す説明対象におけるニューラルネットワークの出力値である３．０とは異なる。
【００６９】
類似度が最も高いこの２つの事例をに対し、類似度合いを重みとした荷重平均を取ると、
出力値（過去事例からの説明値）＝［｜事例２の類似度｜×事例２の出力値＋｜事例３の類似度｜×事例３の出力値］／｜事例２の類似度＋事例３の類似度｜
＝３．０
となりニューラルネットワークの出力値と一致する。
【００７０】
この様に、類似度合いを重みとした荷重平均により説明することにより、過去事例による説明結果は良好な値（ニューラルネットワークの出力値により近い値）になる。
【００７１】
図１２は、本実施形態における評価装置やニューラルネットワークによる予測システムが構築される情報処理システムのシステム環境を示す図である。
この情報処理システムは、図１２の様にＣＰＵ３０１、主記憶装置３０２、ハードディスク装置３０３、ディスプレイ、キーボード、マウス等を備えた入出力装置３０４、モデム、ＬＡＮアダプタ等のネットワーク接続装置３０５及びＣＤ、ＤＶＤ、光ディスク、フロッピーディスクなどの可搬記憶媒体３０７が装着され、それから記憶内容を読み出す媒体読取り装置３０６を有し、これらが互いにバス３０８により接続される構成となっている。
【００７２】
図１２の情報処理システムでは、媒体読取り装置３０６により可搬記憶媒体３０７に記憶されているプログラム、データを読み出し、これを主記憶装置３０２またはハードディスク３０３にロードまたは格納する。そして本実施形態による各処理は、ＣＰＵ３０１がこのプログラムやデータを主記憶装置３０２上にロードして実行することにより、ソフトウエア的に実現することが可能である。
【００７３】
また、この情報処理システムでは、可搬記憶媒体３０７を用いてアプリケーションソフトの交換が行われる場合がある。よって、本発明は、ニューラルネットワークの出力値の評価装置やニューラルネットワークによる予測システムに限らず、コンピュータにより使用されたときに、上述の本発明の実施の形態の機能をコンピュータに行わせるためのコンピュータが読み出し可能な記憶媒体として構成することもできる。
【００７４】
この場合、「記憶媒体」としては、例えば図１３に示されるように、ＣＤ−ＲＯＭ、フロッピーディスク（あるいはＭＯ、ＤＶＤ、リムーバブル磁気ディスク等であってもよい）等の媒体駆動装置４０７に脱着可能な可搬記憶媒体４０６や、ネットワーク回線４０３経由で送信される外部の情報提供業者が保有する情報提処理装置（サーバ等）内の記憶デバイス（データベース等）４０２、あるいは情報処理装置４０１の本体４０４内のメモリ（ＲＡＭ又は外部記憶装置）４０５等が含まれる。可搬記憶媒体４０６や記憶デバイス（データベース等）４０２に記憶されているプログラムは、本体４０４内のメモリ（ＲＡＭ又は外部記憶装置等）４０５にロードされて、実行され、上述した本実施形態の各機能を実現する。
【００７５】
【発明の効果】
本発明によれば、内部状態が複雑な為、出力値がどうして算出されたか容易に説明することは困難であったニューラルネットワークにおいて、その出力値を説明する手法の１つを提供することが出来る。
【００７６】
また本発明では、入力事例の類似事例をニューラルネットワークの学習事例から抽出するので、抽出した類似事例から、例えば「学習データの中に○○の類似事例があるために、××の出力値になる」と出力結果の根拠を説明することができる。更には、出力結果に対する信頼性の指標として、類似事例との類似度を示すことが出来る。
【００７７】
また本発明では、類似例の抽出を、ニューラルネットワークの結合状態からニューラルネットワーク入力因子に対する重要度の判定を行い、入力データの重要性の度合いに応じて類似事例を抽出することができる。そのため精度の高い説明・評価が可能となる。
【００７８】
更に本発明では、類似事例との類似度をパーセンテージ表示することで、運用者に対して類似度合いの説明・評価を容易にしている。これにより過去事例の類似度合いが容易に分かるために、類似事例によるニューラルネットワーク出力値の説明の信頼性を容易に運用者に示すことが可能となる。
【００７９】
また本発明では、学習事例の中から抽出した複数の類似事例から出力結果に対して説明することが出来る。これにより、より高精度の説明が可能になる。
【図面の簡単な説明】
【図１】評価装置の構成を示す図である。
【図２】前提となるニューラルネットワークの構成を示す図である。
【図３】評価装置による入力事例の評価処理を示すフローチャートである。
【図４】複数の類似事例を平均し、説明結果である値を１つ出力する構成の場合の評価装置の処理を示すフローチャートである。
【図５】ダムの流入量を予測する予測システムの構成例を示す図である。
【図６】予測システム内のニューラルネットワークの入力因子と出力因子を示す図である。
【図７】各入力因子に対する重要度を示す図である。
【図８】表示部に表示される予測結果の例を示す図である。
【図９】表示部に表示される予測結果の根拠となる類似事例を示す図である。
【図１０】説明対象となる入力事例を示す図である。
【図１１】ニューラルネットワークの学習事例を示す図である。
【図１２】本システムが用いられる情報処理システムの環境図である。
【図１３】記憶媒体の例を示す図である。
【符号の説明】
１０ 評価装置
１１ 重要度判定部
１２ 類似度計算部
１３ 学習事例記憶部
１４ 評価部
２０、１２０ ニューラルネットワーク
１００ 予測システム
１１０ 評価部
１２０ ニューラルネットワーク
１３０ データ集積部
１４０ 計測データ記憶部
１５０ 出力処理部
１６０ 表示部
１７０ 予測結果記憶部
２００ 通信ネットワーク
【発明の属する技術分野】
本発明は、ニューラルネットワークの出力値の信頼性評価及び評価の根拠を示す（以下このことを説明するともいう）ニューラルネットワークの評価装置に関する
【０００２】
【従来の技術】
ニューラルネットワークは学習能力を持ち、非線形性、パターンマッチングに優れているなどの特性から、現在制御、予測、診断など多くの分野において用いられている。
【０００３】
ニューラルネットワークは種々な構造のものが提案されているが、実用化されているその多くは３階層型のネットワーク構造のものである。３階層型のニューラルネットワークは、通常はバックプロパゲーション法と呼ばれるアルゴリズムにより事前に学習を行い、内部の結合状態を調整しておく。この学習は、与えられたデータに基づいて所望の機能を獲得するようにニューラルネットワーク内部の結合荷重を調節するもので、入力に対して正しい出力が決まっている場合にはニューラルネットワークが正しく出力したかどうかを判定し、間違いが無くなるように、結合荷重を調節することにより行われる。
【０００４】
こうして学習したニューラルネットワークでは、学習時に与えた学習データと同一の入力データを与えると、学習データの時と同一のデータを出力する。また学習データに近い入力データを与えると、学習データに近い出力を行う特徴を持つ。よって入力される事例が学習時に与えられたものと同じであれば、その出力値は十分に信頼できるが、学習に用いられた事例と異なるものであれば１００％信頼できるわけではない。よって、与えられた入力事例に対して得られた出力値が適切なものかどうか評価する出力値の信頼性評価が重要となる。
【０００５】
従来のニューラルネットワーク出力値の信頼性の評価方法としては、例えば特願平４−２６５６２号（特開平５−２２５１６３号）「ニューラルネットワークシステムおよびニューラルネットの学習方法」が提案されている。
【０００６】
この公報に開示されている評価方法は、通常用いるニューラルネットワークとは別に、その信頼性を評価するための評価用のニューラルネットワークを設けることを特徴としている。この評価用のニューラルネットワークは、学習済みのデータが入力されると０を、未学習のデータが入力されると１を出力する。よって、評価用ニューラルネットワークが０に近い値を出力するときには、その入力データのパターンは学習済みのパターンであるため、ニューラルネットワークの出力値は通常信頼性が高く、評価用ニューラルネットワークが１に近い値を出力するときには、その入力データのパターンは未学習のパターンであるため、信頼性が低いと評価する。
【０００７】
またニューラルネットワークの別の評価方法として、特開平５−２８２２７６号「ニューラルネットワーク出力状態の信頼性レベルの決定方法および決定システム」に開示されている方法がある。
【０００８】
この評価方法は、パターン認識に特化したニューラルネットワークに対する評価方法であり、その出力がデジタル的かつ多出力で、１つの出力のみが１、その他の出力が全て０になる場合において信頼性を評価することができる評価方法である。この評価方法では、全出力中１つの出力値だけが１に近く、それ以外の出力値が０に近い場合を信頼性の高い出力結果であると判断する。
【０００９】
また出力値に対する根拠を説明する方式の出力評価方法としては、特開平１０−７４１８８号「データ学習装置およびプラント制御装置」に開示されている方法がある。
【００１０】
この評価方法は、ニューラルネットワークの出力値を事前に蓄積された学習事例の中から類似データを検索し、類似データが見つかった場合はこれを予測の根拠とし、見つからなかった場合には、例外的データであるとして、出力値を説明するものである。
【００１１】
【発明が解決しようとする課題】
ニューラルネットワークは、その学習能力、非線形能力、パターンマッチング能力などのため多くの分野において利用されているが、内部構造が非線形かつ複雑なため、ニューラルネットワークの出力値が信頼性の高いものであるかを判定評価することは難しかった。またその出力値がどうして出力されたのか容易に説明することも困難であった。
【００１２】
例えば上述した従来の各評価方法において、まず１番目の「ニューラルネットワークシステムおよびニューラルネットの学習方法」に開示されている方法では、入力パターンを学習済みか未学習かを判定する評価用ニューラルネットワークを別途用意する必要があるため、システムが複雑になるという欠点を持つ。また評価用ニューラルネットワーク自体の信頼性についての問題があり、例えば評価用ニューラルネットワークの学習が良好にできていなければ、信頼性の評価値自体が信頼度の低いものになってしまう。
【００１３】
また上述した２番目の「ニューラルネットワーク出力状態の信頼性レベルの決定方法および決定システム」に開示されている方法では、ニューラルネットワークの構造が多出力であり、その１つの出力のみ１もしくは０．９、他の全ての出力が０もしくは０．１になるようなデジタル的な場合に特化した場合にのみ用いることが出来る評価方法であり、他の構造を持つニューラルネットワークに対しては適用することが出来ない。
【００１４】
更に上述した３番目の「データ学習装置およびプラント制御装置」に開示されている評価方法では、説明対象の入力データと過去事例の入力データとの類似度をユークリッド距離より算出する方法であり、簡便かつ運用者への説明が容易な方法ではある。しかし、複数ある入力データの重み付けが考慮されていないため、ニューラルネットワークの出力値に対する類似事例として抽出した事例の出力値が実際値とは大きく異なってしまう可能性がある。
【００１５】
この点を説明する簡単な例として、回帰式を用いた問題例を挙げる。回帰式ｙ＝１００＊ｘ１＋ｘ２（ｘ１，ｘ２ともに０〜１の範囲）において、説明対象事例を（ｘ１，ｘ２）＝（１，１）とし、過去事例を事例１（ｘ１，ｘ２）＝（１，０）、事例２（ｘ１，ｘ２）＝（０．５，１）とした場合、ユークリッド距離により判断すると事例２の方が事例１より説明対象事例に近いため、事例２の方が類似事例とされてしまう問題がある。これを回避するためには、回帰式では入力因子ｘ２の重要度はｘ１に比べ１／１００であることを考慮し、入力因子ｘ１を重視した検索を行う必要であることが分かる。
【００１６】
本発明は、上記問題点を鑑みたニューラルネットワーク出力値の説明・評価のための１手法を提供することを課題とする。また運用者に対し簡単にニューラルネットワーク出力値の根拠を示すことができるニューラルネットワークの評価装置を提供することを課題とする。
【００１７】
【課題を解決するための手段】
本発明は、学習済みのニューラルネットワークの出力値の評価装置であって、学習事例記憶手段、重要度判定手段及び類似度評価手段を備える。
【００１８】
学習事例記憶手段は、上記ニューラルネットワークの学習に用いられた複数の学習事例を記憶する。
重要度判定手段は、上記ニューラルネットワークの各入力因子の重要度を該ニューラルネットワークの結合状態から求める。
【００１９】
類似度評価手段は、評価対象事例と上記学習事例記憶手段に記憶されている各学習事例との類似度を上記重要度判定手段が求めた各入力因子の重要度を用いて求める。
【００２０】
また本発明は、出力値評価手段を更に備える構成としてもよい。この出力値評価手段は上記類似度評価手段による類似度が特定値以上の学習事例を類似事例として該類似度と共に出力する。この類似度は、例えばパーセンテージ表現で出力される。或は出力値評価手段は、類似度の高い複数の類似事例の出力値を、該類似度を重みにして荷重平均して出力する構成としてもよい。
【００２１】
本発明によれば、重要度判定手段によりニューラルネットワークの各入力因子の重要度がニューラルネットワークの結合状態から求められ、この重要度を用いて学習事例記憶手段内の学習事例から評価対象事例と各学習事例との類似度が求められる。よって、類似事例の抽出は入力因子の重要度を考慮して行われるので、重要度の高い入力データに重きをおき、重要度の低い入力データを軽視した類似事例の抽出を行うことが出来る。
【００２２】
また複数の類似事例を用いて説明することにより、より精度の高い評価を行うことが出来る。
【００２３】
【発明の実施の形態】
図１は、本実施形態に置けるニューラルネットワークの評価装置の基本構成を示す図である。
【００２４】
ニューラルネットワーク２０は、入力と出力が対になった多数の事例を事前に学習してから用いられる。学習済みのニューラルネットワーク２０はその学習事例と同じ入力データを入力すると、学習事例と同じ出力値を出力する。また、入力されたデータが学習事例にないパターンであっても、そのパターンに近い入力値の学習事例の出力値に近い値を出力する特徴がある。本実施形態の評価装置１０では、この特徴を利用して、ニューラルネットワーク２０が学習に用いた事例の中から入力データの類似事例を検索し抽出する。
【００２５】
ニューラルネットワーク２０は学習により、内部の結合状態を変化させる。ある重要な入力データに対しては内部状態の結合が強くなり、また不要な入力データに対しては内部状態の結合が弱く、もしくは結合が無くなるという特徴がある。つまり、必ずしも全ての入力データを同じ様に用いて計算しているのではなく、各入力データには出力結果に大きく影響するものとあまり影響がないものとがある。この点を考慮し、本実施形態では、類似事例の抽出をこのニューラルネットワーク内部の結合状態からニューラルネットワークの各入力因子に対する重要度判定を行い、この重要度に基づいて類似度を求めて行う。これにより、重要度の高い入力因子に重きを置き、重要度の低い入力因子を軽視した類似事例の検索を可能とする。
【００２６】
そしてこの検索により、入力パターンに非常に近い類似事例が学習データの中に見つかれば、ニューラルネットワークの出力値の信頼性は高いものとし、またその類似事例が既に学習されているためその値を出力したと説明することが可能である。また逆に類似度の高い類似事例が見つからなければ、ニューラルネットワークの出力値の信頼性は低いものとし、また学習事例に類似した入力パターンがないためにその値を出力したと説明可能となる。
【００２７】
図１の評価装置１０は、重要度判定部１１、類似度計算部１２、学習事例記憶部１３及び出力評価部１４を備えている。
学習事例記憶部１３は、出力値の評価を行うニューラルネットワーク２０の学習時に用いられた複数の学習事例を入力値（ｘ1 ,ｘ2 ，．．ｘi ）とその結果として出力された出力値（ｙ1 ，ｙ2 ，．．ｙo ）を対応させて記憶している。重要度判定部１１は、ニューラルネットワーク２０内部の結合状態を読みだし、この内部結合の状態からニューラルネットワーク２０の各入力因子ｘ1 〜ｘi に対する重要度を求める。尚ニューラルネットワーク２０は既に学習が完了しておりその結合状態は変化しないので、重要度判定部１１は、ニューラルネットワーク２０の結合状態をニューラルネットワーク２０から読み出すのではなく、事前に記憶しておく構成としてよい。類似度計算部１２は、評価を行う事例と学習事例記憶部１３に記憶されている各学習事例との類似度を、重要度判定部１１が求めた各入力因子ｘ1 〜ｘi に対する重要度を用いて求める。
【００２８】
出力値評価部１４は、類似度計算部１２が求めた類似度が最も高い学習事例、あるいは類似度が一定値以上の学習事例を類似事例とし、その類似度と共に出力値の評価として出力する。
【００２９】
尚本実施形態では、評価を行うニューラルネットワーク２０は、図２に示す様な入力層素子ｉ個、中間層素子ｈ個、出力層素子ｏ個からなる構成の３層階層型ニューラルネットワークに対する出力値の信頼性の評価を行うことを前提条件としている。
【００３０】
また以下の説明は、ｘはニューラルネットワークへの入力データ、ｙは出力データを示す。また図２に示した入力数ｉ、出力数ｏのニューラルネットワーク２０の学習に用いられるｎ個の学習データを
ｘ11〜ｘ1i，ｙ11〜ｙ1o
：
：
ｘn1〜ｘni，ｙn1〜ｙno
とし、これらが学習事例として学習事例記憶部１３に記憶されているものとする。そしてこの学習事例によって学習されているニューラルネットワーク２０に入力データｘ1 〜ｘi とこの入力データが与えられたときに出力された出力データｙ1 〜ｙo を説明対象の事例とし、その評価として、類似事例とその類似度を出力して出力値に対する説明を行うものとする。
【００３１】
評価装置１０では、まず重要度判定部１１がニューラルネットワーク２０の結合状態からニューラルネットワーク２０の各入力因子ｘ1 〜ｘi に対する重要度の判定を行う。そして、この重要度を用いて類似度計算部１２が学習事例記憶部１３内の各学習事例の類似度を求める。これによりニューラルネットワーク２０内部の結合度に基づいた類似事例の検索が可能となり、重要度の高い入力因子に重きを置き、重要度の低い入力因子を軽視した類似事例の抽出を行える。
【００３２】
この重要度の判定方法としては種々なものが考えられるが、その一例を以下に示す。図２の入力層素子ｉ個、中間層素子ｈ個、出力層素子ｏ個からなり、各層間の結合をｗ、ｖとするニューラルネットワークの場合、入力因子ｘk （ｋ＝１〜ｉ）の重要度は例えば以下の式により表記できる。
【００３３】
【数４】
ここで、式(1) は、入力層と中間層の結合状態のみに注目して重要度を表した式であり、また式(2) は入力層と中間層、中間層と出力層の２つの結合状態に着目して重要度を表した式である。この式(1) 、(2) のいずれによる判定方法においても良好な重要度判定が可能である。重要度判定部１１は、ニューラルネットワーク２０から内部の結合状態を読みだし、各上記式等によって各入力因子の重要度を求める。
【００３５】
こうして求めた重要度を用いて類似度計算部１２は、学習事例記憶部１３に記憶してあるニューラルネットワーク２０の各学習事例と説明対象となっている入力事例との類似度を計算する。類似度は比較する入力因子ｘの差分とその入力因子の重要度から算出出来、その具体的な算出式は種々なものが考えられるが、その一例を以下に示す。
【００３６】
【数５】
上記式(3) 〜(6) は、入力事例ｘ1 〜ｘi と学習事例記憶部１３内に記憶されている各学習事例ｘj1〜ｘji（ｊ＝１〜ｎ）との類似度ｊを表す式である。この式(3) 〜(6) では、類似度ｊは値が大きいほど類似性が高いことを意味している。この式(3) 〜(6) のいずれを用いて類似度を求めても、各入力因子の重要度を考慮した類似度の算出が可能となる。
【００３８】
またこの式(3) 〜(6) で表した類似度ｊからは、値が大きい方が類似度合いが高いことは分かるが、マイナスの値で示される為、どの程度類似しているのかまでは運用者には感覚的に分かりづらい。そこで、この点を考慮して、類似の度合いをパーセンテージで表すことで、運用者に対しより分かりやすい出力値とすることが考えられる。このための計算式は種々のものが考えられるが、例えば上記式(4) から以下の式が求まる。
【００３９】
【数６】
この様な式によって、入力事例と各学習事例との類似度は０〜１００％の度合いで表わされ、この類似度合いを各学習事例と共に表示出力することによって、運用者は、対象となっている事例と類似した事例が学習事例としてどの程度類似したものがどれだけ存在するか容易に把握出来るようになる。尚この式(7) では、入力データｘは０〜１の値に正規化されているものとする。
【００４１】
類似度計算部１２から、各学習事例が説明対象事例との類似度と共に評価部１４に出力され、評価部１４ではこれらの中から最も類似度の高い事例、若しくは類似度が一定値以上の学習事例を類似事例としてその類似度と共に出力値に対する評価として出力する。
【００４２】
また上記構成では、類似度が一定値より高い事例を単に抽出していたが、この方法の場合、類似度が同じか若しくはほとんど同じ類似事例が複数のあるときは複数の事例が出力されるため、運用者はこのうちのどの事例の出力値を信じればよいかが分からない。また１つの事例のみを類似事例として抽出する構成の場合には、学習事例の出力値とニューラルネットワークの実際の出力値が一致しないこともある。
【００４３】
このことに対処する構成として、評価部１４が類似度合いの高い複数の類似事例を抽出してこれらを平均し、これを説明結果である値として出力にする構成とすることも出来る。この抽出の仕方としては、類似度が一定値以上のもの、最大の類似度にする類似度の割合が特定以上のもの、類似度の高い順に上位から特定数のものなどが考えられる。
【００４４】
この構成の場合、類似度合いの高い複数の類似事例の平均値を取るため、説明結果である値が１つになる特徴を持つ。またこれによりニューラルネットワークの出力と説明結果の一致度合いが高くなる。
【００４５】
図３は、評価装置１０による入力事例の評価処理を示すフローチャートである。
評価装置１０では、まず説明対象となるニューラルネットワーク２０への入力データｘ（ｘ1 〜ｘi ）が入力されると、ステップＳ１としてネットワーク２０から内部の結合状態を読み出す。そしてこの結合状態から式(1) 等によってニューラルネットワーク２０の各入力因子に対する重要度を算出する（ステップＳ２）。
【００４６】
次に、ステップＳ３として学習事例記憶部１３からニューラルネットワーク２０の学習に用いた事例を順次読みだし、ステップＳ２で求めた各入力因子に対する重要度を用いて、式(3) 〜(7) 等によってニューラルネットワーク２０の入力値ｘとの類似度を算出する。そしてステップＳ５として、類似度が最も大きなもの若しくは類似度が一定値以上のものを類似事例として出力する。
【００４７】
図４は、複数の類似事例の平均をとり、説明結果である値を１つ出力する構成の場合の評価装置の処理を示すフローチャートである。
図４の処理では、ニューラルネットワーク２０に入力データｘが入力されてから、この入力事例と学習事例記憶部１３内の各事例との類似事例を求めるステップＳ１１からステップＳ１４までの処理動作は、図３の場合のステップＳ１からステップＳ４までの処理と同じなので説明は省略する。
【００４８】
ステップＳ１４までの処理で、入力事例と各学習事例との類似度が求まった後、次にステップＳ１５として類似事例を抽出するための類似度合いの範囲を設定する。この類似度合いは、運用者の入力によって例えば類似度９０％以上というように決定され、この範囲にある類似度の学習事例をステップＳ１６として検索して抽出する。そして、ステップＳ１７としてこれら複数の類似事例をその類似度によって荷重平均を行い、結果を出力する。
【００４９】
次に、これまで説明した本実施形態による評価装置１０を用いたより具体的なシステム構成例及び実施例を説明する。
以下の説明は、ダムへの水の流入量予測をニューラルネットワークで行うシステムに図１の評価装置を用いた場合を例にしている。
【００５０】
図５は、この予測システムの構成例を示す図である。
この予測システム１００は、各測定地から通信ネットワーク２００を介して収集された流量や雨量の計測データからダムへの流入量をニューラルネットワーク２０により予測するシステムで、ニューラルネットワーク２０による予測結果と共に評価装置１０による評価結果を運用者に表示する。
【００５１】
この予測システム１００は、評価装置１１０とニューラルネットワーク１２０、データ集積部１３０、計測データ記憶部１４０、出力処理部１５０、表示部１６０及び予測結果記憶部１７０を備えている。このうち評価部１１０及びニューラルネットワーク１２０は、図１の評価装置１０及びニューラルネットワーク２０と同じものである。またニューラルネットワーク１２０は、過去の事例によって各測定データからダムの流入量の差分を予測結果として出力するように事前に学習されている。
【００５２】
またデータ集積部１３０は、通信ネットワーク２００を介して各測定地から集められてくる計測データを管理し、計測データ記憶部１４０に記憶してゆくものである。またデータ集積部１３０は、通信ネットワーク２００からの現在地の測定データとデータ集積部１３０内の過去の測定データをニューラルネットワーク１２０への入力データとして出力する。出力処理部１５０は、ニューラルネットワーク１２０及び評価装置１１０からの出力データを予測結果記憶部１７０に記憶してゆくと共に、グラフ形式等の画像データに加工して表示部１６０に出力表示する。予測結果記憶部１７０は、ニューラルネットワーク１２０による予測結果と評価装置１１０によるその評価を対応させて記憶するもので、この予測結果記憶部１７０に記憶されたデータはニューラルネットワーク１２０の再教育等に用いられる。
【００５３】
図６は、予測システム１００内のニューラルネットワーク１２０の入力因子と出力因子を示すものである。同図中（０）は現在時刻の計測値、（−１）、（−２）、．．は１時間前、２時間前、．．の計測値を示している。
【００５４】
本実施形態の予測システム１００では、現在時刻から２０時間前までの雨量及び３時間前までのダムへの流入量とダムの上流にある河川１、河川２及び河川３からの流量をニューラルネットワーク１２０への入力因子とし、これらのデータがデータ集積部１３０からニューラルネットワーク１２０に入力される。そしてニューラルネットワーク１２０の出力因子としてダムへの流入量の差分を出力して、１時間先のダムの流入量変化分を予測する。またその予測値と共に、その信頼性と予測結果の根拠を説明するものとしてニューラルネットワーク１２０の学習に用いられた過去事例の中から類似事例を抽出して示す。
【００５５】
図７は図６に示したニューラルネットワーク１２０の各入力因子ｘk （ｋ＝１〜３５）それぞれに対する重要度を示す図である。予測システム１００ではこの重要度の値に基づいて、説明対象となっている入力事例と各学習事例との類似度を求めている。尚同図の重要度は式(1) を用いて求めてある。
【００５６】
また類似度は、この図７の重要度を用いて次式から求まる。
【００５７】
【数７】
またこの式(8) をパーセンテージで類似度を表すようにしたものが次式となる。
【００５９】
【数８】
ただし、式(9) では、入力値ｘは０〜１の値に正規化してある。
図８及び図９に表示部１６０に表示される予測結果とその根拠となる類似事例の表示例を示す。図８は２１時に行った予測結果の表示例で、予測の為の入力データとして用いられた過去約２０時間分の流域の状態を示すデータと共に１時間後のダムへの流量の予測値がグラフ表示されている。同図中棒グラフが各時間での雨量を示し、折れ線グラフがダムの流量及び上流の各河川での流量を示している。また図中の×部分が現在時点（２１時の時点）を示しており、ここから過去２０時間分（１〜２１時）の測定データ及び１時間先（２２時の時点）の流入量の変化分の予測値が示されている。
【００６１】
図９は、図８の予測結果の根拠となる類似事例を示すもので、学習事例として用いられたものの中から類似度合いが最も高い過去事例が抽出されて図８の予測結果と同じ形式でグラフ表示されている。
【００６２】
もし抽出した類似事例が説明対象の入力事例と似ている場合には、ニューラルネットワークの出力値は類似事例に近いものを示し、また抽出した類似事例が説明対象の入力事例に似ていない場合には、ニューラルネットワークの出力値は、過去事例と異なる傾向を示す。この図８と図９の事例の場合、式(8) から求めた類似度は９６．７１％であり、予測に用いられた入力データと抽出した事例との類似度は高いものとなっている。また１時間後（２２時）のダムへの流入量の変化量も共に１００［ｍ3 ／ｓ］強であり、非常に似通ったものとなっている。この結果から、運用者は図８の予測結果は信頼性が高いものと判断できる。尚上記例では図８の予測値に対し、１つの類似事例のみを表示出力していたが、特定値以上の類似度をもつ複数の類似事例を表示出力する構成としても良い。
【００６３】
このように、本実施形態の予測システムでは、ニューラルネットワーク１２０による出力（予測値）を学習事例（過去事例）により説明し信頼性を評価することができる。例えば上記図８の予測結果に対しては図９を類似事例として「学習事例の中にある類似事例の流入量の変化量が１００［ｍ3 ／ｓ］強であるので、ニューラルネットワーク１２０による予測値も約１００［ｍ3 ／ｓ］になる」と説明することが可能である。また学習事例の中から抽出した類似事例との類似度合いもパーセンテージで表わすことが出来るので、信頼性の指標としてこの値を用いることが出来、運用者は予測値の信頼性を容易に把握することが出来る。
【００６４】
次に、上述したように最も類似度が高い例を単に出力するのではなく、類似事例として複数の事例を抽出し、これらを平均したものをニューラルネットワークによる予測結果に対する評価とする場合を説明する。
【００６５】
この事例の抽出の仕方としては、入力事例と各学習事例との類似度を求めた後、例えば類似度が最も高いものから順に（上位３事例等）、類似度が特定値以上（９０％以上等）のもの、類似例の最大の類似度に対してある割合以上のもの（例えば類似度が大きい事例の類似度が９０％であったときその９０％、つまり８１％以上等）などの方法により行うことが出来る。
【００６６】
以下に簡単な例として、２入力１出力の足し算を学習データにもつニューラルネットワークの出力値を説明することを考える。ただし、類似度の判定式は次式
【００６７】
【数９】
とした。また簡単のため入力１、入力２の重要度は共に１としている。
上記前提において、説明対象となる入力事例を図１０に、またニューラルネットワークの学習事例を図１１に示す。図１１には各学習事例と式(10)から求めた図１０の説明対象事例との類似度が示してある。同図中事例２及び事例３が類似度−１で最も類似度が高い事例であり、２つの学習事例が同じ類似度となっている。また事例２の出力値は２、事例３の出力値は４であり、どちらの事例の場合でも図１０で示す説明対象におけるニューラルネットワークの出力値である３．０とは異なる。
【００６９】
類似度が最も高いこの２つの事例をに対し、類似度合いを重みとした荷重平均を取ると、
出力値（過去事例からの説明値）＝［｜事例２の類似度｜×事例２の出力値＋｜事例３の類似度｜×事例３の出力値］／｜事例２の類似度＋事例３の類似度｜
＝３．０
となりニューラルネットワークの出力値と一致する。
【００７０】
この様に、類似度合いを重みとした荷重平均により説明することにより、過去事例による説明結果は良好な値（ニューラルネットワークの出力値により近い値）になる。
【００７１】
図１２は、本実施形態における評価装置やニューラルネットワークによる予測システムが構築される情報処理システムのシステム環境を示す図である。
この情報処理システムは、図１２の様にＣＰＵ３０１、主記憶装置３０２、ハードディスク装置３０３、ディスプレイ、キーボード、マウス等を備えた入出力装置３０４、モデム、ＬＡＮアダプタ等のネットワーク接続装置３０５及びＣＤ、ＤＶＤ、光ディスク、フロッピーディスクなどの可搬記憶媒体３０７が装着され、それから記憶内容を読み出す媒体読取り装置３０６を有し、これらが互いにバス３０８により接続される構成となっている。
【００７２】
図１２の情報処理システムでは、媒体読取り装置３０６により可搬記憶媒体３０７に記憶されているプログラム、データを読み出し、これを主記憶装置３０２またはハードディスク３０３にロードまたは格納する。そして本実施形態による各処理は、ＣＰＵ３０１がこのプログラムやデータを主記憶装置３０２上にロードして実行することにより、ソフトウエア的に実現することが可能である。
【００７３】
また、この情報処理システムでは、可搬記憶媒体３０７を用いてアプリケーションソフトの交換が行われる場合がある。よって、本発明は、ニューラルネットワークの出力値の評価装置やニューラルネットワークによる予測システムに限らず、コンピュータにより使用されたときに、上述の本発明の実施の形態の機能をコンピュータに行わせるためのコンピュータが読み出し可能な記憶媒体として構成することもできる。
【００７４】
この場合、「記憶媒体」としては、例えば図１３に示されるように、ＣＤ−ＲＯＭ、フロッピーディスク（あるいはＭＯ、ＤＶＤ、リムーバブル磁気ディスク等であってもよい）等の媒体駆動装置４０７に脱着可能な可搬記憶媒体４０６や、ネットワーク回線４０３経由で送信される外部の情報提供業者が保有する情報提処理装置（サーバ等）内の記憶デバイス（データベース等）４０２、あるいは情報処理装置４０１の本体４０４内のメモリ（ＲＡＭ又は外部記憶装置）４０５等が含まれる。可搬記憶媒体４０６や記憶デバイス（データベース等）４０２に記憶されているプログラムは、本体４０４内のメモリ（ＲＡＭ又は外部記憶装置等）４０５にロードされて、実行され、上述した本実施形態の各機能を実現する。
【００７５】
【発明の効果】
本発明によれば、内部状態が複雑な為、出力値がどうして算出されたか容易に説明することは困難であったニューラルネットワークにおいて、その出力値を説明する手法の１つを提供することが出来る。
【００７６】
また本発明では、入力事例の類似事例をニューラルネットワークの学習事例から抽出するので、抽出した類似事例から、例えば「学習データの中に○○の類似事例があるために、××の出力値になる」と出力結果の根拠を説明することができる。更には、出力結果に対する信頼性の指標として、類似事例との類似度を示すことが出来る。
【００７７】
また本発明では、類似例の抽出を、ニューラルネットワークの結合状態からニューラルネットワーク入力因子に対する重要度の判定を行い、入力データの重要性の度合いに応じて類似事例を抽出することができる。そのため精度の高い説明・評価が可能となる。
【００７８】
更に本発明では、類似事例との類似度をパーセンテージ表示することで、運用者に対して類似度合いの説明・評価を容易にしている。これにより過去事例の類似度合いが容易に分かるために、類似事例によるニューラルネットワーク出力値の説明の信頼性を容易に運用者に示すことが可能となる。
【００７９】
また本発明では、学習事例の中から抽出した複数の類似事例から出力結果に対して説明することが出来る。これにより、より高精度の説明が可能になる。
【図面の簡単な説明】
【図１】評価装置の構成を示す図である。
【図２】前提となるニューラルネットワークの構成を示す図である。
【図３】評価装置による入力事例の評価処理を示すフローチャートである。
【図４】複数の類似事例を平均し、説明結果である値を１つ出力する構成の場合の評価装置の処理を示すフローチャートである。
【図５】ダムの流入量を予測する予測システムの構成例を示す図である。
【図６】予測システム内のニューラルネットワークの入力因子と出力因子を示す図である。
【図７】各入力因子に対する重要度を示す図である。
【図８】表示部に表示される予測結果の例を示す図である。
【図９】表示部に表示される予測結果の根拠となる類似事例を示す図である。
【図１０】説明対象となる入力事例を示す図である。
【図１１】ニューラルネットワークの学習事例を示す図である。
【図１２】本システムが用いられる情報処理システムの環境図である。
【図１３】記憶媒体の例を示す図である。
【符号の説明】
１０ 評価装置
１１ 重要度判定部
１２ 類似度計算部
１３ 学習事例記憶部
１４ 評価部
２０、１２０ ニューラルネットワーク
１００ 予測システム
１１０ 評価部
１２０ ニューラルネットワーク
１３０ データ集積部
１４０ 計測データ記憶部
１５０ 出力処理部
１６０ 表示部
１７０ 予測結果記憶部
２００ 通信ネットワーク
Claims (7)
- 学習事例を入力として学習済みのニューラルネットワークから出力される出力値を評価対象事例と前記学習事例との類似度として評価を行う評価装置であって、
前記ニューラルネットワークの学習に用いられた複数の前記学習事例を記憶する学習事例記憶手段と、
前記ニューラルネットワークの入力を構成する各入力因子の重要度を該ニューラルネットワークの結合状態から求める重要度判定手段と、
前記評価対象事例と前記学習事例記憶手段に記憶されている各学習事例との類似度を前記重要度判定手段が求めた各入力因子の重要度を用いて求める類似度評価手段と、
を備えることを特徴とするニューラルネットワークの出力値の評価装置。 - 前記類似度評価手段による類似度が特定値以上の学習事例を類似事例として該類似度と共に出力する出力値評価手段を更に備えることを特徴とする請求項１に記載のニューラルネットワークの出力値の評価装置。
- 前記出力値評価手段は、前記類似度をパーセンテージ表現で出力することを特徴とする請求項２に記載のニューラルネットワークの出力値の評価装置。
- 前記出力値評価手段が、類似度の高い複数の類似事例の出力値を、該類似度を重みにして荷重平均して出力することを特徴とする請求項２又は３に記載のニューラルネットワークの出力値の評価装置。
- 前記ニューラルネットワークが、入力層素子ｉ個、中間層素子ｈ個、出力層素子ｏ個からなる構成であり、入力層と中間層との結合をｗとすると、前記重要度判定手段は、前記ニューラルネットワークの各入力因子ｘｋ（ｋ＝１〜ｉ）の重要度を
- 前記ニューラルネットワークが、入力層素子ｉ個、中間層素子ｈ個、出
力層素子ｏ個からなる構成であり、入力層と中間層との結合をｗ、中間層と出力層との結合をｖとすると、前記重要度判定手段は、前記ニューラルネットワークの各入力因子ｘｋ（ｋ＝１〜ｉ）の重要度を
- 前記類似度評価手段は、前記類似度を前記重要度判定手段が求めた各入力因子の重要度を用いて
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32213099A JP3804364B2 (ja) | 1999-11-12 | 1999-11-12 | ニューラルネットワークの出力値の評価装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32213099A JP3804364B2 (ja) | 1999-11-12 | 1999-11-12 | ニューラルネットワークの出力値の評価装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006082990A Division JP4352340B2 (ja) | 2006-03-24 | 2006-03-24 | ニューラルネットワークの出力値の評価方法及び記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001142868A JP2001142868A (ja) | 2001-05-25 |
| JP3804364B2 true JP3804364B2 (ja) | 2006-08-02 |
Family
ID=18140276
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32213099A Expired - Fee Related JP3804364B2 (ja) | 1999-11-12 | 1999-11-12 | ニューラルネットワークの出力値の評価装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3804364B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11475274B2 (en) | 2017-04-21 | 2022-10-18 | International Business Machines Corporation | Parameter criticality-aware resilience |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4661250B2 (ja) * | 2005-02-09 | 2011-03-30 | 富士電機ホールディングス株式会社 | 予測方法、予測装置および予測プログラム |
| US11189367B2 (en) | 2018-05-31 | 2021-11-30 | Canon Medical Systems Corporation | Similarity determining apparatus and method |
| WO2020026643A1 (ja) * | 2018-08-03 | 2020-02-06 | ソニー株式会社 | 情報処理装置、情報処理方法及び情報処理プログラム |
| CN109840309B (zh) * | 2018-11-01 | 2023-01-31 | 河钢股份有限公司 | 一种铁水脱硫剂用量的计算方法 |
| JP7099296B2 (ja) * | 2018-12-14 | 2022-07-12 | 日立金属株式会社 | 評価方法、システム構築方法、及び評価システム |
| CN113033762B (zh) * | 2019-12-09 | 2024-05-10 | 中科寒武纪科技股份有限公司 | 用于测试神经网络中算子精度的方法、装置和计算机可读存储介质 |
| US20230126191A1 (en) * | 2020-03-31 | 2023-04-27 | Toray Industries, Inc. | Data classification device, data classification method, and data classification program |
| JP7475956B2 (ja) | 2020-05-14 | 2024-04-30 | 株式会社日立製作所 | 推論方法、機械学習推論システム及びコンピュータプログラム |
-
1999
- 1999-11-12 JP JP32213099A patent/JP3804364B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11475274B2 (en) | 2017-04-21 | 2022-10-18 | International Business Machines Corporation | Parameter criticality-aware resilience |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001142868A (ja) | 2001-05-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4352340B2 (ja) | ニューラルネットワークの出力値の評価方法及び記憶媒体 | |
| WO2023060672A1 (zh) | 一种基于健康监测数据的桥梁冲刷动力识别方法 | |
| CN112418451A (zh) | 基于数字孪生的变压器故障诊断定位系统 | |
| JP3804364B2 (ja) | ニューラルネットワークの出力値の評価装置 | |
| CN103714261B (zh) | 二阶段混合模型的智能辅助医疗决策支持方法 | |
| CN111461168A (zh) | 训练样本扩充方法、装置、电子设备及存储介质 | |
| CN111160462A (zh) | 一种基于多传感器数据对齐的无监督个性化人类活动识别方法 | |
| CN110111885B (zh) | 属性预测方法、装置、计算机设备及计算机可读存储介质 | |
| CN110993096B (zh) | 一种脓毒血症的预警装置、设备及存储介质 | |
| JP2020101948A (ja) | 行動認識システム及び行動認識方法 | |
| CN107358019A (zh) | 适用于概念漂移的医疗方案的推荐系统及方法 | |
| CN115831219B (zh) | 一种质量预测方法、装置、设备及存储介质 | |
| JP4607359B2 (ja) | 信用リスク評価方法及びシステム | |
| CN116631626A (zh) | 一种患者临床风险评估方法、装置、设备及介质 | |
| CN114730388A (zh) | 偏差调整装置、信息处理装置、信息处理方法以及信息处理程序 | |
| JP2021144357A (ja) | 不動産ローン借り換え融資条件提案プログラム | |
| CN112988527A (zh) | Gpu管理平台异常检测方法、装置以及存储介质 | |
| JP2002099319A (ja) | プラント診断装置 | |
| CN109543610A (zh) | 车辆检测跟踪方法、装置、设备及存储介质 | |
| CN114418189A (zh) | 水质等级预测方法、系统、终端设备及存储介质 | |
| WO2022092447A1 (ko) | 딥러닝 모델 거래중개서버에 의해서 수행되는 딥러닝 모델 거래를 중개하는 방법 | |
| CN112163775B (zh) | 一种评标专家抽取方法及系统 | |
| CN113642669A (zh) | 基于特征分析的防欺诈检测方法、装置、设备及存储介质 | |
| CN110555472A (zh) | 基于主动学习的心电信号数据标注方法 | |
| CN113592307B (zh) | 企业收益风控检测方法、装置、计算机设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20040218 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051108 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060214 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060324 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060418 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060501 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090519 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100519 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110519 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120519 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130519 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |