JPH07160662A

JPH07160662A - ニューラルネットワークの予測結果における信頼度算出方法

Info

Publication number: JPH07160662A
Application number: JP5302885A
Authority: JP
Inventors: Shuichi Yamamoto; 秀一山本; Shihori Kawaguchi; しほり川口
Original assignee: Hitachi Ltd; Hitachi Tohoku Software Ltd
Current assignee: Hitachi Ltd; Hitachi Solutions East Japan Ltd
Priority date: 1993-12-02
Filing date: 1993-12-02
Publication date: 1995-06-23

Abstract

(57)【要約】【目的】未熟練者や初心者がニューラルネットワーク
の予測結果を有効に活用でき、それにより業務能率向上
を図る。また、システム開発時には、適用業務の専門家
との相談の必要はなく、ニューラルネットワークの予測
結果を採用するか否かを決定する必要をなくす。【構成】ニューロシミュレータ、事例ベース推論部、
および信頼度算出手段より構成される。ニューラルネッ
トワークにおける予測結果において、事例ベース推論の
距離定義や干渉関係、重み付けにより事例データから予
測データに最も近いデータを推論検索し、事例ベース推
論の推論状況と推論結果などからニューラルネットワー
ク信頼度を算出する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、過去の事例データを学
習する多層型ニューラルネットワークの予測結果の信頼
度を簡単に算出して、初心者でも予測結果を有効に活用
できるようにしたニューラルネットワークの予測結果に
おける信頼度算出方法に関する。

【０００２】

【従来の技術】従来より、ニューラルネットワークは、
例えば材料配合設計問題や金融指標の予測など、学習を
必要とする種々の分野で実用化されている。しかし、ニ
ューラルネットワークの予測結果の信頼度が不明である
ため、その予測結果をそのまま活用するわけにはいか
ず、最終的には専門家の判断に任されている。予測結果
の信頼度を確かめる方法としては、予測データが学習デ
ータの各項目に対して相対誤差の小さい順に検索し、比
較するものがある。また、時系列データの予測、例えば
株式相場のグラフ予測等に関しては、カオス理論を応用
したフラクタル次元解析を用いてデータの規則性を捉え
ることにより、ある程度まで予測結果に対する信頼度を
事前に確認することができる。その例としては、１９９
２年電子情報通信学会春季大会「フラクタルを用いたニ
ュ−ラルネットワ−クによる時系列予測(1)、(2)」に述
べられている。そのいずれも、日経平均の価格変動値
（実績値−移動平均値）に対するフラクタル次元の算出
例のみが開示されている。この他に信頼度を確かめる方
法はないが、信頼度を向上させるための方法はいくつか
ある。例えば、特開平03-41556号公報（観測データの平
滑処理方式）および特開昭63-262767公報矯（パターン
照合方法）がある。

【０００３】

【発明が解決しようとする課題】上述のように、従来の
方法においては、ニューラルネットワーク適用業務の専
門家が不在などの場合、未熟練者や初心者だけではニュ
ーラルネットワークの予測結果について、それをそのま
ま利用してよいか否かの妥当性を判断することができな
いため、ニューラルネットワークを有効に活用すること
ができないという問題があった。本発明の目的は、この
ような従来の課題を解決し、初心者や未熟練者であって
も、ニューラルネットワークが予測した結果の妥当性を
判断できる尺度を与えることが可能なニューラルネット
ワークの予測結果における信頼度算出方法を提供するこ
とにある。

【０００４】

【課題を解決するための手段】上記目的を達成するた
め、本発明によるニューラルネットワークの予測結果に
おける信頼度算出方法では、ニューラルネットワーク
（３）の学習に用いた事例データ（学習データ）をデー
タベース（１）に蓄積し、予測させたいデータ（予測デ
ータ）（４）をニューラルネットワーク（３）で予測し
た後、予測データ（７）を基に与えられた問題に類似す
る過去の経験をその問題の解決に直接利用して導く推論
（事例ベース推論）を行い（５）、予測データ（７）に
最も近い学習データを上記データベース（１）から検索
し、検索結果の学習データの許容範囲と事例ベース推論
の距離の定義を行った後、その定義を用いて、ニューラ
ルネットワーク（３）の予測結果（７）に対する信頼度
を算出する（１０）ことを特徴としている。

【０００５】

【作用】本発明においては、先ずニューラルネットワー
クの学習に用いた事例データをデータベースに蓄積して
おく。これが、事例データベースとなる。次に、予測デ
ータをニューラルネットワークを用いて予測を行う。こ
の後、予測データの入力項目をもとに、事例ベース推論
を行い、事例データベースから最も近い学習データを推
論検索する。なお、事例ベース推論（Case-Base-Reason
ing:ＣＢＲ）とは、与えられた問題に類似する過去の事
例、つまり成功または失敗の経験を問題の解決に直接利
用して誘導するような推論のことである。そして、推論
の検索条件である予測データに対する距離定義および推
論検索された学習データの許容範囲を定義し、先ず距離
定義と予め定めた信頼度の式を用いて途中までの信頼度
を算出し、推論検索結果である学習データの許容範囲か
ら最終的な信頼度を算出する。本発明では、ニューラル
ネットワークの予測結果に対して信頼度を算出すること
ができ、簡単な方法で予測結果を採用して良いか悪いか
を判断することができる。その結果、未熟練者や初心者
でも予測結果を有効に使用することができるので、業務
能率向上を図ることができる。

【０００６】

【実施例】以下、本発明の実施例を、図面を用いて詳細
に説明する。図１は、本発明の一実施例を示すニューラ
ルネットワーク予測結果の信頼度算出装置のシステム構
成図である。図１において、１は事例データ（学習デー
タ）を格納するデータベース、２は学習済みのネットワ
ークデータを格納するファイル、３は学習エンジンおよ
び予測エンジンを備えたニューロシミュレータ、４は予
測データを格納するファイル、５は類似する過去の事例
を問題解決のために直接利用するための推論プログラム
を実行する事例ベース推論部、６は推論検索された学習
データの許容範囲と事例ベース推論の距離定義を用いて
予測結果に対する信頼度を算出する信頼度算出手段、７
は予測エンジンで予測された予測結果（プリンタに出
力）、８はマウス等により入力が可能なディスプレイ、
９は推論部５で推範検索された推論結果（プリンタに出
力）、１０は信頼度算出手段６で算出された信頼度算出
結果（プリンタに出力）である。図１の信頼度算出装置
では、先ずデータベース１の中の事例データを入力し
て、ニューロシミュレータ３で学習を行い、学習済みネ
ットワーク２を作成し、これをネットワークファイル２
に格納する。次に、データベース４の予測データをニュ
ーロシミュレータ３に入力して、ニューロシミュレータ
３で予測を行い、予測結果７を出力する。次に、事例ベ
ース推論に必要な情報である距離定義、干渉関係、重み
付けや信頼度算出処理に必要な学習データ出力項目の許
容範囲を、キーワードディスプレイ８から入力する。予
測結果７をもとに、事例ベース推論部５で予測データ７
に最も近い事例データを、データベース１から推論検索
し、推論結果９を出力する。最後に、予測結果７と推論
結果９をもとに信頼度算出手段６でニューラルネットワ
ークの予測結果７に対する信頼度を算出し、その結果１
０を出力する。

【０００７】図２は、本発明の一実施例を示すニューラ
ルネットワークの予測結果に対する信頼度算出方法の実
施手順のフローチャートである。まず、データベース１
に格納されている学習データを読み出して、これをニュ
ーロシミュレータ３に読み込ませ(ステップ２０１)、ニ
ューロシミュレータ３の学習エンジンを駆動して学習を
行う(ステップ２０２)。ここで、学習済みのネットワー
クを、学習済みネットワークファイル２に記憶してお
く。満足のゆく学習状況であれば、次にデータベース４
に格納されている予測データをニューロシミュレータ３
に読み込ませ(ステップ２０３)、学習済みネットワーク
２を用いてニューロシミュレータ３の予測エンジンを駆
動して予測を行い、予測結果７を表示する(ステップ２
０４)。次に、事例ベース推論を行う。その前に、推論
に必要な情報と信頼度を算出する際に必要となる事例デ
ータの出力項目の許容範囲を、ディスプレイ装置８より
設定する(ステップ２０５)。本実施例では、材料配合設
計および文字認識を対象として、後述（図１１，図１
２）のように設定した。ディスプレイ装置８より設定さ
れた定義は、適用業務により異なってくるため適用業務
の専門家と相談して決定しなければならない。定義が設
定し終えたならば、予測結果７をもとに事例データから
最も近いデータを推論検索する(ステップ２０６)。検索
結果が出力されたならば、次に信頼度算出手段６で信頼
度の算出を行う(ステップ２０７)。

【０００８】図５および図６は、それぞれ材料配合設計
問題および文字認識問題の各事例データを示す図であ
る。図５には、ニューラルネットワークの入力項目が物
性値１〜物性値４の４項目、出力項目が材料１〜材料４
の４項目である材料配合設計の事例データが示されてお
り、図６（ａ）には、ニューラルネットワークの入力項
目が特徴量１〜特徴量１２の１２項目、出力項目が文字
の１項目である文字認識の事例データが示されている。
また、図６（ｂ）には、図６（ａ）の事例データを作成
する際に用いられた３×４のマトリックスであり、特徴
量１〜１２はそのマトリックスの上段左からＮｏ．１，
２，３、第２段左からＮｏ．４，５，６、第３段左から
Ｎｏ．７，８，９、下段左からＮｏ．１０，１１，１２
の領域にそれぞれ対応している。図６の事例データはそ
のマトリックス内に文字を描き、マトリックス内に文字
が含まれる時は該当する領域が１で、該当する領域に文
字が含まれない時は０としてデータを作成したものであ
る。また、ニューラルネットワークの内部では数値演算
処理しか行われていないため、事例データの中に文字列
などが含まれている場合には、文字列データを数値に変
換する必要がある。ここでは、出力項目をＡ，Ｆ，Ｔの
３項目に分け、文字と対応している項目を１、対応して
いない項目を０に変換している。

【０００９】図１１、図１２は、事例ベース推論に必要
な情報の説明図である。距離定義とは、推論検索のもと
になる予測データとどれくらいの距離であれば事例デー
タが検索対象となるかを定義するものである。ここで
は、物性値１の距離定義としては、０．１の範囲内にあ
るものだけ、物性値２の距離定義としては、０．３の範
囲内にあるもの、物性値３の距離定義としては、１．０
の範囲内にあるもの、物性値４の距離定義としては、
０．０５の範囲内にあるものだけを、それぞれ採用す
る。干渉関係は、図１１に示すように、物性値１と物性
値２は物性値３に影響し、物性値３は材料３に影響すな
ど項目間の繋がりを示している。この図で分かること
は、物性値１、物性値２、物性値３、材料１、材料３の
５項目と物性値４、材料２、材料４の３項目のように項
目を２組に分割して、それぞれ独立に扱うことができる
ということである。重み付けとは、いま取り上げている
適用問題(ここでは材料配合設計問題、文字認識問題)に
どの項目がどれほど影響しているかを示すものである。
１が基準となり、１より大きくなればなるほど重要度が
増すことを示している。ここでは、重み付けに差を設け
ずに、全ての物性値１〜４を同一重み付けを与える。図
１２は、文字認識問題であるため、各項目には干渉関係
が存在しない。また、距離定義としては、値が１か０で
あるため、許容誤差は全く認めない。さらに、特徴量に
対する重み付けも、全て同一とする（１と０であるた
め）。

【００１０】図７および図８は、それぞれ材料配合設計
と文字認識の予測データを示す図であり、また図９およ
び図１０は、図７と図８のそれぞれの予測データをニュ
ーラルネットワークに入力した場合の予測結果(出力項
目値)を示す図である。なお、図７〜図１０には、予測
データと予測結果がそれぞれ３件ほど列挙されている。
また、図３は、本発明における事例ベース推論の概略手
順を示すフローチャートであり、図４は事例ベース推論
状況とニューラルネットワークの予測結果より信頼度算
出を実施する場合の手順を示すフローチャートである。
図７に示すように、材料配合設計では、例えば硬度、寸
法、色、磁性、導電率等を示す物性値１〜物性値４をニ
ューラルネットワークに入力して、それらの条件を満足
するために配合すべき材料１〜材料４の配合比を予測す
る。一方、文字認識においても、図８に示すように、入
力項目である特徴量（マトリクス中の該当領域が黒か白
か）をニューラルネットワークに入力して、出力項目で
ある認識文字を予測する。最初に、材料配合設計問題の
図９の予測結果１(予測結果No．1)に対する信頼度の算
出を行う。先ず、図３に示すように、予測データの入力
項目に対する重み付け、距離定義により推論検索する
(ステップ３０１)。

【００１１】図１７は、図９の予測結果１に対する推論
検索結果を示す図である。図１７の予測推論検索状況を
見ると、予測データ(入力項目)と完全一致している事例
データがあることが分かる(図の網掛け部分)。これよ
り、入力項目に関しては距離のずれが０であるため、下
式（１)より信頼度５０％と算出することができる(ステ
ップ４０１)。式（１），式（２）は、入力項目に関す
る信頼度の算出式である。

【数１】なお、Ｄは入力項目に関する信頼度、α_iは予測データ
の入力項目値、β_iは推論検索結果の入力項目値、Ｄ_iは
予測データ入力項目における距離定義（閾値）である。
上式（１)では、入力項目に関する信頼度として(１００
／２)％を割当て、入力項目がＮ個あるならば各項目に
対して信頼度を(１００／２)×(１／ｎ)に細分して振り
分ける。そして、予測データα_iと事例ベース推論結果
β_iの項目別の差分（α_i−β_i）を求める。その差分が
距離定義外であれば信頼度を０にし（式（２）参照）、
距離定義内であれば差分が大きくなるにつれて、割当て
られた信頼度が小さくなるように各項目ごとに信頼度を
算出し、それらをすべて加えたものを入力項目に関する
信頼度とする。次に、予測結果の出力項目が事例ベース
推論結果の出力項目の許容範囲内にあるかを調べ、下式
（３)，（４）により信頼度を算出する。式（３），
（４）は、出力項目に関する信頼度の算出式であって、
信頼度５０％の分で算出する（ステップ４０２）。

【数２】なお、Ｒは出力項目に関する信頼度、α_iは予測結果値
（出力項目値）、β_iは推論検索結果の出力項目値、Ｒ_i
は出力項目における許容範囲である。式（３)では、予
測データ出力項目α_iが推論検索結果の出力項目β_iの許
容範囲内であるかを調べ、予測データの出力項目と推論
検索結果の出力項目の差分をもとにして式（１)と同様
に信頼度を算出する。最終的な信頼度の算出は、下式
(５)より式（１）と式（３）との合計をとり、総合的な
信頼度の算出を行う（ステップ４０３）。信頼度（％）＝Ｄ＋Ｒ・・・・・・・・・・・・・・・・・・・・（５）

【００１２】次に、図９における予測結果２(予測結果N
o2)について信頼度算出を行う。図１８は、予測結果２
に対する推論検索結果を示す図である。予測データの入
力項目から事例ベース推論検索をすると、距離定義内に
含まれる事例データがあることが分かる(図１５の網掛
け部分)。この後は、前述のように予測結果１と同様に
式（１)、式（２)、式（３)より信頼度の算出を行えば
よい。最後に、予測結果３(予測結果No3)について信頼
度を算出する。図１９は、予測結果３に対する推論検索
結果を示す図である。図１９に示すように、この場合に
は、距離定義内の事例データが存在しないため、事例ベ
ース推論の干渉関係を利用して問題分割を行う(ステッ
プ３０２)。分割が不可能であれば、推論も不可能とな
る。図１１は、事例ベース推論の干渉関係ならびに距離
定義と重み付けを示す説明図である。材料配合設計問題
においては、一般にそれらの干渉関係より分割して考え
ることが可能である。この場合には、仮定として、物性
値１、物性値２、物性値３、材料１、材料３の５項目
と、物性値４、材料２、材料４の３項目の２組に分割す
ることができる。このように２組に分割した後、２組を
独立した項目とみなし、再び距離定義より推論検索を行
う（ステップ３０３）。推論検索結果は、図１９の網掛
け部分になり、物性値１，２，３、材料１，材料３につ
いてはＮｏ．５の結果を、物性値４、材料２および材料
４についてはＮｏ．２の結果を、それぞれ採用する。そ
の後は、予測結果２と同様に式（１)、式（２)、式
（３)より信頼度を算出する。

【００１３】図２０，図２１および図２２は、それぞれ
図１０の文字認識問題の予測結果１，２，３に対する推
論検索結果を示す図である。以下、文字認識問題につい
て、信頼度の算出を行う。図１０の予測結果１、２、３
(予測結果No1,2,3)のそれぞれについて、距離定義内の
事例データが存在しないため、事例ベース推論の干渉関
係を利用して問題分割を行う。しかしながら、文字認識
には、図１２に示したように、項目間の干渉関係が存在
しないため分割が不可能である。つまり、図３における
ステップ３０２，３０３はいずれも不可能となる。そこ
で、予測データの入力項目と最も距離の近い事例データ
を推論検索結果とする（図２０〜２２の網掛け部分）。
この後、材料配合設計問題と同様に、前式（１)、前式
（２)、前式（３)により信頼度を算出する（ステップ４
０３）。

【００１４】図１３、図１４は、それぞれ材料配合設計
問題と文字認識問題の事例データ出力項目の許容範囲を
示す図である。特に、材料配合設計では±α％の許容範
囲が存在し、設定時には適用業務専門家との相談が必要
となる。図１５、図１６は、それぞれ材料配合設計問題
と文字認識問題の予測結果に対する信頼度を示す図であ
る。図１５に示すように、予測結果１の場合には、図１
７の推論検索結果からも明らかなように、完了に一致す
る事例データが存在したため、信頼度は９３％と極めて
高くなっている。これに対して、予測結果２の場合に
は、全体的にはほぼ一致する事例データがあるものの、
図１１に示す距離定義から外れたもの、特に物性値４に
対しては、距離定義が０．０５であるのに対して、事例
データの物性値４との間に０．０６の差違があるので、
信頼度は５７％と低くなっている。また、予測結果３の
場合には、干渉関係を利用して問題の分割を行ってお
り、それぞれの距離定義から一部の値が外れているた
め、信頼度は５５％と低くなっている。図１６の場合に
も、予測結果１はパターンＡの特徴量１〜１２が完全に
一致しており、予測結果２はパターンＦの特徴量３が０
と異なっており、予測結果３はパターンＴの特徴量８と
１１が０と異なっているため、それぞれ９５％、５９
％、４１％の信頼度となっている。以上のように、本発
明においては、信頼度の算出は予測データ入力項目の距
離定義、事例ベース推論で検索された事例データ出力項
目の許容範囲より、式（１)、式（２)、式（３)を用い
て行うことができる。そして、本発明では、事例ベース
推論を用いることにより、その事例データの特性にあっ
た検索条件を設定することができるため、他の検索方法
より最も類似度の高いデータを推論検索することができ
る。従って、信頼度の算出の結果にも妥当性があり、ニ
ューラルネットワークの予測結果と信頼度を参考にしな
がら業務効率を向上できる。

【００１５】

【発明の効果】以上説明したように、本発明によれば、
適用業務により事例ベース推論の初期設定条件である距
離定義、干渉関係、重み付けなどが異なるが、これらを
適当に設定することにより、自動的に予測結果の信頼度
が算出できるので、未熟練者や初心者がニューラルネッ
トワークの予測結果を有効に活用でき、その結果、業務
能率向上を図ることができる。従って、システム開発時
には、適用業務の専門家との相談の必要はなく、ニュー
ラルネットワークの予測結果を採用するか否かは、適用
業務により異なるが、ある程度の信頼度があれば、その
ままその結果を利用することができる。

【図面の簡単な説明】

【図１】本発明の一実施例を示すニューラルネットワー
クの予測結果における信頼度算出システムのブロック図
である。

【図２】本発明の一実施例を示すニューラルネットワー
クの予測結果における信頼度算出手順のフローチャート
である。

【図３】図２における事例ベース推論処理の動作フロー
チャートである。

【図４】本発明において、事例ベース推論状況とニュー
ラルネットワークの予測結果より信頼度を算出する動作
フローチャートである。

【図５】本発明の第１の実施例で使用される材料配合設
計問題の事例データを示す図である。

【図６】本発明の第２実施例で使用される文字認識問題
の事例データおよび認識文字パターンを示す図である。

【図７】本発明の第１の実施例で使用される材料配合設
計問題の予測データを示す図である。

【図８】本発明の第２の実施例で使用される文字認識問
題の予測データを示す図である。

【図９】本発明の第１の実施例で使用される材料配合設
計問題の予測結果を示す図である。

【図１０】本発明の第２の実施例で使用される文字認識
問題の予測結果を示す図である。

【図１１】本発明の第１の実施例で使用される材料配合
設計問題の事例ベース推論の干渉関係、距離定義、重み
付けを示す説明図である。

【図１２】本発明の第２の実施例で使用される文字認識
問題の事例ベース推論の干渉関係、距離定義、重み付け
を示す説明図である。

【図１３】本発明の第１の実施例で使用される出力項目
の許容範囲を示す図である。

【図１４】本発明の第２の実施例で使用される出力項目
の許容範囲を示す図である。

【図１５】図９の予測結果に対するそれぞれの信頼度を
示す図である。

【図１６】図１０の予測結果に対するそれぞれの信頼度
を示す図である。

【図１７】本発明の第１の実施例における予測結果１に
対する推論検索結果を示す図である。

【図１８】本発明の第１の実施例における予測結果２に
対する推論検索結果を示す図である。

【図１９】本発明の第１の実施例における予測結果３に
対する推論検索結果を示す図である。

【図２０】本発明の第２の実施例における予測結果１に
対する推論検索結果を示す図である。

【図２１】本発明の第２の実施例における予測結果２に
対する推論検索結果を示す図である。

【図２２】本発明の第２の実施例における予測結果３に
対する推論検索結果を示す図である。

【符号の説明】

１・・事例データ(学習データ)を格納するデータベース２・・学習済みネットワーク(ニューロンどうしの結合
の強さ：重み)を記憶するデータベース３・・ニューロシミュレータ４・・ニューラルネットワークで予測させたいデータ
(予測データ)を格納するデータベース５・・事例ベース推論部６・・信頼度算出手段７・・ニューラルネットワークの予測結果８・・ディスプレイ装置９・・事例ベース推論結果１０・・信頼度算出結果

Claims

【特許請求の範囲】

【請求項１】ニューラルネットワークの学習に用いた
事例データ（学習データ）をデータベースに蓄積し、予
測させたいデータ（予測データ）を上記ニューラルネッ
トワークで予測した後、該予測データを基に与えられた
問題に類似する過去の経験を該問題の解決に直接利用し
て導く推論（事例ベース推論）を行い、該予測データに
最も近い学習データを上記データベースから検索し、検
索結果の学習データの許容範囲と上記事例ベース推論の
距離の定義を行った後、該定義を用いて、上記ニューラ
ルネットワークの予測結果に対する信頼度を算出するこ
とを特徴とするニューラルネットワークの予測結果にお
ける信頼度算出方法。