JP3956581B2

JP3956581B2 - 事例の類似性に基づいた推論システム

Info

Publication number: JP3956581B2
Application number: JP2000152668A
Authority: JP
Inventors: 嘉則佐藤; 豊久森田; 幸康伊藤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2000-05-18
Filing date: 2000-05-18
Publication date: 2007-08-08
Anticipated expiration: 2020-05-18
Also published as: US20010054033A1; US6782376B2; JP2001331316A

Description

【０００１】
【発明の属する技術分野】
本発明は自然現象、人口統計等の社会的現象、株価変動等の経済的現象、工業プラント等の化学的、物理的現象等のデータを用いた推論、予測の方法、および推論手段を組み込んだシステムに関する。
【０００２】
【従来の技術】
蓄積データを有効に活用する技術としてデータマイニングと呼ばれる大量データ向けの分析技術が活発に研究されている。取り出す情報の形は利用目的によって異なるが、一般的な目的の一つとして未知データの推論、予測がある。
【０００３】
MBR（Memory-Based Reasoning:記憶に基づく推論）は、大量に蓄積したデータから、類似度に基づいて推論結果を算出する手法として知られている。MBRに関しては「Craig Stanfill, DavidWaltz, "TOWARD MEMORY-BASED REASOING, Communications of the ACM", Dec 1986,Vol.29. Number 29, pp.1213-1228」に概要が述べられている（以下、従来技術１と呼ぶ）。
【０００４】
従来技術１はレコード形式で与えられる事例データをベクトルと見なし、ベクトル間距離の大小により事例間の類似性を判定する。類似性が大きい事例を類似事例として抽出し、類似事例の出力フィールド値をベクトル間距離で加重平均して推論値を算出する。
【０００５】
また、MBRに関連する技術として、例えば、日本国特許第2632117号がある。以下、特許第2632117号を従来技術２と呼ぶ。従来技術２では、出力誤差がしきい値よりなるべく小さくなるように入力空間を分割し、入力変数で張る空間上にメッシュを構成する。事例をメッシュ化空間に埋め込む（量子化する）ことで、推論時に使用する事例データベースを作成する。メッシュ化された空間における距離を用いて、推論誤差の推定値を得る。
【０００６】
【発明が解決しようとする課題】
従来技術１は新規の事例に対して採用する類似事例の個数を決める手段を提供しておらず、ユーザが類似事例数を決定する。一般に、ベクトル空間で見たときに事例の分布は一様であるとは限らない。従って単に採用個数を指定するだけでは、ベクトル間距離の分布を考慮した適切な類似事例が集まるとは限らない。
【０００７】
従来技術２は、事例を間引いて得られる代表事例を推論時に用いる手法である。しかし、間引かれる前の事例全体から見ると、未知事例に対して決まる類似事例が持つベクトル間距離は、事例の分布とは無関係に、メッシュの大きさで定まることになる。しかし、各メッシュの大きさは一様であるため、事例の分布が一様でない場合に、各メッシュ毎に適切な類似事例が集まるとは限らない。さらに、このような場合、推論誤差の推定値を適切に算出することが困難になる。
【０００８】
本発明の目的は、従来技術では推論精度が低下しやすい、事例の分布が一様でない場合であっても、適切な推論を行う手段を提供し、また推論値の妥当性を判断できるよう適切な確信度を算出する手段を提供することにある。
【０００９】
【課題を解決するための手段】
本発明は、事例の類似度を算出するステップを実行後、類似性が高い事例の推論値算出用フィールド値の分布情報を利用することにより類似事例を決定する。即ち、未知事例の周辺分布を考慮して類似事例を決定するため、事例の分布が一様でない場合にも適切な類似事例を選択し、推論を行うことが可能になる。
【００１０】
また、本発明は、類似性が高い事例の推論値算出用フィールド値の分布情報を利用することにより確信度を決定する。これにより事例の分布が一様ではない場合にも適切な確信度を算出することが可能になる。
【００１１】
【発明の実施の形態】
まず、各実施の形態に共通する用語を以下に定義する。事例はレコードデータの形式で表現され、１個のレコードは２個以上のフィールドからなる。既知事例とは推論に用いる知識を表す事例であり、未知事例とは１個以上のフィールド値が不明の事例である。値が不明のフィールドのことを出力フィールド、値が分かっているフィールドのことを入力フィールドと呼ぶ。
【００１２】
本発明の実施の形態における推論処理は、既知事例を用いて、未知事例の入力フィールド値から未知事例の出力フィールド値を推定し、推論値として算出する。事例間の距離から類似度を算出し、類似した事例の出力フィールド値から推論値が算出される。未知事例と既知事例の間の距離は、入力フィールドの値を用いて定義される。例えばＭ個の入力フィールドからなるＮ個の既知事例があるとき、レコード内のj番目の入力フィールドと出力フィールドの関連度を重みW(j)として与える場合、i番目の既知事例I(i)と未知事例I'の距離D(i)は次の式で表される。
【００１３】
【数１】

【００１４】
ただし、I(i,j)はi番目の既知事例のj番目のフィールド値で、iは0以上N以下の整数、jは0以上M以下の整数。またI'(j)は未知事例のj番目のフィールド値を表す。曜日などの非数値型のフィールドに関しては、予め月、火、水などを０、１、２などの数値に変換しておく。
【００１５】
それぞれの既知事例が１個の未知事例に対して持つ類似度とは、その値が大きいほど類似性が高いことを意味する評価値のことである。i番目の事例が持つ類似度S(i)は次の式で表される。
【００１６】
【数２】

【００１７】
推論値は次式に示すように類似事例の出力フィールド値を平均することで得られる。
【００１８】
【数３】

【００１９】
ただし、O(i)はi番目の既知事例の出力フィールド値で、Cは類似事例として採用する既知事例番号の集合である。また、ＳはＳ(ｉ)の総和である。
【００２０】
以下、第１の実施の形態を説明する。図１は第１の実施形態における推論方法１００のフローチャートを表している。図１のフローは通常の計算機を用いて実行される。ステップ１０１は推論に使用するフィールド設定の入力を受ける処理、ステップ１０２は推論パラメータの入力を受ける処理である。ステップ１０２の終了後、ステップ１０３では推論対象の事例を未知事例として１個読み込む。ステップ１０４では式（２）を用いて類似度を決定する。ステップ１０５では類似事例の出力フィールド値と類似度を用いて確信度を決定する。ステップ１０６では類似事例から推論値を決定する。ステップ１０７ではステップ１０５で算出した確信度と、ステップ１０６で決定した推論値を出力する。
【００２１】
図２は本実施形態における推論システム２００のモジュール間のデータフローを示している。データファイル２０１には１個以上の未知事例が格納され、データファイル２０２には１個以上の既知事例が格納される。類似度算出手段２０３、推論値算出手段２０４、確信度算出手段２０５、出力手段２０６、フィールド設定入力手段２０７、および推論パラメータ入力手段２０８の各モジュールによって推論システムが構成される。
【００２２】
図３は第１の実施の形態で扱う入力データ３００を示している。データ３０１は既知事例を表すレコードデータの集まりで、１行目はフィールド名、２行目以降の各行が１個の既知事例を表している。また、データファイル２０２がデータ３０１を格納する。ここで、データファイル２０２に格納されている既知事例の総数をＮとする。
【００２３】
データ３０２、３０３はステップ１０１で受け付けるフィールド設定を示している。データ３０２の１行目は事例間の距離計算に用いるフィールド名である。２行目は出力フィールドの関係の強さを示す数値で、これらの数値は式（１）におけるフィールドの重みを意味する。データ３０３は出力フィールドを表している。
【００２４】
データ３０４は、ステップ１０２で入力を受け付ける推論パラメータを示している。データ３０４は、ユーザが許容できる当日生産量の推定誤差（許容誤差）を±１００以下に設定し、且つ推定誤差±１００以下を満たす類似事例の個数下限値（許容確信度）を１０個に設定することを示している。
【００２５】
本実施形態では、推定誤差を満たす類似事例の個数を推論の確信度と呼ぶ。確信度が大きいほど推論値の妥当性を支持する根拠が明確で、確信度を真値と比較した場合、推論値が許容誤差の範囲内に収まる可能性が高くなる。一方、確信度が小さいほど推論値が許容誤差の範囲内に収まる可能性が低くなる。
【００２６】
データ３０５は１個の未知事例を示している。図３の例では、「当日生産量」が出力フィールドであり、その他のフィールドは入力フィールドである。
【００２７】
図４のデータ４０１は本実施形態の出力４００を示している。データ４０１は当日生産量の推論値が3500で、確信度が15であることを表している。
【００２８】
以下図１のフローに従って本実施形態の処理を説明する。
【００２９】
設定入力手段２０８がステップ１０１を実行し、データ３０２、３０３をシステム内に読み込み、「稼働後経過日数」、「曜日」、「最高気温」、「最低気温」、「最高水温」及び「前日生産量」を入力フィールドに設定し、「当日生産量」を出力フィールドに設定する。推論パラメータ入力手段２０９がステップ１０２を実行し、データ３０４をシステム内に読み込む。ステップ１０２により、ユーザが許容可能な推論値の誤差、及び確信度が設定される。
【００３０】
類似度算出手段２０３はステップ１０３を実行し、データファイル２０１が格納しているデータ３０５の未知事例を１個システム内に読み込む。次に、類似度算出手段２０３はステップ１０４を実行し、式（１）と式（２）に従って、データファイル２０２が格納している全ての既知事例の未知事例に対する類似度を算出する。
【００３１】
図５のデータ５００はステップ１０４の出力を示している。データ５００の各行は各既知事例の類似度と出力フィールド値を表しており、類似度の降順に並んでいて、データの総数は既知事例の総数Ｎに等しい。
【００３２】
確信度算出手段２０５はステップ１０５を実行する。ステップ１０５は、データ５００を用いて類似度が大きい既知事例の出力フィールド値を使用して、推論の確信度を算出する。ステップ１０５の詳細を図６のフローチャート６００に示す。
【００３３】
ステップ６０１は変数を初期化する。ステップ６０２は、データ５０１を１行づつ処理するループの条件判定を行っている。
【００３４】
ステップ６０２でループの条件が真である場合、ステップ６０３が実行される。ｎはループ内で参照されるデータ５０１の行番号を表し、例えば、n=0のときは類似度=3.2の行が参照される。ステップ６０３は参照中の既知事例が許容誤差を満たしているか否かを判定する。変数ａはループ中で参照した出力フィールド値の最大値、変数ｂは最小値である。従って、変数ａ及びｂはループ繰り替えし中に随時変更される。変数Ｅはデータ３０４にある許容誤差の値である。
【００３５】
ステップ６０３で許容誤差の条件が真である場合、ステップ６０４が実行される。ステップ６０４はａを更新し、ステップ６０５はｂを更新する。配列O[i]はデータ５０１におけるi行目の出力フィールド値である。ステップ６０６はループカウンタｎを更新する。
【００３６】
ステップ６０２のループの条件が偽である場合、またはステップ６０２の条件が偽である場合、ステップ６０７が実行される。ステップ６０７は確信度Ｃを決定し、Ｃ＝ｎ−１が設定される。
【００３７】
ステップ６０７が実行された後、推論値算出手段２０４はステップ１０６を実行する。本実施形態では、ステップ６０７で確定した確信度Ｃは類似事例として採用する既知事例の個数を表している。ステップ１０６ではデータ５０１から類似度が大きい上位Ｃ個を使用して、式（３）に従って推論値を決定する。出力手段２０６はステップ１０７を実行し、推論値と確信度を出力する。
【００３８】
ステップ１０８の条件判定では、データファイル２０１の全ての未知事例を処理したかどうかを判定する。条件が偽である場合ステップ１０３から処理を繰り返す。条件が真である場合処理を推論処理は終了する。
【００３９】
このように、出力フィールド値が特定の範囲に収まる既知事例を類似事例として採用することで、事例の分布が一様ではない場合でも適切な類似事例を選択でき、また、選択された類似事例の数を推論の確信度として用いることに第１の実施形態の特徴がある。
【００４０】
次に、本発明における第２の実施の形態を説明する。第１の実施形態と第２の実施形態の相違点は、ステップ１０５の確信度算出ステップである。また、推論パラメータとしてデータ３０４の代わりにデータ３０６が用いられ、出力データとしてデータ４０２が得られる。
【００４１】
本実施形態において、データ３０６は採用する類似事例の個数、許容誤差、確信度を推論パラメータとして設定する。許容誤差はデータ３０４と同様である。ただし、第１の実施形態と異なり、本実施形態における確信度とは、許容誤差を満たす事例の個数が採用した類似事例に占める割合である。
【００４２】
出力データ４０２は推論値と確信度を表している。データ３０６を与えた場合、確信度０．９とは類似事例２０個中１８個の出力フィールド値が許容誤差を満たすことを意味する。
【００４３】
本実施形態におけるステップ１０５の詳細を図７のフローチャート７００に示す。ステップ７０１では類似事例として採用する既知事例の出力フィールド値を平均し、変数AVEに代入する。変数Ｍはデータ３０６で設定した類似事例数である。本実施形態では類似事例の個数がパラメータとして与えられるため、類似度が大きい上位Ｍ個をデータ５０１から取得することで、類似事例の出力フィールド値が得られる。
【００４４】
ステップ７０２ではカウンタ変数を初期化する。ステップ７０３では類似事例を１個ずつ参照するループの条件判定を行っている。
【００４５】
ステップ７０３のループの条件が真である場合、ステップ７０４が実行される。ステップ７０４、７０５では参照中の類似事例の出力フィールド値O[i]が、平均値ＡＶＥ−Ｅ以上で、且つＡＶＥ＋Ｅ以下の誤差許容範囲にあるか否かを判定する。出力フィールド値Ｏ［ｉ］が許容範囲にある場合ステップ７０６で変数ｎがカウントアップされる。ステップ７０７ではループカウンタをカウントアップする。
【００４６】
ステップ７０３のループの条件が偽である場合、ステップ７０７が実行されて確信度Ｃが決定される。
【００４７】
このように、類似事例の出力フィールド値のレンジ、及び許容誤差に収まる事例数を使って推論の確信度を算出することに本実施形態の特徴がある。
【００４８】
次に、第３の実施の形態を説明する。第１の実施形態と本実施形態を比較すると、事例との出力フィールド値が非数値であり、図１におけるステップ１０５の確信度算出ステップ、及びステップ１０６の推論値算出ステップが異なる。ただし、入力フィールドの扱いは変わらないため、その他の処理には影響を与えない。
【００４９】
本実施形態に与える入力データを図８に示す。
【００５０】
データ８０１はＮ個の既知事例、データ８０２は入力フィールド設定、データ８０３は出力フィールドの設定、データ８０４は推論パラメータ、データ８０５は未知事例である。第１の実施形態と比べて、本実施形態では推論パラメータ８０４が異なっている。データ８０６は類似度算出手段２０３が出力するデータを示している。
【００５１】
本実施形態では、「今回購入品目」のように出力フィールドが非数値型である場合、品目Ｈ１、品目Ｈ２のような非数値のフィールド値を予めいくつかのカテゴリに分類しておく。カテゴリの総数はフィールド値の種類の総数以下であれば良い。例えば、カテゴリ数を３つにする場合、一番目のカテゴリ値には品目Ｈ１とＨ２が属し、２番目のカテゴリには品目Ｈ３，Ｈ４，Ｈ５が属し、３番目のカテゴリにはそれ以外の品目が属する、などのように分類しておく。ただし、１種類のフィールド値が属するカテゴリの数は必ず１である。
【００５２】
本実施形態の推論の目的は、出力フィールドが非数値型である未知事例があるとき、最も確からしいカテゴリを算出することである。
【００５３】
データ８０４は、採用する類似事例の個数、許容確信度を推論パラメータとして設定することを示している。ただし、ある未知事例に対する類似事例の個数をＭ、最も確からしいカテゴリに属する類似事例の数をｍとしたとき、本実施形態の確信度はｍ／Ｍで与えられる。
【００５４】
本実施形態におけるステップ１０５の詳細を図９のフローチャート９００に示す。ステップ１０５はフロー９００のステップ９０１，９０２，９０３，９０４，９０５から構成される。ステップ９０１では配列m[i]が初期化される。ステップ９０２以降の処理で配列m[j]には、ｊ番目のカテゴリに属する類似事例の数が格納される。カテゴリの数をＣとしたとき、ｊは０以上Ｃ未満の整数をとる。変数Ｍはデータ８０４で設定した類似事例数である。本実施形態では類似事例の個数がパラメータとして与えられるため、類似度が大きい上位Ｍ個をデータ５０１から取得することで、類似事例の出力フィールド値が得られる。
【００５５】
ステップ９０２では類似事例を１個ずつ参照するループの条件判定を行う。ステップ９０３はカテゴリを表す変数ｊを設定し、ｊはO[i]が属するカテゴリの番号である。ステップ９０４では、ｊ番目のカテゴリに属する類似事例数をカウントアップする。
【００５６】
ステップ９０５では確信度を算出する。最も多くの類似事例が属するカテゴリを選び、このカテゴリに属する事例数が、類似事例の総数Ｍに占める割合を確信度とする。
【００５７】
ステップ１０５が終了した後、ステップ１０６では確信度算出時に用いたカテゴリを推論値として選択する。
【００５８】
データ４０３は本実施形態の出力データを示している。データ４０３は、未知事例における「今回購入品目」の推論値は「カテゴリ１」に属し、確信度は0.8であることを意味する。
【００５９】
このように、出力フィールドが非数値型である場合に、あるカテゴリに属する類似事例の個数を確信度として用いる点に本実施形態の特徴がある。
【００６０】
次に、本発明の第４の実施形態を説明する。図１０は第４の実施形態のフローチャートを表している。ステップ１０１，１０２は図１のステップと同様であり、またステップ１００３は図１中のステップ１０３、１０４、１０５，１０６，１０７から構成される。また、推論パラメータには第１の実施形態と同様にデータ３０４を用いる。
【００６１】
本実施形態は、２個以上の未知事例を推論する場合には、許容確信度を満たさない未知事例を選択し、推論パラメータを変更しながら推論処理を繰り返す手段を提供する。
【００６２】
図１１は本実施形態におけるモジュール間のデータフローを示している。図１１中の手段２０１、２０２、２０３、２０４、２０５、２０６、２０７、２０８は図２中の各手段と同様である。事例分類手段１１０１は推論処理の対象となる未知事例を選択し、確信度集計手段１１０２は複数の推論値の確信度を集計する。
【００６３】
ステップ１００１では各未知事例の確信度を０に初期化する。これによりステップ１０２以降では、１回目の推論で全ての未知事例が推論され、２回目以降の繰り返しでは、特定の事例のみが推論処理対象となる。ステップ１００２は推論処理対象となる事例を決定する。２回目以降の繰り返しでは、以下で述べる非許容事例が推論処理対象となる。
【００６４】
ステップ１００２では非許容事例、すなわち許容確信度を満たさない未知事例が選択される。ステップ１００３で全ての未知事例の確信度と推論値が算出された後、確信度集計手段１１０２によりステップ１００４が実行され、確信度が集計される。
【００６５】
図１２中のデータ１２０１はステップ１００４の処理結果を示している。許容事例とは、推論パラメータの許容誤差と許容確信度を満たす未知事例、すなわち、類似事例の出力フィールド値のばらつきが許容誤差以下で、且つ類似事例数が許容確信度に指定した値より大きい未知事例である。非許容事例とは、許容誤差もしくは許容確信度を満たさない未知事例である。ステップ１００４では、許容事例と非許容事例のそれぞれについて、事例数、確信度の平均値、誤差の平均値を算出する。ステップ１００５ではステップ１００４の処理結果を出力する。ステップ１００６では非許容事例について推論パラメータを変更して推論を再実行するか否かを問い合わせる。
【００６６】
このように、推論パラメータで設定した許容誤差、確信度を満たさない未知事例を選択的に再推論する手段を提供する点に本実施形態の特徴がある。
【００６７】
再推論の場合は、許容事例と非許容事例の状況を見ながら、推論パラメータをユーザが対話的に変更することが可能である。また、再推論時に使用するパラメータセットを予め用意しておき、対話的な操作をユーザに要求せず自動的に再推論を行うことも可能である。図１３のデータ１３００はパラメータセットを示しており、各行は再推論で使用するパラメータを表している。例えば、１回目の推論では許容誤差が１００、許容確信度が１０である。同様に、２回目の推論では許容誤差が１２０、許容確信度が１０である。
【００６８】
【発明の効果】
本発明によれば、事例の類似性に基づく推論において、事例の分布が一様でないような場合であっても、適切な推論値を得ることができ、また推論値の妥当性を判断できるよう適切な確信度を得ることができる。
【図面の簡単な説明】
【図１】推論方法の処理手続きである。
【図２】図１の処理方法を実現するモジュール間のデータフローである。
【図３】入力データの例である。
【図４】出力データの例である。
【図５】確信度算出モジュールが処理するデータの例である。
【図６】第１の実施の形態における確信度算出手続きである。
【図７】第２の実施の形態における確信度算出手続きである。
【図８】第３の実施の形態における入力データ、確信度算出モジュールが処理するデータの例である。
【図９】第３の実施の形態における確信度算出手続きである。
【図１０】第４の実施の形態の処理手続きである。
【図１１】第４の実施の形態を実現するモジュール間のデータフローである。
【図１２】第４の実施の形態の出力データ例である。
【図１３】第４の実施の形態の入力データ例である。
【符号の説明】
１００：推論方法のフローチャート、２００：モジュール間のデータフロー、
３００：入力データ、４００：出力データ、５００：出力データ

Claims

未知事例を1個以上格納する第1のデータファイルと、既知事例を1個以上格納する第2のデータファイルと、設定入力手段と、パラメータ入力手段と、類似度算出手段と、確信度算出手段と、推論値算出手段と、出力手段とを備え、
前記未知事例は、2個以上のフィールドを含むレコードからなり、該レコードは1個以上のフィールド値が不明である事例であり、
前記既知事例は、少なくとも2個以上のフィールドを含むレコードからなる事例であり、
前記設定入力手段は、値が分かっているフィールドである入力フィールドと、値が不明であるフィールドである出力フィールドを、前記既知事例におけるフィールド名あるいはフィールド番号で指定し、
前記パラメータ入力手段は、推定誤差の許容値を有する推論パラメータの入力を受け付け、
前記類似度算出手段は、前記未知事例を前記第1のデータファイルから読み込み、該未知事例と前記第2のデータファイルに格納された前記既知事例から、入力フィールドの値から算出される前記未知事例と前記既知事例の間の距離を用いて、1つ1つの既知事例に対して前記距離と類似度を算出し、
前記確信度算出手段は、前記類似度の大きい順に、前記未知事例の出力フィールドに対応する前記既知事例のフィールドの値を参照し、前記推定誤差の許容値に収まる前記既知事例を類似事例として採用し、該類似事例の個数であり、推論の確からしさを示す確信度を算出し、
前記推論値算出手段は、前記類似度の大きい順位に前記確信度が示す個数の前記既知事例を選択し、前記未知事例の出力フィールドに対応する該選択した既知事例のフィールドの値と前記類似度から前記未知事例の出力フィールドの推論値を算出し、
前記出力手段は、前記確信度と前記推論値を出力することを特徴とする推論システム。
請求項1記載の推論システムにおいて、
前記第1のデータファイルに未処理の前記未知事例が格納されている場合、前記パラメータ入力手段と前記類似度算出手段と前記確信度算出手段と前記推論値算出手段と前記出力手段の動作を繰り返すことを特徴とする推論システム。
請求項1 又は 2記載の推論システムにおいて、
前記確信度算出手段は、前記確信度に代えて、前記推定誤差を満たす事例の数を、前記類似事例の総数で除したものを確信度とすることを特徴とする推論システム。
請求項1 又は 2記載の推論システムにおいて、
事例の出力フィールド値が非数値型である場合、該フィールド値を予めいくつかのカテゴリに分類し、
前記確信度算出手段は、前記確信度に代えて、最も多くの類似事例が属する前記カテゴリの事例数を、前記類似事例の総数で除したものを確信度とすることを特徴とする推論システム。
請求項1 又は 2記載の推論システムにおいて、
事例分類手段と確信度集計手段と繰り返し手段を備え、
前記推論パラメータは、前記類似事例の確信度を利用者が許容する個数下限値を有し、
前記推定誤差の許容値を満たし、かつ、類似事例の数が前記個数下限値より多い未知事例を許容事例とし、
前記推定誤差の許容値を満たさない、又は、類似事例の数が前記個数下限値より少ない未知事例を非許容事例とし、
前記事例分類手段は、
1 回目の推論では全ての前記未知事例を選択し、
2 回目以降の推論では前記非許容事例を選択し、
前記確信度集計手段は、
前記許容事例と前記非許容事例について、事例数、確信度の平均値及び誤差の平均値を算出し、
前記出力手段は前記確信度集計手段の前記算出の結果を出力し、
前記繰り返し手段は、利用者に推論パラメータを変更して再度推論処理を行うか否かを問い合わせることを特徴とする推論システム。