JP5532804B2

JP5532804B2 - 信頼度判断装置、信頼度判断方法、及び信頼度判断用コンピュータプログラム

Info

Publication number: JP5532804B2
Application number: JP2009227060A
Authority: JP
Inventors: 浩中
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2009-09-30
Filing date: 2009-09-30
Publication date: 2014-06-25
Anticipated expiration: 2029-09-30
Also published as: JP2011077287A

Description

本発明は、統計的手法によって得られる推定モデルの信頼度を判断する技術に関する。

近年、加工中のプロセス装置の各種センサーデータに対して統計的手法を行うことによって、プロセスを推定するためのモデル（以下、「推定モデル」という。）を構築する取り組みが行われている。具体的には、推定モデルとは、多数のプロセス評価用ロットを用いた実測値からなる教師データ（目的変数及び説明変数の組み合わせ）を予め用意し、複数の教師データに対して統計的手法（多変量解析の重回帰分析など）を行うことによって得られる予測式である。推定モデルを用いることによって、検査装置にて実際に検査を行うことなく加工プロセス結果を判断することが可能であり、さらにテスト品の投入も削減できるため、今後も多く使われていくものである。

従来、量産現場で構築される推定モデルは、ある一定の短期間での目的変数及び説明変数を収集して構築されている。そのため、推定モデルを用いて製品を生産する中で、推定モデルの適正状態が維持できているか否かを適当な時期に判断する必要があった。

例えば、１年で新製品が導入される環境では、モデル生成のための目的変数及び説明変数のデータを半年や１年かけて収集していたのでは、推定モデルが完成したときにはそれを活用すべき機会が無くなってしまう。そのため、例えば１カ月のように短い期間に目的変数と相関が高い説明変数を選択し、推定モデルを構築しなければならない。したがって、推定モデルの構築用にデータを収集した期間よりも長い期間で変動する説明変数が存在した場合や、メンテナンス等により相関が高い説明変数の関係が変化した場合には、推定モデルの精度が低下してしまう可能性がある。もちろん、推定モデルを随時最新データに更新して構築し直すことが可能であればよいが、実際には教師データは容易に集められない場合が多い。そのため、推定モデル自体の信頼度を定期的に確認する必要があった。

一般的なプロセスの推定モデルでは、推定モデルの信頼度自体を確認するのではなく、推定モデルによって得られる予測値と、実際に測定して得られる実測値との差分を算出し、その差分が閾値以上となった場合にアラームを出すことが行われている。例えば、特許文献１では、半導体のＣＭＰ（Chemical Mechanical Polishing）装置にて、研磨時間を予測するモデル構築し、予測値と実測値の差が閾値以上となった場合にエラー判断を行うことが記述されている。また、特許文献２では、各種データ間の相関関係を抽出する方法が開示されている。

特開２００８−２５８５１０号公報特開２００６−８６４０３号公報

しかし、特許文献１に開示された技術では、単純に予測値と実測値の差分を見るだけであり、推定モデルの信頼度については判断されない。そのため、閾値設定問題となり、誤報との判断が難しい。また、特許文献２に開示された技術は、様々な条件の中から集められたデータの中からデータ間の関係を見つける事を目的としているため、データ群の分割・抽出があるだけで、推定モデルの信頼度を判断することはできない。

上記事情に鑑み、本発明は、推定モデルの信頼度を判断することが可能な信頼度判断装置、信頼度判断方法、及び信頼度判断用コンピュータプログラムを提供することを目的としている。

本発明の一態様は、信頼度判断装置であって、複数の実測値に基づいて統計的に求められた推定モデルについて、前記複数の実測値における説明変数の値の範囲を、各実測値の間の距離に基づいて、前記複数の区間に分割する区間分割部と、実測値が予め得られている推定対象物について、当該推定対象物における説明変数の値が、前記複数の区間のうちどの区間に属するか判定する区間判定部と、前記区間判定部によって判定された区間に属する前記複数の実測値と、当該区間における前記推定モデルによる推定結果とに基づいて、当該推定モデルの信頼度を判断する判断部と、を備え、前記区間分割部は、所定の軸に沿って連続して並ぶ実測値同士の距離を算出し、ユーザーによって選択された値よりも前記距離が大きい場合に、前記実測値同士の間に区間の境界を設定することによって、前記複数の区間に分割をすることを特徴とする。

本発明の一態様は、信頼度判断方法であって、情報処理装置が、複数の実測値に基づいて統計的に求められた推定モデルについて、前記複数の実測値における説明変数の値の範囲を、各実測値の間の距離に基づいて、前記複数の区間に分割する区間分割ステップと、前記情報処理装置が、実測値が予め得られている推定対象物について、当該推定対象物における説明変数の値が、前記複数の区間のうちどの区間に属するか判定する区間判定ステップと、前記情報処理装置が、前記区間判定ステップによって判定された区間に属する前記複数の実測値と、当該区間における前記推定モデルによる推定結果とに基づいて、当該推定モデルの信頼度を判断する判断ステップと、を備え、前記区間分割ステップにおいて、所定の軸に沿って連続して並ぶ実測値同士の距離を算出し、ユーザーによって選択された値よりも前記距離が大きい場合に、前記実測値同士の間に区間の境界を設定することによって、前記複数の区間に分割をすることを特徴とする。

本発明の一態様は、信頼度判断用コンピュータプログラムであって、複数の実測値に基づいて統計的に求められた推定モデルについて、前記複数の実測値における説明変数の値の範囲を、各実測値の間の距離に基づいて、前記複数の区間に分割する区間分割ステップと、実測値が予め得られている推定対象物について、当該推定対象物における説明変数の値が、前記複数の区間のうちどの区間に属するか判定する区間判定ステップと、前記区間判定ステップによって判定された区間に属する前記複数の実測値と、当該区間における前記推定モデルによる推定結果とに基づいて、当該推定モデルの信頼度を判断する判断ステップと、をコンピュータに対して実行させ、前記区間分割ステップにおいて、所定の軸に沿って連続して並ぶ実測値同士の距離を算出し、ユーザーによって選択された値よりも前記距離が大きい場合に、前記実測値同士の間に区間の境界を設定することによって、前記複数の区間に分割をするためのものである。

本発明により、推定モデルの信頼度を判断することが可能となる。

信頼度判断装置の機能構成を表す概略ブロック図である。目的変数と、説明変数と、推定モデルとの例を表す図である。信頼度判断装置の処理の流れを表すフローチャートである。分布係数算出部による分布係数算出処理の流れを表すフローチャートである。

図１は、信頼度判断装置１の機能構成を表す概略ブロック図である。信頼度判断装置１は、バスで接続されたＣＰＵ（Central Processing Unit）やメモリや補助記憶装置などを備え、信頼度判断用コンピュータプログラムを実行することによって、区間分割部１００、分布係数算出部１０１、区間判定部１０２、判定部１０３、寄与率算出部１０４、分散比算出部１０５、比較部１０６、出力部１０７を備える装置として機能する。なお、信頼度判断装置１の各機能の全て又は一部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）等のハードウェアを用いて実現されても良い。

推定モデルは、多数のプロセス評価用ロットを用いた実測値からなる複数の教師データ（目的変数及び説明変数の組み合わせ）を予め用意し、複数の教師データに対して統計的手法（多変量解析の重回帰分析など）を行うことによって得られる予測式である。このようにして得られる推定モデルは、例えば生産を続ける中で良品判定や消耗状態などのプロセスの変化状態の特徴を表すために用いられる。ある頻度でテスト評価用ロットを装置にて処理することで、データ（以下、「テストデータ」という。）が得られる。テストデータは、テスト評価用ロットについての説明変数の値と、テスト評価用ロットについて実際に測定を行うことによって得られる目的変数の実測値とを有する。信頼度判断装置１は、多変量解析の重回帰分析などの統計的手法により構築された推定モデルと推定モデルの構築に用いられた全ての教師データとテストデータとを入力として受け付け、教師データ及びテストデータに基づいて推定モデルの信頼度を判断し、判断結果を出力する。このような処理を行うため、信頼度判断装置１の各機能部は以下のように動作する。

区間分割部１００は、区間分割処理を実行することによって、推定モデルを生成した際に用いられた説明変数の値の範囲を分割し複数の区間を形成する。区間分割処理の詳細については後述する。分布係数算出部１０１は、分布係数算出処理を実行することによって、各区間での分布係数を算出する。分布係数算出処理の詳細については後述する。区間判定部１０２は、入力されたテストデータが区間分割部１００によって形成された複数の区間のどの区間に所属するか判定する。判定部１０３は、テストデータが所属する区間において、推定モデル生成時に十分なデータ分布が存在していたか否かを判定する。寄与率算出部１０４は、テストデータが所属する区間の寄与率を算出する。分散比算出部１０５は、テストデータが所属する区間の分散比を計算する。比較部１０６は、テストデータが所属する区間について寄与率と分散比とを比較し信頼度の判断を行う。出力部１０７は、音声出力部や表示部によって、判定部１０３による判定結果、又は比較部１０６による判断結果を信頼度判断装置１のユーザーに対して出力する。また、出力部１０７は、ユーザーに対してではなく、他の装置に対して判断結果を表すデータを出力するように構成されても良い。

図２は、目的変数と、説明変数と、推定モデルとの例を表す図である。教師データとなる目的変数及び説明変数は、図２における各黒い点であり、例えば半導体製造装置がプロセス評価用ロットを処理した際に得られる。推定モデルは、図２における直線であり、目的変数及び説明変数から多変量解析の重回帰分析などによって得られる。なお、図２では、目的変数及び説明変数の種類がそれぞれ一つであるが、それぞれ複数であっても良い。また、推定モデルとは、線形あるいは非線形を含めた実測に対する近似直線や曲線を意味する。

図２において、縦に伸びる複数の波線は各区間の境界を表す。各区間の境界は、区間分割部１００の区間分割処理によって決定される。各区間の幅、即ち境界の間の区間の長さは一律ではなく、区間毎に決まる。また、各区間に含まれる教師データの数も一律ではなく、区間毎に決まる。

図３は、信頼度判断装置１の処理の流れを表すフローチャートである。まず、区間分割部１００は、推定モデルの説明変数のデータ範囲を、区間分割処理の実行によって複数の区間に分割する。そして、分布係数算出部１０２は、各区間について分布係数算出処理を実行することによって分布係数を算出する（ステップＳ１０１）。分割後の区間は、図３のように隣同士でオーバーラップしないように設定されても良いし、隣同士で一部がオーバーラップするように（重なり合うように）設定されても良い。分布係数は、推定モデルの構築時の教師データの数が十分であったか否か、且つ、１点に集中せずに分散していたか否かを表す。

図４は、区間分割部１００及び分布係数算出部１０１による区間分割処理及び分布係数算出処理の流れを表すフローチャートである。まず、ユーザーによってランクが決定される（ステップＳ２０１）。ランクとは、同一区間に含まれるデータ点同士の距離の許容値を表す値である。ランクが大きいほど、大きく離れたデータ点同士が同一区間に含まれることとなり、ランクが小さいほど、接近したデータ同士のみが同一区間に含まれることとなる。例えば、予め複数のランクが設定されており、ユーザーはその中から一つのランクを選択するように構成されても良い。また、ランクの値は、隣接するデータ点間の距離の平均値の整数倍や、最頻値の整数倍や、中央値の整数倍や、平均値のべき乗や、最頻値のべき乗や、中央値のべき乗などに設定されても良い。

区間分割部１００は、一つの基準点と一つの隣接点とを選択する。具体的には、区間分割部１００は、一つ前の区間の終端の次のデータ点（一つ前の区間が無い場合は、最初のデータ点）から順番に基準点として選択し、さらに基準点の次の順番のデータ点を隣接点として選択する（ステップＳ２０２）。データ点とは、一つの教師データを表す点であり、図２に表される一つの黒い点である。また、上記の順番とは、説明変数の軸にそって小さい方から大きい方への順でも良いし、目的変数の軸や両方の軸にそって小さい方から大きい方への順でも良いし、いずれかの軸に沿って大きい方から小さい方への順でも良いし、その他の順であっても良い。

次に、区間分割部１００は、基準点と隣接点との間の距離（以下、「隣接間距離」という。）を算出する（ステップＳ２０３）。次に、区間分割部１００は、算出された隣接間距離が、ステップＳ２０１において選択されたランクの値よりも大きいか否か判定する（ステップＳ２０４）。隣接間距離がランクの値以下である場合（ステップＳ２０４−ＮＯ）、区間分割部１００は、現在の処理対象となっている基準点と隣接点とが同一の区間に属するデータ点であると判定し、基準点及び隣接点をそれぞれ次の点に移す（ステップＳ２０５）。具体的には、区間分割部１００は、それまで隣接点だったデータ点を新たな基準点とし、この基準点の次の順のデータ点を新たな隣接点としてそれぞれ選択する。そして、分布係数算出部１０１は、新たな基準点と隣接点との隣接間距離を算出し（ステップＳ２０３）、ランクの値との比較を行う（ステップＳ２０４）。

一方、ステップＳ２０４の処理において隣接間距離がランクの値よりも大きい場合（ステップＳ２０４−ＹＥＳ）、区間分割部１００は、現在の処理対象となっている基準点を区間の終端に位置するデータ点であると判定し、現在の処理対象となっている隣接点との間に区間の境界線を設定する（ステップＳ２０６）。次に、分布係数算出部１０１は、区間分割部１００によって新たに設定された区間について、隣接間距離の累計を算出し（ステップＳ２０７）、区間内に存在するデータ点の個数をカウントする（ステップＳ２０８）。

そして、分布係数算出部１０１は、ステップＳ２０７で算出された累計を、ステップＳ２０８でカウントされたデータ数から１を減算した値で除算することによって、この区間の分布係数を算出する（ステップＳ２０９）。具体的には、ステップＳ２０７で算出された累計をΣＤとし、ステップＳ２０８でカウントされたデータ数をｎとすると、この区間の分布係数Ｍは以下の式によって表される。
Ｍ＝ΣＤ／（ｎ−１）・・・（式０）

次に、区間分割部１００は、全てのデータ点を基準点又は隣接点としてステップＳ２０２〜Ｓ２０９の処理を行ったか否か判定し（ステップＳ２１０）、基準点又は隣接点として選択されていないデータ点が残らなくなるまでステップＳ２０２〜Ｓ２０９の処理を繰り返し実行する（ステップＳ２１０−ＮＯ）。なお、ステップＳ２０２に処理が戻った場合には、区間分割部１００は、最後に隣接点として選択された点を新たな基準点として選択し、さらに新たな基準点の次の順のデータ点を新たな隣接点として処理を行う。

一方、基準点又は隣接点として選択されていないデータ点がなくなると（ステップＳ２１０−ＹＥＳ）、区間分割部１００及び分布係数算出部１０１は、区間分割処理及び分布係数算出処理を終える。なお、ステップＳ２０２の処理において、新たに選択する隣接点が存在しない場合は、その時点でステップＳ２０６の処理に飛び、ステップＳ２０６以降の処理を実行する。

分布係数算出処理が終了すると、区間判定部１０２が、テストデータが区間分割部１００によって形成された複数の区間のどの区間に所属するか判定する（ステップＳ１０２）。次に、判定部１０３が、ステップＳ１０２で判定された区間における分布係数が閾値以上であるか否か判定する（ステップＳ１０３）。分布係数が閾値未満である場合（ステップＳ１０３−ＮＯ）、すなわち推定モデル生成時に十分な数の教師データが存在していなかった場合、判定部１０３は、推定モデル生成時の教師データが少ないためモデル信頼度を判断できないと判断する（ステップＳ１０４）。この場合、出力部１０７は、判定部１０３による「モデル信頼度判断不能」という判断結果を出力する。

一方、分布係数が閾値より大きい場合（ステップＳ１０３−ＹＥＳ）、すなわち推定モデル生成時に十分な数の教師データが存在していた場合、寄与率算出部１０４が、ステップＳ１０２で判定された区間の推定モデルの寄与率を算出する（ステップＳ１０５）。具体的には、寄与率算出部１０４は以下の式１にしたがって推定モデルの寄与率を算出する。なお、式１におけるｉの値は、各教師データの識別情報を表す。Ｙｉ_ｐｒｅは説明変数がＸｉであるときに推定モデルによって算出される予測値を表し、ａ＋ｂＸｉに等しい。Ｙｉは説明変数がＸｉであるときの実測値を表し、教師データから得られる。また、Ｙ_ａｖｅは、実測値の平均値を表す。また、式１に用いられる説明変数Ｘｉは、教師データとして存在する説明変数Ｘｉのうち、ステップＳ１０２で判定された区間に属するもの全てである。したがって、Ｙ_ａｖｅは、教師データのうちその説明変数ＸｉがステップＳ１０２で判定された区間に属するもの全ての教師データにおける目的変数の実測値の平均値を表す。

式１では、ステップＳ１０２で判定された区間に属する各教師データの実測値と平均値との差分の二乗の累積値を、各予測値と平均値との差分の二乗の累積値で除算した値が寄与率として得られる。ここで、寄与率は、推定モデルの適合度を示す値である。寄与率の算出方法は、数１にしたがった方法に限定されず、実測値に対する予測値の適合度合いを表す値が算出できれば、例えば実測値と予測値との差分値を寄与率とするように他の算出方法であっても良い。

次に、分散比算出部１０５が、ステップＳ１０２で判定された区間での推定モデル生成時の教師データの中心に対して、テスト評価用ロットの予測値と実測値との分散の比率を計算する。具体的には、分散比算出部１０５は以下の式２にしたがって分散比を算出する。なお、Ｙｔ_ｐｒｅは、説明変数がテストデータの説明変数Ｘｔであるときに推定モデルによって算出される予測値を表し、ａ＋ｂＸｔに等しい。Ｙｔは説明変数がＸｔであるときの実測値を表し、テストデータから得られる。また、Ｙ_ａｖｅは、実測値の平均値を表す。また、式２に用いられる説明変数Ｘｔは、テストデータとして存在する説明変数Ｘｔのうち、ステップＳ１０２で判定された区間に属するもの全てである。したがって、Ｙ_ａｖｅは、テストデータのうちその説明変数ＸｔがステップＳ１０２で判定された区間に属するもの全てのテストデータにおける目的変数の実測値の平均値を表す。

式２では、ステップＳ１０２で判定された区間に属する各テストデータの実測値と平均値との差分の二乗の累積値を、各予測値と平均値との差分の二乗の累積値で除算した値が分散比として得られる。ここで、分散比は、推定モデルの適合度を示す値である。分散比の算出方法は、数２にしたがった方法に限定されず、実測値に対する予測値の適合度合いを表す値が算出できれば、例えば実測値と予測値との差分値を分散比とするように他の算出方法であっても良い。

比較部１０６は、寄与率算出部１０４によって算出された寄与率と分散比算出部１０５によって算出された分散比とを比較する（ステップＳ１０７）。分散比が寄与率よりも大きい場合（ステップ１０７−ＹＥＳ）、比較部１０６は、推定モデルの信頼度は高いと判断し、推定モデルの再構築は不要と判断する（ステップＳ１０８）。一方、分散比が寄与率以下である場合（ステップ１０７−ＮＯ）、比較部１０６は、推定モデルの信頼度は低いと判断し、推定モデルの再構築が必要と判断する（ステップＳ１０９）。ステップＳ１０８又はステップＳ１０９の処理の後、出力部１０７は判断結果を出力する。

信頼度判断装置１は、実際の製造装置内の演算装置や個々の製造装置とは関係ない独立の情報処理装置として実現されても良い。
このように構成された信頼度判断装置１によれば、一度構築した推定モデルの安定性を、新たなプロセス評価用ロットに基づいた新たな教師データを改めて準備することなく容易に判定することが可能となり、推定モデルの信頼度を容易に確認することが可能となる。特に、ユーザーによって選択されたランクの値に基づいて区間分割部１００が区間を動的に決定するため、ユーザーは用途や環境などに応じてランクを適宜選択することによって信頼度判断の精度を選択することが可能となる。

また、信頼度判断装置１によれば、一度構築した推定モデルの信頼度を、教師データの区間別に判断しており、教師データが少ない区間については推定モデルの信頼度を判断することなく「判断不能」とするため、教師データが少ない区間において誤報を出力してしまうことを防ぐことが可能となる。

また、信頼度判断装置１によれば、推定モデルの信頼度の判断において、推定モデルの再構築に必要な程度の多くのプロセス評価用ロットを用いた多くの教師データによって判断を行うのではなく、少ない数のテスト評価用ロットを用いた少ないテストデータによって判断を行う。そのため、実測を行うテスト評価用ロットの数を減らすことが可能であり、テスト評価用ロットではなく実際の製品に係る処理の効率を向上させることが可能となる。

また、信頼度判断装置１によれば以下のようなことも可能となる。すなわち、ある短期間で相関が高いパラメータを選択して構築した推定モデルは、より長い期間で検討した場合に本来は必要である相関パラメータを入れずに構築している場合が存在する。しかしながら、信頼度が低下した場合にはすぐに再構築が必要であることを判断することが可能であるため、そのような短期間に得られた教師用データにより構築された推定モデルであっても実運用することが可能となる。したがって、推定モデルが完成した時には該当製品の生産が終了していたというような状況を避ける事が可能となる。

なお、信頼度判断装置１の活用例としては、装置のセンサーデータを活用してプロセス内容を推定する半導体装置が挙げられる。

＜変形例＞
比較部１０６は、ステップＳ１０７の評価ロットの分散比が寄与率より小さい回数が一定回数以上繰り返された場合に、推定モデルの再構築が必要と判断しても良い。

分布係数算出部１０１は、ステップＳ２０７において隣接間距離の区間累計を算出する際に、ある基準点と隣接点との隣接間距離が所定の閾値よりも小さい場合には、この隣接間距離を累計に用いずに、所定の閾値を超える隣接間距離が得られるまで基準点はそのままで次の順番の点を新たな隣接点として隣接間距離を算出し、所定の閾値を超えた隣接間距離のみを累計に用いるように構成されても良い。この場合、分布係数算出部１０１は、ステップＳ２０８においてデータ数をカウントする際に、ステップＳ２０７において累計に用いられなかった隣接点の数をカウントから外すように構成されても良い。

図４のフローチャートでは、区間分割部１００が一つの区間を設定する度に当該区間について分布係数算出部１０１が分布係数を算出する流れとなっているが、区間分割部１００がステップＳ２０２〜ステップＳ２０６の処理を繰り返し実行することによって全ての区間を設定し、その後に分布係数算出部１０１がステップＳ２０７〜２０９の処理を繰り返し実行することによって全ての区間について分布係数を算出しても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１…信頼度判断装置，１００…区間分割部，１０１…分布係数算出部，１０２…区間判定部，１０３…判定部，１０４…寄与率算出部，１０５…分散比算出部，１０６…比較部（判断部），１０７…出力部

Claims

複数の実測値に基づいて統計的に求められた推定モデルについて、前記複数の実測値における説明変数の値の範囲を、各実測値の間の距離に基づいて、前記複数の区間に分割する区間分割部と、
実測値が予め得られている推定対象物について、当該推定対象物における説明変数の値が、前記複数の区間のうちどの区間に属するか判定する区間判定部と、
前記区間判定部によって判定された区間に属する前記複数の実測値と、当該区間における前記推定モデルによる推定結果とに基づいて、当該推定モデルの信頼度を判断する判断部と、を備え、
前記区間分割部は、所定の軸に沿って連続して並ぶ実測値同士の距離を算出し、ユーザーによって選択された値よりも前記距離が大きい場合に、前記実測値同士の間に区間の境界を設定することによって、前記複数の区間に分割をすることを特徴とする信頼度判断装置。
情報処理装置が、複数の実測値に基づいて統計的に求められた推定モデルについて、前記複数の実測値における説明変数の値の範囲を、各実測値の間の距離に基づいて、前記複数の区間に分割する区間分割ステップと、
前記情報処理装置が、実測値が予め得られている推定対象物について、当該推定対象物における説明変数の値が、前記複数の区間のうちどの区間に属するか判定する区間判定ステップと、
前記情報処理装置が、前記区間判定ステップによって判定された区間に属する前記複数の実測値と、当該区間における前記推定モデルによる推定結果とに基づいて、当該推定モデルの信頼度を判断する判断ステップと、を備え、
前記区間分割ステップにおいて、所定の軸に沿って連続して並ぶ実測値同士の距離を算出し、ユーザーによって選択された値よりも前記距離が大きい場合に、前記実測値同士の間に区間の境界を設定することによって、前記複数の区間に分割をすることを特徴とする信頼度判断方法。
複数の実測値に基づいて統計的に求められた推定モデルについて、前記複数の実測値における説明変数の値の範囲を、各実測値の間の距離に基づいて、前記複数の区間に分割する区間分割ステップと、
実測値が予め得られている推定対象物について、当該推定対象物における説明変数の値が、前記複数の区間のうちどの区間に属するか判定する区間判定ステップと、
前記区間判定ステップによって判定された区間に属する前記複数の実測値と、当該区間における前記推定モデルによる推定結果とに基づいて、当該推定モデルの信頼度を判断する判断ステップと、をコンピュータに対して実行させ、
前記区間分割ステップにおいて、所定の軸に沿って連続して並ぶ実測値同士の距離を算出し、ユーザーによって選択された値よりも前記距離が大きい場合に、前記実測値同士の間に区間の境界を設定することによって、前記複数の区間に分割をするための信頼度判断用コンピュータプログラム。