JP7006612B2 - 評価システム、評価方法および評価用プログラム - Google Patents

Description

本発明は、予測モデルに基づいて決定された内容を評価する評価システム、評価方法および評価用プログラムに関する。

一般に、真のモデルは不明であるため、真のモデルから生成されるデータを基に予測モデルを推定することが行われている。予測モデルが推定できれば、そのモデルに基づいて、将来の状態を予測することが可能になり、その状態に基づいて様々な戦略を立てることも可能になる。

特許文献１には、商品の発注計画を決定する発注計画決定装置が記載されている。特許文献１記載の発注計画決定装置は、価格ごとの商品の需要を予測し、予測された需要を用いて価格と発注量とを入力とし且つ利益を出力とする目的関数の最適化問題を解くことにより、利益が最大となる商品の価格と発注量の組み合わせを算出する

特開２０１６－１１０５９１号公報

予測に基づく戦略の一つとして、予測に基づいて最適化した結果の効果を見積もることが挙げられる。具体的には、不明である真のモデルから生成されるデータを基に予測モデルを推定し、推定された予測モデルをもとに最適解を計算する。そして、その最適解を予測モデルを用いて評価することで、その最適解による効果を見積もる。

しかし、本発明者は、真のモデルから生成されるデータを基に予測モデルを生成し、その予測モデルをもとに最適解を計算して、その結果を予測モデルで評価すると、実際の評価結果よりも良い方向へのバイアスが生じてしまうことを発見した。

例えば、予測結果に基づいて価格を決定する場面では、期待利益を予測モデルに基づいて単純に見積もると、真の利益との間に差が生じてしまうという現象である。特に、この場合には、平均値の観点で、より儲かりがちな期待利益が算出されてしまう。このことを、以下、具体的に説明する。

今、Ｍ個の製品が存在するものとし、そのインデックスをｍ∈｛１，…，Ｍ｝で表す。価格ｐ∈Ｒ^Ｍにおける販売数量ｑ∈Ｒ^Ｍは、例えば、以下の式１で示すモデルで算出される。

式１において、｛ψ_ｄ：Ｒ^Ｍ→Ｒ^Ｍ｝^Ｄ _ｄ＝１は、固定された基底関数であり、｛θ^＊ _ｄ｝⊆Ｒは、真の係数である。θ^＊＝［θ^＊ _１，…，θ^＊ _ｄ］^Ｔ∈Ｒ^Ｄとし、ψ（ｐ）＝［ψ_１（ｐ），…，ψ_ｄ（ｐ）］とすると、総売上は、以下の式２で表される。

式２の期待値をｆ（ｐ，θ^＊）とすると、期待値は、例えば、以下の式３で表される。

このとき、ｐ∈Ｐの制約の元、期待される総売上を最大化する問題は、以下の式４で表される。

しかし、実際の状況では、真の係数θ^＊を知ることはできない。そのため、一般に、推定値θハット（θに上付き＾）によって、θ^＊が置き換えられ、以下の式５で示す最適な戦略が計算される。

θハットがバイアスのない評価器である場合、ｆ（ｐ，θハット）は、全てのｐ∈Ｐについて、ｆ（ｐ，θ^＊）のバイアスのない評価器である。そのため、最適値ｆ（ｐ（θハット），θハット）もまた、バイアスのない期待される真の総売上ｆ（ｐ（θハット），θ^＊）の評価器とも考えられる。しかし、実際にはそうでなく、以下の式６に示す関係が成り立つ。

式６の意味するところは、たとえθハットにバイアスがなかったとしても、ｆ（ｐ（θハット），θハット）は、バイアスのないｆ（ｐ（θハット），θ^＊）の評価器ではないかもしれない、ということである。バイアスのないｆ（ｐ（θハット），θ^＊）を構築するためには、以下の式７で示すバイアス項を評価する必要があると言える。

そこで、本発明は、予測に基づく最適解を、理論的にバイアスを生じさせることなく評価できる評価システム、評価方法および評価用プログラムを提供することを目的とする。

本発明による評価システムは、真のモデルから生成されたデータを用いて推定される予測モデルが存在するときに、その予測モデルを基に計算される最適解を、予測モデルに基づく評価と真のモデルに基づく評価との間に生ずるバイアスを考慮して評価する評価部を備えたことを特徴とする。

本発明による評価方法は、真のモデルから生成されたデータを用いて推定される予測モデルが存在するときに、その予測モデルを基に計算される最適解を、予測モデルに基づく評価と真のモデルに基づく評価との間に生ずるバイアスを考慮して評価することを特徴とする。

本発明による評価用プログラムは、コンピュータに、真のモデルから生成されたデータを用いて推定される予測モデルが存在するときに、その予測モデルを基に計算される最適解を、予測モデルに基づく評価と真のモデルに基づく評価との間に生ずるバイアスを考慮して評価する評価処理を実行させることを特徴とする。

本発明によれば、予測に基づく最適解を、理論的にバイアスを生じさせることなく評価できる。

本発明による評価システムの第１の実施形態の構成例を示すブロック図である。 第１の実施形態の評価システムの動作例を示すフローチャートである。 第１の実施形態の変形例における評価システムの動作例を示すフローチャートである。 第２の実施形態の評価システムの動作例を示すフローチャートである。 第２の実施形態の評価システムの他の動作例を示すフローチャートである。 本発明による評価システムの概要を示すブロック図である。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。

まず、以下の説明で用いる記号を説明する。θ∈Ｒ^ｐは、パラメータである。Ｚは、実現可能な解決策の集合である。ｆ：Ｚ×Ｒ^ｐ→Ｒは、目的関数である。ｚ（θ）は、目的関数ｆ（ｚ，θ）の最適解であり、

である。

θ^＊は、真の係数であり、θハットは、推定されるパラメータ（ランダム値）である。また、Θは、ｚ（θ）が一意に決定されるθ∈Ｒ^ｐの集合であり、

である。

次に、本発明における問題設定を説明する。本発明では、推定された最適解に基づく真の目的関数の値ｆ（ｚ（θハット），θ^＊）を知りたいものとする。ただし、推定された最適解に基づく推定された目的関数の値ｆ（ｚ（θハット），θハット）は、ｆ（ｚ（θハット），θ^＊）の適切な評価器ではない。すなわち、以下の式８に示すようなバイアスを有する。

そこで、本発明では、以下の式９を満たすｆ（ｚ（θハット），θ^＊）の評価器ρ（θハット）を構築することを目標とする。

実施形態１．
まず、本発明の第１の実施形態を説明する。本実施形態では、以下の内容を想定する。まず、本実施形態において、最適解ｚ（θ）は、ほぼ全てのθについて一意に決定されるものとする。例えば、μがＲ^ｐにおけるルベーグ測度の場合、μ（Ｒｐ＼Θ）＝０である。

Ｚは、有限集合であるか、Ｒ^ｄのコンパクト部分集合であるとする。また、

は、連続性のある単射である。以上の想定のもと、本発明の実施形態を図面を参照して説明する。

図１は、本発明による評価システムの第１の実施形態の構成例を示すブロック図である。本実施形態の評価システム１００は、入力部１０と、評価部２０と、出力部３０と、記憶部４０とを備えている。

入力部１０は、評価部２０が評価に使用する各種データの入力を受け付ける。記憶部４０は、入力部１０から入力されたデータや、各種パラメータを記憶する。記憶部４０は、例えば、磁気ディスク等により実現される。

評価部２０は、予測に基づいて導出される最適解を、その予測を行う予測モデルで想定する真のモデルに基づいて評価する。

具体的には、評価部２０は、想定される真のモデルθから生成されたデータを用いて、θハットを推定し、推定されたθハットに基づくモデルから再びデータを生成して、θハットハットを推定する。以下、このデータ生成プロセスが繰り返される。すなわち、評価部２０は、バイアスの算出を繰り返すことで、実際のバイアスを見積もる。

本実施形態では、ブートストラップ法を用いて、バイアスなく評価する方法を説明する。また、本実施形態では、評価の具体例として、売上最適化の例を説明する。

例えば、Ｘを価格ベクトルの集合とし、Ｙを売上数量のベクトルの集合とする。そして、価格および売上数量は、Ｘ×Ｙの確率分布Ｆに従うと想定する。値ｘからｙを予測する回帰モデル｛ｒ（・；θ）：Ｘ→Ｙ｜θ∈Θ｝の中から、損失関数ｌ：Ｘ×Ｙ×Ｙに関する最善のモデルは、以下の式１０で与えられる。

回帰モデル｛ｒ（・；θ）：Ｘ→Ｙ｜θ∈Θ｝が真のモデルを含み、それがθ^＊で表記される場合、所定の想定のもとで上記式１０が成り立つ。しかし、実際の場面では、真の分布Ｆを知ることができないため、θ^＊の評価器θハットを計算するために、データによって定義される経験的な分布Ｆハット（Ｆに上付き＾）が通常使用される。この場合、θハットは、以下の式１１のように計算される。

例えば、（ｘ，ｙ）～Ｆが、ｙ～Ｎ（ｗ^＊Ｔｘ，σＩ）で与えられる場合、所定の想定のもとで、以下の式１２が成り立つ。

Ｆから生成されるサンプル｛（ｘ_ｊ，ｙ_ｊ）｝^Ｎ _ｊ＝１からｗ^＊を推定する場合、評価部２０は、以下の式１３に示すｗハット（ｗに上付き＾）を計算する。式１３において、Ｆハットは、｛（ｘ_ｊ，ｙ_ｊ）｝^Ｎ _ｊ＝１によって定義される経験的な分布である。

また、Ｘ×Ｙの任意の確率分布Ｆ´について以下の式１４に示すＴ（Ｆ´）を定義することにより、評価部２０は、θ^＊＝Ｔ（Ｆ）およびθハット＝Ｔ（Ｆハット）を得る。

模範的な価格最適化によって獲得される実益は、ｆ（ｚ（Ｔ（Ｆハット）），Ｔ（Ｆ））と表現できる。したがって、知りたいことは、以下の式１５で示す分布である。式１５において、ε_Ｎ（Ｆ）は、Ｆから生成される独立したＮ個のサンプルによって与えられた経験的分布の確率分布である。

ここで、“Ｆハット～ε_Ｎ（Ｆ）”がＮ→∞のとき、Ｆに向かって収束することに注目する。具体的には、Ｆハットの分布関数は、点ごとにＦの分布関数にほぼ確実に収束する。Ｆは不明なため、上述する式１５の分布を直接推定することは困難である。そこで、上記式１５の分布の代わりに、以下の式１６に示す分布を考慮する。

式１６は、以下の式１７のように近似できる。

上記式１７に示す分布は、いくつかの正則性条件のもとで、上記式１６に示す分布に収束する。したがって、十分に大きなＮのもとで、以下に示す式１８が期待される。

なお、ＴがＦにおいて二次コンパクト微分可能であるとし、全てのｚ∈Ｚにおいて、ｆ（ｚ，θ）がθに関して連続であるとする。この場合、上記式１６に示す分布関数は、Ｆの分布関数に向けて、

のオーダで収束する。すなわち、任意のα∈Ｒについて、以下の式１９が成り立つ。

そして、ＴがＦにおいて二次コンパクト微分可能であるとし、全てのｚ∈Ｚにおいて、ｆ（ｚ，θ）がθに関して連続であるとした場合、以下の式２０が得られる。

なお、確率変数の順序｛Ｘ_ｎ｝の場合、Ｘ_ｎ＝Ｏ_ｐ（ａ_ｎ）は、以下に示す式２１を意味する。

出力部３０は、評価結果を出力する。具体的には、出力部３０は、上記式１８の右側の式により算出される評価結果を出力する。

入力部１０と、評価部２０と、出力部３０とは、プログラム（評価用プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、記憶部４０に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、入力部１０、評価部２０および出力部３０として動作してもよい。

また、入力部１０と、評価部２０と、出力部３０とは、それぞれが専用のハードウェアで実現されていてもよい。また、記憶部４０は、例えば、磁気ディスク等により実現される。

次に、本実施形態の評価システムの動作を説明する。図２は、本実施形態の評価システムの動作例を示すフローチャートである。

まず、入力部１０は、Ｎ個のサンプルＸ＝｛ｘ_１，…，ｘ_Ｎ｝と、Ｍ∈｛１，２，…｝を入力する（ステップＳ１１）。ここで、ｊ＝１，…，Ｍについて、ブートストラップ法に基づくＸ_ｊをＸからのＮ個のランダムサンプルであるとする。

評価部２０は、Ｘから漸近正規性をもつ推定値θハットを計算する（ステップＳ１２）。評価部２０は、ＸからＮ個のランダム復元抽出を行い、Ｘ_ｊとする。これを、ｊ＝１，２，…，Ｍに対して行う（ステップＳ１３）。また、同様に、評価部２０は、Ｘ_ｊからθ_ｊハットを計算する（ステップＳ１４）。そして、評価部２０は、以下の式２２に示すｚを計算する（ステップＳ１５）。すなわち、評価部２０は、ｚの計算をＭ回繰り返す。

出力部３０は、以下の式２３で示すρを出力する（ステップＳ１６）。

なお、図２に例示する動作の理論的保証は、上記の式２０に示されている。

以上のように、本実施形態では、評価部２０が、予測モデルを基に計算される最適解を、予測モデルに基づく評価と真のモデルに基づく評価との間に生ずるバイアスを考慮して評価する。よって、予測に基づく最適解を、理論的にバイアスを生じさせることなく評価できる。

具体的には、評価部２０は、上記式２２に示すようなｚ_ｊを算出し、ｆ（ｚ_ｊ，θ_０ハット）とｆ（ｚ_ｊ，θ_ｊハット）の差分（具体的には、差分の総和の平均）を、真のモデルと予測モデルとの評価値のバイアスとして算出する。よって、両者の間に生ずるバイアスを理論的に生じさせなくすることが可能になる。

次に、本実施形態の変形例を説明する。本変形例では、出力部３０は、評価値の信頼区間を出力する。Ｇを式１６の分布関数であるとする。このとき、α∈（０，１）について、以下に示す式２４が成り立つ。

式１７に示す分布が式１６に示す分布に収束するとの観測のもと、ｆ（ｚ（θハット），θ^＊）の評価信頼区間を以下の式２５に示すようにみなすことができる。式２５において、Ｇハット（Ｇに上付き＾）は、式１７における分布関数である。

実際、上記に示す式２０は、左側の部分が、

のオーダでαに収束することを保証する。これらのことは、図３に示すアルゴリズムに要約できる。図３は、本変形例の評価システムの動作例を示すフローチャートである。

まず、入力部１０は、Ｎ個のサンプルＸ＝｛ｘ_１，…，ｘ_Ｎ｝と、Ｍ∈｛１，２，…｝と、α∈（０，１）を入力する（ステップＳ２１）。また、第１の実施形態と同様、ｊ＝１，…，Ｍについて、Ｘ_ｊをＸからのＮ個のランダム（ブートストラップ）サンプルであるとする。

評価部２０は、Ｘから漸近正規性をもつ推定値θハットを計算する（ステップＳ２２）。評価部２０は、ＸからＮ個のランダム復元抽出を行い、Ｘ_ｊとする。これを、ｊ＝１，２，…，Ｍに対して行う（ステップＳ２３）。また、評価部２０は、Ｘ_ｊからθ_ｊハットを計算する（ステップＳ２４）。そして、評価部２０は、以下の式２６に示すｚを計算する（ステップＳ２５）。すなわち、評価部２０は、ｚの計算をＭ回繰り返す。

次に、評価部２０は、以下のＭ個の値を昇順に並べる（ステップＳ２６）。

そして、評価部２０は、ａをｃｅｉｌ（Ｍ（１－α）／２）番目に小さい値とし、ｂをｃｅｉｌ（Ｍ（１－α）／２）番目に大きい値とする（ステップＳ２７）。なお、ｃｅｉｌ（）は、天井関数である。

出力部３０は、ｆ（ｚ（θハット），θ^＊）の１００α％の信頼区間［ｌ，ｒ］を出力する（ステップＳ２８）。ｌおよびｒは、以下の式２７で表される。

このように、評価部２０が、評価差分の順序を決定し、指定された範囲に応じた順序に含まれる評価差分の最小値および最大値（ｃｅｉｌ（Ｍ（１－α）／２）番目の最小値および最大値）を評価区間として出力することで、より信頼性の高い評価結果を得ることが可能になる。

実施形態２．
次に、本発明の評価システムの第２の実施形態を説明する。本実施形態では、第１の実施形態の想定に加え、以下の内容を想定する。まず、本実施形態において、ｆ（ｚ，θ）は、θについてのアフィン変換であり、例えば、以下の式２８が成り立つとする。

評価器θハットが“θハット～Ｎ（θ^＊，Σ^＊）”を満足するようなΣ^＊が存在するとし、任意のγ＞１について、“θハットハット～Ｎ（θ^＊，γΣ^＊）”（ただし、θハットハットは、θに上付き＾が２つ）を観測可能であるとする。

ここで、θハットが漸近正規性をもつ推定値である場合、例えば、以下の式２９に示すようなＶが存在する。

式２９において、Ｎは、サンプル数であり、→^ｄは、分布における収束を表わす。そのため、この想定は、漸近的な意味において成り立つ。以上の想定のもと、本発明の実施形態を図面を参照して説明する。なお、本実施形態の評価システムの構成は、第１の実施形態と同様である。

まず、γ≧０について、φ（γ）およびη（γ）を、以下の式３０及び式３１のように定義する。式３０および式３１において、δ～Ｎ（０，Σ^＊）である。本実施形態の目的は、η（１）を推定することである。

ここで、全てのγ＞０について、φ（γ）は微分可能であり、その導関数φ´（γ）は、以下の式３２を満たす。

上記式３２より、あるランダムサンプルθハット～Ｎ（θ^＊，Σ^＊）が得られ、さらに、θ_ｈハット～Ｎ（θ^＊，（１＋ｈ）^２Σ^２）が得られた場合、以下に示す式３３の値が、η（１）の評価器である。

ここで、θハット～Ｎ（θ^＊，Σ^＊）とし、θ_ｈハット～Ｎ（θ^＊，（１＋ｈ）^２Σ^＊）とする。このとき、以下の式３４が成り立つ。

以下、２種類の状況を想定する。第１の想定（ノイズ付加法）として、あるランダムサンプルθハット～Ｎ（θ^＊，Σ^＊）が得られるとする。もしΣ^＊が既知である場合、Ｎ（０，Σ^＊）からδをサンプリングし、

を構築することによって、評価部２０は、Ｎ（０，（１＋ｈ）^２Σ）に従うθ_ｈハットを得ることができる。

以下、第１の想定に基づいてρを算出する動作を説明する。図４は、本実施形態において、第１の想定をした場合における評価システムの動作例を示すフローチャートである。

まず、入力部１０は、０より大きいθハット、Σハット（Σに上付き＾）およびｈ、並びにＭ∈｛１，２，…｝を入力する（ステップＳ３１）。評価部２０は、Ｎ（０，Σハット）から独立にδ_１，…，δ_Ｍを生成する（ステップＳ３２）。そして、評価部２０は、以下の式３５に示すｆを計算する（ステップＳ３３）。すなわち、評価部２０は、ｆの計算をＭ回繰り返す。

出力部３０は、以下の式３６で示すρを出力する（ステップＳ３４）。

以上に示すように、評価部２０が、予測モデルにノイズを付加したモデルを生成し、そのモデルを基に計算される評価値の平均を真のモデルと予測モデルとの評価値のバイアスとして算出する。このような構成によっても、予測に基づく最適解を、理論的にバイアスを生じさせることなく評価できる。

次に、第２の想定を説明する。第２の想定（リサンプリングに基づく方法）として、θハットが、Ｎ個のサンプルから計算される最尤推定（ＭＬＥ：maximum likelihood estimation ）であるとする。θ_１ハットが、[Ｎ／（１＋ｈ）^２Σ]個のサンプルから計算されるＭＬＥであるとする。このとき、θハットおよびθ_ｈハットは、それぞれ漸近的に、Ｎ（θ^＊，Ｉ（θ^＊）^－１／Ｎ）およびＮ（θ^＊，（１＋ｈ）^２Ｉ（θ^＊）^－１／Ｎ）に向かっていく。

以下、第２の想定に基づいてρを算出する動作を説明する。図５は、本実施形態において、第２の想定をした場合における評価システムの動作例を示すフローチャートである。

まず、入力部１０は、Ｎ個のサンプルＸ＝｛ｘ_１，…，ｘ_Ｎ｝、ｈ（＞０）およびＭ∈｛１，２，…｝を入力する（ステップＳ４１）。ここで、ｊ＝１，…，Ｍについて、Ｘ_ｊを、Ｘからの[Ｎ／（１＋ｈ）^２]個のランダムサンプルであるとする。

評価部２０は、Ｘから漸近正規性をもつ推定値θハットを計算する（ステップＳ４２）。評価部２０は、Ｘから[Ｎ／（１＋ｈ）^２]個のランダム抽出を行い、Ｘ_ｊとする。これを、ｊ＝１，２，…，Ｍに対して行う（ステップＳ４３）。また、評価部２０は、Ｘ_ｊからθ_ｊハットを計算する（ステップＳ４４）。そして、評価部２０は、以下の式３７に示すｆを計算する（ステップＳ４５）。すなわち、評価部２０は、ｆの計算をＭ回繰り返す。

出力部３０は、以下の式３８で示すρを出力する（ステップＳ４６）。

以上に示すように、評価部２０が、θハットを基に計算される評価値の最大値とθ_ｊハットを基に計算される評価値の最大値（具体的には最大値の総和の平均）との線形和に基づいて、真のモデルに基づく評価を行う。このような構成によっても、予測に基づく最適解を、理論的にバイアスを生じさせることなく評価できる。

次に、本発明の概要を説明する。図６は、本発明による評価システムの概要を示すブロック図である。本発明による評価システム８０（例えば、評価システム１００）は、真のモデル（例えば、θ^＊）から生成されたデータを用いて推定される予測モデル（例えば、θハット）が存在するときに、その予測モデルを基に計算される最適解を、予測モデルに基づく評価と真のモデルに基づく評価との間に生ずるバイアス（例えば、上記式８に示すバイアス）を考慮して評価する評価部８１（例えば、評価部２０）を備えている。

そのような構成により、予測に基づく最適解を、理論的にバイアスを生じさせることなく評価できる。

すなわち、本発明では、真のモデルから生成されるデータを基に予測モデルを生成し、その予測モデルをもとに最適解を計算して、その結果を予測モデルで評価したときにバイアスが生じることという事象を、上記式６に示すような抽象的なモデルにしたうえで、評価部８１が最適解を評価する。したがって、予測モデルで評価される最適解と真のモデルで評価される最適解との間のバイアスを理論的に生じさせなくすることが可能になる。

また、評価部８１は、ブートストラップ法に基づいて予測モデルの生成に用いたデータを選択し、選択されたデータを用いて第一のモデル（例えば、θ_ｊハット）を推定し、第一のモデルを基に計算される最適解をその第一のモデルで評価した第一の評価（例えば、ｆ（ｚ_ｊ，θ_ｊハット））と、最適解を予測モデルで評価した第二の評価（例えば、ｆ（ｚ_ｊ，θ_０ハット））との差分である評価差分を、真のモデルと予測モデルとの評価値のバイアスとして算出してもよい。

また、評価部８１は、第一のモデルを複数推定し、推定された第一のモデルを基に計算される各最適解をその第一のモデルで評価した各第一の評価と、各最適解を予測モデルで評価した第二の評価との差分である評価差分の総和の平均を、真のモデルと予測を行うモデルとの評価値のバイアスとして算出してもよい。

また、評価部８１は、第一のモデルを推定するごとに算出される評価差分を並び替えてその評価差分の順序を決定し、指定された範囲に応じた順序に含まれる評価差分の最小値および最大値を評価区間として出力してもよい。

また、評価部８１は、予測モデルにノイズを付加した第二のモデル（例えば、第２の実施形態の第１の想定におけるθ_ｈハット）を生成し、第二のモデルを基に計算される評価値の最大値と、予測モデルを基に計算される評価値の最大値との線形和に基づいて、真のモデルに基づく評価を行ってもよい。

また、評価部８１は、予測モデルの生成に用いたデータの少なくとも一部を用いて第三のモデル（例えば、第２の実施形態の第２の想定におけるθ_ｊハット）を推定し、予測モデルを基に計算される評価値の最大値と、第三のモデルを基に計算される評価値の最大値との線形和に基づいて、真のモデルに基づく評価を行ってもよい。

このとき、評価部８１は、第三のモデルを複数推定し、予測モデルを基に計算される評価値の最大値と、第三のモデルを基に計算される各評価値の最大値の総和の平均との線形和に基づいて、真のモデルに基づく評価を行ってもよい。

図７は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１、主記憶装置１００２、補助記憶装置１００３、インタフェース１００４を備えている。

上述のモデル推定装置は、それぞれコンピュータ１０００に実装される。そして、上述した各処理部の動作は、プログラム（評価用プログラム）の形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、当該プログラムに従って上記処理を実行する。

なお、少なくとも１つの実施形態において、補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００が当該プログラムを主記憶装置１００２に展開し、上記処理を実行してもよい。

また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能を補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１６年１０月２８日に出願された日本特許出願２０１６－２１１４３８を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０ 入力部
２０ 評価部
３０ 出力部

Claims (10)

1. 真のモデルから生成されたデータを用いて推定される予測モデルが存在するときに、当該予測モデルを基に計算される最適解を、前記予測モデルに基づく評価と前記真のモデルに基づく評価との間に生ずるバイアスを考慮して評価する評価部を備えた
   ことを特徴とする評価システム。
2. 評価部は、ブートストラップ法に基づいて予測モデルの生成に用いたデータを選択し、選択されたデータを用いて第一のモデルを推定し、前記第一のモデルを基に計算される最適解を当該第一のモデルで評価した第一の評価と、前記最適解を予測モデルで評価した第二の評価との差分である評価差分を、真のモデルと予測モデルとの評価値のバイアスとして算出する
   請求項１記載の評価システム。
3. 評価部は、第一のモデルを複数推定し、推定された第一のモデルを基に計算される各最適解を当該第一のモデルで評価した各第一の評価と、前記各最適解を予測モデルで評価した第二の評価との差分である評価差分の総和の平均を、真のモデルと予測を行うモデルとの評価値のバイアスとして算出する
   請求項２記載の評価システム。
4. 評価部は、第一のモデルを推定するごとに算出される評価差分を並び替えて当該評価差分の順序を決定し、指定された範囲に応じた順序に含まれる評価差分の最小値および最大値を評価区間として出力する
   請求項３記載の評価システム。
5. 評価部は、予測モデルにノイズを付加した第二のモデルを生成し、前記第二のモデルを基に計算される評価値の最大値と、予測モデルを基に計算される評価値の最大値との線形和に基づいて、真のモデルに基づく評価を行う
   請求項１記載の評価システム。
6. 評価部は、予測モデルの生成に用いたデータの少なくとも一部を用いて第三のモデルを推定し、予測モデルを基に計算される評価値の最大値と、前記第三のモデルを基に計算される評価値の最大値との線形和に基づいて、真のモデルに基づく評価を行う
   請求項１記載の評価システム。
7. 評価部は、第三のモデルを複数推定し、予測モデルを基に計算される評価値の最大値と、前記第三のモデルを基に計算される各評価値の最大値の総和の平均との線形和に基づいて、真のモデルに基づく評価を行う
   請求項６記載の評価システム。
8. 真のモデルから生成されたデータを用いて推定される予測モデルが存在するときに、当該予測モデルを基に計算される最適解を、前記予測モデルに基づく評価と前記真のモデルに基づく評価との間に生ずるバイアスを考慮して評価する
   ことを特徴とする評価方法。
9. ブートストラップ法に基づいて予測モデルの生成に用いたデータを選択し、
   選択されたデータを用いて第一のモデルを推定し、
   前記第一のモデルを基に計算される最適解を当該第一のモデルで評価した第一の評価と、前記最適解を予測モデルで評価した第二の評価との差分である評価差分を、真のモデルと予測モデルとの評価値のバイアスとして算出する
   請求項８記載の評価方法。
10. コンピュータに、
    真のモデルから生成されたデータを用いて推定される予測モデルが存在するときに、当該予測モデルを基に計算される最適解を、前記予測モデルに基づく評価と前記真のモデルに基づく評価との間に生ずるバイアスを考慮して評価する評価処理を実行させる
    ための評価用プログラム。

Images