JP6708204B2 - 精度推定モデル生成システムおよび精度推定システム - Google Patents

Description

本発明は、予測モデルの精度を推定するための精度推定モデルを生成する精度推定モデル生成システム、精度推定モデル生成方法および精度推定モデル生成プログラム、並びに、予測モデルの精度を推定する精度推定システム、精度推定方法および精度推定プログラムに関する。

予測モデルは、環境の変化などが原因で、時間の経過とともに予測精度が劣化することが知られている。そのため、更新することによって精度が向上すると判断される予測モデルを対象として再学習が行われ、再学習により生成された予測モデルが新たな予測モデルとして更新される。例えば、実測値と予測値との差が大きくなった予測モデルが選択され、この予測モデルを対象に再学習することも行われている。

また、特許文献１には、各種設備のエネルギー需要を予測する装置が記載されている。特許文献１に記載された装置は、所定期間経過するごとに、前日に取得されたデータ、１時間前に取得されたデータ、１分前に取得されたデータを用いて、逐次、エネルギー需要予測モデルを更新する。

特開２０１２−１９４７００号公報

しかし、実測値と予測値の差が大きくなった予測モデルの予測精度が、そのまま劣化するとは限らない。例えば、実測値と予測値との差が一時的に大きくなった予測モデルは、必ずしも更新される必要はない。しかし、単純に実測値と予測値との差に基づいて判断する方法では、実際には劣化していない予測モデルも更新対象となってしまうという技術的課題がある。

また、再学習により生成された予測モデルが、一時的には高い精度で予測できたとしても、その精度が必ずしも維持されるかどうかは不明である。そのため、再学習により生成された予測モデルの精度劣化が激しい場合、再度の更新に伴うコストを考慮すると、再学習された予測モデルの更新が必ずしも得策でない場合もある。

また、一般に、予測モデルの更新にはリソースやコストが必要になるため、特許文献１に記載された装置のように、精度劣化の有無にかかわらず予測モデルを更新する方法では、実際の運用時に運用者の負担が大きくなってしまうと言う技術的課題がある。

そこで、本発明は、予測モデルの精度を適切に推定する精度推定モデルを生成できる精度推定モデル生成システム、精度推定モデル生成方法および精度推定モデル生成プログラム、並びに、予測モデルの精度を適切に推定できる精度推定システム、精度推定方法および精度推定プログラムを提供することを目的とする。

本発明による精度推定モデル生成システムは、設定された学習期間のデータを用いて学習された予測モデルごとに、その予測モデルの過去の着目する時点である第一着目点における運用状況を表わす特徴量をコンテクストとして算出するコンテクスト算出部と、第一着目点よりも後の期間の誤差指標の時系列データを用いて、予測モデルの精度指標を算出する精度指標算出部と、学習期間、予測モデルの学習に用いられたパラメータおよびコンテクストのうちの一部または全部を説明変数とし、精度指標を目的変数とするデータセットを作成するデータセット作成部と、作成されたデータセットを学習データとして、予測モデルの精度を推定するための精度推定モデルを生成するモデル生成部とを備えたことを特徴とする。

本発明による精度推定システムは、予測モデルの過去の着目する時点である第一着目点ごとの運用状況を表わす特徴量を示す一以上のコンテクストと、その予測モデルの学習期間と、その予測モデルの学習に用いられたパラメータのうちの一部または全部を説明変数とし、第一着目点よりも後の期間の精度指標を目的変数とすることで学習された精度推定モデルを用いて、予測モデルの精度を推定する精度推定部を備え、精度推定部が、第一着目点よりも後の時点である第二着目点におけるコンテクストを算出し、算出したコンテクストを精度推定モデルに適用して第二着目点以降の精度を推定することを特徴とする。

本発明による精度推定モデル生成方法は、設定された学習期間のデータを用いて学習された予測モデルごとに、その予測モデルの過去の着目する時点である第一着目点における運用状況を表わす特徴量をコンテクストとして算出し、第一着目点よりも後の期間の誤差指標の時系列データを用いて、予測モデルの精度指標を算出し、学習期間、予測モデルの学習に用いられたパラメータおよびコンテクストのうちの一部または全部を説明変数とし、精度指標を目的変数とするデータセットを作成し、作成されたデータセットを学習データとして、予測モデルの精度を推定するための精度推定モデルを生成することを特徴とする。

本発明による精度推定方法は、予測モデルの過去の着目する時点である第一着目点ごとの運用状況を表わす特徴量を示す一以上のコンテクストと、その予測モデルの学習期間と、その予測モデルの学習に用いられたパラメータのうちの一部または全部を説明変数とし、第一着目点よりも後の期間の精度指標を目的変数とすることで学習された精度推定モデルを用いて、予測モデルの精度を推定し、精度の推定の際、第一着目点よりも後の時点である第二着目点におけるコンテクストを算出し、算出したコンテクストを精度推定モデルに適用して第二着目点以降の精度を推定することを特徴とする。

本発明による精度推定モデル生成プログラムは、コンピュータに、設定された学習期間のデータを用いて学習された予測モデルごとに、その予測モデルの過去の着目する時点である第一着目点における運用状況を表わす特徴量をコンテクストとして算出するコンテクスト算出処理、第一着目点よりも後の期間の誤差指標の時系列データを用いて、予測モデルの精度指標を算出する精度指標算出処理、学習期間、予測モデルの学習に用いられたパラメータおよびコンテクストのうちの一部または全部を説明変数とし、精度指標を目的変数とするデータセットを作成するデータセット作成処理、および、作成されたデータセットを学習データとして、予測モデルの精度を推定するための精度推定モデルを生成するモデル生成処理を実行させることを特徴とする。

本発明による精度推定プログラムは、コンピュータに、予測モデルの過去の着目する時点である第一着目点ごとの運用状況を表わす特徴量を示す一以上のコンテクストと、その予測モデルの学習期間と、その予測モデルの学習に用いられたパラメータのうちの一部または全部を説明変数とし、第一着目点よりも後の期間の精度指標を目的変数とすることで学習された精度推定モデルを用いて、予測モデルの精度を推定する精度推定処理を実行させ、精度推定処理で、第一着目点よりも後の時点である第二着目点におけるコンテクストを算出させ、算出させたコンテクストを精度推定モデルに適用して第二着目点以降の精度を推定させることを特徴とする。

本発明によれば、上述した技術的手段により、予測モデルの精度を適切に推定できるという技術的効果を奏する。

本発明によるモデル運用システムの一実施形態を示すブロック図である。 精度状況を表示する例を示す説明図である。 精度状況を表示する他の例を示す説明図である。 精度推定モデルを生成する動作例を示すフローチャートである。 精度劣化を推定して予測モデルを更新するか否か判断するまでの動作例を示すフローチャートである。 本発明による精度推定モデル生成システムの概要を示すブロック図である。 本発明による精度推定システムの概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

図１は、本発明によるモデル運用システムの一実施形態を示すブロック図である。本実施形態のモデル運用システムは、予測モデル記憶部１０と、性能結果記憶部２０と、精度推定モデル生成部３０と、精度推定モデル記憶部４０と、精度劣化推定部５０と、更新判断部６０と、精度表示部７０を備えている。

予測モデル記憶部１０は、予測モデルの学習に用いられるデータの期間（以下、学習期間）と、予測モデルの学習に用いられるパラメータ（以下、諸学習エンジンパラメータ）との組み合わせを記憶する。また、予測モデル記憶部１０は、学習期間および諸学習エンジンパラメータに基づいて学習された予測モデルを対応付けて記憶していてもよい。本実施形態では、このように学習された予測モデルも予測モデル記憶部１０に記憶されているものとする。

学習期間と諸学習エンジンパラメータの選択方法は任意である。学習期間の場合、例えば、一ヶ月単位（１月、２月、…、１２月）、三ヶ月単位（１〜３月、２〜４月、…、１０〜１２月）、半年単位（１〜６月、…、７〜１２月）などのように学習期間が設定される。また、諸学習エンジンパラメータも同様に、所定の観点で複数種のパラメータが設定される。設定された学習期間および諸学習エンジンパラメータを組み合わせることで、学習期間のデータを用いた諸学習エンジンパラメータに基づく予測モデルが生成可能になる。

性能結果記憶部２０は、予測モデル記憶部１０に記憶された予測モデル群による予測結果を時系列に記憶する。予測結果は、後述する精度推定モデル生成部３０により記憶される。また、性能結果記憶部２０は、後述するデータセットを記憶してもよい。

精度推定モデル生成部３０は、予測モデル記憶部１０に記憶された予測モデル群による予測結果と、実際の運用で取得された実測結果とを対応付けた結果を時系列に取得し、時系列データとして性能結果記憶部２０に記憶する。また、精度推定モデル生成部３０は、予測結果と実測結果に基づいて誤差指標を時系列に算出し、性能結果記憶部２０に記憶する。

誤差指標は、予測結果と実測結果を用いて算出される指標であれば、その内容および算出方法は任意である。精度推定モデル生成部３０は、誤差指標として、例えば、予測結果と実測結果との差の絶対値を算出してもよいし、所定の期間の平均絶対誤差率を算出してもよい。平均絶対誤差率は、任意の期間（例えば、一か月など）の予測結果ｙおよび実測結果ｚに対し、Σ｜ｙ−ｚ｜／Σ｜ｚ｜で算出されるものを用いてもよい。ただし、算出される誤差指標は、上記内容に限定されない。また、算出される誤差指標の種類は１つに限定されず、２つ以上であってもよい。

次に、精度推定モデル生成部３０は、予測モデルの運用状況を表わす特徴量（以下、コンテクストと記す。）を算出する。具体的には、精度推定モデル生成部３０は、設定された期間（学習期間）のデータを用いて学習された予測モデルごとに、その予測モデルの過去の着目する時点における運用状況を表わす特徴量をコンテクストとして算出する。以下の説明では、過去の着目する時点のことを、過去の更新トライ時刻と記す。

コンテクストの内容は、予測モデルの運用状況を表わす特徴量であれば、その内容および種類は限定されず、例えば、予測モデルの精度変化状況、予測モデルを学習してからの期間、予測モデルを学習した時期との類似性、運用期間における最大誤差などが挙げられる。コンテクストは、これらの特徴量を要素とする多次元ベクトルで表されていてもよい。

そこで、精度推定モデル生成部３０は、誤差指標の時系列データ及び日時に関連する指標のうち、過去の更新トライ時刻までの時系列データと指標の少なくとも一方を用いて、学習期間及び過去の更新トライ時刻に関連付けられるコンテクストを算出する。ここで、日時に関連する指標とは、学習期間との時間的関連性を示す指標であり、例えば、時刻や期間そのもの、季節などが挙げられる。

精度推定モデル生成部３０は、例えば、学習期間の日時の平均値から過去の更新トライ時刻までの経過日数、学習直後から二ヶ月間の平均絶対誤差率と直近一ヶ月の平均絶対誤差率との差（％）および最大誤差サンプルを組み合わせてコンテクストを算出してもよい。

このように算出されるコンテクストは、運用状況を表わすとともに、どのような状況において予測モデルの再学習および更新をした場合、更新しなかった場合に比べてどの程度改善されたかを判断するための特徴量であり、「再学習すべき度」を表現する要素と言うことができる。また、過去の更新トライ時刻は、コンテクストを算出するための要件であるため、上述する特徴量を算出する適切なタイミングであれば、その選択方法は任意である。

次に、精度推定モデル生成部３０は、過去の更新トライ時刻よりも後の期間の誤差指標を用いて、予測モデルの精度指標を算出する。以下、算出に用いられる誤差指標の期間のことを、最適化対象期間と記す。最適化対象期間は、終期が決められていてもよいし、決められていなくてもよい。精度推定モデル生成部３０は、例えば、更新トライ時刻以降の全ての誤差指標を対象として精度指標を算出してもよく、予め定められた期間（例えば、三ヶ月など）の誤差指標を対象として精度指標を算出してもよい。この最適化対象期間は、本質的には、次に予測モデルを更新するまでの期間である。

ここまでの処理で、｛学習期間，諸学習エンジンパラメータ，過去の更新トライ時刻，コンテクスト，最適化対象期間，精度指標｝の組の集合が生成される。そこで、精度推定モデル生成部３０は、この組に含まれる情報のうち、学習期間、諸学習エンジンパラメータおよびコンテクストのうちの一部または全部を説明変数とし、精度指標を目的変数とするデータセットを作成する。精度推定モデル生成部３０は、生成したデータセットを性能結果記憶部２０に記憶する。

そして、精度推定モデル生成部３０は、作成したデータセットを学習データとして、例えば機械学習により、精度劣化を予測するための精度推定モデルを生成する。精度推定モデルを生成する方法は特定の方法に限定されず、一般に知られた任意の方法が用いられる。精度推定モデル生成部３０は、生成した精度推定モデルを精度推定モデル記憶部４０に記憶する。

精度推定モデル記憶部４０は、精度推定モデルを記憶する。精度推定モデル記憶部４０は、精度推定モデル生成部３０が生成した精度推定モデルを記憶してもよく、他の装置やシステムによって生成された精度推定モデル、ユーザ等により生成された精度推定モデルを記憶してもよい。

精度劣化推定部５０は、対象の予測モデルの精度を判断する時点（以下、現在の更新トライ時刻と記す。）と、最適化対象期間を設定する。なお、現在の更新トライ時刻は、精度推定モデルにおける過去の更新トライ時刻に対応する時刻であり、過去の更新トライ時刻よりも後の時刻が設定される。

最適化対象期間は、精度推定モデル生成部３０が精度指標の算出に用いた誤差指標の期間に一致させることが好ましい。例えば、精度指標の算出に用いられた誤差指標の期間が三ヶ月である場合、精度劣化推定部５０は、最適化対象期間を三ヶ月に設定してもよい。

なお、精度推定モデル生成部３０が最適化対象期間を決定する場合と同様、最適化対象期間は、終期が決められていてもよいし、決められていなくてもよい。例えば、次にモデルが置き換わるまでの期間を最適化対象期間とする場合、精度劣化推定部５０は、明示的に最適化対象期間を設定しなくてもよい。

精度劣化推定部５０は、精度劣化推定対象の予測モデル（具体的には、現在運用中の予測モデル）の現在の更新トライ時刻におけるコンテクストを算出する。コンテクストの算出方法は、精度推定モデル生成部３０によるコンテクストの算出方法と同様である。

精度劣化推定部５０は、算出したコンテクストを精度推定モデルに適用して、精度劣化推定対象の予測モデル（具体的には、現在運用中の予測モデル）の最適化対象期間における精度指標を算出する。なお、過去のデータが精度予測モデル記憶部に全て保存されている場合もあることから、精度劣化推定部５０は、例えば、算出したコンテクストが似ている（例えば、ユークリッド距離が近い）過去のデータを抽出し、そのときの精度指標の平均を最終的な精度指標としてもよい。

更新判断部６０は、予測モデルの再学習をするか否か判断する。判断方法は任意であり、更新判断部６０は、例えば、算出された精度指標が予め定めた精度指標の要件を満たさない場合に、予測モデルの再学習をすると判断してもよい。

そして、更新判断部６０は、対象とする予測モデルの再学習を行う。更新判断部６０は、まず、再学習をする際に使用する学習期間および諸学習エンジンパラメータを予め定めた方法に基づいて決定する。

更新判断部６０は、例えば、学習期間および諸学習エンジンパラメータを、予測モデル記憶部１０に記憶する際に選択する方法と同様の方法で決定してもよい。また、更新判断部６０は、精度劣化推定部５０までの処理で性能が良かったと判断される学習期間および諸学習エンジンパラメータの組を１つ以上選択してもよい。なお、更新判断部６０は、学習期間および諸学習エンジンパラメータを、上記の方法以外の任意の方法を用いて決定してもよい。

更新判断部６０は、決定した学習期間および諸学習エンジンパラメータを用いて予測モデルを再学習する。更新判断部６０は、以前に学習した方法と同様の方法で予測モデルを再学習してもよい。また、更新判断部６０は、再学習後の予測モデルがもとの予測モデルに近くなるように再学習してもよい。

また、更新判断部６０は、再学習後の予測モデルの現在の更新トライ時刻におけるコンテクストを算出する。そして、更新判断部６０は、精度推定モデルに基づいて、再学習後の予測モデルの最適化対象期間における精度指標を算出する。精度指標の算出方法は、精度劣化推定部５０が精度指標を算出する方法と同様である。

更新判断部６０は、再学習後の予測モデルでもとの予測モデルを更新するか否か判断する。更新判断には、精度劣化推定部５０によって算出されたもとの予測モデルの精度指標およびコンテクストや、更新判断部６０によって算出された再学習後の予測モデルの精度指標およびコンテクスト、予測モデルそのものや予測結果の一部または全部が用いられる。更新判断部６０は、これらの情報を使用し、予め決められた方法に基づいて更新可否を判断する。

更新判断部６０は、例えば、バリデーション期間の誤差指標を算出し、その誤差指標が更新するための所定の要件を満たすか否かで更新可否を判断してもよい。なお、バリデーション期間は、一般に直近の数週間などが採用され、学習期間との被りはない。

他にも、更新判断部６０は、もとの予測モデルと再学習後の予測モデルの近さに応じて更新可否を判断してもよい。両予測モデルの近さの判断には、例えば、予測モデルに使用されている変数の一致度や条件分岐の類似性、係数の類似性、それぞれのモデルから計算される予測結果の近さなどが用いられる。

また、再学習後の予測モデルが複数作成される場合、更新判断部６０は、作成された予測モデルの中から、どの予測モデルでもとの予測モデルを更新するか判断してもよい。更新判断部６０は、例えば、もとの予測モデル（運用中のモデル）と近い予測モデルをより積極的に選択してもよいし、バリデーション期間の最大誤差が小さい予測モデルをより積極的に選択してもよい。

そして、更新判断部６０は、予測モデル記憶部１０に記憶されているもとの予測モデルを再学習後の予測モデルで更新する。

精度表示部７０は、各予測モデルの精度状況を表示する。具体的には、精度表示部７０は、少なくとも更新前の予測モデルの精度と更新後の予測モデルの精度のいずれかにより特定される情報を可視化する。精度表示部７０は、例えば、各予測モデルの精度指標の推移を可視化してもよいし、精度劣化推定部５０によって推定された各予測モデルの精度指標を可視化してもよい。また、精度表示部７０は、精度劣化推定部５０によって推定された各予測モデルの精度指標に対し、更新判断部６０によって再学習された予測モデルの精度指標の変化（以下、精度良化度と記す。）を可視化してもよい。このように、精度表示部７０は、精度推定モデルによって推定された精度により特定される情報を表示してもよい。

図２は、精度状況を表示する例を示す説明図である。図２は、各小売店の商品ごとに作成された売上予測モデルの精度指標をヒートマップで表した例である。図２に示す例では、横軸に小売店、縦軸に商品を配置し、それぞれの座標に対応する位置に売上予測モデルの精度指標が網掛けの濃さで表されている。なお、精度表示部７０は、精度指標の代わりに、上述する精度良化度を用いてヒートマップを表示してもよい。

なお、図２では、２次元のヒートマップを例示しているが、ヒートマップの次元数は２次元に限られず、３次元であってもよい。また、ヒートマップの各軸には、予測モデルを分類可能な任意の属性を設定可能である。また、精度表示部７０は、各軸に設定する属性をその特性に応じて並び替える指示を受け付けてもよい。例えば、軸に属性として小売店を設定する場合、精度表示部７０は、小売店の地域や種類、小売店の大きさや人口統計指標などの指示を受け付け、その指示に基づいて小売店を並び替えてもよい。そのような構成によれば、関連する属性を纏めることができるため、その精度の状況を一見して把握しやすくなる。

図３は、精度状況を表示する他の例を示す説明図である。図３は、モデルの精度指標の推移を線グラフで表した例である。図３に示す例では、現在までの精度指標の推移を示すとともに、未来の精度指標については、推定される複数の精度指標の推移を線グラフで示している。図３において、μは推定平均値、σは推定分散、ｋは任意の正数を表わす。

精度表示部７０は、複数の精度指標の推移を１つの画面に表示してもよく、ユーザの指示（例えば、ｋの値や、良く見積もった場合、悪く見積もった場合などの指示）に応じて、複数の精度指標の中から該当する精度指標の推移を変化させて表示してもよい。

他にも、精度表示部７０は、過去のデータから似たコンテクストを有する予測モデルを引用し、その予測モデルの精度の時系列変化と最適化対象期間における誤差指標を表示してもよい。

精度推定モデル生成部３０は、プログラム（精度推定モデル生成プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、精度劣化推定部５０と、更新判断部６０と、精度表示部７０とは、プログラム（精度推定プログラム）に従って動作するコンピュータのＣＰＵによって実現される。これらのプログラムは、１つにまとまっていてもよく、それぞれが別々であってもよい。

また、プログラムは、例えば、モデル運用システムの記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、精度推定モデル生成部３０、精度劣化推定部５０、更新判断部６０および精度表示部７０として動作してもよい。また、制御部１ａと、精度推定モデル生成部３０と、精度劣化推定部５０と、更新判断部６０と、精度表示部７０とは、それぞれが専用のハードウェアで実現されていてもよい。

また、精度推定モデル生成部３０と、精度劣化推定部５０と、更新判断部６０と、精度表示部７０とは、それぞれが専用のハードウェアで実現されていてもよい。また、予測モデル記憶部１０と、性能結果記憶部２０と、精度推定モデル記憶部４０とは、例えば、磁気ディスク装置等により実現される。また、本発明によるモデル運用システムは、２つ以上の物理的に分離した装置が有線または無線で接続されることにより構成されていてもよい。

次に、本実施形態のモデル運用システムの動作を説明する。まず、精度推定モデル生成部３０が精度推定モデルを生成する動作を説明する。図４は、精度推定モデルを生成する動作例を示すフローチャートである。

まず、精度推定モデル生成部３０は、予測結果と実測結果に基づいて、予測モデルの誤差指標を時系列に算出し、性能結果記憶部２０に記憶する（ステップＳ１１）。次に、精度推定モデル生成部３０は、過去の更新トライ時刻におけるコンテクストを算出する（ステップＳ１２）。また、精度推定モデル生成部３０は、過去の更新トライ時刻よりも後の期間の誤差指標を用いて、予測モデルの精度指標を算出する（ステップＳ１３）。

精度推定モデル生成部３０は、学習期間、諸学習エンジンパラメータおよびコンテクストのうちの一部または全部を説明変数とし、精度指標を目的変数とするデータセットを作成する（ステップＳ１４）。そして、精度推定モデル生成部３０は、作成したデータセットを学習データとして、精度劣化を予測するための精度推定モデルを生成する（ステップＳ１５）。

次に、精度劣化推定部５０が予測モデルの精度を推定する動作および更新判断部６０が予測モデルを更新するか否か判断する動作を説明する。図５は、精度劣化を推定して予測モデルを更新するか否か判断するまでの動作例を示すフローチャートである。

精度劣化推定部５０は、精度劣化推定対象の予測モデルの現在の更新トライ時刻におけるコンテクストを算出する（ステップＳ２１）。そして、精度劣化推定部５０は、算出したコンテクストを精度推定モデルに適用して、精度劣化推定対象の予測モデルの最適化対象期間における精度指標を算出する（ステップＳ２２）。

更新判断部６０は、予測モデルを再学習する（ステップＳ２３）。そして、更新判断部６０は、再学習後の予測モデルの精度を精度推定モデルを用いて推定する（ステップＳ２４）。更新判断部６０は、少なくとも再学習前の予測モデルの精度と再学習後の予測モデルの精度とを比較して、再学習後の予測モデルで再学習前の予測モデルを更新するか否か判断する（ステップＳ２５）。

更新すると判断した場合（ステップＳ２５におけるＹｅｓ）、更新判断部６０は、再学習後の予測モデルで再学習前の予測モデルを更新する（ステップＳ２６）。一方、更新しないと判断した場合（ステップＳ２５におけるＮｏ）、更新判断部６０は、予測モデルの更新を行わない。

以上のように、本実施形態では、精度推定モデル生成部３０が、設定された学習期間のデータを用いて学習された予測モデルごとに、過去の更新トライ時刻におけるコンテクストを算出し、最適化対象期間の誤差指標の時系列データを用いて、予測モデルの精度指標を算出する。また、精度推定モデル生成部３０は、学習期間、諸学習エンジンパラメータおよびコンテクストのうちの一部または全部を説明変数とし、精度指標を目的変数とするデータセットを作成し、作成したデータセットを学習データとして精度推定モデルを生成する。よって、予測モデルの精度を適切に推定する精度推定モデルを生成できる。

また、本実施形態では、精度劣化推定部５０が、一以上のコンテクストと、予測モデルの学習期間と、諸学習エンジンパラメータのうちの一部または全部を説明変数とし、最適化対象期間の精度指標を目的変数とすることで学習された精度推定モデルを用いて、予測モデルの精度を推定する。具体的には、精度劣化推定部５０が、現在の更新トライ時刻におけるコンテクストを算出し、算出したコンテクストを精度推定モデルに適用して以降の精度を推定する。よって、予測モデルの精度を適切に推定できる。

次に、本発明の概要を説明する。図６は、本発明による精度推定モデル生成システムの概要を示すブロック図である。本発明による精度推定モデル生成システムは、設定された学習期間のデータを用いて学習された予測モデルごとに、その予測モデルの過去の着目する時点である第一着目点（例えば、過去の更新トライ時刻）における運用状況を表わす特徴量をコンテクストとして算出するコンテクスト算出部８１（例えば、精度推定モデル生成部３０）と、第一着目点よりも後の期間（例えば、最適化対象期間）の誤差指標の時系列データを用いて、予測モデルの精度指標を算出する精度指標算出部８２（例えば、精度推定モデル生成部３０）と、学習期間、予測モデルの学習に用いられたパラメータ（例えば、諸学習エンジンパラメータ）およびコンテクストのうちの一部または全部を説明変数とし、精度指標を目的変数とするデータセットを作成するデータセット作成部８３（例えば、精度推定モデル生成部３０）と、作成されたデータセットを学習データとして、予測モデルの精度を推定するための精度推定モデルを生成するモデル生成部８４（例えば、精度推定モデル生成部３０）とを備えている。

そのような構成により、予測モデルの精度を適切に推定する精度推定モデルを生成できる。

また、コンテクスト算出部８１は、誤差指標の時系列データ及び日時に関連する指標（例えば、時刻や期間そのもの、季節など）のうち、第一着目点までの時系列データと指標の少なくとも一方を用いて、学習期間及び第一着目点に関連付けられたコンテクストを算出してもよい。

また、精度推定モデル生成システムは、予測モデルによる予測結果と実測結果とに基づいてその予測モデルの誤差指標を時系列に算出する誤差指標算出部（例えば、精度推定モデル生成部３０）を備えていてもよい。そして、精度指標算出部８２は、算出された誤差指標を用いて予測モデルの精度指標を算出してもよい。

図７は、本発明による精度推定システムの概要を示すブロック図である。本発明による精度推定システムは、予測モデルの過去の着目する時点である第一着目点（例えば、過去の更新トライ時刻）ごとの運用状況を表わす特徴量を示す一以上のコンテクストと、その予測モデルの学習期間と、その予測モデルの学習に用いられたパラメータ（例えば、諸学習エンジンパラメータ）のうちの一部または全部を説明変数とし、第一着目点よりも後の期間（例えば、最適化対象期間）の精度指標を目的変数とすることで学習された精度推定モデルを用いて、予測モデルの精度を推定する精度推定部９１（例えば、精度劣化推定部５０）を備えている。

そして、精度推定部９１は、第一着目点よりも後の時点である第二着目点（例えば、現在の更新トライ時刻）におけるコンテクストを算出し、算出したコンテクストを精度推定モデルに適用して第二着目点以降の精度を推定する。そのような構成により、予測モデルの精度を適切に推定できる。

ここで、コンテクストは、予測モデルによる予測結果と実測結果に基づいて算出される誤差指標の時系列データ、および、日時に関連する指標（例えば、時刻や期間そのもの、季節など）のうち、第一着目点までの時系列データと指標の少なくとも一方を用いて算出され、その予測モデルの学習期間及び第一着目点に関連付けられてもよい。

また、精度推定システムは、精度が推定された予測モデルの更新可否を判断する更新判断部（例えば、更新判断部６０）を備えていてもよい。そして、更新判断部は、予測モデルを再学習し、再学習後の予測モデルの精度を精度推定モデルを用いて推定し、少なくとも再学習前の予測モデルの精度と再学習後の予測モデルの精度とを比較して、再学習後の予測モデルで再学習前の予測モデルを更新するか否か判断してもよい。

また、精度推定システムは、各予測モデルの精度状況を表示する精度表示部（例えば、精度表示部７０）を備えていてもよい。そして、精度表示部は、少なくとも更新前の予測モデルの精度と更新後の予測モデルの精度のいずれかにより特定される情報を表示してもよい。

このとき、精度表示部は、精度推定モデルによって推定された精度により特定される情報を表示してもよい。

以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１５年３月２３日に出願された米国仮出願第６２／１３６，８３２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１０ 予測モデル記憶部
２０ 性能結果記憶部
３０ 精度推定モデル生成部
４０ 精度推定モデル記憶部
５０ 精度劣化推定部
６０ 更新判断部
７０ 精度表示部

Claims (10)

1. 設定された学習期間のデータを用いて学習された予測モデルごとに、当該予測モデルの過去の着目する時点である第一着目点における運用状況を表わす特徴量をコンテクストとして算出するコンテクスト算出部と、
   前記第一着目点よりも後の期間の誤差指標の時系列データを用いて、前記予測モデルの精度指標を算出する精度指標算出部と、
   前記学習期間、前記予測モデルの学習に用いられたパラメータおよび前記コンテクストのうちの一部または全部を説明変数とし、前記精度指標を目的変数とするデータセットを作成するデータセット作成部と、
   作成されたデータセットを学習データとして、予測モデルの精度を推定するための精度推定モデルを生成するモデル生成部とを備えた
   ことを特徴とする精度推定モデル生成システム。
2. コンテクスト算出部は、誤差指標の時系列データ及び日時に関連する指標のうち、第一着目点までの前記時系列データと前記指標の少なくとも一方を用いて、学習期間及び第一着目点に関連付けられたコンテクストを算出する
   請求項１記載の精度推定モデル生成システム。
3. 予測モデルによる予測結果と実測結果とに基づいて当該予測モデルの誤差指標を時系列に算出する誤差指標算出部を備え、
   精度指標算出部は、算出された誤差指標を用いて予測モデルの精度指標を算出する
   請求項１または請求項２記載の精度推定モデル生成システム。
4. 予測モデルの過去の着目する時点である第一着目点ごとの運用状況を表わす特徴量を示す一以上のコンテクストと、当該予測モデルの学習期間と、当該予測モデルの学習に用いられたパラメータのうちの一部または全部を説明変数とし、前記第一着目点よりも後の期間の精度指標を目的変数とすることで学習された精度推定モデルを用いて、予測モデルの精度を推定する精度推定部を備え、
   前記精度推定部は、第一着目点よりも後の時点である第二着目点におけるコンテクストを算出し、算出したコンテクストを前記精度推定モデルに適用して前記第二着目点以降の精度を推定する
   ことを特徴とする精度推定システム。
5. コンテクストは、予測モデルによる予測結果と実測結果に基づいて算出される誤差指標の時系列データ、および、日時に関連する指標のうち、第一着目点までの前記時系列データと前記指標の少なくとも一方を用いて算出され、当該予測モデルの学習期間及び第一着目点に関連付けられる
   請求項４記載の精度推定システム。
6. 精度が推定された予測モデルの更新可否を判断する更新判断部を備え、
   前記更新判断部は、前記予測モデルを再学習し、再学習後の予測モデルの精度を精度推定モデルを用いて推定し、少なくとも再学習前の予測モデルの精度と再学習後の予測モデルの精度とを比較して、再学習後の予測モデルで再学習前の予測モデルを更新するか否か判断する
   請求項４または請求項５記載の精度推定システム。
7. 各予測モデルの精度状況を表示する精度表示部を備え、
   前記精度表示部は、少なくとも更新前の予測モデルの精度と更新後の予測モデルの精度のいずれかにより特定される情報を表示する
   請求項４から請求項６のうちのいずれか１項に記載の予測モデル精度推定装置。
8. 精度表示部は、精度推定モデルによって推定された精度により特定される情報を表示する
   請求項７記載の精度推定システム。
9. 設定された学習期間のデータを用いて学習された予測モデルごとに、当該予測モデルの過去の着目する時点である第一着目点における運用状況を表わす特徴量をコンテクストとして算出し、
   前記第一着目点よりも後の期間の誤差指標の時系列データを用いて、前記予測モデルの精度指標を算出し、
   前記学習期間、前記予測モデルの学習に用いられたパラメータおよび前記コンテクストのうちの一部または全部を説明変数とし、前記精度指標を目的変数とするデータセットを作成し、
   作成されたデータセットを学習データとして、予測モデルの精度を推定するための精度推定モデルを生成する
   ことを特徴とする精度推定モデル生成方法。
10. コンピュータに、
    設定された学習期間のデータを用いて学習された予測モデルごとに、当該予測モデルの過去の着目する時点である第一着目点における運用状況を表わす特徴量をコンテクストとして算出するコンテクスト算出処理、
    前記第一着目点よりも後の期間の誤差指標の時系列データを用いて、前記予測モデルの精度指標を算出する精度指標算出処理、
    前記学習期間、前記予測モデルの学習に用いられたパラメータおよび前記コンテクストのうちの一部または全部を説明変数とし、前記精度指標を目的変数とするデータセットを作成するデータセット作成処理、および、
    作成されたデータセットを学習データとして、予測モデルの精度を推定するための精度推定モデルを生成するモデル生成処理
    を実行させるための精度推定モデル生成プログラム。
    

Images