JP6399206B2 - 推定器管理システム - Google Patents

Description

本発明は、大量の推定器を管理する推定器管理システム、推定器管理方法および推定器管理プログラムに関する。

推定器とは、説明変数と目的変数の相関関係を表す情報である。推定器は、例えば、説明変数に基づいて目的とする変数を算出することにより推定対象の結果を推定するためのコンポーネントである。推定器は、既に目的変数の値が得られている学習用データと任意のパラメータとを入力として、学習器により生成される。推定器は例えば、入力ｘを正解ｙに写像する関数ｃにより表されてもよい。推定器は、推定対象の数値を推定するものであってもよいし、推定対象のラベルを推定するものであってもよい。推定器は、目的変数の確率分布を記述する変数を出力してもよい。推定器は、「モデル」、「学習モデル」、「予測モデル」、「分析モデル」または「予測式」などと記載されることもある。

推定器は、環境の変化や時間の経過とともに推定精度が劣化する。そのため、推定器を適切に長期運用するためには、推定器を適切にメンテナンスすることが必要である。

非特許文献１には、予測モデルなどの分析モデルの作成、管理および配置を効率化するツール（SAS Model Manager 。ただし、SAS は登録商標。）が記載されている。非特許文献１に記載されたツールは、例えば、時間の経過とともにスコアリング結果が変化した場合に、モデルが劣化したことを知らせる自動アラート通知を行う。

SAS Institute Inc.、"SAS Model Manager "、［online］、［平成２７年１月２６日検索］、インターネット〈URL：http://www.sas.com/ja_jp/software/analytics/manager.html〉

推定器を用いて推定を行う場面の例として、コンビニエンスストアにおける商品の需要予測を行う場面が挙げられる。例えば、１つの店舗の全ての商品を同じ推定器で予測すれば、需要予測に用いる推定器の数は削減される。同様に、複数の店舗で扱う１つの商品を同じ推定器で予測すれば、需要予測に用いる推定器の数は削減される。

このような推定器を用いた場合、平均的な店舗または平均的な商品の需要予測の精度が高くなる可能性はあるが、マイナーな店舗や特異な商品の需要予測の精度は低くなる可能性が高い。また、発明者の知見によれば、大量の推定器を用いて推定することにより、大量かつ傾向の異なる各推定対象の予測精度を高めることができる。このような理由から、需要予測の精度を高めるためには、商品別かつ店舗別の推定器を用いることが好ましい。

一方、商品別かつ店舗別の推定器を用いる場合、例えば、店舗数および商品数がいずれも数千オーダになると、推定器の数は数百万のオーダになる。そのため、必要に応じて更新される大量の推定器を管理する場合、推定器を管理する一般的に知られた方法では、計算リソースや人的リソースが大量に必要になるため、そのような方法を用いることは現実的ではない。

例えば、非特許文献１に記載されたツールは、大量の推定器を効率よく管理する機能を提供していないため、非特許文献１に記載されたツールを用いて大量の推定器を適切に管理することは困難である。このような状況からも、大量の推定器の更新状況を効率よく管理できることが望まれている。

そこで、本発明は、大量の推定器の更新状況を効率よく管理できる推定器管理システム、推定器管理方法および推定器管理プログラムを提供することを目的とする。

本発明による推定器管理システムは、複数の推定対象のそれぞれに、その推定対象に対応する推定器の更新履歴を関連付けて記憶する記憶部と、推定器の更新に応じて、その推定器の推定対象とその推定器が更新された時間とを関連付けて記憶部に記憶する更新履歴管理手段を備えたことを特徴とする。

本発明による推定器管理方法は、コンピュータが、複数の推定対象のそれぞれに対応する推定器の更新履歴を関連付けて記憶する記憶部に対して、推定器の更新に応じて、その推定器の推定対象とその推定器が更新された時間とを関連付けて記憶することを特徴とする。

本発明による推定器管理プログラムは、コンピュータに、複数の推定対象のそれぞれに対応する推定器の更新履歴を関連付けて記憶する記憶部に対して、推定器の更新に応じて、その推定器の推定対象とその推定器が更新された時間とを関連付けて記憶する更新履歴管理処理を実行させることを特徴とする。

本発明によれば、大量の推定器の更新状況を効率よく管理できる。

本発明による推定器管理システムの第１の実施形態の構成例を示すブロック図である。 更新履歴の例を示す説明図である。 更新履歴を可視化した例を示す説明図である。 推定器管理システムの動作例を示すフローチャートである。 更新履歴の他の例を示す説明図である。 本発明による推定器管理システムの概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。以下の説明では、大量の推定器を用いて推定を行う推定システムを想定し、本発明の推定器管理システムが、その推定システムで用いられる各推定器を管理する。

ただし、本発明の推定器管理システム自身が大量の推定器を用いて推定を行ってもよく、大量の推定器を用いる他のシステムの推定器を、本発明の推定器管理システムが管理してもよい。以下の実施形態では、推定器管理システム自身が推定器を更新し、その更新履歴も管理するものとする。

また、以下の説明では、大量の推定器が様々なタイミングで更新される推定システムを想定する。例えば、スーパーの商品需要推定において、ある地域にスーパーが１００店舗存在し、一店舗あたり５０００点の品揃えがあるとする。この場合、推定システムは、１００×５０００＝５０００００個の推定器を用いて推定を行う。これらの大量の推定器は、例えば、推定精度に関する指標が所定の閾値を下回るタイミングで自動更新される。この場合、推定精度に関する指標が所定の閾値を下回るタイミングは、推定器により異なる。そのため、５０万個の推定器の更新タイミングは、必ずしも一致しないことになる。

また、上述する所定の閾値との比較で自動更新が行われる以外にも、様々な更新タイミングが存在する。例えば、推定器が定期的に更新（再学習）される場合もあるし、データサイエンティストが手動で更新のタイミングを判断し、そのタイミングで推定器が更新される場合もある。本発明の推定器管理システムは、推定器が更新されるタイミングに依存しないため、推定器の更新状況を管理する任意のシステムに適用可能である。

実施形態１．
図１は、本発明による推定器管理システムの第１の実施形態の構成例を示すブロック図である。本実施形態の推定器管理システムは、統計情報記憶部１１と、推定精度算出部１２と、更新起動判定部１３と、推定器更新部１４と、更新履歴管理部１５と、更新履歴記憶部１６と、並替手段１７と、検索手段１８と、分類手段１９と、可視化手段２０とを備えている。

統計情報記憶部１１は、後述する推定精度算出部１２が推定器の推定精度を算出するために必要な情報を記憶する。統計情報記憶部１１が記憶する内容は、推定器の推定精度を算出する方法に応じて予め定められる。統計情報記憶部１１は、例えば、推定器を用いて推定した推定値と実測値とを対応付けて記憶してもよい。また、統計情報記憶部１１は、実測値だけでなく、実測値に応じて算出された推定器の精度を示す情報（例えば、平均誤差や最大誤差）などを記憶してもよい。また、統計情報記憶部１１は、推定器の精度だけでなく、推定器を用いて推定される推定対象に関する実績（例えば、売上高、推定対象に対するクレーム回数など）を記憶してもよい。

推定精度算出部１２は、推定器の推定精度を算出する。具体的には、推定精度算出部１２は、統計情報記憶部１１に記憶された情報に基づいて、現在稼働中の推定器の推定精度を算出する。推定精度算出部１２は、例えば、平均誤差や最大誤差などを算出してもよい。ただし、算出される推定精度の内容は、これらの内容に限定されない。

算出される推定精度の内容および推定精度の算出方法は任意である。算出された推定精度は、後述する更新起動判定部１３が更新起動判定を行う際に利用される。

更新起動判定部１３は、推定器の更新有無を判断して、推定器の更新指示を推定器更新部１４に対して行う。具体的には、更新起動判定部１３は、推定精度算出部１２が算出した推定精度に基づいて推定器の更新有無を判断する。

また、更新起動判定部１３は、推定精度だけでなく、その推定器を更新（再学習）する際の更新コストを考慮して更新有無を判断してもよい。更新コストの例として、例えば、金銭的なコストや、コンピュータリソースなどが挙げられる。具体的には、更新起動判定部１３は、「更新コスト」と、「更新による精度向上により見込まれるメリット」（以下、単に「メリット」と記す。）とを比較し、「メリット」が「更新コスト」を上回った場合に、更新が必要と判断し、更新指示を推定器更新部１４に対して行ってもよい。

更新起動判定部１３は、例えば、メリットをコストに換算するための関数や規則を予め定義しておき、その関数を用いて「メリット」と「更新コスト」とを比較してもよい。例えば、更新起動判定部１３が、「更新による精度向上」と「更新コスト」とを関連付ける関数を保持しているとする。この場合、更新起動判定部１３は、「メリット」を見積もり、見積もったメリットを上記関数に代入して、「メリット」を金銭的なコストや、コンピュータリソースを示す指標（すなわち、「指標に変換された更新によるメリット」）に変換する。そして、更新起動判定部１３は、「更新コスト」と変換された指標とを比較する。比較の結果、「更新コスト」が変換された指標よりも小さい場合、更新起動判定部１３は、更新指示を推定器更新部１４に対して行う。

また、更新起動判定部１３は、推定器を更新すると判断した場合、更新方法（再学習方法）や、更新に用いるデータ（再学習データ）の範囲などを決定してもよい。なお、更新方法や更新に用いるデータの決定方法は任意であり、例えば、推定器に応じて予め定めておいてもよい。この場合、更新起動判定部１３は、推定器更新部１４に対して更新指示を行う際、更新の指示と共に、更新方法（再学習方式）や、更新に用いるデータ（再学習データ）を送信してもよい。

推定器更新部１４は、指示された推定器の更新を行う。例えば、更新起動判定部１３から再学習方法および再学習データと共に更新指示を受信した場合、推定器更新部１４は、受信した内容に基づいて推定器を更新する。

また、推定器更新部１４は、例えばデータサイエンティストによる更新指示に基づいて推定器を更新してもよい。この場合、推定器管理システムは、上述する統計情報記憶部１１、推定精度算出部１２および更新起動判定部１３を備えていなくてもよい。

推定器更新部１４は、推定器を更新すると、更新に関する情報を更新履歴管理部１５に通知する。推定器更新部１４は、例えば、更新後の推定器の内容および更新日時を更新履歴管理部１５に通知してもよい。ただし、推定器を更新するシステムが別に存在する場合、本実施形態の推定器管理システムは、推定器更新部１４を備えていなくてもよい。

更新履歴管理部１５は、推定器の更新に応じて、更新履歴記憶部１６に記憶される推定器の履歴を管理する。具体的には、更新履歴管理部１５は、推定器の更新に応じて、その推定器の推定対象と、その推定器が更新された時間とを関連付けて更新履歴記憶部１６に記憶する。更新履歴管理部１５は、例えば、推定精度の劣化条件を満たす推定器の更新に応じて、推定器の履歴を管理してもよい。なお、更新履歴管理部１５が更新履歴記憶部１６に記憶される推定器の更新履歴を管理する方法は、後述される。

更新履歴記憶部１６は、複数の推定対象のそれぞれについて、その推定対象に対応する（すなわち、推定する）推定器の更新履歴を記憶する。また、更新履歴記憶部１６は、推定器自体を記憶していてもよい。また、更新履歴記憶部１６は、最新の推定器のみ記憶していてもよく、過去の推定器も含めて記憶していてもよい。すなわち、更新履歴管理部１５は、最新の推定器のみ管理してもよく、過去の推定器も含めて管理してもよい。

ただし、推定システムが本実施形態の推定器管理システムとは別に存在する場合、推定システムで推定器を記憶していれば、更新履歴記憶部１６が推定器自体を記憶していなくてもよい。推定器には、推定対象と関連付ける情報が付与されるものとする。

図２は、更新履歴記憶部１６が記憶する更新履歴の例を示す説明図である。図２に示す例では、更新履歴記憶部１６が、各推定対象に関連付けて、更新された時間が異なる複数の推定器の更新履歴を記憶していることを示す。この場合、更新履歴管理部１５は、更新後の推定器の更新履歴を、推定対象に更に関連付けて更新履歴記憶部１６に記憶すればよい。また、図２に例示するように、更新履歴管理部１５は、最後に更新された時間を特定しやすいように、更新履歴を追加するたびに、最終更新を示す情報を更新履歴に付与してもよい。

このように、本実施形態では、更新履歴記憶部１６が、複数の推定対象のそれぞれに、その推定対象を推定する推定器の更新履歴を関連付けて記憶する。そのため、管理者は、大量の推定器の更新状況を一元管理できる。例えば、図２に例示する更新履歴から、「１１月１１日に推定器が更新された推定対象」や、「ここ一ヶ月で推定器が更新されていない推定対象」という観点で、推定対象を容易に検索できる。

また、更新履歴記憶部１６は、推定精度の劣化条件を満たす推定器の更新に応じて、その推定器の推定対象とその推定器が更新された時間とを関連付けて記憶してもよい。推定精度の劣化条件に応じて推定器が更新される期間は、定期的な更新等と異なり、その推定器が所望の推定精度を維持できる期間に対応する。そのため、このような更新期間の履歴を更新履歴記憶部１６が記憶することにより、大量の推定器であっても様々な検討（例えば、再学習の方法に問題があるか、推定対象に特異性があるかなど）を行うことが可能になる。そのため、大量の推定器の更新状況を効率よく管理できるという効果に加え、推定器の更新内容についても適切に管理することが可能になる。

図１を参照する説明に戻る。並替手段１７は、推定器の更新履歴に基づいて推定対象を並び替える。並替手段１７が推定対象を並び替える方法は任意である。具体的には、並替手段１７は、更新履歴記憶部１６に記憶された複数の推定対象を、例えば、推定対象に対応する推定器の更新頻度、推定対象に対応する推定器が更新される時間間隔、推定対象に対応する推定器が前回更新されてからの経過時間に応じて並び替えてもよい。ただし、大量の推定対象の中から注目すべき推定対象を特定できるように、並替手段１７は、注目する観点での優先度に応じて推定対象を並び替えることが好ましい。

並替手段１７は、例えば、以下に例示する観点で優先度を付与してもよい。
（１）推定対象に対応する推定器の更新頻度が高いほど、その推定対象に高い優先度を付与する。
（２）推定対象に対応する推定器の更新されていない期間が長いほど、その推定対象に高い優先度を付与する。
（３）推定対象に対応する推定器が定期的に更新されているほど、その推定対象に高い優先度を付与する。
（４）推定対象に対応する推定器が不規則に更新されているほど、その推定対象に高い優先度を付与する。
（５）推定対象に対応する推定器の更新間隔が短くなる傾向にあるほど、その推定対象に高い優先度を付与する。

例えば、上記に示す（５）の観点の場合、推定精度の劣化が激しいことが考えられるため、より注目すべき推定対象と言える。

並替手段１７は、並び替えた結果を出力してもよく、並び替えるために必要な情報（順位、優先度）を推定対象に付与してもよい。

本実施形態では、大量の推定対象（推定器）を管理することを想定している。そのため、並替手段１７が推定器の更新履歴に基づいて推定対象を並び替えることで、大量の推定対象の中から、より注目すべき推定対象を把握しやすくなる。

具体的は、管理者は、並替手段１７が付与した優先度に基づいて、更新履歴記憶部１６が記憶する情報をソートすることが可能になる。また、推定対象を可視化する場合に、大量に存在する推定対象の中から優先順位が高い所定の数の推定対象を優先的に可視化することが可能になる。

検索手段１８は、更新履歴記憶部１６に記憶された更新履歴に基づいて、所定の条件に合致する推定対象や推定器を検索する。例えばオペレータは、検索手段１８を用いて、「推定器が今から１０日以内に更新された推定対象はどれか」、「推定器が１０日間更新されていない推定対象はどれか」、「推定器が１１月２５日に更新された推定対象はどれか」といった観点で、推定対象を検索することが可能になる。

分類手段１９は、更新履歴記憶部１６に記憶された推定器の更新履歴に基づいて推定対象を分類する。分類手段１９は、例えば、推定対象に対応する推定器が更新された頻度、推定対象に対応する推定器が更新される時間間隔、その時間間隔の変化する傾向（例えば、更新間隔が短くなる（長くなる）傾向）、推定対象に対応する推定器が前回更新されてから経過した時間などに応じて、推定対象を複数のグループに分類してもよい。なお、このような観点でデータを分類する方法は多数知られており、分類手段１９は、任意の方法を用いて推定対象を分類すればよい。

可視化手段２０は、更新履歴記憶部１６に記憶された推定器の更新履歴を推定対象ごとに可視化する。可視化手段２０は、例えば、図２に例示するように、推定対象ごとにその推定対象を更新した複数の時間を対応付けた表形式で更新履歴を可視化してもよい。

図３は、更新履歴を可視化した例を示す説明図である。可視化手段２０は、図３に例示するように、推定対象に対応する推定器が更新されたことを示すシンボルを、その推定対象ごとに設けられた時間軸上でその推定器が更新された時間に対応する位置へ配置したグラフを生成し、そのグラフを可視化してもよい。

図３に例示するグラフの更新履歴は、図２に例示する更新履歴の表に対応する。図３に例示するグラフを参照することにより、例えば、予測対象Ａと予測対象Ｂの推定器が同じタイミングで更新されていることが一目で把握できる。他にも、図３に例示するグラフを参照することにより、例えば、予測対象Ｃの推定器が１０月２８日以降更新されていないことや、予測対象Ｄの推定器が１０月２８日から１１月７日にかけて、非常に高い頻度で更新されていることも一目で把握できる。

推定精度算出部１２と、更新起動判定部１３と、推定器更新部１４と、更新履歴管理部１５と、並替手段１７と、検索手段１８と、分類手段１９と、可視化手段２０とは、プログラム（推定器管理プログラム）に従って動作するコンピュータのＣＰＵによって実現される。

例えば、プログラムは、推定器管理システムが備える記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、推定精度算出部１２、更新起動判定部１３、推定器更新部１４、更新履歴管理部１５、並替手段１７、検索手段１８、分類手段１９および可視化手段２０として動作してもよい。

また、推定精度算出部１２と、更新起動判定部１３と、推定器更新部１４と、更新履歴管理部１５と、並替手段１７と、検索手段１８と、分類手段１９と、可視化手段２０とは、それぞれが専用のハードウェアで実現されていてもよい。また、統計情報記憶部１１と、更新履歴記憶部１６とは、例えば、磁気ディスク装置等により実現される。また、本発明による推定器可視化システムは、２つ以上の物理的に分離した装置が有線または無線で接続されることにより構成されていてもよい。

次に、本実施形態の推定器管理システムの動作を説明する。図４は、本実施形態の推定器管理システムの動作例を示すフローチャートである。

推定精度算出部１２は、統計情報記憶部１１に記憶された情報に基づいて、推定器ごとに推定精度を算出する（ステップＳ１１）。更新起動判定部１３は、算出された推定精度に基づいて、推定器の更新有無を判断し、推定器の更新指示を推定器更新部１４に対して行う（ステップＳ１２）。推定器更新部１４は、更新指示に基づいて、対象の推定器を更新する（ステップＳ１３）。また、推定器更新部１４は、推定器の更新情報を更新履歴管理部１５に通知する（ステップＳ１４）。更新履歴管理部１５は、推定器の更新情報に基づいて、その推定器の推定対象とその推定器が更新された時間とを関連付けて更新履歴記憶部１６に記憶する（ステップＳ１５）。

以上のように、本実施形態では、更新履歴管理部１５が、推定器の更新に応じて、その推定器の推定対象とその推定器が更新された時間とを関連付けて更新履歴記憶部１６に記憶する。すなわち、本実施形態の更新履歴記憶部１６は、単に推定器の更新時刻を保持するのではなく、複数の推定対象のそれぞれに、その推定対象に対応する推定器の更新履歴を関連付けて記憶する。よって、大量の推定器の更新状況を効率よく管理できる。

実施形態２．
次に、本発明による推定器管理システムの第２の実施形態を説明する。本実施形態では、更新履歴管理部１５が更新前の過去の推定器も含めて管理する場合について、より詳細に説明する。

ここで、過去の推定器を保持しておくメリットを説明する。例えば、推定対象に季節変動性がある場合を想定する。２０１５年１月のお汁粉の売上推定を行う場合、直近（例えば、２０１４年１２月）のデータに基づいて学習された推定器よりも、前年の同じ時期（例えば、２０１４年１月）のデータに基づいて学習された推定器の方が、推定精度が高い可能性がある。推定器の更新間隔が短いような場合には、より効果が高い。

また、複数の推定器を共存させることで、古い推定器でも推定を行うことにより推定精度を算出することが可能である。このように過去の推定器による推定精度を利用することで、更新判断や、推定精度のレポーティングを行うことも可能になる。

本実施形態の推定器管理システムの構成は、第１の実施形態の推定器管理システムと同様である。ただし、本実施形態では、更新履歴記憶部１６が記憶する更新履歴の内容、および、更新履歴管理部１５が更新履歴を管理する方法が異なる。

図５は、更新履歴記憶部１６が記憶する更新履歴の他の例を示す説明図である。図５に示す例では、更新履歴記憶部１６が、各推定対象に関連付けて、更新された時間が異なる複数の推定器の更新履歴を、その推定器の版とともに記憶していることを示す。

本実施形態の更新履歴管理部１５は、更新後の推定器の版管理を行うため、推定器が更新されるたびに、所定の規則に基づいて版を示す番号（以下、版番号と記す。）を特定し、その版番号と共に更新履歴を更新履歴記憶部１６に記憶する。図５に示す例では、更新履歴管理部１５が、更新履歴を追加するたびに版番号を１つずつ増加させ、その版番号と共に更新履歴を更新履歴記憶部１６に記憶していることを示す。

ただし、版番号の特定方法は、上記方法に限定されない。更新履歴管理部１５は、推定器の更新方法に応じて、版番号の特定方法を変更してもよい。例えば、推定器の更新（再学習）方法として、古い推定器を無視して完全に新しい推定器を作り直す方式（以下、再学習方式１と記す。）、および、古い推定器をベースに新たな学習データを利用して推定器を更新する方式（以下、再学習方式２と記す。）が挙げられる。

他にも、推定器の更新（再学習）方法として、推定器に用いる説明変数の種類を変えずに、再学習によって係数のみ更新する方式（以下、再学習方式３と記す。）、および、説明変数の選択も含めて再学習する方式（以下、再学習方式４と記す。）が挙げられる。ただし、推定器の更新方法は、上述する再学習方法１〜４に限定されない。

更新履歴管理部１５は、推定器の更新方法に応じて、同一の推定対象を推定する推定器の更新順に応じて付与される版番号を決定する。例えば、推定器Ａの更新方法として、上述する再学習方式１と再学習方式２が用いられるとする。また、推定器Ａの版番号が「ｖｅｒ Ｎ．Ｍ（ＮおよびＭは正の整数）」で表されるとする。このとき、更新履歴管理部１５は、再学習方式１により推定器が更新された場合、Ｍの値を１ずつ増加させ、再学習方式２により推定器が更新された場合、Ｎの値を１ずつ増加させてもよい。

すなわち、再学習方式１により推定器Ａが更新された場合、版番号は、「推定器Ａ ｖｅｒ１．０→推定器Ａ ｖｅｒ１．１→推定器Ａ ｖｅｒ１．２→推定器Ａ ｖｅｒ１．３」と変化する。また、再学習方式２により推定器Ａが更新された場合、版番号は、「推定器Ａ ｖｅｒ１．０→推定器Ａ ｖｅｒ２．０→推定器Ａ ｖｅｒ３．０→推定器Ａ ｖｅｒ４．０」と変換する。なお、推定器の識別情報と版番号をまとめて、推定器の名前ということも出来る。この場合、更新履歴管理部１５が再学習方式によって推定器の名前の付け方の規則を変えているとも言える。

そして、更新履歴管理部１５は、推定器の更新履歴に版番号を付して更新履歴記憶部１６に記憶する。

このように、更新履歴管理部１５が、推定器の更新方法に応じて、推定器の更新履歴に付与する版番号を変えることで、推定器の版管理をより効率的に行うことが可能になる。

以下、更新履歴記憶部１６に記憶された情報が、オペレータからどのように利用されるのかについて、２つの具体例を用いて説明する。

一つ目の具体例を、図５を参照しながら説明する。第一の具体例では、更新履歴記憶部１６に記憶された各々の推定器が、ある店舗における商品の一日当たりの売り上げ個数を推定する推定器である場合を想定する。例えば、図５において、推定対象Ａは鮭おにぎりであり、推定対象Ｂは梅おにぎりであり、推定対象Ｃは炭酸飲料であり、推定対象Ｄはボールペンであるとする。

更に、第一の具体例では、更新起動判定部１３が以下の基準で推定器を更新すべきか否かを判断する場合を想定する。すなわち、更新起動判定部１３は、ある推定対象についてある日の推定誤差が１０％を上回った場合、その翌日に、当該推定対象を推定する推定器を更新する、と判断する場合を想定する。

ここで、例えば、１１月２４日に、何らかのその日限りの突発的事象が発生し、通常よりもおにぎりの売り上げが１０倍になったとする。そして、推定対象Ａを推定する推定器、および、推定対象Ｂを推定する推定器は、このような突発的事象に対応できずに、おにぎりの売り上げ個数を通常通り推定してしまったとする。この場合、推定値と実測値とは大きく乖離することになる。１１月２４日の翌日の１１月２５日に、更新起動判定部１３はこの推定値と実測値との乖離を受けて、推定対象Ａを推定する推定器と、推定対象Ｂを推定する推定器とを更新すべきと判断する。更新起動判定部１３の判断を受けて、推定器更新部１４は推定対象Ａを推定する推定器、および、推定対象Ｂを推定する推定器を更新する。この際、推定器更新部１４は、１１月２４日の実測値を含んだ学習データによって、１１月２５日に推定器を更新する。

ところが、１１月２４日に発生した事象がその日限りの突発的事象であるとすると、推定対象Ａを推定する推定器と推定対象Ｂを推定する推定器とが更新されることは好ましくない。突発的事象が発生した１１月２４日の実測値を含んだ学習データを用いて更新された推定器では、逆に、突発的事象が発生しない日の推定精度が下がってしまう。

ここで、オペレータが、例えば、１１月２４日にその日限りの突発的事象が発生したことを知っていたとする。この場合、オペレータは検索手段１８を用いて、「推定器が１１月２５日に更新された推定対象はどれか」という観点で、推定対象を検索するとよい。その結果、推定対象Ａと推定対象Ｂが検索される。ここでオペレータは、推定対象Ａと推定対象Ｂについて推定器の更新履歴を確認する。オペレータは、推定対象Ａについて、１１月２５日に更新された「推定器Ａｖｅｒ．５」では無く、その一つ前の版である「推定器Ａｖｅｒ．４」を使い続けるように設定をし直すとよい。推定対象Ｂについても同様である。以上、更新履歴記憶部１６に記憶された情報が、オペレータからどのように利用されるのかについて、一つ目の具体例を説明した。

次に、更新履歴記憶部１６に記憶された情報が、オペレータからどのように利用されるのかについて、二つ目の具体例を、図５を参照しながら説明する。図５を参照すると分かるように、推定対象Ｄを推定する推定器は、高い頻度で更新されている。オペレータは、並替手段１７を用いて、更新履歴記憶部１６に記憶された推定対象を、推定器の更新頻度が高い順に並び替えて表示する。そうすると、更新頻度の高い推定対象Ｄが上位に表示される。

一般に、推定器を更新するには、コンピュータリソースや金銭的コストなどの、コストがかかる。推定器が頻繁に更新されるということは、多大なコストがかかっているということである。オペレータは、並替手段１７が上位に表示した推定対象について、その更新履歴や、推定精度等を詳細に確認する。これにより、例えば、オペレータは更新起動判定部１３に設定する更新ルールを変更するなどして、以降の推定器更新コストを抑えることが出来る。以上、更新履歴記憶部１６に記憶された情報が、オペレータからどのように利用されるのかについて、二つ目の具体例を説明した。

次に、本発明の概要を説明する。図６は、本発明による推定器管理システムの概要を示すブロック図である。本発明による推定器管理システムは、複数の推定対象のそれぞれに、その推定対象に対応する推定器の更新履歴を関連付けて記憶する記憶部８１（例えば、更新履歴記憶部１６）と、推定器の更新に応じて、その推定器の推定対象とその推定器が更新された時間とを関連付けて記憶部８１に記憶する更新履歴管理手段８２（例えば、更新履歴管理部１５）を備えている。

そのような構成により、大量の推定器の更新状況を効率よく管理できる。

また、記憶部８１は、推定対象に関連付けて、更新された時間が異なる複数の推定器の更新履歴を記憶してもよい。そして、更新履歴管理手段８２は、更新後の推定器の更新履歴を推定対象に更に関連付けて記憶部８１に記憶してもよい。そのような構成によれば、大量の推定器の更新間隔も効率よく管理できる。

また、更新履歴管理手段８２は、推定器の更新方法に応じて、同一の推定対象を推定する推定器の更新順に応じて付与される版番号を決定し、推定器の更新履歴に版番号を付して記憶部に記憶してもよい。そのような構成によれば、大量の推定器の更新方法の推移も効率よく管理できる。

また、推定器管理システムは、記憶部８１が記憶する複数の推定対象を、その推定対象に対応する推定器の更新頻度、その推定対象に対応する推定器が更新される時間間隔、または、その推定対象に対応する推定器が前回更新されてからの経過時間に応じて並び替える並び替え手段（例えば、並替手段１７）を備えていてもよい。そのような構成によれば、大量の推定器の中から、所望の範囲の推定器を優先して管理することが可能になる。

また、推定器管理システムは、記憶部８１が記憶する複数の推定対象を、その推定対象に対応する推定器が更新された頻度、その推定対象に対応する推定器が更新される時間間隔の変化傾向、または、その推定対象に対応する推定器が前回更新されてから経過した時間に応じて、複数のグループに分類する分類手段（例えば、分類手段１９）を備えていてもよい。そのような構成によれば、大量の推定器の中から、所望の特徴を有する推定器のグループを効率よく管理することが可能になる。

また、推定器管理システムは、記憶部８１が記憶する複数の推定対象について、その推定対象に対応する推定器が更新されたことを示すシンボルを、その推定対象ごとに設けられた時間軸上でその推定器が更新された時間に対応する位置へ配置したグラフ（例えば、図３に例示するグラフ）を生成する可視化手段（例えば、可視化手段２０）を備えていてもよい。そのような構成によれば、大量の推定器の更新状況を一見して把握することが可能になる。

また、更新履歴管理手段８２は、推定器のうち推定精度の劣化条件を満たす推定器の更新に応じて、その推定器の推定対象とその推定器が更新された時間とを関連付けて記憶部８１に記憶してもよい。そのような構成により、劣化条件に基づく所望の推定精度を維持できる期間を把握できるため、大量の推定器の更新状況を効率よく管理できるという効果に加え、推定器の更新内容についても適切に管理することが可能になる。

１１ 統計情報記憶部
１２ 推定精度算出部
１３ 更新起動判定部
１４ 推定器更新部
１５ 更新履歴管理部
１６ 更新履歴記憶部
１７ 並替手段
１８ 検索手段
１９ 分類手段
２０ 可視化手段

Claims (10)

1. 複数の推定対象のそれぞれに、当該推定対象に対応する推定器の更新履歴を関連付けて記憶するための記憶部と、
   前記推定器の更新に応じて、当該推定器の推定対象と当該推定器が更新された時間とを関連付けて前記記憶部に記憶する更新履歴管理手段を備えた
   ことを特徴とする推定器管理システム。
2. 記憶部は、更新された時間が異なる複数の推定器の更新履歴を記憶し、
   更新履歴管理手段は、更新後の推定器の更新履歴を推定対象に更に関連付けて前記記憶部に記憶する
   請求項１記載の推定器管理システム。
3. 更新履歴管理手段は、推定器の更新方法に応じて、同一の推定対象を推定する推定器の更新順に応じて付与される版番号を決定し、推定器の更新履歴に前記版番号を付して記憶部に記憶する
   請求項１または請求項２記載の推定器管理システム。
4. 記憶部が記憶する複数の推定対象を、当該推定対象に対応する推定器の更新頻度、当該推定対象に対応する推定器が更新される時間間隔、または、当該推定対象に対応する推定器が前回更新されてからの経過時間に応じて並び替える並び替え手段を備えた
   請求項１から請求項３のうちのいずれか１項に記載の推定器管理システム。
5. 記憶部が記憶する複数の推定対象を、当該推定対象に対応する推定器が更新された頻度、当該推定対象に対応する推定器が更新される時間間隔の変化傾向、または、当該推定対象に対応する推定器が前回更新されてから経過した時間に応じて、複数のグループに分類する分類手段を備えた
   請求項１から請求項４のうちのいずれか１項に記載の推定器管理システム。
6. 記憶部が記憶する複数の推定対象について、当該推定対象に対応する推定器が更新されたことを示すシンボルを、当該推定対象ごとに設けられた時間軸上で当該推定器が更新された時間に対応する位置へ配置したグラフを生成する可視化手段を備えた
   請求項１から請求項５のうちのいずれか１項に記載の推定器管理システム。
7. 更新履歴管理手段は、推定器のうち推定精度の劣化条件を満たす推定器の更新に応じて、当該推定器の推定対象と当該推定器が更新された時間とを関連付けて記憶部に記憶する
   請求項１から請求項６のうちのいずれか１項に記載の推定器管理システム。
8. コンピュータが、複数の推定対象のそれぞれに対応する推定器の更新履歴を関連付けて記憶するための記憶部に対して、前記推定器の更新に応じて、当該推定器の推定対象と当該推定器が更新された時間とを関連付けて記憶する
   ことを特徴とする推定器管理方法。
9. コンピュータが、推定器のうち推定精度の劣化条件を満たす推定器の更新に応じて、当該推定器の推定対象と当該推定器が更新された時間とを関連付けて記憶部に記憶する
   請求項８記載の推定器管理方法。
10. コンピュータに、
    複数の推定対象のそれぞれに対応する推定器の更新履歴を関連付けて記憶するための記憶部に対して、前記推定器の更新に応じて、当該推定器の推定対象と当該推定器が更新された時間とを関連付けて記憶する更新履歴管理処理
    を実行させるための推定器管理プログラム。
    

Images