JP6531820B2 - 推定器可視化システム - Google Patents

Description

本発明は、大量の推定器を可視化する推定器可視化システム、推定器可視化方法および推定器可視化プログラムに関する。

推定器とは、説明変数と目的変数の相関関係を表す情報である。推定器は、例えば、説明変数に基づいて目的とする変数を算出することにより推定対象の結果を推定するためのコンポーネントである。推定器は、既に目的変数の値が得られている学習用データと任意のパラメータとを入力として、学習器により生成される。推定器は例えば、入力ｘを正解ｙに写像する関数ｃにより表されてもよい。推定器は、推定対象の数値を推定するものであってもよいし、推定対象のラベルを推定するものであってもよい。推定器は、目的変数の確率分布を記述する変数を出力してもよい。推定器は、「モデル」、「学習モデル」、「予測モデル」、「分析モデル」または「予測式」などと記載されることもある。

推定器は、環境の変化や時間の経過とともに推定精度が劣化する。そのため、推定器を適切に長期運用するためには、推定器を適切にメンテナンスすることが必要である。

非特許文献１には、予測モデル（推定器）などの分析モデルの作成、管理および配置を効率化するツール（SAS Model Manager 。ただし、SAS は登録商標。）が記載されている。非特許文献１に記載されたツールは、例えば、時間の経過とともにスコアリング結果が変化した場合に、モデル（推定器）が劣化したことを知らせる自動アラート通知を行う。

SAS Institute Inc.、"SAS Model Manager "、［online］、［平成２７年１月２６日検索］、インターネット〈URL：http://www.sas.com/ja_jp/software/analytics/manager.html〉

管理対象の推定器が少数の場合、精度劣化等を個別に監視することにより、推定器の状態を個々に把握して管理することは可能である。しかし、管理対象の推定器が大量になると、各推定器の状態を個別に監視することは事実上不可能である。例えば、非特許文献１に記載されたツールは、大量の推定器を効率よく管理する機能を提供していないため、非特許文献１に記載されたツールを用いて大量の推定器を適切に管理することは困難である。

また、例えば、非特許文献１に記載されているように、モデル（推定器）の劣化が自動的に通知されたとしても、管理する推定器が大量の場合には、劣化の通知も大量になることが想定される。そのため、管理者は、個々の通知に対応しなければならず、効率よく管理することはやはり困難である。

大量の推定器を適切にメンテナンスするためには、個々の推定器をメンテナンスする方法とは異なり、管理者が一見して大量の推定器の状況を容易に把握できることが好ましい。

そこで、本発明は、大量の推定器の状況を容易に把握できるように可視化できる推定器可視化システム、推定器可視化方法および推定器可視化プログラムを提供することを目的とする。

本発明による推定器可視化システムは、推定対象と、その推定対象を推定する推定器に関連する指標とが関連付けされた情報を複数記憶する記憶部と、記憶部が記憶する情報に基づいて、推定器に関連する指標が少なくとも一つの次元として定義される座標空間上に、推定器の推定対象を表わすシンボルを、その推定器に関連する指標により定まる位置に配置した散布図を生成する散布図生成手段とを備えたことを特徴とする。また、本発明による他の推定器可視化システムは、推定対象と、その推定対象を推定する推定器に関連する指標とが関連付けされた情報を複数記憶する記憶部と、推定対象同士の、推定対象の値および推定器に関連する指標の値に基づいて定まる関係を図示する可視化部とを備えたことを特徴とする。

本発明による他の推定器可視化システムは、推定器と、その推定器に関連する指標とが関連付けされた情報を複数記憶する記憶部と、記憶部が記憶する情報に基づいて、推定器に関連する指標が少なくとも一つの次元として定義される座標空間上に、推定器を表わすシンボルを、その推定器に関連する指標により定まる位置に配置した散布図を生成する散布図生成手段とを備えたことを特徴とする。

本発明による推定器可視化方法は、推定対象とその推定対象を推定する推定器に関連する指標とが関連付けされた情報を複数記憶する記憶部の情報に基づいて、推定器に関連する指標が少なくとも一つの次元として定義される座標空間上に、推定器の推定対象を表わすシンボルを、その推定器に関連する指標により定まる位置に配置した散布図を生成することを特徴とする。

本発明による他の推定器可視化方法は、推定器とその推定器に関連する指標とが関連付けされた情報を複数記憶する記憶部の情報に基づいて、推定器に関連する指標が少なくとも一つの次元として定義される座標空間上に、推定器を表わすシンボルを、その推定器に関連する指標により定まる位置に配置した散布図を生成することを特徴とする。

本発明による推定器可視化プログラムは、コンピュータに、推定対象とその推定対象を推定する推定器に関連する指標とが関連付けされた情報を複数記憶する記憶部の情報に基づいて、推定器に関連する指標が少なくとも一つの次元として定義される座標空間上に、推定器の推定対象を表わすシンボルを、その推定器に関連する指標により定まる位置に配置した散布図を生成する散布図生成処理を実行させることを特徴とする。

本発明による他の推定器可視化プログラムは、コンピュータに、推定器とその推定器に関連する指標とが関連付けされた情報を複数記憶する記憶部の情報に基づいて、推定器に関連する指標が少なくとも一つの次元として定義される座標空間上に、推定器を表わすシンボルを、その推定器に関連する指標により定まる位置に配置した散布図を生成する散布図生成処理を実行させることを特徴とする。

本発明によれば、大量の推定器の状況を容易に把握できるように可視化できる。

本発明による推定器可視化システムの第１の実施形態の構成例を示すブロック図である。 推定器記憶部が記憶する情報の例を示す説明図である。 推定器記憶部が記憶する情報の例を示す説明図である。 推定器記憶部が記憶する情報の例を示す説明図である。 散布図の例を示す説明図である。 散布図の他の例を示す説明図である。 散布図のさらに他の例を示す説明図である。 散布図に対する範囲選択指示を受け付けた状態の例を示す説明図である。 推定対象及び推定器の詳細な情報を画面に出力した例を示す説明図である。 第１の実施形態の推定器可視化システムの動作例を示すフローチャートである。 散布図のユースケースの一例を説明する説明図である。 散布図のユースケースの一例を説明する説明図である。 散布図のユースケースの他の例を説明する説明図である。 散布図のユースケースの他の例を説明する説明図である。 本発明による推定器可視化システムの第２の実施形態の構成例を示すブロック図である。 散布図の例を示す説明図である。 第２の実施形態の推定器可視化システムの動作例を示すフローチャートである。 本発明による推定器可視化システムの概要を示すブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

実施形態１．
図１は、本発明による推定器可視化システムの第１の実施形態の構成例を示すブロック図である。本実施形態の推定器可視化システム１０００は、大量の推定器（予測式）を用いて、何らかの推定または予測を行うシステムである。すなわち、本実施形態の推定器可視化システム１０００は、それ自身が予測または推定も行うため、予測システム、または、推定システムということができる。

理解を容易にするため、本実施形態にかかる推定器可視化システム１０００を、小売店の例を用いて説明する。推定器可視化システム１０００は、例えば、小売店において店頭に陳列された商品の需要量（すなわち、販売個数）を推定器を用いて店舗ごと及び商品ごとに推定する。推定器可視化システム１０００は、店舗および商品ごとに推定器を有する。言い換えると、推定器可視化システム１０００は、店舗の数と商品の種類数を組み合わせた数の推定器を有する。

本実施形態の推定器可視化システム１０００は、推定器記憶部１０１と、ＧＵＩ（graphical user interface）表示部１０２と、推定器更新部１０３と、設定受付部１０４とを備えている。

推定器記憶部１０１は、推定器可視化システム１０００が有する推定器の一覧を記憶する。推定器記憶部１０１は、推定器と、その推定器が推定する推定対象とを対応付けて記憶する。以下、ある推定器が推定する対象のことを「推定器の推定対象」と表記する。

推定器記憶部１０１は、「推定器に関連する指標」をその推定器に対応付けて記憶してもよい。推定器に関連する指標の一例としては、例えば、誤差平均、誤差分散、誤差の絶対値平均などの推定精度を示す情報が挙げられる。推定器に関連する指標の他の例としては、例えば、その推定器の更新時刻や、前回更新されてから現在までの時間の長さを表す運用時間などが挙げられる。推定器の更新は、推定器の再学習と言い換えることができる。推定器に関連する指標は、例えば更新頻度であってもよい。

また、推定器記憶部１０１は、「推定対象に関連する指標」をその推定器に対応付けて記憶してもよい。例えば、推定器記憶部１０１は、「推定対象に関連する指標」として、重要度や優先度などを示す推定対象の順位や、売上高、利益、売上割合などを示す実績情報を、その推定対象に対応付けて記憶してもよい。また、推定器可視化システム１０００が店舗および商品ごとに推定器を有する場合、推定器記憶部１０１は、店舗を識別する情報を、その推定対象に対応付けて記憶してもよい。「推定対象に関連する指標」は、例えば、当該推定対象を推定する推定器の更新頻度や更新履歴であってもよい。推定器の更新に関する指標は、「推定器に関連する指標」として管理されていても、「推定対象に関連する指標」として管理されていてもよい。

推定対象に関連する指標の一つに、推定対象の重要度が挙げられる。例えば、コンクリート橋やトンネルなどの構造物を構成する部品の劣化を推定する複数の推定器が存在するとする。この場合、重要度は、推定対象である部品がその構造物においてどの程度重要かを示す値（劣化したしたときの危険度など）に相当する。

他にも、推定対象に関連する指標の一つに、推定対象の優先度が挙げられる。例えば、コンピュータシステムに含まれる複数のモジュールの性能予測を行う推定器が存在するとする。この場合、例えば、モジュール１の性能の推定値に関する運用ルールとして「所定の閾値を下回ったら、すぐに社長までエスカレーション」と規定され、モジュール２の性能の推定値に関する運用ルールとして「所定の閾値を下回ったら、システム管理者に電話」と規定され、モジュール３の性能の推定値に関する運用ルールとして「所定の閾値を下回ったら、管理者にメール通知」と規定されているとする。この場合、優先度の大きさは、例えば、モジュール１＞モジュール２＞モジュール３と定義される。

図２は、推定器記憶部１０１が記憶する情報の例を示す説明図である。図２に示す例では、推定器記憶部１０１が、ある店舗の商品ごとに推定器（予測式）を対応付け、その推定器の性能を示す誤差平均および誤差分散、その推定器の更新頻度、推定対象の売上高をそれぞれ記憶していることを示す。なお、図２に例示する推定器を、予測式と言い換えても構わない。

例えば、図２に例示する推定器１は、鮭おにぎりの需要量（販売個数）を推定する推定器であり、推定誤差の月平均が＋１個、ひと月あたりの推定誤差の分散が１、推定器の更新頻度が１回／月、推定対象（鮭おにぎり）の一日当たり平均売上高が１０２３４円であることを示す。

また、推定器記憶部１０１は、推定器毎に、より詳細な情報を記憶していてもよい。図３は、図２に示す推定器１について、より詳細な情報を示す説明図である。図３に示すように、推定器記憶部１０１は、推定器と、その推定器が推定した推定値と、その推定値に対応する実測値とを対応付けた情報を記憶していてもよい。図３に示す例は、日ごとに、図２における推定器１が推定した推定値（鮭おにぎりの売り上げ個数の予測値）と、その推定値に対応する実測値（実際に鮭おにぎりが幾つ売れたか）と、その日に推定器１が更新されたか否か、とが対応づけられた情報を示している。更に、図３に示すように、推定器記憶部１０１は、推定器が更新されたタイミング毎に、推定器が自動更新されたか手動更新されたかを示す情報や、推定器が更新された理由を示す情報を対応付けて記憶してもよい。推定器可視化システム１０００は、例えば、図３に示す情報に基づいて、図２に示す誤差平均、誤差分散、推定器の更新頻度などの値を算出する構成を備えていてもよい。

図２に示す例では、推定器記憶部１０１が、推定器に関連する指標と推定対象に関連する指標を１つの表で管理している場合を例示しているが、推定器に関連する指標と推定対象に関連する指標とが、それぞれ別の表で管理されていてもよい。

図４は、推定器記憶部１０１が記憶する情報の他の例を示す説明図である。図４に示す例は、推定器記憶部１０１が、店舗ごと及び商品（推定対象）ごとに推定器（予測式）を対応付け、その推定器の性能を示す誤差の絶対値平均を記憶していることを示す。

推定器記憶部１０１は、例えば、推定対象と推定器に関連する指標とを関連付けた第一の表と、推定対象と推定対象に関連する指標とを対応付けた第二の表を、それぞれ別に記憶していてもよい。第二の表の例として、例えば、ＰＯＳ（point of sales）データのように、商品と商品の売上を対応付けた表が挙げられる。また、この場合、推定器記憶部１０１は、それぞれの表を記憶する複数の装置によって実現されていてもよい。推定器記憶部１０１は、例えば、磁気ディスク装置などにより実現される。

ＧＵＩ表示部１０２は、推定器記憶部１０１が記憶する内容を可視化する。具体的には、ＧＵＩ表示部１０２は、推定器記憶部１０１が記憶する情報に基づいて、推定器の推定対象を表わすシンボルを座標空間上に配置した散布図を生成する。このとき、推定器の推定対象を表わすシンボルは、推定器に関連する指標が少なくとも一つの次元として定義される座標空間上に配置される。

図５は、ＧＵＩ表示部１０２が生成した散布図の例を示す説明図である。図５に例示する散布図は、図２に例示する情報に基づいて生成されたものである。図５に示す例では、推定器に関連する指標である推定器の更新頻度が座標空間上の横軸方向の次元軸に定義され、推定対象に関連する指標である売上高が縦軸方向の次元軸に定義されていることを示す。また、図５において菱形で示される１つのシンボルが、座標空間上に配置された１つの推定対象（推定器）を示す。

なお、図５に示す例では、縦軸方向に推定対象に関連する指標が定義されているが、縦軸方向にも推定器に関連する指標（例えば、性能を示す誤差平均や誤差分布など）を定義してもよい。また、図５に示す例では、横軸方向に推定器に関連する指標が定義されているが、推定器に関連する指標が縦軸方向に定義されてもよい。

また、図５に示す例では、ＧＵＩ表示部１０２が２次元の散布図を生成した場合を例示しているが、生成される散布図は２次元に限定されない。図６は、ＧＵＩ表示部１０２が生成した散布図の他の例を示す説明図である。ＧＵＩ表示部１０２は、図６に例示するような３次元以上の多次元の散布図を生成してもよい。

また、図５に示す例では、ＧＵＩ表示部１０２が推定対象を表わすシンボルを同じ形状で座標空間上に配置した散布図を生成している。ＧＵＩ表示部１０２は、推定対象に関連する情報に応じて変化させたシンボルを座標空間上に配置してもよい。図７は、ＧＵＩ表示部１０２が生成した散布図のさらに他の例を示す説明図である。図７に示す例では、ＧＵＩ表示部１０２が菱形のシンボル以外に矩形や三角形のシンボルを座標空間上に配置した散布図を生成していることを示す。

ＧＵＩ表示部１０２は、例えば、シンボルの形や色で推定対象の種類や分類を表わすようにしてもよい。具体的には、推定対象が「飲み物」、「食べ物」および「日用品」といったカテゴリに分類されている場合、ＧＵＩ表示部１０２は、推定対象が属するカテゴリごとに推定対象を表すシンボルの色または形を変えてもよい。ＧＵＩ表示部１０２は、シンボルの大きさや色で推定対象に関する数量情報を表わすようにしてもよい。推定器に関連する指標についても同様である。

図５から図７に例示する散布図の各次元軸に割り当てる指標は、予め定められている指標であってもよく、後述する設定受付部１０４を介してオペレータによって設定される任意の指標であってもよい。

なお、図５に例示する散布図は、たかだか２１個の推定器の推定対象を表わすシンボルを座標空間上に配置したものであるが、店舗数および扱う商品数が増えるにしたがって、対象とする推定対象の数は飛躍的に増加する。しかし、本実施形態では、ＧＵＩ表示部１０２が、推定器に関連する指標または推定対象に関連する指標を一つの次元とする座標空間上に推定対象を表わすシンボルを配置した散布図を生成する。そのため、推定対象が増加しても、その推定対象の分布の傾向が一見して把握できるため、大量の推定器の状況を容易に把握できる。

例えば、更新頻度が高いにもかかわらず推定対象の売上高が低い推定器や、推定対象の売上高が高いにも関わらず更新頻度の低い推定器などについても、オペレータは、その分布の傾向を一見して把握することが可能になる。

そして、ＧＵＩ表示部１０２は、生成した散布図を表示する。ＧＵＩ表示部１０２は、生成した散布図を自身で表示してもよく、ディスプレイ装置などの他の表示装置（図示せず）に表示させてもよい。

ＧＵＩ表示部１０２は、オペレータから、散布図に配置したシンボルに対する選択操作を受け付けてもよい。ＧＵＩ表示部１０２は、シンボルに対する選択操作を受け付けたことに応じて、選択されたシンボルが表す推定対象や、選択されたシンボルが表す推定対象を推定する推定器について、より詳細な情報を表示してもよい。ＧＵＩ表示部１０２は、生成した散布図において、散布図内に配置されたシンボルの各々に対して、そのシンボルが表す推定対象や、そのシンボルが表す推定対象を推定する推定器の詳細な情報へのリンクを設定してもよい。このようなリンクを設定することで、より詳細な情報を簡易に表示することが可能になる。

推定対象の詳細な情報、または、推定器の詳細な情報は、例えば、図２に例示した表の行に相当する情報や、図３に例示した表に相当する情報である。推定対象の詳細な情報は、例えば、選択されたシンボルが表す推定対象に対応するＰＯＳデータであってもよい。推定器の詳細な情報は、例えば、その推定器を学習する際に用いた学習データであってもよい。推定器の詳細な情報は、推定器そのものを示す情報、すなわち、推定器を示す数式など、であってもよい。

推定器可視化システム１０００が推定器自動更新機能を備えたシステムである場合、推定器の詳細な情報は、例えば、その推定器に対して設定された更新ルールであってもよい。更新ルールとは、個々の推定器に対して設定されるルールであり、推定器の自動更新のタイミングを規定するルールである。更新ルールは、例えば、「毎月１０日になったら推定器を自動更新する」、「推定誤差が１０日連続で１５％を上回ったら自動更新する」というような、推定器を自動更新するためのｉｆ−ｔｈｅｎルールである。

推定器更新部１０３は、対象とする推定器を更新し、推定器記憶部１０１に記憶する。推定器の更新方法は任意である。推定器更新部１０３は、例えば、学習データに基づいて一から推定器を生成してもよく、前回学習を行ったときからの差分の学習データに基づいて推定器を更新してもよい。

また、更新の対象とする推定器を特定する方法も任意である。推定器更新部１０３は、例えば、予め定めた条件（例えば、更新頻度、推定精度等）に合致する推定器を抽出し、抽出された推定器を更新してもよい。

なお、ＧＵＩ表示部１０２が、自身が生成した散布図内に配置された推定対象の推定器に対する選択指示を受け付ける。このとき、推定器更新部１０３は、ＧＵＩ表示部１０２が選択を受け付けた推定器を更新対象と特定してもよい。特に、ＧＵＩ表示部１０２が、散布図内の範囲選択指示を受け付け、推定器更新部１０３が、選択された範囲内の推定器を更新対象と特定してもよい。

図８は、散布図に対する範囲選択指示を受け付けた状態の例を示す説明図である。図８に示す例では、更新対象の推定器として、破線で示される範囲が選択されたことを示す。

例えば、散布図がディスプレイ装置およびポインティングデバイス装置を備える情報処理装置（図示せず）に表示される場合、推定器更新部１０３は、ディスプレイ装置に表示された散布図に対するポインティングデバイス装置からの操作に応じて選択された推定器を更新対象として特定してもよい。また、例えば、散布図がタッチパネルなどの表示装置（図示せず）に表示される場合、推定器更新部１０３は、表示されたタッチパネルに対するオペレータの操作に応じて選択された推定器を更新対象として特定してもよい。

本実施形態において、ＧＵＩ表示部１０２によって生成される散布図では、推定器の更新判断に利用される可能性が高い指標が次元軸に設定されるため、散布図の次元軸に設定された指標が近い推定器（推定対象）のシンボル同士は、互いに近接して表示されることになる。

本実施形態では、ＧＵＩ表示部１０２がこのようなシンボルの集合を表示する散布図に対して範囲選択を受け付ける。そして、推定器更新部１０３が選択された範囲内の推定器を更新対象と特定する。そのため、同様の傾向を示す推定対象をまとめて特定でき、オペレータが個別に推定器の更新指示を行う負担を軽減させることが可能になる。

また、ＧＵＩ表示部１０２が散布図内に配置されたシンボルに対する範囲選択指示を受け付けた後、推定器更新部１０３が選択された範囲に含まれるシンボルに対応する推定対象に関する情報や、その推定対象の推定器の情報を特定してもよい。そして、ＧＵＩ表示部１０２が、特定した情報を出力してもよい。

設定受付部１０４は、ＧＵＩ表示部１０２がシンボルに対する選択操作をオペレータから受け付けた際、ＧＵＩ表示部１０２がどのような情報を表示するかについて、オペレータから設定を受け付ける。設定受付部１０４は、散布図内に配置されたシンボルに対して、どのような情報に対するリンクを設定すべきか、オペレータからの設定を受け付けてもよい。

設定受付部１０４は、例えば、オペレータが最も重要と考える指標を散布図の次元に設定し、オペレータがシンボルに対する選択操作を行ったときに表示させる情報として、その次に重要と考える指標を設定することが好ましい。このようにすることで、オペレータが大量の推定器を効率よく管理することができる。

図９は、推定対象及び推定器の詳細な情報を画面に出力した例を示す説明図である。図９に示す例では、選択された範囲に含まれるシンボルに対応する推定対象が吹き出しに表示され、選択された範囲の推定器の情報（ここでは推定対象の名称）が表形式で表示されていることを示す。

ＧＵＩ表示部１０２と、推定器更新部１０３と、設定受付部１０４とは、プログラム（推定器可視化プログラム）に従って動作するコンピュータのＣＰＵによって実現される。例えば、プログラムは、推定器可視化システムが備える記憶部（図示せず）に記憶され、ＣＰＵは、そのプログラムを読み込み、プログラムに従って、ＧＵＩ表示部１０２、推定器更新部１０３および設定受付部１０４として動作してもよい。

また、ＧＵＩ表示部１０２と、推定器更新部１０３と、設定受付部１０４とは、それぞれが専用のハードウェアで実現されていてもよい。また、本発明による推定器可視化システムは、２つ以上の物理的に分離した装置が有線または無線で接続されることにより構成されていてもよい。

次に、本実施形態の推定器可視化システムの動作を説明する。図１０は、本実施形態の推定器可視化システムの動作例を示すフローチャートである。

ＧＵＩ表示部１０２は、推定器記憶部１０１から推定器および推定対象に関する情報を読み取り、散布図を生成する（ステップＳ１１）。具体的には、ＧＵＩ表示部１０２は、推定器記憶部１０１が記憶する情報に基づいて、推定器に関連する指標が少なくとも一つの次元として定義される座標空間上に、推定器の推定対象を表わすシンボルを配置した散布図を生成する。

ＧＵＩ表示部１０２は、生成した散布図を表示する（ステップＳ１２）。ＧＵＩ表示部１０２は、散布図内に配置されたシンボルに対する選択指示を受け付ける（ステップＳ１３）。このとき、ＧＵＩ表示部１０２は、範囲選択指示を受け付けてもよい。そして、推定器更新部１０３は、選択されたシンボルに対応する推定器を更新し、推定器記憶部１０１に記憶する（ステップＳ１４）。

以上のように、本実施形態では、推定器記憶部１０１に記憶された推定器および推定対象を推定する推定器に関連する指標に基づいて、ＧＵＩ表示部１０２が、推定器に関連する指標が少なくとも一つの次元として定義される座標空間上に、推定対象を推定する推定器の推定対象を表わすシンボルを、その推定器に関連する指標により定まる位置に配置した散布図を生成する。なお、推定対象を推定する推定器に関連する指標は、例えば、推定対象の推定に用いられる１つ以上の推定器の実績に基づいて算出される。そのため、大量の推定器の状況を容易に把握できるように可視化でき、大量の推定器を効率よく運用することができる。

ＧＵＩ表示部１０２が表示する散布図が、オペレータからどのように利用されるのかについて、２つの具体例を用いて説明する。図１１から図１４は、散布図の例を示す説明図である。まずは、一つ目の具体例を、図１１を参照しながら説明する。図１１に示す散布図は、図５に例示する散布図と同一の散布図である。

一般的に、推定器の更新（再学習）には、更新コストが必要になる。更新コストの例として、例えば、金銭的なコストや、コンピュータリソースなどが挙げられる。ここで、例えば、売上高が低い推定対象を推定する推定器は、オペレータにとってあまり重要では無いという前提を仮定する。この場合、売上高が低い推定対象を推定する推定器が、高頻度で更新されていることは、オペレータにとって好ましくない。売上高が低い推定対象を推定する推定器が高頻度で更新されていることは、重要でない推定器のために多大な更新コストがかかっているということを意味するからである。

オペレータは、図１１に例示する散布図を参照することにより、更新頻度が高いにもかかわらず推定対象の売上高が低い推定器、すなわち、図１１における点線枠で囲われたシンボルに相当する推定器の存在に気が付くことができる。オペレータは、例えば、このような推定器の存在に気が付いた後に、このような推定器の詳細を確認する。

オペレータは、図１１における点線枠で囲われたシンボルを、例えばクリックなどの方法により選択する。ＧＵＩ表示部１０２は、シンボルが選択されたことに応じて、選択されたシンボルが表す推定対象の詳細を示す情報や、選択されたシンボルが表す推定対象を推定する推定器の詳細を示す情報を表示する。ここでは、ＧＵＩ表示部１０２は、シンボルが選択されたことに応じて、選択されたシンボルが表す推定対象を推定する推定器の、更新ルールを表示する。この様子を、図１２に示す。ここで出力される情報は、例えば、設定受付部１０４を介して設定されていてもよく、予めシステムに設定されていてもよい。

オペレータは、表示された更新ルールを確認する。オペレータは、その推定器について、更新ルールをより更新頻度が低くなるように設定しなおすことにより、重要でない推定器について必要以上に更新コストがかかる問題を解決できる。

次に、二つ目の具体例を、図１３を用いて説明する。図１３に例示する散布図は、図４に例示する情報に基づいて生成されたものである。図１３に示す例では、推定対象に関連する指標である推定対象の店舗情報が、座標空間上の横軸方向の次元軸に定義され、推定器に関連する指標である推定器の推定精度誤差平均が、縦軸方向の次元軸に定義されていることを示す。また、図５において菱形で示される１つのシンボルが、座標空間上に配置された１つの推定対象（推定器）を示す。

オペレータは、図１３に例示する散布図を参照することにより、店舗Ｃにおいて、一部の商品の推定誤差が大きいことに気が付くことができる。オペレータは、例えば、このような推定器の存在に気が付いた後に、このような推定器の詳細を確認する。

オペレータは、図１３における点線枠で囲われたシンボルを範囲選択する。また、ＧＵＩ表示部１０２は、散布図内に配置されたシンボルに対する範囲選択指示を受け付けた後、選択された範囲に含まれるシンボルに対応する推定対象の名前を示す情報を出力する。この様子を図１４に示す。ここで出力される情報は、例えば、設定受付部１０４を介して設定されていてもよく、予めシステムに設定されていてもよい。

オペレータは、図１４に示す画面を参照することにより、店舗Ｃにおいて推定誤差が大きい商品は、いずれも炭酸飲料に関する商品であることを把握することができる。オペレータは、店舗Ｃにおいてこれら炭酸飲料の需要量の推定誤差が大きい理由を調査する。オペレータが調査した結果、例えば、店舗Ｃはこれら炭酸飲料に関して独自のキャンペーンを行っていたことが分かったとする。更に、このキャンペーンに関する情報が、これら推定器を学習する際に用いた学習データに反映されていなかったことが分かったとする。オペレータは、店舗Ｃにおけるこれら炭酸飲料の需要量を推定する推定器を更新する際に、キャンペーンに関する情報を学習データに加えることを思いつく。これにより、これら推定器の推定精度を向上させることができる。

以上、ＧＵＩ表示部１０２により表示される散布図がオペレータからどのように利用されるのかを、２つの具体例を用いて説明した。このように、オペレータは、ＧＵＩ表示部１０２が表示する散布図を参照することにより、まずは、大量の推定対象（推定器）の中から特に注目すべき推定対象（推定器）を把握することができる。更に、オペレータは、特に注目すべき推定対象を表すシンボルを選択することにより、その推定対象、またはその推定対象を推定する推定器について詳細な情報を得ることができる。このように、オペレータは、ＧＵＩ表示部１０２が表示する散布図を用いることにより、大量の推定器を、概観から詳細へとドリルダウン分析することができる。これにより大量の推定器をメンテナンスする作業が効率化される。

実施形態２．
第１の実施形態では、推定器が推定する推定対象の状況を把握できるように、ＧＵＩ表示部１０２が、推定器に関連する指標（更新頻度）と推定対象に関連する指標（売上高）とをそれぞれ次元軸に設定した散布図を生成する方法を説明した。本実施形態では、推定器可視化システムが、推定器自身の状況を把握できるような散布図を生成する。

図１５は、本発明による推定器可視化システムの第２の実施形態の構成例を示すブロック図である。本実施形態の推定器可視化システム２０００も、第１の実施形態と同様、大量の推定器（予測式）を用いて、何らかの推定または予測を行うシステムである。すなわち、本実施形態の推定器可視化システム２０００は、それ自身が予測または推定も行うため、予測システム、または、推定システムということができる。

本実施形態の推定器可視化システム２０００は、推定器記憶部２０１と、ＧＵＩ表示部２０２と、推定器更新部２０３と、設定受付部２０４とを備えている。

推定器記憶部２０１は、推定器可視化システム２０００が有する推定器の一覧を記憶する。推定器記憶部２０１は、推定器と、その推定器に関連する指標とを対応付けて記憶する。推定器に関連する指標は、第１の実施形態と同様、更新時刻や頻度などの更新実績や、誤差平均、誤差分散、誤差率などの推定精度を示す性能などである。また、推定器記憶部２０１は、推定器に関連する指標として、推定器を学習する際に用いた学習データ数や、学習データに対する推定器の適合度合いを記憶していてもよい。例えば、学習データに対して線形回帰を行うことにより推定器を作成する場合、学習データに対する推定器の適合度合いは、例えば、決定係数の値や、学習データと回帰式との間の誤差の値である。推定器記憶部２０１は、例えば、推定器（回帰式）と、その推定器を学習する際に用いられた学習データのサンプル数と、その推定器を学習した際の学習データと回帰式との間の誤差の値と、を対応付けて記憶している

ＧＵＩ表示部２０２は、第１の実施形態と同様、推定器記憶部２０１が記憶する内容を可視化する。具体的には、ＧＵＩ表示部２０２は、推定器記憶部２０１が記憶する情報に基づいて、推定器を表わすシンボルを座標空間上に配置した散布図を生成する。このとき、推定器を表わすシンボルは、推定器に関連する指標が少なくとも一つの次元として定義される座標空間上に配置される。

図１６は、ＧＵＩ表示部２０２が生成した散布図の例を示す説明図である。図１６に示す例では、推定器を生成する際に用いた学習データのサンプル数が座標空間上の横軸方向の次元軸に定義され、学習データと回帰式との間の誤差の値が縦軸方向の次元軸に定義されていることを示す。また、図１６において黒丸で示される１つのシンボルが、座標空間上に配置された１つの推定器を示す。ただし、各軸に設定される指標は、図１６に例示する指標に限定されない。また、第１の実施形態と同様、散布図の次元数も２次元に限定されず、３次元以上の多次元であってもよい。

また、図１６に示す例では、ＧＵＩ表示部２０２が推定器を表わすシンボルを同じ形状で座標空間上に配置した散布図を生成しているが、ＧＵＩ表示部２０２は、推定器に関連する情報に応じて変化させたシンボルを座標空間上に配置してもよい。ＧＵＩ表示部２０２は、例えば、シンボルの形や色で推定器の種類や分類を表わすようにしてもよく、シンボルの大きさで推定器に関する数量情報を表わすようにしてもよい。

このように、ＧＵＩ表示部２０２が推定器の状況を表わす散布図を生成することにより、推定器の分布の傾向が一見して把握できるため、大量の推定器の状況を容易に把握できる。例えば、図１６に示す例では、散布図左下の点線で囲まれている範囲の推定器は、サンプル数が少ないにもかかわらず学習データと回帰式との間の誤差の値が低いものである。このことから、この範囲に存在する推定器の過学習の可能性を検討できる。

なお、過学習とは、推定器（例えば回帰式）が学習データに過剰に適合することで汎化誤差（学習データ以外、母集団の全体での誤差）が高くなる現象である。図１６に示す散布図を用いることにより、学習を行った直後に過学習のおそれの高い推定器を効率よく見つけることができる。また、例えば今月の誤差と学習時の誤差の２軸で散布図を作成したり、学習誤差とバリデーション誤差（学習データには使わない過去データ）の２軸で散布図を作成したりすることにより、推定器の運用中に過学習のおそれの高い推定器を見つけることもできる。

そして、ＧＵＩ表示部２０２は、生成した散布図を表示する。なお、散布図を生成する方法は、第１の実施形態と同様である。

推定器更新部２０３は、対象とする推定器を更新し、推定器記憶部２０１に記憶する。なお、推定器の更新方法も、第１の実施形態と同様である。ＧＵＩ表示部２０２は、自身が生成した散布図内に配置された推定器のシンボルに対する選択指示を受け付ける。推定器更新部２０３は、ＧＵＩ表示部２０２が選択を受け付けた推定器を更新対象と特定してもよい。この場合、同様の傾向を示す推定器をまとめて特定でき、オペレータが個別に推定器の更新指示を行う負担を軽減させることが可能になる。

設定受付部２０４は、ＧＵＩ表示部２０２が表示する情報について、オペレータから設定を受け付ける。なお、設定受付部２０４が受け付ける内容は、第１の実施形態の設定受付部１０４が受け付ける内容と同様である。

ＧＵＩ表示部２０２と、推定器更新部２０３と、設定受付部２０４とは、プログラム（推定器可視化プログラム）に従って動作するコンピュータのＣＰＵによって実現される。また、ＧＵＩ表示部２０２と、推定器更新部２０３と、設定受付部２０４とは、それぞれが専用のハードウェアで実現されていてもよい。

次に、本実施形態の推定器可視化システムの動作を説明する。図１７は、本実施形態の推定器可視化システムの動作例を示すフローチャートである。

ＧＵＩ表示部２０２は、推定器記憶部２０１から推定器に関する情報を読み取り、散布図を生成する（ステップＳ２１）。具体的には、ＧＵＩ表示部２０２は、推定器記憶部２０１が記憶する情報に基づいて、推定器に関連する指標が少なくとも一つの次元として定義される座標空間上に、推定器の表わすシンボルを配置した散布図を生成する。

ＧＵＩ表示部２０２は、生成した散布図を表示する（ステップＳ２２）。ＧＵＩ表示部２０２は、散布図内に配置されたシンボルに対する選択指示を受け付ける（ステップＳ２３）。このとき、ＧＵＩ表示部２０２は、範囲選択指示を受け付けてもよい。そして、推定器更新部２０３は、ＧＵＩ表示部２０２が選択を受け付けたシンボルに対応する推定器を更新し、推定器記憶部２０１に記憶する（ステップＳ２４）。

以上のように、本実施形態では、推定器記憶部２０１に記憶された推定器に関連する指標に基づいて、ＧＵＩ表示部２０２が、推定器に関連する指標が少なくとも一つの次元として定義される座標空間上に、推定器を表わすシンボルを、その推定器に関連する指標により定まる位置に配置した散布図を生成する。そのため、大量の推定器の状況を容易に把握できるように可視化でき、大量の推定器を効率よく運用することができる。

次に、本発明の概要を説明する。図１８は、本発明による推定器可視化システムの概要を示すブロック図である。本発明による推定器可視化システムは、推定対象（例えば、各店舗の商品）と、その推定対象を推定する推定器に関連する指標（例えば、更新実績など）とが関連付けされた情報を記憶する記憶部８１（例えば、推定器記憶部１０１）と、記憶部８１が記憶する情報に基づいて、推定器に関連する指標（具体的には、推定対象を推定する推定器に関連する指標）が少なくとも一つの次元として定義される座標空間上に、推定器の推定対象を表わすシンボルを、その推定器に関連する指標により定まる位置に配置した散布図を生成する散布図生成手段８２（例えば、ＧＵＩ表示部１０２）とを備えている。

そのような構成により、大量の推定器の状況を容易に把握できるように可視化できる。

また、推定器可視化システムは、散布図内に配置されたシンボルに対する選択指示を受け付けるシンボル選択指示受付手段（例えば、ＧＵＩ表示部１０２、ＧＵＩ表示部２０２）と、シンボルに対応する推定対象に関する情報とその推定対象の推定器に関する情報の少なくともいずれか一方を画面に出力する出力手段（例えば、ＧＵＩ表示部１０２、ＧＵＩ表示部２０２）とを備えていてもよい。そのような構成によれば、同様の傾向を示す推定器や推定対象の内容を纏めて確認することが可能になる。

このとき、シンボル選択指示受付手段は、散布図内に配置されたシンボルに対して範囲選択指示を受け付け、出力手段は、選択された範囲に含まれるシンボルに対応する推定対象に関する情報とその推定対象の推定器の情報の少なくともいずれか一方を画面に出力してもよい。

さらに、シンボル選択指示受付手段は、シンボルの情報として出力する内容の設定を受け付ける設定受付手段（例えば、設定受付部１０４、設定受付部２０４）を備えていてもよい。そして、出力手段は、シンボル選択指示受付手段によって選択された範囲に含まれるシンボルの情報として、設定受付手段が設定を受け付けた内容を出力してもよい。

一方、散布図生成手段８２は、推定器の推定対象を表わすシンボルの各々について、そのシンボルに対応する推定対象に関する情報とその推定対象の推定器の情報の少なくともいずれか一方に対するリンクを設定してもよい。

また、記憶部８１は、推定対象に関連する指標（例えば、売上高など）がその推定対象に関連付けされた情報を記憶してもよい。そして、散布図生成手段８２は、推定器に関連する指標が一つの次元として、かつ、推定対象に関連する指標が他の次元として定義される座標空間上に、推定器の推定対象を表わすシンボルを、その推定器に関連する指標および推定対象に関連する指標により定まる位置に配置した散布図を生成してもよい。

具体的には、推定器に関する指標は、その推定器の更新実績（例えば、推定器の更新された時間、更新回数）または頻度を示す指標（例えば、更新頻度）またはその推定器の推定精度を示す指標であってもよい。また、推定対象に関連する指標は、例えば、推定対象の重要性、優先度または売上高に関する指標であってもよい。

また、記憶部８１は、推定器に関連する指標として、その推定器が更新された時間または頻度に関する指標を記憶してもよい。そして、散布図生成手段８２は、推定器の更新実績を示す指標が少なくとも一つの次元として定義される座標空間上に、推定器の推定対象を表わすシンボルを、その推定器の更新実績を示す指標により定まる位置に配置した散布図を生成してもよい。

また、推定器可視化システムは、散布図内に配置されたシンボルに対する範囲選択指示を受け付ける範囲選択指示受付手段（例えば、ＧＵＩ表示部１０２）と、選択された範囲に含まれるシンボルに対応する推定対象の推定器を更新する更新手段（例えば、推定器更新部１０３）とを備えていてもよい。そのような構成によれば、同様の傾向を示す推定器や推定対象をまとめて特定でき、オペレータが個別に推定器の更新指示を行う負担を軽減させることが可能になる。

次に、本発明の他の概要を説明する。次に説明する推定器可視化システムの構成は、図１８に例示する内容と同様である。本発明による他の推定器可視化システムは、推定器と、その推定器に関連する指標（例えば、誤差率、サンプル数）とが関連付けされた情報を記憶する記憶部８１（例えば、推定器記憶部２０１）と、記憶部８１が記憶する情報に基づいて、推定器に関連する指標が少なくとも一つの次元として定義される座標空間上に、推定器を表わすシンボルを、その推定器に関連する指標により定まる位置に配置した散布図を生成する散布図生成手段８２（例えば、ＧＵＩ表示部２０２）とを備えている。

そのような構成であっても、大量の推定器の状況を容易に把握できるように可視化できる。

以下、参考形態の例を付記する。
（付記１）
推定対象と、当該推定対象を推定する推定器に関連する指標とが関連付けされた情報を複数記憶する記憶部と、
前記記憶部が記憶する情報に基づいて、前記推定器に関連する指標が少なくとも一つの次元として定義される座標空間上に、当該推定器に関連する前記指標により定まる位置にプロットすることにより散布図を生成する散布図生成手段とを備えた
ことを特徴とする推定器可視化システム。

１０１，２０１ 推定器記憶部
１０２，２０２ ＧＵＩ表示部
１０３，２０３ 推定器更新部
１０４，２０４ 設定受付部
１０００，２０００ 推定器可視化システム

Claims (10)

1. 推定対象と、当該推定対象を推定する推定器に関連する指標とが関連付けされた情報を複数記憶する記憶部と、
   前記記憶部が記憶する情報に基づいて、前記推定器に関連する指標が少なくとも一つの次元として定義される座標空間上に、前記推定器の推定対象を表わすシンボルを、当該推定器に関連する前記指標により定まる位置に配置した散布図を生成する散布図生成手段とを備えた
   ことを特徴とする推定器可視化システム。
2. 散布図内に配置されたシンボルに対する選択指示を受け付けるシンボル選択指示受付手段と、
   前記選択されたシンボルに対応する推定対象に関する情報と当該推定対象の推定器に関する情報の少なくともいずれか一方を画面に出力する出力手段とを備えた
   請求項１記載の推定器可視化システム。
3. シンボル選択指示受付手段は、散布図内に配置されたシンボルに対して範囲選択指示を受け付け、
   出力手段は、選択された範囲に含まれるシンボルに対応する推定対象に関する情報と当該推定対象の推定器の情報の少なくともいずれか一方を画面に出力する
   請求項２に記載の推定器可視化システム。
4. シンボルの情報として出力する内容の設定を受け付ける設定受付手段を備え、
   出力手段は、シンボル選択指示受付手段によって選択された範囲に含まれるシンボルの情報として、前記設定受付手段が設定を受け付けた内容を出力する
   請求項２または請求項３に記載の推定器可視化システム。
5. 散布図生成手段は、推定器の推定対象を表わすシンボルの各々について、当該シンボルに対応する推定対象に関する情報と当該推定対象の推定器の情報の少なくともいずれか一方に対するリンクを設定する
   請求項１から請求項４のうちのいずれか１項に記載の推定器可視化システム。
6. 記憶部は、推定対象に関連する指標が当該推定対象に関連付けされた情報を記憶し、
   散布図生成手段は、推定器に関連する指標が一つの次元として、かつ、前記推定対象に関連する指標が他の次元として定義される座標空間上に、推定器の推定対象を表わすシンボルを、当該推定器に関連する指標および前記推定対象に関連する指標により定まる位置に配置した散布図を生成する
   請求項１から請求項５のうちのいずれか１項に記載の推定器可視化システム。
7. 推定器と、当該推定器に関連する指標とが関連付けされた情報を複数記憶する記憶部と、
   前記記憶部が記憶する情報に基づいて、前記推定器に関連する指標が少なくとも一つの次元として定義される座標空間上に、前記推定器を表わすシンボルを、当該推定器に関連する前記指標により定まる位置に配置した散布図を生成する散布図生成手段とを備えた
   ことを特徴とする推定器可視化システム。
8. 推定対象と当該推定対象を推定する推定器に関連する指標とが関連付けされた情報を複数記憶する記憶部の情報に基づいて、前記推定器に関連する指標が少なくとも一つの次元として定義される座標空間上に、前記推定器の推定対象を表わすシンボルを、当該推定器に関連する前記指標により定まる位置に配置した散布図を生成する
   ことを特徴とする推定器可視化方法。
9. コンピュータに、
   推定対象と当該推定対象を推定する推定器に関連する指標とが関連付けされた情報を複数記憶する記憶部の情報に基づいて、前記推定器に関連する指標が少なくとも一つの次元として定義される座標空間上に、前記推定器の推定対象を表わすシンボルを、当該推定器に関連する前記指標により定まる位置に配置した散布図を生成する散布図生成処理
   を実行させるための推定器可視化プログラム。
10. 推定対象と、当該推定対象を推定する推定器に関連する指標とが関連付けされた情報を複数記憶する記憶部と、
    前記推定対象同士の、前記推定対象の値および前記推定器に関連する指標の値に基づいて定まる関係を図示する可視化部とを備えた
    ことを特徴とする推定器可視化システム。
    
    

Images