JP6565924B2 - 推定結果表示システム、推定結果表示方法および推定結果表示プログラム - Google Patents

Description

本発明は、学習モデルを用いて導出された推定結果を表示する推定結果表示システム、推定結果表示方法および推定結果表示プログラムに関する。

非特許文献１には、複数の予測式の中から予測式を自動的に選択し、その予測式を用いて予測値を算出することが記載されている。また、非特許文献１には、算出された予測値および当該予測値に対応する実績値の推移を示すグラフを表示することが記載されている。さらに、非特許文献１には、選択された予測式の推移を示すグラフを表示することが記載されている。

「一歩進んだ機械学習 ＩｏＴで激増するデータの活用現場に浸透」、日経ＢＰ社、「日経ビッグデータ」、２０１４年０６号、ｐ．７−１２

前述のように、非特許文献１には、予測値の推移を示すグラフと、選択された予測式の推移を示すグラフとを、別の領域に表示する表示画面の例が示されている。

例えば非特許文献１に開示されているように、予測値等のような推定結果を導出する場合、複数の学習モデルの中から学習モデルを自動的に選択し、その学習モデルを用いて推定結果を導出する場合がある。そのような場合に、推定結果を導出する時にどの学習モデルが選択されたのかを人間が一目で直感的に認識できるように、推定結果を表示することが好ましいと本発明者は考えた。

また、推定結果を導出する際に推定精度の低い学習モデルが選択されているような場合に、選択されていた推定精度の低い学習モデルを人間が一目で直感的に認識できるように、推定結果を表示することが好ましいと本発明者は考えた。

そこで、本発明は、推定結果を導出する時にどの学習モデルが選択されたのかを人間が一目で直感的に認識できるように、推定結果を表示することができる推定結果表示システム、推定結果表示方法および推定結果表示プログラムを提供することを目的とする。

また、本発明は、推定結果を導出する際に推定精度の低い学習モデルが選択されているような場合に、選択されていた推定精度の低い学習モデルを人間が一目で直感的に認識できるように、推定結果を表示することができる推定結果表示システム、推定結果表示方法および推定結果表示プログラムを提供することを目的とする。

また、本発明による推定結果表示システムは、推定結果と、推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が入力される入力手段と、推定結果をシンボルで表したグラフを表示するとともに、グラフ内のいずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが示す推定結果に対応する学習モデルを表す情報を表示する表示手段とを備えることを特徴とする。

また、本発明による推定結果表示システムは、推定結果と、推定結果を導出する際に用いられた少なくとも２種類の属性の値と、推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報である推定結果データの集合が入力される入力手段と、推定結果をシンボルの種別によって表した散布図であって、推定結果に対応する学習モデルに応じてシンボルの種別を変えた散布図を表示する表示手段とを備え、表示手段が、属性のうち第１の属性の値に対応する軸および第２の属性の値に対応する軸を有する散布図であって、推定結果データに対応する第１の属性の値および第２の属性の値に基づいて、推定結果データに対応するシンボルを配置した散布図を表示することを特徴とする。

また、本発明による推定結果表示システムは、推定結果と、推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が入力される入力手段と、推定結果をシンボルで表したグラフを表示するとともに、複数の学習モデルのうちいずれかの学習モデルが選択操作を受けた場合に、当該選択操作を受けた学習モデルにより導出された推定結果を示すシンボルを他のシンボルと異なる態様で表示する表示手段とを備えることを特徴とする。

また、本発明による推定結果表示方法は、推定結果と、推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報の入力を受け付け、推定結果をシンボルで表したグラフを表示するとともに、グラフ内のいずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが示す推定結果に対応する学習モデルを表す情報を表示することを特徴とする。

また、本発明による推定結果表示方法は、推定結果と、推定結果を導出する際に用いられた少なくとも２種類の属性の値と、推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報である推定結果データの集合の入力を受け付け、推定結果をシンボルの種別によって表した散布図であって、推定結果に対応する学習モデルに応じてシンボルの種別を変えた散布図を表示し、その散布図として、属性のうち第１の属性の値に対応する軸および第２の属性の値に対応する軸を有する散布図であって、推定結果データに対応する第１の属性の値および第２の属性の値に基づいて、推定結果データに対応するシンボルを配置した散布図を表示することを特徴とする。

また、本発明による推定結果表示プログラムは、推定結果と、推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が入力される入力手段を備えたコンピュータに搭載される推定結果表示プログラムであって、コンピュータに、推定結果をシンボルで表したグラフを表示するとともに、グラフ内のいずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが示す推定結果に対応する学習モデルを表す情報を表示する表示処理を実行させることを特徴とする。

また、本発明による推定結果表示プログラムは、推定結果と、推定結果を導出する際に用いられた少なくとも２種類の属性の値と、推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報である推定結果データの集合が入力される入力手段を備えたコンピュータに搭載される推定結果表示プログラムであって、コンピュータに、推定結果をシンボルの種別によって表した散布図であって、推定結果に対応する学習モデルに応じてシンボルの種別を変えた散布図を表示する表示処理を実行させ、表示処理で、属性のうち第１の属性の値に対応する軸および第２の属性の値に対応する軸を有する散布図であって、推定結果データに対応する第１の属性の値および第２の属性の値に基づいて、推定結果データに対応するシンボルを配置した散布図を表示させることを特徴とする。

本発明によれば、推定結果を導出する時にどの学習モデルが選択されたのかを人間が一目で直感的に認識できるように、推定結果を表示することができる。

また、本発明によれば、推定結果を導出する際に推定精度の低い学習モデルが選択されているような場合に、選択されていた推定精度の低い学習モデルを人間が一目で直感的に認識できるように、推定結果を表示することができる。

学習器および推定器を示す模式図である。 選択モデルの例を示す模式図である。 推定用データの一例を示す図である。 推定器が出力する情報の一例を示す図である。 本発明の第１の実施形態の推定結果表示システムの構成例を示すブロック図である。 第１の実施形態において表示手段によって表示されるグラフの例を示す模式図である。 第１の実施形態の処理経過の例を示すフローチャートである。 第２の実施形態において表示手段によって表示されるグラフの例を示す模式図である。 第２の実施形態の処理経過の例を示すフローチャートである。 第３の実施形態において表示手段によって表示されるグラフの例を示す模式図である。 第３の実施形態の処理経過の例を示すフローチャートである。 本発明の第４の実施形態の構成例を示すブロック図である。 第４の実施形態において表示手段３によって表示されるグラフの例を示す模式図である。 第４の実施形態の処理経過の例を示すフローチャートである。 第４の実施形態の第１の変形例におけるグラフを示す模式図である。 第４の実施形態の第２の変形例におけるグラフを示す模式図である。 第４の実施形態の第３の変形例におけるグラフを示す模式図である。 第５の実施形態において表示手段３によって表示されるグラフの例を示す模式図である。 第５の実施形態の処理経過の例を示すフローチャートである。 第５の実施形態の変形例におけるグラフを示す模式図である。 本発明の第６の実施形態の推定結果表示システムの構成例を示すブロック図である。 本発明の各実施形態に係るコンピュータの構成例を示す概略ブロック図である。

以下、本発明の実施形態を図面を参照して説明する。

まず、本発明の推定結果表示システムに関連する説明として、学習器および推定器について説明する。図１は、学習器および推定器を示す模式図である。理解を容易にするため、気温、降水量、風速等の説明変数の値に基づいて、上水使用量という目的変数の値を推定（予測）する、という具体例を用いて説明する。

学習器１１は、予め学習用データを用いて、複数の学習モデルを生成する。学習モデルは、推定用データが与えられたときに推定結果を導出するためのモデルである。換言すれば、学習モデルを推定用データに対して適用することにより、推定結果が得られる。学習モデルは、例えば、学習用データから導出された、説明変数と目的変数との間に成り立つ規則性を示す情報である。例えば、学習モデルは、推定式の形式で生成される。この場合
、推定用データがその推定式の説明変数に代入されることによって、推定結果が算出される。ここでは、学習モデルが推定式の形式である場合を例にしたが、学習モデルの形式は推定式であるとは限らない。学習器１１によって生成された複数の学習モデルは、推定器１２で用いられる。

また、推定器１２には推定用データが入力され、推定器１２は、複数の学習モデルのうちから、その推定用データが満たす条件に応じた学習モデルを選択する。そして、推定器１２は、その推定用データと、選択した学習モデルとを用いて推定結果を導出する。例示したように学習モデルが推定式の形式で表されている場合には、推定器１２は、入力された推定用データを推定式の説明変数に代入することによって、推定結果を算出すればよい。

推定器１２によって導出された推定結果と、その推定結果を導出する際に用いられた学習モデルを表す情報とを対応づけた情報が、複数組、本発明の推定結果表示システム１に入力される。学習モデルを表す情報は、学習モデルの識別情報である。なお、実施形態によっては、推定結果および学習モデルを表す情報に加えて、他の情報も対応付けて推定結果表示システム１に入力される。また、本発明の推定結果表示システム１に入力される各推定結果は、予め、推定器１２によって導出されている。

推定器１２は、推定用データに応じた学習モデルを選択する。そのため、学習器１１は、推定用データに応じた学習モデルを選択するためのモデル（以下、選択モデルと記す。）を生成する。図２は、選択モデルの例を示す模式図である。図２に示す例では、選択モデルが、学習モデルを葉ノードとし、葉ノード以外のノードには推定用データに関する条件が定められた木構造のモデルである場合を例示している。また、図２に示す選択モデルでは、葉ノード以外の各ノードには、２つの子ノードが存在する。ここでは、選択モデルが図２に例示するような木構造のモデルである場合を例にして説明するが、選択モデルの形式は木構造のモデルに限定されない。

推定器１２には、選択モデルも与えられる。図２に例示する選択モデルが推定器１２に与えられ、また、推定器１２に、気温、降水量の値が推定用データとして入力されたとする。すると、推定器１２は、選択モデルのルートノードを起点として、ノードが示す条件を推定用データが満たしているか否かに応じて２つの子ノードのいずれか一方を選択することを繰り返しつつノードを辿る。そして、推定器１２は、葉ノードに到着したときに、その葉ノードが示す学習モデルを選択する。そして、推定器１２は、その学習モデルと推定用データとを用いて、推定結果を導出する。上記の例では、図２に示す選択モデルにおいて条件として記述された気温、降水量の値が推定用データとして入力される場合を例示したが、選択モデルで条件として記述されていない事項が推定用データに含まれていてもよい。

理解を容易にするために、推定器１２について具体例を用いて説明する。図３は、推定器１２に入力される推定用データの一具体例を示す図である。図３には、推定用データの集合が示されている。図３における「行」に相当する情報が１つの推定用データに相当する情報である。推定用データは、例えば複数の属性を含む。図３における「列」に相当する情報が推定用データを構成する属性を示す情報である。図３に示す例では、推定用データは、推定用データを識別するＩＤ（識別子）と、気温の値と、降水量の値と、風速の値と、時刻を示す情報とを含む。図３においては、推定用データの集合を表形式で表現しているが、推定用データは図３に示す形式に限定されない。

推定器１２は、例えば、推定用データに含まれる属性の値を推定式の説明変数に代入することにより、推定結果を算出する。

図３に示す推定用データと、図２に示す選択モデルとに基づいて、推定器１２の動作の一例を説明する。推定器１２は、図３におけるＩＤ＝１で識別される推定用データの入力を受け付ける。推定器１２は、図２に示す選択モデルを参照する。ＩＤ＝１で識別される推定用データでは、気温の値が２１．１℃である。このため、図２に示す選択モデルにより、推定器１２は、ＩＤ＝１で識別される推定用データに応じた学習モデルとして、学習モデル１を選択する。同様に、推定器１２は、図３におけるＩＤ＝２で識別される推定用データの入力を受け付ける。ＩＤ＝２で識別される推定用データでは、気温の値が２０．５℃である。このため、図２に示す選択モデルにより、推定器１２は、ＩＤ＝２で識別される推定用データに応じた学習モデルとして、学習モデル１を選択する。同様に、推定器１２は、図３におけるＩＤ＝３で識別される推定用データの入力を受け付ける。ＩＤ＝３で識別される推定用データでは、気温の値が１９．８℃であり、降水量が０．１ｍｍ／ｈである。このため、図２に示す選択モデルにより、推定器１２は、ＩＤ＝３で識別される推定用データに応じた学習モデルとして、学習モデル３を選択する。

推定器１２は、推定用データと、選択した学習モデルとを用いて推定結果を導出する。すなわち、推定器１２は、ＩＤ＝１で識別される推定用データを学習モデル１に相当する推定式に代入することにより、推定値を算出する。同様に、推定器１２は、ＩＤ＝２で識別される推定用データを学習モデル１に相当する推定式に代入することにより、推定値を算出する。同様に、推定器１２は、ＩＤ＝３で識別される推定用データを学習モデル３に相当する推定式に代入することにより、推定値を算出する。換言すれば、推定器１２は、例えば時系列的に連続するような推定用データの集合（換言すれば、時系列的に一連の推定用データ）について、当該推定用データの性質と選択モデルとに基づいて、当該推定用データに適用すべき学習モデルを選択する。推定用データの性質は、例えば推定用データを構成する属性の値である。

図４は、推定器１２が出力する情報である推定結果データの一具体例を示す図である。図４には、推定結果データの集合が示されている。図４における「行」に相当する情報が一つの推定結果データに相当する情報である。図４に示すように、推定結果データは、例えば、推定値と、その推定値を導出する際に用いられた学習モデルを表す情報とを対応付けた情報である。図４に示すように、推定結果データは、その他の情報を含んでいてもよい。図４に示す例では、推定結果データが、推定結果データを識別する識別子や、推定値を算出する際の基となった推定用データの識別子や、当該推定用データの時刻情報等も含んでいる場合を示している。また、推定結果データは、推定値を算出する際の基となった推定用データに含まれる属性値を含んでいてもよい。

図４に示すＩＤ＝ａ１で識別される推定結果（すなわち、上水使用量推定値４．３ｍ^３）は、ＩＤ＝１で識別される推定用データを学習モデル１に相当する推定式に代入することにより算出された推定値である。同様に、図４に示すＩＤ＝ａ２で識別される推定結果（すなわち、上水使用量推定値４．０ｍ^３）は、ＩＤ＝２で識別される推定用データを学習モデル１に相当する推定式に代入することにより算出された推定値である。同様に、図４に示すＩＤ＝ａ３で識別される推定結果（すなわち、上水使用量推定値４．７ｍ^３）は、ＩＤ＝３で識別される推定用データを学習モデル３に相当する推定式に代入することにより算出された推定値である。このように、推定結果データの集合は、例えば時系列的に連続するような一連の推定結果を示す情報である。以上、具体例を用いて推定器１２の動作の一例を説明した。

図２に示すような学習器１１の一例が、例えば、以下に示す参考文献に開示されている。

［参考文献］ 米国特許出願公開第２０１４／０２２２７４１Ａ１号明細書

なお、上記のような選択モデルを学習モデルと称し、推定式等のように推定結果を導出するためのモデルをコンポーネントと称する場合もある。しかし、以下に示す各実施形態では、推定結果を導出するためのモデル（例えば、推定式）を学習モデルと記し、学習モデルを選択するためのモデルを選択モデルと記す。また、参考文献が開示する技術においては選択モデル自体が学習の結果であるが、本発明の各実施形態では、選択モデルは学習の結果であっても、人手で生成された情報であってもよい。

実施形態１．
図５は、本発明の第１の実施形態の推定結果表示システムの構成例を示すブロック図である。本実施形態の推定結果表示システム１は、入力手段２と、表示手段３とを備える。

入力手段２には、推定結果と、その推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報（すなわち、推定結果データ）が、複数組、入力される。言い換えると、入力手段２には、推定結果データの集合が入力される。推定結果データに含まれる推定結果は、予め推定器１２（図１参照）によって導出されている。また、推定結果を導出する際に用いられた学習モデルは、例えば、推定器１２によって選択されたものである。第１の実施形態では、推定結果が値として算出されている場合を例にして説明する。従って、推定結果を、推定値と称してもよい。

上述したように、個々の推定結果データにおいて、推定結果と、学習モデルを表す情報（換言すれば、学習モデルの識別情報）とは、対応付けられている。従って、推定結果は、学習モデル自体とも対応付けられているということができる。

入力手段２は、入力された情報を表示手段３に送る。

入力手段２は、例えば、情報を入力するための入力デバイスまたは入力インタフェースによって実現される。

表示手段３は、推定結果をシンボルで表したグラフであって、推定結果に対応する学習モデルに応じてシンボルの種別を変えたグラフを表示する。なお、シンボルは、マーカとも称される。

図６は、第１の実施形態において表示手段３によって表示されるグラフの例を示す模式図である。本実施形態で表示されるグラフの横軸は、推定結果の順序を表す軸である。図６では、グラフの横軸が時刻を表している場合を例示している。この場合、入力手段２に入力される推定結果に、対応する時刻の情報が付加されていればよい。あるいは、推定結果と学習モデルを表す情報との組（すなわち、推定結果データ）が、推定結果に対応する時刻順に入力手段２に入力されてもよい。

グラフの横軸は、時刻を表す軸でなくてもよく、例えば、推定結果データの入力順序を表す軸であってもよい。

グラフの縦軸は、推定結果に対応する軸である。

表示手段３は、推定結果を表す各シンボルを所定の順（本例では、推定結果に対応する時刻の順）に並べたグラフを表示する。より具体的には、表示手段３は、推定結果を表す各シンボルを、所定の順（本例では、推定結果に対応する時刻の順）に横軸に合わせて並べつつ、値として算出されている各推定結果が縦軸方向の座標となるようにグラフ内に配置する。換言すれば、表示手段３は、推定結果を表すシンボルを、その推定結果の順序（例えば、時刻で表される順序）をｘ座標（横軸方向の座標）とし、その推定結果をｙ座標（縦軸方向の座標）とする位置に配置する。このように表示されたグラフでは、順番に並ぶシンボル間の間隔が短ければ、折れ線グラフとして認識され得る。図６は、順番に並ぶシンボル間の間隔が短く、折れ線グラフとして認識される場合を例示している。

また、表示手段３は、推定結果を表すシンボルの種別を、その推定結果に対応する学習モデルに応じて変える。すなわち、表示手段３は、学習モデル１を用いて導出された推定結果を表すシンボル、学習モデル２を用いて導出された推定結果を表すシンボル、学習モデル３を用いて導出された推定結果を表すシンボル等として、それぞれ異なるシンボルをグラフ内に配置する。推定結果導出時に選択される学習モデルの種類がさらに多い場合も同様である。

表示手段３は、学習モデルの種類によってシンボルの種別を変える場合、例えば、シンボルの色を変えてもよく、あるいは、シンボルの形を変えてもよい。シンボルの種別の変え方は、特に限定されない。

このようにシンボルを表示することで、図６に例示するグラフの観察者は、個々の時刻における推定結果を導出するときにどの学習モデルが選択されていたのかを一目で直感的に認識することができる。

表示手段３は、ディスプレイ装置を有するコンピュータのＣＰＵによって実現される。この場合、ＣＰＵは、例えば、コンピュータのプログラム記憶装置（図５において図示略）等のプログラム記録媒体から推定結果表示プログラムを読み込み、その推定結果表示プログラムに従って、表示手段３として動作すればよい。表示手段３のうち、グラフを定め、そのグラフをディスプレイ装置に表示させる部分が、ＣＰＵによって実現される。表示手段３のうち、実際に表示を行う部分は、ディスプレイ装置によって実現される。この点は、後述の各実施形態において同様である。

また、推定結果表示システム１は、２つ以上の物理的に分離した装置が有線または無線で接続されている構成であってもよい。この点も、後述の各実施形態において同様である。

次に、処理経過について説明する。図７は、第１の実施形態の処理経過の例を示すフローチャートである。

まず、入力手段２に、推定結果と、その推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が、複数組入力される。入力手段２は、入力された情報を表示手段３に送る（ステップＳ１）。

表示手段３は、推定結果を表す各シンボルを、所定の順に横軸に合わせて並べつつ、値として算出されている各推定結果が縦軸方向の座標となるように配置したグラフであって、推定結果を表すシンボルの種別をその推定結果に対応する学習モデルに応じて変えたグラフを表示する（ステップＳ２）。例えば、表示手段３は、図６に例示するグラフを表示する。上記の「所定の順」は、例えば、推定結果に対応する時刻順であってもよく、あるいは、推定結果の入力順であってもよく、あるいは、他の順序であってもよい。

本実施形態によれば、表示手段３は、推定結果を表すシンボルの種別を、その推定結果に対応する学習モデルに応じて変える。従って、シンボルが表す推定結果を導出するときにどの学習モデルが選択されていたのかを、グラフの観察者は、一目で直感的に認識することができる。

また、非特許文献１に記載されたグラフでは、予測値を表すグラフと、予測式の推移を表すグラフを並べて表示している。これに対して、本発明では、シンボルが表す推定結果を導出するときにどの学習モデルが選択されていたのかを、グラフの観察者は、１つのグラフから認識することができる。

なお、入力手段２に入力される情報において、推定用データに応じた学習モデルは、必ずしも推定器１２によって選択された学習モデルであるとは限らない。例えば、推定用データに応じた学習モデルを、分析者が人手により選択していてもよい。この場合、例えば、推定結果とその推定結果を導出する際に用いられた学習モデルを表す情報とが、人手によって対応付けられていてもよい。これは、他の実施形態においても同様である。

また、用いられた学習モデルの種類が多い場合には、表示手段３は、必ずしも全ての学習モデル毎にシンボルの種別を変える必要はない。例えば、表示手段３は、学習モデルをグルーピングし、グルーピングされた学習モデル毎に、当該学習モデルから導出された推定結果を表わすシンボルの種別を変えてもよい。また、表示手段３は、複数の学習モデルのうち、特定の学習モデルから導出された推定結果を表わすシンボルの種別を、他のシンボルの種別と変えてもよい。これは、他の実施形態でも同様である。

実施形態２．
本発明の第２の実施形態の推定結果表示システムは、第１の実施形態の推定結果表示システムと同様に、図５に示すブロック図で表すことができるので、図５を用いて第２の実施形態を説明する。第１の実施形態と同様の事項については、適宜説明を省略する。

第２の実施形態の推定結果表示システム１は、入力手段２と、表示手段３とを備える（図５参照）。

第２の実施形態では、入力手段２が受け付ける推定結果データには、推定結果に対応する実測値が含まれているものとする。言い換えると、入力手段２には、推定結果と、その推定結果を導出する際に用いられた学習モデルを表す情報と、当該推定結果に対応する実測値とが対応付けられた情報（推定結果データ）が、複数組、入力される。入力手段２は、入力された情報を表示手段３に送る。第２の実施形態では、推定結果が値として算出されている場合を例にして説明する。従って、推定結果を、推定値と称してもよい。

表示手段３は、推定結果をシンボルで表したグラフであって、推定結果に対応する学習モデルに応じてシンボルの種別を変えたグラフを表示する。表示手段３は、１つの推定結果データを１つのシンボルによって表す。このことを、「推定結果をシンボルで表す」と表現する。

図８は、第２の実施形態において表示手段３によって表示されるグラフの例を示す模式図である。図８に示すように、表示手段３は、推定結果をシンボルで表した散布図を表示する。第２の実施形態で表示される散布図は、推定結果に対応する軸と、実測値に対応する軸とを有する。図８では、推定結果に対応する軸が横軸であり、実測値に対応する軸が縦軸である場合を例示している。

表示手段３は、推定結果を表すシンボルを、その推定結果が横軸方向の座標となり、その推定結果に対応する実測値が縦軸方向の座標となるように、散布図内に配置する。さらに、推定結果を表すシンボルの種別を、その推定結果に対応する学習モデルに応じて変える。図８では、学習モデル１を用いて導出された推定結果を表すシンボルを丸とし、学習モデル２を用いて導出された推定結果を表すシンボルを正方形とし、学習モデル３を用いて導出された推定結果を表すシンボルを正三角形とした場合を例示している。推定結果導出時に選択される学習モデルの種類がさらに多い場合にも、表示手段３は、学習モデルに応じてシンボルの種別を変える。

図８では、表示手段３は、学習モデルに応じてシンボルの形を変える場合を例示しているが、例えば、表示手段３は、シンボルの色を変えてもよい。シンボルの種別の変え方は、特に限定されない。

次に、処理経過について説明する。図９は、第２の実施形態の処理経過の例を示すフローチャートである。

まず、入力手段２に、推定結果と、その推定結果を導出する際に用いられた学習モデルを表す情報と、実測値とが対応付けられた情報が、複数組、入力される。入力手段２は、入力された情報を表示手段３に送る（ステップＳ１１）。

表示手段３は、推定結果を表すシンボルを、その推定結果が横軸方向の座標となり、その推定結果に対応する実測値が縦軸方向の座標となるように配置した散布図であって、推定結果を表すシンボルの種別をその推定結果に対応する学習モデルに応じて変えた散布図を表示する（ステップＳ１２）。例えば、表示手段３は、図８に例示するグラフを表示する。

本実施形態によれば、表示手段３は、図８に例示するように、推定結果に対応する横軸と、実測値に対応する縦軸を有する散布図を表示する。このとき、表示手段３は、推定結果を表すシンボルを、その推定結果が横軸方向の座標となり、その推定結果に対応する実測値が縦軸方向の座標となるように散布図内に配置し、さらに、推定結果を表すシンボルの種別をその推定結果に対応する学習モデルに応じて変える。ここで、推定結果をｘとし、実測値をｙで表すと、シンボルが直線ｙ＝ｘ（図８において破線で示す直線）に近いほど、学習モデルの推定精度が高いことを意味している。従って、特定の種別のシンボルが、ｙ＝ｘから離れていれば、そのシンボルが表す推定結果導出時に選択された学習モデルの推定精度が低いと言える。図８に示す例では、学習モデル２によって導出された推定結果は、正方形のシンボルで表される。そして、正方形のシンボルは、他のシンボルに比べて、直線ｙ＝ｘから離れている。よって、学習モデル２の推定精度が比較的低いことを、図８に例示するグラフ（散布図）の観察者は、一目で直感的に判断することができる。このように、本実施形態によれば、推定結果を導出する際に推定精度の低い学習モデルが選択されているような場合に、選択されていた推定精度の低い学習モデルを人間が一目で直感的に認識することができる。

さらに、図８に例示するグラフ（散布図）の観察者は、学習モデル毎の傾向を一目で直感的に判断することができる。例えば、図８に例示された学習モデル２は、実測値に対して小さい値の推定値を導出する傾向があり、学習モデル３は、実測値に対して大きい値の推定値を導出する傾向があることが、観察者から見て一目で分かる。

また、第２の実施形態においても、表示手段３は、推定結果を表すシンボルの種別を、その推定結果に対応する学習モデルに応じて変える。従って、散布図内のシンボルが表す推定結果を導出するときにどの学習モデルが選択されていたのかを、散布図の観察者は、１つの散布図から、一目で直感的に認識することができる。

また、第２の実施形態では、散布図において、実測値に対応する軸を横軸とし、推定結果に対応する軸を縦軸としてもよい。

実施形態３．
本発明の第３の実施形態の推定結果表示システムは、第１の実施形態の推定結果表示システムと同様に、図５に示すブロック図で表すことができるので、図５を用いて第３の実施形態を説明する。第１の実施形態と同様の事項については、適宜説明を省略する。

第３の実施形態の推定結果表示システム１は、入力手段２と、表示手段３とを備える（図５参照）。

第３の実施形態では、入力手段２が受け付ける推定結果データには、推定結果を導出する際に用いられた２種類以上の属性の値が含まれているものとする。言い換えると、入力手段２には、推定結果と、その推定結果を導出する際に用いられた学習モデルを表す情報と、その推定結果を導出する際に用いられた２種類以上の属性の値とが対応付けられた情報（推定結果データ）が、複数組、入力される。第３の実施形態では、推定結果は、少なくとも２種類の属性に基づいて導出されたものとする。各推定結果データに含まれる属性の値は異なっていてもよいが、推定結果データに含まれる属性の種類は各推定結果データで共通であるものとする。例えば、推定結果データに気温の測定値および降水量の測定値が含まれる場合、それらの測定値は推定結果データ毎に異なっていてもよいが、推定結果データには、気温の測定値および降水量の測定値が含まれているものとする。

また、第３の実施形態では、推定結果として、判別結果が得られている場合を例にして説明する。従って、本実施形態において、推定結果を判別結果と称してもよい。以下の説明では、推定器１２（図１参照）が、属性値として、車両の交通量の測定値および空気中のＮＯｘ濃度の測定値を用いて、学習モデルを選択しているものとする。そして、推定器１２が、車両の交通量の測定値および空気中のＮＯｘ濃度の測定値と、選択した学習モデルとに基づいて、交通量およびＮＯｘ濃度の測定地点が「都会」か「田舎」かを推定（判別）している場合を例にして説明する。なお、推定結果は、車両の交通量の測定値および空気中のＮＯｘ濃度の測定値に加えて、さらに別の属性に基づいて推定されていてもよい。この場合、推定結果データには、車両の交通量の測定値および空気中のＮＯｘ濃度の測定値以外の属性値が含まれていてもよい。

また、以下の説明では、車両の交通量の測定値および空気中のＮＯｘ濃度の測定値と、その交通量およびＮＯｘ濃度の測定地点が「都会」か「田舎」かを示す推定結果（判別結果）と、その推定結果を導出する際に用いられた学習モデルを表す情報とが対応づけられた情報（すなわち、推定結果データ）が、複数組、入力手段２に入力される場合を例にして説明する。

表示手段３は、推定結果をシンボルで表したグラフであって、推定結果に対応する学習モデルに応じてシンボルの種別を変えたグラフを表示する。表示手段３は、１つの推定結果データを１つのシンボルによって表す。このことを、「推定結果をシンボルで表す」と表現する。

図１０は、第３の実施形態において表示手段３によって表示されるグラフの例を示す模式図である。図１０に示すように、表示手段３は、推定結果をシンボルで表した散布図を表示する。第３の実施形態で表示される散布図は、推定結果を導出する際に用いられた第１の属性（本例では、車両の交通量）に対応する軸と、推定結果を導出する際に用いられた第２の属性（本例では、空気中のＮＯｘ濃度）に対応する軸とを有する。図１０では、車両の交通量に対応する軸が横軸であり、空気中のＮＯｘ濃度に対応する軸が縦軸である場合を例示している。

表示手段３は、推定結果を表すシンボルを、その推定結果に対応する推定結果データに含まれる２種類の属性値を座標とする位置に配置する。本例では、表示手段３は、推定結果を表すシンボルを、その推定結果に対応する車両の交通量の測定値をｘ座標（横軸方向の座標）とし、その推定結果に対応する空気中のＮＯｘの測定値をｙ座標（縦軸方向の座標）とする位置に配置する。

表示手段３は、推定結果（「都会」または「田舎」）に応じて、推定結果を表すシンボルの種別を変えるとともに、さらに、そのシンボルの種別を、その推定結果に対応する学習モデルに応じても変える。図１０に示す例では、表示手段３は、推定結果が「都会」である場合、シンボルを丸とし、推定結果が「田舎」である場合、シンボルを十字形としている。さらに、表示手段３は、シンボルが表している推定結果が学習モデル１に対応している場合、そのシンボルを実線で表示し、シンボルが表している推定結果が学習モデル２に対応している場合、そのシンボルを点線で表示する。すなわち、図１０に示す例では、表示手段３は、推定結果の種類、および、推定結果に対応する学習モデルの種類という２つの基準によって、シンボルの種別を変えている。

図１０に示す例では、推定結果の種類に応じてシンボルの種別を変える場合には、シンボルの形を変え、推定結果に対応する学習モデルの種類に応じてシンボルの種別を変える場合には、線種を変える場合を例示している。推定結果の種類に応じてシンボルの種別を変える場合においても、推定結果に対応する学習モデルの種類に応じてシンボルの種別を変える場合においても、シンボルの種別の変え方は特に限定されない。

次に、処理経過について説明する。図１１は、第３の実施形態の処理経過の例を示すフローチャートである。

まず、入力手段２に、推定結果と、その推定結果を導出する際に用いられた学習モデルを表す情報と、その推定結果を導出する際に用いられた２種類以上の属性とを対応付けた情報が、複数組、入力される。入力手段２は、入力された情報を表示手段３に送る（ステップＳ２１）。

表示手段３は、推定結果を表すシンボルを、その推定結果に対応する２種類の属性の値を座標とする位置に配置した散布図であって、推定結果に応じてシンボルの種別を変え、さらに、推定結果に対応する学習モデルに応じてシンボルの種別を変えた散布図を表示する（ステップＳ２２）。例えば、表示手段３は、図１０に例示する散布図を表示する。

第３の実施形態においても、表示手段３は、推定結果を表すシンボルの種別を、その推定結果に対応する学習モデルに応じて変える。従って、散布図内のシンボルが表す推定結果を導出するときにどの学習モデルが選択されていたのかを、散布図の観察者は、１つの散布図から、一目で直感的に認識することができる。

また、観測者は、図１０に例示する散布図から、学習モデル毎の傾向を一目で把握することができる。例えば、図１０に例示する散布図から、車両の交通量に対して空気中のＮＯｘ濃度が高い場合には学習モデル１が選択され、車両の交通量に対して空気中のＮＯｘ濃度が低い場合には学習モデル２が選択される傾向があることを、観察者は一目で把握できる。また、例えば、学習モデル２は、全体として「田舎」と判定しがちな傾向があることを、観察者は一目で把握できる。

実施形態４．
図１２は、本発明の第４の実施形態の構成例を示すブロック図である。第４の実施形態の推定結果表示システム１は、入力手段２と、表示手段３と、カーソル操作手段７とを備える。なお、第１の実施形態と同様の事項については、適宜説明を省略する。

第４の実施形態の入力手段２には、第１の実施形態と同様に、推定結果と、その推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が、複数組、入力される。入力手段２は、入力された情報を表示手段３に送る。ここでは、推定結果が値として算出されている場合を例にして説明する。

カーソル操作手段７は、グラフの観察者（以下、単に観察者と記す。）がグラフの表示画面内のカーソルを操作するためのデバイスである。具体的には、カーソル操作手段７は、マウス、タッチパッド、ジョイスティック、トラックボール等のポインティングデバイスである。

表示手段３は、推定結果をシンボルで表したグラフを表示する。図１３は、第４の実施形態において表示手段３によって表示されるグラフの例を示す模式図である。図１３（ａ）、表示された初期状態におけるグラフを示す。また、図１３（ｂ）は、推定結果を表すシンボルがポイント・アンド・クリックされた場合のグラフを示す。

本実施形態では、グラフの横軸は、推定結果の順序を表す軸である。図１３では、グラフの横軸が時刻を表している場合を例示している。この場合、入力手段２に入力される推定結果に、対応する時刻の情報が付加されていればよい。あるいは、推定結果と学習モデルを表す情報との組が、推定結果に対応する時刻順に入力手段２に入力されてもよい。

グラフの横軸は、時刻を表す軸でなくてもよく、例えば、推定結果と学習モデルを表す情報との組の入力順序を表す軸であってもよい。

グラフの縦軸は、推定結果に対応する軸である。

表示手段３は、推定結果を表す各シンボルを所定の順（本例では、推定結果に対応する時刻の順）に並べたグラフを表示する。より具体的には、表示手段３は、推定結果を表す各シンボルを、所定の順（本例では、推定結果に対応する時刻の順）に横軸に合わせて並べつつ、値として算出されている各推定結果が縦軸方向の座標となるようにグラフ内に配置する。換言すれば、表示手段３は、推定結果を表すシンボルを、その推定結果の順序（例えば、時刻で表される順序）をｘ座標（横軸方向の座標）とし、その推定結果をｙ座標（縦軸方向の座標）とする位置に配置する。このように表示されたグラフでは、順番に並ぶシンボル間の間隔が短ければ、折れ線グラフとして認識され得る。図１３は、順番に並ぶシンボル間の間隔が短く、折れ線グラフとして認識される場合を例示している。

ここで述べた表示手段３の動作は、第１の実施形態における表示手段３の動作と同様である。ただし、第４の実施形態では、第１の実施形態とは異なり、表示手段３は、全てのシンボルの種別を共通とする。

また、第４の実施形態において、表示手段３は、グラフとともに、カーソル３１を表示する。グラフとともにカーソル３１を表示した初期状態を、図１３（ａ）に図示している。

表示手段３は、観察者によって操作されるカーソル操作手段７の動きに従ってカーソル３１の表示位置を変更する。そして、グラフ内のいずれかのシンボルがポイント・アンド・クリックされたときに、表示手段３は、そのシンボルが示す推定結果に対応する学習モデルを表す情報をグラフ内に表示する。このときのグラフの表示状態を、図１３（ｂ）に図示している。

なお、以下の説明では、いずれかのシンボルがポイント・アンド・クリックされたときに、表示手段３が、そのシンボルが示す推定結果に対応する学習モデルを表す情報をグラフ内に表示する場合を例にして説明する。ただし、いずれかのシンボルがオンカーソル状態になったときに、表示手段３が、そのシンボルが示す推定結果に対応する学習モデルを表す情報をグラフ内に表示してもよい。

なお、「シンボルがポイント・アンド・クリックされた」とは、シンボルにカーソル３１が重ねられ、さらに、クリック操作が行われたことを意味する。「シンボルがオンカーソル状態になった」とは、シンボルにカーソル３１が重ねられたことを意味する。

次に、処理経過について説明する。図１４は、第４の実施形態の処理経過の例を示すフローチャートである。

まず、入力手段２に、推定結果と、その推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が、複数組、入力され、入力手段２は、入力された情報を表示手段３に送る（ステップＳ４１）。ステップＳ４１は、第１の実施形態におけるステップＳ１と同様である。

表示手段３は、推定結果を表す各シンボルを、所定の順に横軸に合わせて並べつつ、値として算出されている各推定結果が縦軸方向の座標となるように配置したグラフと、カーソル３１とを表示する（ステップＳ４２）。ステップＳ４２では、図１３（ａ）に例示する画面が表示される。

次に、表示手段３は、グラフ内のいずれかのシンボルがポイント・アンド・クリックされたか否かを判定する（ステップＳ４３）。どのシンボルもポイント・アンド・クリックされていなければ（ステップＳ４３のＮｏ）、ステップＳ４３の判定を繰り返す。

いずれかのシンボルがポイント・アンド・クリックされた場合（ステップＳ４３のＹｅｓ）、表示手段３は、そのシンボルが示す推定結果に対応する学習モデルを表す情報を表示する（ステップＳ４４）。ステップＳ４４では、図１３（ｂ）に例示する画面が表示される。図１３（ｂ）に示す例では、「学習モデル２」を用いて導出された推定結果を表すシンボルがポイント・アンド・クリックされ、「学習モデル２」という情報が表示されている例を示している。

ステップＳ４４の後、カーソル３１がシンボルから離れた場合、表示手段３は、ステップＳ４３以降の動作を繰り返してもよい。

本実施形態によれば、推定結果を表すシンボルのうち、いずれかのシンボルがポイント・アンド・クリックされた場合（あるいは、オンカーソル状態となった場合）に、表示手段３は、そのシンボルが示す推定結果に対応する学習モデルを表す情報を表示する。従って、シンボルが表す推定結果を導出するときにどの学習モデルが選択されていたのかを、観察者は、１つのグラフから、一目で直感的に認識することができる。

次に、第４の実施形態の第１の変形例を示す。

図１５は、第４の実施形態における第１の変形例におけるグラフを示す模式図である。本変形例において、表示手段３は、グラフとともに、カーソル３１を表示する。表示手段３は、複数の学習モデルを示す凡例も表示する。グラフとともにカーソル３１を表示した初期状態を図１５（ａ）に示している。

表示手段３は、観察者によって操作されるカーソル操作手段７の動きに従ってカーソル３１の表示位置を変更する。そして、グラフの近傍に表示された凡例が示す複数の学習モデルのうち、特定の学習モデルがポイント・アンド・クリックされたときに、表示手段３は、その学習モデルによって導出された推定結果を示すシンボルを強調表示する。言い換えると、表示手段３は、ポイント・アンド・クリックされた学習モデルに対応する推定結果を示すシンボルと、他のシンボルとの表示態様（種別）を変えたグラフを表示する。このときのグラフの表示状態の例を、図１５（ｂ）に示している。なお、学習モデルの指定は、必ずしもポイント・アンド・クリックによって行われなくてもよい。例えば、観察者は、コマンドラインを介したコマンドの入力等によって、特定の学習モデルを指定してもよい。あるいは、観察者は、例えば、プルダウンメニューやラジオボタン等のインタフェースを介して特定の学習モデルを選択してもよい。

次に、第４の実施形態の第２の変形例を示す。

表示手段３は、グラフとして、図１６に示すグラフ（散布図）を表示してもよい。この場合、入力手段２には、第２の実施形態と同様の情報が入力される。表示手段３は、第２の実施形態と同様に、散布図内のシンボルの配置位置を定めればよい。ただし、表示装置３は、全てのシンボルの種別を共通とする。そして、いずれかのシンボルがポイント・アンド・クリックされた場合（あるいは、オンカーソル状態となった場合）に、表示手段３は、そのシンボルが示す推定結果に対応する学習モデルを表す情報を表示する（図１６参照）。なお、表示手段３は、カーソル３１がシンボルから離れているときには、学習モデルを表す情報を表示しない。

次に、第４の実施形態の第３の変形例を示す。

表示手段３は、グラフとして、図１７に示すグラフ（散布図）を表示してもよい。この場合、入力手段２には、第３の実施形態と同様の情報が入力される。表示手段３は、第３の実施形態と同様に、散布図内のシンボルの配置位置を定めればよい。また、表示手段３は、第３の実施形態と同様に、推定結果（例えば、「都会」または「田舎」）に応じて、推定結果を表すシンボルの種別を変える。ただし、表示手段３は、シンボルが示す推定結果に対応する学習モデルに基づいては、シンボルの種別を変更しない。そして、いずれかのシンボルがポイント・アンド・クリックされた場合（あるいは、オンカーソル状態となった場合）に、表示手段３は、そのシンボルが示す推定結果に対応する学習モデルを表す情報を表示する（図１７参照）。なお、表示手段３は、カーソル３１がシンボルから離れているときには、学習モデルを表す情報を表示しない。

これらの第４の実施形態の変形例（図１５、図１６および図１７参照）においても、第４の実施形態と同様の効果が得られる。また、図１６に示す変形例では、第２の実施形態と同様の効果も得られる。

実施形態５．
本発明の第５の実施形態の推定結果表示システムは、第１の実施形態の推定結果表示システムと同様に、図５に示すブロック図で表すことができるので、図５を用いて第５の実施形態を説明する。第１の実施形態と同様の事項については、適宜説明を省略する。

第５の実施形態の推定結果表示システム１は、入力手段２と、表示手段３とを備える（図５参照）。

入力手段２には、第１の実施形態と同様に、推定結果と、その推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が、複数組、入力される。入力手段２は、入力された情報を表示手段３に送る。ここでは、推定結果が値として算出されている場合を例にして説明する。

表示手段３は、推定結果をシンボルで表したグラフを表示する。図１８は、第５の実施形態において表示手段３によって表示されるグラフの例を示す模式図である。

本実施形態では、グラフの横軸は、推定結果の順序を表す軸である。図１８では、グラフの横軸が時刻を表している場合を例示している。この場合、入力手段２に入力される推定結果に、対応する時刻の情報が付加されていればよい。あるいは、推定結果と学習モデルを表す情報との組が、推定結果に対応する時刻順に入力手段２に入力されてもよい。

グラフの横軸は、時刻を表す軸でなくてもよく、例えば、推定結果と学習モデルを表す情報との組の入力順序を表す軸であってもよい。

グラフの縦軸は、推定結果に対応する軸である。

表示手段３は、推定結果を表す各シンボルを所定の順（本例では、推定結果に対応する時刻の順）に並べたグラフを表示する。より具体的には、表示手段３は、推定結果を表す各シンボルを、所定の順（本例では、推定結果に対応する時刻の順）に横軸に合わせて並べつつ、値として算出されている各推定結果が縦軸方向の座標となるようにグラフ内に配置する。換言すれば、表示手段３は、推定結果を表すシンボルを、その推定結果の順序（例えば、時刻で表される順序）をｘ座標（横軸方向の座標）とし、その推定結果をｙ座標（縦軸方向の座標）とする位置に配置する。このように表示されたグラフでは、順番に並ぶシンボル間の間隔が短ければ、折れ線グラフとして認識され得る。図１８は、順番に並ぶシンボル間の間隔が短く、折れ線グラフとして認識される場合を例示している。

ここで述べた表示手段３の動作は、第１の実施形態における表示手段３の動作と同様である。ただし、第５の実施形態では、第１の実施形態とは異なり、表示手段３は、全てのシンボルの種別を共通とする。

また、第５の実施形態において、表示手段３は、シンボルが示す推定結果に対応する学習モデルに応じて、グラフ内の領域を区分して表示する。以下、この動作を説明する。

シンボルは、横軸方向に並んでいる。横軸方向に隣接する２つのシンボルが示す推定結果に対応する学習モデルが異なっている場合、表示手段３は、その２つのシンボル間に、横軸に垂直な境界線を表示する。例えば、あるシンボル（Ａとする。）が示す推定結果に対応する学習モデルが「学習モデル１」であるとする。シンボルＡの次のシンボル（Ｂとする。）が示す推定結果に対応する学習モデルが「学習モデル２」であるとする。この場合、表示手段３は、シンボルＡ，Ｂ間に、横軸に垂直な境界線を表示する。図１８では、境界線を破線で示している。

また、表示手段３は、端点となるシンボルの近傍にも、境界線を表示してもよい（図１８参照）。

隣接する２本の境界線に挟まれた領域内の各シンボルは、共通の学習モデルを用いて導出された推定結果を表している。従って、隣接する２本の境界線に挟まれた領域は、それぞれ、１つの学習モデルに対応している。表示手段３は、隣接する２本の境界線に挟まれた領域を、その領域に対応する学習モデルに応じた態様で表示する。図１８に示す例では、表示手段３は、隣接する２本の境界線に挟まれた領域内に、その領域に対応する学習モデルを表す識別番号を表示する場合を例示している。図１８のグラフ内には、隣接する２本の境界線に挟まれた領域が４つ存在するが、左側の領域から、「学習モデル１」、「学習モデル２」、「学習モデル１」、「学習モデル３」に対応していることが分かる。

あるいは、表示手段３は、隣接する２本の境界線に挟まれた領域を、その領域に対応する学習モデルに応じた背景色で表示してもよい。例えば、表示手段３は、「学習モデル１」に対応する領域の背景色を赤としたり、「学習モデル２」に対応する領域の背景色を青としたりすることによって、各領域に対応する学習モデルを提示してもよい。

個々の領域の表示態様を学習モデルの種別によってどのように変えるかは、特に限定されない。

次に、処理経過について説明する。図１９は、第５の実施形態の処理経過の例を示すフローチャートである。

まず、入力手段２に、推定結果と、その推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が、複数組、入力され、入力手段２は、入力された情報を表示手段３に送る（ステップＳ５１）。ステップＳ５１は、第１の実施形態におけるステップＳ１と同様である。

表示手段３は、推定結果を表す各シンボルを、所定の順に横軸に合わせて並べつつ、値として算出されている各推定結果が縦軸方向の座標となるように配置したグラフを表示するとともに、シンボルが示す推定結果に対応する学習モデルに応じて、グラフ内の領域を区分して表示する（ステップＳ５２）。ステップＳ５２では、図１８に例示する画面が表示される。グラフ内の領域を区分する方法は、特に限定されない。例えば、表示手段３は、領域毎に色や模様を変えて表現することによって、グラフ内の領域を区分してもよい。

本実施形態によれば、表示手段３は、シンボルが示す推定結果に対応する学習モデルに応じて、グラフ内の領域を区分して表示する。従って、シンボルが表す推定結果を導出するときにどの学習モデルが選択されていたのかを、観察者は、１つのグラフから、一目で直感的に認識することができる。

次に、第５の実施形態の変形例を示す。

図２０は、第５の実施形態の変形例におけるグラフを示す模式図である。表示手段３は、グラフとともに、カーソル３１を表示する。グラフとともにカーソル３１を表示した初期状態を図２０（ａ）に示している。なお、本変形例では、推定結果表示システム１は、カーソル操作手段７も備える。

表示手段３は、観察者によって操作されるカーソル操作手段７の動きに従ってカーソル３１の表示位置を変更する。そして、グラフの近傍に表示された凡例が示す複数の学習モデルのうち、特定の学習モデルがポイント・アンド・クリックされたときに、表示手段３は、その学習モデルにより導出された推定結果が表示されるグラフ内の領域を強調表示する。このときのグラフの表示状態の例を、図２０（ｂ）に示している。図２０（ｂ）では、グラフ内の領域を矩形で囲むことによって強調表示する態様を例示している。なお、学習モデルの指定は、必ずしもポイント・アンド・クリックによって行われなくてもよい。例えば、観察者は、コマンドラインを介したコマンドの入力等によって、特定の学習モデルを指定してもよい。あるいは、観察者は、例えば、プルダウンメニューやラジオボタン等のインタフェースを介して特定の学習モデルを選択してもよい。

実施形態６．
図２１は、本発明の第６の実施形態の推定結果表示システムの構成例を示すブロック図である。推定結果表示システム１Ａは、推定手段１２Ａと、入力手段２Ａと、表示手段３Ａとを含む。

推定手段１２Ａは、複数の学習モデルのうちから、推定用データが満たす条件に応じた学習モデルを選択する。推定手段１２Ａは、その推定用データと、選択した学習モデルとに基づいて推定結果を導出する。推定手段１２Ａは、その推定結果と、その推定結果を導出する際に用いられた学習モデルを表す情報とを対応付けた情報を出力する。

入力手段２Ａは、推定結果と、その推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報の入力を受け付ける。入力手段２Ａは、推定結果に対応する実績値や、推定結果の導出に用いられた推定用データがさらに関連付けられた情報の入力を受け付けてもよい。

表示手段３Ａは、推定結果をシンボルで表したグラフであって、推定結果に対応する学習モデルに応じてシンボルの種別を変えたグラフを表示する。表示手段３Ａは、例えば、第１から第６までの各実施形態やその変形例で説明した動作を行う。また、推定結果表示システム１Ａは、カーソル操作手段７を備えていてもよい。

図２２は、本発明の各実施形態に係るコンピュータの構成例を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５と、入力デバイス１００６とを備える。

各実施形態の推定結果表示システム１は、コンピュータ１０００に実装される。推定結果表示システム１の動作は、プログラム（推定結果表示プログラム）の形式で補助記憶装置１００３に記憶されている。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、そのプログラムに従って上記の処理を実行する。

補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータ１０００がそのプログラムを主記憶装置１００２に展開し、上記の処理を実行してもよい。

また、プログラムは、前述の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで前述の処理を実現する差分プログラムであってもよい。

また、例えば、第１の実施形態や第４の実施形態は、以下のようにも表現され得る。第１の実施形態や第４の実施形態において、入力手段２には、推定結果と、その推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が入力される。表示手段３は、推定結果の推移を表す線グラフであって、推定結果に対応する学習モデルに応じて線の属性を変えたグラフを表示する。

推定結果の推移は、例えば、推定結果の時系列推移である。線の属性は、例えば、線の色や線の種別（例えば、実線、点線、一点鎖線等）といった線の外見である。線の属性は、線の外見に限定されない。また、線がポイント・アンド・クリックされたことに応じて、表示手段３が、その線に対応する学習モデルを示す情報を表示してもよい。

上記の実施形態は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。

（付記１）推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が入力される入力手段と、前記推定結果をシンボルで表したグラフであって、前記推定結果に対応する学習モデルに応じてシンボルの種別を変えたグラフを表示する表示手段とを備えることを特徴とする推定結果表示システム。

（付記２）前記表示手段は、前記推定結果の値を、前記シンボルが位置する座標によって表したグラフを表示する付記１に記載の推定結果表示システム。

（付記３）前記入力手段には、推定結果の値と、前記推定結果を導出する際に用いられた学習モデルを表す情報と、前記推定結果に対応する実測値とが対応付けられた情報である推定結果データの集合が入力され、前記表示手段は、前記推定結果の値に対応する軸および前記実測値に対応する軸を有する散布図であって、前記推定結果データに対応する前記推定結果の値および前記実測値に基づいて、前記推定結果データに対応するシンボルを配置した散布図を表示する付記１または付記２に記載の推定結果表示システム。

（付記４）前記表示手段は、前記推定結果を、前記シンボルの種別によって表したグラフを表示する付記１に記載の推定結果表示システム。

（付記５）前記入力手段には、推定結果と、前記推定結果を導出する際に用いられた少なくとも２種類の属性の値と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報である推定結果データの集合が入力され、前記表示手段は、前記属性のうち第１の属性の値に対応する軸および第２の属性の値に対応する軸を有する散布図であって、前記推定結果データに対応する第１の属性の値および第２の属性の値に基づいて、前記推定結果データに対応するシンボルを配置した散布図を表示する付記４に記載の推定結果表示システム。

（付記６）前記入力手段には、推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報である推定結果データの集合が入力され、前記表示手段は、前記推定結果データ毎に、前記推定結果データに対応する学習モデルに応じて前記推定結果データを表すシンボルの種別を選択し、前記推定結果データに対応する前記推定結果を、選択したシンボルで表したグラフを表示する付記１に記載の推定結果表示システム。

（付記７）推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が入力される入力手段と、前記推定結果をシンボルで表したグラフを表示するとともに、グラフ内のいずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが示す推定結果に対応する学習モデルを表す情報を表示する表示手段とを備えることを特徴とする推定結果表示システム。

（付記８）推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が入力される入力手段と、前記推定結果を表すシンボルを所定の順に並べたグラフを表示するとともに、シンボルが示す推定結果に対応する学習モデルに応じて前記グラフ内の領域を区分して表示する表示手段とを備えることを特徴とする推定結果表示システム。

（付記９）推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が入力される入力手段と、推定結果の推移を表す線グラフであって、推定結果に対応する学習モデルに応じて線の属性を変えたグラフを表示する表示手段とを備えることを特徴とする推定結果表示システム。

（付記１０）入力手段に入力される推定結果は、推定用データと、前記推定用データに応じて選択された学習モデルとによって導出された推定結果である付記１から付記９のうちのいずれかに記載の推定結果表示システム。

（付記１１）複数の学習モデルのうちから、推定用データが満たす条件に応じた学習モデルを選択し、前記推定用データと、選択した前記学習モデルとに基づいて推定結果を導出し、前記推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とを対応付けた情報を出力する推定手段をさらに備え、前記入力手段は、前記推定手段が出力した情報を入力とする付記１から付記１０のうちのいずれかに記載の推定結果表示システム。

（付記１２）推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報の入力を受け付け、前記推定結果をシンボルで表したグラフであって、前記推定結果に対応する学習モデルに応じてシンボルの種別を変えたグラフを表示することを特徴とする推定結果表示方法。

（付記１３）推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報の入力を受け付け、前記推定結果をシンボルで表したグラフを表示するとともに、グラフ内のいずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが示す推定結果に対応する学習モデルを表す情報を表示することを特徴とする推定結果表示方法。

（付記１４）推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報の入力を受け付け、前記推定結果を表すシンボルを所定の順に並べたグラフを表示するとともに、シンボルが示す推定結果に対応する学習モデルに応じて前記グラフ内の領域を区分して表示することを特徴とする推定結果表示方法。

（付記１５）推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報の入力を受け付け、推定結果の推移を表す線グラフであって、推定結果に対応する学習モデルに応じて線の属性を変えたグラフを表示することを特徴とする推定結果表示方法。

（付記１６）推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が入力される入力手段を備えたコンピュータに搭載される推定結果表示プログラムであって、前記コンピュータに、前記推定結果をシンボルで表したグラフであって、前記推定結果に対応する学習モデルに応じてシンボルの種別を変えたグラフを表示する表示処理を実行させるための推定結果表示プログラム。

（付記１７）推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が入力される入力手段を備えたコンピュータに搭載される推定結果表示プログラムであって、前記コンピュータに、前記推定結果をシンボルで表したグラフを表示するとともに、グラフ内のいずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが示す推定結果に対応する学習モデルを表す情報を表示する表示処理を実行させるための推定結果表示プログラム。

（付記１８）推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が入力される入力手段を備えたコンピュータに搭載される推定結果表示プログラムであって、前記コンピュータに、前記推定結果を表すシンボルを所定の順に並べたグラフを表示するとともに、シンボルが示す推定結果に対応する学習モデルに応じて前記グラフ内の領域を区分して表示する表示処理を実行させるための推定結果表示プログラム。

（付記１９）推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が入力される入力手段を備えたコンピュータに搭載される推定結果表示プログラムであって、前記コンピュータに、推定結果の推移を表す線グラフであって、推定結果に対応する学習モデルに応じて線の属性を変えたグラフを表示する表示処理を実行させるための推定結果表示プログラム。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１４年１０月２１日に出願された日本特許出願２０１４−２１４５６１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

産業上の利用の可能性

本発明は、学習モデルを選択し、その学習モデルを用いて導出された推定結果を表示する推定結果表示システムに好適に適用される。

１ 推定結果表示システム
２ 入力手段
３ 表示手段
７ カーソル操作手段

Claims (13)

1. 推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が入力される入力手段と、
   前記推定結果をシンボルで表したグラフを表示するとともに、グラフ内のいずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが示す推定結果に対応する学習モデルを表す情報を表示する表示手段とを備える
   ことを特徴とする推定結果表示システム。
2. 前記表示手段は、前記推定結果の値を、前記シンボルが位置する座標によって表したグラフを表示する
   請求項１に記載の推定結果表示システム。
3. 前記入力手段には、推定結果の値と、前記推定結果を導出する際に用いられた学習モデルを表す情報と、前記推定結果に対応する実測値とが対応付けられた情報である推定結果データの集合が入力され、
   前記表示手段は、前記推定結果の値に対応する軸および前記実測値に対応する軸を有する散布図であって、前記推定結果データに対応する前記推定結果の値および前記実測値に基づいて、前記推定結果データに対応するシンボルを配置した散布図を表示する
   請求項１または請求項２に記載の推定結果表示システム。
4. 前記表示手段は、前記推定結果を、前記シンボルの種別によって表したグラフを表示する
   請求項１に記載の推定結果表示システム。
5. 前記入力手段には、推定結果と、前記推定結果を導出する際に用いられた少なくとも２種類の属性の値と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報である推定結果データの集合が入力され、
   前記表示手段は、前記属性のうち第１の属性の値に対応する軸および第２の属性の値に対応する軸を有する散布図であって、前記推定結果データに対応する第１の属性の値および第２の属性の値に基づいて、前記推定結果データに対応するシンボルを配置した散布図を表示する
   請求項４に記載の推定結果表示システム。
6. 入力手段に入力される推定結果は、推定用データと、前記推定用データに応じて選択された学習モデルとによって導出された推定結果である
   請求項１から請求項５のうちのいずれか１項に記載の推定結果表示システム。
7. 複数の学習モデルのうちから、推定用データが満たす条件に応じた学習モデルを選択し、前記推定用データと、選択した前記学習モデルとに基づいて推定結果を導出し、前記推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とを対応付けた情報を出力する推定手段をさらに備え、
   前記入力手段は、前記推定手段が出力した情報を入力とする
   請求項１から請求項６のうちのいずれか１項に記載の推定結果表示システム。
   
8. 推定結果と、前記推定結果を導出する際に用いられた少なくとも２種類の属性の値と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報である推定結果データの集合が入力される入力手段と、
   前記推定結果をシンボルの種別によって表した散布図であって、前記推定結果に対応する学習モデルに応じてシンボルの種別を変えた散布図を表示する表示手段とを備え、
   前記表示手段は、前記属性のうち第１の属性の値に対応する軸および第２の属性の値に対応する軸を有する散布図であって、前記推定結果データに対応する第１の属性の値および第２の属性の値に基づいて、前記推定結果データに対応するシンボルを配置した散布図を表示する
   ことを特徴とする推定結果表示システム。
9. 推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が入力される入力手段と、
   前記推定結果をシンボルで表したグラフを表示するとともに、複数の前記学習モデルのうちいずれかの学習モデルが選択操作を受けた場合に、当該選択操作を受けた学習モデルにより導出された推定結果を示すシンボルを他のシンボルと異なる態様で表示する表示手段とを備える
   ことを特徴とする推定結果表示システム。
10. 推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報の入力を受け付け、
    前記推定結果をシンボルで表したグラフを表示するとともに、グラフ内のいずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが示す推定結果に対応する学習モデルを表す情報を表示する
    ことを特徴とする推定結果表示方法。
11. 推定結果と、前記推定結果を導出する際に用いられた少なくとも２種類の属性の値と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報である推定結果データの集合の入力を受け付け、
    前記推定結果をシンボルの種別によって表した散布図であって、前記推定結果に対応する学習モデルに応じてシンボルの種別を変えた散布図を表示し、
    前記散布図として、前記属性のうち第１の属性の値に対応する軸および第２の属性の値に対応する軸を有する散布図であって、前記推定結果データに対応する第１の属性の値および第２の属性の値に基づいて、前記推定結果データに対応するシンボルを配置した散布図を表示する
    ことを特徴とする推定結果表示方法。
12. 推定結果と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報が入力される入力手段を備えたコンピュータに搭載される推定結果表示プログラムであって、
    前記コンピュータに、
    前記推定結果をシンボルで表したグラフを表示するとともに、グラフ内のいずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが示す推定結果に対応する学習モデルを表す情報を表示する表示処理
    を実行させるための推定結果表示プログラム。
13. 推定結果と、前記推定結果を導出する際に用いられた少なくとも２種類の属性の値と、前記推定結果を導出する際に用いられた学習モデルを表す情報とが対応付けられた情報である推定結果データの集合が入力される入力手段を備えたコンピュータに搭載される推定結果表示プログラムであって、
    前記コンピュータに、
    前記推定結果をシンボルの種別によって表した散布図であって、前記推定結果に対応する学習モデルに応じてシンボルの種別を変えた散布図を表示する表示処理を実行させ、
    前記表示処理で、前記属性のうち第１の属性の値に対応する軸および第２の属性の値に対応する軸を有する散布図であって、前記推定結果データに対応する第１の属性の値および第２の属性の値に基づいて、前記推定結果データに対応するシンボルを配置した散布図を表示させる
    ための推定結果表示プログラム。

Images