JP6565925B2 - 推定結果表示システム、推定結果表示方法および推定結果表示プログラム - Google Patents

推定結果表示システム、推定結果表示方法および推定結果表示プログラム Download PDF

Info

Publication number
JP6565925B2
JP6565925B2 JP2016556179A JP2016556179A JP6565925B2 JP 6565925 B2 JP6565925 B2 JP 6565925B2 JP 2016556179 A JP2016556179 A JP 2016556179A JP 2016556179 A JP2016556179 A JP 2016556179A JP 6565925 B2 JP6565925 B2 JP 6565925B2
Authority
JP
Japan
Prior art keywords
estimation
learning model
estimation result
graph
attribute
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016556179A
Other languages
English (en)
Other versions
JPWO2016067483A1 (ja
Inventor
洋介 本橋
洋介 本橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2016067483A1 publication Critical patent/JPWO2016067483A1/ja
Application granted granted Critical
Publication of JP6565925B2 publication Critical patent/JP6565925B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • G06N20/20Ensemble learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/01Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • Probability & Statistics with Applications (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、学習モデルを用いて導出された推定結果を表示する推定結果表示システム、推定結果表示方法および推定結果表示プログラムに関する。
非特許文献1には、複数の予測式の中から予測式を自動的に選択し、その予測式を用いて予測値を算出した場合に、予測値および実績値のグラフを表示するとともに、選択した予測式の推移を示すグラフを表示することが記載されている。
「一歩進んだ機械学習 IoTで激増するデータの活用現場に浸透」、日経BP社、「日経ビッグデータ」、2014年06号、p.7−12
予測値等のような推定結果を導出する場合、複数の学習モデルの中から学習モデルを自動的に選択し、その学習モデルを用いて推定結果を導出する場合がある。学習モデルを選択する方法の例として、推定用データに含まれる種々の属性が予め定められた種々の条件を満たしているか否かを判定し、その判定結果に応じて、学習モデルを選択する方法が挙げられる。なお、1つの条件が満たされるか否かに応じて、次に属性が満たしているか否かの判定対象となる条件は、変化してよい。推定用データに含まれる属性の例として、気温や降水量等が挙げられるが、属性はこれらに限定されない。
非特許文献1では、予測値および実績値のグラフを表示するとともに、選択した予測式の推移を示すグラフを表示することが記載されている。このような表示態様では、どのような条件判断がなされた結果、予測式(学習モデル)が選択されたのかを人間が認識することは困難である。
学習モデルを用いて導出された推定結果を表示する場合に、その学習モデルがどのような条件判断がなされた結果選択されたのかを、人間が認識できることが好ましい。
また、学習モデルがどのような条件判断がなされた結果選択されたのかを人間が明確に認識できなくても、個々の学習モデルが選択されたときの推定用データ内の属性の傾向を人間が推測できることが好ましい。
そこで、本発明は、学習モデルを用いて導出された推定結果を表示する場合に、その学習モデルがどのような条件判断がなされた結果選択されたのかを、人間が認識できる推定結果表示システム、推定結果表示方法および推定結果表示プログラムを提供することを目的とする。
また、個々の学習モデルが選択されたときの推定用データ内の属性の傾向を人間が推測できる推定結果表示システム、推定結果表示方法および推定結果表示プログラムを提供することを目的とする。
本発明による推定結果表示システムは、一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、学習モデルによって導出された推定結果とが対応付けられた情報が入力される入力手段と、推定結果に、その推定結果を導出するのに用いられた学習モデルを表す情報、および、当該学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を、関連付けて表示する表示手段とを備えることを特徴とする。
また、本発明による推定結果表示システムは、一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、学習モデルによって導出された推定結果と、推定用データとが対応付けられた情報が入力される入力手段と、推定結果の経時変化および学習モデルの経時変化を表示するとともに、推定用データ内の属性の経時変化を示すグラフを表示する表示手段とを備え、表示手段が、そのグラフとして、属性の値の範囲に応じて異なる態様を表すグラフを表示し、属性の値の範囲の複数の境界値の1つとして、学習モデルの選択時に用いられる条件で用いられる値を用いることを特徴とする。
また、本発明による推定結果表示方法は、一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、学習モデルによって導出された推定結果とが対応付けられた情報の入力を受け付け、推定結果に、その推定結果を導出するのに用いられた学習モデルを表す情報、および、当該学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を、関連付けて表示することを特徴とする。
また、本発明による推定結果表示方法は、一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、学習モデルによって導出された推定結果と、推定用データとが対応付けられた情報の入力を受け付け、推定結果の経時変化および学習モデルの経時変化を表示するとともに、推定用データ内の属性の経時変化を示すグラフを表示し、そのグラフとして、属性の値の範囲に応じて異なる態様を表すグラフを表示し、属性の値の範囲の複数の境界値の1つとして、学習モデルの選択時に用いられる条件で用いられる値を用いることを特徴とする。
また、本発明による推定結果表示プログラムは、一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、学習モデルによって導出された推定結果とが対応付けられた情報が入力される入力手段を備えるコンピュータに搭載される推定結果表示プログラムであって、コンピュータに、推定結果に、その推定結果を導出するのに用いられた学習モデルを表す情報、および、当該学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を、関連付けて表示する表示処理を実行させることを特徴とする。
また、本発明による推定結果表示プログラムは、一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、学習モデルによって導出された推定結果と、推定用データとが対応付けられた情報が入力される入力手段を備えるコンピュータに搭載される推定結果表示プログラムであって、コンピュータに、推定結果の経時変化および学習モデルの経時変化を表示するとともに、推定用データ内の属性の経時変化を示すグラフを表示する表示処理を実行させ、表示処理で、そのグラフとして、属性の値の範囲に応じて異なる態様を表すグラフを表示させ、属性の値の範囲の複数の境界値の1つとして、学習モデルの選択時に用いられる条件で用いられる値を用いさせることを特徴とする。
本発明によれば、学習モデルを用いて導出された推定結果を表示する場合に、その学習モデルがどのような条件判断がなされた結果選択されたのかを、人間が認識できる。
また、本発明によれば、個々の学習モデルが選択されたときの推定用データ内の属性の傾向を人間が推測できる。
学習器および推定器を示す模式図である。 選択モデルの例を示す模式図である。 推定用データの一例を示す図である。 推定器が出力する情報の一例を示す図である。 本発明の第1の実施形態の推定結果表示システムの構成例を示すブロック図である。 第1の実施形態において表示手段によって表示されるグラフの例を示す模式図である。 第1の実施形態の処理経過の例を示すフローチャートである。 本発明の第2の実施形態の推定結果表示システムの構成例を示すブロック図である。 第2の実施形態において表示手段によって表示されるグラフの例を示す模式図である。 第2の実施形態の処理経過の例を示すフローチャートである。 第3の実施形態において表示手段によって表示されるグラフの例を示す模式図である。 第3の実施形態の処理経過の例を示すフローチャートである。 第4の実施形態で選択モデルの表示用データに基づいて表示される選択モデルの例を示す説明図である。 第4の実施形態において表示手段によって表示されるグラフの例を示す模式図である。 第4の実施形態の処理経過の例を示すフローチャートである。 第5の実施形態において表示手段によって表示されるグラフの初期状態の例を示す模式図である。 第2のグラフ内のシンボルがポイント・アンド・クックされたときの表示状態の例を示す模式図である。 第5の実施形態の処理経過の例を示すフローチャートである。 第6の実施形態において表示手段によって表示されるグラフの例を示す模式図である。 第6の実施形態の処理経過の例を示すフローチャートである。 第6の実施形態の変形例で表示されるグラフの例を示す模式図である。 第7の実施形態において表示手段によって表示されるグラフの例を示す模式図である。 第7の実施形態の処理経過の例を示すフローチャートである。 本発明の第8の実施形態の推定結果表示システムの構成例を示すブロック図である。 第8の実施形態において表示手段によって表示されるグラフの例を示す模式図である。 第8の実施形態の処理経過の例を示すフローチャートである。 第8の実施形態の第1の変形例で表示される画面の例を示す説明図である。 第8の実施形態の第2の変形例で表示される画面の例を示す説明図である。 本発明の各実施形態に係るコンピュータの構成例を示す概略ブロック図である。 本発明の推定結果表示システムの概要を示すブロック図である。 判別結果および学習モデルに応じてシンボルを変える場合の表示態様の一具体例を示す図である。
以下、本発明の実施形態を図面を参照して説明する。
まず、本発明の推定結果表示システムに関連する説明として、学習器および推定器について説明する。図1は、学習器および推定器を示す模式図である。理解を容易にするため、気温、降水量、風速等の説明変数の値に基づいて、上水使用量という目的変数の値を推定(予測)する、という具体例を用いて説明する。
学習器11は、予め学習用データを用いて、複数の学習モデルを生成する。学習モデルは、推定用データが与えられたときに推定結果を導出するためのモデルである。換言すれば、学習モデルを推定用データに対して適用することにより、推定結果が得られる。学習モデルは、例えば、学習用データから導出された、説明変数と目的変数との間に成り立つ規則性を示す情報である。例えば、学習モデルは、推定式の形式で生成される。この場合、推定用データがその推定式の説明変数に代入されることによって、推定結果が算出される。ここでは、学習モデルが推定式の形式である場合を例にしたが、学習モデルの形式は推定式であるとは限らない。学習器11によって生成された複数の学習モデルは、推定器12で用いられる。
また、推定器12には一種類以上の属性を含む推定用データが入力され、推定器12は、複数の学習モデルのうちから、その推定用データに含まれる属性が一種類以上の条件を満たしているか否かの判定結果に応じた学習モデルを選択する。そして、推定器12は、その推定用データと、選択した学習モデルとを用いて推定結果を導出する。例示したように学習モデルが推定式の形式で表されている場合には、推定器12は、入力された推定用データに含まれる属性を推定式の説明変数に代入することによって、推定結果を算出すればよい。
推定器12によって選択された学習モデルを表す情報と、その学習モデルによって導出された推定結果と、学習モデルの選択時に用いられた一種類以上の属性を含む推定用データとを対応付けた情報が、複数組、本発明の推定結果表示システム1に入力される。学習モデルを表す情報は、学習モデルの識別情報である。なお、学習モデル、推定結果および推定用データに加えて、他の情報(例えば、実測値)も対応づけられて、推定結果表示システム1に入力されてもよい。また、本発明の推定結果表示システム1に入力される各推定結果は、予め、推定器12によって導出されている。
推定器12は、推定用データに応じた学習モデルを選択する。そのため、学習器11は、推定用データに応じた学習モデルを選択するためのモデル(以下、選択モデルと記す。)を生成する。図2は、選択モデルの例を示す模式図である。図2に示す例では、選択モデルが、学習モデルを葉ノードとし、葉ノード以外のノードには推定用データ内の属性に関する条件が定められた木構造のモデルである場合を例示している。また、図2に示す選択モデルでは、葉ノード以外の各ノードには、2つの子ノードが存在する。ここでは、選択モデルが図2に例示するような木構造のモデルである場合を例にして説明するが、選択モデルの形式は木構造のモデルに限定されない。
推定器12には、選択モデルも与えられる。図2に例示する選択モデルが推定器12に与えられ、また、推定器12に、気温、降水量の値を含む推定用データが入力されたとする。すると、推定器12は、選択モデルのルートノードを起点として、ノードが示す条件を推定用データ内の属性が満たしているか否かに応じて2つの子ノードのいずれか一方を選択することを繰り返しつつノードを辿る。そして、推定器12は、葉ノードに到着したときに、その葉ノードが示す学習モデルを選択する。そして、推定器12は、その学習モデルと推定用データとを用いて、推定結果を導出する。上記の例では、気温、降水量の値を含む推定用データが入力される場合を例示したが、選択モデルで条件として記述されていない属性が推定用データに含まれていてもよい。
図2に示す例では、学習モデル1が選択される場合、「気温が20℃以上である」という条件のみが判定されることになる。また、学習モデル2または学習モデル3が選択される場合には、「気温が20℃以上である」という条件と、「降水量が10mm/h以上である」という条件がそれぞれ判定されることになる。
本発明の推定結果表示システム1には、推定器12が学習モデルを選択する際に用いる選択モデルも入力される。
理解を容易にするために、推定器12について具体例を用いて説明する。図3は、推定器12に入力される推定用データの一具体例を示す図である。図3には、推定用データの集合が示されている。図3における「行」に相当する情報が1つの推定用データに相当する情報である。推定用データは、一種類以上の属性を含む。図3における「列」に相当する情報が推定用データに含まれる属性を示す情報である。図3に示す例では、推定用データは、推定用データを識別するID(識別子)と、気温の値と、降水量の値と、風速の値と、時刻を示す情報とを含む。図3においては、推定用データの集合を表形式で表現しているが、推定用データは図3に示す形式に限定されない。図3に示す例では、推定用データは、属性として、気温、降水量、および風速を含んでいる。
推定器12は、例えば、推定用データに含まれる属性の値を推定式の説明変数に代入することにより、推定結果を算出する。
図3に示す推定用データと、図2に示す選択モデルとに基づいて、推定器12の動作の一例を説明する。推定器12には、図3に例示する推定用データの集合が入力される。推定器12は、図3におけるID=1で識別される推定用データの入力を受け付ける。推定器12は、図2に示す選択モデルを参照する。ID=1で識別される推定用データでは、気温の値が21.1℃である。このため、図2に示す選択モデルにより、推定器12は、ID=1で識別される推定用データに応じた学習モデルとして、学習モデル1を選択する。同様に、推定器12は、図3におけるID=2で識別される推定用データの入力を受け付ける。ID=2で識別される推定用データでは、気温の値が20.5℃である。このため、図2に示す選択モデルにより、推定器12は、ID=2で識別される推定用データに応じた学習モデルとして、学習モデル1を選択する。同様に、推定器12は、図3におけるID=3で識別される推定用データの入力を受け付ける。ID=3で識別される推定用データでは、気温の値が19.8℃であり、降水量が0.1mm/hである。このため、図2に示す選択モデルにより、推定器12は、ID=3で識別される推定用データに応じた学習モデルとして、学習モデル3を選択する。
推定器12は、推定用データと、選択した学習モデルとを用いて推定結果を導出する。すなわち、推定器12は、ID=1で識別される推定用データを学習モデル1に相当する推定式に代入することにより、推定値を算出する。同様に、推定器12は、ID=2で識別される推定用データを学習モデル1に相当する推定式に代入することにより、推定値を算出する。同様に、推定器12は、ID=3で識別される推定用データを学習モデル3に相当する推定式に代入することにより、推定値を算出する。換言すれば、推定器12は、例えば時系列的に連続するような推定用データの集合(換言すれば、時系列的に一連の推定用データ)について、当該推定用データの性質と選択モデルとに基づいて、当該推定用データに適用すべき学習モデルを選択する。推定用データの性質は、例えば推定用データに含まれる属性の値である。
図4は、推定器12が出力する情報である推定結果データの一具体例を示す図である。図4には、推定結果データの集合が示されている。図4における「行」に相当する情報が一つの推定結果データに相当する情報である。図4に示すように、推定結果データは、例えば、推定値と、その推定値を導出する際に用いられた学習モデルを表す情報と、その学習モデルを選択するときに用いた推定用データとを対応付けた情報である。図4に示すように、推定結果データは、その他の情報を含んでいてもよい。図4に示す例では、推定結果データが、推定結果データを識別する識別子や、推定用データの時刻情報等も含んでいる場合を示している。上述のように、推定用データには、一種類以上の属性が含まれている。
図4に示すID=a1で識別される推定結果(すなわち、上水使用量推定値4.3m)は、ID=1で識別される推定用データを学習モデル1に相当する推定式に代入することにより算出された推定値である。同様に、図4に示すID=a2で識別される推定結果(すなわち、上水使用量推定値4.0m)は、ID=2で識別される推定用データを学習モデル1に相当する推定式に代入することにより算出された推定値である。同様に、図4に示すID=a3で識別される推定結果(すなわち、上水使用量推定値4.7m)は、ID=3で識別される推定用データを学習モデル3に相当する推定式に代入することにより算出された推定値である。このように、推定結果データの集合は、例えば時系列的に連続するような一連の推定結果を示す情報である。以上、具体例を用いて推定器12の動作の一例を説明した。
図2に示すような学習器11の一例が、例えば、以下に示す参考文献に開示されている。
[参考文献] 米国特許出願公開第2014/0222741A1号明細書
なお、上記のような選択モデルを学習モデルと称し、推定式等のように推定結果を導出するためのモデルをコンポーネントと称する場合もある。しかし、以下に示す各実施形態では、推定結果を導出するためのモデル(例えば、推定式)を学習モデルと記し、学習モデルを選択するためのモデルを選択モデルと記す。また、参考文献が開示する技術においては選択モデル自体が学習の結果であるが、本発明の各実施形態では、選択モデルは学習の結果であっても、人手で生成された情報であってもよい。
実施形態1.
図5は、本発明の第1の実施形態の推定結果表示システムの構成例を示すブロック図である。本実施形態の推定結果表示システム1は、入力手段2と、条件特定手段3と、表示手段4とを備える。
入力手段2には、推定用データ内の一種類以上の属性が一種類以上の条件を満たしているか否かの判定結果に応じて推定器12によって選択された学習モデルを表す情報と、その学習モデルによって導出された推定結果と、その推定用データと、実測値とが対応付けられた情報(推定結果データ)が、複数組、入力される。言い換えると、入力手段2には、推定結果データの集合が入力される。ここでは、推定結果が値として算出されている場合を例にして説明する。従って、推定結果を推定値と称してもよい。
また、入力手段2には、推定器12が学習モデルを選択するときに用いた選択モデルと、その選択モデルの表示用データも入力される。推定結果表示システム1は、一度入力された選択モデル、および選択モデルの表示用データを記憶装置(図5において図示略。)に記憶させておけばよい。選択モデルの表示用データは、選択モデルを人間が把握可能な態様で表示するためのデータである。本実施形態では、選択モデルの表示用データとして、図2に例示するように、葉ノードが学習モデルを表し、葉ノード以外の各ノードが推定用データ内の属性に対する条件を表す木構造の表示用データが入力される。なお、前述のように、葉ノード以外の各ノードには、2つの子ノードが存在する。
入力手段2は、学習モデルを示す情報と、推定結果と、実測値と、推定用データとの組毎(換言すれば、推定結果データ毎に)に、学習モデルを示す情報、推定結果および実測値を表示手段4に送り、推定用データを条件特定手段3に送る。
1つの推定結果データ内の推定用データは、一種類以上の属性を含んでいる。この点は、他の各実施形態においても同様である。
入力手段2は、例えば、情報を入力するための入力デバイスまたは入力インタフェースである。
条件特定手段3は、与えられた推定用データ内の一種類以上の属性と、選択モデルとを用いて、学習モデルが推定器12で選択されたときに属性が満たしているか否かの判定対象となっていた条件を特定する。条件特定手段3は、選択モデルのルートノードを起点として、ノードが示す条件を属性が満たしているか否かに応じて2つの子ノードのいずれか一方を選択することを繰り返しつつノードを辿る。そして、条件特定手段3は、葉ノードに到着するまでに辿ったノードに対応する条件を特定すればよい。条件特定手段3は、特定した条件を表示手段4に送る。
あるいは、学習モデルが推定器12で選択されたときに属性が満たしているか否かの判定対象となっていた条件は、推定結果データに含まれる属性として、入力手段12に入力されてもよい。
表示手段4は、推定結果と、学習モデルを示す情報と、学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件とを合わせて表示する。この表示態様は、実施形態によって異なる。
第1の実施形態では、表示手段4は、推定結果をシンボルで表した散布図を表示する。このとき、表示手段4は、学習モデルに応じてそのシンボルの種別を変え、かつ、学習モデルが選択されたときに属性が満たしているか否かの判定対象となっていた条件をそのシンボル上で表す。以下、表示手段4による表示例を具体的に説明する。
なお、シンボルは、マーカとも称される。
図6は、第1の実施形態において表示手段4によって表示されるグラフの例を示す模式図である。表示手段4は、散布図の他に、選択モデルの表示用データに基づいて、選択モデルを表す木構造のグラフ41(以下、木構造グラフ41と記す。)も表示する。表示手段4は、木構造グラフ41において、条件に対応するノードをそれぞれ個別の色または模様で表示する(図6参照)。すなわち、選択モデル内の個々の条件と、色または模様とが対応付けられていることになる。
表示手段4は、表示結果をシンボルで表した散布図を表示する。図6に例示する散布図は、推定結果に対応する軸と、実測値に対応する軸とを有する。図6では、推定結果に対応する軸が横軸であり、実測値に対応する軸が縦軸である場合を例示している。
表示手段4は、推定結果を表すシンボルを、その推定結果が横軸方向の座標となり、その推定結果に対応する実測値が縦軸方向の座標となるように、散布図内に配置する。さらに、推定結果を表すシンボルの種別を、その推定結果に対応する学習モデルに応じて変える。図6では、学習モデル1を用いて導出された推定結果を表すシンボルを丸とし、学習モデル2を用いて導出された推定結果を表すシンボルを四角形とし、学習モデル3を用いて導出された推定結果を表すシンボルを三角形とした場合を例示している。学習モデルの種類がさらに多い場合にも、表示手段4は、学習モデルに応じてシンボルの種別を変える。ただし、学習モデルの種類が多い場合には、表示手段4は、必ずしも全ての学習モデル毎にシンボルを変える必要はない。例えば、表示手段4は、学習モデルをグルーピングし、学習モデルのグループ毎に、学習モデルから導出された推定結果を表わすシンボルの種別を変える等してもよい。また、表示手段4は、複数の学習モデルのうち、特定の学習モデルから導出された推定結果を表わすシンボルの種別を、他のシンボルの種別と変える等してもよい。この点は、他の実施形態においても同様である。
さらに、表示手段4は、学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象になっていた条件を、散布図内のシンボル上に表す。前述のように、木構造グラフ41において、条件に対応するノードをそれぞれ個別の色または模様で表示されている。表示手段4は、シンボルが表す推定結果に対応する推定用データを用いて条件特定手段3によって特定された条件(その推定結果を導出した学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件)に対応する色または模様でシンボルを表す。1つのシンボルに対して、複数の条件が特定されている場合もある。その場合、表示手段4は、そのシンボルを、その複数の条件に対応する各色または模様で表す。
木構造グラフ41が表す選択モデルを用いる場合、学習モデル1が選択される場合、「気温が20℃以上である」という条件(以下、条件Aと記す。)のみが判定されることになる。また、学習モデル2または学習モデル3が選択される場合には、条件Aと、「降水量が10mm/h以上である」という条件(以下、条件Bと記す。)がそれぞれ判定されることになる。また、図6に示す例では、条件Aと横線模様とを対応付け、条件Bと斜線模様とを対応付けた例を示している(図6に示す木構造グラフ41を参照)。従って、表示手段4は、学習モデル1に対応する推定結果を表すシンボルを、横線模様の円とする。また、表示手段4は、学習モデル2に対応する推定結果を表すシンボルを、横線模様および斜線模様の組み合わせた四角形とする。同様に、表示手段4は、学習モデル3に対応する推定結果を表すシンボルを、横線模様および斜線模様の組み合わせた三角形とする。
図6では、表示手段4が、学習モデルに応じてシンボルの形を変え、かつ、条件に応じてシンボルの色または模様を変える場合を例示したが、表示手段4は、学習モデルに応じてシンボルの色または模様を変え、かつ、条件に応じてシンボルの形を変えてもよい。
条件特定手段3および表示手段4は、例えば、ディスプレイ装置を有するコンピュータのCPUによって実現される。この場合、CPUは、コンピュータのプログラム記憶装置(図5において図示略)等のプログラム記録媒体から推定結果表示プログラムを読み込み、その推定結果表示プログラムに従って、条件特定手段3および表示手段4として動作すればよい。表示手段4のうち、グラフを定め、そのグラフをディスプレイ装置に表示させる部分が、CPUによって実現される。表示手段4のうち、実際に表示を行う部分は、ディスプレイ装置によって実現される。この点は、後述の他の実施形態においても同様である。
また、推定結果表示システム1は、2つ以上の物理的に分離した装置が有線または無線で接続されている構成であってもよい。この点も、後述の各実施形態において同様である。
次に、処理経過について説明する。図7は、第1の実施形態の処理経過の例を示すフローチャートである。
まず、入力手段2に、学習モデルを表す情報と、その学習モデルによって導出された推定結果と、学習モデルの選択時に用いられた推定用データと、実測値とが対応付けられた情報が、複数組、入力される(ステップS1)。入力手段2は、その組毎に、学習モデルを示す情報、推定結果および実測値を表示手段4に送り、推定用データを条件特定手段3に送る。
また、ステップS1では、選択モデルと、その選択モデルの表示用データも入力手段2に入力される。推定結果表示システム1は、その選択モデル、および選択モデルの表示用データを記憶装置(図5において図示略。)に記憶する。
次に、条件特定手段3は、全ての組の推定用データを選択済みであるか否かを判定する(ステップS2)。推定用データが選択されていない組が残っている場合(ステップS2のNo)、条件特定手段3は、その組のうちの1つの組の推定用データを選択する(ステップS3)。
条件特定手段3は、ステップS3で選択した推定用データと、選択モデルとを用いて、その推定用データに対応する学習モデルが推定器12で選択されたときに、推定用データ内の属性が満たしているか否かの判定対象となっていた条件を特定する(ステップS4)。前述のように、条件特定手段3は、選択モデルのルートノードを起点として、ノードが示す条件を推定用データ内の属性が満たしているか否かに応じて2つの子ノードのいずれか一方を選択することを繰り返しつつノードを辿る。そして、条件特定手段3は、葉ノードに到着するまでに辿ったノードに対応する条件を特定すればよい。
例えば、ステップS3で、「気温18℃」、「降水量15mm/h」という属性を含む推定用データを選択しているとする。また、図2に例示する選択モデルが入力されているとする。条件特定手段3は、図2に例示するルートノードを起点としてノードを辿る。ルートノードは条件Aに対応し、条件特定手段3は、「気温18℃」は条件Aを満たさないと判定する。その結果、条件特定手段3は、ルートノードから条件Bに対応するノードを辿る。そして、条件特定手段3は、「降水量15mm/h」は条件Bを満たすと判定し、学習モデル2に対応する葉ノードに到着する。従って、本例では、条件特定手段3は、条件Aおよび条件Bを特定する。
条件特定手段3は、特定した条件を表示手段4に送る。
ステップS4の後、ステップS2に移行する。
全ての組の推定用データが選択済みである場合(ステップS2のYes)、表示手段4は、推定結果を表すシンボルを、その推定結果が横軸方向の座標となり、その推定結果に対応する実測値が縦軸方向の座標値となるように配置した散布図を表示する。このとき、表示手段4は、推定結果を表すシンボルの種別をその推定結果に対応する学習モデルに応じて変え、学習モデルに対応する条件をシンボル上に表す(ステップS5)。
また、ステップS5において、表示手段4は、選択モデルの表示用データに基づいて、木構造グラフ41を、散布図とともに表示する。このとき、表示手段4は、木構造グラフ41内の条件に対応するノードを、その条件に対応する色または模様で表示する。
例えば、表示手段4は、ステップS5で、図6に例示する散布図および木構造グラフ41を表示する。
本実施形態によれば、表示手段4は、学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件に対応する色または模様でシンボルを表す。従って、グラフの観察者(以下、単に観察者と記す。)は、推定結果導出に用いられた学習モデルの選択時に、どの条件が、属性が満たしているか否かの判定対象となっていたのかを認識することができる。換言すれば、観察者は、学習モデルの選択結果の要因となる条件を認識することができる。その結果、例えば、学習モデルを用いて導出された推定結果の精度が低い場合、その学習モデルが選択された要因に基づいて、選択モデルを見直すことができる。
また、表示手段4は、推定結果を表すシンボルの種別をその推定結果に対応する学習モデルに応じて変える。従って、推定結果を導出するときにどの学習モデルが選択されていたのかに関しても、観察者は、認識できる。
また、図6に示す例では、推定結果に対応する軸が横軸であり、実測値に対応する軸が縦軸である。ここで、推定結果をxとし、実測値をyで表すと、シンボルが直線y=x(図6において破線で示す直線)に近いほど、学習モデルの推定精度が高いことを意味している。従って、特定の形のシンボルがy=xから離れていれば、そのシンボルが表す推定結果導出時に選択されていた学習モデルの精度は低いと言える。このように、推定精度が低い学習モデルが選択されているような場合に、観察者は、選択されていた推定精度の低い学習モデルを認識できる。
なお、入力手段2に入力される情報において、推定用データに応じた学習モデルは、必ずしも推定器12によって選択された学習モデルでなくてもよい。例えば、推定用データに応じた学習モデルを、分析者が人手で選択していてもよい。この場合、例えば、推定結果と、その推定結果を導出する際に用いられた学習モデルを表す情報とが、人手によって対応付けられていてもよい。この点は、他の実施形態においても同様である。
実施形態2.
図8は、本発明の第2の実施形態の推定結果表示システムの構成例を示すブロック図である。第2の実施形態の推定結果表示システム1は、入力手段2と、条件特定手段3と、表示手段4と、カーソル操作手段7とを備える。第1の実施形態と同様の事項については、適宜説明を省略する。
入力手段2は、第1の実施形態における入力手段2と同様である。入力手段2には、第1の実施形態と同様に、推定用データ内の一種類以上の属性が一種類以上の条件を満たしているか否かの判定結果に応じて推定器12によって選択された学習モデルを表す情報と、その学習モデルによって導出された推定結果と、その推定用データと、実測値とが対応付けられた情報(推定結果データ)が、複数組、入力される。ここでは、推定結果が値として算出されている場合を例にして説明する。従って、推定結果を推定値と称してもよい。
また、入力手段2には、推定器12が学習モデルを選択するときに用いた選択モデルも入力される。推定結果表示システム1は、一度入力された選択モデルを記憶装置(図8において図示略。)に記憶させておけばよい。なお、本実施形態では、選択モデルの表示用データは、入力手段2に入力されなくてよい。本実施形態では、木構造グラフ41(図6参照)を表示しなくてよいためである。
条件特定手段3は、第1の実施形態における条件特定手段3と同様である。ただし、第2の実施形態において、条件特定手段3は、学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を特定するだけでなく、属性がその条件を満たしているか否かについても判定することが好ましい。以下、条件特定手段3が、特定された条件を属性が満たしているか否かについても判定する場合を例にして説明する。
カーソル操作手段7は、観察者がグラフの表示画面内のカーソルを操作するためのデバイスである。具体的には、カーソル操作手段7は、マウス、タッチパッド、ジョイスティック、トラックボール等のポインティングデバイスである。
第2の実施形態では、表示手段4は、推定結果をシンボルで表した散布図を表示する。このとき、表示手段4は、学習モデルに応じてそのシンボルの種別を変える。図9は、第2の実施形態において表示手段4によって表示されるグラフ(本実施形態では散布図)の例を示す模式図である。図9(a)は、表示された初期状態における散布図を示す。図9(b)は、推定結果を表すシンボルがポイント・アンド・クリックされた場合のグラフを示す。
表示手段4は、例えば、推定結果に対応する軸が横軸であり、実測値に対応する軸が縦軸である散布図を表示する。このとき、表示手段4は、推定結果を表すシンボルを、その推定結果が横軸方向の座標となり、その推定結果に対応する実測値が縦軸方向の座標となるように、散布図内に配置する。さらに、推定結果を表すシンボルの種別を、その推定結果に対応する学習モデルに応じて変える。この点は、第1の実施形態と同様である。
また、表示手段4は、散布図とともにカーソル31を表示する。散布図とともにカーソル31を表示した初期状態を、図9(a)に例示している。
表示手段4は、観察者によって操作されるカーソル操作手段7の動きに従ってカーソル31の表示位置を変更する。そして、散布図内のいずれかのシンボルがポイント・アンド・クリックされたときに、表示手段4は、そのシンボルが示す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を散布図上に表示する。このときの散布図の表示状態を、図9(b)に例示している。本実施形態では、表示手段4が、属性がその条件を満たしていたか否かの判定結果も表示する場合を例にして説明する。
なお、以下の説明では、シンボルがポイント・アンド・クリックされたときに、表示手段4が、そのシンボルが示す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示する場合を例にして説明する。ただし、シンボルがオンカーソル状態になったときに、表示手段4が、そのシンボルが示す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示してもよい。この点は、他の実施形態でも同様である。
なお、「シンボルがポイント・アンド・クリックされた」とは、シンボルにカーソル31が重ねられ、さらに、クリック操作が行われたことを意味する。「シンボルがオンカーソル状態になった」とは、シンボルにカーソル31が重ねられたことを意味する。
次に、処理経過について説明する。図10は、第2の実施形態の処理経過の例を示すフローチャートである。
入力手段2に、学習モデルを表す情報と、その学習モデルによって導出された推定結果と、学習モデルの選択時に用いられた推定用データと、実測値とが対応付けられた情報が、複数組、入力される(ステップS11)。入力手段2は、その組毎に、学習モデルを示す情報、推定結果および実測値を表示手段4に送り、推定用データを条件特定手段3に送る。
また、ステップS1では、選択モデルも入力手段2に入力される。推定結果表示システム1は、その選択モデルを記憶装置(図8において図示略。)に記憶する。
次に、条件特定手段3は、全ての組の推定用データを選択済みであるか否かを判定する(ステップS12)。推定用データが選択されていない組が残っている場合(ステップS12のNo)、条件特定手段3は、その組のうちの1つの組の推定用データを選択する(ステップS13)。ステップS12,S13は、第1の実施形態におけるステップS2,S3と同様である。
条件特定手段3は、ステップS13で選択した推定用データと、選択モデルとを用いて、その推定用データに対応する学習モデルが推定器12で選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を特定する(ステップS14)。ステップS14において、条件特定手段3は、属性が、特定した条件を満たしているか否かについても判定する。ステップS14の動作は、第1の実施形態におけるステップS4の動作と同様である。ただし、本実施形態において、条件特定手段3は、特定した条件と、属性がその条件を満たしているか否かの判定結果とを表示手段4に送る。
ステップS14の後、ステップS12に移行する。
全ての組の推定用データが選択済みである場合(ステップS12のYes)、表示手段4は、推定結果を表すシンボルを、その推定結果が横軸方向の座標となり、その推定結果に対応する実測値が縦軸方向の座標値となるように配置した散布図を表示する。このとき、表示手段4は、推定結果を表すシンボルの種別をその推定結果に対応する学習モデルに応じて変える(ステップS15)。また、表示手段4は、カーソル31を表示する。ステップS15では、図9(a)に例示する画面が表示される。
次に、表示手段4は、散布図内のいずれかのシンボルがポイント・アンド・クリックされたか否かを判定する(ステップS16)。どのシンボルもポイント・アンド・クリックされていなければ(ステップS16のNo)、ステップS16の判定を繰り返す。
いずれかのシンボルがポイント・アンド・クリックされた場合(ステップS16のYes)、表示手段4は、そのシンボルが示す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件と、属性がその条件を満たしていたか否かの判定結果を表示する(ステップS17)。ステップS17では、図9(b)に例示する画面が表示される。図9(b)に示す例では、表示手段4は、「条件Aを満たさず、条件Bを満たしたことで学習モデル2を選択」という情報を表示している。このような表示から、観察者は、条件A,Bが判定対象になっていたことや、推定用データ内の属性が条件Aを満たさず,条件Bを満たしていたこと等が認識できる。
ステップS17の後、カーソル31がシンボルから離れた場合、表示手段4は、ステップS16以降の動作を繰り返してもよい。
なお、上記の第2の実施形態の説明では、散布図を表示する前に、条件特定手段3が、対応付けられた情報の組毎にステップS13,S14を実行する場合を例示した。ポイント・アンド・クリックされたシンボルが生じたときに、条件特定手段3が、そのシンボルが表す推定結果に対応する推定用データを選択し、ステップS14と同様の処理を行った後に、表示手段4がステップS17を実行してもよい。この点は、シンボルがポイント・アンド・クリックされた場合、あるいは、オンカーソル状態になった場合に情報を表示する他の実施形態においても同様である。
本実施形態によれば、いずれかのシンボルがポイント・アンド・クリックされた場合、表示手段4は、そのシンボルが示す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件と、属性がその条件を満たしていたか否かの判定結果を表示する。従って、観察者は、推定結果導出に用いられた学習モデルの選択時に、どの条件が、属性が満たしているか否かの判定対象となっていたのかを認識することができ、また、属性がその条件を満たしていたのか否かについても認識することができる。よって、第1の実施形態と同様に、観察者は、学習モデルの選択結果の要因となる条件を認識することができる。
また、本実施形態においても、観察者は、推定結果を導出するときにどの学習モデルが選択されていたかを認識できる。また、推定精度が低い学習モデルが選択されているような場合に、観察者は、選択されていた推定精度の低い学習モデルを認識できる。
実施形態3.
本発明の第3の実施形態の推定結果表示システムは、第2の実施形態の推定結果表示システムと同様に、図8に示すブロック図で表すことができるので、図8を用いて第3の実施形態を説明する。第2の実施形態と同様の事項については、適宜説明を省略する。
第3の実施形態の推定結果表示システム1は、入力手段2と、条件特定手段3と、表示手段4と、カーソル操作手段7とを備える(図8参照)。
第3の実施形態で入力手段2に入力される情報は、第1の実施形態で入力手段2に入力される情報と同様である。
また、条件特定手段3は、選択モデルのルートノードを起点として、ノードが示す条件を推定用データ内の属性が満たしているか否かに応じて2つの子ノードのいずれか一方を選択することを、学習モデルに対応する葉ノードに到着するまで繰り返す。条件特定手段3は、この処理によって、木構造グラフ41におけるルートノードから葉ノードまでの経路を特定する。この経路上の葉ノード以外のノードは、推定用データ内の属性に関する条件に対応するノードである。従って、上記のような経路を特定しているということは、葉ノードに対応する学習モデルが推定器12で選択されたときに属性が満たしているか否かの判定対象となっていた条件を特定していると言える。
表示手段4は、推定結果をシンボルで表した散布図を表示する。このとき、表示手段4は、学習モデルに応じてそのシンボルの種別を変える。また、表示手段4は、選択モデルの表示用データに基づいて、木構造グラフ41(図11参照)も表示する。第3の実施形態では第1の実施形態と同様に、選択モデルの表示用データとして、葉ノードが学習モデルを表し、葉ノード以外の各ノードが推定用データ内の属性に対する条件を表す木構造の表示用データが入力される。
図11は、第3の実施形態において表示手段4によって表示されるグラフの例を示す模式図である。図11(a)は、表示された初期状態におけるグラフを示す。図11(b)は、推定結果を表すシンボルがポイント・アンド・クリックされた場合のグラフを示す。
表示手段4は、例えば、推定結果に対応する軸が横軸であり、実測値に対応する軸が縦軸である散布図を表示する。このとき、表示手段4は、推定結果を表すシンボルを、その推定結果が横軸方向の座標となり、その推定結果に対応する実測値が縦軸方向の座標となるように、散布図内に配置する。さらに、推定結果を表すシンボルの種別を、その推定結果に対応する学習モデルに応じて変える。この点は、第1の実施形態と同様である。
さらに、表示手段4は、選択モデルの表示用データに基づいて、木構造グラフ41も表示する。第3の実施形態では、表示手段4は、木構造グラフ41において、条件に対応するノードをそれぞれ個別の色または模様で表示する必要はない(図11参照)。
また、表示手段4は、カーソル31も表示する。散布図、木構造グラフ41およびカーソル31を表示した初期状態を、図11(a)に例示している。
表示手段4は、観察者によって操作されるカーソル操作手段7の動きに従ってカーソル31の表示位置を変更する。そして、散布図内のいずれかのシンボルがポイント・アンド・クリックされたときに、表示手段4は、そのシンボルが示す推定結果に対応する推定用データに基づいて条件特定手段3が特定した木構造グラフ41上の経路を強調表示する。このときの表示状態を図11(b)に例示している。
次に、処理経過について説明する。図12は、第3の実施形態の処理経過の例を示すフローチャートである。ステップS1〜S3は、第1の実施形態におけるステップS1〜S3と同様である。
ステップS3の後、条件特定手段3は、ステップS3で選択した推定用データと、選択モデルとを用いて、木構造グラフ41上の経路を特定する(ステップS24)。条件特定手段3は、選択モデルのルートノードを起点として、ノードが示す条件を推定用データ内の属性が満たしているか否かに応じて2つの子ノードのいずれか一方を選択することを、学習モデルに対応する葉ノードに到着するまで繰り返すことによって、木構造グラフ41上の経路を特定する。
ステップS14の後、ステップS2に移行する。
全ての組の推定用データが選択済みである場合(ステップS2のYes)、表示手段4は、推定結果を表すシンボルを、その推定結果が横軸方向の座標となり、その推定結果に対応する実測値が縦軸方向の座標値となるように配置した散布図を表示する。このとき、表示手段4は、推定結果を表すシンボルの種別をその推定結果に対応する学習モデルに応じて変える。また、表示手段4は、選択モデルの表示用データに基づいて木構造グラフ41を表示する(ステップS25)。表示手段4は、カーソル31も表示する。ステップS25では、図11(a)に例示する画面が表示される。
次に、表示手段4は、散布図内のいずれかのシンボルがポイント・アンド・クリックされたか否かを判定する(ステップS26)。どのシンボルもポイント・アンド・クリックされていなければ(ステップS26のNo)、ステップS26の判定を繰り返す。
いずれかのシンボルがポイント・アンド・クリックされた場合(ステップS26のYes)、表示手段4は、そのシンボルが示す推定結果に対応する推定用データに基づいて特定された経路を、木構造グラフ41上で強調表示する(ステップS27)。ステップS27では、図11(b)に例示する画面が表示される。図11(b)では、ノード間を結ぶリンクを太くすることによって経路を強調表示する例を示しているが、木構造グラフ41上の経路を強調表示する方法は特に限定されない。
ステップS27の後、カーソル31がシンボルから離れた場合、表示手段4は、木構造グラフ41上の経路の強調表示を停止し、ステップS26以降の動作を繰り返してもよい。
なお、ステップS26で、表示手段4は、いずれかのシンボルがオンカーソル状態になったか否かを判定し、いずれかのシンボルがオンカーソル状態になったときにステップS27に移行してもよい。
ステップS27で強調表示された経路上の葉ノード以外のノードは、推定用データ内の属性に関する条件に対応するノードである。従って、表示手段4は、ステップS27で経路を強調表示することによって、その推定結果を導出した学習モデルが推定器12で選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示していると言える。例えば、図11(b)に示す例では、ポイント・アンド・クリックされたシンボルが示す推定結果を導出した学習モデル2が選択されたときには、推定用データ内の属性が条件Aを満たしているか否か、および、推定用データ内の属性が条件Bを満たしているか否かが判定されていたということが分かる。従って、観察者は、推定結果導出に用いられた学習モデルの選択時に、どの条件が、属性が満たしているか否かの判定対象となっていたのかを認識することができる。よって、観察者は、学習モデルの選択結果の要因となる条件を認識することができる。
また、本実施形態においても、観察者は、推定結果を導出するときにどの学習モデルが選択されていたかを認識できる。また、推定精度が低い学習モデルが選択されているような場合に、観察者は、選択されていた推定精度の低い学習モデルを認識できる。
実施形態4.
本発明の第4の実施形態の推定結果表示システムは、第2の実施形態の推定結果表示システムと同様に、図8に示すブロック図で表すことができるので、図8を用いて第4の実施形態を説明する。
第4の実施形態の推定結果表示システム1は、入力手段2と、条件特定手段3と、表示手段4と、カーソル操作手段7とを備える(図8参照)。
第4の実施形態で入力手段2に入力される情報は、第1の実施形態で入力手段2に入力される情報と同様である。ただし、第4の実施形態では、選択モデルの表示用データとして、推定用データ内の属性に対する条件を複数の軸に割り当て、その軸によって規定される空間内に、その条件に応じた学習モデルを表したデータが入力される。図13は、このような選択モデルの表示用データに基づいて表示される選択モデルの例を示す説明図である。
図13に示す選択モデルは、図2に示す木構造の選択モデルと同様の内容を表している。図13に示す例では2つの軸に条件が割り当てられている。具体的には、横軸に、条件A(気温が20℃以上であるという条件)が割り当てられ、縦軸に条件B(降水量が10mm/h以上であるという条件)が割り当てられている。そして、横軸では、条件Aを満たす範囲(20℃以上の範囲)と満たさない範囲(20℃未満)に分けられている。同様に、縦軸では、条件Bを満たす範囲(10mm/h以上の範囲)と満たさない範囲(10mm/h未満の範囲)に分けられている。
条件Aを満たせば、他の条件を満たしているか否かによらず、学習モデル2を選択することになる。よって、条件Aを満たす横軸の範囲によって規定される空間(領域)が学習モデル1に対応することが、選択モデルの表示用データにおいて予め定められている。
また、条件Aを満たさない場合、条件Bを満たしていれば、学習モデル1を選択することになる。よって、条件Aを満たさない横軸の範囲および条件Bを満たす縦軸の範囲によって規定される空間(領域)が学習モデル2に対応することが、選択モデルの表示用データにおいて予め定められている。
また、条件A,Bの両方を満たさない場合、学習モデル3を選択することになる。よって、条件Aを満たさない横軸の範囲および条件Bを満たさない縦軸の範囲によって規定される空間(領域)が学習モデル3に対応することが、選択モデルの表示用データにおいて予め定められている。
このような選択モデルの表示用データに基づいて、図13に例示するように選択モデルを表した図が表示される。以下、図13に示す図を選択モデル図と記す。
図13に示す例では、横軸および縦軸にそれぞれ1つの条件を割り当てる場合を例示したが、1つの軸に複数の条件を割り当ててもよい。また、選択モデル図を構成する軸の数は、3であってもよい。
また、条件特定手段3は、学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を特定するとともに、属性がその条件を満たしているか否かを判定する。
表示手段4は、推定結果をシンボルで表した散布図を表示する。このとき、表示手段4は、学習モデルに応じてそのシンボルの種別を変える。また、表示手段4は、選択モデルの表示用データに基づいて、選択モデル図も表示する。
図14は、第4の実施形態において表示手段4によって表示されるグラフの例を示す模式図である。図14(a)は、表示された初期状態におけるグラフを示す。図14(b)は、推定結果を表すシンボルがポイント・アンド・クリックされた場合のグラフを示す。
表示手段4は、例えば、推定結果に対応する軸が横軸であり、実測値に対応する軸が縦軸である散布図を表示する。このとき、表示手段4は、推定結果を表すシンボルを、その推定結果が横軸方向の座標となり、その推定結果に対応する実測値が縦軸方向の座標となるように、散布図内に配置する。さらに、推定結果を表すシンボルの種別を、その推定結果に対応する学習モデルに応じて変える。この点は、第1の実施形態と同様である。
さらに、表示手段4は、選択モデルの表示用データに基づいて、選択モデル図42も表示する。
また、表示手段4は、カーソル31も表示する。散布図、選択モデル図42およびカーソル31を表示した初期状態を、図14(a)に例示している。
表示手段4は、観察者によって操作されるカーソル操作手段7の動きに従ってカーソル31の表示位置を変更する。そして、散布図内のいずれかのシンボルがポイント・アンド・クリックされたときに、表示手段4は、そのシンボルが示す推定結果に対応する推定用データに基づいて条件特定手段3が判定した結果(条件、および、推定用データ内の属性がその条件を満たしているか否か)によって定まる選択モデル図42内の領域を強調表示する。このときの表示状態を図14(b)に例示している。
次に、処理経過について説明する。図15は、第4の実施形態の処理経過の例を示すフローチャートである。
まず、入力手段2に、学習モデルを表す情報と、その学習モデルによって導出された推定結果と、学習モデルの選択時に用いられた推定用データと、実測値とが対応付けられた情報が、複数組、入力される(ステップS1)。入力手段2は、その組毎に、学習モデルを示す情報、推定結果および実測値を表示手段4に送り、推定用データを条件特定手段3に送る。
また、ステップS1では、選択モデルと、その選択モデルの表示用データも入力手段2に入力される。推定結果表示システム1は、その選択モデル、および選択モデルの表示用データを記憶装置(図8において図示略。)に記憶する。本実施形態におけるステップS1は、選択モデルの表示用データとして、推定用データ内の属性に対する条件を複数の軸に割り当て、その軸によって規定される空間内に、その条件に応じた学習モデルを表したデータ(図13に例示する形式の選択モデルの表示用データ)が入力される点の以外は、第1の実施形態におけるステップS1と同様である。
なお、選択モデルの表示用データは、選択モデル図42を表示するためのデータであり、選択モデルは、第1の実施形態と同様であってよい。例えば、選択モデルは、木構造のモデルであってよい。そして、その木構造の選択モデルを、選択モデル図42として表示するためのデータが、選択モデルの表示用データとして入力される。
次に、条件特定手段3は、全ての組の推定用データを選択済みであるか否かを判定する(ステップS2)。推定用データが選択されていない組が残っている場合(ステップS2のNo)、条件特定手段3は、その組のうちの1つの組の推定用データを選択する(ステップS3)。
条件特定手段3は、ステップS3で選択した推定用データと、選択モデルとを用いて、その推定用データに対応する学習モデルが推定器12で選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を特定する(ステップS34)。また、ステップS34において、条件特定手段3は、その属性が、その条件を満たしているか否かについても判定する。条件特定手段3は、選択モデルのルートノードを起点として、ノードが示す条件を推定用データ内の属性が満たしているか否かに応じて2つの子ノードのいずれか一方を選択することを葉ノードに到着するまで繰り返すことによって、ステップS34を実行すればよい。
例えば、ステップS3で、「気温18℃」、「降水量15mm/h」という属性を含む推定用データを選択しているとする。また、図2に例示する選択モデルが入力されているとする。この場合、条件特定手段3は、条件A,Bを特定し、「気温18℃」は条件Aを満たさず、「降水量15mm/h」は条件Bを満たすという判定結果を得る。
条件特定手段3は、特定した条件、および、属性がその条件を満たしているか否かの判定結果を表示手段4に送る。
ステップS34の後、ステップS2に移行する。
全ての組の推定用データが選択済みである場合(ステップS2のYes)、表示手段4は、推定結果を表すシンボルを、その推定結果が横軸方向の座標となり、その推定結果に対応する実測値が縦軸方向の座標値となるように配置した散布図を表示する。このとき、表示手段4は、推定結果を表すシンボルの種別をその推定結果に対応する学習モデルに応じて変える。また、表示手段4は、選択モデルの表示用データに基づいて選択モデル図42を表示する(ステップS35)。表示手段4は、カーソル31も表示する。ステップS35では、図14(a)に例示する画像が表示される。
次に、表示手段4は、散布図内のいずれかのシンボルがポイント・アンド・クリックされたか否かを判定する(ステップS36)。どのシンボルもポイント・アンド・クリックされていなければ(ステップS36のNo)、ステップS36の判定を繰り返す。
いずれかのシンボルがポイント・アンド・クリックされた場合(ステップS36のYes)、表示手段4は、そのシンボルが示す推定結果に対応する推定用データを用いて実行されたステップS34の結果に基づいて定まる選択モデル図42内の領域を強調表示する(ステップS37)。具体的には、表示手段4は、ステップS34で特定された条件毎に、その条件が割り当てられた軸において、ステップS34の判定結果(推定用データ内の属性が条件を満たしているか否か)に応じた範囲を特定する。表示手段4は、選択モデル図42内の区分けされた領域のうち、それらの範囲が重なっている部分を含む領域を特定し、その領域を強調表示する。
例えば、上記の例のように、ステップS34で、条件A,Bが特定され、「気温18℃」は条件Aを満たさず、「降水量15mm/h」は条件Bを満たすという判定結果が得られたとする。また、図13に示す選択モデル図を例にして説明する。この場合、表示手段4は、条件Aに関しては、横軸で条件Aを満たさない範囲(20℃未満の範囲)を特定する。同様に、表示手段4は、条件Bに関して、縦軸で条件Bを満たす範囲(10mm/h以上の範囲)を特定する。それらの範囲が重なっている部分を含む領域は、図13における選択モデル図内の、学習モデル2に対応する領域である。従って、本例では、ステップS37で、図14(b)に例示するように、散布図および選択モデル図42を表示する。なお、図14(b)では、学習モデル2に対応する領域に背景の模様(色でもよい。)を付加することによって、その領域を強調表示する例を示している。ステップS37における強調表示の方法は、他の方法であってもよい。
ステップS37の後、カーソル31がシンボルから離れた場合、表示手段4は、選択モデル図42内の領域の強調表示を停止し、ステップS36以降の動作を繰り返してもよい。
なお、ステップS36で、表示手段4は、いずれかのシンボルがオンカーソル状態になったか否かを判定し、いずれかのシンボルがオンカーソル状態になったときにステップS37に移行してもよい。
ステップS37で強調表示される領域は、各軸における、条件を満たす範囲、または、条件を満たさない範囲に対応している。なお、図13に示す例では、学習モデル1に対応する領域は、縦軸における、条件Bを満たす範囲(10mm/h以上の範囲)および条件Bを満たさない範囲(10mm/h未満の範囲)を跨っている。このことは、学習モデル1の選択時には、推定用データ内の属性が条件Bを満たすか否かについては判定されなかったことを意味する。観察者は、推定結果導出に用いられた学習モデルの選択時に、どの条件が、推定用データ内の属性が満たしているか否かの判定対象となっていたのかを認識することができ、また、属性がその条件を満たしていたか否かを認識することができる。よって、観察者は、学習モデルの選択結果の要因となる条件を認識することができる。
また、本実施形態においても、観察者は、推定結果を導出するときにどの学習モデルが選択されていたかを認識できる。また、推定精度が低い学習モデルが選択されているような場合に、観察者は、選択されていた推定精度の低い学習モデルを認識できる。
なお、第1から第4までの各実施形態において、散布図の軸は、図6等に示す例に限定されない。例えば、2つの軸が、それぞれ推定用データ内の属性に対応してもよい。具体例を挙げて説明する。例えば、推定器12(図1参照)が、推定用データに含まれる属性のうち、少なくとも、車両の交通量の測定値および空気中のNOx濃度の測定値を用いて、学習モデルを選択し、交通量およびNOx濃度の測定地点が「都会」か「田舎」かを推定(判別)しているとする。この場合、表示手段4は、車両の交通量に対応する軸と、空気中のNOx濃度に対応する軸とを有する散布図を表示してもよい。この場合、表示手段4が散布図内のシンボルを定める態様は、例えば、表示手段4が判別結果(都会か田舎か)に応じてシンボルを定め、かつ、判別に用いられた学習モデルに応じてシンボルを定める等の態様であってもよい。例えば、表示手段4は、判別結果(都会か田舎か)に応じてシンボルの形状を変えて、判別に用いられた学習モデルに応じて色または線種を変える等としてもよい。図31は、このような表示態様の一具体例を示す図である。
実施形態5.
本発明の第5の実施形態の推定結果表示システムは、第2の実施形態の推定結果表示システムと同様に、図8に示すブロック図で表すことができるので、図8を用いて第5の実施形態を説明する。
第5の実施形態の推定結果表示システム1は、入力手段2と、条件特定手段3と、表示手段4と、カーソル操作手段7とを備える(図8参照)。
入力手段2には、推定用データ内の一種類以上の属性が一種類以上の条件を満たしているか否かの判定結果に応じて推定器12によって選択された学習モデルを表す情報と、その学習モデルによって導出された推定結果と、その推定用データとが対応付けられた情報(推定結果データ)が、複数組、入力される。ここでは、推定結果が値として算出されている場合を例にして説明する。従って、推定結果を推定値と称してもよい。また、実測値の変化を表示しない場合には、各組において、実測値の情報は含まれていなくてよい。本実施形態では、説明を簡単にするために、実測値の情報が入力されない場合を例にして説明する。
また、入力手段2には、推定器12が学習モデルを選択するときに用いた選択モデルも入力される。推定結果表示システム1は、一度入力された選択モデルを記憶装置(図8において図示略。)に記憶させておけばよい。なお、本実施形態では、選択モデルの表示用データは、入力手段2に入力されなくてよい。本実施形態では、木構造グラフ41(図6等参照)や選択モデル図42(図14参照)を表示しなくてよいためである。
条件特定手段3は、第2の実施形態における条件特定手段3と同様である。
第5の実施形態では、表示手段4は、推定結果を表すシンボルを所定の順に並べた第1のグラフ71と、推定結果に対応する学習モデルを表すシンボルを所定の順に並べた第2のグラフ72とを表示する。第1のグラフ71は、推定結果の変化を示すグラフであり、第2のグラフ72は、選択された学習モデルの変化を示すグラフである。
図16は、第5の実施形態において表示手段4によって表示されるグラフの初期状態の例を示す模式図である。第1のグラフ71の横軸および第2のグラフ72の横軸は、学習モデルを示す情報および推定結果等が対応付けられた組の順序を表す軸である。図16では、この順序が時刻によって表され、第1のグラフ71の横軸および第2のグラフ72の横軸がそれぞれ時刻を表している場合を例示している。この場合、入力手段2に入力される学習モデルを示す情報や推定結果に、対応する時刻の情報が付加されていればよい。あるいは、学習モデルを表す情報と、推定結果と、推定用データとが対応付けられた情報との組(推定結果データ)が、推定結果に対応する時刻順に入力手段2に入力されてもよい。
第1のグラフ71の横軸および第2のグラフ72の横軸は、時刻を表す軸でなくてもよく、例えば、推定結果データの入力順序を表す軸であってもよい。
第1のグラフ71の縦軸は、推定結果に対応する軸である。第2のグラフ72の縦軸は、学習モデルの種類に対応する軸であり、学習モデルの各識別情報を座標として有する。
表示手段4は、推定結果を表す各シンボルを所定の順(本例では、推定結果に対応する時刻の順)に並べた第1のグラフ71を表示する。より具体的には、表示手段4は、推定結果を表す各シンボルを、所定の順(本例では、推定結果に対応する時刻の順)に横軸に合わせて並べつつ、値として算出されている各推定結果が縦軸方法の座標となるように、第1のグラフ71内に配置する。換言すれば、表示手段4は、推定結果を表すシンボルを、その推定結果の順序(例えば、時刻で表される順序)をx座標(横軸方向の座標)とし、その推定結果をy座標(縦軸方向の座標)とする位置に配置する。推定結果を表す各シンボルの種別は共通でよい。
表示手段4は、学習モデルを表す各シンボルを上記と同じ所定の順に並べた第2のグラフ72も表示する。より具体的には、表示手段4は、学習モデルを表す各シンボルを、上記と同じ所定の順に横軸に合わせて並べつつ、学習モデルを表す情報(すなわち、識別情報)が縦軸方向の座標となるように、第2のグラフ72内に配置する。換言すれば、表示手段4は、学習モデルを表す情報の順序をx座標とし、その学習モデルを表す情報(識別情報)をy座標とする位置に、その学習モデルを表すシンボルを配置する。学習モデルを表すシンボルの種別は共通でよい。
なお、推定結果と、その推定結果に対応する学習モデルを表す情報には、共通の順序(本例では時刻)が割り当てられている。従って、表示手段4は、推定結果を表すシンボルと、その推定結果に対応する学習モデルを表すシンボルとを、共通のx座標の位置に配置する。x座標が共通のシンボルの対応関係を観察者が認識しやすいように、表示手段4は、第1のグラフ71および第2のグラフ72を上下に並べて表示することが好ましい。
また、第1のグラフ71および第2のグラフ72において、シンボル間の間隔が短ければ、シンボルの並びは線として認識される。図16では、第1のグラフ71および第2のグラフ72において、シンボル間の間隔が短く、シンボルの並びが線として認識される場合を例示している。
第2のグラフ72内のいずれかのシンボルがポイント・アンド・クリックされた場合、表示手段4は、そのシンボルが示す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示する。本実施形態では、表示手段4が、推定用データ内の属性がその条件を満たしていたか否かの判定結果も表示する場合を例にして説明する。図17は、第2のグラフ72内のシンボルがポイント・アンド・クックされたときの表示状態の例を示す。
次に、処理経過について説明する。図18は、第5の実施形態の処理経過の例を示すフローチャートである。
入力手段2に、学習モデルを表す情報と、その学習モデルによって導出された推定結果と、学習モデルの選択時に用いられた推定用データとが対応付けられた情報が、複数組、入力される(ステップS41)。入力手段2は、その組毎に、学習モデルを示す情報および推定結果を表示手段4に送り、推定用データを条件特定手段3に送る。
また、ステップS41では、選択モデルも入力手段2に入力される。推定結果表示システム1は、その選択モデルを記憶装置(図8において図示略。)に記憶する。
次に、条件特定手段3は、全ての組の推定用データを選択済みであるか否かを判定する(ステップS42)。推定用データが選択されていない組が残っている場合(ステップS42のNo)、条件特定手段3は、その組のうちの1つの組の推定用データを選択する(ステップS43)。
条件特定手段3は、ステップS43で選択した推定用データと、選択モデルとを用いて、その推定用データに対応する学習モデルが推定器12で選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を特定する(ステップS44)。ステップS44において、条件特定手段3は、属性が、特定した条件を満たしているか否かについても判定する。条件特定手段3は、特定した条件と、属性がその条件を満たしているか否かの判定結果とを表示手段4に送る。
ステップS41〜S44は、第2の実施形態におけるステップS11〜S14と同様である。
ステップS44の後、ステップS42に移行する。
全ての組の推定用データが選択済みである場合(ステップS42のYes)、表示手段4は、推定結果を表す各シンボルを、所定の順に横軸に合わせて並べつつ、各推定結果が縦軸方向の座標となるように配置した第1のグラフ71を表示する。このとき、表示手段4は、学習モデルを表すシンボルを、所定の順に横軸に合わせて並べつつ、学習モデルを表す情報が縦軸方向の座標となるように配置した第2のグラフ72も第1のグラフ71とともに表示する(ステップS45)。また、表示手段4は、カーソル31を表示する。ステップS45では、図16に例示する画面が表示される。
次に、表示手段4は、第2のグラフ72内のいずれかのシンボルがポイント・アンド・クリックされたか否かを判定する(ステップS46)。第2のグラフ72内のどのシンボルもポイント・アンド・クリックされていなければ(ステップS46のNo)、ステップS46の判定を繰り返す。
第2のグラフ72内のいずれかのシンボルがポイント・アンド・クリックされた場合(ステップS46のYes)、表示手段4は、そのシンボルが示す学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件と、属性がその条件を満たしていたか否かの判定結果を表示する(ステップS47)。ステップS47では、図17に例示する画面が表示される。図17に示す例では、「条件Aを満たさず、条件Bを満たしたことで学習モデル2を選択」という情報を表示している。
ステップS47の後、カーソル31がシンボルから離れた場合、表示手段4は、ステップS46以降の動作を繰り返してもよい。
なお、ステップS46で、表示手段4は、いずれかのシンボルがオンカーソル状態になったか否かを判定し、いずれかのシンボルがオンカーソル状態になったときにステップS47に移行してもよい。
本実施形態によれば、第2のグラフ72内のいずれかのシンボルがポイント・アンド・クリックされた場合、表示手段4は、そのシンボルが示す学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件と、属性がその条件を満たしていたか否かの判定結果を表示する。従って、観察者は、推定結果導出に用いられた学習モデルの選択時に、どの条件が、推定用データ内の属性が満たしているか否かの判定対象となっていたのかを認識することができ、また、属性がその条件を満たしていたのか否かについても認識することができる。よって、観察者は、学習モデルの選択結果の要因となる条件を認識することができる。
また、本実施形態では、表示手段4は、対応するシンボル同士のx座標が共通となるように第1のグラフ71および第2のグラフ72を表示する。従って、観察者は、推定結果を導出するときにどの学習モデルが選択されていたかを認識できる。
実施形態6.
第5の実施形態では、第1のグラフ71と第2のグラフ72を表示することで、推定結果を導出するときにどの学習モデルが選択されていたかを観察者に認識させる。第6の実施形態では、1つのグラフによって、推定結果を導出するときにどの学習モデルが選択されていたかを観察者に認識させる。
本発明の第6の実施形態の推定結果表示システムは、第2の実施形態の推定結果表示システムと同様に、図8に示すブロック図で表すことができるので、図8を用いて第6の実施形態を説明する。
第6の実施形態の推定結果表示システム1は、入力手段2と、条件特定手段3と、表示手段4と、カーソル操作手段7とを備える(図8参照)。
入力手段2および条件特定手段3は、第5の実施形態における入力手段2および条件特定手段3と同様である。
表示手段4は、推定結果をシンボルで表したグラフであって、推定結果に対応する学習モデルに応じてシンボルの種別を変えたグラフを表示する。図19は、第6の実施形態において表示手段4によって表示されるグラフの例を示す模式図である。図19(a)は、表示された初期状態におけるグラフを示す。図19(b)は、推定結果を表すシンボルがポイント・アンド・クリックされた場合のグラフを示す。
本実施形態で表示されるグラフの横軸は、推定結果の順序を表す軸である。図19では、グラフの横軸が時刻を表している場合を例示している。この場合、入力手段2に入力される推定結果に、対応する時刻の情報が付加されていればよい。あるいは、学習モデルを表す情報と、推定結果と、推定用データとが対応付けられた情報との組(推定結果データ)が、推定結果に対応する時刻順に入力手段2に入力されてもよい。
グラフの横軸は、時刻を表す軸でなくてもよく、例えば、推定結果データの入力順序を表す軸であってもよい。
表示手段4は、推定結果を表す各シンボルを所定の順(本例では、推定結果に対応する時刻の順)に並べたグラフを表示する。より具体的には、表示手段4は、推定結果を表す各シンボルを、所定の順(本例では、推定結果に対応する時刻の順)に横軸に合わせて並べつつ、値として算出されている各推定結果が縦軸方法の座標となるようにグラフ内に配置する。換言すれば、表示手段4は、推定結果を表すシンボルを、その推定結果の順序(例えば、時刻で表される順序)をx座標(横軸方向の座標)とし、その推定結果をy座標(縦軸方向の座標)とする位置に配置する。シンボル間の間隔が短ければ、シンボルの並びは線として認識される。図19では、シンボル間の間隔が短く、シンボルの並びが線として認識される場合を例示している。この場合、表示手段4の動作は、推定結果の推移を表す線グラフを表示する、と表現することもできる。
また、表示手段4は、推定結果を表わすシンボルの種別を、その推定結果に対応する学習モデルに応じて変える。すなわち、表示手段4は、学習モデル1を用いて導出された推定結果を表すシンボル、学習モデル2を用いて導出された推定結果を表すシンボル、学習モデル3を用いて導出された推定結果を表すシンボル等として、それぞれ異なるシンボルをグラフ内に配置する。推定結果導出時に選択される学習モデルの種類がさらに多い場合も同様である。表示手段4が、推定結果の推移を表す線グラフを表示する場合、表示手段4は、推定結果に対応する学習モデルに応じて線の属性を変えたグラフを表示する。
表示手段4は、学習モデルの種類によってシンボルの種別を変える場合、例えば、シンボルの色を変えてもよく、あるいは、シンボルの形を変えてもよい。シンボルの種別の変え方は、特に限定されない。また、表示手段4が、推定結果の推移を表す線グラフを表示する場合、線の属性は例えば、線の色や、線の太さや、線の種別等(例えば、実線、点線または一点鎖線等)の線の外見である。線の属性は線の外見には限定されない。例えば、第5の実施形態で例示したように、線がポイント・アンド・クリック等の操作を受けたことに応じて、表示手段4は、その線に対応する学習モデルを示す情報を表示してもよい。
表示手段4は、グラフ内のいずれかのシンボルがポイント・アンド・クリックされたときに、表示手段4は、そのシンボルが示す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示する。このときの表示状態を、図19(b)に例示している。本実施形態では、表示手段4が、属性がその条件を満たしていたか否かの判定結果も表示する場合を例にして説明する。
次に、処理経過について説明する。図20は、第6の実施形態の処理経過の例を示すフローチャートである。ステップS41〜S44は、第5の実施形態におけるステップS41〜S44と同様であり、説明を省略する。
ステップS42において、全ての組の推定用データが選択済みであると判定された場合(ステップS42のYes)、表示手段4は、推定結果を表す各シンボルを、所定の順に横軸に合わせて並べつつ、各推定結果が縦軸方向の座標となるように配置したグラフであって、推定結果を表すシンボルの種別をその推定結果に対応する学習モデルに応じて変えたグラフを表示する(ステップS55)。また、表示手段4は、カーソル31を表示する。ステップS55では、図19(a)に例示する画面が表示される。
次に、表示手段4は、グラフ内のいずれかのシンボルがポイント・アンド・クリックされたか否かを判定する(ステップS56)。どのシンボルもポイント・アンド・クリックされていなければ(ステップS56のNo)、ステップS56の判定を繰り返す。
いずれかのシンボルがポイント・アンド・クリックされた場合(ステップS56のYes)、表示手段4は、そのシンボルが示す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件と、属性がその条件を満たしていたか否かの判定結果を表示する(ステップS57)。ステップS57では、図19(b)に例示する画面が表示される。図19(b)に示す例では、「条件Aを満たさず、条件Bを満たしたことで学習モデル2を選択」という情報を表示している。
ステップS57の後、カーソル31がシンボルから離れた場合、表示手段4は、ステップS56以降の動作を繰り返してもよい。
なお、ステップS56で、表示手段4は、いずれかのシンボルがオンカーソル状態になったか否かを判定し、いずれかのシンボルがオンカーソル状態になったときにステップS57に移行してもよい。
本実施形態においても、第5の実施形態と同様に、観察者は、推定結果導出に用いられた学習モデルの選択時に、どの条件が、推定用データ内の属性が満たしているか否かの判定対象となっていたのかを認識することができ、また、属性がその条件を満たしていたのか否かについても認識することができる。よって、観察者は、学習モデルの選択結果の要因となる条件を認識することができる。
また、本実施形態では、表示手段4は、推定結果を表わすシンボルの種別を、その推定結果に対応する学習モデルに応じて変える。従って、観察者は、推定結果を導出するときにどの学習モデルが選択されていたかを認識できる。
次に、第6の実施形態の変形例について説明する。第6の実施形態では、表示手段4は、シンボルがポイント・アンド・クリックされた場合等に、図19(b)に例示するように、情報を表示する。この情報を、シンボルの種別を示す凡例内に表示してもよい。例えば、第6の実施形態では、表示手段4は、図21に示すグラフをステップS55で表示してもよい。この場合、表示手段4は、図20に示すステップS56以降の処理を実行しなくてよい。また、上記のような第6の実施形態の変形例では、カーソル操作手段7は設けられていなくてよい。
実施形態7.
第7の実施形態も、1つのグラフによって、推定結果を導出するときにどの学習モデルが選択されていたかを観察者に認識させる。
本発明の第7の実施形態の推定結果表示システムは、第2の実施形態の推定結果表示システムと同様に、図8に示すブロック図で表すことができるので、図8を用いて第7の実施形態を説明する。
第6の実施形態の推定結果表示システム1は、入力手段2と、条件特定手段3と、表示手段4と、カーソル操作手段7とを備える(図8参照)。
入力手段2および条件特定手段3は、第5の実施形態や第6の実施形態における入力手段2および条件特定手段3と同様である。
表示手段4は、推定結果をシンボルで表したグラフを表示する。図22は、第7の実施形態において表示手段4によって表示されるグラフの例を示す模式図である。図22(a)は、表示された初期状態におけるグラフを示す。図22(b)は、定結果を表すシンボルがポイント・アンド・クリックされた場合のグラフを示す。
本実施形態で表示されるグラフの横軸は、推定結果の順序を表す軸である。図22では、グラフの横軸が時刻を表している場合を例示している。この場合、入力手段2に入力される推定結果に、対応する時刻の情報が付加されていればよい。あるいは、学習モデルを表す情報と、推定結果と、推定用データとが対応付けられた情報との組(推定結果データ)が、推定結果に対応する時刻順に入力手段2に入力されてもよい。
グラフの横軸は、時刻を表す軸でなくてもよく、例えば、推定結果データの入力順序を表す軸であってもよい。
表示手段4は、推定結果を表す各シンボルを所定の順(本例では、推定結果に対応する時刻の順)に並べたグラフを表示する。より具体的には、表示手段4は、推定結果を表す各シンボルを、所定の順(本例では、推定結果に対応する時刻の順)に横軸に合わせて並べつつ、値として算出されている各推定結果が縦軸方法の座標となるようにグラフ内に配置する。換言すれば、表示手段4は、推定結果を表すシンボルを、その推定結果の順序(例えば、時刻で表される順序)をx座標(横軸方向の座標)とし、その推定結果をy座標(縦軸方向の座標)とする位置に配置する。シンボル間の間隔が短ければ、シンボルの並びは線として認識される。図22では、シンボル間の間隔が短く、シンボルの並びが線として認識される場合を例示している。
ここで述べた表示手段4の動作は、第6の実施形態における表示手段4の動作と同様である。ただし、第7の実施形態では、第6の実施形態と異なり、表示手段4は、全てのシンボルの種別を共通とする。
また、第7の実施形態において、表示手段4は、シンボルが示す推定結果に対応する学習モデルに応じて、グラフ内の領域を区分して表示する。以下、この動作を説明する。
シンボルは、横軸方向に並んでいる。横軸方向に隣接する2つのシンボルが示す推定結果に対応する学習モデルが異なっている場合、表示手段4は、その2つのシンボル間に、横軸に垂直な境界線を表示する。例えば、あるシンボル(Pとする。)が示す推定結果に対応する学習モデルが「学習モデル1」であるとする。シンボルPの次のシンボル(Qとする。)が示す推定結果に対応する学習モデルが「学習モデル2」であるとする。この場合、表示手段4は、シンボルP,Q間に、横軸に垂直な境界線を表示する。図22では、境界線を破線で示している。
また、表示手段4は、端点となるシンボルの近傍にも、境界線を表示してもよい(図22参照)。
隣接する2本の境界線に挟まれた領域内の各シンボルは、共通の学習モデルを用いて導出された推定結果を表している。従って、隣接する2本の境界線に挟まれた領域は、それぞれ、1つの学習モデルに対応している。表示手段4は、隣接する2本の境界線に挟まれた領域を、その領域に対応する学習モデルに応じた態様で表示する。図22に示す例では、表示手段4は、隣接する2本の境界線に挟まれた領域内に、その領域に対応する学習モデルを表す識別番号を表示する場合を例示している。図22に示すグラフ内には、隣接する2本の境界線に挟まれた領域が4つ存在するが、左側の領域から、「学習モデル1」、「学習モデル2」、「学習モデル1」、「学習モデル3」に対応していることが分かる。
あるいは、表示手段4は、隣接する2本の境界線に挟まれた領域を、その領域に対応する学習モデルに応じた背景色で表示してもよい。例えば、表示手段4は、「学習モデル1」に対応する領域の背景色を赤としたり、「学習モデル2」に対応する領域の背景色を青としたりすることによって、各領域に対応する学習モデルを提示してもよい。
個々の領域の表示態様を学習モデルの種別によってどのように変えるかは、特に限定されない。
表示手段4は、グラフ内のいずれかのシンボルがポイント・アンド・クリックされると、表示手段4は、そのシンボルが示す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示する。このときの表示状態を、図22(b)に例示している。本実施形態では、表示手段4が、属性がその条件を満たしていたか否かの判定結果も表示する場合を例にして説明する。
次に、処理経過について説明する。図23は、第7の実施形態の処理経過の例を示すフローチャートである。ステップS41〜S44は、第5の実施形態や第6の実施形態におけるステップS41〜S44と同様であり、説明を省略する。
ステップS42において、全ての組の推定用データが選択済みであると判定された場合(ステップS42のYes)、表示手段4は、推定結果を表す各シンボルを、所定の順に横軸に合わせて並べつつ、各推定結果が縦軸方向の座標となるように配置したグラフを表示するとともに、シンボルが示す推定結果に対応する学習モデルに応じて、グラフ内の領域を区分して表示する(ステップS65)。また、表示手段4は、カーソル31を表示する。ステップS65では、図22(a)に例示する画面が表示される。
次のステップS56、S57は、第6の実施形態におけるステップS56、S57と同様である。ただし、ステップS57では、ステップS65で表示したグラフとともに、ポイント・アンド・クリックされたシンボルが示す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件と、属性がその条件を満たしていたか否かの判定結果を表示する。第7の実施形態におけるステップS57では、図22(b)に例示する画面が表示される。
ステップS57の後、カーソル31がシンボルから離れた場合、表示手段4は、ステップS56以降の動作を繰り返してもよい。
なお、ステップS56で、表示手段4は、いずれかのシンボルがオンカーソル状態になったか否かを判定し、いずれかのシンボルがオンカーソル状態になったときにステップS57に移行してもよい。
本実施形態においても、第5の実施形態や第6の実施形態と同様に、観察者は、推定結果導出に用いられた学習モデルの選択時に、どの条件が、推定用データ内の属性が満たしているか否かの判定対象となっていたのかを認識することができ、また、属性がその条件を満たしていたのか否かについても認識することができる。よって、観察者は、学習モデルの選択結果の要因となる条件を認識することができる。
また、表示手段4は、シンボルが示す推定結果に対応する学習モデルに応じて、グラフ内の領域を区分して表示する。従って、観察者は、シンボルが表す推定結果を導出するときにどの学習モデルが選択されていたのかを認識できる。
実施形態8.
図24は、本発明の第8の実施形態の推定結果表示システムの構成例を示すブロック図である。第8の実施形態の推定結果表示システム1は、入力手段2と、表示手段4とを備える。
入力手段2には、推定用データ内の一種類以上の属性が一種類以上の条件を満たしているか否かの判定結果に応じて推定器12によって選択された学習モデルを表す情報と、その学習モデルによって導出された推定結果と、その推定用データとが対応付けられた情報(推定結果データ)が、複数組、入力される。ここでは、推定結果が値として算出されている場合を例にして説明する。従って、推定結果を推定値と称してもよい。
また、入力手段2には、推定器12が学習モデルを選択するときに用いた選択モデルも入力される。推定結果表示システム1は、一度入力された選択モデルを記憶装置(図24において図示略。)に記憶させておけばよい。本実施形態では、図2に例示する選択モデルが入力される場合を例にして説明する。
第8の実施形態では、表示手段4は、第5の実施形態における第1のグラフ71および第2のグラフ72と同様のグラフとともに、推定用データ内の各属性の値の変化を表すグラフ(以下、第3のグラフと記す。)も表示する。
図25は、第8の実施形態において表示手段4によって表示されるグラフの例を示す模式図である。表示手段4が第1のグラフ71および第2のグラフ72を表示する動作は、第5の実施形態において表示手段4が第1のグラフ71および第2のグラフ72を表示する動作と同様であり、説明を省略する。
上記のように、第3のグラフ73は、推定用データ内の各属性の値の変化を表すグラフである。図25では、属性として気温および降水量を含む推定用データが入力され、表示手段4が、気温の変化および降水量の変化を表すグラフを第3のグラフ73として表示する場合を例示している。また、図25では、第3のグラフ73を、属性の値が属する範囲に応じた色または模様で表すヒートマップ形式で表す場合を例示している。
第3のグラフ73の横軸は、第1のグラフ71の横軸および第2のグラフ72の横軸と共通である。すなわち、表示手段4は、推定結果を表すシンボルと、その推定結果に対応する学習モデルを表すシンボルと、その推定結果に対応する推定用データ内の各属性の値を表す色または模様のx座標を共通にする。なお、図25では、第1から第3までの各グラフの横軸がいずれも時刻を表している場合を例示している。なお、第5の実施形態で説明したように、各グラフの横軸は、時刻を表す軸でなくてもよい。
また、図25に示すように、表示手段4は、第3のグラフ73で用いる色や模様の凡例を表示してもよい。このとき、表示手段4は、選択モデル内で条件を示す各ノードを参照し、属性の値の範囲を区分するときの複数の境界値の一つとして、その条件で用いられる値を用いる。
例えば、図2に例示する選択モデルには、「気温が20℃以上であるという条件」を示すノードが存在する。よって、表示手段4は、第3のグラフ73内で、気温の変化をヒートマップ形式で表す場合に、気温の範囲の複数の境界値のうちの1つとして20℃を用いる。図25に示す例では、気温の範囲を15℃未満の範囲、15℃以上20℃未満の範囲、および、20℃以上の範囲に区分しており、「20℃」を境界値のうちの1つとして用いている。
また、例えば、図2に例示する選択モデルには、「降水量が10mm/h以上であるという条件」を示すノードが存在する。よって、表示手段4は、第3のグラフ73内で、降水量の変化をヒートマップ形式で表す場合に、降水量の範囲の複数の境界値のうちの1つとして10mm/hを用いる。図25に示す例では、降水量の範囲を0mm/h以上5mm/h未満の範囲、5mm/h以上10mm/h未満の範囲、および10mm/h以上の範囲に区分しており、「10mm/h」を境界値のうちの1つとして用いている。
また、表示手段4は、第2のグラフ72において、学習モデルの種類を表す縦軸の各座標値と対応付けて、個々の種別の学習モデルが選択されるための属性の範囲に応じた色または模様を表示してもよい。表示手段4は、選択モデルの各葉ノードからルートノードへ辿ることによって、個々の種別の学習モデルが選択されるための属性の範囲を特定すればよい。
例えば、表示手段4は、図2に示す選択モデルにおいて、学習モデル1を示す葉ノードからルートノードに辿ることによって、学習モデル1が選択されるための属性の範囲が、「気温20℃以上」であることを特定する。そして、表示手段4は、「気温20℃以上」を表す色または模様のアイコン75を、第2のグラフ72の縦軸の座標「1」の近傍に表示する。
また、例えば、表示手段4は、図2に示す選択モデルにおいて、学習モデル2を表す葉ノードからルートノードに辿ることによって、学習モデル2が選択されるための属性の範囲が、「降水量10mm/h以上」であり、「気温20℃未満」であることを特定する。そして、表示手段4は、「降水量10mm/h以上」を表す色または模様のアイコン76を、第2のグラフ72の縦軸の座標「2」の近傍に表示する。なお、「気温20℃未満」に対応する色または模様は複数存在する。図25に示す例では、属性の範囲が複数種類の色または模様に対応することを表すアイコンとして、無模様の白色のアイコン77を表示する場合を例示している。
次に、処理経過について説明する。図26は、第8の実施形態の処理経過の例を示すフローチャートである。
入力手段2に、学習モデルを表す情報と、その学習モデルによって導出された推定結果と、学習モデルの選択時に用いられた推定用データとが対応付けられた情報が、複数組、入力される(ステップS71)。入力手段2は、入力された各組の情報を表示手段4に送る。
また、ステップS71では、選択モデルも入力手段2に入力される。推定結果表示システム1は、その選択モデルを記憶装置(図24において図示略。)に記憶する。
次に、表示手段4は、第1のグラフ71および第2のグラフ72を表示するとともに、推定用データ内の各属性の値の変化を表す第3のグラフ73を表示する(ステップS72)。表示手段4が第1のグラフ71および第2のグラフ72を表示する動作は、第5の実施形態で第1のグラフ71および第2のグラフ72を表示する動作と同様である。ステップS72では、図25に例示する画面が表示される。なお、第8の実施形態および後述する変形例では、ポイント・アンド・クリック等に応じた表示を行う必要がないので、表示手段4は、ステップS72でカーソルを表示しなくてよい。
表示手段4は、推定用データ内の属性の種類毎に、属性の値が属する範囲に応じた色または模様を表すヒートマップ形式のグラフを表示することによって、第3のグラフ73を表示すればよい。ただし、第3のグラフ73は、ヒートマップ形式のグラフでなくてもよい。例えば、第3のグラフ73は、属性の値の変化を示す折れ線グラフ等であってもよい。
ステップS72において、表示手段4は、第1から第3までの各グラフの横軸を共通とする。また、表示手段4は、第1から第3までの各グラフを上段、中段、下段に並べて表示することが好ましい。
また、表示手段4は、選択モデル内で条件を示す各ノードを参照し、属性の値の範囲を区分するときの境界値の一つとして、その条件で用いられる値を用いる。この点については、既に説明したので、ここでは説明を省略する。
また、表示手段4は、アイコン75〜77等を表示してもよい(図25参照)。
なお、本実施形態において、学習モデルの種類を表す縦軸の各座標値と対応付けたアイコン75〜77等を表示しなくてもよい。また、「気温が20℃以上であるという条件」等の条件に含まれる値を、属性の値の範囲を区分する際の境界値として用いなくてもよい。表示手段4がアイコン75〜77等を表示せず、また、条件に含まれる値を境界値として用いない場合には、ステップS71で入力手段2に選択モデルが入力されなくてもよい。また、本実施形態において、表示手段4は、学習モデルの選択に用いられた属性以外の属性に関しても、第3のグラフ73で属性の値の変化を表示してもよい。この点は、後述する本実施形態の変形例でも同様である。
本実施形態によれば、第1のグラフ71および第2のグラフ72とともに、推定用データ内の属性の値の変化を表す第3のグラフ73を表す。従って、観察者は、推定値と、その推定値の導出に用いた学習モデルと、その学習モデルを選択する際に用いられた各属性とを対応付けて観察することができる。従って、観察者は、個々の学習モデルが選択されたときの属性の傾向を推測できる。
また、属性の値の範囲を区分するときの境界値を、選択モデル内の条件で用いられる値に対応させることにより、第2のグラフ72において学習モデルが切り替わる位置と、第3のグラフ73においてヒートマップにおける色や模様が切り替わる位置が揃う。これにより、観察者は、推定値と、その推定値の導出に用いた学習モデルと、その学習モデルを選択する際に用いられた各属性とを、より容易に把握することができる。すなわち、第2のグラフ72において、あるタイミングにおいて、ある学習モデルから他の学習モデルに切り替わった際に、学習モデルが切り替わった原因がどの属性の値によるものであるのかを観察は容易に把握することができる。
また、本実施の形態においても、第5の実施形態と同様に、観察者は、推定結果を導出するときにどの学習モデルが選択されていたかを認識できる。
次に、第8の実施形態の変形例を示す。上記の第8の実施形態では、表示手段4が、第1のグラフ71および第2のグラフ72とともに第3のグラフ73を表示する場合を示した。第8の実施形態の第1の変形例では、第1のグラフ71および第2のグラフ72の代わりに、第6の実施形態で表示されるグラフ(図19(a)参照)を表示してもよい。図27は、第8の実施形態の第1の変形例で表示される画面の例を示す説明図である。なお、以下の説明では、第3のグラフ73を属性グラフ73と記す。
表示手段4は、ステップS72で、第1のグラフ71および第2のグラフ72の代わりに、図27に例示するグラフ81を表示すればよい。表示手段4は、グラフ81を表示する場合、第6の実施形態と同様に、推定結果を表す各シンボルを、所定の順に横軸に合わせて並べつつ、各推定結果が縦軸方向の座標となるように配置したグラフであって、推定結果を表すシンボルの種別をその推定結果に対応する学習モデルに応じて変えたグラフを表示すればよい。また、表示手段4が属性グラフ73を表示する動作は、第8の実施形態で表示手段4が第3のグラフ73を表示する動作と同様である。
表示手段4は、図27に例示するグラフ81の横軸と、属性グラフ73の横軸とを共通とする。そして、推定結果を表すグラフ81内のシンボルと、その推定結果に対応する各推定用データの値を表す色または模様のx座標を共通にする。
上記のような第8の実施形態の第1の変形例においても、第8の実施形態と同様の効果が得られる。
また、第8の実施形態の第2の変形例では、第1のグラフ71および第2のグラフ72の代わりに、第7の実施形態で表示されるグラフ(図22(a)参照)を表示してもよい。図28は、第8の実施形態の第2の変形例で表示される画面の例を示す説明図である。
表示手段4は、ステップS72で、第1のグラフ71および第2のグラフ72の代わりに、図28に例示するグラフ82を表示すればよい。表示手段4は、グラフ82を表示する場合、第7の実施形態と同様に、推定結果を表す各シンボルを、所定の順に横軸に合わせて並べつつ、各推定結果が縦軸方向の座標となるように配置したグラフを表示するとともに、シンボルが示す推定結果に対応する学習モデルに応じて、グラフ内の領域を区分して表示すればよい。また、表示手段4が属性グラフ73を表示する動作は、第8の実施形態で表示手段4が第3のグラフ73を表示する動作と同様である。
表示手段4は、図28に例示するグラフ82の横軸と、属性グラフ73の横軸とを共通とする。そして、推定結果を表すグラフ82内のシンボルと、その推定結果に対応する各属性の値を表す色または模様のx座標を共通にする。
上記のような第8の実施形態の第2の変形例においても、第8の実施形態と同様の効果が得られる。
なお、上記のような第8の実施形態の各変形例でも、表示手段4は、選択モデル内で条件を示す各ノードを参照し、属性の値の範囲を区分するときの境界値の一つとして、その条件で用いられる値を用いてもよい。
また、第8の実施形態の変形例では、表示手段4は、第2のグラフ72を表示しないので、アイコン75〜77(図25参照)を表示しなくてよい。
図29は、本発明の各実施形態に係るコンピュータの構成例を示す概略ブロック図である。コンピュータ1000は、CPU1001と、主記憶装置1002と、補助記憶装置1003と、インタフェース1004と、ディスプレイ装置1005と、入力デバイス1006とを備える。
各実施形態の推定結果表示システム1は、コンピュータ1000に実装される。推定結果表示システム1の動作は、プログラム(推定結果表示プログラム)の形式で補助記憶装置1003に記憶されている。CPU1001は、プログラムを補助記憶装置1003から読み出して主記憶装置1002に展開し、そのプログラムに従って上記の処理を実行する。
補助記憶装置1003は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例として、インタフェース1004を介して接続される磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ1000に配信される場合、配信を受けたコンピュータ1000がそのプログラムを主記憶装置1002に展開し、上記の処理を実行してもよい。
また、プログラムは、前述の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置1003に既に記憶されている他のプログラムとの組み合わせで前述の処理を実現する差分プログラムであってもよい。
次に、本発明の概要について説明する。図30は、本発明の推定結果表示システムの概要を示すブロック図である。本発明の推定結果表示システムは、入力手段91と、表示手段92とを備える。
入力手段91(例えば、入力手段2)には、一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、学習モデルによって導出された推定結果とが対応付けられた情報が入力される。
表示手段92(例えば、表示手段4)は、推定結果と、学習モデルを表す情報と、その学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件とを合わせて表示する。
そのような構成により、学習モデルを用いて導出された推定結果を表示する場合に、その学習モデルがどのような条件判断がなされた結果選択されたのかを、人間が認識できる。
また、入力手段2には、一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、学習モデルによって導出された推定結果と、推定用データとが対応付けられた情報が入力されてもよい。
そして、表示手段4は、推定結果の変化および学習モデルの変化を表示するとともに、推定用データ内の属性の変化を示すグラフを表示してもよい。
そのような構成により、個々の学習モデルが選択されたときの推定用データ内の属性の傾向を人間が推測できる。
上記の実施形態は、以下の付記のようにも記載され得るが、以下に限定されるわけではない。
(付記1)一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、前記学習モデルによって導出された推定結果とが対応付けられた情報が入力される入力手段と、前記推定結果に、前記推定結果を導出するのに用いられた前記学習モデルを表す情報、および、当該学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を、関連付けて表示する表示手段とを備えることを特徴とする推定結果表示システム。
(付記2)前記表示手段は、推定結果をシンボルで表した散布図を表示するとともに、学習モデルに応じて前記シンボルの種別を変え、かつ、前記学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を前記シンボル上で表す付記1に記載の推定結果表示システム。
(付記3)前記表示手段は、推定結果をシンボルで表した散布図を表示するとともに、学習モデルに応じて前記シンボルの種別を変え、前記散布図内のいずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが示す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示する付記1に記載の推定結果表示システム。
(付記4)前記入力手段に、学習モデルを選択するための選択モデルの表示用データとして、葉ノードが学習モデルを表し、葉ノード以外の各ノードが推定用データ内の属性に対する条件を表す木構造のグラフの表示用データが入力され、前記表示手段は、推定結果をシンボルで表した散布図を表示するとともに、学習モデルに応じて前記シンボルの種別を変え、前記散布図内のいずれかのシンボルが選択操作を受けた場合に、前記木構造のルートノードから、前記選択操作を受けたシンボルが示す推定結果に対応する学習モデルまでの経路を強調表示した木構造のグラフを表示する付記1に記載の推定結果表示システム。
(付記5)前記入力手段に、学習モデルを選択するための選択モデルの表示用データとして、推定用データ内の属性に対する条件を複数の軸に割り当て、前記軸によって規定される空間内に、前記条件に応じた学習モデルを表した表示用データが入力され、前記表示手段は、推定結果をシンボルで表した散布図を表示するとともに、学習モデルに応じて前記シンボルの種別を変え、前記散布図内のいずれかのシンボルが選択操作を受けた場合に、前記選択操作を受けたシンボルが示す推定結果に対応する学習モデルに該当する前記空間内の箇所を強調表示する付記1に記載の推定結果表示システム。
(付記6)前記表示手段は、推定結果を表すシンボルを所定の順に並べた第1のグラフとともに、推定結果に対応する学習モデルを表すシンボルを前記所定の順に並べた第2のグラフを表示し、前記第2のグラフ中のいずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが表す学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示する付記1に記載の推定結果表示システム。
(付記7)前記表示手段は、推定結果を表すシンボルを所定の順に並べたグラフであって、推定結果に対応する学習モデルに応じてシンボルの種別を変えたグラフを表示し、いずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが表す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示する付記1に記載の推定結果表示システム。
(付記8)前記表示手段は、推定結果を表すシンボルを所定の順に並べたグラフを表示するとともに、シンボルが示す推定結果に対応する学習モデルに応じて前記グラフ内の領域を区分して表示し、いずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが表す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示する付記1に記載の推定結果表示システム。
(付記9)前記入力手段には、一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、前記学習モデルによって導出された推定結果と、前記推定用データとを対応付けた情報、および、学習モデルを選択するための選択モデルが入力され、前記推定用データと、前記選択モデルとを用いて、学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を特定する条件特定手段を備える付記1から付記8のうちのいずれかに記載の推定結果表示システム。
(付記10)前記表示手段は、前記推定結果の値を、前記シンボルが位置する座標によって表した散布図を表示する付記1から付記5のうちのいずれかに記載の推定結果表示システム。
(付記11)前記表示手段は、前記推定結果を、前記シンボルの種別によって表した散布図を表示する付記1から付記5のうちのいずれかに記載の推定結果表示システム。
(付記12)前記表示手段は、推定結果の時系列推移を表す線グラフである第1のグラフとともに、推定結果に対応する学習モデルを表すシンボルを所定の順に並べた第2のグラフを表示し、前記第2のグラフ中のいずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが表す学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示する付記1に記載の推定結果表示システム。
(付記13)前記表示手段は、推定結果の時系列推移を表す線グラフであって、推定結果に対応する学習モデルに応じて線の属性を変えたグラフを表示し、前記線グラフにおける線上の箇所が選択操作を受けた場合に、当該選択操作を受けた箇所が表す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示する付記1に記載の推定結果表示システム。
(付記14)前記表示手段は、推定結果の時系列推移を表す線グラフを表示するともに、推定結果に対応する学習モデルに応じて前記線グラフ内の領域を区分して表示し、前記線グラフにおける線上の箇所が選択操作を受けた場合に、当該選択操作を受けた箇所が表す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示する付記1に記載の推定結果表示システム。
(付記15)一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、前記学習モデルによって導出された推定結果と、前記推定用データとが対応付けられた情報が入力される入力手段と、推定結果の経時変化および学習モデルの経時変化を表示するとともに、前記推定用データ内の属性の経時変化を示すグラフを表示する表示手段とを備えることを特徴とする推定結果表示システム。
(付記16)前記表示手段は、推定用データ内の属性の経時変化を示すグラフとして、属性の値の範囲に応じた色または模様を表すヒートマップ形式のグラフを表示し、属性の値の範囲の複数の境界値の1つとして、学習モデルの選択時に用いられる条件で用いられる値を用いる付記15に記載の推定結果表示システム。
(付記17)前記表示手段は、推定結果を表すシンボルを所定の順に並べた第1のグラフとともに、推定結果に対応する学習モデルを表すシンボルを前記所定の順に並べた第2のグラフを表示することによって、推定結果の経時変化および学習モデルの経時変化を表示する付記15または付記16に記載の推定結果表示システム。
(付記18)前記表示手段は、推定結果を表すシンボルを所定の順に並べたグラフであって、推定結果に対応する学習モデルに応じてシンボルの種別を変えたグラフを表示することによって、推定結果の経時変化および学習モデルの経時変化を表示する付記15または付記16に記載の推定結果表示システム。
(付記19)前記表示手段は、推定結果を表すシンボルを所定の順に並べたグラフを表示するとともに、シンボルが示す推定結果に対応する学習モデルに応じて前記グラフ内の領域を区分して表示することによって、推定結果の経時変化および学習モデルの経時変化を表示する付記15または付記16に記載の推定結果表示システム。
(付記20)一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、前記学習モデルによって導出された推定結果とが対応付けられた情報の入力を受け付け、前記推定結果に、前記推定結果を導出するのに用いられた前記学習モデルを表す情報、および、当該学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を、関連付けて表示することを特徴とする推定結果表示方法。
(付記21)一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、前記学習モデルによって導出された推定結果と、前記推定用データとが対応付けられた情報の入力を受け付け、推定結果の経時変化および学習モデルの経時変化を表示するとともに、前記推定用データ内の属性の経時変化を示すグラフを表示することを特徴とする推定結果表示方法。
(付記22)一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、前記学習モデルによって導出された推定結果とが対応付けられた情報が入力される入力手段を備えるコンピュータに搭載される推定結果表示プログラムであって、前記コンピュータに、前記推定結果に、前記推定結果を導出するのに用いられた前記学習モデルを表す情報、および、当該学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を、関連付けて表示する表示処理を実行させるための推定結果表示プログラム。
(付記23)一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、前記学習モデルによって導出された推定結果と、前記推定用データとが対応付けられた情報が入力される入力手段を備えるコンピュータに搭載される推定結果表示プログラムであって、前記コンピュータに、推定結果の経時変化および学習モデルの経時変化を表示するとともに、前記推定用データ内の属性の経時変化を示すグラフを表示する表示処理を実行させるための推定結果表示プログラム。
また、図6、図9、図11および図14に示す例は、推定結果と実測値とを対比して提示する表示例である。このような例において、推定結果表示システム1は、観察者から選択モデル内の条件等の修正を受け付ける手段を備えていてもよい。例えば、ある学習モデルを用いて導出された推定結果が実測値から外れている場合を想定する。この場合、観察者は、散布図上のシンボルをポイント・アンド・クリックして選択モデルを見直し、選択モデルまたは学習モデルの変更操作を行う。そして、変更後の選択モデルおよび学習モデルを用いた推定処理が行われ、推定結果が表示される。すると、観察者は、推定結果を表わすシンボルが散布図内でy=xに近づいていることを確認することで、推定精度が高くなったと認識できる。
以上、実施形態を参照して本願発明を説明したが、本願発明は上記の実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、2014年10月28日に出願された日本特許出願2014−219564を基礎とする優先権を主張し、その開示の全てをここに取り込む。
産業上の利用の可能性
本発明は、学習モデルを用いて導出された推定結果を表示する推定結果表示システムに好適に適用される。
1 推定結果表示システム
2 入力手段
3 条件特定手段
4 表示手段
7 カーソル操作手段

Claims (22)

  1. 一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、前記学習モデルによって導出された推定結果とが対応付けられた情報が入力される入力手段と、
    前記推定結果に、前記推定結果を導出するのに用いられた前記学習モデルを表す情報、および、当該学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を、関連付けて表示する表示手段とを備える
    ことを特徴とする推定結果表示システム。
  2. 前記表示手段は、推定結果をシンボルで表した散布図を表示するとともに、学習モデルに応じて前記シンボルの種別を変え、かつ、前記学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を前記シンボル上で表す
    請求項1に記載の推定結果表示システム。
  3. 前記表示手段は、推定結果をシンボルで表した散布図を表示するとともに、学習モデルに応じて前記シンボルの種別を変え、前記散布図内のいずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが示す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示する
    請求項1に記載の推定結果表示システム。
  4. 前記入力手段に、学習モデルを選択するための選択モデルの表示用データとして、葉ノードが学習モデルを表し、葉ノード以外の各ノードが推定用データ内の属性に対する条件を表す木構造のグラフの表示用データが入力され、
    前記表示手段は、推定結果をシンボルで表した散布図を表示するとともに、学習モデルに応じて前記シンボルの種別を変え、前記散布図内のいずれかのシンボルが選択操作を受けた場合に、前記木構造のルートノードから、前記選択操作を受けたシンボルが示す推定結果に対応する学習モデルまでの経路を強調表示した木構造のグラフを表示する
    請求項1に記載の推定結果表示システム。
  5. 前記入力手段に、学習モデルを選択するための選択モデルの表示用データとして、推定用データ内の属性に対する条件を複数の軸に割り当て、前記軸によって規定される空間内に、前記条件に応じた学習モデルを表した表示用データが入力され、
    前記表示手段は、推定結果をシンボルで表した散布図を表示するとともに、学習モデルに応じて前記シンボルの種別を変え、前記散布図内のいずれかのシンボルが選択操作を受けた場合に、前記選択操作を受けたシンボルが示す推定結果に対応する学習モデルに該当する前記空間内の箇所を強調表示する
    請求項1に記載の推定結果表示システム。
  6. 前記表示手段は、推定結果を表すシンボルを所定の順に並べた第1のグラフとともに、推定結果に対応する学習モデルを表すシンボルを前記所定の順に並べた第2のグラフを表示し、前記第2のグラフ中のいずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが表す学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示する
    請求項1に記載の推定結果表示システム。
  7. 前記表示手段は、推定結果を表すシンボルを所定の順に並べたグラフであって、推定結果に対応する学習モデルに応じてシンボルの種別を変えたグラフを表示し、いずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが表す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示する
    請求項1に記載の推定結果表示システム。
  8. 前記表示手段は、推定結果を表すシンボルを所定の順に並べたグラフを表示するとともに、シンボルが示す推定結果に対応する学習モデルに応じて前記グラフ内の領域を区分して表示し、いずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが表す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示する
    請求項1に記載の推定結果表示システム。
  9. 前記入力手段には、一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、前記学習モデルによって導出された推定結果と、前記推定用データとを対応付けた情報、および、学習モデルを選択するための選択モデルが入力され、
    前記推定用データと、前記選択モデルとを用いて、学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を特定する条件特定手段を備える
    請求項1から請求項8のうちのいずれか1項に記載の推定結果表示システム。
  10. 前記表示手段は、前記推定結果の値を、前記シンボルが位置する座標によって表した散布図を表示する
    請求項から請求項5のうちのいずれか1項に記載の推定結果表示システム。
  11. 前記表示手段は、前記推定結果を、前記シンボルの種別によって表した散布図を表示する
    請求項から請求項5のうちのいずれか1項に記載の推定結果表示システム。
  12. 前記表示手段は、推定結果の時系列推移を表す線グラフである第1のグラフとともに、推定結果に対応する学習モデルを表すシンボルを所定の順に並べた第2のグラフを表示し、前記第2のグラフ中のいずれかのシンボルが選択操作を受けた場合に、当該選択操作を受けたシンボルが表す学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示する
    請求項1に記載の推定結果表示システム。
  13. 前記表示手段は、推定結果の時系列推移を表す線グラフであって、推定結果に対応する学習モデルに応じて線の属性を変えたグラフを表示し、前記線グラフにおける線上の箇所が選択操作を受けた場合に、当該選択操作を受けた箇所が表す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示する
    請求項1に記載の推定結果表示システム。
  14. 前記表示手段は、推定結果の時系列推移を表す線グラフを表示するともに、推定結果に対応する学習モデルに応じて前記線グラフ内の領域を区分して表示し、前記線グラフにおける線上の箇所が選択操作を受けた場合に、当該選択操作を受けた箇所が表す推定結果に対応する学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を表示する
    請求項1に記載の推定結果表示システム。
  15. 一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、前記学習モデルによって導出された推定結果と、前記推定用データとが対応付けられた情報が入力される入力手段と、
    推定結果の経時変化および学習モデルの経時変化を表示するとともに、前記推定用データ内の属性の経時変化を示すグラフを表示する表示手段とを備え
    前記表示手段は、前記グラフとして、属性の値の範囲に応じて異なる態様を表すグラフを表示し、
    属性の値の範囲の複数の境界値の1つとして、学習モデルの選択時に用いられる条件で用いられる値を用いる
    ことを特徴とする推定結果表示システム。
  16. 前記表示手段は、推定結果を表すシンボルを所定の順に並べた第1のグラフとともに、推定結果に対応する学習モデルを表すシンボルを前記所定の順に並べた第2のグラフを表示することによって、推定結果の経時変化および学習モデルの経時変化を表示する
    請求項15に記載の推定結果表示システム。
  17. 前記表示手段は、推定結果を表すシンボルを所定の順に並べたグラフであって、推定結果に対応する学習モデルに応じてシンボルの種別を変えたグラフを表示することによって、推定結果の経時変化および学習モデルの経時変化を表示する
    請求項15に記載の推定結果表示システム。
  18. 前記表示手段は、推定結果を表すシンボルを所定の順に並べたグラフを表示するとともに、シンボルが示す推定結果に対応する学習モデルに応じて前記グラフ内の領域を区分して表示することによって、推定結果の経時変化および学習モデルの経時変化を表示する
    請求項15に記載の推定結果表示システム。
  19. 一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、前記学習モデルによって導出された推定結果とが対応付けられた情報の入力を受け付け、
    前記推定結果に、前記推定結果を導出するのに用いられた前記学習モデルを表す情報、および、当該学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を、関連付けて表示する
    ことを特徴とする推定結果表示方法。
  20. 一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、前記学習モデルによって導出された推定結果と、前記推定用データとが対応付けられた情報の入力を受け付け、
    推定結果の経時変化および学習モデルの経時変化を表示するとともに、前記推定用データ内の属性の経時変化を示すグラフを表示し、
    前記グラフとして、属性の値の範囲に応じて異なる態様を表すグラフを表示し、
    属性の値の範囲の複数の境界値の1つとして、学習モデルの選択時に用いられる条件で用いられる値を用いる
    ことを特徴とする推定結果表示方法。
  21. 一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、前記学習モデルによって導出された推定結果とが対応付けられた情報が入力される入力手段を備えるコンピュータに搭載される推定結果表示プログラムであって、
    前記コンピュータに、
    前記推定結果に、前記推定結果を導出するのに用いられた前記学習モデルを表す情報、および、当該学習モデルが選択されたときに推定用データ内の属性が満たしているか否かの判定対象となっていた条件を、関連付けて表示する表示処理
    を実行させるための推定結果表示プログラム。
  22. 一種類以上の属性を含む推定用データ内の属性が一種類以上の条件を満たしているか否かの判定結果に応じて選択された学習モデルを表す情報と、前記学習モデルによって導出された推定結果と、前記推定用データとが対応付けられた情報が入力される入力手段を備えるコンピュータに搭載される推定結果表示プログラムであって、
    前記コンピュータに、
    推定結果の経時変化および学習モデルの経時変化を表示するとともに、前記推定用データ内の属性の経時変化を示すグラフを表示する表示処理を実行させ、
    前記表示処理で、前記グラフとして、属性の値の範囲に応じて異なる態様を表すグラフを表示させ、
    属性の値の範囲の複数の境界値の1つとして、学習モデルの選択時に用いられる条件で用いられる値を用いさせる
    ための推定結果表示プログラム。
JP2016556179A 2014-10-28 2015-04-30 推定結果表示システム、推定結果表示方法および推定結果表示プログラム Active JP6565925B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014219564 2014-10-28
JP2014219564 2014-10-28
PCT/JP2015/002296 WO2016067483A1 (ja) 2014-10-28 2015-04-30 推定結果表示システム、推定結果表示方法および推定結果表示プログラム

Publications (2)

Publication Number Publication Date
JPWO2016067483A1 JPWO2016067483A1 (ja) 2017-09-14
JP6565925B2 true JP6565925B2 (ja) 2019-08-28

Family

ID=55856859

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016556179A Active JP6565925B2 (ja) 2014-10-28 2015-04-30 推定結果表示システム、推定結果表示方法および推定結果表示プログラム

Country Status (4)

Country Link
US (1) US10867251B2 (ja)
EP (1) EP3214585A4 (ja)
JP (1) JP6565925B2 (ja)
WO (1) WO2016067483A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018045360A (ja) * 2016-09-13 2018-03-22 アズビル株式会社 ヒートマップ表示装置およびヒートマップ表示方法
WO2018117662A1 (en) 2016-12-22 2018-06-28 Samsung Electronics Co., Ltd. Apparatus and method for processing image
WO2018131311A1 (ja) * 2017-01-10 2018-07-19 日本電気株式会社 センシングシステム、センサノード装置、センサ測定値処理方法及びプログラム
WO2019026703A1 (ja) * 2017-07-31 2019-02-07 株式会社エイシング 学習済モデル統合方法、装置、プログラム、icチップ、及びシステム
WO2020105161A1 (ja) * 2018-11-22 2020-05-28 株式会社ウフル エッジデバイス機械学習モデル切替システム、エッジデバイス機械学習モデル切替方法、プログラム、及びエッジデバイス
JP7411977B2 (ja) * 2019-07-05 2024-01-12 国立研究開発法人物質・材料研究機構 機械学習支援方法及び機械学習支援装置
JP7309533B2 (ja) 2019-09-06 2023-07-18 株式会社日立製作所 モデル改善支援システム
JP7463075B2 (ja) * 2019-10-23 2024-04-08 株式会社東芝 末端圧力制御支援装置、末端圧力制御支援方法及びコンピュータプログラム
WO2021095693A1 (ja) * 2019-11-14 2021-05-20 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4017272B2 (ja) 1998-12-16 2007-12-05 中国電力株式会社 プラント状態推定・予測装置及び方法
JP2005135287A (ja) * 2003-10-31 2005-05-26 National Agriculture & Bio-Oriented Research Organization 予測装置、予測方法および予測プログラム
KR100660861B1 (ko) 2005-02-23 2006-12-26 삼성전자주식회사 반도체 공정 결과를 예측하고 제어하는 반도체 공정 제어장치
US8176096B2 (en) * 2008-12-18 2012-05-08 Microsoft Corporation Data visualization interactivity architecture
JP5851857B2 (ja) * 2012-01-20 2016-02-03 アズビル株式会社 グラフ表示装置
JP2013196037A (ja) * 2012-03-15 2013-09-30 Hitachi Ltd 需要予測システム及び需要予測方法
US8909582B2 (en) 2013-02-04 2014-12-09 Nec Corporation Hierarchical latent variable model estimation device, hierarchical latent variable model estimation method, and recording medium
JP5408380B1 (ja) * 2013-06-17 2014-02-05 富士ゼロックス株式会社 情報処理プログラム及び情報処理装置
US10452992B2 (en) * 2014-06-30 2019-10-22 Amazon Technologies, Inc. Interactive interfaces for machine learning model evaluations
US10102480B2 (en) * 2014-06-30 2018-10-16 Amazon Technologies, Inc. Machine learning service

Also Published As

Publication number Publication date
WO2016067483A1 (ja) 2016-05-06
US10867251B2 (en) 2020-12-15
JPWO2016067483A1 (ja) 2017-09-14
US20180330262A1 (en) 2018-11-15
EP3214585A1 (en) 2017-09-06
EP3214585A4 (en) 2018-06-13

Similar Documents

Publication Publication Date Title
JP6565925B2 (ja) 推定結果表示システム、推定結果表示方法および推定結果表示プログラム
CN104457772B (zh) 用于对数字化地图数据进行修正的技术
CN105589875B (zh) 一种多轨迹绘制的方法及装置
CN103186710B (zh) 最优路径搜索方法及系统
JP6565924B2 (ja) 推定結果表示システム、推定結果表示方法および推定結果表示プログラム
JP6091407B2 (ja) ジェスチャ登録装置
CN103473388A (zh) 实现流程图自动布局的系统及装置
JPWO2018052015A1 (ja) システムの分析支援装置、システムの分析支援方法及びプログラム
KR102562994B1 (ko) 차량 주행 경로 지도 생성 방법, 장치 및 컴퓨터프로그램
CN103995771B (zh) 任务进度展示方法及系统
CN104007920A (zh) 在电子测试装备上选择波形的方法
JP6160622B2 (ja) 配置スコア算出システム、方法およびプログラム
JP7165108B2 (ja) 作業訓練システム及び作業訓練支援方法
JP5620355B2 (ja) 測定装置
WO2016132684A1 (ja) 影響度可視化システム、方法およびプログラム
JP6268322B1 (ja) 学習データ精度可視化システム、学習データ精度可視化方法、及びプログラム
CN106503070B (zh) 一种发动机试验数据三维瀑布图重建方法
CN102640099A (zh) 对象处理装置和对象选择方法
JP5735939B2 (ja) 地図表示装置、地図表示方法及び地図表示プログラム
WO2015159377A1 (ja) 設計支援装置
JP5944692B2 (ja) 地図表示装置、地図表示方法およびプログラム
KR101370830B1 (ko) 사용자 인터페이스 구현 시스템 및 구현 방법
KR101452927B1 (ko) 최적화된 케이블 포설경로 검출방법 및 장치
JP6165001B2 (ja) 波形描画装置及び波形描画プログラム
KR20200128236A (ko) 머신 러닝 기반의 자동 위젯 적용 장치 및 방법

Legal Events

Date Code Title Description
A529 Written submission of copy of amendment under article 34 pct

Free format text: JAPANESE INTERMEDIATE CODE: A5211

Effective date: 20170427

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180305

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190715

R150 Certificate of patent or registration of utility model

Ref document number: 6565925

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150