JP7140410B2 - 予測システム、予測方法および予測プログラム - Google Patents

予測システム、予測方法および予測プログラム Download PDF

Info

Publication number
JP7140410B2
JP7140410B2 JP2020509617A JP2020509617A JP7140410B2 JP 7140410 B2 JP7140410 B2 JP 7140410B2 JP 2020509617 A JP2020509617 A JP 2020509617A JP 2020509617 A JP2020509617 A JP 2020509617A JP 7140410 B2 JP7140410 B2 JP 7140410B2
Authority
JP
Japan
Prior art keywords
prediction
model
series data
predicted value
irrelevance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020509617A
Other languages
English (en)
Other versions
JPWO2019187341A1 (ja
Inventor
浩嗣 玉野
敦 谷口
勝代 清家
博典 田中
俊宗 田尻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solutions Innovators Ltd
Original Assignee
NEC Solutions Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solutions Innovators Ltd filed Critical NEC Solutions Innovators Ltd
Publication of JPWO2019187341A1 publication Critical patent/JPWO2019187341A1/ja
Application granted granted Critical
Publication of JP7140410B2 publication Critical patent/JP7140410B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/15—Correlation function computation including computation of convolution operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Operations Research (AREA)
  • Tourism & Hospitality (AREA)
  • Pure & Applied Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Game Theory and Decision Science (AREA)
  • Public Health (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Description

本発明は、時間の経過にともなって値が変化する推移グラフ等における系列データの妥当性を判断するための指標算出装置、それを用いた予測システムに関する。また、本発明は、時間の経過にともなって値が変化する変数の２以上の時点における予測値を含む経過予測の妥当性を評価する経過予測評価方法および経過予測評価プログラムに関する。
例えば、健康診断等で測られる従業員等の検査値やそれに基づく生活習慣病の発症確率等の経年変化を予測して、従業員の各々に健康に関するアドバイスをすることを考える。具体的には、過去の健康診断結果やそのときの生活習慣を示すデータを基に、今の生活習慣を３年間続けた場合の将来の状態（検査値の経年変化や発症確率等）を予測して、産業医、保険師等が生活習慣の見直し等を提案（保健指導）したり、従業員自身がセルフチェックしたりすることを考える。
その場合、予測値の推移を得るための方法として次の方法が考えられる。まず、過去のデータから１年先の予測値を得る予測モデルを学習する。例えば、過去の予測対象の実績値（検査値）と対応づけて、それと相関し得るさらに過去の検査値や予測対象者の属性（年齢等）やそのときの生活習慣などを示す訓練データを用いて、１年後の予想対象項目を目的変数とし、それに相関し得る他の項目を説明変数とする予測モデルを学習する。そして、得られた予測モデルに対して、予測対象の値を得る時点（予測時点）を変えながら説明変数を入力して１年先の予測値を得る処理を、数年分繰り返す。このとき、説明変数のうち生活習慣に関する項目を一定とすることで、今の生活習慣を３年間続けた場合の予測値の推移を得ることができる。
このような予測値の推移に基づいて保健指導やセルフチェックを行えば、より効果的かつ効率的な、指導対象者や自身の不調予防・健康増進およびそのための行動変容が見込まれる。
健康予測や健康支援に関する技術として、非特許文献１には、健康診断の成績とライフスタイルを元に健康危険度を予知する健康危険度予測システムの例が記載されている。非特許文献１に記載の健康危険度予測システムは、検査値予測システムと、発症予測システムの２つのサブシステムを含む。検査値予測システムは、現時点で軽度の検査異常を伴っていてかつライフスタイルに問題がある人を対象に、ライフスタイルの改善に伴う検査成績の改善度合いを示すものである。また、発症予想システムは、現時点で検査異常を伴わないがライフスタイルに偏りがある人を対象に、望ましくないライフスタイルを継続した場合とライフスタイルを改善した場合の疾病発症率を予測するものである。非特許文献１によれば、いずれのサブシステムによる健康支援も医療従事者と受診者との間でインタラクティブに行われ、受診者は自分の行動変容の効果を認識することができるとされている。
しかし、単純に予測モデルを用いてこのような仮定における将来の予測値の推移を得る場合、得られる予測値の推移が一般的な知見とは異なる変化を示す場合があった。
予測値の検証に関して、例えば、特許文献１には、需要予測モデルの評価方法が記載されている。特許文献１に記載の方法は、需要予測モデルの評価期間における需要実績値と需要予測値を取り込み、製品の供給サイクルごとに需要実績値と需要予測値との乖離値を算出し、算出された乖離値に基づいて需要予測モデルを評価する。
特開平１０－２２８４６３号公報
高橋 英孝、吉田 勝美、「ライフスタイル改善のためのＨＲＡ（健康危険度予測システム）」、日本人間ドック学会誌（ＪＨＤ）Ｖｏｌ．１１ Ｎｏ．４ １９９７年、ｐ．１２３－１２８．
しかし、非特許文献１に記載の予測システムでは、予測値の推移の妥当性について、何ら考慮されていない。
また、特許文献１に記載の方法は、実績値を用いて過去の予測値の総合評価を行うものであり、少なくとも予測をおこなった時点での実績値が得られることを前提としている。しかし、上記のような仮定を用いて将来の複数時点の値を予測する経過予測では、その時点において仮定した条件が全て合致するとは限らない。すなわち、予測時の条件と全て合致した実績値が必ずしも得られない。また、予測結果を表示する前にその妥当性を自動で判断する用途等には、実績値を得た後に判断を行う特許文献１の方法は適用できない。
なお、似た属性をもつ他の人の過去の実績値から同じ条件のものを探して実績値の代わりにすることも考えられる。しかし、全ての対象者について、過去の検査値と仮定した条件とを含む多くの説明変数の値が全ての予測時点で合致するものが見つかるとは限らない。そもそも個体差が生じやすい検査値を予測する上記の経過予測において、ごく少数の個別的な実績値を基に仮の条件での将来の予測値の推移の妥当性を判断しても、精度のよい判断結果を得ることは困難である。
課題は、仮定の条件に基づいて得られる予測値の推移の妥当性を判断できる客観的な指標がなく、予測結果が妥当であるか否かや、妥当でない場合にどれくらい妥当でないかを自動で判断するのが困難な点である。なお、ここで「妥当でない」とは、少なくとも予測値を扱う人（上記の例でいえば、保健指導を行う産業医、保険師等や、セルフチェックを行う本人等）の知見において不確か（説明不能）なことをいう。
例えば、生活習慣に関する説明変数を一定にしたときの生活習慣病の発症確率やそれに関連する検査値を予測して得られた予測値の推移を基にアドバイスを行うことを考える。
一般的な感覚によれば、生活習慣を一定にすると、例えば図１３（ａ）に示すように、生活習慣病の発症確率やそれに関連する検査値の推移は何かの値に漸近していくのが自然である。
しかし、単に、所定の予測時間単位における１つ先の時点（例えば、１年後）の予測値を予測する予測モデルを繰り返し適用して経過予測をした場合、生活習慣を一定にしているにも関わらず、図１３（ｂ）に示すように、ある年では上向きに変化し、別のある年では下向きに変化するなど、変化の向き（プラスかマイナスか）が定まらずに乱高下するようなガタついたグラフ形状となる予測結果が示される可能性がある。このような予測結果を基に、生活習慣の改善のアドバイスをしようとしても、アドバイスをする側・受ける側の双方において違和感が生じてしまうため、アドバイスの根拠として使用できないという問題がある。
例えば上記の健康シミュレーションのように、過去の健康診断結果やそのときの生活習慣を示すデータを基に経過予測を行った結果を基に、産業医、保険師等が生活習慣の見直し等を提案（保健指導）したり、従業員自身がセルフチェックしたりすることを考えた場合、予測機構としては、いかに上記のような解釈できないような予測結果が出力されることを防止するかが重要となる。
そのためには、仮定の条件に基づいて得られる予測値を含む系列データを得た際に、実績値を待たずに、得られた系列データで示される予測値の推移が妥当であるか否か、または妥当でない場合にはどれくらい妥当でないかを表す客観的な指標が得られることが望ましい。
例えば、予測結果の出力判断をドメインエキスパートによる目視で行う方法では、コストがかかるだけでなく、出力までに時間がかかるという問題がある。また、いくつかある予測モデルの候補の中から上記のような解釈できないモデルを選択する場合においても、ドメインエキスパートによる目視で行う方法では同様の問題がある。
本発明は、上述した課題に鑑みて、仮定の条件に基づいて得られる予測値を含む系列データの非妥当性を自動で判断できる指標算出装置、予測システム、経過予測評価方法および経過予測評価プログラムを提供することを目的とする。
また、本発明による予測システムは、所定の予測対象項目について、学習済みの予測モデルを用いて所定の予測時点における予測値を得るとともに、得られた予測値を含む系列データであって時間と対応づけて予測対象項目の値を示す３つ以上のデータであってそのうちの少なくとも１つが予測値を示すデータを含む系列データを生成する予測手段と、系列データの非妥当性を示す指標である非妥当性スコアであって、系列データを所定の関数形にフィッティングして得られる曲線モデルと系列データとの誤差に基づく非妥当性スコアを算出する非妥当性スコア算出手段と、非妥当性スコアに基づいて、系列データ、系列データに含まれる予測値または予測値を得た予測モデルを評価する評価手段と、所定の予測対象項目について、複数のモデル候補を学習するモデル学習手段とを備え、予測手段が、複数のモデル候補の各々を用いて予測値を得るとともに、複数のモデル候補ごとに、得られた予測値を含む系列データを生成し、非妥当性スコア算出手段が、複数のモデル候補ごとの系列データに対して非妥当性スコアを算出し、評価手段が、複数のモデル候補に対して評価を行い、その評価結果に基づいて複数のモデル候補の中から予測対象項目の予測値を得るモデルを選択することを特徴とする。
また、本発明による予測方法は、コンピュータが、所定の予測対象項目について、学習済みの予測モデルを用いて所定の予測時点における予測値を得るとともに、得られた予測値を含む系列データであって時間と対応づけて予測対象項目の値を示す３つ以上のデータであってそのうちの少なくとも１つが予測値を示すデータを含む系列データを生成する予測処理と、系列データの非妥当性を示す指標である非妥当性スコアであって、系列データを所定の関数形にフィッティングして得られる曲線モデルと系列データとの誤差に基づく非妥当性スコアを算出する非妥当性スコア算出処理と、系列データ、系列データに含まれる予測値または予測値を得た予測モデルに対して、非妥当性スコアに基づく評価を行う評価処理と、所定の予測対象項目について、複数のモデル候補を学習するモデル学習処理とを実行し、予測処理で、複数のモデル候補の各々を用いて予測値を得るとともに、複数のモデル候補ごとに、得られた予測値を含む系列データを生成し、非妥当性スコア算出処理で、複数のモデル候補ごとの系列データに対して非妥当性スコアを算出し、評価処理で、複数のモデル候補に対して評価を行い、その評価結果に基づいて複数のモデル候補の中から予測対象項目の予測値を得るモデルを選択することを特徴とする。
また、本発明による予測プログラムは、コンピュータに、所定の予測対象項目について、学習済みの予測モデルを用いて所定の予測時点における予測値を得るとともに、得られた予測値を含む系列データであって時間と対応づけて予測対象項目の値を示す３つ以上のデータであってそのうちの少なくとも１つが予測値を示すデータを含む系列データを生成する予測処理、系列データの非妥当性を示す指標である非妥当性スコアであって、系列データを所定の関数形にフィッティングして得られる曲線モデルと系列データとの誤差に基づく非妥当性スコアを算出する非妥当性スコア算出処理、系列データ、系列データに含まれる予測値または予測値を得た予測モデルに対して、非妥当性スコアに基づく評価を行う評価処理、および、所定の予測対象項目について、複数のモデル候補を学習するモデル学習処理を実行させ、予測処理で、複数のモデル候補の各々を用いて予測値を得るとともに、複数のモデル候補ごとに、得られた予測値を含む系列データを生成させ、非妥当性スコア算出処理で、複数のモデル候補ごとの系列データに対して非妥当性スコアを算出させ、評価処理で、複数のモデル候補に対して評価を行わせ、その評価結果に基づいて複数のモデル候補の中から予測対象項目の予測値を得るモデルを選択させることを特徴とする。
本発明によれば、仮定の条件に基づいて得られる予測値を含む系列データの非妥当性を自動で判断できる。
第１の実施形態の指標算出装置の構成例を示すブロック図である。 非妥当性スコアの概要を示す説明図である。 系列データのグラフ表示の例を示す説明図である。 ｘ＿ｓｃａｌｅの算出方法の概略を示す説明図である。 第１の実施形態の指標算出装置の動作の一例を示すフローチャートである。 第２の実施形態の予測システムの構成例を示すブロック図である。 第２の実施形態の予測システムの動作の一例を示すフローチャートである。 第３の実施形態の予測システムの構成例を示すブロック図である。 第３の実施形態の予測システムの動作例を示すフローチャートである。 本発明の実施形態にかかるコンピュータの構成例を示す概略ブロック図である。 本発明の指標算出装置の概要を示すブロック図である。 本発明の予測システムの概要を示すブロック図である。 予測値の推移例を示すグラフである。
実施形態１．
以下、図面を参照して本発明の実施形態について説明する。図１は、本実施形態の指標算出装置の構成例を示すブロック図である。図１に示す指標算出装置１０は、スコア算出部１１を備える。
スコア算出部１１は、時間と対応づけて予測対象項目の値を示す３つ以上のデータであってそのうちの少なくとも１つが予測値を示すデータを含む系列データを入力とし、その系列データの非妥当性を表す指標である非妥当性スコアを算出して出力する。
以下では、非妥当性スコアを、入力された系列データが所定の漸近モデルとどれだけ離れているかを示す指標として算出する。
既に説明したように、ある生活習慣を継続したときの検査値の予測値は何かの値に漸近するのが自然である。そこで、スコア算出部１１は、入力された系列データと所定の漸近モデルとの誤差に基づいて、入力された予測値系列の説明不能度合い（非妥当性スコア）を算出する（図２参照）。なお、図２は、非妥当性スコアの概要を示す説明図であり、図２（ａ）は非妥当性ココアが小さい場合の例、図２（ｂ）は非妥当性ココアが大きい場合の例である。なお、図２において網かけの領域はその検査値の正常範囲を表している。
ここで、漸近モデルは、時間をＸ軸、予測項目をＹ軸としたとき、Ｘ軸と平行な漸近線が存在する曲線を表す曲線モデル、より具体的には、ｘ→∞のときｙ（ｘ）がある値に収束する関数で表される曲線モデルをいう。ここで、ｘは、系列データにおいて各データが対応する時間軸上の点（座標）を表し、ｙ（ｘ）はｘ時点における予測項目値を表す。なお、漸近モデルは、以下の式（１）で表される条件を少なくとも満たす関数で表される曲線モデルであってもよい。ここで、ａは任意の定数である。なお、存在する漸近線は１つに限らず、例えば、ロジスティック関数や逆正接関数と呼ばれる関数のように２つの漸近線が存在する関数で表されるものも含む。
Figure 0007140410000001
スコア算出部１１は、漸近モデルとして、予め定めた１つの関数形で表される曲線モデルを用いることもできるが、例えば、入力された系列データを、上記の条件を満たす所定の２以上の関数形にフィッティングして得られるモデルを用いてもよい。
フィッティングは、例えば、以下の式（２）に示すような予め定められた損失関数を最小化するモデルパラメータθの解（ハット付きθ）を探索することによって行ってもよい。
Figure 0007140410000002
式（２）において、ｎはフィッティングを行う値の時点を表し、ｌｏｓｓ（）は誤差関数を表し、ｆ（）はフィッティング先の関数形を表す。なお、ｆ（ｘｎ，θ）で、その関数形ｆ（）に任意の時点ｘｎと１組のモデルパラメータθとを与えたときの出力を表し、ｆ（ｘｎ，＾θ）で、フィッティングにより得られた漸近モデルにおける任意の時点ｘｎの出力を表す。式（２）に示す例では、誤差関数として二乗損失を用いているが、誤差関数は二乗損失に限らない。
スコア算出部１１は、例えば、このようにして得られた漸近モデルと、入力された予測値の系列データとの誤差を算出し、非妥当性スコアとして出力してもよい。
スコア算出部１１は、例えば、以下の式（３）で示される誤差値（error）を非妥当性スコアとして出力してもよい。
Figure 0007140410000003
スコア算出部１１は、フィッティングに用いるデータと、誤差の算出に用いるデータとを独立に指定してもよい。なお、スコア算出部１１は、それらの指定をユーザから受け付けることも可能である。このとき、フィッティングに用いるデータ（第１グループに属するデータ）と、誤差の算出に用いるデータ（第２グループに属するデータ）とは完全に一致していなくてもよい。
一例として、Ｎ個のデータを含む系列データが入力された場合に、フィッティングを前半のＮ’（ただしＮ’＜Ｎ）個のデータを用いて行い、誤差の計算を残りのデータ（Ｎ－Ｎ’個）や全てのデータ（Ｎ個）の値を用いて行ってもよい。また、他の例として、フィッティングを１番目、３番目、５番目のデータなど系列データにおいて連続していない時点のデータを用いて行い、誤差の計算を全てのデータを用いて行う、なども可能である。
例えば、５個のデータを含む系列データが入力された場合に、スコア算出部１１は、例えば次のようにしてフィッティングおよび誤差の計算を行ってもよい。
［フィッティングと誤差計算のパターン例］
・前半３個のデータでフィッティングを行い、後半２個のデータで誤差を計算する。
・前半３個のデータでフィッティングを行い、全てのデータで誤差を計算する。
・前から１、３、５番目のデータでフィッティングを行い、全てのデータで誤差を計算する。
ここで、スコア算出部１１に入力される系列データに含まれるデータ数（予測値の数）Ｎｐは特に限定されないが、少なくとも１つは含まれるものとする。なお、実際は、系列データに、経過予測を行った時点数分の予測値を示すデータが少なくとも含まれることが好ましい。なお、系列データは、過去の実績値を示すデータを含んでいてもよく、その場合、上記のＮは、過去の実績値を示すデータを含めた総データ数を表すものとする。なお、Ｎは３以上を前提とするが、フィッティング精度の観点からは、例えば４以上がより好ましい。
なお、系列データに実績値を示すデータが含まれている場合は、誤差の計算を、予測値を示すデータのみを用いて行ってもよい。
また、スコア算出部１１は、フィッティングを行う前に、Ｘ軸の値であるｘ座標（各予測項目の値が対応する時間を表す値）をリスケールしてもよい。図３（ａ）に示すように、系列データをグラフ表示する際、縦軸（Ｙ軸：予測値）の目盛の単位が５０、横軸（Ｘ軸：時間）の目盛の単位が１など、縦軸と横軸とで数値の単位（目盛の幅）が大きく異なることが考えられる。その場合、そのままの数値を用いてフィッティングしても、見た人が期待するような漸近モデルが得られない。これは、図３（ｂ）に示すように、Ｘ軸とＹ軸とで尺度が大きく異なる値を等間隔でグラフ表示したときのグラフ形状でフィッティングが行われるために、実際に表示させたときに妥当なグラフ形状とされる曲線とは異なる形状の曲線にフィッティングされてしまうためである。
このような不都合を解消するために、図３（ｂ）に示すように、実際の表示に合わせて、系列データに含まれる各データに対応づけられている時間の値（ｘ座標）をリスケールした上でフィッティングを行うのが好ましい。
例えば、スコア算出部１１は、入力された系列データを表示するグラフの目盛設定等の表示に関するパラメータ（表示パラメータ）が得られる場合には、Ｘ軸の主目盛の幅がＹ軸の主目盛の幅と同じ単位（図３（ｃ）の例でいうと、５０単位）になるように、ｘ座標を変換してもよい。この場合、Ｘ軸の主目盛の幅の単位＝１に対して、Ｙ軸の主目盛の幅の単位＝５０（５０倍）となっているため、ｘ座標も５０倍とする。以下、このようなｘ軸のリスケール時の倍率を、リスケールパラメータｘ＿ｓｃａｌｅという場合がある。
また、スコア算出部１１は、リスケールパラメータｘ＿ｓｃａｌｅを次のようにして求めることも可能である。スコア算出部１１は、系列データとともに、その系列データを表示する際のパラメータである表示パラメータを入力し、系列データから得られる情報と、該表示パラメータとに基づいて、リスケールパラメータｘｓｃａｌｅを計算することも可能である。
以下の式（４）は、リスケールパラメータｘ＿ｓｃａｌｅの算出式の一例である。式（４）において、ｙｍａｘ，ｙｍｉｍは系列データに含まれる予測項目の最大値，最小値を表す。また、Ｎｄは系列データに含まれるデータ数（表示させる予測項目の点数）を表す。また、Ａｒはその系列データの表示グラフの縦横比Ａｒ（すなわち縦幅に対する横幅の比率）を表す。なお、式（４）において、０．８は縦方向の表示比率、０．９は横方向の表示比率を表しているが、これらの値は適宜調整される。
ｘ＿ｓｃａｌｅ＝（（ｙｍａｘ－ｙｍｉｎ）／０．８＊Ａｒ＊０．９）／（Ｎｄ－１））
・・・（４）
式（４）に示す例では、ｙｍａｘ，ｙｍｉｍおよびＮｄが系列データから得られる情報に相当し、Ａｒ、縦方向の表示比率および横方向の表示比率が表示パラメータに相当する。
また、図４は、式（４）で示したｘ＿ｓｃａｌｅの算出方法の概略を示す説明図である。例えば、縦横比が１：２（Ａｒ＝２）、枠内に５点を表示する場合、ｘ＿ｓｃａｌｅは次のように算出される。
ｘ＿ｓｃａｌｅ＝（（ｙｍａｘ－ｙｍｉｎ）／０．８＊２＊０．９）／４）
上記の例では、系列データに含まれる各データに対応づけられている時間の単位が予測単位（すなわち予測時点が１つ増えるごとに１増える数）であることを前提として、ｘ＿ｓｃａｌｅを、ｙ軸の単位で表現した各データのｘ方向の間隔を表す指標として算出している。したがって、系列データにおける時間の単位が予測単位時間以外の場合や、表示する際のｘ方向の間隔の単位が１以外の場合には、各データに対応づけられているｘ座標を予測単位時間やｘ方向の間隔の単位で割ってｘ軸の単位を１とした上で、ｘ＿ｓｃａｌｅ倍すればよい。
なお、スコア算出部１１は、ｘ＿ｓｃａｌｅの指定を受けつけることも可能である。例えば、スコア算出部１１は、系列データとともに、ｘ＿ｓｃａｌｅを入力してもよい。なお、スコア算出部１１は、系列データとともに、上述したような表示パラメータを入力してｘ＿ｓｃａｌｅを算出することも可能である。
次に、本実施形態の動作を説明する。図５は、第１の実施形態の指標算出装置の動作の一例を示すフローチャートである。
図５に示す例では、まず、スコア算出部１１が、評価対象とする系列データを入力する（ステップＳ１０１）。
次いで、スコア算出部１１は、リスケールパラメータｘ＿ｓｃａｌｅを取得する（ステップＳ１０２）。ｘ＿ｓｃａｌｅは、系列データとともに入力されてもよいし、上述したような表示パラメータを基に算出してもよい。
次いで、スコア算出部１１は、取得したリスケールパラメータｘ＿ｓｃａｌｅに基づいて、系列データに含まれる各データに対応づけられている時間の値（ｘ座標）に対してリスケールを実施する（ステップＳ１０３）。
次いで、スコア算出部１１は、リスケール済みの系列データを用いて、漸近モデルを学習する（ステップＳ１０４）。
次いで、スコア算出部１１は、リスケール済みの系列データと学習された漸近モデルの誤差を算出する（ステップＳ１０５）。ここでは、誤差として、系列データのうち指定された各時点についての誤差関数ｌｏｓｓ（）の出力の和を求める。
最後に、スコア算出部１１は、算出された誤差に基づいて、非妥当性スコアを出力する（ステップＳ１０６）。スコア算出部１１は、誤差をそのまま非妥当性スコアとして出力してもよいし、例えば、算出された誤差から各時点における平均（時点平均）や、所定区間（例えば、３時点区間）における平均（区間平均）を算出し、それを非妥当性スコアとして出力してもよい。
以上のように、本実施形態によれば、実績値を用いなくても、入力された系列データの非妥当性を判断できる客観的な指標である非妥当性スコアを出力することができる。このため、本実施形態により出力される非妥当性スコアを利用すれば、仮定の条件に基づいて得られる予測値を含む系列データの非妥当性を自動で判断できる。
実施形態２．
次に、第２の実施形態について説明する。本実施形態では、第１の実施形態の指標算出装置１０の利用例の１つとして、モデル選択機能を有する予測システムについて説明する。図６は、本実施形態の予測システムの構成例を示すブロック図である。図６に示す予測システム１００は、モデル学習部１０１と、データ記憶部１０２と、予測部１０３と、モデル選択部１０４と、スコア算出部１１とを備える。
なお、図６に示す例は、モデル学習部１０１とデータ記憶部１０２とを備える予測システム１００に対して、モデル選択部１０４と予測部１０３とスコア算出部１１とを含むモデル自動選択装置２０を新たに追加した例である。ただし、予測システム１００において、モデル選択部１０４、予測部１０３およびスコア算出部１１は、必ずしも１つの装置に実装される構成に限定されない。
モデル学習部１０１は、ある検査項目の値など、所定の予測対象項目の値を予測する予測モデルの候補とされる複数のモデル候補を学習する。モデル学習部１０１は、例えば、指定された予測対象項目の値を予測する予測モデルの候補として、説明変数の組み合わせや制約条件や各種モデルパラメータが異なる複数のモデル候補を学習してもよい。
データ記憶部１０２は、モデル学習部１０１でモデル学習に用いる学習用データや、モデル学習部１０１で学習された予測モデル候補の情報を記憶する。
また、データ記憶部１０２は、さらに、学習済みの複数のモデル候補の各々から予測値を得るために各モデル候補に入力するデータであって、各モデル候補に用いられる説明変数のデータセットである予測用データを記憶する。なお、予測用データにより得られる予測値の用途等は特に限定されない。例えば、予測用データは、予測モデル候補を検証するための検証用データであってもよいし、実際の利用者の将来の検査値等、予測システムの運用中において実際に利用される予測値を得るための予測対象データ（例えば、実際の利用者の過去の検査値と生活習慣に関する１つ以上の問診項目の値とを含む説明変数のデータセット等）であってもよい。
予測部１０３は、学習済みの複数のモデル候補の各々と、データ記憶部１０２に記憶されている予測用データとを用いて経過予測を行い、モデル候補ごとに予測対象項目の系列データを生成する。
ここで、経過予測とは、少なくとも実績値を有する時点である所定の基準点から所定の予測時間単位における２以上の時点を含む期間であってそのうちの少なくとも１つの時点が予測時点とされる期間を評価対象期間として、該評価対象期間に含まれる各予測時点における予測値を得ることをいう。なお、予測時間単位は、１年ごとに予測値を得る予測モデルであれば「１年」とされるなど、予め予測モデルまたは予測モデル候補に定められている予測値を出力可能な標準的な時間間隔であればよい。
例えば、予測部１０３は、学習済みの複数のモデル候補の各々にデータ記憶部１０２に記憶されている予測用データを適用して、所定の評価対象期間に含まれる各予測時点の予測値を得る。そして、予測部１０３は、モデル候補ごとに、得られた予測値を示すデータと併せて、時間と対応づけて予測対象項目の値を示す３つ以上のデータを含む系列データを生成してもよい。
予測部１０３は、経過予測を行う際、予測用データに含まれる説明変数のうちの一部の値を一定とする条件下で各モデル候補に予測用データを適用し、各予測時点の予測値を得て、得られた予測値を含む系列データを生成する。予測部１０３は、例えば、所定の検査値を予測するモデル候補の各々に対して、生活習慣に関する項目を一定にした予測用データを適用し、予測結果として各予測時点の予測値（検査値）を得てもよい。その場合、得られた各予測時点の予測値（検査値）を含む系列データを生成する。系列データには、予測に用いた実測値が含まれていてもよい。
スコア算出部１１は、予測部１０３によって予測モデル候補ごとに予測結果として取得された系列データを入力とし、各系列データに対して非妥当性スコアを算出する。
モデル選択部１０４は、スコア算出部１１によって算出された各系列データに対する非妥当性スコアに基づいて、複数の予測モデル候補の中から予測値を得る予測モデルを選択する。モデル選択部１０４は、例えば、非妥当性スコアが最も低いモデルを選択してもよい。なお、モデル選択部１０４が選択する予測モデルの数は１つに限定されず、例えば、モデル選択部１０４は、例えば、非妥当性スコアが低い順から所定数の予測モデルを選択してもよいし、非妥当性スコアが所定の閾値以下のモデルを全て選択することも可能である。
また、モデル選択部１０４は、１つの予測モデル（この場合、予測モデル候補）から複数の系列データ（例えば、複数の予測サンプルに対応した系列データ）が得られた場合には、それら複数の系列データに対する非妥当性スコアを総合してモデルを選択することも可能である。その場合において、モデル選択部１０４は、例えば、次の方法によりモデルを選択してもよい。
（１）モデルごとに非妥当性スコアが与えられた閾値より大きいサンプル数（系列データ）を不良サンプル数としてカウントし、不良サンプル数が少ない順に所定数（１つでも複数でも可）のモデルを選択する。
（２）モデルごとに複数の系列データに対する非妥当性スコアの総和をとり、その値が小さい順に所定数のモデルを選択する。
（３）モデルごとに複数の系列データに対する非妥当性スコアの最大値をとり、その値が小さい順に所定数のモデルを選択する。
また、モデル選択部１０４は、予測モデルを選択する際、各系列データの非妥当性スコアと、各系列データに含まれる予測値を生成した予測モデル（本例であれば、複数の予測モデル候補）の予測精度とに基づいて、複数の予測モデル候補の中から予測値を得る予測モデルを選択することも可能である。グラフ形状に関する評価（非妥当性スコア）だけでなく、予測精度に関する評価を加えることで、予測精度と不良サンプル数のバランスが良好なモデルを選択できる。
モデル選択部１０４は、例えば、所定の検証用データ（例えば、目的変数の値が既知の説明変数の組合せからなるデータ集合）を、評価対象とされる予測モデルの各々に適用し、得られた予測値と目標値との差分を基に、予測精度（例えば、平均二乗誤差平方根（ＲＭＳＥ）や相関係数など）を算出してもよい。その上で、モデル選択部１０４は、例えば、予測精度が所定の閾値以上の予測モデルの中から非妥当性スコアに基づくモデル選択を行ってもよい。
図７は、本実施形態の予測システムの動作の一例を示すフローチャートである。図７に示す例では、まず、モデル学習部１０１が、１つの予測対象項目について、複数のモデル候補を学習する（ステップＳ２０１）。
次いで、予測部１０３が、モデル学習部１０１によって学習された複数のモデル候補の各々に対して経過予測を行い、モデル候補ごとに、得られた予測値を含む系列データを生成する（ステップＳ２０２）。
次いで、スコア算出部１１が、予測部１０３によって得られたモデル候補ごとの系列データに対して、非妥当性スコアを算出する（ステップＳ２０３）。
最後に、モデル選択部１０４が、スコア算出部１１によって算出された非妥当性スコアに基づいて、複数のモデル候補の中から予測値を得る予測モデルを選択する（ステップＳ２０４）。
以上のように、本実施形態によれば、いくつかある予測モデルの候補の中から、自動で、より妥当な経過予測が出力されるモデルを選択したり、妥当でない経過予測が出力されるモデルを除外したりすることができる。
なお、上記の例では、モデル選択部１０３が少なくとも１つのモデル（予測モデル候補）を選択する例を示したが、モデル選択部１０３が、例えば、複数の予測モデル候補について、それらから得られた予測値を含む系列データの非妥当性スコアに基づいて、出荷の可否を判定することも可能である。その場合、例えば、モデル選択部１０３は、複数の予測モデル候補の各々から得られた予測値を含む系列データの非妥当性スコアに対して閾値判定を行い、所定の閾値以下であれば出荷ＯＫとし、それ以外であれば出荷ＮＧとしてもよい。また、モデル選択部１０３は、例えば、１つのモデルから複数の系列データが得られた場合には、モデルごとの不良サンプル数や非妥当性スコアの総和や最大値に対して、閾値判定を行って、所定の閾値以下であれば出荷ＯＫとし、それ以外であれば出荷ＮＧとしてもよい。なお、本例においても、非妥当スコアと、予測精度とに基づいて、出荷判断を行うことも可能である。その場合、モデル選択部１０３は、例えば、予測精度が所定の閾値以上でかつ非妥当性スコアが上記の条件を満たす場合に出荷ＯＫと判定し、それ以外は出荷ＮＧと判定してもよい。
出荷判断の結果、出荷ＯＫであれば、モデル選択部１０３は、そのモデル（予測モデル候補）を出荷（外部に出力）し、出荷ＮＧであれば、所定のアラート処理を行ってもよい。
アラート処理としては、例えば、出荷ＮＧとされたモデルの識別子やそのときの系列データやその非妥当性スコア等と合わせて、その旨を所定のサーバや表示装置に出力して、人手による出荷の可否判定を依頼してもよい。さらに、人手による出荷可否の判定結果を受け付けてもよい。
実施形態３．
次に、第３の実施形態について説明する。本実施形態では、第１の実施形態の指標算出装置１０の利用例の１つとして、出荷判断機能を有する予測システムについて説明する。図８は、本実施形態の予測システムの構成例を示すブロック図である。図８に示す予測システム１００は、データ記憶部１０２と、１つ以上の予測部１０３と、予測結果入力部１０５と、出荷判断部１０６と、スコア算出部１１とを備える。
なお、図８に示す例は、データ記憶部１０２と予測部１０３とを備える予測システム１００に対して、予測結果入力部１０５と出荷判断部１０６とスコア算出部１１とを含む半自動出荷判断装置３０を新たに追加した例である。ただし、予測システム１００において、予測結果入力部１０５、出荷判断部１０６およびスコア算出部１１は、必ずしも１つの装置に実装される構成に限定されない。
本実施形態において、データ記憶部１０２は、１つ以上の予測対象項目に対応する学習済みの予測モデルの情報を記憶する。また、データ記憶部１０２は、それら学習済みの予測モデルから予測値を得るために各予測モデルに入力するデータであって、各予測モデルに用いられる説明変数のデータセットである予測用データ（予測サンプル）を記憶する。なお、予測用データは１つに限らず、複数であってもよい。データ記憶部１０２は、例えば、指定されたまたは所定の１人以上の予測対象者の各々に対応した複数の予測用データを記憶してもよい。
予測部１０３はそれぞれ、１つの予測対象項目と対応づけられており、データ記憶部１０２に記憶されている、対応する予測対象項目の学習済みの予測モデルおよび予測用データを用いて経過予測を行い、対応する予測対象項目の系列データを生成する。
例えば、予測部１０３の各々は、データ記憶部１０２に記憶されている対応する予測対象項目の学習済みの予測モデルを読み出し、該予測モデルに、データ記憶部１０２に記憶されている対応する予測対象項目の予測用データを適用して、対応する予測対象項目について、所定の評価対象期間に含まれる各予測時点の予測値を得る。そして、予測部１０３の各々は、得られた予測値を示すデータと併せて、時間と対応づけて予測対象項目の値を示す３つ以上のデータを含む系列データを生成してもよい。なお、予測部１０３の各々は、複数の予測用データが記憶されている場合には、予測用データごとに、予測モデルを適用して得られた予測値を示すデータを含む系列データを生成すればよい。
予測部１０３の各々は、第２の実施形態と同様、経過予測を行う際、予測用データに含まれる説明変数のうちの一部の値を一定とする条件下で予測モデルに予測用データを適用し、各予測時点の予測値を得て、得られた予測値を含む系列データを生成する。予測部１０３の各々は、例えば、対応する所定の検査値を予測するモデル候補の各々に対して、生活習慣に関する項目を一定にした予測用データを適用し、予測結果として各予測時点の予測値（上記の検査値）を得てもよい。その場合、得られた各予測時点の予測値（検査値）を含む系列データを生成する。系列データには、予測に用いた実測値が含まれていてもよい。
予測結果入力部１０５は、予測部１０３の各々から得られる各予測対象項目の系列データを入力する。
スコア算出部１１は、予測結果入力部１０５より入力される各予測対象項目の系列データに対して、非妥当性スコアを算出する。
出荷判断部１０６は、スコア算出部１１によって算出された各予測対象項目の系列データに対する非妥当性スコアに基づいて、予測値の出荷可否の判定を行う。出荷判断部１０６は、例えば、１つの予測モデルから複数の系列データ（例えば、複数の予測サンプルに対応した系列データ）が得られた場合、それら全ての系列データの非妥当性スコアが所定の閾値以下であれば、各系列データに含まれる予測値を出荷ＯＫと判定し、それ以外であれば所定のアラート処理を行ってもよい。また、出荷判断部１０６は、例えば、複数の予測対象項目からそれぞれ系列データが得られた場合には、それらを個別に評価してもよいし、それらをまとめて評価（一括評価）することも可能である。一例として、出荷判断部１０６は、予測値が出荷される単位である出荷単位（例えば、予測対象者等）ごとに、該出荷単位における予測値を含む系列データを一括して評価してもよい。
アラート処理としては、例えば、出荷ＮＧとされたモデルの識別子やそのときの系列データやその非妥当性スコア等と合わせてその旨を所定のサーバや表示装置に出力して、人手による出荷の可否判定を依頼してもよい。さらに、人手による出荷可否の判定結果を受け付けてもよい。
また、出荷判断部１０６は、そのようにして最終的に得た出荷の可否判定の結果、出荷ＯＫであれば予測値を外部に出力してもよい。
本実施形態においても、出荷判断部１０６は、予測値の出荷判断を行う際、各系列データの非妥当性スコアだけでなく、その予測値を生成した予測モデルの予測精度に基づいて、予測値の出荷可否の判定を行うことも可能である。グラフ形状に関する評価（非妥当性スコア）だけでなく、予測精度に関する評価を加えることで、予測精度と不良サンプル数のバランスが良好な予測値を出荷できる。なお、予測精度の算出方法は第２の実施形態と同様でよい。
図９は、本実施形態の予測システムの動作の一例を示すフローチャートである。図９に示す例では、まず、予測部１０３の各々が、対応する予測対象項目について、学習済みの予測モデルを用いて経過予測を行い、得られた予測値を含む系列データを生成する（ステップＳ３０１）。
次いで、予測結果入力部１０５が、各予測対象項目について対応する予測部１０３の予測結果を含む系列データを入力する（ステップＳ３０２）。
次いで、スコア算出部１１が、入力された各系列データに対して非妥当性スコアを算出する（ステップＳ３０３）。
次いで、出荷判断部１０６が、各系列データの非妥当性スコアに基づいて、得られた予測値の出荷判断を行う（ステップＳ３０４）。ここでは、出荷判断部１０６は、全ての系列データの非妥当性スコアが所定の閾値以下であるか否かによって出荷の可否を一次判定する。
出荷判断の結果、出荷ＯＫであれば（ステップＳ３０５のＹｅｓ）、得られた予測値を出荷（外部に出力）する（ステップＳ３０６）。
出荷判断の結果、出荷ＯＫでなければ（ステップＳ３０５のＮｏ）、所定のアラート処理を行う（ステップＳ３０７）。
以上のように、本実施形態によれば、予測結果を外部に出力するか否かの判断（出荷判断）において、その都度ドメインエキスパートによる目視によるチェックなどを行わなくても済むため、コストや出荷にかかる時間を削減できる。
なお、上記の例では、出荷判断部１０６が、予測値に対する出荷の可否を判断する例を示したが、第２の実施形態と同様、出荷判断部１０６は、予測モデルに対する出荷の可否を判断することも可能である。その場合、出荷判断部１０６は、例えば、判断対象とされた予測モデルに所定の検証用データを適用して得られた予測値を含む１つ以上の系列データに対して算出された非妥当性スコアに基づいて、該予測モデルの出荷の可否を判定してもよい。なお、本例においても、出荷判断部１０６は、非妥当性スコアだけでなく、予測モデルの予測精度に基づいて、該予測モデルの出荷の可否を判定してもよい。
また、出荷判断部１０６は、例えば、１つのモデルから複数のサンプルに対する予測値が得られた場合、各サンプルにおける予測値を含む系列データを総合して出荷判断を行う点については上記と同様である。なお、出荷判断部１０６は、例えば、複数の予測対象項目からそれぞれ系列データが得られた場合には、それらを個別に評価してもよいし、それらをまとめて評価（一括評価）することも可能である。また、出荷判断部１０６は、予測値や予測モデルが出荷される単位である出荷単位ごとに、該出荷単位における予測値を含む系列データを一括して評価してもよい。
なお、上記の各実施形態では、生活習慣に関する項目を一定としたときの検査項目の予測値を含む検査値の系列データに対して、その非妥当性を評価する方法を例示したが、予測対象や仮定の条件はこれらに限定されない。
また、上記では、比較対象とするモデルとして漸近モデルを例示したが、比較対象とするモデルは、漸近モデル以外であってもよい。すなわち、入力された系列データに対し予め妥当とされる関数形が決まっている場合には、同様の方法で妥当とされる関数形へのフィッティングを行って比較対象とする曲線モデルを得ることにより、同様の効果を得ることができる。
また、図１０は、本発明の実施形態にかかるコンピュータの構成例を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５と、入力デバイス１００６とを備える。
上記の実施形態におけるシステム、サーバその他の装置等は、コンピュータ１０００に実装されてもよい。その場合、各装置の動作は、プログラムの形式で補助記憶装置１００３に記憶されていてもよい。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、そのプログラムに従って各実施形態における所定の処理を実施する。なお、ＣＰＵ１００１は、プログラムに従って動作する情報処理装置の一例であり、ＣＰＵ（Central Processing Unit）以外にも、例えば、ＭＰＵ（Micro Processing Unit）やＭＣＵ（Memory Control Unit）やＧＰＵ（Graphics Processing Unit）などを備えていてもよい。
補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータは１０００がそのプログラムを主記憶装置１００２に展開し、各実施形態における所定の処理を実行してもよい。
また、プログラムは、上記の実施形態における所定の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで各実施形態における所定の処理を実現する差分プログラムであってもよい。
インタフェース１００４は、他の装置との間で情報の送受信を行う。また、ディスプレイ装置１００５は、ユーザに情報を提示する。また、入力デバイス１００６は、ユーザからの情報の入力を受け付ける。
また、実施形態における処理内容によっては、コンピュータ１０００の一部の要素は省略可能である。例えば、コンピュータ１０００がユーザに情報を提示しないのであれば、ディスプレイ装置１００５は省略可能である。例えば、コンピュータ１０００がユーザから情報入力を受け付けないのであれば、入力デバイス１００６は省略可能である。
また、上記の実施形態の各構成要素の一部または全部は、汎用または専用の回路（Circuitry）、プロセッサ等やこれらの組み合わせによって実施される。これらは単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。また、上記の実施形態の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
上記の実施形態の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
次に、本発明の概要を説明する。図１１は、本発明の指標算出装置の概要を示すブロック図である。図１１に示す指標算出装置６０は、非妥当性スコア出力手段６１を備える。
非妥当性スコア出力手段６１（例えば、スコア算出部１１）は、所定の予測対象項目の系列データであって、時間と対応づけて予測対象項目の値を示す３つ以上のデータであってそのうちの少なくとも１つが予測値を示すデータを含む系列データが入力されると、系列データの非妥当性を示す指標である非妥当性スコアであって、系列データを所定の関数形にフィッティングして得られる曲線モデルと系列データとの誤差に基づく非妥当性スコアを出力する。
以上のような構成により、実績値を用いなくても、入力された系列データの非妥当性を判断できる客観的な指標である非妥当性スコアを出力することができる。したがって、仮定の条件に基づいて得られる予測値を含む系列データの非妥当性を自動で判断できる。
また、図１２は、本発明の予測システムの概要を示すブロック図である。図１２に示す予測システム６００は、予測手段６０１と、非妥当性スコア算出手段６０２と、評価手段６０３とを備える。なお、非妥当性スコア算出手段６０２は、上記の指標算出装置６０が備える非妥当性スコア出力手段６１により実現されてもよい。
予測手段６０１（例えば、予測部１０３）は、所定の予測対象項目について、学習済みの予測モデルを用いて所定の予測時点における予測値を得るとともに、得られた予測値を含む系列データであって、時間と対応づけて予測対象項目の値を示す３つ以上のデータであってそのうちの少なくとも１つが予測値を示すデータ系列データを生成する。
非妥当性スコア算出手段６０２（例えば、スコア算出部１１）は、系列データの非妥当性を示す指標である非妥当性スコアであって、系列データを所定の関数形にフィッティングして得られる曲線モデルと系列データとの誤差に基づく非妥当性スコアを算出する。
評価手段６０３（例えば、モデル選択部１０４や出荷判断部１０６）は、非妥当性スコア算出手段６０２により算出された非妥当性スコアに基づいて、系列データ、系列データに含まれる予測値または予測値を得た予測モデルを評価する。
このような構成により、予測手段６０１により得られた予測値を含む系列データや、該系列データに含まれる予測値や、該予測値を得た予測モデルについて、妥当か否かを判定したり、いくつかある候補の中から、自動でより妥当なものを選択したり、妥当でないものを除外したりすることができる。
なお、上記の実施形態は以下の付記のようにも記載できる。
（付記１）所定の予測対象項目の系列データであって、時間と対応づけて予測対象項目の値を示す３つ以上のデータであってそのうちの少なくとも１つが予測値を示すデータを含む系列データが入力されると、前記系列データの非妥当性を示す指標である非妥当性スコアであって、前記系列データを所定の関数形にフィッティングして得られる曲線モデルと前記系列データとの誤差に基づく非妥当性スコアを出力する非妥当性スコア出力手段を備えることを特徴とする指標算出装置。
（付記２）前記所定の関数形は、時間が無限大のときに出力値がある値に収束するとの条件を満たす所定の関数形である付記１に記載の指標算出装置。
（付記３）前記非妥当性スコア出力手段は、前記系列データのうち所定の第１グループに属するデータを用いて前記所定の関数形へのフィッティングを行い、前記系列データのうち所定の第２グループに属するデータを用いて前記フィッティングにより得られた前記曲線モデルとの誤差を算出し、算出された前記誤差に基づいて前記非妥当性スコアを出力し、前記第１グループに属するデータと前記第２グループに属するデータとが完全一致していない付記１または付記２に記載の指標算出装置。
（付記４）前記系列データに含まれる一部のデータを第１グループとし、前記第１グループに属しないデータまたは前記系列データの全てのデータを第２グループとする付記３に記載の指標算出装置。
（付記５）前記非妥当性スコア出力手段は、前記所定の関数形へのフィッティングを行う前に、前記系列データに含まれる各データに対応づけられている時間の値を、前記系列データの表示スケールに合わせて変換する付記１から付記４のうちのいずれか１項に記載の指標算出装置。
（付記６）所定の予測対象項目について、学習済みの予測モデルを用いて所定の予測時点における予測値を得るとともに、得られた前記予測値を含む系列データであって時間と対応づけて予測対象項目の値を示す３つ以上のデータであってそのうちの少なくとも１つが予測値を示すデータを含む系列データを生成する予測手段と、前記系列データの非妥当性を示す指標である非妥当性スコアであって、前記系列データを所定の関数形にフィッティングして得られる曲線モデルと前記系列データとの誤差に基づく非妥当性スコアを算出する非妥当性スコア算出手段と、前記系列データ、前記系列データに含まれる予測値または前記予測値を得た予測モデルに対して、前記非妥当性スコアに基づく評価を行う評価手段とを備えることを特徴とする予測システム。
（付記７）前記評価手段は、前記系列データ、前記系列データに含まれる予測値または前記予測値を得た予測モデルに対して、前記非妥当性スコアと、所定の検証用データを用いて算出される前記予測モデルの予測精度とに基づいて評価を行う付記６に記載の予測システム。
（付記８）前記所定の予測対象項目について、複数のモデル候補を学習するモデル学習手段を備え、前記予測手段は、前記複数のモデル候補の各々を用いて前記予測値を得るとともに、前記複数のモデル候補ごとに、得られた前記予測値を含む系列データを生成し、前記非妥当性スコア算出手段は、前記複数のモデル候補ごとの前記系列データに対して前記非妥当性スコアを算出し、前記評価手段は、前記複数のモデル候補に対して前記評価を行い、その評価結果に基づいて前記複数のモデル候補の中から前記予測対象項目の予測値を得るモデルを選択する付記６または付記７に記載の予測システム。
（付記９）前記予測手段は、１つ以上の予測対象項目の各々に対応して１つ以上設けられ、前記非妥当性スコア出力手段は、前記１つ以上の予測手段から得られる前記予測対象項目ごとの系列データに対して前記非妥当性スコアを算出し、前記評価手段は、前記予測対象項目ごとの系列データに対して前記評価を行い、その評価結果に基づいて前記予測値の出荷判断を行う付記６または付記７に記載の予測システム。
（付記１０）情報処理装置が、所定の予測対象項目の系列データであって、時間と対応づけて予測対象項目の値を示す３つ以上のデータであってそのうちの少なくとも１つが予測値を示すデータを含む系列データが入力されると、前記系列データの非妥当性を示す指標である非妥当性スコアであって、前記系列データを所定の関数形にフィッティングして得られる曲線モデルと前記系列データとの誤差に基づく非妥当性スコアを算出し、前記非妥当性スコアに基づいて、前記系列データまたは前記系列データに含まれる予測値もしくは前記予測値を得た予測モデルを評価することを特徴とする経過予測評価方法。
（付記１１）コンピュータに、所定の予測対象項目の系列データであって、時間と対応づけて予測対象項目の値を示す３つ以上のデータであってそのうちの少なくとも１つが予測値を示すデータを含む系列データが入力されると、前記系列データの非妥当性を示す指標である非妥当性スコアであって、前記系列データを所定の関数形にフィッティングして得られる曲線モデルと前記系列データとの誤差に基づく非妥当性スコアを算出する処理、および前記非妥当性スコアに基づいて、前記系列データまたは前記系列データに含まれる予測値もしくは前記予測値を得た予測モデルを評価する処理を実行させるための経過予測評価プログラム。
以上、本実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
この出願は、２０１８年３月３０日に出願された日本特許出願２０１８－０６７６２２を基礎とする優先権を主張し、その開示の全てをここに取り込む。
産業上の利用の可能性
本発明は、仮定の条件に基づいて得られる予測値を含む系列データだけでなく、時間と対応づけて予測対象項目の値を示す３つ以上のデータを含む系列データについて妥当な関数形が与えられるものであれば、好適に適用可能である。
１０ 指標算出装置
１１ スコア算出部
２０ モデル自動選択装置
３０ 半自動出荷判断装置
１００ 予測システム
１０１ モデル学習部
１０２ データ記憶部
１０３ 予測部
１０４ モデル選択部
１０５ 予測結果入力部
１０６ 出荷判断部
１０００ コンピュータ
１００１ ＣＰＵ
１００２ 主記憶装置
１００３ 補助記憶装置
１００４ インタフェース
１００５ ディスプレイ装置
１００６ 入力デバイス
６０ 指標算出装置
６１ 非妥当性スコア出力手段
６００ 予測システム
６０１ 予測手段
６０２ 非妥当性スコア算出手段
６０３ 評価手段

Claims (4)

  1. 所定の予測対象項目について、学習済みの予測モデルを用いて所定の予測時点における予測値を得るとともに、得られた前記予測値を含む系列データであって時間と対応づけて予測対象項目の値を示す３つ以上のデータであってそのうちの少なくとも１つが予測値を示すデータを含む系列データを生成する予測手段と、
    前記系列データの非妥当性を示す指標である非妥当性スコアであって、前記系列データを所定の関数形にフィッティングして得られる曲線モデルと前記系列データとの誤差に基づく非妥当性スコアを算出する非妥当性スコア算出手段と、
    前記系列データ、前記系列データに含まれる予測値または前記予測値を得た予測モデルに対して、前記非妥当性スコアに基づく評価を行う評価手段と、
    前記所定の予測対象項目について、複数のモデル候補を学習するモデル学習手段とを備え、
    前記予測手段は、前記複数のモデル候補の各々を用いて前記予測値を得るとともに、前記複数のモデル候補ごとに、得られた前記予測値を含む系列データを生成し、
    前記非妥当性スコア算出手段は、前記複数のモデル候補ごとの前記系列データに対して前記非妥当性スコアを算出し、
    前記評価手段は、前記複数のモデル候補に対して前記評価を行い、その評価結果に基づいて前記複数のモデル候補の中から前記予測対象項目の予測値を得るモデルを選択する
    ことを特徴とする予測システム。
  2. 前記評価手段は、前記系列データ、前記系列データに含まれる予測値または前記予測値を得た予測モデルに対して、前記非妥当性スコアと、所定の検証用データを用いて算出される前記予測モデルの予測精度とに基づいて評価を行う
    請求項１に記載の予測システム。
  3. コンピュータが、
    所定の予測対象項目について、学習済みの予測モデルを用いて所定の予測時点における予測値を得るとともに、得られた前記予測値を含む系列データであって時間と対応づけて予測対象項目の値を示す３つ以上のデータであってそのうちの少なくとも１つが予測値を示すデータを含む系列データを生成する予測処理と、
    前記系列データの非妥当性を示す指標である非妥当性スコアであって、前記系列データを所定の関数形にフィッティングして得られる曲線モデルと前記系列データとの誤差に基づく非妥当性スコアを算出する非妥当性スコア算出処理と、
    前記系列データ、前記系列データに含まれる予測値または前記予測値を得た予測モデルに対して、前記非妥当性スコアに基づく評価を行う評価処理と、
    前記所定の予測対象項目について、複数のモデル候補を学習するモデル学習処理とを実行し、
    前記予測処理で、前記複数のモデル候補の各々を用いて前記予測値を得るとともに、前記複数のモデル候補ごとに、得られた前記予測値を含む系列データを生成し、
    前記非妥当性スコア算出処理で、前記複数のモデル候補ごとの前記系列データに対して前記非妥当性スコアを算出し、
    前記評価処理で、前記複数のモデル候補に対して前記評価を行い、その評価結果に基づいて前記複数のモデル候補の中から前記予測対象項目の予測値を得るモデルを選択する
    ことを特徴とする予測方法。
  4. コンピュータに、
    所定の予測対象項目について、学習済みの予測モデルを用いて所定の予測時点における予測値を得るとともに、得られた前記予測値を含む系列データであって時間と対応づけて予測対象項目の値を示す３つ以上のデータであってそのうちの少なくとも１つが予測値を示すデータを含む系列データを生成する予測処理、
    前記系列データの非妥当性を示す指標である非妥当性スコアであって、前記系列データを所定の関数形にフィッティングして得られる曲線モデルと前記系列データとの誤差に基づく非妥当性スコアを算出する非妥当性スコア算出処理、
    前記系列データ、前記系列データに含まれる予測値または前記予測値を得た予測モデルに対して、前記非妥当性スコアに基づく評価を行う評価処理、および、
    前記所定の予測対象項目について、複数のモデル候補を学習するモデル学習処理を実行させ、
    前記予測処理で、前記複数のモデル候補の各々を用いて前記予測値を得るとともに、前記複数のモデル候補ごとに、得られた前記予測値を含む系列データを生成させ、
    前記非妥当性スコア算出処理で、前記複数のモデル候補ごとの前記系列データに対して前記非妥当性スコアを算出させ、
    前記評価処理で、前記複数のモデル候補に対して前記評価を行わせ、その評価結果に基づいて前記複数のモデル候補の中から前記予測対象項目の予測値を得るモデルを選択させる
    ための予測プログラム。
JP2020509617A 2018-03-30 2018-11-29 予測システム、予測方法および予測プログラム Active JP7140410B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018067622 2018-03-30
JP2018067622 2018-03-30
PCT/JP2018/043910 WO2019187341A1 (ja) 2018-03-30 2018-11-29 指標算出装置、予測システム、経過予測評価方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019187341A1 JPWO2019187341A1 (ja) 2021-02-12
JP7140410B2 true JP7140410B2 (ja) 2022-09-21

Family

ID=68061178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020509617A Active JP7140410B2 (ja) 2018-03-30 2018-11-29 予測システム、予測方法および予測プログラム

Country Status (5)

Country Link
US (1) US20210042700A1 (ja)
EP (1) EP3779812A4 (ja)
JP (1) JP7140410B2 (ja)
CN (1) CN111937012A (ja)
WO (1) WO2019187341A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11783949B2 (en) * 2018-11-30 2023-10-10 Ariel Precision Medicine, Inc. Methods and systems for severity calculator
US20210150335A1 (en) * 2019-11-20 2021-05-20 International Business Machines Corporation Predictive model performance evaluation
US20220059238A1 (en) * 2020-08-24 2022-02-24 GE Precision Healthcare LLC Systems and methods for generating data quality indices for patients
TWI827974B (zh) * 2021-09-08 2024-01-01 財團法人工業技術研究院 虛擬功能效能分析系統及其分析方法
WO2024070126A1 (ja) * 2022-09-27 2024-04-04 株式会社Ｎｔｔドコモ 需要予測モデル生成装置
CN116796652B (zh) * 2023-08-25 2023-12-26 国网浙江省电力有限公司电力科学研究院 湿热地区配电变压器密封橡胶垫圈劣化失效预测方法
CN117390937B (zh) * 2023-12-12 2024-03-05 华中科技大学 一种快充条件下含缺陷储氢气瓶损伤预测方法及系统
CN117574682B (zh) * 2024-01-11 2024-03-26 华中科技大学 一种核壳ncm电极颗粒机械失效预测方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005063208A (ja) 2003-08-14 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> ソフトウェア信頼度成長モデル選択方法、ソフトウェア信頼度成長モデル選択装置、ソフトウェア信頼度成長モデル選択プログラム、およびプログラム記録媒体
WO2005031278A1 (ja) 2003-09-29 2005-04-07 Nozzle Network Co., Ltd. グラフ作成プログラム
JP2011176984A (ja) 2010-02-25 2011-09-08 Toshiba Corp エネルギー配分計算装置
JP2016201869A (ja) 2015-04-07 2016-12-01 レモンガス株式会社 エネルギマネジメント方法およびエネルギマネジメントシステム
JP2017049677A (ja) 2015-08-31 2017-03-09 富士通株式会社 機械学習管理プログラム、機械学習管理装置および機械学習管理方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10228463A (ja) 1997-02-17 1998-08-25 Hitachi Ltd 需要予測モデル評価方法
JP5071851B2 (ja) * 2007-10-31 2012-11-14 日本電信電話株式会社 時間情報を用いた予測装置、予測方法、予測プログラムおよびそのプログラムを記録した記録媒体
CN101929994A (zh) * 2010-08-24 2010-12-29 昆明理工大学 一种预测多相混合均匀性的时间序列模型和方法
CN102200759A (zh) * 2011-05-28 2011-09-28 东华大学 一种非线性核化自适应预测方法
US20130194271A1 (en) * 2012-01-30 2013-08-01 Sap Ag Visualization of Uncertain Times Series
WO2013161191A1 (ja) * 2012-04-26 2013-10-31 日本電気株式会社 保健指導対象者選定条件作成支援装置
CN103093287B (zh) * 2013-01-29 2017-02-08 广东电网公司电力调度控制中心 电网指标预测误差评估方法和系统
JP6109037B2 (ja) * 2013-10-23 2017-04-05 本田技研工業株式会社 時系列データ予測装置、時系列データ予測方法、及びプログラム
CN103942457B (zh) * 2014-05-09 2017-04-12 浙江师范大学 基于关联向量机回归的水质参数时间序列预测方法
US10558924B2 (en) * 2014-05-23 2020-02-11 DataRobot, Inc. Systems for second-order predictive data analytics, and related methods and apparatus
JP5698860B1 (ja) * 2014-08-22 2015-04-08 株式会社アールファイブ 在庫管理システム、在庫管理方法、及びプログラム
US20180052804A1 (en) * 2015-03-26 2018-02-22 Nec Corporation Learning model generation system, method, and program
JP6734582B2 (ja) * 2015-12-22 2020-08-05 国立研究開発法人理化学研究所 リスク評価方法、リスク評価装置及びリスク評価プログラム
JP6742894B2 (ja) * 2016-06-09 2020-08-19 株式会社日立製作所 データ予測システムおよびデータ予測方法
JP2018067622A (ja) 2016-10-19 2018-04-26 日立化成株式会社 太陽電池セル及び太陽電池モジュール
CN107491830B (zh) * 2017-07-03 2021-03-26 北京奇艺世纪科技有限公司 一种时间序列曲线的处理方法和装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005063208A (ja) 2003-08-14 2005-03-10 Nippon Telegr & Teleph Corp <Ntt> ソフトウェア信頼度成長モデル選択方法、ソフトウェア信頼度成長モデル選択装置、ソフトウェア信頼度成長モデル選択プログラム、およびプログラム記録媒体
WO2005031278A1 (ja) 2003-09-29 2005-04-07 Nozzle Network Co., Ltd. グラフ作成プログラム
JP2011176984A (ja) 2010-02-25 2011-09-08 Toshiba Corp エネルギー配分計算装置
JP2016201869A (ja) 2015-04-07 2016-12-01 レモンガス株式会社 エネルギマネジメント方法およびエネルギマネジメントシステム
JP2017049677A (ja) 2015-08-31 2017-03-09 富士通株式会社 機械学習管理プログラム、機械学習管理装置および機械学習管理方法

Also Published As

Publication number Publication date
JPWO2019187341A1 (ja) 2021-02-12
CN111937012A (zh) 2020-11-13
EP3779812A4 (en) 2021-12-29
EP3779812A1 (en) 2021-02-17
WO2019187341A1 (ja) 2019-10-03
US20210042700A1 (en) 2021-02-11

Similar Documents

Publication Publication Date Title
JP7140410B2 (ja) 予測システム、予測方法および予測プログラム
Dimitrova et al. Some comments on Bitcoin market (in) efficiency
JP7007027B2 (ja) 予測システム、モデル生成システム、方法およびプログラム
US20120271612A1 (en) Predictive modeling
Katharakis et al. An empirical study of comparing DEA and SFA methods to measure hospital units’ efficiency
US20060271378A1 (en) System and method for designing a medical care facility
US20140379310A1 (en) Methods and Systems for Evaluating Predictive Models
JP2019128904A (ja) 予測システム、シミュレーションシステム、方法およびプログラム
US20190385100A1 (en) System And Method For Predicting Organizational Outcomes
US11152122B2 (en) System and method for evaluating vascular risks
US20080208788A1 (en) Method and system for predicting customer wallets
JP2001357189A (ja) 市場参入意思決定支援装置
US20180315502A1 (en) Method and apparatus for optimization and simulation of patient flow
JP2020190959A (ja) モデル生成装置、システム、パラメータ算出装置、モデル生成方法、パラメータ算出方法およびプログラム
CN111340276B (zh) 一种生成预测数据的方法及系统
Mbaluka et al. Application of principal component analysis and hierarchical regression model on Kenya macroeconomic indicators
Grant Information and sorting in the market for obstetrical services
CN112862602B (zh) 一种用户请求的确定方法及存储介质、电子装置
JP2008192006A (ja) 適正入力支援装置及び適正入力支援プログラム
KR20230100574A (ko) 머신러닝 기반의 의료진료 통합 서비스 시스템
Coyne The impact of estimation frequency on Value at Risk (VaR) and Expected Shortfall (ES) forecasts: an empirical study on conditional extreme value models
Mbaluka et al. Application of Principal Component Analysis and Hierarchical Regression Model on Kenya Macroeconomic Indicators
KR20160144853A (ko) 재무 정보 및 비재무 정보에 기초한 신용 평가 방법과 시스템 및 기록매체
CN117993729A (zh) 公积金数据处理方法及系统
JP2023025415A (ja) プログラム、記憶媒体、システム、学習済モデルおよび判定方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200807

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211022

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220329

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220901

R150 Certificate of patent or registration of utility model

Ref document number: 7140410

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150