JPWO2015136885A1 - 評価システム、評価方法およびコンピュータ読み取り可能な記憶媒体 - Google Patents

評価システム、評価方法およびコンピュータ読み取り可能な記憶媒体 Download PDF

Info

Publication number
JPWO2015136885A1
JPWO2015136885A1 JP2016507340A JP2016507340A JPWO2015136885A1 JP WO2015136885 A1 JPWO2015136885 A1 JP WO2015136885A1 JP 2016507340 A JP2016507340 A JP 2016507340A JP 2016507340 A JP2016507340 A JP 2016507340A JP WO2015136885 A1 JPWO2015136885 A1 JP WO2015136885A1
Authority
JP
Japan
Prior art keywords
type
value
evaluation index
belonging
evaluation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2016507340A
Other languages
English (en)
Inventor
優輔 村岡
優輔 村岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2015136885A1 publication Critical patent/JPWO2015136885A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/048—Fuzzy inferencing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2458—Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465—Query processing support for facilitating data mining operations in structured databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Quality & Reliability (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Operations Research (AREA)
  • Marketing (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

予測器を評価する作業を容易にする。評価システムは、評価指標を構成する要素の指定を受け付ける入力受付部と、データセットに対して評価指標値を算出する評価指標算出部と、を備える。前記評価指標は、前記サンプルデータについて評価を行う第１の種類に属する要素と、サンプルデータに重みをつける第２の種類に属する要素と、第１の種類に属する要素が出力した情報および第２の種類に属する要素が出力した情報に基づいて複数のサンプルデータに対して統計処理を行う第３の種類に属する要素と、を含んで構成される。前記評価指標算出部は、前記入力受付部が受け付けた要素を含んで構成される評価指標に基づいて、前記評価指標値を算出する。

Description

本発明は、データマイニングに関する。
データマイニングは、大量のデータを分析処理することにより、そのデータの中から有用な知見を見出す技術である。データマイニングにより得られた知見を活かして、事業者は、事業の付加価値をより高めようとする。
データマイニングの典型的な応用例をいくつか説明する。データマイニングは、既知のデータから未知の現象を予測する目的で利用されることがある。例えば、天気予報は、データマイニングの典型的な応用例の一つである。天気予報においては、データマイニングシステムは、過去の天気のデータに基づいて、未来の天気を予測する。また、データマイニングシステムは例えば、化合物のデータに基づいて、当該化合物の薬効を予測する。
ここで「予測器」について説明する。データマイニングシステムは、例えば、既知のデータから未知の現象を予測する際に、「予測器」を用いる。予測器は、説明変数の値を入力とし、予測結果を出力とする関数である。データマイニングシステムは、説明変数の値として既知のデータを予測器に入力する。その結果、予測器は予測結果を出力する。以降、特に断りのない限り、予測器が出力する予測結果を「予測値」と表現する。
データマイニングシステムが未知の現象を適切に予測できるか否かは、適切な予測器が用いられるか否かに大きく依存する。
事業者は、データマイニングにより得られた知見を事業に活用しようと考える。ここで事業者は、データマイニングシステムが出力する予測結果がどの程度信頼できるものなのかを知りたいと考える。そこで、コンピュータを用いて予測器を「評価」することが行われる。
コンピュータが実行する予測器の「評価」においては、当該予測器が、入力された説明変数の値に対して どの程度妥当な予測結果（すなわち予測値）を出力するか、ということが評価される。
以下の説明において、コンピュータが予測器を評価する処理を実行する際に、予測器を評価する目的に用いられるモジュールを「評価モジュール」と呼ぶ。
予測器が適切であるか否かを評価する方法の一つは、予測器が出力した予測値と、当該予測結果に対応する実測値とを比較することである。例えば、データマイニングシステムが天気予報を行う場合を考える。例えば、２０１４年１月１日の時点で、データマイニングシステムが、ある予測器を用いて、明日（２０１４年１月２日）の最高気温を１０℃（℃は摂氏を表す）であると予測したとする。２０１４年１月２日の実際の最高気温は１１℃であったとする。評価モジュールは例えば、２０１４年１月２日になってから、当該予測結果（すなわち１０℃）と、２０１４年１月２日の最高気温の実測値（すなわち１１℃）とを比較することにより、当該予測器を評価する。
ここで、データマイニングシステムが、ある予測器を用いて、１年間、毎日の最高気温を予測したとする。評価モジュールは例えば、１年分のデータについて、予測値と、当該予測値に対応する実測値とを比較する。これにより、評価モジュールは、予測値と実測値とがどの程度乖離したかを統計的に分析することができる。評価モジュールは例えば、予測値と実測値との差分である誤差について、１年間の平均値または分散値などを算出する。このような統計的な分析に基づいて、評価モジュールは予測器を評価する。
非特許文献１は、統計解析向けのプログラミング言語およびその開発実行環境を開示する。非特許文献１が開示する技術は、予測器を評価するのに利用される様々な機能を備える。
"Ｒ"、［ｏｎｌｉｎｅ］、［平成２６年３月３日検索］、インターネット＜ＵＲＬ：ｈｔｔｐ：//ｗｗｗ.ｒ−ｐｒｏｊｅｃｔ.ｏｒｇ/＞
オペレータが非特許文献１に開示される技術を用いて予測器を評価しようとすると、オペレータは煩雑な作業を強いられることになる。すなわち、非特許文献１が開示する技術は、オペレータが予測器を評価する作業を容易にすることができないという技術的課題を有している。本発明は、オペレータが予測器を評価する際に、オペレータの作業を容易にすることが出来るようなコンピュータシステムを提供することを一つの目的とする。
本発明の第１の側面は、評価指標を構成する要素の指定を受け付ける入力受付部と、データセットに対して評価指標値を算出する評価指標算出部と、を備え、データセットは、予測器が出力した値である予測値と予測値に対応する実測値とを含むサンプルデータの集合であり、予測器は、説明変数の値を入力とし予測値を出力する関数であり、評価指標値は、予測器が、入力された説明変数の値に対して、どの程度妥当な予測値を出力するかについて評価した結果を示す値であり、評価指標は、少なくとも、第１の種類に属する要素、第２の種類に属する要素、および、第３の種類に属する要素を含んで構成されており、第１の種類に属する要素は、サンプルデータについて評価を行う要素であり、第２の種類に属する要素は、サンプルデータに重みをつける要素であり、第３の種類に属する要素は、第１の種類に属する要素が出力した情報と、第２の種類に属する要素が出力した情報と、に基づいて、複数のサンプルデータに対して統計処理を行う要素であり、入力受付部は、第１の種類に属する要素のうち特定の要素の指定、第２の種類に属する要素のうち特定の要素の指定、および、第３の種類に属する要素のうち特定の要素の指定を受け付け、評価指標算出部は、入力受付部が受け付けた要素を含んで構成される評価指標に基づいて、評価指標値を算出する、評価システムである。
本発明の第２の側面は、評価指標を構成する要素の指定を受け付け、データセットに対して評価指標値を算出し、データセットは、予測器が出力した値である予測値と予測値に対応する実測値とを含むサンプルデータの集合であり、予測器は、説明変数の値を入力とし予測値を出力する関数であり、評価指標値は、予測器が、入力された説明変数の値に対して、どの程度妥当な予測値を出力するかについての評価の値であり、評価指標は、少なくとも、第１の種類に属する要素、第２の種類に属する要素、および、第３の種類に属する要素とを含んで構成されており、第１の種類に属する要素は、サンプルデータについて評価を行う際に用いられる要素であり、第２の種類に属する要素は、サンプルデータに重みをつける際に用いられる要素であり、第３の種類に属する要素は、第１の種類に属する要素が出力した情報と、第２の種類に属する要素が出力した情報と、に基づいて、複数のサンプルデータに対して統計処理を行う際に用いられる要素であり、評価指標を構成する要素の指定の受付に際しては、第１の種類に属する要素のうち特定の要素の指定、第２の種類に属する要素のうち特定の要素の指定、および、第３の種類に属する要素のうち特定の要素の指定を受け付け、評価指標値の算出に際しては、受け付けた要素を含んで構成される評価指標に基づいて、評価指標値を算出する、評価方法である。
本発明の第３の側面は、コンピュータに、評価指標を構成する要素の指定を受け付ける第１の処理と、データセットに対して評価指標値を算出する第２の処理と、を実行させるプログラムであって、データセットは、予測器が出力した値である予測値と予測値に対応する実測値とを含むサンプルデータの集合であり、予測器は、説明変数の値を入力とし予測値を出力する関数であり、評価指標値は、予測器が、入力された説明変数の値に対して、どの程度妥当な予測値を出力するかについての評価の値であり、評価指標は、少なくとも、第１の種類に属する要素、第２の種類に属する要素、および、第３の種類に属する要素を含んで構成されており、第１の種類に属する要素は、サンプルデータについて評価を行う際に用いられる要素であり、第２の種類に属する要素は、サンプルデータに重みをつける際に用いられる要素であり、第３の種類に属する要素は、第１の種類に属する要素が出力した情報と、第２の種類に属する要素が出力した情報と、に基づいて、複数のサンプルデータに対して統計処理を行う際に用いられる要素であり、第１の処理においては、第１の種類に属する要素のうち特定の要素の指定、第２の種類に属する要素のうち特定の要素の指定、および、第３の種類に属する要素のうち特定の要素の指定を受け付ける処理を実行させ、第２の処理においては、第１の処理において受け付けた要素を含んで構成される評価指標に基づいて、評価指標値を算出する処理を実行させる、プログラムである。
本発明の第４の側面は、評価指標を構成する要素の指定を受け付ける入力受付部と、評価モジュールを生成する評価モジュール生成部と、を備え、評価モジュールは、評価指標より定義される演算を、データセットに対して実行することにより評価指標値を算出するモジュールであり、データセットは、予測器が出力した値である予測値と予測値に対応する実測値とを含むサンプルデータの集合であり、予測器は、説明変数の値を入力とし予測値を出力する関数であり、評価指標値は、予測器が、入力された説明変数の値に対して、どの程度妥当な予測値を出力するかについて評価した結果を示す値であり、評価指標は、少なくとも、第１の種類に属する要素、第２の種類に属する要素、および、第３の種類に属する要素を含んで構成されており、第１の種類に属する要素は、サンプルデータについて評価を行う際に用いられる要素であり、第２の種類に属する要素は、サンプルデータに重みをつける際に用いられる要素であり、第３の種類に属する要素は、第１の種類に属する要素が出力した情報と、第２の種類に属する要素が出力した情報と、に基づいて、複数のサンプルデータに対して統計処理を行う際に用いられる要素であり、入力受付部は、第１の種類に属する要素のうち特定の要素の指定、第２の種類に属する要素のうち特定の要素の指定、および、第３の種類に属する要素のうち特定の要素の指定を受け付け、評価モジュール生成部は、入力受付部が受け付けた要素を含んで構成される評価指標によって定義される演算を、データセットに対して実行する評価モジュールを生成する、評価システムである。
本発明の第５の側面は、コンピュータが、評価指標を構成する要素の指定を受け付ける第１の処理と、評価モジュールを生成する第２の処理と、を実行させるプログラムであって、評価モジュールは、評価指標より定義される演算を、データセットに対して実行することにより評価指標値を算出するモジュールであり、データセットは、予測器が出力した値である予測値と予測値に対応する実測値とを含むサンプルデータの集合であり、予測器は、説明変数の値を入力とし予測値を出力する関数であり、評価指標値は、予測器が、入力された説明変数の値に対して、どの程度妥当な予測値を出力するかについて評価した結果を示す値であり、評価指標は、少なくとも、第１の種類に属する要素、第２の種類に属する要素、および、第３の種類に属する要素を含んで構成されており、第１の種類に属する要素は、サンプルデータについて評価を行う際に用いられる要素であり、第２の種類に属する要素は、サンプルデータに重みをつける際に用いられる要素であり、第３の種類に属する要素は、第１の種類に属する要素が出力した情報と、第２の種類に属する要素が出力した情報と、に基づいて、複数のサンプルデータに対して統計処理を行う際に用いられる要素であり、第１の処理においては、第１の種類に属する要素のうち特定の要素の指定、第２の種類に属する要素のうち特定の要素の指定、および、第３の種類に属する要素のうち特定の要素の指定を受け付け、第２の処理においては、第１の処理において受け付けた要素を含んで構成される評価指標によって定義される演算を、データセットに対して実行する評価モジュールを生成する、評価方法である。
本発明の第６の側面は、コンピュータに、評価指標を構成する要素の指定を受け付ける第１の処理と、評価モジュールを生成する第２の処理と、を備え、評価モジュールは、評価指標より定義される演算を、データセットに対して実行することにより評価指標値を算出するモジュールであり、データセットは、予測器が出力した値である予測値と予測値に対応する実測値とを含むサンプルデータの集合であり、予測器は、説明変数の値を入力とし予測値を出力する関数であり、評価指標値は、予測器が、入力された説明変数の値に対して、どの程度妥当な予測値を出力するかについて評価した結果を示す値であり、評価指標は、少なくとも、第１の種類に属する要素、第２の種類に属する要素、および、第３の種類に属する要素を含んで構成されており、第１の種類に属する要素は、サンプルデータについて評価を行う際に用いられる要素であり、第２の種類に属する要素は、サンプルデータに重みをつける際に用いられる要素であり、第３の種類に属する要素は、第１の種類に属する要素が出力した情報と、第２の種類に属する要素が出力した情報と、に基づいて、複数のサンプルデータに対して統計処理を行う際に用いられる要素であり、第１の処理においては、第１の種類に属する要素のうち特定の要素の指定、第２の種類に属する要素のうち特定の要素の指定、および、第３の種類に属する要素のうち特定の要素の指定を受け付ける処理を実行させ、第２の処理においては、第１の処理において受け付けた要素を含んで構成される評価指標によって定義される演算を、データセットに対して実行する評価モジュールを生成する処理を実行させる、プログラムである。
また、本発明の目的は、上記のプログラムが格納されたコンピュータ読み取り可能な記録媒体によっても達成される。
本発明は、上述した技術的手段により、オペレータが予測器を評価する作業を容易にすることが出来るコンピュータシステムを提供することが出来るという技術的効果を奏する。
本発明の第１の実施形態にかかる評価システム１００の構成を示すブロック図である。 本発明の第１の実施形態にかかるデータセットの一例を示す図である。 本発明の第１の実施形態にかかる格納部１１０が記憶する情報の一例を示す図である。 本発明の第１の実施形態にかかる評価指標値算出部１３０の構成を示すブロック図である。 本発明の第１の実施形態にかかる評価システム１００を実現するハードウェア構成の一例を示す図である。 本発明の第１の実施形態にかかる評価システム１００の動作の一例を示す図である。 本発明の第２の実施形態にかかる評価システム１００Ａの構成を示すブロック図である。 本発明の第３の実施形態にかかる評価システム１００Ｂの構成を示すブロック図である。 本発明の第４の実施形態にかかる評価システム１００Ｃの構成を示すブロック図である。
＜用語の定義＞
理解を容易にするため、以下に示す用語を定義する。
（予測器）：予測器は、説明変数の値を入力とし予測結果を出力とする関数である。
（予測器の評価）：予測器の評価とは、当該予測器が、入力された説明変数の値に対して、どの程度妥当な予測結果を出力するかについての評価である。
（データセット）：データセットは、サンプルデータの集合である。サンプルデータは、予測値と、当該予測値に対応する実績値と、当該サンプルデータを識別するＩＤ(Identifier)とを関連付けた情報である。サンプルデータに含まれる予測値は、予測器が出力した予測結果である。例えばサンプルデータが、ある日の最高気温を示す、予測値と実測値との組である場合、例えばデータセットは、１年分のサンプルデータの集合である。以下の説明においては、理解を容易にするため、データセットと予測器とは、１対１に対応するものとする。ただし、データセットと予測器との対応関係は１対１には限定されない。
（評価指標値）：評価指標値は、予測器が、入力された説明変数の値に対して、どの程度妥当な予測値を出力するかについて評価した結果を示す値である。例えば評価指標値は、予測値と、当該予測値に対応する実績値との乖離に関する統計値である。以下の説明では、評価指標値の値が大きいほど予測器の評価が悪いものとして説明を続ける。ただし、評価指標値の大小と、予測器の評価の良し悪しとの関係は、上記の関係には限定されない。
（評価指標）：評価指標は、データセットを入力とし、評価指標値を出力とする演算を定義する。
（評価モジュール）：評価モジュールは、予測器を評価する目的に用いられるモジュールである。評価モジュールは、評価指標により構成される演算を、データセットに対して実行する。当該演算の結果、評価モジュールは、評価指標値を出力する。
以上、用語を定義した。
＜予測器を評価する作業が煩雑である理由の説明＞
予測器を評価する作業が煩雑である理由を以下に説明する。なお、以下の記載は本発明者の知見に基づくものである。
予測器を評価する作業が煩雑である理由は、予測器を評価する際の指標である評価指標の種類が多いからである。予測器を評価する評価者は、多種の評価指標のそれぞれについて評価モジュールを生成する必要がある。複数の評価モジュールをそれぞれ生成する作業は、非常に煩雑である。さらに評価者は、当該評価モジュールを用いて予測器を評価しなければならない。
以下、より詳細に、予測器を評価する作業が煩雑である理由を説明する。
データマイニングにより得られた知見を例えば事業に活用する場合、どのような事業が行われるかに応じて、データマイニングの予測対象は非常に多岐にわたる。そして、当該事業に特有の事情を鑑みた評価指標を用いて、予測器の評価が行われる必要がある。生鮮食品を販売するスーパーマーケットの経営者と、中古ゴルフクラブを転売する事業者とを具体例に挙げて、それぞれ具体的に説明する。
まず、生鮮食品を販売するスーパーマーケットの経営者を想定する。当該経営者は、データマイニングシステムを利用して、トマトが明日何個売れるかを予測したいと考える。当該データマイニングシステムは、例えば、過去のトマトの売り上げまたは明日の天気などを説明変数の値として予測器に入力する。そして当該予測器は予測結果、すなわち予測値を出力する。データマイニングシステムは、予測器が出力した値を、トマトが明日何個売れるかを示す予測結果として出力する。
生鮮食品の売り上げは、当該生鮮食品の旬などに影響されて、短期間に大きく変動することが珍しくない。
生鮮食品の売り上げに特有のこのような事情を鑑みると、トマトが明日何個売れるかを予測する予測器は、例えば、直近におけるサンプルデータに基づいて評価されることが妥当であると考えられる。例えば、直近１ヶ月におけるサンプルデータに基づいて、予測器が評価されることが妥当であると考えられる。
次に、中古ゴルフクラブを転売する事業者を想定する。当該事業者は、データマイニングシステムを利用して、目の前にある１台の中古ゴルフクラブが市場においてどれだけの価値を有するかを予測したいと考える。当該データマイニングシステムは、例えば、当該中古ゴルフクラブのメーカー、傷の有無、材質または販売年度などを説明変数の値として予測器に入力する。そして当該予測器は予測結果、すなわち予測値を出力する。データマイニングシステムは、予測器が出力した値を、市場価格の予測結果として出力する。
中古ゴルフクラブにおいては、当該中古ゴルフクラブのメーカー、傷の有無、材質または販売年度などから予測される予測値と、当該中古ゴルフクラブの実際の市場価格（実測値）とが、大幅に乖離する場合が珍しくない。例えば、有名選手のサインが入った中古ゴルフクラブ、または、有名選手が使っていた中古ゴルフクラブなどは、非常な高値で流通することが予想される。
中古ゴルフクラブに特有のこのような事情を鑑みると、中古ゴルフクラブの市場価格を予測する予測器は、例えば、予測値と実測値が極端に乖離しているサンプルデータの影響を除外して評価されることが妥当であると考えられる。例えば、複数のサンプルデータのうち、予測値と実測値との乖離が大きい上位５％（パーセント）は無視して、予測器が評価されることが妥当であると考えられる。また、例えば、外れ値の影響を受けづらい中央値に基づいて、予測器が評価されることが妥当であると考えられる。
このように、予測器は、事業に特有の事情を鑑みた様々な種類の評価指標により評価されるべきである。従って、評価指標の種類は膨大になり、評価指標ごとに評価モジュールを生成する作業は煩雑となる。
以下、このような課題を解決可能な本発明の実施形態について、図面を参照して詳細に説明する。
＜第１の実施形態＞
（概要の説明）
本発明者は、予測器を評価する際の指標である評価指標を、複数の要素の組み合わせとして構成することを考えた。評価指標を複数の要素の組み合わせとして構成することにより、要素の再利用が可能となる。すなわち、一度、要素を定義しておけば、当該要素を複数の評価指標について再利用（言い換えると、使いまわし）することができる。従って、評価指標のそれぞれについて評価モジュールを生成する工数を削減することができる。
本発明者は、評価指標を、下記に示す３種類の要素の組み合わせにより構成することを考えた。下記に示す３種類の要素の組み合わせにより評価指標を構成すると、それぞれの要素が複数の評価指標について再利用できる場合が多く見受けられる。この知見は、本発明者が見出した経験則である。
３種類の要素とは、すなわち、LOSSという種類に属する要素、SAMPLINGという種類に属する要素、および、STATISTICという種類に属する要素である。以下、「LOSSという種類に属する要素」を、単に「LOSS」と記載する場合がある。また、「SAMPLINGという種類に属する要素」を、単に「SAMPLING」と記載する場合がある。また、「STATISTICという種類に属する要素」を、単に「STATISTIC」と記載する場合がある。
LOSSは、１つのサンプルデータについて評価を行う要素である。LOSSの典型的な例は、上述した予測値と実測値との乖離の度合いを算出する要素である。
SAMPLINGは、サンプルデータに重みをつける要素である。
STATISTICは、前記LOSSが出力した情報と、前記SAMPLINGが出力した情報と、に基づいて、前記複数のサンプルデータに対して統計処理を行う要素である。
評価指標が、上記３種類の要素の組み合わせにより構成されることで、各要素を、様々な評価指標について使いまわしをすることが可能になる。このため、各評価指標が定義する演算を実行する評価モジュールを生成する作業が容易になる。
（詳細の説明）
図１は、第１の実施形態にかかる評価システムの構成を説明するブロック図である。
図１に示すように、評価システム１００は、格納部１１０と、入力受付部１２０と、評価指標値算出部１３０と、判定部１４０と、出力部１５０と、を備える。格納部１１０は、評価指標を構成する複数の要素を記憶している。入力受付部１２０は、要素を指定する情報の入力を受け付ける。評価指標値算出部１３０は、データセットの入力を受け付ける。評価指標値算出部１３０は、当該データセットに対して、評価指標により定義される演算を実行する。評価指標値算出部１３０は、係る演算によって、評価指標値を算出する。判定部１４０は、当該評価指標値に基づいて、当該データセットに対応する予測器の品質について合否の判定を実行する。出力部１５０は、当該予測器の品質の合否と、当該評価指標値と、を関連付けて出力する。
ここで、データセットについて説明する。図２は、データセットの一例を説明する図である。図２に概念的にテーブルとして例示するデータセットにおいて、当該テーブルの１行に相当する情報が、サンプルデータに相当する。図２に示すように、サンプルデータは、予測値と、当該予測値に対応する実績値と、当該サンプルデータを識別するＩＤと、を関連付けた情報である。図２に示す例では、サンプルデータを識別するＩＤは、日付を示すデータである。図２に示す例では、予測値は、当該日付における予測最高気温である。図２に示す例では、実測値は、当該日付における最高気温の測定値である。図２に示すように、データセットはサンプルデータの集合である。図２に示す予測値は、ある予測器が予測した予測値である。下記の説明においては、理解を容易にするため、データセットと予測器とは、特に断りがない限り１対１に対応するものとする。
また、サンプルデータは、当該サンプルデータを識別するＩＤ、予測値および実測値以外にも、異なる情報が関連付けられていてもよい。例えば、データセットから予測器が生成される際に、当該サンプルデータがテストデータであったのかまたはトレーニングデータであったのかを示す情報が、当該サンプルデータに関連付けされていてもよい。
図３は、格納部１１０が記憶している情報の一例を示す図である。図３において１行に示す情報が、一つの要素に相当する。格納部１１０は、LOSS（図３におけるＩＤ＝１から３までに相当）と、SAMPLING（図３におけるＩＤ＝４から８までに相当）と、STATISTIC（図３におけるＩＤ＝９から１１までに相当）と、を記憶する。上述したように、LOSS、SAMPLINGおよびSTATISTICに属する要素は、いずれも評価指標を構成する要素である。図３に示す例では、さらに、格納部１１０は、SUMMARYという種類に属する要素（図３におけるＩＤ＝１２から１３までに相当）を記憶している。SUMMARYという種類に属する要素についての説明は、後述する。
各要素は、データセットまたはサンプルデータを入力とする関数である。格納部１１０は、要素を識別する情報と、当該要素により定義される演算と、を関連付けて記憶している。図３に示す例では、要素を識別する情報は、１列目に示す「ＩＤ」または３列目に示す「要素の名前」である。当該要素により定義される演算は、紙面の都合上、図３の中では表現しきれない。従って、明細書本文の中において、以下のとおり説明する。
ここから、図３に例示したＩＤ＝１からＩＤ＝１１までに相当する要素について、それぞれ詳細に説明する。なお、下記に述べる１１種類の要素は具体例に過ぎない。下記の説明は、格納部１１０が記憶している要素を限定的に解釈するものではない。
図３においてＩＤ＝１である要素、すなわち「AbsoluteError」について説明する。図３に示すように、「AbsoluteError」はLOSSである。「AbsoluteError」は、個々のサンプルデータに対して、予測値と実測値と差分の絶対値を算出する関数である。
図３においてＩＤ＝２である要素、すなわち「AbnormalValue」について説明する。図３に示すように、「AbnormalValue」はLOSSである。「AbnormalValue」は、個々のサンプルデータに対して、当該サンプルデータの予測値の値が異常値であるか否かを判定する。「AbnormalValue」は、予測値の値が異常値である場合には１を、それ以外の場合には０を出力する。
オペレータは、予測値がとり得る範囲（すなわち、上限値および下限値のうち少なくとも一方）をパラメータとして入力する。「AbnormalValue」は、入力された範囲と、当該サンプルデータの予測値の値と、を比較することにより、当該判定を行う。
例えば、スーパーマーケットにおける明日のトマトの売り上げを予測したい場合を想定する。このとき、トマトの売り上げがとり得る値は正の値である。この場合、オペレータは例えば「０以上」という範囲をパラメータとして入力する。「AbnormalValue」は、サンプルデータの予測値の値が０以上であれば当該サンプルデータに対して１を出力し、サンプルデータの予測値の値が０未満であれば、当該サンプルデータに対して０を出力する。
図３において、ＩＤ＝３である要素、すなわち「SquaredError」について説明する。図３に示すように、「SquaredError」はLOSSである。「SquaredError」は個々のサンプルデータに対して、予測値と実測値との差分の、二乗の値を算出する関数である。
図３において、ＩＤ＝４である要素、すなわち「All」について説明する。図３に示すように、「All」はSAMPLINGである。「All」は、全てのサンプルデータに対して１という値の重みを与える関数である。
図３において、ＩＤ＝５である要素、すなわち「Train」について説明する。図３に示すように、「Train」はSAMPLINGである。「Train」は、あるサンプルデータがトレーニングデータである場合に、当該サンプルデータに対して１という値の重みを与える関数である。「Train」は、また、トレーニングデータではないサンプルデータに対して０という値の重みを与える関数である。
図３において、ＩＤ＝６である要素、すなわち「Test」について説明する。図３に示すように、「Test」はSAMPLINGである。「Test」は、あるサンプルデータがテストデータである場合に、当該サンプルデータに対して１という値の重みを与える関数である。「Train」は、また、テストデータではないサンプルデータに対して０という値の重みを与える関数である。
図３において、ＩＤ＝７である要素、すなわち「Range」について説明する。図３に示すように、「Range」はSAMPLINGである。「Range」は、オペレータから指定された範囲、すなわち、指定された開始ＩＤから終了ＩＤまでの範囲に属するサンプルデータに対して１という値の重みを与える関数である。
図３において、ＩＤ＝８である要素、すなわち「Custom」について説明する。図３に示すように、「Custom」はSAMPLINGである。「Custom」は、オペレータから指定された重み指定ファイルに基づいて、サンプルデータに重みを付与する関数である。
図３において、ＩＤ＝９である要素、すなわち「Median」について説明する。図３に示すように、「Median」はSTATISTICである。「Median」は、重みが０よりも大きいサンプルデータについて、LOSSが出力した値の中央値を出力する関数である。
図３において、ＩＤ＝１０である要素、すなわち「LowerMean」について説明する。図３に示すように、「LowerMean」はSTATISTICである。「LowerMean」は、重みが０よりも大きいサンプルデータについて、LOSSが出力した値を大きい順に並べ、LOSSが出力した値の小さい下位α位または下位α％のサンプルデータのみについて、LOSSが出力した値の平均を算出する関数である。
図３において、ＩＤ＝１１である要素、すなわち「UpperMean」について説明する。図３に示すように、「UpperMean」はSTATISTICである。「UpperMean」は、重みが０よりも大きいサンプルデータについて、LOSSが出力した値を大きい順に並べ、LOSSが出力した値の大きい上位α位また上位α％のサンプルデータのみについて、LOSSが出力した値の平均を算出する関数である。
以上、図３に例示したＩＤ＝１からＩＤ＝１１までに相当する要素について、それぞれ説明した。
次に、評価指標の具体例を説明する。上述したように、評価指標は、LOSS、SAMPLINGおよびSTATISTICという３種類の要素の組み合わせにより構成される。ただし、必ずしも全ての評価指標が、上記３種類の要素の組み合わせにより構成される必要はない。また、３種類の要素以外の要素がさらに組み合わさることにより構成される評価指標があってもよい。
下記に、評価指標の具体例をいくつか説明する。また、当該評価指標がどのような要素の組み合わせにより構成されるかを説明する。下記に示す例は理解を容易にするための具体例に過ぎず、評価標を限定的に解釈するものではない。
評価指標の１つ目の具体例として、「下位９５％誤差率」を説明する。「下位９５％誤差率」は、複数のサンプルデータのそれぞれについて誤差の値（例えば「AbsoluteError」または「SquaredError」の値）を算出し、そして全サンプルデータのうち誤差が大きい上位５％のサンプルデータを除外して、下位９５％のサンプルデータについて誤差の値の平均値を算出することによって得られる。従って、「下位９５％誤差率」は、下記の要素の組み合わせにより構成される。
LOSS: AbsoluteError、
SAMPLING: All、
STATISTIC: LowerMean(0.95)。
評価指標の２つ目の具体例として、「異常値数割合」を説明する。「異常値数割合」は、複数のサンプルデータのそれぞれについて異常値判定を行い、そして全サンプルデータの数量に対して異常値と判定されたサンプルデータの数量の割合を算出することによって得られる。従って、「異常値数割合」は、下記の要素の組み合わせにより構成される。
LOSS: AbnormalValue(0,infinity)、
SAMPLING: All、
STATISTIC: Percentage。
評価指標の３つ目の具体例として、「絶対誤差の中央値」を説明する。「絶対誤差の中央値」は、複数のサンプルデータのそれぞれについて絶対誤差の値を算出し、そして全サンプルデータについて、絶対誤差の値の中央値を算出することによって得られる。従って、「絶対誤差の中央値」は、下記の要素の組み合わせにより構成される。
LOSS: AbsoluteError、
SAMPLING: All、
STATISTIC: Median。
評価指標の４つ目の具体例として、「直近１ヶ月誤差率」を説明する。「直近１ヶ月誤差率」は、直近１ヶ月のサンプルデータについて絶対誤差の値の平均を算出することによって得られる。従って、「直近１ヶ月誤差率」は、下記の要素の組み合わせにより構成される。
LOSS: AbsoluteError、
SAMPLING: Custom(LastOneMonth.csv)、
STATISTIC: Median。
ここで、「LastOneMonth.csv」は、直近１ヶ月誤差率で評価したい予測器に関連付けられたデータセットにおいて、直近一ヶ月分のサンプルデータを指定するファイルである。
以上、理解を容易にするため、評価指標の具体例について説明した。
図１を参照する説明に戻る。入力受付部１２０は、要素を指定する情報の入力を受け付ける。以下に、入力受付部１２０が受け付ける情報を表す書式の一例を示す。評価システム１００のオペレータは、例えば、下記に示すような書式である情報を入力受付部１２０に入力する。
Label, LOSS(param),SAMPLING(param),STATISTIC(param)。
上述した書式におけるLabelは、評価指標の名称を示す。評価指標にどのような名前をつけるかは、オペレータが任意に決定することである。上述した書式におけるLOSSは、LOSSという種類に属する要素を指定する情報（以下、「LOSSを指定する情報」と記載する）を示す。指定された要素がパラメータ（param）を必要とする要素である場合、オペレータは当該パラメータも指定する必要がある。同様に、上述した書式におけるSTATISTICは、STATISTICという種類に属する要素を指定する情報（以下、「STATISTICを指定する情報」と記載する）を示す。上述した書式におけるSAMPLINGは、SAMPLINGという種類に属する要素を指定する情報（以下、「SAMPLINGを指定する情報」と記載する）を示す。要素を指定する情報は、例えば、図３における「ＩＤ」または「要素の名前」である。
例えば、オペレータが、Label_1という名前で、下位９５％誤差率の値を算出するモジュールを作成したい場合を考える。この場合、オペレータは、例えば下記に示すような情報を入力受付部１２０に入力する。
Label_1,AbsoluteError,ALL,LowerMean(0.95)。
また、例えば、オペレータが、Label_2という名前で、直近１ヶ月誤差率の値を算出するモジュールを作成したい場合を考える。この場合、オペレータは、例えば下記に示すような情報を入力受付部１２０に入力する。
Label_2,AbsoluteError,Custom(LastOneMonth.csv),LowerMean(1)。
評価指標値算出部１３０は、データセットの入力を受けると、入力受付部１２０が受け付けた評価指標により定義される演算を、当該データセットに対して実行する。評価指標値算出部１３０は、演算を実行した結果、評価指標値を算出する。
図４は、図１における評価指標値算出部１３０のより詳細な構成を示すブロック図である。図４に示すように、評価指標値算出部１３０は、LOSS算出部１３１と、SAMPLING算出部１３２と、STATISTIC算出部１３３と、を備える。
LOSS算出部１３１は、入力受付部１２０が受け付けた、LOSSを指定する情報に基づいて、格納部１１０を参照する。LOSS算出部１３１は、指定されたLOSSにより定義される演算を、データセットに含まれる各サンプルデータに対して実行する。
SAMPLING算出部１３２は、入力受付部１２０が受け付けた、SAMPLINGを指定する情報に基づいて、格納部１１０を参照する。SAMPLING算出部１３２は、指定されたSAMPLINGにより定義される演算を、データセットを構成する各サンプルデータに対して実行する。
STATISTIC算出部１３３は、入力受付部１２０が受け付けた、STATISTICを指定する情報に基づいて、格納部１１０を参照する。STATISTIC算出部１３３は、LOSS算出部１３１が出力したデータと、SAMPLING算出部１３２が出力したデータと、に対して、指定されたSTATISTICにより定義される演算を実行する。STATISTIC算出部１３３は、この演算の結果である評価指標値の値を出力する。
このように、評価指標値算出部１３０は、評価指標を算出する評価モジュールとして機能する。
なお、LOSS算出部１３１は、SAMPLING算出部１３２の出力を受けて、SAMPLING算出部１３２により重み付けされた特定のサンプルデータに対してのみ、指定されたLOSSにより定義される演算を実行してもよい。
図１を参照する説明に戻る。判定部１４０は、評価指標値算出部１３０が算出した評価指標値に基づいて、予測器の品質を判定する。評価対象である予測器は、評価指標値算出部１３０が受け付けたデータセットに対応する予測器である。判定部１４０は、データセットと予測器との対応関係を、あらかじめ記憶していてもよい。データセットと予測器との対応関係は、オペレータにより明示的に入力されてもよい。
判定部１４０は、例えば閾値と評価指標値とを比較することにより、予測器の品質を判定する。判定部１４０は、予測器の品質を判定した結果、当該予測器の品質が合格であるか不合格であるかを示す情報を出力する。また、判定部１４０は、予測器の品質を判定した結果を、点数やあらかじめ定められたランク等の形式にて表して出力してもよい。
出力部１５０は、当該予測器の品質の合否と、当該評価指標値の値と、を関連付けて出力する。
（評価システム１００のハードウェア構成の一例）
図５は、評価システム１００を実現するハードウェア構成の一例を示す図である。
評価システム１００（コンピュータ）を構成するハードウェアは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１、メモリ２、記憶装置３、通信インターフェース（Ｉ／Ｆ）４を備える。評価システム１００は、入力装置５または出力装置６を備えていてもよい。評価システム１００の機能は、例えばＣＰＵ１が、メモリ２に読み出されたコンピュータプログラム（ソフトウェアプログラム、以下単に「プログラム」と記載する）を実行することにより実現される。実行に際して、ＣＰＵ１は、通信インターフェース４、入力装置５および出力装置６を適宜制御する。
なお、本実施形態および後述する各実施形態を例として説明される本発明は、かかるプログラムが格納されたコンパクトディスク等の不揮発性の記憶媒体８によって構成されてもよい。記憶媒体８が格納するプログラムは、例えばドライブ装置７により読み出される。
評価システム１００が実行する通信は、例えばＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）が提供する機能を使ってアプリケーションプログラムが通信インターフェース４を制御することによって実現される。入力装置５は、例えばキーボード、マウスまたはタッチパネルである。出力装置６は、例えばディスプレイである。評価システム１００は、２つ以上の物理的に分離した装置が有線または無線で接続されることによって構成されていてもよい。
図５に示すハードウェア構成例は、後述する各実施形態にも適用可能である。なお、評価システム１００は専用の装置であってもよい。なお、評価システム１００およびその各機能ブロックのハードウェア構成は、上述の構成に限定されない。
（評価システム１００の動作の説明）
評価システム１００の動作の一例を、図６に示すフローチャートを用いて説明する。
入力受付部１２０は、要素の指定を受け付ける（ステップＳ１０１）。評価指標値算出部１３０は、入力受付部１２０が受け付けた要素に基づいて格納部１１０を参照する（ステップＳ１０２）。評価指標値算出部１３０は、データセットに対して評価指標により定義される演算を実行する。これにより評価指標値算出部１３０は、評価指標値を算出する（ステップＳ１０３）。判定部１４０は、評価指標値に基づいて、予測器の品質について判定を行う（ステップＳ１０４）。出力部１５０は、判定の結果と、評価指標値とを出力する（ステップＳ１０５）。
（第１の実施形態が奏する効果）
評価システム１００によれば、予測器を評価する作業を容易にすることができる。その理由を、具体例を用いて説明する。
例えばオペレータが、以下の作業を行うことを想定する。すなわち、オペレータは、まず、第１のデータセットに対応する第１の予測器を「下位９５％誤差率」という評価指標で評価する。オペレータは、次に、第２のデータセットに対応する第２の予測器を「直近１ヶ月誤差率」という評価指標で評価する。
オペレータが評価システム１００を利用しない場合、オペレータは、「下位９５％誤差率」を算出する評価モジュールと、「直近１ヶ月誤差率」を算出する評価モジュールとを、それぞれ別々に作成することになる。そして、オペレータは、それぞれの評価モジュールを用いて、それぞれの評価指標値を算出する。これはオペレータにとって煩雑な作業である。
オペレータが評価システム１００を利用する場合、オペレータは、評価指標を構成する要素を指定する情報を、入力受付部１２０に入力する。オペレータから見ると、この操作を実行するだけで、評価指標値算出部１３０が所望の評価モジュールとして機能するように見える。このように、評価システム１００によれば、予測器を評価する作業を容易にすることができる。
また、例えば、上述したように、「下位９５％誤差率」を構成するLOSSと、「直近１ヶ月誤差率」を構成するLOSSとは、共に「AbsoluteError」であり、共通している。また、「下位９５％誤差率」を構成するSTATISTIC と、「直近１ヶ月誤差率」を構成するSTATISTICとは、共に「LowerMean」であり、共通している。このように、評価指標を、LOSS、SAMPLINGおよびSTATISTICという３種類の要素の組み合わせにより構成することで、各要素を使いまわし出来る場合が多くなる。これは本発明者が新規に見出した経験則である。各要素を使いまわし出来ることにより、評価システム１００は、予測器を評価する作業を容易にすることができる。
＜第２の実施形態＞
次に、上述した第１の実施形態を基本とする第２の実施形態について説明する。図７は、第２の実施形態にかかる評価システム１００Ａの構成を説明するブロック図である。図１に示した構成と実質的に同一の構成については、同様の符号を付与し、かかる同一の構成に関する説明を省略する。図７に示す評価システム１００Ａは、判定部１４０に代えて、判定部１４０Ａを備える。
（概要の説明）
予測器が出力する予測結果を事業に活用することを考える。この際に、本発明者が見出した知見によれば、当該予測器について異なる複数の観点から評価することが望ましい。第２の実施形態にかかる評価システム１００Ａは、一つの予測器を、異なる複数の観点から評価する。
（詳細の説明）
ここで、図３に示すSUMMARYという種類に属する要素を説明する。以下、「SUMMARYという種類に属する要素」を、単に「SUMMARY」と記載する場合がある。SUMMARYは、第１の実施形態において説明した、LOSS、SAMPLINGおよびSTATISTICの組み合わせにより構成される評価指標を、複数組み合わせる関数である。
図３には、SUMMARYという種類に属する要素の具体例として、「AndAll」（ＩＤ＝１２）および「Wsum」（ＩＤ＝１３）という要素が示されている。「AndAll」および「Wsum」はSUMMARYの具体例に過ぎず、SUMMARYを限定的に解釈するものではない。
まず、「AndAll」について説明する。「AndAll」は、複数の評価指標のうち、全ての評価指標が基準を満たしているか否かを判定する関数である。
オペレータが「AndAll」を用いて予測器を評価したい場合、オペレータは、例えば下記に示す情報を入力受付部１２０に入力する。
Label_4, AndAll(Label_1,Label_2,Label_3,3,0,2)、
Label_1,AbsoluteError,ALL,LowerMean(0.95)、
Label_2,AbnormalValue(0,infinity),Percentage、
Label_3,AbsoluteError,Custom(LastOneMonth.csv),LowerMean(1)。
上記の情報により構成される「AndAll」(Label_4)は、ある予測器について、「下位９５％誤差率(Label_1)」の値が３未満、かつ、「異常値数割合(Label_2)」の値が０以下、かつ、「直近１ヶ月誤差率(Label_3)」の値が２未満である場合、１という値を出力する。これにより、一つの予測器を、下位９５％誤差率、異常値数割合および直近１ヶ月誤差率という、３つの異なる観点から予測器を評価することが可能になる。
入力受付部１２０が「AndAll」を受け付けた場合における、評価システム１００Ａの動作の一例を簡単に説明する。
入力受付部１２０は、上記の情報を受け付ける。
評価指標値算出部１３０は、入力されたデータセットに対して「下位９５％誤差率」の値を算出する。評価指標値算出部１３０は、当該データセットに対して「異常値数割合」の値も算出する。評価指標値算出部１３０は、当該データセットに対して「直近１ヶ月誤差率」の値も算出する。
判定部１４０Ａは、評価指標値算出部１３０から、下位９５％誤差率の値、異常値数割合の値および直近１ヶ月誤差率の値を受け付ける。判定部１４０Ａは、格納部１１０を参照し、「AndAll」により定義される演算を参照する。また、判定部１４０Ａは、入力受付部１２０が受け付けた基準の値を取得する。上記の例では、基準の値は、下位９５％誤差率の値に対しては３であり、異常値数割合の値に対しては０であり、直近１ヶ月誤差率の値に対しては２である。判定部１４０Ａは、それぞれの評価指標の値がそれぞれの基準を満たしているか否かを判定する。
判定部１４０Ａは、全ての評価指標の値がそれぞれの基準を満たしていれば、予測器の品質は合格である旨の判定結果を出力する。判定部１４０Ａは、基準を満たしていない評価指標が一つでもあれば、予測器の品質は不合格である旨の判定結果を出力する。
以上、SUMMARYの一例である「AndAll」について説明した。
次に、SUMMARYの一例である「Wsum」について説明する。「Wsum」は、ある予測器について複数の観点から評価指標値を算出し、当該複数の評価指標値の重み付き平均を算出する関数である。オペレータが「Wsum」を用いて予測器を評価したい場合、オペレータは、例えば下記に示す情報を入力受付部１２０に入力する。
Label_3, Wsum(Label_1,Label_2,2,1)、
Label_1,AbsoluteError,ALL,LowerMean(0.95)、
Label_2,AbsoluteError,Custom(Label_2.csv),LowerMean(1)。
上記の情報により構成される「Wsum」(Label_3)は、ある予測器について、「下位９５％誤差率(Label_1)」の値と「直近１ヶ月誤差率(Label_2)」の値とをそれぞれ算出し、「下位９５％誤差率」の値と「直近１ヶ月誤差率」の値とにそれぞれ２対１の重みをつけて両者の平均の値を算出する。これにより、一つの予測器を、下位９５％誤差率および直近１ヶ月誤差率という、２つの異なる観点から予測器を評価することが可能になる。
入力受付部１２０が「Wsum」を受け付けた場合における、評価システム１００Ａの動作の一例を簡単に説明する。
入力受付部１２０は、上記の情報を受け付ける。
評価指標値算出部１３０は、入力されたデータセットに対して「下位９５％誤差率」の値を算出する。評価指標値算出部１３０は、当該データセットに対して「直近１ヶ月誤差率」の値も算出する。
判定部１４０Ａは、評価指標値算出部１３０から、下位９５％誤差率の値および直近１ヶ月誤差率の値を受け付ける。判定部１４０Ａは、格納部１１０を参照し、「Wsum」により定義される演算を参照する。また、判定部１４０Ａは、入力受付部１２０が受け付けた、重みを示す値を取得する。上記の例では、下位９５％誤差率の値に対して重みを示す値は２であり、異常値数割合の値に対して重みを示す値は１である。
判定部１４０Ａは、下位９５％誤差率の値と異常値数割合の値の重み付き平均の値を算出する。判定部１４０Ａは、当該重み付き平均の値に基づいて、予測器の品質が合格であるか不合格であるかを判定する。
以上、SUMMARYの一例である「Wsum」について説明した。
（第２の実施形態が奏する効果）
評価システム１００Ａによれば、一つの予測器を、異なる複数の観点から評価することが可能になる。その理由は、判定部１４０Ａが、SUMMARYを用いて予測器の品質を判定するからである。
＜第３の実施形態＞
次に、上述した第１の実施形態を基本とする第３の実施形態について説明する。図８は、第３の実施形態にかかる評価システム１００Ｂの構成を説明するブロック図である。図１に示した構成と実質的に同一の構成については、同様の符号を付与し、かかる同一の構成に関する説明を省略する。
図８に示す評価システム１００Ｂは、評価指標値算出部１３０に代えて、モジュール生成部１６０Ｂを備える。
モジュール生成部１６０Ｂは、入力受付部１２０が受け付けた要素に基づいて格納部１１０を参照する。モジュール生成部１６０Ｂは、入力受付部１２０が受け付けたLOSS、SAMPLINGおよびSTATISTICに基づいて、当該要素の組み合わせにより構成される評価指標を算出する評価モジュールを生成する。生成された評価モジュールは、例えば図示しない記憶部に記憶されてもよい。
オペレータは、当該評価モジュールに対してデータセットを入力する。評価モジュールは、当該データセットに対して、評価指標により定義される演算を実行する。評価モジュールはこれにより、評価指標値を算出する。
第３の実施形態にかかる評価システム１００Ｂによれば、評価モジュールを容易に生成することができる。
＜第４の実施形態＞
次に、第４の実施形態について説明する。図９は、第４の実施形態にかかる評価システム１００Ｃの構成を説明するブロック図である。図９に示すように、評価システム１００Ｃは、入力受付部１２０Ｃと、評価指標値算出部１３０Ｃと、を備える。
入力受付部１２０Ｃは、評価指標を構成する要素の指定を受け付ける。
評価指標値算出部１３０Ｃは、入力されたデータセットに対して評価指標値を算出する。
データセットは、予測器が出力した値である予測値と前記予測値に対応する実測値との組であるサンプルデータの集合である。予測器は、説明変数の値を入力とし予測値を出力する関数である。評価指標値は、予測器が、入力された説明変数の値に対して、どの程度妥当な予測値を出力するかについての評価の値である。評価指標は、複数の要素の組み合わせにより構成され、前記複数の要素は少なくとも、第１の種類に属する要素、第２の種類に属する要素、および、第３の種類に属する要素の、３つの要素を含む。
第１の種類に属する要素は、一つの前記サンプルデータについて評価を行う際に用いられる要素である。第２の種類に属する要素は、前記サンプルデータに重みをつける際に用いられる要素である。第３の種類に属する要素は、前記第１の種類に属する要素が出力した情報と、前記第２の種類に属する要素が出力した情報と、に基づいて、前記複数のサンプルデータに対して統計処理を行う際に用いられる要素である。
入力受付部１２０Ｃは、第１の種類に属する要素のうち、特定の要素の指定を受け付ける。入力受付部１２０Ｃは、第２の種類に属する要素のうち、特定の要素の指定を受け付ける。入力受付部１２０Ｃは、第３の種類に属する要素のうち、特定の要素の指定を受け付ける。
評価指標値算出部１３０Ｃは、入力受付部１２０Ｃが受け付けた要素の組み合わせにより構成される評価指標に基づいて、前記評価指標値を算出する。
上述した各実施の形態および具体例は、適宜組み合わせて実施されることが可能である。
各ブロック図に示したブロック分けは、説明の便宜上から表された構成である。各実施形態を例に説明された本発明は、その実装に際して、各ブロック図に示した構成には限定されない。
また、上述した図面参照符号は、理解を助けるための一例として各要素に便宜上付記したものであり、本発明を図示の態様に限定することを意図するものではない。
以上、本発明を実施するための形態について説明したが、上記実施の形態は本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。本発明はその趣旨を逸脱することなく変更、改良され得ると共に、本発明にはその等価物も含まれる。
この出願は、２０１４年３月１０日に出願された日本出願特願２０１４−０４６３１４を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、データマイニングに応用することができる。
１ ＣＰＵ
２ メモリ
３ 記憶装置
４ 通信インターフェース
５ 入力装置
６ 出力装置
７ ドライブ装置
８ 記憶媒体
１００ 評価システム
１００Ａ 評価システム
１００Ｂ 評価システム
１００Ｃ 評価システム
１１０ 格納部
１２０ 入力受付部
１２０Ｃ 入力受付部
１３０ 評価指標値算出部
１３０Ｃ 評価指標値算出部
１３１ LOSS算出部
１３２ SAMPLING算出部
１３３ STATISTIC算出部
１４０ 判定部
１４０Ａ 判定部
１５０ 出力部
１６０Ｂ モジュール生成部

Claims (14)

  1. 評価指標を構成する要素の指定を受け付ける入力受付手段と、
    データセットに対して評価指標値を算出する評価指標算出手段と、を備え、
    前記データセットは、予測器が出力した値である予測値と前記予測値に対応する実測値とを含むサンプルデータの集合であり、
    前記予測器は、説明変数の値を入力とし予測値を出力する関数であり、
    前記評価指標値は、予測器が、入力された説明変数の値に対して、どの程度妥当な予測値を出力するかについて評価した結果を示す値であり、
    前記評価指標は、少なくとも、第１の種類に属する要素、第２の種類に属する要素、および、第３の種類に属する要素とを含んで構成されており、
    前記第１の種類に属する要素は、前記サンプルデータについて評価を行う際に用いられる要素であり、
    前記第２の種類に属する要素は、前記サンプルデータに重みをつける際に用いられる要素であり、
    前記第３の種類に属する要素は、前記第１の種類に属する要素が出力した情報と、前記第２の種類に属する要素が出力した情報と、に基づいて、前記複数のサンプルデータに対して統計処理を行う際に用いられる要素であり、
    前記入力受付手段は、前記第１の種類に属する要素のうち特定の要素の指定、前記第２の種類に属する要素のうち特定の要素の指定、および、前記第３の種類に属する要素のうち特定の要素の指定を受け付け、
    前記評価指標算出手段は、前記入力受付手段が受け付けた要素を含んで構成される評価指標に基づいて、前記評価指標値を算出する、
    評価システム。
  2. 前記評価指標算出手段は、前記評価指標により定義される演算を、前記データセットに対して実行することにより前記評価指標値を算出する、
    請求項１に記載の評価システム。
  3. 前記評価指標値と、基準とに基づいて、前記予測器が所望の性能を有するか否かを判定する判定手段をさらに備える、
    請求項１または２に記載の評価システム。
  4. 前記入力受付手段は、第１の評価指標および第２の評価指標について、前記第１の種類に属する要素のうち特定の要素の指定、前記第２の種類に属する要素のうち特定の要素の指定、および、前記第３の種類に属する要素のうち特定の要素の指定を受け付け、
    前記評価指標算出手段は、前記第１の評価指標により定義される演算を前記データセットに対して実行することにより第１の評価指標値を算出し、前記第２の評価指標により定義される演算を前記データセットに対して実行することにより第２の評価指標値を算出し、
    前記判定手段は、前記第１の評価指標値および前記第２の評価指標値に基づいて、前記予測器が所望の性能を有するか否かを判定する、
    請求項３に記載の評価システム。
  5. 前記評価システムはさらに、
    前記第１の種類に属する複数の要素と、前記第２の種類に属する複数の要素と、前記第３の種類に属する複数の要素と、をそれぞれ格納する格納手段を備え、
    前記評価指標算出手段は、前記格納手段を参照することにより前記演算を実行する
    請求項１から４までのいずれかに記載の評価システム。
  6. 評価指標を構成する要素の指定を受け付ける入力受付手段と、
    評価モジュールを生成する評価モジュール生成手段と、を備え、
    前記評価モジュールは、前記評価指標より定義される演算を、データセットに対して実行することにより評価指標値を算出するモジュールであり、
    前記データセットは、予測器が出力した値である予測値と前記予測値に対応する実測値とを含むサンプルデータの集合であり、
    前記予測器は、説明変数の値を入力とし予測値を出力する関数であり、
    前記評価指標値は、予測器が、入力された説明変数の値に対して、どの程度妥当な予測値を出力するかについて評価した結果を示す値であり、
    前記評価指標は、少なくとも、第１の種類に属する要素、第２の種類に属する要素、および、第３の種類に属する要素とを含んで構成されており、
    前記第１の種類に属する要素は、前記サンプルデータについて評価を行う際に用いられる要素であり、
    前記第２の種類に属する要素は、前記サンプルデータに重みをつける際に用いられる要素であり、
    前記第３の種類に属する要素は、前記第１の種類に属する要素が出力した情報と、前記第２の種類に属する要素が出力した情報と、に基づいて、前記複数のサンプルデータに対して統計処理を行う際に用いられる要素であり、
    前記入力受付手段は、第１の種類に属する要素のうち特定の要素の指定、第２の種類に属する要素のうち特定の要素の指定、および、第３の種類に属する要素のうち特定の要素の指定を受け付け、
    前記評価モジュール生成手段は、前記入力受付手段が受け付けた要素を含んで構成される評価指標によって定義される演算を、前記データセットに対して実行する評価モジュールを生成する、
    評価システム。
  7. 前記評価システムはさらに、
    前記第１の種類に属する複数の要素と、前記第２の種類に属する複数の要素と、前記第３の種類に属する複数の要素と、をそれぞれ格納する格納手段を備え、
    前記評価モジュール生成手段は、前記格納手段を参照することにより前記評価モジュールを生成する、
    請求項６に記載の評価システム。
  8. 前記入力受付手段は、前記格納手段に格納されている複数の要素のうち特定の要素の指定を受け付ける、
    請求項５または７に記載の評価システム。
  9. 前記入力受付手段は、
    前記評価指標を識別する名称と、前記第１の種類に属する要素のうち特定の要素の指定と、前記第２の種類に属する要素のうち特定の要素の指定と、前記第３の種類に属する要素のうち特定の要素の指定と、が関連付けられた情報の入力を受け付ける、
    請求項１から８までのいずれかに記載の評価システム。
  10. 前記第１の種類に属する要素は、前記サンプルデータについて前記予測値と前記実測値との乖離の度合いを算出する要素である、
    請求項１から９までのいずれかに記載の評価システム。
  11. 評価指標を構成する要素の指定を受け付け、
    データセットに対して評価指標値を算出し、
    前記データセットは、予測器が出力した値である予測値と前記予測値に対応する実測値とを含むサンプルデータの集合であり、
    前記予測器は、説明変数の値を入力とし予測値を出力する関数であり、
    前記評価指標値は、予測器が、入力された説明変数の値に対して、どの程度妥当な予測値を出力するかについての評価の値であり、
    前記評価指標は、少なくとも、第１の種類に属する要素、第２の種類に属する要素、および、第３の種類に属する要素とを含んで構成されており、
    前記第１の種類に属する要素は、前記サンプルデータについて評価を行う際に用いられる要素であり、
    前記第２の種類に属する要素は、前記サンプルデータに重みをつける際に用いられる要素であり、
    前記第３の種類に属する要素は、前記第１の種類に属する要素が出力した情報と、前記第２の種類に属する要素が出力した情報と、に基づいて、前記複数のサンプルデータに対して統計処理を行う際に用いられる要素であり、
    前記評価指標を構成する要素の指定の受付に際しては、第１の種類に属する要素のうち特定の要素の指定、第２の種類に属する要素のうち特定の要素の指定、および、第３の種類に属する要素のうち特定の要素の指定を受け付け、
    前記評価指標値の算出に際しては、前記受け付けた要素を含んで構成される評価指標に基づいて、前記評価指標値を算出する、
    評価方法。
  12. コンピュータに、
    評価指標を構成する要素の指定を受け付ける第１の処理と、
    データセットに対して評価指標値を算出する第２の処理と、を実行させるプログラムであって、
    前記データセットは、予測器が出力した値である予測値と前記予測値に対応する実測値とを含むサンプルデータの集合であり、
    前記予測器は、説明変数の値を入力とし予測値を出力する関数であり、
    前記評価指標値は、予測器が、入力された説明変数の値に対して、どの程度妥当な予測値を出力するかについての評価の値であり、
    前記評価指標は、少なくとも、第１の種類に属する要素、第２の種類に属する要素、および、第３の種類に属する要素とを含んで構成されており、
    前記第１の種類に属する要素は、前記サンプルデータについて評価を行う際に用いられる要素であり、
    前記第２の種類に属する要素は、前記サンプルデータに重みをつける際に用いられる要素であり、
    前記第３の種類に属する要素は、前記第１の種類に属する要素が出力した情報と、前記第２の種類に属する要素が出力した情報と、に基づいて、前記複数のサンプルデータに対して統計処理を行う際に用いられる要素であり、
    前記第１の処理においては、前記第１の種類に属する要素のうち特定の要素の指定、前記第２の種類に属する要素のうち特定の要素の指定、および、前記第３の種類に属する要素のうち特定の要素の指定を受け付ける処理を実行させ、
    前記第２の処理においては、前記第１の処理において受け付けた要素を含んで構成される評価指標に基づいて、前記評価指標値を算出する処理を実行させるプログラムを格納した、
    コンピュータ読み取り可能な記録媒体。
  13. コンピュータに、
    評価指標を構成する要素の指定を受け付ける第１の処理と、
    評価モジュールを生成する第２の処理と、を実行させるプログラムであって、
    前記評価モジュールは、前記評価指標より定義される演算を、データセットに対して実行することにより評価指標値を算出するモジュールであり、
    前記データセットは、予測器が出力した値である予測値と前記予測値に対応する実測値とを含むサンプルデータの集合であり、
    前記予測器は、説明変数の値を入力とし予測値を出力する関数であり、
    前記評価指標値は、予測器が、入力された説明変数の値に対して、どの程度妥当な予測値を出力するかについて評価した結果を示す値であり、
    前記評価指標は、少なくとも、第１の種類に属する要素、第２の種類に属する要素、および、第３の種類に属する要素とを含んで構成されており、
    前記第１の種類に属する要素は、前記サンプルデータについて評価を行う際に用いられる要素であり、
    前記第２の種類に属する要素は、前記サンプルデータに重みをつける際に用いられる要素であり、
    前記第３の種類に属する要素は、前記第１の種類に属する要素が出力した情報と、前記第２の種類に属する要素が出力した情報と、に基づいて、前記複数のサンプルデータに対して統計処理を行う際に用いられる要素であり、
    前記第１の処理においては、前記第１の種類に属する要素のうち特定の要素の指定、前記第２の種類に属する要素のうち特定の要素の指定、および、前記第３の種類に属する要素のうち特定の要素の指定を受け付け、
    前記第２の処理においては、前記第１の処理において受け付けた要素を含んで構成される評価指標によって定義される演算を、前記データセットに対して実行する評価モジュールを生成するプログラムを格納した、
    コンピュータ読み取り可能な記録媒体。
  14. コンピュータに、
    評価指標を構成する要素の指定を受け付ける第１の処理と、
    評価モジュールを生成する第２の処理と、を備え、
    前記評価モジュールは、前記評価指標より定義される演算を、データセットに対して実行することにより評価指標値を算出するモジュールであり、
    前記データセットは、予測器が出力した値である予測値と前記予測値に対応する実測値とを含むサンプルデータの集合であり、
    前記予測器は、説明変数の値を入力とし予測値を出力する関数であり、
    前記評価指標値は、予測器が、入力された説明変数の値に対して、どの程度妥当な予測値を出力するかについて評価した結果を示す値であり、
    前記評価指標は、少なくとも、第１の種類に属する要素、第２の種類に属する要素、および、第３の種類に属する要素とを含んで構成されており、
    前記第１の種類に属する要素は、前記サンプルデータについて評価を行う際に用いられる要素であり、
    前記第２の種類に属する要素は、前記サンプルデータに重みをつける際に用いられる要素であり、
    前記第３の種類に属する要素は、前記第１の種類に属する要素が出力した情報と、前記第２の種類に属する要素が出力した情報と、に基づいて、前記複数のサンプルデータに対して統計処理を行う際に用いられる要素であり、
    前記第１の処理においては、前記第１の種類に属する要素のうち特定の要素の指定、前記第２の種類に属する要素のうち特定の要素の指定、および、前記第３の種類に属する要素のうち特定の要素の指定を受け付ける処理を実行させ、
    前記第２の処理においては、前記第１の処理において受け付けた要素を含んで構成される評価指標によって定義される演算を、前記データセットに対して実行する評価モジュールを生成する処理を実行させるプログラムを格納した、
    コンピュータ読み取り可能な記録媒体。
JP2016507340A 2014-03-10 2015-03-03 評価システム、評価方法およびコンピュータ読み取り可能な記憶媒体 Pending JPWO2015136885A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014046314 2014-03-10
JP2014046314 2014-03-10
PCT/JP2015/001100 WO2015136885A1 (ja) 2014-03-10 2015-03-03 評価システム、評価方法およびコンピュータ読み取り可能な記憶媒体

Publications (1)

Publication Number Publication Date
JPWO2015136885A1 true JPWO2015136885A1 (ja) 2017-04-06

Family

ID=54071344

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016507340A Pending JPWO2015136885A1 (ja) 2014-03-10 2015-03-03 評価システム、評価方法およびコンピュータ読み取り可能な記憶媒体

Country Status (3)

Country Link
US (1) US10402736B2 (ja)
JP (1) JPWO2015136885A1 (ja)
WO (1) WO2015136885A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017072869A1 (ja) * 2015-10-28 2017-05-04 株式会社日立製作所 施策評価システムおよび施策評価方法
CN109255724B (zh) * 2018-09-13 2022-02-11 北京工商大学 一种基于多因子和ahp-e模型的农药残留污染评价方法
CN109636110A (zh) * 2018-11-09 2019-04-16 中国电力科学研究院有限公司 一种获取继电保护装置运行状态的方法及装置
CN111797079A (zh) * 2019-04-09 2020-10-20 Oppo广东移动通信有限公司 数据处理方法、装置、存储介质及电子设备
CN114219220B (zh) * 2021-11-18 2022-12-09 中国电子产品可靠性与环境试验研究所（（工业和信息化部电子第五研究所）（中国赛宝实验室）） 人机工效评估方法、系统、计算机设备和存储介质

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07262172A (ja) * 1994-03-18 1995-10-13 Fujitsu Ltd データ分析装置
JP2001306999A (ja) 2000-02-18 2001-11-02 Fujitsu Ltd データ解析装置およびデータ解析方法
US7124054B2 (en) * 2002-06-28 2006-10-17 Microsoft Corporation System and method for mining model accuracy display
US7769103B2 (en) * 2005-09-15 2010-08-03 Powerwave Technologies, Inc. Amplifier system employing analog polynomial predistortion with sub-nyquist digital adaptation
JP4833934B2 (ja) * 2007-07-31 2011-12-07 日本電信電話株式会社 開口率設定方法、開口率設定装置、開口率設定プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
US8095498B2 (en) * 2008-12-17 2012-01-10 International Business Machines Corporation Data mining model interpretation, optimization, and customization using statistical techniques
WO2016010601A2 (en) * 2014-04-23 2016-01-21 The Florida State University Research Foundation, Inc. Adaptive nonlinear model predictive control using a neural network and input sampling
WO2017072869A1 (ja) * 2015-10-28 2017-05-04 株式会社日立製作所 施策評価システムおよび施策評価方法

Also Published As

Publication number Publication date
WO2015136885A1 (ja) 2015-09-17
US20160371596A1 (en) 2016-12-22
US10402736B2 (en) 2019-09-03

Similar Documents

Publication Publication Date Title
WO2015136885A1 (ja) 評価システム、評価方法およびコンピュータ読み取り可能な記憶媒体
JP6531821B2 (ja) 予測モデル更新システム、予測モデル更新方法および予測モデル更新プログラム
US10839314B2 (en) Automated system for development and deployment of heterogeneous predictive models
JP2019075159A (ja) 学習モデル選択システム、学習モデル選択方法およびプログラム
JP5373870B2 (ja) 予測装置、予測方法、及び、プログラム
WO2014199920A1 (ja) 予測関数作成装置、予測関数作成方法、及びコンピュータ読み取り可能な記録媒体
KR20170060603A (ko) 특허 라이센스 대상기업 예측 방법 및 시스템
WO2016151620A1 (ja) シミュレートシステム、シミュレート方法およびシミュレート用プログラム
JP6094595B2 (ja) 情報システム構築支援装置、情報システム構築支援方法および情報システム構築支援プログラム
JP6704089B2 (ja) ライブラリ検索装置、ライブラリ検索システム、及びライブラリ検索方法
WO2014054231A1 (ja) 情報システム構築支援装置、情報システム構築支援方法および記憶媒体
JP6399206B2 (ja) 推定器管理システム
CN105095616A (zh) 数据分析装置、数据分析方法
JP6617605B2 (ja) 需要量予測プログラム、需要量予測方法、及び情報処理装置
JP6151435B2 (ja) 倉庫収益シミュレーション装置
JP6324124B2 (ja) 予測システム、予測方法、および予測プログラム
Le et al. The selection of strategic alliance partner in Vietnam garment industry using Grey theory and DEA
WO2019053828A1 (ja) 情報分析装置、情報分析方法および情報分析プログラム
JP6018852B2 (ja) 要因分析・表示方法及びシステム
US11586947B2 (en) Visualization system, visualization method, and visualization program
WO2022254607A1 (ja) 情報処理装置、差分抽出方法、及び非一時的なコンピュータ可読媒体
JP6849084B2 (ja) 情報分析装置、情報分析方法および情報分析プログラム
Abdujabbar et al. Experimental Results of Econometric Modeling of Economic Processes
JP2012185726A (ja) シミュレーション用データ生成システム、方法およびプログラム
JP2016062300A (ja) ソースコード生成装置、ソースコード生成方法およびソースコード生成プログラム