JPWO2016203928A1 - データ予測装置、データ予測方法、及びプログラム - Google Patents

データ予測装置、データ予測方法、及びプログラム Download PDF

Info

Publication number
JPWO2016203928A1
JPWO2016203928A1 JP2017524777A JP2017524777A JPWO2016203928A1 JP WO2016203928 A1 JPWO2016203928 A1 JP WO2016203928A1 JP 2017524777 A JP2017524777 A JP 2017524777A JP 2017524777 A JP2017524777 A JP 2017524777A JP WO2016203928 A1 JPWO2016203928 A1 JP WO2016203928A1
Authority
JP
Japan
Prior art keywords
prediction
data
accuracy
data prediction
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017524777A
Other languages
English (en)
Inventor
一道 佐藤
一道 佐藤
山本 浩司
浩司 山本
太一 河野
太一 河野
恵 竹下
恵 竹下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Publication of JPWO2016203928A1 publication Critical patent/JPWO2016203928A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/04Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Computational Linguistics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

データ予測装置は、それぞれが適用条件及び優先順位を有する複数のデータ予測方式のうち、過去の観測データの集合によって満たされる適用条件を有するデータ予測方式の中で優先順位が最も高い第1のデータ予測方式を利用して、前記観測データの集合に基づいて、次の観測データの予測値を算出する予測部と、次の観測データの入力に応じ、前記予測値と当該観測データとを比較して、前記第1のデータ予測方式の精度を算出する精度算出部と、前記精度算出部によって算出された精度に基づいて、前記第1のデータ予測方式の優先順位を変更する変更部と、を有することで、複数のデータ予測方式の中から予測精度が高くなるような方式を選択可能とする。

Description

本発明は、データ予測装置、データ予測方法、及びプログラムに関する。
過去に観測されたデータから次に観測されるデータを予測するデータ予測方式として、様々な技術が提案されている。例えば、多変量解析の一つである重回帰分析は、複数のパラメータ変数が与えられたとき、ある変数をその他の変数を用いて説明するためのモデルであり、データ予測方式として利用されている。
ここで、例として、あるユーザが、あるインターネットサービスを利用するときのスループット(単位時間あたりのデータ転送量)を予測することを考える。簡単のため、スループットは以下の3つのパラメータから推定(説明)可能であるとする。また、以下のパラメータはそれぞれ5つの要素を持つものとする。
1.利用時間帯:T={t1,t2,t3,t4,t5}
2.利用場所:L={l1,l2,l3,l4,l5}
3.利用サービス:S={s1,s2,s3,s4,s5}
これらの情報を、ユーザがインターネットサービスを利用するごとに図1に示すよう記憶しておき、スループットを上記T、L、Sの組ごとの平均値を用いて予測するものとする。例えば、図1のように観測されたデータにおいて、時間帯t1、場所l1、サービスs1のスループットの予測値は(1000+1100)÷2=1050となる。
IPレピュテーションの統合方法,森達哉,佐藤一道,高橋洋介,木村達明,石橋圭介,インターネットアーキテクチャ研究会,2011 KY法の展開(二クラス分類および重回帰),日本計算機統計学会シンポジウム論文集 (26),9-12,2012-11-01,日本計算機統計学会
しかしながら、時間帯、場所、サービスの情報の全ての組み合わせは膨大であり、全ケースを網羅することは困難である。すなわち、データ予測のための過去の観測データのサンプル数が不足するという課題が存在する。例えば、図1に示されるように観測されたデータにおいては、時間帯t1、場所l3、サービスs1のデータは存在せず、このケースについて、スループットを予測するのは困難である。
この課題を解決するためには、直感的には、利用パラメータの粒度を変えた複数の予測方式を用いることが考えられる。例えば、上記の3つのパラメータの場合、{T,L,S}全てを用いた予測方式、異なる2つの組{T,L}、{T,S}、{L,S}を用いた予測方式、1つのみのパラメータ{T}、{L}のみを用いた予測方式が考えられる。このように用いるパラメータの粒度を変えることにより、予測に利用可能なサンプルデータ数が増え、予測が可能となる。しかしながら、利用パラメータ数を減らしてしまうと、予測精度が低くなってしまうという課題がある。例えば、図1において場所Lのみを考慮した予測方式を考えたとき、場所l5で観測されたスループットは、5000又は500とばらつきが大きく、予測値が大きく外れてしまうことが考えられる。
なお、非特許文献1には、電子メールのスパム判定のためのIPレピュテーション技術に関し、複数のIPレピュテーションデータベースの分類精度を同時に考慮することでスパム判定精度を向上させる技術が記載されている。しかし、本願発明は、複数の方式の適用優先順序を決定することを目的とした技術であり、非特許文献1のようにそれぞれの方式の精度を同時に考慮するものとは異なる技術である。
また、非特許文献2には、複数の入力パラメータが与えられたとき、回帰式への入力パラメータの組み合わせを、最も予測精度が高くなるよう求める技術が記載されている。しかし、本願発明は、過去の予測精度をもとに、データに適用する回帰式の適用順を求めるものであり、非特許文献2に記載された技術とは異なるものである。
本発明は、上記の点に鑑みてなされたものであって、複数のデータ予測方式の中から予測精度が高くなるような方式を選択可能とすることする。
そこで上記課題を解決するため、データ予測装置は、それぞれが適用条件及び優先順位を有する複数のデータ予測方式のうち、過去の観測データの集合によって満たされる適用条件を有するデータ予測方式の中で優先順位が最も高い第1のデータ予測方式を利用して、前記観測データの集合に基づいて、次の観測データの予測値を算出する予測部と、次の観測データの入力に応じ、前記予測値と当該観測データとを比較して、前記第1のデータ予測方式の精度を算出する精度算出部と、前記精度算出部によって算出された精度に基づいて、前記第1のデータ予測方式の優先順位を変更する変更部と、を有する。
複数のデータ予測方式の中から予測精度が高くなるような方式を選択可能とすることができる。
過去に観測されたデータの一例を示す図である。 本発明の実施の形態におけるデータ予測装置のハードウェア構成例を示す図である。 本発明の実施の形態におけるデータ予測装置の機能構成例を示す図である。 予測関数情報生成部が実行する処理手順の一例を説明するためのフローチャートである。 データ予測部が実行する処理手順の一例を説明するためのフローチャートである。 予測精度更新部が実行する処理手順の一例を説明するためのフローチャートである。 予測関数情報列再構築部が実行する処理手順の一例を説明するためのフローチャートである。
以下、図面に基づいて本発明の実施の形態を説明する。図2は、本発明の実施の形態におけるデータ予測装置のハードウェア構成例を示す図である。図2のデータ予測装置10は、それぞれバスBで相互に接続されているドライブ装置100、補助記憶装置102、メモリ装置103、CPU104、及びインタフェース装置105等を有する。
データ予測装置10での処理を実現するプログラムは、CD−ROM等の記録媒体101によって提供される。プログラムを記憶した記録媒体101がドライブ装置100にセットされると、プログラムが記録媒体101からドライブ装置100を介して補助記憶装置102にインストールされる。但し、プログラムのインストールは必ずしも記録媒体101より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置102は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置103は、プログラムの起動指示があった場合に、補助記憶装置102からプログラムを読み出して格納する。CPU104は、メモリ装置103に格納されたプログラムに従ってデータ予測装置10に係る機能を実行する。インタフェース装置105は、ネットワークに接続するためのインタフェースとして用いられる。
図3は、本発明の実施の形態におけるデータ予測装置の機能構成例を示す図である。図3において、データ予測装置10は、データ収集部11、予測関数情報列生成部12、データ予測部13、予測精度更新部14、及び予測関数情報列再構築部15等を有する。これら各部は、データ予測装置10にインストールされた1以上のプログラムが、CPU104に実行させる処理により実現される。データ予測装置10は、また、観測データ記憶部121、予測結果記憶部122、予測誤差列記憶部123、及び予測精度情報記憶部124を利用する。観測データ記憶部121、予測結果記憶部122、予測誤差列記憶部123、及び予測精度情報記憶部124は、例えば、図2の補助記憶装置102、又はデータ予測装置10にネットワークを介して接続可能な記憶装置等を用いて実現可能である。
データ収集部11は、データ予測に必要な観測データを収集し、収集された観測データを観測データ記憶部121に記憶する。観測データ記憶部121には、例えば、図1に示されるような観測データの集合が記憶される。なお、観測データは、観測条件と観測値とを含むデータである。観測条件とは、観測対象が観測された条件又は状況等をいう。図1においては、時間帯、場所、及びサービス等が、観測条件に該当する。観測値は、観測対象に関して観測された値をいう。図1においては、スループットが観測値に該当する。
予測関数情報列生成部12は、予測関数の集合(以下、「予測関数集合」という。)、各予測関数の適用条件、各予測関数の適用優先順位、及び各予測関数の初期予測精度を入力とし、予測関数情報の配列である予測関数情報列を生成する。予測関数情報列生成部12は、生成された予測関数情報列をデータ予測部13へ出力する。なお、1つの予測関数情報は、1つの予測関数に関する適用条件、適用優先順位、及び予測精度を含む情報である。
データ予測部13は、予測関数情報列生成部12から出力された予測関数情報列と、観測データ記憶部121に記憶された観測データの集合とを入力とし、予測関数集合のうちのいずれかの予測関数を用いてデータ予測を実施し、予測結果を予測結果記憶部122に記憶する。
予測精度更新部14は、予測結果記憶部122に記憶された予測結果と、実際に観測された、予測結果に対応する観測データとを比較して、データ予測に利用された予測関数の予測精度を算出する。予測精度更新部14は、算出された予測精度を、データ予測に利用された予測関数に関連付けて予測精度情報記憶部124に記憶する。予測精度更新部14は、また、予測関数情報列再構築部15へ予測関数情報列を出力する。
予測関数情報列再構築部15は、予測精度更新部14から出力された予測関数情報列と、予測精度情報記憶部124に記憶された予測精度とを入力とし、予測関数情報列を並び替え、再構築する。
なお、図2に示される各部は、1つのコンピュータにおいて実現されてもよいし、複数のコンピュータに分散されて実現されてもよい。
以下、データ予測装置10が実行する処理手順をステップ1からステップ4に分けて説明する。
まず、ステップ1の詳細について説明する。ステップ1は、予測関数情報列生成部12によって実行される。図4は、予測関数情報列生成部が実行する処理手順の一例を説明するためのフローチャートである。
ステップS101において、予測関数情報列生成部12は、予測関数集合F、各予測関数の適用条件の集合である適用条件集合C、各予測関数の既定の適用優先順位の集合である適用優先順位集合P、及び各予測関数の初期予測精度の集合である初期予測精度集合Aを入力情報として受け付ける。予測関数集合Fには、適用対象の観測データの粒度又は範囲(以下、「粒度」で統一する。)が相互に異なる複数の予測関数が含まれる。ここで、観測データの粒度とは、適用対象の観測データに対して予測関数が要求する、観測条件に関する共通性の粒度をいう。観測条件に対して予測関数が要求する、観測条件に関する共通性とは、図1の例において、時間帯が共通すること、場所が共通すること、時間帯及び場所が共通すること、時間帯及びサービスが共通すること、場所及びサービスが共通すること、又は時間帯、場所、及びサービスが共通すること等である。すなわち、時間帯が共通する観測データの集合に基づいてデータ予測を行う予測関数に関しては、時間帯が共通することが、当該予測関数が要求する共通性に該当する。また、時間帯、場所、及びサービスが共通する観測データの集合に基づいてデータ予測を行う予測関数に関しては、時間帯、場所、及びサービスが共通することが、当該予測関数が要求する共通性に該当する。このように、粒度は、観測条件を構成する項目のうち、共通性が要求される項目に対する値の組み合わせによって規定される。相対的に粒度が小さい共通性を満たす観測データの集合(例えば、時間帯、場所、及びサービスが共通する観測データの集合)は、相対的に粒度が大きい共通性を満たす観測データの集合(例えば、時間帯が共通する観測データの集合)の部分集合となる。
また、適用条件とは、例えば、観測データの集合のうち、予測関数が適用対象の観測データに対して要求する、観測条件に関する共通性を満たす観測データの数の下限値等を示す情報である。当該共通性が、時間が共通することである予測関数についての適用条件は、例えば、時間が共通する観測データの数の下限値である。
また、適用優先順位は、予測に利用される優先度(優先順位)を示す数値であり、本実施の形態では、数値が小さいほど優先度が高いこととする。但し、数値が大きいほど優先度が高いこととされてもよい。各予測関数の初期予測精度には、任意の数値が設定されてもよい。
続いて、予測関数情報列生成部12は、予測関数集合F、適用条件集合C、適用優先順位集合P、初期予測精度集合Aから、予測関数ごとに、以下のような予測関数情報xを生成する(ステップS102)。ここで、それぞれの集合のサイズはNとする。
=(f,c,p,a
但し、(f∈F,c∈C,p∈P,a∈A,1≦i≦N)
続いて、予測関数情報列生成部12は、各予測関数情報xを、適用優先順位cの高い順に並び替えて、予測情報関数列Lを生成する(ステップS103)。添字が小さいものほど優先度が高いものとすると、予測関数情報列Lは、以下のようになる。
L=[x,x,・・・,x
次に、ステップ2の詳細について説明する。ステップ2は、データの予測要求の入力に応じてデータ予測部13によって実行され、観測データ記憶部121に記憶されている、過去の観測データの集合であるデータDから次の観測データの観測値に関する予測値を算出する処理である。次の観測データとは、次に観測されることが予測される観測データをいう。
図5は、データ予測部が実行する処理手順の一例を説明するためのフローチャートである。
ステップS201において、データ予測部13は、データの予測要求の入力を受け付ける。予測要求では、予測条件が入力される。予測条件とは、観測条件を構成する各項目に対する値の集合である。例えば、図1の例によれば、時間帯=t1、場所=l1、サービス=s1が、予測条件として入力される。この場合、時間帯がt1であり、場所がl1であり、サービスがs1である観測データの観測値(スループット)の予測が要求されたことになる。
続いて、データ予測部13は、変数iに1を代入する(ステップS202)。変数iは、予測関数情報列Lに含まれている予測関数情報xのうち、処理対象の予測関数情報xを識別するための変数である。
続いて、データ予測部13は、予測関数情報列Lから、i番目の予測関数情報xである予測関数情報x=(f,c,p,a)を取り出す(ステップS203)。
続いて、データ予測部13は、適用条件cに対してデータDを当てはめて、データDが、適用条件cを満たすか否かを判定する(ステップS204)。例えば、適用条件cが、「時間帯及び場所が共通する観測データの数が100以上であること」であり、予約条件が、「時間帯=t1、場所=l1、サービス=s1」であれば、時間帯がt1であり、かつ、場所がl1である観測データが、データDから抽出され、抽出された観測データ数が、100以上であるか否かが判定される。
データDが適用条件cを満たす場合(ステップS204でYes)、データ予測部13は、データDから予測関数fの適用対象の観測データの集合であるデータXを抽出する(ステップS205)。例えば、適用条件cが、「時間帯及び場所が共通する観測データの数が100以上であること」であり、予約条件が、「時間帯=t1、場所=l1、サービス=s1」であれば、時間帯がt1であり、かつ、場所がl1である観測データの集合が、データXとして抽出される。
続いて、データ予測部13は、予測関数fにデータXを入力して、予測値f(X)を算出する(ステップS206)。例えば、予測関数fは、データXのスループットの平均値を算出するような関数であってもよい。データ予測部13は、予測値f(X)を、予測関数fと予測条件とに関連付けて予測結果記憶部122に記憶する。
一方、データDが適用条件cを満たさない場合(ステップS204でNo)、データ予測部13は、変数iの値がN以上であるか否かを判定する(ステップS207)。変数iの値がN未満である場合(ステップS207でNo)、データ予測部13は、変数iに1を加算して(ステップS208)、ステップS203以降を繰り返す。変数iの値がN以上である場合(ステップS207でYes)、データ予測部13は、処理を終了する。
図5の処理によれば、例えば、3つの項目の値で予測を行う予測関数に対して十分なデータが蓄積されていない場合には、2つ又は1つの項目の値で予測を行う予測関数が利用されてデータ予測が実行される。
次に、ステップ3の詳細について説明する。ステップ3は、予測精度更新部14によって実行され、データ予測に利用された予測関数の予測精度を算出及び更新する処理である。図6は、予測精度更新部が実行する処理手順の一例を説明するためのフローチャートである。
ステップS301において、予測精度更新部14は、実際に観測されたデータdの入力を受け付ける。データdの入力は、ユーザによって行われてもよいし、自動的に観測されてもよい。図1の例によれば、データdは、時間帯、場所、サービス、及びスループットのそれぞれの値を含む。
続いて、予測精度更新部14は、データdに合致する予測条件に関連付けられている予測関数f及び予測値f(X)を、予測結果記憶部122から取得する(ステップS302)。
該当する予測関数f及び予測値fが取得できなかった場合(ステップS303でNo)、図6の処理は終了する。該当する予測関数f及び予測値f(X)が取得できた場合(ステップS303でYes)、予測精度更新部14は、予測関数fの予測誤差errorを以下のように算出する。
error=|f(X)−d|
すなわち、予測誤差errorは、予測値f(X)と、観測データdとの差分である。図1の例によれば、予測誤差errorは、予測されたスループットと、観測されたスループットとの差分である。
続いて、予測精度更新部14は、算出された予測誤差errorを、予測関数fに関連付けて予測誤差列記憶部123に記憶する(ステップS305)。したがって、予測誤差列記憶部123には、データ予測に利用された予測関数ごとに、予測誤差の配列(予測誤差の履歴)である予測誤差列LDが記憶される。なお、予測関数fの予測誤差列LDは、以下のようになる。
LD=|error1,error2,・・・,errorM
続いて、予測精度更新部14は、予測関数fに関して予測誤差列記憶部123に記憶されている予測誤差列LDに基づいて、予測関数fの予測精度を算出する(ステップS306)。予測関数fの予測精度をaとしたとき、例えば、aは以下のように算出される。
a=(ΣLD)/|LD
ここで、|LD|は、予測誤差列LDに含まれる予測誤差の数を示す。
続いて、予測精度更新部14は、予測精度情報記憶部124において予測関数fに関連付けられて記憶されている予測精度を、ステップS306において算出された予測精度aによって更新する。
このように、予測精度はデータ予測が実行されるごとに更新される。なお、予測精度には、上記以外の指標(相乗平均など)が用いられてもよい。
次に、ステップ4の詳細について説明する。ステップ4は、予測関数情報列再構築部15によって実行され、各予測関数の予測精度及び既定の適用優先順位に基づいて、予測関数情報列の並び替えを行い、予測関数の適用優先順位の再構築を行う処理である。なお、ステップ4は、定期的に実行されてもよいし、ステップ3において、いずれかの予測関数の予測精度が更新されるたびに実行されてもよい。
図7は、予測関数情報列再構築部が実行する処理手順の一例を説明するためのフローチャートである。図7では、予測関数情報列Lに含まれる、相互に異なる2つの要素x及びxの並び替えについて説明する。
ステップS401において、予測関数情報列再構築部15は、予測関数情報列Lから、相互に異なる2つの予測関数情報x=(f,c,p,a)及び予測関数情報x=(f,c,p,a)を抽出する。なお、予測精度a、予測精度aは、それぞれ、予測関数f、予測関数fに関して予測精度情報記憶部124に記憶されている値が用いられる。
続いて、予測関数情報列再構築部15は、予測関数fに対応する予測誤差列LDと、予測関数fに対応する予測誤差列LDとを、予測誤差列記憶部123から取得する(ステップS402)。
続いて、予測関数情報列再構築部15は、予測誤差列LDと予測誤差列LDとの差が統計的に有意かを判定するために、t検定を実施する(ステップS403)。すなわち、予測実施回数が小さい場合、後述されるステップS405において算出される、予測精度の差a−aが、統計的に有意ではない可能性がある。そこで、ステップS403では、t検定が実行される。但し、検定方法はt検定に限らず、ノンパラメトリック検定などといったものが利用されてもよい。
t検定の結果、有意差が認められた場合(ステップS404でYes)、予測関数情報列再構築部15は、予測精度a及びaを比較し、予測関数情報x及びxの優先度を判定する(ステップS405)。具体的には、a−aが算出され、算出結果が負であれば、予測関数情報xは予測関数情報xよりも優先度が高いと判定される。一方、算出結果が正であれば、xはxよりも優先度が高いと判定される。また、算出結果が0である場合(a=aである場合)、既定の適用優先順位pとpとに基づいて、優先度が判定される。
一方、t検定の結果、有意差が認められなかった場合(ステップS404でNo)、予測関数情報列再構築部15は、既定の適用優先順位pとpとを比較して、予測関数情報x及びxの優先度を判定する(ステップS406)。
予測関数情報列再構築部15は、上記の異なる要素の比較手順を用いて、予測関数情報列Lを並び替え、更新する。並び替えの方法は、クイックソート又はマージソート等、任意の方法でよい。
上述したように、本実施の形態によれば、過去の観測データから次の観測データを予測する方式において、複数の予測関数の中から、それぞれの予測関数の優先順位及び予測精度に基づいて、適切なデータ予測関数が選択され、選択された予測関数に基づいてデータ予測が実行される。これにより、予測時において、或る予測関数でのサンプルデータが不足している場合でも、他の予測関数でのサンプルデータが十分であれば、当該他の予測関数を用いてデータ予測を実行することができる。また、精度の高い予測関数が優先的に利用されるため、データ予測の精度を向上させることができる。また、データ予測の結果に基づいて動的に優先順位が決定されるため、データ分析実施者(オペレータなど)の分析稼動を小さくすることが可能となる。
なお、本実施の形態において、データ予測部13は、予測部の一例である。予測精度更新部14は、精度算出部の一例である。予測精度更新部14は、変更部の一例である。予測関数は、データ予測方式の一例である。
以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
本出願は、2015年6月18日に出願された日本国特許出願第2015−123273号に基づきその優先権を主張するものであり、同日本国特許出願の全内容を参照することにより本願に援用する。
10 データ予測装置
11 データ収集部
12 予測関数情報列生成部
13 データ予測部
14 予測精度更新部
15 予測関数情報列再構築部
100 ドライブ装置
101 記録媒体
102 補助記憶装置
103 メモリ装置
104 CPU
105 インタフェース装置
121 観測データ記憶部
122 予測結果記憶部
123 予測誤差列記憶部
124 予測精度情報記憶部
B バス

Claims (7)

  1. それぞれが適用条件及び優先順位を有する複数のデータ予測方式のうち、過去の観測データの集合によって満たされる適用条件を有するデータ予測方式の中で優先順位が最も高い第1のデータ予測方式を利用して、前記観測データの集合に基づいて、次の観測データの予測値を算出する予測部と、
    次の観測データの入力に応じ、前記予測値と当該観測データとを比較して、前記第1のデータ予測方式の精度を算出する精度算出部と、
    前記精度算出部によって算出された精度に基づいて、前記第1のデータ予測方式の優先順位を変更する変更部と、
    を有することを特徴とするデータ予測装置。
  2. 前記精度算出部は、前記予測部によって前記第1のデータ予測方式が利用されて予測値が算出されるたびに、当該予測値と、当該予測値に対応する次の観測データとの差分を算出し、前記第1のデータ予測方式に関して算出された前記差分の履歴に基づいて、前記精度を算出する、
    ことを特徴とする請求項1記載のデータ予測装置。
  3. 前記予測部は、前記過去の観測データの集合のうち、前記第1のデータ予測方式の適用対象に対して要求される共通性を満たす観測データの集合に前記第1のデータ予測方式を適用して、前記予測値を算出し、
    前記複数のデータ予測方式のそれぞれは、適用対象に対して要求される共通性の粒度が相互に異なる、
    ことを特徴とする請求項1又は2記載のデータ予測装置。
  4. コンピュータが、
    それぞれが適用条件及び優先順位を有する複数のデータ予測方式のうち、過去の観測データの集合によって満たされる適用条件を有するデータ予測方式の中で優先順位が最も高い第1のデータ予測方式を利用して、前記観測データの集合に基づいて、次の観測データの予測値を算出する予測手順と、
    次の観測データの入力に応じ、前記予測値と当該観測データとを比較して、前記第1のデータ予測方式の精度を算出する精度算出手順と、
    前記精度算出手順において算出された精度に基づいて、前記第1のデータ予測方式の優先順位を変更する変更手順と、
    を実行することを特徴とするデータ予測方法。
  5. 前記精度算出手順は、前記予測手順において前記第1のデータ予測方式が利用されて予測値が算出されるたびに、当該予測値と、当該予測値に対応する次の観測データとの差分を算出し、前記第1のデータ予測方式に関して算出された前記差分の履歴に基づいて、前記精度を算出する、
    ことを特徴とする請求項4記載のデータ予測方法。
  6. 前記予測手順は、前記過去の観測データの集合のうち、前記第1のデータ予測方式の適用対象に対して要求される共通性を満たす観測データの集合に前記第1のデータ予測方式を適用して、前記予測値を算出し、
    前記複数のデータ予測方式のそれぞれは、適用対象に対して要求される共通性の粒度が相互に異なる、
    ことを特徴とする請求項4又は5記載のデータ予測方法。
  7. 請求項1乃至3いずれか一項に記載のデータ予測装置における各機能部としてコンピュータを機能させるためのプログラム。
JP2017524777A 2015-06-18 2016-05-27 データ予測装置、データ予測方法、及びプログラム Pending JPWO2016203928A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015123273 2015-06-18
JP2015123273 2015-06-18
PCT/JP2016/065689 WO2016203928A1 (ja) 2015-06-18 2016-05-27 データ予測装置、データ予測方法、及びプログラム

Publications (1)

Publication Number Publication Date
JPWO2016203928A1 true JPWO2016203928A1 (ja) 2018-03-15

Family

ID=57545612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017524777A Pending JPWO2016203928A1 (ja) 2015-06-18 2016-05-27 データ予測装置、データ予測方法、及びプログラム

Country Status (3)

Country Link
US (1) US20180189654A1 (ja)
JP (1) JPWO2016203928A1 (ja)
WO (1) WO2016203928A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250888A (ja) * 1999-02-26 2000-09-14 Hitachi Ltd 予測目的別モデル選定型需要予測方式
JP2015043146A (ja) * 2013-08-26 2015-03-05 株式会社日立製作所 予測装置、方法及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250888A (ja) * 1999-02-26 2000-09-14 Hitachi Ltd 予測目的別モデル選定型需要予測方式
JP2015043146A (ja) * 2013-08-26 2015-03-05 株式会社日立製作所 予測装置、方法及びプログラム

Also Published As

Publication number Publication date
WO2016203928A1 (ja) 2016-12-22
US20180189654A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
CN108089921B (zh) 用于云端大数据运算架构的服务器及其运算资源最佳化方法
Rasooli et al. COSHH: A classification and optimization based scheduler for heterogeneous Hadoop systems
US9513967B2 (en) Data-aware workload scheduling and execution in heterogeneous environments
US8799916B2 (en) Determining an allocation of resources for a job
LeBeane et al. Data partitioning strategies for graph workloads on heterogeneous clusters
US10324753B2 (en) Intelligent replication factor tuning based on predicted scheduling
JP5121936B2 (ja) リソース割り当て装置及びリソース割り当てプログラム及び記録媒体及びリソース割り当て方法
Khan et al. Optimizing hadoop parameter settings with gene expression programming guided PSO
KR20140117905A (ko) 클라우드 서비스의 가상자원 할당을 위한 퍼지 로직 기반의 자원평가 장치 및 방법
WO2014181495A1 (ja) 仮想マシン配置決定装置、仮想マシン配置決定方法および仮想マシン配置決定プログラム
Yadav et al. An enhanced ordinal optimization with lower scheduling overhead based novel approach for task scheduling in cloud computing environment
KR20150084596A (ko) 최적 설계 파라미터 탐색을 위한 최적화 방법
Nadeem et al. Optimizing execution time predictions of scientific workflow applications in the grid through evolutionary programming
JP2016024612A (ja) データ処理制御方法、データ処理制御プログラムおよびデータ処理制御装置
KR100935361B1 (ko) 가중치 기반 멀티큐 부하분산 병렬처리 시스템 및 방법
JP2011141703A (ja) 資源配置システム、資源配置方法、及び資源配置用プログラム
Marinho et al. LABAREDA: a predictive and elastic load balancing service for cloud-replicated databases
Ibrahim et al. Improving mapreduce performance with progress and feedback based speculative execution
WO2016203928A1 (ja) データ予測装置、データ予測方法、及びプログラム
Lin et al. Joint deadline-constrained and influence-aware design for allocating MapReduce jobs in cloud computing systems
Li et al. Data balancing-based intermediate data partitioning and check point-based cache recovery in Spark environment
Nickolay et al. Towards accommodating real-time jobs on HPC platforms
Chupakhin et al. Application of recommender systems approaches to the MPI program execution time prediction
Park et al. Gemma: reinforcement learning-based graph embedding and mapping for virtual network applications
Yin et al. Asynchronous distributed incremental computation on evolving graphs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180605

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20181127