JP7316233B2 - データ処理システムおよびデータ処理方法 - Google Patents
データ処理システムおよびデータ処理方法 Download PDFInfo
- Publication number
- JP7316233B2 JP7316233B2 JP2020021959A JP2020021959A JP7316233B2 JP 7316233 B2 JP7316233 B2 JP 7316233B2 JP 2020021959 A JP2020021959 A JP 2020021959A JP 2020021959 A JP2020021959 A JP 2020021959A JP 7316233 B2 JP7316233 B2 JP 7316233B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- prediction
- unit
- prediction model
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 89
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000003066 decision tree Methods 0.000 claims description 57
- 238000003860 storage Methods 0.000 claims description 29
- 238000000034 method Methods 0.000 description 52
- 238000013500 data storage Methods 0.000 description 36
- 238000004458 analytical method Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 34
- 238000007405 data analysis Methods 0.000 description 33
- 238000009826 distribution Methods 0.000 description 26
- 238000004364 calculation method Methods 0.000 description 24
- 230000006870 function Effects 0.000 description 20
- 238000012549 training Methods 0.000 description 20
- 238000010248 power generation Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 12
- 238000007726 management method Methods 0.000 description 11
- 230000005540 biological transmission Effects 0.000 description 10
- 238000005070 sampling Methods 0.000 description 10
- 239000000446 fuel Substances 0.000 description 9
- 238000011156 evaluation Methods 0.000 description 7
- 238000005259 measurement Methods 0.000 description 6
- 230000009467 reduction Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 239000007789 gas Substances 0.000 description 5
- 230000005611 electricity Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000005309 stochastic process Methods 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000001364 causal effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000005265 energy consumption Methods 0.000 description 3
- 238000012916 structural analysis Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Chemical compound O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000008602 contraction Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000012535 impurity Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000002547 anomalous effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 239000010779 crude oil Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000003345 natural gas Substances 0.000 description 1
- 239000003208 petroleum Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012628 principal component regression Methods 0.000 description 1
- 230000009291 secondary effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0201—Market modelling; Market analysis; Collecting market data
- G06Q30/0202—Market predictions or forecasting for commercial activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- Finance (AREA)
- Development Economics (AREA)
- Accounting & Taxation (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Economics (AREA)
- Game Theory and Decision Science (AREA)
- Computational Linguistics (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
図1において、100は全体として第1の実施の形態によるデータ処理システムを示す。
図2は、データ解析予測システム110に係る構成の一例を示す図である。図2は、データ解析予測システム110を構成するデータ格納装置111のハードウェア構成および機能構成と解析予測演算装置112のハードウェア構成および機能構成との一例を示す。
図3~図11を参照して、データ解析予測システム110の処理およびデータフローについて説明する。
データ格納装置111は、データ配信装置150から「入力x」のデータおよび/または入力についての予測値である「入力x*」のデータを受信して配信データ記憶部222に記憶する。また、データ格納装置111は、データ観測装置140から「出力y」のデータを受信して観測データ記憶部221に記憶する。
解析予測演算装置112は、決定木モデル生成部241において、観測データ記憶部221のデータと、配信データ記憶部222のデータとから決定木モデルを生成する。決定木モデルは、大量のデータの中から規則性、関連性等の意味のあるデータの分類のルールを自動的に抽出する手法である。
決定木モデル生成部241は、取得した観測時系列データを1~M個のクラスタにそれぞれ分類した場合の各クラスタのクラスタ中心の集合{Ck :k=1、2、…、N}(ただし、Nは1からMのいずれかの値)を求める。なお、Mの理論上の最大は観測時系列の全数の値であるが、簡単のためにそれ以下の値に制限してもよい。
決定木モデル生成部241は、上述のクラスタリング処理の処理結果に基づいて、クラスタ数Nをいずれにするのが妥当かを評価するための指数(以下、「妥当性評価値」と記す)を算出するクラスタ数妥当性評価値算出処理を実行する。本実施の形態の場合、決定木モデル生成部241は、かかる妥当性評価値として、個々のクラスタ内における観測時系列データのまとまり度合いを表すクラスタ内適合度と、クラスタ同士の分離の度合いを表すクラスタ間平均分離度とを算出する。
決定木モデル生成部241は、ステップS502で算出したクラスタ内適合度およびクラスタ間平均分離度に基づいて、最適なクラスタ数を決定する。
データ選抜序数算出部242は、決定木モデルTrMのルートから、リーフに至る各段階の分岐条件の配信データ種類および観測データについて、上位の分岐に重みが大きいガイド値を与えるようにしてもよい。好ましくは、決定木モデルのジニ係数として知られる、決定木モデルの中間のノードでの分類の前後のデータの不純度の減少量をガイド値としてもよく、また各同様に中間のノードでの分岐のエントロピーの減少量をガイド値としてもよい。複数の中間ノードでの分岐条件となっているデータ種類については、ガイド値を加重加算するようにしてもよい。
データおよびインデックス選抜部243は、後述の予測モデルの同定に用いるデータに追加する配信データおよび観測データの選択を行うためのデータとして決定木モデルTrMの分岐条件の予測子とその値を決定する。すなわち、データおよびインデックス選抜部243は、配信データの種類を示すデータ種リストsM、データのへのインデックスの集合を示すインデックスリストsTを決定する。なお、データ種リストsMは、配信データ記憶部222に保持されている配信データのM種の中から選択された種類を示す集合である。
データおよびインデックス選抜部243は、1番目の序数の予測子のデータ種類xを読み取る。
データおよびインデックス選抜部243は、データ種類xが訓練データのデータ種類に選択済みであるか否かを判定する。データおよびインデックス選抜部243は、選択済みであると判定した場合、ステップS603に処理を移し、未選択であると判定した場合、ステップS604に処理を移す。
データおよびインデックス選抜部243は、次の序数の予測子のデータ種類を読み取り、ステップS602に処理を戻す。
データおよびインデックス選抜部243は、訓練データテーブル1000に保持する項目の指定に、選択したデータ種類xをデータ種リストsMに追加する。図10の例では、「3時神奈川地点気温」のデータ種類が、訓練データテーブル1000のデータ種類を指定するデータ種リストsMに追加される。
データおよびインデックス選抜部243は、訓練データテーブル1000に保持されるデータ種類の各々に関して、格納データをプレサーチする。より具体的には、データおよびインデックス選抜部243は、訓練データテーブル1000に指定されるデータ種類の予測子の各々について、予測対象の時刻tでの予報値(予測入力x*(t))を、データ格納装置111から検索する。
データ種類とデータインデックスの追加において、データおよびインデックス選抜部243は、訓練データの数が、上限数NN(所定値であり、例えば、8000個)以下であるか否かを判定する。データおよびインデックス選抜部243は、訓練データの数が上限数NNであると判定した場合、ステップS603に処理を戻し、予定個数の上限までの選抜データのデータ種リストsMおよびインデックスリストsTを生成する。
選抜データ転送処理部244は、少なくとも選抜データのデータ種リストsMと、インデックスリストsTに従い「入力」と「出力」のデータを選抜データとして選択し、通信装置234、通信装置214を介してデータ格納装置111から取得する。また、インデックスリストsT以外に、直近の2週間等の期間を標準的に利用するデータ(標準設定のデータ)の期間としてデータインデックスとして設定し、該当するインデックスのデータをデータ格納装置111から合せて取得する。
予測モデル同定部245は、前述の選抜データと標準設定のデータ(xi,yi)[i∈sM×(sT ∪ sTs)](このデータの組の集まりを訓練データと記す)を用いて、予測対象の予測値を算出するための予測モデルを同定する。予測モデルの同定は、例えば、説明変数とするデータが、x1とx2との2種である場合と、予測モデルが多変量回帰モデルの重回帰モデルである場合、予測モデルは、下記(式1)で与えられる。
y* :目的変数
a、b :偏回帰係数
c :定数項(切片)
x1、x2:説明変数
解析予測演算装置112の第一予測処理部246は、将来の気温といった将来データの入力x*、および過去の配信データを入力とした入力xと、ガウス過程回帰モデルGpMとを用いて予測対象の予測値である出力y*を算出する。
解析予測演算装置112は、第二予測処理部248において、決定木モデルTrMと、将来の気温といった将来データの入力x*および/または過去の配信データを入力とした入力xと、過去の予測対象の出力である観測データyと、を用いて予測対象についての第二の予測値である出力y~を算出する。例えば、解析予測演算装置112は、配信データおよび観測データで、決定木の分岐条件を順に判定し、予測を行う。さらに、解析予測演算装置112は、分岐条件の値が未確定であるときには、決定木モデルに基づくベイズ最適な予測アルゴリズムとして知られている予測計算を行う。
解析予測演算装置112は、誤差評価部247において、観測データ記憶部221と配信データ記憶部222とのデータを、乱数を用いて所定の複数組(例えば、20組)だけ選択し、そのデータでの予測を試行し、実際の予測対象の過去の出力yとを比較した予測誤差の平均値を誤差評価値として出力するようにしてもよい。
重ね合わせ処理部249は、第一予測処理部246の出力y*に係る情報と、第二予測処理部248の出力y~に係る情報を重ね合わせたグラフ(重ね合せグラフ)を出力する。
データ解析予測システム110は、以下のように総括してもよい。
カーネル関数を用いる統計的機械学習における訓練データとして採用される標本データの種類数Mに比例してメモリが必要になるに留まらず、採用される標本数Kの二乗で比例してメモリおよび演算量が必要となる。一例では、計測器信号から生成した5分刻みデータを1年分扱うには、n=105120となり、おおよそ800テラバイトのメモリが必要となる。このため、標本データを直近期間に限定するといった場当たり的な標本データの選抜が行われ、高精度な予測の妨げとなる。
上述の実施の形態には、例えば、以下のような内容が含まれる。
Claims (5)
- 予測モデルにより予測を行うデータ処理システムであって、
データを記憶する記憶部から、前記予測モデルの同定に用いるデータを選定する選定部と、
前記選定部により選定されたデータを用いて前記予測モデルの同定を行う処理部と、
を備え、
前記選定部は、前記記憶部から、所定の第1のデータと、構造的予測モデルの構造データにおける分岐条件をもとに、前記第1のデータと異なる種類および/または条件の第2のデータとを選定する、
データ処理システム。 - 前記記憶部に記憶されているデータを用いて、前記構造的予測モデルの構造データとして、予測対象を支配的に決定する分岐条件である予測子ほど上位に現れる決定木モデルを生成する生成部と、
前記生成部により生成された決定木モデルにおける予測子に、前記選定部におけるデータの選定に用いられる序数を付与する付与部と、
を備え、
前記選定部は、前記付与部により付与された序数に従って、所定の数に達するまで、前記記憶部から前記第2のデータを選定する、
請求項1に記載のデータ処理システム。 - 前記予測モデルは、カーネル関数を用いた予測モデルである、
請求項1に記載のデータ処理システム。 - 前記記憶部に記憶されているデータを用いて、前記生成部により生成された決定木モデルによる予測を行う第二の処理部と、
出力を行う出力部と、
を備え、
前記処理部は、前記予測モデルによる予測を行い、
前記出力部は、前記処理部の予測の結果と、前記第二の処理部の予測の結果とを出力する、
請求項2に記載のデータ処理システム。 - 予測モデルにより予測を行うデータ処理システムにおけるデータ処理方法であって、
選定部が、データを記憶する記憶部から、前記予測モデルの同定に用いるデータを選定することと、
処理部が、前記選定部により選定されたデータを用いて前記予測モデルの同定を行うことと、
を備え、
前記選定部は、前記記憶部から、所定の第1のデータと、構造的予測モデルの構造データにおける分岐条件をもとに、前記第1のデータと異なる種類および/または条件の第2のデータとを選定する、
データ処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020021959A JP7316233B2 (ja) | 2020-02-12 | 2020-02-12 | データ処理システムおよびデータ処理方法 |
US16/951,088 US20210248481A1 (en) | 2020-02-12 | 2020-11-18 | Data Processing System and Data Processing Method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020021959A JP7316233B2 (ja) | 2020-02-12 | 2020-02-12 | データ処理システムおよびデータ処理方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2021128478A JP2021128478A (ja) | 2021-09-02 |
JP2021128478A5 JP2021128478A5 (ja) | 2022-05-11 |
JP7316233B2 true JP7316233B2 (ja) | 2023-07-27 |
Family
ID=77177599
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020021959A Active JP7316233B2 (ja) | 2020-02-12 | 2020-02-12 | データ処理システムおよびデータ処理方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20210248481A1 (ja) |
JP (1) | JP7316233B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP4168967A4 (en) * | 2020-06-19 | 2023-11-08 | Demand Driven Technologies, Inc. | GLOBAL REGISTER WITH AUTOMATED MACHINE-LEARNING DEMAND PROFILING TO OPTIMIZE INVENTORY MANAGEMENT |
US11620274B2 (en) * | 2021-04-30 | 2023-04-04 | Intuit Inc. | Method and system of automatically predicting anomalies in online forms |
US20230394366A1 (en) * | 2022-06-06 | 2023-12-07 | Epistamai LLC | Bias reduction in machine learning model training and inference |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017168458A1 (ja) | 2016-03-28 | 2017-10-05 | 日本電気株式会社 | 予測モデル選択システム、予測モデル選択方法および予測モデル選択プログラム |
JP2019117601A (ja) | 2017-12-27 | 2019-07-18 | 株式会社東芝 | 需要予測装置、需要予測方法及びコンピュータプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002091505A (ja) * | 2000-09-14 | 2002-03-29 | Toshiba Corp | モデル同定装置 |
JP2002337521A (ja) * | 2001-05-18 | 2002-11-27 | Denso Corp | タイヤ空気圧推定装置 |
JP5950284B2 (ja) * | 2013-12-13 | 2016-07-13 | インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation | 処理装置、処理方法、およびプログラム |
JP7319757B2 (ja) * | 2016-12-05 | 2023-08-02 | 株式会社日立製作所 | データ処理システム及びデータ処理方法 |
-
2020
- 2020-02-12 JP JP2020021959A patent/JP7316233B2/ja active Active
- 2020-11-18 US US16/951,088 patent/US20210248481A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017168458A1 (ja) | 2016-03-28 | 2017-10-05 | 日本電気株式会社 | 予測モデル選択システム、予測モデル選択方法および予測モデル選択プログラム |
JP2019117601A (ja) | 2017-12-27 | 2019-07-18 | 株式会社東芝 | 需要予測装置、需要予測方法及びコンピュータプログラム |
Also Published As
Publication number | Publication date |
---|---|
US20210248481A1 (en) | 2021-08-12 |
JP2021128478A (ja) | 2021-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Idrees et al. | A prediction approach for stock market volatility based on time series data | |
JP7316233B2 (ja) | データ処理システムおよびデータ処理方法 | |
JP7319757B2 (ja) | データ処理システム及びデータ処理方法 | |
JP6742894B2 (ja) | データ予測システムおよびデータ予測方法 | |
Vile et al. | Predicting ambulance demand using singular spectrum analysis | |
JP2021128478A5 (ja) | ||
JP2019049850A (ja) | 予測システム及び方法 | |
JP2019211922A (ja) | データ予測システム、データ予測方法、およびデータ予測装置 | |
Sajan et al. | Forecasting and analysis of train delays and impact of weather data using machine learning | |
CN115375205A (zh) | 一种用水用户画像的确定方法、装置及设备 | |
Meira et al. | A novel reconciliation approach for hierarchical electricity consumption forecasting based on resistant regression | |
Lucko et al. | Quantitative research: Preparation of incongruous economic data sets for archival data analysis | |
Chu et al. | Evaluation and prediction of punctuality of vessel arrival at port: a case study of Hong Kong | |
CN106779245B (zh) | 基于事件的民航需求预测方法和装置 | |
JP5957725B2 (ja) | 予測装置、予測方法、および、予測プログラム | |
Janssen et al. | Qualitative multicriteria methods in the Netherlands | |
CN116308494A (zh) | 供应链需求预测方法 | |
Henzel et al. | Impact of time series clustering on fuel sales prediction results. | |
GB2621996A (en) | Method and system for predicting spatial occupancy | |
Song et al. | On probability distributions of the time deviation law of container liner ships under interference uncertainty | |
JP7001766B2 (ja) | 予測システムおよび予測方法 | |
Khalil et al. | Enhancing operational efficiency of insurance companies: a fuzzy time series approach to loss ratio forecasting in the Egyptian market | |
WO2024150455A1 (ja) | 電力運用システムおよび方法 | |
Azadeh et al. | A benchmarking approach for forecasting gas consumption considering subsidy removal | |
Wasesa et al. | Using smart card data to develop origin-destination matrix-based business analytics for bus rapid transit systems: case study of Jakarta, Indonesia |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220421 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220421 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230704 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230714 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7316233 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |