JP6679086B2 - 学習装置、予測装置、学習方法、予測方法、およびプログラム - Google Patents
学習装置、予測装置、学習方法、予測方法、およびプログラム Download PDFInfo
- Publication number
- JP6679086B2 JP6679086B2 JP2015221663A JP2015221663A JP6679086B2 JP 6679086 B2 JP6679086 B2 JP 6679086B2 JP 2015221663 A JP2015221663 A JP 2015221663A JP 2015221663 A JP2015221663 A JP 2015221663A JP 6679086 B2 JP6679086 B2 JP 6679086B2
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- feature
- result value
- learning
- prediction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000013016 learning Effects 0.000 title claims description 157
- 238000000034 method Methods 0.000 title claims description 88
- 239000013598 vector Substances 0.000 claims description 87
- 238000012549 training Methods 0.000 claims description 69
- 230000008569 process Effects 0.000 claims description 48
- 238000013500 data storage Methods 0.000 claims description 34
- 238000005259 measurement Methods 0.000 claims description 33
- 238000012545 processing Methods 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000008859 change Effects 0.000 claims description 7
- 238000002474 experimental method Methods 0.000 description 44
- 238000010586 diagram Methods 0.000 description 19
- 238000013528 artificial neural network Methods 0.000 description 16
- YMHOBZXQZVXHBM-UHFFFAOYSA-N 2,5-dimethoxy-4-bromophenethylamine Chemical compound COC1=CC(CCN)=C(OC)C=C1Br YMHOBZXQZVXHBM-UHFFFAOYSA-N 0.000 description 11
- 241000545067 Venus Species 0.000 description 11
- 230000007613 environmental effect Effects 0.000 description 10
- 238000012217 deletion Methods 0.000 description 5
- 230000037430 deletion Effects 0.000 description 5
- 230000009467 reduction Effects 0.000 description 5
- 241000282326 Felis catus Species 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000003915 air pollution Methods 0.000 description 2
- 230000007812 deficiency Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000012731 temporal analysis Methods 0.000 description 2
- 238000000700 time series analysis Methods 0.000 description 2
- 239000000443 aerosol Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001105 regulatory effect Effects 0.000 description 1
- 239000000779 smoke Substances 0.000 description 1
- 238000000714 time series forecasting Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
本実施の形態において、プレトレーニングにおいてDPTを用いた場合であり、ファインチューニングにおいてDRNNを用いた場合に、結果値に対する関連度が予め決められた条件を満たすほど小さい1個以上の特徴量の影響を無くす特徴量削除処理を行い、学習データを取得する学習装置について説明する。
前記プレトレーニング部における学習結果から得られるDRNNに対してファインチューニングを行い、結果値に対する関連度が予め決められた条件を満たすほど小さい1個以上の特徴量を決定し、前記ファインチューニング後のDRNNに対して、前記決定した1個以上の特徴量の影響を無くす特徴量削除処理を行うファインチューニング部と、前記ファインチューニング部が行った処理の結果のDRNNである学習データを蓄積する蓄積部として機能させるためのプログラムである。
本実施の形態において、実施の形態1の学習装置1が取得した学習データを用いた予測装置2について説明する。
以下、学習装置1および予測装置2の実験について説明する。今、ベクトルデータ格納部11には、図9に示すような多数のベクトルデータを格納している、とする。ベクトルデータは、予測の対象都市のPM2.5の値、近隣都市のPM2.5の値、風速、風向き、気温、日射量、湿度、降雨量の値(要素)を有する。また、例えば、ベクトルデータ901は、3月1日の正午における測定データであり、時刻「t−3」の時点(例えば、3時間前)におけるPM2.5の値「x11」、時刻「t−2」の時点(例えば、2時間前)におけるPM2.5の値「x12」、時刻「t−1」の時点(例えば、1時間前)におけるPM2.5の値「x13」、時刻「t」の時点(例えば、現在)におけるPM2.5の値「x14」、時刻「t−3」の時点(例えば、3時間前)における風速「x15」、時刻「t−2」の時点(例えば、2時間前)における風速「x16」等を有する。
(実験1)
(実験2)
(実験3)
(実験4)
(実験5)
(実験6)
本実験の目標は、5000の観測データのうち、100の欠損値が存在する場合の予測である。
(実験7)
2 予測装置
11 ベクトルデータ格納部
12 学習データ格納部
13 プレトレーニング部
14 ファインチューニング部
15 蓄積部
21 予測部
22 出力部
Claims (6)
- 2個以上の特徴量である特徴量群と結果を示す結果値とを有するベクトルデータであり、時系列の2つ以上のベクトルデータが格納されるベクトルデータ格納部と、
前記2つ以上のベクトルデータの部分集合であり、1個または2個以上の時系列の特徴量群である2個以上の各部分時系列に対して、学習の回数に応じて、変化する重要度を与え、当該重要度を与えられた2個以上の部分時系列であるサンプルを作成し、当該サンプルを用いて、複数回繰り返して、オートエンコーダの学習を行うプレトレーニング部と、
前記プレトレーニング部における学習結果から得られるDRNNに対してファインチューニングを行い、結果値に対する関連度が予め決められた条件を満たすほど小さい1個以上の特徴量を決定し、前記ファインチューニング後のDRNNに対して、前記決定した1個以上の特徴量の影響を無くす特徴量削除処理を行うファインチューニング部と、
前記ファインチューニング部が行った処理の結果のDRNNである学習データを蓄積する蓄積部とを具備し、
前記ファインチューニング部は、
前記特徴量群に含まれる2個以上の各特徴量ごとに、学習データを用いて予測した結果値である予測結果値と実測した結果値である実測結果値との誤差に関する誤差情報を算出する誤差情報算出処理と、
前記特徴量群に含まれる2個以上の各特徴量ごとに、特徴量の結果値に対する影響の度合いを示す影響度を算出する影響度算出処理と、
前記特徴量群に含まれる2個以上の各特徴量に対して、1種類以上の重みベクトルごとに、誤差情報と影響度とをパラメータとする増加関数によりコストを算出するコスト算出処理とを行い、
前記コストが予め決められた条件を満たすほど大きい特徴量を使用しない特徴量であると決定し、前記ファインチューニング後のDRNNに対して、前記決定した1個以上の特徴量の影響を無くす特徴量削除処理を行い、
前記誤差情報算出処理は、
格納されている1個以上の予測結果値を読み出すまたは1個以上の予測結果値を算出することにより1個以上の予測結果値を取得し、かつ格納されている1個以上の実測結果値を読み出し、前記特徴量群に含まれる2個以上の各特徴量に対して1種類以上の重みベクトルごとに、予測結果値と実測結果値との誤差に関する誤差情報を算出する処理であり、
前記影響度算出処理は、
前記各特徴量から結果値への1個以上の重みをパラメータとする増加関数により、各特徴量の影響度を算出する処理である学習装置。 - 請求項1記載の学習装置が蓄積した学習データが格納される学習データ格納部と、
結果値に対する関連度が、予め決められた条件を満たすほど小さい1個以上の特徴量を特徴量群から除いた2個以上の特徴量である入力特徴量群を前記学習データに適用し、将来の結果値を取得する予測部と、
前記予測部が取得した結果値を出力する出力部とを具備する予測装置。 - 記憶媒体は、
2個以上の特徴量である特徴量群と結果を示す結果値とを有するベクトルデータであり、時系列の2つ以上のベクトルデータが格納されるベクトルデータ格納部を具備し、
プレトレーニング部、ファインチューニング部、および蓄積部により実現される学習方法であって、
前記プレトレーニング部が、前記2つ以上のベクトルデータの部分集合であり、1個または2個以上の時系列の特徴量群である2個以上の各部分時系列に対して、学習の回数に応じて、変化する重要度を与え、当該重要度を与えられた2個以上の部分時系列であるサンプルを作成し、当該サンプルを用いて、複数回繰り返して、オートエンコーダの学習を行うプレトレーニングステップと、
前記ファインチューニング部が、前記プレトレーニングステップにおける学習結果から得られるDRNNに対してファインチューニングを行い、結果値に対する関連度が予め決められた条件を満たすほど小さい1個以上の特徴量を決定し、前記ファインチューニング後のDRNNに対して、前記決定した1個以上の特徴量の影響を無くす特徴量削除処理を行うファインチューニングステップと、
前記蓄積部が、前記ファインチューニングステップで行われた処理の結果のDRNNである学習データを蓄積する蓄積ステップとを具備し、
前記ファインチューニングステップにおいて、
前記特徴量群に含まれる2個以上の各特徴量ごとに、学習データを用いて予測した結果値である予測結果値と実測した結果値である実測結果値との誤差に関する誤差情報を算出する誤差情報算出処理と、
前記特徴量群に含まれる2個以上の各特徴量ごとに、特徴量の結果値に対する影響の度合いを示す影響度を算出する影響度算出処理と、
前記特徴量群に含まれる2個以上の各特徴量に対して、1種類以上の重みベクトルごとに、誤差情報と影響度とをパラメータとする増加関数によりコストを算出するコスト算出処理とを行い、
前記コストが予め決められた条件を満たすほど大きい特徴量を使用しない特徴量であると決定し、前記ファインチューニング後のDRNNに対して、前記決定した1個以上の特徴量の影響を無くす特徴量削除処理を行い、
前記誤差情報算出処理は、
格納されている1個以上の予測結果値を読み出すまたは1個以上の予測結果値を算出することにより1個以上の予測結果値を取得し、かつ格納されている1個以上の実測結果値を読み出し、前記特徴量群に含まれる2個以上の各特徴量に対して1種類以上の重みベクトルごとに、予測結果値と実測結果値との誤差に関する誤差情報を算出する処理であり、
前記影響度算出処理は、
前記各特徴量から結果値への1個以上の重みをパラメータとする増加関数により、各特徴量の影響度を算出する処理である学習方法。 - 記憶媒体は、
請求項1記載の学習装置が蓄積した学習データが格納される学習データ格納部を具備し、
予測部、および出力部により実現される予測方法であって、
前記予測部が、結果値に対する関連度が、予め決められた条件を満たすほど小さい1個以上の特徴量を特徴量群から除いた2個以上の特徴量である入力特徴量群を前記学習データに適用し、将来の結果値を取得する予測ステップと、
前記出力部が、前記予測ステップで取得された結果値を出力する出力ステップとを具備する予測方法。 - 2個以上の特徴量である特徴量群と結果を示す結果値とを有するベクトルデータであり、時系列の2つ以上のベクトルデータが格納されるベクトルデータ格納部にアクセス可能なコンピュータを、
前記2つ以上のベクトルデータの部分集合であり、1個または2個以上の時系列の特徴量群である2個以上の各部分時系列に対して、学習の回数に応じて、変化する重要度を与え、当該重要度を与えられた2個以上の部分時系列であるサンプルを作成し、当該サンプルを用いて、複数回繰り返して、オートエンコーダの学習を行うプレトレーニング部と、
前記プレトレーニング部における学習結果から得られるDRNNに対してファインチューニングを行い、結果値に対する関連度が予め決められた条件を満たすほど小さい1個以上の特徴量を決定し、前記ファインチューニング後のDRNNに対して、前記決定した1個以上の特徴量の影響を無くす特徴量削除処理を行うファインチューニング部と、
前記ファインチューニング部が行った処理の結果のDRNNである学習データを蓄積する蓄積部として機能させるためのプログラムであり、
前記ファインチューニング部は、
前記特徴量群に含まれる2個以上の各特徴量ごとに、学習データを用いて予測した結果値である予測結果値と実測した結果値である実測結果値との誤差に関する誤差情報を算出する誤差情報算出処理と、
前記特徴量群に含まれる2個以上の各特徴量ごとに、特徴量の結果値に対する影響の度合いを示す影響度を算出する影響度算出処理と、
前記特徴量群に含まれる2個以上の各特徴量に対して、1種類以上の重みベクトルごとに、誤差情報と影響度とをパラメータとする増加関数によりコストを算出するコスト算出処理とを行い、
前記コストが予め決められた条件を満たすほど大きい特徴量を使用しない特徴量であると決定し、前記ファインチューニング後のDRNNに対して、前記決定した1個以上の特徴量の影響を無くす特徴量削除処理を行い、
前記誤差情報算出処理は、
格納されている1個以上の予測結果値を読み出すまたは1個以上の予測結果値を算出することにより1個以上の予測結果値を取得し、かつ格納されている1個以上の実測結果値を読み出し、前記特徴量群に含まれる2個以上の各特徴量に対して1種類以上の重みベクトルごとに、予測結果値と実測結果値との誤差に関する誤差情報を算出する処理であり、
前記影響度算出処理は、
前記各特徴量から結果値への1個以上の重みをパラメータとする増加関数により、各特徴量の影響度を算出する処理であるものとして、前記コンピュータを機能させるためのプログラム。 - 請求項1記載の学習装置が蓄積した学習データが格納される学習データ格納部にアクセス可能コンピュータを、
結果値に対する関連度が、予め決められた条件を満たすほど小さい1個以上の特徴量を特徴量群から除いた2個以上の特徴量である入力特徴量群を前記学習データに適用し、将来の結果値を取得する予測部と、
前記予測部が取得した結果値を出力する出力部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015221663A JP6679086B2 (ja) | 2015-11-11 | 2015-11-11 | 学習装置、予測装置、学習方法、予測方法、およびプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015221663A JP6679086B2 (ja) | 2015-11-11 | 2015-11-11 | 学習装置、予測装置、学習方法、予測方法、およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017091278A JP2017091278A (ja) | 2017-05-25 |
JP6679086B2 true JP6679086B2 (ja) | 2020-04-15 |
Family
ID=58770634
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015221663A Active JP6679086B2 (ja) | 2015-11-11 | 2015-11-11 | 学習装置、予測装置、学習方法、予測方法、およびプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6679086B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108803486A (zh) * | 2018-08-16 | 2018-11-13 | 重庆理工大学 | 基于并联深度学习网络的数控机床热误差预测与补偿方法 |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107729081B (zh) * | 2017-09-30 | 2020-07-07 | Oppo广东移动通信有限公司 | 应用管理方法、装置、存储介质及电子设备 |
KR102678987B1 (ko) * | 2018-02-20 | 2024-06-28 | 한국전자통신연구원 | 순환신경망 기반 시계열 신호 예측 장치 및 방법 |
EP3594860B1 (en) * | 2018-07-09 | 2024-05-08 | Tata Consultancy Services Limited | Sparse neural network based anomaly detection in multi-dimensional time series |
JP7087969B2 (ja) * | 2018-12-03 | 2022-06-21 | 日本電信電話株式会社 | 前処理装置、前処理方法及び前処理プログラム |
JP7255753B2 (ja) * | 2019-06-14 | 2023-04-11 | 日本電気株式会社 | 転移学習装置、転移学習システム、転移学習の方法、およびプログラム |
CN112529144B (zh) * | 2019-09-17 | 2023-10-13 | 中国科学院分子细胞科学卓越创新中心 | 一种面向短期时间序列预测的预期性学习方法和系统 |
CN111105068B (zh) * | 2019-11-01 | 2023-05-02 | 复旦大学 | 基于序回归学习的数值模式订正的方法 |
CN111982041B (zh) * | 2020-08-25 | 2021-09-24 | 淮阴工学院 | 一种测量用的位移检测系统 |
CN114550454B (zh) * | 2022-02-24 | 2023-05-09 | 南京感动科技有限公司 | 一种基于交通流矩阵组合模型的交通流量预测方法 |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060224532A1 (en) * | 2005-03-09 | 2006-10-05 | Case Western Reserve University | Iterative feature weighting with neural networks |
JP5637373B2 (ja) * | 2010-09-28 | 2014-12-10 | 株式会社Screenホールディングス | 画像の分類方法、外観検査方法および外観検査装置 |
-
2015
- 2015-11-11 JP JP2015221663A patent/JP6679086B2/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108803486A (zh) * | 2018-08-16 | 2018-11-13 | 重庆理工大学 | 基于并联深度学习网络的数控机床热误差预测与补偿方法 |
CN108803486B (zh) * | 2018-08-16 | 2021-02-02 | 重庆理工大学 | 基于并联深度学习网络的数控机床热误差预测与补偿方法 |
Also Published As
Publication number | Publication date |
---|---|
JP2017091278A (ja) | 2017-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6679086B2 (ja) | 学習装置、予測装置、学習方法、予測方法、およびプログラム | |
Wei et al. | LSTM-autoencoder-based anomaly detection for indoor air quality time-series data | |
Arhami et al. | Predicting hourly air pollutant levels using artificial neural networks coupled with uncertainty analysis by Monte Carlo simulations | |
US20150254554A1 (en) | Information processing device and learning method | |
Harrou et al. | Detecting abnormal ozone measurements with a deep learning-based strategy | |
KR101938829B1 (ko) | 해무의 발생을 예측하는 뉴럴 네트워크 학습 방법 및 장치 | |
Nguyen et al. | Deep learning models for forecasting dengue fever based on climate data in Vietnam | |
JP7063389B2 (ja) | 処理装置、処理方法、およびプログラム | |
JP6216294B2 (ja) | 重回帰分析装置および重回帰分析方法 | |
Das et al. | Bayesian Network based modeling of regional rainfall from multiple local meteorological drivers | |
Shao et al. | Evaluation of missing value imputation methods for wireless soil datasets | |
Craciunescu et al. | Geodesic distance on Gaussian manifolds for the robust identification of chaotic systems | |
Putri et al. | Learning Bayesian network for rainfall prediction modeling in urban area using remote sensing satellite data (case study: Jakarta, Indonesia) | |
Alomar et al. | Data-driven models for atmospheric air temperature forecasting at a continental climate region | |
KR20220059287A (ko) | 시계열 예측을 위한 어텐션 기반 스태킹 방법 | |
Zounemat-Kermani | Principal component analysis (PCA) for estimating chlorophyll concentration using forward and generalized regression neural networks | |
Alquraish et al. | SPI-based hybrid hidden Markov–GA, ARIMA–GA, and ARIMA–GA–ANN models for meteorological drought forecasting | |
JPWO2016084326A1 (ja) | 情報処理システム、情報処理方法、及び、プログラム | |
Darmawan et al. | GRU and XGBoost Performance with Hyperparameter Tuning Using GridSearchCV and Bayesian Optimization on an IoT-Based Weather Prediction System. | |
Prabowo et al. | Continually learning out-of-distribution spatiotemporal data for robust energy forecasting | |
Tangrand | Some new contributions to neural networks and wavelets with applications | |
Arroyo et al. | Exponential smoothing methods for interval time series | |
Gill et al. | Context aware model-based cleaning of data streams | |
De et al. | Forecasting chaotic weather variables with echo state networks and a novel swing training approach | |
Jain et al. | Pearson correlation coefficient based attribute weighted k-nn for air pollution prediction |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A80 | Written request to apply exceptions to lack of novelty of invention |
Free format text: JAPANESE INTERMEDIATE CODE: A80 Effective date: 20151210 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181001 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190827 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191021 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200228 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200311 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6679086 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |