JP5018809B2

JP5018809B2 - Time series data prediction device

Info

Publication number: JP5018809B2
Application number: JP2009050116A
Authority: JP
Inventors: 恵志伊加田
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2009-03-04
Filing date: 2009-03-04
Publication date: 2012-09-05
Anticipated expiration: 2029-03-04
Also published as: JP2010204974A

Description

本発明は例えば入力された数値（データ）から将来に発生する数値を予測する予測処理を行う時系列データ予測装置に関するものである。特に過去のデータに基づいて学習した予測モデルに基づいて処理を行うものである。 The present invention relates to a time-series data prediction apparatus that performs a prediction process for predicting a numerical value generated in the future from, for example, an input numerical value (data). In particular, processing is performed based on a prediction model learned based on past data.

時間経過と共に継続的に変化が生じる株価、交通量、通信トラフィック等を数値として表し、その値を時系列に表したデータである時系列データを処理し、将来に発生しうる数値を精度よく予測することは、近い将来に起こりうる事態に備えたり、正常と違う振る舞いが生じることを検出するために必要とされる。このような時系列データに基づいて将来の値を予測するために、ＡＲＭＡモデル、ニューラルネットワークのような数学モデルの作成、作成したモデルを用いた学習を行うモデル学習器等がある。 Represents stock prices, traffic volume, communication traffic, etc. that continuously change over time as numerical values, processes time-series data that represents those values in time series, and accurately predicts numbers that may occur in the future It is necessary to prepare for a situation that may occur in the near future and to detect the occurrence of behavior different from normal. In order to predict future values based on such time series data, there are ARMA models, model learners such as neural networks, and model learners that perform learning using the created models.

時系列データに基づく予測を行う一例としては、例えば時系列データの予測に適したニューラルネットワークを使用して株価の予測を試みているものがある（例えば、非特許文献１参照）。この予測で用いているニューラルネットワークは、ＴＤＮＮ（Time-Delay Neural Network：時間遅れ神経回路網）と呼ばれるものである。入力部分に時系列データに対する遅延層を設け、一単位ずつづらしながら入力することで、ニューラルネットワークの重み計数を最適なものに設定し、株価の予測モデルを学習等するものである。 As an example of performing prediction based on time-series data, for example, there is an attempt to predict a stock price using a neural network suitable for prediction of time-series data (for example, see Non-Patent Document 1). The neural network used in this prediction is called TDNN (Time-Delay Neural Network). By providing a delay layer for time-series data in the input portion and inputting the data while shifting one unit at a time, the weighting coefficient of the neural network is set to an optimum value, and a stock price prediction model is learned.

また、ニューラルネットワークのようなモデル学習器を用い、さらに学習データとして時系列データを複数の周波数成分（解析レベル）に分け、それぞれの成分に基づいて予測を行い、合算するという方法で、将来値を予測しているものもある（例えば、特許文献１参照）。 In addition, by using a model learning device such as a neural network, the time series data is further divided into a plurality of frequency components (analysis levels) as learning data, prediction based on each component is performed, and the future value is added. There is also a thing which predicts (for example, refer patent document 1).

特開平６−０３４２２１号公報（図１）JP-A-6-034221 (FIG. 1)

“Neural Networks Approach to the Random Walk Dilemma of Financial Time Series”,Applied Intelligence Vo.16 No.3,p163-171“Neural Networks Approach to the Random Walk Dilemma of Financial Time Series”, Applied Intelligence Vo.16 No.3, p163-171

しかしながら、上述した非特許文献１に記載のＴＤＮＮは、時系列データを直接ニューラルネットワークに入力して学習等を行わせ、将来の値を予測しようとするものである。このため、刻々と複雑に変化するような特性を有する時系列データに対して予測モデルを精度よく学習させることが難しいため、場合によっては精度が低くなってしまうことがある。 However, the TDNN described in Non-Patent Document 1 described above is to input time-series data directly to a neural network, perform learning, and try to predict future values. For this reason, it is difficult to accurately learn a prediction model for time-series data having characteristics that change in a complicated manner every moment, and the accuracy may be lowered in some cases.

一方、特許文献１に記載の装置では、複数の解析レベルをすべて入力して予測モデルの学習等を行わせ、単一モデルでは困難な、複雑な時系列データに対する予測精度を向上させるようにしている。そして、すべての解析レベルについてモデル学習器を設け、各解析レベルにおいて独立に予測を行うようにしている。このため、処理速度が遅くなるし、また、予測に用いるメモリの量が多くなってしまっていた。 On the other hand, in the apparatus described in Patent Document 1, all of a plurality of analysis levels are input and learning of a prediction model is performed, so that prediction accuracy for complex time series data that is difficult with a single model is improved. Yes. Then, model learners are provided for all analysis levels, and prediction is performed independently at each analysis level. This slows down the processing speed and increases the amount of memory used for prediction.

そこで、精度の高い予測値算出を維持しつつ、処理に係る時間的、経済的コストを削減等することができるような時系列データ予測装置の実現が望まれていた。 Therefore, it has been desired to realize a time-series data prediction apparatus capable of reducing time and economic costs related to processing while maintaining highly accurate prediction value calculation.

本発明に係る時系列データ予測装置は、数値を時系列に表した時系列データを多重解像度解析し、複数の解析レベルにおける解析値を解像度データとして算出処理する多重解像度分解部と、複数の解析レベルのうち、予測値算出に用いる解析レベルを特徴レベルとして選択する特徴レベル選択部と、複数の入力インターフェースを有するモデル学習器入力部と、特徴レベルに係る解像度データを、対応する入力インターフェースに入力させる処理を行うモデル入力対応付け部と、複数の入力インターフェースから入力された解像度データに基づく演算処理を行い、予測値を算出するモデル学習部とを備えるものである。 A time-series data prediction apparatus according to the present invention includes a multi-resolution decomposition unit that performs multi-resolution analysis on time-series data representing numerical values in time series, and calculates and processes analysis values at a plurality of analysis levels as resolution data, and a plurality of analyzes Among the levels, a feature level selection unit that selects an analysis level used for calculating a predicted value as a feature level, a model learner input unit having a plurality of input interfaces, and resolution data related to the feature level are input to a corresponding input interface A model input associating unit that performs the processing to be performed, and a model learning unit that performs arithmetic processing based on resolution data input from a plurality of input interfaces and calculates a predicted value.

本発明によれば、特徴レベル選択部が、予測値算出に必要となる特徴レベルを選択し、モデル入力部対応付け部が、特徴レベル選択部が選択した特徴レベルの解像度データを、モデル学習器入力部の対応する入力インターフェースに入力させる処理を行うようにしたので、多重解像度分解部の多重解像度解析により算出した解像度データにより、モデル学習部が予測処理を行うことで、複雑な時系列データに対する予測値算出の精度を高めつつ、予測処理に係る解析レベルの数を選択することで、学習処理及び予測処理に係る処理時間の短縮を図ることができる。 According to the present invention, the feature level selection unit selects a feature level necessary for calculation of the predicted value, and the model input unit association unit uses the feature level resolution data selected by the feature level selection unit as a model learner. Since the processing to be input to the corresponding input interface of the input unit is performed, the model learning unit performs prediction processing based on the resolution data calculated by the multi-resolution analysis of the multi-resolution decomposition unit, so that complex time series data can be processed. By increasing the accuracy of predictive value calculation and selecting the number of analysis levels related to the prediction process, it is possible to shorten the processing time related to the learning process and the prediction process.

実施の形態１に係る時系列データ予測装置の構成を表す図である。1 is a diagram illustrating a configuration of a time-series data prediction device according to Embodiment 1. FIG. 分解処理に用いるマザーウェーブレットを表す図である。It is a figure showing the mother wavelet used for a decomposition | disassembly process. 選択特徴レベル記憶部１０６が記憶するデータを概念的に表す図である。3 is a diagram conceptually showing data stored in a selected feature level storage unit 106. FIG. モデル入力部対応付け記憶部１０４が記憶するデータを概念的に表す図である。It is a figure which represents notionally the data which the model input part matching memory | storage part 104 memorize | stores. モデル学習部２０２の構成とその処理の概念を表す図である。It is a figure showing the structure of the model learning part 202, and the concept of the process. 実施の形態１に係る時系列データ予測装置の構成を表す図である。1 is a diagram illustrating a configuration of a time-series data prediction device according to Embodiment 1. FIG.

実施の形態１．
図１は本発明の実施の形態１に係る時系列データ予測装置の構成を表す図である。本実施の形態の時系列データ予測装置は、データ解析手段１００とモデル学習器２００とで構成するものとする。 Embodiment 1 FIG.
FIG. 1 is a diagram showing a configuration of a time-series data prediction apparatus according to Embodiment 1 of the present invention. The time-series data prediction apparatus according to the present embodiment is configured by the data analysis unit 100 and the model learning device 200.

データ解析手段１００は、離散時系列データ入力部１０１、多重解像度分解部１０２、モデル入力部対応付け部１０３、モデル入力部対応付け記憶部１０４、特徴レベル選択部１０５、選択特徴レベル記憶部１０６及び動作モード切替部１０７の各部を有している。ここで、データ解析手段１００の各部について、それぞれ異なる専用機器（ハードウェア）で構成することもできるが、例えば、ＣＰＵ（Central Processing Unit ）を中心とする演算制御手段（コンピュータ）でハードウェアを構成し、各部が行う処理の処理手順をあらかじめプログラム化し、ソフトウェア、ファームウェア等で構成しておいてもよい。そして、プログラムを実行により処理を行うことにより、上記の各部が行う処理を実現するようにしてもよい。これらのプログラムに係るデータは例えば記憶手段（図示せず）に記憶しておくようにする。 The data analysis unit 100 includes a discrete time series data input unit 101, a multi-resolution decomposition unit 102, a model input unit association unit 103, a model input unit association storage unit 104, a feature level selection unit 105, a selected feature level storage unit 106, Each part of the operation mode switching unit 107 is included. Here, each unit of the data analysis unit 100 can be configured by different dedicated devices (hardware). For example, the hardware is configured by arithmetic control units (computers) centered on a CPU (Central Processing Unit). However, the processing procedure of each part may be programmed in advance and configured by software, firmware, or the like. And you may make it implement | achieve the process which said each part performs by performing a process by executing a program. Data related to these programs is stored in, for example, storage means (not shown).

離散時系列データ入力部１０１は、入力される信号に含まれる時系列データの入力に係る処理を行う。場合によっては、例えば信号に対して一定周期でサンプリング等を行い、時系列データを生成する処理を行うようにしてもよい。多重解像度分解部１０２は、多重解像度解析（ＭＲＡ）に基づいて時系列データを分解処理し、１又は複数のレベルにおける解像度データを生成する。本実施の形態では、解像度データとして、例えばウェーブレット係数を算出することで分解処理を行うものとする。 The discrete time series data input unit 101 performs processing related to input of time series data included in an input signal. Depending on the case, for example, sampling may be performed on the signal at a constant period, and processing for generating time-series data may be performed. The multi-resolution decomposition unit 102 decomposes the time-series data based on multi-resolution analysis (MRA) to generate resolution data at one or more levels. In the present embodiment, the resolution processing is performed by calculating, for example, wavelet coefficients as resolution data.

特徴レベル選択部１０５は、多重解析度分解部１０２が分解処理して生成したウェーブレット係数（解像度データ）に基づいて、モデル学習器２００が処理に用いるウェーブレット係数のレベル（以下、特徴レベルという）を選択する。選択特徴レベル記憶部１０６は、特徴レベル選択部１０５が選択した特徴レベルに係るデータを記憶する。選択特徴レベル記憶部１０６によりデータを記憶しておくことで、例えば予測処理時において、多重解像度分解部１０２は、予測値算出に用いる特徴レベルに係るウェーブレット係数だけを算出するようにすることもできる。 The feature level selection unit 105 determines the level of wavelet coefficients (hereinafter referred to as the feature level) used by the model learning device 200 based on the wavelet coefficients (resolution data) generated by the decomposition processing by the multiple resolution decomposition unit 102. select. The selected feature level storage unit 106 stores data relating to the feature level selected by the feature level selection unit 105. By storing the data in the selected feature level storage unit 106, for example, at the time of prediction processing, the multi-resolution decomposition unit 102 can calculate only the wavelet coefficients related to the feature level used for prediction value calculation. .

モデル入力部対応付け部１０３は、特徴レベル選択部１０５が選択した特徴レベルの各ウェーブレット係数について、モデル学習器入力部２０１のどの入力インターフェースから入力させるかを決定する。また、決定に基づいて、対応するウェーブレット係数をデータとして入力させる処理を行う。モデル入力部対応付け記憶部１０４は、モデル入力部対応付け部１０３の決定に基づいて、特徴レベルとモデル学習器入力部２０１の入力インターフェースとを対応付けて記憶する。 The model input unit association unit 103 determines from which input interface of the model learner input unit 201 each wavelet coefficient of the feature level selected by the feature level selection unit 105 is input. Further, based on the determination, a process for inputting the corresponding wavelet coefficient as data is performed. The model input unit association storage unit 104 stores the feature level and the input interface of the model learner input unit 201 in association with each other based on the determination of the model input unit association unit 103.

動作モード切替部１０７は、動作モードのデータに基づいて、学習処理を行うか予測処理を行うかを切り替える切替処理を行う。本実施の形態における学習処理とは、モデル学習器２００のモデル学習部２０２が有する内部モデルを形成するための処理である。また、予測処理とは、入力される時系列データに対して内部モデルに基づく計算を行い、予測値を出力する処理である。 The operation mode switching unit 107 performs a switching process for switching between performing the learning process and the prediction process based on the operation mode data. The learning process in the present embodiment is a process for forming an internal model that the model learning unit 202 of the model learning device 200 has. The prediction process is a process of performing calculation based on an internal model for input time-series data and outputting a predicted value.

また、モデル学習器２００は、モデル学習器入力部２０１、モデル学習部２０２、モデル学習器出力部２０３及び正答データ入力部２０４を有している。モデル学習器入力部２０１は、複数の入力インターフェース（ｉｎ＿１，ｉｎ＿２，…，ｉｎ＿ｎ）を有し、入力されたデータ（信号）をモデル学習部２０２に送るための処理を行う。本実施の形態では、モデル学習器入力部２０１は５つの入力インターフェースを有しているものとする。モデル学習部２０２は、モデル学習部入力部２０１に入力されたウェーブレット係数から、内部モデルに基づく計算処理を行って予測値を算出する。モデル学習器出力部２０３は、予測処理時にはモデル学習部２０２が算出した予測値を、例えば外部に信号として出力する。また、学習処理時には、モデル学習部２０２が算出した予測値と正答データ入力部２０４から入力された正答データとの比較を行いながらモデル学習部２０２の内部モデルの補正処理を行う。正答データ入力部２０４は、学習処理時において、モデル学習部２０２が算出した予測値と比較を行うための値である正答データ（信号）をモデル学習器出力部２０３に送るための処理を行う。 The model learning device 200 includes a model learning device input unit 201, a model learning unit 202, a model learning device output unit 203, and a correct answer data input unit 204. The model learner input unit 201 includes a plurality of input interfaces (in_1, in_2,..., In_n), and performs processing for sending input data (signals) to the model learning unit 202. In the present embodiment, it is assumed that the model learner input unit 201 has five input interfaces. The model learning unit 202 calculates a predicted value by performing a calculation process based on the internal model from the wavelet coefficients input to the model learning unit input unit 201. The model learner output unit 203 outputs the prediction value calculated by the model learning unit 202 during the prediction process, for example, as a signal to the outside. Further, during the learning process, the internal model of the model learning unit 202 is corrected while comparing the predicted value calculated by the model learning unit 202 with the correct answer data input from the correct answer data input unit 204. The correct answer data input unit 204 performs processing for sending correct answer data (signal), which is a value for comparison with the predicted value calculated by the model learning unit 202, to the model learner output unit 203 during the learning process.

次に、本実施の形態の時系列データ予測装置の動作について説明する。離散時系列データ入力部１０１は、時系列データを順番に多重解像度解析部１０２に送り、分解処理を行わせる。 Next, the operation of the time-series data prediction apparatus according to this embodiment will be described. The discrete time series data input unit 101 sequentially sends the time series data to the multi-resolution analysis unit 102 to perform a decomposition process.

図３は分解処理に用いるマザーウェーブレットを表す図である。多重解像度解析部１０２は、時系列データに対してウェーブレット変換を行い、レベル毎のウェーブレット係数を算出する分解処理を行う。多重解像度解析部１０２は、マザーウェーブレットと呼ばれる信号を表すデータと時系列データとに基づいて内積を算出し、スケーリング係数で除してウェーブレット係数を算出する。また、図３に示すように、マザーウェーブレットの周期幅を変えることで異なるレベルのマザーウェーブレットを生成し、各レベルについてウェーブレット係数を算出する。 FIG. 3 is a diagram illustrating a mother wavelet used in the decomposition process. The multi-resolution analysis unit 102 performs a wavelet transform on the time series data and performs a decomposition process for calculating a wavelet coefficient for each level. The multi-resolution analysis unit 102 calculates an inner product based on data representing a signal called mother wavelet and time-series data, and calculates a wavelet coefficient by dividing by a scaling coefficient. Also, as shown in FIG. 3, different levels of mother wavelets are generated by changing the period width of the mother wavelet, and wavelet coefficients are calculated for each level.

例えば｛１，３，５，１１，１２，１３，０，１｝という８個の値のデータを時系列データとする。レベル１のウェーブレット係数は、マザーウェーブレット（−１，１）との内積を算出してスケーリング係数で除して算出する。また、時間方向にスライドさせていきウェーブレット係数を計算していく。例えば時系列データ（１，３）とマザーウェーブレット（１，−１）との内積は１×（−１）＋３×１＝２である。スケーリング係数は２^1/2であるため、ウェーブレット係数は２^1/2＝１．４１４２となる。以下、同様に（５，１１）、（１２，１３）（０，１）について、それぞれウェーブレット係数を算出する。以上のようにして｛１．４１４２，４．２４２６，０．７０７１，０．７０７１｝の４つのウェーブレット係数を算出する。また、レベル２のウェーブレット係数は、周期を２倍にしたマザーウェーブレット（−１，−１，１，１）と時系列データの４個のデータとの内積を算出し、このレベルでのスケーリング係数の２で除することにより算出する。 For example, data of eight values {1, 3, 5, 11, 12, 13, 0, 1} is set as time series data. The level 1 wavelet coefficient is calculated by calculating the inner product with the mother wavelet (−1, 1) and dividing by the scaling coefficient. The wavelet coefficient is calculated by sliding in the time direction. For example, the inner product of the time series data (1, 3) and the mother wavelet (1, −1) is 1 × (−1) + 3 × 1 = 2. Since the scaling coefficient is 2 ^1/2 , the wavelet coefficient is 2 ^1/2 = 1.4142. Hereinafter, similarly, wavelet coefficients are calculated for (5, 11), (12, 13) (0, 1), respectively. As described above, four wavelet coefficients {1.4142, 4.2426, 0.7071, 0.7071} are calculated. In addition, the level 2 wavelet coefficient calculates the inner product of the mother wavelet (-1, -1, 1, 1) whose period is doubled and four data of time series data, and the scaling coefficient at this level. It is calculated by dividing by 2.

図４は選択特徴レベル記憶部１０６が記憶するデータを概念的に表す図である。学習処理を行っているときには、学習用の時系列データを分解処理したウェーブレット係数により表される特徴量を判断し、特徴レベル選択部１０５は、モデル学習器入力部２０１に入力する特徴レベルを決定処理する。例えば各レベルのあらかじめ定めた個数のウェーブレット係数について、絶対値を選択指標として絶対値の大きいウェーブレット係数を有するレベルから順番に学習器入力部２０１に入力させる特徴レベルのデータとして選択する。また、各レベルにおいて、あらかじめ定めた個数のウェーブレット係数の分散値を算出し、分散値を選択指標として手分散値の大きなレベルから順番に選択するようにしてもよい。さらに、絶対値の平均値を算出し、平均値を選択指標として平均値の大きなレベルから順番に選択するようにしてもよい。また、あらかじめ定めた個数のウェーブレット係数の代わりに、あらかじめ定めたデータ区間におけるウェーブレット係数に基づいて、選択するようにしてもよい。 FIG. 4 is a diagram conceptually showing data stored in the selected feature level storage unit 106. When performing the learning process, the feature amount represented by the wavelet coefficient obtained by decomposing the learning time-series data is determined, and the feature level selection unit 105 determines the feature level to be input to the model learner input unit 201. To process. For example, a predetermined number of wavelet coefficients for each level are selected as feature level data to be input to the learning device input unit 201 in order from a level having a wavelet coefficient having a large absolute value using an absolute value as a selection index. Also, at each level, a variance value of a predetermined number of wavelet coefficients may be calculated, and the variance value may be selected in order from a level with a large manual variance value as a selection index. Furthermore, an average value of absolute values may be calculated, and the average value may be selected in order from a level with a large average value as a selection index. Further, instead of a predetermined number of wavelet coefficients, the selection may be made based on wavelet coefficients in a predetermined data section.

そして、選択した特徴レベルを表す識別子のデータを、選択特徴レベル記憶部１０６に記憶する。例えば図４では、特徴レベル選択部１０５が、レベル１、レベル２、レベル４、レベル６及びレベル７を選択し、識別子のデータを選択特徴レベル記憶部１０６に記憶している。 Then, identifier data representing the selected feature level is stored in the selected feature level storage unit 106. For example, in FIG. 4, the feature level selection unit 105 selects level 1, level 2, level 4, level 6, and level 7, and stores identifier data in the selection feature level storage unit 106.

図５はモデル入力部対応付け記憶部１０４が記憶するデータを概念的に表す図である。特徴レベル選択部１０５が選択した特徴レベルのウェーブレット係数は、モデル学習器入力部２０１の複数の入力インターフェースに入力される。このとき各特徴レベルに対し、それぞれサンプリングした時間が現時刻に近い時系列データを分解処理して得られたウェーブレット係数から順番に任意のデータ数を組としてモデル学習器入力部２０１へ入力させるようにする。なお、入力可能な組は入力インターフェースにより異なってもよい。 FIG. 5 is a diagram conceptually showing data stored in the model input unit association storage unit 104. The wavelet coefficients of the feature level selected by the feature level selection unit 105 are input to a plurality of input interfaces of the model learner input unit 201. At this time, for each feature level, an arbitrary number of data is sequentially input as a set to the model learner input unit 201 from wavelet coefficients obtained by decomposing time series data whose sampling time is close to the current time. To. The set that can be input may vary depending on the input interface.

例えば、時系列データをＳ＝｛ｓ₁，ｓ₂，…，ｓ_t｝とし、特徴レベルｌのウェーブレット係数をｗ_l＝｛ｗ_1,1，ｗ_1,2，…，ｗ_1,n｝とする。ここでｗ_1,1は、１から始まる時間領域で多重解像度解析部１０２が分解処理して算出したウェーブレット係数を表し、以降、ｗ_1,2，…は時間領域をずらして算出したウェーブレット係数である。ｗ_1,nはｔを含む時間領域で分解処理して算出したウェーブレット係数である。 For example, time series data _{_{S = {s 1, s 2}} , ..., s t} and the wavelet coefficients w _l = characteristic level _{_{l {w 1,1, w 1,2,}} ..., w 1, n} And Here, w _1,1 represents a wavelet coefficient calculated by the multiresolution analysis unit 102 in the time domain starting from ₁ , and hereinafter, w _1,2 ,... Are wavelet coefficients calculated by shifting the time domain. is there. w _{1, n} is a wavelet coefficient calculated by decomposing in the time domain including t.

モデル入力部対応付け部１０３は、特徴レベルｌにおけるウェーブレット係数の同時入力数をｍと決定する。そして現時刻に最も近いｔを含む時間領域で分解処理して算出したウェーブレット係数からデータ数ｍの組のウェーブレット係数｛ｗ_1,n，ｗ_1,n-1，…ｗ_1,n-m｝を入力インターフェースｉｎ＿ｋから入力させる。 The model input unit associating unit 103 determines m as the number of simultaneous input wavelet coefficients at the feature level l. Then, input wavelet coefficients {w _{1, n} , w _{1, n-1} ,... W _{1, nm} } of the number m of data from the wavelet coefficients calculated by decomposing in the time domain including t closest to the current time. Input from interface in_k.

図５は、モデル入力部対応付け記憶部１０４が特徴レベル、入力インターフェース及び組数を対応付けて記憶していることを示している。例えば、レベル１の４つのウェーブレット係数を組として入力インターフェースｉｎ＿１から入力させる。同様に、レベル２の４つのウェーブレット係数を組として入力インターフェースｉｎ＿２から入力させる。また、レベル４の５つのウェーブレット係数を組として入力インターフェースｉｎ＿３から入力させる。さらに、レベル６の６つのウェーブレット係数を組として入力インターフェースｉｎ＿４から入力させる。そして、レベル７の６つのウェーブレット係数を組として入力インターフェースｉｎ＿５から入力させる。 FIG. 5 shows that the model input unit association storage unit 104 stores the feature level, the input interface, and the number of sets in association with each other. For example, four wavelet coefficients of level 1 are input as a set from the input interface in_1. Similarly, four wavelet coefficients at level 2 are input as a set from the input interface in_2. Further, five wavelet coefficients of level 4 are inputted as a set from the input interface in_3. Further, six wavelet coefficients of level 6 are input as a set from the input interface in_4. Then, six wavelet coefficients of level 7 are input as a set from the input interface in_5.

一方、予測処理の際には、モデル入力部対応付け部１０３は、モデル入力部対応付け記憶部１０４に記憶されたデータに基づいて、各特徴レベルのウェーブレット係数について、その組数と入力させる入力インターフェースを判断して入力させる。 On the other hand, in the prediction process, the model input unit associating unit 103 is input based on the data stored in the model input unit associating storage unit 104 and inputs the number of sets of wavelet coefficients of each feature level. Determine and input interface.

図６はモデル学習部２０２を構成する処理の概念を表す図である。モデル学習器２００においては、モデル学習器入力部２０１が各入力インターフェースから入力されたウェーブレット係数を含む信号の処理を行う。そして、モデル学習部２０２が、内部モデルに基づき、ウェーブレット係数から予測値を算出する処理を行う。本実施の形態では、過去の時系列データに基づいて学習処理を行いながら内部モデルを形成するが、その内部モデルとしてニューラルネットワークを用いる。ニューラルネットワークとは、例えば、脳を構成する神経細胞(ニューロン)をモデルし、ネットワーク化して構成した処理機構である。 FIG. 6 is a diagram illustrating the concept of processing that constitutes the model learning unit 202. In the model learner 200, the model learner input unit 201 processes a signal including a wavelet coefficient input from each input interface. And the model learning part 202 performs the process which calculates a predicted value from a wavelet coefficient based on an internal model. In the present embodiment, an internal model is formed while performing learning processing based on past time-series data, and a neural network is used as the internal model. A neural network is, for example, a processing mechanism configured by modeling a nerve cell (neuron) constituting a brain and forming a network.

出力部２０３は、モデル学習部２０２が計算した予測値を処理する。ここで、学習処理を行っている場合には、出力部２０３は、モデル学習部２０２の予測値と正答データ入力部２０４から入力した正答（教師）データとを比較し、モデル学習部２０２の内部モデルを補正する。例えば、図６のようなニューラルネットワークで内部モデルを形成したモデル学習部２０２においては、バックプロパゲーションと呼ばれるモデル補正の手法がある。例えば、出力部２０３は、予測値と正答データが表す値との誤差を計算する。モデル学習部２０２の内部モデルにおいて表される個々のニューロンについて、期待されるニューロンの出力値と実際の出力値との差等を計算し、局所誤差を求める。この局所誤差が小さくなるように、予測値を算出する過程において経た順番とは逆順にニューロンの入力重みを調整していく。そのため、学習処理時においては、出力部２０３は、予測処理時に精度の高い予測値算出を行うことができるように内部モデルを形成するように、学習用の時系列データに基づいてバックプロパゲーションによる補正処理を繰り返し行うようにする。一方、予測処理においては、出力部２０３は、モデル学習部２０２が算出した予測値を含む信号を外部に出力する。 The output unit 203 processes the predicted value calculated by the model learning unit 202. Here, when learning processing is being performed, the output unit 203 compares the predicted value of the model learning unit 202 with the correct answer (teacher) data input from the correct answer data input unit 204, and the inside of the model learning unit 202. Correct the model. For example, in the model learning unit 202 in which an internal model is formed by a neural network as shown in FIG. 6, there is a model correction method called backpropagation. For example, the output unit 203 calculates an error between the predicted value and the value represented by the correct answer data. For each neuron represented in the internal model of the model learning unit 202, the difference between the expected output value of the neuron and the actual output value is calculated to obtain a local error. In order to reduce this local error, the input weights of the neurons are adjusted in the reverse order to the order in the process of calculating the predicted value. Therefore, during the learning process, the output unit 203 uses back propagation based on the learning time-series data so as to form an internal model so that a highly accurate prediction value can be calculated during the prediction process. The correction process is repeated. On the other hand, in the prediction process, the output unit 203 outputs a signal including the predicted value calculated by the model learning unit 202 to the outside.

以上のように、実施の形態１の時系列データ予測装置は、特徴レベル選択部１０５が、予測値算出に必要となる特徴レベルを選択し、モデル入力部対応付け部１０３が、特徴レベル選択部１０５が選択した特徴レベルの各ウェーブレット係数を、モデル学習器入力部２０１の対応する入力インターフェースに入力させる処理を行うようにしたので、多重解像度分解部１０２のウェーブレット変換での多重解像度解析により、ウェーブレット係数をモデル学習部２０２が予測処理するデータとして複雑な時系列データに対する予測値算出の精度を高めつつ、予測処理に係る解析レベル及びウェーブレット係数の数を厳選することで学習処理及び予測処理に係る処理時間の短縮を図ることができる。また、本実施の形態では、モデル入力部対応付け部１０３により、特徴レベルのウェーブレット係数のデータを組にして、対応する入力インターフェースから１つのモデル学習部２０２に入力して処理を行わせるようにしたので、複数のモデル学習部２０２を設ける必要がない。このため、例えば学習処理、予測処理時において、演算等に用いるデータ等を一時的に記憶させておく記憶手段の記憶容量等を減少させることができる。また、モデル学習部２０２が１つでよいので、装置の金額的コスト、設置スペースのコスト等時系列データ予測装置に係るコストを減らすことができる。 As described above, in the time-series data prediction apparatus according to the first embodiment, the feature level selection unit 105 selects a feature level necessary for predictive value calculation, and the model input unit association unit 103 uses the feature level selection unit. Since the processing for inputting each wavelet coefficient of the feature level selected by 105 to the corresponding input interface of the model learner input unit 201 is performed, the wavelet transform is performed by the multiresolution analysis in the wavelet transform of the multiresolution decomposition unit 102. As the data for which the model learning unit 202 performs prediction processing of coefficients, the accuracy of prediction value calculation for complex time-series data is increased, and the analysis level and the number of wavelet coefficients related to the prediction processing are carefully selected to be related to the learning processing and prediction processing. Processing time can be shortened. Further, in the present embodiment, the model input unit associating unit 103 sets the feature level wavelet coefficient data as a set, and inputs the data to one model learning unit 202 from the corresponding input interface to perform processing. Therefore, it is not necessary to provide a plurality of model learning units 202. For this reason, for example, in the learning process and the prediction process, it is possible to reduce the storage capacity or the like of the storage means for temporarily storing the data used for the calculation or the like. In addition, since only one model learning unit 202 is required, it is possible to reduce costs related to the time-series data prediction device such as the cost of the device and the cost of the installation space.

多重解像度解析をウェーブレット変換により行い、解像度データとしてウェーブレット係数を算出するようにしたので、特に算出に係るレベルの数が多い場合でも、処理時間を抑えつつ、分解処理を行うことができる。 Since the multi-resolution analysis is performed by wavelet transform and the wavelet coefficients are calculated as the resolution data, the decomposition process can be performed while suppressing the processing time even when the number of levels related to the calculation is large.

また、学習処理時において、特徴レベル選択部１０５があらかじめ特徴レベルを選択しておいて選択特徴レベル記憶部１０６に特徴レベルに係るデータを記憶しておき、予測処理時においては、多重解像度分解部１０２が特徴レベルに係る多重解像度解析を行うようにすることで、予測処理時における多重解像度分解部１０２の処理量を減らすことができ、処理時間、処理に係るデータを記憶しておく記憶容量の削減をはかることができる。 Further, during the learning process, the feature level selection unit 105 selects the feature level in advance and stores the data related to the feature level in the selected feature level storage unit 106. During the prediction process, the multi-resolution decomposition unit By performing the multi-resolution analysis on the feature level, the processing amount of the multi-resolution decomposition unit 102 at the time of prediction processing can be reduced, and the processing time and the storage capacity for storing the data relating to the processing can be reduced. Reductions can be made.

さらに、特徴レベル選択部１０５が特徴レベルを選択する際の判断基準とする特徴量として、ウェーブレット係数の絶対値、絶対値の平均値、分散値等を算出し、大きな値を有するレベルから選択するようにしたので、時系列データに関して、変化が大きなレベル（周波数成分）を予測値の算出に用いることができ、精度を高めることができる。このとき、各レベルにおいてあらかじめ定めた数のウェーブレット係数、また、同じデータ区間の時系列データを処理した各レベルのウェーブレット係数を用いる等、条件を同じにして特徴量の算出を行うようにしたので精度の高い予測値算出を行うことができる。 Further, the feature level selection unit 105 calculates the absolute value of the wavelet coefficient, the average value of the absolute value, the variance value, and the like as the feature amount used as a determination criterion when selecting the feature level, and selects from the levels having large values. Since it did in this way, regarding a time series data, a level (frequency component) with a big change can be used for calculation of a predicted value, and accuracy can be improved. At this time, feature quantities are calculated under the same conditions, such as using a predetermined number of wavelet coefficients at each level, or using wavelet coefficients at each level obtained by processing time-series data in the same data section. Predictive value calculation with high accuracy can be performed.

実施の形態２．
図７は本発明の実施の形態２に係る時系列データ予測装置の構成を表す図である。図７において、図１と同じ符号を付している手段等については、同様の動作を行うものとする。図７に示すように、本実施の形態の時系列データ予測装置は、多重解像度解析表示部１０９及び特徴レベル選択指示部１１０を有している。本実施の形態では、多重解像度分解部１０２が行った多重解像度解析の結果を表示し、特徴レベルを指示することができるようにしたものである。 Embodiment 2. FIG.
FIG. 7 is a diagram showing a configuration of a time-series data prediction apparatus according to Embodiment 2 of the present invention. In FIG. 7, the same reference numerals as those in FIG. 1 denote the same operations. As illustrated in FIG. 7, the time-series data prediction apparatus according to the present embodiment includes a multiresolution analysis display unit 109 and a feature level selection instruction unit 110. In the present embodiment, the result of the multiresolution analysis performed by the multiresolution decomposition unit 102 is displayed so that the feature level can be indicated.

多重解像度解析表示部１０９は、多重解像度分解部１０２が行った多重解像度解析によるレベル毎の解像度データを表示する表示部である。また、特徴レベル選択指示部１１０は、特徴レベル選択部１０５に選択させる特徴レベルを指示するための入力部である。このため、特徴レベル選択部１０５に選択させる特徴レベルを指示し、所望する特徴レベルのウェーブレット係数をモデル学習器２００に入力させることができる。 The multi-resolution analysis display unit 109 is a display unit that displays resolution data for each level by multi-resolution analysis performed by the multi-resolution decomposition unit 102. The feature level selection instruction unit 110 is an input unit for instructing a feature level to be selected by the feature level selection unit 105. Therefore, it is possible to instruct the feature level to be selected by the feature level selection unit 105 and to input the wavelet coefficient of the desired feature level to the model learning device 200.

１００データ解析手段
１０１離散時系列データ入力部
１０２多重解像度分解部
１０３モデル入力部対応付け部
１０４モデル入力部対応付け記憶部
１０５特徴レベル選択部
１０６選択特徴レベル記憶部
１０７動作モード切替部
１０９多重解像度解析表示部
１１０特徴レベル選択指示部
２００モデル学習器
２０１モデル学習器入力部
２０２モデル学習部
２０３モデル学習器出力部
２０４正答データ入力部 DESCRIPTION OF SYMBOLS 100 Data analysis means 101 Discrete time series data input part 102 Multi-resolution decomposition part 103 Model input part matching part 104 Model input part matching memory | storage part 105 Feature level selection part 106 Selected feature level memory | storage part 107 Operation mode switching part 109 Multi resolution Analysis display unit 110 Feature level selection instruction unit 200 Model learner 201 Model learner input unit 202 Model learning unit 203 Model learner output unit 204 Correct answer data input unit

Claims

A multi-resolution analysis unit that performs multi-resolution analysis of time-series data representing numerical values in time series, and calculates and processes analysis values at a plurality of analysis levels as resolution data;
A feature level selection unit that selects, as a feature level, the analysis level used for predictive value calculation among the plurality of analysis levels;
A model learner input unit having a plurality of input interfaces;
A model input associating unit that performs a process of inputting the resolution data according to the feature level to the corresponding input interface;
A time-series data prediction apparatus comprising: a model learning unit that performs arithmetic processing based on resolution data input from the plurality of input interfaces and calculates a predicted value.

The model input associating unit inputs a predetermined number of sets of resolution data of each feature level obtained by performing multi-resolution analysis on time-series data related to the numerical values that are new in time, and inputs them to the input interface. The time-series data prediction apparatus according to claim 1, wherein the processing is performed.

A selection feature level storage unit that stores data relating to the feature level selected by the feature level selection unit;
During the learning process for causing the model learning unit to perform model learning,
The feature level selection unit selects the feature level from the plurality of analysis levels based on the resolution data of the plurality of analysis levels calculated by the multi-resolution decomposition unit, and the data related to the feature level is Store it in the selected feature level storage unit,
In the prediction process in which the model learning unit calculates the predicted value, the multi-resolution decomposition unit calculates resolution data related to the feature level based on the data stored in the selected feature level storage unit. The time-series data prediction apparatus according to claim 1, wherein the time-series data prediction apparatus performs processing.

The feature level selection unit calculates an absolute value of resolution data of each analysis level as a selection index, and selects the feature level in order from an analysis level having resolution data having a large absolute value. The time-series data prediction apparatus according to any one of to 3.

The feature level selection unit calculates, for each analysis level, an average value of absolute values of the resolution data as a selection index, and selects the feature levels in order from the analysis level having the highest average value. Item 4. A time-series data prediction apparatus according to any one of Items 1 to 3.

The feature level selection unit calculates, for each analysis level, a variance value of the resolution data as a selection index, and selects the feature levels in order from the analysis level having the largest variance value. 4. The time-series data prediction apparatus according to any one of 3 above.

5. The feature level selection unit calculates the selection index based on resolution data of each analysis level calculated by performing multi-resolution analysis on the time-series data at a predetermined time. 6. The time-series data prediction apparatus according to any one of 6 above.

The time-series data prediction according to any one of claims 4 to 6, wherein the feature level selection unit calculates the selection index based on a predetermined number of resolution data of each analysis level. apparatus.

The time-series data prediction apparatus according to claim 1, wherein the multi-resolution decomposition unit performs the multi-resolution analysis by wavelet analysis and calculates a wavelet coefficient as the resolution data.

The time series data prediction apparatus according to claim 1, wherein the model learning unit is configured by a neural network.