JPH10111862A - Device for analyzing time sequence based on recurrent neural network and its method - Google Patents

Device for analyzing time sequence based on recurrent neural network and its method

Info

Publication number
JPH10111862A
JPH10111862A JP17259397A JP17259397A JPH10111862A JP H10111862 A JPH10111862 A JP H10111862A JP 17259397 A JP17259397 A JP 17259397A JP 17259397 A JP17259397 A JP 17259397A JP H10111862 A JPH10111862 A JP H10111862A
Authority
JP
Japan
Prior art keywords
particles
time
vector
generating
step
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP17259397A
Other languages
Japanese (ja)
Inventor
Masahiro Matsuoka
雅裕 松岡
Original Assignee
Fujitsu Ltd
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP8-213563 priority Critical
Priority to JP21356396 priority
Application filed by Fujitsu Ltd, 富士通株式会社 filed Critical Fujitsu Ltd
Priority to JP17259397A priority patent/JPH10111862A/en
Publication of JPH10111862A publication Critical patent/JPH10111862A/en
Application status is Withdrawn legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To estimate the probability distribution of time sequence data in a large scale problem at high speed by using the internal state of a neural network. SOLUTION: The realization value of a hidden state vector in a recurrent neural network which expresses a hidden Markovian model is generated as a 'particle' through the use of a Monte Carlo method. At first, (βn <(j)> ) of a time (n) is calculated in terms of recurrent from the forward prediction particle (pn <(j)> ) of the time (n), the backwards filtering particle (cn+1 <(j)> ) of the time n+1, observation data xn of the time (n) and the weighting coefficient (βn+1 <(j)> )(S6). Then, the smoothing particle (uu <(j)> ) of the time (n) is generated by re-extracting the particle from (pn <(j)> )(S5). Processings S5 and S6 are repeated so as to calculate the aggregation string of the smoothing particles and a probability distribution function is synthesized.

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、ニューラルネットワークの内部状態を利用して、与えられた時系列データからその確率分布を推定する時系列解析装置およびその方法に関する。 The present invention relates utilizes an internal state of the neural network, from time-series data given relates series analysis apparatus and method when estimating the probability distribution.

【0002】 [0002]

【従来の技術】隠れマルコフモデル(hidden Markov mo BACKGROUND OF THE INVENTION hidden Markov model (hidden Markov mo
del :HMM)法は、音声認識や遺伝子の2次構造解析などで広く利用されている解析方法の1つである。 del: HMM) method is one of analysis methods that are widely used in such secondary structure analysis of the speech recognition and gene. マルコフモデルとは、ある状態への遷移確率がその前の状態に依存する状態遷移モデルを指す。 The Markov model, refers to the state transition model transition probability to a certain state is dependent on the previous state. 隠れマルコフモデルにおいては、このような状態遷移によって生じる観測量の変化は観測されるが、状態そのものは観測されない。 In Hidden Markov Models, although such observations amount of change caused by the state transition is observed, the state itself is not observed.

【0003】現在まで、隠れマルコフモデルの表現力の不足を補うために、様々な拡張が施されてきた。 [0003] up to now, in order to compensate for the lack of expressive power of the hidden Markov model, has a variety of expansion is performed. 主な拡張をまとめると次のようになる。 To summarize the main expansion is as follows. (1)通常の隠れマルコフモデルと同じ表現形式 a. (1) the same representation format a normal of hidden Markov models. 観測モデルとして、ガウス密度関数などの連続確率密度関数を想定するHMM−COD(continuous densi As observation model, HMM-COD (continuous densi to assume a continuous probability density function such as a Gaussian density function
ty function )モデルを用いた方法(BH Juang, Ste ty function) method using a model (BH Juang, Ste
phen E. Levinson and MM Sondhi. Maximum Likel phen E. Levinson and MM Sondhi. Maximum Likel
ihood Estimation for Multivariate Mixture Observat ihood Estimation for Multivariate Mixture Observat
ions of Markov Chains. IEEE Transactions on Infor ions of Markov Chains. IEEE Transactions on Infor
mation Theory, IT-32(2):307-309, 1986.)。 mation Theory, IT-32 (2): 307-309, 1986.).

【0004】b. [0004] b. 観測モデルとして、ガウス型ノイズを伴う自己回帰(autoregressive)モデルを採用したHM As an observation model, adopted the self-regression (autoregressive) model with Gaussian noise HM
M−ARモデルを用いた方法(BH Juang and LR Method using the M-AR model (BH Juang and LR
Rabiner. Mixture autoregressive hidden Markov mod Rabiner. Mixture autoregressive hidden Markov mod
el for speech signal. IEEE Transactions on Acoust el for speech signal. IEEE Transactions on Acoust
ic Speech Signal Processing, ASSP-33(6):1401-1413, ic Speech Signal Processing, ASSP-33 (6): 1401-1413,
1985.)。 1985.).

【0005】c. [0005] c. 一つの状態に留まる時間が様々な分布に従うモデル(nonexponential−HMM)を用いた方法(Stephen E. Levinson. Continuously variable dura Method using a model (nonexponential-HMM) of time spent in one state according to various distribution (Stephen E. Levinson. Continuously variable dura
tionhidden Markov models for automatic speech reco tionhidden Markov models for automatic speech reco
gnition. Computer, Speech and langauge 1(1):29-4 . Gnition Computer, Speech and langauge 1 (1): 29-4
5 1986. )。 5 1986.). (2)ニューラルネットワークによる表現形式 確率分布を計算するシンプルな再帰型ニューラルネットワーク(Simple Recurrent Neural Network :SRN (2) simple recursive neural network to calculate the representation probability distribution by the neural network (Simple Recurrent Neural Network: SRN
N)による、一般的な隠れマルコフモデルの計算方法(Sakakibara Yasubumi and Mostefa Golea. Simple R According to N), common hidden Markov model calculation method (Sakakibara Yasubumi and Mostefa Golea. Simple R
ecurrent Networksas Generalized Hidden markov Mode ecurrent Networksas Generalized Hidden markov Mode
ls with Distributed Representations. InProceeding ls with Distributed Representations. InProceeding
s of International Conference on Neural Networks(I s of International Conference on Neural Networks (I
CNN'95), volume 2, pages 979-984. IEEE, 1995.)。 CNN'95), volume 2, pages 979-984. IEEE, 1995.).

【0006】SRNNモデルは、観測モデルとしてガウス密度関数を採用している点で、HMM−CODモデルに類似している。 [0006] SRNN model, in that it employs a Gaussian density function as an observation model, similar to the HMM-COD model. HMM−CODモデルでは、状態遷移確率が数値で与えられるので、モデルのパラメータ推定においては、直接、この数値を推定する。 The HMM-COD model, and the state transition probability is given by numerical value in the parameter estimation of a model, directly to estimate this value. また、隠れ状態ベクトル(隠れ変数ベクトル)や、観測データの平均値等の統計量に対しては、分散表現が明示的に与えられていない。 Also, the hidden state vector (hidden variable vector) and, with respect to the statistics of the average value or the like of the observation data, distributed representation is not given explicitly. ここで、分散表現とは、複数の分布の重ね合わせによる表現を意味する。 Here, the distributed representation means representation by superposition of a plurality of distribution.

【0007】一方、SRNNでは、状態遷移確率を各ニューロンのパラメータの非線形関数として獲得し、観測データの統計量を、各ニューロンのパラメータとして分散表現する。 On the other hand, the SRNN, and obtains the state transition probability as a non-linear function of the parameters of each neuron, the statistics of the observed data, is distributed representation as a parameter of each neuron. 例えば、観測データの平均値は、隠れ状態ベクトルが表す複数の内部状態に対応して、いくつかのパラメータの重ね合わせにより与えられる。 For example, the average value of the observed data, corresponding to a plurality of internal states representing the hidden state vector is given by the superposition of several parameters.

【0008】したがって、SRNNモデルでは、観測データの平均値等を微妙に変化させることが可能で、その表現力はHMM−CODモデルに比べて高い。 Accordingly, the SRNN model, can be subtly vary the mean value or the like of the observation data, the expressive power is higher than the HMM-COD model. また、これをHMM−ARモデルやnonexponential−HMMモデルのように拡張することも容易である。 It is also easy to extend this to HMM-AR model and nonexponential-HMM model.

【0009】図35は、SRNNの概略構成を示している。 [0009] Figure 35 shows a schematic configuration of SRNN. 図35において、ネットワークパラメータ部2には、時刻nにおけるc個の時系列データx n 1 ,. In Figure 35, the network parameters section 2, the time-series data x n 1 of c pieces at time n,. . . ,x n c , X n c が入力層1から入力され、時刻n There is input from the input layer 1, the time n
−1における隠れ素子層3の出力であるk個のデータh Which is the output of the hidden element layer 3 in the -1 k pieces of data h
n-1 1 ,. n-1 1,. . . ,h n-1 kが文脈層4から入力される。 , H n-1 k is input from the context layer 4.

【0010】これらの入力データは、ネットワークパラメータ部2により適当に重み付けされて、隠れ素子層3 [0010] These input data is weighted appropriately by the network parameter unit 2, the hidden element layer 3
に入力される。 It is input to. 隠れ素子層3はk個の隠れ素子から成り、k個の要素を持つ隠れ状態ベクトル(h n 1 ,...,h n k )を出力する。 Hidden element layer 3 consists of k hidden elements, hidden state vector (h n 1, ..., h n k) with k elements and outputs a. この隠れ状態ベクトルは文脈層4に一旦保持されて、次の時刻n+1 The hidden state vector once held in the context layer 4, the next time n + 1
におけるネットワークパラメータ部2への入力となる。 An input to network parameters portion 2 in.

【0011】このSRNNは、外部への出力を持たず、 [0011] This SRNN has no output to the outside,
各時刻における内部状態を隠れ状態ベクトルの値で表現している。 It is expressed by the value of the hidden state vector the internal state at each time. この内部状態は、時系列データx n 1 ,. The internal state, the time-series data x n 1,. . . ,x n cの確率分布を定義するエネルギー関数を規定するために用いられる。 Used to define the energy function defining a probability distribution of x n c. このモデルは、S This model, S
RNNの隠れ状態ベクトルのすべての遷移経路について考慮して、時系列データの確率分布を計算する構成に対応している。 In view of all of the transition paths hidden state vector RNN, and corresponds to the configuration of calculating the probability distribution of the time series data.

【0012】図35においては、文脈層4が1層のレジスタで構成されているため、シンプルな再帰型ニューラルネットワークと呼ばれるが、一般の再帰型ニューラルネットワークでは、文脈層4が複数のレジスタ層により構成される。 [0012] In FIG. 35, since the context layer 4 is composed of a register of one layer, referred to as simple recurrent neural network, the general recursive neural network, the context layer 4 by a plurality of registers layers constructed.

【0013】ところで、再帰的な計算を行うフィルタ粒子については、ニューラルネットワークの動作から確率密度関数を近似的に計算できる。 By the way, for the filter particles to perform recursive calculations can approximately calculate the probability density function from the operation of the neural network. しかし、一般には、ニューラルネットワークの動作と確率密度関数とを対応付けることは難しく、今後の課題となっている。 In general, however, it is difficult to associate the operation and the probability density function of the neural network, it has become a future.

【0014】 [0014]

【発明が解決しようとする課題】しかしながら、従来のSRNNを利用した確率分布の計算方法には、次のような問題がある。 [SUMMARY OF THE INVENTION However, the method of calculating a probability distribution using a conventional SRNN, has the following problems.

【0015】SRNNは、表現力において通常の隠れマルコフモデルよりも優れているが、計算の効率において劣っている。 [0015] SRNN is better than the usual hidden Markov model in expressive power, is inferior in the efficiency of the calculation. 特に、観測データのダイナミックレンジが広い問題などの大規模な問題に対して、計算時間が素子数の指数関数となることが大きな障害となる。 In particular, for large problems such as wide dynamic range problem of observation data, calculation time is a major obstacle that an exponential function of the number of elements. この理由は次の通りである。 The reason for this is as follows.

【0016】従来の計算方法では、観測データ列に対して、k個の隠れ素子を持つSRNNによる予測密度関数、濾過密度関数、および平滑密度関数の再帰計算を行う必要がある。 [0016] In the conventional calculation method, with respect to the observed data string, estimated density function by SRNN with k hidden elements, it is necessary to perform the recursive calculation of the filter density function, and smooth density function. これらの再帰計算は、隠れマルコフモデルの研究分野では、それぞれフォワード計算、バックワード計算、および最適な隠れ状態の推定と呼ばれている。 These recursive calculations, in the research field of hidden Markov models, forward calculation respectively, is called a backward calculation, and the estimated optimal hidden state.

【0017】再帰計算においては、すべての隠れ状態間の遷移確率分布を用いて、予測密度関数等の評価計算を行わなければならない。 [0017] In the recursive calculations, using the transition probability distribution among all the hidden states, must be assessed calculation such as the estimated density function. しかし、k個の隠れ素子を持つSRNNの隠れ状態ベクトルは2 k個の異なる値を取り得るため、対応する2 k個の隠れ状態を内部状態として持っている。 However, the hidden state vector SRNN with k hidden elements to obtain take 2 k number of different values, it has a corresponding 2 k-number of hidden state as an internal state. したがって、kが大きくなると、SRNN Therefore, if k is large, SRNN
の直接的な計算では、効率的な再帰計算ができなくなる。 The direct calculation of, can not be efficient recursive computation. 実際、大規模な問題では、現実的な計算時間で評価を行うことは、ほとんど不可能である。 In fact, in the large-scale problems, to perform the evaluation in a realistic calculation time is almost impossible.

【0018】そこで、kの値を小さくして計算量を削減すると、隠れ素子の数が少なくなるので、表現可能な統計量のバリエーションが限られてしまう。 [0018] Therefore, when reduce the value of k to reduce the amount of calculation since the number of hidden elements is reduced, resulting in a limited variation of representable statistics. このため、S For this reason, S
RNNの利点である分散表現の能力を効果的に利用できなくなる。 Effectively becomes impossible to take advantage of the ability of distributed representation is an advantage of the RNN.

【0019】本発明の課題は、再帰型ニューラルネットワークの内部状態を利用して、大規模問題における時系列データの確率分布を、高速に推定することができる時系列解析装置およびその方法を提供することである。 The object of the present invention utilizes the internal state of the recurrent neural network, the probability distribution of the time series data in the large-scale problems, to provide a series analysis apparatus and method when it is possible to estimate the high-speed it is.

【0020】 [0020]

【課題を解決するための手段】図1は、本発明の時系列解析装置の原理図である。 Figure 1 [Means for Solving the Problems] is a diagram showing the principle of a time series analysis apparatus of the present invention. 図1の時系列解析装置は、ニューラルネットワークを用いて表現される隠れマルコフモデルの計算を行う情報処理装置において用いられ、記憶手段11、生成手段12、および推定手段13を備える。 Time series analysis apparatus of FIG. 1 is used in an information processing apparatus which performs the calculation of the hidden Markov model is expressed using a neural network, a storage unit 11, generating means 12 and the estimation unit 13,.

【0021】記憶手段11は、観測データの確率分布を表現する再帰型ニューラルネットワークの内部状態の状態遷移確率を記憶する。 The storage unit 11 stores a state transition probability of the internal state of the recurrent neural network representing the probability distribution of the observed data. 生成手段12は、上記状態遷移確率を用いて、モンテカルロ法により、上記内部状態を規定する隠れ変数の実現値を生成する。 Generating means 12, by using the state transition probabilities, the Monte Carlo method, to generate a realization of the hidden variables which define the internal state.

【0022】推定手段13は、上記実現値を用いて、上記観測データの確率分布を推定する。 The estimation means 13 may be made of any of the above realizations, to estimate the probability distribution of the observed data. 記憶手段11が記憶する状態遷移確率とは、複数の内部状態が隠れ状態ベクトルの複数の実現値により表現されるとき、ある実現値が表す状態から他の実現値が表す状態へ遷移する確率を意味する。 The state transition probability storage means 11 stores, when a plurality of internal states is represented by a plurality of realization of the hidden state vector, the probability of transition from a state with a realization is represented to other states in which actual values ​​represents means. この状態遷移確率は、例えば図1に示すような状態遷移確率行列の要素として記憶される。 The state transition probabilities are stored as elements of the state transition probability matrix as shown in FIG. 1, for example.

【0023】図1の状態遷移確率行列はk次元の隠れ状態ベクトルに対応しており、その次元2 kは、可能な隠れ状態ベクトルの実現値の数に一致している。 The state transition probability matrix of FIG. 1 corresponds to the hidden state vector of k dimensions, the dimension 2 k coincides with the number of realizations of possible hidden state vector. 隠れ状態ベクトルの実現値の各要素は、隠れ変数の実現値となる。 Each element of the realization of the hidden state vector is a realization of the hidden variables. この状態遷移確率行列において、i行j列の要素p In this state transition probability matrix, the elements of row i and column j p
ij (i=1,...,2 k 、j=1,...,2 k ij (i = 1, ..., 2 k, j = 1, ..., 2 k)
は、j番目の実現値が表す状態からi番目の実現値が表す状態へ遷移する確率を表す。 Represents the probability of transition from state represented by the j-th realization to the i-th state realization represents.

【0024】また、ここで用いるモンテカルロ法とは、 [0024] In addition, the Monte Carlo method used here,
観測データの確率分布を記述する確率分布関数を、隠れ状態ベクトルの複数の実現値を用いて近似的に計算する方法を意味する。 The probability distribution function that describes the probability distribution of the observed data, refer to a method of approximately calculated using the plurality of actual values ​​of the hidden state vector. モンテカルロ法を利用すれば、計算負荷の高い確率分布関数の計算を簡単な近似計算に置き換えることができ、ニューラルネットワークの再帰計算を高速化することができる。 By using the Monte Carlo method, the calculation of high probability distribution function computationally intensive can replace the simple approximate calculation, it is possible to speed up the recursive calculation of the neural network. したがって、SRNNを大規模問題に適用することが可能になる。 Therefore, it is possible to apply the SRNN to large-scale problems.

【0025】生成手段12は、モンテカルロ法に従って、ある状態に対応するある実現値が与えられたとき、 The generating means 12, according to the Monte Carlo method, when there realization is given corresponding to a certain state,
その実現値に対応する状態遷移確率行列の列を読み出し、その列の要素p ij (i=1,...,2 k )に従って、別の状態に対応する実現値を生成する。 Reading a column of the state transition probability matrix corresponding to the realization, elements p ij (i = 1, ... , 2 k) of the column according to generate a realization value corresponding to another state.

【0026】そして、推定手段13は、例えば、各時刻毎の実現値の集合を用いて各時刻毎の確率分布関数を合成し、それらを確率分布関数の列として出力する。 [0026] Then, the estimation unit 13 may, for example, by combining the probability distribution function of each time by using the set of actual values ​​for each time, and outputs them as a sequence of probability distribution function. 出力された確率分布関数の列をグラフ化して表示すれば、確率分布の推定結果を容易に認識できる。 If graphically displays the column of the output probability distribution function, it can easily recognize the result of estimation of the probability distribution.

【0027】例えば、図1の記憶手段11は、実施形態の図14におけるメモリ32に対応し、生成手段12 [0027] For example, the storage unit 11 in FIG. 1 corresponds to the memory 32 in FIG. 14 embodiment, generator 12
は、図8における前向き予測粒子生成装置23、平滑粒子生成装置24、および後向き予測粒子生成装置25に対応し、推定手段13は表示装置29に対応する。 It is forward prediction particle generator 23 in FIG. 8, smoothed particle generator 24, and corresponding to the backward predicted particle generator 25, the estimation unit 13 corresponds to the display device 29.

【0028】 [0028]

【発明の実施の形態】以下、図面を参照しながら、本発明の実施の形態を詳細に説明する。 BEST MODE FOR CARRYING OUT THE INVENTION Hereinafter, with reference to the accompanying drawings, an embodiment of the present invention in detail. 本発明では、SRN In the present invention, SRN
Nの高速な計算のために、利用可能な隠れ状態ベクトルに制約を持たせ、計算量を削減する。 For N fast computation of, to have a constraint on a hidden state vector available, to reduce the calculation amount. また、予測密度関数、濾過密度関数、平滑密度関数などの再帰計算や観測データに対する尤度計算に、北川が提案した計算法を適用して、SRNNに基づく計算の高速化を図る。 Further, estimated density function, filtered density function, the likelihood calculation for the recursive computation and observation data such as smooth density function, by applying the calculation method Kitagawa proposed, to speed up calculations based on SRNN.

【0029】ここで、予測とは、現在までの情報から将来の状態を推定することであり、濾過とは、現在までの情報から現在の状態を推定することであり、平滑化とは、現在までの情報から過去の状態を推定することである。 [0029] Here, prediction and is to estimate the future state from information up to now, and filtration is to estimate the current state from information up to now, the smoothing, the current it is to estimate the past of the state from the information up.

【0030】北川は、非線形・非ガウス・多次元の状態空間モデルに対する計算法(モンテカルロ法)を提案している(Genshiro Kitagawa. Non-Gaussian State-Spa [0030] Kitagawa, it has proposed a calculation method (Monte Carlo method) for the non-linear and non-Gaussian multi-dimensional state space model (Genshiro Kitagawa. Non-Gaussian State-Spa
ce Modeling of Nonstationary Time Series. Journal ce Modeling of Nonstationary Time Series. Journal
of the American Statistical Association 82(400): of the American Statistical Association 82 (400):
1032-1041, 1987. / Genshiro Kitagawa. A Monte 1032-1041, 1987. / Genshiro Kitagawa. A Monte
Carlo Filtering and Smoothing Method for Non-Gauss Carlo Filtering and Smoothing Method for Non-Gauss
ian Nonlinear StateSpace Models. Research Memoran ian Nonlinear StateSpace Models. Research Memoran
dom 462 The Institute of Statistical Mathematics dom 462 The Institute of Statistical Mathematics
12 1993.)。 12 1993.). このモンテカルロ法によるフィルタ計算はスキーマのレベルで知られており、多くの現実問題に応用することが可能である。 Filter calculation is known at the level of the schema by the Monte Carlo method, it can be applied to many real problems.

【0031】本発明では、SRNNを具体的に高速に計算する方法として、この方法を採用する。 [0031] In the present invention, as a method of calculating the specific high speed SRNN, this method is employed. モンテカルロ法を利用すれば、上述の各確率密度関数を多数の実現値で近似的に計算することによって、再帰計算を大幅に短縮することができる。 By using the Monte Carlo method, by approximately calculate the probability density function of the above a number of realization, it is possible to greatly reduce the recursive computation. したがって、SRNNを大規模問題に適用することが可能になる。 Therefore, it is possible to apply the SRNN to large-scale problems.

【0032】また、大規模問題のシミュレーション実験を通じて、SRNNが実際に利用する隠れ状態が非常に少ないことが分かった。 [0032] In addition, through simulation experiments of large-scale problems, hidden state SRNN actually use it has been found to be very small. このため、モンテカルロ法を利用して、少数の隠れ状態を代表点とする近似を行っても、予測等の結果が劣化しないことが分かった。 Thus, by utilizing the Monte Carlo method, even if the approximation of the representative points a few hidden state, it was found that the result of the prediction, etc. are not deteriorated. したがって、少数の隠れ状態に限定した近似を採用することで、SRNNの表現力を損なうことなく、大規模問題への応用が可能になる。 Therefore, by adopting the approximation is limited to a small number of hidden state, without compromising the expressive power of SRNN, become can be applied to large-scale problems.

【0033】ところで、本発明の計算方法は、SRNN [0033] By the way, the calculation method of the present invention, SRNN
によるモデル解析を高速に実行するためのものである。 It is for executing the model analysis at high speed by.
モデル解析とは、観測データ列を生成した情報源の確率構造を近似的に記述することであり、観測データ列に対する適切なパラメータモデルの選択とパラメータの同定が課題になる。 Model analysis and is to approximately describe the probability structure of the generated information sources observed data string, identification of selective and parameters suitable parameters model is a challenge for the observed data string.

【0034】ここで、時刻nのSRNNの入力データを 外1 (以後、ベクトルx nと記 [0034] In this case, the input data of SRNN of time n outside 1 (hereinafter, the vector x n serial

【0035】 [0035]

【外1】 [Outside 1]

【0036】す)とすると、時刻1からNまでの観測データの列は、{ベクトルx 1 ,. [0036] When you), the columns of the observation data from the time 1 to N is {vector x 1,. . . ,ベクトルx N , The vector x N}
となる。 To become. また、モデル解析とは、適切なモデルを用いて、観測データから確率構造のダイナミクスを推定することでもある。 Furthermore, model analysis and is using an appropriate model, also to estimate the dynamics of stochastic structure from the observed data. SRNNによるモデル解析では、ガウス密度関数を持つ隠れマルコフモデルであって、非線形な関数のパラメータで記述されるモデルを、観測モデルとして用いて、観測データに対してSRNNの適切なパラメータを同定する。 Model analysis is SRNN, a hidden Markov model with Gaussian density functions, the model described by the parameter nonlinear function using as an observation model to identify suitable parameters SRNN against observation data. 適切なパラメータが決まれば、観測データに対して最尤の隠れ状態ベクトル間の遷移確率およびガウス密度関数の平均値が計算できる。 Once the appropriate parameter, the average values ​​of the transition probabilities and the Gaussian density functions between the hidden state vector of the maximum likelihood with respect to the observation data can be calculated.

【0037】さらに、観測データに対して最尤の隠れ状態ベクトル列を同定する。 [0037] In addition, to identify the hidden state vector sequence of the maximum likelihood for the observed data. パラメータ同定では、SRN In the parameter identification, SRN
Nの内部状態から計算できる観測データに対する予測密度関数列の計算が必要であり、最尤の隠れ状態ベクトル列の同定には、観測データに対する平滑密度関数列の計算が必要になる(北川源四郎.時系列解析プログラミング.岩波コンピュータサイエンス.岩波書店,193 N requires calculation of the estimated density function sequence for observation data can be calculated from the internal state of the identification of hidden state vector sequence of the maximum likelihood, it is necessary to calculate the smoothed density function sequence for the observed data (Kitagawa Genshiro. time series analysis programming. Iwanami computer science. Iwanami Shoten, 193
3. 3. )。 ). これらの密度関数を直接的な方法で計算すると効率が悪い。 When calculating these density functions in a straightforward manner inefficient.

【0038】本計算方法では、隠れ状態ベクトルの数を限定し、かつ、モンテカルロ法によって、各密度関数を「粒子」の集合で置き換えて近似することで、効率的にモデル解析を遂行する。 [0038] In this calculation method is to limit the number of hidden state vector, and the Monte Carlo method, by the respective density function is approximated by replacing a set of "particles", effectively perform model analysis.

【0039】ここで、「粒子」とは、各密度関数に従って生成される隠れ状態ベクトルの実現値を指し、隠れ状態ベクトルと同じ次元のベクトルである。 [0039] Here, the term "particle" refers to the realization of the hidden state vectors are generated in accordance with the density function is a vector of the same dimension as the hidden state vector. そして、その各要素(隠れ変数)の値は、0または1となる。 Then, the value of each element (hidden variables) becomes 0 or 1. したがって、k次元の隠れ状態ベクトルは、2 k通りの「粒子」を実現値として持つことになる。 Thus, the hidden state vector of dimension k will have the actual values of the "particles" of 2 k street.

【0040】次に、図2から図4までを参照しながら、 Next, with reference to FIGS. 2 through 4,
SRNNの観測データ列に対する予測密度関数や平滑密度関数を、モンテカルロ法の「粒子」を用いて計算する処理の概要を説明する。 The estimated density function or smooth density function for the observed data string SRNN, an outline of processing of calculating using the "particles" of Monte Carlo method.

【0041】図2、3、4において、 外2 (以後、 [0041] In FIG. 2, 3 and 4, the outer 2 (hereinafter,
g(ベクトルx n ;ベクトルω)と g; and (vector x n vector ω)

【0042】 [0042]

【外2】 [Outside 2]

【0043】記す)は、ベクトルωを平均値とし、分散行列が単位行列であるような、ベクトルx nのガウス密度関数である。 [0043] referred) is an average value vector omega, such as variance matrix is a unit matrix, a Gaussian density function of the vector x n. 図2は、前向き予測粒子および前向き濾過粒子の再帰的生成処理を示している。 Figure 2 illustrates a recursive process of generating forward prediction particles and forward filtration particles. 前向きとは、時間の流れに従って粒子を生成することを意味する。 Forward and means to produce particles in accordance with the flow of time. したがって、前向き予測粒子とは、特定時刻までの観測データから、その特定時刻より後の内部状態を推定した結果を表す隠れ状態ベクトルの実現値であり、前向き濾過粒子とは、特定時刻までの観測データから、その特定時刻の内部状態を推定した結果を表す隠れ状態ベクトルの実現値である。 Thus, the forward prediction particles, from the observed data up to a specific time, a realization of the hidden state vector representing the result of estimating the internal state of the after that particular time, the forward filtered particles, observed to a certain time from the data, a realization of the hidden state vector representing the result of estimating the internal state of that particular time. 図2の処理の流れは次の通りである。 Process flow of FIG. 2 is as follows.

【0044】処理S1:時刻nにおけるm個の前向き予測粒子{p n (j) }(j=1,...,m)を、時刻n The process S1: m-number of forward prediction particles at time n {p n (j)} (j = 1, ..., m) to time n
−1におけるm個の前向き濾過粒子{f n-1 (j) }と状態遷移確率行列 外3 (以後、p(ベクトルh|ベクトルh′)と記す)とから生 The m forward filtered particles in -1 {f n-1 (j )} and the state transition probability matrix extracellular 3 (hereinafter, p (vector h | referred to as vector h ')) and color-producing

【0045】 [0045]

【外3】 [Outside 3]

【0046】成する。 [0046] is formed. ここで、前向き予測粒子p n (j) Here, forward prediction particles p n (j)
および前向き濾過粒子f n-1 (j)は、例えば{0,1, And forward filtered particles f n-1 (j), for example {0, 1,
1,0,. 1, 0,. . . ,1}のような、隠れ状態ベクトルhと同じ次元のベクトルである。 , 1} as a vector of the same dimension as the hidden state vector h. また、p(ベクトルh|ベクトルh′)は、隠れ状態ベクトルh′に対応する状態から、隠れ状態ベクトルhに対応する状態への遷移確率を表す。 Further, p (vector h | vector h ') is the hidden state vector h' from the state corresponding to, represents a transition probability to the state corresponding to the hidden state vector h.

【0047】処理S2:重み係数α n (j) =g(ベクトルx n ;ベクトルω(p n (j) ))に比例する 外4 Outside 4 which is proportional to; (a vector ω (p n (j)) vector x n) weighting factor α n (j) = g: [0047] step S2
を重みとして、時刻nの前向き予測粒子{p n (j) }の中から粒子を As a weight and the particles from the forward prediction particles at time n {p n (j)}

【0048】 [0048]

【外4】 [Outside 4]

【0049】再抽出することで、時刻nの前向き濾過粒子{f n (j) }を生成する。 [0049] By re-extraction, to produce a forward filtered particles at time n {f n (j)} . ただし、ガウス密度関数の平均値を表すベクトルω(p n (j) )は、次式により定義される。 However, a vector representing the mean value of the Gaussian density function ω (p n (j)) is defined by the following equation.

【0050】 [0050]

【数1】 [Number 1]

【0051】(1)式において、(p n (j)iは、k [0051] In equation (1), (p n (j)) i is, k
次元のベクトルp n (j)のi番目の要素を表し、 外5 It represents i-th element of the vector p n (j) of dimensions, the outer 5
(以後、ベクトルw iと記す)は、ベクトルx nをi (Hereinafter, referred to as the vector w i) is a vector x n i
番目 Th

【0052】 [0052]

【外5】 [Outside 5]

【0053】の隠れ素子に入力するときに乗算する重みベクトルを表す。 It represents the weight vector to be multiplied to input to the hidden units of [0053]. したがって、ベクトルw iの次元は、 Therefore, the dimension of the vector w i,
ベクトルx nの次元と同じである。 Is the same as the dimension of the vector x n. 図2では、時刻0の前向き濾過粒子{f 0 (j) }を初期値として与え、処理S1およびS2を帰納的に繰り返すことで、前向き予測粒子の集合列を計算する。 In Figure 2, it gives a positive filtration particles of time 0 {f 0 (j)} as an initial value, by repeating the processing S1 and S2 inductively, calculates a set sequence of forward prediction particles. 粒子の集合とは、1時刻におけるm個の粒子を意味し、集合列とは、粒子の集合の時系列を意味する。 The set of particles refers to the m particles in 1 time, and set the column, it means a time series of a set of particles.

【0054】次に、時刻Nからnまで時間を遡り、過去の隠れ状態の予測と濾過を計算する。 Next, back in time from the time N to n, to calculate the prediction and filtration of the past of the hidden state. 図3は、このような後向き予測粒子および後向き濾過粒子の再帰的生成処理を示している。 Figure 3 shows a recursive process of generating such backward prediction particles and backward filtration particles. 後向きとは、時間の流れに逆行して粒子を生成することを意味する。 The backward means for generating a particle going against the flow of time. したがって、後向き予測粒子とは、特定時刻以降の観測データから、その特定時刻より前の内部状態を推定した結果を表す隠れ状態ベクトルの実現値であり、後向き濾過粒子とは、特定時刻以降の観測データから、その特定時刻の内部状態を推定した結果を表す隠れ状態ベクトルの実現値である。 Therefore, the backward prediction particles, from the observed data after a specific time, a realization of the hidden state vector representing the result of estimating the internal state before that particular time, and the backward filtered particles, observation after a certain time from the data, a realization of the hidden state vector representing the result of estimating the internal state of that particular time. 図3の処理の流れは次の通りである。 Process flow of FIG. 3 is as follows.

【0055】処理S3:時刻nの後向き予測粒子{e n [0055] process S3: Time backward prediction particles {e n of n
(j) }を、時刻n+1の後向き濾過粒子{c n+1 (j) (j)} and backward filtration particles of time n + 1 {c n + 1 (j)}
と状態遷移確率行列p(ベクトルh/ベクトルh′)とから生成する。 Generating from the state transition probability matrix p and (vector h / vector h ').

【0056】処理S4:重み係数ε n (j) =g(ベクトルx n ;ベクトルω(e n (j) ))に比例する 外6 Outer 6, which is proportional to; (a vector ω (e n (j)) vector x n) weighting factor ε n (j) = g: [0056] step S4
を重みとして、時刻nの後向き予測粒子{e n (j) }の中から粒子を As a weight and the particles from the backward predicted particle at time n {e n (j)}

【0057】 [0057]

【外6】 [Outside 6]

【0058】再抽出することで、時刻nの後向き濾過粒子{c n (j) }を生成する。 [0058] By re-extraction, to produce a backward filtered particles at time n {c n (j)} . ベクトルω(e n (j) )の定義は(1)式と同様である。 Defining the vector omega (e n (j)) is the same as equation (1). 図3では、時刻N+1の後向き濾過粒子{c N+1 (j) }を初期値として与え、処理S3およびS4を帰納的に繰り返すことで、後向き濾過粒子の集合列を計算する。 In Figure 3, given backward filtering particles of time N + 1 a {c N + 1 (j) } as an initial value, by repeating the process S3 and S4 inductively, calculates a set sequence of backward filtered particles.

【0059】次に、観測データ列{ベクトルx 1 ,. Next, the observed data string {vector x 1,. . . ,ベクトルx N }に対して、隠れ状態ベクトル上の最適な確率密度列を近似する平滑粒子{u n , The vector x with respect to N}, smooth particles {u n to approximate the optimal probability density column on hidden state vector
(j) }{n=1,. (j)} {n = 1 ,. . . ,N)を生成する。 , To generate the N).

【0060】図4は、2重フィルタ法(Genshiro Kitag [0060] FIG. 4, the double filter method (Genshiro Kitag
awa. The two-filter formula forsmoothing and an i awa. The two-filter formula forsmoothing and an i
mplementation of the Gaussian-sum smoother. Annal mplementation of the Gaussian-sum smoother. Annal
s of the Institute of Statistical Mathematics 46 s of the Institute of Statistical Mathematics 46
(4):605-623, 1994.)を用いた平滑粒子の再帰的生成処理を示している。 (4): 605-623, shows a recursive process of generating smoothed particles with 1994.). 平滑粒子とは、特定時間内の観測データから、その特定時間内の1つの時刻の内部状態を推定した結果を表す隠れ状態ベクトルの実現値である。 The smooth particles, observation data within a specific time, a realization of the hidden state vector representing the result of estimating the internal state of one time within the particular time. 図4 Figure 4
の処理の流れは次の通りである。 The processing flow is as follows.

【0061】処理S5:次式で定義される重み係数{β [0061] processing S5: weighting coefficient defined by the following equation {beta
n (j) }(j=1,...,m)に比例する重みに従って、時刻nの予測粒子{p n (j) }の中から粒子を再抽出することで、時刻nの平滑粒子{u n (j) }を生成する。 n (j)} (j = 1, ..., m) according to the weights proportional to, by re-extracted particles out of the predicted particle at time n {p n (j)} , the time n smoothed particles generating a {u n (j)}.

【0062】 [0062]

【数2】 [Number 2]

【0063】(2)式において、d′はあらかじめ決められた整数で、1≦d′≦mである。 [0063] In (2), d 'is a predetermined integer, 1 ≦ d' is ≦ m. また、d′個のj In addition, d 'number of j
iの値は、1,. value of i, 1,. . . ,mの中から任意の方法で選ばれる。 Chosen in any way from the m. iの選択方法は、対象とする問題に応じて変更してもよい。 method of selecting j i may be changed according to the problem to be solved.

【0064】処理S6:時刻n+1の{β n+1 (j) [0064] processing S6: Time n + 1 of {β n + 1 (j) }
と、時刻nの前向き予測粒子{p n (j ) }と、時刻n+ When a forward prediction particles at time n {p n (j)} , the time n +
1の後向き濾過粒子{c n+1 (j) }と、時刻nの観測データであるベクトルx nとから、(2)式によって時刻nの{β n (j) }を再帰的に計算する。 1 backward filtering particles {c n + 1 (j) }, and a vector x n is the observation data of the time n, and calculated recursively the {beta n (j)} at time n by equation (2) . このとき、{β At this time, {β
n+1 (j) }としては、先に計算した{β n (j) }を用いる。 The n + 1 (j)}, using the previously calculated {β n (j)}.

【0065】そして、処理S5およびS6を帰納的に繰り返すことで、平滑粒子の集合列を計算する。 [0065] Then, by repeating the process S5 and S6 inductively, it calculates a set sequence of smooth particles. 2重フィルタ法の意味については、後述することにする。 The meaning of the double filter technique, to be described later. 次に、 next,
図2から図4までに示した処理のアルゴリズムを、より詳細に説明する。 The algorithm of processing shown in FIGS. 2 to 4 will be described in more detail. まず、SRNNの動作を規定するエネルギー関数と状態遷移確率について説明する。 First, a description will be given energy function and state transition probability to define the behavior of SRNN.

【0066】時刻nにおけるSRNNの状態は、(ベクトルh n ,ベクトルx n )により表され、状態(ベクトルh n ,ベクトルx n )上に定義されるエネルギー関数は、 [0066] at time n SRNN state, (vector h n, the vector x n) is represented by the state (vector h n, the vector x n) is the energy function defined above,

【0067】 [0067]

【数3】 [Number 3]

【0068】のようになることが知られている。 [0068] to become it is known as. (3) (3)
式において、h n jは、k次元の隠れ状態ベクトルh n In the formula, h n j is, k dimensional hidden state vector h n
のj番目の要素を表し、ベクトルx nはc次元のベクトルであるものとする。 Represents the j th element, assumed vector x n is a vector of c dimension. また、(4)式のモデルパラメータベクトルλは、図35におけるネットワークパラメータ部2が保持するSRNNのパラメータに対応する。 Further, (4) the model parameter vector λ of formula, corresponding to the parameter of SRNN the network parameters unit 2 is held in FIG 35.

【0069】ベクトルw jは、入力層1からj番目の隠れ素子への入力の重みを表し、ベクトルu jは、文脈層4からj番目の隠れ素子への入力の重みを表し、θ [0069] vector w j represents the weight of the input from the input layer 1 to the j-th hidden element, vector u j represents the weight of the input from the context layer 4 to the j-th hidden element, theta
jは、j番目の隠れ素子への入力バイアスを表す。 j represents an input bias to the j-th hidden element. ベクトルw jは、ベクトルx nと同じくc次元のベクトルであり、ベクトルu jは、ベクトルh nと同じくk次元のベクトルである。 Vector w j is a vector of same c-dimensional vector x n, the vectors u j, is a vector of same k-dimensional vector h n.

【0070】(3)式のエネルギー関数で決まる(ベクトルh n ,ベクトルx n )上の条件付き同時確率分布は、次式で与えられる。 [0070] (3) the conditional joint probability distribution on which is determined by the energy function (vector h n, the vector x n) of the equation is given by the following equation.

【0071】 [0071]

【数4】 [Number 4]

【0072】ここで、ベクトルh n ∈{0,1} kという表記は、ベクトルh nの各要素が0または1であることを意味し、これに関する総和記号Σは、ベクトルh n [0072] Here, the notation vector h n ∈ {0, 1} k, which means that each element of the vector h n is 0 or 1, the sum symbol Σ in this regard, a vector h n
の取り得る2 k通りの値すべてについての総和を意味する。 It means the sum of all the values of 2 k street that can be taken of. また、ベクトルω(ベクトルh n )は、(1)式と同様に、次式で定義される。 Furthermore, the vector omega (vector h n), similar to (1), is defined by the following equation.

【0073】 [0073]

【数5】 [Number 5]

【0074】また、状態遷移密度関数p(ベクトルh n [0074] The state transition density function p (vector h n
|ベクトルh n-1 ,ベクトルλ)は、次式で定義される。 | Vector h n-1, the vector lambda) is defined by the following equation.

【0075】 [0075]

【数6】 [6]

【0076】(5)式の同時確率分布は、ガウス密度関数g(ベクトルx n ;ベクトルω(ベクトルh n ))と状態遷移密度関数p(ベクトルh n |ベクトルh n-1 [0076] (5) the joint probability distribution of expression, a Gaussian density function g (vector x n; vector omega (vector h n)) and the state transition density function p (vector h n | vector h n-1,
ベクトルλ)の積で表されている。 Is represented by the product of the vector lambda). この同時確率分布を図示すると、図5のようになる。 To illustrate this joint probability distribution is as shown in FIG. 図5において、ベクトルh nの値により決められるベクトルω(ベクトルh 5, vector determined by the value of the vector h n omega (vector h n )の値は、確率分布の極大値に対応していることが分かる。 The value of n) is found to correspond to the maximum value of the probability distribution.

【0077】また、時刻nのシステムベクトル(隠れ状態ベクトル)h nは、マルコフ仮定により、一つ前の状態で決まる状態遷移確率分布p(ベクトルh n |ベクトルh [0077] Further, the system vector (hiding state vector) h n at time n, the Markov assumption, determined by the previous state transition probability distribution p (vector h n | vector h n-1 ,ベクトルλ)により決められる。 n-1, determined by the vector lambda).

【0078】今、ベクトルh nの取り得る2 k通りの値を 外7 と書くことにすると、p [0078] Now, if you write a value of 2 k street that can be taken of the vector h n and the outer 7, p

【0079】 [0079]

【外7】 [Outside 7]

【0080】(ベクトルh n |ベクトルh n-1 ,ベクトルλ)は、図6のような行列により表現できる。 [0080] (vector h n | vector h n-1, the vector lambda) can be expressed by the matrix as shown in FIG. 6. 図6の状態遷移確率行列において、i行j列の要素p ij (ベクトルλ)は、ベクトルh (j)に対応する状態からベクトルh (i)に対応する状態への遷移確率を表す。 In the state transition probability matrix of FIG. 6, i row and j-th column element p ij of (vector lambda) represents the transition probability to the state corresponding to the vector h (i) from the state corresponding to the vector h (j). パラメータベクトルλが与えられたとき、(7)式より、状態遷移確率行列の任意の要素p ij (ベクトルλ)を計算することができる。 When the parameter vector lambda is given, can be calculated (7) from the equation, any element p ij of the state transition probability matrix (vector lambda).

【0081】また、隠れ状態ベクトルh nが与えられた時のベクトルx nの確率密度関数は、 [0081] Further, the probability density function of the vector x n when the hidden state vector h n given,

【0082】 [0082]

【数7】 [Equation 7]

【0083】となり、(8)式を用いて(5)式の同時確率分布を書き直すと、 [0083] next, and rewrite the joint probability distribution of equation (5) using the equation (8),

【0084】 [0084]

【数8】 [Equation 8]

【0085】のようになる。 [0085] is as. 以下では、形式的な変換において、パラメータベクトルλの記載を省略することにする。 In the following, the formal conversion, will be omitted the description of the parameter vector lambda. 次に、SRNNにおける予測、濾過、平滑化の各密度関数の導出方法を説明する。 Next, prediction in SRNN, filtered, illustrating a method of deriving the respective density function of smoothing. ここでは、北川のフィルタ・スキーマを援用して、パラメータベクトルλと観測データ列X N ={ベクトルx 1 ,. Here, with the aid of filter schema Kitagawa, observed as a parameter vector λ data sequence X N = {vectors x 1,. . . ,ベクトルx , The vector x
N }が与えられた時のSRNNの対数尤度の算定方法と、最適な隠れ状態ベクトルの推定方法、すなわち、平滑密度関数列の推定方法とを導く。 And the calculation method of the log likelihood of SRNN when N} is given, the method of estimating the optimum hiding state vector, namely, leads to the estimation method of smooth density function column.

【0086】まず、隠れ状態ベクトルに関する前向き予測と前向き濾過を計算すると、前向き予測密度関数は、 [0086] First, when calculating the forward prediction and forward filtration regarding hidden state vector, forward prediction density function,

【0087】 [0087]

【数9】 [Equation 9]

【0088】のようになり、前向き濾過密度関数は、 [0088] would be, forward-looking filtration density function,

【0089】 [0089]

【数10】 [Number 10]

【0090】のようになる。 [0090] is as. ここで、X n-1 ={ベクトルx 1 ,. Here, X n-1 = {vector x 1,. . . ,ベクトルx n-1 }である。 A vector x n-1}. また、観測されたベクトルx nに対する予測密度関数は、 Further, the estimated density function for the observed vector x n,

【0091】 [0091]

【数11】 [Number 11]

【0092】で与えられる。 It is given by [0092]. したがって、パラメータベクトルλが与えられたときの観測データ列に対するSR Therefore, SR for the observed data string when the parameter vector λ is given
NNの尤度としては、例えば、再帰的に計算した予測密度関数の対数値の総和を用いることができる。 The likelihood of the NN, for example, can be used the sum of logarithm of recursively calculated estimated density function. この対数尤度は、次式により与えられる。 The log-likelihood is given by the following equation.

【0093】 [0093]

【数12】 [Number 12]

【0094】また、観測値の濾過密度関数は、 [0094] In addition, filtration density function of the observed value,

【0095】 [0095]

【数13】 [Number 13]

【0096】である。 [0096] a. また、X N n ={ベクトルx n ,. Further, X N n = {vector x n,. . . ,ベクトルx N }とおいて、後向き予測と後向き濾過を計算すると、後向き予測密度関数は、 , At a vector x N}, is calculated backward prediction and backward filtration, the backward prediction density function,

【0097】 [0097]

【数14】 [Number 14]

【0098】のようになり、後向き濾過密度関数は、 [0098] it looks like, retrospective filtration density function,

【0099】 [0099]

【数15】 [Number 15]

【0100】のようになる。 [0100] is as. さらに、観測データ列X N In addition, the observed data string X N
から推定可能な最適な隠れ状態ベクトルは、次式の平滑密度関数により決められる。 Optimum hiding state vector that can be estimated from is determined by smoothing the density function of the following equation.

【0101】 [0101]

【数16】 [Number 16]

【0102】(17)式の右辺より、平滑密度関数p [0102] (17) than the right-hand side of the equation, smooth density function p
(ベクトルh n |X N )は、重みp(X N n |ベクトルh n )と前向き予測密度関数p(ベクトルh n (Vector h n | X N) is the weight p (X N n | vector h n) and the forward prediction density function p (vector h n |
N-1 )の積に比例することが分かる。 It can be seen that proportional to the product of X N-1). この重みp(X This weight p (X
N n |ベクトルh n )は、さらに次式のように書き換えられる。 N n | vector h n) is rewritten further by the following equation.

【0103】 [0103]

【数17】 [Number 17]

【0104】(18)式の右辺において、p(ベクトルx n |ベクトルh n ,X N n+1 )はp(ベクトルx n [0104] In (18) the right-hand side of equation, p (vector x n | vector h n, X N n + 1 ) is p (vector x n |
ベクトルh n )と書き換えられている。 Has been rewritten as a vector h n). これは、ベクトルh This is a vector h nが一旦与えられると、ベクトルx nの確率分布が決まるので、X N n+1 ={ベクトルx n+1 ,. When n is given once, the probability distribution of the vector x n is determined, X N n + 1 = {vector x n + 1,. . . ,ベクトルx N }の観測データは条件として不要なためである。 Observed data vectors x N} is because unnecessary condition.

【0105】(18)式の右辺の最下段にはp(X N [0105] (18) is at the bottom of the right-hand side of the equation p (X N
n+1 |ベクトルh n+1 )が現れているため、p(X N n n + 1 | for vector h n + 1) has appeared, p (X N n
|ベクトルh n )は再帰的に計算されることが分かる。 | Vector h n) is seen to be calculated recursively.
したがって、この再帰計算で得られる各時刻の平滑密度関数の最尤値として、隠れ状態ベクトルを選ぶことができる。 Therefore, the maximum likelihood value of the smoothing density function at each time obtained in this recursive calculation, it is possible to choose a hidden state vector.

【0106】しかし、平滑密度関数のピークが複数個ある場合や、平滑密度関数の分散が時間により変化する場合などもある。 [0106] However, some or if the peak of the smoothed density function there are a plurality, even a case where the dispersion of smooth density function varies with time. このような場合に、平滑密度関数列から得られる情報の損失を防ぐためには、最尤値に対応する隠れ状態ベクトルを求めるのではなく、平滑密度関数列をそのまま推定結果として利用することが望ましい。 In such a case, in order to prevent loss of information obtained from the smoothing density function column, instead of obtaining the hidden state vector corresponding to the maximum likelihood value, it is desirable to utilize as it estimation result a smooth density function column .

【0107】また、(18)式を用いてp(X N n |ベクトルh n )の再帰計算を行うときに、ベクトルh n+1 [0107] Further, p using equation (18) | when performing a recursive calculation of the (X N n vector h n), the vector h n + 1
∈{0,1} kの全体について、p(X N n+1 |ベクトルh The entire ∈ {0,1} k, p ( X N n + 1 | vector h n+1 )p(ベクトルh n+1 |ベクトルh n )の総和を計算しなければならない。 n + 1) p (vector h n + 1 | must calculate the sum of the vector h n). このため、モンテカルロ法を用いて(17)、(18)式を忠実に近似する計算方法では、各時刻の前向き予測粒子をすべて保存しなければならない。 Therefore, using a Monte Carlo method (17), (18) In the calculation method to faithfully approximate expression must store all the forward prediction particles at each time. したがって、高次元ベクトルの実現値を長時間保存するために、膨大なメモリ空間を必要とする。 Therefore, in order to store long time realization of high-dimensional vector, and it requires a huge memory space.

【0108】そこで、(18)式の総和をそのまま計算する代わりに、後向き濾過粒子を用いて近似的に計算する方法がある。 [0108] Therefore, (18) the sum of the equation instead of directly calculating, there is approximately a method for calculating using a backward filtered particles. これは、2重フィルタ法と呼ばれる。 This is referred to as a double-filter method. 2
重フィルタ法では、各時刻の前向き予測粒子を、必要に応じて、その都度再帰的に生成すればよく、メモリを大幅に節約することができる。 In severe filter method, a forward prediction particles at each time, if necessary, each time may be recursively generated, it is possible to save a lot of memory.

【0109】図7は、2重フィルタ法に基づく平滑粒子の近似計算処理を示している。 [0109] Figure 7 shows the approximate calculation process of smooth particles based on double filter method. 2重フィルタ法において、時刻nの平滑粒子{u n (j) }は、図4にも示したように、時刻nの前向き予測粒子{p n (j) }と時刻n In the double filter method, the smoothing particles {u n (j)} at time n, as shown in FIG. 4, the forward prediction particles {p n (j)} at time n and time n
+1の後向き濾過粒子{c n+1 ( j) }を用いて計算できる。 It can be calculated using the backward filtered particles +1 {c n + 1 (j )}.

【0110】この方法では、時刻Nから順に時間を遡って、平滑粒子{u n (j) }を生成していく。 [0110] In this way, back to order time from the time N, continue to produce blunt particles {u n (j)}. このとき、 At this time,
後向き濾過粒子{c n+1 (j) }は、図3に示したように、時刻n+2の後向き濾過粒子{c n+2 (j) }から、 Backward filtered particles {c n + 1 (j) } , as shown in FIG. 3, the backward filtered particles at time n + 2 {c n + 2 (j)},
時刻n+1の後向き予測粒子{e n+1 (j) }のみを介して生成される。 It is generated only through the time n + 1 of the backward prediction particles {e n + 1 (j) }. 時刻N+1の後向き濾過粒子{c N+1 (j Time N + 1 backward filtering particles {c N + 1 (j
) }は初期値として与えられるので、後向き濾過粒子は容易に求められる。 )} Since given as an initial value, backward filtered particles are easily obtained.

【0111】これに対して、前向き予測粒子{p n (j) }は、図2に示したように、時刻n−1の前向き予測粒子{p n-1 (j) }から、時刻n−1の前向き濾過粒子{f n- 1 (j) }を介して生成される。 [0111] By contrast, forward prediction particles {p n (j)}, as shown in FIG. 2, the forward prediction particles at time n-1 {p n-1 (j)}, the time n- produced via one of the forward filtered particles {f n- 1 (j)} . ところが、初期値として与えられるのは時刻0の前向き濾過粒子{f 0 (j) }であるため、前向き予測粒子{p n (j) }を計算するには、時刻1から時刻n−1までの前向き予測粒子と前向き濾過粒子を順に求める必要がある。 However, since the given as the initial value is a positive filtered particles at time 0 {f 0 (j)} , to calculate the forward prediction particles {p n (j)}, from the time 1 to time n-1 forward prediction particles and forward filtration particles need to turn seek.

【0112】例えば、図7のSTAGE1においては、 [0112] For example, in STAGE1 of FIG. 7,
時刻Nの平滑粒子{u N (j) }を計算するために、時刻N+1の後向き濾過粒子{c N+1 (j) }と、時刻Nの前向き予測粒子{p N (j) }を用いている。 To calculate the smoothed particles times N {u N (j)} , backward filtered particles at time N + 1 and {c N + 1 (j) }, the forward prediction particles times N {p N (j)} using ing. 前向き予測粒子{p N (j) }を求めるには、時刻1から時刻Nまでの前向きフィルタの計算を行わなければならない。 To obtain the forward prediction particles {p N (j)} has to perform calculation of the forward filter from time 1 to time N. しかし、以後、STAGE2、STAGE3と計算が進むにつれて、必要な前向きフィルタの計算量は減少していく。 However, thereafter, STAGE2, as STAGE3 the calculation progresses, the calculation amount of feedforward filter required decreases.

【0113】ここで、前向きフィルタとは、前向き予測粒子と前向き濾過粒子を交互に生成する計算を表し、後向きフィルタとは、後向き予測粒子と後向き濾過粒子を交互に生成する計算を表す。 [0113] Here, the forward filter, represents the calculation of producing alternately forward prediction particles and forward filtration particles, and the feedback filter, represents the calculation of producing alternately backward prediction particles and backward filtered particles. また、図7の計算では、前向きフィルタと後向きフィルタの両方の計算を実行するため、この方法は2重フィルタ法と呼ばれる。 Further, in the calculation of FIG. 7, for performing the calculation of both the feedforward filter and feedback filter, this method is called a double filter method.

【0114】次に、SRNNの隠れ状態を限定する方法について説明する。 [0114] Next, a description will be given of a method to limit the hidden state of SRNN. k個の隠れ素子をすべて利用した場合、2 k個の隠れ状態ベクトルが利用可能である。 when utilizing all the k hidden elements, 2 k-number of hidden state vector is available. しかし、システムモデルのダイナミクスの表現に利用される隠れ状態の数は、経験的に高々k程度であることが分かっている。 However, the number of hidden states that are utilized to represent the dynamics of the system model has been found empirically at most about k. 残りの2 k −k個の隠れ状態が利用される確率は、ほぼ0に等しい。 The probability that the remaining 2 k -k number of hidden states is used, approximately equal to 0.

【0115】そこで、利用する隠れ状態をあらかじめ限定することで、SRNNの各密度関数の計算を効率的に遂行することを考えたい。 [0115] Therefore, by limiting the hidden state to use advance, like thinking of performing the calculation of the density function of SRNN efficiently. しかしながら、適当な隠れ状態ベクトルをどのように選ぶのかは、難しい問題である。 However, how to choose a suitable hidden state vector, it is a difficult problem.

【0116】例えば、隠れ状態ベクトルのk個の要素の中で、高々logk個の要素が1であるような隠れ状態ベクトルの集合を考えることもできる。 [0116] For example, in the k elements of the hidden state vector, it can also be considered the most set of hidden states vectors as logk number of elements is 1. この場合、集合の大きさは2 logk /logkとなる。 In this case, the size of the set is a 2 log k / log k. この大きさは、k This magnitude, k
=70で90万程度、k=100で400万程度となり、大規模な回路においては実際的でない。 = 70 in the 900,000 or so, at k = 100 becomes about 4 million, not practical in large-scale circuit.

【0117】また、スパースコーディング(Shun-ichi [0117] In addition, sparse coding (Shun-ichi
Amari. Characteristics of Sparsely Encoded Associ Amari. Characteristics of Sparsely Encoded Associ
ative Memory. Neural Networks 2:451-457, 1989. . Ative Memory Neural Networks 2: 451-457, 1989.
/Robert Hecht-Nielsen. Neurocomputing. Addison- / Robert Hecht-Nielsen. Neurocomputing. Addison-
Wesley 1990. )を利用する方法も考えられる。 How to use the Wesley 1990.) may be considered. この場合、隠れ状態ベクトルの集合の要素数はk 2 /logk In this case, the number of elements of the set of hidden states vector k 2 / log k
個程度である。 It is about number. したがって、適当な方法で選択したkの多項式個程度の大きさの隠れ状態ベクトルの集合を、観測データに合わせて選択できれば、計算の効率化が期待できる。 Thus, a set of hidden state vector polynomial pieces approximately the size of k selected in a suitable manner, if selected according to the observed data, computational efficiency can be expected.

【0118】また、Freundらは、隠れ状態ベクトルを導入した2層のニューラルネットワークによるフィーチャー・マップの学習アルゴリズムを示している(Yaov Fre [0118] Further, Freund et al., Shows a learning algorithm feature map by neural network 2 layer by introducing a hidden state vector (Yaov Fre
undand David Haussler. Unsupervised Learning of D undand David Haussler. Unsupervised Learning of D
istribution over Binary Vectors using Two-layer ne istribution over Binary Vectors using Two-layer ne
tworks. Technical report University of Californi tworks. Technical report University of Californi
a Santa Cruz, 1994.)。 a Santa Cruz, 1994.).

【0119】その核となる射影アルゴリズムは、2 k個の隠れ状態ベクトルhの中から、k個のベクトルh (j) [0119] projection algorithm its core, from among the 2 k number of hidden state vector h, k number of the vector h (j)
の集合{ベクトルh (j) =(δ j (1),...,δ j The set of {vector h (j) = (δ j (1), ..., δ j
(k))|1≦j≦k}に限定して、高速化を図ったものとみなせる。 (K)) | is limited to 1 ≦ j ≦ k}, regarded as those aiming at high speeds. ただし、δ j (i)は、iがjに一致するときのみ1となり、その他の場合は0となる。 However, [delta] j (i) is, i is 0 only 1, and otherwise when matching j. したがって、ベクトルh (j)は、j番目の要素のみが1で、他の要素はすべて0であるような隠れ状態ベクトルを表す。 Thus, the vector h (j), only the j-th element is 1 and other elements representing the hidden state vector in which all are 0.

【0120】本実施形態においては、上述のような限定例を含む任意の方法により、利用する隠れ状態ベクトルの集合を限定することができる。 [0120] In this embodiment, by any method, including limiting examples as described above, it is possible to limit the set of hidden state vector utilized. そして、図6において、利用しない隠れ状態ベクトルに対応する状態遷移確率を0とおくことで、計算量を削減することができる。 Then, in FIG. 6, a state transition probability corresponding to the hidden state vector is not utilized by placing a 0, it is possible to reduce the calculation amount.

【0121】隠れ状態ベクトルの数を限定する計算方法によれば、高次元の隠れ状態ベクトルによるSRNNの高い表現力を保持したままで、計算量を削減することができる。 [0121] According to the calculation method of limiting the number of hidden state vector, while maintaining high expressive power of SRNN with high dimensional hidden state vector, it is possible to reduce the calculation amount. したがって、最初から低次元の隠れ状態ベクトルで計算した場合と比較して、一般に、良い推定結果が得られる。 Therefore, as compared with the case where the calculated low-dimensional hidden state vector from the beginning, generally, good estimation results.

【0122】次に、SRNNの各密度関数のモンテカルロ法による近似方法について説明する。 [0122] Next, a description will be given approximation method Monte Carlo of the density function of SRNN. ここでは、北川のモンテカルロ・フィルタ・スキーマに基づき、SRN Here, based on the Monte Carlo filter schema of Kitagawa, SRN
Nによる予測・濾過・平滑密度のモンテカルロ計算法を導く。 Directing Monte Carlo method of prediction and filtering and smoothing density by N. モンテカルロ法では、各密度関数を上述のような「粒子」で置き換えて計算する。 The Monte Carlo method, to calculate by replacing each density function by "particles" as described above.

【0123】前向き予測粒子{p n (1) ,. [0123] forward prediction particles {p n (1),. . . ,p n , P n
(m) }は前向き予測密度関数p(ベクトルh n (m)} is forward prediction density function p (vector h n |
n-1 )に従って生成される実現値であり、前向き濾過粒子{f n ( 1) ,. A realized value generated, forward filtered particles {f n (1), according to X n-1). . . ,f n (m) }は前向き濾過密度関数p(ベクトルh n |X n )に従って生成される実現値である。 , F n (m)} prospective filtered density function p | is realized values generated in accordance with (a vector h n X n).

【0124】また、後向き予測粒子{e n (1) ,. [0124] Further, backward prediction particles {e n (1),. . . ,e n (m) }は後向き予測密度関数p(ベクトルh n |X N n+1 )に従って生成される実現値であり、後向き濾過粒子{c n (1) ,. , E n (m)} is backward predicted density function p | a realized value generated according to (vector h n X N n + 1) , backward filtered particles {c n (1),. . . ,c n , C n
(m) }は後向き濾過密度関数p(ベクトルh n (m)} is backward filtered density function p (vector h n |
X N n )に従って生成される実現値である。 Is realized value generated according to N n).

【0125】また、平滑粒子{u n (1) ,. [0125] Further, the smoothing particles {u n (1),. . . ,u n , U n
(m) }は平滑密度関数p(ベクトルh n |X N )に従って生成される実現値である。 (m)} is smooth density function p | is realized values generated in accordance with (a vector h n X N). 粒子の個数mは、モデルの複雑さや推定量に対して要求される精度に依存して決まるが、最初に、m=1000もしくは10000等の一定値に決めて試行し、調整した後に、適当な値を選ぶことができる。 The number m of the particles is determined depending on the accuracy required for the complexity and estimation of model, initially attempts determined to a constant value, such as m = 1000 or 10000, after adjusting a suitable it is possible to choose a value. モンテカルロ法によるSRNNの計算に必要な各種「粒子」の生成法は、次の通りである。 Generation of various "particles" necessary for the calculation of SRNN by the Monte Carlo method is as follows.

【0126】ここでは、上述のFreundらの限定方法に従い、状態遷移確率p(ベクトルh (i ) |ベクトルh (j) )を状態遷移テーブル(状態遷移確率行列)として持つことを前提とし、利用可能な隠れ状態ベクトルの集合Hの大きさ|H|は、|H|=poly(k)、すなわちkの多項式個とする。 [0126] Here, according limited to the aforementioned method of Freund et al., State transition probability p | assume that with (vector h (i) vector h (j)) as the state transition table (state transition probability matrix), use possible sizes of set H of hidden state vector | H | is, | H | = poly (k), i.e. a polynomial number of k. kが大きいほど、モンテカルロ法の効果が期待できる。 As k is large, the effect of the Monte Carlo method can be expected.

【0127】前向き予測粒子p n (j)の生成方法は次のようになる。 [0127] Method Generation of forward prediction particles p n (j) is as follows.

【0128】 [0128]

【数18】 [Number 18]

【0129】ここで、記号“〜”は、左辺の粒子が、右辺の確率分布に従って生成されることを表す。 [0129] Here, the symbol "~" represents that the left side of the particles are generated according to the probability distribution of the right-hand side. 前向き濾過粒子f n (j)の生成方法は次のようになる。 Forward method for generating the filtered particles f n (j) is as follows.

【0130】 [0130]

【数19】 [Number 19]

【0131】(22)式の右辺は、m個の前向き予測粒子{p n (1) ,. [0131] (22) the right-hand side of the equation, m-number of forward prediction particles {p n (1),. . . ,p n (m) }のいずれかが、それぞれ対応する確率α n (j) /Σ i=1 m α n (i) (j= , P n (m) either} is the probability corresponding α n (j) / Σ i = 1 m α n (i) (j =
1,. 1,. . . ,m)で選択されることを表す。 It represents is selected in m).

【0132】後向き予測粒子e n (j)の生成方法は次のようになる。 [0132] Method Generation of backward prediction particles e n (j) is as follows.

【0133】 [0133]

【数20】 [Number 20]

【0134】後向き濾過粒子c n (j)の生成方法は次のようになる。 [0134] method for generating the backward filtered particles c n (j) is as follows.

【0135】 [0135]

【数21】 [Number 21]

【0136】平滑粒子u n (j)の生成方法は次のようになる。 [0136] method for generating the smoothed particles u n (j) is as follows.

【0137】 [0137]

【数22】 [Number 22]

【0138】(27)式の右辺のp(X N n [0138] (27) the right-hand side of the equation p (X N n |
n (i) )は、(17)式の重みp(X N n |ベクトルh n )に対応し、(2)式により計算できる。 p n (i)) is (17) of the weight p (X N n | to the vector h n), can be calculated by equation (2). 次に、図8から図24までを参照しながら、本実施形態の時系列解析装置の構成および動作を説明する。 Next, with reference to FIGS. 8 to FIG. 24, the configuration and operation of the time series analysis apparatus of the present embodiment.

【0139】図8は、上述のようなSRNNの高速計算法を組み込んだ時系列解析装置の構成図である。 [0139] Figure 8 is a block diagram of a time series analysis apparatus incorporating a high-speed calculation method of SRNN as described above. 図8の時系列解析装置は、再抽出装置(RS)21、時系列データ収集装置(OBS)22、前向き予測粒子生成装置(FPF)23、平滑粒子生成装置(TFS)24、後向き予測粒子生成装置(BPF)25、尤度計算装置(LLH)26、学習装置(LM)27、モデルパラメータ設定装置(PM)28、および表示装置(PNT) Time series analysis apparatus of FIG. 8, re-extraction device (RS) 21, time-series data acquisition system (OBS) 22, forward prediction particle generator (FPF) 23, smoothing particle generator (TFS) 24, backward prediction particle production device (BPF) 25, the likelihood computing device (LLH) 26, the learning device (LM) 27, a model parameter setting device (PM) 28, and a display device (PNT)
29を備える。 Equipped with a 29.

【0140】時系列データ収集装置22は、前向き予測粒子生成装置23、平滑粒子生成装置24、後向き予測粒子生成装置25、および表示装置29に、時系列データを供給する。 [0140] the time-series data acquisition unit 22, forward prediction particle generator 23, smoothed particle generator 24, backward prediction particle generator 25, and a display device 29, when supplying the series data.

【0141】前向き予測粒子生成装置23は、平滑粒子生成装置24、尤度計算装置26、および表示装置29 [0141] forward prediction particle generator 23, smoothed particle generator 24, the likelihood computing device 26, and a display device 29
に、前向き予測粒子の集合列を供給する。 To supply a set string of forward prediction particles. また、後向き予測粒子生成装置25は、平滑粒子生成装置24および表示装置29に、後向き濾過粒子の集合列を供給する。 Further, backward prediction particle generator 25, the smoothed particle generator 24 and a display device 29, and supplies a set sequence of backward filtered particles.
また、平滑粒子生成装置24は、表示装置29に平滑粒子の集合列を供給する。 Moreover, smooth particle generator 24 supplies a set sequence of smooth particles display device 29.

【0142】再抽出装置21は、重み集合に従って粒子を再抽出し、再抽出粒子の集合を、前向き予測粒子生成装置23、平滑粒子生成装置24、および後向き予測粒子生成装置25に供給する。 [0142] re-extraction device 21 re-extracted particles according to the weights set, a set of re-extraction particles, supplied to the forward prediction particle generator 23, smoothed particle generator 24 and backward predicted particle generator 25,.

【0143】尤度計算装置26は、予測粒子の集合列からモデルパラメータの尤度を計算し、学習装置27に供給する。 [0143] The likelihood calculator 26 calculates the likelihood of the model parameters from a set sequence of predicted particles, supplied to the learning apparatus 27. また、学習装置27は、モデルパラメータの尤度をもとに最適なパラメータを探索し、モデルパラメータ設定装置28に供給する。 Also, the learning unit 27, the likelihood of the model parameters to search the optimum parameters based on, and supplies to the model parameter setting device 28.

【0144】モデルパラメータ設定装置28は、前向き予測粒子生成装置23、平滑粒子生成装置24、および後向き予測粒子生成装置25に、状態遷移確率および入力重みベクトルを、パラメータとして供給する。 [0144] model parameter setting device 28, forward prediction particle generator 23, smoothed particle generator 24, and the backward prediction particle generator 25, the state transition probability and the input weight vector, and supplies as a parameter.

【0145】表示装置29は、粒子の集合列から密度関数列を計算して表示し、また、時系列データも表示する。 [0145] Display device 29 calculates and displays density function string from a set column of particles, also displays time-series data. 図8の時系列解析装置が、観測された時系列データ列を入力として、平滑密度関数列を出力する動作は、次の通りである。 Time series analysis apparatus of FIG. 8, as the input series data sequence when observed, the operation of outputting the smoothed density function sequence is as follows.

【0146】まず、時系列データ収集装置22は、図9 [0146] First of all, the time-series data collection device 22, as shown in FIG. 9
に示すように、時系列データ列{ベクトルx 1 ,. As shown in the time-series data sequence {vectors x 1,. . . ,ベクトルx N }を、前向き予測粒子生成装置23、平滑粒子生成装置24、後向き予測粒子生成装置25、および表示装置29に供給する。 Supplies vector x N}, forward prediction particle generator 23, smoothed particle generator 24, backward prediction particle generator 25, and the display device 29.

【0147】次に、前向き予測粒子生成装置23は、モデルパラメータ設定装置28から供給された適切なパラメータを用いて、再抽出装置21を利用しながら、前向き予測粒子の集合列を計算する。 [0147] Next, forward prediction particle generator 23, using the appropriate parameters supplied from the model parameter setting device 28, while using the re-extraction device 21, calculates a set sequence of forward prediction particles. また、後向き予測粒子生成装置25は、再抽出装置21を利用しながら、後向き濾過粒子の集合列を計算する。 Further, backward prediction particle generator 25, while utilizing the re-extraction device 21, calculates a set sequence of backward filtered particles. 前向き予測粒子の生成に関連するデータの流れは図10のようになり、後向き濾過粒子の生成に関連するデータの流れは図11のようになる。 Forward flow of data associated with generation of the prediction particles is as shown in FIG. 10, the flow of the data related to the generation of the backward filtering particles is as shown in Figure 11.

【0148】次に、平滑粒子生成装置24は、与えられた平滑粒子の再抽出の重みの集合、時刻nの観測データであるベクトルx n 、時刻nの前向き予測粒子の集合、 [0148] Next, the smoothing particle generator 24 is a set of the set of weights of the re-extraction of a given smoothing particles, observation data at time n vector x n, forward prediction particles at time n,
および時刻n+1の後向き濾過粒子の集合から、平滑粒子の再抽出の重みの集合列を計算する。 And a set of backward filtering particles at time n + 1, to calculate a set sequence of the weights of the re-extraction of the smooth particles. そして、再抽出装置21を起動し、時刻nの平滑粒子の再抽出の重みの集合に従って、時刻nの前向き予測粒子の集合を再抽出させることで、時刻nの平滑粒子の集合を生成する。 Then, to start the re-extraction device 21, according to a set of weights of the re-extraction of the smooth particles at time n, that is re-extracted a set of forward prediction particles at time n, to generate a set of smooth particles at time n. 平滑粒子の生成に関連するデータの流れは、図12のようになる。 Data related to the generation of smooth particle stream is as shown in Figure 12.

【0149】そして、表示装置29は、得られた平滑粒子の集合列を、平滑密度関数列として表示する。 [0149] The display device 29 is a set sequence of the obtained smoothed particles, to display as a smooth density function column. また、 Also,
時系列解析装置のパラメータ設定動作は、次の通りである。 Parameter setting operation of the time series analysis apparatus is as follows.

【0150】まず、尤度計算装置26は、前向き予測粒子の集合列をもとに、例えば次式のような対数尤度を計算し、(13)式により与えられるモデルパラメータベクトルλの対数尤度l(ベクトルλ)を近似する。 [0150] First, likelihood calculation unit 26, based on the set sequence of forward prediction particles, for example, the log likelihood as follows to calculate, (13) log-likelihood of the model parameter vector λ given by equation to approximate the degree l (vector λ).

【0151】 [0151]

【数23】 [Number 23]

【0152】次に、学習装置27は、尤度計算装置26 [0152] Next, the learning device 27, the likelihood computing device 26
で計算したモデルパラメータの尤度をもとに、勾配法やシミュレーティド・アニーリング法等を用いて、尤度を最大にするような最尤パラメータベクトルλ を推定する。 In the basis of the likelihood of the calculated model parameters, using a gradient method or Simulated Annealing method, it estimates the maximum likelihood parameter vector λ that maximizes the likelihood.

【0153】この場合の勾配法(グラディエント法)とは、尤度をパラメータで微分して得られる導関数から、 [0153] The gradient method in this case (gradient method), a derivative obtained by differentiating a likelihood parameter,
最尤パラメータを求める方法を指す(Sakakibara Yasub It refers to methods for obtaining the maximum likelihood parameter (Sakakibara Yasub
umiand Mostefa Golea. Simple Recurrent Networks a umiand Mostefa Golea. Simple Recurrent Networks a
s Generalized Hidden markov Models with Distribute It s Generalized Hidden markov Models with Distribute
d Representations. In Proceedings of Internationa d Representations. In Proceedings of Internationa
l Conference on Neural Networks(ICNN'95), volume l Conference on Neural Networks (ICNN'95), volume
2, pages 979-984. IEEE, 1995.)。 2, pages 979-984. IEEE, 1995.).

【0154】また、シミュレーティド・アニーリング法とは、適当なパラメータから出発して、その近傍で尤度を改善できるものがあれば、それに置き換えるという操作を繰り返す反復探索法の1つである。 [0154] Further, the Simulated Annealing method, but starting from the appropriate parameters, if any that may improve the likelihood in the vicinity, which is one of the iterative search method of repeating an operation of replacing it. しかし、この方法では、近傍のパラメータが尤度を改善できなくても、 However, in this method, even impossible parameter in the vicinity of improving the likelihood,
ある確率でそれに置き換えるという操作を加える(Will Add an operation of replacing it at a certain probability (Will
iam H. Press Saul A. Teukolsky, William T. Vetter iam H. Press Saul A. Teukolsky, William T. Vetter
ling and Brian P. Flannery. NUMERICAL RECIPES in ling and Brian P. Flannery. NUMERICAL RECIPES in
C. The Art of Scientific Computing. Cambridge Un C. The Art of Scientific Computing. Cambridge Un
iversity Press second edition 1992. )。 iversity Press second edition 1992.).

【0155】学習装置27は、これらの方法に限らず、 [0155] learning device 27 is not limited to these methods,
任意の方法で最尤パラメータを決定することができる。 It is possible to determine the maximum likelihood parameters in any way.
そして、モデルパラメータ設定装置28は、あらかじめ決められた隠れ状態ベクトルの集合Hを限定する条件をもとに、学習装置27が出力するモデルパラメータベクトルλを用いて、状態遷移確率行列M(H)を計算する。 The model parameter setting device 28 based on the conditions that limit the set H of hidden state vector predetermined, using the model parameter vector λ learning apparatus 27 outputs the state transition probability matrix M (H) to calculate. そして、M(H)を、学習装置27が求めた重みベクトルw j (j=1,...,k)とともに、前向き予測粒子生成装置23、平滑粒子生成装置24、および後向き予測粒子生成装置25に提供する。 Then, M the (H), the weight vector w j learning device 27 is determined (j = 1, ..., k ) along with forward prediction particle generator 23, smoothed particle generator 24, and backward prediction particle generator to provide to 25. パラメータの生成と供給に関連するデータの流れは、図13のようになる。 Flow of data related parameter generation and supply is as shown in Figure 13.

【0156】図14は、図8の時系列解析装置を実現する情報処理装置(コンピュータ)の構成図である。 [0156] Figure 14 is a configuration diagram of an information processing apparatus (computer) for realizing the time-series analysis apparatus of FIG. 図1 Figure 1
4の情報処理装置は、CPU(中央処理装置)31、メモリ32、入力装置33、出力装置34、外部記憶装置35、媒体駆動装置36、ネットワーク接続装置37を備え、それらの各装置はバス38により互いに結合されている。 4 of the information processing apparatus, CPU (central processing unit) 31, a memory 32, an input device 33, output device 34, an external storage device 35, a medium driving device 36, a network connection device 37, their respective device bus 38 They are connected to each other by.

【0157】CPU31は、メモリ32に格納されたプログラムを実行して、時系列解析装置の各処理を実現する。 [0157] CPU31 executes a program stored in the memory 32, when implementing the processes of sequence analyzer. メモリ32には、上述のプログラムの他に、処理に用いられるデータが格納されている。 The memory 32, in addition to the above-mentioned program, data used for processing is stored. メモリ32としては、例えばROM(read only memory)、RAM(rand The memory 32, for example, ROM (read only memory), RAM (rand
om access memory)等が用いられる。 om access memory) or the like is used.

【0158】入力装置33は、例えばキーボード、ポインティングデバイス等に相当し、ユーザからの要求や指示の入力に用いられる。 [0158] The input device 33 includes, for example, a keyboard, and corresponds to the pointing device or the like is used to input requests and instructions from the user. また、出力装置34は、表示装置29やプリンタ等に相当し、計算結果等の出力に用いられる。 Further, the output device 34 corresponds to a display device 29, a printer or the like, and is used to output the calculation results and the like.

【0159】外部記憶装置35は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置等である。 [0159] The external storage device 35, for example, a magnetic disk device, optical disk device, a magneto-optical disk device or the like. この外部記憶装置35に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ32 In the external storage device 35, it stores the above mentioned program and data, if necessary, they memory 32
にロードして使用することができる。 Load can be used to. また、外部記憶装置35は、パラメータや解析結果を保存するデータベースとしても使用される。 The external storage device 35 is also used as a database to store parameters and analysis results.

【0160】媒体駆動装置36は、可搬記録媒体39を駆動し、その記憶内容にアクセスする。 [0160] The medium driving device 36 drives a portable storage medium 39 and accesses the stored contents. 可搬記録媒体3 Portable recording medium 3
9としては、メモリカード、フロッピーディスク、CD The 9, a memory card, a floppy disk, CD
−ROM(compact disk read only memory )、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体を使用することができる。 -ROM (compact disk read only memory), an optical disk, a magneto-optical disk or the like, any of the computer-readable recording medium may be used. この可搬記録媒体39に、上述のプログラムとデータを格納しておき、必要に応じて、それらをメモリ32にロードして使用することができる。 In the portable recording medium 39 stores the above described program and data, if necessary, they can be used by being loaded into the memory 32.

【0161】ネットワーク接続装置37は、LAN(lo [0161] The network connection device 37, LAN (lo
cal area network)等の任意の通信ネットワークに接続され、通信に伴うデータ変換等を行って、外部の情報提供者の装置40(データベース等)と通信する。 Connected to cal area network) any communication network such as, performs data conversion, etc. associated with communications, to communicate with an external information provider device 40 (database, etc.). これにより、時系列解析装置は、必要に応じて、上述のプログラムとデータを装置40からネットワークを介して受け取り、それらをメモリ32にロードして使用することができる。 Thus, time series analysis apparatus, optionally, receive the above-mentioned program and data from the device 40 via the network can be used by loading them into the memory 32.

【0162】次に、図15から図31までを参照しながら、図8の時系列解析装置の動作を詳細に説明する。 [0162] Next, with reference to FIGS. 15 to 31, the operation will be described in detail in the time series analysis apparatus of FIG. 図15は、時系列解析装置の動作フローチャートである。 Figure 15 is an operational flowchart of the time series analysis unit.
時系列解析装置は、起動されると(ステップS11)、 Time series analysis device is activated (step S11), and
まず時系列データの収集を行う(ステップS12)。 For collecting time-series data first (step S12). 次に、SRNNのパラメータを学習し(ステップS1 Then, learning the parameters of SRNN (step S1
3)、SRNNのチューニングを行う(ステップS1 3), to tune SRNN (step S1
4)。 4). そして、時系列データを平滑化して結果を出力し(ステップS15)、待機する(ステップS16)。 Then, time series data and outputs the results smoothed (step S15), and waits (step S16).

【0163】図16は図15のステップS12の動作を示し、図17はステップS13の動作を示し、図18はステップS14の動作を示し、図19はステップS15 [0163] Figure 16 shows the operation of step S12 in FIG. 15, FIG. 17 shows the operation of step S13, FIG. 18 shows the operation of step S14, FIG. 19 step S15
の動作を示している。 It shows the operation.

【0164】図16においてデータ収集が開始されると、時系列解析装置は、時系列データ収集装置22を呼び出す(ステップS21)。 [0164] Once the data collection 16 is started, time series analysis unit, when calling the series data acquisition unit 22 (step S21). 時系列データ収集装置22 The time-series data collection device 22
は、時系列データを観測し(ステップS22)、時刻1 , When observing the series data (step S22), time 1
から時刻Nまでの時系列データ{ベクトルx 1 ,. Time-series data {vector x 1, until time N from. . . ,ベクトルx N }を保存して(ステップS , Save the vector x N} (step S
23)、待機する(ステップS24)。 23) and waits (step S24).

【0165】この時系列データ{ベクトルx 1 ,. [0165] The time-series data {vector x 1,. . . ,ベクトルx N }は、図9に示すように、 , The vector x N}, as shown in FIG. 9,
前向き予測粒子生成装置23、平滑粒子生成装置24、 Forward prediction particle generator 23, smoothed particle generator 24,
後向き予測粒子生成装置25、および表示装置29により利用される。 Utilized by backward prediction particle generator 25 and a display device 29.

【0166】次に、図17において学習が開始されると、時系列解析装置は、学習装置27を呼び出す(ステップS31)。 [0166] Next, the learning is started in FIG. 17, the time series analyzer calls the learning device 27 (step S31). 学習装置27は、非線形最適化法により最尤パラメータベクトルλ の推定を開始する(ステップS32)。 Learning apparatus 27 starts the estimation of the maximum likelihood parameter vector λ by nonlinear optimization method (step S32).

【0167】学習装置27は、まず非線形最適化法の1 [0167] learning apparatus 27, the first non-linear optimization method 1
つのシミュレーティド・アニーリング法を用いて、この目標関数を最大にするようなベクトルλ を求める(ステップS33)。 One of Simulated Annealing method, obtaining the vector λ such that the objective function maximizes (step S33). ここでは、目標関数として(29)式の対数尤度を用いる。 Here, as the objective function (29) using a log-likelihood of the formula. 目標関数の計算動作は次の通りである。 Calculation operation of the objective function is as follows.

【0168】まず、モデルパラメータ設定装置28を呼び出す(ステップS41)、モデルパラメータ設定装置28は、図13に示すように、学習装置27から与えられるベクトルλをもとに状態遷移確率行列M(H)を計算して、M(H)と重みベクトルw jとをパラメータとして前向き予測粒子生成装置23に設定し(ステップS [0168] First, calls the model parameter setting device 28 (step S41), the model parameter setting device 28, as shown in FIG. 13, the state transition probability based on the vector λ supplied from the learning apparatus 27 matrix M (H ) was calculated and is set to forward prediction particle generator 23 M (H) and the weight vector w j as a parameter (step S
42)、待機する(ステップS43)。 42) and waits (step S43).

【0169】次に、前向き予測粒子生成装置23を呼び出す(ステップS44)。 [0169] Next, call the forward prediction particle generator 23 (step S44). 前向き予測粒子生成装置23 Forward prediction particle generator 23
は、時系列データ収集装置22からベクトルx nを受け取り、(21)式に従って{α n (j) }を計算し(ステップS45)、待機する(ステップS46)。 When receiving the vector x n from the time-series data collection device 22, (21) computes the {alpha n (j)} according to formula (step S45), and waits (step S46).

【0170】次に、尤度計算装置26を呼び出す(ステップS47)。 [0170] Next, invoking the likelihood calculation unit 26 (step S47). 尤度計算装置26は、前向き予測粒子生成装置23が求めた{α n (j) }を用いて、(29)式の尤度を計算し、その値を学習装置27に返して(ステップS48)、待機する(ステップS49)。 The likelihood calculator 26 is forward prediction particle generator 23 is determined using the {alpha n (j)}, and calculates the likelihood of (29), returns the value to the learning apparatus 27 (step S48 ), to wait (step S49).

【0171】学習装置27は、アニーリングの各試行で決められるベクトルλの値毎に、対応する目標関数の値を受け取り、すべての試行の中で目標関数が最大となるようなベクトルλを、最尤パラメータベクトルλ に決定する(ステップS34)。 [0171] learning apparatus 27, for each value of the vector is determined at each trial annealing lambda, receives the value of the corresponding objective function, the vector lambda as the objective function is the largest of all the trials, most determining a likelihood parameter vector lambda (step S34). そして、このベクトルλ Then, this vector λ
を保存して(ステップS35)、待機する(ステップS The Save (step S35), and waits (step S
36)。 36).

【0172】次に、図18においてチューニングが開始されると、時系列解析装置は、モデルパラメータ設定装置28を呼び出す(ステップS51)。 [0172] Next, when the tuning is started in FIG. 18, the time series analyzer calls the model parameter setting device 28 (step S51). モデルパラメータ設定装置28は、学習装置27からベクトルλ を受け取り(ステップS52)、隠れ状態ベクトルに対する限定条件に従って、(7)式から最尤の状態遷移確率行列M を計算する。 Model parameter setting device 28 receives the vector λ from the learning device 27 (step S52), in accordance limited conditions for hidden state vector, calculates the state transition probability matrix M of the maximum likelihood from (7).

【0173】そして、ベクトルλ に含まれる重み(入力荷重)ベクトルw jとM とを、前向き予測粒子生成装置23、平滑粒子生成装置24、および後向き予測粒子生成装置25に与えて(ステップS53)、待機する(ステップS54)。 [0173] Then, the weight (input load) vector w j and M included in the vector lambda, forward prediction particle generator 23, smoothed particle generator 24, and gives the backward prediction particle generator 25 (step S53) , to wait (step S54).

【0174】次に、図19において平滑化が開始されると、時系列解析装置は、まず制御変数iを1とおき(ステップS60)、前向き予測粒子生成装置23を起動する(ステップS61)。 [0174] Next, the smoothed 19 is started, time series analysis unit, the 1 Distant first control variable i (step S60), starts the forward prediction particle generator 23 (step S61).

【0175】前向き予測粒子生成装置23は、図10に示すように、再抽出装置21を利用して、時刻n=N− [0175] forward prediction particle generator 23, as shown in FIG. 10, by using the re-extraction device 21, the time n = N-
i+1の前向き予測粒子{p n (j) }を生成する(ステップS62)。 generating a i + 1 of the forward prediction particles {p n (j)} (step S62). このとき、図2および図7に示した前向きフィルタの動作に従って、時刻1から時刻nまでの前向き予測粒子が再帰的に生成される。 At this time, according to the operation of the feedforward filter shown in FIGS. 2 and 7, forward prediction particles from time 1 to time n are recursively generated. ただし、時刻0の前向き濾過粒子は初期値としてランダムに生成される。 However, forward filtering particles of time 0 is randomly generated as an initial value.

【0176】そして、前向き予測粒子{p n (j) }を平滑粒子生成装置24に出力して(ステップS63)、待機する(ステップS64)。 [0176] Then, outputs a forward prediction particles {p n (j)} smooth particle generator 24 (step S63), and waits (step S64). このとき、前向き予測粒子や前向き濾過粒子の記憶領域はクリアされる。 At this time, the storage area of ​​the forward prediction particles and forward filtration particles are cleared.

【0177】次に、後向き予測粒子生成装置25が起動され(ステップS65)、図11に示すように、再抽出装置21を利用して、時刻n+1の後向き濾過粒子{c [0177] Next, backward prediction particle generator 25 is started (step S65), as shown in FIG. 11, by using the re-extraction device 21, the time n + 1 backward filtering particles {c
n+1 ( j) }を生成する(ステップS66)。 generating a n + 1 (j)} (step S66). このとき、 At this time,
図3および図7に示した後向きフィルタの動作に従って、時刻n+2の後向き濾過粒子{c n+2 (j) }から後向き濾過粒子{c n+1 (j) }が生成される。 According to the operation of the feedback filter shown in FIGS. 3 and 7, the time n + 2 backward filtering particles {c n + 2 (j) } backward filtered particles from {c n + 1 (j) } is generated. ただし、時刻N+1の後向き濾過粒子は初期値としてランダムに生成される。 However, backward filtered particles at time N + 1 is generated randomly as the initial value.

【0178】そして、後向き濾過粒子{c n+1 (j) }を平滑粒子生成装置24に出力して(ステップS67)、 [0178] Then, it outputs backward filtered particles {c n + 1 (j) } smooth particle generator 24 (step S67),
待機する(ステップS68)。 To wait (step S68). このとき、後向き予測粒子や後向き濾過粒子の計算結果は、そのまま記憶領域に保存される。 At this time, the calculation results of the backward prediction particles or backward filtered particles are preserved in the storage area.

【0179】次に、平滑粒子生成装置24が起動され(ステップS69)、図12に示すように、再抽出装置21を利用して、前向き予測粒子{p n (j) }と後向き濾過粒子{c n+1 (j) }から時刻nの平滑粒子{u n [0179] Next, the smoothing particle generator 24 is started (step S69), as shown in FIG. 12, by using the re-extraction device 21, forward prediction particles {p n (j)} and backward filtered particles { c n + 1 (j)} from the time n smoothed particles {u n
(j) }を生成する(ステップS70)。 (j) generating a} (step S70). そして、平滑粒子{u n (j) }を表示装置29に出力して(ステップS Then, the output smoothing particles {u n (j)} to the display device 29 (step S
71)、待機する(ステップS72)。 71) and waits (step S72). このとき、平滑粒子の計算結果は、そのまま記憶領域に保存される。 At this time, the calculation result of the smoothing particles are preserved in the storage area.

【0180】次に、時系列解析装置は、nが1に到達したかどうかを判定し(ステップS73)、到達していなければi=i+1とおいて(ステップS74)、ステップS61以降の動作を繰り返す。 [0180] Then, time series analysis unit, n is determined whether the reached 1 (step S73), at the i = i + 1 If not reached (step S74), and repeats the step S61 and subsequent operation . そして、nが1に到達すれば、表示装置29が時刻1から時刻Nまでの平滑粒子に基づいて、時系列データの推定結果を表示し(ステップS75)、動作を終了する。 Then, when n reaches the 1, the display device 29 based on the smoothed particles from time to time N, when displaying the estimation result of the series data (step S75), and ends the operation.

【0181】次に、前向き予測粒子生成装置23、後向き予測粒子生成装置25、平滑粒子生成装置24、および再抽出装置21の動作を個別に説明する。 [0181] Next, forward prediction particle generator 23, backward prediction particle generator 25, will be described in the individual action of the smoothing particle generator 24 and the re-extraction device 21,. 図20、2 Figure 20, 2
1は、図19のステップS62、S63、S64における前向き予測粒子生成装置23の動作のフローチャートであり、図22、23は、ステップS66、S67、S 1 is a flowchart of the operation of the forward prediction particle generator 23 in step S62, S63, S64 of FIG. 19, 22 and 23, steps S66, S67, S
68における後向き予測粒子生成装置25の動作のフローチャートであり、図24は、ステップS70、S7 Is a flow chart of the operation of the backward prediction particle generator 25 in 68, FIG. 24, step S70, S7
1、S72における平滑粒子生成装置24の動作のフローチャートである。 1 is a flowchart of the operation of the smoothing particle generator 24 at S72. また、図25は、これらの各装置から呼び出される再抽出装置21の動作のフローチャートである。 Further, FIG. 25 is a flowchart of the operation of the re-extraction device 21 called from these devices.

【0182】ただし、これらの図20〜25においては、図19の制御変数iに関する反復処理が、各装置内に閉じた反復処理として、別の制御変数を用いて記述されている。 [0182] However, in these figures 20 to 25, iterate a control variable i in FIG. 19, as an iterative process closed in each unit are described with reference to another control variable.

【0183】前向き予測粒子生成装置23は、粒子の個数m、観測データ列{ベクトルx 1 ,. [0183] forward prediction particle generator 23, the number of particles m, the observed data string {vectors x 1,. . . ,ベクトルx N }、状態遷移確率行列M(H)、および前向き濾過粒子の初期確率p 0 (H)を入力として、前向き予測粒子の集合列{p n (j) }(j=1,...,m、n= , The vector x N}, the state transition probability matrix M (H), and inputs the initial probability p 0 (H) of the forward filtered particles, set the column of forward prediction particles {p n (j)} ( j = 1 ,. .., m, n =
1,. 1,. . . ,N)を出力する。 , N) to output. ただし、粒子の個数mと初期確率p 0 (H)は、あらかじめ与えられている。 However, the number of particles m and the initial probability p 0 (H) are given in advance.

【0184】図20において、前向き予測粒子生成装置23は、まず初期確率p 0 (H)に従ってm個の粒子をランダムに生成し、これらを時刻0の前向き濾過粒子の集合{f 0 (1) ,. [0184] In FIG. 20, forward prediction particle generator 23, the m-number of particles generated at random according to the initial probability p 0 (H) First, a set of forward filtration particles of these time 0 {f 0 (1) ,. . . ,f 0 (m) }とする(ステップS81)。 , And f 0 (m)} (step S81). 次に、n=1とおき(ステップS82)、前向き予測粒子の生成を開始する(ステップS83)。 Then, n = 1 is set (at step S82), it starts generating the forward prediction particles (step S83).

【0185】ここでは、まずj=1とおき(ステップS [0185] Here, first j = 1 is set (at step S
84)、時刻n−1のj番目の前向き濾過粒子f n-1 84), j th forward filtration particles of time n-1 f n-1
(j)を選択する(ステップS85)。 (j) selecting (step S85). 次に、状態遷移確率行列M(H)の要素のうち、粒子f n-1 (j)に対応する列column(f n-1 (j) )を選ぶ。 Then, among the elements of the state transition probability matrix M (H), selecting the column column corresponding to the particle f n-1 (j) ( f n-1 (j)). そして、この状態遷移確率に従って、前向き予測粒子p n (j)を生成する(ステップS86)。 Then, according to the state transition probability, to generate a forward prediction particles p n (j) (step S86).

【0186】例えばk=2の場合、可能な隠れ変数の数は2 2 =4となり、隠れ状態ベクトルh nの実現値としては、(0,0)、(1,0)、(0,1)、(1, [0186] For example, in the case of k = 2, the number of possible hidden variables 2 2 = 4, as realization of the hidden state vector h n is (0,0), (1,0), (0,1 ), (1,
1)の4つが考えられる。 1) four can be considered. ここで、計算を高速化するために、利用するベクトルh nの範囲を集合H={(1, Here, in order to speed calculation and set the range of the vector h n utilizing H = {(1,
0),(0,1)}に限定したとする。 0), and is limited to (0,1)}. このとき、時刻nと時刻n+1の間の遷移確率を表す状態遷移確率行列M(H)は、例えば図26に示すようになる。 At this time, the time n and time n + 1 of the state transition probability matrix M representing the transition probability between (H) is, for example, as shown in FIG. 26.

【0187】図26のM(H)において、ベクトル(1,0)に対応する列の遷移確率は、上から順に0、 [0187] In M (H) in FIG. 26, the transition probability of columns corresponding to the vector (1,0), 0 from the top,
0.25、0.75、0となっている。 It has become a 0.25,0.75,0. したがって、 p((0,0)|(1,0))=0 p((1,0)|(1,0))=0.25 p((0,1)|(1,0))=0.75 p((1,1)|(1,0))=0 である。 Therefore, p ((0,0) | (1,0)) = 0 p ((1,0) | (1,0)) = 0.25 p ((0,1) | (1,0)) = 0.75 p ((1,1) | (1,0)) = 0. これらの遷移確率を、ベクトル(1,0)からの遷移を規定する確率分布として図示すると、図27のようになる。 These transition probabilities, when shown as a probability distribution that defines the transition from the vector (1, 0), is shown in Figure 27. この分布に従えば、25%の確率で粒子(1,0)が生成され、75%の確率で粒子(0,1) According to this distribution, it is generated particles (1,0) with 25% probability 75% probability of particles (0,1)
が生成される。 There is generated. しかし、粒子(0,0)および(1, However, the particles (0,0) and (1,
1)が生成されることはない。 1) it will not be generated.

【0188】また、ベクトル(0,1)に対応する列の遷移確率は、上から順に0、0.5、0.5、0となっている。 [0188] In addition, the transition probability of the column corresponding to the vector (0, 1), has become a 0,0.5,0.5,0 from top to bottom. したがって、 p((0,0)|(0,1))=0 p((1,0)|(0,1))=0.5 p((0,1)|(0,1))=0.5 p((1,1)|(0,1))=0 である。 Thus, p ((0,0) | (0,1)) = 0 p ((1,0) | (0,1)) = 0.5 p ((0,1) | (0,1)) = 0.5 p ((1,1) | (0,1)) = 0. これらの遷移確率を、ベクトル(0,1)からの遷移を規定する確率分布として図示すると、図28のようになる。 These transition probabilities, when shown as a probability distribution that defines the transition from the vector (0,1), is shown in Figure 28. この分布に従えば、50%の確率で粒子(1,0)または(0,1)が生成され、粒子(0, According to this distribution, a probability of 50% in the particle (1,0) or (0,1) is generated, the particles (0,
0)および(1,1)は生成されない。 0) and (1, 1) is not generated.

【0189】このように、状態遷移確率行列M(H)の要素を部分的に0とおくことで、生成される粒子が限定され、あらかじめ決められた隠れ状態のみを利用することが可能になる。 [0189] Thus, by placing the state transition probability matrices M 0 elements partially of (H), limited particles produced is, it is possible to use only the predetermined hidden states .

【0190】次に、上述の方法により生成した粒子p n [0190] Next, the particle p n produced by the above method
(j)を、j−1番目までの前向き予測粒子の集合{p n set of forward prediction particles of (j), to (j-1) -th {p n
(1) ,. (1),. . . ,p n (j-1) }に加え(ステップS8 In addition to p n (j-1)} ( step S8
7)、jとmを比較する(ステップS88)。 7), it compares the j and m (step S88). jがmより小さければj=j+1とおいて(ステップS89)、 j is at the j = j + 1 is smaller than m (step S89),
ステップS85以降の動作を繰り返す。 Step S85 to repeat the subsequent operations.

【0191】そして、jがmに達すると、前向き予測粒子の集合{p n (1) ,. [0191] When j reaches m, the set of forward prediction particles {p n (1),. . . ,p n ( m) }を、平滑粒子生成装置24、尤度計算装置26、および表示装置29 The p n (m)}, smooth particle generator 24, the likelihood computing device 26, and a display device 29
に出力して(ステップS90)、再抽出荷重の重み係数の生成を開始する(図21、ステップS91)。 And output (step S90), it starts generating the weighting factors reextracted load (FIG. 21, step S91).

【0192】ここでは、まずj=1とおき(ステップS [0192] Here, first j = 1 is set (at step S
92)、前向き予測粒子p n (j)に対応する重み係数α 92), the weighting coefficients corresponding to the forward prediction particle p n (j) alpha
n (j)を、(21)式に従って計算する(ステップS9 n and (j), is calculated according to (21) (step S9
3)。 3).

【0193】上述のように、生成される粒子を{(1, [0193] As described above, the particles produced {(1,
0),(0,1)}に限定した場合は、(21)式の平均値のベクトルω(p n (i) )は、ベクトルω((1, 0), (0, 1) If it is limited to} (vector of the average value of 21) omega (p n (i)) is a vector omega ((1,
0))またはベクトルω((0,1))のいずれかである。 0)) or any of the vector ω ((0,1)). (6)式より、ベクトルω((1,0))=ベクトルw 1 、ベクトルω((0,1))=ベクトルw 2となり、係数α n (i)は、g(ベクトルx n ;ベクトルw 1 )またはg(ベクトルx n ;ベクトルw 2 )の値として計算できる。 (6) from the equation, the vector omega ((1, 0)) = vector w 1, vector omega ((0, 1)) = vector w 2, and the coefficient alpha n (i) is, g (vector x n; vector can be calculated as the value of the vector w 2); w 1) or g (vector x n.

【0194】次に、係数α n (j)を、j−1番目までの係数の集合{α n (1) ,. [0194] Then, the coefficient alpha n (j), a set of coefficients to j-1 th {α n (1),. . . ,α , Α n (j-1) }に加え(ステップS94)、jとmを比較する(ステップS9 In addition to n (j-1)} (step S94), compares the j and m (step S9
5)。 5). jがmより小さければj=j+1とおいて(ステップS96)、ステップS93以降の動作を繰り返す。 j is at the j = j + 1 is smaller than m (step S96), and repeats the step S93 and subsequent operation.

【0195】そして、jがmに達すると、係数の集合{α n (1) ,. [0195] When j reaches m, the set of coefficients {α n (1),. . . ,α n (m) }を尤度計算装置26に出力して(ステップS97)、前向き濾過粒子の生成を開始する(ステップS98)。 , And outputs the alpha n (m)} to the likelihood calculation unit 26 (step S97), it starts generating the forward filtered particles (step S98).

【0196】ここでは、まず前向き予測粒子{p n (1) ,. [0196] Here, first forward prediction particles {p n (1),. . . ,p n (m) }と、これらに対応した重み{α n (1) /Σ i=1 m α n (i) ,. , And p n (m)}, the weight corresponding to these {α n (1) / Σ i = 1 m α n (i),. . . ,α n (m) , Α n (m)
/Σ i=1 m α n ( i) }とを入力として、再抽出装置21 / Sigma i = as input 1 m alpha n and (i)}, reextracted 21
を起動する(ステップS99)。 The start (step S99). そして、(22)式に従って再抽出された前向き濾過粒子{f n (1) ,. Then, (22) forward is re-extracted in accordance with type filtering particles {f n (1),. . . ,f n (m ) }を再抽出装置21から受け取り、表示装置29に出力する(ステップS10 Receives from re-extraction device 21 f n (m)}, and outputs it to the display device 29 (step S10
0)。 0).

【0197】次に、nとNを比較し(ステップS10 [0197] Next, compare the n and N (step S10
1)、nがNより小さければn=n+1とおいて(ステップS102)、図20のステップS83以降の動作を繰り返す。 1), n ​​is at the Invite n = n + 1 is less than N (step S102), repeats step S83 and subsequent operation of FIG. 20. そして、nがNに達すると、動作を終了して待機状態になる(ステップS103)。 When n reaches N, in a standby state to terminate the operation (step S103). こうして、前向き予測粒子の集合列{p n (j) }(j=1,..., Thus, a set sequence of forward prediction particles {p n (j)} ( j = 1, ...,
m、n=1,. m, n = 1 ,. . . ,N)が、平滑粒子生成装置24および表示装置29に出力される。 , N) is output to the smoothing particle generator 24 and a display device 29.

【0198】また、後向き予測粒子生成装置23は、粒子の個数m、観測データ列{ベクトルx 1 ,. [0198] Further, backward prediction particle generator 23, the number of particles m, the observed data string {vectors x 1,. . . ,ベクトルx N }、状態遷移確率行列M(H)、および後向き濾過粒子の初期確率p N (H)を入力として、後向き濾過粒子の集合列{c n+1 (j ) }(j=1,..., , The vector x N}, the state transition probability matrix M (H), and inputs the initial probability p N (H) of the backward filtered particles, aggregate column backward filtering particles {c n + 1 (j) } (j = 1 , ...,
m、n=N,. m, n = N ,. . . ,1)を出力する。 , And outputs a 1). ただし、粒子の個数mと初期確率p N (H)は、あらかじめ与えられている。 However, the number of particles m and the initial probabilities p N (H) are given in advance.

【0199】図22において、後向き予測粒子生成装置23は、まず初期確率p N (H)に従ってm個の粒子をランダムに生成し、これらを時刻N+1の後向き濾過粒子の集合{c N+1 (1) ,. [0199] In FIG. 22, backward prediction particle generator 23, the m-number of particles randomly generated first according to the initial probabilities p N (H), a set of the time N + 1 backward filtering particles {c N + 1 ( 1). . . ,c N+1 (m) }とする(ステップS111)。 , And c N + 1 (m)} ( step S111). そして、粒子の集合{c N+1 Then, the set of particles {c N + 1
(1) ,. (1),. . . ,c N+1 (m) }を、平滑粒子生成装置24 The c N + 1 (m)} , smooth particle generator 24
および表示装置29に出力する。 And output to the display device 29. 次に、n=Nとおき(ステップS112)、後向き予測粒子の生成を開始する(ステップS113)。 Then, n = N is set (at step S112), and starts the generation of the backward prediction particles (step S113).

【0200】ここでは、まずj=1とおき(ステップS [0200] Here, first j = 1 is set (at step S
114)、時刻n+1のj番目の後向き濾過粒子c n+1 114), a time n + 1 of the j th backward filtering particles c n + 1
(j)を選択する(ステップS115)。 (j) selecting (step S115). 次に、状態遷移確率行列M(H)の要素のうち、粒子c n+1 (j)に対応する列column(c n+1 ( j) )を選ぶ。 Then, among the elements of the state transition probability matrix M (H), selecting the column column corresponding to particles c n + 1 (j) ( c n + 1 (j)). そして、図20のステップS86と同様にして、この状態遷移確率に従って、後向き予測粒子e n (j)を生成する(ステップS116)。 Then, similarly to step S86 of FIG. 20, in accordance with the state transition probability, to generate a backward prediction particles e n (j) (step S116).

【0201】次に、粒子e n (j)を、j−1番目までの後向き予測粒子の集合{e n (1) ,. [0202] Next, the particles e n a (j), a set of backward prediction particles up j-1 th {e n (1),. . . ,
n (j-1) }に加え(ステップS117)、jとmを比較する(ステップS118)。 In addition to e n (j-1)} ( step S117), it compares the j and m (step S118). jがmより小さければj If j is less than m j
=j+1とおいて(ステップS119)、ステップS1 = At the j + 1 (step S119), step S1
15以降の動作を繰り返す。 Repeat the 15 subsequent operations.

【0202】そして、jがmに達すると、後向き予測粒子の集合{e n (1) ,. [0202] When j reaches m, the set of backward prediction particles {e n (1),. . . ,e n ( m) }を表示装置2 , Show e n (m)} apparatus 2
9に出力して(ステップS120)、再抽出荷重の重み係数の生成を開始する(図23、ステップS121)。 And outputs the 9 (step S120), it starts generating the weighting factors reextracted load (FIG. 23, step S121).

【0203】ここでは、まずj=1とおき(ステップS [0203] Here, first j = 1 is set (at step S
122)、後向き予測粒子e n (j)に対応する重み係数ε n (j)を、(25)式に従って計算する(ステップS 122), the weighting factor corresponding to the backward prediction particles e n (j) ε n the (j), is calculated according to equation (25) (step S
123)。 123).

【0204】上述のように、生成される粒子を{(1, [0204] As described above, the particles produced {(1,
0),(0,1)}に限定した場合は、(25)式の係数ε n (i)もまた、g(ベクトルx n ;ベクトルw 1 0), (0, 1) If it is limited to}, (25) coefficients of equation epsilon n (i) it is also, g (vector x n; vector w 1)
またはg(ベクトルx n ;ベクトルw 2 )の値として計算できる。 Or g; can be calculated as the value of (the vector x n vector w 2).

【0205】次に、係数ε n (j)を、j−1番目までの係数の集合{ε n (1) ,. [0205] Next, coefficients epsilon n a (j), a set of coefficients to j-1 th {ε n (1),. . . ,ε , Ε n (j-1) }に加え(ステップS124)、jとmを比較する(ステップS In addition to n (j-1)} (step S124), it compares the j and m (step S
125)。 125). jがmより小さければj=j+1とおいて(ステップS126)、ステップS123以降の動作を繰り返す。 j is at the j = j + 1 is smaller than m (step S126), repeats step S123 and subsequent operation.

【0206】そして、jがmに達すると、係数の集合{ε n (1) ,. [0206] When j reaches m, the set of coefficients {ε n (1),. . . ,ε n (m) }を保存して(ステップS127)、後向き濾過粒子の生成を開始する(ステップS128)。 , Save the epsilon n (m)} (step S127), it starts generating the backward filtered particles (step S128).

【0207】ここでは、まず後向き予測粒子{e n (1) ,. [0207] Here, first backward prediction particles {e n (1),. . . ,e n (m) }と、これらに対応した重み{ε n (1) /Σ i=1 m ε n (i) ,. , And e n (m)}, the weight corresponding to these {ε n (1) / Σ i = 1 m ε n (i),. . . ,ε n (m) , Ε n (m)
/Σ i=1 m ε n ( i) }とを入力として、再抽出装置21 / Sigma i = as input 1 m epsilon n and (i)}, reextracted 21
を起動する(ステップS129)。 The start (step S129). そして、(26)式に従って再抽出された後向き濾過粒子{c n (1) ,. Then, (26) backward filtered particles re-extracted in accordance with equation {c n (1),. . . ,c n ( m) }を再抽出装置21から受け取り、平滑粒子生成装置24および表示装置29に出力する(ステップS130)。 Receives from re-extraction device 21 c n (m)}, and outputs the smoothed particle generator 24 and the display device 29 (step S130).

【0208】次に、nと2を比較し(ステップS13 [0208] Next, compare the n and 2 (step S13
1)、nが2より大きければn=n−1とおいて(ステップS132)、図22のステップS113以降の動作を繰り返す。 1), n ​​is at if the n = n-1 is greater than 2 (step S132), repeats step S113 and subsequent operation of FIG. 22. そして、nが2に達すると、動作を終了して待機状態になる(ステップS133)。 When n reaches 2, in a standby state to terminate the operation (step S133). こうして、後向き濾過粒子の集合列{c n+1 (j) }(j= Thus, a set sequence of backward filtering particles {c n + 1 (j) } (j =
1,. 1,. . . ,m、n=N,. , M, n = N ,. . . ,1)が、平滑粒子生成装置24および表示装置29に出力される。 , 1) is output to the smoothing particle generator 24 and a display device 29.

【0209】また、平滑粒子生成装置24は、粒子の個数m、観測データ列{ベクトルx 1 ,. [0209] Further, the smoothing particle generator 24, the number of particles m, the observed data string {vectors x 1,. . . ,ベクトルx N }、状態遷移確率行列M(H)、および(2)式の整数d′を入力として、平滑粒子の集合列{u n (j) , The vector x N}, the state transition probability matrix M (H), and (2) as an input an integer d 'in formula, the set column of smooth particles {u n (j)}
(j=1,...,m、n=N,...,1)を出力する。 (J = 1, ..., m, n = N, ..., 1) and outputs a. ただし、粒子の個数mおよび整数d′は、あらかじめ与えられている。 However, the number of particles m and the integer d 'is given in advance.

【0210】図24において、平滑粒子生成装置24 [0210] In FIG. 24, smoothed particle generator 24
は、まず時刻N+1の平滑粒子の再抽出荷重を{β N+1 Is the re-extraction load of the first time N + 1 of smooth particles {beta N + 1
(1) ,. (1),. . . ,β N+1 (m) }={1/m,. , Β N + 1 (m) } = {1 / m ,. . . ,1/ , 1 /
m}とおき(ステップS141)、t=1とおく(ステップS142)。 m} is set (at step S141), it puts the t = 1 (step S142).

【0211】次に、時刻n=N−t+1の前向き予測粒子{p n (1) ,. [0211] Next, at time n = N-t + 1 of the forward prediction particles {p n (1),. . . ,p n (m) }を、前向き予測粒子生成装置23を用いて生成し(ステップS143)、時刻n+1の後向き濾過粒子{c n+1 (1) ,. The p n (m)}, generated using forward prediction particle generator 23 (step S143), backward filtered particles at time n + 1 {c n + 1 (1),. . . ,c , C
n+1 (m) }を、後向き予測粒子生成装置25を用いて生成する(ステップS144)。 n + 1 to (m)}, it is generated using the backward prediction particle generator 25 (step S144). そして、時刻nの平滑粒子を再抽出するための重み係数の生成を開始する(ステップS145)。 Then, it starts generating the weighting coefficients for re-extracted smoothed particles at time n (step S145).

【0212】ここでは、まずj=1とおき(ステップS [0212] Here, first j = 1 is set (at step S
146)、前向き予測粒子p n (j)に対応する重み係数β n (j)を、(2)式に従って計算する(ステップS1 146), the weighting factor corresponding to the forward prediction particle p n (j) beta n a (j), is calculated according to (2) (step S1
47)。 47). このとき、(2)式の右辺の遷移確率 外8 At this time, (2) the right side of the transition probabilities out 8
は、状態遷移確率行列M(H Is the state transition probability matrix M (H

【0213】 [0213]

【外8】 [Outside 8]

【0214】)の対応する要素に置き換えて計算される。 [0214]) is calculated by replacing of the corresponding elements. 次に、係数β n (j)を、j−1番目までの係数の集合{β n (1) ,. Next, the coefficient beta n a (j), a set of coefficients to j-1 th {β n (1),. . . ,β , Β n (j-1) }に加え(ステップS148)、jとmを比較する(ステップS149)。 In addition to n (j-1)} (step S148), compares the j and m (step S149).
jがmより小さければj=j+1とおいて(ステップS j is at the j = j + 1 is smaller than m (step S
150)、ステップS147以降の動作を繰り返す。 150), and repeats the step S147 and subsequent operations.

【0215】そして、jがmに達すると、時刻nの前向き予測粒子{p n (1) ,. [0215] When j reaches m, forward prediction particles at time n {p n (1), . . . ,p , P n (m) }と、これらに対応した重み{β n (1) /Σ and n (m)}, the weight corresponding to these {β n (1) / Σ
i=1 m β n (i) ,. i = 1 m β n (i ),. . . ,β , Β n (m) /Σ n (m) / Σ
i=1 m β n (i) }とを入力として、再抽出装置21を起動する(ステップS151)。 i = 1 m β n and (i)} as inputs to start the re-extraction device 21 (step S151). そして、(28)式に従って再抽出された平滑粒子{u n (1) ,. Then, (28) re-extracted smoothed particles {u n (1) according to Formula. . . ,u n , U n
(m) }を再抽出装置21から受け取り、表示装置29に出力する(ステップS152)。 receiving from the re-extraction device 21 (m)}, and outputs it to the display device 29 (step S152).

【0216】次に、tとNを比較し(ステップS15 [0216] Next, compare the t and N (step S15
3)、tがNより小さければt=t+1とおいて(ステップS154)、ステップS143以降の動作を繰り返す。 3), t is at the t = t + 1 is smaller than N (step S154), repeats step S143 and subsequent operation. そして、tがNに達すると、動作を終了して待機状態になる(ステップS155)。 When t reaches N, in a standby state to terminate the operation (step S155). こうして、平滑粒子の集合列{u n (j) }(j=1,...,m、n= Thus, a set sequence of smooth particles {u n (j)} ( j = 1, ..., m, n =
N,. N ,. . . ,1)が表示装置29に出力される。 , 1) is output to the display device 29.

【0217】また、再抽出装置21は、前向き予測粒子生成装置23、後向き予測粒子生成装置25、または平滑粒子生成装置24から与えられたm個の粒子の集合{a (1 ) ,. [0217] In addition, re-extraction device 21, forward prediction particle generator 23, backward prediction particle generator 25 or the set of smoothed particle generator the m particles given from 24 {a (1),, . . . ,a (m) }と、それらに対応する重みの集合{γ (1) ,. , A and (m)}, the set of weights corresponding to their {γ (1),. . . ,γ (m ) }とを入力として、m As input and γ (m)}, m
個の再抽出粒子の集合{b (1) ,. Set of pieces of re-extracted particles {b (1),. . . ,b (m) }を出力する。 , And outputs a b (m)}.

【0218】ここで、粒子a (j) (j=1,..., [0218] In this case, the particles a (j) (j = 1 , ...,
m)は、前向き予測粒子p n (j)または後ろ向き予測粒子e n (j)であり、重みγ (j)は、α n (j) /Σ i=1 m m) is a forward prediction particle p n (j) or backward prediction particles e n (j), the weight gamma (j) is, α n (j) / Σ i = 1 m
α n (i ) 、ε n (j) /Σ i=1 m ε n (i) 、およびβ n α n (i), ε n (j) / Σ i = 1 m ε n (i), and beta n
(j) /Σ i=1 m β n (i)のうちのいずれかの重みである。 (j) is any weight of / Σ i = 1 m β n (i). また、再抽出粒子b (j)は、前向き濾過粒子f n Further, re-extracted particles b (j) is forward filtered particles f n
(j) 、後向き濾過粒子c n (j) 、および平滑粒子u n (j), backward filtered particles c n (j), and smooth particles u n
(j)のうちのいずれかの粒子として出力される。 It is output as one of the particles of the (j).

【0219】図25において、再抽出装置21は、まず重みの集合{γ (1) ,. [0219] In FIG. 25, re-extraction device 21 first set of weights {γ (1),. . . ,γ (m ) }から、累積荷重ψ (l) =Σ j=1 l γ (j) (l=1,...,m)を計算し、ψ (0) =0、ψ (m ) =1とおく(ステップS16 , Gamma (m) from} the cumulative load ψ (l) = Σ j = 1 l γ (j) (l = 1, ..., m) and the calculation, ψ (0) = 0, ψ (m) = 1 and put (step S16
1)。 1). 次に、l=1とおいて(ステップS162)、実数の区間[0,1)上に一様分布に従う乱数r∈[0, Then, at the l = 1 (step S162), random number R∈ [0 according to the uniform distribution on the real interval [0,1),
1)を生成する(ステップS163)。 1) (step S163).

【0220】次に、区間を分割しながら値を求める二分法を用いて、ψ (j) ≦r<ψ (j )となるようなjを見つけ、与えられた粒子の集合{a (1) ,. [0220] Next, using the bisection method to determine the value while dividing a section, [psi (j) finding a ≦ r <ψ (j) become such j, a given set of particles {a (1) ,. . . ,
(m) }の中から粒子a (j)を選び出す(ステップS1 pick out particles a (j) from among a (m)} (step S1
64)。 64). そして、b (l) =a (j)とおき(ステップS1 Then, b (l) = a ( j) is set (at step S1
65)、lとmを比較する(ステップS166)。 65), comparing the l and m (step S166).

【0221】lがmより小さければl=l+1とおいて(ステップS167)、ステップS163以降の動作を繰り返す。 [0221] l is at the l = l + 1 is smaller than m (step S167), and repeats the step S163 and subsequent operations. そして、lがmに達すると、粒子の集合{b When l reaches m, the set of particles {b
(1) ,. (1),. . . ,b (m) }を対応する装置に出力し(ステップS168)、動作を終了して待機状態になる(ステップS169)。 Outputs b a (m)} to the corresponding device (step S168), enters a standby state to terminate the operation (step S169). こうして、粒子の集合{a (1) ,. Thus, the set of particles {a (1),. . . ,a (m) }から、別の集合{b (1) ,. From a (m)}, another set {b (1),. . . ,b (m) }が再抽出される。 , B (m)} is re-extracted.

【0222】尚、図25に示した粒子の再抽出方法は一例に過ぎず、他の任意の方法により、集合{a (1) ,. [0222] Incidentally, the re extraction method of the particles shown in FIG. 25 is merely an example, by any other method, the set {a (1),. . . ,a (m) }から集合{b (1) ,. , A (m) set from} {b (1),. . . ,b (m) }を再抽出してもよい。 May be re-extracted b (m)}.

【0223】次に、図19のステップS75におけるデータの表示動作について説明する。 [0223] Next, a description will be given of the display operation of the data in step S75 in FIG. 19. 図29は、前向き予測粒子の集合列に基づく推定結果の表示動作のフローチャートであり、図30は、平滑粒子の集合列に基づく推定結果の表示動作のフローチャートである。 Figure 29 is a flow chart of display operation of the estimation result based on a set sequence of forward prediction particles, FIG. 30 is a flowchart of estimation results of the display operation based on the set sequence of smooth particles.

【0224】図29において、表示装置29は、粒子の個数m、粒子の次元(隠れ状態ベクトルの次元)k、観測データ列の長さN、SRNNの入力荷重の集合{w 1 ,. [0224] In FIG. 29, the display device 29, the number m, the dimension of the particles (dimensional hidden state vector) k, the length N of the observation data sequence, a set of input load SRNN {w 1 particles. . . ,w k }、前向き予測粒子の集合列{p , W k}, a set sequence of forward prediction particles {p
n (j) }(j=1,...,m、n=1,...,N) n (j)} (j = 1, ..., m, n = 1, ..., N)
を入力として、時系列データの予測密度関数列を表示する。 As inputs, the estimated density function sequence of the time series data is displayed. ただし、粒子の個数m、粒子の次元k、観測データ列の長さN、入力荷重の集合{w 1 ,. However, the number m, the dimension of the particle k of particles, the length N of the observation data string, the set of input load {w 1,. . . ,w k , W k}
は、あらかじめ与えられている。 It is given in advance.

【0225】表示装置29は、まずn=1とおき(ステップS171)、前向き予測粒子生成装置23から時刻nの前向き予測粒子{p n (1) ,. [0225] The display device 29, first n = 1 is set (at step S171), forward prediction particles at time n from the forward prediction particle generator 23 {p n (1), . . . ,p n (m) }を受け取る(ステップS172)。 Receives p n (m)} (step S172).

【0226】次に、この前向き予測粒子の集合に含まれる相異なる粒子を選択し、それらのリストを 外9 とする。 [0226] Next, select the different particles contained in the set of the forward prediction particles to their lists and outer 9. ここで、i0は異なる粒子の個数を表し、i0≦ Here, i0 denotes the number of different particles, i0 ≦
ma ma

【0227】 [0227]

【外9】 [Outside 9]

【0228】x(m,2 k )である。 [0228] is the x (m, 2 k). また、 外10 Further, the outer 10
(以後、h iチルダと記す)は、リス (Hereinafter, referred to as h i tilde), the squirrel

【0229】 [0229]

【外10】 [Outside 10]

【0230】トに含まれるi番目の要素(粒子)を表す。 [0230] represents the i-th element in the preparative (particles). そして、前向き予測粒子の集合に含まれる各要素h Each element h included in the set of forward prediction particles
iチルダの個数q iを数え上げて、{q 1 ,. enumerate the number q i of i tilde, {q 1,. . . ,q , Q
i0 }とする(ステップS173〜S180)。 and i0} (step S173~S180).

【0231】ここでは、まずi=1、j=1、h 1チルダ=p n (1) 、q 1 =0とおき(ステップS173)、 [0231] Here, first i = 1, j = 1, h 1 tilde = p n (1), q 1 = 0 is set (at step S173),
n (j)と同じ粒子がリスト{h 1チルダ,. p n (j) The same particles as a list {h 1 tilde. . . ,h , H
iチルダ}に含まれているかどうかを調べる(ステップS174)。 Check whether it is included in i tilde} (step S174). n (j)がリスト{h 1チルダ,. p n (j) a list {h 1 tilde. . . ,
iチルダ}に含まれていれば、p n (j) =h sチルダとなるs(1≦s≦i)を求め、q s =q s +1とする(ステップS175)。 be contained in h i tilde} obtains the p n (j) = h s tilde become s (1 ≦ s ≦ i) , the q s = q s +1 (step S175).

【0232】また、p n (j)がリスト{h 1チルダ,. [0232] In addition, p n (j) a list {h 1 tilde,. . . ,h iチルダ}に含まれていなければ、h , If it is not included in the h i tilde}, h
i+1チルダ=p n (j) 、q i+1 =1とおく。 i + 1 tilde = p n (j), placing a q i + 1 = 1. そして、粒子のリスト{h 1チルダ,. The list of the particles {h 1 tilde. . . ,h iチルダ}にh , H i tilde} to h
i+1チルダを加え、対応する累計個数のリスト{q 1 ,. i + 1 tilde added, the corresponding list of the cumulative number {q 1,. . . ,q i }にq i+1を加えて(ステップS , By adding q i + 1 to q i} (step S
176)、i=i+1とおく(ステップS177)。 176), putting a i = i + 1 (step S177).

【0233】次に、j=j+1とおき(ステップS17 [0233] Next, j = j + 1 is set (at step S17
8)、jとmを比較する(ステップS179)。 8), and compares the j and m (step S179). jがm j is m
以下であればステップS174以降の動作を繰り返し、 If the following step S174 repeats the subsequent operation,
jがmを越えれば、そのときのiの値をi0とする(ステップS180)。 If j is exceeds the m, the value of i at that time and i0 (step S180).

【0234】次に、リスト{h 1チルダ,. [0234] Next, list {h 1 tilde,. . . ,h i0 , H i0
チルダ}および{q 1 ,. Tilde} and {q 1,. . . ,q , Q i0 }から、次式に従って予測密度関数を合成する(ステップS181)。 From i0}, to synthesize the estimated density function according to the following equation (step S181).

【0235】 [0235]

【数24】 [Number 24]

【0236】ここで、h iチルダ=(h i1 ,...,h [0236] In this case, h i tilde = (h i1, ..., h
ik )と書くことにすると、ベクトルω(h iチルダ)= If you can write a ik), the vector ω (h i tilde) =
Σ s=1 kisベクトルw sである。 It is a Σ s = 1 k h is a vector w s. 対象とする時系列データが1次元データであり、(30)式の予測密度関数が1次元の混合ガウス密度関数である場合は、図31に示すように、これを階段関数で近似する(ステップS1 A series data one-dimensional data when the target (30) when a mixed Gaussian density function estimated density function one-dimensional type, as shown in FIG. 31, this is approximated by a step function (step S1
82)。 82).

【0237】そして、得られた予測密度関数を時刻nの予測密度関数として画面に表示し(ステップS18 [0237] Then, the screen of the estimated density function obtained as the estimated density function of time n (step S18
3)、n=n+1とおいて(ステップS184)、nとNを比較する(ステップS185)。 3), at the n = n + 1 (step S184), it compares the n and N (step S185). nがN以下であればステップS172以降の動作を繰り返し、nがNを越えれば動作を終了する。 n is equal to or smaller than N step S172 repeats the subsequent operation, n is the operation ends if exceeds the N. こうして、時刻1からNまでの予測密度関数が表示される。 Thus, the estimated density function from time 1 to N are displayed.

【0238】また、図30において、表示装置29は、 [0238] Further, in FIG. 30, the display device 29,
粒子の個数m、粒子の次元k、観測データ列の長さN、 The number of particles m, the dimension k of the particles, the length of the observed data string N,
SRNNの入力荷重の集合{w 1 ,. Set of input load of SRNN {w 1,. . . ,w k }、平滑粒子の集合列{u n (j) }(j=1,...,m、n , W k}, the set sequence {u n (j)} ( j = 1 of the smoothing particles, ..., m, n
=N,. = N ,. . . ,1)を入力として、時系列データの平滑密度関数列を表示する。 , 1) as inputs, smooth density function sequence of the time series data is displayed.

【0239】表示装置29は、まずn=Nとおき(ステップS191)、平滑粒子生成装置24から時刻nの平滑粒子{u n (1) ,. [0239] The display device 29, first n = N is set (at step S191), smoothing the particles at time n from the smoothing particle generator 24 {u n (1), . . . ,u n (m) }を受け取る(ステップS192)。 Receives u n (m)} (step S192).

【0240】次に、この平滑粒子の集合に含まれる相異なる粒子を選択し、それらのリストを{h 1チルダ,. [0240] Next, select the different particles contained in this set of smooth particles, their list {h 1 tilde. . . ,h i0チルダ}とする。 , And h i0 tilde}. そして、平滑粒子の集合に含まれる各要素h iチルダの個数q iを数え上げて、{q 1 ,. Then, counting the number q i of each element h i tilde included in the set of smooth particles, {q 1,. . . ,q i0 }とする(ステップS193 , And q i0} (step S193
〜S200)。 ~S200).

【0241】ここでは、まずi=1、j=1、h 1チルダ=u n (1) 、q 1 =0とおき(ステップS193)、 [0241] Here, first i = 1, j = 1, h 1 tilde = u n (1), q 1 = 0 is set (at step S193),
n (j)と同じ粒子がリスト{h 1チルダ,. u n (j) The same particles as a list {h 1 tilde. . . ,h , H
iチルダ}に含まれているかどうかを調べる(ステップS194)。 Check whether it is included in i tilde} (step S194). n (j)がリスト{h 1チルダ,. u n (j) a list {h 1 tilde. . . ,
iチルダ}に含まれていれば、u n (j) =h sチルダとなるs(1≦s≦i)を求め、q s =q s +1とする(ステップS195)。 be contained in h i tilde}, I seek s (1 ≦ s ≦ i) as a u n (j) = h s tilde, and q s = q s +1 (step S195).

【0242】また、u n (j)がリスト{h 1チルダ,. [0242] Also, u n (j) a list {h 1 tilde. . . ,h iチルダ}に含まれていなければ、h , If it is not included in the h i tilde}, h
i+1チルダ=u n (j) 、q i+1 =1とおく。 i + 1 tilde = u n (j), placing a q i + 1 = 1. そして、粒子のリスト{h 1チルダ,. The list of the particles {h 1 tilde. . . ,h iチルダ}にh , H i tilde} to h
i+1チルダを加え、対応する累計個数のリスト{q 1 ,. i + 1 tilde added, the corresponding list of the cumulative number {q 1,. . . ,q i }にq i+1を加えて(ステップS , By adding q i + 1 to q i} (step S
196)、i=i+1とおく(ステップS197)。 196), putting a i = i + 1 (step S197).

【0243】次に、j=j+1とおき(ステップS19 [0243] Next, j = j + 1 is set (at step S19
8)、jとmを比較する(ステップS199)。 8), and compares the j and m (step S199). jがm j is m
以下であればステップS194以降の動作を繰り返し、 If the following step S194 repeats the subsequent operation,
jがmを越えれば、そのときのiの値をi0とする(ステップS200)。 If j is exceeds the m, the value of i at that time and i0 (step S200).

【0244】次に、リスト{h 1チルダ,. [0244] Next, list {h 1 tilde,. . . ,h i0 , H i0
チルダ}および{q 1 ,. Tilde} and {q 1,. . . ,q , Q i0 }から、次式に従って平滑密度関数を合成する(ステップS201)。 From i0}, to synthesize the smoothed density function according to the following equation (step S201).

【0245】 [0245]

【数25】 [Number 25]

【0246】対象とする時系列データが1次元データであり、(31)式の平滑密度関数が1次元の混合ガウス密度関数である場合は、図31に示すように、これを階段関数で近似する(ステップS202)。 [0246] a one-dimensional data time series data of interest, (31) below when the smooth density function is a mixed Gaussian density functions of one-dimensional, as shown in FIG. 31, approximate this in step function (step S202).

【0247】そして、得られた平滑密度関数を時刻nの平滑密度関数として画面に表示し(ステップS20 [0247] Then, the screen smooth density function obtained as a smooth density function of time n (step S20
3)、n=n−1とおいて(ステップS204)、nと1を比較する(ステップS205)。 3), at the n = n-1 (step S204), and compares the n and 1 (step S205). nが1以上であればステップS192以降の動作を繰り返し、nが1未満となれば動作を終了する。 n repeats the operation of step S192 and later as long as it is 1 or more, n is the operation is terminated if less than 1. こうして、時刻1からNまでの平滑密度関数が表示される。 Thus, smooth density function from time 1 to N are displayed.

【0248】図29および図30では、前向き予測粒子および平滑粒子に基づく密度関数の生成/表示方法を説明したが、そのほかに、前向き濾過粒子、後向き予測粒子、後向き濾過粒子に基づく各密度関数も、同様にして生成/表示することができる。 [0248] In FIGS. 29 and 30, has been described how generation / display of the density function based on forward prediction particles and smooth particles, in addition, forward filtered particles, backward prediction particles, also the density function based on the backward filtered particles It may be generated / displayed in the same manner.

【0249】次に、図8の時系列解析装置を用いて、時刻tに伴って変化する1次元の時系列データxの推定を行った結果を示す。 [0249] Next, when using a sequence analyzer, estimates the result of the one-dimensional time series data x that varies with the time t of FIG. 対象となる時系列データxは、次式のように区分的に定常な確率密度関数に従うものとする。 Time-series data x of interest is subject to the piecewise constant probability density function as follows.

【0250】 [0250]

【数26】 [Number 26]

【0251】ここで、N(μ,σ 2 )は、平均μ、分散σ 2のガウス密度関数を表す。 [0251] Here, N (μ, σ 2) represents the average mu, the Gaussian density function of the dispersion sigma 2. (32)式によって生成されるテスト用の時系列データは、例えば、図32に示すようになる。 (32) time-series data for the test generated by the formula is, for example, as shown in FIG. 32. この時系列データの生成では、t=10 In the generation of the time-series data, t = 10
0における平均値の不連続な切り替わりが、データのトレンドの跳躍として現れていることが伺える。 The average value of the discrete switching at zero, indicating that appear as jumping of data trends. 問題は、 The problem is,
時系列解析装置がこのトレンドをうまく予測し、観測データ列全体からトレンドをうまく平滑化できるかということである。 Time series analysis unit predicts the trend well, is that it can successfully smooth the trend from the entire observation data sequence.

【0252】図32のデータを時系列解析装置で解析し、図29の表示方法に従って、このデータに対する前向き予測粒子の集合列から計算した予測密度関数列を表示すると、図33に示すようになる。 [0252] analyzed by time series analysis apparatus the data in FIG. 32, according to the display method of FIG. 29, when displaying the estimated density function sequence computed from the set sequence of forward prediction particles to this data, as shown in FIG. 33 . 図33において、 In FIG. 33,
各時刻の予測密度関数は階段関数で近似されている。 The estimated density function of each time is approximated by a staircase function. また、ドットの大きさが小さくなっている部分、つまり、 The portion size of the dot is small, that is,
中央部の白っぽく見える部分が分布のピークに対応する。 Is whitish portion of the central portion corresponding to the peak of the distribution.

【0253】また、図30の表示方法に従って、図32 [0253] Further, according to the display method of FIG. 30, FIG. 32
のデータに対する平滑粒子の集合列から計算した平滑密度関数列は、図34に示すようになる。 Smooth density function sequence computed from the set sequence of smooth particles to the data is as shown in FIG. 34. 図34を見ると、t=100における不連続な切り替わりが明確に現れている。 Looking at Figure 34, discrete switches in t = 100 are clearly apparent. このことから、モンテカルロ法によるSRN From this fact, SRN by the Monte Carlo method
Nの平滑粒子の集合列から、確かに跳躍型のトレンドがうまく抽出されていることが分かる。 From the set column of N of smooth particles, it can be seen that is certainly jumping type of trend has been successfully extracted.

【0254】以上説明したSRNNに基づく時系列解析方法は、情報ネットワークのトラフィックや道路網の交通量など、時間的に統計量が不連続に変化するネットワークの状態を推定し、ネットワークの資源を適切に制御する際に利用できる。 Time series analysis method [0254] based on the above-described SRNN, such as traffic volume traffic and road network information network, to estimate the state of temporally network statistics changes discontinuously, the resources of the network proper It can use to control to.

【0255】SRNNは、非線形関数を複数の分布関数で分散表現することができる。 [0255] SRNN can be dispersed represent non-linear functions in a plurality of distribution functions. このため、例えば、測定量が区分的に定常であって各区間毎に不連続に変化するトレンドを含む場合のように、統計量がある隠れたパラメータの非線形関数で表現されている場合に、ネットワークの状態の推定を的確に行うことができる。 Thus, for example, when the measured quantity as in the case including the trend changes discontinuously be piecewise constant in each section is expressed by a nonlinear function of the hidden parameters that statistic, the estimation of the state of the network can be performed appropriately.

【0256】 [0256]

【発明の効果】本発明によれば、時系列データの確率分布を分散表現する再帰型ニューラルネットワークの多様な表現力を保持したまま、その内部状態に基づく確率密度の計算を高速化することができる。 According to the present invention, when leaving the probability distribution of series data holding various expressiveness of recurrent neural network for distributed representation, it is possible to accelerate the computation of a probability density based on the internal state it can. したがって、既知の観測データから、大規模問題における時系列データの確率分布を、高速に推定することができる。 Thus, from the known observation data, the probability distribution of time-series data in large-scale problems, can be estimated at a high speed.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の原理図である。 1 is a principle diagram of the present invention.

【図2】前向き予測粒子および前向き濾過粒子の再帰的生成処理を示す図である。 2 is a diagram showing a recursive process of generating forward prediction particles and forward filtration particles.

【図3】後向き予測粒子および後向き濾過粒子の再帰的生成処理を示す図である。 3 is a diagram showing a recursive process of generating backward predicted particles and backward filtration particles.

【図4】平滑粒子の再帰的生成処理を示す図である。 4 is a diagram showing a recursive process of generating smooth particles.

【図5】確率分布関数を示す図である。 FIG. 5 is a diagram showing a probability distribution function.

【図6】状態遷移確率行列を示す図である。 6 is a diagram showing a state transition probability matrix.

【図7】2重フィルタ法を示す図である。 7 is a diagram showing a double filter method.

【図8】時系列解析装置の構成図である。 FIG. 8 is a block diagram of a time-series analysis apparatus.

【図9】時系列データの流れを示す図である。 9 is a diagram showing the flow of time-series data.

【図10】前向き予測粒子生成装置に関連するデータの流れを示す図である。 10 is a diagram showing the flow of data associated with forward prediction particle generator.

【図11】後向き予測粒子生成装置に関連するデータの流れを示す図である。 11 is a diagram showing the flow of the data related to the backward predicted particle generator.

【図12】平滑粒子生成装置に関連するデータの流れを示す図である。 12 is a diagram showing the flow of the data related to the smoothed particle generator.

【図13】パラメータの生成と供給の流れを示す図である。 13 is a diagram showing the flow parameters of the generation and supply.

【図14】情報処理装置の構成図である。 14 is a configuration diagram of an information processing apparatus.

【図15】時系列解析装置の動作フローチャートである。 15 is a flowchart of a time series analysis unit.

【図16】データ収集動作のフローチャートである。 16 is a flowchart of a data collection operation.

【図17】学習動作のフローチャートである。 FIG. 17 is a flowchart of the learning operation.

【図18】チューニング動作のフローチャートである。 FIG. 18 is a flow chart of the tuning operation.

【図19】平滑化動作のフローチャートである。 19 is a flowchart of the smoothing operation.

【図20】前向き予測粒子生成装置の動作フローチャート(その1)である。 Figure 20 is an operational flowchart of the forward prediction particle generator (Part 1).

【図21】前向き予測粒子生成装置の動作フローチャート(その2)である。 Figure 21 is an operational flowchart of the forward prediction particle generator (Part 2).

【図22】後向き予測粒子生成装置の動作フローチャート(その1)である。 22 is a flowchart of the backward prediction particle generator (Part 1).

【図23】後向き予測粒子生成装置の動作フローチャート(その2)である。 Figure 23 is an operational flowchart of the backward prediction particle generator (Part 2).

【図24】平滑粒子生成装置の動作フローチャートである。 Figure 24 is an operational flowchart of the smoothing particle generator.

【図25】再抽出装置の動作フローチャートである。 FIG. 25 is an operational flowchart of the re-extraction device.

【図26】隠れ状態ベクトルを限定した状態遷移確率行列を示す図である。 26 is a diagram showing a state transition probability matrix for limiting the hidden state vector.

【図27】(1,0)の列に対応する確率分布を示す図である。 27 is a diagram showing a probability distribution corresponding to a column of (1,0).

【図28】(0,1)の列に対応する確率分布を示す図である。 28 is a diagram showing a probability distribution corresponding to the columns (0,1).

【図29】予測密度関数列の表示動作のフローチャートである。 29 is a flowchart of the operation of displaying the estimated density function column.

【図30】平滑密度関数列の表示動作のフローチャートである。 FIG. 30 is a flow chart of display operation of the smoothing density function column.

【図31】階段関数を示す図である。 FIG. 31 is a diagram showing a step function.

【図32】テスト用の時系列データを示す図である。 FIG. 32 is a diagram showing the time-series data for the test.

【図33】予測粒子の集合列から計算した予測密度関数列を示す図である。 33 is a diagram showing an estimated density function sequence computed from the set sequence of predicted particle.

【図34】平滑粒子の集合列から計算した平滑密度関数列を示す図である。 34 is a diagram showing a smooth density function sequence computed from the set sequence of smooth particles.

【図35】シンプルな再帰型ニューラルネットワークの概略を示す図である。 35 is a diagram showing an outline of a simple recurrent neural network.

【符号の説明】 DESCRIPTION OF SYMBOLS

1 入力層 2 ネットワークパラメータ部 3 隠れ素子層 4 文脈層 11 記憶手段 12 生成手段 13 推定手段 21 再抽出装置 22 時系列データ収集装置 23 前向き予測粒子生成装置 24 平滑粒子生成装置 25 後向き予測粒子生成装置 26 尤度計算装置 27 学習装置 28 モデルパラメータ設定装置 29 表示装置 31 CPU 32 メモリ 33 入力装置 34 出力装置 35 外部記憶装置 36 媒体駆動装置 37 ネットワーク接続装置 38 バス 39 可搬記録媒体 40 情報提供者の装置 1 input layer 2 network parameters portion 3 hidden element layer 4 contextual layer 11 storage means 12 generating means 13 estimator 21 re-extraction device 22 chronologically data collecting device 23 forward prediction particle generator 24 smoothed particle generator 25 backward prediction particle generator 26 likelihood calculator 27 learning device 28 model parameter setting device 29 display device 31 CPU 32 memory 33 input device 34 output device 35 an external storage device 36 medium drive 37 network connection device 38 bus 39 portable storage medium 40 informant apparatus

Claims (18)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 ニューラルネットワークを用いて表現される隠れマルコフモデルの計算を行う情報処理装置のための時系列解析装置であって、 観測データの確率分布を表現する再帰型ニューラルネットワークの内部状態の状態遷移確率を記憶する記憶手段と、 前記状態遷移確率を用いて、モンテカルロ法により、前記内部状態を規定する隠れ変数の実現値を生成する生成手段と、 前記実現値を用いて、前記観測データの確率分布を推定する推定手段とを備えることを特徴とする時系列解析装置。 1. A time series analysis unit for the information processing apparatus performing the calculation of the hidden Markov model that is expressed using a neural network, the internal state of the recurrent neural network representing the probability distribution of the observed data storage means for storing the state transition probabilities, using the state transition probabilities, the Monte Carlo method, and generation means for generating a realization of hidden variables defining the internal state, by using the actual values, the observation data series analysis apparatus when anda estimating means for estimating a probability distribution of.
  2. 【請求項2】 前記再帰型ニューラルネットワークは、 Wherein said recurrent neural network,
    隠れ素子層と1層の文脈層とを有するシンプルな再帰型ニューラルネットワークであって、該文脈層に保持された前の内部状態を表す隠れ変数は、パラメータにより重み付けされて該隠れ素子層に再帰的に入力されることを特徴とする請求項1記載の時系列解析装置。 A simple recurrent neural network having a context layer of hidden units layer and one layer, hidden variables representing the internal state before held in 該文 vein layer, the hidden Re recursion element layer is weighted by the parameter time series analysis apparatus according to claim 1, characterized in that it is to enter.
  3. 【請求項3】 前記記憶手段は、前記隠れ変数を要素とする隠れ状態ベクトルの第1の実現値から第2の実現値への遷移確率を、前記状態遷移確率として記憶し、前記生成手段は、該第1の実現値が与えられたとき、該状態遷移確率に従って該第2の実現値を生成することを特徴とする請求項1記載の時系列解析装置。 Wherein said storage means, the first transition probability from realization to a second realization of the hidden state vector to the latent variable element is stored as the transition probability, wherein the generating means comprises when the realization of the first is given, time series analysis apparatus according to claim 1, wherein generating a realization of the second in accordance with the state transition probability.
  4. 【請求項4】 前記記憶手段は、前記隠れ状態ベクトルの複数の実現値相互の複数の遷移確率を、状態遷移確率行列の要素として記憶し、前記生成手段は、前記第1の実現値が与えられたとき、該状態遷移確率行列の対応する要素を遷移確率として、前記複数の実現値のうちの1 Wherein said storage means, a plurality of transition probabilities of the plurality of realizations mutual the hidden state vector is stored as elements of the state transition probability matrix, said generating means, said first realization gives when it is, one of the corresponding elements as the transition probabilities, the plurality of actual values ​​of the state transition probability matrix
    つを生成することを特徴とする請求項3記載の時系列解析装置。 One time series analysis apparatus according to claim 3, wherein generating a.
  5. 【請求項5】 前記記憶手段は、前記隠れ状態ベクトルの複数の実現値のうちの限定された集合に属する実現値相互の遷移確率を記憶し、前記生成手段は、前記第1の実現値が与えられたとき、前記状態遷移確率行列の対応する要素を遷移確率として、前記限定された集合に属する実現値のうちの1つを生成することを特徴とする請求項4記載の時系列解析装置。 Wherein said storage means is limited to storing the transition probabilities of realizations mutually belonging to the set, the generation unit of the plurality of realizations of the hidden state vector, the first realization value when given, as the corresponding elements the transition probabilities of the state transition probability matrix, time series analysis apparatus according to claim 4, wherein the generating the one of the realizations belonging to the limited set .
  6. 【請求項6】 前記生成手段は、特定時刻までの観測データから該特定時刻より後の内部状態を推定した結果を表す実現値である前向き予測粒子と、該特定時刻までの観測データから該特定時刻の内部状態を推定した結果を表す実現値である前向き濾過粒子とを交互に生成し、前記推定手段は、該前向き予測粒子または前向き濾過粒子の集合を用いて、前記確率分布を生成することを特徴とする請求項1記載の時系列解析装置。 Wherein said generating means comprises: a forward prediction particles is realized value representing the result of estimating the internal state after the said specific time from the observed data up to a certain time, the specific observation data to the particular time a forward filtered particles is realized value representing the result of estimating the internal state of the time generated alternately, the estimating means uses a set of front-facing prediction particles or prospective filtered particles, generating said probability distribution time series analysis apparatus according to claim 1, wherein.
  7. 【請求項7】 前記生成手段は、特定時刻以降の観測データから該特定時刻より前の内部状態を推定した結果を表す実現値である後向き予測粒子と、該特定時刻以降の観測データから該特定時刻の内部状態を推定した結果を表す実現値である後向き濾過粒子とを交互に生成し、前記推定手段は、該後向き予測粒子または後向き濾過粒子の集合を用いて、前記確率分布を生成することを特徴とする請求項1記載の時系列解析装置。 Wherein said generating means comprises: a backward prediction particles is realized value representing the result of estimating the internal state before the said specified time from the observed data after the specified time, the specific observation data of the specific time later a backward filtered particles is realized value representing the result of estimating the internal state of the time generated alternately, the estimating means uses a set of rear-facing prediction particles or backward filtered particles, generating said probability distribution time series analysis apparatus according to claim 1, wherein.
  8. 【請求項8】 前記生成手段は、特定時間内の観測データから該特定時間内の1つの時刻の内部状態を推定した結果を表す実現値である平滑粒子を生成し、前記推定手段は、該平滑粒子の集合を用いて、前記確率分布を生成することを特徴とする請求項1記載の時系列解析装置。 Wherein said generating means generates the smoothed particles is realized value representing the result of estimating the internal state of one time within the specific time observation data within a specific time, the estimating means, the using a set of smooth particles, time series analysis apparatus according to claim 1, wherein the generating the probability distribution.
  9. 【請求項9】 前記生成手段は、前向き予測粒子と前向き濾過粒子を交互に生成する前向きフィルタ手段と、後向き予測粒子と後向き濾過粒子を交互に生成する後向きフィルタ手段と、該前向き予測粒子と後向き濾過粒子を用いて前記平滑粒子を生成する平滑粒子生成手段とを備えることを特徴とする請求項8記載の時系列解析装置。 Wherein said generating means includes a forward filter means for generating alternating forward prediction particles and forward filtration particles, a feedback filter means for generating alternating backward prediction particles and backward filtration particles, with the front-facing prediction particles rearwardly time series analysis apparatus according to claim 8, characterized in that it comprises a smoothing particle generating means for generating the smoothed particles with filtration particles.
  10. 【請求項10】 前記前向きフィルタ手段は、前記状態遷移確率に従って、前記前向き濾過粒子から前記前向き予測粒子を生成し、前記後向きフィルタ手段は、前記状態遷移確率に従って、前記後向き濾過粒子から前記後向き予測粒子を生成することを特徴とする請求項9記載の時系列解析装置。 Wherein said forward filter means in accordance with the state transition probabilities, the generating the forward prediction particles from prospective filtered particles, said feedback filter means in accordance with the state transition probability, the backward prediction from the backward filtered particles time series analysis apparatus according to claim 9, wherein the generating the particles.
  11. 【請求項11】 前記平滑粒子生成手段は、前記状態遷移確率を用いて粒子の再抽出の重みを計算し、該重みに従って前記前向き予測粒子の集合から該前向き予測粒子を再抽出し、抽出した該前向き予測粒子を前記平滑粒子として出力することを特徴とする請求項9記載の時系列解析装置。 Wherein said smoothing particles generating means, the weight of the re-extraction of the particles was calculated using the state transition probabilities, the re-extract the front direction prediction particles from a set of forward prediction particles according heavy body, extracted time series analysis apparatus according to claim 9, wherein the outputting the front direction prediction particles as the smoothing particles.
  12. 【請求項12】 前記観測データ列に対する前記再帰型ニューラルネットワークのパラメータの尤度を、モンテカルロ法によって計算する尤度計算手段をさらに備え、 12. The likelihood of parameters of the recurrent neural network for the observed data string, further comprising a likelihood calculating means for calculating the Monte Carlo method,
    前記生成手段は、該尤度が良くなるようなパラメータを用いて前記実現値を生成することを特徴とする請求項1 It said generating means, according to claim 1, characterized in that to generate the realized value using parameters such as 該尤 degree is improved
    記載の時系列解析装置。 Time series analysis device as claimed.
  13. 【請求項13】 前記尤度計算手段の計算結果を用いて、前記尤度が最尤となるような最尤パラメータを求める学習手段と、該最尤パラメータの少なくとも一部分を前記記憶手段に設定するパラメータ設定手段とをさらに備え、前記生成手段は、該最尤パラメータの少なくとも一部分を用いて前記実現値を生成することを特徴とする請求項12記載の時系列解析装置。 13. Using the calculated results of the likelihood calculating means, said likelihoods and learning means for determining a maximum likelihood parameter such that the maximum likelihood, to set at least a portion of the outermost likelihood parameter in the storage means further comprising a parameter setting means, said generating means, time series analysis apparatus according to claim 12, wherein the generating the realized value using at least a portion of the outermost likelihood parameters.
  14. 【請求項14】 前記パラメータ設定手段は、前記最尤パラメータから前記状態遷移確率を計算し、得られた状態遷移確率を前記記憶手段に設定することを特徴とする請求項13記載の時系列解析装置。 14. The method of claim 13, wherein the parameter setting means, said the state transition probability calculated from the maximum likelihood parameters, time series analysis of the resulting state transition probability claim 13, characterized in that set in the storage means apparatus.
  15. 【請求項15】 前記推定手段が推定した前記確率分布に基づいて、前記観測データの推定結果を出力する出力手段をさらに備えることを特徴とする請求項1記載の時系列解析装置。 15. Based on the probability distribution the estimating means has estimated, time series analysis apparatus according to claim 1, characterized by further comprising output means for outputting the estimation result of the observation data.
  16. 【請求項16】 ニューラルネットワークを用いて表現される観測モデルの計算を行う情報処理装置のための時系列解析装置であって、 観測データの確率分布を表現するニューラルネットワークの内部状態の状態遷移確率を記憶する記憶手段と、 前記状態遷移確率を用いて、前記内部状態を規定する変数の実現値を生成する生成手段と、 前記実現値を用いて、前記観測データの確率分布を推定する推定手段とを備えることを特徴とする時系列解析装置。 16. A time series analysis unit for the information processing apparatus performing the calculation of the observation model is expressed using a neural network, the state transition probability of the internal state of the neural network representing the probability distribution of the observed data storage means storing, using the state transition probability, and generating means for generating a realization of a variable defining the internal state, using the actual values, estimating means for estimating a probability distribution of the observed data series analysis apparatus when, characterized in that it comprises and.
  17. 【請求項17】 ニューラルネットワークを用いて表現される観測モデルの計算を行うコンピュータのためのプログラムを記録した記録媒体であって、 観測データの確率分布を表現するニューラルネットワークの内部状態の状態遷移確率を用いて、該内部状態を規定する変数の実現値を生成する機能と、 前記実現値を用いて、前記観測データの確率分布を推定する機能とを前記コンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。 17. A recording medium recording a program for a computer to perform the calculation of the observation model is expressed using a neural network, the state transition probability of the internal state of the neural network representing the probability distribution of the observed data with a function of generating a realization of a variable that defines the internal state, by using the realization and the function of estimating the probability distribution of the observed data was recorded a program for implementing the computer computer readable recording medium.
  18. 【請求項18】 ニューラルネットワークを用いて表現される観測モデルの計算方法において、 観測データの確率分布を表現するニューラルネットワークの内部状態の状態遷移確率を生成し、 前記状態遷移確率を用いて、前記内部状態を規定する変数の実現値を生成し、 前記実現値を用いて、前記観測データの確率分布を推定することを特徴とする時系列解析方法。 18. A calculation method of the observation model is expressed using a neural network to generate a state transition probability of the internal state of the neural network representing the probability distribution of the observed data, by using the state transition probabilities, the generate realizations of variables defining the internal state, by using the actual values, series analysis method when and estimates a probability distribution of the observed data.
JP17259397A 1996-08-13 1997-06-27 Device for analyzing time sequence based on recurrent neural network and its method Withdrawn JPH10111862A (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP8-213563 1996-08-13
JP21356396 1996-08-13
JP17259397A JPH10111862A (en) 1996-08-13 1997-06-27 Device for analyzing time sequence based on recurrent neural network and its method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17259397A JPH10111862A (en) 1996-08-13 1997-06-27 Device for analyzing time sequence based on recurrent neural network and its method

Publications (1)

Publication Number Publication Date
JPH10111862A true JPH10111862A (en) 1998-04-28

Family

ID=26494902

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17259397A Withdrawn JPH10111862A (en) 1996-08-13 1997-06-27 Device for analyzing time sequence based on recurrent neural network and its method

Country Status (1)

Country Link
JP (1) JPH10111862A (en)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163434A (en) * 2000-05-26 2002-06-07 Ncr Internatl Inc Method and device for determining of one or more statistical estimated quantities of trend of customer
JP2004310098A (en) * 2003-04-01 2004-11-04 Microsoft Corp Method for speech recognition using variational inference with switching state spatial model
JP2005157350A (en) * 2003-11-26 2005-06-16 Microsoft Corp Method and apparatus for continuous valued vocal tract resonance tracking using piecewise linear approximation
US7561991B2 (en) 2003-02-18 2009-07-14 Nec Corporation Detection of abnormal behavior using probabilistic distribution estimation
JP2009188885A (en) * 2008-02-08 2009-08-20 Nec Corp Communication apparatus, communication system, communication method and communication program
JP2010075616A (en) * 2008-09-29 2010-04-08 Yamaguchi Prefectural Univ Discrimination of nature of tissue using sparse coding method
JP2010249593A (en) * 2009-04-14 2010-11-04 Hitachi Ltd Target motion analysis method, target motion analysis system, and program
WO2014014710A1 (en) * 2012-07-18 2014-01-23 Micron Technology, Inc Methods and systems for using state vector data in a state machine engine
JP2014176032A (en) * 2013-03-12 2014-09-22 Nippon Telegr & Teleph Corp <Ntt> Device, system and method for traffic distribution estimation
US9448965B2 (en) 2013-03-15 2016-09-20 Micron Technology, Inc. Receiving data streams in parallel and providing a first portion of data to a first state machine engine and a second portion to a second state machine
US9524248B2 (en) 2012-07-18 2016-12-20 Micron Technology, Inc. Memory management for a hierarchical memory system
US9703574B2 (en) 2013-03-15 2017-07-11 Micron Technology, Inc. Overflow detection and correction in state machine engines
WO2018047966A1 (en) * 2016-09-12 2018-03-15 日本電気株式会社 Waveform separating device, method, and program
US10019311B2 (en) 2016-09-29 2018-07-10 Micron Technology, Inc. Validation of a symbol response memory
US10146555B2 (en) 2016-07-21 2018-12-04 Micron Technology, Inc. Adaptive routing to avoid non-repairable memory and logic defects on automata processor
US10268602B2 (en) 2016-09-29 2019-04-23 Micron Technology, Inc. System and method for individual addressing
US10417236B2 (en) 2008-12-01 2019-09-17 Micron Technology, Inc. Devices, systems, and methods to synchronize simultaneous DMA parallel processing of a single data stream by multiple devices
US10430210B2 (en) 2014-12-30 2019-10-01 Micron Technology, Inc. Systems and devices for accessing a state machine

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163434A (en) * 2000-05-26 2002-06-07 Ncr Internatl Inc Method and device for determining of one or more statistical estimated quantities of trend of customer
US7561991B2 (en) 2003-02-18 2009-07-14 Nec Corporation Detection of abnormal behavior using probabilistic distribution estimation
JP2004310098A (en) * 2003-04-01 2004-11-04 Microsoft Corp Method for speech recognition using variational inference with switching state spatial model
JP2005157350A (en) * 2003-11-26 2005-06-16 Microsoft Corp Method and apparatus for continuous valued vocal tract resonance tracking using piecewise linear approximation
JP2009188885A (en) * 2008-02-08 2009-08-20 Nec Corp Communication apparatus, communication system, communication method and communication program
JP2010075616A (en) * 2008-09-29 2010-04-08 Yamaguchi Prefectural Univ Discrimination of nature of tissue using sparse coding method
US10417236B2 (en) 2008-12-01 2019-09-17 Micron Technology, Inc. Devices, systems, and methods to synchronize simultaneous DMA parallel processing of a single data stream by multiple devices
JP2010249593A (en) * 2009-04-14 2010-11-04 Hitachi Ltd Target motion analysis method, target motion analysis system, and program
US9524248B2 (en) 2012-07-18 2016-12-20 Micron Technology, Inc. Memory management for a hierarchical memory system
WO2014014710A1 (en) * 2012-07-18 2014-01-23 Micron Technology, Inc Methods and systems for using state vector data in a state machine engine
US9389841B2 (en) 2012-07-18 2016-07-12 Micron Technology, Inc. Methods and systems for using state vector data in a state machine engine
US10254976B2 (en) 2012-07-18 2019-04-09 Micron Technology, Inc. Methods and systems for using state vector data in a state machine engine
US10089242B2 (en) 2012-07-18 2018-10-02 Micron Technology, Inc. Memory management for a hierarchical memory system
JP2014176032A (en) * 2013-03-12 2014-09-22 Nippon Telegr & Teleph Corp <Ntt> Device, system and method for traffic distribution estimation
US9703574B2 (en) 2013-03-15 2017-07-11 Micron Technology, Inc. Overflow detection and correction in state machine engines
US9448965B2 (en) 2013-03-15 2016-09-20 Micron Technology, Inc. Receiving data streams in parallel and providing a first portion of data to a first state machine engine and a second portion to a second state machine
US10372653B2 (en) 2013-03-15 2019-08-06 Micron Technology, Inc. Apparatuses for providing data received by a state machine engine
US10067901B2 (en) 2013-03-15 2018-09-04 Micron Technology, Inc. Methods and apparatuses for providing data received by a state machine engine
US9747242B2 (en) 2013-03-15 2017-08-29 Micron Technology, Inc. Methods and apparatuses for providing data received by a plurality of state machine engines
US10430210B2 (en) 2014-12-30 2019-10-01 Micron Technology, Inc. Systems and devices for accessing a state machine
US10146555B2 (en) 2016-07-21 2018-12-04 Micron Technology, Inc. Adaptive routing to avoid non-repairable memory and logic defects on automata processor
WO2018047966A1 (en) * 2016-09-12 2018-03-15 日本電気株式会社 Waveform separating device, method, and program
US10268602B2 (en) 2016-09-29 2019-04-23 Micron Technology, Inc. System and method for individual addressing
US10339071B2 (en) 2016-09-29 2019-07-02 Micron Technology, Inc. System and method for individual addressing
US10019311B2 (en) 2016-09-29 2018-07-10 Micron Technology, Inc. Validation of a symbol response memory
US10402265B2 (en) 2016-09-29 2019-09-03 Micron Technology, Inc. Validation of a symbol response memory

Similar Documents

Publication Publication Date Title
Bazan A comparison of dynamic and non-dynamic rough set methods for extracting laws from decision tables
Fischer et al. Training restricted Boltzmann machines: An introduction
Friedman et al. Data analysis with Bayesian networks: A bootstrap approach
Rätsch et al. Constructing boosting algorithms from SVMs: An application to one-class classification
Hofmann The cluster-abstraction model: Unsupervised learning of topic hierarchies from text data
Lin et al. Parameter determination of support vector machine and feature selection using simulated annealing approach
De Bonet et al. MIMIC: Finding optima by estimating probability densities
Liang et al. Evolutionary Monte Carlo: Applications to C p model sampling and change point problem
Gelfand et al. Bayesian analysis of constrained parameter and truncated data problems using Gibbs sampling
Hajivassiliou et al. Classical estimation methods for LDV models using simulation
Abraham Rule‐Based expert systems
Lin et al. Support-vector-based fuzzy neural network for pattern classification
Suykens et al. Multiclass least squares support vector machines.
Alpaydin Multiple networks for function learning
Regis et al. Combining radial basis function surrogates and dynamic coordinate search in high-dimensional expensive black-box optimization
Jin Fuzzy modeling of high-dimensional systems: complexity reduction and interpretability improvement
Vesanto Using the SOM and local models in time-series prediction
US6480832B2 (en) Method and apparatus to model the variables of a data set
Reif et al. Automatic classifier selection for non-experts
Pascanu et al. How to construct deep recurrent neural networks
US20020016782A1 (en) Method and apparatus for fractal computation
US20020099594A1 (en) Method and apparatus for determining one or more statistical estimators of customer behavior
Chen et al. Efficient ant colony optimization for image feature selection
Amos et al. Optnet: Differentiable optimization as a layer in neural networks
Kremer Spatiotemporal connectionist networks: A taxonomy and review

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20040907