JPH0973440A - コラム構造の再帰型ニューラルネットワークによる時系列トレンド推定システムおよび方法 - Google Patents

Abstract

(57)【要約】 【課題】 ニューラルネットワークの内部状態と時系列
データの関係を明確にし、不連続に変化する時系列デー
タのトレンドを効率的に推定することが課題である。 【解決手段】 コラム構造再帰型ニューラルネットワー
ク（ＣＳＳＲＮＮ）１９は、ニューラル素子５１−ｊ
（ｊ＝１，．．．，ｍ）とｓ個のレジスタ５２−ｊ−ｋ
（ｋ＝１，．．．，ｓ）からなるｍ個のコラムを備え
る。各ニューラル素子は入力ｘ^(t) から時刻ｔにおける
出力を生成し、各コラムは時刻ｔ以前のニューラル素子
の出力履歴を非線形方程式求解装置１８に渡す。非線形
方程式求解装置１８は、渡された履歴をもとに目標関数
の零点を求め、各零点に対応するｘの値の確率密度を算
定する。そして、最も大きな確率密度を持つ値を次の時
刻の入力データの予測値として出力する。各コラムの独
立性が高く、不連続な離散値の予測に適する構成であ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は再帰型ニューラルネ
ットワークに係り、時間的に不連続に変化する測定量の
変化のトレンドを推定する推定システムおよびその方法
に関する。

【０００２】

【従来の技術とその問題点】従来より予測フィルタとし
て用いられているカルマンフィルタは、システム同定方
法の古典であり、現在も様々な応用が考案されている。
一方、非線形性を持つ時系列データの予測には、静的な
非線形システムの同定法として技術的に確立されつつあ
るニューラルネットワークを適用する様々な方法が考案
されている。しかし、カルマンフィルタの応用には現状
の計算機の能力などからくる制限があり、また、ニュー
ラルネットワークの時系列解析に対する応用は始まった
ばかりである。このため、それぞれ次のような問題点が
指摘される。 （１）カルマンフィルタを用いる方法 時系列データに不連続なトレンド変化が生じる場合やモ
デルの不確定さを表現するノイズにガウス型を仮定でき
ない場合は、通常の線形ガウス型のカルマンフィルタで
は予測や濾波がうまくいかない（北川源四郎．時系列解
析プログラミング．岩波コンンピュータサイエンス．岩
波書店，1993）。もし、不連続な状態変化に線形ガウス
型モデルで対処するなら、極端に次元の大きなモデルが
必要になる。この際、モデル次元を客観的に選択するた
めの基準を設定することが難しくなる。

【０００３】そこで、近年、非線形非ガウス型の拡張カ
ルマンフィルタが提案されている（Genshiro Kitagawa.
Non-Gaussian State-Space Modeling of Nonstationar
y Time Series. Journal of the American Statistical
Association, 82(400):1032-1041, 1987.）。拡張カル
マンフィルタは、不連続なトレンドや非ガウス型のノイ
ズに対する予測や平滑に成功している。しかし、拡張カ
ルマンフィルタを実行するには、予測、濾波、平滑の各
分布を直接計算しなければならない。したがって、状態
空間モデルが大きくなる場合は、拡張カルマンフィルタ
の適切なフィルタ係数を同定するには時間がかかる。こ
れに対して、線形ガウス型モデルでは、平均値と分散を
推定するだけで各段階で計算に必要な確率分布を決定で
きるので、同定に関する計算量は低く抑えることができ
るものの、同定可能対象は制限される。また、拡張カル
マンフィルタを効果的に応用するには、異常値なども含
めたノイズを適当に表現できる分布族に関する先見的な
知識を必要とする。

【０００４】しかし、サンプルからブートスラップ法を
用いてノイズの分布を推定するモンテカルロフィルタを
用いれば、ノイズに関する先見的な知識を欠く場合でも
適切な推定や濾波および平滑ガ遂行される（Genshiro K
itagawa. A Monte Carlo Filtering and Smoothing Met
hod for Non-Gaussian Nonlinear State Space Models.
Research Memorandum 462, The Institute of Statist
ical Mathematics, 121993.）。このモンテカルロフィ
ルタの手法により、より一般的な非線形非ガウス型の時
系列に対する方法論が確立しつつある。ただし、リサン
プリングによる確率分布の算定に必要な時間は無視でき
ないほど大きくなる。 （２）ニューラルネットワークを用いる方法 時系列データから時間窓によリデータを切り出し、時間
的に少しづつずれている一連のパターンを生成し、フィ
ードフォワード型のニューラルネットワークとパックプ
ロパゲーションによって時系列データを学習する方法が
ある（A. Waibel. Modular Construction of Time-Dela
y Networks for Speech Recongnition.Neural Computat
ion, 1:382-399, 1989. ／ Jeng-Neng Hwang, Shyh-R
ong Lay, Martin Maechler, R. Douglas Martin, and J
ames Schimert. Regression Modeling in Back-Propaga
tion and Projection Pursuit Learning. IEEE Transac
tions on Neural Networks, 5(3):342-353, May 199
4.）。この方法で時系列データを的確に学習するために
は、ニューラルネットワークの規模が大きくなり、記憶
領域が不足するという問題が残る。これは時間軸のデー
タの変化を空間軸に展開し、入出力の相関をニューラル
ネットワークの重みで表現するためである。これにより
別の問題も生じる。時系列データの確率構造を捉えると
いう視点による明確な記述がなされないことである。

【０００５】こうしたニューラルネットワークの規模の
問題を解決する方法として、フィードバック構造を持っ
た再帰型ニューラルネットワークが考案されている（Je
romeT. Connor, R. Douglas Martin, and L. E. Atlas.
Recurrent Neural Networksand Robust Time Series P
rediction. IEEE Transactions on Neural Networks, 5
(2):240-254, Mar 1994. ）。再帰型ニューラルネット
ワークには、主に２つの型がある。出力層を回帰させる
方法（Jordan型）と中間層を回帰させる方法（Elman
型）である。再帰型ニューラルネットワークには回帰す
る情報を蓄える層が特別に設けられていて、これを文脈
層と呼ぶ。

【０００６】フィードバック構造により規模の問題は解
決するが、文脈層がどれくらいの規模と密度で過去の情
報履歴を回帰させれば適切な予測フィルタを構成できる
のかが不明確である。また、未知の時系列データ（パラ
メータ同定に用いるデータと同じ確率構造から生成され
る別のデータ）に対する動作や評価方法などが不明確で
ある。一般的なネットワークの結合を考える場合は空間
的な計算コストが莫大になることは明らかであり、各種
係数を探索する場合に、微分係数などの算定のために必
要な情報が長大になる。

【０００７】そこで、ＡＲＭＡ（autoregressive movin
g average ）モデルに類似した制約構造の再帰型ニュー
ラルネットワークを用いて、予測フィルタを構成する方
法が考えられている（James Ting-Ho Lo. Synthetic Ap
proach to Optimal Filtering. IEEE Transactions on
Neural Networks, 5(5):803-811, Sep 1994. ／ G.V.
Puskorius and L. A. Feldkamp. Recurrent Neural Ne
tworks with the Decoupled Extended Kalman Filter A
lgorithm. Science of Artifitial Neural Networks, 1
710:461-473, 1992. ）。この場合、通常のカルマンフ
ィルタによってニューラルネットワークの内部状態の解
釈が与えられる。二乗誤差を最小にする評価基準とカル
マンフィルタに準拠する計算法を用いて、与えられたパ
ラメータにおける誤差を算定しながら、与えられたデー
タに適するパラメータを選択する方法も考案されてい
る。しかしながら、この手法は、先に挙げたカルマンフ
ィルタの計算量に関する問題を内在している。また、ネ
ットワークの内部状態と時系列データとの関係付けにお
いて不明確な点が多く、内部状態の解釈が難しい。

【０００８】本発明は、再帰型ニューラルネットワーク
の内部状態と時系列データの関係を明確にし、不連続に
変化する時系列のトレンドを効率的に推定する時系列ト
レンド推定システムとその方法を提供することを目的と
する。

【０００９】

【問題点を解決するための手段】図１は、本発明の時系
列トレンド推定システムの原理図である。図１の時系列
トレンド推定システムは、入力手段１、ニューラルネッ
トワーク手段２、予測値生成手段３、および出力手段４
を備える。

【００１０】入力手段１は、時系列データを入力する。
ニューラルネットワーク手段２は、文脈層を有するコラ
ム構造の再帰型ニューラルネットワークを含み、過去の
時系列データに関する情報を含む内部状態を出力する。

【００１１】予測値生成手段３は、上記内部状態を用い
て予測値の候補の出現確率を求め、最も確率の高い候補
を予測値として求める。出力手段４は、上記予測値を未
知データの推定結果として出力する。

【００１２】図２は、図１の時系列トレンド推定システ
ムによる推定処理のフローチャートである。 図２のス
テップＳ１において、まず、入力手段１は現在の時刻の
データを入力する。

【００１３】ステップＳ２において、ニューラルネット
ワーク手段２は過去のデータ情報を持つ再帰型ニューラ
ルネットワークの内部状態をコラム毎に設定する。再帰
型ニューラルネットワークは複数のコラムを備え、各コ
ラムは入力データから出力を生成するニューラル素子
と、ニューラル素子の過去の出力を保持する文脈層とを
含む。現在の時刻のデータが入力されると、ニューラル
素子は入力データと同じコラムの文脈層からの回帰デー
タとから新しい出力を生成し、文脈層のデータ情報は１
時刻分シフトされる。

【００１４】ステップＳ３において、予測値生成手段３
は内部状態により決められる予測方程式を解いて、予測
値の候補を求める。このとき、予測値生成手段３はニュ
ーラルネットワーク手段２から受け取った内部状態を用
いて、予測方程式の解を求める。

【００１５】ステップＳ４において、予測値生成手段３
は内部状態を用いて予測値の候補の出現確率を求める。
ステップＳ５において、出力手段４は出現確率の最も大
きなものを未知データの予測値として出力する。

【００１６】各コラムのニューラル素子に、時系列デー
タの不連続なトレンドの離散性を表現する離散変数を割
り付けることにより、離散変数と内部状態により一種の
エネルギー関数を構成することができる。このエネルギ
ー関数から定義される確率分布関数を用いて、上記予測
値の候補の出現確率を表す。後述するように、こうして
定義された確率分布関数に関する考察から、各コラムの
内部状態は対応するニューラル素子の離散変数が１とな
る確率を与えていることが分かる。また、ある離散変数
が１となる確率が高ければ、そのコラムのパラメータに
より決められる平均値を持つ確率分布の寄与が大きくな
る。したがって、内部状態は、データの特定の確率分布
が選択される確率に関する情報を表しているといえる。
このようにして構成された時系列トレンド推定システ
ムにおいては、ニューラルネットワークの内部状態を時
系列データの離散値の出現確率と関連づけて解釈するこ
とが可能となる。また、各ニューラル素子には同じコラ
ム内のデータ情報のみが再帰的に入力されるので、各コ
ラムの独立性が高い。したがって、各コラムのパラメー
タを、不連続な変化トレンドの離散値に適合するように
調整することにより、そのトレンドの推定が容易にな
る。

【００１７】図１のニューラルネットワーク手段２は、
実施形態の図３におけるコラム構造再帰型ニューラルネ
ットワーク１９に対応し、予測値生成手段３は非線形方
程式求解装置１８に対応する。また、入力手段１および
出力手段４は、表示・対話装置１２に対応する。

【００１８】

【発明の実施の形態】以下、図面を参照しながら本発明
の実施の形態を詳細に説明する。本実施形態において
は、次のような方針でシステムを構築する。 （ａ）線形モデルでは追従できないトレンドの急激な変
化に追従する能力を、ニューラルネットワークの隠れ素
子に離散変数を割り付けることによって保証する。この
際、適切な追従能力を持ったフィルタを構成するために
必要な同定法も与える。 （ｂ）線形モデルや単純な分布を想定することでは対処
できない異常値に対して、ネットワークの非線形特性の
一つである飽和特性を利用して対処する。 （ｃ）ガウス型の加重和によって、予測機構およびフィ
ルタとしての測定量の確率密度関数を合成する。確率密
度関数は、ニューラルネットワークの内部状態に基づい
て計算する。これにより、ネットワークの内部状態と時
系列との関係付けを明確にできる。また、小規模のネッ
トワークであれば効率的に実行できる計算法を用いる。 （ｄ）ネットワークの構造は Elman型の構成とし、文脈
層にコラム構造を導入してその構造を制約する。これに
より、回帰情報の独立性を保証し、最適な係数の探索に
必要となる内部状態の再計算を容易にする。

【００１９】図３は、本発明の時系列トレンド推定シス
テムの構成図である。図３の時系列トレンド推定システ
ムは、制御装置１１、学習装置１４、および予測装置１
７を備える。制御装置１１は表示・対話装置１２とシス
テム管理装置１３からなり、学習装置１４は観測装置１
５とネットワーク学習装置１６からなる。また、予測装
置１７は、非線形方程式求解装置１８とコラム構造再帰
型ニューラルネットワーク１９からなる。以後、コラム
構造再帰型ニューラルネットワークをＣＳＳＲＮＮ（Co
lumn-Structured Simple Reccurent Neural Network ）
と記す。

【００２０】この時系列トレンド推定システムは、例え
ば図４に示すような計算機システムとして実施される。
図４の計算機システムは、ＣＰＵ（中央処理装置）２
１、メモリ２２、入出力端末２３、およびそれらを接続
するバス２４を備える。入出力端末２３は、例えばディ
スプレイ装置やキーボードを有する端末装置であり、表
示・対話装置１２に対応する。また、バス２４には、必
要に応じてハードディスク等の外部記憶装置やプリンタ
等が接続される。システム管理装置１３、学習装置１
４、および予測装置１７の各機能は、ＣＰＵ２１がメモ
リ２２に格納されたプログラムを実行することにより実
現される。

【００２１】制御装置１１は、時系列トレンド推定シス
テムと他のシステムまたはユーザ（以下、クライアント
と呼ぶ）との間のデータの授受に必要なインタフェース
である。また、必要な計算機資源の確保およびデータの
流れの制御を行う。図３において、実線の矢印はデータ
の流れを表し、破線の矢印は制御情報の経路を表してい
る。時系列トレンド推定システムの動作には、学習モー
ドと予測モードがある。これらの２つのモードは制御装
置１１のシステム管理装置１３により制御される。シス
テム管理装置１３は、表示・対話装置１２からの情報に
基づいて、モードの切替を行なう。学習モードでは、学
習装置１４が起動される。このときデータの入力ライン
は制御装置１１から学習装置１４に接続される。必要な
長さの時系列データが集まると、それをもとに学習が遂
行される。このとき、予測装置１７は、ＣＳＳＲＮＮ１
９の内部状態の更新に必要な入力を学習装置１４から得
る。予測モードでは、学習装置１４は起動待ち状態にな
り、入力ラインは直接予測装置１７に接続される。予測
装置１７は、最適なパラメータセットをもとに予測を遂
行する。その予測結果は、システム管理装置１３を経由
して、表示・対話装置１２によりクライアントに提示さ
れる。

【００２２】学習装置１４の観測装置１５は、観測デー
タｘ^(t) を時間の経過に従って読み込む。次に、学習装
置１４はネットワーク学習装置１６を起動し、読み込ん
だデータを時系列データ｛ｘ₁ ，．．．，ｘ_N ｝として
ネットワーク学習装置１６に渡す。ネットワーク学習装
置１６は最適なパラメータセットΦ_opt を学習によって
獲得し、予測装置１７のＣＳＳＲＮＮ１９に出力する。
その後、学習装置１４は起動待ち状態となる。

【００２３】ネットワーク学習装置１６は、時系列デー
タ｛ｘ₁ ，．．．，ｘ_N-1 ｝とパラメータセットΦを予
測装置１７に渡す。ここで、予測装置１７に最初に渡す
Φは、ランダムなパラメータセットである。そして、予
測装置１７から予測値 外１（以後、｛ｘ₁ ハッ
ト，．．．，ｘ_N ハット｝と記す。）を受け取り、時系
列

【００２４】

【外１】

【００２５】データとＣＳＳＲＮＮ１９によって表現さ
れたモデルとの食い違いを評価する評価関数を計算しな
がら、その値に基づいてパラメータセットΦを修正す
る。この操作は、評価関数が最小になるような最適なパ
ラメータセットが見つかるまで繰り返される。

【００２６】予測装置１７は、与えられたパラメータセ
ットΦをもとにＣＳＳＲＮＮ１９を駆動して、ＣＳＳＲ
ＮＮ１９の内部状態を更新し、内部状態の情報をもとに
非線形方程式求解装置１８を使って時系列データの予測
を行なう。

【００２７】ＣＳＳＲＮＮ１９は、入力層、隠れ素子
層、および文脈層からなる再帰型ニューラルネットワー
クである。文脈層は、ＣＳＳＲＮＮ１９の各隠れ素子の
過去の出力を保存するシフトレジスタからなる。各隠れ
素子の過去の出力履歴は、それ自身にだけ回帰するので
あって、その他の素子に直接伝達されることはない。こ
のＣＳＳＲＮＮ１９の文脈層のシフトレジスタ内部の値
全体を内部状態と呼ぶ。ＣＳＳＲＮＮ１９は、早い時刻
のデータから順に時間軸に沿って入力｛ｘ₁ ，．．．，
ｘ_N-1 ｝を受け取りながら、逐次内部状態を更新する。

【００２８】非線形方程式求解装置１８は、予測のため
の非線形方程式を解いて、データの予測値 外２ （以
後、ｘ^(t) ハットと記す）を計算する。非線形方程式の
係数

【００２９】

【外２】

【００３０】は、ＣＳＳＲＮＮ１９の内部状態から決め
られる。次に、各装置の構成要素と動作、およびそれら
の間のデータの流れを説明する。

【００３１】表示・対話装置１２は、クライアントに対
して時系列データおよび推定したトレンドを提示する。
時系列データおよび堆定トレンドは、予測装置１７から
システム管理装置１３を通じて表示・対話装置１２に提
供される。クライアントは、提示された結果に不満があ
れば、予測装置１７のパラメータの再学習を要求でき
る。その際、クライアントは、ＣＳＳＲＮＮ１９の規模
を指定することができる。また、学習装置１４の学習ア
ルゴリズムも変更することができる。学習アルゴリズム
の変更の際には、学習基準の変更や学習アルゴリズムの
各パラメータの指定・変更が、表示・対話装置１２を通
じて行われる。クライアントによる再計算の要求や各パ
ラメータの変更指示は、システム管理装置１３に伝達さ
れる。

【００３２】システム管理装置１３は、学習装置１４お
よび予測装置１７に必要な計算機資源を確保して、各装
置を起動する。システム管理装置１３は、図３の破線で
示された制御経路を通じて、学習装置１４と予測装置１
７の動作を制御する。学習モードでは、学習装置１４を
呼び出して、予測装置１７のパラメータの同定を遂行さ
せる。この際、システム管理装置１３が直接予測装置１
７と通信することはない。予測モードでは、システム管
理装置１３は予測装置１７と直接通信して、時系列デー
タを伝達し、トレンド予測値を受け取る。トレンド予測
値は、表示・対話装置１２を通じてクライアントに提供
され、システム管理装置１３はクライアントからのフィ
ードバックを受けとる。クライアントが予測結果に満足
しない場合は、その要求に応じて学習装置１４を起動
し、予測装置１７のパラメータの再学習を開始させる。
この際、クライアントの要求事項として、学習基準の変
更やＣＳＳＲＮＮ１９の規模の変更があれば、そのため
に必要な計算機資源を確保し、パラメータの初期値を設
定して、学習装置１４を呼びだす。学習装置１４によっ
て更新されたパラメータにより、予測装置１７は、再び
ＣＳＳＲＮＮ１９を駆動して予測を行なう。新しく得ら
れた予測データは、表示・対話装置１２へ渡され、クラ
イアントに提示される。

【００３３】学習装置１４の主要な機能は、ネットワー
ク学習装置１６によって提供される。観測装置１５は、
必要な個数の標本を連続して収集し、パラメータの学習
に必要な時系列データＳ＝｛ｘ₁ ，．．．，ｘ_N ｝を生
成するとき以外は、起動待ち状態にある。

【００３４】図５は、ネットワーク学習装置１６の構成
図である。図５のネットワーク学習装置１６は、シミュ
レーティド・アニーリング制御装置３１、ランダムシン
プレックスによるパラメータの精錬装置３２、および評
価関数算定装置３３からなる。ネットワーク学習装置１
６は、予測装置１７の適切な動作を保証するパラメータ
として、例えば、評価関数

【００３５】

【数１】

【００３６】が最小となるΦ＝Φ_opt を学習によって求
める。（１）式において、ｘ_i ハットは予測装置１７か
ら受け取る予測値であり、そのときにＣＳＳＲＮＮ１９
に与えられたΦに依存している。ネットワーク学習装置
１６は、評価関数算定装置３３により予測装置１７と通
信しながら学習を遂行する。

【００３７】評価関数算定装置３３は、時系列データ
｛ｘ₁ ，．．．，ｘ_N ｝と予測値列｛ｘ₁ ハッ
ト，．．．，ｘ_N ハット｝とを入力として、（１）式の
評価関数 merit（Ｓ｜Φ）の値を計算し、出力する。
｛ｘ₁ ハット，．．．，ｘ_N ハット｝は、Φおよび｛ｘ
₁ ，．．．，ｘ_N ｝を予測装置１７へ入力した時にその
出力として得られる。

【００３８】アニーリング制御装置３１は、パラメータ
の選択基準、アニーリングの温度制御ルール、ランダム
探索の回数の上限値Ｎ_r 、およびアニーリングの試行回
数Ｎ _a を、制御データとしてシステム管理装置１３から
受け取る。そして、それらに基づいてシミュレーティド
・アニーリングによる最適パラメータの探索処理を制御
する。アニーリング制御装置３１は、Ｎ_a 個の初期値の
パラメータセットΦ^{(i )} _init（ｉ＝１，．．．，Ｎ_a ）
を生成し、ランダムシンプレックスによるパラメータの
精錬装置３２に与える。

【００３９】パラメータ精錬装置３２は、必要に応じ
て、パラメータセットΦを入力として評価関数算定装置
３３を起動し、 merit（Ｓ｜Φ）の値を受け取る。パラ
メータ精錬装置３２は、公知の滑降シンプレックス法に
よる局所最適化法を用いてパラメータセットΦを精練す
る。各アニーリング試行において初期値のパラメータセ
ットΦ⁽ⁱ⁾ _initから、 dim（Φ）＋１個の点からなる初
期値シンプレックスを生成して、探索を開始する。ここ
で、 dim（Φ）はパラメータセットの独立変数の個数を
表す。

【００４０】図６は、 dim（Φ）＝２の場合の初期値シ
ンプレックスの例を示している。図６において、パラメ
ータセットΦは２つの独立変数φ１、φ２を用いてΦ＝
（φ１，φ２）と表され、φ１φ２平面上の任意の１点
Φ⁽ⁱ⁾ _initが初期値として与えられる。パラメータ精錬
装置３２は、点Φ⁽ⁱ⁾ _initをもとに頂点Φ₁ 、Φ₂ 、Φ
₃ を持つ三角形の初期値シンプレックス３４を生成す
る。 dim（Φ）＝３の場合には、初期値シンプレックス
は４つの頂点を持つ３次元図形となる。

【００４１】各アニーリング試行において、パラメータ
精錬装置３２は、シンプレックスの頂点の中で評価関数
の値が最悪（最大）となる点、２番目に悪い点、および
最良（最小）となる点を調べる。次に、最悪値の点を除
いた頂点の重心に対して、最悪値の点を対称移動して対
称点（反点）を求め、その反点を最悪点の代わりに採用
して新しいシンプレックスを生成する。もし、反点にお
いて、評価関数の値が最良点の値よりも良ければ、重心
から更にその方向に２倍の距離だけ進んだ点を新しい頂
点とする。また、反点の値が最悪値の次に悪い値よりも
悪ければ、最悪点を重心方向へ１次元的に移動させ、新
しい頂点を生成する。それでも最良点よりも良い点が見
つからなければ、最良点の方向へシンプレックス全体を
収縮させる。以上の操作を繰り返すことで、シンプレッ
クスの形を変動させながら評価関数の値を小さくする方
向を発見し、最終的にシンプレックスの大きさを縮小さ
せることにより極小となる点を求める。

【００４２】このように、滑降シンプレックス法におい
ては、シンプレックスが更新される毎に評価関数を計算
する必要がある。この計算は、既に説明したように、評
価関数算定装置３３が予測装置１７と通信することによ
って実行される。

【００４３】図６においては、 merit（Ｓ｜Φ₂ ）＞ m
erit（Ｓ｜Φ₁ ）＞ merit（Ｓ｜Φ ₃ ）であるから、点
Φ₂ が最悪点となる。そこで、パラメータ精錬装置３２
は、初期値シンプレックス３４から点Φ₂ を除いた残り
の頂点Φ₁ 、Φ₃ の重心（この場合はΦ₁ とΦ₃ を結ぶ
線分の中点）を求める。そして、求めた重心に関して点
Φ₂ と対称な点をφ１φ２平面内で求め、その点での m
erit（Ｓ｜Φ）を計算して、 merit（Ｓ｜Φ₁ ）、 mer
it（Ｓ｜Φ₃ ）と比較する。もし、対称点での値が mer
it（Ｓ｜Φ₃ ）より小さければ、重心からその方向にさ
らに離れた点を新しい頂点として、次のシンプレックス
を生成する。

【００４４】また、パラメータ精錬装置３２は、与えら
れた制御温度Ｔ^(j) （ｊ＝１，２，．．．，Ｍ）によっ
て決まる偏差を使って、シンプレックスを探索空間にお
いてランダムウォーク（酔歩）させ、評価関数の大域的
最小値の近傍を探索する。各制御湿度における酔歩の回
数はＮ_r である。この算法によって、各アニーリング試
行から評価関数の大域的最小値を与えるパラメータセッ
トの候補Φ⁽ⁱ⁾ _res （ｉ＝１，．．．，Ｎ_a ）が求ま
る。

【００４５】アニーリング制御装置３１は、これらの候
補の中で評価関数の値が最小となるパラメータセット
を、最適なパラメータセットΦ_opt として選ぶ。ネット
ワーク学習装置１６は、予測装置１７に最適なパラメー
タセットΦ_opt を渡して、起動待ち状態になる。

【００４６】図７は、予測装置１７の構成図である。図
１７において、ＣＳＳＲＮＮ１９の隠れ素子層は、ｍ個
の隠れ素子５１−１、５１−２、・・・、５１−ｍから
なる。各隠れ素子は、図８に示すニューロン（ニューラ
ル素子）を有する。任意の隠れ素子と隠れ素子の間に相
互結合は存在しない。各隠れ素子には、文脈層を構成す
るｓ個のレジスタがそれぞれ割り付けられている。例え
ば、隠れ素子５１−１の出力側にはレジスタ５２−１−
１、５２−１−２、・・・、５２−１−ｓが設けられ、
隠れ素子５１−２の出力側にはレジスタ５２−２−１、
５２−２−２、・・・、５２−２−ｓが設けられ、隠れ
素子５１−ｍの出力側にはレジスタ５２−ｍ−１、５２
−ｍ−２、・・・、５２−ｍ−ｓが設けられる。１つの
隠れ素子とそれに付随するレジスタによって、１つのコ
ラムが形成される。時刻ｔにおける隠れ素子に対する入
力をｘ^(t) とすると、同時刻におけるｊ番目の隠れ素子
（ｊ＝１，．．．，ｍ）の出力は、

【００４７】

【数２】

【００４８】となる。表記を簡潔に行なうため、幾つか
の簡略表現を次のように導入する。

【００４９】

【数３】

【００５０】ここで、関数ＬＧ（ｘ）は、一般にロジス
ティック関数と呼ばれており、図８のニューロンの出力
関数に相当する。また、ｗ_j は入力ｘ^(t) に対するｊ番
目の隠れ素子の重みである。Ｏ_j ^(t-i) は時刻ｔ−ｉに
おけるｊ番目の隠れ素子の出力であり、 外３ （以
後、ベクトルＯ_j ^(t,s) と記す）は、ｊ番目のコラムの

【００５１】

【外３】

【００５２】ｓ個のレジスタの値を成分とするベクトル
である。また、ｕ_jiはｉ番目のレジスタからの再帰値に
対するｊ番目の隠れ素子の入力重みであり、 外４
（以後、

【００５３】

【外４】

【００５４】ベクトルｕ_j と記す）は、それらの入力重
みを成分とするベクトルである。θ_jはｊ番目の隠れ素
子のロジスティック関数のバイアスであり、一般的には
しきい値と呼ばれている。以上の表記法を用いて、ＣＳ
ＳＲＮＮ１９のパラメータセットを表記するとΦ＝
｛（ｗ_j ，θ_j ，ベクトルｕ_j ）：（ｊ＝１，．．．，
ｍ）｝となる。この場合、パラメータセットの次元 dim
（Φ）は（ｓ＋２）ｍとなる。また、

【００５５】

【数４】

【００５６】で定義される 外５ （以後、Ｏ^(t,s) バ
ーと記す）を、時刻ｔにおけるＣＳＳ

【００５７】

【外５】

【００５８】ＲＮＮ１９の内部状態と呼ぶことにする。
内部状態Ｏ^(t,s) バーの更新は、各コラム毎に行われ
る。まず、（２）式により各隠れ素子の時刻ｔの出力Ｏ
_j ^(t) （ｊ＝１，．．．，ｍ）を計算する。次に、レジ
スタ内の値Ｏ_j ^(t-1) ，．．．，Ｏ_j ^(t-s) をシフトし
て、Ｏ_j ^(t) を先頭のレジスタ５２−ｊ−１に保存す
る。この際、レジスタ５２−ｊ−ｓ内にある最も古い時
刻の出力値Ｏ_j ^(t-s) が廃棄される。そして、各コラム
のレジスタ内の値はＯ_j ^(t-1) ，．．．，Ｏ_j ^(t-s)か
らＯ_j ^(t) ，．．．，Ｏ_j ^(t-s+1) に更新される。内部
状態の更新は、各コラムにおいて時刻ｔ＋１までに終了
する。

【００５９】このようなコラム構造を用いることによ
り、ＣＳＳＲＮＮ１９の各々の隠れ素子に、その隠れ素
子自身の過去における出力履歴を時間の序列を保持した
ままで再帰させることができる。したがって、各コラム
の再帰情報の独立性が保証される。

【００６０】こうして、時刻ｔ＝１，２，．．．毎に観
測値ｘ^(t) が新しく入力されると、ＣＳＳＲＮＮ１９は
状態をＯ^(t,s) バーからＯ^(t+1,s) バーに更新する。こ
のネットワークの内部状態Ｏ^(t,s) バーから、時刻ｔに
おけるｘの予測密度関数および時刻ｔにおけるｘの予測
値（時刻ｔ＋１の入力に対する予測値）が計算できる。
予測密度関数は、ネットワークの内部状態によって定義
されたエネルギー関数から導くことができる。このエネ
ルギー関数は、各隠れ素子に対して隠れ変数ｈ _j ∈
｛０，１｝（ｊ＝１，．．．，ｍ）を導入し、隠れ素子
の出力を隠れ変数の値が１となる確率と解釈することに
より定式化できる。ｈ_j は０または１の離散値をとるた
め、離散変数と呼ぶこともできる。ｘ^(t) に対する確率
密度を表す予測確率密度関数を、隠れ変数ｈ_j を用いて
表すと、

【００６１】

【数５】

【００６２】となる。ここで、Ｚ^(t) は、

【００６３】

【数６】

【００６４】で与えられる正規化係数であり時間と共に
変化する。（３）式の予測確率密度関数は、複数のガウ
ス確率密度関数を混合したものである。例えば、隠れ素
子１個からなるＣＳＳＲＮＮ１９（ｍ＝１）を考える
と、予測確率密度関数は、（３）式より、

【００６５】

【数７】

【００６６】となる。（５）式の予測確率密度関数は、
２個のガウス密度関数の合成関数である。この場合、ｘ
^(t) ＝０にピークを持つ１番目のガウス密度関数に対す
る重みは１／Ｚ^(t) であり、ｘ^(t) ＝ｗ₁ にピークを持
つ２番目のガウス密度関数に対する重みは、

【００６７】

【数８】

【００６８】となる。同様にして、ｍ個の隠れ素子から
なるＣＳＳＲＮＮ１９が表現する確率密度関数は２^m 個
のガウス密度関数を合成したものになる。各ガウス密度
関数に対する合成の重みは、

【００６９】

【数９】

【００７０】の関数となる。一方、Ｏ_j ^(t-k) は、
（２）式およびベクトルＯ_j ^(t,s) の定義式より、入力
ｘ^(t-1) ，．．．，ｘ⁽¹⁾ の値に依存しているので、合
成の重みは入力ｘ^(t-1) ，．．．，ｘ⁽¹⁾ の変化によっ
て変化する。これは、事前の入力により予測確率密度関
数の形状が変化することを意味しており、このことを用
いて不連続トレンドの推定が可能になる。

【００７１】予測確率密度関数の微分から、トレンドの
予測に必要な非線形方程式が得られ、

【００７２】

【数１０】

【００７３】となる。（３）式および（６）式の導出方
法については、後に詳しく説明する。図７の非線形方程
式求解装置１８は、予測確率密度分布および予測値の計
算を遂行する装置である。非線形方程式求解装置１８
は、目標関数の零点を求める零点算定装置４１、予測値
選択装置４２、目標関数評価装置４３、正規化係数算定
装置４４、確率密度算定装置４５からなる。

【００７４】（６）式から、目標関数ＴＧ（ｘ）を、

【００７５】

【数１１】

【００７６】とおくことができる。ＴＧ（ｘ）＝０とな
るｘの値が（６）式の解となり、（３）式の予測確率密
度の極大値を与える値に対応する。零点算定装置４１
は、区間分割と単純な囲い込み法を繰り返して、目標関
数の零点を与える変数ｘの値ｘ¹ _peak，．．．，ｘ^k
_peakを近似的に同定する。このとき、必要に応じて変数
値ｘを目標関数評価装置４３に与えて、（７）式のＴＧ
（ｘ）の値を計算させる。

【００７７】予測値選択装置４２は、予測確率密度関数
の極大値を与える変数値ｘ¹ _peak，．．．，ｘ^k _peakの
中で最大の極大値を与える変数値を選択する。このと
き、予測値選択装置４２は、確率密度算定装置４５と通
信することで予測値の候補ｘ¹ _peak，．．．，ｘ^k _peak
に対する確率密度関数値ｖ¹ _peak，．．．，ｖ^k _peakを
得る。これらの値から高速なソーティング法を用いて、
確率密度関数の最大値を与えるｘ_max を求める。予測値
の候補が少ない場合は、確率密度関数値の単純な比較に
よって選択することが可能である。また、確率密度が２
つ以上の異なる変数値において最大値を取る場合は、そ
れらの変数値の上で一様な確率分布を用いて、確率的に
どれか１つを選択し、ｘ_max とする。こうして選択され
た変数値ｘ _max が、次の入力の予測値ｘ^(t) ハットとし
て出力される。

【００７８】目標関数評価装置４３、正規化係数算定装
置４４、確率密度算定装置４５の３つの装置は、その構
成および動作がＣＳＳＲＮＮ１９の内部状態に深く根ざ
している。これらの各装置について、図９から図１１ま
でを参照しながら詳しく説明する。

【００７９】図９は、目標関数評価装置４３の構成を示
している。目標関数評価装置４３は、ＣＳＳＲＮＮ１９
からの｛ベクトルｕ_j ，ベクトルＯ_j ^(t,s) ｝（ｊ＝
１，．．．，ｍ）と零点算定装置からの変数値ｘを入力
として処理し、ＴＧ（ｘ）を計算する。そのために、目
標関数評価装置４３は、ＣＳＳＲＮＮ１９に対応するコ
ラム構造を持つ内部状態情報変換器６１、および加算器
（Σ）６４、６５を備える。内部状態情報変換器６１
は、加算器６２−１、６２−２、・・・、６２−ｍとロ
ジスティック関数演算器（Logistic）６３−１、６３−
２、・・・、６３−ｍを備え、各加算器６２−ｊとロジ
スティック関数演算器６３−ｊがｊ番目のコラムを形成
している。図９において、矢印で表した各データ経路に
付加された変数および定数は、その値を経路上のデータ
に乗算することを意味している。記号の付加されていな
い経路を伝播するデータの値は、伝播の途中で変化する
ことはない。

【００８０】各加算器６２−ｊは、あらかじめセットさ
れた重み係数ｗ_j を入力ｘに乗じ、その結果にしきい値
θ_j とベクトルの内積（ベクトルｕ_j ・ベクトルＯ_j
^(t,s)）を加えて、ロジスティック関数演算器６３−ｊ
に入力する。ロジスティック関数演算器６３−ｊは入力
された値ｙ_j からＬＧ（ｙ_j ）を計算し、内部状態情報
変換器６１は、さらにそれらの出力ＬＧ（ｙ_j ）（ｊ＝
１，．．．，ｍ）にｗ_jを乗じた値を出力とする。次
に、加算器６４は、内部状態情報変換器６１のｍ個の出
力の総和を求める。加算器６５は、零点算定装置４１か
ら入力された変数値ｘから加算器６４の出力を差し引い
て、その結果を目標関数評価装置４３の出力とする。

【００８１】図１０は、正規化係数算定装置４４の構成
を示している。正規化係数算定装置４４は、（４）式の
Ｚ^(t) を計算する装置であり、ＣＳＳＲＮＮ１９に対応
するコラム構造を持つ内部状態情報変換器７１、２値ベ
クトル生成器７３、ベクトル乗算器７４、ベクトル加算
器７５、ノルム算定器７６、加算器７７、指数関数計算
器（ｅｘｐ）７８、累積型加算器７９、逆数演算器（ｒ
ｅｃｉｐ）８０を有する。２値ベクトル生成器７３、ベ
クトル乗算器７４、およびベクトル加算器７５は、ＣＳ
ＳＲＮＮ１９の隠れ素子に割り付けた隠れ変数
ｈ₁ ，．．．，ｈ_m に関係する計算を遂行する。２値ベ
クトル生成器７３は、０または１の値をとるｍ個の隠れ
変数ｈ₁ ，．．．，ｈ_m を１つの隠れ変数ベクトル 外
６ （以後、ベクトルｈと記す）の成分として、２^m 個
の可能なベクトルｈ_i （ｉ＝１，．．．，

【００８２】

【外６】

【００８３】２^m ）を全て生成する。２値ベクトル生成
器７３は、隠れ変数ベクトルを生成することにより、
（４）式を計算する一連の操作の流れを統括する。内部
状態情報変換器７１は、加算器７２−１、７２−２、・
・・、７２−ｍを備え、各加算器７２−ｊがｊ番目のコ
ラムを形成している。そして、各加算器７２−ｊがしき
い値θ_j と内積（ベクトルｕ_j ・ベクトルＯ_j ^(t,s) ）
を加えて出力する。内部状態情報変換器７１の出力は、
ベクトル（ベクトルｕ₁ ・ベクトルＯ₁ ^(t,s) ＋
θ₁ ，．．．，ベクトルｕ_m ・ベクトルＯ_m ^(t,s) ＋θ
_m ）となる。正規化係数算定装置４４の１回の呼び出し
について、内部状態情報変換器７１は１度だけ起動さ
れ、ＣＳＳＲＮＮ１９の内部状態に関する情報を出力す
る。その出力結果は、ベクトル乗算器７４の一方の入力
として保存される。ベクトル乗算器７４は、隠れ変数ベ
クトルｈ_i （ｉ＝１，．．．，２^m ）とＣＳＳＲＮＮ１
９の内部状態情報のベクトルを入力として、それらの内
積

【００８４】

【数１２】

【００８５】を計算し、出力する。ここで、各隠れ変数
ベクトルをベクトルｈ_i ＝（ｈ_i1，．．．，
ｈ_ij，．．．，ｈ_im）と表記する。ベクトル加算器７５
は、ＣＳＳＲＮＮ１９の入力重み係数ｗ₁ ，．．．，ｗ
_m と各隠れ変数ベクトルｈ_i （ｉ＝１，．．．，２^m ）
から

【００８６】

【数１３】

【００８７】を計算する。ノルム算定器７６は、（８）
式のノルム（絶対値）の２乗を算定し、その値に１／２
を乗じて、

【００８８】

【数１４】

【００８９】の値が計算される。その結果は、加算器７
７によりベクトル乗算器７４の出力値に加算され、指数
関数計算器７８に入力される。指数関数計算器７８は、

【００９０】

【数１５】

【００９１】の値を計算し、その結果を累積型加算器７
９に渡す。以上の操作を２^m 個の各隠れ変数ベクトルｈ
_i について繰り返すことで、（４）式の右辺のベクトル
ｈ^(t)に関する総和が計算される。累積型加算器７９
は、全ての隠れ変数ベクトルについての総和を求め、逆
数演算器８０は、累積型加算器７９の出力に（２π）
^1/2を乗じて、その逆数を求める。こうして、正規化係
数算定装置４４からは（４）式のＺ^(t) の逆数が最終的
に出力される。

【００９２】図１１は、確率密度算定装置４５の構成を
示している。時刻ｔにおいて、確率密度算定装置４５
は、予測値選択装置４２から予測値の候補ｘ＝
ｘ¹ _peak，．．．，ｘ^k _peakを受け取り、これらの値に
対する時刻ｔの予測確率密度関数の値
ｖ ¹ _peak，．．．，ｖ^k _peakを出力する。時刻ｔにおけ
る予測確率密度関数は（３）式で与えられ、確率密度算
定装置４５は、ＣＳＳＲＮＮ１９に対応するコラム構造
を持つ内部状態情報変換器８１、乗算器（П）８４、指
数関数計算器８５、およびノルム算定器８６を有する。
内部状態情報変換器８１は、加算器８２−１、８２−
２、・・・、８２−ｍと指数関数計算器（１＋ｅｘｐ）
８３−１、８３−２、・・・、８３−ｍを備え、各加算
器８２−ｊと指数関数計算器８３−ｊがｊ番目のコラム
を形成している。

【００９３】各加算器８２−ｊは、予測値選択装置４２
からの入力値ｘ、ＣＳＳＲＮＮ１９の入力重み係数
ｗ_j 、しきい値θ_j 、およびＣＳＳＲＮＮ１９のｊ番目
のコラムの内部情報である内積値（ベクトルｕ_j ・ベク
トルＯ_j ^(t,s) ）から、ｗ_j ｘ＋ベクトルｕ_j ・ベクト
ルＯ_j ^(t,s) ＋θ_j を求める。また、各指数関数計算器
８３−ｊは、加算器８２−ｊの出力から１＋ｅｘｐ（ｗ
_j ｘ＋ベクトルｕ_j ・ベクトルＯ_j ^(t,s) ＋θ_j ）の値
を計算する。ノルム算定器８６は入力値ｘのノルムの２
乗を計算し、指数関数計算器８５は、その値を用いて入
力ｘの分布Ｎ（０，１）の密度関数における値ｅｘｐ
（−｜ｘ｜² ／２）を求める。乗算器８４は、内部状態
情報変換器８１のｍ個の指数関数計算器の出力を積算
し、さらに正規化係数算定装置から受け取る１／Ｚ^(t)
と指数関数計算器８５から受け取る正規分布密度関数値
ｅｘｐ（−｜ｘ｜² ／２）を積算する。ただし、Ｎ
（０，１）は平均値０、分散１の正規分布を表す。この
ようにして、（３）式のｘ^(t) にｘ¹ _{pe ak}，．．．，ｘ
^k _peakをそれぞれ代入した時の各ｐ（ｘ^(t) ｜Ф，Ｏ
^(t,s) バー）の値ｖ¹ _peak，．．．，ｖ^k _peakが計算さ
れ、予測値選択装置４２に出力される。

【００９４】以上の実施形態において、評価関数算定装
置３３が計算する評価関数 merit（Ｓ｜Φ）は、必ずし
も（１）式の形式の平均２乗誤差である必要はない。例
えば、時系列データとＣＳＳＲＮＮの内部状態により決
まる予測確率密度関数の対数尤度であってもかまわな
い。その場合、評価関数は、

【００９５】

【数１６】

【００９６】と書ける。ランダムシンプレックス法とシ
ミュレーティド・アニーリング法を用いる図５のネット
ワーク学習装置１６において、評価関数を（９）式のよ
うに置き換えたとしても、学習アルゴリズムの基本動作
は変わらない。

【００９７】また、時系列データｘをｙ＝（ｘ−ｍ）／
σと変換して、平均値の平行移動と分散の変更が可能な
モデルを用いることもできる。この場合、基底の個数と
分散のトレードオフおよび分散の推定が必要となるが、
その方法は容易である。

【００９８】さらに、本実施形態においては、１次元入
カデータに対する変化トレンドの推定を行っているが、
この推定処理は多次元にもそのまま拡張可能であり、モ
デルの解釈法などの変更はない。

【００９９】次に、（３）式および（６）式の導出方法
について説明する。一般に、隠れ素子数ｍ個、各隠れ素
子に対するレジスタ数ｓ個を有するＣＳＳＲＮＮを考え
る。また、入力データの次元はｄ次元とする。このと
き、入力重み変数もまたｄ次元となる。（３）、（６）
式ではｄ＝１と置いた場合を考えている。

【０１００】ＣＳＳＲＮＮの各隠れ素子に確率変数ｈ_j
∈｛０，１｝（ｊ＝１，．．．，ｍ）を割り付ける。こ
れらを隠れ変数と呼び、ベクトルｈ＝（ｈ₁ ，．．．，
ｈ_m）で表現する。時刻ｔのＣＳＳＲＮＮのｄ次元の入
力 外７ （以後、ベクトル

【０１０１】

【外７】

【０１０２】ｘ^(t) と記す）と隠れ変数ベクトルｈ^(t)
とを合わせて、時系列解析系の状態（ベクトルｘ^(t) ，
ベクトルｈ^(t) ）と呼ぶことにする。ＣＳＳＲＮＮの内
部状態Ｏ^(t,s) バーおよびパラメータセットФから状態
（ベクトルｘ^(t) ，ベクトルｈ ^(t) ）のエネルギー関数
を次式で定義する。

【０１０３】

【数１７】

【０１０４】このエネルギー関数から、状態（ベクトル
ｘ^(t) ，ベクトルｈ^(t) ）の条件付き確率を次式で定義
する。

【０１０５】

【数１８】

【０１０６】ここで、

【０１０７】

【数１９】

【０１０８】である。（１１）式の条件付き確率から、
ベクトルｘ^(t) 、ベクトルｈ^(t) それぞれの条件付き確
率を導くことができる。まず、全ての隠れ変数ベクトル
ｈ^(t) 上の総和を計算することで、（１１）式からベク
トルｈ^(t) を消去すると、

【０１０９】

【数２０】

【０１１０】を得る。（１２）式にｄ＝１を代入すると
（３）式が得られる。また、ベクトルｘ^(t) に関して
（１１）式を積分することで、ベクトルｘ^(t) を消去す
ると、

【０１１１】

【数２１】

【０１１２】を得る。ここで、ｈ_j ^(t) はベクトルｈ
^(t) のｊ番目の成分である。次に、ベイスの法則により
（１１）式と（１２）式から条件付き確率

【０１１３】

【数２２】

【０１１４】が求められる。ここで、

【０１１５】

【数２３】

【０１１６】である。（１４）式の右辺の帰結の式にお
いて、各隠れ変数に関する確率が積の形で含まれること
より、明らかに各隠れ変数の独立性を仮定することがで
きる。そこで、（１５）式を用いて、

【０１１７】

【数２４】

【０１１８】を導くことができる。（１６）式の右辺は
入力ベクトルｘ^(t) に対するｊ番目の隠れ素子の出力を
表しており、同時にまた、隠れ変数ｈ_j ^(t) が１である
条件付き確率を与えている。実際、入力ベクトルｘ^(t)
の次元が１次元である場合には、（１６）式の右辺は
（２）式の右辺に一致する。このとき、（２）式のＯ_j
^{(t )} は、ｈ_j ^(t) ＝１に対応する時系列データｘ^(t) の
確率密度を与える。したがって、（１６）式から、ＣＳ
ＳＲＮＮの内部状態の解釈と時系列データとの関係が明
らかになる。また、（１４）式において各隠れ変数の独
立性を仮定することは、ＣＳＳＲＮＮのコラム間で情報
の交換をしないことと対応している。

【０１１９】次に、学習により最適なパラメータセット
が見つかったと仮定する。このとき、予測装置１７は、
予測確率密度関数ｐ（ベクトルｘ^(t) ｜Φ，Ｏ^(t,s) バ
ー）を用いて時刻ｔの予測を行う。具体的には、最も確
からしいベクトルｘ^(t) の予測値として、確率密度関数
のピークに対応する値を選ぶ。そこで、微分方程式

【０１２０】

【数２５】

【０１２１】を満たすベクトルｘ^(t) を予測値とする。
（１７）式は、

【０１２２】

【数２６】

【０１２３】と等価である。ここで、（１２）式のｐ
（ベクトルｘ^(t) ｜Φ，Ｏ^(t,s) バー）を（１８）式に
代入して、予測方程式となる非線形方程式

【０１２４】

【数２７】

【０１２５】を得る。入力ベクトルｘ^(t) の次元が１次
元である場合には、（１９）式は（６）式に一致する。
次に、図１２から１４までを参照しながら、図３の時系
列トレンド推定システムの動作フローを説明する。

【０１２６】図１２は、時系列トレンド推定システムの
全体処理のフローチャートである。図１２においてシス
テムが立ち上げられると、まず、あらかじめ決められた
初期設定に基づいて制御装置１１が起動される（ステッ
プＳ２１）。表示・対話装置１２およびシステム管理装
置１３は入力待ち状態となり（ステップＳ２２）、クラ
イアントからの要求が入力されると（ステップＳ２
３）、システム管理装置１３は、まず観測対象の変更要
求があるかどうかを判定する（ステップＳ２４）。

【０１２７】変更要求があれば、観測対象を変更して時
系列データのを収集を開始し（ステップＳ２５）、次に
学習アルゴリズムの変更要求があるかどうかを判定する
（ステップＳ２６）。変更要求があれば、指定された項
目を修正して必要な計算機資源を確保し（ステップＳ２
７）、次にＣＳＳＲＮＮ１９の規模の変更要求があるか
どうかを判定する（ステップＳ２８）。変更要求があれ
ば、ＣＳＳＲＮＮ１９の規模を修正して必要な計算機資
源を確保し（ステップＳ２９）、次に予測装置１７の設
定変更要求があるかどうかを判定する（ステップＳ３
０）。ステップＳ２４で変更要求がなければステップＳ
２６の処理に移り、ステップＳ２６で変更要求がなけれ
ばステップＳ２８の処理に移り、ステップＳ２８で変更
要求がなければステップＳ３０の処理に移る。

【０１２８】ステップＳ３０で変更要求があれば、予測
装置１７の設定を変更して再起動し（ステップＳ３
３）、次に学習装置１４の設定変更要求があるかどうか
を判定する（ステップＳ３４）。ステップＳ３０で変更
要求がなければ、予測装置１７が起動されているかどう
かを調べ（ステップＳ３１）、起動されていればステッ
プＳ３４の処理に移る。予測装置１７が起動されていな
ければ、それを起動して（ステップＳ３２）、ステップ
Ｓ３４の処理に移る。

【０１２９】ステップＳ３４で変更要求があれば、学習
装置１４の設定を変更して再起動し（ステップＳ３
７）、次に観測データの提示要求があるかどうかを判定
する（ステップＳ３８）。ステップＳ３４で変更要求が
なければ、学習装置１４が起動されているかどうかを調
べ（ステップＳ３５）、起動されていればステップＳ３
８の処理に移る。学習装置１４が起動されていなけれ
ば、それを起動して（ステップＳ３６）、ステップＳ３
８の処理に移る。 ステップＳ３８で提示要求があれ
ば、システム管理装置１３は、観測データを観測装置１
５から表示・対話装置１２に転送し（ステップＳ３
９）、次に予測データの提示要求があるかどうかを判定
する（ステップＳ４０）。提示要求があれば、予測装置
１７を呼び出して予測データを受け取り、表示・対話装
置１２に転送して（ステップＳ４１）、次に学習の開始
要求があるかどうかを判定する（ステップＳ４２）。要
求があれば、学習装置１４を呼び出して学習を行わせ、
予測装置１７のパラメータセットを更新して（ステップ
Ｓ４３）、入力待ち状態となる（ステップＳ２２）。ス
テップＳ３８で提示要求がなければステップＳ４０の処
理に移り、ステップＳ４０で提示要求がなければステッ
プＳ４２の処理に移り、ステップＳ４２で要求がなけれ
ばステップＳ２２で入力待ち状態となる。

【０１３０】学習装置１４は、制御装置１１からの呼び
出しに応じて処理を開始する。図１３は、学習装置１４
の処理のフロ一チャートである。図１３において学習装
置１４が立ち上げられると、まず制御装置１１からの呼
び出しがあるまで待機状態となる（ステップＳ５１）。
呼び出しがあると、学習装置１４は、学習アルゴリズム
のパラメータの変更要求があるかどうかを判定する（ス
テップＳ５２）。変更要求があれば、新しい設定パラメ
ータを受け取って学習アルゴリズムを更新し（ステップ
Ｓ５３）、次に学習基準の変更要求があるかどうかを判
定する（ステップＳ５４）。変更要求があれば、新しい
学習基準を受け取ってこれまでの学習基準を更新し（ス
テップＳ５５）、次に時系列データの学習要求があるか
どうかを判定する（ステップＳ５６）。ステップＳ５２
で変更要求がなければステップＳ５４の処理に移り、ス
テップＳ５４で変更要求がなければステップＳ５６の処
理に移り、ステップＳ５６で学習要求がなければステッ
プＳ５１で待機状態となる。

【０１３１】ステップＳ５６で学習要求があれば、ｉ＝
１とおいて（ステップＳ５７）、パラメータセットΦの
次元である dim（Φ）次元の空間のランダムな１点Φ
⁽ⁱ⁾ _{in it}を生成する（ステップＳ５８）。次に、Φ⁽ⁱ⁾
_initから初期値シンプレックスＳＬ⁽ⁱ⁾ ₍₀₎ を生成する
（ステップＳ５９）。次に、予測装置１７を呼び出して
ＳＬ⁽ⁱ⁾ ₍₀₎ の各頂点のΦの値と時系列データ
｛ｘ₁ ，．．．，ｘ_N ｝を与え、対応する予測値列｛ｘ
₁ ハット，．．．，ｘ_N ハット｝を受け取る（ステップ
Ｓ６０）。そして、ＳＬ⁽ⁱ⁾ ₍₀₎ の各頂点に対する評価
関数 merit（Ｓ｜Φ）の値を計算する（ステップＳ６
１）。

【０１３２】次に、ｊ＝１とおいて（ステップＳ６
２）、制御温度Ｔ^(j) において評価関数の極小値を与え
るパラメータセットを、シンプレックスＳＬ⁽ⁱ⁾ _(j-1)
から出発して、滑降シンプレックス法とＮ_r 回の酔歩の
試行により探索する（ステップＳ６３）。このとき、シ
ンプレックスの収縮過程で新しく生成する頂点の評価関
数の値を、予測装置１７と通信しながら計算する（ステ
ップＳ６４）。そして、新しく得られたシンプレックス
をＳＬ⁽ⁱ⁾ _(j) とする。

【０１３３】次に、Ｔ^(j) とアニーリングの最終到達温
度Ｔ_min とを比較する（ステップＳ６５）。Ｔ^(j) がＴ
_min より高ければ、ｊ＝ｊ＋１とおき（ステップＳ６
６）、Ｔ^(j) ＝κＴ^(j-1) とおいて温度を下げる（ステ
ップＳ６７）。ここで、０＜κ＜１である。そして、ス
テップＳ６３以降の処理を繰り返す。ステップＳ６５で
Ｔ^(j) がＴ_min 以下になれば、そのときのシンプレック
スＳＬ⁽ⁱ⁾ _(j) の各頂点の内で評価関数が最小となる点
を求め、それを局所最適パラメータセットΦ⁽ⁱ⁾ _res と
して保存する（ステップＳ６８）。

【０１３４】次に、ｉをアニーリングの試行回数Ｎ_a と
比較し（ステップＳ６９）、ｉがＮ _a に達していなけれ
ば、ｉ＝ｉ＋１とおいて（ステップＳ７０）、ステップ
Ｓ５８以降の処理を繰り返す。ステップＳ６９でｉがＮ
_a に達すると、得られたＮ_a個のΦ⁽ⁱ⁾ _res （ｉ＝
１，．．．，Ｎ_a ）の中から、評価関数が最小となるも
のを最適パラメータセットとして選択する（ステップＳ
７１）。そして、その最適パラメータセットをＣＳＳＲ
ＮＮ１９にセットして（ステップＳ７２）、待機状態に
戻る（ステップＳ５１）。

【０１３５】予測装置１７は、学習モードにおいては学
習装置１４から呼び出され、予測モードにおいては制御
装置１１から呼び出される。両モードに置ける予測装置
１７の基本的な動作は同じであり、観測データの供給元
と予測結果の出力先が異なるだけである。図１４は、予
測装置１７の処理のフロ一チャートである。

【０１３６】図１４において予測装置１７が立ち上げら
れると、まず制御装置１１または学習装置１４からの呼
び出しがあるまで待機状態となる（ステップＳ８１）。
呼び出しがあると、予測装置１７は、ＣＳＳＲＮＮ１９
のパラメータセットの変更要求があるかどうかを判定す
る（ステップＳ８２）。変更要求があれば、新しいパラ
メータセットを受け取り、これまでのパラメータセット
を更新して（ステップＳ８３）、次に予測の要求がある
かどうかを判定する（ステップＳ８４）。ステップＳ８
２で変更要求がなければステップＳ８４の処理に移り、
ステップＳ８４で予測要求がなければステップＳ８１で
待機状態となる。

【０１３７】ステップＳ８４で予測要求があれば、ＣＳ
ＳＲＮＮ１９の内部状態Ｏ^(t,s) バーをセットし（ステ
ップＳ８５）、ｔ＝１とおいて予測を開始する（ステッ
プＳ８６）。まず、非線形方程式（６）を解いて時系列
データの予測値ｘ^(t) ハットを求め（ステップＳ８
７）、予測結果として出力する（ステップＳ８８）。次
に、時刻ｔにおける真値ｘ^(t) を読み込み（ステップＳ
８９）、ＣＳＳＲＮＮ１９を駆動して内部状態Ｏ^(t,s)
バーをＯ^(t+1,s) バーに更新する（ステップＳ９０）。
次に、ｔが時刻の上限値Ｎを越えたかどうかを判定し
（ステップＳ９１）、Ｎを越えていなければ、ｔ＝ｔ＋
１とおいて（ステップＳ９２）、ステップＳ８７以降の
処理を繰り返す。そして、ステップＳ９１でｔがＮを越
えれば、予測を終了し（ステップＳ９３）、待機状態に
戻る（ステップＳ８１）。

【０１３８】次に、図３の時系列トレンド推定システム
によるデータ変化のトレンドの推定例について説明す
る。以下では、記述の簡便さを図って、ｍ個の隠れ素子
を有し、各隠れ素子にそれぞれｓ個のレジスタが割り付
けられているＣＳＳＲＮＮをｈｍｒｓ−ＮＮと表記す
る。隠れ素子に割り付けられたレジスタの数ｓは、文脈
層の深さを表す。例えば、隠れ素子２個、各隠れ素子毎
のレジスタ数が１個のＣＳＳＲＮＮは、ｈ２ｒ１−ＮＮ
と表される。

【０１３９】まず、区分的に定常となるデータにおける
トレンド推定結果について説明する。区分的に定常な時
系列生成装置（不図示）から生成された次のような時系
列を、予測の対象として選ぶ。

【０１４０】

【数２８】

【０１４１】ただし、Ｎ（μ，σ² ）は、平均μ、分散
σ² のガウス密度関数を表す。（２０）式により生成さ
れる時系列の例は図１５に示されている。図１５の時系
列において、時刻ｔの４つの区間１≦ｔ≦５０、５１≦
ｔ≦１００、１０１≦ｔ≦１５０、１５１≦ｔ≦２００
の境界における平均値の不連続な切り替わりがデータの
跳躍トレンドとして現れていることが伺える。このよう
な不連続な跳躍トレンドを時系列トレンド推定システム
により予測する。このとき、最適パラメータセットの決
定に用いられる学習データと、予測結果と比較するテス
トデータは、（２０）式に従ってそれぞれ個別に生成さ
れるものとする。

【０１４２】ｈ２ｒ１−ＮＮまたはｈ２ｒ１０−ＮＮを
備えるシステムに、図１５の時系列を学習データとして
与えて学習させ、未知のテストデータに対するそれぞれ
のシステムによる予測結果を求める。ｈ２ｒ１−ＮＮ、
ｈ２ｒ１０−ＮＮによる予測結果は、それぞれ図１６、
１７のようになる。図１６、１７において、実線はＣＳ
ＳＲＮＮが予測した結果を表し、破線は時系列生成装置
が実際に生成したテストデータを表す。

【０１４３】これらの結果を見ると、確かに跳躍型のト
レンドがうまく予測されていることが分かる。しかし、
支脈層の規模が小さいｈ２ｒ１−ＮＮの場合は、交替現
象とノイズの振幅の揺らぎとがうまく分割できていな
い。図１６において、３５１≦ｔ≦４００の区間にある
予測値Ｄ１は、周期的なトレンドから逸脱している。こ
れに対して、図１７のｈ２ｒ１０−ＮＮの場合はこうし
た予測値の逸脱がなく、より正確にトレンドを予測して
いるといえる。このように、交替現象の追従にある程度
のロバスト性（ノイズ等に引き摺られない強靱さ）を持
たせるためには、文脈層の規模をある程度の大きさに設
定する必要がある。

【０１４４】次に、異常値を含む時系列データに対する
トレンドの推定結果について説明する。ノイズの摺らぎ
では説明できない極端な偏差として、異常値の問題があ
る。図１８は、異常値が混入している跳躍型トレンドの
時系列を示している。図１８の時系列は、基本的なデー
タを（２０）式を用いて生成し、その上に異常値Ｅ１、
Ｅ２、Ｅ３、Ｅ４を加算することにより得られる。これ
らの異常値は、発生間隔がポアソン分布に従うように生
成される。またそれらの値は平均１０、分散０．５の正
規分布に従って生成され、確率１／２で正値として、ま
た確率１／２で負値として跳躍型トレンドの時系列に加
重されるものとする。こうした異常値を生成する確率に
関する情報は、時系列推定システムには全く与えられな
い。ここで、異常値とは、例えば正規分布を仮定するな
ら、その平均値からの逸脱が大きく出現確率がほぼ０で
あるといえるような値のことである。

【０１４５】ＣＳＳＲＮＮとしてｈ２ｒ１−ＮＮ、ｈ２
ｒ１０−ＮＮ、およびｈ１０ｒ１０−ＮＮを選び、それ
らを備えるシステムにそれぞれ図１８に示した時系列を
学習させる。そして、それらのシステムによる予測結果
を、図１８と同様の機構で生成された別のデータでテス
トした結果をそれぞれ図１９、２０、２１に示す。図１
９、２０、２１において、データＥ５、Ｅ６、Ｅ７、Ｅ
８、Ｅ９、Ｅ１０、Ｅ１１、Ｅ１２、Ｅ１３、Ｅ１４、
Ｅ１５、Ｅ１６、Ｅ１７、Ｅ１８は、テストデータの異
常値を表す。

【０１４６】図１９のｈ２ｒ１−ＮＮの場合は、予測値
における異常値はＤ２、Ｄ３、Ｄ４、Ｄ５、Ｄ６、Ｄ
７、Ｄ８、Ｄ９、Ｄ１０、Ｄ１１の１０個である。これ
らの異常な予測値は、それぞれ直前のテストデータの異
常値Ｅ６、Ｅ７、Ｅ１０、Ｅ１２、Ｅ１３、Ｅ１４、Ｅ
１５、Ｅ１６、Ｅ１７、Ｅ１８の影響を受けて生成され
たものと考えられる。これに対して、図２０のｈ２ｒ１
０−ＮＮの場合は、予測値における異常値はＤ１２、Ｄ
１３、Ｄ１４、Ｄ１５、Ｄ１６の５個だけである。さら
に、図２１のｈ１０ｒ１０−ＮＮの場合は、予測値にお
ける異常値はＤ１７のみとなっている。図２１におい
て、予測値のトレンドが小刻みに上下しているのは、多
数の隠れ素子により離散値がより細かく表現されること
に起因する。これらの結果より、ＣＳＳＲＮＮにおいて
回路の規模を大きくすると、より大きなロバスト性を実
現できることがわかる。したがって、本発明のシステム
を用いれば、時系列の異常値が存在していても不連続ト
レンドを的確に推定することができる。

【０１４７】次に、時系列ＳとパラメータセットΦによ
り決まるモデルとの適合度を測る関数 merit（Ｓ｜Φ）
（最小２乗法や最尤推定法等における評価関数）を用い
て、ＣＳＳＲＮＮを予測フィルタとして構成した時に、
時系列の性質がどのように内部表現として獲得されるの
かを考える。

【０１４８】まず、隠れ変数ベクトルとガウス密度関数
の関係について考察する。ＣＳＳＲＮＮの隠れ変数ベク
トルｈ^(t) と入力ベクトルｘ^(t) 上において、同時密度
関数ｐ（ベクトルｘ^(t) ，ベクトルｈ^(t) ｜Φ，Ｏ
^(t,s) バー）が（１１）式により定義される。この同時
密度関数から導かれるベクトルｘ^(t) の周辺密度ｐ（ベ
クトルｘ^(t) ｜Φ，Ｏ^(t,s) バー）とベクトルｈ^(t) の
周辺分布関数Ｐ（ベクトルｈ^(t) ｜Φ，Ｏ^(t,s) バー）
の間には、ガウス密度関数を基底とする線形関係があ
る。このことは、以下の考察から容易に分かる。

【０１４９】時刻ｔにおけるＣＳＳＲＮＮの隠れ変数ベ
クトルの予測分布は、（１３）式のＰ（ベクトルｈ^(t)
｜Φ，Ｏ^(t,s) バー）によって決まる。ＣＳＳＲＮＮが
表現する事象は、隠れ変数ベクトルが確率的に重なった
状態である。以後、表現上の簡約のため、予測における
隠れ変数ベクトルの確率的重ね合わせのことを様相と呼
ぶことにする。（１３）式は、可能な全ての隠れ変数ベ
クトルの集合上で定義され、それらの重率を予測する式
である。

【０１５０】ここで、隠れ変数ベクトルを要素表示する
とともに、各要素に非負整数を指標として割り当てる。
隠れ素子の個数をｍとすると、２^m 個の隠れ変数ベクト
ルは、

【０１５１】

【数２９】

【０１５２】のように表記される。例えば、ｍ＝２のと
きは、隠れ変数ベクトルはベクトルｈ ₍₀₎ ＝（０，
０）、ベクトルｈ₍₁₎ ＝（１，０）、ベクトルｈ₍₂₎ ＝
（０，１）、ベクトルｈ₍₃₎ ＝（１，１）の４つであ
る。

【０１５３】時刻ｔにおける入力ベクトルの予測分布
は、（１２）式より、

【０１５４】

【数３０】

【０１５５】と書き換えられる。ここで、 外８ （以
後、ベクトルｗ_j と記す）はｊ番目の

【０１５６】

【外８】

【０１５７】隠れ素子の入力重みベクトルであり、

【０１５８】

【数３１】

【０１５９】である。これは、平均値

【０１６０】

【数３２】

【０１６１】、分散１のガウス密度関数である（以後、
形式的に

【０１６２】

【数３３】

【０１６３】と表記する）。（２２）式は、（１３）式
を用いて次のように書き換えることができる。

【０１６４】

【数３４】

【０１６５】ここで、

【０１６６】

【数３５】

【０１６７】である。（２３）式は、入力ベクトルの予
測密度関数と隠れ変数ベクトルにより指定されるガウス
密度関数の線形結合で表現されている。その結合係数
は、対応する隠れ変数ベクトルの予測分布である。した
がって、これらの結合係数はＣＳＳＲＮＮの内部状態の
非線形関数になる。各隠れ変数ベクトルｈ_(i) ＝
（ｈ_i1，．．．，ｈ_im）を入力ベクトル空間上のガウス
密度関数に対応させる写像

【０１６８】

【数３６】

【０１６９】は、各隠れ素子の重みの集合｛ベクトルｗ
₁ ，．．．，ベクトルｗ_m ｝によって決まる。 ＣＳＳ
ＲＮＮとして、隠れ素子２個で入力ベクトルの次元が１
の場合を考える。隠れ素子の入力重みをそれぞれｗ₁ 、
ｗ₂ とすると、各隠れ変数ベクトルに対して基底となる
ガウス密度関数は、それぞれ、

【０１７０】

【数３７】

【０１７１】となる。今、仮に隠れ変数ベクトルの時刻
ｔにおける予測分布が次のように求められたとする。

【０１７２】

【数３８】

【０１７３】このとき、（２３）式により入力ｘ^(t) の
予測分布は、

【０１７４】

【数３９】

【０１７５】となる。この場合、およそＮ（ｗ₁ ，１）
に近い形状の分布となることが分かる。一般に、時刻ｔ
における入力ｘ^(t) の予測密度の形状は、入力重み間の
距離や基底となるガウス密度関数に対する重みに応じて
変わる。予測密度関数のすそが広がることもあれば、い
ずれの基底関数のピーク（平均値）に対しても予測密度
関数のピークとの間に偏差があることもある。また、予
測密度関数のピークが多数個あることもあり、その他に
も様々に変化し得る。隠れ変数ベクトルの予測分布が、
特定の隠れ変数ベクトルｈ_(i) だけに極端に偏る場合
は、入力に対する予測密度関数はＮ（Σｈ_ij・ベクトル
ｗ_j ，１）にほぼ一致する。このとき、その平均値Σｈ
_ij・ベクトルｗ_j は、ｈ_ij＝１となる隠れ素子の入力重
みベクトルｗ _j により決められることになる。

【０１７６】上述のような関係を急激なトレンド変化を
伴う時系列の予測実験に利用してみる。まず、次式に示
す平均値移動型の時変ガウス分布により時系列Ｓを生成
する。

【０１７７】

【数４０】

【０１７８】そして、隠れ素子が２個、各隠れ素子に割
り付けられたレジスタが１個のｈ２ｒ１−ＮＮを時系列
Ｓに適合させる。そのために、負値対数尤度により定義
された（９）式の merit（Ｓ｜Φ）を最小にするパラメ
ータΦ_opt ＝｛ｗ₁ ，θ₁ ，ｕ ₁ ，ｗ₂ ，θ₂ ，ｕ₂ ｝
を、数値的最適化法により見つける。適当なパラメータ
が選択されると、それをΦ_opt としてｈ２ｒ１−ＮＮを
構成し、図２２に示すテスト用の時系列の予測を行う。
このときの予測の対象は、刻々と入力されるテストデー
タの次の時刻の入力値である。ｈ２ｒ１−ＮＮの内部状
態の更新は、実際に入力される観測値を用いて行う。こ
のような設定は、オープンループと呼ばれる。図２３
は、ｈ２ｒ１−ＮＮによる予測結果を示している。図２
３の予測値は、入力ｘ^(t) の予測分布のピークに対応し
ている。図２２と図２３を比較すると、ｈ２ｒ１−ＮＮ
はほぼ正確に時系列のトレンドの不連続な切り替えを追
跡し、各トレンドをうまく予測していることが分かる。
予測密度全体の時間的変化（予測密度関数列）は図２４
に示されている。図２４において、入力値ｘの予測確率
密度Ｐが時間ｔの経過とともに変化する様子が示されて
いる。各時刻の予測確率密度Ｐのピークに対応するｘの
値を予測値としてプロットしたものが図２３である。

【０１７９】ここで、ＣＳＳＲＮＮが時系列Ｓのどのよ
うな性質をその内部表現として獲得しているかを考察す
る。まず、ｈ２ｒ１−ＮＮの各隠れ変数ベクトルの予測
分布と入力の予測分布との関係を定性的に説明するため
に必要な情報として、予測に用いたｈ２ｒ１−ＮＮの最
適パラメータセットを図２５に示す。図２５の各パラメ
ータの値から、隠れ変数ベクトルとガウス密度関数との
対応関係が、

【０１８０】

【数４１】

【０１８１】となることが分かる。次に、ｈ２ｒ１−Ｎ
Ｎが予測する隠れ変数ベクトルｈ₍₀₎＝（０，０）、ベ
クトルｈ₍₁₎ ＝（１，０）、ベクトルｈ₍₂₎ ＝（０，
１）、ベクトルｈ₍₃₎ ＝（１，１）に対する確率密度
を、それぞれ図２６、２７、２８、２９に示す。図２３
の時系列のトレンド予測と図２４の予測密度全体の変
化、および図２６から図２９までの各隠れ変数ベクトル
の予測分布を比較検討すると、次のようなことが言え
る。

【０１８２】Ｎ（１，１）から生成される時系列の区間
では、隠れ変数ベクトルｈ₍₁₎ の予測分布が係数の中で
主項となり、予測密度の形状は主にＮ（１．０２６９
６，１．０）によって形作られる。また、時系列Ｓに対
してｈ２ｒ１−ＮＮが隠れ変数ベクトルの予測として適
切な様相を実現するために、無視できない割合でベクト
ルｈ₍₀₎ の分布Ｎ（０．０，１．０）が重なり合うよう
なパラメータが選ばれている。このため、予測密度関数
の負方向のすそが広がり、そのピークがＮ（１．０２６
９６，１．０）のピークからｘの負方向にずれているこ
とが分かる。ここで、適切な様相を実現することは、入
力に対する予測密度から計算される負値対数尤度を最小
にすることを意味する。

【０１８３】Ｎ（−１，１）から生成される時系列の区
間では、隠れ変数ベクトルｈ₍₂₎ の予測分布が係数の中
で主項となり、予測密度の形状は主にＮ（−１．１０８
５３，１．０）によって形作られる。Ｎ（−０．０８１
５７，１．０）の重みが無視できるほど小さくないの
で、予測密度関数の正方向のすそが広がり、そのピーク
がＮ（−１．１０８５３，１．０）のピークからｘの正
方向にずれていることが分かる。

【０１８４】以上の議論は、（２３）式により理論的に
裏付けられている。この実験結果から次のような解釈が
得られる。時系列Ｓに対してＣＳＳＲＮＮの最適なパラ
メータとは、ＣＳＳＲＮＮによって表現可能な予測密度
関数列の中から尤もらしい関数列を生成するものであ
る。最適なパラメータを設定することにより、ＣＳＳＲ
ＮＮは時系列Ｓの背後にある法則性（例えば、トレンド
の切り替えなど）を相異なる様相から様相への変化とし
て表現する。時系列Ｓ自体は、様相の列によって指定さ
れた予測密度関数列により記述される。

【０１８５】実験結果においては、ＣＳＳＲＮＮの予測
密度関数のモードによってトレンドが表現されている。
ここで、モードとは、ある時刻における予測密度関数の
最大ピークに対応するデータ値（最頻値）を指す。図２
６、２７、２８、２９から明らかなように、様相として
は大きく２つに大別される。大別された各様相を１つの
ガウス密度関数基底Ｎ（Σｈ_ij・ベクトルｗ_j ，１）に
よって高い精度で近似できるならば、そのガウス密度関
数が１つのトレンドを近似的に表現する。この場合、そ
のトレンドはＣＳＳＲＮＮの重みベクトルとして明示的
に分散表現されていることが分かる。

【０１８６】また、時系列のトレンドが、様相の主項と
なる隠れ変数ベクトルに対応するガウス密度関数基底Ｎ
（Σｈ_ij・ベクトルｗ_j ，１）のピークと数値的にほぼ
一致する場合、そのトレンドのデータ値はＣＳＳＲＮＮ
の入力荷重Σｈ_ij・ベクトルｗ_j により分散表現され
る。

【０１８７】次に、予測フィルタとしてＣＳＳＲＮＮを
用いる場合、文脈層がどのような役割を果たすかについ
て考える。（２５）式により生成される時系列の予測フ
ィルタとして要求されることは、時系列のトレンドを予
測することとトレンドが切り替わったときにそれを的確
に追跡することである。

【０１８８】（２５）式から導かれる性質として、次の
ようなものを挙げることができる。文脈層は時間的に変
化し、予測密度関数の形状を変える。文脈層の内容Ｏ
^(t,s)バーが変化することにより様相が変化し、予測密
度関数の形状が変わる。

【０１８９】

【数４２】

【０１９０】は、ｊ番目の隠れ素子の出力履歴が様相に
関与する度合を示す。（１３）式において、Θ_j ^(t) が
大きければｊ番目の成分が１である隠れベクトルの重率
が大きくなる。

【０１９１】では、具体的な時系列とＣＳＳＲＮＮの文
脈層の回帰係数およびしきい値との関係を考える。ここ
では、ｈ２ｒ１−ＮＮとの比較のためにｈ２ｒ２−ＮＮ
による予測値を図３０に示し、その予測密度関数列を図
３１に示す。図２３と図３０とを比較するとｈ２ｒ２−
ＮＮのトレンド予測には乱れが少なく、安定な予測を行
っていることが分かる。また、図３１のどの時刻におけ
る予測密度関数の形状もガウス密度関数に近い。ｈ２ｒ
２−ＮＮで使用した最適なパラメータセットは図３２に
示されている。ｈ２ｒ２−ＮＮの場合も、ｈ２ｒ１−Ｎ
Ｎと同様にして、予測フィルタとして適当なパラメータ
を見つけることができる。

【０１９２】次に、ｈ２ｒ２−ＮＮが予測する隠れ変数
ベクトルｈ₍₀₎ ＝（０，０）、ベクトルｈ₍₁₎ ＝（１，
０）、ベクトルｈ₍₂₎ ＝（０，１）、ベクトルｈ₍₃₎ ＝
（１，１）に対する確率密度を、それぞれ図３３、３
４、３５、３６に示す。これらの図から、各区間の様相
はそれぞれ１つの隠れ変数ベクトルでほぼ完全に表現で
きていることが分かる。Ｎ（１，１）が支配する区間に
対してはベクトルｈ₍₂₎が対応し、また、Ｎ（−１，
１）の区間に対してはベクトルｈ₍₃₎ が対応する。した
がって、トレンドが入力荷重により分散表現されている
ことが分かる。以上のことから、ｈ２ｒ１−ＮＮに比べ
て、ｈ２ｒ２−ＮＮの方が予測フィルタとしての性質を
より多く満足していると考えられる。

【０１９３】図３７、３８は、特別なテストデータとそ
れに対するｈ２ｒ１−ＮＮとｈ２ｒ２−ＮＮとによる予
測結果を示している。各ＣＳＳＲＮＮのパラメータとし
ては、それぞれ図２５、３２に示したものを用いた。こ
のテストデータは、｛−１．０，−０．５，−０．２，
−０．１，０．０，０．１，０．２，０．５，１．０｝
のいずれかの値がある程度続いた後、不連続に切り替わ
るパターンを表している。そして、それらの値の組み合
わせを適宜決めることにより生成されている。この実験
の目的は、文脈層の回帰係数（レジスタ係数）としきい
値の役割を明らかにすることである。すなわち、最適パ
ラメータのＣＳＳＲＮＮにおいて、入力ｘ^(t) に対する
様相の変化およびトレンドの切り替わりを定性的に把握
することが狙いである。図３７、３８において、黒塗り
の四角形がテストデータを表し、白抜きの四角形がｈ２
ｒ１−ＮＮによる予測値を表し、白抜きの丸がｈ２ｒ２
−ＮＮによる予測値を表す。

【０１９４】テストデータの全区間（時間軸をｔとし
て、ｔ∈［１，２，．．．，２３０］）において、全体
的な傾向として、ｈ２ｒ１−ＮＮに比べてｈ２ｒ２−Ｎ
Ｎの方がトレンドからの変位（変差）の大きなデータに
対して鈍感であり、トレンドの切り替わりに対する追従
の速さに遅れがある。

【０１９５】図３７のｔ∈［１，．．．，３０］におい
ては、Ｎ（１，１）またはＮ（−１，１）の平均値をト
レンドとして推定している状態で、分散１を越える変位
のデータが突然入った場合、以後の予測がどのように変
化するかを調べるためにテストデータを構成した。例え
ば、Ｎ（１，１）の平均値１をトレンドと推定している
状態で、その予測から外れてＮ（−１，１）の平均値−
１の値に近い入力ｘ^{(t )} ＝−０．５が突然入った場合、
ｈ２ｒ１−ＮＮの予測値もｈ２ｒ２−ＮＮの予測値も僅
かに揺らぐだけである。その予測値の乱れは、若干、ｈ
２ｒ１−ＮＮの方が大きい。Ｎ（−１，１）の平均値−
１をトレンドとして推定している状態で、Ｎ（１，１）
の平均値１の値に近い入力ｘ^(t) ＝０．５が突然入った
場合についても同様である。ｈ２ｒ１−ＮＮ、ｈ２ｒ２
−ＮＮの内部状態Ｏ^(t,1) バー、Ｏ^(t,2) バーから決ま
るそれぞれの様相は、トレンドからの変差が分散を越え
るような入力が３個程度含まれても現状を保持する。

【０１９６】ｔ∈［３１，．．．，６０］においては、
現在の予測がトレンドと一致しているものとして、トレ
ンドそのものではないが、その周辺の値、つまり分散よ
りも小さな変位の値が連続して入力された場合、予測が
どのように変化したかを調べるためにデータを構成し
た。この場合、ｈ２ｒ１−ＮＮ、ｈ２ｒ２−ＮＮともに
予測値に変動は見られない。この区間では、内部状態Ｏ
^(t,1) バー、Ｏ^(t,2) バーの変化による様相の変化はほ
とんど生じないと考えられる。

【０１９７】ｔ∈［６１，．．．，１００］において
は、現在の予測がトレンドと一致しているものとして、
平均値から分散以内の変差を持った入力が連続している
状態で、分散の２倍の変差を持ったデータが突然入力さ
れた場合を考える。これは、揺らぎや異常値を模したデ
ータが入力された後の予測の変動を調べるためである。
予測値にはある程度の乱れが生じ、入力の変化の影響が
僅かながら持続する。ｈ２ｒ１−ＮＮに比べてｈ２ｒ２
−ＮＮの方が、影響は残らないことが読みとれる。内部
状態Ｏ^(t,1) バー、Ｏ^(t,2) バーが変化し、それらの変
化は様相の変化として現れている。このとき、予測密度
関数のピークの移動は小さいが、ガウス密度関数に比べ
ると予測密度関数のすそは広がる傾向にある。

【０１９８】図３８のｔ∈［１０１，．．．，１５０］
においては、現在の予測がトレンドと一致しているもの
として、変差が分散よりも大きく、分散の２倍以下であ
るようなデータが連続して入力される場合の予測の変化
を調べた。予測の変動は、ｈ２ｒ１−ＮＮとｈ２ｒ２−
ＮＮではかなり異なっている。現在のトレンドを−１と
して入力ｘ^(t) ＝０．５を選び、その値を連続的に入力
し続けた場合、予測密度関数は徐々にＮ（１，１）に近
い形に変化する。ｈ２ｒ１−ＮＮでは連続的かつ直線的
に変化している。一方、ｈ２ｒ２−ＮＮでは指数関数的
に急激に変化してＮ（−１，１）に近い形からＮ（１，
１）に変化する。ｈ２ｒ１−ＮＮに比べてｈ２ｒ２−Ｎ
Ｎでは、様相の保持が強固であることが分かる。

【０１９９】ｔ∈［１５１，．．．，２３０］において
は、内部状態の変化が様相の変化としてほとんど現れな
いという意味で保守的であることを示している。ここで
の入力はトレンドに対して分散を越える変差を持つデー
タではあるが、先の区間で用いられたデータよりも変差
の小さいものを用いた。ｈ２ｒ１−ＮＮでは予測密度関
数のピークが連続的に移動するが、ｈ２ｒ２−ＮＮでは
全く動かないといえる。ｈ２ｒ２−ＮＮにおいて、入力
の変差が分散を越える大きさであっても、更新された内
部状態の変化が様相の変化としてほとんど現れていな
い。

【０２００】以上、簡単にまとめると、（２５）式で生
成されたデータに対して適切なパラメータを選択すると
き、平均値が一定に保たれている各区間において、ＣＳ
ＳＲＮＮのその区間における様相が、入力の変動に関わ
らず、できるかぎり保存されるようなパラメータが選ば
れている。このような様相の保存という要求がある一方
で、様相の切り替えを的確に行うという要求にも答えな
ければならない。したがって、文脈層のレジスタに割り
付ける重みベクトルｕ_j としきい値θ_j として、ＣＳＳ
ＲＮＮの様相が保守的になり、かつ、様相から様相への
遷移では中間的な様相を経由しないような値を選択する
ことができればよい。それらの値は、適当な個数のレジ
スタを持つＣＳＳＲＮＮにおいて、負値対数尤度を最小
にするパラメータを探索することによって得られる。

【０２０１】ＣＳＳＲＮＮの予測分布は、入力および隠
れ素子の過去の出力に応じて、２つのトレンドに対応す
る主な２つの様相の間を移り合う。様相間の切り替えは
揺らぎに対しては保守的であると同時に、実際の切り替
えに対しては不連続的に対処するように、しきい値およ
びレジスタの重み係数が選ばれている。

【０２０２】次に、レジスタの個数について考えてみ
る。様相の切り替えを的確に行うという要求に加えて、
計算効率という点も考えて文脈層の大きさを考える必要
がある。多数のレジスタを持つＣＳＳＲＮＮを予測フィ
ルタとして用いる場合、適切なパラメータを選択する時
の困難さやトレンドの切り替え時の動作遅れなど好まし
くない側面が浮かび上がる。レジスタの個数を増やせば
負値対数尤度を小さくすることはできるが、予測値が時
系列に引きずられるため予測フィルタとしては適切では
ない。したがって、時系列に対してレジスタの個数を適
切に算定する必要がある。そこで、単純なヒューリステ
ィクスとして、形式的に情報量基準を援用し、レジスタ
の個数（文脈層の深さ）の適切さを計算する方法を導入
する。

【０２０３】ここでは、（２５）式によって生成された
時系列Ｓに対して、いくつかのｈ２ｒｓ−ＮＮ（１≦ｓ
≦５）の形式的情報量基準 ２×（負値対数尤度）＋２×（隠れ素子１つ当たりのレ
ジスタの個数） を計算する。その結果は図３９に示されている。

【０２０４】図３９から、分布のすそが重なる領域に出
現するデータや異常値に対して各区間に対応する様相を
保存するには、予測レジスタの個数を２個として過去２
単位時間の出力を保存すれば十分であることが分かる。
レジスタが２個以上のＣＳＳＲＮＮでは、レジスタ数の
増加に伴う負値対数尤度の変化は小さい。また、トレン
ドの予測値の形状に大きな差が見られないことや、レジ
スタの個数が増えると逆にＣＳＳＲＮＮのトレンドの予
測がテストデータに引きずられる傾向があることなどを
実験的に確かめることができる。このような形式的情報
量基準を用いる評価方法は、（２５）式のような構造の
情報源に対する予測フィルタを構成するという目的に合
致したヒューリスティクスと考えられる。

【０２０５】以上の実験および考察より、ＣＳＳＲＮＮ
による予測フィルタの内部表現と時系列データの関係に
ついて次のような結論が得られた。 （ｅ）ＣＳＳＲＮＮにおいて、予測密度関数ｐ（ベクト
ルｘ^(t) ｜Φ，Ｏ^(t,s)バー）が隠れ変数ベクトルｈ
_(i) の予測分布Ｐ（ベクトルｈ_(i) ｜Φ，Ｏ^(t,s)バ
ー）を重みとするガウス密度関数Ｎ（Σｈ_ij・ベクトル
ｗ_j ，１）の線形結合で表現される。基底となるガウス
密度関数の平均値は、隠れ変数ベクトルと隠れ素子の入
力重みベクトルｗ_j とにより決まり、Σｈ_ij・ベクトル
ｗ_j となる。したがって、予測密度関数の形状は、隠れ
変数ベクトルが確率的に重合した状態（様相）と入力重
みベクトルとにより決まる。 （ｆ）時系列Ｓに対してＣＳＳＲＮＮの最適なパラメー
タとは、ＣＳＳＲＮＮによって表現可能な予測密度関数
列の中から尤もらしい関数列を生成するものである。ゆ
えに、最適なパラメータのＣＳＳＲＮＮでは、時系列Ｓ
の持っている性質（確率的な構造）が様相の重率に反映
される。 （ｇ）時系列Ｓが平均値移動型のガウス密度関数によっ
て生成される場合、ＣＳＳＲＮＮは時系列Ｓの背後にあ
るトレンドの切り替えなどの法則性を相異なる様相から
様相への遷移として表現する。時系列Ｓそれ自体は、様
相の列によって指定された予測密度関数列に従うものと
見倣される。 （ｈ）時系列のトレンドが、様相の主項となる隠れ変数
ベクトルに対応するガウス密度関数基底Ｎ（Σｈ_ij・ベ
クトルｗ_j ，１）のピークと数値的にほぼ一致し、か
つ、主項の重率が１．０に近ければ、トレンドの値はＣ
ＳＳＲＮＮの入力荷重Σｈ_ij・ベクトルｗ_j により分散
表現される。 （ｉ）作動中のＣＳＳＲＮＮでは、予測密度関数は、入
力および隠れ素子の過去の出力に応じて、複数のトレン
ドに対応する主な複数の様相間を移り合う。平均値移動
型ガウス密度関数に対する予測フィルタとしては、様相
間の切り替えが揺らぎに対して保守的であると同時に、
それが不連続的に実施されることが要求される。したが
って、内部状態の変動が様相の変動に可能な限り影響し
ないという条件で、可能な限り内部状態の変動の許容範
囲を広げるように、しきい値およびレジスタの重み係数
が選ばれなければならない。このとき、評価関数 merit
（Ｓ｜Φ）を数値的に最適化することで、要求を満たす
パラメータが見つかる。 （ｊ）予測フィルタを実現するために、ＣＳＳＲＮＮの
大きさ（隠れ素子の個数とレジスタの個数）を適切に選
択する必要がある。平均値移動型ガウス密度関数に対し
て、形式的情報量基準を用いて文脈層の深さ（レジスタ
の個数）および各パラメータの値を定めると、適切な予
測フィルタを構成することができる。

【０２０６】上述した実施形態から分かるように、本発
明の時系列トレンド推定システムは、不連続に急変する
トレンドを的確にトレースすることができる。したがっ
て、次のような非定常非線形の時系列解析を必要とする
分野において、高速で的確なトレンドの推定に利用でき
る。 ♯１：コンピュータ・ネットワークの資源管理 ネットワーク・トラフィックやネットワーク全体のＣＰ
Ｕ負荷を、時系列データとして推定することができる。
また、利用可能なメモリ量を用いてネットワークの利用
度をモデル化し、利用度の変化を推定することができ
る。

【０２０７】ネットワーク・トラフィックなどの時間的
に変化する測定量からネットワークの状態を予測するこ
とにより、ネットワークの資源を適切に制御することが
できる。特に、測定量が区分的に定常であって、各区間
毎に不連続に変化するトレンドを含む場合でも、ネット
ワークの状態が的確に予測される。 ♯２：生体信号処理 脳波による睡眠ステージの個人別のモデル化を行い、睡
眠障害の予測を行うことができる。また、心電による個
人別の負荷モデルを作成し、身体の異常の予測を行うこ
とができる。

【０２０８】

【発明の効果】本発明によれば、再帰型ニューラルネッ
トワークの内部状態と時系列データとの関係が明確にな
り、その関係を用いて時間的に不連続に変化する時系列
のトレンドを効率的に推定することが可能になる。

【図面の簡単な説明】

【図１】本発明の原理図である。

【図２】時系列トレンド推定処理のフローチャートであ
る。

【図３】実施形態のシステム構成図である。

【図４】実施形態の計算機システムの構成図である。

【図５】ネットワーク学習装置の構成図である。

【図６】２次元のパラメータセットの初期値シンプレッ
クスを示す図である。

【図７】予測装置の構成図である。

【図８】ニューラル素子を示す図である。

【図９】目標関数評価装置の構成図である。

【図１０】正規化係数算定装置の構成図である。

【図１１】確率密度算定装置の構成図である。

【図１２】トレンド推定システムの処理フローチャート
である。

【図１３】学習装置の処理フローチャートである。

【図１４】予測装置の処理フローチャートである。

【図１５】跳躍型トレンドの時系列を示す図である。

【図１６】ｈ２ｒ１のニューラルネットワークによる予
測結果を示す図である。

【図１７】ｈ２ｒ１０のニューラルネットワークによる
予測結果を示す図である。

【図１８】異常値を含む時系列を示す図である。

【図１９】異常値を含む場合のｈ２ｒ１のニューラルネ
ットワークによる予測結果を示す図である。

【図２０】異常値を含む場合のｈ２ｒ１０のニューラル
ネットワークによる予測結果を示す図である。

【図２１】異常値を含む場合のｈ１０ｒ１０のニューラ
ルネットワークによる予測結果を示す図である。

【図２２】テスト用の時系列を示す図である。

【図２３】ｈ２ｒ１のニューラルネットワークによる予
測値を示す図である。

【図２４】ｈ２ｒ１のニューラルネットワークによる予
測分布を示す図である。

【図２５】ｈ２ｒ１のニューラルネットワークの最適パ
ラメータセットの例を示す図である。

【図２６】ｈ２ｒ１のニューラルネットワークにおける
隠れ変数ベクトル（０，０）の確率密度を示す図であ
る。

【図２７】ｈ２ｒ１のニューラルネットワークにおける
隠れ変数ベクトル（１，０）の確率密度を示す図であ
る。

【図２８】ｈ２ｒ１のニューラルネットワークにおける
隠れ変数ベクトル（０，１）の確率密度を示す図であ
る。

【図２９】ｈ２ｒ１のニューラルネットワークにおける
隠れ変数ベクトル（１，１）の確率密度を示す図であ
る。

【図３０】ｈ２ｒ２のニューラルネットワークによる予
測値を示す図である。

【図３１】ｈ２ｒ２のニューラルネットワークによる予
測分布を示す図である。

【図３２】ｈ２ｒ１のニューラルネットワークの最適パ
ラメータセットの例を示す図である。

【図３３】ｈ２ｒ２のニューラルネットワークにおける
隠れ変数ベクトル（０，０）の確率密度を示す図であ
る。

【図３４】ｈ２ｒ２のニューラルネットワークにおける
隠れ変数ベクトル（１，０）の確率密度を示す図であ
る。

【図３５】ｈ２ｒ２のニューラルネットワークにおける
隠れ変数ベクトル（０，１）の確率密度を示す図であ
る。

【図３６】ｈ２ｒ２のニューラルネットワークにおける
隠れ変数ベクトル（１，１）の確率密度を示す図であ
る。

【図３７】２つのニューラルネットワークの予測結果を
示す図（その１）である。

【図３８】２つのニューラルネットワークの予測結果を
示す図（その２）である。

【図３９】レジスタの個数と形式的情報基準の例を示す
図である。

【符号の説明】

１ 入力手段 ２ ニューラルネットワーク手段 ３ 予測値生成手段 ４ 出力手段 １１ 制御装置 １２ 表示・対話装置 １３ システム管理装置 １４ 学習装置 １５ 観測装置 １６ ネットワーク学習装置 １７ 予測装置 １８ 非線形方程式求解装置 １９ コラム構造再帰型ニューラルネットワーク ２１ ＣＰＵ ２２ メモリ ２３ 入出力端末 ２４ バス ３１ アニーリング制御装置 ３２ パラメータ精錬装置 ３３ 評価関数算定装置 ４１ 零点算定装置 ４２ 予測値選択装置 ４３ 目標関数評価装置 ４４ 正規化係数算定装置 ４５ 確率密度算定装置 ５１−１，５１−２，５１−ｍ，５１−ｊ ニューラル
素子（隠れ素子） ５２−１−１，５２−１−２，５２−１−ｓ，５２−２
−１，５２−２−２，５２−２−ｓ，５２−ｍ−１，５
２−ｍ−２，５２−ｍ−ｓ レジスタ ６１，７１，８１ 内部状態情報変換器 ６２−１，６２−２，６２−ｍ，６４，６５，７２−
１，７２−２，７２−ｍ，７７，８２−１，８２−２，
８２−ｍ 加算器 ６３−１，６３−２，６３−ｍ ロジスティック関数演
算器 ７３ ２値ベクトル生成器 ７４ ベクトル乗算器 ７５ ベクトル加算器 ７６，８６ ノルム算定器 ７８，８３−１，８３−２，８３−ｍ，８５ 指数関数
計算器 ７９ 累積型加算器 ８０ 逆数演算器 ８４ 乗算器

Claims (18)

【特許請求の範囲】
1. 【請求項１】 時間的に変化するデータの変化トレンド
   を推定する情報処理装置において、 時系列データを入力する入力手段と、 文脈層を有するコラム構造の再帰型ニューラルネットワ
   ークを含み、過去の時系列データに関する情報を含む内
   部状態を出力するニューラルネットワーク手段と、 前記内部状態を用いて予測値の候補の出現確率を求め、
   最も確率の高い候補を予測値として求める予測値生成手
   段と、 前記予測値を未知データの推定結果として出力する出力
   手段とを備えることを特徴とする時系列トレンド推定シ
   ステム。
2. 【請求項２】 前記ニューラルネットワーク手段は、デ
   ータの特定の確率分布が選択される確率に関する情報を
   表す前記内部状態を出力することを特徴とする請求項１
   記載の時系列トレンド推定システム。
3. 【請求項３】 与えられた時系列データを学習し、前記
   再帰型ニューラルネットワークの最適パラメータを生成
   して前記ニューラルネットワーク手段に与える学習手段
   をさらに備え、 前記ニューラルネットワーク手段は、前記最適パラメー
   タを用いて前記内部状態を計算するように構成されるこ
   とを特徴とする請求項１記載の時系列トレンド推定シス
   テム。
4. 【請求項４】 前記学習手段は、前記再帰型ニューラル
   ネットワークのパラメータの任意の値と前記与えられた
   時系列データとから評価関数を計算し、該評価関数の値
   が最適となるようなパラメータを前記最適パラメータと
   するように構成されることを特徴とする請求項３記載の
   時系列トレンド推定システム。
5. 【請求項５】 前記再帰型ニューラルネットワークは、
   前記時系列データを入力とするニューラル素子と、該ニ
   ューラル素子の過去における出力履歴を時間の序列を保
   って保持する文脈層のシフトレジスタとを含むコラムを
   複数備え、該シフトレジスタの出力は同じコラム内のニ
   ューラル素子に再帰的に入力されるように構成されるこ
   とを特徴とする請求項１記載の時系列トレンド推定シス
   テム。
6. 【請求項６】 前記再帰型ニューラルネットワークは、
   前記時系列データを入力とするニューラル素子と該ニュ
   ーラル素子の過去における出力履歴を保持する文脈層の
   レジスタとを含むコラムを複数備え、該レジスタの出力
   は同じコラム内のニューラル素子に再帰的に入力される
   ように構成されることを特徴とする請求項１記載の時系
   列トレンド推定システム。
7. 【請求項７】 前記予測手段は、時系列データの不連続
   なトレンドの離散性を表現する離散変数を前記ニューラ
   ル素子に割り付け、該離散変数と前記内部状態により表
   現されるエネルギー関数から定義される確率分布関数を
   生成し、該確率分布関数を用いて前記予測値を求めるよ
   うに構成されることを特徴とする請求項６記載の時系列
   トレンド推定システム。
8. 【請求項８】 前記予測手段は、前記離散変数の確率分
   布を重みとして複数のガウス分布関数を合成した前記確
   率分布関数を生成するように構成されることを特徴とす
   る請求項７記載の時系列トレンド推定システム。
9. 【請求項９】 前記予測手段は、前記内部状態を用いて
   複数のガウス分布関数の合成となる確率分布関数を生成
   し、該確率分布関数を用いて前記予測値を求めるように
   構成されることを特徴とする請求項１記載の時系列トレ
   ンド推定システム。
10. 【請求項１０】 前記予測手段は、該内部状態が更新さ
    れることにより時間によって形状を変える確率分布関数
    の列を生成し、該確率分布関数の列から時間的に変化す
    る予測値の列を生成するように構成されることを特徴と
    する請求項９記載の時系列トレンド推定システム。
11. 【請求項１１】 前記予測手段は、前記内部状態と前記
    再帰型ニューラルネットワークのパラメータとから決め
    られる予測方程式の解を、前記予測値の候補とするよう
    に構成されることを特徴とする請求項１記載の時系列ト
    レンド推定システム。
12. 【請求項１２】 前記予測手段は、前記内部状態と前記
    再帰型ニューラルネットワークのパラメータとにより記
    述される目標関数の零点を求める零点算定手段を備え、
    該零点に対応するデータ値を前記予測値の候補とするよ
    うに構成されることを特徴とする請求項１１記載の時系
    列トレンド推定システム。
13. 【請求項１３】 前記予測手段は、前記零点の近傍にお
    ける前記目標関数の値を前記内部状態から計算して前記
    零点算定手段に与える目標関数評価手段をさらに備える
    ことを特徴とする請求項１２記載の時系列トレンド推定
    システム。
14. 【請求項１４】 前記予測手段は、前記予測値の候補と
    前記内部状態とからデータの確率分布関数の値を計算す
    る確率算定手段をさらに備えることを特徴とする請求項
    １１記載の時系列トレンド推定システム。
15. 【請求項１５】 前記再帰型ニューラルネットワーク
    は、ニューラル素子を含む複数のコラムを備え、前記予
    測手段は、該ニューラル素子に割り付けられた離散変数
    を用いて前記確率分布関数の正規化係数を計算する正規
    化係数算定手段をさらに備え、前記確率算定手段は、該
    正規化係数算定手段が求めた該正規化係数を用いて前記
    確率分布関数の値を計算するように構成されることを特
    徴とする請求項１４記載の時系列トレンド推定システ
    ム。
16. 【請求項１６】 前記複数の予測値の候補を前記確率算
    定手段に与えて、対応する前記確率分布関数の複数の値
    を受け取り、該複数の値の中で最大値に対応する候補を
    前記予測値として選ぶ予測値選択手段をさらに備えるこ
    とを特徴とする請求項１４記載の時系列トレンド推定シ
    ステム。
17. 【請求項１７】 時間的に変化するデータの変化トレン
    ドを推定する情報処理装置における記憶媒体であって、 時系列データを入力する入力手段と、 文脈層を有するコラム構造の再帰型ニューラルネットワ
    ークを含み、過去の時系列データに関する情報を含む内
    部状態を出力するニューラルネットワーク手段と、 前記内部状態を用いて予測値の候補の出現確率を求め、
    最も確率の高い候補を予測値として求める予測値生成手
    段と、 前記予測値を未知データの推定結果として出力する出力
    手段とを備えることを特徴とする記憶媒体。
18. 【請求項１８】 時間的に変化するデータの変化トレン
    ドを推定する方法において、 文脈層を有するコラム構
    造の再帰型ニューラルネットワークを用いて、過去の時
    系列データに関する情報を含む内部状態を求め、 前記内部状態を用いて予測値の候補の出現確率を求め、 最も確率の高い候補を未知データの予測値とすることを
    特徴とする時系列トレンド推定方法。