JP5023325B2 - リカレントニューラルネットワークを用いた不規則時系列データの学習・予測方法 - Google Patents

Description

本発明は、リカレントニューラルネットワークを用いた不規則時系列データの学習・予測方法及び装置並びに該学習・予測方法を用いた気象予測方法に関するものである。

カオス現象は、１９６３年に気象学者であるＬｏｒｅｎｚによって発見された（Ｅ．Ｎ．Ｌｏｒｅｎｚ，”Ｄｅｔｅｒｍｉｎｉｓｔｉｃ Ｎｏｎｐｅｒｉｏｄｉｃ Ｆｌｏｗ”，Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｔｍｏｓｐｈｅｒｉｃ Ｓｃｉｅｎｃｅｓ，Ｖｏｌ．２０，ｐｐ．１３０−１４１，Ｍａｒｃｈ， １９６３．）。カオス現象の大きな特徴は、不規則かつ複雑に振舞う現象でありながら、その振る舞いは決定論的であり、初期値に対して鋭敏に依存することである。カオス的振る舞いは数理モデルの中の現象だけに留まらず、流体系における乱流や地球を取り巻く大気変動等の自然現象にも見出されている（合原一幸編著，”カオス”，サイエンス社，１９９０．）。カオス的振る舞いを行う現象は、その決定論的性質から、その裏に隠されたダイナミクスを見出すことさえできれば、現象の完全な予測を行うことができ、多大な恩恵を受けることができると考えられるが、その初期値鋭敏性により、微小の誤差が時間とともに指数関数的に拡大してしまう為に、長期に亘る予測は困難である。

カオス時系列すなわち不規則時系列データは、本質的に長期的な予測を行うことは不可能である。しかしながら、カオス時系列（不規則時系列データ）を出来得る限り長期に渡り高精度で予測を行うという試みは、以前より行われている。カオス時系列の将来予測を最も最初に行ったのは、先にも述べたＬｏｒｅｎｚである。Ｌｏｒｅｎｚは気象データに関して類推法と呼ばれる手法を用いてカオス時系列の予測を行っている（非特許文献１）。この手法については、期待される結果は得られなかったものの、カオス時系列に対して局所線形モデルを当てはめるという非線形予測手法の最初の例とされている。

また、非線形予測手法の一つとして、ニューラルネットワークを用いた予測手法がある。ニューラルネットワークによるカオス時系列（不規則時系列データ）の予測は、１９８７年に、ＬａｐｅｄｅｓとＦａｒｂｅｒらによって行われた（非特許文献２）。この試みからは、フィードフォワード型のニューラルネットワークに誤差逆伝搬法を適用することによってカオス時系列（不規則時系列データ）の予測を行い、短期においては比較的良い精度で予測することが可能であることが分かっている。

また株価、為替、交通量などの不規則時系列データの予測に関して、特開平４−２２０７５８号公報（特許文献１）に記載の発明では、ニューラルネットワークに、学習用の時系列データとこの時系列データに対する出力データとを与えて予め学習を行う。そして学習をしたニューラルネットワークを用いて、入力される時系列データの任意の時間先のデータを予測する。特開平１１−２１２９４７号公報（特許第３５６７０７３号）［特許文献２］、 特開平５−８１２２８号公報（特許第３２１４８７６号）［特許文献３］、特開２００１−３２５５８２号公報［特許文献４］等にも、ニューラルネットワークを用いた時系列データの学習・予測方法及び装置に関する技術が開示されている。さらに特開平９−１２８３５９号公報［特許文献５］及び特開平７−８４９７４号公報［特許文献６］には、リカレントニューラルネットワークの学習方法に関する技術が開示されている。また特開平６−３４７５６３号公報［特許文献７］には、ニューラルネットを利用して気象を予測する技術が開示されている。
Ｅ．Ｎ．Ｌｏｒｅｎｚ，"Ａｔｏｍｏｓｐｈｅｒｉｃ Ｐｒｅｄｉｃｔａｂｉｌｉｔｙ ａｓ Ｒｅｖｅａｌｅｄ ｂｙ Ｎａｔｕｒａｌｌｙ Ｏｃｃｕｒｒｉｎｇ Ａｎａｌｏｇｕｅｓ"，Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｔｍｏｓｐｈｅｒｉｃ Ｓｃｉｅｎｃｅｓ，Ｖｏｌ．２６，ｐｐ．６３６−６４６，Ｊｕｌｙ，１９６９． Ａ．Ｌａｐｅｄｅｓ，Ｒ．Ｆａｒｂｅｒ，"Ｈｏｗ Ｎｅｕｒａｌ Ｎｅｔｓ Ｗｏｒｋ"Ａｍｅｒｉｃａｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｐｈｙｓｉｃｓ，ｐｐ．４４２−４５６，１９８８． 特開平４−２２０７５８号公報 特開平１１−２１２９４７号公報 特開平５−８１２２８号公報 特開２００１−３２５５８２号公報 特開平９−１２８３５９号公報 特開平７−８４９７４号公報 特開平６−３４７５６３号公報

しかしながら従来提案されているリカレントニューラルネットワークを用いた不規則時系列データの学習・予測技術では、実際に予測を行った場合の予測精度が必ずしも高いとはいえない。

本発明の目的は、従来よりも不規則時系列データの予測精度を高めることができるリカレントニューラルネットワークを用いた不規則時系列データの学習・予測方法及び装置を提供することにある。

本発明の他の目的は、従来より予測精度の高い気象予測方法を提供することにある。

本発明のリカレントニューラルネットワークを用いた不規則時系列データの学習・予測方法は、リカレントニューラルネットワークを準備する準備ステップと、学習ステップと、予測用モデル構築ステップと予測ステップとから構成される。準備ステップで準備するリカレントニューラルネットワークは、入力層と、１以上の中間層と、出力層と、帰還路と、規格化手段とを備えている。入力層は、ｒ個（ｒは２以上の整数でフラクタル次元から定められた予測可能なデータの数）の不規則時系列データ（株価、気象情報、為替等の時系列データ）がそれぞれ入力されるｒ個のニューロンからなる第１のニューロン群と、前記ｒ個の不規則時系列データに続く別のｒ個の不規則時系列データがそれぞれ入力されるｒ個のニューロンからなる第２のニューロン群とを備えている。また１以上の中間層は、ｑ（ｑは２以上の整数）個のニューロンからなる第３のニューロン群を備えている。そして出力層は、ｒ個のニューロンからなる第４のニューロン群を備えている。また帰還路は、出力層の第４のニューロン群を構成するｒ個のニューロンの出力を第２のニューロン群を構成するｒ個のニューロンにそれぞれ帰還する。そして規格化手段は、第２のニューロン群を構成するｒ個のニューロンの入力側に配置されて入力を規格化する。

学習ステップでは、過去に集めた多数組の２ｒ個の不規則時系列データを入力層に入力する。多数組の２ｒ個の不規則時系列データとは、例えば不規則時系列データが気象情報であるとすると、測定地点で定期的に（例えば毎日）測定した降雪量や雨量等が不規則時系列データとなる。例えば予測対象が降雪量であれば、多数組の２ｒ個の不規則時系列データは、例えばある測定地点における連続する１０日間の降雪量データ（ｒ個の不規則時系列データ）と、この１０日間に連続する次の１０日間の降雪量データ（次のｒ個の不規則時系列データ）である。そして多数組の２ｒ個の不規則時系列データは、起算日を１日ずつずらして得る連続した２０日分の不規則時系列データの組である。

このような多数組の２ｒ個の不規則時系列データを入力層に順次入力して、出力層に前述の次のｒ個の不規則時系列データが出力されれば、予測は完璧なものとなる。そこで学習ステップでは、第２のニューロン群に入力されるｒ個の不規則時系列データと出力層の第４のニューロン群を構成するｒ個のニューロンの出力とが近づくように、リカレントニューラルネットワークの内部状態を決定する。

例えば、学習ステップでは、学習方法として誤差逆転伝播法を用いて、内部状態の結合荷重としきい値とについて学習を行うことが好ましい。これらのパラメータについて学習を行うと、学習結果がより好ましいものとなり、その結果得られる学習済みのニューラルネットの内部状態は、下記の式で表される。

ただし上記

は、学習済みニューラルネットワークの結合荷重であり、
上記

は学習済みニューラルネットワークのしきい値であり、
上記

は、学習済みニューラルネットワークの出力であり、ｋは記憶定数で０以上で１未満の値をとるパラメータである。

そして予測用モデル構築ステップでは、第１のニューロン群だけを有する入力層と、第３のニューロン群を有する１以上の中間層と、第４のニューロン群を有する出力層とを備えて、学習ステップにより決定した内部状態を有する学習済みニューラルネットワークを予測用モデルとして構築する。このような学習済みニューラルネットワークを予測用モデルとして用いる予測ステップでは、予測用モデルの入力層に直近のｒ個の不規則時系列データを入力して該直近のｒ個の不規則時系列データに続くｒ個の不規則時系列データを予測する。

特に本発明では、入力層に含まれる第１のニューロン群と第２のニューロン群とを構成する２ｒ個のニューロンの活性化関数として単調関数を用いる。ここで単調関数とは、単調増加関数と単調減少関数とを総称した関数である。また１以上の中間層に含まれる第３のニューロン群を構成するｑ個のニューロンの活性化関数として正弦波関数を用いる。さらに出力層に含まれる第４のニューロン群を構成するｒ個のニューロンの活性化関数として正弦波関数を用いる。一般的なニューラルネットのニューロンにおける活性化関数として正弦波関数を用いることは発明者が先に提案している。しかしながらリカレントニューラルネットワークにおける中間層及び出力層で用いるニューロンの活性化関数として、正弦波関数を用いると、不規則時系列データの学習と予測の精度が格段に高くなることを、発明者は発見した。本発明は、この発見を基礎とするものであり、従来、全く考えられていなかった新しい技術的思想である。リカレントニューラルネットワークにおける中間層及び出力層で用いるニューロンの活性化関数として、正弦波関数を用いた場合において、学習精度と予測精度が高くなる理由は、理論的にはまだ明確には解明されていない。しかしながら実験によると、このような構成を採用すると、従来法に比べて、格段に優れた予測結果が得られることが分かった。

なお入力層で用いられる２ｒ個のニューロンの活性化関数として下記の単調関数を用いるのが好ましい。

ただし上記式中の

は学習パターンｐに対するｉ番目のニューロン（ｒ個のニューロンの一つ）の離間時間ｎにおける内部状態であり、上記εは温度パラメータである。

また中間層で用いられるｑ個のニューロンと出力層で用いられるｒ個のニューロンの活性化関数として用いられる正弦波関数は、下記式で表されるものを用いることができる。

ただし上記式中の

は学習パターンｐに対するｑ個のニューロンとｒ個のニューロンのｉ番目のニューロン（ｑ個のニューロンの一つまたはｒ個のニューロンの一つ）の離散時間ｎにおける内部状態である。

本発明の方法は、各種の不規則時系列データの予測に使用可能である。特に、 不規則時系列データとして、測定地点の気象情報を対象とする場合には、リカレントニューラルネットワークを用いて測定地点の気象情報を学習し、その学習結果に基づいて測定地点の気象を予測することになる。この場合にも、本発明は優れた効果を発揮することが確認されている。この場合には、測定地点において過去に集めた降雪量、雨量、温度、湿度等の気象情報の一つに関する多数組の２ｒ個の不規則時系列データを入力層に入力して学習を行う。そして予測ステップでは、測定地点における気象を予測する。

本発明の不規則時系列データの学習・予測装置では、学習時には、リカレントニューラルネットワークが、ｒ個（ｒは２以上の整数でフラクタル次元から定められた予測可能なデータの数）の不規則時系列データがそれぞれ入力されるｒ個のニューロンからなる第１のニューロン群と、ｒ個の不規則時系列データに続く別のｒ個の不規則時系列データがそれぞれ入力されるｒ個のニューロンからなる第２のニューロン群とを備えた入力層と、ｑ（ｑは２以上の整数）個のニューロンからなる第３のニューロン群を備えた１以上の中間層と、ｒ個のニューロンからなる第４のニューロン群を備えた出力層と、出力層の第４のニューロン群を構成するｒ個のニューロンの出力を第２のニューロン群を構成するｒ個のニューロンにそれぞれ帰還する帰還路と、第２のニューロン群を構成するｒ個のニューロンの入力側に配置されて入力を規格化する規格化手段とを備え、過去に集めた多数組の２ｒ個の不規則時系列データを前記入力層に入力して、第２のニューロン群に入力されるｒ個の不規則時系列データと出力層の第４のニューロン群を構成するｒ個のニューロンの出力とが近づくように、リカレントニューラルネットワークの内部状態が決定されている。

また予測時には、リカレントニューラルネットワークが、第１のニューロン群だけを有する入力層と、第３のニューロン群を有する１以上の中間層と、第４のニューロン群を有する出力層とを備えて、学習時に決定した内部状態を有する学習済みニューラルネットワークを構成する。

そして入力層に含まれる第１のニューロン群と第２のニューロン群とを構成する２ｒ個のニューロンの活性化関数として単調関数が用いられ、１以上の中間層に含まれる第３のニューロン群を構成するｑ個のニューロンの活性化関数として正弦波関数が用いられ、出力層に含まれる前記第４のニューロン群を構成する前記ｒ個のニューロンの活性化関数として正弦波関数が用いられている。本発明の装置では、学習済みニューラルネットの入力層に直近のｒ個の不規則時系列データを入力して該直近のｒ個の不規則時系列データに続くｒ個の不規則時系列データを予測する。

第２のタイプの発明では、不規則時系列データをフラクタル性を有する多数組みの２ｒ´個の揺らぎデータと揺らぎデータを含まない多数組の２ｒ個の平滑化データとに分けて学習と予測を行う。第２のタイプの発明は、不規則時系列データがカオス性を有しているとすれば、不規則時系列データにはフラクタル性を有する統計的ノイズが混在しているとの考えを基礎とする。そこで、不規則時系列データに平滑化の処理と揺らぎ成分の取り出しを行い、平滑化データと揺らぎデータとについて、それぞれ学習と予測を行うことにより、より予測精度を高める。

そこでまず第１のリカレントニューラルネットワークとして、ｒ個（ｒは２以上の整数でフラクタル次元から定められた予測可能なデータの数）の不規則時系列データがそれぞれ入力されるｒ個のニューロンからなる第１のニューロン群と、ｒ個の不規則時系列データに続く別のｒ個の不規則時系列データがそれぞれ入力されるｒ個のニューロンからなる第２のニューロン群とを備えた入力層と、ｑ（ｑは２以上の整数）個のニューロンからなる第３のニューロン群を備えた１以上の中間層と、ｒ個のニューロンからなる第４のニューロン群を備えた出力層と、出力層の第４のニューロン群を構成するｒ個のニューロンの出力を第２のニューロン群を構成するｒ個のニューロンにそれぞれ帰還する帰還路と、第２のニューロン群を構成するｒ個のニューロンの入力側に配置されて入力を規格化する規格化手段とを備え、入力層に含まれる第１のニューロン群と第２のニューロン群とを構成する２ｒ個のニューロンの活性化関数として単調関数が用いられ、１以上の中間層に含まれる第３のニューロン群を構成するｑ個のニューロンの活性化関数として正弦波関数が用いられ、出力層に含まれる第４のニューロン群を構成するｒ個のニューロンの活性化関数として正弦波関数を用いられたものを用意する。また第２のリカレントニューラルネットワークとして、ｒ´個（ｒ´は２以上の整数でフラクタル次元から定められた予測可能なデータの数）の時系列データがそれぞれ入力されるｒ´個のニューロンからなる第１のニューロン群と、ｒ´個の時系列データに続く別のｒ´個の時系列データがそれぞれ入力されるｒ´個のニューロンからなる第２のニューロン群とを備えた入力層と、ｑ´（ｑ´は２以上の整数）個のニューロンからなる第３のニューロン群を備えた１以上の中間層と、ｒ´個のニューロンからなる第４のニューロン群を備えた出力層と、出力層の第４のニューロン群を構成するｒ´個のニューロンの出力を第２のニューロン群を構成するｒ個のニューロンにそれぞれ帰還する帰還路と、第２のニューロン群を構成するｒ´個のニューロンの入力側に配置されて入力を規格化する規格化手段とを備え、入力層に含まれる第１のニューロン群と第２のニューロン群とを構成する２ｒ´個のニューロンの活性化関数として単調関数が用いられ、１以上の中間層に含まれる第３のニューロン群を構成するｑ´個のニューロンの活性化関数として正弦波関数が用いられ、出力層に含まれる第４のニューロン群を構成するｒ個のニューロンの活性化関数として正弦波関数を用いられたものを用意する（準備ステップ）。なおｒとｒ´及びｑとｑ´とは、処理の対象となるデータのフラクタル次元を考慮して定められるものであるが、ｒとｒ´またはｑとｑ´とが同じ値であってもよいのは勿論である。

そして過去に集めた多数組の２ｒ個の不規則時系列データから、多数組の２ｒ´個のフラクタル性を有する揺らぎデータと前記揺らぎデータを含まない多数組の２ｒ個の平滑化データとを作成する（基礎データ作成ステップ）。基礎データ作成ステップでは、例えば、多数組の２ｒ個の不規則時系列データについて移動平均を取ることにより多数組の２ｒ個の平滑化データとを作成することができる。また多数組の２ｒ個の不規則時系列データから多数組の２ｒ個の平滑化データを引くことにより、多数組の２ｒ個のフラクタル性を有する揺らぎデータを作成することができる。なお平滑化及び揺らぎ成分の取得方法は任意である。

まず本発明では、多数組の２ｒ個の平滑化データを入力層に入力して、第２のニューロン群に入力されるｒ個の平滑化データと出力層の第４のニューロン群を構成するｒ個のニューロンの出力とが近づくように、第１のリカレントニューラルネットワークの内部状態を決定する（第１の学習ステップ）。そして第１のニューロン群だけを有する入力層と、第３のニューロン群を有する１以上の中間層と、第４のニューロン群を有する出力層とを備えて、第１の学習ステップにより決定した内部状態を有する第１の学習済みニューラルネットワークを第１の予測用モデルとして構築する（第１の予測用モデル構築ステップ）。この第１の予測用モデルの入力層に直近のｒ個の平滑化データを入力して該直近のｒ個の平滑化データに続くｒ個の平滑化データを予測する（第１の予測ステップ）。

また多数組の２ｒ´個の揺らぎデータを入力層に入力して、第２のニューロン群に入力されるｒ´個の揺らぎデータと出力層の第４のニューロン群を構成するｒ´個のニューロンの出力とが近づくように、第２のリカレントニューラルネットワークの内部状態を決定する（第２の学習ステップ）。そして第１のニューロン群だけを有する入力層と、第３のニューロン群を有する１以上の中間層と、第４のニューロン群を有する出力層とを備えて、第２の学習ステップにより決定した内部状態を有する第２の学習済みニューラルネットワークを第２の予測用モデルとして構築する（第２の予測用モデル構築ステップ）。この第２の予測用モデルの入力層に直近のｒ´個の揺らぎデータを入力して該直近のｒ´個の揺らぎデータに続くｒ´個の揺らぎデータを予測する（第２の予測ステップ）。

本発明では、第１の予測ステップにより予測した平滑化データと第２の予測ステップで予測した揺らぎデータとを加算したデータに基づいて、直近のｒ´個の不規則時系列データに続くｒ´個の不規則時系列データを予測する。

第２のタイプの発明では、不規則時系列データを、カオス性を有する平滑化データと、カオス性を有さずフラクタル性を有する揺らぎデータとに分けて、それぞれ適切に予測を行うので、第１のタイプの発明と比べても、予測精度を高めることができる。

第１のタイプの発明によれば、入力層に含まれる第１のニューロン群と第２のニューロン群とを構成する２ｒ個のニューロンの活性化関数として単調関数を用い、また１以上の中間層に含まれる第３のニューロン群を構成するｑ個のニューロンの活性化関数として正弦波関数を用い、さらに出力層に含まれる第４のニューロン群を構成するｒ個のニューロンの活性化関数として正弦波関数を用いることにより、従来法に比べて、格段に優れた学習結果と予測結果が得られる利点がある。

また第２のタイプの発明によれば、第１の予測ステップにより予測した平滑化データと第２の予測ステップで予測した揺らぎデータとを加算したデータに基づいて、直近のｒ´個の不規則時系列データに続くｒ´個の不規則時系列データを予測するので、第１のタイプの発明と比べても、予測精度を高めることができる。

以下図面を参照して本発明の方法の実施の形態の一例を詳細に説明する。なお以下の実施の形態では、ニューラルネットワークによるカオス時系列の予測法のニューロンモデルに対してカオスダイナミクスを適用した本発明のリカレントニューラルネットワークを用いた学習・予測方法（Ｃｈａｏｓ Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をＣＲＮＮと呼ぶ。そして以下の説明では、本発明の実施の形態の方法と、従来法との学習能力、予測性能の比較・検討を行う。

本実施の形態では、合原等によって提案されたカオスニューロンモデル（Ｋ．Ａｉｈａｒａ，Ｔ．Ｔａｋａｂｅ， ａｎｄ Ｍ．Ｔｏｙｏｄａ，”Ｃｈａｏｔｉｃ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ”，Ｐｈｙｓ．Ｌｅｔｔ．Ａ，１４４，ｐｐ３３３−３４０，１９９０．）に、発明者が提案したニューロンの活性化関数として周期型活性化関数を用いたカオスニューロンモデル（Ｍ．Ｎａｋａｇａｗａ，”Ａｎ Ａｒｔｉｆｉｃｉａｌ Ｎｅｕｒｏｎｍｏｄｅｌ ｗｉｔｈ ａ Ｐｅｒｉｏｄｉｃ Ａｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ”，Ｊ．Ｐｈｙｓ．Ｓｏｃ．Ｊｐｏｎ，ｖｏｌ．６４，ｎｏ．８，ｐｐ１０２３−１０３１，１９９５．）を組み合わせている。そして不規則信号のカオス性の検定手法としては、不規則信号の順方向（時間経過方向）と逆方向（時間経過と反対方向）に対する予測能力の差異を用いた不規則信号のカオス性の検定手法（Ｎ．Ｔａｎａｋａ，Ｈ．Ｏｋａｍｏｔｏ，Ｍ．Ｎａｉｔｏ”Ａ Ｗａｙ ｏｆ Ｄｉｓｔｉｎｇｕｉｓｈｉｎｇ Ｃｈａｏｓ ｆｒｏｍ Ｒａｎｄｏｍ Ｆｒａｃｔａｌ Ｓｅｑｕｅｎｃｅ Ｂａｓｅｄ ｏｎ ｔｈｅ Ｄｉ．ｅｒｅｎｃｅ ｉｎ Ｔｉｍｅ Ｒｅｖｅｖｅｒｓａｌ Ｓｙｍｍｅｔｒｙ”，Ｊｐｎ．Ｊ．Ａｐｐｌ．Ｐｈｙｓ．ｖｏｌ．３４，ｎｏ．７Ａ，Ｌ８６３−Ｌ８６５，１９９５．）を用いている。

第１のタイプの発明のリカレントニューラルネットワークを用いた不規則時系列データの学習・予測方法は、リカレントニューラルネットワークを準備する準備ステップと、学習ステップと、予測用モデル構築ステップと予測ステップとから構成される。図１は、本実施の形態で用いるコンピュータを用いて実現するリカレントニューラルネットワーク（ＲＮＮ）を備えた学習・予測装置のモデル図を示している。このリカレントニューラルネットワークは、入力層１と、１以上の中間層３と、出力層５と、帰還路７と、規格化手段９とを備えている。なおこの例では中間層３は１層である。入力層１は、ｒ個（ｒは２以上の整数でフラクタル次元から定められた予測可能なデータの数）の不規則時系列データ（株価、気象情報、為替等の時系列データ）がそれぞれ入力されるｒ個のニューロン１１〜１ｒからなる第１のニューロン群Ｎ１と、ｒ個の不規則時系列データに続く別のｒ個の不規則時系列データがそれぞれ入力されるｒ個のニューロン２１〜２ｒからなる第２のニューロン群Ｎ２とを備えている。また中間層３は、ｑ（ｑは２以上の整数で一般的にはｒ以上の整数）個のニューロン３１〜３ｑからなる第３のニューロン群Ｎ３を備えている。そして出力層５は、ｒ個のニューロン５１〜５ｒからなる第４のニューロン群Ｎ４を備えている。また帰還路（フィードバック）７は、出力層５の第４のニューロン群Ｎ４を構成するｒ個のニューロン５１〜５ｒの出力を第２のニューロン群Ｎ２を構成するｒ個のニューロン２１〜２ｒにそれぞれ帰還する。そして規格化手段９は、第２のニューロン群Ｎ２を構成するｒ個のニューロン２１〜２ｐの入力側に配置された１／２の分割器から構成され、ｒ個のニューロン２１〜２ｒの入力を−１〜＋１の間の値に規格化する。

次に学習ステップでは、入力層１に、予測するための元となる過去のデータ（図１の時系列データのＡ−Ｂ）と、そのデータから予測する未来のデータ（図１の時系列データのＢ−Ｃ）即ち、教師信号となる部分を入力する。すなわち過去に集めた多数組の２ｒ個の不規則時系列データを入力層１に入力している。具体的には、多数組の２ｒ個の不規則時系列データ（Ａ〜Ｂの間のｒ個のサンプリングデータとＢ〜Ｃの間のｒ個のサンプリングデータ）が、ある測定地点における毎日の降雪量であるとする。この場合には、ある測定地点で定期的に（毎日）測定した降雪量が、不規則時系列データとなる。そして多数組の２ｒ個の不規則時系列データは、例えばある測定地点における連続する１０日間の降雪量データ（Ａ〜Ｂの間の１０（ｒ）個のサンプリングデータまたは不規則時系列データ）と、この１０日間に連続する次の１０日間の降雪量データ（Ｂ〜Ｃの間の１０（ｒ）個の不規則時系列データ）である。

入力層１には、多数組の２ｒ個の不規則時系列データとして、起算日を１日ずつずらして得る連続した２０日分の不規則時系列データが順次入力される。過去のデータが３６０日分のデータであれば、最初の１日目から２０日目までのデータが１組目の時系列データ群として入力層１に入力され、次に２日目から２１日目までのデータが２組目の時系列データ群として入力層１に入力され、次に３日目から２２日目までのデータが組目の時系列データ群として入力層１に入力され、以下３６０日目までの時系列データ群が順次入力される。

このリカレントニューラルネットワークでは、出力層５からの帰還路（フィードバック）７が、第２のニューロン群Ｎ２を構成するニューロン２１〜２ｒに対して設けられた規格化手段９の手前で、Ｂ〜Ｃの間の１０（ｒ）個の不規則時系列データから減算されて、規格化手段９に入力される。このように入力データからフィードバック値が減算されることによって、学習が完了したときには、入力層１の第２のニューロン群Ｎ２を構成するニューロン２１〜２ｐの入力が０となる。その結果、過去のデータから未知である未来のデータを予測することが可能になる。学習時に、入力とフィードバックの差に０．５を乗じているのは、入力層１への入力を−１〜１の間の値に規格化するためである。この規格化により、入力層のニューロンへの入力は−１〜＋１の値となる。

この学習ステップでは、入力層１の第２のニューロン群Ｎ２に入力されるｒ個の不規則時系列データと出力層５の第４のニューロン群Ｎ４を構成するｒ個のニューロン５１〜５ｐの出力とが近づくように、リカレントニューラルネットワークの内部状態を決定する。後に詳しく説明するように、この学習ステップでは、学習方法として誤差逆転伝播法を用いて、内部状態の結合荷重としきい値とについて学習を行う。そしてこの学習結果に基づいて、予測用モデル構築ステップでは、第１のニューロン群Ｎ１だけを有する入力層と、第３のニューロン群Ｎ３を有する１つの中間層３と、第４のニューロン群Ｎ４を有する出力層５とを備えて、学習ステップにより決定した内部状態を有する学習済みニューラルネットワークを予測用モデルとして構築する。

リカレントニューラルネットワーク（ＲＮＮ）は、以下のように定式化される。入力層１では線形写像が用いられている。すなわち入力層１を構成するニューロン１１〜２ｒの活性化関数として単調関数が用いられている。具体的には、入力層１の出力がフィードバックされない第１のニューロン群Ｎ１のニューロン１１〜１ｒの、離散時間ｎにおけるニューロン番号ｉの内部状態は、次式で定義される。またｉは、下記式の括弧内の関係を満たす値である。ここでｎとは、離散時間のことであり、ここで離散時間ｎとは、ニューラルネットの更新ステップを表す変数である。

ここで、Ｉ_ｐ（ｉ）はパターンｐの学習時系列である。図１では、ｉ番目のニューロン（ニューロン１１〜１ｒ中の一つのニューロン）に入力されるパターンｐの学習時系列Ｉ_ｐ（ｉ）は、Ａ〜Ｂの間の時系列データでは学習の際の予測を行う直前までのデータであり、Ｂ〜Ｃの間の時系列データは学習の際の予測する未来のデータ、つまり教師信号である。またＮ^（０）は入力層１のニューロン数であり、Ｎ^{（Ｌｏ−１）}は中間層３のニューロンの数である。

また、ネットワークの出力がフィードバックされるニューロン２１〜２ｒの内部状態は次式で定義される。またｉは、下記の括弧内の関係を満たす値である。

ここで上記式中の

は、出力層５のニューロン５１〜５ｒの出力である。

本実施の形態では、中間層３のニューロン３１〜３ｑ及び出力層５のニューロン５１〜５ｒの活性化関数として、非単調関数である正弦波関数を用いている。そのダイナミクスは離散時間ｎに対して以下のように定式化することができる。

ここで、上記式において

は入力層１から出力層５までＬ層のニューロンで構成されると考えた場合に、第Ｌ−１層のニューロンｊと第Ｌ層のニューロンｉとの間の結合荷重である。図１の実施の形態では、入力層１のニューロン１１〜２ｒと中間層３のニューロン３１〜３ｑとの間の結合荷重、中間層３のニューロン３１〜３ｑと出力層５のニューロン５１〜５ｒとの結合荷重である。またＮ^(Ｌ)は第Ｌ層(出力層は第Ｌo層)のニューロンの総数を表している。すなわち第Ｌ層が中間層３であれば、ニューロン３１〜３ｑの数となる。そして学習パターンｐ（図１のＡ〜Ｃの時系列データ）に対する第Ｌ層（中間層３、出力層５）を構成する複数のニューロンのｉ番目のニューロンの内部状態は

出力は

そしてしきい値は

である。

見方を変えると、 学習済みニューラルネットワークの内部状態は、下記の式で表され、

ただし上記

は、学習済みニューラルネットワークの結合荷重であり、
上記

は学習済みニューラルネットワークのしきい値であり、
上記

は、学習済みニューラルネットワークの出力であり、ｋは記憶定数で０以上で１未満の値をとるパラメータである。

ちなみに後に比較例として説明する従来のシグモイド関数を用いた非カオスニューラルネットワーク（ｎｏｎ−Ｃｈａｏｔｉｃ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ｎＣＮ） のダイナミクスは、離散時間ｎに対して以下のように定式化することができる。

活性化関数には、［数２３］に示すシグモイド型の活性化関数を用いている。

また後に比較例として説明する単調型カオスニューラルネットワークモデル（Ｍｏｎｏｔｏｎｏｕｓ Ｃｈａｏｓ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＭＣＮ）のダイナミクスは、以下のように定式化される。

この場合の活性化関数は、単調非カオスニューラルネットワークと同様に、［数２３］の関数を用いる。

次に、図１に示したネットワークを用いて行う本発明の実施の形態の学習ステップの一例について説明する。本実施の形態では、リカレントニューラルネットワークの学習方法として、誤差逆伝搬法を用いている。誤差逆伝搬法はルメルハート（Ｒｕｍｅｌｈａｒｔ）らによって提案され（Ｄ．Ｅ．Ｒｕｍｅｌｈａｒｔ，Ｊ．Ｌ．ＭｃＣｅｌｅｌｌａｎｄ ａｎｄ ＰＤＰ Ｒｅｓａｒｃｈ Ｇｒｏｕｐ ”Ｐａｒａｌｌｅｌ Ｄｉｓｔｒｉｂｕｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ”ＭＩＴ ｐｒｅｓｓ，ｖｏｌ．１＆２，１９８６．）、比較的単純なアルゴリズムで、対象となる問題の学習が行える為、パターン認識や制御等に広く適用されている。

しかしながら誤差逆伝播法では、最急降下法に基づいた方法により学習を行うため、局所的極小解へと収束してしまうということや、学習速度が遅いということが問題視されている。そのため、これらの問題を回避する方法について、いくつかの手法が提案されている（Ｌ．Ｂ．Ａｌｍｅｉｄａ，”Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ ｉｎ Ｐｅｒｃｅｐｔｒｏｎｓ ｗｉｔｈ Ｆｅｅｄｂａｃｋ”，ＮＡＴＯ ＡＳＩ Ｓｅｒｉｅｓ，Ｖｏｌ．Ｆ４１，Ｎｅｕｒａｌ Ｃｏｍｐｕｔｅｒｓ ｐｐ．１９９−２０８，１９８８．）。しかしながら、これらの方法を採用すると、局所的極小解から脱出することができ、学習成功率の向上に対しては効果が得られたものの、もう一つの問題点である学習速度の改善に関しては大きな効果が得られなかった。そこで、学習成功率の向上と学習速度の向上との両立を図る方法として、岡田と中川等、さらに、小野坂と中川らは、学習に対して周期カオスニューラルネットワークを用いることを提案し、学習成功率と学習速度の大幅な改善が実現されることを示した（Ｔ．Ｏｋａｄａ，Ｍ．Ｎａｋａｇａｗａ，”Ａ Ｓｔｕｄｙ ｏｆ Ｂａｃｋ Ｐｒｏｐａｇａ−Ｓｏｌｉｔｏｎｓ＆Ｆｒａｃｔａｌｓ”，ｖｏｌ．１０，ｎｏ．１，ｐｐ７７−９７，１９９９．）（小野坂良男，中川匡弘，”周期カオスニューロンを用いた誤差逆伝播法”，信学論（Ａ），Ｖｏｌ．Ｊ８４，ｐｐ．３３−４１，２００１．）。

それらのモデルにおいては、周期カオスニューロンに対して外部制御を行うことによりカオスの制御を行う。そして、周期制御パラメータの値を制御することにより、学習初期には強いカオス状態により大域的極小の探索を行い、時間の経過と共に非カオス状態へと遷移させることにより効率的な学習を実現させている。

本発明で用いるニューラルネットワークにおいては、上記の改善された誤差逆伝搬法を用いて、主として結合荷重としきい値について学習を行う。結合荷重としきい値のパラメータの更新量の導出の方法を以下に説明する。

まず、以下のように出力層ニューロンの出力と教師信号との自乗誤差（エネルギー：Ｅ）を定義する。

ここで、Ｐは学習パターン総数であり、Ｔ_piは学習パターンｐのｉ番目のニューロンの教師信号を表している。離散時間ｎにおける出力層のｉ番目のニューロンにおける入力パターンｐに対する誤差信号を

とすると、誤差信号は以下のように定義される。

また、入力パターンｐのときの、入力層１及び出力層５以外の第Ｌ層（実施の形態では中間層３）のｉ番目のニューロンの誤差信号は以下のように与えられる。

この誤差信号と、学習係数を用いて結合荷重

としきい値

の更新量は、次のように与えられる。

学習ステップでは、前述の多数組みの２ｒ個（Ａ〜ＢとＢ〜Ｃ）の不規則時系列データを、順次入力層１に入力する。第１ニューロン群Ｎ１を構成するニューロン１１〜１ｒには、ｒ個（Ａ〜Ｃのデータ中の１番目のデータからｒ番目のデータ）の時系列データが入力され、第２のニューロン群Ｎ２を構成するニューロン２１〜２ｒには、次のｒ個（Ａ〜Ｃのデータ中のｒ＋１番目のデータから２ｒ番目のデータ）の時系列データが入力される。そして出力層５を構成するニューロン５１〜５ｒからｒ＋１番目のデータから２ｒ番目のデータが出力されるように、入力層１を構成するニューロン１１〜２ｒと中間層３を構成するニューロン３１〜３ｑとの間の結合荷重としきい値の値と、中間層３を構成するニューロン３１〜３ｑと出力層５を構成するニューロン５１〜５ｒとの間の結合荷重としきい値とが決定される。

不規則時系列データが降雪量データであれば、過去の降雪量データを所定の日数単位（例えば２０日間）を１組の２ｒ個の不規則時系列データとする。そして起算日を１日ずつずらして得る連続した所定の日数単位（例えば２０日間）の不規則時系列データが順次投入される。特に、図１のリカレントニューラルネットワークでは、出力層５からの帰還路（フィードバック）７が、第２のニューロン群Ｎ２を構成するニューロン２１〜２ｒに対して設けられた規格化手段９の手前で、Ｂ〜Ｃの間の１０（ｒ）個の不規則時系列データから減算されて、規格化手段９に入力される。このように入力からフィードバック値が減算されることによって、学習が完了したときには、入力層１の第２のニューロン群Ｎ２を構成するニューロン２１〜２ｐの入力が０となる。その結果、過去のデータから未知である未来のデータを予測することが可能になる。

学習ステップでは、入力層１の第２のニューロン群Ｎ２に入力されるｒ個の不規則時系列データと出力層５の第４のニューロン群Ｎ４を構成するｒ個のニューロン５１〜５ｐの出力とが近づくように、リカレントニューラルネットワークの内部状態を決定する。すなわち適当な結合荷重としきい値とが得られた段階で、内部状態が決定されたものとして学習ステップを終了する。

次に、前述の学習結果に基づいて、予測用モデル構築ステップでは、第１のニューロン群Ｎ１だけを有する入力層１と、第３のニューロン群Ｎ３を有する１つの中間層３と、第４のニューロン群Ｎ４を有する出力層５とを備えて、学習ステップにより決定した内部状態（結合荷重としきい値）を有する学習済みニューラルネットワークを予測用モデルとして構築する。そして予測ステップでは、予測用モデルの入力層１に、直近のｒ個の不規則時系列データを入力してこの直近のｒ個の不規則時系列データに続くｒ個の不規則時系列データを予測する。不規則時系列データがある測定地点における降雪量であれば、直近のｒ日分の降雪量データを学習済みのニューラルネットワークの入力層１に入力すると、出力層５からは、入力したデータに続くｒ日分の降雪量データが出力される。

本発明の実施の形態では、前述のように、入力層１に含まれる第１のニューロン群Ｎ１と第２のニューロン群Ｎ２とを構成する２ｒ個のニューロン１１〜２ｒの活性化関数として単調関数を用いている。また中間層３に含まれる第３のニューロン群Ｎ３を構成するｑ個のニューロン３１〜３ｑの活性化関数として正弦波関数を用いている。さらに出力層５に含まれる第４のニューロン群Ｎ４を構成するｒ個のニューロン５１〜５Ｒの活性化関数として正弦波関数を用いている。シミュレーションによると、上記関数を各ニューロンの活性化関数として用いると、従来法（他の関数を活性化関数として用いて学習を行って構築した学習済みニューラルネットワークを用いた場合）と比べて、格段に優れた予測結果が得られることが分かった。

以下実際に行ったシミュレーションについて説明する。シミュレーションでは、予測対象として次式で表されるようなＬｏｒｅｎｚモデルより生成された時系列データ（図２）と、自然界のデータである積雪量の日足値のデータ（図３）の２種類を用いた。図３において、横軸は日数であり、縦軸は降雪量である。

上記式において、σ＝１０；γ＝２８；ｂ＝８／３とする。

気象のデータにおいて、「測定不能」と表記されるデータは少なくない。この測定不能データとは、データや現象が観測されなかったことを示している。一方、“０”と表現されたデータは、全くないわけではないが計測器では確認できなかったことを示している。しかしながら、測定不能データと“０”はほぼ同等であると考えて、両データを共に“０”として扱っている。なお、今回用いた積雪量のデータ（図３）は、国土交通省北陸地方整備局長岡国道事務所より提供を受けたものである。

シミュレーションに先だって、ニューラルネットワークの出力ニューロン数を以下のようにして決定した。ニューラルネットワークの学習において、そのネットワークにおけるニューロン数やパラメータ（結合荷重としきい値）は、経験的に決定されることが多い。しかしながら、時系列データに基づいて学習する場合における出力層５のニューロンの数は、学習対象のフラクタル次元を用いることにより効果的に決定することができる（合原一幸編著，”応用カオス”，サイエンス社，１９９４．参照）。そこで、このシミュレーションにおいても、その手法を用いてニューロン数を決定した。

Ｌｏｒｅｎｚモデルから生成した時系列および、積雪量データのフラクタル次元を算出すると、図４及び図５に示すようになる。図４のＬｏｒｅｎｚモデルから生成した時系列データのフラクタル次元の場合も、図５の積雪量のフラクタル次元の場合も両方共に、２種類の次元が存在している。この結果から、Ｌｏｒｅｎｚモデルから生成した時系列に対する予測では、出力層を３０個のニューロンにより構成し、積雪量の予測に関しても３０個のニューロンで出力層を構成すればよいことが分かる。

次にシミュレーションにおける誤差の評価基準としては、平均自乗誤差を用いた。そして時系列学習時の誤差と時系列予測時の誤差を以下のような式で定義した。

平均自乗学習誤差は以下のように定義した。

ここで、Ｐは学習パターン総数、

は出力層のニューロン数、

はパターンｐの出力ニューロンｉにおける真値である。そして

は出力層におけるパターンｐのｉ番目のニューロンの出力を表している。

平均自乗予測誤差は、以下のように定義した。

ここで、Ｐ_ｒは予測パターン総数、Ｐ_ｐ（ｏ）はパターンｐのｏ番目の予測値を表している。

次に、各時系列学習におけるシミュレーション条件を示す。Ｌｏｒｅｎｚモデルに関するリカレントニューラルネットワーク（ＲＮＮ）の構成は、入力層１のニューロンの数‐中間層３のニューロンの数‐出力層５のニューロンの数を、６０−３０−３０として行った。積雪量予測に使用するリカレントニューラルネットワークの構成では、入力層１のニューロンの数‐中間層３のニューロンの数‐出力層５のニューロンの数を、６０−４０−３０とした。なお、最大学習回数は共に５００００回とし、結合荷重としきい値の学習係数ηはどちらのモデルにおいても０．０９とした。

まず、前述した、Ｌｏｒｅｎｚモデルのｘの値から生成した時系列データ５０００点を用いて予測を行い、各ニューロンの学習能力および予測能力の比較を行った。学習には前半３０００点を学習に用い、後半２０００点を評価に用い、評価データの中から５００パターンに対して予測を行った。学習曲線を図６に示し、予測結果を図７に示す。図６の縦軸は平均自乗学習誤差を示し、横軸は学習回数を示している。また図７の縦軸は平均自乗予測誤差を示し、横軸は予測回数を示している。これらの図及び以下に説明する複数の図において、ｎＣＮは、非カオスニューラルネットワーク（ｎｏｎ−Ｃｈａｏｔｉｃ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）で予測した場合を示している。またＭＣＮは、単調型カオスニューラルネットワークモデル（Ｍｏｎｏｔｏｎｏｕｓ Ｃｈａｏｓ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）で予測した場合を示している。そしてＰＣＮは、本実施の形態で用いる周期カオスニューラルネットワークモデル（Ｐｅｒｉｏｄｉｃ Ｃｈａｏｓ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）で予測した場合を示している。

次に、積雪量の日足値から生成した時系列データ４２３６点を用いて予測を行い、各ニューロンの学習能力および予測能力の比較を行った。学習には前半３０００点を学習に用い、後半１２３６点を評価に用い、評価データの中から５００パターンに対して予測を行った。学習曲線を図８に示し、予測結果を図９に示す。図８の縦軸は平均自乗学習誤差（ＭＳＥ_{Ｌｅａｒｎ}）を示し、横軸は学習回数（Learning Times）を示している。また図９の縦軸は平均自乗予測誤差（ＭＳＥ_Predict）を示し、横軸は予測回数(Predict times)を示している。

計算機によるシミュレーションの結果より、以下の３点が確認できる。

（１）非カオスニューラルネットワーク（ｎＣＮ）では、学習が不可能であるが、ＭＣＮ、ＰＣＮでは学習が可能である。

（２）また単調型カオスニューラルネットワーク（ＭＣＮ）を用いたリカレントニューラルネットワーク（ＲＮＮ）よりも、周期カオスニューラルネットワークモデル（ＰＣＮ）を用いたリカレントニューラルネットワーク（ＲＮＮ）の方が学習性能がよいことが分かる。

（３）また予測回数が進むほど誤差が大きくなることが分かる。

上記（１）の相違の原因としては、本発明の実施の形態のモデルと従来モデルとの違いとして、中間層３と出力層５のニューロンで使用する活性化関数の相違が挙げられる。ニューロンの活性化関数によって学習能力に違いが生じるのは、本発明で用いる非単調型活性化関数の微分値が正負両方の値をとりえるためである。これによって、従来のモデルで中間層及び出力層で用いる単調型活性化関数に比べて、非単調型活性化関数を用いると、単調減少の制約が緩和される。そして、ネットワークのエネルギーを増加する方向に対しても学習を進めることが可能となる。その結果，解析解が局所的極小値に陥ったとしても脱出が可能となることから、時系列データに対する学習が可能になると考えられる。

また上記（２）のＭＣＮとＰＣＮの学習性能の違いに関しては、ニューロン内部がカオス状態であるときの不変測度の対称性によって、ＭＣＮにくらべＰＣＮの学習性能がよくなるものと考えられる。

更に上記（３）の予測回数と予測誤差の関係に関しては、まず、予測に使用するデータ点数をＮとし、それをｄ次元の埋め込み空間に再構成されたアトラクタのフラクタル次元をＤとする。また、データ点数Ｎは、ＲＮＮの入力層１のニューロンの数と等しく、再構成されたアトラクタは、サイズεの超球Ｎ個で被覆できるものとすると以下の式が成り立つ。

このときリアプノフスペクトラムは、λｉ（１＜＝ｉ＜＝ｄ）で表され、そのうちJ個だけ正の値を取るものとする。ここで、学習対象となる時系列データが生成する情報量、すなわち予測の困難度を表すＫｏｌｍｏｇｏｒｏｖエントロピーＫは、次式で与えられる。

次に、時間がτ経過したときの自乗誤差ε^２（τ）を求める。ただし、τは出力層５のニューロンの番号に相当する。そして、予測においてニューラルネットを用いることから、一次予測ではなく、ニューロンの活性化関数に基づいたｍ次の予測となる。さらに学習対象がカオス的な時系列データであることから、自乗誤差は以下のようになる。

ここで、数（３９）を数（４０）に代入して、両辺の対数を取ると以下の式になる、

上記式の第一項目は、自乗誤差の対数が予測回数（出力ニューロン番号）τに比例していることを表している。これは、予測結果の図７、図９からも確認できる。また、上記式より、そのときの予測回数に対する自乗誤差の対数の傾きが、ＫｏｌｍｏｇｏｒｏｖエントロピーＫに比例していることもわかる。Ｋが大きいと予測回数に対する自乗誤差の対数の増加の割合が増える。つまり、Ｋが大きいほど予測が困難になることを示しているといえる。これは、ＫｏｌｍｏｇｏｒｏｖエントロピーＫの持つ意味と矛盾していない。また、図７、図９を見ると、ＭＣＮとＰＣＮで自乗誤差の対数の傾きが違うことが見て取れる。これは、両方の時系列データの学習において、ＭＣＮとＰＣＮ の出力のニューロン数が同じであることから、上記式の第一項目の（ｍ＋１）が異なるためと考えられる。ｍはニューロンの活性化関数に基づいた次数であるから、ＭＣＮに比べて、ＰＣＮの方が予測次数が高いということを示していると考えられる。

次に、リカレントニューラルネットワーク（ＲＮＮ）を用いた時系列データのカオス検定について述べる。ネットワークモデルを周期カオスニューラルネットワークモデル（ＰＣＮ）に限定した。そしてカオス時系列データとして、前述したＬｏｒｅｎｚモデルから生成した時系列データ、フラクタル時系列として、フラクタル次元Ｄ＝１．５の時系列データを予測対象として、予測を行った。本実施の形態では、時系列反転学習と予測を行うので、計４種類の時系列データを予測した。つまり、それぞれの時系列データを、その時間の進行方向を順方向とし、それに対して、時間の進行方向を反転させた方向を時間の逆方向とした。そして一つの時系列データにつき、順方向と逆方向とで２種類の時系列を予測対象とする。シミュレーション条件としては、Ｌｏｒｅｎｚモデルに関するリカレントニューラルネットワーク（ＲＮＮ）の構成は、前述と同様の条件でシミュレーションを行った。そしてフラクタル次元Ｄ＝１．５の時系列データに関してしては、入力層１‐中間層３‐出力層５のそれぞれを構成するニューロンの数を１６−２０−８とした。また、最大学習回数は５００００回とし、結合荷重としきい値の学習係数ηは０．０９とした。なお、フラクタル時系列データは以下に示す方法で生成した。

まず、時間領域での実数部が０〜１の乱数、虚数部が０である、Ｍ点のデータについてフーリエ変換を行い、周波数領域での実数部と虚数部を求める。そして求められた実数部と虚数部について、次式で表される、べき型のフィルターをかける。

ここで、Ｈはハウスドルフ次元であり、フラクタル次元Ｄとの間には、次のような関係が成り立つ。

そして、フィルタリングして得られた結果を次式のように逆フーリエ変換し、求められた実数部がフラクタル時系列データとなる。この方法を用いて生成した、図１０に示すようなフラクタル次元Ｄ＝１．５ のフラクタル時系列データを予測対象とした。

Ｌｏｒｅｎｚモデルから生成した時系列データの時系列反転学習時の予測結果を図１１に示し、フラクタル次元Ｄ＝１．５の時系列データの時系列反転学習時の予測結果を図１２に示す。Ｌｏｒｅｎｚモデルから生成した時系列データの結果をみると、全ての予測ステップにおいて逆方向学習時の平均自乗予測誤差の値が順方向学習時の平均自乗誤差の値を上回っていることがわかる。それと共に、出力層のニューロン番号の増加に対する平均自乗予測誤差の増加の割合をみても、逆方向学習時のほうが順方向学習時よりも平均自乗誤差の増加の割合が多くなっており、順方向学習時よりもより長期に亘る予測が困難であることがわかる。逆に、フラクタル時系列データの予測結果をみると、順方向学習時と逆方向学習時でほぼ同様の平均自乗予測誤差をとっており、順方向と逆方向とで予測の困難さに相異がないことがわかる。これは、カオス時系列データには、時間に対して方向性が存在し、フラクタル時系列データには方向性が存在していないことに起因していると考えられる。

カオス時系列データでの順方向学習と逆方向学習時の予測の困難さの違いは、カオス的時系列データが生成する情報量、すなわち予測の困難さを表すＫｏｌｍｏｇｏｒｏｖエントロピーによって説明することができる。学習対象をｄ次元の力学系と考え、そのリアプノフ指数を大きいものから以下のように表す。

ここで、λ_１，λ_２、・・・λ_Ｊを非負の値として、λ_Ｊ＋１，・・・λ_ｄを負の値とすると、順方向学習時のＫｏｌｍｏｇｏｒｏｖエントロピーＫｆは、正のリアプノフ指数の総和であることから、

の式で表される。そして逆方向時にはリアプノフ指数の正負が入れ替わることから、リアプノフ指数は大きいものから、−λ_ｄ，−λ_ｄ−１，・・・，−λ_Ｊ＋１、−λ_Ｊ，−λ_Ｊ−１、・・・，λ_１のようになる。よって逆方向学習時のＫｏｌｍｏｇｏｒｏｖエントロピーＫｂは、

となる。一般的な散逸的力学系においては、リアプノフ指数の総和は負の値をとるため上記数（４６）及び数（４７）より

となる。その結果、ＫｏｌｍｏｇｏｒｏｖエントロピーはＫｆよりもＫｂのほうが必ず大きくなることがわかる。平均自乗予測誤差の理論値より、平均自乗予測誤差はＫｏｌｍｏｇｏｒｏｖエントロピーの値に対して対数で比例する。それゆえ、順方向よりも逆方向時のほうが予測が困難になる。一方、フラクタル次元の予測の困難さはハースト指数によって決定される。しかしフラクタル的に振舞う確率論的時系列は、相対時間差のみに依存し、時間の進行方向によってフラクタル次元が変化するということはない。そのため、ハースト指数にも変化はなく、順方向時と逆方向時とで予測の困難さが変わるということはない。これらのことから、カオス時系列データの性質と時間反転学習を利用すれば、その予測結果から、時系列データのカオス性の有無が特定できると考えられる。

上記に、カオスリカレントニューラルネットワーク（ＣＲＮＮ）を用いた時系列データの反転学習によるカオス検定を説明した。これを自然の時系列データである積雪量について適用した、シミュレーション結果を図１３に示す。予測結果をみると、順方向時よりも逆方向時のほうが予測誤差が大きく、予測が困難になっていることがわかる。これから、これらの時系列データには非常に弱いながらも、カオス性を有している可能性があると考えられる。

ここで、順方向時と逆方向時の平均自乗予測誤差から、もし積雪データがカオス性を有しているとすれば、時系列データに統計的ノイズが混在している可能性と考えられる。そこで、積雪データに平滑化の処理と揺らぎ成分の取り出しを行い、平滑化を行ったデータと揺らぎ成分とについて学習と予測を行う。

平滑化の方法は、平滑化を行う日から、前後４日、計９日分の算術平均を取ることにより平滑化を行った。そして揺らぎ成分として、処理前の値から処理後の値を減算することによって求めた値を揺らぎ成分とした。図１４に平滑化を行ったデータ、図１５に取り出した揺らぎ成分を示し、それらに対して予測を行った結果を、図１６、図１７にそれぞれ示す。

平滑化を行った積雪においては、順方向学習時と逆方向学習時での平均自乗予測誤差の差異が、平滑化を行う前の結果よりも広がっていることがわかる。それに対して、揺らぎ成分においては、両方の平均自乗予測誤差がほぼ等しい値をとっており、確率的な性質で変動していると考えられる。このことから、ここで用いた積雪データは、統計的な性質が混在しており、短いスケールでみると確率的な変動をしているものの、長いスケールでみると緩やかなカオス的性質によって変動しているのではないかと考えられる。

その結果として、カオスリカレントニューラルネットワーク（ＣＲＮＮ）での予測では、予測時の平均自乗誤差の対数は予測回数に比例して増加していることを見出した、さらに、単調型カオスニューラルネットワーク（ＭＣＮ）と周期カオスニューラルネットワーク（ＰＣＮ）とを比べた場合、周期カオスニューラルネットワーク（ＰＣＮ）のほうが平均自乗予測誤差が小さく、カオス時系列データの学習と予測に関して、精度の高い予測を実現できることが分かった。

ＣＲＮＮを用いたカオス検定については、カオス時系列データは、予測時に順方向時と逆方向時で予測の困難さが異なり、非カオス時系列データは順方向と逆方向時とで予測の困難さに相異はないという性質を利用することによって時系列のカオス性の検定が実現できる可能性があることが分かる。

図１８は、図１９（Ａ）に示すような不規則時系列データの一種である積雪量のデータＤをフラクタル性を有する揺らぎデータＳＤと揺らぎデータＳＤを含まない多数組の２ｒ個の平滑化データＦＤとに分けて学習と予測とを行う第２のタイプの発明の実施の形態を実現する場合に用いる第１及び第２のリカレントニューラルネットワーク１０１及び１０２を用いた学習・予測装置のモデル図を示している。第１及び第２のリカレントニューラルネットワーク１０１及び１０２の構成は、図１に示したリカレントニューラルネットワークと同じであるので、各構成部分には図１に付した符号と同じ符号または同じ符号にダッシュ（´）を付した符号を付してある。

本実施の形態では、図１９（Ａ）乃至（Ｃ）に示すように、事前に過去に集めた多数組の２ｒ個の不規則時系列データＤから、多数組の２ｒ個のフラクタル性を有する揺らぎデータＳＤと前記揺らぎデータＳＤを含まない多数組の２ｒ個の平滑化データＦＤとを作成する（基礎データ作成ステップ）。この例では、多数組の２ｒ個の不規則時系列データＤである積雪量データについて、９点の移動平均を取ることにより多数組の２ｒ個の平滑化データを作成している。移動平均の取り方は、任意であり、９点に限定されるものではない。またこの例では、多数組の２ｒ個の不規則時系列データＤから多数組の２ｒ個の平滑化データＦＤを引くことにより、多数組の２ｒ個のフラクタル性を有する揺らぎデータＳＤを作成している。

図１８に示すように、第１のリカレントニューラルネットワーク１０１は、入力層１と、１層以上の中間層３と、出力層５とを備えている。入力層１は、２以上の整数でフラクタル次元から定められた予測可能なデータの数（２ｒ個）の平滑化データＦＤがそれぞれ入力されるｒ個のニューロン１１〜１ｒからなる第１のニューロン群Ｎ１と、ｒ個の平滑化データＦＤに続く別のｒ個の平滑化データＦＤがそれぞれ入力されるｒ個のニューロン２１〜２ｒからなる第２のニューロン群Ｎ２とを備えている。図２０（Ａ）に示すように、本実施の形態の場合には、平滑化データＦＤのフラクタル次元で考えると、このｒの値は５０以下の値で定めればよいことが判る。フラクタル次元の求め方は、図４及び図５に関連して説明した方法と同様であるので説明は省略する。なお後に説明するように、平滑化データＦＤのフラクタル次元を基準にしてｒを大きな値に設定してもよいが、ｒの値を、後に説明する揺らぎデータデータＳＤのフラクタル次元から定まるｒ´の値（具体的には７）と同じにすれば、同時に演算を進行するシステムを簡単に構成することができる。

１層以上の中間層３は、ｑ（ｑは２以上の整数）個のニューロン３１〜３ｑからなる第３のニューロン群Ｎ３を備えている。また出力層５は、ｒ個のニューロン５１〜５ｒからなる第４のニューロン群Ｎ４を備えている。そして出力層５の第４のニューロン群Ｎ４を構成するｒ個のニューロン５１〜５ｒの出力を第２のニューロン群Ｎ４を構成するｒ個のニューロンにそれぞれ帰還する帰還路７と、第２のニューロン群Ｎ２を構成するｒ個のニューロン２１〜２ｒの入力側に配置されて入力を規格化する規格化手段９とを備えている。本実施の形態でも、入力層１に含まれる第１のニューロン群Ｎ１と第２のニューロン群Ｎ２とを構成する２ｒ個のニューロンの活性化関数として単調関数が用いられている。また１以上の中間層３に含まれる第３のニューロン群Ｎ３を構成するｑ個のニューロンの活性化関数としては正弦波関数が用いられている。さらに出力層５に含まれる第４のニューロン群Ｎ４を構成するｒ個のニューロンの活性化関数としては正弦波関数が用いられている。

また、第２のリカレントニューラルネットワーク１０２も、入力層１´と、１層以上の中間層３´と、出力層５´とを備えている。入力層１´は、２以上の整数でフラクタル次元から定められた予測可能なデータの数ｒ´個の揺らぎデータＳＤがそれぞれ入力されるｒ´個のニューロン１１´〜１ｒ´からなる第１のニューロン群Ｎ１´と、ｒ´個の揺らぎデータＳＤに続く別のｒ´個の揺らぎデータＳＤがそれぞれ入力されるｒ´個のニューロン２１´〜２ｒ´からなる第２のニューロン群Ｎ２´とを備えている。揺らぎデータＳＤのフラクタル次元を考えると、このｒ´の値は、図２０（Ｂ）の結果から、７以下の値に定めればよい。第２のリカレントニューラルネットワーク１０２でｒ´の値を７より大きくすると、予測精度は低下する。

１層以上の中間層３´は、ｑ´（ｑ´は２以上の整数）個のニューロン３１´〜３ｑ´からなる第３のニューロン群Ｎ３´を備えている。また出力層５´は、ｒ´個のニューロン５１´〜５ｒ´からなる第４のニューロン群Ｎ４´を備えている。そして出力層５´の第４のニューロン群Ｎ４´を構成するｒ´個のニューロン５１´〜５ｒ´の出力を第２のニューロン群Ｎ２´を構成するｒ´個のニューロンニューロン２１´〜２ｒ´にそれぞれ帰還する帰還路７´と、第２のニューロン群Ｎ２´を構成するｒ´個のニューロン２１´〜２ｒ´の入力側に配置されて入力を規格化する規格化手段９´とを備えている。本実施の形態でも、入力層１に含まれる第１のニューロン群Ｎ１´と第２のニューロン群Ｎ２´とを構成する２ｒ´個のニューロンの活性化関数として単調関数が用いられている。また１以上の中間層３´に含まれる第３のニューロン群Ｎ３´を構成するｑ´個のニューロンの活性化関数としては正弦波関数が用いられている。さらに出力層５´に含まれる第４のニューロン群Ｎ４´を構成するｒ´個のニューロンの活性化関数としては正弦波関数が用いられている。なお使用する活性化関数として使用する単調関数及び正弦波関数は、図１に示した実施の形態で用いる単調関数及び正弦波関数と同じものを用いる。また第１及び第２の学習ステップでは、最初の実施の形態と同様に、学習方法として誤差逆転伝播法を用いて、内部状態の結合荷重としきい値とについて学習を行っている。したがってこれらについての説明は省略する。

前述のように、本実施の形態では、過去に集めた多数組の２ｒ個の不規則時系列データＤから、多数組の２ｒ個のフラクタル性を有する揺らぎデータＳＤと揺らぎデータＳＤを含まない多数組の２ｒ個の平滑化データＦＤとを作成する（基礎データ作成ステップ）。

次に、多数組の２ｒ個の平滑化データＦＤを入力層１に入力して、第２のニューロン群Ｎ２に入力されるｒ個の平滑化データＦＤと出力層５の第４のニューロン群Ｎ４を構成するｒ個のニューロン５１〜５ｒの出力とが近づくように、第１のリカレントニューラルネットワーク１０１の内部状態を決定する（第１の学習ステップ）。そして第１のニューロン群Ｎ１だけを有する入力層１と、第３のニューロン群Ｎ３を有する１以上の中間層３と、第４のニューロン群Ｎ４を有する出力層５とを備えて、第１の学習ステップにより決定した内部状態を有する第１の学習済みニューラルネットワークを第１の予測用モデルとして構築する（第１の予測用モデル構築ステップ）。

この第１の予測用モデルの入力層１に直近のｒ個の平滑化データＦＤを入力して該直のｒ個の平滑化データＦＤに続くｒ個の平滑化データを予測する（第１の予測ステップ）。

また多数組の２ｒ´個の揺らぎデータＳＤを入力層１´に入力して、第２のニューロン群Ｎ２´に入力されるｒ´個の揺らぎデータＳＤと出力層５´の第４のニューロン群Ｎ４´を構成するｒ´個のニューロン５１〜５ｒ´の出力とが近づくように、第２のリカレントニューラルネットワーク１０２の内部状態を決定する（第２の学習ステップ）。そして第１のニューロン群Ｎ１´だけを有する入力層１´と、第３のニューロン群Ｎ３´を有する１以上の中間層３´と、第４のニューロン群Ｎ４´を有する出力層５´とを備えて、第２の学習ステップにより決定した内部状態を有する第２の学習済みニューラルネットワークを第２の予測用モデルとして構築する（第２の予測用モデル構築ステップ）。この第２の予測用モデルの入力層１´に直近のｒ´個の揺らぎデータＳＤを入力して該直近のｒ個の揺らぎデータＳＤに続くｒ´個の揺らぎデータＳＤを予測する（第２の予測ステップ）。第１及び第２の学習済みニューラルネットワークの内部状態も、図１に示した最初の実施の形態におけるニューラルネットワークにおける学習済みニューラルネットワークの内部状態と同様に表される。

本実施の形態では、第１の予測ステップにより予測した平滑化データＦＤ´と第２の予測ステップで予測した揺らぎデータＳＤ´とを合成（加算）したデータに基づいて、直近のｒ´個の不規則時系列データ（降雪量データ）Ｄに続くｒ´個の不規則時系列データ（予想降雪量データ）Ｄ´を予測する。

図２１は、揺らぎデータの予測値と平滑化データの予測値とそれらの合成値（降雪量の予測値）の結果とを示す図である。横軸は、月日であり、縦軸は降雪量である。この予測は、最初の実施の形態で用いた、図３に示す、国土交通省北陸地方整備局長岡国道事務所より提供を受けた降雪量データの２００５年２月のデータに基づいて、２月１日から１週間分の降雪量を予測した予測結果である。なおこの予測では、第１のリカレントニューラルネットワーク１０１でのｒの値を５０とし、第２のリカレントニューラルネットワーク１０２のｒの値を７として、７日分の予測を行った結果を示している。図２１の結果は、図１８の構成においては、中間層を１つとし、第１のリカレントニューラルネットワーク１０１の入力層−中間層−出力層のニューロンの数を１００−１００−５０として、第２のリカレントニューラルネットワーク１０２の入力層−中間層−出力層のニューロンの数を１４−２８−７として得ている。そして学習ステップは、４０００とし、学習パターン数は６００とし、評価パターン数は５００パターンとしている。そして記憶係数ｋは０．７１、学習係数νは０．０９とし、慣性モーメント係数μは０．０１２としている。

そして図２２には、図２１の条件と同じ条件で、各種の予測方法を用いて予測した結果を示してある。図２２において、RNNは公知のリカレントニューラルネットワークを用いた予測方法の予測結果であり、CRNNは第１のタイプの発明の最初の実施の形態の方法で予測した予測結果であり、「Actual value」は実際に測定した降雪量を示しており、「平滑化＋揺らぎ」が、第２のタイプの発明の実施の形態の予測方法の予測結果を示している。図２２を見ると明らかなように、７日分ではあるが、本実施の形態の予測方法「平滑化＋揺らぎ」の予測結果は、ほぼ実測の結果に合致していることがわかる。また第１のタイプの発明の実施の形態の予測結果CRNNと比べても、本実施の形態の予測方法「平滑化＋揺らぎ」の予測結果は、7日分については、優れている。したがって第１のタイプの発明の学習・予測方法は、長期の予測に適しており、第２のタイプの発明の学習・予測方法は短期の学習・予測方法に適しているということができる。

なお図１８のモデルを使用する実施の形態では、ｒの値を５０とし、ｒ´の値を７としているが、ｒの値とｒ´の値を同じ７としても、同様の結果が得られることは当業者に明らかであろう。

上記の各実施の形態では、積雪量の予測を一例として第１及び第２のタイプの発明の方法及び装置を説明したが、本発明は、積雪量のような気象現象の予測だけでなく、為替や株価等の予測にも適用できる。

第１のタイプの発明の実施の形態で用いるリカレントニューラルネットワーク（ＲＮＮ）のモデルを示す図である。 Ｌｏｒｅｎｚモデルより生成された時系列データを示す図である。 自然界のデータである積雪量（長岡市の冬期間の積雪量）の日足値のデーを示す図である。 Ｌｏｒｅｎｚモデルから生成した時系列データのフラクタル次元を示す図である。 積雪量のフラクタル次元を示す図である。 Ｌｏｒｅｎｚモデルのｘの値から生成した時系列データの学習曲線を示す図である。 Ｌｏｒｅｎｚモデルのｘの値から生成した時系列データの平均自乗予測誤差を示す図である。 積雪量の日足値から生成した時系列データの学習曲線を示す図である。 積雪量の日足値から生成した時系列データの平均自乗予測誤差を示す図である。 予測対象とするフラクタル次元Ｄ＝１．５のフラクタル時系列データを示す図である。 Ｌｏｒｅｎｚモデルから生成した時系列データの時系列反転学習時の予測結果を示す図である。 フラクタル次元Ｄ＝１．５の時系列データの時系列反転学習時の予測結果を示す図である。 自然の時系列データである積雪量に対する時系列反転学習時の平均自乗予測誤差を示す図である。 平滑化を行った積雪量データを示す図である。 積雪量の揺らぎ成分を示す図である。 平滑化を行った積雪量データの時系列判定学習時の平均自乗予測誤差を示す図である。 積雪量の揺らぎ成分に対する時系列判定学習時の平均自乗予測誤差を示す図である。 第２のタイプの発明の実施の形態で用いる第１及び第２のリカレントニューラルネットワークのモデルを示す図である。 （Ａ）乃至（Ｃ）は、積雪量データ（不規則時系列データ）、平滑化データ、揺らぎデータの例をそれぞれ示す図である。 （Ａ）及び（Ｂ）は、平滑化データと揺らぎデータのフラクタル次元をそれぞれ示す図である。 平滑化データと揺らぎデータの予測結果の一例を示す図である。 図１８に示したモデルを用いた予測方法の実施の形態の予測結果と他の方法による予測結果との比較例を示す図である。

符号の説明

１，１´ 入力層
３，３´ 中間層
５，５´ 出力層
７，７´ 帰還路
９，９´ 規格化手段
１１〜１ｒ, １１´〜１ｒ´ ニューロン
２１〜２ｒ, ２１´〜２ｒ´ ニューロン
３１〜３ｑ, ３１´〜３ｑ´ ニューロン
５１〜５ｒ, ５１´〜５ｒ´ ニューロン
Ｎ１, Ｎ１´ 第１のニューロン群
Ｎ２, Ｎ２´ 第２のニューロン群
Ｎ３, Ｎ３´ 第３のニューロン群
Ｎ４, Ｎ４´ 第４のニューロン群

Claims (6)

1. リカレントニューラルネットワークを用いた不規則時系列データの学習・予測方法であって、
   第１のリカレントニューラルネットワークとして、ｒ個（ｒは２以上の整数でフラクタル次元から定められた予測可能なデータの数）の不規則時系列データがそれぞれ入力されるｒ個のニューロンからなる第１のニューロン群と、前記ｒ個の不規則時系列データに続く別のｒ個の不規則時系列データがそれぞれ入力されるｒ個のニューロンからなる第２のニューロン群とを備えた入力層と、ｑ（ｑは２以上の整数）個のニューロンからなる第３のニューロン群を備えた１以上の中間層と、ｒ個のニューロンからなる第４のニューロン群を備えた出力層と、前記出力層の前記第４のニューロン群を構成する前記ｒ個のニューロンの出力を前記第２のニューロン群を構成する前記ｒ個のニューロンにそれぞれ帰還する帰還路と、前記第２のニューロン群を構成する前記ｒ個のニューロンの入力側に配置されて入力を規格化する規格化手段とを備え、前記入力層に含まれる前記第１のニューロン群と前記第２のニューロン群とを構成する２ｒ個の前記ニューロンの活性化関数として単調関数が用いられ、前記１以上の中間層に含まれる前記第３のニューロン群を構成する前記ｑ個のニューロンの活性化関数として正弦波関数が用いられ、前記出力層に含まれる前記第４のニューロン群を構成する前記ｒ個のニューロンの活性化関数として正弦波関数が用いられたものを用意し、また第２のリカレントニューラルネットワークとして、ｒ´個（ｒ´は２以上の整数でフラクタル次元から定められた予測可能なデータの数）の時系列データがそれぞれ入力されるｒ´個のニューロンからなる第１のニューロン群と、前記ｒ´個の不規則時系列データに続く別のｒ´個の時系列データがそれぞれ入力されるｒ´個のニューロンからなる第２のニューロン群とを備えた入力層と、ｑ´（ｑ´は２以上の整数）個のニューロンからなる第３のニューロン群を備えた１以上の中間層と、ｒ´個のニューロンからなる第４のニューロン群を備えた出力層と、前記出力層の前記第４のニューロン群を構成する前記ｒ´個のニューロンの出力を前記第２のニューロン群を構成する前記ｒ´個のニューロンにそれぞれ帰還する帰還路と、前記第２のニューロン群を構成する前記ｒ´個のニューロンの入力側に配置されて入力を規格化する規格化手段とを備え、前記入力層に含まれる前記第１のニューロン群と前記第２のニューロン群とを構成する２ｒ´個の前記ニューロンの活性化関数として単調関数が用いられ、前記１以上の中間層に含まれる前記第３のニューロン群を構成する前記ｑ´個のニューロンの活性化関数として正弦波関数が用いられ、前記出力層に含まれる前記第４のニューロン群を構成する前記ｒ´個のニューロンの活性化関数として正弦波関数が用いられたものを用意する準備ステップと、
   過去に集めた多数組の２ｒ個の不規則時系列データから、多数組の２ｒ個のフラクタル性を有する揺らぎデータと前記揺らぎデータを含まない多数組の２ｒ´個の平滑化データとを作成する基礎データ作成ステップと、
   前記多数組の２ｒ個の平滑化データを前記入力層に入力して、前記第２のニューロン群に入力されるｒ個の前記平滑化データと前記出力層の前記第４のニューロン群を構成する前記ｒ個のニューロンの出力とが近づくように、前記第１のリカレントニューラルネットワークの内部状態を決定する第１の学習ステップと、
   前記第１のニューロン群だけを有する前記入力層と、前記第３のニューロン群を有する１以上の前記中間層と、前記第４のニューロン群を有する前記出力層とを備えて、前記第１の学習ステップにより決定した内部状態を有する第１の学習済みニューラルネットワークを第１の予測用モデルとして構築する第１の予測用モデル構築ステップと、
   前記第１の予測用モデルの前記入力層に直近のｒ個の平滑化データを入力して該直近のｒ個の平滑化データに続くｒ個の平滑化データを予測する第１の予測ステップと、
   前記多数組の２ｒ´個の揺らぎデータを前記入力層に入力して、前記第２のニューロン群に入力されるｒ´個の前記揺らぎデータと前記出力層の前記第４のニューロン群を構成する前記ｒ´個のニューロンの出力とが近づくように、前記第２のリカレントニューラルネットワークの内部状態を決定する第２の学習ステップと、
   前記第１のニューロン群だけを有する前記入力層と、前記第３のニューロン群を有する１以上の前記中間層と、前記第４のニューロン群を有する前記出力層とを備えて、前記第２の学習ステップにより決定した内部状態を有する第２の学習済みニューラルネットワークを第２の予測用モデルとして構築する第２の予測用モデル構築ステップと、
   前記第２の予測用モデルの前記入力層に直近のｒ´個の揺らぎデータを入力して該直近のｒ´個の揺らぎデータに続くｒ´個の揺らぎデータを予測する第２の予測ステップと、
   前記第１の予測ステップにより予測した平滑化データと前記第２の予測ステップで予測した揺らぎデータとを加算したデータに基づいて、直近のｒ´個の不規則時系列データに続くｒ´個の不規則時系列データを予測することを特徴とする不規則時系列データの学習・予測方法。
2. 前記基礎データ作成ステップでは、前記多数組の２ｒ個の不規則時系列データについて移動平均を取ることにより前記多数組の２ｒ個の平滑化データとを作成し、前記多数組の２ｒ個の不規則時系列データから対応する前記多数組の２ｒ個の平滑化データを引くことにより前記フラクタル性を有する揺らぎデータを作成する請求項１に記載の不規則時系列データの学習・予測方法。
3. 前記不規則時系列データが、ある測定地点の気象情報であり、
   前記ｒ´が７以下の整数である請求項１または２に記載の不規則時系列データの学習・予測方法。
4. 前記入力層で用いられる２ｒまたは２ｒ´個の前記ニューロンの活性化関数として用いられる前記単調関数は、
   

   

   であり、ただし上記式中の
   

   

   は学習パターンｐに対するｉ番目の前記ニューロン（ｒまたはｒ´個のニューロンの一つ）の離間時間ｎにおける内部状態であり、上記εは温度パラメータであり、Ｌは層番号であり、
   前記中間層で用いられるｑまたはｑ´個の前記ニューロンと前記出力層で用いられるｒまたはｒ´個の前記ニューロンの前記活性化関数として用いられる前記正弦波関数は、
   

   

   であり、ただし上記式中の
   

   

   は学習パターンｐに対するｑまたはｑ´個の前記ニューロンとｒまたはｒ´個の前記ニューロンのｉ番目のニューロン（ｑまたはｑ´個の前記ニューロンの一つまたはｒまたはｒ´個の前記ニューロンの一つ）の離散時間ｎにおける内部状態であることを特徴とする請求項１に記載の不規則時系列データの学習・予測方法。
5. 前記第１及び第２学習ステップでは、学習方法として誤差逆転伝播法を用いて、前記内部状態の結合荷重としきい値とについて学習を行うことを特徴とする請求項１に記載の不規則時系列データの学習・予測方法。
6. 前記第１及び第２の学習済みニューラルネットワークの前記内部状態は、下記の式で表され、
   

   

   ただし上記
   

   

   は、前記学習済みニューラルネットワークの結合荷重であり、
   上記
   

   

   は学習済みニューラルネットワークのしきい値であり、
   上記
   

   

   は、前記学習済みニューラルネットワークの出力であり、Ｌは層番号であり、ｋは記憶定数で０以上で１未満の値をとるパラメータであることを特徴とする請求項５に記載の不規則時系列データの学習・予測方法。

Images