JPH09128361A

JPH09128361A - レカレントニューラルネットの入力量処理方法

Info

Publication number: JPH09128361A
Application number: JP8217589A
Authority: JP
Inventors: Volker Tresp; トレスプフォルカー
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1995-08-21
Filing date: 1996-08-19
Publication date: 1997-05-16
Also published as: US5706401A; DE19530647C1

Abstract

(57)【要約】【課題】ニューラルネットの時間的に順次に到来する
入力量の品質を改善する方法を提供する。【解決手段】統計的ノイズ分布を求め及び／又は前も
って与え、時系列の中で欠落値に隣接する少なくとも１
つの測定値から、既知の統計的ノイズ分布により測定値
の統計的欠落値−ノイズ分布を計算し、欠落値の計算
を、欠落値−ノイズ分布により欠落値の少なくとも２つ
の、欠落値を置換するモンテカルロ標本を抽出すること
により行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ニューラルネット
の入力量処理方法に関する。

【０００２】

【従来の技術】ニューラルネットは、多様な技術分野で
使用され始めている。複雑な技術的関連と不充分な情報
とから決定を導出しなければならないすべての場合にニ
ューラルネットはとりわけ適することが分かった。１つ
又は複数の出力量を形成するためにニューラルネットに
例えば１つ又は複数の入力量が供給される。これを実現
するためにこの形式のネットはまず初めに、特別の用途
のために訓練される。ニューラルネットは、多数の用途
においてとりわけ適することが分かった、何故ならばニ
ューラルネットはユニバーサルな近似法であるからであ
る。

【０００３】しかし、ニューラルネットの使用に関連し
て頻繁に発生する問題は、しばしば訓練のための入力デ
ータが不完全であったり、ネットを作動する際に入力デ
ータが不完全であることである。このことと、１つの時
系列を形成するために用いられニューラルネットに供給
される測定値がしばしば不正確であったりノイズを含む
事実とにより、ネットの学習結果が部分的に不良とな
る。

【０００４】

【発明が解決しようとする課題】本発明の課題は、ニュ
ーラルネットの時間的に順次に到来する入力量の品質を
改善する方法を提供することにある。例えば、本発明の
方法により欠落していたり、ノイズが混入しているデー
タを完全なデータにする方法を提供することである。

【０００５】

【課題を解決するための手段】上記課題は本発明によ
り、離散時点に対して入力量を求めて、変化する入力量
の測定値の１つの集合から１つの時系列を形成し、前記
測定値に重畳された無相関の、時間平均値が零であり有
限な分散を有するノイズから、統計的ノイズ分布を求め
及び／又は前もって与え、時系列の中で欠落値に隣接す
る少なくとも１つの測定値から、既知の統計的ノイズ分
布により前記測定値の統計的欠落値−ノイズ分布を計算
し、欠落値の計算を、前記欠落値−ノイズ分布により前
記欠落値の少なくとも２つの、前記欠落値を置換するモ
ンテカルロ標本を抽出して行うことにより、前記時系列
の中の欠落している測定値を欠落値として処理すること
により解決される。

【０００６】本発明のその他の有利な実施の形態は、従
属項に記載されている。

【０００７】本発明の方法の１つの重要な利点は、ニュ
ーラルネットに供給される欠落値又はノイズ含有値が、
時系列の中の値の連続した列の構成部分であることが利
用されることにある。その他の値の既知の誤差分布確率
は、欠落値に対して本発明の方法により１つの予測誤差
分布とひいては予測値とを計算するために使用できるの
で、有利である。

【０００８】本発明の方法により、時系列の中の互いに
隣接する欠落値も求めることができ、有利である。これ
を実現するために反復法が用いられ、この反復法は、一
方の値をまず初めに求め、次いで他方の値を、前述の値
から得られたデータから求める。この反復操作は複数回
行うことができ、これにより、求める値の充分な精度が
保証される。

【０００９】本発明の方法により、時系列をシミュレー
トするニューラルネットも訓練できる、何故ならば学習
ステップ幅が、モンテカルロ標本の数に関連するからで
ある。

【００１０】時系列の入力量の誤差特性に対してガウス
分布が仮定されるか又は定められる、何故ならばこれ
は、実際に近い値にほぼ相応する分布であるからであ
る。

【００１１】本発明の方法では簡単な数学的手段を用い
て、測定値を適切に処理してニューラルネットを訓練で
きる。

【００１２】本発明では、ノイズ含有測定値を処理する
か、又は既知のノイズ成分及び未知のノイズ成分を含む
測定値を処理して、ニューラルネットを簡単かつ効率的
に訓練する手段が提供されるので、有利である。

【００１３】

【発明の実施の形態】次に本発明を実施の形態に基づき
図を用いて詳細に説明する。

【００１４】図１は、例えばニューラルネットに供給さ
れる測定値の時系列を示す。これらの測定値の時間的順
序に従ってこれらの測定値は例えば技術的システムによ
り検出され、これらの測定値の時間的順序に従ってｙ_t
〜ｙ_t-6により示されている。個々の正方形の間の図示
の矢印は、異なる値の間の相互依存性を示す。例えば図
１では、ｙ_t-2が欠落していると想定している。マルコ
フブランケットの中の重要な値、すなわちこの欠落して
いる値に隣接している値はｙ_t-4、ｙ_t-3、ｙ_t-1及びｙ_t
である。１つの時系列の中のこのような欠落値は例え
ば、当該の時点で測定器が機能せず値を受取らなかった
ことにより発生するか、又は、ニューラルネットをより
良好に訓練するためには個々の測定値の間で、これから
まだ定める１つの別の値すなわち本発明により形成され
る１つの別の値をニューラルネットに供給する方が好適
であると判断されることにより発生する。

【００１５】図２は、図１の時系列を、レカレントニュ
ーラルネットＮＮと関連させて示す。ｙが時間に依存す
る変数であり、この変数は技術的システムのシステム特
性ＳＹを示すことが分かる。図から分かるように値ｙ_t
〜ｙ_t-6は、システム特性ＳＹから得られる測定値に相
当する。その都度の時点での破線の矢印により、これら
の測定値が訓練の際にニューラルネットＮＮに供給され
ることが示されている。

【００１６】図１の場合と同様、時点ｙ_t-2に対する当
該の測定値Ｍは存在しない。この測定値Ｍに対してこの
測定値の確率密度εが示されている。この確率密度εは
例えば本発明の方法により、その他の既知の測定値の前
もって与えられている既知の誤差分布密度から逆算でき
る。この場合とりわけ、欠落測定値が２つの隣接測定値
の間に位置し、従ってこの欠落測定値の誤差も、当該の
時系列の隣接測定値及びその他の測定値により制限され
ている事実が利用される。基礎となる時系列は次式によ
り表せる。

【００１７】ｙ_t＝ｆ（ｙ_t-1,ｙ_t-2,...,ｙ_t-N）＋ε_t （１）この場合、ｆは既知であるか、又はニューラルネットに
より十分にモデル化される。ε_tは、時間的平均値０を
有する加算的な、無相関の誤差を意味する。この誤差
は、既知の又は前もって与えられている確率密度Ｐ
_ε（ε）を有し、これは、本発明の方法にとって重要で
あり、この誤差は、当該時系列のモデル化されないダイ
ナミック性を典型的に表す。例えば本発明の方法により
完全化される時系列に対して未来の値が予測されなけれ
ばならない。未来値は、瞬時に選択された時間位置に対
して相対的であることに注意されたい。つまり、時点ｙ
_t-5に対して時点ｙ_t-4は未来値である。この前提の下
に、当該時系列の予測値に対して条件付き確率密度が次
式に表せる。

【００１８】Ｐ（ｙ_t｜ｙ_t-1,ｙ_t-2,...,ｙ_t-N）＝Ｐε（ｙ−ｆ（ｙ_t-1,ｙ_t-2,...,ｙ_t-N））（２）前述のように誤差分布密度は既知でなければならない。
この分布密度は、システム特性及び既知のその他の外部
量に基づいて求めることができるか又は前もって与える
ことができる。実際の上で発生する典型的な誤差分布
は、ガウス分布である。このような仮定されるガウス分
布により条件付き確率密度は次式により表せる。

【００１９】Ｐ（ｙ_t｜ｙ_t-1,ｙ_t-2,...,ｙ_t-N）＝Ｇ（ｙ_t；ｆ（ｙ_t-1,...,ｙ_t-N）,σ²）（３）ただし、Ｇ（ｘ；ｃ，σ²）は、ｘにおいて求められ中
心Ｃ及び変数σ²を有する正常密度を意味する。表現す
るシステムが、１つの時間軸の上の複数の値から成る１
つの列の形で表されることを前提とすると、ｙ_tの個々
の値は、確率的ネットワークの中のランダム変数として
表すことができる。この場合に本発明の基礎となる問題
は、時系列の１つの値を予測することにあり、この予測
を、その他の値からの存在する情報をできるだけ完全に
使用することにより実現することにある。前もって行わ
れた仮定を前提として、時系列の全体の確率密度は次式
により表せる。

【００２０】

【数１０】

【００２１】この場合、ｙ_t-k（ただしｋ≦Ｎ）が欠落
値であると想定されている。

【００２２】ｙ^u＝｛ｙ_t-k｝及びｙ^m＝｛ｙ_t-1,...,ｙ
_t-k-N｝＼｛ｙ_t-k｝が成立つとの前提の下に、時系列の
中の予測する予測値は次式により表せる。

【００２３】

【数１１】

【００２４】ただしこの場合に次のことを前提とする。

【００２５】Ｍ_t-1は、時点ｔ−１までのすべての測定
値に対して有効である。前述の式は、欠落するデータを
有する予測のための基礎となる式である。この場合、未
知変数ｙ_t-kが時点ｔ−ｋの前の時系列の値に依存する
だけでなく、時点ｔ−ｋの後の測定値にも依存すること
に特に注意されたい。その理由は、ｙ^m∪ｙ_tの中の変
数はｙ_t-kの最小マルコフブランケットを形成すること
にある。この最小マルコフブランケットは、１つの変数
の直接の祖先と直接の子孫と、この直接の子孫の変数の
すべての直接の祖先とから成る。図２の当該の例では、
直接の子孫はｙ_t...ｙ_t-k+1である。直接の祖先はｙ
_t-k-1...ｙ_t-k-Nである。変数の子孫の直接の両親はｙ
_t-1...ｙ_t-k-N+1である。

【００２６】理論的基礎から、１つの変数は、マルコフ
ブランケットの中の変数が既知の場合にはこのネットワ
ークの１つの別の変数とは無関係であることが知られて
いる。従って所要条件付き確率密度は式（５）から次式
により表される。

【００２７】Ｐ（ｙ^u｜ｙ^m）∝Ｐ（ｙ_t-1｜ｙ_t-2,...,ｙ_t-k,...,ｙ_t-1-N） ×Ｐ（ｙ_t-2｜ｙ_t-3,...,ｙ_t-k,...,ｙ_t-2-N）．．．Ｐ（ｙ_t-k｜ｙ_t-k-1,...,ｙ_t-k-N）（５ｂ）１つの欠落測定値に関する前述の場合は、本発明を制限
することなしに複数の互いに隣接する欠落測定値に一般
化して適用できる。この場合、例えば本発明の方法によ
りまず初めに一方の値を、この値の隣人及び親及び祖先
に基づいて求め、この求められた値により他方の値を求
める。これは充分な精度が得られるまで往復して行うこ
とができる。この場合次式が成立つ。

【００２８】ｙ^u⊆｛ｙ_t-1,ｙ_t-2,...,ｙ_t-n｝（５ｃ）この式は、時点ｔ−１と時点ｔ−Ｎとの間の当該時系列
のすべての欠落値に対して成立ち、その際、さらに次式
が成立つ。

【００２９】ｙ^m⊆｛ｙ_t-1,ｙ_t-2,...,ｙ₁｝（５ｄ）この式は、時点ｔ−１までのすべての測定値の数を表
す。

【００３０】次式も成立つ。

【００３１】Ｐ（ｙ^u｜ｙ^m）α Ｐ（ｙ_t-1,...,ｙ₂,ｙ₁）（５ｅ）ただし５ｅの右側が式（４）から得られる。一般的に関
数ｆ（）のための前述の式の積分は、この関数が非線形
関数である場合には解析的に解けない。モンテカルロ標
本の抽出を用いての数値解法の詳細を図３に関連して説
明する。

【００３２】図３は１つのニューラルネットの２つの例
ＮＮ１及びＮＮ２を示す。第１にこれは、ＮＮ１はある
１つの時点で存在し、ＮＮ２は１つの別の時点に存在す
ると解釈できるが、しかし第２に、２つの完全に異なる
ニューラルネットであるとも解釈できる。２つのデータ
線が示され、これらのデータ線によりニューラルネット
は互いに通信でき、２つのネットが同一の場合には、こ
れらのデータ線により、時間的に順次に続くデータ交換
動作が考えられる。ＮＮ２はデータを、データ区間１５
０を介してＮＮ２に伝送する。図１及び図２に示されて
いる時系列の個々の値は、簡単のために図３では示され
ていない。しかし依然として図１及び図１における前提
が有効であることに注意されたい。

【００３３】欠落しているデータを有するネットを訓練
する場合に例えば次の関係が有効である。ｙ₁,...ｙ_tが
時系列の可能な値を表す場合、ｙ^m⊆｛ｙ₁,...,ｙ_t｝は
すべての測定値を示し、ｙ^u＝｛ｙ₁,...,ｙ_t｝＼ｙ^mは
すべての未知の値を示す。関数ｆがモデル化されるニュ
ーラルネットＮＮは、例えば１組の重みｗによりパラメ
ータ化される。この場合に次式が成立つ。

【００３４】

【数１２】

【００３５】しかし本発明を制限することなしに、別の
既知のパラメータ化されている関数近似法を適用するこ
ともできる。対数確率関数は、対数尤度関数とも呼ば
れ、次式により表せる。

【００３６】

【数１３】

【００３７】この場合に全体の確率密度は次式により近
似される。

【００３８】

【数１４】

【００３９】更に、ニューラルネットにおいては、誤差
分布密度を計算するための次式が成立つ。

【００４０】

【数１５】

【００４１】逆伝搬又はその他のグラディエントを用い
る学習アルゴリズムを用いての学習のために、対数確率
関数のグラディエントも必要となり、このグラディエン
トは次式により表せる。

【００４２】

【数１６】

【００４３】この場合、ｙ₁，．．．，ｙ_Nのための初期
条件から出発していることに注意されたい。誤差分布に
対してガウス分布が存在する場合には、前述の式から次
式が得られる。

【００４４】

【数１７】

【００４５】ただし、ｙ^u(l)＝ｙ^u∩｛ｙ_l,...ｙ_l-N｝
は、ネットワークの入力側の欠落値を表し、８ａは、す
べてのｙ_l...ｙ_l-Nが既知の場合には積分は消えること
を示す。

【００４６】１つの付加的なノイズが測定値に重畳され
ると、次のような関係が得られる。例えば次式が成立
つ。

【００４７】ｙ_t＝ｆ（ｙ_t-1,ｙ_t-2,...,ｙ_t-N）＋ε_t しかし本発明のこの変形ではｙ_ｔへの直接のアクセスは
存在しない。その代わりに次式の時系列が測定される。

【００４８】ｚ_t＝ｙ_t＋δ_t ただし、δ_tは平均値零を有する独立ノイズである。

【００４９】ｚ＝｛ｚ₁...ｚ_t-1｝及びｙ＝｛ｙ₁...
ｙ_t｝であるとの前提の下に全体の確率密度が次式によ
り得られる。

【００５０】

【数１８】

【００５１】これにより、当該時系列の次の予測値を計
算する方法が次式により得られる。

【００５２】

【数１９】

【００５３】同様に、訓練のための確率関数のグラディ
エントも計算できる。ノイズのガウス分布が次式により
与えられているとする。

【００５４】ｚ＝｛ｚ₁...ｚ_t｝この場合、次式が得られる。

【００５５】

【数２０】

【００５６】本発明の方法の１つの変形ではニューラル
ネットに例えば、ノイズが混入しているか又は正確に求
めることができない値が供給される。この場合、ニュー
ラルネットの中の重みの近似により、ニューラルネット
によりシミュレートされる関数ｆを介して、当該時系列
の新しい値を求めることができる。時系列のこれらの新
しい値は、引き続いてデータ区間１５０を介して別のニ
ューラルネットＮＮ２に供給され、ニューラルネットＮ
Ｎ２はこの値から、再び関数ｆをシミュレートすること
により時系列の新しい値を求める。この反復操作は、求
める値の充分な精度が得られるまで継続される。

【００５７】モンテカルロ法を用いて欠落値を正確に求
めるために、次の基礎から出発する。この場合、すべて
の解決法が次式の形を有することに注意されたい。

【００５８】

【数２１】

【００５９】ただしｕは未知変数の組であり、ｍは既知
変数の組である。この形の積分は例えば、未知変数のラ
ンダム標本がＰ（ｕ｜ｍ）により抽出されることにより
解決される。例えばこれらの標本はｕ¹，．．．，ｕ^sに
より示される。これから近似を表す次式が得られる。

【００６０】

【数２２】

【００６１】この式においてｕは欠落値ｙ_t-kに相当す
ることに注意されたい。この本発明の解決法により問題
は、Ｐ（ｕ｜ｍ）から標本を抽出することに帰着する。
従って、ただ１つの変数のみが欠落している場合、この
問題は、１つの変数分布からの標本抽出に帰着し、これ
は”サンプリング・インポータンス・リサンプリング”
又はその他のサンプリング技術［１］により行うことが
できる。

【００６２】２つ以上の測定値が欠落する場合、状況は
いくらか複雑になる。その理由は、未知変数が通常は互
いに依存し、すべての未知変数の分布から抽出しなけれ
ばならないことにある。このための１つの一般的解決法
は、ギブスサンプリング［１］である。ギブスサンプリ
ングでは未知変数が、ランダム値又はより良好には予測
初期値により初期化され、予測初期値は例えば、欠落値
に隣接する値から導出される。次いで未知変数ｕ_iが選
択され、Ｐ（ｕ_i｜ｍ，ｕ＼ｕ_i）から１つの標本が抽出
される。次いでｕ_iがこの値に設定される。次いで次の
未知変数に対してこのプロセスが繰返され、以下同様。
例えば第１の標本を除いて、標本は有利には、正確な誤
差分布密度で抽出される。しかしこれは、当該時系列の
中に現れたことのあるすべての未知変数に対して標本が
抽出されなければならないことを意味する。しかし実際
の上では例えば標本が抽出される時間ウィンドウを、適
切な大きさに制限できる。例えばこの大きさは、欠落値
に対するマルコフブランケットの大きさに相当する。こ
の場合、２つの欠落値の間にＮ個の順次連続する値が既
知である場合に未知数と未知数との間の結合が突然発現
し、従って当該時系列の中のその他の値を考慮すること
は不要であることに注意されたい。

【００６３】未来値のための標本抽出は、本発明の方法
では非常に簡単である。しかし、標本抽出は決定性シス
テム（ｄｅｔｅｒｍｉｎｉｓｔｉｓｃｈｅＳｙｓｔｅ
ｍ）に対しては機能しないことに注意されたい。本発明
の方法により、このとりわけ複雑に見える状況に対する
とりわけ簡単な解決法が発見される。時系列の値を予測
するために、相応する分布に従って抽出された値が置換
され、いずれの値が本発明の方法により欠落値を形成す
るかに関する予想が求められる。ネットを訓練する際、
例えば誤差グラディエントの平均値が形成され、これ
は、誤差グラディエントを計算するために時系列の、標
本により求められた値が使用されることにより実現され
る。モンテカルロ法により標本を抽出する際に例えば次
のようにすることができる。

【００６４】例えば時系列の未来の中のＫステップを予
測する。前述の式に関連してこれは、値ｙ_t-1,...,ｙ
_t-K+1が欠落し、これらの全体の下にｙ_tを予測すること
を意味する。これらの前提の下ではモンテカルロ法は非
常に簡単である。まず初めに例えば分布Ｐ（ｙ_t-K+1｜
ｙ_t-K,...ｙ_t-K-N）から１つの標本が抽出される。この
標本はｙ^s _t-K+1により示される。この標本及び先行の測
定値により例えば１つの別の標本ｙ_t-K+2が分布Ｐ（ｙ
_t-K+2｜ｙ^s _t-K+1,...,ｙ_t-K+1-N）から抽出され、以下
同様に繰返され、これは、それぞれの未知変数に対して
それぞれの標本が形成されるまで行われる。このプロセ
スをＳ回繰返すと、次式が得られる。

【００６５】

【数２３】

【００６６】実験結果は、本発明の方法が、標本の数が
少ない場合でさえも、今まで使用された数値解法に比し
て大幅に良好に作業することを示した。

【００６７】

【文献】

【００６８】

【１】Ｂｅｒｎａｒｄｏ，Ｊ．Ｍ．，Ｓｍｉｔｈ，
Ａ．Ｆ．Ｍ．（１９９４）ＢａｙｅｓｉａｎＴｈｅ
ｏｒｙ．Ｗｉｌｅｙ＆Ｓｏｎｓ，ｐｐ３４９−３
５５．

【００６９】

【２】Ｂｕｎｔｉｎｅ，Ｗ．Ｌ．ａｎｄＷｅｉ
ｇｅｎｄ，Ａ．Ｓ．（１９９１）．Ｂａｙｅｓｉａｎ
Ｂａｃｋ−Ｐｒｏｐａｇｎａｔｉｏｎ．Ｃｏｍｐｌ
ｅｘｓｙｓｔｅｍｓ，Ｖｏｌ．５，ｐｐ．６０５−６
４３．

【００７０】

【３】Ｇｈａｈｒａｍａｎｉ，Ｚ．ａｎｄＪｏｒ
ｄａｎ，Ｍ．Ｉ．（１９９４）ＳｕｐｅｒｖｉｓｅｄＬｅａｒｎｉｎｇｆｒｏｍ
ＩｎｃｏｍｐｌｅｔｅＤａｔａｖｉａａｎＥＭ
ａｐｐｒｏａｃｈ．Ｉｎ：Ｃｏｗａｎ，Ｊ．Ｄ．
ｅｔａｌ．，ｅｄｓ．，Ａｄｖａｎｃｅｓｉｎ
ＮｅｕｒａｌＩｎｆｏｒｍａｔｉｏｎＰｒｏｃｅｓ
ｓｉｎｇＳｙｓｔｅｍｓ６，ＭｏｒｇａｎＫａ
ｕｆｍａｎ．

【００７１】

【４】Ｔｒｅｓｐ，Ｖ．Ａｈｍｅｄ，Ｓ．ａ
ｎｄＮｅｕｎｅｉｅｒ，Ｒ．（１９９４）．Ｔｒａ
ｉｎｉｎｇＮｅｕｒａｌＮｅｔｗｏｒｋｓｗｉｔ
ｈＤｅｆｉｃｉｅｎｔＤａｔａ．Ｉｎ：Ｃｏｗ
ａｎ，Ｊ．Ｄ．ｅｔａｌ．，ｅｄｓ．，Ａｄ
ｖａｎｃｅｓｉｎＮｅｕｒａｌＩｎｆｏｒｍａｔ
ｉｏｎＰｒｏｃｅｓｓｉｎｇＳｙｓｔｅｍｓ６，
ＭｏｒｇａｎＫａｕｆｍａｎ．

【図面の簡単な説明】

【図１】時系列を示す概念図である。

【図２】時系列及びシステム特性を示す線図である。

【図３】訓練されるニューラルネットを示すブロック回
路図である。

【符号の説明】

１００，１５０データ区間ＮＮ１，２ニューラルネットＳＹシステム特性

Claims

【特許請求の範囲】

【請求項１】ａ）離散時点に対して入力量を求め
て、変化する入力量の測定値の１つの集合から１つの時
系列を形成し、ｂ）前記測定値に重畳された無相関の、時間平均値が
零であり有限な分散を有するノイズから、統計的ノイズ
分布を求め及び／又は前もって与え、ｃ）時系列の中で欠落値に隣接する少なくとも１つの
測定値から、既知の統計的ノイズ分布により前記測定値
の統計的欠落値−ノイズ分布を計算し、欠落値の計算
を、前記欠落値−ノイズ分布により前記欠落値の少なく
とも２つの、前記欠落値を置換するモンテカルロ標本を
抽出して行うことにより、前記時系列の中の欠落してい
る測定値を欠落値として処理することを特徴とするニュ
ーラルネットの入力量処理方法。
【請求項２】欠落値に対して複数のモンテカルロ標本
を抽出して、前記モンテカルロ標本の予想値を求め、前
記予想値を、前記標本を介して求められたすべての予想
値からの算術平均値として計算することによって、時系
列の中の予測欠落値を予想値として求めることを特徴と
する請求項１に記載のレカレントニューラルネットの入
力処理方法。
【請求項３】時系列の欠落しており互いに直接に隣接
している２つの測定値のうち、まず初めに第１の値を処
理し、次いで、まず初めに処理された前記第１の値を用
いて第２の値を求めることを特徴とする請求項１又は請
求項２に記載のレカレントニューラルネットの入力処理
方法。
【請求項４】複数回行うことを特徴とする請求項１か
ら請求項３のうちのいずれか１つの請求項に記載のレカ
レントニューラルネットの入力処理方法。
【請求項５】ニューラルネットを時系列に基づいて、
１つの技術的システムの前記時系列を表す特性により訓
練し、１つの学習ステップで逆伝搬の際に、ニューラル
ネットの１に正規化されている入力量のための学習ステ
ップ幅を、抽出されたモンテカルロ標本の数により除算
して０．１に定めることを特徴とする請求項１から請求
項４のうちのいずれか１つの請求項に記載のレカレント
ニューラルネットの入力処理方法。
【請求項６】統計的ノイズ分布としてガウス分布を使
用することを特徴とする請求項１から請求項５のうちの
いずれか１つの請求項に記載のレカレントニューラルネ
ットの入力処理方法。
【請求項７】次式により表せる時系列を有し、ｙ_t＝ｆ（ｙ_t-1,ｙ_t-2,...,ｙ_t-N）＋ε_t （１ａ）ただし、ε_tは統計的ノイズ分布、ｙは前記時系列の測
定値、ｙ_tはニューラルネットが予測する欠落値であ
り、前記関数ｆは既知であるか、又は前記関数ｆをニューラ
ルネットワークによりモデル化し、統計的誤差分布密度
を次式により求め、Ｐε（ｙ_t-1−ｆ（ｙ_t-1,ｙ_t-2,...,ｙ_t-N））＝Ｐ（ｙ_t｜ｙ_t-1,ｙ_t-2,...,ｙ_t-N）（２ａ）前記統計的誤差分布からモンテカルロ標本
ｙ_t-k ¹,.....,ｙ_t-k ^sを抽出し、抽出された前記モンテ
カルロ標本により、ニューラルネットワークが次式の欠
落値を予測し、【数１】ただし、ｙ_t-kは時系列の中の欠落測定値、ｋ≦Ｎｍは時系列のすべての既知の値、Ｓは標本の数であることを特徴とする請求項１から請求
項６のうちのいずれか１つの請求項に記載のレカレント
ニューラルネットの入力処理方法。
【請求項８】ニューラルネットを、少なくとも１つの
処理された値により次式の学習関数により訓練し、【数２】ただし、ｗはニューロン重み、Ｌは対数確率関数、ηは
学習係数であり、次式が成立ち、【数３】ただし、ＮＮ_wはニューラルネットからの関数の値であ
り、【外１】Ｐ^M（ｙ¹｜ｙ^m）ただし、ｍは時系列のすべての既知の測定値であること
を特徴とする請求項５から請求項７のうちのいずれか１
つの請求項に記載のレカレントニューラルネットの入力
処理方法。
【請求項９】ニューラルネットを、少なくとも１つの
処理された値により次式の学習関数により訓練し、【数４】その際に次式が成立ち、【数５】ただしＮＮ_wはニューラルネットからの関数の値であ
り、【外２】Ｐ^M（ｙ¹｜ｙ^m）ただし、ｍは時系列のすべての既知の測定値であること
を特徴とする請求項６に記載のレカレントニューラルネ
ットの入力処理方法。
【請求項１０】測定値の統計的ノイズ分布が既知でな
く、前記測定値に別のノイズが重畳されており、前記ノ
イズの統計的ノイズ分布は次式で表される時系列により
既知であるか又は前もって与えられ、ｚ_t＝ｙ_t＋δ＝ｆ（ｙ_t-1,ｙ_t-2,...,ｙ_t-N）＋ε_t （１ａ^＊）ただし、ε_tは未知の統計的ノイズ分布、δ_tは既知の統
計的ノイズ分布、ｙは前記時系列の測定値、ｙ_tはニュ
ーラルネットが予測する値であり、統計的誤差分布密度は次式により求められ、Ｐε（ｙ_t-1−ｆ（ｙ_t-1,ｙ_t-2,...,ｙ_t-N））＝Ｐ（ｙ_t｜ｙ_t-1,ｙ_t-2,...,ｙ_t-N）（２ａ^＊）全体の確率密度を時系列を介して次式により求め、【数６】従ってニューラルネットが予測する欠落値を、少なくと
も１つの処理された値から次式により求め、【数７】ただし、次式に対して、Ｐ（ｙ_t-1,...,ｙ_t-N｜ｚ）モンテカルロ標本を抽出することを特徴とする請求項１
から請求項９のうちのいずれか１つの請求項に記載のニ
ューラルネットの入力量処理方法。
【請求項１１】ニューラルネットを２つの次式により
訓練し、【数８】【数９】ただし、ｗはニューロン重み、Ｌは対数確率関数、ηは
学習係数であることを特徴とする請求項６又は請求項１
０に記載のニューラルネットの入力量処理方法。