JPH09128361A - レカレントニューラルネットの入力量処理方法 - Google Patents
レカレントニューラルネットの入力量処理方法Info
- Publication number
- JPH09128361A JPH09128361A JP8217589A JP21758996A JPH09128361A JP H09128361 A JPH09128361 A JP H09128361A JP 8217589 A JP8217589 A JP 8217589A JP 21758996 A JP21758996 A JP 21758996A JP H09128361 A JPH09128361 A JP H09128361A
- Authority
- JP
- Japan
- Prior art keywords
- value
- neural network
- time series
- missing
- processing method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Complex Calculations (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
(57)【要約】
【課題】 ニューラルネットの時間的に順次に到来する
入力量の品質を改善する方法を提供する。 【解決手段】 統計的ノイズ分布を求め及び/又は前も
って与え、時系列の中で欠落値に隣接する少なくとも1
つの測定値から、既知の統計的ノイズ分布により測定値
の統計的欠落値−ノイズ分布を計算し、欠落値の計算
を、欠落値−ノイズ分布により欠落値の少なくとも2つ
の、欠落値を置換するモンテカルロ標本を抽出すること
により行う。
入力量の品質を改善する方法を提供する。 【解決手段】 統計的ノイズ分布を求め及び/又は前も
って与え、時系列の中で欠落値に隣接する少なくとも1
つの測定値から、既知の統計的ノイズ分布により測定値
の統計的欠落値−ノイズ分布を計算し、欠落値の計算
を、欠落値−ノイズ分布により欠落値の少なくとも2つ
の、欠落値を置換するモンテカルロ標本を抽出すること
により行う。
Description
【0001】
【発明の属する技術分野】本発明は、ニューラルネット
の入力量処理方法に関する。
の入力量処理方法に関する。
【0002】
【従来の技術】ニューラルネットは、多様な技術分野で
使用され始めている。複雑な技術的関連と不充分な情報
とから決定を導出しなければならないすべての場合にニ
ューラルネットはとりわけ適することが分かった。1つ
又は複数の出力量を形成するためにニューラルネットに
例えば1つ又は複数の入力量が供給される。これを実現
するためにこの形式のネットはまず初めに、特別の用途
のために訓練される。ニューラルネットは、多数の用途
においてとりわけ適することが分かった、何故ならばニ
ューラルネットはユニバーサルな近似法であるからであ
る。
使用され始めている。複雑な技術的関連と不充分な情報
とから決定を導出しなければならないすべての場合にニ
ューラルネットはとりわけ適することが分かった。1つ
又は複数の出力量を形成するためにニューラルネットに
例えば1つ又は複数の入力量が供給される。これを実現
するためにこの形式のネットはまず初めに、特別の用途
のために訓練される。ニューラルネットは、多数の用途
においてとりわけ適することが分かった、何故ならばニ
ューラルネットはユニバーサルな近似法であるからであ
る。
【0003】しかし、ニューラルネットの使用に関連し
て頻繁に発生する問題は、しばしば訓練のための入力デ
ータが不完全であったり、ネットを作動する際に入力デ
ータが不完全であることである。このことと、1つの時
系列を形成するために用いられニューラルネットに供給
される測定値がしばしば不正確であったりノイズを含む
事実とにより、ネットの学習結果が部分的に不良とな
る。
て頻繁に発生する問題は、しばしば訓練のための入力デ
ータが不完全であったり、ネットを作動する際に入力デ
ータが不完全であることである。このことと、1つの時
系列を形成するために用いられニューラルネットに供給
される測定値がしばしば不正確であったりノイズを含む
事実とにより、ネットの学習結果が部分的に不良とな
る。
【0004】
【発明が解決しようとする課題】本発明の課題は、ニュ
ーラルネットの時間的に順次に到来する入力量の品質を
改善する方法を提供することにある。例えば、本発明の
方法により欠落していたり、ノイズが混入しているデー
タを完全なデータにする方法を提供することである。
ーラルネットの時間的に順次に到来する入力量の品質を
改善する方法を提供することにある。例えば、本発明の
方法により欠落していたり、ノイズが混入しているデー
タを完全なデータにする方法を提供することである。
【0005】
【課題を解決するための手段】上記課題は本発明によ
り、離散時点に対して入力量を求めて、変化する入力量
の測定値の1つの集合から1つの時系列を形成し、前記
測定値に重畳された無相関の、時間平均値が零であり有
限な分散を有するノイズから、統計的ノイズ分布を求め
及び/又は前もって与え、時系列の中で欠落値に隣接す
る少なくとも1つの測定値から、既知の統計的ノイズ分
布により前記測定値の統計的欠落値−ノイズ分布を計算
し、欠落値の計算を、前記欠落値−ノイズ分布により前
記欠落値の少なくとも2つの、前記欠落値を置換するモ
ンテカルロ標本を抽出して行うことにより、前記時系列
の中の欠落している測定値を欠落値として処理すること
により解決される。
り、離散時点に対して入力量を求めて、変化する入力量
の測定値の1つの集合から1つの時系列を形成し、前記
測定値に重畳された無相関の、時間平均値が零であり有
限な分散を有するノイズから、統計的ノイズ分布を求め
及び/又は前もって与え、時系列の中で欠落値に隣接す
る少なくとも1つの測定値から、既知の統計的ノイズ分
布により前記測定値の統計的欠落値−ノイズ分布を計算
し、欠落値の計算を、前記欠落値−ノイズ分布により前
記欠落値の少なくとも2つの、前記欠落値を置換するモ
ンテカルロ標本を抽出して行うことにより、前記時系列
の中の欠落している測定値を欠落値として処理すること
により解決される。
【0006】本発明のその他の有利な実施の形態は、従
属項に記載されている。
属項に記載されている。
【0007】本発明の方法の1つの重要な利点は、ニュ
ーラルネットに供給される欠落値又はノイズ含有値が、
時系列の中の値の連続した列の構成部分であることが利
用されることにある。その他の値の既知の誤差分布確率
は、欠落値に対して本発明の方法により1つの予測誤差
分布とひいては予測値とを計算するために使用できるの
で、有利である。
ーラルネットに供給される欠落値又はノイズ含有値が、
時系列の中の値の連続した列の構成部分であることが利
用されることにある。その他の値の既知の誤差分布確率
は、欠落値に対して本発明の方法により1つの予測誤差
分布とひいては予測値とを計算するために使用できるの
で、有利である。
【0008】本発明の方法により、時系列の中の互いに
隣接する欠落値も求めることができ、有利である。これ
を実現するために反復法が用いられ、この反復法は、一
方の値をまず初めに求め、次いで他方の値を、前述の値
から得られたデータから求める。この反復操作は複数回
行うことができ、これにより、求める値の充分な精度が
保証される。
隣接する欠落値も求めることができ、有利である。これ
を実現するために反復法が用いられ、この反復法は、一
方の値をまず初めに求め、次いで他方の値を、前述の値
から得られたデータから求める。この反復操作は複数回
行うことができ、これにより、求める値の充分な精度が
保証される。
【0009】本発明の方法により、時系列をシミュレー
トするニューラルネットも訓練できる、何故ならば学習
ステップ幅が、モンテカルロ標本の数に関連するからで
ある。
トするニューラルネットも訓練できる、何故ならば学習
ステップ幅が、モンテカルロ標本の数に関連するからで
ある。
【0010】時系列の入力量の誤差特性に対してガウス
分布が仮定されるか又は定められる、何故ならばこれ
は、実際に近い値にほぼ相応する分布であるからであ
る。
分布が仮定されるか又は定められる、何故ならばこれ
は、実際に近い値にほぼ相応する分布であるからであ
る。
【0011】本発明の方法では簡単な数学的手段を用い
て、測定値を適切に処理してニューラルネットを訓練で
きる。
て、測定値を適切に処理してニューラルネットを訓練で
きる。
【0012】本発明では、ノイズ含有測定値を処理する
か、又は既知のノイズ成分及び未知のノイズ成分を含む
測定値を処理して、ニューラルネットを簡単かつ効率的
に訓練する手段が提供されるので、有利である。
か、又は既知のノイズ成分及び未知のノイズ成分を含む
測定値を処理して、ニューラルネットを簡単かつ効率的
に訓練する手段が提供されるので、有利である。
【0013】
【発明の実施の形態】次に本発明を実施の形態に基づき
図を用いて詳細に説明する。
図を用いて詳細に説明する。
【0014】図1は、例えばニューラルネットに供給さ
れる測定値の時系列を示す。これらの測定値の時間的順
序に従ってこれらの測定値は例えば技術的システムによ
り検出され、これらの測定値の時間的順序に従ってyt
〜yt-6により示されている。個々の正方形の間の図示
の矢印は、異なる値の間の相互依存性を示す。例えば図
1では、yt-2が欠落していると想定している。マルコ
フブランケットの中の重要な値、すなわちこの欠落して
いる値に隣接している値はyt-4、yt-3、yt-1及びyt
である。1つの時系列の中のこのような欠落値は例え
ば、当該の時点で測定器が機能せず値を受取らなかった
ことにより発生するか、又は、ニューラルネットをより
良好に訓練するためには個々の測定値の間で、これから
まだ定める1つの別の値すなわち本発明により形成され
る1つの別の値をニューラルネットに供給する方が好適
であると判断されることにより発生する。
れる測定値の時系列を示す。これらの測定値の時間的順
序に従ってこれらの測定値は例えば技術的システムによ
り検出され、これらの測定値の時間的順序に従ってyt
〜yt-6により示されている。個々の正方形の間の図示
の矢印は、異なる値の間の相互依存性を示す。例えば図
1では、yt-2が欠落していると想定している。マルコ
フブランケットの中の重要な値、すなわちこの欠落して
いる値に隣接している値はyt-4、yt-3、yt-1及びyt
である。1つの時系列の中のこのような欠落値は例え
ば、当該の時点で測定器が機能せず値を受取らなかった
ことにより発生するか、又は、ニューラルネットをより
良好に訓練するためには個々の測定値の間で、これから
まだ定める1つの別の値すなわち本発明により形成され
る1つの別の値をニューラルネットに供給する方が好適
であると判断されることにより発生する。
【0015】図2は、図1の時系列を、レカレントニュ
ーラルネットNNと関連させて示す。yが時間に依存す
る変数であり、この変数は技術的システムのシステム特
性SYを示すことが分かる。図から分かるように値yt
〜yt-6は、システム特性SYから得られる測定値に相
当する。その都度の時点での破線の矢印により、これら
の測定値が訓練の際にニューラルネットNNに供給され
ることが示されている。
ーラルネットNNと関連させて示す。yが時間に依存す
る変数であり、この変数は技術的システムのシステム特
性SYを示すことが分かる。図から分かるように値yt
〜yt-6は、システム特性SYから得られる測定値に相
当する。その都度の時点での破線の矢印により、これら
の測定値が訓練の際にニューラルネットNNに供給され
ることが示されている。
【0016】図1の場合と同様、時点yt-2に対する当
該の測定値Mは存在しない。この測定値Mに対してこの
測定値の確率密度εが示されている。この確率密度εは
例えば本発明の方法により、その他の既知の測定値の前
もって与えられている既知の誤差分布密度から逆算でき
る。この場合とりわけ、欠落測定値が2つの隣接測定値
の間に位置し、従ってこの欠落測定値の誤差も、当該の
時系列の隣接測定値及びその他の測定値により制限され
ている事実が利用される。基礎となる時系列は次式によ
り表せる。
該の測定値Mは存在しない。この測定値Mに対してこの
測定値の確率密度εが示されている。この確率密度εは
例えば本発明の方法により、その他の既知の測定値の前
もって与えられている既知の誤差分布密度から逆算でき
る。この場合とりわけ、欠落測定値が2つの隣接測定値
の間に位置し、従ってこの欠落測定値の誤差も、当該の
時系列の隣接測定値及びその他の測定値により制限され
ている事実が利用される。基礎となる時系列は次式によ
り表せる。
【0017】 yt=f(yt-1,yt-2,...,yt-N)+εt (1) この場合、fは既知であるか、又はニューラルネットに
より十分にモデル化される。εtは、時間的平均値0を
有する加算的な、無相関の誤差を意味する。この誤差
は、既知の又は前もって与えられている確率密度P
ε(ε)を有し、これは、本発明の方法にとって重要で
あり、この誤差は、当該時系列のモデル化されないダイ
ナミック性を典型的に表す。例えば本発明の方法により
完全化される時系列に対して未来の値が予測されなけれ
ばならない。未来値は、瞬時に選択された時間位置に対
して相対的であることに注意されたい。つまり、時点y
t-5に対して時点yt-4は未来値である。この前提の下
に、当該時系列の予測値に対して条件付き確率密度が次
式に表せる。
より十分にモデル化される。εtは、時間的平均値0を
有する加算的な、無相関の誤差を意味する。この誤差
は、既知の又は前もって与えられている確率密度P
ε(ε)を有し、これは、本発明の方法にとって重要で
あり、この誤差は、当該時系列のモデル化されないダイ
ナミック性を典型的に表す。例えば本発明の方法により
完全化される時系列に対して未来の値が予測されなけれ
ばならない。未来値は、瞬時に選択された時間位置に対
して相対的であることに注意されたい。つまり、時点y
t-5に対して時点yt-4は未来値である。この前提の下
に、当該時系列の予測値に対して条件付き確率密度が次
式に表せる。
【0018】 P(yt|yt-1,yt-2,...,yt-N) =Pε(y−f(yt-1,yt-2,...,yt-N)) (2) 前述のように誤差分布密度は既知でなければならない。
この分布密度は、システム特性及び既知のその他の外部
量に基づいて求めることができるか又は前もって与える
ことができる。実際の上で発生する典型的な誤差分布
は、ガウス分布である。このような仮定されるガウス分
布により条件付き確率密度は次式により表せる。
この分布密度は、システム特性及び既知のその他の外部
量に基づいて求めることができるか又は前もって与える
ことができる。実際の上で発生する典型的な誤差分布
は、ガウス分布である。このような仮定されるガウス分
布により条件付き確率密度は次式により表せる。
【0019】 P(yt|yt-1,yt-2,...,yt-N) =G(yt;f(yt-1,...,yt-N),σ2) (3) ただし、G(x;c,σ2)は、xにおいて求められ中
心C及び変数σ2を有する正常密度を意味する。表現す
るシステムが、1つの時間軸の上の複数の値から成る1
つの列の形で表されることを前提とすると、ytの個々
の値は、確率的ネットワークの中のランダム変数として
表すことができる。この場合に本発明の基礎となる問題
は、時系列の1つの値を予測することにあり、この予測
を、その他の値からの存在する情報をできるだけ完全に
使用することにより実現することにある。前もって行わ
れた仮定を前提として、時系列の全体の確率密度は次式
により表せる。
心C及び変数σ2を有する正常密度を意味する。表現す
るシステムが、1つの時間軸の上の複数の値から成る1
つの列の形で表されることを前提とすると、ytの個々
の値は、確率的ネットワークの中のランダム変数として
表すことができる。この場合に本発明の基礎となる問題
は、時系列の1つの値を予測することにあり、この予測
を、その他の値からの存在する情報をできるだけ完全に
使用することにより実現することにある。前もって行わ
れた仮定を前提として、時系列の全体の確率密度は次式
により表せる。
【0020】
【数10】
【0021】この場合、yt-k(ただしk≦N)が欠落
値であると想定されている。
値であると想定されている。
【0022】yu={yt-k}及びym={yt-1,...,y
t-k-N}\{yt-k}が成立つとの前提の下に、時系列の
中の予測する予測値は次式により表せる。
t-k-N}\{yt-k}が成立つとの前提の下に、時系列の
中の予測する予測値は次式により表せる。
【0023】
【数11】
【0024】ただしこの場合に次のことを前提とする。
【0025】Mt-1は、時点t−1までのすべての測定
値に対して有効である。前述の式は、欠落するデータを
有する予測のための基礎となる式である。この場合、未
知変数yt-kが時点t−kの前の時系列の値に依存する
だけでなく、時点t−kの後の測定値にも依存すること
に特に注意されたい。その理由は、 ym∪ytの中の変
数はyt-kの最小マルコフブランケットを形成すること
にある。この最小マルコフブランケットは、1つの変数
の直接の祖先と直接の子孫と、この直接の子孫の変数の
すべての直接の祖先とから成る。図2の当該の例では、
直接の子孫はyt...yt-k+1である。直接の祖先はy
t-k-1...yt-k-Nである。変数の子孫の直接の両親はy
t-1...yt-k-N+1である。
値に対して有効である。前述の式は、欠落するデータを
有する予測のための基礎となる式である。この場合、未
知変数yt-kが時点t−kの前の時系列の値に依存する
だけでなく、時点t−kの後の測定値にも依存すること
に特に注意されたい。その理由は、 ym∪ytの中の変
数はyt-kの最小マルコフブランケットを形成すること
にある。この最小マルコフブランケットは、1つの変数
の直接の祖先と直接の子孫と、この直接の子孫の変数の
すべての直接の祖先とから成る。図2の当該の例では、
直接の子孫はyt...yt-k+1である。直接の祖先はy
t-k-1...yt-k-Nである。変数の子孫の直接の両親はy
t-1...yt-k-N+1である。
【0026】理論的基礎から、1つの変数は、マルコフ
ブランケットの中の変数が既知の場合にはこのネットワ
ークの1つの別の変数とは無関係であることが知られて
いる。従って所要条件付き確率密度は式(5)から次式
により表される。
ブランケットの中の変数が既知の場合にはこのネットワ
ークの1つの別の変数とは無関係であることが知られて
いる。従って所要条件付き確率密度は式(5)から次式
により表される。
【0027】 P(yu|ym)∝P(yt-1|yt-2,...,yt-k,...,yt-1-N) ×P(yt-2|yt-3,...,yt-k,...,yt-2-N) ...P(yt-k|yt-k-1,...,yt-k-N) (5b) 1つの欠落測定値に関する前述の場合は、本発明を制限
することなしに複数の互いに隣接する欠落測定値に一般
化して適用できる。この場合、例えば本発明の方法によ
りまず初めに一方の値を、この値の隣人及び親及び祖先
に基づいて求め、この求められた値により他方の値を求
める。これは充分な精度が得られるまで往復して行うこ
とができる。この場合次式が成立つ。
することなしに複数の互いに隣接する欠落測定値に一般
化して適用できる。この場合、例えば本発明の方法によ
りまず初めに一方の値を、この値の隣人及び親及び祖先
に基づいて求め、この求められた値により他方の値を求
める。これは充分な精度が得られるまで往復して行うこ
とができる。この場合次式が成立つ。
【0028】 yu⊆{yt-1,yt-2,...,yt-n} (5c) この式は、時点t−1と時点t−Nとの間の当該時系列
のすべての欠落値に対して成立ち、その際、さらに次式
が成立つ。
のすべての欠落値に対して成立ち、その際、さらに次式
が成立つ。
【0029】 ym⊆{yt-1,yt-2,...,y1} (5d) この式は、時点t−1までのすべての測定値の数を表
す。
す。
【0030】次式も成立つ。
【0031】 P(yu|ym)α P(yt-1,...,y2,y1) (5e) ただし5eの右側が式(4)から得られる。一般的に関
数f()のための前述の式の積分は、この関数が非線形
関数である場合には解析的に解けない。モンテカルロ標
本の抽出を用いての数値解法の詳細を図3に関連して説
明する。
数f()のための前述の式の積分は、この関数が非線形
関数である場合には解析的に解けない。モンテカルロ標
本の抽出を用いての数値解法の詳細を図3に関連して説
明する。
【0032】図3は1つのニューラルネットの2つの例
NN1及びNN2を示す。第1にこれは、NN1はある
1つの時点で存在し、NN2は1つの別の時点に存在す
ると解釈できるが、しかし第2に、2つの完全に異なる
ニューラルネットであるとも解釈できる。2つのデータ
線が示され、これらのデータ線によりニューラルネット
は互いに通信でき、2つのネットが同一の場合には、こ
れらのデータ線により、時間的に順次に続くデータ交換
動作が考えられる。NN2はデータを、データ区間15
0を介してNN2に伝送する。図1及び図2に示されて
いる時系列の個々の値は、簡単のために図3では示され
ていない。しかし依然として図1及び図1における前提
が有効であることに注意されたい。
NN1及びNN2を示す。第1にこれは、NN1はある
1つの時点で存在し、NN2は1つの別の時点に存在す
ると解釈できるが、しかし第2に、2つの完全に異なる
ニューラルネットであるとも解釈できる。2つのデータ
線が示され、これらのデータ線によりニューラルネット
は互いに通信でき、2つのネットが同一の場合には、こ
れらのデータ線により、時間的に順次に続くデータ交換
動作が考えられる。NN2はデータを、データ区間15
0を介してNN2に伝送する。図1及び図2に示されて
いる時系列の個々の値は、簡単のために図3では示され
ていない。しかし依然として図1及び図1における前提
が有効であることに注意されたい。
【0033】欠落しているデータを有するネットを訓練
する場合に例えば次の関係が有効である。y1,...ytが
時系列の可能な値を表す場合、ym⊆{y1,...,yt}は
すべての測定値を示し、yu={y1,...,yt}\ymは
すべての未知の値を示す。関数fがモデル化されるニュ
ーラルネットNNは、例えば1組の重みwによりパラメ
ータ化される。この場合に次式が成立つ。
する場合に例えば次の関係が有効である。y1,...ytが
時系列の可能な値を表す場合、ym⊆{y1,...,yt}は
すべての測定値を示し、yu={y1,...,yt}\ymは
すべての未知の値を示す。関数fがモデル化されるニュ
ーラルネットNNは、例えば1組の重みwによりパラメ
ータ化される。この場合に次式が成立つ。
【0034】
【数12】
【0035】しかし本発明を制限することなしに、別の
既知のパラメータ化されている関数近似法を適用するこ
ともできる。対数確率関数は、対数尤度関数とも呼ば
れ、次式により表せる。
既知のパラメータ化されている関数近似法を適用するこ
ともできる。対数確率関数は、対数尤度関数とも呼ば
れ、次式により表せる。
【0036】
【数13】
【0037】この場合に全体の確率密度は次式により近
似される。
似される。
【0038】
【数14】
【0039】更に、ニューラルネットにおいては、誤差
分布密度を計算するための次式が成立つ。
分布密度を計算するための次式が成立つ。
【0040】
【数15】
【0041】逆伝搬又はその他のグラディエントを用い
る学習アルゴリズムを用いての学習のために、対数確率
関数のグラディエントも必要となり、このグラディエン
トは次式により表せる。
る学習アルゴリズムを用いての学習のために、対数確率
関数のグラディエントも必要となり、このグラディエン
トは次式により表せる。
【0042】
【数16】
【0043】この場合、y1,...,yNのための初期
条件から出発していることに注意されたい。誤差分布に
対してガウス分布が存在する場合には、前述の式から次
式が得られる。
条件から出発していることに注意されたい。誤差分布に
対してガウス分布が存在する場合には、前述の式から次
式が得られる。
【0044】
【数17】
【0045】ただし、yu(l)=yu∩{yl,...yl-N}
は、ネットワークの入力側の欠落値を表し、8aは、す
べてのyl...yl-Nが既知の場合には積分は消えること
を示す。
は、ネットワークの入力側の欠落値を表し、8aは、す
べてのyl...yl-Nが既知の場合には積分は消えること
を示す。
【0046】1つの付加的なノイズが測定値に重畳され
ると、次のような関係が得られる。例えば次式が成立
つ。
ると、次のような関係が得られる。例えば次式が成立
つ。
【0047】yt=f(yt-1,yt-2,...,yt-N)+εt しかし本発明のこの変形ではytへの直接のアクセスは
存在しない。その代わりに次式の時系列が測定される。
存在しない。その代わりに次式の時系列が測定される。
【0048】zt=yt+δt ただし、δtは平均値零を有する独立ノイズである。
【0049】z={z1...zt-1}及びy={y1...
yt}であるとの前提の下に全体の確率密度が次式によ
り得られる。
yt}であるとの前提の下に全体の確率密度が次式によ
り得られる。
【0050】
【数18】
【0051】これにより、当該時系列の次の予測値を計
算する方法が次式により得られる。
算する方法が次式により得られる。
【0052】
【数19】
【0053】同様に、訓練のための確率関数のグラディ
エントも計算できる。ノイズのガウス分布が次式により
与えられているとする。
エントも計算できる。ノイズのガウス分布が次式により
与えられているとする。
【0054】z={z1...zt} この場合、次式が得られる。
【0055】
【数20】
【0056】本発明の方法の1つの変形ではニューラル
ネットに例えば、ノイズが混入しているか又は正確に求
めることができない値が供給される。この場合、ニュー
ラルネットの中の重みの近似により、ニューラルネット
によりシミュレートされる関数fを介して、当該時系列
の新しい値を求めることができる。時系列のこれらの新
しい値は、引き続いてデータ区間150を介して別のニ
ューラルネットNN2に供給され、ニューラルネットN
N2はこの値から、再び関数fをシミュレートすること
により時系列の新しい値を求める。この反復操作は、求
める値の充分な精度が得られるまで継続される。
ネットに例えば、ノイズが混入しているか又は正確に求
めることができない値が供給される。この場合、ニュー
ラルネットの中の重みの近似により、ニューラルネット
によりシミュレートされる関数fを介して、当該時系列
の新しい値を求めることができる。時系列のこれらの新
しい値は、引き続いてデータ区間150を介して別のニ
ューラルネットNN2に供給され、ニューラルネットN
N2はこの値から、再び関数fをシミュレートすること
により時系列の新しい値を求める。この反復操作は、求
める値の充分な精度が得られるまで継続される。
【0057】モンテカルロ法を用いて欠落値を正確に求
めるために、次の基礎から出発する。この場合、すべて
の解決法が次式の形を有することに注意されたい。
めるために、次の基礎から出発する。この場合、すべて
の解決法が次式の形を有することに注意されたい。
【0058】
【数21】
【0059】ただしuは未知変数の組であり、mは既知
変数の組である。この形の積分は例えば、未知変数のラ
ンダム標本がP(u|m)により抽出されることにより
解決される。例えばこれらの標本はu1,...,usに
より示される。これから近似を表す次式が得られる。
変数の組である。この形の積分は例えば、未知変数のラ
ンダム標本がP(u|m)により抽出されることにより
解決される。例えばこれらの標本はu1,...,usに
より示される。これから近似を表す次式が得られる。
【0060】
【数22】
【0061】この式においてuは欠落値yt-kに相当す
ることに注意されたい。この本発明の解決法により問題
は、P(u|m)から標本を抽出することに帰着する。
従って、ただ1つの変数のみが欠落している場合、この
問題は、1つの変数分布からの標本抽出に帰着し、これ
は”サンプリング・インポータンス・リサンプリング”
又はその他のサンプリング技術[1]により行うことが
できる。
ることに注意されたい。この本発明の解決法により問題
は、P(u|m)から標本を抽出することに帰着する。
従って、ただ1つの変数のみが欠落している場合、この
問題は、1つの変数分布からの標本抽出に帰着し、これ
は”サンプリング・インポータンス・リサンプリング”
又はその他のサンプリング技術[1]により行うことが
できる。
【0062】2つ以上の測定値が欠落する場合、状況は
いくらか複雑になる。その理由は、未知変数が通常は互
いに依存し、すべての未知変数の分布から抽出しなけれ
ばならないことにある。このための1つの一般的解決法
は、ギブスサンプリング[1]である。ギブスサンプリ
ングでは未知変数が、ランダム値又はより良好には予測
初期値により初期化され、予測初期値は例えば、欠落値
に隣接する値から導出される。次いで未知変数uiが選
択され、P(ui|m,u\ui)から1つの標本が抽出
される。次いでuiがこの値に設定される。次いで次の
未知変数に対してこのプロセスが繰返され、以下同様。
例えば第1の標本を除いて、標本は有利には、正確な誤
差分布密度で抽出される。しかしこれは、当該時系列の
中に現れたことのあるすべての未知変数に対して標本が
抽出されなければならないことを意味する。しかし実際
の上では例えば標本が抽出される時間ウィンドウを、適
切な大きさに制限できる。例えばこの大きさは、欠落値
に対するマルコフブランケットの大きさに相当する。こ
の場合、2つの欠落値の間にN個の順次連続する値が既
知である場合に未知数と未知数との間の結合が突然発現
し、従って当該時系列の中のその他の値を考慮すること
は不要であることに注意されたい。
いくらか複雑になる。その理由は、未知変数が通常は互
いに依存し、すべての未知変数の分布から抽出しなけれ
ばならないことにある。このための1つの一般的解決法
は、ギブスサンプリング[1]である。ギブスサンプリ
ングでは未知変数が、ランダム値又はより良好には予測
初期値により初期化され、予測初期値は例えば、欠落値
に隣接する値から導出される。次いで未知変数uiが選
択され、P(ui|m,u\ui)から1つの標本が抽出
される。次いでuiがこの値に設定される。次いで次の
未知変数に対してこのプロセスが繰返され、以下同様。
例えば第1の標本を除いて、標本は有利には、正確な誤
差分布密度で抽出される。しかしこれは、当該時系列の
中に現れたことのあるすべての未知変数に対して標本が
抽出されなければならないことを意味する。しかし実際
の上では例えば標本が抽出される時間ウィンドウを、適
切な大きさに制限できる。例えばこの大きさは、欠落値
に対するマルコフブランケットの大きさに相当する。こ
の場合、2つの欠落値の間にN個の順次連続する値が既
知である場合に未知数と未知数との間の結合が突然発現
し、従って当該時系列の中のその他の値を考慮すること
は不要であることに注意されたい。
【0063】未来値のための標本抽出は、本発明の方法
では非常に簡単である。しかし、標本抽出は決定性シス
テム(deterministische Syste
m)に対しては機能しないことに注意されたい。本発明
の方法により、このとりわけ複雑に見える状況に対する
とりわけ簡単な解決法が発見される。時系列の値を予測
するために、相応する分布に従って抽出された値が置換
され、いずれの値が本発明の方法により欠落値を形成す
るかに関する予想が求められる。ネットを訓練する際、
例えば誤差グラディエントの平均値が形成され、これ
は、誤差グラディエントを計算するために時系列の、標
本により求められた値が使用されることにより実現され
る。モンテカルロ法により標本を抽出する際に例えば次
のようにすることができる。
では非常に簡単である。しかし、標本抽出は決定性シス
テム(deterministische Syste
m)に対しては機能しないことに注意されたい。本発明
の方法により、このとりわけ複雑に見える状況に対する
とりわけ簡単な解決法が発見される。時系列の値を予測
するために、相応する分布に従って抽出された値が置換
され、いずれの値が本発明の方法により欠落値を形成す
るかに関する予想が求められる。ネットを訓練する際、
例えば誤差グラディエントの平均値が形成され、これ
は、誤差グラディエントを計算するために時系列の、標
本により求められた値が使用されることにより実現され
る。モンテカルロ法により標本を抽出する際に例えば次
のようにすることができる。
【0064】例えば時系列の未来の中のKステップを予
測する。前述の式に関連してこれは、値yt-1,...,y
t-K+1が欠落し、これらの全体の下にytを予測すること
を意味する。これらの前提の下ではモンテカルロ法は非
常に簡単である。まず初めに例えば分布P(yt-K+1|
yt-K,...yt-K-N)から1つの標本が抽出される。この
標本はys t-K+1により示される。この標本及び先行の測
定値により例えば1つの別の標本yt-K+2が分布P(y
t-K+2|ys t-K+1,...,yt-K+1-N)から抽出され、以下
同様に繰返され、これは、それぞれの未知変数に対して
それぞれの標本が形成されるまで行われる。このプロセ
スをS回繰返すと、次式が得られる。
測する。前述の式に関連してこれは、値yt-1,...,y
t-K+1が欠落し、これらの全体の下にytを予測すること
を意味する。これらの前提の下ではモンテカルロ法は非
常に簡単である。まず初めに例えば分布P(yt-K+1|
yt-K,...yt-K-N)から1つの標本が抽出される。この
標本はys t-K+1により示される。この標本及び先行の測
定値により例えば1つの別の標本yt-K+2が分布P(y
t-K+2|ys t-K+1,...,yt-K+1-N)から抽出され、以下
同様に繰返され、これは、それぞれの未知変数に対して
それぞれの標本が形成されるまで行われる。このプロセ
スをS回繰返すと、次式が得られる。
【0065】
【数23】
【0066】実験結果は、本発明の方法が、標本の数が
少ない場合でさえも、今まで使用された数値解法に比し
て大幅に良好に作業することを示した。
少ない場合でさえも、今まで使用された数値解法に比し
て大幅に良好に作業することを示した。
【0067】
【0068】
【1】 Bernardo,J.M., Smith,
A.F.M.(1994) Bayesian The
ory.Wiley & Sons, pp349−3
55.
A.F.M.(1994) Bayesian The
ory.Wiley & Sons, pp349−3
55.
【0069】
【2】 Buntine, W.L. and Wei
gend, A.S.(1991).Bayesian
Back−Propagnation. Compl
exsystems, Vol.5,pp.605−6
43.
gend, A.S.(1991).Bayesian
Back−Propagnation. Compl
exsystems, Vol.5,pp.605−6
43.
【0070】
【3】 Ghahramani, Z.and Jor
dan, M.I.(1994) Supervised Learning from
IncompleteData via an EM
approach. In:Cowan, J.D.
et al., eds., Advances in
NeuralInformation Proces
sing Systems 6, Morgan Ka
ufman.
dan, M.I.(1994) Supervised Learning from
IncompleteData via an EM
approach. In:Cowan, J.D.
et al., eds., Advances in
NeuralInformation Proces
sing Systems 6, Morgan Ka
ufman.
【0071】
【4】 Tresp, V. Ahmed, S. a
nd Neuneier, R.(1994).Tra
ining Neural Networks wit
h Deficient Data. In:Cow
an, J.D. et al., eds., Ad
vances in Neural Informat
ion Processing Systems 6,
Morgan Kaufman.
nd Neuneier, R.(1994).Tra
ining Neural Networks wit
h Deficient Data. In:Cow
an, J.D. et al., eds., Ad
vances in Neural Informat
ion Processing Systems 6,
Morgan Kaufman.
【図1】時系列を示す概念図である。
【図2】時系列及びシステム特性を示す線図である。
【図3】訓練されるニューラルネットを示すブロック回
路図である。
路図である。
100,150 データ区間 NN1,2 ニューラルネット SY システム特性
Claims (11)
- 【請求項1】 a) 離散時点に対して入力量を求め
て、変化する入力量の測定値の1つの集合から1つの時
系列を形成し、 b) 前記測定値に重畳された無相関の、時間平均値が
零であり有限な分散を有するノイズから、統計的ノイズ
分布を求め及び/又は前もって与え、 c) 時系列の中で欠落値に隣接する少なくとも1つの
測定値から、既知の統計的ノイズ分布により前記測定値
の統計的欠落値−ノイズ分布を計算し、欠落値の計算
を、前記欠落値−ノイズ分布により前記欠落値の少なく
とも2つの、前記欠落値を置換するモンテカルロ標本を
抽出して行うことにより、前記時系列の中の欠落してい
る測定値を欠落値として処理することを特徴とするニュ
ーラルネットの入力量処理方法。 - 【請求項2】 欠落値に対して複数のモンテカルロ標本
を抽出して、前記モンテカルロ標本の予想値を求め、前
記予想値を、前記標本を介して求められたすべての予想
値からの算術平均値として計算することによって、時系
列の中の予測欠落値を予想値として求めることを特徴と
する請求項1に記載のレカレントニューラルネットの入
力処理方法。 - 【請求項3】 時系列の欠落しており互いに直接に隣接
している2つの測定値のうち、まず初めに第1の値を処
理し、次いで、まず初めに処理された前記第1の値を用
いて第2の値を求めることを特徴とする請求項1又は請
求項2に記載のレカレントニューラルネットの入力処理
方法。 - 【請求項4】 複数回行うことを特徴とする請求項1か
ら請求項3のうちのいずれか1つの請求項に記載のレカ
レントニューラルネットの入力処理方法。 - 【請求項5】 ニューラルネットを時系列に基づいて、
1つの技術的システムの前記時系列を表す特性により訓
練し、1つの学習ステップで逆伝搬の際に、ニューラル
ネットの1に正規化されている入力量のための学習ステ
ップ幅を、抽出されたモンテカルロ標本の数により除算
して0.1に定めることを特徴とする請求項1から請求
項4のうちのいずれか1つの請求項に記載のレカレント
ニューラルネットの入力処理方法。 - 【請求項6】 統計的ノイズ分布としてガウス分布を使
用することを特徴とする請求項1から請求項5のうちの
いずれか1つの請求項に記載のレカレントニューラルネ
ットの入力処理方法。 - 【請求項7】 次式により表せる時系列を有し、 yt=f(yt-1,yt-2,...,yt-N)+εt (1a) ただし、εtは統計的ノイズ分布、yは前記時系列の測
定値、ytはニューラルネットが予測する欠落値であ
り、 前記関数fは既知であるか、又は前記関数fをニューラ
ルネットワークによりモデル化し、統計的誤差分布密度
を次式により求め、 Pε(yt-1−f(yt-1,yt-2,...,yt-N)) =P(yt|yt-1,yt-2,...,yt-N) (2a) 前記統計的誤差分布からモンテカルロ標本
yt-k 1,.....,yt-k sを抽出し、抽出された前記モンテ
カルロ標本により、ニューラルネットワークが次式の欠
落値を予測し、 【数1】 ただし、 yt-kは時系列の中の欠落測定値、 k≦N mは時系列のすべての既知の値、 Sは標本の数であることを特徴とする請求項1から請求
項6のうちのいずれか1つの請求項に記載のレカレント
ニューラルネットの入力処理方法。 - 【請求項8】 ニューラルネットを、少なくとも1つの
処理された値により次式の学習関数により訓練し、 【数2】 ただし、wはニューロン重み、Lは対数確率関数、ηは
学習係数であり、次式が成立ち、 【数3】 ただし、NNwはニューラルネットからの関数の値であ
り、 【外1】 PM(y1|ym) ただし、mは時系列のすべての既知の測定値であること
を特徴とする請求項5から請求項7のうちのいずれか1
つの請求項に記載のレカレントニューラルネットの入力
処理方法。 - 【請求項9】 ニューラルネットを、少なくとも1つの
処理された値により次式の学習関数により訓練し、 【数4】 その際に次式が成立ち、 【数5】 ただしNNwはニューラルネットからの関数の値であ
り、 【外2】 PM(y1|ym) ただし、mは時系列のすべての既知の測定値であること
を特徴とする請求項6に記載のレカレントニューラルネ
ットの入力処理方法。 - 【請求項10】 測定値の統計的ノイズ分布が既知でな
く、前記測定値に別のノイズが重畳されており、前記ノ
イズの統計的ノイズ分布は次式で表される時系列により
既知であるか又は前もって与えられ、 zt=yt+δ=f(yt-1,yt-2,...,yt-N)+εt (1a*) ただし、εtは未知の統計的ノイズ分布、δtは既知の統
計的ノイズ分布、yは前記時系列の測定値、ytはニュ
ーラルネットが予測する値であり、 統計的誤差分布密度は次式により求められ、 Pε(yt-1−f(yt-1,yt-2,...,yt-N)) =P(yt|yt-1,yt-2,...,yt-N) (2a*) 全体の確率密度を時系列を介して次式により求め、 【数6】 従ってニューラルネットが予測する欠落値を、少なくと
も1つの処理された値から次式により求め、 【数7】 ただし、次式に対して、 P(yt-1,...,yt-N|z) モンテカルロ標本を抽出することを特徴とする請求項1
から請求項9のうちのいずれか1つの請求項に記載のニ
ューラルネットの入力量処理方法。 - 【請求項11】 ニューラルネットを2つの次式により
訓練し、 【数8】 【数9】 ただし、wはニューロン重み、Lは対数確率関数、ηは
学習係数であることを特徴とする請求項6又は請求項1
0に記載のニューラルネットの入力量処理方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE19530647A DE19530647C1 (de) | 1995-08-21 | 1995-08-21 | Verfahren zur Aufbereitung einer Eingangsgröße für ein neuronales Netz |
DE19530647.3 | 1995-08-21 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH09128361A true JPH09128361A (ja) | 1997-05-16 |
Family
ID=7769965
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP8217589A Withdrawn JPH09128361A (ja) | 1995-08-21 | 1996-08-19 | レカレントニューラルネットの入力量処理方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US5706401A (ja) |
JP (1) | JPH09128361A (ja) |
DE (1) | DE19530647C1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5995682A (en) * | 1997-03-19 | 1999-11-30 | Eastman Kodak Company | Method for resizing of a digital image |
DE19740565A1 (de) | 1997-09-15 | 1999-03-18 | Max Planck Gesellschaft | Verfahren zur Erfassung zeitabhängiger Moden dynamischer Systeme |
EP0910023A2 (de) | 1997-10-17 | 1999-04-21 | Siemens Aktiengesellschaft | Verfahren und Anordnung zur neuronalen Modellierung eines dynamischen Systems mit nichtlinearem stochastischem Verhalten |
US8280805B1 (en) | 2006-01-10 | 2012-10-02 | Sas Institute Inc. | Computer-implemented risk evaluation systems and methods |
US7912773B1 (en) * | 2006-03-24 | 2011-03-22 | Sas Institute Inc. | Computer-implemented data storage systems and methods for use with predictive model systems |
US8521631B2 (en) | 2008-05-29 | 2013-08-27 | Sas Institute Inc. | Computer-implemented systems and methods for loan evaluation using a credit assessment framework |
CN114531696A (zh) * | 2020-11-23 | 2022-05-24 | 维沃移动通信有限公司 | Ai网络部分输入缺失的处理方法和设备 |
US12039002B2 (en) | 2020-12-22 | 2024-07-16 | International Business Machines Corporation | Predicting multivariate time series with systematic and random missing values |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DD266661A1 (de) * | 1987-12-07 | 1989-04-05 | Zeiss Jena Veb Carl | Schaltungsanordnung zur approximation von messwertfolgen |
EP0504457A1 (de) * | 1991-03-21 | 1992-09-23 | Franz-Peter Dr. Liebel | Verfahren zur Ermittlung der Wahrscheinlichkeiten fehlerhafter Betriebszustände bei technischen und biologischen Systemen unter Verwendung von Einzelereignis-Wahrscheinlichkeiten mit einer höchstens einelementigen Bedingung |
JPH05346915A (ja) * | 1992-01-30 | 1993-12-27 | Ricoh Co Ltd | 学習機械並びにニューラルネットワークおよびデータ分析装置並びにデータ分析方法 |
DE4241812A1 (de) * | 1992-12-11 | 1994-06-16 | Bosch Gmbh Robert | Verfahren zur adaptiven Quantisierung eines Eingangswertebereiches |
-
1995
- 1995-08-21 DE DE19530647A patent/DE19530647C1/de not_active Expired - Fee Related
-
1996
- 1996-08-19 JP JP8217589A patent/JPH09128361A/ja not_active Withdrawn
- 1996-08-19 US US08/699,558 patent/US5706401A/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US5706401A (en) | 1998-01-06 |
DE19530647C1 (de) | 1997-01-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU674227B2 (en) | Method and apparatus for operating a neural network with missing and/or incomplete data | |
Combastel | Merging Kalman filtering and zonotopic state bounding for robust fault detection under noisy environment | |
US6957203B2 (en) | Method and apparatus for operating a neural network with missing and/or incomplete data | |
JPH09128010A (ja) | 技術的系の非決定的特性を有するニューラルネットワークのトレーニング方法 | |
JPH09128359A (ja) | レカレントニューラルネットの学習方法 | |
WO2019160138A1 (ja) | 因果推定装置、因果推定方法、及びプログラム | |
CN114021501A (zh) | 一种火灾温度场重构方法、系统、计算机设备、介质及终端 | |
JPH09128361A (ja) | レカレントニューラルネットの入力量処理方法 | |
Kotenko et al. | Determining the parameters of the mathematical model of the process of searching for harmful information | |
Jahani et al. | Stochastic prognostics under multiple time-varying environmental factors | |
Bektemyssova et al. | Time series forecasting by the arima method | |
Laqrichi et al. | Integrating uncertainty in software effort estimation using Bootstrap based Neural Networks | |
Schumacker et al. | A comparison of OLS and robust regression using S-PLUS | |
CN116128551A (zh) | 基于自回归滑动平均模型的进出口趋势分析方法及装置 | |
Zheng et al. | Online nonparametric monitoring for asynchronous processes with serial correlation | |
Colò | Anomaly detection for cyber security: time series forecasting and deep learning | |
Draisma et al. | A neural network applied to economic time series | |
Ping et al. | Particle filter based time series prediction of daily sales of an online retailer | |
Kordnoori et al. | Testing the semi Markov model using Monte Carlo simulation method for predicting the network traffic | |
Ahmad et al. | Orthogonal least square algorithm and its application for modelling suspension system | |
Trifunov et al. | Time Series Causal Link Estimation under Hidden Confounding using Knockoff Interventions | |
CN117354053B (zh) | 一种基于大数据的网络安全保护方法 | |
Marcu et al. | Dynamic functional-link neural networks genetically evolved applied to system identification. | |
Bărbulescu et al. | Modeling the annual precipitation evolution in the region of Dobrudja | |
JPH10283334A (ja) | ニューラルネットワークの入力層最適化方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20031104 |