JPH09128010A - 技術的系の非決定的特性を有するニューラルネットワークのトレーニング方法 - Google Patents
技術的系の非決定的特性を有するニューラルネットワークのトレーニング方法Info
- Publication number
- JPH09128010A JPH09128010A JP8230974A JP23097496A JPH09128010A JP H09128010 A JPH09128010 A JP H09128010A JP 8230974 A JP8230974 A JP 8230974A JP 23097496 A JP23097496 A JP 23097496A JP H09128010 A JPH09128010 A JP H09128010A
- Authority
- JP
- Japan
- Prior art keywords
- technical system
- neural network
- time series
- weight
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Automation & Control Theory (AREA)
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【解決手段】 トレーニング中消費関数を用いて重みが
調整されるニューラルネットワーク用のトレーニング方
法において、消費関数により、技術的系の有利な系特性
を評価し、それにより強められた、その様な重み調整
を、それ以外の、技術的系の不利な特性が作用している
間弱める。既知の雑音分布の雑音を用いて調整量に雑音
を混入することにより、ランダムな雑音信号を発生する
ことができ、それにより、このために必要な項が簡単に
なるから、重み調整の数学的処理を著しく軽減すること
ができる。 【効果】 擬似的に、統計学的方法により、及び、技術
的系又はそのモデルから送出された値に対して消費関数
を用いることによって、ニューラルネットワークの正し
い重み調整を行うことができる。
調整されるニューラルネットワーク用のトレーニング方
法において、消費関数により、技術的系の有利な系特性
を評価し、それにより強められた、その様な重み調整
を、それ以外の、技術的系の不利な特性が作用している
間弱める。既知の雑音分布の雑音を用いて調整量に雑音
を混入することにより、ランダムな雑音信号を発生する
ことができ、それにより、このために必要な項が簡単に
なるから、重み調整の数学的処理を著しく軽減すること
ができる。 【効果】 擬似的に、統計学的方法により、及び、技術
的系又はそのモデルから送出された値に対して消費関数
を用いることによって、ニューラルネットワークの正し
い重み調整を行うことができる。
Description
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、技術的系の非決定
的特性を有するニューラルネットワークのトレーニング
方法に関する。
的特性を有するニューラルネットワークのトレーニング
方法に関する。
【０００２】
【従来の技術】本発明は、ニューラルネットワークによ
り、確率事象での高い成分を持った過程を制御すること
ができるようにする必要がある動的過程のニューラルモ
デリング用の学習方法に関する。
り、確率事象での高い成分を持った過程を制御すること
ができるようにする必要がある動的過程のニューラルモ
デリング用の学習方法に関する。
【０００３】ニューラルネットワークは、多種多様な技
術的領域内で採用されている。複雑な技術的諸関連及び
不十分な情報から諸決定を導出する所では至る所で、ニ
ューラルネットワークが特に適していることが分かって
いる。一つ又は複数の出力量の形成のため、ニューラル
ネットワークには、例えば、一つ又は複数の入力量が供
給されている。このため、その様なネットワークは、先
ず、特定の適用事例用にトレーニングされ、続いて、汎
化され、その後、トレーニングデータとは別のデータセ
ットを用いて妥当化される。ニューラルネットワーク
は、普遍的にトレーニングすることができるので、多数
の適用事例にとって特に適していることが分かる。
術的領域内で採用されている。複雑な技術的諸関連及び
不十分な情報から諸決定を導出する所では至る所で、ニ
ューラルネットワークが特に適していることが分かって
いる。一つ又は複数の出力量の形成のため、ニューラル
ネットワークには、例えば、一つ又は複数の入力量が供
給されている。このため、その様なネットワークは、先
ず、特定の適用事例用にトレーニングされ、続いて、汎
化され、その後、トレーニングデータとは別のデータセ
ットを用いて妥当化される。ニューラルネットワーク
は、普遍的にトレーニングすることができるので、多数
の適用事例にとって特に適していることが分かる。
【０００４】ニューラルネットワークの使用に関して屡
々発生する問題点は、いずれにせよ、トレーニング用の
入力データが完全ではないことが屡々であるという点、
又は、ネットワークの作動時に完全ではないという点で
ある。この様な事態及び以下の様な事実、即ち、ニュー
ラルネットワークに供給される時系列の構成用の各測定
値は、屡々不正確又は雑音があるという事実によって
も、ネットワークは、部分的に学習結果が劣化してしま
う。確率事象での高い成分を持った過程では、殊に、ト
レーニングデータがランダムな性格を持っているという
問題が生じ、そのために、ニューラルネットワークを、
その様な系の特性でトレーニングする方法は、これまで
存在していないのである。此まで、この様な特別な問題
を考慮に入れるという試みは無かった。
々発生する問題点は、いずれにせよ、トレーニング用の
入力データが完全ではないことが屡々であるという点、
又は、ネットワークの作動時に完全ではないという点で
ある。この様な事態及び以下の様な事実、即ち、ニュー
ラルネットワークに供給される時系列の構成用の各測定
値は、屡々不正確又は雑音があるという事実によって
も、ネットワークは、部分的に学習結果が劣化してしま
う。確率事象での高い成分を持った過程では、殊に、ト
レーニングデータがランダムな性格を持っているという
問題が生じ、そのために、ニューラルネットワークを、
その様な系の特性でトレーニングする方法は、これまで
存在していないのである。此まで、この様な特別な問題
を考慮に入れるという試みは無かった。
【０００５】
【発明が解決しようとする課題】本発明は、確率事象で
の高い成分を持った技術的系の特性をトレーニングすべ
きニューラルネットワークのトレーニングの際の学習過
程を改善することができる学習方法を提供することにあ
る。
の高い成分を持った技術的系の特性をトレーニングすべ
きニューラルネットワークのトレーニングの際の学習過
程を改善することができる学習方法を提供することにあ
る。
【０００６】
【課題を解決するための手段】この課題は、本発明によ
ると、技術的系の非決定的特性を有するニューラルネッ
トワークのトレーニング方法において、 ａ）技術的系又は該技術的系のモデルを有するニューラ
ルネットワークを、制御回路内に組み込み、前記ニュー
ラルネットワークにより、出力量として少なくとも一つ
の調整量(Stellgroesse)を前記技術的系又は該技術的系
のモデルに送出して、前記技術的系又は該技術的系のモ
デルが、前記ニューラルネットワークから供給された前
記調整量から、少なくとも一つの(閉ループ)制御量（Ｒ
ｅｇｅｌｇｒｏｅｓｓｅ）を形成し、該制御量を、前記
ニューラルネットワークに入力量として供給し、 ｂ）前記調整量を、該調整量が前記技術的系又は該技術
的系のモデルに供給される以前に、既知の雑音分布を持
った雑音と重畳し、 ｃ）前記ニューラルネットワークの重みを、前記の様に
して形成された雑音によって変化する制御量に応じて以
下の様に調整し：即ち、既知の学習方法に応じて調整さ
れたネットワークでの重みの変化により、前記技術的系
の目標特性に関して制御量が改善されるかどうかが、費
用（ｃｏｓｔ）関数により評価されて、前述の様な重み
調整を、前記費用関数によって助長するようにしたこと
により解決される。
ると、技術的系の非決定的特性を有するニューラルネッ
トワークのトレーニング方法において、 ａ）技術的系又は該技術的系のモデルを有するニューラ
ルネットワークを、制御回路内に組み込み、前記ニュー
ラルネットワークにより、出力量として少なくとも一つ
の調整量(Stellgroesse)を前記技術的系又は該技術的系
のモデルに送出して、前記技術的系又は該技術的系のモ
デルが、前記ニューラルネットワークから供給された前
記調整量から、少なくとも一つの(閉ループ)制御量（Ｒ
ｅｇｅｌｇｒｏｅｓｓｅ）を形成し、該制御量を、前記
ニューラルネットワークに入力量として供給し、 ｂ）前記調整量を、該調整量が前記技術的系又は該技術
的系のモデルに供給される以前に、既知の雑音分布を持
った雑音と重畳し、 ｃ）前記ニューラルネットワークの重みを、前記の様に
して形成された雑音によって変化する制御量に応じて以
下の様に調整し：即ち、既知の学習方法に応じて調整さ
れたネットワークでの重みの変化により、前記技術的系
の目標特性に関して制御量が改善されるかどうかが、費
用（ｃｏｓｔ）関数により評価されて、前述の様な重み
調整を、前記費用関数によって助長するようにしたこと
により解決される。
【０００７】
【発明の実施の形態】特に有利には、本発明の方法によ
ると、ニューラルネットワークを、ほぼ完全な確率特性
を有している技術的系の特性を用いてトレーニングする
ことができる（と言うのは、本発明の方法は、ニューラ
ルネットワークのトレーニングの際に、入力データの評
価のために統計学的な方法を使うからである）。特に有
利には、このために、調整量データを、技術的系の新た
な制御量の形成のために、既知の静分布雑音を用いて変
えるのである。この過程の頻繁な繰り返し、及び、費用
関数を用いての技術的系の制御量の評価（その際、所望
の目標特性に関して技術的系の特性を改善するような重
みは、費用関数を用いて強く重み付けされる）により、
ニューラルネットワークを最適に重み調整することがで
きる。誤差グラジエントに関する重みの調整のために、
ニューラルネットワークのトレーニング用の既知の方法
を使用することができる。
ると、ニューラルネットワークを、ほぼ完全な確率特性
を有している技術的系の特性を用いてトレーニングする
ことができる（と言うのは、本発明の方法は、ニューラ
ルネットワークのトレーニングの際に、入力データの評
価のために統計学的な方法を使うからである）。特に有
利には、このために、調整量データを、技術的系の新た
な制御量の形成のために、既知の静分布雑音を用いて変
えるのである。この過程の頻繁な繰り返し、及び、費用
関数を用いての技術的系の制御量の評価（その際、所望
の目標特性に関して技術的系の特性を改善するような重
みは、費用関数を用いて強く重み付けされる）により、
ニューラルネットワークを最適に重み調整することがで
きる。誤差グラジエントに関する重みの調整のために、
ニューラルネットワークのトレーニング用の既知の方法
を使用することができる。
【０００８】特に有利には、ニューラルネットワークの
トレーニング用の時系列の数を変えることができ、それ
により、当業者が、ニューラルネットワークの重みの調
整の精度を、当該ニューラルネットワークが使用できる
計算時間又は計算容量に依存して制御することができる
ようになる。
トレーニング用の時系列の数を変えることができ、それ
により、当業者が、ニューラルネットワークの重みの調
整の精度を、当該ニューラルネットワークが使用できる
計算時間又は計算容量に依存して制御することができる
ようになる。
【０００９】有利には、モデリング又は実際の技術的系
の使用により、複数の時系列を得ることができ、複数時
系列の平均値をニューラルネットワークのトレーニング
のために使用することができる。と言うのは、その様に
してトレーニング値の正しさにとっての統計学的有効性
を改善することができるからである。
の使用により、複数の時系列を得ることができ、複数時
系列の平均値をニューラルネットワークのトレーニング
のために使用することができる。と言うのは、その様に
してトレーニング値の正しさにとっての統計学的有効性
を改善することができるからである。
【００１０】有利には、ニューラルネットワークのトレ
ーニングの際に、調整量を変えるための既知の雑音分布
としてガウス分布を用いることができる。と言うのは、
それにより、ニューラルネットワークのトレーニングの
ために誤差グラジエントを特に簡単に算出できるからで
ある。
ーニングの際に、調整量を変えるための既知の雑音分布
としてガウス分布を用いることができる。と言うのは、
それにより、ニューラルネットワークのトレーニングの
ために誤差グラジエントを特に簡単に算出できるからで
ある。
【００１１】有利には、多数の時系列がシミュレートさ
れて測定される。と言うのは、その様にして、種々異な
る状況下での技術的系の制御量の特性に関する情報内容
を得ることができ、その様にして、時系列の統計を改善
することができる。有利には、調整量（Ｓｔｅｌｌｇｒ
ｏｅｓｓｅ）のみならず、(閉ループ)制御量(Regelgroe
sse)も、本発明による方法のニューラルネットワークの
学習特性を損なわずに、既知の分布の雑音によって重畳
することもできる。
れて測定される。と言うのは、その様にして、種々異な
る状況下での技術的系の制御量の特性に関する情報内容
を得ることができ、その様にして、時系列の統計を改善
することができる。有利には、調整量（Ｓｔｅｌｌｇｒ
ｏｅｓｓｅ）のみならず、(閉ループ)制御量(Regelgroe
sse)も、本発明による方法のニューラルネットワークの
学習特性を損なわずに、既知の分布の雑音によって重畳
することもできる。
【００１２】
【実施例】以下、図示の実施例を用いて、本発明につい
て更に説明する。
て更に説明する。
【００１３】図１は、時系列及び系特性を示し、図２
は、本発明の方法の１実施例を示す。
は、本発明の方法の１実施例を示す。
【００１４】図１には、例えば、ニューラルネットワー
クに供給することができる各測定値の時系列が示されて
いる。この図の説明は、例えば、本発明の方法を論ずる
ための数学的基礎を明らかにするのに役立つ。この時系
列の時間順序によると、この測定値は、例えば、技術的
系によって検出され、その時間順序に従ってｙt〜ｙt-6
で示されている。例えば、図１では、値ｙt-2が欠けて
いるものとする。この欠落した測定値の隣の値として、
マルコフブランケットで重要な値は、ｙt-4，ｙt-3，ｙ
t-1，及びｙtである。時系列内のその様な欠落した測定
値は、例えば、問題になっている時点で、測定装置がこ
の測定値を測定検出するように機能しなかったり、又
は、個別の各測定値間で、ニューラルネットワークを一
層良くトレーニングするのに有利と思われるので、この
ニューラルネットワークに、更に特定すべき別の値が供
給される様にして形成されることがある。例えば、図１
では、更に、値ｙt-3が欠けているものとされている。
この欠落した測定値の隣の値として、マルコフブランケ
ットで重要な値は、ｙt-5，ｙt-4，ｙt-2及びｙt-1であ
る。本発明の方法をトレーニングに使用すると、発明性
のある技術思想に応じて、ネットワークを、重み係数を
適切に改善して構成することができるようになる。と言
うのは、本発明は、統計学を用い、諸過程の高い推計学
的成分を用いて処理を行う時系列からも重要なトレーニ
ングデータを抽出することができる。
クに供給することができる各測定値の時系列が示されて
いる。この図の説明は、例えば、本発明の方法を論ずる
ための数学的基礎を明らかにするのに役立つ。この時系
列の時間順序によると、この測定値は、例えば、技術的
系によって検出され、その時間順序に従ってｙt〜ｙt-6
で示されている。例えば、図１では、値ｙt-2が欠けて
いるものとする。この欠落した測定値の隣の値として、
マルコフブランケットで重要な値は、ｙt-4，ｙt-3，ｙ
t-1，及びｙtである。時系列内のその様な欠落した測定
値は、例えば、問題になっている時点で、測定装置がこ
の測定値を測定検出するように機能しなかったり、又
は、個別の各測定値間で、ニューラルネットワークを一
層良くトレーニングするのに有利と思われるので、この
ニューラルネットワークに、更に特定すべき別の値が供
給される様にして形成されることがある。例えば、図１
では、更に、値ｙt-3が欠けているものとされている。
この欠落した測定値の隣の値として、マルコフブランケ
ットで重要な値は、ｙt-5，ｙt-4，ｙt-2及びｙt-1であ
る。本発明の方法をトレーニングに使用すると、発明性
のある技術思想に応じて、ネットワークを、重み係数を
適切に改善して構成することができるようになる。と言
うのは、本発明は、統計学を用い、諸過程の高い推計学
的成分を用いて処理を行う時系列からも重要なトレーニ
ングデータを抽出することができる。
【００１５】特に有利には、その際、調整用のデータ
は、既知の雑音分布、例えば、ガウス分布又はポアソン
分布の雑音によって変えられる。こうすることにより、
ネットワークのニューロンでの重みの調整は、著しく簡
単になる。と言うのは、制御偏差の算出用の数学的項を
著しく簡単に構成することができるからである。この様
な構成により、技術的系を所望の目標状態にする様な重
み調整を有利にする費用関数と組み合わせて、比較的僅
かな計算コストでネットワークの良好なトレーニング効
率が得られる有利なトレーニング方法が得られる。
は、既知の雑音分布、例えば、ガウス分布又はポアソン
分布の雑音によって変えられる。こうすることにより、
ネットワークのニューロンでの重みの調整は、著しく簡
単になる。と言うのは、制御偏差の算出用の数学的項を
著しく簡単に構成することができるからである。この様
な構成により、技術的系を所望の目標状態にする様な重
み調整を有利にする費用関数と組み合わせて、比較的僅
かな計算コストでネットワークの良好なトレーニング効
率が得られる有利なトレーニング方法が得られる。
【００１６】その際、図１には、トレーニングされるニ
ューラルネットワークNNWと関係付けた時系列が示され
ている。ｙは、技術的系の系特性ＳＹを示す時間依存の
変数を示していることが分かる。図から分かる様に、値
ｙt〜ｙt-6は、系特性ＳＹから得られる測定値に相応す
る。それぞれの時点に示した破線の矢印によって、この
測定値が、トレーニングの際にニューラルネットワーク
ＮＮＷに供給されるべきであることが示される。
ューラルネットワークNNWと関係付けた時系列が示され
ている。ｙは、技術的系の系特性ＳＹを示す時間依存の
変数を示していることが分かる。図から分かる様に、値
ｙt〜ｙt-6は、系特性ＳＹから得られる測定値に相応す
る。それぞれの時点に示した破線の矢印によって、この
測定値が、トレーニングの際にニューラルネットワーク
ＮＮＷに供給されるべきであることが示される。
【００１７】ここで、時点ｙt-2での問題となる測定値
Ｍは存在しない。この測定値Ｍには、その確率密度ε１
が示されている。この確率密度εは、例えば、残りの各
測定値の既知の所定の誤差分布密度から逆算することが
できる。その際、例えば、既知の2つの測定値間の誤差
のある測定値があって、従って、この測定値の誤差を、
時系列の隣で、残りの各測定値の誤差によって制限する
ように利用される。基礎となる時系列は、以下のように
記述することができる: yt=f(yt-1,yt-2,・・・,yt-N)+εt （１） その際、ｆは、既知であるか、又は、ニューラルネット
ワークによって十分にモデリングされている。その際、
εtは、時間平均値0の付加的な非相関誤差を示す。その
際、この誤差は、本発明の方法にとって本質的なことで
あるが、既知又は所定の確率密度Pε（ε）を有してい
て、典型的に、時系列のモデリングされない動特性を象
徴的に表現している。例えば、その様な時系列では、未
来の値を予測して示すことができる。その際、この未来
の値は、瞬時的に選定すべき時点に対して相対的に理解
されることに注意すべきである。即ち、時点ｙt-5に対
しては、時点ｙt-4が未来の値である。この様な前提下
では、時系列の予測される値用の条件付確率密度は、以
下の様に記述することができる。
Ｍは存在しない。この測定値Ｍには、その確率密度ε１
が示されている。この確率密度εは、例えば、残りの各
測定値の既知の所定の誤差分布密度から逆算することが
できる。その際、例えば、既知の2つの測定値間の誤差
のある測定値があって、従って、この測定値の誤差を、
時系列の隣で、残りの各測定値の誤差によって制限する
ように利用される。基礎となる時系列は、以下のように
記述することができる: yt=f(yt-1,yt-2,・・・,yt-N)+εt （１） その際、ｆは、既知であるか、又は、ニューラルネット
ワークによって十分にモデリングされている。その際、
εtは、時間平均値0の付加的な非相関誤差を示す。その
際、この誤差は、本発明の方法にとって本質的なことで
あるが、既知又は所定の確率密度Pε（ε）を有してい
て、典型的に、時系列のモデリングされない動特性を象
徴的に表現している。例えば、その様な時系列では、未
来の値を予測して示すことができる。その際、この未来
の値は、瞬時的に選定すべき時点に対して相対的に理解
されることに注意すべきである。即ち、時点ｙt-5に対
しては、時点ｙt-4が未来の値である。この様な前提下
では、時系列の予測される値用の条件付確率密度は、以
下の様に記述することができる。
【００１８】 P(yt|yt-1,yt-2,・・・,yt-N)=Pε(y-f(yt-1,yt-2,・・・,yt-N)) （２） 既述の様に、誤差分布密度は既知でなければならない。
この分布密度は、系特性及びその他の既知の外部量を用
いて求めることもできるし、又は、予め設定してもよ
い。実際に現れる典型的な誤差分布は、ガウス分布であ
る。その様に仮定されたガウスの誤差分布を用いると、
条件付確率密度は、以下の様に記述することができる: P(yt|yt-1,yt-2,・・・,yt-N)=G(yt;f(yt-1,・・・,yt-N),σ2) （３） その際、Ｇ（ｘ；ｃ，σ2）は、ｘが中心ｃ及び変数σ2
により決められる通常密度の表記法を意味する。記述す
べき系は、時間軸上での各値のシーケンスの形式で示さ
れるとするならば、確率的なネットワークでのｙtの個
別値もランダム変数も把握することができる。例えば、
ネットワークの問題点は、時系列の値を予測することに
あり、その際、既存の情報が、残りの各値から出来る限
り完全に用いられる。既述した様な仮定の前提下では、
時系列の全確率密度は、以下の様に記述することができ
る:
この分布密度は、系特性及びその他の既知の外部量を用
いて求めることもできるし、又は、予め設定してもよ
い。実際に現れる典型的な誤差分布は、ガウス分布であ
る。その様に仮定されたガウスの誤差分布を用いると、
条件付確率密度は、以下の様に記述することができる: P(yt|yt-1,yt-2,・・・,yt-N)=G(yt;f(yt-1,・・・,yt-N),σ2) （３） その際、Ｇ（ｘ；ｃ，σ2）は、ｘが中心ｃ及び変数σ2
により決められる通常密度の表記法を意味する。記述す
べき系は、時間軸上での各値のシーケンスの形式で示さ
れるとするならば、確率的なネットワークでのｙtの個
別値もランダム変数も把握することができる。例えば、
ネットワークの問題点は、時系列の値を予測することに
あり、その際、既存の情報が、残りの各値から出来る限
り完全に用いられる。既述した様な仮定の前提下では、
時系列の全確率密度は、以下の様に記述することができ
る:
【００１９】
【数４】
【００２０】その際、ｙt-k（但しｋ≦Ｎ）は、欠落値
であるということが前提になっている。既知でない値の
量の表記yu={yt-k}及びym={yt-1,・・・,yt-k-N}/
{yt-k}を用いて、時系列での期待値は、以下の様に記述
することができる: E(yt|Mt-1)=∫f(yt-1,・・・,yt-k,・・・,yt-N)P(yu|ym)dyu （５） その際、以下のことが前提となる:Ｍt-1は、時点t-1ま
での全ての測定の際に形成される。前述の式は、欠落し
たデータの予測の際に基礎となる式である。その際、特
に注意すべき点は、既知でない値ｙt-kは、時点t-k以前
の時系列の各値にのみ依存するのではなく、t-k以後の
各測定にも依存するという点である。この理由は、ｙm
∪ｙtの各変数は、ｙt-kの最小マルコフブランケットを
形成するからである。この最小マルコフブランケット
は、変数の直前の先行値及び直後の後続値及び直後の後
続値の変数の直前の全先行値から形成される。考察した
実施例では、直後の後続値ｙt・・・ｙt-k+1である。直
前の先行値は: ｙt-k-1・・・ｙt-k-N 変数の後続値の直接の親は: ｙt-1・・・ｙt-k-N+1 である。理論的な基礎から、変数がマルコフブランケッ
ト内で既知である場合、この変数は、このネットワーク
の他の変数に依存しないことが知られている。そのた
め、所要の条件付確率密度は、式（５）から以下の様に
決められる：
であるということが前提になっている。既知でない値の
量の表記yu={yt-k}及びym={yt-1,・・・,yt-k-N}/
{yt-k}を用いて、時系列での期待値は、以下の様に記述
することができる: E(yt|Mt-1)=∫f(yt-1,・・・,yt-k,・・・,yt-N)P(yu|ym)dyu （５） その際、以下のことが前提となる:Ｍt-1は、時点t-1ま
での全ての測定の際に形成される。前述の式は、欠落し
たデータの予測の際に基礎となる式である。その際、特
に注意すべき点は、既知でない値ｙt-kは、時点t-k以前
の時系列の各値にのみ依存するのではなく、t-k以後の
各測定にも依存するという点である。この理由は、ｙm
∪ｙtの各変数は、ｙt-kの最小マルコフブランケットを
形成するからである。この最小マルコフブランケット
は、変数の直前の先行値及び直後の後続値及び直後の後
続値の変数の直前の全先行値から形成される。考察した
実施例では、直後の後続値ｙt・・・ｙt-k+1である。直
前の先行値は: ｙt-k-1・・・ｙt-k-N 変数の後続値の直接の親は: ｙt-1・・・ｙt-k-N+1 である。理論的な基礎から、変数がマルコフブランケッ
ト内で既知である場合、この変数は、このネットワーク
の他の変数に依存しないことが知られている。そのた
め、所要の条件付確率密度は、式（５）から以下の様に
決められる：
【００２１】
【数５】
【００２２】ここに記述した場合の、欠落した測定値
は、順次連続して欠落した複数の測定値に拡張すること
ができる。この場合には、式（５）の条件付確率密度
は、以下に記述した様な式で決めることができる。この
場合には、 yu⊆{yt-1.yt-2,・・・,yt-n} （５ｃ） であり、時系列の全ての欠落値の数量は、時点t-1とt-N
との間であり、更に、 ym⊆{yt-1.yt-2,・・・,y1 } （５ｄ） であり、全測定値の数量は、t-1以下である。また、
は、順次連続して欠落した複数の測定値に拡張すること
ができる。この場合には、式（５）の条件付確率密度
は、以下に記述した様な式で決めることができる。この
場合には、 yu⊆{yt-1.yt-2,・・・,yt-n} （５ｃ） であり、時系列の全ての欠落値の数量は、時点t-1とt-N
との間であり、更に、 ym⊆{yt-1.yt-2,・・・,y1 } （５ｄ） であり、全測定値の数量は、t-1以下である。また、
【００２３】
【数６】
【００２４】が成立し、その際、式（５ｅ）の右側は、
式（４）から得られる。一般に、積分が式（５）にあ
り、その際、式（５）のＰ（ｙu／ｙm）は、式（２）、
（４）及び（５ｂ）〜（５ｅ）を介して決められ、関数
ｆ（）に対しては（これが非直線関数である場合）、分
析的に分解することはできない。統計学的方法を用いた
数学的解の詳細については、図２と関連して示される。
別の測定値が、その時系列にシミュレートされる必要が
ある場合には、この方法は、欠落値の確率分布の反復近
似と見なされる。例えば、ネットワークのトレーニング
のためには、付加的に時点ｙt-3での値Ｌをシミュレー
トするとよい。この測定値Ｍに対しては、確率密度ε２
が示されている。この確率密度ε２は、例えば、本発明
の方法によると、残りの既知の各測定値の既知の所定の
誤差分布密度から逆算することができる。その様な２つ
の欠落値Ｌ及びＭの確率分布の近似のために、先ず、Ｌ
は、例えば、既知であることが前提であり、又は、既知
であると見なされる。それから、Ｍの分布が算出され、
この分布に従ってＭの値がランダムに特定される。この
既知の値Ｍにより、続いて、同様にしてＬが決められ
る。この過程は、反復される。その様にして求めた値の
シーケンスは、Ｌ及びＭの共通の確率分布を近似する。
この反復過程は、有利には、各値の充分な精度が与えら
れるか、又は、ネットワークが充分に正確にトレーニン
グされるまで続けられる。２つ以上の欠落値の場合、同
様に行われる。常に、その都度１つの値が、他の全ての
値が既知であると仮定された場合に得られる分布に従っ
て決められる。
式（４）から得られる。一般に、積分が式（５）にあ
り、その際、式（５）のＰ（ｙu／ｙm）は、式（２）、
（４）及び（５ｂ）〜（５ｅ）を介して決められ、関数
ｆ（）に対しては（これが非直線関数である場合）、分
析的に分解することはできない。統計学的方法を用いた
数学的解の詳細については、図２と関連して示される。
別の測定値が、その時系列にシミュレートされる必要が
ある場合には、この方法は、欠落値の確率分布の反復近
似と見なされる。例えば、ネットワークのトレーニング
のためには、付加的に時点ｙt-3での値Ｌをシミュレー
トするとよい。この測定値Ｍに対しては、確率密度ε２
が示されている。この確率密度ε２は、例えば、本発明
の方法によると、残りの既知の各測定値の既知の所定の
誤差分布密度から逆算することができる。その様な２つ
の欠落値Ｌ及びＭの確率分布の近似のために、先ず、Ｌ
は、例えば、既知であることが前提であり、又は、既知
であると見なされる。それから、Ｍの分布が算出され、
この分布に従ってＭの値がランダムに特定される。この
既知の値Ｍにより、続いて、同様にしてＬが決められ
る。この過程は、反復される。その様にして求めた値の
シーケンスは、Ｌ及びＭの共通の確率分布を近似する。
この反復過程は、有利には、各値の充分な精度が与えら
れるか、又は、ネットワークが充分に正確にトレーニン
グされるまで続けられる。２つ以上の欠落値の場合、同
様に行われる。常に、その都度１つの値が、他の全ての
値が既知であると仮定された場合に得られる分布に従っ
て決められる。
【００２５】ｙ1，・・・ｙtが、時系列の可能な値を示
す場合、ｙm⊆｛ｙ1，・・・，ｙt｝は、全ての測定値
を示し、ｙu＝｛ｙ1，・・・，ｙt｝／ｙmは、全ての既
知でない値を示す。関数ｆをモデリングするニューラル
ネットワークＮＮwは、例えば、１セットの重みｗでパ
ラメータ処理される。その際、以下の式が成立する：
す場合、ｙm⊆｛ｙ1，・・・，ｙt｝は、全ての測定値
を示し、ｙu＝｛ｙ1，・・・，ｙt｝／ｙmは、全ての既
知でない値を示す。関数ｆをモデリングするニューラル
ネットワークＮＮwは、例えば、１セットの重みｗでパ
ラメータ処理される。その際、以下の式が成立する：
【００２６】
【数７】
【００２７】それから、対数確率密度関数は、以下の通
りとなる： L=log∫PM(yt,yt-1,・・・,y2,y1)dyu その際、共通の確率密度は、以下の様に近似される：
りとなる： L=log∫PM(yt,yt-1,・・・,y2,y1)dyu その際、共通の確率密度は、以下の様に近似される：
【００２８】
【数８】
【００２９】また、上記の共通の確率密度は、誤差分布
密度の算出用の以下の関係のニューラルネットワークに
対して成立する： PM(yt|yt-1,yt-2,・・・,yt-N)=Pε(yt−NNw(yt-1,yt-2,・・・,yt-N) （７） 逆伝搬法を用いた学習のため、又は、他のグラジエント
に基づく学習アルゴリズムを用いた学習のため、対数確
率関数のグラジエントも必要であり、このグラジエント
は、以下の様に得られる：
密度の算出用の以下の関係のニューラルネットワークに
対して成立する： PM(yt|yt-1,yt-2,・・・,yt-N)=Pε(yt−NNw(yt-1,yt-2,・・・,yt-N) （７） 逆伝搬法を用いた学習のため、又は、他のグラジエント
に基づく学習アルゴリズムを用いた学習のため、対数確
率関数のグラジエントも必要であり、このグラジエント
は、以下の様に得られる：
【００３０】
【数９】
【００３１】この際、ｙ1，・・・，ｙNの既知の初期条
件に基づいていることに注意すべきである。誤差分布に
対してガウス分布が存在する場合、そのことから、以下
の式が得られる：
件に基づいていることに注意すべきである。誤差分布に
対してガウス分布が存在する場合、そのことから、以下
の式が得られる：
【００３２】
【数１０】
【００３３】その際、yu(l)=yu∩{yl,・・・yl-N}は、
ネットワークの各入力量の欠落値を示し、式（８ａ）
は、全てのｙt・・・ｙt-Nが既知である場合に積分が消
去することを示す。
ネットワークの各入力量の欠落値を示し、式（８ａ）
は、全てのｙt・・・ｙt-Nが既知である場合に積分が消
去することを示す。
【００３４】付加的だが既知の雑音が測定値に重畳して
いる場合、以下の関係が生じる。例えば、再度、以下の
式が成立する: yt=f(yt-1,yt-2,・・・,yt-N)+εt しかし、本発明の、この様な変形実施例では、ｙtへの
直接的な関係はない。その代わり、時系列 zt=yt+δt が測定される。ここで、δtは、平均値ゼロの独立雑音
である。
いる場合、以下の関係が生じる。例えば、再度、以下の
式が成立する: yt=f(yt-1,yt-2,・・・,yt-N)+εt しかし、本発明の、この様な変形実施例では、ｙtへの
直接的な関係はない。その代わり、時系列 zt=yt+δt が測定される。ここで、δtは、平均値ゼロの独立雑音
である。
【００３５】ｚ＝｛ｚ1・・・ｚt-1｝且つｙ＝｛ｙ1・
・・ｙt｝という前提下で、全確率密度は以下の通りと
なる：
・・ｙt｝という前提下で、全確率密度は以下の通りと
なる：
【００３６】
【数１１】
【００３７】従って、時系列の予測される直ぐ次の値の
計算規則は、以下の様に記述することができる： E(yt|z=∫f(yt-1,・・・,yt-N)P(yt-1,・・・,yt-N|z)dyt-1・・・dyt-N (9) 同様に、トレーニング用の確率関数のグラジエントを算
出することができる。雑音のガウス分布を ｚ＝｛ｚ1・・・ｚt｝ で示した場合には、以下の式が得られる：
計算規則は、以下の様に記述することができる： E(yt|z=∫f(yt-1,・・・,yt-N)P(yt-1,・・・,yt-N|z)dyt-1・・・dyt-N (9) 同様に、トレーニング用の確率関数のグラジエントを算
出することができる。雑音のガウス分布を ｚ＝｛ｚ1・・・ｚt｝ で示した場合には、以下の式が得られる：
【００３８】
【数１２】
【００３９】ニューラルネットワークには、例えば、雑
音があって消えてしまったり、正確に特定できない値が
供給される。その際、ニューラルネットワーク内での重
みの近似により、ニューラルネットワークによりシミュ
レートされる関数ｆを介して、時系列の新しい値につい
て決められる。時系列の、この新たな値は、続いてニュ
ーラルネットワークＮＮwに供給され、このニューラル
ネットワークでは、この新たな値から、再び、関数ｆの
シミュレートにより、時系列の新たな値が特定される。
この繰り返し過程は、特定すべき値の充分な精度が達成
される迄続けられる。
音があって消えてしまったり、正確に特定できない値が
供給される。その際、ニューラルネットワーク内での重
みの近似により、ニューラルネットワークによりシミュ
レートされる関数ｆを介して、時系列の新しい値につい
て決められる。時系列の、この新たな値は、続いてニュ
ーラルネットワークＮＮwに供給され、このニューラル
ネットワークでは、この新たな値から、再び、関数ｆの
シミュレートにより、時系列の新たな値が特定される。
この繰り返し過程は、特定すべき値の充分な精度が達成
される迄続けられる。
【００４０】モンテカルロ法を用いて、欠落した値を正
確に特定するためには、以下の様な基礎知識から出発し
ている。ここで注意すべきことは、全ての解が以下の式 ∫h(u,m)P(u|m)du （９ｂ） を有しており、その際、ｕは、既知でない変数のセット
であり、ｍは、既知変数のセットである。この式の積分
は、例えば、P(u|m)による既知でない変数のランダム標
本を抽出するようにして、解くことができる。例えば、
この標本は、ｕ1，・・・，ｕsで示される。それから、
以下の近似関係が得られる：
確に特定するためには、以下の様な基礎知識から出発し
ている。ここで注意すべきことは、全ての解が以下の式 ∫h(u,m)P(u|m)du （９ｂ） を有しており、その際、ｕは、既知でない変数のセット
であり、ｍは、既知変数のセットである。この式の積分
は、例えば、P(u|m)による既知でない変数のランダム標
本を抽出するようにして、解くことができる。例えば、
この標本は、ｕ1，・・・，ｕsで示される。それから、
以下の近似関係が得られる：
【００４１】
【数１３】
【００４２】この式で、ｕは、欠落値ｙt-kに相応す
る。この、本発明の解により、この問題は、結局、Ｐ
（ｕ｜ｍ）の標本から抽出することに還元できる。単
に、一つの変数が欠落している場合には、つまり、例え
ば、単に、帰還が切り離されている場合には、この問題
は、結局、変数分布からの標本抽出に還元でき、「サン
プリング-インポータンス-リサンプリング」又は他のサ
ンプリング技術［１］を用いて行うことができる。
る。この、本発明の解により、この問題は、結局、Ｐ
（ｕ｜ｍ）の標本から抽出することに還元できる。単
に、一つの変数が欠落している場合には、つまり、例え
ば、単に、帰還が切り離されている場合には、この問題
は、結局、変数分布からの標本抽出に還元でき、「サン
プリング-インポータンス-リサンプリング」又は他のサ
ンプリング技術［１］を用いて行うことができる。
【００４３】図２には、本発明の方法を明らかにするた
めのブロック接続図が示されている。ここでは、ニュー
ラルネットワークＮＮwは、技術的系ｆを制御している
ものとする。一方では、ニューラルネットワークＮＮw
が示されており、他方では、技術的系ｆが示されてい
る。インデックスｔ及びｔ−１は、各個別値相互の時間
依存性を示している。その際、インデックス−１は、当
該の値が、時系列内で、インデックスｔを有している値
の前にあるということを意味している。ニューラルネッ
トワークにより、接続線路１５０を介して、調整量ｕ
t-1が技術的系ｆに送出される。途中で、この値は、本
発明の方法により、結合個所“＋”で、既知の雑音分布
εの雑音と重畳される。技術的系ｆには、この値ｕt-1
＋εが値ｙt-1と一緒に供給される。技術的系ｆは、こ
の調整量に応動し、その際、技術的系ｆは、制御量ｙt
を発生する。この制御量は、遅延素子Z１に供給され、
この遅延素子は、例えば、同時に、加算機能を含んでい
る。この遅延素子は、例えば、技術的系によって送出さ
れた値ｙtを１時間単位だけ遅延し、その様にして、線
路１８０を介して入力された入力値を、この技術的系が
使用することができるようになる。更に、この値ｙt-1
は、線路１００を介してもニューラルネットワークＮＮ
wに送出される。付加的に、図２では、雑音δが示され
ており、この雑音δは、例えば、結合個所及び遅延素子
Ｚ１のところで制御量に重畳することができる。しか
し、この様な重畳の仕方は、本発明の方法の機能動作の
不可欠な前提条件ではない。
めのブロック接続図が示されている。ここでは、ニュー
ラルネットワークＮＮwは、技術的系ｆを制御している
ものとする。一方では、ニューラルネットワークＮＮw
が示されており、他方では、技術的系ｆが示されてい
る。インデックスｔ及びｔ−１は、各個別値相互の時間
依存性を示している。その際、インデックス−１は、当
該の値が、時系列内で、インデックスｔを有している値
の前にあるということを意味している。ニューラルネッ
トワークにより、接続線路１５０を介して、調整量ｕ
t-1が技術的系ｆに送出される。途中で、この値は、本
発明の方法により、結合個所“＋”で、既知の雑音分布
εの雑音と重畳される。技術的系ｆには、この値ｕt-1
＋εが値ｙt-1と一緒に供給される。技術的系ｆは、こ
の調整量に応動し、その際、技術的系ｆは、制御量ｙt
を発生する。この制御量は、遅延素子Z１に供給され、
この遅延素子は、例えば、同時に、加算機能を含んでい
る。この遅延素子は、例えば、技術的系によって送出さ
れた値ｙtを１時間単位だけ遅延し、その様にして、線
路１８０を介して入力された入力値を、この技術的系が
使用することができるようになる。更に、この値ｙt-1
は、線路１００を介してもニューラルネットワークＮＮ
wに送出される。付加的に、図２では、雑音δが示され
ており、この雑音δは、例えば、結合個所及び遅延素子
Ｚ１のところで制御量に重畳することができる。しか
し、この様な重畳の仕方は、本発明の方法の機能動作の
不可欠な前提条件ではない。
【００４４】例えば、この系は、加熱装置を示し、この
装置は、時点t-1での状態ｙt-1及び時点t-1での制御行
動（ｕt-1と示される）（例えば、スイッチオン）を時
点ｔでの新たな状態に写像する。更に、例えば、所望の
目標特性は、費用関数Ｃ（ｙ）によって示される（例え
ば、Ｃ（ｙ）＝（ｙ−ｙsoll）2である）。目的は、例
えば、この系をニューラルネットワークＮＮwを用い
て、費用が最小になるように制御することである。有利
には、この費用は、今後将来的には、例えば、比較的小
さく重み付けすることができる。このため、例えば、値
引き係数γt-1が導入され、その際、０≦γ≦１であ
る。このため、ネットワークＮＮwのパラメータ、つま
り、その重みを正確に調整、即ち、トレーニングする必
要がある。これは、有利には、グラジエント降下を用い
て行われる。その際、ｕt及びｙtは、ベクトルであるこ
ともあり、費用関数は、時間依存であることもある（例
えば、Ｃt（ｙt））。その際、初期条件は、固定してい
る必要はなく、このことは、本発明の方法による解を示
す際に何等問題ではない。本発明の場合では、技術的系
及びニューラルネットワークは、非決定的なものとして
扱われる。ネットワークのトレーニングのためには、有
利には、費用のグラジエントは、重みによって決められ
る。これは、後述の式（１１＃）に示されている。
装置は、時点t-1での状態ｙt-1及び時点t-1での制御行
動（ｕt-1と示される）（例えば、スイッチオン）を時
点ｔでの新たな状態に写像する。更に、例えば、所望の
目標特性は、費用関数Ｃ（ｙ）によって示される（例え
ば、Ｃ（ｙ）＝（ｙ−ｙsoll）2である）。目的は、例
えば、この系をニューラルネットワークＮＮwを用い
て、費用が最小になるように制御することである。有利
には、この費用は、今後将来的には、例えば、比較的小
さく重み付けすることができる。このため、例えば、値
引き係数γt-1が導入され、その際、０≦γ≦１であ
る。このため、ネットワークＮＮwのパラメータ、つま
り、その重みを正確に調整、即ち、トレーニングする必
要がある。これは、有利には、グラジエント降下を用い
て行われる。その際、ｕt及びｙtは、ベクトルであるこ
ともあり、費用関数は、時間依存であることもある（例
えば、Ｃt（ｙt））。その際、初期条件は、固定してい
る必要はなく、このことは、本発明の方法による解を示
す際に何等問題ではない。本発明の場合では、技術的系
及びニューラルネットワークは、非決定的なものとして
扱われる。ネットワークのトレーニングのためには、有
利には、費用のグラジエントは、重みによって決められ
る。これは、後述の式（１１＃）に示されている。
【００４５】有利には、本発明の方法では、系はシミュ
レートされ、又は、実際の系が使用されて、調整量がガ
ウス雑音を用いて重畳される。費用は、ランダム量であ
り、後述の式（１２＃＃）によって示される。
レートされ、又は、実際の系が使用されて、調整量がガ
ウス雑音を用いて重畳される。費用は、ランダム量であ
り、後述の式（１２＃＃）によって示される。
【００４６】その際、決定的な解（ここでは示していな
い）の場合に生じる微分係数の積が消える。ニューラル
ネットワークは、先ず、ランダムデータを用いて初期化
され、即ち、重みは、何らかの方法で調整される。続い
て、実際の系が、雑音のある調整量で作動され、それと
は関係なく、モデルも使用することができ、この系から
送出される調整量が観測される。有利には、この系の複
数回の循環によって時系列が記録される。その際、例え
ば、調整量も制御量もプロトコル化される。続いて、こ
の時系列は、ニューラルネットワークに供給されて、技
術的系の有利な制御が学習される。その際、所定の費用
関数によって、その様にしてニューラルネットワークで
の重みを変えること（即ち、増減すること）は有利に作
用し、それにより、比較的僅かな費用にすることができ
る。このトレーニング方法が複数回実行される場合、即
ち、複数の時系列が記録されて、この時系列を用いて、
ニューラルネットワークがトレーニングされる場合、ニ
ューラルネットワークの重みを極めて高い信頼度で調整
することができる。例として紹介した費用関数とは関係
なく、その他の費用関数を用いることもできる。結局、
重要なことは、この費用関数により、技術系の有利な系
特性に関して、ネットワークで調整される重み係数が増
減されることである。
い）の場合に生じる微分係数の積が消える。ニューラル
ネットワークは、先ず、ランダムデータを用いて初期化
され、即ち、重みは、何らかの方法で調整される。続い
て、実際の系が、雑音のある調整量で作動され、それと
は関係なく、モデルも使用することができ、この系から
送出される調整量が観測される。有利には、この系の複
数回の循環によって時系列が記録される。その際、例え
ば、調整量も制御量もプロトコル化される。続いて、こ
の時系列は、ニューラルネットワークに供給されて、技
術的系の有利な制御が学習される。その際、所定の費用
関数によって、その様にしてニューラルネットワークで
の重みを変えること（即ち、増減すること）は有利に作
用し、それにより、比較的僅かな費用にすることができ
る。このトレーニング方法が複数回実行される場合、即
ち、複数の時系列が記録されて、この時系列を用いて、
ニューラルネットワークがトレーニングされる場合、ニ
ューラルネットワークの重みを極めて高い信頼度で調整
することができる。例として紹介した費用関数とは関係
なく、その他の費用関数を用いることもできる。結局、
重要なことは、この費用関数により、技術系の有利な系
特性に関して、ネットワークで調整される重み係数が増
減されることである。
【００４７】本発明の方法によると、この様にして、時
系列の統計的分布に関して、ランダムな雑音がある調整
量を用いて、技術的系の有利な目標特性が作用するニュ
ーラルネットワークでの重み調整状態を達成することが
できる。
系列の統計的分布に関して、ランダムな雑音がある調整
量を用いて、技術的系の有利な目標特性が作用するニュ
ーラルネットワークでの重み調整状態を達成することが
できる。
【００４８】図２では、更に、本発明の方法の１実施例
について、ブロック接続図を用いて説明する。この実施
例によると、時系列は、以下の形式である： yt=f(yt-1,ut-1)+δt （１＃） これと共に、 ut=NNw(yt)+εt （１＃＃） であり、ここで Ｔ：目標状態の達成用の間隔幅 である。
について、ブロック接続図を用いて説明する。この実施
例によると、時系列は、以下の形式である： yt=f(yt-1,ut-1)+δt （１＃） これと共に、 ut=NNw(yt)+εt （１＃＃） であり、ここで Ｔ：目標状態の達成用の間隔幅 である。
【００４９】本発明の方法によると、ニューラルネット
ワークは、次の様にトレーニングされる。即ち、ニュー
ロンに調整すべき重みを、費用関数により評価すべき費
用が間隔Ｔ内で最小になるように選択するのである。こ
れは、一般的に以下の様に示すことができる：
ワークは、次の様にトレーニングされる。即ち、ニュー
ロンに調整すべき重みを、費用関数により評価すべき費
用が間隔Ｔ内で最小になるように選択するのである。こ
れは、一般的に以下の様に示すことができる：
【００５０】
【数１４】
【００５１】但し： γ≦１ 時系列の未来値用の値下げ係数
【００５２】
【数１５】
【００５３】時系列内の特定値の発生の確率 ニューラルネットワークの制御特性を最適化するため
に、本発明の方法によると、先ず、予測される費用のグ
ラジエントがニューラルネットワークの重みに応じて以
下の様に形成される：
に、本発明の方法によると、先ず、予測される費用のグ
ラジエントがニューラルネットワークの重みに応じて以
下の様に形成される：
【００５４】
【数１６】
【００５５】この解は、推計学的サンプリングにより近
似することができ、その際、式（９ｃ）はアナログ的に
使用される。即ち、この場合、ニューラルネットワーク
は、技術的系と一緒に、又は、そのモデルと一緒に複数
時間周期により作動され、ｙ及びｕの複数時系列が記録
される。この時系列で形成されたグラジエントの平均値
形成により、トレーニングに使用できる値が得られる。
しかし、場合によっては、このため、費用関数を、それ
ぞれのニューロンに大きな重みを課して、つまり、高い
費用を生じさせ、又は、ネットワークの制御行動の数及
び強度を考慮して、無限強度の制御行動を回避すること
ができるようにすることができる。ｕtの上述の条件を
用いると、以下の式が予測し得る費用のグラジエントと
して得られる：
似することができ、その際、式（９ｃ）はアナログ的に
使用される。即ち、この場合、ニューラルネットワーク
は、技術的系と一緒に、又は、そのモデルと一緒に複数
時間周期により作動され、ｙ及びｕの複数時系列が記録
される。この時系列で形成されたグラジエントの平均値
形成により、トレーニングに使用できる値が得られる。
しかし、場合によっては、このため、費用関数を、それ
ぞれのニューロンに大きな重みを課して、つまり、高い
費用を生じさせ、又は、ネットワークの制御行動の数及
び強度を考慮して、無限強度の制御行動を回避すること
ができるようにすることができる。ｕtの上述の条件を
用いると、以下の式が予測し得る費用のグラジエントと
して得られる：
【００５６】
【数１７】
【００５７】式（９ｃ）をアナログ的に用いると、この
式は、以下の通り、簡単になる：
式は、以下の通り、簡単になる：
【００５８】
【数１８】
【００５９】その際、Ｔ： 時系列毎の時間単位の数 Ｓ： 時系列の数 γ≦１ 時系列の未来値の値下がり係数 ＮＮｗ： ニューラルネットワークにより形成された値 文献 ［１］Bernardo, J.M.,Smith,A.F.M.（１９９４） Baye
sian Theory.Wiley &Sons. ［２］Buntine,W.L. and Weigend,A.S.（１９９１）.Ba
yesian Back-Propagation.Complex systems,Vol.５，第
６０５頁−第６４３頁. ［３］Ghahramani,Z. and Jordan,M.I.（１９９４）.Su
pervised Learning from Incomplete Data via an EM a
pproach. In: Cowan,J.D. 他、編集, Advancesin Neura
l Information Processing Systems ６，Morgan Kaufma
n. ［４］Tresp,V., Ahmed, S. and Neuneier, R.（１９９
４）. Training Neural Networks with Deficient Dat
a. In: Cowan, J.D.他、編集,Advances in Neural Info
rmation Processing Systems ６，Morgan Kaufman.
sian Theory.Wiley &Sons. ［２］Buntine,W.L. and Weigend,A.S.（１９９１）.Ba
yesian Back-Propagation.Complex systems,Vol.５，第
６０５頁−第６４３頁. ［３］Ghahramani,Z. and Jordan,M.I.（１９９４）.Su
pervised Learning from Incomplete Data via an EM a
pproach. In: Cowan,J.D. 他、編集, Advancesin Neura
l Information Processing Systems ６，Morgan Kaufma
n. ［４］Tresp,V., Ahmed, S. and Neuneier, R.（１９９
４）. Training Neural Networks with Deficient Dat
a. In: Cowan, J.D.他、編集,Advances in Neural Info
rmation Processing Systems ６，Morgan Kaufman.
【００６０】
【発明の効果】本発明の方法によると、ニューラルネッ
トワークを、ほぼ完全な確率特性を有している技術的系
の特性を用いてトレーニングすることができる。
トワークを、ほぼ完全な確率特性を有している技術的系
の特性を用いてトレーニングすることができる。
【図１】時系列及び系特性を示す図
【図２】本発明の方法の１実施例を示す図
【符号の説明】 ＮＮＷ ニューラルネットワーク ｙt〜ｙt-6 測定値 ＳＹ 系特性 ε 確率密度 δ 雑音 ｆ 技術的系 Ｚ１ 遅延素子
Claims (7)
- 【請求項１】 技術的系の非決定的特性を有するニュー
ラルネットワークのトレーニング方法において、 ａ）技術的系又は該技術的系のモデルを有するニューラ
ルネットワークを、制御回路内に組み込み、前記ニュー
ラルネットワークにより、出力量として少なくとも一つ
の調整量を前記技術的系又は該技術的系のモデルに送出
して、前記技術的系又は該技術的系のモデルが、前記ニ
ューラルネットワークから供給された前記調整量から、
少なくとも一つの制御量を形成し、該制御量を、前記ニ
ューラルネットワークに入力量として供給し、 ｂ）前記調整量を、該調整量が前記技術的系又は該技術
的系のモデルに供給される以前に、既知の雑音分布を持
った雑音と重畳し、 ｃ）前記ニューラルネットワークの重みを、前記の様に
して形成された雑音によって変化する制御量に応じて以
下の様に調整し：即ち、既知の学習方法に応じて調整さ
れたネットワークでの重みの変化により、前記技術的系
の目標特性に関して制御量が改善されるかどうかが、費
用関数により評価されて、前述の様な重み調整を、前記
費用関数によって助長するようにしたことを特徴とする
ニューラルネットワークのトレーニング方法。 - 【請求項２】 既知の学習方法に応じて調整されたネッ
トワークでの重みの変化により、前記技術的系の目標特
性に関して制御量が劣化されるかどうかについて、費用
関数により重み調整を評価し、前述の様な重み調整を、
前記費用関数によって弱める請求項１記載の方法。 - 【請求項３】 ニューラルネットワークの重みを、形成
された雑音によって変化する制御量に応じて以下の様に
調整し： ｉ）ニューロンの重みを任意に初期化し：制御回路は、
多数の時間周期により作動されて、制御量も調整量もそ
れぞれ時系列の形式でプロトコル化し、 ｉｉ）ニューロンの重みを、既知の学習方法に応じて調
整し、その都度時系列の各値に対して、前記ニューロン
での重みの変化のグラジエントを、調整量及び既知の雑
音に依存して決め、それから、前記過程を複数回繰り返
し、費用関数を用いて、技術的系の目標特性に関して、
前記制御量が、反応としてどの程度有利であるかを評価
する請求項１記載の方法。 - 【請求項４】 多数の時系列を記録し、ニューロンの重
みを、それぞれ一つの時系列に対して決め、該時系列
は、個別値として、記録された前記時系列の算術的平均
値を有している請求項２記載の方法。 - 【請求項５】 ガウス分布を既知の雑音分布として使用
する請求項１〜４までの何れか１項記載の方法。 - 【請求項６】 以下の形式： yt=f(yt-1,ut-1) ut=NNw(yt)+εt の時系列を有しており、ここで： 【数１】 であり、 ＮＮw：ニューラルネットワークにより形成された値 であり、ニューロンの重みは、以下の様に決められ： 【数２】 ここで： Ｔ：時系列毎の時間単位の数 Ｓ：時系列の数 γ≦１ 時系列の未来の値の値下がりファクタ である請求項４項記載の方法。
- 【請求項７】 制御量を、以下の形式： ut=NNw(yt)+δt の既知の雑音分布の雑音と重畳し、ここで： 【数３】 である請求項１〜６までの何れか１項記載の方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE19531967A DE19531967C2 (de) | 1995-08-30 | 1995-08-30 | Verfahren zum Training eines neuronalen Netzes mit dem nicht deterministischen Verhalten eines technischen Systems |
| DE19531967.2 | 1995-08-30 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09128010A true JPH09128010A (ja) | 1997-05-16 |
Family
ID=7770802
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8230974A Withdrawn JPH09128010A (ja) | 1995-08-30 | 1996-08-30 | 技術的系の非決定的特性を有するニューラルネットワークのトレーニング方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US5806053A (ja) |
| JP (1) | JPH09128010A (ja) |
| DE (1) | DE19531967C2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110004331A (ko) * | 2009-07-06 | 2011-01-13 | 노오텔 네트웍스 리미티드 | 타이밍 모듈 홀드오버를 위한 빌트인 셀프 테스트용 시스템 및 방법 |
Families Citing this family (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE19635758C1 (de) * | 1996-09-03 | 1997-11-20 | Siemens Ag | Verfahren und Vorrichtung zur rechnergestützten Generierung mindestens eines künstlichen Trainingsdatenvektors für ein neuronales Netz |
| DE19729187C1 (de) * | 1997-07-08 | 1999-04-29 | Siemens Ag | Testverfahren für einen Funktionsapproximator in einer Prozeßsteuerung |
| DE19740565A1 (de) | 1997-09-15 | 1999-03-18 | Max Planck Gesellschaft | Verfahren zur Erfassung zeitabhängiger Moden dynamischer Systeme |
| WO1999024884A1 (de) | 1997-11-07 | 1999-05-20 | Siemens Aktiengesellschaft | Anordnung zur vorhersage einer abnormalität eines systems und zur durchführung einer der abnormalität entgegenwirkenden aktion |
| DE19838654C1 (de) * | 1998-08-25 | 1999-11-25 | Siemens Ag | Verfahren zum Trainieren eines neuronalen Netzes, Verfahren zur Klassifikation einer Folge von Eingangsgrößen unter Verwendung eines neuronalen Netzes, neuronales Netz und Anordnung zum Trainieren eines neuronalen Netzes |
| US9983559B2 (en) * | 2002-10-22 | 2018-05-29 | Fisher-Rosemount Systems, Inc. | Updating and utilizing dynamic process simulation in an operating process environment |
| DE10348563B4 (de) | 2002-10-22 | 2014-01-09 | Fisher-Rosemount Systems, Inc. | Integration von Grafikdisplayelementen, Prozeßmodulen und Steuermodulen in Prozeßanlagen |
| US7146231B2 (en) * | 2002-10-22 | 2006-12-05 | Fisher-Rosemount Systems, Inc.. | Smart process modules and objects in process plants |
| US7577636B2 (en) | 2003-05-28 | 2009-08-18 | Fernandez Dennis S | Network-extensible reconfigurable media appliance |
| US20050041609A1 (en) * | 2003-08-22 | 2005-02-24 | Scheidt David H. | Propagation network |
| JP2007536634A (ja) | 2004-05-04 | 2007-12-13 | フィッシャー−ローズマウント・システムズ・インコーポレーテッド | プロセス制御システムのためのサービス指向型アーキテクチャ |
| US7729789B2 (en) | 2004-05-04 | 2010-06-01 | Fisher-Rosemount Systems, Inc. | Process plant monitoring based on multivariate statistical analysis and on-line process simulation |
| US20070041730A1 (en) * | 2005-08-09 | 2007-02-22 | Alcatel | RF extender co-located with DSL remote |
| WO2007067645A2 (en) | 2005-12-05 | 2007-06-14 | Fisher-Rosemount Systems, Inc. | Multi-objective predictive process optimization with concurrent process simulation |
| US8527252B2 (en) * | 2006-07-28 | 2013-09-03 | Emerson Process Management Power & Water Solutions, Inc. | Real-time synchronized control and simulation within a process plant |
| US8095480B2 (en) * | 2007-07-31 | 2012-01-10 | Cornell Research Foundation, Inc. | System and method to enable training a machine learning network in the presence of weak or absent training exemplars |
| US7814038B1 (en) | 2007-12-06 | 2010-10-12 | Dominic John Repici | Feedback-tolerant method and device producing weight-adjustment factors for pre-synaptic neurons in artificial neural networks |
| US8881039B2 (en) | 2009-03-13 | 2014-11-04 | Fisher-Rosemount Systems, Inc. | Scaling composite shapes for a graphical human-machine interface |
| US8825183B2 (en) | 2010-03-22 | 2014-09-02 | Fisher-Rosemount Systems, Inc. | Methods for a data driven interface based on relationships between process control tags |
| KR102494139B1 (ko) | 2015-11-06 | 2023-01-31 | 삼성전자주식회사 | 뉴럴 네트워크 학습 장치 및 방법과, 음성 인식 장치 및 방법 |
| US10878140B2 (en) | 2016-07-27 | 2020-12-29 | Emerson Process Management Power & Water Solutions, Inc. | Plant builder system with integrated simulation and control system configuration |
| CN106446405B (zh) | 2016-09-23 | 2018-12-18 | 北京大学深圳研究生院 | 一种集成电路器件神经网络建模样本选择方法及装置 |
| US11604459B2 (en) | 2019-07-12 | 2023-03-14 | Emerson Process Management Power & Water Solutions, Inc. | Real-time control using directed predictive simulation within a control system of a process plant |
| CN112051256B (zh) * | 2020-07-22 | 2023-01-24 | 中国地质大学（武汉） | 基于cnn模型的待测元素含量libs测量方法、系统 |
| EP4016202B1 (de) * | 2020-12-15 | 2023-11-22 | Siemens Aktiengesellschaft | Verfahren zum nachbilden von rauschanteilen von verlustbehaftet aufgezeichneten betriebssignalen sowie steuereinrichtung |
| US11418969B2 (en) | 2021-01-15 | 2022-08-16 | Fisher-Rosemount Systems, Inc. | Suggestive device connectivity planning |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5159660A (en) * | 1990-08-09 | 1992-10-27 | Western Thunder | Universal process control using artificial neural networks |
| JP2979711B2 (ja) * | 1991-04-24 | 1999-11-15 | 日本電気株式会社 | パターン認識方式および標準パターン学習方式 |
| DE4138053A1 (de) * | 1991-11-19 | 1993-05-27 | Siemens Ag | Hybrides lernverfahren fuer kuenstliche neuronale netze |
| US5396415A (en) * | 1992-01-31 | 1995-03-07 | Honeywell Inc. | Neruo-pid controller |
| US5649064A (en) * | 1995-05-19 | 1997-07-15 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | System and method for modeling the flow performance features of an object |
-
1995
- 1995-08-30 DE DE19531967A patent/DE19531967C2/de not_active Expired - Fee Related
-
1996
- 1996-08-30 US US08/705,834 patent/US5806053A/en not_active Expired - Fee Related
- 1996-08-30 JP JP8230974A patent/JPH09128010A/ja not_active Withdrawn
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110004331A (ko) * | 2009-07-06 | 2011-01-13 | 노오텔 네트웍스 리미티드 | 타이밍 모듈 홀드오버를 위한 빌트인 셀프 테스트용 시스템 및 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| US5806053A (en) | 1998-09-08 |
| DE19531967A1 (de) | 1997-03-06 |
| DE19531967C2 (de) | 1997-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH09128010A (ja) | 技術的系の非決定的特性を有するニューラルネットワークのトレーニング方法 | |
| US6169980B1 (en) | Method for operating a neural network with missing and/or incomplete data | |
| US6957203B2 (en) | Method and apparatus for operating a neural network with missing and/or incomplete data | |
| HARALAMPU et al. | Estimation of Arrhenius model parameters using three least squares methods | |
| JPH0628007A (ja) | ｍ個のパラメータを有する方程式によりモデル化されるプロセスの少くとも１つのパラメータを識別するツールを開発する方法 | |
| Zhou et al. | A new type of recurrent fuzzy neural network for modeling dynamic systems | |
| CN101542542B (zh) | 污损度判断装置和污损度判断方法 | |
| WO2019160138A1 (ja) | 因果推定装置、因果推定方法、及びプログラム | |
| JPH09128359A (ja) | レカレントニューラルネットの学習方法 | |
| CN110310199B (zh) | 借贷风险预测模型的构建方法、系统及借贷风险预测方法 | |
| CN113344467A (zh) | 一种电力工程资金预测方法和装置 | |
| Eng et al. | Forecast forex with ANN using fundamental data | |
| Laily et al. | Comparison of ARCH/GARCH model and Elman Recurrent Neural Network on data return of closing price stock | |
| Deák et al. | Internal rationality, learning and imperfect information | |
| YY et al. | Grain growth modelling for continuous reheating process—a neural network-based approach | |
| Twomey et al. | Committee networks by resampling | |
| Shahbazi et al. | Forex market prediction using NARX neural network with bagging | |
| Larsen et al. | Empirical generalization assessment of neural network models | |
| Ge et al. | Forecasting Hong Kong housing prices: An artificial neural network approach | |
| Renotte et al. | Neural modeling and control of a heat exchanger based on SPSA techniques | |
| Hakkarainen et al. | Neural networks in specification level software size estimation | |
| Faghri et al. | Artificial neural network–based approach to modeling trip production | |
| Bae et al. | Proactive travel time predictions under interrupted flow condition | |
| Aravanis et al. | Damage precise localization under varying operating conditions via the vibration-data-based Functional Model method: Formulation and experimental validation | |
| JPH06243273A (ja) | ニューラルネットワークの学習方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20031104 |