JP2986294B2 - 成長機能を有するニューラルネットワークシステム - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワー
ク装置に係り、特に、実時間処理に好適な高精度な、成
長機構を有したニューラルネットワークシステムに関す
る。

【０００２】

【従来の技術】近年、多くの文献等で紹介されている典
型的なニューラルネットワークは、入力層、出力層およ
び中間層（かくれ層）の多層構成からなり、各ニューロ
ンは、シナップスにより相互に結合されている。その学
習には、誤差逆伝搬学習法といわれる学習アルゴリズム
が用いられる。このアルゴリズムは、学習パターンと、
そのときの出力信号の理想値とからなる教師信号のセッ
トを用いるものである。すなわち、ニューラルネットワ
ークの入力に、学習パターンを与え、そのときの出力信
号の理想値に対する偏差を最小にするように、シナップ
スの結合度（シナップスの重み係数）を調整する方法で
ある。

【０００３】前記学習を完了した後、シナップスの重み
係数が固定されて、ニューラルネットワークが構築され
る。このニューラルネットワークは、これを利用する実
際の装置に移植される。実際の装置でのニューラルネッ
トワークの動作は、想起とよばれ、教師信号にはない未
知の入力情報に対しても想起対象、たとえばプロセスの
出力情報を得ることができる。想起は、例えば、入力情
報とシナップスの重みの積の総和を演算後、非線形関数
演算により、中間層ニューロン出力値を求め、同様にし
て、中間層ニューロン出力値とシナップスの重みにより
出力層ニューロン値、すなわち、想起結果を得ることに
より行なわれる。

【０００４】なお、上記従来技術は、たとえば「パター
ン認識と学習のアルゴリズム」（文一総合出版）に詳し
い。

【０００５】

【発明が解決しようとする課題】上記従来の技術は、学
習完了後、シナップスの重み係数を固定し、実際の装置
に移植するため、これに伴う問題点がある。例えば、株
価予測等の時系列データを想起対象とする場合、実際の
時系列データは、種々変動するため、どのように学習方
法を改善しても、また、想起の精度を向上させたとして
も、想起結果が実際の時系列データに追従できなくな
り、初期の精度が劣悪化してしまうという、ニューラル
ネットワークを応用する場合の隘路がある。

【０００６】しかし、現状は、この問題点を解消する有
効な方法が提案されるには至っていない。

【０００７】本発明の目的は、上記従来方法の問題点を
解決し、予測精度の維持、向上を可能とするニューラル
ネットワークシステムを提供することにある。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、本発明の一態様によれば、入力データについて、予
め与えられた重み係数により想起を行なう想起用ニュー
ラルネットワークと、与えられたデータに基づいて学習
を行なうための学習用ニューラルネットワークと、想起
用ニューラルネットワークの想起結果、および、学習用
ニューラルネットワークの想起結果について評価して、
学習用ニューラルネットワークの想起結果が想起用ニュ
ーラルネットワークの想起結果より精度が良いとき、想
起用ニューラルネットワークの重み係数を、学習用ニュ
ーラルネットワークの学習で得られた重み係数で更新す
るための手段とを備えることを特徴とする成長機能を有
するニューラルネットワークシステムが提供される。

【０００９】入力データとしては、時系列データが用い
られる。想起用ニューラルネットワークは、時系列デー
タに基づいて予測値を想起するものとすることができ
る。また、学習用ニューラルネットワークは、過去の時
系列データを入力して予測値を想起することにより学習
を行なう構成とすることができる。

【００１０】重み係数で更新するための手段は、想起用
ニューラルネットワークおよび学習用ニューラルネット
ワークのそれぞれの予測値について、対応する実測値と
の相関係数を求め、それらの相関係数を比較して、両者
の精度を評価するものとすることができる。

【００１１】また、本発明の他の態様によれば、入力時
系列データに基づいて、予測を行なって予測値を出力す
る予測システムであって、時系列データに基づいて予測
を行なう予測装置と、該予測装置の予測精度を向上する
ための成長支援装置とを備え、予測装置は、時系列デー
タを取り込む入力手段と、入力された時系列データを蓄
積する時系列データメモリと、ニューラルネットワーク
を有し、入力された時系列データについて予測値の想起
を行なうニューラルネット予測手段と、想起された結果
を蓄積する想起データメモリと、想起された結果を予測
値として出力する出力手段と、ニューラルネット予測手
段が想起に用いる重み係数を記憶するための重み係数メ
モリとを備え、成長支援手段は、時系列データメモリに
蓄積される時系列データを用いて学習を行なうニューラ
ルネット学習手段と、上記ニューラルネット予測手段の
想起結果と、上記ニューラルネット学習手段の想起結果
とについて、それぞれ実測値との相関係数を求めて、そ
れらを比較して、ニューラルネット学習手段の想起結果
が、ニューラルネット予測手段の想起結果より精度が良
い場合、上記重み係数メモリに記憶されている重み係数
を、ニューラルネット学習手段における学習によって得
られた重み係数で更新する重み係数成長手段とを備える
ことを特徴とする予測システムが提供される。

【００１２】成長支援手段は、ニューラルネット学習手
段を予め定めた周期で起動するタイマをさらに有するこ
とができる。

【００１３】本発明のさらに他の態様によれば、時系列
データの予測を行なうニューラルネットワークにおいて
並列に常に一定時間過去のデータを基に学習する手段
と、学習した結果得られる重み係数と現在の重み係数と
を評価し、前者の重み係数の精度が高い場合は、自動的
に現在の重み係数を更新する重み係数成長手段を有する
ニューラルネットワークが提供される。

【００１４】

【作用】想起用ニューラルネットワークは、予め与えら
れた重み係数により入力データについて想起を行なう。
一方、学習用ニューラルネットワークは、与えられたデ
ータに基づいて学習を行なう。これらは、同一のシステ
ムに備えられるが、それぞれ分離独立して機能する。し
たがって、学習用ニューラルネットワークを備えること
により、想起用ニューラルネットワークの重み係数を変
更することが可能となる。例えば、過去の時系列データ
から将来の値を予測するニューラルネットワークにおい
て、常に新しい（一定時間過去の）情報により学習し、
学習した結果が過去に学習した重み係数による結果より
予測精度が高い場合は、ダイナミックに重み係数を変更
する。従って、常に新しい（一定時間過去の）情報によ
り学習するため、学習パターンが固定化されず、種々変
動する対象に対して適切に対応することができる。

【００１５】重み係数で更新するための手段は、想起用
ニューラルネットワークの想起結果、および、学習用ニ
ューラルネットワークの想起結果を取り込んで、それぞ
れについて評価する。学習用ニューラルネットワークの
想起結果が想起用ニューラルネットワークの想起結果よ
り精度が良いとき、想起用ニューラルネットワークの現
在の重み係数を、学習用ニューラルネットワークの学習
で得られた重み係数で更新する。従って、一時的な変動
等に、精度が変動することなく、より高精度にニューラ
ルネットワークを成長させることができる。

【００１６】これにより、ニューラルネットワークを応
用する場合の隘路である、一旦、シナップスの重み係数
が固定化されることによる精度の劣悪化が解消できる。

【００１７】

【実施例】以下、本発明の実施例について、図面を参照
して説明する。本発明のニューラルネットワークシステ
ムの一実施例の全体構成を、図１に示す。同図に示すシ
ステムは、予測システムとして用いられるものである。
なお、図において、実線は、トリガ等の起動リンケージ
を示し、二重線は、データリンケージを示す。本実施例
の予測システムは、予測装置９と、成長支援装置１０と
により構成される。

【００１８】予測装置９は、データ、指示等の入力が行
なわれる入力手段１と、ニューラルネットワークを用い
て、入力データに対して予測データの想起を行なうため
のニューラルネット予測手段２と、想起結果等を出力す
る出力手段３と、記憶メモリとにより構成される。記憶
メモリは、入力手段１から入力される時系列データを蓄
積するための時系列データメモリ４と、ニューラルネッ
ト予測手段２の想起結果等を記憶するための想起データ
メモリ５と、学習結果である重み係数を記憶するための
重み係数メモリ６とを有する。

【００１９】入力手段１において、Δｔのサンプリング
周期で時系列データを入力する。時系列データメモリ４
は、この時系列データを、サイクリックに記憶する。ニ
ューラルネット予測手段２は、重み係数メモリ６より、
現在の重み係数Ｗｃを読出し、Δｔ後の時系列データを
予測（想起）し、想起データメモリ５へ想起結果Ｖｃ＝
ｈ（Ｘｃ）を、格納する。出力手段３は、ニューラルネ
ット予測手段２の予測値ｈ（Ｘ）を出力する。

【００２０】一方、成長支援装置は、ニューラルネット
ワークの学習を行なうためのニューラルネット学習手段
７と、ニューラルネット学習手段７の学習結果の評価を
行なって、重み係数を、予測精度がよりよいものに変更
するための重み係数成長手段８と、ΔＴに設定されたタ
イマー１１とにより構成される。

【００２１】ニューラルネット学習手段７は、タイマー
１１によりΔＴで起動され、時系列データメモリ４に記
憶されているΔＴ過去のデータΔＴを学習し、学習結果
ＷΔＴを重み係数メモリ６へ格納するとともに、学習結
果ｈ′（Ｘ）も、モニター用として出力するようにした
ものである。ニューラルネット学習手段７より起動され
た重み係数成長手段８は、時系列データメモリ４より、
時系列データの実測値ｕを、入力ニューロン数により読
出し、想起データメモリ５の、重み係数Ｗｃによる想起
値Ｖｃ＝ｈ（Ｘｃ）と、重み係数ＷΔＴによる想起値Ｖ
ΔＴ＝ｈ（ＸΔＴ）とにより、各々の相関係数を求め、
これらの相関係数によって、精度評価を行なう。また、
重み係数成長手段８は、評価の結果、ΔＴ過去の重み係
数ＷΔＴの想起値の方が、それより前の時点での重み係
数の想起値より、予測精度が高い場合は、重み係数を必
要に応じて、オンラインで変更可能にしたものである。

【００２２】ところで、オンラインで重み係数を変更す
る場合に、現在の予測機能に影響を与えないで、精度向
上を図る必要がある。そこで、本実施例においては、予
測装置９を構成する予測機能モジュールと、成長支援装
置１０を構成する成長機能モジュールとの結合度をでき
る限り小さくする目的で、成長支援装置１０に、タイマ
１１により独自のタイマー機能を持たせて、予測装置９
からの起動リンケージを一切なくしている。この点が特
徴の１つである。

【００２３】これにより、予測装置９と成長支援装置１
０とが分離可能となり、必要に応じて、成長支援機能を
追加して、有効にすることを可能としている。

【００２４】本実施例の予測装置９および成長支援装置
１０は、コンピュータシステムにより構成される。この
ために用いることができるコンピュータシステムのハー
ドウエア構成について、図１６から図１８に示す。図１
６に示すシステムは、コンピュータ本体１００と、デー
タ等の入出力を行なうインタフェースとして機能する入
出力制御回路１０５と、データ等の入出力を行なうため
の入出力装置１０６とを有する。コンピュータ本体１０
０は、１つの演算部（ＣＰＵ）１０１と、１つの主記憶
装置１０２と、バス１０３と、バス制御回路１０４とを
有する。主記憶装置１０２には、データ、重み係数等の
他、演算部１０１の動作プログラムが格納されている。
演算部（ＣＰＵ）１０１は、主記憶装置１０２に格納さ
れるプログラムを読みだして実行することにより、ニュ
ーラルネット予測手段２、ニューラルネット学習手段７
および重み係数成長手段８として機能する。また、ＣＰ
Ｕ１０１および入出力装置１０６は、入力手段１および
出力手段３として機能し、例えば、キーボード等の入力
装置、磁気記録装置等の記録装置、ＣＲＴディスプレ
イ、液晶ディスプレイ等のディスプレイ装置、データを
オンラインで入出力するための通信制御装置等の全部ま
たは一部と、それらの制御を行なう機能とが少なくとも
含まれる。

【００２５】図１７に示すシステムは、コンピュータ本
体２００と、上述したものと同様の入出力制御回路１０
５および入出力装置１０６とを有する。コンピュータ本
体２００は、演算部（ＣＰＵ１）２０１と、演算部（Ｃ
ＰＵ２）２０２と、１つの主記憶装置２０３と、バス２
０４と、バス制御回路２０５とを有する。この場合、演
算部（ＣＰＵ１）２０１と、演算部（ＣＰＵ２）２０２
とを、予測装置９と成長支援装置１０とにそれぞれ割り
振ることにより、それぞれの機能を並列処理することが
できる。

【００２６】図１８に示すシステムは、２台のコンピュ
ータ１００，１００と、コンピュータ間で共通にしよう
するグローバルメモリ１５０と、共通バス１６０と、上
述した入出力装置１０６とを有する。２台のコンピュー
タ１００は、図１６に示したものに限られない。このシ
ステムの場合には、２台のコンピュータ１００，１００
に、予測装置９と成長支援装置１０とをそれぞれ割り振
ることにより、それぞれの機能を並列処理することがで
きる。予測装置９と成長支援装置１０とでやり取りする
データは、グローバルメモリ１５０に記憶させる。

【００２７】ところで、予測装置９の機能と、成長支援
装置１０の機能とを、並列に処理する場合、全体が高負
荷となり、現在の予測機能に影響を与えてしまい、実用
上の性能条件（応答性）が満足できないという大きな問
題点が予想される。しかし、上述した、図１７および図
１８に示すシステムによれば、それぞれ独立のＣＰＵに
よって、処理が行なえるので、この問題は起きない。つ
まり、予測機能における時系列データメモリ、想起デー
タメモリ、重み係数メモリを、ＣＰＵ間の共通メモリと
して、予測機能と成長機能を連結させることができ、並
列処理が円滑に行なえるからである。

【００２８】一方、図１６に示すような、１のＣＰＵで
実現する場合には、予測機能と成長機能とを、機能モジ
ュールとして分け、それぞれを独立に起動できるように
することにより、予測機能の稼働状況に応じて、成長機
能を起動することができ、ハードウエア資源の負荷の低
減を図って、それぞれの機能を実現することができる。
例えば、２４時間稼動の予測装置でない場合は、成長機
能の自動学習タイミングを、タイマー機能の周期時間、
時刻指定をオンライン稼動のピーク負荷時間以外に設定
することにより、１つのＣＰＵ内部に実装することが容
易に可能となる。これは、例えば、予測機能をファジィ
推論装置やプロセス制御機能との組合せで実現するプロ
セス制御装置などの場合においても同様である。

【００２９】図５（Ｂ）は、時系列データメモリ４内の
時系列データテーブルの構成の一例を示したものであ
る。同図において、現時点の時系列入力データをｘ（ｔ
＋ｍｄ）、時系列データのサンプリング周期をΔｔ＝ｄ
として、また、一定時間過去の時間をΔＴ、学習対象期
間をＴｓで表わしている。時系列データメモリ４内に
は、サンプリング周期（Δｔ＝ｄ）の時系列データが、
開始点ｘ（ｔ−ｎｄ）からｘ（ｔ−５ｄ），ｘ（ｔ−４
ｄ），ｘ（ｔ−３ｄ），ｘ（ｔ−２ｄ），ｘ（ｔ−
ｄ），ｘ（ｔ）までの、学習対象となるＴｓ期間の時系
列データＸΔＴとして記憶されており、これに、現時点
からΔＴだけ過去の時系列データｘ（ｔ＋ｄ），ｘ（ｔ
＋２ｄ），ｘ（ｔ＋３ｄ）……ｘ（ｔ＋ｍｄ）がさら
に、記憶されている。これらのデータは、入力手段１に
よって、サンプリング開始から現時点まで、時系列デー
タ（入力情報）をサイクリックに取り込まれて、時系列
データメモリ４にセットされる。

【００３０】時系列データを入力情報として蓄積する場
合、時間の経過と共に、時系列データメモリ４が満杯に
なるという問題点がある。本実施例においては、時系列
データを現時点からサイクリックに記憶して、一定時間
経過したデータは、新しいデータに更新される。そし
て、学習指定タイマー１１の値により、学習対象の時系
列データを求める方法で、メモリの有効利用をしてい
る。

【００３１】また、図５（Ａ）は、Ｘを時系列データの
値、Ｔを時刻とした時系列データのグラフを示したもの
である。ｘ（ｔ）〜ｘ（ｔ−ｎｄ）は、学習実行タイミ
ングで、学習対象とした時系列データを示したものであ
る。

【００３２】図６（Ａ）は、ニューロン数ｉの第１層、
ニューロン数ｊの第２層、ニューロン数ｋの第３層で構
成されるニューラルネットワークの構成の概要を模式的
に示す。同図（Ｂ）は、このような３層構造のニューラ
ルネットワークに対する重み係数テーブルを示したもの
である。Ｗｃは、現在の重み係数を示し、ＷΔＴは、一
定時間過去の時系列データで学習した重み係数を示す。

【００３３】図７は、時系列データテーブルに対する想
起データテーブルの構成を示す。想起データテーブル
は、想起データメモリ５内に設けられる。本実施例で
は、重み係数Ｗｃによる想起値Ｖｃ＝ｈ（Ｘｃ）を格納
するテーブルと、重み係数ＷΔＴによる想起値ｈ（ＸΔ
Ｔ）を格納するテーブルとが設けられている。

【００３４】また、本実施例では、図７に示すように、
学習対象の時系列データの個数（Ｔｓの期間の時系列デ
ータ個数）を一定とすると、ニューラルネットの入力ニ
ューロン数により、時系列データの実測値のデータ個数
に対する想起値個数が変化してしまうため、入力ニュー
ロン数により、時系列データの実測値を決定することに
より入力ニューロン数の変更に対応可能にしてある。つ
まり、入力ニューロン数ｉ個のサンプリングデータに対
し、時系列データＵ₁…Ｕ_l-1，Ｕ_lを決定し、重み係数
ＷΔＴによる想起値をｈ（ＸΔＴ），ＶΔＴ₁…ＶΔＴ
_l-1，ＶΔＴ_l、重み係数Ｗｃによる想起値をｈ（Ｘ
ｃ），Ｖｃ₁…Ｖｃ_l-1，Ｖｃ_lを想起することを示した
ものである。

【００３５】次に、予測装置９の動作について、予測機
能を中心に、説明する。ここで、予測機能で使用する現
在の重み係数Ｗｃは、成長機能で、現在の重み係数Ｗｃ
よりも、一定時間過去の時系列データにより学習した重
み係数ＷΔの方が予測精度が高い場合に、ＷΔに変更さ
れ、これが新たな重み係数Ｗｃとなる。このときのイン
ターロックは、ニューラルネット予測手段２と重み係数
成長手段８との間で、現在の重み係数Ｗｃの排他制御を
行ない、予測手段２が現在の重み係数Ｗｃを参照してい
るときは、重み係数成長手段８が現在の重み係数Ｗｃを
変更できない方式をとることとする。このインターロッ
ク方式は、例えば、重み係数メモリ６にビジーフラグを
持たせることによって実現できる。これにより、予測機
能が主体で、予測機能がビジーでないとき（サンプリン
グ間隔Δｔの間など）に、重み係数の変更が可能とな
り、ニューラルネット予測手段２も、変更途中の重み係
数を使用することがなくなる。

【００３６】図１４は、Δｔ間隔で処理を実行する予測
機能の全体の処理手順を示したものである。以下、この
処理フローに従って、予測機能と成長機能の処理手順の
全体概要について説明する。

【００３７】入力手段１により、図示していない計測装
置等により計測されたデータ等の、時系列データＸをサ
ンプリング周期Δｔで入力処理する（ステップＳ１４０
１）。そして、入力手段１で入力された時系列データＸ
は、時系列データメモリ４にサイクリックに記憶させる
と共に、ニューラルネット予測手段２に入力される（ス
テップＳ１４０２）。ニューラルネット予測手段２によ
り、重み係数メモリ６に対して、成長機能とのインター
ロックとして、重み係数メモリ６の現在の重み係数Ｗｃ
を使用中とするためのフラグをセットする（ステップＳ
１４０３）。この後、ニューラルネット予測手段２は、
重み係数メモリ６の現在の重み係数Ｗｃにより想起する
（ステップＳ１４０４）。

【００３８】ニューラルネット予測手段２は、想起が終
了すると、重み係数メモリ６の現在の重み係数Ｗｃの使
用中を示すフラグをリセットして、現在の重み係数Ｗｃ
を使用可能状態に解放する（ステップＳ１４０５）。ニ
ューラルネット予測手段２は、現在の重み係数Ｗｃによ
る想起結果Ｖｃ＝ｈ（Ｘｃ）を、想起データメモリ５に
転送して、記憶させる（ステップＳ１４０６）。また、
想起結果は、出力手段３にも送られる。そして、出力手
段３により、前記ステップの想起結果によりΔｔ後の値
を出力する（ステップＳ１４０７）。

【００３９】次に、成長支援装置１０の成長機能につい
て、図１５を参照して説明する。図１５は、ΔＴ（周期
または時刻指定）で処理を実行する成長機能の全体の処
理手順を示したものである。以下処理フローに従って説
明する。

【００４０】ニューラルネット学習手段７は、時系列デ
ータメモリ４からΔＴ過去のＴｓ期間の時系列データＸ
ΔＴを取り込んで、これについて学習を行なう（ステッ
プＳ１５０１）。ニューラルネット学習手段７は、前記
ステップの学習結果ＶΔＴ＝ｈ（ＸΔＴ）を、想起デー
タメモリ５に格納して、記憶させる（ステップＳ１５０
２）。

【００４１】重み係数成長手段８は、想起データＶｃと
学習結果ＶΔＴとを想起データメモリ５より読みだし
て、それらの相関係数を計算する（ステップＳ１５０
３）。また、重み係数成長手段８は、計算された相関係
数を比較して、重み係数メモリ６の現在の重み係数Ｗｃ
を変更する必要があるか否か判定する（ステップＳ１５
０４）。

【００４２】重み係数Ｗｃを変更する必要がある場合、
重み係数成長手段８は、まず、重み係数メモリ６の現在
の重み係数Ｗｃが使用中でない場合に、重み係数を使用
中とするようフラグをセットする（ステップＳ１５０
５）。ただし、使用中の場合は、解放されるまで、以降
の処理を遅延する。重み係数成長手段８は、使用中とし
た後、重み係数メモリ６の現在の重み係数Ｗｃを、ΔＴ
過去の時系列データＸΔＴで学習した結果求められた重
み係数ＷΔＴに更新する（ステップＳ１５０６）。そし
て、重み係数メモリ６の現在の重み係数Ｗｃを解放（使
用中以外）する（ステップＳ１５０７）。ここで、学習
の結果得られた重み係数ＷΔＴは、学習後、重み係数メ
モリ６に格納しておき、これを、現在の重み係数Ｗｃと
する構成とすることができる。また、学習の結果得られ
た重み係数ＷΔＴを、更新時に、ニューラルネット学習
手段７から読みだして、重み係数メモリ６に、現在の重
み係数Ｗｃとして格納する構成とすることもできる。こ
こでは、前者の構成によるものとする。

【００４３】次に、成長支援装置１０におけるニューラ
ルネット学習手段の処理手順について、図２のフローチ
ャートを参照して説明する。まず、ニューラルネット学
習手段７は、時系列データメモリ４に格納された、Δｔ
のサンプリング周期で測定された時系列データの中で、
現時点からΔＴだけ過去の時系列データＸΔＴ（Ｔｓ期
間）を該メモリ４から読みだして、これについて学習す
る（ステップＳ１０１）。ここで、実行タイミングは、
ΔＴの時間周期による。その後、ニューラルネット学習
手段７は、ＸΔＴの学習結果（＝ＷΔＴによる想起結
果）ＶΔＴ＝ｈ（ＸΔＴ）を、想起データメモリ５へ送
って、記憶させる（ステップＳ１０２）。また、ニュー
ラルネット学習手段７は、重み係数メモリ６に対して、
ビジーフラグのセットにより、排他制御を行なって、Ｘ
ΔＴの学習結果である重み係数ＷΔＴを該重み係数メモ
リ６に格納して、記憶させる（ステップＳ１０３）。そ
して、成長支援装置１０の重み係数成長手段８を起動す
る（ステップＳ１０４）。

【００４４】次に、成長支援装置１０における重み係数
成長手段８の処理手順について、図３に示すフローチャ
ートを参照して説明する。重み係数成長手段８は、想起
データＶｃ＝ｈ（Ｘｃ）を想起データメモリ５から読み
だすと共に、それに対応する測定値Ｕを時系列データメ
モリ４から読みだす。そして、想起データＶｃ＝ｈ（Ｘ
ｃ）と測定値Ｕとの相関係数ｒｃを演算する（ステップ
Ｓ２０１）。

【００４５】

【数１】

【００４６】次に、想起データメモリ５から想起データ
ＶΔＴ＝ｈ（ＸΔＴ）をさらに読みだし、想起データＶ
ΔＴ＝ｈ（ＸΔＴ）と測定値Ｕとの相関係数ｒΔＴを演
算する（ステップＳ２０２）。

【００４７】

【数２】

【００４８】重み係数成長手段８は、得られた相関係数
ｒｃとｒΔＴとを用いて、予測精度の比較を行う。ここ
で、 ｒｃ＜ｒΔＴ のとき、現在の重み係数の更新が必要と判定する（ステ
ップＳ２０３）。そして、重み係数成長手段８は、重み
係数メモリ６について、現在の重み係数Ｗｃを、ΔＴ過
去の時係数データＸΔＴで学習した結果の重み係数ＷΔ
Ｔに更新する（ステップＳ２０４）。

【００４９】本実施例では、重み係数成長手段８が扱う
データを、時系列データに限定している。すなわち、相
関係数を用いて精度評価が可能なデータに限定してい
る。本実施例は、一定時間過去の時系列データを用い
て、オンラインで学習し、現時点の重み係数と比較し
て、一定時間過去の重み係数の方が現時点の重み係数よ
り精度が高いと評価できた場合に、重み係数を変更する
方式をとっている。

【００５０】ところで、時系列データの場合、その精度
向上の有効性を、ある程度長いスパンで評価する必要が
ある。例えば、特別の事情により、データが著しく変動
していることが明らかである場合、それをもとに学習し
た結果得られた重み係数を用いることが適当でないこと
があり得る。このため、現在の重み係数を、学習した結
果求められた重み係数ＷΔＴで、直接更新してしまうの
ではなく、操作員等の判断を加えて行なうようにしても
良い。例えば、図１のニューラルネット学習手段７の出
力、つまり一定時間過去の時系列データの学習結果の重
み係数による想起結果（ｈ′（ｘ））をモニターに出力
させて、操作員が検証できるようにすればよい。また、
後述する図４に示す重み係数成長手段８のように、現在
の重み係数更新部の有効／無効設定部１８により、必要
に応じて、学習した結果求められた重み係数ＷΔＴによ
る現在の重み係数の更新を可能とすることもできる。

【００５１】本方式によれば、ニューラルネットワーク
による予測だけでなく、ファジイ推論手段などとの比較
を自動的に行ない、ニューラルネットによる予測精度が
他の予測手段より悪い場合には、自動的に重み係数を変
更することも可能となる。また、一定回数連続して一定
時間過去の時系列データの学習結果の重み係数の方が精
度が高い場合には、自動的に重み係数を変更するといっ
たことも可能となる。

【００５２】次に、本発明の他の実施例について、説明
する。この実施例は、学習の結果得られた重み係数ＷΔ
Ｔを、更新時に、ニューラルネット学習手段７から読み
だして、重み係数メモリ６に、現在の重み係数Ｗｃとし
て格納するものである。従って、重み係数成長手段８の
構成と、それに対するニューラルネットワーク学習手段
７および重み係数メモリ６の接続関係が異なるほかは、
上記第１図に示す実施例と、同様に構成される。図４
に、本実施例で用いられる重み係数成長手段８の機能構
成の一例を図４に示す。以下これについて説明する。本
手段８は、成長支援装置１０のニューラルネット学習手
段７により、タイミングΔＴで起動される。図４におい
て、実線の矢印は、トリガを表わし、二重線の矢印は、
情報の流れを表わしている。

【００５３】重み係数成長手段８は、相関係数演算部１
２ａ，１２ｂと、評価部１３と、現在の重み係数更新部
１４と、更新の有効／無効の設定部１８とを有する。相
関係数演算部１２ａは、実測値Ｕと、重み係数Ｗｃによ
る想起値Ｖｃ＝ｈ（Ｘｃ）との相関係数ｒｃを演算す
る。相関係数演算部１２ｂは、実測値Ｕと、重み係数Ｗ
ΔＴによる想起値ＶΔＴ＝ｈ（ＸΔＴ）との相関係数ｒ
ΔＴを演算する。評価部１３は、相関係数ｒｃとｒΔＴ
とを比較して評価する。現在の重み係数更新部１４は、
相関係数が（ｒｃ＜ｒΔＴ）の場合起動され、重み係数
ＷΔＴをニューラルネット学習手段７から取り込んで、
これを重み係数メモリ６に書き込む処理を行なう。更新
の有効／無効の設定部１８は、更新の有効／無効が設定
されると、それに従って、有効であれば、現在の重み係
数更新部１４に更新を行なわせ、無効であれば、更新を
抑止する。設定は、例えば、操作員が入力手段１を介し
て行なうことができる。

【００５４】次に、本発明のニューラルネットワークシ
ステムを適用した応用例について説明する。図８は、本
発明をトンネル汚染予測に適用した実施例を示す。ここ
では、ニューラルネットワークシステムとしては、上述
した図１に示すものと同じ構成のものが用いられる。

【００５５】本実施例は、図８（Ｂ）に示すように、入
力ニューロン数６、中間ニューロン数８、出力ニューロ
ン数１のニューラルネットワークを用いたニューラルネ
ット予測手段２に、トンネル汚染予測における汚染値Ｖ
Ｉ_n，ＶＩ_n-1，ＶＩ_n-2，ＶＩ_n-3，ＶＩ_n-4，ＶＩ_n-5を
入力し、ＶＩ_n+1を予測するものである。また、同様の
構成を有するニューラルネットワーク学習手段７に、学
習対象の時系列データが入力されて、学習が行なわれ
る。ここで、サンプリング周期は５分間で、学習対象
は、１２時間としている。従って、 ５分間×１４４＝１２時間 の計算から、学習対象の時系列データは、図８（Ａ）に
示すように、Ｖ１₁…ＶＩ₁₄₁，ＶＩ₁₄₂，ＶＩ₁₄₃，ＶＩ
₁₄₄となる。また、一定時間過去の値を、２４時間（Δ
Ｔ）として、１回／日のオンライン稼動時間以外に、学
習タイミングを与えるようにしている。

【００５６】図９は、図７に対応したトンネル汚染予測
における時系列データテーブルと、想起データテーブル
の構成を示すものである。時系列データテーブルとし
て、汚染値ＶＩの測定値をＶ₁，Ｖ₂，…Ｖ₁₄₃，Ｖ
_{1 44}は、５分間毎の時系列データ１４４個を示してお
り、入力ニューロン数が６個、つまり５分間×６個＝３
０分間過去の時系列のデータにより、５分後の将来の値
を予測するニューラルネットワークにおいて、学習対象
期間を５分間×１４４個＝１２時間とした場合を示した
ものである。この場合の想起値は、１３８個となる。ま
た、想起データテーブルの構成は、重み係数ＷΔＴにお
ける想起値ｈ（ＸΔＴ）と重み係数Ｗｃにおける想起値
ｈ（Ｘｃ）とで同じである。

【００５７】図１０は、図８（Ｂ）のニューラルネット
ワークに対する重み係数メモリ内の現在の重み係数Ｗｃ
のテーブル構成と、ΔＴ過去の時系列データＸΔＴ（Ｔ
Ｓ期間）の学習結果により求められた重み係数ＷΔＴの
テーブル構成（構成は同一）を示したものである。入力
ニューロン数６個と中間ニューロン数８個に対する重み
係数Ｗ_ij（ｉ＝１〜６，ｊ＝１〜８）と、中間ニューロ
ン数８個と出力ニューロン数１個に対する重み係数Ｖ_jk
（ｊ＝１〜８，ｋ＝１）とを記憶する重み係数テーブル
である。

【００５８】図１１は、本実施例における上りトンネル
５月１３日（木曜日）について、空気の汚染度を示すＶ
Ｉ計の測定値（グラフの実線）とニューラルネットで予
測した場合のＶＩ予測値（グラフの点線）を表わしたも
のである。

【００５９】図１９は、縦軸をＶＩ予測値（％）、横軸
をＶＩ測定値（％）として、１３８個の時系列データを
プロットした相関グラフである。これは、時系列データ
の予測精度の評価に使用するものであり、本実施での相
関係数は、下記の式で表わされるものを採用している。

【００６０】

【数３】

【００６１】相関図において、ＶＩ実測値（％）が増加
するとき、ＶＩ予測値（％）も増加する傾向（正の相
関）があり、実測値を予測値が直線上に並び、一致する
ときが最も強い相関を示し、ｒ＝１となる。

【００６２】つぎに、本発明のニューラルネットワーク
システムを適用したプロセス制御装置の一例について、
図１２によって説明する。実プロセスの一例であるトン
ネル換気プロセスのトンネル換気制御は、交通量などの
プロセス量から煤煙の汚染量ＶＩを予測することによ
り、集塵機やジェットファンに対する運転操作量Ｍを求
めて制御し、汚染量を基準範囲内に維持しようとするも
のである。

【００６３】図１２に示す本実施例のプロセス制御装置
１２００は、トンネル換気プロセス１２２０に適用され
たものである。トンネル換気プロセス１２２０には、プ
ロセス状態を検出する種々の検出器を有する測定機１２
２１と、対象の状態を変化させるための制御機器１２２
２、例えば、集塵するための集塵機とが設けられてい
る。

【００６４】プロセス制御装置１２００は、上記測定機
１２２１からの測定データを入力するための入力装置１
２０１と、入力されたデータに基づいて汚染値を推論す
るための推論装置１２１０と、推論された汚染値に基づ
いて、制御機器１２２２を操作する操作量を出力するた
めの出力装置１２０２とを有する。

【００６５】推論装置１２１０は、入出力インターフェ
イス１２００，１２１３と、成長型ニューラルネットワ
ーク１２１２とを有する。成長型ニューラルネットワー
ク１２１２としては、上述した実施例において示された
ニューラルネットワークシステムが用いられる。すなわ
ち、この成長型ニューラルネットワーク１２１２は、常
に新しい情報に一定時間過去の時系列データに対応して
学習した結果の方が、現在の重み係数を用いて行なう予
測より予測精度が高い場合は、重み係数を、学習して得
られた新しいものに自動変換する機能を有するものであ
る。

【００６６】プロセス量の測定機１２２１によって測定
される量（ｎ）は、プロセス入力装置１２０１によって
周期的（この例は５分）に取込まれる。取り込まれたプ
ロセス量は、インターフェイス１２１１で適合化され、
成長型ニューラルネットワーク１２１２に入力される。
成長型ニューラルネットワーク１２１２では、（ｎ＋
１）時刻の汚染量ＶＩ_n+1を、現在の重み係数によって
予測する。予測値は、プロセス出力装置１２０２に送ら
れ、汚染量が基準内に維持されるように、制御機器１２
２２の操作量（現在制御量からの可変量）を求めて、当
該制御機器１２２２に出力する。成長型ニューラルネッ
トワーク１２１２での想起演算は、シナップスの結合
（重み係数）に応じておこなわれる。

【００６７】この時、一定時間だけ過去の時点で学習を
行ない、この学習で想起された予測値と、現在の重み係
数によって予測した予測値とを、それぞれの相関係数で
比較し、現在の重み係数（過去の学習した結果）の予測
結果より、学習で想起された予測値の方が予測精度が高
い場合は、重み係数を、学習でえられた重み係数に変換
する。これによって、常に新しい情報に対する高精度な
予測が可能となり、リアルタイムな予測制御を可能にし
ている。

【００６８】その他の特徴として、トンネル換気制御
は、交通量と関係しており、交通量の時系列データの場
合など、曜日や天候などによって、特性が異なる。この
場合の予測においては、重み係数が単一の場合より、各
特性に応じて重み係数をダイナミックに変更した方が精
度が向上する。このため、単に、学習した重み係数を、
最新の重み係数で上塗り更新するのではなく、それらの
重み係数を分類整理して保管し、分類した重み係数のう
ち最適なものを検索し、再利用する構成とすることがで
きる。

【００６９】図１３は、その一例を概念的に示したもの
である。同図に示すシステムは、与えられた現在の重み
係数Ｗｃにより入力データＸについて想起を行なって予
測値ｈ（Ｘ）を求める予測回路１３０１と、予測値ｈ
（Ｘ）に基づいて操作量Ｆ（Ｘ）を決定する操作量決定
回路１３０２と、学習用ニューラルネットワーク１３０
４と、これを学習させるための学習回路１３０３と、学
習結果と予測回路１３０１による予測値とを評価して、
重み係数の変更を行なってニューラルネットワークの成
長を行なわせるための成長回路１３０５と、学習の結果
得られた重み係数を、分類して格納するための重み係数
メモリ１３０６とを有する。このようなシステムによれ
ば、例えば、交通量の予測の場合、曜日により、その特
徴があることが、先見的に明らかである。このため、学
習は、１回／日実行するように、タイマーを設定してお
く。学習結果である重み係数は、予め曜日毎に分類記憶
しておく。その重み係数の中から、現在（今日の曜日）
と一致する重み係数による予測精度と比較し、予測精度
が高い場合は、該当の曜日の重み係数と置き換えるとい
った方法が可能である。

【００７０】ここで、学習回路１３０３は、独自のタイ
マーＴより起動され、学習結果と予測回路１３０１によ
る予測値は、成長回路１３０５により評価され、必要に
応じて、予測精度の高い重み係数Ｗ（ｉ，ｊ，ｋ）に、
現在の重み係数Ｗｃをオンラインで更新することが可能
となる。

【００７１】図１３には、重み係数メモリ１３０６内の
重み係数テーブルを３次元で模式的に表わしたものであ
り、ｉ軸は、月を表わし、ｊ軸は、日曜日〜土曜日を表
わし、ｋ軸は、天候を表わしている。この場合、重み係
数が５月、水曜日で天候が雨の場合の重み係数が登録済
であるので、今回の重み係数と登録済の重み係数との精
度比較を行ない、今回の重み係数の方が精度が高い場合
に、現在の重み係数を更新し、かつ該当の重み係数に登
録済の重み係数を更新しておくようにする。この方式に
より、精度の高い予測と制御が可能となる効果がある。

【００７２】以上に示した応用例に限らず、本発明は、
種々の応用例に適用することができる。例えば、各種の
プラントの運転制御における予測システム、株価予測シ
ステム等に広く適用することができる。

【００７３】

【発明の効果】本発明によれば、実際に想起に使用して
いるニューラルネットワークの想起結果と、これとは別
の学習用ニューラルネットワークで学習された結果とを
比較して、学習結果の方が精度が良い場合に、学習で得
られた重み係数で、それまでの重み係数を更新すること
ができる。このため、実際に想起に使用しているニュー
ラルネットワークの重み係数を、実情に合わせて、変更
することができるので、想起の精度を向上することがで
きる。特に、時系列データに基づいて将来値を予測する
システムの場合には、予測精度の向上が図れるという効
果が顕著である。

【００７４】また、はじめに少ないデータにより学習
し、その後は、自動的に精度が向上するように自動学習
が可能となるという効果がある。このため、初期の学習
時間を低減することができる。

【図面の簡単な説明】

【図１】本発明の成長機構を有するニューラルネットワ
ークシステムの一実施例の全体構成を示すブロック図。

【図２】本実施例におけるニューラルネット学習手段の
処理手順を示すフローチャート。

【図３】本実施例における重み係数成長手段の処理手順
を示すフローチャート。

【図４】本発明のニューラルネットワークシステムの他
の実施例の構成に用いられる重み係数成長手段の機能構
成をブロック図。

【図５】（Ａ）は本発明の実施例において用いられる時
系列データの構成を示す説明図、（Ｂ）は時系列データ
のテーブルの構成の一例を示す説明図。

【図６】（Ａ）は本発明の実施例において用いられるニ
ューラルネットワークの層構成の概要を示す説明図、
（Ｂ）は重み係数テーブルの構成の一例を示す説明図。

【図７】本はつめ異の実施例において用いられる想起デ
ータテーブルの構成の一例を示す説明図。

【図８】（Ａ）はトンネル汚染予測に用いられる時系列
データの一例を示す説明図、（Ｂ）は本発明のニューラ
ルネットワークシステムをトンネル汚染予測に適用する
場合に用いられるニューラルネットワークの構成の一例
を示す説明図。

【図９】トンネル汚染予測における時系列データテーブ
ルおよび想起データテーブルの構成の一例を示す説明
図。

【図１０】トンネル汚染予測における重み係数テーブル
の構成の一例を示す説明図。

【図１１】トンネル汚染予測におけるＶＩ計測定値とＶ
Ｉ予測値との関係を示すグラフ。

【図１２】本発明のニューラルネットワークシステムを
適用したプロセス制御装置の一例を示すブロック図。

【図１３】重み係数を分類整理して保管し、分類した重
み係数のうち最適なものを検索し、再利用する構成の一
例を示す説明図。

【図１４】本発明のニューラルネットワークシステムの
一実施例における予測機能の処理手順を示すフローチャ
ート。

【図１５】本発明のニューラルネットワークシステムの
一実施例における成長機能の処理手順を示すフローチャ
ート。

【図１６】本発明のニューラルネットワークシステムを
実現するためのハードウエアシステムの一例の構成を示
すブロック図。

【図１７】本発明のニューラルネットワークシステムを
実現するためのハードウエアシステムの他の例の構成を
示すブロック図。

【図１８】本発明のニューラルネットワークシステムを
実現するためのハードウエアシステムのさらに他の例の
構成を示すブロック図。

【図１９】トンネル汚染予測におけるＶＩ計測定値とＶ
Ｉ予測値との相関係数の説明図。

【符号の説明】

１…入力手段、２…予測手段、３…出力手段、４…時系
列データメモリ、５…想起データメモリ、６…重み係数
メモリ、７…学習手段、８…重み係数成長手段、９…予
測装置、１０…成長支援装置、１１…周期タイマー、１
２ａ，１２ｂ…相関係数演算、１３…相関係数比較部、
１４…現在の重み係数更新部、１８…有効／無効設定
部、１２００…プロセス制御装置、１２０１…入力装
置、１２０２…出力装置、１２１０…推論装置、１２２
０…トンネル換気プロセス、１２２１…測定機、１２２
２…制御機器。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 八尋 正和 茨城県日立市大みか町五丁目２番１号 株式会社 日立製作所 大みか工場内 (72)発明者 阿部 登 茨城県日立市大みか町五丁目２番１号 株式会社 日立製作所 大みか工場内 (56)参考文献 特開 平４−199259（ＪＰ，Ａ) 特開 平４−205163（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 15/18 520 G06G 7/60 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims (4)

(57)【特許請求の範囲】
1. 【請求項１】入力データについて、予め与えられた重み
   係数により想起を行なう想起用ニューラルネットワーク
   と、与えられたデータに基づいて学習を行なうための学
   習用ニューラルネットワークと、想起用ニューラルネッ
   トワークの想起結果、および、学習用ニューラルネット
   ワークの想起結果について評価して、学習用ニューラル
   ネットワークの想起結果が想起用ニューラルネットワー
   クの想起結果より精度が良いとき、想起用ニューラルネ
   ットワークの重み係数を、学習用ニューラルネットワー
   クの学習で得られた重み係数で更新するための手段とを
   備えることを特徴とする成長機能を有するニューラルネ
   ットワークシステム。
2. 【請求項２】請求項１において、 入力データは、時系列データであり、 想起用ニューラルネットワークは、時系列データに基づ
   いて予測値を想起するものである、成長機能を有するニ
   ューラルネットワークシステム。
3. 【請求項３】請求項２において、 学習用ニューラルネットワークは、過去の時系列データ
   を入力して予測値を想起することにより学習を行なうも
   のである、成長機能を有するニューラルネットワークシ
   ステム。
4. 【請求項４】入力時系列データに基づいて、予測を行な
   って予測値を出力する予測システムであって、 時系列データに基づいて予測を行なう予測装置と、該予
   測装置の予測精度を向上するための成長支援装置とを備
   え、 予測装置は、 時系列データを取り込む入力手段と、 入力された時系列データを蓄積する時系列データメモリ
   と、 ニューラルネットワークを有し、入力された時系列デー
   タについて予測値の想起を行なうニューラルネット予測
   手段と、 想起された結果を蓄積する想起データメモリと、 想起された結果を予測値として出力する出力手段と、 ニューラルネット予測手段が想起に用いる重み係数を記
   憶するための重み係数メモリとを備え、 成長支援手段は、 時系列データメモリに蓄積される時系列データを用いて
   学習を行なうニューラルネット学習手段と、 上記ニューラルネット予測手段の想起結果と、上記ニュ
   ーラルネット学習手段の想起結果とについて、それぞれ
   実測値との相関係数を求めて、それらを比較して、ニュ
   ーラルネット学習手段の想起結果が、ニューラルネット
   予測手段の想起結果より精度が良い場合、上記重み係数
   メモリに記憶されている重み係数を、ニューラルネット
   学習手段における学習によって得られた重み係数で更新
   する重み係数成長手段とを備えることを特徴とする予測
   システム。