JPH0581228A

JPH0581228A - ニユーラルネツトワークの構成方法および学習／想起システム

Info

Publication number: JPH0581228A
Application number: JP3239978A
Authority: JP
Inventors: Minoru Koide; 実小出; Haruki Inoue; 春樹井上; Masakazu Yahiro; 正和八尋; Noboru Abe; 登阿部
Original assignee: Hitachi Engineering Co Ltd; Hitachi Ltd
Current assignee: Hitachi Engineering Co Ltd; Hitachi Ltd
Priority date: 1991-09-19
Filing date: 1991-09-19
Publication date: 1993-04-02
Anticipated expiration: 2016-10-02
Also published as: JP3214876B2

Abstract

(57)【要約】【構成】入力ニューロンに過去の時系列データをサンプ
リングして入力し、時系列データの将来値を予測する予
測値を得るニューラルネットワークの構築に際し、予め
定めたサンプリング間隔およびサンプリング期間の教師
パターンを生成し、生成された教師パターンについて、
ニューラルネットワークの学習を行ない、該ニューラル
ネットワークにより得られる予測値について、予測精度
の評価を行って、予め設定した精度が得られるまで、上
記サンプリング間隔およびサンプリング期間のうち少な
くとも一方について逐次変更した教師パターンの生成
と、その学習とを繰り返し、予め設定した予測精度が得
られたとき、そのときの教師パターンのサンプリング間
隔およびサンプリング期間から、ニューラルネットワー
クの入力ニューロン数を決定して、ニューラルネットワ
ークの構成を定義する。【効果】本発明によれば、実測パターンと予測パターン
との相関係数により、予測評価を行ない、その結果に基
づき、ニューラルネットワークの構造を定義しているた
め、高速で的確な学習／想起が可能。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ニューラルネットワー
クシステムに係り、特に、時系列情報の実時間処理、す
なわち過去のデータの推移により将来の値を予測する処
理に好適な、高速学習／想起を行なうニューラルネット
ワークの構造決定方法と、時系列情報生成手段を具備し
た推論方法と装置に関する。

【０００２】

【従来の技術】ニューラルネットワークは、入力層、中
間層および出力層の多層構造を有し、入力層に入力され
る信号に対して、各層を構成する各ニューロンの層間の
結合度に応じて、固有の出力信号を出力層より出力す
る。このニューロンの結合度は、学習によって適宜決定
することができる。このため、ニューラルネットワーク
を使用するには、予め一定の入力信号にたいして目的の
出力信号が得られるように、各ニューロンの他層の各ニ
ューロンとの結合度を決定させる学習を行うことが必要
となる。従来、ニューラルネットワークの学習方法とし
て、最も代表的な学習アルゴリズムは、誤差逆伝搬学習
方法を使用した方法である。これは、ニューラルネット
ワークに入力（学習パターン）を与え、そのときの出力
が理想の値（教師パターン）からのずれが最小になるよ
うに結合度を調整する方法である。

【０００３】ところで、ニューラルネットワークを制御
等の場において実際に利用するためには、他の機能素子
と同様に、高速に処理できること、すなわち、処理性が
高いこと、および、出力の精度がよいことが要求され
る。ニューラルネットワークは、その構成の態様、学習
のさせ方等により、その性能が変化する。従って、どの
ようにすれば、処理性の向上と高精度化の向上とが図れ
るかが、ニューラルネットワークの実用上の最大の課題
である。

【０００４】処理性、すなわち処理速度を向上させるに
は、（１）素子の高速度化等による演算速度そのものを
向上させること、（２）論理的に時間を要する積、加算
等の回数を低減すること、（３）ネットワークの構成を
できるだけ小さくすること、つまり、ニューラルネット
ワークの構成の最適化を図ること、が考えられる。この
うち（１）、（２）は、従来より行なわれている情報処
理における課題と同一であるが、（３）はニューラルネ
ットワーク特有の課題である。

【０００５】ニューラルネットワークの一つの応用とし
て、過去の時系列より将来の値を予測するシステムが考
えられる。このようなシステムでは、ニューラルネット
ワークの入力ニューロンに現在の値から一定時間過去に
遡った時系列データを与え、出力ニューロン値を予測値
とする。このため、高速で、高精度の結果を得られるこ
とが要求され、ネットワークの最適な構成が求められ
る。

【０００６】しかし、従来、ニューラルネットワークの
入力層は、測定器やサンプル間隔やサンプル期間などの
制約条件により、つまり入力変数に対応して、ニューロ
ン数が決定され、また、出力層は、予測する出力変数に
対応してニューロン数が決定され、さらに、隠れ層（中
間層）は、入力層と出力層のニューロン数により、経験
的に定められている。すなわち、プロセス制御装置に適
用可能な推論装置として実用可能なニューラルネットワ
ークの構成方法についての効果的な研究は、行なわれて
いない。特に、時系列データを用いてリアルタイムで予
測を行う分野に関しては、ニューラルネットワークをプ
ロセス制御装置に適用可能とするための、高速化、高精
度化について、効果的な方法が提案されていないのが現
状である。

【０００７】なお、ニューラルネットワークについて
は、例えば、「パターン認識と学習のアルゴリズム」
（文−総合出版発行）、特開平１−２０１７６４号公報
等に記載されている。

【０００８】

【発明が解決しようとする課題】上記ニューラルネット
ワークを実用に供する場合、特に、時系列データに基づ
いて予測を行う場合における課題について、さらに説明
する。

【０００９】図３は、時系列データから予測値を出力す
るニューラルネットワークを表わしている。入力ニュー
ロンには、連続データからサンプリング期間Ｔの範囲で
サンプリング間隔ｄにより等間隔にｎ個サンプリングさ
れた過去の値（時系列データ）を入力させる。これは、
下記の式で表わされる。

【００１０】ｘ(ｔ)，ｘ(ｔ−ｄ)，ｘ(ｔ−２ｄ)，……
…，ｘ(ｔ−ｎｄ) 但しＴ＝（ｎ＊ｄ）また、予測値は、ｘ(ｔ＋Ｐ)で表わされる。

【００１１】但しＰ；現在からの一定時間図３において、横軸ｔは、時刻を表わし、縦軸ｘは、そ
の時刻での実測値である。サンプリング期間Ｔとは、想
起結果（予測値）に影響を及ぼす過去の時間を表わす。

【００１２】ここで、一定間隔に測定された一定サンプ
リング期間の時系列データの組Ｐ₁、Ｐ₂、……、Ｐ
_mと、各々の組に対するｔ（現在時刻）よりＰ（一定時
間）後の時刻における測定値とを、学習パターン／教師
パターンとして学習することにより、予測値を出力する
様なニューラルネットワークのニューロンの結合の重み
を決定する。

【００１３】サンプリング期間Ｔを一定として、サンプ
リング間隔ｄを大きくすると、入力ニューロン数は減少
する。その結果、ニューラルネットワークの構造は小さ
くなり、学習／想起処理の処理性は向上する。一方、想
起結果は、サンプリング間隔の大きい測定点を忠実に表
わすようになるため、実際の測定値の波形と異なったも
のとなり、予測精度が劣化する。また、サンプリング期
間Ｔを一定として、サンプリング間隔ｄを小さくすると
入力ニューロン数は増大する。その結果、ニューラルネ
ットワークの構造は大きくなり、学習／想起処理の処理
性は低下する。一方、想起結果は、サンプリング間隔の
小さい測定点を忠実に表わすようになるため、実際の測
定値の波形により近いものとなり、予測精度が向上す
る。

【００１４】このように、時系列データの予測における
サンプリング間隔ｄの決定は、処理性と精度とに直接影
響する。

【００１５】一方、サンプリング間隔ｄを一定として、
サンプリング期間Ｔを小さくすると入力ニューロン数は
減少する。その結果、ニューラルネットワークの構造は
小さくなり、学習／想起の処理性は向上する。

【００１６】しかし、どの程度まで小さくした場合に、
精度の劣化に影響を与えるかの問題については、効果的
な解決方法が、提案されていないのが現状である。しか
し、現実の問題解決への応用は困難であり、また、一般
的課題に対する効果的な決定方法は、提案されていな
い。

【００１７】本発明の第１の目的は、上記のような時系
列データの予測において、サンプリング間隔とサンプリ
ング期間の最適なニューラルネットワークの構成方法を
提供することにある。

【００１８】また、本発明の第２の目的は、時系列デー
タの予測において、サンプリング間隔とサンプリング期
間の最適なニューラルネットワークの構成するためのニ
ューラルネットワーク構築支援システムを提供すること
にある。

【００１９】さらに、本発明の第３の目的は、学習にお
いては早期に収束し、想起においては高速にかつ高精度
な動作を行なって、時系列データについての予測をリア
ルタイムで処理できるニューラルネットワークシステム
を提供することにある。

【００２０】

【課題を解決するための手段】本発明の第１の目的を達
成するため、本発明の第１の態様によれば、複数の入力
ニューロンと少なくとも１の出力ニューロンとを有し、
入力ニューロンに過去の時系列データをサンプリングし
て入力し、時系列データの将来値を予測する予測値を出
力ニューロンから得るニューラルネットワークの構築に
際し、予め定めた入力ニューロン数に対応するサンプリ
ング間隔およびサンプリング期間の教師パターンを生成
し、生成された教師パターンについて、ニューラルネッ
トワークの学習を行ない、該ニューラルネットワークに
より得られる予測値について、予測精度の評価を行っ
て、予め設定した精度が得られるまで、上記サンプリン
グ間隔およびサンプリング期間のうち少なくとも一方に
ついて逐次変更した教師パターンの生成と、その学習お
よび予測精度の評価とを繰り返し、予め設定した予測精
度が得られたとき、そのときの教師パターンのサンプリ
ング間隔およびサンプリング期間から、ニューラルネッ
トワークの入力ニューロン数を決定して、ニューラルネ
ットワークの構成を定義することを特徴とするニューラ
ルネットワークの構成方法が提供される。

【００２１】また、本発明の第２の目的を達成するた
め、本発明の第２の態様によれば、ニューラルネットワ
ークの構成を定義する手段と、定義された複数の入力ニ
ューロンおよび少なくとも１の出力ニューロンを含んで
構成されるニューラルネットワークを記憶するニューラ
ルネットワーク保持手段と、該記憶されるニューラルネ
ットワークについて、教師パターンを用いて学習させる
学習手段と、上記教師パターンを生成する教師パターン
生成手段と、学習させたニューラルネットワークにより
得られる予測値について、予測精度の評価を行なう予測
精度評価手段と、これらの制御を行う制御手段とを備
え、制御手段は、得られる予測値が予め設定された精度
に達しないとき、上記教師パターン生成手段に、上記サ
ンプリング間隔およびサンプリング期間のうち少なくと
も一方について、変更した教師パターン生成させ、上記
学習手段に、上記変更された教師パターンを用いて学習
を行わせ、上記予測精度評価手段に、その精度を評価さ
せることを、予測値が予め設定した精度に達するまで繰
り返すように制御する機能を有し、上記ニューラルネッ
トワークの構成を定義する手段は、予測値が予め設定し
た精度に達したとき、その時のサンプリング間隔および
サンプリング期間に対応する入力ニューロン数を当該ニ
ューラルネットワークの入力ニューロン数に決定する機
能を有することを特徴とするニューラルネットワーク構
築支援システムが提供される。

【００２２】さらに、本発明の第３の目的を達成するた
め、本発明の第３の態様によれば、複数の入力ニューロ
ンと少なくとも１の出力ニューロンとを有するニューラ
ルネットワークを備え、ニューラルネットワークの学習
を行うと共に、入力ニューロンに過去の時系列データを
サンプリングして入力し、時系列データの将来値を予測
する予測値を想起させる学習／想起システムにおいて、
ニューラルネットワークを保持すると共に、これを用い
て学習および想起を行う計算機システムと、目的の予測
精度の入力およびニューラルネットワークの定義状態を
表示するための入出力装置と、データおよびプログラム
を入力するための入力装置と、少なくとも想起結果を出
力するための出力装置とを備え、計算機システムは、最
適なサンプリング間隔とサンプリング期間に対応したニ
ューラルネットワークを定義するニューラルネットワー
ク定義手段と、現在のサンプリング間隔とサンプリング
期間に対応した教師パターンを生成する教師パターン生
成手段と、それら教師パターンによりニューラルネット
ワークの学習を実行する学習手段と、学習結果の予測精
度評価を行なう予測精度評価手段と、上記各手段の実行
を制御する制御手段とを備えることを特徴とする学習／
想起システムが提供される。

【００２３】予測精度の評価は、例えば、予測値と実測
値との相関係数を求め、この相関係数を予め設定した満
足値と比較することにより行うことができる。ここで、
実測値としては、例えば、教師パターンの入力したデー
タの次の時刻のデータを用いればよい。

【００２４】また、サンプリング間隔およびサンプリン
グ期間のうち少なくとも一方についての変更は、ニュー
ラルネットワークの入力ニューロン数が少ないほうから
多くなる方向に逐次変化させることが好ましい。これ
は、入力ニューロン数が少ないほうが、計算量が少ない
ため、学習が高速に行なえるからである。

【００２５】また、本発明によれば、計測値の時系列デ
ータについて予測値を求めて、プロセスの制御を行うプ
ロセス制御システムにおいて、予め定義された数の入力
ニューロンおよび出力ニューロンとを含み、計測値の時
系列データについて予測値を出力するニューラルネット
ワークと、計測値について、上記定義された入力ニュー
ロン数に対応して、サンプリング期間およびサンプリン
グ間隔で計測値をサンプリングして時系列データを生成
し、これを入力ニューロンに供給する時系列データ生成
手段とを備えることを特徴とするものが提供される。

【００２６】

【作用】サンプリング間隔ｄとサンプリング期間Ｔの値
の決定ロジックにおいて所望の予測精度を最短時間で得
るのに必要なサンプリング間隔と、サンプリング期間
（時間）を最適に定めることができる。その結果によ
り、ニューラルネットワークの構造を定義し、また時系
列データを生成するようにしているので、学習において
は冗長な動作が減少し、その結果、短時間で学習が完了
する。また、想起においても高い処理性が得られるよう
になる。

【００２７】さらに、サンプリング間隔ｄとサンプリン
グ期間Ｔの値の決定ロジックにおいて最終的な予測値と
測定値との相関係数を用いて予測評価を行なっているた
め、所望の予測精度が保障されることになる。従って、
時系列データの予測値を高精度でかつ高速に定めること
ができるようになる。

【００２８】

【実施例】以下、本発明の一実施例について、図面を参
照して説明する。

【００２９】本発明の一実施例である時系列ニューラル
ネットワークの構成方法を実現するための機能図を図１
に示す。図１を参照して、本実施例のニューラルネット
ワーク構成方法の概要について説明する。

【００３０】本実施例は、過去の時系列データから将来
の値を予測するニューラルネットワークにおいて、複数
の入力ニューロン１に対応して、時系列データから等間
隔にサンプリングされた値ｘ（ｔ）、ｘ（ｔ−ｄ）、ｘ
（ｔ−２ｄ）、…、ｘ（ｔ−ｎｄ）を入力する場合にお
いて、そのサンプリング間隔ｄと、現在から過去の期
間、つまりサンプリング期間（Ｔ＝ｎ＊ｄ）が最適な、
つまり所望の予測精度が得られる範囲内で最少な入力ニ
ューロンを有するニューラルネットワークの構成を決定
するものである。

【００３１】先ず、予め、サンプリング間隔ｄとサンプ
リング期間Ｔに対応する入力ニューロン数を仮に決定し
て、ニューラルネットワークの構成を定義しておく。そ
して、教師パターン生成手段１により生成された時系列
データを、教師パターン（入力）メモリ６、教師パター
ン（出力）メモリ７に格納して、それに基づいて学習手
段４で学習を実行する。学習が収束した後、予測精度評
価手段３により、当該ニューラルネットワークによる予
測値と教師パターンの対応する値（実測値に相当する
値）との相関係数の算出を行う。相関係数が所望の予測
精度を満足すれば、その時のサンプリング間隔ｄとサン
プリング期間Ｔに対応する入力ニューロンを有する時系
列ニューラルネットワーク５を、時系列ニューラルネッ
トワーク定義手段２により定める。また、所望の予測精
度を満足しない場合は、教師パターン生成手段１により
満足するまで、サンプリング間隔ｄとサンプリング期間
Ｔのうち少なくとも一方について逐次変更した教師パタ
ーン（入出力）を生成して、学習と、予測精度の評価を
繰り返す。なお、学習パターンとして教師パターンを用
いている理由については後述する。

【００３２】ニューラルネットワークの入力ニューロン
数の変更は、入力ニューロン数が少ないほうから多くな
る方向に逐次変化させるように行う。従って、ニューラ
ルネットワークの初期設定時には、これを考慮して、入
力ニューロン数を設定する。

【００３３】次に、本発明の一実施例である学習／想起
システムの構成図を図２に示す。

【００３４】この学習／想起システムは、計算機システ
ム１０と、所望の予測精度の入力や、定義状態を表示す
る入出力装置１１と、データ、プログラム等を入力する
ための入力装置１２と、ニューラルネットワークの構成
データ、想起結果等を出力する出力装置１３とを備え
る。計算機システム１０は、例えば、図示していない中
央処理装置およびその動作プログラムやデータを記憶す
る主記憶を有する演算処理部１０ａと、インターフェイ
ス９とを備える。この計算機システム１０は、プログラ
ムを実行することにより、最適なサンプリング間隔とサ
ンプリング期間に対応したニューラルネットワーク５を
定義する時系列ニューラルネットワーク定義手段２と、
現在のサンプリング間隔とサンプリング期間に対応した
教師パターンを生成する教師パターン生成手段１と、そ
れら教師パターンにより学習を実行する学習手段４と、
学習結果の予測精度評価を行なう予測精度評価手段３
と、上記各手段の実行を制御する制御手段２０とを備え
る。上記各手段は、インターフェイス９を介して、入出
力装置１１、入力装置１２および出力装置１３との情報
の授受を行なう。

【００３５】本実施例で用いられるニューラルネットワ
ークは、出力ニューロン数が１であり、入力ニューロン
数が（ｎ＋１）個となるように構築される。入力ニュー
ロン数は、図３に示すように、サンプリング期間をＴと
して、サンプリング間隔をｄすると、Ｔ＝ｎｄの関係か
ら、（ｎ＋１）個に決められる。中間層は、入力ニュー
ロン数に合わせて適宜設定される。例えば、入力ニュー
ロン数と同数であったり、それより少ない数であったり
することができる。また、中間層のニューロン数は、入
力ニューロン数に併せて増減させるか、入力ニューロン
数の増減にかかわらず、固定としてもよい。

【００３６】学習手段４は、例えば、図１０に示すよう
に、学習演算手段４１と、重み演算修正手段４２とを備
える。学習演算手段４１には、学習パターンが入力され
る。これを受けて、学習演算手段４１は、ニューラルネ
ットワーク保持手段５に記憶されているニューラルネッ
トワークについて、ニューロン出力値とシナップス重み
の積和知の非線形関数演算を各層について順次行い、出
力値ｈ（ｘ）を出力する。重み演算修正手段４２には、
教師パターンｄ（ｘ）と上記出力値ｈ（ｘ）との誤差を
求め、これを最小とするように、バックプロパゲーショ
ン法を用いて、重み係数を修正する。

【００３７】ここで、学習パターンと教師用パターンと
は、本実施例の場合、時系列データを扱うので、同一の
データを用いることができる。すなわち、学習は、学習
パターンとして、教師パターンの特定の時点より１サン
プリング間隔分前までのデータを用い、その予測値が当
該特定の時点の教師パターンデータに近づくように、学
習させればよいからである。

【００３８】次に、本発明を、トンネル換気プロセスに
おけるＶＩ（透過率）値の予測をニューラルネットワー
クにより行うプロセスに応用した例について説明する。
ここでは、予測値の予測精度を、測定値との相関関係を
求めることにより評価する。

【００３９】本発明は、図４に示すような、ＶＩ実測値
（％）とＶＩ予測値（％）との相関グラフと相関係数に
より、時系列ニューラルネットワークの予測精度の評価
比較を行ない、最適なサンプリング間隔とサンプリング
期間Ｔを求め、それらに基づき時系列ニューラルネット
ワークの構成を定める様にしたものである。

【００４０】本例での相関関数は、下記の式で表わされ
るものを採用している。

【００４１】

【数１】

【００４２】図４は、縦軸をＶＩ予測値（％）、横軸を
ＶＩ実測値（％）として採用データ数（２７９データ）
だけプロットしたものであり、このグラフを相関図とい
う。

【００４３】相関図において、ＶＩ実測値（％）が増加
するときＶＩ予測値（％）も増加する傾向（正の相関）
があり、実測値と予測値が、直線上に並び一致するとき
が最も強い相関を示し、ｒ＝１となる。

【００４４】従って、図４の（ａ）と（ｂ）とに示され
る、相関係数＝０.３４６１４と０.６７２９９とでは、
０.６７２９９の方が強い相関であり、予測精度が高い
と評価できる。

【００４５】図５は、相関係数の満足値（ｒ_Sとする）
により、ニューラルネットワークのサンプリング間隔ｄ
とサンプリング期間Ｔとの決定ロジックのフローチャー
トを示す。

【００４６】サンプリング間隔ｄとサンプリング期間Ｔ
の決定は、フローチャートに従い、計算機システム１０
によって以下の順に処理される。

【００４７】Ｓ１０１；下記の初期値をセットする。

【００４８】（１）サンプリング期間の初期値をセット
する。

【００４９】（現在より一定時間後の予測に対して影響
が想定される十分大きな期間）（２）時系列データのサンプリング間隔の初期値をセッ
トする。

【００５０】(測定可能なサンプリング間隔に対して十
分大きな間隔）Ｓ１０２；以下のＳ１０３〜Ｓ１０７について、Ｓ１０
５でサンプリング間隔ｄの補正に対する相関係数が所望
の相関係数を満足するまで、くり返す。

【００５１】Ｓ１０３；前記サンプリング期間Ｔとサン
プリング間隔ｄに基づいて、時系列データをサンプリン
グし、それを入力として、学習することによりニューラ
ルネットの重み係数を求める。

【００５２】Ｓ１０４；Ｓ１０３でサンプリングした測
定値と前記ステップで決定された予測値により相関係数
ｒを算出する。

【００５３】Ｓ１０５；前記ステップで算出した相関係
数と、予め与えられた所望の相関度ｒ_Sとを比較する。

【００５４】ｒ≧ｒ_Sのとき条件成立（満足）Ｓ１０６；Ｓ１０５で条件成立（満足）のとき、サンプ
リング間隔ｄの補正を終了する。

【００５５】Ｓ１０７；Ｓ１０５で条件不成立（以外）
のとき、サンプリング間隔ｄをΔｄだけ狭くして、Ｓ１
０３に戻る。

【００５６】Ｓ１０８；以下のＳ１０９〜Ｓ１１４につ
いて、Ｓ１１１でサンプリング期間Ｔの補正に対する相
関係数が所望の相関係数を満足する限界値（不満足の１
回前）まで、くり返す。

【００５７】Ｓ１０９；前記Ｓ１０３と同じ。

【００５８】Ｓ１１０；前記Ｓ１０４と同じ。

【００５９】Ｓ１１１；前記Ｓ１０５と同じ。

【００６０】Ｓ１１２；Ｓ１１１で条件成立（満足）の
とき、サンプリング期間ＴをΔＴだけ狭くして、Ｓ１０
９に戻る。

【００６１】Ｓ１１３〜Ｓ１１４；Ｓ１１１で条件不成
立（以外）のとき、サンプリング期間ＴをΔＴだけ広く
して、サンプリング期間Ｔの補正を終了する。

【００６２】上記処理を要約すると、Ｓ１０１からＳ１
０７までの処理では、所望の予測精度、すなわち、実測
値と予測値との相関度を得るために必要なサンプリング
間隔を定めており、Ｓ１０８からＳ１１４までの処理
は、上記精度を得るのに必要な現在から過去への期間、
つまり将来値予測に影響のある最短のサンプリング期間
を決定するロジックである。

【００６３】図６〜図８により、サンプリング間隔と相
関係数との関係を説明する。

【００６４】先ず、現在点より予測点までの一定時間Ｐ
について、説明する。

【００６５】現在点より一定時間Ｐ後に対する予測値ｘ
（ｔ＋Ｐ）の並び（○印）は、ニューラルネットワーク
の学習により、測定値であるｘ（ｔ）、ｘ（ｔ−ｄ）、
……、ｘ（ｔ−ｎｄ）の等間隔の点（●印）を結んだグ
ラフを、出来るだけ忠実に表わすようになる。従って、
例えばＰ＝ｄ／２したとき、全ての該当の予測値と予測
値に対応する測定値との相関係数を求めることにより、
予測値を結んだグラフ（点線）と、予測値に対応する測
定値のグラフ（実線）との相関の程度が判定できる。

【００６６】ここで、相関係数の満足値（ｒ_S）は、適
用分野、予測対象量により、予め設定される定数であ
る。例えば、ＶＩ予測においては、０.９以上であれば
十分といえる。

【００６７】サンプリング間隔による相関係数の違いを
図７および図８に示す。なお、ここでは、サンプリング
期間は固定である。

【００６８】図７は、実施例において、サンプリング間
隔ｄが大きい場合は、相関係数が小さい値であることを
示している。一方、図８は、サンプリング間隔を図７の
場合より半分にしたことによって相関係数が向上し、予
測グラフも測定グラフに相似してきたことを示してい
る。

【００６９】図７と図８とを比較すると、入力ニューロ
ン数については、図７に示す例より図８に示す例の法
が、ニューロン数が多くなっている。また、図７に示す
サンプリング間隔による相関係数は、図４（ａ）のよう
になり、図８に示すサンプリング間隔による相関係数
は、図４（ｂ）のようになる。

【００７０】このことから、サンプリング間隔をより小
さくして、サンプリングデータを多くすることにより、
予測精度がより向上することがわかる。サンプリング間
隔を増加させると、それに対応して入力ニューロン数が
増えるので、それだけ想起に必要な計算量が増加して、
処理時間がかかるという問題がある。しかし、本発明の
場合、予め予測値の精度を評価することにより、必要な
精度に達したところで、入力ニューロン数を決定するこ
とができる。このため、本発明では、ニューラルネット
ワークの構成を、必要な精度を確保して、最小限の規模
に設定することができる。

【００７１】本発明は、計測値の時系列データについて
予測値を求めて、プロセスの制御を行うプロセス制御シ
ステムに適用することができる。これにより、例えば、
予め定義された数の入力ニューロンおよび出力ニューロ
ンとを含み、計測値の時系列データについて予測値を出
力するニューラルネットワークと、計測値について、上
記定義された入力ニューロン数に対応して、サンプリン
グ期間およびサンプリング間隔で計測値をサンプリング
して時系列データを生成し、これを入力ニューロンに供
給する時系列データ生成手段とを備えるプロセス制御シ
ステムが実現できる。

【００７２】図９は、このプロセス制御システムの一例
であって、図１のニューラルネットワークを設けたトン
ネル換気プロセスにおけるプロセス制御装置の一実施例
を示す。

【００７３】図９においては、プロセス側に、集塵機等
の制御機器１６が設けられ、また、プロセスの各部の状
態を測定する測定器１５を備えている。

【００７４】また、プロセス制御装置１７は、測定器１
５からの測定値を取り込んでディタルデータ変換する入
力装置１２と、入力されたデータをサンプリングして時
系列データを生成する時系列データ生成部８と、計算機
システム１０と、計算機システム１０から出力される信
号に基づいて操作量を求める操作量演算部１４と、求め
られた操作量演算手段と、演算された操作量を出力する
出力装置１３とを備える。

【００７５】測定器１５で入力した時系列プロセス量を
入力装置１２で入力し、該当の時系列プロセス量を予め
決定された最適なサンプリング間隔とサンプリング期間
に対応した時系列データを生成する時系列データ生成部
８を通じて、インターフェイスにより計算機システム１
０に入力することによって、計算機システムに内蔵され
た、高速推論装置である時系列ニューラルネットワーク
により、予測量を的確に定め、予測量に対する所定の操
作量を操作演算部１４により演算し、プロセス出力装置
１３により、制御機器１６の出力を行なうものである。

【００７６】図７、図８に示すように、サンプリング間
隔を逐次小さくし、次にサンプリング間隔を小さくする
ことにより、トンネル換気プロセスでは、所望の相関係
数0.9以上に対してサンプリング間隔５分間、サンプリ
ング期間30分間で満足したため、該当時系列サンプリン
グ条件により、７ヶの入力ニューロンに対応する時系列
データ生成部を設けたものである。

【００７７】すなわち、ＶＩ値（ｔ）、ＶＩ値（ｔ−
５）、ＶＩ値（ｔ−10）、ＶＩ値（ｔ−15）、ＶＩ値
（ｔ−20）、ＶＩ値（ｔ−25）、ＶＩ値（ｔ−30）が、
入力値として、入力ニューロンに入力され、学習後の該
当のニューラルネットワークの出力ニューロン値とし
て、ＶＩ値（ｔ＋５）を定め、その値により、所定の操
作量を制御機器に出力し、運転指示を行なうようにした
ものである。

【００７８】このように、本発明によれば、過去の時系
列データから将来の値を予測するニューラルネットワー
クにおいて、複数の入力ニューロンに対応して、時系列
データから等間隔にサンプリングされた値を入力する場
合において、そのサンプリング間隔とサンプリング期間
が最適な、つまり、所望の予測精度を得られる範囲内で
最小な複数の入力ニューロンに対応する時系列データが
自動生成できるので、このニューラルネットワークを内
蔵する推論装置を用いれば、短時間で的確な学習ができ
る様になり、かつ高速の予測が可能となる効果がある。

【００７９】

【発明の効果】本発明によれば、実測パターンと予測パ
ターンの相関係数により予測評価を行ない、その結果に
基づき、ニューラルネットワークの構造を定義している
ため、高速で的確な学習／想起が可能となるという効果
がある。

【図面の簡単な説明】

【図１】時系列ニューラルネットワーク構成装置の機
能図。

【図２】時系列ニューラルネットワークのハードウェ
ア構成を示すブロック図。

【図３】時系列データの予測におけるニューラルネッ
トワークの説明図。

【図４】ＶＩ実測値・予測値相関グラフと相関係数を
示すグラフ。

【図５】サンプリング間隔ｄとサンプリング期間Ｔの
決定ロジックを示すフローチャート。

【図６】サンプリング間隔ｄと現在点から予測点まで
の一定時間Ｐとの関係を示す説明図。

【図７】サンプリング間隔ｄが大の場合のニューラル
ネットワークの時系列予測を示す説明図。

【図８】サンプリング間隔ｄが小の場合（補正をした
場合）のニューラルネットワークワークの時系列予測を
示す説明図。

【図９】プロセス制御装置の一例の構成を示すブロッ
ク図。

【図１０】学習手段の一例の構成を示すブロック図。

【符号の説明】

１…教師パターン生成手段、２…時系列ニューラルネッ
トワーク定義手段、３…予測精度評価手段、４…学習手
段、５…ニューラルネットワーク、６…教師パターン
（入力）メモリ、７…教師パターン（出力）メモリ、８
…時系列データ生成部、９…インターフェイス、１０…
計算機システム、１０ａ…演算処理部、１１…入出力装
置、１２…入力装置、１３…出力装置、１４…操作量演
算部、１５…測定器、１６…制御機器、１７…プロセス
制御装置。

───────────────────────────────────────────────────── フロントページの続き (72)発明者八尋正和茨城県日立市大みか町五丁目２番１号株式会社日立製作所大みか工場内 (72)発明者阿部登茨城県日立市大みか町五丁目２番１号株式会社日立製作所大みか工場内

Claims

【特許請求の範囲】

【請求項１】複数の入力ニューロンと少なくとも１の出
力ニューロンとを有し、入力ニューロンに過去の時系列
データをサンプリングして入力し、時系列データの将来
値を予測する予測値を出力ニューロンから得るニューラ
ルネットワークの構築に際し、予め定めた入力ニューロン数に対応するサンプリング間
隔およびサンプリング期間の教師パターンを生成し、生
成された教師パターンについて、ニューラルネットワー
クの学習を行ない、該ニューラルネットワークにより得
られる予測値について、予測精度の評価を行って、予め
設定した精度が得られるまで、上記サンプリング間隔お
よびサンプリング期間のうち少なくとも一方について逐
次変更した教師パターンの生成と、その学習および予測
精度の評価とを繰り返し、予め設定した予測精度が得ら
れたとき、そのときの教師パターンのサンプリング間隔
およびサンプリング期間から、ニューラルネットワーク
の入力ニューロン数を決定して、ニューラルネットワー
クの構成を定義することを特徴とするニューラルネット
ワークの構成方法。
【請求項２】ニューラルネットワークの構成を定義する
手段と、定義された複数の入力ニューロンおよび少なく
とも１の出力ニューロンを含んで構成されるニューラル
ネットワークを記憶するニューラルネットワーク保持手
段と、該記憶されるニューラルネットワークについて、
教師パターンを用いて学習させる学習手段と、上記教師
パターンを生成する教師パターン生成手段と、学習させ
たニューラルネットワークにより得られる予測値につい
て、予測精度の評価を行なう予測精度評価手段と、これ
らの制御を行う制御手段とを備え、制御手段は、得られる予測値が予め設定された精度に達
しないとき、上記教師パターン生成手段に、上記サンプ
リング間隔およびサンプリング期間のうち少なくとも一
方について、変更した教師パターン生成させ、上記学習
手段に、上記変更された教師パターンを用いて学習を行
わせ、上記予測精度評価手段に、その精度を評価させる
ことを、予測値が予め設定した精度に達するまで繰り返
すように制御する機能を有し、上記ニューラルネットワークの構成を定義する手段は、
予測値が予め設定した精度に達したとき、その時のサン
プリング間隔およびサンプリング期間に対応する入力ニ
ューロン数を当該ニューラルネットワークの入力ニュー
ロン数に決定する機能を有することを特徴とするニュー
ラルネットワーク構築支援システム。
【請求項３】複数の入力ニューロンと少なくとも１の出
力ニューロンとを有するニューラルネットワークを備
え、ニューラルネットワークの学習を行うと共に、入力
ニューロンに過去の時系列データをサンプリングして入
力し、時系列データの将来値を予測する予測値を想起さ
せる学習／想起システムにおいて、ニューラルネットワ
ークを保持すると共に、これを用いて学習および想起を
行う計算機システムと、目的の予測精度の入力およびニ
ューラルネットワークの定義状態を表示するための入出
力装置と、データおよびプログラムを入力するための入
力装置と、少なくとも想起結果を出力するための出力装
置とを備え、計算機システムは、最適なサンプリング間
隔とサンプリング期間に対応したニューラルネットワー
クを定義するニューラルネットワーク定義手段と、現在
のサンプリング間隔とサンプリング期間に対応した教師
パターンを生成する教師パターン生成手段と、それら教
師パターンによりニューラルネットワークの学習を実行
する学習手段と、学習結果の予測精度評価を行なう予測
精度評価手段と、上記各手段の実行を制御する制御手段
とを備えることを特徴とする学習／想起システム。
【請求項４】請求項１において、予測精度の評価は、予
測値と実測値との相関係数を求め、この相関係数を予め
設定した満足値と比較することにより行われる、ニュー
ラルネットワークの構成方法。
【請求項５】請求項２において、予測精度評価手段は、
予測精度の評価は、予測値と実測値との相関係数を求
め、この相関係数を予め設定した満足値と比較すること
により行うものである、ニューラルネットワーク構築支
援システム。
【請求項６】請求項３において、予測精度評価手段は、
予測精度の評価は、予測値と実測値との相関係数を求
め、この相関係数を予め設定した満足値と比較すること
により行うものである、学習／想起システム。
【請求項７】請求項１において、サンプリング間隔およ
びサンプリング期間のうち少なくとも一方についての変
更は、ニューラルネットワークの入力ニューロン数が少
ないほうから多くなる方向に逐次変化させる、ニューラ
ルネットワークの構成方法。
【請求項８】計測値の時系列データについて予測値を求
めて、プロセスの制御を行うプロセス制御システムにお
いて、予め定義された数の入力ニューロンおよび出力ニューロ
ンとを含み、計測値の時系列データについて予測値を出
力するニューラルネットワークと、計測値について、上記定義された入力ニューロン数に対
応して、サンプリング期間およびサンプリング間隔で計
測値をサンプリングして時系列データを生成し、これを
入力ニューロンに供給する時系列データ生成手段とを備
えることを特徴とするプロセス制御システム。