JPH0573524A - プロセス状態推定装置 - Google Patents

Abstract

(57)【要約】 【目的】 汎化性能の高いニューラルネットワークを備
えたプロセス状態推定装置の提供。 【構成】 プロセス状態推定装置１はバックプロパゲー
ション重み学習型のニューラルネットワーク２を備えて
いる。そして，ニューラルネットワーク２の構造を決め
る重み学習用の構造パラメータ，または中間層のニュー
ロン３の数及びこれに連結される連結部７の数が，複数
の新たな入力データを学習済のニューラルネットワーク
２に入力して得た出力データｏ^m とこれに対応する望ま
しいデータとの二乗平均誤差に基づいて設定変更され
る。上記二乗平均誤差は上記新たな入力データに対する
推定精度の評価基準となる。従って，上記プロセス状態
推定装置１の汎化性能が向上する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は，いわゆる逆伝搬重み学
習型（バックプロパゲーション（ＢＰ）型）のニューラ
ルネットワークを用いてプロセスの状態を推定するプロ
セス状態推定装置に係り，特に推定精度の良いニューラ
ルネットワークの適切な構造を得るべく，中間層のデー
タ処理部（以下ニューロンという）の数やニューロン間
の連結部の重みを決定するための構造パラメータを適切
に設定変更することのできるプロセス状態推定装置に関
する。

【０００２】

【従来の技術】近年，種々の産業分野において人の脳に
おける情報処理形態を数学モデルとして模したニューラ
ルネットワークの応用が著しい。上記ニューラルネット
ワーク２は，図２に示す如く，例えば複数のニューロン
３を概念上データの入力層，出力層及び上記入力層と出
力層の間に介在する中間層よりなす層状に配置し，上記
入力層側のニューロン３の出力部と上記出力層側のニュ
ーロン３の入力部とを上記入力層側のニューロン３から
の出力データに重みを付加して上記出力層側のニューロ
ン３に伝達するための連結部７を介して連結して構成さ
れている。 〈ニューロンの構造〉上記ニューロン３の詳細は，図９
に示すように，データの入力部４，上記入力されたデー
タの演算部５，演算部５により演算されたデータを出力
する出力部６を有している。上記演算部５は，入力層ｋ
−１（ｋ＝１〜ｍ：ｋは入力層からの各層の番号を示
し，入力層が１であって出力層がｍである。）側の各ニ
ューロン３の連結部７から出力層ｋ側のニューロン３へ
の出力データｏ^k-1 _i の重みｗ^{k- 1,k} _i,j （ｉは上記出
力データが出力されるｋ−１層のｉ番目のニューロンを
示し，ｊは上記出力データが入力されるｋ層の第ｊ番目
のニューロンを示す。）付き総和ｚ_j を次の（１）式に
より演算する。

【数１】 続いて，上記演算部５は上記重み付き総和ｚ_j を予め設
定された（２）式で示すシグモイド関数ｆ（ｚ_j ）
（（Ｓ字）関数）に適用し， ｏ^k _j ＝ｆ（ｚ_j ）＝１／（１＋ｅ^-zj ） ・・・（２） 上記重み付き総和ｚ_j に応じた上記関数の値を出力部６
を介して出力層側の層ｋ＋１のニューロン３に向けて出
力データｏ^k _j を出力する。 〈学習処理〉上記のようなニューロン３を用いたニュー
ラルネットワーク２は，誤差逆伝搬重み学習型，いわゆ
るバックプロパゲーション型のものであって，プロセス
の状態を推定するために用いられる上記重みの学習が実
際の推定に先立って実行される。先ず，予め用意された
入力データＡ，Ｂ，Ｃよりなる学習用の入力データ（図
２参照）が入力層の各ニューロン３から入力されると，
上記入力データは当該ニューロンの演算部５により閾値
的処理（Ｓ字関数出力）が施されて出力データとして出
力される。この出力データには連結部７の重みｗが付加
されて，以下中間層のニューロン３から出力層のニュー
ロン３へとデータの演算及び伝達が順次行われ，出力層
のニューロン３から出力データｏ^m として出力される。
上記学習用の入力データには，対としてこれに対応する
教師データｙ（上記ニューラルネットワークの出力デー
タｏ^m に対する好ましいデータ）が設定されており，こ
こで，上記出力データｏ^m と教師データｙとの誤差ｅ
（本発明上の「差」）が演算される。そこで，上記誤差
ｅを小さくするように，中間層と出力層との間の連結部
７の重みｗが設定変更される。上記重みｗの変更幅△ｗ
は次の（３）式により演算される。 △ｗ^k-1,k _i,j （ｔ＋１）＝−ε・ｄ^k _j ・ｏ^k-1 _i ＋α・△ｗ^k-1,k _i,j （ｔ）・・・（３） 但し，ｋ，ｉ，ｊは先に述べた通りである。ｄは演算対
象となるニューロンの出力層側のニューロンとの間の連
結部７に設定される重みｗに基づいて得た学習信号であ
る。ｔは学習回数である。εは１回の学習における重み
ｗの修正幅としての変更幅Δｗの大きさを抑制するため
の学習定数である。αは前回の学習により決定された重
みを反映させることにより上記誤差ｅが学習回数の積み
重ねによって振動することを防止する上記重みの変更幅
△ｗの微調整的な機能を果たす安定化定数である。即
ち，上記重みの変更幅Δｗは上記学習定数ε及び安定化
定数αの設定変更により調整される。なお，出力層ｍと
１つ入力層側の中間層ｍ−１の間の連結部７の重みｗ
は，上記出力層のニューロン３からの出力データｏ^m と
教師データｙとの誤差に基づいて得た学習信号ｄ^m を
（３）式のｄ^k _j に代入して得ることができる。このよ
うに，各層間の連結部７の重みｗは出力層から入力層へ
向けて（即ち，データが演算・伝達される方向とは逆
に）逐次伝搬されて学習される。このように，上記学習
用の入力データの入力，これによるニューラルネットワ
ークからの出力及びこの出力と教師データとの誤差の演
算，この誤差による重みの設定変更といった一連の学習
処理が，上記誤差ｅが極小値に達するまで，繰返し実行
され，上記誤差ｅが極小値（この極小値が最小値の場合
もありうる。）のときの各連結部７の重みｗが最終的
に，例えばメモリに格納される。 〈ニューラルネットワークを用いた推定処理〉そこで，
プロセスの状態を推定する際には，上記プロセスの状態
を表わす入力データが学習済のニューラルネットワーク
に入力され，上記決定された重みｗに基づいて演算され
た結果出力層ｍのニューロン３から出力された出力デー
タｏ^m をもとに上記教師データにより表現される内容に
対応したプロセスの状態が推定される。このように，Ｂ
Ｐ型のニューラルネットワークは，実際の値に近い出力
値を得るように，学習によって自動的に決定された連結
部７の重みｗに基づいて，推定を行うので，比較的精度
良くプロセスの状態を推定することができる。 〈汎化能力〉上記したように，プロセスの状態を推定す
る機能を備えたニューラルネットワークの構造は，各層
の数（中間層は複数層の場合もある。），各層内のニュ
ーロン３の数，学習により決定された各連結部７の重み
ｗにより決まる。このニューラルネットワークの構造に
よって，上記学習に用いた学習用の入力データにより表
わされる状態以外の新たな未知の状態に対する推定精度
が決定される。このような未知の状態に対する推定能力
は，いわゆる汎化能力と呼ばれる。上記汎化能力を左右
するのは，ニューラルネットワークの構造を決定する要
素のうち，とりわけ各連結部７の重みｗと，中間層のニ
ューロン３の数である。即ち，これらが適切に設定され
ているか否かで上記汎化能力が決定される。

【０００３】

【発明が解決しようとする課題】

〈構造パラメータ〉ところで，重みの学習の際に，上記
誤差ｅに基づいて変更される重みｗの変更幅△ｗは，
（３）式中の学習定数ε，安定化定数αといった，上記
重みを決定するための構造パラメータの値により影響さ
れ，学習終了までの時間を左右する。上記したようなニ
ューラルネットワークでは，学習途中の上記誤差ｅとそ
のときの重みｗとが，図１０に示す曲線のような関係を
示すことが知られている。例えば，現在の誤差ｅと重み
ｗとの関係が点Ａであって，上記安定化定数αが比較的
小さく設定されている場合，（３）式により今回求めら
れた重みの変更幅△ｗ₁ が比較的小幅であったとする
と，より誤差ｅの小さな極小点Ｃや最小点Ｄに至ること
なく極小点Ｂで学習を終えることになる。この場合，上
記安定化定数αを大きく設定しておけば，前回の変更幅
△ｗが大きく加味されて少なくとも次の極小点Ｃに達し
得るかも知れない。一方現在の関係が点Ｆであって，重
みの変更幅が比較的広幅の△ｗ₂ であれば，上記最小点
Ｄを飛びこえて極小点Ｃで学習を終えることもある。 〈Δｗと構造パラメータの関係〉このように，誤差ｅを
最小値又はせめてこれに近い極小値に到達させるために
は，これに適した学習定数ε，安定化定数αといった構
造パラメータを選定しなければならない。しかしなが
ら，従来は，設定された学習定数εや安定化定数αが上
記誤差ｅを最小にする，即ち推定精度が高い重みｗを決
定するに適したものであるか否かを判断する評価基準が
なく，適宜学習定数εや安定化定数αの値を振らせて試
行錯誤により誤差ｅが極小値となったときの値を決定し
ている。 〈第１目的〉従って，本発明の第１の目的とするところ
は，汎化性能の高いニューラルネットワークの構造をと
るべく，上記ニューラルネットワークの構造を決める重
みの決定に用いられる構造パラメータを適切に設定する
ことのできるプロセス状態推定装置を提供することにあ
る。一方，実際のプロセスからのデータにはノイズや外
乱を含んでいる場合がほとんどである。通常，上記プロ
セスからのノイズ等を含んだデータが上記ニューラルネ
ットワークの学習用の入力データとして用いられる場合
が多い。これらのノイズ等は学習により決定された重み
に反映する。従って，上記ノイズ等を含む学習用の入力
データと全く同じ入力データを用いて状態を推定する場
合には，当然ながら精度良く上記状態の推定を行うこと
ができる。しかしながら，新たな入力データを用いて推
定する場合，この新たな入力データに含まれるノイズ等
と上記学習用の入力データに含まれるものとは異なるこ
とが多く，そのため，学習用の入力データを用いた場合
と比べると推定精度は低下する。一般に，中間層のニュ
ーロン５の数が少なすぎると十分な汎化能力を発揮する
ことができず，他方上記ニューロン５の数が多くなる程
汎化能力が向上するとされている。これは，当該層のニ
ューロン３に伴って増設される連結部７の重みの組み合
わせが増えるので，ニューラルネットワークの入出力関
係をより子細に上記重みｗに反映できるためである。し
かし，上記ニューロン３の増加により汎化能力が向上す
るのは，ノイズ等を含まないデータを上記学習用及び汎
化用のデータとして用いた場合であって，上記した如く
のノイズ等を含むデータを用いた場合には，上記重みが
増設された分，これらのノイズ等が相乗的に影響して，
上記汎化能力が低下する場合がある。従って，上記中間
層のニューロン３についても，適切な数のニューロンを
設定する必要がある。ところが，従来は設定すべき中間
層のニューロンの数についても，妥当な評価基準がなく
試行錯誤により決定されていた。 〈第２目的〉そこで，本発明の第２の目的とするところ
は，汎化性能の高いニューラルネットワークの構造をと
るべく，上記ニューラルネットワークの構造を決める中
間層のニューロンの数を適切に設定することのできるプ
ロセス状態推定装置を提供することにある。

【０００４】

【課題を解決するための手段】上記第１の目的を達成す
るために，第１の発明が採用する主たる手段は，その要
旨とするところが，データの入力部，演算部及び出力部
を有する複数のデータ処理部を，概念上データの入力
層，出力層及び上記入力層と出力層の間に介在する中間
層よりなす層状に配置し，上記入力層側のデータ処理部
の出力部と上記出力層側のデータ処理部の入力部とが上
記入力層側のデータ処理部からの出力情報に重みを付加
して上記出力層側のデータ処理部に伝達するための連結
部を介して連結されてなるニューラルネットワークを備
え，プロセスの状態を表わす学習用の入力データを上記
ニューラルネットワークに入力したときの出力データと
上記学習用の入力データに対応する教師データとの差を
最少にするように，上記ニューラルネットワークの構造
を決定するべく設定された構造パラメータに基づいて上
記重みを変更しつつ上記ニューラルネットワークの入出
力を繰返し，上記差が最小になったときの上記連結部の
重みを決定し，上記決定された重みに基づいて上記プロ
セスの状態を推定するプロセス状態推定装置において，
上記連結部の重みが決定されたニューラルネットワーク
に，複数の新たな入力データを入力し，上記決定された
重みに基づいて出力されたそれぞれの出力データと上記
新たな入力データのそれぞれに対応する教師データとの
偏差を演算する偏差演算手段と，上記演算された偏差に
基づいて上記構造パラメータを設定変更する構造パラメ
ータ設定手段と，を具備してなる点に係るプロセス状態
推定装置として構成されている。また，上記第２の目的
を達成するために，第２の発明が採用する主たる手段
は，その要旨とするところが，データの入力部，演算部
及び出力部を有する複数のデータ処理部を，概念上デー
タの入力層，出力層及び上記入力層と出力層の間に介在
し設定された数の上記データ処理部を有する中間層より
なす層状に配置し，上記入力層側のデータ処理部の出力
部と上記出力層側のデータ処理部の入力部とが上記入力
層側のデータ処理部からの出力情報に重みを付加して上
記出力層側のデータ処理部に伝達するための連結部を介
して連結されてなるニューラルネットワークを備え，プ
ロセスの状態を表わす学習用の入力データを上記ニュー
ラルネットワークに入力したときの出力データと上記学
習用の入力データに対応する教師データとの差を最少に
するように，上記重みを変更しつつ学習して，上記差が
最小になったときの上記連結部の重みを決定し，上記決
定された重みに基づいて上記プロセスの状態を推定する
プロセス状態推定装置において，上記連結部の重みが決
定されたニューラルネットワークに，複数の新たな入力
データを入力し，上記決定された重みに基づいて出力さ
れたそれぞれの出力データと上記新たな入力データのそ
れぞれに対応する教師データとの偏差を演算する偏差演
算手段と，上記演算された偏差に基づいて上記中間層の
データ処理部の数を当該データ処理部に連結される連結
部とともに設定変更するデータ処理部設定手段と，を具
備してなる点に係るプロセス状態推定装置として構成さ
れている。

【０００５】

【作用】第１の発明に係るプロセス状態推定装置では，
データ処理部からの出力情報に付加される重みの学習を
終えたニューラルネットワークに，偏差演算手段が，複
数の新たな入力データを入力し，学習時に決定された重
みに基づいて出力されたそれぞれの出力データと上記新
たな入力データのそれぞれに対応する教師データとの偏
差を演算する。上記偏差は，上記新たな入力データに対
するニューラルネットワークの推定精度の評価基準とな
る。そこで，構造パラメータ設定手段は，上記演算され
た偏差，即ち上記推定精度の評価基準に基づいて，推定
精度に関わるニューラルネットワークの構造を決定する
ための構造パラメータを，例えば上記ニューラルネット
ワークからの出力と教師データとの差を最少にするべく
設定変更する。また，第２の発明に係るプロセス状態推
定装置では，上記偏差演算手段が，上記第１の発明の場
合と同様に上記偏差を演算する。そして，データ処理部
設定手段が上記演算された偏差に基づいて上記中間層の
データ処理部の数を当該データ処理部に連結される連結
部と共に設定変更する。これによって，上記ニューラル
ネットワークが，例えば上記プロセスの状態の推定精度
の良い構造に変更される。

【０００６】

【実施例】以下添付図面を参照して，本発明を具体化し
た実施例につき説明し，本発明の理解に供する。尚，以
下の実施例は，本発明を具体化した一例であって，本発
明の技術的範囲を限定する性格のものではない。ここ
に，図１は本発明の一実施例に係るプロセス状態推定装
置を示すブロック図，図２は上記プロセス状態推定装置
が具備するニューラルネットワークの概念上の構造を示
す概念図，図３は上記プロセス状態推定装置による汎化
性能を高くするための構造パラメータ及び中間層ニュー
ロンの数を設定変更する処理手順を示すメインルーチン
のフローチャート，図４は上記メインルーチンに含まれ
る学習サブルーチンを示すフローチャート，図５は上記
メインルーチンに含まれる汎化性能評価用の評価サブル
ーチンを示すフローチャート，図６は上記ニューラルネ
ットワークの重みの学習に用いられた学習用の入力デー
タ及びこの入力データに対応する教師データの一例を３
０組分示すグラフ図，図７は上記学習済のニューラルネ
ットワークに新たな入力データを入力して得た出力デー
タとそれぞれの入力データに対応する望ましい出力デー
タの一例を示すグラフ図，図８は上記学習済のニューラ
ルネットワークに新たな入力データを入力して得た出力
データとそれぞれの入力データに対応する望ましい出力
データの別例を示すグラフ図である。但し，図９に示し
た一般的なニューロン３と共通する要素には，同一の符
号を使用すると共に，その詳細な説明は省略する。本実
施例に係るプロセス状態推定装置１（図１）の推定対象
となる酵母発酵プロセス１２は，副生成物の発生を間欠
的に幾度か繰返して目的物質を生成するバッチプロセス
であって，上記副生成物が発生するたびに特別な操作で
ある上記副生成物の処置（以下，副生処置という）を必
要とする。上記副生処置の開始タイミングは，上記目的
物質の生成量に影響するため非常に重要である。しかし
ながら，上記酵母発酵プロセス１２はバッチプロセスで
ありまた反応が複雑であるといった特異性を有している
ため，上記副生処置の開始タイミングを数式モデルを用
いて表現し，この数式モデルによって推定することは困
難である。そのため，これまではオペレータが自身の操
業上の経験や感をもとに上記副生処置の開始タイミング
を判断していた。

【０００７】〈プロセス状態推定装置の構成〉上記した
ような背景のもとで適用されたプロセス状態推定装置１
は，図１に示すように，バックプロパゲーションアルゴ
リズムを用いて上記連結部７の重みｗの学習を行いこの
学習後の重みｗに基づいて上記酵母発酵プロセス１２の
状態を推定するニューラルネットワーク２と，上記酵母
発酵プロセス１２からの当該プロセスの状態を表わす入
力データや上記ニューラルネットワーク２のネットワー
ク構造を変更するための構造パラメータ等を設定する入
力設定部１３と上記ニューラルネットワーク２との間に
介在して設けられ入出力データを整合化してこれらのデ
ータのやりとりを行う入出力ポート１１とから構成され
ている。 〈ニューラルネットワークの構成〉上記ニューラルネッ
トワーク２は，図２に示すように，入力層がバイアス入
力用のニューロン３_b を含む４個のニューロン３，・
・，３_b からなり，中間層は１層であってこの中間層が
仮に３個のニューロン３からなり，更に出力層が１個の
ニューロン３からそれぞれ概念的に構成されている。各
層のニューロン３間はそれぞれ連結部７により連結さ
れ，同一の層内のニューロン３は連結されることなく互
いに独立している。また，上記各連結部７には，入力層
側からの出力情報に付加される重みｗが設定されるのは
先述した通りである。上記入力層のニューロンについて
は，上記酵母発酵プロセス１２の状態をあらわす入力デ
ータとして，入力データＡは発酵槽の内容物のｐＨの時
間微分値（サンプリング時刻間の微分値：以下同じ），
入力データＢとして上記内容物のｐＨ調整用のアンモニ
ア水投入量の時間微分値（以下安水流入量という），入
力データＣとして上記内容物の溶存酸素濃度の時間微分
値（以下ＤＯという）が入力される。これらの入力デー
タＡ，Ｂ，Ｃはそれぞれ，例えば−１〜１の範囲に正規
化された値が入力される。またバイアス入力は，上記シ
グモイド関数のＳ字部分の位置を入力値（Ｚｊ）の方向
に変更調整することにより各ニューロン３からの出力値
を調整するものであって，常に１の値が入力される。但
し，各ニューロンに入力されるバイアス入力にはこれに
連結された連結部７の重みｗが付加され，これによって
上記出力の値が調整される。上記ニューラルネットワー
ク２は，実際には，層の数，各層内のニューロン３の
数，これに伴うニューロン３間の連結部７の数といった
配置データ及びこれらの連結部７に設定される重みｗの
データとを含むニューラルネットワーク２の構造を表わ
すデータ，学習用の入力データ及びこれに対応する教師
データ，上記汎化性能評価用の新たな入力データ及びこ
れに対応する望ましい出力データ（教師データ），上記
重みｗを決定するための学習定数ε，安定化定数α及び
（１）式〜（３）式を含む重みｗの学習用のプログラム
を格納するメモリ１０と，上記ニューロン３の実際上の
演算機能を果たすデータ処理部９と，上記重み演算用の
プログラムに基づいて誤差逆伝搬重み学習アルゴリズム
により上記重みｗの学習を行う学習部８と，を備えてな
っている。

【０００８】本実施例に係るプロセス状態推定装置は上
記したように構成されている。引き続き，図３〜図５の
フローチャートに基づいて汎化性能の優れたニューラル
ネットワーク２の構造をとり得る上記構造パラメータま
たは中間層のニューロン３の数を設定する手法につき以
下説明する。なお，各図中のＳ１，Ｓ２，・・・は各動
作ステップを示す。 〈バックプロパゲーション法による学習〉先ず，図３の
メインルーチンにおいて，設定部１３から入出力ポート
１１及び学習部８を介してメモリ１０に予め格納されて
いる学習用の入力データ及びこれに対応する教師データ
が学習部８に読み込まれる。上記学習用の入力データ及
び教師データとしては，図６に示すように，酵母発酵プ
ロセス１２における副生処置開始時期を含む所定期間内
のサンプリング時刻毎の３０組のデータを１セットとし
た１４セット（＝４２０組）のデータが学習に用いられ
る。この場合，各組のデータは組毎にランダムに抽出さ
れ，上記ニューラルネットワーク２の１回の学習として
用いられる（Ｓ１）。尚，上記教師データとしては，副
生処置を要しない場合の値を０．１５とし，副生処理を
行う必要がある場合の値を０．８５として設定されてい
る。続いて，上記バックプロパゲーション法による学習
ステップが開始される（Ｓ２）。この学習ステップは図
４に示す学習サブルーチンにより実行される。先ず，各
連結部７の重みｗの初期化が行われる。上記各重みｗに
は，例えば０から１までの値に正規化された乱数が設定
され各連結部７間で適当に重みが分散される（Ｓ２
１）。そこで，上記ランダムに抽出された学習用入力デ
ータの１組が上記ニューラルネットワーク２の入力層に
入力され（Ｓ２２），各層のニューロン３において入出
力演算が行われ最終的に出力層のニューロン３から出力
データｏ^m が出力される（Ｓ２３）。そこで，当該学習
用の入力データに対応する教師データｙと上記出力デー
タｏ^m との誤差ｅが演算されメモリ１０に格納される
（Ｓ２４）。そして，上記演算された誤差ｅと前回演算
された誤差ｅとの変化幅が求められる（Ｓ２５）。上記
誤差の変化幅が予め設定されている変化幅以下であれば
（Ｓ２６，ＹＥＳ），上記誤差ｅは極小値近傍にあると
考えられるため，そのときの連結部７の重みは変更され
ることなくそのままの値でメモリ１０に再格納される
（Ｓ３２）。一方，上記誤差ｅの変化幅が上記設定され
た変化幅以上のとき（Ｓ２６，ＮＯ），上記学習部８は
上記誤差ｅに基づいて，この誤差ｅを小さくするよう
に，出力層・中間層間の連結部７の重み，更には中間層
・入力層間の重みへとデータの伝搬方向とは遡って順次
それぞれの重みｗの変更幅△ｗを演算する（Ｓ２７）。
このように演算された各連結部７の重みの変更幅△ｗは
一旦上記メモリ１０に格納される。そして，上記演算さ
れた重みの変更幅△ｗによって今回の重みｗが決定され
る（Ｓ２８）。この重みｗは前回の重みｗ（第１回目は
乱数）と書き替え更新される（Ｓ２９）。上記したよう
なステップＳ２２からＳ２９までの上記入力データ１組
毎の処理を１回の学習回数Ｌとする（Ｓ３０）。また，
上記学習回数Ｌは実用的な学習時間を考慮して，学習を
停止させるための所定の学習回数が予め設定されている
（Ｓ３１）。そして，引続き，１組目の学習用の入力デ
ータにより決定された重みを初期値とし，２組目として
ランダムに抽出された学習用の入力データについて，上
記ステップＳ２２〜Ｓ３１の処理が実行されて上記重み
ｗの学習が行われる。以下，残りの組の学習用の入力デ
ータについても，そのとき求めた上記誤差ｅの変化幅
（Ｓ２５）が上記設定されている変化幅以下になるまで
（Ｓ２６，ＹＥＳ），順次重みｗの学習が各組毎に繰返
し実行される。そして，上記誤差ｅの変化幅が上記設定
されている変化幅以下になったときの重みｗが上記ニュ
ーラルネットワーク２の最終的な重みとして上記メモリ
１０に保持されて学習を終える（Ｓ３２）。一方，上記
学習回数Ｌを多数回重ねたにも拘わらず，誤差ｅの変化
幅が上記設定されている変化幅以下にならない場合で
も，学習回数Ｌが上記所定の学習回数に達すれば（Ｓ３
１，ＹＥＳ），上記重みの学習を停止させ，このときの
各連結部７の重みＷが最終的な重みとしてメモリ１０に
保持される（Ｓ３２）。

【０００９】〈汎化性能の評価〉そこで処理手順はメイ
ンルーチン（図３，Ｓ２）に戻り上記学習済のニューラ
ルネットワーク２に対する汎化性能の評価ステップに移
る（Ｓ３）。上記汎化性能を評価する際には，上記学習
用の入力データ１セット分のサンプリング期間とサンプ
リング期間を同じくし，上記学習用の入力データとは別
の新たな３０組の入力データが用意される。この汎化性
能を評価するための入力データは，上記３０組の入力デ
ータを１セットとして１００セット分が用いられる。但
し，上記ニューラルネットワーク２に対しては，１セッ
ト中の１組毎の入力データ（ｐＨ，安水流入量，ＤＯ）
が順次入力される。これらの入力データと対応するネッ
トワークの望ましい出力データｙ_d （学習時に用いた教
師データに相当するものである）は予めメモリ１０に格
納されており，実際には１組毎に上記データ処理部９に
入力され（図５のＳ３１１），上記決定された重みｗに
基づいて概念上各層のニューロン３において順次演算さ
れ，最終的に出力層のニューロン３から出力データｏ^m
が出力される（Ｓ３１２）。上記ステップＳ３１１〜Ｓ
３１２は１セット中の各組の入力データ毎に繰返し実行
され，各組毎の出力データが求められる。このように求
めた１セット分の出力データの一例を図７の●丸印で示
す。また，各出力データに対応する上記望ましい出力デ
ータｙ_d は△で示す。そこで，上記データ処理部９は各
出力データｏ^m の演算毎にこれらの出力データと上記望
ましい出力データとの偏差を求め逐次メモリ１０に格納
する。そして，上記データ処理部９は，各出力データ毎
の偏差に基づいて３０組の偏差の二乗平均誤差Ｊを
（４）式を用いて演算する（Ｓ３１３）。

【数２】 但し，Ｃは，１セット中の出力データ及び望ましい出力
データの組数を示し，Ｃ＝１〜ｎ（３０）である。な
お，上記二乗平均誤差Ｊについては予め閾値θが設定さ
れメモリ１０に格納されている。本実施例ではθ＝０．
０６である。即ち，上記ステップＳ３１３において，連
結部の重みが決定されたニューラルネットワークに，複
数の新たな入力データを入力し，上記決定された重みに
基づいて出力されたそれぞれの出力データと上記新たな
入力データのそれぞれに対応する教師データ（望ましい
出力データ）との偏差（二乗平均誤差）を演算する機能
を実現する手段が本発明にいう偏差演算手段である。

【００１０】図７に示した例では，上記二乗平均誤差Ｊ
は０．０８５３であって，上記閾値θを越えており，上
記ニューラルネットワーク２の構造が適切でないと考え
られる。これは，同図中実際に副生処置を開始すべき
（ネットワークの望ましい出力が０．８５）時期である
にも関わらず，上記ニューラルネットワーク２の出力デ
ータは副生処置をすべきと判断していないこと（上記望
ましい出力が０．１５）でも明らかである。このような
場合，上記ニューラルネットワークの構造を決定してい
る上記学習定数εや安定化定数αといった構造パラメー
タ，または中間層のニューロン３の数を設定変更する必
要がある。 一方，図８に示すような１セット分の出力
結果の場合は，上記二乗平均誤差Ｊ（＝０．０１１５）
が上記閾値θを下回っており，このときのニューラルネ
ットワーク２の構造パラメータ及び中間層のニューロン
３の数が酵母発酵プロセス１２の副生処置開始時期を精
度良く推定するのに適していることを示している。但
し，上記したようにノイズ等を含む入力データの信頼性
を考慮すると，演算された二乗平均誤差Ｊが上記閾値θ
以上のときただちに１セット毎に上記構造パラメータや
中間層のニューロン３の数を設定変更するのは，適当で
ない。そこで，１００セット分全ての入力データについ
てそれぞれの二乗平均誤差Ｊを算出し終えた後，これら
の二乗平均誤差Ｊのうち，この二乗平均誤差Ｊが上記閾
値θ以下の組の数Ｋを計数し，この数Ｋの全体（１０
０）に対する割合Ｕ（＝Ｋ／１００）を演算し，この割
合を上記構造パラメータや中間層のニューロン３の数に
ついての評価値Ｕとした（Ｓ３１４）。即ち，上記評価
値Ｕはニューラルネットワークが副生処置開始時期を適
切に推定し得る構造であるか否かの評価基準となる。再
び，処理手順はメインルーチン（図３，Ｓ３）に戻り，
上記演算された評価値Ｕが評価される（Ｓ４）。 〈構造パラメータ等の設定変更〉そして，上記評価値Ｕ
が，例えば０．８（＝８０／１００）以上であれば（Ｓ
５，ＹＥＳ），推定精度の良い構造であるとして，上記
構造パラメータ及び中間層のニューロン３の数をそのま
まに確定して処理を終える。他方，上記評価値Ｕが０．
８以下であれば，上記構造パラメータ，または中間層の
ニューロン３の数を適当に変えて（Ｓ６），上記評価値
Ｕが満足されるまで各サブルーチンを含むステップＳ１
〜Ｓ６が繰り返し演算される。なお，上記ステップＳ６
において，中間層のニューロンの数を変更する場合に
は，これに伴って当該ニューロン３に連結されるべき連
結部７及びこれに付随する重みｗの数も設定変更され
る。即ち，上記ステップＳ３（サブルーチンのＳ３１
４）〜Ｓ６において，上記演算された偏差に基づいて上
記構造パラメータを設定変更する機能を実現する手段が
本発明の構造パラメータ設定手段であり，上記演算され
た偏差に基づいて上記中間層のニューロン３（データ処
理部）の数を当該ニューロン３に連結される連結部と共
に設定変更する機能を実現する手段がデータ処理部設定
手段である。

【００１１】上記したように，本実施例装置は，酵母発
酵プロセス１２の制御にとって重要な副生処置開始時期
を推定するためのバックプロパゲーション型重み学習ア
ルゴリズムを備えたニューラルネットワーク２を有し，
このニューラルネットワーク２の入力データとしてｐ
Ｈ，安水流入量，ＤＯの各時間微分値を用いて連結部７
の重みｗの学習を行った。そして，上記学習済のニュー
ラルネットワーク２に汎化性能評価用の複数組の入力デ
ータを入力して得た出力データとこれに対応する望まし
いデータとの二乗平均誤差Ｊを演算する。この二乗平均
誤差Ｊは，用いた入力データ全体に関してのニューラル
ネットワーク２の推定精度を評価する評価基準となる。
従って，上記二乗平均誤差Ｊを小さくするように，上記
構造パラメータまたは中間層のニューロン３の数を設定
変更することにより，学習時に用いなかった未知の入力
データを入力した場合でも，上記副生処置開始時期を精
度良く推定することができる。なお，上記した実施例で
は，このプロセス状態推定装置が適用されるプロセスと
して，酵母発酵プロセスの例について述べたが，当該プ
ロセスに限定されるものではなく他のプロセスについて
も適用可能である。

【００１２】

【発明の効果】本発明は上記したように構成されてい
る。それにより，ニューラルネットワークの構造をとる
構造パラメータまたは中間層のデータ処理部の数及びこ
れに連結される連結部の数が，複数の新たな入力データ
を入力して得た出力データとこれに対応する教師データ
との偏差に基づいて適切に設定変更される。従って，上
記ニューラルネットワークは汎化性能の高い構造とな
る。

【図面の簡単な説明】

【図１】 本発明の一実施例に係るプロセス状態推定装
置を示すブロック図。

【図２】 上記プロセス状態推定装置が具備するニュー
ラルネットワークの概念上の構造を示す概念図。

【図３】 上記プロセス状態推定装置による汎化性能を
高くするための構造パラメータ及び中間層ニューロンの
数を設定変更する処理手順を示すメインルーチンのフロ
ーチャート。

【図４】 上記メインルーチンに含まれる学習サブルー
チンを示すフローチャート。

【図５】 上記メインルーチンに含まれる汎化性能評価
用の評価サブルーチンを示すフローチャート。

【図６】 上記ニューラルネットワークの重みの学習に
用いられた学習用の入力データ及びこの入力データに対
応する教師データの一例を３０組分示すグラフ図。

【図７】 上記学習済のニューラルネットワークに新た
な入力データを入力して得た出力データとそれぞれの入
力データに対応する望ましい出力データの一例を示すグ
ラフ図。

【図８】 上記学習済のニューラルネットワークに新た
な入力データを入力して得た出力データとそれぞれの入
力データに対応する望ましい出力データの別例を示すグ
ラフ図。

【図９】 上記ニューロンの一般的な演算状態を示す状
態説明図。

【図１０】 一般的なニューラルネットワークの重みの
学習途中における上記重みと，上記ニューラルネットワ
ークからの出力と教師データとの誤差との関係を示すグ
ラフ図。

【符号の説明】

１…プロセス状態推定装置 ２…ニューラルネ
ットワーク ３…ニューロン ４…入力部 ５…演算部 ６…出力部 ７…連結部 ８…学習部 ９…データ処理部 １０…メモリ １２…酵母発酵プロセス

Claims (2)

【特許請求の範囲】
1. 【請求項１】 データの入力部，演算部及び出力部を有
   する複数のデータ処理部を，概念上データの入力層，出
   力層及び上記入力層と出力層の間に介在する中間層より
   なす層状に配置し，上記入力層側のデータ処理部の出力
   部と上記出力層側のデータ処理部の入力部とが上記入力
   層側のデータ処理部からの出力情報に重みを付加して上
   記出力層側のデータ処理部に伝達するための連結部を介
   して連結されてなるニューラルネットワークを備え，プ
   ロセスの状態を表わす学習用の入力データを上記ニュー
   ラルネットワークに入力したときの出力データと上記学
   習用の入力データに対応する教師データとの差を最少に
   するように，上記ニューラルネットワークの構造を決定
   するべく設定された構造パラメータに基づいて上記重み
   を変更しつつ上記ニューラルネットワークの入出力を繰
   返し，上記差が最小になったときの上記連結部の重みを
   決定し，上記決定された重みに基づいて上記プロセスの
   状態を推定するプロセス状態推定装置において，上記連
   結部の重みが決定されたニューラルネットワークに，複
   数の新たな入力データを入力し，上記決定された重みに
   基づいて出力されたそれぞれの出力データと上記新たな
   入力データのそれぞれに対応する教師データとの偏差を
   演算する偏差演算手段と，上記演算された偏差に基づい
   て上記構造パラメータを設定変更する構造パラメータ設
   定手段と，を具備してなることを特徴とするプロセス状
   態推定装置。
2. 【請求項２】 データの入力部，演算部及び出力部を有
   する複数のデータ処理部を，概念上データの入力層，出
   力層及び上記入力層と出力層の間に介在し設定された数
   の上記データ処理部を有する中間層よりなす層状に配置
   し，上記入力層側のデータ処理部の出力部と上記出力層
   側のデータ処理部の入力部とが上記入力層側のデータ処
   理部からの出力情報に重みを付加して上記出力層側のデ
   ータ処理部に伝達するための連結部を介して連結されて
   なるニューラルネットワークを備え，プロセスの状態を
   表わす学習用の入力データを上記ニューラルネットワー
   クに入力したときの出力データと上記学習用の入力デー
   タに対応する教師データとの差を最少にするように，上
   記重みを変更しつつ学習して，上記差が最小になったと
   きの上記連結部の重みを決定し，上記決定された重みに
   基づいて上記プロセスの状態を推定するプロセス状態推
   定装置において，上記連結部の重みが決定されたニュー
   ラルネットワークに，複数の新たな入力データを入力
   し，上記決定された重みに基づいて出力されたそれぞれ
   の出力データと上記新たな入力データのそれぞれに対応
   する教師データとの偏差を演算する偏差演算手段と，上
   記演算された偏差に基づいて上記中間層のデータ処理部
   の数を当該データ処理部に連結される連結部とともに設
   定変更するデータ処理部設定手段と，を具備してなるこ
   とを特徴とするプロセス状態推定装置。