JP4741968B2 - プラントの制御装置 - Google Patents

Description

本発明は、発電設備などプラントの制御装置に係り、特にボイラ設備の制御に好適な制御装置に関する。

火力発電設備などのプラントの制御においては、通常、制御対象であるプラントから得られる計測信号を処理し、制御対象に与える操作信号を算出するようになっている。このため制御装置は、制御対象から取り込まれたプラント計測信号が運転目標を達成するように、操作信号を計算するアルゴリズムが実装されている。

このときのプラントの制御に用いられている制御アルゴリズムとしては、いわゆるＰＩ(比例・積分)制御アルゴリズムが従来から知られている。ここで、このＰＩアルゴリズムとは、運転目標値と計測信号の偏差に比例ゲインを乗じた上で、その値に、偏差を時間積分した値を加算して操作信号を導出するものである。このとき、学習アルゴリズムを用いて、プラントの操作信号を導出する場合もある。

ところで、プラント制御に用いられる制御アルゴリズムには、幾つかのパラメータが存在するが、これらのパラメータについては、制御対象に適した値に事前にチューニングしておく必要がある。そして、このパラメータのチューニングには、制御対象を物理モデル或いは統計モデルなどを用いて模擬(シミュレーション)したものを対象にして実施するのが一般的である。

ここで、特に統計モデルの場合には、人間のもつ神経回路網のニューロンを線形或いは非線形関数で模擬したノードと呼ばれる素子で表現し、これを層状に並べ、前の層から次の層へと信号が伝わっていくネットワーク構造を人工的に模擬した、いわゆるニューラルネットワークを用いる方法がよく知られている。

このニューラルネットワークを用いたモデルは、入力信号と所望の出力信号を教師信号として与えることで、モデル内のパラメータを調整し、所望の出力信号が出力されるモデルとなる。そして、このように、モデルとして制御対象を模擬したモデルを用いる場合には、制御対象に入力する操作信号をモデルへの入力信号とし、プラントからの計測信号をモデルの出力信号とすればよい。

このときニューラルネットワークの基本的な構造とモデル内のパラメータを調整する手法としては、例えばバックプロパゲーション(Back Propagation)法や、フイードバック機構をもつニューラルネットワークの学習法であるバックプロパゲーションスルータイム法(Back Propagation Through Time)法などがある(例えば、非特許文献１など参照。)。

一方、ニューラルネットワークのように教師信号を与えて学習する場合とは異なり、教師なし学習の分野では、強化学習と呼ばれる手法が盛んに研究されている。ここで、この強化学習とは、試行錯誤を通じて環境に適応する学習制御の枠組であり、環境の状態を取得し、それに対して行動すると、その内容に応じて報酬が得られるというものであるが、このときの報酬は、環境に対して正しい行動或いは環境が目指す目標に到達するような行動であればある程、多くの報酬が得られることになる。

従って、この場合、より多くの報酬を得るような行動を目標に選択するようになり、結果、環境が目指す目標に到達する行動へと適応していく。このとき、環境に対して、より多くの報酬を得るための行動を選択するものを一般的にエージェントと呼ぶが、ここで環境を制御対象、エージェントを制御器と見なすと、制御対象と試行錯誤的な相互作用を通じて、制御対象から得られる計測信号が望ましいものとなるように、制御対象に与える操作信号の生成方法が学習されることになり、これが学習制御の枠組みとして知られているものである。

この強化学習では、制御対象から得られる信号を用いて計算されるスカラー量の評価値(これが強化学習で報酬と呼ばれているものである)を手掛かりにして、現状態から将来までに得られる評価値の期待値が最大となるような、操作信号の生成方法が学習されることになるが、このときの操作信号の生成方法としては、計測信号が運転目標値を達成した場合に正の評価値を与え、Actor−Critic、Ｑ学習、実時間 Dynamic Programmingなどのアルゴリズムを用いて学習する手法が知られている(例えば、非特許文献２など参照。)。

また、上述の手法を発展させた方式として、Dyna−アーキテクチャと呼ばれる枠組みも知られている(非特許文献１参照)が、この枠組みでは、制御装置内に制御対象を模擬するモデルを持つ。この場合、モデルには、制御対象に与える操作信号をモデル入力として取り込み、制御対象の計測信号の予測値であるモデル出力を算出する。このときのモデルは物理式や統計的手法を用いて構築する。

そして、このモデル出力を用いて計算される評価値を手掛りにしてモデル入力の生成方法を学習するが、このDyna−アーキテクチャでは、モデル出力目標値を達成するようなモデル入力の生成方法を予め学習しておき、この学習結果に従って制御対象に印加する操作信号を決定する。
"ニューラルネットと計測制御" 西川繕一・北村新三編著 朝倉書店 １９９５年１月２５日出版 "強化学習(Reinforcement Learning)" 三上貞芳・皆川雅章共訳 森北出版株式会社 ２０００年１２月２０日出版

前述のように、プラントの制御装置を設計する際には、制御対象を適切に模擬したモデルを作成する必要があるが、ここで、まず、物理モデルによる制御対象の模擬を考えた場合、精度向上のためには、詳細な物理モデルと数値解析が必要となる。そして、この数値解析には、メッシュ(計算格子)の作成が必要となり、精度の向上には、メッシュ数の増加が必要になる。

例えば、火力発電所のボイラのように大型のプラントを対象とし、その燃焼現象を解析する場合などは、多大なメッシュ数を必要とし、このためには数時間〜数十数日の計算時間を要することがあり、このため、アルゴリズムの高速化や並列計算化によって計算時間を短縮する対策が従来から用いられているが、それでも多様な運転条件を連続的に計算することは事実上困難である。

また、統計モデルによる制御対象の模擬を考えた場合、モデル作成に用いたデータにはよく適合(フィット)するが、異なった値が入力された場合の精度が著しく低下するという現象が発生する。この現象は、一般的には過学習と呼ばれているが、従来技術では、この現象を回避し、汎用性のあるモデルを作成する工夫が必要であり、このため適用が困難で適用範囲に制限があった。

本発明は、上述の課題に鑑みてなされたものであり、その目的は、模擬モデルの作成が容易なプラントの制御装置を提供することにある。

上記目的は、制御対象の計測信号を取り込む外部入力インターフェイスと、前記インターフェイスにより取り込んだ計測信号の値を保存する計測信号データベースと、制御対象に所定の操作信号を与えたとき当該制御対象から得られる計測信号の値を予測するモデルと、前記計測信号データベースに保存されている計測信号とモデルパラメータデータベースに保存されている前回モデルパラメータとを用いて前記モデルを生成するモデル作成手段と、
前記制御対象に所定の操作信号を与えたとき、当該制御対象から得られる計測信号の値を予測して前記モデルの予測結果であるモデル出力がモデル出力目標値に収斂するように前記モデルに与えるモデル入力の生成方法を学習する学習手段と、この学習手段の結果に従って前記制御対象に与える操作信号を生成する操作信号生成手段とを備え、この操作信号生成手段により生成される操作信号を前記所定の操作信号とするようにしたプラントの制御装置において、
前記モデル作成手段は、
前記計測信号データベースに保存された計測信号の平均と分散を計算し、当該計算した計測信号の平均と分散を前記モデルの教師信号として設定するものであり、
前記学習手段は、
前記モデル入力の変化幅を前記計算した計測信号の分散に基づいて決定するものとすることにより達成される。

このとき、前記モデル入力の変化幅は、前記計算した計測信号の分散が大きい場合、小さくされ、前記計算した計測信号の分散が小さい場合、大きくされるようにしてもよい。
更に、前記制御対象が、火力発電プラントであり、前記計測信号が、前記火力発電プラントから排出される一酸化炭素、窒素酸化物の少なくとも１つの濃度計測信号であり、前記所定の操作信号が、前記火力発電プラントのボイラにある空気ダンパの開度を制御するための操作信号であるようにしてもよい。
そして、更に、前記制御対象が、火力発電プラントであり、前記計測信号が、前記火力発電プラントから排出される一酸化炭素、窒素酸化物、二酸化炭素、硫黄酸化物、水銀、フッ素、煤塵またはミストからなる微粒子類、揮発性有機化合物の少なくとも１つの濃度計測信号であり、前記所定の操作信号が、前記火力発電プラントの空気ダンパ開度、バーナ燃料流量、バーナ空気流量、アフタエアポート空気流量、ガス再循環量、バーナ角度、供給空気温度のうち少なくとも一つを操作する信号であってもよい。

このとき、計測信号の平均と分散から期待値を計算した結果を用いて操作信号を生成する機能を備えるようにしてもよく、外部入力機能として、制御装置に計測信号の分布形状を入力するためのユーザーインターフェイスを備えるようにしてもよく、更には外部入力機能として、制御装置に計測信号の平均値、期待値、分散、分布形状のうち少なくとも一つを入力するためのユーザーインターフェイスを備えるようにしてもよい。

また、このとき、前記制御対象が火力発電プラントであり、前記火力発電プラントの計測信号のうち、一酸化炭素、窒素酸化物の少なくとも１つを制御装置内に取り込む機能と、外部入力機能として、一酸化炭素、窒素酸化物の少なくとも1つの環境規制値を計測信号の制限値として設定する機能と、学習結果に従って、少なくとも空気ダンパ開度の操作信号を生成する機能を備えるようにしても上記目的が達成され、更に前記火力発電プラントの計測信号のうち、一酸化炭素、窒素酸化物の少なくとも１つを制御装置内に取り込む機能と、外部入力機能として、一酸化炭素、窒素酸化物、二酸化炭素、硫黄酸化物、水銀、フッ素、煤塵またはミストからなる微粒子類、揮発性有機化合物の少なくとも１つの環境規制値を前記計測信号の制限値として設定する機能と、学習結果に従って、空気ダンパ開度、バーナへ供給する燃料流量、バーナ空気流量、エアポートへ供給する空気流量、ガス再循環量、バーナ角度、供給空気温度のうち少なくとも一つの操作信号を生成する機能を備えるようにしても上記目的が達成される。

本発明によれば、計測信号の平均及び分散を計算し、この計算結果から制御対象を模擬するモデルを作成するようになっているので、制御対象を模擬するモデルには、データの蓄積に応じた分布形状が組み込まれ、分散の大きさなどからデータの変動を知ることができる。

この結果、分散が大きい場合には、プラントの運転状態或いは他のプロセス値の影響が大きいことが分り、分散が小さい場合には、プラントの運転状態或いは他のプロセス値の影響が小さいことが分り、従って、本発明によれば、分散の大きさを考慮し制御アルゴリズムを構築することで、データ変動や蓄積データの少なさからくる信頼性の低さを回避することができる。

以下、本発明によるプラントの制御装置について、図示の実施の形態により詳細に説明する。図１は、本発明に係るプラントの制御装置を制御対象１００に適用した場合の一実施形態で、このため、制御装置２００と入力装置９００、保守ツール９１０、それに画像表示装置９５０を備えている。

まず、制御装置２００は、制御対象１００からの計測信号１を、外部入力インターフェイス２１０を介して取り込み、操作信号１６は、外部出力インターフェイス２２０を介して、制御対象１００に送信する。外部入力インターフェイス２１０で取り込んだ計測信号２は、操作信号生成部３００に伝送され、これと共に、計測信号データベース２３０に保存される。そして、操作信号生成部３００において生成された操作信号１５は、外部出力インターフェイス２２０に伝送され、これと共に、操作信号データベース２４０に保存される。

操作信号生成部３００では、制御ロジックデータベース２５０と学習情報データベース２８０に保存されている情報を用い、制御対象１００からの計測信号１が運転目標値を達成するように、操作信号１５を生成する。このとき学習情報データベース２８０に保存される情報は、学習部６００により生成されるが、このため学習部６００は、モデル５００と接続される。

ここで、このモデル５００は、制御対象１００の特性を模擬する機能を持つ。つまり、操作信号１６を制御対象１００に与え、計測信号１を得る場合と同じように、モデル５００を動作させるためのモデル入力１２を当該モデル５００に与え、その結果として、モデル出力１３を得るのである。このときモデル出力１３は、計測信号１の予測値となる。従って、モデル５００は、制御対象１００の特性を模擬するものであり、これは物理法則に基づくモデル式、或いは統計的手法を用いて、モデル入力１２に対するモデル出力１３を計算する機能を持つ。

モデル作成部４００は、モデルパラメータデータベース２７０に保存されている前回モデルパラメータ５と計測信号３を用い、これからモデル５００を生成する機能を持つ。また、このモデル作成部４００は、モデルパラメータデータベース２７０に前回モデルパラメータ５が無った場合には、乱数等によって生成されたモデルパラメータと計測信号３を用いて、新たにモデル５００を生成する機能を持つ。

そこで、学習部６００は、学習情報データベース２８０に保存されている前回学習情報１１、学習パラメータデータベース２６０に保存されている学習パラメータ７、及びモデル出力１３を用いてモデル入力１２を生成する。このため、モデル５００で計算されたモデル出力１３を用いて計算した評価値１４が、この学習部６００に入力されている。そして、この学習部６００では、評価値１４を用いて学習情報を更新し、更新学習情報１０を学習情報データベース２８０に送信する。

操作信号生成部３００では、学習情報データベース２８０に保存されている学習情報９と、制御ロジックデータベース２５０に保存されている制御ロジック情報６を用いて、操作信号１５を生成する。このとき制御対象１００の運転員は、キーボード９０１とマウス９０２で構成されている入力装置９００と、画像表示装置９５０に接続されている保守ツール９１０を用いることにより、制御装置２００に備えられている種種のデータベースに保存されている情報にアクセスすることができる。

保守ツール９１０は、外部入力インターフェイス９２０、データ送受信処理部９３０、外部出力インターフェイス９４０で構成されていて、入力装置９００で生成した入力信号３１は、外部入力インターフェイス９２０を介して、この保守ツール９１０に取り込まれる。このときデータ送受信処理部９３０では、入力信号３２の情報に従って、制御装置２００に備えられているデータベース情報３０を取得する。

データ送受信処理部９３０では、データベース情報３０を処理した結果、得られる出力信号３３を、外部出力インターフェイス９４０に送信する。そして、この外部出力インターフェイス９４０から出力信号３４が画像表示装置９５０に供給され、運転員のモニタに備えて画像として表示される。

なお、この実施形態では、必要なデータベースが全て制御装置２００の内部に配置されているが、これらを制御装置２００の外部に配置することもできる。また、この実施形態では、操作信号１６を生成するための信号処理機能が全て制御装置２００の内部に配置されているが、これらを制御装置２００の外部に配置してもよい。

次に、この実施形態の動作について、以下、本発明を火力発電プラントに適用した場合を例にとり、データベースに保存されている情報、及び信号処理機能と共に説明する。ここで、ます制御対象１００となる火力発電プラントについて、図２により説明する。ここでは、石炭を燃料とする場合について説明すると、この場合は、コールバンカー１１１に石炭が貯蔵されている。そして、このコールバンカー１１１から給炭器１１２を介してミル１１０に石炭が供給される。

ミル１１０では、内部のローラにより石炭が細かく砕かれ、微粉状の石炭、いわゆる微粉炭にされる。そして、この微粉炭が石炭搬送用の１次空気により、燃焼調整用の２次空気と共にバーナー１０２に搬送され、ボイラ１０１の炉内に供給されて燃焼される。このとき１次空気は配管１３３を介してミル１１０に供給され、微粉炭と１次空気は配管１３４を介してバーナー１０２に、また、２次空気は配管１４１を介してバーナー１０２に、それぞれ導かれる。

このとき、ボイラ１０１の炉内には、アフタエアポート１０３を介して、２段燃焼用のアフタエアが供給されるが、このアフタエアは、配管１４２を介して導かれる。そして、石炭の燃焼により炉内で発生した高温のガスは、ボイラ１０１の炉内でボイラ本体の熱交換器１０６を含む所定の経路に沿って流れた後、エアーヒーター１０４を通過し、排ガス処理された後、煙突を介して大気に放出される。

このとき、ボイラ１０１の熱交換器１０６を循環する給水は、給水ポンプ１０５により加圧されてボイラ１０１に導入され、熱交換器１０６で加熱され高温高圧の蒸気となる。なお、この例では、熱交換器が１基になっているが、熱交換器が複数基、配置されるようにしてもよい。

熱交換器１０６を通過して高温高圧になった蒸気は、タービンガバナ１０７を介して蒸気タービン１０８に導かれ、ここで蒸気の持つエネルギーが回転エネルギーに変換され、発電機１０９が回転駆動された結果、電力が発生される。このとき蒸気タービン１０８の排気は復水器１１３に送られ、ここで冷却された結果、復水となって再び給水ポンプ１０５に送られる。この過程で、タービン１０８から抽気を行い、抽気した蒸気によ給水を加熱する装置を配置し、熱効率を向上させるようになっている。

ところで、このような火力発電プラントには様々な計測器が配置されている。例えば、図２には、流量計測器１５０、温度計測器１５１、圧力計測器１５２、発電出力計測器１５３、及び濃度計測器１５４が図示されている。そして、流量計測器１５０では、給水ポンプ１０５からボイラ１０１に供給される給水の流量が計測される。また、温度計測器１５１と圧力計測器１５２は、蒸気タービン１０８に供給される蒸気の温度と圧力が計測する。発電機１０９で発電された電力量は、発電出力計測器１５３で計測する。

一方、ボイラ１０１を通過中のガスに含まれているＣＯ(一酸化炭素)、ＮＯｘ(窒素酸化物)、二酸化炭素、硫黄酸化物、水銀、フッ素、煤塵またはミストからなる微粒子類、揮発性有機化合物の少なくとも１つの環境規制値などの成分の濃度に関する情報は、濃度計測器１５４で計測される。なお、一般的には、図２に図示した以外にも、多数の計測器が火力発電プラントに配置されているが、図２では省略している。そして、これらの計測器から取得された情報が、図１では制御対象１００から出力される計測情報１として示されていて、これらが制御装置２００に伝送される。

次に、バーナー１０２から供給される１次空気と２次空気、それにアフタエアポート１０３から投入されるアフタエアの経路について説明する。まず、１次空気は、ファン１２０から配管１３０に取り込まれ、途中でエアーヒーター１０４を通過する配管１３２と通過しない配管１３１に分岐た後、配管１３３に合流してミル１１０に導かれる。このときエアーヒーター１０４を通過する空気はガスにより加熱され、ミル１１０で生成される微粉炭をバーナー１０２に搬送するのに使用される。

一方、２次空気とアフタエアは、ファン１２１により配管１４０に取り込まれ、エアーヒーター１０４で加熱された後、２次空気用の配管１４１とアフタエア用の配管１４２とに分岐し、それぞれバーナー１０２とアフタエアポート１０３に導かれるようになっている。

図３は、このときの１次空気と２次空気、それにアフタエアが通過する配管部と、エアーヒーター１０４の拡大図であり、この図に示されているように、各配管にはエアダンパ１６０、１６１、１６２、１６３が配置されていて、これらのエアダンパを操作することにより、配管を空気が通過する面積を変更することでき、エアダンパの操作によって配管を通過する空気流量を調整できる。そこで、制御装置２００は、そこで生成される操作信号１６を用いて、給水ポンプ１０５、ミル１１０、エアダンパ１６０、１６１、１６２、１６３などの機器を操作する。

次に、計測信号データベース２３０と操作信号データベース２４０に保存される情報について、図４と図５により説明する。ここで、図４は計測信号データベース２３０に保存される情報の一例であり、図５は操作信号データベース２４０に保存されている情報の一例である。

まず、計測信号データベース２３０には、図４に示すように、制御対象１００において計測された情報が、計測器毎に各計測時刻と共に保存される。例えば、図２における流量計測器１５０で計測した流量値Ｆ、温度計測器１５１で計測した温度値Ｔ、圧力計測器１５２で計測した圧力値ｐ、発電出力計測器１５３で計測した圧力値ｐ、発電出力値Ｅ、それに排ガスに含まれるＮＯｘ濃度Ｄが、時間の情報と共に保存される。

このとき、計測信号データベース２３０に格納されているデータを容易に活用できるようにするため、各計測値には、図示のように、ＰＩＤ番号という固有の番号が割り当てられている。なお、この図４では、１秒周期でデータを保存しているが、このときの周期、つまりデータ収集のサンプリング周期は任意に設定することが可能である。

次に、操作信号データベース２４０には、図５に示すように、給水流量の指令信号などの操作信号が、時間の情報と共に保存される。なお、ここでも各操作信号には固有のＰＩＤ番号が割り当てられており、時間間隔も任意に設定することができるのは言うまでもない。

次に、モデル作成部４００とモデル５００の動作について説明する。モデル５００は、図６に示す計測信号の関係を、図７に示す構造により実現する。ここで図６は、空気流量比率と計測信号Ａとの関係をプロットしたものであるが、このとき、プラントの状況により、グラフにプロットできるデータの数が異なる。例えば、新設プラントでは、設計値情報などから求めることになるので、少ないデータ数となる。一方、運転年数の多いプラントでは、データ数が多くなる。

このように、データ数はプラント状況により差異が生じるため、ここでは、各データに分布を仮定し、データ数の差異を分布の形状で表現することにする。そうすると、データ数が少ない場合には分散が大きいので、広がった分布となり、他方、データ数が多い場合には、分散が小さくなるので尖った分布となる。このときデータに対する事前情報がある場合には、分布形状を仮定することができるが、新規データなどの場合には、事前情報が無く得られたデータをもとに分布を推定する必要がある。

ここで、データのみから分布を推定する手法は多数知られているが、何れも、母集団分布が何であってもデータ数の増加によりその分布は正規分布に近づくという、中心極限定理から正規分布を仮定すればよい。分布が仮定できれば平均と分散より形状を決定することができる。なお、この中心極限定理による正規分布の仮定については、例えば、“統計学入門”東京大学教養学部統計学教室編、東京大学出版会、１９９１年７月１０日出版”に詳しく述べられている。

図７は、分布を坂定した場合のモデル構造を説明した図で、このときの出力信号としては、図６で示した分布の中央値と分散値を出力するようなモデルで、入力層、中間層、出力層からなり、各層のノードが相互的に結合した構造となっている。ノード部は線形或いは非線形関数を用いるが、シグモイド関数を用いるのが一般的である。各ノードの結合には重み係数があり、各ノードの相互関係の強さを表している。

通常、モデルパラメータ(後述)とは、この重み係数を指す。また、ここでは、中間層を一層で表現しているが、多層で表現することも可能である。入力信号には、関連する計測信号を入力する。このモデルで制御対象を模擬すると、蓄積データ数を考慮したモデルを作成することができるため、制御対象のさまざまな状態が容易に模擬できる。

図８は、モデル作成部４００によるモデル５００を作成するための処理を示すフローチャートである。なお、このフローチャートの実行に必要なパラメータについては、モデルパラメータデータベース２７０に保存されているが、このデータベースに保存されている情報の形態については後述する。

図８のフローチャートによる処理を開始したら、まず、ステップ４０１では、過去に設定したモデルパラメータを用いるのか、或いは新規にモデルパラメータを作成するのかを選択する。ここで新規にモデルパラメータを作成する場合には、ステップ４０２に進み、モデルパラメータの初期値を、乱数を用い設定する。

次に、ステップ４０３では、計測信号データベース２３０からモデル５００の入力信号及び出力信号となる計測信号３を抽出し、モデル５００の出力信号となる計測信号３の平均を計算する。計算した平均は、学習情報データベース２８０に保存される。

ステップ４０４では、モデル５００の出力信号となる計測信号３の分散を計算する。ここで計測信号のサンプル数が１個しかない場合には、分散を計算することができない。そこで、この場合には、デフォルト値として大きめの分散値を与える。例えば１００などをデフォルト値に設定すればよい。このデフォルト値は、逐次、ユーザが変更することが可能である。

このときの分布の形状については、学習情報データベース２８０に保存されている形状を用いる。ただし、学習情報データベース２８０に、まだ形状が保存されていない場合には、正規分布を用いることになる。こうして計算した分散は、学習情報データベース２８０に保存される。

ステップ４０５では、ステップ４０３とステップ４０４で計算された平均と分散をモデル５００の教師信号として設定し、次いでステップ４０６では、学習回数や学習係数、ノード数など学習に必要なパラメータを設定する。新規にモデルパラメータを作成する場合には、モデルパラメータデータベース２７０に保存されているデフォルト値を用いる。

ステップ４０７では、モデルパラメータを学習により初期値から逐次更新する。学習によるモデルパラメータの更新方法は、Back Propagation法などを用いる。この学習方法については、“ニューラルネットと計測制御”西川祓一・北村新三編著、朝倉書店、１９９５年１月２５日出版”に詳しく述べられているが、基本的には、モデル５００に入力信号を与えたときの出力信号と教師信号の差が無くなるように、モデルパラメータを更新することになる。

ここで、モデル５００からの出力信号と教師信号の差は、一般的には二乗誤差で表現され、評価関数と呼ばれる。各モデルパラメータを変動させた場合の評価関数の変動分を偏微分計算し、得られた値に学習係数を掛けたものをモデルパラメータの更新分とする。従って、これを繰り返していくと、モデル５００の出力信号と教師信号の差が無くなり、評価関数がゼロに近づく。

そして、評価関数がゼロに近づくと、偏微分の値もゼロに近くなり、モデルパラメータの更新量がセロに近づく。ただし数値計算では、完全にゼロになることは無いので、ステップ４０８により、評価関数が設定された値以下になったら学習が終了したとみなし、モデル作成を終了する。

一方、ステップ４０８で学習の終了条件に満たない場合には、学習の繰り返し回数が設定された回数に達した時点で繰り返し計算をストップし、ステップ４０６に戻って再度、学習用パラメータを設定する。

ステップ４０１に戻り、ここで過去のモデルパラメータの使用を選択した場合、過去のモデルパラメータを初期値として学習によって修正するか否かを、ステップ４０９で選択する。修正する場合には、ステップ４０３に進む。修正しない場合には、過去のモデルパラメータをそのまま使用するため、モデル５００を再構築する必要がなく、モデル作成は終了となる。

なお、この実施形態では、ノードにシグモイド関数を用いたニューラルネットワークを用いているが、ノードにガウシアン関数を用いた Radial Basis Function ネットワークなど、他のネットワークモデルを用いてもよい。

図９は、モデルパラメータデータベース２７０に保存されている情報の形態を説明する図であり、この図のように、モデルパラメータデータベース２７０には、ＩＤ、作成日時、学習係数、学習回数、終了条件、ノード数、パラメータ値が保存される。ここでノード数は、入力層、中間層、出力層に分かれる。また、パラメータ値は重み係数のことで、ノードの相互結合分あり、それぞれＷ₁₁、Ｗ₁₂、・・・と保存されている。

なお、ＩＤの値が０００のものは、モデルパラメータを新規に作成する場合の学習パラメータのデフォルト値を示している。新規作成用のため、ノード数及びパラメータ値の箇所は通常、ブランクとなっている。

次に、モデル５００、学習部６００の動作について説明する。学習部６００は、制御対象１００の特性を模擬するモデル５００を対象に、モデル出力１３がモデル出力目標値を達成するように、モデル入力１２の生成方法を学習する。なお、このような学習を実行するアルゴリズムとしては、例えば、“強化学習(Reinforcement Learning)”、三上貞芳・皆川雅章共訳、森北出版株式会社、２０００年１２月２０日出版に述べられている強化学習理論がある。

ここで、この強化学習とは、評価値(報酬)情報を手がかりに、学習部６００とモデル５００との相互作用を通して、モデル出力目標値を達成するためのモデル入力１２の生成方法を学習するものであり、この強化学習を適用することにより、現時刻から将来にわたって得られる評価値の期待値が最大となるようなモデル入力１２の生成方法を学習することが可能である。

この実施形態では、強化学習アルゴリズムとして、Q-1earning 法を適用した場合を例にして説明するが、しかし、この実施形態の制御装置２００における学習方法としては、強化学習法以外にも遺伝的アルゴリズム、線形・非線形計画法などの最適化技術を適用することも可能である。

図１０は、Q-1earning 法の概要図で、ここに示すように、この Q-1earning 法を適用した学習部６００は、モデル入力１２を生成するエージェント６５０と、状態の価値を評価する評価器６６０とで構成される。

図１１及び図１２は、この Q-1earning 法による場合の処理を説明するためのフローチャートである。ここで、このフローチャートの実行に必要な設計パラメータ、例えば割引率γなどについては学習パラメータデータベース２６０、及び学習情報データベース２８０保存されている。なお、これらのデータベースに保存されている情報の形態、及び設計パラメータをデータベースに登録する方法については後述する。

図１１において、まず、このフローチャートは、制御対象１００を制御している間、繰り返し実施され、始めのステップ３０１では、制御におけるサンプリング周期ｒを取得する。次に、ステップ３０２では、１エピソード学習を実行する。このステップ３０２においては、モデル５００及び学習部６００が動作し、前述の強化学習アルゴリズムを実行する。そして、ステップ３０３では、学習終了判定を実行する。

このステップ３０３は、制御のサンプリング周期以下で学習を終了させるために設けられたステップであり、学習実行時間がｒより小さい間はステップ３０２に戻り、処理時間が周期ｒを超えたら学習を終了する。

図１２は、図１１のステップ３０２における１エピソード学習実行時の動作を説明するフローチヤートで、まず、ステップ６０１では、モデル入力の初期値をランダムに設定する。次に、ステップ６０２では、ステップ６０１で生成したモデル入力１２をモデル５００に入力し、モデル出力１３を得る。次いで、ステップ６０３では、モデル出力１３とモデル出力の目標値とを比較し、モデル出力１３がモデル出力目標値を達成していればエピソードを終了し、達成していない場合はステップ６０４に進む。

次のステップ６０４では、学習部６００により、学習情報データベース２８０に保存されている情報を用いてモデル入力変化幅△ａを決定する。なお、このモデル入力変化幅△ａの決定方法は後述する。

ステップ６０５では、次の(1)式を用いてモデル入力１２を決定する。

ステップ６０６では、ステップ６０５で決定したモデル入力１２をモデル５００に入力し、モデル出力１３を得る。次いでステップ６０７では、ステップ６０６で得たモデル出力１３をもとにして、次の(2)式により評価値を計算する。

ここでは、価値Ｑ(ｓ，ａ)が時刻での総和により決定されているが、これには意味がある。すなわち、実際の行動、ここではモデル入力１２を生成し、モデル５００に入力した場合の応答になるが、これには遅れ時間を伴う場合が多い。特に、プラントに適用した場合には、この影響が大きい。

そこで、行動直後に対する報酬により価値を決定するのではなく、将来的に与えられる報酬の総和で価値を決定する方がより現実的であり、このため時刻での総和により決定されるようにしたのである。また、この場合、割引率γの導入により、行動直後に得られた報酬が高くなるように設定することで、応答性も考慮した評価値をが出できるというメリットもある。

ステップ６０８では、ステップ６０７で計算した評価値に基づき、次の(3)式により、エージェントのパラメータを更新し、その更新した結果を学習情報データベース２８０に保存する。

最後に、ステップ６０９で、ステップ４０３と同様の方法により終了判定を実施する。すなわち、ステップ６０９では、学習の終了条件に満たない場合、学習の繰り返し回数が設定された回数に達した時点で繰り返し計算をストップし、ステップ６０４に戻るのである。

次に、学習部６００のエージェント６５０においてモデル入力１２を生成し、評価器６６０において状態価値を計算する場合の処理について説明する。なお、ここでは、タールコーディング法を用いた場合について説明するが、この方法以外の手法を用いてエージェント６５０及び評価器６６０を構成してもよい。

まず、評価器６６０では、上記したように、タイルコーディング法により状態を分割する。このタイルコーディング法とは、入力空間を分割し、どの領域に属するかを判別することによって、連続的な状態を離散的な状態として認識する手法であり、図１３は、このときのタイルコーディング法を説明する図であり、この図において、１つ１つの領域は、タイルと呼ばれる。例えば、モデル５００への入力信号１２が入力信号Ａと入力信号Ｂの２次元であり、入力信号Ａが０と１の間、入力信号Ｂが１と２の間にある場合は、図１３における状態番号１のタイルに属する。

この場合、学習情報データベース２８０には、図１４に示すように、状態番号と価値関数とが対応した形態で情報が保存されている。評価器６６０では、モデル出力１３が得られたときの入力信号１２の値と、学習情報データベース２８０に保存されている情報を用いて、前述した(3)式に従って状態の価値を計算する。

ここで、まず、図１５は、学習情報データベース２８０に保存されている情報を示したもので、図示のように、状態番号に対応してモデル５００を作成する際に用いた教師信号の平均と分散が保存されている。このとき、前述のステップ６０４では、教師信号の分散値に基づいてモデル入力変化幅△ａを決定する。

従って、分散が小さい場合には、ばらつきが少なく入力信号の変化に対する感度が低いという理由から、入力変化幅△ａを大きくする。反対に、分散が大きい場合には、ばらつきが大きく入力信号の変化に対する感度が高いという理由から、入力変化幅△ａを小さくする。

次に、図１６は、学習パラメータデータベース２６０に保存されている情報の態様を示したもので、これには、図１３のように、図１２のフローチャートにおけるステップ６０６とステップ６０７を実行するのに必要な学習率などのパラメータが保存される。この強化学習では、評価値の期待値が最大となるように、モデル入力１２の生成方法を学習するので、モデル出力１３がモデル出力目標値を達成した場合に、評価値の値が大きくなることが望ましい。

そこで、このような評価値の生成方法として、モデル出力１３が、モデル出力目標値を達成した場合には正の値、例えば「１」を評価値とする方法がある。また、モデル出力目標値を達成していない場合、モデル担力目標値とモデル出力１３の誤差に反比例するような関数を用いて、評価値を計算する方法がある。さらに、これらの方法を組み合わせて評価値を計算する方法も考えられる。

次に、制御対象１００の運転員が保守ツール９１０を用い、画像表示装置９５０にデータベースの情報を表示させる方法について、図１７〜図２１により説明する。この場合、運転員は、キーボード９０１とマウス９０２を用い、表示された画面の空欄となっている箇所にパラメータ値を入力するなどの操作を実行することになる。

ここで、図１７は、画像表示装置９５０に表示される初期画面で、ここで運転員は、制御ロジック作成・編集ボタン９５１、学習条件設定ボタン９５２、情報表示ボタン９５３の中から必要なボタンを選択し、マウス９０２を用いてカーソル９５４を移動させ、マウス９０２をクリックすることにより、何れかのボタンを押すようになっている。

そして、まず、図１８は、制御ロジック作成・編集ボタン９５１がクリックされたときに表示される制御ロジック編集画面で、この画面において、運転員は、新規作成ボタン９６７と編集ボタン９６８の何れかを押す。ここで新規作成であれば、何も記述されていないロジック図が開き、編集の場合には、編集したいロジックを選択し、ロジック図が表示される。この作成或いは編集時は、予め登録してある標準要素モジュール９６３から必要なモジュールを選び、それをロジック編集画面９６１に移動させる。モジュール間は、結線／消去９６２を用いて接続する。

図１８の表示画面上で作成された制御ロジック図面は、保存ボタン９６４をクリックすることにより、データ送受信処理部９３０を介して制御ロジックデータベース２５０に保存される。また、操作信号生成部３００では、この制御ロジック図面の情報を用いて、計測信号２が入力されたときの操作信号１５を生成する。更に、この操作信号生成部３００では、学習情報データベース２８０に保存されている情報を併用して、操作信号１５を生成することができる。

このとき、学習情報データベース２８０には、図１２に示した情報の状態番号と中心の情報が保存されている。従って、これらの情報を用いることにより、モデル出力１３が望ましい値となるようなモデル入力１２と同じ値を持つ操作信号１５が容易に生成できる。このとき作成した制御ロジック図面を保存しない場合には、キャンセルボタン９６５をクリックする。一方、戻るボタン９６６をクリックすることにより、図１７の画面に戻すことができる。

図１７の画面において、学習条件設定ボタン９５２をクリックすることにより、図１９の画面が表示される。そこで、運転員は、図８のフローチャートを実行させるために必要な学習係数、学習回数及び終了条件を、図１９の画面の中のモデル作成欄９７１に、モデル固有のＰＩＤに基づいて入力し、或いは既に入力されている場合は、その値を修正することができる。このとき、ＩＤが０００であるデフォルト値を運転員が変更することができる。

次に、パラメータ設定欄９７２には、図１１及び図１２のフローチャートを実行するのに必要な設定パラメータを入力する。また、操作端設定欄９７３には、図１１のフローチャートによって操作方法を学習するための操作端名称、動作範囲、及びタイルコーディングのための分割数を入力する。ここで、図１９の次頁ボタン９７７をクリックすることにより、学習条件設定画面の後半画面に移る。なお、前頁ボタン９７８及び学習条件設定画面の後半画面については後述にて説明する。

そして、図１９の保存ボタン９７４をクリックすることにより、モデル作成欄９７１に入力された情報はモデルパラメータデータベース２７０に、パラメータ設定欄９７２に入力された情報は学習パラメータデータベース２６０に、それに操作端設定欄９７３に入力された情報は学習情報データベース２８０に、それぞれ保存される。

ここで、キャンセルボタン９７５をクリックしたとすると、モデル作成欄９７１とパラメータ設定欄９７２、それに操作端設定欄９７３に入力された情報が何れもキャンセルされる。そして、戻るボタン９７６をクリックすることにより、図１７の画面に戻る。

次に、図２０により、学習条件設定画面の前半画面について説明する。この前半画面は図１９の次頁ボタン９７７をクリックすることにより表示される。そこで、運転員は、学習情報欄９７９に、モデル５００の出力信号の平均、分散及び分布形状を入力し、或いはおのおのが入力されていた場合は、それらを修正することができる。そして、この情報に基づいて、図１２のフローチャートにおけるステップ６０４のモデル入力変化幅が決定されることになる。

次に、図２１は、計測信号データベース２３０と操作信号データベース２４０に保存されている情報を画像表示装置９５０に表示させるため、その条件を設定するとき使用する画面で、図１７において、情報表示ボタン９５３をクリックすることにより表示される。そこで、運転員は、画像表示装置９５０に表示させたい計測信号、或いは操作信号を入力欄９８１に、そのレンジ(上限／下限)と共に入力する。このとき表示させたい時間については時刻入力欄９８２に入力する。

また、表示ボタン９８３をクリックすることにより、図２２に示すようなトレンドグラフが画像表示装置９５０に表示される。ここで戻るボタン９９１をクリックすることにより、図２１の画面に戻すことができる。一方、戻るボタン９８４をクリックすることにより、図１７の画面に戻すことができる。なお、以上に説明した画像以外にも、制御装置２００内のデータベースに保存されている情報を任意に選択し、任意の態様で画像表示装置９５０に表示することもできる。

次に、この実施形態では、図１の制御対象１００が、図２で説明した火力発電プラントの場合で、これに制御装置２００が適用され、火力発電プラントの空気ダンパを操作することにより、ＣＯやＮＯｘ、二酸化炭素、硫黄酸化物、水銀、フッ素、煤塵またはミストからなる微粒子類、揮発性有機化合物などの少なくとも１つの環境規制値の排出状況が制御できるようになっている。

ここで、まず、図２３は、火力発電設備において排出されるＣＯとＮＯｘの基本特性について説明すると、一般にＣＯの量とＮＯｘの量は、図示のように、トレードオフの関係にあり、ＣＯを低減しようとするとＮＯｘが増加し、ＮＯｘを低減しようとするとＣＯが増加する傾向にある。

一方、火力発電プラントにおいて、煙突から排出されるＣＯの量とＮＯｘの量には法的規制がかけられており、特にＮＯｘについては厳しく、このためボイラ出口のガスを脱硝装置に導き、ここでの処理を通して規制を守っているが、このとき脱硝装置に用いられるアンモニアの消費量は、脱硝装置入口のＮＯｘ濃度が高いほど多くなる。

そこで、脱硝装置入口でのＮＯｘ量を低減することは大きなコストメリットとなり、従って、ＮＯｘ濃度には可能な限りの低減が望ましく、このためＣＯ及びＮＯｘのトレードオフ関係を考慮した制御アルゴリズムが必要となる。しかも、火力発電プラントは、設計時と試運転時及び運用時など状況が異なると、蓄積されている計測信号のデータも異なってしまう。従って、長期間の運用でも運転条件が異なれば、蓄積されているデータ数が多いからといって、必ずしも好ましいとは限らない。

しかしながら、上記実施形態の場合、制御対象となる火力発電プラントを模擬するモデルは、蓄積されたデータに応じた分布の形状を図８のフローチャートに従ってモデル化することができ、従って、その分布の形状から、過去の状態を把握することができる。つまり、分散が大きければ、ばらつきの多い状態を意味し、プラントの状態が非常に不安定になっていることが分り、分散が小さければばらつきが少ないため、プラントの状態が非常に安定していることが分るので、蓄積データの信頼度を考慮した制御アルゴリズムを図１２のフローチャートから構築することが可能となる。

この結果、上記実施形態によれば、蓄積データが少ない場合にも、データ数が少ないことを考慮した制御アルゴリズムを構築することができるため、データの変動に対しロバストな制御が可能となり、従って、ＣＯ及びＮＯｘのトレードオフ関係を考慮した上で、これらについての法的規制を常に満足させることができる。

なお、法的規制がかけられている排出物については、上記したＣＯとＮＯｘの外にも二酸化炭素、硫黄酸化物、水銀、フッ素、煤塵またはミストからなる微粒子類、揮発性有機化合物などがあるのは、既に説明した通りであるが、上記実施形態によれば、これら少なくとも１つの環境規制値についての制御も可能である。

本発明に係るプラントの制御装置の一実施形態を示すブロック図である。 本発明の一実施形態において制御対象となる火力発電プラントの一例を示すブロック図である。 本発明の一実施形態において制御対象となる火力発電プラントの一例における配管部とエアーヒーター部の拡大図である。 本発明の一実施形態において計測信号データベースに記憶されるデータの態様を示す説明図である。 本発明の一実施形態において操作信号データベースに記憶されるデータの態様を示す説明図である。 本発明の一実施形態において用いられているモデル化の仕組みを示す説明図である。 本発明の一実施形態において用いられているモデル化構造の説明図である。 本発明の一実施形態におけるモデル作成部の処理を説明するためのフローチャート図である。 本発明の一実施形態においてモデルパラメータデータベースに記憶されるデータの態様を示す説明図である。 本発明の一実施形態において用いられている Q-Learning 法による学習部のブロック図である。 本発明の一実施形態による学習部に使用されているアルゴリズムのフローチャート図である。 本発明の一実施形態による学習部に使用されているアルゴリズムにおける１エピソード学習実行時のフローチャート図である。 本発明の一実施形態による学習部における評価器に適用されているタイルコーディングの説明図である。 本発明の一実施形態において学習情報データベースに記憶されるデータの態様を示す説明図である。 本発明の一実施形態において学習情報データベースに記憶されるデータの態様を示す説明図である。 本発明の一実施形態において学習パラメータデータベースに記憶されるデータの態様を示す説明図である。 本発明の一実施形態において画像表示される初期画面の説明図である。 本発明の一実施形態において画像表示される制御ロジック作成・編集画面の説明図である。 本発明の一実施形態において画像表示される学習条件設定画面の前半画面の説明図である。 本発明の一実施形態において画像表示される学習条件設定画面の後半画面の説明図である。 本発明の一実施形態において画像表示される表示情報設定画面の説明図である。 本発明の一実施形態において画像表示される計測値のトレンドグラフの説明図である。 火力発電プラントから排出されるＣＯとＮＯｘの関係を説明する特性図である。

符号の説明

１００：制御対象
２００：制御装置
２１０：外部入力インターフェイス
２２０：外部出力インターフェイス
２３０：計測信号データベース
２４０：操作信号データベース
２５０：制御ロジックデータベース
２６０：学習パラメータデータベース
２７０：モデルパラメータデータベース
２８０：学習情報データベース
３００：操作信号生成部
４００：モデル作成部
５００：モデル
６００：学習部
９００：入力装置
９０１：キーボード
９０２：マウス
９１０：保守ツール
９２０：外部入力インターフェイス
９３０：データ送受信処理部
９４０：外部出力インターフェイス
９５０：画像表示装置

Claims (4)

1. 制御対象の計測信号を取り込む外部入力インターフェイスと、前記インターフェイスにより取り込んだ計測信号の値を保存する計測信号データベースと、制御対象に所定の操作信号を与えたとき当該制御対象から得られる計測信号の値を予測するモデルと、前記計測信号データベースに保存されている計測信号とモデルパラメータデータベースに保存されている前回モデルパラメータとを用いて前記モデルを生成するモデル作成手段と、前記制御対象に所定の操作信号を与えたとき、当該制御対象から得られる計測信号の値を予測して前記モデルの予測結果であるモデル出力がモデル出力目標値に収斂するように前記モデルに与えるモデル入力の生成方法を学習する学習手段と、この学習手段の結果に従って前記制御対象に与える操作信号を生成する操作信号生成手段とを備え、この操作信号生成手段により生成される操作信号を前記所定の操作信号とするようにしたプラントの制御装置において、
   前記モデル作成手段は、
   前記計測信号データベースに保存された計測信号の平均と分散を計算し、当該計算した計測信号の平均と分散を前記モデルの教師信号として設定するものであり、
   前記学習手段は、
   前記モデル入力の変化幅を前記計算した計測信号の分散に基づいて決定するものであることを特徴とした
   プラントの制御装置。
2. 請求項１に記載されたプラントの制御装置において、
   前記モデル入力の変化幅は、前記計算した計測信号の分散が大きい場合、小さくされ、前記計算した計測信号の分散が小さい場合、大きくされることを特徴とした
   プラントの制御装置。
3. 請求項１又は請求項２に記載されたプラントの制御装置において、
   前記制御対象が、火力発電プラントであり、
   前記計測信号が、前記火力発電プラントから排出される一酸化炭素、窒素酸化物の少なくとも１つの濃度計測信号であり、
   前記所定の操作信号が、前記火力発電プラントのボイラにある空気ダンパの開度を制御するための操作信号であることを特徴とした
   プラントの制御装置。
4. 請求項１又は請求項２に記載されたプラントの制御装置において、
   前記制御対象が、火力発電プラントであり、
   前記計測信号が、前記火力発電プラントから排出される一酸化炭素、窒素酸化物、二酸化炭素、硫黄酸化物、水銀、フッ素、煤塵またはミストからなる微粒子類、揮発性有機化合物の少なくとも１つの濃度計測信号であり、
   前記所定の操作信号が、前記火力発電プラントの空気ダンパ開度、バーナ燃料流量、バーナ空気流量、アフタエアポート空気流量、ガス再循環量、バーナ角度、供給空気温度のうち少なくとも一つを操作する信号であることを特徴とした
   プラントの制御装置。

Images