JP4665815B2 - プラントの制御装置 - Google Patents

Description

本発明は、プラントの制御装置に関する。

従来、プラント制御の分野ではＰＩＤ制御を基本とする制御ロジックが主流である。また、ニューラルネットワークに代表される教師付き学習機能により、プラントの特性に柔軟に対応できる技術も多数提案されている。

教師付き学習機能を用いて制御装置を構成するためには、教師データとなる成功事例を予め準備する必要があるため、教師なし学習方法も提案されている。

教師なし学習の例として、強化学習法がある。

強化学習法は制御対象などの環境との試行錯誤的な相互作用を通じて、環境から得られる計測信号が望ましいものとなるように、環境への操作信号を生成する学習制御の枠組みである。これにより、成功事例が予め準備できない場合でも、望ましい状態を定義しておくだけで、自ら環境に応じて望ましい行動を学習できるという利点がある。

強化学習では、環境から得られる計測信号を用いて計算されるスカラー量の評価値（強化学習では、報酬と呼ばれている）を手がかりに、現状態から将来までに得られる評価値の期待値が最大となるように、環境への操作信号を生成する学習機能を持つ。このような学習機能を実装する方法として、例えば非特許文献１に述べられているActor-Critic，
Ｑ学習，実時間Dynamic Programmingなどのアルゴリズムがある。

また、上述の手法を発展させた強化学習の枠組みとして、Dyna−アーキテクチャと呼ばれる枠組みが上記文献に紹介されている。これは、制御対象を模擬するモデルを対象にどのような操作信号を生成するのが良いかを予め学習し、この学習結果を用いて制御対象に印加する操作信号を決定する方法である。また、制御対象とモデルの誤差を小さくするモデル調整機能を持っている。

また、強化学習を適用した技術として、特許文献１に述べられている技術が挙げられる。これは、モデルと学習機能を有するシステムの組である強化学習モジュールを複数備えておき、各強化学習モジュールにおけるモデルと制御対象との予測誤差が小さいものほど大きな値を取る責任信号を求め、この責任信号に比例して各強化学習モジュールから生成される制御対象への操作信号を重み付けし、制御対象に印加する操作信号を決定する技術である。

また、プラント制御においては、実機データのばらつきを考慮する必要がある。一般にプラントの状態は変動しており、見かけ上の静定状態においても制御系の働きにより常に微調整を繰返している。また、プラントのダイナミクスにより、現在の状態はそれ以前の状態の影響を受けている。さらに、アクチュエータ及び計測器の誤差、信号ノイズ等もあるため、同一運転条件においてもプラント状態（プロセス値）は全く同一とはならないのが普通である。すなわち、プラントデータにはばらつきが存在する。

プラントデータのばらつきについては特許文献２に記載されている。特許文献２は、強化学習法を用いてプロセスシミュレーションモデルを調整する方法及びそのモデルを用いて運転訓練装置，運転診断装置を構成する方法等が述べられている。この中で、現象の揺らぎを正規分布等の確率密度関数で表す方法、また、この揺らぎをシミュレーション条件やモデルパラメータに反映することによりより実際に近いシミュレーションができることが記載されている。

特開２０００−３５９５６号公報 特開２００４−１７８４９２号公報 強化学習（Reinforcement Learning），三上貞芳・皆川雅章共訳，森北出版株式会社，２０００年１２月２０日出版

上述のように、プラントデータには一般にばらつきがあるため、ある指標（例えばプラント出力）が同じであっても、プロセスの状態値は全く同じであるとは限らない。従って、同じ操作をしても結果が同じにならない場合が多いため、制御操作によって思ったほどの改善効果が得られないばかりか、逆に状態が悪化する可能性がある。

特に強化学習等で操作方法を学習する場合には、ある指標で同じ状態において同じ操作に対して運転状態が改善される場合と改善されない場合が存在する可能性があり必ずしも望ましい操作（改善される）が学習できない可能性がある。

上記非特許文献及び特許文献１にはプラントデータのばらつきに対する方法は記載されていない。また、上記特許文献２には、ばらつきを確率密度関数等であらわすことは記載されているが、制御操作時の上記課題への対策方法及び強化学習時の対策方法については述べられていない。

本発明は、以上の課題に対して、制御操作時に状態が改善しない、または、悪化するリスクを低減し、制御性能を向上させ常に安定した操作が可能な制御装置を提供することを目的としている。

本発明は、プラントの計測データを入力し前記プラントへの操作指令値を演算する基本制御指令演算手段と、前記計測データ及び前記操作指令値を有する運転データを蓄積する運転実績データベースと、現在の前記運転データと過去の前記運転データに基づいて類似状態を検索・抽出する状態検索手段と、該状態検索手段で抽出された類似状態である過去の運転データにおいて、制御操作による運転状態の変化実績から頻度分布または確率分布を算出し、前記制御操作による改善確率または非改善確率を算出する改善確率演算手段と、該改善確率演算手段で算出した改善確率または非改善確率に基づいて、次の操作指令値を決定する操作指令決定手段を具備することを特徴とするプラントの制御装置である。

本発明は、上記手段から構成されるため、プラントの実機運転データのばらつきに起因する制御操作によるプラント状態の非改善リスクを低減できる。すなわち、制御操作によって、現状態よりも制御目標値との偏差（制御偏差）が増大するというリスクを低減できるため、常に安定した運転が可能になる。

以下、実施形態について、図を参照しながら説明する。

図１は第一の実施形態を示している。制御装置２００は制御対象であるプラント１００からプロセス値の計測値２０５を受け取り、これを使用して制御装置２００内に予めプログラムされた演算を行ってプラント１００への操作指令信号（制御信号）２８５を送信する。プラント１００は受け取った操作指令信号２８５に従って、例えばバルブの開度やダンパ開度といったアクチュエータを動作させてプラントの状態をコントロールしている。

本実施例は火力発電プラントの燃焼制御に適用した例である。本例では特に、排ガス中のＮＯｘ及びＣＯ濃度を低下することを目的とした制御機能に適用した例を中心に説明する。

図１０に制御対象である火力発電プラントの構成を示す。燃料となる石炭と石炭搬送用の１次空気、及び燃焼調整用の２次空気をバーナー１０２を介してボイラ１０１に投入し、ボイラ１０１にて石炭を燃焼する。石炭と１次空気は配管１３４から、２次空気は配管１４１から導かれる。また、２段燃焼用のアフタエアを、アフタエアポート１０３を介してボイラ１０１に投入する。このアフタエアは、配管１４２から導かれる。

石炭の燃焼により発生した高温のガスは、ボイラ１０１の経路に沿って流れた後、エアーヒーター１０４を通過する。その後、排ガス処理装置にて有害物質を除去した後、煙突から大気に放出される。

ボイラ１０１を循環する給水は、給水ポンプ１０５を介してボイラ１０１に導かれ、熱交換器１０６においてガスにより過熱され、高温高圧の蒸気となる。尚、本実施形態では熱交換器の数を１つとしているが、熱交換器を複数個配置してもよい。

熱交換器１０６を通過した高温高圧の蒸気は、タービンガバナ１０７を介して蒸気タービン１０８に導かれる。蒸気の持つエネルギーによって蒸気タービン１０８を駆動し、発電機１０９で発電する。

次に、バーナー１０２から投入される１次空気、及び２次空気，アフタエアポート103から投入されるアフタエアの経路について説明する。

１次空気は、ファン１２０から配管１３０に導かれ、途中でエアーヒーターを通過する配管１３２と通過しない１３１に分岐し、再び配管１３３にて合流し、ミル１１０に導かれる。エアーヒーターを通過する空気は、ガスにより過熱される。この１次空気を用いて、ミル１１０で生成される石炭（微粉炭）をバーナー１０２に搬送する。

２次空気、及びアフタエアは、ファン１２１から配管１４０に導かれ、エアーヒーター１０４で過熱された後、２次空気用の配管１４１と、アフタエア用の配管１４２とに分岐し、それぞれバーナー１０２とアフタエアポート１０３に導かれる。

制御装置２００は、ＮＯｘおよびＣＯ濃度を低減するため、バーナーから投入する空気量と、アフタエアポートから投入する空気量を調整する機能を持っている。

制御装置２００は基本制御指令演算手段２３０と、基本制御指令演算手段２３０から出力される基本操作指令値２３５を変更または補正する補正手段２５０と、プロセス計測値２０５，運転員の入力信号，上位制御システムからの指令信号等から成る運転実績データを蓄積・格納している運転実績データベース２４０と、プラント１００または運転員等とのデータ授受のための入出力インターフェース２２０と、運転員が各種データを見たり、設定値や運転モード、手動運転の際の操作指令等を入力したりするための入出力手段221とから構成されている。

基本制御指令演算手段２３０はＰＩＤ（比例・積分・微分）制御器を基本構成要素とし、プロセス計測値２０５，運転員の入力信号，上位制御システムからの指令信号等を入力としてプラント１００に設置されているバルブ、ダンパ、モータ等の各種動作機器に対する基本操作指令値２３５を演算して出力する。

本実施例の特徴は基本操作指令値２３５の変更または補正する補正手段２５０を備えている点である。以下、補正手段２５０について説明する。

補正手段２５０は状態検索手段２６０と、改善確率演算手段２７０と、操作指令決定手段２８０とで構成されており、過去の運転実績データから基本操作指令値２３５によってプラントの状態が望ましい方向に改善するかどうかを調査し、その確率に応じて基本操作指令値２３５の今回値を出力するか、あるいは前回値のまま維持するかを切替える機能を有している。

一般にプラントデータにはばらつきがあるため、ある指標（例えばプラント出力）が同じレベルであっても、プロセスの状態値が全く同じである場合は少ない。制御装置が現在の状態を認識するために参照するプロセス値の種類は限られているため、それらが仮にすべて同じ値であったとしても、他のプロセス値は異なっている場合がある。また、アクチュエータの動作や計測器の誤差もデータのばらつきの要因となっている。

従って、制御装置が同じ状態と認識して、同じ操作をしても結果が同じにならない場合が多い。すなわち、制御操作によって前回は状態が改善したが、今回は逆に状態が悪化する場合も起こり得る。また、思ったほどの改善効果が得られない可能性もある。

図４にある操作パラメータＸと制御対象のプロセス値（状態量Ａ）との関係を示す。前述したように、運転データにはばらつきがあるため、運転実績をプロットすると図４に示すような分布を持つデータが得られる。

例えば、現在の状態量がｂであり、基本操作指令値２３５が次操作点で示す値である場合、次操作点に対応する運転実績には分布がある。その分布が図４右側に示したような頻度分布または確率分布の場合、期待値としては現在の状態量ｂよりも小さくなり、最小値ｃまで低下した実績がある。しかし、現在の状態ｂよりも大きくなる確率もあり、最大ａまで増加したという実績があることがわかる。

この場合、状態量Ａが大きい方が望ましいか、小さい方が望ましい状態かによって判断が変わるが、例えば小さい方が望ましい場合を仮定すると、期待値がｂよりも小さいため次の操作を実施した方が良いという判断もできる。しかし、逆に最大ａまで状態が悪化するという可能性もあるため、次の操作を実施するかどうかを決める必要がある。

もし、次操作で状態が悪化することがプラントで製造する製品の品質に致命的な影響を与えたり、対外的な環境性に影響を与える場合などでは、状態が悪化するリスクは極力排除する必要がある。

そこで、補正手段２５０により、自動的に過去の運転実績データを分析して、その結果に基づいて基本操作指令値２３５の今回演算値をそのまま出力するかどうを決定するため、特に上述のように状態悪化が製品や環境に深刻な影響を与える事態を抑制することができる。

次に、補正手段２５０の具体的なアルゴリズムを図３を用いて説明する。まず、ステップ５００では条件パラメータを読み込む。条件パラメータとは、プラント状態を特定するための指標となるプロセス値と、類似と定義するための偏差許容値と、改善確率等の条件に対して基本操作指令値２３５の今回演算値の出力を許可するかどうかの判定基準となる許容値である。

本例では、プラント状態を特定するための指標として発電出力値と燃焼制御の操作端である空気量を調整する空気ダンパ開度を用いている。ただし、本実施例はこの指標に何を用いるかを限定するものではなく、例えば燃料流量，給水流量等の条件を加えても良く、また、別の指標を用いても良い。

これらは、入出力手段２２１から運転員が入力する。入力されたこれらのデータは制御装置内の記憶手段（図示せず）に保存され、ステップ５００実行時に読込まれる。

ステップ５１０では、運転実績データベース２４０に格納された過去の運転データと現在の状態との類似度を計算する。

類似度は、ユークリッド距離で定義する。２データ点Ｐ，Ｑの座標が（Ｘｐ１，Ｘｐ２，Ｘｐ３，…，Ｘｐｎ），（Ｘｑ１，Ｘｑ２，Ｘｑ３，…，Ｘｑｎ）で与えられる時、２点間の距離ｄの二乗は式（１）で求められる。ここで、座標となるＸｐｉ，Ｘｑｉはプラント状態を特定するための指標と定義したプロセス値である。

この指標を複数用いる場合は、プロセス値の単位が異なることからそれぞれのプロセス値を最大値等で規格化して用いる方が良い。

式（１）をもちいて現在の運転状態と過去の運転実績点との距離ｄを計算する。

ステップ５２０ではステップ５００で読込んだ類似と定義するための偏差許容値距離
ｄｍａｘとステップ５１０で計算したそれぞれの距離ｄとを比較して、式（２）の条件を満たす運転データセットのみを抽出する。

ステップ５３０では、ステップ５２０で抽出したデータセットから図４右側のグラフに示したように、基本操作指令値２３５の値となる空気ダンパ開度におけるＮＯｘまたは
ＣＯ濃度の実績から頻度分布を計算する。この時、操作量である空気ダンパ開度は所定の分割幅を用いる。また、ＮＯｘ，ＣＯ値は時間的に変動するため、所定の時間間隔での平均値とし、これらも所定の分割幅で発生度数をカウントする。

ステップ５４０ではカウントした頻度分布から、基本操作指令値２３５の操作状態において、ＮＯｘまたはＣＯ濃度が現在値よりも減少した度数を求め、この割合を全度数で割って改善確率とする。

逆に現在濃度よりも増加した度数の割合を非改善確率とする。つまり悪化確率である。

また、ＮＯｘまたはＣＯ濃度の最小値を検索し、その値を最大改善実績値とする。同様にＮＯｘまたはＣＯ濃度の最大値を検索し、その値を最大非改善実績値とする。つまり最大悪化実績値である。

ステップ５５０では、ステップ５００で読込んだ基本操作指令値２３５の今回演算値の出力を許可するかどうかの判定基準値とステップ５４０で計算した改善確率または非改善確率，最大改善実績値，最大非改善実績値とをそれぞれ比較し、予め定めた判定条件も基づいて基本操作指令値２３５今回演算値の出力可否を決定する。

判定条件は改善確率または非改善確率，最大改善実績値，最大非改善実績値のそれぞれに判定基準値を設けてすべてが基準値を満たしている時に基本操作指令値２３５今回演算値の出力を許可するように設定している。

判定条件はこのような所謂ＡＮＤ条件以外にもＯＲ条件それらの組合せも考えられ、これ以外の設定でも良い。また、判定条件は、最大改善値，最大非改善値，分散，平均値，期待値，最大改善値または最大非改善値に対する所定割合以上の発生確率等が挙げられる。

ステップ５００，５１０，５２０は状態検索手段２６０で実行され、運転実績データベース２４０に蓄積されたデータ２４５から類似条件に適合するデータ２６５を抽出する。

ステップ５３０，５４０は改善確率演算手段２７０で実行され、改善確率または非改善確率，最大改善実績値，最大非改善実績値の情報２７５となる。

ステップ５５０は操作指令決定手段２８０で実行される。操作指令決定手段２８０では、ステップ５５０の結果に基づき基本操作指令値２３５今回演算値を許可する場合には、基本操作指令値２３５今回演算値をそのまま操作指令値２８５として出力する。また、不許可判定の場合は、基本操作指令値２３５の前回値（すなわち現在の操作指令値）を操作指令値２８５として出力する。

図５のＮＯｘ濃度の頻度分布に示す例では、過去実績はＮＯｘ濃度が現在値よりも増加する可能性がないことを示しており、この場合には基本操作指令値２３５今回演算値を用いることが適切である。

図６のＮＯｘ濃度の頻度分布に示す例では、期待値としてはＮＯｘ濃度が低下するが、逆に増加する確率もかなり残されており、極力ＮＯｘ排出量を削減する観点から、次操作はリスクが大きいと判断した場合は次操作を実施しないように選択することができる。

このように、例えば非改善確率が所定の数値以上の操作は実施しないようにすることや、最大非改善実績値が許容できない場合には操作を実施しない等の措置が自動的に取れるため、制御操作による非改善のリスクを低減することができる。

特に非改善の場合に、製品の品質やＮＯｘ，ＣＯ等の有害物質の排出など、対外環境に影響を与える場合には有効であり、安全かつ安定な運転が可能になると共に、製品の品質確保，歩留まり向上，環境保全にも貢献できる。

また、火力発電プラントにおいてはＮＯｘを脱硝装置で除去しているが、この際に脱硝用のアンモニアが必要である。本実施例の制御装置によりＮＯｘ発生量を低減できれば、アンモニアの消費量を削減でき、運転コスト削減の経済効果も期待できる。さらに、NOx発生量削減により、脱硝装置の小型化や脱硝触媒の長寿命化の効果も期待できる。

本例では不許可判定の場合に基本操作指令値２３５の前回値を出力するようにしているが、基本操作指令値２３５今回演算値に補正を加えて出力する方法もある。補正の方法としては、ステップ５５０でステップ５４０で計算した改善確率または非改善確率，最大改善実績値，最大非改善実績値とそれぞれの対応する判定基準値との偏差に比例した０〜１までの係数を掛けて補正する方法があるが、別の補正方法を用いても良い。

また、基本操作指令値２３５の前回値出力する場合の改善確率または非改善確率を同様に計算し、前回値と今回値の場合で良い結果が得られる確率が高い方を選択しても良い。

図７に基本操作指令値２３５の今回演算値の出力を許可するかどうかの判定条件の設定画面例を示す。図７に示した画面は表示モニタ２２３に表示され、マウス付キーボート
２２２から運転員が設定を入力する。

図１では入出力手段２２１は画面表示用モニタ２２３と入力手段となるマウス付キーボード２２２で構成されているが、運転員への入出力手段としては音声入出力装置，タッチペン等の他のデバイスを用いることも可能である。

設定画面３００では、「新たな操作を常に許可する」か「条件付で許可する」かを選択できるようになっており、□で示したチェックボックスにマウスカーソル３０１を用いてチェックすることでどちらか一方を選択する。どちらか一方にチェックすると、他方のチェックは削除され、それ以上の入力ができないようになる。

「条件付で許可する」を選択した場合、「改善確率または非改善確率で判定」，「改善の期待値で判定」，「最大改善実績で判定」，「最大非改善実績で判定」の各条件文が提示され、使用する条件文の前のチェックボックスにチェックを付けることで条件を選択する。また、それぞれの条件文を“ＡＮＤ条件”にするか“ＯＲ”条件にするかを選択することができる。

また、設定条件はこれらに限定されず、これ以外の条件を付加しても良い。

「常に許可する」を選択した場合は、画面下部の「設定終了」ボタン３０４が選択可能になり、これをマウスポインタ３０１でクリックすることにより設定を終了する。また
「条件付で許可する」を選択した場合は、「条件パラメータ設定画面へ」ボタン３０３が選択可能になる。これをマウスポインタ３０１でクリックすることにより条件パラメータ設定画面に進む。

また、設定画面３００には「戻る」ボタン３０２があり、これをクリックすることで設定前の状態に戻ることができる。最初は条件設定がされていないので、条件を設定するまでは「戻る」ボタン３０２は無効になっている。

ただし、初期設定をデフォルトで設定しておき、これを初期状態としても良い。また、設定画面３００の条件としてデフォルト設定を追加しても良い。

「条件付で許可する」を選択し、「条件パラメータ設定画面へ」ボタン３０３をクリックすると図８に示す画面が表示される。図８の画面では、対象とするプロセス値を画面右上のプルダウンメニュー３０５から選択できる。また、プルダウンメニュー３０５で選択したプロセス値に対して、その値をレベルわけすることができる。図８の例ではプロセス値としてＮＯｘを選択しており、ＮＯｘ値の上・下限値を入力することで複数のレベルに分けることができる。それぞれのレベルは条件Ｎo.として管理される。

レベル設定が終わると「次へ」ボタン３０６をクリックしてレベル（条件Ｎo.）毎に許容値を設定する画面へ移行する。

許容値設定画面の例を図９に示す。画面右上のプルダウンメニュー３０７で条件Ｎo.を選択する。

図９は「改善確率または非改善確率で判定」と「改善の期待値で判定」について、それぞれの許容値を設定する画面例である。設定する許容値は設定画面３００でチェックした項目であり、これらに対応する許容値設定画面が自動的に表示される。

「改善確率または非改善確率で判定」の許容値は横バー上でマウス操作により割合を変更できるようになっている。また、非改善確率または改善確率の欄に直接キーボードから数値を入力することができる。非改善確率または改善確のどちらか一方に数値が入力されると、他方は１００％とその入力値との差を自動表示する。

「改善の期待値で判定」の許容値も同様に横バー上でマウス操作により割合を変更できる。ここで、割合とは図８の画面で設定したＮＯｘ値等のプロセス値のレベル範囲に相当する。また、図９の画面では、「改善の期待値で判定」の許容値設定のためのＮＯｘの上・下限値を直接入力することもできる。

図示していないが、「最大改善実績で判定」，「最大非改善実績で判定」についても同様に許容値を設定することが可能である。

以上のように条件を設定して運転した結果を図１１のＮＯｘ操作実績のトレンド表示例に示すような画面で確認することができる。図１１では発電出力値とＮＯｘ発生値及び操作によってＮＯｘが減少したか増加したか（すなわち改善か非改善か）を時系列的にグラフ表示している。また、改善ケースと非改善ケースの割合を％で表示している。

このようにグラフで実績を確認することで、条件設定を見直すことが容易になる。「条件設定確認」ボタン３０８をクリックすると、設定画面３００以降で設定した内容が別ウインドウで表示される。また、「条件設定変更」ボタン３０９をクリックすると設定画面３００が表示され、設定内容を変更することができる。

本実施形態の例では制御対象プロセス値をＮＯｘ及びＣＯ濃度としているが、これに限らず、ガス中のＣＯ₂，ＳＯｘ，Ｈｇ（水銀）量，フッ素，煤塵またはミストから成る微粒子類，ＶＯＣ（揮発性有機化合物）、または蒸気温度，蒸気圧力，発電機出力，効率等を対象にすることもできる。また、これらの複数の組合せを“ＡＮＤ条件”または“ＯＲ条件”とすることもできる。

次に第ニの実施形態を図２を用いて説明する。図１に示した第一の実施形態と異なる点は、本実施例の制御装置２００の補正手段２５０に強化学習手段２９０を備えている点である。強化学習手段２９０は運転実績データベース２４０に蓄積された運転データを用いて強化学習理論によりプラント状態に対応した適切な操作方法を学習する機能を有している。

強化学習理論の詳細な説明は、例えば“強化学習（Reinforcement Learning），三上貞芳・皆川雅章共訳，森北出版株式会社，２０００年１２月２０日出版”に述べられているので、ここでは強化学習の概念のみを説明する。

図１２に強化学習理論による制御の概念を示す。制御装置６１０は制御対象６００に対して操作指令６３０を出力する。制御対象６００は制御指令６３０に従って動作する。この時、制御指令６３０による動作により制御対象６００の状態が変化する。変化した状態が制御装置６１０にとって望ましいか、または、望ましくないか、また、それらがどの程度かを示す量である報酬６２０を制御対象６００から受取る。

実際には制御対象から受取る情報は制御対象の状態量であって、それに基づいて制御装置６１０が報酬を計算するのが一般的である。一般に、望ましい状態に近づくほど報酬が大きくなり、望ましくない状態になるほど報酬が小さくなるように設定される。

制御装置６１０は試行錯誤的に操作を実施して、報酬が最大になる（すなわち、できるだけ望ましい状態に近づく）ような操作方法を学習することにより、制御対象６００の状態に応じて適切な操作（制御）ロジックが自動的に構築されるのである。

ニューラルネットワークに代表される教師付学習理論は、予め成功事例を教師データとして提供する必要があり、新規プラントや現象が複雑で予め成功事例を準備できない場合には不向きである。

これに対して強化学習理論は教師なし学習に分類され、自らが試行錯誤的に望ましい操作を生成する能力を持っている点で、制御対象の特性が必ずしも明確でない場合に対しても適用可能な利点を持っている。

本第二の実施形態では、この強化学習理論を利用している。

図１３に強化学習手段２９０の構成を示す。強化学習手段２９０はモデル化手段２９１と学習手段２９２とから構成されている。

強化学習は試行錯誤的に学習するが、プラント制御の場合に実プラントを直接相手にして試行錯誤的に操作することは運転の危険性やプラントの製造製品へのダメージなどの点で実現困難である。そこで、プラントの運転実績から運転特性モデルを作成し、このモデルを相手に学習する方式としている。

モデル化手段２９１は運転実績データベース２４０から過去の運転データを読込み，入力層，中間層，出力層からなるニューラルネットワークで、誤差逆伝播法（バックプロパゲーション法）を用いて入出力関係を学習する。ニューラルネットワークの構成及び学習方法は一般的な方法であり、また、これらの方法が他の方法であっても良く、ニューラルネットワークの構成や学習方法には依存しないので、ここでは詳細な説明を省略する。

入力データはバーナー及びアフタエアポートの各位置毎の空気流量，バーナー毎の燃料流量，発電機出力であり、出力データはＮＯｘ及びＣＯ濃度である。

本例で燃料流量，空気流量，発電出力とＮＯｘ及びＣＯ濃度の関係をモデル化しているが、入力項目及び出力項目をこれだけに限定するものではい。また、モデル化方法もニューラルネットワークに限定するものではなく、回帰モデル等の他の統計モデルを用いても良い。

学習手段２９２はモデル化手段２９１で作成したモデルに対して、バーナー及びアフタエアポートの各位置毎の空気流量、バーナー毎の燃料流量からなる入力データ２９３を出力する。入力データ２９３はプラントの操作条件に対応しており、それぞれ上下限値，変化幅（刻み幅）、一回の操作で取り得る最大変化幅が設定してある。入力データ２９３の各量は取り得る値の範囲内でランダムに各数値が決定される。

モデル化手段２９１は作成済みのモデルに入力データ２９３を入力し、出力データ294となるＮＯｘ及びＣＯ濃度を計算する。

学習手段２９２は出力データ２９４を受信し、報酬値を計算する。

報酬は式（３）で定義する、ここで、Ｒは報酬値、Ｏ_NOxはＮＯｘ値、Ｏ_COはＣＯ値、Ｓ_NOx及びＳ_COはＮＯｘ及びＣＯの目標設定値、ｋ₁，ｋ₂，ｋ₃，ｋ₄は正の定数である。

式（３）に示すように、目標設定値よりもＮＯｘ，ＣＯ値が低下した場合は報酬Ｒ₁及びＲ₂を与え、さらに、目標設定値よりも低下した場合はその偏差に比例して報酬を与えるようになっている。

なお、報酬の定義方法は他にも多様な方法が考えられ、式（３）の方法に限定されるものではない。

学習手段２９２は式（３）で計算される報酬が最大になるように入力データ２９３の組合せ、すなわち操作量を学習するため、結果的に現状態に対応してＮＯｘ，ＣＯを低減する操作量の組合せを学習することができる。

学習手段２９２は学習が終了した状態で、現在時刻の運転データである計測値２０５を読込み、学習結果に基づいて式（３）の報酬が最大となる操作量２９５を出力する。

状態検索手段２６０は前述の第一の実施形態と同じである。改善確率演算手段２７０の機能では、図３に示したステップ５３０において基本操作指令値２３５今回演算値における頻度分布に加えて、学習手段２９２の出力値である操作量２９５における頻度分布の二つの頻度分布を計算する。また、ステップ５４０ではカウントした頻度分布から、改善確率または非改善確率，最大改善実績値，最大非改善実績値をそれぞれ基本操作指令値235今回演算値と操作量２９５とについて算出する。これらの点が第一の実施形態と異なるが、それぞれの算出方法は同じである。

操作指令決定手段２８０の機能も基本的に第一の実施形態と同じであるが、第一の実施形態とは次の点が異なる。

本実施の形態では、図３に示したステップ５５０では、基本操作指令値２３５の今回演算値と操作量２９５に対する改善確率または非改善確率，最大改善実績値，最大非改善実績値をそれぞれの判定基準値と比較する。

両者の信号が次操作指令として許可できるかどうかを第一の実施形態と同様に予め設定した条件に基づいて判定する。

その結果、両方が不許可判定の場合は、基本操作指令値２３５の前回値を操作指令値
２８５として出力する。また、どちらか一方だけが許可判定の場合は、許可判定の方の信号を操作指令値２８５として出力する。また、両方とも許可判定の場合は、さらに、どちらを選択するかを決定するための条件を定めておき、これに基づいて一方を選択する。

その選択方法としては、改善期待値が大きい方を選択するようにしている。その他にも最大改善実績値が大きい方を選択、または、最大非改善実績値が小さい方など考えられ、本例以外の方法を設定しても良い。

操作指令決定手段２８０で操作指令値２８５今回値を選択する回路図を図１４に示す。減算器２８１で基本操作指令値２３５今回値と強化学習結果である操作量２９５の偏差信号２８７を計算し、これを加算器２８４で操作指令値２８５今回値に加算して強化学習操作指令値２８８を作成する。

もし、入力データの異常または演算回路の異常により強化学習手段２９０の出力値である操作指令値２８５が異常になった場合には偏差信号２８７に乗算器２８３で乗じる係数をゼロにすることで強化学習操作指令値２８８は基本操作指令値２３５今回値と等しくなるため、誤って異常信号を出力する危険性が低減される。

操作指令値２８５が異常が異常か否かは、強化学習手段２９０への入力データ及び出力データの上下限値チェック及び変化率の上下限チェックで判定する。一つでも予め設定した上下限値を逸脱する場合は、切替器２８２の出力信号を０とすることで異常の可能性がある操作指令値２８５の出力を防止する。切替器２８２は、それ以外の場合は出力信号を１としている。

切替器２８６はステップ５５０の判定結果を受けて、強化学習操作指令値２８８，基本操作指令値２３５今回値，基本操作指令値２３５前回値のうち何れかを選択して出力する。

操作指令値２８５が異常の場合には、強化学習操作指令値２８８は選択候補から外される。そのため、操作指令値２８５が異常時には基本操作指令値２３５の今回値と前回値のどちらか一方が出力され、運転の安全性が確保される。また、前述したように操作指令値２８５の異常時には切替器２８２の出力信号を０としているので、万が一切替器２８６で強化学習操作指令値２８８が選択されたとしても異常信号を出力することは無く、二重に安全性が確保されている。

以上のように強化学習手段２９０を付加することにより、実機プラント特性に対応してより良い操作を学習できるため、さらに制御性能が向上する。また、強化学習手段２９０の演算結果が何らかの原因で異常になったとしても、二重の安全対策によってプラントの安定運転が維持されるため、信頼性も確保できる。

次に第三の実施形態を、図１５を用いて説明する。前述の第二の実施形態と異なる点は改善確率または非改善確率，最大改善実績値，最大非改善実績値の情報２７５を強化学習手段２９０に出力している点である。

強化学習手段２９０では情報２７５を用いて報酬を計算する。報酬の計算式を式（４）に示す。ここでＲ₁，Ｒ₂，Ｒ₃，Ｒ₄は式（３）と同じである。また、Ｐ_{a_NOx}，Ｐ_{a_CO}はＮＯｘ及びＣＯの改善確率、Ｏ_{Pmin_NOx}，Ｐ_{Pmin_CO}はＮＯｘ及びＣＯの最大改善実績値、Ｏ_{Pmin_NOx},Ｐ_{Pmin_CO}はＮＯｘ及びＣＯの最大非改善実績値、Ｓ１_{Pa_NOx}，Ｓ２_{Pa_NOx}，Ｓ１_{OPmax_NOx}，Ｓ１_{Pa_CO}，Ｓ２_{Pa_CO}，Ｓ１_{OPmax_CO}はそれぞれ設定パラメータ、ｋ₅，ｋ₆，ｋ₇，ｋ₈，ｋ₉，ｋ₁₀，ｋ₁₁，ｋ₁₂は正の定数である。

式（４）を用いて報酬を計算するため、改善確率が大きく、最大改善実績値が大きく、最大非改善実績値が小さい場合に報酬が大きくなる。従って、強化学習の段階で、それらの条件を満足する操作が自動的に学習されるため、非改善のリスクが少ない操作を学習できる。

式（３）または式（４）に示した報酬計算方法の定義及び報酬定義に必要な各設定パラメータは設定画面３００と同様の入力画面から入出力手段２２１を用いて入力・設定が可能である。

操作量２９５は改善確率，最大改善実績値，最大非改善実績値等の情報加味して決定された操作指令値であるため、操作指令決定手段２８０では通常は常に操作量２９５を操作指令値２８５として出力する。

ただし、強化学習手段２９０への入力データの欠損や演算回路の故障等によって操作量２９５が異常になった場合は、操作指令決定手段２８０は基本操作指令２３５今回値を操作指令値２８５として出力する。

以上のように、本実施の形態では、強化学習の報酬を改善確率，最大改善実績値，最大非改善実績値等の情報を用いて計算するため、過去の運転実績に基づいて操作による効果が大きく、かつ、非改善リスクを低減する操作方法を自動的に学習できる。

上述した実施例により、プラントの実機運転データのばらつきに起因する制御操作によるプラント状態の非改善リスクを低減できる。すなわち、制御操作によって、現状態よりも制御目標値との偏差（制御偏差）が増大するというリスクを低減できるため、常に安定した運転が可能になる。

また、次の制御操作を決定する指標として、操作による改善確率または非改善確率をユーザーが決められるので、プラントの運転員または経営者の運用方針に沿った運転が可能になる。運用上、運転特性を途中で変更する場合も、制御特性を容易に変更可能である。

すなわち、例えば試運転段階では非改善リスクを許容して試行錯誤的に望ましい運転操作法を追求して制御パラメータ等を調整し、本格運用時には非改善リスクを極力排除した安定運転を志向することができる。

また、プラントの種類によっては、静定までの時間が長くても安定運転が第一条件である場合もあり、一方で、多少の変動はあっても急速に目標状態に到達する方が望ましい場合もある。同様に、制御偏差がある程度大きい状態では、それ以上状態が悪化しないように非改善リスクを少なくする設定とし、制御偏差がある程度小さくなった状態では逆に多少の非改善リスクを許容してもさらに望ましい状態を追及する運転も可能となる。

また、ユーザーの要求やプラントの状態に柔軟に対応でき、非改善リスクを低減することで運転の安全性，製品品質，収率などが向上する効果がある。

また、火力発電プラントの燃焼制御に適用する場合、ＮＯｘ，ＣＯ等の環境負荷物質発生増加のリスクを低減することができ、環境に優しい運転が可能になる。これにより、脱硝装置におけるアンモニアの使用量が削減でき、触媒活性が長時間持続するようになるなどの経済的効果も期待できる。

上記実施例では、火力発電プラントを制御対象とした制御装置について記載したが、製造プラント等の他のプラントについても上記した制御装置を使用できる。

第一の実施形態に係る制御装置の構成を説明する図である。 第二の実施形態に係る制御装置の構成を説明する図である。 補正手段の演算手順を説明する図である。 プラントデータの分布と操作パラメータとの関係例を説明する図である。 ＮＯｘ濃度の頻度分布例を説明する図である。 ＮＯｘ濃度の頻度分布例を説明する図である。 操作指令値の出力許可条件設定画面例を説明する図である。 操作指令値の出力許可条件設定画面例を説明する図である。 操作指令値の出力許可条件設定画面例を説明する図である。 火力発電プラントの構成を説明する図である。 ＮＯｘ操作実績のトレンド表示例を示す図である。 強化学習の概念を説明する図である。 強化学習手段の構成を説明する図である。 操作指令信号選択回路を説明する図である。 第三の実施形態に係る制御装置の構成を説明する図である。

符号の説明

１００…プラント、２００…制御装置、２２０…入出力インターフェース、２２１…入出力手段、２３０…基本制御指令演算手段、２４０…運転実績データベース、２５０…補正手段、２６０…状態検索手段、２７０…改善確率演算手段、２８０…操作指令決定手段。

Claims (8)

1. プラントの計測データを入力し前記プラントへの操作指令値を演算する基本制御指令演算手段と、前記計測データ及び前記操作指令値を有する運転データを蓄積する運転実績データベースと、現在の前記運転データと過去の前記運転データに基づいて類似状態を検索・抽出する状態検索手段と、該状態検索手段で抽出された類似状態である過去の運転データにおいて、制御操作による運転状態の変化実績から、前記操作指令値に対応する運転データの頻度分布または確率分布を算出し、前記制御操作による前記操作指令値に対応する運転状態を改善する確率である改善確率、または前記運転状態を改善しない確率である非改善確率を算出する改善確率演算手段と、該改善確率演算手段で算出した改善確率または非改善確率に基づいて、次の操作指令値を決定する操作指令決定手段を具備することを特徴とするプラントの制御装置。
2. 請求項１に記載のプラントの制御装置において、該改善確率演算手段で算出した各値に対する上限値または下限値である許容基準値を入力する改善確率基準値入力手段を具備することを特徴とするプラントの制御装置。
3. 請求項１に記載のプラントの制御装置において、予め定義した報酬を計算して、該報酬値に基づいてプラントの操作方法を学習する強化学習手段を有し、前記操作指令決定手段は、強化学習の結果算出された操作指令値の値に補正を施して次の操作指令値を決定することを特徴とするプラントの制御装置。
4. 請求項３に記載のプラントの制御装置において、強化学習時に演算する報酬の値を決定し、該報酬値に基づいてプラントの操作方法を学習する操作学習手段を具備することを特徴とするプラントの制御装置。
5. 請求項１に記載のプラントの制御装置において、前記制御装置が、火力発電プラントの制御装置であり、前記状態検索手段は、プラント状態の類似状態を検索する際に、発電機出力または負荷率，燃料流量，給水流量，バーナーまたはエアポートの空気流量合計値，各空気ポート個別の空気流量，バーナー点火位置のいずれかの情報を状態指標として前記運転実績データベースから類似状態を検索するものであり、前記改善確率演算手段は、排ガス中のＮＯｘ，ＣＯ，ＣＯ₂，ＳＯｘ，Ｈｇ，フッ素，煤塵またはミストから成る微粒子類，ＶＯＣ（揮発性有機化合物）、または蒸気温度，蒸気圧力，発電機出力，効率のいずれかの状態量の制御操作による変化実績から該変化実績の頻度分布または確率分布を算出し、操作による改善確率，非改善確率，分散，平均値，期待値，最大改善予想値，最大非改善予想値，最大改善予想値または最大非改善予想値に対する所定割合以上の発生確率のうち少なくとも一つを算出するものであることを特徴とする火力発電プラントの制御装置。
6. 請求項５に記載の火力発電プラントの制御装置において、予め定義した報酬を計算して、該報酬値に基づいて火力発電プラントの操作方法を学習する強化学習手段を有し、前記操作指令決定手段は、強化学習の結果算出された操作指令値の値に補正を施して次の操作指令値を決定することを特徴とする火力発電プラントの制御装置。
7. 請求項５に記載の火力発電プラントの制御装置において、前記操作指令値はバーナーへ供給する燃料流量，バーナー空気流量，エアポートへ供給する空気流量，ガス再循環量，バーナー角度，供給空気温度のいずれかを対象とすることを特徴とする火力発電プラントの制御装置。
8. 請求項１に記載のプラントの制御装置において、前記改善確率演算手段は、最大改善値，最大非改善値，分散，平均値，期待値，最大改善値または最大非改善値に対する所定割合以上の発生確率のいずれかを算出するものであり、前記操作指令決定手段は、前記改善確立演算手段で算出されたものに基づいて、次の操作指令値を決定するものであることを特徴とするプラントの制御装置。

Images