JP7111761B2

JP7111761B2 - プラント運転最適化支援装置、プラント運転最適化制御装置並びに方法

Info

Publication number: JP7111761B2
Application number: JP2020041671A
Authority: JP
Inventors: 勇也徳田
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2020-03-11
Filing date: 2020-03-11
Publication date: 2022-08-02
Anticipated expiration: 2040-03-11
Also published as: WO2021181979A1; DE112021000080T5; CN114258513A; US20220326694A1; JP2021144391A; CN114258513B

Description

本発明は低い計算負荷でプラント運転の支援及び運転を最適化するプラント運転最適化支援装置、プラント運転最適化制御装置並びに方法に関する。

各種プラントにおいては、そのプラント効率を最大化した運転とすべくプラント運転最適化制御装置を構成する傾向にあり、例えば特許文献１のプラント運転最適化制御装置は、「制御対象プロセスの操作量、外乱、及び制御量を含む状態量を入力とし制御量を出力とするニューラルネットワークモデルにより制御すべき時点から先の各制御量の変化を予測する制御量変化予測手段と、前記制御すべき時点の前記状態量により、これから先に与える各前記操作量の変化量に対する各前記制御量の変化量の感度を計算する制御量感度計算手段と、該制御量感度計算手段による計算によって得られた感度行列を用いて、前記変化予測手段により予測される各前記制御量が所定の目標値に可及的に一致し且つ各前記操作量の変化量が可及的に小さく成るように最適化計算して各操作量を決定する最適化計算・決定手段と、を備え、該最適化計算・決定手段によって決定された各前記操作量を前記制御対象プロセスの前記操作量として外部に出力することを特徴とする多変数モデル予測制御装置。」のように構成されている。

特開２００２－１５７００３号

特許文献１に開示されたプラント運転最適化制御装置によれば、プラントの運転効率を高く維持しながら運転することが可能となる。しかしながら、計算機装置を用いて実現するときには、計算機負荷が大きいという課題がある。これは特許文献１では、プラントのすべてのセンサ信号を入力として、常時取り扱っていることが影響している。産業プラント分野では効率向上を目的に、機械学習による最適制御技術の適用を試行しており、制御量の計算に要する負荷の低減が求められている。

また制御量の計算に要する負荷の低減を図りながら、高感度なセンサ情報量の抽出、低頻度な運転（特殊運転）でも高感度な信号を縮約後にも保持できること、プラント状態変化への追従が可能であることなどが具体的な課題として望まれている。

このことから本発明においては、プラントの全センサ信号から、制御目標の達成に必須な信号を自律的に抽出することで、計算負荷を低減することができるプラント運転最適化支援装置、プラント運転最適化制御装置並びに方法を提供することを目的としている。

以上のことから本発明においては、「プラントに与えた操作量信号とプラントで検出したプロセス信号を入力信号として入力する入力部と、操作量信号に対するプロセス信号の時間変化分を感度信号として求める感度推定部と、入力信号からプラントの運転状態を区分して運転状態信号を与えるとともに、区分された運転状態ごとに感度信号の中から高感度を示す感度信号を状態別高感度信号として抽出する信号分類部を備えることを特徴とするプラント運転最適化支援装置」としたものである。

また本発明においては、「プラントに与えた操作量信号とプラントで検出したプロセス信号を入力信号として入力する入力部と、操作量信号に対するプロセス信号の時間変化分を感度信号として求める感度推定部と、入力信号からプラントの運転状態を区分して運転状態信号を与えるとともに、区分された運転状態ごとに感度信号の中から高感度を示す感度信号を状態別高感度信号として抽出する信号分類部と、状態別高感度信号を入力として、プラントの高効率運転状態を目標状態としたときの、この目標状態に遷移するためのプラント制御における制御則を定めて制御則信号として与える制御則最適化部と、運転状態信号のときの状態別高感度信号から求めた制御則を用いてプラントに与える操作量信号を定める制御装置を備えることを特徴とするプラント運転最適化制御装置」としたものである。

また本発明においては、「プラントに与えた操作量信号とプラントで検出したプロセス信号を入力信号として入力し、操作量信号に対するプロセス信号の時間変化分を感度信号として求め、入力信号からプラントの運転状態を区分して運転状態信号を与えるとともに、区分された運転状態ごとに感度信号の中から高感度を示す感度信号を状態別高感度信号として抽出することを特徴とするプラント運転最適化支援方法」としたものである。

また本発明においては、「プラントに与えた操作量信号とプラントで検出したプロセス信号を入力信号として入力し、操作量信号に対するプロセス信号の時間変化分を感度信号として求め、入力信号からプラントの運転状態を区分して運転状態信号を与えるとともに、区分された運転状態ごとに感度信号の中から高感度を示す感度信号を状態別高感度信号として抽出し、状態別高感度信号を用いて、プラントの高効率運転状態を目標状態としたときの、この目標状態に遷移するためのプラント制御における制御則を定めて制御則信号として与え、運転状態信号のときの状態別高感度信号から求めた制御則を用いてプラントに与える操作量信号を定めることを特徴とするプラント運転最適化制御方法」としたものである。

プラントの全センサ信号から、制御目標の達成に必須な信号を自律的に抽出することで、計算負荷を低減することができるプラント運転最適化支援装置、プラント運転最適化制御装置並びに方法を提供することができる。

本発明の実施例１に係るプラント運転最適化制御装置の構成例を示す図。運転状態と感度信号の関係を例示した図。本発明の実施例１の処理における一連の手順を示すフロー図。本発明の実施例２に係るプラント運転最適化制御装置の構成例を示す図。本発明の実施例２の処理における一連の手順を示すフロー図。本発明の実施例３に係るプラント運転最適化制御装置の構成例を示す図。情報の表示装置への表示事例を示す図。モデルの形式が状態遷移確率行列Ｔであった場合の一例を示す図。（１）式の処理を模式的に示した図。将来状態予測演算部Ｂ２１で演算した減衰型状態遷移行列Ｄを画面に表示した場合の一例を示す図。報酬関数がベクトル形式の場合の一例を示す図。状態価値関数Ｖの一例を示す図。（４）式の計算結果の一例を示す図。制御則の一例を示す図。

以下，本発明の実施例について、図面を用いて説明する。

図１は、本発明の実施例１に係るプラント運転最適化制御装置の構成例を示す図である。図１において、プラント運転最適化制御装置１００は、プラント１０４から入力信号Ｓｇ１を入力し、最終的にプラント内の図示せぬプラント機器に対して操作量信号（制御量信号）Ｓｇ６を与える。ここで、入力信号は、プラント機器に対して与えた操作量信号Ｓｇ６やプラン各部のセンサで検知したプロセス信号を含んでいる。

プラント運転最適化制御装置１００は、情報量縮約装置１０１と制御則最適化部１１６及び制御装置１２０を主要な構成要素として備えており、これらからの信号Ｓｇ４，Ｓｇ５により制御装置１２０がプラント内の図示せぬプラント機器に対する操作量信号Ｓｇ６を定める。

なお、図１において本発明をプラント運転最適化支援装置として構成することもできる。この場合には、情報量縮約装置１０１、あるいはさらに制御則最適化部１１６が与える各種のデータをモニタなどの表示装置を介して利用者に提示する構成とすればよく、制御装置１２０は、提示されたデータを自ら判断して選択した情報を用いて制御装置１２０に反映し、運転することで、間接的にプラント１０４の最適化運転を可能とする。

情報量縮約装置１０１は、感度推定部１０９と信号分類部１１０により構成されている。このうち感度推定部１０９では、プラント１０４に外乱（プラント入力）として与えた操作量信号Ｓｇ６に対するプラント出力としてのプロセス信号の関係を時間変化分、つまり感度信号として抽出する。これは例えば操作量信号Ｓｇ６をｘ、プロセス信号をｙ、時刻をｔとしたとき、ｄｙｔ／ｄｘｔを時刻ｔにおける感度信号として求めたものである。感度信号はプラントの想定可能な入出力関係に基づいて多様に準備しておくのがよい。

信号分類部１１０は、プラント１０４の運転状態をクラスタリングなどの統計手法により複数の運転状態に分類する。これは例えばボイラプラントであれば、昇速段階、負荷増加段階、負荷一定運転段階、負荷減少段階などの運転状態が例示できるが、区分される運転状態はこれに限られたものではない。また本発明において運転状態の区分は、クラスタリング手法によらず、適宜の手法で行われればよい。

図２は、運転状態と感度信号Ｓｇ２の関係を例示している。ここでは横軸にプラントの運転状態を示し、縦軸に感度信号を例示している。横軸のプラントの運転状態として、この例では通常運転状態２０１、通常運転状態２０３、特殊運転状態２０２を例示している。なお特殊運転状態とは、通常運転状態に比較して発生頻度が少ない運転状態を表している。

図２は、プラント状態に応じて信号の感度Ｓｇ２が変動することを示している。プラントが通常運転状態２０１の範囲内にある場合は信号Ｓｇ２２の感度が高く、特殊運転状態２０２では信号Ｓｇ２３、通常運転状態２０３では信号Ｓｇ２１の感度が高い。また発生頻度の低い特殊運転状態２０２で高い感度を持つ信号Ｓｇ２３は発生頻度の高い他の運転では感度が低いという傾向があることを表している。そのため、従来の感度分析手法では、信号Ｓｇ２３の感度の順位は低く、情報縮約後の信号として選定される可能性も低いことになる。本発明では、各時刻ｔにおける感度ｄｙ_ｔ／ｄｘ_ｔを計算するため、発生頻度の低い特殊運転状態で感度の高い信号を抽出できる。

信号分類部１１０においては、以上のことから、判別した運転状態を意味する運転状態クラスタ信号Ｓｇ４と、この運転状態で高い感度を示す状態別高感度信号Ｓｇ３を抽出する。なお選択する状態別高感度信号Ｓｇ３は、１つには限らず高感度の複数のものを選択してもよい。これらの運転状態クラスタ信号Ｓｇ４と、この運転状態で高い感度を示す状態別高感度信号Ｓｇ３の組み合わせは、適宜のデータベースに保存され、この結果過去の運転状態を反映して、逐次データベース内容は豊富化される。この中には、発生頻度が低い運転状態の時の状態別高感度信号Ｓｇ３の情報も含まれている。

このようにして情報量縮約装置１０１は、現在の運転状態とこの時の高感度信号を与えているので、取り扱う情報量は全プロセス量の中から選別されたものであり、情報を縮約する機能を備えたものということができる。

制御則最適化部１１６は、プラントの特性を模擬するモデル機能を備えたものであり、この運転状態で高い感度を示す状態別高感度信号Ｓｇ３を入力して、この時の最適化された制御則を定める。ここで制御則とは、例えばプラントの操作量を意味している。状態別高感度信号Ｓｇ３から求めた操作量とすべくプラントを運転することは、プラント入力が最小でプラント出力を最大とすることを意味しており、もって高効率運転が実現できることになる。制御則最適化部１１６の具体的な実現手法例について、実施例４で詳細に説明する。

制御装置１２０は、制御則最適化部１１６で求めた制御則信号Ｓｇ５と、信号分類部１１０で求めた運転状態クラスタ信号Ｓｇ４と、プロセス信号Ｓｇ１を入力とする制御部である。一般的に制御装置１２０は、例えば比例積分調節機能やシーケンサなどにより構成されており、所定の与えられた目標信号に対してプロセス信号Ｓｇ１を帰還信号あるいは補正信号として用いて、プラント機器に対する操作量信号Ｓｇ６を定めている構成のものである。これに対し本発明の制御装置１２０は、運転状態クラスタ信号Ｓｇ４により現在の運転状態を把握し、この運転状態の時の最適化された制御則信号Ｓｇ５を入力して、制御装置１２０の各部に作用し、操作量信号Ｓｇ６を制御則信号Ｓｇ５に従った最適値に修正する。なお、制御装置各部への作用の仕方としては、最適な設定値に修正する、最適な調節機能とすべく時定数やゲインを修正する、バイアス信号を印加するなどが考えられる。

図３は、本発明の実施例１の処理における一連の手順を示すフロー図である。この図において、各処理ステップの右側には、この機能を実行する図１の各部装置を記述している。この処理によれば、まず処理ステップＳ１２０１においてプロセス信号などの入力信号Ｓｇ１を入力し、処理ステップＳ１２０２において時系列的に感度信号に変換する。処理ステップＳ１２０３では、判別した運転状態を意味する運転状態クラスタ信号Ｓｇ４と、この運転状態で高い感度を示す状態別高感度信号Ｓｇ３を抽出する。

制御則最適化部１１６に対応する処理ステップＳ１２０４では、状態別高感度信号Ｓｇ３からこの状態の時の最適な制御則信号Ｓｇ５を計算するとともに、処理ステップＳ１２０５では運転状態に応じて適宜制御則を更新している。

制御装置１２０に対応する処理ステップＳ１２０６からＳ１０２８では、まず処理ステップＳ１２０６においてプラント運転中であることを判定し、プラント運転中であるときは処理ステップＳ１２０７でプロセス信号などを読み込み、処理ステップＳ１２０８で制御則に対応した操作量信号を算出して、プラント１０４に与える。

上記の実施例１によれば、センサ情報量の縮約により計算機負荷が低減でき、発生頻度が少ない特殊運転にも必要なセンサ情報を保持することができ、かつプラント状態変化に応じて最適な制御則へ切り替え運用することが可能となる。

実施例１では、情報量縮約装置１０１内の感度推定部１０９における、感度の種別は予め利用者が事前設定しておくという前提である。つまり、多数のプラント入力と多数のプロセス信号について、どの組み合わせの時間変化分を監視の対象とすべきかは、事前把握され、予め設定されていたという前提であった。

これに対し、実施例２では、この組み合わせの抽出も自動化したものである。実施例２に係るプラント運転最適化制御装置の構成例を示す図４は、情報量縮約装置１０１内に新たに挙動モデル学習部１０８を追加した点を除いて、実施例１と同じ構成のものである。

挙動モデル学習部１０８では、操作量信号Ｓｇ６および操作前後のプロセス信号Ｓｇ１の関係を、ニューラルネットワークなどを用いて事前に学習する。これにより、入出力の相関が高い入力と出力の組み合わせ１１１が、自動的に作成できることになる。ニューラルネットワークで得た関係性を用いて自動微分が計算できるため、この特性を用いて信号感度推定部１０９では各時刻ｔにおける感度ｄｙ_ｔ／ｄｘ_ｔを計算する。なお挙動モデル学習部１０８は、すべての組み合わせを提示するものであってもよいが、感度推定部１０９における計算機負荷が増大することになる。

図５は、本発明の実施例２の処理における一連の手順を示すフロー図である。図３の処理フローとの差異は、処理ステップＳ１２０１は挙動モデル学習部１０８と信号感度推定部１０９の両方で実行される点と、処理ステップＳ１２０２の前に処理ステップＳ１２０９が追加された点である。処理ステップＳ１２０９では、挙動モデル学習部１０８にて操作量信号Ｓｇ６および操作前後のプロセス信号Ｓｇ１の関係を学習する。

実施例１、実施例２のプラント運転最適化制御装置１００は、主に最適化制御の観点からの装置構成、処理内容などを説明しているが、実際には利用者の立場からの装置構成、利用体制とすべきであり、実施例３ではこの点について説明する。

この前提として、実施例１、実施例２のプラント運転最適化制御装置１００には、適宜のデータベースが構成され、各部入力データ、中間成果物データ、最終成果物データが適切に保存されるべきである。図６の構成では、入力データデータベースＤＢ１に入力信号Ｓｇ１を蓄積し、中間成果物データデータベースＤＢ２，ＤＢ３，ＤＢ４，に感度信号Ｓｇ２，状態別高感度信号Ｓｇ３、運転状態クラスタ信号Ｓｇ４をそれぞれ蓄積し、最終成果物データデータベースＤＢ５には制御則信号Ｓｇ５が蓄積される。なお図示例では表記の都合上、各種データベースＤＢがプラント運転最適化制御装置１００の範囲外に記述されているが、これは範囲内に置かれてもよいことは言うまでもない。

制御室１０５内の利用者は、これらのデータベースＤＢからの各種信号を入力し、モニタ画面などに適宜の表示形式の情報提供によりプラントの現状をより的確に把握することができる。

図７は、これら情報の表示装置への表示事例を示す図であり、表示装置１０１の表示画面１０２には、縦軸に運転状態クラスタ信号Ｓｇ４で定まるクラスタ、横軸側に状態別高感度信号Ｓｇ３を感度の種別（信号名）や数値とともに表示している。なお、クラスタについて、その内容を示す情報として運転状態の範囲などが例示されているのがよい。

実施例４では、制御則最適化部１１６の具体的な実現手法例について、説明する。

図１の制御則最適化部１１６では、高効率データ（状態別高感度信号Ｓｇ３）を用いて求めたプラントの高効率運転状態を目標状態としたときの、この目標状態に遷移するための制御則を定める。ここで制御則とは、各操作条件の操作量を意味している。制御則最適化部１１６は、将来状態予測演算部Ｂ２１と制御則算出部Ｂ２２により構成されている。以下、制御則最適化部１１６の処理内容について詳細に説明する。

制御則最適化部１１６においては、まず将来状態予測演算部Ｂ２１で高効率データ（状態別高感度信号Ｓｇ３）の各点（例えばＳ１）が別の各点（例えばＳ２）に遷移する確率を求める、いわゆる状態遷移確率行列の処理を行う。ここでは高効率データ群の各点ｓは、一般的には「状態」として把握されている。また状態遷移確率処理は、将来状態予測演算を行うものということができる。将来状態予測演算では、モデルデータ（プラントの高効率運転の観点から選択された状態のデータ）を用いた減衰型状態遷移行列を計算する。またここでは、将来状態の予測対象とする物体や現象を模擬対象と呼ぶこととし、本事例での模擬対象はプラントである。

本発明でのモデルの入力は模擬対象の状態と時間経過や、操作、外乱などの影響因子であり、出力は影響因子の影響を受けた後の模擬対象の状態であり、本発明ではこのモデルを状態遷移モデルと呼ぶこととする。また状態遷移モデルは、有限の状態空間内において、無限時間または無限ステップ先における模擬対象とその周辺環境の状態を確率密度分布の形式で表現している。

状態遷移モデルなどの保存形式の一例として、例えば状態遷移確率行列や、ニューラルネットワーク、動径基底関数ネットワーク、またはニューラルネットワークや動径基底関数ネットワークの重みが現されている行列が考えられるが、本発明は模擬対象のモデル保存形式をこれらの例に限定しない。

モデルの形式が状態遷移確率行列Ｔであった場合の一例を図８に示す。図８は、遷移元の状態ｓｉ（ｉ＝１、２、・・・ｎ）と遷移先の状態ｓｊ（ｊ＝１、２、・・・ｎ）を縦横のマトリクスにして示しており、マトリクス内には状態遷移確率Ｐ（ｓｊ｜ｓｉ）を数値表示している。遷移確率行列Ｔは一般的に制御対象の運動特性や物理現象を模擬するモデルの一種であり、すべての状態間の遷移確率を保存する関数または行列）である。ここで、表の行が遷移元の状態ｓｉ（ｉ＝１、２、・・・ｎ）、列が遷移先の状態ｓｊ（ｊ＝１、２、・・・ｎ）、要素Ｔｉｊは事前に設定した刻み時間Δｔ（またはステップ）が経過した際に、状態が状態ｓｉから状態ｓｊに遷移する確率Ｐ（ｓｊ｜ｓｉ）である。

図８は、遷移元の状態ｓｉのうちｓ１に着目したとき、経過時間Δｔ後における遷移先の状態ｓｊにおいて、ｓ１となる確率Ｐ（ｓ１｜ｓ１）が０．５であり、ｓ２となる確率Ｐ（ｓ２｜ｓ１）が０．５であり、ｓ３以降となる確率Ｐ（ｓ３｜ｓ１）は０であることを表している。同様にｓ２に着目したとき、経過時間Δｔ後における遷移先の状態ｓｊにおいて、ｓ１となる確率Ｐ（ｓ１｜ｓ２）が０であり、ｓ２となる確率Ｐ（ｓ２｜ｓ２）が０．２５であり、ｓ３となる確率Ｐ（ｓ３｜ｓ２）は０．５であり、ｓ４となる確率Ｐ（ｓ４｜ｓ１）が０．２５であることを示している。なお図８の表は、遷移元の状態と遷移後に移動する移動先の確率を示しているので、この表は確率密度分布の表とみることができる。確率密度分布は、例えば山状の形状を示す。

なお上記説明においては、状態遷移確率行列Ｔについて、経過時間Δｔの前後の一断面のみを示す表Ｔｉｊを例示しているが、実際にはさらに経過時間Δｔ刻みの表が連続的に存在して、モデルである状態遷移確率行列Ｔが形成されている。表Ｔｉｊの経過時間Δｔ後の表がＴｔ＋１であり、さらに経過時間Δｔ後の表がＴｔ＋２である。

図８の例では状態ｓは全体を範囲に区切ってｎ分割した離散空間として扱っているが、ニューラルネットワーク、動径基底関数ネットワークなどを用いることで、状態ｓを連続空間としても扱うことができる。また、ニューラルネットワーク、動径基底関数ネットワークなどを用いる場合は、ニューロンへ入る入力信号の重み係数や、基底関数の重み係数
を要素値とした行列で状態遷移確率行列Ｔを代用しても良い。

将来状態予測演算部Ｂ２１は、モデルデータから、減衰型状態遷移行列を計算し記録する。減衰型状態遷移行列を計算する方法の一例を、以下の（１）式に示す。なお、（１）式の例ではモデルの保存形式を状態遷移確率行列Ｔと仮定した。

（１）式において、Ｄは減衰型状態遷移行列、γは減衰率とよぶ０以上で１未満の定数である。また、ＴｋはΔｔ×ｋの時間が経過した際の、すべての状態間の遷移確率を保存する関数（または行列）である。

図９は、（１）式の処理を模式的に示した図であり、図８の経過時間Δｔごとの複数の状態遷移確率行列Ｔｉｊについて、経過時間Δｔごとに減衰していく重み係数γを乗じ、その合計を算出したものである。なお図９において、複数の状態遷移確率行列Ｔｉｊにおける遷移元の状態ｓｉと遷移先の状態ｓｊを示す確率分布は、例えば山状の特性群として把握されている。

このように、減衰型状態遷移行列Ｄは、Δｔ時間経過後の状態遷移確率行列ＴからΔｔ×∞時間経過後の状態遷移確率行列Ｔ∞までの和であり、すべての状態間の統計的な近さを保存する行列でもある。また、遠い将来に遷移する状態ほど重みを下げるため、経過時間に応じて減衰率γの分を多く掛けている。

現時点における状態遷移確率行列Ｔから∞時間経過後における状態遷移確率行列Ｔ∞までの計算を必要とする（１）式は、実時間以内の計算が困難である。そこで（１）式を以下の（２）式に変換して実行するのがよい。（２）式は要するに、無限時間または無限ステップ先における模擬対象とその周辺環境の状態を確率密度分布の形式で推定するにあたり、状態遷移確率行列の級数と等価な計算を行うものである。

（２）式において、Ｅは単位行列である。（２）式は（１）式と等価の計算式である。（１）式の状態遷移確率行列Ｔから状態遷移確率行列Ｔ∞までの和の計算を、（２）式では（Ｅ－γＴ）の逆行列に変換することによって、有限時間以内に（１）式と同じ計算結果が得られる。ここで、状態遷移確率行列Ｔが線形独立でない場合は、擬似逆行列を用いても良い。また、減衰型状態遷移行列Ｄの代わりに、減衰型状態遷移行列を各行で正規化した行列を用いても良い。

このように、模擬対象の挙動を模擬するモデルを状態遷移モデルとすることで、Ｔｋの計算でΔｔ×ｋ時間後の状態遷移確率を計算することが可能である。また、Δｔ時間経過後の状態遷移確率行列ＴからΔｔ×∞時間経過後の状態遷移確率行列Ｔ∞までの和をとり、経過時間によって減衰率γによる重み付けによって、Δｔ×∞時間経過後を考慮した状態遷移確率を、有限時間以内に計算することを可能とした。

図１０は、将来状態予測演算部Ｂ２１で演算した減衰型状態遷移行列Ｄを画面に表示した場合の一例である。図では、減衰型状態遷移行列Ｄを、移動元状態ｓｉと移動先状態ｓｊによるマトリクス形式により画面に表示している。なお画面に表示するのは、減衰型状態遷移行列Ｄの代わりに、減衰型状態遷移行列Ｄを各行で正規化した行列でもよい。この表記によれば、例えば遷移元の状態ｓ１が、そのまま遷移後の状態ｓ１となる確率は０．１４、遷移元の状態ｓ１が、遷移後の状態ｓ２となる確率は０．１５、遷移後の状態ｓ３となる確率は０．０９、遷移後の状態ｓ４となる確率は０．０８、遷移後の状態ｓ５となる確率は０．２５となることを表している。

図１に戻り、制御則最適化部１１６内の制御則算出部Ｂ２２は、将来状態予測演算部Ｂ２１で求めた（２）式の減衰型状態遷移行列Ｄと、図９の報酬関数Ｒから、最適な制御則（最適な操作量ａ）を計算し記録する。

ここで報酬関数Ｒとは、目標位置や目標速度などの制御目標を関数、表、ベクトル、行列などの形式で表したものである。本発明ではこの制御目標の情報を有する関数、表、ベクトル、行列などを報酬関数Ｒと呼ぶこととする。報酬関数がベクトル形式の場合の一例を図１１に示す。図１１では、遷移元の状態ＩＤごとに報酬関数Ｒを数値で表している。この図によれば、状態ｓは全体を範囲に区切ってｎ分割した離散空間として扱っており、初期の状態から状態ｓ３へ遷移することを目標とした。ここでは目標とするベクトルの要素値は、状態ｓ３を１、その他の状態を０とした。本発明では、このベクトルの要素値や、報酬関数Ｒの値を報酬と呼ぶこととする。なお制御における報酬としては、ＡＩにおける強化学習の際の希望値或は目的関数が例示される。

これらの一連の処理は要するに、プラント運転の基準となる信号ｓ（状態別高感度信号Ｓｇ３）を状態とし、信号ｓの時系列の変化から、状態遷移確率行列を作成するものである。このとき、状態遷移確率の算出時のみ、高効率の全データを用いる。次に、信号ｓを実現した操作条件に対する効率Ｙ（報酬）を学習させ、状態遷移確率が所定値以上で、かつ効率Ｙ（報酬）が最も高くなる状態を制御目標に定めることにしたものである。すなわち、効率が高かった実績ある条件に誘導するものである。

制御則算出部Ｂ２２において、最適な制御則を計算する方法の一例を以下に示す。本例では、最適な制御則を求めるために以下の３段階で計算する。

段階１：先ず、各状態ｓと報酬関数Ｒで目標とする状態ｓｇｏａｌとの近さ（または遷移しやすさを示す統計的な指標）を保存する関数を計算する。この関数を本発明では状態価値関数Ｖと呼ぶこととする。また、状態価値関数Ｖは関数以外にも表、ベクトル、行列などの形式で保存してもよく、本発明において保存形式は限定しない。状態価値関数Ｖの
計算方法の一例を以下の（３）式に示す。

上記（３）式に示すように、状態価値関数Ｖは減衰型状態遷移行列Ｄと報酬関数Ｒの積である。例えば、図８と図１１に示したように、減衰型状態遷移行列Ｄがｎ×ｎの行列、報酬関数Ｒがｎ次元のベクトルの場合、状態価値関数Ｖは図１２に示すようなｎ次元のベクトルとなる。状態価値関数Ｖの要素値は目標とする状態ｓｇｏａｌへ遷移しやすい状態ほど高い。本発明ではこの要素値を価値と呼ぶこととする。また、本発明の状態価値関数Ｖは、強化学習法での状態価値関数の定義と値が等価となる。

段階２：次に、状態価値関数Ｖを用いて、遷移元の状態ｓｉから遷移できる遷移先の状態ｓｊの中で、最も目標とする状態ｓｇｏａｌへ遷移しやすい状態ｓｊ＊を、遷移元の各状態ｓｉについて計算する。状態ｓｊ＊の計算方法の一例を以下の（４）式に示す。

ここでＴ（ｓｉ、ｓｊ）とは、状態遷移確率行列Ｔにおけるｓｉ行、ｓｊ列の要素値である。（４）式の計算結果の一例を図１３に示す。図１３では、遷移元の状態ＩＤ（ｓｉ）ごとに遷移先の状態ＩＤ（ｓｊ）を表している。この図１３によれば、遷移元の状態が状態ｓ１の場合、状態遷移確率行列Ｔ（図８）において、遷移先となる得る状態は状態ｓ１か状態ｓ２の２つである。この２つの状態のうち、状態価値関数Ｖで価値が高いのは状態ｓ２である。そのため図１３の例において、遷移元の状態ｓ１の遷移先の状態として状態ｓ２が保存されている。

段階３：最後の段階では、遷移元の各状態ｓｉから、段階２で得られた状態ｓｊ＊へ遷移するために必要な操作量ａを計算する。操作量ａの計算は、例えばプラントの逆モデル（遷移元の状態ｓｉと状態ｓｊ＊を入力として、対応する操作量ａを出力するモデル）を求めることで計算できる。段階３の計算結果としては、例えば図１４に示したような制御則が得られる。

図１４では、遷移元の状態ＩＤ（ｓｉ）ごとに操作量ＩＤを数値で表している。この図によれば、状態ｓｉは全体を範囲に区切ってｎ分割した離散空間として扱っており、各状態の範囲に対して最適な操作量ａｃ（ｃ＝１、２・・・ｍ）が保存されている。

このように上記（３）式で価値を計算することによって、各状態におけるｓｇｏａｌへの遷移し易さが評価を可能とし、上記（４）式によってΔｔ時間経過によって遷移できる状態のうち最もｓｇｏａｌへ遷移し易い状態ｓｊ＊の特定を可能とし、逆モデルによって状態ｓｊ＊へ遷移するための操作量ａの特定を可能としている。

１００：プラント運転最適化制御装置
１０１：情報量縮約装置
１０４：プラント１０４
１０９：感度推定部
１１０：信号分類部
１１６：制御則最適化部
１２０：制御装置１２０
Ｓｇ１：入力信号
Ｓｇ２：感度信号
Ｓｇ３：状態別高感度信号
Ｓｇ４：運転状態クラスタ信号
Ｓｇ５：制御則信号
Ｓｇ６：操作量信号（制御量信号）
Ｂ２１：将来状態予測演算部
Ｂ２２：制御則算出部

Claims

プラントに与えた操作量信号とプラントで検出したプロセス信号を入力信号として入力する入力部と、前記操作量信号に対する前記プロセス信号の時間変化分を感度信号として求める感度推定部と、前記入力信号から前記プラントの運転状態を区分して運転状態信号を与えるとともに、区分された運転状態ごとに前記感度信号の中から高感度を示す感度信号を状態別高感度信号として抽出する信号分類部を備えることを特徴とするプラント運転最適化支援装置。
請求項１に記載のプラント運転最適化支援装置であって、
前記状態別高感度信号を入力として、プラントの高効率運転状態を目標状態としたときの、この目標状態に遷移するためのプラント制御における制御則を定めて制御則信号として与える制御則最適化部とを備えることを特徴とするプラント運転最適化支援装置。
プラントに与えた操作量信号とプラントで検出したプロセス信号を入力信号として入力する入力部と、前記操作量信号に対する前記プロセス信号の時間変化分を感度信号として求める感度推定部と、前記入力信号から前記プラントの運転状態を区分して運転状態信号を与えるとともに、区分された運転状態ごとに前記感度信号の中から高感度を示す感度信号を状態別高感度信号として抽出する信号分類部と、前記状態別高感度信号を入力として、プラントの高効率運転状態を目標状態としたときの、この目標状態に遷移するためのプラント制御における制御則を定めて制御則信号として与える制御則最適化部と、前記運転状態信号のときの前記状態別高感度信号から求めた制御則を用いて前記プラントに与える前記操作量信号を定める制御装置を備えることを特徴とするプラント運転最適化制御装置。
プラントに与えた操作量信号とプラントで検出したプロセス信号を入力信号として入力し、前記操作量信号に対する前記プロセス信号の時間変化分を感度信号として求め、前記入力信号から前記プラントの運転状態を区分して運転状態信号を与えるとともに、区分された運転状態ごとに前記感度信号の中から高感度を示す感度信号を状態別高感度信号として抽出することを特徴とするプラント運転最適化支援方法。
請求項４に記載のプラント運転最適化支援方法であって、
前記状態別高感度信号を入力として、プラントの高効率運転状態を目標状態としたときの、この目標状態に遷移するためのプラント制御における制御則を定めて制御則信号として与えることを特徴とするプラント運転最適化支援方法。
プラントに与えた操作量信号とプラントで検出したプロセス信号を入力信号として入力し、前記操作量信号に対する前記プロセス信号の時間変化分を感度信号として求め、前記入力信号から前記プラントの運転状態を区分して運転状態信号を与えるとともに、区分された運転状態ごとに前記感度信号の中から高感度を示す感度信号を状態別高感度信号として抽出し、前記状態別高感度信号を用いて、プラントの高効率運転状態を目標状態としたときの、この目標状態に遷移するためのプラント制御における制御則を定めて制御則信号として与え、前記運転状態信号のときの前記状態別高感度信号から求めた制御則を用いて前記プラントに与える前記操作量信号を定めることを特徴とするプラント運転最適化制御方法。