JP7430086B2 - プラント運転最適化支援装置、プラント運転最適化制御装置並びに方法 - Google Patents

Description

本発明は機械学習機能を取り入れることでプラントの最適化運転を支援し、さらには制御するプラント運転最適化支援装置、プラント運転最適化制御装置並びに方法に関する。

各種プラントにおいては、プラント運転状態を最適化した運転とすべく機械学習技術を取り入れたプラント運転最適化支援装置、あるいはプラント運転最適化制御装置を採用する傾向にあり、この一例として特許文献１が知られている。

特許文献１のプラント運転最適化制御装置は、物理量の変動による熱交換への悪影響を軽減した熱交換システム等を提供する目的で機械学習機能を取り入れたものであり、「熱媒体を用いた熱交換を行う熱交換システムであって、前記熱媒体の流量を調整することで前記熱交換を制御する調整装置と、前記流量に応じて変化する第１物理量と目標値との偏差が０になるように前記調整装置に操作量を出力するフィードバック制御を行うフィードバック制御部と、前記熱交換に影響を与える第２物理量の変動を表す値を含む入力値が入力され、当該入力値に基づいて前記調整装置を制御する機械学習部であって、前記偏差又は前記操作量を教師信号として当該偏差又は当該操作量を小さくする学習を行う機械学習部と、を備える熱交換システム」のように構成されている。

特開２０１８－１０６５６１号公報

特許文献１に開示されたプラント運転最適化制御装置によれば、プラントの運転効率を高く維持しながら運転することが可能となる。

しかしながら、この最適化手法の構成は、学習結果を比例積分調節器などの制御装置の中に反映させる（具体的には調節器出力にバイアスを加える）ものであり、実際に制御装置を運用する利用者の側からすると、従来から使用されてなじみの高い制御装置の内部に、ブラックボックス的で透明性の低い機械学習が直接関与して制御装置内の各部を変更してしまうというのは、直ちには受け入れがたいという側面がある。

利用者側における係る心理的な抵抗感は、産業プロセスの制御がミッションクリティカルであるという性質に由来している。このため、しばしばブラックボックスで説明性の低い機械学習制御は、産業上の実用において導入受け入れに困難が伴う。一方で、最も普及している従来技術である比例積分調節制御は、説明性がある反面、外乱や遅れが大きい系で制御性能が低下するという問題がある。

これらの点を考慮すると、機械学習機能の取入れは、既存の制御装置と調和した形で構成されることが望ましい。

以上のことから本発明においては「制御量目標値とプラントからの制御量計測値の差分に応じてプラントの操作量を定めるＰＩＤ制御演算部に対するプラント運転最適化支援装置であって、プラント運転最適化支援装置は、プラントからの計測値を蓄積するデータ蓄積部と、蓄積した計測値を用いた学習によりモデルを形成し、モデルを参照し現在時点でプラントから入手した計測値の時の制御量を推定する制御量推定部と、予め与えられた制御量の目標値である設定目標値と推定した制御量の差分を用いて制御量目標値を定め、制御量目標値を外部に提示する制御目標値演算部を備えることを特徴とするプラント運転最適化支援装置」としたものである。

また本発明においては「プラントからの計測値を蓄積するデータ蓄積部と、蓄積した計測値を用いた学習によりモデルを形成し、モデルを参照し現在時点でプラントから入手した計測値の時の制御量を推定する制御量推定部と、予め与えられた制御量の目標値である設定目標値と推定した制御量の差分を用いて制御量目標値を定める制御目標値演算部とを備える機械学習演算部と、
機械学習演算部で定めた制御量目標値とプラントからの制御量計測値の差分に応じてプラントの操作量を定めるＰＩＤ制御演算部を備えることを特徴とするプラント運転最適化制御装置」としたものである。

また本発明においては「制御量目標値とプラントからの制御量計測値の差分に応じてプラントの操作量を定めるＰＩＤ制御演算部に対するプラント運転最適化支援方法であって、プラントからの計測値を蓄積し、蓄積した計測値を用いた学習によりモデルを形成し、モデルを参照し現在時点でプラントから入手した計測値の時の制御量を推定し、予め与えられた制御量の目標値である設定目標値と推定した制御量の差分を用いて制御量目標値を定め、前記制御量目標値を外部に提示することを特徴とするプラント運転最適化支援方法」としたものである。

また本発明においては「プラントからの計測値を蓄積し、蓄積した計測値を用いた学習によりモデルを形成し、前記モデルを参照し現在時点でプラントから入手した計測値の時の制御量を推定し、予め与えられた制御量の目標値である設定目標値と推定した制御量の差分を用いて制御量目標値を定め、制御量目標値とプラントからの制御量計測値の差分に応じてプラントの操作量を定めることを特徴とするプラント運転最適化制御方法」としたものである。

本発明によれば、既存の制御装置と調和した構成で、それまでに確立しているＰＩＤ制御の特性（特に労力とノウハウを必要とする制御ゲイン等のパラメータの設定）と説明性を活かしたまま、機械学習機能を取り入れて制御性能を向上させるプラント運転最適化支援装置、プラント運転最適化制御装置とすることができる。

本発明に係るプラント運転最適化制御装置の概略構成例を示す図。 実施例１に係る機械学習演算部１の構成例を示す図。 縦軸Ｙに制御量の計測値、横軸Ｘに一般計測値を採用した平面を示す図。 機械学習演算部１の機能を計算機で実現する場合に、計算機の演算部で実行する処理フローを示す図。 制御目標値演算部１２の機能を計算機で実現する場合に、計算機の演算部で実行する処理フローを示す図。 実施例２に係る機械学習演算部１の構成例を示す図。 図３の平面上の各点の位置を座標として把握した図。 モデルの形式が状態遷移確率行列Ｔであった場合の一例を示す図。 目標プロセス状態演算部１２１の処理内容を示すフロー図。 実施例３に係る一般的な強化学習の場合における処理フローを示す図。

以下、本発明の実施例について、図面を用いて説明する。

図１は本発明に係るプラント運転最適化制御装置の概略構成例を示している。この図において、２が従来から設置されているプラント制御装置であり、例えば制御量目標値と制御量計測値の差分を比例積分微分して操作量とするような比例積分微分（ＰＩＤ）制御演算部である。この場合に、操作量はプラントの操作端に与えられ、プラントの計測端に設置された計測器が計測した計測値を制御装置における各種処理のために利用する。

この従来の制御の典型的な一例は、ボイラからの蒸気温度を制御量として計測し、制御量目標値との差分に応じて、例えばボイラへの給水の量（給水量）を制御すべく給水制御弁（操作端３）の開度を操作量として定めることがあげられる。また、ボイラ制御のような複雑な制御系の場合には、主蒸気温度以外にも目標値を定めて独立に制御する制御系統を複数含むことが多い。さらに、その他の計測値の中には、蒸気温度に影響を与える可能性がある要因も存在しており、例えばボイラ内部圧力、給水温度、燃料量、燃焼空気量などがこれに相当する。このように、特に大型のプラントの場合には、制御量目標値や制御量計測値は複数種存在し、かつ制御に用いられる操作量も複数であることが多い。

例えば上記のように構成されたＰＩＤ制御演算部２に対し、本発明の機械学習演算部１は、ＰＩＤ制御演算部２の目標値を修正する形で、ＰＩＤ制御演算部２に関与する。この機械学習演算部１は、制御量設定目標値（一般には一定値だが、条件に応じて予め設定された値や、条件に応じて予め決められた手順で計算された値など、既設のＰＩＤ制御演算部への目標値の設定方法に応じた値が用いられていればよい）と、一般には複数の計測値を入力とする。機械学習演算部１では、ＰＩＤ制御演算部２に与える制御目標値（従来は上述のように一般に一定値、ないし予めの設定により運転条件に応じて決定論的に決まる値）を、プロセス計測データを入力として動的に計算する。ここで動的とは、制御周期毎に、あるいは予め規定された条件を満たしたタイミング毎に行うことを意味している。

機械学習演算部１における具体的な例は、先のボイラの蒸気温度制御の例でいうと、蒸気温度に影響を与える可能性がある、ボイラ内部圧力、給水温度、燃料量、燃焼空気量などを計測し、これらのプロセス量の各値の組み合わせの時に蒸気温度はどのような値を示していたかを、動的に学習し、制御量である蒸気温度を推定したものである。

そのうえで機械学習演算部１は、こうして推定した制御量を、上述のように既存のＰＩＤ制御演算部への目標値の設定方法に応じて設定ないし計算された制御量設定目標値（以下、制御量設定目標値）と比較し、この制御量の推定値が、制御量設定目標値を上回る場合は、該設定目標値を下回るような制御目標値をＰＩＤ制御演算部２に与える制御量目標値として出力し、あらかじめ定められた制御量の設定目標値を下回る場合は、該設定目標値上回るような制御目標値を、ＰＩＤ制御演算部２に与える制御量目標値として出力するものである。なお、この例では、制御量の推定値が制御量設定目標値を上回る場合は設定目標値を引き下げ、下回る場合は設定目標値を引き上げる、という両場合で目標値を補正しているが、これに限定されるものではなく、上回る場合のみ、あるいは下回る場合のみに、補正を実行するものであってもよい。制御量の推定値が制御量設定目標値を上回る場合のみの補正は、制御目標に対して上限値超過を許容したくないプロセスで安全性を向上させるのに効果的である。制御量の推定値が制御量設定目標値下回る場合のみの補正は、制御目標に対して下限値超過を許容したくないプロセスで安全性を向上させるのに効果的である。制御量の推定値が制御量設定目標値を上回る場合と下回る場合のどちらも補正するのは、制御量を目標値の上下一定範囲内に高精度に制御したいプロセスの制御性能向上に効果的である。

本発明の基本的な考え方は図１に示すとおりであるが、実施例１では機械学習演算部１における機械学習処理に一般的な帰納モデル（物理則等から演繹的に構築されるモデルでなく、データを通じて帰納的に獲得されるモデル）を利用する例を示している。図２は、実施例１に係る機械学習演算部１の構成例を示す図である。

図２の機械学習演算部１は、データ蓄積部１０と帰納モデル獲得部１１と制御目標値演算部１２を含んでいる。このうちデータ蓄積部１０には、計測した計測値がデータ取得の時系列情報とともに、順次記憶される。帰納モデル獲得部１１では、プラントから入力したプロセス量に対して統計回帰あるいはニューラルネットワーク処理など公知の統計処理ないし機械学習的な処理が実行され、回帰モデルあるいはニューラルネットモデルのような帰納モデルが形成される。この帰納モデル獲得部１１は、計測値と制御量設定目標値を入力としているが、このうち計測値は、制御量の計測値とそれ以外の一般計測値に分けて把握する。

図３は、縦軸Ｙに制御量の計測値、横軸Ｘに一般計測値を採用し、これらの関係を平面的に表したものであり、各運転時刻に計測されたこれらの計測値は平面上の各点の座標位置として表されている。なお、先のボイラの蒸気温度制御の例でいうと、縦軸が制御量である蒸気温度、横軸が一般計測値であるボイラ内部圧力、給水温度、燃料量、燃焼空気量などである。なお表記の都合上図３は二次元平面表示としているが、横軸はこれら複数の計測値による多次元である場合が多い。

図３の例の場合、異なる時刻に計測された各点の座標位置は、全体としては右肩上がりの傾向を示している。図２の機械学習演算部１は、複数の各点座標から、これらが全体的に示している傾向を示す特性Ｌを、統計回帰モデルあるいはニューラルネットワーク処理による帰納モデルとして、把握する。帰納モデルの特性Ｌは、最も単純にはＬ＝αＸ＋βで表すことができ、ここでαは傾き、βはＸ＝０の時のＹの値であるが、これに限るものではなく、公知の関数を用いた回帰式や、ネットワークと重みからなるニューラルネットワークの保存形式など、任意の公知の帰納モデルを用いることができる。

このように、図２の帰納モデル獲得部１１は、過去時点で計測した計測値（この中には制御量の計測値を含む）を記憶しておく入力データベースと、帰納モデルを作成する帰納モデル作成部を備えており、過去データに基づく帰納モデルを構成している。

そのうえで図２の制御量目標値演算部１２では、図３の点線に示すように現在時刻における一般計測値を用いて帰納モデルの特性Ｌを参照し、この時の帰納モデルの特性Ｌが示す制御量の推定値を求め、予め設定された制御量設定目標値と推定した制御量を比較する。

例えば、制御量の推定値が、あらかじめ定められた制御量の設定目標値を上回る場合は、あらかじめ定められた設定目標値を下回るような制御目標値をＰＩＤ制御演算部２に与える制御量目標値として出力し、あらかじめ定められた制御量の設定目標値を下回る場合は、該設定目標値上回るような制御目標値をＰＩＤ制御演算部２に与える制御量目標値として出力する。なお、制御量の推定値が制御量設定目標値を上回る場合は設定目標値を引き下げ、下回る場合は設定目標値を引き上げる、という目標値の補正については、前述したようにこの組み合わせに限定されるものではなく、上回る場合のみ、あるいは下回る場合のみに、補正を実行するものであってもよく、これらの各場合がどのようなプロセスに適しているかは前述したとおりである。

実施例１の上記構成によれば、過去のＰＩＤ制御での制御目標値に対する観測値の偏差実績に基づいて、効率的に制御の偏差を補正し高精度に制御できる。また、この際に、ＰＩＤ制御演算部の内部で用いられるＰＩＤゲイン等のパラメータの設定値（これらの設定は一般に熟練と労力を要する）を変える必要がないため、短期間で効率的に導入できる。さらに、このようにＰＩＤ制御演算部の内部設定を変更しないことから、プロセスの制御特性を大きく変えることなく安定的かつ安全に、機械学習を導入して制御を高精度化できる。
図４は、機械学習演算部１の機能を計算機で実現する場合に、計算機の演算部で実行する処理フローを示す図である。図４の処理は、プラントから収集するデータ入力により開始される。

図４の最初の処理である処理ステップＳ２００１では、機械学習演算部１に入力された計測値を、帰納モデルを作成するためのデータ（学習データと呼ぶ）に追加していく。学習データはメモリやディスク等のデータ記憶部１０に格納する。

次に処理ステップＳ２００２では、帰納モデルの更新を行うか否かを判断する。これはある時期に作成した帰納モデルはその時点では適切なものであったとしても、その後の運転経験を反映していないことから適宜の時点での更新を行うのがよいことによる。更新時期の定め方については、次のいくつかの考え方がある。

更新時期決定の１つ目は定期的に更新することである。この場合には例えば、昼夜毎、一日毎、１週間毎、季節毎、１年毎など、典型的には一定周期で更新する。なお、周期は昼夜をプロセス稼働時間に依存で判定したり、季節周期を気温で判定したりする場合などのように、一定でなくてもよい。この手法の適用は、プロセスの運転パターンの日内変動・週内変動・季節変動や、経年劣化の特性がわかっている場合に好適である。また、適切な更新タイミングが設定されていれば、更新タイミングの判定の手間（人間の判断、あるいは手間のかかる複雑な判定プログラムの作成）を必要とせず、安全（周期を誤って精度低下させたりすることなく）かつ効率的に機械的に実行できる。

更新時期決定の２つ目は、イベント（保守など）ごとに更新することである。この場合には例えば、対象プロセスの解放点検・改修・補修・清掃・部品交換・計測機交換・制御設定変更など制御操作に対する応答に変化を与えるような出来事が実施されるたびに更新する。上記イベントによる制御特性や性能の変化が大きいプロセスや、このようなイベントの頻度が多かったり、必ずしも定期的でないようなプロセスに好適である。制御の特性・性能に影響があるたびに、それに追従してプロセスの帰納モデルを更新することにより、イベントをきっかけとする制御性能の不連続な低下を避けて、高く保つことができる。

更新時期決定の３つ目は、自動的に更新することである。この場合には例えば、制御量（もしくは特定の計測値）についての帰納モデルによる予測結果と実際の計測値の偏差を監視し、一定の基準を超過したら更新する。制御状態の詳細な把握を必要とせず、むしろ、長期的に安定的に効率的に制御し続けることを優先するプロセスや、自動化・省人化が求められるプロセスに好適である。上記１つ目を実施するためのノウハウや、２つ目を実施するための判定の手間が不要で、プロセスの深いノウハウや経験がなくても効率的に実施することができる。

次に処理ステップＳ２００３では、条件成立により帰納モデルを更新する。なお、更新時には過去データの取り扱いについて以下の点を考慮するのがよい。

過去データの取り扱いの１つ目は、過去データ不使用とすることである。この時には、過去データを次の帰納モデル作成に使わない、つまりデータ蓄積の処理ステップＳ２００１では「さら」の状態からデータ蓄積を開始する。この手法は、プロセスの運転状態（気温などの運転環境や、運転負荷の程度、原料性状）の変化が大きく、過去の実績よりも直近のデータを反映して帰納モデルを獲得したほうが、制御性が高くなるようなプロセスに適用するのがよい。上記したプロセス運転状態の変化があっても、常に運転実態を反映して高精度な制御を維持できる。

過去データの取り扱いの２つ目は、過去データを一定期間含めることである。この場合には、過去データの直近の一定期間を次の帰納モデル作成に使う、具体的にはデータ蓄積の処理ステップＳ２００１では、上記指定期間よりも古いデータを、機能モデル作成用のデータ蓄積領域（メモリやハードディスクの格納場所）から削除することにする。この手法は、プロセスの制御特性が、基盤的に一定的な部分と、時系列的に変動する部分に分けると扱いやすくなるようなプロセス。例えば経年劣化（変化）による影響が長い時間スパンで制御性能や制御特性の変化に現れてくるようなプロセスに好適である。プロセスの長期的な特性変化に安定的に追従して高性能な制御を維持できる。

過去データの取り扱いの３つ目は、過去データをすべて含めることである。この場合には、過去データの全データを次の帰納モデル作成にも使う、具体的にはデータ蓄積の処理ステップＳ２００１では、過去の全データを機能モデル作成用のデータ蓄積領域（メモリやハードディスクの格納場所）に残したまま、新たなデータを加えてゆく形で蓄積を続行する。この手法は、プロセス状態の経年変化や一時的変動が当該プロセスの制御性能に及ぼす影響が極めて少ないようなプロセスや、このような影響があったとしても、長期的な平均的な特性をとらえることで制御性能がよくなるようなプロセスに対して好適である。プロセスの恒久的で不変の特性をとらえることにより、常に安定的で一定的であるという観点で基準となるような状態に、制御状態を保つことができ、不測の運転状態変化に対してもプロセスが暴走しにくい安定性と安全性を持たせることができる。また、この手法は、プロセスが経験するあらゆる運転状態を蓄積して安定・安全を期することが重視されるようなプロセス、例えば将来経験してゆくプロセス状態の変化が十分予想がつかないなどの理由で実績値の蓄積が重要になるプロセスに対しても好適である。プロセスが実際にとりうるあらゆる状態の実績を反映した特性をとらえることにより、頻度の低い特異的な運転状態変化があってもプロセスが暴走しにくい安定性と安全性を持たせることができる。

処理ステップＳ２００４では、プラントの制御が実行継続されている場合には、上記一連の処理を継続して繰り返し実行し、プラントが停止し、あるいは制御中断されているような状態では、新たなデータの入力がされないこともあり、一連の処理を停止する。

図５は、制御目標値演算部２の機能を計算機で実現する場合に、計算機の演算部で実行する処理フローを示す図である。図５の処理は、プラント運転の開始により開始される。ただし、機械学習演算部１において、帰納モデルが構築済みであることを前提とする。

図５の処理ステップＳ２０１１では、制御量の推定値を計算する。具体的には、例えば帰納モデルを参照し、現在の運転状態における一般計測値（横軸の値）をインデックスとして図３の特性Ｌを参照し、縦軸の値を推定制御量として取り出す。

図５の処理ステップＳ２０１２では、制御量の推定値と設定値を比較し、処理ステップＳ２０１３では、ＰＩＤ制御演算部２に与える制御目標値を修正する。具体的には、例えば制御量の推定値が、あらかじめ定められた制御量の設定目標値を上回る場合は、あらかじめ定められた設定目標値を下回るような制御目標値をＰＩＤ制御演算部２に与える制御量目標値として出力し、あるいは、あらかじめ定められた制御量の設定目標値を下回る場合は、該設定目標値上回るような制御目標値をＰＩＤ制御演算部２に与える制御量目標値として出力する。

図５によれば、運転実績に基づいて処理ステップＳ２０１１でＰＩＤ制御の制御量を予測（推定）し、推定値と設定値の差異に応じて制御設定の目標値を修正するので、既存のＰＩＤ制御の性能を、従来の制御の主な特性（どのような運転状態のときにどのような量と変化速度で操作量を動かしてゆくか、といった出力される操作量の傾向の性質）を大きくかえることなく活かしたまま、目標値との平均偏差、最大偏差、外乱への強さの観点で帰納的に改善できる。

以上のように、実施例１によれば、過去のＰＩＤ制御での制御目標値に対する観測値の偏差実績に基づいて、効率的に制御の偏差を補正し高精度に制御できる。また、この際に、ＰＩＤ制御演算部のＰＩＤゲイン等のパラメータ設定値を変える必要がないため、一般にＰＩＤ制御の開始時に必要になる、熟練と労力を要するＰＩＤパラメータ調整等の作業が不要になり、短期間で効率的に導入できる。さらに、このようにＰＩＤ制御演算部の内部設定を変更しないことから、プロセスの制御特性を大きく変えることなく安定的かつ安全に、機械学習を導入して制御を高精度化できる。

実施例１では一般的な帰納モデルを利用した制御量の推定手法を説明したが、実施例２では具体的に状態遷移確率モデルを利用した制御量の推定手法を説明する。

図６は、実施例２に係る機械学習演算部１の構成例を示す図であり、機械学習演算部１はデータ蓄積部１０と状態遷移確率モデル獲得部１５と目標プロセス状態演算部１６と制御目標値演算部１２により構成されている。このうちデータ蓄積部１０と制御目標値演算部１２は、実施例１と同じものであるので、説明を割愛する。

状態遷移確率モデル獲得部１５では、プラントを状態遷移確率モデルとして表現する。以下状態遷移確率モデルについて図７から図を用いて説明する。まず図７は、図３の平面上の各点の位置を座標として把握したものであり、これによれば各点の座標は例えばｓ１＝（Ｘ１、Ｙ１）、ｓ２＝（Ｘ２、Ｙ２）、ｓ３＝（Ｘ３、Ｙ３）、ｓ４＝（Ｘ４、Ｙ４）、・・・のように表示され、データ蓄積部１０内に記憶されている。データ蓄積部１０内にはこの他に、前記各点（例えばｓ１、ｓ２などで表される状態）が計測された時刻の情報も記憶されている。

状態遷移確率モデル獲得部１５では、データ蓄積部１０内に記憶された各点（すなわち各状態）の計測値とその時刻の情報を統計処理し、ある時間周期で各点（例えばｓ１という状態）から別の各点（例えばｓ２という状態）に遷移する確率を計算し、状態遷移確率行列（状態ｓｉから状態ｓｊに遷移する確率をｉ行ｊ列の要素としてもつ行列）として記憶領域に保持する。ここでは各点ｓは、後に図８（より詳しくは図９）で説明するように規定される「状態」として把握されている。本発明の状態遷移確率モデル（本例では状態遷移確率行列）は、近未来についての将来状態予測演算を行うためのものである。近未来についての将来状態予測演算では、ある時刻でのモデルデータ（各点の状態のデータ）をもとに、状態遷移確率モデル（本例では状態遷移確率行列）を参照して、ある時間先にどの状態に遷移する可能性が最も高いか計算する。またここでは、将来状態の予測対象とする物体や現象を模擬対象と呼ぶこととする。本事例での模擬対象は具体的説明を付すためにプラントとしているが、本発明の対象はプラントに限定されず、従来ＰＩＤ制御されていたようなプロセス全般に適用可能である。

なお、本発明での状態遷移モデルは、入力を模擬対象の状態と時間経過や、操作、外乱などの影響因子とし、出力を影響因子の影響を受けた後の模擬対象の状態とするものである。特にその一形態である、状態遷移確率行列に基づく状態遷移モデルは、有限の状態空間内において、特定時間先または特定ステップ先における模擬対象とその周辺環境の状態を確率密度分布の形式で表現している。

ここで本発明の状態遷移モデルにおける有限の特定時間先または特定ステップ先とは、例えば制御周期１つ先のタイミングであり、次の制御指令を出すタイミングでの制御量の値を推定することである。あるいは、制御周期複数回分先のタイミングであり、例えば操作端に１秒周期で制御指令を出していて、それに対してプロセスの反応が無駄時間や応答遅れにより１０分程度かかってゆるやかに現れてくるようなプロセスの場合には、３～１０分程度の先のタイミングでの制御量の値を推定する。

なお、状態遷移モデルの保存形式として、上では状態遷移確率行列の例を挙げたが、同等の内容をこのほかにもニューラルネットワーク、動径基底関数ネットワーク、またはニューラルネットワークや動径基底関数ネットワークの重みを抽出して構成された行列などの形式でも表すことができ、本発明は模擬対象のモデル保存形式をこれらの例に限定せず、図８で後述するように規定された「状態」の遷移を予想できるもの、すなわち、入力に現在または過去の「状態」を陽的または陰的に含み、出力に将来の「状態」を陽的または陰的に含むモデルであればよい。

モデルの形式が状態遷移確率行列Ｔであった場合の一例を図８に示す。図８は、遷移元の状態ｓｉ（ｉ＝１、２、・・・ｎ）と遷移先の状態ｓｊ（ｊ＝１、２、・・・ｎ）を縦横のマトリクスにして示しており、マトリクス内には状態遷移確率Ｐ（ｓｊ｜ｓｉ）を数値表示している。状態遷移確率行列Ｔは、一般に有限の状態の間を経時的に遷移していくような事象をその遷移パターンを確率的に表現するモデルの一種であり、すべての状態間の遷移確率を保存する関数または行列として表現されている。本例では、制御対象の運動特性や物理現象を模擬するのにこれを用いている。ここで、表の行が遷移元の状態ｓｉ（ｉ＝１、２、・・・ｎ）、列が遷移先の状態ｓｊ（ｊ＝１、２、・・・ｎ）、要素Ｔｉｊは事前に設定した刻み時間Δｔ（またはステップ）が経過した際に、状態が状態ｓｉから状態ｓｊに遷移する確率Ｐ（ｓｊ｜ｓｉ）である。

図８の例は、遷移元の状態ｓｉのうちｓ１に着目したとき、経過時間Δｔ後における遷移先の状態ｓｊにおいて、ｓ１となる確率Ｐ（ｓ１｜ｓ１）が０．５であり、ｓ２となる確率Ｐ（ｓ２｜ｓ１）が０．５であり、ｓ３以降となる確率Ｐ（ｓ３｜ｓ１）は０であることを表している。同様にｓ２に着目したとき、経過時間Δｔ後における遷移先の状態ｓｊにおいて、ｓ１となる確率Ｐ（ｓ１｜ｓ２）が０であり、ｓ２となる確率Ｐ（ｓ２｜ｓ２）が０．２５であり、ｓ３となる確率Ｐ（ｓ３｜ｓ２）は０．５であり、ｓ４となる確率Ｐ（ｓ４｜ｓ１）が０．２５であることを示している。なお図８の表は、遷移元の状態と遷移後に移動する移動先の確率を示しているので、この表は確率密度分布の表とみることができる。確率密度分布は、遷移後の状態を横軸、確率密度を縦軸、としてグラフで表すと典型的には山状の形状を示す。

なお上記説明においては、状態遷移確率行列Ｔについて、経過時間Δｔの前後の一断面のみを示す表Ｔｉｊとして例示しているが、状態遷移確率行列は、この他にもさらに経過時間Δｔを経たとき（つまり経過時間が２×Δｔの場合）の状態遷移、あるいはさらに経過時間Δｔを経たとき（つまり経過時間が３×Δｔの場合）の状態遷移といった具合に、Δｔの任意の整数倍の経過時間での状態遷移を表すことができる。具体的には、表Ｔｉｊの経過時間Δｔ後の表をＴｉ＋１、ｊ＋１とし、さらに経過時間Δｔ後の表がＴｉ＋２、ｊ＋２とし、さらに経過時間Δｔ後の表がＴｉ＋３、ｊ＋３とするように表し、これらを一般化して経過時間がｍ×Δｔ後の表をＴｉ＋ｍ、ｊ＋ｍと表すと、この一般化した状態遷移確率行列Ｔｉ＋ｍ、ｊ＋ｍは、状態遷移確率行列の性質に基づき、（Ｔｉ、ｊ）＾ｍ、あるいはｃ×Σ（γ＾（ｋ－１））×（Ｔｉ＋ｋ，ｊ＋ｋ）＾ｋ）と表すことができる。ここで記号＾は指数乗を表し、1つめの式は行列Ｔｉ，ｊのｍ乗を表す。また2つめの式の記号Σは、式中の添字ｋの値が１からｍまで変化する有限級数和を表し、変数γは０以上１未満の値をとる減衰係数であり、変数ｃは有限級数和をとって計算された行列の各行の成分の和（つまりある状態からの状態遷移確率の合計）が１になるように正規化するための係数である。
第1の式は、同じ状態遷移確率で状態遷移がｍ回繰り返されたときの初めの状態から最後の状態への状態遷移確率を表しており、プロセスの状態遷移が同じパターンを繰り返しながら進んでゆくようなプロセスの状態遷移を表すのに適している。例えば、時間当たりの物質の分離割合が一定であるような、物質分離の単位操作を繰り返すようなプロセスや、時間当たりの物質の性状の変化割合（例えば化学反応による組成変化の割合）が一定であるような単位操作が時間的に繰り返されるようなバッチプロセスがその例である。
第2の式は、最終的な状態に至るまでの状態遷移の回数が１回の場合、２回の場合、さらに一般化してｍ回の場合といった、ｍ回以下の状態遷移回数のあらゆる状態遷移パターンを網羅し、この際に遷移回数が多いほど減衰係数によって影響割合を小さくするように重みづけ平均された、状態遷移確率行列を表している。つまり経過時間がｍ×Δｔ以下のあらゆる状態遷移パターンを考慮した状態遷移確率の期待値になっている。この式は、このように複数回数を経た様々な状態遷移をとらえることができるため、制御操作に対するプロセスの応答が制御周期よりも遅れて現れることが多いプラントの制御に対して本発明で用いる状態遷移確率行列として適している。

上記の例では状態ｓは全体を範囲に区切ってｎ分割した離散空間として扱っているが、ニューラルネットワーク、動径基底関数ネットワークなどを用いることで、状態ｓを連続空間としても扱うことができる。また、ニューラルネットワーク、動径基底関数ネットワークなどを用いる場合は、ニューロンへ入る入力信号の重み係数や、基底関数の重み係数
を要素値とした行列で状態遷移確率行列Ｔを代用してもよい。

状態遷移確率モデル獲得部１５は、有限な時間先についてモデルを獲得するものであり、ここでは最終的に例えば制御周期１つ先のタイミングを予測するものであれば図８のＴｉｊをモデルとし、さらに制御周期複数回分先、例えばｍ回分先のタイミングを予測するものであれば図８の例えを一般化してＴｉ＋ｍ、ｊ＋ｍをモデルとしたものである。

次に目標プロセス状態演算部１２１は、状態遷移確率モデルを用いて、次の制御周期あるいは数制御周期先の制御量を求める。図９は、目標プロセス状態演算部１２１の処理内容を示すフロー図である。

図９の処理は、ＰＩＤ制御演算部２における制御周期に同期して起動され、次回の制御周期で使用する制御量の目標値を求める。この際に、図８で示した状態遷移確率行列が制御周期複数回分先（ここではｍ回分とする）の状態遷移を表すとすると、図９の処理は、時間ｍ×Δｔまで先の状態遷移パターンとその確率を予測したうえで、ｍ×Δｔ先の時間に目標温度になる確率が最も高くなるような、次の制御周期Δｔで使用する制御量の目標値を求めることに相当する。

最初の処理ステップＳ２０２１では図８のテーブルＴを参照し、テーブルＴ上における現在の状態Ｓ（Ｓ１かＳ３かなど）を判定する。つまり図８の縦軸における状態の中から現在状態と同じ状態であった過去状態を抽出する。なお、同一の状態が過去において経験されていない場合には、最も近い状態を抽出し、あるいは近似する複数の状態から推定するなどにより求めた過去状態を抽出する。

次に処理ステップＳ２０２２では、図８の状態遷移確率行列を参照して、現在の状態Ｓから、次に遷移する確率が最も高い状態Ｓ’がどれかを求める。行列を使った手順としては、現在の状態Ｓから次の状態Ｓ’への遷移確率が並んでいる行（その中の各列は各状態への遷移確率を表している）のなかで、最も値の大きい列を特定し、その列の状態Ｓ’が最も遷移確率の高い状態となる。

これは、図８のテーブルＴで例えると軸の遷移元状態のうちＳ２が現在状態に近いとされたときに、遷移確率が０．５であり最も高い遷移先状態としてＳ３を選択したことを意味する。

続いて処理ステップＳ２０２３では、特定した状態Ｓ’の中に含まれる制御量の値を取り出し、これを制御量の推定値とする。これは、状態Ｓの定義する変数の組み合わせの中に、（ＰＩＤ制御がある目標値を守るようにしている）制御量の実際の計測値ないし推定値が含まれることが前提になっている。処理ステップＳ２０２４では、上記一連の処理を一定時間周期（制御周期）で繰り返し実行する。

ここで、「状態ｓ」の定義について説明する。「状態ｓ」は複数の変数を組み合わせて定義したものであり、単純な例として、計測信号を３種類を使ってそれぞれの値を２０分割して表すとした場合、組み合わせて発生する状態は２０^３個になり、仮にこれを、直接組み合わせ方式、と呼ぶことにする。

一方で、このように計測信号どうしを直接組み合わせるのでなく（先の例では、例えば、圧力と流量と温度を組み合わせて２０^３個の状態を定義できる）、計測信号どうしを組み合わせて別の変数を作ったうえで他の信号と組み合わせる方法もある。例えば、圧力と温度から比エンタルピーを計算して一つの変数とし、こうして得た比エンタルピーと流量とを２つの変数としてそれぞれ２０分割して表すと、状態の数は２０^２個になる。あるいはさらに、この比エンタルピーと流量を乗じて1変数（単位時間あたり総エンタルピーの流れ）とし、20分割して表すと状態の数は２０個になる。

本発明における状態の定義は、これらを含め特に限定されるものではないが、上記制御量の推定値の取り出し方法は以下のようにされるのがよい。まず、直接組み合わせ方式の場合は、その状態の組み合わせに明示的に含まれている制御量の値を取り出す。実際には数値を離散的に区切ってあるので、区切った範囲内での中央値やあるいは下限側の値、上限側の値、上下限平均値など、どこの値を取り出すかあらかじめ決めておいて、取り出すのがよい。

計算を伴う組み合わせ方式の場合は、その状態を構成する変数（ここではＹ１、Ｙ２、Ｙ３…とする）の中で、その値を計算するために制御量（Ｖとする）を使っている変数（ｋ番目の変数Ｙｋがそれであるとする）の値から制御量の値を割り戻す。この場合、変数Ｙｋは制御量Ｖを入力とする関数Ｙｋ＝ｆ（Ｖ）として定義されているので、その逆関数Ｖ＝ｆｉｎｖ（Ｙｋ）を使って制御量Ｖの値を計算することになる。

実施例２によれば、過去の実績に基づいて最も確度の高い状態遷移パターンで、安定的かつ効率的に目標値を達成できる。本実施例はとくに、制御周期Δｔで操作をしてもその結果である制御量の応答が現れかつその後静定するまでの時間として例えばｍ×Δｔ以上（ｍ＞１）を要するような遅れを伴うプロセスの制御に対して有効である。このようなプロセスに対して、最終的に応答が静定するまでの時間ｍ×ΔＴまでの間に発生するであろうオーバーシュートやアンダーシュートのような様々な状態遷移の途中経過パターンの実績を確率的に考慮したうえで、最終的に制御量の応答が落ち着くタイミング（ｍ×ΔＴ先）で目標に達する確率が最も高くなるような、次の制御周期の操作量を決定しているためである。また、状態遷移モデル（説明例では状態遷移確率行列）が実際のプラントのプロセス計測値に基づいて獲得されているため、プラントの状態遷移のパターンが経時的な部品性能の劣化や保守による回復によって経時的にずれ行くようなプロセスに対しても、プロセスの運転特性の変化の実勢を反映して高精度に制御できる。

なお、後述の実施例３（通常の強化学習を利用する方法）では、データ蓄積とモデル獲得を繰り返しながら運転を続けて制御系が最適化されてゆくのを待つ必要があるため、運転開始してしばらくは強化学習システム内部の制御パラメータの自動的な試行錯誤調整が続きすぐには最適運転にならないが、本例では予め蓄積されたデータが十分あれば、そのような内部的な自動調整をする必要なく、運転開始後ただちに最適な制御性能を発揮できる。

制御量を推定する機械学習機能は、実施例１の帰納モデル、実施例２の状態遷移モデル以外にも各種の強化学習を利用可能である。図１０は、一般的な強化学習の場合における処理フローを示している。

図１０の最初の処理ステップＳ２０３１では、モデルの更新の可否を判定し、更新すべき場合には処理ステップＳ２０３２において学習データを更新する。更新判断の根拠、ならびに更新の仕方は図４で説明したとおりである。

処理ステップＳ２０３３では、目標状態を求解する。この時には報酬を計算し期待値が最大となる目標状態を特定する。処理ステップＳ２０３４では、期待値が最大となる目標状態の時の制御量と予め与えられた制御量設定目標値（一般には一定値、詳細は実施例１または２で述べたのと共通）から、目標制御量を設定する。この時は、公知の強化学習手法を用いて目標状態に到達するための方策を計算し、その方策を実現する指令値を計算する。

実施例３によれば、既存の強化学習手法を使いながらも（新規に明示的な状態遷移モデルを導入することなく）、実施例１や２と同じように制御目標値を効率的に変更でき、同様の効果を得ることができる。

なお、上記実施例では、プラント運転最適化制御装置を構成した事例を図示しているが、プラント運転最適化支援装置を構成するときには、機械学習演算部１のみで構成すればよく、機械学習演算部１が与える各種情報を運転員が判断して、判断結果をPID制御演算部２の制御量目標値として与える構成とすればよい。

上記説明の本発明によれば、従来ＰＩＤ制御演算部２の枠組みを活かして後付けできるため、導入時の安全性・説明性を担保しつつ、プラント運転実態に即したデータ駆動型の高効率制御を導入できる。また、ＰＩＤ制御パラメータ（ＰＩＤ各ゲイン）を変更することなく、ＰＩＤ制御よりも目標追従性能の高い制御が実現できる。この際、目標値に対する偏差を解消するための制御指令値を修正するような計算ロジックを新たに考案して組み込んで設定パラメータを調整する必要がなく、ＰＩＤゲイン等のパラメータも従来と不変なので、制御動作の一貫性を保ち安定的に精度改善を実現できる。また試行錯誤的な労力を要するＰＩＤパラメータ変更が不要なので、省力的かつ効率的に精度改善を実現できる。さらに制御目標値をプラントの状態遷移実績に基づく最適な値に動的に変えるので、制御性能が向上する。

なお、特許文献１との相違は、端的には特許文献１ではＰＩＤ制御の出力を補正するための学習であるに対し、本発明はＰＩＤ制御の入力側を変更するための学習である点で大きく相違する。本発明は既存のＰＩＤ制御の内部に手を加えることなく、制御性能の改善を図っている。

本発明において、係る効果が生じるメカニズム（作用）は、本発明は、プロセスの状態遷移の起こりやすさ（統計的確度）に基づいて（構成要素１１２）、設定目標値到達への到達確度が最も高いプロセス状態を演算し（構成要素１２１）、そこからＰＩＤ制御の目標値を計算する（構成要素１２２）ので、いかなるプラント状態においても、最適な過程で目標状態に遷移できる。

１：機械学習演算部１
２：ＰＩＤ制御演算部
３：操作端
４：計測端
１０：データ蓄積部
１１：帰納モデル獲得部
１２：制御目標値演算部
１５：状態遷移確率モデル獲得部
１６：目標プロセス状態演算部

Claims (9)

1. 制御量目標値とプラントからの制御量計測値の差分に応じてプラントの操作量を定めるＰＩＤ制御演算部に対するプラント運転最適化支援装置であって、
   プラント運転最適化支援装置は、プラントからの計測値を蓄積するデータ蓄積部と、蓄積した計測値を用いた学習によりモデルを形成し、前記モデルを参照し現在時点でプラントから入手した計測値の時の制御量を推定する制御量推定部と、予め与えられた制御量の目標値である設定目標値と推定した制御量の差分を用いて前記制御量目標値を定め、前記制御量目標値を前記ＰＩＤ制御演算部に提示する制御目標値演算部を備え、
   前記制御目標値演算部は、推定した制御量が前記設定目標値を上回る場合は、前記設定目標値を下回るような制御量目標値を前記ＰＩＤ制御演算部に与え、あるいは推定した制御量が前記設定目標値を下回る場合は、該設定目標値を上回るような前記制御量目標値を、ＰＩＤ制御演算部に与えることのいずれか、または双方を実施することを特徴とするプラント運転最適化支援装置。
2. プラントからの計測値を蓄積するデータ蓄積部と、蓄積した計測値を用いた学習によりモデルを形成し、前記モデルを参照し現在時点でプラントから入手した計測値の時の制御量を推定する制御量推定部と、予め与えられた制御量の目標値である設定目標値と推定した制御量の差分を用いて制御量目標値を定める制御目標値演算部とを備える機械学習演算部と、
   前記機械学習演算部で定めた前記制御量目標値とプラントからの制御量計測値の差分に応じてプラントの操作量を定めるＰＩＤ制御演算部を備え、
   前記機械学習演算部は、推定した制御量が前記設定目標値を上回る場合は、前記設定目標値を下回るような制御量目標値を前記ＰＩＤ制御演算部に与え、あるいは推定した制御量が前記設定目標値を下回る場合は、該設定目標値を上回るような前記制御量目標値を、ＰＩＤ制御演算部に与えることのいずれか、または双方を実施することを特徴とするプラント運転最適化制御装置。
3. 請求項２に記載のプラント運転最適化制御装置であって、
   蓄積した計測値を用いた学習により形成されるモデルは、統計回帰モデルあるいはニューラルネットワーク処理による帰納モデルであることを特徴とするプラント運転最適化制御装置。
4. 請求項２に記載のプラント運転最適化制御装置であって、
   蓄積した計測値を用いた学習により形成されるモデルは、状態遷移確率モデルであり、現在時点でプラントから入手した計測値の時の状態が次に遷移する確率が高い状態の時の制御量を求めることを特徴とするプラント運転最適化制御装置。
5. 請求項２に記載のプラント運転最適化制御装置であって、
   蓄積した計測値を用いた学習により形成されるモデルは、目標状態を求解するために報酬を計算し期待値が最大となる目標状態を特定し、特定された状態に置ける制御量を求めることを特徴とするプラント運転最適化制御装置。
6. 請求項４に記載のプラント運転最適化制御装置であって、
   計算機で構成されたＰＩＤ制御演算部は、所定周期での制御演算を実行しており、前記状態遷移確率モデルにおける状態が、次に遷移する確率が高い状態とは、前記ＰＩＤ制御演算部における前記所定周期後、またはその数倍先の時間後の状態であることを特徴とするプラント運転最適化制御装置。
7. 制御量目標値とプラントからの制御量計測値の差分に応じてプラントの操作量を定めるＰＩＤ制御演算部に対するプラント運転最適化支援方法であって、
   プラントからの計測値を蓄積し、蓄積した計測値を用いた学習によりモデルを形成し、前記モデルを参照し現在時点でプラントから入手した計測値の時の制御量を推定し、予め与えられた制御量の目標値である設定目標値と推定した制御量の差分を用いて前記制御量目標値を定め、前記制御量目標値を前記ＰＩＤ制御演算部に提示するとともに、
   推定した制御量が前記設定目標値を上回る場合は、前記設定目標値を下回るような制御量目標値を前記ＰＩＤ制御演算部に与え、あるいは推定した制御量が前記設定目標値を下回る場合は、該設定目標値を上回るような前記制御量目標値を、ＰＩＤ制御演算部に与えることのいずれか、または双方を実施することを特徴とするプラント運転最適化支援方法。
8. プラントからの計測値を蓄積し、蓄積した計測値を用いた学習によりモデルを形成し、前記モデルを参照し現在時点でプラントから入手した計測値の時の制御量を推定し、予め与えられた制御量の目標値である設定目標値と推定した制御量の差分を用いて制御量目標値を定め、
   前記制御量目標値とプラントからの制御量計測値の差分に応じてプラントの操作量を定めるとともに、
   推定した制御量が前記設定目標値を上回る場合は、前記設定目標値を下回るような制御量目標値を定め、あるいは推定した制御量が前記設定目標値を下回る場合は、該設定目標値を上回るような前記制御量目標値を定めることのいずれか、または双方を実施することを特徴とするプラント運転最適化制御方法。
9. 請求項２から請求項６のいずれか１項に記載のプラント運転最適化制御装置であって、
   前記制御目標値演算部は、制御量の推定値が、あらかじめ定められた制御量の設定目標値を上回る場合に、設定目標値を下回るような制御目標値をＰＩＤ制御演算部に与える制御量目標値として出力するか、またはあらかじめ定められた制御量の設定目標値を下回る場合に、該設定目標値を上回るような制御目標値をＰＩＤ制御演算部に与える制御目標値として出力するか、あるいはこれら両方を備えたことを特徴とするプラント運転最適化制御装置。

Images