JP7427750B2 - 制御方法 - Google Patents

Description

本発明は、電気機器を制御する制御システムに関する。

プラント設備などの電気機器を制御する手法として、機械学習を用いるものが開発されている。下記特許文献１は、プラント設備の機械学習制御について記載している。同文献は、『学習用コンピュータ４１では、演算用コンピュータ４２－１、４２－２で収集したデータを取り込み、近日の所定期間のデータを基に学習させ最新学習モデルの作成を行う。この最新学習モデルは次に説明する方法で、該最新学習モデルが最適なものであるか否かを判断した後、当該最新学習モデルが最適学習モデルと判断した後は、当該最新学習モデルは演算用コンピュータ４２－１、４２－２へ伝送され書き込まれ、該演算用コンピュータ４２－１、４２－２は書き込まれた最新学習モデルに基づき運転制御を継続する。当該最新学習モデルが最適学習モデルと判断されなかった場合は現行の学習モデルで運転制御を継続する。』（段落００３０）、『次に、上記学習モデルの自動評価及び自動更新について説明する。自動更新は接近する所定期間（例えば２週間）分のデータを採取し、学習用コンピュータ４１を用いて該所定期間の前半期間（１週間）分のデータを学習し、後半期間分のデータで数１の式から評価指標Ｉｐを求めて行う。即ち、評価指標Ｉｐがある上限値以下で且つ現在の学習モデルよりも好転した場合、学習結果に基づいて作成された最新の学習モデルを演算用コンピュータ４２に書き込み、この最新の学習モデルに基づいて運転制御を行う。』（段落００３３）、という技術を開示している。

下記特許文献２は、『マルチコアプロセッサの有効活用によってプラントモデルの精度を高め、制約に抵触しないぎりぎりの範囲までプラントの制御範囲を広げられるようにする。』ことを目的として、『プラントの状態量等に課せられた制約が満たされるようにリファレンスガバナを用いて目標値を修正する。リファレンスガバナではプラントの制御量の目標値に基づいて複数の修正目標値候補を定め、修正目標値候補ごとにプラントの特定状態量等の将来値をプラントモデルを用いて予測する。リファレンスガバナによる特定状態量の将来予測のための演算（将来予測タスク）と、プラントモデルのパラメータの学習のための演算（パラメータ学習タスク）とは、マルチコアプロセッサの別々のコアに割り当てる。そして、プラントモデルに係る予測誤差の大きさに応じて将来予測タスクを割り当てるコアの数とパラメータ学習タスクを割り当てるコアの数とを調整する。』という技術を開示している（要約参照）。

特開２００５－２４９３４９号公報 特開２０１３－２２８８５９号公報

従来の機械学習を用いたプラント制御においては、制御周期内に制御パラメータを演算し終えることが必要である。しかし学習処理は一般に演算負荷が高いので、学習処理を実施する周期と制御パラメータを演算する周期を同じにするのは困難である場合が多いと考えられる。学習処理を実施する周期を短くすると、それによって演算負荷が高まり、制御パラメータを演算する処理が制御周期内に収まらなくなる可能性が高まるからである。ここでいう制御周期とは、対象機器に対して制御指令を与える時間間隔である。

特許文献１においては、評価指標Ｉｐが現在の学習モデルよりも好転したとき、学習用コンピュータ４１による最新の学習結果を演算用コンピュータ４２に対して書き込む。学習用コンピュータ４１と演算用コンピュータ４２を分離することにより、演算用コンピュータ４２の演算負荷を軽減できると考えられる。しかし同文献においては、制御対象機器に対して制御指令を与える役割をいずれのデバイスが担っているのか必ずしも明らかではない。演算用コンピュータ４２が制御指令を与える役割も担っている場合、その分の演算負荷が制御パラメータ演算処理に対して影響を与える可能性がある。

特許文献２は、各プロセッサコアに対して割り当てるタスクを調整している。この手法は制御演算または学習処理を各プロセッサコアへ分離するものであるので、特許文献１と同様に、制御対象機器に対して制御指令を与える役割をいずれのデバイスが担っているのか必ずしも明らかではない。

本発明は、上記のような課題に鑑みてなされたものであり、学習処理が制御パラメータ演算に対して与える影響を緩和するとともに、制御指令を与える処理が制御パラメータ演算に対して与える影響を緩和することにより、制御周期内に制御パラメータを確実に演算できるようにすることを目的とする。

本発明に係る制御システムにおいて、機器を制御するコントローラと制御パラメータを演算するコンピュータは、互いに異なる演算装置によって構成されており、制御パラメータを演算する処理は、状態量と制御量との間の対応関係を学習することにより実施される。前記コントローラは、前記コンピュータから入力された値が異常である場合、前記制御パラメータを用いることなく前記状態量と目標量を用いてＰＩＤ制御を実施する。ユーザインターフェースは、前記制御パラメータと前記ＰＩＤ制御のいずれを実施しているかを表示する。

本発明に係る制御システムによれば、制御パラメータを演算する処理は、状態量と制御量との間の対応関係を学習する処理と並列に実施することができる。また、機械学習ベースの制御演算が異常となった場合であっても、制御を継続することができる。

実施形態１に係る制御システム１００の機能ブロック図である。 コンピュータ１１０とコントローラ１２０の詳細構成を示す機能ブロック図である。 実施形態２に係る制御システム１００の機能ブロック図である。 実施形態３に係る制御システム１００の機能ブロック図である。

＜実施の形態１：システム構成＞
図１は、本発明の実施形態１に係る制御システム１００の機能ブロック図である。制御システム１００は、プラント設備２００を制御するシステムである。プラント設備２００は制御対象機器２１０を備えており、制御システム１００は制御対象機器２１０を制御することによりプラント設備２００を制御する。

制御システム１００は、コンピュータ１１０、コントローラ１２０、ネットワーク１３０を備える。コントローラ１２０は、制御対象機器２１０に対して制御信号を出力することにより制御するデバイスである。コンピュータ１１０は、コントローラ１２０が制御対象機器２１０を制御する際に用いる制御パラメータを演算する。コンピュータ１１０とコントローラ１２０は、ネットワーク１３０を介して接続されている。すなわちコンピュータ１１０とコントローラ１２０は、互いに別のデバイスとして構成されている。オペレータ３００は、適当なインターフェースを介して制御システム１００を操作する。

図２は、コンピュータ１１０とコントローラ１２０の詳細構成を示す機能ブロック図である。記載の便宜上、ネットワーク１３０は省略した。各記憶部は、ハードディスクなどの記憶装置によって構成することができる。その他機能部は、その機能を実装した回路デバイスなどのハードウェアを用いて構成することもできるし、その機能を実装したソフトウェアを演算装置が実行することにより構成することもできる。

コントローラ１２０は、スキャナ１２１、制御部１２２、ＯＲ演算部１２３を備える。制御部１２２は、コンピュータ１１０から制御パラメータを受け取り、その制御パラメータにしたがって制御対象機器２１０を制御する。ＯＲ演算部１２３は、後述するチェックパラメータのうち少なくともいずれかが異常値を示しているとき、その旨を制御部１２２に対して通知する。スキャナ１２１は、制御対象機器２１０の状態量を取得してコンピュータ１１０に対して出力する。

コンピュータ１１０は、スキャナ１１１、フォーマット変換部１１２ａ、入力値チェック部１１３ａ、入力値記憶部１１４、学習エージェント１１５ａ、対応関係記憶部１１６ａ、更新部１１７、対応関係記憶部１１６ｂ、制御エージェント１１５ｂ、フォーマット変換部１１２ｂ、出力値チェック部１１３ｂ、フォーマット変換部１１２ｃ、カウンタ１１８を備える。

スキャナ１１１は、制御対象機器２１０の状態量をスキャナ１２１から受け取る。フォーマット変換部１１２ａは、その状態量のデータフォーマットをコンピュータ１１０が処理するのに適した形式に変換する。便宜上、変換後のデータを入力値と呼ぶ。入力値チェック部１１３ａは、入力値が適正範囲内にあるか否かなどの正常性チェックを実施する。入力値記憶部１１４は、学習エージェント１１５ａが学習を実施するまで入力値を蓄積する。学習エージェント１１５ａが学習を実施する間隔はスキャナ１２１と１１１が状態量を取得する間隔よりも長いので、入力値記憶部１１４は入力値を複数回分蓄積することになる。

学習エージェント１１５ａは、入力値記憶部１１４が格納している入力値を用いて、制御対象機器２１０の状態量と、その状態量に基づき制御対象機器２１０を制御する際に用いる制御パラメータとの間の対応関係を学習する。この学習処理は、入力値記憶部１１４が蓄積している複数回分の入力値すべてについてまとめて実施される。したがって学習エージェント１１５ａは、状態量の様々な変化とその変化に対応する制御パラメータとの間の対応関係を、まとめて学習することになる。学習結果は、学習アルゴリズムに対応する適当な制御モデルなどの形式で、対応関係記憶部１１６ａに格納される。更新部１１７は、対応関係記憶部１１６ａが格納している学習結果を対応関係記憶部１１６ｂに対して上書更新する。

制御エージェント１１５ｂは、入力値チェック部１１３ａから制御対象機器２１０の現在の状態量を取得する。制御エージェント１１５ｂは、対応関係記憶部１１６ｂが格納している学習結果を用いて、制御対象機器２１０の現在の状態量に対応する制御パラメータを演算する。

フォーマット変換部１１２ｂは、制御エージェント１１５ｂが演算した制御パラメータのデータフォーマットを制御に適した形式に変換する。便宜上、変換後のデータを出力値と呼ぶ。出力値チェック部１１３ｂは、出力値が適正範囲内にあるか否かなどの正常性チェックを実施する。フォーマット変換部１１２ｃは、制御パラメータをコントローラ１２０が用いるのに適したデータフォーマットに変換してコントローラ１２０に対して出力する。カウンタ１１８については後述する。

＜実施の形態１：処理頻度について＞
コントローラ１２０は、稼働中の制御対象機器２１０を制御する必要があるので、リアルタイム性を保障する演算装置によって実装される。例えばリアルタイムＯＳ（オペレーティングシステム）を搭載したコンピュータによって実装される。これに対してコンピュータ１１０は必ずしもリアルタイム性を保障されていない演算装置によって実装される場合がある。ただしその場合であっても、制御パラメータを演算する処理は所定の制御周期ごと（例えば１秒ごと）に演算する必要があるので、その制御周期内に次の制御周期のための演算を終えている必要がある。したがって、制御エージェント１１５ｂ／フォーマット変換部１１２ｂ／出力値チェック部１１３ｂ／フォーマット変換部１１２ｃによる処理は、その制御周期内に完了する必要がある。

これに対して学習エージェント１１５ａによる学習処理は、一般に演算負荷が重く処理時間が長い。この処理を制御パラメータ演算と同期させて実施する（すなわちある制御周期についての学習処理が完了してから、その制御周期における制御パラメータ演算を実施する）と、制御周期内に制御パラメータを演算完了することが困難となる課題があった。そこで本実施形態１においては、学習エージェント１１５ａによる学習処理と、制御エージェント１１５ｂ／フォーマット変換部１１２ｂ／出力値チェック部１１３ｂ／フォーマット変換部１１２ｃによる制御パラメータ演算処理を、互いに非同期に実施することとした。具体的には、制御パラメータは制御周期ごとに演算するとともに、学習処理はそれよりも長い周期ごとに実施する。これにより、学習処理の演算負荷による影響を緩和して、制御周期内に制御パラメータ演算処理を完了することができる。

以上を実現するためには、学習エージェント１１５ａが学習を実施していない間隙部分においても、制御エージェント１１５ｂが制御パラメータを演算できる必要がある。換言すると、対応関係記憶部１１６ｂが格納している学習結果がやや古いものであっても、制御パラメータを演算できる必要がある。そこで本実施形態１において、学習エージェント１１５ａは、入力値記憶部１１４が格納している過去の入力値全体について、まとめて学習を実施することとした。これにより、制御対象機器２１０の特性が極端に変化しない限りは、入力値のバリエーションをある程度網羅的に蓄積しておくことにより、やや古い学習結果であっても実運用できる程度の制御パラメータを演算することができる。

ただし、制御対象機器２１０の特性が大きく変わり、制御モデル等を改めて学習する必要が生じる場合もある。そこで学習エージェント１１５ａと更新部１１７は、所定条件を満たしたとき、その時点で入力値記憶部１１４が格納している入力値を用いて学習処理を実施するとともに、対応関係記憶部１１６ａが格納している学習結果を対応関係記憶部１１６ｂに対して上書更新することとした。これにより、学習処理と制御パラメータ演算処理を併存させつつ、適正な制御演算を確保することができる。

学習エージェント１１５ａおよび更新部１１７が学習結果を更新する条件としては、制御対象機器２１０の特性が大きく変わるようなものを用いることができる。これはプラント設備２００の性質によっても異なるが、例えば制御対象機器２１０周辺の物理的環境（外気温度、外気湿度、など）やこれに準じるパラメータ（１日における時刻、年月日、季節、など）を基準とすることができる。この場合、学習エージェント１１５ａはその物理的環境パラメータが制御対象機器２１０の状態量と制御量に対して与える影響を加味して学習を実施し、その物理的環境パラメータが学習結果に対して与える影響が閾値を超えたとき、再学習と上書更新を実施すればよい。

物理的環境パラメータが学習結果に対して与える影響が閾値を超えたか否かは、そのパラメータそのものを取得して前回学習時における同じパラメータを比較することにより判定することができる。例えば前回学習時における外気温度と現在の外気温度との間の差分が閾値を超えたとき、再学習を実施すればよい。あるいは対応関係記憶部１１６ａと１１６ｂそれぞれが格納している学習結果データそのものを比較し、両者の差分が閾値を超えているか否かにより判断してもよい。

学習エージェント１１５ａが学習を実施する（さらに更新部１１７が学習結果を上書更新する）条件は、１つでなくともよい。例えば１秒よりも長い時間間隔ごとに学習を実施することに加えて、上記例示した物理的環境などのパラメータが所定条件を満たしたときも学習を実施するようにしてもよい。

＜実施の形態１：リアルタイム性確保について＞
制御エージェント１１５ｂ／フォーマット変換部１１２ｂ／出力値チェック部１１３ｂ／フォーマット変換部１１２ｃは、制御周期内に制御パラメータを演算完了する必要がある。これは、コンピュータ１１０内部における制御時刻と、コントローラ１２０内部における制御時刻を、一致させるために必要となるものである。制御時刻とは、制御演算上における時刻に対応するものであり、時刻の関数として表される制御モデルの時刻を表すものということもできる。本実施形態１においてはこれを実現するため、コンピュータ１１０はカウンタ１１８を備える。

コンピュータ１１０は、コントローラ１２０のカウントアップ値を受け取り、次周期でコントローラ１２０へ受け取ったカウント値を渡す。コントローラ１２０は受け取ったカウント値とコントローラ１２０内のカウントをチェックすることにより、コンピュータ１１０とコントローラ１２０それぞれの制御が一致しているか否かをチェックすることができる。一致チェックそのものはコンピュータ１１０とコントローラ１２０いずれが実施してもよい。これにより、制御パラメータ演算が制御周期内に完了している（すなわち制御パラメータのリアルタイム性が確保されている）か否かをチェックすることができる。

ＯＲ演算部１２３は、カウンタ１１８が正常である（コントローラ１２０と同期している）か否かのチェック結果を受け取る。チェック結果が異常である場合、その旨を制御部１２２に対して通知する。

ＯＲ演算部１２３はその他、入力値チェック部１１３ａが入力値を異常であると判定した場合はその旨を受け取り、出力値チェック部１１３ｂが出力値を異常であると判定した場合はその旨を受け取る。ＯＲ演算部１２３はこれら３つのチェック結果のうち少なくともいずれかが異常である場合は、その旨を制御部１２２に対して通知する。

制御部１２２は、ＯＲ演算部１２３からいずれかの値が異常である旨の通知を受け取った場合は、制御エージェント１１５ｂが演算した制御パラメータを用いることに代えて、規定の制御アルゴリズムに切り替えた上で制御を継続する。例えば制御対象機器２１０の状態量と目標値を用いたＰＩＤ制御を用いることができる。その他適当な制御アルゴリズムを用いてもよい。３つのチェック結果全てが正常に戻れば、制御エージェント１１５ｂによる制御パラメータを用いる処理に復帰することができる。これにより、例えばコンピュータ１１０とコントローラ１２０との間の同期が確保できないときであっても、制御を継続することができる。

＜実施の形態１：まとめ＞
本実施形態１に係る制御システム１００は、学習エージェント１１５ａによる学習処理と、制御エージェント１１５ｂによる制御パラメータ演算処理を、非同期に実施する。制御エージェント１１５ｂによる主な処理は、学習結果から状態量に対応する制御量を取得するのみであるので、これらを非同期に実施することにより、制御パラメータを制御周期内に確実に演算することができる。

本実施形態１に係る制御システム１００は、カウンタ１１８がコントローラ１２０上における値と一致するか否かをチェックすることにより、コンピュータ１１０内部の制御時刻とコントローラ１２０内部の制御時刻が時間的に同期しているか否かをチェックする。これにより、制御パラメータが制御周期内に演算完了しているか否かを確実にチェックすることができる。

本実施形態１に係る制御システム１００は、カウンタ１１８／入力値チェック部１１３ａ／出力値チェック部１１３ｂいずれかにおいて異常値が生じている場合は、制御エージェント１１５ｂが演算した制御パラメータに代えて既定の制御アルゴリズムを用いる。これにより機械学習ベースの制御演算が異常となった場合であっても、制御を継続することができる。

＜実施の形態２＞
図３は、本発明の実施形態２に係る制御システム１００の機能ブロック図である。本実施形態２においてコントローラ１２０は、実施形態１で説明した構成に加えて対応関係記憶部１２４を備える。その他構成は実施形態１と同様であるので、以下では主に差異点について説明する。

制御エージェント１１５ｂ／フォーマット変換部１１２ｂ／出力値チェック部１１３ｂ／フォーマット変換部１１２ｃによる演算負荷を軽減するためには、対応関係記憶部１１６ｂが格納する学習結果のうち少なくとも一部をコントローラ１２０に対してコピーし、制御パラメータの演算をコンピュータ１１０とコントローラ１２０がともに実施すればよいと考えられる。そこで本実施形態２において、更新部１１７は、対応関係記憶部１１６ｂに対して学習結果を上書更新するとともに、その学習結果の一部を対応関係記憶部１２４にもコピーする。

対応関係記憶部１２４に対してコピーする学習結果の一部分は、制御パラメータを演算する際に用いる頻度（すなわちアクセス頻度）が比較的高いものとすればよい。使用頻度が高い部分をコントローラ１２０が直接用いて制御指令を算出することにより、制御処理の効率が高まるからである。使用頻度が高い部分としては、例えば現在の状態量から所定範囲内にある状態量に対応する制御量を採用することができる。状態量が近似している場合、制御量も近似していると想定されるからである。学習アルゴリズムに応じてその他適当な範囲をコピーしてもよい。

コントローラ１２０は、対応関係記憶部１２４が格納している学習結果を用いて制御パラメータを自ら算出する。コンピュータ１１０は、対応関係記憶部１２４が格納していない学習結果を用いる場合のみ制御パラメータを算出する。これにより、対応関係記憶部１２４を用いている間はコンピュータ１１０とコントローラ１２０との間で制御パラメータを送受信する必要がなくなるので、コンピュータ１１０の演算負荷をさらに抑制することができる。

＜実施の形態３＞
図４は、本発明の実施形態３に係る制御システム１００の機能ブロック図である。本実施形態３において制御システム１００は、オペレータ３００が制御システム１００に対して指示を与えるためのユーザインターフェース３１０を備える。ユーザインターフェース３１０は、例えばコンピュータ１１０が備えるマウスなどの操作デバイスとディスプレイなどの表示デバイスによって構成することができる。

オペレータ３００はユーザインターフェース３１０を介して、制御手法を切り替えるように制御システム１００に対して指示することができる。コンピュータ１１０はその指示を受け取ると、その指示にしたがって制御手法を切り替える。例えば制御エージェント１１５ｂが演算する制御パラメータに代えて、制御対象機器２１０の内部状態と目標値を用いたＰＩＤ制御を用いるように指示することができる。ユーザインターフェース３１０はさらに、現在使用している制御手法を表示することもできる。

＜本発明の変形例について＞
本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

以上の実施形態においては、コンピュータ１１０が学習処理と制御パラメータ演算処理をともに実施することを説明したが、これらを別のコンピュータによって実装することもできる。この場合は少なくとも学習エージェント１１５ａを別のコンピュータ上に実装することになる。

以上の実施形態においては、制御システム１００がプラント設備２００を制御する例を説明したが、本発明の対象はこれに限らない。すなわち、機械学習によって何らかの電気機器を制御する際に本発明を適用することにより、以上の実施形態と同様の効果を発揮することができる。同様にプラント設備２００のタイプも問わない。

１００：制御システム
１１０：コンピュータ
１１３ａ：入力値チェック部
１１３ｂ：出力値チェック部
１１５ａ：学習エージェント
１１５ｂ：制御エージェント
１１６ａ：対応関係記憶部
１１６ｂ：対応関係記憶部
１１７：更新部
１１８：カウンタ
１２０：コントローラ
２００：プラント設備
２１０：制御対象機器
３００：オペレータ
３１０：ユーザインターフェース

Claims (3)

1. 電気機器を制御する制御方法であって、
   前記電気機器の動作を制御するコントローラ、
   前記コントローラが前記電気機器を制御するために用いる制御パラメータを演算して前記コントローラに対して出力するコンピュータ、
   前記コンピュータに対してユーザが指示を与え、ユーザに情報を表示するユーザインターフェース、
   を有し、
   前記コントローラと前記コンピュータは、互いに異なる演算装置によって構成されており、
   前記コンピュータはさらに、前記電気機器の状態量と前記電気機器に対する制御量との間の対応関係を学習し、
   前記コンピュータは、前記対応関係にしたがって前記制御パラメータを演算し、少なくとも前記制御パラメータを前記コントローラへ出力し、
   前記コントローラは、前記コンピュータから入力された値が異常と判断された場合前記コンピュータが演算する前記制御パラメータを用いることなく、前記電気機器の状態量と目標量を用いたPID制御により前記電気機器を制御し、
   前記ユーザインターフェースは、前記コンピュータが演算する前記制御パラメータを用いずに前記電気機器を制御すべき旨のオペレータからの指示を受け取った場合その指示を前記コンピュータに対して出力し、かつ、前記コンピュータが演算する前記制御パラメータを用いて前記コントローラが前記電気機器を制御しているか、前記電気機器の状態量と目標量を用いたPID制御により前記電気機器を制御しているかを表示する
   ことを特徴とする制御方法。
2. 前記コンピュータは、カウンタを備え、
   前記制御方法はさらに、前記カウンタが前記コントローラにおけるカウント値と一致するか否かをチェックすることにより、前記コンピュータ内部の制御時刻と前記コントローラ内部の制御時刻が時間的に同期しているか否かをチェックするステップを有し、
   前記コントローラは、前記コンピュータ内部の制御時刻と前記コントローラ内部の制御時刻が時間的に同期していない場合は、前記異常が発生していると判断する
   ことを特徴とする請求項１に記載の制御方法。
3. 前記異常の判断は、前記コンピュータの入力値チェック値、または、出力値チェック値のいずれかにおいて異常値が発生した場合に異常と判断することを特徴とする請求項１または２に記載の制御方法。

Images