JP7331660B2 - 装置、方法およびプログラム - Google Patents

Description

本発明は、装置、方法およびプログラムに関する。

従来、機器を制御する種々の手法が提案されている（例えば、特許文献１参照）。
特許文献１ 特開２０１８－２０２５６４号公報

しかしながら、近年、より適切に機器を制御したいという要望が高まっている。

上記課題を解決するために、本発明の第１の態様においては、装置が提供される。装置は、センサによって測定された測定データを取得する第１取得部を備えてよい。装置は、第１取得部により取得された測定データと、少なくとも１つの制御対象機器の第１種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される第１種類の制御内容を示す推奨制御パラメータを出力する第１モデルの学習処理を実行する第１学習処理部を備えてよい。

装置は、第１モデルに対し、第１取得部により取得された測定データを供給する第１供給部をさらに備えてよい。装置は、測定データを第１モデルに供給したことに応じて第１モデルが出力する推奨制御パラメータを取得する第１推奨制御パラメータ取得部をさらに備えてよい。装置は、第１推奨制御パラメータ取得部により取得された推奨制御パラメータを用いて少なくとも１つの制御対象機器を制御する第１制御部をさらに備えてよい。

各制御対象機器は、Ｐ制御、ＰＩ制御、ＰＤ制御およびＰＩＤ制御のうち何れかのフィードバック制御によって制御されてよい。第１種類の制御内容は、フィードバック制御の目標値であってよい。

各制御対象機器は、ＰＩ制御、ＰＤ制御およびＰＩＤ制御のうち何れかのフィードバック制御によって制御されてよい。第１種類の制御内容は、フィードバック制御の比例ゲインの値と、積分ゲインの値、または、微分ゲインの値の少なくとも一方とを含む各ゲインセットに予め対応付けられた識別情報のうち、フィードバック制御に使用するゲインセットの識別情報であってよい。

各制御対象機器は、Ｐ制御、ＰＩ制御、ＰＤ制御およびＰＩＤ制御のうち何れかのフィードバック制御によって制御されてよい。第１種類の制御内容は、フィードバック制御の比例ゲインの値、積分ゲインの値、または、微分ゲインの値の少なくとも１つであってよい。

装置は、センサによって測定された測定データを取得する第２取得部をさらに備えてよい。装置は、第２取得部により取得された測定データと、少なくとも１つの制御対象機器の第２種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ報酬値を高めるために推奨される第２種類の制御内容を示す推奨制御パラメータを出力する第２モデルの学習処理を実行する第２学習処理部をさらに備えてよい。第２種類の制御内容は、フィードバック制御の目標値であってよい。

装置は、第２モデルに対し、第２取得部により取得された測定データを供給する第２供給部をさらに備えてよい。装置は、測定データを第２モデルに供給したことに応じて第２モデルが出力する推奨制御パラメータを取得する第２推奨制御パラメータ取得部をさらに備えてよい。装置は、第２推奨制御パラメータ取得部により取得された推奨制御パラメータを用いて少なくとも１つの制御対象機器を制御する第２制御部をさらに備えてよい。

第１種類の制御内容は、各制御対象機器の出力値であってよい。

第１取得部は、少なくとも１つの制御対象機器に対する外乱として作用し得る物理量を示す測定データを取得してよい。

第１取得部は、少なくとも１つの制御対象機器を含む設備によるエネルギーまたは原材料の少なくとも一方の消費量を示す測定データを取得してよい。

第１取得部は、少なくとも１種類の測定データを含む第１群の測定データと、少なくとも１種類の測定データを含む第２群の測定データとをそれぞれ取得してよい。第１学習処理部で用いられる報酬関数は、第１群の測定データの少なくとも１つが基準条件を満たさない場合には、第２群の測定データのそれぞれの値に関わらず報酬値を０とし、第１群の測定データのそれぞれが基準条件を満たす場合には、第２群の測定データのそれぞれの値に応じて報酬値を増減させてよい。

本発明の第２の態様においては、方法が提供される。方法は、センサによって測定された測定データを取得する第１取得段階を備えてよい。方法は、第１取得段階により取得された測定データと、少なくとも１つの制御対象機器の第１種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される第１種類の制御内容を示す推奨制御パラメータを出力する第１モデルの学習処理を実行する第１学習処理段階を備えてよい。

本発明の第３の態様においては、プログラムが提供される。プログラムは、コンピュータに、センサによって測定された測定データを取得する第１取得部として機能させてよい。プログラムは、コンピュータに、第１取得部により取得された測定データと、少なくとも１つの制御対象機器の第１種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される第１種類の制御内容を示す推奨制御パラメータを出力する第１モデルの学習処理を実行する第１学習処理部として機能させてよい。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係るシステム１を示す。 本実施形態に係る装置４の学習段階での動作を示す。 本実施形態に係る装置４の運用段階での動作を示す。 システム１の適用例（１）を示す。 システム１の適用例（２）を示す。 システム１の適用例（３）を示す。 変形例に係るシステム１Ａを示す。 本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

［１．システム１の構成］
図１は、本実施形態に係るシステム１を示す。システム１は、設備２と、装置４とを備える。

［１－１．設備２］
設備２は、複数の機器２０を備え付けたものである。例えば設備２は、プラントでもよいし、複数の機器２０を複合させた複合装置でもよい。プラントとしては、化学やバイオ等の工業プラントの他、ガス田や油田等の井戸元やその周辺を管理制御するプラント、水力・火力・原子力等の発電を管理制御するプラント、太陽光や風力等の環境発電を管理制御するプラント、上下水やダム等を管理制御するプラント等が挙げられる。本実施形態においては一例として、設備２は、１または複数の機器２０と、１または複数のセンサ２１とを有する。

［１－１－１．機器２０］
各機器２０は、器具、機械または装置であり、例えば、設備２のプロセスにおける圧力、温度、ｐＨ、速度または流量などの少なくとも１つの物理量を制御するバルブ、ポンプ、ヒータ、ファン、モータ、スイッチ等のアクチュエータであってよい。

本実施形態においては一例として、設備２には複数の機器２０が具備される。各機器２０は互いに異種でもよいし、少なくとも一部の２以上の機器２０が同種でもよい。

各機器２０は図示しないネットワークを介して外部から有線または無線で制御されてもよいし、手動で制御されてもよい。複数の機器２０のうち少なくとも一部の機器２０は、装置４によって制御される制御対象機器２０（Ｔ）であってよい。システム１に複数の制御対象機器２０（Ｔ）が具備される場合には、これら複数の制御対象機器２０（Ｔ）は連動して制御される関係（一例として主従関係、独立には制御されない関係）を有してよい。また、各制御対象機器２０（Ｔ）は、同種の機器２０でもよいし、異種の機器２０でもよい。

なお、複数の機器２０のうち少なくとも一部の機器２０には、図示しないコントローラが設けられてよい。機器２０にコントローラが設けられるとは、機器２０にコントローラが内蔵されることであってもよいし、機器２０にコントローラが外部接続されることであってもよい。コントローラは、目標値（設定値）が設定されることに応じて、当該目標値と現在値との差分を低減するように機器２０をフィードバック制御してよい。フィードバック制御は、ＰＩ制御、ＰＤ制御およびＰＩＤ制御のうちの何れかであってもよいし、Ｐ制御であってもよい。

ＰＩ制御、ＰＤ制御およびＰＩＤ制御のうちの何れかのフィードバック制御が行われる場合には、コントローラは一例として、比例ゲインの値と、積分ゲインの値または微分ゲインの値の少なくとも一方とを含む複数のゲインセットのそれぞれについて、当該ゲインセットを識別するための識別情報（ゲインセットＩＤとも称する）を予め記憶してよい。この場合に、コントローラは、ゲインセットＩＤが入力されることに応じて、当該ゲインセットＩＤに対応するゲインセットの各ゲインの値を用いてフィードバック制御を行ってよい。

フィードバック制御の目標値および現在値は、機器２０による出力値そのもの（一例として、バルブの開度）を示してもよいし、出力値によって影響を受ける値（一例として、バルブの下流側での流体の流量）を示してもよい。

［１－１－２．センサ２１］
各センサ２１は、設備２の内外の物理量を測定する。各センサ２１は、測定によって得られた測定データを装置４に供給してよい。

本実施形態においては一例として、設備２には複数のセンサ２１が具備される。複数のセンサ２１によって測定される複数の測定データは、外部環境データ、フィードバック制御用データ、運転状態データ、または、消費量データの少なくとも１つを含んでよい。

外部環境データは、制御対象機器２０（Ｔ）に対する外乱として作用し得る物理量を示す。例えば、外部環境データは、制御対象機器２０（Ｔ）の制御パラメータに対して外乱として作用し得る物理量（或いは、その変動）を示してよい。一例として、外部環境データは、設備２の外気の温度や湿度、日照、風向き、風量、降水量、他の機器２０の制御により変化する物理量等を示してよい。外部環境データは、外乱を検出するのに用いられてよい。

フィードバック制御用データは、各制御対象機器２０（Ｔ）をフィードバック制御するための物理量を示す。フィードバック制御用データは、各制御対象機器２０（Ｔ）による出力値を示してもよいし、出力値によって変化する値を示してもよい。

運転状態データは、各制御対象機器２０（Ｔ）を制御した結果の運転状態を示す。運転状態データは、各制御対象機器２０（Ｔ）の制御によって変動し得る物理量を示してもよいし、各制御対象機器２０（Ｔ）の出力値を示してもよい。運転状態データは、フィードバック制御用データと同じであってもよい。

消費量データは、設備２によるエネルギーまたは原材料の少なくとも一方の消費量を示す。消費量データは、エネルギー消費量として、電力や燃料（一例としてＬＰＧ）の消費量を示してよい。

［１－３．装置４］
装置４は、各制御対象機器２０（Ｔ）についての学習を行う。装置４は、１または複数のコンピュータであってよく、ＰＣなどで構成されてよい。装置４は、測定データ取得部４０と、制御パラメータ取得部４１と、報酬値取得部４２と、学習処理部４４と、モデル４５と、供給部４６と、推奨制御パラメータ取得部４７と、制御部４９とを有する。

［１－３―１．測定データ取得部４０］
測定データ取得部４０は、第１取得部の一例であり、センサ２１によって測定された測定データを取得する。測定データ取得部４０は、設備２に具備された複数のセンサ２１のそれぞれによって測定された測定データを取得してよい。測定データ取得部４０は、装置４による各制御対象機器２０（Ｔ）の制御周期内での測定値の平均値を示す測定データを取得してもよいし、制御インターバル毎の測定値（つまり制御周期の終了タイミングでの測定値）を示す測定データを取得してもよい。本実施形態では一例として、各制御対象機器２０（Ｔ）の制御周期は同期していてよい。測定データ取得部４０は、測定データをセンサ２１から取得してもよいし、センサ２１を確認したオペレータから取得してもよい。測定データ取得部４０は、取得した測定データを学習処理部４４および供給部４６に供給してよい。

［１－３―２．制御パラメータ取得部４１］
制御パラメータ取得部４１は、各制御対象機器２０（Ｔ）の制御内容を示す制御パラメータを取得する。システム１に複数の制御対象機器２０（Ｔ）が具備される場合には、制御パラメータはこれら複数の制御対象機器２０（Ｔ）のそれぞれの制御内容を示してよい。本実施形態では一例として、制御パラメータ取得部４１は制御部４９から制御パラメータを取得するが、オペレータから取得してもよいし、各制御対象機器２０（Ｔ）から取得してもよい。制御パラメータ取得部４１は、取得した制御パラメータを学習処理部４４に供給してよい。

ここで、各制御対象機器２０（Ｔ）の制御内容は、当該制御対象機器２０（Ｔ）の出力値であってもよいし、当該制御対象機器２０（Ｔ）がフィードバック制御される場合に、その目標値であってもよいし、フィードバック制御の比例ゲインの値、積分ゲインの値、または、微分ゲインの値の少なくとも１つであってもよいし、フィードバック制御に使用するゲインセットのゲインセットＩＤであってもよい。学習処理部４４で用いられる制御パラメータは、これらの種類の制御内容のうち、一の種類（第１種類とも称する）の制御内容を示してよい。

［１－３―３．報酬値取得部４２］
報酬値取得部４２は、学習処理部４４での強化学習に用いられる報酬値を取得する。報酬値は、設備２の操業状態を評価するための値であってよく、予め設定された報酬関数により定まる値であってよい。ここで、関数とは、ある集合の各要素に他の集合の各要素を一対一で対応させる規則を持つ写像であり、例えば数式でもよいし、テーブルでもよい。

報酬関数は、測定データの入力に応じて、当該測定データで示される状態を評価した報酬値を出力してよい。報酬関数は、オペレータによって設定されてよい。報酬値取得部４２は、報酬関数を使用したオペレータから報酬値を取得してもよいし、センサ２１からの測定データを報酬関数に入力して報酬値を取得してもよい。報酬値取得部４２が測定データを報酬関数に入力する場合には、報酬関数は装置４の内部に記憶されていてもよいし、外部に記憶されていてもよい。

［１－３―４．学習処理部４４］
学習処理部４４は、第１学習処理部の一例であり、測定データ取得部４０により取得された測定データと、制御パラメータ取得部４１により取得された制御パラメータとを含む学習データを用いてモデル４５の学習処理を実行する。学習処理部４４は、報酬値取得部４２からの報酬値を用いてモデル４５の学習処理を実行してよい。

［１－３―５．モデル４５］
モデル４５は、第１モデルの一例であり、測定データの入力に応じ、報酬値を高めるために推奨される制御内容を示す推奨制御パラメータを出力する。モデル４５から出力される推奨制御パラメータは、上述の第１種類の制御内容を示してよい。報酬値を高める制御内容とは、所定の時点（一例として現在）の設備２の操業状態に対応する報酬値（一例としてその時点の測定データを報酬関数に入力して得られる報酬値）を基準報酬値とした場合に、当該基準報酬値よりも報酬値が高くなる制御内容であってよい。このように報酬値が高くなる制御内容は、現時点よりも操業状態が改善されるので、制御対象機器２０（Ｔ）に対する制御として推奨される。但し、基準報酬値は、固定値（一例として報酬値の最大値から許容値を減じた値）であってもよい。

［１－３―６．供給部４６］
供給部４６は、第１供給部の一例であり、測定データ取得部４０により取得された測定データをモデル４５に供給する。

［１－３―７．推奨制御パラメータ取得部４７］
推奨制御パラメータ取得部４７は、第１推奨制御パラメータ取得部の一例であり、測定データをモデル４５に供給したことに応じてモデル４５が出力する推奨制御パラメータを取得する。推奨制御パラメータ取得部４７は、取得した推奨制御パラメータを制御部４９に供給してよい。

［１－３―８．制御部４９］
制御部４９は、第１制御部の一例であり、推奨制御パラメータ取得部４７により取得された推奨制御パラメータを用いて各制御対象機器２０（Ｔ）を制御する。

制御部４９は、各制御対象機器２０（Ｔ）に推奨制御パラメータを供給することで、推奨制御パラメータが示す制御内容で各制御対象機器２０（Ｔ）を制御してよい。制御部４９は、各制御対象機器２０（Ｔ）にコントローラが設けられている場合には、当該コントローラに推奨制御パラメータを供給してよい。

制御部４９は、各制御対象機器２０（Ｔ）の出力値が制御周期内に維持されるように各制御対象機器２０（Ｔ）を制御してよい。制御対象機器２０（Ｔ）がフィードバック制御される場合には、制御周期はフィードバック制御のサイクルタイムよりも長くてよい。

なお、制御部４９は、装置４の各部の制御をさらに行ってもよい。例えば、制御部４９は、モデル４５の学習を制御してよい。

以上のシステム１によれば、センサ２１による測定データと、各制御対象機器２０（Ｔ）の第１種類の制御内容を示す制御パラメータとを含む学習データを用いてモデル４５の学習処理が実行され、モデル４５は測定データの入力に応じ報酬値を高めるために推奨される第１種類の制御内容を示す推奨制御パラメータを出力する。従って、測定データを入力することで、報酬値を高める推奨制御パラメータを取得することができるため、熟練したオペレータによる試行錯誤を必要とせずに適切な推奨制御パラメータを取得し、制御対象機器２０（Ｔ）を適切に制御することができる。

また、制御対象機器２０（Ｔ）に対する外乱として作用し得る物理量を示す測定データが取得されるので、外乱が生じる場合にも適切な推奨制御パラメータを取得することができる。

また、制御対象機器２０（Ｔ）を含む設備２によるエネルギーまたは原材料の少なくとも一方の消費量を示す測定データが取得されるので、消費量に応じた適切な推奨制御パラメータを取得することができる。

また、測定データをモデル４５に供給したことに応じて出力される推奨制御パラメータを用いて各制御対象機器２０（Ｔ）が制御されるので、熟練したオペレータによる試行錯誤を必要とせずに、適切な制御パラメータによって各制御対象機器２０（Ｔ）を自動的に制御することができる。

［２．動作］
［２－１．学習段階］
図２は、本実施形態に係る装置４の学習段階での動作を示す。装置４は、ステップＳ１１～Ｓ２５の処理を行うことにより設備２を稼働させつつモデル４５の学習を行う。

まずステップＳ１１において測定データ取得部４０は、各センサ２１によって測定された測定データを取得する。これにより、初期状態の測定データが取得される。測定データ取得部４０は、学習処理部４４に測定データを記憶させてよい。

ステップＳ１３において制御部４９は、各制御対象機器２０（Ｔ）の制御内容を示す制御パラメータを決定する。制御部４９は、次の制御周期での制御パラメータを決定してよく、本実施形態では一例として、後述のステップＳ１５が次回行われる場合に使用される制御パラメータを決定してよい。決定される制御パラメータは、報酬値を高くするものであってもよいし、低くするものであってもよいし、報酬値とは無関係に決定されるものであってもよい。制御部４９は、オペレータの操作に応じて制御パラメータを決定してよい。これに代えて、制御部４９は、モデル４５から出力される推奨制御パラメータを制御パラメータとして決定してよい。

例えば、ステップＳ１３の処理が最初に行われる場合には、制御部４９は、ステップＳ１１で取得された測定データをモデル４５に入力したことに応じてモデル４５から出力される推奨制御パラメータを、次の制御周期での制御パラメータとして決定してよい。ステップＳ１３～Ｓ１９の処理が繰り返されてステップＳ１３の処理が複数回行われる場合には、制御部４９は、最後に行われたステップＳ１７の処理で取得された測定データをモデル４５に入力したことに応じてモデル４５から出力される推奨制御パラメータを、次の制御周期での制御パラメータとして決定してよい。ステップＳ１３の処理が複数回行われる場合には、複数のステップＳ１３の処理のうち少なくとも一部の処理の間では、異なる制御パラメータが決定されてよい。

ステップＳ１５において制御部４９は、制御パラメータを各制御対象機器２０（Ｔ）に出力して各制御対象機器２０（Ｔ）を制御する。制御部４９は、制御パラメータ取得部４１を介して学習処理部４４に制御パラメータを記憶させてよい。制御部４９は、各制御対象機器２０（Ｔ）の制御前に測定データ取得部４０によって取得された測定データに対応付けて、制御パラメータを学習処理部４４に記憶させてよい。これにより、測定データおよび制御パラメータを含む学習データが学習処理部４４に記憶される。

なお、ステップＳ１５の処理が最初に行われる場合には、制御対象機器２０（Ｔ）の制御前に取得された測定データは、上述のステップＳ１１の処理で取得された測定データであってよい。ステップＳ１３～Ｓ１９の処理が繰り返されてステップＳ１５の処理が複数回行われる場合には、制御対象機器２０（Ｔ）の制御前に取得された測定データは、最後に行われたステップＳ１７の処理で取得された測定データであってよい。

ステップＳ１７において測定データ取得部４０は、各センサ２１によって測定された測定データを取得する。これにより、制御パラメータで示される制御内容で各制御対象機器２０（Ｔ）が制御された場合の測定データが取得される。

ステップＳ１９において報酬値取得部４２は、報酬関数により定まる報酬値を取得する。ここで、測定データ取得部４０により取得される測定データには第１群の測定データと、第２群の測定データとがそれぞれ含まれてよく、各群の測定データには少なくとも１種類の測定データが含まれてよい。報酬関数は、第１群の測定データの少なくとも１つが基準条件を満たさない場合には、第２群の測定データのそれぞれの値に関わらず報酬値を０としてよい。また、報酬関数は、第１群の測定データのそれぞれが基準条件を満たす場合には、第２群の測定データのそれぞれの値に応じて報酬値を増減させてよい。

第１群の測定データは運転状態データであってよく、第１群の測定データの基準条件は、設備２で最低限、達成するべき条件であってよい。例えば、設備２が化学製品などの製品の製造プラントである場合には第１群の測定データはプラント内の温度や湿度を示してよく、測定データの基準条件は、製品の品質を保つために維持されるべき温度範囲、湿度範囲であってよい。また、第２群の測定データは消費量データであってよい。この場合、消費量が多いほど報酬値は少なくてよい。これにより、消費量が削減されるように学習処理が行われることとなる。

報酬値取得部４２は、取得した報酬値を学習処理部４４に記憶させてよい。報酬値取得部４２は、最後に行われたステップＳ１５の処理で記憶された学習データに対応付けて報酬値を記憶させてよい。

ステップＳ２１において制御部４９は、ステップＳ１３～Ｓ１９の処理を基準ステップ数だけ行ったか否かを判定する。基準ステップ数だけ処理を行っていないと判定された場合（ステップＳ２１；Ｎｏ）には、ステップＳ１３に処理が移行する。これにより、測定データまたは制御パラメータの少なくとも一方が異なる学習データが基準ステップ数だけサンプリングされて報酬値と共に記憶される。なお、ステップＳ１３～Ｓ１９の処理が繰り返し行われる場合に、ステップＳ１３の周期（つまり制御周期）は設備２の時定数に応じて定められてよく、一例として５分であってよい。ステップＳ２１において基準ステップ数だけ処理を行ったと判定された場合（ステップＳ２１；Ｙｅｓ）には、ステップＳ２３に処理が移行する。

ステップＳ２３において学習処理部４４は、対応付けて記憶された学習データおよび報酬値の組をそれぞれ用いてモデル４５の学習処理を行う。これにより、モデル４５が更新される。なお、学習処理部４４は、最急降下法やニューラルネットワーク、ＤＱＮ（Ｄｅｅｐ Ｑ－Ｎｅｔｗｏｒｋ）、ガウシアンプロセス、ディープラーニングなど、公知の手法による学習処理を行ってよい。学習処理部４４は、報酬値が高くなる制御パラメータほど推奨制御パラメータとして優先的に出力されるように、モデル４５の学習処理を行ってよい。

学習処理後のモデル４５には、測定データおよび制御パラメータを含む学習データに対応付けて、重み係数が記憶されてよい。重み係数は、対応する学習データ内の制御パラメータが制御に用いられた場合の報酬値の高さに応じて設定されてよく、当該制御パラメータが制御に用いられる場合の報酬値を予測するのに用いられてよい。

ステップＳ２５において制御部４９は、ステップＳ１３～Ｓ２３の処理を基準繰り返し（イテレーション）数だけ行ったか否かを判定する。基準繰り返し数だけ処理を行っていないと判定された場合（ステップＳ２５；Ｎｏ）には、ステップＳ１１に処理が移行する。基準イテレーション数だけ処理を行ったと判定された場合（ステップＳ２５；Ｙｅｓ）には、処理が終了する。

以上の動作によれば、報酬関数は第１群の測定データの少なくとも１つが基準条件を満たさない場合には、第２群の測定データのそれぞれの値に関わらず報酬値を０とし、第１群の測定データのそれぞれが基準条件を満たす場合には、第２群の測定データのそれぞれの値に応じて報酬値を増減させる。従って、第１群の測定データが基準条件を満たす前提で報酬値が高まるような制御パラメータが優先的に出力されるようモデル４５の学習処理を行うことができる。

また、モデル４５から出力される推奨制御パラメータを次の制御周期での制御パラメータとして決定する場合には、推奨制御パラメータに従って各制御対象機器２０（Ｔ）が制御され、制御に応じた測定データが取得されるので、推奨制御パラメータを含む学習データと、その制御結果に対応する報酬値とを用いてモデル４５の学習処理が行われる。従って、推奨制御パラメータで制御が行われる場合のモデル４５の学習処理を順次行って学習精度を高めることができる。

［２－２．運用段階］
図３は、本実施形態に係る装置４の運用段階での動作を示す。装置４は、ステップＳ３１～Ｓ３７の処理を行うことによりモデル４５を用いて設備２を稼働させる。

ステップＳ３１において測定データ取得部４０は、各センサ２１によって測定された測定データを取得する。これにより、初期状態の測定データが取得される。測定データは供給部４６からモデル４５に供給されてよい。

ステップＳ３３において推奨制御パラメータ取得部４７は、測定データをモデル４５に供給したことに応じてモデル４５が出力する推奨制御パラメータを取得する。ここで、モデル４５は、報酬値を高めるために推奨される制御内容を示す推奨制御パラメータを出力する。本実施形態においては一例として、モデル４５は、学習データ内に含まれる制御パラメータそれぞれについて、当該制御パラメータが制御に用いられる場合に予測される報酬値（予測報酬値とも称する）を算出してよい。

モデル４５は、同じ制御内容を示す制御パラメータ毎に予測報酬値を算出してよい。例えば、モデル４５は、複数の学習データから、一の制御内容を示す制御パラメータを含む各学習データを抽出してよい。モデル４５は、抽出した各学習データに対応付けられた各重み係数を、現時点の状態を示す測定データ（本実施形態では一例として最後に行われたステップＳ３３の処理で取得された測定データ）と、学習データ内の測定データとの距離に応じて重み付け加算した結果を、当該一の制御内容を示す制御パラメータについての予測報酬値としてよい。モデル４５は、測定データ間の距離が大きいほど重みが小さくなるように（つまり、報酬値への影響が小さくなるように）、重み付けの大きさを設定してよい。

モデル４５は、予測報酬値の高い制御パラメータほど、より優先的に推奨制御パラメータとしてよい。ただし、モデル４５は、必ずしも予測報酬値が最高の制御パラメータを推奨制御パラメータにしなくてもよい。

ステップＳ３５において制御部４９は、推奨制御パラメータを各制御対象機器２０（Ｔ）に出力して各制御対象機器２０（Ｔ）を制御する。なお、推奨制御パラメータによって制御対象機器２０（Ｔ）が制御される場合に、制御結果が許容範囲を外れる場合には、制御部４９は、制御結果が許容範囲内となるように推奨制御パラメータを変更してもよい。例えば、推奨制御パラメータが制御対象機器２０（Ｔ）の出力値を示す場合に、その出力値が操作量の上限値を超える（または下限値を下回る）場合には、制御部４９は、上限値（または下限値）を示す推奨制御パラメータを出力してよい。

ステップＳ３７において測定データ取得部４０は、各センサ２１によって測定された測定データを取得する。これにより、各制御対象機器２０（Ｔ）が推奨制御パラメータで制御された状態での測定データが取得される。ステップＳ３７の処理が終了したら、装置４はステップＳ３３に処理を移行してよい。

以上の動作によれば、熟練したオペレータによる試行錯誤を必要とせずに、適切な制御パラメータによって各制御対象機器２０（Ｔ）を自動的に制御することができる。

［３．適用例］
［３－１．適用例（１）］
図４は、システム１の適用例（１）を示す。なお、本図や後述の図５、図６では、装置４の構成を簡略化して図示している。

本適用例において、設備２はプラント用の空調機であり、ダクト２００内に外気を取り込んで、調温・調湿後の空気をプラントの部屋や他の空調機に供給する。

設備２には、制御対象機器２０（Ｔ）としてのバルブＢ１～Ｂ４が設けられている。バルブＢ１はダクト２００内の加熱量を調整するものであり、バルブＢ２はダクト２００内の冷却量を調整するものであり、バルブＢ３はダクト２００内の加湿量を調整するものであり、バルブＢ４はダクト２００内の除湿量を調整するものである。

また、設備２には、センサ２１としての湿度センサ２１ａ，２１ｂや、温度センサ２１ｃ，２１ｄ、開度センサ２１ｅ、日照センサ２１ｆ、風向きセンサ２１ｇ、風量センサ２１ｈ、使用電力センサ２１ｉ、使用ＬＰＧセンサ２１ｊなどが設けられている。湿度センサ２１ａ，温度センサ２１ｃは、ダクト２００内に取り込まれた外気の湿度，温度を測定する。湿度センサ２１ｂ，温度センサ２１ｄは、ダクト２００から放出された調整後の空気の湿度，温度を測定する。開度センサ２１ｅは、バルブＢ１～Ｂ４の開度（出力値）をそれぞれ測定する。日照センサ２１ｆ，風向きセンサ２１ｇ，風量センサ２１ｈは、設備２が設けられたプラント外部での日射量，風向き，風量を測定する。使用電力センサ２１ｉは、設備２の使用電力量を測定する。使用ＬＰＧセンサ２１ｊは、設備２の使用ＬＰＧ量を測定する。

装置４の学習処理部４４は、これらのセンサ２１ａ～２１ｊによって測定された測定データと、各バルブＢ１～Ｂ４の制御内容を示す制御パラメータとを含む学習データを用いてモデル４５の学習処理を実行する。本適用例では一例として、制御パラメータは、バルブＢ１～Ｂ４の出力値である開度を示す。出力値である開度を示す値が制御パラメータとして電気信号等で装置４から送信されると、バルブＢ１～Ｂ４は、その値に対応する開度になるように開閉する。学習処理に用いられる報酬値は、調整後の空気の温度または湿度の少なくとも一方が基準範囲内に維持されない場合には０にされてよく、調整後の空気の温度，湿度がそれぞれ基準範囲内に維持される場合には、使用電力量および使用ＬＰＧ量が少ないほど高い値にされてよい。

また、装置４の制御部４９は、バルブＢ１～Ｂ４の出力値を示す推奨制御パラメータをモデル４５から取得してバルブＢ１～Ｂ４を制御する。

以上の適用例によれば、制御パラメータで示される制御内容は各制御対象機器２０（Ｔ）の出力値であるので、各制御対象機器２０（Ｔ）の出力値を直接的に制御することができる。

［３－２．適用例（２）］
図５は、システム１の適用例（２）を示す。

本適用例では一例として、バルブＢ１～Ｂ４には、ＰＩＤ制御用のコントローラＣ１～Ｃ４が設けられている。コントローラＣ１～Ｃ４は、それぞれ調整後の空気の温度，湿度が目標値（設定値）として設定されることに応じて、当該目標値と、現在値（本適用例では一例として温度センサ２１ｃ，湿度センサ２１ａの測定値）との差分を低減するように、該当のバルブＢ１～Ｂ４をＰＩＤ制御する。各コントローラＣ１～Ｃ４は、比例ゲインの値、積分ゲインの値、および、微分ゲインの値を予め記憶している。

制御パラメータは、バルブＢ１～Ｂ４のＰＩＤ制御の目標値、つまり調整後の空気の温度，湿度を示す。そのため、装置４の学習処理部４４は、各バルブＢ１～Ｂ４のＰＩＤ制御の目標値を示す制御パラメータと、センサ２１ａ～２１ｊによって測定された測定データとを含む学習データを用いてモデル４５の学習処理を実行する。また、装置４の制御部４９は、各バルブＢ１～Ｂ４のＰＩＤ制御の目標値を示す推奨制御パラメータをモデル４５から取得して、コントローラＣ１～Ｃ４を介してバルブＢ１～Ｂ４を制御する。

以上の適用例によれば、制御パラメータで示される制御内容は各制御対象機器２０（Ｔ）のＰＩＤ制御の目標値であるので、ＰＩＤ制御によって各制御対象機器２０（Ｔ）の制御を行いつつ、その目標値を都度、変更することができる。

なお、本変形例においては、制御パラメータはＰＩＤ制御の比例ゲインの値、積分ゲインの値、または、微分ゲインの値の少なくとも１つを示してもよい。この場合には、ＰＩＤ制御によって制御対象機器の制御を行いつつ、そのゲイン（本適用例ではコントローラＣ１～Ｃ４で用いられるゲイン）を都度、変更することができる。なお、目標値の設定は、オペレータによって適宜、行われてよい。

［３－３．適用例（３）］
図６は、システム１の適用例（３）を示す。

本適用例では一例として、バルブＢ１～Ｂ４のコントローラＣ１～Ｃ４は、それぞれ比例ゲインの値、積分ゲインの値、および、微分ゲインの値を含むゲインセットを２つ記憶しており、ＰＩＤ制御に使用するゲインセットを切り替えつつＰＩＤ制御を行う。各ゲインセットには、ゲインセットを識別するためのゲインセットＩＤが予め対応付けられている。

制御パラメータは、ゲインセットＩＤを示す。そのため、装置４の学習処理部４４は、各バルブＢ１～Ｂ４のＰＩＤ制御に使用するゲインセットのゲインセットＩＤを示す制御パラメータと、センサ２１ａ～２１ｊによって測定された測定データとを含む学習データを用いてモデル４５の学習処理を実行する。また、装置４の制御部４９は、各バルブＢ１～Ｂ４のＰＩＤ制御に使用するゲインセットのゲインセットＩＤを示す推奨制御パラメータをモデル４５から取得して、コントローラＣ１～Ｃ４を介してバルブＢ１～Ｂ４を制御する。例えば制御部４９は、取得したゲインセットＩＤをコントローラＣ１～Ｃ４に送信してよい。これにより、コントローラＣ１～Ｃ４は、受信したゲインセットＩＤに対応するゲインセットを特定し、そのゲインセット内の各ゲイン値を使用してＰＩＤ制御を行う。

以上の適用例によれば、制御パラメータで示される制御内容はＰＩＤ制御の各ゲインセットに予め対応付けられたゲインセットＩＤのうち、ＰＩＤ制御に使用するゲインセットのゲインセットＩＤであるので、ＰＩＤ制御によって制御対象機器２０（Ｔ）の制御を行いつつ、その各ゲインを都度、一括して変更することができる。これにより例えば、各状態（一例として通常運転状態と、天候急変状態とのそれぞれの状態など）に対応した各ゲインセットを予めコントローラＣ１～Ｃ４に記憶させておくことで、各ゲインを都度、現時点の状態に合わせて変更することができる。

なお、上記の適用例（１）～（３）では、設備２をプラント用の空調機とし、制御対象機器２０（Ｔ）をバルブＢ１～Ｂ４として説明したが、システム１の適用対象はこれに限らない。例えば、設備２は、複数の供給管および少なくとも１つの排出管に接続されたタンクと、何れかの管に設けられた制御対象機器２０としてのバルブと、各管の流量計やタンクの水位計などのセンサ２１などとを備えてよい。複数の供給管の少なくとも一部では、突発的に供給量が変動してよい。この場合に装置４の学習処理部４４は、センサ２１による測定データと、制御対象機器２０（Ｔ）としてのバルブの制御内容を示す制御パラメータとを含む学習データを用いてモデル４５の学習処理を実行してよい。学習処理に用いられる報酬値は、タンクの水位や排出管の流量が基準範囲内に維持されない場合には０にされてよく、基準範囲内に維持される場合には他の測定データに応じて増減されてよい。装置４の制御部４９は、バルブの制御内容を示す推奨制御パラメータをモデル４５から取得してバルブを制御してよい。

［４．変形例］
図７は、変形例に係るシステム１Ａを示す。

システム１Ａの装置４Ａは、学習処理部４４Ａと、モデル４５Ａと、供給部４６Ａと、推奨制御パラメータ取得部４７Ａと、制御部４９Ａとをさらに備える。

学習処理部４４Ａは、第２学習処理部の一例であり、測定データ取得部４０により取得された測定データと、制御パラメータ取得部４１により取得された制御パラメータとを含む学習データを用いてモデル４５Ａの学習処理を実行する。学習処理部４４Ａは、報酬値取得部４２からの報酬値を用いてモデル４５の学習処理を実行してよい。なお、本変形例において測定データ取得部４０は、第２取得部の一例でもあり、モデル４５Ａの学習処理に用いられる学習データに含まれる測定データを取得する。

学習処理部４４，４４Ａで用いられる学習データ内の各測定データは同じであってもよいし、少なくとも一部において異なっていてもよい。例えば、学習処理部４４，４４Ａで用いられる学習データの間では、測定したセンサ２１が異なっていてよい。学習処理部４４，４４Ａで用いられる学習データの間で少なくとも一部の測定データが異なる場合には、装置４Ａには、学習処理部４４に供給するための測定データを取得する測定データ取得部４０とは別個に、学習処理部４４Ａに供給するための測定データを取得する測定データ取得部（図示せず）が具備されてもよい。

学習処理部４４，４４Ａで用いられる学習データ内の制御パラメータは、同じ制御対象機器２０（Ｔ）の複数種類の制御内容のうち、互いに異なる制御内容を示してよい。例えば、学習処理部４４で用いられる学習データ内の制御パラメータが制御対象機器２０（Ｔ）の第１種類の制御内容を示す場合に、学習処理部４４Ａで用いられる学習データ内の制御パラメータは当該制御対象機器２０（Ｔ）の第２種類の制御内容を示してよい。

本実施形態では一例として、第１種類の制御内容は、制御対象機器２０（Ｔ）のフィードバック制御に使用するゲインセットのゲインセットＩＤであってもよいし、フィードバック制御の比例ゲインの値、積分ゲインの値、または、微分ゲインの値の少なくとも１つであってもよい。第２種類の制御内容は、フィードバック制御の目標値であってよい。

モデル４５Ａは、第２モデルの一例であり、測定データの入力に応じ、報酬値を高めるために推奨される制御内容を示す推奨制御パラメータを出力する。モデル４５Ａから出力される推奨制御パラメータは、上述の第２種類の制御内容を示してよい。

供給部４６Ａは、第２供給部の一例であり、測定データ取得部４０により取得された測定データをモデル４５Ａに供給する。

推奨制御パラメータ取得部４７Ａは、第２推奨制御パラメータ取得部の一例であり、測定データをモデル４５Ａに供給したことに応じてモデル４５Ａが出力する推奨制御パラメータを取得する。推奨制御パラメータ取得部４７Ａは、取得した推奨制御パラメータを制御部４９Ａに供給してよい。

制御部４９Ａは、第２制御部の一例であり、推奨制御パラメータ取得部４７Ａにより取得された推奨制御パラメータを用いて各制御対象機器２０（Ｔ）を制御する。制御部４９Ａは、異なる種類の制御内容を示す推奨制御パラメータを用いる以外には、制御部４９と同様にして制御を行ってよい。

以上のシステム１Ａによれば、モデル４５を用いてフィードバック制御により制御対象機器２０（Ｔ）の制御を行いつつ、その各ゲインを都度、変更するとともに、モデル４５Ａを用いてフィードバック制御の目標値を都度、変更することができる。

［５．その他の変形例］
なお、上記の実施形態および変形例では、システム１（またはシステム１Ａ）は単一の装置４（または装置４Ａ）を備えることとして説明したが、複数の装置４（または装置４Ａ）を備えてもよい。この場合には、各装置４（または装置４Ａ）の間で制御対象機器２０（Ｔ）が同じであってもよいし、異なってもよい。一例としてシステム１，１Ａには、機器２０毎に、当該機器２０を制御対象機器２０（Ｔ）とする装置４，４Ａが具備されてよい。

また、装置４は、制御パラメータ取得部４１と、報酬値取得部４２と、学習処理部４４と、モデル４５と、供給部４６と、推奨制御パラメータ取得部４７と、制御部４９とを有することとして説明したが、これらの少なくとも１つを有しないこととしても良い。装置４が学習処理部４４を有しない場合には、装置４は、モデル４５の学習処理を行わずに、学習処理後のモデル４５を用いて制御対象機器２０（Ｔ）の制御を行ってよい。装置４がモデル４５を有しない場合には、モデル４５は装置４の外部のサーバに格納されてもよい。装置４が供給部４６や推奨制御パラメータ取得部４７、制御部４９を有しない場合には、装置４はモデル４５を用いた制御対象機器２０（Ｔ）の制御を行わなくてよい。

同様に、装置４Ａは、制御パラメータ取得部４１と、報酬値取得部４２と、学習処理部４４，４４Ａと、モデル４５，４５Ａと、供給部４６，４６Ａと、推奨制御パラメータ取得部４７，４７Ａと、制御部４９，４９Ａとを有することとして説明したが、これらの少なくとも１つを有しないこととしても良い。

また、本発明の様々な実施形態は、フローチャートおよびブロック図を参照して記載されてよく、ここにおいてブロックは、（１）操作が実行されるプロセスの段階または（２）操作を実行する役割を持つ装置のセクションを表わしてよい。特定の段階およびセクションが、専用回路、コンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプログラマブル回路、およびコンピュータ可読媒体上に格納されるコンピュータ可読命令と共に供給されるプロセッサの少なくとも１つによって実装されてよい。専用回路は、デジタルおよびアナログの少なくとも一方のハードウェア回路を含んでよく、集積回路（ＩＣ）およびディスクリート回路の少なくとも一方を含んでよい。プログラマブル回路は、論理ＡＮＤ、論理ＯＲ、論理ＸＯＲ、論理ＮＡＮＤ、論理ＮＯＲ、および他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）等のようなメモリ要素等を含む、再構成可能なハードウェア回路を含んでよい。

コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよく、その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー（登録商標）ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、静的ランダムアクセスメモリ（ＳＲＡＭ）、コンパクトディスクリードオンリメモリ（ＣＤ-ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイ（ＲＴＭ）ディスク、メモリスティック、集積回路カード等が含まれてよい。

コンピュータ可読命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはＳｍａｌｌｔａｌｋ、ＪＡＶＡ（登録商標）、Ｃ＋＋等のようなオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語または同様のプログラミング言語のような従来の手続型プログラミング言語を含む、１または複数のプログラミング言語の任意の組み合わせで記述されたコードまたはオブジェクトコードのいずれかを含んでよい。

コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク（ＬＡＮ）、インターネット等のようなワイドエリアネットワーク（ＷＡＮ）を介して提供され、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。

図８は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ２２００の例を示す。コンピュータ２２００にインストールされたプログラムは、コンピュータ２２００に、本発明の実施形態に係る装置に関連付けられる操作または当該装置の１または複数のセクションとして機能させることができ、または当該操作または当該１または複数のセクションを実行させることができ、これに加えて、またはこれに代えて、コンピュータ２２００に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ２２００に、本明細書に記載のフローチャートおよびブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定の操作を実行させるべく、ＣＰＵ２２１２によって実行されてよい。

本実施形態によるコンピュータ２２００は、ＣＰＵ２２１２、ＲＡＭ２２１４、グラフィックコントローラ２２１６、およびディスプレイデバイス２２１８を含み、それらはホストコントローラ２２１０によって相互に接続されている。コンピュータ２２００はまた、通信インターフェイス２２２２、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６、およびＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ２２２０を介してホストコントローラ２２１０に接続されている。コンピュータはまた、ＲＯＭ２２３０およびキーボード２２４２のようなレガシの入出力ユニットを含み、それらは入出力チップ２２４０を介して入出力コントローラ２２２０に接続されている。

ＣＰＵ２２１２は、ＲＯＭ２２３０およびＲＡＭ２２１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。グラフィックコントローラ２２１６は、ＲＡＭ２２１４内に提供されるフレームバッファ等またはそれ自体の中にＣＰＵ２２１２によって生成されたイメージデータを取得し、イメージデータがディスプレイデバイス２２１８上に表示されるようにする。

通信インターフェイス２２２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ２２２４は、コンピュータ２２００内のＣＰＵ２２１２によって使用されるプログラムおよびデータを格納する。ＤＶＤ－ＲＯＭドライブ２２２６は、プログラムまたはデータをＤＶＤ－ＲＯＭ２２０１から読み取り、ハードディスクドライブ２２２４にＲＡＭ２２１４を介してプログラムまたはデータを提供する。ＩＣカードドライブは、プログラムおよびデータをＩＣカードから読み取り、これに加えて、またはこれに代えてプログラムおよびデータをＩＣカードに書き込む。

ＲＯＭ２２３０はその中に、アクティブ化時にコンピュータ２２００によって実行されるブートプログラム等、およびコンピュータ２２００のハードウェアに依存するプログラムの少なくとも１つを格納する。入出力チップ２２４０はまた、様々な入出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ２２２０に接続してよい。

プログラムが、ＤＶＤ－ＲＯＭ２２０１またはＩＣカードのようなコンピュータ可読媒体によって提供される。プログラムは、コンピュータ可読媒体から読み取られ、コンピュータ可読媒体の例でもあるハードディスクドライブ２２２４、ＲＡＭ２２１４、またはＲＯＭ２２３０にインストールされ、ＣＰＵ２２１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ２２００に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ２２００の使用に従い情報の操作または処理を実現することによって構成されてよい。

例えば、通信がコンピュータ２２００および外部デバイス間で実行される場合、ＣＰＵ２２１２は、ＲＡＭ２２１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インターフェイス２２２２に対し、通信処理を命令してよい。通信インターフェイス２２２２は、ＣＰＵ２２１２の制御下、ＲＡＭ２２１４、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭ２２０１、またはＩＣカードのような記録媒体内に提供される送信バッファ処理領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信された受信データを記録媒体上に提供される受信バッファ処理領域等に書き込む。

また、ＣＰＵ２２１２は、ハードディスクドライブ２２２４、ＤＶＤ－ＲＯＭドライブ２２２６（ＤＶＤ－ＲＯＭ２２０１）、ＩＣカード等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がＲＡＭ２２１４に読み取られるようにし、ＲＡＭ２２１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ２２１２は次に、処理されたデータを外部記録媒体にライトバックする。

様々なタイプのプログラム、データ、テーブル、およびデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ２２１２は、ＲＡＭ２２１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプの操作、情報処理、条件判断、条件分岐、無条件分岐、情報の検索，置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ２２１４に対しライトバックする。また、ＣＰＵ２２１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ２２１２は、第１の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。

上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ２２００上またはコンピュータ２２００近傍のコンピュータ可読媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはＲＡＭのような記録媒体が、コンピュータ可読媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ２２００に提供する。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１ システム、２ 設備、４ 装置、２０ 機器、２１ センサ、４０ 測定データ取得部、４１ 制御パラメータ取得部、４２ 報酬値取得部、４４ 学習処理部、４５ モデル、４６ 供給部、４７ 推奨制御パラメータ取得部、４９ 制御部、２００ ダクト、２２００ コンピュータ、２２０１ ＤＶＤ－ＲＯＭ、２２１０ ホストコントローラ、２２１２ ＣＰＵ、２２１４ ＲＡＭ、２２１６ グラフィックコントローラ、２２１８ ディスプレイデバイス、２２２０ 入出力コントローラ、２２２２ 通信インターフェイス、２２２４ ハードディスクドライブ、２２２６ ＤＶＤ－ＲＯＭドライブ、２２３０ ＲＯＭ、２２４０ 入出力チップ、２２４２ キーボード

Claims (11)

1. センサによって測定された測定データを取得する第１取得部および第２取得部と、
   前記第１取得部により取得された測定データと、少なくとも１つの制御対象機器の第１種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される前記第１種類の制御内容を示す推奨制御パラメータを出力する第１モデルの学習処理を実行する第１学習処理部と、
   前記第２取得部により取得された測定データと、前記少なくとも１つの制御対象機器の第２種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、前記報酬値を高めるために推奨される前記第２種類の制御内容を示す推奨制御パラメータを出力する第２モデルの学習処理を実行する第２学習処理部と、
   を備え、
   各制御対象機器は、ＰＩ制御、ＰＤ制御およびＰＩＤ制御のうち何れかのフィードバック制御によって制御されており、
   前記第１種類の制御内容は、前記少なくとも１つの制御対象機器のフィードバック制御の比例ゲインの値と、積分ゲインの値、または、微分ゲインの値の少なくとも一方とを含む各ゲインセットに予め対応付けられた識別情報のうち、フィードバック制御に使用するゲインセットの識別情報であり、
   前記第２種類の制御内容は、前記少なくとも１つの制御対象機器のフィードバック制御の目標値であり、
   前記第１取得部は、少なくとも１種類の測定データを含む第１群の測定データと、少なくとも１種類の測定データを含む第２群の測定データとをそれぞれ取得し、
   前記第１学習処理部で用いられる前記報酬関数は、
   前記第１群の測定データの少なくとも１つが基準条件を満たさない場合には、前記第２群の測定データのそれぞれの値に関わらず前記報酬値を０とし、
   前記第１群の測定データのそれぞれが基準条件を満たす場合には、前記第２群の測定データのそれぞれの値に応じて前記報酬値を増減させる装置。
2. センサによって測定された測定データを取得する第１取得部および第２取得部と、
   前記第１取得部により取得された測定データと、少なくとも１つの制御対象機器の第１種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される前記第１種類の制御内容を示す推奨制御パラメータを出力する第１モデルの学習処理を実行する第１学習処理部と、
   前記第２取得部により取得された測定データと、前記少なくとも１つの制御対象機器の第２種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、前記報酬値を高めるために推奨される前記第２種類の制御内容を示す推奨制御パラメータを出力する第２モデルの学習処理を実行する第２学習処理部と、
   を備え、
   各制御対象機器は、Ｐ制御、ＰＩ制御、ＰＤ制御およびＰＩＤ制御のうち何れかのフィードバック制御によって制御されており、
   前記第１種類の制御内容は、前記少なくとも１つの制御対象機器のフィードバック制御の比例ゲインの値、積分ゲインの値、または、微分ゲインの値の少なくとも１つであり、
   前記第２種類の制御内容は、前記少なくとも１つの制御対象機器のフィードバック制御の目標値であり、
   前記第１取得部は、少なくとも１種類の測定データを含む第１群の測定データと、少なくとも１種類の測定データを含む第２群の測定データとをそれぞれ取得し、
   前記第１学習処理部で用いられる前記報酬関数は、
   前記第１群の測定データの少なくとも１つが基準条件を満たさない場合には、前記第２群の測定データのそれぞれの値に関わらず前記報酬値を０とし、
   前記第１群の測定データのそれぞれが基準条件を満たす場合には、前記第２群の測定データのそれぞれの値に応じて前記報酬値を増減させる装置。
3. 前記第１群の測定データは、前記少なくとも１つの制御対象機器を含む設備の運転状態を示し、
   前記第２群の測定データは、前記設備によるエネルギーまたは原材料の少なくとも一方の消費量を示す、請求項１または２に記載の装置。
   
4. 前記第１モデルに対し、前記第１取得部により取得された前記測定データを供給する第１供給部と、
   前記測定データを前記第１モデルに供給したことに応じて前記第１モデルが出力する前記推奨制御パラメータを取得する第１推奨制御パラメータ取得部と、
   前記第１推奨制御パラメータ取得部により取得された前記推奨制御パラメータを用いて前記少なくとも１つの制御対象機器を制御する第１制御部と、
   をさらに備える請求項１から３の何れか一項に記載の装置。
5. 前記第２モデルに対し、前記第２取得部により取得された前記測定データを供給する第２供給部と、
   前記測定データを前記第２モデルに供給したことに応じて前記第２モデルが出力する前記推奨制御パラメータを取得する第２推奨制御パラメータ取得部と、
   前記第２推奨制御パラメータ取得部により取得された前記推奨制御パラメータを用いて前記少なくとも１つの制御対象機器を制御する第２制御部と、
   をさらに備える、請求項４に記載の装置。
6. 前記第１取得部は、前記少なくとも１つの制御対象機器に対する外乱として作用し得る物理量を示す前記測定データを取得する、請求項１から５のいずれか一項に記載の装置。
7. 前記第１取得部は、前記少なくとも１つの制御対象機器を含む設備によるエネルギーまたは原材料の少なくとも一方の消費量を示す前記測定データを取得する、請求項１から６のいずれか一項に記載の装置。
8. センサによって測定された測定データを取得する第１取得段階および第２取得段階と、
   前記第１取得段階により取得された測定データと、少なくとも１つの制御対象機器の第１種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される前記第１種類の制御内容を示す推奨制御パラメータを出力する第１モデルの学習処理を実行する第１学習処理段階と、
   前記第２取得段階により取得された測定データと、前記少なくとも１つの制御対象機器の第２種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、前記報酬値を高めるために推奨される前記第２種類の制御内容を示す推奨制御パラメータを出力する第２モデルの学習処理を実行する第２学習処理段階と、
   を備え、
   各制御対象機器は、ＰＩ制御、ＰＤ制御およびＰＩＤ制御のうち何れかのフィードバック制御によって制御されており、
   前記第１種類の制御内容は、前記少なくとも１つの制御対象機器のフィードバック制御の比例ゲインの値と、積分ゲインの値、または、微分ゲインの値の少なくとも一方とを含む各ゲインセットに予め対応付けられた識別情報のうち、フィードバック制御に使用するゲインセットの識別情報であり、
   前記第２種類の制御内容は、前記少なくとも１つの制御対象機器のフィードバック制御の目標値であり、
   前記第１取得段階では、少なくとも１種類の測定データを含む第１群の測定データと、少なくとも１種類の測定データを含む第２群の測定データとをそれぞれ取得し、
   前記第１学習処理段階で用いられる前記報酬関数は、
   前記第１群の測定データの少なくとも１つが基準条件を満たさない場合には、前記第２群の測定データのそれぞれの値に関わらず前記報酬値を０とし、
   前記第１群の測定データのそれぞれが基準条件を満たす場合には、前記第２群の測定データのそれぞれの値に応じて前記報酬値を増減させる方法。
9. センサによって測定された測定データを取得する第１取得段階および第２取得段階と、
   前記第１取得段階により取得された測定データと、少なくとも１つの制御対象機器の第１種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される前記第１種類の制御内容を示す推奨制御パラメータを出力する第１モデルの学習処理を実行する第１学習処理段階と、
   前記第２取得段階により取得された測定データと、前記少なくとも１つの制御対象機器の第２種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、前記報酬値を高めるために推奨される前記第２種類の制御内容を示す推奨制御パラメータを出力する第２モデルの学習処理を実行する第２学習処理段階と、
   を備え、
   各制御対象機器は、Ｐ制御、ＰＩ制御、ＰＤ制御およびＰＩＤ制御のうち何れかのフィードバック制御によって制御されており、
   前記第１種類の制御内容は、前記少なくとも１つの制御対象機器のフィードバック制御の比例ゲインの値、積分ゲインの値、または、微分ゲインの値の少なくとも１つであり、
   前記第２種類の制御内容は、前記少なくとも１つの制御対象機器のフィードバック制御の目標値であり、
   前記第１取得段階では、少なくとも１種類の測定データを含む第１群の測定データと、少なくとも１種類の測定データを含む第２群の測定データとをそれぞれ取得し、
   前記第１学習処理段階で用いられる前記報酬関数は、
   前記第１群の測定データの少なくとも１つが基準条件を満たさない場合には、前記第２群の測定データのそれぞれの値に関わらず前記報酬値を０とし、
   前記第１群の測定データのそれぞれが基準条件を満たす場合には、前記第２群の測定データのそれぞれの値に応じて前記報酬値を増減させる方法。
10. コンピュータに、
    センサによって測定された測定データを取得する第１取得部および第２取得部と、
    前記第１取得部により取得された測定データと、少なくとも１つの制御対象機器の第１種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される前記第１種類の制御内容を示す推奨制御パラメータを出力する第１モデルの学習処理を実行する第１学習処理部と、
    前記第２取得部により取得された測定データと、前記少なくとも１つの制御対象機器の第２種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、前記報酬値を高めるために推奨される前記第２種類の制御内容を示す推奨制御パラメータを出力する第２モデルの学習処理を実行する第２学習処理部
    として機能させ、
    各制御対象機器は、ＰＩ制御、ＰＤ制御およびＰＩＤ制御のうち何れかのフィードバック制御によって制御されており、
    前記第１種類の制御内容は、前記少なくとも１つの制御対象機器のフィードバック制御の比例ゲインの値と、積分ゲインの値、または、微分ゲインの値の少なくとも一方とを含む各ゲインセットに予め対応付けられた識別情報のうち、フィードバック制御に使用するゲインセットの識別情報であり、
    前記第２種類の制御内容は、前記少なくとも１つの制御対象機器のフィードバック制御の目標値であり、
    前記第１取得部は、少なくとも１種類の測定データを含む第１群の測定データと、少なくとも１種類の測定データを含む第２群の測定データとをそれぞれ取得し、
    前記第１学習処理部で用いられる前記報酬関数は、
    前記第１群の測定データの少なくとも１つが基準条件を満たさない場合には、前記第２群の測定データのそれぞれの値に関わらず前記報酬値を０とし、
    前記第１群の測定データのそれぞれが基準条件を満たす場合には、前記第２群の測定データのそれぞれの値に応じて前記報酬値を増減させるプログラム。
11. コンピュータに、
    センサによって測定された測定データを取得する第１取得部および第２取得部と、
    前記第１取得部により取得された測定データと、少なくとも１つの制御対象機器の第１種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、予め設定された報酬関数により定まる報酬値を高めるために推奨される前記第１種類の制御内容を示す推奨制御パラメータを出力する第１モデルの学習処理を実行する第１学習処理部と、
    前記第２取得部により取得された測定データと、前記少なくとも１つの制御対象機器の第２種類の制御内容を示す制御パラメータとを含む学習データを用いて、測定データの入力に応じ、前記報酬値を高めるために推奨される前記第２種類の制御内容を示す推奨制御パラメータを出力する第２モデルの学習処理を実行する第２学習処理部
    として機能させ、
    各制御対象機器は、Ｐ制御、ＰＩ制御、ＰＤ制御およびＰＩＤ制御のうち何れかのフィードバック制御によって制御されており、
    前記第１種類の制御内容は、前記少なくとも１つの制御対象機器のフィードバック制御の比例ゲインの値、積分ゲインの値、または、微分ゲインの値の少なくとも１つであり、
    前記第２種類の制御内容は、前記少なくとも１つの制御対象機器のフィードバック制御の目標値であり、
    前記第１取得部は、少なくとも１種類の測定データを含む第１群の測定データと、少なくとも１種類の測定データを含む第２群の測定データとをそれぞれ取得し、
    前記第１学習処理部で用いられる前記報酬関数は、
    前記第１群の測定データの少なくとも１つが基準条件を満たさない場合には、前記第２群の測定データのそれぞれの値に関わらず前記報酬値を０とし、
    前記第１群の測定データのそれぞれが基準条件を満たす場合には、前記第２群の測定データのそれぞれの値に応じて前記報酬値を増減させるプログラム。