JP7090243B2 - プラント運転条件設定支援システム、学習装置、及び運転条件設定支援装置 - Google Patents
プラント運転条件設定支援システム、学習装置、及び運転条件設定支援装置 Download PDFInfo
- Publication number
- JP7090243B2 JP7090243B2 JP2018089972A JP2018089972A JP7090243B2 JP 7090243 B2 JP7090243 B2 JP 7090243B2 JP 2018089972 A JP2018089972 A JP 2018089972A JP 2018089972 A JP2018089972 A JP 2018089972A JP 7090243 B2 JP7090243 B2 JP 7090243B2
- Authority
- JP
- Japan
- Prior art keywords
- control
- control device
- devices
- value
- condition setting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 claims description 51
- 230000009471 action Effects 0.000 claims description 38
- 230000008569 process Effects 0.000 claims description 36
- 238000005259 measurement Methods 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 33
- 230000002787 reinforcement Effects 0.000 claims description 25
- 230000000694 effects Effects 0.000 claims description 4
- ATUOYWHBWRKTHZ-UHFFFAOYSA-N Propane Chemical compound CCC ATUOYWHBWRKTHZ-UHFFFAOYSA-N 0.000 description 52
- 239000001294 propane Substances 0.000 description 26
- 238000013528 artificial neural network Methods 0.000 description 18
- 230000006399 behavior Effects 0.000 description 14
- 230000007423 decrease Effects 0.000 description 11
- 239000007788 liquid Substances 0.000 description 9
- 239000003507 refrigerant Substances 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000002452 interceptive effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 239000003795 chemical substances by application Substances 0.000 description 3
- 230000003542 behavioural effect Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000001816 cooling Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000010438 heat treatment Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4185—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the network communication
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B19/00—Programme-control systems
- G05B19/02—Programme-control systems electric
- G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
- G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B5/00—Anti-hunting arrangements
- G05B5/01—Anti-hunting arrangements electric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/32—Operator till task planning
- G05B2219/32187—Correlation between controlling parameters for influence on quality parameters
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Automation & Control Theory (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Manufacturing & Machinery (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Feedback Control In General (AREA)
Description
本発明は、プラントの運転条件の設定を支援するためのプラント運転条件設定支援システム、及びそのプラント運転条件設定支援システムに利用可能な学習装置及び運転条件設定支援装置に関する。
化学製品や工業製品などを生産するためのプラントにおいては、反応器や加熱炉などの多数の装置により一連のプロセスが実行されており、多数の装置のそれぞれを制御するための多数の操作量によりプロセス状態が変化する。多段階のプロセスが実行されるプラントにおいては、多数の操作量が複雑に相互作用しうるため、操作量の変更による影響を予測することは容易ではなく、熟練したオペレータにより、操作量を決定するための制御装置調整パラメータが設定されてプラントが運転されている。
このような相互干渉しうる複数の制御系を含むプラントを制御する技術として、例えば、特許文献１及び特許文献２に記載された技術が提案されている。
特許文献１には、３系列以上の制御ループの間に各制御ループ間の相互干渉を打ち消す非干渉要素を備える技術が開示されている。この非干渉要素は、各制御ループの伝達関数および他の制御ループから干渉してくる干渉要素の伝達関数をむだ時間を含んだ一次遅れ系の応答形に近似して算出したものである。
特許文献２には、操作弁の弁開度と、その弁開度に応じて変化するプロセスの状態を表す変数との関係を、定常状態での方程式で構築し、当該方程式により操作弁ごとに導出した解析解式に基づいて、操作弁の目標の弁開度であるＣＶ値を算出し、検知した値に応じた操作弁の現状の弁開度であるＣＶ値を算出するとともに、２つのＣＶ値の偏差ｅを算出し、偏差ｅに基づいてプロセスの状態をフィードバック制御する技術が開示されている。
複数の制御系のそれぞれにおけるプロセス値の挙動を数学的に精度良く近似するのは困難である上、複雑に相互作用しうる複数の制御系に予測不可能な外乱が発生したときのプラント値の挙動を、それらの数学的な近似表現から精度良く予測するのは、更に困難である。プラントの挙動を不安定化しうる外乱が発生した場合であっても、プラントを安定的に運転することを可能とする技術が求められる。
本発明は、こうした状況を鑑みてなされたものであり、その目的は、プラントの安定的な運転を実現する技術を提供することにある。
上記課題を解決するために、本発明のある態様のプラント運転条件設定支援システムは、複数の装置により構成されるプロセスを実行するプラントの運転条件の設定を支援するためのプラント運転条件設定支援システムであって、複数の装置のうちの１以上の制御対象装置をそれぞれフィードバック制御する複数の制御装置と、複数のフィードバック制御をそれぞれ独立して行う複数の制御装置の設定を統括的に支援する運転条件設定支援装置と、を備える。複数の制御装置は、それぞれ、制御対象装置の状態を示す計測値を取得する計測値取得部と、制御対象装置へ入力する制御操作量を決定するための制御装置調整パラメータを取得する制御装置調整パラメータ取得部と、計測値取得部により取得された計測値と、制御装置調整パラメータ取得部により取得された制御装置調整パラメータに基づいて、制御操作量を決定する制御操作量決定部と、制御操作量決定部により決定された制御操作量を制御対象装置へ入力する制御操作量入力部と、を備える。運転条件設定支援装置は、複数の制御装置によりそれぞれ制御される複数の制御対象装置の状態を示す複数の計測値を取得する複数計測値取得部と、深層強化学習により獲得された方策により、複数計測値取得部により取得された複数の計測値に基づいて、複数の制御装置のそれぞれが複数の制御対象装置に入力すべき制御操作量を決定するために使用する複数の制御装置調整パラメータを決定する制御装置調整パラメータ決定部と、を備える。
制御装置調整パラメータ決定部は、プラントが運転されるときの制御対象装置の計測値、制御目標値、及び制御操作量と、それらを評価して安定度指数として数値化した報酬値と、制御操作量が決定されるときに使用される制御装置調整パラメータとに基づいた、複数の制御装置調整パラメータを決定するための方策を獲得するための深層強化学習によって獲得された方策により、複数の制御装置調整パラメータを決定してもよい。
深層強化学習を実行する学習装置を更に備えてもよい。学習装置は、複数の制御対象装置の状態を示す複数の計測値を取得し、複数の制御装置がそれぞれ使用する複数の制御装置調整パラメータを出力する行動決定部と、行動決定部により出力された制御装置調整パラメータを使用して複数の制御装置が複数の制御対象装置を制御したときの複数の制御対象装置の状態を示す複数の計測値と、使用された制御装置調整パラメータとの対の価値を算出するための価値関数部と、を備えてもよい。複数の制御対象装置が複数の計測値により示される状態にあるときに、制御装置調整パラメータ決定部により制御対象装置に入力される制御装置調整パラメータが決定され、決定された制御装置調整パラメータを使用して複数の制御装置が決定した制御操作量が複数の制御対象装置に入力されて複数の制御対象装置の状態が更新され、その後も最適な制御装置調整パラメータが選択され続けた場合に得られるであろう報酬値の期待値と、価値関数部により算出される価値との誤差が小さくなるように、価値関数部が学習されてもよい。
報酬値は、プロセスの状態の良否を安定度指数として数値化したものであってもよい。
報酬値は、複数の計測値と制御目標値との差が小さいこと、複数の計測値が振動していないこと、又は複数の計測値が安定化するまでの所要時間が短いことを基準として、プロセスの状態の良否を安定度指数として数値化したものであってもよい。
制御装置調整パラメータ決定部は、プラントの運転が起動又は停止されたときの計測値及び制御操作量と制御装置調整パラメータとを使用した深層強化学習によって獲得された方策により、プラントの運転を起動又は停止するときの複数の制御装置調整パラメータを決定してもよい。
制御装置調整パラメータ決定部は、プラントの運転中に外乱が発生したとき又は運転条件が変更されたときの計測値及び制御操作量と制御装置調整パラメータとを使用した深層強化学習によって獲得された方策により、プラントの運転中に外乱が発生したとき又は運転条件が変更されるときの複数の制御装置調整パラメータを決定してもよい。
運転条件設定支援装置は、深層強化学習により獲得された方策に基づいて、制御装置が自動的に制御操作量を制御対象装置へ入力する自動モードと、制御装置がオペレータから制御操作量の指示を受け付けて制御対象装置へ入力する手動モードのいずれのモードで制御すべきかを制御装置に指示するモード切替部を更に備えてもよい。
運転条件設定支援装置は、制御装置調整パラメータ決定部により決定された複数の制御装置調整パラメータを、それぞれの制御装置へ通知し、制御装置は、運転条件設定支援装置から通知された制御装置調整パラメータを制御装置調整パラメータ取得部により取得してもよい。
運転条件設定支援装置は、制御装置調整パラメータ決定部により決定された複数の制御装置調整パラメータを、オペレータに提示し、制御装置は、オペレータにより入力された制御装置調整パラメータを制御装置調整パラメータ取得部により取得してもよい。
本発明の別の態様は、運転条件設定支援装置である。この装置は、プラントにおいて実行されるプロセスを構成する複数の装置のうちの１以上の制御対象装置をそれぞれフィードバック制御する複数の制御装置の設定を統括的に支援する運転条件設定支援装置において、複数の制御装置によりそれぞれ制御される複数の制御対象装置の状態を示す複数の計測値を取得する複数計測値取得部と、深層強化学習により獲得された方策により、複数計測値取得部により取得された複数の計測値に基づいて、複数の制御装置のそれぞれが複数の制御対象装置に入力すべき制御操作量を決定するために使用する複数の制御装置調整パラメータを決定する制御装置調整パラメータ決定部と、を備える。
本発明のさらに別の態様は、学習装置である。この装置は、プラントにおいて実行されるプロセスを構成する複数の制御対象装置の状態を示す複数の計測値を取得し、複数の制御対象装置をそれぞれ自動フィードバック制御する複数の制御装置がそれぞれ使用する複数の制御装置調整パラメータを出力する行動決定部と、行動決定部により出力された制御装置調整パラメータを使用して複数の制御装置が複数の制御対象装置を制御したときの複数の制御対象装置の状態を示す複数の計測値と、使用された制御装置調整パラメータとの対の価値を算出するための価値関数部と、を備える。複数の制御対象装置が複数の計測値により示される状態にあるときに、制御対象装置に入力される制御装置調整パラメータが決定され、決定された制御装置調整パラメータを使用して複数の制御装置が決定した制御操作量が複数の制御対象装置に入力されて複数の制御対象装置の状態が更新され、その後も最適な制御装置調整パラメータが選択され続けた場合に得られるであろう報酬値の期待値と、価値関数部により算出される価値との誤差が小さくなるように、価値関数部が学習される。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、プラントの安定的な運転を実現する技術を提供することができる。
図１は、実施の形態に係るプラント運転条件設定支援システムの全体構成を示す。プラント３の運転条件の設定を支援するためのプラント運転条件設定支援システム１は、化学製品や工業製品などを生産するためのプラント３と、プラント３の運転条件の設定のために使用される複数の制御装置調整パラメータを決定するための方策を獲得するための深層強化学習を実行する学習装置２とを備える。プラント３は、プラント３において実行されるプロセスを構成する制御対象装置１０と、１以上の制御対象装置１０をそれぞれフィードバック制御する複数の制御装置２０と、複数のフィードバック制御をそれぞれ独立して行う複数の制御装置２０の設定を統括的に支援する運転条件設定支援装置３０とを備える。運転条件設定支援装置３０は、学習装置２において実行される深層強化学習によって獲得された方策により、複数の制御装置２０が複数の制御対象装置１０に入力する制御操作量を決定するためにそれぞれ使用する複数の制御装置調整パラメータを決定する。
図２は、制御対象プロセスの一例であるコンプレッサーシステムの構成例を示す。本図に示したコンプレッサーシステムは、プロセスを構成する複数の制御対象装置１０として、プロパン冷媒により冷却対象を冷却するための熱交換器、熱交換器において蒸発したプロパンガスを圧縮するプロパンコンプレッサーなどを含み、複数の制御対象装置１０をそれぞれ独立して自動制御する制御装置２０として、液面コントローラＬＣ、圧力コントローラＰＣ、回転数コントローラＳＣ、アンチサージコントローラＡＳＣなどのＰＩＤコントローラを含む。
液面コントローラＬＣは、熱交換器におけるプロパン冷媒の液面レベルを一定に保つために、プロパン冷媒の液面レベルに応じてプロパン冷媒の供給バルブの開度を制御する。圧力コントローラＰＣは、プロパンコンプレッサーに導入されるプロパンガスの圧力を一定に保つために、熱交換器から蒸発したプロパンガスの圧力に応じて回転数コントローラＳＣを制御する。回転数コントローラＳＣは、圧力コントローラＰＣからの指令を受けて、プロパンコンプレッサーに導入されるプロパンガスの圧力を調整するためのガスタービンＧＴの回転数を制御する。アンチサージコントローラＡＳＣは、プロパンコンプレッサーにおけるサージングの発生を抑制するために、プロパンコンプレッサーの出口におけるプロパンガスの圧力に応じてアンチサージバルブの開度を制御する。これらのＰＩＤコントローラのうち、回転数コントローラＳＣは、圧力コントローラＰＣからの指令を受けて動作するが、それ以外の３個のＰＩＤコントローラは、それぞれ独立して制御対象装置１０を自動制御する。
このコンプレッサーシステムにおいて、外乱などに起因して冷却対象の量が急激に減少すると、冷熱消費量が減少するので熱交換器におけるプロパンの蒸発量が減少し、プロパン冷媒の液面レベルが上昇する。このとき、液面コントローラＬＣは、バルブの開度を減少させ、プロパン冷媒の流入量を減少させて、プロパン冷媒の液面を一定に保つ。プロパンの蒸発量が減少すると、圧力コントローラＰＣに入力される圧力の計測値が減少するので、圧力コントローラＰＣが回転数コントローラＳＣにガスタービンＧＴの回転数の減少を指示する。
ところが、ガスタービンＧＴの回転数が減少されたことにより、プロパンコンプレッサーに導入されるプロパンガスの圧力が減少すると、アンチサージコントローラＡＳＣに入力される圧力の計測値が減少するので、アンチサージコントローラＡＳＣが、プロパンコンプレッサーにおけるサージングの発生を回避するために、アンチサージバルブの開度を増加させる。これにより、圧力コントローラＰＣに入力される圧力の計測値が増加するので、圧力コントローラＰＣが回転数コントローラＳＣにガスタービンＧＴの回転数の増加を指示する。
ガスタービンＧＴの回転数が増加されたことにより、プロパンコンプレッサーに導入されるプロパンガスの圧力が増加すると、アンチサージコントローラＡＳＣに入力される圧力の計測値が増加するので、アンチサージコントローラＡＳＣは、アンチサージバルブの開度を減少させる。これにより、圧力コントローラＰＣに入力される圧力の計測値が減少するので、再び圧力コントローラＰＣが回転数コントローラＳＣにガスタービンＧＴの回転数の減少を指示する。
このように、複数の制御装置２０によりそれぞれ独立して自動フィードバック制御される複数の制御系を含むプロセスにおいて、それぞれの自動フィードバック制御による影響が相互に干渉しうる場合には、逆方向の制御が周期的に繰り返されてハンチングを生じるなど、挙動が不安定になる可能性がある。このような場合であっても、それぞれのＰＩＤコントローラに適切なＰＩＤパラメータが設定されていれば、いずれ安定した動作に収束することが期待されるが、振動の契機となった外乱や運転条件変更による変化が多大又は急激であった場合などには、安定した動作に収束するまでに長い時間を要したり、ハンチングが残ったりする場合がありうる。
図３は、従来のプラントにおける制御方法を模式的に示す。プラントにおいて実行されるプロセス１２は、複数の制御対象装置１０ａ、１０ｂ、・・・、１０ｎにより構成され、複数の制御対象装置１０ａ、１０ｂ、・・・、１０ｎは、それぞれ制御装置２０ａ、２０ｂ、・・・、２０ｎにより制御される。図２に示した例で言うと、複数の制御対象装置１０ａ、１０ｂ、・・・、１０ｎは、熱交換器、プロパンコンプレッサーなどであり、複数の制御装置２０ａ、２０ｂ、・・・、２０ｎは、液面コントローラＬＣ、圧力コントローラＰＣ、回転数コントローラＳＣ、アンチサージコントローラＡＳＣなどである。
従来のプラントにおいては、複数の制御装置２０がＰＩＤ制御のために使用する、比例ゲイン（Ｐゲイン）、積分ゲイン（Ｉゲイン）、微分ゲイン（Ｄゲイン）の３種類の制御装置調整パラメータ（以下、「ＰＩＤパラメータ」ともいう）は、それらを変更することによる影響を予測することが困難であったため、ほとんど変更されることがなく、変更が必要である場合には、オペレータによりそれぞれの制御装置２０に入力されていた。したがって、外乱などに起因してプロセス１２の状態が不安定になった場合には、オペレータが適切なＰＩＤパラメータをそれぞれの制御装置２０に入力することにより、相互干渉する複数の制御装置２０ａ、２０ｂ、・・・、２０ｎの自動制御を安定化させる必要があり、安定な運転に収束するまでに要する時間は、オペレータの経験と技能に依存していた。
図４は、実施の形態に係る運転条件設定支援装置の構成を模式的に示す。運転条件設定支援装置３０は、後述するように、学習装置２における深層強化学習により獲得された方策にしたがって、複数の制御装置２０に入力すべきＰＩＤパラメータを決定する。この方策は、複数の制御対象装置１０の状態を示す複数の計測値、複数の制御対象装置１０の制御対象値の目標値、及び複数の制御対象装置１０に入力されている複数の制御操作量の値から、ＰＩＤパラメータとして設定可能な複数の値の組合せにおける価値を算出する行動価値関数に基づいて、価値を最大とするＰＩＤパラメータを決定するものである。行動価値関数は、プロセス全体を安定的に制御しながら制御対象値を迅速に目標値に近づけることを可能とするＰＩＤパラメータに対して高い価値を算出するように、学習装置２により学習される。別の例では、ＰＩＤパラメータを決定するために使用される行動価値関数は、ＰＩＤパラメータとして設定可能な複数の値の組合せの価値を算出するために、計測値、制御対象値の目標値、制御操作量の値に加えて、又は、それらのうちのいずれかに代えて、他のパラメータの値を使用してもよい。例えば、現在又は過去のＰＩＤパラメータの値や、外乱因子を表すパラメータの値などが使用されてもよいし、上記のいずれかのパラメータの絶対値に加えて、又は絶対値に代えて、それらのパラメータの変化率又は変化量が使用されてもよい。
運転条件設定支援装置３０により決定された複数のＰＩＤパラメータがオペレータに提示され、オペレータが提示された複数のＰＩＤパラメータを参照して制御装置２０にＰＩＤパラメータを入力してもよいし、運転条件設定支援装置３０から直接制御装置２０にＰＩＤパラメータが入力されてもよい。これにより、オペレータの労力を大幅に低減させることができるとともに、オペレータの経験や技能によらずプラント３を安定的に運転することができる。
図５は、実施の形態に係る運転条件設定装置及び制御装置の構成を示す。制御装置２０は、制御部２１及び操作パネル２２を備える。
操作パネル２２は、プラント３を構成する複数の制御対象装置１０の状態を示す複数の計測値と、制御装置２０により制御対象装置１０に設定された制御操作量の設定値と、制御装置２０に設定されたＰＩＤパラメータの値と、プラント３の運転結果を示す出力の計測値を表示装置に表示するとともに、ＰＩＤパラメータの値の入力をオペレータから受け付ける。
制御装置２０は、計測値取得部２３、目標値取得部２４、ＰＩＤパラメータ取得部２５、制御操作量決定部２６、制御操作量入力部２７を備える。これらの構成は、ハードウエアコンポーネントでいえば、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
計測値取得部２３は、制御対象装置１０の状態を示す計測値を取得する。目標値取得部２４は、制御対象装置１０の制御対象値の目標値が可変である場合に、その目標値を取得する。例えば、図２に示した例において、熱交換器におけるプロパン冷媒の液面レベルの目標値は所定値に固定されているが、ガスタービンの回転数の目標値は圧力コントローラＬＣにより可変に制御されるので、目標値取得部２４は、圧力コントローラＬＣからガスタービンの回転数の目標値を取得する。
ＰＩＤパラメータ取得部２５は、制御対象装置１０に入力する制御操作量を決定するために使用するＰＩＤパラメータを取得する。運転条件設定支援装置３０が自動的にＰＩＤパラメータを制御装置２０へ入力する自動モードにおいては、運転条件設定支援装置３０は、決定された複数のＰＩＤパラメータをそれぞれの制御装置２０へ通知し、制御装置２０は、運転条件設定支援装置３０から通知されたＰＩＤパラメータをＰＩＤパラメータ取得部２５により直接取得する。オペレータがＰＩＤパラメータを制御装置２０へ入力する手動モードにおいては、運転条件設定支援装置３０は、決定された複数のＰＩＤパラメータを、操作パネル２２を介してオペレータに提示し、制御装置２０は、オペレータにより入力されたＰＩＤパラメータをＰＩＤパラメータ取得部２５により取得する。
制御操作量決定部２６は、計測値取得部２３により取得された計測値と、目標値取得部２４により取得された目標値と、ＰＩＤパラメータ取得部２５により取得されたＰＩＤパラメータとに基づいて、制御対象装置１０に設定すべき制御操作量を決定する。制御操作量決定部２６は、既知の任意のＰＩＤ制御技術を利用して、制御操作量を決定してもよい。制御操作量入力部２７は、制御操作量決定部２６により決定された制御操作量を制御対象装置１０へ入力する。
運転条件設定支援装置３０は、制御部３１を備える。制御部３１は、複数計測値取得部３２、ＰＩＤパラメータ決定部３３、ＰＩＤパラメータ出力部３４、モード切替部３５、方策更新部３６を備える。これらの構成も、ハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できる。
複数計測値取得部３２は、複数の制御装置２０によりそれぞれ制御される複数の制御対象装置１０の状態を示す複数の計測値を取得する。複数計測値取得部３２は、運転条件設定支援装置３０が統括する複数の制御装置２０により制御される全ての制御対象装置１０の状態を示す全ての計測値を取得する。
ＰＩＤパラメータ決定部３３は、複数計測値取得部３２により取得された複数の計測値に基づいて、複数の制御装置２０のそれぞれが複数の制御対象装置１０に入力すべき制御操作量を決定するために使用する複数のＰＩＤパラメータを決定する。ＰＩＤパラメータ決定部３３は、学習装置２により学習済みの行動価値関数に基づいて、複数計測値取得部３２により取得された計測値により規定される状態において選択しうるＰＩＤパラメータのうち、価値が最大となるＰＩＤパラメータを決定する。後述するように、この行動価値関数は、複数の制御対象装置１０の状態を示す複数の計測値を入力したときに、選択しうる複数のＰＩＤパラメータのそれぞれについて価値を出力するニューラルネットワークであり、学習装置２における深層強化学習により学習される。
モード切替部３５は、深層強化学習により獲得された方策に基づいて、制御装置２０が自動的に制御操作量を制御対象装置１０へ入力する自動モードと、制御装置２０がオペレータから制御操作量の指示を受け付けて制御対象装置１０へ入力する手動モードのいずれのモードで制御すべきかを制御装置２０に指示する。
方策更新部３６は、学習装置２から学習済みのニューラルネットワークを方策として取得し、ＰＩＤパラメータ決定部３３を更新する。これにより、プラント３の運転中にも、学習装置２により更に精度が高められたニューラルネットワークを取得して、行動を決定するための行動価値関数を更新することができるので、より適切なＰＩＤパラメータを選択することができる。
図６は、実施の形態に係る学習装置の構成を模式的に示す。学習装置２は、シミュレータ４０を用いて、プラント３により実行されるプロセス１２を構成する全ての制御対象装置１０の挙動を統括的に制御するための方策を獲得するための深層強化学習を実行する。シミュレータ４０は、プラント３において実行されるプロセス１２をシミュレートするプロセスシミュレータ４２と、複数の制御対象装置１０をそれぞれ制御する制御装置２０をそれぞれシミュレートする制御装置シミュレータ４３を含む。プロセスシミュレータ４２は、プロセス１２を構成する複数の制御対象装置１０をそれぞれシミュレートする制御対象装置シミュレータ４１を含む。学習装置２は、それぞれの制御装置シミュレータ４３が制御操作量を決定するために使用するＰＩＤパラメータを決定してシミュレータ４０に入力し、入力したＰＩＤパラメータを使用して制御された結果を示す複数の計測値を取得するステップを時系列的に複数回繰り返しつつプラント３の挙動を学習し、複数の制御装置２０が協調して安定的にプラント３を運転させることが可能なＰＩＤパラメータを統括的に決定するための方策を獲得する。
図７は、実施の形態に係る学習装置２の構成を示す。学習装置２は、行動決定部４、報酬値取得部５、行動価値関数更新部６、ニューラルネットワーク７、学習制御部８、複数計測値取得部９を備える。これらの構成も、ハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できる。
学習装置２は、運転条件設定支援装置３０のＰＩＤパラメータ決定部３３が、それぞれの制御装置２０に設定すべきＰＩＤパラメータの値を決定するための方策を、深層強化学習により獲得する。
強化学習は、ある環境下に置かれたエージェントが環境に対して行動をし、その行動により得られる報酬が最大化されるような方策を求めるものである。エージェントが環境に対して行動を起こし、環境が状態の更新と行動の評価を行い、状態と報酬をエージェントに知らせるというステップを時系列的に繰り返し、得られる報酬の合計の期待値が最大化されるように行動価値関数と方策を最適化する。
本実施の形態では、複数の制御対象装置１０の計測値により規定されるプラント３の状態ｓと、状態ｓにおいて複数の制御装置２０にＰＩＤパラメータを入力する行動ａの選択肢の組合せは膨大な数になるので、行動価値関数をニューラルネットワーク７により近似した深層強化学習を実行する。深層強化学習のアルゴリズムは、ＤＱＮ（Deep Q-Learning Network）であってもよいし、ＤＤＱＮ（Double DQN）であってもよいし、その他の任意のアルゴリズムであってもよい。ニューラルネットワーク７は、多層パーセプトロンニューラルネットワーク、単純パーセプトロンニューラルネットワーク、畳み込みニューラルネットワークなどの順伝播型ニューラルネットワークであってもよいし、その他の任意の形式のニューラルネットワークであってもよい。ニューラルネットワーク７の入力層には、全ての制御対象装置１０の状態を示す全ての計測値ＰＶｎと、全ての制御対象装置１０の制御対象値の目標値ＳＶｎと、全ての制御装置２０から全ての制御対象装置１０に入力される全ての制御操作量の値ＭＶｎとが入力され、出力層からは、制御装置２０に設定可能なＰＩＤパラメータの値の価値が出力される。上述したように、ＰＩＤパラメータを決定するために使用される行動価値関数が、計測値ＰＶｎ、制御対象値の目標値ＳＶｎ、制御操作量の値ＭＶｎに加えて、又は、それらのうちのいずれかに代えて、他のパラメータの値を使用する場合には、使用される他のパラメータの値も、ニューラルネットワーク７の入力層に入力される。
学習制御部８は、学習の方針及び内容を決定し、深層強化学習を実行する。学習制御部８は、シミュレータ４０に初期条件を設定して試行を開始し、シミュレータ４０へのＰＩＤパラメータの入力と、入力されたＰＩＤパラメータを使用して制御されたプラント３の所定時間後の状態を示す複数の計測値の取得とを所定回数繰り返し、所定回数のステップを終了すると１回の試行を終えて、再び初期条件を設定して次の試行を開始する。例えば、プラント３の定常運転中に外乱又は運転条件の変更が発生した場合のプラント３の挙動を学習させる場合には、学習制御部８は、シミュレータ４０を構成するそれぞれの制御対象装置シミュレータ１１及び制御装置シミュレータ４３に、定常運転時の計測値、目標値、制御操作量の値を初期値として設定して学習を開始させ、ランダムに決定されたタイミングで外乱又は運転条件の変更を発生させ、シミュレータ４０に外乱又は運転条件の変更に対応する値を入力する。プラント３を起動させる場合のプラント３の挙動を学習させる場合には、学習制御部８は、シミュレータ４０に運転停止時の値を初期値として設定して学習を開始させ、定常運転に収束するまでのプラント３の挙動を学習させる。プラント３を停止させる場合のプラント３の挙動を学習させる場合には、学習制御部８は、シミュレータ４０に定常運転時の値を初期値として設定して学習を開始させ、プラント３の運転の停止をシミュレータ４０に指示し、プラント３の運転が停止されるまでのプラント３の挙動を学習させる。学習制御部８は、得られた報酬値が所定値未満であるなど、実行中の試行が良好な結果をもたらさないことが明らかであるような所定の条件が満たされた場合には、所定回数のステップが終了する前に試行を終了し、次の試行を開始してもよい。
行動決定部４は、シミュレータ４０に入力する複数のＰＩＤパラメータを決定する。行動決定部４は、ランダムに、あるいは、ニューラルネットワーク７により表現された行動価値関数に基づいて、ＰＩＤパラメータを決定する。行動決定部４は、ε－ｇｒｅｅｄｙ法などの既知の任意のアルゴリズムにしたがって、ランダムにＰＩＤパラメータを決定するか、行動価値関数に基づいて期待される価値が最大となるＰＩＤパラメータを決定するかを選択してもよい。これにより、広く様々な選択肢を試行しつつ、学習を効率良く進め、学習が収束するまでの時間を短縮することができる。
複数計測値取得部９は、シミュレータ４０から、複数の制御対象装置シミュレータ４１の状態を示す複数の計測値を取得する。報酬値取得部５は、複数計測値取得部９により取得された複数の計測値により示されるプラント３の状態に対する報酬値を取得する。この報酬値は、プラント３において実行されるプロセス１２の状態の良否を安定度指数として数値化したものである。より具体的には、報酬値は、（１）複数の計測値と制御目標値との差が小さいこと、（２）複数の計測値が振動していないこと、又は（３）複数の計測値が安定化するまでの所要時間が短いことを基準として、プロセスの状態の良否を安定度指数として数値化したものである。例えば、報酬値は、計測値と制御目標値との差が小さく、計測値の振動が小さく、又は計測値が安定化するまでの所要時間が短いほど、高くなるように決定される。
行動価値関数更新部６は、報酬値取得部５により取得された報酬値に基づいて、ニューラルネットワーク７により表現された行動価値関数を更新する。行動価値関数更新部６は、ある状態ｓにおいて行動決定部４が取った行動の組の行動価値関数の出力が、ある状態ｓにおいて行動決定部４が取った行動の結果、報酬値取得部５により取得された報酬値と、その後に最適な行動を続けた場合に得られるであろう報酬値の和の期待値に近づくように、ニューラルネットワーク７の重みを学習させる。すなわち、行動価値関数更新部６は、報酬値取得部５により実際に得られた報酬値と、その後に得られるであろう報酬値の期待値に時間割引を乗じた値の和と、行動価値関数の出力値との間の誤差を減らすように、ニューラルネットワーク７の各層の各結合の重みを調整する。これにより、ニューラルネットワーク７により算出される行動価値が真の値に近づくように重みが更新され、学習が進んでいく。
図８は、操作パネルの表示装置に表示される表示画面の例を示す。表示画面には、プラント３のプロセスフロー図と、各ＰＩＤコントローラに設定されているＰＩＤパラメータの現状値と、運転条件設定支援装置３０により決定されたＰＩＤパラメータの推奨値が表示されている。オペレータが、表示装置に表示された推奨値を参照してＰＩＤパラメータを入力すると、入力されたＰＩＤパラメータを制御装置２０のＰＩＤパラメータ取得部２５が取得し、制御操作量決定部２６が制御操作量を決定するために使用される。これにより、プラント３の挙動が不安定となりうる要因が発生した場合であっても、プラント３の挙動を迅速に安定化させることができる。
以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
本発明の技術は、複数の制御装置により複数の制御対象装置が制御されるプラントにおいて利用可能である。実施の形態では、それぞれＰＩＤ制御される複数の制御系を含むプラントについて説明したが、Ｐ制御、ＰＩ制御など、他の任意の制御方式の制御系を含むプラントにも本発明の技術を利用可能である。
１ プラント運転条件設定支援システム、２ 学習装置、３ プラント、４ 行動決定部、５ 報酬値取得部、６ 行動価値関数更新部、７ ニューラルネットワーク、８ 学習制御部、９ 複数計測値取得部、１０ 制御対象装置、１１ 制御対象装置シミュレータ、１２ プロセス、２０ 制御装置、２１ 制御部、２２ 操作パネル、２３ 計測値取得部、２４ 目標値取得部、２５ ＰＩＤパラメータ取得部、２６ 制御操作量決定部、２７ 制御操作量入力部、３０ 運転条件設定支援装置、３１ 制御部、３２ 複数計測値取得部、３３ ＰＩＤパラメータ決定部、３４ ＰＩＤパラメータ出力部、３５ モード切替部、３６ 方策更新部、４０ シミュレータ、４１ 制御対象装置シミュレータ、４２ プロセスシミュレータ、４３ 制御装置シミュレータ。
Claims (12)
- それぞれ独立してフィードバック制御される複数の装置により構成され、それぞれのフィードバック制御による影響が相互に干渉しうるプロセスを実行するプラントの運転条件の設定を支援するためのプラント運転条件設定支援システムであって、
前記複数の装置のうちの１以上の制御対象装置をそれぞれフィードバック制御する複数の制御装置と、
複数のフィードバック制御をそれぞれ独立して行う前記複数の制御装置の設定を統括的に支援する運転条件設定支援装置と、
を備え、
前記複数の制御装置は、それぞれ、
制御対象装置の状態を示す計測値を取得する計測値取得部と、
制御対象装置へ入力する制御操作量を決定するための制御装置調整パラメータを取得する制御装置調整パラメータ取得部と、
前記計測値取得部により取得された計測値と、前記制御装置調整パラメータ取得部により取得された制御装置調整パラメータに基づいて、前記制御操作量を決定する制御操作量決定部と、
前記制御操作量決定部により決定された制御操作量を制御対象装置へ入力する制御操作量入力部と、
を備え、
前記運転条件設定支援装置は、
前記複数の制御装置によりそれぞれ制御される複数の制御対象装置の状態を示す複数の計測値を取得する複数計測値取得部と、
深層強化学習により獲得された方策により、前記複数計測値取得部により取得された複数の計測値に基づいて、前記複数の制御装置のそれぞれが前記複数の制御対象装置に入力すべき制御操作量を決定するために使用する複数の制御装置調整パラメータを決定する制御装置調整パラメータ決定部と、
を備えることを特徴とするプラント運転条件設定支援システム。 - 前記制御装置調整パラメータ決定部は、前記プラントが運転されるときの前記制御対象装置の計測値、制御目標値、及び制御操作量と、それらを評価して安定度指数として数値化した報酬値と、前記制御操作量が決定されるときに使用される制御装置調整パラメータとに基づいた、前記複数の制御装置調整パラメータを決定するための方策を獲得するための深層強化学習によって獲得された方策により、前記複数の制御装置調整パラメータを決定することを特徴とする請求項１に記載のプラント運転条件設定支援システム。
- 前記深層強化学習を実行する学習装置を更に備え、
前記学習装置は、
前記複数の制御対象装置の状態を示す複数の計測値を取得し、前記複数の制御装置がそれぞれ使用する複数の制御装置調整パラメータを出力する行動決定部と、
前記行動決定部により出力された制御装置調整パラメータを使用して前記複数の制御装置が前記複数の制御対象装置を制御したときの前記複数の制御対象装置の状態を示す複数の計測値と、使用された制御装置調整パラメータとの対の価値を算出するための価値関数部と、
を備え、
前記複数の制御対象装置が前記複数の計測値により示される状態にあるときに、前記制御装置調整パラメータ決定部により前記制御対象装置に入力される制御装置調整パラメータが決定され、決定された制御装置調整パラメータを使用して前記複数の制御装置が決定した制御操作量が前記複数の制御対象装置に入力されて前記複数の制御対象装置の状態が更新され、その後も最適な制御装置調整パラメータが選択され続けた場合に得られるであろう報酬値の期待値と、前記価値関数部により算出される価値との誤差が小さくなるように、前記価値関数部が学習される
ことを特徴とする請求項２に記載のプラント運転条件設定支援システム。 - 前記報酬値は、前記プロセスの状態の良否を前記安定度指数として数値化したものであることを特徴とする請求項２又は３に記載のプラント運転条件設定支援システム。
- 前記報酬値は、前記複数の計測値と前記制御目標値との差が小さいこと、前記複数の計測値が振動していないこと、又は前記複数の計測値が安定化するまでの所要時間が短いことを基準として、前記プロセスの状態の良否を前記安定度指数として数値化したものであることを特徴とする請求項２から４のいずれかに記載のプラント運転条件設定支援システム。
- 前記制御装置調整パラメータ決定部は、前記プラントの運転が起動又は停止されたときの前記計測値及び制御操作量と前記制御装置調整パラメータとを使用した深層強化学習によって獲得された方策により、前記プラントの運転を起動又は停止するときの前記複数の制御装置調整パラメータを決定することを特徴とする請求項２から５のいずれかに記載のプラント運転条件設定支援システム。
- 前記制御装置調整パラメータ決定部は、前記プラントの運転中に外乱が発生したとき又は運転条件が変更されたときの前記計測値及び制御操作量と前記制御装置調整パラメータとを使用した深層強化学習によって獲得された方策により、前記プラントの運転中に外乱が発生したとき又は運転条件が変更されるときの前記複数の制御装置調整パラメータを決定することを特徴とする請求項２から６のいずれかに記載のプラント運転条件設定支援システム。
- 前記運転条件設定支援装置は、前記深層強化学習により獲得された方策に基づいて、前記制御装置が自動的に制御操作量を制御対象装置へ入力する自動モードと、前記制御装置がオペレータから制御操作量の指示を受け付けて制御対象装置へ入力する手動モードのいずれのモードで制御すべきかを前記制御装置に指示するモード切替部を更に備えることを特徴とする請求項２から７のいずれかに記載のプラント運転条件設定支援システム。
- 前記運転条件設定支援装置は、前記制御装置調整パラメータ決定部により決定された複数の制御装置調整パラメータを、それぞれの制御装置へ通知し、
前記制御装置は、前記運転条件設定支援装置から通知された制御装置調整パラメータを前記制御装置調整パラメータ取得部により取得することを特徴とする請求項１から８のいずれかに記載のプラント運転条件設定支援システム。 - 前記運転条件設定支援装置は、前記制御装置調整パラメータ決定部により決定された複数の制御装置調整パラメータを、オペレータに提示し、
前記制御装置は、前記オペレータにより入力された制御装置調整パラメータを前記制御装置調整パラメータ取得部により取得することを特徴とする請求項１から９のいずれかに記載のプラント運転条件設定支援システム。 - それぞれ独立してフィードバック制御される複数の装置により構成され、それぞれのフィードバック制御による影響が相互に干渉しうるプロセスを構成する複数の装置のうちの１以上の制御対象装置をそれぞれフィードバック制御する複数の制御装置の設定を統括的に支援する運転条件設定支援装置において、
前記複数の制御装置によりそれぞれ制御される複数の制御対象装置の状態を示す複数の計測値を取得する複数計測値取得部と、
深層強化学習により獲得された方策により、前記複数計測値取得部により取得された複数の計測値に基づいて、前記複数の制御装置のそれぞれが前記複数の制御対象装置に入力すべき制御操作量を決定するために使用する複数の制御装置調整パラメータを決定する制御装置調整パラメータ決定部と、
を備えることを特徴とする運転条件設定支援装置。 - それぞれ独立してフィードバック制御される複数の装置により構成され、それぞれのフィードバック制御による影響が相互に干渉しうるプロセスを構成する複数の制御対象装置の状態を示す複数の計測値を取得し、前記複数の制御対象装置をそれぞれ自動フィードバック制御する複数の制御装置がそれぞれ使用する複数の制御装置調整パラメータを出力する行動決定部と、
前記行動決定部により出力された制御装置調整パラメータを使用して前記複数の制御装置が前記複数の制御対象装置を制御したときの前記複数の制御対象装置の状態を示す複数の計測値と、使用された制御装置調整パラメータとの対の価値を算出するための価値関数部と、
を備え、
前記複数の制御対象装置が前記複数の計測値により示される状態にあるときに、前記制御対象装置に入力される制御装置調整パラメータが決定され、決定された制御装置調整パラメータを使用して前記複数の制御装置が決定した制御操作量が前記複数の制御対象装置に入力されて前記複数の制御対象装置の状態が更新され、その後も最適な制御装置調整パラメータが選択され続けた場合に得られるであろう報酬値の期待値と、前記価値関数部により算出される価値との誤差が小さくなるように、前記価値関数部が学習される
ことを特徴とする学習装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018089972A JP7090243B2 (ja) | 2018-05-08 | 2018-05-08 | プラント運転条件設定支援システム、学習装置、及び運転条件設定支援装置 |
| TW108110199A TWI716836B (zh) | 2018-05-08 | 2019-03-25 | 廠房運轉條件設定支援系統、學習裝置以及運轉條件設定支援裝置 |
| PCT/JP2019/016490 WO2019216143A1 (ja) | 2018-05-08 | 2019-04-17 | プラント運転条件設定支援システム、学習装置、及び運転条件設定支援装置 |
| AU2019265059A AU2019265059B2 (en) | 2018-05-08 | 2019-04-17 | Plant operation condition setting assistance system, learning device, and operation condition setting assistance device |
| US17/089,153 US11914348B2 (en) | 2018-05-08 | 2020-11-04 | Plant operation condition setting assistance system, learning device, and operation condition setting assistance device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018089972A JP7090243B2 (ja) | 2018-05-08 | 2018-05-08 | プラント運転条件設定支援システム、学習装置、及び運転条件設定支援装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019197315A JP2019197315A (ja) | 2019-11-14 |
| JP7090243B2 true JP7090243B2 (ja) | 2022-06-24 |
Family
ID=68466735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018089972A Active JP7090243B2 (ja) | 2018-05-08 | 2018-05-08 | プラント運転条件設定支援システム、学習装置、及び運転条件設定支援装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US11914348B2 (ja) |
| JP (1) | JP7090243B2 (ja) |
| AU (1) | AU2019265059B2 (ja) |
| TW (1) | TWI716836B (ja) |
| WO (1) | WO2019216143A1 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7264845B2 (ja) * | 2020-03-10 | 2023-04-25 | 株式会社日立製作所 | 制御システム及び制御方法 |
| JP7491724B2 (ja) | 2020-04-22 | 2024-05-28 | 株式会社 日立産業制御ソリューションズ | 情報処理装置および情報処理方法 |
| JP7392566B2 (ja) | 2020-04-28 | 2023-12-06 | 横河電機株式会社 | 制御支援装置、制御支援方法、制御支援プログラム、および制御システム |
| US11796977B2 (en) | 2020-04-29 | 2023-10-24 | Honeywell International Inc. | PID controller autotuner using machine learning approaches |
| JP7401405B2 (ja) * | 2020-07-15 | 2023-12-19 | 株式会社神戸製鋼所 | 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置 |
| JP7481184B2 (ja) * | 2020-07-15 | 2024-05-10 | 株式会社神戸製鋼所 | 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置 |
| JP7481185B2 (ja) * | 2020-07-15 | 2024-05-10 | 株式会社神戸製鋼所 | 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置 |
| JP2022026701A (ja) * | 2020-07-31 | 2022-02-10 | 株式会社神戸製鋼所 | 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び制御装置 |
| JP7505328B2 (ja) | 2020-08-24 | 2024-06-25 | 富士電機株式会社 | 運転支援装置、運転支援方法及びプログラム |
| CN113033815A (zh) * | 2021-02-07 | 2021-06-25 | 广州杰赛科技股份有限公司 | 一种阀门智能协作控制方法、装置、设备及存储介质 |
| WO2023007596A1 (ja) * | 2021-07-27 | 2023-02-02 | 理化工業株式会社 | 制御装置 |
| JP2023023455A (ja) * | 2021-08-05 | 2023-02-16 | 横河電機株式会社 | 学習装置、学習方法、および、学習プログラム、並びに、制御装置 |
| JP2023063844A (ja) * | 2021-10-25 | 2023-05-10 | 日本電気株式会社 | 制御システム、制御方法およびプログラム |
| JP2024060341A (ja) * | 2022-10-19 | 2024-05-02 | 株式会社日立製作所 | プラント制御システム及びプラント制御方法 |
| JP7478297B1 (ja) | 2023-09-08 | 2024-05-02 | 三菱重工業株式会社 | 情報処理システム、情報処理方法、学習システム、および学習方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004178492A (ja) | 2002-11-29 | 2004-06-24 | Mitsubishi Heavy Ind Ltd | 強化学習法を用いたプラントシミュレーション方法 |
| JP2007510187A (ja) | 2003-10-29 | 2007-04-19 | シーメンス アクチエンゲゼルシヤフト | 技術的システムの運転方法 |
| JP2014178853A (ja) | 2013-03-14 | 2014-09-25 | Toshiba Corp | 制御パラメータ調整方法、制御パラメータ調整システム及び制御パラメータ設定装置 |
| JP2017034844A (ja) | 2015-07-31 | 2017-02-09 | ファナック株式会社 | ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法 |
Family Cites Families (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2656637B2 (ja) * | 1989-11-22 | 1997-09-24 | 株式会社日立製作所 | プロセス制御システム及び発電プラントプロセス制御システム |
| JP2007011866A (ja) * | 2005-07-01 | 2007-01-18 | Yokogawa Electric Corp | プロセス制御装置における非干渉制御方法、およびプロセス制御装置 |
| JP5172589B2 (ja) * | 2008-10-14 | 2013-03-27 | 日揮株式会社 | プラント多変数連携非干渉制御方法 |
| US9172463B2 (en) * | 2010-10-08 | 2015-10-27 | Echostar Technologies L.L.C. | Systems, methods and devices for detecting infrared noise at a remote control |
| US20130016669A1 (en) * | 2011-07-15 | 2013-01-17 | Nokia Corporation | Periodic Access Control |
| US10222769B2 (en) * | 2012-10-12 | 2019-03-05 | Emerson Process Management Power & Water Solutions, Inc. | Method for determining and tuning process characteristic parameters using a simulation system |
| CN107004060B (zh) * | 2014-11-25 | 2022-02-18 | Pdf决策公司 | 用于半导体制造工艺的经改进工艺控制技术 |
| US10219174B2 (en) * | 2015-03-10 | 2019-02-26 | Hewlett Packard Enterprise Development Lp | Capacity estimation of a wireless link |
| JP6346128B2 (ja) * | 2015-07-28 | 2018-06-20 | ファナック株式会社 | 最適な操作条件を算出できる射出成形システム及び機械学習器 |
| US10094275B2 (en) * | 2016-01-26 | 2018-10-09 | General Electric Company | Operation scheduling for optimal performance of hybrid power plants |
| JP6031202B1 (ja) * | 2016-01-29 | 2016-11-24 | ファナック株式会社 | 製造機械の異常の原因を発見するセル制御装置 |
| JP2017138881A (ja) * | 2016-02-05 | 2017-08-10 | ファナック株式会社 | 操作メニューの表示を学習する機械学習器，数値制御装置，工作機械システム，製造システムおよび機械学習方法 |
| JP6059375B1 (ja) * | 2016-02-09 | 2017-01-11 | ファナック株式会社 | 生産制御システムおよび統合生産制御システム |
| JP6650786B2 (ja) * | 2016-03-03 | 2020-02-19 | 三菱日立パワーシステムズ株式会社 | 制御パラメータ自動調整装置、制御パラメータ自動調整方法、及び制御パラメータ自動調整装置ネットワーク |
| US11067955B2 (en) * | 2016-06-30 | 2021-07-20 | Johnson Controls Technology Company | HVAC system using model predictive control with distributed low-level airside optimization |
| JP6497367B2 (ja) * | 2016-08-31 | 2019-04-10 | 横河電機株式会社 | プラント制御装置、プラント制御方法、プラント制御プログラム及び記録媒体 |
| US9972478B2 (en) * | 2016-09-16 | 2018-05-15 | Lam Research Corporation | Method and process of implementing machine learning in complex multivariate wafer processing equipment |
| JP6457563B2 (ja) * | 2017-01-24 | 2019-01-23 | ファナック株式会社 | 数値制御装置及び機械学習装置 |
| JP6542833B2 (ja) * | 2017-04-28 | 2019-07-10 | ファナック株式会社 | 制御装置及び機械学習装置 |
| JP7331660B2 (ja) * | 2019-11-26 | 2023-08-23 | 横河電機株式会社 | 装置、方法およびプログラム |
-
2018
- 2018-05-08 JP JP2018089972A patent/JP7090243B2/ja active Active
-
2019
- 2019-03-25 TW TW108110199A patent/TWI716836B/zh active
- 2019-04-17 AU AU2019265059A patent/AU2019265059B2/en active Active
- 2019-04-17 WO PCT/JP2019/016490 patent/WO2019216143A1/ja active Application Filing
-
2020
- 2020-11-04 US US17/089,153 patent/US11914348B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004178492A (ja) | 2002-11-29 | 2004-06-24 | Mitsubishi Heavy Ind Ltd | 強化学習法を用いたプラントシミュレーション方法 |
| JP2007510187A (ja) | 2003-10-29 | 2007-04-19 | シーメンス アクチエンゲゼルシヤフト | 技術的システムの運転方法 |
| JP2014178853A (ja) | 2013-03-14 | 2014-09-25 | Toshiba Corp | 制御パラメータ調整方法、制御パラメータ調整システム及び制御パラメータ設定装置 |
| JP2017034844A (ja) | 2015-07-31 | 2017-02-09 | ファナック株式会社 | ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW201947333A (zh) | 2019-12-16 |
| US11914348B2 (en) | 2024-02-27 |
| AU2019265059B2 (en) | 2024-04-18 |
| TWI716836B (zh) | 2021-01-21 |
| WO2019216143A1 (ja) | 2019-11-14 |
| JP2019197315A (ja) | 2019-11-14 |
| AU2019265059A1 (en) | 2020-11-19 |
| US20210055712A1 (en) | 2021-02-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7090243B2 (ja) | プラント運転条件設定支援システム、学習装置、及び運転条件設定支援装置 | |
| US11789417B2 (en) | Method for determining and tuning process characteristic parameters using a simulation system | |
| US8909359B2 (en) | Process control systems and methods having learning features | |
| CN101523308B (zh) | 动态方差校正在优化中的使用 | |
| US20110022193A1 (en) | Method and apparatus of a self-configured, model-based adaptive, predictive controller for multi-zone regulation systems | |
| KR100518292B1 (ko) | 공정 제어 시스템 | |
| Esfandyari et al. | Adaptive fuzzy tuning of PID controllers | |
| CN108151253B (zh) | 一种变风量空调送风温度自动补偿方法 | |
| EP2778803A1 (en) | Stabilized deterministic optimization based control system and method | |
| CN101589363A (zh) | 动态模型预测控制 | |
| US10082773B2 (en) | Formulating steady-state targets using prioritized objective functions | |
| JP6927446B1 (ja) | 制御装置、制御方法及びプログラム | |
| KR101849464B1 (ko) | Pid 게인 자동 튜닝 방법 | |
| Kumar et al. | Modeling proportional–integral controllers in tracking and economic model predictive control | |
| Vogel et al. | Industrial experience with state-space model predictive control | |
| Lee et al. | Studies on the heating capacity control of a multi-type heat pump system applying a multi-input multi-output (MIMO) method | |
| Corriou et al. | Nonlinear control of reactors with state estimation | |
| EP3304236B1 (en) | System and method for controlling ramp imbalances in model predictive controllers | |
| Chew et al. | Simulation of process identification and controller tuning for flow control system | |
| Johansen et al. | Stepwise commissioning of a steam boiler with stability guarantees | |
| Assani et al. | Evaluating the Performance of the Well-Known Controller Tuning Methods for the Flow Control Using the Process Model | |
| Pitarch et al. | On stiction compensation methods for practical nonlinear MPC implementations | |
| EP3683634A1 (en) | A method for controlling a technological process | |
| CN117073152A (zh) | 空调系统的pid参数确定方法、装置及空调系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210112 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220128 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220524 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220602 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7090243 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |