TW201947333A - 廠房運轉條件設定支援系統、學習裝置以及運轉條件設定支援裝置 - Google Patents

廠房運轉條件設定支援系統、學習裝置以及運轉條件設定支援裝置 Download PDF

Info

Publication number
TW201947333A
TW201947333A TW108110199A TW108110199A TW201947333A TW 201947333 A TW201947333 A TW 201947333A TW 108110199 A TW108110199 A TW 108110199A TW 108110199 A TW108110199 A TW 108110199A TW 201947333 A TW201947333 A TW 201947333A
Authority
TW
Taiwan
Prior art keywords
control
devices
control device
value
aforementioned
Prior art date
Application number
TW108110199A
Other languages
English (en)
Other versions
TWI716836B (zh
Inventor
安井威公
井川玄
土岐明史
曽我部完
諏訪佑介
Original Assignee
日商千代田化工建設股份有限公司
日商Ｇｒｉｄ股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商千代田化工建設股份有限公司, 日商Ｇｒｉｄ股份有限公司 filed Critical 日商千代田化工建設股份有限公司
Publication of TW201947333A publication Critical patent/TW201947333A/zh
Application granted granted Critical
Publication of TWI716836B publication Critical patent/TWI716836B/zh

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4185—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by the network communication
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4183—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by data acquisition, e.g. workpiece identification
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41865—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by job scheduling, process planning, material flow
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B5/00—Anti-hunting arrangements
    • G05B5/01—Anti-hunting arrangements electric
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/32—Operator till task planning
    • G05B2219/32187—Correlation between controlling parameters for influence on quality parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Feedback Control In General (AREA)

Abstract

本發明提供一種廠房運轉條件設定支援系統1係用於支援廠房的運轉條件的設定，該廠房的運轉條件係用於執行由複數個裝置所構成的製程；廠房運轉條件設定支援系統1係具備：複數個控制裝置20，係分別回饋控制控制對象裝置10；以及運轉條件設定支援裝置30，係對分別獨立進行複數個回饋控制之複數個控制裝置20的設定統整地進行支援。運轉條件設定支援裝置30具備：複數計測值取得部，係取得複數個計測值，複數個計測值係顯示藉由複數個控制裝置分別控制的複數個控制對象裝置10的狀態；以及控制裝置調整參數決定部，係藉由經由深層強化學習所獲得的方案，且基於藉由複數計測值取得部所取得的複數個計測值決定複數個控制裝置調整參數，複數個控制裝置調整參數係使用在用於決定複數個控制裝置20各者應輸入至複數個控制對象裝置10的控制操作量。

Description

廠房運轉條件設定支援系統、學習裝置以及運轉條件設定支援裝置
[0001]
本發明係關於一種支援廠房的運轉條件的設定用的廠房運轉條件設定支援系統、以及可用於該廠房運轉條件設定支援系統的學習裝置以及運轉條件設定支援裝置。
[0002]
用於生產化學製品或工業製品等的廠房中，係藉由反應器或加熱爐等多數個裝置來執行一連串的製程，並藉由用於分別控制多數個裝置的多數個操作量來使製程狀態變化。在執行多階段的製程的廠房中，由於多數個操作量有可能複雜地相互作用，因此要對操作量的變更所造成的影響進行預測並不容易，所以用於決定操作量的控制裝置調整參數係藉由熟練的操作員來進行設定從而使廠房進行運轉。
[0003]
作為對包含這樣有可能互相干涉的複數個控制系的廠房進行控制的技術係提出已記載於專利文獻1以及專利文獻2的技術。
[0004]
專利文獻1中係揭示有具備在三個系列以上的控制迴路之間打消各控制迴路間的互相干涉的非干涉因素的技術。前述非干涉因素係以將從各控制迴路的傳達函數以及其他的控制迴路進行干涉的干涉因素包含無用時間的近似於一階延遲系的響應形式所計算而成。
[0005]
專利文獻2係中係揭示有以將操作閥的閥開度以及因應前述閥開度而對進行變化的製程的狀態予以表示的變數以正常狀態下的方程式進行構築，且基於藉由前述方程式對每個操作閥所導出的解析分解式，計算出作為操作閥的目標的閥開度的CV值以及因應已偵測出的值所計算出作為操作閥的現狀的閥開度的CV值，並且計算出前述二個CV值的偏差e，且基於前述偏差e對製程的狀態進行回饋控制的技術。
[先前技術文獻]
[專利文獻]
[0006]
專利文獻1：日本特開2007-11866號公報。
專利文獻2：日本特開2010-97254號公報。
(發明所欲解決之課題)
[0007]
要使複數個控制系的各者中的製程值的舉動在數學上準確地近似有其難度，除此之外根據該些數學上的近似表現而對有可能複雜地互相作用的複數個控制系在已發生不可預測的雜訊時的廠房值的舉動進行準確地預測則更為困難。因此謀求一種即使在廠房的舉動有可能不穩定化且已產生雜訊的情形下也能使廠房穩定地運轉的技術。
[0008]
本發明係有鑑於如此的狀況而開發完成，目的在於提供一種實現廠房的穩定的運轉的技術。
(用以解決課題之手段)
[0009]
為了解決上述課題，本發明之一態樣之廠房運轉條件設定支援系統，係用於支援廠房的運轉條件的設定，前述廠房的運轉條件係用於執行由複數個裝置所構成的製程；廠房運轉條件設定支援系統係具備：複數個控制裝置，係分別回饋控制複數個裝置之中的一個以上的控制對象裝置；以及運轉條件設定支援裝置，係對分別獨立進行複數個回饋控制之複數個控制裝置的設定統整地進行支援。複數個控制裝置分別具備：計測值取得部，係取得顯示控制對象裝置的狀態的計測值；控制裝置調整參數取得部，係取得控制裝置調整參數，前述控制裝置調整參數係用於決定對控制對象裝置輸入的控制操作量；控制操作量決定部，係基於藉由計測值取得部所取得的計測值以及藉由控制裝置調整參數取得部所取得的控制裝置調整參數來決定控制操作量；以及控制操作量輸入部，係往控制對象裝置輸入藉由控制操作量決定部所決定的控制操作量。運轉條件設定支援裝置具備：複數計測值取得部，係取得複數個計測值，前述複數個計測值係顯示藉由複數個控制裝置分別控制的複數個控制對象裝置的狀態；以及控制裝置調整參數決定部，係藉由經由深層強化學習所獲得的方案，且基於藉由複數計測值取得部所取得的複數個計測值決定複數個控制裝置調整參數，前述複數個控制裝置調整參數係使用在用於決定複數個控制裝置各者應輸入至複數個控制對象裝置的控制操作量。
[0010]
控制裝置調整參數決定部亦可藉由經由用以獲得用於決定複數個控制裝置調整參數的方案之深層強化學習所獲得的方案來決定複數個控制裝置調整參數，前述方案係藉由前述深層強化學習基於下述所獲得：廠房被運轉時的控制對象裝置的計測值、控制目標值、以及控制操作量；以對前述計測值、前述控制目標值以及前述控制操作量進行評價來作為穩定度指數予以數值化的報酬值；以及控制操作量被決定時所使用的控制裝置調整參數。
[0011]
亦可更具備執行深層強化學習的學習裝置。學習裝置亦可具備：行動決定部，係取得顯示複數個控制對象裝置的狀態的複數個計測值，且輸出複數個控制裝置各者所使用的複數個控制裝置調整參數；以及價值函數部，係用於計算出複數個計測值與被使用的控制裝置調整參數間之配對的價值，前述複數個計測值係顯示複數個控制裝置使用藉由行動決定部所輸出的控制裝置調整參數對複數個控制對象裝置進行控制時的複數個控制對象裝置的狀態。亦可於複數個控制對象裝置處於藉由複數個計測值而被顯示的狀態時，藉由控制裝置調整參數決定部來決定輸入至控制對象裝置的控制裝置調整參數，且使用已決定的控制裝置調整參數來使複數個控制裝置所決定的控制操作量輸入至複數個控制對象裝置從而更新複數個控制對象裝置的狀態，並以之後持續選出最佳控制裝置調整參數的情形下可得到的報酬值的期待值與藉由價值函數部所計算出的價值之間的誤差縮小的方式使價值函數部進行學習。
[0012]
報酬值亦可為將製程的狀態的正常與否作為穩定度指數予以數值化而成。
[0013]
報酬值亦可以複數個計測值與控制目標值之間的差距為小、複數個計測值未振動、或複數個計測值直至穩定化為止所需要的時間短作為基準，將製程的狀態的正常與否作為穩定度指數所數值化而成。
[0014]
控制裝置調整參數決定部亦可藉由經由深層強化學習所獲得的方案來決定使廠房的運轉啟動或停止時的複數個控制裝置調整參數，前述方案係藉由使用了廠房的運轉啟動或停止時的計測值以及前述控制操作量與控制裝置調整參數之前述深層強化學習所獲得。
[0015]
控制裝置調整參數決定部亦可藉由經由深層強化學習所獲得的方案來決定於廠房的運轉中已產生雜訊時或變更運轉條件時的複數個控制裝置調整參數，前述方案係藉由使用了廠房的運轉中已產生雜訊時或變更運轉條件時的計測值以及前述控制操作量與控制裝置調整參數之前述深層強化學習所獲得。
[0016]
運轉條件設定支援裝置亦可更具備：模式切換部，係基於藉由前述深層強化學習所獲得的方案，將是否應以自動模式或手動模式之中任一個模式進行控制對控制裝置進行指示，前述自動模式係控制裝置自動地將控制操作量輸入至控制對象裝置，前述手動模式係控制裝置受理來自操作者的控制操作量的指示而輸入至控制對象裝置。
[0017]
運轉條件設定支援裝置亦可將藉由控制裝置調整參數決定部所決定的複數個控制裝置調整參數對各者的控制裝置進行通知，控制裝置亦可藉由控制裝置調整參數取得部取得由運轉條件設定支援裝置所通知的控制裝置調整參數。
[0018]
運轉條件設定支援裝置亦可將藉由控制裝置調整參數決定部所決定的複數個控制裝置調整參數對操作者進行提示，控制裝置亦可藉由控制裝置調整參數取得部取得由操作者所輸入的控制裝置調整參數。
[0019]
本發明之另一態樣係運轉條件設定支援裝置。前述運轉條件設定支援裝置係對複數個控制裝置的設定統整地進行支援，前述複數個控制裝置係對構成在廠房中被執行的製程的複數個裝置之中的一個以上的控制對象裝置分別進行回饋控制；前述運轉條件設定支援裝置係具備：複數計測值取得部，係取得複數個計測值，前述複數個計測值係顯示藉由複數個控制裝置分別控制的複數個控制對象裝置的狀態；以及控制裝置調整參數決定部，係藉由經由深層強化學習所獲得的方案，且基於藉由複數計測值取得部所取得的複數個計測值決定複數個控制裝置調整參數，前述複數個控制裝置調整參數係使用在用於決定複數個控制裝置各者應輸入至複數個控制對象裝置的控制操作量。
[0020]
本發明之又一態樣係學習裝置。前述學習裝置係具備：行動決定部，係取得顯示構成在廠房中被執行的製程的複數個控制對象裝置的狀態的複數個計測值，且輸出使複數個控制對象裝置分別進行自動回饋控制的複數個控制裝置各者所使用的複數個控制裝置調整參數；以及價值函數部，係用於計算出複數個計測值與被使用的控制裝置調整參數間之配對的價值，前述複數個計測值係顯示複數個控制裝置使用從行動決定部所輸出的控制裝置調整參數對複數個控制對象裝置進行控制時的複數個控制對象裝置的狀態。於複數個控制對象裝置處於藉由複數個計測值而被顯示的狀態時，決定輸入至控制對象裝置的控制裝置調整參數，且使用已決定的控制裝置調整參數來使複數個控制裝置所決定的控制操作量輸入至複數個控制對象裝置從而更新複數個控制對象裝置的狀態，並以之後持續選出最佳控制裝置調整參數的情形下可得到的報酬值的期待值與藉由價值函數部所計算出的價值之間的誤差縮小的方式使價值函數部進行學習。
[0021]
又，即使將以上的構成要素的任意的組合、本發明的表現在方法、裝置、系統、記錄媒介、電腦程式等之間進行變換，仍有效作為本發明的態樣。
(發明功效)
[0022]
根據本發明，可提供實現廠房的穩定的運轉的技術。
[0024]
圖1係顯示實施形態的廠房運轉條件設定支援系統的整體構成。用於支援廠房3的運轉條件的設定的廠房運轉條件設定支援系統1具備：用於生產化學製品或工業製品等的廠房3以及執行深層強化學習的學習裝置2，前述深層強化學習係用以獲得使用於廠房3的運轉條件的設定用之決定複數個控制裝置調整參數用的方案。廠房3具備：控制對象裝置10，係構成在廠房3中執行的製程；複數個控制裝置20，係分別回饋控制一個以上的控制對象裝置10；以及運轉條件設定支援裝置30，係對分別獨立進行複數個回饋控制的複數個控制裝置20的設定統整地進行支援。運轉條件設定支援裝置30係藉由經由在學習裝置2中執行的深層強化學習所獲得的方案決定複數個控制裝置調整參數，前述複數個控制裝置調整參數係分別使用在用於決定複數個控制裝置20輸入至複數個控制對象裝置10的控制操作量。
[0025]
圖2係顯示作為控制對象製程之一例之壓縮機系統的構成例。本圖中所顯示的壓縮機系統作為構成製程的複數個控制對象裝置10係包含：用於藉由丙烷冷媒來冷卻冷卻對象的熱交換器以及對熱交換器中已蒸發的丙烷氣體進行壓縮的丙烷壓縮機等，作為對複數個控制對象裝置10分別獨立自動控制的控制裝置20係包含：液面控制器LC、壓力控制器PC、轉速控制器SC、防突波(Anti-Surge)控制器ASC等的比例-積分-微分(PID)控制器。
[0026]
液面控制器LC為了使熱交換器中丙烷冷媒的液面等級保持固定，係因應丙烷冷媒的液面等級來控制丙烷冷媒的供給閥的開度。壓力控制器PC為了使被導入至丙烷壓縮機的丙烷氣體的壓力保持固定，係因應已從熱交換器蒸發的丙烷氣體的壓力來控制轉速控制器SC。轉速控制器SC係接受來自壓力控制器PC的指令對用於被導入至丙烷壓縮機的丙烷氣體的壓力進行調整的燃氣輪機(gas turbine)GT的轉速進行控制。防突波控制器ASC為了抑制丙烷壓縮機中喘振(surging)的發生，係因應丙烷壓縮機的出口處的丙烷氣體的壓力來控制防突波閥的開度。此些PID控制器之中，轉速控制器SC雖會接受來自壓力控制器PC的指令而動作，除此之外的三個PID控制器係分別獨立對控制對象裝置10進行自動控制。
[0027]
前述壓縮機系統中，在因雜訊等所引起的冷卻對象的量急速減少時，由於冷熱消耗量減少所以熱交換器中的丙烷的蒸發量也減少，從而使丙烷冷媒的液面等級上升。此時，液面控制器LC使閥的開度減少，從而減少丙烷冷媒的流入量，而使丙烷冷媒的液面保持固定。當丙烷的蒸發量減少時，因為被輸入至壓力控制器PC的壓力的計測值減少，所以壓力控制器PC指示轉速控制器SC減少燃氣輪機GT的轉速。
[0028]
然而，由於燃氣輪機GT的轉速已減少，當被導入至丙烷壓縮機的丙烷氣體的壓力減少時，由於被輸入至防突波控制器ASC的壓力的計測值減少，防突波控制器ASC為了迴避丙烷壓縮機中的喘振的發生而使防突波閥的開度增加。藉此，由於被輸入至壓力控制器PC的壓力的計測值增加，所以壓力控制器PC指示轉速控制器SC增加燃氣輪機GT的轉速。
[0029]
由於燃氣輪機GT的轉速已增加，當被導入至丙烷壓縮機的丙烷氣體的壓力增加時，由於被輸入至防突波控制器ASC的壓力的計測值增加，防突波控制器ASC使防突波閥的開度減少。藉此，由於被輸入至壓力控制器PC的壓力的計測值減少，所以壓力控制器PC再次指示轉速控制器SC減少燃氣輪機GT的轉速。
[0030]
如此，在包含藉由複數個控制裝置20分別獨立自動回饋控制複數個控制系的製程中，在有可能受各者的自動回饋控制的影響而互相地干涉的情形下，會有因反方向的控制週期性地重複而產生不穩定(hunting)等的舉動變得不穩定的可能性。即使是在這樣的情形下，雖然可對各者PID控制器設定好適切的PID參數，就可期待最終收斂於穩定的動作，但在為引發振動的契機的雜訊或因運轉條件變更所導致的變化過多或變化激烈等的情形下，收斂到穩定的動作可能需要很長時間，或者可能有不穩定依然存在的情形。
[0031]
圖3係示意性顯示以往的廠房中的控制方法。於廠房中執行的製程12係由複數個控制對象裝置10a、10b…、10n所構成，複數個控制對象裝置10a、10b…、10n分別由控制裝置20a、20b…、20n所控制。以圖2所顯示的例子來說，複數個控制對象裝置10a、10b…、10n係熱交換器、丙烷壓縮機等，複數個控制裝置20a、20b…、20n係液面控制器LC、壓力控制器PC、轉速控制器SC、防突波控制器ASC等。
[0032]
以往的廠房中，複數個控制裝置20係使用於PID控制之用，由於要對比例增益值(Proportional gain)、積分增益值(Integral gain)、微分增益值(Differential gain)的三種類的控制裝置調整參數(以下亦稱之為「PID參數」)之變更所造成的影響進行預測有其難度，所以幾乎並未進行變更，有需要變更的情形下，乃是由操作者輸入至各個控制裝置20。從而，在因雜訊等所引起的製程12的狀態變得不穩定的情形下，操作者需要將適切的PID參數輸入至各個控制裝置20，藉此使相互干涉的複數個控制裝置20a、20b…、20n的自動控制穩定化，因此收斂到穩定的運轉為止所需要的時間仍舊是有賴於操作者的經驗與技能。
[0033]
圖4係示意性顯示實施形態的運轉條件設定支援裝置的構成。如後所述，運轉條件設定支援裝置30係依照學習裝置2中藉由深層強化學習所獲得的方案來決定應輸入至複數個控制裝置20的PID參數。此方案係基於行動價值函數來決定使價值成為最大的PID參數，該行動價值函數係根據顯示複數個控制對象裝置10的狀態的複數個計測值、複數個控制對象裝置10的控制對象值的目標值以及輸入至複數個控制對象裝置10的複數個控制操作量的值計算出可作為PID參數進行設定的複數個值的組合的價值。行動價值函數係以對於可一邊使製程整體穩定地控制一邊使控制對象值迅速接近目標值的PID參數計算出高的價值的方式藉由學習裝置2進行學習。其他的例子中，用於決定PID參數所使用的行動價值函數為了計算出可作為PID參數進行設定的複數個值的組合的價值，除了使用計測值、控制對象值的目標值以及控制操作量的值之外，亦可使用其他參數的值來取代計測值、控制對象值的目標值以及控制操作量的值中的任一個值。例如，既可使用現在或過去的PID參數的值或表示雜訊因素的參數的值等，亦可使用除了上述的任一個的參數的絕對值之外，尚可使用該些的參數的變化率或變化量來取代絕對值。
[0034]
將由運轉條件設定支援裝置30所決定的複數個PID參數提示給操作者，且既可參照已提示給操作者之複數個PID參數而將PID參數輸入至控制裝置20，PID參數亦可直接從運轉條件設定支援裝置30輸入至控制裝置20。藉此，能大幅度的降低操作者的勞力，並且能不依靠操作者的經驗與技能而使廠房3穩定地運轉。
[0035]
圖5係顯示實施形態的運轉條件設定裝置以及控制裝置的構成。控制裝置20具備控制部21以及操作面板22。
[0036]
操作面板22係於表示裝置表示複數個計測值、控制操作量的設定值、PID參數的值以及輸出的計測值，並且受理來自操作者的PID參數的值的輸入，前述複數個計測值係顯示構成廠房3的複數個控制對象裝置10的狀態，前述控制操作量的設定值係藉由控制裝置20而被設定於控制對象裝置10，前述PID參數的值係設定於控制裝置20，前述輸出的計測值係顯示廠房3的運轉結果。
[0037]
控制裝置20具備：計測值取得部23、目標值取得部24、PID參數取得部25、控制操作量決定部26以及控制操作量輸入部27。這些構成在硬體組件方面雖可由任意的電腦的CPU(Central Processing Unit；中央處理器)、記憶體、以及載入至記憶體的程式等來實現，在此係對藉由這些硬體的合作而能實現的功能區塊進行描述。從而，對於業者而言應理解為這些功能區塊能僅以硬體、僅以軟體或藉由這些硬體或軟體的組合而以各種形態來實現。
[0038]
計測值取得部23係取得顯示控制對象裝置10的狀態的計測值。目標值取得部24於控制對象裝置10的控制對象值的目標值為可變化的情形下取得控制對象裝置10的控制對象值的目標值。例如，在圖2所顯示的例子中，熱交換器中的丙烷冷媒的液面等級目標值雖固定於預定值，但由於燃氣輪機的轉速的目標值係藉由壓力控制器PC而被可變化地控制，所以目標值取得部24從壓力控制器PC取得燃氣輪機的轉速的目標值。
[0039]
PID參數取得部25係取得使用在用於決定輸入至控制對象裝置10的控制操作量的PID參數。在運轉條件設定支援裝置30自動地將PID參數往控制裝置20進行輸入的自動模式中，運轉條件設定支援裝置30將已決定的複數個PID參數對各個控制裝置20進行通知，控制裝置20藉由PID參數取得部25直接取得從運轉條件設定支援裝置30所通知的PID參數。在操作者將PID參數往控制裝置20進行輸入的手動模式中，運轉條件設定支援裝置30經由操作面板22將已決定的複數個PID參數提示給操作者，控制裝置20藉由PID參數取得部25取得由操作者所輸入的PID參數。
[0040]
控制操作量決定部26係基於藉由計測值取得部23所取得的計測值、藉由目標值取得部24所取得的目標值以及藉由PID參數取得部25所取得的PID參數而決定應設定在控制對象裝置10的控制操作量。控制操作量決定部26亦可利用已知的任意的PID控制技術來決定控制操作量。控制操作量輸入部27係將由控制操作量決定部26所決定的控制操作量輸入至控制對象裝置10。
[0041]
運轉條件設定支援裝置30具備控制部31。控制部31具備：複數計測值取得部32、PID參數決定部33、PID參數輸出部34、模式切換部35以及方案更新部36。該等之構成亦能僅以硬體、僅以軟體或藉由這些硬體或軟體的組合而以各種形態來實現。
[0042]
複數計測值取得部32係取得由複數個控制裝置20所分別控制的複數個控制對象裝置10的狀態予以顯示的複數個計測值。複數計測值取得部32係取得顯示全部的控制對象裝置10的狀態的全部的計測值，前述全部的控制對象裝置10的狀態係藉由運轉條件設定支援裝置30所統合的複數個控制裝置20而被控制。
[0043]
PID參數決定部33係基於藉由複數計測值取得部32所取得的複數個計測值來決定複數個PID參數，前述複數個PID參數係使用在用於決定複數個控制裝置20各者應輸入至複數個控制對象裝置10的控制操作量。PID參數決定部33係基於藉由學習裝置2所學習完成的行動價值函數決定藉由複數計測值取得部32取得的計測值所規定的狀態中可選擇的PID參數之中價值變成最大的PID參數。如後所述，在已輸入顯示複數個控制對象裝置10的狀態的複數個計測值時，前述行動價值函數係針對可選擇之複數個PID參數各者輸出價值的類神經網路(neural network)，且藉由學習裝置2中的深層強化學習來進行學習。
[0044]
模式切換部35係基於藉由前述深層強化學習所獲得的方案，將應以自動模式或手動模式之中任一個模式進行控制對控制裝置20進行指示，前述自動模式係控制裝置20自動地將控制操作量輸入至控制對象裝置10，前述手動模式係控制裝置20受理來自操作者的控制操作量的指示而輸入至控制對象裝置10。
[0045]
方案更新部36係將從學習裝置2學習完成的類神經網路作為方案進行取得，且對PID參數決定部33進行更新。藉此，即使是在廠房3的運轉中，由於能藉由學習裝置2取得精度更高的類神經網路且更新用於決定行動的行動價值函數，因此能選出更適切的PID參數。
[0046]
圖6係示意性顯示實施形態的學習裝置的構成。學習裝置2係使用模擬器40來執行用以獲得統整地對構成為藉由廠房3而執行的製程12的全部的控制對象裝置10的舉動進行控制用的方案的深層強化學習。模擬器40包含：在廠房3中對被執行的製程12進行模擬的製程模擬器42以及對分別控制複數個控制對象裝置10的控制裝置20分別進行模擬的控制裝置模擬器43。製程模擬器42包含：對構成製程12的複數個控制對象裝置10分別進行模擬的控制對象裝置模擬器41。學習裝置2係決定各個控制裝置模擬器43為了決定控制操作量所使用的PID參數且將PID參數輸入模擬器40，且一邊時間序列地重複複數次使用所輸入的PID參數將顯示進行控制的結果的複數個計測值取得的步驟一邊學習廠房3的舉動，從而獲得用於統整地對PID參數進行決定的方案，前述PID參數係可協調複數個控制裝置20而使廠房3穩定地運轉。
[0047]
圖7係顯示實施形態的學習裝置2的構成。學習裝置2具備：行動決定部4、報酬值取得部5、行動價值函數更新部6、類神經網路7、學習控制部8以及複數計測值取得部9。該等之構成亦能僅以硬體、僅以軟體或藉由這些硬體或軟體的組合而以各種形態來實現。
[0048]
學習裝置2係藉由深層強化學習來獲得用於決定PID參數的值的方案，前述PID參數的值係運轉條件設定支援裝置30的PID參數決定部33應設定於各個控制裝置20的值。
[0049]
強化學習係指被放置在某一環境下的檢索工具(agent)對環境採取行動，從而求取能藉由該行動使所得到的報酬最大化的方案。檢索工具係時間序列地重複以下步驟：對環境發起行動，且使環境進行狀態的更新與行動的評價，且將狀態與報酬知會給檢索工具，而以使所得到的報酬的合計的期待值最大化的方式使行動價值函數與方案最佳化。
[0050]
本實施形態中，由於由複數個控制對象裝置10的計測值所規定的廠房3的狀態s以及在狀態s中將PID參數輸入至複數個控制裝置20的行動a的選項的組合會成為巨大的數量，所以執行使行動價值函數更為接近類神經網路7的深層強化學習。深層強化學習的演算法既可以是DQN(Deep Q-Learning Network；深度強化學習網路)，也可以是DDQN(Double DQN；雙重深度強化學習網路)，又或是其他的任意的演算法。類神經網路7既可以是多層感知器(multilayer perceptron)神經網路、單純感知器神經網路、層疊神經網路等的前饋式類神經網路(feedforward neural network)，也可以是其他任意的形式的類神經網路。類神經網路7的輸入層中係輸入：全部的計測值PVn，係顯示全部的控制對象裝置10的狀態；全部的控制對象裝置10的控制對象值的目標值SVn；以及全部的控制操作量的值MVn，係從全部的控制裝置20輸入至全部的控制對象裝置10；從輸出層輸出的是可設定於控制裝置20的PID參數值的價值。如上所述，用於決定PID參數所使用的行動價值函數除了計測值PVn、控制對象值的目標值SVn以及控制操作量的值MVn之外，亦可使用其他參數的值或亦可於使用其他參數的值來取代上述之中任一個值的情形下，將所使用的其他參數的值輸入至類神經網路7的輸入層。
[0051]
學習控制部8係決定學習的方針以及內容來執行深層強化學習。學習控制部8係於模擬器40設定初期條件而開始試行，以預定次數重複往模擬器40輸入PID參數以及取得顯示使用已輸入的PID參數進行控制的廠房3的預定時間後的狀態的複數個計測值，在預定次數的步驟結束後終止一次的試行，且再次設定初期條件開始下一次的試行。例如，在對廠房3的正常運轉中已產生雜訊或運轉條件的變更情形的廠房3的舉動進行學習的情形下，學習控制部8於構成模擬器40的各個控制對象裝置模擬器41以及控制裝置模擬器43將正常運轉時的計測值、目標值以及控制操作量的值作為初期值進行設定而開始學習，且於隨機決定的時間點產生雜訊或運轉條件的變更，並將對應雜訊或運轉條件的變更的值輸入至模擬器40。在對啟動廠房3之情形的廠房3的舉動進行學習的情形下，學習控制部8係將運轉停止時的值作為初期值設定於模擬器40而開始學習，且對廠房3收斂於正常運轉為止的舉動進行學習。在對停止廠房3之情形的廠房3的舉動進行學習的情形下，學習控制部8係將正常運轉時的值作為初期值設定於模擬器40而開始學習，且對模擬器40指示廠房3的運轉的停止，並對廠房3的運轉被停止為止的廠房3的舉動進行學習。學習控制部8亦可在所得到的報酬值係未滿預定值等的執行中的試行明顯地無法帶來良好的結果之類的滿足預定的條件的情形下，在預定次數的步驟結束前結束試行且開始下一次的試行。
[0052]
行動決定部4係決定輸入至模擬器40的複數個PID參數。行動決定部4係隨機或基於藉由類神經網路7而表現出的行動價值函數而決定PID參數。行動決定部4亦可遵從ε－貪婪法(greedy method)等已知的任意的演算法而選擇隨機地決定PID參數或亦可基於行動價值函數而選擇使可期待的價值成為最大的PID參數。藉此，能一邊大範圍地試行各種選項，一邊提高學習效率，且可縮短到達學習收斂為止的時間。
[0053]
複數計測值取得部9係從模擬器40取得顯示複數個控制對象裝置模擬器41的狀態的複數個計測值。報酬值取得部5係取得相對於藉由經由複數計測值取得部9所取得的複數個計測值進行顯示的廠房3的狀態的報酬值。前述報酬值係將在廠房3中執行的製程12的狀態的正常與否作為穩定度指數予以數值化而成。更具體而言，報酬值係：以(1)複數個計測值與控制目標值之間的差距為小、(2)複數個計測值未振動、或(3)複數個計測值直至穩定化為止所需要的時間短作為基準，將製程的狀態的正常與否作為穩定度指數予以數值化而成。例如，以計測值與控制目標值之間的差距小、計測值的振動小、或計測值直至穩定化為止所需要的時間越短則變得越高的方式來決定報酬值。
[0054]
行動價值函數更新部6係基於藉由報酬值取得部5所取得的報酬值來更新藉由類神經網路7而表現的行動價值函數。行動價值函數更新部6係以使某一狀態s中行動決定部4所取得的行動的組合的行動價值函數的輸出接近某一狀態s中行動決定部4所採取的行動組的結果、藉由報酬值取得部5所取得的報酬值以及之後持續最佳行動的情形下可得到的報酬值的總和的期待值的方式來學習類神經網路7的權重。亦即，行動價值函數更新部6係以使從報酬值取得部5實際得到的報酬值與之後可得到的報酬值的期待值乘以時間比例的值的總和、及行動價值函數的輸出值之間的誤差縮減的方式，對類神經網路7的各層的各結合的權重進行調整。藉此，以使從類神經網路7計算出的行動價值接近真實的值的方式來使權重更新，而使學習更進步。
[0055]
圖8係顯示於操作面板的表示裝置中所表示的表示畫面的例子。表示畫面中係表示廠房3的製程流程圖、設定於各PID控制器的PID參數的現狀值以及由運轉條件設定支援裝置30所決定的PID參數的推薦值。操作者參照表示於表示裝置的推薦值而將PID參數輸入後，控制裝置20的PID參數取得部25取得所輸入的PID參數且使用於控制操作量決定部26決定控制操作量之用。藉此，即使在發生了有可能使廠房3的舉動變的不穩定的因素的情形下，也能迅速地使廠房3的舉動穩定化。
[0056]
以上，基於實施例進行了本發明之說明。所屬技術領域中具有通常知識者應當了解到，此實施例為例示，這些各構成要素或各處理製程的組合可以有各種的變形例，而且該等變形例亦屬於本發明之範圍。
[0057]
本發明的技術可以利用於藉由複數個控制裝置對複數個控制對象裝置進行控制的廠房中。實施形態中雖以分別包含進行PID控制的複數個控制系的廠房進行了說明，但本發明的技術亦可以利用於包含P控制、PI控制等以及其他任意的控制方式的控制系的廠房中。
(產業可利用性)
[0058]
本發明係可以利用於支援廠房的運轉條件的設定用的廠房運轉條件設定支援系統。
[0059]
1‧‧‧廠房運轉條件設定支援系統
2‧‧‧學習裝置
3‧‧‧廠房
4‧‧‧行動決定部
5‧‧‧報酬值取得部
6‧‧‧行動價值函數更新部
7‧‧‧類神經網路
8‧‧‧學習控制部
9、32‧‧‧複數計測值取得部
10、10a、10b、10n‧‧‧控制對象裝置
12‧‧‧製程
20、20a、20b、20n‧‧‧控制裝置
21、31‧‧‧控制部
22‧‧‧操作面板
23‧‧‧計測值取得部
24‧‧‧目標值取得部
25‧‧‧PID參數取得部
26‧‧‧控制操作量決定部
27‧‧‧控制操作量輸入部
30‧‧‧運轉條件設定支援裝置
33‧‧‧PID參數決定部
34‧‧‧PID參數輸出部
35‧‧‧模式切換部
36‧‧‧方案更新部
40‧‧‧模擬器
41、41a、41b、41n‧‧‧控制對象裝置模擬器
42‧‧‧製程模擬器
43、43a、43b、43n‧‧‧控制裝置模擬器
ASC‧‧‧防突波控制器
GT‧‧‧燃氣輪機
LC‧‧‧液面控制器
MV1、MV2、MVn‧‧‧控制操作量的值
PC‧‧‧壓力控制器
PID1-new、PID2-new、PIDn-new‧‧‧ PID參數
PV1、PV2、PVn‧‧‧計測值
SC‧‧‧轉速控制器
SV1、SV2、SVn‧‧‧控制對象值的目標值
[0023]
圖1係顯示實施形態的廠房運轉條件設定支援系統的整體構成的示意圖。
圖2係顯示作為控制對象製程之一例之壓縮機系統的構成例的示意圖。
圖3係示意性顯示以往的廠房中的控制方法的示意圖。
圖4係示意性顯示實施形態的運轉條件設定支援裝置的構成的示意圖。
圖5係顯示實施形態的運轉條件設定裝置以及控制裝置的構成的示意圖。
圖6係示意性顯示實施形態的學習裝置的構成的示意圖。
圖7係顯示實施形態的學習裝置的構成的示意圖。
圖8係顯示於操作面板的表示裝置中所表示的表示畫面的例子的示意圖。

Claims (12)

  1. 一種廠房運轉條件設定支援系統，係用於支援廠房的運轉條件的設定，前述廠房的運轉條件係用於執行由複數個裝置所構成的製程； 廠房運轉條件設定支援系統係具備： 複數個控制裝置，係分別回饋控制前述複數個裝置之中的一個以上的控制對象裝置；以及 運轉條件設定支援裝置，係對分別獨立進行複數個回饋控制之前述複數個控制裝置的設定統整地進行支援； 前述複數個控制裝置分別具備： 計測值取得部，係取得顯示控制對象裝置的狀態的計測值； 控制裝置調整參數取得部，係取得控制裝置調整參數，前述控制裝置調整參數係用於決定對控制對象裝置輸入的控制操作量； 控制操作量決定部，係基於藉由前述計測值取得部所取得的計測值以及藉由前述控制裝置調整參數取得部所取得的控制裝置調整參數來決定前述控制操作量；以及 控制操作量輸入部，係往控制對象裝置輸入藉由前述控制操作量決定部所決定的控制操作量； 前述運轉條件設定支援裝置具備： 複數計測值取得部，係取得複數個計測值，前述複數個計測值係顯示藉由前述複數個控制裝置分別控制的複數個控制對象裝置的狀態；以及 控制裝置調整參數決定部，係藉由經由深層強化學習所獲得的方案，且基於藉由前述複數計測值取得部所取得的複數個計測值決定複數個控制裝置調整參數，前述複數個控制裝置調整參數係使用在用於決定前述複數個控制裝置各者應輸入至前述複數個控制對象裝置的控制操作量。
  2. 如請求項1所記載之廠房運轉條件設定支援系統，其中前述控制裝置調整參數決定部係藉由經由用以獲得用於決定前述複數個控制裝置調整參數的方案之深層強化學習所獲得的方案來決定前述複數個控制裝置調整參數，前述方案係藉由前述深層強化學習基於下述所獲得：前述廠房被運轉時的前述控制對象裝置的計測值、控制目標值、以及控制操作量；以對前述計測值、前述控制目標值以及前述控制操作量進行評價來作為穩定度指數予以數值化的報酬值；以及前述控制操作量被決定時所使用的控制裝置調整參數。
  3. 如請求項2所記載之廠房運轉條件設定支援系統，其中更具備執行前述深層強化學習的學習裝置； 前述學習裝置係具備： 行動決定部，係取得顯示前述複數個控制對象裝置的狀態的複數個計測值，且輸出前述複數個控制裝置各者所使用的複數個控制裝置調整參數；以及 價值函數部，係用於計算出複數個計測值之被使用的控制裝置調整參數之配對的價值，前述複數個計測值係顯示前述複數個控制裝置使用藉由前述行動決定部所輸出的控制裝置調整參數對前述複數個控制對象裝置進行控制時的前述複數個控制對象裝置的狀態； 於前述複數個控制對象裝置處於藉由前述複數個計測值而被顯示的狀態時，藉由前述控制裝置調整參數決定部來決定輸入至前述控制對象裝置的控制裝置調整參數，且使用已決定的控制裝置調整參數來使前述複數個控制裝置所決定的控制操作量輸入至前述複數個控制對象裝置從而更新前述複數個控制對象裝置的狀態，並以之後持續選出最佳控制裝置調整參數的情形下可得到的報酬值的期待值與藉由前述價值函數部所計算出的價值之間的誤差縮小的方式使前述價值函數部進行學習。
  4. 如請求項2所記載之廠房運轉條件設定支援系統，其中前述報酬值係將前述製程的狀態的正常與否作為前述穩定度指數予以數值化。
  5. 如請求項2所記載之廠房運轉條件設定支援系統，其中前述報酬值係以前述複數個計測值與前述控制目標值之間的差為小、前述複數個計測值未振動、或前述複數個計測值直至穩定化為止所需要的時間短作為基準，將前述製程的狀態的正常與否作為前述穩定度指數予以數值化。
  6. 如請求項2所記載之廠房運轉條件設定支援系統，其中前述控制裝置調整參數決定部係藉由經由深層強化學習所獲得的方案來決定使前述廠房的運轉啟動或停止時的前述複數個控制裝置調整參數，前述方案係藉由使用了前述廠房的運轉啟動或停止時的前述計測值以及前述控制操作量與前述控制裝置調整參數之前述深層強化學習所獲得。
  7. 如請求項2所記載之廠房運轉條件設定支援系統，其中前述控制裝置調整參數決定部係藉由經由深層強化學習所獲得的方案來決定於前述廠房的運轉中已產生雜訊時或變更運轉條件時的前述複數個控制裝置調整參數，前述方案係藉由使用了前述廠房的運轉中已產生雜訊時或變更運轉條件時的前述計測值以及前述控制操作量與前述控制裝置調整參數之前述深層強化學習所獲得。
  8. 如請求項2所記載之廠房運轉條件設定支援系統，其中前述運轉條件設定支援裝置更具備：模式切換部，係基於藉由前述深層強化學習所獲得的方案，將是否應以自動模式或手動模式之中任一個模式進行控制對前述控制裝置進行指示，前述自動模式係前述控制裝置自動地將控制操作量輸入至控制對象裝置，前述手動模式係前述控制裝置受理來自操作者的控制操作量的指示而輸入至控制對象裝置。
  9. 如請求項1至8中任一項所記載之廠房運轉條件設定支援系統，其中前述運轉條件設定支援裝置係將藉由前述控制裝置調整參數決定部所決定的複數個控制裝置調整參數對各者的控制裝置進行通知； 前述控制裝置係藉由前述控制裝置調整參數取得部取得由前述運轉條件設定支援裝置所通知的控制裝置調整參數。
  10. 如請求項1至8中任一項所記載之廠房運轉條件設定支援系統，其中前述運轉條件設定支援裝置係將藉由前述控制裝置調整參數決定部所決定的複數個控制裝置調整參數對操作者進行提示； 前述控制裝置係藉由前述控制裝置調整參數取得部取得由前述操作者所輸入的控制裝置調整參數。
  11. 一種運轉條件設定支援裝置，係對複數個控制裝置的設定統整地進行支援，前述複數個控制裝置係對構成在廠房中被執行的製程的複數個裝置之中的一個以上的控制對象裝置分別進行回饋控制； 前述運轉條件設定支援裝置係具備： 複數計測值取得部，係取得複數個計測值，前述複數個計測值係顯示藉由前述複數個控制裝置分別控制的複數個控制對象裝置的狀態；以及 控制裝置調整參數決定部，係藉由經由深層強化學習所獲得的方案，且基於藉由前述複數計測值取得部所取得的複數個計測值決定複數個控制裝置調整參數，前述複數個控制裝置調整參數係使用在用於決定前述複數個控制裝置各者應輸入至前述複數個控制對象裝置的控制操作量。
  12. 一種學習裝置，具備： 行動決定部，係取得顯示構成在廠房中被執行的製程的複數個控制對象裝置的狀態的複數個計測值，且輸出使前述複數個控制對象裝置分別進行自動回饋控制的複數個控制裝置各者所使用的複數個控制裝置調整參數；以及 價值函數部，係用於計算出複數個計測值與被使用的控制裝置調整參數間之配對的價值，前述複數個計測值係顯示前述複數個控制裝置使用藉由前述行動決定部所輸出的控制裝置調整參數對前述複數個控制對象裝置進行控制時的前述複數個控制對象裝置的狀態； 於前述複數個控制對象裝置處於藉由前述複數個計測值而被顯示的狀態時，決定輸入至前述控制對象裝置的控制裝置調整參數，且使用已決定的控制裝置調整參數來使前述複數個控制裝置所決定的控制操作量輸入至前述複數個控制對象裝置從而更新前述複數個控制對象裝置的狀態，並以之後持續選出最佳控制裝置調整參數的情形下可得到的報酬值的期待值與藉由前述價值函數部所計算出的價值之間的誤差縮小的方式使前述價值函數部進行學習。
TW108110199A 2018-05-08 2019-03-25 廠房運轉條件設定支援系統、學習裝置以及運轉條件設定支援裝置 TWI716836B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018089972A JP7090243B2 (ja) 2018-05-08 2018-05-08 プラント運転条件設定支援システム、学習装置、及び運転条件設定支援装置
JP2018-089972 2018-05-08

Publications (2)

Publication Number Publication Date
TW201947333A true TW201947333A (zh) 2019-12-16
TWI716836B TWI716836B (zh) 2021-01-21

Family

ID=68466735

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108110199A TWI716836B (zh) 2018-05-08 2019-03-25 廠房運轉條件設定支援系統、學習裝置以及運轉條件設定支援裝置

Country Status (5)

Country Link
US (1) US11914348B2 (zh)
JP (1) JP7090243B2 (zh)
AU (1) AU2019265059B2 (zh)
TW (1) TWI716836B (zh)
WO (1) WO2019216143A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033815A (zh) * 2021-02-07 2021-06-25 广州杰赛科技股份有限公司 一种阀门智能协作控制方法、装置、设备及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7264845B2 (ja) * 2020-03-10 2023-04-25 株式会社日立製作所 制御システム及び制御方法
JP7491724B2 (ja) 2020-04-22 2024-05-28 株式会社 日立産業制御ソリューションズ 情報処理装置および情報処理方法
JP7392566B2 (ja) 2020-04-28 2023-12-06 横河電機株式会社 制御支援装置、制御支援方法、制御支援プログラム、および制御システム
US11796977B2 (en) * 2020-04-29 2023-10-24 Honeywell International Inc. PID controller autotuner using machine learning approaches
JP7401405B2 (ja) * 2020-07-15 2023-12-19 株式会社神戸製鋼所 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置
JP7481185B2 (ja) * 2020-07-15 2024-05-10 株式会社神戸製鋼所 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置
JP7481184B2 (ja) * 2020-07-15 2024-05-10 株式会社神戸製鋼所 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び成膜装置
JP2022026701A (ja) * 2020-07-31 2022-02-10 株式会社神戸製鋼所 機械学習方法、機械学習装置、機械学習プログラム、通信方法、及び制御装置
WO2023007596A1 (ja) * 2021-07-27 2023-02-02 理化工業株式会社 制御装置
JP2023023455A (ja) * 2021-08-05 2023-02-16 横河電機株式会社 学習装置、学習方法、および、学習プログラム、並びに、制御装置
JP2023063844A (ja) * 2021-10-25 2023-05-10 日本電気株式会社 制御システム、制御方法およびプログラム
JP2024060341A (ja) * 2022-10-19 2024-05-02 株式会社日立製作所 プラント制御システム及びプラント制御方法
JP7478297B1 (ja) 2023-09-08 2024-05-02 三菱重工業株式会社 情報処理システム、情報処理方法、学習システム、および学習方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2656637B2 (ja) * 1989-11-22 1997-09-24 株式会社日立製作所 プロセス制御システム及び発電プラントプロセス制御システム
JP2004178492A (ja) 2002-11-29 2004-06-24 Mitsubishi Heavy Ind Ltd 強化学習法を用いたプラントシミュレーション方法
WO2005045535A1 (de) 2003-10-29 2005-05-19 Siemens Aktiengesellschaft Verfahren zum betrieb einer technischen anlage
JP2007011866A (ja) * 2005-07-01 2007-01-18 Yokogawa Electric Corp プロセス制御装置における非干渉制御方法、およびプロセス制御装置
JP5172589B2 (ja) * 2008-10-14 2013-03-27 日揮株式会社 プラント多変数連携非干渉制御方法
US9172463B2 (en) * 2010-10-08 2015-10-27 Echostar Technologies L.L.C. Systems, methods and devices for detecting infrared noise at a remote control
US20130016669A1 (en) * 2011-07-15 2013-01-17 Nokia Corporation Periodic Access Control
US10222769B2 (en) * 2012-10-12 2019-03-05 Emerson Process Management Power & Water Solutions, Inc. Method for determining and tuning process characteristic parameters using a simulation system
JP5696171B2 (ja) 2013-03-14 2015-04-08 株式会社東芝 制御パラメータ調整方法、制御パラメータ調整システム及び制御パラメータ設定装置
US20160148850A1 (en) * 2014-11-25 2016-05-26 Stream Mosaic, Inc. Process control techniques for semiconductor manufacturing processes
US10219174B2 (en) * 2015-03-10 2019-02-26 Hewlett Packard Enterprise Development Lp Capacity estimation of a wireless link
JP6346128B2 (ja) * 2015-07-28 2018-06-20 ファナック株式会社 最適な操作条件を算出できる射出成形システム及び機械学習器
JP6106226B2 (ja) 2015-07-31 2017-03-29 ファナック株式会社 ゲインの最適化を学習する機械学習装置及び機械学習装置を備えた電動機制御装置並びに機械学習方法
US10094275B2 (en) * 2016-01-26 2018-10-09 General Electric Company Operation scheduling for optimal performance of hybrid power plants
JP6031202B1 (ja) * 2016-01-29 2016-11-24 ファナック株式会社 製造機械の異常の原因を発見するセル制御装置
JP2017138881A (ja) * 2016-02-05 2017-08-10 ファナック株式会社 操作メニューの表示を学習する機械学習器，数値制御装置，工作機械システム，製造システムおよび機械学習方法
JP6059375B1 (ja) * 2016-02-09 2017-01-11 ファナック株式会社 生産制御システムおよび統合生産制御システム
JP6650786B2 (ja) * 2016-03-03 2020-02-19 三菱日立パワーシステムズ株式会社 制御パラメータ自動調整装置、制御パラメータ自動調整方法、及び制御パラメータ自動調整装置ネットワーク
US11067955B2 (en) * 2016-06-30 2021-07-20 Johnson Controls Technology Company HVAC system using model predictive control with distributed low-level airside optimization
JP6497367B2 (ja) * 2016-08-31 2019-04-10 横河電機株式会社 プラント制御装置、プラント制御方法、プラント制御プログラム及び記録媒体
US9972478B2 (en) * 2016-09-16 2018-05-15 Lam Research Corporation Method and process of implementing machine learning in complex multivariate wafer processing equipment
JP6457563B2 (ja) * 2017-01-24 2019-01-23 ファナック株式会社 数値制御装置及び機械学習装置
JP6542833B2 (ja) * 2017-04-28 2019-07-10 ファナック株式会社 制御装置及び機械学習装置
JP7331660B2 (ja) * 2019-11-26 2023-08-23 横河電機株式会社 装置、方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113033815A (zh) * 2021-02-07 2021-06-25 广州杰赛科技股份有限公司 一种阀门智能协作控制方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US11914348B2 (en) 2024-02-27
WO2019216143A1 (ja) 2019-11-14
AU2019265059B2 (en) 2024-04-18
US20210055712A1 (en) 2021-02-25
TWI716836B (zh) 2021-01-21
JP7090243B2 (ja) 2022-06-24
JP2019197315A (ja) 2019-11-14
AU2019265059A1 (en) 2020-11-19

Similar Documents

Publication Publication Date Title
TW201947333A (zh) 廠房運轉條件設定支援系統、學習裝置以及運轉條件設定支援裝置
US11237531B2 (en) Method for determining and tuning process characteristic parameters using a simulation system
US8909359B2 (en) Process control systems and methods having learning features
Norsahperi et al. An improved optimal integral sliding mode control for uncertain robotic manipulators with reduced tracking error, chattering, and energy consumption
Esfandyari et al. Adaptive fuzzy tuning of PID controllers
CN108151253B (zh) 一种变风量空调送风温度自动补偿方法
JP2015232436A (ja) 蒸気圧縮システムを制御するシステム及び方法
JP6927446B1 (ja) 制御装置、制御方法及びプログラム
Jia et al. A data-driven dual-rate control method for a heat exchanging process
JP6901037B1 (ja) 制御装置、制御方法及びプログラム
JP2013069094A (ja) 制御方法および制御装置
JP2018156152A (ja) 制御方法および制御装置
JP2023028327A (ja) 制御装置、制御方法、及びプログラム
JP2003337602A (ja) 制御方法及び制御装置
RU2780340C2 (ru) Система помощи в настройке режима работы установки, обучающее устройство и устройство помощи в настройке режима работы
WO2021140885A1 (ja) 圧縮機制御装置の設定値決定支援装置及び設定値決定支援方法、並びに圧縮機運転制御システム
Srinivasarao et al. Centralized and decentralized of quadruple tank process
Kumar et al. Modeling proportional–integral controllers in tracking and economic model predictive control
Lee et al. Studies on the heating capacity control of a multi-type heat pump system applying a multi-input multi-output (MIMO) method
Chew et al. Simulation of process identification and controller tuning for flow control system
Yang et al. Dynamic fuzzy temperature control with quasi-Newtonian particle swarm optimization for precise air conditioning
EP3683634B1 (en) A method for controlling a technological process
Ramezani et al. Control of Multi-variable Processes using Self-Tuning Fuzzy
Saraswathi et al. Design of TITO system using ANFIS-PID controller for polymerization industry
TWI386767B (zh) A Method for Designing Multivariable Proportional Integral Differential Controller