TW202215179A - 操作工藝技術設備之方法、工藝技術設備及改造工藝技術設備之方法 - Google Patents
操作工藝技術設備之方法、工藝技術設備及改造工藝技術設備之方法 Download PDFInfo
- Publication number
- TW202215179A TW202215179A TW110137774A TW110137774A TW202215179A TW 202215179 A TW202215179 A TW 202215179A TW 110137774 A TW110137774 A TW 110137774A TW 110137774 A TW110137774 A TW 110137774A TW 202215179 A TW202215179 A TW 202215179A
- Authority
- TW
- Taiwan
- Prior art keywords
- control
- process technology
- values
- self
- neural network
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 244
- 230000008569 process Effects 0.000 title claims abstract description 185
- 238000005516 engineering process Methods 0.000 title claims abstract description 68
- 238000013528 artificial neural network Methods 0.000 claims abstract description 56
- 230000006870 function Effects 0.000 claims abstract description 25
- 230000002787 reinforcement Effects 0.000 claims abstract description 24
- 238000009420 retrofitting Methods 0.000 claims abstract description 5
- 238000000926 separation method Methods 0.000 claims description 56
- 238000012549 training Methods 0.000 claims description 36
- 230000006399 behavior Effects 0.000 claims description 16
- 238000011217 control strategy Methods 0.000 claims description 11
- 239000000463 material Substances 0.000 claims description 10
- 239000000203 mixture Substances 0.000 claims description 9
- XKRFYHLGVUSROY-UHFFFAOYSA-N Argon Chemical compound [Ar] XKRFYHLGVUSROY-UHFFFAOYSA-N 0.000 description 36
- IJGRMHOSHXDMSA-UHFFFAOYSA-N Atomic nitrogen Chemical compound N#N IJGRMHOSHXDMSA-UHFFFAOYSA-N 0.000 description 20
- 229910052786 argon Inorganic materials 0.000 description 18
- 238000005457 optimization Methods 0.000 description 13
- 239000007788 liquid Substances 0.000 description 11
- 229910052757 nitrogen Inorganic materials 0.000 description 10
- 238000010992 reflux Methods 0.000 description 9
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 8
- 238000010801 machine learning Methods 0.000 description 8
- 239000001301 oxygen Substances 0.000 description 8
- 229910052760 oxygen Inorganic materials 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000004821 distillation Methods 0.000 description 6
- 239000007789 gas Substances 0.000 description 6
- VXUOFDJKYGDUJI-OAQYLSRUSA-N 1-myristoyl-sn-glycero-3-phosphocholine Chemical compound CCCCCCCCCCCCCC(=O)OC[C@@H](O)COP([O-])(=O)OCC[N+](C)(C)C VXUOFDJKYGDUJI-OAQYLSRUSA-N 0.000 description 5
- 238000000746 purification Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 4
- 238000010438 heat treatment Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- VNWKTOKETHGBQD-UHFFFAOYSA-N methane Chemical compound C VNWKTOKETHGBQD-UHFFFAOYSA-N 0.000 description 4
- 239000003795 chemical substances by application Substances 0.000 description 3
- 230000001276 controlling effect Effects 0.000 description 3
- 238000001816 cooling Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 238000007689 inspection Methods 0.000 description 3
- 238000004886 process control Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- CURLTUGMZLYLDI-UHFFFAOYSA-N Carbon dioxide Chemical compound O=C=O CURLTUGMZLYLDI-UHFFFAOYSA-N 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000003345 natural gas Substances 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 239000004215 Carbon black (E152) Substances 0.000 description 1
- MYMOFIZGZYHOMD-UHFFFAOYSA-N Dioxygen Chemical compound O=O MYMOFIZGZYHOMD-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 229910002092 carbon dioxide Inorganic materials 0.000 description 1
- 239000001569 carbon dioxide Substances 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 230000001010 compromised effect Effects 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 239000000498 cooling water Substances 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005265 energy consumption Methods 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000013213 extrapolation Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 229930195733 hydrocarbon Natural products 0.000 description 1
- 150000002430 hydrocarbons Chemical class 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- DOTMOQHOJINYBL-UHFFFAOYSA-N molecular nitrogen;molecular oxygen Chemical compound N#N.O=O DOTMOQHOJINYBL-UHFFFAOYSA-N 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000000197 pyrolysis Methods 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 239000000376 reactant Substances 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000002407 reforming Methods 0.000 description 1
- 238000001179 sorption measurement Methods 0.000 description 1
- 230000000087 stabilizing effect Effects 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/092—Reinforcement learning
Landscapes
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Feedback Control In General (AREA)
Abstract
本發明提出一種操作工藝技術設備(100)之方法，其中使用一個或數個藉由控制過程規定的控制值來調節該工藝技術設備(100)中的一個或數個執行元件，從而影響該工藝技術設備(100)的一個或數個運行參數。該控制過程為自優化控制過程，該自優化控制過程包括了對基於模型的深度強化學習之使用以及對成本函數之考慮，其中藉由該基於模型的深度強化學習中所使用的神經網路將該工藝技術設備(100)的一個或數個組件映射在模型中。一種相應的工藝技術設備(100)及一種改造工藝技術設備(100)的方法同樣為本發明之主題。
Description
本發明係有關於如獨立請求項之前言所述的一種操作工藝技術設備特別是空氣分離設備之方法、一種工藝技術設備及一種改造工藝技術設備之方法。
下面將主要參照空氣低溫分離的方法與設備來描述本發明，因此，本文將首先簡要地討論此類方法與設備。然而正如下文所述，本發明亦可用於其他工藝技術設備，特別是（但不限於）對組分混合物進行低溫分離的設備，如用於加工天然氣或產生於合成或轉化工藝（如重整、裂解等）之產品混合物的設備。此類設備一般亦被稱為氣體設備(Gasanlage)。
在空氣分離設備中藉由低溫分離空氣來製造液態或氣態空氣產品，屬於習知技術且例如記載於H.-W. Häring (Hrsg.), Industrial Gases Processing, Wiley-VCH, 2006，特別是段落2.2.5，「Cryogenic Rectification」。若下文中述及空氣分離設備，則應將其理解為低溫空氣分離設備。
經典類型之空氣分離設備具有精餾塔系統，精餾塔系統可例如形成為二塔系統，特別是雙塔系統，但亦可形成為三塔或多塔系統。除了用於獲取液態及/或氣態的氮及/或氧的精餾塔（即氮氧分離精餾塔）外，還可設置用於獲取其他空氣組分（特別是稀有氣體）的精餾塔。
上述精餾塔系統的精餾塔係在不同的壓力水平上運行。習知的雙塔系統具有所謂的高壓塔（壓力塔、中壓塔或下塔）及所謂的低壓塔（上塔）。在此等塔中，特別是透過藉由控制裝置所預設的液態回流供應來維持分離。
空氣分離設備對上級過程控制有較高要求，包括設備類型及關於負載變換能力及產率優化的要求。空氣分離設備的特徵在於透過熱平衡及物料平衡將精餾塔與其他機組緊密聯繫在一起，以控制技術角度看是一個高度耦合的多變數系統。此外，待控制變數（分析、溫度等）的額定值取決於負載工況(Lastfall)。另一方面，例如用於生產氣態產品的空氣分離設備必須快速跟隨生產需求，同時須保證儘可能高的產品產率（特別是氧氣及/或氬氣）。在此，所謂的基本控制器可將過程參數調節到額定值。此種過程參數係由對空氣分離過程有影響的物理變數形成，例如空氣分離設備中某一部位或某一工藝步驟的壓力、溫度或流量。
在更傳統的空氣分離設備中，基本控制器具體可設計為P控制器（英文為Proportional Controller，比例控制器）、PI控制器（英文為Proportional Integrative Controller，比例積分控制器）、PD控制器（英文為Proportional Derivative Controller，比例微分控制器）或PID控制器（英文為Proportional Integrative Derivative Controller，比例積分微分控制器）。作為替代方案，兩個或更多個控制器可作為級聯控制器相互連接，並且用作基本控制器。全部基本控制器與必要的聯鎖設備及邏輯電路一起實現在所謂的控制系統上。
所謂的ALC控制器（英文為Automatic Load Change，自動負載變化）在更高層級上工作，並且為一個或數個基本控制器，較佳為整個系統，即為所有基本控制器規定額定值。藉此可在空氣分離設備的不同負載工況之間自動切換。此技術通常基於試運行期間所設置及記錄的數個負載工況之間的插值。為了啟動新的負載工況，預先計算出控制系統之基本控制器的目標額定值，而後以同步斜坡的方式接近該等目標額定值，即在預定時間段內以較小的時間步長進行調節。
亦即，ALC控制器為基本控制器指定一條行之有效的路徑，以實現待達到的負載工況。由此得到極高的調節速度。最多在基本控制中進行控制，例如透過級聯控制器。特別是，在控制系統上使用了所謂的微調控制器，其中由級聯電路修正ALC控制器預先計算出來的基本控制器額定值（平均值）。級聯控制器的額定值同樣可由ALC控制器規定。
所謂的模型預測控制器或MPC控制器（英文為Model Predictive Control，模型預測控制）為ALC控制器的一個替代方案。MPC控制器尤其可用於控制難度大的耦合多變數受控段。因此特別適用於空氣分離設備。其基礎為一個數學模型，該數學模型將受控變數（英文為Controlled Variable，CV）的時間行為映射到操縱變數（英文為Manipulated Variable，MV）的變化上。在控制技術中，使用簡單的一階線性模型較為常見，特別是具有死區者（在所謂的線性MPC控制器中，LMPC）。作為替代方案，亦可使用更複雜的例如非線性模型（在所謂的非線性MPC控制器中，NMPC）。整個過程由許多這樣的模型以矩陣形式來描述。所產生的總過程模型被用於控制，具體如下：模擬設備未來的行為，並最終計算操縱變數的時間特性，以使控制偏差最小化並遵守強制條件（英文為Limit Variables，LV，極限變數）。MPC控制器允許考慮到交叉關係，從而使運行特別穩定。
換言之，MPC控制的基本理念為預測受控系統在有限時間區間內的未來行為，並計算出最佳控制輸入，在確保滿足既有系統限制的同時，使先驗定義的成本功能最小化。更確切地說，MPC控制係藉由在每個採樣時間點解決一個開環控制迴路中有限時間區間的最佳控制問題來計算控制輸入。然後，所產生的最佳輸入軌跡的第一部分被應用於系統，直至下一個採樣時間點，此時移動區間並再次重複整個過程。MPC特別有優勢，因為它能夠明確地將硬狀態條件及輸入條件以及適當的性能標準納入控制器設計中。
MPC控制器可在穩態運行時較好地控制低溫空氣分離設備。負載變化對MPC控制器來說意味著為可測量的生產量規定新的目標額定值，MPC控制器在此基礎上根據新的負載工況調節整個過程。然而，負載變化的過程及持續時間不可預測，通常比採用ALC控制時慢得多，且往往極不穩定。基本上沒有一種機制可根據負載規定額定值。
ALC控制則允許快速的負載變化，並藉由同時（同步）調節所有相關的下級基本控制器，使過程比MPC控制器穩定得多。但另一方面又不具備多變數控制的優勢。
MPC控制及ALC控制皆為高級過程控制技術，其作用於下級基本控制器的額定值，以調整生產並控制測得值（分析、溫度）。到目前為止，它們更多地被看作彼此的替代方案。
然而，WO 2015/158431 A1提出一種ALC控制器與MPC控制器之組合，其中ALC控制器及MPC控制器共同作用於空氣分離設備的至少一個過程參數。其中，由ALC控制器測定的至少一個額定值或目標值並非如常地直接傳輸至第一過程參數的基本控制器，而是另外受到MPC控制器的影響，而後才轉發給基本控制器。
在第一變體中，ALC控制器可向MPC控制器輸出第一目標值，MPC控制器根據第一目標值計算第一過程參數的額定值，並將其轉發給基本控制器。進一步的過程參數由MPC控制器計算，以最小化第一過程參數對過程的干擾。
同樣的原理可應用於進一步的過程參數。在第二變體中，ALC控制器可同時輸出過程參數的第一目標值及一級額定值。基於第一目標值，MPC控制器為ALC控制器輸出的一級額定值計算額定值變化，並將變化後的（微調後的）額定值（即二級額定值）傳輸給用於第一過程參數的基本控制器。同樣的原理可應用於進一步的過程參數。
可以理解的是，LMPC控制器、NMPC控制器或MPC控制器的任一種變體在此皆可作為MPC控制器使用。亦即，ALC控制器與MPC控制器之組合併不局限於特定類型的MPC控制器，例如LMPC控制器，而是根據需要並按照相關領域通常知識者的意願來選擇MPC控制器，例如作為LMPC控制器或NMPC控制器。
事實表明，傳統控制方法並不總能確保空氣分離設備及其他工藝技術設備的最佳運行。因此，本發明之目的在於改良對工藝技術設備特別是空氣分離設備的控制。
此目的藉由具有獨立請求項之特徵的一種操作工藝技術設備特別是空氣分離設備之方法、一種工藝技術設備及一種改造工藝技術設備之方法而達成。本發明的技術方案分別為附屬項及以下說明的主題。
本發明的優點
本發明基於以下認識：以基於模型的（深度）強化學習為基礎的控制方案特別適合用來控制工藝技術設備，例如空氣分離設備，其中所用模型映射該設備或該設備的至少一部分，並基於神經網路。在此情況下，控制系統以自優化方式工作，即不斷改進所使用的控制策略，特別是基於對結果之評估，該等結果係藉由以前所用控制策略及/或控制中所使用的先前參數及變數所獲得。具體而言，此係藉由以下文將詳細闡述的方式重新訓練神經網路而實現。
總體來說，本發明提出一種操作工藝技術設備特別是空氣分離設備之方法，其中使用一個或數個控制值(Stellwert)來調節該工藝技術設備中的一個或數個執行元件，從而影響該工藝技術設備的一個或數個運行參數。
在本發明框架內被調節的執行元件尤其可為閥門或其他用於影響一種或數種物料流之流速的配件或配件組。例如，用於調節壓縮機效率或渦輪的執行裝置以及加熱元件或類似元件亦可構成相應的執行元件。其中，對相應執行元件所做的調節對在此被稱為運行參數的特性參數、測量值或實際值，例如塔壓、塔溫、塔內溫度剖面、物料產率、產品純度、某些物料流的組成等有直接或間接之影響。所謂的「影響工藝技術設備的運行參數」，應理解為針對性地改變相應的運行參數，例如提高或降低溫度、壓力或流率，或針對性地影響物料純度或混合物的組成，但亦指針對性地使此類運行參數如塔內溫度剖面保持恆定。
本發明使用成本函數，在本發明框架內，該成本函數的設計方式特別考慮到了消耗參數，如能耗或所用進料流（例如進料空氣(Einsatzluft)）的量，並將其與各自的預設目標值如產品量或產品純度進行權衡。在本發明框架內，當使用空氣分離設備時，針對所用進料空氣量特別設置了具有特別是可變之權重的懲罰項(Penalty)。其結果為，控制的一個重點落在節省進料空氣量上，這對能量需求有特別的影響，因為要消耗壓縮機功率。此外，所謂的軟約束(Soft Constraints)，特別是a·exp(b·(x–c)
d)形式的軟約束，被整合到成本函數中。軟約束與對控制亦有影響、但影響程度比進料空氣量小的其他運行參數有關。特別是，未使用拉格朗日（Lagrange）乘子，從而避免了往往與此相關的缺點，即出現難以解決的非線性方程組。特別是防止出現無法解決的優化問題。
根據本發明，至少在一個工藝階段使用自優化控制過程來進行對一個或數個執行元件的調節，其中自優化控制過程包括了對基於模型的（深度）強化學習之使用以及對上述成本函數之考慮，且其中，藉由基於模型的深度強化學習中所使用的神經網路將工藝技術設備的一個或數個組件映射在模型中。
除了與運行參數有關的歷史操縱變數及受控變數外，特別是還將進一步的過程參數用作神經網路（該神經網路映射設備行為）的輸入值。
在本發明與空氣分離設備有關的一個技術方案中，受控變數或運行參數包括空氣分離設備之塔系統中的一個或數個溫度及一個或數個氧分析，特別是兩個溫度及三個氧分析。控制變數特別是一個或數個質量流量及一個或數個閥門位置，例如特別是兩個物料流量及一個閥門位置。此外，特別是亦將所用雙塔的底層料位(Sumpfstand)及壓力提供給神經網路。在此，針對每個過程值皆例如考慮了預定的分鐘數。如此一來，在規定每分鐘過程參數的採樣值數量之情況下，輸入數量為乘以分鐘數所得結果，以映射設備的當前狀態(State)。
除當前狀態外，亦還向神經網路移交對操縱變數未來軌跡的建議。在前述例子中有三個操縱變數，因此針對包含有固定分鐘數的時間段，在每分鐘樣本數量固定的情況下，輸入數量仍為乘以分鐘數所得結果。
藉此，在本發明中，神經網路預測受控系統即工藝技術設備在預定時間區間內的未來行為。以此方式，可比模型預測控制更好地計算出最佳控制輸入，在確保滿足既有系統限制的同時，使定義的成本功能最小化。然而，所產生的最佳輸入軌跡的第一部分可應用於系統，即工藝技術設備，直至下一個採樣時間點，此時移動區間並再次重複整個過程，另見前文關於MPC的原理描述。與習知的MPC方法相比，神經網路因其可訓練性而能更好地以自優化方式找到最佳控制策略。
換言之，神經網路的輸出對應於有關受控變數或運行參數將如何變化之預測。就例子中的五個受控變數而言，在每分鐘值數固定的情況下，在以分鐘數表示的時間段內，作為輸出數量的值數仍為乘以分鐘數所得結果。
特別是，在本發明框架內，神經網路自身包括「內部」模型，該模型在一個循環中反復應用，以映射預定數量的時步(Zeitschritt)。在此，例子中的每個內部模型皆給出關於五個受控變數的預測。該模型亦可實現為或被理解成展開式遞歸神經網路。此種展開式結構的優點在於，模型預測控制優化不需要積分器，並且可直接參照相關的操縱變數建議來計算輸出梯度。
與先行一步的預測模型（即純前饋結構）相比，進一步的優勢在於，神經網路的訓練方式不僅使第一個預測步驟得到良好調整，而且使所有預測步驟皆得到折中。此亦明顯改善了關於後續步驟的預測品質。
由於資料歷史極大，因此本發明的一個技術方案有利地提出，對可用於訓練神經網路的資料點進行相關性檢查。為此，可對資料點進行相關性評估，例如包括資料的二維聚類及相關性評估分析，例如主成分分析。然後從聚類中「抽取」訓練資料，即測定具有足夠相關性的訓練資料，直至資料集達到一定規模。
本發明所提出的方法係關於機器學習（英文為Machine Learning）領域。機器學習採用算法及統計模型，能使系統（在本例中為控制裝置）在無明確指示的情況下依靠所用模型及由此得出的推論執行特定任務，在此為控制任務。例如，在用於機器學習的控制裝置中，可使用從歷史資料及/或訓練資料的分析中得出的控制策略，而非使用基於特定規則的控制策略，其中，該分析係在使用所用模型的情況下進行，並且其間可經歷靈活調整，以用於優化。
藉由以大量的訓練資料及關於訓練內容的相關資訊來訓練機器學習所使用的模型，該模型的行為至少越來越近似於被模擬的真實系統，從而可將在模型基礎上被認為是有利的行動（在本例中為控制策略）用於真實系統。
機器學習可採取所謂的監督學習、所謂的半監督學習或無監督學習的形式，其原理已為吾人所知，這裡不作詳細解釋。此等術語特別是與模型訓練方式有關。進一步的相關細節請參考相關技術文獻。
Reinforcement Learning（強化學習）為另一組機器學習算法。在強化學習中，一個或數個所謂的代理被訓練成在一個明確的環境中執行某些行動。根據所執行的行動，計算出獎勵，該獎勵亦可為負的。在強化學習中，代理被訓練成選擇數個相互協調的行動，使得行動的累積獎勵在整體上增加，促使軟體代理更好地完成分配給它們的任務。在本發明中，無模型強化學習中的獎勵對應於前述成本函數。
Deep Learning（多層次學習、深度學習）乃是機器學習的一個變體，使用在輸入層與輸出層之間具有大量中間層（英文為Hidden Layers，隱藏層）的（人工）神經網路（英文為Artificial Neural Networks，ANN），以形成豐富的內部結構。深度強化學習結合了強化學習與深度學習的各個方面。
人工神經網路（以下亦簡稱為神經網路）係受生物神經網路啟發而產生之系統。人工神經網路包括大量相互連接的節點以及節點之間的大量連接，即所謂的邊。除了上述輸入層中提供的節點，即接收輸入值的輸入節點，以及上述輸出層中提供的節點，即提供輸出值的輸出節點，還存在（僅）與其他節點連接的隱藏節點。每個節點皆代表一個人工神經元。資訊可透過每條邊從一個節點傳輸到另一個節點。一個節點的輸出可被定義為該節點的輸入的（非線性）函數（例如該節點的輸入總和）。一個節點的輸入或者說提供輸入的邊或節點可在函數中被加權。在學習過程中可調整節點及/或邊的權重。
本發明的基本思路基於深度強化學習與一個（必要時為又一個）神經網路的結合，該神經網路映射了按本發明運行的設備。如下文所述，本發明的有利態樣尤其包括：對模型中所使用的神經網路進行基本訓練；在設備運行過程中重新或持續訓練神經網路，從而實現控制的持續改進；訓練資料的具體生成方式以及為訓練過程選擇訓練資料；以及在運行時持續檢驗模型品質及控制品質，品質不足時自動恢復基本控制。
本發明使得有可能實現明顯更好的控制器調整，特別是在負載變化期間，以及更好的整體能效。本發明特別是對前述成本函數加以利用，如前所述，該成本函數的定義有利地基於工藝技術設備的產品標準（純度、組成、量）或消耗標準（能量、反應物）。例如，相應設備中常規採用的MPC控制並非如此。
本發明尤其可包括：首先以手動方式且/或使用另一種控制過程（例如使用級聯控制或者線性MPC控制或另一種MPC控制）來操作工藝技術設備，以及使用由此獲得的訓練資料來訓練本發明所提供的自優化控制過程或其中所使用的、映射設備的神經網路。以此方式，即用歷史資料或藉由另一種控制過程所獲得的真實資料進行訓練，可使此神經網路能夠針對某些控制值預測設備的某些運行參數。使用神經網路實現且經相應（之基本）訓練的模型可以此方式在本發明框架內與成本函數一起接下來用於本發明所提供的控制裝置。訓練資料尤其可為一個或數個前述設備參數，如前所述，該等設備參數受到對一個或數個控制值所做之調節的影響。
換言之，所提出的方法有利地包括：在第二工藝階段使用自優化控制過程來對一個或數個控制值進行調節；在第二運行階段之前的第一運行階段，以手動方式且/或使用又一個特別是非自優化的控制過程來操作設備；以及首先藉由在第一運行階段獲得的訓練資料來訓練（自優化控制過程中所使用的）神經網路。
接著，可藉由在第二運行階段獲得的訓練資料來訓練神經網路，亦即，藉由使用自優化控制過程所產生的訓練資料，而在該自優化控制過程中已使用了先前經（基本）訓練的神經網路。藉此可實現控制器行為的持續改進，下文還將對此進行詳細說明。
在第二運行階段的第一個循環中，尚僅藉由在第一運行階段獲得的訓練資料來訓練神經網路，由於有限的外推行為，該模型通常亦僅使用與此前所用相類似的控制策略，因此可預期控制品質亦相似。此時一旦第二運行階段提供訓練資料，即，使用自優化控制過程，便可將新獲得的訓練資料添加到相應的訓練資料集中之目前可用的訓練資料中。然後用以前測定的及新測定的訓練資料重新訓練神經網路，並將其整合到控制過程中。即使控制策略總是與之前的控制策略相似，但隨著時間的推移，藉由不斷重複相應的模型更新，並透過與過去策略的微小差異，將找到不斷改進的控制策略。
最後，該模型與成本函數一起構成超維空間中的一個標量場，在所使用的控制過程中，優化器可在該標量場中尋找最小值。然而，該標量場僅在以前存在訓練資料的區域內有效。在此情況下，例如在周圍區域找到局部最小值。根據用於相應領域的新訓練模型中所產生的評價（正或負），控制過程將更強烈地定向於相應方向或不是如此。
在本發明所提出的方法中，有利地針對一個或數個過去的時間點偵測一個或數個運行參數的一個或數個實際值。有利地，針對一個或數個未來的時間點，使用一個或數個以此方式偵測到的實際值來為一個或數個運行參數測定一個或數個預測值，並且有利地，藉由該模型，利用一個或數個運行參數的一個或數個額定值並利用一個或數個預測值來規定一個或數個控制值。使用所提出的方法可持續改善控制，特別是改善作為測定相關設定值之基礎的預測值的可靠性。
總體來說，在本發明框架內，可藉由神經網路在反復的探索循環中探索新的控制策略。如前所述，在此過程中有利地使用來自於工藝技術設備的初始運行、以另一種控制方法所實施的運行或以手動方式所進行的運行之訓練值，該等訓練值逐漸由後來使用自優化控制過程本身所獲得的值所取代，使得控制不斷優化。
如前所述，一個或數個執行元件尤其可以是或包括一個或數個閥門，一個或數個控制值可以是或包括一個或數個閥門的控制值，並且一個或數個運行參數可以是或包括一個或數個質量流量或溫度。當所提出的方法被用於空氣分離設備時，情況尤其如此。在一個具體例子中，對回流閥、進料空氣量及氬氣轉化率進行調節。
在根據本發明之方法的一個尤佳技術方案中，在使用一個或數個控制值來調節一個或數個執行元件之前，對該一個或數個控制值的適宜性進行檢查。該檢查具體可包括真實性檢查或與先前值的比較，以消除不可信或不合適的值。
在本發明的一個技術方案中，亦可將關於一個或數個運行參數在一個或數個未來時間點的一個或數個預測值與後來在此等時間點所獲得的真實值進行比較，其中基於該比較來測定預測品質。特別地，此可用於連續監測預測品質，以便在惡化程度超過允許範圍時能夠採取措施。
特別是，換句話說，當測定的預測品質低於預定最低品質時，可對自優化控制過程進行調整，或者用另一個控制過程取代自優化控制過程。在此情況下，例如可使用後備控制過程（從能效角度看或者在產率或成本函數方面可能更差，但更可靠），並且在此基礎上以前述方式啟動新的優化。亦可選擇性地採用以前使用過的優化狀態，為此可將該優化狀態暫存起來。如前所述，相應的品質評估亦可包括將某些先前值確定為有利的訓練資料。
在本發明框架內，自優化控制過程亦可以前言中所述之方式與ALC控制結合使用。
本發明亦關於一種工藝技術設備，特別是空氣分離設備，被設置為使用一個或數個控制值來調節該工藝技術設備中的一個或數個執行元件，從而影響該工藝技術設備的一個或數個運行參數。
根據本發明，該設備之特徵在於：提供控制裝置，該控制裝置被設置為至少在一個工藝階段使用自優化控制過程來進行對一個或數個控制值的設置，並且在採用基於模型的深度強化學習並考慮成本函數之情況下實施自優化控制過程，其中藉由基於模型的深度強化學習中所使用的神經網路將工藝技術設備的一個或數個組件映射在模型中。
本發明進一步關於一種改造工藝技術設備之方法，該工藝技術設備被設置為使用一個或數個控制值來調節該工藝技術設備中的一個或數個執行元件，從而影響該設備的一個或數個運行參數。
根據本發明，此方法之特徵在於：改造設備時，用自優化控制過程取代被用來設置一個或數個控制值的現有控制過程，其中自優化控制過程包括了對基於模型的深度強化學習之使用以及對成本函數之考慮，且其中，藉由基於模型的深度強化學習中所使用的神經網路將工藝技術設備的一個或數個組件映射在模型中。用自優化控制過程取代現有控制過程，包括將現有控制過程的控制功能陸續轉移到自優化控制過程。換言之即是，現有控制過程的控制功能越來越多地、特別是逐個地或分組地由自優化控制過程執行，而不再由現有控制過程執行。
對於本發明所提供的工藝技術設備或藉由該改造方法而改造之工藝技術設備及其進一步之技術方案的進一步特徵，請明確參考上述關於本發明之方法及其技術方案的說明。相應設備特別被設置為用於實施前述各種技術方案中所說明之方法。
下面將參照所附圖式對本發明進一步的態樣進行說明。
在圖式中，結構上或功能上彼此一致的元件以相同符號標示，為清楚起見不做重複說明。在下文中提到工藝步驟時，相應的解釋同樣適用於執行此等工藝步驟的設備組件，反之亦然。
圖1例示性地圖示一種習知類型之空氣分離設備100，該空氣分離設備特別是藉由使用圖中示意性示出的控制裝置50而可按照本發明的技術方案運行。正如之前多次提到，本發明亦適合用來操作其他工藝技術設備，不限於空氣分離設備。
所示類型的空氣分離設備在其他地方有諸多記載，例如H.-W. Häring (Hrsg.), Industrial Gases Processing, Wiley-VCH, 2006,特別是第2.2.5節，「Cryogenic Rectification」。因此關於結構及操作方式的詳細說明，請參考相關技術文獻。採用本發明的空氣分離設備可以多種方式進行設計。
圖1所示的空氣分離設備包括但不限於主空氣壓縮機1、預冷裝置2、淨化系統3、增壓壓縮機配置4、主熱交換器5、膨脹渦輪6、節流裝置7、泵8及精餾塔系統10。精餾塔系統10包括由高壓塔11與低壓塔12組成的雙塔配置以及粗氬塔13及精氬塔14。其中，根據本發明的技術方案所提出的控制系統例如可對回流比、進料空氣量及氬氣轉化率施加影響，進一步的變數可為膨脹機的運行參數以及上述塔或其一部分中的料位。
本發明的應用不限於如同空氣分離設備100這樣的空氣分離設備，而是亦可用於設計方式不同於圖中所示的空氣分離設備，該等空氣分離設備可具有更少或更多數量的、以同樣的方式或其他方式彼此連接之精餾塔。
在所圖示的空氣分離設備100中，主空氣壓縮機1透過未標號的過濾器吸入進料空氣流並對其進行壓縮。壓縮後的進料空氣流被送入以冷卻水運行的預冷裝置2。預冷後的進料空氣流在淨化系統3中被淨化。在通常包含有一對交替使用的吸附容器的淨化系統3中，預冷後的進料空氣流被去除大部分的水與二氧化碳。
在淨化系統3下游，進料空氣流被分成兩個分流。其中一個分流在進料空氣流的壓力水平上在主熱交換器5中徹底冷卻。另一個分流在增壓壓縮機配置4中被增壓壓縮，且同樣在主熱交換器5中冷卻，但僅冷卻到中間溫度水平。該所謂的渦輪流在冷卻到中間溫度水平後，藉由膨脹渦輪6膨脹到徹底冷卻之分流的壓力水平，與之結合並被送入高壓塔11。
在高壓塔11中形成氧富集液態底層餾分及氮富集氣態頂部餾分。氧富集液態底層餾分從高壓塔11中被提取，部分用作精氬塔14的底層蒸發器中的加熱介質，部分被送入精氬塔14的頂部冷凝器、粗氬塔13的頂部冷凝器及低壓塔12中。在粗氬塔13及精氬塔14之頂部冷凝器之蒸發室中蒸發的流體同樣被轉移到低壓塔12中。
從高壓塔11的頂部提取氣態富氮頂部產品，該頂部產品在主冷凝器中液化，部分作為回流被送至高壓塔11並膨脹到低壓塔12中，該主冷凝器在高壓塔11與低壓塔12之間建立熱交換連接。
在低壓塔12中形成富氧液態底層餾分及富氮氣態頂部餾分。前者在泵8中以液體形式被部分加壓，在主熱交換器5中被加熱並作為產品被提供。從低壓塔12頂部的液體阻截裝置提取液態富氮流，並將其作為液氮產品從空氣分離設備100輸出。提取自低壓塔12頂部的氣態富氮流穿過主熱交換器5，並且在低壓塔12的壓力上作為氮氣產品被提供。進一步從低壓塔12的上部區域提取一股流，該流在主熱交換器5中經加熱後，在預冷裝置2中或者經電熱器加熱後在淨化系統3中作為所謂的不純氮使用。
圖示類型的傳統空氣分離設備特別是可用級聯控制器或（線性）MPC加以控制。在此，控制目標例如為在高壓塔11中形成某種溫度剖面。此時，控制裝置50例如可控制在主冷凝器9中冷凝的頂部氣體回流R到高壓塔11。例如，高壓塔11中由相應的溫度感測器偵測的一個或數個溫度可用作受控變數。相應的控制通常亦作用於大量的其他執行元件，以實現進一步的控制目標。
當此處需要使用根據本發明之技術方案的方法時，可在控制裝置50中實現前述的自優化控制過程。在第一步驟中，自優化控制過程可接管對高壓塔11中的溫度剖面之控制，並且對用於回流R的回流閥進行控制。可特別指出的是，在負載變化期間，控制品質得到明顯改善。在可比較的負載變化場景中，LMPC對壓力塔中之溫度的均方根誤差(RMSE)為283 mK，而在根據本發明之技術方案的控制中相應可實現的值則為93 mK。
在下一步驟中，所有（在一個例子中為三個）主控制迴路（在該例子中係關於回流量、進料空氣量及氬氣轉化率）皆可被移交給自優化控制過程，並且可停用此前為此所使用的控制過程。在此情況下，整個空氣分離設備100尚能僅藉由簡單的級聯控制器及自優化控制過程來運行。如圖4所示，可確定所用空氣量減少了2%。高壓塔11及低壓塔12中的溫度剖面以及從低壓塔11轉移到粗氬塔13的轉移流T的組成可用作（主要）過程變數，可用相應的感測器測定。所用空氣量、控制返回高壓塔的回流R的回流閥及氬氣轉化率（對應於物料流T的流量）可用作操縱變數。由此產生5×3的控制問題。自優化控制過程可將更多的過程變數作為輸入，如純氬轉化率（對應於從粗氬塔13頂部進入精氬塔14的物料流P）、液氧沖洗信號（為了防止碳氫化合物積聚在低壓塔12的底層，必須定期沖洗底層，例如利用內壓縮泵8）及其他。除了穩定三個主要過程變數外，氣態氧及氣態氮的產品純度亦可透過自優化控制過程得到穩定。其中，還可對來自自優化控制過程的值進行真實性檢查。為了使自優化控制過程僅加載主控制器迴路，可透過線性方程一併運行其他控制迴路，以例如對精餾塔11至14的液面進行調節。
圖2示意性地圖示一個較佳實施方式中根據本發明之方法的流程，該實施方式從控制技術角度說明空氣分離設備100。為此示出兩個在空氣分離設備100中發生或運行的過程110、120。此類過程可由各種參數定義或規定，特別是亦受到某種交互作用。
在此等過程110、120中——即在空氣分離設備100運行期間——執行各種行動，且可測量各種變數，以便獲得相應資料130。例如，如圖1的例子所述，一個過程可包括某種氣體流，該氣體流受閥門位置（作為操縱變數）影響而達到或應達到一定的質量流量（作為受控變數）。
如前所述，所提出的方法實際上可用於任何工業設備（空氣分離設備、石油化工設備、天然氣設備等）。其中，宜將難以用經典控制方法控制的複雜子系統作為待控制過程，例如控制多相線路、蒸餾塔等等。即使是小的子系統，有時亦會出乎意料地難以用經典方法加以控制，例如，不僅當前被測變數（壓力、料位等）會影響控制策略，此等被測變數的歷史亦應該或必須被考慮在內（因為系統中例如存在死區）。藉由神經網路可良好地映射相應設備。如前所述，本案使用前饋網路與遞歸網路之間的一種特殊變化。由於係使用正常運行資料來訓練神經網路，因而此組合保證了僅設備行為被學習，而非整個系統行為（包括設備與控制器）。
由於此類過程通常是受控的，從而存在相應的控制迴路，因此，其間亦偵測相應受控變數的實際值。而後在獲得的資料130之框架內，對此等實際值進行模型預測控制或將其提供給模型預測控制器140，該模型預測控制器例如在合適的計算單元如前述控制裝置50上執行。
模型預測控制器140現在包含工藝技術設備的模型142，該模型至少映射需要被控制的相關過程110、120或相應參數。其中，模型142被映射或表示為神經網路。
根據關於該等過程的實際值及/或進一步資料，現在可——在模型預測控制的框架內——獲得關於此等資料之未來特性或未來行為的預測。在優化框架內，為控制迴路或過程尋找操縱變數，藉由該等操縱變數，受控變數能夠良好地且亦同時地達到例如由外部或者說由操作者規定的或根據預定流程等規定的額定值175，該等額定值在143中使用。
為操縱變數找到的值170還由另外的高級過程控制系統(APCS)檢查真實性，隨後被提供給相關過程110、120，或者說在該處設置操縱變數。其中，APCS還透過簡單的前饋及級聯控制器控制低優先級的控制迴路，以限制模型預測控制器所需的計算能力及其模型複雜性。
此外，對過去一段時間的預測品質進行比較與檢驗，在該段時間中亦已存在真實的值，如圖中141所示。若在檢驗141預測品質時發現預測品質超出規定範圍，即品質不足，則可切換到設備100的基本控制，以確保安全運行。此由虛線箭頭表示。在本發明的一個技術方案中，在優化期間特別要確保優化器對操縱變數的建議處於神經網路的有效範圍內。160用於表示神經網路的訓練。
用新獲得的歷史資料對神經網路本身進行定期（例如每天）訓練。在此過程中，模型定期收到反饋，以瞭解實際應用的操縱變數軌跡對解決控制問題的貢獻有多大。如此可進一步改進控制器，而不需要例如操作員或控制工程師的外部幫助。在此訓練期間，用剛剛使用過的神經網路操作工藝技術設備。
此訓練特別是亦基於在過程30 110、120期間或一般在工藝技術設備運行期間所獲得的資料130。當資料集在使用映射為神經網路的模型142之情況下隨著時間推移包含越來越多的運行資料，神經網路越來越容易學習到設備行為的高品質映射。
特別是，為了節省計算單元180上的資源，可在單獨的、甚至是外部或遠程的計算單元185上進行訓練。然而，計算單元180及185共同構成用於工藝技術設備100的控制及調節系統，以便用所提出的方法來操作該工藝技術設備。
圖3示意性地圖示根據本發明之技術方案的方法的態樣，其中示出控制過程的細節，且整體上標示為200。
控制過程200作用於一個設備或一種方法，例如前述之空氣分離設備100。優化步驟21及預測步驟22為控制過程200的一部分。如箭頭A所示，將想要的設備參數如塔溫提供給優化步驟21。由此，優化步驟21為瞬時循環的流率計算出控制值B，該控制值在例如空氣分離設備100的工藝中使用。所獲得的、例如關於過去20個循環的實際值C可被提供給預測步驟22，預測步驟在此基礎上以及在控制值B基礎上對未來溫度進行溫度預測D。該溫度預測被用於優化步驟21。在此處所說明的技術方案中，預測步驟22使用基於神經網路的模型進行工作。
換言之，使用一個或數個控制值B來調節工藝技術設備100中的執行元件，例如閥門，從而影響工藝技術設備100的一個或數個運行參數。此係用本文所說明的自優化控制過程200來完成，其中自優化控制過程包括了對基於模型的深度強化學習之使用以及對143中的成本函數之考慮。藉由被用於預測步驟22且進而被用於控制過程200中基於模型的深度強化學習的神經網路將工藝技術設備100的一個或數個組件映射在模型中。
如圖3所示，針對一個或數個過去的時間點偵測一個或數個運行參數的一個或數個實際值C，並且針對一個或數個未來的時間點，在使用自優化控制過程的情況下，利用一個或數個實際值C來為一個或數個運行參數測定一個或數個預測值D。在使用自優化控制過程的情況下，利用一個或數個運行參數的一個或數個額定值A並利用一個或數個預測值B來規定一個或數個控制值B。
圖4為根據本發明實施方式以及根據非本發明實施方式所獲得的消耗直方圖。此等消耗直方圖分別表明空氣分離設備處於不同運行狀態時對進料空氣的消耗，其中橫軸顯示以…為單位的進料空氣量，縱軸顯示一定數量的、對應於不同運行時間點之相應採樣值。401表示根據本發明技術方案所得到的消耗直方圖，402表示根據非本發明技術方案所得到的消耗直方圖。從中可看出，在使用本發明所提供的方法時，進料空氣消耗在大多數情況下皆低於採用非本發明技術方案時之進料空氣消耗。
1:主空氣壓縮機
2:預冷裝置
3:淨化系統
4:增壓壓縮機配置
5:主熱交換器
6:膨脹渦輪
7:節流裝置
8:泵，內壓縮泵
9:主冷凝器
10:精餾塔系統
11:高壓塔，精餾塔
12:低壓塔，精餾塔
13:粗氬塔，精餾塔
14:精氬塔，精餾塔
21:優化步驟
22:預測步驟
50:控制裝置
100:空氣分離設備，工藝技術設備
110:過程
120:過程
130:資料
140:模型預測控制器
141:檢驗
142:模型
160:神經網路的訓練
170:值
175:額定值
180:計算單元
185:計算單元
200:控制過程
401:根據本發明技術方案所得到的消耗直方圖
402:根據非本發明技術方案所得到的消耗直方圖
A:箭頭，額定值
B:控制值
C:實際值
D:溫度預測，預測值
P:物料流
R:回流
T:轉移流，物料流
圖1為可按照本發明之技術方案運行的空氣分離設備。
圖2為根據本發明之技術方案的方法的流程示意圖。
圖3為根據本發明之技術方案的方法的態樣示意圖。
圖4為根據本發明實施方式以及根據非本發明實施方式所獲得的消耗直方圖。
100:空氣分離設備，工藝技術設備
110:過程
120:過程
130:資料
140:模型預測控制器
141:檢驗
142:模型
160:神經網路的訓練
170:值
175:額定值
Claims (15)
- 一種操作工藝技術設備(100)之方法，其中使用一個或數個控制值來調節該工藝技術設備(100)中的一個或數個執行元件，從而影響該工藝技術設備(100)的一個或數個運行參數， 其特徵在於，至少在一個工藝階段使用自優化控制過程來進行對該一個或數個控制值的該設置，其中該自優化控制過程包括了對基於模型的深度強化學習之使用以及對成本函數之考慮，且其中，藉由神經網路將該工藝技術設備(100)的一個或數個組件映射在模型中，其中該神經網路映射該工藝技術設備(100)的行為並且被用於該基於模型的深度強化學習。
- 如請求項1所述之方法，其中，該神經網路預測該工藝技術設備在預定時間區間內的未來行為，特別是在控制該工藝技術設備(100)之一個或數個運行參數的框架內。
- 如請求項1或2所述之方法，其中，在第二工藝階段使用該自優化控制過程來對該一個或數個控制值進行該設置，其中在該第二運行階段之前的第一運行階段，以手動方式且/或使用又一個控制過程來操作該設備，且其中，首先藉由在該第一運行階段獲得的訓練資料來訓練該神經網路。
- 如請求項3所述之方法，其中，接下來藉由在該第二運行階段獲得的訓練資料來訓練該神經網路，且/或，該等訓練資料分別包括對應於特定控制值的運行參數。
- 如前述請求項中任一項所述之方法，其中，藉由該成本函數將消耗參數考慮在內，並與相關的預設目標值進行權衡。
- 如前述請求項中任一項所述之方法，其中，針對一個或數個過去的時間點偵測該一個或數個運行參數的一個或數個實際值，其中，針對一個或數個未來的時間點，在使用該自優化控制過程的情況下，利用該一個或數個實際值來為該一個或數個運行參數測定一個或數個預測值，且其中，在使用該自優化控制過程的情況下，利用該一個或數個運行參數的一個或數個額定值並利用該一個或數個預測值來規定該一個或數個控制值。
- 如前述請求項中任一項所述之方法，其中，藉由該神經網路在反復的探索循環中探索新的控制策略。
- 如前述請求項中任一項所述之方法，其中，該一個或數個執行元件是或包括一個或數個質量流量及/或閥門，該一個或數個控制值是或包括該一個或數個質量流量及/或閥門的控制值，並且該一個或數個運行參數是或包括一個或數個質量流量及/或物料濃度(Stoffkonzentration)及/或溫度。
- 如前述請求項中任一項所述之方法，其中，在使用該一個或數個控制值來調節該一個或數個執行元件之前，對該一個或數個控制值的適宜性進行檢查。
- 如前述請求項中任一項所述之方法，其中，將關於該一個或數個運行參數在該一個或數個未來時間點的該一個或數個預測值與後來在此等時間點所獲得的真實值進行比較，其中基於該比較來測定預測品質。
- 如請求項8所述之方法，其中，當測定的該預測品質低於預定最低品質時，對該自優化控制過程進行調整，或者用另一個控制過程取代該自優化控制過程。
- 如前述請求項中任一項所述之方法，其中，操作工藝技術設備(100)，在該工藝技術設備中進行組分混合物的低溫分離，其中特別是將空氣分離設備作為該工藝技術設備(100)來操作。
- 一種工藝技術設備(100)，被設置為使用一個或數個控制值來調節該工藝技術設備(100)中的一個或數個執行元件，從而影響該工藝技術設備(100)的一個或數個運行參數， 其特徵在於，提供控制裝置(50)，該控制裝置被設置為至少在一個工藝階段使用自優化控制過程來進行對該一個或數個控制值的該設置，並且在採用基於模型的深度強化學習並考慮成本函數之情況下實施該自優化控制過程，其中藉由神經網路將該工藝技術設備(100)的一個或數個組件映射在模型中，其中該神經網路映射該工藝技術設備(100)的行為並且被用於該基於模型的深度強化學習。
- 如請求項113所述之設備(100)，被設置為在該設備中對組分混合物進行低溫分離，且特別是被設計成空氣分離設備。
- 一種改造工藝技術設備(100)之方法，該工藝技術設備被設置為使用一個或數個控制值來調節該工藝技術設備(100)中的一個或數個執行元件，從而影響該設備(100)的一個或數個運行參數， 其特徵在於，改造該設備時，用自優化控制過程取代被用來設置該一個或數個控制值的現有控制過程，其中該自優化控制過程包括了對基於模型的深度強化學習之使用以及對成本函數之考慮，且其中，藉由神經網路將該工藝技術設備(100)的一個或數個組件映射在模型中，其中該神經網路映射該工藝技術設備(100)的行為並且被用於該基於模型的深度強化學習，並且，該自優化控制過程對該現有控制過程之取代，包括將該現有控制過程的控制功能陸續轉移到該自優化控制過程。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP20020474.1 | 2020-10-14 | ||
| EP20020474 | 2020-10-14 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW202215179A true TW202215179A (zh) | 2022-04-16 |
Family
ID=72943848
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110137774A TW202215179A (zh) | 2020-10-14 | 2021-10-12 | 操作工藝技術設備之方法、工藝技術設備及改造工藝技術設備之方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20230375987A1 (zh) |
| EP (1) | EP4229486A1 (zh) |
| KR (1) | KR20230087524A (zh) |
| CN (1) | CN116324634A (zh) |
| TW (1) | TW202215179A (zh) |
| WO (1) | WO2022078623A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP4293451A1 (de) * | 2022-06-13 | 2023-12-20 | Siemens Aktiengesellschaft | Steuern eines start- und/oder abschaltvorgangs und/oder lastwechsels einer technischen anlage |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106461322A (zh) | 2014-04-15 | 2017-02-22 | 林德股份公司 | 用于空气低温分馏的工艺和设备 |
| US20180218262A1 (en) * | 2017-01-31 | 2018-08-02 | Panasonic Intellectual Property Corporation Of America | Control device and control method |
| US10828775B2 (en) * | 2017-09-26 | 2020-11-10 | Siemens Aktiengesellschaft | Method and system for automatic robot control policy generation via CAD-based deep inverse reinforcement learning |
| US10915073B2 (en) * | 2017-12-15 | 2021-02-09 | Exxonmobil Research And Engineering Company | Adaptive PID controller tuning via deep reinforcement learning |
| CN109143870B (zh) * | 2018-10-23 | 2021-08-06 | 宁波溪棠信息科技有限公司 | 一种多目标任务的控制方法 |
-
2021
- 2021-09-29 US US18/248,477 patent/US20230375987A1/en active Pending
- 2021-09-29 WO PCT/EP2021/025371 patent/WO2022078623A1/de unknown
- 2021-09-29 KR KR1020237015491A patent/KR20230087524A/ko unknown
- 2021-09-29 EP EP21783399.5A patent/EP4229486A1/de active Pending
- 2021-09-29 CN CN202180068492.6A patent/CN116324634A/zh active Pending
- 2021-10-12 TW TW110137774A patent/TW202215179A/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| US20230375987A1 (en) | 2023-11-23 |
| KR20230087524A (ko) | 2023-06-16 |
| CN116324634A (zh) | 2023-06-23 |
| WO2022078623A1 (de) | 2022-04-21 |
| EP4229486A1 (de) | 2023-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2327463B1 (en) | Model predictive control having application to distillation processes | |
| US7826909B2 (en) | Dynamic model predictive control | |
| CN109219724B (zh) | 用于控制多区蒸汽压缩系统的系统和方法以及永久计算机可读存储介质 | |
| EP0701186B1 (en) | Model predictive control method for an air-separation system | |
| Pasamontes et al. | A switching control strategy applied to a solar collector field | |
| Cao et al. | Design for dynamic performance: Application to an air separation unit | |
| JPH06301406A (ja) | 階層型モデル予測制御システム | |
| Liu et al. | Intelligent decoupling control of power plant main steam pressure and power output | |
| TW202215179A (zh) | 操作工藝技術設備之方法、工藝技術設備及改造工藝技術設備之方法 | |
| Sharma et al. | A new control strategy for a higher order proton exchange membrane fuel cell system | |
| Huang et al. | Comparison of PI and MPC for control of a gas recovery unit | |
| Ning et al. | Neural network model-based adaptive control of a VAV-HVAC&R system | |
| CN113899125A (zh) | 一种基于经济预测控制的高温蒸汽热泵控制方法 | |
| Engelien et al. | Implementation of optimal operation for heat integrated distillation columns | |
| Srivignesh et al. | Design of neural based PID controller for nonlinear process | |
| CN118056162A (zh) | 用于操作过程系统的方法、过程系统和用于转换过程系统的方法 | |
| Zhu et al. | Investigating control schemes for an ideal thermally coupled distillation column (ITCDIC) | |
| Huang et al. | Two-loop robust model predictive control for the temperature control of air-handling units | |
| Ay et al. | Decoupling constrained model predictivecontrol of multicomponent packed distillation column | |
| CN113065772B (zh) | 一种基于k-means聚类算法构建供热系统调控目标模型的方法 | |
| CN118050984A (zh) | 一种面向阀位控制系统的双层结构模型预测控制方法 | |
| Olafsson et al. | Fuzzy control of brine heater process in water desalination plants | |
| HOFFMAN et al. | 8.21 Distillation: Optimization and Advanced Controls | |
| Su et al. | An Improved Algorithm of Double-layered Dynamic Matrix Predictive Control | |
| Kaminskas et al. | Learning fuzzy control of nonlinear processes |