TWI724461B - 運轉方法、支援裝置、學習裝置以及製油廠運轉條件設定支援系統 - Google Patents

Abstract

用於使用以蒸餾原油而製造複數個蒸餾成分之裝置運轉的運轉方法具備：設計工序，於油類切換時，推定切換後的原油中所含的水分含量或複數個蒸餾成分各自的流量；事先準備工序，基於切換後的原油的水分含量或流量來進行用以承接切換後的原油之事先準備；切換工序，開始承接切換後的原油；以及調整工序，調整用以蒸餾切換後之原油的運轉條件。調整工序中，根據顯示用以蒸餾切換後的原油之裝置的狀態的狀態值來調整用以控制裝置之控制量的目標設定值。

Description

運轉方法、支援裝置、學習裝置以及製油廠運轉條件設定支援系統

本發明係關於一種用於使用來製造石油製品之裝置運轉的運轉方法、可用於前述運轉方法中的支援裝置、學習裝置以及製油廠運轉條件設定支援系統。

於用以精煉原油而生產石油製品的製油廠中，根據市場價格、各油井的產油量、來自各油井的原油輸送狀況等，將從各種油井採取到之原油作為原料來承接。原油罐中承接之原油被導入常壓蒸餾塔中，且分離成具有不同沸點的複數個蒸餾成分。複數個蒸餾成分可視需要在下游裝置中進一步進行處理、升級，以生產石油製品。

當切換要處理的原油的油類(以下稱作「油類切換」)時，因原油中所含的烴蒸餾成分或水等的組成的變化等，常壓蒸餾塔或加熱爐等的裝置的運轉狀態可能會急劇變動。以前，熟練的操作員藉由調整各種控制量之設定值來設定合適的運轉條件。 [先前技術文獻] [專利文獻]

專利文獻1：日本專利特開平5-189062號公報。

[發明所欲解決之課題]

然而，由於是否能夠實現最佳運轉狀態係依存於操作員的經驗以及技能，故不得不依靠經驗豐富且技能高超的少數熟練操作員，對於熟練操作員而言這是一個巨大的負擔。而且，由於難以明文規定出用以切換原油的油類之運轉中的眾多運轉模式、操作順序的複雜的相互關係以及要點等，故熟練操作員難以對其他操作員進行有關如何在一邊注意順序要點一邊調整運轉條件的教導。

為了解決這種問題，雖提出了一種對熟練操作員的操作方法進行統計性處理，且用邏輯函數等來表現並利用前述操作方法的技術(例如參照專利文獻1)，但在製油廠中因許多裝置之運轉狀態由許多控制量來設定，且這些控制量會複雜地相互干擾，故前述方法受到限制。

本發明鑒於這種狀況而完成，其目的在於提供一種支援能夠實現製油廠的合適運轉之運轉條件設定的技術。 [用以解決課題的手段]

為了解決前述課題，本發明的一形態的運轉方法係用於使用以蒸餾原油而製造複數個蒸餾成分的裝置運轉，具備：設計工序，於油類切換時，推定切換後的原油中所含的水分含量或複數個蒸餾成分各自的流量；事先準備工序，基於切換後的原油的水分含量或流量來進行用以承接切換後的原油之事先準備；切換工序，開始承接切換後的原油；以及調整工序，調整用以蒸餾切換後之原油的運轉條件。調整工序中，根據顯示用以蒸餾切換後的原油之裝置的狀態的狀態值來調整用以控制裝置之控制量的目標設定值。

本發明的另一形態是一種支援裝置。前述支援裝置具備：取得部，當在用以蒸餾原油而製造複數個蒸餾成分之裝置中執行運轉方法時，取得用於推進運轉方法中所含之各工序所需的資訊，前述運轉方法包含：設計工序，於油類切換時，推定切換後的原油中所含的水分含量或複數個蒸餾成分各自的流量；事先準備工序，基於切換後的原油的水分含量或流量來進行用以承接切換後的原油之事先準備；切換工序，開始承接切換後的原油；以及調整工序，調整用以蒸餾切換後之原油的運轉條件；以及提示部，提示由取得部取得之資訊。

本發明的又一形態是一種學習裝置。前述學習裝置具備：狀態值取得部，取得顯示用以蒸餾原油之裝置的狀態的狀態值；以及學習部，藉由機器學習(machine learning)來學習方案，前述方案係用以基於狀態值來算出油類切換時用以控制裝置之控制量的推薦值。

本發明的又一形態是一種製油廠運轉條件設定支援系統。前述製油廠運轉條件設定支援系統具備：支援裝置，支援用於使用以蒸餾原油而製造複數個蒸餾成分之裝置的運轉條件的設定；以及學習裝置，藉由機器學習來學習支援裝置中使用的方案；學習裝置具備：取得部，取得顯示裝置的狀態的狀態值；以及學習部，藉由機器學習來學習方案，前述方案用以基於狀態值來算出油類切換時用以控制裝置之控制量的推薦值；支援裝置具備：狀態值取得部，於油類切換時，取得顯示裝置的狀態的狀態值；算出部，基於狀態值且使用藉由學習裝置而學習到的方案來算出用以控制裝置之控制量的推薦值；以及輸出部，將所算出的推薦值提示給操作員，或者將所算出的推薦值作為控制量的目標設定值設定於裝置中。

另外，以上構成要素的任意組合、本發明的表達在方法、裝置、系統、記錄媒體、電腦程式產品等之間進行轉換所得的部分亦有效地作為本發明的形態。 [發明功效]

根據本發明，可提供支援能夠實現製油廠的合適運轉之運轉條件設定的技術。

實施形態的製油廠運轉條件設定支援系統係支援製油廠的運轉條件的設定。本實施形態中，將特別地對支援製油廠中油類切換時的運轉條件的設定之情形進行說明。製油廠運轉條件設定支援系統係將以前由熟練的操作員執行的油類切換運轉之順序手冊化地進行管理，並將適當進行油類切換運轉所需要的資訊、應調整的控制量、應注意的事項等對操作員進行提示，藉此支援由操作員所進行的運轉條件的設定。又，製油廠運轉條件設定支援系統根據顯示製油廠中設置的複數個裝置的狀態之複數個狀態值，使用藉由機器學習而學習到的方案(函數)來算出用以控制複數個裝置之複數個控制量的推薦值，並將所算出的推薦值提示給操作員，藉此支援由操作員所進行的運轉條件的設定。

圖1係概略地顯示製油廠3的構成。原油罐10a以及10b中儲存的原油係藉由供給泵11從原油罐10a以及10b中提取，並藉由與蒸餾塔15的回流蒸餾成分等進行熱交換而被預熱，且與注水混合後導入至脫鹽裝置(脫鹽器(desalter))12中。另外，圖1中，雖於原油罐10a以及10b各自之出口處設置有供給泵11，但其他例子中，亦可藉由共用的供給泵從複數個原油罐提取原油。脫鹽裝置12中，原油中所含的水分、鹽分、鐵、泥等的雜質能作為廢水而去除。已通過脫鹽裝置12的原油係藉由與從蒸餾塔15提取的各蒸餾成分以及塔底油等的熱交換而進一步被加熱，並導入至預沸塔13中。已導入至預沸塔13的原油之中，已蒸發的低沸點蒸餾成分被直接導入至蒸餾塔15，且液體的高沸點蒸餾成分在加熱爐14中加熱後導入至蒸餾塔15。將經預熱的原油中所含的低沸點蒸餾成分預先放入至蒸餾塔15中，藉此能夠降低加熱爐14的負載。另外，亦可不設置預沸塔13，在前述情形下，可將所有原油在加熱爐14中加熱後導入至蒸餾塔15。而且，亦可設置副蒸餾塔以代替預沸塔13，在前述情形下，副蒸餾塔中被分餾的蒸餾成分可作為製品分離而不導入至蒸餾塔15中。

蒸餾塔15中，原油被分離成具有不同沸點的複數個蒸餾成分。從蒸餾塔15提取的各蒸餾成分被導入至汽提器(stripper)16。汽提器16中，各蒸餾成分為了調整閃點(flash point)而與過熱水蒸氣接觸，且低沸點蒸餾成分回流至蒸餾塔15中。通過汽提器16之各蒸餾成分於熱交換器中藉由蒸餾前的原油而冷卻，從而製成煤油、輕柴油、重柴油的各蒸餾成分。從蒸餾塔15的塔頂提取的低沸點蒸餾成分被暫時儲存於塔頂油接收槽(塔頂儲罐(Overhead accumulator))17中，氣體成分成為液化石油氣體原料或導入至氣體回收裝置中，液體成分成為汽油。從蒸餾塔15的塔底提取之塔底油在熱交換器中藉由蒸餾前的原油冷卻而成為常壓殘油。

例如於將藉由蒸餾塔15處理之原油從儲存於原油罐10a的原油切換為儲存於原油罐10b的油類不同的原油的情形下，脫鹽裝置12、預沸塔13、加熱爐14、蒸餾塔15、汽提器16以及塔頂油接收槽17等各裝置之運轉狀態可能會急劇變化，並且從蒸餾塔15提取的各蒸餾成分的組成或流量等可能發生變動。現有的製油廠中，為了防止油類切換運轉中生產的各蒸餾成分偏離所要求的規定規格，在直至油類切換運轉完成並移轉到平穩的穩定運轉之前，將從蒸餾塔15提取各蒸餾成分的流量抑制得低於穩定運轉。因此，油類切換運轉中，從蒸餾塔15提取更多的原油作為塔底油，更低價值的蒸餾成分即常壓殘油的產率增加，更高價值的蒸餾成分的汽油或煤油等的產率下降。因此，為了提高製油廠3中的生產效率，於油類切換運轉期間亦需要以下技術：能夠提高更高價值的蒸餾成分的產率，減少塔底油量，並且縮短從油類切換運轉移轉到穩定運轉所需的時間。

本實施形態的製油廠運轉條件設定支援系統按照由熟練的操作員執行的油類切換運轉的順序，來適當地管理油類切換運轉的各工序，並支援由操作員進行的運轉條件的設定。藉此，無論操作員的經驗或技能如何，均能夠優化油類切換運轉，且以高水平來平準化，因此能夠提高油類切換運轉中的高價值的蒸餾成分的產率，並且縮短從油類切換運轉移轉到穩定運轉所需的時間。藉此，能夠提高製油廠中的生產效率以及收益。

圖2係顯示實施形態的製油廠運轉條件設定支援系統的整體構成。製油廠運轉條件設定支援系統1具備用以精煉原油而生產石油製品的製油廠3、以及用以學習方案的學習裝置40，前述方案係用於支援製油廠3中運轉條件的設定。製油廠3與學習裝置40藉由網際網路或公司內連接系統等的任意的通信網2來連接，且能在本地(On-premise)、雲端(cloud)、邊緣計算(edge computing)等的任意運用形態下運用。

製油廠3具備：設置於製油廠3的常壓蒸餾塔或加熱爐等控制對象裝置5、控制裝置20，設定用以控制控制對象裝置5的運轉條件之控制量以及運轉條件設定支援裝置30，使用藉由學習裝置40學習到的方案來支援製油廠3的運轉條件的設定。運轉條件設定支援裝置30管理油類切換運轉的順序，並將適當進行油類切換運轉所需的資訊、應中止的狀態值、應調整的控制量以及應注意的事項等提示給操作員。而且，運轉條件設定支援裝置30根據顯示複數個控制對象裝置5的狀態之複數個狀態值，使用藉由機器學習而學習到之方案來算出複數個控制量的被推薦的目標設定值，從而提示給操作員。

圖3係顯示油類切換運轉的順序。油類切換運轉包含：設計工序(S1)、事先準備工序(S2)、切換工序(S3)以及調整工序(S4)。設計工序(S1)中，首先，基於儲存於原油罐10中的原油的採集地等資訊來設定由切換後的原油所獲得的製品產率，藉由樣本試驗等確認水分含量(S10)，並且設定從蒸餾塔15提取的複數個蒸餾成分的各自的流量(S12)。水分含量以及蒸餾成分的流量可使用線性規劃法(LP)模型(Linear programming model)等已知的任意技術來進行推定。

接下來，在事先準備工序(S2)中，設定油類切換運轉的時間步驟(S14)，基於切換後的原油的水分含量或蒸餾成分的流量，對脫鹽裝置12、預沸塔13、加熱爐14、蒸餾塔15、汽提器16以及塔頂油接收槽17等的裝置進行用以承接切換後的原油的事先準備(S16)，並且將供給泵11的流量控制的設定從自動切換為手動(S18)。

接下來，在切換工序(S3)中，切換從供給泵11提取原油的原油罐10從而開始承接切換後的原油(S20)。

接下來，在調整工序(S4)中，調整用以蒸餾切換後的原油的運轉條件。調整工序(S4)在優先考慮防止中間蒸餾成分的不合格(Off-spec)的同時，包含有：對加熱爐14之流量調整(S22)、中間蒸餾成分(煤油、輕柴油、重柴油)的流量的微調整(S24)、中間蒸餾成分的品質調整(S26)，塔頂溫度調整以及其他注意事項的確認(S28)、各回流的流量調整(S30)、原油預熱流量平衡調整(S32)、各設定是否在運轉指標內的確認(S34)以及中間蒸餾成分的品質的確認(S36)(順序不同)。若中間蒸餾成分滿足預定的品質(S36中之是)，則油類切換運轉完成並移轉到穩定運轉。若中間蒸餾成分不滿足預定的品質(S36中之否)，則回到S24，繼續進行中間蒸餾成分的品質調整。上述步驟在S14中設定的時間步驟內執行。

圖4係顯示油類切換運轉中的承接事先準備(S16)之詳細情況。在承接事先準備(S16)中，基於切換後的原油的水分含量或蒸餾成分的流量來調整：將原油導入至脫鹽裝置12之前注入至原油之水的流量、預沸塔13的液面水平、從加熱爐14導入至蒸餾塔15之原油的流量、塔頂油接收槽17的液面水平以及煤油、輕柴油、重柴油之各蒸餾成分的流量。例如，於推定切換後的原油中所含的水分含量較切換前多的情形下，預先減少注入至原油之水的流量。而且，於推定切換後的原油中所含的低沸點蒸餾成分的組成比高於切換前的原油的情形下，由於預測預沸塔13中較切換前多的低沸點蒸餾成分蒸發而會使液面下降，因此預先提高液面。另外，在原油從油輪卸下至原油罐後，藉由在原油罐中靜置充分的時間並分離泥水分，能夠減少原油的泥水分含量，因此原油的水分含量與原油的各蒸餾成分的組成比變的不同，從而能夠事先調整原油的水分含量。當將原油的水分含量事先降低至不影響運轉的水平時，承接事先準備(S16)中可不考慮切換後的原油的水分含量。

圖5係顯示油類切換運轉中之供給泵流量控制設定切換(S18)的詳細情況。當切換要動作的供給泵11以切換提取原油的原油罐10時，由於原油罐10之液面水平從低到高變化，而泵噴出壓力可能迅速上升而使流量發生變動，因此可將自動控制供給泵11的流量之功能暫時地切換為關閉，從而能以手動來進行微調。

圖6係顯示油類切換運轉中之原油罐切換(S20)的詳細情況。當切換要動作的供給泵11並開始從儲存了切換後的原油的原油罐10中提取原油時，在基於供給泵11的流量、從原油罐10到脫鹽裝置12的配管的長度等而經過大致規定的時間之後，切換後的原油到達脫鹽裝置12。基於S10中所推定的水分含量，雖可在S16中預先調整導入至脫鹽裝置12的原油中所注入之水的流量，但由於殘留於原油罐10中的水分或者原油輸送中混入至原油的水分等，有可能在原油中包含與推定量不同的水分，因此要確認脫鹽裝置12中之水量，並視需要進行調整。例如，當原油中所含的水分含量多時，脫鹽裝置12中產生過電流或不易看出界面，或預沸塔13的液面與溫度一起變動，或加熱爐14的入口溫度降低，或蒸餾塔15的壓力上升，因此要確認上述情況的狀態值。當確認原油中所含的水分含量多時，亦可使注入至原油的水量減少，或使消泡劑的注入量增加，或使導入至蒸餾塔15的過熱水蒸氣的量減少。如前述內容所述，當確認到原油的水分含量已事先降低至不影響運轉之水平時，亦可不需要執行與水分含量相關的調整。

圖7係顯示油類切換運轉中之對加熱爐的流量調整(S22)的詳細情況。當切換後的原油到達脫鹽裝置12後，進而當基於從脫鹽裝置12到預沸塔13以及至加熱爐14為止的配管的長度或流量等而大致規定的時間經過後，因切換後的原油到達預沸塔13以及加熱爐14，故能確認預沸塔13的液面水平，並能視需要對加熱爐14的流量進行調整。

圖8係顯示油類切換運轉中之中間蒸餾成分的流量的微調整(S24)的詳細情況。藉由至S22為止的工序，用於將切換後的原油導入至蒸餾塔15的準備已完成，由於能夠期望較蒸餾塔15靠上游的裝置基本上處於能夠自動運轉的狀態，因此之後進行微調整以使由切換後的原油生產的蒸餾成分的提取量成為各蒸餾成分所要求的規格內的最適量。首先，對用以從汽提器16提取各中間蒸餾成分之泵的流量進行調整。從塔頂提取的石腦油(naphtha)的流量係根據塔頂油接收槽17的液面水平來進行調整。關於從汽提器16提取的煤油、輕柴油、重柴油的流量係一邊確認各中間蒸餾成分的品質等一邊逐漸調整為最佳流量。各中間蒸餾成分的品質能藉由在線分析儀等進行分析。

圖9係顯示油類切換運轉中之塔頂溫度調整以及其他注意事項確認(S28)的詳細情況。當塔頂溫度低於預定值時，酸性物質在塔頂處冷凝，且因前述酸性物質可能導致裝置材料腐蝕，因而調整從塔頂提取的蒸餾成分的流量以及回流至塔頂的回流的流量等，以使塔頂溫度不低於預定值。而且，確認是否滿足各裝置的設計溫度、壓力限制、流速限制等條件，並視需要進行調整。

圖10係顯示油類切換運轉中之各回流的流量調整(S30)的詳細情況。蒸餾前的原油從蒸餾塔15導入至熱交換器並進行加熱，自身冷卻後回流至蒸餾塔15中的複數個回流的流量係根據蒸餾塔15中之各塔板的溫度、經預熱的原油的溫度等進行調整，優化蒸餾塔15的溫度分佈而實現節能化。

在根據以上順序的油類切換運轉中，雖可藉由操作員手動地執行用以調整流量或液面水平之控制量的設定，但本實施形態的製油廠運轉條件設定支援系統1中，為了進一步提高製油廠3的生產效率係使用藉由機器學習而學習到的方案來算出油類切換運轉中之各控制量的推薦值。

圖11係顯示實施形態的學習裝置的構成。學習裝置40具備狀態值取得部41、行動決定(behavioral decision)部42、報酬值取得部43、行動價值函數更新部44、神經網路(neural network)45、學習控制部46、模擬器47、運轉資料取得部48、運轉資料保持部49以及模擬器學習部50。就硬體組件來說，這些構成雖能藉由任意之電腦的CPU、記憶體、載入於記憶體之程式等來實現，在此係描述了藉由這些構成的協作而實現的功能塊。因此，所述技術領域中具有通常知識者應理解為這些功能塊能僅由硬體、僅由軟體、或由這些硬體與軟體的組合而以各種形式實現。

運轉資料取得部48從製油廠3取得顯示製油廠3運轉時之各控制對象裝置5的狀態的狀態值、各控制裝置20設定之控制量的目標設定值、顯示製油廠3的環境或狀態等的測定值等來作為運轉資料，並保存於運轉資料保持部49中。

模擬器學習部50係藉由機器學習來學習模擬製油廠3的行為的模擬器47。模擬器學習部50參照運轉資料保持部49中保存的運轉資料來作為教師資料，從而學習與模擬器47之差異。模擬器47既可模擬整個製油廠3的運轉行為，或者亦可以是模擬脫鹽裝置12、預沸塔13、加熱爐14、蒸餾塔15、汽提器16以及塔頂油接收槽17等裝置的各自的運轉行為的組合。當模擬器47由模擬各控制對象裝置5之複數個模擬器的組合構成時，首先模擬器學習部50可學習複數個模擬器中的每一個，於分別提高各個模擬器的精度後，學習組合了複數個模擬器的整個模擬器47。藉由使用製油廠3過去運轉時的運轉資料來學習模擬器47，能夠配合製油廠3的環境或構成等調整製成通用的模擬器，因而能夠提高模擬器的推定精度。

學習控制部46係藉由深層強化學習而獲得方案，前述方案供運轉條件設定支援裝置30在油類切換運轉中用以算出應為各個控制對象裝置5設定的控制量的推薦值。

強化學習係用於尋求方案，前述方案使放置在某環境中的檢索工具(agent)對環境採取行動，且藉由前述行動獲得的報酬最大化。按照時間序列重複如下步驟：檢索工具對環境採取行動，環境進行狀態之更新與行動之評估且將狀態與報酬通知給檢索工具，且優化行動價值函數與方案以使所獲得的報酬的合計期望值最大化。更具體而言，行動決定部42決定用以控制製油廠3中之油類切換運轉之控制量的目標設定值等，狀態值取得部41取得複數個狀態值，前述複數個狀態值顯示設定了所決定的目標設定值而運轉之製油廠3的預定時間後的狀態，報酬值取得部43取得前述狀態所對應的報酬值，行動價值函數更新部44基於所獲得的報酬值來優化行動價值函數與方案。

本實施形態中，由於由複數個控制對象裝置5的狀態值所規定的製油廠3的狀態s以及在狀態s中將控制量的目標設定值輸入至複數個控制對象裝置5之行動a的選項的組合的數目龐大，因而執行藉由神經網路45使行動價值函數近似的深層強化學習。深層強化學習之算法既可以是DQN(Deep Q-Learning Network；深度強化學習網路)，可以是DDQN(Double DQN；雙重深度強化學習網路)，亦可以是其他任意算法。神經網路45既可以是多層感知器(multilayer perceptron)神經網路、簡單感知器神經網路、層疊神經網路等的前饋式類神經網路(feedforward neural network)，亦可以是其他任意形式的神經網路。將顯示所有控制對象裝置5的狀態的所有狀態值輸入至神經網路45之輸入層，並從輸出層輸出已輸入至所有控制對象裝置5之所有控制量的目標設定值的價值。

學習控制部46決定學習方針以及內容，並執行深層強化學習。本實施形態中，學習控制部46使用保存在運轉資料保持部49之製油廠3中的過去的運轉資料來控制運轉實際成果學習模式以及假想運轉學習模式，前述運轉實際成果學習模式係根據製油廠3中過去執行的油類切換運轉的行為來學習方案，前述假想運轉學習模式係使用模擬器47且根據未知運轉條件下模擬的油類切換運轉的行為來學習方案。

學習控制部46設定切換前後的油類或水分含量等的初始條件並開始試行，且按照前述油類切換運轉的順序來執行控制量的目標設定值的決定以及複數個狀態值的取得，前述複數個狀態值係顯示使用所決定的控制量的目標設定值而控制之製油廠3的預定時間後的狀態，完成油類切換運轉之順序便結束一次試行，再次設定初始條件並開始下一次的試行。學習控制部46在滿足如下預定條件時，亦即滿足如所獲得的報酬值小於預定值這樣的執行中的試行顯然未產生良好的結果，則可於完成油類切換運轉的順序之前結束試行，並開始下一次試行。

運轉實際成果學習模式中，學習控制部46根據保存於運轉資料保持部49之過去的運轉資料，重複進行過去實際由操作員設定的目標設定值的設定以及設定前述目標設定值並實際運轉後的複數個狀態值的取得。亦即，行動決定部42根據保存於運轉資料保持部49的運轉資料，將過去實際由操作員設定的目標設定值的設定決定為下一次行動，狀態值取得部41取得保存於運轉資料保持部49的複數個狀態值來作為顯示設定了目標設定值後之各控制對象裝置5的狀態的狀態值。因按照保存於運轉資料保持部49之運轉資料而推進試行，故可不經過行動決定部42來推進學習。報酬值取得部43取得由過去的運轉資料所顯示的製油廠3的狀態所對應之報酬值，行動價值函數更新部44基於由報酬值取得部43取得的報酬值來更新由神經網路45所表現的行動價值函數。藉此，能夠使過去實際執行的油類切換運轉中之操作員的控制好壞反映在由神經網路45表現的行動價值函數。關於報酬值之算出與行動價值函數之更新的詳細情況將於下文敘述。

假想運轉學習模式中，學習控制部46重複由行動決定部42進行之目標設定值的設定、與藉由設定了前述目標設定值的模擬器47模擬之預定時間後的複數個狀態值的取得。行動決定部42決定輸入至模擬器47的複數個控制量的目標設定值。行動決定部42隨機地或者基於由神經網路45表現之行動價值函數來決定複數個控制量的目標設定值。行動決定部42可依據ε-過積極(ε-greedy)法等已知的任意算法來選擇是隨機地決定控制量的目標設定值，還是基於行動價值函數決定所期望的價值最大的控制量的目標設定值。藉此，可一邊廣泛試行各種選項，一邊效率佳地推進學習，並縮短直至學習結束為止的時間。而且，行動決定部42可選擇保存於運轉資料保持部49中之過去的運轉資料中未被選擇的行動。藉此，能夠探索過去的油類切換運轉中操作員尚未選擇的可能產生良好結果的行動。學習控制部46可在隨機的時機將反映了干擾的影響的狀態值設定於模擬器47，亦可學習用以處理干擾的適當方法。

狀態值取得部41從模擬器47取得顯示複數個控制對象裝置5的狀態之複數個狀態值。報酬值取得部43取得由狀態值取得部41取得的複數個狀態值顯示之製油廠3的狀態所對應的報酬值。前述報酬值是將製油廠3中執行的油類切換運轉的好壞加以數值化所得。更具體而言，報酬值係至少基於如下而數字化，即至少基於：(1)從切換要處理的原油的油類直至到達預定的運轉狀態所需的時間，(2)複數個蒸餾成分的產率，(3)調整工序中所消耗的能量，(4)調整工序中所要求的運轉條件的滿足度，(5)調整工序中之操作員對運轉狀況的評估中之任一個或上述(1)至(4)的組合。用以將報酬值數值化的這些各要素的權重(weight)可根據製油廠3之運轉方針來決定。報酬值能代替前述評估因素中之任一個，或除前述評估因素之外還基於其他評估因素而數值化。

當報酬值基於評估因素(5)而數值化時，評估因素(5)中使用的來自操作員進行的評估亦可從操作員終端60提供給學習裝置40。操作員終端60具備評估取得部61以及評估發送部62。評估取得部61將製油廠3中執行的油類切換運轉的狀況或者學習裝置40的模擬器47中假想執行的油類切換運轉的狀況等經由表示裝置等提示給操作員，並經由輸入裝置等從操作員取得針對運轉狀況的評估。評估發送部62將評估取得部61所取得的來自操作員進行的評估經由通信裝置等發送到學習裝置40。操作員終端60既可藉由學習裝置40實現，亦可藉由製油廠3的運轉條件設定支援裝置30或控制裝置20實現，還可作為與這些不同的其他裝置實現。

行動價值函數更新部44基於藉由報酬值取得部43取得的報酬值，來更新由神經網路45表現的行動價值函數。行動價值函數更新部44學習神經網路45之權重，以使在某狀態s下行動決定部42採取的行動的組合的行動價值函數的輸出接近在某狀態s下行動決定部42採取的行動的結果、藉由報酬值取得部43取得之報酬值以及之後繼續最佳行動時可能獲得的報酬值之總和的期望值。亦即，行動價值函數更新部44調整神經網路45各層的各結合的權重，以減小如下值的總和與行動價值函數的輸出值之間的誤差，即，藉由報酬值取得部43實際獲得的報酬值與對之後可能獲得的報酬值的期望值乘以時間折扣(time discounting)所得之值的總和。藉此，更新權重使得藉由神經網路45算出的行動價值接近真實值從而推進學習。

藉由運轉實際成果學習模式進行的學習與藉由假想運轉學習模式進行的學習能夠以任意次數、順序、組合來執行。例如，首先，藉由運轉實際成果學習模式，並使用過去的運轉資料來推進學習，於在過去的運轉中之目標設定值的設定好壞以某種程度反映在行動價值函數的階段中，藉由假想運轉學習模式，將更多樣的運轉條件下的廣泛選項作為對象來推進學習。

亦可使用過去的運轉資料來驗證是否可使用所學習的神經網路45來決定準確的行動。例如，根據與運轉實際成果學習模式同樣地保存於運轉資料保持部49的運轉資料來推進油類切換運轉的試行，行動決定部42與此並行地使用學習過的神經網路45來決定下一步的行動。當行動決定部42所決定的行動與保存於運轉資料保持部49之過去的運轉實際成果不同時，基於之後獲得的報酬值來評估行動決定部42所決定的行動好壞，當評估為不良的行動時，對神經網路45進行調整，以使行動決定部42不選擇前述行動，或者藉由行動決定部42決定與過去的運轉實際成果相同的行動。關於藉由行動決定部42決定的行動好壞，例如可基於之後根據運轉資料推進之過去的運轉實際成果所對應的報酬值在預定時間後的累計值來進行評估，亦可於行動決定部42採取所決定的行動時藉由模擬器47推定之後的運轉行為，進而基於經推定的運轉行為所對應的報酬值在預定時間後的累計值來進行評估。

本圖中，為了簡化說明，將學習裝置40顯示為單個裝置，但學習裝置40亦可利用雲端計算技術或分散處理技術等且藉由複數個伺服器而實現。藉此，能夠大幅縮短提高學習的精度所需的時間。

圖12係顯示實施形態的運轉條件設定支援裝置以及控制裝置的構成。控制裝置20具備控制部21以及操作面板22。

操作面板22於表示裝置中表示顯示製油廠3的運轉狀態之各種狀態值以及藉由控制裝置20設定之各種控制量的目標設定值等，並且從操作員受理各種控制量的目標設定值的輸入。

控制部21具備：狀態值取得部23、狀態值發送部24以及設定值輸入部25。前述狀態值取得部23、狀態值發送部24以及設定值輸入部25的功能塊亦能僅由硬體、僅由軟體、或由這些硬體與軟體的組合而以各種形式實現。

狀態值取得部23從設置於控制對象裝置5等之各種感測器或測定器等取得顯示製油廠3的運轉狀態以及運轉結果的各種狀態值，並將前述運轉狀態以及運轉結果的各種狀態值表示於操作面板22的表示裝置。狀態值發送部24將藉由狀態值取得部23取得的狀態值發送至運轉條件設定支援裝置30以及學習裝置40。設定值輸入部25將藉由操作面板22從操作員受理的各種控制量的目標設定值輸入至控制對象裝置5，並且表示於操作面板22的表示裝置。設定值輸入部25亦可將從運轉條件設定支援裝置30取得之控制量的推薦值自動地輸入至控制對象裝置5。

運轉條件設定支援裝置30具備控制部31。

控制部31具備：狀態值接收部32、推薦值算出部33、推薦值輸出部34、方案更新部35、資訊提示部36以及順序管理部37。狀態值接收部32、推薦值算出部33、推薦值輸出部34、方案更新部35、資訊提示部36以及順序管理部37的功能塊亦可僅由硬體、僅由軟體、或由這些硬體與軟體的組合而以各種形式實現。

狀態值接收部32從控制裝置20的狀態值發送部24取得複數個狀態值。推薦值算出部33使用藉由學習裝置40學習到的方案，並根據由狀態值接收部32接收到的複數個狀態值來算出複數個控制量的推薦值。推薦值輸出部34將藉由推薦值算出部33算出之複數個控制量的推薦值輸出至控制裝置20的操作面板22或設定值輸入部25。方案更新部35取得藉由學習裝置40重新學習的方案來更新推薦值算出部33。

順序管理部37保持前述油類切換運轉的順序，且在油類切換運轉中於資訊提示部36提示油類切換運轉的順序、適當進行油類切換運轉的各工序所需的資訊、應調整的控制量、應注意的事項等。資訊提示部36在控制裝置20之操作面板22提示前述資訊。

藉此，由於能夠優化以前依靠基於熟練操作員的經驗之直覺而運轉的油類切換運轉中之運轉條件的設定，且以高水平而平準化，因此能夠提高製油廠3中的生產效率。而且，由於能夠減小加熱爐14的負載且提高熱交換器的效率，故能夠減少製油廠3中所消耗的能量。而且，由於不需要調整或維護目標設定值，故能夠減輕系統的管理以及維持的負擔。

以上，基於實施例對本發明進行了說明。前述實施例為例示，並且所述技術領域中具有通常知識者應理解前述各構成要素或各處理製程的組合中能夠有各種變形例，且這樣的變形例亦處於本發明範圍內。

本發明的一形態之運轉方法係用於使用以蒸餾原油而製造複數個蒸餾成分的裝置運轉，具備：設計工序，於油類切換時，推定切換後的原油中所含的水分含量或複數個蒸餾成分各自的流量；事先準備工序，基於切換後的原油的水分含量或流量來進行用以承接切換後的原油之事先準備；切換工序，開始承接切換後的原油；以及調整工序，調整用以蒸餾切換後之原油的運轉條件。調整工序中，根據顯示用以蒸餾切換後的原油之裝置的狀態的狀態值來調整用以控制裝置之控制量的目標設定值。

事先準備工序中，亦可基於切換後的油類、水分含量、或流量來調整：於將原油導入至脫鹽裝置之前注入至原油之水的流量、用以暫時地貯存原油之裝置的液面水平、從用以加熱原油的加熱爐蒸餾原油且導入至蒸餾塔中之原油的流量以及用以暫時貯存從蒸餾塔蒸餾出的蒸餾成分之裝置的液面水平或複數個蒸餾成分的流量。

用以暫時地貯存原油之裝置亦可包含預沸塔。

調整工序亦可包含有：取得狀態值的工序；基於狀態值來算出控制量的推薦值的算出工序；以及將所算出的推薦值提示給操作員，或者將所算出的推薦值作為目標設定值設定於裝置的工序。

算出工序中亦可使用藉由機器學習而學習到的方案來算出推薦值。

方案亦可藉由強化學習來學習。

方案亦可藉由使用了報酬值的強化學習來學習，前述報酬值係至少基於從切換要處理的原油的油類直至到達預定的運轉狀態所需的時間、複數個蒸餾成分的產率、調整工序中所消耗的能量、調整工序中所要求的運轉條件的滿足度以及操作員對調整工序中之運轉狀況的評估中之任一個或前述時間、前述產率、前述能量、前述滿足度以及前述評估的組合。

方案亦可藉由使用了報酬值的強化學習來學習，前述報酬值係基於過去運轉裝置時的狀態值以及目標設定值。

方案亦可藉由使用了報酬值的強化學習來學習，前述報酬值係基於在模擬裝置的運轉狀況之模擬器中設定目標設定值時的狀態值。

本發明的另一形態為支援裝置。前述支援裝置具備：取得部，當在用以蒸餾原油而製造複數個蒸餾成分之裝置中執行運轉方法時，取得用於推進運轉方法中所含之各工序所需的資訊，前述運轉方法包含：設計工序，於油類切換時，推定切換後的原油中所含的水分含量或複數個蒸餾成分各自的流量、事先準備工序，基於切換後的原油的水分含量或流量來進行用以承接切換後的原油之事先準備、切換工序，開始承接切換後的原油以及調整工序，調整用以蒸餾切換後之原油的運轉條件；以及提示部，提示由取得部取得之資訊。

前述支援裝置亦可具備：狀態值取得部，於調整工序中，取得顯示裝置的狀態的狀態值；算出部，基於狀態值且使用藉由機器學習而學習到的方案來算出用以控制裝置之控制量的推薦值；以及輸出部，將所算出的推薦值提示給操作員，或者將所算出的推薦值作為控制量的目標設定值設定於裝置中。

方案亦可藉由使用了報酬值的強化學習來學習，前述報酬值係至少基於從切換要處理的原油的油類直至到達預定的運轉狀態所需之時間、藉由蒸餾原油所獲得的複數個蒸餾成分的產率、調整工序中所消耗的能量、調整工序中所要求的運轉條件的滿足度以及操作員對調整工序中之運轉狀況的評估中之任一個或前述時間、前述產率、前述能量、前述滿足度以及前述評估的組合。

本發明的又一形態係學習裝置。前述學習裝置具備：狀態值取得部，取得顯示用以蒸餾原油之裝置的狀態的狀態值；以及學習部，藉由機器學習來學習方案，前述方案係用以基於狀態值來算出油類切換時用以控制裝置之控制量的推薦值。

學習部亦可藉由使用了報酬值的強化學習來學習方案，前述報酬值係至少基於從切換要處理的原油的油類直至到達預定的運轉狀態所需的時間、藉由蒸餾原油所獲得之複數個蒸餾成分的產率、所消耗的能量、所要求的運轉條件的滿足度、以及操作員對運轉狀況的評估中之任一個或前述時間、前述產率、前述能量、前述滿足度以及前述評估的組合。 (產業可利用性)

本發明能夠用於製油廠運轉條件設定支援系統中，前述製油廠運轉條件設定支援系統係支援能夠實現製油廠的適當運轉之運轉條件的設定。

1:製油廠運轉條件設定支援系統 2:通信網 3:製油廠 5:控制對象裝置 10、10a、10b:原油罐 11:供給泵 12:脫鹽裝置 13:預沸塔 14:加熱爐 15:蒸餾塔 16:汽提器 17:塔頂油接收槽 20:控制裝置 21、31:控制部 22:操作面板 23、41:狀態值取得部 24:狀態值發送部 25:設定值輸入部 30:運轉條件設定支援裝置 32:狀態值接收部 33:推薦值算出部 34:推薦值輸出部 35:方案更新部 36:資訊提示部 37順序管理部 40:學習裝置 42:行動決定部 43:報酬值取得部 44:行動價值函數更新部 45:神經網路 46:學習控制部 47:模擬器 48:運轉資料取得部 49:運轉資料保持部 50:模擬器學習部 60:操作員終端 61:評估取得部 62:評估發送部

圖1係概略地顯示製油廠的構成之示意圖。 圖2係顯示實施形態的製油廠運轉條件設定支援系統的整體構成之示意圖。 圖3係顯示油類切換運轉之順序之示意圖。 圖4係顯示油類切換運轉中之承接事先準備(S16)的詳細情況之示意圖。 圖5係顯示油類切換運轉中之供給泵(charge pump)流量控制設定切換(S18)的詳細情況之示意圖。 圖6係顯示油類切換運轉中之原油罐切換(S20)的詳細情況之示意圖。 圖7係顯示油類切換運轉中之對加熱爐的流量調整(S22)的詳細情況之示意圖。 圖8係顯示油類切換運轉中之中間蒸餾成分的流量的微調整(S24)的詳細情況之示意圖。 圖9係顯示油類切換運轉中之塔頂溫度調整以及其他注意事項確認(S28)的詳細情況之示意圖。 圖10係顯示油類切換運轉中之各回流(reflux)的流量調整(S30)的詳細情況之示意圖。 圖11係顯示實施形態的學習裝置的構成之示意圖。 圖12係顯示實施形態的運轉條件設定支援裝置以及控制裝置的構成之示意圖。

Claims (7)

1. 一種運轉方法，係用於使用以蒸餾原油而製造複數個蒸餾成分的裝置運轉，前述運轉方法具備：設計工序，於油類切換時，推定切換後的原油中所含的水分含量或前述複數個蒸餾成分各自的流量；事先準備工序，基於切換後的原油的水分含量或前述流量來進行用以承接切換後的原油之事先準備；切換工序，開始承接切換後的原油；以及調整工序，調整用以蒸餾切換後之原油的運轉條件；前述事先準備工序中，基於切換後的原油的水分含量或前述流量來調整：將原油導入至脫鹽裝置之前注入至原油之水的流量、用以暫時地貯存原油之裝置的液面水平、從用以加熱原油的加熱爐導入至用以蒸餾原油的蒸餾塔中之原油的流量、用以暫時貯存從前述蒸餾塔蒸餾出的蒸餾成分之裝置的液面水平或前述複數個蒸餾成分的流量；前述調整工序中，根據狀態值來調整用以控制前述裝置之控制量的目標設定值，前述狀態值係顯示用以蒸餾切換後的原油之裝置的狀態。
2. 一種運轉方法，係用於使用以蒸餾原油而製造複數個蒸餾成分的裝置運轉，前述運轉方法具備：設計工序，於油類切換時，推定切換後的原油中所含的水分含量或前述複數個蒸餾成分各自的流量；事先準備工序，基於切換後的原油的水分含量或前述流量來進行用以承接切換後的原油之事先準備； 切換工序，開始承接切換後的原油；以及調整工序，調整用以蒸餾切換後之原油的運轉條件；前述調整工序包含有：取得前述狀態值的工序；算出工序，基於前述狀態值來算出前述控制量的推薦值；以及將所算出的推薦值提示給操作員，或將所算出的推薦值作為目標設定值設定於前述裝置的工序；前述算出工序中，使用藉由強化學習而學習到的方案來算出前述推薦值；前述方案藉由使用了報酬值的強化學習來學習，前述報酬值係至少基於從切換要處理的原油的油類起至到達預定的運轉狀態為止所需的時間、前述複數個蒸餾成分的產率、前述調整工序中所消耗的能量、前述調整工序中所要求的運轉條件的滿足度以及操作員對前述調整工序中之運轉狀況的評估中之任一個或前述時間、前述產率、前述能量、前述滿足度以及前述評估的組合。
3. 如請求項2所記載之運轉方法，其中前述方案係藉由使用了報酬值的強化學習來學習，前述報酬值係基於過去運轉前述裝置時的前述狀態值以及前述目標設定值。
4. 如請求項2所記載之運轉方法，其中前述方案藉由使用了報酬值的強化學習來學習，前述報酬值係基於在模擬前述裝置的運轉狀況之模擬器中設定前述目標設定值時的前述狀態值。
5. 一種支援裝置，具備： 取得部，當在用以蒸餾原油而製造複數個蒸餾成分之裝置中執行運轉方法時，取得用於推進前述運轉方法中所含之各工序所需的資訊，前述運轉方法包含：設計工序，於油類切換時，推定切換後的原油中所含的水分含量或前述複數個蒸餾成分各自的流量；事先準備工序，基於切換後的原油的水分含量或前述流量來進行用以承接切換後的原油之事先準備；切換工序，開始承接切換後的原油；以及調整工序，調整用以蒸餾切換後之原油的運轉條件；提示部，提示由前述取得部取得之資訊；狀態值取得部，於前述調整工序中，取得顯示前述裝置的狀態的狀態值；算出部，基於前述狀態值且使用藉由機器學習而學習到的方案來算出用以控制前述裝置之控制量的推薦值；以及輸出部，將所算出的推薦值提示給操作員，或將所算出的推薦值作為前述控制量的目標設定值設定於前述裝置；前述方案藉由使用了報酬值的強化學習來學習，前述報酬值係至少基於從切換要處理的原油的油類起至到達預定的運轉狀態為止所需之時間、藉由蒸餾原油所獲得的複數個蒸餾成分的產率、前述調整工序中所消耗的能量、前述調整工序中所要求的運轉條件的滿足度以及操作員對前述調整工序中之運轉狀況的評估中之任一個或前述時間、前述產率、前述能量、前述滿足度以及前述評估的組合。
6. 一種學習裝置，具備：狀態值取得部，取得顯示用以蒸餾原油之裝置的狀態的狀 態值；以及學習部，藉由機器學習來學習方案，前述方案係用以基於前述狀態值來算出油類切換時用以控制前述裝置之控制量的推薦值；前述學習部藉由使用了報酬值的強化學習來學習前述方案，前述報酬值係至少基於從切換要處理的原油的油類起至到達預定的運轉狀態為止所需的時間、藉由蒸餾原油所獲得之複數個蒸餾成分的產率、所消耗的能量、所要求的運轉條件的滿足度以及操作員對運轉狀況的評估中之任一個或前述時間、前述產率、前述能量、前述滿足度以及前述評估的組合。
7. 一種製油廠運轉條件設定支援系統，具備：支援裝置，支援用於使用以蒸餾原油而製造複數個蒸餾成分之裝置的運轉條件的設定；以及學習裝置，藉由機器學習來學習前述支援裝置中使用的方案；前述學習裝置具備：取得部，取得顯示前述裝置的狀態的狀態值；以及學習部，藉由機器學習來學習方案，前述方案用以基於前述狀態值來算出油類切換時用以控制前述裝置之控制量的推薦值；前述學習部藉由使用了報酬值的強化學習來學習前述方案，前述報酬值係至少基於從切換要處理的原油的油類起至到達預定的運轉狀態為止所需的時間、藉由蒸餾原油所獲得之複數個蒸餾成分的產率、所消耗的能量、所要求的運轉條件的 滿足度以及操作員對運轉狀況的評估中之任一個或前述時間、前述產率、前述能量、前述滿足度以及前述評估的組合；前述支援裝置具備：狀態值取得部，於油類切換時，取得顯示前述裝置的狀態的狀態值；算出部，基於前述狀態值且使用藉由前述學習裝置而學習到的方案來算出用以控制前述裝置之控制量的推薦值；以及輸出部，將所算出的推薦值提示給操作員，或將所算出的推薦值作為前述控制量的目標設定值設定於前述裝置中。

Images