WO2020059109A1

WO2020059109A1 - 運転方法、支援装置、学習装置、及び製油所運転条件設定支援システム

Info

Publication number: WO2020059109A1
Application number: PCT/JP2018/035010
Authority: WO
Inventors: 和也古市; 眞人石井
Original assignee: 千代田化工建設株式会社
Priority date: 2018-09-21
Filing date: 2018-09-21
Publication date: 2020-03-26
Also published as: JP7079852B2; KR102598234B1; JPWO2020059109A1; TW202013108A; TWI724461B; KR20210060558A

Abstract

原油を蒸留して複数の留分を製造するための装置を運転するための運転方法は、油種切替の際に、切替後の原油に含まれる水分量又は複数の留分のそれぞれの流量を推定する設計工程と、切替後の原油の水分量又は流量に基づいて、切替後の原油を受け入れるための事前の準備を行う前準備工程と、切替後の原油の受け入れを開始する切替工程と、切替後の原油を蒸留するための運転条件を調整する調整工程と、を備える。調整工程において、切替後の原油を蒸留するための装置の状態を示す状態値に応じて、装置を制御するための制御量の目標設定値が調整される。

Description

運転方法、支援装置、学習装置、及び製油所運転条件設定支援システム

　本発明は、石油製品を製造するための装置を運転するための運転方法、その運転方法に利用可能な支援装置、学習装置、及び製油所運転条件設定支援システムに関する。

　原油を精製して石油製品を生産するための製油所においては、市場価格、各油井における産油量、各油井からの原油の輸送状況などに応じて、様々な油井から採取された原油が原料として受け入れられる。原油タンクに受け入れられた原油は、常圧蒸留塔に導入され、異なる沸点を持つ複数の留分に分離される。複数の留分は、必要に応じて更に下流装置で処理・アップグレードされ、石油製品が生産される。

　処理する原油の油種の切り替え（以下、「油種切替」という）の際には、原油に含まれる炭化水素留分や水などの組成の変化などに起因して、常圧蒸留塔や加熱炉などの装置の運転状態が急激に変動しうる。従来は、熟練した運転員が様々な制御量の設定値を調整することにより、適切な運転条件を設定していた。

特開平５－１８９０６２号公報

　しかし、最適な運転状態を実現できるか否かは、運転員の経験と技量に依存しているため、経験豊富で技量の高い少数の熟練運転員に頼らざるを得ず、多大な負担がかかっていた。また、原油の油種を切り替えるための運転における非常に多くの運転パターン、操作手順の複雑な相互関係やキーポイント等を明文化することは困難であったため、熟練運転員がどのような手順でどのような点に留意しながら運転条件を調整しているのかを他の運転員に教育していくことが困難であった。

　このような課題を解決するために、熟練運転員の操作方法を統計的に処理し、それをロジスティック関数等で表現して利用する技術が提案されているが（例えば、特許文献１参照）、製油所においては、多数の装置の運転状態が多数の制御量により設定され、それらが複雑に相互干渉するため、このようなアプローチには限界がある。

　本発明は、こうした状況を鑑みてなされたものであり、その目的は、製油所の好適な運転を実現することが可能な運転条件の設定を支援する技術を提供することにある。

　上記課題を解決するために、本発明のある態様の運転方法は、原油を蒸留して複数の留分を製造するための装置を運転するための運転方法であって、油種切替の際に、切替後の原油に含まれる水分量又は複数の留分のそれぞれの流量を推定する設計工程と、切替後の原油の水分量又は流量に基づいて、切替後の原油を受け入れるための事前の準備を行う前準備工程と、切替後の原油の受け入れを開始する切替工程と、切替後の原油を蒸留するための運転条件を調整する調整工程と、を備える。調整工程において、切替後の原油を蒸留するための装置の状態を示す状態値に応じて、装置を制御するための制御量の目標設定値が調整される。

　本発明の別の態様は、支援装置である。この装置は、原油を蒸留して複数の留分を製造するための装置において、油種切替の際に、切替後の原油に含まれる水分量又は複数の留分のそれぞれの流量を推定する設計工程と、切替後の原油の水分量又は流量に基づいて、切替後の原油を受け入れるための事前の準備を行う前準備工程と、切替後の原油の受け入れを開始する切替工程と、切替後の原油を蒸留するための運転条件を調整する調整工程と、を含む運転方法が実行されるときに、運転方法に含まれる各工程を進めるために必要な情報を取得する取得部と、取得部により取得された情報を提示する提示部と、を備える。

　本発明のさらに別の態様は、学習装置である。この装置は、原油を蒸留するための装置の状態を示す状態値を取得する状態値取得部と、状態値に基づいて、油種切替の際に装置を制御するための制御量の推奨値を算出するための方策を機械学習により学習する学習部と、を備える。

　本発明のさらに別の態様は、製油所運転条件設定支援システムである。この製油所運転条件設定支援システムは、原油を蒸留して複数の留分を製造するための装置の運転条件の設定を支援する支援装置と、支援装置において使用される方策を機械学習により学習する学習装置と、を備え、学習装置は、装置の状態を示す状態値を取得する取得部と、状態値に基づいて、油種切替の際に装置を制御するための制御量の推奨値を算出する方策を機械学習により学習する学習部と、を備え、支援装置は、油種切替の際に、装置の状態を示す状態値を取得する状態値取得部と、状態値に基づいて、学習装置により学習された方策を使用して装置を制御するための制御量の推奨値を算出する算出部と、算出された推奨値を運転員に提示し、又は、算出された推奨値を制御量の目標設定値として装置に設定する出力部と、を備える。

　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

　本発明によれば、製油所の好適な運転を実現することが可能な運転条件の設定を支援する技術を提供することができる。

製油所の構成を概略的に示す図である。実施の形態に係る製油所運転条件設定支援システムの全体構成を示す図である。油種切替運転の手順を示す図である。油種切替運転における受け入れ前準備（Ｓ１６）の詳細を示す図である。油種切替運転におけるチャージポンプ流量制御設定切替（Ｓ１８）の詳細を示す図である。油種切替運転における原油タンク切替（Ｓ２０）の詳細を示す図である。油種切替運転における加熱炉への流量調整（Ｓ２２）の詳細を示す図である。油種切替運転における中間留分の流量の微調整（Ｓ２４）の詳細を示す図である。油種切替運転における塔頂温度調整及びその他の留意点確認（Ｓ２８）の詳細を示す図である。油種切替運転における各リフラックスの流量調整（Ｓ３０）の詳細を示す図である。実施の形態に係る学習装置の構成を示す図である。実施の形態に係る運転条件設定支援装置及び制御装置の構成を示す図である。

　実施の形態に係る製油所運転条件設定支援システムは、製油所の運転条件の設定を支援する。本実施の形態では、とくに、製油所において油種切替の際の運転の条件の設定を支援する場合について説明する。製油所運転条件設定支援システムは、従来熟練した運転員により実行されていた油種切替運転の手順をマニュアル化して管理し、油種切替運転を適切に進行させるために必要な情報、調整すべき制御量、留意すべき点などを運転員に提示することにより、運転員による運転条件の設定を支援する。また、製油所運転条件設定支援システムは、製油所に設けられた複数の装置の状態を示す複数の状態値に応じて、複数の装置を制御するための複数の制御量の推奨値を、機械学習により学習された方策（関数）を用いて算出し、算出した推奨値を運転員に提示することにより、運転員による運転条件の設定を支援する。

　図１は、製油所３の構成を概略的に示す。原油タンク１０ａ及び１０ｂに貯蔵された原油は、チャージポンプ１１により原油タンク１０ａ及び１０ｂから抜き出され、蒸留塔１５のリフラックス留分等との熱交換により予熱され、注入水と混合されて、脱塩装置（デソルター）１２に導入される。なお、図１では、原油タンク１０ａ及び１０ｂのそれぞれの出口にチャージポンプ１１が設けられているが、別の例では、複数の原油タンクから共通のチャージポンプにより原油が抜き出されてもよい。脱塩装置１２において、原油に含まれる水分、塩分、鉄分、泥などの不純物が廃水として除去される。脱塩装置１２を通過した原油は、蒸留塔１５から抜き出された各留分及び塔底油等との熱交換により更に加熱されて、前沸塔１３に導入される。前沸塔１３に導入された原油のうち、蒸発した低沸点留分は直接蒸留塔１５に導入され、液体の高沸点留分は加熱炉１４で加熱されてから蒸留塔１５に導入される。予熱された原油中に含まれている低沸点留分を前もって蒸留塔１５に張り込むことにより、加熱炉１４の負荷を低減することができる。なお、前沸塔１３は設けられなくてもよく、その場合、全ての原油が加熱炉１４で加熱されてから蒸留塔１５に導入されてもよい。また、前沸塔１３に代えて副蒸留塔が設けられてもよく、その場合、副蒸留塔において分留された留分は蒸留塔１５に導入されることなく製品として分離されてもよい。

　蒸留塔１５において、原油は、異なる沸点を持つ複数の留分に分離される。蒸留塔１５から抜き出された各留分は、ストリッパー１６に導入される。ストリッパー１６において、各留分は引火点（フラッシュポイント）の調整のために過熱水蒸気と接触され、低沸点留分は蒸留塔１５に環流される。ストリッパー１６を通過した各留分は、熱交換器において蒸留前の原油により冷却され、灯油、軽質軽油、重質軽油の各留分とされる。蒸留塔１５の塔頂から抜き出された低沸点留分は、塔頂油受槽（オーバーヘッド・アキュームレーター）１７に一時的に貯蔵され、気体成分は液化石油ガス原料とされ、又はガス回収装置へ導入され、液体成分はガソリンとされる。蒸留塔１５の塔底から抜き出された塔底油は、熱交換器において蒸留前の原油により冷却され、常圧残油とされる。

　蒸留塔１５により処理する原油を、例えば、原油タンク１０ａに貯蔵されている原油から原油タンク１０ｂに貯蔵されている油種の異なる原油に切り替える場合、脱塩装置１２、前沸塔１３、加熱炉１４、蒸留塔１５、ストリッパー１６、塔頂油受槽１７などの各装置の運転状態が急激に変化しうるとともに、蒸留塔１５から抜き出される各留分の組成や流量などが変動しうる。従来の製油所においては、油種切替運転中に生産される各留分が要求されるスペックから外れないようにするために、油種切替運転が完了して安定な定常運転に移行するまでは、各留分を蒸留塔１５から抜き出す流量を定常運転よりも低く抑えていた。そのため、油種切替運転中には、より多くの原油を塔底油として蒸留塔１５から抜き出すことになり、より低価値な留分である常圧残油の収率が増加し、より高価値な留分であるガソリンや灯油などの収率が低下していた。したがって、製油所３における生産効率を向上させるために、油種切替運転中にも、より高価値な留分の収率を高め、塔底油の量を低減させるとともに、油種切替運転から定常運転に移行するまでに要する時間を短縮することを可能とする技術が必要とされていた。

　本実施の形態の製油所運転条件設定支援システムは、熟練した運転員により実行されていた油種切替運転の手順に沿って、油種切替運転の各工程を適切に管理し、運転員による運転条件の設定を支援する。これにより、運転員の経験や技量によらず、油種切替運転を最適化し、高いレベルで平準化することができるので、油種切替運転中における高価値の留分の収率を向上させることができるとともに、油種切替運転から定常運転に移行するまでに要する時間を短縮することができる。これにより、製油所における生産効率及び収益を向上させることができる。

　図２は、実施の形態に係る製油所運転条件設定支援システムの全体構成を示す。製油所運転条件設定支援システム１は、原油を精製して石油製品を生産するための製油所３と、製油所３において運転条件の設定を支援するために使用される方策を学習するための学習装置４０とを備える。製油所３と学習装置４０とは、インターネットや社内接続系統などの任意の通信網２により接続され、オンプレミス、クラウド、エッジコンピューティングなどの任意の運用形態で運用される。

　製油所３は、製油所３に設置された常圧蒸留塔や加熱炉などの制御対象装置５と、制御対象装置５の運転条件を制御するための制御量を設定する制御装置２０と、学習装置４０により学習された方策を使用して製油所３の運転条件の設定を支援する運転条件設定支援装置３０とを備える。運転条件設定支援装置３０は、油種切替運転の手順を管理し、油種切替運転を適切に進行させるために必要な情報、中止すべき状態値、調整すべき制御量、留意すべき点などを運転員に提示する。また、運転条件設定支援装置３０は、複数の制御対象装置５の状態を示す複数の状態値に応じて、複数の制御量の推奨される目標設定値を、機械学習により学習された方策を用いて算出し、運転員に提示する。

　図３は、油種切替運転の手順を示す。油種切替運転は、設計工程（Ｓ１）、前準備工程（Ｓ２）、切替工程（Ｓ３）、及び調整工程（Ｓ４）を含む。設計工程（Ｓ１）において、まず、原油タンク１０に貯蔵されている原油の採取地などの情報に基づいて切替後の原油から得られる製品収率を設定し、サンプル試験などにより水分量を確認するとともに（Ｓ１０）、蒸留塔１５から抜き出す複数の留分のそれぞれの流量を設定する（Ｓ１２）。水分量及び留分の流量は、線型計画法（ＬＰ）モデルなどの既知の任意の技術を用いて推定してもよい。

　つづいて、前準備工程（Ｓ２）において、油種切替運転のタイムステップを設定し（Ｓ１４）、切替後の原油の水分量、又は留分の流量に基づいて、脱塩装置１２、前沸塔１３、加熱炉１４、蒸留塔１５、ストリッパー１６、塔頂油受槽１７などの装置について、切替後の原油を受け入れるための事前の準備を行うとともに（Ｓ１６）、チャージポンプ１１の流量制御の設定を自動から手動に切り替えておく（Ｓ１８）。

　つづいて、切替工程（Ｓ３）において、チャージポンプ１１により原油を抜き出す原油タンク１０を切り替えて、切替後の原油の受け入れを開始する（Ｓ２０）。

　つづいて、調整工程（Ｓ４）において、切替後の原油を蒸留するための運転条件を調整する。調整工程（Ｓ４）は、中間留分のオフスペックを防ぐ事を優先的に考慮しながら、加熱炉１４への流量調整（Ｓ２２）、中間留分（灯油、軽油、重質軽油）の流量の微調整（Ｓ２４）、中間留分の品質調整（Ｓ２６）、塔頂温度調整及びその他の留意点の確認（Ｓ２８）、各リフラックスの流量調整（Ｓ３０）、原油予熱流量バランス調整（Ｓ３２）、各設定が運転指標内であるか否かの確認（Ｓ３４）、及び中間留分の品質の確認（Ｓ３６）を含む（順不同）。中間留分が所定の品質を満たしていれば（Ｓ３６のＹ）、油種切替運転を完了して定常運転に移行する。中間留分が所定の品質を満たしていない場合は（Ｓ３６のＮ）、Ｓ２４に戻って、中間留分の品質調整を続行する。これらのステップは、Ｓ１４において設定されたタイムステップで実行される。

　図４は、油種切替運転における受け入れ前準備（Ｓ１６）の詳細を示す。受け入れ前準備（Ｓ１６）において、切替後の原油の水分量、又は留分の流量に基づいて、原油を脱塩装置１２に導入する前に原油に注入される水の流量、前沸塔１３の液面レベル、加熱炉１４から蒸留塔１５に導入される原油の流量、塔頂油受槽１７の液面レベル、灯油、軽質軽油、重質軽油の各留分の流量を調整する。例えば、切替後の原油に含まれる水分量が切替前よりも多いと推定される場合、原油に注入される水の流量を予め少なくしておく。また、切替後の原油に含まれる低沸点留分の組成比が切替前の原油よりも高いと推定される場合、前沸塔１３において切替前よりも多くの低沸点留分が蒸発して液面が下がることが予想されるので、予め液面を高くしておく。なお、タンカーから原油タンクに原油が陸揚げされた後、原油タンクにおいて十分な時間静置して泥水分を分離することにより、原油の泥水分量を低減させることができるので、原油の水分量は、原油の各留分の組成比とは異なり、事前に調整しておくことが可能である。運転に影響のないレベルまで事前に原油の水分量が低減される場合は、受け入れ前準備（Ｓ１６）において、切替後の原油の水分量が考慮されなくてもよい。

　図５は、油種切替運転におけるチャージポンプ流量制御設定切替（Ｓ１８）の詳細を示す。動作させるチャージポンプ１１を切り替えて、原油を抜き出す原油タンク１０を切り替える際には、原油タンク１０の液レベルが低いところから高いところに変わることによりポンプ吐出圧力が急激に上昇して流量が変動しうるので、チャージポンプ１１の流量を自動制御する機能を一時的にオフに切り替えて、微妙な調整を手動で行えるようにしておく。

　図６は、油種切替運転における原油タンク切替（Ｓ２０）の詳細を示す。動作させるチャージポンプ１１を切り替えて、切替後の原油を貯蔵している原油タンク１０から原油の抜き出しを開始すると、チャージポンプ１１の流量、原油タンク１０から脱塩装置１２までの配管の長さなどに基づいて概ね定まる時間の経過後に、脱塩装置１２に切替後の原油が到達する。脱塩装置１２に導入される原油に注入される水の流量は、Ｓ１０において推定された水分量に基づいて、Ｓ１６において予め調整されているが、原油タンク１０に残されていた水分や、原油の輸送中に原油に混入された水分などにより、推定とは異なる量の水分が原油に含まれている可能性があるので、脱塩装置１２における水の量を確認し、必要に応じて調整を行う。原油に含まれる水分量が多いときには、例えば、脱塩装置１２において過電流が発生したり界面が見づらくなったり、前沸塔１３の液面と温度が共に変動したり、加熱炉１４の入口温度が低下したり、蒸留塔１５の圧力が上昇したりするので、これらの状態値を確認する。原油に含まれる水分量が多いことが確認された場合は、原油に注入する水の量を減少させたり、消泡剤の注入量を増加させたり、蒸留塔１５に導入する過熱水蒸気の量を減少させたりしてもよい。前述したように、原油の水分量が運転に影響のないレベルまで事前に低減されていることが確認された場合は、水分量に関する調整を実行しなくてよい場合もある。

　図７は、油種切替運転における加熱炉への流量調整（Ｓ２２）の詳細を示す。脱塩装置１２に切替後の原油が到達した後、更に、脱塩装置１２から前沸塔１３及び加熱炉１４までの配管の長さや流量などに基づいて概ね定まる時間の経過後に、前沸塔１３及び加熱炉１４に切替後の原油が到達するので、前沸塔１３の液面レベルを確認し、必要に応じて加熱炉１４への流量の調整を行う。

　図８は、油種切替運転における中間留分の流量の微調整（Ｓ２４）の詳細を示す。Ｓ２２までの工程により、切替後の原油を蒸留塔１５に導入するための準備が整い、蒸留塔１５よりも上流の装置は基本的には自動運転可能な状態になっていると期待できるので、以降は、切替後の原油から生産される留分の抜出し量が、各留分に要求されるスペック内で最適量となるように微調整を行う。まず、ストリッパー１６から各中間留分を抜き出すためのポンプの流量を調整する。塔頂から抜き出されるナフサの流量は、塔頂油受槽１７の液面レベルに応じて調整する。ストリッパー１６から抜き出される灯油、軽質軽油、重質軽油の流量は、各中間留分の品質などを確認しながら、徐々に最適流量に調整する。各中間留分の品質は、オンライン分析計などにより分析される。

　図９は、油種切替運転における塔頂温度調整及びその他の留意点確認（Ｓ２８）の詳細を示す。塔頂温度が所定値よりも下がると、塔頂において酸性物質が凝縮し、その酸性物質により装置材料の腐蝕が生じる場合があるので、塔頂温度が所定値よりも下がらないように、塔頂から抜き出される留分の流量や、塔頂に環流されるリフラックスの流量などを調整する。また、各装置の設計温度、圧力制限、流速制限などの条件が充足されているか否かを確認し、必要に応じて調整を行う。

　図１０は、油種切替運転における各リフラックスの流量調整（Ｓ３０）の詳細を示す。蒸留塔１５から熱交換器に導入されて蒸留前の原油を加熱し、自身は冷却されて蒸留塔１５に環流される複数のリフラックスの流量を、蒸留塔１５における各トレイの温度、予熱された原油の温度などに応じて調整し、蒸留塔１５の温度分布を最適なものにし、省エネルギー化も図る。

　以上の手順による油種切替運転において、流量や液面レベルを調整するための制御量の設定は、運転員により手動で実行されてもよいが、本実施の形態の製油所運転条件設定支援システム１では、更に製油所３における生産効率を向上させるために、機械学習により学習された方策を使用して、油種切替運転における各制御量の推奨値を算出する。

　図１１は、実施の形態に係る学習装置の構成を示す。学習装置４０は、状態値取得部４１、行動決定部４２、報酬値取得部４３、行動価値関数更新部４４、ニューラルネットワーク４５、学習制御部４６、シミュレータ４７、運転データ取得部４８、運転データ保持部４９、及びシミュレータ学習部５０を備える。これらの構成は、ハードウエアコンポーネントでいえば、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。

　運転データ取得部４８は、製油所３が運転されたときの各制御対象装置５の状態を示す状態値、各制御装置２０が設定した制御量の目標設定値、製油所３の環境や状態などを示す測定値などを製油所３から運転データとして取得し、運転データ保持部４９に格納する。

　シミュレータ学習部５０は、製油所３の挙動をシミュレートするシミュレータ４７を機械学習により学習する。シミュレータ学習部５０は、運転データ保持部４９に格納された運転データを教師データとして参照し、シミュレータ４７との違いを学習する。シミュレータ４７は、製油所３全体の運転挙動をシミュレートするものであってもよいし、脱塩装置１２、前沸塔１３、加熱炉１４、蒸留塔１５、ストリッパー１６、塔頂油受槽１７などの装置のそれぞれの運転挙動をシミュレートするものの組合せであってもよい。シミュレータ４７が、各制御対象装置５をシミュレートする複数のシミュレータの組合せにより構成される場合は、シミュレータ学習部５０は、まず、複数のシミュレータのそれぞれを学習し、それぞれのシミュレータの精度を個別に向上させた後、複数のシミュレータを組み合わせた全体のシミュレータ４７を学習してもよい。製油所３が過去に運転されたときの運転データを使用してシミュレータ４７を学習することにより、汎用的に作成されたシミュレータを製油所３の環境や構成などに合わせて調整することができるので、シミュレータによる推定の精度を向上させることができる。

　学習制御部４６は、運転条件設定支援装置３０が、油種切替運転において、それぞれの制御対象装置５に設定すべき制御量の推奨値を算出するための方策を、深層強化学習により獲得する。

　強化学習は、ある環境下に置かれたエージェントが環境に対して行動をし、その行動により得られる報酬が最大化されるような方策を求めるものである。エージェントが環境に対して行動を起こし、環境が状態の更新と行動の評価を行い、状態と報酬をエージェントに知らせるというステップを時系列的に繰り返し、得られる報酬の合計の期待値が最大化されるように行動価値関数と方策を最適化する。より具体的には、行動決定部４２が、製油所３における油種切替運転を制御するための制御量の目標設定値などを決定し、状態値取得部４１が、決定された目標設定値が設定されて運転された製油所３の所定時間後の状態を示す複数の状態値を取得し、報酬値取得部４３が、その状態に対する報酬値を取得し、行動価値関数更新部４４が、得られた報酬値に基づいて行動価値関数と方策を最適化する。

　本実施の形態では、複数の制御対象装置５の状態値により規定される製油所３の状態ｓと、状態ｓにおいて複数の制御対象装置５に制御量の目標設定値を入力する行動ａの選択肢の組合せは膨大な数になるので、行動価値関数をニューラルネットワーク４５により近似した深層強化学習を実行する。深層強化学習のアルゴリズムは、ＤＱＮ（Deep Q-Learning Network）であってもよいし、ＤＤＱＮ（Double DQN）であってもよいし、その他の任意のアルゴリズムであってもよい。ニューラルネットワーク４５は、多層パーセプトロンニューラルネットワーク、単純パーセプトロンニューラルネットワーク、畳み込みニューラルネットワークなどの順伝播型ニューラルネットワークであってもよいし、その他の任意の形式のニューラルネットワークであってもよい。ニューラルネットワーク４５の入力層には、全ての制御対象装置５の状態を示す全ての状態値が入力され、出力層からは、全ての制御対象装置５に入力される全ての制御量の目標設定値の価値が出力される。

　学習制御部４６は、学習の方針及び内容を決定し、深層強化学習を実行する。本実施の形態では、学習制御部４６は、運転データ保持部４９に格納された製油所３における過去の運転データを使用し、製油所３において過去に実行された油種切替運転の挙動から方策を学習する運転実績学習モードと、シミュレータ４７を使用し、未知の運転条件においてシミュレートされる油種切替運転の挙動から方策を学習する仮想運転学習モードを制御する。

　学習制御部４６は、切替前後の油種や水分量などの初期条件を設定して試行を開始し、制御量の目標設定値の決定と、決定された制御量の目標設定値を使用して制御された製油所３の所定時間後の状態を示す複数の状態値の取得とを上記の油種切替運転の手順にしたがって実行し、油種切替運転の手順を完了すると１回の試行を終えて、再び初期条件を設定して次の試行を開始する。学習制御部４６は、得られた報酬値が所定値未満であるなど、実行中の試行が良好な結果をもたらさないことが明らかであるような所定の条件が満たされた場合には、油種切替運転の手順を完了する前に試行を終了し、次の試行を開始してもよい。

　運転実績学習モードにおいては、学習制御部４６は、運転データ保持部４９に格納された過去の運転データにしたがって、過去に実際に運転員により設定された目標設定値の設定と、その目標設定値が設定されて実際に運転された後の複数の状態値の取得を繰り返す。すなわち、行動決定部４２は、運転データ保持部４９に格納された運転データにしたがって、過去に実際に運転員により設定された目標設定値の設定を次の行動として決定し、状態値取得部４１は、運転データ保持部４９に格納された複数の状態値を、目標設定値が設定された後の各制御対象装置５の状態を示す状態値として取得する。運転データ保持部４９に格納された運転データの通りに試行が進められるので、行動決定部４２を介さずに学習が進められてもよい。報酬値取得部４３は、過去の運転データにより示される製油所３の状態に対する報酬値を取得し、行動価値関数更新部４４は、報酬値取得部４３により取得された報酬値に基づいて、ニューラルネットワーク４５により表現された行動価値関数を更新する。これにより、過去に実際に実行された油種切替運転における運転員による制御の良否を、ニューラルネットワーク４５により表現される行動価値関数に反映させることができる。報酬値の算出と、行動価値関数の更新の詳細については、後述する。

　仮想運転学習モードにおいては、学習制御部４６は、行動決定部４２による目標設定値の設定と、その目標設定値が設定されたシミュレータ４７によりシミュレートされた所定時間後の複数の状態値の取得を繰り返す。行動決定部４２は、シミュレータ４７に入力する複数の制御量の目標設定値を決定する。行動決定部４２は、ランダムに、あるいは、ニューラルネットワーク４５により表現された行動価値関数に基づいて、複数の制御量の目標設定値を決定する。行動決定部４２は、ε－ｇｒｅｅｄｙ法などの既知の任意のアルゴリズムにしたがって、ランダムに制御量の目標設定値を決定するか、行動価値関数に基づいて期待される価値が最大となる制御量の目標設定値を決定するかを選択してもよい。これにより、広く様々な選択肢を試行しつつ、学習を効率良く進め、学習が収束するまでの時間を短縮することができる。また、行動決定部４２は、運転データ保持部４９に格納された過去の運転データにおいては選択されなかった行動を選択してもよい。これにより、過去の油種切替運転において運転員が選択しなかったが良好な結果を生じうる行動を探索することができる。学習制御部４６は、ランダムなタイミングで外乱による影響を反映した状態値をシミュレータ４７に設定し、外乱に対する適切な対処の方法を学習させてもよい。

　状態値取得部４１は、シミュレータ４７から、複数の制御対象装置５の状態を示す複数の状態値を取得する。報酬値取得部４３は、状態値取得部４１により取得された複数の状態値により示される製油所３の状態に対する報酬値を取得する。この報酬値は、製油所３において実行される油種切替運転の良否を数値化したものである。より具体的には、報酬値は、（１）処理する原油の油種を切り替えてから所定の運転状態に到達するまでに要する時間、（２）複数の留分の収率、（３）調整工程において消費されるエネルギー量、（４）調整工程において要求される運転条件の充足度、（５）調整工程における運転状況に対する運転員による評価のうちのいずれか、又はそれらの組合せに少なくとも基づいて数値化される。報酬値を数値化するためのこれらの各要素の重みは、製油所３の運転方針に応じて決定されてもよい。報酬値は、上記の評価要因のいずれかに代えて、又は上記の評価要因に更に加えて、別の評価要因に基づいて数値化されてもよい。

　報酬値が、評価要因（５）に基づいて数値化される場合、評価要因（５）において使用される運転員による評価は、運転員端末６０から学習装置４０へ提供されてもよい。運転員端末６０は、評価取得部６１及び評価送信部６２を備える。評価取得部６１は、製油所３において実行された油種切替運転の状況や、学習装置４０のシミュレータ４７において仮想的に実行された油種切替運転の状況などを、表示装置などを介して運転員に提示し、入力装置などを介して運転員から運転状況に対する評価を取得する。評価送信部６２は、評価取得部６１が取得した運転員による評価を、通信装置などを介して学習装置４０へ送信する。運転員端末６０は、学習装置４０により実現されてもよいし、製油所３の運転条件設定支援装置３０又は制御装置２０により実現されてもよいし、それらとは別の装置として実現されてもよい。

　行動価値関数更新部４４は、報酬値取得部４３により取得された報酬値に基づいて、ニューラルネットワーク４５により表現された行動価値関数を更新する。行動価値関数更新部４４は、ある状態ｓにおいて行動決定部４２が取った行動の組の行動価値関数の出力が、ある状態ｓにおいて行動決定部４２が取った行動の結果、報酬値取得部４３により取得された報酬値と、その後に最適な行動を続けた場合に得られるであろう報酬値の和の期待値に近づくように、ニューラルネットワーク４５の重みを学習させる。すなわち、行動価値関数更新部４４は、報酬値取得部４３により実際に得られた報酬値と、その後に得られるであろう報酬値の期待値に時間割引を乗じた値の和と、行動価値関数の出力値との間の誤差を減らすように、ニューラルネットワーク４５の各層の各結合の重みを調整する。これにより、ニューラルネットワーク４５により算出される行動価値が真の値に近づくように重みが更新され、学習が進んでいく。

　運転実績学習モードによる学習と、仮想運転学習モードによる学習は、任意の回数、順序、組合せで実行されてもよい。例えば、まず、運転実績学習モードにより、過去の運転データを使用して学習を進め、過去の運転における目標設定値の設定の良否がある程度、行動価値関数に反映された段階で、仮想運転学習モードにより、より多様な運転条件における幅広い選択肢を対象として学習を進めてもよい。

　学習されたニューラルネットワーク４５を使用して的確な行動決定ができるか否かを、過去の運転データを使用して検証してもよい。例えば、運転実績学習モードと同様に運転データ保持部４９に格納された運転データにしたがって油種切替運転の試行を進めつつ、並行して行動決定部４２が学習済みのニューラルネットワーク４５を使用して次の行動を決定する。行動決定部４２が決定した行動が、運転データ保持部４９に格納された過去の運転実績とは異なっていた場合、行動決定部４２が決定した行動の良否を、その後に得られる報酬値に基づいて評価し、良好な行動ではないと評価される場合は、行動決定部４２によりその行動が選択されないように、又は、行動決定部４２により過去の運転実績と同様の行動が決定されるように、ニューラルネットワーク４５を調整する。行動決定部４２により決定された行動の良否は、例えば、その後に運転データにしたがって進められた過去の運転実績に対する報酬値の所定時間後までの積算値に基づいて評価されてもよいし、行動決定部４２が決定した行動をとった場合のその後の運転挙動をシミュレータ４７により推定し、推定された運転挙動に対する報酬値の所定時間後までの積算値に更に基づいて評価されてもよい。

　本図においては、説明の簡略化のため、学習装置４０を単独の装置として示しているが、学習装置４０は、クラウドコンピューティング技術や分散処理技術などを利用して、複数のサーバにより実現されてもよい。これにより、学習の精度を向上させるために要する時間を大幅に短縮することができる。

　図１２は、実施の形態に係る運転条件設定支援装置及び制御装置の構成を示す。制御装置２０は、制御部２１及び操作パネル２２を備える。

　操作パネル２２は、製油所３の運転状態を示す各種の状態値と、制御装置２０により設定された各種の制御量の目標設定値などを表示装置に表示するとともに、各種の制御量の目標設定値の入力を運転員から受け付ける。

　制御部２１は、状態値取得部２３、状態値送信部２４、及び設定値入力部２５を備える。これらの機能ブロックも、ハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できる。

　状態値取得部２３は、制御対象装置５などに設けられた各種のセンサや測定器などから、製油所３の運転状態及び運転結果を示す各種の状態値を取得し、操作パネル２２の表示装置に表示する。状態値送信部２４は、状態値取得部２３により取得された状態値を運転条件設定支援装置３０及び学習装置４０に送信する。設定値入力部２５は、操作パネル２２により運転員から受け付けた各種の制御量の目標設定値を制御対象装置５に入力するとともに、操作パネル２２の表示装置に表示する。設定値入力部２５は、運転条件設定支援装置３０から取得した制御量の推奨値を自動的に制御対象装置５に入力してもよい。

　運転条件設定支援装置３０は、制御部３１を備える。

　制御部３１は、状態値受信部３２、推奨値算出部３３、推奨値出力部３４、方策更新部３５、情報提示部３６、及び手順管理部３７を備える。これらの機能ブロックも、ハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できる。

　状態値受信部３２は、制御装置２０の状態値送信部２４から、複数の状態値を取得する。推奨値算出部３３は、学習装置４０により学習された方策を使用して、状態値受信部３２により受信された複数の状態値から複数の制御量の推奨値を算出する。推奨値出力部３４は、推奨値算出部３３により算出された複数の制御量の推奨値を、制御装置２０の操作パネル２２又は設定値入力部２５に出力する。方策更新部３５は、学習装置４０により再学習された方策を取得して推奨値算出部３３を更新する。

　手順管理部３７は、上述した油種切替運転の手順を保持し、油種切替運転中に、油種切替運転の手順、油種切替運転の各工程を適切に進行させるために必要な情報、調整すべき制御量、留意すべき点などを情報提示部３６に提示させる。情報提示部３６は、上記の情報を制御装置２０の操作パネル２２に提示する。

　これにより、従来は熟練した運転員の経験に基づく勘に頼って運転されていた油種切替運転における運転条件の設定を最適化し、高いレベルで平準化することができるので、製油所３における生産効率を向上させることができる。また、加熱炉１４の負荷を低減させ、熱交換器における効率を向上させることができるので、製油所３において消費されるエネルギーを低減させることができる。また、目標設定値の調整やメンテナンスが必要なくなるので、システムの管理及び維持の負荷を低減させることができる。

　以上、本発明を実施例にもとづいて説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

　本発明のある態様の運転方法は、原油を蒸留して複数の留分を製造するための装置を運転するための運転方法であって、油種切替の際に、切替後の原油に含まれる水分量又は複数の留分のそれぞれの流量を推定する設計工程と、切替後の原油の水分量又は流量に基づいて、切替後の原油を受け入れるための事前の準備を行う前準備工程と、切替後の原油の受け入れを開始する切替工程と、切替後の原油を蒸留するための運転条件を調整する調整工程と、を備える。調整工程において、切替後の原油を蒸留するための装置の状態を示す状態値に応じて、装置を制御するための制御量の目標設定値が調整される。

　前準備工程において、切替後の油種、水分量、又は流量に基づいて、原油を脱塩装置に導入する前に原油に注入される水の流量、原油を一時的に貯留するための装置の液面レベル、原油を加熱するための加熱炉から原油を蒸留する蒸留塔に導入される原油の流量、蒸留塔から留出された留分を一時的に貯留するための装置の液面レベル、又は複数の留分の流量が調整されてもよい。

　原油を一時的に貯留するための装置は、前沸塔を含んでもよい。

　調整工程は、状態値を取得する工程と、状態値に基づいて、制御量の推奨値を算出する算出工程と、算出された推奨値を運転員に提示し、又は、算出された推奨値を目標設定値として装置に設定する工程と、を含んでもよい。

　算出工程において、機械学習により学習された方策を使用して推奨値が算出されてもよい。

　方策は、強化学習により学習されてもよい。

　方策は、処理する原油の油種を切り替えてから所定の運転状態に到達するまでに要する時間、複数の留分の収率、調整工程において消費されるエネルギー量、調整工程において要求される運転条件の充足度、及び調整工程における運転状況に対する運転員による評価のうちのいずれか又はそれらの組合せに少なくとも基づく報酬値を用いた強化学習により学習されてもよい。

　方策は、装置を過去に運転したときの状態値及び目標設定値に基づく報酬値を用いた強化学習により学習されてもよい。

　方策は、装置の運転状況をシミュレートするシミュレータに目標設定値を設定したときの状態値に基づく報酬値を用いた強化学習により学習されてもよい。

　調整工程において、装置の状態を示す状態値を取得する状態値取得部と、状態値に基づいて、機械学習により学習された方策を使用して装置を制御するための制御量の推奨値を算出する算出部と、算出された推奨値を運転員に提示し、又は、算出された推奨値を制御量の目標設定値として装置に設定する出力部と、を備えてもよい。

　方策は、処理する原油の油種を切り替えてから所定の運転状態に到達するまでに要する時間、原油を蒸留することにより得られる複数の留分の収率、調整工程において消費されるエネルギー量、調整工程において要求される運転条件の充足度、及び調整工程における運転状況に対する運転員による評価のうちのいずれか又はそれらの組合せに少なくとも基づく報酬値を用いた強化学習により学習されてもよい。

　学習部は、処理する原油の油種を切り替えてから所定の運転状態に到達するまでに要する時間、原油を蒸留することにより得られる複数の留分の収率、消費されるエネルギー量、要求される運転条件の充足度、及び運転状況に対する運転員による評価のうちのいずれか又はそれらの組合せに少なくとも基づく報酬値を用いた強化学習により方策を学習してもよい。

　１　製油所運転条件設定支援システム、３　製油所、５　制御対象装置、１０　原油タンク、１１　チャージポンプ、１２　脱塩装置、１３　前沸塔、１４　加熱炉、１５　蒸留塔、１６　ストリッパー、１７　塔頂油受槽、２０　制御装置、２１　制御部、２２　操作パネル、２３　状態値取得部、２４　状態値送信部、２５　設定値入力部、２６　評価取得部、２７　評価送信部、３０　運転条件設定支援装置、３１　制御部、３２　状態値受信部、３３　推奨値算出部、３４　推奨値出力部、３５　方策更新部、３６　情報提示部、３７　手順管理部、４０　学習装置、４１　状態値取得部、４２　行動決定部、４３　報酬値取得部、４４　行動価値関数更新部、４５　ニューラルネットワーク、４６　学習制御部、４７　シミュレータ、４８　運転データ取得部、４９　運転データ保持部、５０　シミュレータ学習部、６０　運転員端末、６１　評価取得部、６２　評価送信部。

　本発明は、製油所の好適な運転を実現することが可能な運転条件の設定を支援する製油所運転条件設定支援システムに利用可能である。

Claims

　原油を蒸留して複数の留分を製造するための装置を運転するための運転方法であって、
　油種切替の際に、切替後の原油に含まれる水分量又は前記複数の留分のそれぞれの流量を推定する設計工程と、
　切替後の原油の水分量、又は前記流量に基づいて、切替後の原油を受け入れるための事前の準備を行う前準備工程と、
　切替後の原油の受け入れを開始する切替工程と、
　切替後の原油を蒸留するための運転条件を調整する調整工程と、
を備え、
　前記調整工程において、切替後の原油を蒸留するための装置の状態を示す状態値に応じて、前記装置を制御するための制御量の目標設定値が調整される
ことを特徴とする運転方法。
　前記前準備工程において、切替後の原油の水分量、又は前記流量に基づいて、原油を脱塩装置に導入する前に原油に注入される水の流量、原油を一時的に貯留するための装置の液面レベル、原油を加熱するための加熱炉から原油を蒸留する蒸留塔に導入される原油の流量、前記蒸留塔から留出された留分を一時的に貯留するための装置の液面レベル、又は前記複数の留分の流量が調整されることを特徴とする請求項１に記載の運転方法。
　前記調整工程は、
　前記状態値を取得する工程と、
　前記状態値に基づいて、前記制御量の推奨値を算出する算出工程と、
　算出された推奨値を運転員に提示し、又は、算出された推奨値を目標設定値として前記装置に設定する工程と、
を含むことを特徴とする請求項１又は２に記載の運転方法。
　前記算出工程において、機械学習により学習された方策を使用して前記推奨値が算出されることを特徴とする請求項３に記載の運転方法。
　前記方策は、強化学習により学習されることを特徴とする請求項４に記載の運転方法。
　前記方策は、処理する原油の油種を切り替えてから所定の運転状態に到達するまでに要する時間、前記複数の留分の収率、前記調整工程において消費されるエネルギー量、前記調整工程において要求される運転条件の充足度、及び前記調整工程における運転状況に対する運転員による評価のうちのいずれか又はそれらの組合せに少なくとも基づく報酬値を用いた強化学習により学習されることを特徴とする請求項５に記載の運転方法。
　前記方策は、前記装置を過去に運転したときの前記状態値及び前記目標設定値に基づく報酬値を用いた強化学習により学習されることを特徴とする請求項６に記載の運転方法。
　前記方策は、前記装置の運転状況をシミュレートするシミュレータに前記目標設定値を設定したときの前記状態値に基づく報酬値を用いた強化学習により学習されることを特徴とする請求項６又は７に記載の運転方法。
　原油を蒸留して複数の留分を製造するための装置において、油種切替の際に、切替後の原油に含まれる水分量又は前記複数の留分のそれぞれの流量を推定する設計工程と、切替後の原油の水分量、又は前記流量に基づいて、切替後の原油を受け入れるための事前の準備を行う前準備工程と、切替後の原油の受け入れを開始する切替工程と、切替後の原油を蒸留するための運転条件を調整する調整工程と、を含む運転方法が実行されるときに、前記運転方法に含まれる各工程を進めるために必要な情報を取得する取得部と、
　前記取得部により取得された情報を提示する提示部と、
を備えることを特徴とする支援装置。
　前記調整工程において、前記装置の状態を示す状態値を取得する状態値取得部と、
　前記状態値に基づいて、機械学習により学習された方策を使用して前記装置を制御するための制御量の推奨値を算出する算出部と、
　算出された推奨値を運転員に提示し、又は、算出された推奨値を前記制御量の目標設定値として前記装置に設定する出力部と、
を備えることを特徴とする請求項９に記載の支援装置。
　前記方策は、処理する原油の油種を切り替えてから所定の運転状態に到達するまでに要する時間、原油を蒸留することにより得られる複数の留分の収率、前記調整工程において消費されるエネルギー量、前記調整工程において要求される運転条件の充足度、及び前記調整工程における運転状況に対する運転員による評価のうちのいずれか又はそれらの組合せに少なくとも基づく報酬値を用いた強化学習により学習されることを特徴とする請求項１０に記載の支援装置。
　原油を蒸留するための装置の状態を示す状態値を取得する状態値取得部と、
　前記状態値に基づいて、油種切替の際に前記装置を制御するための制御量の推奨値を算出するための方策を機械学習により学習する学習部と、
を備えることを特徴とする学習装置。
　前記学習部は、処理する原油の油種を切り替えてから所定の運転状態に到達するまでに要する時間、原油を留分することにより得られる複数の留分の収率、消費されるエネルギー量、要求される運転条件の充足度、及び運転状況に対する運転員による評価のうちのいずれか又はそれらの組合せに少なくとも基づく報酬値を用いた強化学習により前記方策を学習することを特徴とする請求項１２に記載の学習装置。
　原油を蒸留して複数の留分を製造するための装置の運転条件の設定を支援する支援装置と、
　前記支援装置において使用される方策を機械学習により学習する学習装置と、
を備え、
　前記学習装置は、
　前記装置の状態を示す状態値を取得する取得部と、
　前記状態値に基づいて、油種切替の際に前記装置を制御するための制御量の推奨値を算出するための方策を機械学習により学習する学習部と、
を備え、
　前記支援装置は、
　油種切替の際に、前記装置の状態を示す状態値を取得する状態値取得部と、
　前記状態値に基づいて、前記学習装置により学習された方策を使用して前記装置を制御するための制御量の推奨値を算出する算出部と、
　算出された推奨値を運転員に提示し、又は、算出された推奨値を前記制御量の目標設定値として前記装置に設定する出力部と、
を備えることを特徴とする製油所運転条件設定支援システム。