JP7058387B2 - 運転支援システム及び方法、自動プランナ、並びにプログラム - Google Patents

運転支援システム及び方法、自動プランナ、並びにプログラム Download PDF

Info

Publication number
JP7058387B2
JP7058387B2 JP2020546702A JP2020546702A JP7058387B2 JP 7058387 B2 JP7058387 B2 JP 7058387B2 JP 2020546702 A JP2020546702 A JP 2020546702A JP 2020546702 A JP2020546702 A JP 2020546702A JP 7058387 B2 JP7058387 B2 JP 7058387B2
Authority
JP
Japan
Prior art keywords
state
target state
knowledge
inference
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020546702A
Other languages
English (en)
Other versions
JPWO2020054164A1 (ja
Inventor
駿平 窪澤
貴士 大西
慶雅 鶴岡
隆 鷲尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
National Institute of Advanced Industrial Science and Technology AIST
Original Assignee
NEC Corp
National Institute of Advanced Industrial Science and Technology AIST
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp, National Institute of Advanced Industrial Science and Technology AIST filed Critical NEC Corp
Publication of JPWO2020054164A1 publication Critical patent/JPWO2020054164A1/ja
Application granted granted Critical
Publication of JP7058387B2 publication Critical patent/JP7058387B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • G06N5/043Distributed expert systems; Blackboards
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition
    • G06N5/025Extracting rules from data
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/02Knowledge representation; Symbolic representation
    • G06N5/022Knowledge engineering; Knowledge acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Automation & Control Theory (AREA)
  • Feedback Control In General (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Description

本開示は、運転支援システム及び方法、自動プランナ、並びにコンピュータ可読媒体に関する。
特許文献1は、多入出力であって、かつ非線形的特性を持つ系(システム)から所望の出力が得られるように、系への入力を適切かつ容易に調整するための調整ルールを生成する調整ルール生成装置を開示する。特許文献1に記載の調整ルール生成装置は、調整対象において、どの調整要素(操作量=調整対象への入力)を用いてどの可調整パラメータ(制御量=調整対象からの出力)を調整するかを選択する。また、調整ルール生成装置は、選択した操作量と制御量の組合せについて、所定の形式に従って調整ルールを生成し、出力する。
具体的に、調整ルール生成装置は、依存特性データと制御量相関特性データとを用いて調整ルールを生成する。ここで、依存特性データは、調整対象の操作量と制御量(入力と出力)の間に依存関係があるか否かを示すデータである。また、制御量相関特性データは、各操作量に対して、制御量の変化が互いにどのようなものになるかを定性的に表すデータである。制御量相関特性データにおいて、任意の2つの制御量間の特性は、「互いに同方向に変化する」、「互いに異方向に変化する」、及び「片方の制御量だけが変化する」の3つに分類される。
調整ルール生成装置では、上記依存特性データを用いることで、どの制御量をどの操作量を用いて調整すべきかを判断できる。調整ルール生成装置は、依存特性データを用いて着目する制御量と操作量との関係を絞り、その部分について制御量相関特性データを着目することで、調整特性を推定する。調整ルール生成装置は、例えば操作量X1が操作された場合に、制御量Y2及びY3が同じ方向に変化するということを示す調整特性を推定する。この場合、調整ルール生成装置は、制御量Y2及びY3がほぼ同じ偏差で共に許容偏差外であれば、これら制御量Y2及びY3を同じ方向に変化させる操作量X1を用いてそれらの偏差を調整することができる。調整ルール生成装置は、そのような調整のルールを所定の書式で記述した調整ルールを出力する。
特開平10-268906号公報
特許文献1では、調整ルールを参照することで、制御量に偏差がある場合に、どの操作量を操作すればよいかを決定できる。しかしながら、特許文献1において、依存関係が複雑な場合などにおいて、複数の操作量をどのような順序で操作すればよいかは決定できない。加えて、特許文献1では、どの操作量を操作すればよいかを決定できるにとどまっており、操作における操作内容までは決定できない。
本開示は、上記に鑑み、システムにおいて、どのような操作をどのように実施すればよいかを出力可能な運転支援システム及び方法、自動プランナ、並びにコンピュータ可読媒体を提供することを目的とする。
上記目的を達成するために、本開示は、操作要素の順序及び各操作要素の操作量を含む操作手順に基づいて運転されるシステムの第1状態、当該システムの状態間の関係を含む推論知識、及び当該システムにおける数的知識を含む定量的知識に基づいて、当該システムの目標状態と、前記第1状態から前記目標状態に至る部分目標状態とを推論する目標状態推論手段と、操作導出規則に基づいて、前記部分目標状態に遷移させるための操作を推論する操作列推論手段と、学習設定導出規則に基づいて、前記推論された前記操作の学習設定を生成する学習設定生成手段と、前記操作の学習設定に基づいて、前記操作における操作内容を作成する学習エージェントとを備える運転支援システムを提供する。
本開示は、また、操作要素の順序及び各操作要素の操作量を含む操作手順に基づいて運転されるシステムの第1状態、当該システムの状態間の関係を含む推論知識、及び当該システムにおける数的知識を含む定量的知識に基づいて、当該システムの目標状態と、前記第1状態から前記目標状態に至る部分目標状態とを推論する目標状態推論手段と、操作導出規則に基づいて、前記部分目標状態に遷移させるための操作を推論する操作列推論手段と、学習設定導出規則に基づいて、前記推論された前記操作の学習設定を生成し、前記操作における操作内容を作成する学習エージェントに出力する学習設定生成手段とを備える自動プランナを提供する。
本開示は、操作要素の順序及び各操作要素の操作量を含む操作手順に基づいて運転されるシステムの第1状態、当該システムの状態間の関係を含む推論知識、及び当該システムにおける数的知識を含む定量的知識に基づいて、当該システムの目標状態と、前記第1状態から前記目標状態に至る部分目標状態とを推論し、操作導出規則に基づいて、前記部分目標状態に遷移させるための操作を推論し、学習設定導出規則に基づいて、前記推論された前記操作の学習設定を生成し、前記操作における操作内容を作成する学習エージェントに出力する運転支援方法を提供する。
本開示は、操作要素の順序及び各操作要素の操作量を含む操作手順に基づいて運転されるシステムの第1状態、当該システムの状態間の関係を含む推論知識、及び当該システムにおける数的知識を含む定量的知識に基づいて、当該システムの目標状態と、前記第1状態から前記目標状態に至る部分目標状態とを推論し、操作導出規則に基づいて、前記部分目標状態に遷移させるための操作を推論し、学習設定導出規則に基づいて、前記推論された前記操作の学習設定を生成し、前記操作における操作内容を作成する学習エージェントに出力する処理をコンピュータに実行させるためのプログラムを格納したコンピュータ可読媒体を提供する。
本開示に係る運転支援システム及び方法、自動プランナ、並びにコンピュータ可読媒体は、システムにおいて、どのような操作をどのように実施すればよいかを出力することができる。
本開示に係る運転支援システムを概略的に示すブロック図。 本開示の一実施形態に係る運転支援システムを示すブロック図。 運転支援システムにおける動作手順を示すフローチャート。 プラントの一例を示すブロック図。 情報処理装置の構成例を示すブロック図。
本開示の実施形態の説明に先立って、本開示の概要を説明する。図1は、本開示に係る運転支援システムを概略的に示す。運転支援システム10は、目標状態推論手段11、操作列推論手段12、学習設定生成手段13、及び学習エージェント14を有する。
目標状態推論手段11は、操作要素の順序及び各操作要素の操作量を含む操作手順に基づいて運転されるシステムの第1状態、推論知識21、及び定量的知識22に基づいて、目標状態を推論する。推論知識21は、システムの状態間の関係を含む。定量的知識22は、システムにおける数的知識を含む。また、目標状態推論手段11は、推論知識21に基づいて、第1状態から目標状態に至る部分目標状態を推論する。
操作列推論手段12は、操作導出規則23に基づいて、部分目標状態に遷移させるための操作を推論する。操作導出規則23は、例えば、遷移前のシステムの状態と、実施される操作と、操作実施後に遷移するシステムの状態とを対応付けた情報を含む。学習設定生成手段13は、学習設定導出規則24に基づいて、推論された操作の学習設定を生成する。学習設定導出規則24は、例えば、操作と、その操作が実施される場合の学習設定とを対応付けた情報を含む。学習エージェント14は、学習設定生成手段13で生成された操作の学習設定に基づいて、操作における操作内容を作成する。
本開示では、推論知識21及び定量的知識22を用いて操作後の目標状態、及び目標状態に到達するまでの部分目標状態が推論される。また、操作導出規則23を用いて各部分状態に遷移するための操作が推論され、学習設定導出規則24を用いて操作に対する学習設定が生成される。本開示では、学習エージェント14において、学習設定に基づいて操作の操作内容を作成することで、目標状態(又は部分目標状態)に至るまでに、どのような操作をどのように実施すればよいかをユーザなどに出力することができる。また、ユーザが出力された情報に従ってプラントなどのシステムを運転することで、システムを所望の状態に制御できる。
以下、図面を参照しつつ、本開示の実施形態を詳細に説明する。図2は、本開示の一実施形態に係る運転支援システムを示す。運転支援システム100は、自動プランナ101、学習エージェント102、及びシミュレータ103を含む。自動プランナ101、学習エージェント102、及びシミュレータ103は、例えばプロセッサとメモリとを含むコンピュータ装置を用いて構成される。これら要素の機能は、プロセッサがメモリから読み出したプログラムに従って動作することで実現され得る。
本実施形態において、自動プランナ101、学習エージェント102、及びシミュレータ103は、必ずしも物理的に分離された装置として構成されている必要はない。例えば、自動プランナ101と、学習エージェント102及びシミュレータ103の少なくとも一方とが同一の装置として構成されていてもよい。また、自動プランナ101、学習エージェント102、及びシミュレータ103は、必ずしも同じ場所に配置されている必要はない。例えば、自動プランナ101は、学習エージェント102及びシミュレータ103の少なくとも一方とネットワークを介して接続され、ネットワークを通じて情報の送受信を行ってもよい。
自動プランナ101は、状態判定部111、目標状態推論部112、操作列推論部113、及び学習設定生成部114を有する。状態判定部(状態判定手段)111は、操作要素の順序及び各操作要素の操作量を含む操作手順に基づいて運転されるプラントなどのシステムの状態が、操作が必要な状態(第1状態)であるか否かを判定する。シミュレータ103は、操作手順に基づいて運転されるシステムをシミュレートする。状態判定部111は、シミュレータ103がシミュレートするシステムの状態を監視し、操作が必要な状態であるか否かを判定する。
定性的知識201は、プラントなどのシステムにおける定性的知識である。定性的知識201は、例えばプラントにおける運転規則や、操作手順間の依存関係、ある状態から別の状態に遷移させるためにはどのような操作を行えばよいか、などといった知識を含む。定性的知識201は、図1の推論知識21、操作導出規則23、及び学習設定導出規則24を含む。
定量的知識202は、プラントなどのシステムにおける数値に関する知識である。定量的知識202は、判定に用いられるしきい値や、定常状態におけるセンサなどの指示値、原料の量などに関する知識を含む。定量的知識202は、図1の定量的知識22に対応する。定性的知識201及び定量的知識202は、自動プランナ101からアクセスが可能な補助記憶装置などの装置に記憶される。
目標状態推論部(目標状態推論部)112は、状態判定部111にて操作が必要な状態であると判定された場合に、定性的知識201及び定量的知識202と、現在のシステムの状態とに基づいて、目標状態を推論する。また、目標状態推論部112は、定性的知識201に基づいて、現在の状態から推論した目標状態に遷移させるまでの部分目標状態を推論する。
より詳細には、定性的知識201は、操作前の状態と、操作後の目標状態とを対応付けて定義する第1推論知識と、状態間の状態遷移を定義する第2推論知識とを含んでいる。目標状態推論部112は、第1推論知識を用いて目標状態を推論する。また、目標状態推論部112は、第2推論知識を用いて、現在の状態から目標状態に遷移させるまでの各段階における部分目標状態を推論する。目標状態推論部112は、例えば第2推論知識を用い、推論した目標状態から現在の状態に遡ることで、各段階の部分目標状態を推論する。目標状態推論部112は、図1の目標状態推論手段11に対応する。
操作列推論部(操作列推論手段)113は、定性的知識201に含まれる操作導出規則に基づいて、各部分目標状態に遷移させるための操作を推論する。操作導出規則は、例えば、遷移前のシステムの状態と、実施される操作と、操作実施後に遷移するシステムの状態とを対応付けた情報を含む。操作列推論部113は、操作導出規則に基づいて、現在の状態又は1つ前の部分目標状態から、次の部分目標状態又は最終的な目標状態に遷移させるための操作の列を推論する。操作列推論部113は、図1の操作列推論手段12に対応する。
学習設定生成部(学習設定生成手段)114は、定性的知識201に含まれる学習設定導出規則に基づいて、操作列推論部113で推論された各操作の学習設定を生成する。学習設定導出規則は、例えば操作と、その操作が実施される場合の学習設定とを対応付けた情報を含む。学習設定は、例えば、学習エージェント102への入力変数、学習エージェント102の出力変数、目的関数、及び学習の種別を含む。学習設定生成部114は、図1の学習設定生成手段13に対応する。
学習エージェント102は、自動プランナ101の学習設定生成部114が生成した学習設定に基づいて、各操作における操作内容を学習(作成)する。このとき、学習エージェント102は、シミュレータ103からシステムの定量的な応答を取得し、取得した定量的な応答に基づいて学習を行う。学習エージェント102には、システムにおける操作上の制約条件などの追加的な情報が設定されていてもよい。学習エージェント102は、図1の学習エージェント14に対応する。
学習エージェント102は、例えば操作が必要と判断された状態を初期状態として、例えばどんなセンサ値の場合にどれだけバルブをあければよいかを学習する。学習エージェント102は、学習した各操作における操作内容を含む操作手順203を生成する。学習エージェント102は、生成した操作手順203をユーザに出力する。状態判定部111が操作が必要な状態を検出したことを契機に操作手順203が生成されることで、ユーザは、その状態においてどのような操作をどのように実施すればよいかを知ることができる。
次いで、動作手順を説明する。図3は、運転支援システム10における動作手順(運転支援方法)を示す。ユーザは、例えば図示しないキーボードやマウスなどの入力装置を用いて、定性的知識201、定量的知識202、及びシミュレータ103の環境の初期状態を入力する(ステップS1)。シミュレータ103は、ステップS1で入力された初期状態から動作を開始する。
自動プランナ101の状態判定部111は、シミュレータ103から現在の状態(シミュレーション値)を取得し、操作対象の環境を監視する(ステップS2)。状態判定部111は、現在の状態が、操作が必要な状態であるか否かを判断する(ステップS3)。状態判定部111は、例えばあるセンサの値が異常値を示している場合は操作が必要な状態であると判断する。状態判定部111は、例えばセンサの値が正常値を示している場合は操作が必要な状態ではないと判断する。
状態判定部111は、ステップS3で操作が必要な状態ではないと判断した場合は、ステップS2に戻り、操作対象の環境の監視を継続する。状態判定部111は、ステップS3で操作が必要な状態であると判断すると、目標状態推論部112に要操作状態である現在の状態を通知する。目標状態推論部112は、現在の状態と定性的知識201及び定量的知識202とに基づいて、操作後の目標状態を推論する(ステップS4)。定性的知識201は、要操作状態と、操作後の目標状態とを対応付けた情報を第1推論知識として含んでおり、目標状態推論部112は、ステップS4では、そのような第1推論知識を用いて、最終的な目標状態を推論する。
目標状態推論部112は、現在の状態、操作後の目標状態、及び定性的知識201に基づいて、現在の状態から最終的な目標状態に至るまでの部分目標状態を推論する(ステップS5)。定性的知識201は、ある状態から別の状態への状態遷移(状態間の因果関係)を論理的に記述した情報を第2推論知識として含んでおり、目標状態推論部112は、ステップS5では、そのような第2推論知識を用いて、部分目標状態を推論する。なお、現在の状態から直接に操作後の目標状態に遷移することが可能な場合など、部分目標状態が存在しない場合もあり得る。
操作列推論部113は、現在の状態、各部分目標状態、及び目標状態と、定性的知識201に含まれる操作導出規則とに基づいて、現在の状態から操作後の目的の状態に遷移させるために必要な操作の列を推論する(ステップS6)。操作列推論部113は、ステップS6では、例えば、次の状態に遷移させるために必要な操作の列を、操作導出規則を用いて仮説推論する。
学習設定生成部114は、操作列推論部113で推論された操作の列に含まれる各操作について、定性的知識201に含まれる学習設定導出規則を用いて、学習設定を推論する(ステップS7)。学習設定生成部114は、ステップS7では、例えば各操作の学習設定を、学習設定導出規則を用いて仮説推論する。
学習設定生成部114は、生成した学習設定を、学習エージェント102に渡す。学習エージェント102は、ステップS7で生成された学習設定に基づいて学習を行い、各操作の操作内容などを学習する(ステップS8)。学習エージェント102は、例えば各操作に対応した学習器を含んでおり、対応する学習器を用いて操作内容を学習する。
学習エージェント102は、各操作とその操作内容とを、操作手順203として出力する(ステップS9)。学習エージェント102が操作手順203を出力するのに代えて、自動プランナ101が学習エージェント102から各操作の操作内容を取得し、操作手順203を出力してもよい。操作手順203は、例えば図示しないディスプレイ装置に表示される。ユーザは、操作手順203を参照することで、何をどのように操作すればよいかを知ることができる。
以下、具体例を用いて説明する。図4は、プラントの一例を示す。ここでは、プラントとして、液体A及び液体Bが注入されるタンク301を含むプラント300を考える。タンク301には、注入弁302Aを通じて液体Aが注入され、注入弁302Bを通じて液体Bが注入される。流量計303Aは、液体Aの注入量を計測する。流量計303Bは、液体Bの注入量を計測する。水位計(液面計)305は、タンク301に注入された液体の液面を計測する。温度計306は、タンク301周辺の外気の温度を計測する。タンク301内に注入された液体A及び液体Bは、抜出し弁304を通じてタンク301から抜き出される。プラント300において、操作の対象となる構成要素は、注入弁302A、注入弁302B、及び抜出し弁304である。シミュレータ103(図2を参照)は、このようなプラント300における挙動をシミュレートする。
ここでは、前提条件として下記の条件を考える。液体Bは液体Aよりも軽く、タンク内で液体Bは液体Aに浮かぶものとする。また、液体Aと液体Bとは同時に注入できないものとする。注入の順序について、液体Aは液体Bよりも先に注入されるものとする。液体Aは、タンクに一度に注入されると大きな熱を発するものとする。液体Bも、同様に、タンクに一度に注入されると大きな熱を発するものとする。液体A及び液体Bの供給量は変化するものとする。タンクの温度は60度未満に保たれる必要があるとする。また、タンクの温度は外気で冷却されるものとする。
上記プラント300において、現在の状態は、タンク301は空であり、抜出し弁304は「開」であり、注入弁302A及び302Bは「閉」であり、温度計306が計測する外気の温度は「暑い」であったとする。状態判定部111は、水位計305が検出する水位が0、つまり、タンク301が空である場合、操作が必要な状態であると判定する。
定性的知識201は、タンク301が空であるという状態に対する操作後の目標状態として、タンク301に液体Aと液体Bとが注入された状態という推論知識(第1推論知識)を保持している。また、定量的知識202は、外気が「暑い」という状態に対して、液体Aの注入量は「20kg」であり、液体Bの注入量は「30kg」であるという情報を保持している。この場合、目標状態推論部112は、操作後の目標状態が、液体Aと液体Bとが注入された状態であり、液体Aの注入量は20kgであり、かつ液体Bの注入量は30kgであると推論する。
定性的知識201は、状態間の遷移に関する情報(第2推論知識)として、「空(タンク)→抜出し停止(タンク)」、「抜出し停止(タンク)→液体Aを注入している状態(タンク)」、及び「液体Aを注入している状態(タンク)→液体Aのみが注入された状態(タンク)」を保持する。「→」は、「→」の前に記載されている状態(条件、前件)から、「→」の後に記載されている状態(後件)が導出可能であることを表している。「→」は、必ずしも、論理的な導出を表していなくてもよく、たとえば、時間的な推移等を表していてもよい。また、定性的知識201は、「液体Aのみが注入された状態(タンク)→液体Bを注入している状態(タンク)」、及び「液体Bを注入している状態(タンク)→液体Aと液体Bとが注入された状態(タンク)」を保持する。目標状態推論部112は、第2推論知識を用い、例えば、目標状態「液体Aと液体Bとが注入された状態」から現在の状態「空(タンク)」に遡ることで、最終目標に到達するまでの部分目標を推論する。目標状態推論部112は、現在の状態から目標の状態に至る推論を、現在の状態から開始してもよい。目標状態推論部112は、「抜出し停止(タンク)」、「液体Aを注入している状態」、「液体Aのみが注入された状態」、「液体Bを注入している状態」、及び「液体Aと液体Bとが注入された状態」を、部分目標状態として推論する。
定性的知識201は、「空(タンク)∧閉(抜出し弁)→抜出し停止(タンク)」という知識(情報)を操作導出規則として保持している。「∧」は、論理積を表す。操作列推論部113は、事実「空(タンク)及び抜出し停止(タンク)」と操作導出規則とから仮説推論を行い、現在の状態との差分から、「抜出し停止(タンク)」に遷移するための操作は、抜出し弁304を「開」から「閉」にする操作であると推論する。
また、定性的知識201は、「抜出し停止(タンク)∧閉(抜出し弁)∧開(液体A注入弁)∧閉(液体B注入弁)→液体Aを注入している状態(タンク)」という知識を操作導出規則として保持している。操作列推論部113は、事実「抜出し停止(タンク)及び液体Aを注入している状態(タンク)」と操作導出規則とから仮説推論を行う。操作列推論部113は、操作前の状態との差分から、「液体Aが注入されている状態(タンク)」へ遷移するための操作は、注入弁302Aを「閉」から「開」にする操作であると推論する。
以降の部分目標状態についても、同様に、操作列推論部113は、定性的知識201に保持される操作導出規則を用いて仮説推論を行う。操作列推論部113は、操作前の状態との差分から、次の部分目標状態又は最終的な目標状態に遷移させるための操作を推論する。操作列推論部113は、目標状態に遷移させるための操作の列として、「抜出し弁を閉じる」、「液体A注入弁を開く」、「液体A注入弁を閉じる」、「液体B注入弁を開く」、及び「液体B注入弁を閉じる」を推論する。
定性的知識201は、「閉(抜出し弁)」に対しては学習不要であるという知識を学習設定導出規則として保持している。この場合、学習設定生成部114は、「閉(抜出し弁)」の操作については学習不要である旨を学習エージェント102に出力する。
また、定性的知識201は、「開(液体A注入弁)∧20kg(液体A注入量)」という操作に対して、学習設定が「学習器(強化学習)∧環境(液体A流量計、温度計、水位計、液体A注入量)∧行動(液体A注入弁の開度)∧報酬(報酬関数A20)∧終了条件(液体A20kg注入)」である知識(情報)を、学習設定導出規則として保持している。ここで、報酬関数A20は、「液体Aを温度60度未満で迅速に20kg注入できるほど高得点」という別途定義された連続関数である。この場合、学習設定生成部114は、事実「開(液体A注入弁)∧20kg(注入量)」と学習設定導出規則とから仮説推論を行って学習設定を生成し、学習設定を学習エージェント102に出力する。学習設定生成部114は、「学習器=強化学習、環境={液体A流量計、温度計、水位計、液体A注入量}、行動=液体A注入弁の開度、報酬=r(報酬関数A20)、終了条件=液体A20kg注入」を、「開(液体A注入弁)」の操作の学習設定として学習エージェント102に出力する。液体Bについても同様である。
学習エージェント102は、各操作の学習設定に従って機械学習を行う。学習エージェント102は、例えば「開(液体A注入弁)」の操作について、液体Aを温度60度未満で迅速に20kg注入できる注入弁302Aの開度の時系列データを学習する。学習エージェント102は、現在の状態から最終的な目標状態に到達するまでの操作の列と、各操作における操作内容とを、操作手順203として出力する。
本実施形態では、目標状態推論部112は、プラントなどのシステムの状態が操作が必要な状態な場合に、定性的知識201及び定量的知識202を用いて、操作後の目標状態を推論する。操作列推論部113は、定性的知識201を用いて、システムの状態を、操作が必要な状態から推論された目標状態まで遷移させるための操作の列を推論する。また、学習設定生成部114は、各操作の学習設定を生成し、学習エージェント102は、学習設定に従って各操作の操作内容を学習し、操作とその操作内容とを含む操作手順203を生成する。本実施形態では、操作手順203は、操作だけでなく、その操作内容を含んでおり、ユーザは、操作手順203を参照することで、どの操作をどのように実施すればよいかを知ることができる。ユーザが、出力された操作手順203に従ってプラントなどのシステムを運転することで、システムを所望の状態に制御することができる。
なお、上記実施形態では、主に学習エージェント102において強化学習を行う例を説明したが、学習は強化学習には限定されない。学習は、教師あり学習であってもよいし、教師なし学習であってもよい。例えば、あるセンサの予測値を他のいくつかのセンサの指示値などを用いて予測するモデルがある場合、学習エージェント102において教師あり学習を行い、モデルを構築してもよい。
上記の場合、状態判定部111は、モデルを用いて予測した圧力センサAの予測値と、圧力センサAの指示値との差がしきい値より大きい場合、モデル乖離状態である判断し、操作が必要な状態であると判断する。目標状態推論部112は、目標状態はモデル乖離状態の解消であると推論する。操作列推論部113は、「モデル乖離状態∧目標はモデル乖離状態の解消」である場合、「モデルの再構築」を推論する。学習設定生成部114は、「入力={圧力センサBの指示値、流量センサCの指示値}、出力=圧力センサAの指示値、目標関数=2乗誤差を最小化、学習器=ロジスティック回帰、環境=1分ごと観測の50分間のシミュレーション」を学習設定として出力する。この場合、センサの予測値を、教師あり学習で学習することができる。
上記実施形態では、学習エージェント102が、プラントなどのシステムの定量的な応答をシミュレータ103から取得して学習する例を説明したが、本開示はこれには限定されない。学習エージェント102は、操作が行われた場合の定量的な応答を実際のシステムから取得し、学習を行ってもよい。
学習エージェント102は、上位の学習エージェントと、下位の学習エージェントとを含んでいてもよい。その場合、下位の学習エージェントで各操作の操作内容を学習し、上位の学習エージェントとで操作の順序を学習してもよい。
図5は、自動プランナ101、学習エージェント102、及びシミュレータ103に用いられ得る情報処理装置(コンピュータ装置)の構成例を示す。情報処理装置500は、制御部(CPU:Central Processing Unit)510、記憶部520、ROM(Read Only Memory)530、RAM(Random Access Memory)540、通信インタフェース(IF:Interface)550、及びユーザインタフェース560を有する。
通信インタフェース550は、有線通信手段又は無線通信手段などを介して、情報処理装置500と通信ネットワークとを接続するためのインタフェースである。ユーザインタフェース560は、例えばディスプレイなどの表示部を含む。また、ユーザインタフェース560は、キーボード、マウス、及びタッチパネルなどの入力部を含む。
記憶部520は、各種のデータを保持できる補助記憶装置である。記憶部520は、必ずしも情報処理装置500の一部である必要はなく、外部記憶装置であってもよいし、ネットワークを介して情報処理装置500に接続されたクラウドストレージであってもよい。ROM530は、不揮発性の記憶装置である。ROM530には、例えば比較的容量が少ないフラッシュメモリなどの半導体記憶装置が用いられる。CPU510が実行するプログラムは、記憶部520又はROM530に格納され得る。
上記プログラムは、様々なタイプの非一時的なコンピュータ可読媒体を用いて格納され、情報処理装置500に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体を含む。非一時的なコンピュータ可読媒体の例は、例えばフレキシブルディスク、磁気テープ、又はハードディスクなどの磁気記録媒体、例えば光磁気ディスクなどの光磁気記録媒体、CD(compact disc)、又はDVD(digital versatile disk)などの光ディスク媒体、及び、マスクROM、PROM(programmable ROM)、EPROM(erasable PROM)、フラッシュROM、又はRAMなどの半導体メモリを含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体を用いてコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバなどの有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
RAM540は、揮発性の記憶装置である。RAM540には、DRAM(Dynamic Random Access Memory)又はSRAM(Static Random Access Memory)などの各種半導体メモリデバイスが用いられる。RAM540は、データなどを一時的に格納する内部バッファとして用いられ得る。CPU510は、記憶部520又はROM530に格納されたプログラムをRAM540に展開し、実行する。CPU510がプログラムを実行することで、自動プランナ101内の各部、学習エージェント102、及びシミュレータ103の機能が実現され得る。CPU510は、データなどを一時的に格納できる内部バッファを有してもよい。
以上、本開示の実施形態を詳細に説明したが、本開示は、上記した実施形態に限定されるものではなく、本開示の趣旨を逸脱しない範囲で上記実施形態に対して変更や修正を加えたものも、本開示に含まれる。
例えば、上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
[付記1]
操作要素の順序及び各操作要素の操作量を含む操作手順に基づいて運転されるシステムの第1状態、当該システムの状態間の関係を含む推論知識、及び当該システムにおける数的知識を含む定量的知識に基づいて、当該システムの目標状態と、前記第1状態から前記目標状態に至る部分目標状態とを推論する目標状態推論手段と、
操作導出規則に基づいて、前記部分目標状態に遷移させるための操作を推論する操作列推論手段と、
学習設定導出規則に基づいて、前記推論された前記操作の学習設定を生成する学習設定生成手段と、
前記操作の学習設定に基づいて、前記操作における操作内容を作成する学習エージェントとを備える運転支援システム。
[付記2]
前記推論知識は、操作前の状態と操作後の目標状態とを対応付けて定義する第1推論知識と、状態間の状態遷移を定義する第2推論知識とを含み、
前記目標状態推論手段は、第1推論知識を用いて前記目標状態を推論し、前記第2推論知識を用いて前記部分目標状態を推論する付記1に記載の運転支援システム。
[付記3]
前記目標状態推論手段は、前記第2推論知識を用い、前記目標状態から前記第1状態に遡ることで、前記部分目標状態を推論する付記2に記載の運転支援システム。
[付記4]
前記学習設定は、前記学習エージェントへの入力変数、前記学習エージェントの出力変数、目的関数、及び学習の種別を含む付記1から3何れか1つに記載の運転支援システム。
[付記5]
前記学習エージェントは、前記システムの定量的な応答に基づいて、前記操作内容を作成する付記1から4何れか1つに記載の運転支援システム。
[付記6]
前記システムの動作をシミュレートするシミュレータを更に有し、
前記学習エージェントは、前記シミュレータから前記システムの定量的な応答を取得する付記5に記載の運転支援システム。
[付記7]
前記学習エージェントは、前記システムから、前記システムの定量的な応答を取得する付記5に記載の運転支援システム。
[付記8]
前記操作導出規則は、遷移前の前記システムの状態と、実施される操作と、操作実施後に遷移する前記システムの状態とを対応付けた情報を含む付記1から7何れか1つに記載の運転支援システム。
[付記9]
前記学習設定導出規則は、操作と、該操作が実施される場合の前記学習設定とを対応付けた情報を含む付記1から8何れか1つに記載の運転支援システム。
[付記10]
前記システムの状態が、前記操作が必要な状態であるか否かを判定する状態判定手段を更に有する付記1から9何れか1つに記載の運転支援システム。
[付記11]
前記学習エージェントは、前記作成した操作内容をユーザに出力する付記1から10何れか1つに記載の運転支援システム。
[付記12]
操作要素の順序及び各操作要素の操作量を含む操作手順に基づいて運転されるシステムの第1状態、当該システムの状態間の関係を含む推論知識、及び当該システムにおける数的知識を含む定量的知識に基づいて、当該システムの目標状態と、前記第1状態から前記目標状態に至る部分目標状態とを推論する目標状態推論手段と、
操作導出規則に基づいて、前記部分目標状態に遷移させるための操作を推論する操作列推論手段と、
学習設定導出規則に基づいて、前記推論された前記操作の学習設定を生成し、前記操作における操作内容を作成する学習エージェントに出力する学習設定生成手段とを備える自動プランナ。
[付記13]
前記推論知識は、操作前の状態と操作後の目標状態とを対応付けて定義する第1推論知識と、状態間の状態遷移を定義する第2推論知識とを含み、
前記目標状態推論手段は、第1推論知識を用いて前記目標状態を推論し、前記第2推論知識を用いて前記部分目標状態を推論する付記12に記載の自動プランナ。
[付記14]
前記目標状態推論手段は、前記第2推論知識を用い、前記目標状態から前記第1状態に遡ることで、前記部分目標状態を推論する付記13に記載の自動プランナ。
[付記15]
前記学習設定は、前記学習エージェントへの入力変数、前記学習エージェントの出力変数、目的関数、及び学習の種別を含む付記12から14何れか1つに記載の自動プランナ。
[付記16]
前記システムの状態が、前記操作が必要な状態であるか否かを判定する状態判定手段を更に有する付記12から15何れか1つに記載の自動プランナ。
[付記17]
操作要素の順序及び各操作要素の操作量を含む操作手順に基づいて運転されるシステムの第1状態、当該システムの状態間の関係を含む推論知識、及び当該システムにおける数的知識を含む定量的知識に基づいて、当該システムの目標状態と、前記第1状態から前記目標状態に至る部分目標状態とを推論し、
操作導出規則に基づいて、前記部分目標状態に遷移させるための操作を推論し、
学習設定導出規則に基づいて、前記推論された前記操作の学習設定を生成し、前記操作における操作内容を作成する学習エージェントに出力する運転支援方法。
[付記18]
操作要素の順序及び各操作要素の操作量を含む操作手順に基づいて運転されるシステムの第1状態、当該システムの状態間の関係を含む推論知識、及び当該システムにおける数的知識を含む定量的知識に基づいて、当該システムの目標状態と、前記第1状態から前記目標状態に至る部分目標状態とを推論し、
操作導出規則に基づいて、前記部分目標状態に遷移させるための操作を推論し、
学習設定導出規則に基づいて、前記推論された前記操作の学習設定を生成し、前記操作における操作内容を作成する学習エージェントに出力する処理をコンピュータに実行させるためのプログラム。
この出願は、2018年9月12日に出願された日本出願特願2018-170825を基礎とする優先権を主張し、その開示の全てをここに取り込む。
10:運転支援システム
11:目標状態推論手段
12:操作列推論手段
13:学習設定生成手段
14:学習エージェント
21:推論知識
22:定量的知識
23:操作導出規則
24:学習設定導出規則
100:運転支援システム
101:自動プランナ
102:学習エージェント
103:シミュレータ
111:状態判定部
112:目標状態推論部
113:操作列推論部
114:学習設定生成部
201:定性的知識
202:定量的知識
203:操作手順
301:タンク
302A、302B:注入弁
303A、303B:流量計
304:抜出し弁
305:水位計
306:温度計

Claims (10)

  1. 操作要素の順序及び各操作要素の操作量を含む操作手順に基づいて運転されるシステムの第1状態、当該システムの状態間の関係を含む推論知識、及び当該システムにおける数的知識を含む定量的知識に基づいて、当該システムの目標状態と、前記第1状態から前記目標状態に至る部分目標状態とを推論する目標状態推論手段と、
    操作導出規則に基づいて、前記部分目標状態に遷移させるための操作を推論する操作列推論手段と、
    学習設定導出規則に基づいて、前記推論された前記操作の学習設定を生成する学習設定生成手段と、
    前記操作の学習設定に基づいて、前記操作における操作内容を作成する学習エージェントとを備える運転支援システム。
  2. 前記推論知識は、操作前の状態と操作後の目標状態とを対応付けて定義する第1推論知識と、状態間の状態遷移を定義する第2推論知識とを含み、
    前記目標状態推論手段は、第1推論知識を用いて前記目標状態を推論し、前記第2推論知識を用いて前記部分目標状態を推論する請求項1に記載の運転支援システム。
  3. 前記目標状態推論手段は、前記第2推論知識を用い、前記目標状態から前記第1状態に遡ることで、前記部分目標状態を推論する請求項2に記載の運転支援システム。
  4. 操作要素の順序及び各操作要素の操作量を含む操作手順に基づいて運転されるシステムの第1状態、当該システムの状態間の関係を含む推論知識、及び当該システムにおける数的知識を含む定量的知識に基づいて、当該システムの目標状態と、前記第1状態から前記目標状態に至る部分目標状態とを推論する目標状態推論手段と、
    操作導出規則に基づいて、前記部分目標状態に遷移させるための操作を推論する操作列推論手段と、
    学習設定導出規則に基づいて、前記推論された前記操作の学習設定を生成し、前記操作における操作内容を作成する学習エージェントに出力する学習設定生成手段とを備える自動プランナ。
  5. 前記推論知識は、操作前の状態と操作後の目標状態とを対応付けて定義する第1推論知識と、状態間の状態遷移を定義する第2推論知識とを含み、
    前記目標状態推論手段は、第1推論知識を用いて前記目標状態を推論し、前記第2推論知識を用いて前記部分目標状態を推論する請求項に記載の自動プランナ。
  6. 前記目標状態推論手段は、前記第2推論知識を用い、前記目標状態から前記第1状態に遡ることで、前記部分目標状態を推論する請求項に記載の自動プランナ。
  7. 前記学習設定は、前記学習エージェントへの入力変数、前記学習エージェントの出力変数、目的関数、及び学習の種別を含む請求項から何れか1項に記載の自動プランナ。
  8. 前記システムの状態が、前記操作が必要な状態であるか否かを判定する状態判定手段を更に有する請求項から何れか1項に記載の自動プランナ。
  9. コンピュータが、操作要素の順序及び各操作要素の操作量を含む操作手順に基づいて運転されるシステムの第1状態、当該システムの状態間の関係を含む推論知識、及び当該システムにおける数的知識を含む定量的知識に基づいて、当該システムの目標状態と、前記第1状態から前記目標状態に至る部分目標状態とを推論し、
    前記コンピュータが、操作導出規則に基づいて、前記部分目標状態に遷移させるための操作を推論し、
    前記コンピュータが、学習設定導出規則に基づいて、前記推論された前記操作の学習設定を生成し、前記操作における操作内容を作成する学習エージェントに出力する運転支援方法。
  10. 操作要素の順序及び各操作要素の操作量を含む操作手順に基づいて運転されるシステムの第1状態、当該システムの状態間の関係を含む推論知識、及び当該システムにおける数的知識を含む定量的知識に基づいて、当該システムの目標状態と、前記第1状態から前記目標状態に至る部分目標状態とを推論し、
    操作導出規則に基づいて、前記部分目標状態に遷移させるための操作を推論し、
    学習設定導出規則に基づいて、前記推論された前記操作の学習設定を生成し、前記操作における操作内容を作成する学習エージェントに出力する処理をコンピュータに実行させるためのプログラム。
JP2020546702A 2018-09-12 2019-06-18 運転支援システム及び方法、自動プランナ、並びにプログラム Active JP7058387B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018170825 2018-09-12
JP2018170825 2018-09-12
PCT/JP2019/024164 WO2020054164A1 (ja) 2018-09-12 2019-06-18 運転支援システム及び方法、自動プランナ、並びにコンピュータ可読媒体

Publications (2)

Publication Number Publication Date
JPWO2020054164A1 JPWO2020054164A1 (ja) 2021-09-24
JP7058387B2 true JP7058387B2 (ja) 2022-04-22

Family

ID=69776673

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020546702A Active JP7058387B2 (ja) 2018-09-12 2019-06-18 運転支援システム及び方法、自動プランナ、並びにプログラム

Country Status (3)

Country Link
US (1) US20220058501A1 (ja)
JP (1) JP7058387B2 (ja)
WO (1) WO2020054164A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220164647A1 (en) * 2020-11-24 2022-05-26 International Business Machines Corporation Action pruning by logical neural network

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2507892B2 (ja) * 1989-03-31 1996-06-19 工業技術院長 プラント制御装置
JP3400062B2 (ja) * 1994-02-04 2003-04-28 株式会社東芝 プラント制御装置及びトンネル換気制御装置
JP4525477B2 (ja) * 2005-02-23 2010-08-18 ソニー株式会社 学習制御装置および学習制御方法、並びに、プログラム
US20110191277A1 (en) * 2008-06-16 2011-08-04 Agundez Dominguez Jose Luis Automatic data mining process control
US9015092B2 (en) * 2012-06-04 2015-04-21 Brain Corporation Dynamically reconfigurable stochastic learning apparatus and methods
US20140351184A1 (en) * 2011-12-13 2014-11-27 Tata Consultancy Services Limited User specific plan generation method and system
US20140358828A1 (en) * 2013-05-29 2014-12-04 Purepredictive, Inc. Machine learning generated action plan

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
五福明夫 ほか,機能と挙動に基づくプラント異常時対応操作候補の導出,システム制御情報学会論文誌 システム/制御/情報,システム制御情報学会,1998年08月15日,第11巻, 第8号,pp.42-49,ISSN 1342-5668

Also Published As

Publication number Publication date
US20220058501A1 (en) 2022-02-24
JPWO2020054164A1 (ja) 2021-09-24
WO2020054164A1 (ja) 2020-03-19

Similar Documents

Publication Publication Date Title
US8527252B2 (en) Real-time synchronized control and simulation within a process plant
Witczak Fault diagnosis and fault-tolerant control strategies for non-linear systems
US11604459B2 (en) Real-time control using directed predictive simulation within a control system of a process plant
CA3036870C (en) Method and apparatus for deploying industrial plant simulators using cloud computing technologies
US20150277425A1 (en) State machine function block with user-definable actions on a transition between states
Albalawi et al. Process operational safety via model predictive control: Recent results and future research directions
CN113568379B (zh) 控制辅助装置、控制辅助方法、计算机可读介质及控制系统
JP2004178492A (ja) 強化学習法を用いたプラントシミュレーション方法
JP7058387B2 (ja) 運転支援システム及び方法、自動プランナ、並びにプログラム
JP6867307B2 (ja) ステージ済アプリケーションによりライブ状態の制御/推定アプリケーションを置換するシステムと方法
JP7359178B2 (ja) 制御装置、制御方法、および、制御プログラム
JP2010049392A (ja) Pidコントローラのチューニング装置、pidコントローラのチューニング用プログラムおよびpidコントローラのチューニング方法
JP7363839B2 (ja) 制御装置、制御方法、および、制御プログラム
JP2006039648A (ja) プラント監視制御システム
EP4136514A1 (en) Method for an intelligent alarm management in industrial processes
JP7444186B2 (ja) モデル検証装置、モデル検証方法、および、モデル検証プログラム
JP7359176B2 (ja) 判定装置、判定方法、および、判定プログラム
JP2022035737A (ja) 制御システム、制御方法、制御装置及びプログラム
JP6139389B2 (ja) プラント制御ロジック設計支援システム、プラント制御ロジック設計支援方法、及びプログラム
JP2023131987A (ja) 監視制御システム、監視制御方法、および監視制御プログラム
WO2023208380A1 (en) Method and system for interactive explanations in industrial artificial intelligence systems
JP2023106917A (ja) 装置、方法およびプログラム
JP2014164055A (ja) 運転操作評価装置、運転操作評価方法および運転操作評価プログラム
Mhaskar et al. Integrated Fault-Detection and Fault-Tolerant Control
Spangler et al. A Plan Induction System for Monitoring and Interpreting Operator Interventions in Process Control Environments Running Title: A Plan Induction System

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210308

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210324

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220324

R150 Certificate of patent or registration of utility model

Ref document number: 7058387

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150