JP6608010B1 - 制御装置、サーバ、管理システム、コンピュータプログラム、学習モデル及び制御方法 - Google Patents

制御装置、サーバ、管理システム、コンピュータプログラム、学習モデル及び制御方法 Download PDF

Info

Publication number
JP6608010B1
JP6608010B1 JP2018139784A JP2018139784A JP6608010B1 JP 6608010 B1 JP6608010 B1 JP 6608010B1 JP 2018139784 A JP2018139784 A JP 2018139784A JP 2018139784 A JP2018139784 A JP 2018139784A JP 6608010 B1 JP6608010 B1 JP 6608010B1
Authority
JP
Japan
Prior art keywords
gas
information
unit
control
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018139784A
Other languages
English (en)
Other versions
JP2020015821A (ja
Inventor
周知 佐藤
周知 佐藤
和都 夏山
和都 夏山
心 濱地
心 濱地
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sekisui Chemical Co Ltd
Original Assignee
Sekisui Chemical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sekisui Chemical Co Ltd filed Critical Sekisui Chemical Co Ltd
Priority to JP2018139784A priority Critical patent/JP6608010B1/ja
Priority to CN201980041173.9A priority patent/CN112352034A/zh
Priority to PCT/JP2019/024881 priority patent/WO2020021930A1/ja
Priority to EP19839911.5A priority patent/EP3828251A4/en
Priority to US17/251,437 priority patent/US20210264269A1/en
Application granted granted Critical
Publication of JP6608010B1 publication Critical patent/JP6608010B1/ja
Publication of JP2020015821A publication Critical patent/JP2020015821A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • CCHEMISTRY; METALLURGY
    • C10PETROLEUM, GAS OR COKE INDUSTRIES; TECHNICAL GASES CONTAINING CARBON MONOXIDE; FUELS; LUBRICANTS; PEAT
    • C10JPRODUCTION OF PRODUCER GAS, WATER-GAS, SYNTHESIS GAS FROM SOLID CARBONACEOUS MATERIAL, OR MIXTURES CONTAINING THESE GASES; CARBURETTING AIR OR OTHER GASES
    • C10J3/00Production of combustible gases containing carbon monoxide from solid carbonaceous fuels
    • C10J3/72Other features
    • C10J3/723Controlling or regulating the gasification process
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B09DISPOSAL OF SOLID WASTE; RECLAMATION OF CONTAMINATED SOIL
    • B09BDISPOSAL OF SOLID WASTE NOT OTHERWISE PROVIDED FOR
    • B09B3/00Destroying solid waste or transforming solid waste into something useful or harmless
    • B09B3/40Destroying solid waste or transforming solid waste into something useful or harmless involving thermal treatment, e.g. evaporation
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F23COMBUSTION APPARATUS; COMBUSTION PROCESSES
    • F23GCREMATION FURNACES; CONSUMING WASTE PRODUCTS BY COMBUSTION
    • F23G5/00Incineration of waste; Incinerator constructions; Details, accessories or control therefor
    • F23G5/50Control or safety arrangements
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B15/00Systems controlled by a computer
    • G05B15/02Systems controlled by a computer electric
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/004Artificial life, i.e. computing arrangements simulating life
    • G06N3/006Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • CCHEMISTRY; METALLURGY
    • C10PETROLEUM, GAS OR COKE INDUSTRIES; TECHNICAL GASES CONTAINING CARBON MONOXIDE; FUELS; LUBRICANTS; PEAT
    • C10JPRODUCTION OF PRODUCER GAS, WATER-GAS, SYNTHESIS GAS FROM SOLID CARBONACEOUS MATERIAL, OR MIXTURES CONTAINING THESE GASES; CARBURETTING AIR OR OTHER GASES
    • C10J2300/00Details of gasification processes
    • C10J2300/16Integration of gasification processes with another plant or parts within the plant
    • C10J2300/164Integration of gasification processes with another plant or parts within the plant with conversion of synthesis gas
    • C10J2300/1656Conversion of synthesis gas to chemicals
    • C10J2300/1665Conversion of synthesis gas to chemicals to alcohols, e.g. methanol or ethanol
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • G06N7/01Probabilistic graphical models, e.g. probabilistic networks
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E50/00Technologies for the production of fuel of non-fossil origin
    • Y02E50/30Fuel from waste, e.g. synthetic alcohol or diesel

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Combustion & Propulsion (AREA)
  • Oil, Petroleum & Natural Gas (AREA)
  • Organic Chemistry (AREA)
  • Mechanical Engineering (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Automation & Control Theory (AREA)
  • Thermal Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Industrial Gases (AREA)
  • Processing Of Solid Wastes (AREA)
  • Separation Of Gases By Adsorption (AREA)

Abstract

【課題】可燃性ごみを工業原料として高効率で再利用することができる制御装置、サーバ、管理サーバ、コンピュータプログラム、学習モデル及び制御方法を提供する。【解決手段】制御装置は、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得するガス情報取得部と、ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報を取得する制御情報取得部と、ガス精製装置が精製した精製ガスの情報を含む特性情報を取得する特性情報取得部と、ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成する生成部とを備える。【選択図】図1

Description

本発明は、制御装置、サーバ、管理システム、コンピュータプログラム、学習モデル及び制御方法に関する。
日本で排出される可燃性ごみのエネルギー換算量は、プラスチック素材を生産するのに用いられる化石資源に比べて大きいにも関わらず、多くの可燃性ごみは焼却又は埋立処分されている。
特許文献1には、ごみ焼却炉から排出した焼却灰から磁性物を磁力選別し、選別された磁性物を還元金属化処理することにより、従来、埋立処分されていた酸化鉄を還元処理して、埋立処分量を低減することができるごみ処理施設が開示されている。
特開2011−56392号公報
しかし、特許文献1のようなごみ処理施設では、可燃性ごみの再利用は一部に留まる。また、可燃性のごみは、雑多・不均質であり、含まれる成分・組成の変動が大きいため、工業原料として再利用することが困難であった。
本発明は、斯かる事情に鑑みてなされたものであり、可燃性ごみを工業原料として高効率で再利用することができる制御装置、サーバ、管理システム、コンピュータプログラム、学習モデル及び制御方法を提供することを目的とする。
本発明の実施の形態に係る制御装置は、ガス精製装置を制御する制御装置であって、収集されたごみをガスに変換するガス化炉が変換したガスに含まれる不純物ガスの濃度をガス情報として取得するガス情報取得部と、前記ガス化炉が変換したガスを精製する前記ガス精製装置へ出力されるとともに前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイム制御情報として取得する制御情報取得部と、前記ガス精製装置が精製した一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスから生成されるエタノールの純度又は量特性情報として取得する特性情報取得部と、前記ガス情報によって表される状態前記制御情報によって表される行動及び前記特性情報に基づく報酬それぞれをパラメータとして用いる強化学習により、ある状態に対して選択可能な行動の中から一の行動を選択したときに得られる報酬が大きくなる行動を選択するための行動評価情報が学習された学習モデルを生成する生成部とを備える。
本発明の実施の形態に係る制御装置は、ガス精製装置を制御する制御装置であって、収集されたごみをガスに変換するガス化炉が変換したガスに含まれる不純物ガスの濃度であるガス情報によって表される状態、前記ガス化炉が変換したガスを精製する前記ガス精製装置へ出力されるとともに前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイムである制御情報によって表される行動、及び前記ガス精製装置が精製した一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスから生成されるエタノールの純度又は量である特性情報に基づく報酬それぞれをパラメータとして用いる強化学習により学習され、ある状態に対して選択可能な行動の中から一の行動を選択したときに得られる報酬が大きくなる行動を選択するための行動評価情報が学習された学習モデルと、前記ガス化炉が変換したガスに含まれる不純物ガスの濃度をガス情報として取得するガス情報取得部と、前記ガス情報取得部で取得したガス情報を前記学習モデルに入力して前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイム制御情報として出力する出力部とを備える。
本発明の実施の形態に係るサーバは、複数のごみ処理用のプラントそれぞれから、プラントを識別する識別情報、収集されたごみをガスに変換するガス化炉が変換したガスに含まれる不純物ガスの濃度であるガス情報、前記ガス化炉が変換したガスを精製するガス精製装置へ出力されるとともに前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイムである制御情報、及び前記ガス精製装置が精製した一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスから生成されるエタノールの純度又は量である特性情報を収集する収集部と、前記収集部で収集したガス情報によって表される状態、制御情報によって表される行動及び特性情報に基づく報酬それぞれをパラメータとして用いる強化学習により生成され、ある状態に対して選択可能な行動の中から一の行動を選択したときに得られる報酬が大きくなる行動を選択するための行動評価情報が学習された学習モデルと、前記収集部で収集したガス情報、制御情報及び特性情報を前記識別情報と関連付けて記憶する記憶部とを備える。
本発明の実施の形態に係る管理システムは、前述の制御装置と、管理サーバとを備える管理システムであって、前記管理サーバは、複数のごみ処理用のプラントそれぞれから、プラントを識別する識別情報、収集されたごみをガスに変換するガス化炉が変換したガスを精製するガス精製装置内の吸着装置の劣化度を収集する収集部と、前記収集部で収集した劣化度を前記識別情報と関連付けて記憶する記憶部とを備える。
本発明の実施の形態に係るコンピュータプログラムは、コンピュータに、収集されたごみをガスに変換するガス化炉が変換したガスに含まれる不純物ガスの濃度をガス情報として取得する処理と、前記ガス化炉が変換したガスを精製するガス精製装置へ出力されるとともに前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイム制御情報として取得する処理と、前記ガス精製装置が精製した一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスから生成されるエタノールの純度又は量特性情報として取得する処理と、前記ガス情報によって表される状態前記制御情報によって表される行動及び前記特性情報に基づく報酬それぞれをパラメータとして用いる強化学習により、ある状態に対して選択可能な行動の中から一の行動を選択したときに得られる報酬が大きくなる行動を選択するための行動評価情報が学習された学習モデルを生成する処理とを実行させる。
本発明の実施の形態に係るコンピュータプログラムは、コンピュータに、収集されたごみをガスに変換するガス化炉が変換したガスに含まれる不純物ガスの濃度をガス情報として取得する処理と、前記ガス化炉が変換したガスに含まれる不純物ガスの濃度であるガス情報によって表される状態、前記ガス化炉が変換したガスを精製するガス精製装置へ出力されるとともに前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイムである制御情報によって表される行動、及び前記ガス精製装置が精製した一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスから生成されるエタノールの純度又は量である特性情報に基づく報酬それぞれをパラメータとして用いる強化学習により生成され、ある状態に対して選択可能な行動の中から一の行動を選択したときに得られる報酬が大きくなる行動を選択するための行動評価情報が学習された学習モデルに、取得したガス情報を入力して前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイム制御情報として出力する処理とを実行させる。
本発明の実施の形態に係る学習モデルは、収集されたごみをガスに変換するガス化炉が変換したガスに含まれる不純物ガスの濃度であるガス情報によって表される状態、前記ガス化炉が変換したガスを精製するガス精製装置へ出力されるとともに前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイムである制御情報によって表される行動、及び前記ガス精製装置が精製した一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスから生成されるエタノールの純度又は量である特性情報に基づく報酬それぞれをパラメータとして用いる強化学習により生成され、ある状態に対して選択可能な行動の中から一の行動を選択したときに得られる報酬が大きくなる行動を選択するための行動評価情報が学習されてある。
本発明の実施の形態に係る制御方法は、ガス精製装置を制御する制御方法であって、収集されたごみをガスに変換するガス化炉が変換したガスに含まれる不純物ガスの濃度をガス情報として取得し、前記ガス化炉が変換したガスを精製するガス精製装置へ出力されるとともに前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイム制御情報として取得し、前記ガス精製装置が精製した一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスから生成されるエタノールの純度又は量特性情報として取得し、前記ガス情報によって表される状態前記制御情報によって表される行動及び前記特性情報に基づく報酬それぞれをパラメータとして用いる強化学習により、ある状態に対して選択可能な行動の中から一の行動を選択したときに得られる報酬が大きくなる行動を選択するための行動評価情報が学習された学習モデルを生成する。
本発明の実施の形態に係る制御方法は、ガス精製装置を制御する制御方法であって、収集されたごみをガスに変換するガス化炉が変換したガスに含まれる不純物ガスの濃度をガス情報として取得し、前記ガス化炉が変換したガスに含まれる不純物ガスの濃度であるガス情報によって表される状態、前記ガス化炉が変換したガスを精製するガス精製装置へ出力されるとともに前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイムである制御情報によって表される行動、及び前記ガス精製装置が精製した一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスから生成されるエタノールの純度又は量である特性情報に基づく報酬それぞれをパラメータとして用いる強化学習により生成され、ある状態に対して選択可能な行動の中から一の行動を選択したときに得られる報酬が大きくなる行動を選択するための行動評価情報が学習された学習モデルに、取得したガス情報を入力して前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイム制御情報として出力する。
本発明によれば、可燃性ごみを工業原料として高効率で再利用することができる。
本実施の形態のエタノール生成システムの構成の一例を示す模式図である。 ガス精製装置の要部構成の一例を示す模式図である。 圧力変動吸着法の原理を示す説明図である。 本実施の形態の強化学習の一例を示す模式図である。 本実施の形態のニューラルネットワークモデル部の構成の一例を示す模式図である。 行動の一例を示す説明図である。 本実施の形態のニューラルネットワークモデル部の構成の他の例を示す模式図である。 制御装置によりガス精製装置の運転制御を行った場合の不純物ガスの濃度の一例を示す模式図である。 本実施の形態の機械学習の処理手順の一例を示すフローチャートである。 本実施の形態の制御装置の運転制御モードでの処理手順の一例を示すフローチャートである。 複数のプラントを管理する管理システムの構成の一例を示す模式図である。 表示装置が表示するプラント一覧画面の一例を示す模式図である。 管理サーバの処理の手順の一例を示すフローチャートである。
以下、本発明の実施の形態を図面に基づいて説明する。図1は本実施の形態のエタノール生成システム100の構成の一例を示す模式図である。エタノール生成システムは、例えば、ごみ処理施設に設置され、ガス化炉10、ガス精製装置20、エタノール生成装置30、制御装置50を備える。
ガス化炉10は、ごみ(可燃性ごみ)を低酸素状態で蒸し焼きして、分子レベル(例えば、一酸化炭素ガス及び水素ガスを含む)にまで分解することができる炉である。ガス精製装置20は、ガス化炉10が変換したガスに含まれる不純物ガスを除去・精製して、所要のガス(例えば、一酸化炭素ガス及び水素ガス)を取り出すことができる。エタノール生成装置30は、ガス精製装置20が取り出した所要のガスを用いて、触媒(例えば、金属触媒、微生物触媒など)によりエタノールを生成することができる。エタノールは、石油化学製品の6割程度を占めるエチレンと同様のC2 構造を有し、既存の化学プロセスによってエチレンモノマー又はブタジエンモノマーに変換することで、プラスチック等の誘起化学素材に誘導することができる。なお、可燃性ごみとは、可燃性であればよく、産業廃棄物、一般廃棄物、農業廃棄物などが一例として挙げられるが、特にこれらに限定されない。また、可燃性ごみとは異なり、例えば有機化合物及び/又は無機化合物を、本実施の形態のごみの代替物として用いてもよく、当該有機化合物及び/又は無機化合物は、変換されるガスの主たる成分として、CO、CO2、及びH2のうちの1つ以上を含むガスに変換されるものであれば、本発明を適用可能である。
制御装置50は、装置全体を制御する制御部51、ガス情報取得部52、特性情報取得部53、通信部54、記憶部55、センサ情報取得部56、記録媒体読取部57、判定部58、及び処理部60を備える。処理部60は、報酬算出部61、行動選択部62、及び行動評価部63を備える。
制御部51は、CPU、ROM及びRAMなどで構成することができる。
ガス情報取得部52は、ガス化炉10が変換したガスのガス情報を取得する。ガス情報は、例えば、ガス化炉10から取り出された不純物ガス(夾雑物質)の濃度を含む。不純物ガスは、例えば、シアン化水素、ベンゼン、トルエン、エチルベンゼン、キシレン、ダイオキシンなどのガスを含むが、これらに限定されない。なお、不純物ガスの濃度は、雑多なごみの成分・組成によって変動する。
処理部60は、制御情報取得部としての機能を有し、ガス精製装置20の運転を制御するための制御情報を取得する。制御情報の詳細は後述する。
特性情報取得部53は、ガス精製装置20が精製した精製ガスの情報を含む特性情報を取得する。精製ガスの情報は、例えば、一酸化炭素ガス及び水素ガスの純度を含む。また、精製ガスの情報は、二酸化炭素ガスの純度を含めてもよく、あるいは、除去できなかった不純物ガスの濃度を含めることもできる。また、特性情報は、一酸化炭素ガス及び水素ガスからエタノールを生成する触媒(公知の触媒であってもよく、例えば、金属触媒や微生物)の各種活性度、エタノール生成装置30によって生成されたエチレンの純度又は量などを含む。
通信部54は、後述のネットワーク1を介して、管理サーバ200及び学習サーバ300との間で通信を行う機能を有し、所要の情報の送受信を行うことができる。管理サーバ200及び学習サーバ300については、後述する。
記憶部55は、ハードディスク又はフラッシュメモリなどで構成され、制御装置50の外部から取得した情報、制御装置50内部での処理結果などの情報を記憶することができる。
センサ情報取得部56は、ガス精製装置20からセンサ情報を取得する。センサ情報の詳細は後述する。
記録媒体読取部57は、制御装置50の処理を定めたコンピュータプログラムを記録した記録媒体(不図示)から、記録媒体に記録されたコンピュータプログラムを読み取ることができる。
判定部58は、エタノール生成装置30において、触媒の一例として、微生物を用いてエタノールを生成する場合、微生物の状態に基づいて、微生物の活性度を判定する。活性度は、例えば、微生物の反応速度、生存率などを含む。微生物の状態を培養液層の外部からリアルタイムに監視して微生物の活性度を判定することができる。なお、微生物の状態をオフラインで監視して微生物の活性度を判定してもよい。これにより、例えば、微生物の活性度が低下した場合、栄養剤を投入して再度活性化することができ、エタノールの生成速度を高レベルで維持することができる。なお、触媒の一例として、金属触媒を用いる場合には、判定部58を具備しなくてもよい。
処理部60は、例えば、CPU(例えば、複数のプロセッサコアを実装したマルチ・プロセッサなど)、GPU(Graphics Processing Units)、DSP(Digital Signal Processors)、FPGA(Field-Programmable Gate Arrays)などのハードウェアを組み合わせることによって構成することができる。また、処理部60は、仮想マシン又は量子コンピュータなどで構成してもよい。後述のエージェントは、コンピュータ上に存在する仮想的なマシンであり、エージェントの状態はパラメータ等によって変更される。また、処理部60は、別の(制御装置50)以外のコンピュータで学習してもよい。
処理部60は、生成部としての機能を有し、ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成することができる。機械学習は、例えば、深層学習、強化学習、深層強化学習などを用いることができる。例えば、強化学習を用いる場合、ガス情報を「状態」とし、制御情報を「行動」とし、特性情報に基づいて「報酬」を算出して、Q値又はQ関数(行動価値関数)の値を学習すればよい。
すなわち、行動選択部62は、行動出力部としての機能を有し、ガス情報取得部52で取得したガス情報及び行動評価部63のQ値又はQ関数の値(行動評価情報)に基づいて制御情報を出力する。行動評価部63は、強化学習において、行動の評価値を含み、具体的には、Q値又はQ関数の値(行動価値関数)を含む。すなわち、行動選択部62は、取得した状態(ガス情報)での行動の評価値に基づいて、取得した状態において取り得る行動の中から行動を選択して出力する。
報酬算出部61は、取得した特性情報に基づいて報酬を算出する。報酬の算出は、特性情報が所要の値又は範囲内になる場合、正(報酬あり)となるようにし、特性情報が所要の値にならない、又は範囲内にならない場合、0(報酬なし)又は負(ペナルティ)となるようにすることができる。
行動選択部62は、更新部としての機能を有し、報酬算出部61で算出した報酬が大きくなるように行動評価部63のQ値又はQ関数の値を更新する。これにより、ごみの成分や組成の変動が大きいために、ガス精製装置20に入力されるガス(不純物ガス)の濃度が閾値を超えるような場合でも、ガス精製装置20の出力側の特性情報が所要の値又は範囲内になるような制御情報を出力できるように学習モデルを学習させることができる。
学習させた学習モデルを用いることにより、ごみの成分や組成が変動する場合でも、ガス精製装置20の運転を最適化して、所望のエタノールを生成することができるので、可燃性ごみを工業原料として高効率で再利用することができる。
制御部51は、更新された行動評価部63のQ値又はQ関数の値(行動評価情報)を記憶部55に記憶することができる。記憶部55に記憶した行動評価情報を読み出すことにより、学習済の学習モデルを再現することができる。
図2はガス精製装置20の要部構成の一例を示す模式図である。ガス精製装置20は、ガス化炉10の出力側に連通するとともに、エタノール生成装置30の入力側に連通するガス管路を備え、ガス管路の中途には、ガス化炉10側から、バッファタンク21、二つの吸着装置22、23、圧縮機25、バッファタンク24が介装されている。バッファタンク21、24は、一時的にガスを貯留するためのものである。吸着装置22、23の入口側のガス管路及び出口側のガス管路には、電磁弁を設けてある。
吸着装置22は、ガス吸着部材221を収容してあり、吸着装置23は、ガス吸着部材231を収容してある。吸着装置22及び吸着装置23それぞれの所要の箇所には、センサ部27を設けてある。なお、図2では、便宜上、センサ部27を吸着装置22、23の外部に図示しているが、センサ部27の設置位置は、図2の例に限定されない。
吸着装置22及び吸着装置23は、片方ずつ交互に使用され、例えば、一のサイクルタイムでは、吸着装置22が使用され、次のサイクルタイムでは、吸着装置22に代わって吸着装置23が使用される。以降、同様の切替が繰り返される。一のサイクルタイムでは、吸着装置内の圧力の昇降、吸着装置(例えば、ガス吸着部材)の脱着及び洗浄などの操作が行われる。
図3は圧力変動吸着法の原理を示す説明図である。図中、縦軸は吸着容量を示し、横軸はガスの圧力を示す。図3では、不純物ガスの吸着等温線と、一酸化炭素ガス又は水素ガスの吸着等温線を模式的に図示している。圧力変動吸着(PSA:Pressure Swing Adsorption)法の原理は以下の如くである。すなわち、吸着装置内の圧力を上下(昇降)させると、不純物ガスの吸着容量差(符号A1とA2との差)は、一酸化炭素ガス又は水素ガスの吸着容量差(符号B1とB2との差)よりも大きい。これにより、不純物ガスの方が一酸化炭素ガス又は水素ガスよりも多くガス吸着部材に吸着し除去される。ガス吸着部材に吸着しなかった一酸化炭素ガス及び水素ガスは、エタノール生成装置30へ送出される。
運転制御部26は、ガス流量制御部261、温度調整部262、湿度調整部263、吸着装置22、23の運転の切替を行う吸着装置切替部264、及び通信部265を備える。通信部265は、通信機能を備え、制御装置50との間で所定の情報の送受信を行うことができる。
運転制御部26は、使用履歴取得部としての機能を有し、吸着装置22、23(例えば、ガス吸着部材221、231)の使用履歴を取得する。使用履歴は、例えば、累積使用時間、洗浄回数などを含む。
センサ部27は、種類が異なる複数のセンサで構成され、吸着装置22、23(例えば、ガス吸着部材221、231)の劣化度を検出することができる。劣化度は、例えば、ガス吸着部材221、231を洗浄した後のガス吸着部材221、223表面の色又は汚れ、所定のサイクルタイムにおいて吸着した不純物の量などにより判定することができる。
センサ部27は、吸着装置22、23(例えば、ガス吸着部材221、231)の脱着操作の有無を検出することができる。吸着装置22、23の脱着操作は、例えば、意図しない脱着操作とすることができる。
通信部265は、吸着装置22、23の使用履歴、劣化度、脱着操作の有無などの情報を制御装置50へ送信することができる。
ガス流量制御部261は、制御装置50が出力する制御情報に基づいて、ガスの流量を制御する。
温度調整部262は、制御装置50が出力する制御情報に基づいて、ガスの温度を調整する。
湿度調整部263は、制御装置50が出力する制御情報に基づいて、ガスの湿度を調整する。
吸着装置切替部264は、制御装置50が出力する制御情報に基づいて、吸着装置22、23の運転の切替のサイクルタイムを調整する。
次に、制御装置50の処理部60の学習モードについて説明する。
図4は本実施の形態の強化学習の一例を示す模式図である。強化学習は、ある環境下に置かれたエージェントが環境に対して行動をし、得られる報酬が最大化されるような方策(エージェントが行動する際の指標となるルール)を求める機械学習アルゴリズムである。強化学習において、エージェントは、環境に対して行動を起こす学習者のようなものであり、学習対象である。環境は、エージェントの行動に対して状態の更新と報酬の付与を行う。行動は、環境のある状態に対してエージェントが取ることができる行動である。状態は、環境が保持する環境の様子である。報酬は、エージェントが環境に対して望ましい結果を作用させたときにエージェントに付与される。報酬は、例えば、正、負、0の値とすることができ、正の場合は報酬そのものであり、負の場合はペナルティとなり、0の場合は報酬なしとなる。また、行動評価関数は、ある状態での行動の評価値を定める関数であり、表のようなテーブル形式で表すこともでき、Q学習においては、Q関数、Q値、評価値などという。Q学習は、強化学習の中でよく用いられている手法の一つである。以下では、Q学習について説明するが、強化学習は代替的にQ学習と異なるものでもよい。
本実施の形態では、ガス化炉10、ガス精製装置20、エタノール生成装置30及び処理部60内の報酬算出部61が、「環境」に相当し、行動選択部62及び行動評価部63が「エージェント」に相当する。行動評価部63は、上述のQ関数、Q値に相当し、行動評価関数(行動評価情報)に対応する。
まず、行動選択部62は、状態st を取得すると、行動評価部63に基づいて、状態st において取り得る行動の中から、最も評価の高い(例えば、Q関数の値が最も大きい)行動at を選択して制御情報としてガス精製装置20に出力する。ガス精製装置20は、制御情報に基づいて運転制御を行う。
次に、行動選択部62は、状態st+1 を取得するとともに、報酬算出部61から報酬rt+1を取得する。状態st を取得する時刻tと状態st+1 を取得する時刻t+1との間の時間(インターバル)は、適宜設定することができ、例えば、1秒、10秒、30秒、1分、2分などとすることができるが、これらに限定されない。
ガス精製装置20が、行動at (制御情報)に基づいて運転制御を行うと、特性情報が変化する。報酬算出部61は、行動at (制御情報)に基づいて変化した特性情報に基づいて報酬rt+1を算出することができる。行動選択部62がガス精製装置20に対して望ましい結果を作用させたときに高い値(正値)の報酬が算出される。報酬が0のときは、報酬なしであり、報酬が負値のときはペナルティとなる。報酬算出部61は、ガス精製装置20が精製した一酸化炭素ガス及び水素ガスの純度、エタノール生成装置30が精製したエタノールの純度又は量、並びにエタノール生成装置30内の触媒の活性度の少なくとも一つに基づいて報酬を算出することができる。これにより、特性情報が所要の値又は範囲内になるようにガス精製装置20の運転制御を行うことができる。なお、ガス精製装置20が出力する不純物ガスの濃度を用いて報酬を算出してもよい。この場合、不純物ガスの濃度が高いほど、大きなペナルティとすることができる。
行動選択部62は、取得した状態st+1及び報酬rt+1に基づいて、行動評価部63の、例えば、Q関数の値、あるいはQ値を更新する。より具体的には、行動選択部62は、行動に対する報酬を最大化する方向へQ関数の値又はQ値を更新する。これにより、環境のある状態において最大の価値が期待される行動を学習できる。
上述の処理を繰り返して、行動評価部63の更新を繰り返すことにより、報酬を最大化できる行動評価部63を学習することができる。
Q学習では、(状態数s×行動数a)のサイズのテーブル(Qテーブルとも称する)を更新することができるが、本実施の形態のように状態数が大きくなる場合には、Q関数をニューラルネットワークで表現する手法を採用することができる。
図5は本実施の形態のニューラルネットワークモデル部の構成の一例を示す模式図である。ニューラルネットワークモデル部は、処理部60(具体的には、行動選択部62及び行動評価部63)を表したものである。ニューラルネットワークモデル部は、入力層601、中間層602及び出力層603を有する。入力層601の入力ニューロンの数は、不純物ガスの種類の数とすることができ、入力層601の入力ニューロンには、不純物ガスG1の濃度、不純物ガスG2の濃度、…、不純物ガスGnの濃度が入力される。不純物ガスの種類の数は、例えば、約400であるが、これに限定されない。
出力層603の出力ニューロンの数は、行動の選択肢の数とすることができる。図5では、便宜上、出力層603の出力ニューロンの数を2とし、一方の出力ニューロンは、サイクルタイムを長くしたときのQ関数の値を出力し、他方の出力ニューロンは、サイクルタイムを短くしたときのQ関数の値を出力する。
ニューラルネットワークモデル部を用いた機械学習(深層強化学習)は、次のようにすることができる。すなわち、ニューラルネットワークモデル部の入力ニューロンに状態st を入力すると、出力ニューロンは、Q(st ,at )を出力する。ここで、Qは、状態sでの行動aの評価を格納する関数である。Q関数の更新は、式(1)により行うことができる。
Figure 0006608010
式(1)において、sは時点tでの状態を示し、aは状態sで取ることができる行動を示し、αは学習率(ただし、0<α<1)を示し、γは割引率(ただし、0<γ<1)を示す。学習率αは学習係数とも称され、学習の速度(ステップサイズ)を決定するパラメータである。すなわち、学習率αはQ値又はQ関数の値の更新量を調整するパラメータである。割引率γは、Q関数を更新する際に、未来の状態の評価(報酬又はペナルティ)をどれだけ割り引いて考慮するかを決定するパラメータである。すなわち、ある状態での評価が、過去の状態での評価と繋がっている場合、どの程度報酬やペナルティを割り引くかを定めるパラメータである。
式(1)において、rt+1 は行動の結果得られた報酬であり、報酬が得られない場合は0となり、ペナルティの場合は負値となる。Q学習では、式(1)の第2項、{rt+1 +γ・maxQ(st+1 ,at+1 )−Q(st ,at )}が0になるように、すなわち、Q関数のQ(st ,at )が、報酬(rt+1 )と、次の状態st+1 で可能な行動の中で最大の価値(γ・maxQ(st+1 ,at+1 ))との和になるようにニューラルネットワークモデル部のパラメータを学習する。報酬の期待値と現在の行動評価との誤差を0に近づけるように、ニューラルネットワークモデル部のパラメータが更新される。別言すれば、(γ・maxQ(st+1 ,at+1 ))の値は、現在のQ(st ,at )の値と、行動atを実行した後の状態st+1 で実行可能な行動の中で得られる最大の評価値に基づいて修正される。
ある状態において行動を実行したときに、必ず報酬が得られるとは限らない。例えば、行動を何回か繰り返した後に報酬が得られる場合もある。式(2)は、式(1)において、発散の問題を回避して、報酬が得られたときのQ関数の更新式を表す。式(3)は、式(1)において、報酬が得られなかったときのQ関数の更新式を表す。
図5の例では、出力ニューロンの数は2であったが、これに限定されない。
図6は行動atの一例を示す説明図である。図6に示すように、行動atがサイクルタイム(吸着装置22及び吸着装置23の切替のサイクルタイム)の制御である場合、具体的には、サイクルタイムを長くする、サイクルタイムを短くする、あるいはサイクルタイムを変更しない行動を用いることができる。ここで、サイクルタイムをどの程度長く、あるいは短くするかは、適宜設定することができる。行動atがガス温度の制御である場合、具体的には、温度を上げる、温度を下げる、温度を変更しない行動を用いることができる。ここで、温度をどの程度上下させるかは、適宜設定することができる。行動atがガス量の制御である場合、具体的には、ガス量を増やす、ガス量を減らす、あるいはガス量を変更しない行動を用いることができる。ここで、ガス量をどの程度増減させるかは、適宜設定することができる。また、行動atがガス湿度の制御である場合、具体的には、湿度を上げる、湿度を下げる、あるいは湿度を変更しない行動を用いることができる。ここで、湿度をどの程度上下させるかは、適宜設定することができる。出力ニューロンは、図6に例示した行動の全部又は一部を組み合わせてQ関数を出力するように構成することができる。なお、図示していないが、行動atにガスの圧力を含めてもよく、例えば、ガスの圧力を上げる、ガスの圧力を下げる、ガスの圧力を変更しない等を含めることができる。
図7は本実施の形態のニューラルネットワークモデル部の構成の他の例を示す模式図である。図5に例示したニューラルネットワークモデル部との違いは、出力ニューロンの数を2ではなく、増やした点である。図7の例では、種類の異なる行動を組み合わせている。例えば、図7に示すように、出力ニューロンは、何もしないときのQ関数の値、サイクルタイムを長くし、ガス量を増加したときのQ関数の値、サイクルタイムを長くし、ガス量を減少させたときのQ関数の値、…、サイクルタイムを短くし、ガス量を増やし、ガス温度を上げたときのQ関数の値、…、サイクルタイムを長くし、微生物に栄養剤を投入したときのQ関数の値などとすることができる。なお、出力ニューロンの数、出力の種類は図7の例に限定されない。
なお、図5及び図7に示すニューラルネットワークモデル部としては、いわゆる畳み込みニューラルネットワーク(CNN:Convolutional Neural Network)を用いてもよい。
次に、制御装置50によるガス精製装置20の運転制御モードについて説明する。
処理部60(具体的には、学習モデルとしての行動選択部62及び行動評価部63)は、ガス化炉10が変換したガスのガス情報、ガス精製装置20を制御する制御情報、及びガス精製装置20が精製した精製ガスの情報を含む特性情報に基づいて学習されている。
処理部60は、ガス化炉10が変換したガスのガス情報を取得する。
処理部60は、ガス情報を学習モデル(行動選択部62及び行動評価部63)に入力してガス精製装置20を制御する制御情報を出力する。
制御部51は、処理部60が出力した制御情報に基づいてガス精製装置20を制御することができる。これにより、ごみの成分や組成が変動する場合でも、ガス精製装置20の運転を最適化して、所望のエタノールを生成することができるので、可燃性ごみを工業原料として高効率で再利用することができる。
図8は制御装置50によりガス精製装置20の運転制御を行った場合の不純物ガスの濃度の一例を示す模式図である。左側の図はガス精製装置20に入力される不純物ガスを示し、右側の図はガス精製装置20から出力される不純物ガスを示す。図中、縦軸はガスの濃度を示し、横軸は時間を示す。左側の図に示すように、収集された可燃ごみがガス化炉10に投入される都度(例えば、1分〜30分に1回程度)、ごみの成分や組成が変動するための、不純物ガスの濃度も変動し、閾値を超える場合がある。濃度が閾値を超えた不純物ガスがガス精製装置20から取り出されてエタノール生成装置30に入力されると、例えば、生成されるエタノールの純度が低くなる。
本実施の形態では、学習済の学習モデルを用いてガス精製装置20の運転制御を行うので、右側の図に示すように、不純物ガスの濃度は、閾値未満になり、濃度が閾値を超えた不純物ガスがエタノール生成装置30に入力されることを防止できる。
制御部51は、ガス精製装置20の運転制御モードにおいて、ガス精製装置20が精製した精製ガスの情報を含む特性情報を記憶部55に記憶することができる。これにより、ごみの成分や組成が変動する場合に、ガス精製装置20の運転を最適化した結果得られた特性情報を収集することができる。
制御部51は、ガス精製装置20の運転制御モードにおいて、取得したガス情報、出力した制御情報、及び取得した特性情報を、通信部54を介して後述の学習サーバ300へ送信することができる。
処理部60は、ガス精製装置20の運転制御モードにおいて、取得したガス情報、出力した制御情報、及び取得した特性情報に基づいて学習モデルを再学習させることができる。これにより、ガス精製装置20の運転をさらに最適化することができる。
制御部51は、ガス精製装置20から取得した、吸着装置22、23の使用履歴、劣化度、脱着操作の有無などの情報を、通信部54を介して後述の管理サーバ200へ送信することができる。
次に、本実施の形態の学習モードでの処理について説明する。
図9は本実施の形態の機械学習の処理手順の一例を示すフローチャートである。なお、便宜上、処理の主体を処理部60として説明する。処理部60は、ニューラルネットワークモデル部のパラメータを初期値に設定する(S11)。処理部60は、状態st を取得する(S12)。状態st は、ガス化炉10が変換したガスのガス情報であり、具体的には、不純物ガスの濃度である。
処理部60は、状態st で取ることのできる行動at を選択して実行する(S13)。行動at はガス精製装置20の運転制御のための制御情報であり、具体的には、サイクルタイム、ガス量、ガス温度及びガス湿度の全部又は一部を組み合わせることができる。また、行動at に微生物(触媒)に与える栄養剤に関する行動を含めてもよい。
処理部60は、行動at の結果得られる状態st+1 を取得し(S14)、報酬rt+1 を取得する(S15)。報酬は、特性情報に基づいて算出することができる。ここで、特性情報は、ガス精製装置20が精製した精製ガスの情報(例えば、一酸化炭素ガス及び水素ガスの純度)、エタノール生成装置30が精製するエタノールの純度又は量、触媒の一例として微生物を用いる場合の微生物の活性度の少なくとも一つを含めることができる。なお、報酬は0(報酬なし)の場合もある。
処理部60は、前記の式(1)を用いて、現在(st、at)のQ関数の値が、状態st+1 で実行可能な行動の中で得られる最大の報酬になるようにニューラルネットワークモデル部のパラメータを学習(更新)する(S16)。
処理部60は、処理を終了するか否かを判定する(S17)。ここで、処理を終了するか否かは、ニューラルネットワークモデル部のパラメータの更新を所定回数行ったか否かによって判定してもよく、あるいは特性情報が許容値又は許容範囲内に至ったか否か等で判定することができる。
処理を終了しない場合(S17でNO)、処理部60は、状態st+1 を状態st とし(S18)、ステップS13以降の処理を続ける。処理を終了する場合(S17でYES)、処理部60は、ニューラルネットワークモデル部のパラメータを記憶部55に記憶し(S19)、処理を終了する。なお、図9に示す処理は、繰り返し行うことができる。また、図9に示す処理は、異なる学習モデル毎に繰り返し実施することができる。
なお、上述のようなニューラルネットワークモデル部のパラメータを更新する学習に代わりに、Qテーブルを用いる学習では、Q学習の初期の状態では、QテーブルのQ値は、例えば、乱数で初期化することができる。Q学習の初期段階で一旦報酬の期待値に差が生じると、未だ経験したことがない状態に遷移することができず、目標に到達することができない事態が起こり得る。そこで、ある状態に対する行動を決定する場合に、確率εを用いることができる。具体的には、ある確率εで全ての行動の中からランダムに行動を選択して実行し、確率(1−ε)でQ値が最大の行動を選択して実行することができる。これにより、Q値の初期状態によらず適切に学習を進めることができる。
図10は本実施の形態の制御装置50の運転制御モードでの処理手順の一例を示すフローチャートである。なお、便宜上、処理の主体を制御部51として説明する。制御部51は、ニューラルネットワークモデル部のパラメータを読み込み(S31)、状態st を取得し(S32)、取得した状態st を記憶部55に記憶する(S33)。状態st は、ガス化炉10が変換したガスのガス情報であり、具体的には、不純物ガスの濃度である。
制御部51は、学習モデルに基づいて状態st に対する行動at を出力し(S34)、出力した行動at を記憶部55に記憶する(S35)。行動at はガス精製装置20の運転制御のための制御情報であり、具体的には、サイクルタイム、ガス量、ガス温度及びガス湿度の全部又は一部を組み合わせることができる。また、行動at に微生物(触媒)に与える栄養剤に関する行動を含めてもよい。
制御部51は、出力した行動at に基づいてガス精製装置20の運転制御を行い(S36)、特性情報を取得する(S37)。制御部51は、取得した特性情報を記憶部55に記憶する(S38)。
制御部51は、ガス精製装置20の運転が終了するか否かを判定し(S39)、運転が終了しない場合(S39でNO)、状態st+1 を取得し(S40)、状態st+1 を状態st とし(S41)、ステップS34以降の処理を続ける。ガス精製装置20の運転が終了する場合(S39でYES)、制御部51は、記憶部に記憶した状態、行動及び特性情報をサーバ(学習サーバ300)に送信し(S42)、処理を終了する。
また、処理部60は、ガス情報取得部52で取得したガス情報、処理部60が出力した制御情報、及び特性情報取得部53で取得した特性情報に基づいて学習モデル(行動選択部62及び行動評価部63)を再学習させることができる。これにより、ガス精製装置20の運転をさらに最適化することができる。
本実施の形態の制御部51及び処理部60は、CPU(プロセッサ)、GPU、RAM(メモリ)などを備えたコンピュータを用いて実現することもできる。例えば、記録媒体(例えば、CD−ROM等の光学可読ディスク記憶媒体)に記録されたコンピュータプログラムやデータ(例えば、学習済のQ関数又はQ値など)を記録媒体読取部57(例えば、光学ディスクドライブ)で読み取ってRAMに格納することができる。ハードディスク(図示しない)に格納しコンピュータプログラム実行時にRAMに格納してもよい。図9及び図10に示すような、各処理の手順を定めたコンピュータプログラムをコンピュータに備えられたRAM(メモリ)にロードし、コンピュータプログラムをCPU(プロセッサ)で実行することにより、コンピュータ上で制御部51及び処理部60を実現することができる。
上述の実施の形態では、機械学習の一例として、Q学習について説明したが、代替的に、別のTD学習(Temporal Difference Learning)などの他の学習アルゴリズムを用いてもよい。例えば、Q学習のように、行動の価値を更新するのではなく状態の価値の更新を行う学習方法を用いてもよい。この方法では、現在の状態Stの価値V(st )を、V(st )<−V(st )+α・δtという式で更新する。ここで、δt=rt+1 +γ・V(st+1 )−V(st )であり、αは学習率、δtはTD誤差である。
上述のように、本実施の形態によれば、収集した可燃性ごみを極めて高い生産効率でエタノールに変換することができ、可燃性ごみを工業原料として高効率で再利用することができる。
上述の実施の形態では、一つのごみ処理施設(プラントとも称する)について説明したが、本実施の形態は、複数の場所(地域)に設置された複数のプラントに対しても適用することができる。
図11は複数のプラントを管理する管理システムの構成の一例を示す模式図である。図11に示すように、複数のプラント内に設けられた各制御装置50は、インターネットなどのネットワーク1に接続されている。ネートワーク1には、管理サーバ200、学習サーバ300が接続されている。各制御装置50と、管理サーバ200及び学習サーバ300との間では、ネットワーク1を介して情報の送受信を行うことができる。管理サーバ200は、CPU201、RAM202、ROM203及びプラントDB204を備え、表示装置210が接続されている。なお、管理サーバ200(CPU201)は表示装置210の処理を制御することができる。学習サーバ300は、処理部301及びプラントDB302を備える。処理部301は、制御装置50の処理部60と同様の構成とすることができる。
各制御装置50は、ガス精製装置20の運転制御モードにおいて、取得したガス情報、出力した制御情報、取得した特性情報及びプラントを識別する識別情報を学習サーバ300へ送信することができる。学習サーバ300は、各制御装置50から、プラントを識別する識別情報、ガス化炉10が変換したガスのガス情報、ガス精製装置20を制御する制御情報、及びガス精製装置20が精製した精製ガスの情報を含む特性情報を収集することができる。学習サーバ300は、収集したガス情報、制御情報及び特性情報を識別情報と関連付けてプラントDB302に記憶することができる。これにより、プラント毎に、ガス精製装置20の運転を最適化するのに必要な情報を収集して記録することができる。
学習サーバ300では、ごみの成分や組成が変動する場合に、ガス精製装置20の運転をどのように制御すれば、所望の特性情報が得られかの情報を収集することができる。また、複数のごみ処理施設(プラント)それぞれの制御装置50から同様の情報を送信することにより、学習サーバ300では、各プラントにおいて、ガス精製装置20の運転をどのように制御すれば、所望の特性情報が得られかの情報を収集することができる。
処理部301は、収集したガス情報、制御情報及び特性情報に基づいて学習モデルを学習させることができる。これにより、学習サーバ300は、様々な地域に設置されたごみ処理施設(プラント)毎に、カスタマイズした学習モデルを生成することができる。既存のごみ処理施設に制御装置50を新たに設置する場合や新たにプラントを建設するような場合に、それぞれのプラントに適した学習モデルを配信することができる。なお、学習モデルをプラント(具体的には制御装置50内)に配信する場合には、秘密鍵などを用いて学習モデル(アルゴリリズム及びパラメータなど)を暗号化して配信することができる。各制御装置50では、固有の秘密鍵を用いて復号すればよい。
また、各制御装置50は、ガス精製装置20から取得した、吸着装置22、23の使用履歴、劣化度、脱着操作の有無、触媒(例えば、微生物)の活性度などの情報を管理サーバ200へ送信することができる。
管理サーバ200では、使用履歴に基づいて、吸着装置22、23を交換するまでの残余使用回数、残余使用時間などを算出することにより、吸着装置22、23の交換時期を推定することができる。また、複数のごみ処理施設(プラント)それぞれの制御装置から同様の情報を送信することにより、管理サーバ200では、各プラントにおいて、ガス精製装置20内の吸着装置22、23の交換時期を推定することができる。
図12は表示装置210が表示するプラント一覧画面211の一例を示す模式図である。図12に示すように、プラント一覧画面211は、プラントID表示領域212、吸着装置の劣化度表示領域213、アラート表示領域214、触媒(例えば、微生物)の活性度表示領域215を有する。管理サーバ200では、すなわち、表示装置210の表示画面を監視する作業員は、吸着装置の劣化度表示領域213に表示される、各プラントの各吸着装置の劣化度に基づいて、各プラントにおいて、吸着装置22、23の保守・点検、あるいは交換の要否を判定することができる。なお、図12の例では、いずれのプラントにおいても、吸着装置の劣化度は交換すべき値まで至っていない。
また、管理サーバ200では、すなわち、表示装置210の表示画面を監視する作業員は、アラート表示領域214のアラートが点灯又は点滅した場合、吸着装置22、23の意図しない脱着操作があったことを認識することができる。これにより、例えば、正規品でない吸着装置の装着を発見することができ、非正規品の装着を防止することができる。また、複数のごみ処理施設(プラント)それぞれの制御装置50から同様の情報を送信することにより、管理サーバ200では、各プラントにおいて、正規品でない吸着装置の装着を発見することができ、非正規品の装着を防止することができる。
また、管理サーバ200では、すなわち、表示装置210の表示画面を監視する作業員は、触媒の活性度表示領域215での活性度がOKかNGかを識別することができる。図12では、活性度はOKとしている。これにより、例えば、微生物の活性度が低下した場合、遠隔で栄養剤を投入する指示を行うことができ、微生物を再度活性化することができ、エタノールの生成速度を高レベルで維持することができる。
図13は管理サーバ200の処理の手順の一例を示すフローチャートである。以下では、便宜上、処理の主体をCPU201として説明する。CPU201は、複数のプラントそれぞれのガス精製装置20内のガスの吸着装置22、23の劣化情報を取得し(S101)、プラント毎にガスの吸着装置22、23の劣化度を表示する(S102)。
CPU201は、ガスの吸着装置22、23の脱着操作情報を取得したか否かを判定する(S103)。ここで、脱着操作情報は、ガスの吸着装置22、23の意図しない脱着操作があったことを示す情報であり、ガスの吸着装置22、23を洗浄する際の脱着操作は含まない。
ガスの吸着装置22、23の脱着操作情報を取得した場合(S103でYES)、CPU201は、該当するプラントのアラート(例えば、図12に例示するアラート表示領域214のアラート)を出力する(S104)。アラートの出力は、表示灯の点灯又は点滅でもよく、音声で出力してもよい。また、作業員の携帯端末装置(不図示)に通知するようにしてもよい。ガスの吸着装置22、23の脱着操作情報を取得していない場合(S103でNO)、CPU201は、後述のステップS105の処理を行う。
CPU201は、エタノール生成用の触媒(例えば、微生物)の活性度情報を取得したか否かを判定し(S105)、活性度情報を取得した場合(S105でYES)、プラント毎に触媒(例えば、微生物)の活性度を表示し(S106)、処理を終了するか否かを判定する(S107)。活性度情報を取得していない場合(S105でNO)、CPU201は、ステップS107の処理を行う。処理を終了しない場合(S107でNO)、CPU201は、ステップS101以降の処理を続け、処理を終了する場合(S107でYES)、処理を終了する。
上述の実施形態において、管理サーバ200又は学習サーバ300それぞれは複数のサーバで構成してもよく、また、管理サーバ200及び学習サーバ300を一つのサーバに統合してもよい。
本実施の形態に係る制御装置は、ガス精製装置を制御する制御装置であって、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得するガス情報取得部と、前記ガス化炉が変換したガスを精製する前記ガス精製装置を制御する制御情報を取得する制御情報取得部と、前記ガス精製装置が精製した精製ガスの情報を含む特性情報を取得する特性情報取得部と、前記ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成する生成部とを備える。
本実施の形態に係るコンピュータプログラムは、コンピュータに、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得する処理と、前記ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報を取得する処理と、前記ガス精製装置が精製した精製ガスの情報を含む特性情報を取得する処理と、前記ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成する処理とを実行させる。
本実施の形態に係る制御方法は、ガス精製装置を制御する制御方法であって、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得し、前記ガス化炉が変換したガスを精製する前記ガス精製装置を制御する制御情報を取得し、前記ガス精製装置が精製した精製ガスの情報を含む特性情報を取得し、前記ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成する。
ガス情報取得部は、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得する。ガス化炉は、ごみを低酸素状態で蒸し焼きして、分子レベル(例えば、一酸化炭素ガス及び水素ガスを含む)にまで分解することができる炉である。ガス情報は、例えば、ガス化炉によって生成された不純物ガス(夾雑物質)の濃度を含む。なお、不純物ガスの濃度は、雑多なごみの成分・組成によって変動する。
制御情報取得部は、ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報を取得する。ガス精製装置は、ガス化炉が変換したガスに含まれる不純物ガスを除去・精製して、所要のガス(例えば、一酸化炭素ガス及び水素ガス)を取り出すことができる。制御情報は、ガス精製装置を運転制御するための情報である。
特性情報取得部は、ガス精製装置が精製した精製ガスの情報を含む特性情報を取得する。精製ガスの情報は、例えば、一酸化炭素ガス及び水素ガスの純度を含む。また、精製ガスの情報は、除去できなかった不純物ガスの濃度を含めることもできる。精製ガスは、触媒(例えば、金属触媒、微生物触媒など)を用いてエタノールに変換することができる。エタノールは、石油化学製品の6割程度を占めるエチレンと同様のC2 構造を有し、既存の化学プロセスによってエチレンモノマー又はブタジエンモノマーに変換することで、プラスチック等の誘起化学素材に誘導することができる。特性情報は、例えば、一酸化炭素ガス及び水素ガスからエタノールを生成する触媒(例えば、微生物)の活性度、生成されたエチレンの純度又は量などを含む。
生成部は、ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成する。機械学習は、例えば、深層学習、強化学習、深層強化学習などを用いることができる。例えば、強化学習を用いる場合、ガス情報を「状態」とし、制御情報を「行動」とし、特性情報に基づいて「報酬」を算出して、Q値又はQ関数(行動価値関数)の値を学習すればよい。
上述の構成により、ごみの成分や組成の変動が大きいために、ガス精製装置に入力されるガス(不純物ガス)の濃度が閾値を超えるような場合でも、ガス精製装置の出力側の特性情報が所要の値又は範囲内になるような制御情報を出力できるように学習モデルを学習させることができる。学習させた学習モデルを用いることにより、ごみの成分や組成が変動する場合でも、ガス精製装置の運転を最適化して、所望のエタノールを生成することができるので、可燃性ごみを工業原料として高効率で再利用することができる。
本実施の形態に係る制御装置において、前記生成部は、前記ガス情報取得部で取得したガス情報及び行動評価情報に基づいて前記制御情報を出力する行動出力部と、前記特性情報取得部で取得した特性情報に基づいて報酬を算出する報酬算出部と、前記報酬算出部で算出する報酬が大きくなるように前記行動評価情報を更新する更新部とを備える。
行動出力部は、ガス情報取得部で取得したガス情報及び行動評価情報に基づいて制御情報を出力する。行動評価情報は、強化学習において、行動の評価値であり、Q値又はQ関数(行動価値関数)と同意である。すなわち、行動出力部は、取得した状態での行動の評価値に基づいて、取得した状態において取り得る行動の中から行動を選択して出力する。
報酬算出部は、特性情報取得部で取得した特性情報に基づいて報酬を算出する。報酬の算出は、特性情報が所要の値又は範囲内になる場合、正(報酬あり)となるようにし、特性情報が所要の値にならない、又は範囲内にならない場合、0(報酬なし)又は負(ペナルティ)となるようにすることができる。
更新部は、報酬算出部で算出する報酬が大きくなるように行動評価情報を更新する。これにより、ごみの成分や組成の変動が大きいために、ガス精製装置に入力されるガス(不純物ガス)の濃度が閾値を超えるような場合でも、ガス精製装置の出力側の特性情報が所要の値又は範囲内になるような制御情報を出力できるように学習モデルを学習させることができる。
本実施の形態に係る制御装置は、前記更新部で更新した行動評価情報を記憶する記憶部を備える。
記憶部は、更新部で更新した行動評価情報を記憶する。記憶部に記憶した行動評価情報を読み出すことにより、学習済の学習モデルを再現することができる。
本実施の形態に係る制御装置において、前記ガス情報取得部は、不純物ガスの濃度を含むガス情報を取得する。
ガス情報取得部は、不純物ガスの濃度を含むガス情報を取得する。不純物ガスは、例えば、シアン化水素、ベンゼン、トルエン、エチルベンゼン、キシレン、ダイオキシンなどのガスを含むが、これらに限定されない。これにより、不純物ガスを除去することができ、ガス化炉からのガスに含まれる夾雑物質を徹底的に除去することが可能になる。
本実施の形態に係る制御装置において、前記特性情報取得部は、一酸化炭素ガス及び水素ガスの純度、エタノールの純度又は量、並びに一酸化炭素ガス及び水素ガスからエタノールを生成する触媒の活性度の少なくとも一つを含む特性情報を取得する。
特性情報取得部は、一酸化炭素ガス及び水素ガスの純度、エタノールの純度又は量、並びに一酸化炭素ガス及び水素ガスからエタノールを生成する触媒(例えば、微生物)の活性度の少なくとも一つを含む特性情報を取得する。これにより、特性情報が所要の値又は範囲内になるようにすることができる。
本実施の形態に係る制御装置において、前記制御情報取得部は、前記ガス精製装置のガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイムの少なくとも一つを含む制御情報を取得する。
制御情報取得部は、ガス精製装置のガス量、ガス温度及びガス湿度、並びにガス精製装置内の吸着装置の切替サイクルタイムの少なくとも一つを含む制御情報を取得する。ガス吸着部材は、吸着装置内に設けられ、不純物を吸着させて捕獲する部材である。切替サイクルタイムは、例えば、二つの吸着装置を交互に切り替えて使用する場合の一方の吸着装置の使用時間である。切替サイクルタイムの間に、使用していない吸着装置のガス吸着部材を脱着し、ガス吸着部材に付着した不純物を洗浄することができる。これにより、特性情報が所要の値又は範囲内になるようにガス精製装置の運転制御を行うことができる。
本実施の形態に係る制御装置は、ガス精製装置を制御する制御装置であって、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製する前記ガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習した学習モデルと、前記ガス化炉が変換したガスのガス情報を取得するガス情報取得部と、前記ガス情報取得部で取得したガス情報を前記学習モデルに入力して前記ガス精製装置を制御する制御情報を出力する出力部とを備える。
本実施の形態に係るコンピュータプログラムは、コンピュータに、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得する処理と、前記ガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習した学習モデルに、取得したガス情報を入力して前記ガス精製装置を制御する制御情報を出力する処理とを実行させる。
本発明の実施の形態に係る学習モデルは、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習してある。
本実施の形態に係る制御方法は、ガス精製装置を制御する制御方法であって、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報を取得し、前記ガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製する前記ガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習した学習モデルに、取得したガス情報を入力して前記ガス精製装置を制御する制御情報を出力する。
学習モデルは、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報、ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報、及びガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習されている。
ガス情報は、例えば、ガス化炉によって生成された不純物ガス(夾雑物質)の濃度を含む。なお、不純物ガスの濃度は、雑多なごみの成分・組成によって変動する。制御情報は、ガス精製装置を運転制御するための情報である。特性情報は、例えば、一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスからエタノールを生成する触媒(例えば、微生物)の活性度、生成されたエチレンの純度又は量などを含む。
学習モデルは、例えば、深層学習、強化学習、深層強化学習などを用いて学習されている。
ガス情報取得部は、ガス化炉が変換したガスのガス情報を取得する。ガス化炉は、ごみを低酸素状態で蒸し焼きして、分子レベル(例えば、一酸化炭素ガス及び水素ガスを含む)にまで分解することができる炉である。ガス情報は、例えば、ガス化炉によって生成された不純物ガス(夾雑物質)の濃度を含む。なお、不純物ガスの濃度は、雑多なごみの成分・組成によって変動する。
出力部は、ガス情報取得部で取得したガス情報を学習モデルに入力してガス精製装置を制御する制御情報を出力する。これにより、ごみの成分や組成が変動する場合でも、ガス精製装置の運転を最適化して、所望のエタノールを生成することができるので、可燃性ごみを工業原料として高効率で再利用することができる。
本実施の形態に係る制御装置は、前記出力部が出力した制御情報に基づいて前記ガス精製装置を制御する。
出力部が出力した制御情報に基づいてガス精製装置を制御する。これにより、ごみの成分や組成が変動する場合でも、ガス精製装置の運転を最適化して、所望のエタノールを生成することができるので、可燃性ごみを工業原料として高効率で再利用することができる。
本実施の形態に係る制御装置は、前記ガス精製装置が精製した精製ガスの情報を含む特性情報を取得する特性情報取得部と、前記特性情報取得部で取得した特性情報を記憶する記憶部とを備える。
特性情報取得部は、ガス精製装置が精製した精製ガスの情報を含む特性情報を取得し、記憶部は、取得した特性情報を記憶する。これにより、ごみの成分や組成が変動する場合に、ガス精製装置の運転を最適化した結果得られた特性情報を収集することができる。
本実施の形態に係る制御装置は、前記ガス情報取得部で取得したガス情報、前記出力部が出力した制御情報、及び前記特性情報取得部で取得した特性情報をサーバへ送信する送信部を備える。
送信部は、ガス情報取得部で取得したガス情報、出力部が出力した制御情報、及び特性情報取得部で取得した特性情報をサーバへ送信する。これにより、サーバでは、ごみの成分や組成が変動する場合に、ガス精製装置の運転をどのように制御すれば、所望の特性情報が得られかの情報を収集することができる。また、複数のごみ処理施設(プラント)それぞれの制御装置から同様の情報を送信することにより、サーバでは、各プラントにおいて、ガス精製装置の運転をどのように制御すれば、所望の特性情報が得られかの情報を収集することができる。
本実施の形態に係る制御装置は、前記ガス情報取得部で取得したガス情報、前記出力部が出力した制御情報、及び前記特性情報取得部で取得した特性情報に基づいて前記学習モデルを再学習させる学習処理部を備える。
学習処理部は、ガス情報取得部で取得したガス情報、出力部が出力した制御情報、及び特性情報取得部で取得した特性情報に基づいて学習モデルを再学習させる。これにより、ガス精製装置の運転をさらに最適化することができる。
本実施の形態に係る制御装置は、前記ガス精製装置内の吸着装置の使用履歴を取得する使用履歴取得部と、前記使用履歴取得部で取得した使用履歴を管理サーバへ送信する送信部と を備える。
使用履歴取得部は、ガス精製装置内の吸着装置の使用履歴を取得する。使用履歴は、例えば、累積使用時間、洗浄回数などを含む。
送信部は、使用履歴取得部で取得した使用履歴を管理サーバへ送信する。管理サーバでは、使用履歴に基づいて、吸着装置を交換するまでの残余使用回数、残余使用時間などを算出することにより、吸着装置の交換時期を推定することができる。また、複数のごみ処理施設(プラント)それぞれの制御装置から同様の情報を送信することにより、管理サーバでは、各プラントにおいて、ガス精製装置内の吸着装置の交換時期を推定することができる。
本実施の形態に係る制御装置は、前記ガス精製装置内の吸着装置の劣化度を取得する劣化度取得部を備え、前記送信部は、前記劣化度取得部で取得した劣化度を前記管理サーバへ送信する。
劣化度取得部は、ガス精製装置内の吸着装置の劣化度を取得する。劣化度は、例えば、ガス吸着部材を洗浄した後のガス吸着部材表面の色又は汚れ、所定のサイクルタイムにおいて吸着した不純物の量などにより判定することができる。
送信部は、劣化度取得部で取得した劣化度を管理サーバへ送信する。管理サーバでは、劣化度に基づいて、吸着装置の保守・点検、あるいは交換の要否を判定することができる。また、複数のごみ処理施設(プラント)それぞれの制御装置から同様の情報を送信することにより、管理サーバでは、各プラントにおいて、ガス精製装置内の吸着装置の保守・点検、あるいは交換の要否を判定することができる。
本実施の形態に係る制御装置は、前記ガス精製装置内の吸着装置の脱着操作の有無を取得する脱着操作取得部を備え、前記送信部は、前記脱着操作取得部で脱着操作ありを取得した場合、前記脱着操作があったことを前記管理サーバへ送信する。
脱着操作取得部は、ガス精製装置内の吸着装置の脱着操作の有無を取得する。吸着装置の脱着操作は、例えば、意図しない脱着操作とすることができる。
送信部は、脱着操作取得部で脱着操作ありを取得した場合、脱着操作があったことを管理サーバへ送信する。管理サーバでは、吸着装置の意図しない脱着操作の有無を判定することができるので、例えば、正規品でない吸着装置の装着を発見することができ、非正規品の装着を防止することができる。また、複数のごみ処理施設(プラント)それぞれの制御装置から同様の情報を送信することにより、管理サーバでは、各プラントにおいて、正規品でない吸着装置の装着を発見することができ、非正規品の装着を防止することができる。
本実施の形態に係る制御装置は、前記ガス精製装置で精製した一酸化炭素ガス及び水素ガスからエタノールを生成する微生物の状態に基づいて、前記微生物の活性度を判定する判定部を備える。
判定部は、ガス精製装置で精製した一酸化炭素ガス及び水素ガスからエタノールを生成する微生物の状態に基づいて、微生物の活性度を判定する。活性度は、例えば、微生物の反応速度、生存率などを含む。微生物の活性度は、微生物の状態を培養液層の外部からリアルタイムに監視して判定することができる。なお、微生物の活性度をオフラインで判定してもよい。これにより、例えば、微生物の活性度が低下した場合、栄養剤を投入して再度活性化することができ、エタノールの生成速度を高レベルで維持することができる。
本実施の形態に係るサーバは、複数のごみ処理用のプラントそれぞれから、プラントを識別する識別情報、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報、前記ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報、及び前記ガス精製装置が精製した精製ガスの情報を含む特性情報を収集する収集部と、前記収集部で収集したガス情報、制御情報及び特性情報を前記識別情報と関連付けて記憶する記憶部とを備える。
収集部は、複数のごみ処理用のプラントそれぞれから、プラントを識別する識別情報、収集されたごみをガスに変換するガス化炉が変換したガスのガス情報、ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報、及びガス精製装置が精製した精製ガスの情報を含む特性情報を収集する。
記憶部は、収集部で収集したガス情報、制御情報及び特性情報を識別情報と関連付けて記憶する。これにより、プラント毎に、ガス精製装置の運転を最適化するのに必要な情報を収集して記録することができる。
本実施の形態に係る管理サーバは、複数のごみ処理用のプラントそれぞれから、プラントを識別する識別情報、収集されたごみをガスに変換するガス化炉が変換したガスを精製するガス精製装置内の吸着装置の劣化度を収集する収集部と、前記収集部で収集した劣化度を前記識別情報と関連付けて記憶する記憶部とを備える。
収集部は、複数のごみ処理用のプラントそれぞれから、プラントを識別する識別情報、収集されたごみをガスに変換するガス化炉が変換したガスを精製するガス精製装置内の吸着装置の劣化度を収集する。
記憶部は、収集部で収集した劣化度を識別情報と関連付けて記憶する。これにより、プラント毎に、ガス精製装置内の吸着装置の劣化度を把握することができる。
なお、本実施の形態において、ごみの代替物として有機化合物及び/又は無機化合物を用いることができる。この場合、制御装置は、有機化合物及び/又は無機化合物をガスに変換するガス化炉が変換したガスのガス情報を取得するガス情報取得部と、ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報を取得する制御情報取得部と、ガス精製装置が精製した精製ガスの情報を含む特性情報を取得する特性情報取得部と、ガス情報、制御情報及び特性情報に基づき機械学習により学習モデルを生成する生成部とを備えることができる。また、制御装置は、有機化合物及び/又は無機化合物をガスに変換するガス化炉が変換したガスのガス情報、ガス化炉が変換したガスを精製するガス精製装置を制御する制御情報、及びガス精製装置が精製した精製ガスの情報を含む特性情報に基づいて学習した学習モデルと、ガス化炉が変換したガスのガス情報を取得するガス情報取得部と、ガス情報取得部で取得したガス情報を学習モデルに入力してガス精製装置を制御する制御情報を出力する出力部と備えることができる。
1 ネットワーク
10 ガス化炉
20 ガス精製装置
22、23 吸着装置
221、231 ガス吸着部材
26 運転制御部
261 ガス流量制御部
262 温度調整部
263 湿度調整部
264 吸着装置切替部
265 通信部
30 エタノール生成装置
50 制御装置
51 制御部
52 ガス情報取得部
53 特性情報取得部
54 通信部
55 記憶部
56 センサ情報取得部
57 記録媒体読取部
58 判定部
60 処理部
61 報酬算出部
62 行動選択部
63 行動評価部
200 管理サーバ
201 CPU
202 RAM
203 ROM
204 プラントDB
210 表示装置
300 学習サーバ
301 処理部
302 プラントDB

Claims (22)

  1. ガス精製装置を制御する制御装置であって、
    収集されたごみをガスに変換するガス化炉が変換したガスに含まれる不純物ガスの濃度をガス情報として取得するガス情報取得部と、
    前記ガス化炉が変換したガスを精製する前記ガス精製装置へ出力されるとともに前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイム制御情報として取得する制御情報取得部と、
    前記ガス精製装置が精製した一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスから生成されるエタノールの純度又は量特性情報として取得する特性情報取得部と、
    前記ガス情報によって表される状態前記制御情報によって表される行動及び前記特性情報に基づく報酬それぞれをパラメータとして用いる強化学習により、ある状態に対して選択可能な行動の中から一の行動を選択したときに得られる報酬が大きくなる行動を選択するための行動評価情報が学習された学習モデルを生成する生成部と
    を備える制御装置。
  2. 前記生成部は、
    前記行動評価情報に基づいて、前記ガス情報取得部で取得したガス情報に対して選択可能な制御情報の中から選択された制御情報を前記ガス精製装置へ出力する行動出力部と、
    前記行動出力部が出力した制御情報に基づく前記ガス精製装置の運転制御の結果、前記特性情報取得部で取得した特性情報が所要の値又は範囲内になる場合、報酬が大きい値となるように前記報酬を算出する報酬算出部と、
    前記報酬算出部で算出した報酬が大きくなるような制御情報を選択できるように前記行動評価情報を更新する更新部と
    を備え、
    前記更新部で前記行動評価情報を更新して前記学習モデルを生成する請求項1に記載の制御装置。
  3. 前記更新部で更新した行動評価情報を記憶する記憶部を備える請求項2に記載の制御装置。
  4. ガス精製装置を制御する制御装置であって、
    収集されたごみをガスに変換するガス化炉が変換したガスに含まれる不純物ガスの濃度であるガス情報によって表される状態
    前記ガス化炉が変換したガスを精製する前記ガス精製装置へ出力されるとともに前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイムである制御情報によって表される行動、及び
    前記ガス精製装置が精製した一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスから生成されるエタノールの純度又は量である特性情報に基づく報酬それぞれをパラメータとして用いる強化学習により学習され、ある状態に対して選択可能な行動の中から一の行動を選択したときに得られる報酬が大きくなる行動を選択するための行動評価情報が学習された学習モデルと、
    前記ガス化炉が変換したガスに含まれる不純物ガスの濃度をガス情報として取得するガス情報取得部と、
    前記ガス情報取得部で取得したガス情報を前記学習モデルに入力して前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイム制御情報として出力する出力部と
    を備える制御装置。
  5. 前記出力部が出力した制御情報に基づいて前記ガス精製装置を制御する請求項4に記載の制御装置。
  6. 前記ガス精製装置が精製した一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスから生成されるエタノールの純度又は量特性情報として取得する特性情報取得部と、
    前記特性情報取得部で取得した特性情報を記憶する記憶部と
    を備える請求項4又は請求項5に記載の制御装置。
  7. 前記ガス情報取得部で取得したガス情報、前記出力部が出力した制御情報、及び前記特性情報取得部で取得した特性情報をサーバへ送信する送信部を備える請求項6に記載の制御装置。
  8. 前記ガス情報取得部で取得したガス情報、前記出力部が出力した制御情報、及び前記特性情報取得部で取得した特性情報に基づいて前記学習モデルを再学習させる学習処理部を備える請求項6又は請求項7に記載の制御装置。
  9. 前記ガス精製装置内の吸着装置の使用履歴を取得する使用履歴取得部と、
    前記使用履歴取得部で取得した使用履歴を管理サーバへ送信する送信部と
    を備える請求項1から請求項8のいずれか一項に記載の制御装置。
  10. 前記ガス精製装置内の吸着装置の劣化度を取得する劣化度取得部を備え、
    前記送信部は、
    前記劣化度取得部で取得した劣化度を前記管理サーバへ送信する請求項9に記載の制御装置。
  11. 前記ガス精製装置内の吸着装置の脱着操作の有無を取得する脱着操作取得部を備え、
    前記送信部は、
    前記脱着操作取得部で脱着操作ありを取得した場合、前記脱着操作があったことを前記管理サーバへ送信する請求項9又は請求項10に記載の制御装置。
  12. 前記ガス精製装置で精製した一酸化炭素ガス及び水素ガスからエタノールを生成する微生物の状態に基づいて、前記微生物の活性度を判定する判定部を備える請求項1から請求項11のいずれか一項に記載の制御装置。
  13. 複数のごみ処理用のプラントそれぞれから、プラントを識別する識別情報、収集されたごみをガスに変換するガス化炉が変換したガスに含まれる不純物ガスの濃度であるガス情報、
    前記ガス化炉が変換したガスを精製するガス精製装置へ出力されるとともに前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイムである制御情報、及び
    前記ガス精製装置が精製した一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスから生成されるエタノールの純度又は量である特性情報を収集する収集部と、
    前記収集部で収集したガス情報によって表される状態、制御情報によって表される行動及び特性情報に基づく報酬それぞれをパラメータとして用いる強化学習により生成され、ある状態に対して選択可能な行動の中から一の行動を選択したときに得られる報酬が大きくなる行動を選択するための行動評価情報が学習された学習モデルと、
    前記収集部で収集したガス情報、制御情報及び特性情報を前記識別情報と関連付けて記憶する記憶部と
    を備えるサーバ。
  14. 請求項1から請求項12のいずれか一項に記載の制御装置と、管理サーバとを備える管理システムであって、
    前記管理サーバは、
    複数のごみ処理用のプラントそれぞれから、プラントを識別する識別情報、収集されたごみをガスに変換するガス化炉が変換したガスを精製するガス精製装置内の吸着装置の劣化度を収集する収集部と、
    前記収集部で収集した劣化度を前記識別情報と関連付けて記憶する記憶部と
    を備える管理システム。
  15. さらに表示装置を備え、
    前記吸着装置の劣化度を前記表示装置に表示する請求項14に記載の管理システム。
  16. 前記吸着装置の意図しない脱着操作があった場合、アラートを前記表示装置に表示する請求項15に記載の管理システム。
  17. 前記ガス精製装置が精製した一酸化炭素ガス及び水素ガスからエタノールを生成する触媒の活性度を前記表示装置に表示する請求項15又は請求項16に記載の管理システム。
  18. コンピュータに、
    収集されたごみをガスに変換するガス化炉が変換したガスに含まれる不純物ガスの濃度をガス情報として取得する処理と、
    前記ガス化炉が変換したガスを精製するガス精製装置へ出力されるとともに前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイム制御情報として取得する処理と、
    前記ガス精製装置が精製した一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスから生成されるエタノールの純度又は量特性情報として取得する処理と、
    前記ガス情報によって表される状態前記制御情報によって表される行動及び前記特性情報に基づく報酬それぞれをパラメータとして用いる強化学習により、ある状態に対して選択可能な行動の中から一の行動を選択したときに得られる報酬が大きくなる行動を選択するための行動評価情報が学習された学習モデルを生成する処理と
    を実行させるコンピュータプログラム。
  19. コンピュータに、
    収集されたごみをガスに変換するガス化炉が変換したガスに含まれる不純物ガスの濃度をガス情報として取得する処理と、
    前記ガス化炉が変換したガスに含まれる不純物ガスの濃度であるガス情報によって表される状態
    前記ガス化炉が変換したガスを精製するガス精製装置へ出力されるとともに前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイムである制御情報によって表される行動、及び
    前記ガス精製装置が精製した一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスから生成されるエタノールの純度又は量である特性情報に基づく報酬それぞれをパラメータとして用いる強化学習により生成され、ある状態に対して選択可能な行動の中から一の行動を選択したときに得られる報酬が大きくなる行動を選択するための行動評価情報が学習された学習モデルに、取得したガス情報を入力して前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイム制御情報として出力する処理と
    を実行させるコンピュータプログラム。
  20. 収集されたごみをガスに変換するガス化炉が変換したガスに含まれる不純物ガスの濃度であるガス情報によって表される状態
    前記ガス化炉が変換したガスを精製するガス精製装置へ出力されるとともに前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイムである制御情報によって表される行動、及び
    前記ガス精製装置が精製した一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスから生成されるエタノールの純度又は量である特性情報に基づく報酬それぞれをパラメータとして用いる強化学習により生成され、ある状態に対して選択可能な行動の中から一の行動を選択したときに得られる報酬が大きくなる行動を選択するための行動評価情報が学習された学習モデル。
  21. ガス精製装置を制御する制御方法であって、
    収集されたごみをガスに変換するガス化炉が変換したガスに含まれる不純物ガスの濃度をガス情報として取得し、
    前記ガス化炉が変換したガスを精製するガス精製装置へ出力されるとともに前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイム制御情報として取得し、
    前記ガス精製装置が精製した一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスから生成されるエタノールの純度又は量特性情報として取得し、
    前記ガス情報によって表される状態前記制御情報によって表される行動及び前記特性情報に基づく報酬それぞれをパラメータとして用いる強化学習により、ある状態に対して選択可能な行動の中から一の行動を選択したときに得られる報酬が大きくなる行動を選択するための行動評価情報が学習された学習モデルを生成する制御方法。
  22. ガス精製装置を制御する制御方法であって、
    収集されたごみをガスに変換するガス化炉が変換したガスに含まれる不純物ガスの濃度をガス情報として取得し、
    前記ガス化炉が変換したガスに含まれる不純物ガスの濃度であるガス情報によって表される状態
    前記ガス化炉が変換したガスを精製するガス精製装置へ出力されるとともに前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイムである制御情報によって表される行動、及び
    前記ガス精製装置が精製した一酸化炭素ガス及び水素ガスの純度、一酸化炭素ガス及び水素ガスから生成されるエタノールの純度又は量である特性情報に基づく報酬それぞれをパラメータとして用いる強化学習により生成され、ある状態に対して選択可能な行動の中から一の行動を選択したときに得られる報酬が大きくなる行動を選択するための行動評価情報が学習された学習モデルに、取得したガス情報を入力して前記ガス精製装置を制御するためのガス量、ガス温度及びガス湿度、並びに前記ガス精製装置内の吸着装置の切替サイクルタイム制御情報として出力する制御方法。
JP2018139784A 2018-07-25 2018-07-25 制御装置、サーバ、管理システム、コンピュータプログラム、学習モデル及び制御方法 Active JP6608010B1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018139784A JP6608010B1 (ja) 2018-07-25 2018-07-25 制御装置、サーバ、管理システム、コンピュータプログラム、学習モデル及び制御方法
CN201980041173.9A CN112352034A (zh) 2018-07-25 2019-06-24 控制装置、运行控制装置、服务器、管理服务器、计算机程序、学习模式、控制方法以及运行控制方法
PCT/JP2019/024881 WO2020021930A1 (ja) 2018-07-25 2019-06-24 制御装置、運転制御装置、サーバ、管理サーバ、コンピュータプログラム、学習モデル、制御方法及び運転制御方法
EP19839911.5A EP3828251A4 (en) 2018-07-25 2019-06-24 CONTROL DEVICE, OPERATION CONTROL DEVICE, SERVER, MANAGEMENT SERVER, COMPUTER PROGRAM, LEARNING MODEL, CONTROL METHOD AND OPERATION CONTROL METHOD
US17/251,437 US20210264269A1 (en) 2018-07-25 2019-06-24 Control Device and Control Method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018139784A JP6608010B1 (ja) 2018-07-25 2018-07-25 制御装置、サーバ、管理システム、コンピュータプログラム、学習モデル及び制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019164591A Division JP2020063429A (ja) 2019-09-10 2019-09-10 制御装置、サーバ、管理サーバ、コンピュータプログラム、学習モデル及び制御方法

Publications (2)

Publication Number Publication Date
JP6608010B1 true JP6608010B1 (ja) 2019-11-20
JP2020015821A JP2020015821A (ja) 2020-01-30

Family

ID=68613368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018139784A Active JP6608010B1 (ja) 2018-07-25 2018-07-25 制御装置、サーバ、管理システム、コンピュータプログラム、学習モデル及び制御方法

Country Status (5)

Country Link
US (1) US20210264269A1 (ja)
EP (1) EP3828251A4 (ja)
JP (1) JP6608010B1 (ja)
CN (1) CN112352034A (ja)
WO (1) WO2020021930A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117521725A (zh) * 2016-11-04 2024-02-06 渊慧科技有限公司 加强学习系统
JP7409343B2 (ja) * 2021-03-17 2024-01-09 横河電機株式会社 コントローラ、制御方法及び制御プログラム
US20230129189A1 (en) * 2021-10-27 2023-04-27 Yokogawa Electric Corporation Apparatus, method, and computer readable medium
CN114621794B (zh) * 2022-05-16 2022-08-19 烟台尚美丽家新能源有限公司 一种生物质气化炉多能耦合智慧联供生产系统及方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11353295A (ja) * 1998-06-09 1999-12-24 Fujitsu Ltd 内部モデル学習方法及び装置
JP4441296B2 (ja) * 2004-03-16 2010-03-31 日本電信電話株式会社 オンライン入出力関係学習方法
JP2011056392A (ja) 2009-09-09 2011-03-24 Takuma Co Ltd ごみ処理施設及びごみ処理方法
US8163809B2 (en) * 2009-11-30 2012-04-24 L'air Liquide Societe Anonyme Pour L'etude Et L'exploitation Des Procedes Georges Claude Process for decreasing or eliminating unwanted hydrocarbon and oxygenate products caused by Fisher Tropsch Synthesis reactions in a syngas treatment unit
DE102011075337A1 (de) * 2011-05-05 2012-11-08 Siemens Ag Verfahren und Vorrichtung zur Ansteuerung einer Anlage
US11028449B2 (en) * 2013-12-31 2021-06-08 Biota Technology, Inc. Microbiome based systems, apparatus and methods for monitoring and controlling industrial processes and systems
JP6130817B2 (ja) * 2014-09-16 2017-05-17 積水化学工業株式会社 有機物質を製造する装置、有機物質を製造する方法、合成ガスの製造方法及び合成ガスの製造装置
JPWO2017159614A1 (ja) * 2016-03-14 2019-01-10 オムロン株式会社 学習サービス提供装置
JP6097895B1 (ja) * 2016-06-09 2017-03-15 積水化学工業株式会社 有機物質の製造システム及び有機物質の製造方法
CN109563420A (zh) * 2016-06-21 2019-04-02 积水化学工业株式会社 有机物质的制造装置和有机物质的制造方法
RU2649792C2 (ru) * 2016-09-09 2018-04-04 Общество С Ограниченной Ответственностью "Яндекс" Способ и система обучения алгоритма машинного обучения
JP7015108B2 (ja) * 2016-12-07 2022-02-02 三菱重工業株式会社 運用支援装置、機器運用システム、運用方法、制御方法及びプログラム

Also Published As

Publication number Publication date
US20210264269A1 (en) 2021-08-26
EP3828251A1 (en) 2021-06-02
EP3828251A4 (en) 2022-04-06
JP2020015821A (ja) 2020-01-30
WO2020021930A1 (ja) 2020-01-30
CN112352034A (zh) 2021-02-09

Similar Documents

Publication Publication Date Title
JP6608010B1 (ja) 制御装置、サーバ、管理システム、コンピュータプログラム、学習モデル及び制御方法
Mazhar et al. Remaining life estimation of used components in consumer products: Life cycle data analysis by Weibull and artificial neural networks
JP4347864B2 (ja) 水処理施設の管理システム
CN114297954A (zh) 一种基于污水处理厂的大数据智能分析数字管控平台
KR102085122B1 (ko) 빅데이터 기반 인공지능을 이용한 수돗물 실시간 스마트 관리 시스템
CN110428018A (zh) 一种全链路监控系统中的异常预测方法及装置
US20200331783A1 (en) Decision support system and method for watertreatment
Bouchard et al. Multicriteria decision analysis for the selection of a small drinking water treatment system
JP2020063429A (ja) 制御装置、サーバ、管理サーバ、コンピュータプログラム、学習モデル及び制御方法
JP2004178492A (ja) 強化学習法を用いたプラントシミュレーション方法
CN110135057A (zh) 基于多层特征选择的固废焚烧过程二噁英排放浓度软测量方法
CN111457392B (zh) 城市生活垃圾焚烧过程风量智能设定方法
Rasay et al. Integration of the decisions associated with maintenance management and process control for a series production system
JP2011189285A (ja) 排水処理プロセス知識蓄積および制御支援装置
CN115358152B (zh) 垃圾焚烧气体控制与反馈调节系统和方法
JP2006095440A (ja) 下水処理場の運転管理システム
CN113408800B (zh) 一种跨境可再生资源工业产品质量预测方法及系统
JP6963475B2 (ja) 稼働モニタリング装置及びプログラム
CN106226408A (zh) 一种汽油吸附脱硫装置的吸附剂的循环速率计算方法
CN111675257B (zh) 一种污水处理厂的远程集控方法与系统
Chan et al. A pretreatment method of wastewater based on artificial intelligence and fuzzy neural network system
CN110327739B (zh) 城市污染治理与在线监控综合管理平台
CN111798103B (zh) 一种阳极炉能效实时评估方法及系统
WO2023210632A1 (ja) 生成装置
JP2021137748A (ja) 水処理施設の運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181228

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20181228

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190514

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190710

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190910

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20190910

C876 Explanation why request for accelerated appeal examination is justified

Free format text: JAPANESE INTERMEDIATE CODE: C876

Effective date: 20190910

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20190917

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20190924

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191001

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191021

R150 Certificate of patent or registration of utility model

Ref document number: 6608010

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150