JP6731680B2 - 情報処理装置、情報処理プログラム、および情報処理方法 - Google Patents

情報処理装置、情報処理プログラム、および情報処理方法 Download PDF

Info

Publication number
JP6731680B2
JP6731680B2 JP2019015808A JP2019015808A JP6731680B2 JP 6731680 B2 JP6731680 B2 JP 6731680B2 JP 2019015808 A JP2019015808 A JP 2019015808A JP 2019015808 A JP2019015808 A JP 2019015808A JP 6731680 B2 JP6731680 B2 JP 6731680B2
Authority
JP
Japan
Prior art keywords
waste
identification
type
pit
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019015808A
Other languages
English (en)
Other versions
JP2020034267A (ja
Inventor
亜希子 横山
亜希子 横山
河内 隆宏
隆宏 河内
春幸 都丸
春幸 都丸
俊之 梅澤
俊之 梅澤
隼也 町田
隼也 町田
柳原 尚史
尚史 柳原
平佳 小松
平佳 小松
圭祐 笹田
圭祐 笹田
大志 阿部
大志 阿部
繁隆 本居
繁隆 本居
和樹 市來
和樹 市來
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ebara Environmental Plant Co Ltd
Original Assignee
Ebara Environmental Plant Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ebara Environmental Plant Co Ltd filed Critical Ebara Environmental Plant Co Ltd
Priority to KR1020217008107A priority Critical patent/KR20210048515A/ko
Priority to EP19852391.2A priority patent/EP3842693B1/en
Priority to SG11202101673RA priority patent/SG11202101673RA/en
Priority to CN201980054429.XA priority patent/CN112639361B/zh
Priority to PCT/JP2019/032360 priority patent/WO2020040110A1/ja
Priority to TW108146318A priority patent/TWI797402B/zh
Publication of JP2020034267A publication Critical patent/JP2020034267A/ja
Application granted granted Critical
Publication of JP6731680B2 publication Critical patent/JP6731680B2/ja
Priority to PH12021550370A priority patent/PH12021550370A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F23COMBUSTION APPARATUS; COMBUSTION PROCESSES
    • F23GCREMATION FURNACES; CONSUMING WASTE PRODUCTS BY COMBUSTION
    • F23G5/00Incineration of waste; Incinerator constructions; Details, accessories or control therefor
    • F23G5/44Details; Accessories
    • F23G5/442Waste feed arrangements
    • F23G5/444Waste feed arrangements for solid waste
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F23COMBUSTION APPARATUS; COMBUSTION PROCESSES
    • F23GCREMATION FURNACES; CONSUMING WASTE PRODUCTS BY COMBUSTION
    • F23G5/00Incineration of waste; Incinerator constructions; Details, accessories or control therefor
    • F23G5/50Control or safety arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F23COMBUSTION APPARATUS; COMBUSTION PROCESSES
    • F23GCREMATION FURNACES; CONSUMING WASTE PRODUCTS BY COMBUSTION
    • F23G2900/00Special features of, or arrangements for incinerators
    • F23G2900/55Controlling; Monitoring or measuring
    • F23G2900/55007Sensors arranged in waste loading zone, e.g. feed hopper level
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F23COMBUSTION APPARATUS; COMBUSTION PROCESSES
    • F23GCREMATION FURNACES; CONSUMING WASTE PRODUCTS BY COMBUSTION
    • F23G2900/00Special features of, or arrangements for incinerators
    • F23G2900/55Controlling; Monitoring or measuring
    • F23G2900/55011Detecting the properties of waste to be incinerated, e.g. heating value, density
    • FMECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F23COMBUSTION APPARATUS; COMBUSTION PROCESSES
    • F23NREGULATING OR CONTROLLING COMBUSTION
    • F23N2223/00Signal processing; Details thereof
    • F23N2223/48Learning / Adaptive control

Description

本発明は、廃棄物の種類を識別する情報処理装置、情報処理プログラム、および情報処理方法に関する。
従来、廃棄物処理プラントでは、家庭ごみや粗大破砕ごみ、剪定枝、汚泥など、質の異なる様々な種類の廃棄物がごみピット内に投入される。これらの様々な種類の廃棄物はごみピット内に貯留されたのち一緒に焼却炉に投入され、焼却炉内で処理される。焼却炉に投入される廃棄物の質は、当該廃棄物に含まれる各種廃棄物の割合により決まり、これが燃焼に影響する。燃焼を安定化させるために、ごみピット内ではクレーンによる廃棄物の攪拌を行い、廃棄物の質の均一化を図っている。
しかしながら、焼却炉内に投入される廃棄物の中に、たとえば粗大破砕ごみや汚泥などの廃棄物が一定量以上含まれていると、焼却炉内部の温度が急変し、ダイオキシンなどの有害なガスや物質が発生して、周辺環境へ悪影響を与える可能性がある。また、燃焼状態に影響を与える廃棄物だけでなく、廃棄物処理プラントに関わる各機器のトラブルの発生要因となる廃棄物もある。たとえば、焼却炉内に投入される廃棄物の中に剪定枝などが多く含まれていると、焼却炉内へ廃棄物を供給するホッパでの詰まりを起こす原因となる。
一方、一般ごみなどの廃棄物は、基本的に袋に入った状態でごみピット内に投入され、クレーンによる攪拌が行われるが、破袋度が低い場合、すなわちごみ袋の破れ具合が小さく、ごみ袋の中に廃棄物が多く残っている場合には、燃焼状態に影響を与えるなど、ごみ袋の状態も燃焼の安定性に寄与していることが経験的に知られている。
そこで、たとえば特許文献1では、ごみ処理工場用自動クレーンの制御装置による自動クレーンの運転方法において、ごみピット内に投入される一般ごみと異質ごみとを色調により識別し、識別結果に基づいてクレーンを制御することにより、廃棄物の質の均一化を図ることが開示されている。
また、特許文献2では、ごみ攪拌状態検出装置およびごみ攪拌状態検出方法において、撮像された画像の輝度値に基づいて、ごみの攪拌状態、つまりごみ袋の破れ具合を検出することが開示されている。
特開2007−126246号公報 特開2015−124955号公報
しかしながら、特許文献1のごみ処理工場用自動クレーンの制御装置による自動クレーンの運転方法では、一般ごみと異質ごみとを色調により区別しているが、単純に色調だけで廃棄物の種類を識別するのは困難であり、たとえば、粗大破砕ごみが多少混じっていても全体として一般ごみと判断する可能性がある。そのため、燃焼状態に影響を与える異質な廃棄物や各機器のトラブル発生要因となる廃棄物を、焼却炉内に一定量以上投入してしまう危険性があった。
また、特許文献2のごみ攪拌状態検出装置およびごみ攪拌状態検出方法では、輝度値によりごみ袋の破れ具合を検出しているが、この方法ではごみ袋しか検知することができない。実際のごみピットには、ごみ袋以外にも剪定枝や布団など様々な種類の廃棄物が投入される場合があるため、そのような実際のごみピットに対して上記方法を適用することは困難であった。
本発明は、以上のような点を考慮してなされたものでる。本発明の目的は、ごみピット内の廃棄物の種類を識別できる情報処理装置、情報処理プログラムおよび情報処理方法を提供することにある。
本発明の第1の態様に係る情報処理装置は、
廃棄物が貯留されるごみピット内の映像を撮像することにより得られる過去の画像データに前記廃棄物の種類がラベリングされた教師データを学習済みの識別アルゴリズムを用いて、前記ごみピット内の新たな画像データを入力として前記ごみピット内に貯留されている廃棄物の種類を識別する種類識別部を備える。
本発明の第1の態様に係る情報処理装置は、
廃棄物が貯留されるごみピット内を撮像した過去の画像データに前記廃棄物の種類がラベリングされた教師データを学習することにより、前記識別アルゴリズムを生成する識別アルゴリズム生成部をさらに備えてもよい。
このような態様によれば、ごみピット内に貯留されている廃棄物の種類を、ごみピット内の映像を撮像することにより得られる画像データを入力として、機械学習により生成された学習済みの識別アルゴリズムを利用して識別することにより、一定量以上投入すると燃焼状態へ影響を与える廃棄物や各機器のトラブルの要因となる廃棄物を識別することができる。これにより、そのような特殊な廃棄物の一定量以上の誤投入を防いで、燃焼状態および各機器に影響を与えることなく安定した処理が可能となる。
本発明の第2の態様に係る情報処理装置は、第1の態様に係る情報処理装置であって、
前記識別アルゴリズムは、線形回帰、ボルツマンマシン、ニューラルネットワーク、サポートベクターマシン、ベイジアンネットワーク、スパース回帰、決定木、ランダムフォレストを用いた統計的推定、強化学習、深層学習、のうちの1つまたは2つ以上を含む。
本発明の第3の態様に係る情報処理装置は、第1または2の態様に係る情報処理装置であって、
前記画像データは、RGBカメラにより撮像された廃棄物の形状および色彩画像データ、近赤外線カメラにより撮像された廃棄物の近赤外線画像データ、3DカメラまたはRGB−Dカメラにより撮像された廃棄物の3次元画像データ、のうちの1つまたは2つ以上を含む。
本発明の第4の態様に係る情報処理装置は、第1〜3のいずれかの態様に係る情報処理装置であって、
前記廃棄物の種類は、ごみ袋未破袋ごみ、紙ごみ、剪定枝、布団、汚泥、粗大破砕ごみ、段ボール、麻袋、紙袋、底ごみ、のうちの1つまたは2つ以上を含む。
本発明の第5の態様に係る情報処理装置は、第1〜4のいずれかの態様に係る情報処理装置であって、
前記種類識別部の識別結果に基づいて廃棄物処理プラントの制御を行うプラント制御部と、
をさらに備える。
本発明の第6の態様に係る情報処理装置は、第5の態様に係る情報処理装置であって、
前記プラント制御部は、前記廃棄物の攪拌または搬送を行うクレーンを制御するクレーン制御装置に前記種類識別部の識別結果を送信するクレーン制御部、前記廃棄物の燃焼を制御する燃焼制御装置に前記種類識別部の識別結果を送信する燃焼制御部、のうちの一方または両方を含む。
本発明の第7の態様に係る情報処理装置は、第1〜6のいずれかの態様に係る情報処理装置であって、
前記識別アルゴリズムは、前記ごみピット内の映像を撮像することにより得られる画像データに前記廃棄物の種類がラベリングされるとともに前記廃棄物以外の識別対象物が種類別にラベリングされた教師データを学習済みであり、
前記種類識別部は、前記ごみピット内の新たな画像データを入力として前記識別アルゴリズムを利用して前記ごみピット内に貯留されている廃棄物の種類とともに廃棄物以外の識別対象物の種類を識別する。
本件発明者らが実際に検証したところ、このような態様によって、廃棄物の識別精度を顕著に向上できることが確認された。これは、本件発明者らの検討によれば、種類識別部が、たとえば、ごみピットの側壁に対する判断に迷って汚泥として識別するなど、廃棄物以外の識別対象物に対する判断に迷って何らかの廃棄物として識別してしまうことを抑制できるためであると考えられる。
本発明の第8の態様に係る情報処理装置は、第7の態様に係る情報処理装置であって、
前記廃棄物以外の識別対象物の種類は、廃棄物処理プラントの梁、ごみピットの側壁、ごみピット内に貯留されている廃棄物の山の崖、前記廃棄物の攪拌または搬送を行うクレーン、のうちの1つまたは2つ以上を含む。
本発明の第9の態様に係る情報処理装置は、第7の態様に係る情報処理装置であって、
前記廃棄物以外の識別対象物の種類は、廃棄物処理プラントの梁、ごみピットの側壁、ごみピット内に貯留されている廃棄物の山の崖、前記廃棄物の攪拌または搬送を行うクレーン、廃棄物処理プラントの壁、柱、床、窓、天井、扉、階段、ガーダー、歩廊、ごみピットの仕切り壁、ごみ投入ホッパ、搬入扉、作業員、搬入車両、のうちの1つまたは2つ以上を含む。
本発明の第10の態様に係る情報処理装置は、第1〜9のいずれかの態様に係る情報処理装置であって、
前記種類識別部の識別結果に基づいて前記ごみピット内へ投入された異常物を検知する異物投入検知部と、
をさらに備える。
本発明の第11の態様に係る情報処理装置は、第10の態様に係る情報処理装置であって、
前記異物投入検知部は、前記廃棄物が貯留されるごみピット内に投入された異常物を検知する異物検知装置に前記種類識別部の識別結果を送信する。
本発明の第12の態様に係る情報処理装置は、第1〜11のいずれかの態様に係る情報処理装置であって、
前記種類識別部の識別結果に基づいて前記ごみピット内への作業員または搬送車両の転落を検知する転落検知部と、
をさらに備える。
本発明の第13の態様に係る情報処理装置は、第12の態様に係る情報処理装置であって、
前記転落検知部は、前記廃棄物が貯留されるごみピット内に作業員や搬入車両が存在することを検知する転落検知装置に前記種類識別部の識別結果を送信する。
本発明の第14の態様に係る情報処理装置は、第1〜13のいずれかの態様に係る情報処理装置であって、
前記廃棄物の種類は、ごみ袋未破袋ごみ、紙ごみ、剪定枝、布団、汚泥、粗大破砕ごみ、段ボール、麻袋、紙袋、底ごみ、木屑、繊維ごみ、衣類ごみ、プラスチックごみ、動物性残渣、動物死体、厨芥ごみ、草木、土、医療ごみ、焼却灰、自転車、たんす、ベッド、棚、机、椅子、農業系ビニール類、ペットボトル、発泡スチロール、肉骨粉、農作物、陶器、ガラスくず、金属くず、がれき類、コンクリートくず、畳、竹、わら、活性炭、のうちの1つまたは2つ以上を含む。
本発明の第15の態様に係る情報処理プログラムは、
コンピュータを、
廃棄物が貯留されるごみピット内の映像を撮像することにより得られる過去の画像データに前記廃棄物の種類がラベリングされた教師データを学習済みの識別アルゴリズムを用いて、前記ごみピット内の新たな画像データを入力として前記ごみピット内に貯留されている廃棄物の種類を識別する種類識別部として機能させる。
本発明の第15の態様に係る情報処理プログラムは、
前記コンピュータを、さらに、
廃棄物が貯留されるごみピット内を撮像した過去の画像データに前記廃棄物の種類がラベリングされた教師データを学習することにより、前記識別アルゴリズムを生成する識別アルゴリズム生成部として機能させてもよい。
本発明の第16の態様に係る情報処理方法は、
廃棄物が貯留されるごみピット内の映像を撮像することにより得られる過去の画像データに前記廃棄物の種類がラベリングされた教師データを学習済みの識別アルゴリズムを用いて、前記ごみピット内の新たな画像データを入力として前記ごみピット内に貯留されている廃棄物の種類を識別するステップを含む。
本発明の第16の態様に係る情報処理方法は、
廃棄物が貯留されるごみピット内を撮像した過去の画像データに前記廃棄物の種類がラベリングされた教師データを学習することにより、前記識別アルゴリズムを生成するステップをさらに含んでもよい。
本発明の第17の態様に係る情報処理装置は、
廃棄物が貯留される廃棄物貯留場所内の映像を撮像することにより得られる過去の画像データに前記廃棄物の種類がラベリングされた教師データを学習済みの識別アルゴリズムを用いて、前記廃棄物貯留場所内の新たな画像データを入力として前記廃棄物貯留場所内に貯留されている廃棄物の種類を識別する種類識別部を備える。
本発明の第17の態様に係る情報処理装置は、
廃棄物が貯留される廃棄物貯留場所内を撮像した過去の画像データに前記廃棄物の種類がラベリングされた教師データを学習することにより、前記識別アルゴリズムを生成する識別アルゴリズム生成部をさらに備えてもよい。
本発明の第18の態様に係る情報処理プログラムは、
コンピュータを、
廃棄物が貯留される廃棄物貯留場所内の映像を撮像することにより得られる過去の画像データに前記廃棄物の種類がラベリングされた教師データを学習済みの識別アルゴリズムを用いて、前記廃棄物貯留場所内の新たな画像データを入力として前記廃棄物貯留場所内に貯留されている廃棄物の種類を識別する種類識別部として機能させる。
本発明の第18の態様に係る情報処理プログラムは、
前記コンピュータを、さらに、
廃棄物が貯留される廃棄物貯留場所内を撮像した過去の画像データに前記廃棄物の種類がラベリングされた教師データを学習することにより、前記識別アルゴリズムを生成する識別アルゴリズム生成部として機能させてもよい。
本発明の第19の態様に係る情報処理方法は、
廃棄物が貯留される廃棄物貯留場所内の映像を撮像することにより得られる過去の画像データに前記廃棄物の種類がラベリングされた教師データを学習済みの識別アルゴリズムを用いて、前記廃棄物貯留場所内の新たな画像データを入力として前記廃棄物貯留場所内に貯留されている廃棄物の種類を識別するステップを含む。
本発明の第19の態様に係る情報処理方法は、
廃棄物が貯留される廃棄物貯留場所内を撮像した過去の画像データに前記廃棄物の種類がラベリングされた教師データを学習することにより、前記識別アルゴリズムを生成するステップをさらに含んでもよい。
本発明によれば、ごみピット内の廃棄物の種類を識別できる。
図1は、一実施の形態に係る廃棄物処理プラントの構成を示す概略図である。 図2は、一実施の形態に係る情報処理装置の構成を示すブロック図である。 図3は、一実施の形態に係る情報処理装置による情報処理方法の一例を示すフローチャートである。 図4は、ごみピット内の映像を撮像することにより得られる画像データの一例を示す図である。 図5は、ごみピット内の映像を撮像することにより得られる画像データに廃棄物および廃棄物以外の識別対象物の種類がラベリングされた教師データの一例を示す図である。 図6は、ごみピット内の映像を撮像することにより得られる画像データに種類識別部による識別結果が重ね合わされて表示されたデータの一例を示す図である。 図7は、ごみピット内の廃棄物の種類の比率を領域毎に表示するマップである。
以下に、添付の図面を参照して、本発明の実施の形態を詳細に説明する。なお、以下の説明および以下の説明で用いる図面では、同一に構成され得る部分について、同一の符号を用いるとともに、重複する説明を省略する。
図1は、一実施の形態に係る廃棄物処理プラント100の構成を示す概略図である。
図1に示すように、廃棄物処理プラント100は、廃棄物を積載する搬送車両(ごみ収集車)22が停車するプラットホーム21と、プラットホーム21から投入される廃棄物が貯留されるごみピット3と、ごみピット3内に貯留される廃棄物を攪拌および搬送するクレーン5と、クレーン5により搬送される廃棄物が投入されるホッパ4と、ホッパ4から投入された廃棄物を焼却する焼却炉1と、焼却炉1内で生じる排ガスから排熱を回収する排熱ボイラ2と、を備えている。焼却炉1の種類は、図1に示すようなストーカ炉に限られるものではなく、流動炉(流動床炉ともいう)も含まれる。また、ごみピット3の構造は、図1に示すような1段ピットに限られるものであなく、2段ピットも含まれる。また、廃棄物処理プラント100には、クレーン5の動作を制御するクレーン制御装置50と、焼却炉1内での廃棄物の燃焼を制御する燃焼制御装置20とが設けられている。
搬送車両22に積載された状態で搬入される廃棄物は、プラットホーム21からごみピット3内へと投入され、ごみピット3内にて貯留される。ごみピット3内に貯留される廃棄物は、クレーン5によって攪拌されるとともに、クレーン5によってホッパ4へと搬送され、ホッパ4を介して焼却炉1内部へと投入され、焼却炉1内部にて焼却されて処理される。
図1に示すように、廃棄物処理プラント100には、ごみピット3内の映像を撮像する撮像装置6と、ごみピット3内の廃棄物の種類を識別する情報処理装置10とが設けられている。
撮像装置6は、ごみピット3の上方に配置され、図示された例ではクレーン5のレールに固定されており、ごみピット3の上方からごみピット3内に貯留される廃棄物を撮像できるようになっている。図4は、撮像装置6によってごみピット3内の映像を撮像することにより得られる画像データの一例を示す図である。
撮像装置6は、撮像結果として廃棄物の形状および色彩画像データを出力するRGBカメラであってもよいし、撮像結果として廃棄物の近赤外線画像データを出力する近赤外線カメラであってもよいし、撮像結果として廃棄物の3次元画像データを撮像する3DカメラまたはRGB−Dカメラであってもよいし、これらのうちの2つ以上の組み合わせであってもよい。
次に、ごみピット3内の廃棄物の種類を識別する情報処理装置10の構成について説明する。図2は、情報処理装置10の構成を示すブロック図である。
図2に示すように、情報処理装置10は、制御部11と、記憶部12と、通信部13とを有している。各部は、バスを介して互いに通信可能に接続されている。
このうち通信部13は、撮像装置6、クレーン制御装置50および燃焼制御装置20の各装置と情報処理装置10との間の通信インターフェースである。通信部13は、撮像装置6、クレーン制御装置50および燃焼制御装置20の各装置と情報処理装置10との間で情報を送受信する。
記憶部12は、たとえばハードディスク等の固定型データストレージである。記憶部12には、制御部11が取り扱う各種データが記憶される。また、記憶部12には、後述する識別アルゴリズム生成部11aにより生成される識別アルゴリズム12aと、後述する画像データ取得部11bにより取得された画像データ12bとが記憶される。
制御部11は、情報処理装置10の各種処理を行う制御手段である。図2に示すように、制御部11は、識別アルゴリズム生成部11aと、画像データ取得部11bと、種類識別部11cと、プラント制御部11dと、転落検知部11eと、異物投入検知部11fと、を有している。これらの各部は、情報処理装置10内のプロセッサが所定のプログラムを実行することにより実現されてもよいし、ハードウェアで実装されてもよい。
識別アルゴリズム生成部11aは、廃棄物が貯留されるごみピット内の映像を撮像することにより得られる過去の画像データに廃棄物の種類がラベリングされた教師データを学習することにより、ごみピット内の新たな画像データを入力として廃棄物の種類を識別する学習済みの識別アルゴリズム12aを生成する。
識別アルゴリズム生成部11aは、ごみピット内の過去の画像データに廃棄物の種類がラベリングされるとともに廃棄物以外の識別対象物が種類別にラベリングされた教師データを学習することにより、ごみピット内の過去の画像データを入力として廃棄物の種類に加えて廃棄物以外の識別対象物の種類を識別する学習済みの識別アルゴリズム12aを生成してもよい。
識別アルゴリズム12aは、具体的には、たとえば、線形回帰、ボルツマンマシン、ニューラルネットワーク、サポートベクターマシン、ベイジアンネットワーク、スパース回帰、決定木、ランダムフォレストを用いた統計的推定、強化学習、深層学習、のうちの1つまたは2つ以上を含んでいる。
教師データは、たとえば、廃棄物処理プラント100の運転を行う熟練運転員が、ごみピット3内の映像を撮像することにより得られる画像データに対して、廃棄物および廃棄物以外の識別対象物を目視で識別して種類別にラベリングすることにより、作成される。廃棄物および廃棄物以外の識別対象物の種類は、たとえば、種類別のレイヤーとして画像データに重ね合わされた状態でラベリングされる。
教師データにラベリングされる廃棄物の種類は、ごみ袋未破袋ごみ、紙ごみ、剪定枝、布団、汚泥、粗大破砕ごみ、段ボール、麻袋、紙袋、底ごみ(ごみピット3内の底付近に存在し上方の廃棄物に圧縮され水分含有量が多いごみのこと)、のうちの1つまたは2つ以上を含んでいてもよい。また、教師データにラベリングされる廃棄物の種類は、ごみピット3内に入ってきてほしくないけれど入ってくる可能性がある予定外の廃棄物(異常物)を含んでいてもよい。ここで、異常物としては、たとえば、焼却してはいけないもの、具体的には、たとえば、蛍光灯、水銀混入ごみ、ボンベや缶、油タンクなどの爆発物などが挙げられる。また、教師データにラベリングされる廃棄物の種類は、木屑、繊維ごみ、衣類ごみ、プラスチックごみ、動物性残渣、動物死体、厨芥ごみ、草木、土、医療ごみ、焼却灰、自転車、たんす、ベッド、棚、机、椅子、農業系ビニール類、ペットボトル、発泡スチロール、肉骨粉、農作物、陶器、ガラスくず、金属くず、がれき類、コンクリートくず、畳、竹、わら、活性炭のうちの1つまたは2つ以上を含んでいてもよい。
教師データにラベリングされる廃棄物以外の識別対象物の種類は、廃棄物処理プラント100の梁、ごみピット3の側壁、ごみピット3内に貯留されている廃棄物の山の崖(廃棄物の山の崖にあたり廃棄物の種類が目視で識別不能な程度まで暗くなっている部分)、前記廃棄物の攪拌または搬送を行うクレーン5、のうちの1つまたは2つ以上を含んでいてもよい。また、教師データにラベリングされる廃棄物以外の識別対象物の種類は、作業員、搬入車両のうちの一方または両方を含んでいてもよい。また、教師データにラベリングされる廃棄物以外の識別対象物の種類は、廃棄物処理プラント100の壁、柱、床、窓、天井、扉、階段、ガーダー(クレーン5を吊り下げて移動する構造体)、歩廊、ごみピットの仕切り壁、ごみ投入ホッパ、搬入扉、作業員、搬入車両、のうちの1つまたは2つ以上を含んでいてもよい。
図5は、ごみピット内の映像を撮像することにより得られる画像データに廃棄物および廃棄物以外の識別対象物の種類がラベリングされた教師データの一例を示す図である。図5に示す例では、ごみピット内の映像を撮像することにより得られる画像データに、廃棄物として未破袋ごみ、剪定枝、布団がそれぞれ種類別にラベリングされると共に、廃棄物以外の識別対象物としてクレーン5、廃棄物の山の崖、ごみピット3の側壁、プラント100の床がそれぞれ種類別にラベリングされている。
画像データ取得部11bは、ごみピット3内の映像を撮像することにより得られる新たな画像データを撮像装置6から取得する。画像データ取得部11bにより取得された新たな画像データは、記憶部12に記憶される。
種類識別部11cは、画像データ取得部11bにより取得された新たな画像データを入力として、識別アルゴリズム生成部11aにより生成された学習済みの識別アルゴリズム12aを利用して、ごみピット3内に貯留されている廃棄物の種類を識別する。
種類識別部11cは、画像データ取得部11bにより取得された新たな画像データを入力として学習済みの識別アルゴリズム12aを利用して、ごみピット3内に貯留されている廃棄物の種類とともに廃棄物以外の識別対象物の種類を識別してもよい。図6は、ごみピット内の映像を撮像することにより得られる画像データに種類識別部11cによる識別結果が重ね合わされて表示されたデータの一例を示す図である。図6に示す例では、種類識別部11cにより識別された廃棄物(未破袋ごみ、剪定枝)と廃棄物以外の識別対象物(クレーン5、廃棄物の山の崖、ごみピット3の側壁、プラント100の床)とが種類別に画像データに重ね合わされて表示されている。
種類識別部11cは、図7に示すように、識別結果に基づいて、ごみピット3内に貯留されている廃棄物の種類の比率を領域毎に表示するマップを生成してもよい。図7に示す例では、ごみピット3内が5×4の格子状に区分され、種類識別部11cにより識別された廃棄物の種類の比率が領域毎に表示されている。
プラント制御部11dは、種類識別部11cの識別結果に基づいて廃棄物処理プラント100の制御を行う。
図1に示す例では、プラント制御部11dは、廃棄物の攪拌または搬送を行うクレーン5を制御するクレーン制御装置50に種類識別部11cの識別結果(すなわち、画像データから識別された廃棄物の種類の情報)を送信するクレーン制御部11d1と、廃棄物の燃焼を制御する燃焼制御装置20に種類識別部11cの識別結果(すなわち、画像データから識別された廃棄物の種類の情報)を送信する燃焼制御部11d2とを含んでいる。
なお、図1に示す例では、プラント制御部11dが、クレーン制御部11d1と燃焼制御部11d2の両方を含んでいるが、これに限定されるものではなく、クレーン制御部11d1と燃焼制御部11d2のいずれか一方のみを含んでいてもよい。
クレーン制御部11d1は、たとえば、種類識別部11cの識別結果として、ごみピット3内に貯留されている廃棄物の種類の比率を領域毎に表示するマップ(図7参照)をクレーン制御装置50へと送信する。クレーン制御装置50は、クレーン制御部11d1から受信するマップに基づいて、廃棄物の種類の比率が全ての領域で等しくなるように、クレーン5を動作させてごみピット3内の廃棄物を攪拌させる。
燃焼制御部11d2は、たとえば、種類識別部11cの識別結果として、ごみピット3内に貯留されている廃棄物の種類の比率を領域毎に表示するマップ(図7参照)を燃焼制御装置20へと送信する。燃焼制御装置20は、燃焼制御部11d2から受信するマップに基づいて、クレーン5によって掴まれてごみピット3からホッパ4へと一緒に搬送される廃棄物の種類の比率を把握し、ホッパ4を介して焼却炉1内へと一緒に投入される廃棄物の比率に応じて廃棄物の燃焼を制御する(たとえば、ストーカの送り速度や供給する空気量を制御する)。
転落検知部11eは、種類識別部11cの識別結果(すなわち、画像データから識別された作業員または搬送車両の情報)に基づいて、プラットホーム21からごみピット3内への作業員または搬送車両の転落を検知する。転落検知部11eは、廃棄物が貯留されるごみピット3内に作業員や搬入車両が存在することを検知する転落検知装置(不図示)に種類識別部11cの識別結果(すなわち、画像データから識別された作業員または搬送車両の情報)を送信してもよい。転落検知装置(不図示)は、転落検知部11eから送信される種類識別部11cの識別結果に基づいて、アラームを発したり、クレーン5を動作させて作業員の救出を行う。
異物投入検知部11fは、種類識別部11cの識別結果(すなわち、画像データから識別された廃棄物の種類の情報)に基づいて、ごみピット3内へ投入された異常物を検知する。ここで「異常物」とは、ごみピット3内に入ってきてほしくないけれど入ってくる可能性がある予定外の廃棄物をいい、たとえば、焼却してはいけないもの、具体的には、たとえば、蛍光灯、水銀混入ごみ、ボンベや缶、油タンクなどの爆発物などが挙げられる。異物投入検知部11fは、廃棄物が貯留されるごみピット3内に投入された異常物を検知する異物検知装置(不図示)に種類識別部の識別結果(すなわち、画像データから識別された廃棄物の種類の情報)を送信してもよい。異物検知装置(不図示)は、ごみピット3内に廃棄物を投入した業者または車両を時間情報とともに記憶しているデータベースを参照し、異物投入検知部11fから送信される種類識別部11cの識別結果に基づいて、ごみピット3内に異物を投入した業者または車両を特定する。
次に、このような構成からなる情報処理装置10による情報処理方法の一例について説明する。図3は、情報処理方法の一例を示すフローチャートである。
図3に示すように、まず、識別アルゴリズム生成部11aが、ごみピット3内の映像を撮像した過去の画像データに廃棄物の種類がラベリングされた教師データを学習することにより、ごみピット3内の映像を撮像することにより得られる新たな画像データを入力として廃棄物の種類を識別する学習済みの識別アルゴリズム12aを生成する(ステップS11)。
識別アルゴリズム生成部11aは、ごみピット3内の映像を撮像することにより得られる過去の画像データに廃棄物の種類がラベリングされるとともに廃棄物以外の識別対象物が種類別にラベリングされた教師データ(たとえば図5参照)を学習することにより、ごみピット3内の映像を撮像することにより得られる新たな画像データを入力として廃棄物の種類に加えて廃棄物以外の識別対象物の種類を識別する学習済みの識別アルゴリズム12aを生成してもよい。
次に、画像データ取得部11bが、ごみピット3内の映像を撮像することにより得られる新たな画像データ12b(たとえば図4参照)を撮像装置6から取得する(ステップS12)。画像データ取得部11bにより取得された新たな画像データ12bは、記憶部12に記憶される。
次いで、種類識別部11cが、画像データ取得部11bにより取得された新たな画像データを入力として、識別アルゴリズム生成部11aにより生成された学習済みの識別アルゴリズム12aを利用して、ごみピット3内に貯留されている廃棄物の種類を識別する(ステップS13)。
種類識別部11cは、画像データ取得部11bにより取得された新たな画像データ(たとえば図4参照)を入力として、識別アルゴリズム生成部11aにより生成された学習済みの識別アルゴリズム12aを利用して、ごみピット3内に貯留されている廃棄物の種類とともに廃棄物以外の識別対象物の種類を識別してもよい(たとえば図6参照)。また、種類識別部11cは、廃棄物の種類の識別結果に基づいて、ごみピット3内に貯留されている廃棄物の種類の比率を領域毎に表示するマップ(たとえば図7参照)を生成してもよい。
次いで、プラント制御部11dが、種類識別部11cによる識別結果に基づいて、廃棄物処理プラントの制御を行う。
具体的には、たとえば、クレーン制御部11d1が、廃棄物の攪拌または搬送を行うクレーン5を制御するクレーン制御装置50に、種類識別部11cの識別結果として、図7に示すような廃棄物の種類の比率を領域毎に表示するマップを送信する(ステップS14)。クレーン制御装置50は、クレーン制御部11d1から受信するマップに基づいて、廃棄物の種類の比率が全ての領域で等しくなるように、クレーン5を動作させてごみピット3内の廃棄物を攪拌させる。
また、燃焼制御部11d2が、廃棄物の燃焼を制御する燃焼制御装置20に、種類識別部11cの識別結果として、図7に示すような廃棄物の種類の比率を領域毎に表示するマップを送信する(ステップS15)。燃焼制御装置20は、燃焼制御部11d2から受信するマップに基づいて、クレーン5によって掴まれてごみピット3からホッパ4へと一緒に搬送される廃棄物の種類の比率を把握し、ホッパ4を介して焼却炉1内へと一緒に投入される各廃棄物の比率に応じて廃棄物の燃焼を制御する(たとえば、ストーカの送り速度や供給する空気量を制御する)。
なお、種類識別部11cによりごみピット3内の画像データから作業員または搬送車両が識別された場合には、転落検知部11eが、種類識別部11cの識別結果に基づいて、プラットホーム21からごみピット3内への作業員または搬送車両の転落を検知し、転落検知装置(不図示)に種類識別部11cの識別結果を送信してもよい。
また、種類識別部11cによりごみピット3内の画像データから異常物が検知された場合には、異物投入検知部11fが、種類識別部11cの識別結果に基づいて、ごみピット3内へ投入された異常物を検知し、異物検知装置(不図示)に種類識別部11cの識別結果を送信してもよい。
ところで、発明が解決しようとする課題の欄で言及したように、特許文献1に記載の方法では、一般ごみと異質ごみとを色調により区別しているが、単純に色調だけで廃棄物の種類を識別するのは困難であり、たとえば、粗大破砕ごみが多少混じっていても全体として一般ごみと判断する可能性がある。そのため、燃焼状態に影響を与える異質な廃棄物や各機器のトラブル発生要因となる廃棄物を、焼却炉内に一定量以上投入してしまう危険性があった。
また、特許文献2に記載方法では、輝度値によりごみ袋の破れ具合を検出しているが、この方法ではごみ袋しか検知することができない。実際のごみピットには、ごみ袋以外にも剪定枝や布団など様々な種類の廃棄物が投入される場合があるため、そのような実際のごみピットに対して上記方法を適用することは困難であった。
これに対し、本実施の形態によれば、ごみピット3内に貯留されている廃棄物の種類を、ごみピット3内の映像を撮像することにより得られる画像データを入力として、機械学習により生成された学習済みの識別アルゴリズム12aを利用して識別することにより、一定量以上投入すると燃焼状態へ影響を与える廃棄物(たとえば未破袋ごみ)や各機器のトラブルの要因となる廃棄物(たとえば剪定枝)を識別することができる。これにより、そのような特殊な廃棄物の一定量以上の誤投入を防いで、燃焼状態および各機器に影響を与えることなく安定した処理が可能となる。
また、本実施の形態によれば、識別アルゴリズム生成部11aが、ごみピット3内の映像を撮像することにより得られる過去の画像データに廃棄物の種類がラベリングされるとともに廃棄物以外の識別対象物が種類別にラベリングされた教師データを学習することにより学習済みの識別アルゴリズム12aを生成し、種類識別部11cが、画像データ取得部11bにより取得された新たな画像データを入力として当該識別アルゴリズム12aを利用してごみピット3内に貯留されている廃棄物の種類とともに廃棄物以外の識別対象物の種類を識別する。本件発明者らが実際に検証したところ、このような態様によって、廃棄物の識別精度を顕著に向上できることが確認された。これは、本件発明者らの検討によれば、種類識別部11cが、たとえば、ごみピット3の側壁に対する判断に迷って汚泥として識別するなど、廃棄物以外の識別対象物に対する判断に迷って何らかの廃棄物として識別してしまうことを抑制できるためであると考えられる。
なお、上述した実施の形態に対して様々な変更を加えることが可能である。以下、上述した実施の形態の変形例について説明する。
上述した実施の形態では、燃焼制御部11d2は、種類識別部11cの識別結果として、ごみピット3内に貯留されている廃棄物の種類の比率を領域毎に表示するマップ(図7参照)を燃焼制御装置20へと送信したが、これに限定されず、種類識別部11cの識別結果として、廃棄物の種類の比率を質情報に変換したラベル、たとえば、投入OK、投入NG、カロリL(Low)、M(Middle)、H(High)などを領域毎に表示するマップを燃焼制御装置20へと送信してもよい。また、燃焼制御部11d2は、種類識別部11cの識別結果として、燃焼状態に影響を与える割合が大きいことを示すラベル(たとえば、未破袋ごみあり、底ごみあり、など)を燃焼制御装置20へと送信してもよい。同様に、クレーン制御部11d1は、種類識別部11cの識別結果として、各機器に影響を与える割合が大きいことを示すラベル(たとえば、剪定枝あり、粗大破砕ごみあり、など)をクレーン制御装置50へと送信してもよい。
種類識別部11cにおいて、識別結果に基づいて、ごみピット3内に貯留されている廃棄物の種類の比率を領域ごとに表示するマップを生成する際、画像データ取得部11bで取得した画像データに対して単に画像データを領域分けして廃棄物の種類の比率を表示してもよいし、画像データとごみピット3の番地割を紐づけて番地ごとに廃棄物の種類の比率を表示してもよい。
画像データとクレーン番地を紐づける方法として、ごみピット3に対して相対的な位置が計測可能なクレーン5に予めしるしをつけておき、しるしをつけたクレーン5を、撮像装置6が多数の画像に写り込ませて撮影することで、種類識別部11cが、しるしをつけたクレーン5が映り込んでいる多数の画像に基づいて、ごみピット3に対する撮像装置6の相対位置と方向を推定し、推定した撮像装置6の位置と撮影方向から画像データ上のピクセルがどの番地に存在しているかを推定する。もしくは、ごみピット3に対して相対的な位置が計測可能なクレーン5を、撮像装置6が多数の画像に写り込ませて撮影し、種類識別部11cが、画像中のクレーン5にしるしをつけることで、当該クレーン5にしるしをつけた多数の画像に基づいて、ごみピット3に対する撮像装置6の相対位置と方向を推定し、推定した撮像装置6の位置と撮影方向から画像データ上のピクセルがどの番地に存在しているかを推定してもよい。
制御部11の処理の一部は、情報処理装置10ではなく、情報処理装置10とは別のクラウドサーバ上で行われてもよい。記憶部12の一部は、情報処理装置10ではなく、情報処理装置10とは別のクラウドサーバ上にあってもよい。
たとえば、識別アルゴリズム生成部11aの処理がクラウドサーバ上で実行され、識別アルゴリズム12aが生成されてもよい。また、上記識別アルゴリズム生成部11aによりクラウドサーバ上で生成された識別アルゴリズム12aを利用して種類識別部11cの処理がクラウドサーバ上で実行されてもよいし、上記識別アルゴリズム12aを情報処理装置10がクラウドサーバからダウンロードし、これを情報処理装置10内で利用して種類識別部11cの処理が実行されてもよい。
制御部11は、種類識別部11cの識別結果を定期的にモニタリングし、識別アルゴリズム12aのモデル見直し及び更新の要否を判断してもよい。
たとえば、制御部11は、エッジサーバーを用いて種類識別部11cの識別結果の正常・異常判定を行い、異常が検出された場合、当該画像データ及び識別結果が、焼却炉1の運営において問題があるか判断する。運営上問題があると判断された場合、熟練運転員が、異常検出された画像データに対して再度廃棄物の種類別にラベリングを行い、新しく教師データを用意し、識別アルゴリズム生成部11aが、新しく用意された教師データを学習して、識別アルゴリズム12aを生成する。
クレーン制御装置50は、焼却炉1から投入要求が来た際に、クレーン制御部11d1から受信するマップに基づいて、ごみ種類別の比率閾値による投入基準を満たすごみをごみピット3内から選別し、クレーン5を動作させてホッパ4へ投入してもよい。
また、クレーン制御装置50は、投入基準を満たすごみをごみピット3内から選別する際、ホッパ4へ前回投入したごみのごみ種類別の比率との差分が小さくなるようごみを選別してもよい。
クレーン制御装置50は、上記投入基準の比率閾値として、ごみ袋未破袋ごみ、紙ごみ、剪定枝、布団、汚泥、粗大ごみ破砕物、段ボール、麻袋、紙袋、底ごみ、木屑、繊維ごみ、衣類ごみ、プラスチックごみ、動物性残渣、動物死体、厨芥ごみ、草木、土、医療ごみ、焼却灰、農業系ビニール類、ペットボトル、発泡スチロール、肉骨粉、農作物、陶器、ガラスくず、金属くず、がれき類、コンクリートくず、畳、竹、わら、活性炭のうち1つまたは2つ以上の比率閾値を用いてもよい。
また、上記投入基準の決め方として、クレーン制御装置50は、過去のごみピット3内の映像を撮像することにより得られる画像データに対して、熟練運転員が、当該画像データに示される廃棄物の質を目視により、燃焼安定性及び機器への影響の観点から、投入可否を分類しラベル付けしたものと、当該画像に対して種類識別部11cを用いてごみの種類別の比率を推定させものとを比較することで、熟練運転員が投入可否を判断しているごみ種類別の比率閾値を決めてもよい。
また、クレーン制御装置50は、クレーン制御部11d1から受信する、ごみピット3内に貯留されているごみの種類の比率を領域ごとに表示するマップから、実際にホッパ4へ投入したごみのごみ種類別の比率データと、焼却炉1のプロセスデータとを紐づけることで、ごみ種類別の比率閾値を決めてもよいし、両者のデータを経時的に紐づけ、比率閾値を動的に変更してもよい。
また、クレーン制御装置50は、上記プロセスデータだけでなく天候情報をもとに比率閾値を動的に変更してもよい。たとえば、クレーン制御装置50は、天候情報から当日が雨であれば、未破袋ごみ袋の比率閾値を下げる、あるいは、粗大ごみ破砕物の比率閾値を上げるといったように比率閾値による投入基準を変更させる。
また、クレーン制御装置50は、曜日情報をもとに比率閾値を動的に変更してもよい。たとえば、クレーン制御装置50は、曜日情報から日曜日はごみピット3内のごみが少ないのでごみ焼却量を抑えるために、未破袋ごみ袋の比率閾値を上げるといったように比率閾値による投入量基準を変更させる。
また、クレーン制御装置50は、廃棄物処理プラント100の操炉計画値をもとに比率閾値を動的に変更してもよい。たとえば、クレーン制御装置50は、現在の蒸発量設定値から蒸発量が落ち込んでいたら、未破袋ごみ袋の比率閾値を下げる、あるいは粗大ごみ破砕物の比率閾値を上げるといったように比率閾値による投入基準を変更させる。
クレーン制御装置50は、焼却炉1から投入要求が来た際に、クレーン制御11d1から受信するマップにおいて、ごみ種類別の比率閾値による投入基準を満たすごみが存在しない場合、クレーン5を動作させて投入基準に近いごみをホッパ4へ投入してもよいし、投入基準に近いごみを撹拌し、投入基準に達するごみを作成してもよい。
クレーン制御装置50は、クレーン制御11d1から受信するマップにおいて、ごみ種類別の比率閾値による投入基準を満たすごみだけを、クレーン5を動作させてごみピット3の特定の箇所に積上げてもよい。そうすることで、投入基準を満たすごみをごみピット3内に蓄積することができる。
クレーン制御装置50は、クレーン制御11d1から受信するマップにおいて、ごみ種類別の比率閾値により、ごみピット3内に存在する燃焼状態へ影響を与える廃棄物(たとえば、汚泥)や各機器のトラブルの要因となる廃棄物(たとえば剪定枝)を検知し、クレーン5を動作させてごみピット3の特定の箇所に貯留してもよいし、特定の場所にばらまいてもよい。
クレーン制御装置50は、クレーン制御11d1から受信するマップにおいて、ごみ種類別の比率閾値による撹拌基準を満たしていないごみがごみピット3内に存在する場合、クレーン5を動作させて当該ごみを撹拌してもよい。上記撹拌基準は、投入基準と同一でもよいし異なっていてもよい。
また、クレーン制御装置50は、上記撹拌基準を、焼却炉1のプロセスデータや、天候情報、曜日情報、ごみ搬入業者情報、ごみ搬入量(総量やごみ種類別搬入量)情報、ごみ搬入速度、ごみピットレベル(全体、特定エリア)情報、クレーン稼働状況(2台運転可能、1台運転のみ、現在1台運転中、現在2台運転中)情報、ごみ収集車の収集ルート・収集エリア情報のうち1つまたは2つ以上を用いて、動的に変更してもよい。
クレーン制御装置50は、クレーン制御11d1から受信するマップにおいて、領域ごとのごみ種類別の比率から、ごみピット3全体の撹拌状況を判断し、クレーン5の2台運転の要否を判断し、クレーン5を動作させ、2台目クレーンの運転開始、あるいは2台目クレーンの格納を行ってもよい。
また、上記例ではクレーン制御装置50がクレーン5を動作させていたが、クレーン制御装置50の上流側にクレーン操作判断装置(不図示)が設けられており、クレーン操作判断装置でクレーン5の動作内容を決定し、クレーン制御装置50へ動作内容の指令を送信し、指令を受信したクレーン制御装置50が受信した指令内容をもとにクレーン5を動作させてもよい。クレーン操作判断装置は、情報処理装置10との間及びクレーン制御装置50との間で情報を送受信する。あるいは、クレーン操作判断装置は、情報処理装置10の一部であってもよく、すなわち情報処理装置10がクレーン操作判断装置を含んでいてもよい。
クレーン操作判断装置は、焼却炉1から投入要求が来た際にクレーン制御装置50から投入要求信号を受け、クレーン制御部11d1から受信するマップに基づいて、ごみ種類別の比率閾値による投入基準を満たすマップのごみをごみピット3内から選別し、当該ごみをホッパ4へ投入するようクレーン制御装置50に指令を送信し、クレーン制御装置50は受信した指令をもとにクレーン5を動作させてもよい。また、クレーン操作判断装置は、投入基準を満たすごみをごみピット内から選別する際、ホッパ4へ前回投入したごみのごみ種類別の比率との差分が小さくなるようごみを選別してもよい。
クレーン操作判断装置は、焼却炉1から投入要求が来た際にクレーン制御装置50から投入要求信号を受け、クレーン制御11d1から受信するマップにおいて、ごみ種類別の比率閾値による投入基準を満たすごみが存在しない場合、投入基準に近いごみをホッパ4へ投入させる、あるいは投入基準に近いごみを撹拌し投入基準に達するごみを作成するようクレーン制御装置50に指令を送信し、クレーン制御装置50はクレーン5を動作させてもよい。
クレーン操作判断装置は、クレーン制御11d1から受信するマップにおいて、ごみ種別の比率閾値による投入基準を満たすごみだけをごみピット3内の特定箇所に積上げるようクレーン制御装置50に指令を送信し、クレーン制御装置50は、クレーンクレーン5を動作させてもよい。そうすることで、投入基準を満たすごみをごみピット3内に蓄積することができる。
クレーン操作判断装置は、クレーン制御11d1から受信するマップにおいて、ごみ種類別の比率閾値により、ごみピット3内に存在する燃焼状態へ影響を与える廃棄物(たとえば、汚泥)や各機器のトラブルの要因となる廃棄物(たとえば剪定枝)を検知し、ごみピット3内の特定の箇所に貯留する、もしくは特定の場所にばらまくようクレーン制御装置50へ指令を送信し、クレーン制御装置50はクレーン5を動作させてもよい。
クレーン操作判断装置は、クレーン制御11d1から受信するマップにおいて、ごみ種類別の比率閾値による撹拌基準を満たしていないごみがごみピット3内に存在する場合、当該ごみを撹拌するようクレーン制御装置50へ指令を送信し、クレーン制御装置50はクレーン5を動作させてもよい。上記撹拌基準は、投入基準と同一でもよいし異なっていてもよい。
クレーン操作判断装置は、クレーン制御11d1から受信するマップにおいて、領域ごとのごみ種類別の比率から、ごみピット3全体の撹拌状況を判断し、クレーン5の2台運転の要否を判断し、クレーン制御装置50へ指令を送信し、クレーン制御装置50は、クレーン5を動作させ、2台目クレーンの運転開始、あるいは2台目クレーンの格納を行ってもよい。
なお、上述した実施の形態では、廃棄物の種類を識別する情報処理装置10が、廃棄物処理プラント100のごみピット3にて使用される例が説明されたが、情報処理装置10の使用場所は、廃棄物が貯留される廃棄物貯留場所であれば、廃棄物処理プラント100のごみピット3に限定されるものではなく、たとえば、情報処理装置10は、リサイクル設備の受け入れ場所にて使用されてもよい。
以上、本発明の実施の形態および変形例を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。また、各実施の形態および変形例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
また、本実施の形態に係る情報処理装置10は1つまたは複数のコンピュータによって構成され得るが、1つまたは複数のコンピュータに情報処理装置10を実現させるためのプログラム及び当該プログラムを記録した記録媒体も、本件の保護対象である。
1 焼却炉
2 燃焼装置
3 ごみピット
4 ホッパ
5 クレーン
6 撮像装置
10 情報処理装置
11 制御部
11a 識別アルゴリズム生成部
11b 画像データ取得部
11c 種類識別部
11d プラント制御部
11e 転落検知部
11f 異物投入検知部
12 記憶部
12a 識別アルゴリズム
12b 画像データ
13 通信部
14 表示部
20 燃焼制御装置
21 プラットホーム
22 搬送車両
50 クレーン制御装置
100 廃棄物処理プラント

Claims (18)

  1. 廃棄物が貯留されるごみピット内の映像を撮像することにより得られる過去の画像データに前記廃棄物の種類がラベリングされるとともに前記廃棄物以外の識別対象物が種類別にラベリングされた教師データを学習済みの識別アルゴリズムを用いて、前記ごみピット内の新たな画像データを入力として前記ごみピット内に貯留されている廃棄物の種類とともに廃棄物以外の識別対象物の種類を識別する種類識別部を備え
    前記廃棄物以外の識別対象物の種類は、廃棄物処理プラントの梁、ごみピットの側壁、ごみピット内に貯留されている廃棄物の山の崖、前記廃棄物の攪拌または搬送を行うクレーン、のうちの1つまたは2つ以上を含む、
    ことを特徴とする情報処理装置。
  2. 前記識別アルゴリズムは、線形回帰、ボルツマンマシン、ニューラルネットワーク、サポートベクターマシン、ベイジアンネットワーク、スパース回帰、決定木、ランダムフォレストを用いた統計的推定、強化学習、深層学習、のうちの1つまたは2つ以上を含む、
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記画像データは、RGBカメラにより撮像された廃棄物の形状および色彩画像データ、近赤外線カメラにより撮像された廃棄物の近赤外線画像データ、3DカメラまたはRGB−Dカメラにより撮像された廃棄物の3次元画像データ、のうちの1つまたは2つ以上を含む、
    ことを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記廃棄物の種類は、ごみ袋未破袋ごみ、紙ごみ、剪定枝、布団、汚泥、粗大破砕ごみ、段ボール、麻袋、紙袋、底ごみ、のうちの1つまたは2つ以上を含む、
    ことを特徴とする請求項1〜3のいずれかに記載の情報処理装置。
  5. 前記種類識別部の識別結果に基づいて廃棄物処理プラントの制御を行うプラント制御部をさらに備えた
    ことを特徴とする請求項1〜4のいずれかに記載の情報処理装置。
  6. 前記プラント制御部は、前記廃棄物の攪拌または搬送を行うクレーンを制御するクレーン制御装置に前記種類識別部の識別結果を送信するクレーン制御部、前記廃棄物の燃焼を制御する燃焼制御装置に前記種類識別部の識別結果を送信する燃焼制御部、のうちの一方または両方を含む、
    ことを特徴とする請求項5に記載の情報処理装置。
  7. 前記廃棄物以外の識別対象物の種類は、廃棄物処理プラントの梁、ごみピットの側壁、ごみピット内に貯留されている廃棄物の山の崖、前記廃棄物の攪拌または搬送を行うクレーン、廃棄物処理プラントの壁、柱、床、窓、天井、扉、階段、ガーダー、歩廊、ごみピットの仕切り壁、ごみ投入ホッパ、搬入扉、作業員、搬入車両、のうちの1つまたは2つ以上を含む、
    ことを特徴とする請求項1〜6のいずれかに記載の情報処理装置。
  8. 前記種類識別部の識別結果に基づいて前記ごみピット内へ投入された異常物を検知する異物投入検知部と、
    をさらに備えたことを特徴とする請求項1〜のいずれかに記載の情報処理装置。
  9. 前記異物投入検知部は、前記廃棄物が貯留されるごみピット内に投入された異常物を検知する異物検知装置に前記種類識別部の識別結果を送信する、
    ことを特徴とする請求項に記載の情報処理装置。
  10. 前記種類識別部の識別結果に基づいて前記ごみピット内への作業員または搬送車両の転落を検知する転落検知部と、
    をさらに備えたことを特徴とする請求項1〜のいずれかに記載の情報処理装置。
  11. 前記転落検知部は、前記廃棄物が貯留されるごみピット内に作業員や搬入車両が存在することを検知する転落検知装置に前記種類識別部の識別結果を送信する、
    ことを特徴とする請求項10に記載の情報処理装置。
  12. 前記廃棄物の種類は、ごみ袋未破袋ごみ、紙ごみ、剪定枝、布団、汚泥、粗大破砕ごみ、段ボール、麻袋、紙袋、底ごみ、木屑、繊維ごみ、衣類ごみ、プラスチックごみ、動物性残渣、動物死体、厨芥ごみ、草木、土、医療ごみ、焼却灰、自転車、たんす、ベッド、棚、机、椅子、農業系ビニール類、ペットボトル、発泡スチロール、肉骨粉、農作物、陶器、ガラスくず、金属くず、がれき類、コンクリートくず、畳、竹、わら、活性炭、のうちの1つまたは2つ以上を含む、
    ことを特徴とする請求項1〜11のいずれかに記載の情報処理装置。
  13. コンピュータを、
    廃棄物が貯留されるごみピット内の映像を撮像することにより得られる過去の画像データに前記廃棄物の種類がラベリングされるとともに前記廃棄物以外の識別対象物が種類別にラベリングされた教師データを学習済みの識別アルゴリズムを用いて、前記ごみピット内の新たな画像データを入力として前記ごみピット内に貯留されている廃棄物の種類とともに廃棄物以外の識別対象物の種類を識別する種類識別部
    として機能させる情報処理プログラムであって、
    前記廃棄物以外の識別対象物の種類は、廃棄物処理プラントの梁、ごみピットの側壁、ごみピット内に貯留されている廃棄物の山の崖、前記廃棄物の攪拌または搬送を行うクレーン、のうちの1つまたは2つ以上を含む、
    ことを特徴とする情報処理プログラム
  14. 廃棄物が貯留されるごみピット内の映像を撮像することにより得られる過去の画像データに前記廃棄物の種類がラベリングされるとともに前記廃棄物以外の識別対象物が種類別にラベリングされた教師データを学習済みの識別アルゴリズムを用いて、前記ごみピット内の新たな画像データを入力として前記ごみピット内に貯留されている廃棄物の種類とともに廃棄物以外の識別対象物の種類を識別するステップを含み、
    前記廃棄物以外の識別対象物の種類は、廃棄物処理プラントの梁、ごみピットの側壁、ごみピット内に貯留されている廃棄物の山の崖、前記廃棄物の攪拌または搬送を行うクレーン、のうちの1つまたは2つ以上を含む、
    ことを特徴とする情報処理方法。
  15. 廃棄物が貯留される廃棄物貯留場所内の映像を撮像することにより得られる過去の画像データに前記廃棄物の種類がラベリングされるとともに前記廃棄物以外の識別対象物が種類別にラベリングされた教師データを学習済みの識別アルゴリズムを用いて、前記廃棄物貯留場所内の新たな画像データを入力として前記廃棄物貯留場所内に貯留されている廃棄物の種類とともに廃棄物以外の識別対象物の種類を識別する種類識別部を備え
    前記廃棄物以外の識別対象物の種類は、廃棄物処理プラントの梁、ごみピットの側壁、ごみピット内に貯留されている廃棄物の山の崖、前記廃棄物の攪拌または搬送を行うクレーン、のうちの1つまたは2つ以上を含む、
    ことを特徴とする情報処理装置。
  16. コンピュータを、
    廃棄物が貯留される廃棄物貯留場所内の映像を撮像することにより得られる過去の画像データに前記廃棄物の種類がラベリングされるとともに前記廃棄物以外の識別対象物が種類別にラベリングされた教師データを学習済みの識別アルゴリズムを用いて、前記廃棄物貯留場所内の新たな画像データを入力として前記廃棄物貯留場所内に貯留されている廃棄物の種類とともに廃棄物以外の識別対象物の種類を識別する種類識別部
    として機能させる情報処理プログラムであって、
    前記廃棄物以外の識別対象物の種類は、廃棄物処理プラントの梁、ごみピットの側壁、ごみピット内に貯留されている廃棄物の山の崖、前記廃棄物の攪拌または搬送を行うクレーン、のうちの1つまたは2つ以上を含む、
    ことを特徴とする情報処理プログラム
  17. 廃棄物が貯留される廃棄物貯留場所内の映像を撮像することにより得られる過去の画像データに前記廃棄物の種類がラベリングされるとともに前記廃棄物以外の識別対象物が種類別にラベリングされた教師データを学習済みの識別アルゴリズムを用いて、前記廃棄物貯留場所内の新たな画像データを入力として前記廃棄物貯留場所内に貯留されている廃棄物の種類とともに廃棄物以外の識別対象物の種類を識別するステップを含み、
    前記廃棄物以外の識別対象物の種類は、廃棄物処理プラントの梁、ごみピットの側壁、ごみピット内に貯留されている廃棄物の山の崖、前記廃棄物の攪拌または搬送を行うクレーン、のうちの1つまたは2つ以上を含む、
    ことを特徴とする情報処理方法。
  18. 廃棄物が貯留されるごみピット内を撮像した過去の画像データに前記廃棄物の種類がラベリングされるとともに前記廃棄物以外の識別対象物が種類別にラベリングされた教師データを学習することにより、前記識別アルゴリズムを生成する識別アルゴリズム生成部
    をさらに備えたことを特徴とする請求項1に記載の情報処理装置。
JP2019015808A 2018-08-23 2019-01-31 情報処理装置、情報処理プログラム、および情報処理方法 Active JP6731680B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
EP19852391.2A EP3842693B1 (en) 2018-08-23 2019-08-20 Information processing device, information processing program, and information processing method
SG11202101673RA SG11202101673RA (en) 2018-08-23 2019-08-20 Information processing device, information processing program, and information processing method
CN201980054429.XA CN112639361B (zh) 2018-08-23 2019-08-20 信息处理装置、记录介质及信息处理方法
PCT/JP2019/032360 WO2020040110A1 (ja) 2018-08-23 2019-08-20 情報処理装置、情報処理プログラム、および情報処理方法
KR1020217008107A KR20210048515A (ko) 2018-08-23 2019-08-20 정보 처리 장치, 정보 처리 프로그램 및 정보 처리 방법
TW108146318A TWI797402B (zh) 2018-08-23 2019-12-18 資訊處理裝置、資訊處理程式、及資訊處理方法
PH12021550370A PH12021550370A1 (en) 2018-08-23 2021-02-22 Information processing device, information processing program, and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018155959 2018-08-23
JP2018155959 2018-08-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2019225603A Division JP7281768B2 (ja) 2018-08-23 2019-12-13 情報処理装置、情報処理プログラム、および情報処理方法

Publications (2)

Publication Number Publication Date
JP2020034267A JP2020034267A (ja) 2020-03-05
JP6731680B2 true JP6731680B2 (ja) 2020-07-29

Family

ID=69667666

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2019015808A Active JP6731680B2 (ja) 2018-08-23 2019-01-31 情報処理装置、情報処理プログラム、および情報処理方法
JP2019225603A Active JP7281768B2 (ja) 2018-08-23 2019-12-13 情報処理装置、情報処理プログラム、および情報処理方法
JP2023075365A Pending JP2023110924A (ja) 2018-08-23 2023-05-01 情報処理装置、情報処理プログラム、および情報処理方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2019225603A Active JP7281768B2 (ja) 2018-08-23 2019-12-13 情報処理装置、情報処理プログラム、および情報処理方法
JP2023075365A Pending JP2023110924A (ja) 2018-08-23 2023-05-01 情報処理装置、情報処理プログラム、および情報処理方法

Country Status (7)

Country Link
EP (1) EP3842693B1 (ja)
JP (3) JP6731680B2 (ja)
KR (1) KR20210048515A (ja)
CN (1) CN112639361B (ja)
PH (1) PH12021550370A1 (ja)
SG (1) SG11202101673RA (ja)
TW (1) TWI797402B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7371535B2 (ja) * 2020-03-06 2023-10-31 Jfeエンジニアリング株式会社 自動運転制御装置、自動運転制御システム、自動運転制御方法、および廃棄物処理施設
JP7459582B2 (ja) * 2020-03-17 2024-04-02 Jfeエンジニアリング株式会社 管理装置、管理方法、およびプログラム
CN113494710A (zh) * 2020-04-03 2021-10-12 新疆贝肯能源环保有限公司 一种动物尸体焚烧处理系统及处理方法
WO2021220987A1 (ja) * 2020-04-30 2021-11-04 Jfeスチール株式会社 スクラップ判別システム、及びスクラップ判別方法
JP6977119B1 (ja) * 2020-08-18 2021-12-08 株式会社タクマ 推定システムおよび制御システム
JP2023012094A (ja) 2021-07-13 2023-01-25 荏原環境プラント株式会社 情報処理方法、情報処理装置、および情報処理プログラム
JP2023048385A (ja) * 2021-09-28 2023-04-07 日立造船株式会社 情報処理装置、判定方法、判定プログラム、および制御システム
JP7391286B2 (ja) 2022-03-02 2023-12-05 荏原環境プラント株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP7390581B2 (ja) 2022-03-02 2023-12-04 荏原環境プラント株式会社 情報処理装置、情報処理方法、および情報処理プログラム
TW202403235A (zh) * 2022-03-02 2024-01-16 日商荏原環境工程股份有限公司 資訊處理裝置、資訊處理方法、及資訊處理程式
CN116797557A (zh) * 2023-05-31 2023-09-22 浙江沃乐科技有限公司 一种用于厌氧氨氧化污泥活性智能感知的装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05282281A (ja) * 1992-03-31 1993-10-29 Hitachi Ltd 需要予測方法および装置
JPH08133449A (ja) * 1994-11-11 1996-05-28 Mitsubishi Heavy Ind Ltd 搬送物中の特定異物の検出システム
JPH109538A (ja) * 1996-06-21 1998-01-16 Chiyoda Corp 都市ゴミの焼却方法
US5920876A (en) * 1997-04-23 1999-07-06 Sun Microsystems, Inc. Performing exact garbage collection using bitmaps that identify pointer values within objects
DE19919222C1 (de) * 1999-04-28 2001-01-11 Orfeus Comb Engineering Gmbh Verfahren zum Steuern der Verbrennung von Brennstoff mit variablem Heizwert
JP2002130640A (ja) * 2000-10-31 2002-05-09 Hitachi Zosen Corp ごみ計測装置
JP5025120B2 (ja) * 2005-11-02 2012-09-12 株式会社日立プラントテクノロジー ごみ処理工場用自動クレーンの制御装置による自動クレーンの運転方法
JP4950858B2 (ja) * 2007-11-29 2012-06-13 アイシン・エィ・ダブリュ株式会社 画像認識装置及び画像認識プログラム
JP5361595B2 (ja) * 2009-07-27 2013-12-04 株式会社タクマ 燃焼炉に供給される燃焼対象物の処理システム、処理方法およびこれらを用いた燃焼炉の燃焼制御システム
JP6188571B2 (ja) * 2013-12-27 2017-08-30 日立造船株式会社 ごみ攪拌状態検出装置およびごみ攪拌状態検出方法
JP2015143139A (ja) 2014-01-31 2015-08-06 日立造船株式会社 ごみピット内の攪拌状態検出装置及びごみピット内の攪拌状態検出方法
JP6440374B2 (ja) 2014-03-27 2018-12-19 日立造船株式会社 ごみピット内の攪拌状態測定装置及びごみピット内の攪拌状態測定方法
JP2016170513A (ja) * 2015-03-11 2016-09-23 株式会社リコー 移動体搭載機器制御装置、移動体及び移動体搭載機器制御プログラム
JP6332128B2 (ja) * 2015-04-24 2018-05-30 トヨタ自動車株式会社 物体認識装置、及び物体認識方法
CN104990088A (zh) * 2015-06-18 2015-10-21 惠州东江威立雅环境服务有限公司 焚烧料坑安全监控及应急处理系统和方法
JP5969685B1 (ja) * 2015-12-15 2016-08-17 ウエノテックス株式会社 廃棄物選別システム及びその選別方法
JP6714437B2 (ja) 2016-06-06 2020-06-24 日立造船株式会社 ごみクレーン運転装置およびごみクレーン運転方法
JP6659474B2 (ja) 2016-06-09 2020-03-04 日立造船株式会社 クレーン制御装置、クレーン制御装置の制御方法、制御プログラム、および記録媒体
JP6942472B2 (ja) 2017-01-13 2021-09-29 キヤノン株式会社 映像認識装置、映像認識方法及びプログラム
CN107054936A (zh) * 2017-03-23 2017-08-18 广东数相智能科技有限公司 一种基于图像识别的垃圾分类提示垃圾桶和系统
JP7025126B2 (ja) * 2017-03-31 2022-02-24 日立造船株式会社 情報処理装置、情報処理方法、および情報処理プログラム
JP6853718B2 (ja) * 2017-03-31 2021-03-31 日立造船株式会社 情報処理装置、情報処理方法、および情報処理プログラム
CN107122806B (zh) * 2017-05-16 2019-12-31 北京京东尚科信息技术有限公司 一种敏感图像识别方法及装置
JP6554148B2 (ja) * 2017-07-31 2019-07-31 荏原環境プラント株式会社 廃棄物の質を推定する装置、システム、プログラム、方法、及びデータ構造
CN107967460B (zh) * 2017-12-08 2020-05-08 重庆广睿达科技有限公司 一种基于深度神经网络的垃圾物焚烧识别方法及系统
JP6554198B1 (ja) * 2018-03-16 2019-07-31 株式会社タクマ ごみ質の推定システムおよびそのごみ質の推定システムを用いたクレーン運転制御システム
JP7132743B2 (ja) * 2018-04-27 2022-09-07 日立造船株式会社 情報処理装置、制御装置、および不適物検出システム

Also Published As

Publication number Publication date
TW202030643A (zh) 2020-08-16
SG11202101673RA (en) 2021-03-30
CN112639361B (zh) 2023-12-15
EP3842693B1 (en) 2024-02-28
JP2023110924A (ja) 2023-08-09
KR20210048515A (ko) 2021-05-03
JP7281768B2 (ja) 2023-05-26
PH12021550370A1 (en) 2021-11-29
CN112639361A (zh) 2021-04-09
EP3842693A1 (en) 2021-06-30
EP3842693A4 (en) 2021-09-15
JP2020038058A (ja) 2020-03-12
JP2020034267A (ja) 2020-03-05
TWI797402B (zh) 2023-04-01

Similar Documents

Publication Publication Date Title
JP6731680B2 (ja) 情報処理装置、情報処理プログラム、および情報処理方法
WO2020040110A1 (ja) 情報処理装置、情報処理プログラム、および情報処理方法
CN111065859B (zh) 推定废弃物的组成的装置、系统、程序及方法
US11315085B2 (en) Device, system and method for the monitoring, control and optimization of a waste pickup service
CN106429084B (zh) 垃圾分类方法和装置
JP7311334B2 (ja) 廃棄物の質を推定する装置、システム、プログラム、及び方法
CN113443293A (zh) 一种垃圾分类回收方法、装置和系统
KR102517566B1 (ko) 재활용 가능 폐기물 선별 시스템 및 방법
CN108267990A (zh) 一种机动车废油回收监控系统
CA3022583A1 (fr) Automatic system for reliable and efficient interactive management of waste generated by an individual or by a group of individuals, method thereof
KR102382947B1 (ko) 재활용 가능 폐기물 선별 시스템 및 방법
WO2023286795A1 (ja) 情報処理方法、情報処理装置、および情報処理プログラム
JP6782203B2 (ja) 発熱量推定方法、発熱量推定装置、及びごみ貯蔵設備
JPH08133449A (ja) 搬送物中の特定異物の検出システム
CN110895397A (zh) 集成智慧路灯的垃圾处理系统
KR20190139948A (ko) 유리 수거 및 처리 시스템 및 방법
JP7390581B2 (ja) 情報処理装置、情報処理方法、および情報処理プログラム
Shafi et al. Application of Internet of Things (IoT) in Waste Management
Gaddam et al. Smart Dustbin: A Reward Provider
JP7360287B2 (ja) ごみクレーンの運転システムおよびこれを適用したごみ処理施設
JP2020203249A (ja) 廃棄物選別貯留装置、該廃棄物選別貯留装置を備えた廃棄物処理施設
BR102022024037A2 (pt) Sistema para prevenção e remediação de contaminantes ambientais em instalações de resíduos sólidos e de reciclagem municipais
Senturk et al. A Low-Cost Intelligent Metal Recycling Machine
JP2002279056A (ja) 被覆型廃棄物最終処分場における埋立て管理方法
JP2003020104A (ja) ごみおよびその焼却灰の処理設備およびそれらの処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191216

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191216

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20191216

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20200131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200326

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200616

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200630

R150 Certificate of patent or registration of utility model

Ref document number: 6731680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250