JP7387465B2

JP7387465B2 - 廃棄物撹拌状態評価装置および該方法

Info

Publication number: JP7387465B2
Application number: JP2020012259A
Authority: JP
Inventors: 圭太尾崎
Original assignee: Kobe Steel Ltd
Current assignee: Kobe Steel Ltd
Priority date: 2020-01-29
Filing date: 2020-01-29
Publication date: 2023-11-28
Anticipated expiration: 2040-01-29
Also published as: JP2021117867A

Description

本発明は、廃棄物の撹拌状態を評価する廃棄物撹拌状態評価装置および廃棄物撹拌状態評価方法に関する。

所有者によって利用価値が無いあるいは不要であると判断されてゴミとして廃棄された廃棄物は、一般に、焼却炉で燃焼され、焼却処理される。この廃棄物の燃焼では、焼却炉内での安定した燃焼を実現するために、廃棄物を均質化するように廃棄物が撹拌される。この廃棄物の撹拌状態とは、ゴミ袋が破袋され、例えば草木や汚泥等が均質に均質化された状態を言い、均質化の程度によって撹拌状態の良否が判定される。このような廃棄物の撹拌状態の評価に関し、例えば、特許文献１に開示された技術がある。

この特許文献１に開示されたごみの混合度評価システムは、ごみピット内のごみをその上方から撮像するように設置される撮像部と、ごみの三次元高さ情報を算出する三次元ごみ高さ算出部と、前記撮像部の設置情報に基づいて、前記撮像部で撮像された画像を上空視点画像に変換する画像変換部と、前記ごみの三次元高さ情報に基づいて、前記上空視点画像の全ての区域が同一高さ平面上になるように補正した補正画像を得る画像補正部と、前記補正画像を階調化し、所定の閾値で二値化して二値化画像を得る二値化処理部と、前記二値化画像を複数の分割エリアを有する２以上の評価エリアに分割し、各評価エリアのごみの混合度を評価する混合度評価部と、を有する。

特許第６４５７１３７号公報（特開２０１９－１４８４０９号公報）

ところで、前記特許文献１に開示されたごみの混合度評価システムは、ゴミの補正画像を階調で２値化した２値化画像によって、すなわち、単に、ゴミ袋の破袋の有無によって撹拌状態を評価している（特許文献１の例えば［００３６］段落）。このため、前記特許文献１に開示されたごみの混合度評価システムでは、撹拌状態の評価精度が低下してしまう虞がある。

本発明は、上述の事情に鑑みて為された発明であり、その目的は、より適切に撹拌状態を評価できる廃棄物撹拌状態評価装置および廃棄物撹拌状態評価方法を提供することである。

本発明者は、種々検討した結果、上記目的は、以下の本発明により達成されることを見出した。すなわち、本発明の一態様にかかる廃棄物撹拌状態評価装置は、収容部に収容された廃棄物の画像を取得する取得部と、前記画像において、前記廃棄物の種類ごとに前記廃棄物の占有領域を識別して抽出する識別抽出部と、前記識別抽出部で抽出した前記廃棄物の種類ごとの各占有領域の総面積を求め、前記求めた総面積を前記収容部の収容領域の面積で除算することによって前記廃棄物の占有比率を求め、前記求めた占有比率を１から減算した減算結果を、比率で表した撹拌領域の大きさとして撹拌済みの撹拌領域を求めることにより、前記収容部に収容された廃棄物の撹拌状態を評価する評価部とを備える。

このような廃棄物撹拌状態評価装置は、廃棄物の種類ごとの各占有領域に基づいて、廃棄物の撹拌状態を評価するので、より適切に撹拌状態を評価できる。特に、画像から、廃棄物の撹拌している撹拌領域を、直接、認識するアルゴリズム（直接認識アルゴリズム）に較べて、上記廃棄物撹拌状態評価装置は、より適切に撹拌状態を評価できる。すわなち、収容部に収容される廃棄物の種類は、多種類であるため、これらが撹拌された撹拌領域の画像は、多様性を有する。このため、前記直接認識アルゴリズムでは、１つの画像処理手順でこのような多様性を有する撹拌領域を網羅的に認識することが難しい。一方、上記廃棄物撹拌状態評価装置は、撹拌領域の識別に較べて識別し易い廃棄物を、まず識別してから、廃棄物の撹拌状態を評価するので、より適切に撹拌状態を評価できる。これによれば、廃棄物の種類ごとの各占有領域に基づいて撹拌済みの撹拌領域を求めて、廃棄物の撹拌状態を評価する廃棄物撹拌状態評価装置が提供できる。

本発明の他の一態様にかかる廃棄物撹拌状態評価装置は、収容部に収容された廃棄物の画像を取得する取得部と、前記画像において、前記廃棄物の種類ごとに前記廃棄物の占有領域を識別して抽出する識別抽出部と、前記識別抽出部で抽出した前記廃棄物の種類ごとの各占有領域の総面積を求め、前記求めた総面積を前記収容部の収容領域の面積から減算した減算結果を、撹拌済みの撹拌領域として求めることにより、前記収容部に収容された廃棄物の撹拌状態を評価する評価部とを備える。好ましくは、上述の廃棄物撹拌状態評価装置において、前記評価部は、前記求めた撹拌領域の大きさと所定の閾値とを比較することによって、前記廃棄物の撹拌状態を評価する。

これによれば、廃棄物の種類ごとの各占有領域に基づいて撹拌済みの撹拌領域を求めて、廃棄物の撹拌状態を評価する廃棄物撹拌状態評価装置が提供できる。

他の一態様では、これら上述の廃棄物撹拌状態評価装置において、前記識別抽出部は、前記画像において、前記廃棄物の種類ごとに前記廃棄物の占有領域を識別する機械学習モデルを含む。好ましくは、上述の廃棄物撹拌状態評価装置において、前記機械学習モデルは、前記識別した占有領域に対し、識別の信頼性の程度を表す信頼度をさらに出力し、前記識別抽出部は、前記識別した占有領域に対し、前記機械学習モデルから出力された信頼度に基づいて廃棄物であるか否かを判定する判定部をさらに含む。

このような廃棄物撹拌状態評価装置は、識別抽出部に機械学習モデルを用いるので、例えば階調化や二値化等の、画像から占有領域を抽出する情報処理手順を事前に構築する必要が無い。

他の一態様では、これら上述の廃棄物撹拌状態評価装置において、前記識別抽出部は、前記画像において、前記廃棄物の種類ごとに前記廃棄物の占有領域を識別する機械学習モデルを含み、複数の学習データを記憶する学習情報記憶部と、前記学習情報記憶部に記憶された複数の学習データを用いて前記機械学習モデルを機械学習する学習部とをさらに備え、前記学習データは、前記収容部に収容された廃棄物の画像と、前記画像の画素ごとに対応付けられた、教師データとしての前記廃棄物の種類とを備える。

このような廃棄物撹拌状態評価装置は、学習情報記憶部および学習部を備えるので、識別抽出部を再学習でき、更新できる。

本発明の一態様にかかる廃棄物撹拌状態評価方法は、収容部に収容された廃棄物の画像を取得する取得工程と、前記画像において、前記廃棄物の種類ごとに前記廃棄物の占有領域を識別して抽出する識別抽出工程と、前記識別抽出工程で抽出した前記廃棄物の種類ごとの各占有領域の総面積を求め、前記求めた総面積を前記収容部の収容領域の面積で除算することによって前記廃棄物の占有比率を求め、前記求めた占有比率を１から減算した減算結果を、比率で表した撹拌領域の大きさとして撹拌済みの撹拌領域を求めることにより、前記収容部に収容された廃棄物の撹拌状態を評価する評価工程とを備える。本発明の一態様にかかる廃棄物撹拌状態評価方法は、収容部に収容された廃棄物の画像を取得する取得工程と、前記画像において、前記廃棄物の種類ごとに前記廃棄物の占有領域を識別して抽出する識別抽出工程と、前記識別抽出工程で抽出した前記廃棄物の種類ごとの各占有領域の総面積を求め、前記求めた総面積を前記収容部の収容領域の面積から減算した減算結果を、撹拌済みの撹拌領域として求めることにより、前記収容部に収容された廃棄物の撹拌状態を評価する評価工程とを備える。

このような廃棄物撹拌状態評価方法は、廃棄物の種類ごとの各占有領域に基づいて、廃棄物の撹拌状態を評価するので、より適切に撹拌状態を評価できる。特に、直接認識アルゴリズムに較べて、上記廃棄物撹拌状態評価方法は、より適切に撹拌状態を評価できる。

本発明にかかる廃棄物撹拌状態評価装置および廃棄物撹拌状態評価方法は、より適切に撹拌状態を評価できる。

実施形態における廃棄物撹拌状態評価装置の構成を示すブロック図である。一例として、受入ピットを側面視した概略図である。前記識別抽出部における機械学習モデルの機械学習に利用される、学習データを説明するための図である。前記廃棄物撹拌状態評価装置に利用される、占有領域および評価手法を説明するための図である。前記廃棄物撹拌状態評価装置に利用される、撹拌領域割合と撹拌状態の良否との関係を説明するための図である。撹拌状態の評価に関する、前記廃棄物撹拌状態評価装置の動作を示すフローチャートである。一例として、撹拌状態の評価結果を示す図である。識別抽出部の機械学習に関する、前記廃棄物撹拌状態評価装置の動作を示すフローチャートである。

以下、本発明にかかる実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、適宜、その説明を省略する。なお、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。

本実施形態における廃棄物撹拌状態評価装置は、収容部に収容された廃棄物の画像を取得する取得部と、前記画像において、前記廃棄物の種類ごとに前記廃棄物の占有領域を識別して抽出する識別抽出部と、前記識別抽出部で抽出した前記廃棄物の種類ごとの各占有領域に基づいて、前記収容部に収容された廃棄物の撹拌状態を評価する評価部とを備える。以下、より具体的に説明する。

図１は、実施形態における廃棄物撹拌状態評価装置の構成を示すブロック図である。図２は、一例として、受入ピットを側面視した概略図である。図３は、前記識別抽出部における機械学習モデルの機械学習に利用される、学習データを説明するための図である。図３Ａは、受入ピットを撮像した画像の一例を示し、図３Ｂは、図３Ａに示す画像の受入ピット画像領域を、一部で重複するように６分割した学習データの画像を拡大で示す。図４は、前記廃棄物撹拌状態評価装置に利用される、占有領域および評価手法を説明するための図である。図４Ａは、廃棄物の種類ごとの各占有領域を示し、図４Ｂは、図４Ａに示す廃棄物の種類ごとの各占有領域を除く撹拌領域を示す。図５は、前記廃棄物撹拌状態評価装置に利用される、撹拌領域割合と撹拌状態の良否との関係を説明するための図である。図５の横軸は、百分率で表した撹拌領域割合を示し、その縦軸は、撹拌状態の良否の程度を示す。

実施形態における廃棄物撹拌状態評価装置Ｄは、例えば、図２に示す、廃棄物のゴミを受け入れる受入ピットＰＴに収容された廃棄物の撹拌状態を評価するために用いられる。受入ピットＰＴは、例えば、廃棄物のゴミを焼却するゴミ焼却施設に設けられ、底面および壁面をコンクリートで形成され天面を開放した略直方体状の空所（凹所）である。受入ピットＰＴには、クレーンガータＣＧに支持されクレーンガータＣＧから吊り下げされたクレーンＣＲが備えられている。図２に示すようにＸＹＺ直交座標系を設定した場合、クレーンＣＲは、クレーンガータＣＧに対しＺ方向（紙面上下方向）に沿って移動可能に構成され、クレーンガータＣＧに案内されてＹ方向（紙面左右方向）に沿って移動可能に構成され、クレーンガータＣＧは、Ｘ方向に延びる、図略のランウェイレールに案内されてＸ方向（紙面前後方向）に沿って移動可能に構成される。これによってクレーンＣＲは、Ｚ方向、Ｙ方向およびＸ方向の３次元の各方向に移動可能に構成されている。受入ピットＰＴに隣接して投入ホッパＨＰが設けられている。投入ホッパＨＰは、図略の焼却炉に繋がっており、受入ピットＰＴからクレーンＣＲによって掴み上げられた廃棄物が投入ホッパＨＰに投入されることで、廃棄物が焼却炉に導入され、焼却される。このようなクレーンＣＲの運用を制御するためのコンソール（制御卓）ＣＬがオペレーションルーム（運用室）ＯＲに配置される。受入ピットＰＴは、廃棄物を収容する収容部の一例に相当する。

このような受入ピットＰＴにおける廃棄物の撹拌状態を評価する実施形態の廃棄物撹拌状態評価装置Ｄは、例えば、図１に示すように、取得部１と、制御処理部２と、記憶部６とを備え、図１に示す例では、さらに、入力部３と、出力部４と、インターフェース部（ＩＦ部）５とを備える。

取得部１は、制御処理部２に接続され、収容部に収容された廃棄物の画像を取得する装置である。取得部１は、例えば、図２に示すように、受入ピットの上面全体を撮像できるように受入ピットＰＴの上方に配設され、受入ピットＰＴを俯瞰した画像（画像データ）をピット画像として生成する撮像装置である。図２に示すように、撮像装置の取得部１は、受入ピットＰＴを斜め上方から受入ピットＰＴを俯瞰するように壁面上端部に配設されてよいが、好ましくは、受入ピットの上面全体を容易に撮像できるように、撮像装置の取得部１は、受入ピットの中央位置上方（直上）に配設されてもよい。前記撮像装置は、デジタルカメラ等である。なお、取得部１は、通信を行う通信インターフェースであり、受入ピットＰＴの上方に配設された、例えばＷｅｂカメラ等の通信可能なデジタルカメラとネットワークを介して通信可能に接続されてもよい。

入力部３は、制御処理部２に接続され、例えば、撹拌状態の評価の開始を指示するコマンド等の各種コマンド、および、例えば学習データの教師データ等の、廃棄物撹拌状態評価装置Ｄを動作させる上で必要な各種データを廃棄物撹拌状態評価装置Ｄに入力する機器であり、例えば、所定の機能を割り付けられた複数の入力スイッチやキーボードやマウス等である。出力部４は、制御処理部２に接続され、制御処理部２の制御に従って、入力部３から入力されたコマンドやデータ、ピット画像および撹拌状態の評価結果等を出力する機器であり、例えばＣＲＴディスプレイ、液晶ディスプレイおよび有機ＥＬディスプレイ等の表示装置やプリンタ等の印刷装置等である。

なお、入力部３および出力部４からいわゆるタッチパネルが構成されてもよい。このタッチパネルを構成する場合において、入力部３は、例えば抵抗膜方式や静電容量方式等の操作位置を検出して入力する位置入力装置であり、出力部４は、表示装置である。このタッチパネルでは、前記表示装置の表示面上に前記位置入力装置が設けられ、前記表示装置に入力可能な１または複数の入力内容の候補が表示され、ユーザが、入力したい入力内容を表示した表示位置を触れると、前記位置入力装置によってその位置が検出され、検出された位置に表示された表示内容がユーザの操作入力内容として廃棄物撹拌状態評価装置Ｄに入力される。このようなタッチパネルでは、ユーザは、入力操作を直感的に理解し易いので、ユーザにとって取り扱い易い廃棄物撹拌状態評価装置Ｄが提供される。

ＩＦ部５は、制御処理部２に接続され、制御処理部２の制御に従って、外部機器との間でデータの入出力を行う回路であり、例えば、シリアル通信方式であるＲＳ－２３２Ｃのインターフェース回路、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格を用いたインターフェース回路、ＩｒＤＡ（ＩｎｆｒａｒｅｄＤａｔａＡｓｓｃｏｉａｔｉｏｎ）規格等の赤外線通信を行うインターフェース回路、および、ＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）規格を用いたインターフェース回路等である。また、ＩＦ部５は、外部機器との間で通信を行う回路であり、例えば、データ通信カードや、ＩＥＥＥ８０２．１１規格等に従った通信インターフェース回路等であってもよい。

記憶部６は、制御処理部２に接続され、制御処理部２の制御に従って、各種の所定のプログラムおよび各種の所定のデータを記憶する回路である。前記各種の所定のプログラムには、例えば、制御処理プログラムが含まれ、前記制御処理プログラムには、廃棄物撹拌状態評価装置Ｄの各部１、３～６を当該各部の機能に応じてそれぞれ制御する制御プログラムや、取得部１で取得した画像において、廃棄物の種類ごとに前記廃棄物の占有領域を識別して抽出する識別抽出プログラムや、前記識別抽出プログラムで抽出した前記廃棄物の種類ごとの各占有領域に基づいて、前記収容部に収容された廃棄物の撹拌状態を評価する評価プログラムや、取得部１で取得した画像において、廃棄物の種類ごとに前記廃棄物の占有領域を識別する機械学習モデルを、後述の学習情報記憶部６１に記憶された複数の学習データを用いて機械学習する学習プログラム等が含まれる。前記各種の所定のデータには、廃棄物であるか否かを判定するための閾値（判定閾値）や、撹拌状態を評価するための閾値（評価閾値）や、学習データ等の、これら各プログラムを実行する上で必要なデータが含まれる。前記判定閾値は、１個の値であってもよいが、本実施形態では、廃棄物の種類に応じて前記廃棄物の種類ごとに複数予め用意される。このような記憶部６は、例えば不揮発性の記憶素子であるＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）や書き換え可能な不揮発性の記憶素子であるＥＥＰＲＯＭ（ＥｌｅｃｔｒｉｃａｌｌｙＥｒａｓａｂｌｅＰｒｏｇｒａｍｍａｂｌｅＲｅａｄＯｎｌｙＭｅｍｏｒｙ）等を備える。そして、記憶部６は、前記所定のプログラムの実行中に生じるデータ等を記憶するいわゆる制御処理部２のワーキングメモリとなるＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等を含む。なお、記憶部６は、比較的大容量となる学習データを記憶するために、大容量を記憶可能なハードディスク装置を備えても良い。

記憶部６は、前記学習データを記憶する学習情報記憶部６１を機能的に含む。前記学習データは、前記収容部に収容された廃棄物の画像と、前記画像の画素ごとに対応付けられた、教師データとしての前記廃棄物の種類とを備える。より具体的には、図３Ａに示すように、画像のうちの受入ピットを写し込んだ領域（受入ピット画像領域）ＲＰが、複数、図３Ａに示す例では６個に、一部で重複するように所定のサイズ（例えば５００ｐｉｘｅｌ×５００ｐｉｘｅｌ等）で分割され、これら６分割された個々の各画像ＳＰ－１～ＳＰ－６が、それぞれ、１つの学習データの画像として利用される。そして、これら学習データの画像ＳＰ－1～ＳＰ－６それぞれにおいて、例えば図３Ｂに示す学習データの画像ＳＰ－３において、廃棄物を写し込んだ画像部分が領域ＴＤ－１や領域ＴＤ－２等で入力部３から指定され、この指定された各領域ＴＤ－１、ＴＤ－２における廃棄物の各種類が教師データとして入力部３から入力され、前記指定された各領域ＴＤ－１、ＴＤ－２内の各画素に前記入力された各教師データが割り付けられる。このように学習データの画像ＳＰ－１～ＳＰ－６に対して画素ごとに廃棄物の種類が教師データとしてマニュアルで対応付けられる。そして、これら互いに対応付けられた画像ＳＰ－１～ＳＰ－６および各教師データそれぞれが学習データの１つとして学習情報記憶部６１に記憶される。

制御処理部２は、廃棄物撹拌状態評価装置Ｄの各部１、３～６を当該各部の機能に応じてそれぞれ制御し、廃棄物の撹拌状態を評価するための回路である。制御処理部２は、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）およびその周辺回路を備えて構成される。制御処理部２には、前記制御処理プログラムが実行されることによって、制御部２１、識別抽出部２２、評価部２３および学習部２４が機能的に構成される。

制御部２１は、廃棄物撹拌状態評価装置Ｄの各部１、３～６を当該各部の機能に応じてそれぞれ制御し、廃棄物撹拌状態評価装置Ｄ全体の制御を司るものである。

識別抽出部２２は、取得部１で取得した画像（ピット画像）において、廃棄物の種類ごとに前記廃棄物の占有領域を識別して抽出するものである。本実施形態では、識別抽出部２２は、機能的に、機械学習モデル部２２１と、判定部２２２とを含む。

機械学習モデル部２２１は、取得部１で取得した画像において、廃棄物の種類ごとに前記廃棄物の占有領域を識別する機械学習モデルを備えるものである。この機械学習モデルは、本実施形態では、ピット画像が入力されると、ピット画像から、廃棄物を写し込んだ画像領域を前記廃棄物の占有領域として廃棄物の種類ごとに識別してその位置および大きさ（サイズ、面積、画素数）を特定し、前記識別した廃棄物の占有領域に対し、識別の信頼性の程度を表す信頼度を百分率で求め、これら廃棄物の占有領域（位置、大きさ）、その廃棄物の種類（種別）およびその信頼度を出力する。前記機械学習モデルは、例えば、線形回帰、ボルツマンマシン、ニューラルネットワーク（ｎｅｕｒａｌＮｅｔｗｏｒｋ）、サポートベクターマシン（ＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅ、ＳＶＭ）、ベイジアンネットワーク、決定木、ランダムフォレスト（ｒａｎｄｏｍｆｏｒｅｓｔ）等の機械学習に用いる公知の手法を利用したモデルを備えて構成される。本実施形態では、前記機械学習モデルには、ニューラルネットワークの1つである畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎｎｅｕｒａｌｎｅｔｗｏｒｋ、ＣＮＮ）が用いられ、その機械学習によってＣＮＮのパラメータが決定され、その識別力が獲得される。

判定部２２２は、機械学習モデル部２２１の機械学習モデルで識別した廃棄物の占有領域に対し、前記機械学習モデルから出力された信頼度に基づいて廃棄物であるか否かを最終的に判定するものである。より具体的には、判定部２２２は、前記機械学習モデルから出力された信頼度と前記信頼度と共に前記機械学習モデルから出力された廃棄物の種類に応じた判定閾値とを比較し、前記信頼度が前記判定閾値以上である場合に、最終的に廃棄物の占有領域と判定し、前記信頼度が前記判定閾値未満である場合に、最終的に廃棄物の占有領域と判定しない。

このように機械学習モデルと閾値判定とを組み合わせることで、より精度よく廃棄物の占有領域が抽出できる。そして、本実施形態では、廃棄物の種類ごとに判定閾値が用意されているので、廃棄物の種類に応じた属性（例えば識別のし易さ等）を考慮して廃棄物を識別でき、より精度よく廃棄物の占有領域が抽出できる。

このような識別抽出部２２は、例えば、図４Ａに示すピット画像を処理すると、廃棄物の種類ごとに前記廃棄物の占有領域を識別し、前記廃棄物の占有領域（位置、大きさ）およびその廃棄物の種類を出力する。図４Ａに示す例では、廃棄物の種類として草木ゴミおよび袋ゴミが識別され、草木ゴミおよび袋ゴミそれぞれの各占有領域が矩形でピット画像上に表示される。前記矩形の表示位置およびその大きさで、占有領域の位置および大きさが表示されている。

評価部２３は、識別抽出部２２で識別した前記廃棄物の種類ごとの各占有領域に基づいて、前記収容部に収容された廃棄物の撹拌状態を評価するものである。より具体的には、評価部２３は、廃棄物の種類ごとの各占有領域に基づいて、撹拌済みの撹拌領域を求め、前記求めた撹拌領域の大きさに基づいて、前記廃棄物の撹拌状態を評価する。

本実施形態では、廃棄物の占有領域を除く残余の領域が撹拌領域とされる。例えば、図４Ａに示す例では、図４Ｂに示すように、ハッチングされた廃棄物の占有領域ＨＲを除く、ハッチングされていない残余の領域ＮＲ－１、ＮＲ－２が撹拌領域とされる。より詳しくは、評価部２３は、廃棄物の種類ごとの各占有領域の総面積を求め、この求めた総面積を前記収容部の収容領域の面積で除算することによって前記廃棄物の占有比率を求め、この求めた占有比率を１から減算した減算結果を、比率で表した撹拌領域の大きさとする。例えば、受入ピットＰＴの面積（画総数）をＳ（ピット）とし、草木ゴミの総面積（総画素数）をＳ（草木）とし、袋ゴミの総面積（総画素数）をＳ（袋）とした場合、比率で表した撹拌領域の大きさＳ（撹拌）［％］は、次式１で表される。
式１；Ｓ（撹拌）＝（１－（Ｓ（草木）＋Ｓ（袋））／Ｓ（ピット））
ここで、占有領域を表した矩形が一部で重畳している場合には、重畳している一方のみで前記総面積Ｓ（草木）、Ｓ（袋）が求められる。なお、評価部２３は、廃棄物の種類ごとの各占有領域の総面積を求め、この求めた総面積を前記収容部の収容領域の面積から減算した減算結果を前記撹拌領域の大きさとしてもよい（Ｓ（撹拌）＝Ｓ（ピット）－（Ｓ（草木）＋Ｓ（袋））。

そして、評価部２３は、この求めた撹拌領域の大きさと所定の閾値（評価閾値）とを比較することによって、前記廃棄物の撹拌状態を評価する。

前記評価閾値は、1個で撹拌の良否を評価してもよいが、本実施形態では、撹拌状態を複数の段階（レベル）で評価するために、複数である。例えば、図５に示すように、不良（×）、普通（△）、良（○）および最良（◎）の４段階で評価するために、前記評価閾値は、３個の第１ないし第３評価閾値Ｔｈ１～Ｔｈ３を備える（Ｔｈ１＜Ｔｈ２＜Ｔｈ３［％］）。前記不良（×）は、撹拌が不十分である撹拌状態であり、比率で表した撹拌領域の大きさが第１評価閾値Ｔｈ１以下である場合に、評価部２３は、この不良（×）と評価する。前記良（○）は、撹拌の目的に適う程度に撹拌されている撹拌状態であり、比率で表した撹拌領域の大きさが第２評価閾値Ｔｈ２を超え第３評価閾値Ｔｈ３以下である場合に、評価部２３は、この良（○）と評価する。前記最良（◎）は、十分に撹拌されている撹拌状態であり、比率で表した撹拌領域の大きさが第３評価閾値Ｔｈ３を超える場合に、評価部２３は、この最良（◎）と評価する。前記普通（△）は、撹拌されているが前記普通に達するまで撹拌されていない撹拌状態であり、可能であれば撹拌した方が好ましい撹拌状態であり、比率で表した撹拌領域の大きさが第１評価閾値Ｔｈ１を超え第２評価閾値Ｔｈ２以下である場合に、評価部２３は、この普通（△）と評価する（不良＜普通＜良＜最良）。これら３個の第１ないし第３評価閾値Ｔｈ１～Ｔｈ３は、それぞれ、例えばクレーンＣＲを運用するオペレータの経験等を参考に適宜に設定され、前記不良と前記普通とを弁別する第１評価閾値Ｔｈ１は、例えば、２５［％］や３０［％］等に設定され、前記普通と前記良とを弁別する第２評価閾値Ｔｈ２は、例えば、５０［％］等に設定され、前記良と前記最良とを弁別する第３評価閾値Ｔｈ３は、例えば、７０［％］や７５［％］や８０［％］等に設定される。

学習部２４は、識別抽出部２２の機械学習モデルを、学習情報記憶部６１に記憶された複数の学習データを用いて機械学習し、この機械学習した機械学習モデルで識別抽出部２２の機械学習モデルを更新するものである。本実施形態では、学習部２４は、学習データの画像に対し、教師データの入力を入力部３から受け付け、前記画像と前記教師データとを互いに対応付けて学習データの１つとして学習情報記憶部６１に記憶する。

これら制御処理部２、入力部３、出力部４、ＩＦ部５および記憶部６は、例えば、デスクトップ型やノート型等のコンピュータによって構成可能である。これら各部２～６を構成するコンピュータは、例えば、オペレーションルームＯＲに配置され、コンソールＣＬに組み込まれてよく（コンソールＣＬと兼用されてよく）、あるいは、コンソールＣＬと別体であってもよい。

次に、本実施形態の動作について説明する。図６は、撹拌状態の評価に関する、前記廃棄物撹拌状態評価装置の動作を示すフローチャートである。図７は、一例として、撹拌状態の評価結果を示す図である。図８は、識別抽出部の機械学習に関する、前記廃棄物撹拌状態評価装置の動作を示すフローチャートである。

このような構成の廃棄物撹拌状態評価装置Ｄは、その電源が投入されると、必要な各部の初期化を実行し、その稼働を始める。制御処理部２には、その制御処理プログラムの実行によって、制御部２１、識別抽出部２２、評価部２３および学習部２４が機能的に構成され、識別抽出部２２には、機械学習モデル部２２１および判定部２２２が機能的に構成される。

以下、まず、第１に、撹拌状態の評価に関する廃棄物撹拌状態評価装置Ｄの動作について説明し、次に、第２に、識別抽出部の機械学習に関する廃棄物撹拌状態評価装置Ｄの動作について説明する。なお、撹拌状態の評価に関する廃棄物撹拌状態評価装置Ｄの動作の説明では、識別抽出部２２の機械学習モデルは、予め機械学習済みで記憶部６に記憶され、記憶部６から制御処理部２に読み込まれることで、機械学習済みの機械学習モデルを備えた識別抽出部２２の機械学習モデル部２２１が機能的に構成されるものとする。

第1に、撹拌状態の評価に関する廃棄物撹拌状態評価装置Ｄの動作では、図６において、まず、廃棄物撹拌状態評価装置Ｄは、取得部１によってピット画像を取得し、この取得したピット画像を制御処理部２によって記憶部６に記憶する（Ｓ１１）。このピット画像は、後述のように学習データにも利用される。

次に、廃棄物撹拌状態評価装置Ｄは、制御処理部２の識別抽出部２２によって、処理Ｓ１１で取得部１によって取得したピット画像において、廃棄物の種類ごとに前記廃棄物の占有領域を識別して抽出する（Ｓ１２）。本実施形態では、機械学習モデル部２２１は、前記ピット画像から、廃棄物を写し込んだ画像領域を前記廃棄物の占有領域として廃棄物の種類ごとに識別し、その廃棄物の占有領域（位置、大きさ）、種類および信頼度を出力する。判定部２２２は、機械学習モデル部２２１の機械学習モデルで識別した廃棄物の占有領域に対し、前記機械学習モデルから出力された信頼度に基づいて廃棄物であるか否かを最終的に判定し、最終的に判定した廃棄物の占有領域を出力する。そして、識別抽出部２２は、判定部２２２で最終的に判定した廃棄物の占有領域（位置、大きさ）およびその廃棄物の種類を評価部２３に通知する。

次に、廃棄物撹拌状態評価装置Ｄは、制御処理部２の評価部２３によって、撹拌領域を求める（Ｓ１４）。本実施形態では、評価部２３は、上述の式１によって、比率で表した撹拌領域の大きさを求める。

次に、廃棄物撹拌状態評価装置Ｄは、制御処理部２の評価部２３によって、処理Ｓ１４で求めた撹拌領域の大きさに基づいて、廃棄物の撹拌状態を評価する（Ｓ１５）。本実施形態では、評価部２３は、この求めた撹拌領域の大きさと第１ないし第３評価閾値Ｔｈ１～Ｔｈ３とを比較することによって、廃棄物の撹拌状態を評価する。

そして、廃棄物撹拌状態評価装置Ｄは、制御処理部２の制御部２１によって、評価結果を出力し、本処理を終了する。例えば、図７に示すように、ピット画像ＲＰおよび撹拌状態ＲＭが出力部４に表示され、ピット画像ＲＰには、評価部２３で求められた撹拌領域ＳＰが枠線で表示される。

撹拌状態が評価されると、クレーンＣＲが運用され、必要に応じて撹拌が実行される。例えば、撹拌領域と判定されなかった領域の廃棄物がクレーンＣＲによって掴み上げられ、その位置で、あるいは、別の位置で、廃棄物がクレーンＣＲから落下されることで撹拌される。

このような撹拌状態の評価に関する廃棄物撹拌状態評価装置Ｄの動作は、適宜にタイミングで実行される。例えば、走行、巻下、把持、巻上、走行および把持解消というクレーンＣＲによる一連の１回の撹拌動作ごとに、あるいは、複数回の撹拌動作ごとに、前記評価の動作が実行される。

第２に、識別抽出部の機械学習に関する廃棄物撹拌状態評価装置Ｄの動作では、図８において、まず、廃棄物撹拌状態評価装置Ｄは、制御処理部２の学習部２４によって、学習データを生成するために、前記評価の動作に際に取得した、教師データが付与されていないピット画像を記憶部６から取得する（Ｓ２１）。

次に、廃棄物撹拌状態評価装置Ｄは、学習部２４によって、前記取得したピット画像の１つを出力部４に出力し、教師データの入力を受け付ける（Ｓ２２）。ユーザは、上述のように、出力部４に出力されたピット画像において、廃棄物を写し込んだ画像部分を領域で入力部３から指定し、この指定した領域における廃棄物の各種類を教師データとして入力部３から入力する。

次に、廃棄物撹拌状態評価装置Ｄは、学習部２４によって、入力部３で指定された領域内の各画素に、入力部３で受け付けた教師データを対応付け、これら互いに対応付けられたピット画像および教師データそれぞれが学習データの１つとして学習情報記憶部６１に記憶する（Ｓ２３）。これによって学習データが更新（追加）され、学習情報記憶部６１に記憶される。

次に、廃棄物撹拌状態評価装置Ｄは、学習部２４によって、処理Ｓ２１で取得した全てのピット画像に対し、教師データを付与したか否かを判定する（Ｓ２４）。この判定の結果、未付与のピット画像が有る場合（Ｎｏ）には、学習部２４は、処理をＳ２２に戻す。一方、前記判定の結果、全てのピット画像に教師データが付与されている場合（Ｙｅｓ）には、学習部２４は、次に。処理をＳ２５を実行する。

この処理Ｓ２５では、廃棄物撹拌状態評価装置Ｄは、学習部２４によって、機械学習の開始か否かを判定する。この判定の結果、機械学習の開始ではない場合（Ｎｏ）には、学習部２４は、本処理を終了する。一方、前記判定の結果、機械学習の開始である場合（Ｙｅｓ）には、学習部２４は、次に、処理Ｓ２６および処理Ｓ２７を順次に実行し、本処理を終了する。例えば、ユーザによって入力部３から機械学習の開始の指示を受け付けた場合に、学習部２４は、機械学習の開始であると判定する。また例えば、前回の機械学習から３ヶ月や６ヶ月等の所定の期間が経過している場合に、学習部２４は、機械学習の開始であると判定する。

この処理Ｓ２６では、廃棄物撹拌状態評価装置Ｄは、学習部２４によって、識別抽出部２２の機械学習モデルを、学習情報記憶部６１に記憶された複数の学習データを用いて機械学習する。

そして、この処理Ｓ２６に続く処理Ｓ２７では、廃棄物撹拌状態評価装置Ｄは、学習部２４によって、処理Ｓ２６で機械学習した機械学習モデルで識別抽出部２２の機械学習モデルを更新する。

このように撹拌状態の評価に利用されたピット画像が学習データに追加され、この学習データを用いて識別抽出部２２の機械学習モデルが機械学習され、更新される。

以上説明したように、本実施形態における廃棄物撹拌状態評価装置Ｄおよびこれに実装された廃棄物撹拌状態評価方法は、廃棄物の種類ごとの各占有領域に基づいて、廃棄物の撹拌状態を評価するので、より適切に撹拌状態を評価できる。受入ピットＰＴに収容される廃棄物の種類は、多種類であるため、これらが撹拌された撹拌領域の画像は、多様性を有する。このため、画像から、撹拌領域を、直接、認識する直接認識アルゴリズムでは、１つの画像処理手順でこのような多様性を有する撹拌領域を網羅的に認識することが難しい。一方、上記廃棄物撹拌状態評価装置Ｄおよび廃棄物撹拌状態評価方法は、撹拌領域の識別に較べて識別し易い廃棄物を、まず識別してから、廃棄物の撹拌状態を評価するので、前記直接認識アルゴリズムに較べて、より適切に撹拌状態を評価できる。

上記廃棄物撹拌状態評価装置Ｄおよび廃棄物撹拌状態評価方法は、識別抽出部２２に機械学習モデルを用いるので、例えば階調化や二値化等の、画像から占有領域を抽出する情報処理手順を事前に構築する必要が無い。

上記廃棄物撹拌状態評価装置Ｄおよび廃棄物撹拌状態評価方法は、学習情報記憶部６１および学習部２４を備えるので、識別抽出部２２を再学習でき、更新できる。

そして、本実施形態によれば、廃棄物の種類ごとの各占有領域に基づいて撹拌済みの撹拌領域を求めて、廃棄物の撹拌状態を評価する廃棄物撹拌状態評価装置Ｄおよび廃棄物撹拌状態評価方法が提供できる。

なお、上述の実施形態では、評価部２３は、廃棄物の種類ごとの各占有領域に基づいて、撹拌済みの撹拌領域を求め、前記求めた撹拌領域の大きさに基づいて、前記廃棄物の撹拌状態を評価したが、廃棄物の種類ごとの各占有領域に基づいて廃棄物の撹拌状態を評価する評価手法は、これに限らず、他の手法であってもよい。例えば、評価部２３は、廃棄物の種類ごとの各占有領域の各大きさと所定の条件とを比較した結果、前記所定の条件を満たす廃棄物の種類における占有領域の大きさに基づいて、前記廃棄物の撹拌状態を評価してもよい。より具体的には、前記所定の条件は、所定の第１条件値以上の占有比率を持つ廃棄物の種類が所定の第２条件値以上であることであり、評価部２３は、前記所定の条件を満たす廃棄物の種類における占有比率のうちの最大の占有比率と所定の閾値（評価閾値）とを比較することによって、前記廃棄物の撹拌状態を評価する。これによれば、所定の条件を満たす廃棄物の種類における占有領域の大きさに基づいて、廃棄物の撹拌状態を評価する廃棄物撹拌状態評価装置Ｄおよび廃棄物撹拌状態評価方法が提供できる。

一例では、前記所定の第１条件値ＣＶ１は、２０［％］等であって、前記所定の第２条件値ＣＶ２は、３等である。すなわち、前記所定の条件は、２０％以上の占有比率を持つ廃棄物の種類が３種類以上であることである。前記所定の閾値（評価閾値）は、２個の第４および第５評価閾値Ｔｈ４、Ｔｈ５を備える（Ｔｈ４＜Ｔｈ５［％］）。第４評価閾値Ｔｈ４は、例えば、３３［％］等に設定され、第５評価閾値ｔｈ２は、例えば、４８［％］等に設定される。これら第１および第２条件値ＣＶ１、ＣＶ２ならびに第４および第５評価閾値Ｔｈ４、Ｔｈ５は、それぞれ、例えばクレーンＣＲを運用するオペレータの経験等を参考に適宜に設定される。前記比較の結果、前記所定の条件を満たさない場合、評価部２３は、前記不良（×）と評価し、前記所定の条件を満たす場合は、評価部２３は、前記最良（◎）、前記良（○）および前記普通（△）の何れかと評価し、さらに、次のように判定する。前記最大の占有比率が第４閾値Ｔｈ４以下である場合に、評価部２３は、前記最良（◎）と評価する。前記最大の占有比率が第４閾値Ｔｈ４を超え第５閾値Ｔｈ５以下である場合に、評価部２３は、前記良（○）と評価する。前記最大の占有比率が第５閾値Ｔｈ５を超える場合に、評価部２３は、前記普通（△）と評価する。

例えば、識別抽出部２２の処理の結果、草木ゴミの占有比率が４０［％］であり、汚泥ゴミの占有比率が２５［％］であり、白い袋ゴミの占有比率が２５［％］であり、黒い袋ゴミの占有比率が１０［％］である場合、２０％以上の占有比率を持つ廃棄物の種類が草木ゴミ、汚泥ゴミおよび白い袋ゴミの３種類以上であるので、評価部２３は、前記所定の条件を満たすと判定する。続いて、これら草木ゴミ、汚泥ゴミおよび白い袋ゴミのうち最大の占有比率を持つ草木ゴミの占有比率４０［％］と第４および第５評価閾値Ｔｈ４、Ｔｈ５とが比較され、この最大の占有比率４０［％］が第４閾値Ｔｈ４を超え第５閾値Ｔｈ５以下であるので、評価部２３は、前記良（○）と評価する。また例えば、識別抽出部２２の処理の結果、草木ゴミの占有比率が５０［％］であり、汚泥ゴミの占有比率が１５［％］であり、白い袋ゴミの占有比率が１５［％］であり、黒い袋ゴミの占有比率が２０［％］である場合、２０％以上の占有比率を持つ廃棄物の種類が草木ゴミおよび黒い袋ゴミの２種類であるので、評価部２３は、前記所定の条件を満たさないと判定し、前記不良（×）と評価する。

本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および／または改良することは容易に為し得ることであると認識すべきである。したがって、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。

Ｄ廃棄物撹拌状態評価装置
１取得部
２制御処理部
３入力部
４出力部
６記憶部
２１制御部
２２識別抽出部
２３評価部
２４学習部
６１学習情報記憶部
２２１機械学習モデル部
２２２判定部

Claims

収容部に収容された廃棄物の画像を取得する取得部と、
前記画像において、前記廃棄物の種類ごとに前記廃棄物の占有領域を識別して抽出する識別抽出部と、
前記識別抽出部で抽出した前記廃棄物の種類ごとの各占有領域の総面積を求め、前記求めた総面積を前記収容部の収容領域の面積で除算することによって前記廃棄物の占有比率を求め、前記求めた占有比率を１から減算した減算結果を、比率で表した撹拌領域の大きさとして撹拌済みの撹拌領域を求めることにより、前記収容部に収容された廃棄物の撹拌状態を評価する評価部とを備える、
廃棄物撹拌状態評価装置。
収容部に収容された廃棄物の画像を取得する取得部と、
前記画像において、前記廃棄物の種類ごとに前記廃棄物の占有領域を識別して抽出する識別抽出部と、
前記識別抽出部で抽出した前記廃棄物の種類ごとの各占有領域の総面積を求め、前記求めた総面積を前記収容部の収容領域の面積から減算した減算結果を、撹拌済みの撹拌領域として求めることにより、前記収容部に収容された廃棄物の撹拌状態を評価する評価部とを備える、
廃棄物撹拌状態評価装置。
前記識別抽出部は、前記画像において、前記廃棄物の種類ごとに前記廃棄物の占有領域を識別する機械学習モデルを含む、
請求項１または請求項２に記載の廃棄物撹拌状態評価装置。
前記識別抽出部は、前記画像において、前記廃棄物の種類ごとに前記廃棄物の占有領域を識別する機械学習モデルを含み、
複数の学習データを記憶する学習情報記憶部と、
前記学習情報記憶部に記憶された複数の学習データを用いて前記機械学習モデルを機械学習する学習部とをさらに備え、
前記学習データは、前記収容部に収容された廃棄物の画像と、前記画像の画素ごとに対応付けられた、教師データとしての前記廃棄物の種類とを備える、
請求項１または請求項２に記載の廃棄物撹拌状態評価装置。
収容部に収容された廃棄物の画像を取得する取得工程と、
前記画像において、前記廃棄物の種類ごとに前記廃棄物の占有領域を識別して抽出する識別抽出工程と、
前記識別抽出工程で抽出した前記廃棄物の種類ごとの各占有領域の総面積を求め、前記求めた総面積を前記収容部の収容領域の面積で除算することによって前記廃棄物の占有比率を求め、前記求めた占有比率を１から減算した減算結果を、比率で表した撹拌領域の大きさとして撹拌済みの撹拌領域を求めることにより、前記収容部に収容された廃棄物の撹拌状態を評価する評価工程とを備える、
廃棄物撹拌状態評価方法。
収容部に収容された廃棄物の画像を取得する取得工程と、
前記画像において、前記廃棄物の種類ごとに前記廃棄物の占有領域を識別して抽出する識別抽出工程と、
前記識別抽出工程で抽出した前記廃棄物の種類ごとの各占有領域の総面積を求め、前記求めた総面積を前記収容部の収容領域の面積から減算した減算結果を、撹拌済みの撹拌領域として求めることにより、前記収容部に収容された廃棄物の撹拌状態を評価する評価工程とを備える、
廃棄物撹拌状態評価装置。