JP5969685B1 - 廃棄物選別システム及びその選別方法 - Google Patents

Abstract

【課題】廃棄物の選別に関し、廃棄物の素材を判定する際の教師データを効率的に収集して記憶させることを可能とする。【解決手段】廃棄物Ｗをコンベア２０で搬送し、搬送中の廃棄物Ｗ１，Ｗ２，Ｗ３・・・を撮像装置群１０で撮像する。撮像された廃棄物Ｗ１，Ｗ２，Ｗ３・・・をモニタ３０に表示する。作業者がモニタ３０の画像から素材を判別し、入力部２１により素材を指定すると、画像データ１１Ａ〜１４Ａと重量センサ１５で取得したデータに素材情報が紐付けされる。これを教師データＤとして学習を実施し、教師データ記憶部４５に記憶する。【選択図】図１

Description

本発明は、一般廃棄物又は産業廃棄物の選別システム及びその選別方法に関し、特に、解体処理した住宅や施設あるいは災害瓦礫などの廃棄物を選別する廃棄物選別システム及びその選別方法に関する。

近年、資源の有効活用の観点から、廃棄物をリサイクル可能な資源として再利用することが求められている。そのためには、一般家庭などから出されるゴミの分別化が義務付けられており、テレビや冷蔵庫等の家電製品の場合はリサイクル法により処理が義務づけられている。一方、住宅や施設を解体処理した際に発生する廃棄物や、災害時に発生する瓦礫などの廃棄物には、木材、金属類、ガラス類、プラスチック類などが混在した状態であり、このように廃棄物を再利用するためには、素材毎に分別することが必要であり、これらの多くは人手により分別されていのが現状である。

これに対して、この種の廃棄物の選別システムとして、非特許文献１においては、廃棄物の選別作業において、複数のセンサ、データマイニング、人工知能を駆使し、これまでの光学センサーなどで認識していたレベルとは別次元の機械選別が可能になるとした選別ロボットが開示されている。

また、特許文献１には、フラットパネルディスプレイを含む廃棄物の選別システムが提案されている。この選別システムは、フラットパネルディスプレイを含む廃棄物を搬送するコンベアと、このコンベア上の廃棄物を撮像する撮像素子と、前記撮像素子に接続された選別処理装置と、前記選別処理装置に接続され、前記コンベア上の前記廃棄物を取り出すロボットアーム部とを備え、前記選別処理装置は、前記フラットパネルディスプレイの外郭および前記フラットパネルディスプレイを構成する部材の外郭を含む形状データを記憶する形状データ記憶部と、前記撮像素子が撮像した前記廃棄物の画像データを処理する画像データ処理部と、前記形状データ記憶部の形状データと、前記画像データ処理部の画像データとを対比する対比処理部と、前記対比処理部での対比結果に基づいて、前記ロボットアーム部を操作する操作部とで構成されている。

非特許文献１における選別システムでは、具体的な選別手法は明らかにされていないが、特許文献１の廃棄物の選別システムでは、一般廃棄物の空き缶（金属材料の部材）などの画像データやフラットパネルディスプレイの外郭およびフラットパネルディスプレイを構成する部材の外郭を含む形状データあるいは破壊又は分解されたフラットパネルディスプレイやフラットパネルディスプレイの構成部材の形状データを予め形状データ記憶部に格納し、コンベア上を流れる廃棄物を撮像し、対比処理部での対比結果が撮像された画像データと形状データ記憶部に格納された形状データとを対比する。この対比において一致するか否かを判定し、一致した場合、廃棄物の素材が特定される。この判定結果に基づいてロボットアーム部を駆動し、コンベアから廃棄物を取り出して選別するシステムである。また、対比処理部での対比結果が一致しない場合、作業者が撮像したコンベア上の廃棄物の画像データをモニタ上で確認し、作業者が廃棄物の種類を指定することによって、ロボットアーム部を駆動する。このように、作業者が指定した廃棄物の画像データは形状データ記憶部に格納され、以後の対比判定する際の形状データと記憶される。

特開２０１２−１１５７８５号公報

http://www.sun-earth.jp/zenrobotics/index.html

非特許文献１に開示された選別ロボットにおいては、導入された選別ロボットの人工知能の能力に応じた選別は可能なものである。また、特許文献１の廃棄物の選別システムは、液晶ディスプレイなど特定の電化製品の選別処理を効率化するための技術であって、選別対象である液晶ディスプレイの構成部品や、分解した部品、変形した部品、破損した部品の形状データを形状データ記憶部に予め登録している。しかし、選別対象として特定の電化製品に限定しない場合、例えば、住宅を解体した際の瓦礫や災害によって発生する瓦礫などの分別は、木材、プラスチック、紙、サイディング、石膏ボードや繊維など選別対象が多く、解体処理した廃棄物の形状や大きさも種々異なり、対比処理部での対比として予め登録する形状データが膨大である。このため、このような技術を住宅を解体した際廃棄物や災害によって発生する瓦礫などの選別に適用した場合において、比較するためにあらゆる廃棄物の形状データ等を予め登録することは極めて困難であるとともに、自動選別の精度も低くなるものである。

いずれにしても、人工知能により廃棄物を選別する際の選別精度は、その選別装置或いは選別ロボットに搭載される人工知能の知能程度によって決まるものである。しかしながら、廃棄物、特に、災害瓦礫等の廃棄物は多種多様な素材が混在するものであり、その種類も地域によって差異があり、固定的な選別アルゴリズムでは必ずしも満足のいく選別結果は得られないことがある。

本発明は、かかる点に鑑みてなされたものであり、多種多様な素材が混在する瓦礫や建築物を解体処理した廃棄物であっても効率良く選別することができる廃棄物の選別システムおよびその選別方法を提供することを目的とするものであり、選別システムの日々の運用により、各ユーザや地域に応じた的確な廃棄物の素材による選別が可能となる学習効果の高い廃棄物の選別システムおよびその選別方法を提供するものである。

本発明の廃棄物の選別システムは、廃棄物を搬送する搬送手段と、当該搬送手段で搬送される廃棄物の映像を撮像する撮像装置と、当該撮像装置で撮像した廃棄物の映像を表示する表示手段と、前記搬送手段で搬送される廃棄物の素材情報を教示する判別素材入力部と、前記搬送手段で搬送される廃棄物を取り上げるロボットアームと、当該ロボットアームを駆動して前記廃棄物を素材毎に選別する制御部とを備え、
前記制御部は、前記撮像装置で撮像された廃棄物の画像データを画像処理する画像処理部と、該画像処理した画像データに前記判別素材入力部で入力された廃棄物の素材情報を紐付けし、これを選別教師データとして教師データ記憶部に記憶する選別教師データ生成部と、前記判別素材入力部で入力された廃棄物の素材情報に基づいて、前記ロボットアームに対して選別指示を出す選別処理部とを備えた廃棄物の選別システムであって、
前記撮像装置として、廃棄物の形状及び色彩画像を撮影するＲＧＢカメラ、廃棄物の透過Ｘ線画像を撮影するＸ線カメラ、廃棄物の近赤外線画像を撮影する近赤外線カメラ、廃棄物の３次元画像を撮影する３Ｄカメラを備え、
さらに、前記搬送手段で搬送される廃棄物の特性を表す数値データを取得するセンサとして重力センサを備え、
前記制御部は、前記３Ｄカメラで撮像された画像の輪郭から廃棄物の体積を演算処理し、さらに、その体積と前記重量センサで取得した重量から廃棄物の比重を演算して前記表示手段の表示部に廃棄物の重量、体積、比重を表示し、
さらに、前記制御部は、前記判別素材入力部で入力された廃棄物の素材情報を選別のための教師情報として学習を実施し、前記撮像装置で撮像された画像データから廃棄物の素材を判別する機械学習部を備え、 前記選別教師データ生成部は、前記センサで取得した数値データを前記画像データ及び前記素材情報と紐付けして選別教師データとして教師データ記憶部に記憶したことを特徴とする。

また、本発明の廃棄物の選別システムは、前記廃棄物の素材情報を指定する判別素材入力部は、前記ロボットアームを備えた搬送手段とは離れた位置に備えられており、前記判別素材入力部により素材情報を指定することにより前記ロボットアームを遠隔操作することを特徴とする。

また、本発明の廃棄物の選別システムは、複数台の選別システムと前記記憶部がネットワークで接続され、前記各選別システムからの選別教師データが蓄積データとして教師データ記憶部に記憶されることを特徴とする。

また、本発明の廃棄物の選別システムは、前記制御部が、機械学習部の学習結果によって前記撮像装置で撮像された廃棄物の画像データから廃棄物の素材を判定する素材判定部を備え、この素材判定部で素材が判定された画像データに対して前記選別教師データ生成部が撮像装置で撮像された廃棄物の画像データに素材情報を紐付けし、これを選別教師データとして記憶部に記憶することを特徴とする。

また、本発明の廃棄物の選別システムは、前記素材判定部で廃棄物の素材が判定されなかった場合、作業者が表示手段で廃棄物の画像を確認して作業者の判断で素材を判定し、前記判別素材入力部により素材情報を指定することによって、前記選別教師データ生成部が撮像装置で撮像された廃棄物の画像データに素材情報を紐付けし、これを選別教師データとして記憶部に記憶することを特徴とする。

本発明の廃棄物の選別方法は、廃棄物を搬送する搬送手段と、当該搬送手段で搬送される廃棄物の映像を撮像する撮像装置と、当該撮像装置で撮像した廃棄物の映像を表示する表示手段と、前記搬送手段で搬送される廃棄物の素材情報を教示する判別素材入力部と、前記搬送手段で搬送される廃棄物を取り上げるロボットアームと、当該ロボットアームを駆動して前記廃棄物を素材毎に選別する制御部とを備え、
前記制御部は、前記撮像装置で撮像された廃棄物の画像データを画像処理する画像処理部と、該画像処理した画像データに前記判別素材入力部で入力された廃棄物の素材情報を紐付けし、これを選別教師データとして教師データ記憶部に記憶する選別教師データ生成部と、前記判別素材入力部で入力された廃棄物の素材情報に基づいて、前記ロボットアームに対して選別指示を出す選別処理部とを備えた廃棄物の選別システムによって廃棄物を選別する方法であって、
前記撮像装置として、廃棄物の形状及び色彩画像を撮影するＲＧＢカメラ、廃棄物の透過Ｘ線画像を撮影するＸ線カメラ、廃棄物の近赤外線画像を撮影する近赤外線カメラ、廃棄物の３次元画像を撮影する３Ｄカメラを備えて廃棄物を撮像し、
さらに、前記搬送手段で搬送される廃棄物の特性を表す数値データを取得するセンサとして重力センサにより廃棄物の重量を計測し、
前記制御部は、前記３Ｄカメラで撮像された画像の輪郭から廃棄物の体積を演算処理し、さらに、その体積と前記重量センサで取得した重量から廃棄物の比重を演算して前記表示手段の表示部に廃棄物の重量、体積、比重を表示し、
さらに、前記制御部は、前記判別素材入力部で入力された廃棄物の素材情報を選別のための教師情報として学習を実施し、前記撮像装置で撮像された画像データから廃棄物の素材を判別する機械学習部を備えており、前記選別教師データ生成部は、前記センサで取得した数値データを前記画像データ及び前記素材情報と紐付けして選別教師データとして教師データ記憶部に記憶することを特徴とする。

本発明の廃棄物の選別システムは、搬送手段上を搬送される廃棄物を、撮像装置で撮像された画像データ及び各種センサからの計測データに基づいて、その素材別に選別する際に、作業者が特定の廃棄物の素材情報を指定することによって、作業者が指定した素材情報が撮像装置で撮像された画像データ及び各種センサからの計測データと紐付けされて、選別教師データとして記憶部に記憶される。この選別教師データは、本発明の選別システムが廃棄物を選別する際の教師データとして利用され、学習データとして蓄積され、日々学習して高精度化される。この選別教師データは、瓦礫或いは住宅の解体によって生じる廃棄物をコンベアで搬送して選別する毎に、画像データや各種センサからの計測データに紐づけて記憶される。このように、作業者が素材を指定することにより、形状や大きさ、色調、色彩などが異なる種々の廃棄物に対する選別教師素材データを極めて効率的に収集・構築することができ、廃棄物選別の基礎データとすることができる。

また、本発明は、日々の選別操作を実行しながら、機械学習部の学習機能によって選別教師素材データの選別精度の向上を図ることもできるように、撮像装置で撮像された廃棄物の画像データ及び各種センサからの計測データに基づいて廃棄物の素材を判定する素材判定部に機械学習部を備えることにより、コンベアを流れる廃棄物の素材を判定する精度を向上することができるし、究極的には、その判定結果のみに従ってロボットアーム部による廃棄物の自動選別が可能となる。

本発明の廃棄物選別システムの実施例１の選別システムの構成概略説明図である。 本発明の廃棄物選別システムの実施例１に用いられるモニタの表示形態の一例を示す説明図である。 本発明の廃棄物選別システムの実施例１の選別システムに用いられる制御系のブロック図である。 本発明の廃棄物選別システムの実施例１における処理手順を示すフローチャートである。 本発明の廃棄物選別システムの実施例２の選別システムに用いられる制御系のブロック図である。 本発明の廃棄物選別システムの実施例２における処理手順を示すフローチャートである。

以下、本発明の廃棄物選別システム及びその選別方法の詳細について添付図面を参照して説明する。

本発明の実施例１の選別システム１００は、住宅などの解体処理時あるいは災害時に発生する瓦礫などの選別する選別システムに適用した場合を例として説明する。勿論、実施例１としてこのような廃棄物を例にとって本発明を説明したとしても、それが本発明の技術的範囲を何ら限定するものではない。

本実施例１の選別システム１００は、図１の概略説明図で示すように、廃棄物１の搬送手段としてのコンベア２０と、コンベア２０上の廃棄物Ｗ１，Ｗ２，Ｗ３・・・を順次撮像する撮像装置群１０を備えている。この撮像装置群１０は、実施例１の選別システムにおいては、ＲＧＢカメラ１１、Ｘ線カメラ１２、近赤外線カメラ１３、３Ｄカメラ１４から成っている。勿論、どのような撮像装置を設けるかは、判別すべき廃棄物の素材に応じて選択することができる。さらに、コンベア２０の供給部近傍の箇所に廃棄物Ｗ１，Ｗ２，Ｗ３・・・の重量を計測する重量センサ１５を備えている。コンベア２０上の廃棄物Ｗ１，Ｗ２，Ｗ３・・・が、一つずつ重量センサ１５の上を通過するように構成することによって一つずつの重量が計測できる。勿論、適当なロボットによって廃棄物Ｗ１，Ｗ２，Ｗ３・・・を一つずつ摘みあげて重量を計測しても良い。

一般的にこのような廃棄物Ｗ１，Ｗ２，Ｗ３・・・を流すコンベア２０を配置している環境８１は人間にとっては劣悪な環境である。そこで、撮像装置群１０で撮像した廃棄物Ｗ１，Ｗ２，Ｗ３・・・の画像を表示する表示手段としてのモニタ３０は、コンベア２０が配置された選別室とは隔壁８０等で隔離された良好な環境８２内に設置されている。

実施例１の廃棄物選別システムでは、コンベア２０上の廃棄物Ｗ１，Ｗ２，Ｗ３・・・を摘み上げて選別するロボットアーム５０と、撮像装置群１０（ＲＧＢカメラ１１、Ｘ線カメラ１２、近赤外線カメラ１３、３Ｄカメラ１４）で撮像した各画像データを画像処理する画像処理部４１、選別教師データ生成部４２、機械学習部４３、選別処理部４４、選別教師データ記憶部４５などを備えた制御部４０（図２）を主要な構成部としている。この選別教師データ記憶部４５は、外部サーバやクラウド内に蓄積することも可能である。

本実施例１においては、選別対象である廃棄物は、木材、プラスチック、紙、サイディング、石膏ボードや繊維、ガラス、鉄系金属、非鉄金属など多種多様な素材が混在するものであり、加えて、詳細には図示していないが、解体処理された廃棄物Ｗ１，Ｗ２，Ｗ３・・・の大きさや形状はバラバラで中には素材の確認も困難な細かな廃棄物も混在している。このため、本実施例１の選別システム１００では、図１に示すように、廃棄物Ｗを選別する際の前処理として廃棄物Ｗ１，Ｗ２，Ｗ３・・・を搬送するメインのコンベア２０の前方にサブコンベア２１を配置し、メインコンベア２０とサブコンベア２１の間に振動篩装置２２を配置し、この振動篩装置２２によって廃棄物Ｗを所定の大きさ（５０ｍｍ）以下のものを篩い落としてからコンベア２０に供給している。なお、本実施例１においてコンベア２０とサブコンベア２１はベルト式コンベアによって構成されているが、ローラコンベアやバケット式のコンベアなど、廃棄物Ｗを搬送できる構成であればよい。

撮像装置群１０は、コンベア２０上により搬送されてきた廃棄物Ｗ１，Ｗ２，Ｗ３・・・の形状及び色彩画像を撮影するＲＧＢカメラ１１、廃棄物のＸ線透過画像を撮影するＸ線カメラ１２、廃棄物の近赤外線画像を撮影する近赤外線カメラ１３、廃棄物の３次元画像を撮影する３Ｄカメラ１４等から成り、コンベア２０で搬送される廃棄物Ｗ１，Ｗ２，Ｗ３・・・は、それぞれのカメラ１１〜１４でそれぞれの画像が撮像され、これらの画像データを画像処理部３０によって画像処理して表示手段としてのモニタ３０に表示している。それらの画像の表示例は図２に示している。

制御部４０は、例えば、コンピュータなどから構成されているが、コンピュータとしてパーソナルコンピュータ（ＰＣ）で構成されてもよく、ワークステーション、サーバ装置のような大型コンピュータでもよい。また、スマートフォンやタブレットなど携帯型コンピュータによって制御することも可能である。一般的な制御部４０は、図３の機能ブロック図で示すように、画像処理部４１、選別教師データ生成部４２、機械学習部４３、選別処理部４４、教師データ記憶部４５などで構成されている。

画像処理部３０に対しては、それぞれの機能のカメラ１１〜１４で撮像された画像データ及び重量センサ１５で取得した数値的なデータが出力され、各カメラ１１〜１４で撮像された画像データを画像処理し、かつ重量センサ１５で取得した数値的なデータに基づいて計算処理して、それらの結果をモニタ２０に表示している。図２に示すようにモニタ２０の中央部のメイン画面１１ＡにはＲＧＢカメラ１１で撮像された画像が表示され、Ｘ線カメラ１２で撮像されたＸ線画像、近赤外線カメラ１３で撮像された近赤外線画像、３Ｄカメラ１４で撮像された３次元画像は、それぞれサブ画面１２Ａ〜１４Ａに表示される。これらのサブ画面１２Ａ乃至１４Ａの画面は、選択することにより、中央部のメイン画面１１Ａに表示することも可能である。また、重量センサ１５で取得した重量の数値データは、表示部２２に表示されている。

本実施例１におけるセンサは、例えば、重量センサ１５からなっており、図１に示すように、コンベア２０上を搬送される廃棄物Ｗ１，Ｗ２，Ｗ３・・・の夫々の重量を計測するとともに、３Ｄカメラ１４で撮像された画像の輪郭から廃棄物Ｗ１，Ｗ２，Ｗ３・・・の体積を演算処理し、さらに、その体積と重量センサ１５で取得した重量から廃棄物Ｗ１，Ｗ２，Ｗ３・・・の比重を演算して表示部２２に廃棄物Ｗ１，Ｗ２，Ｗ３・・・の重量、体積、比重を表示することができる。これらはセンサを介して得られた測定データであるために信頼性は極めて高く、例えば、得られた比重は廃棄物の素材を決定するには信頼可能な重要なデータとなる。

また、他のセンサとして、ロボットアーム５０の把持部に圧力センサ１６を設け、ロボットアーム５０で廃棄物Ｗ１，Ｗ２，Ｗ３・・・を把持した際に、廃棄物Ｗ１，Ｗ２，Ｗ３・・・からの反力を検知し、廃棄物Ｗ１，Ｗ２，Ｗ３・・・の硬さを示す数値データを表示部２２に表示するように構成してもよい。

また、本発明が対象とする廃棄物には、「木くず」「繊維くず」「プラスチック」「鉄系金属」「非鉄金属」「紙」「ガラス」等の多くの素材の廃棄物が混ざっているものであるが、本実施例１のモニタ３０においては、図２に示すように、例えば「木くず」「プラスチック」「鉄系金属」及び「非鉄金属」の４種類の素材判別入力部２１と「その他」の素材判別入力部２３が表示されている。

本実施例１の廃棄物選別システムの作業者は、モニタ３０の中央部に表示されるＲＧＢカメラ１１で撮像されたメイン画面１１Ａに表示される画像１Ａ、及び重量センサ１５により計測され計算されて表示部２２に表示される廃棄物Ｗ１，Ｗ２，Ｗ３・・・の数値データから、コンベア２０上の廃棄物Ｗ１，Ｗ２，Ｗ３・・・の素材を判断し、作業者が判断した素材に該当する入力部２１を選択することによって、廃棄物Ｗ１，Ｗ２，Ｗ３・・・の素材を指定する。図２に示した実施例においては、モニタ３０に表示されたソフトスイッチ２１の何れかを選択して接触することにより素材判定の信号が出力されるが、図１に示すように、モニタ３０とは別に設けられた判別素材入力部６０を設けて、判別素材を入力するように構成してもよい。

この判別素材入力部２１を選択したことにより出力される素材判別信号は、選別処理部４４と教師データ生成部４２に入力され、選別処理部４４によってロボットアーム５０を駆動して廃棄物Ｗ１，Ｗ２，Ｗ３・・・を素材別に選別する。その際、ロボットアーム５０はコンベア２０上の廃棄物Ｗ１，Ｗ２，Ｗ３・・・を個別に把持し、素材に対応する回収ボックス７０にそれぞれの廃棄物Ｗ１，Ｗ２，Ｗ３・・・を排出して廃棄物Ｗ１，Ｗ２，Ｗ３・・・を分別する。なお、本実施例では、前述のように、入力部２１への入力操作に関してタッチパネル式のモニタ２０を用い、モニタ２０に表示される入力部２１を押圧操作することによって素材情報を入力しているが、例えば、マウス、タブレットペンでの入力など各種の入力デバイスに適用可能である。さらに、モニタ２０と独立したスイッチ式の入力部６０等を備え、この入力部をスイッチ操作して素材を指定することも可能である。また、音声による素材指定も可能である。

制御部４０の選別教師データ生成部４１は、前記各カメラ１１〜１４で撮像された画像データ及び重量センサ１５で取得した数値的なデータを紐付けするとともに、前記入力部２１（判別素材入力部６０）からの入力によって作業者が指定した素材情報を紐付けし、これらを教師データＤ（図１）として教師データ記憶部４５に記憶する。なお、教師データＤは、機械学習部４３により学習を実施するようにプログラミング処理される。この学習方法として、誤差逆伝播法による最適化手法を用いた畳み込みニューラルネットワークにより機械学習を実施するように構成されている。これにより、撮像装置群１０（１１〜１４）で撮像される廃棄物１の画像１１Ａ〜１４Ａから、その素材を認識するようにデータベース化される。なお、実施例１では、教師データ記憶部４５はハードディスク（ＨＤＤ）、半導体メモリ、フラッシュメモリ、ネットワークサーバ等で構成されている。

次に、本実施例１での選別方法について更に説明する。まず、サブコンベア２１に廃棄物Ｗを供給し、選別の前処理として振動篩装置２２によって廃棄物Ｗを所定の大きさ以下（５０ｍｍ）の廃棄物を篩い落してから廃棄物Ｗ１，Ｗ２，Ｗ３・・・をコンベア２０に供給する。なお、予め篩い落とした廃棄物Ｗに対してさらに磁力選別し、鉄やチタンなどの強磁性体を予め選別してからロボットアーム５０による選別を行うようにしてもよい。すなわち、鉄などの磁性体は、磁力選別により容易に選別できるため、予め磁性体を除去してから、その他の素材の選別を行えば、素材を判定する作業者の負担が少なくなる。一方、教師データ記憶部３４により、多くの素材選別の教師データＤをデータベース化して学習効果を高めるることを優先するのであれば、磁力選別処理しない廃棄物Ｗをコンベア２０に供給するものであってもよい。要は、作業効率を優先するか学習効果を高めた教師データＤの蓄積を優先するかは、本システムの使用に関するユーザのニーズに応じて選定すればよい。図１に示す廃棄物の選別システムは、予めの磁力選別処理をしないシステムが示されている

図４のフローチャートを参照して本実施例１のシステムの選別手順について説明すると、振動篩装置２２により規定サイズ以下の廃棄物Ｗを篩い落と後、廃棄物Ｗ１，Ｗ２，Ｗ３・・・をコンベア２０に供給して当該コンベア２０で廃棄物Ｗ１，Ｗ２，Ｗ３・・・を搬送する（ステップＳ１）。

次に、コンベア２０で搬送される廃棄物Ｗ１，Ｗ２，Ｗ３・・・を撮像装置群１０（ＲＧＢカメラ１１、Ｘ線カメラ１２、近赤外線カメラ１３、３Ｄカメラ１４）で撮像するとともに（ステップＳ２）、重量センサ１５によって廃棄物Ｗ１，Ｗ２，Ｗ３・・・の重量を計測する（ステップＳ３）。なお、このステップＳ２、Ｓ３の順序を逆にし、すなわち、先に重量センサ１５によって廃棄物Ｗ１，Ｗ２，Ｗ３・・・の重量を検知（ステップＳ３）してから廃棄物Ｗ１，Ｗ２，Ｗ３・・・を撮像装置群１０で撮像（ステップＳ２）するようにしてもよい。また、重量以外のデータの計測、例えば、硬度の計測、放射能の計測、濡れているか否か等の検知については、適宜のステップで行うことができる。

撮像装置群１０からの画像データ１１Ａ，１２Ａ，１３Ａ，１４Ａ及び、重量センサ１５（及びその他センサ）によって検知した廃棄物Ｗ１，Ｗ２，Ｗ３・・・の重量データ（及びその他計測データ）を画像処理部４１で画像処理してモニタ３０に表示する（ステップＳ４）。モニタ３０に表示される画像データは、実施例１のシステムにおいては、ＲＧＢカメラ１１で撮像されたカラー画像１１Ａ、Ｘ線カメラ１２で撮像されたＸ線画像１２Ａ、近赤外線カメラ１３で撮像された近赤外線画像１３Ａ、３Ｄカメラ１４で撮像された３次元画像１４Ａである。また、モニタ３０の表示部２２には、重量センサ１５で取得した重量データや３次元画像データ１４Ａの輪郭から算出した体積及び比重の各データがが重量データと共に表示される（ステップＳ５）。

この廃棄物選別システムの作業者は、モニタ３０に表示される画像１１Ａ，１２Ａ，１３Ａ，１４Ａ及び、廃棄物Ｗの重量、体積、比重の各データを確認し、選別対象の廃棄物Ｗの素材を判断し、その素材に該当する入力部２１を押して廃棄物Ｗの素材を指定する（ステップＳ６）。なお、作業者がモニタ３０に表示される画像１１Ａ，１２Ａ，１３Ａ，１４Ａや各計測データを確認しても素材が分からない場合、入力部２３の「その他」を押すと、素材不明な廃棄物Ｗとして処理され、ロボットアーム５０で取り出すことなく、コンベア２０から素材が判別できなかった「その他」の廃棄物として排出され（ステップＳ７）、人力による判別のステップに回される。もしくは音声による指定で操作も出来る。

ステップＳ６において廃棄物Ｗの素材が指定されると、選別教師データ生成部４２は、各カメラ１１〜１４で撮像された画像データ１１Ａ〜１４Ａと重量センサ１５等で取得した計測データに対して作業者が指定した素材情報を紐付けし（ステップＳ８）、これを教師データＤとして深層学習による機械学習を実施し（ステップＳ９）、撮像装置群１０（１１〜１４）で撮像される画像１１Ａ〜１４Ａ及び計測データと指定された素材とが認識されて記憶部３４に記憶される（ステップＳ１０）。

また、ステップＳ６において廃棄物Ｗの素材が指定されると、入力部２１から選別処理部４４に信号が出力され、選別処理部４４によってロボットアーム５０を駆動する。ロボットアーム５０は、コンベア２０上の廃棄物Ｗ１，Ｗ２，Ｗ３・・・を取り出し、作業者が指定した素材に対応する回収ボックス７０に廃棄物Ｗ１，Ｗ２，Ｗ３・・・を摘み上げて排出することによって、廃棄物Ｗが素材毎に選別される（ステップＳ１１）。

以上のように構成される本実施例１においては、モニタ３０は廃棄物Ｗ１，Ｗ２，Ｗ３・・・が搬送されるコンベア２０から離れたエリア８２に設置され、モニタ３０で確認しながら廃棄物Ｗ１，Ｗ２，Ｗ３・・・の素材を判定して指定することによって、ロボットアーム５０を遠隔操作している。すなわち、従来のこの種の瓦礫の選別において手作業で選別処理を行う場合、解体によって発生する瓦礫は、鋭利なガラス片や釘などの不用意に手で触れると怪我などの危険を伴う。特に、近年の震災で発生した放射性物質を含んだ瓦礫の選別処理は、作業者の安全性を確保するために必然的にロボットアーム５０による遠隔操作によって瓦礫を選別することになる。このような、遠隔操作による廃棄物Ｗの選別は、撮像装置群１０で撮影した画像を作業者が確認して廃棄物Ｗの素材を判定するための手法自体は、従来から行われた一般的な方法であった。また、自動的に選別するシステムもあったが、選別の精度が完全ではなかった。

本実施例１は、このような、従来から行われている廃棄物Ｗを遠隔操作で選別を指示する選別システムにおいて、廃棄物Ｗの素材を判別して指定するシステムを組み合わせることによって、各カメラ１１〜１４で撮像された画像データ１１Ａ〜１４Ａと重量センサ１５等で取得したデータとが素材情報と自動的に紐付けされ、選別教師データＤを作成することができる。教師データＤはコンベア２０に供給される廃棄物Ｗ１，Ｗ２，Ｗ３・・・を、本システムを操作する作業者が素材を指定する毎に学習を実施し、制御部４０が撮像装置群１０（１１〜１４）で撮像される画像１１Ａ〜１４Ａ及び計測データに紐付けられて廃棄物の素材と関連付けられて認識されて教師データ記憶部４５に記憶され、データベース化される。すなわち、作業者は従来の遠隔操作による選別手順と同じ方法で選別作業するだけで、選別システムとしては、それぞれ形状や大きさ、色調、色彩が異なる種々の廃棄物Ｗ１，Ｗ２，Ｗ３・・・の素材が機械学習によってデータベース化されるため、極めて効率的に素材毎の選別データが学習され収集されることになる。なお、この選別システム１００のデータ学習と収集は、単独の選別システム１００の運営に限らず、複数の選別システム１００あるいは異なる選別処理施設に設置した選別システム１００同士をネットワークで接続し、各選別システム１００からのデータを記憶部４５に記憶することにより、より高度な学習効果を達成することも可能である。

また、廃棄物選別の人工知能プログラムとして、木材専用の人工知能プログラム、プラスチック専用の人工知能プログラムというように、材料毎に学習された人工知能プログラムがあり、それぞれの人工知能プログラムにより、自らの材料に該当しているかいないかと判断する手法を採用するっこともできる。これにより、一つの人工知能プログラムにより、どの素材であるかを判断するよりも、判断速度と正確性の向上が期待できる。

前記実施例１は、遠隔操作による選別システム１００において、教師データＤを記憶部４５に記憶しながらも、モニタ３０に表示される画像１１Ａ，１２Ａ，１３Ａ，１４Ａ及び、廃棄物Ｗの重量、体積、比重の各データを確認し、選別対象の廃棄物Ｗの素材を判断し、その素材に該当する入力部２１を押して廃棄物Ｗの素材を指定する（ステップＳ６）例を示したが、本実施例２では、操作者による素材判別の情報は入力しながらも、より記憶部４５に格納される教師データＤに基づいて廃棄物Ｗを人工知能によって自動選別する例を示している。

これにより、実施例１では、廃棄物の素材の判別には、操作者による判断と指定が優先するものであるが、この実施例１の廃棄物選別システムを運用することにより、システムが選別すべき廃棄物の素材が何であったかの情報を収集し、そのデータを日々追加して記憶することにより人工知能として学習することができるものである。そして、実施例２の廃棄物選別システムにおいては、学習された人工知能を使った自動選別を行うと同時に、更に操作者による選別を付加し、それが何であったかの情報を収集し、そのデータをシステム側に与え人工知能に再学習させることができる。これにより人工知能の選別精度、選別速度が向上され続けるものである。

以下、図５のブロック図を参照して本実施例２について説明する。なお、図５において、実施例１と共通する部分には同一符号を付し、重複する部分の説明を省略し、異なる部分についてのみ説明する。

本実施例２の制御部４０は、図５のブロック図に示すよう、前記各カメラ１１〜１４で撮像された画像データと記憶部３４に格納された選別教師データとを比較して廃棄物１の素材を判定する素材判定部５５を備える点において実施例１と異なり、その他の構成は実施例１と実質的に共通する。

以上のように、図５で構成される本実施例２での廃棄物の素材の判定方法について図６のフローチャートを参照して説明する。なお、本実施例２の廃棄物１の選別手順については、実施例１の図４に示すフローチャートのステップＳ１〜Ｓ５までは同一であるために省略する。

本実施例２における素材判定部４６は、機械学習部４３の学習結果によって各カメラ１１〜１４で撮像された画像データ１１Ａ〜１４Ａから廃棄物Ｗ１，Ｗ２，Ｗ３・・・の素材を判定する（ステップＳ２０）。この素材判定部４６での廃棄物Ｗ１，Ｗ２，Ｗ３・・・の素材の判定は、機械学習部４３の学習結果が十分であれば精度が高く判別できるが、学習結果が不十分な場合は判別の精度が低くなる。そこで、所定の判別精度（例えば、判別精度８５％）以上の場合は判別可とし、それ以下の場合は判別否とすることができる。

この判定において、ステップ２０で判別可であり、例えば「木材」と判定された場合、選別教師データ生成部３１によって画像データに素材情報を紐付けし（ステップＳ２１）、これを教師データＤとして深層学習による機械学習を実施して（ステップＳ２２）、撮像装置１０で撮像される画像１Ａの素材を認識して記憶部３４に記憶する（ステップＳ２３）。これにより、ロボットアーム５０は、ステップ２０で判別可の状態で、素材判別部４６から出力された情報により廃棄物Ｗ１，Ｗ２，Ｗ３・・・の選別処理が実行される（ステップＳ２４）。

次に、ステップＳ２０において、廃棄物Ｗ１，Ｗ２，Ｗ３・・・の素材の判定が否と判断された場合（ステップ２０で「否」）を考える。このような場合には、例えば、モニタ３０上で警告表示あるいは警報音によって作業者に報知することも可能である。このように廃棄物Ｗ１，Ｗ２，Ｗ３・・・の素材が判定され得ないと判断された場合、作業者によるモニタ３０の廃棄物Ｗの画像１１Ａ〜１４Ａや表示部２２の情報を確認して作業者の判断で素材を判定して入力部２１を選択押圧して廃棄物Ｗの素材を指定する（ステップＳ２５）。このように、作業者が廃棄物Ｗの素材を指定すると、その作業者からの判別指示が優先して、ロボットアーム５０による廃棄物Ｗ１，Ｗ２，Ｗ３・・・の選別処理が実行される（ステップＳ２４）。また、ステップＳ２５において、廃棄物Ｗ１，Ｗ２，Ｗ３・・・の素材が指定されると、ステップＳ２１において、制御部４０の選別教師データ生成部４２によって画像データ１１Ａ〜１４Ａ及び計測情報に素材判別情報が紐付され、この後は、教師データＤとして学習を実施して撮像装置群１０で撮像される画像１１Ａ〜１４Ａの素材認識を学習して教師データ記憶部４５に記憶する（ステップＳ２２、Ｓ２３）。

また、ステップＳ２０において廃棄物Ｗの素材の判別を「否」と判断し、制御部による素材の判別を指定しない場合、上記説明のように、操作者の判断を優先してロボットアーム５０を作動させることも可能であるし、ロボットアーム５０を作動させることなく、素材不明な廃棄物Ｗとしてコンベア２０からその他の廃棄物として排出さすることもできる。

以上のように、本実施例２では、機械学習部４３の学習結果によって各カメラ１１〜１４で撮像された画像データ１１Ａ〜１４Ａから廃棄物Ｗ１，Ｗ２，Ｗ３・・・の素材を判定する素材判定部４６を備えることにより、コンベア２０を流れる廃棄物Ｗ１，Ｗ２，Ｗ３・・・の素材を判定することができ、その判定結果に従ってロボットアーム５０による自動選別が可能となる。また、素材不明の判定結果に従って作業者が素材を判定するようにしても、作業者の負担を大幅に軽減することが可能である。さらに、素材不明の廃棄物Ｗを作業者が判定することで素材情報が紐付けされた教師データＤとして教師データ記憶部４５に記憶されるので、以後の判定精度の向上が可能となる。本実施例２においては、教師データ記憶部４５は、外部サーバとして設けている。

以上、本発明の実施例１及び２について詳述したが、本発明は前記実施例に限定さるものではなく、種々の変形実施が可能である。例えば、上述した実施例では、建築物を解体処理した際に発生する廃棄物あるいは瓦礫の選別システムに適用した場合を例として説明したが、これに限らず一般家庭から排出されるゴミあるいは家電製品を選別するシステムに適用してもよい。その際、深層学習の最適化手法やネットワーク構成は、学習対象に依存するため、一般家庭のゴミや家電製品など、選別する廃棄物の種類に最適なものを適用すればよい。また、センサとして重量センサや圧力センサに限るものではなく、素材に判別する上に効果的なセンサや計測器であればよい。

１００ 選別システム
Ｗ，Ｗ１，Ｗ２，Ｗ３ 廃棄物
１０ 撮像装置群
１１ ＲＧＢカメラ（撮像装置）
１２ Ｘ線カメラ（撮像装置）
１３ 近赤外線カメラ（撮像装置）
１４ ３Ｄカメラ（撮像装置）
１５ 重量センサ
１６ 圧力センサ
２０ コンベア（搬送手段）
３０ モニタ（表示手段）
２１，６０ 判別素材入力部
２２ 表示部
４０ 制御部
４１ 画像処理部
４２ 選別教師データ生成部
４３ 機械学習部
４４ 選別処理部
４５ 教師データ記憶部
４６ 素材判定部
４７ 記憶部
５０ ロボットアーム
７０ 回収ボックス
８０ 隔壁
１００ 廃棄物選別システム
Ｄ 教師データ

Claims (6)

1. 廃棄物を搬送する搬送手段と、当該搬送手段で搬送される廃棄物の映像を撮像する撮像装置と、当該撮像装置で撮像した廃棄物の映像を表示する表示手段と、前記搬送手段で搬送される廃棄物の素材情報を教示する判別素材入力部と、前記搬送手段で搬送される廃棄物を取り上げるロボットアームと、当該ロボットアームを駆動して前記廃棄物を素材毎に選別する制御部とを備え、
   前記制御部は、前記撮像装置で撮像された廃棄物の画像データを画像処理する画像処理部と、該画像処理した画像データに前記判別素材入力部で入力された廃棄物の素材情報を紐付けし、これを選別教師データとして教師データ記憶部に記憶する選別教師データ生成部と、前記判別素材入力部で入力された廃棄物の素材情報に基づいて、前記ロボットアームに対して選別指示を出す選別処理部とを備えた廃棄物の選別システムであって、
   前記撮像装置として、廃棄物の形状及び色彩画像を撮影するＲＧＢカメラ、廃棄物の透過Ｘ線画像を撮影するＸ線カメラ、廃棄物の近赤外線画像を撮影する近赤外線カメラ、廃棄物の３次元画像を撮影する３Ｄカメラを備え、
   さらに、前記搬送手段で搬送される廃棄物の特性を表す数値データを取得するセンサとして重力センサを備え、
   前記制御部は、前記３Ｄカメラで撮像された画像の輪郭から廃棄物の体積を演算処理し、さらに、その体積と前記重量センサで取得した重量から廃棄物の比重を演算して前記表示手段の表示部に廃棄物の重量、体積、比重を表示し、
   さらに、前記制御部は、前記判別素材入力部で入力された廃棄物の素材情報を選別のための教師情報として学習を実施し、前記撮像装置で撮像された画像データから廃棄物の素材を判別する機械学習部を備え、 前記選別教師データ生成部は、前記センサで取得した数値データを前記画像データ及び前記素材情報と紐付けして選別教師データとして教師データ記憶部に記憶したことを特徴とする廃棄物の選別システム。
2. 前記廃棄物の素材情報を指定する判別素材入力部は、前記ロボットアームを備えた搬送手段とは離れた位置に備えられており、前記判別素材入力部により素材情報を指定することにより前記ロボットアームを遠隔操作することを特徴とする請求項１に記載の廃棄物の選別システム。
3. 複数台の選別システムと前記記憶部がネットワークで接続され、前記各選別システムからの選別教師データが蓄積データとして教師データ記憶部に記憶されることを特徴とする請求項２に記載の廃棄物の選別システム。
4. 前記制御部は、機械学習部の学習結果によって前記撮像装置で撮像された廃棄物の画像データから廃棄物の素材を判定する素材判定部を備え、この素材判定部で素材が判定された画像データに対して前記選別教師データ生成部が撮像装置で撮像された廃棄物の画像データに素材情報を紐付けし、これを選別教師データとして記憶部に記憶することを特徴とする請求項２に記載の廃棄物の選別システム。
5. 前記素材判定部で廃棄物の素材が判定されなかった場合、作業者が表示手段で廃棄物の画像を確認して作業者の判断で素材を判定し、前記判別素材入力部により素材情報を指定することによって、前記選別教師データ生成部が撮像装置で撮像された廃棄物の画像データに素材情報を紐付けし、これを選別教師データとして記憶部に記憶することを特徴とする請求項２に記載の廃棄物の選別システム。
6. 廃棄物を搬送する搬送手段と、当該搬送手段で搬送される廃棄物の映像を撮像する撮像装置と、当該撮像装置で撮像した廃棄物の映像を表示する表示手段と、前記搬送手段で搬送される廃棄物の素材情報を教示する判別素材入力部と、前記搬送手段で搬送される廃棄物を取り上げるロボットアームと、当該ロボットアームを駆動して前記廃棄物を素材毎に選別する制御部とを備え、
   前記制御部は、前記撮像装置で撮像された廃棄物の画像データを画像処理する画像処理部と、該画像処理した画像データに前記判別素材入力部で入力された廃棄物の素材情報を紐付けし、これを選別教師データとして教師データ記憶部に記憶する選別教師データ生成部と、前記判別素材入力部で入力された廃棄物の素材情報に基づいて、前記ロボットアームに対して選別指示を出す選別処理部とを備えた廃棄物の選別システムによって廃棄物を選別する方法であって、
   前記撮像装置として、廃棄物の形状及び色彩画像を撮影するＲＧＢカメラ、廃棄物の透過Ｘ線画像を撮影するＸ線カメラ、廃棄物の近赤外線画像を撮影する近赤外線カメラ、廃棄物の３次元画像を撮影する３Ｄカメラを備えて廃棄物を撮像し、
   さらに、前記搬送手段で搬送される廃棄物の特性を表す数値データを取得するセンサとして重力センサにより廃棄物の重量を計測し、
   前記制御部は、前記３Ｄカメラで撮像された画像の輪郭から廃棄物の体積を演算処理し、さらに、その体積と前記重量センサで取得した重量から廃棄物の比重を演算して前記表示手段の表示部に廃棄物の重量、体積、比重を表示し、
   さらに、前記制御部は、前記判別素材入力部で入力された廃棄物の素材情報を選別のための教師情報として学習を実施し、前記撮像装置で撮像された画像データから廃棄物の素材を判別する機械学習部を備えており、前記選別教師データ生成部は、前記センサで取得した数値データを前記画像データ及び前記素材情報と紐付けして選別教師データとして教師データ記憶部に記憶することを特徴とする廃棄物の選別方法。
   

Images